Estou com um conjunto de dados com mais de 65.000 registros sendo estes, com dezenas de campos (variáveis). O problema consiste em desenvolver um códio em R para eliminar linhas que possuem informações iguais e repetidas nos registros. Exemplo de um trecho de arquivo onde o 2º campo (variável) em negrito e as demais colunas, repetem-se nas informações.

584;019642;ESTUDO E IMPLEMENTAÇÃO DE AUTORIZAÇÃO NO ACESSO PARA O PORTAL DO HUSM UTILIZANDO O CIBAC
;Pesquisa;Avaliado;12/10/2006;01/10/2006;30/04/2007;14680000;22/01/2008;Concluído/Publicado;6985093 - RAUL CERETTA NUNES;07.00.00.00.0.0 - CENTRO DE TECNOLOGIA - CT;07.39.00.00.0.0 - CURSO DE CIÊNCIA DA COMPUTAÇÃO;, , ,;Não necessita contratar fundação;379536 - MARTHA BOHRER ADAIME;Não se aplica;Geral;0;0;Não paga nenhum tipo de bolsa;Santa Maria;RS;Brasil;01/01/2016;01/01/2021;Linha de pesquisa;07.01.00 - SISTEMAS DE COMPUTAÇÃO;;;
585;019642;ESTUDO E IMPLEMENTAÇÃO DE AUTORIZAÇÃO NO ACESSO PARA O PORTAL DO HUSM UTILIZANDO O CIBAC
;Pesquisa;Avaliado;12/10/2006;01/10/2006;30/04/2007;14680000;22/01/2008;Concluído/Publicado;6985093 - RAUL CERETTA NUNES;07.00.00.00.0.0 - CENTRO DE TECNOLOGIA - CT;07.39.00.00.0.0 - CURSO DE CIÊNCIA DA COMPUTAÇÃO;, , ,;Não necessita contratar fundação;379536 - MARTHA BOHRER ADAIME;Não se aplica;Geral;0;0;Não paga nenhum tipo de bolsa;Santa Maria;RS;Brasil;01/01/2016;01/01/2021;Quanto ao tipo de projeto de pesquisa;2.06 - Projeto de Pesquisa e Extensão;;;
586;019128;ESTUDO E IMPLEMENTAÇÃO DE UMA ARQUITETURA ORIENTADA A SERVIÇOS;Pesquisa;Avaliado;26/05/2006;18/05/2006;22/09/2006;;16/02/2007;Concluído/Publicado;6985093 - RAUL CERETTA NUNES;07.00.00.00.0.0 - CENTRO DE TECNOLOGIA - CT;07.39.00.00.0.0 - CURSO DE CIÊNCIA DA COMPUTAÇÃO;, , ,;Não necessita contratar fundação;;Não se aplica;Geral;0;0;Não paga nenhum tipo de bolsa;;;;;;Classificação CNPq;1.03.04.00-2 - SISTEMAS DE COMPUTAÇÃO;;;
587;019128;ESTUDO E IMPLEMENTAÇÃO DE UMA ARQUITETURA ORIENTADA A SERVIÇOS;Pesquisa;Avaliado;26/05/2006;18/05/2006;22/09/2006;;16/02/2007;Concluído/Publicado;6985093 - RAUL CERETTA NUNES;07.00.00.00.0.0 - CENTRO DE TECNOLOGIA - CT;07.39.00.00.0.0 - CURSO DE CIÊNCIA DA COMPUTAÇÃO;, , ,;Não necessita contratar fundação;;Não se aplica;Geral;0;0;Não paga nenhum tipo de bolsa;;;;;;Linha de pesquisa;07.01.00 - SISTEMAS DE COMPUTAÇÃO;;;