R-br

Baixar

r-br@listas.inf.ufpr.br

Outubro 2016

39 participantes
32 discussões

Bando de dado .txt
by Andre Oliveira 02 Out '16

02 Out '16

Boa noite,não estou conseguindo identificar o motivo de não abrir este arquivo .txt corretamente, ele tem em torno de 6.3 GBAlguém teria uma dica para compartilhar? Acredito que não estou trabalhando corretamente! library(data.table) readLines("DADOS_ENEM_2011.TXT", n = 1) [1] "3000000000012011 2803548708SAO BERNARDO DO CAMPO SP110000000000000000000011 . . ...3548708SAO BERNARDO DO CAMPO SP1111 577.10 576.00 575.50 737.10CEBDCACBEAABBAABAEBDCABDCDEAAADCBBEBADDBEBECDDEECABABEBDDEBAEADCACABCBBECADDAADBADDAABABCAEEAEAEDDDAAEEBDECADCEABDDBAECAAABDAEBCCACBAECBAEBECCAAEBABECECCDDAACDADADBACCBAADCAECCCEDD1241201251290CECDDACBCAEBEBBACEEDCAEBDAEDADBEBBDDADCBCBACDDEECEBABAADDEBAECDCACEDCBBEBCDCAADBADDDBAEACAEEDBDBDDCAEDDDACDEBBECAACDABADBAECCEADDCEBCBACBAEEBAEEECCEEEBCBECEBADCBDBEADCDBDCCCBADCAECCCCDDP 140.00 140.00 140.00 140.00 60.00 620.000 . . . require(bit64) enem2011<- fread("DADOS_ENEM_2011.TXT", nrow = 1, header = TRUE, sep=";") head(enem2011) 3000000000012011 2803548708SAO BERNARDO DO CAMPO SP110000000000000000000011 . . ...3548708SAO BERNARDO DO CAMPO SP1111 577.10 576.00 575.50 737.10CEBDCACBEAABBAABAEBDCABDCDEAAADCBBEBADDBEBECDDEECABABEBDDEBAEADCACABCBBECADDAADBADDAABABCAEEAEAEDDDAAEEBDECADCEABDDBAECAAABDAEBCCACBAECBAEBECCAAEBABECECCDDAACDADADBACCBAADCAECCCEDD1241201251290CECDDACBCAEBEBBACEEDCAEBDAEDADBEBBDDADCBCBACDDEECEBABAADDEBAECDCACEDCBBEBCDCAADBADDDBAEACAEEDBDBDDCAEDDDACDEBBECAACDABADBAECCEADDCEBCBACBAEEBAEEECCEEEBCBECEBADCBDBEADCDBDCCCBADCAECCCCDDP 140.00 140.00 140.00 140.00 60.00 620.000 . . . ... 1: 3000000000022011 2214125506SAO JOSE DOS PINHAIS PR110000000000000000000011 . . ...4125506SAO JOSE DOS PINHAIS PR0000 . . . . 1211171251290DCEACDBECBCAEBACBEAECEDEDAABDBEDBBDDDCABCBDCAEDEBCEAEDBDAACACECDBBCACEDCDCBAEADADBBDDEAABAEEDBDBDDCAEDDDACDEBBECAACDABADBAECCEADDCEBCBACBAEEBAEEECCEEEBCBECEBADCBDBEADCDBDCCCBADCAECCCCDDF 0.00 0.00 0.00 0.00 0.00 0.000 . . . obrigado. André Oliveira Souza. Graduação em Matemática, mestrado em estatística aplicada.Instituto Federal de Educação, Ciência e Tecnologia do Espirito Santo. IFES

3 8

Re: [R-br] Digest R-br, volume 70, assunto 3rrrregghtgrgfffdf
by Josmar Mazucheli 02 Out '16

02 Out '16

8ttgdftfese Em 02/10/2016 12:00, <r-br-request(a)listas.c3sl.ufpr.br> escreveu: > Enviar submissões para a lista de discussão R-br para > r-br(a)listas.c3sl.ufpr.br > > Para se cadastrar ou descadastrar via WWW, visite o endereço > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br > ou, via email, envie uma mensagem com a palavra 'help' no assunto ou > corpo da mensagem para > r-br-request(a)listas.c3sl.ufpr.br > > Você poderá entrar em contato com a pessoa que gerencia a lista pelo > endereço > r-br-owner(a)listas.c3sl.ufpr.br > > Quando responder, por favor edite sua linha Assunto assim ela será > mais específica que "Re: Contents of R-br digest..." > > > Tópicos de Hoje: > > 1. Re: Bando de dado .txt (Andre Oliveira) > > > ---------------------------------------------------------------------- > > Message: 1 > Date: Sun, 2 Oct 2016 12:03:27 +0000 (UTC) > From: Andre Oliveira <andreolsouza(a)yahoo.com.br> > To: Marcos Silva <marcosfs2006(a)gmail.com> > Cc: "r-br(a)listas.c3sl.ufpr.br" <r-br(a)listas.c3sl.ufpr.br> > Subject: Re: [R-br] Bando de dado .txt > Message-ID: <1862678262.297135.1475409807537(a)mail.yahoo.com> > Content-Type: text/plain; charset="utf-8" > > Oi Marcos,obrigado pelas sugestões. Eu estava indo muito bem com a > data.table, tentei library(ff) e library(ffbase), mas sem sucesso. > > André Oliveira Souza. Graduação em Matemática, mestrado em estatística > aplicada.Instituto Federal de Educação, Ciência e Tecnologia do Espirito > Santo. IFES > > Em Domingo, 2 de Outubro de 2016 9:00, Marcos Silva < > marcosfs2006(a)gmail.com> escreveu: > > > Dá uma olhada nesse post: > http://rcoster.blogspot.com.br/2014/02/lendo-grandes-bancos-de-dados.html > > Em 2 de outubro de 2016 08:36, Marcos Silva <marcosfs2006(a)gmail.com> > escreveu: > > André, > Este tipo de arquivo não tem um caractere delimitador, tal como virgula, > ponto e virgula, pipe ("|"), Você não vai conseguir importar com > read.table() e derivações (read.csv(), read.csv2()) ou mesmo com fread(). > Mas para vc "ler" esse arquivo, vc precisa saber qual o comprimento de > cada variável (quantidade de caracteres que ocupa no arquivo), informação > essa que deveria estar no dicionário de variáveis. > > Este tipo de arquivo vc importa com read.fwf() ou read_fwf() do pacote > readr. Mas como essa base é muito grande, recomendo utilizar algum pacote, > a exemplo do pacote LaF. Existem outras possibilidades talvez melhores. > > > > > > Em 2 de outubro de 2016 03:13, Andre Oliveira <andreolsouza(a)yahoo.com.br> > escreveu: > > Oi Marcos,neste dicionário fala que é formato em formato ASCII. Não tem > mais instruções pelo que percebi. Descreve os nomes da varáveis também! > André Oliveira Souza. Graduação em Matemática, mestrado em estatística > aplicada.Instituto Federal de Educação, Ciência e Tecnologia do Espirito > Santo. IFES > > Em Domingo, 2 de Outubro de 2016 0:13, Marcos Silva < > marcosfs2006(a)gmail.com> escreveu: > > > Acho que este e um arquivo de formato fixo. Vc vai precisar do dicionario > de dados para importar. Normalmente este dicionario e disponibilizado com > os dados pelo inep. > Em 01/10/2016 22:31, "Andre Oliveira via R-br" <r-br(a)listas.c3sl.ufpr.br> > escreveu: > > Boa noite,não estou conseguindo identificar o motivo de não abrir este > arquivo .txt corretamente, ele tem em torno de 6.3 GBAlguém teria uma dica > para compartilhar? Acredito que não estou trabalhando corretamente! > > library(data.table) > readLines("DADOS_ENEM_2011. TXT", n = 1) > > [1] "3000000000012011 2803548708SAO BERNARDO DO > CAMPO > > SP110000000000000000000011 . . > > > ...3548708SAO BERNARDO DO CAMPO > > SP1111 577.10 576.00 > 575.50 737. 10CEBDCACBEAABBAABAEBDCABDCDEA AADCBBEBADDBEBECDDEECABABEBDDE > BAEADCACABCBBECADDAADBADDAABAB CAEEAEAEDDDAAEEBDECADCEABDDBAE > CAAABDAEBCCACBAECBAEBECCAAEBAB ECECCDDAACDADADBACCBAADCAECCCE > DD1241201251290CECDDACBCAEBEBB ACEEDCAEBDAEDADBEBBDDADCBCBACD > DEECEBABAADDEBAECDCACEDCBBEBCD CAADBADDDBAEACAEEDBDBDDCAEDDDA > CDEBBECAACDABADBAECCEADDCEBCBA CBAEEBAEEECCEEEBCBECEBADCBDBEA > DCDBDCCCBADCAECCCCDDP 140.00 140.00 140.00 140.00 60.00 > 620.000 . . . > > > require(bit64) > enem2011<- fread("DADOS_ENEM_2011.TXT", nrow = 1, header = TRUE, sep=";") > head(enem2011) > > 3000000000012011 2803548708SAO BERNARDO DO CAMPO > > SP110000000000000000000011 > . . > > ...3548708SAO BERNARDO DO > CAMPO > > SP1111 577.10 576.00 575.50 737. 10CEBDCACBEAABBAABAEBDCABDCDEA > AADCBBEBADDBEBECDDEECABABEBDDE BAEADCACABCBBECADDAADBADDAABAB > CAEEAEAEDDDAAEEBDECADCEABDDBAE CAAABDAEBCCACBAECBAEBECCAAEBAB > ECECCDDAACDADADBACCBAADCAECCCE DD1241201251290CECDDACBCAEBEBB > ACEEDCAEBDAEDADBEBBDDADCBCBACD DEECEBABAADDEBAECDCACEDCBBEBCD > CAADBADDDBAEACAEEDBDBDDCAEDDDA CDEBBECAACDABADBAECCEADDCEBCBA > CBAEEBAEEECCEEEBCBECEBADCBDBEA DCDBDCCCBADCAECCCCDDP 140.00 140.00 > 140.00 140.00 60.00 620.000 . . > . > > ... > 1: 3000000000022011 2214125506SAO JOSE DOS PINHAIS > > > PR110000000000000000000011 . . > > > ...4125506SAO JOSE DOS PINHAIS > > PR0000 . > . . . > > > 1211171251290DCEACDBECBCAEBACB > EAECEDEDAABDBEDBBDDDCABCBDCAED EBCEAEDBDAACACECDBBCACEDCDCBAE > ADADBBDDEAABAEEDBDBDDCAEDDDACD EBBECAACDABADBAECCEADDCEBCBACB > AEEBAEEECCEEEBCBECEBADCBDBEADC DBDCCCBADCAECCCCDDF 0.00 0.00 > 0.00 0.00 0.00 0.000 . . > . obrigado. > > > André Oliveira Souza. Graduação em Matemática, mestrado em estatística > aplicada.Instituto Federal de Educação, Ciência e Tecnologia do Espirito > Santo. IFES > ______________________________ _________________ > R-br mailing list > R-br(a)listas.c3sl.ufpr.br > https://listas.inf.ufpr.br/ cgi-bin/mailman/listinfo/r-br > Leia o guia de postagem (http://www.leg.ufpr.br/r-br- guia) e forneça > código mínimo reproduzível. > > > > > > > > -- > Marcos F. Silva > http://sites.google.com/site/ marcosfs2006 > > > > -- > Marcos F. Silva > http://sites.google.com/site/marcosfs2006 > > > -------------- Próxima Parte ---------- > Um anexo em HTML foi limpo... > URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/ > 20161002/24cbb345/attachment-0001.html> > > ------------------------------ > > Subject: Legenda do Digest > > _______________________________________________ > R-br mailing list > R-br(a)listas.c3sl.ufpr.br > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br > > > ------------------------------ > > Fim da Digest R-br, volume 70, assunto 3 > **************************************** >

1 0