Ler um arquivo grande
Caros, Estou tentando ler um arquivo de texto com 930 mb, mas sem sucesso desde ontem. Meu computador é multicore Macbook 8 gb memória, mas não consegue finalizar de ler o arquivo e "congela". Alguém tem alguma ideia de como superar isso sem precisar abrir o arquivo e dividir manualmente o banco? Daniel
se vc souber quais sao as classes das suas colunas, use o truque do colClasses... abuse do seu OS, va' ao terminal e use: wc -l nome_do_arquivo.txt anote o numero (que e' o numero de linhas), dai' use: conteudo = read.table('nome_do_arquivo.txt', nrow=<numero de linhas>) vc pode ate' combinar o comando acima com o colClasses p max eficiencia. 2012/12/5 Daniel Marcelino <dmsilva.br@gmail.com>
Caros, Estou tentando ler um arquivo de texto com 930 mb, mas sem sucesso desde ontem. Meu computador é multicore Macbook 8 gb memória, mas não consegue finalizar de ler o arquivo e "congela". Alguém tem alguma ideia de como superar isso sem precisar abrir o arquivo e dividir manualmente o banco?
Daniel _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Sim Benilton, acabei relendo o manual do função read e testei isso. Deu certo. Escrevi até um post sobre isso no meu blog. Valeu. Daniel 2012/12/5 Benilton Carvalho <beniltoncarvalho@gmail.com>:
se vc souber quais sao as classes das suas colunas, use o truque do colClasses...
abuse do seu OS, va' ao terminal e use:
wc -l nome_do_arquivo.txt
anote o numero (que e' o numero de linhas), dai' use:
conteudo = read.table('nome_do_arquivo.txt', nrow=<numero de linhas>)
vc pode ate' combinar o comando acima com o colClasses p max eficiencia.
2012/12/5 Daniel Marcelino <dmsilva.br@gmail.com>
Caros, Estou tentando ler um arquivo de texto com 930 mb, mas sem sucesso desde ontem. Meu computador é multicore Macbook 8 gb memória, mas não consegue finalizar de ler o arquivo e "congela". Alguém tem alguma ideia de como superar isso sem precisar abrir o arquivo e dividir manualmente o banco?
Daniel _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Daniel, Você pode mandar o link (endereço) do seu blog! Esse é um assunto que interessa. Obrigado. att, FH 2012/12/6 Daniel Marcelino <dmsilva.br@gmail.com>
Sim Benilton, acabei relendo o manual do função read e testei isso. Deu certo. Escrevi até um post sobre isso no meu blog.
Valeu.
Daniel
2012/12/5 Benilton Carvalho <beniltoncarvalho@gmail.com>:
se vc souber quais sao as classes das suas colunas, use o truque do colClasses...
abuse do seu OS, va' ao terminal e use:
wc -l nome_do_arquivo.txt
anote o numero (que e' o numero de linhas), dai' use:
conteudo = read.table('nome_do_arquivo.txt', nrow=<numero de linhas>)
vc pode ate' combinar o comando acima com o colClasses p max eficiencia.
2012/12/5 Daniel Marcelino <dmsilva.br@gmail.com>
Caros, Estou tentando ler um arquivo de texto com 930 mb, mas sem sucesso desde ontem. Meu computador é multicore Macbook 8 gb memória, mas não consegue finalizar de ler o arquivo e "congela". Alguém tem alguma ideia de como superar isso sem precisar abrir o arquivo e dividir manualmente o banco?
Daniel _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Daniel, seria interessante um post sobre o que escreveu em seu blog sobre isso. Essa prática ajudaria a documentzar melhor o problema, ajudando aos próximos que encontrarem situação parecida. []s Leonard de Assis http://about.me/ldeassis Em 06/12/2012 00:03, Daniel Marcelino escreveu:
Sim Benilton, acabei relendo o manual do função read e testei isso. Deu certo. Escrevi até um post sobre isso no meu blog.
Valeu.
Daniel
2012/12/5 Benilton Carvalho <beniltoncarvalho@gmail.com>:
se vc souber quais sao as classes das suas colunas, use o truque do colClasses...
abuse do seu OS, va' ao terminal e use:
wc -l nome_do_arquivo.txt
anote o numero (que e' o numero de linhas), dai' use:
conteudo = read.table('nome_do_arquivo.txt', nrow=<numero de linhas>)
vc pode ate' combinar o comando acima com o colClasses p max eficiencia.
2012/12/5 Daniel Marcelino <dmsilva.br@gmail.com>
Caros, Estou tentando ler um arquivo de texto com 930 mb, mas sem sucesso desde ontem. Meu computador é multicore Macbook 8 gb memória, mas não consegue finalizar de ler o arquivo e "congela". Alguém tem alguma ideia de como superar isso sem precisar abrir o arquivo e dividir manualmente o banco?
Daniel _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Ok, vou prepar isso até sábado, porque o que escrevi está em inglês. O endereço do blog é o meu nome: http://danielmarcelino.com 2012/12/6 Leonard de Assis <assis.leonard@gmail.com>:
Daniel,
seria interessante um post sobre o que escreveu em seu blog sobre isso.
Essa prática ajudaria a documentzar melhor o problema, ajudando aos próximos que encontrarem situação parecida.
[]s Leonard de Assis http://about.me/ldeassis
Em 06/12/2012 00:03, Daniel Marcelino escreveu:
Sim Benilton, acabei relendo o manual do função read e testei isso. Deu certo. Escrevi até um post sobre isso no meu blog.
Valeu.
Daniel
2012/12/5 Benilton Carvalho <beniltoncarvalho@gmail.com>:
se vc souber quais sao as classes das suas colunas, use o truque do colClasses...
abuse do seu OS, va' ao terminal e use:
wc -l nome_do_arquivo.txt
anote o numero (que e' o numero de linhas), dai' use:
conteudo = read.table('nome_do_arquivo.txt', nrow=<numero de linhas>)
vc pode ate' combinar o comando acima com o colClasses p max eficiencia.
2012/12/5 Daniel Marcelino <dmsilva.br@gmail.com>
Caros, Estou tentando ler um arquivo de texto com 930 mb, mas sem sucesso desde ontem. Meu computador é multicore Macbook 8 gb memória, mas não consegue finalizar de ler o arquivo e "congela". Alguém tem alguma ideia de como superar isso sem precisar abrir o arquivo e dividir manualmente o banco?
Daniel _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
-- "Small steps toward a much better world"
participantes (4)
-
Benilton Carvalho -
Daniel Marcelino -
FHRB Toledo -
Leonard de Assis