Eu pensei em usar scan direto, mas eu ia acabar tendo que escrever o
parser na mão. Achei mais prático e rápido o jeito lento, lendo tudo
como string e convertendo a posteriori, nem arrisquei o outro jeito.
Este era o csv 1 de 202, eu tenho que dar merge neles depois para
analisar. Ao todo vai ficar pequeno, pois em csv, ocupam 780mb do hd
em suma: são 550 mil registros cada um, sendo que no meio do caminho,
algumas políticas de coleta mudam (vide a data)
amanhã, com calma, descrevo o problema na lista mundial, eheheh
[]s
Leonard de Assis
assis <dot> leonard <at> gmail <dot> com
Em 22/02/2012 22:16, Benilton Carvalho escreveu:
acho q vale um forward da sua pergunta p r-help... vai q tem um jeito
q nao estamos enxergando... :)
2012/2/23 Leonard de Assis <assis.leonard@gmail.com>:
Benilton,
em teoria era pra funcionar sem precisar desta "Gambiarra". Acho até
legal consultar o 'Core team' sobre este pequeno inconveniente, acredito
que seja merecedor de uma implementação para suprir este problema (O CSV
foi gerado pelo Oracle e supostamente estava em um padrão ISO)
Fazendo em 2 etapas funcionou bem. Levou o dobro do tempo, mas funcionou.
[]s
Leonard de Assis
assis <dot> leonard <at> gmail <dot> com
Em 22/02/2012 20:23, Benilton Carvalho escreveu:
putz... isso eh inconveniente... a avaliacao das classes ta
acontecendo antes da avaliacao do quote... =/
faca em dois passos:
1) use o read.table() sem colClasses, mas usando stringsAsFactors=FALSE
2) converta as colunas relevantes para factor e POSIXct
b
2012/2/22 Leonard de Assis <assis.leonard@gmail.com>:
Possuo um csv (+- 350 000 registros) com a seguinte 'xara':
"137831","4/12/2006 17:30:47","0","ENTRE 50 e 100","","","-1","1"
"137549","4/12/2006 11:13:26","0","ENTRE 50 e 100","","","-1","1"
"137936","4/12/2006 19:58:57","0","ENTRE 50 e 100","","","-1","1"
"137661","4/12/2006 13:51:43","0","ENTRE 50 e 100","","","-1","1"
"138046","4/12/2006 23:35:00","0","ENTRE 100 e 200","","","-1","1"
"140275","8/12/2006 17:15:22","0","ENTRE 50 e 100","","","-1","1"
"137837","4/12/2006 17:36:06","0","ENTRE 50 e 100","","","-1","1"
"138210","5/12/2006 12:02:20","0","ENTRE 50 e 100","","","-1","1"
depois de alguns milhares de regístros (105296 regístros depois), ele
adquire o seguinte formato:
"2144767","6/3/2008","0","ENTRE 1600 e 3200","LJ","SITE","1","1"
"2144768","6/3/2008","0","ENTRE 200 e 400","LJ","SITE","1","1"
"2144769","6/3/2008","0","ENTRE 100 e 200","LJ","SITE","2","1"
"2144770","6/3/2008","0","ENTRE 200 e 400","LJ","SITE","1","1"
"2144771","6/3/2008","0","ENTRE 400 e 800","LJ","TVEN","1","1"
"2144772","6/3/2008","0","ENTRE 200 e 400","LJ","SITE","1","1"
"2144773","6/3/2008","0","ENTRE 100 e 200","LJ","SITE","1","1"
"2144774","6/3/2008","0","ENTRE 400 e 800","LJ","SITE","1","1"
mas o problema não chegou a ser essa mudança repentina no formato da data
(creio que existirá um sério problema referente a isto ainda), o problema é
um pouco antes:
rodei o seguinte código:
reg1 <- read.table(
file="CSV/REG0001.csv",
header=FALSE,
colClasses= c('integer', 'POSIXct', 'integer', 'factor', 'factor',
'factor', 'integer', 'integer'),
sep=',', quote='\"', dec=',' )
aí, ao executar, sou surpreendido com o seguinte erro:
Error in scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,
:
scan() expected 'an integer', got '"155638"'
"155638" é a 1ª linha, 1ª variável do CSV
aí vem a pergunta: Como fazer o R entender que precisa ignorar estas '"' ao
ler o csv?
--
[]s
Leonard de Assis
assis <dot> leonard <at> gmail <dot> com
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código
mínimo reproduzível.
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.brhttps://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.