OI, obrigada pela resposta. Mas acredite, tenho de usar fora da memória RAM. Para manipular os dados, consegui com o pacote ffbase e Biglm, no entanto, no caso de análise discriminante e fatorial, o R não roda, ele trava e acusam excesso de tempo gasto para computar o que eu quero. Alguém conhece algum pacote? Em Segunda-feira, 11 de Julho de 2016 18:07, Leonardo Fontenelle via R-br <r-br@listas.c3sl.ufpr.br> escreveu: A CRAN Task View para High Performance Computing pode lhe dar algumas opções. Este artigo sobre Big Data no R também é muito citado.  Você precisa mesmo de manter seus dados fora da RAM? Não é fácil estourar a memória RAM com dados de PNAD, embora eu nunca tenha tentado usar todos dados do Censo de uma só vez. Além disso, você frequentemente pode restringir-se apenas a um subconjunto de variáveis, o que facilita em muito a leitura dos dados e sua alocação na RAM.  Se o motivo de você achar isso é o read.fwf travar, tente importar os dados com alguma alternativa antes de concluir isso. Uma opção é usar a função do pacote readr, e outra é converter para csv usando o fwf2csv do pacote descr e então importar com o fread do pacote data.table.  Talvez a dificuldade maior seja com funções pouco otimizadas. Quando alguém se dá ao trabalho de escrever algo em C ou C++, o resultado costuma ser mais escalável do que código escrito. Além disso, é necessário tomar cuidado com laços for ou apply (que é um for disfarçado). Também sugiro considerar com carinho o uso de data.table em vez de data.frame (outra alternativa parece ser o tibble, mas não testei).  Espero ter ajudado.  Leonardo Ferreira Fontenelle   Em Seg 11 jul. 2016, às 12:24, Edimeire Alexandra Pinto via R-br escreveu: OI Gente.  Eu descobri que para grandes conjuntos de dados, tipo Censo, Pnad, etc, existe o pacote ffbase, dplyr, sendo que para usar modelos lineares generalizados, podemos usar o pacote. biglm.  No entanto, preciso usar técnicas multivariadas, tipo Análise Fatorial e Discriminante. Alguém sabe qual posso usar quando trabalhamos com dados que "explodem" a memória do R?   Agradeço a todos. _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.   _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forne� c�igo m�imo reproduz�el.

On 12/07/16 21:33, Edimeire Alexandra Pinto via R-br wrote:

análise discriminante e fatorial

Curiosidade: como você está fazendo essas duas análises? Ambas essas análises só dependem da matriz de covariância e do número de observações, não das observações propriamente. Se você tem, digamos, 100 variáveis, tanto faz ter 1mil ou 1bilhão de dados pois a matriz de covariância tem a mesma dimensão. Elias

Oi Edimeire, On 13/07/16 23:24, Edimeire Alexandra Pinto wrote:

analisar pressupostos, por exemplo, multicolinearidade, outliers, etc.

Há várias controvércias em testar normalidade em grandes conjuntos de dados. Veja este exemplo: http://stats.stackexchange.com/questions/2492/is-normality-testing-essential... Ainda sobre matriz de covariancia, veja uma "saída": http://stackoverflow.com/questions/12670972/doing-pca-on-very-large-data-set... Porém, gostaria de sugerir dar uma olhada no livro "Elementos de aprendizado estatístico" cujo pdf está disponível free na página do segundo autor em http://statweb.stanford.edu/~tibs/ElemStatLearn/ Esse livro aborda desde regressão, classificação até técnicas mais comums em "Aprendizado de máquina". Se alguém quiser uma introdução à redes neurais, por exemplo, sobre a ótica estatística, essa é uma boa referência. Os autores desenvolveram um pacote no R (o 'glmnet') que implementa de forma muito eficiente a técnica de 'elastic net' e LASSO (regressão regularizada). Só para ter uma idéia dessa eficiência considere o caso de uma regressão com matriz X esparsa. Consegui fazer um teste com 15milhões de linhas e 1 milhão de colunas em 13 segundos (mas a matriz X era realmente muito esparsa tendo "apenas" ~60milhões de não zeros). Notar que os autores estimaram uma rede elástica com (100 regressões) com 54 milhões de dados e 7 milhões de preditores em 2 horas! ver isso no slide 17 (pág. 40) em http://web.stanford.edu/~hastie/TALKS/SLBD_new.pdf Olha abaixo um exemplo (matriz não esparsa) e note que é mais rápido fazer 100 regressões que criar a matriz!

### tamanhos n = 1e6

k = 200

### matriz de covariaveis system.time(x <- matrix(rnorm(n*k), n, k)) user system elapsed 13.757 0.152 13.932

print(object.size(x), unit='Mb') 1525.9 Mb

### resposta: 2 grupos g2 = sample(1:2, n, replace=TRUE)

### LDA require(MASS)

system.time(l2 <- lda(x=x, grouping=g2)) ### 4 cores: 7.55gb user system elapsed 156.564 9.146 69.960

### regressao logistica regularizada require(glmnet)

system.time(fit2 <- glmnet(x, g2, family="binomial")) ### 1 core 3.4Gb user system elapsed 3.796 0.053 3.855

Note a grande diferença em eficiencia (com as opções default glmnet faz 100 regressões!). A vantagem da rede elástica é que a seleção de variáveis importantes é feita automaticamente. Elias