Outubro 2012 - R-br

plot de uma timeseries univariada com seu modelo SARIMA fitted?
by carlos pombo sonderblohm 18 Out '12

18 Out '12

Bom dia pessoal, estou a tentar fazer um plot de um modelo SARIMA de uma serie temporal> library(stats) library(astsa) library(graphics) SL <-c(-0.289220360456518, -0.412287982738895, -0.30186163626253, -0.325463729174269, -0.950943918812091, -0.621873409193565, -0.454370839103369, -0.201717177298859, -0.0125484487133019, 0.37501627306213, 0.860628415115297, 0.573001978891618, 0.949171439258297, 0.884107931496505, 0.321528581746018, 0.197039928762375, -0.0511602427005644, -0.14797533453817, 0.0997648324025207, -0.356603216398346, -0.486741440877119, -0.796433339558246, -0.797717898751611, -1.03991357760201, -0.272391281348932, -0.280840105493716, -0.220566038983021, -0.092982026032348, -0.737941509253829, -0.25720443208744, 0.281594104947966, 0.295827677265899, 0.381173023222877, 0.410685495501984, 0.0935538548738117, 0.320870181634448, -0.176916211372866, -0.434468255568435, -0.177142353391016, -0.479723718529784, -1.18506069524595, -0.845078218877219, -0.466484365108015, -0.378310531861291, -0.568334035779147, -0.756612458676533, -0.612289956791277, -0.595067441206468, 0.227790700535617, -0.328474103547927, 0.0382893789935963, -0.107472883393398, 0.104836312989005, 0.206908642082212, 0.566811114425553, 0.226484501566576, 0.268795384938629, 0.247658319827575, 0.728293948754543, 0.704287103883026, 0.665057803685019, 1.01752383083208, 1.34104381438303, 1.10724539596799, 0.850746327229352, 0.746239914170796, 0.665531282137068, 0.469573210434806, -0.0626525410819481, -0.294702780105021, -0.160850370184094, 0.511318161080905) SL <- ts(SL, start = c (1995, 1), freq = 12) #transformação numa ts ar1 <-sarima(SL, 1,0,0,0,0,0,12) #o modelo seleccionado plot(SL, type ='o')) # o plot da serie original lines(fitted(ar1),col=2) # estou a tentar adicionar o modelo fitted a meus dados Mas não consigo fazer o grafico pretendido, quero fazer que o grafico tenha os pontos o linhas da serie original e no mesmo grafico, o modelo ajustado para ver como bate com os dados originais, alguma dica? Meu R es: R version 2.13.1 (2011-07-08) Copyright (C) 2011 The R Foundation for Statistical Computing ISBN 3-900051-07-0 Platform: x86_64-pc-mingw32/x64 (64-bit) SO, windows 7 Obrigado Carlos -- Carlos A. Pombo Sonderblohm PhD Student on Marine Science (Fisheries) Faculdade de Ciências e Tecnología Universidade do Algarve, Campus de Gambelas 8005-139 Faro Portugal Tef. 289 800 905 ext. 7605

1 0

Trabalhar com muitos dados
by Roney Fraga 18 Out '12

18 Out '12

Caros, Estou trabalhando com os dados dos censos populacionais de 2000 e 2010. A minha dificuldade é o volume de dados, pois cada censo tem aproximadamente 20 milhões de linhas. Considerando os dados estão em arquivos .csv, um único aquivo de 12 GB para o censo de 2010 e um arquivo para cada estado no censo de 2000, que totalizam 11 GB. Utilizo um notebook com processador Intel Core i5 2410M, 8 GB de ram com 3 GB de SWAP e o sistema operacional é o Arch Linux. Tenho quatro dúvidas que estão abaixo em meio da minha explicação sobre os problemas que venho enfrentando. Para ler os arquivos .csv conheço as seguintes opções: a) trabalhar com um banco de dados relacional. R.: estou com um problema com o postgresql que ainda não tenho solução, portanto, essa alternativa esta descartada no momento. b) utilizar o sqldf. R.: acredito que o sqldf não é eficiênte para trabalhar com arquivos grandes, o processo é encerrado antes de concluir a operação. Exemplo: > library(sqldf) > read.csv.sql('censo00ba1.csv', sql = "select V0102 from file", header = TRUE, sep = ",") [ reached getOption("max.print") -- omitted 1498127 rows ] Warning messages: 1: closing unused connection 4 (censo00ba1.csv) 2: closing unused connection 5 (censo00ba1.csv) 1ª dúvida: isso sempre acontece com o sqldf, ou alguém consegue utilizá-lo com para ler arquivos grandes? c) utilizar o comando cut e grep do Linux/Mac para filtrar os dados e ter um arquivo .csv menor, dessa forma é possível ler o arquivo pelo comando do R, read.csv(). R.: utilizei essa opção. Exemplo: cut -d',' -f1,4,5,6,10,79,81,84,91,92,95,97,111,113,114,149,150,188 br2010.csv > br2010b.csv Uma vez superada a dificuldade da importação dos dados deletei algumas coisas e fiquei com três arquivos com as seguintes dimensões: > dim(cs);dim(cs2000);dim(cs2010) [1] 6077327 23 # censos 2000 e 2010 [1] 2865716 23 # censo 2000 [1] 3211611 23 # censo 2010 Quanto ao processamento: d) Consigo rodar regressão simples para o censo de 2000 e para o censo de 2010 separadamente, como segue exemplo: > ma <- lm(lnrenda ~ factor(ee) + idade + idade2 + factor(tt) + factor(cor.raca) + rural + feminino + migrante + factor(UF), data=cs2000) > mb <- lm(lnrenda ~ factor(ee) + idade + idade2 + factor(tt) + factor(cor.raca) + rural + feminino + migrante + factor(UF), data=cs2010) mas não consigo rodar o mesmo modelo para os dados do arquivo 'cs', que tem 6.077.327 linhas, que é censo 2000 mais censo 2010. Pois, aparece a seguinte mensagem de erro: > mc <- lm(lnrenda ~ factor(ee) + idade + idade2 + factor(tt) + factor(cor.raca) + rural + feminino + migrante + factor(UF) + factor(ano), data=cs) Error: cannot allocate vector of size 2.0 Gb 2ª dúvida: qual procedimento posso utilizar para solucionar esse problema de rodar a regressão das 6.077.327 observações? Um amigo indicou aumentar a memória SWAP, essa é uma boa opção? 3ª dúvida: ao realizar um processo que demanda muita memória ram o R não consegue realizar outro processo pesado em seguida, pois a memória fica ocupada. Exemplo, ao rodar uma regressão em uma base de dados com 3 milhões de linhas eu não consigo realizar outra regressão pq a memória fica cheia. Dúvida, tem como 'limpar' os dados da memória para poder realizar outros cálculos? 4ª dúvida: trabalhar com paralelismo pode auxiliar nesse tipo de processamento? Grato pela atenção. Roney

8 11

Re: [R-br] Informação sobre efeito marginal para Modelos Logit Ordenado Generalizado
by Ivan Bezerra Allaman 17 Out '12

17 Out '12

fitted(mod) e terás o que quer! (s,f,p) Allaman \begin{signature} <<>>= Prof. Dr. Ivan Bezerra Allaman Universidade Estadual de Santa Cruz Departamento de Ciências Exatas e Tecnológicas Ilhéus/BA - Brasil Fone: +55 73 3680-5596 E-mail: ivanalaman@yahoo.com.br/ivanalaman@gmail.com @ \end{signature}

4 4

RecordLinkage
by Fátima Lima Paula 16 Out '12

16 Out '12

Prezados, alguém que seja íntimo do pacote RecordLinkage para me dar uma luz? Tenho um banco de dados de internados e quero buscar reinternação. Quais os tratamentos que preciso fazer no banco? Como vou relacionar um banco com ele mesmo, vou usar o comando compare.dedup? Não sei quando usar fonética. Desculpe, mas não manjo nada disso. Obrigada Fátima

2 2

Função dist()
by Alisson Lucrecio 16 Out '12

16 Out '12

Caro colegas da lista r-br, Boa tarde. Eu preciso aplicar a função dist() para calcular a distancia euclidiana de uma planilha. Quando aplico a função ela considera a rownames, porem eu nao quero que ela considere a rownames e considere uma coluna com os tratamento que estão na primeira coluna da minha tabela. Como faço isso? Obrigado. Alisson Lucrécio da Costa

2 1

Informação sobre efeito marginal para Modelos Logit Ordenado Generalizado
by Abel Brasil Ramos da Silva 16 Out '12

16 Out '12

Olá a todos, Estou atualmente trabalhando com modelos logit ordenados generalizados, estou trabalhando no R atráves do pacote VGAM (vector generalized linear and additive model) na função vglm(). Bom, eu consigo estimar o modelo com ou sem hipótese de regressão paralela (proportional odds model). Meu objetivo é estimar o efeito marginal da probabilidade, para isso, utilizo a função margeff() contida no pacote. Porém, a função executa o efeito para cada indivíduo, sem erro-padrão e estatística de teste. Então, gostaria de saber se existe outro modo (ou pacote) de estimar tais efeitos marginais de forma completa. P.S: já utilizei as funções clm (pacote ordinal) e polr() (pacote MASS) e não obtive sucesso. Agradeço a ajuda. Abel Brasil Estatístico - UFC

4 6

Base Geográfica de Coordenadas
by Listeiro 037 16 Out '12

16 Out '12

Olá a todos. Há algum tempo tinha perguntado sobre uma base geográfica de coordenadas. Lá no site do IBGE não consegui muita coisa, então continuei procurando. Daí encontrei este site: http://www.maxmind.com/en/worldcities E este link para download: http://www.maxmind.com/download/worldcities/worldcitiespop.txt.gz Possui coordenadas de localidades do mundo todo. No site é dito que constam estes dados: Country Code ASCII City Name City Name Region Population Latitude Longitude Dos quais os mais importantes seriam as coordenadas. Como ele possui 3173959 linhas, 40 MB em arquivo de texto compactado e 144 MB quando descompactado, fica difícil verificar a correção de todas essas coordenadas, mas digo que vi alguma linha duplicada. Creio haver nesta relação cerca de 235 códigos de países diferentes. O texto pode ser trabalhado e modificado com algum script tipo Perl, AWK ou no próprio R, até para ser transformado em SQL. Se alguém souber algo sobre a qualidade destes dados, eu agradeceria.

1 0

Família APPLY...
by andrebvs 16 Out '12

16 Out '12

6 7

get.best.arima <- function (Error in solve.default(res$hessian * n.used) : Lapack routine dgesv: system is exactly singular)
by carlos pombo sonderblohm 15 Out '12

15 Out '12

Caros amigos, estou a correr uma função para obter o *best fitting model* baseado no AIC. Esta função esta no livro de Introductory time series with R, de Metcalfe and Cowperwait na pagina 144, dispoinivel no site: http://tur-www1.massey.ac.nz/~pscowper/ts/scripts.R a serie a modelar es structure(c(-0.289220360456516, -0.412287982738894, -0.301861636262529, -0.325463729174269, -0.95094391881209, -0.621873409193565, -0.454370839103367, -0.201717177298859, -0.0125484487133019, 0.375016273062132, 0.860628415115299, 0.573001978891618, 0.949171439258297, 0.884107931496505, 0.321528581746019, 0.197039928762376, -0.0511602427005631, -0.14797533453817, 0.0997648324025207, -0.356603216398344, -0.486741440877118, -0.796433339558245, -0.79771789875161, -1.03991357760201, -0.272391281348931, -0.280840105493716, -0.220566038983019, -0.0929820260323471, -0.737941509253828, -0.257204432087439, 0.281594104947967, 0.295827677265899, 0.381173023222876, 0.410685495501985, 0.0935538548738126, 0.320870181634449, -0.176916211372864, -0.434468255568435, -0.177142353391016, -0.479723718529783, -1.18506069524595, -0.845078218877218, -0.466484365108014, -0.37831053186129, -0.568334035779147, -0.756612458676532, -0.612289956791276, -0.595067441206467, 0.227790700535618, -0.328474103547926, 0.0382893789935963, -0.107472883393397, 0.104836312989006, 0.206908642082212, 0.566811114425555, 0.226484501566576, 0.268795384938631, 0.247658319827575, 0.728293948754544, 0.704287103883027, 0.66505780368502, 1.01752383083208, 1.34104381438303, 1.10724539596799, 0.850746327229352, 0.746239914170797, 0.665531282137069, 0.469573210434808, -0.0626525410819472, -0.29470278010502, -0.160850370184093, 0.511318161080906), .Tsp = c(1995, 2000.91666666667, 12), class = "ts") a função es # Chapter 7, p144 get.best.arima <- function(x.ts, maxord = c(1,1,1,1,1,1)) { best.aic <- 1e8 n <- length(x.ts) for (p in 0:maxord[1]) for(d in 0:maxord[2]) for(q in 0:maxord[3]) for (P in 0:maxord[4]) for(D in 0:maxord[5]) for(Q in 0:maxord[6]) { fit <- arima(x.ts, order = c(p,d,q), seas = list(order = c(P,D,Q), frequency(x.ts)), method = "CSS") fit.aic <- -2 * fit$loglik + (log(n) + 1) * length(fit$coef) if (fit.aic < best.aic) { best.aic <- fit.aic best.fit <- fit best.model <- c(p,d,q,P,D,Q) } } list(best.aic, best.fit, best.model) } O erro esta aqui: > best.arima.SLCENT <- get.best.arima(SLCENT, maxord = c(2,2,2,2,2,2)) Error in solve.default(res$hessian * n.used) : Lapack routine dgesv: system is exactly singular Muito obrigado Carlos P.D.: meu R es R version 2.13.1 (2011-07-08) Copyright (C) 2011 The R Foundation for Statistical Computing ISBN 3-900051-07-0 Platform: x86_64-pc-mingw32/x64 (64-bit) -- Carlos A. Pombo Sonderblohm PhD Student on Marine Science (Fisheries) Faculdade de Ciências e Tecnología Universidade do Algarve, Campus de Gambelas 8005-139 Faro Portugal Tef. 289 800 905 ext. 7605

1 0

como transformar uma matriz em uma lista de submatrizes?
by Cleber N.Borges 15 Out '12

15 Out '12

Olá a todos, Como eu faço para transformar uma matrix com n linhas e 4 colunas em uma lista de comprimento n onde cada objeto dessa lista é uma submatriz 2x2 (formada a partir de cada linha da matriz original)? Agradeço antecipadamente por qualquer ajuda. Cleber N.Borges # exemplo set.seed(12345) m <- matrix( runif(2*4), ncol=4, nrow=2 ) m list( matrix(m[1,],nc=2,nr=2), matrix(m[2,], nc=2,nr=2))

3 2