Regressão espacial com variavel transformada log normal
Bom dia pessoal, Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo: TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0 Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
Log so para número maior que zero Em 10/06/2015 10:00, "Samuel luna de almeida" <samuelgrupos@gmail.com> escreveu:
Bom dia pessoal,
Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo:
TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0
Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
log(0) = -Inf Veja que voce tem muitos zeros, mais que 25% dos teus dados, visto que o 1o quartil ainda é zero Não tenhosugestão específica mas acredito que voce poderia: - ver se seus zeros são zeros mesmo ou valores "censurados" abaixo de um cento limite "de detecção" - sendo zeros mesmo eu procurar por algum modelo/distribuição que permitisse modelar esta proporção bem razoável de zeros que voce tem nos teus dados On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Bom dia pessoal,
Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo:
TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0
Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
Se for o caso de dados censurados, há um pacote chamado NADA(NonDetects and Data Analysis) no R, de autoria de Dennis R. Helsel, que apresenta bons resultados. Em 10 de junho de 2015 10:07, Paulo Justiniano <paulojus@leg.ufpr.br> escreveu:
log(0) = -Inf
Veja que voce tem muitos zeros, mais que 25% dos teus dados, visto que o 1o quartil ainda é zero
Não tenhosugestão específica mas acredito que voce poderia: - ver se seus zeros são zeros mesmo ou valores "censurados" abaixo de um cento limite "de detecção"
- sendo zeros mesmo eu procurar por algum modelo/distribuição que permitisse modelar esta proporção bem razoável de zeros que voce tem nos teus dados
On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Bom dia pessoal,
Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo:
TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0
Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Muito obrigado Luis, Paulo e Luis! São zero mesmo (locais onde não há casos para resultarem em taxas)... Consegui gerar lm para a regressão espacial com os dados originais, com muitos zeros, porém com a variável normalizada acho q o "-inf" impede... Será q eu consigo considerar os "-inf" como zero de algum modo? Ou `e o caso de encontrar um modelo/distribuição mais adequado mesmo? Agradecido, Samuel Em 10 de junho de 2015 10:07, Paulo Justiniano <paulojus@leg.ufpr.br> escreveu:
log(0) = -Inf
Veja que voce tem muitos zeros, mais que 25% dos teus dados, visto que o 1o quartil ainda é zero
Não tenhosugestão específica mas acredito que voce poderia: - ver se seus zeros são zeros mesmo ou valores "censurados" abaixo de um cento limite "de detecção"
- sendo zeros mesmo eu procurar por algum modelo/distribuição que permitisse modelar esta proporção bem razoável de zeros que voce tem nos teus dados
On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Bom dia pessoal,
Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo:
TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0
Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Não seria possível utilizar uma regressão Poisson, quasi-Poisson, binomial negativa etc. nos dados originais? Você poderia indicar o numerador da taxa como variável de resposta (inclusive zero, sem resposta), e o denominador (pessoas-tempo em risco, ao algo assim) como "offset". No caso da quasi-Poisson, nem seria necessário separar numerador e denominador; você poderia passar diretamente a taxa. Leonardo Ferreira Fontenelle[1] Em Qua 10 jun. 2015, às 10:34, Samuel luna de almeida escreveu: > Muito obrigado Luis, Paulo e Luis! > > São zero mesmo (locais onde não há casos para resultarem em taxas)... > > Consegui gerar lm para a regressão espacial com os dados originais, > com muitos zeros, porém com a variável normalizada acho q o "-inf" > impede... > > Será q eu consigo considerar os "-inf" como zero de algum modo? Ou `e > o caso de encontrar um modelo/distribuição mais adequado mesmo? > > Agradecido, Samuel > > Em 10 de junho de 2015 10:07, Paulo Justiniano <paulojus@leg.ufpr.br> > escreveu: >> >> log(0) = -Inf >> >> Veja que voce tem muitos zeros, mais que 25% dos teus dados, visto que o 1o quartil ainda é zero >> >> Não tenhosugestão específica mas acredito que voce poderia: >> - ver se seus zeros são zeros mesmo ou valores "censurados" abaixo de um cento limite "de detecção" >> >> - sendo zeros mesmo eu procurar por algum modelo/distribuição que permitisse modelar esta proporção bem razoável de zeros que voce tem nos teus dados >> >> >> >> >> >> On Wed, 10 Jun 2015, Samuel luna de almeida wrote: >> >>> Bom dia pessoal, >>> >>> Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar >>> correlações... >>> A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "- inf" como pode ser visto no >>> summary copiado abaixo: >>> >>> TX_J04_10 LOGNTX_J04 >>> Min. : 0.0 Min. :-Inf >>> 1st Qu.: 0.0 1st Qu.:-Inf >>> Median : 138.4 Median : -4 >>> Mean : 240.7 Mean :-Inf >>> 3rd Qu.: 295.2 3rd Qu.: -4 >>> Max. :9626.1 Max. : 0 >>> >>> Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece: >>> >>> > baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) >>> Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : >>> NA/NaN/Inf in 'y' >>> >>> Será que é por isso mesmo, alguém poderia me indicar uma resolução? >> >> _______________________________________________ >> R-br mailing list >> R-br@listas.c3sl.ufpr.br >> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br >> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível. > > _________________________________________________ > R-br mailing list R-br@listas.c3sl.ufpr.br > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia > de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo > reproduzível. Links: 1. http://lattes.cnpq.br/9234772336296638
Como os dados são contínuos seria necessário considerar uma distribuição contínua com mistura Bernoulli, veja uma proposta aqui: http://jupiter.est.ufmg.br/~posgrad/mestrado/dissertacao_mestrado_zaida%20_q... e um exemplo no script abaixo: ## hurdle model for zero-gamma (zero inflation and continuous outcome) require(INLA) ### rainfall data from Parana' state in Brazil data(PRprec) ### analize data from one location PRprec[301,1:3] y <- as.matrix(PRprec[,-(1:3)])[301,] summary(y) plot.ts(y) if (TRUE) dev.off() ### organize the dataset to build a model for ### smoothing the rainfall amount over the year ### accounting for a smoothed zero probability as well n <- length(y) dat <- list(resp=cbind( c((y>0)+0, rep(NA,n)), c(rep(NA,n), ifelse(y>0,y,NA))), t0=c(1:n, rep(NA,n)), t1=c(rep(NA,n), 1:n)) ### two choices to smooth the rainfall amount form1 <- resp ~ 0 + f(t0, model='rw2', cyclic=TRUE) + f(inla.group(t1, n=73), model='rw1', cyclic=TRUE) form2 <- resp ~ 0 + f(t0, model='rw2', cyclic=TRUE) + f(t1, model='rw2', cyclic=TRUE) inla.setOption(scale.model=TRUE) res1 <- inla(form1, family=c('binomial', 'gamma'), data=dat) res2 <- inla(form2, family=c('binomial', 'gamma'), data=dat) day <- seq(ISOdate(2011,1,1), ISOdate(2011,12,31), 24*3600) par(mfrow=c(2,1), mar=c(3,3,1,1), mgp=c(2,1,0)) plot(day, y>0) for (j in 4:6) { lines(day, 1/(1+exp(-res1$summary.ran$t0[,j])), lty=2) lines(day, 1/(1+exp(-res2$summary.ran$t0[,j])), lty=2, col=2) } plot(day, y, type='l') for (j in 4:6) { lines(day[seq(3,n,5)], exp(res1$summary.ran[[2]][,j]), lty=2) lines(day, exp(res2$summary.ran[[2]][,j]), lty=2, col=2) } Elias
Tentei instalar esta biblioteca INLA e não consegui, por acaso é exclusiva do LINUX ou não está disponível no CRAN? Como os dados são contínuos seria necessário considerar uma distribuição contínua com mistura Bernoulli, veja uma proposta aqui: http://jupiter.est.ufmg.br/~posgrad/mestrado/dissertacao_mestrado_zaida%20_q uiroz.pdf e um exemplo no script abaixo: ## hurdle model for zero-gamma (zero inflation and continuous outcome) require(INLA) ### rainfall data from Parana' state in Brazil data(PRprec) ### analize data from one location PRprec[301,1:3] y <- as.matrix(PRprec[,-(1:3)])[301,] summary(y) plot.ts(y) if (TRUE) dev.off() ### organize the dataset to build a model for ### smoothing the rainfall amount over the year ### accounting for a smoothed zero probability as well n <- length(y) dat <- list(resp=cbind( c((y>0)+0, rep(NA,n)), c(rep(NA,n), ifelse(y>0,y,NA))), t0=c(1:n, rep(NA,n)), t1=c(rep(NA,n), 1:n)) ### two choices to smooth the rainfall amount form1 <- resp ~ 0 + f(t0, model='rw2', cyclic=TRUE) + f(inla.group(t1, n=73), model='rw1', cyclic=TRUE) form2 <- resp ~ 0 + f(t0, model='rw2', cyclic=TRUE) + f(t1, model='rw2', cyclic=TRUE) inla.setOption(scale.model=TRUE) res1 <- inla(form1, family=c('binomial', 'gamma'), data=dat) res2 <- inla(form2, family=c('binomial', 'gamma'), data=dat) day <- seq(ISOdate(2011,1,1), ISOdate(2011,12,31), 24*3600) par(mfrow=c(2,1), mar=c(3,3,1,1), mgp=c(2,1,0)) plot(day, y>0) for (j in 4:6) { lines(day, 1/(1+exp(-res1$summary.ran$t0[,j])), lty=2) lines(day, 1/(1+exp(-res2$summary.ran$t0[,j])), lty=2, col=2) } plot(day, y, type='l') for (j in 4:6) { lines(day[seq(3,n,5)], exp(res1$summary.ran[[2]][,j]), lty=2) lines(day, exp(res2$summary.ran[[2]][,j]), lty=2, col=2) } Elias _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível. --- Este email foi escaneado pelo Avast antivírus. https://www.avast.com/antivirus
Oi Mauro, O INLA não está no CRAN, veja como instalá-lo em http://www.r-inla.org/download Houve perguntas em off sobre o exemplo. Para aqueles que desejam ver mais sobre modelos usando INLA, sugiro iniciar pelos tutoriais em http://www.r-inla.org/examples/tutorials bem como os case studies em http://www.r-inla.org/examples/case-studies Elias Elias
O INLA nóa est[a dispon[ivel no CRAN www.r-inla.org On Thu, 11 Jun 2015, Mauro Sznelwar wrote:
Tentei instalar esta biblioteca INLA e não consegui, por acaso é exclusiva do LINUX ou não está disponível no CRAN?
Como os dados são contínuos seria necessário considerar uma distribuição contínua com mistura Bernoulli, veja uma proposta aqui: http://jupiter.est.ufmg.br/~posgrad/mestrado/dissertacao_mestrado_zaida%20_q uiroz.pdf e um exemplo no script abaixo:
## hurdle model for zero-gamma (zero inflation and continuous outcome) require(INLA)
### rainfall data from Parana' state in Brazil data(PRprec)
### analize data from one location PRprec[301,1:3] y <- as.matrix(PRprec[,-(1:3)])[301,]
summary(y)
plot.ts(y) if (TRUE) dev.off()
### organize the dataset to build a model for ### smoothing the rainfall amount over the year ### accounting for a smoothed zero probability as well n <- length(y) dat <- list(resp=cbind( c((y>0)+0, rep(NA,n)), c(rep(NA,n), ifelse(y>0,y,NA))), t0=c(1:n, rep(NA,n)), t1=c(rep(NA,n), 1:n))
### two choices to smooth the rainfall amount form1 <- resp ~ 0 + f(t0, model='rw2', cyclic=TRUE) + f(inla.group(t1, n=73), model='rw1', cyclic=TRUE) form2 <- resp ~ 0 + f(t0, model='rw2', cyclic=TRUE) + f(t1, model='rw2', cyclic=TRUE) inla.setOption(scale.model=TRUE)
res1 <- inla(form1, family=c('binomial', 'gamma'), data=dat) res2 <- inla(form2, family=c('binomial', 'gamma'), data=dat)
day <- seq(ISOdate(2011,1,1), ISOdate(2011,12,31), 24*3600) par(mfrow=c(2,1), mar=c(3,3,1,1), mgp=c(2,1,0)) plot(day, y>0) for (j in 4:6) { lines(day, 1/(1+exp(-res1$summary.ran$t0[,j])), lty=2) lines(day, 1/(1+exp(-res2$summary.ran$t0[,j])), lty=2, col=2) } plot(day, y, type='l') for (j in 4:6) { lines(day[seq(3,n,5)], exp(res1$summary.ran[[2]][,j]), lty=2) lines(day, exp(res2$summary.ran[[2]][,j]), lty=2, col=2) }
Elias _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
--- Este email foi escaneado pelo Avast antivírus. https://www.avast.com/antivirus
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Mas se são casos, voce poderia ao inves de modelar as taxas com uma distribuição para variáveis contínuas usar as contagens mesmo com modelos binomiais ou Poisson (com offset de população) ou binomial negativo. Isto é geral é equivalente mas melhor que modelar as taxas On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Muito obrigado Luis, Paulo e Luis!
São zero mesmo (locais onde não há casos para resultarem em taxas)...
Consegui gerar lm para a regressão espacial com os dados originais, com muitos zeros, porém com a variável normalizada acho q o "-inf" impede...
Será q eu consigo considerar os "-inf" como zero de algum modo? Ou `e o caso de encontrar um modelo/distribuição mais adequado mesmo?
Agradecido, Samuel
Em 10 de junho de 2015 10:07, Paulo Justiniano <paulojus@leg.ufpr.br> escreveu:
log(0) = -Inf
Veja que voce tem muitos zeros, mais que 25% dos teus dados, visto que o 1o quartil ainda é zero
Não tenhosugestão específica mas acredito que voce poderia: - ver se seus zeros são zeros mesmo ou valores "censurados" abaixo de um cento limite "de detecção"
- sendo zeros mesmo eu procurar por algum modelo/distribuição que permitisse modelar esta proporção bem razoável de zeros que voce tem nos teus dados
On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Bom dia pessoal,
Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo:
TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0
Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
> baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Obrigado pelas considerações mais uma vez. Em 10 de junho de 2015 10:58, Paulo Justiniano <paulojus@leg.ufpr.br> escreveu:
Mas se são casos, voce poderia ao inves de modelar as taxas com uma distribuição para variáveis contínuas usar as contagens mesmo com modelos binomiais ou Poisson (com offset de população) ou binomial negativo.
Isto é geral é equivalente mas melhor que modelar as taxas
On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Muito obrigado Luis, Paulo e Luis!
São zero mesmo (locais onde não há casos para resultarem em taxas)...
Consegui gerar lm para a regressão espacial com os dados originais, com muitos zeros, porém com a variável normalizada acho q o "-inf" impede...
Será q eu consigo considerar os "-inf" como zero de algum modo? Ou `e o caso de encontrar um modelo/distribuição mais adequado mesmo?
Agradecido, Samuel
Em 10 de junho de 2015 10:07, Paulo Justiniano <paulojus@leg.ufpr.br> escreveu:
log(0) = -Inf
Veja que voce tem muitos zeros, mais que 25% dos teus dados, visto que o 1o quartil ainda é zero
Não tenhosugestão específica mas acredito que voce poderia: - ver se seus zeros são zeros mesmo ou valores "censurados" abaixo de um cento limite "de detecção"
- sendo zeros mesmo eu procurar por algum modelo/distribuição que permitisse modelar esta proporção bem razoável de zeros que voce tem nos teus dados
On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Bom dia pessoal,
Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo:
TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0
Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
> baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Obrigado pelas considerações mais uma vez. Vou explorar as possibilidades que me apresentaram e tentar chegar na regressão espacial que é um objetivo da minha an'alise. Em 10 de junho de 2015 13:35, Samuel luna de almeida <samuelgrupos@gmail.com
escreveu:
Obrigado pelas considerações mais uma vez.
Em 10 de junho de 2015 10:58, Paulo Justiniano <paulojus@leg.ufpr.br> escreveu:
Mas se são casos, voce poderia ao inves de modelar as taxas com uma distribuição para variáveis contínuas usar as contagens mesmo com modelos binomiais ou Poisson (com offset de população) ou binomial negativo.
Isto é geral é equivalente mas melhor que modelar as taxas
On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Muito obrigado Luis, Paulo e Luis!
São zero mesmo (locais onde não há casos para resultarem em taxas)...
Consegui gerar lm para a regressão espacial com os dados originais, com muitos zeros, porém com a variável normalizada acho q o "-inf" impede...
Será q eu consigo considerar os "-inf" como zero de algum modo? Ou `e o caso de encontrar um modelo/distribuição mais adequado mesmo?
Agradecido, Samuel
Em 10 de junho de 2015 10:07, Paulo Justiniano <paulojus@leg.ufpr.br> escreveu:
log(0) = -Inf
Veja que voce tem muitos zeros, mais que 25% dos teus dados, visto que o 1o quartil ainda é zero
Não tenhosugestão específica mas acredito que voce poderia: - ver se seus zeros são zeros mesmo ou valores "censurados" abaixo de um cento limite "de detecção"
- sendo zeros mesmo eu procurar por algum modelo/distribuição que permitisse modelar esta proporção bem razoável de zeros que voce tem nos teus dados
On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Bom dia pessoal,
Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo:
TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0
Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
> baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
tente: log(x + 1) Em Qua, 2015-06-10 às 10:34 -0300, Samuel luna de almeida escreveu:
Muito obrigado Luis, Paulo e Luis!
São zero mesmo (locais onde não há casos para resultarem em taxas)...
Consegui gerar lm para a regressão espacial com os dados originais, com muitos zeros, porém com a variável normalizada acho q o "-inf" impede...
Será q eu consigo considerar os "-inf" como zero de algum modo? Ou `e o caso de encontrar um modelo/distribuição mais adequado mesmo?
Agradecido,
Samuel
Em 10 de junho de 2015 10:07, Paulo Justiniano <paulojus@leg.ufpr.br> escreveu:
log(0) = -Inf
Veja que voce tem muitos zeros, mais que 25% dos teus dados, visto que o 1o quartil ainda é zero
Não tenhosugestão específica mas acredito que voce poderia: - ver se seus zeros são zeros mesmo ou valores "censurados" abaixo de um cento limite "de detecção"
- sendo zeros mesmo eu procurar por algum modelo/distribuição que permitisse modelar esta proporção bem razoável de zeros que voce tem nos teus dados
On Wed, 10 Jun 2015, Samuel luna de almeida wrote:
Bom dia pessoal,
Trabalhando com uma variável de taxas que que apresenta muitos valores baixos, fui aconselhado a transforma-la com aplicação de log normal antes de buscar correlações... A variável foi transformada e inserida no dataframe passando a apresentar comportamento normal, no entanto apresenta alguns valores "-inf" como pode ser visto no summary copiado abaixo:
TX_J04_10 LOGNTX_J04 Min. : 0.0 Min. :-Inf 1st Qu.: 0.0 1st Qu.:-Inf Median : 138.4 Median : -4 Mean : 240.7 Mean :-Inf 3rd Qu.: 295.2 3rd Qu.: -4 Max. :9626.1 Max. : 0
Acredito que seja por isso que não estou conseguindo gerar lm para rodar regressão espacial, veja o erro que aparece:
> baseGN04_lm <- lm(LOGNTX_J04 ~ DV_TOTAL + idhm_N_gri, data=baseG04) Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : NA/NaN/Inf in 'y'
Será que é por isso mesmo, alguém poderia me indicar uma resolução?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
participantes (8)
-
Elias T. Krainski -
Leonardo Ferreira Fontenelle -
Luis Iván Ortiz Valencia -
Luis Paulo Braga -
Mauro Sznelwar -
Paulo Justiniano -
salah -
Samuel luna de almeida