ks.test ajuda em resultados
Kolmogorov - Smirnov test no R, Pessoal, quero verificar se um conjunto de dados tem distribuição uniforme (0,1). Daí através da função ks.test, uso, por exemplo, o comando ks.test(x, "punif"). Para um conjutno de dados que possuo esse comando apresenta valor abaixo de 0.5 o que significa que meus dados não possuem a distribuição uniforme. Só que essa mesma função pode ser utilizada para comparar se duas amostras possuem a mesmadistribuição, por exemplo ks.test(x, y), daí criei uma variável y, através de um runif (uma uniforme randomica) e testei com a X e resultado foi aceito (acima de 0.20, no meu caso). Como isso é possível???? seria x então uniforme ou não, como é possível quando utilizado "punif" dar que não oe quando comparado a uma variável uniforme criada aleatorimente por mim acusar ter a mesma distribuição?? Desde já agradeço e peço desculpas pela "trivialidade" da pergunta.
Você acredita que a cada vez que gerar uma amostra aleatória y da uniforme ao aplicar o ks.test(x, y) o resultado será sempre o mesmo? Testar de x tem distribuição uniforme é diferente de testar se x e y tem a mesma distribuição, mesmo que você saiba a distribuição que gerou y é a uniforme. Imagine a situação, vou fazer um teste para a média de x (normal) contra o valor hipotético 3. Você acredita que é coerente simular y de uma normal com média 3 e usar a média amostral de y como valor hipotético no meu teste de hipótese? E se eu simular de novo, a média amostral de y vai ser a mesma? Qual a conclusão? À disposição. Walmes. ========================================================================== Walmes Marques Zeviani LEG (Laboratório de Estatística e Geoinformação, 25.450418 S, 49.231759 W) Departamento de Estatística - Universidade Federal do Paraná fone: (+55) 41 3361 3573 VoIP: (3361 3600) 1053 1173 e-mail: walmes@ufpr.br twitter: @walmeszeviani homepage: http://www.leg.ufpr.br/~walmes linux user number: 531218 ==========================================================================
Walmes e Benilton Agradeço pelas ilustrações, vou fazer o dever de casa. Desculpem minha falta de atenção. ________________________________ De: Walmes Zeviani <walmeszeviani@gmail.com> Para: r-br@listas.c3sl.ufpr.br; julio cesar araujo <julio_economia@yahoo.com.br> Enviadas: Quarta-feira, 16 de Novembro de 2011 9:00 Assunto: Re: [R-br] ks.test ajuda em resultados Você acredita que a cada vez que gerar uma amostra aleatória y da uniforme ao aplicar o ks.test(x, y) o resultado será sempre o mesmo? Testar de x tem distribuição uniforme é diferente de testar se x e y tem a mesma distribuição, mesmo que você saiba a distribuição que gerou y é a uniforme. Imagine a situação, vou fazer um teste para a média de x (normal) contra o valor hipotético 3. Você acredita que é coerente simular y de uma normal com média 3 e usar a média amostral de y como valor hipotético no meu teste de hipótese? E se eu simular de novo, a média amostral de y vai ser a mesma? Qual a conclusão? À disposição. Walmes. ========================================================================== Walmes Marques Zeviani LEG (Laboratório de Estatística e Geoinformação, 25.450418 S, 49.231759 W) Departamento de Estatística - Universidade Federal do Paraná fone: (+55) 41 3361 3573 VoIP: (3361 3600) 1053 1173 e-mail: walmes@ufpr.br twitter: @walmeszeviani homepage: http://www.leg.ufpr.br/~walmes linux user number: 531218 ==========================================================================
Walmes, Experiência própria: O conceito de aleatório é o principal gargalo para muitos entenderem Estatística. Muitos entendem a média, mas ignoram completamente o desvio padrão (fruto justamente deste aleatório) Quando eu mexia com certificação de maquinas para cassino, a tarefa mais complicada que tive foi justamente provar para os donos de cassino o conceito de que 90% de retribuição era em longo termo, não a cada dia ou turno de colheita (ou sangria) das máquinas. Resumo: resta a nós, tentar explicar este conceito em toda oportunidade que temos. []s Leonard de Assis assis<dot> leonard<at> gmail<dot> com Em 16/11/2011 09:00, Walmes Zeviani escreveu:
Você acredita que a cada vez que gerar uma amostra aleatória y da uniforme ao aplicar o ks.test(x, y) o resultado será sempre o mesmo? Testar de x tem distribuição uniforme é diferente de testar se x e y tem a mesma distribuição, mesmo que você saiba a distribuição que gerou y é a uniforme. Imagine a situação, vou fazer um teste para a média de x (normal) contra o valor hipotético 3. Você acredita que é coerente simular y de uma normal com média 3 e usar a média amostral de y como valor hipotético no meu teste de hipótese? E se eu simular de novo, a média amostral de y vai ser a mesma? Qual a conclusão?
À disposição. Walmes.
========================================================================== Walmes Marques Zeviani LEG (Laboratório de Estatística e Geoinformação, 25.450418 S, 49.231759 W) Departamento de Estatística - Universidade Federal do Paraná fone: (+55) 41 3361 3573 VoIP: (3361 3600) 1053 1173 e-mail: walmes@ufpr.br <mailto:walmes@ufpr.br> twitter: @walmeszeviani homepage: http://www.leg.ufpr.br/~walmes <http://www.leg.ufpr.br/%7Ewalmes> linux user number: 531218 ==========================================================================
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Em 16/11/2011 12:36, Leonard de Assis escreveu:
Walmes,
Experiência própria: O conceito de aleatório é o principal gargalo para muitos entenderem Estatística. Muitos entendem a média, mas ignoram completamente o desvio padrão (fruto justamente deste aleatório)
Quando eu mexia com certificação de maquinas para cassino, a tarefa mais complicada que tive foi justamente provar para os donos de cassino o conceito de que 90% de retribuição era em longo termo, não a cada dia ou turno de colheita (ou sangria) das máquinas.
O que é extremamente curioso, dado que donos de cassinos deveriam entender o que é aleatório posto que é o ramo de atividade deles!!!
Resumo: resta a nós, tentar explicar este conceito em toda oportunidade que temos.
Mais do que isso, temos que nos esforçar para que esse conceito seja ensinado de maneira mais didática e acessível a toda a população. -- Cesar Rabak GNU/Linux User 52247. Get counted: http://counter.li.org/
O teste de KS para 1 amostra (qdo vc usa punif) mede a distancia entre a distribuicao empirica da sua amostra 'x' e a distribuicao teorica da uniforme (via punif). O teste de KS para 2 amostras (seu segundo caso), mede a distancia entre as duas distribuicoes empiricas (note a diferenca). Por sinal, note que, ao rejeitar a hipotese nula, vc nao pode dizer que ela e' falsa... Tudo o que vc pode afirmar e' que, com os dados que voce possui, vc nao tem evidencias que suportem a hipotese nula. E' uma diferenca sutil, mas essencial para todos os que usam testes de hipotese. Para ilustracao: gere trocentas amostras com distribuicao normal... faca o teste de hipotese (usando KS) de normalidade para cada uma das amostras... Se vc preferir o ponto de corte de 5% para o p-valor e usa-lo como criterio de rejeicao, vc observara' que vc rejeitara' cerca de 5% dos conjuntos de dados e ainda assim a hipotese nula eh verdadeira (afinal todos os dados sao normais).... Para facilitar sua vida no "dever de casa": prop.table(table(replicate(10000, ks.test(rnorm(10), pnorm)$p.value < .05))) b 2011/11/16 julio cesar araujo <julio_economia@yahoo.com.br>:
Kolmogorov - Smirnov test no R,
Pessoal, quero verificar se um conjunto de dados tem distribuição uniforme (0,1). Daí através da função ks.test, uso, por exemplo, o comando ks.test(x, "punif"). Para um conjutno de dados que possuo esse comando apresenta valor abaixo de 0.5 o que significa que meus dados não possuem a distribuição uniforme. Só que essa mesma função pode ser utilizada para comparar se duas amostras possuem a mesma distribuição, por exemplo ks.test(x, y), daí criei uma variável y, através de um runif (uma uniforme randomica) e testei com a X e resultado foi aceito (acima de 0.20, no meu caso). Como isso é possível???? seria x então uniforme ou não, como é possível quando utilizado "punif" dar que não oe quando comparado a uma variável uniforme criada aleatorimente por mim acusar ter a mesma distribuição??
Desde já agradeço e peço desculpas pela "trivialidade" da pergunta.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Muito bom, Benilton! Ainda prefiro, pra esses casos, um bom qq-plot, apesar de usar a estatística do K-S como critério de parada em alguns métodos. Em 16 de novembro de 2011 09:16, Benilton Carvalho < beniltoncarvalho@gmail.com> escreveu:
O teste de KS para 1 amostra (qdo vc usa punif) mede a distancia entre a distribuicao empirica da sua amostra 'x' e a distribuicao teorica da uniforme (via punif). O teste de KS para 2 amostras (seu segundo caso), mede a distancia entre as duas distribuicoes empiricas (note a diferenca).
Por sinal, note que, ao rejeitar a hipotese nula, vc nao pode dizer que ela e' falsa... Tudo o que vc pode afirmar e' que, com os dados que voce possui, vc nao tem evidencias que suportem a hipotese nula. E' uma diferenca sutil, mas essencial para todos os que usam testes de hipotese.
Para ilustracao: gere trocentas amostras com distribuicao normal... faca o teste de hipotese (usando KS) de normalidade para cada uma das amostras... Se vc preferir o ponto de corte de 5% para o p-valor e usa-lo como criterio de rejeicao, vc observara' que vc rejeitara' cerca de 5% dos conjuntos de dados e ainda assim a hipotese nula eh verdadeira (afinal todos os dados sao normais)....
Para facilitar sua vida no "dever de casa":
prop.table(table(replicate(10000, ks.test(rnorm(10), pnorm)$p.value < .05)))
b
2011/11/16 julio cesar araujo <julio_economia@yahoo.com.br>:
Kolmogorov - Smirnov test no R,
Pessoal, quero verificar se um conjunto de dados tem distribuição uniforme (0,1). Daí através da função ks.test, uso, por exemplo, o comando ks.test(x, "punif"). Para um conjutno de dados que possuo esse comando apresenta valor abaixo de 0.5 o que significa que meus dados não possuem a distribuição uniforme. Só que essa mesma função pode ser utilizada para comparar se duas amostras possuem a mesma distribuição, por exemplo ks.test(x, y), daí criei uma variável y, através de um runif (uma uniforme randomica) e testei com a X e resultado foi aceito (acima de 0.20, no meu caso). Como isso é possível???? seria x então uniforme ou não, como é possível quando utilizado "punif" dar que não oe quando comparado a uma variável uniforme criada aleatorimente por mim acusar ter a mesma distribuição??
Desde já agradeço e peço desculpas pela "trivialidade" da pergunta.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
-- Fernando A.B. Colugnati
Exemplo prático do que comentei no email anterior, hehehe E digo mais sobre os resultados deste comando: Vai ser muita coincidência aparecer TRUE = 0.05, mas se executado "n" vezes, veremos que quando esse "n" cresce, a média deste TRUE ficará nos 0,05. Este fato é bem no sentido do que o Benilton explicou no texto deste email que respondo agora. E viva a Estatística. []s Leonard de Assis assis<dot> leonard<at> gmail<dot> com Em 16/11/2011 09:16, Benilton Carvalho escreveu:
Para facilitar sua vida no "dever de casa":
prop.table(table(replicate(10000, ks.test(rnorm(10), pnorm)$p.value< .05)))
participantes (6)
-
Benilton Carvalho -
Cesar Rabak -
Fernando Colugnati -
julio cesar araujo -
Leonard de Assis -
Walmes Zeviani