Variação Média Simples Em Movimento

Desvio Padrão e Variância E a coisa boa sobre o Desvio Padrão é que é útil. Agora, podemos mostrar quais alturas estão dentro de um desvio padrão (147mm) da média: então, usando o desvio padrão, temos uma maneira quotstandard de saber o que é normal e o que é extra grande ou extra pequeno. Rottweilers são cães altos. E os Dachshund são um pouco curtos. Mas não diga a eles. Mas. Há uma pequena mudança com dados de exemplo. Nosso exemplo foi para uma População (os 5 cães são os únicos cães nos quais estamos interessados). Mas se o dado for uma amostra (uma seleção tirada de uma População maior), o cálculo muda. Quando você possui valores de dados que não são: a População. Divida por N ao calcular Variance (como fizemos) Uma amostra. Dividir por N-1 ao calcular a diferença Todos os outros cálculos permanecem os mesmos, incluindo a forma como calculamos a média. Exemplo: se os nossos 5 cachorros são apenas uma amostra de uma maior população de cães, dividimos por 4 em vez de 5 assim: Variância da Amostra 108,520 4 27,130 Padrão Padrão de amostra radia27,130 164 (até o mm mais próximo) Pense nisso como um Quotcorrectionquot quando seus dados são apenas uma amostra. Aqui estão as duas fórmulas, explicadas nas Fórmulas de desvio padrão se você quiser saber mais: Estou tentando encontrar um algoritmo eficiente e numericamente estável para calcular uma variância de rolamento (por exemplo, uma variância em uma janela de rolamento de 20 períodos). Estou ciente do algoritmo de Welford que calcula de forma eficiente a variância de corrida para um fluxo de números (requer apenas uma passagem), mas não tenho certeza se isso pode ser adaptado para uma janela de rolamento. Eu também gostaria que a solução evitasse os problemas de precisão discutidos no topo deste artigo. Uma solução em qualquer idioma está bem. Perguntou 28 de fevereiro às 20:46 Eu também enfrento esse problema. Existem algumas publicações excelentes na computação da variância cumulativa em execução, tal como o trabalho de cálculo da corrida de variável de John Cookes, bem como a publicação das explorações digitais, o código Python para variações de amostra e variância de população, covariância e coeficiente de correlação. Simplesmente não consegui encontrar nenhum que fosse adaptado a uma janela rolante. O post de desvio padrão de execução por mensagens subliminares foi fundamental para que a fórmula da janela rolante funcionasse. Jim toma a soma de poder das diferenças quadradas dos valores versus a abordagem Welfords de usar a soma das diferenças quadradas da média. Fórmula da seguinte forma: PSA hoje PSA (ontem) (((x hoje x hoje) - x ontem)) n x valor em sua série temporal n número de valores que você analisou até agora. Mas, para converter a Fórmula de Soma de Força Geral em uma variedade de janelas, você precisa ajustar a fórmula para o seguinte: PSA hoje PSA ontem ((x hoje x hoje) - (x ontem x ontem) valor nx em sua série temporal n número de Os valores que você analisou até agora. Você também precisará da fórmula Rolling Simple Moving Average: SMA hoje SMA ontem ((x hoje - x hoje - n) valor nx em sua série temporal n período usado para sua janela de rolamento. A partir daí, você pode calcular o Variação da População Rodando: População Var hoje (PSA hoje n - n SMA hoje SMA hoje) n Ou a Variedade da Amostra de Rolagem: Amostra Var hoje (PSA hoje n - SMA hoje SMA hoje) (n - 1) Eu abordei este tópico junto com Exemplo de código de Python em uma publicação no blog alguns anos atrás, Executando Variance. Espero que isso ajude. Por favor note: forneci links para todas as postagens de blog e fórmulas de matemática em Latex (imagens) para esta resposta. Mas, devido à minha baixa reputação ( 10) Estou limitado a apenas 2 hiperlinks e absolutamente nenhuma imagem. Desculpe sobre isso. Espero que isso não remova o conteúdo. É uma abordagem de divisão e conquista que possui atualizações de hora O (log k), onde k é o número de amostras. Deve ser relativamente estável pelas mesmas razões pelas quais a soma em pares e os FFTs são estáveis, mas é um pouco complicado e a constante não é excelente. Suponhamos que tenhamos uma sequência A de comprimento m com E médio (A) e variância V (A). E uma seqüência B de comprimento n com E médio (B) e variância V (B). Seja C a concatenação de A e B. Nós temos agora, encha os elementos em uma árvore preto-vermelho, onde cada nó é decorado com média e variância da subárvore enraizada nesse nó. Insira na eliminação direita à esquerda. (Uma vez que só acessou os fins, uma árvore de jogo pode ser O (1) amortizada, mas Im adivinhando amortizado é um problema para a sua aplicação.) Se k for conhecido em tempo de compilação, você provavelmente poderia desenrolar o estilo FFTW do loop interno . Respondeu Feb 28 11 às 21:53 Na verdade, algoritmo Welfords pode AFAICT ser facilmente adaptado para calcular variância ponderada. E ao colocar pesos em -1, você deve efetivamente cancelar os elementos. Eu não verifiquei a matemática se ela permitia pesos negativos, porém, em um primeiro aspecto, eu deveria realizar um pequeno experimento usando ELKI: 14 dígitos de precisão em relação ao algoritmo exato de duas passagens, isso é tanto quanto se pode esperar de Duplica. Note-se que Welford vem a algum custo computacional por causa das divisões extras - leva cerca de duas vezes o algoritmo exato de duas passagens. Se o tamanho da sua janela for pequeno, pode ser muito mais sensível que realmente recomponha a média e, em seguida, em uma segunda passagem, a variância sempre. Eu adicionei esta experiência como teste de unidade para ELKI, você pode ver a fonte completa aqui: elki. dbs. ifi. lmu. debrowserelkitrunktestdelmuifidbselkimathTestSlidingVariance. java também se compara à variância exata de duas passagens. No entanto, em conjuntos de dados distorcidos, o comportamento pode ser diferente. Este conjunto de dados, obviamente, é distribuído uniformemente, mas também tentei uma matriz ordenada e funcionou. Respondeu Jan 5 13 às 13:47 respondido 24 de abril 14 às 18:32 Estou ansioso para ser provado errado sobre isso, mas eu não acho que isso pode ser feito rapidamente. Dito isto, uma grande parte do cálculo é acompanhar o EV sobre a janela, o que pode ser feito com facilidade. Vou sair com a pergunta: você tem certeza de que precisa de uma função com janela. Se você não estiver trabalhando com janelas muito grandes, provavelmente é melhor usar um algoritmo predefinido bem conhecido. Respondeu em 28 de fevereiro às 20:57 Acho que acompanhar suas 20 amostras, Soma (X2 de 1..20) e Soma (X de 1..20) e depois repetir repetidamente as duas somas em cada iteração não é eficiente o suficiente É possível recalcular a nova variância sem somar, esquadrinhar, etc. todas as amostras de cada vez. Respondeu Feb 28 11 às 21:07 Eu acredito que esta solução é suscetível aos problemas de estabilidade mencionados no link na minha publicação original (johndcookstandarddeviation. html). Em particular, quando os valores de entrada e grande e a diferença são menores do que o resultado, pode ser negativo. Não tenho controle sobre a entrada, então eu preferiria evitar essa abordagem. Ndash Abiel Feb 28 11 às 21:11 Oh, eu vejo. Há algo que você pode dizer sobre a entrada Uso previsto É um problema que você pode apenas jogar mais bits em (flutuador de 64 bits, aritmética de arbitragem, etc.) Os erros de arredondamento desaparecem se você conseguir a entrada em figuras significativas, No ndash John Feb 28 11 às 21:16 Jason S: A variância do rolamento é o que é. Pode haver muito acontecendo na transição de 1 milhão para zero, mas essa é a natureza da besta. Isso, e os primeiros 980 dos 1000 1 milhão de valores estão fora da imagem quando a mudança ocorre de qualquer maneira. Meu comentário sugeriu que, se você tivesse números significativos suficientes em seus cálculos, nada disso importaria. Ndash John Feb 28 11 às 21:51 A entrada poderia realmente ser qualquer coisa. A magnitude do valor certamente pode estar nos trilhões, e enquanto os dados originais só terão precisão para alguns pontos decimais, os usuários poderão transformar seus dados (por exemplo dividindo por qualquer escalar) antes de calcular a variância. Ndash Abiel Feb 28 11 às 21:56 Por apenas 20 valores, é trivial adaptar o método exposto aqui (eu não disse rápido, no entanto). Você pode simplesmente pegar uma matriz de 20 dessas classes RunningStat. Os primeiros 20 elementos do fluxo são um pouco especiais, no entanto, uma vez que isso é feito, é muito mais simples: quando um novo elemento chegar, limpe a instância RunningStat atual, adicione o elemento a todas as 20 instâncias e incremente o contador (módulo 20) Que identifica a nova instância completa do RunningStat em qualquer momento, você pode consultar a instância completa atual para obter sua variante em execução. Você obviamente notará que essa abordagem não é realmente escalável. Você também pode notar que existe uma redenção nos números que mantemos (se você for com a classe completa do RunningStat). Uma melhoria óbvia seria manter os 20 minutos Mk e Sk diretamente. Não consigo pensar em uma fórmula melhor usando este algoritmo particular, tenho medo de que sua formulação recursiva ligue nossas mãos. Respondeu 11 de março às 9:01