Mudança de faísca média

Tenho dados de transmissão em tempo real que entram em faísca e eu gostaria de fazer uma previsão média móvel sobre esses dados de séries temporais. Existe alguma maneira de implementar isso usando uma faísca em Java Ive já mencionada. Gist. githubsamklr27411098f04fc46dcd05revisions e Apache Spark Moving Average, mas ambos esses códigos estão escritos em Scala. Como não estou familiarizado com Scala, não consigo julgar se eu acho útil ou até mesmo converter o código em Java. Existe alguma implementação direta da previsão no Spark Java, pedida 12 de agosto 15 às 12: 44 A Série Temporal para Spark (distribuída como o pacote spark-ts) é uma biblioteca Scala Java Python para analisar conjuntos de dados de séries temporais em larga escala. Está hospedado aqui. Coloque perguntas e comentários no grupo do Google. Ou envie-os diretamente para o ltmailto: spark-tsgooglegroups. Confira o repositório de exemplos para saber o que gosta de usar a biblioteca. Series de tempo para ofertas de Spark: um conjunto de abstrações para manipulação de dados de séries temporais, semelhante ao fornecido para conjuntos de dados menores em Pandas. Matlab. E pacotes Rs zoo e xts. Modelos, testes e funções que permitem lidar com séries temporais de uma perspectiva estatística, semelhante ao fornecido em StatsModels e uma variedade de pacotes Matlab e R. A biblioteca está voltada para casos de uso em finanças (munging tick data, building risk models), mas pretende ser geral o suficiente para que outros campos com dados contínuos de séries temporais, como a meteorologia, possam usá-lo. Atualmente, a biblioteca espera que as séries temporais individuais univariadas possam caber facilmente na memória em cada máquina, mas que as coleções de séries temporais univariadas podem precisar ser distribuídas em várias máquinas. Enquanto as séries temporais que violam essa expectativa representam um monte de divertidos problemas de programação distribuída, eles não tendem a surgir muitas vezes em finanças, onde uma matriz que possui um valor para cada minuto de cada dia de negociação por dez anos precisa de menos de um milhão de elementos . Dependências A biblioteca fica em algumas outras excelentes bibliotecas Java e Scala. Breeze for NumPy-like, álgebra linear BLAS-able. JodaTime para datas e horários. Apache Commons Math para funcionalidades em matemática e estatística em geral. Apache Spark para computação distribuída com recursos em memória. Funcionalidade Manipulação de séries temporais Alinhamento de retalhamento Retardo por data-hora Imposição de valor faltante Conversão entre diferentes layouts de dados da série temporal Série de tempo Matemática e estatísticas Modelos de média móvel ponderada exponencialmente (EWMA) Modelos de média móvel integrada autoregressiva (ARIMA) Modelos de heterocâmeras condicionados autorregressivos generalizados (GARCH) Imposição de dados faltantes Teste de Dickey-Fuller aumentado Teste de Durbin-Watson Teste de Breusch-Godfrey Teste de Breusch-PaganClass SlidingRDDtTgt Todas as Interfaces implementadas: java. io. Serializable, Logging Representa um RDD de agrupamento de itens de seu RDD principal em blocos de tamanho fixo passando um deslizamento Janela sobre eles. O pedido é primeiro baseado no índice de partição e, em seguida, no pedido de itens em cada partição. Isso é semelhante ao deslizamento nas coleções Scala, exceto que se torna um RDD vazio se o tamanho da janela for maior que o número total de itens. Ele precisa ativar um trabalho Spark se o RDD principal tiver mais de uma partição. Para tornar esta operação eficiente, o número de itens por partição deve ser maior do que o tamanho da janela e o tamanho da janela deve ser pequeno, p. 2. Construtor Sumário Construtor e Descrição Método Resumo Modificador e Tipo Método e Descrição DeveloperApi. Implementado por subclasses para calcular uma determinada partição. Implementado por subclasses para retornar o conjunto de partições neste RDD. Opcionalmente substituído por subclasses para especificar preferências de posicionamento. Métodos herdados da classe org. apache. spark. rdd. RDD Métodos herdados da classe O objeto é igual, getClass, hashCode, notify, notifyAll, wait, wait, wait Métodos herdados da interface org. apache. spark. Logging Detalhe do Construtor SlidingRDD Método Detalhe windowSize DeveloperApi. Implementado por subclasses para calcular uma determinada partição. GetPreferredLocations Opcionalmente substituído por subclasses para especificar preferências de posicionamento. GetPartitions Implementado por subclasses para retornar o conjunto de partições neste RDD. Este método só será chamado uma vez, por isso é seguro implementar uma computação demorada nele.