Historian – Armazenamento em banco de dados para monitoramento e testes de longa duração

Historian é um serviço de software para armazenamento de dados em banco de dados local ou em nuvem. Ele fornece armazenamento de dados em um banco de dados de arquivos temporais para aplicações de monitoramento de longo prazo.

Monitore sua vibração, temperatura, inclinação, deformação, pressão, e outros dados com um sistema interno ou em um serviço completo de gerenciamento de dados em nuvem. O Protocolo OPC UA​​​​​​​ padrão é suportado para acesso de dados e integração de dados em nosso software de aquisição de dados DewesoftX ou SCADAs, ERPs, ou qualquer outro sistema compatível OPC UA.

Historian database storage with Grafana client

Destaques do Historian

  • BANCO DE DADOS DE ARQUIVOS TEMPORAIS:  Os dados são armazenados em um banco de dados InfluxDB de código aberto de última geração. O InfluxDB é um banco de dados de série temporal de código aberto desenvolvido pela InfluxData. Ele é escrito em Go e otimizado para armazenamento rápido e de alta disponibilidade e recuperação de dados de séries temporais em campos como monitoramento de operações, métricas de aplicativos, dados de sensores da Internet das Coisas e análises em tempo real.
  • ARMAZENAMENTO EM SERVIDOR PRÓPRIO OU ARMAZENAMENTO EXTERNO EM NUVEM TOTALMENTE GERENCIADO: O serviço do Historian pode ser instalado localmente na unidade de medição, sua intranet local, ou podemos fornecer um serviço totalmente gerenciado pela nuvem. Para serviço gerenciado totalmente hospedado, uma taxa mensal se aplica ao armazenamento e manutenção de dados.
  • ACESSÍVEL DE QUALQUER LUGAR E A QUALQUER TEMPO:  Os dados armazenados no banco de dados Historian podem ser acessados de qualquer lugar no mundo e a qualquer tempo utilizando uma função do software de aquisição de dados DewesoftX ou qualquer navegador de internet (web browser) ou qualquer dispositivo eletrônico como computador, tablet, ou smartphone.
  • VISUALISAÇÃO EM GRAFANA:  Historian utiliza outro grande projeto de código aberto chamado Grafana para visualização dos dados armazenados. Grafana é um aplicativo da web de análise e visualização interativa multi-plataforma. Ele fornece tabelas, gráficos e alertas para a web quando conectado a fontes de dados compatíveis. É expansível por meio de um sistema de plug-in. Os usuários finais podem criar painéis de monitoramento complexos usando construtores de consulta interativos.
  • SEGURANÇA E RE-TRANSMISSÃO DE DADOS: Em caso de falha ou de inatividade de rede, as unidades de medição continuarão a armazenar os dados no buffer local e irão transferir os dados com segurança para o banco de dados do Historian quando a conexão de rede for restabelecida.
  • DADOS ORIGINAIS E REDUZIDOS:  Enquanto os dados originais coletados são sempre armazenados na unidade de medição para uma análise aprofundada, o Historian assume a função de armazenamento de dados reduzido a longo prazo no banco de dados em nuvem.
  • TENDÊNCIAS E ANÁLISES: Os dados históricos sempre podem ser recuperados e carregados do banco de dados do Historian e usados ​​para análises de tendências, bem como para análises aprofundadas e identificação da causa raiz.

Introdução do Historian

O mundo está sendo inundado de sensores. Estamos medindo mais parâmetros por períodos mais longos do que nunca, acumulando enormes quantidades de dados. Big data se torna difícil de armazenar, acessar e visualizar. Especialmente quando se trata de monitorar instalações de produção ou conduzir testes de longa duração, o desafio é como e onde armazenar os dados para serem facilmente acessíveis de qualquer lugar do mundo a qualquer momento. 

O Historian permite a transferência confiável de dados de várias unidades de medição para um banco de dados de série temporal que pode ser hospedado em um servidor ou em uma nuvem. Por outro lado, o banco de dados pode ser acessado por meio de um navegador da web ou uma função do software Dewesoft X

A unidade de medição executa uma função do software Dewesoft X ou Dewesoft RT DAQ. Ele se comunica via protocolo OPC UA com o banco de dados. No lado do servidor, um Serviço do Historian trata da comunicação com as Unidades de Medição, grava os dados no banco de dados ou lê os dados do banco de dados e os transfere para os clientes.
 
O Dewesoft Historian traz os dados hardware e software DAQ  mais capaz do mercado para a nuvem para acesso de histórico em qualquer parte do mundo, mantendo os principais recursos do Dewesoft intactos: confiabilidade, usabilidade e expansibilidade.

Introdução do Historian

Armazenamento de Séries Temporais no Banco de Dados InfluxDB

No núcleo do Dewesoft Historian está um banco de dados de série temporal de última geração baseado no projeto de código aberto InfluxDB. Os bancos de dados de séries temporais foram desenvolvidos especificamente para projetos de monitoramento de longo prazo com grandes volumes de dados.  

Os dispositivos de medição armazenam dados em um banco de dados InfluxDB de código aberto de última geração. O InfluxDB é um banco de dados de série temporal de código aberto desenvolvido pela InfluxData. Ele é escrito em Go e otimizado para armazenamento rápido e de alta disponibilidade e recuperação de dados de séries temporais em campos como monitoramento de operações, métricas de aplicativos, dados de sensores da Internet das Coisas e análises em tempo real.

O Historian pode salvar os seguintes tipos de canal por um período de tempo ilimitado:

  • Canais síncronos 1D
  • Canais assíncronos 1D
  • FFTs e Imagens de Gráficos como canais assíncronos 2D
Armazenamento de Séries Temporais no Banco de Dados InfluxDB

Visualização de Dados em Web Client

Web client é baseado em outro produto de código aberto chamado Grafana. Ele fornece a visualização de dados de longo prazo e é acessível em qualquer plataforma - Windows, Linux, Mac OS, etc. em desktops ou dispositivos móveis, como tablets ou smartphones. É uma solução ideal para um painel controle de dados.

Grafana fornece recursos de visualização abrangentes para dados de tendência e valores ao vivo. A Dewesoft desenvolveu extensões de visualização de canal 2D para Grafana para exibir FFTs e tomadas de osciloscópio de alta velocidade.

A Dewesoft também desenvolveu o Grafana Connector baseado em Python que otimiza o carregamento de dados para intervalos de tempo longos e curtos, ajustando dinamicamente a densidade dos dados a serem mostrados. Esta melhoria pode ser claramente testada nesta demonstração.

Cálculos matemáticos básicos e limites podem ser definidos em qualquer tela, bem como alertas de e-mail com base nos dados exibidos.

As telas visuais no Grafana podem ser personalizadas pelo usuário ou preparadas como parte de uma solução pronta para uso pela Dewesoft.

Visualização de Dados em Web Client

Acesso de Dados Históricos no Software DewesoftX

Em paralelo aos clientes da web, o banco de dados também pode ser acessado por uma função do software de aquisição de dados DewesoftX. Usando o plugin Historian Importer no modo DewesoftX Analysis, os dados de um período de tempo escolhido são carregados em um arquivo Dewesoft.

O Dewesoft Historian Importer normalmente é executado em um PC do cliente em um escritório de engenharia onde o banco de dados precisa ser acessado para análises e relatórios mais aprofundados.

Uma vez importado para um arquivo de dados Dewesoft * .dxd, a ampla gama de operações matemáticas da Dewesoft pode ser aplicada aos dados.

Relatórios diários, semanais, mensais, etc. podem ser gerados facilmente aplicando uma configuração de exibição predefinida e exportando dados como PDF, arquivo Excel ou qualquer outro formato de exportação Dewesoft.

Acesso de Dados Históricos no Software DewesoftX

Transmissão de dados em tempo real para o Dewesoft X

Os dados também podem ser transmitidos diretamente das unidades de medição para o PC do cliente com o Dewesoft X usando o plugin do Historian Client, fornecendo uma visualização detalhada em tempo real

O fluxo de dados ao vivo está ignorando o banco de dados e pode, portanto, exibir dados originais de alta velocidade que não são necessariamente salvos no banco de dados. Isso permite a visualização e gravação de dados sob demanda, por exemplo, após receber uma notificação por e-mail sobre um estado de alarme.

A configuração de cálculos matemáticos e de exibição pode ser aplicada aos canais de dados transmitidos como qualquer outro canal Dewesoft, permitindo análises posteriores no lado do cliente.

Transmissão de dados em tempo real para o Dewesoft X

Integração em Software Empresarial de Terceiros

Os sistemas SCADA, CMMS ou ERP podem ser conectados ao Dewesoft Historian por  OPC UA ou diretamente ao banco de dados InfluxDB usando sua API.

O Historian Service atua como um servidor OPC UA, permitindo o fluxo de dados para um cliente OPC UA de terceiros.

O banco de dados InfluxDB fornece uma API​​​​​​​ aberta bem documentada que é fácil de implementar e permite acesso a dados históricos, normalmente para integração em software de aprendizado de máquina.

Integração em Software Empresarial de Terceiros

Funcionalidades de Segurança e Retransmissão de Dados

Em caso de falha ou inatividade da rede, as unidades de medição continuarão a armazenar os dados no buffer local e irão transferir os dados com segurança para o banco de dados do Historian quando a conexão de rede for restabelecida.

O tamanho do buffer local pode ser ajustado para várias centenas de megabytes. O tempo off-line tolerado depende do tamanho do buffer, da taxa de dados e da largura de banda da rede disponível na reconexão.

O OPC UA com função de retransmissão é tão confiável que até mesmo o usamos para enviar os dados do avião por 4G, fornecendo uma visualização de telemetria ao vivo para várias estações base.

Funcionalidades de Segurança e Retransmissão de Dados

Armazenamento em Servidor Próprio ou Armazenamento em Nuvem Totalmente Gerenciado

O serviço Historian é independente de plataforma e pode ser executado em qualquer sistema operacional. O Historian pode ser instalado na própria unidade de medição, em sua intranet local, em seu servidor ou na nuvem.

Também oferecemos um serviço de armazenamento de dados de histórico totalmente gerenciado. O serviço Historian totalmente gerenciado é baseado em uma taxa de assinatura mensal para manutenção e armazenamento. A taxa de assinatura depende do número de canais medidos e do armazenamento necessário para os dados monitorados. Cuidamos de todo o resto - atualizações, dimensionamento do sistema e manutenção.

Para estimar a taxa de assinatura mensal de um historiador totalmente gerenciado, você pode entrar em contato conosco​​​​​​​ e podemos estimar o custo para você após discussão.

Armazenamento em Servidor Próprio ou Armazenamento em Nuvem Totalmente Gerenciado

Política de Retenção de Dados

É possível configurar a quantidade de dados retidos no banco de dados e por quanto tempo. Os dados são reduzidos tomando a média das amostras de taxa de aquisição de dados mais alta e reduzindo a resolução. As durações e taxas de dados podem ser configuradas usando scripts de configuração do InfluxDB via linguagem SQL.

Exemplo de configuração padrão:

Data rateDefault durationComment
Dados
originais
30 diasA taxa de aquisição de dados original na qual o canal foi registrado no banco de dados
10 S/s60 diasOs dados originais têm sua taxa de amostragem reduzida para 10 S/s depois de alguns dias a armazenados por 60 dias.
1 S/s90 diasCanais armazenados a mais de 10 S/s têm sua taxa de amostragem reduzida para 1 S/s depois de 60 dias e armazenados por 90 dias.
1 S/min360 diasCanais armazenados a mais de 1 S/min têm sua taxa de amostragem reduzida para 1 S/min depois de 90 dias e armazenados por um ano.
1 S/hinfinitaDados com taxa de amostragem de 1 amostra por hora nunca são deletados.
Política de Retenção de Dados

Arquitetura Distribuída

Historian é projetado como um sistema de software distribuído. Cada componente pode rodar em um sistema diferente:

  • As unidades de medição são equipamentos que rodam com o software DewesoftX (Windows) ou DewesoftRT (Linux, plataforma cruzada) e exigem o plug-in de servidor OPC UA da Dewesoft para se comunicar com o Historian Service.
  • Historian Service é o componente principal do Dewesoft Historian. Ele lida com a transferência de dados entre unidades de medição, bancos de dados e clientes. O Historian Service e o banco de dados normalmente são executados no mesmo servidor, mas isso não é um requisito.
  • O Grafana também pode ser executado em um servidor diferente, se necessário, pois se comunica com o banco de dados por https.
  • O Historian Service oferece suporte a conexões de várias unidades de medição Dewesoft (Dewesoft clients) ao mesmo tempo de diferentes sistemas na Internet ou em uma rede local.
    A sincronização NTP​​​​​​​ em cada componente é suficiente para a operação do sistema.
Arquitetura Distribuída

Aplicações do Historian e Estudos de Casos

O Historian pode ser usado em muitas aplicações de medição e monitoramento:


Case Studies:

Aplicações do Historian e Estudos de Casos

Demonstração do Historian em Tempo Real

Você pode conferir as demonstrações do Historian em projetos de monitoramento em tempo real em nossa página do Historian e Grafana instalado em nosso servidor em nuvem.

Demonstração do Historian em Tempo Real

Produtos Relacionados

Fale com um especialista

Obrigado por nos contactar. Um de nossos especialistas entrará em contato o mais breve possível.
1