Historian — хранилище данных для мониторинга и долгосрочных испытаний

Historian — это программная служба для регистрации данных в базе данных и в облаке. Она обеспечивает хранение данных в БД временных рядов в целях долгосрочного мониторинга.

Служба доступна в двух версиях — локальной и полностью управляемой облачной — и позволяет следить за показаниями вибрации, температуры, наклона, деформации, давления и другими данными. Стандартный протокол OPC UA обеспечивает доступ к данным и интеграцию с Dewesoft X, а также SCADA, ERP или любыми другими клиентами OPC UA.

Historian database storage with Grafana client

Особенности Historian

  • БАЗА ДАННЫХ ВРЕМЕННЫХ РЯДОВ. Данные хранятся в современной базе данных InfluxDB с открытым исходным кодом. InfluxDB — это база данных временных рядов с открытым исходным кодом, разработанная InfluxData. Она написана на языке Go и служит для доступного хранения и быстрого извлечения данных временных рядов в таких областях, как контроль операций, метрики приложений, показатели датчиков Интернета вещей и аналитика в реальном времени.
  • ЛОКАЛЬНЫЙ ИЛИ ПОЛНОСТЬЮ УПРАВЛЯЕМЫЙ ОБЛАЧНЫЙ ХОСТИНГ. Службу Historian можно установить на измерительном модуле или в вашей локальной сети, а также использовать полностью управляемую облачную версию. При выборе полностью управляемой версии взимается ежемесячная плата за хранение и обслуживание данных.
  • ДОСТУП В ЛЮБОМ МЕСТЕ И В ЛЮБОЕ ВРЕМЯ. К базе данных Historian можно получить доступ в любое время и из любой точки мира с помощью ПО для сбора данных DewesoftX или любого стандартного веб-браузера на компьютере, планшете или смартфоне.
  • ВИЗУАЛИЗАЦИЯ В GRAFANA. Historian использует еще один замечательный проект с открытым исходным кодом под названием Grafana, который служит для визуализации сохраненных данных. Grafana — это многоплатформенное веб-приложение с открытым исходным кодом для аналитики и интерактивной визуализации. Оно предоставляет диаграммы, графики, а также предупреждения при подключении к источникам данных. Доступно расширение с помощью системы плагинов. Конечные пользователи могут создавать сложные панели мониторинга с помощью интерактивных конструкторов запросов.
  • БЕЗОПАСНОСТЬ ДАННЫХ И ПОВТОРНАЯ ПЕРЕДАЧА. В случае сбоя сети или отключения электроэнергии измерительные модули продолжат сохранять данные в локальном буфере и безопасно передадут показания в базу данных Historian при восстановлении сетевого соединения.
  • НЕОБРАБОТАННЫЕ И СЖАТЫЕ ДАННЫЕ. Необработанные данные всегда хранятся на измерительном приборе для последующего анализа, а Historian выполняет роль долгосрочного облачного хранилища сжатых данных.
  • ТЕНДЕНЦИИ И АНАЛИТИКА. Архивные данные можно в любой момент загрузить из базы Historian и использовать для определения тенденций, глубокого анализа и выявления основных причин неисправностей.

Знакомство с Historian

Современный мир наводнен датчиками. Сейчас мы измеряем больше параметров и в течение более длительных периодов, чем когда бы то ни было в истории, собирая тем самым огромные объемы данных. Поэтому хранение больших данных, их визуализация и доступ к ним становятся все более сложными задачами. Когда дело касается мониторинга производственных объектов или проведения долгосрочных испытаний, проблема встает особенно остро: как и где хранить данные, чтобы они были легко доступны в любое время из любой точки мира? 

Historian обеспечивает надежную передачу данных из нескольких измерительных модулей в базу данных временных рядов, которую можно разместить на сервере или в облаке. Кроме того, к базе данных можно получить доступ через веб-браузер или ПО Dewesoft X.
 
Измерительный модуль запускает программное обеспечение для сбора данных Dewesoft X или Dewesoft RT. Устанавливается связь с базой данных через протокол OPC UA. Служба Historian, находящаяся со стороны сервера, обменивается данными с измерительными модулями, записывает полученные результаты в базу данных или считывает их из базы данных и передает клиентам.
 
Dewesoft Historian передает данные из самого мощного оборудования и программного обеспечения на рынке в облако для архивного и глобального доступа, сохраняя при этом основные функции Dewesoft: надежность, удобство использования и расширяемость.

Знакомство с Historian

Хранилище базы данных временных рядов InfluxDB

В основе Dewesoft Historian лежит современная база данных временных рядов, основанная на проекте с открытым исходным кодом InfluxDB. Базы данных временных рядов были разработаны специально для проектов долгосрочного мониторинга с большими скоростями передачи данных. 

Измерительные устройства хранят данные в современной базе данных InfluxDB с открытым исходным кодом. InfluxDB — это база данных временных рядов с открытым исходным кодом, разработанная InfluxData. Она написана на языке Go и служит для доступного хранения и быстрого извлечения данных временных рядов в таких областях, как контроль операций, метрики приложений, показатели датчиков Интернета вещей и аналитика в реальном времени.

Historian может сохранять следующие типы каналов в течение неограниченного промежутка времени:

  • Синхронные 1D-каналы
  • Асинхронные 1D-каналы
  • БПФ и осциллограммы как асинхронные 2D-каналы
Хранилище базы данных временных рядов InfluxDB

Визуализация данных в веб-клиенте

Веб-клиент основан на другом продукте с открытым исходным кодом под названием Grafana. Он служит для визуализации долгосрочных данных и доступен на любой платформе (Windows, Linux, Mac OS и т. д.), а также на настольных или мобильных устройствах, таких как планшеты или смартфоны. Это идеальное решение для информационной панели.

Grafana предоставляет комплексные возможности визуализации динамических данных и значений в реальном времени. Компания Dewesoft разработала расширения визуализации 2D-каналов для Grafana, позволяющие отображать БПФ и высокоскоростные снимки формы сигнала с осциллографа.

Также мы разработали Grafana Connector на основе Python, который оптимизирует загрузку данных для длинных и коротких временных интервалов, динамически регулируя плотность отображаемых данных. Принцип данного улучшения наглядно показан по ссылке.

Можно установить базовые математические функции и пороговые уровни для любого дисплея, а также настроить оповещения по электронной почте на основе отображаемых данных.

Визуальные дисплеи в Grafana могут быть настроены пользователем или подготовлены как часть готового решения от Dewesoft.

Визуализация данных в веб-клиенте

Доступ к архивным данным в ПО DewesoftX

Параллельно с веб-клиентами к базе данных может обращаться также программа для сбора данных Dewesoft X. С помощью плагина Historian Importer в режиме анализа DewesoftX данные за выбранный период времени загружаются в файл данных Dewesoft.

Dewesoft Historian Importer обычно запускается на клиентском ПК в техническом отделе, которому для дальнейшего углубленного анализа и составления отчетов необходим доступ к базе данных.

После импорта в файл Dewesoft формата *.dxd к данным можно применять широкий спектр математических операций.

Ежедневные, еженедельные, ежемесячные и т. д. отчеты можно легко создавать, используя предустановки отображения и экспортируя данные в PDF, файл Excel или любой другой формат Dewesoft.

Доступ к архивным данным в ПО DewesoftX

Потоковая передача в Dewesoft X в реальном времени

Данные также можно передавать напрямую от измерительных модулей в клиент Dewesoft X с помощью плагина Historian Client, который обеспечивает подробный просмотр в реальном времени.

Поток данных в реальном времени проходит в обход базы данных и поэтому может отображать необработанные высокоскоростные данные, которые не могут не сохраняться в базе. Это позволяет выполнять визуализацию и запись данных по запросу, например, после получения электронного уведомления об аварийном состоянии.

Настройки математических функций и отображения могут применяться к каналам потоковых данных, как и к прочим каналам Dewesoft, что позволяет проводить дальнейший анализ на стороне клиента.

Потоковая передача в Dewesoft X в реальном времени

Интеграция в стороннее корпоративное ПО

Системы SCADA, CMMS или ERP можно подключить к Dewesoft Historian через OPC UA или напрямую к базе данных InfluxDB с помощью ее API.

Служба Historian работает как сервер OPC UA, обеспечивая потоковую передачу данных на сторонний клиент OPC UA.

База данных InfluxDB предоставляет хорошо документированный открытый API, который легко обеспечивает доступ к архивным данным, как правило для интеграции в программу машинного обучения.

Интеграция в стороннее корпоративное ПО

Безопасность данных и функция повторной передачи

В случае сбоя сети или отключения электроэнергии измерительные модули продолжат сохранять данные в локальном буфере и безопасно передадут показания в базу данных Historian при восстановлении сетевого соединения.

Настраиваемый размер локального буфера может составлять до нескольких сотен мегабайт. Допустимое время автономной работы зависит от размера буфера, скорости передачи данных и пропускной способности сети при возобновлении подключения.

OPC UA с функцией повторной передачи настолько надежен, что мы используем его для отправки данных с самолета через 4G, обеспечивая просмотр телеметрии в реальном времени на нескольких базовых станциях.

Безопасность данных и функция повторной передачи

Локальный или полностью управляемый облачный хостинг

Служба Historian является платформенно-независимой и может работать в любой операционной системе. Historian можно установить на измерительном модуле, в вашей локальной сети, на сервере или в облаке.

Мы также предлагаем полностью управляемую облачную версию службы Historian. Она доступна по подписке, на базе ежемесячной абонентской платы за обслуживание и хранение данных. Абонентская плата зависит от количества измеряемых каналов и необходимого объема хранилища. Обо всем остальном — обновлениях, масштабировании системы и обслуживании — мы позаботимся сами.

Свяжитесь с нами для оценки ежемесячной абонентской платы за сервис Historian. Мы сможем оценить стоимость услуг после обсуждения вашего проекта.

Локальный или полностью управляемый облачный хостинг

Политика хранения данных

В базе данных можно настроить объем и срок хранения данных. Данные сжимаются за счет усреднения выборок с более высокой частотой дискретизации данных, а также понижения частоты дискретизации. Продолжительность и скорость передачи данных можно настроить с помощью скриптов конфигурации InfluxDB через язык SQL.

Примерная конфигурация по умолчанию:

Скорость передачи данных

Продолжительность по умолчанию

Комментарий

Необработанные данные

30 дней

Исходная скорость записи данных канала в базу данных.

10 выб./с

60 дней

Необработанные данные сжимаются до 10 выб./с через 30 дней и хранятся в течение 60 дней.

1 выб./с

90 дней

Каналы, сохраненные на частоте более 10 выб./с, сжимаются до 10 выб./с через 60 дней и хранятся в течение 90 дней.

1 выб./мин

360 дней

Каналы, сохраненные при более 1 выб./мин, сжимаются до 1 выб./мин через 90 дней и хранятся в течение года.

1 выб./ч

Бесконечно

Данные при 1 выборке в час не удаляются никогда.


Политика хранения данных

Распределенная архитектура

Historian разработана как распределенная программная система. Каждый ее компонент может работать в другой системе:

  • Измерительные модули — это экземпляры программного обеспечения DewesoftX (Windows) или DewesoftRT (Linux, кросс-платформенное); для обмена данными со службой Historian им требуется серверный плагин Dewesoft OPC UA.
  • Служба Historian (Historian Service) — это основной компонент Dewesoft Historian. Она осуществляет передачу данных между измерительными модулями, базами данных и клиентами. Служба Historian и база данных обычно работают на одном сервере, но это не является обязательным условием.
  • При необходимости Grafana также может работать на другом сервере, поскольку она взаимодействует с базой данных по протоколу HTTPS.
  • Служба Historian поддерживает одновременное подключение нескольких клиентов Dewesoft из разных систем через Интернет или в локальной сети.
  • Для работы системы достаточно синхронизации всех компонентов по протоколу NTP.
Распределенная архитектура

Применение Historian и практические примеры

Historian можно использовать для измерения и мониторинга в самых разных сферах:


Практические примеры:

Применение Historian и практические примеры

Демо-версия Historian в реальном времени

Вы можете попробовать демо-версии проектов Historian для мониторинга в реальном времени на нашем экземпляре Historian и Grafana, установленном в облачном сервере.

Демо-версия Historian в реальном времени

Связанные продукты

Заказ

Спасибо за обращение! Наши эксперты свяжутся с вами в самое ближайшее время.