Как Wialon работает с данными
О каких данных идет речь
Начнем с терминов: что в данном случае мы имеем в виду под «данными»?
Данные – это сообщения, которые сохраняет и передает устройство, установленное на объекте. Такие сообщения включают в себя:
время;
информацию от GPS-модуля: координаты, скорость, высоту, количество спутников;
параметры от внешних и внутренних датчиков: уровень топлива от ДУТ, количество оборотов колеса от одометра и так далее.
Wialon принимает эти данные, в случае необходимости вносит в них изменения и обрабатывает.
Расскажем подробно о каждом этапе работы с данными.
Время в Wialon
Для Wialon время – это исключительно важная информация, так как именно по времени происходит сортировка сообщений.
Как это работает: трекер формирует сообщение, используя формат Unix-времени (количество секунд, прошедших с полуночи 1 января 1970 года) и отправляет на сервер Wialon.
Как время влияет на данные
Wialon обрезает время до секунды, а миллисекунды не указывает. При этом популярные трекеры вроде Teltonika, Ruptela, Galileosky могут генерировать более одного сообщения в секунду. При большом потоке сообщений это может привести к путанице, поскольку у Wialon нет другого критерия сортировки сообщений, кроме времени.
Команда разработчиков Wialon рассматривает возможность увеличения размера поля для времени на три символа. Но реализация и тестирование этой доработки – дело небыстрое, так как обработка данных по секундам и миллисекундам должна быть максимально надежной.
Время сохранения сообщения трекером меньше либо равно времени его отправки трекером из своей памяти, и все это меньше либо равно времени прихода на сервер.
Выглядит это так:
Правило Wialon для времени сохранения сообщения
На практике пользователь может столкнуться с ситуацией, которую мы называем «сообщение из будущего»: сервер получает сообщение с меткой времени, которое по его часам еще не наступило. Из-за чего это происходит:
Конфигурация устройства. Если в трекере не установлен часовой пояс UTC+0, то трекер может отправить сообщение на сервер с неправильной меткой времени. В итоге Wialon может получить сообщение с временной меткой «из будущего» и будет вынужден изменить ее. Решение простое – настроить время трекера по UTC+0.
Синхронизация времени. Ситуация характерна для Wialon Local: когда не настроена синхронизация, возможны отклонения по времени у сервера на секунды и даже минуты. Это приводит к нарушению упомянутого выше неравенства. Чтобы этого избежать, администратор сервера должен настроить периодическую синхронизацию времени по NTP (протоколу сетевого времени).
Параметры датчиков
Параметры – это значения в сообщениях, которые описывают состояние отслеживаемого объекта и установленного на него оборудования.
Что осложняет работу с параметрами
Нечитабельность данных. Информация, которую Wialon получает, не всегда понятна пользователю.
Когда пользователь видит значение temperature13, он понимает: речь идет о температуре. Но температуре чего: двигателя, топлива или воздуха? В градусах по Цельсию или Фаренгейту?
И таких вопросов может быть очень много по любому параметру. Каждый производитель трекеров имеет свое представление о том, как нужно записывать значения.
Wialon со своей стороны унифицирует общие для всех трекеров параметры. Например, параметр speed – это всегда скорость, lat, lon – координаты и так далее.
Отсутствие единого стандарта отображения данных. Wialon работает с 2 300 моделями оборудования, и их число растет. Подобная гибкость имеет свои минусы: невозможно автоматически стандартизировать значения параметров при таком количестве оборудования и случаев его использования.
Чтобы расшифровать сообщения от трекеров, вы можете зайти в специальный раздел «GPS/ГЛОНАСС оборудование» на вкладке «Оборудование».
В строке «Поиск оборудования» введите интересующую модель.
Далее выберите вкладку «Параметры».
Вы получите список параметров, их описание и единицы измерения (если это актуально).
Фильтрация данных
Wialon удаляет те данные, которые попадают в категорию неточных согласно настройкам валидности. Все настройки осуществляет пользователь, без них Wialon ничего не удаляет.
Коротко напомним, как работает фильтрация валидности:
Зайдите на вкладку «Дополнительно» у объекта.
Включите раздел «Фильтрация валидности сообщений».
Выберите условия фильтрации. Например, по скорости (наиболее распространенный критерий для фильтрации) или минимальному количеству спутников.
Для трекеров, которые сами могут определить, считается ли сообщение невалидным, воспользуйтесь опцией «Пропускать невалидные сообщения».
Фильтрация валидности сообщений
Датчики
Несмотря на то, что датчики тоже работают с параметрами, они сильно упрощают их отображение для пользователя:
Датчики определяют логику обработки параметра. Каждый из типов датчиков имеет связанные с ним алгоритмы в Wialon. Например, в отчетах для температуры и веса есть отдельные колонки, которые Wialon заполняет, опираясь на тип датчика.
Датчики улучшают доступный функционал. Частый пример от наших партнеров – подключение относительного одометра или датчика пробега, чтобы конечный пользователь получил более точные данные по пробегу и поездкам, чем на основе GPS.
Датчики дают доступ к новому функционалу. Примеров множество: ДУТопределяет сливы, датчик зажигания считает моточасы, а датчик пассажиров назначает пассажиров. Без создания этих датчиков подобный функционал не доступен.
Как датчики обрабатывают данные
Выражение данных через математические формулы. В строке, где указан параметр, пользователь может задать формулу. Например, это может быть простая формула, переводящая метры в километры с помощью коэффициента. Более сложные варианты также доступны: если пользователь хочет увидеть ускорение, он вводит формулу, по которой Wialon делит разность скорости между двумя сообщениями на разность времени между ними.
Таблица расчета. Она позволяет отобразить упрощённые зависимости, используя лишь некоторые из точек, которые интегратор определяет на практике.
Например, тарировка бака при использовании датчика уровня топлива помогает определить соответствие уровня топлива в баке объему этого топлива.
Также с помощью таблицы расчета можно сопоставить значение датчика с диапазоном исходного параметра.
Например, если напряжение больше 23, то датчик зажигания включен, то есть равен 1, а если меньше, то датчик выключен и выдает 0.
Валидация. С помощью валидации можно связать значения нескольких датчиков между собой. Для этого используются не только математические, но и логические операции. Например, проверка на неравенство нулю.
3 основных вида обработки данных
Разобравшись с тем, что такое данные в Wialon и где есть «узкие» места с их предобработкой, переходим к финальной обработке этих данных.
Есть три ключевых метода обработки данных в Wialon, с которыми чаще всего встречаются пользователи. Два из них – онлайн и аналитика – хорошо известны. Третий – события – появился относительно недавно.
Сразу стоит отметить, что в качестве исходные данных эти методы берут одни и те же сообщения.
Онлайн
Алгоритм работы метода обработки данных онлайн – самый простой и прозрачный: он обрабатывает каждое новое сообщение в режиме реального времени.
Вкладка «Мониторинг». На ней рядом со списком объектов есть множество колонок с разными индикаторами. Пользователь также может кликнуть на иконку объекта и получить расширенные данные, например, значения ДУТ. Данные датчиков уровня топлива изменились – Wialon обновил информацию.
«Дашборд». Информация, например, геозона с объектами или состояние движения, представлены в виде диаграмм с онлайн-данными.
Уведомления. Они также относятся к методу обработки данных онлайн. С их помощью можно рассчитывать длительность состояния объекта.
Аналитика: сообщения, треки и отчеты
В некотором смысле аналитику можно противопоставить онлайну: онлайн обрабатывает каждое приходящее сообщение здесь и сейчас, а аналитика работает с законченным периодом.
Например, если пользователь построил отчет за последний час, а потом трекер прислал какие-то данные из «черного ящика» за этот час после формирования отчета, то отчет их не будет видеть до тех пор, пока пользователь не сформирует его еще раз.
Инструменты аналитики
Вкладка «Сообщения»: здесь не только отображаются полученные данные, но также рассчитываются пробег и длительность поездки.
Вкладка «Треки» учитывает детектор поездок и отображает заправки и прочие маркеры.
Отчеты: представляют собой гибкий инструмент для отображения широкого спектра информации.
Как работает аналитика
Wialon выгружает набор данных за указанный период, а затем работает с ними по заранее известной логике. При этом логика для каждого инструмента аналитики будет разной.
Например, таблица «Поездки» ориентируется на детектор поездок, таблица «Заправки» – на свойства из датчика уровня топлива, а таблица «Хронология» может отобразить поездки и заправки одновременно.
События
К онлайну и аналитике мы добавили события, в каком-то смысле объединив ключевые плюсы двух других методов.
От онлайна взяли оперативность: события учитывают все новые сообщения, обрабатывая их в фоне.
От аналитики – работу с объемом сообщений: события учитывают ранее накопленные сообщения и обрабатывают их еще раз при необходимости. В отличие от онлайна, событие отображает информацию при временном отсутствии данных. Это значит, что если в последнем сообщении нет информации по какому-то параметру, то событие возьмет эту информации из последнего известного сообщения. Онлайн не смотрит так далеко и просто ставит прочерк.
Что получаем в итоге: в тот момент, когда пользователь запросит информацию, данные уже обработаны и могут быть сразу же отображены.
На данный момент такой алгоритм применяется для показаний 6 видов:
поездки;
датчики;
зажигание;
превышение скорости;
счетчики;
топливо.
Где используются события
Мобильное приложение Wialon. События наиболее популярны на смартфонах, так как обеспечивают быстрый доступ к наиболее актуальным данным в любой момент времени.
Уведомления о сливах и заправках. Эти уведомления стали возможны именно благодаря событиям.
«Дашборд». Здесь события используются для отображения части карточек: состояние подключения (подключены/не подключены), состояние движения (стоят/движутся, т.д.).
Таблица по превышениям скорости в отчетах. Хотя отчеты относятся к инструментам аналитики, эта таблица работает именно на событиях.
Всплывающие подсказки и расширенная информация. При соответствующих настройках события помогают отобразить последние известные данные по датчикам. Таким образом Wialon может работать с трекерами, которые отчитываются о состоянии только в момент изменения, вместо того, чтобы постоянно отправлять однообразные сообщения.
Например, во время движения транспортного средства трекер может отправлять сообщение «двигатель работает» снова и снова. Но гораздо экономичнее прислать сообщение «двигатель работает» один раз, когда его включили, а затем – сообщение «двигатель не работает», когда состояние изменилось и двигатель выключили. Так события позволяют по одному сообщению «двигатель работает» или «двигатель не работает» судить о том, что было в промежутке.
Расхождения между типами обработки данных
В идеале расхождений между событиями и аналитикой не должно быть. Но в реальности они встречаются. Чаще всего это связано с различием в алгоритмах. Но в этом случае мы видим скорее разную скорость отображения результата, а не разные результаты.
Если говорить о расхождениях значений, это возможно по нескольким причинам.
Большой объем данных. Алгоритм событий, который обрабатывает данные только в хронологическом порядке, сначала рассортировывает все сообщения, а затем начинает обрабатывать их с того места, где появились новые данные.
В случае серьезной разницы, которая не исчезает через какое-то время, пользователь всегда может обратиться в техподдержку. У таких задач высокий приоритет, и команда быстро и тщательно работает над каждым случаем расхождения.
Как избежать проблемы: настроить выдачу сообщений из трекера в хронологическом порядке: это позволит быстрее обрабатывать данные, так как событиям не придется пересчитывать старые данные несколько раз.
Изменения настроек. Представим, что весь месяц пользователь отслеживал данные в формате событий в мобильном приложении и каждый день видел одни значения. Затем 31 числа изменил настройки, например, датчиков топлива, и построил отчет за месяц. Данные в отчете могут отличаться от тех, что он видел до этого в событиях. Так происходит потому, что отчет показывает данные с учетом обновленных настроек за весь месяц, а события автоматически пересчитались только за последние 24 часа.
Просмотров: 30Комментариев: 0