Исследовательская база

Towards dense object tracking in a 2D honeybee hive

От человеческих толп до клеток в ткани детекция объектов и эффективное отслеживание множества объектов в плотных конфигурациях остаются важной и нерешённой задачей. Ранее ограничения анализа изображений сводили исследования плотных групп либо к отслеживанию одной или нескольких маркированных особей, либо к грубому анализу динамики всей группы, и оба подхода дают неполную информацию. В этой работе авторы объединяют сверточные нейронные сети (CNN) с модельной средой двумерного пчелиного улья, чтобы автоматически распознавать всех особей в плотной группе по исходным изображениям. Для этого создаётся новая адаптированная схема разметки особей, а архитектура сегментации U-Net используется с функцией потерь, зависящей как от идентичности объекта, так и от его ориентации. Временные закономерности видеозаписи используются рекуррентным образом, что сокращает размер сети на 94% по сравнению с исходным U-Net при качестве, близком к человеческому уровню. Датасет содержит более 375 000 размеченных экземпляров пчёл на 720 видеокадрах с частотой 2 FPS. Метод корректно детектирует 96% особей с ошибкой по положению около 7% типичного размера тела и ошибкой по ориентации около 12°, и представляет собой важный шаг к автоматизированному плотному отслеживанию объектов в биологических системах.

Сведения о публикации

Организации
🇯🇵 Okinawa Institute of Science and Technology Graduate University🇳🇱 VU University Amsterdam
Год
2018
Тип
Conference

Актуальность для Gratheon

Эта статья CVPR 2018 — базовый предшественник работы по безмаркерному отслеживанию всей пчелиной семьи (Bozek et al., Nature Communications 2021) и именно она задаёт датасет и baseline по детекции, на котором может строиться модель hive-scanner в Gratheon. Подход сегментации на основе U-Net с функцией потерь, учитывающей ориентацию, напрямую применим к пайплайну видеоанализа рамок с сотами в Gratheon. Датасет на 375k размеченных экземпляров — значимый открытый ресурс для начального наполнения обучающих данных Gratheon. Уровень 96% детекции при 2 FPS задаёт минимальную планку производительности, которую реальный hive-scanner Gratheon со временем должен превзойти, а приём с временной рекуррентностью предлагает технику сжатия модели, пригодную для edge-развёртывания.