Компьютерное зрение в качестве красной кнопки — плагин Deepness в QGIS

Как часто вас просили быстро выделить определенные объекты по космической съемке, да еще не по привычной для нас всех мультиспектральной, а той, что публикуют Bing, Google и т.д. в своих картографических сервисах?

В поисках простого решения для неспециалистов была найдена «красная кнопка», способная выполнить эту задачу. В нашу с вами жизнь снова врываются нейронные сети и computer vision (компьютерное зрение).

Для решения этой задачи используется модуль QGIS

«Deepness: deep neural remote sensing».

Сам модуль представляет собой оболочку с пользовательским интерфейсом, которая позволяет работать с моделями машинного обучения прямиком в проекте QGIS в том числе юзерам, далеким от этого. В модуле используется YOLO (You Only Look Once — ты смотришь только раз) — семейство открытых моделей машинного обучения, предназначенное для распознавания объектов на фото и видео, способное решать три задачи распознавания:

Классификация изображений предполагает извлечение информации об их содержании. Решением этой задачи будет анализ всего изображения и присвоение ему определенной метки, то есть отнесение объекта к одному из классов, которые знает человек (например, в результате классификации нейронная сеть может определить группу пикселей как кошку).

Само обнаружение предполагает не только решение задачи классификации, но и локализацию объектов на изображении при помощи ограничивающих рамок.

Это разделение изображения на части или подобъекты, чтобы продемонстрировать, что машина может отличить объект от фона и/или другой объект на том же изображении. «Сегмент» изображения представляет собой определенный класс объектов, которые нейронная сеть идентифицировала на изображении, представленном пиксельной маской, которую можно использовать для его извлечения.

В рамках проекта, который до сих пор находится в активной разработке, есть уже обученные модели для решения группы задач (обнаружение машин, мультиклассовая сегментация (дороги, растительность, здания, вода) и т.д.), но также реализована возможность обучения модели под сторонние цели: авторы проекта подготовили тьюториал для заинтересованных.

В рамках этой статьи разберемся, как пользоваться предобученной моделью для обнаружения дорожного полотна.

1. Возьмем уже готовую обученную модель в библиотеке страницы самого модуля, она понадобится для дальнейшей работы (положите этот файл в любую папку, из которой вы потом сможете его достать для дальнейшего использования в работе): https://chmura.put.poznan.pl/s/y6S3CmodPy1fYYz

Версия QGIS на ваших компьютерах должна быть не ниже 3.22.

2. После того, как все будет готово, открываем QGIS и подключаем подложку «Google Satellite» через модуль QuickMapSevices, так как именно на ней и обучалась YOLO.

Вызвать меню модуля можно, перейдя во вкладку «Модули» на панели инструментов.

Модуль имеет следующий пользовательский интерфейс:

Входной слой (input layer): вставляем Google Satellite.

Маска обрабатываемой области (processed area mask) определяет, какая часть входного слоя должна быть классифицирована.

3. В данном разделе меню необходимо указать тип модели, в нашем случае это сегментация (Segmentor), и указать путь до файла с моделью, который был скачен на первоначальном этапе. Далее необходимо нажать «load default parameters», чтобы подгрузить необходимые параметры для обработки данных в плагин. Пропускаем остальные параметры, так как они погрузились на предыдущем этапе автоматически, и переходим к выходному формату данных.

Выходной формат (output format) — отдельный класс в качестве векторного слоя (single class as vector layer).

Номер отдельного класса (single class number) — «1 – road».

В окне экспорт тренировочных данных (Training data export) убираем все галочки (как на скриншоте).

Затем нажимает кнопку Run и ждем, когда модель закончит свою работу.

4. Результатом должен быть векторный слой с именем "road". Так как он будет временным, после работы его необходимо будет сохранить.

Учим решать и другие задачи в QGIS на курсах Введение в QGIS и Продвинутый QGIS. Присоединяйтесь 😉