banner
Qt/C++. Remote Qt Objects in Object Recognition Technology.
Модуль Qt Remote Objects может быть использован в технологии распознавания объектов. Каким образом? Напомню, что Qt Remote Objects создает одноранговую сеть, в которой каждый процесс может быть сервером и клиентом одновременно. Связь между процессами выполняется с использованием механизма сигнал - слот, как в обычной программе. Таким образом, процессы могут обмениваться информацией, например, распознаными объектами. Какие данные включены в понятие распознанный объект? Это имя объекта (QString: человек, собака, диван, часы и т.д. ), достоверность распознавания (float от 0.0 до 1.0 ), байтовый массив (QByteArray), содержащий фотографию объекта, имя файла (QString) сохраненного на диске сервера байтового массива, например: 2024-03-17+18/15/35/953000.jpg. Где и как определяется связь (мост) между приложениями (процессами)? Эта связь находится в классах PropObject , входящих в программы Object Detector 1.7.3 и QtRemoteObjectClient.
Программа Object Detector распознавает объекты и передает данные для программы QtRemoteObjectClient посредством Qt Remote Object. Пограмма QtRemoteObjectClient принимает данные, отображает их в GUI интерфейсе, выдает ответ программе Object Detector. Запрашивает ли QtRemoteObjectClient данные от Object Detector? Нет. В этом нет необходимости. Вновь обнаруженный на сервере объект будет передан клиенту автоматически.
Может ли программа QtRemoteObjectClient быть источником объектов? Да, безусловно. Правда для этого требуется включить в нее дополнительную функциональность.
Это двадцать первая статья из цикла "Real-Time Object Recognition". Первые двадцать опубликованы здесь: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19 и 20.
При разработке программ использовались:
  • операционная система macOS Big Sur версия 11.7.10;
  • среда разработки Qt Creator версия 12.02;
  • программа сборки CMake 3.26.0;
  • компилятор Apple Clang версия 13.0.0 (clang-1300.0.29.30);
  • библиотека OpenCV версия 4.5.5
  • нейронная сеть из группы YOLO, обученная на наборе данных COCO.
  • СУБД (система управления базами данных) PostgreSQL 14.7
  • администратор баз данных pqAdmin 4 version 6.4
1. Программа Object Detector выполняет следующие функции:
  • принимает поток данных с видеокамеры в режиме реального времени;
  • детектирует объекты с помощью нейронной сети (Deep Neural Networks) yolov4-tiny;
  • принимает настройки пользователя для установки связи между объектами и действиями;
  • озвучивает (произносит) имена обнаруженных объектов и вероятности их распознавания;
  • принимает и устанавливает настройки пользователя для модуля голосовых данных (высоту тона, громкость, скорость речи);
  • сохраняет изображения обнаруженных объектов (images) в виде jpg файллов на диске и ссылки на них в базе данных PostgreSQL;
  • отсылает файлы с фотографиями, именами объектов, временем и датой, геопозицией обнаруженных объектов по заданному в программе e-mail адресу;
  • отсылает файлы images по протоколу FTP на удаленный сервер;
  • записывает звук с микрофона на диск в виде m4a файлов;
  • отображает в отдельном окне приложения звуковой сигнал, поступающий на вход микрофона;
  • выводит на экран сохраненные на диске images;
  • формирует текущeе географическое положение устройства и сохраняет его в базе данных;
  • подключается к брокеру broker.hivemq.com;
  • подписывается на канал приема команд от программы Client Mqtt;
  • передает программе Client Mqtt через брокера фотографии обнаруженных объектов;
  • выполняет команды, полученные от приложения Client Mqtt;
  • тестирует исправность канала связи Mqtt;
  • открывает карту и показывает место нахождения(обнаружения) объекта(объектов);
  • выполняет SQL выборки по комбинациям параметров: тип объекта, период времени, вероятность распознавания;
  • предоставляет возможность редактирования снимков распознанных объектов;
  • загружает с веб сервера HTML страницу с фотографиями распознанных объектов и сохраняет ее на локальном диске компьютера;
  • передает изображения обнаруженных программой объектов на сервер по протоколу HTTP POST;
  • формирует матрицы настроек программы;
  • выполняет операции: Save As, Save, Open, Open Recent для файлов, содержащих матрицы настроек;
  • выполняет операции connect/disconnect для клиентов, работающих по протоколу TCP/IP;
  • выполняет операции read/send для объектов QByteArray и QString, содержащих изображения и имена файлов изображений по протоколу TCP/IP;
  • реализует протоколы SSL и WebSocket;
  • запускает/останавливает QuickTime Player для создания видео клипов;
  • измеряет, выводит на экран и озвучивает дистанции до распознанных объектов;
  • сохраняет на диске видео с камеры в файлах формата avi;
  • передает обнаруженные объекты программе QtRemoteObjectClient.
  • получает от программы QtRemoteObjectClient подтверждения (ответы) о состоянии процесса передачи объектов.

2. Сlass PropObject.
Обратите внимание на то, что Сlass PropObject включен в оба приложения. Это своего рода мост между программами (процессами). Этот класс находится в файлах propObject.rep сервера и клиента. Обратите также внимание на то, каким образом эти файлы включены в CMake.
Ниже показано определение класса:
Rep code
3. Документация на проекты.
Полное описание исходных текстов проектов: Object Detector version 1.7.3, iOS MQTT Client, macOS MQTT Client, Client TCP, SslWebSocketServer, SslWebSocketClient, QtRemoteObjectClient предоставляются платно в файлах pdf или doc при запросе через e-mail: veresov@jdesign.ru.
Проекты можно загрузить и поблагодарить: Спасибо!  2202   2005   9442   6213   (счет в сбербанке)
Евгений Вересов.
22.04.2024 года.