Транскрибация жестов на видео в текст

Проект направлен на создание технологии, которая будет являться расширением к программам, которые используются для онлайн-встреч, данная технология в режиме реального времени будет считывать положение рук собеседника во время видеозвонка и будет писать текст, который соответствует тем или иным жестам.

Разработка программного расширения для программ видеозвонков, которое позволяет транскрибировать жесты собеседника в текст. Программа будет и спользовать алгоритмы машинного обучения для распознавания жестов и их преобразования в текст в режиме реального времени. Инновационность решения заключается в создании моста между визуальной и текстовой коммуникацией, который открывает новые возможности для инклюзивного и эффективного общения.

Процесс работы системы начинается с захвата видеопотока через веб камеру с использованием библиотеки MediaPipe которая специализируется на детекции и отслеживании движений человеческого тела Технология использует продвинутое машинное обучение модели на базе TensorFlow способные с высокой точностью идентифицировать положение и движения рук, выделяя ключевые точки и анализируя их пространственные взаимоотношения. Ключевым элементом системы является нейронная сеть, обученная на массиве размеченных данных жестового языка Она преобразует пространственные координаты движений рук в семантически значимые жесты, используя глубокое машинное обучение и контекстный анализ Встроенный словарь жестов позволяет не только переводить стандартные жесты, но и постоянно расширяться благодаря механизмам адаптивного обучения.