RU2552192C2 - Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого - Google Patents
Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого Download PDFInfo
- Publication number
- RU2552192C2 RU2552192C2 RU2012150393/08A RU2012150393A RU2552192C2 RU 2552192 C2 RU2552192 C2 RU 2552192C2 RU 2012150393/08 A RU2012150393/08 A RU 2012150393/08A RU 2012150393 A RU2012150393 A RU 2012150393A RU 2552192 C2 RU2552192 C2 RU 2552192C2
- Authority
- RU
- Russia
- Prior art keywords
- coordinates
- color block
- color
- images
- probability distribution
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Изобретение относится к способу и системе взаимодействия человек-машина, основанного на жестах, и машиночитаемому носителю для этого. Техническим результатом является обеспечение облегченного и точного ввода информации, относящейся к движениям мыши, в компьютер. Способ взаимодействия человек-машина, основанного на жестах, включает захват изображений от видеопотоков пользователя; захват видеопотока пользователя через камеру и захват непрерывных изображений из видеопотока или захват дискретных изображений из видеопотока через каждый предопределенный интервал; определение координат трех или больше предопределенных цветных блоков на переднем плане захваченного изображения; установку фоновой модели для генерации изображения маски и удаление фона изображений изображением маски; получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям; вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме; рассмотрение средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков; и моделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков. 3 н. и 9 з.п. ф-лы, 4 ил.
Description
ОБЛАСТЬ ИЗОБРЕТЕНИЯ
Настоящее описание касается области компьютерной технологии и, более конкретно, к способу и системе взаимодействия человек-машина, основанного на жестах, и машиночитаемому носителю для этого.
УРОВЕНЬ ТЕХНИКИ
Взаимодействие человек-машина для устройств обработки, таких как компьютеры обычно используют: компьютерную мышь, клавиатуры и мониторы. В связи с развитием техники желательно иметь более удобный и быстрый способ, который мог бы использоваться для взаимодействия человек-машина. Для этих целей были созданы голосовой ввод и ручка рукописного ввода.
Во время процесса выполнения настоящего описания изобретателями было обнаружено, что существующие технологии имеют существенные недостатки:
Голосовой ввод может уменьшить трудоемкость ввода при вводе символов, но имеет ограничение для применения в графических приложениях. Также инструкции с использованием ручек рукописного ввода могут иметь некоторое преимущество во вводе Китайских символов, но это менее удобно, чем при использовании мыши, при применении в графических приложениях.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Для устранения недостатков взаимодействия человек-машина, такого как голосовой ввод, и с использованием ручки рукописного ввода, которые не могут использоваться в графических приложениях для устройств обработки, таких как компьютеры, предлагается способ и система взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого.
Способ взаимодействия человек-машина, основанного на жестах, включает:
захват изображений от видеопотоков пользователя;
расположение координат трех или больше предопределенных цветных блоков на переднем плане; и
моделирование движений мыши согласно координатам первого цветного блока и моделирование действия щелчка мыши согласно координатам других цветных блоков.
Система взаимодействия человек-машина, основанного на жестах, содержит:
блок захвата для захвата изображений из видеопотоков пользователя;
блок положения для помещения координат трех или больше предопределенных цветных блоков на переднем плане; и
блок преобразования для моделирования движения мыши согласно координатам первого цветного блока и моделирования действия щелчка мыши согласно координатам других цветных блоков.
Также в настоящем описании предусмотрен машиночитаемый носитель.
По меньшей мере, один машиночитаемый носитель, содержащий записанные инструкции для исполнения компьютером, причем инструкции для исполнения компьютером используются для выполнения способа взаимодействия человек-машина, основанного на жестах, причем способ включает:
захват изображений от видеопотоков пользователя;
расположение координат трех или больше предопределенных цветных блоков на переднем плане; и
моделирование движений мыши согласно координатам первого цветного блока и моделирование действия щелчка мыши согласно координатам других цветных блоков.
Осуществление настоящего изобретения обеспечивает существенные преимущества: определение координат множества цветных блоков с помощью обработки захваченного видеопотока пользователя и моделирование движения мыши согласно координатам цветных блоков. Устройства обработки, такие как компьютеры, могут дополнительно быть использованы для осуществления взаимодействия машина-человек очень легко, и эффект сенсорного взаимодействия может быть смоделирован без наличия сенсорного экрана.
Краткое описание чертежей
Чтобы ясно описать осуществления предлагаемого изобретения, предлагается следующее краткое описание для чертежей. Должно подразумеваться, что нижеприведенные чертежи будут рассматриваться только как некоторые из вариантов осуществления предлагаемого изобретения. Должно быть очевидно для специалистов в области техники, что можно получить другие чертежи согласно этим чертежам ниже, не отступая от замысла и объема этого изобретения.
Фиг.1 - схематичная блок-схема первого варианта осуществления предлагаемого изобретения;
Фиг.2 - схематичная блок-схема второго варианта осуществления предлагаемого изобретения;
Фиг.3 - схематичная блок-схема третьего варианта осуществления предлагаемого изобретения;
Фиг.4 - схематичная блок-схема четвертого варианта осуществления предлагаемого изобретения.
Детальное описание предпочтительных вариантов осуществления
Для того чтобы цель, ее решение и преимущества заявленного изобретения были более понятны, необходимо ознакомится с более детальным описанием осуществления и сопровождающими чертежами.
Задачей предлагаемого изобретения является моделирование операции по перемещению мыши посредством движения пальцев пользователей, в котором движение пальцев пользователей определяются с помощью обработки видеопотоков пользователей. Шаблоны для цветных блоков могут быть предварительно захвачены соответственно в отношении 3 пальцев, и захваченные видеопотоки обрабатываются для определения положения пальцев. Один из пальцев может использоваться для моделирования нажима на мышь. OpenCV Intel Corporation предоставляет библиотеку исходного кода, включая открытые исходные коды для обработки изображения; предлагаемый вариант осуществления может быть закодирован посредством программирования в OpenCV. Подробные описания вариантов осуществления предлагаемого изобретения описаны ниже.
Первый вариант осуществления
Осуществление настоящего изобретения в части способа взаимодействия человек-машина, основанного на жестах. Фигура 1 схематично отображает в виде схему способа, включающего:
Этап 101 - захват изображений от видеопотоков пользователя.
Этап 102 - расположение координат трех или больше предопределенных цветных блоков на переднем плане.
Этап 103 - моделирование движений мыши согласно координатам первого цветного блока и моделирование действия щелчка мыши согласно координатам других цветных блоков.
В данном варианте осуществляется определение координат множества цветных блоков с помощью обработки захваченного видеопотока пользователя и моделирование движения мыши согласно координатам цветных блоков. Устройства обработки, такие как компьютеры, могут дополнительно быть использованы для осуществления взаимодействия машина-человек очень легко, и эффект сенсорного взаимодействия может быть смоделирован без наличия сенсорного экрана.
Второй вариант осуществления
Второй вариант осуществления настоящего изобретения основан на улучшении первого варианта. Фигура 2 схематично отображает в виде схемы способ, включающий:
Этап 201 - захват видеопотока пользователя через камеру и захват изображений из видеопотока;
причем захваченные изображения могут быть непрерывными или дискретными. Обычно, скорость движения пальца пользователей, возможно, недостаточно высока, что не позволяет обработать все изображения и получить дальнейшую выгоду в экономии стоимости обработки. Должно быть очевидно, что для большей точности каждое изображение, захваченное от видеопотока, может быть обработано, и данное изобретение не ограничено этим.
Этап 202 - обработка каждого из изображений, захваченных из видеопотока, для удаления фона, таким образом, получения переднего плана. Следует понимать, что обычно окружающая обстановка, такая как офис или дом, имеет небольшие изменения на фоне видеопотока, следовательно, фон может быть легко определен. Следовательно, более подробно этап 202 включает:
Этап 2021 - установка фоновой модели с помощью алгоритма Code Book для генерирования изображения маски; маска изображения может иметь тот же размер, что обработанное изображение; передний план изображения маски является белым; и фон изображения маски является черным.
Этап 2022 - сравнение изображения маски с обработанным изображением для удаления соответствующих частей изображения; может быть одно изображение маски; фоновая модель может использоваться при каждом действии по удалению, осуществленном на захваченных изображениях, для получения частей изображения переднего плана.
Следует понимать, что получение переднего плана изображений с помощью алгоритма Code Book является только частным видом осуществления настоящего изобретения и данное описание не ограничивается этим алгоритмом.
Этап 203 - получение гистограмм блоков предопределенного цвета с помощью заданных цветных шаблонов блоков.
Согласно иллюстрирующему варианту осуществления движение одного пальца на одной руке используется для моделирования передвижения мыши, и два пальца на другой руке используется для моделирования действия по нажиму на мышь. Соответственно, необходимо отслеживать, по меньшей мере, три заданных цветных блока.
Кроме того, для большей различимости трех цветных блоков пользователь может носить три рукава на пальцах с различными цветами, которые легкоразличимы. Определенные цвета должны быть сохранены как шаблоны для трех цветных блоков, что упрощает обработку.
В соответствии с одним из примеров осуществления технология OpenCV корпорации Intel может использоваться для кодирования обработки изображений. Технология OpenCV поддерживается корпорацией Intel, является общедоступной библиотекой кодов для машинного зрения и является бесплатной как для коммерческого, так и для некоммерческого использования. Гистограммы переднего плана могут быть вычислены через функцию гистограммы в OpenCV. В технологии OpenCV серия функций гистограммы упакована в класс DenseHistogram, что позволило вычислить гистограммы изображений посредством "Вычисления".
Цветная гистограмма - разновидность цветных символов, она широко используется в различных механизмах поисковых систем изображений. Цветная гистограмма используется для описания пропорции различных цветов к целому изображению. Цветная гистограмма является наиболее подходящей, чтобы описать те изображения, которые сложно отличить автоматически.
Операция, описанная ниже, выполнена на трех цветных блоках для определения положения пальцев, которые соответствуют трем цветным блокам, и определения действия по нажатию мыши. Таким образом, этап 203 содержит:
Этап 204 - получение изображений, которые получены в этапе 201, и гистограмм трех цветных блоков, которые получены в этапе 203, и вычисление диаграммы распределения вероятности каждого цветного квартала через алгоритм Задней Проекции.
В настоящем описании не раскрыт процесс вычисления диаграммы распределения вероятности через гистограммы, так как такое вычисление известно специалистам в области техники.
Этап 205 - обработка диаграммы распределения вероятности для оптимизации диаграммы распределения вероятности.
Поскольку в диаграммах распределения вероятности, полученных из шага 204, существует шум и всплески колебаний, необходимо произвести очистку изображения от шума и провести процесс сглаживания в этапе 205 для получения более точных цветных блоков. Таким образом, этап 205 включает:
Этап 2051 - очистка от шума диаграммы распределения вероятности посредством операции по удалению шума.
Этап 2052 - гауссовское сглаживание применяется к диаграммам распределения вероятности; и пороговая сегментация выполняется на гауссовских сглаженных диаграммах распределения вероятности. Пороговая сегментация содержит операции: установление предопределенного порога, определение пикселя как передний план, когда пиксель изображения меньше, чем пороговое значение; и определение пикселя как фона, когда пиксель изображения не меньше, чем пороговое значение.
Этап 206 - отслеживание средних точек диграммы распределения вероятности через алгоритм CAMShift (Continuously Apative Mean-Shift) для определения координат центров трех цветных блоков.
Алгоритм CAMShift - это разновидность алгоритма отслеживания движения, который отслеживает информацию о цвете движущихся объектов в видеопотоке. После преобразования исходных изображений в цветную диаграмму распределения вероятности с алгоритмом Задней Проекции становится возможным вычислить координаты центров трех цветных блоков, определяющие координаты трех цветных блоков.
Этап 207 - преобразование координаты трех цветов блоков в информацию о работе мыши.
После того как координаты центров трех цветных блоков определены, координаты первого цветного блока преобразованы в координаты мыши и действие по нажиму левой клавиши мыши может быть определено координатами второго и третьих цветных блоков. Например, расстояние между вторым и третьими цветными блоками используется для того, чтобы определить действие по нажиму левой клавиши мыши. Когда расстояние между вторым и третьими цветными блоками меньше, чем предопределенное значение, это может означать, что левая клавиша мыши нажата; когда расстояние не меньше, чем предопределенное значение, это может означать, что левая клавиша мыши отпущена.
В соответствии с настоящим вариантом осуществления с помощью кодовой библиотеки открытых исходных кодов OpenCV первый блок жеста преобразован в координаты мыши и второй и третий блоки жеста преобразованы в действие по нажатию мыши. Таким образом, посредством описанного способа успешно осуществляется взаимодействие человек-машина.
Следует отметить, что три цветных блока, упомянутые в данном варианте осуществления, не должны быть расценены как ограничение настоящего изобретения.
Кроме того, настоящее изобретение обеспечивает один или более машиночитаемый носитель, содержащий записанные инструкции для исполнения компьютером, причем инструкции для исполнения компьютером используются для выполнения способа взаимодействия человек-машина, основанного на жестах. Этапы, которые выполняются согласно инструкциям, записанным на машиночитаемом носителе, описаны выше и не будут здесь описаны.
Третий вариант осуществления
Осуществление настоящего изобретения предусматривает систему для взаимодействия человек-машина, основанного на жестах. На Фигуре 3 изображена ее структура, система включает:
Блок захвата 1, блок захвата для захвата изображений из видеопотоков пользователя.
Блок положения 2 для помещения координат трех или больше предопределенных цветных блоков на переднем плане.
Блок преобразования 3 для моделирования движения мыши согласно координатам первого цветного блока и моделирования действия щелчка мыши согласно координатам других цветных блоков.
В данном варианте осуществляется определение координат множества цветных блоков с помощью обработки захваченного видеопотока пользователя и моделирование движения мыши согласно координатам цветных блоков. Устройства обработки, такие как компьютеры, могут дополнительно быть использованы для осуществления взаимодействия машина-человек очень легко, и эффект сенсорного взаимодействия может быть смоделирован без наличия сенсорного экрана.
Четвертый вариант осуществления
Этот вариант осуществления настоящего изобретения основан на улучшении третьего варианта. Фигура 4 схематично его структуру, система включает:
Блок захвата 1 для захвата видеопотока пользователя через камеру и захвата изображений из видеопотока пользователей;
причем захваченные изображения могут быть непрерывными или дискретными. Обычно, скорость движения пальца пользователей, возможно, недостаточно высока, что не позволяет обработать все изображения и получить дальнейшую выгоду в экономии стоимости обработки. Должно быть очевидно, что для большей точности каждое изображение, захваченное от видеопотока, может быть обработано, и данное изобретение не ограничено этим.
Блок положения 2 для удаления фона изображений и помещения координат трех цветных блоков на переднем плане; более детально блок положения 2 может включать:
Блок фоновой сегментации 21 для обработки каждого захваченного изображения, для удаления фона изображения и получения его переднего плана. Следует понимать, что обычно окружающая обстановка, такая как офис или дом, имеет небольшие изменения на фоне видеопотока, следовательно, фон может быть легко определен. Следовательно, более подробно блок фоновой сегментации 21 включает:
Подблок изображения маски 211 для настройки фоновой модели с помощью алгоритма Code Book и генерации изображения маски, изображение маски может иметь тот же самый размер, что и обработанное изображение; передний план изображения маски является белым; и фон изображения маски является черным.
Подблок удаления 212 для сравнения изображения маски с обработанным изображением для удаления соответствующих частей изображения; может быть одно изображение маски; фоновая модель может использоваться при каждом действии по удалению, осуществленном на захваченных изображениях, для получения частей изображения переднего плана.
Блок гистограммы 22 для получения гистограмм блоков предопределенного цвета с помощью заданных шаблонов цветных блоков.
Согласно иллюстрирующему варианту осуществления движение одного пальца на одной руке используется для моделирования передвижения мыши и два пальца на другой руке используются для моделирования действия по нажиму на мышь. Соответственно, необходимо отслеживать, по меньшей мере, три заданных цветных блока.
Кроме того, для большей различимости трех цветных блоков пользователь может носить три рукава на пальцах с различными цветами, которые легкоразличимы. Определенные цвета должны быть сохранены как шаблоны для трех цветных блоков, что упрощает обработку.
В соответствии с одним из примеров осуществления технология OpenCV корпорации Intel может использоваться для кодирования обработки изображений. Технология OpenCV поддерживается корпорацией Intel, является общедоступной библиотекой кодов для машинного зрения и является бесплатной как для коммерческого, так и для некоммерческого использования. Гистограммы переднего плана могут быть вычислены через функцию гистограммы в OpenCV. В технологии OpenCV серия функций гистограммы упакована в класс DenseHistogram, что позволило вычислить гистограммы изображений посредством "Вычисления".
Цветная гистограмма - разновидность цветных символов, она широко используется в различных механизмах поисковых систем изображений. Цветная гистограмма используется для описания пропорции различных цветов к целому изображению. Цветная гистограмма является наиболее подходящей, чтобы описать те изображения, которые сложно отличить автоматически.
Шаг, описанный ниже, применяется к трем цветным блокам для определения положения пальцев, которые соответствуют трем цветным блокам, и определения действия по нажатию мыши.
Блок диаграммы распределения вероятности 23 предназначен для вычисления диаграммы распределения вероятности каждого цветного блока с помощью алгоритма Задней Проекции согласно изображениям, которые захвачены модулем захвата 1, и гистограммам трех цветных блоков, которые получены модулем гистограммы 22.
В настоящем описании не раскрыт процесс вычисления диаграммы распределения вероятности через гистограммы, так как такое вычисление известно специалистам в области техники.
Блок оптимизации 24 предназначен для оптимизации диаграммы распределения вероятности.
Поскольку в диаграммах распределения вероятности, вычисленных модулем диаграммы распределения вероятности 23, существует шум и всплески колебаний, необходимо произвести очистку изображения от шума и провести процесс сглаживания в модуле оптимизации 24 для получения более точных цветных блоков.
Блок оптимизации 24 содержит:
Подблок очистки от шума для очистки от шума диаграмм распределения вероятности посредством действия операции по удалению шума.
Подблок сглаживания для гауссовского сглаживания диаграмм распределения вероятности и выполнения пороговой сегментации на гауссовских сглаженных диаграммах распределения вероятности. Пороговая сегментация содержит операции: установление предопределенного порога, определение пикселя как передний план, когда пиксель изображения меньше, чем пороговое значение; и определение пикселя как фона, когда пиксель изображения не меньше, чем пороговое значение.
Блок отслеживания 25 предназначен для отслеживания средних точек диаграммы распределения вероятности через алгоритм CAMShift (Continuously Apative Mean-Shift) для определения координат центров трех цветных блоков.
Алгоритм CAMShift - это разновидность алгоритма отслеживания движения, который отслеживает информацию о цвете движущихся объектов в видеопотоке. После преобразования исходных изображений в цветную диаграмму распределения вероятности с алгоритмом Задней Проекции становится возможным вычислить координаты центров трех цветных блоков, определяющие координаты трех цветных блоков.
После того как координаты центров трех цветных блоков определены, координаты первого цветного блока преобразованы в координаты мыши и действие по нажиму левой клавиши мыши может быть определено координатами второго и третьих цветных блоков. Например, расстояние между вторым и третьими цветными блоками используется для того, чтобы определить действие по нажиму левой клавиши мыши. Когда расстояние между вторым и третьими цветными блоками меньше, чем предопределенное значение, это может означать, что левая клавиша мыши нажата; когда расстояние не меньше, чем предопределенное значение, это может означать, что левая клавиша мыши отпущена.
В соответствии с настоящим вариантом осуществления с помощью кодовой библиотеки открытых исходных кодов OpenCV первый блок жеста преобразован в координаты мыши и второй и третий блоки жеста преобразованы в действие по нажатию мыши. Таким образом, посредством описанного способа успешно осуществляется взаимодействие человек-машина.
Следует отметить, что три цветных блока, упомянутые в данном варианте осуществления, не должны быть расценены как ограничение настоящего изобретения.
Идея и принцип работы систем согласно третьему и четвертому варианту осуществления идентичны с вышеупомянутыми способами согласно первому и второму варианту осуществления, поэтому идентичные части не будут описаны. Блок в соответствии с вариантом осуществления изобретения может быть записан на машиночитаемый носитель, если предусмотрены блоки, работающие для возможности работы как аппаратно-программный блок, и распределены и используются в качестве самостоятельных продуктов. Основываясь на таком понимании, настоящее описание изобретение может существовать как самостоятельный продукт. Отдельный продукт может быть записан на носителе данных и включать инструкции для выполнения устройством обработки (таким как персональный компьютер, сервер, или сетевое устройство) для выполнения способа полностью или частично, как описано согласно вариантам осуществления в настоящем описании. Такой носитель данных может быть флэш-памятью USB, портативным жестким диском, постоянной памятью, памятью произвольного доступа, магнитным диском, оптическим диском или любым другим носителем, на который можно записать программные коды.
Хотя изобретение было описано с точки зрения нескольких примеров осуществления, варианты осуществления не должны быть расценены как ограничивающие данное изобретение, изобретение может быть осуществлено с модификацией, заменой или улучшением в пределах замысла и своего объема.
Claims (12)
1. Способ взаимодействия человек-машина, основанного на жестах, включающий:
захват изображений от видеопотоков пользователя;
захват видеопотока пользователя через камеру и захват непрерывных изображений из видеопотока или захват дискретных изображений из видеопотока через каждый предопределенный интервал;
определение координат трех или больше предопределенных цветных блоков на переднем плане захваченного изображения;
установку фоновой модели для генерации изображения маски и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
рассмотрение средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков; и
моделирование движений мыши согласно координатам первого цветного блока и моделирование действия щелчка мыши согласно координатам других цветных блоков.
захват изображений от видеопотоков пользователя;
захват видеопотока пользователя через камеру и захват непрерывных изображений из видеопотока или захват дискретных изображений из видеопотока через каждый предопределенный интервал;
определение координат трех или больше предопределенных цветных блоков на переднем плане захваченного изображения;
установку фоновой модели для генерации изображения маски и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
рассмотрение средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков; и
моделирование движений мыши согласно координатам первого цветного блока и моделирование действия щелчка мыши согласно координатам других цветных блоков.
2. Способ взаимодействия человек-машина, основанного на жестах, по п. 1, в котором этап моделирования действий щелчка мыши согласно координатам других цветных блоков включает:
определение расстояния прямой линии между координатами второго цветного блока и третьего цветного блока и определение, является ли расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия по нажиму левой клавиши мыши, если расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние прямой линии не меньше, чем предопределенное пороговое значение.
определение расстояния прямой линии между координатами второго цветного блока и третьего цветного блока и определение, является ли расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия по нажиму левой клавиши мыши, если расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние прямой линии не меньше, чем предопределенное пороговое значение.
3. Способ взаимодействия человек-машина, основанного на жестах, по п. 2, в котором этап получения предопределенных трех цветных шаблонов блока включает:
ношение трех рукавов на пальцах с различными цветами и хранение цветов рукавов как шаблонов для цветных блоков.
ношение трех рукавов на пальцах с различными цветами и хранение цветов рукавов как шаблонов для цветных блоков.
4. Способ взаимодействия человек-машина, основанного на жестах, по п. 1, также включает следующие этапы после этапа вычисления диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме:
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
5. Система взаимодействия человек-машина, основанного на жестах, содержащая:
модуль захвата для захвата изображений из видеопотоков пользователя, модуль захвата захватывает видеопоток пользователя через камеру и захватывает непрерывные изображения из видеопотока, или захватывает дискретные изображения из видеопотока через каждый предопределенный интервал;
модуль определения координат трех или больше предопределенных цветных блоков на переднем плане захваченного изображения;
блок фоновой сегментации для настройки фоновой модели для генерирования картины маски и удаления фона изображений при помощи картины маски;
блок гистограммы для получения предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока и генерирования гистограммы, соответствующей каждому цветному блоку согласно изображениям;
блок диаграммы распределения вероятности для вычисления диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
блок слежения для отслеживания средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков; и
модуль преобразования для моделирования движения мыши согласно координатам первого цветного блока и моделирования действия щелчка мыши согласно координатам других цветных блоков.
модуль захвата для захвата изображений из видеопотоков пользователя, модуль захвата захватывает видеопоток пользователя через камеру и захватывает непрерывные изображения из видеопотока, или захватывает дискретные изображения из видеопотока через каждый предопределенный интервал;
модуль определения координат трех или больше предопределенных цветных блоков на переднем плане захваченного изображения;
блок фоновой сегментации для настройки фоновой модели для генерирования картины маски и удаления фона изображений при помощи картины маски;
блок гистограммы для получения предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока и генерирования гистограммы, соответствующей каждому цветному блоку согласно изображениям;
блок диаграммы распределения вероятности для вычисления диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
блок слежения для отслеживания средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков; и
модуль преобразования для моделирования движения мыши согласно координатам первого цветного блока и моделирования действия щелчка мыши согласно координатам других цветных блоков.
6. Система взаимодействия человек-машина, основанного на жестах, по п. 5, в которой модуль преобразования предназначен для определения расстояния прямой линии между координатами второго цветного блока и третьего цветного блока и определения того, является ли расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние прямой линии не меньше, чем предопределенное пороговое значение.
7. Система по п. 5, в которой система также включает:
три рукава с различными цветами, надетые на пальцы, причем цвета рукавов сохранены как шаблоны для цветных блоков.
три рукава с различными цветами, надетые на пальцы, причем цвета рукавов сохранены как шаблоны для цветных блоков.
8. Система по п. 5, в которой модуль положения также включает: блок оптимизации, блок оптимизации включает блок очистки от шума и блок сглаживания; блок очистки от шума используется для очистки от шума посредством действия операции по удалению шума на диаграммах распределения вероятности; блок сглаживания используется для управления гауссовским сглаживанием на диаграммах распределения вероятности и выполнения пороговой сегментации на гауссовских сглаженных диаграммах.
9. Машиночитаемый носитель, содержащий записанные инструкции для исполнения компьютером, причем инструкции для исполнения компьютером используются для выполнения способа взаимодействия человек-машина, основанного на жестах, причем способ включает:
захват изображений от видеопотоков пользователя;
захват видеопотока пользователя через камеру и захват непрерывных изображения из видеопотока или захват дискретных изображений из видеопотока через каждый предопределенный интервал;
определение координат трех или больше предопределенных цветных блоков на переднем плане захваченного изображения;
установку фоновой модели для генерации изображения маски и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
рассмотрение средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков;
и моделирование движений мыши согласно координатам первого цветного блока и моделирование действия щелчка мыши согласно координатам других цветных блоков.
захват изображений от видеопотоков пользователя;
захват видеопотока пользователя через камеру и захват непрерывных изображения из видеопотока или захват дискретных изображений из видеопотока через каждый предопределенный интервал;
определение координат трех или больше предопределенных цветных блоков на переднем плане захваченного изображения;
установку фоновой модели для генерации изображения маски и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
рассмотрение средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков;
и моделирование движений мыши согласно координатам первого цветного блока и моделирование действия щелчка мыши согласно координатам других цветных блоков.
10. Машиночитаемый носитель по п. 9, в котором этап моделирования действий щелчка мыши согласно координатам других цветных блоков включает:
определение расстояния прямой линии между координатами второго цветного блока и третьего цветного блока и определение того, является ли расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние прямой линии не меньше, чем предопределенное пороговое значение.
определение расстояния прямой линии между координатами второго цветного блока и третьего цветного блока и определение того, является ли расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние прямой линии не меньше, чем предопределенное пороговое значение.
11. Машиночитаемый носитель по п. 10, в котором этап получения предопределенных трех цветных шаблонов блока включает:
ношение трех рукавов на пальцах с различными цветами и сохранение цветов рукавов как шаблонов для цветных блоков.
ношение трех рукавов на пальцах с различными цветами и сохранение цветов рукавов как шаблонов для цветных блоков.
12. Машиночитаемый носитель по п. 9, в котором содержатся следующие этапы после этапа вычисления диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме:
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010287015.2 | 2010-09-17 | ||
| CN201010287015.2A CN102402279B (zh) | 2010-09-17 | 2010-09-17 | 基于手势的人机交互方法及系统 |
| PCT/CN2011/078483 WO2012034469A1 (zh) | 2010-09-17 | 2011-08-16 | 基于手势的人机交互方法及系统、计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2012150393A RU2012150393A (ru) | 2014-10-27 |
| RU2552192C2 true RU2552192C2 (ru) | 2015-06-10 |
Family
ID=45830997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012150393/08A RU2552192C2 (ru) | 2010-09-17 | 2011-08-16 | Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого |
Country Status (8)
| Country | Link |
|---|---|
| EP (1) | EP2618237B1 (ru) |
| JP (1) | JP5698355B2 (ru) |
| KR (1) | KR101433543B1 (ru) |
| CN (1) | CN102402279B (ru) |
| BR (1) | BR112013006871A2 (ru) |
| CA (1) | CA2806149C (ru) |
| RU (1) | RU2552192C2 (ru) |
| WO (1) | WO2012034469A1 (ru) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103576848B (zh) | 2012-08-09 | 2016-07-13 | 腾讯科技（深圳）有限公司 | 手势操作方法和手势操作装置 |
| CN106611402B (zh) * | 2015-10-23 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN108897421A (zh) * | 2018-06-19 | 2018-11-27 | 芜湖美智空调设备有限公司 | 电子设备及其控制方法、装置和计算机可读存储介质 |
| KR102274781B1 (ko) * | 2019-08-13 | 2021-07-07 | 박종태 | 발과 다리의 6축 움직임 해석에 따른 명령어 생성방법 |
| CN114967927B (zh) * | 2022-05-30 | 2024-04-16 | 桂林电子科技大学 | 一种基于图像处理的智能手势交互方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2175143C1 (ru) * | 2000-04-04 | 2001-10-20 | Свириденко Андрей Владимирович | Способ дистанционного управления |
| RU2339087C2 (ru) * | 2001-09-07 | 2008-11-20 | Хармоник Рисерч, Инк. | Улучшенное беспроводное устройство управления |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| US6088018A (en) * | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
| SE0000850D0 (sv) * | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
| US7907117B2 (en) * | 2006-08-08 | 2011-03-15 | Microsoft Corporation | Virtual controller for visual displays |
| CN101609362B (zh) * | 2008-06-19 | 2011-07-20 | 大同股份有限公司 | 以视讯为基础的游标控制装置及其控制方法 |
| CN101344816B (zh) * | 2008-08-15 | 2010-08-11 | 华南理工大学 | 基于视线跟踪和手势识别的人机交互方法及装置 |
-
2010
- 2010-09-17 CN CN201010287015.2A patent/CN102402279B/zh active Active
-
2011
- 2011-08-16 EP EP11824539.8A patent/EP2618237B1/en active Active
- 2011-08-16 CA CA2806149A patent/CA2806149C/en active Active
- 2011-08-16 WO PCT/CN2011/078483 patent/WO2012034469A1/zh active Application Filing
- 2011-08-16 JP JP2013520959A patent/JP5698355B2/ja active Active
- 2011-08-16 KR KR1020137005378A patent/KR101433543B1/ko active IP Right Grant
- 2011-08-16 BR BR112013006871A patent/BR112013006871A2/pt not_active Application Discontinuation
- 2011-08-16 RU RU2012150393/08A patent/RU2552192C2/ru active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2175143C1 (ru) * | 2000-04-04 | 2001-10-20 | Свириденко Андрей Владимирович | Способ дистанционного управления |
| RU2339087C2 (ru) * | 2001-09-07 | 2008-11-20 | Хармоник Рисерч, Инк. | Улучшенное беспроводное устройство управления |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102402279B (zh) | 2016-05-25 |
| JP5698355B2 (ja) | 2015-04-08 |
| CA2806149A1 (en) | 2012-03-22 |
| CA2806149C (en) | 2015-11-03 |
| BR112013006871A2 (pt) | 2017-09-19 |
| CN102402279A (zh) | 2012-04-04 |
| EP2618237A4 (en) | 2015-11-11 |
| JP2013533561A (ja) | 2013-08-22 |
| KR101433543B1 (ko) | 2014-08-22 |
| EP2618237B1 (en) | 2018-11-28 |
| WO2012034469A1 (zh) | 2012-03-22 |
| EP2618237A1 (en) | 2013-07-24 |
| KR20130073934A (ko) | 2013-07-03 |
| RU2012150393A (ru) | 2014-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8963836B2 (en) | Method and system for gesture-based human-machine interaction and computer-readable medium thereof | |
| Wang et al. | Real-time hand-tracking with a color glove | |
| Rautaray et al. | Real time multiple hand gesture recognition system for human computer interaction | |
| CN102096471B (zh) | 一种基于机器视觉的人机交互方法 | |
| US20130229375A1 (en) | Contact Grouping and Gesture Recognition for Surface Computing | |
| RU2552192C2 (ru) | Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого | |
| Vivek Veeriah et al. | Robust hand gesture recognition algorithm for simple mouse control | |
| CN109189219A (zh) | 基于手势识别的非接触式虚拟鼠标的实现方法 | |
| Saoji et al. | Basic paint window application via webcam using OpenCV and Numpy in Python | |
| Singh | Recognizing hand gestures for human computer interaction | |
| Ghodichor et al. | Virtual mouse using hand gesture and color detection | |
| JP2016525235A (ja) | 文字入力のための方法及びデバイス | |
| Siam et al. | Human computer interaction using marker based hand gesture recognition | |
| Vasanthagokul et al. | Virtual Mouse to Enhance User Experience and Increase Accessibility | |
| Rahman et al. | SHIMPG: Simple human interaction with machine using Physical Gesture | |
| Bellarbi et al. | Hand gesture recognition using contour based method for tabletop surfaces | |
| Tupal et al. | Vision-Based Hand Tracking System Development for Non-Face-to-Face Interaction | |
| Wensheng et al. | Implementation of virtual mouse based on machine vision | |
| Jain et al. | AirPen: A Touchless Fingertip Based Gestural Interface for Smartphones and Head-Mounted Devices | |
| Dave et al. | Project MUDRA: Personalization of Computers using Natural Interface | |
| Babu et al. | Touchless User Interface for Sketching Using Hand Gesture Recognition | |
| Hernández et al. | A bare-hand gesture interaction system for virtual environments | |
| Chahare et al. | Hand Recognition and Gesture Control Using a Wi-Fi Application in Smart Toye's | |
| WO2020170851A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| Singh et al. | Digitized Interaction: A Gesture-Controlled Whiteboard System with OpenCV, MediaPipe and NumPy |