RU2012150393A - Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого - Google Patents
Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого Download PDFInfo
- Publication number
- RU2012150393A RU2012150393A RU2012150393/08A RU2012150393A RU2012150393A RU 2012150393 A RU2012150393 A RU 2012150393A RU 2012150393/08 A RU2012150393/08 A RU 2012150393/08A RU 2012150393 A RU2012150393 A RU 2012150393A RU 2012150393 A RU2012150393 A RU 2012150393A
- Authority
- RU
- Russia
- Prior art keywords
- color
- color block
- coordinates
- images
- capturing
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
1. Способ взаимодействия человек-машина, основанного на жестах, включающий:захват изображений от видео потоков пользователя;расположение координат трех или больше предопределенных цветных блоков на переднем плане; имоделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков.2. Способ взаимодействия человек-машина, основанного на жестах, по п.1, в котором этап захвата видео потока пользователя и захвата изображений от видео потоков пользователя включает:захват видео потока пользователя через камеру, и захват непрерывных изображений из видео потока, или захват дискретных изображений их видео потока через каждый предопределенный интервал.3. Способ взаимодействия человек-машина, основанного на жестах, по п.2, в котором этап расположения координат трех или более предопределенных цветных блоков на переднем плане включает:установка второстепенной модели, для генерации изображения маски, и удаление фона изображений изображением маски;получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;отслеживание средней точки каждого цветного блока в диаграмме распределения вероятности, для определения координат трех цветных блоков.4. Способ взаимодействия человек-машина, основанного на жестах, по п.3, в котором этап моделирования действий щелчка мыши сог�
Claims (18)
1. Способ взаимодействия человек-машина, основанного на жестах, включающий:
захват изображений от видео потоков пользователя;
расположение координат трех или больше предопределенных цветных блоков на переднем плане; и
моделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков.
2. Способ взаимодействия человек-машина, основанного на жестах, по п.1, в котором этап захвата видео потока пользователя и захвата изображений от видео потоков пользователя включает:
захват видео потока пользователя через камеру, и захват непрерывных изображений из видео потока, или захват дискретных изображений их видео потока через каждый предопределенный интервал.
3. Способ взаимодействия человек-машина, основанного на жестах, по п.2, в котором этап расположения координат трех или более предопределенных цветных блоков на переднем плане включает:
установка второстепенной модели, для генерации изображения маски, и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
отслеживание средней точки каждого цветного блока в диаграмме распределения вероятности, для определения координат трех цветных блоков.
4. Способ взаимодействия человек-машина, основанного на жестах, по п.3, в котором этап моделирования действий щелчка мыши согласно координатам других цветных блоков включает:
определение расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определение, является ли расстояние по прямой линии меньше чем предопределенное пороговое значение; моделирование действия по нажиму левой клавиши мыши, если расстояние по прямой линии - меньше чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше чем предопределенное пороговое значение.
5. Способ взаимодействия человек-машина, основанного на жестах, по п.4, в котором этап получения предопределенных трех цветных шаблонов блока включает:
ношение трех рукавов на пальцах с различными цветами, и хранение цветов рукавов как шаблонов для цветных блоков.
6. Способ взаимодействия человек-машина, основанного на жестах, по п.3, также включает следующие этапы, после этапа вычисления диаграммы распределения вероятности каждого цветного блока, согласно соответствующей гистограмме:
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности, и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
7. Система взаимодействия человек-машина, основанного на жестах, содержащая:
блок захвата для захвата изображений из видео потоков пользователя;
блок положения для помещения координат трех или больше предопределенных цветных блоков на переднем плане; и
блок преобразования для моделирования движения мыши согласно координатам первого цветного блока, и моделирования действия щелчка мыши согласно координатам других цветных блоков.
8. Система взаимодействия человек-машина, основанного на жестах, по п.7, в которой блок захвата захватывает видео поток пользователя через камеру, и захватывает непрерывные изображения из видео потока, или захватывает дискретные изображения из видео потока через каждый предопределенный интервал.
9. Система взаимодействия человек-машина, основанного на жестах, по п.8, в котором блок положения включает:
блок фоновой сегментации для настройки фоновой модели для генерирования картины маски, и удаление фона изображений при помощи картины маски;
блок гистограммы для получения предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
блок диаграммы распределения вероятности для вычисления диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
блок слежения для отслеживания средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков.
10. Система взаимодействия человек-машина, основанного на жестах, по п.9, в котором блок преобразования предназначен для определения расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определения того, является ли расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше, чем предопределенное пороговое значение.
11. Система по п.10, в которой система также включает,
три рукава с различными цветами одетые на пальцы, причем цвета рукавов сохранены как шаблоны для цветных блоков.
12. Система по п.9, в которой блок положения также включает: блок оптимизации, блок оптимизации включает блок очистки от шума и блок сглаживания; блок очистки от шума используется для очистки от шума посредством действия операции по удалению шума на диаграммах распределения вероятности; блок сглаживания используется для управления гауссовским сглаживанием на диаграммах распределения вероятности, и выполнения пороговой сегментации на гауссовских сглаженных диаграммах.
13. По меньшей мере, один машиночитаемый носитель, содержащий записанные инструкции для исполнения компьютером, причем инструкции для исполнения компьютером используются для выполнения способа взаимодействия человек-машина, основанного на жестах, причем способ включает:
захват изображений от видео потоков пользователя;
расположение координат трех или больше предопределенных цветных блоков на переднем плане; и
моделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков.
14. Машиночитаемый носитель по п.13, в котором этап захвата видео потока пользователя и захвата изображений и видео потоков пользователя включает:
захват видео потока пользователя через камеру, и захват непрерывных изображения из видео потока, или захват дискретных изображений из видео потока через каждый предопределенный интервал.
15. Машиночитаемый носитель по п.14, в котором этап расположения координат трех или больше предопределенных цветных блоков на переднем плане включает:
установку второстепенной модели, для генерации изображения маски, и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
отслеживание средней точки каждого цветного блока в диаграмме распределения вероятности, для определения координат трех цветных блоков.
16. Машиночитаемый носитель по п.15, в котором этап моделирования действий щелчка мыши согласно координатам других цветных блоков включает,
определение расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определение того, является ли расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше, чем предопределенное пороговое значение.
17. Машиночитаемый носитель по.16, в котором этап получения предопределенного три цветных шаблона блока включает:
ношение трех рукавов на пальцах с различными цветами, и сохранение цветов рукавов как шаблонов для цветных блоков.
18. Машиночитаемый носитель по п.15, в котором содержатся следующие этапы, после этапа вычисления диаграммы распределения вероятности каждого цветного блока, согласно соответствующей гистограмме:
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности, и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010287015.2 | 2010-09-17 | ||
| CN201010287015.2A CN102402279B (zh) | 2010-09-17 | 2010-09-17 | 基于手势的人机交互方法及系统 |
| PCT/CN2011/078483 WO2012034469A1 (zh) | 2010-09-17 | 2011-08-16 | 基于手势的人机交互方法及系统、计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2012150393A true RU2012150393A (ru) | 2014-10-27 |
| RU2552192C2 RU2552192C2 (ru) | 2015-06-10 |
Family
ID=45830997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012150393/08A RU2552192C2 (ru) | 2010-09-17 | 2011-08-16 | Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого |
Country Status (8)
| Country | Link |
|---|---|
| EP (1) | EP2618237B1 (ru) |
| JP (1) | JP5698355B2 (ru) |
| KR (1) | KR101433543B1 (ru) |
| CN (1) | CN102402279B (ru) |
| BR (1) | BR112013006871A2 (ru) |
| CA (1) | CA2806149C (ru) |
| RU (1) | RU2552192C2 (ru) |
| WO (1) | WO2012034469A1 (ru) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103576848B (zh) | 2012-08-09 | 2016-07-13 | 腾讯科技（深圳）有限公司 | 手势操作方法和手势操作装置 |
| CN106611402B (zh) * | 2015-10-23 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN108897421A (zh) * | 2018-06-19 | 2018-11-27 | 芜湖美智空调设备有限公司 | 电子设备及其控制方法、装置和计算机可读存储介质 |
| KR102274781B1 (ko) * | 2019-08-13 | 2021-07-07 | 박종태 | 발과 다리의 6축 움직임 해석에 따른 명령어 생성방법 |
| CN114967927B (zh) * | 2022-05-30 | 2024-04-16 | 桂林电子科技大学 | 一种基于图像处理的智能手势交互方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6747632B2 (en) * | 1997-03-06 | 2004-06-08 | Harmonic Research, Inc. | Wireless control device |
| US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| US6088018A (en) * | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
| SE0000850D0 (sv) * | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
| RU2175143C1 (ru) * | 2000-04-04 | 2001-10-20 | Свириденко Андрей Владимирович | Способ дистанционного управления |
| US7907117B2 (en) * | 2006-08-08 | 2011-03-15 | Microsoft Corporation | Virtual controller for visual displays |
| CN101609362B (zh) * | 2008-06-19 | 2011-07-20 | 大同股份有限公司 | 以视讯为基础的游标控制装置及其控制方法 |
| CN101344816B (zh) * | 2008-08-15 | 2010-08-11 | 华南理工大学 | 基于视线跟踪和手势识别的人机交互方法及装置 |
-
2010
- 2010-09-17 CN CN201010287015.2A patent/CN102402279B/zh active Active
-
2011
- 2011-08-16 EP EP11824539.8A patent/EP2618237B1/en active Active
- 2011-08-16 CA CA2806149A patent/CA2806149C/en active Active
- 2011-08-16 WO PCT/CN2011/078483 patent/WO2012034469A1/zh active Application Filing
- 2011-08-16 JP JP2013520959A patent/JP5698355B2/ja active Active
- 2011-08-16 KR KR1020137005378A patent/KR101433543B1/ko active IP Right Grant
- 2011-08-16 BR BR112013006871A patent/BR112013006871A2/pt not_active Application Discontinuation
- 2011-08-16 RU RU2012150393/08A patent/RU2552192C2/ru active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102402279B (zh) | 2016-05-25 |
| JP5698355B2 (ja) | 2015-04-08 |
| RU2552192C2 (ru) | 2015-06-10 |
| CA2806149A1 (en) | 2012-03-22 |
| CA2806149C (en) | 2015-11-03 |
| BR112013006871A2 (pt) | 2017-09-19 |
| CN102402279A (zh) | 2012-04-04 |
| EP2618237A4 (en) | 2015-11-11 |
| JP2013533561A (ja) | 2013-08-22 |
| KR101433543B1 (ko) | 2014-08-22 |
| EP2618237B1 (en) | 2018-11-28 |
| WO2012034469A1 (zh) | 2012-03-22 |
| EP2618237A1 (en) | 2013-07-24 |
| KR20130073934A (ko) | 2013-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8963836B2 (en) | Method and system for gesture-based human-machine interaction and computer-readable medium thereof | |
| CN103530613B (zh) | 一种基于单目视频序列的目标人手势交互方法 | |
| CN102096471B (zh) | 一种基于机器视觉的人机交互方法 | |
| CN106598227A (zh) | 基于Leap Motion和Kinect的手势识别方法 | |
| CN106919906B (zh) | 一种图像互动方法及互动装置 | |
| Rautaray et al. | Real time multiple hand gesture recognition system for human computer interaction | |
| RU2012150393A (ru) | Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого | |
| CN103500010B (zh) | 一种视频人手指尖定位方法 | |
| CN105068748A (zh) | 触屏智能设备的摄像头实时画面中用户界面交互方法 | |
| CN102270035A (zh) | 以非触摸方式来选择和操作对象的设备和方法 | |
| CN105589553A (zh) | 一种智能设备的手势控制方法和系统 | |
| CN109240494B (zh) | 电子显示板的控制方法、计算机可读存储介质和控制系统 | |
| CN103995595A (zh) | 一种基于手势的游戏体感控制方法 | |
| CN106960175A (zh) | 基于深度卷积神经网络的第一视角动态手势检测方法 | |
| CN109189219A (zh) | 基于手势识别的非接触式虚拟鼠标的实现方法 | |
| KR20060021001A (ko) | 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법 | |
| CN106468993A (zh) | 虚拟现实终端设备的控制方法及装置 | |
| CN102348093A (zh) | Android手机视频聊天智能底座 | |
| US11676357B2 (en) | Modification of projected structured light based on identified points within captured image | |
| Xu et al. | Bare hand gesture recognition with a single color camera | |
| KR101289883B1 (ko) | 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법 | |
| Ghodichor et al. | Virtual mouse using hand gesture and color detection | |
| JP2012003724A (ja) | 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム | |
| Min et al. | Virtual-Physical Interaction System | |
| Li et al. | Kinect-based gesture recognition and its application in moocs recording system |