RU2012150393A - Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого - Google Patents

Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого Download PDF

Info

Publication number
RU2012150393A
RU2012150393A RU2012150393/08A RU2012150393A RU2012150393A RU 2012150393 A RU2012150393 A RU 2012150393A RU 2012150393/08 A RU2012150393/08 A RU 2012150393/08A RU 2012150393 A RU2012150393 A RU 2012150393A RU 2012150393 A RU2012150393 A RU 2012150393A
Authority
RU
Russia
Prior art keywords
color
color block
coordinates
images
capturing
Prior art date
Application number
RU2012150393/08A
Other languages
English (en)
Other versions
RU2552192C2 (ru
Inventor
Тонг ЧЕНГ
Шуай ЙУИ
Original Assignee
Тенсент Текнолоджи (Шенжен) Компани Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Тенсент Текнолоджи (Шенжен) Компани Лимитед filed Critical Тенсент Текнолоджи (Шенжен) Компани Лимитед
Publication of RU2012150393A publication Critical patent/RU2012150393A/ru
Application granted granted Critical
Publication of RU2552192C2 publication Critical patent/RU2552192C2/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

1. Способ взаимодействия человек-машина, основанного на жестах, включающий:захват изображений от видео потоков пользователя;расположение координат трех или больше предопределенных цветных блоков на переднем плане; имоделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков.2. Способ взаимодействия человек-машина, основанного на жестах, по п.1, в котором этап захвата видео потока пользователя и захвата изображений от видео потоков пользователя включает:захват видео потока пользователя через камеру, и захват непрерывных изображений из видео потока, или захват дискретных изображений их видео потока через каждый предопределенный интервал.3. Способ взаимодействия человек-машина, основанного на жестах, по п.2, в котором этап расположения координат трех или более предопределенных цветных блоков на переднем плане включает:установка второстепенной модели, для генерации изображения маски, и удаление фона изображений изображением маски;получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;отслеживание средней точки каждого цветного блока в диаграмме распределения вероятности, для определения координат трех цветных блоков.4. Способ взаимодействия человек-машина, основанного на жестах, по п.3, в котором этап моделирования действий щелчка мыши сог�

Claims (18)

1. Способ взаимодействия человек-машина, основанного на жестах, включающий:
захват изображений от видео потоков пользователя;
расположение координат трех или больше предопределенных цветных блоков на переднем плане; и
моделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков.
2. Способ взаимодействия человек-машина, основанного на жестах, по п.1, в котором этап захвата видео потока пользователя и захвата изображений от видео потоков пользователя включает:
захват видео потока пользователя через камеру, и захват непрерывных изображений из видео потока, или захват дискретных изображений их видео потока через каждый предопределенный интервал.
3. Способ взаимодействия человек-машина, основанного на жестах, по п.2, в котором этап расположения координат трех или более предопределенных цветных блоков на переднем плане включает:
установка второстепенной модели, для генерации изображения маски, и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
отслеживание средней точки каждого цветного блока в диаграмме распределения вероятности, для определения координат трех цветных блоков.
4. Способ взаимодействия человек-машина, основанного на жестах, по п.3, в котором этап моделирования действий щелчка мыши согласно координатам других цветных блоков включает:
определение расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определение, является ли расстояние по прямой линии меньше чем предопределенное пороговое значение; моделирование действия по нажиму левой клавиши мыши, если расстояние по прямой линии - меньше чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше чем предопределенное пороговое значение.
5. Способ взаимодействия человек-машина, основанного на жестах, по п.4, в котором этап получения предопределенных трех цветных шаблонов блока включает:
ношение трех рукавов на пальцах с различными цветами, и хранение цветов рукавов как шаблонов для цветных блоков.
6. Способ взаимодействия человек-машина, основанного на жестах, по п.3, также включает следующие этапы, после этапа вычисления диаграммы распределения вероятности каждого цветного блока, согласно соответствующей гистограмме:
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности, и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
7. Система взаимодействия человек-машина, основанного на жестах, содержащая:
блок захвата для захвата изображений из видео потоков пользователя;
блок положения для помещения координат трех или больше предопределенных цветных блоков на переднем плане; и
блок преобразования для моделирования движения мыши согласно координатам первого цветного блока, и моделирования действия щелчка мыши согласно координатам других цветных блоков.
8. Система взаимодействия человек-машина, основанного на жестах, по п.7, в которой блок захвата захватывает видео поток пользователя через камеру, и захватывает непрерывные изображения из видео потока, или захватывает дискретные изображения из видео потока через каждый предопределенный интервал.
9. Система взаимодействия человек-машина, основанного на жестах, по п.8, в котором блок положения включает:
блок фоновой сегментации для настройки фоновой модели для генерирования картины маски, и удаление фона изображений при помощи картины маски;
блок гистограммы для получения предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
блок диаграммы распределения вероятности для вычисления диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
блок слежения для отслеживания средней точки каждого цветного блока в диаграмме распределения вероятности для определения координат трех цветных блоков.
10. Система взаимодействия человек-машина, основанного на жестах, по п.9, в котором блок преобразования предназначен для определения расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определения того, является ли расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше, чем предопределенное пороговое значение.
11. Система по п.10, в которой система также включает,
три рукава с различными цветами одетые на пальцы, причем цвета рукавов сохранены как шаблоны для цветных блоков.
12. Система по п.9, в которой блок положения также включает: блок оптимизации, блок оптимизации включает блок очистки от шума и блок сглаживания; блок очистки от шума используется для очистки от шума посредством действия операции по удалению шума на диаграммах распределения вероятности; блок сглаживания используется для управления гауссовским сглаживанием на диаграммах распределения вероятности, и выполнения пороговой сегментации на гауссовских сглаженных диаграммах.
13. По меньшей мере, один машиночитаемый носитель, содержащий записанные инструкции для исполнения компьютером, причем инструкции для исполнения компьютером используются для выполнения способа взаимодействия человек-машина, основанного на жестах, причем способ включает:
захват изображений от видео потоков пользователя;
расположение координат трех или больше предопределенных цветных блоков на переднем плане; и
моделирование движений мыши согласно координатам первого цветного блока, и моделирование действия щелчка мыши согласно координатам других цветных блоков.
14. Машиночитаемый носитель по п.13, в котором этап захвата видео потока пользователя и захвата изображений и видео потоков пользователя включает:
захват видео потока пользователя через камеру, и захват непрерывных изображения из видео потока, или захват дискретных изображений из видео потока через каждый предопределенный интервал.
15. Машиночитаемый носитель по п.14, в котором этап расположения координат трех или больше предопределенных цветных блоков на переднем плане включает:
установку второстепенной модели, для генерации изображения маски, и удаление фона изображений изображением маски;
получение предопределенного первого цветного шаблона блока, второго цветного шаблона блока и третьего цветного шаблона блока, и генерирование гистограммы, соответствующей каждому цветному блоку согласно изображениям;
вычисление диаграммы распределения вероятности каждого цветного блока согласно соответствующей гистограмме;
отслеживание средней точки каждого цветного блока в диаграмме распределения вероятности, для определения координат трех цветных блоков.
16. Машиночитаемый носитель по п.15, в котором этап моделирования действий щелчка мыши согласно координатам других цветных блоков включает,
определение расстояния по прямой линии между координатами второго цветного блока и третьего цветного блока, и определение того, является ли расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия нажима левой клавиши мыши, если расстояние по прямой линии меньше, чем предопределенное пороговое значение; моделирование действия отпускания левой клавиши мыши, если расстояние по прямой линии не меньше, чем предопределенное пороговое значение.
17. Машиночитаемый носитель по.16, в котором этап получения предопределенного три цветных шаблона блока включает:
ношение трех рукавов на пальцах с различными цветами, и сохранение цветов рукавов как шаблонов для цветных блоков.
18. Машиночитаемый носитель по п.15, в котором содержатся следующие этапы, после этапа вычисления диаграммы распределения вероятности каждого цветного блока, согласно соответствующей гистограмме:
очистка от шума диаграммы распределения вероятности посредством операции по удалению шума;
воздействие гауссовским сглаживанием на диаграмму распределения вероятности, и выполнение пороговой сегментации на гауссовских сглаженных диаграммах.
RU2012150393/08A 2010-09-17 2011-08-16 Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого RU2552192C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201010287015.2 2010-09-17
CN201010287015.2A CN102402279B (zh) 2010-09-17 2010-09-17 基于手势的人机交互方法及系统
PCT/CN2011/078483 WO2012034469A1 (zh) 2010-09-17 2011-08-16 基于手势的人机交互方法及系统、计算机存储介质

Publications (2)

Publication Number Publication Date
RU2012150393A true RU2012150393A (ru) 2014-10-27
RU2552192C2 RU2552192C2 (ru) 2015-06-10

Family

ID=45830997

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012150393/08A RU2552192C2 (ru) 2010-09-17 2011-08-16 Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого

Country Status (8)

Country Link
EP (1) EP2618237B1 (ru)
JP (1) JP5698355B2 (ru)
KR (1) KR101433543B1 (ru)
CN (1) CN102402279B (ru)
BR (1) BR112013006871A2 (ru)
CA (1) CA2806149C (ru)
RU (1) RU2552192C2 (ru)
WO (1) WO2012034469A1 (ru)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103576848B (zh) 2012-08-09 2016-07-13 腾讯科技(深圳)有限公司 手势操作方法和手势操作装置
CN106611402B (zh) * 2015-10-23 2019-06-14 腾讯科技(深圳)有限公司 图像处理方法及装置
CN108897421A (zh) * 2018-06-19 2018-11-27 芜湖美智空调设备有限公司 电子设备及其控制方法、装置和计算机可读存储介质
KR102274781B1 (ko) * 2019-08-13 2021-07-07 박종태 발과 다리의 6축 움직임 해석에 따른 명령어 생성방법
CN114967927B (zh) * 2022-05-30 2024-04-16 桂林电子科技大学 一种基于图像处理的智能手势交互方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6088018A (en) * 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
RU2175143C1 (ru) * 2000-04-04 2001-10-20 Свириденко Андрей Владимирович Способ дистанционного управления
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
CN101609362B (zh) * 2008-06-19 2011-07-20 大同股份有限公司 以视讯为基础的游标控制装置及其控制方法
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置

Also Published As

Publication number Publication date
CN102402279B (zh) 2016-05-25
JP5698355B2 (ja) 2015-04-08
RU2552192C2 (ru) 2015-06-10
CA2806149A1 (en) 2012-03-22
CA2806149C (en) 2015-11-03
BR112013006871A2 (pt) 2017-09-19
CN102402279A (zh) 2012-04-04
EP2618237A4 (en) 2015-11-11
JP2013533561A (ja) 2013-08-22
KR101433543B1 (ko) 2014-08-22
EP2618237B1 (en) 2018-11-28
WO2012034469A1 (zh) 2012-03-22
EP2618237A1 (en) 2013-07-24
KR20130073934A (ko) 2013-07-03

Similar Documents

Publication Publication Date Title
US8963836B2 (en) Method and system for gesture-based human-machine interaction and computer-readable medium thereof
CN103530613B (zh) 一种基于单目视频序列的目标人手势交互方法
CN102096471B (zh) 一种基于机器视觉的人机交互方法
CN106598227A (zh) 基于Leap Motion和Kinect的手势识别方法
CN106919906B (zh) 一种图像互动方法及互动装置
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
RU2012150393A (ru) Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого
CN103500010B (zh) 一种视频人手指尖定位方法
CN105068748A (zh) 触屏智能设备的摄像头实时画面中用户界面交互方法
CN102270035A (zh) 以非触摸方式来选择和操作对象的设备和方法
CN105589553A (zh) 一种智能设备的手势控制方法和系统
CN109240494B (zh) 电子显示板的控制方法、计算机可读存储介质和控制系统
CN103995595A (zh) 一种基于手势的游戏体感控制方法
CN106960175A (zh) 基于深度卷积神经网络的第一视角动态手势检测方法
CN109189219A (zh) 基于手势识别的非接触式虚拟鼠标的实现方法
KR20060021001A (ko) 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
CN106468993A (zh) 虚拟现实终端设备的控制方法及装置
CN102348093A (zh) Android手机视频聊天智能底座
US11676357B2 (en) Modification of projected structured light based on identified points within captured image
Xu et al. Bare hand gesture recognition with a single color camera
KR101289883B1 (ko) 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법
Ghodichor et al. Virtual mouse using hand gesture and color detection
JP2012003724A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
Min et al. Virtual-Physical Interaction System
Li et al. Kinect-based gesture recognition and its application in moocs recording system