KR20210078378A - method and apparatus for human computer interaction based on motion gesture recognition - Google Patents

method and apparatus for human computer interaction based on motion gesture recognition Download PDF

Info

Publication number
KR20210078378A
KR20210078378A KR1020200010585A KR20200010585A KR20210078378A KR 20210078378 A KR20210078378 A KR 20210078378A KR 1020200010585 A KR1020200010585 A KR 1020200010585A KR 20200010585 A KR20200010585 A KR 20200010585A KR 20210078378 A KR20210078378 A KR 20210078378A
Authority
KR
South Korea
Prior art keywords
image
pointing object
color
gesture
motion
Prior art date
Application number
KR1020200010585A
Other languages
Korean (ko)
Inventor
박용석
박세호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of KR20210078378A publication Critical patent/KR20210078378A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for human-computer interaction (HCI) based on motion gesture recognition, which comprises the following steps of: allowing an image acquisition unit to acquire a color view image including a pointing object; allowing an object tracking unit to compare a foreground view image including a contour line of the pointing object with a silhouette view image including a silhouette of the pointing object to recognize an overlapped area as the pointing object; allowing the object tracking unit to extract feature points of the recognized pointing object by a frame unit and generate motion history information including coordinate information on the extracted feature points; and allowing a gesture recognition unit to extract a motion vector sequence corresponding to one particular gesture from the motion history information and perform a control command mapped to a gesture template when there is the gesture template corresponding to the extracted motion vector sequence. According to the present invention, provided are a method and device for HCI based on motion gesture recognition, which allow a human to control a computing device by using a regular color image camera device.

Description

모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 방법 및 장치{method and apparatus for human computer interaction based on motion gesture recognition}Method and apparatus for human computer interaction based on motion gesture recognition

본 발명은 영상처리 기반의 HCI(Human Computer Interaction) 방법에 관한 것으로, 더욱 상세하게는 특정 객체의 모션 제스처 인식을 통해 인식된 제스처 동작을 기 지정된 사용자 명령에 연관시키는 방법에 관한 것이다.The present invention relates to an image processing-based HCI (Human Computer Interaction) method, and more particularly, to a method of associating a gesture action recognized through motion gesture recognition of a specific object with a predetermined user command.

스마트폰, 태블릿 등과 같은 스마트 기기의 보급으로 터치 제스처(touch gesture) 기반의 휴먼 컴퓨터 상호 작용(Human Computer Interaction: HCI) 방법이 일상화되었다.With the spread of smart devices such as smartphones and tablets, a human computer interaction (HCI) method based on touch gestures has become commonplace.

터치 제스처는 터치 스크린(touch screen)을 사용하기 때문에 스마트 글래스(smart glass)와 같은 착용형 웨어러블(wearable) 기기에 적용하기 어렵고, 전자 간판(digital signage) 같은 큰 화면에 적용하기에는 비용이 많이 든다.Since the touch gesture uses a touch screen, it is difficult to apply it to a wearable device such as smart glass, and it is expensive to apply to a large screen such as a digital signage.

스마트 글래스와 같은 웨어러블이나 터치 디스플레이가 없는 컴퓨팅 장치에 HCI 기능을 제공하기 위해 다양한 방법이 사용되고 있다.Various methods are being used to provide HCI functionality to computing devices that do not have wearables or touch displays, such as smart glasses.

먼저 유무선 컨트롤러 또는 가속도 센서 등이 내장된 착용형 장치 같은 보조적인 기구를 사용하여 컴퓨팅 장치와 인터페이스 하는 방법이 있다. 다른 방법으로는 카메라를 사용하여 영상처리 기반으로 사용자의 움직임 제스처나 자세, 손 모양 등을 명령신호로 인지하여 처리하는 방법이 있다.First, there is a method of interfacing with a computing device using an auxiliary device such as a wearable device having a wired/wireless controller or an acceleration sensor embedded therein. As another method, there is a method of recognizing and processing a user's movement gesture, posture, hand shape, etc. as a command signal based on image processing using a camera.

움직임 제스처나 손 모양 등을 파악하기 위해 색상 처리만으로는 정확도가 떨어지기 때문에 일반적으로 깊이(depth) 정보(화각에 들어오는 객체들과의 거리 정보)를 적외선 기반의 깊이 카메라(depth camera)로 처리하여 일반 화상 카메라의 영상정보와 함께 사용하는 경우가 많다.In order to understand movement gestures or hand shapes, color processing alone is inaccurate, so in general, depth information (distance information from objects entering the field of view) is processed with an infrared-based depth camera. It is often used together with video information from a video camera.

다수의 카메라를 사용할 경우 스마트 글래스와 같은 웨어러블 장치는 무게가 무거워져 사용이 불편해진다. 또한 복수 카메라 사용으로 시스템 구성비용이 상승한다.When multiple cameras are used, wearable devices such as smart glasses become heavy and inconvenient to use. In addition, system configuration cost increases due to the use of multiple cameras.

본 발명은 일반 컬러 영상 카메라 장치를 이용하여 사람이 컴퓨팅 장치를 제어할 수 있도록 모션 제스처 인식 기반의 HCI 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a motion gesture recognition-based HCI method and apparatus so that a person can control a computing device using a general color video camera device.

상술한 목적을 달성하기 위한 본 발명의 일면에 따른 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 방법은, 영상 획득부에서, 포인팅 객체를 포함하는 컬러 영상 이미지를 획득하는 단계; 객체 추적부에서, 상기 포인팅 객체의 윤곽선을 포함하는 전경 영상 이미지와 상기 포인팅 객체의 실루엣을 포함하는 실루엣 영상 이미지를 비교하여, 중첩되는 영역을 상기 포인팅 객체로 인식하는 단계; 상기 객체 추적부에서, 상기 인식한 포인팅 객체의 특징점을 프레임 단위로 추출하고, 추출된 특징점의 좌표 정보들을 포함하는 모션 히스토리 정보를 생성하는 단계; 및 제스처 인식부에서, 상기 모션 히스토리 정보로부터 하나의 특정 제스처에 대응하는 모션 벡터 시퀀스를 추출하고, 추출된 모션 벡터 시퀀스에 해당되는 제스처 템플릿이 존재하면, 상기 제스처 템플릿에 매핑되는 제어 명령을 수행하는 단계 를 포함한다.According to an aspect of the present invention, there is provided a method for human-computer interaction based on motion gesture recognition for achieving the above object, comprising: acquiring, in an image acquisition unit, a color image image including a pointing object; recognizing, by an object tracking unit, an overlapping region as the pointing object by comparing a foreground image including the outline of the pointing object with a silhouette image including the silhouette of the pointing object; extracting, in the object tracking unit, a feature point of the recognized pointing object in units of frames, and generating motion history information including coordinate information of the extracted feature point; and in the gesture recognition unit, extracting a motion vector sequence corresponding to one specific gesture from the motion history information, and if there is a gesture template corresponding to the extracted motion vector sequence, performing a control command mapped to the gesture template step includes

본 발명의 다른 일면에 따른 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 장치는, 포인팅 객체를 포함하는 컬러 영상 이미지를 획득하는 영상 획득부; 상기 포인팅 객체의 윤곽선을 포함하는 전경 영상 이미지와 상기 포인팅 객체의 실루엣을 포함하는 실루엣 영상 이미지를 비교하여, 중첩되는 영역을 상기 포인팅 객체로 인식하고, 상기 인식한 포인팅 객체의 특징점을 프레임 단위로 추출하고, 프레임 단위로 추출된 특징점의 좌표 정보들을 시계열적으로 나열한 모션 히스토리 정보를 생성하는 객체 추적부; 및 상기 모션 히스토리 정보로부터 하나의 특정 제스처에 대응하는 모션 벡터 시퀀스를 추출하고, 추출된 모션 벡터 시퀀스에 해당되는 제스처 템플릿이 존재하면, 상기 제스처 템플릿에 매핑되는 제어 명령을 수행하는 제스처 인식부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for human-computer interaction based on motion gesture recognition, comprising: an image acquisition unit configured to acquire a color image including a pointing object; By comparing the foreground image including the outline of the pointing object and the silhouette image including the silhouette of the pointing object, the overlapping area is recognized as the pointing object, and feature points of the recognized pointing object are extracted in units of frames and an object tracking unit that generates motion history information in which coordinate information of feature points extracted in units of frames is time-series arranged; and a gesture recognition unit that extracts a motion vector sequence corresponding to one specific gesture from the motion history information, and executes a control command mapped to the gesture template when a gesture template corresponding to the extracted motion vector sequence exists. .

본 발명에 따르면, 단일 컬러 영상 카메라 사용으로 시스템을 간소화 시킬 수 있고, 다양한 맞춤형 모션 제스처 설정이 가능하다.According to the present invention, the system can be simplified by using a single color video camera, and various customized motion gesture settings are possible.

도 1은 본 발명의 실시 예에 따른 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 장치를 나타내는 블록도.
도 2는 본 발명의 실시 예에 따른 제스처 등록 프로세스를 설명하기 위한 흐름도.
도 3은 본 발명의 실시 예에 따른 제스처 인지 대상 객체의 등록 예시를 설명하기 위한 도면.
도 4는 본 발명의 실시 예에 따른 모션 제스처를 설명하기 위한 도면.
도 5는 본 발명의 실시 예에 따른 제스처 인식 방법을 설명하기 위한 흐름도.
도 6은 본 발명의 실시 예에 따른 제스처 인지 대상 객체의 인식 과정을 설명하기 위한 도면.
도 7은 본 발명의 실시 예에 따른 인식된 객체의 특징점을 설명하기 위한 도면.
도 8은 본 발명의 실시 예에 따른 모션 히스토리의 예시도.
도 9는 본 발명의 실시 예에 따른 모션 벡터 시퀀스를 설명하기 위한 도면.1 is a block diagram illustrating an apparatus for human-computer interaction based on motion gesture recognition according to an embodiment of the present invention.
2 is a flowchart illustrating a gesture registration process according to an embodiment of the present invention.
3 is a view for explaining an example of registration of a gesture recognition target object according to an embodiment of the present invention.
4 is a view for explaining a motion gesture according to an embodiment of the present invention.
5 is a flowchart illustrating a gesture recognition method according to an embodiment of the present invention.
6 is a view for explaining a process of recognizing a gesture recognition target object according to an embodiment of the present invention.
7 is a view for explaining a feature point of a recognized object according to an embodiment of the present invention.
8 is an exemplary view of a motion history according to an embodiment of the present invention.
9 is a diagram for explaining a motion vector sequence according to an embodiment of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.Hereinafter, various embodiments of the present invention will be described in connection with the accompanying drawings. Various embodiments of the present invention can be made various changes and can have various embodiments, specific embodiments are illustrated in the drawings and related detailed descriptions are described. However, this is not intended to limit the various embodiments of the present invention to specific embodiments, and should be understood to include all modifications and/or equivalents or substitutes included in the spirit and scope of the various embodiments of the present invention. In connection with the description of the drawings, like reference numerals have been used for like components.

본 발명의 다양한 실시 예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions such as “comprises” or “may include” that may be used in various embodiments of the present invention indicate the existence of a disclosed corresponding function, operation, or component, and may include one or more additional functions, operations, or components, etc. are not limited. In addition, in various embodiments of the present invention, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one It should be understood that it does not preclude the possibility of the presence or addition of or more other features or numbers, steps, operations, components, parts, or combinations thereof.

도 1은 본 발명의 실시 예에 따른 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 장치를 나타내는 블록도이다.1 is a block diagram illustrating an apparatus for human-computer interaction based on motion gesture recognition according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 장치는 컴퓨팅 장치 그 자체이거나 혹은 컴퓨팅 장치에 포함되는 장치일 수 있다.Referring to FIG. 1 , a device for human-computer interaction based on motion gesture recognition according to an embodiment of the present invention may be a computing device itself or a device included in the computing device.

컴퓨팅 장치는 기본적으로 데이터를 가공 처리하고, 가공 처리된 데이터를 연산하는 기능을 가지며, 가공 처리된 데이터 및 그 연산 결과를 다른 장치로 유선 또는 무선으로 전송하는 기능을 갖도록 구성될 수 있다. 컴퓨팅 장치는, 예를 들면, 착용형 웨어러블 기기 등일 수 있으며, 착용형 웨어러블 기기는 스마트 글래스일 수 있다. The computing device may be configured to basically process data, have a function of calculating the processed data, and have a function of transmitting the processed data and the operation result to another device by wire or wirelessly. The computing device may be, for example, a wearable wearable device, and the wearable wearable device may be smart glasses.

이하, 특별히 제한하는 것은 아니지만, 본 발명의 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 방법은 스마트 글래스 기기와 같은 착용형 웨어러블 기기에 적용된 것으로 가정하여 설명한다.Hereinafter, although not particularly limited, the method for human-computer interaction based on motion gesture recognition of the present invention will be described on the assumption that it is applied to a wearable device such as a smart glasses device.

본 발명의 실시 예에 따른 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 스마트 글래스 장치는 처리 단위로 구분되는 다수의 모듈들을 포함하며, 각 모듈은 적어도 하나의 프로세서에 의해 실행되거나 제어될 수 있는 소프트웨어 모듈 또는 하드웨어 모듈로 구현되거나 이들의 조합으로 구현될 수 있다.The smart glasses device for human computer interaction based on motion gesture recognition according to an embodiment of the present invention includes a plurality of modules divided into processing units, and each module is a software module that can be executed or controlled by at least one processor Alternatively, it may be implemented as a hardware module or a combination thereof.

각 모듈의 기능적 특징을 명확히 드러내기 위해, 도 1에 도시된 바와 같이, 다수의 모듈들은 영상 획득부(110), 객체 추적부(120), 제스처 등록부(130), 제스처 템플릿 데이터베이스(140, 제스처 템플릿 데이터베이스) 및 제스처 인식부(150)로 지칭한다.In order to clearly reveal the functional characteristics of each module, as shown in FIG. 1 , a plurality of modules includes an image acquisition unit 110 , an object tracking unit 120 , a gesture registration unit 130 , a gesture template database 140 , and a gesture template database) and the gesture recognition unit 150 .

먼저, 영상 획득부(110)는 제스처 인지 대상 객체가 포함된 영상 프레임을 획득한다. 여기서, 제스처 인지 대상 객체는 '포인팅 객체'로 지칭될 수 있으며, 사용자의 손 또는 펜과 같은 도구일 수 있다.First, the image acquisition unit 110 acquires an image frame including a gesture recognition target object. Here, the gesture recognition target object may be referred to as a 'pointing object', and may be a user's hand or a tool such as a pen.

영상 획득부(110)는 일반적인 컬러 화상 카메라를 포함하거나 그 자체일 수 있다. The image acquisition unit 110 may include a general color image camera or may be itself.

본 발명에서는 사용자의 움직임 제스처를 파악하기 위해, 고가의 깊이 카메라가 아니라 저가의 일반적인 컬러 화상 카메라를 이용하여 사용자의 움직임 제스처를 이용함에 일특징이 있다.In the present invention, there is a feature in that the user's movement gesture is used by using a low-cost general color image camera instead of an expensive depth camera in order to identify the user's movement gesture.

객체 추적부(120)는, 제스처 등록 프로세스를 처리하기 위해, 제스처 템플릿 데이터베이스(140)에 저장될 제스처 인지 대상 객체의 특징을 추출한다. 여기서, 제스처 인지 대상 객체의 특징은 제스처 인지 대상 객체의 크기 정보와 색상 정보를 포함한다. The object tracking unit 120 extracts features of the gesture recognition target object to be stored in the gesture template database 140 in order to process the gesture registration process. Here, the characteristics of the gesture recognition target object include size information and color information of the gesture recognition target object.

또한 객체 추적부(120)는, 제스처 인식 프로세스를 처리하기 위해, 상기의 제스처 등록 프로세스의 처리 과정에서 제스처 템플릿 데이터베이스(140)에 등록된 제스처 템플릿을 기반으로 제스처 인지 대상 객체를 추적하여, 추적한 제스처 인지 대상 객체의 특정 제스처를 구성하는 모션 벡터 시퀀스(motion vector sequence)를 추출한다. 여기서, 모션 벡터 시퀀스는 인식하고자 하는 하나의 특정 제스처를 구성하는 모션 벡터 정보들의 집합으로서, 각 모션 벡터 정보는 이전 프레임의 시작 시간과 현재 프레임의 시작 시간의 차이(Δt)와 이전 프레임의 제스처 인지 대상 객체의 특징점 좌표와 현재 프레임의 제스처 인지 대상 객체의 특징점 좌표 간의 차이(Δx, Δy)를 포함한다.In addition, in order to process the gesture recognition process, the object tracking unit 120 tracks and tracks the gesture recognition target object based on the gesture template registered in the gesture template database 140 in the process of the gesture registration process. A motion vector sequence constituting a specific gesture of a gesture recognition target object is extracted. Here, the motion vector sequence is a set of motion vector information constituting one specific gesture to be recognized. Each motion vector information includes the difference (Δt) between the start time of the previous frame and the start time of the current frame and the gesture recognition of the previous frame. The difference (Δx, Δy) between the coordinates of the key points of the target object and the coordinates of the key points of the target object for gesture recognition of the current frame is included.

제스처 등록부(130)는, 제스처 등록 프로세스에 따라, 객체 추적부(120)에 의해 추출된 제스처 인지 대상 객체의 특징을 기반으로 하는 모션 벡터 시퀀스를 제어 명령에 매핑(mapping)하여, 제어 명령에 매핑된 모션 벡터 시퀀스를 제스처 템플릿으로서 제스처 템플릿 데이터베이스(140)에 저장하는 역할을 한다. The gesture registration unit 130 maps a motion vector sequence based on the characteristics of the gesture recognition target object extracted by the object tracking unit 120 to a control command according to the gesture registration process, and maps to the control command It serves to store the obtained motion vector sequence as a gesture template in the gesture template database 140 .

또한, 제스처 등록부(130)는, 제스처 등록 프로세스에 따라, 사용자가 데이터베이스(140)에 기 등록된 제스처 템플릿을 반복적으로 따라하도록 안내하고, 그러한 안내에 따라 사용자가 반복적으로 수행한 제스처를 시스템(또는 스마트 클래스)이 보다 정확하게 인지할 수 있도록 기 등록된 제스처 템플릿을 튜닝(tuning)하거나 업데이트(update) 하는 프로세스를 처리한다.In addition, the gesture registration unit 130 guides the user to repeatedly follow a gesture template previously registered in the database 140 according to the gesture registration process, and records the gesture repeatedly performed by the user according to the guide to the system (or Smart class) processes a process of tuning or updating a pre-registered gesture template so that it can be recognized more accurately.

제스처 인식부(150)는, 제스처 인식 프로세스에 따라, 객체 추적부(120)가 추출한 모션 벡터 시퀀스(sequence)에 대응하는 제스처 템플릿이 존재하는지 제스처 템플릿 데이터베이스(140)을 검색하고, 해당하는 제스처 템플릿이 존재하면, 해당하는 제스처 템플릿에 매칭된 제어 명령을 수행한다.The gesture recognition unit 150 searches the gesture template database 140 to see if there is a gesture template corresponding to the motion vector sequence extracted by the object tracking unit 120 according to the gesture recognition process, and the corresponding gesture template. If is present, a control command matched to the corresponding gesture template is executed.

도 2는 본 발명의 실시 예에 따른 제스처 등록 프로세스를 설명하기 위한 흐름도이고, 도 3은 본 발명의 실시 예에 따른 제스처 인지 대상 객체의 등록 예시를 설명하기 위한 도면이고, 도 4는 본 발명의 실시 예에 따른 모션 제스처를 설명하기 위한 도면이다.2 is a flowchart for explaining a gesture registration process according to an embodiment of the present invention, FIG. 3 is a diagram for explaining an example of registration of a gesture recognition target object according to an embodiment of the present invention, and FIG. 4 is a diagram of the present invention It is a diagram for explaining a motion gesture according to an embodiment.

도 2를 참조하면, 본 발명의 실시 예에 따른 제스처 등록 프로세스에서는 먼저, 단계 S210에서, 영상 획득부(110)가, 영상 촬영을 시작한다. 여기서, 촬영된 영상은 컬러 영상 기반의 영상 프레임이다.Referring to FIG. 2 , in the gesture registration process according to an embodiment of the present invention, first, in step S210 , the image acquisition unit 110 starts capturing an image. Here, the captured image is an image frame based on a color image.

이어, 단계 S220에서, 객체 추적부(120)에 의해, 사용자의 제스처 감지를 위해 등록해야 할 제스처 인지 대상 객체의 특징 정보를 추출한다. 여기서, 제스처 인지 대상 객체의 특징 정보는 제스처 인지 대상 객체의 윤곽선 정보(크기 정보) 및 색상 정보를 포함한다.Next, in step S220 , feature information of a gesture recognition target object to be registered to detect a user's gesture is extracted by the object tracking unit 120 . Here, the characteristic information of the gesture recognition target object includes outline information (size information) and color information of the gesture recognition target object.

구체적으로, 도 3에 도시한 바와 같이, 스마트 글래스의 표시 화면상에 가상의 "등록 영역"(30, 도 3에서 점선으로 표시한 사각 영역)을 표시하여, 인지해야 할 제스처 인지 대상 객체를 비추도록(또는 촬영하도록) 사용자를 안내한다.Specifically, as shown in FIG. 3, a virtual "registration area" (30, a rectangular area indicated by a dotted line in FIG. 3) is displayed on the display screen of the smart glasses to illuminate the target object for gesture recognition to be recognized. Guide the user to catalog (or take pictures).

제스처 인지 대상 객체는 사용자의 손일 수 있다. 즉, 사용자는 자신의 손을 제스처 감지를 위해 사용할 수 있다. 손에 장애가 있거나 손의 사용이 불편한 경우 펜, 포인터, 공 등 다른 사물을 사용할 수 있다. 단, 제스처 인식을 위해 사용될 손 또는 그 밖의 사물의 표면의 대부분은 단일 색상(피부 색깔 등)으로 구성되는 것이 바람직하다. 이는 아래에서 설명하겠지만, 제스처 인지 대상 객체의 실루엣을 기등록된 제스처 인지 대상 객체의 색상 정보를 기반으로 추출하기 때문에, 실루엣의 정확한 검출을 위해서는 제스처 인식을 위해 사용될 대상 객체의 표면이 단일 색상으로 이루어지는 것이 바람직하기 때문이다.The gesture recognition target object may be a user's hand. That is, the user can use his or her hand for gesture detection. If you have a handicap or have difficulty using your hand, you can use other objects such as a pen, pointer, or ball. However, it is preferable that most of the surface of the hand or other object to be used for gesture recognition is composed of a single color (such as skin color). As will be described below, since the silhouette of the gesture recognition target object is extracted based on the color information of the previously registered gesture recognition target object, the surface of the target object to be used for gesture recognition is made of a single color in order to accurately detect the silhouette. because it is preferable.

등록 영역(30)에 제스처 인지 대상 객체(손, 펜 등)가 들어오면, 등록 영역(30)에 들어온 제스처 인지 대상 객체(손, 펜 등)에 대해서 윤곽선(윤곽선 정보)과 그 윤곽선 내부의 색상(색상 정보)을 추출한다. When a gesture recognition target object (hand, pen, etc.) enters the registration area 30 , the outline (contour line information) of the gesture recognition target object (hand, pen, etc.) entering the registration area 30 and the color inside the outline (color information) is extracted.

윤곽선은 배경 제거 알고리즘 및 객체 추출 알고리즘 등과 같은 공지의 알고리즘을 이용하여 추출될 수 있다. 윤곽선 내부의 색상은 윤곽선이 추출되면, 추출된 윤곽선 내부의 픽셀들의 각 RGB 픽셀값을 추출하고, 추출된 RGB 픽셀값들을 분석하여 색상 정보를 추출한다. 색상 정보는, 예를 들면, 추출된 RGB 픽셀값들의 평균치를 기반으로 획득될 수 있다. 정확한 색상 정보를 추출을 위해, 전술한 바와 같이, 제스처 인지 대상 객체의 표면 대부분은 단일 색상으로 구성되는 것이 바람직하다.The outline may be extracted using a known algorithm such as a background removal algorithm and an object extraction algorithm. As for the color inside the outline, when the outline is extracted, each RGB pixel value of the pixels inside the extracted outline is extracted, and color information is extracted by analyzing the extracted RGB pixel values. The color information may be obtained, for example, based on an average value of the extracted RGB pixel values. In order to extract accurate color information, as described above, most of the surface of the gesture recognition target object is preferably composed of a single color.

이어, 단계 S230에서, 제스처 등록부(120)에 의해, 객체 특징 및 모션 벡터 시퀀스를 제스처 템플릿 데이터베이스(140)에 등록한다. 예를 들면, 도 4에 도시된 바와 같은 기 등록된 모션 제스처들(모션 벡터들)을 스마트 글래스의 표시화면을 통해 보여주고 어떤 제어명령에 매핑(mapping) 되어 있는지 알려준다. 여기서 사용자는 기등록된 제스처를 반복적으로 따라하여 자신(사용자)이 수행한 제스처를 시스템(스마트 글래스)이 보다 정확하게 인지할 수 있도록 튜닝(tuning), 업데이트 보정할 수 있다. Next, in step S230 , the object feature and motion vector sequence are registered in the gesture template database 140 by the gesture registration unit 120 . For example, pre-registered motion gestures (motion vectors) as shown in FIG. 4 are displayed through the display screen of the smart glasses, and the mapping to which control command is indicated. Here, the user can repeatedly follow the registered gesture to tune, update, and correct the gesture performed by the user (the user) so that the system (smart glasses) can more accurately recognize the gesture.

또한, 사용자는 새로운 제스처를 만들어 이 새로운 제스처를 제어 명령에 매핑시켜 신규 제스처 탬플릿을 데이터베이스(140)에 등록할 수도 있다. 이를 위해, 객체 추적부(120)가 사용자가 등록하고자 하는 새로운 제스처에 대한 영상 프레임들을 분석하여 이로부터 새로운 모션 벡터들을 추출하고, 추출한 새로운 모션 벡터들을 새로운 제어명령에 매핑하여 새로운 모션 벡터들을 제스처 템플릿으로 구성하여 데이터베이스(140)에 등록할 수도 있다. 물론, 기존의 제어명령에 매핑된 모션 벡터들을 상기 새로운 모션 벡터들로 변경하여 데이터베이스(140)에 등록할 수도 있다.In addition, the user may create a new gesture and map the new gesture to a control command to register the new gesture template in the database 140 . To this end, the object tracking unit 120 analyzes image frames for a new gesture that the user wants to register, extracts new motion vectors therefrom, maps the extracted new motion vectors to a new control command, and converts the new motion vectors into a gesture template. may be configured and registered in the database 140 . Of course, motion vectors mapped to existing control commands may be changed to the new motion vectors and registered in the database 140 .

도 5는 본 발명의 실시 예에 따른 제스처 인식 방법을 설명하기 위한 흐름도이고, 도 6은 본 발명의 실시 예에 따른 제스처 인지 대상 객체의 인식 과정을 설명하기 위한 도면이고, 도 7은 본 발명의 실시 예에 따른 인식된 객체의 특징점을 설명하기 위한 도면이고, 도 8은 본 발명의 실시 예에 따른 모션 히스토리의 예시도이고, 도 9는 본 발명의 실시 예에 따른 모션 벡터 시퀀스를 설명하기 위한 도면이다.5 is a flowchart for explaining a gesture recognition method according to an embodiment of the present invention, FIG. 6 is a diagram for explaining a process of recognizing a gesture recognition target object according to an embodiment of the present invention, and FIG. 7 is a diagram of the present invention It is a diagram for explaining the characteristic points of a recognized object according to an embodiment, FIG. 8 is an exemplary view of a motion history according to an embodiment of the present invention, and FIG. 9 is a diagram for explaining a motion vector sequence according to an embodiment of the present invention It is a drawing.

도 5를 참조하면, 본 발명의 실시 예에 따른 제스처 인식 방법에서는, 먼저, S510에서, 영상 획득부(110)에서, 제스처 인지 대상 객체를 포함하는 컬러 기반의 영상 이미지(이하, 컬러 영상 이미지)를 프레임 단위로 획득하는 과정이 수행된다.Referring to FIG. 5 , in the gesture recognition method according to an embodiment of the present invention, first, in S510 , in the image acquisition unit 110 , a color-based image including a gesture recognition target object (hereinafter, a color image image) A process of acquiring ? is performed in units of frames.

이어, S520에서, 객체 추적부(120)에서, 컬러 영상 이미지로부터 제스처 인지 대상 객체를 인식하는 과정이 수행된다.Next, in S520 , the object tracking unit 120 performs a process of recognizing the gesture recognition target object from the color image image.

제스처 인지 대상 객체를 인식하는 과정은 도 6에 도시한 전경 영상 이미지(61)와 실루엣 영상 이미지(63)를 비교하여 일치하는(중첩하는) 영역을 제스처 인지 대상 객체로 인식하는 과정이다.The process of recognizing the gesture recognition target object is a process of recognizing the matching (overlapping) region as the gesture recognition target object by comparing the foreground image 61 and the silhouette image 63 shown in FIG. 6 .

이러한 제스처 인지 대상 객체를 인식하는 과정은 크게 제스처 인지 대상 객체의 윤곽선을 포함하는 전경 영상 이미지(61)를 획득하는 과정, 데이터베이스(140)에 기 등록된 색상 정보를 기반으로 제스처 인지 대상 객체를 실루엣으로 처리한 실루엣 영상 이미지(63)를 획득하는 과정 및 상기 전경 영상 이미지(61)와 상기 실루엣 영상 이미지(63)를 비교하는 과정을 포함한다. The process of recognizing the gesture recognition target object is largely a process of acquiring a foreground image 61 including the outline of the gesture recognition target object, and silhouette the gesture recognition target object based on color information previously registered in the database 140 . It includes a process of obtaining the silhouette image 63 processed by , and a process of comparing the foreground image 61 with the silhouette image 63 .

전경 영상 이미지(61) 획득 과정Foreground video image 61 acquisition process

전경 영상 이미지(61)를 획득하기 위해, 우선, 전처리 과정을 통해 컬러 영상 이미지를 그레이 스케일(grayscale) 기반의 영상 이미지(이하, 그레이 스케일 영상 이미지)로 변환한다.To obtain the foreground video image 61, first, a color video image is converted into a grayscale-based video image (hereinafter, referred to as a grayscale video image) through a preprocessing process.

이어, 배경 제거 기법을 통해 그레이 스케일 영상 이미지에서 배경 영상 이미지를 제거하여 전경 영상 이미지를 생성한다. Next, a foreground video image is generated by removing the background video image from the gray scale video image through a background removal technique.

이어, 윤곽선 추출 기법을 통해, 상기 생성된 전경 영상 이미지에서 객체들의 윤곽선을 추출한다. 이때, 추출된 윤곽선은 도 6의 61에서 나타나는 바와 같이, 흰색으로 반전된 라인으로 처리되고, 나머지 부분은 검은색으로 처리된다. Next, outlines of objects are extracted from the generated foreground image image through the outline extraction technique. At this time, as shown in 61 of FIG. 6 , the extracted outline is processed as a line inverted to white, and the remaining part is processed as black.

추출된 윤곽선의 개수를 카운팅(counting)하여, 새로운 객체가 출연했는지, 즉, 움직임이 발생했는지 알 수 있다. 배경에 다른 이동하는 물체 등이 있을 수 있으므로 기 등록된 제스처 인지 대상 객체의 크기와의 비교를 통해 오차범위를 벗어난 윤곽선들은 제거한다. By counting the number of extracted contours, it can be known whether a new object has appeared, that is, whether a motion has occurred. Since there may be other moving objects in the background, outlines outside the error range are removed through comparison with the size of a previously registered gesture recognition target object.

이렇게 함으로써, 전경 영상 이미지에서는 다른 객체는 제거되고, 제스처 인지 대상 객체만이 남게 된다.By doing so, other objects are removed from the foreground video image, leaving only the gesture recognition target object.

실루엣 영상 이미지(63) 획득Acquire silhouette video images (63)

우선, 제스처 템플릿 데이터베이스(140)에 기등록된 제스처 인지 대상 객체의 색상을 확인한다. First, the color of the gesture recognition target object previously registered in the gesture template database 140 is checked.

이어, 컬러 영상 이미지에서 상기 기등록된 제스처 인지 대상 객체의 색상과 동일한 색상(예, 피부 톤, 펜의 색상 등)을 갖는 영역(이하, 색상 영역)을 추출한다. 여기서, 추출된 색상 영역은 다수의 픽셀 좌표로 표현된다.Next, a region (hereinafter, a color region) having the same color (eg, skin tone, pen color, etc.) as the color of the previously registered gesture recognition target object is extracted from the color image image. Here, the extracted color area is expressed by a plurality of pixel coordinates.

이어, 앞서 생성된 전경 영상 이미지에서 상기 추출된 색상 영역에 대응하는 영역을 검출하고, 검출된 영역에 포함된 픽셀들을 모두 흰색 계조로 처리하고, 나머지는 검은색 계조로 음영 처리하여 도 6의 63과 같은 실루엣(silhouette)(도 6의 63에서 'a' 및 'b'로 표시된 영역)을 포함하는 실루엣 영상 이미지를 생성한다. 이때, 실루엣 영상 이미지에서 흰색으로 처리된 영역(도 6의 63에서 'a'로 표시된 영역)이 복수로 존재할 수 있다. 예를 들면, 기등록된 제스처 인지 대상 객체가 손인 경우, 피부 색상과 동일한 색상을 갖는 다른 객체들도 흰색으로 처리된 영역(도 6에서 'b'로 표시된 영역)으로 나타날 것이다.Next, a region corresponding to the extracted color region is detected from the previously generated foreground image image, all pixels included in the detected region are processed as white gradations, and the rest are shaded with black gradations, as shown in FIG. A silhouette video image including a silhouette (regions indicated by 'a' and 'b' in 63 of FIG. 6 ) is generated. In this case, in the silhouette image image, a plurality of areas treated as white (areas indicated by 'a' in 63 of FIG. 6 ) may exist. For example, if the pre-registered gesture recognition target object is a hand, other objects having the same color as the skin color will also appear as a white area (area indicated by 'b' in FIG. 6 ).

전경 영상 이미지(61)와 실루엣 영상 이미지(63) 간의 비교Comparison between the foreground video image 61 and the silhouette video image 63

객체 추적부(120)에서, 제스처 인지 대상 객체의 윤곽선을 포함하는 전경 영상 이미지(61)와 제스처 인지 대상 객체의 실루엣 영역이 포함된 실루엣 영상 이미지를 비교하여 중첩되는 영역을 제스처 인지 대상 객체로 인식한다. 이러한 비교과정을 통해 상기 실루엣 영상 이미지에서 제스처 인지 대상 객체의 색상과 동일한 색상을 갖는 객체들이 배제될 수 있다.The object tracking unit 120 compares the foreground image 61 including the outline of the gesture recognition target object with the silhouette image image including the silhouette region of the gesture recognition target object to recognize the overlapping area as the gesture recognition target object do. Through this comparison process, objects having the same color as that of the gesture recognition target object may be excluded from the silhouette image image.

다시 도 5를 참조하면, 전술한 바와 같이, 제스처 인지 대상 객체를 인식한 후, S530에서, 상기 인식한 제스처 인지 대상 객체를 추적하기 위해 특징점을 추출한다. 특징점 추출은 도 7을 참조하여 설명하기로 한다.Referring back to FIG. 5 , as described above, after recognizing the gesture recognition target object, in S530 , a feature point is extracted to track the recognized gesture recognition target object. The feature point extraction will be described with reference to FIG. 7 .

도 7에 도시된 바와 같이, 특징점은 제스처 인지 대상 객체 영역의 중심점을 이용하거나, 감지된 영역을 감싸는 경계의 좌표 중 하나를 이용하거나, 중심점에서 가장 멀리 떨어진 점(convex hull을 이용하여 추출)을 이용할 수 있다.As shown in FIG. 7 , the feature point uses the center point of the gesture recognition target area, one of the coordinates of the boundary surrounding the detected area, or the point farthest from the center point (extracted using a convex hull). Available.

객체 추적부(120)는 매 프레임마다 추출된 특징점의 좌표 정보와 발생 시간을 저장하여 특징점의 좌표 정보와 발생 시간을 모션 히스토리(history) 정보로서 관리한다. 특징점의 좌표 정보와 발생 시간을 포함하는 모션 히스토리의 예가 도 8에 도시된다. 도 8에서 t는 발생 시간이고, x, y는 좌표 정보이다.The object tracking unit 120 stores the coordinate information and the occurrence time of the feature point extracted for every frame, and manages the coordinate information and the occurrence time of the feature point as motion history information. An example of the motion history including the coordinate information of the feature point and the occurrence time is shown in FIG. 8 . In FIG. 8, t is an occurrence time, and x and y are coordinate information.

다시 도 5를 참조하면, S540에서, 제스처 인식부(150)가 전단계에서 생성한 모션 히스토리 정보를 기반으로 제스처 인식을 수행한다.Referring back to FIG. 5 , in S540 , the gesture recognition unit 150 performs gesture recognition based on the motion history information generated in the previous step.

구체적으로, 상기 특징점의 발생 시간(제스처 인식 시점, 예. 마지막 모션 히스토리가 기록된 시점, 모션이 발생하지 않는 시점 등)을 기반으로 모션 히스토리 정보로부터 모션 벡터 시퀀스를 추출하고, 추출된 모션 벡터 시퀀스에 해당되는 제스처 템플릿이 데이터베이스(140)에 존재하는지 검색한다. 제스처 템플릿이 존재할 경우 해당 제스처 템플릿에 매핑된 제어명령을 데 수행한다.Specifically, a motion vector sequence is extracted from the motion history information based on the occurrence time of the feature point (a gesture recognition time point, eg, a time point at which the last motion history is recorded, a time point when no motion occurs, etc.), and the extracted motion vector sequence It is searched for whether a gesture template corresponding to ? exists in the database 140 . If a gesture template exists, the control command mapped to the corresponding gesture template is executed.

도 9에서는 모션 히스토리 정보로부터 추출된 모션 벡터 시퀀스를 보여준다. 도 9에 도시된 바와 같이, 모션 벡터 시퀀스는 이전 프레임의 발생 시간과 현재 프레임의 발생 시간 차이값(Δt)과 이전 프레임에서 제스처 인지 대상 객체의 특징점 좌표와 현재 프레임에서 제스처 인지 대상 객체의 특징점 좌표 간의 차이값(Δx, Δy)을 포함한다. 모션 벡터 시퀀스는 이러한 차이 값들을 시계열적으로 구성하여 생성된 것이고, 하나의 특정 제스처에 대응하는 모션 벡터 정보이다.9 shows a motion vector sequence extracted from motion history information. As shown in FIG. 9 , the motion vector sequence includes the difference between the occurrence time of the previous frame and the current frame (Δt), the feature point coordinates of the gesture recognition target object in the previous frame, and the feature point coordinates of the gesture recognition target object in the current frame. It includes the difference between the values (Δx, Δy). The motion vector sequence is generated by constructing these difference values in time series, and is motion vector information corresponding to one specific gesture.

본 발명은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예 들에서 설명된 장치 및 구성요소(도 1의 120, 130 및 150)는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. The present invention may be implemented in hardware components, software components, and/or combinations of hardware components and software components. For example, the devices and components (120, 130 and 150 in FIG. 1 ) described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, using one or more general purpose or special purpose computers, such as a microcomputer, field programmable gate array (FPGA), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. can be implemented.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more of these, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

Claims (8)

영상 획득부에서, 포인팅 객체를 포함하는 컬러 영상 이미지를 획득하는 단계;
객체 추적부에서, 상기 포인팅 객체의 윤곽선을 포함하는 전경 영상 이미지와 상기 포인팅 객체의 실루엣을 포함하는 실루엣 영상 이미지를 비교하여, 중첩되는 영역을 상기 포인팅 객체로 인식하는 단계;
상기 객체 추적부에서, 상기 인식한 포인팅 객체의 특징점을 프레임 단위로 추출하고, 추출된 특징점의 좌표 정보들을 포함하는 모션 히스토리 정보를 생성하는 단계; 및
제스처 인식부에서, 상기 모션 히스토리 정보로부터 하나의 특정 제스처에 대응하는 모션 벡터 시퀀스를 추출하고, 추출된 모션 벡터 시퀀스에 해당되는 제스처 템플릿이 존재하면, 상기 제스처 템플릿에 매핑되는 제어 명령을 수행하는 단계
를 포함하는 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 방법.acquiring, by the image acquisition unit, a color image image including a pointing object;
recognizing, by an object tracking unit, an overlapping area as the pointing object by comparing a foreground image including the outline of the pointing object with a silhouette image including the silhouette of the pointing object;
extracting, in the object tracking unit, a feature point of the recognized pointing object in units of frames, and generating motion history information including coordinate information of the extracted feature point; and
In the gesture recognition unit, extracting a motion vector sequence corresponding to one specific gesture from the motion history information, and if a gesture template corresponding to the extracted motion vector sequence exists, performing a control command mapped to the gesture template
A method for human-computer interaction based on motion gesture recognition comprising a. 제1항에서,
상기 포인팅 객체로 인식하는 단계는,
상기 컬러 영상 이미지를 그레이 스케일 영상 이미지로 변환하는 단계;
상기 그레이 스케일 영상 이미지로부터 상기 포인팅 객체를 포함하는 전경 이미지를 추출하는 단계;
상기 전경 이미지에 포함된 상기 포인팅 객체의 윤곽선을 추출하여, 추출된 상기 윤곽선을 흰색 계조로 처리하는 단계
를 포함하는 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 방법.In claim 1,
The step of recognizing the pointing object is,
converting the color video image into a gray scale video image;
extracting a foreground image including the pointing object from the gray scale image image;
extracting the outline of the pointing object included in the foreground image, and processing the extracted outline as a white gradation;
A method for human-computer interaction based on motion gesture recognition comprising a. 제1항에서, 상기 포인팅 객체로 인식하는 단계는,
데이터베이스 기등록된 상기 포인팅 객체의 색상을 기반으로, 상기 컬러 영상 이미지에서 상기 기등록된 포인팅 객체의 색상과 동일한 색상을 갖는 색상 영역을 추출하는 단계;
상기 컬러 영상 이미지를 그레이 스케일 영상 이미지로 변환하는 단계;
상기 그레이 스케일 영상 이미지로부터 상기 포인팅 객체를 포함하는 전경 이미지를 추출하는 단계;
상기 추출된 전경 이미지에서 상기 추출된 색상 영역에 대응하는 전체 영역을 흰색 계조로 변환하여 상기 전체 영역을 실루엣 영역으로 처리하는 단계
를 포함하는 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 방법.The method of claim 1, wherein the step of recognizing the pointing object comprises:
extracting a color region having the same color as that of the previously registered pointing object from the color image image based on the color of the pointing object registered in a database;
converting the color video image into a gray scale video image;
extracting a foreground image including the pointing object from the gray scale image image;
converting an entire region corresponding to the extracted color region in the extracted foreground image to a white gray scale and processing the entire region as a silhouette region
A method for human-computer interaction based on motion gesture recognition comprising a. 제1항에서,
상기 제어 명령을 수행하는 단계는,
상기 모션 히스토리 정보를 이용하여, 이전 프레임에서의 상기 특징점의 좌표 정보와 현재 프레임에서의 상기 특징점의 좌표 정보 간의 차이 값을 계산하는 단계; 및
상기 계산된 차이 값을 시계열적으로 구성한 상기 모션 벡터 시퀀스를 생성하는 단계
를 포함하는 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 방법.In claim 1,
The step of executing the control command,
calculating a difference value between coordinate information of the feature point in a previous frame and coordinate information of the feature point in a current frame using the motion history information; and
generating the motion vector sequence in which the calculated difference values are constructed in time series
A method for human-computer interaction based on motion gesture recognition comprising a. 제1항에서,
상기 포인팅 객체는,
단일 색상으로 이루어진 사용자의 손, 펜, 포인터를 포함하는 것인 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 방법.In claim 1,
The pointing object is
A method for human-computer interaction based on motion gesture recognition, comprising a user's hand, pen and pointer in a single color. 포인팅 객체를 포함하는 컬러 영상 이미지를 획득하는 영상 획득부;
상기 포인팅 객체의 윤곽선을 포함하는 전경 영상 이미지와 상기 포인팅 객체의 실루엣을 포함하는 실루엣 영상 이미지를 비교하여, 중첩되는 영역을 상기 포인팅 객체로 인식하고, 상기 인식한 포인팅 객체의 특징점을 프레임 단위로 추출하고, 프레임 단위로 추출된 특징점의 좌표 정보들을 시계열적으로 나열한 모션 히스토리 정보를 생성하는 객체 추적부; 및
제스처 인식부에서, 상기 모션 히스토리 정보로부터 하나의 특정 제스처에 대응하는 모션 벡터 시퀀스를 추출하고, 추출된 모션 벡터 시퀀스에 해당되는 제스처 템플릿이 존재하면, 상기 제스처 템플릿에 매핑되는 제어 명령을 수행하는 제스처 인식부
를 포함하는 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 장치.an image acquisition unit configured to acquire a color image image including a pointing object;
By comparing the foreground image including the outline of the pointing object and the silhouette image including the silhouette of the pointing object, the overlapping area is recognized as the pointing object, and feature points of the recognized pointing object are extracted in units of frames. and an object tracking unit that generates motion history information in which coordinate information of feature points extracted in units of frames is time-series; and
The gesture recognition unit extracts a motion vector sequence corresponding to one specific gesture from the motion history information, and when there is a gesture template corresponding to the extracted motion vector sequence, a gesture to perform a control command mapped to the gesture template recognition unit
A device for human-computer interaction based on motion gesture recognition comprising a. 제6항에서, 상기 객체 추척부는,
데이터베이스 기등록된 상기 포인팅 객체의 색상을 기반으로, 상기 컬러 영상 이미지에서 상기 기등록된 포인팅 객체의 색상과 동일한 색상을 갖는 색상 영역을 추출한 후, 상기 컬러 영상 이미지를 그레이 스케일 영상 이미지로 변환하고, 상기 그레이 스케일 영상 이미지로부터 상기 포인팅 객체를 포함하는 전경 이미지를 추출하고, 상기 추출된 전경 이미지에서 상기 추출된 색상 영역에 대응하는 전체 영역을 흰색 계조로 변환하여 상기 전체 영역을 실루엣 영역으로 처리하는 것인 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 장치.The method of claim 6, wherein the object tracking unit,
After extracting a color region having the same color as that of the previously registered pointing object from the color image image based on the color of the pointing object registered in the database, the color image is converted into a grayscale image, extracting a foreground image including the pointing object from the gray scale image image, converting the entire region corresponding to the extracted color region from the extracted foreground image to a white gradation, and processing the entire region as a silhouette region A device for human-computer interaction based on in-motion gesture recognition. 제6항에서,
상기 영상 획득부는, 컬러 영상 카메라인 것인 모션 제스처 인식 기반 인간 컴퓨터 상호 작용을 위한 장치.In claim 6,
The image acquisition unit, a color image camera, motion gesture recognition-based human-computer interaction device.
KR1020200010585A 2019-12-18 2020-01-29 method and apparatus for human computer interaction based on motion gesture recognition KR20210078378A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190170057 2019-12-18
KR1020190170057 2019-12-18

Publications (1)

Publication Number Publication Date
KR20210078378A true KR20210078378A (en) 2021-06-28

Family

ID=76607972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200010585A KR20210078378A (en) 2019-12-18 2020-01-29 method and apparatus for human computer interaction based on motion gesture recognition

Country Status (1)

Country Link
KR (1) KR20210078378A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448443A (en) * 2021-07-12 2021-09-28 交互未来(北京)科技有限公司 Large screen interaction method, device and equipment based on hardware combination
CN116360603A (en) * 2023-05-29 2023-06-30 中数元宇数字科技(上海)有限公司 Interaction method, device, medium and program product based on time sequence signal matching
CN117453050A (en) * 2023-11-30 2024-01-26 北斗天汇（北京）科技有限公司 Interaction method and sand table display system based on gesture control
CN117830953A (en) * 2024-01-09 2024-04-05 北京首华建设经营有限公司 Intelligent network color image tracking and monitoring method, system, terminal and storage medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448443A (en) * 2021-07-12 2021-09-28 交互未来(北京)科技有限公司 Large screen interaction method, device and equipment based on hardware combination
CN116360603A (en) * 2023-05-29 2023-06-30 中数元宇数字科技(上海)有限公司 Interaction method, device, medium and program product based on time sequence signal matching
CN117453050A (en) * 2023-11-30 2024-01-26 北斗天汇（北京）科技有限公司 Interaction method and sand table display system based on gesture control
CN117830953A (en) * 2024-01-09 2024-04-05 北京首华建设经营有限公司 Intelligent network color image tracking and monitoring method, system, terminal and storage medium

Similar Documents

Publication Publication Date Title
CN110232311B (en) Method and device for segmenting hand image and computer equipment
KR20210078378A (en) method and apparatus for human computer interaction based on motion gesture recognition
KR101603017B1 (en) Gesture recognition device and gesture recognition device control method
KR101514169B1 (en) Information processing device, information processing method, and recording medium
US20120051605A1 (en) Method and apparatus of a gesture based biometric system
US9557821B2 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
CN106774850B (en) Mobile terminal and interaction control method thereof
US10755422B2 (en) Tracking system and method thereof
US10146306B2 (en) Gaze position detection apparatus and gaze position detection method
KR20090119107A (en) Gaze tracking apparatus and method using difference image entropy
US20120119984A1 (en) Hand pose recognition
US9880634B2 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
US20160104037A1 (en) Method and device for generating motion signature on the basis of motion signature information
KR20120044484A (en) Apparatus and method for tracking object in image processing system
US20150261409A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
CN111382637A (en) Pedestrian detection tracking method, device, terminal equipment and medium
US11656723B2 (en) Systems and methods for providing on-screen virtual keyboards
US20160140762A1 (en) Image processing device and image processing method
JP6225612B2 (en) Program, information processing apparatus, and method
US9524031B2 (en) Apparatus and method for recognizing spatial gesture
KR101586071B1 (en) Apparatus for providing marker-less augmented reality service and photographing postion estimating method therefor
JP2017033556A (en) Image processing method and electronic apparatus
JP2017191426A (en) Input device, input control method, computer program, and storage medium
CN110852220B (en) Intelligent facial expression recognition method, terminal and computer readable storage medium
JP5051671B2 (en) Information processing apparatus, information processing method, and program