KR20120029737A - 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치 - Google Patents

사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치 Download PDF

Info

Publication number
KR20120029737A
KR20120029737A KR1020100091744A KR20100091744A KR20120029737A KR 20120029737 A KR20120029737 A KR 20120029737A KR 1020100091744 A KR1020100091744 A KR 1020100091744A KR 20100091744 A KR20100091744 A KR 20100091744A KR 20120029737 A KR20120029737 A KR 20120029737A
Authority
KR
South Korea
Prior art keywords
scanned
image
dynamic organ
window
hog descriptor
Prior art date
Application number
KR1020100091744A
Other languages
English (en)
Other versions
KR101298024B1 (ko
Inventor
이승계
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020100091744A priority Critical patent/KR101298024B1/ko
Priority to US13/228,877 priority patent/US8649560B2/en
Priority to CN201110273352.0A priority patent/CN102411706B/zh
Publication of KR20120029737A publication Critical patent/KR20120029737A/ko
Application granted granted Critical
Publication of KR101298024B1 publication Critical patent/KR101298024B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 전기 사용 장치의 사용자 동적 기관 제스처 인식 방법에 있어서, 촬상소자를 통해 입력된 비교영상과 목표영상 사이의 밝기 차이를 반영한 차분영상에 대해, 윈도우를 사용하여 스캔하는 단계와; 상기 스캔된 영역이 동적 기관 이미지를 포함하고 있다고 판단되는 경우에, 상기 스캔된 영역의 HOG(Histograms of Oriented Gradients) 기술자를 생성하는 단계와; 상기 스캔된 영역의 HOG 기술자와, 상기 동적 기관 제스처에 대한 쿼리 템플릿(query template)의 HOG 기술자 사이의 유사도 값을 측정하는 단계와; 상기 유사도 값이 설정조건을 만족하는 경우에, 상기 스캔된 영역이 상기 쿼리 템플릿의 동적 기관 제스처를 포함하고 있다고 판단하는 단계를 포함하고, 상기 비교영상은, 상기 목표영상의 이전 프레임 영상들 중 하나인 사용자 동적 기관 제스처 인식 방법을 제공한다.

Description

사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치{Method and interface of recognizing user's dynamic organ gesture, and electric-using apparatus using the interface}
본 발명은 사용자 동적 기관 제스처 인식 방법에 대한 것으로서, 보다 상세하게는, 사용자 동적 기관 제스처 인식 방법 및 인터페이스와 이를 사용하는 전기 사용 장치에 대한 것이다.
영상 정보 기반의 다양한 멀티미디어 시스템(multi-media system)이 발달하면서 영상이 포함하고 있는 정보를 이해하고 이를 다양한 분야에 응용할 수 있는 기술에 대한 수요가 급증하고 있다. 특히, 영상 내에 사람의 제스처(gesture) 예를 들면 손 동작 등을 인식함으로써 보다 편리한 인터페이스 환경을 구축하는 데 많은 관심이 집중되고 있다.
그런데, 종래에는, 손 제스처 등을 인식함에 있어, 복잡한 배경이 존재하거나 손 이외의 피부색 영역이 존재하는 경우 등에는, 손 제스처을 정확히 인식하지 못하는 문제점이 있다.
이와 관련하여, 종래의 손 제스처 인식 방법을 간략히 살펴보면 다음과 같다. 많은 수의 데이터셋(data set)을 이용하여 정규화된(normalized) RGB 색상공간에서 가우시안 혼합 모델(Gaussian mixture model) 기반의 학습을 수행한다. 이와 같이 학습을 통해 생성된 모델과의 유사도를 이용하여, 프레임 영상에서 피부색 이미지를 검출한다. 한편, 프레임 영상 간의 밝기 차이를 이용하여 손 동작 이미지를 생성한다. 이와 같은 손 동작 이미지를, 검출된 피부색 이미지에 적용하여, 손 우도(likelihoood) 이미지를 생성한다. 집적(integral) 이미지 특징을 이용하여, 손 우도 이미지에서 손 후보 영역을 검출한다. 이와 같은 손 후보 영역의 중심 좌표와 옵티컬 플로우(optical flow) 성분을 이용하여, 최종적으로 손 제스처를 판단한다.
위와 같은 종래의 손 영역 인식 방법은 다음과 같은 문제점을 갖는다. 먼저, 영상에서 손 영역 이외에 피부색 배경이 존재하는 경우에, 이들을 구분하는 것이 용이하지 않다. 그리고, 배경에 사람 등의 움직임이 존재하는 경우에, 손 동작에 대한 검출이 용이하지 않다. 또한, 많은 양의 학습 데이터가 필요하며, 이를 바탕으로 신뢰성 있는 모델을 생성하는 데 많은 시간과 비용이 소모된다. 또한, 실내 조명 변화에 취약하며, 영상을 얻기 위한 카메라 등의 노이즈(noise)에 의해 손 동작에 대한 오검출(false detection)이 빈번히 발생하게 된다.
이처럼, 종래의 손 제스처 인식 방법에서는, 효율성과 신뢰성이 저하되는 문제가 발생하게 된다.
본 발명은, 사용자의 동적 기관 제스처를 인식함에 있어, 효율성과 신뢰성을 향상시키는 데 과제가 있다.
전술한 바와 같은 과제를 달성하기 위해, 본 발명은, 전기 사용 장치의 사용자 동적 기관 제스처 인식 방법에 있어서, 촬상소자를 통해 입력된 비교영상과 목표영상 사이의 밝기 차이를 반영한 차분영상에 대해, 윈도우를 사용하여 스캔하는 단계와; 상기 스캔된 영역이 동적 기관 이미지를 포함하고 있다고 판단되는 경우에, 상기 스캔된 영역의 HOG(Histograms of Oriented Gradients) 기술자를 생성하는 단계와; 상기 스캔된 영역의 HOG 기술자와, 상기 동적 기관 제스처에 대한 쿼리 템플릿(query template)의 HOG 기술자 사이의 유사도 값을 측정하는 단계와; 상기 유사도 값이 설정조건을 만족하는 경우에, 상기 스캔된 영역이 상기 쿼리 템플릿의 동적 기관 제스처를 포함하고 있다고 판단하는 단계를 포함하고, 상기 비교영상은, 상기 목표영상의 이전 프레임 영상들 중 하나인 사용자 동적 기관 제스처 인식 방법을 제공한다.
여기서, 상기 윈도우를 사용하여 스캔하는 단계는, 상기 차분영상에 대해, 픽셀의 밝기 차이를 임계치를 기준으로 상위치와 하위치로 이치화하여, 이치화맵을 생성하는 단계와; 상기 이치화맵에 대해, 상기 윈도우 스캔을 수행하는 단계를 포함할 수 있다.
상기 스캔된 영역이 동적 기관 이미지를 포함하는지 여부에 대한 판단은, 상기 스캔된 영역에 속하는 픽셀들 중 상기 상위치를 갖는 픽셀의 수가 설정조건을 만족하는 지 여부를 통해 이루어질 수 있다.
상기 스캔된 영역의 HOG 기술자를 생성하는 단계는, 상기 스캔된 영역의 밝기에 대한 고차원통계(High Order Statistics: HOS) 정보를 사용하여, 상기 스캔된 영역에 대한 HOS 지도를 생성하는 단계와; 상기 HOS 지도를 기반으로, 상기 스캔된 영역의 HOG 기술자를 생성하는 단계를 포함할 수 있다.
상기 HOS 지도를 기반으로, 상기 스캔된 영역의 HOG 기술자를 생성하는 단계는, 상기 스캔된 영역의 픽셀의 밝기 변화도의 크기와 방향을 이용하여 히스토그램을 블럭 단위로 생성하는 단계와; 상기 블럭 단위로 생성된 히스토그램을 연결하여 상기 HOG 기술자를 생성하는 단계를 포함하며, 상기 블럭은 상기 윈도우 보다 작은 크기를 가지며, 서로 이웃하는 상기 블럭은 중첩될 수 있다.
상기 유사도 값은, 상기 스캔된 영역의 HOG 기술자와 상기 쿼리 템플릿의 HOG 기술자 사이의 코사인 유사도를 이용한 제 1 수식을 통해 측정되며, 제 1 수식은,
Figure pat00001
(
Figure pat00002
는 쿼리 템플릿의 HOG 기술자,
Figure pat00003
는 스캔된 영역의 HOG 기술자,
Figure pat00004
는
Figure pat00005
의 치환행렬,
Figure pat00006
은 코사인 유사도이고,
Figure pat00007
은 유사도 값 측정 함수)일 수 있다.
상기 고차원통계 정보는, 제 2 및 3 수식을 통해 얻어지며, 제 2 수식은,
Figure pat00008
(B(x,y)는 (x,y) 좌표의 픽셀과 그 주변 픽셀의 집합, NB는 집합 B(x,y)의 크기, I(x,y)는 (x,y) 좌표의 픽셀의 밝기,
Figure pat00009
은 B(x,y)의 밝기 평균값,
Figure pat00010
은 2차 모멘트)이고, 제 3 수식은,
Figure pat00011
(UL은 상위제한값, DSF는 다운스케일링인자)일 수 있다.
상기 윈도우를 통해 스캔되는 영역들 중, 상기 윈도우의 폭 방향을 따라 서로 이웃하는 영역들은 중첩되고, 상기 윈도우의 높이 방향을 따라 서로 이웃하는 영역들은 중첩될 수 있다.
상기 동적 기관은 손, 발, 머리, 팔, 다리 중 하나일 수 있다.
다른 측면에서, 본 발명은, 전기 사용 장치의 사용자 인터페이스에 있어서, 촬상소자와; 상기 촬상소자를 통해 입력된 비교영상과 목표영상 사이의 밝기 차이를 반영한 차분영상에 대해, 윈도우를 사용하여 스캔하고; 상기 스캔된 영역이 동적 기관 이미지를 포함하고 있다고 판단되는 경우에, 상기 스캔된 영역의 HOG 기술자를 생성하고; 상기 스캔된 영역의 HOG 기술자와, 상기 동적 기관 제스처에 대한 쿼리 템플릿의 HOG 기술자 사이의 유사도 값을 측정하고; 상기 유사도 값이 설정조건을 만족하는 경우에, 상기 스캔된 영역이 상기 쿼리 템플릿의 동적 기관 제스처를 포함하고 있다고 판단하는 동적 기관 제스처 인식부를 포함하고, 상기 비교영상은, 상기 목표영상의 이전 프레임 영상들 중 하나인 사용자 인터페이스를 제공한다.
여기서, 상기 동적 기관 제스처 인식부는, 상기 차분영상에 대해, 픽셀의 밝기 차이를 임계치를 기준으로 상위치와 하위치로 이치화하여, 이치화맵을 생성하고, 상기 이치화맵에 대해, 상기 윈도우 스캔을 수행할 수 있다.
상기 동적 기관 제스처 인식부는, 상기 스캔된 영역에 속하는 픽셀들 중 상기 상위치를 갖는 픽셀의 수가 설정조건을 만족하는 지 여부를 통해, 상기 스캔된 영역이 동적 기관 이미지를 포함하는지 여부를 판단할 수 있다.
상기 동적 기관 제스처 인식부는, 상기 스캔된 영역의 밝기에 대한 고차원통계(High Order Statistics: HOS) 정보를 사용하여, 상기 스캔된 영역에 대한 HOS 지도를 생성하고, 상기 HOS 지도를 기반으로, 상기 스캔된 영역의 HOG 기술자를 생성할 수 있다.
상기 동적 기관 제스처 인식부는, 상기 스캔된 영역의 픽셀의 밝기 변화도의 크기와 방향을 이용하여 히스토그램을 블럭 단위로 생성하고, 상기 블럭 단위로 생성된 히스토그램을 연결하여 상기 스캔된 영역의 HOG 기술자를 생성하며, 상기 블럭은 상기 윈도우 보다 작은 크기를 가지며, 서로 이웃하는 상기 블럭은 중첩될 수 있다.
상기 유사도 값은, 상기 스캔된 영역의 HOG 기술자와 상기 쿼리 템플릿의 HOG 기술자 사이의 코사인 유사도를 이용한 제 1 수식을 통해 측정되며, 제 1 수식은,
Figure pat00012
(
Figure pat00013
는 쿼리 템플릿의 HOG 기술자,
Figure pat00014
는 스캔된 영역의 HOG 기술자,
Figure pat00015
는
Figure pat00016
의 치환행렬,
Figure pat00017
은 코사인 유사도이고,
Figure pat00018
은 유사도 값 측정 함수)일 수 있다.
상기 고차원통계 정보는, 제 2 및 3 수식을 통해 얻어지며, 제 2 수식은,
Figure pat00019
(B(x,y)는 (x,y) 좌표의 픽셀과 그 주변 픽셀의 집합, NB는 집합 B(x,y)의 크기, I(x,y)는 (x,y) 좌표의 픽셀의 밝기,
Figure pat00020
은 B(x,y)의 밝기 평균값,
Figure pat00021
은 2차 모멘트)이고, 제 3 수식은,
Figure pat00022
(UL은 상위제한값, DSF는 다운스케일링인자)일 수 있다.
상기 윈도우를 통해 스캔되는 영역들 중, 상기 윈도우의 폭 방향을 따라 서로 이웃하는 영역들은 중첩되고, 상기 윈도우의 높이 방향을 따라 서로 이웃하는 영역들은 중첩될 수 있다.
상기 동적 기관은 손, 발, 머리, 팔, 다리 중 하나일 수 있다.
또 다른 측면에서, 본 발명은, 전기 사용 장치에 있어서, 촬상소자를 통해 입력된 비교영상과 목표영상 사이의 밝기 차이를 반영한 차분영상에 대해, 윈도우를 사용하여 스캔하고; 상기 스캔된 영역이 동적 기관 이미지를 포함하고 있다고 판단되는 경우에, 상기 스캔된 영역의 HOG 기술자를 생성하고; 상기 스캔된 영역의 HOG 기술자와, 상기 동적 기관 제스처에 대한 쿼리 템플릿의 HOG 기술자 사이의 유사도 값을 측정하고; 상기 유사도 값이 설정조건을 만족하는 경우에, 상기 스캔된 영역이 상기 쿼리 템플릿의 동적 기관 제스처를 포함하고 있다고 판단하는 동적 기관 제스처 인식부를 포함하는 사용자 인터페이스와; 상기 사용자 인터페이스로부터의 동적 기관 제스처 인식 결과에 따라, 상기 전기 사용 장치의 동작을 제어하는 제어회로를 포함하고, 상기 비교영상은, 상기 목표영상의 이전 프레임 영상들 중 하나인 전기 사용 장치를 제공한다.
여기서, 상기 동적 기관 제스처 인식부는, 상기 차분영상에 대해, 픽셀의 밝기 차이를 임계치를 기준으로 상위치와 하위치로 이치화하여, 이치화맵을 생성하고, 상기 이치화맵에 대해, 상기 윈도우 스캔을 수행할 수 있다.
상기 동적 기관 제스처 인식부는, 상기 스캔된 영역에 속하는 픽셀들 중 상기 상위치를 갖는 픽셀의 수가 설정조건을 만족하는 지 여부를 통해, 상기 스캔된 영역이 동적 기관 이미지를 포함하는지 여부를 판단할 수 있다.
상기 동적 기관 제스처 인식부는, 상기 스캔된 영역의 밝기에 대한 고차원통계(High Order Statistics: HOS) 정보를 사용하여, 상기 스캔된 영역에 대한 HOS 지도를 생성하고, 상기 HOS 지도를 기반으로, 상기 스캔된 영역의 HOG 기술자를 생성할 수 있다.
상기 동적 기관 제스처 인식부는, 상기 스캔된 영역의 픽셀의 밝기 변화도의 크기와 방향을 이용하여 히스토그램을 블럭 단위로 생성하고, 상기 블럭 단위로 생성된 히스토그램을 연결하여 상기 스캔된 영역의 HOG 기술자를 생성하며, 상기 블럭은 상기 윈도우 보다 작은 크기를 가지며, 서로 이웃하는 상기 블럭은 중첩될 수 있다.
상기 유사도 값은, 상기 스캔된 영역의 HOG 기술자와 상기 쿼리 템플릿의 HOG 기술자 사이의 코사인 유사도를 이용한 제 1 수식을 통해 측정되며, 제 1 수식은,
Figure pat00023
(
Figure pat00024
는 쿼리 템플릿의 HOG 기술자,
Figure pat00025
는 스캔된 영역의 HOG 기술자,
Figure pat00026
는
Figure pat00027
의 치환행렬,
Figure pat00028
은 코사인 유사도이고,
Figure pat00029
은 유사도 값 측정 함수)일 수 있다.
상기 고차원통계 정보는, 제 2 및 3 수식을 통해 얻어지며, 제 2 수식은,
Figure pat00030
(B(x,y)는 (x,y) 좌표의 픽셀과 그 주변 픽셀의 집합, NB는 집합 B(x,y)의 크기, I(x,y)는 (x,y) 좌표의 픽셀의 밝기,
Figure pat00031
은 B(x,y)의 밝기 평균값,
Figure pat00032
은 2차 모멘트)이고, 제 3 수식은,
Figure pat00033
(UL은 상위제한값, DSF는 다운스케일링인자)일 수 있다.
상기 윈도우를 통해 스캔되는 영역들 중, 상기 윈도우의 폭 방향을 따라 서로 이웃하는 영역들은 중첩되고, 상기 윈도우의 높이 방향을 따라 서로 이웃하는 영역들은 중첩될 수 있다.
상기 동적 기관은 손, 발, 머리, 팔, 다리 중 하나일 수 있다.
본 발명에서는, 손 제스처를 인식함에 있어, 비교영상과 목표영상의 밝기 차이에 대한 차분영상을 생성하고, 차분영상에 대한 이치화맵을 생성하며, 이치화맵에 대해 윈도우 스캔을 수행하고, 윈도우 스캔 영역에서 상위치 픽셀의 수가 설정조건을 충족하는 경우에 HOS 지도를 생성하고, HOS 지도를 기반으로 해당 스캔 영역의 HOG 기술자를 생성하고, 스캔 영역의 HOG 기술자와 쿼리 템플릿의 HOG 기술자 사이의 유사도를 판단함으로써, 손 제스처를 인식할 수 있게 된다.
이처럼, 상위치 픽셀의 수가 설정조건을 충족하는 경우에, 후속 단계가 진행되므로, 손 제스처 인식을 위한 수행 속도가 상당히 개선될 수 있다.
더욱이, 본 발명에서는, 입력된 영상에 노이즈가 포함되더라도, 이를 제거하기 위한 HOS 지도 생성 단계가 포함될 수 있다. 이에 따라, 손 제스처 인식을 위한 정확성 및 신뢰성이 향상될 수 있게 된다.
또한, 손 제스처 인식을 위해 쿼리 템플릿이 사용되게 된다. 따라서, 종래의 학습 기반 방법에서 많은 수의 데이터셋을 사용함에 따른 시간과 비용을 절감할 수 있게 된다.
또한, HOS 지도를 기반으로 HOG 기술자를 적용하여 손 모양을 효과적으로 모델링할 수 있게 됨에 따라, 다양한 조명 변화에 강건히 동작하며, 피부색 배경이 존재하거나 얼굴 등 다른 신체 부위와 중첩 현상이 발생하는 경우에도 정확하게 손 영역을 인식할 수 있게 된다.
위와 같이, 본 발명에서는, 손 제스처를 인식함에 있어, 신뢰성과 효율성이 향상될 수 있다.
도 1은 본 발명의 실시예에 따른 손 제스처 인식을 위한 사용자 인터페이스를 포함하는 장치를 개략적으로 도시한 도면.
도 2는 본발명의 실시예에 따른 손 제스처 인식 방법을 개략적으로 도시한 흐름도.
도 3은 본 발명의 실시예에 따라 목표영상과 비교영상의 밝기의 차이를 반영하여 생성된 차분영상의 일예를 나타낸 도면.
도 4는 도 3의 차분영상에 대해 생성된 이치화맵을 나타낸 도면.
도 5는 본 발명의 실시예에 따른 윈도우 스캔의 일예를 개략적으로 도시한 도면.
도 6은 노이즈가 발생된 목표영상의 일예를 나타낸 도면.
도 7은 도 6에 대한 에지 크기 지도를 나타낸 도면.
도 8은 도 6에 대해 본 발명의 실시예에 따라 생성된 HOS 지도를 나타낸 도면.
도 9는 본 발명의 실시예에 따라 HOG 기술자를 생성하는 과정의 일예를 나타낸 도면.
도 10 내지 13은 본 발명의 실시예에 따른 손 제스처 인식 방법에 따라 다양한 환경에서 손 제스처를 인식한 결과를 나타낸 도면.
이하, 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 손 제스처 인식을 위한 사용자 인터페이스를 포함하는 장치를 개략적으로 도시한 도면이고, 도 2는 본발명의 실시예에 따른 손 제스처 인식 방법을 개략적으로 도시한 흐름도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 장치(10)는, 사용자 인터페이스(100)와, 제어회로(200)를 포함할 수 있다.
여기서, 본 발명의 실시예에 따른 장치(10)는, 사용자 인터페이스(100)를 통해 입력된 정보를 기반으로 제어되어 동작하며, 자신이 동작함에 있어 전기를 사용하는 모든 종류의 장치를 의미한다고 할 것이다. 예를 들면, 플라즈마표시장치, 액정표시장치, 유기전계발광표시장치 등의 표시장치, 세탁기, 냉장고, 에어컨, 산업용 기기 등 다양한 형태의 장치가, 본 발명의 실시예에 따른 장치(100)에 포함된다고 할 것이다. 설명의 편의를 위해, 본 발명의 실시예에 따른 장치(100)는 전기 사용 장치(100)라고 칭할 수 있다.
사용자 인터페이스(100)는, 촬상소자(110)와 손 제스처 인식부(120)를 포함할 수 있다.
촬상소자(110)로서는 예를 들면 카메라(camera)가 사용될 수 있다. 이와 같은 촬상소자(110)를 통해 전방의 영상이 촬영되며, 촬영된 영상은 프레임 단위로 손 영역 인식부(120)에 입력될 수 있게 된다.
손 제스처 인식부(120)는 입력된 영상에서, 손 제스처를 검출하고 인식하게 된다.
이와 같은 손 제스처 인식 결과는, 제어회로(200)에 전송된다. 제어회로(200)는, 손 제스처 인식 결과에 따라, 대응되는 제어명령을 생성하여 출력할 수 있게 된다. 즉, 인식된 손 제스처에 대응되는 제어명령을 발생시킬 수 있게 된다.
이와 같이 발생된 제어명령에 따라, 전기 사용 장치(100)는 제어되고 동작할 수 있게 된다. 예를 들면, 표시장치가 사용되는 경우에, 전원을 오프(off)하거나, 채널(channel)을 변경하거나, 볼륨(volume)을 조절하는 등의 다양한 동작이 수행될 수 있다.
이하, 도 2 내지 9를 더욱 참조하여, 본 발명의 실시예에 따른 손 제스처 인식 방법에 대해 보다 상세하게 설명한다.
먼저, 촬상소자(110)가 바라보는 부분이 촬영되어 영상이 획득되고, 이는 손 제스처 인식부(120)에 입력된다 (ST1). 여기서, 설명의 편의를 위해, 손 제스처 인식 여부의 대상이 되는 영상으로서 현재 프레임에 입력되는 프레임 영상은, 목표영상이라고 칭하여 질 수 있다. 한편, 이와 같은 목표영상과 비교 대상이 되는 영상으로서 이전 프레임들의 영상들 중 하나, 예를 들면 현재 프레임 직전의 프레임 영상은, 비교영상이라고 칭하여 질 수 있다.
다음으로, 목표영상과 비교영상의 밝기의 차이를 반영한 차분영상을 생성한다 (ST2).
이와 관련하여, 도 3은 본 발명의 실시예에 따라 목표영상과 비교영상의 밝기의 차이를 반영하여 생성된 차분영상의 일예를 나타내고 있다.
도 3을 참조하면, 비교영상과 목표영상을 대비하면, 사용자의 손 등에 움직임이 발생하게 된다. 이처럼, 손과 같이 움직임이 존재한 부분에 대해서는 픽셀값 즉 픽셀치에 차이가 발생하게 된다. 반면에, 움직임이 존재하지 않은 부분에 대해서는 픽셀치의 차이가 발생하지 않게 된다. 이와 같은 점을 이용하여, 비교영상과 목표영상의 차이를 반영한 차분영상을 생성할 수 있게 된다.
다음으로, 차분영상에 대해, 각 픽셀의 밝기값 차이를 바이너리(binary) 형태 이분화하여, 차분영상에 대한 이치화맵을 생성하게 된다 (ST3).
이와 같은 이치화맵의 생성과 관련하여, 예를 들면 다음과 같은 수식(1)이 사용될 수 있다.
수식(1):
Figure pat00034
여기서,
Figure pat00035
와
Figure pat00036
은 각각, 목표영상(n번째 프레임 영상)과 비교영상((n-1)번째 프레임 영상)에서의 동일한 좌표 (x,y)에 위치하는 픽셀의 밝기 값을 나타낸다.
이와 같은 수식(1)에 따라, 만약 픽셀 밝기 값의 차이가 제 1 임계치(TH1) 보다 큰 경우에는, 해당 픽셀에는 예를 들면 상위치와 하위치를 갖는 이치화 값들 중 상위치가 할당될 것이다.
한편, 만약 픽셀 밝기 값의 차이가 제 1 임계치(TH1) 이하인 경우에는, 해당 픽셀에는 이치화 값들 중 하위치가 할당될 것이다.
위와 같이 생성된 각 픽셀에 대한 이치화 값을 사용함으로써, 이치화맵이 생성될 수 있게 된다.
이와 관련하여, 도 4는 도 3의 차분영상에 대해 생성된 이치화맵을 나타내고 있다. 도 4에서는, 제 1 임계치(TH1)보다 큰 경우 상위치로서 "1"을 할당하고, 그 이하인 경우 하위치로서 "0"을 할당하는 경우를 예로 들어 보여주고 있다.
전술한 바와 같이, 이치화맵을 생성함으로써, 비교영상을 기준으로 목표영상에서 움직임 등을 통해 차이가 발생한 부분이 보다 강조되어 표현될 수 있게 된다. 이는, 손의 움직임을 보다 효과적으로 검출할 수 있도록 하여, 결과적으로 손 제스처 인식 수행 속도를 향상시키게 된다.
다음으로, 이치화맵에 대해 일정 크기를 갖는 윈도우(window; WD)를 사용하여 스캔을 수행하고 (ST4), 윈도우(WD)에 의해 스캔된 영역에 속하는 픽셀들 중 이치화 값으로서 상위치를 갖는 픽셀의 수가 제 2 임계치(TH2)보다 큰지 아니면 그 이하인지를 판단하게 된다 (ST5).
여기서, 전술한 윈도우 스캔과 관련하여, 도 5를 참조한다.
도 5는 본 발명의 실시예에 따른 윈도우 스캔의 일예를 개략적으로 도시한 도면이다.
도 5를 참조하면, 일정한 폭(W)과 높이(H)를 갖는 윈도우(WD)를, 예를 들면 행방향 즉 x-방향을 따라 이동하면서 스캔을 수행하게 된다. 그리고, 하나의 행 즉 스캔행에 대한 스캔을 완료하게 되면, 다음번 스캔행에 대한 스캔을 수행할 수 있게 된다.
여기서, 매 스캔시 윈도우의 이동거리(D)는, 즉 행방향을 따라 이웃하는 윈도우 스캔 사이의 이격간격은, 윈도우(WD)의 폭(W)보다 작은 범위를 가질 수 있다. 예를 들면, 현재 스캔 영역에 대한 스캔을 실시한 후, 윈도우(WD)의 폭(W)의 크기에 해당되는 픽셀의 수보다 적은 수의 픽셀만큼 이동하여 다음 스캔 영역에 대한 스캔을 수행할 수 있다. 따라서, 행방향으로 이웃하는 스캔 영역은, 서로 중첩될 수 있게 된다.
그리고, 열방향 즉 y-방향으로 이웃하는 스캔 영역은 서로 중첩될 수 있다. 예를 들면, 현재 윈도우 스캔이 수행되는 스캔행에 대한 스캔이 완료된 후, 윈도우(WD)의 높이(H)의 크기에 해당되는 픽셀의 수보다 적은 수의 픽셀만큼 쉬프트(shift)하여, 다음 스캔행에 대한 스캔이 수행될 수 있다. 이에 따라, 열방향으로 이웃하는 스캔 영역은, 서로 중첩될 수 있게 된다.
한편, 윈도우(WD)의 크기는, 손 제스처에 대한 쿼리 템플릿(query template)의 크기와 동일하도록 설정되는 것이 바람직하다. 여기서, 손 제스처에 대한 쿼리 템플릿은, 목표영상에서 대응되는 손 제스처를 인식하기 위해, 사전에 설정된 손 모양 견본에 해당된다 할 것이다.
스캔 영역에 대해서는, 전술한 바와 같이, 해당 영역에 속하는 픽셀들 중 상위치를 갖는 픽셀들의 수가, 제 2 임계치(TH2)보다 큰지 그 미만인지를 판단하게 된다.
만약, 현재 스캔 영역에서, 상위치 픽셀의 수가 제 2 임계치(TH1)보다 크다고 판단하는 경우에는, 다음번 과정으로서 해당 스캔 영역에 대한 HOS(High Order Statistics) 지도를 생성하는 과정을 수행하게 된다. 이에 대한 자세한 설명은 후술한다.
한편, 상위치 픽셀의 수가 제 2 임계치(TH2) 이하라고 판단하는 경우에는, HOS 지도를 생성하는 과정으로 넘어가지 않고, ST4 단계로 돌아가게 된다. 이와 같은 경우에, 윈도우(WD)는 이동하여 다음번 스캔 영역을 스캔하게 된다.
전술한 바와 같이, 제 2 임계치(TH2)는, 해당 스캔 영역이 움직임이 있는 손 이미지를 포함하고 있을 가능성이 있는 영역인지를 1차적으로 판단하는 기준에 해당된다 할 것이다. 특히, 제 2 임계치(TH2) 이하에 해당되는 경우에, 해당 스캔 영역이 손 이미지를 포함하고 있지 않은 영역으로 판단하게 되며, 이에 따라, 다음번 단계로 넘어가지 않고 ST4 단계로 돌아가서 윈도우 스캔을 재개하게 된다.
이처럼, 상위치 픽셀수가 설정조건을 충족하는지 여부를 통해 손 이미지가 존재하는지 여부를 1차적으로 판단하게 됨으로써, 손 이미지가 포함되지 않는 영역에 대해서는 후속하는 과정이 수행되지 않게 된다. 이로 인해, 손 제스처 인식 수행 속도가 빨라질 수 있게 된다.
다음으로, 앞서 언급한 바와 같이, 스캔 영역에서, 상위치 픽셀의 수가 제 2 임계치(TH2)보다 크다고 판단하는 경우에, 해당 스캔 영역에 대한 HOS 지도를 생성하게 된다 (ST6).
HOS 지도는, 고차원통계(HOS) 정보를 사용하여 생성되게 된다. 즉, 목표영상의 전체 영역 중 스캔 영역에 포함된 픽셀들의 밝기에 대한 고차원통계 정보를 구하여, 특징공간(feature space)을 변환하게 된다.
각 픽셀에 대한 고차원통계 정보를 얻기 위해, 2차 모멘트(second-order moment)를 다음과 같은 수식(2)를 사용하여 계산하게 된다.
수식(2):
Figure pat00037
.
여기서, B(x,y)는 (x,y) 좌표의 픽셀과 그 주변 픽셀의 집합을 나타내며, NB는 집합 B(x,y)의 크기를 의미한다. 그리고, I(x,y,n)은 n번째 프레임에서의 (x,y) 좌표의 픽셀의 밝기를 나타내고,
Figure pat00038
은 n번째 프레임에서의 픽셀 집합 B(x,y)의 밝기 평균값을 의미한다.
전술한 수식(2)에서의 2차 모멘트 값의 범위는 영상 밝기의 최대값 보다 매우 클 수 있기 때문에, 이를 이미지로 표현하기 위해 값의 크기를 일정한 상위제한값, 예를 들면, 영상 밝기의 최대값으로 제한할 수 있다. 예를 들어, 상위제한값을 "255"로 한 경우에서의 고차원통계 정보는 다음과 같은 수식(3)을 통해 얻어지게 된다.
수식(3):
Figure pat00039
.
여기서, DSF는 다운스케일링인자(Down Scaling Factor)로서, 본 발명의 실시예에서는 10을 일예로 하여 사용한다.
위와 같은 수식(2) 및 (3)을 통해 얻어진 고차원통계 정보를 사용하여, 스캔 영역에 대한 HOS 지도를 생성할 수 있게 된다.
전술한 바와 같이, 고차원통계 정보를 사용하여 HOS 지도를 생성함에 따라, 촬상소자(110) 등에 기인하여 입력된 목표영상에 노이즈가 발생하는 경우에도, 강건한(robust) 손 제스처 인식이 이루어지게 될 수 있다. 이와 관련하여, 도 6 내지 8을 참조하여 설명한다.
여기서, 도 6은 노이즈가 발생된 목표영상의 일예를 나타내며, 도 7은 도 6에 대한 에지 크기 지도(edge magnitude map)를 나타내며, 도 8은 도 6에 대해 본 발명의 실시예에 따라 생성된 HOS 지도를 나타내고 있다.
도 7의 에지 크지 지도와 도 8의 HOS 지도를 비교하면, 목표영상에 노이즈가 존재하는 경우, 에지 크기 지도에 비해 HOS 지도에서 손의 경계가 잘 보존되어 나타나고 있음을 알 수 있다.
이와 같이, HOS 지도를 생성하여 사용함에 따라, 목표영상이 노이즈가 없는 원본영상 그대로 입력되는 경우뿐만 아니라, 노이즈가 발생되는 경우에도, 손 제스처 인식에 대한 신뢰성이 향상될 수 있게 된다.
다음으로, 생성된 HOS 지도를 기반으로 스캔 영역에 대한 HOG(Histograms of Oriented Gradients) 기술자(descriptor)를 생성하는 과정이 수행된다 (ST7).
한편, 쿼리 템플릿에 대한 HOG 기술자가 생성될 수 있는데, 이는 실질적으로 위와 같은 ST7 단계에서 수행되거나, 또는 ST7 단계 이전에 수행되어 저장수단에 저장되어 있을 수 있다. 여기서, 쿼리 템플릿에 대한 HOG 기술자 생성은, 인식될 손 제스처 즉 템플릿 손 제스처를 모델링(modeling)하는 것을 의미한다.
위와 같은 HOG 기술자와 관련하여, 쿼리 템플릿과 스캔 영역 각각에 대해, 블럭 단위로 밝기 변화도(gradient)의 크기(magnitude)와 방향(orientation)을 이용하여 히스토그램을 생성한다. 여기서, 블럭은 윈도우 및 쿼리 템플릿 보다 작은 크기로 정의되는데, 예를 들면, 블럭은 (W/4*H/4)의 크기를 가질 수 있으며, W와 H는 각각 윈도우의 폭과 높이에 해당된다.
위와 같이 블록에 대해 얻어진 히스토그램을 모두 연결하여, 쿼리 템플릿과 스캔 영역 각각에 대한 HOG 기술자를 생성하게 된다.
여기서, 쿼리 템플릿과 스캔 영역 각각의 블럭에 대한 히스토그램은, 다음과 같은 수식(4)와 수식(5)를 통해 구해질 수 있다.
수식(4):
Figure pat00040
,
수식(5):
Figure pat00041
.
여기서, i는 블록의 색인(index)를 나타내며, K는 방향에 대한 양자화 레벨(quantization level)을 의미한다. 그리고, m(x,y)는 해당 좌표에서의 픽셀 밝기 변화도의 크기를 나타내며, θ(x,y)는 양자화된 방향을 나타낸다. 또한, r과 n은 각각 윈도우 스캔 색인과 프레임 번호를 나타낸다. 또한, ε은 작은 양의 실수값으로서, 예를 들어 0.00001의 값을 가질 수 있는데, 이는 분모가 0이 되지 않도록 한다. 여기서, 블럭의 색인은 해당 블록의 위치를 나타내는 인자에 해당되며, 윈도우 스캔 색인은 스캔 영역의 위치를 나타내는 인자에 해당된다 할 것이다.
위와 같이 수식(4) 및 (5) 각각을 통해 구해진 히스토그램을 연결함으로써, 쿼리 템플릿과 스캔 영역 각각에 대한 HOG 기술자가 생성될 수 있게 된다. 여기서, 쿼리 템플릿과 스캔 영역 각각에 대한 HOG 기술자는 각각,
Figure pat00042
와
Figure pat00043
로 표현될 수 있다.
한편, x-방향과 y-방향을 따라 서로 이웃하는 블록은, 중첩되도록 정의될 수 있다. 예를 들면, x-방향을 따라 서로 이웃하는 블록은 블록의 폭의 반 정도 만큼 중첩될 수 있으며, y-방향을 따라 서로 이웃하는 블록은 블록의 높이의 반 정도 만큼 중첩될 수 있는데, 이에 한정되지는 않는다.
도 9는 본 발명의 실시예에 따라 HOG 기술자를 생성하는 과정의 일예를 나타내고 있다. 도 9에서는, 좌측의 목표영상에서, 사각형상의 윈도우에 의해 스캔된 영역에 대해 HOG 기술자를 생성하는 경우를 예로서 나타내고 있다.
도 9를 참조하면, 윈도우 스캔 영역의 픽셀들 각각에 대한 밝기 변화도의 크기와 방향이 화살표를 통해 나타나 있다. 여기서, 화살표의 길이는 밝기 변화도의 크기에 해당된다.
스캔 영역에 대해, 블럭 단위로 히스토그램을 생성하고, 이들 히스토그램을 연결하여 최종적으로 해당 영역에 대한 HOG 기술자를 생성하게 된다. 도 9에서는, 5-빈(bin) 에지 방향 히스토그램을 이용하여 HOG 기술자를 생성하게 되는 경우를 예로 들어 나타내고 있으며, 여기서 5개의 빈(bin)은 4개의 양자화 레벨(0도 초과-45도 이하, 45도 초과-90도 이하, 90도 초과-135도 이하, 135도 초과-180도 이하)에 대응되는 4개의 빈(bin)(좌측부터 우측방향으로 순차적으로 위치함)과, 추가 빈(additional bin)을 포함할 수 있다. 이와 같은 추가 빈은, 방향이 0도인 경우에 대한 것이다.
다음으로, 스캔 영역이 쿼리 템플릿의 손 제스처를 포함하고 있는지 여부를 판단하기 위해, 모델링되어 있는 손 제스처와 템플릿 매칭(template-matching)을 수행하게 된다.
이를 위해, 예를 들면, 전술한 바와 같이 생성된 쿼리 템플릿의 HOG 기술자와, 스캔 영역의 HOG 기술자 사이의 유사도 값(resemblance value)을 측정하게 된다 (ST8).
이와 같은 유사도 값을 측정하기 위해, 예를 들면 코사인 유사도(cosine similarity)가 사용될 수 있다. 이처럼, 코사인 유사도를 사용한 유사도 값은 다음과 같은 수식(6)를 통해 측정된다.
수식(6):
Figure pat00044
.
여기서,
Figure pat00045
는
Figure pat00046
의 치환행렬이며,
Figure pat00047
은 코사인 유사도이고,
Figure pat00048
은 유사도 값 측정 함수에 해당된다.
다음으로, 전술한 수식(6)를 통해 측정된 유사도 값이 제 3 임계치(TH3)보다 큰지 그 이하인지 여부를 판단하게 된다 (ST9).
여기서, 만약 유사도 값이 제 3 임계치(TH3) 보다 큰 경우에는, 해당 스캔 영역이 쿼리 템플릿의 손 제스처를 포함하고 있다고 판단된다. 이로 인해, 손 제스처가 인식되게 된다.
그리고, 만약 유사도 값이 제 3 임계치(TH3) 이하인 경우에는, 해당 스캔 영역이 쿼리 템플릿의 손 제스처를 포함하고 있지 않다고 판단된다.
전술한 바와 같이, 쿼리 템플릿의 HOG 기술자와 스캔 영역의 HOG 기술자 사이의 유사도가 설정조건을 충족하는지 여부를 통해, 스캔 영역에 쿼리 템플릿의 손 제스처가 존재하는지 여부를 판단할 수 있게 된다.
한편, 다수의 제어명령에 대응되는 다수의 손 제스처에 대한 다수의 쿼리 템플릿이 마련되어 있을 수 있다. 이와 같은 경우에, 예를 들면, 선순위로 설정된 쿼리 템플릿과의 유사도가 설정조건을 충족하지 않으며, 후순위로 설정된 다른 쿼리 템플릿과의 유사도가 설정조건을 충족하는 지 여부에 대한 과정이 수행될 수 있을 것이다.
위와 같이, 유사도 값이 제 3 임계치(TH3) 이하라고 판단되는 경우에는, 목표영상 전체에 대한 스캔이 완료되었는지 여부를 판단하게 된다 (ST10).
여기서, 스캔이 완료되지 않은 경우에는, ST4 단계로 돌아가 전술한 과정이 재차 수행되게 된다.
그리고, 스캔이 완료된 경우에는, 최종적으로 목표영상이 쿼리 템플릿의 손 제스처를 포함하고 있지 않다고 판단된다. 즉, 목표영상에 대한 손 제스처가 미인식되게 된다.
한편, 전술한 바와 같이 스캔 영역이 손 제스처를 포함하고 있다고 판단된 경우에, 목표영상 전체에 대한 스캔이 완료되었는지 여부를 판단하는 단계가 포함될 수 있다. 이와 같은 경우에, 목표영상 전체에 대한 스캔이 완료되지 않았으면, ST4 단계로 돌아가 전술한 과정이 수행될 수 있다. 이는, 예를 들면 두손을 사용하는 경우와 같이 멀티(multi) 제스처 인식 등의 경우에, 유용하게 적용될 수 있을 것이다.
전술한 바와 같은 방법을 통해 손 제스처가 인식되는 경우에, 인식된 손 제스처에 대응되는 제어명령이 발생하고, 이와 같은 제어명령에 따라 전기 사용 장치(10)는 동작하게 될 것이다.
한편, 손 제스처가 미인식되는 경우에는, 예를 들면, 이전 제어명령이 유지되고, 이에 따라 전기 사용 장치(10)의 동작은 변화되지 않고 유지될 수 있을 것이다.
전술한 바와 같이, 본 발명의 실시예에 따르면, 손 제스처를 인식함에 있어, 비교영상과 목표영상의 밝기 차이에 대한 차분영상을 생성하고, 차분영상에 대한 이치화맵을 생성하며, 이치화맵에 대해 윈도우 스캔을 수행하고, 윈도우 스캔 영역에서 상위치 픽셀의 수가 설정조건을 충족하는 경우에 HOS 지도를 생성하고, HOS 지도를 기반으로 해당 스캔 영역의 HOG 기술자를 생성하고, 스캔 영역의 HOG 기술자와 쿼리 템플릿의 HOG 기술자 사이의 유사도를 판단함으로써, 손 제스처를 인식할 수 있게 된다.
이처럼, 상위치 픽셀의 수가 설정조건을 충족하는 경우에, 후속 단계가 진행되므로, 손 제스처 인식을 위한 수행 속도가 상당히 개선될 수 있다.
더욱이, 본 발명의 실시예에서는, 입력된 영상에 노이즈가 포함되더라도, 이를 제거하기 위한 HOS 지도 생성 단계가 포함될 수 있다. 이에 따라, 손 제스처 인식을 위한 정확성 및 신뢰성이 향상될 수 있게 된다.
또한, 손 제스처 인식을 위해 쿼리 템플릿이 사용되게 된다. 따라서, 종래의 학습 기반 방법에서 많은 수의 데이터셋을 사용함에 따른 시간과 비용을 절감할 수 있게 된다.
또한, HOS 지도를 기반으로 HOG 기술자를 적용하여 손 모양을 효과적으로 모델링할 수 있게 됨에 따라, 다양한 조명 변화에 강건히 동작하며, 피부색 배경이 존재하거나 얼굴 등 다른 신체 부위와 중첩 현상이 발생하는 경우에도 정확하게 손 영역을 인식할 수 있게 된다.
위와 같이, 본 발명의 실시예에 따르면, 손 제스처를 인식함에 있어, 신뢰성과 효율성이 향상될 수 있다.
도 10 내지 13은 본 발명의 실시예에 따른 손 제스처 인식 방법에 따라 다양한 환경에서 손 제스처를 인식한 결과를 나타낸 도면이다.
도 10 내지 13은 각각, 배경에 움직임이 존재하는 환경, 배경에 복잡한 텍스처(texture)가 존재하는 환경, 손과 얼굴의 중첩이 발생한 환경, 피부색 배경이 넓게 존재하는 환경에서의 손 제스처 인식 결과를 보여주고 있다.
이를 살펴보면, 위와 같은 다양한 환경에서도, 손 모양이 정확하게 인식됨을 알 수 있다.
전술한 본 발명의 실시예에서는, 손 제스처를 인식하는 방법에 대로 주로 설명하였다. 한편, 본 발명의 실시예는, 손 이외에 발, 팔, 다리, 머리 등과 같이 사용자의 의사를 시각적으로 표현할 수 있는 기관 즉 동적 기관에 대한 제스처를 인식하는 방법에도 적용될 수 있음은, 당업자에게 자명하다 할 것이다.
전술한 본 발명의 실시예는 본 발명의 일예로서, 본 발명의 정신에 포함되는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명은, 첨부된 특허청구범위 및 이와 등가되는 범위 내에서의 본 발명의 변형을 포함한다.
10: 전기 사용 장치 100: 사용자 인터페이스
110: 촬상소자 120: 손 제스처 인식부
200: 제어회로

Claims (27)

  1. 전기 사용 장치의 사용자 동적 기관 제스처 인식 방법에 있어서,
    촬상소자를 통해 입력된 비교영상과 목표영상 사이의 밝기 차이를 반영한 차분영상에 대해, 윈도우를 사용하여 스캔하는 단계와;
    상기 스캔된 영역이 동적 기관 이미지를 포함하고 있다고 판단되는 경우에, 상기 스캔된 영역의 HOG(Histograms of Oriented Gradients) 기술자를 생성하는 단계와;
    상기 스캔된 영역의 HOG 기술자와, 상기 동적 기관 제스처에 대한 쿼리 템플릿(query template)의 HOG 기술자 사이의 유사도 값을 측정하는 단계와;
    상기 유사도 값이 설정조건을 만족하는 경우에, 상기 스캔된 영역이 상기 쿼리 템플릿의 동적 기관 제스처를 포함하고 있다고 판단하는 단계를 포함하고,
    상기 비교영상은, 상기 목표영상의 이전 프레임 영상들 중 하나인
    사용자 동적 기관 제스처 인식 방법.
  2. 제 1 항에 있어서,
    상기 윈도우를 사용하여 스캔하는 단계는,
    상기 차분영상에 대해, 픽셀의 밝기 차이를 임계치를 기준으로 상위치와 하위치로 이치화하여, 이치화맵을 생성하는 단계와;
    상기 이치화맵에 대해, 상기 윈도우 스캔을 수행하는 단계를 포함하는
    사용자 동적 기관 제스처 인식 방법.
  3. 제 2 항에 있어서,
    상기 스캔된 영역이 동적 기관 이미지를 포함하는지 여부에 대한 판단은,
    상기 스캔된 영역에 속하는 픽셀들 중 상기 상위치를 갖는 픽셀의 수가 설정조건을 만족하는 지 여부를 통해 이루어지는
    사용자 동적 기관 제스처 인식 방법.
  4. 제 1 항에 있어서,
    상기 스캔된 영역의 HOG 기술자를 생성하는 단계는,
    상기 스캔된 영역의 밝기에 대한 고차원통계(High Order Statistics: HOS) 정보를 사용하여, 상기 스캔된 영역에 대한 HOS 지도를 생성하는 단계와;
    상기 HOS 지도를 기반으로, 상기 스캔된 영역의 HOG 기술자를 생성하는 단계를 포함하는
    사용자 동적 기관 제스처 인식 방법.
  5. 제 4 항에 있어서,
    상기 HOS 지도를 기반으로, 상기 스캔된 영역의 HOG 기술자를 생성하는 단계는,
    상기 스캔된 영역의 픽셀의 밝기 변화도의 크기와 방향을 이용하여 히스토그램을 블럭 단위로 생성하는 단계와;
    상기 블럭 단위로 생성된 히스토그램을 연결하여 상기 HOG 기술자를 생성하는 단계를 포함하며,
    상기 블럭은 상기 윈도우 보다 작은 크기를 가지며, 서로 이웃하는 상기 블럭은 중첩되는
    사용자 동적 기관 제스처 인식 방법.
  6. 제 1 항에 있어서,
    상기 유사도 값은, 상기 스캔된 영역의 HOG 기술자와 상기 쿼리 템플릿의 HOG 기술자 사이의 코사인 유사도를 이용한 제 1 수식을 통해 측정되며,
    제 1 수식은,
    Figure pat00049
    (
    Figure pat00050
    는 쿼리 템플릿의 HOG 기술자,
    Figure pat00051
    는 스캔된 영역의 HOG 기술자,
    Figure pat00052
    는
    Figure pat00053
    의 치환행렬,
    Figure pat00054
    은 코사인 유사도이고,
    Figure pat00055
    은 유사도 값 측정 함수)인
    사용자 동적 기관 제스처 인식 방법.
  7. 제 4 항에 있어서,
    상기 고차원통계 정보는, 제 2 및 3 수식을 통해 얻어지며,
    제 2 수식은,
    Figure pat00056
    (B(x,y)는 (x,y) 좌표의 픽셀과 그 주변 픽셀의 집합, NB는 집합 B(x,y)의 크기, I(x,y)는 (x,y) 좌표의 픽셀의 밝기,
    Figure pat00057
    은 B(x,y)의 밝기 평균값,
    Figure pat00058
    은 2차 모멘트)이고,
    제 3 수식은,
    Figure pat00059
    (UL은 상위제한값, DSF는 다운스케일링인자)인
    사용자 동적 기관 제스처 인식 방법.
  8. 제 1 항에 있어서,
    상기 윈도우를 통해 스캔되는 영역들 중,
    상기 윈도우의 폭 방향을 따라 서로 이웃하는 영역들은 중첩되고,
    상기 윈도우의 높이 방향을 따라 서로 이웃하는 영역들은 중첩되는
    사용자 동적 기관 제스처 인식 방법.
  9. 제 1 항에 있어서,
    상기 동적 기관은 손, 발, 머리, 팔, 다리 중 하나인
    사용자 동적 기관 제스처 인식 방법.
  10. 전기 사용 장치의 사용자 인터페이스에 있어서,
    촬상소자와;
    상기 촬상소자를 통해 입력된 비교영상과 목표영상 사이의 밝기 차이를 반영한 차분영상에 대해, 윈도우를 사용하여 스캔하고; 상기 스캔된 영역이 동적 기관 이미지를 포함하고 있다고 판단되는 경우에, 상기 스캔된 영역의 HOG 기술자를 생성하고; 상기 스캔된 영역의 HOG 기술자와, 상기 동적 기관 제스처에 대한 쿼리 템플릿의 HOG 기술자 사이의 유사도 값을 측정하고; 상기 유사도 값이 설정조건을 만족하는 경우에, 상기 스캔된 영역이 상기 쿼리 템플릿의 동적 기관 제스처를 포함하고 있다고 판단하는 동적 기관 제스처 인식부를 포함하고,
    상기 비교영상은, 상기 목표영상의 이전 프레임 영상들 중 하나인
    사용자 인터페이스.
  11. 제 10 항에 있어서,
    상기 동적 기관 제스처 인식부는,
    상기 차분영상에 대해, 픽셀의 밝기 차이를 임계치를 기준으로 상위치와 하위치로 이치화하여, 이치화맵을 생성하고,
    상기 이치화맵에 대해, 상기 윈도우 스캔을 수행하는
    사용자 인터페이스.
  12. 제 11 항에 있어서,
    상기 동적 기관 제스처 인식부는,
    상기 스캔된 영역에 속하는 픽셀들 중 상기 상위치를 갖는 픽셀의 수가 설정조건을 만족하는 지 여부를 통해, 상기 스캔된 영역이 동적 기관 이미지를 포함하는지 여부를 판단하는
    사용자 인터페이스.
  13. 제 10 항에 있어서,
    상기 동적 기관 제스처 인식부는,
    상기 스캔된 영역의 밝기에 대한 고차원통계(High Order Statistics: HOS) 정보를 사용하여, 상기 스캔된 영역에 대한 HOS 지도를 생성하고,
    상기 HOS 지도를 기반으로, 상기 스캔된 영역의 HOG 기술자를 생성하는
    사용자 인터페이스.
  14. 제 13 항에 있어서,
    상기 동적 기관 제스처 인식부는,
    상기 스캔된 영역의 픽셀의 밝기 변화도의 크기와 방향을 이용하여 히스토그램을 블럭 단위로 생성하고,
    상기 블럭 단위로 생성된 히스토그램을 연결하여 상기 스캔된 영역의 HOG 기술자를 생성하며,
    상기 블럭은 상기 윈도우 보다 작은 크기를 가지며, 서로 이웃하는 상기 블럭은 중첩되는
    사용자 인터페이스.
  15. 제 10 항에 있어서,
    상기 유사도 값은, 상기 스캔된 영역의 HOG 기술자와 상기 쿼리 템플릿의 HOG 기술자 사이의 코사인 유사도를 이용한 제 1 수식을 통해 측정되며,
    제 1 수식은,
    Figure pat00060
    (
    Figure pat00061
    는 쿼리 템플릿의 HOG 기술자,
    Figure pat00062
    는 스캔된 영역의 HOG 기술자,
    Figure pat00063
    는
    Figure pat00064
    의 치환행렬,
    Figure pat00065
    은 코사인 유사도이고,
    Figure pat00066
    은 유사도 값 측정 함수)인
    사용자 인터페이스.
  16. 제 13 항에 있어서,
    상기 고차원통계 정보는, 제 2 및 3 수식을 통해 얻어지며,
    제 2 수식은,
    Figure pat00067
    (B(x,y)는 (x,y) 좌표의 픽셀과 그 주변 픽셀의 집합, NB는 집합 B(x,y)의 크기, I(x,y)는 (x,y) 좌표의 픽셀의 밝기,
    Figure pat00068
    은 B(x,y)의 밝기 평균값,
    Figure pat00069
    은 2차 모멘트)이고,
    제 3 수식은,
    Figure pat00070
    (UL은 상위제한값, DSF는 다운스케일링인자)인
    사용자 인터페이스.
  17. 제 10 항에 있어서,
    상기 윈도우를 통해 스캔되는 영역들 중,
    상기 윈도우의 폭 방향을 따라 서로 이웃하는 영역들은 중첩되고,
    상기 윈도우의 높이 방향을 따라 서로 이웃하는 영역들은 중첩되는
    사용자 인터페이스.
  18. 제 10 항에 있어서,
    상기 동적 기관은 손, 발, 머리, 팔, 다리 중 하나인
    사용자 인터페이스.
  19. 전기 사용 장치에 있어서,
    촬상소자를 통해 입력된 비교영상과 목표영상 사이의 밝기 차이를 반영한 차분영상에 대해, 윈도우를 사용하여 스캔하고; 상기 스캔된 영역이 동적 기관 이미지를 포함하고 있다고 판단되는 경우에, 상기 스캔된 영역의 HOG 기술자를 생성하고; 상기 스캔된 영역의 HOG 기술자와, 상기 동적 기관 제스처에 대한 쿼리 템플릿의 HOG 기술자 사이의 유사도 값을 측정하고; 상기 유사도 값이 설정조건을 만족하는 경우에, 상기 스캔된 영역이 상기 쿼리 템플릿의 동적 기관 제스처를 포함하고 있다고 판단하는 동적 기관 제스처 인식부를 포함하는 사용자 인터페이스와;
    상기 사용자 인터페이스로부터의 동적 기관 제스처 인식 결과에 따라, 상기 전기 사용 장치의 동작을 제어하는 제어회로를 포함하고,
    상기 비교영상은, 상기 목표영상의 이전 프레임 영상들 중 하나인
    전기 사용 장치.
  20. 제 19 항에 있어서,
    상기 동적 기관 제스처 인식부는,
    상기 차분영상에 대해, 픽셀의 밝기 차이를 임계치를 기준으로 상위치와 하위치로 이치화하여, 이치화맵을 생성하고,
    상기 이치화맵에 대해, 상기 윈도우 스캔을 수행하는
    전기 사용 장치.
  21. 제 20 항에 있어서,
    상기 동적 기관 제스처 인식부는,
    상기 스캔된 영역에 속하는 픽셀들 중 상기 상위치를 갖는 픽셀의 수가 설정조건을 만족하는 지 여부를 통해, 상기 스캔된 영역이 동적 기관 이미지를 포함하는지 여부를 판단하는
    전기 사용 장치.
  22. 제 19 항에 있어서,
    상기 동적 기관 제스처 인식부는,
    상기 스캔된 영역의 밝기에 대한 고차원통계(High Order Statistics: HOS) 정보를 사용하여, 상기 스캔된 영역에 대한 HOS 지도를 생성하고,
    상기 HOS 지도를 기반으로, 상기 스캔된 영역의 HOG 기술자를 생성하는
    전기 사용 장치.
  23. 제 22 항에 있어서,
    상기 동적 기관 제스처 인식부는,
    상기 스캔된 영역의 픽셀의 밝기 변화도의 크기와 방향을 이용하여 히스토그램을 블럭 단위로 생성하고,
    상기 블럭 단위로 생성된 히스토그램을 연결하여 상기 스캔된 영역의 HOG 기술자를 생성하며,
    상기 블럭은 상기 윈도우 보다 작은 크기를 가지며, 서로 이웃하는 상기 블럭은 중첩되는
    전기 사용 장치.
  24. 제 19 항에 있어서,
    상기 유사도 값은, 상기 스캔된 영역의 HOG 기술자와 상기 쿼리 템플릿의 HOG 기술자 사이의 코사인 유사도를 이용한 제 1 수식을 통해 측정되며,
    제 1 수식은,
    Figure pat00071
    (
    Figure pat00072
    는 쿼리 템플릿의 HOG 기술자,
    Figure pat00073
    는 스캔된 영역의 HOG 기술자,
    Figure pat00074
    는
    Figure pat00075
    의 치환행렬,
    Figure pat00076
    은 코사인 유사도이고,
    Figure pat00077
    은 유사도 값 측정 함수)인
    전기 사용 장치.
  25. 제 22 항에 있어서,
    상기 고차원통계 정보는, 제 2 및 3 수식을 통해 얻어지며,
    제 2 수식은,
    Figure pat00078
    (B(x,y)는 (x,y) 좌표의 픽셀과 그 주변 픽셀의 집합, NB는 집합 B(x,y)의 크기, I(x,y)는 (x,y) 좌표의 픽셀의 밝기,
    Figure pat00079
    은 B(x,y)의 밝기 평균값,
    Figure pat00080
    은 2차 모멘트)이고,
    제 3 수식은,
    Figure pat00081
    (UL은 상위제한값, DSF는 다운스케일링인자)인
    전기 사용 장치.
  26. 제 19 항에 있어서,
    상기 윈도우를 통해 스캔되는 영역들 중,
    상기 윈도우의 폭 방향을 따라 서로 이웃하는 영역들은 중첩되고,
    상기 윈도우의 높이 방향을 따라 서로 이웃하는 영역들은 중첩되는
    전기 사용 장치.
  27. 제 19 항에 있어서,
    상기 동적 기관은 손, 발, 머리, 팔, 다리 중 하나인
    전기 사용 장치.
KR1020100091744A 2010-09-17 2010-09-17 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치 KR101298024B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100091744A KR101298024B1 (ko) 2010-09-17 2010-09-17 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US13/228,877 US8649560B2 (en) 2010-09-17 2011-09-09 Method and interface of recognizing user's dynamic organ gesture and electric-using apparatus using the interface
CN201110273352.0A CN102411706B (zh) 2010-09-17 2011-09-15 识别用户的动态器官姿势的方法和接口以及用电装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100091744A KR101298024B1 (ko) 2010-09-17 2010-09-17 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치

Publications (2)

Publication Number Publication Date
KR20120029737A true KR20120029737A (ko) 2012-03-27
KR101298024B1 KR101298024B1 (ko) 2013-08-26

Family

ID=45817806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100091744A KR101298024B1 (ko) 2010-09-17 2010-09-17 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치

Country Status (3)

Country Link
US (1) US8649560B2 (ko)
KR (1) KR101298024B1 (ko)
CN (1) CN102411706B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200031959A (ko) * 2018-09-17 2020-03-25 한국전자통신연구원 사회 지능 평가 방법 및 이를 위한 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6316540B2 (ja) * 2012-04-13 2018-04-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． カメラ装置及びその制御方法
US9128528B2 (en) * 2012-06-22 2015-09-08 Cisco Technology, Inc. Image-based real-time gesture recognition
TWI471814B (zh) * 2012-07-18 2015-02-01 Pixart Imaging Inc 降低背景干擾的手勢判斷方法及其裝置
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US9524028B2 (en) * 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
JP6406005B2 (ja) * 2014-05-29 2018-10-17 三星ダイヤモンド工業株式会社 ツールホルダ及び溝加工装置
CN104392432A (zh) * 2014-11-03 2015-03-04 深圳市华星光电技术有限公司 基于方向梯度直方图的显示面板缺陷检测方法
CN105991188B (zh) * 2015-02-16 2019-09-10 阿里巴巴集团控股有限公司 一种检测共享风险链路组的方法及装置
TW201702937A (zh) * 2015-07-02 2017-01-16 Alibaba Group Services Ltd 圖像預處理方法及裝置
WO2017003915A1 (en) * 2015-07-02 2017-01-05 Alibaba Group Holding Limited Method and system for preprocessing images
US20170323149A1 (en) * 2016-05-05 2017-11-09 International Business Machines Corporation Rotation invariant object detection
CN109145793A (zh) * 2018-08-09 2019-01-04 东软集团股份有限公司 建立手势识别模型的方法、装置、存储介质及电子设备
TWI710973B (zh) * 2018-08-10 2020-11-21 緯創資通股份有限公司 手勢識別方法、手勢識別模組及手勢識別系統
CN109960403A (zh) * 2019-01-07 2019-07-02 西南科技大学 沉浸式环境下针对医学图像的可视化呈现和交互方法
CN110197137A (zh) * 2019-05-14 2019-09-03 苏州沃柯雷克智能系统有限公司 一种确定手掌姿势的方法、装置、设备及存储介质
WO2023104707A1 (en) * 2021-12-06 2023-06-15 Fresenius Kabi Austria Gmbh System and method for monitoring critical pharmaceutical operations

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
WO2005093656A1 (ja) * 2004-03-24 2005-10-06 Mitsubishi Denki Kabushiki Kaisha 特定部分姿勢推定装置、特定部分姿勢推定方法及び特定部分姿勢推定プログラム
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US20070237387A1 (en) * 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
GB0611969D0 (en) * 2006-06-16 2006-07-26 Robert Gordon The University Video content prioritisation
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US7869631B2 (en) * 2006-12-11 2011-01-11 Arcsoft, Inc. Automatic skin color model face detection and mean-shift face tracking
EP2188737A4 (en) * 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
CN101408929A (zh) 2007-10-10 2009-04-15 三星电子株式会社 一种用于人脸识别系统的多模板人脸注册方法和装置
US8243991B2 (en) * 2008-06-17 2012-08-14 Sri International Method and apparatus for detecting targets through temporal scene changes
JP2010020594A (ja) 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
US20100021056A1 (en) * 2008-07-28 2010-01-28 Fujifilm Corporation Skin color model generation device and method, and skin color detection device and method
JP4626692B2 (ja) * 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム
WO2010080121A1 (en) * 2008-12-18 2010-07-15 The Regents Of The University Of California, Santa Cruz Training-free generic object detection in 2-d and 3-d using locally adaptive regression kernels
US20100158363A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to detect skin color in an image
CN101510257B (zh) * 2009-03-31 2011-08-10 华为技术有限公司 一种人脸相似度匹配方法及装置
CN101872477B (zh) * 2009-04-24 2014-07-16 索尼株式会社 检测图像中的对象的方法、装置，及包括该装置的系统
CN101872476A (zh) * 2009-04-24 2010-10-27 索尼株式会社 估计图像中对象姿势视角的方法、设备
CN102803991B (zh) * 2009-06-03 2014-06-04 学校法人中部大学 物体检测设备
CN101763515B (zh) * 2009-09-23 2012-03-21 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8447139B2 (en) * 2010-04-13 2013-05-21 International Business Machines Corporation Object recognition using Haar features and histograms of oriented gradients
US8639042B2 (en) * 2010-06-22 2014-01-28 Microsoft Corporation Hierarchical filtered motion field for action recognition
JP5975598B2 (ja) * 2010-08-26 2016-08-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US8755625B2 (en) * 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US9111138B2 (en) * 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200031959A (ko) * 2018-09-17 2020-03-25 한국전자통신연구원 사회 지능 평가 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US8649560B2 (en) 2014-02-11
CN102411706B (zh) 2014-03-19
US20120070036A1 (en) 2012-03-22
KR101298024B1 (ko) 2013-08-26
CN102411706A (zh) 2012-04-11

Similar Documents

Publication Publication Date Title
KR101298024B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101298023B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101326230B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US10254845B2 (en) Hand gesture recognition for cursor control
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
US8442269B2 (en) Method and apparatus for tracking target object
US8406467B2 (en) Method and system for actively detecting and recognizing placards
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
CN112507918B (zh) 一种手势识别方法
Cheng et al. Real-time and efficient 6-D pose estimation from a single RGB image
US10386930B2 (en) Depth determining method and depth determining device of operating body
CN110717385A (zh) 一种动态手势识别方法
AUGMENTED Grayscale image enhancement for enhancing features detection in marker-less augmented reality technology
CN111311602A (zh) 中医面诊的嘴唇图像分割装置及方法
CN108255298B (zh) 一种投影交互系统中的红外手势识别方法及设备
US20150178934A1 (en) Information processing device, information processing method, and program
KR101779476B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
Kourbane et al. Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation
CN114766039A (zh) 对象检测方法、对象检测设备、终端设备、以及介质
Dai et al. Embedding invisible codes into normal video projection: Principle, evaluation, and applications
CN112580435B (zh) 人脸定位方法、人脸模型训练与检测方法及装置
CN111783794B (zh) 一种基于深度可分离卷积残差块和改进nms的多尺度目标检测方法
TWI553512B (zh) 一種手勢辨識追蹤方法
Kang et al. A quantitative attribute-based benchmark methodology for single-target visual tracking
TWI253021B (en) Object recognizing and positioning method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160712

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190723

Year of fee payment: 7