KR101870292B1 - 사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치 - Google Patents

사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치 Download PDF

Info

Publication number
KR101870292B1
KR101870292B1 KR1020110085722A KR20110085722A KR101870292B1 KR 101870292 B1 KR101870292 B1 KR 101870292B1 KR 1020110085722 A KR1020110085722 A KR 1020110085722A KR 20110085722 A KR20110085722 A KR 20110085722A KR 101870292 B1 KR101870292 B1 KR 101870292B1
Authority
KR
South Korea
Prior art keywords
user
gesture recognition
gesture
body part
icon
Prior art date
Application number
KR1020110085722A
Other languages
English (en)
Other versions
KR20130022320A (ko
Inventor
이승계
이부열
남현정
원윤기
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110085722A priority Critical patent/KR101870292B1/ko
Publication of KR20130022320A publication Critical patent/KR20130022320A/ko
Application granted granted Critical
Publication of KR101870292B1 publication Critical patent/KR101870292B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 전기 사용 장치의 사용자 제스처 인식 방법에 있어서, 촬상소자를 통해 입력된 영상에서 사용자의 기준 신체 부위를 검출하는 단계와; 상기 기준 신체 부위를 기준으로, 사용자 제스처 인식을 위한 제스처 인식 아이콘을 배치하는 단계와; 상기 제스처 인식 아이콘을 통해 상기 입력된 영상에서 발생된 사용자 동작을 감지하는 단계를 포함하는 사용자 제스처 인식 방법을 제공한다.

Description

사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치{Method and device of recognizing user's gesture, and electric-using apparatus using the device}
본 발명은 사용자 제스처(gesture) 인식 방법에 대한 것으로서, 보다 상세하게는, 사용자 제스처 인식 방법 및 장치와 이를 사용하는 전기 사용 장치에 대한 것이다.
영상 정보 기반의 다양한 멀티미디어 시스템(multi-media system)이 발달하면서 영상이 포함하고 있는 정보를 이해하고 이를 다양한 분야에 응용할 수 있는 기술에 대한 수요가 급증하고 있다. 특히, 사용자의 손 동작과 같은 제스처를 인식함으로써 보다 편리한 인터페이스 환경을 구축하는 데 많은 관심이 집중되고 있다.
이와 같은 사용자 제스처 인식은 사용자를 촬영한 영상을 기반으로 하여 수행되는데, 이에 대해 도 1을 참조하여 설명한다. 도 1은 종래의 사용자 제스처 인식 방법을 설명하는 도면이다.
도 1을 참조하면, 제스처 인식을 위한 아이콘(icon)이 영상의 특정 위치에 대응하여 설정되어 있다. 이와 같은 경우에, 촬영된 영상에서 사용자의 손의 위치가 해당 아이콘 영역에 존재하여 감지되면 사용자 제스처가 인식되고 이에 대응되는 기능이 실행된다.
그런데, 종래의 제스처 인식 방법에서는, 그 인식을 위한 아이콘의 위치가 고정되어 있다. 이에 따라, 사용자의 위치가 변경되는 경우에는 손 제스처가 인식이 가능하지 않아, 원하는 기능을 수행할 없게 된다. 이는 사용자의 불편을 초래하게 된다.
본 발명은, 사용자의 제스처를 인식함에 있어 사용자의 불편을 감소시키는 데 과제가 있다.
전술한 바와 같은 과제를 달성하기 위해, 본 발명은, 전기 사용 장치의 사용자 제스처 인식 방법에 있어서, 촬상소자를 통해 입력된 영상에서 사용자의 기준 신체 부위를 검출하는 단계와; 상기 기준 신체 부위를 기준으로, 사용자 제스처 인식을 위한 제스처 인식 아이콘을 배치하는 단계와; 상기 제스처 인식 아이콘을 통해 상기 입력된 영상에서 발생된 사용자 동작을 감지하는 단계를 포함하는 사용자 제스처 인식 방법을 제공한다.
여기서, 상기 기준 신체 부위를 기준으로 적어도 하나의 오동작 감지 아이콘을 배치하는 단계를 더욱 포함하고, 상기 사용자 동작이 상기 오동작 감지 아이콘에서 감지되면, 상기 사용자 동작을 오동작으로 판단할 수 있다.
상기 제스처 인식 아이콘은 다수개이며, 상기 사용자 동작을 감지한 상기 제스처 인식 아이콘의 순서 및/또는 조합으로 상기 사용자 제스처 인식 여부를 판단할 수 있다.
상기 사용자의 기준 신체 부위를 검출하는 단계는, 설정된 영역에 대응되는 상기 입력된 영상의 부분을 확대하는 단계와; 상기 확대된 부분을 기반으로 상기 기준 신체 부위를 검출하는 단계를 포함할 수 있다.
상기 기준 신체 부위는 얼굴이며, 상기 얼굴을 검출함에 있어 Haar-like feature 기반의 방법이 사용될 수 있다.
다른 측면에서, 본 발명은, 전기 사용 장치의 사용자 제스처 인식 장치에 있어서, 촬상소자와; 상기 촬상소자를 통해 입력된 영상에서 사용자의 기준 신체 부위를 검출하고; 상기 기준 신체 부위를 기준으로, 사용자 제스처 인식을 위한 제스처 인식 아이콘을 배치하고; 상기 제스처 인식 아이콘을 통해 상기 입력된 영상에서 발생된 사용자 동작을 감지하는 제스처인식부를 포함하는 사용자 제스처 인식 장치를 제공한다.
여기서, 상기 제스처인식부는 상기 기준 신체 부위를 기준으로 적어도 하나의 오동작 감지 아이콘을 배치하며, 상기 사용자 동작이 상기 오동작 감지 아이콘에서 감지되면, 상기 사용자 동작을 오동작으로 판단할 수 있다.
상기 제스처 인식 아이콘은 다수개이며, 상기 제스처인식부는, 상기 사용자 동작을 감지한 상기 제스처 인식 아이콘의 순서 및/또는 조합으로 상기 사용자 제스처 인식 여부를 판단할 수 있다.
상기 제스처인식부는, 설정된 영역에 대응되는 상기 입력된 영상의 부분을 확대하고, 상기 확대된 부분을 기반으로 상기 기준 신체 부위를 검출할 수 있다.
상기 기준 신체 부위는 얼굴이며, 상기 얼굴을 검출함에 있어 Haar-like feature 기반의 방법이 사용될 수 있다.
또 다른 측면에서, 본 발명은, 전기 사용 장치에 있어서, 촬상소자와; 상기 촬상소자를 통해 입력된 영상에서 사용자의 기준 신체 부위를 검출하고; 상기 기준 신체 부위를 기준으로, 사용자 제스처 인식을 위한 제스처 인식 아이콘을 배치하고; 상기 제스처 인식 아이콘을 통해 상기 입력된 영상에서 발생된 사용자 동작을 감지하여 사용자 제스처를 인식하는 제스처인식부와; 상기 제스처인식부의 제스처 인식 결과에 따라, 상기 전기 사용 장치의 동작을 제어하는 제어부를 포함하는 전기 사용 장치를 제공한다.
여기서, 상기 제스처인식부는 상기 기준 신체 부위를 기준으로 적어도 하나의 오동작 감지 아이콘을 배치하며, 상기 사용자 동작이 상기 오동작 감지 아이콘에서 감지되면, 상기 사용자 동작을 오동작으로 판단할 수 있다.
상기 제스처 인식 아이콘은 다수개이며, 상기 제스처인식부는, 상기 사용자 동작을 감지한 상기 제스처 인식 아이콘의 순서 및/또는 조합으로 상기 사용자 제스처 인식 여부를 판단할 수 있다.
상기 제스처인식부는, 설정된 영역에 대응되는 상기 입력된 영상의 부분을 확대하고, 상기 확대된 부분을 기반으로 상기 기준 신체 부위를 검출할 수 있다.
상기 기준 신체 부위는 얼굴이며, 상기 얼굴을 검출함에 있어 Haar-like feature 기반의 방법이 사용될 수 있다.
본 발명에서는, 사용자의 기준 신체 부위를 검출하고 이를 기준으로 설정된 상대적 위치에 제스처 인식 아이콘을 배치하게 된다. 따라서, 사용자의 위치 변경에 능동적으로 적응할 수 있게 되어, 사용자 편의성을 극대화시킬 수 있게 된다.
이에 더하여, 촬영된 원본 영상을 부분 확대하는 과정을 수행할 수 있으며, 이와 같은 경우에 기준 신체 부위를 효과적으로 검출할 수 있게 된다. 이로 인해, 사용자 제스처의 인식률 및 인식 속도가 향상될 수 있게 된다.
그리고, 기준 신체 부위를 검출함에 있어 Haar-like feature 기반의 방법을 사용할 수 있으며, 이와 같은 경우에 사용자 제스처 인식 속도가 향샹될 수 있게 된다.
또한, 사용자 동작의 특정 순서 및/또는 조합을 통해 사용자 제스처를 인식할 수 있게 된다. 이에 따라, 사용자 제스처로 오인되는 오류를 방지하여, 그 인식률을 향상시킬 수 있게 된다.
또한, 사용자 동작이 오동작임을 감지할 수 있는 수단으로서 오동작 감지 아이콘을 사용할 수 있다. 이에 따라, 사용자 제스처로 오인되는 오류를 방지하여, 그 인식률을 향상시킬 수 있게 된다.
도 1은 종래의 사용자 제스처 인식 방법을 설명하는 도면.
도 2는 본 발명의 실시예에 따른 사용자 제스처 인식 장치를 포함하는 장치를 개략적으로 도시한 도면.
도 3은 본 발명의 실시예에 따른 사용자 제스처 인식 방법을 개략적으로 도시한 흐름도.
도 4는 본 발명의 실시예에 따라 사용자의 위치가 변경됨에 따라 제스처 인식 아이콘의 위치가 변경되는 예를 나타낸 도면.
도 5는 본 발명의 실시예에 따라 입력된 영상의 일부를 확대하는 예를 도시한 도면.
도 6은 본 발명의 실시예에 따라 특징값을 가지는 Haar-like feature set의 예를 도시한 도면.
도 7은 본 발명의 실시예에 따라 얼굴을 기준으로 제스처 인식 아이콘 및 오동작 감지 아이콘을 배치하는 예를 도시한 도면.
이하, 도면을 참조하여 본 발명의 실시예를 설명한다.
도 2는 본 발명의 실시예에 따른 사용자 제스처 인식 장치를 포함하는 장치를 개략적으로 도시한 도면이고, 도 3은 본 발명의 실시예에 따른 사용자 제스처 인식 방법을 개략적으로 도시한 흐름도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 장치(10)는, 사용자 제스처 인식 장치(100)와, 제어부(200)와, 표시부(300)를 포함할 수 있다.
여기서, 본 발명의 실시예에 따른 장치(10)는, 사용자 제스처 인식 장치(100)를 통해 입력된 정보를 기반으로 제어되어 동작하며, 자신이 동작함에 있어 전기를 사용하는 모든 종류의 장치를 의미한다고 할 것이다. 예를 들면, 플라즈마표시장치, 액정표시장치, 유기전계발광표시장치 등의 표시장치, 세탁기, 냉장고, 에어컨, 산업용 기기 등 다양한 형태의 장치가, 본 발명의 실시예에 따른 장치(10)에 포함된다고 할 것이다. 설명의 편의를 위해, 본 발명의 실시예에 따른 장치(10)는 전기 사용 장치(10)라고 칭할 수 있다.
사용자 제스처 인식 장치(100)는, 촬상소자(110)와 제스처 인식부(120)를 포함할 수 있다.
촬상소자(110)로서는 예를 들면 카메라(camera)가 사용될 수 있다. 이와 같은 촬상소자(110)를 통해 전방의 영상이 촬영되며, 촬영된 영상은 제스처 인식부(120)에 입력될 수 있게 된다. 한편, 촬영된 영상은 표시부(300)에도 전달될 수 있으며, 이와 같은 경우에, 표시부(300)는 촬영된 영상을 화면 상에 실시간으로 표시할 수 있게 된다.
제스처 인식부(120)는 입력된 영상을 분석하여, 손 동작과 같은 사용자의 제스처를 검출하고 인식하게 된다.
이와 같은 제스처 인식 결과는, 제어부(200)에 전송된다. 제어부(200)는, 제스처 인식 결과에 따라, 대응되는 제어명령을 생성하여 출력할 수 있게 된다. 즉, 인식된 제스처에 대응되는 특정 제어명령을 발생시킬 수 있게 된다.
이와 같이 발생된 제어명령에 따라, 전기 사용 장치(100)는 제어되고 동작할 수 있게 된다. 예를 들면, 표시장치가 사용되는 경우에, 전원을 오프(off)하거나, 채널(channel)을 변경하거나, 볼륨(volume)을 조절하거나, 그림을 이동 또는 확대하는 등의 다양한 기능이 수행될 수 있다.
한편, 전기 사용 장치(10)는 영상처리부(400)를 더욱 포함할 수 있다. 영상처리부(400)는 표시부(300)에 표시되는 영상에 대한 정보를 처리할 수 있다. 예를 들면, 비디오카드와 같은 외부시스템으로부터 영상 정보를 전달받고 이를 처리하여 표시부(300)에 전송할 수 있다. 한편, 필요에 따라 영상처리부(400)는 제어부(200)에 의해 제어될 수 있는데, 예를 들면 제스처 인식에 따른 전기 사용 장치(10)의 기능이 표시부(300)의 화면 표시와 관련된 경우에는 영상처리부(400)는 제어부(200)의 제어에 따라 화면 표시와 관련된 영상처리를 수행할 수 있다. 이 외에도, 영상처리부(400)는 다양한 형태의 영상처리를 수행할 수 있게 된다.
이하, 도 3을 더욱 참조하여, 본 발명의 실시예에 따른 손 제스처 인식 방법의 일예를 상세하게 설명한다.
먼저, 촬상소자(110)를 통해 전방의 영상이 촬영되고, 이와 같이 촬영된 영상은 제스처 인식부(120)에 입력된다 (ST1).
다음으로, 입력된 영상에서 사용자의 특정 신체 부위를 검출하게 되는데, 예를 들면 얼굴을 검출하게 된다(ST2). 설명의 편의를 위해, 이하에서는 사용자의 특정 신체 부위를 기준 신체 부위로 칭할 수 있다.
이처럼, 얼굴을 검출하게 되면, 그 주변으로 제스처 인식을 위한 아이콘을 배치할 수 있게 된다. 설명의 편의를 위해, 이하에서는 제스처 인식을 위한 아이콘을 제스처 인식 아이콘으로 칭할 수 있다.
이와 관련하여, 종래에는 제스처 인식 아이콘이 특정 위치에 고정되어 배치되게 되었다. 이로 인해, 사용자의 위치 변경에 능동적으로 적응할 수 없게 되어 사용자 불편을 초래하게 되었다.
그런데, 본 발명의 실시예에서는, 제스처 인식 아이콘을 사용자의 얼굴과 같은 기준 신체 부위를 기준으로 하여 배치하게 된다.
즉, 제스처 인식 아이콘에 대해서는 절대적인 위치가 설정되지 않고, 얼굴로부터의 상대적 위치가 설정되어 있다. 이에 따라, 사용자의 위치가 변경되더라도 얼굴 또한 그 위치가 변경되게 되므로, 제스처 인식 아이콘의 위치는 사용자 위치 변경에 따라 변경되게 된다. 따라서, 사용자는 자신의 위치 변경에 관계없이, 자신을 기준으로 원하는 제스처를 취하기만 하면 된다.
이와 같이 얼굴을 기준으로 설정된 상대적 위치에 제스처 인식 아이콘을 배치하는 것과 관련하여 도 4를 참조할 수 있다. 도 4를 참조하면 사용자 얼굴 주변의 좌측 및 우측 각각에 3개의 제스처 인식 아이콘이 배치되는 경우를 예로 들고 있으며, 사용자의 위치가 변경되더라도 제스처 인식 아이콘의 얼굴을 기준으로 한 상대적 위치는 변함없음을 볼 수 있다.
이처럼, 본 발명의 실시예에 따른 제스처 인식 방법은 사용자의 위치 변경에 능동적으로 적응할 수 있게 되어, 사용자 편의성을 극대화시킬 수 있게 된다.
한편, 전술한 바와 같은 기준 신체 부위의 검출에 있어 그 효율성을 높이기 위해, 입력된 영상의 일부를 확대하는 과정이 수행될 수 있다. 이와 같은 과정은 클락업(clock-up) 과정이라고 불리워지기도 한다.
이와 관련하여, 촬상소자(110)로서 저가의 웹캠(webcam)이 사용되는 경우에, 이는 광각(wide angle) 특성을 갖고 있으므로 피사물이 예상했던 것보다 작게 나타나게 된다. 또한, 사용자가 촬상소자(110)로부터 상당히 먼 거리에 위치하는 경우에도, 피사물은 전체 영상에서 상당히 작게 나타난다.
이와 같은 경우에는 촬영된 원본 영상에서 사용자의 얼굴을 확인하는 것이 쉽지 않으며, 이로 인해 제스처 인식 아이콘을 배치함에 있어서도 문제가 발생하게 된다. 이와 같은 경우에 제스처의 인식률이 저하될 수 있다.
이를 개선하기 위해, 사전에 설정된 영역에 대응되는 입력된 영상의 부분을 확대하는 과정이 ST2 단계 이전에 수행될 수 있다. 이에 대해서는 도 5를 참조할 수 있는데, 좌측에는 촬영된 원본 영상이며, 이 원본 영상에서 박스에 둘러싸인 부분(설정된 영역)을 확대하여 우측의 확대된 영상이 생성됨을 알 수 있다.
이와 같은 영상의 부분 확대를 수행함으로써, 비록 원본 영상에서 사용자 얼굴이 작게 나타나더라도, 사용자 얼굴을 효과적으로 검출할 수 있게 된다. 이에 따라 제스처의 인식률은 향상될 수 있게 된다.
한편, 확대되도록 설정된 영역과 관련하여, 예를 들면 촬상소자(110)의 촬상각도 범위가 제 1 각도 범위인 경우, 제 1 각도 범위 내의 제 2 각도 범위에 해당되는 영역을 확대를 위해 설정할 수 있다. 이와 같은 제 2 각도 범위는, 예를 들어 전기 사용 장치(10)가 표시장치라고 하였을 때, 통상적으로 사용자가 표시장치를 시청하는 각도 범위를 고려하여 설정될 수 있다. 이렇게 하면, 일반적인 표시장치 시청 상황에서 확대된 영상 부분에 사용자의 얼굴이 존재하게 되므로, 실질적으로 얼굴 인식이 실패할 경우는 없다고 볼 것이다.
그리고, 전술한 바와 같은 영상의 부분 확대는, 제스처 인식 속도를 높이는 측면에 있어서도 그 효과가 상당하다 할 것이다. 이와 관련하여 예를 들면, 촬상소자(110)의 촬영 해상도가 높은 경우에는, 영상 분석에 있어서 상당한 시간이 소요된다. 이와 같은 경우에 영상의 일부를 확대하게 되면 영상 분석 시간이 상당히 절감될 수 있게된다. 따라서, 영상의 부분 확대를 통해, 사용자의 얼굴은 빠른 속도로 검출될 수 있게 되고, 이로 인해 제스처 인식 속도가 상당히 향상될 수 있게 된다.
한편, 전술한 영상의 부분 확대에 있어, 그 가로/세로 크기를 설정된 크기 예를 들면 원본 영상의 가로/세로 크기 비율에 맞게 조절하는 과정(즉 resize 과정)이 수행될 수도 있다.
한편, 전술한 ST2 단계에서의 사용자 기준 신체 부위 검출을 수행함에 있어 기존의 다양한 방법이 사용될 수 있는데, 예를 들면 Haar-like feature 기반의 방법이 사용될 수 있다. 이에 대해 아래에서 개략적으로 설명한다.
Haar-like feature는 특징값을 단순합의 이미지를 이용하여 표현하고 이를 기반으로 검출하는 방법이다.
이와 같은 방법에서는 위치와 모양 그리고 크기에 따라서 수많은 형태를 가질 수 있는 특징값을 AdaBoost 학습 알고리즘을 사용하여 약한 인식자들을 합하여 강인한 인식자 그룹으로 만들게 되고, 이를 통해 원하는 대상 예를 들면 얼굴을 검출할 수 있게 된다. 생성된 특징값은 얼굴의 특징을 잘 포용하는 장점을 가지며, 계산 방식이 단순합이기 때문에 다른 얼굴 인식 방법에 비해 고속으로 얼굴을 추출하는 것이 가능해진다. 한편, 특징값을 가지는 Haar-like feature set의 예에 대해서는 도 6을 참조할 수 있으며, 도 6에서 알파벳으로 참조되는 것은 에지 특징(Edge features), 라인 특징(Line features), 센터-서라운드 특징(center-surround features)들 각각의 인식자에 해당된다.
이처럼, Haar-like feature 기반의 방법을 사용하게 되면, 빠른 속도로 얼굴을 검출할 수 있게 되어, 제스처의 인식 속도가 향상될 수 있다. 더욱이, 영상 부분 확대와 함께 Haar-like feature 기반의 방법을 사용하게 되면, 제스처의 인식 속도는 더욱 향상될 수 있게 된다.
전술한 바와 같이, ST2 단계를 통해 사용자 기준 신체 부위로서 예를 들어 얼굴이 검출되면 제스처 인식을 위한 아이콘이 얼굴을 기준으로 사전에 설정된 위치에 배치되게 됨으로써, 사용자 제스처 인식을 위한 기반이 마련된다.
이와 같은 ST2 단계 이후에, 입력된 영상에서 사용자의 동작을 검출하게 된다(ST3). 사용자 동작을 검출함에 있어서는 다양한 방법이 사용될 수 있는데, 일예로서 현재 프레임의 입력 영상과 그 이전 프레임의 입력 영상을 비교하는 방법을 통해, 사용자의 동작을 검출할 수 있다. 다시 말하면, 사용자의 동작이 발생하는 경우에는, 두 프레임의 영상 사이에 차이가 존재하게 될 것이므로, 이들 영상들 사이의 차이를 반영한 차영상을 기반으로 사용자의 동작을 검출할 수 있게 된다.
따라서, 이와 같은 방법을 통해 손 동작과 같은 사용자 동작을 검출할 수 있게 된다.
위와 같이 ST3 단계를 통해 사용자 동작이 검출되면, 이를 기반으로 사용자 동작이 특정 명령을 수행하기 위한 설정된 사용자 제스처에 해당되는지를 판단하게 된다. 이는 사용자 동작이 제스처 인식 아이콘에서 감지되는지를 통해 확인될 수 있다(ST4).
한편, 본 발명의 실시예에서는 설정된 특정 명령을 수행하기 위한 제스처를 인식함에 있어 해당 제스처의 인식 오류를 낮추어 인식률을 향상시키기 위해, 검출된 사용자 동작이 특정 동작 순서나 조합에 부합하는지 여부를 확인할 수 있다.
이와 관련하여 설명하면, 제스처를 인식함에 있어 하나의 제스처 인식 아이콘이 사용되면, 사용자가 의도하지 않은 단순한 동작에 대해서도 이를 특정 명령을 수행하기 위한 제스처로 오인하여 해당 명령이 실행될 수 있다.
한편, 제스처를 인식함에 있어 다수의 제스처 인식 아이콘이 사용되면, 사용자가 의도하지 않은 단순한 동작에 대해 이를 특정 명령을 수행하기 위한 제스처로 인식할 가능성이 매우 낮아 제스처의 인식 오류가 상당한 정도로 감소될 수 있다.
이와 관련하여, 도 7을 예로 들어 설명한다. 도 7에서는 사용자의 얼굴의 양측 각각에 3개의 제스처 인식 아이콘이 배치되어 있다. 한편, 사용자의 얼굴 상측에는 오류 감지 아이콘이 배치되어 있는데, 이와 같은 오류 감지 아이콘은 후술하는 ST5 단계와 관련된 것으로서, 이에 대해서는 ST5 단계와 관련된 설명에서 언급한다.
사용자의 손이 우측에 위치하는 연속하는 3개의 제스처 인식 아이콘을 좌->우 방향으로 지나가도록 동작하는 경우를 예로 든다. 이와 같은 경우에, 제스처 인식 아이콘에서 위와 같은 사용자의 동작이 인식되게 된다.
한편, 전기 사용 장치(10)로서 표시장치가 사용되는 경우에, 표시장치에는 위와 같은 제스처 인식 아이콘의 동작 감지 순서가 사전에 설정되어 저장되어 있다. 그리고, 이와 같은 동작 감지 순서에 대응하여서는, 표시장치 화면 상의 그림이 좌->우로 이동하도록 하는 제어명령이 설정되어 있다.
따라서, 이와 같은 동작이 발생하는 경우에, 이 동작에 따른 제스처가 발생하였다고 인식하고 대응되는 제어명령이 발생되어, 해당 명령에 따른 기능이 실행될 수 있게 된다.
마찬가지로, 표시장치 화면 상의 그림을 우->좌로 이동시키고자 하는 경우에, 좌측에 위치하는 3개의 제스처 인식 아이콘에서 우->좌 방향으로의 사용자 동작이 감지될 수 있을 것이다. 그리고, 이와 같은 제스처와 대응되는 제어명령이 표시장치에 설정되어 저장되어 있다. 따라서, 이와 같은 동작이 발생하는 경우에, 이 동작에 따른 제스처가 발생하였다고 인식하고 대응되는 제어명령이 발생되어, 해당 명령에 따른 기능이 실행될 수 있게 된다.
또한, 사용자의 양손이 좌측 및 우측 각각에 위치하는 적어도 하나의 제스처 인식 아이콘을 지나가도록 동작하는 경우를 예로 든다. 이와 같은 경우에, 제스처 인식 아이콘에서 위와 같은 사용자의 동작이 감지되게 된다.
한편, 표시장치에는 위와 같은 제스처 인식 아이콘의 동작 감지 조합이 사전에 설정되어 저장되어 있다. 그리고, 이와 같은 동작 감지 조합에 대응하여서는, 표시장치 화면 상의 그림이 예를 들어 확대되도록 제어명령이 설정되어 있다.
따라서, 이와 같은 동작이 발생하는 경우에, 이 동작에 따른 제스처가 발생하였다고 인식하고 대응되는 제어명령이 발생되어, 해당 명령에 따른 기능이 실행될 수 있게 된다.
위에서 설명한 바와 같이, 본 발명의 실시예에서는 제스처 인식을 함에 있어, 사용자 동작을 인식하는 아이콘 순서 및/또는 조합을 통해 즉 사용자 동작의 순서 및/또는 조합을 통해 특정 명령을 실행하고자 하는 사용자 제스처를 인식하게 된다. 이와 같은 사용자 동작의 순서 및/또는 조합은, 사용자가 의도하지 않고서는 통상적인 환경에서 좀처럼 나타나지 않는다 할 것이다.
따라서, 의도하지 않은 단순한 동작이 사용자 제스처로 인식되는 오류를 효과적으로 방지할 수 있게 되고, 이에 따라 사용자 제스처의 인식률이 향상될 수 있게 된다.
전술한 바와 같이, ST4 단계에서는 제스처 인식 아이콘을 통해 검출된 사용자 동작이 설정된 사용자 제스처에 부합하는지를 판단하게 된다.
판단결과로서 설정된 사용자 제스처에 부합하지 않는다고 판단되면, 사용자 제스처는 미인식되어 그 인식이 실패된 것으로 최종 판단되게 된다. 이와 같은 경우에, 전기 사용 장치(10)에는 별도의 제어명령이 발생되지 않게 되고, 전기 사용 장치(10)는 실행되고 있던 동작을 그대로 유지하게 될 것이다.
한편, 판단결과로서 설정된 사용자 제스처에 부합한다고 판단되면, 다음 단계인 ST5 단계가 수행된다.
ST5 단계에서는, 검출된 사용자 동작이 오동작에 해당되는지를 판단하게 된다.
이와 관련하여, 전기 사용 장치(10)로서 표시장치가 사용되는 경우에 있어, 표시장치를 시청하고 있는 사용자가 아무런 제스처를 취하고 있지 않을 때, 사용자의 앞 또는 뒤에서 타인이 지나가는 상황이 발생할 수 있다.
이와 같은 상황에서는, 위와 같은 타인의 동작이 제스처 인식 아이콘에서 감지될 수 있고, 이에 따라 타인의 동작이 설정된 사용자 제스처로 판단되어 대응되는 기능이 사용자의 의도와 관계없이 수행될 수 있다.
이와 같은 오동작을 개선하기 위해, 본 발명의 실시예에서는 ST5 단계를 수행하여 검출된 동작이 오동작에 해당되는지를 판단하는 과정을 거치게 된다. 이를 위해, 적어도 하나의 오동작 감지 아이콘이 사용될 수 있다.
이와 관련하여 도 7을 참조하여 설명한다. 도 7을 참조하면, 오동작 검출을 위해 다수의 오동작 감지 아이콘이 제스처 인식 아이콘과는 다른 위치에 배치되며, 제스처 인식 아이콘과 마찬가지로 사용자 얼굴을 기준으로 하여 상대적인 위치를 가질 수 있다. 예를 들면, 오동작 감지 아이콘은 사용자 얼굴의 상부에 배치될 수 있다.
이와 같은 경우에, 위와 같은 타인의 동작이 제스처 인식 아이콘을 통해 감지되어 설정된 제스처로 인식되더라도, 이 동작은 오동작 감지 아이콘에서 감지되는바, 해당 동작은 오동작으로 인식될 수 있게 된다. 이로 인해, 오동작을 제스처로 인식함으로써 발생할 수 있는 오류를 개선하고, 결과적으로 제스처의 인식률을 효과적으로 향상시킬 수 있게 된다.
전술한 ST5 단계에서의 판단결과, 검출된 동작이 오동작으로 판단되는 경우에는, 제스처는 미인식되어 그 인식이 실패된 것으로 최종 판단되게 된다. 이와 같은 경우에, 전기 사용 장치(10)에는 별도의 제어명령이 발생되지 않게 되어, 전기 사용 장치(10)는 실행되고 있던 동작을 그대로 유지하게 될 것이다.
한편, 판단결과로서 사용자 제스처에 부합한다고 판단되면, 제스처가 인식되어 그 인식이 성공된 것으로 최종 판단되고, 이에 대응되는 제어명령이 발생되어 전기 사용 장치(10)는 제어명령에 따라 동작하게 될 것이다.
한편, 전술한 본 발명의 실시예에서는, 사용자 동작 감지 단계인 ST4 단계 이후에 오동작 감지 단계인 ST5 단계가 수행되는 경우를 예로 들어 설명하였다. 그런데, 오동작 감지 단계인 ST5 단계가 사용자 동작 감지 단계인 ST4 단계 이전에 수행될 수도 있다.
그리고, 본 발명의 실시예에 있어서, 촬상소자(110)를 통해 입력된 영상과 제스처 인식 아이콘 및 오동작 감지 아이콘에 대해 알파-블렌딩(alpha-blending) 기술을 적용하여, 전기 사용 장치(10)의 표시부(300) 상에 시각적으로 나타날 수 있다. 이와 같은 알파-블렌딩 처리는 전기 사용 장치(10)의 영상처리부(400)에서 수행될 수 있다. 이와 같은 알파-블렌딩 기술이 적용되게 되면, 사용자 인터페이스가 시각적으로 표현될 수 있게 되어 사용자 편의성이 개선될 수 있게 된다.
한편, 본 발명의 실시예에서 사용된 '아이콘'이라는 용어는, 전술한 바를 참조하였을 때, 관련 동작이 설정된 위치에서 발생하였는지를 감지하기 위한 논리적 기준수단 또는 감지수단의 의미를 가지고 있음을 알 수 있으며, 전기 사용 장치(10)의 표시부(300)에 표시되는 경우에는 시각적으로 사용자에게 인지될 수 있게 된다.
전술한 바와 같이, 본 발명의 실시예에 따르면, 사용자의 기준 신체 부위를 검출하고 이를 기준으로 설정된 상대적 위치에 제스처 인식 아이콘을 배치하게 된다. 따라서, 사용자의 위치 변경에 능동적으로 적응할 수 있게 되어, 사용자 편의성을 극대화시킬 수 있게 된다.
이에 더하여, 촬영된 원본 영상을 부분 확대하는 과정을 수행할 수 있으며, 이와 같은 경우에 기준 신체 부위를 효과적으로 검출할 수 있게 된다. 이로 인해, 사용자 제스처의 인식률 및 인식 속도가 향상될 수 있게 된다.
그리고, 기준 신체 부위를 검출함에 있어 Haar-like feature 기반의 방법을 사용할 수 있으며, 이와 같은 경우에 사용자 제스처 인식 속도가 향샹될 수 있게 된다.
또한, 사용자 동작의 특정 순서 및/또는 조합을 통해 사용자 제스처를 인식할 수 있게 된다. 이에 따라, 사용자 제스처로 오인되는 오류를 방지하여, 그 인식률을 향상시킬 수 있게 된다.
또한, 사용자 동작이 오동작임을 감지할 수 있는 수단으로서 오동작 감지 아이콘을 사용할 수 있다. 이에 따라, 사용자 제스처로 오인되는 오류를 방지하여, 그 인식률을 향상시킬 수 있게 된다.
한편, 전술한 본 발명의 실시예에서는, 사용자 제스처와 관련하여 손 동작을 위주로 설명하였다. 한편, 손 이외에 발, 팔, 다리 등과 같이 동작을 통해 사용자의 의사를 시각적으로 표현할 수 있는 기관 즉 동적 기관을 통해 사용자 제스처가 표현될 수 있으며, 이에 따른 사용자 제스처 또한 본 발명의 실시예에 포함된다 할 것이다.
전술한 본 발명의 실시예는 본 발명의 일예로서, 본 발명의 정신에 포함되는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명은, 첨부된 특허청구범위 및 이와 등가되는 범위 내에서의 본 발명의 변형을 포함한다.
10: 전기 사용 장치 100: 사용자 제스처 인식 장치
110: 촬상소자 120: 제스처 인식부
200: 제어부 300: 표시부
400: 영상처리부

Claims (15)

  1. 전기 사용 장치의 사용자 제스처 인식 방법에 있어서,
    촬상소자를 통해 입력된 영상에서 사용자의 기준 신체 부위를 검출하는 단계와;
    상기 기준 신체 부위를 기준으로 설정된 상대적 위치에, 해당 위치에서 사용자 동작이 발생하였는지 감지하기 위한 제스처 인식 아이콘을 배치하고 표시하는 단계와;
    상기 제스처 인식 아이콘을 통해 상기 입력된 영상에서 발생된 사용자 동작을 감지하는 단계와;
    상기 기준 신체 부위를 기준으로 설정된 상대적 위치로서 상기 제스처 인식 아이콘과 다른 위치에, 적어도 하나의 오동작 감지 아이콘을 배치하는 단계
    를 포함하고,
    상기 사용자 동작이 상기 오동작 감지 아이콘에서 감지되면, 상기 사용자 동작을 오동작으로 판단하는
    사용자 제스처 인식 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제스처 인식 아이콘은 다수개이며,
    상기 사용자 동작을 감지한 상기 제스처 인식 아이콘의 순서 및/또는 조합으로 상기 사용자 제스처 인식 여부를 판단하는
    사용자 제스처 인식 방법.
  4. 제 1 항에 있어서,
    상기 사용자의 기준 신체 부위를 검출하는 단계는,
    설정된 영역에 대응되는 상기 입력된 영상의 부분을 확대하는 단계와;
    상기 확대된 부분을 기반으로 상기 기준 신체 부위를 검출하는 단계를 포함하는
    사용자 제스처 인식 방법.
  5. 제 1 항에 있어서,
    상기 기준 신체 부위는 얼굴이며, 상기 얼굴을 검출함에 있어 Haar-like feature 기반의 방법이 사용되는
    사용자 제스처 인식 방법.
  6. 전기 사용 장치의 사용자 제스처 인식 장치에 있어서,
    촬상소자와;
    상기 촬상소자를 통해 입력된 영상에서 사용자의 기준 신체 부위를 검출하고; 상기 기준 신체 부위를 기준으로 설정된 상대적 위치에, 해당 위치에서 사용자 동작이 발생하였는지 감지하기 위한 제스처 인식 아이콘을 배치하고 표시하며; 상기 제스처 인식 아이콘을 통해 상기 입력된 영상에서 발생된 사용자 동작을 감지하는 제스처인식부
    를 포함하고,
    상기 제스처인식부는 상기 기준 신체 부위를 기준으로 설정된 상대적 위치로서 상기 제스처 인식 아이콘과 다른 위치에 적어도 하나의 오동작 감지 아이콘을 배치하며,
    상기 사용자 동작이 상기 오동작 감지 아이콘에서 감지되면, 상기 사용자 동작을 오동작으로 판단하는
    사용자 제스처 인식 장치.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 제스처 인식 아이콘은 다수개이며,
    상기 제스처인식부는, 상기 사용자 동작을 감지한 상기 제스처 인식 아이콘의 순서 및/또는 조합으로 상기 사용자 제스처 인식 여부를 판단하는
    사용자 제스처 인식 장치.
  9. 제 6 항에 있어서,
    상기 제스처인식부는,
    설정된 영역에 대응되는 상기 입력된 영상의 부분을 확대하고,
    상기 확대된 부분을 기반으로 상기 기준 신체 부위를 검출하는
    사용자 제스처 인식 장치.
  10. 제 6 항에 있어서,
    상기 기준 신체 부위는 얼굴이며, 상기 얼굴을 검출함에 있어 Haar-like feature 기반의 방법이 사용되는
    사용자 제스처 인식 장치.
  11. 전기 사용 장치에 있어서,
    촬상소자와;
    상기 촬상소자를 통해 입력된 영상에서 사용자의 기준 신체 부위를 검출하고; 상기 기준 신체 부위를 기준으로 설정된 상대적 위치에, 해당 위치에서 사용자 동작이 발생하였는지 감지하기 위한 제스처 인식 아이콘을 배치하고 표시하며; 상기 제스처 인식 아이콘을 통해 상기 입력된 영상에서 발생된 사용자 동작을 감지하여 사용자 제스처를 인식하는 제스처인식부와;
    상기 제스처인식부의 제스처 인식 결과에 따라, 상기 전기 사용 장치의 동작을 제어하는 제어부
    를 포함하고,
    상기 제스처인식부는 상기 기준 신체 부위를 기준으로 설정된 상대적 위치로서 상기 제스처 인식 아이콘과 다른 위치에 적어도 하나의 오동작 감지 아이콘을 배치하며,
    상기 사용자 동작이 상기 오동작 감지 아이콘에서 감지되면, 상기 사용자 동작을 오동작으로 판단하는
    전기 사용 장치.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 제스처 인식 아이콘은 다수개이며,
    상기 제스처인식부는, 상기 사용자 동작을 감지한 상기 제스처 인식 아이콘의 순서 및/또는 조합으로 상기 사용자 제스처 인식 여부를 판단하는
    전기 사용 장치.
  14. 제 11 항에 있어서,
    상기 제스처인식부는,
    설정된 영역에 대응되는 상기 입력된 영상의 부분을 확대하고,
    상기 확대된 부분을 기반으로 상기 기준 신체 부위를 검출하는
    전기 사용 장치.
  15. 제 11 항에 있어서,
    상기 기준 신체 부위는 얼굴이며, 상기 얼굴을 검출함에 있어 Haar-like feature 기반의 방법이 사용되는
    전기 사용 장치.
KR1020110085722A 2011-08-26 2011-08-26 사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치 KR101870292B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110085722A KR101870292B1 (ko) 2011-08-26 2011-08-26 사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110085722A KR101870292B1 (ko) 2011-08-26 2011-08-26 사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치

Publications (2)

Publication Number Publication Date
KR20130022320A KR20130022320A (ko) 2013-03-06
KR101870292B1 true KR101870292B1 (ko) 2018-06-25

Family

ID=48175022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110085722A KR101870292B1 (ko) 2011-08-26 2011-08-26 사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치

Country Status (1)

Country Link
KR (1) KR101870292B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2009064199A (ja) * 2007-09-05 2009-03-26 Casio Comput Co Ltd ジェスチャー認識装置及びジェスチャー認識方法
JP2010271944A (ja) 2009-05-21 2010-12-02 Chuo Univ 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体
JP2011076255A (ja) 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2009064199A (ja) * 2007-09-05 2009-03-26 Casio Comput Co Ltd ジェスチャー認識装置及びジェスチャー認識方法
JP2010271944A (ja) 2009-05-21 2010-12-02 Chuo Univ 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体
JP2011076255A (ja) 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム

Also Published As

Publication number Publication date
KR20130022320A (ko) 2013-03-06

Similar Documents

Publication Publication Date Title
US10916057B2 (en) Method, apparatus and computer program for displaying an image of a real world object in a virtual reality enviroment
JP4929109B2 (ja) ジェスチャ認識装置及びその方法
KR20220144890A (ko) 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템
US9323432B2 (en) Method and apparatus for adjusting size of displayed objects
US20120236180A1 (en) Image adjustment method and electronics system using the same
US9405373B2 (en) Recognition apparatus
US11474614B2 (en) Method and device for adjusting the control-display gain of a gesture controlled electronic device
US20140168062A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
EP3608755A1 (en) Electronic apparatus operated by head movement and operation method thereof
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
US20150097812A1 (en) Interactive operation method of electronic apparatus
KR20220156601A (ko) 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템
JP6171353B2 (ja) 情報処理装置、システム、情報処理方法およびプログラム
US8599200B2 (en) Information processing apparatus, display controlling method, and display controlling apparatus
JP2012238293A (ja) 入力装置
WO2011096571A1 (ja) 入力装置
KR101870292B1 (ko) 사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
CN105867597B (zh) 3d交互方法及3d显示设备
KR20180074124A (ko) 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
KR20220144889A (ko) 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템
TW201709022A (zh) 非接觸式控制系統及方法
CN101739120A (zh) 交互式显示方法及其相关显示装置
US8743192B2 (en) Electronic device and image capture control method using the same
KR20130005548A (ko) 비젼 기반의 제스쳐 인식 시스템
KR102086495B1 (ko) 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant