KR101811909B1 - 제스처 인식을 위한 장치 및 방법 - Google Patents

제스처 인식을 위한 장치 및 방법 Download PDF

Info

Publication number
KR101811909B1
KR101811909B1 KR1020137017091A KR20137017091A KR101811909B1 KR 101811909 B1 KR101811909 B1 KR 101811909B1 KR 1020137017091 A KR1020137017091 A KR 1020137017091A KR 20137017091 A KR20137017091 A KR 20137017091A KR 101811909 B1 KR101811909 B1 KR 101811909B1
Authority
KR
South Korea
Prior art keywords
gesture
sub
gestures
user
possible instructions
Prior art date
Application number
KR1020137017091A
Other languages
English (en)
Other versions
KR20140014101A (ko
Inventor
웨이 조우
준 슈
시아오준 마
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20140014101A publication Critical patent/KR20140014101A/ko
Application granted granted Critical
Publication of KR101811909B1 publication Critical patent/KR101811909B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

제스처 인식을 위한 사용자 인터페이스, 장치 및 방법은 이전에 사용자에 의해 수행된 하나 또는 그 이상의 제스처를 기반으로 장치에 대한 하나 또는 그 이상의 가능한 명령을 예측하고; 하나 또는 그 이상의 가능한 명령을 표시하는 것을 포함한다.

Description

제스처 인식을 위한 장치 및 방법{APPARATUS AND METHOD FOR GESTURE RECOGNITION}
본 발명은 일반적으로 제스처 인식에 관한 것이며, 특히 전자 시스템에서 제스처 인식을 위한 사용자 인터페이스, 장치 및 방법에 관한 것이다.
컴퓨터로 이루어지는 활동 범위가 증가함에 따라서, 사용자와 기계간에 인터페이스를 제공하는 새롭고 혁신적인 방법들이 종종 개발되어 훨씬 자연스러운 사용자 체험을 제공하고 있다. 예를 들어, 터치 감응 스크린은 사용자가 마우스 및/또는 키 보드를 사용하지 않고도 컴퓨터에 입력을 제공할 수 있게 해주며, 그 결과 컴퓨터 작업을 위한 데스크 영역이 필요가 없어진다. 제스처 인식은 또한 신호 언어 인식, 멀티모드 휴먼 컴퓨터 상호작용, 가상현실 및 로봇 제어 영역에 있어서 그의 잠재적인 이용 때문에 점점 더 많은 관심을 모으고 있다.
제스처 인식은 컴퓨터 세계에서 빠르게 개발되는 영역이며, 이는 장치가 사용자의 특정한 손 제스처를 인식하여 이 제스처를 기반으로 특정 기능을 실행할 수 있게 해준다. 보다 "자연스러운" 효율적이고 효과적인 사용자-기계 인터페이스를 가능하게 해주는 컴퓨터 비전을 기반으로 한 제스처 인식 시스템이 제안되어 있다. 컴퓨터 비전에서, 제스처 인식의 정확도를 향상시키기 위해서는 카메라가 캡처한 관련 비디오를 스크린에 표시해야할 필요가 있다. 그리고 이러한 유형의 비디오는 사용자의 제스처가 올바르게 인식될 수 있는지 여부와 그가 그의 위치를 어느 정도 조정해야만 하는지 여부를 사용자에게 알려주는데 도움을 줄 수 있다. 그러나, 카메라가 캡처한 비디오를 표시하는 것은 일반적으로 사용자가 스크린에서 현재 프로그램을 보는데 부정적인 영향을 줄 것이다. 그러므로, 스크린에 표시되는 현재 프로그램에 대한 방해를 최소화시킬 수 있는 동시에 인식의 높은 정확도를 유지할 수 있는 방법을 찾아내는 것이 필요하다.
한편, 최근에는, 점점 더 많은 복합 제스처(즉, 그랩 및 드롭(grab and drop))들이 UI(사용자 인터페이스)에 적용된다. 이들 복합 제스처는 보통 다수의 서브-제스처를 포함하고 있고 단순한 제스처보다 인식하기가 더 어렵다. 2008년 8월 22자로 출원된 H.kieth Nishihara 등의 특허 US20100050133 "복합 제스처 인식"은 다수의 카메라를 포함하고 다양한 서브-제스처를 검출하여 다양한 장치용의 다양한 입력으로 번역(translate)하는 방법을 제안하고 있다. 그러나, 다수의 카메라에 대한 비용과 배치는 이 방법의 적용을 가정에 한정한다.
그러므로, 사용자 인터페이스 시스템에 있어서 복합 제스처 인식을 연구하는 것은 중요하다.
본 발명은 이전에 사용자에 의해 수행되어 제스처 인식 시스템에 의해 수신된 적어도 하나의 서브-제스처에 따라서, 적어도 하나의 제스처 명령(command)의 후속 서브 제스처를 표시하도록 적응된 디스플레이 창을 포함하는 제스처 인식 시스템의 사용자 인터페이스에 관한 것이다.
본 발명은 또한 이전에 사용자에 의해 수행된 하나 또는 그 이상의 서브 제스처를 기반으로 장치에 대한 하나 또는 그 이상의 가능한 명령을 예측하도록 적응된 제스처 예측 유닛; 상기 하나 또는 그 이상의 명령을 표시하도록 적응된 디스플레이를 포함하는 장치에 관한 것이다.
본 발명은 또한 이전에 사용자에 의해 수행된 하나 또는 그 이상의 서브 제스처들을 기반으로 장치에 대한 하나 또는 그 이상의 가능한 명령을 예측하는 단계; 상기 하나 또는 그 이상의 가능한 명령을 표시하는 단계를 포함하는 제스처 인식을 위한 방법에 관한 것이다.
본 발명의 이들 양태, 특징 및 장점들은 첨부 도면에 관련하여 설명된 다음의 실시예에 대한 설명으로부터 명료해질 것이다.
도 1은 본 발명의 실시예에 따른 제스처 인식 시스템의 일례를 보여주는 블록도이다.
도 2는 본 발명을 설명하는데 이용된 손 제스처에 대한 도해를 보여주고 있다.
도 3은 본 발명의 실시예에 따른 사용자 인터페이스의 디스플레이 창을 보여주는 도해이다.
도 4는 본 발명에 따른 디스플레이 스크린 내의 사용자 인터페이스 영역을 보여주는 도해이다.
도 5는 디스플레이 창의 불투명에 대한 제어 방법을 보여주는 흐름도이다.
도 6은 본 발명의 실시예에 따른 제스처 인식을 위한 방법을 보여주는 흐름도이다.
도면(들)은 이 개시 내용의 개념을 설명하기 위한 목적으로 이루어진 것이지 반드시 이 개시 내용의 설명을 위한 가능한 유일한 구성은 아니라는 점이 이해되어야 한다.
다음의 상세한 설명에서, 제스처 인식을 위한 사용자 인터페이스, 장치 및 방법이 본 발명의 철저한 이해를 제공하기 위해 제시되어 있다. 그러나, 본 발명이 이들 특정 세부사항 없이도 실시될 수 있고 또는 이들의 등가물로 실시될 수 있음은 본 기술 분야에 숙련된 자이면 인식하고 있을 것이다. 다른 예에서, 잘 알려진 방법, 절차, 구성요소 및 회로들은 본 발명의 양태들이 불필요하게 불명료해지지 않도록 상세히 설명되지 않았다.
사용자는 가상 입력(simulated input)들을 컴퓨터, TV 또는 다른 전자 장치에 제공할 수 있다. 가상 입력들은 사용자가 수행한 복합 제스처, 단일 제스처, 또는 임의 몸 제스처에 의해 제공될 수 있음은 이해되어야 한다. 예를 들어, 사용자는 제스처 인식 환경에서 미리 정한 모션(motion)을 포함하는 제스처를 제공할 수 있다. 사용자는, 예를 들어, 사용자의 한쪽 손 또는 양손; 원드(wand), 스타일러스, 포인팅 스틱; 또는 사용자가 제스처를 할 수 있게 해주는 다양한 다른 장치로 제스처 입력을 제공한다. 가상 입력은, 예를 들어, 표시된 비주얼 콘텐츠에 대한 참조(reference)를 설정하고 이 참조가 지시하는 비주얼 콘텐츠의 부분들에 대한 명령을 실행하기 위한 가상 마우스 입력일 수 있다.
도 1은 본 발명의 실시예에 따른 제스처 인식 시스템(100)의 일례를 보여주는 블록도이다. 도 1에 도시된 바와 같이, 제스처 인식 시스템(100)은 카메라(101), 디스플레이 스크린(102), 스크린(108-1), 스크린(108-2), 디스플레이 제어기(104), 제스처 예측기(105), 제스처 인식 유닛(106) 및 제스처 데이터베이스(107)를 포함한다. 일례로, 카메라(101)는 디스플레이 스크린(102) 위에 장착되고, 스크린(108-1 및 108-2)들은 각각 디스플레이 스크린(102)의 좌측 및 우측에 배치된다.
디스플레이 스크린(102) 앞에 있는 사용자는 입력 오브젝트(input object)로 가상 입력을 제스처 인식 시스템(100)에 제공할 수 있다. 이 실시예에서는, 입력 오브젝트는 사용자의 손으로 설명되어 있고, 따라서 가상 입력들이 손 제스처를 통해서 제공될 수 있다. 손을 이용하여 손 제스처를 통해서 가상 입력을 제공하는 것은 제스처 인식 시스템(100)의 단지 한 예의 구현에 불과함은 이해되어야 한다. 게다가, 가상 입력을 제공하기 위해서 입력 오브젝트로서 사용자의 손을 통해 제스처를 실행하는 예에서, 사용자의 손은 장갑 및/또는 핑거팁(fingertip), 및 너클(knuckle) 센서를 일부로 포함하거나 사용자의 맨손일 수 있다.
도 1의 실시예에서, 카메라(101)는 사용자들의 손 제스처의 정지 사진 이미지를 빠르게, 예를 들어, 초당 30회 찍을 수 있고, 이들 이미지는 제스처 인식 유닛(106)에 제공되어 사용자 제스처가 인식된다. 제스처 인식은 최근에 신호 언어 인식, 멀티모드 휴먼 컴퓨터 상호작용, 가상현실 및 로봇 제어 영역에 있어서 그의 잠재적인 이용 때문에 점점 더 많은 관심을 모으고 있다. 대부분의 종래 제스처 인식 방법들은 관측된 이미지 시퀀스를 트레이닝 샘플 또는 모델에 매치(match)한다. 입력 시퀀스는 샘플 또는 모델이 그에 가장 잘 매치하는 등급(class)으로 분류된다. DTW(Dynamic Time Warping), CDP(Continuous Dynamic Programming), HMM(Hidden Markov Model) 및 CRF(Conditional Random Field)는 종래 기술에 있어서의 이러한 카테고리의 방법 예이다. HMM은 제스처 인식을 위해 가장 널리 이용되는 기술이다. 서브-제스처에 대한 인식 방법의 세부사항은 여기에 설명하지 않는다.
제스처 인식 유닛(106), 제스처 예측기(105), 디스플레이 제어기(104) 및 제스처 데이터베이스(107)는, 예를 들어, 입력 오브젝트에 연관된 각 이미지를 처리하여 디스플레이 스크린(102)의 디스플레이 창(103)에 표시되는 제어 지시(control instruction)를 생성하기 위해 컴퓨터(도시되어 있지 않음) 또는 내장 프로세서 내에 상주할 수 있다.
이 실시예에 따라서, 사용자에 의한 단일 및 복합 제스처 입력이 인식될 수 있다. 복합 제스처는 다수의 관련 장치 입력을 제공하기 위해 다수의 서브-제스처들이 함께 이용될 수 있는 제스처일 수 있다. 예를 들어, 제1 서브-제스처는 비주얼 콘텐츠의 일부를 지시하는 참조 제스처일 수 있고, 제2 서브-제스처는 예를 들어 제1 서브-제스처가 지시하는 비주얼 콘텐츠의 부분에 대한 명령을 실행하기 위한 것으로, 제1 서브-제스처에 바로 연이어서 수행될 수 있는 실행 제스처일 수 있다. 단일 제스처는 하나의 서브-제스처만을 포함하고, 그 서브-제스처가 식별된 직후에 수행된다. 도 2는 본 발명을 설명하는데 이용된 예시적인 손 제스처를 보여주고 있다.
도 2에 도시된 바와 같이, 복합 제스처는 수 개의 서브 제스처(또는 서브시퀀트 제스처라고도 함)를 포함하며 그것이 표현하는 기능(function)에 따라 달라진다. 우리는 제1 서브 제스처를 머리 제스처(head gesture)라 부르고 마지막 서브 제스처를 꼬리 제스처(tail gesture)라 부른다. 3D UI(3차원 사용자 인터페이스)에는, 동일한 제1 제스처를 공유하는 많은 기능이 있다. 예를 들어, 전형적인 복합 제스처는 "그랩 및 드롭"이다. 이 경우에, 사용자는 그의 손 제스처를 이용하여 TV 프로그램의 장면 콘텐츠를 그랩할 수 있고 드롭의 손 제스처를 취해서 그것을 가까운 사진 프레임 또는 장치 스크린에 드롭할 수 있다. 여기서, 복합 제스처 정의는 세 개의 부분(서브 제스처들): 그랩, 드롭, 및 드롭을 위한 장소를 포함한다. 예를 들어, 사용자의 거실에는, 도 1에 도시된 바와 같이 TV 세트 및 TV 세트의 좌측 및 우측에 각각 배치된 두 개의 태블릿 장치가 있다. 그리고 이들 두 개의 태블릿 장치는 이 시스템에 이미 등록되어 있으며 제스처 데이터베이스(107)에 연결되어 있다. 이와 같이, "그랩 및 드롭"의 복합 제스처는 두 개의 유형을 포함한다. 한 유형은 도 2b에 도시된 바와 같이 두 개의 서브-제스처 "좌측으로 그랩 및 드롭"을 갖고 있고, 이는 사용자가 표시한 스크린 콘텐츠가 좌측 태블릿 장치로 드롭되어 데이터베이스(107)로부터 좌측 태블릿 장치(108-1)에 전송될 것임을 의미하며, 다른 유형은 도 2a에 도시된 바와 같이 "우측으로 그랩 및 드롭"을 가지며, 이는 사용자가 표시한 스크린 콘텐츠가 우측 태블릿 장치에 드롭되어 데이터베이스(107)로부터 우측 태블릿 장치(108-2)에 전송될 것임을 의미한다. 이들 두 유형은 동일한 제1 서브 제스처 "그랩"을 공유한다. 틀림없이, 제2 서브 제스처가 도 2c에 도시된 바와 같이 여전히 제1 서브 제스처 "그랩"과 동일한 "그랩"이고 그 "그랩"이 1초 이상 유지되면, 이는 이 복합 제스처가 단지 하나의 서브 제스처 "그랩"을 포함하고 있고 스크린 콘텐츠는 로컬에 저장되거나 드롭될 것임을 의미한다.
도 1을 참조하면, 제스처 인식 시스템(100)의 제스처 예측기(105)는 제스처 인식 유닛(106)에 의해 이전에 인식된 하나 또는 그 이상의 사용자 제스처와 그들의 시퀀스 또는 순서를 기반으로 장치에 대한 하나 또는 그 이상의 제스처 명령을 예측하도록 적응되어 있다. 예측을 수행하기 위하여, 다른 유닛인 복합 제스처 데이터베이스(107)가 필요하며, 이는 사전에 정의된 제스처들을 특정 명령 기능과 함께 저장하도록 구성되어 있다.
카메라(101)가 얻은 제스처 이미지들이 제스처 인식 유닛(106)에 의해 인식될 때, 인식 결과, 예를 들어, 미리 정의된 서브 제스처가 제스처 예측기(105)에 입력될 것이다. 이후 인식 결과를 기반으로 제스처 데이터베이스(107)를 조사하여, 제스처 예측기(105)는 하나 또는 그 이상의 가능한 제스처 명령을 예측할 것이고 이 가능한 제스처 명령들의 후속 서브 제스처가 디스플레이 창(103)에 표시(indication)로 나타날 것이다. 예를 들어, 제1 서브 제스처 "그랩"이 인식될 때, 데이터베이스(107)를 조사함으로써 예측기는 이러한 복합 제스처에 대한 3가지의 가능한 후보 "좌측으로 그랩 및 드롭", "우측으로 그랩 및 드롭" 및 "단지 그랩"이 있다는 결론을 도출할 수 있다.
데이터베이스(107)에는 여전히 다음과 같은 다른 단일 및 복합 제스처들이 있다: 머리 서브 제스처가 "오른손을 흔들다"일 때, 꼬리 제스처들은 각각 ""오른손을 흔들다", "양손을 흔들다", "오른손을 든다", 또는 "가만히 있다"일 수 있다. 예를 들어, 머리 제스처는 TV 세트를 켜는 것을 의미한다. 꼬리 제스처가 "오른손을 흔들다"이면, 이는 TV 세트가 셋톱박스로부터 프로그램을 재생하는 것을 의미한다. 꼬리 제스처가 "양손을 흔든다"이면, 이는 TV 세트가 미디어 서버로부터 프로그램을 재생한다는 것을 의미한다. 꼬리 제스처가 "오른손을 든다"이면, 이는 TV 세트가 DVD(digital video disc)로부터 프로그램을 재생한다는 것을 의미한다. 꼬리 제스처가 "양손을 흔든다"이면, 이는 TV 세트가 미디어 서버로부터 프로그램을 재생한다는 것을 의미한다. 꼬리 제스처가 "가만히 있다"이면, 이는 TV 세트가 어떤 프로그램도 재생하지 않을 것임을 의미한다. 본 발명이 예로서 복합 제스처 "그랩 및 드롭"과 두 개의 스텝 서브 제스처들을 취하여 설명되었을지라도, 이는 본 발명을 제한하는 것으로 간주될 수 없다.
실시예에 따르면, 제스처 인식 시스템(100)의 사용자 인터페이스를 제공하는 디스플레이 창(103)은 완전히 가능한 명령의 후속 제스처를 실행하는 방법에 대한 정보와 함께 제스처 예측기(105)가 얻은 하나 또는 그 이상의 가능한 명령의 후속 서브 제스처를 표시하는데 이용된다. 도 3은 본 발명의 실시예에 따른 디스플레이 창(103)의 예들을 보여주는 도해이다. 여기서, 디스플레이 창의 크기와 위치는 이 기술 분야에 숙련된 자에 의해서 필요에 따라 선택될 수 있고, 디스플레이 스크린(102)상의 이미지 또는 전제 화면을 커버(cover)하거나 이미지에 투명할 수 있다.
디스플레이 스크린(102)상의 디스플레이 창(103)은 디스플레이 제어기(104)에 의해 제어된다. 디스플레이 제어기(104)는 데이터베이스(107)의 리스트에 미리 정의되어 있는 제스처들에 따라서 제스처 예측기(105)에 의해 예측된 각각의 복합 제스처에 대한 후속 서브-제스처를 실행하는 방법에 관한 몇몇 표시(indication) 또는 지시(instruction)를 제공하며, 이들 표시 또는 지시는 명령들에 관한 정보와 함께 힌트들에 의해 디스플레이 창(103)에 나타난다. 예를 들어, 디스플레이 스크린(102)상의 디스플레이 창(103)은 사용자가 그의 후속 서브-제스처를 취하는데 도움을 주기 위한 디스플레이 창으로서 스크린의 일정 영역을 강조(highlight)할 수 있다. 이 영역에는, 가능한 명령의 후속 서브 제스처를 보여 주기 위해 몇 개의 힌트, 예를 들어, 화살표 점선 또는 곡선 점선이 이용된다. 명령에 관한 정보는 사용자가 손을 왼쪽으로 움직이게 안내하는 "좌측으로 그랩 및 드롭", 사용자가 손을 오른쪽으로 움직이게 안내하는 "우측으로 그랩 및 드롭" 및 사용자가 이러한 그랩 제스처를 유지하게 안내하는 "단지 그랩"을 포함한다. 게다가, 제스처 인식 시스템(100)이 수신한 서브 제스처의 표시가 또한 디스플레이 창(103)의 힌트들에 해당하는 위치에 도시된다. 이때 표시는 이 시스템이 수신한 이미지 또는 서브 제스처를 나타내는 임의 이미지일 수 있다. 어도비 플래시, 마이크로소프트 실버라이트 및 JavaFX는 모두 디스플레이 창(103) 내의 표시로서 그러한 유형의 응용을 구현하기 위해 디스플레이 제어기에 의해 이용될 수 있다. 게다가, 힌트들은 위에 열거한 것에 제한되지 않으며, 힌트들이 사용자가 그것들 중 하나를 따라 제스처 명령을 완수하는 데 도움을 줄 수 있다면 이 기술 분야에 숙련된 자의 필요에 따라서 임의 다른 표시로 구현될 수 있다.
도 4는 실시예에 따른 디스플레이 스크린(102) 내의 일정 영역을 보여주는 도해이다. 도 4에 도시된 바와 같이, 상기 표시와 지시를 표시하는 불투명은 제스처 인식 과정이 점차 투명해지게 만드는데 도움이 되는 중요한 파라미터이다. 예를 들어, "RGBA"(Red Green Blue Alpha) 기술에서 알파 값은 혼합 값(0 ∼ 1)이고, 이는 제스처 인식의 진행과정을 반영하고 제스처 인식 과정이 점차 투명해지게 만드는데 도움을 주는 영역의 불투명 값(0 ∼ 1)을 설명하는데 이용된다. 예를 들어, 그랩의 제1 서브 제스처가 인식되고 나서 힌트들이 디스플레이 창에 나타나면, 사용자는 힌트들 중 하나를 따라서 복합 제스처 "좌측으로 그랩 및 드롭"을 수행하는데, 이는 또한 인식 유닛에 의해 인식되고, 도 4a에 도시된 바와 같이, 제스처 "우측으로 그랩 및 드롭" 및 "단지 그랩"의 힌트는 디스플레이 창으로부터 사라진다. 동시에, 디스플레이 창의 불투명은 도 4b에 도시된 바와 같이 제스처 "좌측으로 그랩 및 드롭"을 수행하는 진행과정에 따라서 감소할 것이다.
도 5는 예로서 상기 복합 제스처 "그랩 및 드롭"을 취함으로써 디스플레이 제어기(104)에 의해 이용된 디스플레이 창의 불투명에 대한 제어 방법을 보여주는 흐름도이다. 단계 501에서, 그랩 제스처가 사용자에 의해 수행되었는지 여부를 알기 위한 판정이 실행되고, 이는 그랩 제스처가 인식 유닛에 의해 인식되었는지 여부를 의미한다. 대답이 아니오라면, 이 방법은 단계 510으로 가고 제어기는 대기한다. 그렇지 않으면, 단계 502에서 모든 인접한 서브 제스처 스텝과 현행 서브 제스처 스텝에 대한 방향선 또는 드롭 힌트의 알파 혼합 값은 1로 설정된다. 이는 디스플레이 창에 모든 정보가 명료하게 도시되어 있음을 의미한다. 이후 단계 503에서는 인식 유닛의 인식 결과에 따라서 그랩 제스처가 특정한 기간 동안 그대로 유지되는지 여부가 판정되고, 대답이 예라면, 이는 "단지 그랩"이 실행된다는 것을 의미하고 이후 단계 506에서 모든 인접한 서브 제스처 스텝에 대한 방향선 또는 드롭 힌트의 알파 혼합 값은 0으로 설정된다. 이는 모든 인접한 서브 제스처가 창에서 사라진다는 것을 의미한다. 단계 503에서 대답이 아니오라면, 이 방법은 단계 505로 가서 그랩 제스처의 움직임 방향을 판정한다. 제스처가 인식 결과에 따라서 한 방향으로 이동한다면, 다른 방향에 대한 방향선 또는 드롭 힌트의 알파 혼합 값은 단계 507에서 0으로 설정된다. 이후 단계 508에서 드롭 제스처가 인식 결과에 따라서 수행된다면, 현재 방향의 방향선 또는 드롭 힌트의 알파 혼합 값은 단계 509에서 0으로 설정되거나 점차 0으로 감소한다. 한편, "단지 그랩" 제스처가 수행되고 있고 드롭 또는 저장 스텝이 실시되고 있다면, 그의 힌트의 알파 혼합 값은 또한 0으로 설정되거나 점차 0으로 감소한다.
도 6은 본 발명의 실시예에 따른 제스처 인식을 위한 방법을 보여주는 흐름도이다. 본 발명의 실시예에 따르면, 제1 서브-제스처가 손 위치 및 손의 다른 특징을 기반으로 인식될 때, 어느 제스처 명령이 수행될 것인지에 대한 평가가 데이터베이스에 있는 모든 제스처 정의에 대한 지식을 기반으로 성취될 수 있다. 이때, 제스처와 평가된 제스처 명령에 대한 힌트를 보여주기 위한 하나의 창이 디스플레이 스크린에 나타난다. 이후 제2 서브 제스처가 인식될 때, 제1 및 제2 서브-제스처 인식 결과를 기반으로 한 제스처 명령에 대한 평가 결과의 수는 바뀔 것이다. 보통, 이 수는 단지 제1 서브-제스처를 기반으로 한 것보다 작을 것이다. 앞의 단락에서 설명한 것과 유사하게, 새로운 평가 결과가 분석되고 명령의 후속 서브 제스처를 마무리하는 방법에 대한 힌트가 제공될 것이다. 더욱이, 평가 결과의 수가 감소하면, 창의 불투명도 역시 감소할 것이다. 창의 불투명 변화는 복합 제스처 인식을 위한 다른 유형의 힌트로 보일 수 있다.
도 6에 도시된 바와 같이, 제1 서브 제스처와 같은 사용자 제스처는 단계 601에서 제스처 인식 유닛(106)에 의해 인식된다. 이후 단계 602에서 예측기(105)는 단계 601에서 인식된 하나 또는 그 이상의 서브 제스처를 기반으로 시스템에 대한 하나 또는 그 이상의 가능한 명령을 예측할 것이고, 단계 603에서 적어도 하나의 가능한 명령의 후속 서브 제스처가 디스플레이 창에 사용자 인터페이스에 의해 표시된다. 이후 단계 604에서, 한 명령의 서브 제스처가 수행되고 있을 때는 다른 것들은 사용자 인터페이스로부터 사라질 것이고, 단계 605에서 디스플레이 창의 불투명이 감소할 것이다. 이후 사용자가 제스처 명령을 끝냈을 때, 단계 606에서 디스플레이 창도 사라질 것이다.
제1 및 제2 서브 제스처를 기반으로 실시예들을 설명하였을지라도, 부가의 서브 제스처 인식과 사용자 인터페이스에 나타난 명령의 후속 서브 제스처의 힌트가 본 발명의 실시예에도 적용될 수 있다. 서브 제스처가 더 수신되지 않거나 제스처 명령이 끝났다면 디스플레이 창은 스크린에서 사라질 것이다.
앞서 단지 본 발명의 실시예를 설명하였을지라도 이 기술 분야에서 숙련된 자이면 여기에 명료하게 설명하지는 않았을지라도 본 발명의 원리를 구현하며 본 발명의 정신 및 범위 내에 있는 수많은 대안적인 배열을 고안할 수 있음은 이해할 수 있을 것이다.

Claims (15)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 장치로서,
    이전에 사용자에 의해 수행되어 상기 장치에 의해서 인식된 하나 또는 그 이상의 서브 제스처와 상기 하나 또는 그 이상의 서브 제스처의 순서를 기반으로 상기 장치에 대한 하나 또는 그 이상의 가능한 명령을 예측하도록 적응된 제스처 예측 유닛;
    사용자 인터페이스에 상기 하나 또는 그 이상의 가능한 명령의 후속 서브 제스처를 표시하도록 적응된 디스플레이를 포함하고,
    상기 디스플레이에서 상기 하나 또는 그 이상의 가능한 명령의 상기 후속 서브 제스처의 상기 표시는 불투명을 가지며, 최초 예측 후에 상기 하나 또는 그 이상의 가능한 명령의 수가 이전에 예측된 하나 또는 그 이상의 가능한 명령의 수에 비해 감소하면 상기 표시의 상기 불투명이 감소하며, 상기 서브 제스처를 수행하는 진행과정에 따라서도 상기 표시의 상기 불투명이 감소하는,
    장치.
  8. 제7항에 있어서,
    상기 후속 서브 제스처는 상기 명령을 완수하도록 상기 후속 서브 제스처를 수행하는 방법에 관한 정보와 함께 힌트에 의해 상기 사용자 인터페이스에 표시되는 장치.
  9. 제7항 또는 제8항에 있어서,
    상기 디스플레이는 또한 상기 장치에 의해 인식된 상기 하나 또는 그 이상의 서브 제스처를 표시하도록 적응되어 있는 장치.
  10. 제7항 또는 제8항에 있어서,
    하나의 가능한 명령의 후속 서브 제스처가 상기 사용자에 의해 수행되고 상기 장치에 의해 인식되고 있을 때, 다른 가능한 명령들의 후속 서브 제스처들은 상기 사용자 인터페이스에서 사라지게 되는 장치.
  11. 제7항 또는 제8항에 있어서,
    상기 하나 또는 그 이상의 가능한 명령들은 데이터베이스에서 검색하기 위한 상기 인식된 하나 또는 그 이상의 서브 제스처 및 상기 하나 또는 그 이상의 서브 제스처의 순서를 이용하여 예측되고, 상기 데이터베이스는 상기 하나 또는 그 이상의 가능한 명령의 제스처 정의를 포함하고, 각각의 가능한 명령은 미리 정해진 순서의 적어도 하나의 서브 제스처를 포함하는 장치.
  12. 장치에서 제스처 인식을 위한 방법으로서,
    이전에 상기 장치에 의해 인식된 하나 또는 그 이상의 서브 제스처 및 상기 하나 또는 그 이상의 서브 제스처의 순서를 기반으로 상기 장치에 대한 하나 또는 그 이상의 가능한 명령을 예측하는 단계;
    사용자 인터페이스에 의해 상기 하나 또는 그 이상의 가능한 명령의 후속 서브 제스처를 표시하는 단계를 포함하고,
    상기 사용자 인터페이스에서 상기 하나 또는 그 이상의 가능한 명령의 상기 후속 서브 제스처의 상기 표시는 불투명을 가지며, 최초 예측 후에 상기 하나 또는 그 이상의 가능한 명령의 수가 이전에 예측된 하나 또는 그 이상의 가능한 명령의 수에 비해 감소하면 상기 표시의 상기 불투명이 감소하며, 상기 서브 제스처를 수행하는 진행과정에 따라서도 상기 표시의 상기 불투명이 감소하는,
    방법.
  13. 제12항에 있어서,
    상기 후속 서브 제스처는 상기 사용자 인터페이스에 나타난 힌트에 의해 표시되고, 상기 사용자에 의해 수행된 상기 하나 또는 그 이상의 서브 제스처의 표시도 또한 상기 사용자 인터페이스에 나타나는 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 하나 또는 그 이상의 가능한 명령들은 데이터베이스에서 검색하기 위한 상기 인식된 하나 또는 그 이상의 제스처 및 상기 하나 또는 그 이상의 서브 제스처의 순서를 이용하여 예측되고, 상기 데이터베이스는 상기 하나 또는 그 이상의 가능한 명령의 제스처 정의를 포함하고, 각각의 가능한 명령은 미리 정해진 순서의 적어도 하나의 서브 제스처를 포함하는 방법.
  15. 제13항에 있어서,
    상기 힌트는 상기 적어도 하나의 명령을 완수하기 위해 상기 후속 서브 제스처를 수행하는 방법에 관한 정보와 함께 나타나는 방법.
KR1020137017091A 2010-12-30 2010-12-30 제스처 인식을 위한 장치 및 방법 KR101811909B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/002206 WO2012088634A1 (en) 2010-12-30 2010-12-30 User interface, apparatus and method for gesture recognition

Publications (2)

Publication Number Publication Date
KR20140014101A KR20140014101A (ko) 2014-02-05
KR101811909B1 true KR101811909B1 (ko) 2018-01-25

Family

ID=46382154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017091A KR101811909B1 (ko) 2010-12-30 2010-12-30 제스처 인식을 위한 장치 및 방법

Country Status (8)

Country Link
US (1) US20130283202A1 (ko)
EP (1) EP2659336B1 (ko)
JP (1) JP5885309B2 (ko)
KR (1) KR101811909B1 (ko)
CN (1) CN103380405A (ko)
AU (1) AU2010366331B2 (ko)
BR (1) BR112013014287B1 (ko)
WO (1) WO2012088634A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
KR101322465B1 (ko) * 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
SE537553C2 (sv) 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140215382A1 (en) * 2013-01-25 2014-07-31 Agilent Technologies, Inc. Method for Utilizing Projected Gesture Completion to Improve Instrument Performance
JP6212918B2 (ja) * 2013-04-18 2017-10-18 オムロン株式会社 遊技機
US20150007117A1 (en) * 2013-06-26 2015-01-01 Microsoft Corporation Self-revealing symbolic gestures
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
DE102014001183B4 (de) 2014-01-30 2022-09-22 Audi Ag Verfahren und System zum Auslösen wenigstens einer Funktion eines Kraftwagens
CN103978487B (zh) * 2014-05-06 2017-01-11 宁波易拓智谱机器人有限公司 一种基于手势的通用机器人末端位置的操控方法
CN104615984B (zh) * 2015-01-28 2018-02-02 广东工业大学 基于用户任务的手势识别方法
US20160257198A1 (en) 2015-03-02 2016-09-08 Ford Global Technologies, Inc. In-vehicle component user interface
DE112016001794T5 (de) * 2015-04-17 2018-02-08 Mitsubishi Electric Corporation Gestenerkennungsvorrichtung, Gestenerkennungsverfahren und Informationsverarbeitungsvorrichtung
US9967717B2 (en) 2015-09-01 2018-05-08 Ford Global Technologies, Llc Efficient tracking of personal device locations
US9914418B2 (en) 2015-09-01 2018-03-13 Ford Global Technologies, Llc In-vehicle control location
US10046637B2 (en) 2015-12-11 2018-08-14 Ford Global Technologies, Llc In-vehicle component control user interface
WO2017104525A1 (ja) * 2015-12-17 2017-06-22 コニカミノルタ株式会社 入力装置、電子機器及びヘッドマウントディスプレイ
US10082877B2 (en) * 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
US9914415B2 (en) 2016-04-25 2018-03-13 Ford Global Technologies, Llc Connectionless communication with interior vehicle components
DE102016212240A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
CN108520228A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 手势匹配方法及装置
CN112527093A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 手势输入方法及电子设备
CN110795015A (zh) * 2019-09-25 2020-02-14 广州视源电子科技股份有限公司 操作提示方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006331210A (ja) * 2005-05-27 2006-12-07 Mitsubishi Electric Corp ユーザインタフェース装置及びユーザインタフェース方法
JP2010015238A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
JP2010537268A (ja) * 2007-08-16 2010-12-02 ノキア コーポレイション 項目タグ付けの装置および方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2323856A1 (en) * 2000-10-18 2002-04-18 602531 British Columbia Ltd. Method, system and media for entering data in a personal computing device
US7343566B1 (en) * 2002-07-10 2008-03-11 Apple Inc. Method and apparatus for displaying a window for a user interface
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7466859B2 (en) * 2004-12-30 2008-12-16 Motorola, Inc. Candidate list enhancement for predictive text input in electronic devices
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
JP4602166B2 (ja) * 2005-06-07 2010-12-22 富士通株式会社 手書き情報入力装置。
CN101268437B (zh) * 2005-11-02 2010-05-19 松下电器产业株式会社 显示目标透射装置及显示目标透射方法
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
US20090100383A1 (en) * 2007-10-16 2009-04-16 Microsoft Corporation Predictive gesturing in graphical user interface
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
US7983450B2 (en) * 2009-03-16 2011-07-19 The Boeing Company Method, apparatus and computer program product for recognizing a gesture
US8285499B2 (en) * 2009-03-16 2012-10-09 Apple Inc. Event recognition
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
CN101706704B (zh) * 2009-11-06 2011-05-25 谢达 一种会自动改变不透明度的用户界面显示方法
US8622742B2 (en) * 2009-11-16 2014-01-07 Microsoft Corporation Teaching gestures with offset contact silhouettes
JP2011204019A (ja) * 2010-03-25 2011-10-13 Sony Corp ジェスチャ入力装置、ジェスチャ入力方法およびプログラム
TWI514194B (zh) * 2010-06-18 2015-12-21 Prime View Int Co Ltd 電子閱讀器及其顯示方法
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
AU2011292026B2 (en) * 2010-08-17 2014-08-07 Google Llc Touch-based gesture detection for a touch-sensitive device
US8701050B1 (en) * 2013-03-08 2014-04-15 Google Inc. Gesture completion path display for gesture-based keyboards

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006331210A (ja) * 2005-05-27 2006-12-07 Mitsubishi Electric Corp ユーザインタフェース装置及びユーザインタフェース方法
JP2010537268A (ja) * 2007-08-16 2010-12-02 ノキア コーポレイション 項目タグ付けの装置および方法
JP2010015238A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法

Also Published As

Publication number Publication date
US20130283202A1 (en) 2013-10-24
WO2012088634A1 (en) 2012-07-05
AU2010366331A1 (en) 2013-07-04
EP2659336B1 (en) 2019-06-26
KR20140014101A (ko) 2014-02-05
EP2659336A1 (en) 2013-11-06
JP5885309B2 (ja) 2016-03-15
EP2659336A4 (en) 2016-09-28
AU2010366331B2 (en) 2016-07-14
CN103380405A (zh) 2013-10-30
BR112013014287B1 (pt) 2020-12-29
JP2014501413A (ja) 2014-01-20
BR112013014287A2 (pt) 2016-09-20

Similar Documents

Publication Publication Date Title
KR101811909B1 (ko) 제스처 인식을 위한 장치 및 방법
US11494000B2 (en) Touch free interface for augmented reality systems
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US10423225B2 (en) Display apparatus, and input processing method and system using same
US10120454B2 (en) Gesture recognition control device
JP6356157B2 (ja) Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択
US10635184B2 (en) Information processing device, information processing method, and program
US20180292907A1 (en) Gesture control system and method for smart home
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
US20140049558A1 (en) Augmented reality overlay for control devices
US20200142495A1 (en) Gesture recognition control device
CN103106388B (zh) 图像识别方法和系统
CN106796810A (zh) 在用户界面上从视频选择帧
US20130234937A1 (en) Three-dimensional position specification method
WO2018180406A1 (ja) シーケンス生成装置およびその制御方法
JP6409948B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP2886173B1 (en) Augmented reality overlay for control devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant