KR101502085B1 - 안경형 디스플레이 디바이스의 동작인식 입력방법 - Google Patents

안경형 디스플레이 디바이스의 동작인식 입력방법 Download PDF

Info

Publication number
KR101502085B1
KR101502085B1 KR20130118251A KR20130118251A KR101502085B1 KR 101502085 B1 KR101502085 B1 KR 101502085B1 KR 20130118251 A KR20130118251 A KR 20130118251A KR 20130118251 A KR20130118251 A KR 20130118251A KR 101502085 B1 KR101502085 B1 KR 101502085B1
Authority
KR
South Korea
Prior art keywords
hand
recognizing
display device
index finger
type display
Prior art date
Application number
KR20130118251A
Other languages
English (en)
Inventor
이길재
Original Assignee
주식회사 매크론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 매크론 filed Critical 주식회사 매크론
Priority to KR20130118251A priority Critical patent/KR101502085B1/ko
Priority to PCT/KR2014/007993 priority patent/WO2015050322A1/ko
Priority to US15/027,174 priority patent/US9904372B2/en
Application granted granted Critical
Publication of KR101502085B1 publication Critical patent/KR101502085B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 최대한 자연스럽고 직관적인 손동작으로 안경형 디스플레이 디바이스를 제어할 수 있는 안경형 디스플레이 디바이스의 동작인식 입력방법에 관한 것이다. 본 발명에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법은 안경형 디스플레이 디바이스에 장착된 카메라를 이용하여 연속 영상들을 취득하는 영상 취득 단계와, 상기 취득된 영상들로부터 사용자의 손을 인식하는 손 인식 단계와, 상기 인식된 손을 추적하는 손 추적 단계와, 상기 손 추적 단계에서 얻어지는 손의 위치로부터 상기 손의 동작을 인식하는 손동작 인식 단계와, 상기 손의 동작에 대응되는 제어신호를 출력하는 제어신호 출력단계를 포함하며, 상기 손 인식 단계에서 상기 사용자의 손이 인식되면, 안경형 디스플레이 디바이스의 화면에 상기 손의 위치가 표시되는 것을 특징으로 한다.

Description

안경형 디스플레이 디바이스의 동작인식 입력방법{A gesture recognition input method for glass type display device}
본 발명은 안경형 디스플레이 장치의 동작 인식 명령입력 방법으로, 보다 구체적으로는 안경형 디스플레이 장치에 장착된 카메라로부터 입력되는 안경 전방에서 움직이는 손동작을 해석하여 컴퓨터의 마우스 입력장치와 같은 역할을 하도록 하여 안경형 디스플레이 디바이스에 편리한 명령 입력 방법을 제공하는 방법에 관한 발명이다.
최근 들어 새로운 형태의 디스플레이 디바이스들이 다양하게 출현하고 있다. 특히, 모바일 디스플레이의 경우 기존의 디스플레이 기능에 소형 컴퓨터 기능을 부가한 스마트 디스플레이 디바이스를 넘어, 휴대성을 극대화하는 웨어러블 디스플레이의 형태로 발전하고 있다.
예컨대, 웨어러블 디스플레이 중 최근 구글에서 출시한 안경형 디스플레이(구글 글라스)의 경우 안경처럼 착용하면 되기 때문에 기존의 스마트 기기처럼 들고 다닐 필요가 없다. 즉, HMD(Head mount display)의 경우 안경처럼 착용하고 보기 때문에 TV와 같은 큰 부피의 디스플레이 디바이스가 필요 없다.
한편, 안경형 디스플레이의 경우 눈과 밀착되어 휴대성 등의 여러 측면에서 효율적이지만, 기존의 스마트 디스플레이처럼 터치 스크린을 입력기로서 사용할 수 없어 새로운 형태의 입력장치가 필요하다. 현재까지 주로 이용되는 입력 장치는, 공개특허 10-2001-0012024호에 나타나 있는 바와 같이, 음성 인식 방법을 통해 명령신호를 입력할 수 있다. 하지만, 음성 인식 방법의 경우 시끄러운 곳에서 오동작의 가능성이 있고, 많은 사람이 모이는 곳에서는 타인의 청각을 자극할 수 있어 사용에 제한이 있다. 나아가, 음성 인식 방법으로 마우스의 이동이나 드래그와 같은 명령신호를 입력하기에는 어려움이 있다.
따라서, 안경형 디스플레이 디바이스에 적용할 수 있는 새로운 형태의 입력방법의 개발이 요구된다.
선행특허1 : 공개특허 10-2001-0012024호
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 최대한 자연스럽고 직관적인 손동작으로 안경형 디스플레이 디바이스를 제어할 수 있는 안경형 디스플레이 디바이스의 동작인식 입력방법을 제공하는 것이다.
본 발명에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법은 안경형 디스플레이 디바이스에 장착된 카메라를 이용하여 연속 영상들을 취득하는 영상 취득 단계와, 상기 취득된 영상들로부터 사용자의 손을 인식하는 손 인식 단계와, 상기 인식된 손을 추적하는 손 추적 단계와, 상기 손 추적 단계로부터의 얻어지는 손의 위치로부터 상기 손의 동작을 인식하는 손동작 인식 단계와, 상기 손의 동작에 대응되는 제어신호를 출력하는 제어신호 출력단계를 포함하며, 상기 손 인식 단계에서 상기 사용자의 손이 인식되면, 안경형 디스플레이 디바이스의 화면에 상기 손의 위치가 표시되는 것을 특징으로 한다.
본 발명에 따르면, 상기 손 인식 단계에서는 사전에 설정된 손모양의 손을 인식하되, 검지 손가락을 편 손모양의 손을 인식하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손 인식 단계는, 취득된 영상으로부터 손의 외곽 형태를 추출하는 단계와, 상기 추출된 손의 외곽 형태가 검지 손가락을 편 손모양인지를 인식하는 단계와, 상기 손의 움직이는 방향이 좌우 또는 상하 방향으로 복수 회 변하는 것을 인식하는 단계를 포함하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손 추적 단계는 상기 손 인식 단계에서 손을 인식한 이후 입력되는 복수의 연속 영상 내에서의 손의 위치를 추적하기 위한 것으로, 이전 영상에서의 손의 위치정보를 이용하여 일정 거리 내에 손이 있는지 인식하는 과정을 포함하고, 손 인식 단계에서 얻어진 손의 색 정보 및 손모양 정보를 이용하여 손을 추적하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 영상 취득 단계에서 취득된 영상은, 상기 안경형 디스플레이 디바이스의 화면 일부 영역에 표시되거나, 상기 안경형 디스플레이 디바이스의 화면 전체에 오버레이(overlay) 되는 것이 바람직하다.
또한, 본 발명에 따르면 상기 카메라의 움직임에 의한 손의 위치 변화를 보정하기 위하여, 상기 영상 취득 단계에서 얻어진 연속된 복수의 영상으로부터 영상 간의 매칭을 통해 손을 제외한 배경의 움직임의 옵셋값을 추출하고, 상기 추출된 옵셋값을 이용하여 상기 손 추적 단계에서 얻어진 손의 위치를 보정하는 단계를 더 포함하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손동작 인식 단계에서는, 검지 손가락에 부착된 특정 색을 가지는 컬러코드의 위치 변화를 분석하여 상기 검지 손가락의 구부림과 펴는 동작을 인식하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 컬러코드는 검지 손가락에 끼울 수 있는 링 형태를 가지는 것이 바람직하다.
또한, 본 발명에 따르면 상기 컬러코드는 두 개 이상의 색이 조합되어 있는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손동작 인식단계에서는 상기 검지 손가락에 특정 색을 가지는 컬러코드가 부착되어 있는지를 인식하고, 상기 컬러코드가 부착되어 있지 않으면, 상기 검지 손가락이 일정시간 해당 메뉴에 멈춰있는 동작을 클릭 동작으로 인식하고, 상기 컬러코드가 검지 손가락에 부착된 경우에는 상기 검지 손가락을 구부렸다 펴는 동작을 클릭동작으로 인식하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손동작 인식단계에서는 손의 궤적이 시계방향 원을 그리면 줌인으로 해석하고, 손의 궤적이 시계반대방향 원을 그리면 줌아웃으로 해석하는 것이 바람직하다.
상기한 구성의 본 발명에 따르면, 자연스럽고 직관적인 손동작으로 마우스와 유사하게 안경형 디스플레이 디바이스를 제어할 수 있다.
도 1은 손동작을 이용하여 안경형 디스플레이 디바이스를 조작하는 일례를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법의 흐름도이다.
도 3은 미리 정해진 손모양의 일례로 검지 손가락을 편 손모양을 보여주는 도면이다.
도 4는 손을 좌우로 움직여 손을 인식시키는 방법을 보여주는 도면이다.
도 5는 검지 손가락에 컬러코드를 부착한 일례를 보여 주는 도면이다.
도 6은 검지 손가락을 구부렸다가 펴서 클릭동작을 수행하는 것을 보여 주는 도면이다.
도 7은 손으로 원을 그려 줌인, 줌아웃 동작을 수행하는 것을 보여 주는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법에 관하여 설명한다.
도 1은 손동작을 이용하여 안경형 디스플레이 디바이스를 조작하는 일례를 보여주는 도면이며, 도 2는 본 발명의 일 실시예에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법의 흐름도이며, 도 3은 미리 정해진 손모양의 일례로 검지 손가락을 편 손모양을 보여주는 도면이며, 도 4는 손을 좌우로 움직여 손을 인식시키는 방법을 보여주는 도면이며, 도 5는 검지 손가락에 컬러코드를 부착한 일례를 보여 주는 도면이며, 도 6은 검지 손가락을 구부렸다가 펴서 클릭동작을 수행하는 것을 보여 주는 도면이며, 도 7은 손으로 원을 그려 줌인, 줌아웃 동작을 수행하는 것을 보여 주는 도면이다.
도 1 내지 도 7을 참조하면, 본 실시예에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법(M100)은 영상 취득 단계(S10)와, 손 인식 단계(S20)와, 손 추적 단계(S30)와, 손동작 인식 단계(S40)와, 제어신호 출력단계(S50)를 포함한다.
도 1에 도시된 바와 같이 안경형 디스플레이 디바이스(10)에는 카메라(1)가 장착되어 있다. 영상 취득 단계(S10)에서는 손을 카메라(1)의 전방에 위치한 상태에서, 카메라로 손이 포함된 연속된 영상을 촬영하여 취득한다.
여기서, 대부분의 안경형 디스플레이 디바이스에는 주로 2차원 카메라가 달려있다. 일반적인 동작인식 방법인 3차원 depth 카메라를 이용하여 동작인식을 구현하면 전방의 손과 배경을 구분하기 용이하지만, 추가로 3차원 depth 카메라를 장착해야 하는 단점이 있다. 또한 3차원 depth 카메라의 경우 적외선 조명을 이용하므로 맑은 날 야외에서 동작하기는 힘든 단점이 있다. 그리고, 안경형 디스플레이 디바이스의 경우 전원문제와 크기문제도 중요하므로 2차원 카메라를 이용하는 방법이 3차원 depth 카메라를 이용하는 방법보다는 유리하다.
손 인식 단계(S20)에서는 취득한 영상들로부터 미리 정한 형태의 사용자의 손을 인식하고 손이 인식되면 안경형 디스플레이 디바이스의 화면에 커서를 on 시킨다. 2차원 카메라를 이용하는 경우에는 전방의 손과 배경을 분리하는 영상 세그멘테이션 방법이 중요해진다. 카메라가 고정되어 있는 경우에는 연속되는 영상들간의 차 영상을 이용하여 손과 배경을 분리할 수 있으나, 안경에 장착되어 있는 카메라의 경우 흔들림이 있으므로 입력되는 전체 영상에 움직임이 생기기 때문에 영상들간의 차 영상을 이용할 수 없다. 또한, 배경에 움직이는 물체가 있는 경우에도 손 이외의 움직임이 생기기 때문에 차 영상을 이용할 수 없다.
이를 해결하기 위해, 본 실시예에서는 손과 배경과의 외곽부분(외곽선)을 인식하여 손을 인식한다. 영상에서 외곽를 구하는 영상처리를 통하여 손의 외곽을 추출할 수 있다. 그리고, 손의 외곽 영상을 분석하여 영상해석을 통해 미리 정한 손의 모양을 인식한다. 이때 손의 모양은 도 3에 도시된 바와 같이 검지 손가락을 편 상태가 전방 시야를 적게 가리고, 터치 스크린을 구동할 때와 비슷한 손모양이므로 직관적이다.
그런데, 손과 배경이 비슷한 밝기와 색을 가지고 있는 경우에는, 손과 배경을 구분할 수 있는 외곽 경계가 존재하지 않을 수 있으며, 이와 같이 외곽경계가 존재하지 않는 경우에는 손을 인식할 수 없다. 이러한 문제를 해결하기 위하여, 본 실시예에서는 도 4에 도시된 바와 같이 손을 좌우(또는 상하)로 흔든다. 이와 같이 손을 흔들면 배경이 바뀌게 되므로, 손과 배경 사이에 외곽 경계가 생길 확률이 커지게 된다. 그리고, 실시간으로 영상을 처리하여 M 프레임중에 N 프레임만큼 손을 인식할 수 있으면 손으로 간주할 수 있다. 또한, 손을 좌우로 흔드는 경우, 방향 변화가 일어나는 횟수를 카운트하여 손을 인식할 수 있으며, 이렇게 하면 배경에 손의 모양과 비슷한 외곽경계가 있는 경우에 오동작하게 되는 것을 피할 수 있다.
손 추적 단계(S30)는 손 인식 단계(S20)에서 손을 인식한 이후에 입력되는 복수의 연속 영상 내에서의 손의 위치를 추적하기 위한 것이다. 손 추적 단계(S30)에서는 손 인식 단계에서 인식된 손의 정보, 예를 들어 손의 색 정보, 손의 모양인 손모양 정보, 밝기 정보 등을 이용하여 손을 추적한다. 이때, 이전 영상(프레임)에서 인식된 손의 위치로부터 일정 거리 내의 영역을 추적하면, 처리 시간을 줄이고 오동작을 줄일 수 있다.
손동작 인식 단계(S40)에서는 손 추적 단계에서 얻어지는 손의 위치(위치변화)를 분석하여, 손의 동작(즉, 움직임)을 인식한다.
제어신호 출력단계(S50)에서는 손동작 인식 단계에서 인식된 손동작에 대응되는 제어신호를 출력한다.
한편, 손을 인식하기 위해서는 손이 촬영된 영상 내부에 있어야 가능하며, 따라서 손이 카메라의 영상 밖으로 나가지 않게 하기 위해서는 사용자에게 손의 위치를 알려줄 필요가 있다. 이를 위해, 본 실시예에서는 카메라에서 촬영되는 영상을 실시간으로 화면의 일부 영역에 표시하거나 화면의 배경에 오버레이(overlay)시켜 사용자에게 보여준다.
그리고, 안경형 디스플레이 디바이스는 카메라가 안경에 달려 있기 때문에, 카메라가 흔들리면(예를 들어, 사용자가 걸을 때 사용자의 머리가 흔들림) 상대적으로 손의 위치가 변하게 되어 손의 위치(커서 위치)가 흔들리게 되며, 이 경우 정밀한 포인팅 작업이 힘들 수 있다. 이를 보정하기 위해 카메라로부터 들어오는 영상을 해석하여 카메라의 흔들림에 의한 손의 위치값 흔들림을 보정할 수 있다. 즉, 카메라에서 촬용된 복수의 연속영상으로부터 영상 간의 매칭을 통해 손을 제외한 배경의 움직임의 옵셋값을 추출하고, 손 추적 단계에서 얻어진 손의 위치를 추출된 옵셋값으로 보정하면 된다.
이하, 특징적인 몇 가지의 손동작(손의 움직임)과 이에 대응되는 제어신호에 관하여 설명한다.
1. 가장 많이 이용되는 방식으로 손의 위치 궤적을 이용하면 마우스의 커서 움직임을 만들어 낼 수 있다.
2. 마우스의 클릭동작을 구현하려면 손의 특별한 동작을 이용해야 한다.
첫 번째 방법은 손을 일정 시간 정지하면 클릭 동작으로 인식하는 것이다. 이 경우는 손의 위치 데이타를 분석하면 쉽게 구현할 수 있다. 그러나 이 방법의 경우 클릭을 의도하지 않고 일정 시간 움직이지 않는 경우 클릭으로 오인될 수 있다.
두 번째 방법은 의도하였을 때만 클릭명령을 전달하기 위해 검지 손가락을 구부렸다 펴는 동작을 클릭동작으로 이용한다. 검지 손가락을 구부린 동작과 편 동작을 구분하기 위해서는 검지 손가락의 끝 부분을 인식해야 한다. 그런데, 배경이 여러 형태로 변하는 상황에서 손가락의 끝 부분을 안정적으로 인식하는 것은 매우 어려운 문제이다. 본 발명에서는 도 5와 같이 검지 손가락에 컬러코드(20)를 붙여서 검지 손가락을 안정적으로 인식할 수 있도록 하였다. 여기서, 컬러코드(20)는 특정 색을 가지며, 검지 손가락에 용이하게 끼우거나 뺄 수 있도록(착탈가능) 링 형태를 가지는 것이 바람직하다. 이때, 컬러코드를 주위의 배경과 차별화하여 인식의 효율성을 높이기 위해서는, 컬러코드가 특별하고(즉, 흔하지 않은 색상) 인식이 용이한 색상을 가지는 것이 바람직하며, 나아가 컬러코드를 두 가지 이상 색의 조합으로 구성할 수도 있다.
도 6에 도시된 바와 같이, 컬러코드(20)를 검지 손가락의 첫 번째나 두 번째 마디에 붙이면 손가락을 구부렸다가 펼 때 컬러코드가 없어졌다가 나타난다. 이때, 컬러코드가 완전히 없어지진 않더라도 최소한 컬러코드의 위치가 내려갔다가 올라가게 된다. 그리고, 이것을 감지하면 손가락이 구부려진 상태와 편 상태를 구분할 수 있다. 즉 클릭동작을 구분할 수 있다. 또한 손가락이 구부러진 동작을 드래그 동작으로 해석하면 드래그 동작도 구현할 수 있다.
세 번째 방법은 상술한 두 가지 클릭 동작을 조합하는 것이다. 즉, 먼저 검지 손가락에 컬러코드가 부착되어 있는지 여부를 먼저 인식하고, 컬러코드가 검지 손가락에 장착되지 않은 경우에는 검지 손가락이 일정시간 해당 메뉴에 멈춰있는 동작을 클릭동작으로 인식하고, 컬러코드가 검지 손가락에 장착된 경우에는 검지 손가락을 구부렸다 펴는 동작을 클릭동작으로 인식할 수 있다.
3. 지도를 보거나 사진을 볼 경우 줌인 줌아웃 기능이 필요하다. 휴대폰의 경우 핀치 줌 방식을 이용할 수 있으나 허공에서 손가락을 움직이는 경우 핀치 줌 방식의 구현이 힘들다. 핀치 줌 방식은 엄지와 검지를 마주대고 휴대폰에 터치한 채 벌리면 줌인, 오무리면 줌아웃으로 인식한다. 허공에서 손가락을 움직이는 경우 터치 동작이 없기 때문에 줌인 동작과 줌 아웃동작이 헷갈리게 된다. 따라서 줌인, 줌아웃을 위한 다른 동작이 필요하다. 본 발명에서는 도 7과 같이 손을 시계방향으로 원을 그리면 줌인, 반시계 방향으로 원을 그리면 줌아웃으로 인식할 수 있다. 손 추적 단계에서 얻어진 손의 위치 변화(손의 궤적)를 해석하여 시계방향 원인지 반시계 방향 원인지 해석하면 기능을 구현할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
M100...안경형 디스플레이 디바이스의 동작인식 입력방법
S10...영상 취득 단계 S20...손 인식 단계
S30...손 추적 단계 S40...손동작 인식 단계
S50...제어신호 출력단계
10...안경형 디스플레이 디바이스 1...카메라

Claims (11)

  1. 안경형 디스플레이 디바이스에 장착된 카메라를 이용하여 연속 영상들을 취득하는 영상 취득 단계;
    상기 취득된 영상들로부터 사용자의 손을 인식하는 손 인식 단계;
    상기 인식된 손을 추적하는 손 추적 단계;
    상기 손 추적 단계에서 얻어지는 손의 위치로부터 상기 손의 동작을 인식하는 손동작 인식 단계; 및
    상기 손의 동작에 대응되는 제어신호를 출력하는 제어신호 출력단계;를 포함하며,
    상기 손 인식 단계에서 상기 사용자의 손이 인식되면, 안경형 디스플레이 디바이스의 화면에 상기 손의 위치가 표시되며,
    상기 카메라의 움직임에 의한 손의 위치 변화를 보정하기 위하여,
    상기 영상 취득 단계에서 얻어진 연속된 복수의 영상으로부터 영상 간의 매칭을 통해 손을 제외한 배경의 움직임의 옵셋값을 추출하고, 상기 추출된 옵셋값을 이용하여 상기 손 추적 단계에서 얻어진 손의 위치를 보정하는 단계를 더 포함하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  2. 제1항에 있어서,
    상기 손 인식 단계에서는 사전에 설정된 손모양의 손을 인식하되, 검지 손가락을 편 손모양의 손을 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  3. 제2항에 있어서,
    상기 손 인식 단계는,
    취득된 영상으로부터 손의 외곽 형태를 추출하는 단계와,
    상기 추출된 손의 외곽 형태가 검지 손가락을 편 손모양인지를 인식하는 단계와,
    상기 손의 움직이는 방향이 좌우 또는 상하 방향으로 복수 회 변하는 것을 인식하는 단계를 포함하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  4. 제1항에 있어서,
    상기 손 추적 단계는 상기 손 인식 단계에서 손을 인식한 이후 입력되는 복수의 연속 영상 내에서의 손의 위치를 추적하기 위한 것으로,
    이전 영상에서의 손의 위치정보를 이용하여 일정 거리 내에 손이 있는지 인식하는 과정을 포함하고, 손 인식 단계에서 얻어진 손의 색 정보 및 손모양 정보를 이용하여 손을 추적하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  5. 제1항에 있어서,
    상기 영상 취득 단계에서 취득된 영상은, 상기 안경형 디스플레이 디바이스의 화면 일부 영역에 표시되거나, 상기 안경형 디스플레이 디바이스의 화면 전체에 오버레이(overlay) 되는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  6. 삭제
  7. 제2항에 있어서,
    상기 손동작 인식 단계에서는, 검지 손가락에 부착된 특정 색을 가지는 컬러코드의 위치 변화를 분석하여 상기 검지 손가락의 구부림과 펴는 동작을 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  8. 제7항에 있어서,
    상기 컬러코드는 검지 손가락에 끼울 수 있는 링 형태를 가지는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  9. 제7항에 있어서,
    상기 컬러코드는 두 개 이상의 색이 조합되어 있는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  10. 제2항에 있어서,
    상기 손동작 인식단계에서는 상기 검지 손가락에 특정 색을 가지는 컬러코드가 부착되어 있는지를 인식하고,
    상기 컬러코드가 부착되어 있지 않으면, 상기 검지 손가락이 일정시간 해당 메뉴에 멈춰있는 동작을 클릭 동작으로 인식하고,
    상기 컬러코드가 검지 손가락에 부착된 경우에는 상기 검지 손가락을 구부렸다 펴는 동작을 클릭동작으로 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  11. 제1항에 있어서,
    상기 손동작 인식단계에서는 손의 궤적이 시계방향 원을 그리면 줌인으로 해석하고, 손의 궤적이 시계반대방향 원을 그리면 줌아웃으로 해석하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
KR20130118251A 2013-10-04 2013-10-04 안경형 디스플레이 디바이스의 동작인식 입력방법 KR101502085B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130118251A KR101502085B1 (ko) 2013-10-04 2013-10-04 안경형 디스플레이 디바이스의 동작인식 입력방법
PCT/KR2014/007993 WO2015050322A1 (ko) 2013-10-04 2014-08-28 안경형 디스플레이 디바이스의 동작인식 입력방법
US15/027,174 US9904372B2 (en) 2013-10-04 2014-08-28 Method by which eyeglass-type display device recognizes and inputs movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130118251A KR101502085B1 (ko) 2013-10-04 2013-10-04 안경형 디스플레이 디바이스의 동작인식 입력방법

Publications (1)

Publication Number Publication Date
KR101502085B1 true KR101502085B1 (ko) 2015-03-12

Family

ID=52778883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130118251A KR101502085B1 (ko) 2013-10-04 2013-10-04 안경형 디스플레이 디바이스의 동작인식 입력방법

Country Status (3)

Country Link
US (1) US9904372B2 (ko)
KR (1) KR101502085B1 (ko)
WO (1) WO2015050322A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834249A (zh) * 2015-03-16 2015-08-12 张时勉 穿戴式远程控制器
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
WO2019126235A1 (en) * 2017-12-19 2019-06-27 Datalogic IP Tech, S.r.l. Gesture controllable machine-readable symbol reader systems and methods, with head worn interface
WO2022255641A1 (ko) * 2021-06-04 2022-12-08 주식회사 피앤씨솔루션 증강현실 글라스 장치의 입력 인터페이스를 위한 손동작 및 음성명령어 인식 성능 향상 방법 및 장치
WO2023282446A1 (ko) * 2021-07-09 2023-01-12 주식회사 피앤씨솔루션 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
US11614621B2 (en) 2017-12-19 2023-03-28 Datalogic IP Tech, S.r.l. User-wearable systems and methods to collect data and provide information
WO2023063515A1 (ko) * 2021-10-14 2023-04-20 주식회사 피앤씨솔루션 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210249116A1 (en) * 2012-06-14 2021-08-12 Medibotics Llc Smart Glasses and Wearable Systems for Measuring Food Consumption
CN104950902B (zh) * 2015-06-10 2017-09-22 杨珊珊 多旋翼飞行器的控制方法及多旋翼飞行器
CN107544673A (zh) * 2017-08-25 2018-01-05 上海视智电子科技有限公司 基于深度图信息的体感交互方法和体感交互系统
TWI729322B (zh) * 2018-11-08 2021-06-01 財團法人工業技術研究院 資訊顯示系統及資訊顯示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010267220A (ja) * 2009-05-18 2010-11-25 Nara Institute Of Science & Technology ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
KR20110133904A (ko) * 2010-06-07 2011-12-14 엘지이노텍 주식회사 터치윈도우 확대축소 기능을 갖는 모바일장치 및 터치윈도우의 확대축소 방법
KR20120028743A (ko) * 2010-09-15 2012-03-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP2013061848A (ja) * 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280019A (ja) * 2006-04-06 2007-10-25 Alps Electric Co Ltd 入力装置およびこの入力装置を使用したコンピュータシステム
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP2010537302A (ja) * 2007-08-19 2010-12-02 リングボウ エルティディ． 指に装着される装置とその使用方法
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US8817076B2 (en) * 2011-08-03 2014-08-26 General Electric Company Method and system for cropping a 3-dimensional medical dataset
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010267220A (ja) * 2009-05-18 2010-11-25 Nara Institute Of Science & Technology ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
KR20110133904A (ko) * 2010-06-07 2011-12-14 엘지이노텍 주식회사 터치윈도우 확대축소 기능을 갖는 모바일장치 및 터치윈도우의 확대축소 방법
KR20120028743A (ko) * 2010-09-15 2012-03-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP2013061848A (ja) * 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834249A (zh) * 2015-03-16 2015-08-12 张时勉 穿戴式远程控制器
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
WO2019126235A1 (en) * 2017-12-19 2019-06-27 Datalogic IP Tech, S.r.l. Gesture controllable machine-readable symbol reader systems and methods, with head worn interface
US10474857B2 (en) 2017-12-19 2019-11-12 Datalogic IP Tech, S.r.l. Gesture controllable machine-readable symbol reader systems and methods, with head worn interface
US11614621B2 (en) 2017-12-19 2023-03-28 Datalogic IP Tech, S.r.l. User-wearable systems and methods to collect data and provide information
WO2022255641A1 (ko) * 2021-06-04 2022-12-08 주식회사 피앤씨솔루션 증강현실 글라스 장치의 입력 인터페이스를 위한 손동작 및 음성명령어 인식 성능 향상 방법 및 장치
KR20220164377A (ko) * 2021-06-04 2022-12-13 주식회사 피앤씨솔루션 증강현실 글라스 장치의 입력 인터페이스를 위한 손동작 및 음성명령어 인식 성능 향상 방법 및 장치
KR102539047B1 (ko) 2021-06-04 2023-06-02 주식회사 피앤씨솔루션 증강현실 글라스 장치의 입력 인터페이스를 위한 손동작 및 음성명령어 인식 성능 향상 방법 및 장치
WO2023282446A1 (ko) * 2021-07-09 2023-01-12 주식회사 피앤씨솔루션 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
WO2023063515A1 (ko) * 2021-10-14 2023-04-20 주식회사 피앤씨솔루션 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Also Published As

Publication number Publication date
US20160252966A1 (en) 2016-09-01
US9904372B2 (en) 2018-02-27
WO2015050322A1 (ko) 2015-04-09

Similar Documents

Publication Publication Date Title
KR101502085B1 (ko) 안경형 디스플레이 디바이스의 동작인식 입력방법
US9395821B2 (en) Systems and techniques for user interface control
CN112585566B (zh) 用于与具有内置摄像头的设备进行交互的手遮脸输入感测
KR101184460B1 (ko) 마우스 포인터 제어 장치 및 방법
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
CN108027656B (zh) 输入设备、输入方法和程序
JP2012079138A (ja) ジェスチャ認識装置
KR20150106823A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR101370027B1 (ko) 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
JP2017102598A (ja) 認識装置、認識方法および認識プログラム
WO2015030482A1 (ko) 웨어러블 디스플레이용 입력장치
KR20140069660A (ko) 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
JP6971788B2 (ja) 画面表示制御方法および画面表示制御システム
Oprisescu et al. 3D hand gesture recognition using the hough transform
KR101337429B1 (ko) 입력 장치
US20240185516A1 (en) A Method for Integrated Gaze Interaction with a Virtual Environment, a Data Processing System, and Computer Program
US11586295B2 (en) Wink gesture control system
KR101549031B1 (ko) 포인팅 기능을 제공하는 장치, 방법 및 기록매체
Sagara et al. Multi-finger AR typing interface for mobile devices
TWI697827B (zh) 控制系統及其控制方法
KR20180044535A (ko) 홀로그래피 스마트홈 시스템 및 제어방법
TWI598769B (zh) Detection of the user's head dynamic control system and control methods
KR20150137862A (ko) 배경 차연산과 손가락 제스쳐 인식을 이용한 핸드 마우스 기능 수행 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 6