KR101370027B1 - 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법 - Google Patents

안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법 Download PDF

Info

Publication number
KR101370027B1
KR101370027B1 KR1020120136947A KR20120136947A KR101370027B1 KR 101370027 B1 KR101370027 B1 KR 101370027B1 KR 1020120136947 A KR1020120136947 A KR 1020120136947A KR 20120136947 A KR20120136947 A KR 20120136947A KR 101370027 B1 KR101370027 B1 KR 101370027B1
Authority
KR
South Korea
Prior art keywords
palm
finger
image
hand
display device
Prior art date
Application number
KR1020120136947A
Other languages
English (en)
Inventor
이길재
조남현
Original Assignee
주식회사 매크론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 매크론 filed Critical 주식회사 매크론
Priority to KR1020120136947A priority Critical patent/KR101370027B1/ko
Priority to PCT/KR2013/010917 priority patent/WO2014084634A1/ko
Application granted granted Critical
Publication of KR101370027B1 publication Critical patent/KR101370027B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

손의 움직임을 인식하여 안경형 디스플레이 디바이스(eye-glass type display device)를 제어하는 마우스 장치가 개시된다. 영상 획득부는 손의 영상을 연속적으로 획득한다. 손바닥 인식부는 영상 획득부로부터 획득된 손의 연속 영상을 통해 손바닥을 인식하여 손바닥 영역과 디스플레이 영역을 일치시킨다. 손가락 인식부는 손바닥 인식부를 통해 인식된 손바닥 영역 상의 손가락을 인식하여 손가락 끝의 좌표를 산출한다. 궤적 계산부는 손바닥에 대한 손가락의 상대적인 위치를 구하여 손가락의 연속적인 움직임 궤적을 계산한다. 동작 인식부는 손가락의 움직임 궤적을 분석하여 사용자가 원하는 명령을 인식한다. 본 발명에 따르면, 자연스럽고 직관적인 손동작으로 기존 터치스크린의 동작과 유사하게 안경형 디스플레이 디바이스를 제어할 수 있다.

Description

안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법{Mouse apparatus for eye-glass type display device and operating method for the same}
본 발명은 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법에 관한 것으로, 더욱 상세하게는, 손바닥 상의 손가락 움직임을 해석하여 안경형 디스플레이 디바이스를 제어하는 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법에 관한 것이다.
최근 들어 새로운 형태의 디스플레이 디바이스(display device)들이 다양하게 출현하고 있다. 특히 모바일 디스플레이의 경우 기존의 디스플레이 기능에 소형 컴퓨터 기능을 부가한 스마트 디스플레이 디바이스를 넘어, 휴대성을 극대화하는 웨어러블(wearable) 디스플레이의 형태로 발전하고 있다. 대표적인 웨어러블 디스플레이인 안경형 디스플레이 디바이스는 안경처럼 착용하기만 하면 되므로 기존 스마트 기기처럼 들고 다닐 필요가 없다. 안경형 디스플레이 디바이스의 일종인 HMD(Head Mount Display)의 경우 안경처럼 착용하고 보기 때문에 TV와 같은 큰 부피의 디스플레이 디바이스가 필요 없게 된다.
위와 같은 안경형 디스플레이 디바이스의 경우 눈과 밀착되기 때문에 휴대성 등의 측면에서는 매우 효율적이지만, 기존 스마트 디스플레이 디바이스처럼 화면 상 터치 스크린을 입력 장치로 사용할 수 없어 새로운 형태의 입력 장치가 필요하게 된다. 주로 사용되는 입력 장치는 음성 인식 방법과 안경에 부착되어 있는 터치 입력 장치 등이 있다.
그러나 음성 인식 방법의 경우 시끄러운 곳에서 오동작의 가능성이 있고, 많은 사람이 모이는 곳에서는 타인의 청각을 자극할 수 있어 사용에 제한이 있다. 또한, 안경테와 같은 곳에 터치 입력 장치를 부가할 수 있지만, 보이지 않는 부분을 감각적으로 터치해서 입력해야 하고 입력 공간이 협소하다는 단점이 발생한다.
또한, 다른 형태의 입력 방법으로 카메라를 이용한 손동작 인식 방법을 예로 들 수 있다. 안경형 디스플레이 디바이스의 경우에는 대부분 카메라가 부착되어 있기 때문에 외부 영상 획득이 가능하다. 따라서 카메라를 통해 손의 움직임을 해석하여 디스플레이 디바이스 장치에 명령을 전달할 수 있다면 비교적 편하고 조용한 방법으로 사용자가 원하는 바대로 안경형 디스플레이 디바이스를 구동할 수 있다. 그러나 이때, 손동작은 동작하기 편안해야 하며 기존 터치 스크린 방식에서 전달할 수 있는 명령을 구동할 수 있어야 한다.
이와 관련된 선행기술을 구체적으로 살펴보면, 한국등록공보 제10-0486739호(발명의 명칭 : 착용형 휴대폰 및 그 사용방법)에는 휴대가 편리하고 장착/탈착이 용이하고 디스플레이 넓이를 극대화할 수 있는 착용할 수 있는 휴대폰을 개시하고 있다.
또한, 한국공개공보 제2007-0025138호(발명의 명칭 : 공간상에서의 3차원 동작에 대한 인식을 통한 공간투영프리젠테이션 시스템 및 그 방법)에는 사용자의 손동작을 3차원 데이터로 인식하고 이를 기준으로 기 설정된 시스템 운영에 따른 손동작 데이터를 기준으로 해당 명령에 따른 명령을 수행하도록 하는 시스템을 개시하고 있다.
본 발명이 이루고자 하는 기술적 과제는, 자연스럽고 직관적인 손동작으로 기존 터치스크린의 동작과 유사하게 안경형 디스플레이 디바이스를 제어할 수 있는 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 안경형 디스플레이 디바이스용 마우스 장치는, 손의 움직임을 인식하여 안경형 디스플레이 디바이스(eye-glass type display device)를 제어하는 마우스 장치에 있어서, 상기 손의 영상을 연속적으로 획득하는 영상 획득부; 상기 영상 획득부로부터 획득된 손의 연속 영상을 통해 손바닥을 인식하여 상기 손바닥 영역과 디스플레이 영역을 일치시키는 손바닥 인식부; 상기 손바닥 인식부를 통해 인식된 상기 손바닥 영역 상의 손가락을 인식하여 상기 손가락 끝의 좌표를 산출하는 손가락 인식부; 상기 손바닥에 대한 상기 손가락의 상대적인 위치를 구하여 상기 손가락의 연속적인 움직임 궤적을 계산하는 궤적 계산부; 및 상기 손가락의 움직임 궤적을 분석하여 사용자가 원하는 명령을 인식하는 동작 인식부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 안경형 디스플레이 디바이스용 마우스 장치 구동 방법은, 손의 움직임을 인식하여 안경형 디스플레이 디바이스(eye-glass type display device)를 제어하는 마우스 장치가 수행하는 상기 안경형 디스플레이 디바이스용 마우스 장치의 구동 방법에 있어서, (a) 상기 손의 영상을 연속적으로 획득하는 단계; (b) 상기 획득된 손의 연속 영상을 통해 손바닥을 인식하여 상기 손바닥 영역과 디스플레이 영역을 일치시키는 단계; (c) 상기 인식된 손바닥 영역 상의 손가락을 인식하여 상기 손가락 끝의 좌표를 산출하는 단계; (d) 상기 손바닥에 대한 상기 손가락의 상대적인 위치를 구하여 상기 손가락의 연속적인 움직임 궤적을 계산하는 단계; 및 (e) 상기 손가락의 움직임 궤적을 분석하여 사용자가 원하는 명령을 인식하는 단계;를 갖는다.
본 발명에 따른 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법에 의하면, 자연스럽고 직관적인 손동작으로 기존 터치스크린의 동작과 유사하게 안경형 디스플레이 디바이스를 제어할 수 있다. 또한, 손바닥을 가상의 터치 스크린으로 사용하는 것이기 때문에 3차원 공간상에서 클릭 동작을 행하는 것이 비해 클릭 느낌이 자연스럽고, 클릭해야 할 메뉴 위치를 직관적으로 빠르게 움직일 수 있다. 나아가, 손바닥에서의 상대 위치를 이용할 수 있으므로 머리를 움직이더라도 손바닥과 손가락의 상대 위치가 고정되어 있는 한 커서의 위치는 변하지 않으며, 손가락의 위치 역시 신뢰성 있게 추출할 수 있다.
도 1은 본 발명에 따른 안경형 디스플레이 디바이스용 마우스 장치의 구성을 도시한 블록도,
도 2는 일반 터치 스크린의 디스플레이 화면과 터치 센서 좌표계를 도시한 도면,
도 3은 가상 터치 스크린으로 이용하는 손바닥을 도시한 도면,
도 4는 상기 도 3에 도시된 손바닥 상의 터치 센서 좌표계를 도시한 도면,
도 5는 상기 도 3에 도시된 손바닥을 터치하는 손가락 마우스 입력 모습을 도시한 도면,
도 6은 상기 도 5에 도시된 손가락 마우스 입력 동작시 손바닥에서의 손가락 위치와 터치 입력시 커서 위치를 비교한 도면,
도 7은 본 발명에 따른 마우스 장치를 통해 명령 입력 동작시 손바닥 영상을 3차원 depth camera로 회득한 도면,
도 8은 본 발명의 일실시예에 따른 마우스 장치를 통해 명령 입려격 동작시 손바닥 위의 손가락 영상을 3차원 depth camera로 획득한 도면, 그리고,
도 9는 상기 도 8의 영상과 상기도 7의 영상의 차이를 구해 손가락 영상만을 추출한 도면이다.
이하에서 첨부의 도면들을 참조하여 본 발명에 따른 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법의 바람직한 실시예에 대해 상세하게 설명한다.
기존 손동작 마우스의 경우 허공에서 손을 움직이면 손의 동작을 인식해서 화면 상의 커서(cursor)를 켜고 움직여서 클릭 명령을 행하는 순서로 진행되었다. 이 경우, 허공에서 손을 움직이기 때문에 일반 터치스크린에 비해 감각적인 면이 떨어진다. 또한, 일반 터치 스크린의 경우는 눈으로 보는 화면상의 메뉴 위치와 선택하려는 손가락 끝의 위치가 물리적으로 일치하게 되어 있고, 실제 디스플레이 표면을 터치하여 명령을 구동하므로 손가락의 감촉이 클릭 동작에 직관적으로 전달된다. 그러나 손동작 마우스의 경우 허공에서의 위치가 실제 화면상의 메뉴와 물리적으로 일치하지 않고 상대적인 위치를 화면상의 커서를 통해 제어하게 되고 클릭 동작에서의 손가락 촉감도 없어, 일반 터치 스크린에 비해서는 직관적인 감각이 다소 떨어진다.
따라서 본 발명에서는 안경형 디스플레이 디바이스를 직접 터치하지 않으면서 손바닥을 가상의 터치 스크린으로 이용하여 일반 터치 스크린과 비슷한 형태로 구동할 수 있도록 한다. 터치 스크린에서 메뉴를 선택하기 위해서는 도 2와 같이 구동하고자 하는 메뉴의 위치를 인지할 수 있는 터치 영역 어레이(200)가 존재하게 된다. 터치 영역 어레이(200) 상의 일정 위치를 손가락으로 터치하면 접촉 위치에 해당하는 메뉴를 구동하게 된다. 안경형 디스플레이 디바이스는 화면상 터치가 불가능하므로 본 발명에서는 손바닥(300)을 가상의 터치 스크린으로 이용한다. 도 4에 도시된 바와 같이 손바닥(300)에 해당하는 영역을 터치 스크린의 터치 센서 좌표계(310)의 구성과 비슷하게 나누어 손바닥(300)의 일정 영역을 접촉하면 화면상 터치 스크린에 접촉한 것과 같은 효과를 내도록 한다.
도 1은 본 발명에 따른 안경형 디스플레이 디바이스의 구성을 도시한 블록도이다. 도 1을 참고하면, 본 발명에 따른 안경형 디스플레이 디바이스(100)는 영상 획득부(110), 손바닥 인식부(120), 손가락 인식부(130), 궤적 계산부(140) 및 동작 인식부(150)를 포함한다.
영상 획득부(110)는 손의 영상을 연속적으로 획득한다. 이때, 획득되는 영상은 일반적인 2차원 카메라 뿐 아니라 3차원 depth 카메라를 이용할 수 있다. 손바닥 인식부(120)는 영상 획득부(110)로부터 획득된 손의 연속 영상을 통해 손바닥(300)을 인식하여 손바닥(300) 영역과 디스플레이 영역을 일치시킨다. 손가락 인식부(130)는 손바닥 인식부(120)를 통해 인식된 손바닥(300) 영역 상의 손가락(320)을 인식하여 손가락(320) 끝의 좌표를 산출한다. 궤적 계산부(140)는 손바닥(300)에 대한 손가락(320)의 상대적인 위치를 구하여 손가락(320)의 연속적인 움직임 궤적을 계산한다. 동작 인식부(150)는 손가락(320)의 움직임 궤적을 분석하여 사용자가 원하는 명령을 인식한다.
즉, 본 발명은 손바닥(300)을 가상의 터치 스크린으로 이용하고 반대편 손의 손가락(320)을 이용하여 손바닥(300)의 일정 위치를 접촉했다가 뗌으로써 클릭 신호를 인지하여 마우스 역할을 수행하게 된다. 따라서 이를 위해 가상의 터치 센서부에 해당하는 손바닥(300)을 인식해야 한다. 손가락을 편 상태의 손바닥(300)이 카메라 영역 내에 들어오면 손동작 마우스를 구동하려는 의도가 있다고 해석하고 마우스 제어 준비 모드로 들어간다.
터치하는 부분의 좌표는 손바닥(300)의 움직임에 상관없이 손바닥(300) 내의 상대적인 위치이다. 이를 알아내기 위해서는 손바닥(300)의 위치와 기울기를 구해야 한다. 손바닥(300) 내에서의 상대적인 위치를 이용하기 때문에 머리가 흔들려 카메라 입력 영상이 흔들리더라도 화면상의 커서 위치는 안정적으로 유지할 수 있는 장점이 있다. 또한, 손바닥(300)은 우리가 느낄 수 있는 우리 몸의 일부분으로써 눈을 감고도 손바닥(300) 내의 일정 위치를 포인팅할 수 있다. 이는 커서의 위치를 보지 않고서도 원하는 메뉴 위치를 선택할 수 있음을 의미하며, 직관적으로 손바닥(300)의 원하는 위치로 이동할 수 있다. 이는 고정부로서 본인 신체의 일부인 손바닥(300)을 이용함으로써 얻을 수 있는 장점이다.
도 6을 참고하면, 손바닥(300) 상에 손가락(320)이 들어오면 커서(330)가 켜지게 된다. 손가락 인식부(130)는 손가락(320)의 위치, 즉 손가락(320) 끝의 좌표를 산출한다. 이때, 손바닥(300) 상의 손가락(320) 위치를 알아내기 위해서는 여러 영상 처리 방법을 사용할 수 있으나, 배경과의 차영상을 이용하는 것이 바람직하다. 영상처리에서 가장 어려운 부분이 배경과 원하는 물체를 분리하는 것이다. 허공에서 손을 움직이는 일반적인 손동작 마우스의 경우 다양한 배경에 따른 오동작이 문제된다. 그러나 본 발명에서는 손바닥(300)을 고정부로 이용하기 때문에 배경이 고정되는 효과가 있다. 즉, 항상 동일한 배경이 보장되므로 손가락(320)이 없을 때의 손바닥(300)을 배경 영상으로 저장하게 되면, 손가락(320)이 있을 때의 영상과의 배경영상의 차를 구함으로써 손바닥(300) 위의 손가락(320) 영상을 구할 수 있다.
도 7 내지 도 9는 3차원 depth 카메라를 이용해 손 영상을 취득한 모습을 도시한 도면이다. 도 7은 손바닥(300)만 있는 경우이고, 도 8은 손바닥(300) 상에 손가락(320)을 올려놓은 영상이다. 따라서 도 7과 도 8의 차영상을 구하면 도 9와 같이 손가락(320) 부분의 영상을 추출할 수 있다. 차영상 뿐 아니라 에지 추출 등의 통상적인 영상처리 방식으로도 손가락(320) 끝부분을 추출할 수 있다. 위와 같은 방법으로 손가락(320) 끝의 위치를 산출할 수 있고, 이를 통해 커서의 위치를 구할 수 있게 된다.
상술한 방법을 통해 구한 손가락(320)의 위치를 연속적으로 산출하여 궤적을 만들면 사용자가 원하는 동작을 인식할 수 있다. 본 발명에서는 클릭 동작을 일정 시간 내에 손가락(320)을 손바닥(300)에 접촉했다가 떼는 경우로 정의할 수 있다. 다만, 본 발명에서는 카메라가 손바닥을 측면 방향에서 촬영을 하는 것이 아니라, 도 5 및 도 6에 도시된 바와 같이 손바닥 및 손가락을 정면에서 촬영을 하기 때문에, 실제로 손가락이 손바닥에 접촉하였는지 여부를 확인하는 것은 쉽지 않다. 하지만, 클릭 동작을 수행하기 위해 손가락 끝을 손바닥쪽으로 내렸다가 올리면, 손가락(320) 끝의 위치는 감소했다가 증가하게 된다(즉, 손가락이 내려갈 때 위치가 감소(카메라로부터 멀어짐)하고, 손가락이 올라올 때 위치가 증가함). 따라서, 이러한 동작 즉 손가락 끝의 위치가 감소했다가 증가하는 동작이 이루어지는 시간을 일정 시간 내로 제한하면(예를 들어, 1초로 제한), 다른 동작과 구분할 수 있어서 클릭 동작을 추출할 수 있다. 이러한 방식으로 손가락(320) 끝의 움직임인 궤적을 해석하면 클릭 동작 뿐만 아니라 스위핑 동작들도 해석할 수 있다. 나아가, 두 개의 손가락(320)의 위치를 계산하여 줌인, 줌아웃 동작도 수행할 수 있게 된다.
또한, 본 발명은 안경형 디스플레이에 국한되지 않고 다양한 웨어러블 디스플레리의 입력 수단으로 사용될 수 있다. 시계형 디스플레이의 경우 손목에 착용할 수 있는 장점은 있으나 디스플레이 부분이 너무 작아 터치하기 어렵다. 특히, 문자를 입력하기 위한 자판 등의 경우는 거의 불가능하다. 이때, 본 발명을 이용하면 손등이나 손바닥을 가상 터치 스크린으로 사용하고 시계형 디스플레이는 디스플레이 전용으로 사용할 수 있다. 이 경우 더 넓은 입력 창을 확보할 수 있는 장점이 있다. 다만, 이때 손 영상을 획득하기 위한 카메라는 별도의 목걸이 형태로도 가능하며 다른 형태의 변형이 필요하게 된다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 안경형 디스플레이 디바이스
110 : 영상 획득부 120 : 손바닥 인식부
130 : 손가락 인식부 140 : 궤적 계산부
150 : 동작 인식부 200 : 터치 영역 어레이
300 : 손바닥 310 : 터치 센서 좌표계
320 : 손가락

Claims (10)

  1. 손의 움직임을 인식하여 안경형 디스플레이 디바이스(eye-glass type display device)를 제어하는 마우스 장치에 있어서,
    상기 손의 영상을 연속적으로 획득하는 영상 획득부;
    상기 영상 획득부로부터 획득된 손의 연속 영상을 통해 손바닥을 인식하여 상기 손바닥 영역과 디스플레이 영역을 일치시키는 손바닥 인식부;
    상기 손바닥 인식부를 통해 인식된 상기 손바닥 영역 상의 손가락을 인식하여 상기 손가락 끝의 좌표를 산출하는 손가락 인식부;
    상기 손바닥에 대한 상기 손가락의 상대적인 위치를 구하여 상기 손가락의 연속적인 움직임 궤적을 계산하는 궤적 계산부; 및
    상기 손가락의 움직임 궤적을 분석하여 사용자가 원하는 명령을 인식하는 동작 인식부;를 포함하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치.
  2. 제 1항에 있어서,
    상기 손바닥 인식부는 상기 손바닥이 상기 영상 획득부에 의해 영상을 획득할 수 있는 영역 내로 들어왔는지 인식하고 상기 손바닥의 기울기와 위치를 계산하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치.
  3. 제 2항에 있어서,
    상기 손가락 인식부는 상기 손바닥만 있을 때의 영상과 상기 손바닥 상에 상기 손가락이 위치했을 때의 영상의 차이인 차영상을 이용하여 손가락을 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치.
  4. 제 3항에 있어서,
    상기 동작 인식부는 소정의 시간 내에 상기 손가락을 상기 손바닥에 터치했다가 떼는 동작을 클릭 동작으로 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치.
  5. 제 1항에 있어서,
    상기 안경형 디스플레이 디바이스의 디스플레이 영역에 상기 손가락 영상과 커서를 중첩시켜 표시하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치.
  6. 손의 움직임을 인식하여 안경형 디스플레이 디바이스(eye-glass type display device)를 제어하는 마우스 장치가 수행하는 상기 안경형 디스플레이 디바이스용 마우스 장치의 구동 방법에 있어서,
    (a) 상기 손의 영상을 연속적으로 획득하는 단계;
    (b) 상기 획득된 손의 연속 영상을 통해 손바닥을 인식하여 상기 손바닥 영역과 디스플레이 영역을 일치시키는 단계;
    (c) 상기 인식된 손바닥 영역 상의 손가락을 인식하여 상기 손가락 끝의 좌표를 산출하는 단계;
    (d) 상기 손바닥에 대한 상기 손가락의 상대적인 위치를 구하여 상기 손가락의 연속적인 움직임 궤적을 계산하는 단계; 및
    (e) 상기 손가락의 움직임 궤적을 분석하여 사용자가 원하는 명령을 인식하는 단계;를 포함하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치의 구동 방법.
  7. 제 6항에 있어서,
    상기 (b) 단계는 상기 손바닥이 상기 (a) 단계에서 손의 영상을 획득할 수 있는 영역 내로 들어왔는지 인식하고 상기 손바닥의 기울기와 위치를 계산하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치의 구동 방법.
  8. 제 7항에 있어서,
    상기 (c) 단계는 상기 손바닥만 있을 때의 영상과 상기 손바닥 상에 상기 손가락이 위치했을 때의 영상의 차이인 차영상을 이용하여 손가락을 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치의 구동 방법.
  9. 제 8항에 있어서,
    상기 (e) 단계는 소정의 시간 내에 상기 손가락을 상기 손바닥에 터치했다가 떼는 동작을 클릭 동작으로 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치의 구동 방법.
  10. 제 6항에 있어서,
    상기 안경형 디스플레이 디바이스의 디스플레이 영역에 상기 손가락 영상과 커서를 중첩시켜 표시하는 것을 특징으로 하는 안경형 디스플레이 디바이스용 마우스 장치의 구동 방법.




KR1020120136947A 2012-11-29 2012-11-29 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법 KR101370027B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120136947A KR101370027B1 (ko) 2012-11-29 2012-11-29 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
PCT/KR2013/010917 WO2014084634A1 (ko) 2012-11-29 2013-11-28 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120136947A KR101370027B1 (ko) 2012-11-29 2012-11-29 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법

Publications (1)

Publication Number Publication Date
KR101370027B1 true KR101370027B1 (ko) 2014-03-06

Family

ID=50647488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120136947A KR101370027B1 (ko) 2012-11-29 2012-11-29 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법

Country Status (2)

Country Link
KR (1) KR101370027B1 (ko)
WO (1) WO2014084634A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150135823A (ko) 2014-05-26 2015-12-04 주식회사 매크론 헤드 마우스

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9696815B2 (en) 2014-10-02 2017-07-04 Futureplay Inc. Method, device, system and non-transitory computer-readable recording medium for providing user interface
WO2016052859A1 (ko) * 2014-10-02 2016-04-07 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN117093078B (zh) * 2023-10-16 2024-01-16 潍坊幻视软件科技有限公司 三维空间中使用手进行输入的系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100486739B1 (ko) * 2003-06-27 2005-05-03 삼성전자주식회사 착용형 휴대폰 및 그 사용방법
KR20070025138A (ko) * 2005-08-31 2007-03-08 노성렬 공간상에서의 3차원 동작에 대한 인식을 통한 공간투영프리젠테이션 시스템 및 그 방법
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
KR20090060421A (ko) * 2006-09-27 2009-06-12 소니 가부시끼 가이샤 표시 장치, 표시 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100486739B1 (ko) * 2003-06-27 2005-05-03 삼성전자주식회사 착용형 휴대폰 및 그 사용방법
KR20070025138A (ko) * 2005-08-31 2007-03-08 노성렬 공간상에서의 3차원 동작에 대한 인식을 통한 공간투영프리젠테이션 시스템 및 그 방법
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
KR20090060421A (ko) * 2006-09-27 2009-06-12 소니 가부시끼 가이샤 표시 장치, 표시 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150135823A (ko) 2014-05-26 2015-12-04 주식회사 매크론 헤드 마우스

Also Published As

Publication number Publication date
WO2014084634A1 (ko) 2014-06-05

Similar Documents

Publication Publication Date Title
EP3644165B1 (en) Information processing device, information processing method, and recording medium
CN105765490B (zh) 用于用户界面控制的系统和技术
US10444908B2 (en) Virtual touchpads for wearable and portable devices
US10121063B2 (en) Wink gesture based control system
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
CN107665042B (zh) 增强的虚拟触摸板和触摸屏
KR101502085B1 (ko) 안경형 디스플레이 디바이스의 동작인식 입력방법
JP6165485B2 (ja) 携帯端末向けａｒジェスチャユーザインタフェースシステム
JP2023015274A (ja) 面限定制御用に自由空間入力を適用する方法および装置
KR101812227B1 (ko) 동작 인식 기반의 스마트 글래스 장치
KR20220032059A (ko) 증강 현실 시스템용 터치프리 인터페이스
KR101370027B1 (ko) 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
US20170031452A1 (en) Manipulation determination apparatus, manipulation determination method, and, program
KR20150040580A (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR20160137253A (ko) 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
Matulic et al. Phonetroller: Visual representations of fingers for precise touch input with mobile phones in vr
KR102184243B1 (ko) Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
KR101492813B1 (ko) 웨어러블 디스플레이용 입력장치
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
US9940900B2 (en) Peripheral electronic device and method for using same
Zhang et al. Free-hand gesture control with" touchable" virtual interface for human-3DTV interaction
KR102636996B1 (ko) 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
US11586295B2 (en) Wink gesture control system
CA3212746A1 (en) A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161207

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 7