KR20090079019A - 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법 - Google Patents

스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20090079019A
KR20090079019A KR1020080004928A KR20080004928A KR20090079019A KR 20090079019 A KR20090079019 A KR 20090079019A KR 1020080004928 A KR1020080004928 A KR 1020080004928A KR 20080004928 A KR20080004928 A KR 20080004928A KR 20090079019 A KR20090079019 A KR 20090079019A
Authority
KR
South Korea
Prior art keywords
mouse
coordinate
fingertip
stereo camera
coordinates
Prior art date
Application number
KR1020080004928A
Other languages
English (en)
Inventor
이상용
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020080004928A priority Critical patent/KR20090079019A/ko
Publication of KR20090079019A publication Critical patent/KR20090079019A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법에 관한 것으로서, 손가락 끝을 인식하는 두 개의 카메라; 상기 두 개의 카메라의 경사 각도와 양안시차각을 이용하여 상기 손가락 끝이 움직이는 것을 좌표계로 인식하는 좌표인식부; 상기 좌표인식부에서 인식된 손가락 끝의 3 차원의 좌표를 2 차원의 좌표로 변환하는 좌표변환부; 및 상기 좌표변환부에서 변환된 2 차원의 좌표를 근거로 마우스의 인터페이싱 기능을 수행하는 제어부를 포함한다. 본 발명에 의하면, 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법을 제공함으로써, TABLET PC, UMPC 및 노트북 등의 휴대용 컴퓨터에서 별도의 마우스를 필요로 하지 않고 손가락만을 이용하여 마우스 입력을 할 수 있으며, 이에 따라 휴대용 컴퓨터의 휴대성 및 공간 확보 능력을 향상시키는 효과가 있다.
카메라, 양안시차, 마우스, 노트북, 손가락

Description

스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법{Mouse System Using Stereo Camera and Control Method of the Same}
본 발명은 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법에 관한 것이다.
컴퓨터 중에서 퍼스널 컴퓨터는 한 장소에서만 사용하는 데스크톱 컴퓨터와 이동하면서 사용할 수 있는 휴대형 컴퓨터로 크게 나눌 수 있다.
한 장소에서만 사용되도록 설계된 데스크톱 컴퓨터와는 달리, 휴대용 컴퓨터는 사용자가 가지고 다닐 수 있도록 설계되어 다수의 장소에서 사용할 수 있는데, 이 컴퓨터는 크기에 따라 랩탑 컴퓨터(Laptop Computer) 혹은 노트북 컴퓨터(Notebook Computer)로 알려져 있다.
이러한 휴대형 컴퓨터는 데스크톱 컴퓨터가 가지고 있는 주변기기들을 하나의 시스템에 포함시켜 휴대하기 편하도록 되어 있다.
그 중에서 마우스와 같은 입력장치는 컴퓨터의 윈도우 화면에서의 다양한 그래픽의 실현, 자유로운 아이콘의 실행 등을 위해서 꼭 필요하게 되었고, 특히 자유로운 움직임과 수명의 안정성, 움직임의 정밀도에서 우수한 광마우스가 주류를 이루고 있는 현실이다.
그러나 이러한 광마우스는 마우스라는 입력 장치가 따로 필요하게 되고, 이러한 마우스 자체를 손으로 잡고 움직이는 것이기 때문에 광센서의 이미지 형성에 적합한 평평한 물체면(바닥면) 뿐만 아니라 작업자가 이 장치를 움직일 수 있는 적절한 공간이 필요하나, 이러한 요청사항은 휴대용 컴퓨터를 사용하는 목적에 부합되지 않는 면이 많다. 이러한 특성 때문에 휴대용 컴퓨터 주변 장치를 따로 적용하기에는 장치적, 공간적인 제약을 많이 받게 되는 것이다.
상기의 문제 해결을 위해 많은 아이디어와 함께 제품이 출시되었고, 초기에 트랙볼(Track Ball) 또는 터치패드(Touch Pad) 제품이 나왔지만 사용자가 이미 익숙해져 있는 마우스와의 이질감 때문에 널리 사용되지 않고 있다. 따라서 현재는 소형의 노트북용 무선 마우스를 연결하여 많이 사용하고 있다. 그렇지만 이러한 소형의 노트북용 무선마우스는 내장된 배터리를 충전하면서 사용해야 하기 때문에, 별도의 충전기와 함께 마우스를 가지고 다녀야 하는 불편함이 있었다.
본 발명은 휴대성 및 공간성 확보가 용이한 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법을 제공한다.
또한, 본 발명은 사용자가 단순히 손가락만을 이용하여 마우스 조작을 할 수 있는 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법을 제공한다.
본 발명은, 손가락 끝을 인식하는 두 개의 카메라; 상기 두 개의 카메라의 경사 각도와 양안시차각을 이용하여 상기 손가락 끝이 움직이는 것을 좌표계로 인식하는 좌표인식부; 상기 좌표인식부에서 인식된 손가락 끝의 3 차원의 좌표를 2 차원의 좌표로 변환하는 좌표변환부; 및 상기 좌표변환부에서 변환된 2 차원의 좌표를 근거로 마우스의 인터페이싱 기능을 수행하는 제어부를 포함하는 스테레오 카메라를 이용한 마우스 시스템을 제공한다.
또한, 본 발명은, (a) 두 개의 카메라의 양안시차각을 이용하여 손가락 끝의 거리 좌표인 Z 좌표를 인식하는 단계; (b) 상기 두 개의 카메라를 이용하여 손가락 끝의 X 좌표를 인식하는 단계; (c) 상기 Z 좌표를 Y 좌표로 변환하는 단계; 및 (d) 상기 X 좌표 및 상기 Y 좌표를 마우스 포인트의 X 좌표 및 Y 좌표로 이용하여 마우스 인터페이싱을 수행하는 단계를 포함하는 스테레오 카메라를 이용한 마우스 시스템의 마우스 포인트 이동 방법을 제공한다.
또한, 본 발명은, (a) 두 개의 카메라를 이용하여 손가락 끝의 Y 좌표를 인 식하는 단계; (b) 상기 Y 좌표에 따라 상기 손가락 끝의 상하 움직임이 있는지 여부를 판단하는 단계; 및 (c) 상기 손가락 끝의 상하 움직임이 있는 경우 마우스의 클릭 동작을 수행하는 단계를 포함하는 스테레오 카메라를 이용한 마우스 시스템의 클릭 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법을 제공함으로써, TABLET PC, UMPC 및 노트북 등의 휴대용 컴퓨터에서 별도의 마우스를 필요로 하지 않고 손가락만을 이용하여 마우스 입력을 할 수 있으며, 이에 따라 휴대용 컴퓨터의 휴대성 및 공간 확보 능력을 향상시키는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
실시예
도 1은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 마우스 시스템의 구성을 간략하게 나타낸 블럭 구성도이다.
도 1을 참조하면, 본 발명에 따른 스테레오 카메라를 이용한 마우스 시스템은 횡으로 배치되어 손가락 끝을 인식하는 두 개의 카메라(110a, 110b), 두 개의 카메라(110a, 110b)의 경사(Tilting) 각도와 두 개의 카메라(110a, 110b)의 양안시차각을 이용하여 손가락 끝이 움직이는 것을 좌표계로 인식하는 좌표인식부(120), 좌표인식부(120)에서 인식된 손가락 끝의 3 차원의 좌표를 2 차원의 좌표로 변환하는 좌표변환부(130) 및 좌표변환부(130)에서 변환된 2 차원의 좌표를 근거로 마우스의 인터페이싱 기능을 수행하는 제어부(140) 등을 포함한다.
또한, 본 발명에 따른 스테레오 카메라를 이용한 마우스 시스템을 이용하면, 기존의 노트북에서 자판 입력없이 일정 시간이 경과한 후 대기 모드나 화면보호 모드로 전환하는 것이 아니라, 사용자가 없을 경우 스테레오 카메라를 이용하여 이를 바로 인지하여 화면이 대기 모드로 전환되도록 할 수 있다.
또한, 본 발명에 따른 스테레오 카메라를 이용한 마우스 시스템은 마우스 기능을 수행할 뿐만 아니라, 비행 시뮬레이션이나 전략 시뮬레이션 등의 게임에서 조이스틱으로 이용할 수도 있다.
도 2는 본 발명의 바람직한 실시예에 따른 마우스 시스템을 이용하여 마우스 포인트의 Y 좌표를 얻는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 두 개의 카메라(110a, 110b)에서 손가락 형태를 인식할 경우 필연적으로 두 개의 카메라(110a, 110b)에 맺히는 손가락의 위치가 달라지게 되고, 이를 양안시차(Binocular Disparity)라 한다. 이때, 두 개의 카메라(110a, 110b)에 맺히는 손가락 끝의 X 좌표(X1, X2)를 비교하고, X 좌표값의 차이(X2 - X1)만큼이 손가락으로부터 카메라까지의 거리가 된다. (a)에서와 같이 양안시차(D1)가 클 경우 카메라와 손가락의 거리가 가깝고, (b)에서와 같이 양안시차(D2) 가 작을 경우 카메라와 손가락의 거리는 멀다. 본 발명에서는 이러한 X 좌표값의 차이 즉, 양안시차값의 변화량을 이용하여 마우스 포인트의 Y 좌표에 해당하는 값을 얻을 수 있게 된다.
자세하게는, 마우스 시스템은 손가락 끝의 절대 위치를 찾는 것이 아니라 손가락 끝의 위치가 멀어지느냐 가까워지느냐에 따라 상대적인 위치를 파악하는 시스템이다. 따라서, D1, D2의 값은 중요하지 않고, D1 -> D2의 상황인지 D2 -> D1 의 상황인지(즉, (D1 - D2)의 증감여부)만 파악할 수 있으면 된다. 이에 따라, 화면 상에서 마우스 포인트가 위쪽으로 움직일지 아래쪽으로 움직일지를 파악하게 된다.
도 3은 본 발명의 바람직한 실시예에 따른 마우스 시스템을 이용하여 마우스 포인트의 X 좌표를 얻는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, (a)에서와 같이 우영상의 손가락 끝의 위치와 좌영상의 손가락 끝의 위치가 좌측으로 움직일 경우 손가락은 우측으로 움직인 것이 되고, 마우스 포인트의 X 좌표를 변화시켜 화면 상의 마우스 포인트를 우측으로 움직이게 된다. (b)에서와 같이 우영상의 손가락 끝의 위치와 좌영상의 손가락 끝의 위치가 우측으로 움직일 경우 손가락은 좌측으로 움직인 것이 되고, 마우스 포인트의 X 좌표를 변화시켜 화면 상의 마우스 포인트를 좌측으로 움직이게 된다.
도 2에서의 Y 좌표를 얻는 방법은 X 좌표값의 차이의 변화량에 의해 마우스 포인트의 Y 좌표를 얻고 있는 반면에, 도 3에서의 X 좌표를 얻는 방법은 X1과 X2 사이의 중심점((X2 - X1)/2 + X1)의 변화량에 의해 마우스 포인트의 X 좌표를 얻게 된다. 이는, 손가락 끝이 수평면을 기준으로 움직일 때 마우스 포인트의 X 좌표와 Y 좌표를 얻게 되는 과정에서 X 좌표와 Y 좌표가 중복되어 발생하게 되는 오동작을 방지하기 위함이다.
도 4는 본 발명의 바람직한 실시예에 따른 마우스 시스템을 이용한 클릭 동장을 설명하기 위한 도면이다.
도 4를 참조하면, (a)에서와 같이 수평면 위에 손가락 끝을 얹어놓고, (b)에서와 같이 손가락 끝을 위로 움직여서 손가락 끝의 Y 좌표를 증가시킨 후, (c)에서와 같이 손가락 끝을 원래대로 아래로 움직여서 손가락 끝의 Y 좌표를 감소시키면, 마우스의 클릭 동작을 수행하게 된다. (a)에서의 수평면은 꼭 고정된 면이 아니라, 공간 상의 수평한 면이 기준이 될 수도 있다.
도 5는 본 발명의 바람직한 실시예에 따른 마우스 시스템을 이용한 더블클릭 동작을 설명하기 위한 도면이다.
도 5를 참조하면, (a)에서와 같이 수평면을 기준으로 손가락 끝을 상하로 움직여서 손가락 끝의 Y 좌표를 증감시켜 첫번째 클릭 동작을 수행하고, (b)에서와 같이 일정 시간이 경과한 후에, (c)에서와 같이 수평면을 기준으로 손가락 끝을 상하로 움직여서 손가락 끝의 Y 좌표를 증감시켜 두번째 클릭 동작을 수행함으로써, 마우스의 더블클릭 동작을 수행하게 된다. (a), (c)에서의 수평면은 꼭 고정된 면이 아니라, 공간 상의 수평한 면이 기준이 될 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 마우스 시스템의 마우스 포인트 이동 방법을 나타낸 흐름도이다.
도 6을 참조하면, 두 개의 카메라(110a, 110b)를 작동시켜 손가락 끝을 인식 하고(S610), 손가락 끝이 지정된 손가락 형태와 일치하는지 여부를 판단한다(S620). 여기서, 손가락 끝이 지정된 손가락 형태와 일치하지 않은 경우 다른 형태의 손가락을 입력하도록 한다(S622).
단계 S620에서 손가락 끝이 지정된 손가락 형태와 일치하는 경우 두 개의 카메라(110a, 110b)의 양안시차각을 이용하여 손가락 끝의 거리 좌표인 Z 좌표를 인식한다(S630).
이어서, 두 개의 카메라(110a, 110b)를 이용하여 손가락 끝의 X 좌표를 인식한다(S640).
이어서, 단계 S630에서 인식된 Z 좌표를 Y 좌표로 변환한다(S650).
끝으로, 단계 S640, S650에서의 X 좌표 및 Y 좌표를 마우스 포인트의 X 좌표 및 Y 좌표로 이용하여 마우스 인터페이싱을 수행한다(S660).
도 7은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 마우스 시스템의 클릭 방법을 나타낸 흐름도이다.
도 7을 참조하면, 두 개의 카메라(110a, 110b)를 작동시켜 손가락 끝을 인식하고(S710), 손가락 끝이 지정된 손가락 형태와 일치하는지 여부를 판단한다(S720). 여기서, 손가락 끝이 지정된 손가락 형태와 일치하지 않은 경우 다른 형태의 손가락을 입력하도록 한다(S722).
단계 S720에서 손가락 끝이 지정된 손가락 형태와 일치하는 경우 두 개의 카메라(110a, 110b)를 이용하여 이미지 상에서 손가락 끝의 Y 좌표를 인식한다(S730).
이어서, Y 좌표에 따라 손가락 끝의 상하 움직임이 있는지 여부를 판단하고(S740), 손가락 끝의 상하 움직임이 있는 경우 마우스의 클릭 동작을 수행한다(S750).
이어서, 일정 시간이 경과한 후 손가락 끝의 상하 움직임이 더 발생한지 여부를 판단하고(S760), 일정 시간이 경과한 후 손가락 끝의 상하 움직임이 더 발생한 경우 마우스의 더블클릭 동작을 수행한다(S770).
도 8은 본 발명의 바람직한 실시예에 따른 마우스 시스템의 동작 원리를 간단하게 설명하기 위한 도면이다.
도 8을 참조하면, 식 ①에서와 같이 X2와 X1의 차이가 증가할 경우 마우스를 위로 움직이는 것에 해당된다.
식 ②에서와 같이 X2와 X1의 차이가 감소할 경우 마우스를 아래로 움직이는 것에 해당된다.
식 ③에서와 같이 X2와 X1의 중심점이 증가할 경우 마우스를 오른쪽으로 움직이는 것에 해당된다.
식 ④에서와 같이 X2와 X1의 중심점이 감소할 경우 마우스를 왼쪽으로 움직이는 것에 해당된다.
식 ③과 식 ④의 각각에 해당되는 마우스 동작은 서로 반대되어 동작될 수도 있다. 예컨대, 식 ③에서와 같이 X2와 X1의 중심점이 증가할 경우 마우스를 왼쪽으로 움직이게 하고, 식 ④에서와 같이 X2와 X1의 중심점이 감소할 경우 마우스를 오른쪽으로 움직이게 할 수도 있다.
식 ⑤에서와 같이 Y1이 증가했다 감소할 경우 즉, 손가락 끝이 상하로 움직일 경우 마우스의 클릭 동작에 해당된다.
식 ⑥에서와 같이 일정 시간을 간격으로 식 ⑤에서의 동작을 반복하게 되면, 마우스의 더클클릭 동작에 해당된다.
도 9는 본 발명의 바람직한 실시예에 따른 두 개의 카메라에 맺히는 영상을 좌표로 나타낸 도면이다.
도 9를 참조하면, (a)는 좌영상에 맺히는 손가락을 나타내고, (b)는 우영상에 맺히는 손가락을 나타낸다. (c)는 이 좌영상과 우영상에 맺히는 손가락과 우영상에 맺히는 손가락을 좌표 상에 나타낸 것으로서, 우영상에 맺히는 손가락 끝의 좌표는 (X1, Y1)이 되고, 좌영상에 맺히는 손가락 끝의 좌표는 (X2, Y1)이 된다. 이때, 손가락 끝의 X 좌표값의 차이(X2 - X1)가 양안시차값이 되고, 이 양안시차값의 변화량을 이용하여 마우스 포인트의 Y 좌표에 해당하는 값을 얻게 된다.
또한, 손가락 끝이 움직일 경우 X1, X2는 같은 방향으로 움직이게 되고, 이때, X1과 X2 사이의 중심점((X2 - X1)/2 + X1)의 변화량에 의해 마우스 포인트의 X 좌표에 해당하는 값을 얻게 된다.
또한, 손가락 끝이 위아래로 움직일 경우 좌영상과 우영상에서 손가락 끝의 Y 좌표는 동시에 변하게 되고, 이 Y 좌표의 증감 여부에 의해 마우스 포인트의 클릭, 더블클릭 동작을 수행하게 된다.
또한, 본 발명의 바람직한 실시예에서는 바닥면을 Z, X 축에서 X, Y 축으로 바꾸어 바닥면에 수직인 면을 바닥처럼 이용할 수 있고, 허공에서의 손가락 움직 임(Finger Action)으로 마우스 동작을 행할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 마우스 시스템의 구성을 간략하게 나타낸 블럭 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 마우스 시스템을 이용하여 마우스 포인트의 Y 좌표를 얻는 방법을 설명하기 위한 도면,
도 3은 본 발명의 바람직한 실시예에 따른 마우스 시스템을 이용하여 마우스 포인트의 X 좌표를 얻는 방법을 설명하기 위한 도면,
도 4는 본 발명의 바람직한 실시예에 따른 마우스 시스템을 이용한 클릭 동장을 설명하기 위한 도면,
도 5는 본 발명의 바람직한 실시예에 따른 마우스 시스템을 이용한 더블클릭 동작을 설명하기 위한 도면,
도 6은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 마우스 시스템의 마우스 포인트 이동 방법을 나타낸 흐름도,
도 7은 본 발명의 바람직한 실시예에 따른 스테레오 카메라를 이용한 마우스 시스템의 클릭 방법을 나타낸 흐름도,
도 8은 본 발명의 바람직한 실시예에 따른 마우스 시스템의 동작 원리를 간단하게 설명하기 위한 도면,
도 9는 본 발명의 바람직한 실시예에 따른 두 개의 카메라에 맺히는 영상을 좌표로 나타낸 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
110a, 110b: 두 개의 카메라 120: 좌표인식부
130: 좌표변환부 140: 제어부

Claims (12)

  1. 손가락 끝을 인식하는 두 개의 카메라;
    상기 두 개의 카메라의 경사 각도와 양안시차각을 이용하여 상기 손가락 끝이 움직이는 것을 좌표계로 인식하는 좌표인식부;
    상기 좌표인식부에서 인식된 손가락 끝의 3 차원의 좌표를 2 차원의 좌표로 변환하는 좌표변환부; 및
    상기 좌표변환부에서 변환된 2 차원의 좌표를 근거로 마우스의 인터페이싱 기능을 수행하는 제어부;
    를 포함하는 스테레오 카메라를 이용한 마우스 시스템.
  2. 제1항에 있어서,
    상기 마우스 시스템은 상기 두 개의 카메라에 맺히는 상기 손가락 끝의 X 좌표(X1, X2)를 비교하고, X 좌표값의 차이(X2 - X1)인 양안시차값의 변화량을 이용하여 마우스 포인트의 Y 좌표를 구하는 스테레오 카메라를 이용한 마우스 시스템.
  3. 제2항에 있어서,
    상기 마우스 시스템은 상기 양안시차값의 변화량의 증감여부에 따라 화면 상에서 마우스 포인트가 위쪽 또는 아래쪽으로 움직일지 판단하는 스테레오 카메라를 이용한 마우스 시스템.
  4. 제1항에 있어서,
    상기 마우스 시스템은 상기 두 개의 카메라에 맺히는 상기 손가락 끝의 X 좌표인 X1과 X2 사이의 중심점((X2 - X1)/2 + X1)의 변화량에 의해 마우스 포인트의 X 좌표를 구하는 스테레오 카메라를 이용한 마우스 시스템.
  5. 제4항에 있어서,
    상기 마우스 시스템은 상기 중심점의 변화량의 증감여부에 따라 화면 상에서 마우스 포인트가 왼쪽 또는 오른쪽으로 움직일지 판단하는 스테레오 카메라를 이용한 마우스 시스템.
  6. 제1항에 있어서,
    상기 마우스 시스템은 상기 손가락 끝의 Y 좌표가 증가하고 감소하면 마우스의 클릭 동작을 수행하는 스테레오 카메라를 이용한 마우스 시스템.
  7. 제1항에 있어서,
    상기 마우스 시스템은 상기 손가락 끝의 Y 좌표의 증감 이후에 일정 시간이 경과한 후 상기 손가락 끝의 Y 좌표의 증감이 더 있는 경우 마우스의 더블클릭 동작을 수행하는 스테레오 카메라를 이용한 마우스 시스템.
  8. (a) 두 개의 카메라의 양안시차각을 이용하여 손가락 끝의 거리 좌표인 Z 좌표를 인식하는 단계;
    (b) 상기 두 개의 카메라를 이용하여 손가락 끝의 X 좌표를 인식하는 단계;
    (c) 상기 Z 좌표를 Y 좌표로 변환하는 단계; 및
    (d) 상기 X 좌표 및 상기 Y 좌표를 마우스 포인트의 X 좌표 및 Y 좌표로 이용하여 마우스 인터페이싱을 수행하는 단계;
    를 포함하는 스테레오 카메라를 이용한 마우스 시스템의 마우스 포인트 이동 방법.
  9. 제8항에 있어서, 상기 단계 (a)는,
    상기 두 개의 카메라에 맺히는 상기 손가락 끝의 X 좌표(X1, X2)를 비교하고, X 좌표값의 차이(X2 - X1)인 양안시차값의 변화량을 이용하여 상기 Z 좌표를 구하는 스테레오 카메라를 이용한 마우스 시스템의 마우스 포인트 이동 방법.
  10. 제8항에 있어서, 상기 단계 (b)는,
    상기 두 개의 카메라에 맺히는 상기 손가락 끝의 X 좌표인 X1과 X2 사이의 중심점((X2 - X1)/2 + X1)의 변화량에 의해 상기 X 좌표를 구하는 스테레오 카메라를 이용한 마우스 시스템의 마우스 포인트 이동 방법.
  11. (a) 두 개의 카메라를 이용하여 손가락 끝의 Y 좌표를 인식하는 단계;
    (b) 상기 Y 좌표에 따라 상기 손가락 끝의 상하 움직임이 있는지 여부를 판단하는 단계; 및
    (c) 상기 손가락 끝의 상하 움직임이 있는 경우 마우스의 클릭 동작을 수행하는 단계;
    를 포함하는 스테레오 카메라를 이용한 마우스 시스템의 클릭 방법.
  12. 제11항에 있어서, 상기 단계 (c) 이후에,
    (d) 일정 시간이 경과한 후 상기 손가락 끝의 상하 움직임이 더 발생한지 여부를 판단하는 단계; 및
    (e) 상기 손가락 끝의 상하 움직임이 더 발생한 경우 마우스의 더블클릭 동작을 수행하는 단계
    를 더 포함하는 스테레오 카메라를 이용한 마우스 시스템의 클릭 방법.
KR1020080004928A 2008-01-16 2008-01-16 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법 KR20090079019A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080004928A KR20090079019A (ko) 2008-01-16 2008-01-16 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080004928A KR20090079019A (ko) 2008-01-16 2008-01-16 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20090079019A true KR20090079019A (ko) 2009-07-21

Family

ID=41336952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080004928A KR20090079019A (ko) 2008-01-16 2008-01-16 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20090079019A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049381A (ko) * 2009-11-05 2011-05-12 삼성전자주식회사 영상 센서 기반의 다중 터치 인식 장치 및 방법
US20110199304A1 (en) * 2010-02-12 2011-08-18 Broadcom Corporation Systems and Methods for Providing Enhanced Motion Detection
KR20130067261A (ko) * 2010-04-30 2013-06-21 톰슨 라이센싱 3d 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치
US9207779B2 (en) 2012-09-18 2015-12-08 Samsung Electronics Co., Ltd. Method of recognizing contactless user interface motion and system there-of
WO2016028097A1 (en) * 2014-08-20 2016-02-25 Jun Ho Park Wearable device
US10401901B2 (en) 2015-09-03 2019-09-03 Motionvirtual, Inc. Wearable device
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049381A (ko) * 2009-11-05 2011-05-12 삼성전자주식회사 영상 센서 기반의 다중 터치 인식 장치 및 방법
US20110199304A1 (en) * 2010-02-12 2011-08-18 Broadcom Corporation Systems and Methods for Providing Enhanced Motion Detection
KR20130067261A (ko) * 2010-04-30 2013-06-21 톰슨 라이센싱 3d 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치
US9207779B2 (en) 2012-09-18 2015-12-08 Samsung Electronics Co., Ltd. Method of recognizing contactless user interface motion and system there-of
WO2016028097A1 (en) * 2014-08-20 2016-02-25 Jun Ho Park Wearable device
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
US10908642B2 (en) 2014-10-15 2021-02-02 Motionvirtual, Inc. Movement-based data input device
US10401901B2 (en) 2015-09-03 2019-09-03 Motionvirtual, Inc. Wearable device
US10747260B2 (en) 2015-09-03 2020-08-18 Motionvirtual, Inc. Methods, devices, and systems for processing blood vessel data

Similar Documents

Publication Publication Date Title
US11868543B1 (en) Gesture keyboard method and apparatus
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
KR20090079019A (ko) 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법
KR101471267B1 (ko) 터치 키보드의 동적 생성 방법 및 장치
KR101844366B1 (ko) 터치 제스처 인식 장치 및 방법
US9575562B2 (en) User interface systems and methods for managing multiple regions
US20100177053A2 (en) Method and apparatus for control of multiple degrees of freedom of a display
US20200310561A1 (en) Input device for use in 2d and 3d environments
US9857868B2 (en) Method and system for ergonomic touch-free interface
TWI467425B (zh) 多點旋轉運動的識別方法和裝置
KR20050025837A (ko) 포인팅 장치 및 그 방법
Guimbretière et al. Bimanual marking menu for near surface interactions
TWI452494B (zh) 將至少兩個觸控訊號結合於電腦系統中的方法
US11132070B1 (en) Computer input devices with hybrid translation modes
US11397478B1 (en) Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment
KR20160097410A (ko) 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치
WO2020088244A1 (zh) 移动终端的交互控制方法和移动终端
US20150009136A1 (en) Operation input device and input operation processing method
Choi et al. 3D hand pose estimation on conventional capacitive touchscreens
US10338692B1 (en) Dual touchpad system
KR102145824B1 (ko) 스마트 터치패드 인터페이스 방법 및 그 장치
TWI478017B (zh) 觸控裝置及其觸控方法
TW201429217A (zh) 具非接觸式手部控制功能之行動電話
Fukazawa et al. Comparison of multimodal interactions in perspective-corrected multi-display environment
CN102393800A (zh) 一种用于平板电脑的鼠标

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
E801 Decision on dismissal of amendment
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20091224

Effective date: 20120127