KR20090124172A - 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법 - Google Patents

손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법 Download PDF

Info

Publication number
KR20090124172A
KR20090124172A KR1020080050218A KR20080050218A KR20090124172A KR 20090124172 A KR20090124172 A KR 20090124172A KR 1020080050218 A KR1020080050218 A KR 1020080050218A KR 20080050218 A KR20080050218 A KR 20080050218A KR 20090124172 A KR20090124172 A KR 20090124172A
Authority
KR
South Korea
Prior art keywords
gesture
hand
mouse
gesture information
function
Prior art date
Application number
KR1020080050218A
Other languages
English (en)
Other versions
KR100962569B1 (ko
Inventor
이성환
허승주
김문상
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR20080050218A priority Critical patent/KR100962569B1/ko
Publication of KR20090124172A publication Critical patent/KR20090124172A/ko
Application granted granted Critical
Publication of KR100962569B1 publication Critical patent/KR100962569B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)

Abstract

화상 카메라로부터 획득한 손의 제스처 정보를 이용하여 가상 마우스를 구동하는 가상 마우스 장치 및 그 구동 방법이 제공된다.
손의 모양 변화에 기초하여 제어되는 가상 마우스의 구동 방법은, 상기 가상 마우스의 기능 별로 제스처 정보를 정의하여 제스처 정보 저장부에 저장하는 단계, 화상 카메라로부터 입력된 영상으로부터 상기 손이 위치하는 손의 영역을 검출하는 단계, 상기 검출된 손의 영역으로부터 상기 손의 손가락의 개수 및 모양의 변화를 검출하는 단계, 상기 검출된 손가락의 개수 및 모양의 변화와 상기 제스처 정보 저장부에 저장된 제스처 정보와의 유사도를 계산하여 가장 유사한 제스처 정보를 검색하는 단계 및 상기 검색된 제스처 정보에 기초하여, 상기 가상 마우스를 구동하는 단계를 포함한다.
가상 마우스, 화상 카메라, 손, 제스처

Description

손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및 그 구동 방법{VIRTUAL MOUSE DEVICE CONTROLLED BASED ON VARIATION OF HAND POSTURE AND DRIVING METHOD THEREOF}
본 발명은 가상 마우스 장치 및 그 구동 방법에 관한 것으로, 보다 구체적으로는 화상 카메라로부터 획득한 손의 제스처 정보를 이용하여 가상 마우스를 구동하는 가상 마우스 장치 및 그 구동 방법에 관한 것이다.
컴퓨터를 제어하기 위한 가장 일반적인 사용자 인터페이스는 키보드와 마우스이다. 최근에는, WIMP(Windows, Icons, Menus and Pointing devices) 패러다임이 그래픽 유저 인터페이스(GUI: Graphical User Interfaces)의 주류가 됨에 따라, 마우스의 포인팅과 클릭만으로도 충분히 컴퓨터를 제어하는 것이 가능해졌다.
이러한 WIMP 패러다임은 보통 사용자의 입력을 전달할 물리적인 포인팅 장치를 필요로 하는데, 이러한 포인팅 장치로는 일반적으로 마우스가 널리 사용되고 있다. 그러나, 사용자가 마우스를 사용하기 위해서는 마우스를 지탱할 마우스 패드와 같은 평평한 바닥이 필요하다. 따라서, 장시간 마우스를 사용할 경우에는, 손목 관 절에 무리를 초래할 수 있는 문제점이 있었다.
이에 따라, 음성이나 제스처 등의 인식을 이용한 보다 자연스럽고 직관적인 인터페이스 기술이 제안되었다.
특히, 화상 카메라를 이용해 얼굴의 방향, 홍체의 이동, 모양과 움직임 등과 같은 사용자의 제스처를 인식하는 인터페이스는 HCI(Human Computer Interaction) 분야에서 활발한 연구가 이루어지고 있으며, 그 중 손의 모양과 움직임을 인식하는 인터페이스는 가장 자연스럽고 직관적인 방법으로 알려져 있다.
제 1 선행 기술로서, 한국 공개 특허 제2007-0030398호는 이동 통신 단말기에 구비된 영상 촬영 장치를 이용하여 촬영한 손의 동작으로부터 손 제스처 정보를 생성하고, 생성된 손 제스처 정보에 대응하는 마우스의 좌표 정보 및 방향 정보를 생성하여 마우스 포인터를 이동시키는 ‘사용자의 손 제스처에 따라서 마우스 포인터의 이동을 제어하는 이동 통신 단말기 및 방법’을 개시하고 있다.
그러나, 제 1 선행 기술은, 손 제스처에 따라서 마우스 포인터의 이동을 제어하는 기술을 개시하고는 있으나, 제한된 손의 제스처만을 사용하기 때문에 클릭, 더블 클릭, 커서의 이동과 같은 마우스의 간단한 기능만을 수행할 뿐, 기존 마우스의 다양한 기능, 예를 들어, 드래그, 휠 업/다운, 웹 브라우저 제어 등을 수행할 수 없다는 문제점이 있다.
제 2 선행 기술로서, 한국 등록 특허 제0687737호는 화상 카메라로부터 획득한 양 손의 제스처를 감지하고, 감지된 양 손의 제스처가 표현하는 제스처 명령어를 인식하여 가상 마우스를 구동하는 ‘양손 제스처에 기반한 가상 마우스 장치 및 방법’을 개시하고 있다.
그러나, 제 2 선행 기술은, 양 손을 이용하여 한 손으로는 포인팅을, 다른 한 손으로는 명령을 수행하는 기술을 개시하고는 있으나, 양 손이 겹쳐지거나 교차되는 경우에는 포인팅하는 손과 명령하는 손을 구분할 수 없는 문제점이 있다. 또한, 제 2 선행 기술은, 사용자 입장에서 양 손을 모두 사용해야만 하는 불편함이 있다.
본 발명의 일 실시예는 별도의 마우스 장치 없이도 한 손의 모양 변화만을 이용하여 보다 자연스럽고 직관적인 가상 마우스 인터페이스를 구현할 수 있는 가상 마우스 장치 및 그 구동 방법을 제공한다.
또한, 본 발명의 일 실시예는 한 손의 모양 변화로서 제스처 문법을 정의하여 드래그 기능, 휠 업/다운 기능 등 더욱 자연스럽고 다양한 마우스 기능을 구현할 수 있는 가상 마우스 장치 및 그 구동 방법을 제공한다.
또한, 본 발명의 일 실시예는 웹 브라우저를 제어하는 제스처를 정의하여 웹 브라우저를 이용함에 있어서 편리함을 도모할 수 있는 가상 마우스 장치 및 그 구동 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은 손의 모양 변화에 기초하여 제어되는 가상 마우스를 구동하는 방법에 있어서, 상기 가상 마우스의 기능 별로 제스처 정보를 정의하여 제스처 정보 저장부에 저장하는 단계, 화상 카메라로부터 입력된 영상으로부터 상기 손이 위치하는 손의 영역을 검출하는 단계, 상기 검출된 손의 영역으로부터 상기 손의 손가락의 개수 및 모양의 변화를 검출하는 단계, 상기 검출된 손가락의 개수 및 모양의 변화와 상기 제스처 정보 저장부에 저장된 제스처 정보와의 유사도를 계산하여 가장 유사한 제스 처 정보를 검색하는 단계 및 상기 검색된 제스처 정보에 기초하여, 상기 가상 마우스를 구동하는 단계를 포함하는 가상 마우스의 구동 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 2 측면은 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치에 있어서, 가상 마우스의 기능 별로 제스처 정보를 정의하여 저장하는 제스처 정보 저장부, 화상 카메라로부터 입력되는 영상으로부터 상기 손의 영역을 검출하는 손 영역 검출부, 상기 검출된 손의 영역으로부터 상기 손의 손가락의 개수와 모양의 변화를 검출하여 제스처를 인식하는 제스처 인식부, 상기 인식된 제스처에 대응하는 제스처 정보를 상기 제스처 정보 저장부로부터 검색하는 제스처 정보 검색부 및 상기 검색된 제스처 정보에 기초하여, 상기 가상 마우스를 구동하는 가상 마우스 구동부를 포함하는 가상 마우스 장치를 제공한다.
전술한 본 발명의 과제 해결 수단 중 하나에 의하면, 별도의 마우스 장치 없이도 손의 모양 변화만을 이용하여 보다 자연스럽고 직관적인 가상 마우스 인터페이스를 구현할 수 있다.
전술한 본 발명의 과제 해결 수단 중 다른 하나에 의하면, 손의 모양 변화로서 제스처 문법을 정의하여 드래그 기능, 휠 업/다운 기능 등의 더욱 자연스럽고 다양한 마우스 기능을 구현할 수 있다.
전술한 본 발명의 과제 해결 수단 중 또 다른 하나에 의하면, 웹 브라우저를 제어하는 제스처를 정의하여 웹 브라우저를 이용함에 있어서 편리함을 도모할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다
이하에는 도 1 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및 그 구동 방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 손의 모양 변화에 기초하여 제어되는 가상 마우스 제공 시스템의 개략도이다.
도 1을 참조하면, 가상 마우스 제공 시스템(100)은 화상 카메라(120) 및 가 상 마우스 장치(200)를 포함한다.
화상 카메라(120)는 렌즈로부터 입력되는 영상을 CCD 또는 CMOS와 같은 촬상 소자를 통해 촬영하여 출력하는 예를 들어, 디지털 카메라로 구현될 수 있으며, 사용자(110)의 얼굴과 손을 포함한 상반신의 영상을 촬영하여 가상 마우스 장치 (200)로 전송한다.
가상 마우스 장치(200)는 노트북, 데스크톱(desktop), 랩톱(laptop), 셀룰러폰, PCS, 게임기, PMP 등을 포함하며, 모니터를 통해 윈도우 기반의 그래픽 유저 인터페이스(Graphical User Interface; GUI)를 디스플레이한다. 가상 마우스 장치(200)는 화상 카메라(120)와 USB(Universal Serial Bus) 혹은 IEEE 1394 케이블 등으로 연결되어 화상 카메라(120)로부터 전송되는 사용자(110)의 영상을 분석하여 사용자의 손 모양의 변화에 따라 무선 마우스 기능을 구동한다.
도 2는 본 발명의 일 실시예에 따른 한 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치의 세부 구성도이다.
가상 마우스 장치(200)는 영상 입력부(210), 얼굴 영역 검출부(220), 손 영역 검출부(230), 제스처 인식부(240), 제스처 정보 검색부(250), 제스처 정보 저장부(260) 및 가상 마우스 구동부(270)를 포함한다.
영상 입력부(210)는 화상 카메라(120)로부터 사용자(110)의 영상을 입력 받는다.
얼굴 영역 검출부(220)는 입력된 영상으로부터 얼굴 영역을 검출한다. 이때, 얼굴 영역 검출부(220)는, 예를 들어, Ada-boost 기반의 신뢰할 만한 얼굴 인식기 를 이용하여 얼굴 영역을 검출할 수 있다. 또한, 얼굴 영역 검출부(220)는 검출된 얼굴 영역의 색 분포로부터 피부색을 추출하고, 이를 이용하여 피부색 영역을 정의한다.
손 영역 검출부(230)는 피부색 영역으로부터 얼굴 영역을 제외한 손의 영역을 검출한다.
제스처 인식부(240)는 검출된 손의 영역으로부터 손가락의 개수와 모양의 변화를 검출하여 제스처를 인식한다. 제스처 인식부(240)는 블럽(Bolb) 검출기 및 리지(Ridge) 검출기를 이용하여 검출된 손의 영역으로부터 손가락의 개수와 모양의 변화를 검출한다.
제스처 정보 저장부(250)는 가상 마우스를 구동하기 위해 가상 마우스의 기능 별로 제스처 정보를 정의하여 저장한다.
제스처 정보 검색부(260)는 제스처 인식부(240)에 의해 인식된 제스처에 대응하는 제스처 정보를 제스처 정보 저장부(250)로부터 검색한다. 제스처 정보 검색부(260)는 제스처 인식부(240)에 의해 검출된 손가락의 개수 및 모양의 변화와 제스처 정보 저장부(250)에 저장된 제스처 정보들과의 유사도를 계산하여 가장 유사한 제스처 정보를 검색한다.
가상 마우스 구동부(270)는 제스처 정보 저장부(250)로부터 검색된 제스처 정보에 따라 가상 마우스를 구동한다.
도 3은 본 발명의 일 실시예에 따른 마우스 기능 별 제스처 정보를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 제스처 정보는 마우스 활성화 제스처(300), 마우스 이동 제스처(310), 마우스 왼쪽 버튼 다운 제스처(320), 마우스 오른쪽 버튼 다운 제스처(330), 더블 클릭 제스처(340), 마우스 휠 제스처(350) 및 웹 브라우저 제어 제스처(360)를 포함한다.
마우스 활성 제스처(300)는 다섯 손가락을 모두 편 손의 모양이며, 가상 마우스 인터페이스를 활성화시키는 기능으로서 정의된다.
마우스 이동 제스처(310)는 검지만을 편 손의 모양이며, 마우스의 커서를 이동시키기는 기능으로서 정의된다. 여기서, 가상 마우스 장치(200)는 마우스 이동 제스처(310)가 인식되면, 검지의 끝 점을 마우스의 커서가 지시하는 점으로서 인식한다.
마우스 왼쪽 버튼 다운 제스처(320)는 검지와 엄지를 핀 손의 모양이며, 마우스 왼쪽 버튼 누름의 기능으로서 정의된다.
마우스 오른쪽 버튼 다운 제스처(330)는 검지와 약지를 핀 손의 모양이며, 마우스 오른쪽 버튼 누름의 기능으로서 정의된다.
여기서, 가상 마우스 장치(200)는 마우스 왼쪽 버튼 다운 제스처(320) 또는 마우스 오른쪽 버튼 다운 제스처(330) 이후에 마우스 이동 제스처(310)가 인식되면 해당 버튼을 릴리즈하는 제스처로서 인식한다. 즉, 마우스 왼쪽 버튼 다운 제스처(320) 또는 마우스 오른쪽 버튼 다운 제스처(330) 이후에 마우스 이동 제스처(310)가 인식되면 마우스 이동 제스처(310)를 마우스 버튼 업 제스처로서 인식한다.
더블 클릭 제스처(340)는 검지와 중지를 핀 손의 모양이며, 검지가 위치한 지점에서의 마우스 버튼 더블 클릭의 기능으로서 정의된다.
마우스 휠 제스처(350)는 다섯 손가락을 모두 붙인 손바닥 모양이며, 마우스의 휠 기능으로서 정의된다.
웹 브라우저 제어 제스처(360)는 주먹을 쥔 손의 모양이며, 웹 브라우저의 제어 기능으로서 정의된다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 손의 모양 변화에 기초하여 제어되는 가상 마우스의 구동 방법을 설명하기 위한 흐름도이다.
단계(S11)에서 가상 마우스 장치(200)는 가상 마우스의 기능 별로 제스처 정보를 정의하여 제스처 정보 저장부(250)에 저장한다.
단계(S12)에서 가상 마우스 장치(200)는 화상 카메라(120)로부터 사용자(110)의 영상을 입력받은 다음, 단계(S13)로 진행하여, 예를 들어, Ada-boost 기반의 얼굴 인식기 등을 이용하여 입력된 사용자(110)의 영상으로부터 얼굴 영역을 검출한다.
단계(S14)에서 가상 마우스 장치(200)는 검출된 얼굴 영역의 색 분포를 취합하여 피부색을 추출한 다음, 단계(S15)로 진행하여, 단계(S14)에서 추출된 피부색에 기초하여, 입력 영상으로부터 얼굴 영역을 제외한 손의 영역을 검출한다.
단계(16)에서 가상 마우스 장치(200)는 검출된 손의 영역으로부터 손가락의 개수 및 모양의 변화를 검출하여 제스처를 인식한다.
단계(S17)에서 가상 마우스 장치(200)는 인식된 제스처에 대응하는 제스처 정보를 제스처 정보 저장부(250)로부터 검색한다.
단계(S18)에서 가상 마우스 장치(200)는 단계(S17)에서 검색된 제스처 정보가 마우스 활성화 제스처인지를 판단한 다음, 마우스 활성화 제스처가 아닌 경우에는 단계(S16)으로 복귀하는 반면에, 마우스 활성화 제스처인 경우에는 가상 마우스 인터페이스를 활성화한다.
가상 마우스 인터페이스가 활성화되면, 단계(S19)에서 가상 마우스 장치(200)는 가상 마우스를 구동한 다음, 단계(S20)로 진행하여, 화상 카메라(120)로부터 입력되는 영상으로부터 손의 영역을 계속하여 추적하여 시간의 경과에 따른 제스처의 변화를 분석한다.
단계(S21)에서 가상 마우스 장치(200)는 단계(S20)에서 시간의 경과에 따라 분석한 제스처의 변화에 대응하는 제스처 정보를 제스처 정보 저장부(250)로부터 검색하여, 검색된 제스처 정보에 대응하는 가상 마우스의 기능을 수행한다.
도 5는 본 발명의 일 실시예에 따른 제스처 정보를 이용한 가상 마우스의 기능을 설명하기 위한 도면이다.
도 5를 참조하면, 가상 마우스의 기능은 커서 위치 갱신 기능(411), 왼쪽 버튼 클릭 기능(412), 더블 클릭 기능(413, 414), 오른쪽 버튼 클릭 기능(415), 드래그 기능(416), 휠 업 기능(421) 및 휠 다운 기능(422)을 포함한다.
커서 위치 갱신 기능(411)은 마우스의 커서 위치를 갱신하는 기능으로서, 마우스 이동 제스처(310) 이후에 이동하는 검지의 위치를 검출하여 해당 위치로 마우스 커서의 위치를 갱신할 수 있다.
왼쪽 버튼 클릭 기능(412)은 마우스 왼쪽 버튼을 클릭하는 기능으로서, 마우스 왼쪽 버튼 다운 제스처(320) 이후에 마우스 버튼 업 제스처(310)가 인식되면 수행된다.
더블 클릭 기능(413)은 마우스의 왼쪽 버튼을 더블 클릭하는 기능으로서, 마우스 왼쪽 버튼 다운 제스처(320) 이후에 마우스 버튼 업 제스처(310)가 연속 2회 인식되면 수행된다. 또한, 더블 클릭 기능(414)은 마우스 더블 클릭 제스처(340)가 인식되면 바로 수행될 수 있다.
오른쪽 버튼 클릭 기능(415)은 마우스 오른쪽 버튼을 클릭하는 기능으로서, 마우스 오른쪽 버튼 다운 제스처(330) 이후에 마우스 버튼 업 제스처(310)가 인식되면 수행된다.
드래그 기능(416)은 마우스의 드래그를 수행하는 기능으로서, 마우스 왼쪽 버튼 다운 제스처(320) 이후에 손의 모양을 유지한 상태로 손을 이동한 후에 마우스 버튼 업 제스처(310)가 인식되면 수행된다.
휠 업 기능(421)은 마우스의 휠 업을 수행하는 기능으로서, 마우스 휠 제스처(350)가 인식된 후 손이 상측으로 이동되면 수행된다.
휠 다운 기능(422)는 마우스의 휠 다운을 수행하는 기능으로서, 마우스 휠 제스처(350)가 인식된 후 손이 하측으로 이동하면 수행된다.
웹 브라우저 제어 제스처(360)가 인식되면 웹 브라우저의 다양한 기능을 제어할 수 있다.
도 6은 본 발명의 일 실시예에 따른 웹 브라우저 제어 제스처를 이용한 웹 브라우저 제어 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 웹 브라우저 제어 제스처(360)를 이용한 웹 브라우저 제어 기능은 이전 페이지 이동 기능(510), 다음 페이지 이동 기능(520), 맨 위 이동 기능(530), 맨 아래 이동 기능(540), 새 창 열기 기능(550), 창 닫기 기능(560), 창 최대화 기능(570) 및 창 최소화 기능(580)을 포함한다.
이전 페이지 이동 기능(510)은 웹 브라우저의 이전 페이지로 이동하는 기능으로서, 웹 브라우저 제어 제스처(360)를 유지한 상태로 손을 좌측으로 이동함으로써 수행될 수 있다.
다음 페이지 이동 기능(520)은 웹 브라우저의 다음 페이지로 이동하는 기능으로서, 웹 브라우저 제어 제스처(360)를 유지한 상태로 손을 우측으로 이동함으로써 수행될 수 있다.
맨 위 이동 기능(530)은 웹 브라우저 창에서 맨 위로 이동하는 기능으로서, 웹 브라우저 제어 제스처(360)를 유지한 상태로 손을 상측으로 이동함으로써 수행될 수 있다.
맨 아래 이동 기능(540)은 웹 브라우저 창에서 맨 아래로 이동하는 기능으로서, 웹 브라우저 제어 제스처(360)를 유지한 상태로 손을 하측으로 이동함으로써 수행될 수 있다.
새 창 열기 기능(550)은 웹 브라우저의 새 창을 띄우는 기능으로서, 웹 브라우저 제어 제스처(360)를 유지한 상태로 손을 상측으로 이동한 후 우측으로 이동함으로써 수행될 수 있다.
창 닫기 기능(560)은 웹 브라우저의 창을 닫는 기능으로서, 웹 브라우저 제어 제스처(360)를 유지한 상태로 손을 하측으로 이동한 후 좌측으로 이동함으로써 수행될 수 있다.
창 최대화 기능(570)은 웹 브라우저의 창을 최대화하는 기능으로서, 웹 브라우저 제어 제스처(360)를 유지한 상태로 손을 좌측으로 이동한 후 상측으로 이동함으로써 수행될 수 있다.
창 최소화 기능(580)은 웹 브라우저의 창을 최소화하는 기능으로서, 웹 브라우저 제어 제스처(360)를 유지한 상태로 손을 우측으로 이동한 후 하측으로 이동함으로써 수행될 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 손의 모양 변화를 이용한 가상 마우스의 구동 방법에 따르면, 손의 모양 변화만을 이용하여 보다 자연스럽고 직관적인 가상 마우스 인터페이스를 구현할 수 있어 사용자는 컴퓨터를 보다 자연스럽고 직관적으로 제어할 수 있다.
본 발명의 일 실시예에 따른 가상 마우스 장치 또는 가상 마우스의 구동 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 손의 모양 변화를 이용한 가상 마우스 제공 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 한 손의 모양 변화를 이용한 가상 마우스 장치의 세부 구성도이다.
도 3은 본 발명의 일 실시예에 따른 마우스 기능 별 제스처 정보를 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 손의 모양 변화를 이용한 가상 마우스의 구동 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 제스처 정보를 이용한 가상 마우스의 기능을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 웹 브라우저 제어 제스처를 이용한 웹 브라우저 제어 방법을 설명하기 위한 도면이다.

Claims (17)

  1. 손의 모양 변화에 기초하여 제어되는 가상 마우스를 구동하는 방법에 있어서,
    상기 가상 마우스의 기능 별로 제스처 정보를 정의하여 제스처 정보 저장부에 저장하는 단계,
    화상 카메라로부터 입력된 영상으로부터 상기 손이 위치하는 손의 영역을 검출하는 단계,
    상기 검출된 손의 영역으로부터 상기 손의 손가락의 개수 및 모양의 변화를 검출하는 단계,
    상기 검출된 손가락의 개수 및 모양의 변화와 상기 제스처 정보 저장부에 저장된 제스처 정보와의 유사도를 계산하여 가장 유사한 제스처 정보를 검색하는 단계 및
    상기 검색된 제스처 정보에 기초하여, 상기 가상 마우스를 구동하는 단계
    를 포함하는 가상 마우스의 구동 방법.
  2. 제 1 항에 있어서,
    상기 손의 영역을 검출하는 단계는,
    상기 화상 카메라로부터 입력된 영상으로부터 얼굴 영역을 인식하는 단계,
    상기 인식된 얼굴 영역의 색 분포에서 피부색을 추출하는 단계 및
    상기 추출된 피부색에 기초하여, 상기 입력 영상으로부터 얼굴 영역을 제외한 상기 손의 영역을 분리하는 단계
    를 포함하는 가상 마우스의 구동 방법.
  3. 제 1 항에 있어서,
    상기 손가락의 개수 및 모양은 상기 손의 손바닥 부분과 손가락 부분을 검출하여 인식하는 것인 가상 마우스의 구동 방법.
  4. 제 3 항에 있어서,
    상기 손의 손바닥 부분과 손가락 부분의 검출은, 블럽(Blob) 검출기 및 리지(ridge) 검출기를 이용하여 검출하는 것인 가상 마우스의 구동 방법.
  5. 제 1 항에 있어서,
    상기 제스처 정보는, 마우스 활성화 제스처 정보, 마우스 이동 제스처 정보, 마우스 왼쪽 버튼 다운 제스처 정보, 마우스 오른쪽 버튼 다운 제스처 정보, 더블 클릭 제스처 정보, 마우스 휠 제스처 정보 및 웹 브라우저 제어 제스처 정보 중 적 어도 하나를 포함하는 것인 가상 마우스의 구동 방법.
  6. 제 5 항에 있어서,
    상기 마우스 왼쪽 버튼 다운 제스처 또는 상기 마우스 오른쪽 버튼 다운 제스처 이후에 인식되는 상기 마우스 이동 제스처는 마우스 버튼 업 제스처로서 인식하는 것인 가상 마우스의 구동 방법.
  7. 제 6 항에 있어서,
    상기 제스처 정보는 마우스 왼쪽 버튼 클릭 제스처 정보를 더 포함하고, 상기 마우스 왼쪽 버튼 클릭 제스처 정보는 상기 마우스 왼쪽 버튼 다운 제스처 이후에 상기 마우스 버튼 업 제스처가 인식되면 검색되는 것인 가상 마우스의 구동 방법.
  8. 제 6 항에 있어서,
    상기 제스처 정보는 마우스 오른쪽 버튼 클릭 제스처 정보를 더 포함하고, 상기 마우스 오른쪽 버튼 클릭 제스처 정보는 상기 마우스 오른쪽 버튼 다운 제스처 이후에 상기 마우스 버튼 업 제스처가 인식되면 검색되는 것인 가상 마우스의 구동 방법.
  9. 제 5 항에 있어서,
    상기 웹 브라우저 제어 제스처 정보는 이전 페이지 이동 기능, 다음 페이지 이동 기능, 맨 위 이동 기능, 맨 아래 이동 기능, 새 창 열기 기능, 창 닫기 기능, 창 최대화 기능 및 창 최소화 기능 중 적어도 하나를 수행하는 것인 가상 마우스의 구동 방법.
  10. 제 9 항에 있어서,
    상기 이전 페이지 이동 기능은 상기 웹 브라우저 제어 제스처를 유지한 상태로 손을 좌측으로 이동함으로써 수행되고,
    상기 다음 페이지 이동 기능은 상기 웹 브라우저 제어 제스처를 유지한 상태로 손을 우측으로 이동함으로써 수행되고,
    상기 맨 위 이동 기능은 상기 웹 브라우저 제어 제스처를 유지한 상태로 손을 상측으로 이동함으로써 수행되고,
    상기 맨 아래 이동 기능은 상기 웹 브라우저 제어 제스처를 유지한 상태로 손을 하측으로 이동함으로써 수행되는 것인 가상 마우스의 구동 방법.
  11. 제 9 항에 있어서,
    상기 새 창 열기 기능은 상기 웹 브라우저 제어 제스처를 유지한 상태로 손을 상측으로 이동한 후 우측으로 이동함으로써 수행되고,
    창 닫기 기능은 상기 웹 브라우저 제어 제스처를 유지한 상태로 손을 하측으로 이동한 후 좌측으로 이동함으로써 수행되고,
    창 최대화 기능은 상기 웹 브라우저 제어 제스처를 유지한 상태로 손을 좌측으로 이동한 후 상측으로 이동함으로써 수행되고,
    창 최소화 기능은 상기 웹 브라우저 제어 제스처를 유지한 상태로 손을 우측으로 이동한 후 하측으로 이동함으로써 수행되는 것인 가상 마우스의 구동 방법.
  12. 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치에 있어서,
    가상 마우스의 기능 별로 제스처 정보를 정의하여 저장하는 제스처 정보 저장부,
    화상 카메라로부터 입력되는 영상으로부터 상기 손의 영역을 검출하는 손 영역 검출부,
    상기 검출된 손의 영역으로부터 상기 손의 손가락의 개수와 모양의 변화를 검출하여 제스처를 인식하는 제스처 인식부,
    상기 인식된 제스처에 대응하는 제스처 정보를 상기 제스처 정보 저장부로부 터 검색하는 제스처 정보 검색부 및
    상기 검색된 제스처 정보에 기초하여, 상기 가상 마우스를 구동하는 가상 마우스 구동부
    를 포함하는 가상 마우스 장치.
  13. 제 12 항에 있어서,
    상기 화상 카메라로부터 사용자의 영상을 입력 받는 영상 입력부 및
    상기 입력된 영상으로부터 얼굴 영역을 검출하는 얼굴 영역 검출부
    를 더 포함하는 가상 마우스 장치.
  14. 제 12 항에 있어서,
    상기 얼굴 영역 검출부는, 상기 검출된 얼굴 영역의 색 분포로부터 피부색을 추출하고, 상기 추출된 피부색을 이용하여 피부색 영역을 검출하는 것인 가상 마우스 장치.
  15. 제 12 항에 있어서,
    상기 제스처 인식부는 블럽(Bolb) 검출기 및 리지(Ridge) 검출기를 이용하여 상기 검출된 손의 영역으로부터 상기 손의 손가락의 개수 및 모양을 검출하는 것인 가상 마우스 장치.
  16. 제 12 항에 있어서,
    상기 제스처 정보는 마우스 활성화 제스처 정보를 포함하고, 상기 마우스 활성화 제스처 정보는 상기 손의 모양이 다섯 손가락을 모두 편 경우에 검색되는 것인 가상 마우스 장치.
  17. 제 12 항에 있어서,
    상기 제스처 정보는 마우스 이동 제스처 정보를 포함하고, 상기 마우스 이동 제스처 정보는 상기 손의 모양이 검지만을 편 경우에 검색되는 것인 가상 마우스 장치.
KR20080050218A 2008-05-29 2008-05-29 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법 KR100962569B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20080050218A KR100962569B1 (ko) 2008-05-29 2008-05-29 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080050218A KR100962569B1 (ko) 2008-05-29 2008-05-29 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법

Publications (2)

Publication Number Publication Date
KR20090124172A true KR20090124172A (ko) 2009-12-03
KR100962569B1 KR100962569B1 (ko) 2010-06-11

Family

ID=41686138

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080050218A KR100962569B1 (ko) 2008-05-29 2008-05-29 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법

Country Status (1)

Country Link
KR (1) KR100962569B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101121746B1 (ko) * 2010-04-19 2012-03-22 한국전자통신연구원 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치
KR101291383B1 (ko) * 2011-06-14 2013-07-30 동명대학교산학협력단 공감각적 행위기반 인터페이스 제어방법
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
WO2016085122A1 (ko) * 2014-11-28 2016-06-02 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법
US9547371B2 (en) 2014-01-17 2017-01-17 Korea Institute Of Science And Technology User interface apparatus and method for controlling the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101169583B1 (ko) * 2010-11-04 2012-07-31 주식회사 매크론 가상마우스 구동방법
KR20160080881A (ko) 2014-12-29 2016-07-08 동명대학교산학협력단 가상 마우스의 커서 이동방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101121746B1 (ko) * 2010-04-19 2012-03-22 한국전자통신연구원 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치
KR101291383B1 (ko) * 2011-06-14 2013-07-30 동명대학교산학협력단 공감각적 행위기반 인터페이스 제어방법
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9547371B2 (en) 2014-01-17 2017-01-17 Korea Institute Of Science And Technology User interface apparatus and method for controlling the same
WO2016085122A1 (ko) * 2014-11-28 2016-06-02 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Also Published As

Publication number Publication date
KR100962569B1 (ko) 2010-06-11

Similar Documents

Publication Publication Date Title
US7849421B2 (en) Virtual mouse driving apparatus and method using two-handed gestures
KR100962569B1 (ko) 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법
US8514251B2 (en) Enhanced character input using recognized gestures
US20110221666A1 (en) Methods and Apparatus For Gesture Recognition Mode Control
JP2019516189A (ja) タッチスクリーントラック認識方法及び装置
US20150220149A1 (en) Systems and methods for a virtual grasping user interface
CN111708478A (zh) 键盘输入的消歧
US20140055386A1 (en) Touch and non touch based interaction of a user with a device
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
US20140055385A1 (en) Scaling of gesture based input
WO2010032268A2 (en) System and method for controlling graphical objects
US20120212413A1 (en) Method and System for Touch-Free Control of Devices
US10228794B2 (en) Gesture recognition and control based on finger differentiation
WO2016018518A1 (en) Optical tracking of a user-guided object for mobile platform user input
WO2014084634A1 (ko) 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
US9940900B2 (en) Peripheral electronic device and method for using same
CN106095081A (zh) 人机交互方法及装置
KR20130090210A (ko) 입력 장치
US11755124B1 (en) System for improving user input recognition on touch surfaces
NL2031789B1 (en) Aggregated likelihood of unintentional touch input
TWI603226B (zh) 體感偵測器之手勢辨識方法
US20240185516A1 (en) A Method for Integrated Gaze Interaction with a Virtual Environment, a Data Processing System, and Computer Program
US20220244791A1 (en) Systems And Methods for Gesture Input
US20240103639A1 (en) Systems And Methods for Gesture Input
Kin et al. STMG: A Machine Learning Microgesture Recognition System for Supporting Thumb-Based VR/AR Input

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130405

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140304

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee