KR101196291B1 - 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법 - Google Patents

손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법 Download PDF

Info

Publication number
KR101196291B1
KR101196291B1 KR1020100071862A KR20100071862A KR101196291B1 KR 101196291 B1 KR101196291 B1 KR 101196291B1 KR 1020100071862 A KR1020100071862 A KR 1020100071862A KR 20100071862 A KR20100071862 A KR 20100071862A KR 101196291 B1 KR101196291 B1 KR 101196291B1
Authority
KR
South Korea
Prior art keywords
fingertips
movement
function
interface
recognizing
Prior art date
Application number
KR1020100071862A
Other languages
English (en)
Other versions
KR20120010374A (ko
Inventor
이종우
Original Assignee
이종우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이종우 filed Critical 이종우
Priority to KR1020100071862A priority Critical patent/KR101196291B1/ko
Publication of KR20120010374A publication Critical patent/KR20120010374A/ko
Application granted granted Critical
Publication of KR101196291B1 publication Critical patent/KR101196291B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기 및 그 방법에 관한 것이다.
이를 위해 본 발명의 일실시예에 따른 손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기는, 촬영부, 인식부, 판단부, 제어부 및 디스플레이부를 포함하여 구성된다. 촬영부는 제1카메라 및 제2카메라로 사용자의 두 손가락 끝을 촬영하여 제1영상 및 제2영상을 생성한다. 인식부는 상기 상기 촬영부에서 생성된 상기 제1영상 및 제2영상을 기초로 3차원 좌표계에서의 상기 두 손가락 끝의 움직임을 인식한다. 판단부는 상기 인식부에서 인식된 상기 두 손가락 끝의 움직임에 해당하는 기능을 판단한다. 제어부는 상기 판단부에서 판단된 기능을 구현하기 위한 제어신호를 출력한다. 디스플레이부는 상기 제어부에 의해 구현된 상기 기능을 시각화하여 사용자에게 제공한다.
이러한 구성에 의하면, 3D 환경에서의 제어가 가능한 3D 인터페이스를 제공함에 따라서 사용자 입장에서는 복잡하고 비용 부담이 있는 별도의 인터페이스(3D 마우스 등) 없이 간단하게 본인의 손가락을 사용하여 기능들을 구현할 수 있고, 이로 인해 경제적인 부담이 없으며, 사용하기 편리한 효과가 있다.

Description

손가락의 움직임을 인식하여 ３Ｄ인터페이스를 제공하는 단말기 및 그 방법 {TERMINAL PROVIDING 3D INTERFACE BY RECOGNIZING MOTION OF FINGERS AND METHOD THEREOF}
본 발명은 손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기 및 그 방법에 관한 것으로, 보다 상세하게는 3D 환경에서의 제어가 가능한 3D 인터페이스를 제공하면서도 경제적으로 부담이 없고, 사용하기 편리한 단말기 및 그 방법에 관한 것이다.
일반적으로 디스플레이장치에 이용되는 화상표시장치로는 음극선관(CRT: Cathode Ray Tube), 액정표시장치(LCD: Liquid Crystal Display), 가스플라즈마(PDP: Plasma Display Panel), 유기EL(OLED: Organic Light Emitting Diode) 등이 있으며, 디스플레이장치 중 PDA, 핸드폰, 노트북, 스마트폰 등은 액정표시장치와 유기EL을 화상표시장치로 이용하고 있다.
종래의 디스플레이장치는 영상 또는 동영상 등을 2차원적으로 표시하는 2D 디스플레이 기종이 대부분이지만, 최근 디스플레이 기술의 발달로 영상 또는 동영상 등을 3차원적으로 표시하는 3D 디스플레이 기종이 개발되어 출시되고 있다.
이러한 3D 디스플레이의 발달로 3D 인터페이스가 요구되는데, 3D 마우스 등의 기존 3D 인터페이스의 경우에는 그 구성이 복잡하고 비용이 많이 든다는 문제점이 있다. 특히, 1인이 사용하는 휴대용기기의 경우 무안경 방식의 3D 디스플레이를 적용하기에 용이하기 때문에, 빠른 속도로 확산될 것으로 전망되는데, 휴대용기기에 3D 마우스를 연결하여 사용하는 것은 사실상 불가능하기 때문에, 별도의 연결장치 없이도 3D 환경에서의 인터페이스를 제공하는 방법이 요구된다.
최근의 휴대용 기기의 경우 터치스크린을 인터페이스로 많이 사용하고 있으나, 터치스크린은 2차원적인 인터페이스만 가능하여 3D 환경에서의 제어를 위한 인터페이스가 불가능한 동시에 단순한 동작만이 제어 가능한 기능상의 제약이 존재하므로, 터치스크린을 이용한 3D 환경에서의 인터페이스에는 어려움이 따르고, 이에 따라 새로운 인터페이스 방법이 필요한 실정이다. 특히, 디스플레이 장치의 설치 위치가 가정이나, 사무실에서 벗어나 대형 마트, 지하철, 일반 시내 등 공공장소로 확장되고, 다양해지며, 2D에서 3D 디스플레이로 전환이 되어가는 추세이기 때문에 이에 적합한 새로운 사용자 인터페이스 기술이 요구된다.
또한, 종래의 사용자 인터페이스 방법은 3차원 디스플레이장치를 통해 다양화된 영상/동영상을 처리할 수 있는 다양한 환경과 시스템을 지원하는데 적절하지 못한 문제가 있다. 즉, 3차원 디스플레이는 시각적으로 x, y, z축으로 영상을 디스플레이하므로, 단순 평면으로 디스플레이하는 2차원 디스플레이에 비해 많은 시각적 효과 또는 이벤트 연출 또는 기능의 다양성을 가질 수 있는데, 이러한 3차원 디스플레이에서만의 추가적인 기능을 만족시키는 3차원 디스플레이용의 새로운 사용자 인터페이스 방법이 요구되는 것이다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 3D 환경에서의 제어가 가능한 3D 인터페이스를 제공하며, 경제적으로 부담이 없고, 사용하기 편한 단말기 및 그 방법을 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명의 손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기는, 촬영부, 인식부, 판단부, 제어부 및 디스플레이부를 포함하여 구성된다. 촬영부는 제1카메라 및 제2카메라로 사용자의 두 손가락 끝을 촬영하여 제1영상 및 제2영상을 생성한다. 인식부는 상기 상기 촬영부에서 생성된 상기 제1영상 및 제2영상을 기초로 3차원 좌표계에서의 상기 두 손가락 끝의 움직임을 인식한다. 판단부는 상기 인식부에서 인식된 상기 두 손가락 끝의 움직임에 해당하는 기능을 판단한다. 제어부는 상기 판단부에서 판단된 기능을 구현하기 위한 제어신호를 출력한다. 디스플레이부는 상기 제어부에 의해 구현된 상기 기능을 시각화하여 사용자에게 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 다음과 같은 효과가 있다.
첫째, 3D 환경에서의 제어가 가능한 3D 인터페이스를 제공함에 따라서 사용자 입장에서는 복잡하고 비용 부담이 있는 별도의 인터페이스(3D 마우스 등) 없이 간단하게 본인의 손가락을 사용하여 기능들을 구현할 수 있고, 이로 인해 경제적인 부담이 없으며, 사용하기 편리하다. 그리고 유비쿼터스 환경에 적합한 이동 중의 사용자를 위한 인터페이스를 용이하게 지원하고, 기존의 3D 마우스의 부작용인 손목, 손가락 통증, 자세 기형과 같은 문제점도 상당수준 완화할 수 있다.
둘째, 공간상(3차원 좌표계)에서의 두 손가락 끝의 움직임을 3D 가상공간의 좌표계에 대응시켜 해당하는 기능을 판단하여 구현함으로써, 별도의 3D 마우스가 필요 없어 단말기의 휴대성 확보가 용이하고, 단순히 한 손만을 이용하여 3D 마우스 입력을 할 수 있으므로 3D 가상공간에서 오브젝트나 어플리케이션 선택하기, 이동시키기, 실행시키기, 회전시키기, 화면확대/축소시키기 등과 같은 다양한 명령들을 손쉽게 실행시킬 수 있는 동시에 보다 자유로운 조작이 가능하며, 보다 직관적인 3D 마우스의 인터페이스기능을 구현할 수 있는 이점이 있다.
셋째, 인식부가 두 손가락 끝의 움직임을 디스플레이부와 평행한 평면상의 움직임과 디스플레이부와 수직 방향의 움직임으로 구분하여 인식함에 따라, 즉 두 손가락 끝의 움직임을 읽어 2차원 영상을 3차원 영상으로 변환함에 따라, 3D 가상공간에서 다양한 인터페이스가 가능하도록 하되, 보다 간단한 방법으로 3D 인터페이스가 가능하도록 하며, 이에 따라 단말기의 제조 비용이 최소화될 수 있다.
도 1a는 본 발명의 일실시예에 따른 손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기의 사시도이다.
도 1b는 도 1a의 단말기의 개략적인 구성도이다.
도 2a는 도 1a의 카메라의 구조를 나타낸 구조도이다.
도 2b는 도 2a에 따라 2차원 영상이 3차원 영상으로 변환되는 과정을 나타낸 도면이다.
도 2c는 도 2b에서 z1 및 z2를 구하는 방법을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법의 흐름도이다.
도 4a는 3D 디스플레이에서의 포인터이동기능을 설명하기 위한 도면이다.
도 4b는 3D 디스플레이에서의 클릭기능을 설명하기 위한 도면이다.
도 4c는 3D 디스플레이에서의 더블클릭기능을 설명하기 위한 도면이다.
도 4d는 3D 디스플레이에서의 드래그기능을 설명하기 위한 도면이다.
도 4e는 3D 디스플레이에서의 회전기능을 설명하기 위한 도면이다.
도 4f는 3D 디스플레이에서의 화면확대/축소기능을 설명하기 위한 도면이다.
도 5a는 2D 디스플레이에서의 포인터이동기능을 설명하기 위한 도면이다.
도 5b는 2D 디스플레이에서의 클릭기능을 설명하기 위한 도면이다.
도 5c는 2D 디스플레이에서의 더블클릭기능을 설명하기 위한 도면이다.
도 5d는 2D 디스플레이에서의 드래그기능을 설명하기 위한 도면이다.
도 5e는 2D 디스플레이에서의 회전기능을 설명하기 위한 도면이다.
도 5f는 2D 디스플레이에서의 화면확대/축소기능을 설명하기 위한 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
<단말기에 대한 설명>
도 1a는 본 발명의 일실시예에 따른 손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기의 사시도이고, 도 1b는 도 1a의 단말기의 개략적인 구성도이다. 그리고 도 2a는 도 1a의 카메라의 구조를 나타낸 구조도이고, 도 2b는 도 2a에 따라 2차원 영상이 3차원 영상으로 변환되는 과정을 나타낸 도면이며, 도 2c는 도 2b에서 z1 및 z2를 구하는 방법을 나타낸 도면이다.
도 1a 내지 도 2c를 참조하면, 본 발명의 일실시예에 따른 손가락의 움직임을 인식하여 3D(3차원) 인터페이스를 제공하는 단말기(100)는 노트북, 데스크톱, 랩톱, 휴대폰 등으로, 촬영부(110), 인식부(120), 저장부(130), 판단부(140), 제어부(150) 및 디스플레이부(160) 등을 포함하여 구성된다.
촬영부(110)는 디스플레이부(160)의 상단 양측에 위치한 제1카메라(111) 및 제2카메라(112)를 포함하며, 사용자의 두 손가락 끝(F1, F2)을 촬영하여 제1영상(I1) 및 제2영상(I2)을 생성하는 역할로, 사용자가 공간상에서 손가락(F1, F2)을 자유롭게 움직이면 촬영부(110)가 이를 촬영하는 것이다.
인식부(120)는 촬영부(110)에서 생성된 제1영상(I1) 및 제2영상(I2)을 기초로 3차원 좌표계에서의 두 손가락 끝(F1, F2)의 움직임(위치 변화)을 인식한다.
저장부(130)는 두 손가락 끝(F1, F2)의 움직임에 따른 기능이 구현되도록 인터페이스기능별로 두 손가락 끝(F1, F2)의 움직임 정보를 정의하여 저장한다.
판단부(140)는 인식부(120)에서 인식된 두 손가락 끝(F1, F2)의 움직임에 해당하는 기능을 판단하는 역할로, 사용자가 두 손가락 끝(F1, F2)의 위치를 변화시키는 경우 인식부(120)에서 인식된 두 손가락 끝(F1, F1)의 위치 변화와 저장부(130)에 정의되어 저장된 두 손가락 끝(F1, F2)의 위치 변화와의 유사도를 계산하여 해당되는 인터페이스기능을 판단한다.
제어부(150)는 판단부(140)에서 판단된 기능, 즉 두 손가락 끝(F1, F2)의 움직임에 해당하는 인터페이스기능을 판단하여 해당 기능을 구현하기 위한 제어신호를 출력한다.
디스플레이부(160)는 제어부(150)에 의해 구현된 상기 기능을 시각화하여 사용자에게 제공하는 역할로, 본 발명에서 디스플레이부(160)는 3D 입체영상을 제공하는 3D 디스플레이이고, 따라서 판단부(140)에서 판단되는 기능은 디스플레이부(160)를 통하여 가시화되는 3D 가상공간을 제어하기 위한 기능이며, 이를 위해 판단부(140)는 3차원 좌표계에서의 두 손가락 끝(F1, F1)의 움직임을 3D 가상공간의 좌표계에 대응시켜 해당하는 기능을 판단할 수 있다.
상기와 같이, 3D 환경에서의 제어가 가능한 3D 인터페이스를 제공함에 따라서 사용자 입장에서는 복잡하고 비용 부담이 있는 별도의 인터페이스(예를 들어, 3D 마우스) 없이 간단하게 본인의 손가락을 사용하여 기능들을 구현할 수 있고, 이로 인해 경제적인 부담이 없으며, 사용하기 편리하다. 즉, 유비쿼터스 환경에 적합한 이동 중의 사용자를 위한 인터페이스를 용이하게 지원하고, 기존의 3D 마우스의 부작용인 손목, 손가락 통증, 자세 기형과 같은 문제점도 상당수준 완화할 수 있다. 더 나아가, 두 카메라(111, 112)를 이용하여 2차원 영상(I1)을 3차원 영상(I3)으로 변환시킴으로써 2차원 공간에서 두 손가락 끝(F1, F2)의 위치를 인식하는 경우에 비해 추가적인 다양한 기능들의 구현이 가능하며, 3D 마우스가 필요 없어 휴대용 단말기의 휴대성 및 공간성 확보 능력을 향상시킬 수 있는 효과가 있다.
이하, 두 손가락 끝(F1, F2)의 움직임을 인식하고, 인식한 움직임에 해당하는 인터페이스기능들을 구현할 수 있는 단말기(100)에 관하여 상세히 살펴보면 다음과 같다.
먼저, 인식부(120)는 제1영상(I1) 및 제2영상(I2) 각각에서의 두 손가락 끝(F1, F2)의 위치를 기초로 두 손가락 끝(F1, F2)의 위치를 3차원 좌표계로 인식하고, 3차원 좌표계에서의 두 손가락의 끝(F1, F2)의 위치 변화를 기초로 두 손가락 끝(F1, F2)의 움직임을 인식한다.
이를 위해, 단말기(100)는 두 카메라(111, 112)를 통해 생성된 2차원 영상(I1, I2)을 3차원 영상(I3)으로 변환시켜, 3차원 공간상에서 두 손가락 끝(F1, F2)의 위치를 분석하게 된다. 이때, 2차원 영상(I1, I2)을 3차원 영상(I3)으로 변환시키는 방법은 인간이 양안시차(Binocular Disparity)를 통하여 입체감을 획득하는 것과 같은 원리이다. 두 카메라(111, 112)에서 두 손가락 끝(F1, F2)을 인식할 경우 두 카메라(111, 112)에 맺히는 두 손가락 끝(F1, F2)의 위치는 다르고, 이를 양안시차라고 하는 것이다. 이를 이용하면, 도 2a 및 도 2b에 도시된 바와 같이 인간의 눈에 해당하는 제1, 2카메라(111, 112)와 2차원 영상신호에서 상대적으로 시간차 또는 휘도차를 갖는 제1, 2영상(I1, I2)을 생성하고, 인간의 두 눈의 간격에 해당하는 제1, 2카메라(111, 112)의 렌즈 중심거리(D), 초점거리(L)를 이용하여 두 손가락 끝(F1, F2)과 디스플레이부(160)간의 거리정보(z1, z2)를 계산함으로써, 2차원 영상(I1, I2)이 3차원 영상(I3)으로 변환되는 것이다. 일예로, 도 2b와 같이 제1카메라(111)를 통해 생성된 제1영상(I1)을 이용하면 두 손가락 끝(F1, F2)의 위치좌표는 각각 (x11, y11, 0), (x12, y12, 0)이고, 제2카메라(112)를 통해 생성된 제2영상(I2)을 이용하면 두 손가락 끝(F1, F2)의 위치좌표는 각각 (x21, y21, 0), (x22, y22, 0)로 추정한다. 이 때, 도면에서와 같이 두 카메라가 동일한 높이에 존재하는 경우, y11 값과 y21 값이 같아지고, y12 값과 y22 값이 같아지게 된다.
상기와 같이, 2차원상의 두 손가락 끝(F1, F2)의 위치정보를 추정한 후에는 전술한 양안시차추정방법을 이용하여 디스플레이부(160)와 두 손가락 끝(F1, F2)까지의 거리정보(z1, z2)를 계산한다. 그러면, 두 영상(I1, I2)으로부터 추정한 6개의 좌표인 (x11, y11, 0), (x12, y12, 0), (x21, y21, 0), (x22, y22, 0), (0, 0, z1), (0, 0, z2)와 두 카메라(111, 112)의 렌즈의 중심거리(D) 및 초점거리(L)를 이용하여 두 손가락 끝(F1, F2)의 3차원상의 위치좌표인 (x1, y1, z1), (x2, y2, z2)를 구할 수 있다. 이 때, 도면의 경우 상술한 바와 같이 y11 및 y21이 동일한 값을 가지고, y12 및 y22가 동일한 값을 가지게 되므로, y1 = y11 = y21와 같이 구해지며, y2 = y12 = y22와 같이 구해질 수 있다. 또한 x좌표는 앞서 상기 2차원의 두 영상(I1, I2)에서의 각각의 x좌표의 값의 중간값에 의하여 간단히 계산될 수 있다. 즉, x1 = (x11 + x21) / 2와 같이 계산되고, x2 = (x12 + x22) / 2와 같이 계산될 수 있다.
또한, z1 및 z2를 계산하는 방법은 도 2c에 나타나 있다. 본 발명에서 손가락의 위치를 3차원 좌표로 인식할 수 있는 범위는 제1카메라 및 제2카메라(C1, C2)의 촬영 가능 범위가 겹쳐지는 A2 영역이 되며, A1 영역 및 A3 영역은 둘 중의 하나의 카메라에서만 영상 획득이 가능하여 2차원상의 위치만을 인식할 수 있을 뿐 3차원 좌표상의 위치를 인식할 수 없다. 이와 같이 3차원 좌표로 인식 할 수 있는 카메라로부터 가장 가까운 평면을 도면에서와 같이 가상평면으로 두고, 가상평면과 카메라 사이의 수직거리를 f, 가상평면과 손가락의 위치(P) 사이의 거리를 Z라고 하고, 두 카메라의 최대 광각을 Θ로 두고 Z를 계산해 보면, 먼저 f는 (식 1)과 같이 간단히 계산되며, 이를 이용하면, (식 2)를 이용하여 Z의 값을 계산해 낼 수 있다. 이 때 D 및 Θ는 항상 일정한 값을 가지므로, Δx 값만 계산되면 Z 값을 간단하게 계산할 수 있어 디스플레이부(160)와 두 손가락 끝(F1, F2)까지의 거리정보(z1, z2)를 구할 수 있게 된다.
(식 1)
f = D/2tan(Θ/2)
(식 2)
Z/ (f + Z) = Δx/D → Z = fΔx / (D-Δx) = dΔx / {2(D-Δx)tan(Θ /2)}
이러한 원리로 인식부(120)는 두 손가락 끝(F1, F2)이 서로 간에 접촉 또는 비접촉 상태인지, 디스플레이부(160)를 기준으로 두 손가락 끝(F1, F2)의 좌우, 상하, 전후방으로의 움직임을 인식하며, 이에 따라 제어부(150)는 상기 움직임에 해당하는 미리 약속된 인터페이스기능을 실행시킬 수 있다. 특히, 양안시차는 디스플레이부(160)와 두 손가락 끝(F1, F2)간의 거리(M)를 파악하기 위한 것으로, 이를 이용하여 인식부(120)가 두 손가락 끝(F1, F2)의 움직임을 디스플레이부(160)와 평행한 평면상의 움직임과 디스플레이부(160)와 수직 방향의 움직임으로 구분하여 인식함에 따라, 즉 두 손가락 끝(F1, F2)의 움직임을 읽어 3차원 좌표로 인식함에 따라, 단말기(100)는 3D 환경에 대한 인터페이스기능을 실행시킬 수 있다. 이는 3D 디스플레이로 제공되는 3D 가상공간에서 다양한 인터페이스가 가능하도록 하되, 보다 간단한 방법으로 인터페이스가 가능하도록 하기 위한 것으로, 이에 따라 단말기(100)의 제조 비용이 최소화될 수 있다.
이하, 판단부(140)가 3D 마우스의 인터페이스기능을 판단하는 경우를 살펴보면 다음과 같다. 본 발명의 일실시예에서, 3D 마우스의 인터페이스기능은 포인터이동기능, 클릭기능, 더블클릭기능, 드래그기능 및 화면확대/축소기능을 포함하며, 이외에도 추가적인 기능을 더 포함할 수도 있다.
먼저, 판단부(140)는 인식부(120)에서 인식된 두 손가락 끝(F1, F2)이 서로 비접촉된 상태로 이동하면, 이는 디스플레이부(160)에 의해 가시화된 3D 가상공간에서 마우스 포인터(Mouse Pointer)(P)를 이동하는 포인터이동기능으로 판단한다. 즉, 포인터이동기능은 두 손가락 끝(F1, F2)이 서로 떨어진 형태일 경우, 마우스 포인터(P)를 이동시키는 기능으로서 정의된다. 일예로, 두 손가락 끝(F1, F2)이 떨어진 상태로 x, y, z축상에서 이동하면, 3D 가상공간에서 마우스 포인터(P)를 이동시킬 수 있다. 여기서, 디스플레이부(160)에 디스플레이되는 마우스 포인터(P)는 손모양의 오브젝트로 제공할 수도 있고, 또는 사용자의 두 손가락 끝(F1, F2)간의 거리(M), 즉 두 손가락 끝(F1, F2)의 접촉 및 비접촉 상태와 동일하게 움직이는 손모양의 오브젝트로 제공할 수도 있다. 상기와 같이, 두 손가락 끝(F1, F2)의 움직임과 동일하게 움직이는 마우스 포인터(P)를 제공하면 사용자가 3D 마우스 인터페이스기능의 실현 방법을 직관적으로 쉽게 익힐 수 있다.
다음으로, 판단부(140)는 인식부(120)에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉되면(D가 0인 경우), 마우스 포인터(P)로 클릭(Click)하는 클릭기능으로 판단한다. 만약, 사용자가 3D 가상공간에서 원하는 위치로 마우스 포인터(P)를 이동시키기 위해 두 손가락 끝(F1, F2)이 서로 떨어진 상태를 유지하면서 움직이다가, 3D 가상공간 에서의 오브젝트(예를 들어, 특정 아이콘(Icon), 메뉴, 캐릭터 등으로 3D 가상공간 내에 배치된 오브젝트)상에서 두 손가락 끝(F1, F2)을 서로 접촉시키면 상기 오브젝트를 선택할 수 있다.
또한, 판단부(140)는 인식부(120)에서 인식된 두 손가락 끝(F1, F2)이 연속 2회 접촉되면, 마우스 포인터(P)로 더블 클릭(Double Click)하는 더블클릭기능으로 판단한다. 즉, 마우스 포인터(P)가 아이콘상에 위치한 후 두 손가락 끝(F1, F2)을 연속 2회 접촉시키면 상기 아이콘에 해당하는 어플리케이션을 실행시킬 수 있다.
또, 판단부(140)는 인식부(120)에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉된 상태로 이동하면, 이는 디스플레이부(160)에 의해 가시화된 3D 가상공간에서 오브젝트(Object)를 이동시키는 드래그(Drag)기능으로 판단한다. 이러한 기능은 3D 가상공간에 제공되는 아이콘(Icon)이나 파일, 명령바(Command Bar), 캐릭터와 같은 오브젝트의 이동을 용이하게 하므로, 오브젝트가 사용자의 명령에 따라서 3D 가상공간 내를 자유롭게 이동할 수 있다.
또한, 판단부(140)는 인식부(120)에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉한 상태로 회전하는 경우, 이는 디스플레이부(160)에 의해 가시화된 3D 가상공간에서 오브젝트를 회전시키는 기능, 즉 두 손가락 끝(F1, F2)의 위치에 대응되는 오브젝트에 대한 회전기능으로 판단한다. 이러한 기능을 응용하면 두 손가락 끝(F1, F2)의 회전에 따라 3D 가상공간에서 원하는 각도로 자신의 캐릭터를 회전시켜 확인할 수 있는 등 사용자에게 직관적인 UI를 제공할 수 있다.
또, 판단부(140)는 인식부(120)에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉된 상태로 디스플레이부(160)와 수직(z축) 방향으로 이동하는 경우, 사용자와의 거리가 멀어지면 화면이 축소되는 화면축소기능으로, 상기 사용자와의 거리가 가까워지면 화면이 확대되는 화면확대기능으로 판단한다. 이는 종래의 마우스 휠(Mouse Wheel)을 위 또는 아래로 굴려 화면을 확대 또는 축소하는 기능으로, 이러한 기능을 구현하기 위해서 두 손가락 끝(F1, F2)을 수직 방향으로 이동하여 화면을 줌아웃(Zoom Out) 및 줌인(Zoom In)함에 따라 3D 가상공간 내 오브젝트를 감상할 수 있다.
전술한 바와 같이, 공간상(3차원 좌표계)에서의 두 손가락 끝(F1, F2)의 움직임을 3D 가상공간의 좌표계에 대응시켜 해당하는 기능을 판단하여 구현함으로써, 별도의 3D 마우스와 같은 장비가 필요 없어 단말기(100)의 휴대성 확보가 용이하고, 단순히 한 손만을 이용하여 3D 환경에 대하여 입력을 할 수 있으므로 3D 가상공간에서 오브젝트나 어플리케이션 선택하기, 이동시키기, 실행시키기, 회전시키기, 화면확대/축소시키기 등과 같은 다양한 명령들을 손쉽게 실행시킬 수 있는 동시에 보다 자유로운 조작이 가능하며, 보다 직관적인 3D 마우스의 인터페이스기능을 구현할 수 있는 이점이 있다. 또한, 전술한 3D 마우스의 인터페이스기능 외에도 보다 다양한 인터페이스기능의 구현이 가능하므로 3차원 공간상의 위치이동에 따른 많은 제어명령을 부여할 수 있다.
한편, 디스플레이부(160)는 전술한 기능들이 영상 또는 동영상 등을 2차원적으로 표시하는 2D 디스플레이에서도 구현될 수도 있으며, 이에 관해서는 하기에서 살펴보기로 한다.
<방법에 대한 설명>
본 발명의 일실시예에 따른 손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법에 대해서 도 3에 도시된 흐름도와 더불어 도 4a 내지 도 5f에 도시된 예시도를 참조하여 설명하되, 편의상 순서를 붙여 설명한다.
1. 촬영단계<S310>
제1카메라(111) 및 제2카메라(112)로 구성된 촬영부(110)로 사용자의 두 손가락 끝(F1, F2)을 촬영하여(S311) 제1영상(I1) 및 제2영상(I2)을 생성한다(S312). 촬영에 관해서는 앞서 설명하였는바, 생략하기로 한다.
2. 인식단계<S320>
상기 단계 S310에서 생성된 상기 제1영상(I1) 및 제2영상(I2)을 기초로 3차원 좌표계에서의 두 손가락 끝(F1, F2)의 움직임을 인식한다. 즉, 2차원 영상(I1, I2)에서 두 손가락 끝(F1, F2)의 위치를 기초로 두 손가락 끝(F1, F2)의 위치를 3차원 좌표계로 인식하고, 3차원 좌표계에서의 두 손가락 끝(F1, F2)의 위치 변화를 기초로 두 손가락 끝(F1, F2)의 움직임을 인식하는 것이다. 여기서, 2차원 영상(I1, I2)을 3차원 영상(I3)으로 변환시키기 위해서는 먼저, 두 카메라(111, 112)를 이용하여 생성된 두 영상(I1, I2)에서의 위치좌표를 인식한다(S321). 그리고 2차원상의 두 손가락 끝(F1, F2)의 위치정보를 추정한 후에는 양안시차추정방법을 이용하여 디스플레이부(160)와 두 손가락 끝(F1, F2)까지의 거리정보(z1, z2)를 계산한다(S322). 다음에는 두 영상(I1, I2)으로부터 추정한 6개의 좌표인 (x11, y11, 0), (x12, y12, 0), (x21, y21, 0), (x22, y22, 0), (0, 0, z1), (0, 0, z2)와 두 카메라(111, 112)의 렌즈의 중심거리(C) 및 초점거리(D)를 이용하여 두 손가락 끝(F1, F2)의 3차원상의 위치좌표인 (x1, y1, z1), (x2, y2, z2)를 구한다(S323). 이에 관하여 도 2a 내지 도 2c에서 살펴보았으므로, 자세한 설명은 생략하기로 한다.
2차원 영상(I1, I2)을 3차원 영상(I3)으로 변환시키는 것은 디스플레이부(160)와 두 손가락 끝(F1, F2)간의 거리(M)를 파악하기 위한 것으로, 이를 이용하여 인식부(120)는 두 손가락 끝(F1, F2)의 움직임을 디스플레이부(160)와 평행한 평면상의 움직임과 디스플레이부(160)와 수직 방향의 움직임으로 구분하여 인식한다.
3. 판단단계<S330>
상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)의 움직임에 해당하는 기능을 판단한다. 이를 위해, 두 손가락 끝(F1, F2)의 움직임에 따른 기능이 구현되도록 상기 단계 S310 이전에 단말기(100)에는 미리 인터페이스기능별로 정의된 두 손가락 끝(F1, F2)의 움직임 정보가 저장되어 있는 것이 바람직하다. 여기서, 두 손가락 끝(F1, F2)의 위치 변화가 미리 구현할 수 있도록 설정된 인터페이스기능에 해당하지 않는 경우, 사용자는 두 손가락 끝(F1, F2)의 움직임이 유효한 인터페이스기능에 해당하도록 다시 움직이면 된다(S331).
본 발명에서 디스플레이부(160)는 3D 입체영상을 제공하는 3D 디스플레이로 제공되므로, 상기 단계 S330에서 판단되는 기능은 디스플레이부(160)를 통하여 가시화되는 3D 가상공간을 제어하기 위한 기능이고, 3차원 좌표계에서의 두 손가락 끝(F1, F2)의 움직임을 3D 가상공간의 좌표계에 대응시켜 해당하는 기능을 판단한다. 그리고 판단된 상기 기능은 3D 마우스의 인터페이스기능으로, 포인터이동기능, 클릭기능, 더블클릭기능, 드래그기능, 회전기능, 화면확대/축소기능을 실행시킬 수 있다.
4. 출력단계<S340>
상기 단계 S330에서 판단된 기능을 구현하기 위한 제어신호를 출력한다.
5. 디스플레이단계<S350>
상기 단계 S340에 의해 구현된 상기 기능을 디스플레이부(160)에 시각화하여 사용자에게 제공한다.
이하, 상기 단계 S330에서의 판단에 따른 기능 구현에 관하여 살펴보기로 하되, 먼저 디스플레이부(160)가 3D 디스플레이로 제공됨에 따른 3D 마우스의 인터페이스기능에 관하여 살펴보기로 한다.
상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 비접촉된 상태로 이동하면, 이는 디스플레이부(160)에 의해 가시화된 3D 가상공간에서 마우스 포인터(P)를 이동하는 포인터이동기능으로 판단한다. 즉, 도 4a에 도시된 바와 같이 사용자가 두 손가락 끝(F1, F2)이 서로 맞닿지 않도록 소정거리를 유지한 채로 공간에서 움직이면, 상기 움직임이 3D 가상공간의 좌표계(x, y, z축상)에 대응되어 두 손가락 끝(F1, F2)의 처음 위치에서 이동한 위치만큼 3D 가상공간에서 마우스 포인터(P)가 움직이게 된다.
그리고 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉되면, 디스플레이부(160)를 통해 가시화된 3D 가상공간에서 마우스 포인터(P)로 클릭하는 클릭기능으로 판단한다. 일예로, 4b에 도시된 바와 같이 가시화된 3D 가상공간에 여러 아이콘들(B1, B2, B3,…)이 배치되어 있는데, 사용자가 여러 아이콘들(B1, B2, B3,…) 중 그림판 아이콘(B3)을 선택하려 하면, 포인터이동기능과 클릭기능을 이용하면 된다. 즉, 3D 가상공간의 좌표계(x, y, z축상)에서 마우스 포인터(P)가 그림판 아이콘(B3)상으로 위치하도록 두 손가락 끝(F1, F2)이 서로 떨어진 채로 움직인 후, 그림판 아이콘(B3)상에서 두 손가락 끝(F1, F2)을 접촉시키면 된다.
또, 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 연속 2회 접촉되면, 마우스 포인터(P)로 더블 클릭하는 더블클릭기능으로 판단한다. 도 4c에서 사용자가 여러 아이콘들(B1, B2, B3,…) 중 그림판 아이콘(B3)을 실행시키려 하면, 3D 가상공간에서 마우스 포인터(P)가 그림판 아이콘(B3)상으로 위치하도록 두 손가락 끝(F1, F2)이 서로 떨어진 채로 움직인 후, 그림판 아이콘(B3)상에서 두 손가락 끝(F1, F2)을 연속 2회 접촉시키면 된다. 그러면, 그림판 아이콘(B3)에 해당하는 어플리케이션이 실행된다.
그리고 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉된 상태로 공간상에서 이동하면, 이는 디스플레이부(160)에 의해 가시화된 3D 가상공간에서 오브젝트를 이동시키는 드래그기능으로 판단한다. 도 4d와 같이, 3D 가상공간의 중앙에 오브젝트(G)가 있는데, 오브젝트(G)를 z축에 따라 뒤쪽(도면상)으로 이동시키고자 하는 경우에는 두 손가락 끝(F1, F2)이 서로 떨어진 상태로 공간상에서 움직여 3D 가상공간에서 마우스 포인터(P)를 오브젝트(G)상으로 이동시킨 후, 두 손가락 끝(F1, F2)을 서로 맞닿도록 하여 디스플레이부(160) 측으로 이동하면, 오브젝트(G)가 선택된 후 뒤쪽으로 이동한다.
다음, 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉된 상태로 회전하는 경우, 이는 디스플레이부(160)에 의해 가시화된 3D 가상공간에서 오브젝트를 회전시키는 기능, 즉 두 손가락 끝(F1, F2)의 위치에 대응되는 오브젝트에 대한 회전기능으로 판단한다. 도 4e에 도시된 바와 같이, 3D 가상공간의 오브젝트(G)를 회전시키고자 하는 경우에는 마우스 포인터(P)가 오브젝트(G)상에 위치되도록 두 손가락 끝(F1, F2)을 이동시킨 후 두 손가락 끝(F1, F2)을 접촉시키고 나서, 3D 가상공간에서 오브젝트(G)가 회전되길 원하는 각도만큼 회전시키면 된다.
마지막으로, 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉된 상태로 디스플레이부(160)와 수직(z축) 방향으로 이동하는 경우, 사용자와의 거리가 멀어지면 화면이 축소되는 화면축소기능으로, 상기 사용자와의 거리가 가까워지면 화면이 확대되는 화면확대기능으로 판단한다. 도 4f에 도시된 예시도는 3D 가상공간에 오브젝트(G)가 서있는 화면을 보여준다. 100% 크기의 화면이 디스플레이된 상태에서 두 손가락 끝(F1, F2)을 맞닿게 한 후 사용자 측으로 움직이면, 200% 크기로 확대된 화면이 디스플레이된다. 그리고 화면이 200% 크기로 확대된 상태에서 두 손가락 끝(F1, F2)이 맞닿은 상태로 사용자의 반대측으로 움직이면, 150% 크기로 다시 축소된 화면이 디스플레이되므로, 오브젝트(G)를 확대 또는 축소하여 살펴볼 수 있다.
전술한 바와 같이, 3D 환경에서의 제어가 가능한 3D 인터페이스를 제공함에 따라서 사용자 입장에서는 복잡하고 비용 부담이 있는 별도의 인터페이스(3D 마우스 등) 없이 간단하게 본인의 손가락을 사용하여 기능들을 구현할 수 있고, 이로 인해 경제적인 부담이 없으며, 사용하기 편리하다.
한편, 전술한 인터페이스기능들은 2D 디스플레이에서 구현될 수도 있으므로, 하기에서는 이에 관해 살펴보기로 한다.
먼저, 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 비접촉된 상태로 디스플레이부(160)와 평행한 평면상에서 이동하면, 마우스 포인터(P)를 이동하는 포인터이동기능으로 판단한다. 도 5a에 도시된 바와 같이, 사용자가 두 손가락 끝(F1, F2)이 서로 맞닿지 않도록 소정거리를 유지한 채로 x축과 y축상에서 상하좌우로 움직이면, 두 손가락 끝(F1, F2)의 처음 위치에서 이동한 위치만큼 디스플레이부(160)의 화면상에서 마우스 포인터(P)가 움직이게 된다.
그리고 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉되면, 마우스 포인터(P)로 클릭하는 클릭기능으로 판단한다. 일예로, 디스플레이부(160)에 웹브라우저창(W)이 디스플레이되어 있는데 이 창(W)을 닫으려 하면, 도 5b에 도시된 바와 같이 사용자가 두 손가락 끝(F1, F2)이 서로 떨어진 상태로 x축과 y축상에서 X 버튼(닫기 버튼)상으로 마우스 포인터(P)를 이동시킨 후, 닫기 버튼상에서 두 손가락 끝(F1, F2)을 서로 맞닿도록 하면 된다.
또, 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 연속 2회 접촉되면, 마우스 포인터(P)로 더블 클릭하는 더블클릭기능으로 판단한다. 도 5c를 참조하면, 디스플레이부(160)의 바탕화면상에는 여러 아이콘들(A1, A2, A3)이 배치되어 있다. 여기서, 사용자가 여러 아이콘들(A, A2, A3) 중 그림판 아이콘(A3)을 실행시키려 하면, 디스플레이부(160)상에서 마우스 포인터(P)가 그림판 아이콘(A3)상으로 위치하도록 두 손가락 끝(F1, F2)이 서로 떨어진 채로 x축과 y축상에서 움직인 후, 그림판 아이콘(A3)상에서 두 손가락 끝(F1, F2)을 연속 2회 접촉시키면 된다. 그러면, 그림판 아이콘(A3)에 해당하는 어플리케이션이 실행된다.
또, 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉된 상태로 디스플레이부(160)와 평행한 평면상에서 이동하면, 오브젝트를 이동시키는 드래그기능으로 판단한다. 도 5d와 같이, A 폴더와 B 폴더가 있고 A 폴더 안에 1, 2, 3 파일이 위치하고 있는데, 3 파일을 B 폴더로 이동시키고자 하는 경우에는 두 손가락 끝(F1, F2)이 서로 떨어진 상태로 x축과 y축상에서 움직여 마우스 포인터(P)를 3 파일상으로 이동시키고, 3 파일상에서 두 손가락 끝(F1, F2)을 서로 맞닿도록 하여 두 손가락 끝(F1, F2)을 오른쪽 방향의(도면상) B 폴더로 드래그하면, 3 파일이 선택된 후 오른쪽 방향으로 이동하여 B 폴더 안으로 위치한다.
다음, 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉된 상태로 회전하는 경우, 두 손가락 끝(F1, F2)의 위치에 대응되는 오브젝트에 대한 회전기능으로 판단한다. 도 4e에 도시된 바와 같이, 사진을 회전시키고자 하는 경우에는 마우스 포인터(P)가 사진 상에 위치되도록 두 손가락 끝(F1, F2)을 이동시킨 후 두 손가락 끝(F1, F2)을 접촉시키고 나서 90도 회전시키면 90도만큼 사진이 회전하여 디스플레이된다.
마지막으로, 상기 단계 S320에서 인식된 두 손가락 끝(F1, F2)이 서로 접촉된 상태로 디스플레이부(160)와 수직 방향으로 이동하는 경우, 사용자와의 거리가 멀어지면 화면이 축소되는 화면축소기능으로, 사용자와의 거리가 가까워지면 화면이 확대되는 화면확대기능으로 판단한다. 도 5e에 도시된 예시도는 단말기(100)에서 사진을 볼 수 있는 프로그램을 실행시킨 후 디스플레이된 사진을 보여준다. 100% 크기의 사진이 디스플레이된 디스플레이부(160) 앞에서 두 손가락 끝(F1, F2)을 맞닿게 한 후 두 손가락 끝(F1, F2)과 디스플레이부(160)간의 거리가 멀어지도록 두 손가락 끝(F1, F2)을 사용자 측으로 움직이면, 200% 크기로 확대된 사진이 디스플레이부(160)상에 디스플레이된다. 그리고 사진이 200% 크기로 확대된 상태에서 두 손가락 끝(F1, F2)이 맞닿은 상태로 두 손가락 끝(F1, F2)과 디스플레이부(160)간의 거리가 가까워지도록 두 손가락 끝(F1, F2)을 사용자의 반대측으로 움직이면, 150% 크기로 다시 축소된 사진이 디스플레이부(160)상에 디스플레이된다. 다시 말해, 두 손가락 끝(F1, F2)이 접촉된 상태로 사용자 측과의 거리가 가까워지는 경우 판단부(140)가 화면확대기능임을 판단하여 디스플레이부(160)에 확대된 사진이 디스플레이되는 과정을 거치는 것이고, 두 손가락 끝(F1, F2)이 접촉된 상태로 사용자 측과의 거리가 멀어지는 경우 판단부(140)가 화면축소기능임을 판단하여 디스플레이부(160)에 축소된 사진이 디스플레이되는 과정을 거치는 것이다.
본 발명에 따른 3D 인터페이스를 제공하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 단말기
110: 촬영부 120: 인식부
130: 저장부 140: 판단부
150: 제어부 160: 디스플레이부

Claims (23)

  1. 제1카메라 및 제2카메라로 사용자의 두 손가락 끝을 촬영하여 제1영상 및 제2영상을 생성하는 촬영부;
    상기 촬영부에서 생성된 상기 제1영상 및 제2영상 각각에서의 상기 두 손가락 끝의 위치를 3차원 좌표계로 인식하고, 상기 3차원 좌표계에서의 상기 두 손가락의 끝의 위치 변화를 기초로 상기 두 손가락 끝의 움직임을 디스플레이부와 평행한 평면상의 움직임과 상기 디스플레이부와 수직 방향의 움직임으로 구분하여 인식하는 인식부;
    상기 인식부에서 인식된 상기 3차원 좌표계에서의 상기 두 손가락 끝의 움직임을, 디스플레이부를 통하여 가시화되는 3D 가상공간의 좌표계에 대응시켜, 해당하는 기능을 판단하는 판단부;
    상기 판단부에서 판단된 기능을 구현하기 위한 제어신호를 출력하는 제어부; 및
    상기 제어부에 의해 구현된 상기 기능을 시각화하여 3D 입체영상을 사용자에게 제공하는 디스플레이부를 포함하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 판단부는 상기 인식부에서 인식된 상기 두 손가락 끝이 서로 비접촉된 상태로 상기 디스플레이부와 평행한 평면상에서 이동하면, 마우스 포인터(Mouse Pointer)를 이동하는 포인터이동기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기.
  7. 제1항에 있어서,
    상기 판단부는 상기 인식부에서 인식된 상기 두 손가락 끝이 서로 접촉되면, 마우스 포인터로 클릭(Click)하는 클릭기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기.
  8. 제1항에 있어서,
    상기 판단부는 상기 인식부에서 인식된 상기 두 손가락 끝이 연속 2회 접촉되면, 마우스 포인터로 더블 클릭(Double Click)하는 더블클릭기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기.
  9. 제1항에 있어서,
    상기 판단부는 상기 인식부에서 인식된 상기 두 손가락 끝이 서로 접촉된 상태로 상기 디스플레이부와 평행한 평면상에서 이동하면, 오브젝트(Object)를 이동시키는 드래그(Drag)기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기.
  10. 제1항에 있어서,
    상기 판단부는 상기 인식부에서 인식된 상기 두 손가락 끝이 서로 접촉된 상태로 상기 디스플레이부와 수직 방향으로 이동하는 경우, 사용자와의 거리가 멀어지면 화면이 축소되는 화면축소기능으로, 상기 사용자와의 거리가 가까워지면 화면이 확대되는 화면확대기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기.
  11. 제1항에 있어서,
    상기 판단부는 상기 인식부에서 인식된 상기 두 손가락 끝이 서로 접촉한 상태로 회전하는 경우, 상기 두 손가락 끝의 위치에 대응되는 오브젝트에 대한 회전기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기.
  12. 제1카메라 및 제2카메라로 구성된 촬영부로 사용자의 두 손가락 끝을 촬영하여 제1영상 및 제2영상을 생성하는 촬영단계;
    상기 촬영단계에서 생성된 상기 제1영상 및 제2영상 각각에서의 상기 두 손가락 끝의 위치를 3차원 좌표계로 인식하고, 상기 3차원 좌표계에서의 상기 두 손가락의 끝의 위치 변화를 기초로 상기 두 손가락 끝의 움직임을 디스플레이부와 평행한 평면상의 움직임과 상기 디스플레이부와 수직 방향의 움직임으로 구분하여 인식하는 인식단계;
    상기 인식단계에서 인식된 상기 3차원 좌표계에서의 상기 두 손가락 끝의 움직임을, 3D 입체영상을 제공하는 디스플레이부를 통하여 가시화되는 3D 가상공간의 좌표계에 대응시켜, 해당하는 기능을 판단하는 판단단계;
    상기 판단단계에서 판단된 기능을 구현하기 위한 제어신호를 출력하는 출력단계; 및
    상기 출력단계에 의해 구현된 상기 기능을 디스플레이부에 시각화하여 사용자에게 제공하는 디스플레이단계를 포함하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 제12항에 있어서,
    상기 판단단계에서는 상기 인식단계에서 인식된 상기 두 손가락 끝이 서로 비접촉된 상태로 상기 디스플레이부와 평행한 평면상에서 이동하면, 마우스 포인터를 이동하는 포인터이동기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법.
  18. 제12항에 있어서,
    상기 판단단계에서는 상기 인식단계에서 인식된 상기 두 손가락 끝이 서로 접촉되면, 마우스 포인터로 클릭하는 클릭기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법.
  19. 제12항에 있어서,
    상기 판단단계에서는 상기 인식단계에서 인식된 상기 두 손가락 끝이 연속 2회 접촉되면, 마우스 포인터로 더블 클릭하는 더블클릭기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법.
  20. 제12항에 있어서,
    상기 판단단계에서는 상기 인식단계에서 인식된 상기 두 손가락 끝이 서로 접촉된 상태로 상기 디스플레이부와 평행한 평면상에서 이동하면, 오브젝트를 이동시키는 드래그기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법.
  21. 제12항에 있어서,
    상기 판단단계에서는 상기 인식단계에서 인식된 상기 두 손가락 끝이 서로 접촉된 상태로 상기 디스플레이부와 수직 방향으로 이동하는 경우, 사용자와의 거리가 멀어지면 화면이 축소되는 화면축소기능으로, 상기 사용자와의 거리가 가까워지면 화면이 확대되는 화면확대기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법.
  22. 제12항에 있어서,
    상기 판단단계에서는 상기 인식단계에서 인식된 상기 두 손가락 끝이 서로 접촉한 상태로 회전하는 경우, 상기 두 손가락 끝의 위치에 대응되는 오브젝트에 대한 회전기능으로 판단하는
    손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 방법.
  23. 제12항, 제17항 내지 제22항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020100071862A 2010-07-26 2010-07-26 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법 KR101196291B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100071862A KR101196291B1 (ko) 2010-07-26 2010-07-26 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100071862A KR101196291B1 (ko) 2010-07-26 2010-07-26 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120010374A KR20120010374A (ko) 2012-02-03
KR101196291B1 true KR101196291B1 (ko) 2012-11-09

Family

ID=45834875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100071862A KR101196291B1 (ko) 2010-07-26 2010-07-26 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법

Country Status (1)

Country Link
KR (1) KR101196291B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150041824A (ko) * 2013-10-10 2015-04-20 강익수 제스처를 이용한 인터페이스 장치
KR20190014839A (ko) 2017-08-04 2019-02-13 재단법인 다차원 스마트 아이티 융합시스템 연구단 비접촉 제스처 인식 시스템 및 그 방법
KR20210138414A (ko) 2020-05-12 2021-11-19 양경옥 스마트폰에 표시되는 목적층의 숫자로 엘리베이터 호출 및 운송부하 분석 장치 및 방법
KR20220006796A (ko) 2020-07-09 2022-01-18 양경옥 스마트폰의 목적층 숫자로 부터 엘리베이터를 호출하는 카메라를 구비한 엘리베이터의 제어장치 및 방법
KR20220013803A (ko) 2020-07-27 2022-02-04 양경옥 스마트폰 화면상의 목표 층수를 판독하는 카메라를 구비하여 승객 운송부하를 분석하는 엘리베이터의 제어 장치 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365083B1 (ko) * 2012-03-06 2014-02-21 모젼스랩(주) 모션 인식을 통한 인터페이스 장치 및 이의 제어방법
CN102981623B (zh) * 2012-11-30 2016-05-18 深圳先进技术研究院 触发输入指令的方法及系统
KR101465896B1 (ko) * 2013-09-26 2014-11-26 성균관대학교산학협력단 전면부 카메라 및 후면부 카메라를 이용하여 제어 명령을 생성하는 이동 단말
US10776618B2 (en) 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor
KR101671831B1 (ko) * 2016-04-11 2016-11-03 김수민 동작 인식 센서를 이용한 3차원 입력 장치
KR102325269B1 (ko) 2019-11-13 2021-11-12 주식회사 지엘 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템
KR20230031765A (ko) 2021-08-27 2023-03-07 주식회사 지엘 감각 전달이 가능한 핸드 트래킹 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783552B1 (ko) 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100853024B1 (ko) 2006-12-01 2008-08-20 엠텍비젼 주식회사 디스플레이의 영상 제어 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783552B1 (ko) 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100853024B1 (ko) 2006-12-01 2008-08-20 엠텍비젼 주식회사 디스플레이의 영상 제어 방법 및 그 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150041824A (ko) * 2013-10-10 2015-04-20 강익수 제스처를 이용한 인터페이스 장치
KR101579649B1 (ko) * 2013-10-10 2015-12-22 강익수 제스처를 이용한 인터페이스 장치
KR20190014839A (ko) 2017-08-04 2019-02-13 재단법인 다차원 스마트 아이티 융합시스템 연구단 비접촉 제스처 인식 시스템 및 그 방법
KR20210138414A (ko) 2020-05-12 2021-11-19 양경옥 스마트폰에 표시되는 목적층의 숫자로 엘리베이터 호출 및 운송부하 분석 장치 및 방법
KR20220006796A (ko) 2020-07-09 2022-01-18 양경옥 스마트폰의 목적층 숫자로 부터 엘리베이터를 호출하는 카메라를 구비한 엘리베이터의 제어장치 및 방법
KR20220013803A (ko) 2020-07-27 2022-02-04 양경옥 스마트폰 화면상의 목표 층수를 판독하는 카메라를 구비하여 승객 운송부하를 분석하는 엘리베이터의 제어 장치 및 방법

Also Published As

Publication number Publication date
KR20120010374A (ko) 2012-02-03

Similar Documents

Publication Publication Date Title
KR101196291B1 (ko) 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법
US20220084279A1 (en) Methods for manipulating objects in an environment
US20220382379A1 (en) Touch Free User Interface
US6594616B2 (en) System and method for providing a mobile input device
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110968187B (zh) 由外围设备启用的远程触摸检测
US10203837B2 (en) Multi-depth-interval refocusing method and apparatus and electronic device
WO2021097600A1 (zh) 一种隔空交互方法、装置和设备
JP2009278456A (ja) 映像表示装置
JP2012238293A (ja) 入力装置
Clark et al. Seamless interaction in space
JP2018005663A (ja) 情報処理装置、表示システム、プログラム
Kim et al. Oddeyecam: A sensing technique for body-centric peephole interaction using wfov rgb and nfov depth cameras
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
JP6699406B2 (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム
KR20160055407A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
Zhang Vision-based interaction with fingers and papers
KR20150137908A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR101591038B1 (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20160017020A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20160013501A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20160002620U (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20150142555A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20160080107A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20160014091A (ko) 홀로그래피 터치 기술 및 프로젝터 터치 기술

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee