KR101242848B1 - 가상터치스크린을 생성과 제어하는 장치 - Google Patents
가상터치스크린을 생성과 제어하는 장치 Download PDFInfo
- Publication number
- KR101242848B1 KR101242848B1 KR1020110086125A KR20110086125A KR101242848B1 KR 101242848 B1 KR101242848 B1 KR 101242848B1 KR 1020110086125 A KR1020110086125 A KR 1020110086125A KR 20110086125 A KR20110086125 A KR 20110086125A KR 101242848 B1 KR101242848 B1 KR 101242848B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual touch
- virtual
- touch screen
- user
- body part
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 가상터치스크린을 생성과 제어하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 3차원스캐너에서 입력받은 3차원좌표영상을 이용하여 신체부위를 인식한 후, 사용자의 제스처인식을 통하여, 가상터치스크린의 생성을 할 수 있으며, 가상터치스크린 공간상에서 사용자의 손이나 손가락의 제어에 의하여 모니터화면에 나타난 커서의 움직임으로 모니터화면의 제어를 손쉽게 할 수 있다.
상기와 같은 발명에 따르면, 기존의 제스처인식에서 불분명한 제스처의 동작으로 인한 제스처 인식의 오류, 거실과 같은 다수의 사용자가 있는 자유로운 장소에서 제스처인식의 제어로 인한 부자연스러운 활동 등을 감소시키며, 제스처를 이용한 모니터화면의 제어를 더욱 간편하게 실시할 수 있다.
상기와 같은 발명에 따르면, 기존의 제스처인식에서 불분명한 제스처의 동작으로 인한 제스처 인식의 오류, 거실과 같은 다수의 사용자가 있는 자유로운 장소에서 제스처인식의 제어로 인한 부자연스러운 활동 등을 감소시키며, 제스처를 이용한 모니터화면의 제어를 더욱 간편하게 실시할 수 있다.
Description
본 발명은 전자기기의 모니터화면과 상호작용을 하는 가상터치스크린을 생성과 제어하는 장치 및 방법에 대한 것으로서 보다 상세하게는 실시간으로 물체의 거리를 측정하는 3차원 스캐너로 입력된 3차원 영상정보를 이용하여 사용자의 제스처를 인식하여 사용자의 전면의 공간상에 가상터치스크린을 생성한 후에 사용자는 가상터치제어신체부위를 이용하여 가상공간을 터치 제어하며, 사용자의 가상터치제어신체부위 좌표에 대한 정보를 모니터화면의 커서좌표 정보에 활용하여 모니터화면을 제어하는 장치 및 방법에 대한 것이다.
종래, 디스플레이를 하는 전자기기들은 인간과의 정보를 제어하는 주요 수단으로 마우스, 키보드, 터치스크린, 리모컨 등이 있으며, 리모컨은 일반 가전의 모니터화면의 제어 및 다양한 전자기기의 단순한 제어에 휴대용으로 널리 사용되고 있다. 그러나 최근에는 스마트텔레비전과 같은 전자기기의 출현으로 사용자는 광범위한 정보에 대응하기 위하여 리모컨기능과 함께 키보드의 기능을 사용자들이 요구하게 되었다.
이러한 문제점을 해결하고자 자연스러운 사용자의 동작(제스처)에 기반을 둔 동작인식 분야의 개발이 진행되고 있으며 실시간 비 접촉식 물체의 3차원 측정 방법들이 사용된다. 주요 방법으로는 스테레오 비전 기법, 패턴프로젝터와 적외선카메라를 이용한 공간부호화 3차원 형상 측정 기법, TOF(Time of Flight) 카메라를 이용한 다양한 기법들로 구성할 수 있으며, 그리고 공간부호화 3차원 형상 측정 기법에 사용되는 패턴프로젝터의 방식으로는 랜덤 스펙클 패턴유형, 격자 패턴유형 등을 사용하여 물체의 3차원좌표에 대한 영상을 입력받고 있다.
도 1a는 종래 예에 따른 3차원스캐너를 이용한 제스처인식 장치를 도시한 개략도에 관한 것으로 적외선 패턴프로젝터(111), 적외선카메라(112)를 이용하여 3차원좌표영상(212)을 추출한 후, 3차원좌표영상을 이용하여 사용자의 신체부위를 추출 후, 동작인식을 하는 것을 도시한 개략도로서 일 예는 다음과 같다.
3차원스캐너(110)는 적외선 패턴프로젝터(111)와 적외선카메라(112)로 구성되어 있으며, 적외선 패턴프로젝터(111)는 사용자에 대한 3차원영상정보를 추출하기 위하여 적외선 광을 이용한 도 1d와 같은 유형의 패턴(142, 143, 144, 145)을 사용자에 조사하며, 조사되는 패턴의 유형은 다양한 방법으로 구현이 가능하다. 또한, 적외선 패턴프로젝터(111)에서 조사되는 적외선 광의 패턴은 사용자(10)의 표면에 조사되며, 사용자(10)의 표면에 투영된 패턴 영상은 적외선카메라(112)로 3차원영상정보로 입력된다.
또한, 3차원영상정보는 영상정보처리수단(200)으로 전달되며, 영상정보처리수단(200)은 영상전처리부(210), 신체부위인식부(220), 제스처인식부(230), 터치신호통신부(240)로 구성되어 있다.
영상정보처리수단(200)에서 영상전처리부(210)는 3차원영상정보를 이용하여 3차원좌표를 산출하여 3차원좌표영상(212)을 구성하며, 신체부위인식부(220)는 3차원좌표영상(212)를 이용하여 사용자(10) 신체부위 좌표에 대한 정보를 추출한 후에 신체부위영상(250)을 구성한다.
도 1b는 사용자의 머리(42), 오른손(80), 왼손(90), 오른발(44), 왼발(45) 등을 인식한 신체부위영상이며, 도 1c는 사용자의 손가락으로 부호 61 내지 70을 구분한 신체부위영상이다.
영상정보처리수단(200)에서 제스처인식부(230)는 사용자의 신체부위영상(250)의 시간에 따른 사용자 신체부위 상태를 검사하여 사용자의 제스처상태를 인식하여, 사용자가 모니터화면(701) 제어에 적합한 제스처를 행하고 있는지를 감지하며, 모니터화면(701) 제어에 적합한 제스처를 실시할 경우 이를 영상정보처리수단(200)의 터치신호통신부(240)를 통하여 디스플레이수단(700)의 디스플레이제어부(710)로 신호를 전달하며, 디스플레이수단(700)의 디스플레이제어부(710)는 영상정보처리수단(200)에서 입력받은 신호를 이용하여 모니터화면(701)의 제어를 한다.
예를 들면, 사용자가 손을 좌우로 흔드는 제스처로 모니터화면을 스크롤하는 명령을 제어 시 3차원스캐너(110)는 사용자에 대한 3차원영상정보를 연속적으로 입력받아 영상정보처리수단(200)으로 전달하며, 영상정보처리수단(200)의 영상전처리부(210)는 3차원영상정보를 이용하여 3차원좌표영상(212)을 구성하며, 영상정보처리수단(200)의 신체부위인식부(220)는 3차원좌표영상(212)를 이용하여 사용자(10) 신체부위의 좌표 정보를 추출하여 신체부위영상(250)을 구성한다.
영상정보처리수단(200)의 제스처인식부(230)는 시간에 따른 손의 좌표를 분석하여 손을 좌우로 흔드는 제스처로 판명이 될 경우 이를 영상정보처리수단(200)의 터치신호통신부(240)를 통하여 디스플레이수단(700)의 디스플레이제어부(710)로 모니터화면을 스크롤하는 신호를 통보하며, 디스플레이수단(700)의 디스플레이제어부(710)는 영상정보처리수단(200)에서 입력받은 신호를 이용하여 모니터화면(701)의 제어를 할 수 있다.
이와 같은 동작인식을 이용한 실시간 제스처인식 방법은 종래 기술에 개시되어 있으며, 상술한 바와 같은 내용에 대한 상세한 내용은 다음의 참고문헌을 참조하면 상세히 알 수 있을 것이므로 자세한 설명은 생략한다.
참조문서
1.2008년 4월 4일 출원된 한국 특허출원 제10 2008-0056721호인 발명의 명칭이 "물체복원 방법 및 시스템"
2. 미국특허 제7,340,077 B2호인 발명의 명칭이 "GESTURE RECOGNITION SYSTEM USING DEOYH PERCEPTIVE SENSORS"
3. Youding Zhu Dariush, B. Fujimura, K. "Controlled human pose estimation from depth image streams", Computer Vision and Pattern Recognition Workshops, 2008.
이러한 사용자의 자연스러운 제스처를 기반으로 모니터화면을 제어하는 시스템은 제어가 간편하고 기존의 단순한 기능의 리모컨보다 많은 정보를 사용자의 관점에서 손쉽고 간편하게 전달할 수 있으므로 편리하다.
그러나 사용자는 같은 유형의 제스처도 사용자 개인의 습관이나 행동에서 나오는 동작에 대한 약간의 차이점이 있으며, 여러 가지 제스처를 학습 시에는 사용자의 혼란과 불편함 그리고 제스처 인식시의 오류를 가져올 수 있다.
예를 들면 손의 상하이동으로 모니터화면을 제어 시 건장한, 어린이나 여자, 노약자들의 손의 좌우 제스처의 크기는 틀리다.
또한, 자연스러운 제스처에 의한 제어는 문제가 없으나 사용자들의 행동에 지장을 주어서는 안 되며, 예로 자유스러운 거실 공간에서 손의 좌우 제스처로 모니터화면을 제어할 경우에 거실에 있는 사용자들은 다른 목적으로 손의 좌우 제스처를 실시하지 못하는 부자연스러운 공간으로 변형되어 사용자의 활동을 제약하는 단점이 발생한다.
그러므로 이러한 문제점을 해결하여 자유로운 제스처를 이용한 전자 기기를 제어하는 방법에는 시간과 노력이 필요하다.
현재 다양한 모바일 기기의 발전으로 인하여 대부분의 모바일 기기는 터치스크린을 이용하여 사용자의 정보 입력 기능을 실시하고 있으며, 간단한 학습에 의하여 손가락으로 제어를 편리하게 기기를 제어할 수 있다.
본 발명은 기존의 제스처에 의한 전자기기의 제어 시 발생하는 문제점을 도출하여 해결하고자 하는 것으로서 지금까지 사용자들에게 인지되어 왔던 터치스크린 방법을 이용하여 간단한 학습과 단순한 제스처를 이용하여 전자기기의 모니터화면의 제어를 오류 없이 실시를 목적으로 하기 위한 제스처 기반의 가상터치스크린을 생성과 제어하는 장치 및 방법에 대한 것이다.
또한, 본 발명은 가상터치스크린을 제어 시 사용자의 편의성을 도모하고자 가상터치스크린 크기와 가상터치공간유형 등의 설정이 가능하다.
바람직한 가상터치스크린 생성 및 제어 장치의 제 1 실시 예는 다음과 같다.
사용자의 3차원영상정보를 연속적으로 입력받는 3차원영상입력수단;
상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상과 신체부위 좌표정보의 추출 및 제스처인식을 하는 영상정보처리수단;
상기 사용자의 제스처검색을 하여 가상터치개시제스처가 발생시 가상터치스크린을 생성한 후, 가상터치제어신체부위 좌표를 이용하여 가상터치스크린을 제어하여 모니터화면을 제어하며, 사용자가 가상터치스크린의 생성 및 제어에 필요한 환경을 설정하는 가상터치환경설정부로 이루어진 가상터치생성제어수단; 및
상기 사용자의 가상터치스크린 제어 상태를 모니터화면에 사용자 커서로 나타나게 하는 디스플레이수단을 구비하는 것을 특징으로 하는 가상터치스크린 생성 및 제어 장치.
본 발명의 목적을 달성하기 위한 가상터치스크린 생성 및 제어 장치의 제 1 실시 예를 상세히 설명하면 다음과 같다.
상기 3차원영상입력수단에서 3차원영상정보는, 사용자의 전면에 상호 임의 거리를 유지하면서 설치되어 있는 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받으며, 3차원스캐너는 하나 이상의 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받는다
상기 영상정보처리수단에서 3차원좌표영상은, 3차원영상입력수단에서 입력된 3차원영상정보를 이용하여 3차원좌표영상을 구성하는 영상전처리부를 구비하고 있으며, 3차원좌표영상을 이용하여 사용자의 신체부위 좌표를 추출한 후 신체부위영상을 구성하고 신체부위 좌표를 제공하는 신체부위인식부를 구비하고 있다.
상기 영상정보처리수단에서는 디스플레이수단의 디스플레이제어부와 통신하는 터치신호통신부를 영상정보처리수단에서 추가적으로 구비하고 있다.
상기 영상정보처리수단에서 제스처인식은, 시간에 따른 사용자의 신체부위 좌표정보를 이용하여 설정된 제스처를 인식하는 제스처인식부를 구비하고 있다.
상기 가상터치생성제어수단에서 제스처검색은, 영상정보처리수단에서 인식된 사용자의 제스처 중에서 가상터치개시제스처를 검색하는 가상터치개시제스처인식부를 구비하고 있으며, 상기 가상터치생성제어수단에서 가상터치스크린 생성을 위하여 사용자의 가상터치개시제스처를 기준으로 가상터치스크린 중심좌표를 산출하여 가상터치스크린을 생성하는 가상터치영역생성부를 구비하고 있다.
그리고 가상터치생성제어수단에서 가상터치스크린 생성은, 사용자에 의하여 가상터치환경설정부에서 기준신체부위를 추가적으로 구비하여 사용자의 위치가 변경 시 가상터치스크린의 이동을 위하여 신체부위 좌표정보에서 기준신체부위 중심좌표와 가상터치스크린의 중심좌표와의 변위차를 산출하는 것을 특징으로 한다.
상기 가상터치생성제어수단에서 가상터치스크린의 생성은, 한 명 이상의 사용자에 의하여 하나 이상의 가상터치스크린을 생성하는 가상터치영역생성부를 구비하고 있으며, 상기 가상터치영역생성부에서 가상터치스크린은, 사용자에 의하여 선택적으로 가상터치스크린의 크기 및 하나 이상의 가상터치활동영역을 설정할 수 있다.
상기 가상터치스크린에서 가상터치활동영역은, 사용자에 의하여 모니터화면의 커서활동영역의 설정 및 가상터치활동영역에서 가상터치제어신체부위를 설정할 수 있으며, 사용자에 의하여 가상터치활동영역에서 하나 이상의 가상터치공간유형의 설정 및 모니터화면에 하나 이상의 커서형상을 설정할 수 있다.
상기 가상터치활동영역에서 모니터화면 커서형상은, 사용자에 의하여 선택적으로 "회색커서형상", "커서표시형상", "커서터치형상", "더블터치형상"를 구비하고 있으며, 사용자에 의하여 커서형상을 추가적으로 구비할 수 있다.
그리고 가상터치활동영역에서 가상터치공간유형의 설정은, 사용자에 의하여 가상터치공간유형의 개수 및 치수를 설정할 수 있다.
상기 가상터치생성제어수단의 가상터치영역생성은, 가상터치스크린 공간의 생성을 모니터화면에 사용자 가상메뉴로 표시할 수 있으며, 상기 가상터치생성제어수단에서 가상터치스크린의 제어는, 상기 가상터치제어신체부위 좌표 상태를 추출하기 위하여 영상정보처리수단으로부터 사용자의 신체부위 좌표정보를 연속적으로 입력받는다.
상기 가상터치생성제어수단에서 가상터치스크린의 제어는, 사용자의 위치가 변경 시 가상터치스크린의 이동을 위하여 가상터치스크린 생성에서 산출한 기준신체부위 중심좌표와 가상터치스크린 중심좌표와의 변위차를 이용하여 사용자가 움직임에 대한 기준신체부위 중심좌표를 신체부위 좌표정보에서 추출하여 가상터치스크린 영역에 대한 이동을 실시할 수 있으며, 가상터치환경설정부에서 설정된 기준신체부위가 없거나 변위차를 사용하지 않을 시에는 사용자의 가상터치개시제스처를 기준으로 생성된 가상터치스크린이 사용자가 이동 시에도 가상터치스크린 영역을 고정되는 것을 특징으로 한다.
상기 가상터치생성제어수단에서 가상터치스크린의 제어는, 상기 신체부위 좌표정보에서 가상터치스크린 영역에 있는 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, 가상터치제어신체부위의 3차원좌표를 모니터화면의 제어를 위해 커서좌표 및 커서형상으로 변환하는 가상터치제어부를 구비하고 있다.
상기 가상터치스크린의 제어에서 모니터화면의 커서좌표는, 신체부위 좌표정보에서 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, x, y 좌표 정보를 이용하여 모니터화면의 x, y 좌표로 변환되며, 모니터화면의 커서형상은, 신체부위 좌표정보에서 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, z좌표 정보를 이용하여 가상터치환경설정부에서 설정된 모니터화면의 커서형상으로 변환된다.
또한, 모니터화면 제어에서 커서형상은, 가상터치제어신체부위 좌표가 가상터치스크린 영역을 이탈시 모니터화면에 커서형상을 표시하지 않는 것을 특징으로 한다.
상기 가상터치생성제어수단에서, 사용자가 가상터치스크린종료를 실시하기 위하여 가상터치종료부를 추가적으로 구비하고 있으며, 상기 가상터치종료부는, 가상터치사용자메뉴선택에 의한 종료, 가상터치 종료제스처에 의한 종료, 가상터치스크린 영역에서 가상터치제어신체부위가 없으면 시간의 경과에 따른 종료를 가상터치환경설정부에서 사용자가 선택적으로 설정할 수 있다.
상기 가상터치생성제어수단에서 가상터치환경설정부는, 사용자의 편의성을 도모하기 위하여 가상터치스크린의 환경의 설정, 가상터치스크린의 환경의 변경, 가상터치스크린의 환경의 추가 및 가상터치스크린의 환경을 저장할 수 있으며, 상기 가상터치생성제어수단에서 가상터치환경설정부는, 사용자의 선택에 따라 가상터치스크린 사용자수, 가상터치제어신체부위, 가상터치개시제스처유형, 기준신체부위, 가상터치스크린 영역, 가상터치스크린 개수, 모니터화면 커서형상, 가상터치스크린 종료유형에 대한 설정을 할 수 있다.
상기 디스플레이수단에서 디스플레이제어부는, 가상터치스크린에서 가상터치제어신체부위 좌표를 모니터화면에 커서형상 및 커서좌표로 변환하여 화면의 제어를 할 수 있으며, 상기 디스플레이수단에서 모니터화면은, 영상을 표시하는 전자기기로서 LCD 모니터, 영상프로젝터 등으로 구성되는 것을 특징으로 한다.
바람직한 가상터치스크린 생성 및 제어 방법의 제 1 실시 예는 다음과 같다.
사용자가 가상터치스크린의 생성 및 제어에 필요한 환경을 설정하는 가상터치환경설정부를 구비하는 제 1과정;
상기 사용자의 3차원영상정보를 연속적으로 입력받는 제 2과정;
상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상과 신체부위 좌표정보의 추출 및 제스처인식 하는 제 3과정;
상기 인식된 사용자의 제스처를 검색하여 가상터치개시제스처가 발생시 사용자의 가상터치개시신체부위 좌표를 기준으로 가상터치스크린을 생성하는 제 4과정; 및
상기 사용자의 가상터치제어신체부위 좌표를 이용하여 가상터치스크린을 제어하여 모니터화면을 제어하는 제 5과정을 구비하는 것을 특징으로 하는 가상터치스크린 생성 및 제어 방법.
본 발명의 목적을 달성하기 위한 가상터치스크린 생성 및 제어 방법의 제 1 실시 예를 상세히 설명하면 다음과 같다.
상기 제 2과정에서 3차원영상정보는, 사용자의 전면에 상호 임의 거리를 유지하면서 설치되어 있는 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받으며, 3차원스캐너는, 하나 이상의 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받는다.
상기 제 3과정에서 3차원좌표영상은, 상기 입력된 3차원영상정보를 이용하여 3차원좌표영상을 구성하며, 3차원좌표영상을 이용하여 사용자의 신체부위 좌표를 추출한 후 신체부위영상을 구성하고 신체부위 좌표를 제공하는 것을 특징으로 한다.
상기 제 5과정에서, 상기 모니터화면에 커서좌표 및 커서형상을 통신하는 터치신호통신부를 추가적으로 구비하고 있다.
상기 제 3과정에서 제스처인식은, 시간에 따른 사용자 신체부위 좌표정보를 이용하여 설정된 제스처를 인식하는 것을 특징으로 한다.
상기 제 4과정에서 제스처검색은, 상기 인식된 사용자의 제스처 중에서 가상터치개시제스처를 검색하며, 상기 제 4과정에서 가상터치스크린 생성은, 사용자의 가상터치개시제스처를 기준으로 가상터치스크린 중심좌표를 산출하여 가상터치스크린을 생성할 수 있다.
그리고 제 4과정에서 가상터치스크린의 생성은, 사용자에 의하여 가상터치환경설정부에서 기준신체부위를 추가적으로 구비하여 사용자의 위치가 변경 시 가상터치스크린의 이동을 위하여 신체부위 좌표정보에서 기준신체부위 중심좌표와 가상터치스크린의 중심좌표와의 변위차를 산출하는 것을 특징으로 한다.
상기 제 4과정에서 가상터치스크린의 생성은, 한 명 이상의 사용자에 의하여 하나 이상의 가상터치스크린을 생성할 수 있으며, 상기 가상터치영역생성에서 가상터치스크린은, 사용자에 의하여 선택적으로 가상터치스크린의 크기 및 하나 이상의 가상터치활동영역을 설정할 수 있다.
상기 가상터치스크린에서 가상터치활동영역은, 상기 사용자에 의하여 모니터화면의 커서활동영역의 설정 및 가상터치활동영역에서 가상터치제어신체부위를 설정할 수 있으며, 사용자에 의하여 가상터치활동영역에서 하나 이상의 가상터치공간유형의 설정 및 모니터화면에 하나 이상의 커서형상을 설정할 수 있다.
상기 가상터치활동영역에서 모니터화면 커서형상은, 상기 사용자에 의하여 선택적으로 "회색커서형상", "커서표시형상", "커서터치형상", "더블터치형상"를 구비하고 있으며, 사용자에 의하여 커서형상을 추가적으로 구비할 수 있다.
그리고 가상터치활동영역에서 가상터치공간유형의 설정은, 상기 사용자에 의하여 가상터치공간유형의 개수 및 치수를 설정할 수 있다.
상기 제 4과정에서, 가상터치스크린 공간의 생성을 모니터화면에 사용자 가상메뉴로 표시할 수 있으며, 상기 제 5과정에서, 상기 가상터치제어신체부위 좌표 상태를 추출하기 위하여 사용자의 신체부위 좌표정보를 연속적으로 입력받는다.
상기 제 5과정에서 가상터치스크린의 제어는, 사용자의 위치가 변경 시 가상터치스크린의 이동을 위하여 가상터치스크린 생성에서 산출한 기준신체부위 중심좌표와 가상터치스크린 중심좌표와의 변위차를 이용하여 사용자가 움직임에 대한 기준신체부위 중심좌표를 신체부위 좌표정보에서 추출하여 가상터치스크린 영역에 대한 이동을 실시할 수 있으며, 상기 제 5과정에서 가상터치스크린의 제어는, 가상터치환경설정부에서 설정된 기준신체부위가 없거나 변위차를 사용하지 않을 시에는 사용자의 가상터치개시제스처를 기준으로 생성된 가상터치스크린이 사용자가 이동 시에도 가상터치스크린 영역이 고정되는 것을 특징으로 한다.
상기 제 5과정에서 가상터치스크린의 제어는, 상기 신체부위 좌표정보에서 가상터치스크린 영역에 있는 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, 가상터치제어신체부위의 3차원좌표를 모니터화면의 제어를 위해 커서좌표 및 커서형상으로 변환되는 것을 특징으로 한다.
상기 가상터치스크린의 제어에서 모니터화면의 커서좌표는, 신체부위 좌표정보에서 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, x, y 좌표 정보를 이용하여 모니터화면의 x, y 좌표로 변환되며, 모니터화면의 커서형상은, 신체부위 좌표정보에서 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, z좌표 정보를 이용하여 가상터치환경설정부에서 설정된 모니터화면의 커서형상으로 변환된다.
또한, 모니터화면 제어에서 커서형상은, 가상터치제어신체부위 좌표가 가상터치스크린 영역을 이탈시 모니터화면에 커서형상을 표시하지 않는 것을 특징으로 한다.
상기 제 5과정에서, 사용자가 가상터치스크린 종료를 실시하기 위하여 가상터치종료부를 추가적으로 구비하고 있으며, 상기 가상터치종료부는, 가상터치사용자메뉴선택에 의한 종료, 가상터치 종료제스처에 의한 종료, 가상터치스크린 영역에서 가상터치제어신체부위가 없으면 시간의 경과에 따른 종료를 가상터치환경설정부에서 사용자가 선택적으로 설정할 수 있다.
상기 제 1과정에서 가상터치환경설정부는, 사용자의 편의성을 도모하기 위하여 가상터치스크린의 환경의 설정, 가상터치스크린의 환경의 변경, 가상터치스크린의 환경의 추가 및 가상터치스크린의 환경을 저장할 수 있으며, 상기 제 1과정에서 가상터치환경설정부는, 사용자의 선택에 따라 가상터치스크린 사용자수, 가상터치제어신체부위, 가상터치개시제스처유형, 기준신체부위, 가상터치스크린 영역, 가상터치스크린 개수, 모니터화면 커서형상, 가상터치스크린 종료유형에 대한 설정할 수 있다.
상기 제 5과정에서 모니터화면의 제어는, 가상터치스크린에서 가상터치제어신체부위 좌표를 모니터화면에 커서형상 및 커서좌표로 변환하여 화면의 제어를 할 수 있으며, 상기 제 5과정에서 모니터화면은, 영상을 표시하는 전자기기로서 LCD 모니터, 영상프로젝터 등으로 구성되는 것을 특징으로 한다.
바람직한 가상터치스크린 생성 및 제어 장치의 제 2 실시 예는 다음과 같다.
사용자의 3차원영상정보를 연속적으로 입력받는 3차원영상입력수단;
상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상과 신체부위 좌표정보를 추출하는 영상정보처리수단;
상기 사용자의 신체부위 좌표정보를 검색하여 기준신체부위가 존재시 가상터치스크린을 생성한 후, 가상터치제어신체부위 좌표를 이용하여 가상터치스크린을 제어하여 모니터화면을 제어하며, 사용자가 가상터치스크린의 생성 및 제어에 필요한 환경을 설정하는 가상터치환경설정부로 이루어진 가상터치생성제어수단; 및
상기 사용자의 가상터치스크린 제어 상태를 모니터화면에 사용자 커서로 나타나게 하는 디스플레이수단을 구비하는 것을 특징으로 하는 가상터치스크린 생성 및 제어 장치.
본 발명의 목적을 달성하기 위한 가상터치스크린 생성 및 제어 장치의 제 2 실시 예를 상세히 설명하면 다음과 같다.
상기 3차원영상입력수단에서 3차원영상정보는, 사용자의 전면에 상호 임의 거리를 유지하면서 설치되어 있는 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받으며, 3차원스캐너는 하나 이상의 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받는다
상기 영상정보처리수단에서 3차원좌표영상은, 3차원영상입력수단에서 입력된 3차원영상정보를 이용하여 3차원좌표영상을 구성하는 영상전처리부를 구비하고 있으며, 3차원좌표영상을 이용하여 사용자의 신체부위 좌표를 추출한 후 신체부위영상을 구성하고 신체부위 좌표를 제공하는 신체부위인식부를 구비하고 있다.
상기 영상정보처리수단에서는 디스플레이수단의 디스플레이제어부와 통신하는 터치신호통신부를 영상정보처리수단에서 추가적으로 구비하고 있다.
상기 가상터치생성제어수단에서 가상터치스크린 생성은, 사용자의 신체부위 좌표정보에서 기준신체부위가 있는지를 검색하는 기준신체부위인식부를 구비하고 있으며, 신체부위 좌표정보에서 기준신체부위가 존재 시 가상터치환경설정부에서 설정된 기준신체부위 중심좌표와 가상터치스크린 중심좌표와의 변위차를 이용하여 가상터치스크린을 생성하는 가상터치영역생성부를 구비하는 것을 특징으로 한다.
상기 가상터치생성제어수단에서 가상터치스크린의 생성은, 한 명 이상의 사용자에 의하여 하나 이상의 가상터치스크린을 생성하는 가상터치영역생성부를 구비하고 있으며, 상기 가상터치영역생성부에서 가상터치스크린은, 사용자에 의하여 선택적으로 가상터치스크린의 크기 및 하나 이상의 가상터치활동영역을 설정할 수 있다.
상기 가상터치스크린에서 가상터치활동영역은, 사용자에 의하여 모니터화면의 커서활동영역의 설정 및 가상터치활동영역에서 가상터치제어신체부위를 설정할 수 있으며, 사용자에 의하여 가상터치활동영역에서 하나 이상의 가상터치공간유형의 설정 및 모니터화면에 하나 이상의 커서형상을 설정할 수 있다.
상기 가상터치활동영역에서 모니터화면 커서형상은, 사용자에 의하여 선택적으로 "회색커서형상", "커서표시형상", "커서터치형상", "더블터치형상"를 구비하고 있으며, 사용자에 의하여 커서형상을 추가적으로 구비할 수 있다.
그리고 가상터치활동영역에서 가상터치공간유형의 설정은, 사용자에 의하여 가상터치공간유형의 개수 및 치수를 설정할 수 있다.
상기 가상터치생성제어수단의 가상터치영역생성은, 가상터치스크린 공간의 생성을 모니터화면에 사용자 가상메뉴로 표시할 수 있으며, 상기 가상터치생성제어수단에서 가상터치스크린의 제어는, 상기 가상터치제어신체부위 좌표 상태를 추출하기 위하여 영상정보처리수단으로부터 사용자의 신체부위 좌표정보를 연속적으로 입력받는다.
상기 가상터치생성제어수단에서 가상터치스크린의 제어는, 사용자의 위치가 변경 시 가상터치스크린의 이동을 위하여 가상터치환경설정부에서 설정된 기준신체부위 중심좌표와 가상터치스크린 중심좌표와의 변위차를 이용하여 사용자가 움직임에 대한 기준신체부위 중심좌표를 신체부위 좌표정보에서 추출하여 가상터치스크린 영역에 대한 이동을 실시하는 것을 특징으로 한다.
상기 가상터치생성제어수단에서 가상터치스크린의 제어는, 상기 신체부위 좌표정보에서 가상터치스크린 영역에 있는 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, 가상터치제어신체부위의 3차원좌표를 모니터화면의 제어를 위해 커서좌표 및 커서형상으로 변환하는 가상터치제어부를 구비하고 있다.
상기 가상터치스크린의 제어에서 모니터화면의 커서좌표는, 신체부위 좌표정보에서 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, x, y 좌표 정보를 이용하여 모니터화면의 x, y 좌표로 변환되며, 모니터화면의 커서형상은, 신체부위 좌표정보에서 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, z좌표 정보를 이용하여 가상터치환경설정부에서 설정된 모니터화면의 커서형상으로 변환된다.
또한, 모니터화면 제어에서 커서형상은, 가상터치제어신체부위 좌표가 가상터치스크린 영역을 이탈시 모니터화면에 커서형상을 표시하지 않는 것을 특징으로 한다.
상기 가상터치생성제어수단에서, 사용자가 가상터치스크린종료를 실시하기 위하여 가상터치종료부를 추가적으로 구비하고 있으며, 상기 가상터치종료부는, 가상터치사용자메뉴선택에 의한 종료, 가상터치 종료제스처에 의한 종료, 가상터치스크린 영역에서 가상터치제어신체부위가 없으면 시간의 경과에 따른 종료를 가상터치환경설정부에서 사용자가 선택적으로 설정할 수 있다.
상기 가상터치생성제어수단에서 가상터치환경설정부는, 사용자의 편의성을 도모하기 위하여 가상터치스크린의 환경의 설정, 가상터치스크린의 환경의 변경, 가상터치스크린의 환경의 추가 및 가상터치스크린의 환경을 저장할 수 있으며, 상기 가상터치생성제어수단에서 가상터치환경설정부는, 사용자의 선택에 따라 가상터치스크린 사용자수, 가상터치제어신체부위, 가상터치개시제스처유형, 기준신체부위, 가상터치스크린 영역, 가상터치스크린 개수, 모니터화면 커서형상, 가상터치스크린 종료유형에 대한 설정을 할 수 있다.
상기 디스플레이수단에서 디스플레이제어부는, 가상터치스크린에서 가상터치제어신체부위 좌표를 모니터화면에 커서형상 및 커서좌표로 변환하여 화면의 제어를 할 수 있으며, 상기 디스플레이수단에서 모니터화면은, 영상을 표시하는 전자기기로서 LCD 모니터, 영상프로젝터 등으로 구성되는 것을 특징으로 한다.
바람직한 가상터치스크린 생성 및 제어 방법의 제 2 실시 예는 다음과 같다.
사용자가 가상터치스크린의 생성 및 제어에 필요한 환경을 설정하는 가상터치환경설정부를 구비하는 제 1과정;
상기 사용자의 3차원영상정보를 연속적으로 입력받는 제 2과정;
상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상과 신체부위 좌표정보를 추출하는 제 3과정;
상기 인식된 사용자의 신체부위를 검색하여 기준신체부위가 발생시 사용자의 가상터치개시신체부위 좌표를 기준으로 가상터치스크린을 생성하는 제 4과정;및
상기 사용자의 가상터치제어신체부위 좌표를 이용하여 가상터치스크린을 제어하여 모니터화면을 제어하는 제 5과정을 구비하는 것을 특징으로 하는 가상터치스크린 생성 및 제어 방법.
본 발명의 목적을 달성하기 위한 가상터치스크린 생성 및 제어 방법의 제 2 실시 예를 상세히 설명하면 다음과 같다.
상기 제 2과정에서 3차원영상정보는, 사용자의 전면에 상호 임의 거리를 유지하면서 설치되어 있는 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받으며, 3차원스캐너는, 하나 이상의 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받는다.
상기 제 3과정에서 3차원좌표영상은, 상기 입력된 3차원영상정보를 이용하여 3차원좌표영상을 구성하며, 3차원좌표영상을 이용하여 사용자의 신체부위 좌표를 추출한 후 신체부위영상을 구성하고 신체부위 좌표를 제공하는 것을 특징으로 한다.
상기 제 5과정에서, 상기 모니터화면에 커서좌표 및 커서형상을 통신하는 터치신호통신부를 추가적으로 구비하고 있다.
상기 제 4과정에서 가상터치스크린 생성은, 사용자의 신체부위 좌표정보에서 기준신체부위가 있는지를 검색하여 신체부위 좌표정보에서 기준신체부위가 존재 시 가상터치환경설정부에서 설정된 기준신체부위 중심좌표와 가상터치스크린 중심좌표와의 변위차를 이용하여 가상터치스크린을 생성하는 것을 특징으로 한다.
상기 제 4과정에서 가상터치스크린의 생성은, 한 명 이상의 사용자에 의하여 하나 이상의 가상터치스크린을 생성할 수 있으며, 상기 가상터치영역생성에서 가상터치스크린은, 사용자에 의하여 선택적으로 가상터치스크린의 크기 및 하나 이상의 가상터치활동영역을 설정할 수 있다.
상기 가상터치스크린에서 가상터치활동영역은, 상기 사용자에 의하여 모니터화면의 커서활동영역의 설정 및 가상터치활동영역에서 가상터치제어신체부위를 설정할 수 있으며, 사용자에 의하여 가상터치활동영역에서 하나 이상의 가상터치공간유형의 설정 및 모니터화면에 하나 이상의 커서형상을 설정할 수 있다.
상기 가상터치활동영역에서 모니터화면 커서형상은, 상기 사용자에 의하여 선택적으로 "회색커서형상", "커서표시형상", "커서터치형상", "더블터치형상"를 구비하고 있으며, 사용자에 의하여 커서형상을 추가적으로 구비할 수 있다.
그리고 가상터치활동영역에서 가상터치공간유형의 설정은, 상기 사용자에 의하여 가상터치공간유형의 개수 및 치수를 설정할 수 있다.
상기 제 4과정에서, 가상터치스크린 공간의 생성을 모니터화면에 사용자 가상메뉴로 표시할 수 있으며, 상기 제 5과정에서, 상기 가상터치제어신체부위 좌표 상태를 추출하기 위하여 사용자의 신체부위 좌표정보를 연속적으로 입력받는다.
상기 제 5과정에서 가상터치스크린의 제어는, 사용자의 위치가 변경 시 가상터치스크린의 이동을 위하여 가상터치환경설정부에서 설정된 기준신체부위 중심좌표와 가상터치스크린 중심좌표와의 변위차를 이용하여 사용자가 움직임에 대한 기준신체부위 중심좌표를 신체부위 좌표정보에서 추출하여 가상터치스크린의 영역에 대한 이동을 실시하는 것을 특징으로 한다.
상기 제 5과정에서 가상터치스크린의 제어는, 상기 신체부위 좌표정보에서 가상터치스크린 영역에 있는 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, 가상터치제어신체부위의 3차원좌표를 모니터화면의 제어를 위해 커서좌표 및 커서형상으로 변환되는 것을 특징으로 한다.
상기 가상터치스크린의 제어에서 모니터화면의 커서좌표는, 신체부위 좌표정보에서 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, x, y 좌표 정보를 이용하여 모니터화면의 x, y 좌표로 변환되며, 모니터화면의 커서형상은, 신체부위 좌표정보에서 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, z좌표 정보를 이용하여 가상터치환경설정부에서 설정된 모니터화면의 커서형상으로 변환된다.
또한, 모니터화면 제어에서 커서형상은, 가상터치제어신체부위 좌표가 가상터치스크린 영역을 이탈시 모니터화면에 커서형상을 표시하지 않는 것을 특징으로 한다.
상기 제 5과정에서, 사용자가 가상터치스크린 종료를 실시하기 위하여 가상터치종료부를 추가적으로 구비하고 있으며, 상기 가상터치종료부는, 가상터치사용자메뉴선택에 의한 종료, 가상터치 종료제스처에 의한 종료, 가상터치스크린 영역에서 가상터치제어신체부위가 없으면 시간의 경과에 따른 종료를 가상터치환경설정부에서 사용자가 선택적으로 설정할 수 있다.
상기 제 1과정에서 가상터치환경설정부는, 사용자의 편의성을 도모하기 위하여 가상터치스크린의 환경의 설정, 가상터치스크린의 환경의 변경, 가상터치스크린의 환경의 추가 및 가상터치스크린의 환경을 저장할 수 있으며, 상기 제 1과정에서 가상터치환경설정부는, 사용자의 선택에 따라 가상터치스크린 사용자수, 가상터치제어신체부위, 가상터치개시제스처유형, 기준신체부위, 가상터치스크린 영역, 가상터치스크린 개수, 모니터화면 커서형상, 가상터치스크린 종료유형에 대한 설정할 수 있다.
상기 제 5과정에서 모니터화면의 제어는, 가상터치스크린에서 가상터치제어신체부위 좌표를 모니터화면에 커서형상 및 커서좌표로 변환하여 화면의 제어를 할 수 있으며, 상기 제 5과정에서 모니터화면은, 영상을 표시하는 전자기기로서 LCD 모니터, 영상프로젝터 등으로 구성되는 것을 특징으로 한다.
설명한 바와 같이 본 발명의 가상터치스크린을 생성과 제어하는 장치 및 방법에 따르면, 3차원스캐너에서 입력받은 3차원좌표영상을 이용하여 신체부위를 인식한 후, 사용자의 제스처인식을 통하여, 가상터치스크린의 생성을 할 수 있으며, 가상터치스크린에서 사용자의 손이나 손가락의 제어에 의하여 모니터화면에 나타난 커서의 움직임으로 모니터화면의 제어를 손쉽게 할 수 있다.
따라서, 종래와 비교하여 볼 때 제스처인식에서 불분명한 제스처의 동작으로 인한 제스처 인식의 오류, 거실과 같은 다수의 사용자가 있는 자유로운 장소에서 제스처인식의 제어로 인한 부자연스러운 활동 등을 감소시키며, 제스처를 이용한 모니터화면의 제어를 위한 더욱 간편하게 실시할 수 있다.
또한, 가상터치스크린을 산업분야에 적용하여 기존 터치스크린에서 모니터화면의 제어를 위하여 사용자가 모니터화면에 가까이 접근하는 불편함, 대형 모니터화면의 터치스크린 제작 비용 및 신뢰성의 문제, 기존 터치스크린 사용자들의 모니터화면의 청결상태에 대한 손 접촉의 거부감 등을 해소하는 장점이 있다.
본 발명은 기존의 단순한 리모컨의 기능보다도 더 많은 다양한 정보를 사용자가 핸즈프리 상태에서 손쉽고 전자기기에 전달할 수 있으며, 기존의 터치스크린보다도 더 다양한 기능을 접목할 수 있으므로 사용자들이 손쉽게 단순 제스처에 의하여 모니터화면을 인지하여 제어할 수 있다,
예를 들면 기존의 키보드 기능을 가상터치스크린을 이용하여 프로젝터 또는 모니터화면에 디스플레이하여 문자의 작성이 가능하며, 가상터치제어신체부위를 이용하여 화면의 스크롤 및 확대 축소, 채널의 선택, 등 다양한 기능을 부과할 수 있으며, 핸즈프리 상태에서 가상터치스크린을 이용한 텔레비전의 리모컨의 대용 분야, 프리젼테이션 분야, 교육분야 및 게임분야 등 다양한 분야에 적용이 가능하다.
도 1a는 종래 예에 따른 3차원스캐너를 이용한 제스처인식 장치를 도시한 개략도.
도 1b는 신체부위인식부에 인식된 신체부위영상의 일 예.
도 1c는 신체부위인식부에 인식된 신체부위영상의 다른 예.
도 1d는 패턴프로젝터를 이용하여 사용자에게 투영되는 패턴 영상의 일 예
도 2a는 본 발명에 따른 가상터치스크린의 생성 및 제어장치의 제 1 실시 예의 개략도.
도 2b는 본 발명에 따른 가상터치스크린의 생성 및 제어방법의 제 1 실시 예의 흐름도.
도 2c는 본 발명에 따른 가상터치스크린 생성방법의 제 1 실시 예의 흐름도.
도 2d는 본 발명에 따른 가상터치스크린 제어방법의 실시 예에 대한 흐름도.
도 2e는 본 발명에 따른 사용자의 가상터치환경설정 방법의 흐름도.
도 2f는 본 발명에 따른 가상터치스크린의 생성 및 제어장치의 제 2 실시 예의 개략도.
도 2g는 본 발명에 따른 가상터치스크린의 생성 및 제어방법의 제 2 실시 예의 흐름도.
도 2h는 본 발명에 따른 가상터치스크린 생성방법의 제 2 실시 예의 흐름도.
도 3a는 본 발명에 따른 실시예 1에서 사용자 1 예시의 개략도.
도 3b는 본 발명에 따른 실시예 2에서 사용자 1, 사용자 2 예시의 개략도.
도 3c는 실시예 1에서 도 3a의 신체부위영상의 가상터치스크린에서 사용자 1의 1개의 가상터치활동영역을 제어하는 것을 도시한 예.
도 3d는 실시예 2에서 도 3b의 신체부위영상의 가상터치스크린에서 사용자 2의 1개의 가상터치활동영역을 제어하는 것을 도시한 예.
도 3e는 실시예 2에서 도 3c과 도 3d의 신체부위영상에서 가상터치스크린을 도시한 예
도 3f는 실시예 1에서 사용자 1의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예.
도 3g는 실시예 2에서 사용자 2의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예.
도 3h는 실시예 2에서 도 3f과 도 3g의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예.
도 3i는 실시예 2에서 도 3h의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 다른 예
도 4a는 본 발명에 따른 가상터치스크린의 생성을 위하여 사용자가 가상터치개시제스처를 실시하는 일 예.
도 4b는 도 4a에 따른 가상터치스크린의 생성을 표시한 예
도 4c는 본 발명에 따른 가상터치스크린의 생성을 위하여 사용자가 가상터치개시제스처를 실시하는 다른 예.
도 4d는 도 4c에 따른 가상터치스크린의 생성을 표시한 예
도 5a는 도 4a에 따른 신체부위영상에서 손과 머리의 좌표를 도시한 예.
도 5b는 도 4a에 따른 신체부위영상에서 가상터치스크린 생성을 도시한 예.
도 5c는 도 4a에 따른 신체부위영상을 도시한 제 1 예
도 5d는 도 4a에 따른 신체부위영상을 도시한 제 2 예
도 5e는 도 4a에 따른 신체부위영상을 도시한 제 3 예
도 5f는 도 4a에 따른 신체부위영상을 도시한 제 4 예
도 5g는 도 4a에 따른 신체부위영상을 도시한 제 5 예
도 5h는 본 발명에 따른 사용자가 가상터치스크린 생성을 위하여 가상터치개시제스처를 실시하는 흐름도의 일 예
도 6a는 본 발명에 따른 사용자 위치와 가상터치스크린과의 거리를 측면도로 도시한 일 예.
도 6b는 도 6a에 따른 정면도를 도시한 일 예.
도 6c는 본 발명에 따른 사용자 위치와 가상터치스크린과의 거리를 도시한 다른 예.
도 6d는 도 6c에 따른 정면도를 도시한 다른 예
도 7a는 본 발명에 따른 3차원스캐너와 가상터치스크린 구간들과의 거리를 도시한 예.
도 7b는 본 발명에 따른 가상터치스크린을 도시한 사시도의 일 예.
도 7c는 본 발명에 따른 가상터치스크린을 도시한 사시도의 다른 예.
도 7d는 본 발명에 따른 모니터화면에서 표시되는 커서형상을 도시한 예.
도 7e는 본 발명에 따른 실시예 1에서 사용자 1의 가상터치스크린 가상터치제어신체부위 좌표와 모니터화면 커서형상의 연관성을 도시한 예.
도 7f는 본 발명에 따른 실시예 2에서 사용자 2의 가상터치스크린 가상터치제어신체부위 좌표와 모니터화면 커서형상의 연관성을 도시한 예.
도 8a는 본 발명에 따른 실시예 3에서 한 명의 가상터치스크린 사용자가 3개의 가상터치활동영역을 제어를 하는 예
도 8b는 본 발명에 따른 도 8a의 가상터치스크린을 확대한 도면.
도 8c는 본 발명에 따른 도 8b의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예.
도 8d는 본 발명에 따른 도 8b의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 다른 예.
도 9a는 본 발명에 따른 실시예 4에서 사용자와 3차원스캐너과 기준신체부위과의 거리를 도시한 예.
도 9b는 본 발명에 따른 실시예 4에서 사용자와 3차원스캐너과 기준신체부위과의 거리를 도시한 다른 예.
도 10a는 본 발명에 따른 가상터치스크린의 제어에서 가상제4터치의 적용 사례를 도시한 제 1 예.
도 10b는 본 발명에 따른 가상터치스크린의 제어에서 가상제4터치의 적용 사례를 도시한 제 2 예.
도 10c는 본 발명에 따른 가상터치스크린의 제어에서 가상제4터치의 적용 사례를 도시한 제 3 예.
도 11a은 본 발명에 따른 변형의 예.
도 11b은 본 발명에 따른 변형의 다른 예.
도 12a은 본 발명에 따른 변형의 또 다른 예에서 가상터치개시제스처의 1 예.
도 12b은 본 발명에 따른 변형의 또 다른 예에서 가상터치개시제스처의 2 예.
도 12c은 본 발명에 따른 변형의 또 다른 예에서 가상터치스크린 생성의 예.
도 12d은 본 발명에 따른 변형의 또 다른 예에서 가상터치스크린 제어의 1 예.
도 12e은 본 발명에 따른 변형의 또 다른 예에서 가상터치스크린 제어의 2 예.
도 12f은 본 발명에 따른 변형의 또 다른 예에서 가상터치스크린 영역의 도면.
도 12g은 본 발명에 따른 변형의 또 다른 예에서 모니터화면.
도 1b는 신체부위인식부에 인식된 신체부위영상의 일 예.
도 1c는 신체부위인식부에 인식된 신체부위영상의 다른 예.
도 1d는 패턴프로젝터를 이용하여 사용자에게 투영되는 패턴 영상의 일 예
도 2a는 본 발명에 따른 가상터치스크린의 생성 및 제어장치의 제 1 실시 예의 개략도.
도 2b는 본 발명에 따른 가상터치스크린의 생성 및 제어방법의 제 1 실시 예의 흐름도.
도 2c는 본 발명에 따른 가상터치스크린 생성방법의 제 1 실시 예의 흐름도.
도 2d는 본 발명에 따른 가상터치스크린 제어방법의 실시 예에 대한 흐름도.
도 2e는 본 발명에 따른 사용자의 가상터치환경설정 방법의 흐름도.
도 2f는 본 발명에 따른 가상터치스크린의 생성 및 제어장치의 제 2 실시 예의 개략도.
도 2g는 본 발명에 따른 가상터치스크린의 생성 및 제어방법의 제 2 실시 예의 흐름도.
도 2h는 본 발명에 따른 가상터치스크린 생성방법의 제 2 실시 예의 흐름도.
도 3a는 본 발명에 따른 실시예 1에서 사용자 1 예시의 개략도.
도 3b는 본 발명에 따른 실시예 2에서 사용자 1, 사용자 2 예시의 개략도.
도 3c는 실시예 1에서 도 3a의 신체부위영상의 가상터치스크린에서 사용자 1의 1개의 가상터치활동영역을 제어하는 것을 도시한 예.
도 3d는 실시예 2에서 도 3b의 신체부위영상의 가상터치스크린에서 사용자 2의 1개의 가상터치활동영역을 제어하는 것을 도시한 예.
도 3e는 실시예 2에서 도 3c과 도 3d의 신체부위영상에서 가상터치스크린을 도시한 예
도 3f는 실시예 1에서 사용자 1의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예.
도 3g는 실시예 2에서 사용자 2의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예.
도 3h는 실시예 2에서 도 3f과 도 3g의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예.
도 3i는 실시예 2에서 도 3h의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 다른 예
도 4a는 본 발명에 따른 가상터치스크린의 생성을 위하여 사용자가 가상터치개시제스처를 실시하는 일 예.
도 4b는 도 4a에 따른 가상터치스크린의 생성을 표시한 예
도 4c는 본 발명에 따른 가상터치스크린의 생성을 위하여 사용자가 가상터치개시제스처를 실시하는 다른 예.
도 4d는 도 4c에 따른 가상터치스크린의 생성을 표시한 예
도 5a는 도 4a에 따른 신체부위영상에서 손과 머리의 좌표를 도시한 예.
도 5b는 도 4a에 따른 신체부위영상에서 가상터치스크린 생성을 도시한 예.
도 5c는 도 4a에 따른 신체부위영상을 도시한 제 1 예
도 5d는 도 4a에 따른 신체부위영상을 도시한 제 2 예
도 5e는 도 4a에 따른 신체부위영상을 도시한 제 3 예
도 5f는 도 4a에 따른 신체부위영상을 도시한 제 4 예
도 5g는 도 4a에 따른 신체부위영상을 도시한 제 5 예
도 5h는 본 발명에 따른 사용자가 가상터치스크린 생성을 위하여 가상터치개시제스처를 실시하는 흐름도의 일 예
도 6a는 본 발명에 따른 사용자 위치와 가상터치스크린과의 거리를 측면도로 도시한 일 예.
도 6b는 도 6a에 따른 정면도를 도시한 일 예.
도 6c는 본 발명에 따른 사용자 위치와 가상터치스크린과의 거리를 도시한 다른 예.
도 6d는 도 6c에 따른 정면도를 도시한 다른 예
도 7a는 본 발명에 따른 3차원스캐너와 가상터치스크린 구간들과의 거리를 도시한 예.
도 7b는 본 발명에 따른 가상터치스크린을 도시한 사시도의 일 예.
도 7c는 본 발명에 따른 가상터치스크린을 도시한 사시도의 다른 예.
도 7d는 본 발명에 따른 모니터화면에서 표시되는 커서형상을 도시한 예.
도 7e는 본 발명에 따른 실시예 1에서 사용자 1의 가상터치스크린 가상터치제어신체부위 좌표와 모니터화면 커서형상의 연관성을 도시한 예.
도 7f는 본 발명에 따른 실시예 2에서 사용자 2의 가상터치스크린 가상터치제어신체부위 좌표와 모니터화면 커서형상의 연관성을 도시한 예.
도 8a는 본 발명에 따른 실시예 3에서 한 명의 가상터치스크린 사용자가 3개의 가상터치활동영역을 제어를 하는 예
도 8b는 본 발명에 따른 도 8a의 가상터치스크린을 확대한 도면.
도 8c는 본 발명에 따른 도 8b의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예.
도 8d는 본 발명에 따른 도 8b의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 다른 예.
도 9a는 본 발명에 따른 실시예 4에서 사용자와 3차원스캐너과 기준신체부위과의 거리를 도시한 예.
도 9b는 본 발명에 따른 실시예 4에서 사용자와 3차원스캐너과 기준신체부위과의 거리를 도시한 다른 예.
도 10a는 본 발명에 따른 가상터치스크린의 제어에서 가상제4터치의 적용 사례를 도시한 제 1 예.
도 10b는 본 발명에 따른 가상터치스크린의 제어에서 가상제4터치의 적용 사례를 도시한 제 2 예.
도 10c는 본 발명에 따른 가상터치스크린의 제어에서 가상제4터치의 적용 사례를 도시한 제 3 예.
도 11a은 본 발명에 따른 변형의 예.
도 11b은 본 발명에 따른 변형의 다른 예.
도 12a은 본 발명에 따른 변형의 또 다른 예에서 가상터치개시제스처의 1 예.
도 12b은 본 발명에 따른 변형의 또 다른 예에서 가상터치개시제스처의 2 예.
도 12c은 본 발명에 따른 변형의 또 다른 예에서 가상터치스크린 생성의 예.
도 12d은 본 발명에 따른 변형의 또 다른 예에서 가상터치스크린 제어의 1 예.
도 12e은 본 발명에 따른 변형의 또 다른 예에서 가상터치스크린 제어의 2 예.
도 12f은 본 발명에 따른 변형의 또 다른 예에서 가상터치스크린 영역의 도면.
도 12g은 본 발명에 따른 변형의 또 다른 예에서 모니터화면.
이하, 첨부된 도면을 참조하여 본 발명에 따른 가상터치스크린을 생성과 제어하는 장치 및 방법에 대하여 설명하면 다음과 같다.
본 실시 예에서 사용되는 '~부'는 소프트웨어 구성요소들, 드라이버들, 펌웨어, 마이크로 코드, PCB 및 회로, 데이터, 등을 포함할 수 있다.
도 2a는 본 발명에 따른 가상터치스크린 생성 및 제어장치를 도시한 도면으로서, 3차원영상입력수단(100), 영상정보처리수단(200), 가상터치생성제어수단(500), 및 디스플레이수단(700)을 포함한다.
상기 3차원영상입력수단(100)은 3차원스캐너(110)를 이용하여 사용자(10)의 3차원영상정보를 입력받아 영상정보처리수단(200)으로 전송한다.
3차원영상입력수단(100)으로서의 3차원스캐너(110)는 다양한 방식으로 구성될 수 있으며, 일 예로서 적외선 패턴프로젝터(111)와 적외선카메라(112)로 구성 시 적외선 패턴프로젝터(111)는 DLP(Digital Lighting Processing)를 이용하여 초당 240프레임 수준까지의 패턴 영상을 조사할 수 있으나 DLP 소자의 특성에 따른 해상도의 제약이 있다.
다른 예로서는, 마이크로미러를 이용한 일차원 레이저 라이트 엔진과 적외선 라인 레이저 조명으로 적외선 패턴프로젝터(111)를 구성하여 초당 1,000프레임 이상의 패턴 영상 조사하여 적외선카메라(112)로 입력받는 3차원영상정보의 구현이 해상도의 제약 없이 구현할 수 있으며, 다음의 참고문헌을 참조하면 상세히 알 수 있을 것이므로 자세한 설명은 생략한다. (참조문헌: 출원일자 2011년 2월 28일에 특허출원번호 KR 10/2011-0017876호 "격자패턴투영장치")
상기 영상정보처리수단(200)은 영상전처리부(210), 신체부위인식부(220), 제스처인식부(230), 터치신호통신부(240)로 구성되어 있으며, 영상전처리부(210)는 3차원영상정보를 영상처리를 이용한 3차원 좌표 추출기법을 이용하여 산출하여 3차원좌표영상(212)을 구성할 수 있다.
예를 들면, 영상전처리부(210)는 사용자에 대한 3차원영상정보를 연속적으로 입력받으며, 3차원영상정보를 이용하여 3차원좌표영상(212)을 구성할 수 있다.
그러므로 도 1d에 도시된 패턴 영상(142, 143, 144, 145)의 유형들을 적외선 패턴프로젝터(111)를 이용하여 사용자(10)에게 조사하고, 적외선카메라(112)여 4프레임의 3차원영상정보를 이용하여 3차원좌표영상(212)을 복원할 수 있으므로, 1초에 120프레임의 3차원영상정보를 입력 시에는 초당 30프레임의 실시간 3차원좌표영상(212)으로 변환되며, 다음의 참고문헌을 참조하면 상세히 알 수 있을 것이므로 자세한 설명은 생략한다. (참조문헌: Szymon Rusinkiewicz, Olaf Hall-Holt and Marc Levoy, "Real-Time 3D Model Acquisition", Presented at SIGGRAPH 2002.)
신체부위인식부(220)는 3차원좌표영상(212)를 이용하여 사용자(10)의 신체부위 좌표에 대한 정보를 이용하여 신체부위영상(250)을 추출하는 것으로서 다양한 영상처리 기법으로 구현이 가능하다.
제스처인식부(230)는 사용자의 신체부위영상(250)의 시간에 따른 신체부위의 상태를 검사하여 사용자가 모니터화면의 제어에 필요한 특정한 제스처상태를 인식할 수 있도록 프로그램화되어 있다.
터치신호통신부(240)는 디스플레이수단(700)에서 디스플레이제어부(710)의 가상터치스크린 생성 및 제어에 대한 개시의 신호를 영상정보처리수단(200)으로 전달하며, 영상정보처리수단(200)에서 발생한 모니터화면(701)의 터치 제어에 대한 신호를 디스플레이제어부(710)에 전달한다. 예를 들면 USB(Universal Serial Bus), WI-FI(Wireless-Fidelity) 등의 통신수단의 장치를 사용하여 디스플레이수단(700)에 외장형으로 하거나 3차원영상입력수단(100), 영상정보처리수단(200) 및 가상터치생성제어수단(500)을 통합하여 디스플레이수단(700)에 내장형으로 제작할 수 있다.
상기 도 2a의 예시에서는 영상정보처리수단(200)은 3차원 측정이 개시되면 3차원영상입력수단(100)에서 순차적인 패턴영상(142, 143, 144, 145)을 적외선 패턴프로젝터에 의하여 사용자에게 조사하고, 사용자에게 조사된 패턴 영상은 적외선카메라에 의하여 입력받아 3차원영상정보를 영상정보처리수단(200)으로 보내지며, 영상정보처리수단(200)은 3차원영상정보를 입력받아 3차원좌표영상(212)을 구성 후 신체부위 좌표에 대한 신체부위영상(250)을 추출하고 제스처인식을 할 수 있다.
상기 가상터치생성제어수단(500)은 가상터치개시제스처인식부(520), 가상터치영역생성부(530), 가상터치제어부(540), 가상터치종료부(550) 및 가상터치스크린의 사용자 환경을 설정하는 가상터치환경설정부(560)를 포함하여 구성되며, 사용자가 가상터치개시제스처의 실시에 의하여 가상터치스크린 공간의 영역이 사용자의 전면에 생성되며, 사용자는 생성된 가상터치스크린 공간을 가상터치제어신체부위를 이용하여 모니터화면의 커서를 제어할 수 있다.
상기 가상터치환경설정부(560)는 사용자가 가상터치스크린을 이용하여 모니터화면 커서의 제어할 경우에 사용자의 편의성을 도모하고자 가상터치개시제스처의 유형의 등록, 가상터치제어신체부위의 등록, 가상터치스크린 크기, 가상터치 사용자 수 등을 등록할 수 있다.
가상터치개시제스처인식부(520)는 사용자가 실시한 제스처가 가상터치개시제스처로 적합한지의 여부를 판별한다.
가상터치영역생성부(530)는 사용자가 가상터치개시제스처를 실시할 경우 공간상에서 가상터치스크린의 설정, 모니터화면에서 사용자 커서형상을 설정하며, 가상터치제어부(540)는 사용자가 가상터치스크린 공간에서 가상터치제어신체부위(예를 들면 손 또는 손가락)의 좌표 정보를 추출하여 커서 제어 정보로 변환하여 모니터화면(701)을 제어한다.
가상터치종료부(550)는 사용자는 가상터치종료제스처의 실시 또는 모니터화면(701)의 가상터치 사용자 메뉴를 이용하여 가상터치스크린의 제어를 종료할 수 있다.
상기 3차원영상입력수단(100), 영상정보처리수단(200), 가상터치생성제어수단(500)은 도시되어 있지 않으나 FPGA(Field Programmable Gate Array), ASIC(Application Specific integrated Circuits), SoC(system on chip), CPU(Central Processing Unit) 및 메모리, 하드디스크 등을 이용하여 프로그램화되어 있으며, 3차원스캐너(110)에 내장되거나 디스플레이수단(700)의 내부에 설치될 수 있다.
상기 디스플레이수단(700)은 모니터화면(701)을 포함하여 구성되며 사용자가 가상터치스크린 공간에서 가상터치제어신체부위를 이용하여 가상터치스크린을 제어 시에 이를 디스플레이제어부(710)를 이용하여 모니터화면에 커서형상으로 표시하여 모니터화면을 제어할 수 있으며, 모니터화면(701)의 유형으로는 영상을 표시하는 전자기기로서 LCD(liquid crystal display) 모니터, TFT(Thin Film Transisto) 모니터, 영상 프로젝터 등으로 다양한 구현할 수 있다.
도 2a는 본 발명의 따른 가상터치스크린의 생성 및 제어장치의 제 1 실시 예이며, 도 2b 내지 도 2d는 본 발명의 따른 가상터치스크린의 생성 및 제어방법의 제 1 실시 예이며, 도 2e는 환경설정방법을 나타내는 흐름도이며, 도 2f는 본 발명의 따른 가상터치스크린의 생성 및 제어장치의 제 2 실시 예에 대한 흐름도이며, 도 2g 내지 도 2h는 본 발명의 따른 가상터치스크린의 생성 및 제어방법의 제 2 실시 예에 대한 흐름도이다.
도 3a 내지 도 3i는 본 발명에 따른 한 명 이상의 사용자가 가상터치제어신체부위를 이용하여 가상터치스크린 제어를 도시한 실시예 1, 실시예 2의 예시이다.
도 3a는 본 발명에 따른 사용자 1이 가상터치스크린 제어를 하는 실시예 1의 사시도이며, 도 3c는 도 3a의 신체부위영상(250)에서 가상터치스크린을 사용자 1이 1개의 가상터치활동영역을 제어하는 것을 도시한 예이며, 도 3f는 도 3c의 사용자 1에서 가상터치스크린의 가상터치제어신체부위 좌표를 모니터화면에서 커서형상 및 커서좌표를 도시한 예이다.
도 3b는 본 발명에 따른 사용자 2가 가상터치스크린 제어를 하는 실시예 2의 사시도이며, 도 3d는 도 3b의 신체부위영상(250)의 가상터치스크린에서 사용자 2가 1개의 가상터치활동영역을 제어하는 것을 도시한 예이며, 도 3g는 도 3d의 사용자 2에서 가상터치스크린의 가상터치제어신체부위 좌표를 모니터화면에서 커서형상 및 커서좌표를 도시한 예이다.
도 3e는 도 3c과 도 3d의 신체부위영상에서 가상터치스크린을 도시한 예이며, 도 3h는 도 3f과 도 3g의 가상터치제어신체부위를 모니터화면의 커서형상으로 도시한 예이며, 도 3i는 도 3h의 가상터치제어신체부위 좌표를 모니터화면(701)에서 커서형상 및 커서좌표를 나타낸 다른 예를 도시한 것이다.
도 4a 내지 도 4d는 본 발명에 따른 가상터치스크린의 생성을 위하여 사용자가 가상터치개시제스처의 실시를 도시한 예이다.
도 4a는 본 발명에 따른 가상터치스크린의 생성을 위하여 사용자가 가상터치개시제스처를 실시하는 일 예며, 도 4b는 도 4a에서 사용자가 박수 제스처를 실시 후 가상터치스크린의 생성을 표시한 예이다. 도 4c는 본 발명에 따른 가상터치스크린의 생성을 위하여 사용자가 가상터치개시제스처를 실시하는 다른 예이며, 도 4d는 도 4c에서 사용자가 축구공 제스처를 실시 후 가상터치스크린의 생성을 표시한 예이다.
도 5a 내지 도 5h는 본 발명에 따른 사용자가 가상터치스크린의 생성을 위하여 도 4a에서 실시하는 박수 제스처가 가상터치개시제스처로 적합한 제스처인식을 나타내는 예이다. 도 6a 내지 도 6d는 본 발명에 따른 사용자가 가상터치스크린을 제어시 사용자의 공간상의 움직임을 감지하여 가상터치스크린의 이동을 나타낸 예이다.
도 7a는 본 발명에 따른 3차원스케너로부터 가상터치스크린까지의 거리를 나타낸 도면이며, 도 7b 내지 도 7c는 본 발명에 따른 가상터치스크린의 유형의 예를 나타낸 도면이다. 도 7d의 부호 980 내지 994는 본 발명에 따른 가상터치스크린에서 사용자의 가상터치제어신체부위 상태를 모니터화면에 표시되는 커서형상의 유형으로 도시한 예이며, 도 7e는 실시예 1에서 도 7f는 실시예 2에서 본 발명에 따른 사용자의 가상터치스크린 가상터치제어신체부위 좌표와 모니터화면 커서형상의 연관성을 도시한 예이다.
도 8a내지 도 8d는 본 발명에 따른 실시예 3에서 한 명의 가상터치스크린 사용자가 3개의 가상터치활동영역을 제어를 하는 예이다.
본 발명에 있어서 방법의 실시예에 대한 작용 및 효과를 설명하기 전에 본 발명에서의 용어의 설명 및 가상터치개시제스처의 설정 관계를 상세히 설명하고자 한다.
< 본 발명에 있어서 용어의 설명 >
가상터치스크린 크기 : TX1 x TY1
가상터치환경설정부에서 사용자의 전면에 설정하는 가상터치스크린 공간으로부호의 예시는 도 3e의 301로서 x축 크기는 부호 TX1, y 축 크기는 부호 TY1 이다. 또한, 이와 대응되는 모니터화면에서의 영역은 도 3h의 부호 701로서 x축의 해상도는 부호 WX, y축의 해상도는 부호 WY와 대응된다.
가상터치활동영역
한 명의 사용자의 전면에서 가상터치를 실시하기 위하여 존재하는 가상 공간들로서 사용자는 하나의 가상터치스크린 영역에서 하나 이상의 가상터치활동영역을 설정할 수 있다.
가상터치활동영역에 대한 영역의 부호의 예시는 도 8b의 351, 352, 353으로서 x축 크기는 부호 TXsub11, TXsub12, TXsub13 이고 y 축 크기는 부호 TYsub11 , TYsub12, TYsub13 이다. 그리고 이와 대응되는 모니터화면 커서활동영역의 부호의 예시는 도 8c의 751, 752, 753에 대응되며, x축 크기는 부호 WXsub11, WXsub12, WXsub13 이고 y 축 크기는 부호 WYsub11 , WYsub12 , WYsub13 이다.
다른 예시로는 도 3c에서 가상터치활동영역에 대한 부호는 354로서 x축 크기는 부호 TXsub11 이고 y축 크기는 부호 TYsub11 이다. 그리고 이와 대응되는 모니터화면 커서활동영역의 부호의 예시는 도 3f의 701에 대응되며, x축 크기는 부호 WXsub11 이고 y축 크기는 부호 WYsub11 이다.
또한, 상기 도 3c에서 가상터치활동영역(354)는 x축 크기는 부호 TXsub11는 도 3e에서 가상터치스크린(301) 영역의 x크기 TX1와 일치하며, 도 3c에서 y축 크기는 부호 TYsub11는 도 3e에서 가상터치스크린(301) 영역의 y축 크기 TY1와 일치한다. 그리고 도 3f의 모니터화면(701)에서 x축 크기는 부호 WXsub11는 도 3h에서 모니터화면(701) 영역의 x축 크기 WX와 일치하며, 도 3f의 모니터화면에서 y축 크기는 부호 WYsub11는 도 3h에서 모니터화면 영역의 y축 크기 WY와 일치하고 있다.
그리고 가상터치스크린에서 가상터치영역에 대한 용어의 설정은 다음과 같다.
가상제1터치
사용자의 가상터치제어신체부위가 가상터치스크린 근처에 접근하고 있음을 사용자가 인지하는 영역으로 부호 Ztouch1 로 표기하며, 이와 대응되는 모니터화면에서 커서형상은 "회색커서형상"라는 용어로 명칭 한다.
가상제2터치
사용자의 가상터치제어신체부위가 가상터치를 위하여 가상터치스크린에 매우 근접하게 있는 영역으로 부호 Ztouch2 로 표기하며, 이와 대응되는 모니터화면에서 커서형상은 "커서표시형상"라는 용어로 명칭 한다.
가상제3터치
사용자의 가상터치제어신체부위가 모니터화면에 터치를 실시되고 있는 영역으로 부호 Ztouch3로 표기하며, 이와 대응되는 모니터화면에서 커서형상은 "커서터치형상"라는 용어로 명칭 한다.
가상제4터치
사용자의 가상터치제어신체부위가 모니터화면의 제어에서 터치에 대한 추가적인 기능을 실시하는 영역으로 부호 Ztouch4로 표기하며, 이와 대응되는 모니터화면에서 커서형상은 "더블터치형상"라는 용어로 명칭 한다.
상기 가상터치영역의 설정은 사용자의 필요에 따라 가상제4터치 이상을 필요에 따라 추가할 수 있으며, 가상터치환경설정부에서 사용자의 편의에 따라 가상터치영역을 단순화 또는 세분화될 수 있다. 예를 들면 사용자 1은 가상제1터치에서 가상제4터치까지 사용, 사용자 2는 가상제1터치에서 가상제3터치까지 사용 등으로 적용할 수 있다.
신체부위영상(250)
도 1a와 같이 3차원좌표영상(212)에서 영상처리기법을 이용하여 신체부위를 추출 후, 신체부위 좌표정보를 3차원 좌표로 검출한 영상
기준신체부위(
Pt
basic1
)
도 9a와 같이 신체부위영상에서 사용자의 이동이 있을 시에 움직임을 감지하여 가상터치스크린의 이동을 동시에 실시할 수 있도록 사용자의 신체부위 중에서 설정
3차원좌표의
표기
부호 Ptbasic1, Ptbasic2, Pth82, Pth83, Pth84, Pth92, Pth93, Pth94, Pth95, Pth96, Pttcnt1, Pttcnt2, Ptts11, Ptts13, Ptts21, Ptts23, Pttw11, Pttw13, Pttw21, Pttw23, Pttw31, Pttw33는 가상터치스크린에 있는 3차원좌표에 대한 부호로서 이에 대한 좌표의 예시는 다음과 같이 표기한다.
Ptbasic1 (x) : 부호 Ptbasic1에서 좌표 x
Ptbasic1 (y) : 부호 Ptbasic1에서 좌표 y
Ptbasic1 (z) : 부호 Ptbasic1에서 좌표 z
Ptbasic1 (x,y,z) : 부호 Ptbasic1에서 좌표 x, y, z
2차원좌표의
표기
부호 Ptm82, Ptm83, Ptm84, Ptm92, Ptm93, Ptm95, Ptm96, Ptmw11, Ptmw13, Ptmw21, Ptmw23, Ptmw31, Ptmw33는 모니터화면에 있는 2차원좌표에 대한 부호이며 이에 대한 좌표는 예시를 들면 다음과 같이 표기한다.
Ptm82 (x) : 부호 Ptm82에서 좌표 x
Ptm82 (y) : 부호 Ptm82에서 좌표 y
Ptm82 (x,y) : 부호 Ptm82에서 좌표 x, y
< 본 발명에 있어서의 가상터치개시제스처의 설정 >
본 발명은 가상터치개시제스처의 유형은 사용자들에게 인지되어 있는 단순 명확한 제스처로 일상생활에는 주로 사용하지 않지만 대부분의 사용자가 손쉽게 실시하는 제스처를 선정하여 실시하는 것이 바람직하며 예를 들면 원형을 그리는 제스처의 선정의 예는 다음과 같다.
수박크기 원형 제스처: 수박크기는 사용자들의 치수에 대한 인지의 차이로 다양한 치수로 제스처인식에 오류를 가져올 수 있으며, 일반적인 동작에 사용될 수도 있다.
축구공 원형 제스처: 축구공 크기는 사용자들의 치수에 대한 인지가 일정한 치수로서 제스처인식에 오류가 감소 된다.
그러므로 명확히 기준이 인지되는 제스처를 실시하는 것이 바람직하며, 가상터치개시제스처의 생성의 일 예로서 도 4a는 사용자는 3차원스케너로부터 임의의 거리(Zdist4a)에 전면에 위치하여 있으며, 사용자가 양손을 이용하여 박수를 2회 연속 실시하여 제스처의 종료 후, 도 4b와 같이 사용자의 오른손(80)과 왼손(90)이 마주치는 손 위치의 중심좌표(Pttcnt1)을 기준으로 가상터치스크린(301)을 생성시킨다.
또한, 가상터치개시제스처 생성의 다른 예로서 도 4c는 사용자는 3차원스케너로부터 임의의 거리(Zdist4b)에 전면에 위치하여 있으며, 사용자가 오른손(80)을 사용하여 축구공모양의 원형을 그리는 제스처를 실시하며, 제스처의 종료 후 도 4d와 같이 원형 제스처의 중심좌표(Pttcnt1)을 기준으로 가상터치스크린(301)을 생성한다.
그리고 도 5a 내지 도 5g를 이용하여 2번의 박수제스처를 이용하여 가상터치개시제스처를 실시를 상세히 설명하면 다음과 같다.
도 5a의 신체부위영상(253)에서 부분영역(291)을 확대하면 도시하면 도 5c 내지 도 5g 이며, 도 5h의 흐름도를 이용하여 설명하면 다음과 같다.
상기 박수제스처는 양손의 기준 떨어진 거리(부호: d)는 10cm이며, 신체부위영상(250)의 추출 시간간격은 0.3초로 프로그램에 의하여 이미 설정되어 있다고 가정을 한다.
<가상터치개시제스처 실시 예로서 도 5h의 흐름도>
단계 1(1810) : 현재의 시점(i)을 T5로 가정한다.
단계 2(1820) : 이전의 신체부위영상(250)을 0.3초 시점 간격으로 추출한다.
시점의 간격의 변경은 필요에 따라 달라질 수 있다.
시점 T1 : 1.2초 이전의 신체부위영상(253)에서 부분영역(291) 도 5c
시점 T2 : 0.9초 이전의 신체부위영상(253)에서 부분영역(291) 도 5d
시점 T3 : 0.6초 이전의 신체부위영상(253)에서 부분영역(291) 도 5e
시점 T4 : 0.3초 이전의 신체부위영상(253)에서 부분영역(291) 도 5f
시점 T5 : 현재의 신체부위영상(253)에서 부분영역(291) 도 5g
단계 3(1830) : 도 5c에서 양손의 거리 L5c가 양손의 떨어진 거리(d)가 10cm 보다 떨어져 있는지를 확인하고 떨어져 있으면 단계 4(1840)를 진행하고 아니면 시점에 0.3초를 추가(1811)하여 단계 1을 진행한다,
단계 4(1840) : 도 5d에서 양손의 거리 L5d가 양손의 떨어진 거리(d)가 0으로 되였는지를 확인하고 떨어져 있으면 단계 5(1850)를 진행하고 아니면 시점에 0.3초를 추가(1811)하여 단계 1을 진행한다,
단계 5(1850) : 도 5e에서 양손의 거리 L5e가 양손의 떨어진 거리(d)가 10cm 보다 떨어져 있는지를 확인하고 떨어져 있으면 단계 6(1860)을 진행하고 아니면 시점에 0.3초를 추가(1811)하여 단계 1을 진행한다,
단계 6(1860) : 도 5f에서 양손의 거리 L5f가 양손의 떨어진 거리(d)가 0으로 되였는지를 확인하고 떨어져 있으면 단계 7(1870)을 진행하고 아니면 시점에 0.3초를 추가(1811)하여 단계 1을 진행한다,
단계 7(1870) : 도 5g에서 양손의 거리 L5g가 양손의 떨어진 거리(d)가 10cm 보다 떨어져 있는지 확인하고 떨어져 있으면 단계 8(1880)을 진행하고 아니면 시점에 0.3초를 추가(1811)하여 단계 1을 진행한다,
단계 8(1880) : 도 5d 및 도 5f 를 이용하여 양손의 중심좌표(Pttcnt1)을 산출한다.
단계 9(1890) : 가상터치스크린 중심좌표(Pttcnt1)를 이용하여 도 5b의 신체부위영상(253)에서 가상터치스크린(301)을 산출한다.
단계 10(1900) : 도 5a에서 가상터치스크린 기준신체부위를 머리(42)로 설정시에는 도 5b에서와 같이 기준신체부위 중심좌표(Ptbasic1)을 산출하고 가상터치스크린 중심좌표(Pttcnt1)과 공간상의 3차원 좌표를 오프셋 하여 x축 변위 XL, y축 변위 YL, 도 4b의 z축 변위 ZL의 좌표를 저장한 후, 사용자가 제 5과정의 단계 8(1280)의 가상터치스크린 제어단계에서 도 6a내지 도 6d와 같이 사용자가 위치를 이동 시에 가상터치스크린의 이동도 같이 하는 변수로 사용한다.
단계 11(1910): 가상터치스크린의 설정으로 도 7a내지 도 7c와 같이 가상터치스크린의 크기, 가상제1터치, 가상제2터치, 가상제3터치 및 가상제4터치를 설정한다.
< 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예 >
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예를 도 2b 내지 도 2d를 이용하여 상세히 설명하면 다음과 같다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예를 도 2b를 이용하여 사용자가 가상터치스크린의 생성 및 제어에 필요한 환경을 설정하는 가상터치환경설정부를 구비하는 제 1과정의 구성은 다음과 같다.
단계 1(1210) : 사용자(10)의 편의성을 도모하기 위하여 가상터치스크린의 환경의 설정, 가상터치스크린의 환경의 변경, 가상터치스크린의 환경의 추가 및 가상터치스크린의 환경의 저장을 하는 것으로서 사용자의 선택에 따라 가상터치스크린 사용자수, 가상터치제어신체부위, 가상터치개시제스처유형, 기준신체부위, 가상터치스크린 영역, 가상터치스크린 개수, 모니터화면 커서형상, 가상터치스크린 종료 유형에 대한 설정을 하는 것을 특징으로 한다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예에서 상기 사용자의 3차원영상정보를 연속적으로 입력받는 제 2과정의 구성은 다음과 같다.
단계 2(1220) : 사용자(10)와 상호 임의의 거리를 유지하면서 전면에 설치되어 있는 3차원스캐너(110)에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받는 단계로서, 3차원스캐너(110)는 디스플레이제어부(710)에서 가상터치스크린 생성 및 제어에 대한 구동의 개시신호에 의하여 3차원영상정보를 입력받는다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예에서 상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상과 신체부위 좌표정보의 구성 및 제스처인식 하는 제 3과정의 구성은 다음과 같다.
단계 3(1230) : 연속적으로 입력받은 3차원영상정보를 이용하여 3차원좌표영상(212)을 구성하는 단계로서 영상전처리부(210)에서는 3차원스캐너(110)에서 연속적으로 입력받은 3차원영상정보를 이용하여 3차원좌표영상(212)을 구성한다.
단계 4(1240) : 3차원좌표영상(212)을 이용하여 사용자의 신체부위 좌표정보를 추출하는 단계로서 신체부위인식부(220)는 내장된 신체부위검출 영상처리 알고리즘 프로그램을 이용하여 사용자의 신체부위를 검출하여 3차원 신체부위영상(250)을 구성한다.
단계 5(1250) : 사용자 신체부위의 동작 상태를 추적하여 설정된 제스처를 인지하는 단계로서 제스처인식부(230)에서는 추출된 사용자 신체부위영상(250)를 이용하여 시간에 따른 사용자 신체부위의 동작 상태를 추적하여 내장되어 있는 프로그램으로 설정된 제스처인식을 판별한다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예에서 상기 인식된 사용자의 제스처검색 하여 가상터치개시제스처가 발생시 사용자의 가상터치개시신체부위 좌표를 기준으로 가상터치스크린을 생성하는 제 4과정의 구성은 다음과 같다.
단계 6(1260) : 제스처인식부(230)에서 제스처가 발생시에는 사용자의 제스처가 가상터치환경설정부(560)에서 설정한 적합한 가상터치개시제스처 여부를 비교 판별하는 단계로서 가상터치개시제스처인식부(520)에서는 가상터치스크린에 적합한 제스처인 경우에는 단계 7(1270)로 가고 아니면 단계 5(1250) 를 실시한다.
단계 7(1270) : 가상터치영역생성단계는 가상터치환경설정부(560)에 설정된 항목과 사용자의 가상터치개시신체부위 중심좌표를 이용하여 공간에 가상터치스크린을 설정한 후, 모니터화면에서 가상터치스크린의 개시를 표시하는 것으로 구성된다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예에서 상기 모니터화면의 제어를 가상터치스크린에서 가상터치제어신체부위 좌표를 이용하여 실시하는 제 5과정의 구성은 다음과 같다.
단계 8(1280) : 한 명 이상의 사용자(i)가 가상터치제어신체부위를 공간상 좌표로 이용하여 하나 이상의 가상터치스크린을 제어하고 디스플레이수단을 통하여 모니터화면에 커서형상으로 나타나며, 모니터화면에 나타난 하나 이상의 사용자 커서를 이용하여 모니터화면을 제어하는 단계이다.
단계 9(1290) : 한 명 이상의 사용자(i)가 가상터치제어를 실시하며 가상터치환경설정부(560)에서 설정된 다른 사용자(j)가 가상터치개시제스처를 실시할 경우에는 단계 7(1270)을 실시하며, 아닌 경우에는 단계 10(1300)을 실시한다.
단계 10(1300) : 가상터치환경설정부(560)에서 설정된 가상터치 종료 방법에 의하여, 사용자가 가상터치 종료에 대한 실시가 없을 경우에는 단계 8(1280)을 실시하며, 한 명의 사용자가 가상터치스크린 제어의 종료 시에는 종료(1310)를 실시하며, 두 명 이상의 사용자가 가상터치스크린을 제어하고 있을 경우에 한 명이 종료 시에는 나머지 사용자는 단계 8(1280)을 실시한다.
상기 가상터치스크린 생성 및 제어 방법의 제 1 실시 예에서 제 4과정의 단계 7(1270)의 가상터치영역생성을 도 2c를 이용하여 상세히 설명하면 다음과 같다.
단계 1(1410) : 가상터치영역생성을 위하여 사용자(i)에 관련된 정보를 추출하는 단계로서 가상터치스크린의 x 크기(TX1), 가상터치스크린의 y 크기(TY1) 및 가상제1터치(Ztouch1), 가상제2터치(Ztouch2), 가상제3터치(Ztouch3), 가상제4터치(Ztouch4)와 기준신체부위에 대한 정보를 가상터치환경설정부(560)에서 추출하는 단계이다.
단계 2(1415) : 가상터치환경설정부(560)에서 기준신체부위의 설정(1415)을 체크하여 가상터치환경설정부(560)에서 기준신체부위를 설정시에는 사용자의 기준신체부위 중심좌표(Ptbasic1)를 신체부위영상(250)에서 산출(1420)한 후 단계 3(1430)을 진행하며, 가상터치환경설정부(560)에서 기준신체부위의 설정이 없을 경우에는 기준신체부위 중심좌표(Ptbasic1) 산출을 하지 않고 단계 3(1430)을 진행한다.
단계 3(1430) : 사용자(i)에 가상터치개시제스처를 실시 시 가상터치스크린 중심좌표을 구하고자 가상터치개시제스처 중심좌표(Pttcnt1)를 신체부위영상(250)에서 산출하는 단계이다. 예를 들면 실시예에서는 사용자(i)가 가상터치개시제스처를 실시 시에는 가상터치스크린 생성시에서의 가상터치스크린 중심좌표는 가상터치개시제스처 중심좌표(Pttcnt1)와 동일하다.
단계 4(1440) : 가상터치스크린의 생성을 위하여 단계 3(1430)에서 산출한 가상터치개시제스처 중심좌표(Pttcnt1) 및 단계 1(1410)에서 구해진 가상터치스크린의 x축 크기(TX1), y축 크기(TY1) 및 가상제1터치(Ztouch1), 가상제2터치(Ztouch2), 가상제3터치(Ztouch3), 가상제4터치(Ztouch4)를 이용하여 가상터치스크린을 생성한다.
가상터치스크린의 x, y의 영역의 산출을 도 3c 및 도 7b를 예로 들면 다음과 같다.
Ptts11 (x,y,z : 가상터치스크린 시작좌표 (x,y,z)
Pttcnt1 (x,y,z) : 가상터치스크린 중심좌표 (x,y,z)
TX1 , TY1 : 가상터치스크린 영역의 크기(x, y)
WX , WY : 모니터화면 해상도일 경우에 다음과 같다.
가상터치스크린 영역의 좌표
Ptts11 (x,y,z) = (Pttcnt1 (x) -TX1 / 2, Pttcnt1 (y) -TY1 / 2, Pttcnt1 (z) )
Ptts13 (x,y,z) = (Pttcnt1 (x) +TX1 / 2, Pttcnt1 (y) +TY1 / 2, Pttcnt1 (z) )
또한, 도 8c의 모니터화면에서 커서활동영역의 시작좌표 Ptmw11(x,y)를 가상터치스크린에서 가상터치활동영역의 시작좌표 Pttw11(x,y)로 변환 시 좌표값의 산출 방법은 도 8b를 예로 들면 다음과 같다.
Pttw11 (x,y) : 가상터치활동영역의 시작좌표 (x,y)
Ptmw11 (x,y) : 모니터화면에서 커서활동영역의 시작좌표(x,y)
Pttw11 (x) = Ptmw11 (x) / WX x TX1 + Ptts11 (x)
Pttw11 (y) = Ptmw11 (y) / WY x TY1 + Ptts11 (y)
또한, 가상커서 구간영역의 산출을 도 7a로 예를 들면 다음과 같다.
3차원스캐너로부터 가상터치스크린의 구간 Zdist1 , Zdist2 , Zdist3 , Zdist4 , Zdist5의 거리 및 가상커서의 구간영역은 다음과 같다.
Zdist1 = 가상터치개시신체부위 중심좌표 z 값 = Pttcnt1 (z)
= 가상터치스크린 중심좌표 z 값
Zdist2 = Zdist1 - Ztouch1
Zdist3 = Zdist2 - Ztouch2
Zdist4 = Zdist3 - Ztouch3
Zdist5 = Zdist4 - Ztouch4
그리고 가상터치 상태의 영역은 다음과 같다.
Zdist2 < 가상제1터치(Ztouch1)의 영역 <= Zdist1
Zdist3 < 가상제2터치(Ztouch2)의 영역 <= Zdist2
Zdist4 < 가상제3터치(Ztouch3)의 영역 <= Zdist3
Zdist5 < 가상제4터치(Ztouch4)의 영역 <= Zdist4
단계 5(1450) : 가상터치환경설정부(560)에서 기준신체부위를 설정시에 가상터치스크린 제어 단계에서 사용자의 공간 이동이 있는 경우 가상터치스크린의 이동을 위하여 가상터치스크린의 이동에 필요한 오프셋의 값(XL , YL , ZL)을 산출하는 단계이다.
예를 들면 도 6a 내지 도 6b를 참조하면 다음과 같다.
Pttcnt1 (x,y,z) : 가상터치스크린 중심좌표 (x,y,z)
Ptbasic1 (x,y,z) : 기준신체부위 중심좌표(x,y,z)
그러므로 가상터치스크린 생성의 변위차 XL , YL , ZL은 다음과 같다.
XL = Ptbasic1 (x) - Pttcnt1 (x)
YL = Ptbasic1 (y) - Pttcnt1 (y)
ZL = Ptbasic1 (z) - Pttcnt1 (z)
단계 6(1460) : 가상터치스크린의 생성을 완료한 후, 모니터화면에 사용자(i)의 가상터치스크린의 생성을 나타내는 가상터치 사용자 메뉴를 표시하는 단계이다.
상기 가상터치스크린 생성 및 제어 방법의 제 1 실시 예에서 제 5과정의 단계 8(1280)의 가상터치스크린 제어단계를 도 2d를 이용하여 상세히 설명하면 다음과 같다.
단계 1(1510) : 가상터치스크린 제어를 위하여 사용자(i)에 관련된 정보를 추출하는 단계로서 사용자의 가상터치스크린이 모니터화면에서 활동하는 커서형상, 모니터해상도(WX , WY), 가상터치제어신체부위 정보, 기준신체부위의 정보를 가상터치환경설정부(560)에서 추출하는 단계이다.
단계 2(1520) : 가상터치스크린 제어를 위하여 사용자(i)의 가상터치제어신체부위 좌표정보를 추출하기 위하여 영상정보처리수단(200)의 신체부위인식부(220)로부터 연속적으로 신체부위영상(250)을 입력받는 단계이다.
단계 3(1530) : 가상터치환경설정부(560)에서 기준신체부위를 설정된 경우에 사용자(i)의 기준신체부위(Ptbasic1 ) 중심좌표 정보의 변동이 있을 경우 가상터치스크린 변경의 단계 4(1540)를 진행하며, 사용자(i)가 공간적 이동이 없을 경우에는 단계 5(1550)를 실시한다.
단계 4(1540) : 신체부위영상(250)로부터 사용자의 기준신체부위 중심좌표(Ptbasic1)를 추출하여 사용자(i) 가상터치스크린 변경을 실시한 후. 단계 5(1550)를 진행한다.
가상터치스크린 생성단계에서 변위차 XL , YL , ZL가 생성되어 있으므로 가상터치스크린 중심좌표 Pttcnt1(x,y,z)는 다음과 같다.
Pttcnt1 (x) = Ptbasic1 (x) - XL
Pttcnt1 (y) = Ptbasic1 (y) - YL
Pttcnt1 (z) = Ptbasic1 (z) - ZL
그러므로 가상터치스크린의 중심좌표를 산출 후, 가상터치스크린의 생성의 단계 4(1440)을 이용하여 가상터치스크린을 생성한 후, 단계 5(1550)를 진행한다.
단계 5(1550) : 사용자(i)가 가상터치스크린 제어를 위하여 가상터치스크린에 가상터치제어신체부위(예를 들면 손)가 있을 경우 단계 6(1560)를 진행하며, 가상터치제어신체부위가 없을 경우 종료단계(1580)를 진행한다.
단계 6(1560) : 신체부위영상(250)에서 사용자(i)의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, 모니터화면의 제어를 위해 커서형상 및 커서좌표를 산출하는 단계로서 도 3c 및 도 7e로부터 예를 들면 모니터화면에서 커서형상은 다음과 같다.
Ptm92 (x,y) : 모니터화면의 커서좌표 (x,y)
Pth92 (x,y,z) : 신체부위영상(250)에서 가상터치제어신체부위 좌표(x,y,z)
Ptts11 (x,y,z) : 신체부위영상(250)에서 가상터치스크린 시작좌표(x,y,z)
TX1 , TY1 : 가상터치스크린 영역의 크기(x,y)
WX , WY : 모니터화면 해상도
모니터화면의 커서좌표
Ptm92 (x) = ( Pth92 (x) - Ptts11 (x) ) / TX1 x WX
Ptm92 (y) = ( Pth92 (y) - Ptts11 (y) ) / TY1 x WY
모니터화면의 커서형상
"회색커서형상" : Zdist2 < Pth92 (z) <= Zdist1
"커서표시형상" : Zdist3 < Pth92 (z) <= Zdist2
"커서터치형상" : Zdist4 < Pth92 (z) <= Zdist3
"더블터치형상" : Zdist5 < Pth92 (z) <= Zdist4
단계 7(1570) : 단계 6(1560)에서 추출한 모니터화면의 커서형상 정보는 영상정보처리수단(200)의 터치신호통신부(240)를 통하여 디스플레이수단(700)의 디스플레이제어부(710)으로 전달되며, 디스플레이수단(700)은 커서형상 정보를 이용하여 모니터화면을 제어한다.
< 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 2 실시 예 >
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예를 도 2f 내지 도 2h를 이용하여 상세히 설명하면 다음과 같다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 2 실시 예를 도 2g를 이용하여 사용자가 가상터치스크린의 생성 및 제어에 필요한 환경을 설정하는 가상터치환경설정부를 구비하는 제 1과정의 구성은 다음과 같다.
단계 1(2210) : 사용자(10)의 편의성을 도모하기 위하여 가상터치스크린의 환경의 설정, 가상터치스크린의 환경의 변경, 가상터치스크린의 환경의 추가 및 가상터치스크린의 환경의 저장을 하는 것으로서 사용자의 선택에 따라 가상터치스크린 사용자수, 가상터치제어신체부위, 가상터치개시제스처유형, 기준신체부위, 가상터치스크린 영역, 가상터치스크린 개수, 모니터화면 커서형상, 가상터치스크린 종료 유형에 대한 설정하는 것을 특징으로 한다.
또한, 사용자(i)의 기준신체부위와 가상터치개시제스처의 변위차(XL , YL , ZL)를 가상터치 환경설정부에서 설정하는 것을 특징으로 한다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 2 실시 예에서 상기 사용자의 3차원영상정보를 연속적으로 입력받는 제 2과정의 구성은 다음과 같다.
단계 2(2220) : 사용자(10)와 상호 임의의 거리를 유지하면서 전면에 설치되어 있는 3차원스캐너(110)에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받는 단계로서, 3차원스캐너(110)는 디스플레이제어부(710)에서 가상터치스크린 생성 및 제어에 대한 구동의 개시신호에 의하여 3차원영상정보를 입력받는다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 2 실시 예에서 상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상과 신체부위 좌표정보를 추출하는 제 3과정의 구성은 다음과 같다.
단계 3(2230) : 연속적으로 입력받은 3차원영상정보를 이용하여 3차원좌표영상(212)을 구성하는 단계로서 영상전처리부(210)에서는 3차원스캐너(110)에서 연속적으로 입력받은 3차원영상정보를 이용하여 3차원좌표영상(212)을 구성한다.
단계 4(2240) : 3차원좌표영상(212)을 이용하여 사용자의 신체부위영상(250)을 추출하는 단계로서 신체부위인식부(220)는 내장된 신체부위검출 영상처리 알고리즘 프로그램을 이용하여 사용자의 신체부위를 검출하여 3차원 신체부위영상(250)을 구성한다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 2 실시 예에서 상기 인식된 사용자의 신체부위를 검색하여 기준신체부위가 발생시 사용자의 가상터치개시신체부위 좌표를 기준으로 가상터치스크린을 생성하는 제 4과정의 구성은 다음과 같다.
단계 5(2250) : 기준신체부위인식부(525)에서 사용자(i)의 신체부위영상(250)에서 기준신체부위가 있는지를 검색하는 단계로서 신체부위영상(250)에서 기준신체부위가 발생시에는 단계 6(2260)을 실시하며, 아니면 단계 4(2240)을 실시한다.
단계 6(2260) : 가상터치영역생성단계는 가상터치환경설정부(560)에 설정된 항목과 사용자의 기준신체부위 좌표를 이용하여 공간상에 가상터치스크린을 설정한 후, 모니터화면에서 가상터치스크린의 개시를 표시하는 것으로 구성된다.
상기 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 2 실시 예에서 상기 모니터화면의 제어를 가상터치스크린에서 가상터치제어신체부위 좌표를 이용하여 실시하는 제 5과정의 구성은 다음과 같다.
단계 7(2270) : 한 명 이상의 사용자(i)가 가상터치제어신체부위를 공간상 좌표로 이용하여 하나 이상의 가상터치스크린을 제어하고 디스플레이수단을 통하여 모니터화면에 커서형상으로 나타나며, 모니터화면에 나타난 하나 이상의 사용자 커서를 이용하여 모니터화면을 제어하는 단계이다.
단계 8(2280) : 한 명 이상의 사용자(i)가 가상터치제어를 실시하며 가상터치환경설정부(560)에서 설정된 다른 사용자(j)의 기준신체부위가 발생시에는 단계 6(2260)을 실시하며, 아닌 경우에는 단계 9(2290)을 실시한다.
단계 9(2290) : 가상터치환경설정부(560)에서 설정된 가상터치 종료 방법에 의하여, 사용자의 신체부위영상(250)에서 기준신체부위 중심좌표(Ptbasic1)가 존재하지 않을 경우에는 가상터치스크린 제어의 종료(2300)를 실시하며, 아닌 경우에는 단계 7(2270)을 실시한다.
상기 가상터치스크린 생성 및 제어 방법의 제 2 실시 예에서 제 4과정의 단계 6(2260)의 가상터치영역생성을 도 2h를 이용하여 상세히 설명하면 다음과 같다.
단계 1(2410) : 가상터치영역생성을 위하여 사용자(i)에 관련된 정보를 추출하는 단계로서 가상터치스크린의 x축 크기(TX1), y 축 크기(TY1) 및 가상제1터치(Ztouch1), 가상제2터치(Ztouch2), 가상제3터치(Ztouch3), 가상제4터치(Ztouch4), 가상터치스크린 생성의 변위차 XL , YL , ZL , 기준신체부위 정보를 가상터치환경설정부(560)에서 추출하는 단계이다.
단계 2(2420) : 가상터치환경설정부(560)에서 사용자(i)의 기준신체부위 중심좌표(Ptbasic1) 정보를 신체부위영상(250)에서 산출하는 단계이다.
단계 3(2430) : 사용자(i)의 가상터치스크린 생성의 변위차 XL , YL , ZL 정보를 가상터치환경설정부(560)에서 추출한다.
단계 4(2440) : 가상터치스크린의 생성을 위하여 단계 2(2420)에서 산출한 기준신체부위 중심좌표(Ptbasic1)와 단계 3(2430)의 가상터치환경설정부(560)에서 추출한 가상터치스크린 생성의 변위차 XL , YL , ZL 정보를 이용하여 가상터치개시제스처 중심좌표(Pttcnt1)를 산출한다.
Pttcnt1 (x) = Ptbasic1 (x) - XL
Pttcnt1 (y) = Ptbasic1 (y) - YL
Pttcnt1 (z) = Ptbasic1 (z) - ZL
단계 5(2450) : 단계 4(2440)에서 구해진 가상터치개시제스처 중심좌표(Pttcnt1)와 단계 1(2410)에서 정보를 이용하여 가상터치스크린의 x축 크기(TX1), y축 크기(TY1) 및 가상제1터치(Ztouch1), 가상제2터치(Ztouch2), 가상제3터치(Ztouch3), 가상제4터치(Ztouch4)를 이용하여 가상터치스크린을 생성한다.
가상터치스크린의 x, y의 영역의 산출을 도 3c 및 도 7b를 예로 들면 다음과 같다.
Ptts11 (x,y,z) : 가상터치스크린 시작좌표 (x,y,z)
Pttcnt1 (x,y,z) : 가상터치스크린 중심좌표 (x,y,z)
TX1 , TY1 : 가상터치스크린 영역의 크기 (x, y)
WX , WY : 모니터화면 해상도일 경우에 다음과 같다.
가상터치스크린 영역의 좌표
Ptts11 (x,y,z) =(Pttcnt1 (x) - TX1 / 2, Pttcnt1 (y) - TY1 / 2, Pttcnt1 (z))
Ptts13 (x,y,z) =(Pttcnt1 (x) + TX1 / 2, Pttcnt1 (y) + TY1 / 2, Pttcnt1 (z))
모니터화면의 커서활동영역 좌표 부호Ptmw11를 가상터치스크린의 가상터치활동영역의 좌표로 변환 시 좌표값의 산출 방법은 도 8b를 예로 들면 다음과 같다.
Pttw11 (x,y) : 가상터치활동영역의 시작좌표 (x,y)
Ptmw11 (x,y) : 모니터화면에서 커서활동영역의 시작좌표 (x,y)
Pttw11 (x) = Ptmw11 (x) / WX x TX1 + Ptts11 (x)
Pttw11 (y) = Ptmw11 (y) / WY x TY1 + Ptts11 (y)
또한, 가상커서 구간영역의 산출을 도 7a로 예를 들면 다음과 같다.
3차원스캐너로부터 가상터치스크린의 구간 Zdist1 , Zdist2 , Zdist3 , Zdist4 , Zdist5의 거리 및 가상커서의 구간영역은 다음과 같다.
Zdist1 = 가상터치개시신체부위 중심좌표 z 값 = Pttcnt1 (z)
= 가상터치스크린 중심좌표 z 값
Zdist2 = Zdist1 - Ztouch1
Zdist3 = Zdist2 - Ztouch2
Zdist4 = Zdist3 - Ztouch3
Zdist5 = Zdist4 - Ztouch4
그리고 가상터치 상태의 영역은 다음과 같다.
Zdist2 < 가상제1터치(Ztouch1)의 영역 <= Zdist1
Zdist3 < 가상제2터치(Ztouch2)의 영역 <= Zdist2
Zdist4 < 가상제3터치(Ztouch3)의 영역 <= Zdist3
Zdist5 < 가상제4터치(Ztouch4)의 영역 <= Zdist4
단계 6(2460) : 가상터치스크린의 생성을 완료한 후, 모니터화면에 사용자(i)의 가상터치스크린의 생성을 나타내는 가상터치 사용자 메뉴를 표시하는 단계이다.
상기 가상터치스크린 생성 및 제어 방법의 제 2 실시 예에서 제 5과정의 단계 7(2270)의 가상터치스크린 제어단계는 도 2d의 본 발명에 있어서 가상터치스크린 생성 및 제어 방법의 제 1 실시 예의 제 5과정으로 가상터치스크린 제어단계와 동일한 방법으로 실시한다.
단계 1(1510) : 가상터치스크린 제어를 위하여 사용자(i)에 관련된 정보를 추출하는 단계로서 사용자의 가상터치스크린이 모니터화면에서 활동하는 커서형상, 모니터해상도(WX , WY), 가상터치제어신체부위 정보, 기준신체부위의 정보를 가상터치환경설정부(560)에서 추출하는 단계이다.
단계 2(1520) : 가상터치스크린 제어를 위하여 사용자(i)의 가상터치제어신체부위 좌표정보를 추출하기 위하여 영상정보처리수단(200)의 신체부위인식부(220)로부터 연속적으로 신체부위영상(250)을 입력받는 단계이다.
단계 3(1530) : 가상터치환경설정부(560)에서 기준신체부위를 설정된 경우에 사용자(i)의 기준신체부위(Ptbasic1 ) 중심좌표 정보의 변동이 있을 경우 가상터치스크린 변경의 단계 4(1540)를 진행하며, 사용자(i)가 공간적 이동이 없을 경우에는 단계 5(1550)를 실시한다.
단계 4(1540) : 신체부위영상(250)로부터 사용자의 기준신체부위 중심좌표(Ptbasic1)를 추출하여 사용자(i) 가상터치스크린 변경을 실시한 후. 단계 5(1550)를 진행한다.
가상터치스크린 생성단계에서 변위차 XL , YL , ZL가 생성되어 있으므로 가상터치스크린 중심좌표 Pttcnt1(x,y,z)는 다음과 같다.
Pttcnt1 (x) = Ptbasic1 (x) - XL
Pttcnt1 (y) = Ptbasic1 (y) - YL
Pttcnt1 (z) = Ptbasic1 (z) - ZL
그러므로 가상터치스크린의 중심좌표를 산출 후, 가상터치스크린의 생성의 단계 4(1440)을 이용하여 가상터치스크린을 생성한 후, 단계 5(1550)를 진행한다.
단계 5(1550) : 사용자(i)가 가상터치스크린 제어를 위하여 가상터치스크린에 가상터치제어신체부위(예를 들면 손)가 있을 경우 단계 6(1560)를 진행하며, 가상터치제어신체부위가 없을 경우 종료단계(1580)를 진행한다.
단계 6(1560) : 신체부위영상(250)에서 사용자(i)의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, 모니터화면의 제어를 위해 커서형상 및 커서좌표를 산출하는 단계로서 도 3c 및 도 7e로부터 예를 들면 모니터화면에서 커서형상은 다음과 같다.
Ptm92 (x,y) : 모니터화면의 커서좌표 (x,y)
Pth92 (x,y,z) : 신체부위영상(250)에서 가상터치제어신체부위 좌표(x,y,z)
Ptts11 (x,y,z) : 신체부위영상(250)에서 가상터치스크린 시작좌표(x,y,z)
TX1 , TY1 : 가상터치스크린 영역의 크기(x,y)
WX , WY : 모니터화면 해상도
모니터화면의 커서좌표
Ptm92 (x) = ( Pth92 (x) - Ptts11 (x) ) / TX1 x WX
Ptm92 (y) = ( Pth92 (y) - Ptts11 (y) ) / TY1 x WY
모니터화면의 커서형상
"회색커서형상" : Zdist2 < Pth92 (z) <= Zdist1
"커서표시형상" : Zdist3 < Pth92 (z) <= Zdist2
"커서터치형상" : Zdist4 < Pth92 (z) <= Zdist3
"더블터치형상" : Zdist5 < Pth92 (z) <= Zdist4
단계 7(1570) : 단계 6(1560)에서 추출한 모니터화면의 커서형상 정보는 영상정보처리수단(200)의 터치신호통신부(240)를 통하여 디스플레이수단(700)의 디스플레이제어부(710)으로 전달되며, 디스플레이수단(700)은 커서형상 정보를 이용하여 모니터화면을 제어한다.
< 발명에 있어서 가상터치환경의 설정 >
본 발명은 도 2e와 같이 사용자의 편리성을 도모하고자 가상터치스크린의 생성 및 제어에 대한 가상터치환경을 설정하고 저장한다.
단계 1(1610) : 가상터치스크린의 생성 및 제어의 신규 사용자(j)의 추가시에 가상터치환경설정에 필요한 사용자(m)로 설정(1611) 후 단계 5(1650)를 진행하며, 아니면 단계 2를 진행한다.
단계 2(1620) : 가상터치스크린의 생성 및 제어에 관한 정보가 입력된 기존 사용자(i)의 변경시에 가상터치환경설정에 필요한 사용자(m)로 설정(1621) 후 단계 5(1650)를 진행하며, 아니면 단계 3을 진행한다.
단계 3(1630) : 가상터치스크린의 생성 및 제어에 관한 정보가 입력된 기존 사용자(i)의 삭제시에 단계 4를 진행하며 아니면 종료한다.
단계 4(1640) : 가상터치스크린의 생성 및 제어에 관한 정보가 입력된 기존 사용자(i)의 삭제 후 단계 16(1760)을 진행한다.
단계 5(1650) : m 번째 사용자의 가상터치개시제스처의 선택단계로서 가상터치환경설정부에서 예를 들면 축구공 크기의 원 그리기, 2번의 박수, 손의 좌우 2번 흔듦, 손의 상하 2번 흔듦, 기준신체부위 이용, 기준신체부위 없음(사용하지 않음) 등을 예시로 나타내어 선택 시 기상터치스크린생성의 가상터치개시제스처로 사용한다.
또한, 가상터치개시제스처의 선택단계에서 기준신체부위 이용은 도 9a내지 도 9b와 같이 실시예 4로서 본 발명의 가상터치스크린을 생성에서 사용자가 3차원스캐너에서 사용자의 신체부위가 인식영역에 있으면 가상터치개시제스처를 생략하고 사용자의 기준신체부위를 신체부위영상(250)에서 인식한 후, 가상터치스크린을 자동 생성하여 가상터치스크린의 제어를 실시하는 도면이다.
그리고 기준신체부위 없음(사용하지 않음)의 예시로는 실시예 2, 실시예 3에서 사용이 된다.
단계 6(1660) : m 번째 사용자의 가상터치스크린 기준신체부위 중심좌표(Ptbasic1)의 설정으로서 예를 들면 사용자의 머리, 가슴, 없음(사용하지 않음), 등을 기준으로 하며, 가상터치스크린의 생성시 가상터치스크린 중심좌표와 기준신체부위 좌표와의 XL , YL , ZL의 거리를 측정하여 도 6a 내지 도 6b 와 같이 사용자가 가상터치스크린의 제어기간 동안에 움직임을 감지하여 가상터치스크린도 같이 이동을 할 수 있게 할 수 있다.
또한, 가상터치스크린 생성 및 제어 방법의 제 2 실시 예에서는 단계 6(1660)에서 가상터치스크린 생성의 변위차 XL , YL , ZL를 설정하여 사용자의 기준신체부위가 발생시 설정된 가상터치스크린 생성의 변위차 XL , YL , ZL를 기준으로 사용자의 가상터치스크린을 설정한다.
단계 7(1670) : m 번째 사용자의 가상터치스크린 영역의 설정단계로서 사용자의 치수 및 사용 목적에 알맞게 사용자 가상터치스크린 x축 크기(TX1)의 설정 및 y축 크기(TY1)의 설정을 한다.
단계 8(1680) : m 번째 사용자의 가상터치활동영역 개수(N)의 설정으로서 예를 들면 도 8a와 같이 한 명의 사용자가 하나 이상의 가상터치활동영역을 생성하여 제어를 실시할 수도 있다.
단계 9(1690) : 단계 8(1680)에서 설정한 m 번째 사용자의 가상터치활동영역의 개수(N)가 한 개 이상인 경우 가상터치스크린에 따라 가상터치제어신체부위, 모니터화면의 커서형상, 모니터화면 커서활동영역이 다르므로 현재 가상터치활동영역의 개수를 n = 1 개로 초기화시킨 후 단계 10(1700)을 시작한다.
단계 10(1700) : m 번째 사용자의 n 번째 모니터화면 커서 활동 영역의 설정 단계로서 도 3f 또는 도 8c와 같이 모니터화면 전체영역의 사용, 모니터화면 일부 영역의 사용 등으로 실시가 가능하다.
단계 11(1710) : m 번째 사용자의 n 번째 가상터치활동영역의 가상터치제어신체부위의 설정 단계로서 예를 들면 손, 손가락, 손 또는 손가락 등으로 설정한다.
단계 12(1720) : m 번째 사용자의 n 번째 가상터치활동영역에 대한 가상터치 유형 개수 및 치수를 설정하는 단계로서 사용자의 필요에 따라 다수의 가상터치공간유형의 설정이 가능하다.
단계 13(1730) : 단계 12(1720)에서 설정된 n 번째 가상터치공간유형을 이용하여 모니터화면 커서형상을 설정하는 단계이다.
단계 14(1740) : m 번째 사용자가 설정한 n 번째 가상터치활동영역 개수가 단계 8(1680)에서 설정된 개수 N과 같으면 단계 15(1750)로 가고, 아니면 n 번째 가상터치스크린의 개수에 1을 추가하여(1741) 단계 10(1700)을 실시한다.
단계 15(1750) : m 번째 사용자의 가상터치종료방법의 선택으로서 예를 들면 가상터치종료제스처에 의한 종료로서 손의 좌우 흔듦, 손의 상하 흔듦, 축구공 그리기 등과 모니터화면에서 가상터치 사용자 메뉴에 의한 종료, 가상터치제어신체부위의 활동이 없을 시의 시간 경과에 따른 자동 종료 등 다양한 방법으로 구현이 가능하다,
단계 16(1760) : 사용자 환경설정을 저장 후 종료를 실시한다 .
상기 단계 7(1670)의 가상터치제어신체부위의 설정에서 손가락을 이용한 가상터치스크린의 생성 및 제어 시에는 3차원스캐너에서 입력받는 3차원영상의 분해능을 고려하여야 한다. 예를 들면 3차원좌표영상(212)의 적외선카메라의 해상도가 320x240으로 320cm x 240cm의 시야각(FOV: Field of View)을 입력받을 시 화소당 분해능이 1cm 이므로 손의 인식에는 어려움이 없으나 손가락의 인식에는 다소 무리가 있으며 이를 해결하기 위하여서는 카메라의 시야각(FOV)을 손가락 인식이 가능하도록 적은 면적으로 하거나, 카메라의 해상도를 크게 하는 방법이 있다.
이제 상기와 같이 구성된 본 발명의 가상터치스크린을 생성과 제어하는 장치를 상세히 설명하기로 한다.
상기 구성된 본 발명의 작용 효과를 실시하기 위한 실시예 1, 실시예 2, 실시예 3, 실시예 4의 기본 가정사항은 다음과 같다.
< 가정사항 1 : 본 발명의 시스템의 기본 가정 사항의 예 >
● 3차원스캐너(110): 적외선 패턴프로젝터 및 적외선카메라
● 적외선카메라 : 해상도 : 320 x 240 화소(Pixel)
: 프레임레이트:120 프레임(frame)/초(sec)
● 3차원좌표영상(212): 4 프레임의 3차원영상정보를 이용하여 추출
● 사용자 : 3차원스캐너 전면에서 임의의 거리로 떨어져 있음
● 카메라 시야각(FOV): 320cm x240cm
● 모니터화면(701): 스마트텔레비전 42인치(치수: 92cm x 52cm)
: 1920x1080의 모니터화면 해상도(WX = 1920, WY =1080)
이제 첨부된 도면을 참조하여 상세히 설명하기로 한다.
사용자와 상호 임의 거리를 유지하면서 설치되어 있는 3차원스캐너(110)에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받는 3차원영상입력수단(100)의 구성은 다음과 같다.
도 1a 및 도 2a를 참조하면 디스플레이제어부(710)에 의하여 영상정보처리수단(200)의 터치신호통신부(240)로 가상터치스크린 생성 및 제어에 대한 개시신호를 전달하며, 입력받은 개시신호를 이용하여 3차원영상입력수단(100), 영상정보처리수단(200), 가상터치생성제어수단(500)은 작동의 개시를 하고 디스플레이제어부(710)에 가상터치스크린 생성 및 제어의 개시 상태의 신호를 터치신호통신부(240)를 이용하여 전달한다.
그리고 도 3a와 같이 사용자(10)는 전면에 상호 임의 거리를 유지하면서 설치되어 있는 3차원영상입력수단(100)의 3차원스캐너(110)에서는 가상터치스크린 생성 및 제어에 대한 개시신호에 의하여 적외선 패턴프로젝터(111)는 사용자(10)에게 도 1d와 같은 패턴영상(142, 143, 144, 145)을 순차적으로 조사하며, 사용자(10)에게 투영된 패턴영상은 적외선카메라(112)로 초당 120프레임의 3차원영상정보를 입력받는다.
상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상(212)으로 구성하는 영상전처리부(210), 3차원좌표영상(212)을 이용하여 사용자의 신체부위를 추출하여 신체부위영상(250)을 구성하는 신체부위인식부(220), 추출된 사용자 신체부위 좌표정보를 이용하여 시간에 따른 사용자 신체부위의 동작 상태를 추적하여 설정된 제스처인식을 검색하는 제스처인식부(230)로 구성된 영상정보처리수단(200)의 구성은 다음과 같다.
도 1 및 도 2a를 참조하면 영상전처리부(210)는 3차원영상입력수단(100)에 의하여 연속적인 입력받는 3차원영상정보는 4프레임의 영상과 영상전처리부(210)에 내장된 3차원 좌표를 추출하는 영상처리 알고리즘 프로그램으로 1프레임의 3차원좌표영상(212)을 구성할 수 있으므로 초당 30프레임의 실시간 3차원좌표영상(212)을 구성할 수 있다.
그리고 3차원좌표영상(212)은 사용자의 신체부위(42, 80, 90)를 추출하기 위하여 신체부위인식부(220)에 전달되며, 신체부위인식부(220)는 내장된 신체부위검출 영상처리 알고리즘 프로그램을 이용하여 사용자의 신체부위를 검출하여 3차원 신체부위영상(250)을 구성한다.
그리고 제스처인식부(230)는 추출된 사용자 신체부위영상(250)를 이용하여 시간에 따른 사용자 신체부위의 동작 상태를 추적하여 제스처인식부(230)에 내장되어 있는 프로그램으로 설정된 제스처인식을 판별한다.
상기 가상터치생성제어수단(500)은 제스처를 선택한 사용자의 신체부위의 동작이 가상터치스크린에 적합한 제스처인식을 비교하고 가상터치스크린의 생성에 적합한 가상터치개시제스처인 경우에 가상터치스크린의 생성을 하는 가상터치개시제스처인식부(520)를 포함한다.
상기 가상터치생성제어수단(500)은 가상터치개시제스처를 선택한 사용자 가상터치개시신체부위 좌표를 기준으로 공간상에 하나 이상의 가상터치스크린을 설정한 후, 모니터화면에서 하나 이상의 가상터치스크린의 개시를 표시하는 가상터치영역생성부(530)를 포함한다.
상기 가상터치생성제어수단(500)은 한 명 이상의 사용자가 신체부위의 공간상 좌표를 이용하여 하나 이상의 가상터치스크린을 제어하고 디스플레이수단을 통하여 모니터화면에 커서형상으로 나타나며, 나타난 하나 이상의 사용자 커서를 제어하는 가상터치제어부(540)를 포함한다.
상기 가상터치생성제어수단(500)은 가상터치스크린의 제어를 종료하는 가상터치종료부(550)를 포함하며, 사용자의 편의성을 도모하고자 가상터치환경을 사용자가 선택하는 가상터치환경설정부(560)를 포함한다.
상기 가상터치스크린 생성 및 제어 장치 및 방법의 제 1 실시 예를 적용한 실시예로서는 실시예 1, 실시예 2, 실시예 3이 있으며, 가상터치스크린 생성 및 제어 장치 및 방법의 제 2 실시 예를 적용한 실시예로서는 실시예 4이다.
상기 구성된 가상터치생성제어수단(500)에 대한 본 발명의 작용 효과를 실시예 1에서 사용자 1의 가상터치생성제어수단(500)에서 가상터치환경설정부(560)의 가정사항은 다음과 같으며 가상터치스크린 생성 및 제어 장치 및 방법의 제 1 실시 예를 적용한다.
< 가정사항 2 : 실시예 1에서 가정사항 >
● 기본 사항은 가정사항 1과 동일
● 가상터치스크린 생성 및 제어 장치 및 방법의 제 1 실시 예 적용
● 사용자 수 : 1 명(사용자 1)
● 가상터치개시제스처 : 박수제스처
● 기준신체부위 중심좌표(Ptbasic1) : 머리
● 가상터치스크린 크기 : 60cm(TX1) x 40cm(TY1)
● 가상터치종료 : 모니터화면에 가상터치 사용자 1 메뉴 종료 사용
● 가상터치활동영역의 수: 1개(제 1 가상터치활동영역)
● 제 1 가상터치활동영역
⊙ 가상터치제어신체부위 : 손
⊙ 가상터치공간유형
가상제1터치(Ztouch1)의 치수 : 5cm
가상제2터치(Ztouch2)의 치수 : 15cm
가상제3터치(Ztouch3)의 치수 : 5cm
가상제4터치(Ztouch4)의 치수 : 3cm
⊙ 모니터화면 커서형상
가상제1터치(Ztouch1) : "회색커서형상" (도 7d의 커서 983)
가상제2터치(Ztouch2) : "커서표시형상" (도 7d의 커서 982)
가상제3터치(Ztouch3) : "커서터치형상" (도 7d의 커서 981)
가상제4터치(Ztouch4) : "더블터치형상" (도 7d의 커서 980)
⊙ 모니터화면에서 커서활동영역 (모니터화면 전체해상도)
시작점: Ptmw11 (x,y) = ( 0, 0)
끝점 : Ptmw13 (x,y) = ( 1920, 1080)
● 변위차 : 사용(기준신체부위 중심좌표 - 가상터치스크린 중심좌표)
위의 가정사항을 이용하여 설명하면 다음과 같다.
실시예 1에서 사용자 1을 도 2a, 도 2b를 이용하여 가상터치생성제어수단(500)을 상세히 설명하면, 도 2a에서는 가상터치생성제어수단(500)의 가상터치개시제스처인식부(520)에서는 영상정보처리수단(200)에 의하여 제스처인식부(230)에서 사용자 신체부위에서 제스처가 발생하였는지를 검색하며, 제스처가 가상터치환경설정부(560)에서 설정된 가상터치개시제스처인 경우에는 가상터치영역생성부(530)에 가상터치스크린 생성의 개시신호를 전달한다.
예를 들면 도 4a, 도 4b와 같이 사용자가 2번의 박수제스처를 실시 시 제스처인식부(230)에서는 박수제스처인식을 도 5h와 같은 흐름도를 이용하여 도 5c 내지 5g와 같은 신체부위영상(250)을 분석하여 인식할 수 있으며 제스처인식부(230)에서 인지된 박수제스처는 가상터치개시제스처인식부(520)로 신호를 전달한다.
그리고 가상터치개시제스처인식부(520)에서는 가상터치환경설정부(560)에서 사용자가 가상터치개시제스처로 박수제스처를 선정하였으므로 가상터치영역생성부(530)로 가상터치스크린 생성의 개시신호를 전달한다.
상기 가상터치영역생성부(530)는 가상터치개시제스처의 가상터치개시신체부위 좌표를 기준으로 공간상에 가상터치스크린(301)의 설정을 한다.
예를 들면 도 4a는 사용자가 가상터치개시제스처로 박수제스처를 실시한 예이며, 도 4c는 사용자가 가상터치개시제스처로 축구공제스처를 실시한 예이며, 도 4b 또는 도 4d는 사용자가 실시한 가상터치개시제스처를 실시한 가상터치개시신체부위 중심좌표(Pttcnt1)을 기준으로 공간상에 가상터치스크린(301)의 기준좌표를 설정한다.
그리고 가상터치영역생성부(530)는 도 7a, 도 7b와 같이 가상터치환경설정부 (560)에서 설정한 가상제1터치(Ztouch1)의 영역, 가상제2터치(Ztouch2)의 영역, 가상제3터치(Ztouch3)의 영역, 가상제4터치(Ztouch4)의 영역을 설정한다.
예를 들면 도 7b의 가상터치스크린에서 사용자 1의 실시에 있어서 가상터치개시제스처를 실시한 후 가상터치개시신체부위 중심좌표는 Pttcnt1 (x,y,z) = (100, 120, 315)이고 신체부위영상에서 기준신체부위 중심좌표는 머리로서 중심좌표는 Ptbasic1(x,y,z) = (110, 105, 345)라고 가정을 하면, 가상터치스크린의 x 축 크기(TX1 = 60cm), y축 크기 (TY1 = 40cm)로 주어져 있으므로 가상터치스크린 영역에서 좌표 Ptts11 (x,y,z), Ptts13 (x,y,z)는 도 2c의 단계 4(1440)에서와 같은 방법으로 산출하면 다음과 같다.
Ptts11 (x,y,z) = (100 - 60/2, 120 - 40/2, 315)
= ( 70, 100, 315)
Ptts13 (x,y,z) = (100 + 60/2, 120 + 40/2, 315)
= (130, 140, 315)
그리고 사용자 1의 제 1 가상터치활동영역은 모니터화면에서 커서활동영역으로 모니터화면 전체해상도로 설정되어 있다.
또한, 상기 도 3c에서 가상터치활동영역(354)는 x축 크기는 부호 TXsub11는 도 3e에서 가상터치스크린(301) 영역의 x크기 TX1와 일치하며, 도 3c에서 y축 크기는 부호 TYsub11는 도 3e에서 가상터치스크린(301) 영역의 y축 크기 TY1와 일치한다. 그리고 도 3f의 모니터화면(701)에서 x축 크기는 부호 WXsub11는 도 3h에서 모니터화면(701) 영역의 x축 크기 WX와 일치하며, 도 3f의 모니터화면에서 y축 크기는 부호 WYsub11는 도 3h에서 모니터화면 영역의 y축 크기 WY와 일치하고 있다.
그러므로 도 3c, 도 3e, 도 3f, 도 3h에서,
TXsub11 = TX1 = 60
TYsub11 = TY1 = 40
WXsub11 = WX = 1920
WYsub11 = WY = 1080
가상터치환경설정부(560)에서 Ztouch1 = 5cm, Ztouch2 = 10cm, Ztouch3 = 5cm, Ztouch4 = 3cm 로 주어져 있으므로 도 7a의 3차원스캐너로부터 Zdist1 , Zdist2 , Zdist3 , Zdist4, Zdist5의 거리 및 가상커서의 구간영역은 다음과 같다.
Zdist1 = Pttcnt1 (z) = 315cm
Zdist2 = Zdist1 - Ztouch1 = 310cm
Zdist3 = Zdist2 - Ztouch2 = 300cm
Zdist4 = Zdist3 - Ztouch3 = 295cm
Zdist5 = Zdist4 - Ztouch4 = 292cm
그리고 가상터치 형상의 z좌표 영역은 다음과 같다.
"회색커서형상" : 310cm < 가상제1터치(Ztouch1)의 영역 <= 315cm
"커서표시형상" : 300cm < 가상제2터치(Ztouch2)의 영역 <= 310cm
"커서터치형상" : 295cm < 가상제3터치(Ztouch3)의 영역 <= 300cm
"더블터치형상" : 292cm < 가상제4터치(Ztouch4)의 영역 <= 295cm
또한, 가상터치스크린에서 XL , YL , ZL의 변위차는 다음과 같다.
XL = 110 - 100 = 10
YL = 105 - 120 = -15
ZL = 345 - 315 = 30
가상터치영역생성부(530)는 도 3i 와 같이 가상터치 사용자 1 메뉴(772)를 모니터화면에 디스플레이 한 후에 가상터치제어부(540)를 이용하여 가상터치제어를 실시한다.
상기 가상터치제어부(540)는 도 3a내지 도 3i를 이용하여 상세히 설명하며 다음과 같으며, 도 3a는 사용자 1(11)의 가상터치스크린(301)을 사용하여 모니터화면(701)에 표시된 커서를 제어하는 상태를 나타내고 있다.
도 3a와 같이 가상터치영역생성부(530)에 의하여 생성된 가상터치스크린(301)은 도 3c와 도 7b에서 가상터치스크린 시작좌표 Ptts11 (x,y,z) = (70, 100, 315)이며 좌표 Ptts13 (x,y,z)는 (130, 140, 315) 이다.
또한, 도 3c의 오른손(Pth82)의 터치 좌표를 Pth82 (x,y,z) = (86, 121, 308)이고, 왼손(Pth92)의 터치 좌표를 Pth92 (x,y,z) = (75, 118, 297)이라고 가정을 하면 도 7e로부터 모니터화면에서 커서형상은 다음과 같다.
오른손(Pth82)의 모니터화면의 좌표 Ptm82 (x,y)는,
Ptm82 (x) = (86 - 70) / 60 x 1920 = 512
Ptm82 (y) = (121 - 100) / 40 x 1080 = 567
모니터화면의 커서형상 : "커서표시형상"
(Pth82 (z) = 308 cm 이므로 가상제2터치 영역)
왼손(Pth92)의 모니터화면의 좌표 Ptm92 (x,y)은,
Ptm92 (x) = (75 - 70) / 60 x 1920 = 160
Ptm92 (y) = (118 - 100) / 40 x 1080 = 486
모니터화면의 커서형상 : "커서터치형상"
(Pth92(z) = 297cm 이므로 가상제3터치 영역)
그러므로 도 3f와 같이 모니터화면(701)에는 사용자 1(11)의 오른손 좌표는 (512, 567)로서 "커서표시형상"이며, 왼손의 좌표는 (150, 486)이고 "커서터치형상"이다.
또한, 본 발명에 있어서 가상터치제어부(540)는 도 6a 내지 도 6d와 같이 사용자가 가상터치스크린의 제어기간 동안 사용자가 공간상의 이동을 관측하여 가상터치스크린의 이동을 할 수 있게 하여 사용자의 편리성을 도모하고자 한다.
도 6a에서 사용자(10)는 3차원스캐너의 전면에 임의의 위치(Zdist6a)에서 가상터치스크린의 제어를 실시 시 사용자(10)의 기준신체부위 중심좌표(Ptbasic1)과 가상터치스크린(301) 중심좌표(Pttcnt1)와 z축의 거리(ZL)는 가상터치스크린의 생성시에 산출되었으며 도 6b에서는 도 6a는 도면을 x, y축으로 바라보는 상태로서 사용자(10)의 기준신체부위 중심좌표(Ptbasic1)와 x축의 거리(XL), y축의 거리(YL)를 나타내고 있다.
이와 마찬가지로 도 6c에서와 같이 사용자(10)는 공간상의 이동을 하여 3차원스캐너의 전면에서 임의의 위치(Zdist6c)로 변경 시에도 기준신체부위 중심좌표(Ptbasic2)와 가상터치스크린(301)의 z축의 거리(ZL) 및 도 6d에서도 기준신체부위 중심좌표(Ptbasic2)와 x축의 거리(XL), y축의 거리(YL)도 동일하여 가상터치스크린 중심좌표(Pttcnt2 )를 추출할 수 있다.
또한, 실시예 1의 사용자 1에서 구한 가상터치스크린 생성의 변위차 XL = 10, YL = -15, ZL = 30이므로 도 6c 내지 도 6d에서와 같이 사용자가 신체부위영상(250)에서 기준신체부위가 이동하여 기준신체부위 중심좌표는 Ptbasic2 (x,y,z) = (210, 120, 320)로 변경이 되였다고 가정을 하면, 가상터치스크린 제어단계를 도 2d의 단계 4(1540)을 이용하면 다음과 같다.
Pttcnt2 (x) = Ptbasic2 (x) - XL = 210 - 10 = 200
Pttcnt2 (y) = Ptbasic2 (y) - YL = 120 - (-15) = 135
Pttcnt2 (z) = Ptbasic2 (z) - ZL = 320 - 30 = 290
그러므로 사용자가 공간상의 이동을 관측하여 가상터치스크린의 이동한 후에는 가상터치스크린 공간좌표를 변경하여 가상터치의 제어를 한다.
상기 가상터치생성제어수단(500)은 가상터치스크린의 제어를 종료하는 가상터치종료부(550)를 포함한다.
사용자는 가상터치스크린의 제어를 완료하고 종료 시에는 가상터치환경부에서 설정한 종료방법으로 도 3i와 같이 가상터치 사용자 1 메뉴(772)를 터치 시에 디스플레이수단(700)에서는 가상터치스크린의 제어를 종료한다.
본 발명에 있어서 실시예 2에서는 2명의 사용자가 가상터치스크린의 생성 및 제어를 실시하는 예로서 실시예 1에서 사용자 1이 가상터치스크린의 제어시에 사용자 2의 가상터치스크린의 생성 및 제어에 있어서 이를 상세히 기술하면 다음과 같으며 가상터치스크린 생성 및 제어 장치 및 방법의 제 1 실시 예를 적용한다.
< 가정사항 3 : 실시예 2에서 가정사항 >
● 기본 사항은 가정사항 1과 동일
● 가상터치스크린 생성 및 제어 장치 및 방법의 제 1 실시 예 적용
● 사용자 수 : 2 명(사용자 1, 사용자 2 )
● 가상터치개시제스처 : 손의 좌우제스처 2번
● 기준신체부위 중심좌표(Ptbasic1): 없음(사용하지 않음)
● 가상터치스크린 크기 : 92cm(TX2) x 52cm(TY2) :42인치 모니터화면 크기
● 가상터치종료 : 커서 비활동시간 3분 이상 시 종료
: 손의 상하제스처 2번
● 가상터치활동영역의 수 : 1개(제 2 가상터치활동영역)
● 제 2 가상터치활동영역
⊙ 가상터치제어신체부위 : 손
⊙ 가상터치공간유형
가상제1터치(Ztouch1)의 치수 : 5cm
가상제2터치(Ztouch2)의 치수 : 10cm
가상제3터치(Ztouch3)의 치수 : 5cm
⊙ 모니터화면 커서형상
가상제1터치(Ztouch1) : "회색커서형상" (도 7d의 커서 988)
가상제2터치(Ztouch2) : "커서표시형상" (도 7d의 커서 987)
가상제3터치(Ztouch3) : "커서터치형상" (도 7d의 커서 986)
⊙ 모니터화면에서 커서활동영역 (모니터화면 전체해상도)
시작점: Ptmw21 (x,y) = ( 0, 0)
끝점 : Ptmw23 (x,y) = ( 1920, 1080)
● 변위차 : 사용하지 않음
실시예 2에서 사용자 1, 사용자 2를 위의 가정사항을 이용하여 설명하면 다음과 같다. 도 3b에서는 도 3a에서 사용자 1(11)에 사용자 2(12)가 더 추가되어 두 명의 사용자(11, 12)가 두 개의 가상터치스크린(301, 302)을 제어하여 디스플레이수단(700)을 통하여 모니터화면 (701)에 표시된 커서를 제어하는 상태를 나타낸다.
도 3b에서는 도 3a에서 사용자 1(11)에 사용자 2(12)가 더 추가되어 두 명의 사용자(11, 12)가 두 개의 가상터치스크린(301, 302)을 제어하여 디스플레이수단(700)을 통하여 모니터화면(701)에 표시된 커서를 제어하는 상태를 나타낸다. 상기 사용자 1은 실시예 1과 동일한 절차를 이용하므로 실시예 2에서는 사용자 2를 중심으로 상세히 설명을 한다.
도 2a, 도 2c 를 참조하면 가상터치생성제어수단(500)의 가상터치개시제스처인식부(520)에서는 영상정보처리수단(200)에 의하여 제스처인식부(230)에서 사용자 2의 신체부위에서 제스처를 검출하며, 제스처가 가상터치환경설정부(560)에서 추가 사용자 2의 항목이 설정되어 있고, 제스처가 가상터치개시제스처로 판단 시에는 가상터치영역생성부(530)에 가상터치스크린 생성의 개시신호를 전달한다.
예를 들면 가상터치환경설정부(560)에서는 사용자 2가 설정되어 있는 가상터치개시제스처로 손의 좌우제스처를 2번 실시 시에는 영상정보처리수단(200)에 의하여 제스처인식부(230)에서 사용자 2의 제스처를 검출하며, 제스처인식부(230)에서 발생한 제스처를 검색하여 발생 시에는 가상터치개시제스처인식부(520)로 신호를 전달한다.
상기 가상터치개시제스처인식부(520)는 발생한 제스처가 손의 좌우제스처를 2번 실시를 판명이 될 경우 가상터치스크린 생성의 개시신호를 가상터치영역생성부(530)에 전달한다.
상기 가상터치영역생성부(530)는 가상터치개시제스처의 가상터치개시신체부위 좌표를 기준으로 공간상에 가상터치스크린(302)의 설정을 한다.
예를 들면 도 7c에서 사용자 2의 실시에 있어서 신체부위영상에서 사용자 2의 공간 이동으로 인하여 가상터치스크린이 이동하는 기준신체부위는 가정사항 3에서 없음(사용하지 않음)으로 사용하지 않으므로 고정된 가상터치스크린(302)을 사용하며, 가상터치개시제스처를 실시한 후 가상터치개시신체부위 중심좌표는 Pttcnt1(x,y,z) = (228, 112, 296)라고 가정을 하면, 가상터치스크린의 x 축 크기(TX2 = 92cm), y축 크기 (TY2 = 52cm)로 주어져 있으므로 가상터치스크린 영역의 좌표 Ptts21 (x,y,z), Ptts23 (x,y,z)는 도 2c의 단계 4(1440)에서와 같은 방법으로 산출하면 다음과 같다.
Ptts21 (x,y,z) = (228 - 92/2, 112 - 52/2, 296)
= (182, 86, 296)
Ptts23 (x,y,z) = (228 + 92/2, 112 + 52/2, 296)
= (274, 138, 296)
그리고 사용자 2의 제 2 가상터치활동영역은 모니터화면에서 커서활동영역으로 모니터화면 전체해상도로 설정되어 있다.
또한, 상기 도 3d에서 가상터치활동영역(355)는 x축 크기는 부호 TXsub21는 도 3e에서 가상터치스크린(302) 영역의 x크기 TX2와 일치하며, 도 3d에서 y축 크기는 부호 TYsub21는 도 3e에서 가상터치스크린(302) 영역의 y축 크기 TY2와 일치한다. 그리고 도 3g의 모니터화면(701)에서 x축 크기는 부호 WXsub21는 도 3h에서 모니터화면(701) 영역의 x축 크기 WX와 일치하며, 도 3g의 모니터화면에서 y축 크기는 부호 WYsub21는 도 3h에서 모니터화면(701) 영역의 y축 크기 WY와 일치하고 있다.
그러므로 도 3d, 도 3e, 도 3g, 도 3h에서
WXsub21 = WX = 1920
WYsub21 = WY = 1080
TXsub21 = TX2 = 92
TYsub21 = TY2 = 52
가상터치환경설정부(560)에서 Ztouch1 = 5cm, Ztouch2 = 10cm, Ztouch3 = 5cm로 주어져 있으므로 도 7a의 Zdist1 , Zdist2 , Zdist3 , Zdist4의 거리 및 가상커서의 구간영역은 다음과 같다.
Zdist1 = 가상터치개시신체부위 중심좌표 z값 = Pttcnt1 (z) = 296cm
Zdist2 = Zdist1 - Ztouch1 = 291cm
Zdist3 = Zdist2 - Ztouch2 = 281cm
Zdist4 = Zdist3 - Ztouch3 = 276cm
그리고 가상터치 형상의 z좌표 영역은 다음과 같다.
"회색커서형상" : 291cm < 가상제1터치(Ztouch1)의 영역 <= 296cm
"커서표시형상" : 281cm < 가상제2터치(Ztouch2)의 영역 <= 291cm
"커서터치형상" : 276cm < 가상제3터치(Ztouch3)의 영역 <= 281cm
또한, XL , YL , ZL의 변위차는 없음(사용하지 않음)으로 산출하지 않는다.
가상터치영역생성부(530)는 도 3i 와 같이 가상터치 사용자 2 메뉴(773)를 모니터화면에 디스플레이 한 후에 가상터치제어부(540)를 이용하여 가상터치제어를 실시한다.
상기 가상터치제어부(540)는 도 3b내지 도 3i를 이용하여 상세히 설명하며 다음과 같으며, 도 3b는 두 명의 사용자(11, 12)가 가상터치스크린(301)을 사용하여 모니터화면(701)에 표시된 커서를 제어상태를 나타내고 있다.
또한, 도 3d의 오른손의 터치좌표를 Pth83 (x,y,z) = (242, 109, 294)이고, 왼손의 터치 좌표를 Pth93 (x,y,z) = (223, 121, 308) 이라고 가정을 하면 도 7f로부터 모니터화면에서 커서형상은 가상터치스크린 제어의 단계 6(1560)을 이용하면 다음과 같다.
오른손(Pth83)의 모니터화면의 좌표 Ptm83 (x,y)는,
Ptm83 (x) = (242 - 182) / 92 x 1920 = 1252
Ptm83 (y) = (109 - 86) / 52 x 1080 = 478
커서형상 : "회색커서형상" ( Pth83 (z) = 294cm로 가상제1터치 영역)
왼손(Pth93)의 모니터화면의 좌표 Ptm93 (x,y)는,
Ptm93 (x) = (223 - 182) / 92 x 1920 = 856
Ptm93 (y) = (121 - 86) / 52 x 1080 = 727
커서형상 : 커서없음 ( Pth93 (z) = 308cm 로 가상터치스크린에서 벗어남)
그러므로 도 3g에서는 사용자 2에서의 커서 Ptm83의 표시상태를 나타낸 것이며, 도 3g, 도 3h와 같이 모니터화면(701)에는 오른손(Pth83)의 모니터화면 커서좌표는 Pth83(x,y) = (1257, 478)로서 "회색커서형상", 왼손(Pth93)의 모니터화면 커서좌표는 Pth93(z) = 308cm 로 가상터치스크린에서 벗어나 있으므로 표시하지 않는다.
상기 사용자 2에 의한 가상터치스크린의 제어를 종료 시에도 가상터치종료부(550)를 포함하며, 사용자 2는 가상터치스크린의 제어를 완료하고 종료 시에는 가상터치환경부에서 설정한 종료방법으로 3분 이상의 가상터치제어를 실시하지 않거나 가상터치 종료제스처로 손의 상하제스처를 실시 시에는 디스플레이수단(700)에서는 가상터치스크린 제어를 종료한다.
도 3h는 가상터치제어신체부위를 이용하여 가상터치스크린을 제어하여 사용자 1과 사용자 2가 동시에 모니터화면의 커서형상으로 도시한 예이며, 도 3i는 도 3h를 모니터화면의 커서형상으로 도시한 다른 예이다.
도 8a내지 도 8d는 본 발명에 있어서 한 명의 사용자가 가상터치스크린을 생성시 하나 이상의 가상터치활동영역을 이용하여 가상터치스크린을 제어하는 실시예 3로서 이를 상세히 기술하면 다음과 같으며 가상터치스크린 생성 및 제어 장치 및 방법의 제 1 실시 예를 적용한다.
< 가정사항 4 : 실시예 3에서 가정사항 >
● 기본 사항은 가정사항 1과 동일
● 가상터치스크린 생성 및 제어 장치 및 방법의 제 1 실시 예 적용
● 사용자 수 : 1 명(사용자 1)
● 가상터치개시제스처 : 손의 축구공 제스처
● 기준신체부위 중심좌표(Ptbasic1) : 없음(사용하지 않음)
● 가상터치스크린 크기 : 92cm x 52cm
● 가상터치종료 : 커서 비활동시간 3분 이상 시 종료
● 가상터치활동영역의 수 : 3 개
(제 1 가상터치활동영역)
(제 2 가상터치활동영역)
(제 3 가상터치활동영역)
● 제 1 가상터치활동영역
⊙ 가상터치제어신체부위 : 손
⊙ 가상터치공간유형
가상제1터치(Ztouch1)의 치수: 5cm
가상제2터치(Ztouch2)의 치수: 15cm
가상제3터치(Ztouch3)의 치수: 10cm
가상제4터치(Ztouch4)의 치수 : 3cm
⊙ 모니터화면 커서형상
가상제1터치(Ztouch1) : "회색커서형상" (도 7d의 커서 984)
가상제2터치(Ztouch2) : "커서표시형상" (도 7d의 커서 982)
가상제3터치(Ztouch3) : "커서터치형상" (도 7d의 커서 981)
가상제4터치(Ztouch4) : "더블터치형상" (도 7d의 커서 980)
⊙ 모니터화면에서 커서활동영역 (모니터화면 일부분)
시작점 : Ptmw11 (x,y) = (100, 90)
끝점 : Ptmw13 (x,y) = (760, 410)
● 제 2 가상터치활동영역
⊙ 가상터치제어신체부위 : 손
⊙ 가상터치공간유형
가상제1터치(Ztouch1)의 치수: 5cm
가상제2터치(Ztouch2)의 치수: 5cm
가상제4터치(Ztouch4)의 치수: 5cm
⊙ 모니터화면 커서형상
가상제1터치(Ztouch1) : "회색커서형상" (도 7d의 커서 994)
가상제2터치(Ztouch2) : "커서표시형상" (도 7d의 커서 992)
가상제4터치(Ztouch4) : "더블터치형상" (도 7d의 커서 990)
⊙ 모니터화면에서 커서활동영역 (모니터화면 일부분)
시작점 : Ptmw21 (x,y) = (1000, 110)
끝점 : Ptmw23 (x,y) = (1840, 520)
● 제 3 가상터치활동영역
⊙ 가상터치제어신체부위 : 손 또는 손가락
⊙ 가상터치공간유형
가상제1터치(Ztouch1)의 치수: 5cm
가상제2터치(Ztouch2)의 치수: 10cm
가상제3터치(Ztouch3)의 치수: 5cm
가상제4터치(Ztouch4)의 치수 : 3cm
⊙ 모니터화면 커서형상
가상제1터치(Ztouch1) : "회색커서형상" (도 7d의 커서 989)
가상제2터치(Ztouch2) : "커서표시형상" (도 7d의 커서 987)
가상제3터치(Ztouch3) : "커서터치형상" (도 7d의 커서 986)
가상제4터치(Ztouch4) : "더블터치형상" (도 7d의 커서 985)
⊙ 모니터화면에서 커서활동영역 (모니터화면 일부분)
시작점 : Ptmw31 (x,y) = (180, 590)
끝점 : Ptmw33 (x,y) = (1700, 940)
● 변위차 : 사용하지 않음
위의 가정사항을 이용하여 설명하면 다음과 같다.
도 8a는 본 발명에 있어서 한 명 이상의 사용자가 손을 가상터치개시제스처로 축구공 제스처를 실시 후 가상터치스크린 생성 단계 7(1270)에서는 신체부위영상(250)에서 축구공제스처를 중심으로 가상터치개시신체부위 중심좌표(Pttcnt1)를 이용하여 가상터치스크린(301)을 발생시키며, 가상터치스크린 중심좌표를 기준으로 가상터치활동영역을 3개를 설정하며 가상터치스크린 기준신체부위는 없음으로 기준신체부위 중심좌표(Ptbasic1)와 가상터치스크린 중심좌표(Pttcnt1)와의 변위차 XL , YL , ZL은 사용하지 않는다.
도 8b는 도 8a의 신체부위영상(250)에서 가상터치스크린(301)을 확대한 도면으로 축구공제스처를 중심좌표를 (140, 130, 300)로 가정 시 가상터치스크린(351, 352, 353)의 산출은 다음과 같다.
가상터치스크린 중심좌표(Pttcnt1)는 가상터치개시신체부위 중심좌표와 동일하므로 Pttcnt1(x,y,z) = (140, 130, 300)이며, 가상터치스크린의 생성의 단계 3(1430)을 이용하면 가상터치스크린의 영역의 산출은 다음과 같다.
Ptts11 (x,y,z) = (140 - 92/2, 130 - 52/2, 300)
= ( 94, 104, 300)
Ptts13 (x,y,z) = (140 + 92/2, 130 + 52/2, 300)
= (186, 156, 300)
제 1 가상터치활동영역의 산출은 다음과 같다.
Pttw11 (x) = Ptmw11 (x) / WX x TX1 + Ptts11 (x)
Pttw11 (y) = Ptmw11 (y) / WY x TY1 + Ptts11 (y)
을 이용하여 산출이 가능하므로,
Pttw11 (x,y,z) = (100 / 1920 x 92 + 94, 90 / 1080 x 52 + 104, 300)
= ( 99, 108, 300 )
Pttw13 (x,y,z) = (760 / 1920 x 92 + 94, 410 / 1080 x 52 + 104, 300)
= (130, 124, 300)
제 1 가상터치활동영역의 치수는
TXsub11 = Pttw13 (x) - Pttw11 (x) = 31
TYsub11 = Pttw13 (y) - Pttw11 (y) = 16
이다.
가상터치영역의 구간 Zdist1 , Zdist2 , Zdist3 , Zdist4 , Zdist5의 설정은 다음과 같다.
Zdist1 = Pttcnt1 (z) = 300
Zdist2 = 300 - 5 = 295
Zdist3 = 295 - 15 = 280
Zdist4 = 280 - 10 = 270
Zdist5 = 270 - 3 = 267
그리고 가상터치 형상의 z좌표 영역은 다음과 같다.
"회색커서형상" : 295cm < 가상제1터치(Ztouch1)의 영역 <= 300cm
"커서표시형상" : 280cm < 가상제2터치(Ztouch2)의 영역 <= 295cm
"커서터치형상" : 270cm < 가상제3터치(Ztouch3)의 영역 <= 280cm
"더블터치형상" : 267cm < 가상제4터치(Ztouch4)의 영역 <= 270cm
이와 마찬가지로, 제 2 가상터치활동영역의 산출은 다음과 같다.
Pttw21 (x,y,z) = (1000 / 1920 x 92 + 94, 110 / 1080 x 52 + 104, 300)
= (142, 109, 300 )
Pttw23 (x,y,z) = (1840 / 1920 x 92 + 94, 520 / 1080 x 52 + 104, 300)
= (182, 129, 300 )
제 2 가상터치활동영역의 치수는
TXsub12 = Pttw23 (x) - Pttw21 (x) = 40,
TYsub12 = Pttw23 (y) - Pttw21 (y) = 20
가상터치영역의 구간 Zdist1 , Zdist2 , Zdist3 , Zdist4 , Zdist5의 설정은 다음과 같다.
Zdist1 = Pttcnt1 (z) = 300
Zdist2 = 300 - 5 = 295
Zdist3 = 295 - 5 = 290
Zdist4 = 290 - 5 = 285
그리고 가상터치 형상의 z좌표 영역은 다음과 같다.
"회색커서형상" : 295cm < 가상제1터치(Ztouch1)의 영역 <= 300cm
"커서표시형상" : 290cm < 가상제2터치(Ztouch2)의 영역 <= 295cm
"더블터치형상" : 285cm < 가상제4터치(Ztouch4)의 영역 <= 290cm
이와 마찬가지로, 제 3 가상터치활동영역의 산출은 다음과 같다.
Pttw31 (x,y,z) = (180 / 1920 x 92 + 94, 590 / 1080 x 52 + 104, 300)
= (103, 132, 300)
Pttw33 (x,y,z) = (1700 / 1920 x 92 + 94, 940 / 1080 x 52 + 104, 300)
= (175, 149, 300)
제 3 가상터치활동영역의 치수는
TXsub13 = Pttw33 (x) - Pttw31 (x) = 72
TYsub13 = Pttw33 (y) - Pttw31 (y) = 17
가상터치영역의 구간 Zdist1 , Zdist2 , Zdist3 , Zdist4 , Zdist5의 설정은 다음과 같다.
Zdist1 = Pttcnt1 (z) = 300
Zdist2 = 300 - 5 = 295
Zdist3 = 295 - 10 = 285
Zdist4 = 285 - 5 = 280
Zdist5 = 280 - 3 = 277
그리고 가상터치 형상의 z좌표 영역은 다음과 같다.
"회색커서형상" : 295cm < 가상제1터치(Ztouch1)의 영역 <= 300cm
"커서표시형상" : 285cm < 가상제2터치(Ztouch2)의 영역 <= 295cm
"커서터치형상" : 280cm < 가상제3터치(Ztouch3)의 영역 <= 285cm
"더블터치형상" : 277cm < 가상제4터치(Ztouch4)의 영역 <= 280cm
그러므로 도 8b과 도 8c에서는 가상터치스크린 351은 사용자가 설정한 모니터화면 터치 영역 751에 대응되며, 가상터치스크린 352는 사용자가 설정한 모니터화면 터치 영역 752에 대응되며, 가상터치스크린 353은 사용자가 설정한 모니터화면 터치 영역 753에 대응된다.
또한, 사용자가 가상터치스크린 제어를 위하여 가상터치스크린에 가상터치제어신체부위가 있을 경우 단계 6(1560)을 이용한 예시는 아래와 같다.
왼손 좌표는 Pth92 (x,y,z) = (123, 115, 269)에 위치하고 있으며, 오른손 좌표는 Pth82(x,y,z) = (158, 123, 288)에 위치하고 있다고 가정을 하면 다음과 같다.
가상터치스크린에서 왼손좌표에 대한 모니터화면 좌표 Ptm92 (x,y)는 다음과 같다.
Ptm92 (x) = (Pth92 (x) - Ptts1 (x) ) / TX1 x WX
= (123 - 94) / 92 x 1920 = 605
Ptm92 (y) = (Pth92 (y) - Ptts1 (y) ) / TY1 x WY
= (115 - 104) / 52 x 1080 = 125
모니터화면의 커서형상 = "더블터치형상" ( Pth92 (z) = 269 )
그러므로 커서형상은 도 7d의 커서 980의 형상이며, 왼손 좌표는 제 1 가상터치활동영역에 위치하고 있다.
가상터치스크린에서 오른손좌표의 모니터화면 좌표 Ptm82 (x,y)는 다음과 같다.
Ptm82 (x) = (158 - 94) / 92 x 1920 = 1336
Ptm82 (y) = (123 - 104) / 52 x 1080 = 395
모니터화면의 커서형상 = "더블터치형상" (Pth82 (z) = 288)
그러므로 커서형상은 도 7d의 커서 990의 형상이며, 오른손 좌표는 제 2 가상터치활동영역에 위치하고 있다.
도 8c는 가상터치제어신체부위를 이용하여 가상터치스크린을 제어하여 모니터화면의 커서형상으로 도시한 예이며, 도 8d는 도 8c를 모니터화면의 커서형상으로 도시한 다른 예이다.
또한, 제 2 가상터치활동영역의 가상터치환경설정부를 참조하면 가상제3터치구간을 제외되어 있으며, 이는 사용자의 용도에 맞게 설정한 예를 나타낸 것이다.
본 발명의 가상터치스크린을 생성과 제어를 실시에 있어서 공공장소나 광고용으로 설치되어 있는 모니터화면의 제어를 위하여 가상터치개시제스처를 매번 실시하는 것은 번거로울 수 있다.
도 9a 내지 도 9b를 이용하여 실시예 4에서는 본 발명에 있어서 가상터치스크린의 생성 및 제어의 장치 및 방법의 제 2 실시의 예를 상세하게 설명하면 다음과 같다.
도 9a 내지 도 9b에서는 본 발명의 가상터치스크린을 생성에 있어서 사용자의 기준신체부위가 3차원스캐너의 인식영역에 있으면 가상터치개시제스처를 생략하고 사용자의 기준신체부위를 신체부위영상(250)에서 인식한 후, 가상터치스크린을 자동 생성하여 가상터치스크린의 제어를 하는 도면이다.
그러므로 가상터치환경설정부(560)에서 고정된 변위값(XL, YL, ZL)을 설정을 한 후, 3차원스캐너(110)에서는 사용자(10)의 기준신체부위 중심좌표(Ptbasic1)의 인식할 수 있는 영역에서 기준신체부위 중심좌표(Ptbasic1)로부터 가상터치스크린 중심좌표(Pttcnt1)까지의 거리를 산출한 후, 가상터치스크린(301)을 자동으로 생성하여 가상터치스크린의 제어를 실시하며 도 9a와 같이 3차원스캐너에서 사용자까지 거리(Zdist9a)와 도 9b에서와 같이 3차원스캐너에서 사용자까지 거리(Zdist9b)와의 거리가 달라져도 가상터치스크린의 제어를 실시할 수 있다.
< 가정사항 5 : 실시예 4에서 가정사항 >
● 기본 사항은 가정사항 1과 동일
● 가상터치스크린 생성 및 제어 장치 및 방법의 제 2 실시 예 적용
● 사용자 수 : 1 명(사용자 1)
● 가상터치개시제스처 : (사용하지 않음)
● 기준신체부위 중심좌표(Ptbasic1) : 머리
● 가상터치스크린 크기 : 92cm x 52cm
● 가상터치종료 : 신체부위영상에서 기준신체부위가 없을 경우
● 가상터치활동영역의 수 : 1 개(제 1 가상터치활동영역)
● 제 1 가상터치활동영역
⊙ 가상터치제어신체부위 : 손
⊙ 가상터치공간유형
가상제1터치(Ztouch1)의 치수 : 5cm
가상제2터치(Ztouch2)의 치수 : 15cm
가상제3터치(Ztouch3)의 치수 : 10cm
가상제4터치(Ztouch4)의 치수 : 3cm
⊙ 모니터화면 커서형상
가상제1터치(Ztouch1) : "회색커서형상" (도 7d의 커서 983)
가상제2터치(Ztouch2) : "커서표시형상" (도 7d의 커서 982)
가상제3터치(Ztouch3) : "커서터치형상" (도 7d의 커서 981)
가상제4터치(Ztouch4) : "더블터치형상" (도 7d의 커서 980)
⊙ 모니터화면에서 커서활동영역 (모니터화면 전체)
시작점 : Ptmw11 (x,y) = ( 0, 0)
끝점 : Ptmw13 (x,y) = (1920, 1080)
● 변위차 : 사용(가상터치환경설정부에서 고정된 변위값 설정)
XL = 20, YL = -10, ZL = 30
상기 본 발명에 따른 실시예 4를 도 2f 내지 도 2h 및 도 9a 내지 도 9b를 이용하여 상세히 설명하면 다음과 같으며 가상터치스크린 생성 및 제어 장치 및 방법의 제 2 실시 예를 적용한다.
상기 사용자는 모니터화면(701)에서 필요한 정보의 검색을 하기 위하여 도 9a와 같이 모니터화면에 임의의 거리(Zsist9a)에 접근한다고 가정 시에는 다음과 같다.
도 2f에서 3차원영상입력수단(100)의 3차원스캐너(110)는 3차원영상정보를 연속적으로 입력받는다.
상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상(212)으로 구성하는 영상전처리부(210), 3차원좌표영상(212)을 이용하여 사용자의 신체부위를 추출하여 신체부위영상(250)을 구성하는 신체부위인식부(220), 추출된 사용자 신체부위 좌표정보를 이용하여 가상터치생성제어수단(500)에서는 사용자의 기준신체부위를 인식하는 기준신체부위인식부(525)로 전달된다.
상기 기준신체부위인식부(525)에서는 사용자의 기준신체부위 (가정사항 5에서는 기준신체부위는 머리)가 존재 시에는 기준신체부위를 기준으로 가상터치영역생성부(530)에 의하여 가상터치스크린의 생성이 개시된다.
가상터치영역생성부(530)에서 가상터치스크린의 생성은 다음과 같다.
도 9a와 같이 기준신체부위인식부(525)에서 인식된 기준신체부위 중심좌표 Ptbasic1(x,y,z)를 (150, 100, 300)으로 가정을 하면 임의의 거리(Zsist9a)는 300cm 이며, 가상터치스크린 중심좌표(Pttcnt1)는 도 2h의 단계 4(2440)에 의하여 다음과 같다.
Pttcnt1 (x) = Ptbasic1 (x) - XL = 150 - 20 =130
Pttcnt1 (y) = Ptbasic1 (y) - YL = 100 - (-10) = 110
Pttcnt1 (z) = Ptbasic1 (z) - ZL = 300 - 30 = 270
가상터치스크린 영역의 생성은 다음과 같다.
그러므로 사용자(i)의 가상터치스크린 중심좌표(Pttcnt1)는 Pttcnt1 (x,y,z) = (130, 110, 270)이며, 가상터치스크린 생성은 도 2h의 단계 5(2450)에 의하여 가상터치스크린의 영역의 도 3c의 부호를 이용하면 다음과 같다.
Ptts11 (x,y,z) = (130 - 92/2, 110 - 52/2, 270)
= ( 84, 84, 270)
Ptts13 (x,y,z) = (130 + 92/2, 110 + 52/2, 270)
= (176, 136, 270)
제 1 가상터치활동영역의 산출은 다음과 같다.
Pttw11 (x) = Ptmw11 (x) / WX x TX1 + Ptts11 (x)
Pttw11 (y) = Ptmw11 (y) / WY x TY1 + Ptts11 (y)
을 이용하여 산출이 가능하므로, 모니터화면 전체 영역을 좌표를 이용하므로 Ptts11(x,y,z), Ptts13 (x,y,z)와 동일하다.
Pttw11 (x,y,z) = (0 / 1920 x 92 + 84, 0 / 1080 x 52 + 84, 270)
= (84, 84, 270 )
Pttw13 (x,y,z) = (1920 / 1920 x 92 + 84, 1080 / 1080 x 52 + 84, 270)
= (176, 136, 270)
제 1 가상터치활동영역의 치수는
가상터치영역의 구간 Zdist1 , Zdist2 , Zdist3 , Zdist4 , Zdist5의 설정은 다음과 같다.
Zdist1 = Pttcnt1 (z) = 270
Zdist2 = 270 - 5 = 265
Zdist3 = 265 - 15 = 250
Zdist4 = 250 - 10 = 240
Zdist5 = 240 - 3 = 237
그리고 가상터치 형상의 z좌표 영역은 다음과 같다.
"회색커서형상" : 265cm < 가상제1터치(Ztouch1)의 영역 <= 270cm
"커서표시형상" : 250cm < 가상제2터치(Ztouch2)의 영역 <= 265cm
"커서터치형상" : 240cm < 가상제3터치(Ztouch3)의 영역 <= 250cm
"더블터치형상" : 237cm < 가상제4터치(Ztouch4)의 영역 <= 240cm
그러므로 본 발명에 따른 실시예 4에서 사용자는 기준신체부위 중심좌표(Ptbasic1)를 이용하여 가상터치스크린 중심좌표(Pttcnt1)까지의 거리를 산출한 후, 가상터치스크린(301)을 생성하여 가상터치스크린의 제어가 가능하다.
도 9b는 사용자가 모니터화면에 임의의 거리(Zsist9b)에 근접하여 있는 상태로서 도 6a 내지 도 6d와 동일하다.
예를 들어 도 9b에서 기준신체부위인식부(525)에서 인식된 기준신체부위 중심좌표 Ptbasic1 (x,y,z)를 (140, 110, 180)으로 가정을 하면 임의의 거리(Zsist9b)는 180cm 이며, 가상터치스크린 중심좌표(Pttcnt1)는 도 2h의 단계 4(2440)에 의하여 다음과 같다.
Pttcnt1 (x) = Ptbasic1 (x) - XL = 140 - 20 = 120
Pttcnt1 (y) = Ptbasic1 (y) - YL = 110 - (-10) = 120
Pttcnt1 (z) = Ptbasic1 (z) - ZL = 180 - 30 = 150
가상터치스크린 영역의 생성은 다음과 같다.
그러므로 사용자(i)의 가상터치스크린 중심좌표(Pttcnt1)는 Pttcnt1 (x,y,z) = (120, 120, 150)이며, 가상터치스크린 생성은 도 2h의 단계 5(2450)에 의하여 가상터치스크린의 영역의 도 3c의 부호를 이용하면 다음과 같다.
Ptts11 (x,y,z) = (120 - 92/2, 120 - 52/2, 150)
= ( 74, 94, 150)
Ptts13 (x,y,z) = (120 + 92/2, 120 + 52/2, 150)
= (166, 146, 150)
제 1 가상터치활동영역의 산출은 모니터화면 전체 영역을 좌표를 이용하므로 Ptts11(x,y,z), Ptts13 (x,y,z)와 동일하다.
Pttw11 (x,y,z) = (0 / 1920 x 92 + 74, 0 / 1080 x 52 + 94, 150)
= (74, 94, 150)
Pttw13 (x,y,z) = (1920 / 1920 x 92 + 74, 1080 / 1080 x 52 + 94, 150)
= (166, 146, 150)
제 1 가상터치활동영역의 치수는
가상터치영역의 구간 Zdist1 , Zdist2 , Zdist3 , Zdist4 , Zdist5의 설정은 다음과 같다.
Zdist1 = Pttcnt1 (z) = 150
Zdist2 = 150 - 5 = 145
Zdist3 = 145 - 15 = 130
Zdist4 = 130 - 10 = 120
Zdist5 = 120 - 3 = 117
그리고 가상터치 형상의 z좌표 영역은 다음과 같다.
"회색커서형상" : 145cm < 가상제1터치(Ztouch1)의 영역 <= 150cm
"커서표시형상" : 130cm < 가상제2터치(Ztouch2)의 영역 <= 145cm
"커서터치형상" : 120cm < 가상제3터치(Ztouch3)의 영역 <= 130cm
"더블터치형상" : 117cm < 가상제4터치(Ztouch4)의 영역 <= 120cm
그러므로 본 발명에 따른 실시예 4에서 사용자는 기준신체부위 중심좌표(Ptbasic1)를 이용하므로 도 9a 내지 도 9b와 같이 사용자의 움직임을 감지하여 가상터치스크린 중심좌표(Pttcnt1)까지의 거리를 산출한 후, 가상터치스크린(301)을 생성하여 사용자는 가상터치제어신체부위를 이용하여 가상터치스크린을 제어하여 모니터화면에 대한 제어가 가능하다.
< 본 발명에 있어서 가상터치스크린을 생성과 제어하는 장치 및 방법에 있어서 가상제4터치 적용의 예시 >
상기 도 10a 내지 도 10c는 스마트폰에서 사용되고 있는 기존의 터치키보드의 화면으로서 본 발명의 가상터치스크린을 생성과 제어하는 장치 및 방법의 적용의 예시에서 가상터치제어신체부위가 가상제4터치(Ztouch4)를 터치시 사용의 장점을 상세히 설명한다.
도 10a에서는 가상터치스크린(301)에서는 오른손(Pth84)은 가상제2터치(Ztouch2) 영역에 있으므로 모니터화면(707)에서 커서형상(Ptm84)는 "커서표시형상"이며, 왼손(Pth94)은 가상제3터치(Ztouch3) 영역에 있으므로 모니터화면(707)에서 커서형상(Ptm94)는 "커서터치형상"이다.
그러므로 기존의 터치스크린의 영문사용방식에서는 대문자 "E"를 모니터화면 (707)에 표시하고자 가상제3터치(Ztouch3)의 손위치(Pth94)는 "E"의 위치에 커서가 터치형상(Ptm94)로 있으면 모니터화면(707)에서 "E"(724)가 표시되는 도면이다.
도 10b에서는 기존의 터치스크린의 영문사용방식에서는 대문자 "E"를 소문자 "e"로 변환시에는 모니터화면(708)의 메뉴에서 시프트키(721)를 터치한 상태에서 대문자 "E"를 터치하여야 한다.
그러나 본 발명의 실시에서는 가상터치제어신체부위가 가상제4터치(Ztouch4)를 터치할 경우 터치스크린의 시프트키(721)가 터치 된 상태에서 키보드를 제어하는 상태로 프로그램되어 있으면 가상터치스크린(301)에서 손위치(Pth95)가 가상제4터치(Ztouch4)에 있는 경우에 모니터화면(708)에서는 "E"를 터치(Ptm95)시에는 "e" (725)로 표시되는 것을 나타내는 도면이다.
도 10c에서는 기존의 터치스크린의 한글사용방식에서 쌍자음을 화면에 나타내기 위하여 다양한 방식을 적용할 수 있으며, 예로서는 "ㅃ"를 표시하는 방법에는 시프트키(721)를 터치한 상태에서 "ㅂ"를 입력하는 방법, "ㅂ"를 길게 터치하는 방법 및 "ㅂ"를 연속 2번 터치로 하는 방법으로 실시할 수 있다.
그러나 본 발명으로 실시 시에서는 손위치(Pth96)가 가상제3터치(Ztouch3)에서 "ㅂ"를 선택 시 "ㅂ"로 표시되며, 손위치(Pth96)가 가상제4터치(Ztouch4)에서 "ㅂ"를 선택 시 "ㅃ"를 표시할 수 있도록 기존 시프트키(721) 대용의 프로그램이 가능하다.
그러므로 도 10c에서는 손위치(Pth96)가 가상제4터치(Ztouch4)에서 "ㅂ"(Ptm96)를 모니터화면(709)에서 선택하고 있으므로 "ㅃ"(726)를 모니터화면(709)에 표시하고 있다.
그러므로 사용자는 가상터치스크린에서 기존의 터치 방식을 가상제3터치에서 실시할 수 있으며, 이와 더불어 가상제4터치를 추가하여 화면 메뉴의 두 번 터치 행위 또는 시프트키(721)나 기타 다른 키의 대용으로 프로그램을 제작하여 적용이 가능하다.
또한, 기존 터치스크린에서 손가락에 의한 터치 방법을 본 발명의 가상터치스크린을 생성과 제어하는 장치 및 방법으로 사용자의 가상터치제어신체부위를 이용하여 가상터치스크린 영역을 제어하여 모니터화면에 있는 아이콘과 버튼, 메뉴 항목, 터치 키보드, 기타 항목을 제어 및 화면의 확대 등을 핸즈프리 상태에서 제어가 가능하며, 기존의 리모컨보다 많은 정보를 전자기기와 통신이 가능하다.
<본 발명에 따른 변형의 일 예>
도 11a는 본 발명의 가상터치스크린을 생성과 제어를 실시에 있어서 다수의 사용자가 실시하는 게임분야 또는 프레젠테이션 분야에 실시하는 변형의 예로서 한 명 이상의 3차원영상입력수단(100)과 하나 이상의 영상정보처리수단(200)으로 이루어진 하나 이상의 가상터치생성제어수단(500)을 이용하여 디스플레이수단(700)의 모니터화면을 제어하는 도면이다.
예를 들어 설명하면, 사용자 1(11)은 3차원스캐너(110)에 의하여 가상터치스크린(301)을 생성하여 모니터화면(701)을 제어할 수 있으며, 사용자 2(12)는 3차원스캐너(120)에 의하여 가상터치스크린(302)을 생성하여 모니터화면(701)을 제어할 수 있고 사용자 3(13)은 3차원스캐너(120)에 의하여 가상터치스크린(303)을 생성하여 모니터화면(701)을 제어할 수 있다.
그러므로 한 명 이상의 사용자가 하나의 디스플레이수단(700)의 모니터화면을 이용하여 제어가 가능하여 사용자 상호간의 정보를 교류하는 분야에 다양하게 응용될 수 있다.
<본 발명에 따른 변형의 다른 예>
도 11b는 본 발명의 가상터치스크린을 생성과 제어를 실시에 있어서 다수의 사용자가 실시하는 게임분야 또는 프레젠테이션 분야에 실시하는 변형의 예로서 한 명 이상의 3차원영상입력수단(100)과 하나 이상의 영상정보처리수단(200)으로 이루어진 하나 이상의 가상터치생성제어수단(500)을 이용하여 하나 이상의 디스플레이수단(700)의 모니터화면을 제어하는 도면이다.
예를 들어 설명하면, 사용자 1(11)은 3차원스캐너(110)에 의하여 가상터치스크린(301)을 생성하여 모니터화면(701)을 제어할 수 있으며, 사용자 2(12)는 다른 3차원스캐너(120)에 의하여 다른 가상터치스크린(302)을 생성하여 다른 모니터화면(702)을 제어할 수 있다. 그러므로 사용자 1과 사용자 2는 네트워크 또는 인터넷(799)를 이용하여 상호 동일한 관심사항의 프로그램을 하나 이상의 디스플레이수단(700)의 모니터화면으로 접속하여 본 발명의 가상터치스크린의 생성 및 제어를 실시하는 도면이다.
그러므로 한 명 이상의 사용자가 하나 이상의 디스플레이수단(700)의 모니터화면을 이용하여 제어가 가능하여 사용자 상호간의 정보를 교류하는 분야에 다양하게 응용될 수 있다.
<본 발명에 따른 변형의 또 다른 예>
도 12a 내지 12g는 본 발명의 가상터치스크린을 생성과 제어를 실시에 있어서 변형의 또 다른 예로서 가상터치제어신체부위를 발을 이용하여 실시에 대한 것이며 가정사항은 다음과 같다.
< 가정사항 6 : 실시예 5에서 가정사항 >
● 기본 사항은 가정사항 1과 동일
● 가상터치스크린 생성 및 제어 장치 및 방법의 제 1 실시 예 적용
● 가상터치환경설정부(560): 사용자 수 1 명(사용자 1)
● 가상터치개시제스처 : 발의 상하 제스처 2회
● 기준신체부위 중심좌표(Ptbasic1) : 사용하지 않음(고정)
● 가상터치스크린 크기 : 92cm x 52cm
● 가상터치종료 : 가상터치스크린 생성 후 1분 시간 경과시 종료
● 가상터치활동영역의 수: 1 개(제 1 가상터치활동영역)
● 제 1 가상터치활동영역
⊙ 가상터치제어신체부위 : 발
⊙ 가상터치공간유형
가상제1터치(Ztouch1)의 치수 : 20cm
가상제2터치(Ztouch2)의 치수 : 45cm
가상제3터치(Ztouch3)의 치수 : 20cm
가상제4터치(Ztouch4)의 치수 : 10cm
⊙ 모니터화면 커서형상
가상제1터치(Ztouch1) : "회색커서형상" (도 7d의 커서 983)
가상제2터치(Ztouch2) : "커서표시형상" (도 7d의 커서 982)
가상제3터치(Ztouch3) : "커서터치형상" (도 7d의 커서 981)
가상제4터치(Ztouch4) : "더블터치형상" (도 7d의 커서 980)
⊙ 모니터화면에서 커서활동영역 (모니터화면 전체)
시작점 : Ptmw11 (x,y) = ( 0, 0)
끝점 : Ptmw13 (x,y) = (1920, 1080)
⊙ 변위차 : 사용하지 않음
⊙ 가상터치스크린 생성 : 가상터치개시제스처의 신체부위의 상단을 가상터치스크린 중심좌표로 가정
도 12a 내지 도 12b은 사용자가 가상터치개시제스처를 실시하는 예로서 상세히 설명하면, 가상터치개시제스처는 도 12a와 같이 사용자는 전면에 설치되어 있는 3차원스캐너로부터 임의의 위치에 서 있는 자세에서 가상터치개시신체부위(44, 45)로서 발의 상하 제스처 2회(775)을 도 12b와 같이 실시한다.
상기 영상정보처리수단에서는 입력받은 3차원영상정보를 이용하여 3차원좌표영상과 신체부위 좌표정보의 구성 및 제스처인식을 실시한다.
상기 가상터치생성제어수단에서 가상터치개시제스처인식부는 영상정보처리수단에서 인식된 사용자의 제스처 중에서 도 12b와 같은 가상터치개시제스처(775)를 검색하여 가상터치개시신체부위(44)로서 발의 상단(Pttcnt1) 좌표를 가상터치스크린 중심좌표(Pttcnt1)로 설정하며, 도 12c와 같이 가상터치개시제스처 실시 위치(Zdist12)에 가상터치스크린(301)을 생성시킨다.
상기 가상터치생성제어수단에서 가상터치스크린 제어시 신체부위영상(250)에서 신체부위 좌표정보(Ptf44, Ptf45)를 도시한 도면은 도 12f이며, 사용자는 도 12g와 같은 모니터화면에 표시된 영상정보를 참조하여 가상터치제어신체부위를 이용하여 가상터치스크린에 대한 제어를 실시한다.
예를 들어 설명하면 도 12g에서 모니터화면에서 발생된 축구공에 대한 위치를 발로 터치하는 게임으로 도 12d와 같이 사용자는 가상터치스크린에서 모니터화면에서 발생된 축구공에 대한 가상터치스크린 영역의 가상제3터치(Ztouch3) 또는 가상제4터치(Ztouch4)위치에 있는 가상의 축구공(778)의 좌표를 가상터치제어신체부위(발)를 이용하여 터치할 수 있으며, 도 12e는 사용자에 대한 가상터치제어신체부위 좌표 Ptf44, Ptf45는 도 12f의 신체부위영상으로 표시될 수 있으며, 도 12g는 도 12f의 가상터치제어신체부위 좌표를 모니터화면의 커서형상 Ptm44, Ptm45 및 커서좌표로 변환되는 것을 나타내는 도면이다. 그리고 도 12e에서의 가상터치제어신체부위 좌표 Ptf44는 도 12g에서의 모니터화면에서 "회색커서형상"이며, 가상터치제어신체부위 좌표 Ptf45는 도 12g에서의 모니터화면에서 "더블터치형상"이다.
그러므로 가상터치개시제스처를 실시한 후 모니터화면에서는 다수의 축구공(777)을 모니터화면에 발생시킨 후, 사용자는 가상터치제어신체부위를 이동시켜 모니터화면의 커서형상(Ptm44, Ptm45) 및 커서좌표를 제어하며, 커서형상이 축구공의 위치에서 "커서터치형상" 또는 "더블터치형상"일 경우 점수를 추가하고 축구공이 사라지는 프로그램의 예이다.
본 발명은 이점이 많다. 지금까지의 설명은 특정 실시 예를 참조하여 설명되었다. 그러나 위의 예시적인 설명은 총망라하는 것이 아니며, 본 발명은 개시된 특정 형태에 한정하는 것이 아니다. 본 발명의 원리 및 실질적인 적용을 가장 잘 설명하기 위해 실시 예들을 선택하여 설명하였고, 따라서 당업자라면 생각할 수 있는 특정 사용 예에 적용될 수 있도록 위의 설명을 참조하여 많은 수정 및 변형이 가능하다. 그리고 본 발명의 많은 기능 및 이점들은 기재된 기술로부터 명백하고, 첨부된 특허청구의 범위에 의해 본 발명의 기능 및 이점 모두를 포함할 것이 의도된다.
10, 11, 12, 13 : 사용자 110, 120 : 3차원스캐너
200 : 영상정보처리수단 212 : 3차원좌표영상
250 : 신체부위영상 500 : 가상터치생성제어수단
530 : 가상터치영역생성부 540 :가상터치제어부
560 : 가상터치환경설정부 301, 302, 303 : 가상터치스크린
701 : 모니터화면 772 : 가상터치 사용자 1 메뉴
200 : 영상정보처리수단 212 : 3차원좌표영상
250 : 신체부위영상 500 : 가상터치생성제어수단
530 : 가상터치영역생성부 540 :가상터치제어부
560 : 가상터치환경설정부 301, 302, 303 : 가상터치스크린
701 : 모니터화면 772 : 가상터치 사용자 1 메뉴
Claims (72)
- 사용자의 3차원영상정보를 연속적으로 입력받는 3차원영상입력수단;
상기 입력받은 3차원영상정보를 이용하여 3차원좌표영상과 신체부위 좌표정보의 추출 및 제스처인식을 하는 영상정보처리수단;
상기 사용자의 제스처검색을 하여 가상터치개시제스처가 발생시 가상터치스크린을 생성한 후, 가상터치제어신체부위 좌표를 이용하여 가상터치스크린을 제어하여 모니터화면을 제어하는 가상터치생성제어수단; 및
상기 사용자의 가상터치스크린 제어 상태를 모니터화면에 사용자 커서로 나타나게 하는 디스플레이수단;을 포함하고,
상기 가상터치생성제어수단은,
상기 영상정보처리수단에서 인식된 사용자의 제스처가 가상터치개시제스처로 적합한지의 여부를 판별하는 가상터치개시제스처인식부;
상기 제스처가 상기 가상터치개시제스처로 적합한 것으로 판별됨에 따라 상기 가상터치개시제스처를 기준으로 가상터치스크린 중심좌표를 산출하여 상기 가상터치스크린을 생성하는 가상터치영역생성부;
상기 신체부위 좌표정보에서 가상터치스크린 영역에 있는 상기 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, 상기 추출한 가상터치제어신체부위의 3차원좌표를 상기 모니터화면의 제어를 위해 커서좌표 및 커서형상으로 변환하는 가상터치제어부; 및
상기 가상터치스크린의 생성 및 제어에 필요한 환경을 설정하는 가상터치환경설정부;를 포함하는 것을 특징으로 하는 가상터치스크린 생성 및 제어 장치.
- 삭제
- 제 1항에 있어서,
상기 3차원영상입력수단은,
상기 사용자의 전면에 상호 임의 거리를 유지하면서 설치되어 있는 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 상기 3차원영상정보를 연속적으로 입력받는 가상터치스크린 생성 및 제어 장치.
- 제 3항에 있어서,
상기 3차원영상입력수단에서 3차원스캐너는,
하나 이상의 3차원스캐너에 의하여 한 명 이상의 사용자에 대한 3차원영상정보를 연속적으로 입력받는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 영상정보처리수단은,
상기 3차원영상입력수단에서 입력된 상기 3차원영상정보를 이용하여 상기 3차원좌표영상을 구성하는 영상전처리부를 포함하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 영상정보처리수단은,
상기 3차원좌표영상을 이용하여 상기 사용자의 신체부위 좌표를 추출한 후 신체부위영상을 구성하고 신체부위 좌표를 제공하는 신체부위인식부를 포함하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 영상정보처리수단은,
시간에 따른 상기 사용자의 신체부위 좌표정보를 이용하여 설정된 제스처를 인식하는 제스처인식부를 포함하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 영상정보처리수단은,
상기 디스플레이수단과 통신하는 터치신호통신부를 추가로 포함하는 가상터치스크린 생성 및 제어 장치.
- 삭제
- 삭제
- 제 1항에 있어서,
상기 가상터치생성제어수단은,
상기 사용자의 위치가 변경 시 상기 가상터치스크린의 이동을 위하여 상기 신체부위 좌표정보에서 기준신체부위 중심좌표와 상기 가상터치스크린의 중심좌표와의 변위차를 산출하는 가상터치스크린 생성 및 제어 장치.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1항에 있어서,
상기 가상터치생성제어수단은,
상기 가상터치제어신체부위 좌표 상태를 추출하기 위하여 상기 영상정보처리수단으로부터 상기 사용자의 신체부위 좌표정보를 연속적으로 입력받는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 가상터치생성제어수단은,
상기 사용자의 위치가 변경 시 상기 가상터치스크린의 이동을 위하여 상기 가상터치스크린 생성에서 산출한 기준신체부위 중심좌표와 상기 가상터치스크린 중심좌표와의 변위차를 이용하여 상기 사용자의 움직임에 대한 상기 기준신체부위 중심좌표를 신체부위 좌표정보에서 추출하여 가상터치스크린 영역에 대한 이동을 실시하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 가상터치생성제어수단은,
상기 가상터치환경설정부에서 설정된 기준신체부위가 없거나 변위차를 사용하지 않을 시에는 상기 사용자의 가상터치개시제스처를 기준으로 생성된 상기 가상터치스크린이 상기 사용자가 이동 시에도 가상터치스크린 영역을 고정시키는 가상터치스크린 생성 및 제어 장치.
- 삭제
- 삭제
- 제 1항에 있어서,
상기 가상터치제어부는,
상기 신체부위 좌표정보에서 상기 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, x, y 좌표 정보를 상기 모니터화면의 x, y 좌표로 변환하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 가상터치제어부는,
상기 신체부위 좌표정보에서 상기 사용자의 가상터치제어신체부위에 대한 3차원좌표를 추출한 후, z좌표 영역을 이용하여 상기 가상터치환경설정부에서 설정된 모니터화면 커서형상으로 변환하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 가상터치제어부는,
상기 가상터치제어신체부위 좌표가 가상터치스크린 영역을 이탈시 상기 모니터화면에 커서형상을 표시하지 않는 것을 특징으로 하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 가상터치생성제어수단은,
상기 가상터치스크린의 종료를 실시하기 위한 가상터치종료부를 추가로 포함하는 가상터치스크린 생성 및 제어 장치.
- 삭제
- 제 1항에 있어서,
상기 가상터치생성제어수단에서 가상터치환경설정부는,
상기 사용자의 편의성을 도모하기 위하여 상기 가상터치스크린의 환경의 설정, 상기 가상터치스크린의 환경의 변경, 상기 가상터치스크린의 환경의 추가 및 상기 가상터치스크린의 환경을 저장하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 가상터치생성제어수단에서 가상터치환경설정부는,
상기 사용자의 선택에 따라 가상터치스크린 사용자수, 가상터치제어신체부위, 가상터치개시제스처유형, 기준신체부위, 가상터치스크린 영역, 가상터치스크린 개수, 모니터화면 커서형상, 가상터치스크린 종료유형에 대한 설정을 하는 가상터치스크린 생성 및 제어 장치.
- 제 1항에 있어서,
상기 디스플레이수단은,
상기 가상터치스크린에서 상기 가상터치제어신체부위 좌표를 상기 모니터화면에 커서형상 및 커서좌표로 변환하여 화면의 제어를 하는 가상터치스크린 생성 및 제어 장치.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110086125A KR101242848B1 (ko) | 2011-08-27 | 2011-08-27 | 가상터치스크린을 생성과 제어하는 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110086125A KR101242848B1 (ko) | 2011-08-27 | 2011-08-27 | 가상터치스크린을 생성과 제어하는 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130022996A KR20130022996A (ko) | 2013-03-07 |
| KR101242848B1 true KR101242848B1 (ko) | 2013-03-12 |
Family
ID=48175548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110086125A KR101242848B1 (ko) | 2011-08-27 | 2011-08-27 | 가상터치스크린을 생성과 제어하는 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101242848B1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101369358B1 (ko) * | 2013-08-06 | 2014-03-04 | 홍주희 | 디스플레이 제어 시스템 및 그 기록매체 |
| KR20150044757A (ko) | 2013-10-17 | 2015-04-27 | 삼성전자주식회사 | 플로팅 입력에 따라 동작을 제어하는 전자 장치 및 그 방법 |
| KR20160063812A (ko) | 2014-11-27 | 2016-06-07 | 삼성전자주식회사 | 화면 구성 방법, 전자 장치 및 저장 매체 |
| KR101685523B1 (ko) * | 2015-10-14 | 2016-12-14 | 세종대학교산학협력단 | 사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 인터페이스 방법 및 그 시스템 |
| KR101717375B1 (ko) * | 2015-10-21 | 2017-03-17 | 세종대학교산학협력단 | 가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템 |
| JP2017211739A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社エクスビジョン | ユーザインターフェース装置およびユーザインターフェースプログラム |
| WO2019143204A1 (ko) * | 2018-01-19 | 2019-07-25 | 한국과학기술원 | 객체 제어 방법 및 객체 제어 장치 |
| KR102239469B1 (ko) * | 2018-01-19 | 2021-04-13 | 한국과학기술원 | 객체 제어 방법 및 객체 제어 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090060698A (ko) * | 2007-12-10 | 2009-06-15 | 한국전자통신연구원 | 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법 |
-
2011
- 2011-08-27 KR KR1020110086125A patent/KR101242848B1/ko not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090060698A (ko) * | 2007-12-10 | 2009-06-15 | 한국전자통신연구원 | 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130022996A (ko) | 2013-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101242848B1 (ko) | 가상터치스크린을 생성과 제어하는 장치 | |
| US11003308B1 (en) | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments | |
| US11443453B2 (en) | Method and device for detecting planes and/or quadtrees for use as a virtual substrate | |
| US10120454B2 (en) | Gesture recognition control device | |
| US8854433B1 (en) | Method and system enabling natural user interface gestures with an electronic system | |
| JP6031071B2 (ja) | 自然なジェスチャに基づくユーザ・インターフェース方法及びシステム | |
| AU2014200250B2 (en) | Method for providing haptic effect in portable terminal, machine-readable storage medium, and portable terminal | |
| EP2919104B1 (en) | Information processing device, information processing method, and computer-readable recording medium | |
| KR102255774B1 (ko) | 제스처들을 이용한 디바이스와의 상호작용 | |
| US20170068416A1 (en) | Systems And Methods for Gesture Input | |
| US8659548B2 (en) | Enhanced camera-based input | |
| US11706476B2 (en) | User terminal apparatus, electronic apparatus, system, and control method thereof | |
| JP2004246578A (ja) | 自己画像表示を用いたインタフェース方法、装置、およびプログラム | |
| US20200142495A1 (en) | Gesture recognition control device | |
| KR102325339B1 (ko) | 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치 | |
| US20230291955A1 (en) | User terminal apparatus, electronic apparatus, system, and control method thereof | |
| US11886643B2 (en) | Information processing apparatus and information processing method | |
| US20210141511A1 (en) | Systems And Methods for Gesture Input | |
| JP2018005663A (ja) | 情報処理装置、表示システム、プログラム | |
| US20220244791A1 (en) | Systems And Methods for Gesture Input | |
| CA3170451A1 (en) | Electronic input system | |
| US20240103639A1 (en) | Systems And Methods for Gesture Input | |
| Ren | Designing for Effective Freehand Gestural Interaction | |
| Zhao et al. | Augmenting mobile phone interaction with face-engaged gestures | |
| KR20160103381A (ko) | 손동작 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160307 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170905 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |