KR101334585B1 - 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법 - Google Patents

프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법 Download PDF

Info

Publication number
KR101334585B1
KR101334585B1 KR1020120056993A KR20120056993A KR101334585B1 KR 101334585 B1 KR101334585 B1 KR 101334585B1 KR 1020120056993 A KR1020120056993 A KR 1020120056993A KR 20120056993 A KR20120056993 A KR 20120056993A KR 101334585 B1 KR101334585 B1 KR 101334585B1
Authority
KR
South Korea
Prior art keywords
electronic device
projector
user
coordinate data
information
Prior art date
Application number
KR1020120056993A
Other languages
English (en)
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to KR1020120056993A priority Critical patent/KR101334585B1/ko
Priority to US14/404,635 priority patent/US9569103B2/en
Priority to PCT/KR2013/004672 priority patent/WO2013180446A1/ko
Application granted granted Critical
Publication of KR101334585B1 publication Critical patent/KR101334585B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

본 발명은 원격지에서 사용자의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 디스플레이 장치의 유무와 상관없이 프로젝터를 통하여 보조 정보를 표시하여 구동 조작되는 모든 전자기기에 적용되어 제어할 수 있는 원격 조작 장치 및 방법을 제공하기 위한 것으로서, 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부에서 산출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하여 프로젝터를 사용자가 확인 가능한 위치에 표시하고, 사용자와 프로젝터 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 프로젝터와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와, 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 프로젝터의 가상 터치 위치 및 그 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와, 상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와, 가정내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작정보를 저장하는 전자기기 정보 DB를 포함하여 구성되는데 있다.

Description

프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법{Remote control apparatus and method for virtual touch using displaying information of projector}
본 발명은 사용자가 전자기기를 원격으로 조작하는 장치 및 방법에 관한 것으로, 특히 프로젝터를 통해 표시되는 정보를 이용하여 원격에서 사용자의 손가락 끝의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 제어할 수 있는 가상터치를 수행하는 원격 조작 장치 및 방법에 관한 것이다.
최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등 전자기기와 비교할 때 디스플레이에 '포인터'를 표시할 필요가 없다. 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 '포인터'이동 단계가 불필요하여 전자기기의 빠른 조작이 가능하다.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이와 만나는 점에 포인터를 생성시키는 기술이 공개된 특허출원 [문헌 1]에 공개된바 있으나, 전자기기 제어를 위한 예비적인 조치로 '포인터'를 반드시 생성해야 하고(포인터 제어부를 두고 있음), 그 후에 구체적인 동작제어를 위해 사용자의 제스처를 기존에 저장된 패턴과 비교함으로써 동작을 수행하는 점에서 매우 불편하다. [문헌 1] 공개특허 2010-0129629 2010. 12. 9.
또한 상기 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 만나는 디스플레이와 만나는 점에 포인터를 생성하여 전자기기를 원격 조작하는 방법에 경우에는 반드시 대화면(원거리에서도 조작 아이콘이 사용자에 의해 확인될 수 있는 크기)의 디스플레이 장치가 구성된 전자기기에 한정된다는 문제점이 있다. 아울러, 이를 위해서는 전자기기의 전면에서만 원격 조작이 가능하므로, 전자기기를 조작하기 위해서 사용자는 반드시 전자기기의 전면으로 이동해야 하는 불편함이 있었다. 또한 기존에는 가전기기와 카메라 제어부 간의 서로 교신을 통해 가전기기의 동작을 조작하도록 구성함에 따라 전자기기는 언제는 고정된 위치에 한해서만 원격 조작이 가능한 문제점이 있어서, 원격 조작되는 전자기기의 종류가 이동성이 없는 전자기기로 한정될 수밖에 없다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 원격지에서 사용자의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 디스플레이 장치의 유무와 상관없이 프로젝터를 통하여 보조 정보를 표시하여 구동 조작되는 모든 전자기기에 적용되어 제어할 수 있는 원격 조작 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 전자기기의 움직임 및 사용자와 전자기기 간의 위치 및 방향과 상관없이 가정 내의 모든 공간에 위치하는 전자기기를 프로젝터를 통해 표시되는 정보를 이용하여 원격지에서 가상터치를 수행하는 원격 조작 장치 및 방을 제공하는데 있다.
본 발명의 또 다른 목적은 원격 조정의 대상이 되는 전자기기의 이동시에도 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행함으로써, 이동성이 자유로운 각종 전자기기에 적용 가능한 원격 조작 장치 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치의 특징은 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부에서 산출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하여 프로젝터를 사용자가 확인 가능한 위치에 표시하고, 사용자와 프로젝터 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 프로젝터와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와, 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 프로젝터의 가상 터치 위치 및 그 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와, 상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와, 가정내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작정보를 저장하는 전자기기 정보 DB를 포함하여 구성되는데 있다.
바람직하게 상기 전자기기의 3차원 좌표 데이터는 사전에 미리 설정되는 것을 특징으로 한다.
바람직하게 상기 전자기기 검출부는 상기 3차원 좌표 산출부에서 산출된 전자기기의 3차원 공간좌표를 기반으로 선택되는 전자기기에 따른 프로젝터 모델링을 실시하는 프로젝터 모델링부와, 상기 프로젝터 모델링부에서 모델링된 전자기기의 기능을 실행하기 위한 기본 정보를 포함하는 프로젝터를 사용자가 확인 가능한 위치에 표시되도록 출력하는 프로젝터 설정부와, 사용자와 프로젝터 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 프로젝터 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성하는 터치 위치 매칭부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 프로젝터 설정부는 상기 프로젝터 모델링부 및 터치 위치 매칭부와 독립적인 구성으로 제공되는 것을 특징으로 한다.
바람직하게 상기 사용자 검출부는 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표와 제 2 공간좌표를 산출하고, 산출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 터치 위치 매칭부에서 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 접점 좌표 데이터의 변화 여부를 판단하고, 변화가 있는 것으로 판단되면 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 가상터치 처리부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것을 특징으로 한다.
바람직하게 상기 가상터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 한다.
바람직하게 상기 가상터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 방법의 특징은 (A) 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 단계와, (B) 상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 미리 저장된 정보를 기반으로 해당되는 전자기기를 검출하고, 검출된 전자기기의 기능을 실행하기 위한 보조 정보가 포함되는 프로젝터를 모델링하여 사용자가 확인 가능한 위치에 표시하는 단계와, (C) 상기 프로젝터 모델링된 전자기기에 기반하여 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 단계와, (D) 상기 추출된 사용자 신체의 3차원 좌표 데이터를 기반으로 사용자와 프로젝터 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 프로젝터 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성하는 단계와, (E) 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 공간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 프로젝터의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와, (F) 상기 생성된 가상의 2차원 접점 영역과의 접점 좌표 데이터의 변화가 있는지 판단하여 변화가 있는 경우, 상기 접점 좌표 데이터의 변동에 대응되도록 미리 설정된 전자기기의 조작을 실행하는 명령코드를 생성하여 출력하는 단계와, (G) 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 한다.
바람직하게 상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 한다.
바람직하게 상기 (F) 단계는 상기 생성된 프로젝터의 2차원 접점 영역에 전자기기 정보 DB에 미리 저장된 조작정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되는 단계와, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 프로젝터의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와, 사용자에 의해 상기 프로젝터의 2차원 접점 영역의 미리 설정된 터치 영역에 상, 하, 좌, 우, 앞, 뒤 중 적어도 하나 이상의 가상 터치 조작을 수행하여 전자기기의 조작 요청이 수행되어 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변화가 판단되면, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 디스플레이 장치를 통한 포인터를 사용하여 표시된 조작 아이콘을 가상 터치하는 방법으로 이루어지는 것이 아니라, 3차원 모델링된 전자기기의 몸체에 가상 터치하는 방식으로 전자기기를 조작함으로써, 전자기기의 신속한 조작이 가능하다. 따라서 디스플레이 장치를 포함하지 않는 모든 전자기기에도 적용이 가능한 효과가 있다.
둘째, 지금까지 가상터치를 이용하는 연구의 경우, 디스플레이 장치를 활용한 응용기술에만 국한되어 개발되어 왔다. 이에 본 발명에서는 디스플레이 장치를 사용하지 않는 가상 터치 장치에서 활용할 수 있으면서, 전자기기의 동작을 정확하게 조작할 수 있는 새로운 터치 인식 방법을 제공할 수 있다.
셋째, 원격 조작 장치의 구성이 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 구성함으로써, 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 산출이 자유로워 이동성이 자유로운 각종 전자기기의 적용이 가능한 효과가 있다.
넷째, 전자기기뿐만 아니라 커튼, 조명, 오토 도어락 등 스위칭을 통해 간편한 조작을 요구하는 기기의 경우에는 3차원 모델링을 통해 가상터치를 제공하여 가상터치에 상응하는 조작을 수행하여 다양한 응용 기술에 적용이 가능하다.
도 1 은 본 발명의 실시예에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작의 전체 시스템을 나타낸 도면
도 2 는 본 발명의 실시예에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치를 나타낸 블록 구성도
도 3 는 본 발명의 실시예에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 방법을 설명하기 위한 흐름도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작의 전체 시스템을 나타낸 도면이다.
도 1과 같이, 원격 조작 장치(100)는 사용자가 원격에서 손 등의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기(200)의 구동 조작을 요청하면(①), 사용자의 움직임을 통한 사용자 신체의 3차원 좌표 데이터를 추출하여 3차원 영역을 확인하고(②), 동시에 사용자가 구동 조작을 요청한 전자기기(200)를 인식한다. 그리고 상기 인식된 전자기기(200)의 기능을 실행하기 위한 정보, 메뉴, 버튼 등이 포함되는 프로젝터(400)를 사용자가 확인 가능한 위치에 표시한다(③). 이어 사용자의 움직임(제스처)을 통해 가상터치로 상기 프로젝터(400)에 표시된 정보, 메뉴, 버튼 등 중 어느 하나가 선택되어 전자기기(200)의 구동 조작이 실행되면(④), 사용자의 움직임에 상응하는 전자기기의 구동 조작 명령 신호를 생성하여 해당 전자기기(200)에 송신함으로써, 해당 전자기기(200)의 구동을 조작한다(⑤).
이처럼, 프로젝터를 통하여 전자기기의 기능을 실행하기 위한 보조 정보를 별도로 표시하고, 이렇게 표시된 프로젝터를 통해 원격 조작이 이루어짐에 따라, 전자기기(200)에 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용 가능하게 된다.
그럼 이하에서 원격 조작 장치(100)의 구성을 좀 더 상세히 살펴보도록 한다.
도 2 는 본 발명의 실시예에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치를 나타낸 블록 구성도이다.
도 2와 같이 원격 조작 장치(100)는 3차원 좌표 산출부(110)와, 전자기기 구동 제어부(120)와, 전자기기 검출부(130)와, 사용자 검출부(140)와, 전자기기 정보 DB(150)로 구성된다.
상기 3차원 좌표 산출부(110)는 기존에 공지된 여러 3차원 좌표 추출 방법에 의해 사용자의 신체 및 전자기기의 3차원 좌표를 산출할 수 있다. 이때, 상기 전자기기에 따른 3차원 좌표의 산출은 카메라를 통해 촬영된 영상을 이용하여 산출할 수도 있지만, 통상적으로 가정내 전자기기는 특정한 위치에 고정되어 있는 경우가 대부분이므로, 고정된 위치에 따른 3차원 좌표 데이터를 미리 설정하여 전자기기의 3차원 좌표로 사용할 수도 있다.
이러한 3차원 좌표추출의 대표적인 방식으로는 광학적인 삼각측량법, 시간지연측정법 및 구조광을 이용한 측정법으로 나누어 볼 수 있다.
상기 광학적인 삼각측량법은 각기 다른 각도에서 촬영되는 2개의 카메라를 통해 획득된 영상을 삼각법을 이용하여 3차원 좌표 데이터를 산출하는 방법으로, 삼각법의 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 또한 상기 시간지연측정법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3차원 좌표 데이터를 획득하는 기법이다. 또한 구조광을 이용한 측정법은 코드화된 패턴영상을 연속적으로 투영하고 카메라를 통해 구조광이 투영된 장면의 영상을 획득함으로써 3차원 위치를 추정하는 방법이다. 그 밖에도 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술 분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
상기 전자기기 검출부(130)는 프로젝터 모델링부(132)와, 프로젝터 설정부(134)와, 터치 위치 매칭부(136)로 구성되어, 상기 3차원 좌표 산출부(110)에서 산출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기(200)의 공간위치 정보 및 기기제품 정보를 인식하여 프로젝터를 사용자가 확인 가능한 위치에 표시하고, 사용자와 프로젝터 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 프로젝터와의 가상 터치를 위한 가상의 접점 영역을 생성한다.
이때, 상기 프로젝터 모델링부(132)는 상기 3차원 좌표 산출부(110)에서 산출된 전자기기의 3차원 공간좌표를 기반으로 선택되는 전자기기에 따른 프로젝터 모델링을 실시한다. 상기 프로젝터 모델링은 전자기기 정보 DB(150)에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 기능을 실행하기 위한 정보, 메뉴, 버튼 등이 포함되는 보조 정보를 갖는 프로젝터를 형성하는 것을 말한다. 그리고 상기 프로젝터 설정부(134)는 상기 프로젝터 모델링부(132)에서 모델링된 전자기기의 기능을 실행하기 위한 정보, 메뉴, 버튼 등이 포함되는 프로젝터를 사용자가 확인 가능한 위치에 표시되도록 출력한다. 이때, 상기 프로젝터 설정부(134)는 전자기기 검출부(130) 내에 위치할 수도 있지만, 현재 범용으로 판매되고 있는 프로젝터 장치를 적용하여 사용할 수도 있다. 상기 적용 가능한 프로젝터 장치로는 CRT(Cathode Ray Tube) 프로젝터, LCD(Liquid Crystal Display) 프로젝터, DLP(Digital Light Processing) 프로젝터, SXRD(Silicon X-tal Reflective Display) 프로젝터, Laser 프로젝터가 있다. 또한 상기 터치 위치 매칭부(136)는 사용자와 프로젝터 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 프로젝터 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성한다. 즉, 프로젝터 모델링부(132)를 통해 보조 정보 및 이에 따른 위치 정보가 이미 알 수 있으므로, 상기 터치 위치 매칭부(136)에서 생성된 2차원 접점 영역은 프로젝터로 표시된 보조 정보 중 어느 하나를 특정할 수 있게 된다.
상기 사용자 검출부(140)는 터치 위치 산출부(142)와, 가상터치 처리부(144)로 구성되어, 상기 3차원 좌표 산출부(110)에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기(200)의 구동 조작을 위한 프로젝터의 가상 터치 위치 및 그 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성한다.
이때, 상기 터치 위치 산출부(142)는 상기 3차원 좌표 산출부(120)에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표와 제 2 공간좌표를 산출하고, 산출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제 1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다.
또한 본 발명에서는 제 2 공간좌표로서 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역을 포인팅 할 수 있다.
한편, 본 발명에서 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다. 또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다. 또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(144)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 출력한다. 또한 상기 가상 터치 처리부(144)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
또한 가상 터치 처리부(144)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성한다. 또한 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
한편, 상기 접점 좌표 데이터의 변동이 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 전자기기를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 미리 정의된 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주한다.
본 발명에 따른 원격 조정의 대상이 되는 전자기기로는 조명, 스피커, 에어컨, 선풍기, 블라인드, 창문, 커튼, 문, 난방, 가스, 전자레인지, 비디오, 카메라, CCTV 등 홈 네트워킹을 구성하고 각종 전자기기들 또는 그림, 조각품 등과 같은 예술품도 본 발명에 의한 원격 조정 대상이 될 수 있다. 즉 각종 전가기기의 경우는 원격 조정의 기능이 메뉴 선택, 전자기기의 조작 실행 등에 따른 메뉴판들이 프로젝트로 표시될 것이며, 예술품의 경우는 해당 예술품에 따른 설명 및 작가 등에 따른 텍스트 정보들이 프로젝트로 표시될 수 있다. 또는 상기 메뉴판 및 텍스트 정보들이 혼합된 보조 정보들이 프로젝트로 표시될 수 있다.
본 발명에 따른 원격 조작 장치(100)는 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 설치되고, 또한 출력되는 프로젝터도 원격 조정의 대상이 되는 전자기기와 별도로 표시됨으로서, 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 산출이 자유로워 이동성이 자유로운 각종 전자기기의 적용이 가능하다.
상기 전자기기 구동 제어부(120)는 상기 사용자 검출부(140)에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다. 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식을 통해서도 적용이 가능함은 당연하다.
상기 전자기기 정보 데이터베이스(DB)(150)는 가정내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작정보를 저장하고 있다. 이때 조작정보는 전자기기의 전원, 조도, 음량, 온도조절 등을 전자기기의 조작 가능한 정보를 말한다. 참고로 상기 전자기기 정보 DB(150)에 저장되는 정보들은 전자기기의 구매 후, 사용자에 의해 수시로 갱신이 가능하며, 갱신하는 방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 또한 각종 전가기기에 한정되지 않고, 예술품과 같이 해당 예술품에 따른 설명 및 작가 등에 따른 텍스트, 이미지 정보들도 저장할 수 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
이와 같이 구성된 본 발명에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 내지 도 2와 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 3 는 본 발명의 실시예에 따른 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 방법을 설명하기 위한 흐름도이다.
도 3을 참조하여 설명하면, 먼저 광학적인 삼각 측량법, 시간지연측정법 또는 구조광에 의해 적어도 하나 이상의 카메라를 통해 촬영된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출한다(S100). 이때, 상기 전자기기의 3차원 좌표 데이터는 카메라를 통해 촬영된 영상을 이용하여 산출할 수도 있지만, 통상적으로 가정내 전자기기는 특정한 위치에 고정되어 있는 경우가 대부분이므로, 고정된 위치에 따른 3차원 좌표 데이터를 미리 설정하여 전자기기의 3차원 좌표로 사용할 수도 있다.
상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 전자기기 정보 DB(150)에 저장된 정보를 기반으로 해당되는 전자기기를 검출하고, 검출된 전자기기(200)의 기능을 실행하기 위한 정보, 메뉴, 버튼 등이 포함되는 프로젝터(400)를 모델링하여 사용자가 확인 가능한 위치에 표시한다(S300).
그리고 상기 프로젝터 모델링된 전자기기에 기반하여 상기 전자기기 설정부(134)에서 전자기기 정보 DB(150)에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정한다(S400).
이어 상기 터치 위치 매칭부(136)는 상기 추출된 사용자 신체의 3차원 좌표 데이터를 기반으로 사용자와 프로젝터 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 프로젝터 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성한다(S500). 이때 생성되는 가상의 2차원 접점 영역은 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 사용자가 확인 가능한 위치에 표시되는 프로젝터의 화면을 말한다.
한편, 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 공간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 프로젝터의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출한다(S600).
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제 1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다.
또한 본 발명에서는 제 2 공간좌표로서 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역을 포인팅 할 수 있다. 또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다. 또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
이어 가상 터치 처리부(144)는 생성된 가상의 2차원 접점 영역과의 접점 좌표 데이터의 변동이 있는지 판단하여 변동이 있는 경우, 상기 접점 좌표 데이터의 변동에 대응되도록 미리 설정된 전자기기의 기능을 실행하기 위한 정보, 메뉴, 버튼 등이 포함되는 보조 정보를 수행하는 명령코드를 생성하여 출력한다(S700).
이때, 상기 가상 터치 처리부(144)는 생성된 프로젝터의 2차원 접점 영역에 전자기기 정보 DB에 미리 저장된 조작정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되며, 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 생성된 프로젝터의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출한다. 그리고 사용자에 의해 상기 프로젝터의 2차원 접점 영역의 미리 설정된 터치 영역에 상, 하, 좌, 우, 앞, 뒤 중 적어도 하나 이상의 가상 터치 조작을 수행하여 전자기기의 조작 요청이 수행되어 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변화가 판단되면, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성한다. 또한, 상기 가상 터치 처리부(144)는 상기 접점 좌표 데이터의 변동 여부의 판단은 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단한다. 또한 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터의 변동이 있는 것으로 판단한다. 그리고 이렇게 접점 좌표 데이터의 변동이 있는 경우, 변동된 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하게 된다.
그리고 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다(S800). 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식으로의 송신이 가능하다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (12)

  1. 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 3차원 좌표 산출부와,
    상기 3차원 좌표 산출부에서 산출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하여 프로젝터에 의해 투사된 화면을 사용자가 확인 가능한 위치에 표시하고, 사용자와 프로젝터에 의해 투사된 화면 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 프로젝터와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와,
    상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 프로젝터의 투사 화면의 가상 터치 위치 및 그 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와,
    상기 사용자 검출부에서 생성된 명령코드가 입력되면, 상기 명령코드를 상기 사용자에 의해 구동 조작이 요청된 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와,
    가정내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작정보를 저장하는 전자기기 정보 DB를 포함하여 구성되는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치.
  2. 제 1 항에 있어서,
    상기 전자기기의 3차원 좌표 데이터는 사전에 미리 설정되는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치.
  3. 제 1 항에 있어서, 상기 전자기기 검출부는
    상기 3차원 좌표 산출부에서 산출된 전자기기의 3차원 공간좌표를 기반으로 선택되는 전자기기에 따른 프로젝터 모델링을 실시하는 프로젝터 모델링부와,
    상기 프로젝터 모델링부에서 모델링된 전자기기의 기능을 실행하기 위한 기본 정보를 포함하는 프로젝터에 의해 투사된 화면을 사용자가 확인 가능한 위치에 표시되도록 출력하는 프로젝터 설정부와,
    사용자와 프로젝터에 의해 투사된 화면 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 프로젝터에 투사된 화면 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성하는 터치 위치 매칭부를 포함하여 구성되는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치.
  4. 제 3 항에 있어서,
    상기 프로젝터 설정부는 상기 프로젝터 모델링부 및 터치 위치 매칭부와 독립적인 구성으로 제공되는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치.
  5. 제 1 항에 있어서, 상기 사용자 검출부는
    상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표와 제 2 공간좌표를 산출하고, 산출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 터치 위치 매칭부에서 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 터치 위치 산출부에서 산출된 접점 좌표 데이터의 변화 여부를 판단하고, 변화가 있는 것으로 판단되면 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 가상터치 처리부를 포함하여 구성되는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치.
  6. 제 5 항에 있어서,
    상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치.
  7. 제 5 항에 있어서, 상기 가상터치 처리부는
    초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치.
  8. 제 7 항에 있어서, 상기 가상터치 처리부는
    초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치.
  9. (A) 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계와,
    (B) 상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 미리 저장된 정보를 기반으로 해당되는 전자기기를 검출하고, 검출된 전자기기의 기능을 실행하기 위한 보조 정보가 포함되는 프로젝터에 의해 투사된 화면을 사용자가 확인 가능한 위치에 표시하는 단계와,
    (C) 상기 프로젝터 모델링된 전자기기에 기반하여 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 단계와,
    (D) 상기 산출된 사용자 신체의 3차원 좌표 데이터를 기반으로 사용자와 프로젝터에 의해 투사된 화면 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 프로젝터에 의해 투사된 화면 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성하는 단계와,
    (E) 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 공간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 프로젝터의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와,
    (F) 상기 생성된 가상의 2차원 접점 영역과의 접점 좌표 데이터의 변화가 있는지 판단하여 변화가 있는 경우, 상기 접점 좌표 데이터의 변동에 대응되도록 미리 설정된 전자기기의 조작을 실행하는 명령코드를 생성하여 출력하는 단계와,
    (G) 상기 생성된 명령코드를 상기 사용자에 의해 구동 조작이 요청된 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 방법.
  10. 제 9 항에 있어서,
    상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 방법.
  11. 제 9 항에 있어서,
    상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 방법.
  12. 제 9 항에 있어서, 상기 (F) 단계는
    상기 생성된 프로젝터의 2차원 접점 영역에 전자기기 정보 DB에 미리 저장된 조작정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되는 단계와,
    상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 프로젝터의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와,
    사용자에 의해 상기 프로젝터의 2차원 접점 영역의 미리 설정된 터치 영역에 상, 하, 좌, 우, 앞, 뒤 중 적어도 하나 이상의 가상 터치 조작을 수행하여 전자기기의 조작 요청이 수행되어 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변화가 판단되면, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 단계를 포함하는 것을 특징으로 하는 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 방법.
KR1020120056993A 2012-05-29 2012-05-29 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법 KR101334585B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120056993A KR101334585B1 (ko) 2012-05-29 2012-05-29 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
US14/404,635 US9569103B2 (en) 2012-05-29 2013-05-28 Remote control apparatus and method for performing virtual touch by using information displayed by a projector
PCT/KR2013/004672 WO2013180446A1 (ko) 2012-05-29 2013-05-28 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120056993A KR101334585B1 (ko) 2012-05-29 2012-05-29 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101334585B1 true KR101334585B1 (ko) 2013-12-05

Family

ID=49673582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120056993A KR101334585B1 (ko) 2012-05-29 2012-05-29 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법

Country Status (3)

Country Link
US (1) US9569103B2 (ko)
KR (1) KR101334585B1 (ko)
WO (1) WO2013180446A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160043380A (ko) * 2014-10-13 2016-04-21 삼성전자주식회사 네트워크 서비스를 위한 전자장치와 게이트웨이, 및 이를 위한 동작 방법
KR20190060197A (ko) 2017-11-24 2019-06-03 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
WO2021118115A1 (ko) * 2019-12-10 2021-06-17 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210073424A (ko) * 2019-12-10 2021-06-18 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160063812A (ko) 2014-11-27 2016-06-07 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
DE102015203340A1 (de) * 2015-02-25 2016-08-25 BSH Hausgeräte GmbH Verfahren und System zur Projektion von Information in einem Raum
KR102401641B1 (ko) * 2016-01-08 2022-05-25 엘지전자 주식회사 모바일 디바이스 및 모바일 디바이스의 제어방법
WO2018008226A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN109416583B (zh) * 2016-07-05 2022-06-03 索尼公司 信息处理装置、信息处理方法及程序
WO2018008225A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN110733433A (zh) * 2018-07-19 2020-01-31 宝沃汽车（中国）有限公司 车载投影显示系统及车辆
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN111028494B (zh) * 2019-11-04 2021-01-29 珠海格力电器股份有限公司 一种电器设备的虚拟遥控方法、计算机可读存储介质及智能家电
CN114012739B (zh) * 2021-12-10 2023-06-27 北京云迹科技股份有限公司 基于全息投影技术控制机器人的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025188A (ko) * 1999-07-09 2002-04-03 제라르드 레뒤끄 페노피브레이트를 포함하는 약제학적 조성물 및 이의제조방법
JP2010117917A (ja) 2008-11-13 2010-05-27 Toyota Infotechnology Center Co Ltd 動作検出装置および操作システム
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20120011892A (ko) * 2009-05-19 2012-02-08 애플 인크. 기구, 주방 및 가정의 제어

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
KR20070066382A (ko) 2005-12-22 2007-06-27 주식회사 팬택 두 대의 카메라를 이용한 3차원 이미지 생성 방법 및 이를구현하는 카메라 단말기
KR100818171B1 (ko) 2006-06-09 2008-04-03 한국과학기술원 손 지시의 3차원 위치 인식 시스템 및 방법
WO2011156195A2 (en) * 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit
KR20120031805A (ko) 2010-09-27 2012-04-04 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101235432B1 (ko) 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025188A (ko) * 1999-07-09 2002-04-03 제라르드 레뒤끄 페노피브레이트를 포함하는 약제학적 조성물 및 이의제조방법
JP2010117917A (ja) 2008-11-13 2010-05-27 Toyota Infotechnology Center Co Ltd 動作検出装置および操作システム
KR20120011892A (ko) * 2009-05-19 2012-02-08 애플 인크. 기구, 주방 및 가정의 제어
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160043380A (ko) * 2014-10-13 2016-04-21 삼성전자주식회사 네트워크 서비스를 위한 전자장치와 게이트웨이, 및 이를 위한 동작 방법
KR20190060197A (ko) 2017-11-24 2019-06-03 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10866636B2 (en) 2017-11-24 2020-12-15 VTouch Co., Ltd. Virtual touch recognition apparatus and method for correcting recognition error thereof
WO2021118115A1 (ko) * 2019-12-10 2021-06-17 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210073424A (ko) * 2019-12-10 2021-06-18 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102398404B1 (ko) * 2019-12-10 2022-05-16 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
US20150145830A1 (en) 2015-05-28
US9569103B2 (en) 2017-02-14
WO2013180446A1 (ko) 2013-12-05

Similar Documents

Publication Publication Date Title
KR101334585B1 (ko) 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR101235432B1 (ko) 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101224351B1 (ko) 제어될 디바이스에 연관된 객체를 찾아내는 방법 및 상기 디바이스를 제어하는 방법
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR102407026B1 (ko) 실시간 실내 영상을 이용한 홈 오토메이션 시스템
CN105786393A (zh) 信息处理方法及电子设备
US20170322700A1 (en) Haptic interface for population of a three-dimensional virtual environment
EP2579142A1 (en) Mobile device and method of remotely controlling a controlled device
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
TWI486815B (zh) 顯示設備及其控制系統和方法
CN108227968B (zh) 光标控制方法和装置
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
CN108255317B (zh) 光标控制方法和装置
KR20140060615A (ko) 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치
KR20130133482A (ko) 티오에프 카메라를 이용한 포인터를 사용하지 않는 가상 터치 장치
JP2013238963A (ja) インタラクティブ表示装置
JP6696357B2 (ja) ポインタ制御システムおよびポインタ制御プログラム
KR101471304B1 (ko) 가상 리모트 컨트롤 장치 및 그 방법
US20210167982A1 (en) Information processing apparatus, information processing method, and program
KR20090103384A (ko) 공간 투영 및 공간 터치 기능이 구비된 네트워크 단말 장치및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161110

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 7