KR20130007813A - 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 - Google Patents

3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 Download PDF

Info

Publication number
KR20130007813A
KR20130007813A KR1020110068383A KR20110068383A KR20130007813A KR 20130007813 A KR20130007813 A KR 20130007813A KR 1020110068383 A KR1020110068383 A KR 1020110068383A KR 20110068383 A KR20110068383 A KR 20110068383A KR 20130007813 A KR20130007813 A KR 20130007813A
Authority
KR
South Korea
Prior art keywords
electronic device
user
dimensional
coordinate data
virtual touch
Prior art date
Application number
KR1020110068383A
Other languages
English (en)
Other versions
KR101235432B1 (ko
Inventor
김석중
Original Assignee
김석중
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김석중 filed Critical 김석중
Priority to KR1020110068383A priority Critical patent/KR101235432B1/ko
Priority to CN201280034529.4A priority patent/CN103688236B/zh
Priority to US14/232,310 priority patent/US9367138B2/en
Priority to EP12811473.3A priority patent/EP2733585B1/en
Priority to PCT/KR2012/005362 priority patent/WO2013009040A2/ko
Publication of KR20130007813A publication Critical patent/KR20130007813A/ko
Application granted granted Critical
Publication of KR101235432B1 publication Critical patent/KR101235432B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 원격지에서 사용자의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용되어 제어할 수 있는 원격 조작 장치 및 방법을 제공하기 위한 것으로서, 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와, 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와, 상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와, 상기 전자기기의 제조사, 모델명을 포함하는 기기제품 정보, 기기제품별 구동 조작에 적용되는 프로토콜 정보, 전자기기별 조작방법 정보를 저장하는 전자기기 정보 데이터베이스(DB)를 포함하여 구성되는데 있다.

Description

3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법{Remote control apparatus and method using virtual touch of electronic device modeled in three dimension}
본 발명은 사용자가 전자기기를 원격으로 조작하는 장치 및 방법에 관한 것으로, 특히 전자기기의 스캔을 통해 3차원 좌표를 추출하여 3차원 모델링된 전자기기를 리모컨과 같은 원격제어 수단을 사용하지 않고 원격에서 사용자의 손가락 끝의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 제어할 수 있는 원격 조작 장치 및 방법에 관한 것이다.
최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등 전자기기와 비교할 때 디스플레이에 '포인터'를 표시할 필요가 없다. 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 '포인터'이동 단계가 불필요하여 전자기기의 빠른 조작이 가능하다.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이와 만나는 점에 포인터를 생성시키는 기술이 공개된 특허출원 [문헌 1]에 공개된바 있으나, 전자기기 제어를 위한 예비적인 조치로 '포인터'를 반드시 생성해야 하고(포인터 제어부를 두고 있음), 그 후에 구체적인 동작제어를 위해 사용자의 제스처를 기존에 저장된 패턴과 비교함으로써 동작을 수행하는 점에서 매우 불편하다. [문헌 1] 공개특허 2010-0129629 2010. 12. 9.
또한 상기 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 만나는 디스플레이와 만나는 점에 포인터를 생성하여 전자기기를 원격 조작하는 방법에 경우에는 반드시 대화면(원거리에서도 조작 아이콘이 사용자에 의해 확인될 수 있는 크기)의 디스플레이 장치가 구성된 전자기기에 한정된다는 문제점이 있다. 아울러, 이를 위해서는 전자기기의 전면에서만 원격 조작이 가능하므로, 전자기기를 조작하기 위해서 사용자는 반드시 전자기기의 전면으로 이동해야 하는 불편함이 있었다. 또한 기존에는 가전기기와 카메라 제어부 간의 서로 교신을 통해 가전기기의 동작을 조작하도록 구성함에 따라 전자기기는 언제는 고정된 위치에 한해서만 원격 조작이 가능한 문제점이 있어서, 원격 조작되는 전자기기의 종류가 이동성이 없는 전자기기로 한정될 수밖에 없다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 원격지에서 사용자의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용되어 제어할 수 있는 원격 조작 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 전자기기의 움직임 및 사용자와 전자기기 간의 위치 및 방향과 상관없이 가정 내의 모든 공간에 위치하는 전자기기를 원격지에서 사용자의 손가락 끝의 움직임(제스처)을 통한 가상터치를 이용하여 원격 제어가 가능한 원격 조작 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 원격 조작 장치의 구성이 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 구성하여 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 손쉬운 산출을 통해 이동성이 자유로운 각종 전자기기에 적용 가능한 원격 조작 장치 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치의 특징은 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와, 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와, 상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와, 상기 전자기기의 제조사, 모델명을 포함하는 기기제품 정보, 기기제품별 구동 조작에 적용되는 프로토콜 정보, 전자기기별 조작방법 정보를 저장하는 전자기기 정보 데이터베이스(DB)를 포함하여 구성되는데 있다.
바람직하게 상기 3차원 좌표 산출부는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 영상 획득부와, 상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 광원과 산광기로 구성되어, 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 조명어셈블리와, 이미지 센서 및 렌즈로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 시간지연측정법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 전자기기 검출부는 3차원 좌표 산출부에서 산출된 전자기기의 3차원 공간좌표를 기반으로 전자기기 형태에 따른 3차원 모델링을 실시하는 3차원 모델링부와, 상기 3차원 모델링부에서 3차원 모델링된 전자기기 형태에 기반하여 상기 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 전자기기 설정부와, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성하는 터치 위치 매칭부를 포함하는 것을 특징으로 한다.
바람직하게 상기 사용자 검출부는 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표 및 제 2 공간좌표를 산출하여 산출된 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 접점 좌표 데이터의 변화 여부를 판단하고, 변화가 있는 것으로 판단되면 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 가상터치 처리부를 포함하는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것을 특징으로 한다.
바람직하게 상기 가상터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 한다.
바람직하게 상기 가상터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 한다.
바람직하게 상기 전자기기 구동 제어부는 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth)를 포함하는 단거리 무선통신 방식으로 조작 명령 신호를 송신하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법의 특징은 (A) 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 단계와, (B) 상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 전자기기를 스캔하여 전자기기 형태에 따른 3차원 모델링을 실시하는 단계와, (C) 상기 3차원 모델링된 전자기기 형태에 기반하여 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 단계와, (D) 상기 추출된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 기반으로 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 접점 영역을 생성하는 단계와, (E) 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 광간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와, (F) 상기 생성된 가상의 2차원 접점 영역과 만나는 접점 좌표 데이터의 변화가 있는지 판단하여 변화가 있는 경우, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하여 출력하는 단계와, (G) 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 (A) 단계는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 있는 영상획득부를 통해 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 단계와, 상기 촬영된 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 (A) 단계는 조명어셈블리를 통해 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 단계와, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 단계와, 상기 스페클 패턴 영상을 기반으로 시간지연측정법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 한다.
바람직하게 상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 한다.
바람직하게 상기 (F) 단계는 상기 생성된 2차원 접점 영역에 전자기기 정보 DB에 미리 저장된 조작방법 정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되는 단계와, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와, 사용자에 의해 상기 가상의 접점 영역의 미리 설정된 터치 영역에 상, 하, 좌, 우, 앞, 뒤 중 적어도 하나 이상의 가상 터치 조작을 수행하여 전자기기의 조작 요청이 수행되어 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변화가 판단되면, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 접점 영역은 전자기기의 전면, 측면, 후면의 방향과 상관없이 전자기기와 사용자 사이에 위치하여 전자기기의 어느 방향에서도 사용자의 가상 터치 조작을 통해 구동 조작이 이루어지는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 디스플레이 장치를 통한 포인터를 사용하여 표시된 조작 아이콘을 가상 터치하는 방법으로 이루어지는 것이 아니라, 3차원 모델링된 전자기기의 몸체에 가상 터치하는 방식으로 전자기기를 조작함으로써, 전자기기의 신속한 조작이 가능하다. 따라서 디스플레이 장치를 포함하지 않는 모든 전자기기에도 적용이 가능한 효과가 있다.
둘째, 지금까지 가상터치를 이용하는 연구의 경우, 디스플레이 장치를 활용한 응용기술에만 국한되어 개발되어 왔다. 이에 본 발명에서는 디스플레이 장치를 사용하지 않는 가상 터치 장치에서 활용할 수 있으면서, 전자기기의 동작을 정확하게 조작할 수 있는 새로운 터치 인식 방법을 제공할 수 있다.
셋째, 원격 조작 장치의 구성이 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 구성함으로써, 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 산출이 자유로워 이동성이 자유로운 각종 전자기기의 적용이 가능한 효과가 있다.
넷째, 전자기기뿐만 아니라 커튼, 조명, 오토 도어락 등 스위칭을 통해 간편한 조작을 요구하는 기기의 경우에는 3차원 모델링을 통해 가상터치를 제공하여 가상터치에 상응하는 조작을 수행하여 다양한 응용 기술에 적용이 가능하다.
[도 1] 본 발명의 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작의 전체 시스템을 나타낸 도면
[도 2] 본 발명의 제 1 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치를 나타낸 블록 구성도
[도 3] 본 발명의 제 2 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치를 나타낸 블록 구성도
[도 4] 본 발명의 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법을 설명하기 위한 흐름도
[도 5] 도 4의 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 과정의 제 1 실시예를 설명하기 위한 흐름도
[도 6] 도 4의 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 과정의 제 2 실시예를 설명하기 위한 흐름도
[도 7] 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법의 구체적인 실시에를 나타낸 도면
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작의 전체 시스템을 나타낸 도면이다.
도 1과 같이, 원격 조작 장치(100)는 사용자가 원격에서 손 등의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기(200)의 구동 조작을 요청하면, 사용자의 움직임을 통한 사용자 신체의 3차원 좌표 데이터를 추출하여 3차원 영역을 확인하고, 동시에 사용자가 구동 조작을 요청한 전자기기(200)의 위치 정보를 인식한다. 그리고 사용자의 움직임에 상응하는 전자기기의 구동 조작 명령 신호를 생성하여 해당 전자기기(200)에 송신함으로써, 해당 전자기기(200)의 구동을 조작한다.
이처럼, 전자기기의 위치 정보를 이용하여 원격 조작이 이루어짐에 따라, 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용 가능하게 된다.
그럼 이하에서 원격 조작 장치(100)의 구성을 좀 더 상세히 살펴보도록 한다.
제 1 실시예
도 2 는 본 발명의 제 1 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치를 나타낸 블록 구성도이다.
도 2와 같이 원격 조작 장치(100)는 영상 획득부(110)와, 공간좌표 산출부(120)와 전자기기 검출부(130)와, 사용자 검출부(140)와, 전자기기 구동 제어부(160)와, 전자기기 정보 데이터베이스(DB)(150)로 구성된다.
상기 영상 획득부(110)로는 일종의 카메라 모듈로서, 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(112, 114)를 2 이상 포함 할 수 있다.
상기 공간좌표 산출부(120)는 영상 획득부(110)로부터 수신한 영상을 이용하여 상기 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출한다. 본 발명에 따르면 영상 획득부(110)를 구성하는 이미지센서(112, 114)는 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하고 공간좌표 산출부(120)는 수동적인 광학 삼각법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출할 수 있다.
일반적으로 광학식 3차원 좌표 산출 방법은 센싱 방법에 따라 능동 방식과 수동 방식으로 분류할 수 있다. 능동 방식은 미리 정의된 패턴이나 음파 등을 물체에 투사한 후 그 에너지 또는 초점 등의 센서 파라미터의 제어를 통한 변화량을 측정하여 물체의 3차원 좌표 데이터를 산출하는 방법으로 구조광 혹은 레이저광을 이용하는 방식이 대표적이다. 이에 비하여 수동 방식은 인위적으로 물체에 에너지를 투사하지 않은 상태에서 촬영한 영상의 명암(intensity), 시차(parallax) 등을 이용하는 방식이다.
본 발명에서는 물체에 에너지를 투사하지 않는 수동 방식을 채용하고 있는 바, 이 방식은 능동 방식에 비해 다소 정밀도는 떨어질 수 있어도 장비가 간편하고 입력 영상으로부터 텍스쳐를 직접 획득할 수 있는 장점이 있다.
수동 방식에서는 촬영한 영상 간에 대응되는 특징점들에게 광학적인 삼각 측량법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법의 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 3차원 좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로 부터 거리를 구하는 방법이다. 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술 분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
상기 전자기기 검출부(130)는 3차원 모델링부(132)와, 전자기기 설정부(134)와, 터치 위치 매칭부(136)로 구성되어, 상기 공간좌표 산출부(120)에서 산출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기(200)의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성한다.
이때, 상기 3차원 모델링부(132)는 상기 공간 좌표 산출부(120)에서 산출된 전자기기의 3차원 공간좌표를 기반으로 전자기기 형태에 따른 3차원 모델링을 실시한다. 그리고 상기 전자기기 설정부(134)는 상기 3차원 모델링부(132)에서 3차원 모델링된 전자기기 형태에 기반하여 전자기기 정보 DB(150)에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정한다. 또한 상기 터치 위치 매칭부(136)는 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성한다. 이때 생성되는 가상의 2차원 접점 영역은 전자기기의 3차원 좌표에 기반하여 사용자보다 전자기기에 더 가까이 생성되는 것이 바람직하다.
상기 사용자 검출부(140)는 터치 위치 산출부(142)와, 가상터치 처리부(144)로 구성되어, 상기 공간좌표 산출부(120)에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기(200)의 구동 조작을 위한 가상 터치 위치 및 그 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성한다.
이때, 상기 터치 위치 산출부(142)는 상기 공간좌표 산출부(120)에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표와 제 2 공간좌표를 산출하고, 산출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제 1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다.
또한 본 발명에서는 제 2 공간좌표로서 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역을 포인팅 할 수 있다.
한편, 본 발명에서 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다. 또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다. 또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(144)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 출력한다. 또한 상기 가상 터치 처리부(144)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
또한 가상 터치 처리부(144)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성한다. 또한 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
한편, 상기 접점 좌표 데이터의 변동이 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 전자기기를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 미리 정의된 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주한다.
본 발명에 따른 원격 조정의 대상이 되는 전자기기로는 조명, 스피커, 에어컨, 선풍기, 블라인드, 창문, 커튼, 문, 난방, 가스, 전자레인지, 비디오, 카메라, CCTV 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.
본 발명에 따른 원격 조작 장치(100)는 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 설치됨으로서, 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 산출이 자유로워 이동성이 자유로운 각종 전자기기의 적용이 가능하다.
상기 전자기기 구동 제어부(160)는 상기 사용자 검출부(140)에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다. 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식을 통해서도 적용이 가능함은 당연하다.
상기 전자기기 정보 데이터베이스(DB)(150)는 가정내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작방법 정보를 저장하고 있다. 이때 조작방법 정보는 전자기기의 전원, 조도, 음량, 온도조절 등을 가상 터치로 조작하기 위한 사용자 손가락의 움직임 및 터치 위치 등의 정보를 말한다. 참고로 상기 전자기기 정보 DB(150)에 저장되는 정보들은 전자기기의 구매 후, 사용자에 의해 수시로 갱신이 가능하며, 갱신하는 방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
제 2 실시예
도 3 은 본 발명의 제 2 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치를 나타낸 블록 구성도이다.
도 3과 같이 원격 조작 장치(100)는 3차원 좌표 산출부(170)와, 전자기기 검출부(130)와, 사용자 검출부(140)와 전자기기 구동 제어부(160)와, 전자기기 정보 데이터베이스(DB)(150)로 구성된다.
상기 3차원 좌표 산출장치(170)는 조명어셈블리(172)와, 영상 획득부(174)와, 공간좌표 산출부(176)로 구성되어, 사용자 및 전자기기에 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 시간지연측정법(time of flight)을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출한다. 이때 상기 시간지연측정법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3D 정보를 획득하는 기법이다. 상기 시간지연측정법(Time of Flight)을 이용하는 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
이때, 상기 조명어셈블리(172)는 광원(172a)과 산광기(172b)를 포함하며 사용자 신체 및 전자기기에 스페클 패턴을 투영한다. 그리고 상기 영상 획득부(174)는 이미지센서(174a)와 렌즈(174b)로 구성되어, 상기 조명어셈블리(172)에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처한다. 이때, 상기 이미지 센서(174a)는 일반적으로 CCD 또는 CMOS 기반의 이미지 센서가 사용될 수 있다. 또한 상기 공간좌표 산출부(176)는 상기 영상 획득부(174)가 획득된 영상을 시간지연측정법을 통해 처리하여 상기 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 역할을 수행한다.
상기 전자기기 검출부(130)는 3차원 모델링부(132)와, 전자기기 설정부(134)와, 터치 위치 매칭부(136)로 구성되어, 상기 공간좌표 산출부(176)에서 산출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기(200)의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 접점 영역을 생성한다. 참고로, 상기 전자기기 검출부(130)의 구성에 따른 설명은 제 1 실시예에서 설명하고 있는 내용과 동일하며, 위에서 자세히 설명하고 있으므로 이에 따른 설명은 생략한다.
상기 사용자 검출부(140)는 터치 위치 산출부(142)와, 가상터치 처리부(144)로 구성되어, 상기 공간좌표 산출부(176)에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기(200)의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성한다. 참고로, 상기 사용자 검출부(140)의 구성에 따른 설명은 제 1 실시예에서 설명하고 있는 내용과 동일하며, 위에서 자세히 설명하고 있으므로 이에 따른 설명은 생략한다.
상기 전자기기 구동 제어부(160)는 상기 사용자 검출부(140)에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다. 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식을 통해서도 적용이 가능함은 당연하다.
상기 전자기기 정보 데이터베이스(DB)(150)는 가정내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보를 저장하고 있다. 이때 조작방법 정보는 전자기기의 전원, 조도, 음량, 온도조절 등을 가상 터치로 조작하기 위한 사용자 손가락의 움직임 및 터치 위치 등의 정보를 말한다. 참고로 상기 전자기기 정보 DB(150)에 저장되는 정보들은 전자기기의 구매 후, 사용자에 의해 수시로 갱신이 가능하며, 갱신하는 방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
이와 같이 구성된 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 내지 도 3과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 4 는 본 발명의 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법을 설명하기 위한 흐름도이다.
도 4를 참조하여 원격 조작 방법을 설명하면, 먼저 광학적인 삼각 측량법 또는 시간지연측정법에 의해 카메라를 통해 촬영된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출한다(S100).
상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 전자기기를 스캔하여 전자기기 형태에 따른 3차원 모델링을 실시한다(S300).
그리고 3차원 모델링된 전자기기 형태에 기반하여 상기 전자기기 설정부(134)에서 전자기기 정보 DB(150)에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정한다(S400).
이어 상기 터치 위치 매칭부(136)는 상기 추출된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 기반으로 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성한다(S500). 이때 생성되는 가상의 2차원 접점 영역은 전자기기의 3차원 좌표에 기반하여 사용자보다 전자기기에 더 가까이 생성되는 것이 바람직하다.
한편, 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 광간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 가상의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출한다(S600).
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제 1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다.
또한 본 발명에서는 제 2 공간좌표로서 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역을 포인팅 할 수 있다. 또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다. 또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
이어 가상 터치 처리부(144)가 생성된 가상의 2차원 접점 영역과의 접점 좌표 데이터의 변동이 있는지 판단하여 변동이 있는 경우, 상기 접점 좌표 데이터의 변동에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하여 출력한다(S700).
이때, 접점 좌표 데이터의 변동 여부의 판단은 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단한다. 또한 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터의 변동이 있는 것으로 판단한다. 그리고 이렇게 접점 좌표 데이터의 변동이 있는 경우, 변동된 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하게 된다.
그리고 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다(S800). 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식으로의 송신이 가능하다.
도 5 는 도 4의 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 과정의 제 1 실시예를 설명하기 위한 흐름도이다.
도 5를 참조하여 설명하면, 먼저 카메라 모듈의 영상 획득부(110)에서 구성하는 2개의 이미지 센서(112)(114)를 통해 각기 다른 각도에서 촬영된 사용자 신체 및 전자기기의 영상을 획득한다(S111).
이어 공간좌표 산출부(120)가 상기 각기 다른 각도에서 촬영된 사용자 신체 및 전자기기의 영상을 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 좌표 데이터를 산출한다(S112).
그리고 이렇게 산출된 좌표 데이터를 각각 조합하여 사용자 신체 및 전자기기의 3차원 영상정보에 따른 3차원 좌표 데이터를 산출한다(S113).
이와 같은 삼각법을 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 3차원 좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로부터 거리를 구하는 방법이다.
도 6 은 도 4의 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 과정의 제 2 실시예를 설명하기 위한 흐름도이다.
도 6을 참조하여 설명하면, 먼저 조명어셈블리(172)가 사용자 신체 및 전자기기로 스페클 패턴을 투영한다(S121).
그러면 영상 획득부(174)가 상기 조명어셈블리(172)에 의해 투영된 사용자 신체 및 전자기기에 따른 상의 스페클 패턴을 캡처한다(S122).
이어 공간좌표 산출부(176)가 상기 스페클 패턴의 영상을 시간지연 측정법을 이용하여 측정된 깊이 값을 이용하여 사용자 신체 및 전자기기의 좌표 데이터를 산출한다(S123).
그리고 이렇게 산출된 좌표 데이터를 각각 조합하여 사용자 신체 및 전자기기의 3차원 영상정보에 따른 3차원 좌표 데이터를 산출한다(S124).
이와 같은 시간지연 측정법을 적용하여 3차원 좌표를 추출하는 기법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3D 정보를 획득하는 기법이다. 그 밖에도 시간지연측정법(Time of Flight)을 이용하는 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
도 7 은 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법의 구체적인 실시에를 나타낸 도면이다. 이때 조작되는 전자기기로 선풍기를 실시예로 나타내고 있다.
도 7과 같이, 터치 위치 매칭부(136)는 선풍기와 사용자 사이에 2차원 접점 영역을 생성한 후, 이렇게 생성된 2차원 접점 영역은 전자기기 정보 DB(150)에 저장된 조작방법 정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되게 된다. 도 7은 선풍기에 대한 조작으로 상하로 터치 영역이 설정되게 된다.
그리고 터치 위치 산출부(142)를 통해 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 가상의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출하고, 이어 상기 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변동 여부의 판단한다.
따라서 사용자가 2차원 접점 영역의 상부 영역에 좌우로 가상 터치 조작을 한 경우에는 선풍기의 회전 조작을 요청한 것으로 처리하고, 위아래로 가상 터치 조작을 한 경우에는 선풍기의 회전에서 멈춤 조작을 요청한 것으로 처리한다. 또한 사용자가 2차원 접점 영역의 하부 영역에 좌 또는 우로 가상 터치 조작을 한 경우에는 선풍기의 풍량을 조작하기 위한 것으로, 좌로 변동한 경우는 풍량을 줄이도록, 우로 변동한 경우는 풍량을 높이도록 조작을 요청한 것으로 처리하고, 위아래로 가상터치를 조작한 경우에는 선풍기의 전원의 온/오프(0n/Off)를 조작을 요청한 것으로 처리한다.
이때, 2차원 접점 영역은 전자기기의 전면, 측면, 후면의 방향과 상관없이 전자기기와 사용자 사이에 위치하므로, 전자기기의 어느 방향에서도 사용자는 가상 터치 조작을 통해 구동 조작이 가능하게 된다.
위에서 설명한 동일한 방법으로, 전자기기별 2차원 접점 영역으로의 사용자의 가상 터치를 통해 전원의 온/오프는 물론 조도/음량/온도 등의 조절, 블라인드, 창문, 커튼, 문 등의 움직임 등을 조작할 수 있다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (17)

  1. 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와,
    상기 3차원 좌표 산출부에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와,
    상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와,
    상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와,
    상기 전자기기의 제조사, 모델명을 포함하는 기기제품 정보, 기기제품별 구동 조작에 적용되는 프로토콜 정보, 전자기기별 조작방법 정보를 저장하는 전자기기 정보 데이터베이스(DB)를 포함하여 구성되는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  2. 제 1 항에 있어서, 상기 3차원 좌표 산출부는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 영상 획득부와,
    상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  3. 제 1 항에 있어서, 상기 3차원 좌표 산출부는
    광원과 산광기로 구성되어, 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 조명어셈블리와,
    이미지 센서 및 렌즈로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 영상 획득부와,
    상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 시간지연측정법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  4. 제 1 항에 있어서, 상기 전자기기 검출부는
    3차원 좌표 산출부에서 산출된 전자기기의 3차원 공간좌표를 기반으로 전자기기 형태에 따른 3차원 모델링을 실시하는 3차원 모델링부와,
    상기 3차원 모델링부에서 3차원 모델링된 전자기기 형태에 기반하여 상기 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 전자기기 설정부와,
    사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성하는 터치 위치 매칭부를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  5. 제 1 항에 있어서, 상기 사용자 검출부는
    상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표 및 제 2 공간좌표를 산출하여 산출된 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 터치 위치 산출부에서 산출된 접점 좌표 데이터의 변화 여부를 판단하고, 변화가 있는 것으로 판단되면 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 가상터치 처리부를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  6. 제 5 항에 있어서,
    상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  7. 제 5 항에 있어서, 상기 가상터치 처리부는
    초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  8. 제 7 항에 있어서, 상기 가상터치 처리부는
    초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  9. 제 1 항에 있어서,
    상기 전자기기 구동 제어부는 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth)를 포함하는 단거리 무선통신 방식으로 조작 명령 신호를 송신하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  10. (A) 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 단계와,
    (B) 상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 전자기기를 스캔하여 전자기기 형태에 따른 3차원 모델링을 실시하는 단계와,
    (C) 상기 3차원 모델링된 전자기기 형태에 기반하여 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 단계와,
    (D) 상기 추출된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 기반으로 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 접점 영역을 생성하는 단계와,
    (E) 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 광간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와,
    (F) 상기 생성된 가상의 2차원 접점 영역과 만나는 접점 좌표 데이터의 변화가 있는지 판단하여 변화가 있는 경우, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하여 출력하는 단계와,
    (G) 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  11. 제 10 항에 있어서, 상기 (A) 단계는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 있는 영상획득부를 통해 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 단계와,
    상기 촬영된 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  12. 제 10 항에 있어서, 상기 (A) 단계는
    조명어셈블리를 통해 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 단계와,
    상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 단계와,
    상기 스페클 패턴 영상을 기반으로 시간지연측정법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  13. 제 10 항에 있어서,
    상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  14. 제 13 항에 있어서,
    상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  15. 제 10 항에 있어서,
    상기 (G) 단계는 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth)를 포함하는 단거리 무선통신 방식으로 조작 명령 신호를 송신하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  16. 제 10 항에 있어서, 상기 (F) 단계는
    상기 생성된 2차원 접점 영역에 전자기기 정보 DB에 미리 저장된 조작방법 정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되는 단계와,
    상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와,
    사용자에 의해 상기 가상의 접점 영역의 미리 설정된 터치 영역에 상, 하, 좌, 우, 앞, 뒤 중 적어도 하나 이상의 가상 터치 조작을 수행하여 전자기기의 조작 요청이 수행되어 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변화가 판단되면, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  17. 제 10 항에 있어서,
    상기 접점 영역은 전자기기의 전면, 측면, 후면의 방향과 상관없이 전자기기와 사용자 사이에 위치하여 전자기기의 어느 방향에서도 사용자의 가상 터치 조작을 통해 구동 조작이 이루어지는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
KR1020110068383A 2011-07-11 2011-07-11 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 KR101235432B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110068383A KR101235432B1 (ko) 2011-07-11 2011-07-11 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
CN201280034529.4A CN103688236B (zh) 2011-07-11 2012-07-06 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法
US14/232,310 US9367138B2 (en) 2011-07-11 2012-07-06 Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
EP12811473.3A EP2733585B1 (en) 2011-07-11 2012-07-06 Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
PCT/KR2012/005362 WO2013009040A2 (ko) 2011-07-11 2012-07-06 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110068383A KR101235432B1 (ko) 2011-07-11 2011-07-11 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130007813A true KR20130007813A (ko) 2013-01-21
KR101235432B1 KR101235432B1 (ko) 2013-02-22

Family

ID=47506668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110068383A KR101235432B1 (ko) 2011-07-11 2011-07-11 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법

Country Status (5)

Country Link
US (1) US9367138B2 (ko)
EP (1) EP2733585B1 (ko)
KR (1) KR101235432B1 (ko)
CN (1) CN103688236B (ko)
WO (1) WO2013009040A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013180446A1 (ko) * 2012-05-29 2013-12-05 Kim Seok-Joong 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2971853B1 (en) * 2013-03-15 2017-08-23 Springs Window Fashions LLC Window covering motorized lift and control system motor and operation
KR101488947B1 (ko) * 2013-03-15 2015-02-06 삼성중공업(주) 사진 계측 장치 및 방법
CN104298340B (zh) * 2013-07-15 2017-12-26 联想(北京)有限公司 控制方法和电子设备
US20150088283A1 (en) * 2013-09-24 2015-03-26 Fibar Group sp. z o.o. Touch-less swipe control
US9207780B2 (en) * 2014-01-27 2015-12-08 Fuji Xerox Co., Ltd. Systems and methods for hiding and finding digital content associated with physical objects via coded lighting
KR101533319B1 (ko) 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
CN103901781B (zh) * 2014-04-22 2017-01-11 深圳市奥贝尔电子有限公司 一种联网在线遥控模拟系统和联网在线遥控模拟方法
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN104346920A (zh) * 2014-10-28 2015-02-11 河海大学 一对多遥控装置识别遥控对象的方法及一对多遥控装置
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
KR20160111220A (ko) * 2015-03-16 2016-09-26 엘지전자 주식회사 전기제품, 전기제품의 펌웨어 업데이트 방법 및 네트워크 시스템
KR102328589B1 (ko) 2015-04-30 2021-11-17 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
WO2016176606A1 (en) 2015-04-30 2016-11-03 Google Inc. Type-agnostic rf signal representations
CN106462323B (zh) * 2015-05-22 2019-08-27 习得智交互软件开发公司 显示平面要素的属性的方法及其装置
KR101653795B1 (ko) 2015-05-22 2016-09-07 스튜디오씨드코리아 주식회사 평면 요소의 속성을 표시하는 방법 및 그 장치
CN105045140B (zh) * 2015-05-26 2019-01-01 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105487705B (zh) * 2015-11-20 2019-08-30 努比亚技术有限公司 移动终端、输入处理方法及用户设备
KR102401641B1 (ko) * 2016-01-08 2022-05-25 엘지전자 주식회사 모바일 디바이스 및 모바일 디바이스의 제어방법
EP3443187A4 (en) 2016-04-15 2019-11-27 Spectrum Brands, Inc. COMPLETE WIRELESS LOCK WITH INTEGRATED INLET ANGLE DETECTION (AOA)
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
CN106873300B (zh) * 2016-12-30 2019-12-24 北京光年无限科技有限公司 面向智能机器人的虚拟空间投影方法和装置
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10608439B2 (en) * 2018-01-19 2020-03-31 Air Cool Industrial Co., Ltd. Ceiling fan with gesture induction function
CN110096133A (zh) * 2018-01-30 2019-08-06 鸿富锦精密工业(武汉)有限公司 红外手势识别装置及方法
CN109871123B (zh) * 2019-01-21 2022-08-16 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE571702T1 (de) * 1992-05-26 1994-04-28 Takenaka Corp Handzeige-Eingabegerät und Wandcomputereinheit.
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE60133386T2 (de) * 2000-05-17 2009-04-02 Koninklijke Philips Electronics N.V. Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
KR20020021803A (ko) 2002-03-05 2002-03-22 백수곤 하나 이상의 이차원 이미지로부터 삼차원 모델을 만드는방법
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
KR100537518B1 (ko) * 2004-01-27 2005-12-19 삼성전자주식회사 공간에서 클릭 동작에 따른 포인팅 위치 조절 방법 및이를 위한 공간형 입력 장치
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP5631535B2 (ja) * 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US7728825B2 (en) * 2005-03-22 2010-06-01 Microsoft Corporation Targeting in a stylus-based user interface
KR20070066382A (ko) 2005-12-22 2007-06-27 주식회사 팬택 두 대의 카메라를 이용한 3차원 이미지 생성 방법 및 이를구현하는 카메라 단말기
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
KR100818171B1 (ko) 2006-06-09 2008-04-03 한국과학기술원 손 지시의 3차원 위치 인식 시스템 및 방법
KR100920931B1 (ko) * 2007-11-16 2009-10-12 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
US8542323B2 (en) * 2007-12-21 2013-09-24 Sony Corporation Touch sensitive wireless navigation device for remote control
CN101504728B (zh) * 2008-10-10 2013-01-23 深圳泰山在线科技有限公司 一种电子设备的遥控系统及其遥控方法
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
KR101585466B1 (ko) * 2009-06-01 2016-01-15 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR101082829B1 (ko) 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
US20120268424A1 (en) * 2011-04-20 2012-10-25 Kim Taehyeong Method and apparatus for recognizing gesture of image display device
WO2013009815A2 (en) * 2011-07-13 2013-01-17 Simon Solotko Methods and systems for social overlay visualization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013180446A1 (ko) * 2012-05-29 2013-12-05 Kim Seok-Joong 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
US9569103B2 (en) 2012-05-29 2017-02-14 VTouch Co., Ltd. Remote control apparatus and method for performing virtual touch by using information displayed by a projector

Also Published As

Publication number Publication date
US9367138B2 (en) 2016-06-14
EP2733585A2 (en) 2014-05-21
CN103688236B (zh) 2017-03-22
EP2733585A4 (en) 2015-01-14
WO2013009040A2 (ko) 2013-01-17
EP2733585B1 (en) 2018-09-12
CN103688236A (zh) 2014-03-26
WO2013009040A3 (ko) 2013-03-07
KR101235432B1 (ko) 2013-02-22
US20140184499A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
KR101235432B1 (ko) 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR101334585B1 (ko) 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR101533319B1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101524575B1 (ko) 웨어러블 디바이스
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
WO2010098050A1 (ja) 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
KR20120045667A (ko) 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
TW201917525A (zh) 非接觸式輸入裝置及方法、能進行非接觸式輸入的顯示器
KR101552134B1 (ko) 웨어러블 디바이스
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR20140060615A (ko) 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
KR20170055236A (ko) 적외선센서 기반의 동작인식을 이용한 제어대상의 제어방법 및 장치
KR20130133482A (ko) 티오에프 카메라를 이용한 포인터를 사용하지 않는 가상 터치 장치
TWI253005B (en) 3D index device
Kohoutek Multi-user vision interface based on range imaging
KR20210111619A (ko) 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180206

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 7