KR20140027931A - 움직일 수 있는 물체의 도움으로 기구를 제어하기 위한 원격 제어 장치 및 이러한 종류의 원격 제어 장치의 모듈들 간의 통신 또는 그 모듈들 중의 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈 - Google Patents

움직일 수 있는 물체의 도움으로 기구를 제어하기 위한 원격 제어 장치 및 이러한 종류의 원격 제어 장치의 모듈들 간의 통신 또는 그 모듈들 중의 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈 Download PDF

Info

Publication number
KR20140027931A
KR20140027931A KR1020137021158A KR20137021158A KR20140027931A KR 20140027931 A KR20140027931 A KR 20140027931A KR 1020137021158 A KR1020137021158 A KR 1020137021158A KR 20137021158 A KR20137021158 A KR 20137021158A KR 20140027931 A KR20140027931 A KR 20140027931A
Authority
KR
South Korea
Prior art keywords
module
control device
remote control
submodule
camera
Prior art date
Application number
KR1020137021158A
Other languages
English (en)
Inventor
프리드리히 쉬크
옌스 쉬크
Original Assignee
마이에스트로 인터렉티브 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이에스트로 인터렉티브 게엠베하 filed Critical 마이에스트로 인터렉티브 게엠베하
Publication of KR20140027931A publication Critical patent/KR20140027931A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)

Abstract

원격 제어 장치(1)는 적어도 하나의 움직이는 물체(3)의 운동 패턴 및/또는 거리 패턴에 기초하여 제어 대상 기구(2)를 제어하는 역할을 한다. 원격 제어 장치(1)는, 스테레오 이미지를 받고 상기 움직이는 물체(3)를 검출하는 카메라 모듈(4)을 갖는다. 이미지 평가 모듈(8)은 운동 평가 하위 모듈(14)과 거리 평가 하위 모듈(15)을 갖는다. 이들 하위 모듈은 피검출 물체(3)에 대한 운동 값과 거리 값을 검출된 카메라 신호 데이타로부터 결정한다. 원격 제어 장치(1)의 제어 및 통신 모듈(24)은, 결정된 운동 값 또는 거리 값에 기초하여, 적어도 하나의 기구 제어 신호를 발생시키고 이 제어 신호를 제어 대상 기구(2)에 보내게 된다. 원격 제어 장치(1)의 모듈들 간의 통신 또는 원격 제어 장치(1)의 모듈들 중의 적어도 하나와 외부 기구(2) 간의 통신을 위해 인터페이스 모듈이 사용될 수 있다. 상기 인터페이스 모듈은 데이타 메모리, 비교기 하위 모듈(이 비교기 하위 모듈에서, 공급되는 실제 운동 파라미터들이 데이타 메모리에 저장되어 있는 운동 파라미터 세트 중의 설정점 운동 파라미터와 비교됨), 및 통신 하위 모듈을 갖는다. 각각의 실제 파라미터와 설정점 운동 파라미터들 중의 하나가 서로 충분히 일치하면, 상기 통신 하위 모듈은 테이블에 할당되어 있는 제어 신호를 원격 제어 장치의 모듈 또는 외부 기구에 보내게 된다.

Description

움직이는 물체에 기초하여 기구를 제어하기 위한 원격 제어 장치 및 인터페이스 모듈{REMOTE-CONTROL DEVICE AND INTERFACE MODULE FOR CONTROLLING AN APPARATUS ON THE BASIS OF A MOVING OBJECT}
본 발명은, 적어도 하나의 움직이는 물체의 운동 패턴 및/또는 거리 패턴의 도움으로 제어 대상 기구를 제어하기 위한 원격 제어 장치에 관한 것이다. 또한, 본 발명은 이러한 종류의 원격 제어 장치의 모듈들 간의 통신 또는 상기 원격 제어 장치의 모듈들 중의 적어도 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈에 관한 것이다.
원격 제어 장치는 US 2010/0199228 A1 및 WO 2008/058 783 A1에 알려져 있다. 외부의 제어 대상 기구, 예컨대 공기 조화 시스템 또는 텔레비젼 세트를 사람의 팔 제스처의 도움으로 제어하기 위한 원격 제어 장치가 US 2006/0168523 A1에 알려져 있다. EP 1 637 985 A2 에는 장치 입력 제어기가 기재되어 있다.
본 발명의 목적은, 움직이는 물체의 도움으로 특히 좋지 않은 환경 조건에서도 기구를 제어할 수 있도록 서두에서 언급한 종류의 원격 제어 장치를 발전시키는 것이다.
상기 목적은 본 발명에 따라 청구항 1 에 개시된 특징을 갖는 원격 제어 장치로 달성된다.
카메라 모듈은 스테레오 이미지를 받는 적어도 2개의 카메라를 가질 수 있다. 카메라 모듈의 카메라는 웹캠(webcam)으로 설계될 수 있다. 카메라 모듈의 카메라는 색을 검출할 수 있다. 카메라 모듈의 카메라들은 비동기식으로 작동할 수 있다. 카메라들의 서로에 대한 공간적 할당은 중요하지 않다. 2개 이상의 이미지를 발생시키는 단일 카메라 유닛도 사용가능한데, 예컨대 분할 광학계를 갖는 센서를 사용할 수 있다. 이러한 종류의 카메라 유닛은 공간적인 이미지 크기를 측정하기 위해 복수의 광학계 또는 거울 광학계를 가질 수 있다. 움직이는 물체는 사용자의 신체의 일 부분일 수 있다. 그러면 원격 제어 장치는 제스처 제어에 사용될 수 있으며, 이 제스처 제어에서 이미지 평가 모듈은 운동 패턴 및/또는 거리 패턴을 검출된 운동 및 거리 값으로부터 구하고, 제스처를 제어하기 위해 그 운동 패턴 및/또는 거리 패턴이 할당되고, 이 제스처는 기구 제어 신호에 할당된다. 제스처 제어의 구조에서, 원격 제어 장치는 사용자의 손가락, 주먹, 팔다리, 머리, 얼굴 표정, 몸통 및 일반적으로는 사용자의 신체의 일 부분의 운동을 검출할 수 있다. 특히, 신체의 일 부분의 포인팅 또는 회전, 여러 공간적 방향으로의 선형 운동 또는 이들 운동의 조합(신체의 여러 부분들에 의해 동시에 행해질 수도 있음)이 검출될 수 있다. 운동 값은 움직이는 물체의 속도와 가속도 및 측정된 위치 변화의 더 높은 차수의 도함수 일 수 있다. 본 발명에 따른 원격 제어 장치에 의한 이미지 평가는 어떠한 운동 모델, 거리 모델 또는 설계 모델도 사용하지 않는다. 이미지 평가는 운동의 도움으로만, 다시 말해 움직이는 물체의 흐름과 거리의 도움으로만 일어날 수 있다. 운동 값이나 거리 값으로부터 생기는 운동 또는 거리 패턴은 통계적 운동 전략의 도움으로 이미지 평가 모듈에서 특성화된다. 이 경우, 칼만(Kalman) 필터가 추가적으로 사용될 수 있다. 이 특성화는 이미지 평가 모듈에서 일어날 수 있다. 생리학적으로 "불가능한" 제스처는 예컨대 이에 의해 배제될 수 있다. 운동 또는 거리 패턴의 특성화는, 카메라 모듈로 검출되는 포인트 클라우드(point cloud) 또는 확인된 격자점의 어떤 운동, 속도 또는 거리 값의 시간 누적으로 생길 수 있다. 운동 패턴은 물체의 시간 추적, 예컨대 운동 방향, 방향 변화, 운동의 지속, 다시 말해 예컨대 제스처 중의 멈춤, 운동 순서, 운동 속도 또는 이들 운동 값의 조합에 의해 얻어질 수 있다. 이에 따라 거리 패턴이 얻어질 수 있다. 이미지 평가는 과정을 통한 가르침(teach-in process), 즉 그러는 동안 검출 중에 적응된 공간적 및/또는 시간적 운동 모듈에 의한 검출된 운동 값 및/또는 거리 값의 할당의 안정화를 포함할 수 있다. 그러나, 이러한 종류의 과정을 통한 가르침은 상기 원격 제어 장치의 기능을 위한 선행 조건은 아닌데, 하지만 기능 안정화를 위한 일 가능한 방안이다. 검출된 물체는 운동 파라미터 또는 거리 파라미터의 일치의 적절한 측정으로 확인될 수 있으며, 이는 운동 또는 거리 패턴의 평가로 얻어지는데 사인(signature)이라고도 한다. 이들 운동 또는 거리 파라미터는 이미지 평가 모듈에서 카메라 모듈로 검출된 개별 이미지를 평가하여 발생된다. 거리 평가, 다시 말해 카메라 신호 데이타로부터의 거리 값 결정은 삼각 측량으로 일어날 수 있다. 이미지 평가 모듈로 물체의 운동 및 거리를 평가하는 것은 반드시 실시간으로 일어날 필요는 없다. 평가가 즉각적으로 일어나면 충분한다. 물체 운동의 검출과 평가 사이의 시간 지연은 200 ms 까지 될 수 있다.
상기 원격 제어 장치는 컴퓨터를 제어하기 위한 입력 장치로서 구성될 수 있다. 예컨대, 원격 제어 장치로 인터넷 내비게이션을 할 수 있거나 또는 브라우저 게임을 할 수 있다. 원격 제어 장치는 예컨대 어둡게 하기, 밝게 하기 또는 가열 또는 컴퓨터를 제어하기 위해 예컨대 텔레비젼 세트, 비디오 장치 또는 DVD 플레이어, 스테레오 시스템 또는 가정 제어 시스템을 위해 가정의 통상적인 원격 제어 기구를 대신할 수 있다. 원격 제어 장치 또는 이 원격 제어 장치의 구성 요소 또는 모듈은 제어 대상 기구에 통합될 수 있다. 제어 대상 기구는 특히 추가적인 컴퓨터 기능을 갖는 텔레비젼 세트, 특히 인터넷 작동 텔레비젼 세트일 수 있으며, 이러한 텔레비젼 세트는 예컨대 USB 및 WLAN과 같은 추가적인 인터페이스를 가지며 또한 추가적인 메모리 카드 및 네트워크 기능을 가질 수 있다. 상기 텔레비젼 세트는 특히 하이브리드 방송 광대역 TV 일 수 있다. 텔레비젼 세트를 제어하는 원격 제어 장치가 전체적으로 또는 구성 요소 또는 모듈로서 통합되어 있는 이러한 종류의 텔레비젼 세트는 본 발명의 독립적인 일 양태이다. 상기 원격 제어 장치는 확장된 현실을 사용하기 위한 시스템 환경의 일 구성 요소일 수 있다. 이 경우, 원격 제어 장치는 대응하는 인터페이스로 시스템 제어 환경에 연결될 수 있다. 원격 제어 장치가 모델과는 독립적으로, 다시 말해 사전에 처리되는 카메라 신호 데이타와는 독립적으로 작동할 수 있으므로, 예컨대 카메라 모듈의 검출 영역에 있는 움직이는 물체가 카메라 모듈의 카메라와 사용자 사이에 있는 정적인 물체, 예컨대 꽃다발에 의해 부분적으로 가려지더라도 중요하지 않다.
청구항 2 에 따른 적어도 3개의 카메라에 의해, 확장된 거리 범위에서 거리 해상도가 증가된다. 추가로, 적어도 3개의 카메라에 의해, 예컨대 더 작은 수의 카메라를 갖는 카메라 모듈을 사용할 때 예컨대 정지되어 있는 제 3 의 물체에 의해 가려지는 물체 영역의 평가가 가능하게 된다. 상기 카메라는 카메라 모듈에서 일렬로 서로의 옆에 배치될 수 있다.
청구항 3 에 따른 이미지 평가 모듈은 콘트라스트 값의 변화 또는 색 값의 변화가 검출될 수 있도록 구성될 수 있다. 이들 콘트라스트 또는 색 값의 공간적 또는 시간적 변화의 검출이 가능하다. 검출된 콘트라스트 또는 색 값은 또한 운동 또는 거리 값을 결정하는데 사용될 수 있다.
청구항 4 에 따른 상세 사전 선택 하위 모듈은 이미 검출의 정확도를 증가시킨다. 신호 데이타의 더 집약적인 계산이 선택된 이미지 상세에서 일어날 수 있다. 복수의 제어 대상 기구가 동시에 작동될 수 있다. 복수의 조작자들이 하나의 동일한 제어 대상 기구를 작동할 수 있도록 복수의 이미지 상세가 사전에 선택될 수 있다. 이 경우, 원격 제어 장치는 추가적인 우선권 제어를 포함하는데, 이 우선권 제어에 의해, 조작자들 또는 사용자들 중의 어떤 사람이 다른 조작자(들) 또는 사용자(들)에 대해 우선권을 갖고 있는지 또는 조작자들 중의 한 명이 다른 조작자(들)를 대신할 수 있는지를 사전에 알 수 있다. 사전에 선택된 이미지 상세의 동적 적응이 가능하다. 이미지 상세 데이타, 다시 말해 이미지 상세의 높이 및/또는 폭 및/또는 깊이(면적 또는 체적 요소일 수 있음)가 이미지 평가 모듈의 데이타 메모리에 저장될 수 있다. 이미지 상세의 폭에 할당되는 수평 방향은 제어 대상 기구의 위치에 의해 또는 카메라 모듈의 위치에 의해, 특히 적어도 2개이 카메라들의 서로에 대한 위치에 의해 사전에 선택될 수 있다. 중단(time-out) 하위 모듈(사전에 선택된 이미지 상세가 소정의 비작용 기간 후에, 예컨대 수 초가 지난 후에 상기 중단 하위 모듈에 의해 다시 삭제됨)이 상세 사전 선택 하위 모듈과 협력할 수 있으며, 그래서 이어서, 검출가능한 전체 이미지에 대해 검출이 다시 일어나거나 또는 새로운 이미지 상세가 사전에 선택될 수 있다. 상세 사전 선택 하위 모듈은 비활성화 하위 모듈과 협력할 수 있는데, 사전에 선택된 이미지 상세는 비활성화 사인의 확인 후에 상기 비활성화 하위 모듈에 의해 다시 삭제된다. 물체 공간내의 볼륨(카메라 모듈로 검출가능함)은 다양한 영역으로 분할될 수 있으며, 이들 영역에서 물체 운동들은 이미지 평가 모듈에 의해 다르게 평가된다.
청구항 5 에 따른 이미지 에러 평가 하위 모듈은, 카메라 모듈의 내부적인 이미지 에러를 검출할 수 있고 또는 원격 제어 장치의 작동 중에 생긴 또는 생기는 내부적인 에러를 검출할 수 있다. 이는 이미지 평가 모듈에서 이미지 평가를 보정하는데 사용될 수 있다.
청구항 6 에 따른 텍스처 평가 하위 모듈은 원격 제어 장치의 가능성을 확장시켜 준다. 텍스처는 다른 상세한 물체 데이타인데, 이는 운동 및 거리, 예컨대 더 작은 물체 격자점의 도움으로 추상적인 물체 특성화 이상의 기능을 한다. 격자점 특성화는 다각형으로 일어날 수 있다. 격자점 데이타와 텍스처 데이타, 다시 말해 이미지 평가 모듈에 의해 평가될 수 있는 모든 신호 데이타는 하나의 동일한 카메라 모듈 및 특히 하나의 동일한 카메라에 의해 발생될 수 있다.
청구항 7 에 따른 활성화 평가 하위 모듈은 제어 대상 기구 또는 카메라 모듈에 대한 활성화 사인, 예컨대 사용자의 포인팅 제스처를 평가할 수 있다. 대안적으로, 제어 대상 기구의 활성화는 운동 센서, 예컨대 적외선 운동 센서에 의해 시작될 수 있으며, 그리고 그 센서 또한 원격 제어 장치의 일 구성 요소이다. 움직이는 물체의 검출 및 확인 사인의 평가는 제어 대상 기구의 활성화의 전체 조건이 될 수 있다. 상기 활성화 평가 하위 모듈은, 이미지 평가 모듈에 의한 확인 사인의 평가와 확증 후에만 제어 대상 기구에 대한 활성화 신호가 보내지도록 설계될 수 있다.
청구항 8 에 따른 피드백 모듈은 디스플레이, 하나 이상의 광원(예컨대, 하나 이상의 LED), 오디오 피드백, 스크린 상의 커서(cursor)나 다른 표시물, 예컨대 줌(zoom) 기능이나 가상 만곡으로 스크린 상세를 강조하는 것으로 설계될 수 있다. 제어 대상 기구의 피드백 신호는, 그 기구가 어느 정도로 원하는 대로 작동하고 있는지, 예컨대 앞의 제어 신호가 정확하게 해석되었는지를 사용자에게 알려준다. 움직이는 물체의 피드백 신호의 디스플레이는 사용자의 제스처가 원격 제어 장치에 의해 원하는 대로 어느 정도로 검출되고 있는지를 그 사용자에게 보여준다.
청구항 9 에 따른 카메라 활성화 모듈은 추가적으로 이미지 평가 모듈에 신호 연결될 수 있다. 카메라 활성화 모듈은 카메라 모듈의 민감도 제어 및 촛점 제어를 일으킬 수 있으며, 그래서 예컨대 움직이는 물체는 또한 촛점이 맞춰지고 그 물체는 적절한 민감도로 검출된다.
청구항 10 에 따른 입력 모듈은 디스플레이에 있는 마우스, 공간적 포인터 또는 디스플레이에 있는 키보드로 설계될 수 있다. 입력 모듈에서의 입력은 특히 손가락 제스처로 일어날 수 있다. 결과적으로, 게임 제어기가 디스플레이에서 실현될 수 있다. 입력 모듈은 "가상적으로" 설치되는 모듈로 설계될 수 있다. 이러한 종류의 모듈을 실현하기 위한 장치가 "AirscouterTM" 이라는 상품명으로 알려져 있다. 카메라 모듈은 또한 이러한 종류의 입력 모듈을 갖는 사용자측 요소에 통합될 수 있다. 입력 모듈은 자동차 앞유리에서 알려져 있는 바와 같이 사용자의 안경에도 설치될 수 있다. 입력 모듈은 가상 면에 나타날 수 있다. 사용자는 입력면이 공간에서 그의 앞에 떠 있다는 인상을 받을 수 있다. 이러한 종류의 다양한 입력면이 입력 모듈로서 제공될 수 있고 선택될 수 있으며, 이들 입력면은 예컨대 오르간 건반 방식으로 적층되어 있는 키보드로 구성될 수 있다.
청구항 11 에 따른 조명 모듈은 예컨대 LED 형태의 광원을 가질 수 있다. 밝기 조절은 센서 제어식 피드백으로 일어날 수 있다. 상기 조명 모듈은 밝기 센서를 가질 수 있다. 밝기 센서는 포토다이오드로 설계될 수 있다. 콘트라스트 변화 및/또는 콘트라스트 변이가 조명 모듈의 조명으로 일어날 수 있다.
청구항 12 에 따른 다색 광원은 2개, 3개, 4개 또는 그 이상의 색을 갖는 RGB 광원 또는 VIS/NIR/MIR 광원으로 구성될 수 있다. 조명 모듈의 광원은 일광원(daylight source)으로 설계될 수 있다.
청구항 13 에 따른 원격 제어 장치에서 원 사인(raw signature) 메모리 모듈에 저장되는 원 사인은 사전에 선택된 개별적인 조작자 제스처에 대응할 수 있다. 원 사인은 회전 및 병진 운동의 모든 자유도로 그리고 다양한 스케일링으로 원 사인 메모리 모듈에 저장될 수 있다.
본 발명의 다른 목적은, 물체의 운동이 신뢰적으로 제어 신호로 변환될 수 있도록 서두에서 언급한 종류의 인터페이스 모듈을 발전시키는 것이다.
이 목적은 본 발명에 따라 청구항 14 에 개시되어 있는 특징을 갖는 인터페이스 모듈로 달성된다.
이러한 종류의 인터페이스 모듈은 범용적으로 물체 운동을 제어 신호로 변환시킬 수 있다. 이 인터페이스 모듈은 브라우저의 컴퓨터 구현의 일 부분일 수 있다. 인터페이스 모듈의 비교기 하위 모듈이, 원격 제어 장치의 이미지 평가 모듈에 대해 전술한 바와 유사하게 통계적 평가를 행할 수 있다.
이하, 본 발명의 실시 형태들을 도면의 도움으로 더 자세히 설명하도록 한다.
도 1 은 적어도 하나의 움직이는 물체의 운동 패턴 및/또는 거리 패턴의 도움으로 제어 대상 기구를 제어하기 위한 원격 제어 장치의 개략적인 블럭도를 나타낸다.
도 2 는 도 1 에 따른 원격 제어 장치의 모듈들 간의 통신 또는 도 1 에 따른 원격 제어 장치의 모듈들 중의 적어도 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈을 나타낸다.
원격 제어 장치(1)는 적어도 하나의 물체(3)의 운동 패턴 및/또는 거리 패턴의 도움으로 제어 대상 기구(2)를 제어하는데 사용된다. 그 제어 대상 기구는 엔터테인먼트 전자 장비, 예컨대 텔레비젼 세트 또는 스테레오 시스템의 기구일 수 있다. 제어 대상 기구(2)는 컴퓨터 또는 다른 데이타 처리 기구일 수도 있다. 원격 제어 장치(1)는 제어 대상 기구(2)에 통합될 수 있다.
움직이는 물체(3)는 원격 제어 장치(1)의 사용자이다. 움직이는 물체는 사용자의 손가락(들), 손, 주먹, 한 팔 또는 양 팔, 머리, 몸통 또는 다른 팔다리이다. 움직이는 물체(3)는 또한 사용자에 의해 안내되는 물체, 예컨대 포인터 또는 다른 포인팅 기구 형태의 포인팅 장치일 수 있다.
원격 제어 장치(1)는 스테레오 이미지를 받고 움직이는 물체(3)를 검출하기 위해 2개의 카메라(5, 6)를 갖는 카메라 모듈(4)을 갖고 있다. 이 신호 검출은 도 1 에서 신호 경로(SW)로 나타나 있다. 대안적인 구성에서, 상기 카메라 모듈(4)은 또한 3개의 카메라를 가질 수 있다. 카메라 모듈(4)의 제 3 카메라(7)는 도 1 에서 점선으로 나타나 있다. 카메라(5 ∼ 7)는 웹캠(webcam)으로 구성될 수 있다. 카메라 모듈(4)의 카메라(5, 6 또는 5 ∼ 7)는 다양한 색을 검출하고 구별할 수 있다. 다른 경우에, 카메라 모듈(4)은 단일의 카메라 유닛을 가질 수 있는데, 이 카메라 유닛은 2개 이상의 이미지를 발생시킨다. 이러한 종류의 카메라 유닛은 공간적 이미지 크기를 측정하기 위해, 다시 말해 공간적 깊이를 검출하기 위해, 복수의 광학계 또는 거울 광학계를 가질 수 있다. 이러한 종류의 카메라 유닛의 일 예가 CapTM 의 LoreoTM3D 라는 제품인데, 이는 인터넷 홈페이지 www.loreo.com 에 설명되어 있다. 상기 카메라 모듈은 사용자가 위치하는 공간에서 정적으로 배치될 수 있지만, 대안적으로는 또한 사용자 자신에 의해 휴대될 수 있다.
상기 원격 제어 장치(1)는 또한 이미지 평가 모듈(8)을 갖고 있는데, 이 모듈은 신호 연결부(9)에 의해 카메라 활성화 모듈(10)에 신호 연결되어 있고 또한 신호 라인(11, 12)을 갖는 다른 신호 연결부에 의해 카메라 모듈(4)의 카메라(5, 6)에도 신호 연결되어 있다. 대응하는 신호 라인(13)이 선택적인 상기 제 3 카메라(7)를 카메라 활성화 모듈(10)에 연결하며, 그래서 상기 이미지 평가 모듈(8)과 선택적인 제 3 카메라(7) 사이에 신호 연결이 제공된다.
상기 이미지 평가 모듈(8)은 운동 평가 하위 모듈(14)을 갖고 있는데, 이 하위 모듈은 피검출 물체(3)에 대한 운동 값을 검출된 카메라 신호 데이타로부터 결정하게 된다. 상기 운동 값은 물체(3)의 속도와 가속도이다.
이미지 평가 모듈(8)은 또한 거리 평가 하위 모듈(15)을 갖고 있는데, 이 하위 모듈은 피검출 물체(3)에 대한 거리 값을 검출된 카메라 신호 데이타로부터 결정하게 된다. 그 거리 값은, 예컨대 피검출 물체 구조의 길이와 피검출 물체 필드내에 있는 알려져 있는 크기의 정적 물체의 길이의 비교에 의해 또는 다양한 카메라(5, 6 또는 5 ∼ 7)의 카메라 신호 데이타를 이용한 비교 평가로 결정될 수 있다. 3개의 카메라(5 ∼ 7)가 사용되는 경우, 추가적인 카메라 정보에 기초하여 물체 구조의 위치의 더 정확한 결정이 가능하다. 그래서, 예컨대 제 3 카메라(7) 및 두 카메라(5, 6) 중의 하나로 보이지만 다른 카메라(6, 5)로는 보이지 않는 물체 구조의 측정이 가능하게 된다.
피검출 물체(3)에 대한 운동 값과 거리 값은 확인된 물체 구조의 위치의 비교로 카메라 모듈(4)의 연속되는 이미지들을 평가하여 결정된다.
상기 이미지 평가 모듈(8)은 검출된 운동 값 및 거리 값으로부터 운동 패턴과 및 거리 패턴을 생성하게 되는데, 이들 패턴은 통계적 평가 전략의 도움으로 특성화된다. 이는 카메라 모듈(4)로 검출되는 포인트 클라우드(point cloud)의 운동 값의 시간 누적으로 일어날 수 있다. 운동 패턴은 물체의 시간 추적으로 운동 값으로부터 얻어질 수 있다. 이는 거리 패턴에도 해당된다. 물체(3) 또는 그의 관련된 부분은 소위 사인이라고 하는 운동 파라미터의 일치의 적절한 측정으로 확인되며, 상기 사인은 카메라 모듈로 검출되는 개별 이미지를 이미지 평가 모듈(8)로 평가하여 발생된다. 거리 값은 삼각 측량으로 결정될 수 있다.
디지털 필터, 예컨대 칼만(Kalman) 필터가 카메라 신호 데이타의 평가 중에 사용될 수 있다.
상기 이미지 평가 모듈(8)은 또한 밝기 평가 하위 모듈(16)을 포함한다. 검출된 카메라 신호 데이타로부터, 상기 밝기 평가 하위 모듈은 움직이는 피검출 물체(3)에 대한 콘트라스트 값 및/또는 색 값을 결정한다. 이미지 평가 모듈(8)은 밝기 평가 하위 모듈(16)로 결정되는 콘트라스트 또는 색 값의 변화가 계산될 수 있도록 구성되어 있다. 밝기 평가 하위 모듈(16)에 의해, 이미지 평가 모듈(8)로 콘트라스트 또는 색 값의 공간적 또는 시간적 변화를 검출할 수 있다. 결정된 콘트라스트 또는 색 값은 또한 운동 값 및 거리 값을 결정하는데 사용될 수 있다.
상기 이미지 평가 모듈(8)은 또한 상세(detail) 사전 선택 하위 모듈(17)을 갖는다. 이 하위 모듈은 카메라 모듈(4)에 의해 전체적으로 검출될 수 있는 이미지 또는 검출 영역의 상세를 검출된 원(raw) 카메라 신호 데이타로부터 선택하고 이 선택된 상세를 이미지 상세로서 사전에 선택하게 되며, 이 이미지 상세로부터의 카메라 신호 데이타는 다음에 추가 평가를 받게 된다. 상세 사전 선택 하위 모듈(17)에 의해, 복수의 이미지 상세의 선택 및 사전 선택이 또한 가능하고, 상기 이미지 상세는 검출가능한 전체 상세에서 서로 따로 따로 배치될 수 있으며 또는 카메라 모듈(4)의 검출가능한 전체 상세에서 서로 겹칠 수 있다. 복수의 이미지 상세가 사전에 선택되는 경우, 이미지 평가 모듈(8)은 우선권 할당을 사전에 선택하는데, 다시 말해 사전에 선택된 다양한 이미지 상세에서 서로 상충되는 물체 운동으로 인해 제어 대상 기구(2)가 바람직하지 않게 기능하는 일이 없도록 해준다. 카메라 모듈(4)에 의해 전체적으로 검출될 수 있는 체적이 또한 상세 사전 선택 하위 모듈(17)에 의해 다양한 체적 영역으로 분할될 수 있다.
상기 이미지 평가 모듈(8)은 또한 데이타 메모리(18)를 갖고 있는데, 상세 사전 선택 하위 모듈(17)에 의해 선택되는 면적 및 체적에 있어서 이미지 상세의 예컨대 높이, 폭 및 깊이에 관한 이미지 상세 데이타가 상기 데이타 메모리에 저장된다. 상기 높이, 폭 및 깊이 치수의 규정을 위한 수평 방향이, 제어 대상 기구(2)의 위치 또는 카메라 모듈(4)의 적어도 2개의 카메라(5, 6 또는 5 ∼ 7)의 서로에 대한 위치로 사전에 선택될 수 있다.
이미지 평가 모듈(8)은 또한 비활성화 하위 모듈 또는 중단(time-out) 하위 모듈(19)을 갖고 있다. 이 하위 모듈은 계수기 또는 시계를 포함하며, 그래서 상세 사전 선택 하위 모듈(17)에 의해 사전에 선택된 이미지 상세가 소정의 비작용 기간 후에 다시 삭제되는데, 그 비작용 기간에서는 물체(3)의 운동이 검출되지 않는다.
상기 상세 사전 선택 하위 모듈(17)에 의해 사전에 선택되는 이미지 상세는, 비활성화 사인, 다시 말해 물체(3)의 대응하는 운동 순서 또는 제스처의 확인 후에 비활성화 하위 모듈(19)에 의해 다시 삭제될 수 있다.
이미지 평가 모듈(8)은 또한 이미지 에러 평가 하위 모듈(20)을 갖는다. 검출된 카메라 신호 데이타로부터, 상기 이미지 에러 평가 하위 모듈은 이미징 에러, 예컨대, 내부적인 이미징 에러 또는 작동 중에 카메라들의 서로에 대한 변위 또는 회전으로 발생되거나 또는 전에 이미 발생되었던 종류의 이미징 에러, 다시 말해 외부적인 이미징 에러를 결정한다. 그리고, 카메라 신호 데이타의 평가시, 결정된 이미징 에러는 데이타 보정에 사용될 수 있다.
상기 이미지 평가 모듈(8)은 또한 텍스처 평가 하위 모듈(21)을 갖고 있다. 이 하위 모듈은 검출된 카메라 신호 데이타로부터 텍스처를 결정한다. 이러한 목적으로, 다른 물체 데이타, 텍스처가 먼저, 운동 값 및 거리 값, 예컨대 더 작은 격자점에 의해 추상적으로 특성화되는 물체에 예컨대 다각형으로 할당된다. 이미지 평가 모듈(8)로 평가되는 모든 신호 데이타, 다시 말해 격자점 데이타 및 텍스처 데이타 둘다는 카메라 모듈(4)의 동일한 각각의 카메라(5, 6 또는 5 ∼ 7)에 의해 발생될 수 있다.
이미지 평가 모듈(8)은 또한 데이타 메모리(23)를 갖는 활성화 평가 하위 모듈(22)을 갖는다. 제어 대상 기구(2)가 여전히 대기 작동에 있으면, 상기 활성화 평가 하위 모듈(22)은 검출된 카메라 신호 데이타로부터 물체 사인을 결정하고 이를 상기 데이타 메모리(23)에 저장되어 있는 활성화 사인과 비교하게 된다. 결정된 물체 사인과 저장되어 있는 활성화 사인이 적절히 일치하면, 상기 활성화 평가 하위 모듈(22)은 활성화 신호를 보내어 제어 대상 기구(2)를 활성화시키게 된다. 활성화 사인은 제어 대상 기구(2)에 대한 포인팅 제스처 또는 카메라 모듈(4)에 대한 포인팅 제스처일 수 있다.
대안적으로, 제어 대상 기구(2)의 활성화는 운동 센서에 의해서도 시작될 수 있는데, 이 운동 센서는 적외선 운동 센서로 구성될 수 있다. 이러한 종류의 운동 센서는 또한 이 대안적인 구성에서는 원격 제어 장치(1)의 일 구성 요소이다. 활성화 사인을 확인하는데 사용될 수 있는 확인 사인이 또한 활성화 평가 하위 모듈의 데이타 메모리(23)에 저장될 수 있다. 이 경우, 인정된 활성화 사인이 유효한 확인 사인에 할당될 수 있을 때, 다시 말해 사용자가 활성화 제스처 후에 확인 제스처를 할 때, 활성화 신호가 활성화 평가 하위 모듈(22)에서 보내질 수 있다.
상기 원격 제어 장치(1)는 또한 제어 및 통신 모듈(24)을 갖는다. 이 제어 및 통신 모듈은 신호 연결부(25)에 의해 이미지 평가 모듈(8)과 통신한다. 결정되어 평가된 운동 값 및/또는 결정되어 평가된 거리 값에 따라, 상기 제어 및 통신 모듈(24)은 기구 제어 신호를 발생시키게 된다. 제어 및 통신 모듈(24)은 제어 대상 기구(2)에 인터페이스(26)에 의해 데이타 연결되어 있다.
원격 제어 장치(1)는 또한 피드백 모듈(27)을 갖는다. 이 피드백 모듈은 신호 연결부(28)에 의해 제어 및 통신 모듈(24)과 통신한다. 피드백 모듈(27)은 제어 대상 기구(2)의 피드백 신호를 원격 제어 장치(1)에 나타내는데 사용된다. 피드백 모듈(27)은 컴퓨터 하위 모듈(29)을 갖고 있는데, 이 컴퓨터 하위 모듈은 제어 대상 기구(2)로부터 얻어진 응답 데이타로부터 시스템 피드백을 계산한다. 또한, 피드백 모듈(27)은 피드백 장치(30)를 갖고 있는데, 이 피드백 장치는 디스플레이, 예컨대 LED 형태로 된 하나 이상의 광원 또는 청각적 피드백을 위한 확성기 장치일 수 있다. 디스플레이 상에서, 표시물(커서 또는 다른 표시물로 구성될 수 있음)이 예컨대 렌즈 기능 또는 가상 만곡으로 디스플레이 상세를 강조하여 피드백을 추가적으로 특정할 수 있다.
물체(3)와 피드백 모듈(27) 간의 신호 교환이 도 1 에서 다른 신호 경로(SW2)로 나타나 있다.
원격 제어 장치(1)는 또한 입력 모듈(31)을 갖고 있다. 이 입력 모듈은 상기 피드백 모듈(27)에 의해 제어 및 통신 모듈(24)에 신호 연결되어 있다. 입력 모듈(31)은 신호 연결부(32)에 의해 피드백 모듈(27) 또는 피드백 장치(30)와 통신하게 된다. 입력 모듈(31)은 사용자가 기구 제어 신호를 입력하는데 사용된다. 입력 모듈(31)은 공간 포인터, 마우스 또는 키보드를 갖는 상호작용 디스플레이 일 수 있다. 입력 모듈(31)은 또한 사용자의 시야(visual field)에 가상적으로 설치될 수 있다. 비지니스 브라더®의 대응하는 제품이 "AirscouterTM" 이라는 이름으로 알려져 있다. 입력 모듈(31)에 적합할 수 있는 실시 형태가 US 2009/0002791 A1에 기재되어 있다.
상기 입력 모듈(31)은 다양한 입력면을 제공할 수 있는데, 이 입력면은 사용자에 의해 대응하는 활성화 사인으로 선택함으로써 활성화될 수 있다. 대응하는 입력 보조물(예컨대, 키보드의 형태로 된)을 갖는 이들 다양한 입력 레벨은 오르간 건반 방식으로 공간적으로 엇갈리게 배치될 수 있다.
상기 원격 제어 장치(1)는 또한 검출 영역을 조명하기 위해 조명 모듈(33)을 갖고 있으며, 상기 검출 영역에서 물체(3)가 카메라 모듈(4)에 의해 검출될 수 있다. 상기 조명 모듈(33)은 신호 연결부(33a)에 의해 카메라 활성화 모듈(10)과 통신하게 된다. 조명 모듈(33)은 예컨대 LED 형태로 된 광원(34)을 포함한다. 조명 모듈(33)은 또한 밝기 센서(35)를 포함한다. 조명 모듈(33)은 검출가능한 물체 필드의 밝기를 조절하며 또는 상세 사전 선택 하위 모듈(17)과의 통신이 이루어지면, 사전에 선택된 이미지 상세의 밝기를 조절한다. 밝기 조절은 밝기 센서(35)에 의해 제어되는 광원(34)의 피드백 활성화로 일어난다. 밝기 센서(35)는 포토다이오드로 구성될 수 있다. 조명 모듈(33)은 이미지 평가 모듈(8)과의 대응하는 통신으로 광원(34)의 대응하는 활성화에 의해 원하는 콘트라스트 변화 또는 그 밖의 콘트라스트 변이를 일으킬 수 있다. 상기 광원(34)은 복수의 색으로 조명할 수 있다. 본 명세서에서는 파장 포커스를 갖는 빛의 일 부분을 색이라고 한다. 이들 포커스의 파장은 상이한 색에서 상당히 다르다. 광원(34)은 RGB 광원일 수 있지만, 가시광 스펙트럼 범위(VIS) 및/또는 근적외선 스펙트럼 범위(NIR) 및/또는 중 적외선 범위(MIR)의 색을 발하는 광원일 수도 있다. 광원은 2개, 3개, 4개 또는 그 이상의 색을 낼 수 있다. 광원(34)은 일광원(daylight source)일 수도 있다.
상기 원격 제어 장치(1)는 또한 원 사인 메모리 모듈(36)을 갖고 있다. 할당된 운동 값 및/또는 거리 값의 운동 파라미터 세트 또는 사인 세트 및 이들 세트에 할당되는 제어 신호가 상기 메모리 모듈에서 테이블에 저장된다. 상기 원 사인 메모리 모듈(36)은 신호 연결부(37)에 의해 이미지 평가 모듈(8)과 통신하고 또한 신호 연결부(38)에 의해 제어 및 통신 모듈(24)과 통신하게 된다.
상기 원격 제어 장치(1)는 또한 비교기 모듈(39)을 갖고 있는데, 이 비교기 모듈은 신호 연결부(40)에 의해 상기 원 사인 메모리 모듈(36)과 통신한다. 비교기 모듈(39)에서, 카메라 모듈(4)로 검출되어 이미지 평가 모듈(8)로 평가되는 실제 운동 파라미터가 원 사인 메모리 모듈(36)에서 오는 원하는 파라미터와 비교된다. 실제 운동 파라미터 또는 실제 사인과 원하는 운동 파라미터들 중의 하나 또는 원하는 사인이 서로 적절히 일치하면, 제어 및 통신 모듈(24)은 할당된 제어 신호를 상기 인터페이스(26)에 의해 제어 대상 기구(2)에 보내게 된다. 원 사인은, 다시 말해 원하는 운동 파라미터 또는 원하는 사인은 개별적인 조작자 제스처에 대응할 수 있다. 이들 원 사인은 회전 및 병진 운동의 모든 자유도로 그리고 다양한 크기 스케일링으로 원 사인 메모리 모듈(36)에 저장된다.
원격 제어 장치(1)를 사용하는 제스처 제어가 다음과 같이 일어난다: 사용자, 다시 말해 움직이는 물체(3)는 카메라 모듈(4)의 검출 범위 내에 위치하고 먼저 운동 또는 활성화 제스처(이는 활성화 하위 모듈(22)로 확인됨)로 제어 대상 기구(2)를 활성화시킨다. 그런 다음에 사용자는 기구(2)를 제어하기 위해, 이전부터 행해져 오고 있거나 직관적인 제스처를 사용한다. 이들 제스처의 운동 값 및 거리 값은 위에서 이미 설명한 바와 같이 카메라 모듈(4)에 의해 검출되고 이미지 평가 모듈(8)로 평가된다. 카메라 활성화 모듈(10)은 개별 카메라(5, 6 또는 5 ∼ 7)의 제어와는 별도로 밝기 보상을 또한 보장하며 그리고 상세 사전 선택 하위 모듈(17)과의 통신으로 카메라(5, 6 또는 5 ∼ 7)를 적어도 하나의 미리 선택된 이미지 상세에 맞추거나 그의 조명을 최적화한다.
직접적인 제스처 제어, 예컨대 텔레비젼 세트에서의 프로그램 전환 또는 음량 또는 이미지 밝기의 조절과는 별도로, 피드백 모듈(27)에 의한 상호작용 제어도 가능하다. 이러한 목적으로, 사용자는 그의 제스처로 입력 보조물(피드백 모듈(27) 또는 입력 모듈(31)에 의해 제공됨)을 제어할 수 있고, 또한 그의 제스처로, 예컨대 대응하는 손가락 가리킴으로 글자를 선택할 수 있으며, 그 글자는 공간내에서 그 사용자 앞에 설치되어 있는 키보드나 원격 제어 장치(1)나 기구(2)에 있는 스크린 상에서 주어진다.
원격 제어 장치(1)는 예컨대 인터넷 내비게이션을 위해 컴퓨터를 제어하거나 브라우저 게임을 하는데 사용될 수 있다. 원격 제어 장치(1)는 확장된 현실을 사용하기 위한 시스템 환경의 일 구성 요소일 수 있다. 이러한 목적으로, 원격 제어 장치(1)는 대응하는 인터페이스로 시스템 제어 환경에 연결된다. 인터넷 페이지는 HTML/JavaScript 또는 브라우저 플러그인, 예컨대 Java로 위치, 평균 회전 속도 및 가속도와 같은 3D 입력 사항 및 확고하게 규정된 제스처에 반응할 수 있다. 이러한 목적으로, HTML, JavaScript 또는 브라우저 플러그인은, 마우스 또는 키보드에 의한 입력을 위해 기존의 말(speech) 요소에 추가하여 제스처 요소에 의해 확장된다.
상기 카메라 모듈(4)로 검출될 수 있는 이미지 체적은 피드백 모듈(27) 및/또는 입력 모듈(31)에 의해 다양한 체적 영역, 예컨대, 오프 영역(off-zone), 프리영역(pre-zone), 운동 영역, 클릭 영역(click-zone) 또는 포스트 영역(post-zone)으로 분할될 수 있다.
상기 오프 영역은 예컨대 입력 모듈(31)에 의해 키보드의 형태로 설치되어 있는 입력 보조물의 입력면 앞에 있는 영역을 나타낸다. 오프 영역에서 검출된 모든 운동 값 또는 거리 값은 원격 제어 장치(1)에 의해 자동적으로 무시된다. 오프영역은 상기 입력면에서 가장 멀리 떨어져 있는 영역일 수 있으며, 이는 입력 모듈(31)에 의해 정해질 수 있다.
상기 프리 영역은 오프 영역에 접해 있다. 검출된 운동 값 및/또는 거리 값은 프리 영역에서 체적 섹션들에 모일 수 있으며, 이들 체적 섹션은 깊이가 엇갈린 체스판 처럼 정육면체로서 서로 인접해 있다. 물체(3)의 일 부분, 다시 말해 예컨대 신체의 일 부분의 위치를 확인하기 위해 운동 값 또는 거리 값의 축적의 분산으로부터 패턴들이 이미지 평가 모듈(8)로 계산될 수 있으며, 이들 패턴은 설치된 모니터 이미지 위에 더 어두워지는 "그림자"로서 겹쳐지게 된다.
상기 운동 영역은 프리 영역에 접해 있다. 국부적으로 입력면에 가장 가까이 가는 움직이는 물체, 예컨대 사용자의 뻗은 손가락은, 입력면에서 특성이 변하는 포인터, 예컨대 입력면으로부터의 거리가 감소함에 따라 더 작아지는 원(화살표가 중심점에 위치됨)으로서 특성화된다. 상기 포인터는 이 운동 영역에서 기능을 촉발시킴이 없이 움직인다. 상기 원의 크기는 피드백 및 제스처를 행하는 신체의 일 부분을 모니터링하는데 사용자에 의해 사용된다.
상기 클릭 영역은 운동 영역에 접해 있다. 클릭 영역은 가상 입력면의 영역에 위치된다. 클릭 영역에 들어갈 때, 더 작아진 원은 제어 지령의 촉발을 나타내기 위해 클릭음이 동반되는 별 모양으로 될 수 있다.
운동 파라미터를 변화시켜 상이한 제어 지령들이 촉발될 수 있는데, 이는 예컨대 프로그램 메뉴의 다양한 메뉴 지령과 비교될 수 있다. 클릭 영역에 도달하고 소정의 짧은 시간 후에 다시 떠나면(추가로 물체(3)의 움직이는 부분이 입력면에서 소정의 짧은 경로만 지나게 됨), 대응하는 제어 지령이 촉발되고 클릭음으로 확인된다. 입력면이 비교적 긴 시간 동안 남아 있으면, 다른 제어 지령이 촉발될 수 있는데, 이는 또한 운동 영역의 모니터링과 결합될 수 있다.
제스처를 행하는 신체의 복수의 부분들이 입력면에서 검출되면, 신체의 이들 부분의 운동의 검출된 조합에 의해, 추가 제어 지령, 예컨대 줌밍(zooming), 나타난 물체의 회전 또는 수직 또는 수평 방향 스크롤링(scrolling)이 촉발될 수 있다.
상기 포스트 영역은 클릭 영역 뒤에 위치되는데, 다시 말해 운동 영역에서 떨어져 있다. 이 포스트 영역을 검출하여, 이미지 평가 모듈(8)에 의한 대응하는 평가로 추가 제어 지령을 촉발시킬 수 있다. 예컨대, 수평 방향 스크롤링과 수직 방향 스크롤을 서로 구분할 수 있다.
전술한 영역 엇갈림은 카메라 모듈(4)에서부터 시작하여 규정된다. 카메라 모듈(4)이 사용자와 마주하여 배치되어 있지 않고 사용자 측에 배치되어 있으며 그 사용자가 카메라 모듈을 지니고 있으면, 대응하는 영역 엇갈림이 생기게 된다.
도 2 는 원격 제어 장치(1)의 다양한 모듈들 간의 통신, 예컨대 이미지 평가 모듈(8)과 제어 및 통신 모듈(24) 간의 통신 또는 제어 및 통신 모듈(24)과 피드백 모듈(27) 간의 통신 또는 적어도 원격 제어 장치(1)의 모듈들 중의 하나와 외부 장치(예컨대, 상기 기구(2)) 간의 통신을 위한 인터페이스 모듈(41)을 나타낸다. 도 1 을 참조하여 이미 전술한 것들에 대응하는 구성 요소들은 동일한 참조 번호를 가지며, 그에 대한 상세한 설명은 반복하기 않을 것이다. 이미지 평가 모듈(8)과 제어 및 통신 모듈(24) 간의 통신을 위한 인터페이스 모듈이 도 2 에 나타나 있다. 제어 대상 기구(2)가 또한 이미지 평가 모듈(8)을 대신할 수도 있다. 상기 인터페이스 모듈(41)은 예컨대 원격 제어 장치(1)의 인터페이스(26) 대신에 사용될 수 있다.
인터페이스 모듈(41)은 신호 연결부(42)에 의해 이미지 평가 모듈(8)과 통신하고 또한 신호 연결부(43)에 의해 제어 및 통신 모듈(24)과 통신하게 된다.
인터페이스 모듈(41)은 데이타 메모리(44)를 갖고 있다. 할당된 운동 값 및/또는 거리 값의 운동 파라미터 세트가 그 데이타 메모리에 저장된다. 이들 세트에 할당되는 제어 신호가 또한 상기 데이타 메모리(44)에 저장된다. 상기 세트와 제어 신호의 할당은 이들을 테이블에 저장하여 일어난다.
상기 인터페이스 모듈(41)은 또한 비교기 하위 모듈(45)을 갖고 있다. 이 비교기 하위 모듈은 신호 연결부(46)에 의해 데이타 메모리(44)와 통신한다. 신호 연결부(42)에 의해 인터페이스 모듈(41)에 공급되는 실제 운동 파라미터는, 비교기 하위 모듈(45)에서 데이타 메모리(44)에서 주어지는 원하는 운동 파라미터와 비교된다.
인터페이스 모듈(41)은 또한 통신 하위 모듈(47)을 갖고 있다. 이 통신 하위 모듈은 신호 연결부(48)에 의해 상기 비교기 하위 모듈(45)과 통신한다. 실제 운동 파라미터와 원하는 운동 파라미터들 중의 하나가 서로 적절히 일치하면, 상기 통신 하위 모듈(47)은, 신호 연결부(43)에 의해 데이타 메모리(44)에서 할당되어 있는 제어 신호를 원격 제어 장치(1)의 제어 및 통신 모듈(24) 또는 제어 대상 기구(2)에 보내게 된다.
인터페이스 모듈(41)은 브라우저의 소프트웨어 환경에 통합될 수 있다. 비교기 하위 모듈(45)은 도 1 에 따른 원격 제어 장치(1)와 관련하여 이미 전술한 바와 같이 통계적 평가를 행할 수도 있다.
인터페이스 모듈(41)은 표준화된 운동 파라미터 세트로 범용적으로 사용될 수 있으며 다양한 단말기와의 제스처 통신을 가능하게 해준다.

Claims (14)

  1. 적어도 하나의 움직이는 물체(3)의 운동 패턴 및/또는 거리 패턴의 도움으로 제어 대상 기구(2)를 제어하기 위한 원격 제어 장치(1)로서,
    상기 원격 제어 장치는,
    스테레오 이미지를 받고 상기 움직이는 물체를 검출하는 카메라 모듈(4);
    상기 카메라 모듈(4)에 신호 연결되어 있는 이미지 평가 모듈(8); 및
    상기 이미지 평가 모듈(8)에 신호 연결되어 있는 제어 및 통신 모듈(24)을 포함하며,
    상기 이미지 평가 모듈은,
    피검출 물체(3)에 대한 운동 값을 검출된 카메라 신호 데이타로부터 결정하는 운동 평가 하위 모듈(14); 및
    피검출 물체(3)에 대한 거리 값을 검출된 카메라 신호 데이타로부터 결정하는 거리 평가 하위 모듈(15)을 포함하며,
    상기 제어 및 통신 모듈은, 결정된 운동 값 및/또는 결정된 거리 값에 따라, 적어도 하나의 기구 제어 신호를 발생시키고 이 제어 신호를 제어 대상 기구(2)에 보내게 되는 원격 제어 장치.
  2. 제 1 항에 있어서, 상기 카메라 모듈(4)은 적어도 3개의 카메라(5, 6, 7)을 갖는 원격 제어 장치.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 이미지 평가 모듈(8)은 밝기 평가 하위 모듈(16)을 갖고 있으며, 이 밝기 평가 하위 모듈은, 검출된 카메라 신호 데이타로부터 피검출 물체(3)에 대한 콘트라스트 값 및/또는 색 값을 결정하는 원격 제어 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 이미지 평가 모듈(8)은 상세 사전 선택 하위 모듈(17)을 가지며, 이 하위 모듈은 상기 카메라 모듈(4)에 의해 전체적으로 검출될 수 있는 이미지 영역의 이미지 상세를 검출된 원(raw) 카메라 신호 데이타로부터 선택 및 사전에 선택하고, 상기 이미지 상세의 카메라 신호 데이타는 추가 평가를 받게 되는 원격 제어 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 이미지 평가 모듈(8)은 이미지 에러 평가 하위 모듈(20)을 가지며, 이 하위 모듈은 검출된 카메라 신호 데이타로부터 이미징 에러를 결정하게 되는 원격 제어 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 이미지 평가 모듈(8)은 텍스처 평가 하위 모듈(21)을 가지며, 이 하위 모듈은 상기 검출된 카메라 신호 데이타로부터 텍스처를 결정하는 원격 제어 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 이미지 평가 모듈(8)은 데이타 메모리(23)를 갖는 활성화 평가 하위 모듈(22)을 가지며, 이 활성화 평가 하위 모듈은 검출된 카메라 신호 데이타로부터 물체 사인(signature)을 결정하고 이를 상기 데이타 메모리(23)에 저장되어 있는 활성화 사인과 비교하며, 결정된 물체 사인이 활성화 사인과 적절히 일치하면, 활성화 신호가 상기 제어 및 통신 모듈(24)에 보내져 제어 대상 기구(2)를 활성화시키게 되는 원격 제어 장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 원격 제어 장치는 피드백 모듈(27)을 더 포함하고, 이 피드백 모듈은 상기 제어 및 통신 모듈(24)에 신호 연결되어 제어 대상 기구(2) 및/또는 움직이는 물체(3)의 피드백 신호를 원격 제어 장치(1)에 나타내는 원격 제어 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서, 상기 원격 제어 장치는 카메라 활성화 모듈(10)을 더 포함하고, 이 모듈은 상기 카메라 모듈(4)과 제어 및 통신 모듈(24)에 신호 연결되어 있고, 결정된 운동 값 및/또는 결정된 거리 값에 따라 상기 제어 및 통신 모듈(24)은 적어도 하나의 카메라 제어 신호를 발생시키고 이 제어 신호를 카메라 모듈(4)에 보내게 되는 원격 제어 장치.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 원격 제어 장치는 입력 모듈(31)을 더 포함하며, 이 입력 모듈은 움직이는 물체(3)의 운동 패턴 및/또는 거리 패턴의 도움으로 작동될 수 있고 또한 상기 제어 및 통신 모듈(24)에 신호 연결되어 상기 물체(3)의 운동으로 기구 제어 신호를 입력하는 원격 제어 장치.
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 원격 제어 장치는 검출 영역을 조명하는 조명 모듈(33)을 더 포함하고, 움직이는 물체(3)는 상기 검출 영역에서 상기 카메라 모듈(4)로 검출될 수 있는 원격 제어 장치.
  12. 제 11 항에 있어서, 상기 조명 모듈(33)은 복수의 색을 내는 광원(34)을 갖는 원격 제어 장치.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 원격 제어 장치는 원 사인(raw signature) 메모리 모듈(36)을 더 포함하며, 할당된 운동 값 및/또는 거리 값의 운동 파라미터 세트 및 이들 세트에 할당되는 제어 신호가 상기 원 사인 메모리 모듈에서 테이블에 저장되며,
    상기 원격 제어 장치는 비교기 모듈(39)을 더 포함하고, 이 비교기 모듈에서, 카메라 모듈(4) 및 이미지 평가 모듈(8)로 검출되어 이미지 평가 모듈(8)로 평가되는 실제 운동 파라미터가 상기 저장된 원 사인 메모리 모듈(36)에서 오는 원하는 운동 파라미터와 비교되며,
    실제 운동 파라미터와 상기 원하는 운동 파라미터들 중의 하나가 서로 적절히 일치하면, 제어 및 통신 모듈(24)은 할당된 제어 신호를 제어 대상 기구(2)에 보내게 되는 원격 제어 장치.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 따른 원격 제어 장치(1)의 모듈들 간의 통신 또는 원격 제어 장치(1)의 모듈들 중의 적어도 하나와 외부 기구(2) 간의 통신을 위한 인터페이스 모듈(41)로서,
    상기 인터페이스 모듈은,
    데이타 메모리(44);
    비교기 하위 모듈(45); 및
    통신 하위 모듈(47)을 포함하고,
    할당된 운동 값 및/또는 거리 값의 운동 파라미터 세트 및 이들 세트에 할당되는 제어 신호가 상기 데이타 메모리에서 테이블에 저장되고,
    상기 비교 하위 모듈에서, 상기 인터페이스 모듈(41)에 공급되는 실제 운동 파라미터가 상기 데이타 메모리(44)에 저정되어 있는 운동 파라미터 세트 중의 원하는 운동 파라미터와 비교되며,
    각각의 실제 운동 파라미터와 원하는 운동 파라미터들 중의 하나가 서로 적절히 일치하면, 상기 통신 하위 모듈은 테이블에 할당되어 있는 제어 신호를 원격 제어 장치(1)의 모듈(8; 24) 또는 외부 기구(2)에 보내게 되는 인터페이스 모듈.


KR1020137021158A 2011-01-12 2011-12-23 움직일 수 있는 물체의 도움으로 기구를 제어하기 위한 원격 제어 장치 및 이러한 종류의 원격 제어 장치의 모듈들 간의 통신 또는 그 모듈들 중의 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈 KR20140027931A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011002577A DE102011002577A1 (de) 2011-01-12 2011-01-12 Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung
DE102011002577.4 2011-01-12
PCT/EP2011/073990 WO2012095258A1 (de) 2011-01-12 2011-12-23 Fernsteuerungseinrichtung und schnittstellen-modul zur steuerung einer vorrichtung anhand eines beweglichen objektes

Publications (1)

Publication Number Publication Date
KR20140027931A true KR20140027931A (ko) 2014-03-07

Family

ID=45509425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137021158A KR20140027931A (ko) 2011-01-12 2011-12-23 움직일 수 있는 물체의 도움으로 기구를 제어하기 위한 원격 제어 장치 및 이러한 종류의 원격 제어 장치의 모듈들 간의 통신 또는 그 모듈들 중의 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈

Country Status (6)

Country Link
US (1) US9451237B2 (ko)
EP (1) EP2663909A1 (ko)
JP (1) JP2014509103A (ko)
KR (1) KR20140027931A (ko)
DE (1) DE102011002577A1 (ko)
WO (1) WO2012095258A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013101825U1 (de) * 2013-04-26 2014-07-29 Zumtobel Lighting Gmbh Bediengerät zur Ansteuerung von Leuchten, Jalousien und/oder Klimageräten
JP5800249B2 (ja) * 2013-06-21 2015-10-28 カシオ計算機株式会社 撮像装置、撮影条件設定方法、及びプログラム
DE102014201313A1 (de) 2014-01-24 2015-07-30 Myestro Interactive Gmbh Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens
KR102404790B1 (ko) * 2015-06-11 2022-06-02 삼성전자주식회사 카메라의 초점을 변경하는 방법 및 장치
DE102018213976A1 (de) 2017-08-22 2019-02-28 Myestro Interactive Gmbh Vorrichtung zur Messung einer Entfernung eines Objektes zu einem Sensor

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3522317B2 (ja) 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
US6204852B1 (en) 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
JP2000331170A (ja) 1999-05-21 2000-11-30 Atr Media Integration & Communications Res Lab 手振り認識装置
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
JP2003316510A (ja) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
DE10229336A1 (de) 2002-06-29 2004-01-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Bildsensorsystemen
JP2004187125A (ja) 2002-12-05 2004-07-02 Sumitomo Osaka Cement Co Ltd 監視装置および監視方法
JP4035610B2 (ja) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
US8432390B2 (en) * 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
DE102004044999A1 (de) * 2004-09-16 2006-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eingabesteuerung für Geräte
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP2006209563A (ja) 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
WO2007023946A1 (ja) 2005-08-26 2007-03-01 Brother Kogyo Kabushiki Kaisha 光走査装置、画像表示装置及び網膜走査型画像表示装置
JP2007264832A (ja) 2006-03-27 2007-10-11 Toshiba Corp 移動ロボットおよび移動ロボットにおける画像補正方法
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
DE102006053837A1 (de) 2006-11-14 2008-05-15 Robert Bosch Gmbh Integrierter Schaltkreis
US8075499B2 (en) * 2007-05-18 2011-12-13 Vaidhi Nathan Abnormal motion detector and monitor
JP5453246B2 (ja) 2007-05-04 2014-03-26 クアルコム，インコーポレイテッド コンパクト・デバイスのためのカメラ・ベースのユーザ入力
CN101874404B (zh) * 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
DE102008001451A1 (de) 2008-04-29 2009-11-05 Robert Bosch Gmbh Kamera und Verfahren zum Steuern einer Kamera
WO2010030822A1 (en) * 2008-09-10 2010-03-18 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
DE102009012758A1 (de) 2009-03-12 2010-09-16 Hella Kgaa Hueck & Co. Vorrichtung und Verfahren zur Detektion mindestens eines Objektes
JP5187280B2 (ja) 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法

Also Published As

Publication number Publication date
US20130293685A1 (en) 2013-11-07
US9451237B2 (en) 2016-09-20
WO2012095258A1 (de) 2012-07-19
DE102011002577A1 (de) 2012-07-12
EP2663909A1 (de) 2013-11-20
JP2014509103A (ja) 2014-04-10

Similar Documents

Publication Publication Date Title
CN110308789B (zh) 用于与外围设备的混合现实交互的方法和系统
RU2455676C2 (ru) Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9772720B2 (en) Flexible room controls
US8971629B2 (en) User interface system based on pointing device
EP2287708B1 (en) Image recognizing apparatus, operation determination method, and program
US8179366B2 (en) Systems and methods for using a movable object to control a computer
JP5256561B2 (ja) 情報入力装置、情報出力装置および方法
US20100201808A1 (en) Camera based motion sensing system
US20140247216A1 (en) Trigger and control method and system of human-computer interaction operation command and laser emission device
KR20140027931A (ko) 움직일 수 있는 물체의 도움으로 기구를 제어하기 위한 원격 제어 장치 및 이러한 종류의 원격 제어 장치의 모듈들 간의 통신 또는 그 모듈들 중의 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈
WO2009120299A2 (en) Computer pointing input device
WO2009061620A1 (en) Dual-mode projection apparatus and method for locating a light spot in a projected image
US20100088637A1 (en) Display Control Device and Display Control Method
CN109213363A (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
EP3689427B1 (en) Peripheral tracking system and method
US20170357336A1 (en) Remote computer mouse by camera and laser pointer
KR102059114B1 (ko) 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템
US20210149500A1 (en) Sensing movement of a hand-held controller
KR20090090980A (ko) 영상을 이용한 포인팅 장치
KR20190100122A (ko) 가상 공간과 실공간의 측정에 기초한 공간 동기화를 이용한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템
CN108829246B (zh) 眼球追踪功能检测方法和系统
JP7514747B2 (ja) 情報処理システム、機器コントローラ、およびプログラム
KR20160045945A (ko) 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치
KR101400575B1 (ko) 거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid