KR20050075031A - 지시 디바이스에 기초한 유저 인터페이스 시스템 - Google Patents

지시 디바이스에 기초한 유저 인터페이스 시스템 Download PDF

Info

Publication number
KR20050075031A
KR20050075031A KR1020057008955A KR20057008955A KR20050075031A KR 20050075031 A KR20050075031 A KR 20050075031A KR 1020057008955 A KR1020057008955 A KR 1020057008955A KR 20057008955 A KR20057008955 A KR 20057008955A KR 20050075031 A KR20050075031 A KR 20050075031A
Authority
KR
South Korea
Prior art keywords
data
signature
pointing device
user
command
Prior art date
Application number
KR1020057008955A
Other languages
English (en)
Inventor
게르하르두스 이. 메켄캄프
팀 데케르
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32319629&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20050075031(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050075031A publication Critical patent/KR20050075031A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K11/00—Methods or arrangements for graph-reading or for converting the pattern of mechanical parameters, e.g. force or presence, into electrical signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/60—Security, fault tolerance
    • G08C2201/61—Password, biometric
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G08C2201/71—Directional beams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/92—Universal remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/94—Smart cards

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)
  • Details Of Television Systems (AREA)

Abstract

유저 상호작용 시스템은, 카메라(102)에 연결되며 화상을 디지털 신호 처리기(120)에 송신하는 휴대가능한 지시 디바이스(101)를 포함하며, 상기 디지털 신호 처리기(120)는 특정 방식으로 상기 지시 디바이스(101)를 이동시킴으로써 유저(100)에 의해 주어지는 명령과 물체(130)를 인식할 수 있으며 그리고 이 인식에 기초하여 전기 장치(110)를 제어한다.

Description

지시 디바이스에 기초한 유저 인터페이스 시스템{USER INTERFACE SYSTEM BASED ON POINTING DEVICE}
본 발명은, 유저 상호작용 시스템으로서,
- 전기 장치와,
- 공간 내 영역을 지시하기 위해 유저에 의해 동작가능한 휴대가능한 지시 디바이스(portable pointing device)와,
- 화상을 촬영하는 카메라와,
- 상기 화상을 수신하고 처리할 수 있으며, 상기 화상으로부터 유도된 유저 인터페이스 정보를 상기 전기 장치로 송신할 수 있는 디지털 신호 처리기
를 포함하는, 유저 상호작용 시스템에 관한 것이다.
본 발명은 또한 유저 상호작용 시스템에 사용하기 위한 지시 디바이스에 관한 것이다.
본 발명은 또한 전술된 유저 상호작용 시스템에 사용하기 위한 전기 장치에 관한 것이다.
이러한 시스템은 US-A-2001/0030668로부터 알려져 있다. 이 문헌은, 인식할 수 있는 특성을 디스플레이하는 지시 디바이스, 예를 들어, 적색 스폿을 방출하는 레이저 포인터를 가지고 유저가 디스플레이 위에 하나의 위치를 표시하며 카메라가 이 디스플레이의 화상을 촬영하고 유저가 지시한 위치가 어느 곳인지를 연산하는 범용 리모트 컨트롤 시스템을 기술한다. 전기 장치, 예를 들어, 컴퓨터나 텔레비전은 이때 유저에 의한 표시에 대응하는 동작을 수행한다. 예를 들어, 디스플레이 상의 아이콘이 레이저 포인터를 두 번 점멸하는 것에 의해 표시되는 경우, 이에 대응하는 컴퓨터 프로그램이 작동한다.
그러나, 이 알려진 시스템의 단점은 이 시스템은 특정 디스플레이에 맞춰져 있다는 점이다. 예를 들어, 이 디스플레이는 랩탑 컴퓨터가 연결된 LCD 기반 전면 투사기(front projector)로부터 스크린 위로의 투사일 수 있다. 이 알려진 시스템에서 카메라는 스크린을 촬영할 수 있는 위치와 시야각을 가지고 있다. 다음에, DSP는, 이 스크린의 위치에 대응하는, 카메라로부터의 화상 내 영역을 식별하도록 트레이닝된다(trained). 이 종래 기술에서 이것은 간단한 방법으로 행해질 수 있다. 첫째, 스크린의 화상은 투사기로부터의 화상을 조명과 함께 그리고 조명 없이 포착된다. 이들 두 화상의 차이를 비교하는 것에 의해, 카메라가 보는 공간 내 디스플레이 영역이 획득된다. 둘째, 디스플레이 상에 지시된 위치와 투사할 화상 내 위치 사이의 관계를 결정하는 투시 변환(perspective transformation)이 랩탑 컴퓨터의 프레임 버퍼에서 유도된다. 이 알려진 문헌은 또한 가상 디스플레이, 예를 들어 벽의 코너(corner)를 먼저 수동으로 선택하는 것에 의해 가상 디스플레이 예를 들어 벽을 지시하는 것을 더 기술한다. 그러나, 이 시스템은 하나의 디스플레이에 대해서만 항상 교정되므로, 유저가 다른 디스플레이와 상호작용을 원하는 경우에 유저는 이 시스템을 다시 설정하여야 하거나 제 2 시스템을 사용하여야 한다.
도 1은 본 발명에 따른 유저 상호작용 시스템이 존재하는 룸(room)을 개략적으로 도시하는 도면.
도 2는 본 발명에 따른 디지털 신호 처리기를 개략적으로 도시하는 도면.
도 3은 본 발명에 따른 지시 디바이스를 개략적으로 도시하는 도면.
도 4a 및 도 4b는 움직임 궤적과 그 대응하는 시그너처의 두 가지 예를 도시하는 도면.
본 발명의 제 1 목적은 다수의 이용가능한 전기 장치, 보다 구체적으로는, 디스플레이와 비교적 용이하게 상호작용할 수 있는, 개시 문단에서 기술된 종류의 유저 상호작용 시스템을 제공하는 것이다.
본 발명의 제 2 목적은 다수의 이용가능한 전기 장치와 비교적 용이하게 상호작용하는, 개시 문단에서 기술된 종류의 지시 디바이스를 제공하는 것이다.
본 발명의 제 3 목적은 전술된 유저 상호작용 시스템에 사용하기 위한 전기 장치를 제공하는 것이다.
본 발명의 제 1 목적은, 동작시 카메라가 지시된 영역을 촬영할 수 있도록 카메라가 지시 디바이스에 연결되는 것으로 실현된다. 장착된 카메라는 단지 특정 공간 영역을 촬영한다. 알려진 유저 상호작용 시스템에서, 유저의 지시 디바이스 또는 지시되는 물체는 심지어 장착된 카메라의 시계(field of view) 내에 있지 않는 것도 가능하다. 예를 들어 지시된 영역에 가장 가까운 지시 디바이스의 전면 단부 상에 부착된 카메라를 가지는 지시 디바이스의 주요 잇점은, 카메라가 지시된 영역을 항상 거의 최적 상태로 촬영한다는 것이다. 지시된 물체는, 일반적으로, 유저 인터페이스 정보, 예를 들어, 장치 제어 데이터가 송신되는 전기 장치이지만, DSP에 의해 인식될 수 있는 한, 유저가 거주하는 룸 내에 존재하는 임의의 물체일 수도 있다. 제어될 장치는, 이때, 예를 들어, 이전에 이 물체를 지시하는 것에 의해 식별된다.
청구항 2에 따른 일 실시예에서, 유저 인터페이스 정보는 전기 장치의 동작을 제어하기 위한 장치 제어 데이터를 포함한다. 예를 들어 사운드를 생성하는 장치들이 거실 내에 많이 존재할 수 있다. 이들 디바이스 각각은 사운드 볼륨을 증가 또는 감소시키기 위한 컨트롤을 가지고 있다. 지시 디바이스의 카메라를 특정 장치 쪽으로 지시하고, 예를 들어, 지시 디바이스 상의 버튼을 누르거나 또는 지시 디바이스를 특정 방향으로 움직이는 것에 의해 "볼륨 업(volume up)" 명령을 수행하는 것에 의해, 지시된 디바이스의 사운드 볼륨이 증가할 수 있다. 알려진 유니버설 리모트 컨트롤을 사용하는 것은, 이 리모트 컨트롤이 동일한 리모트 컨트롤 코드를 사용하기 때문에, 예를 들어, 유저가 의도치 않은 장치가 응답한다는 단점을 가질 수 있다.
청구항 3에서와 같이, 상기 디지털 신호 처리기는, 제 1 물체 특성 기술 특징(object characterizing feature)을 한 물체를 식별하기 위한 포함된 물체 식별 수단에 제공하는 것에 의해, 상기 카메라에 의해 촬영된 영역의 화상 내에 존재하는 그 물체나 그 물체의 일부분에 대한 특성을 기술하기 위한 물체 특성 기술 수단(object characterizing means)을 포함하며, 상기 물체 식별 수단은 물체 식별 데이터를 출력할 수 있으며, 상기 물체 식별 데이터로부터 상기 유저 인터페이스 정보가 구성되는 것이 유리하다.
여러 전기 장치가 제어되어야 하는 경우, 이들 전기 장치는 모두 자동적으로 인식되어야 한다. DSP는, 예를 들어, 이 장치의 특성을 기술하는 알고리즘을 동작시키는 범용 프로세서일 수 있으며 또는 이 DSP는 ASIC일 수 있다. 일반적으로, 물체 특성 기술 수단은 이 장치의 화상에 대해 화상 처리 알고리즘(image-processing algorithm)을 수행한다. 예를 들어, 이 장치의 상대적 크기가 연산될 수 있으며 이 장치 상의 버튼의 수와 위치가 분석될 수 있다. 이 물체 식별 수단은, 이들 최종 제 1 물체 특성 기술 특징을, 예를 들어, 장치 테이블 내 정보로부터, 특정 장치와 연관시킨다. 이 장치가 이해하는 장치 제어 데이터와 같은, 이 장치에 관한 다른 정보, 예를 들어, "시리얼 번호 Y를 갖는 X사에 의해 제조된 제 1 텔레비전"에 관한 다른 정보가 존재할 수 있다.
청구항 4에서와 같이, 상기 디지털 신호 처리기는,
- 상기 지시 디바이스의 움직임 궤적(motion trajectory)을 추정하며 제 1 움직임 특성 기술 시그너처(motion characterizing signature)를 출력하기 위한 움직임 궤적 추정 수단(motion trajectory estimation means)으로서, 이 시그너처는 상기 움직임 궤적의 수학적 개념(mathematical abstraction)인, 움직임 궤적 추정 수단과,
- 상기 제 1 움직임 특성 기술 시그너처를 식별하며, 상기 제 1 움직임 특성 기술 시그너처와 대응하는 유저 상호작용 명령을 나타내는 명령 식별 데이터를 출력하기 위한 시그너처 식별 수단으로서, 상기 명령 식별 데이터로부터 상기 유저 인터페이스 정보가 구성되는, 시그너처 식별 수단
을 포함하는 것이 또한 유리하다.
모든 다른 장치에 송신될 수 있는 모든 다른 명령에 대해 지시 디바이스 상에 많은 수의 버튼을 구비할 필요성을 회피하며 유저 상호작용 시스템을 보다 유저 친화적으로 만들기 위해, 적어도 일부의 장치 제어 데이터는 일반적으로 자기의 손에 있는 지시 디바이스의 유저에 의한 움직임에 기초하여 생성되는 것이 유리하다. 상방향 움직임(upwards movement)의 시그너처는 "볼륨 업"을 의미하지만, 표준 리모트 컨트롤과는 달리, 볼륨 변화 양은 본 발명에 따라 움직임의 변화율(brusqueness)에 따라 좌우될 수 있다. 유저가 자기 팔을 천천히 위로 이동시키는 경우, 볼륨은 예를 들어 약간만 변화하며, 이와 대조적으로, 유저가 자기 팔을 위로 빨리 이동시키는 경우 볼륨은 많이 증가할 것이다. 지시 디바이스의 움직임의 결정은, 움직임 감지 수단(motion sensing means)에 기초하여, 예를 들어, 변형 센서(deformation sensor), 자이로스코프(gyroscope), 차동(differential) GPS 등의 양에 기초하여 행해질 수 있다. 그러나, 카메라가 이미 존재하기 때문에, 이 움직임은 또한 연속적인 화상을 촬영하며 움직임 추정 알고리즘을 적용하는 것에 의해서도 결정될 수 있다. 전체 움직임 추정은 복수의 물체의 정확한 움직임 추정보다는 더 간단하기 때문에, 이 카메라는 간단한 CMOS 기반 카메라이거나 또는 심지어 적은 수의 감광 요소(light sensitive element)로 형성된 2차원 어레이일 수 있다.
또한 청구항 5에서와 같이, 상기 디지털 신호 처리기는, 물체 식별 데이터로 표시된 물체와 명령 식별 데이터로 표시된 유저 상호작용 명령이 미리결정된 룰(rule)에 기초하여 보다 더 신뢰성있게 식별되는 확률을 더 개선하여, 보다 신뢰성있는 유저 인터페이스 정보를 산출할 수 있는 식별 개선 수단(identification improvement means)을 포함하는 것이 또한 유리하다. 물체와 움직임 시그너처의 식별이 항상 정확할 필요는 없으므로, 룸 내 상태의 변화가능성이 있는 경우에는, 예를 들어, 가능하게는 제 1 물체 특성 기술 특징과 제 1 움직임 특성 기술 시그너처의 특성 기술 특징을 또한 고려하여, 식별된 물체 식별 데이터와 명령 식별 데이터에 대해 인공 지능 룰 세트(artificial intelligence set of rules)를 적용하는 식별 개선 수단이 포함될 수 있다. 예를 들어, 지시된 장치를 결정하기 위한 룰은 이 지시 디바이스가 존재하는 룸이나 그 날의 시간을 고려할 수 있다. 예를 들어, 유저가 집에 들어와서 이 지시 디바이스를 잡은 경우 유저가 통상적으로 할 수 있는 첫 번째 일은 전등을 켜는 일이다. 유저의 의도는 이들 전등의 화상에 기초하여 DSP에 의해 검증될 수 있다.
청구항 6에서와 같이, 상기 미리결정된 룰은, 다음과 같은 선험적(a priori)으로 알려진 정보 유닛, 즉 {상기 지시 디바이스가 존재하는 룸, 유저에 의해 송출된 이전의 명령, 유저가 특정 명령을 송출한 통계적 빈도와 그 날의 시간} 중 적어도 하나를 고려하여, {물체 식별 데이터, 명령 식별 데이터} 쌍의 가능성에 대한 확률 연산을 포함하는 것이 더 유리하다. 예를 들어, 명령의 유사성은 유저가 통상적으로 사용하는 명령의 통계적 프로파일에 기초하여 그리고 이전에 송출된 명령에 기초하여 연산될 수 있다. 또한 장치의 가능성은 지시 디바이스가 존재하는 룸에 기초하여 업데이트될 수 있다. 금요일 9시에 유저는 자기가 좋아하는 텔레비전 프로그램을 시청하기를 원할 수 있다.
청구항 7에서와 같이, 상기 디지털 신호 처리기는, 상기 물체 식별 수단에 물체 연관 데이터(object association data)를 제공하기 위한 물체 연관 수단을 포함하며, 상기 물체 연관 데이터는, 연관된 물체 특성 기술 특징과 물체 관련 데이터인 데이터 개체(data entity) 중 적어도 하나를 포함하며,
상기 물체 연관 데이터는,
- 물체 템플릿 데이터가 물체 특성 기술 수단에 의해 출력된 제 2 물체 특성 기술 특징에 대해 미리결정된 연산을 수행하는 물체 트레이닝 수단(object training means)으로부터 획득되는 방법(method)과,
- 물체 템플릿 데이터가 입력된 물체 데이터로부터 유도되는 방법
중 적어도 하나의 방법으로부터 유래하는 물체 메모리에 있는 상기 물체 템플릿 데이터(object template data)로부터 유도가능한 것이 또한 유리하다.
유저 상호작용 시스템은, 정해진 개수의 장치를 제어하기 위한 제조자에 의해 미리 구성된 것이 아니라, 유저가 이를 자기의 변화되는 환경에 적응할 수 있는 경우, 훨씬 더 다양하게 사용될 수 있다. 예를 들어, 유저가 새로운 장치를 구매하는 경우, 유저는 이 장치가 동일한 시스템에 의하여 제어될 수 있기를 원할 것이다. 또한 유저가 달력을 구매하고 이 달력을 벽에 걸어놓고 자기의 지시 디바이스로 이 달력을 지시하는 경우, 유저는 예를 들어 자기의 PC 상에 달력 툴(tool)을 작동하는 동작이 일어나기를 원할 수 있다. 이를 위해 물체 연관 수단(object association means)이 필요하다. 유저는 예를 들어 약간 다른 각도(angle)에서 새로운 장치를 촬영한다. 물체 특성 기술 수단에서 동작하는 다수의 화상 처리 알고리즘은, 가능하게는 불변하는 장치에 특정된 특징을 먼저 연산한 후, 물체 템플릿으로 저장되는 이 물체에 대한 특징을 추출한다. 유저는 이때 이 물체 템플릿에 대응하는 장치가 어느 장치인지를 선택 유저 인터페이스(selection user interface)로 선택한다. 이것이 소위 시스템의 트레이닝 단계(training phase)이다. 이후, 이 시스템이 장치 제어 데이터를 식별된 장치에 송신하기 위한 소위 명령 단계(command phase)에 사용될 때, 물체 식별 수단에 의한 물체의 식별은 물체 연관 수단에 저장된 데이터에 의하여 촉진될 수 있다. 예를 들어, 물체 템플릿 데이터에 기초하여, 물체 특성 기술 수단이 제 1 물체 특성 기술 특징으로 출력하는 것에 대응하는 다수의 연관된 물체 특성 기술 특징이 물체 식별 수단에 송신될 수 있으며, 이 물체 식별 수단은 비교를 수행하여, 올바르게 식별된 장치를 선택한다. 이들 특징은 또한 물체 식별 수단에 미리 로딩될 수도 있다. 이 물체 연관 수단은, 또한 적어도 장치의 식별자와 나아가 가능하게는 지원되는 명령과 같은 다른 데이터를 포함하는 물체 관련 데이터를 물체 식별 수단에 송신할 수도 있다. 대안적인 실시예에서, 물체 연관 수단은 물체 식별을 스스로 수행할 수도 있으며, 이 경우에 물체 관련 데이터만이 물체 식별 수단으로 송신된다. 유저가 선택 유저 인터페이스를 통해 많은 정보를 입력해야 하는 것을 피하기 위해, 물체 관련 데이터는 물체 데이터 입력을 통해 또한 입력될 수도 있으며, 예를 들어, 식별되고 제어될 장치로부터 직접 입력될 수도 있다. 이 입력을 통해, 특성 물체 템플릿 데이터가 또한 입력될 수 있으며, 예를 들어, 장치의 제조자는 잘 제어된 촬영 상태에서 촬영된 화상을 제공할 수도 있다.
청구항 8에서와 같이, 상기 디지털 신호 처리기는, 상기 시그너처 식별 수단에 시그너처 연관 데이터(signature association data)를 제공하기 위한 시그너처 연관 수단을 포함하며, 상기 시그너처 연관 데이터는, 연관된 시그너처 특징과 명령 관련 데이터인 데이터 개체 중 적어도 하나를 포함하며,
상기 시그너처 연관 데이터는,
- 시그너처 템플릿 데이터가 상기 움직임 궤적 추정 수단에 의해 출력된 제 2 움직임 특성 기술 시그너처에 대해 미리결정된 연산을 수행하는 시그너처 트레이닝 수단(signature training means)으로부터 획득되는 방법과,
- 명령 템플릿 데이터가 입력된 명령 데이터로부터 유도되는 방법
중 적어도 하나의 방법으로부터 유래하는 시그너처 메모리에 있는 상기 시그너처 템플릿 데이터로부터 유도가능한 것이 또한 유리하다.
유사한 원리에 따라, 유저에 의해 지시 디바이스에 가해지고 시그너처로 특성 기술되는 새로운 움직임 궤적을 트레이닝할 수 있는 시그너처 연관 수단이 포함될 수 있다. 이들 실시예에서, 명령 데이터는 예를 들어 그 지원되는 명령의 메뉴를 제공하는 장치에 의해 입력된다.
청구항 9에서와 같이, 상기 제 1 움직임 특성 기술 시그너처는 상기 카메라에 의해 각 시각에 촬영된 연속하는 화상에 기초하여 유도되는 것이 또한 유리하다. 카메라가 이 지시 디바이스에 부착되기 때문에, 카메라의 각 이동과 전체 움직임을 촬영하는 것은 간단한 움직임 추정 알고리즘에 의해 추정될 수 있으며, 연속적으로 촬영된 화상은 의도된 유저 인터페이스 명령을 유도하는데 사용될 수 있다.
본 발명의 제 2 목적은, 청구항 10에 따른 지시 디바이스가 카메라를 포함하며, 화상을 DSP에 송신할 수 있는 것으로 실현된다. 이미 전술된 바와 같이, 유저 상호작용 시스템은 이러한 지시 디바이스로 보다 다양하게 사용된다.
이 지시 디바이스의 일 실시예는, 청구항 11에서와 같이, 이 지시 디바이스가 상기 화상에 기초하여 전기 장치에 유저 인터페이스 정보를 송신할 수 있는 상기 디지털 신호 처리기에 화상을 송신할 수 있는 것을 특징으로 한다.
청구항 12에 따른 실시예에서, DSP는 지시 디바이스에 포함된다. 이 지시 디바이스는 이때 유저 상호작용 시스템과는 별도로 동작할 수도 있다. 예를 들어, 지시 디바이스는 수퍼마켓에서 화상을 촬영할 수 있으며 그리고 촬영된 화상을 처리할 수 있으며 나아가 대응하는 제 1 물체 특성 기술 특징을 저장할 수 있다. 홈 장치에 의한 제어 동작은 차후에 수행될 수 있다.
청구항 13에서와 같이, 이 지시 디바이스는 지시 디바이스의 움직임 궤적을 감지하기 위한 움직임 감지 수단을 포함하는 것이 유리하다. 이 디바이스가 물체를 인식하는데 사용되는지 여부에 상관없이, 이 디바이스는 유저에 의한 특정 움직임에 대응하는 장치 제어 데이터를 송신하는데 사용될 수 있다. 지시 디바이스의 이러한 응용에 의도된 장치는, 예를 들어, 버튼으로 정해지거나 이 버튼으로 지시될 수 있다.
청구항 14에서와 같이, 이 지시 디바이스는 지시되는 영역 쪽으로 특성 패턴을 광학적으로 투사하기 위한 특성 투사기(characteristic projector)를 포함하는 것이 유리하다. 유저가 지시하는 곳이 어느 장치 또는 어느 장치의 어느 부분인지에 대한 피드백을 갖는 것이 유리하다. 그렇지 않으면, 유저가 올바르게 조준하고 있지 않은 경우, 유저는 예를 들어 사실상 그 장치의 잘못된 버튼을 누를 수도 있을 것이다. 피드백의 한 형태는 카메라에 의해 촬영된 영역의 중심을 보여주는 지시 디바이스의 디스플레이 상에 작은 화상일 수 있다. 이 디스플레이의 중간에 장치나 또는 이 장치의 버튼이 의도된 영역이다. 피드백의 다른 형태는 특성 패턴의 투사, 예를 들어, 장치의 의도된 부분을 조명하는 백색 십자(white cross), 또는 레이저 도트(laser dot)의 투사를 포함한다. 2차원 라인 그리드(grid of lines)와 같은 보다 복잡한 패턴은 촬영된 장치의 기하학적 형상(geometry)을 식별하는데 DSP를 원조할 수 있다.
청구항 15에서와 같이, 지시 디바이스는 프로그래밍가능한 유저 인터페이스 코드 생성기와, 이 코드를 상기 전기 장치에 송신하기 위한 무선 송신기를 포함하는 것이 유리하다. 예를 들어, 블루투스에 기반한 무선 홈 네트워크에 의하여, 장치 제어 데이터를 장치에 송신하는 DSP 대신에, 지시 디바이스 자체가 예를 들어 적외선 복사선에 의하여 적절한 리모트 컨트롤 명령을 직접 송신할 수 있다. 종래의 범용 리모트 컨트롤에 비교해서 잇점은 DSP가 자동적으로 카메라 화상으로부터 장치를 식별하고 올바른 코드를 생성할 수 있다는 점이다.
청구항 16에서와 같이, 유저 인터페이스 정보의 피드백을 위한 피드백 수단이 존재하는 것이 유리하다. 예를 들어, 디스플레이가 존재하는 것이 유리하다. 다른 피드백은, 예를 들어, 이동되는 질량에 의하여, 일정 종류의 힘의 피드백(force feedback)을 제공할 수 있다. 이것은 예를 들어 TV의 스크린에 대한 팁핑(tipping)을 시뮬레이팅할 수 있다.
본 발명의 제 3 목적은, 상기 전기 장치에 대한 상기 지시 디바이스의 "지원되는 명령을 식별하라(identify supported commands)"는 호출(call)에 기초하여, 상기 전기 장치가 지원되는 명령에 관한 정보를 청구항 1에 기재되어 있는 지시 디바이스에 송신할 수 있게 하는 인터페이스 수단을 포함하는 것으로 실현된다. DSP 또는 이 DSP의 기능의 일부가 또한 이 장치에 포함될 수도 있다. 이 장치는 또한 물체 특성 기술 특징 등을 송신할 수 있다.
본 발명은 본 발명에 따른 유저 상호작용 시스템과 지시 디바이스의 성분의 예를 개략적으로 도시하는 첨부 도면과 이하 상세한 설명으로부터 보다 명백하게 되고 이 첨부도면과 이하 상세한 설명을 참조하여 보다 명료하게 설명될 것이다.
도 1에는, 유저 인터페이스 정보(I)를 수신할 수 있는 여러 전기 장치, 예를 들어, 유저(100)와 상호작용할 수 있는, 플라즈마 디스플레이인 전기 장치(110)를 포함하지만, 또한 퍼스널 비디오 레코더 또는 전화기 또는 세탁기도 존재할 수 있는, 룸(room)이 도시되어 있다. 이 룸은, 지시 디바이스(101)에 의하여 지시될 수 있는, 전기 장치이거나 또는 예를 들어 창문과 같은 바로 임의의 물리적 물체인 여러 물체를 포함하거나, 또는 오디오 장치인 물체(130), 화병(170) 및 전기 장치(110)를 또한 포함한다.
본 발명에 따라, 이 지시 디바이스(101)는 카메라(102)를 포함하며, 룸의 특정 영역의 화상이나 이들 영역 내 물체의 화상을 디지털 신호 처리기(DSP)(120)에 송신할 수 있으며, 이 디지털 신호 처리기(120)는 카메라(102)에 의해 촬영된 하나 이상의 화상에 기초하여 그 영역이나 물체를 식별할 수 있다. 이 카메라는 지시된 영역을 잘 촬영할 수 있는 방식으로 지시 디바이스(101)에 연결된다. 예를 들어, 이 카메라는 일반적으로 지시 디바이스(101)의 말단에 존재할 수 있으나, 또한 형성된 변(side)에 소정의 각도로 장착될 수도 있다. 유저(100)는 자기가 원하는 물체는 무엇이든 지시할 수 있는 자유를 가지고 있으며 그런 방식에서 매우 유저 친화적이고 강력한 유저 상호작용 시스템이 실현될 수 있다.
DSP(120)는 예를 들어 홈 네트워크 내 장치를 제어하는 홈 컴퓨터일 수 있으며 또는 이 DSP(120)는 지시 디바이스(101)에 포함될 수도 있다. 이 카메라(102)는 CCD 카메라나 또는 CMOS 카메라일 수 있다. 카메라(102)와 DSP(120) 사이의 연결은, 이 둘이 분리되어 있다면, 무선일 수 있다. 지시 디바이스(101)는, 물체를 식별하는데 DSP(120)에 의해 수행되는 알고리즘의 일부분을 이미 수행할 수 있어서, 예를 들어, 작은 특징 세트만이 추가 처리를 위해 외부 DSP(120)에 송신될 필요가 있다. 사실, DSP(200)으로 도시된 기능은 지시 디바이스(101), 룸, 여러 장치 등에 여러 부분으로 분포될 수 있다.
이 DSP(120)는, 유저 인터페이스 정보(I), 예를 들어, 장치 제어 데이터(ac)를 식별된 장치에 송신하도록 설계된다. 예를 들어, 유저(100)는 지시 디바이스(101)를 전등(160)에 지시하고 지시 디바이스(101) 상에 온 버튼(on-button)을 누를 수 있으며, 이는 DSP(120)가 식별된 전등(160)에 온 명령(on-command)을 송신하게 한다. 식별된 물체는 제어되는 장치 자체일 필요는 없다. 예를 들어, 화병(170)을 지시하는 것은 PC 상에 특정 프로그램을 작동시킬 수 있으며, 이 PC의 출력이 디스플레이 장치(110)에 도시된다. 나아가 물체의 일부분이 지시될 수도 있으며, 예를 들어, 물체(130)의 볼륨 버튼(134)을 지시하는 것에 의해 지시 디바이스(101)의 움직임이나 버튼의 누름과 같은 추가적인 동작에 따라 이 오디오 장치의 볼륨을 증가시키거나 또는 감소시킬 수 있다. 채널 선택 디스플레이(132)를 지시하고 측방향으로 움직이는 것에 의해 채널을 변경할 수 있다. DSP(120)는 또한 카세트 로더(136)가 열려있는 것과 같은 물체의 일부분의 상태를 인식하며, "닫기(close)" 명령을 송출할 수도 있다. 다른 특정 상황이 또한 검출되거나 모니터될 수 있다. 유저(100)는 또한 가구(furniture)(140)나 가구의 일부분(142)을 지시할 수도 있다. 이 가구(140)가 벽장(cupboard)인 경우, 서로 다른 동작이 서로 다른 서랍(drawer)을 지시하는 것으로부터 생길 수 있다. 가구(140)가 지능형 냉장고인 경우, 이 냉장고를 지시하는 것에 의해 인터넷을 통해 맥주를 주문하는 유저 한정된 동작으로 될 수 있다. 장치 제어 데이터(ac)와는 별도로, 다른 유저 인터페이스 정보(I), 예를 들어, 화상 데이터(pd)가 송신될 수 있다. 예를 들어, 제 1 전자 그림(150)과 제 2 전자 그림(152)은 가변 화상을 디스플레이한다. 이들 그림은 전기영동 전자 잉크 디스플레이로 실현될 수 있다. 유저(100)는 제 1 전자 그림 상에 디스플레이된 화상이나 또는 심지어 벽에 걸려있는 달력 상의 그림을 포착할 수 있으며 이를 화상 데이터(pd)로서 제 2 전자 그림(152)에, 가능하게는 예를 들어 투시 보정(perspective correction)과 같은 일정 화상 처리를 한 후, 전달한다.
도 2는 도 1에 있는 120의 일 실시예로서 디지털 신호 처리기(200) 내의 기능 성분(functional component)을 개략적으로 도시한다. 기술된 모든 성분이 유저 상호작용 시스템의 특정 실시예에 반드시 존재하는 것은 아니다. DSP(200)는 범용 프로세서, ASIC 또는 회로 보드 상의 별도의 성분으로 실현될 수 있다. DSP(200)는 예를 들어 움직임 감지 수단(304)으로부터 카메라 입력(c)과 센서 입력(s)을 수신할 수 있다. DSP(200)는 카메라(102)에 의해 촬영된 물체(130) 또는 이 물체(130)의 일부분의 화상에 대해 특성을 기술하기 위한 물체 특성 기술 유닛(202)을 포함할 수 있다. 이 물체 특성 기술 유닛(202)은 제 1 물체 특성 기술 특징(f1)을 물체 식별 유닛(204)에 제공할 수 있다. 제 1 물체 특성 기술 특징(f1)은 물체 식별 유닛(204)에 구현되는 화상 처리 알고리즘에 따라 여러 종류로 형성될 수 있다. 일반적으로, 이 물체는 먼저 촬영된 화상의 나머지 부분으로부터 분리된다. 이것은 예를 들어 화상의 에지(edge)와 곡선(curve)의 검출에 기초하여 행해질 수 있다. 다른 옵션은 예를 들어 투사된 그리드나 제 2 카메라로 촬영된 영역의 3D 분석을 하는 것이다. 물체의 일부분은 상관 기술(correlation technique)에 기초하여 검출될 수 있으며, 이때 나머지 물체가 검증될 수 있다.
둘째, 제 1 물체 특성 기술 특징(f1)이 연산된다. 예를 들어, 이 물체와 그 구성 부분의 윤곽은 곡률(curvature) 대 각도(angle) 특성에 의하여 특징적으로 기술될 수 있다. 또는 폭/높이의 비가 연산될 수 있다. 또한 분리된 물체 영역 자체 또는 이 영역의 변환이, 일반적으로 먼저 투시 보정을 수행한 후, 사용될 수 있다.
물체 식별 유닛(204)은 이때 물체 특성 기술 유닛(202)으로부터 수신된 제 1 물체 특성 기술 특징(f1)에 기초하여 물체를 식별한다. 예를 들어, 다차원 특징 공간(multidimensional feature space)에서 임의의 알려진 분류 기술(classification technique)이 사용될 수 있다. 물체 식별 유닛(204)의 출력은 물체 식별 데이터(oi)이며, 이 데이터는 식별된 물체에 관한 간단한 수이거나 이 식별된 물체에 관한 추가적인 정보를 포함하는 데이터 구조일 수 있다. 다수의 장치의 특성 기술 특징과 추가 데이터는 예를 들어 DSP(200)를 포함하는 지시 디바이스의 제조자에 의하여 물체 특성 메모리(230)에서 선험적으로 저장되어 있을 수 있으며 또는 DSP(200)가 컴퓨터인 경우 인터넷을 통해 미리 로딩될 수 있다. 물체를 식별하는 대신에, DSP는 또한 룸의 영역을 식별할 수 있다. 예를 들어, 지시 디바이스(101)를 천정 쪽으로 지시하는 것은 "전등을 온"하라는 명령을 송출할 수 있는 반면, 지시 디바이스(101)를 바닥으로 지시하는 것은 전등을 스위치 오프하라는 명령을 송출할 수 있다. 또는, 코너(corner) 중 하나를 지시하는 것은 연관된 명령을 호출할 수 있다. 이 코너는, 존재하는 물체, 예를 들어 좌측에 있는 식물과 우측에 있는 벽장에 기초하여 식별될 수 있다.
그러나, 유저 상호작용 시스템은, 유저가 스스로 화병(170)과 같은 새로운 물체를 트레이닝하는 경우, 훨씬 더 유용하다. 그러므로, 물체 연관 데이터(oad)를 물체 식별 유닛(204)에 제공하는 물체 연관 유닛(212)이 포함될 수 있다. 물체 연관 데이터(oad)는, 물체 템플릿(object template)에 기초하여, 제 1 물체 특성 기술 특징(f1)과 유사한, 물체의 특성 기술 특징(fa)을 포함할 수 있다. 물체 템플릿은 트레이닝 단계를 적용하여 획득될 수 있다. 새로운 물체는, 다수의 상태, 예를 들어, 다른 각도, 조명 상태 하에서 카메라(102)에 의해 촬영된다. 이 물체 특성 기술 유닛(202)은 모든 화상에 대해 제 2 물체 특성 기술 특징(f2)을 생성한다. 물체 연관 유닛(212) 내 물체 트레이닝 유닛(221)은 물체 메모리(220)에 저장된 물체에 대응하는 물체 템플릿(object template)을 생성한다. 이 템플릿은, 예를 들어, 모든 화상에 대한 제 2 물체 특성 기술 특징(f2), 또는 가변적인 제 2 물체 특성 기술 특징(f2)에 기초하여 연산된 평균 특징 또는 일부 불변 특징의 클러스터(cluster)일 수 있다. 이 물체 템플릿은 또한 외부로부터 물체 데이터(od)로서 들어오는 특성 기술 특징에 기초하여 물체 트레이닝 유닛(221)에 의해 유도될 수도 있다. 이 물체 데이터는, 예를 들어, 제조자에 의해 다른 각도로부터 촬영된 물체의 화상을 입력하는 장치로부터 유래할 수 있다. 이 물체 데이터(od)와 물체 연관 데이터(oad)는 또한 물체 관련 데이터(id), 즉, 예를 들어 지원되는 명령과 같은 장치에 관한 모든 종류의 정보를 포함할 수 있다.
물체 인식을 용이하게 하기 위해, 장치(110)와 같은 특정 물체는 특성 패턴(116)을 디스플레이할 수 있으며, 예를 들어 이 물체들은 지시 디바이스의 "물체를 식별하라"는 호출에 응답하여 다른 온/오프 간격으로 미리결정된 횟수에 걸쳐 적색 십자를 점멸할 수 있다. 이 장치(110)는 또한 인터페이스 유닛(190)을 포함할 수 있으며, 이 인터페이스 유닛(190)은 본 발명에 따른 유저 상호작용 시스템을 보다 유용하게 만든다. 예를 들어, 인터넷 라디오(internet radio)와 같은 장치는 어느 명령을 지시 디바이스(101)가 지원하는지를 지시 디바이스(101)에 전달하는 "서비스 발견(service discovery)" 기능을 가질 수 있다. 이 장치는 심지어 이들 명령 등에 대응하는 적외선 리모트 제어 시퀀스를 전달할 수 있다. 이것은 유저(100)에 의한 DSP(120, 200)의 트레이닝을 용이하게 한다. 예를 들어, 이 전달에 응답하여, 지시 디바이스(101)의 디스플레이(316) 상에 미리 한정된 아이콘 메뉴로 명령이 나타날 수 있다. 인터페이스 유닛(190)은 또한 별도로 실현될 수 있다. 예를 들어, 세탁기는 복잡한 리모트 컨트롤 장치를 구비하지 않을 수도 있다. DSP(200)로부터 표준 명령을 수신하며 장치와 간단한 방법으로 인터페이스하는, 예를 들어, 장치를 작동시키는, 플러그온 박스(plug-on box)가 제공될 수 있다.
DSP(200)는 유저(100)에 의해 지시 디바이스(101)로 이루어진 제스처를 분석하기 위한 성분을 또한 포함할 수 있다. 이를 위해, 지시 디바이스(101)의 도 4에서의 움직임 궤적(400)이 사용되며, 이 움직임 궤적은 카메라(102)로부터의 화상에 기초하여 연산된다. 도 4a는 3차원 좌표 시스템(404)에서 상방향으로 움직이는 궤적(400)을 도시한다. 이 궤적은 상방향으로 움직임 궤적의 수학적 표현(mathematical representation)인 시그너처(402)로 요약된다. 이 시그너처(402)는 예를 들어 명령 식별 데이터(ci)와 명령 테이블에 의하여 링크될 수 있으며, 예를 들어, 이 경우에 유저(100)는 "볼륨 업" 명령을 위해 이 움직임을 지정할 수 있다. 도 4b에서 원형으로 움직이는 궤적(410)과 원형의 시그너처(412)는 한 유저에게는 "되감기(rewind)"를 의미하는 것일 수 있는 반면, 다른 유저는 이 원형 시그너처(412)를 "디바이스 온" 명령과 관련시키도록 DSP(200)를 훈련시킬 수 있다. 유저는 예를 들어 자기의 지시 디바이스(101)를 전등(160) 쪽으로 대충 지시하고 "디바이스 온" 움직임을 만들 수 있으며, 이에 기초하여 DSP(200)는 전등(160)을 스위치 온 한다. 대안적으로, 유저(100)는 공중 어딘가에서 "디바이스 온" 움직임을 만들며 이후 전등(160)을 지시할 수도 있으며 또는 자기가 스위치 온 하기를 원하는 텔레비전이나 그밖에 무슨 물체라도 지시할 수도 있다. 이 시그너처(402, 412)는 임의의 방식으로 파라미터로 한정될(parameterized) 수 있으며 임의의 알려진 곡선 최적 기술(cure fitting technique)에 의하여 매칭될 수 있다. 예를 들어, 이 시그너처(402)는 특정 길이와 세그먼트간 각도를 갖는 다수의 연결된 라인 세그먼트로 코딩될 수 있다.
움직임 궤적 추정 유닛(206)은 움직임 감지 수단(304)에 기초하여 또는 카메라(102)로부터의 연속하는 화상에 기초하여 움직임 궤적(400)을 연산한다. 예를 들어, 움직임 궤적(400)의 일부분(401)을 얻기 위해 2개의 연속하는 화상에 대해 광학적 흐름이나 블록 기반 움직임 추정 기술이 적용될 수 있다. 움직임 벡터 필드(motion vector field)의 발산이 물체 쪽으로 향한 움직임을 추정하는데 사용될 수 있으며, 즉 일반적으로 지시 디바이스(101)의 일 축을 따라 움직임을 추정하는데 사용될 수 있다. 움직임 궤적(400)에 기초하여, 시그너처 생성 유닛(209)은 제 1 움직임 특성 기술 시그너처(s1)를 출력한다. 시그너처 식별 유닛(208)은 제 1 움직임 특성 기술 시그너처(s1)를 식별하고 이를 명령 식별 데이터(ci)와 링크시키며, 이 명령 식별 데이터(ci)는 예를 들어 유저(100)에 의해 의도된 유저 상호작용 명령의 수치적 표현이다. 제 1 움직임 특성 기술 시그너처(s1)는 시그너처 특성 메모리(232) 내에 여러 저장된 시그너처에 대한 시그너처 특성과 비교될 수 있다. 예를 들어, 대충 원형이거나 심지어 임의의 되돌아가는 움직임이 만들어지는 경우, 저장된 원형 시그너처 템플릿이 선형 시그너처 템플릿보다 더 우수한 매칭을 산출한다. 기하학적 형상과 구조적 곡선 매칭 기술이 유사성 연산(similarity calculation)에 적용될 수 있다.
새로운 물체를 식별하는 것을 배울 수 있는 DSP(200)를 가지는 것이 유리한 바와 같이, DSP(200)는 유저(100)에 의해 선호되는 새로운 움직임을 식별할 수 있는 것이 유리하다. 그러므로, 시그너처 연관 데이터(SAD)를 시그너처 식별 유닛(208)에 제공하는 시그너처 연관 유닛(214)이 포함될 수 있다. 시그너처 연관 데이터(SAD)는, 연관된 시그너처 특성(sa) 예를 들어 원형 시그너처(412)의 수학적 표현, 및/또는 명령 관련 데이터(cid) 예를 들어 명령 데이터(cd)로서 지원되는 명령을 DSP(200)에 송신하는 장치로부터 수신된 명령 관련 데이터(cid)를 포함할 수 있다. 시그너처 메모리(222) 내의 시그너처 템플릿은 움직임 궤적 추정 유닛(206)으로부터나 명령 데이터(cd)로부터 제 1 움직임 특성 기술 시그너처(s2)에 기초하여 시그너처 트레이닝 유닛(223)으로부터 획득될 수 있다.
유저의 환경이 매우 가변적이기 때문에, 예를 들어, 조명 상태가 하루 동안에도 변화하기 때문에, 물체(130)나 명령, 즉 시그너처(402)의 식별이 종종 부정확할 수 있다. 그러므로, DSP(200)는 식별 개선 유닛(identification improvement unit)(210)을 포함할 수 있다. 의도된 명령은 예를 들어 지시된 물체(130)에 따라 좌우되거나 또는 이전에 주어진 명령 등에 따라 달라질 수 있다. 물체가 지시 디바이스가 존재하는 룸 내에 존재하지 않는 경우 물체는 부정확하게 식별된다. 그러므로, 룸 인식 수단(185) 예를 들어 점멸(flashing) LED가 존재할 수 있다. 유저(100)는 자기가 룸에 들어갈 때 지시 디바이스(101)를 사용하여 룸 인식 수단(185)을 스캔할 수 있다. 카메라(102)와는 별도로, 룸 인식 수단(185)을 검출하기 위한 광 다이오드(photodiode)가 지시 디바이스(101)에 포함될 수 있다. 지시 디바이스(101)가 룸의 어느 부분을 지시하고 있는지를 DSP(200)가 인식할 수 있도록, 룸 국한 비컨(room localization beacon)(180,181,182)이 또한 존재할 수 있다. 이 비컨은 카메라(102)가 이를 인식하는 경우에 발광할 수 있으나, 이들 비컨은 또한 예를 들어 전자기 복사선을 방출할 수도 있다. 룸 내에 존재하는 물체가 또한 물체의 인식을 촉진할 수 있다. 예를 들어, 화병(170)이 물체(130) 옆에 있는 경우, 화병의 인식은 물체(130)의 인식을 촉진할 수 있다. 심지어 지시 디바이스의 과거 궤적의 분석이 사용될 수 있다. 지시 디바이스가 물체(130)를 이미 지시하고 있고 이 지시 디바이스가 오른쪽으로 이동되었다면, 이 지시 디바이스는 장치(110)를 지시하여야 한다. 이런 모든 정보를 고려하면, 식별 개선 유닛(210)은, 물체(130) 및 의도된 명령을 보다 확실히 식별할 수 있도록, 예를 들어, 베이시안 확률(Bayesian Probability)을 연산하거나 또는 퍼지 논리(puzzy logic)를 연산할 수 있다.
DSP(200)에 의해 출력된 유저 상호작용 정보(I)는 일반적으로 예를 들어 물체 식별 데이터(oi)와 명령 식별 데이터(ci)를 포함하는 구조인 제어 장치 데이터(ac)를 포함하거나, 또는 이들 데이터에 기초하여 특정 장치(110)를 위한 의도된 명령을 식별하는 새로운 식별자를 포함한다. 유저 상호작용 정보(I)는 또한 화상 데이터(pd)를 포함할 수 있다.
도 3은 본 발명에 따라 도 1에 있는 101의 일실시예로서 지시 디바이스(300)를 개략적으로 도시한다. 도시된 모든 특징이 반드시 존재할 필요는 없으므로, 간단한 지시 디바이스는 카메라(302)와 예를 들어 피드백을 위한 디스플레이(316)를 포함할 수도 있다. 다수의 버튼, 예를 들어, 버튼(308)이 존재할 수 있다. 이것은 특정 명령만을 제공하기 위해 버튼을 누르는 것을 허용한다. 또한 지시 디바이스(300)의 유사한 움직임이 2개의 다른 명령에 대해 사용될 수 있는데, 하나는 버튼(308)을 동시에 누르고 사용되고 다른 하나는 버튼(308)을 동시에 누르지 않고 사용된다. 특성 투사기(320)는, 예를 들어, 지시된 위치 쪽으로 레이저 스폿을 투사하기 위해 존재할 수 있다. 지시 디바이스의 카메라는 외부 DSP(120)에 화상을 송신할 수 있으나, 이 카메라는 또한 DSP(200)를 자체 내에 포함할 수도 있다. 이런 방식으로, 지시 디바이스는 또한 옥외에서도 사용될 수 있다. 유저(100)가 소지하지 않는 지시 디바이스(103)는 또한 장치(110)나 룸을 모니터하는데 사용될 수 있다. 카메라에 의해 그 움직임을 감지하는 외에, 다른 움직임 감지 수단(304), 예를 들어, 자이로스코프 또는 차동 GPS가 또한 포함될 수 있다. 프로그래밍가능한 코드 생성기(309)와 무선 송신기(310)가 또한 장치(110)에 직접 명령을 송신하기 위해 존재할 수 있다. 피드백 수단은 추가적인 정보를 유저에게 제공하기 위해 존재할 수 있다. 예를 들어, 표시등(312), 사운드 생성 디바이스(314), 힘 피드백 수단(306), 및 특히 디스플레이(316)가 포함될 수 있다. 이 힘 피드백 수단은 장치의 진동이나 터치를 시뮬레이팅할 수 있는 작은 이동가능한 질량을 포함할 수 있다. 이 디스플레이는, 예를 들어, 지시된 영역의 중심을, 그래픽으로 생성된 십자(cross)를 가능하게는 촬영된 화상의 중심에 중첩하여 보여줄 수 있다. 이것은 또한 텔레비전 상에 디스플레이될 수 있다. 이와 유사하게, 전등(160)이 표시등(312) 대신에 피드백을 제공하기 위해 사용될 수 있다. 디스플레이(316) 상의 피드백은, 예를 들어, 움직임 궤적(400)과, 이 움직임 궤적(400)이 움직임 궤적 트레이닝 단계 동안 이전의 움직임 궤적과 얼마나 유사한지를 보여주어, DSP(200)가 안정한 제스처를 인식한다는 것을 유저(100)가 배울 수 있도록, 도와준다. 디스플레이(316)는, 다수의 화상 처리 단계 후의 화상, 예를 들어, 검출된 에지를 포함하고 식별된 디바이스를 명명하는 텍스트를 포함하는 화상을 보여주는 것에 의해 DSP(200)가 무엇을 보는지를 나타낼 수 있다.
유저 식별 수단(330), 예를 들어 지문 센서, 또는 패스워드나 퍼스널 스마트 카드를 위한 입력이 또한 존재할 수 있다. 이런 방식으로 DSP(200)는 유저(100)에 특정한 동작 모드로 스스로 설정할 수 있다. 유저는 심지어 자기가 거주하는 룸에 따라 다른 명령을 제공할 수 있다. 음성 인식 수단(340)이 지시 디바이스(300)의 움직임에 의하여 제공되는 명령을 보충하기 위해 또한 포함될 수 있다. 실제 세상에 대한 인터페이스 디바이스의 일종으로서 지시 디바이스(101)를 사용하는 것에 의해 게임이 플레이될 수 있다.
전술된 바와 같이, 본 발명은 다수의 이용가능한 전기 장치, 보다 구체적으로는, 디스플레이와 비교적 용이하게 상호작용할 수 있는 유저 상호작용 시스템을 제공하는 데에 이용가능하다.

Claims (17)

  1. 유저 상호작용 시스템(user interaction system)으로서,
    - 전기 장치와,
    - 공간 내 영역을 지시하기 위해 유저에 의해 동작가능한 휴대가능한 지시 디바이스와,
    - 화상을 촬영하는 카메라와,
    - 상기 화상을 수신하고 처리할 수 있으며, 상기 화상으로부터 유도된 유저 인터페이스 정보를 상기 전기 장치로 송신할 수 있는 디지털 신호 처리기
    를 포함하는, 유저 상호작용 시스템에 있어서,
    상기 카메라는, 동작시, 지시된 영역을 촬영하도록 상기 지시 디바이스에 연결된 것을 특징으로 하는, 유저 상호작용 시스템.
  2. 제 1 항에 있어서, 상기 유저 인터페이스 정보는 상기 전기 장치의 동작을 제어하기 위한 장치 제어 데이터를 포함하는, 유저 상호작용 시스템.
  3. 제 1 항에 있어서, 상기 디지털 신호 처리기는, 제 1 물체 특성 기술 특징(object characterizing feature)을 한 물체를 식별하기 위한 포함된 물체 식별 수단에 제공하는 것에 의해, 상기 카메라에 의해 촬영된 영역의 화상 내에 존재하는 그 물체나 그 물체의 일부분에 대한 특성을 기술하기 위한 물체 특성 기술 수단(object characterizing means)을 포함하며, 상기 물체 식별 수단은 물체 식별 데이터를 출력할 수 있으며, 상기 물체 식별 데이터로부터 상기 유저 인터페이스 정보가 구성되는, 유저 상호작용 시스템.
  4. 제 1 항에 있어서, 상기 디지털 신호 처리기는,
    - 상기 지시 디바이스의 움직임 궤적(motion trajectory)을 추정하며 제 1 움직임 특성 기술 시그너처(motion characterizing signature)를 출력하기 위한 움직임 궤적 추정 수단(motion trajectory estimation means)으로서, 시그너처는 상기 움직임 궤적의 수학적 개념(mathematical abstraction)인, 움직임 궤적 추정 수단과,
    - 상기 제 1 움직임 특성 기술 시그너처를 식별하며, 상기 제 1 움직임 특성 기술 시그너처와 대응하는 유저 상호작용 명령을 나타내는 명령 식별 데이터를 출력하기 위한 시그너처 식별 수단으로서, 상기 명령 식별 데이터로부터 상기 유저 인터페이스 정보가 구성되는, 시그너처 식별 수단
    을 포함하는, 유저 상호작용 시스템.
  5. 제 3 항 또는 제 4 항 중 어느 한 항에 있어서, 상기 디지털 신호 처리기는, 물체 식별 데이터로 표시된 물체와 명령 식별 데이터로 표시된 유저 상호작용 명령이 미리결정된 룰(rule)에 기초하여 보다 더 신뢰성있게 식별되는 확률을 더 개선하여, 보다 신뢰성있는 유저 인터페이스 정보를 산출할 수 있는 식별 개선 수단(identification improvement means)을 포함하는, 유저 상호작용 시스템.
  6. 제 5 항에 있어서, 상기 미리결정된 룰은, 다음과 같은 선험적으로 알려진 정보 유닛, 즉 {상기 지시 디바이스가 존재하는 룸, 유저에 의해 송출된 이전의 명령, 유저가 특정 명령을 송출한 통계적 빈도와 그 날의 시간} 중 적어도 하나를 고려하여, {물체 식별 데이터, 명령 식별 데이터} 쌍의 가능성에 대한 확률 연산을 포함하는, 유저 상호작용 시스템.
  7. 제 3 항에 있어서, 상기 디지털 신호 처리기는, 상기 물체 식별 수단에 물체 연관 데이터(object association data)를 제공하기 위한 물체 연관 수단을 포함하며,
    상기 물체 연관 데이터는, 연관된 물체 특성 기술 특징과 물체 관련 데이터인 데이터 개체(data entity) 중 적어도 하나를 포함하며,
    상기 물체 연관 데이터는,
    - 물체 템플릿 데이터가 물체 특성 기술 수단에 의해 출력된 제 2 물체 특성 기술 특징에 대해 미리결정된 연산을 수행하는 물체 트레이닝 수단(object training means)으로부터 획득되는 방법(method)과,
    - 물체 템플릿 데이터가 입력된 물체 데이터로부터 유도되는 방법
    중 적어도 하나의 방법으로부터 유래하는 물체 메모리에 있는 상기 물체 템플릿 데이터(object template data)로부터 유도가능한,
    유저 상호작용 시스템.
  8. 제 4 항에 있어서, 상기 디지털 신호 처리기는, 상기 시그너처 식별 수단에 시그너처 연관 데이터(signature association data)를 제공하기 위한 시그너처 연관 수단을 포함하며,
    상기 시그너처 연관 데이터는, 연관된 시그너처 특징과 명령 관련 데이터인 데이터 개체 중 적어도 하나를 포함하며,
    상기 시그너처 연관 데이터는,
    - 시그너처 템플릿 데이터가 상기 움직임 궤적 추정 수단에 의해 출력된 제 2 움직임 특성 기술 시그너처에 대해 미리결정된 연산을 수행하는 시그너처 트레이닝 수단(signature training means)으로부터 획득되는 방법과,
    - 명령 템플릿 데이터가 입력된 명령 데이터로부터 유도되는 방법
    중 적어도 하나의 방법으로부터 유래하는 시그너처 메모리에 있는 상기 시그너처 템플릿 데이터로부터 유도가능한,
    유저 상호작용 시스템.
  9. 제 4 항에 있어서, 상기 제 1 움직임 특성 기술 시그너처는 상기 카메라에 의해 각 시각에 촬영된 연속하는 화상에 기초하여 유도되는, 유저 상호작용 시스템.
  10. 제 1 항에 기재되어 있는 유저 상호작용 시스템에 사용하기 위한 지시 디바이스에 있어서,
    상기 지시 디바이스는 카메라를 포함하며 화상을 디지털 신호 처리기에 송신할 수 있는 것을 특징으로 하는, 지시 디바이스.
  11. 제 10 항에 있어서, 상기 지시 디바이스는, 상기 화상에 기초하여 전기 장치에 유저 인터페이스 정보를 송신할 수 있는 상기 디지털 신호 처리기에 화상을 송신할 수 있는, 지시 디바이스.
  12. 제 10 항에 있어서, 상기 디지털 신호 처리기는 상기 지시 디바이스에 포함된, 지시 디바이스.
  13. 제 10 항에 있어서, 상기 지시 디바이스의 움직임 궤적을 감지하기 위한 움직임 감지 수단(motion sensing means)을 포함하는, 지시 디바이스.
  14. 제 10 항에 있어서, 지시되는 영역 쪽으로 특성 패턴을 광학적으로 투사하기 위한 특성 투사기를 포함하는, 지시 디바이스.
  15. 제 10 항에 있어서, 프로그래밍가능한 유저 인터페이스 코드 생성기와, 이 코드를 상기 전기 장치에 송신하기 위한 무선 송신기를 포함하는, 지시 디바이스.
  16. 제 10 항에 있어서, 유저 인터페이스 정보의 피드백을 위한 피드백 수단을 포함하는, 지시 디바이스.
  17. 제 1 항에 기재되어 있는 유저 상호작용 시스템에 사용하기 위한 전기 장치에 있어서,
    상기 전기 장치에 대한 상기 지시 디바이스의 "지원되는 명령을 식별하라(identify supported commands)"는 호출(call)에 기초하여, 상기 전기 장치가 지원되는 명령에 관한 정보를 청구항 1에 기재되어 있는 지시 디바이스에 송신할 수 있게 하는 인터페이스 수단을 포함하는, 유저 상호작용 시스템에 사용하기 위한 전기 장치.
KR1020057008955A 2002-11-20 2003-10-28 지시 디바이스에 기초한 유저 인터페이스 시스템 KR20050075031A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02079816.1 2002-11-20
EP02079816 2002-11-20

Publications (1)

Publication Number Publication Date
KR20050075031A true KR20050075031A (ko) 2005-07-19

Family

ID=32319629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057008955A KR20050075031A (ko) 2002-11-20 2003-10-28 지시 디바이스에 기초한 유저 인터페이스 시스템

Country Status (11)

Country Link
US (4) US7940986B2 (ko)
EP (3) EP2012221A3 (ko)
JP (4) JP4243248B2 (ko)
KR (1) KR20050075031A (ko)
CN (4) CN101158886B (ko)
AT (1) ATE537528T1 (ko)
AU (1) AU2003274496A1 (ko)
DK (1) DK1573498T3 (ko)
ES (2) ES2425076T3 (ko)
PT (2) PT1573498E (ko)
WO (1) WO2004047011A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012030153A2 (ko) * 2010-09-02 2012-03-08 주식회사 엘앤와이비젼 비접촉식 입력장치
WO2022215895A1 (ko) * 2021-04-09 2022-10-13 삼성전자 주식회사 복수의 카메라를 포함하는 웨어러블 전자 장치

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2309259T3 (es) * 2003-08-29 2008-12-16 Trumpf Laser- Und Systemtechnik Gmbh Dispositivo para el mecanizado remoto de piezas de trabajo mediante un rayo laser de mecanizado.
JP2007519989A (ja) * 2003-12-18 2007-07-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 装置の制御のための方法及びシステム
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
JP2008508587A (ja) * 2004-07-28 2008-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 機器の制御方法
EP1784805B1 (en) * 2004-08-24 2014-06-11 Philips Intellectual Property & Standards GmbH Method for locating an object associated with a device to be controlled and a method for controlling the device
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
US8456534B2 (en) 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US7796116B2 (en) 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
JP2008529147A (ja) * 2005-01-28 2008-07-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 装置の制御方法
CN101185054B (zh) * 2005-05-31 2011-11-23 皇家飞利浦电子股份有限公司 用于控制设备的方法
US9465450B2 (en) * 2005-06-30 2016-10-11 Koninklijke Philips N.V. Method of controlling a system
EP1897010A1 (en) 2005-06-30 2008-03-12 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
JP2007011963A (ja) * 2005-07-04 2007-01-18 Fuji Xerox Co Ltd 端末装置による情報処理方法およびシステム
EP1742144B1 (en) * 2005-07-04 2018-10-24 Electrolux Home Products Corporation N.V. Household appliance with virtual data interface
CN100565438C (zh) 2005-07-11 2009-12-02 皇家飞利浦电子股份有限公司 控制在命令区域上控制点位置的方法和系统
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
EP1744290B1 (en) * 2005-07-15 2018-05-30 Samsung Electronics Co., Ltd. Integrated remote controller and method of selecting device controlled thereby
JP2009505201A (ja) * 2005-08-11 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ポインティング装置の動きを判定する方法
WO2007020549A2 (en) * 2005-08-12 2007-02-22 Koninklijke Philips Electronics N.V. Method of calibrating a control system for controlling a device
US7809214B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7942745B2 (en) † 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7513700B2 (en) 2005-12-13 2009-04-07 Sony Ericsson Mobile Communications Ab Image element identifier
KR100800998B1 (ko) * 2005-12-24 2008-02-11 삼성전자주식회사 홈 네트워크 기기 제어 장치 및 방법
DE102006015045A1 (de) * 2006-03-31 2007-10-04 Siemens Ag Fernbedienung, Gebäudesteuerungssystem und Verfahren zur Gebäudesteuerung
US8013838B2 (en) * 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US7835544B2 (en) 2006-08-31 2010-11-16 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for far field image absolute navigation sensing
US20080156989A1 (en) * 2006-12-28 2008-07-03 O2Micro Inc. Motion sensing/recognition by camera applications
AU2012216491B2 (en) * 2007-02-27 2014-01-09 Accenture Global Services Limited Video call device control
EP1968320B1 (en) 2007-02-27 2018-07-18 Accenture Global Services Limited Video call device control
JP4767200B2 (ja) * 2007-03-08 2011-09-07 任天堂株式会社 情報選択装置および情報選択プログラム
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
WO2008138280A1 (de) * 2007-05-10 2008-11-20 Siemens Aktiengesellschaft Bedienung von automatisierungsgeräten durch ein mobiles endgerät
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US7529542B1 (en) 2008-04-21 2009-05-05 International Business Machines Corporation Method of establishing communication between two or more real world entities and apparatuses performing the same
US7991896B2 (en) 2008-04-21 2011-08-02 Microsoft Corporation Gesturing to select and configure device communication
KR100908099B1 (ko) 2008-06-03 2009-07-16 엘지전자 주식회사 Ｄｔｖ, 3ｄ포인팅 디바이스 및 ｄｔｖ의 기능 실행 방법
KR100931403B1 (ko) * 2008-06-25 2009-12-11 한국과학기술연구원 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
FR2933212B1 (fr) * 2008-06-27 2013-07-05 Movea Sa Pointeur a capture de mouvement resolue par fusion de donnees
US8223121B2 (en) 2008-10-20 2012-07-17 Sensor Platforms, Inc. Host system and method for determining an attitude of a device undergoing dynamic acceleration
KR101499133B1 (ko) * 2008-10-28 2015-03-11 삼성전자주식회사 휴대 단말기의 메뉴수행 장치 및 방법
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US8515707B2 (en) 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
FR2942060B1 (fr) * 2009-02-11 2016-02-12 Oberthur Technologies Entite electronique apte a communiquer avec un lecteur et procede mis en oeuvre au sein d'une telle entite electronique
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
CN101937289B (zh) * 2009-06-30 2013-06-05 鸿富锦精密工业（深圳）有限公司 光学触控装置
WO2011019154A2 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US8457651B2 (en) * 2009-10-02 2013-06-04 Qualcomm Incorporated Device movement user interface gestures for file sharing functionality
CN102741779B (zh) * 2009-10-08 2016-08-03 萨姆万斯集团知识产权控股私人有限公司Acn131335325 共享数据的方法、系统和控制器
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
CN101908220A (zh) * 2010-07-09 2010-12-08 北京水晶石数字科技有限公司 一种大型活动演练方法和系统
CN101901496A (zh) * 2010-07-09 2010-12-01 北京水晶石数字科技有限公司 一种大型活动演练方法和系统
US8432264B1 (en) * 2010-07-23 2013-04-30 Tivo Inc. Motion-activated remote control backlight
US8613666B2 (en) * 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8760432B2 (en) 2010-09-21 2014-06-24 Visteon Global Technologies, Inc. Finger pointing, gesture based human-machine interface for vehicles
US20150153715A1 (en) * 2010-09-29 2015-06-04 Google Inc. Rapidly programmable locations in space
US9477302B2 (en) 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US9952671B2 (en) * 2010-10-12 2018-04-24 Nokia Technologies Oy Method and apparatus for determining motion
US8861797B2 (en) 2010-11-12 2014-10-14 At&T Intellectual Property I, L.P. Calibrating vision systems
JP5692904B2 (ja) * 2010-11-17 2015-04-01 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
US20120169482A1 (en) * 2011-01-05 2012-07-05 Ian Chen System and Method for Selecting a Device for Remote Control Based on Determined Navigational State of a Remote Control Device
WO2012114240A1 (en) * 2011-02-21 2012-08-30 Koninklijke Philips Electronics N.V. Estimating control feature from remote control with camera
US9179182B2 (en) 2011-04-12 2015-11-03 Kenneth J. Huebner Interactive multi-display control systems
DE102011101387A1 (de) * 2011-05-12 2012-11-15 Abb Ag Tragbares Anzeige- und Bediengerät
WO2013017991A1 (en) 2011-08-02 2013-02-07 Koninklijke Philips Electronics N.V. Remote control with first and second sensors
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
CN103135447A (zh) * 2011-11-24 2013-06-05 亚旭电子科技(江苏)有限公司 遥控器转接装置
CN103135791A (zh) * 2011-12-02 2013-06-05 捷达世软件（深圳）有限公司 电子装置控制系统及方法
EP2602691A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for gesture control, gesture server device and sensor input device
KR101874853B1 (ko) * 2011-12-29 2018-07-05 주식회사 알티캐스트 모바일 장치와 디스플레이 장치 간의 동기화 방법 및 장치, 모바일 장치, 디스플레이 장치
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
DE102012203458A1 (de) * 2012-03-05 2013-09-05 E.G.O. Elektro-Gerätebau GmbH Abgesetzte Bedieneinheit für ein Haushaltsgerät
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
JP5858850B2 (ja) * 2012-04-02 2016-02-10 三菱電機株式会社 空気調和機の室内機
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
CN103513753B (zh) * 2012-06-18 2017-06-27 联想(北京)有限公司 信息处理方法和电子设备
DE102012210784B4 (de) * 2012-06-25 2015-11-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transponder für Hausautomatisierungssysteme
TWI526041B (zh) * 2012-07-17 2016-03-11 廣達電腦股份有限公司 互動系統及互動方法
CN103853364A (zh) * 2012-11-29 2014-06-11 联想(北京)有限公司 一种触觉反馈方法、电子设备及触觉反馈系统
FR3000242A1 (fr) 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
FR3000241A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels.
WO2014106862A2 (en) * 2013-01-03 2014-07-10 Suman Saurav A method and system enabling control of different digital devices using gesture or motion control
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US10198080B1 (en) * 2013-03-11 2019-02-05 Amazon Technologies, Inc. Virtual user interface
TWI505175B (zh) * 2013-04-29 2015-10-21 Hon Hai Prec Ind Co Ltd 具有三維用戶介面的遠端控制裝置及其介面生成方法
CN103607538A (zh) 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 拍摄方法及拍摄装置
CN103605701A (zh) 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 通信对象的确定方法及确定装置
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
ES2542089B1 (es) * 2014-01-30 2016-05-04 Universidad De Extremadura Sistema de control remoto de dispositivos con láser
DE102014002431A1 (de) * 2014-02-19 2015-08-20 Franzkann* Herbold Und Herrmann Gbr (Vertrber. Ges.: Herbold, Christian, 76131 Karlsruhe) Verfahren und Vorrichtung zur Bedienung mehrerer elektronischer Geräte
US9807725B1 (en) 2014-04-10 2017-10-31 Knowles Electronics, Llc Determining a spatial relationship between different user contexts
WO2016050708A1 (en) * 2014-09-29 2016-04-07 Koninklijke Philips N.V. Remote control device, user device and system thereof, and method, computer program product and identification signal
WO2016050828A1 (en) * 2014-09-30 2016-04-07 Koninklijke Philips N.V. User interface system based on pointing device
US9668048B2 (en) 2015-01-30 2017-05-30 Knowles Electronics, Llc Contextual switching of microphones
US9983693B2 (en) 2015-03-13 2018-05-29 Adtile Technologies Inc. Spatial motion-based user interactivity
CN105141913A (zh) * 2015-08-18 2015-12-09 华为技术有限公司 可视化远程控制可触控设备的方法、系统和相关设备
US10427038B2 (en) 2016-01-21 2019-10-01 Toccata Gaming International, Llc Game console incorporating beam-splitter display and real world objects
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
DE102017100017A1 (de) * 2016-09-09 2018-03-15 Huf Secure Mobile GmbH Verfahren zum Auslösen einer Funktion und Handgerät
US11158187B2 (en) 2016-11-21 2021-10-26 Koninklijke Philips N.V. Remote-control device and user device using an identification signal
KR20180098079A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
US11709099B2 (en) 2019-07-01 2023-07-25 Snap-On Incorporated Method and system for calibrating imaging system
US11555743B2 (en) * 2019-07-01 2023-01-17 Snap-On Incorporated Method and system for calibrating imaging system
US10965914B2 (en) 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
US11445107B2 (en) 2019-08-08 2022-09-13 Qorvo Us, Inc. Supervised setup for control device with imager
US20220405317A1 (en) * 2021-06-18 2022-12-22 Google Llc Remote Control Device with Environment Mapping

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4576481A (en) * 1982-12-13 1986-03-18 Position Orientation Systems, Ltd. Passive optical position measurement system
US5045843B1 (en) * 1988-12-06 1996-07-16 Selectech Ltd Optical pointing device
US4963017A (en) * 1989-05-01 1990-10-16 General Electric Company Variable depth range camera
US5016107A (en) * 1989-05-09 1991-05-14 Eastman Kodak Company Electronic still camera utilizing image compression and digital storage
DE4005081A1 (de) * 1990-02-17 1991-08-22 Torres Peraza Mario Waage, insbesondere selbstbedienungswaage
JP3218716B2 (ja) 1992-07-31 2001-10-15 ソニー株式会社 入力装置、及び入力システム
JP2790965B2 (ja) * 1992-08-19 1998-08-27 富士通株式会社 光学式ポインティングシステム
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JPH0759170A (ja) 1993-08-19 1995-03-03 Toshiba Corp リモートコントロール装置
JP3186390B2 (ja) * 1993-12-27 2001-07-11 ソニー株式会社 電子機器制御システム、および電子機器制御装置
JP3262677B2 (ja) 1994-05-02 2002-03-04 株式会社ワコム 情報入力装置
JPH0814911A (ja) * 1994-07-04 1996-01-19 Sharp Corp 動作認識装置
JP3422383B2 (ja) 1994-09-05 2003-06-30 株式会社タイトー 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
US5926168A (en) * 1994-09-30 1999-07-20 Fan; Nong-Qiang Remote pointers for interactive televisions
JPH08331667A (ja) * 1995-05-30 1996-12-13 Oki Electric Ind Co Ltd ポインティングシステム
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
JP3475419B2 (ja) * 1995-10-11 2003-12-08 ソニー株式会社 テレビジョン受像機
KR0164089B1 (ko) * 1995-12-20 1998-12-01 양승택 무선원격제어 장치 및 방법
DE19548776A1 (de) * 1995-12-23 1997-06-26 Thomson Brandt Gmbh Verfahren zur Fernbedienung von elektronischen Geräten und Vorrichtung zur Fernbedienung von elektronischen Geräten sowie elektronisches Gerät
US5719622A (en) * 1996-02-23 1998-02-17 The Regents Of The University Of Michigan Visual control selection of remote mechanisms
JPH09230991A (ja) 1996-02-23 1997-09-05 Fuji Xerox Co Ltd 情報処理装置
JPH10198506A (ja) * 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JPH1186038A (ja) 1997-03-03 1999-03-30 Sega Enterp Ltd 画像処理装置、画像処理方法及び媒体並びにゲーム機
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
EP1073946A1 (en) 1998-04-30 2001-02-07 C Technologies AB Control device and method of controlling an object
JPH11338633A (ja) 1998-05-21 1999-12-10 Toshiba Fa Syst Eng Corp ポインティングデバイス、コンピュータ装置及びコンピュータシステム
US7218243B2 (en) * 1998-07-23 2007-05-15 Universal Electronics Inc. System and method for automatically setting up a universal remote control
JP4176230B2 (ja) 1999-03-19 2008-11-05 株式会社ルネサステクノロジ 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
DE60043417D1 (de) * 1999-03-31 2010-01-14 Koninkl Philips Electronics Nv Fernsteuerungsanordnung für eine anzeigevorrichtung
JP2000300843A (ja) 1999-04-19 2000-10-31 Taito Corp ゲーム機の入力装置
JP2001008279A (ja) * 1999-06-18 2001-01-12 Sony Corp リモートコントローラおよびリモートコントロール方法、並びに媒体、機器および表示方法、並びに媒体
US6275214B1 (en) 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
EP1071285A1 (en) * 1999-07-19 2001-01-24 Texas Instruments Inc. Vertical compensation in a moving camera
US20010010514A1 (en) 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
WO2001052230A1 (en) 2000-01-10 2001-07-19 Ic Tech, Inc. Method and system for interacting with a display
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
JP2001236174A (ja) * 2000-02-25 2001-08-31 Fujitsu Ltd 手書き文字入力装置及び手書き文字認識方法
EP1184982B1 (en) * 2000-08-24 2009-05-06 Sony Deutschland GmbH Remote control device
US6489986B1 (en) * 2000-09-29 2002-12-03 Digeo, Inc. Remote control device for video and audio capture and communication
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP2002196877A (ja) 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
DE10110979A1 (de) 2001-03-07 2002-09-26 Siemens Ag Anordnung zur Verknüpfung von optisch erkannten Mustern mit Informationen
JP2002290853A (ja) * 2001-03-22 2002-10-04 Canon Inc テレビジョン放送受信装置およびテレビジョン放送受信方法およびテレビジョン放送受信プログラム
EP1374139B1 (en) * 2001-03-29 2011-05-04 LASX Industries, Inc. Controller for a laser using predictive models ofa laser beam motion system
US20020149617A1 (en) * 2001-03-30 2002-10-17 Becker David F. Remote collaboration technology design and methodology
JP3811025B2 (ja) * 2001-07-03 2006-08-16 株式会社日立製作所 ネットワーク・システム
GB0117418D0 (en) * 2001-07-17 2001-09-12 Storm Mason R Litecam
JP4304337B2 (ja) * 2001-09-17 2009-07-29 独立行政法人産業技術総合研究所 インタフェース装置
GB2381686A (en) * 2001-10-31 2003-05-07 Hewlett Packard Co Apparatus for recording and reproducing pointer positions on a document.
JP3706071B2 (ja) * 2002-01-15 2005-10-12 株式会社エルモ社 撮像装置
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030156073A1 (en) * 2002-02-20 2003-08-21 Koninlijke Philips Electronics N.V. Apparatus for adjusting proximate video monitors to output substantially identical video images and corresponding methods therefor
US20040048663A1 (en) * 2002-09-10 2004-03-11 Zeroplus Technology Co., Ltd. Photographic pointer positioning device
WO2005109859A2 (en) * 2004-05-01 2005-11-17 Eliezer Jacob Digital camera with non-uniform image resolution

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012030153A2 (ko) * 2010-09-02 2012-03-08 주식회사 엘앤와이비젼 비접촉식 입력장치
WO2012030153A3 (ko) * 2010-09-02 2012-05-03 주식회사 엘앤와이비젼 비접촉식 입력장치
WO2022215895A1 (ko) * 2021-04-09 2022-10-13 삼성전자 주식회사 복수의 카메라를 포함하는 웨어러블 전자 장치

Also Published As

Publication number Publication date
US20060050052A1 (en) 2006-03-09
JP5122517B2 (ja) 2013-01-16
US20140062879A1 (en) 2014-03-06
US8970725B2 (en) 2015-03-03
ATE537528T1 (de) 2011-12-15
CN1714335A (zh) 2005-12-28
US20090251559A1 (en) 2009-10-08
PT2093650E (pt) 2013-07-25
JP2009217829A (ja) 2009-09-24
EP1573498A2 (en) 2005-09-14
CN101101520A (zh) 2008-01-09
JP4243248B2 (ja) 2009-03-25
EP2012221A3 (en) 2009-05-13
AU2003274496A8 (en) 2004-06-15
US8537231B2 (en) 2013-09-17
AU2003274496A1 (en) 2004-06-15
EP2012221A2 (en) 2009-01-07
CN101101512A (zh) 2008-01-09
US8971629B2 (en) 2015-03-03
JP2006506728A (ja) 2006-02-23
ES2425076T3 (es) 2013-10-11
EP2093650B1 (en) 2013-05-15
PT1573498E (pt) 2012-03-22
EP1573498B1 (en) 2011-12-14
WO2004047011A2 (en) 2004-06-03
US7940986B2 (en) 2011-05-10
CN101101520B (zh) 2012-11-14
JP2009245444A (ja) 2009-10-22
JP2009134718A (ja) 2009-06-18
CN100334531C (zh) 2007-08-29
WO2004047011A3 (en) 2005-07-07
CN101158886A (zh) 2008-04-09
JP4491495B2 (ja) 2010-06-30
CN101158886B (zh) 2012-05-16
DK1573498T3 (da) 2012-03-19
EP2093650A1 (en) 2009-08-26
US20110187643A1 (en) 2011-08-04
ES2378665T3 (es) 2012-04-16

Similar Documents

Publication Publication Date Title
US8970725B2 (en) User interface system based on pointing device
JP2009134718A5 (ko)
US6414672B2 (en) Information input apparatus
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
KR101224351B1 (ko) 제어될 디바이스에 연관된 객체를 찾아내는 방법 및 상기 디바이스를 제어하는 방법
KR20110109883A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20200258515A1 (en) Information processing device, information processing method, and program
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP4712754B2 (ja) 情報処理装置及び情報処理方法
JP4687820B2 (ja) 情報入力装置及び情報入力方法
US20140214185A1 (en) Somatosensory Household Electricity Control Equipment and System Thereof
KR20030021988A (ko) 영상처리를 이용한 원격 손가락 조종기
KR101471304B1 (ko) 가상 리모트 컨트롤 장치 및 그 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid