KR20070043807A - 디바이스를 제어하는 방법 - Google Patents

디바이스를 제어하는 방법 Download PDF

Info

Publication number
KR20070043807A
KR20070043807A KR1020077001986A KR20077001986A KR20070043807A KR 20070043807 A KR20070043807 A KR 20070043807A KR 1020077001986 A KR1020077001986 A KR 1020077001986A KR 20077001986 A KR20077001986 A KR 20077001986A KR 20070043807 A KR20070043807 A KR 20070043807A
Authority
KR
South Korea
Prior art keywords
image
pointing device
control
pointing
target area
Prior art date
Application number
KR1020077001986A
Other languages
English (en)
Inventor
요헨 페터스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070043807A publication Critical patent/KR20070043807A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K11/00—Methods or arrangements for graph-reading or for converting the pattern of mechanical parameters, e.g. force or presence, into electrical signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 디바이스(D1,D2,D3,D4)를 제어하는 방법에 관한 것으로서, 상기 방법은, 제어될 디바이스(D1,D2,D3,D4)의 특성을 나타내는 객체(B1,B1',B2,B3,B4)에서 카메라(3)를 포함하는 포인팅 디바이스(2)를 지향시키고 상기 특성을 위한 변화의 정도(5)를 지정하기 위해 포인팅 디바이스(2) 상의 제어 입력(4)을 조작하는 단계를 포함하는, 디바이스를 제어하는 방법에 관한 것이다. 포인팅 디바이스(2)에 의해 지향되는 타깃 영역(A)의 이미지(6)는 카메라(3)에 의해 생성된다. 타깃 영역 이미지(6)는 선택된 객체(B1,B1',B2,B3,B4)를 식별하고 선택된 객체(B1,B1',B2,B3,B4)에 기초하여 제어될 디바이스(D1,D2,D3,D4)의 특성을 추론하도록 해석된다. 이후 제어 신호(7)가 추론된 특성을 위한 변화의 정도(5)에 따라 제어될 디바이스(D1,D2,D3,D4)를 위해 생성된다. 본 발명은 또한 본 방법을 적용하기에 적합한 포인팅 디바이스(2), 디바이스 제어 인터페이스(8,8') 및 이러한 포인팅 디바이스(2)와 디바이스 제어 인터페이스(8,8')를 포함하는 시스템에 관한 것이다.

Description

디바이스를 제어하는 방법{METHOD FOR CONTROL OF A DEVICE}
본 발명은 일반적으로 디바이스를 제어하는 방법에 관한 것이며 보다 상세하게는 제어될 디바이스와 상호작용하는 포인팅 디바이스 및 디바이스 제어 인터페이스에 관한 것이다.
레이저 포인터가 지향하는 타깃 상에 광 포인트가 보이게 하는 레이저 포인터 또는 레이저 광원을 포함하는 "봉(wands)"과 같은 포인터를 사용하는 것이 최근에 널리 사용되고 있다. 이러한 포인터는 본질적으로 수동 디바이스(passive devices)인데 그 이유는 이들 포인터가 일반적으로 청중들에게 투사하거나 스크린 상의 항목을 지시하기 위해 객체(object)를 가리키는데에만 사용될 수 있기 때문이다. 그러나, 이러한 사용은 그러한 상황으로만 제한되며 그래서 레이저 포인터는 예를 들어 디바이스를 제어하기 위해서는 사용될 수 없다.
제어 기능과 결합된 레이저 포인터는 US 2003/178554A1에 제안되어 있다. 여기서, 제어될 디바이스는 레이저로 작동되는 포토 스위치(photo switch)를 구비한다. 핸드헬드 레이저는 유닛 상에 활성 또는 민감성 영역을 지나 스위프(sweep)하여, 이 유닛이 예를 들어 'on'과 'off' 사이에서 그 상태를 변경하게 한다. 이런 유형의 제어 시스템은 제어될 디바이스가 레이저로 작동되는 포토 스위치를 구비할 것을 요구하며, 이로 그러한 스위치를 구비할 수 없는 디바이스를 제어하는 데에는 적절치 않게 된다. 레이저 포인터가 다수의 디바이스를 제어하는데 사용되어야 하는 경우에는, 이들 디바이스 각각이 그러한 스위치를 구비하여야 한다. 나아가, 그러한 스위치의 기능은 on/off와 같은 2가지 특성 상태 사이를 간단히 토글(toggling)하는 것으로 제한되며 이로 그러한 특성의 변화의 정도(degree of change)를 나타내는데에는 덜 적합하다. 전술된 포토 스위치는 제어되는 디바이스에 와이어(wire)에 의하여 직접 연결되어, 이로 인해 불필요한 와이어 배선을 절감하도록 스위치 자체가 디바이스 자체에 직접 포함되어야 한다. 이 레이저 포인터는 디바이스 즉 스위치를 제어하는 것과 효과적으로 결합된다. 그러므로, 유저는 스위치를 작동시키기 위하여 레이저 포인터를 꽤 정확하게 스위치로 지시하여야 한다. 이것은 유저가 디바이스의 상태를 변화시키기 위하여 디바이스에 물리적으로 접근해야 하며 레이저 포인터를 디바이스로 직접 지향(aim)시켜야 한다는 것을 의미한다. 유저는 예를 들어 이런 유형의 레이저 포인트를 사용하여 집의 다른 방에 위치된 디바이스를 제어할 수는 없다.
그러므로, 본 발명의 목적은 포인팅 디바이스로 임의의 전자적으로 또는 전기적으로 제어가능한 디바이스를 제어할 수 있는 보다 편리하고 보다 신축적으로 적용가능한 방법을 제공하는 것이다.
이를 위해, 본 발명은, 디바이스를 제어하는 방법으로서, 상기 방법은, 제어될 디바이스의 특성을 나타내는 객체에 카메라를 포함하는 포인팅 디바이스를 지향시키고 이 특성에 대한 변화의 정도를 지정하기 위해 포인팅 디바이스 상에 제어 입력을 조작하는 단계와, 포인팅 디바이스에 의해 지향된 타깃 영역의 이미지를 생성하는 단계와, 선택된 객체를 식별하기 위해 타깃 영역 이미지를 해석하는 단계와, 선택된 객체에 기초하여 제어될 디바이스의 특성을 추론하는 단계와, 추론된 특성에 대한 변화의 정도에 따라 제어될 디바이스를 위한 제어 신호를 생성하는 단계를 포함하는, 디바이스를 제어하는 방법에 관한 것이다.
본 발명에 따른 방법에 사용하기 위한 포인팅 디바이스는 포인팅 디바이스가 지향되는 방향으로 타깃 영역의 이미지를 생성하기 위한 카메라와, 특성의 변화의 정도를 지정하기 위한 제어 입력을 포함한다.
본 발명을 적용하기 위해, 디바이스 제어 인터페이스가 또한 제어될 디바이스와 상호작용하기 위해 요구된다. 그러한 디바이스 제어 인터페이스는 적어도 이미지를 분석하기 위한 이미지 분석 유닛과, 변화의 정도를 제어될 디바이스를 위한 제어 신호로 변환하기 위한 제어 신호 생성 유닛과, 이 제어 신호를 제어될 디바이스에 전달하기 위한 어플리케이션 인터페이스를 포함한다. 후술되는 바와 같이, 디바이스 제어 인터페이스는 포인팅 디바이스에 포함될 수 있으며 또는 적절한 통신 인터페이스에 의하여 포인팅 디바이스와 연결된 외부 유닛으로 실현될 수 있다.
본 발명에 따른 방법은 포인팅 디바이스를 위한 완전히 새로운 어플리케이션을 개시한다. 구체적으로, 그러한 포인팅 디바이스의 도움으로, 유저는 임의의 전자적으로 또는 전기적으로 제어가능한 디바이스 또는 어플리케이션의 온도와 볼륨 등과 같은 특성이 전용 센서나 스위치를 요구하지 않는 디바이스 또는 어플리케이션의 일반 방향으로 포인팅 디바이스를 단순히 지향함으로써 적절히 증가 또는 감소시킬 수 있어, 이로 인해 포인팅 디바이스로부터 디바이스를 제어하는 것을 효과적으로 분리할 수 있다. 편리한 포인팅 방식과 함께 포인팅 디바이스의 이러한 성능은 본 발명을 일상 생활의 많은 상황에서 보다 파워풀하고 실용적인 도구로 만들 수 있도록 결합한다.
종속 청구항과 후속하는 상세한 설명은 본 발명의 특히 유리한 실시예와 특징을 개시한다.
유저가 포인트 디바이스를 지향할 수 있는 객체는 가전 전자 디바이스, 가정용 어플라이언스와 같은 디바이스, 또는 광 스위치, 스피커 등과 같은 임의의 타입의 전기 또는 전자적으로 제어되는 디바이스일 수 있다. 동등하게, 객체는 제어될 디바이스를 나타내는 임의의 수동 항목(item)일 수 있다. 예를 들어, 유저는 포인팅 디바이스를 램프에 지향시킬 수 있는 반면, 제어될 연관된 디바이스는 사실 이 램프를 턴온 또는 턴오프하는 광 스위치이다. 객체와 이 객체가 나타내는 실제 디바이스 사이의 관계는 바람직하게는 다수의 디바이스 또는 어플리케이션을 제어할 수 있는 디바이스 제어 인터페이스를 훈련(training)하는 이전 단계(prior step)에서 미리 한정될 수 있다.
객체의 이미지를 생성하기 위한 카메라는 포인팅 디바이스에 포함되는 것이 바람직하지만 동등하게 포인팅 디바이스에 장착될 수도 있으며 또 바람직하게는 유저에 의해 목표로 된 포인팅 디바이스의 정면에 있는 영역의 이미지를 생성하는 방식으로 배향된다. 카메라는 기본 방식으로 구성될 수 있으며 또는 이 카메라는 필터의 줌(zoom) 성능이나 특정 타입과 같은 파워풀한 기능(powerful functions)을 특징으로 할 수 있다.
그러므로, '타깃 영역(target area)'은 카메라에 의해 이미지로 촬상될 수 있는 포인팅 디바이스의 정면에 있는 영역이다. 타깃 영역의 이미지 즉 타깃 영역 이미지는 지향되는 객체의 작은 서브세트만을 커버할 수 있으며 또는 이 타깃 영역 이미지는 전체 객체를 포함할 수 있으며 또는 이 타깃 영역 이미지는 객체를 둘러싸는 영역을 더 포함할 수 있다. 전체 객체에 대해 타깃 영역 이미지의 사이즈는 객체의 사이즈, 포인팅 디바이스와 객체 사이의 거리 및 카메라 자체의 성능에 따라 달라질 수 있다. 유저는 예를 들어 유저가 방의 다른 끝에 서 있을 때 포인팅 디바이스가 객체로부터 소정 거리에 있도록 위치될 수 있다. 동등하게, 유저는 보다 디테일한 이미지를 얻기 위해 객체에 보다 가까이 포인팅 디바이스를 유지할 수 있다.
직관적인 사용을 위해, 레이저 광원은 바람직하게는 광 포인트(light point)가 다소 타깃 영역의 중심에 있게 보이도록 지향된다. 집중된 광빔의 소스는 현재 이용가능한 많은 유형의 레이저 포인터에 사용되는 바와 같은 레이저 광원일 수 있으며 또 바람직하게는 집중된 광빔이 카메라에 의해 촬상될 수 있는 타깃 영역 내의 하나의 포인트를 지향할 수 있도록 포인팅 디바이스에 또는 포인팅 디바이스 상에 배열된다. 따라서, 이후에서는, 집중된 광빔의 소스가 본 발명의 범위를 어떻게든 제한하지 않는 레이저 광원이라고 가정된다.
디바이스의 특성은 램프의 밝기, 가열 요소의 온도, 스피커의 소리 크기, 메뉴 옵션의 선택 등과 같은 외부의 영향으로 변동될 수 있는 임의의 특성(property)이다. 가전 전자 디바이스의 특성은 채널 식별자를 증가 또는 감소시켜서 변동될 수 있는 현재 선택된 라디오 또는 TV 채널을 포함할 수 있다. 그러한 디바이스의 다른 특성은 통상 증가/감소 기능에 의해 채워지는 스크린 상에 디스플레이 되는 메뉴 내 대화 항목(dialog items)일 수 있다. 하나의 예로는 영화를 녹화하도록 비디오 레코더를 프로그래밍할 때 'Showview' 번호를 입력하는 것일 수 있다. 이 경우에, 특정 특성을 나타내는 객체는 메뉴 옵션이며 유저는 이 옵션이 디스플레이되는 스크린으로 포인팅 디바이스를 지향함으로써 이 메뉴 옵션으로부터 어느 하나를 선택할 수 있다.
유저가 포인팅 디바이스를 지향하는 객체를 용이하게 결정하기 위하여 디바이스 제어 인터페이스의 이미지 분석 유닛은 바람직하게는 통상적인 이미지 처리 기술이나 컴퓨터 비전 알고리즘을 적용함으로써 다수의 미리 한정된 템플릿과 타깃 영역의 이미지를 비교한다. 단일 미리 한정된 템플릿은 비교를 하는데 충분할 수 있으며, 또는 이미지 데이터를 2개 이상의 템플릿과 비교하는 것이 필요할 수 있다. 일단 객체가 템플릿에서 식별되면 연관된 디바이스 및 변동될 수 있는 특성은 그 결과로서 추론되거나 결정될 수 있다. 예를 들어, 유저가 스피커의 스피커 박스로 포인팅 디바이스를 지향하고 이와 동시에 제어 입력을 누르면, 스피커 박스의 이미지는 일치하는 것이 발견될 때까지 템플릿과 비교되며, 이로 연관된 디바이스 즉 '스피커' 또는 보다 가능하게는 스피커를 구동하는 증폭기가 식별될 수 있으며 그 연관된 특성 즉 '볼륨'이 추론될 수 있다.
미리 한정된 템플릿은 디바이스 제어 인터페이스의 내부 메모리에 저장될 수 있으며 또는 외부 소스로부터 동일하게 액세스될 수 있다. 바람직하게는, 디바이스 제어 인터페이스는 예를 들어, 내부 또는 외부 메모리, 메모리 스틱, 인트라넷, 또는 인터넷으로부터 객체에 대한 미리 한정된 템플릿을 얻기 위한 적절한 인터페이스를 구비한 액세스 유닛을 포함한다. 이런 방식으로, 본 발명에 따른 포인팅 디바이스에 의해 제어될 수 있는 어플라이언스의 제조사는 이들 어플라이언스에 대한 템플릿을 디바이스의 유저에 이용가능하게 만들 수 있다. 템플릿은 스피커, 라디에이터, 쿠커 등의 이미지와 같은 임의의 종류의 객체를 그래픽으로 표시한 것일 수 있다. 만약 객체가 예를 들어 텔레비전 스크린 상에 디스플레이되는 메뉴의 옵션이라면, 템플릿은 텔레비전을 위한 다수의 메뉴 옵션의 위치를 보여줄 수 있으며 이로 유저가 텔레비전으로 포인팅 디바이스를 지향시킬 때 타깃 영역의 이미지 데이터를 분석함으로써 이미지 분석 유닛은 어느 옵션이 유저에 의해 지향되고 있는지를 결정할 수 있다.
본 발명에 따라, 유저는 디바이스와 연관된 객체로 포인팅 디바이스를 지향하면서 포인팅 디바이스 상에 제어 입력을 조작함으로써 디바이스의 특성이 변동될 수 있게 할 수 있다. 그러한 제어 입력은 유저가 누르거나 밀거나 그밖에 작동시킬 수 있는 버턴, 손잡이, 다이얼 등일 수 있다. 동일하게, 제어 입력은 유저에 의해 관리되는 터치를 등록할 수 있는 포인팅 디바이스 상에 터치 감응 영역을 포함할 수 있다. 그러한 제어 입력에 의하여, 유저는 '위로(up)' 또는 '아래로(down)', '좌로(left)' 또는 '우로(right)', '플러스(plus)' 또는 '마이너스(minus)' 등과 같이 특성이 변화되어야 하는 다수의 가능한 '방향' 중 임의의 방향을 직관적으로 지시할 수 있다. 제어 입력의 트랙 볼(tracker ball)이나 조이스틱(joystick) 타입은 한편으로 다수의 방향으로 회전 또는 이동될 수 있는 객체, 예를 들어 극장 등에서 사용되는 무대 조명 요소 또는 다른 자동화된 어플라이언스 또는 장난감을 위한 가능성의 수를 증가시킬 수 있다. 선택이 이루어지고 있는 것을 나타내기 위해 포인팅 디바이스에는 추가적인 버턴이 포함될 수 있다. 예를 들어, 유저는 특정 메뉴 항목에 도달하기 위해 위/아래 제어 입력에 의하여 메뉴 계층 레벨을 거쳐 네비게이팅할 수 있으며 이후 추가적인 버턴을 누름으로써 그 항목을 나타낼 수 있다.
유저는 관련 특성이 제어 입력의 적절한 조작에 의해 변화되어야 하는 정도를 지시한다. 예를 들어, 버턴의 형태인 제어 입력을 단지 간단하게 누름으로써, 유저는 연관된 특성이 단지 약간만 변화되어야 하는 것을 지시할 수 있다. 한편, 유저가 버턴 상에 압력을 유지하거나 버턴을 반복적으로 누르는 경우, 유저는 그 특성이 비례적으로 더 크게 변화되어야 하는 것을 지시한다. 이 '변화의 정도(degree of change)'는 신호 형태로 제어 입력에 의해 출력된다.
바람직하게는, 제어될 디바이스(들)와 상호작용하기 위한 디바이스 제어 인터페이스는 포인팅 디바이스에 포함될 수 있다. 이 경우에, 디바이스 제어 인터페이스는 수신기를 요구하지 않는데 그 이유는 이 인터페이스가 카메라와 제어 입력으로부터 이미지와 변화의 정도를 각각 직접 획득할 수 있기 때문이다. 이미지 분석 및 제어 신호의 생성은 포인팅 디바이스에서 일어날 수 있으며 이 제어 신호는 포인팅 디바이스로부터 제어될 디바이스로 적절한 형태로 직접 송신될 수 있다.
한편, 이들 유닛의 성능은 바람직하게는 손으로 편리하게 잡을 수 있도록 구현되는 포인팅 디바이스의 물리적 크기로 제한될 수 있으므로, 그러한 이미지 분석 유닛은 기본적인 이미지 분석만을 위해서는 충분할 수 있는 한편, 더 큰 유닛을 필요로 하는 보다 진전된 이미지 처리는 제어신호의 생성과 함께 외부 디바이스 제어 인터페이스에서 일어날 수 있다.
본 발명의 특히 바람직한 실시예에서, 포인팅 디바이스는 이미지와 변화의 정도에 관한 정보를 외부 디바이스 제어 인터페이스로 송신하기 위한 송신기 뿐만 아니라 디바이스 제어 인터페이스를 포함한다. 대안적으로, 포인팅 디바이스는 이미지 분석 및 제어 신호 생성 기능 없이 수행될 수 있으며, 이로 이들 작업이 외부 디바이스 제어 인터페이스에 의해 수행되게 허용하며 이에 의해 포인팅 디바이스는 더 작고 더 복잡한 형태로 실현될 수 있게 한다.
전술된 외부 디바이스 제어 인터페이스는 독립형 디바이스일 수 있으며 또는 이미 기존의 홈 엔터테인먼트 디바이스, 즉 퍼스널 컴퓨터에 포함될 수 있으며 또는 전용 디바이스 제어 인터페이스로 구현될 수 있다. 포인팅 디바이스로부터 정보를 수신하기 위해, 외부 디바이스 제어 인터페이스는 이미지 및 변화의 정도를 수신하기 위한 수신 유닛을 특징으로 한다. 홈 환경 내에서 디바이스 제어 인터페이스는 이미지 처리 및 제어 신호의 생성이 중앙에서 일어나는 반면, 홈 주위에 분산된 다수의 수신 유닛은 임의의 수의 로케이션으로부터 이미지 데이터 및 변화의 정도를 수신할 수 있도록 구현될 수 있다. 동등하게, 홈 주위에 또한 분산된 다수의 어플리케이션 인터페이스는 제어 신호를 임의의 방에 위치된 디바이스 또는 어플라이언스로 송신할 수 있다. 따라서, 유저는 하나의 방에 있는 객체로 포인팅 디바이스를 지향시켜서 다른 방에 위치된 디바이스를 제어할 수 있다.
명백히, 디바이스 제어 인터페이스는 단일 포인팅 디바이스와 사용하는 것으로 제한되지 않는다. 이미지 데이터 및 변화의 정도에 관한 정보를 디바이스 제어 인터페이스로 송신하기 위해 임의의 수의 포인팅 디바이스가 사용될 수 있다. 가족의 모든 구성원이 그 포인팅 디바이스를 구비할 수 있다. 진전된 구현으로는 이미지 데이터 및 변화의 정도와 함께 인증 코드를 송신하는 포인팅 디바이스를 예상할 수 있으며, 이로 인해 예를 들어 어린 아이들이 부주의하게 히터를 작동시키지 않게 할 수 있다. 인증 코드는 포인팅 디바이스에서 배선될 수 있으며 또는 예를 들어 제어 입력에 의하여 일정 방식으로 유저에 의해 입력될 수 있다.
포인팅 디바이스와 디바이스 제어 인터페이스의 유용성을 극대화하기 위해, 유저는 객체를 인식하고 제어될 특정 디바이스와 이 객체를 연관시키기 위해 디바이스 제어 인터페이스를 훈련(train)할 수 있다. 이를 위해, 디바이스 제어 인터페이스는 키보드나 키패드와 같은 유저 인터페이스를 특징으로 할 수 있으며, 이로 유저는 템플릿 이미지나 디바이스 제어 파라미터에 관한 정보를 입력할 수 있다. 예를 들어, 유저는 카메라 또는 심지어 포인팅 디바이스의 카메라를 사용하여 자기 집에 있는 라디에이터의 화상을 촬상하고 이 이미지를 디바이스 제어 인터페이스의 내부 메모리로 전송할 수 있다. 디바이스 제어 인터페이스에 대한 적절한 입력 명령에 의하여 예를 들어 키보드나 키패드를 통해 명령을 입력함으로써 유저는 라디에이터 객체의 이미지를 적절한 디바이스, 이 경우에 히터 시스템에 할당할 수 있다. 이런 방식으로 유저는 임의의 객체를 임의의 디바이스에 할당할 수 있으며 또는 다수의 다른 객체를 디바이스에 할당할 수 있다. 예를 들어, 유저는 이 램프를 제어하는 스위치의 이미지 뿐만 아니라 램프의 이미지를 실제 제어될 디바이스인 광 스위치에 할당할 수 있다. 제어 입력을 조작하면서 이들 객체 중 어느 하나로 포인팅 디바이스를 지향하는 것은 광 스위치를 제어하는 효과를 가진다. 유사하게, 유저는 자기 집에 있는 라디에이터의 일부 또는 전부의 이미지를 히팅 시스템(heating system) 디바이스에 할당할 수 있으며, 이로 인해 유저는 임의의 방에 있는 라디에이터로 포인팅 디바이스를 지향시키고 제어 입력을 조작함으로써 히터를 제어하도록 포인팅 디바이스를 사용할 수 있다. 나아가, 동작의 유형이 객체의 다른 부분이 다른 특성과 연관되는 객체의 특정 부분을 지시함으로써 지정될 수 있다. 예를 들어, 라디에이터의 써모스태트(thermostat : 온도조절장치)를 지시하는 것은 이 라디에이터의 온도만이 조절되는 것을 나타낼 수 있는 반면, 라디에이터의 몸체를 지시하는 것은 히팅 시스템의 라디에이터 전부에 그 변화의 정도가 적용되어야 하는 것을 의미할 수 있다.
타깃 영역의 이미지는 전체 이미지, 예를 들어, 개선된 윤곽, 코너, 에지 등의 의미있는 포인트에 관한 이미지 데이터만을 포함할 수 있으며 또는 화상 품질이 디테일한 이미지일 수 있다. 유저가 포인팅 디바이스를 지향하는 객체를 결정하기 위해 이미지 데이터를 처리하기 위해, 유저가 지향한 객체 내 하나의 포인트, 즉 타깃 포인트를 찾는 것은 컴퓨터 비전 기술을 적용하면 편리하다.
타깃 영역의 이미지는 유저가 포인팅 디바이스를 지향하고 있는 실제 객체 이외에 다른 항목이나 객체를 포함할 수 있기 때문에, 선택되는 객체는 바람직하게는 타깃 영역에 있는 특정 타깃 포인트를 포함하는 이미지 내의 객체를 식별함으로써 결정된다. 본 발명의 일 실시예에서, 타깃 영역 이미지 내에 고정된 포인트, 바람직하게는 포인팅 디바이스의 종축 방향의 가상 라인을 객체까지 연장함으로써 얻어진 타깃 영역 이미지의 중심이 타깃 포인트로서 사용될 수 있다.
컴퓨터 비전 알고리즘을 사용하여 객체의 타깃 영역 이미지를 처리하는 방법은 타깃 이미지에 식별 포인트를 검출하는 단계와, 객체의 템플릿 내 대응하는 포인트를 결정하는 단계와, 타깃 이미지 내 포인트를 템플릿 내 대응하는 포인트로 맵핑하는 변환을 생성하는 단계를 포함한다. 타깃 영역 이미지의 식별 포인트는 객체의 식별 포인트일 수 있으며 또는 동등하게 객체를 둘러싸는 영역 내 포인트일 수 있다. 이 변환은 객체에 대해 포인팅 디바이스의 위치와 측면을 결정하기 위해 사용될 수 있으며 이로 객체와 포인팅 디바이스의 축의 교차점이 템플릿에 위치될 수 있다. 템플릿 내 이 교차점의 위치는 객체의 타깃 포인트에 대응하며 어느 객체가 유저에 의해 타깃으로 지정되었는지를 용이하게 결정하기 위해 사용될 수 있다. 이런 방식으로, 이런 방식으로, 미리 한정된 템플릿과 타깃 영역 이미지를 비교하는 것은 식별 코너 포인트와 같은 돌출하는 포인트만을 식별하고 비교하는 것으로 제한될 수 있다. 본 발명에서 적용할 수 있는 "비교"라는 용어는 넓은 의미, 즉 유저가 지향하는 객체를 신속히 식별하는데 충분한 특징만을 비교하는 것으로 이해되어야 한다.
유저에 의해 선택된 객체를 결정하는 다른 가능한 방법은 타깃 포인트 주위에 중심이 있는 수신된 타깃 영역 이미지를 미리 한정된 템플릿과 직접 비교하는 것이며 이로 패턴을 일치시키는 것과 같은 방법을 사용하여 객체에 타깃으로 된 포인트를 찾아낸다.
본 발명의 다른 실시예에서, 타깃 영역 내 특정 위치에 고정되고 타깃 영역 이미지의 부분으로서 제어 입력 내 수신기로 송신된 레이저 포인트의 위치는 유저에 의해 선택된 객체를 찾기 위해 타깃 포인트로서 사용될 수 있다. 유저에 의해 지향된 객체 상에 레이저 광빔이 도달할 때 보이는 레이저 포인트는 타깃 영역 이미지의 중심과 일치할 수도 있으나 이와 등등하게 타깃 영역 이미지의 중심으로부터 오프셋될 수도 있다.
따라서, 본 발명은 임의의 유형의 전기적으로 또는 전자적으로 제어가능한 디바이스를 제어할 수 있는 용이하고 신축적인 방법을 모두 제공한다. 사용의 용이함을 위해, 포인팅 디바이스는 유저에 의해 편리하게 파지될 수 있는 길다란 형태의 펜이나 막대 형상일 수 있다. 유저는 포인팅 디바이스로부터 소정의 거리에 위치된 객체로 포인팅 디바이스를 지향시킬 수 있다. 동등하게, 포인팅 디바이스는 권총의 형태로 형성될 수 있다. 나아가, 추가적인 광원이 포인팅 디바이스에 또는 포인팅 디바이스 상에 장착될 수 있으며 이로 포인팅 디바이스가 지향하는 영역을 조명하며, 이로 유저는 주변이 어두운 경우에도 객체를 용이하게 찾을 수 있다.
포인팅 디바이스 및 디바이스 제어 인터페이스는 실제 임의의 종류의 환경에 사용하기 위해 파워풀한 제어 시스템을 제공하도록 결합된다. 예를 들어, 이 시스템은 먼저 그 기능에 대해 친숙해야 할 필요가 없이 편리하고 직관적으로 자기 호텔 방에 친숙치 않은 어플라이언스를 손님이 포인팅 디바이스를 사용하여 제어할 수 있는 호텔 환경에서 사용할 수 있다는 것을 생각해 볼 수 있다.
본 발명의 다른 목적과 특징은 첨부된 도면을 참조하여 고려되는 이하 상세한 설명으로부터 보다 명확해질 것이다. 그러나, 이 도면은 본 발명을 제한하는 것이 아니라 예시하는 것으로만 설계되어 있다.
도 1은 본 발명의 일 실시예에 따라 다수의 디바이스를 제어하기 위한 포인팅 디바이스 및 디바이스 제어 인터페이스를 포함하는 시스템의 개략도.
도 2는 본 발명의 일 실시예에 따라 제어되는 디바이스와 포인팅 디바이스의 개략도.
도 3a은 본 발명의 일 실시예에 따른 포인팅 디바이스의 개략도.
도 3b는 본 발명의 일 실시예에 따른 포인팅 디바이스의 개략도.
도 3c는 본 발명의 일 실시예에 따른 포인팅 디바이스의 개략도.
도 3d는 본 발명의 일 실시예에 따른 포인팅 디바이스의 개략도.
도 4는 본 발명의 일 실시예에 따른 포인팅 디바이스에 의해 생성된 타깃 영역 이미지와, 객체 및 연관된 템플릿을 도시하는 개략도.
도면에서, 동일한 부호는 도면 전체에 걸쳐 동일한 대상을 말한다. 전술된 포인팅 디바이스는 도면에 도시되지 않은 유저에 의해 파지되고 동작된다.
도 1은 포인팅 디바이스(2)와 외부 디바이스 제어 인터페이스(8)를 포함하는 다수의 디바이스(D1,D2,D3)를 제어하는 시스템을 도시한다.
포인팅 디바이스(2)는 포인팅 방향(P)으로 포인팅 디바이스(2)의 정면에 있는 영역의 이미지(6)를 생성하는 카메라(3)를 포함한다. 포인팅 디바이스(2)는 이 실시예에서 길다란 형태를 특징으로 하며, 포인팅 방향(P)은 포인팅 디바이스(2)의 종축을 따라 놓여있다. 카메라(3)는 포인팅 디바이스(2)의 정면 쪽으로 위치되며, 이로 도면에 도시되지 않은 유저가 지향하는 포인팅 디바이스(2)의 정면에 있는 영역의 이미지(6)가 생성된다.
유저는 다수의 객체(B1,B1',B2,B3) 중 어느 하나로 포인팅 디바이스(2)를 지향시킬 수 있다. 도면에 도시된 객체는 램프(B1), 이 램프(B1)를 위한 광 조절 스위치(B1'), 라디에이터(B2) 및 텔레비전(B3)이다. 객체(B1,B1',B2,B3) 각각은 다수의 디바이스(D1,D2,D3) 중 하나와 연관된다.
이 실시예에서, 유저는 램프(B1)로 포인팅 디바이스(2)를 지향시키고 램프(B1)의 밝기가 증가되거나 감소되어야 하는 것을 나타내도록 제어 입력(4)을 조작한다. 여기서, 제어 입력(4)은 플러스/마이너스 즉 +/- 타입의 버턴이며, 이로 유저는 밝기의 증가를 나타내기 위해 "+" 부분을 누르고 또는 밝기의 감소를 나타내기 위해 "-" 부분을 누를 수 있다. 유저가 라디에이터(B2)로 포인팅 디바이스(2)를 지향한 경우 "+" 부분을 누르는 것은 직관적으로 난방을 올리는 것을 의미하는 반면, "-" 부분을 누르는 것은 난방을 줄이는 것을 의미할 수 있다.
2개 이상의 객체가 제어될 디바이스를 나타낼 수 있다. 도 1에서 램프의 밝기를 제어하기 위한 실제 디바이스인 광 조절 스위치(D1)는 객체(B1')로서 자기 자신과 및 램프(B1)에 의해 표시된다. 이것은 직관적으로 유저가 램프(B1)를 직접 지시하게 하고 광 조절 스위치를 지시하지 않게 하는데 그 이유는 결국 유저가 변경하기를 원하는 것은 램프(B1)의 밝기이기 때문이다.
유저가 제어 입력(4)을 조작하는 정도는 유저가 원하는 변화의 정도를 나타낸다. 예를 들어, 단순히 "+"를 한번 누르면, 유저는 약간의 밝기 증가를 원한다는 것을 지시한다. 한편, "+"를 반복적으로 누르거나 더 긴 시간 동안 "+"를 누르면 유저는 램프(B1)의 밝기를 상당량 또는 그 최대한으로 증가하는 것을 지시할 수 있다. 조작의 유형과 지속시간, 즉 변화의 정도(5)는 일반적으로 전자 신호로서 제어 유닛(4)으로부터 출력된다.
카메라(3)에서 생성된 객체(B1)의 하나 이상의 이미지(6)와 함께 변화의 정도(5)는, 무선 방식으로, 예를 들어 블루투스, 802.11b 또는 모바일 전화 표준으로 송신 유닛(12)에 의하여 디바이스 제어 인터페이스(8)로 송신된다. 여기서 이미지(6)는 이미지 분석 유닛(9)에 의해 분석된다.
유저에 의해 지향되는 객체(B1,B1',B2,B3)를 식별하기 위해, 이미지(6)는 이미지 분석 유닛(9)이 데이터베이스(20)로부터 요구되는 바대로 또는 액세스 유닛(23)을 통해 외부 소스(21,22)로부터 요구되는 대로 검색할 수 있는 템플릿과 비 교된다. 이상적으로, 액세스 유닛(23)은 외부 데이터에 액세스를 허용하는 다수의 인터페이스를 구비하며, 예를 들어 유저는 플로피 디스크, CD 또는 DVD와 같은 메모리 매체(22) 상에 저장된 미리 한정된 템플릿을 제공할 수 있으며 또는 액세스 유닛(23)은 인터넷(21)과 같은 외부 네트워크로부터 또는 디바이스의 제조사로부터 적절한 템플릿 정보를 검색할 수 있다. 템플릿은 예를 들어 유저가 제어될 디바이스(D1,D2,D3)와 객체(B1,B1',B2,B3) 사이에 상관성을 지정하는 훈련 세션(training session)에서 유저에 의해 또한 구성될 수 있다. 템플릿은 배경에 중첩된 객체(B1,B1',B2,B3)를 보여줄 수 있다. 라디에이터의 경우에, 이 라디에이터의 템플릿은 벽지, 창, 가구 등과 같은 주변 환경 뿐만 아니라 실제 라디에이터를 보여주는 이미지일 수 있다. 보다 간단한 템플릿은 임의의 주변 환경 없이 라디에이터만을 보여줄 수 있다.
이미지 분석 유닛(9)은 이미지(6)와 가장 잘 일치하는 템플릿을 찾기 위해 알려진 이미지 처리 기술을 이용하며 이에 따라 제어될 연관된 디바이스(D1,D2,D3)와 그 지시되는 객체(B1,B1',B2,B3)를 식별한다. 이 정보는 제어 신호 생성 유닛(10)에 송신되며, 이 제어 신호 생성 유닛(10)은 이제 조절될 특성을 추론하도록 변화의 정도(5)를 해석할 수 있다. 이 예에서, 그 특성은 식별된 객체가 램프(B1)이고 그 연관된 디바이스(D1)는 광 조절 스위치이기 때문에 '밝기'이어야 한다. 제어 신호 생성 유닛(10)은 적절한 제어 신호(7)를 생성하며, 이 제어 신호는 어플리케이 션 인터페이스(11)에 송신된다. 아마도 다른 타입의 신호(30,31,32)를 각각 요구하는 다수의 어플리케이션 또는 디바이스(D1,D2,D3)를 구동하는 어플리케이션 인터페이스(11)는 실제 디바이스(D1,D2,D3)에 적합한 신호(30,31,32)를 제공하기 위해 제어 신호(7)에 임의의 필요한 변환을 수행할 수 있다. 이 경우에, 제어 신호(7)는 광 조절 스위치(D1)를 구동하는데 적합한 형태로 변환된다.
도면에 도시된 디바이스(D1,D2,D3)는 서로 가까이 위치될 수 있으며 또는 집의 다른 방에 걸쳐 분산될 수 있다. 디바이스 제어 인터페이스(8)의 어플리케이션 인터페이스(11)는 적절한 인터페이스에 의하여 디바이스와 통신할 수 있으며, 이로 히터 시스템(2) 자체가 설령 집의 지하실에 위치되어 있다 하더라도, 이 히터 시스템(D2)과 같은 디바이스가 예를 들어 거실로부터 제어될 수 있다. 버스나 로컬 통신 네트워크와 같은 인터페이스는 배선 연결될 수 있으며 또는 무선 LAN 네트워크, 블루투스 등과 같은 무선 연결일 수 있다. 어플리케이션 인터페이스(11)는 적절한 신호(30,31,32)의 형태로 제어 신호 생성 유닛(10)에 의해 생성된 제어 신호(7)를 적절한 디바이스(D1,D2,D3)에 전달한다.
포인팅 디바이스(2)는 이미지(6) 및 변화의 정도(5)를 디바이스 제어 인터페이스(8)에 연속적으로 송신할 수 있으며 또는 이 포인팅 디바이스가 특정 시간 기간 동안 이동되지 않는 경우 자동적으로 송신을 멈출 수 있다. 이를 위해 포인팅 디바이스(2)는 도면에 도시되지 않은 움직임 센서를 포함할 수 있다. 포인팅 디바 이스(2)는 아마도 대부분 또한 도면에 도시되지 않은 배터리에 의해 동력을 공급받을 것이기 때문에, 유저가 제어 유닛(4)을 실제 조작할 때 배터리의 수명을 연장하기 위해 디바이스 제어 인터페이스에 데이터만을 송신하는 것이 편리하다. 이미지 데이터(6) 및 변화의 정도(5)를 송신하는 것은 유저가 제어 유닛(4)을 어떻게든 조작하자마자 개시될 수 있으며 이후 자동적으로 중단할 수 있다.
도 2는 자기 자신의 로컬 디바이스 제어 인터페이스(8') 내에 자기 소유의 이미지 분석 유닛(9')과 제어 신호 생성 유닛(10')을 특징으로 하는 포인팅 디바이스(2)의 대안적인 실시예를 도시한다. 이 포인팅 디바이스(2)는 카메라(3)와 제어 입력(4)에 의해 각각 생성된 이미지 데이터(6) 및 변화의 정도(5)를 분석하여 적절한 디바이스(D1,D2,D3)를 위한 제어 신호(7)를 국부적으로 생성할 수 있다.
이 도 2에서, 포인팅 디바이스(2)는 객체(B4), 이 경우에 실제 디바이스(D4) 자체의 가시적인 부분을 포함하는 스피커(D4)의 전면을 지향하고 있다. 레이저 광의 소스(15)로부터 발생하는 광 포인트(PL)의 도움으로, 유저는 타깃 영역(A)의 이미지(6)를 생성하기 위해 객체(B4)로 포인팅 디바이스(2)를 지향할 수 있다. 전체 객체(B4)가 타깃 영역(A) 내에 보일 필요는 없으며, 이로 도면에 도시된 바와 같이 객체(B4)의 일부로도 식별을 하는데는 충분하다. 이미지(6)는 이미지 분석 유닛(9')에서 분석되어 포인팅 디바이스(2)가 지향하는 객체(B4)를 식별할 수 있다. 유저는 스 피커(D4)의 소리 크기를 약간 변경하기 위하여 포인팅 디바이스(2)의 제어 입력(4)을 조작할 수 있다. 제어 입력(4)에서 출력되는 변화의 정도(5)는 이미지 분석 결과에 따라 제어 신호 생성기(10')에서 처리되어 디바이스(D4)를 위한 적절한 제어 신호(7)를 제공한다. 스피커(D4)의 다른 부분은 다른 특성과 연관될 수 있으며, 예를 들어 스피커 박스(D4)의 상부 쪽을 지향하는 것은 고음(treble)이 증가 또는 감소되는 것을 나타내는 반면, 그 하부 쪽을 지향하는 것은 저음(bass)이 변경되는 것을 나타낼 수 있다. 실제 지향되는 스피커(D4)의 부분은 이미지 분석 유닛(9')에 의해 식별된다.
제어 신호(7)는 어플리케이션 인터페이스(11')에 의해 스피커(D4)에 송신되기 전에 스피커(D4)에 의해 이해될 수 있는 형태로 필요한 임의의 변환을 거친다. 사용의 편리함을 위해, 어플리케이션 인터페이스(11')는 스피커(D4)와 무선으로 통신하며, 스피커는 포인팅 디바이스(2)로부터 신호를 수신하기 위한 적절한 수신기(24)를 구비한다. 보다 가능하게는 그러한 수신기(24)는 스피커(D4)를 구동하는 증폭기에 또는 이 증폭기의 부분에 연결될 수 있으나, 간략하게 하기 위해 도면에는 스피커(D4)에 포함된 것으로 도시되어있다.
도 2에 도시된 바와 같이, 이미지 처리를 국부적으로 수행할 수 있다는 것은 포인팅 디바이스(2)가 도 1에 기술된 바와 같이 별도의 디바이스 제어 인터페이 스(8)와 반드시 통신해야 하는 것은 아니라는 것을 의미한다. 이미지 분석 품질이 작고 실제적인 포맷으로 가장 그럴듯하게 실현될 수 있는 포인팅 디바이스(2)의 물리적 크기로 제한될 수 있기 때문에, 이 '독립적인' 실시예는 이미지 분석의 정확도가 특히 중요하지 않는 상황이나 또는 포인팅 디바이스(2)가 외부 디바이스 제어 인터페이스(8)와 통신할 수 없는 상황에서는 충분히 사용될 수 있다.
이 실시예는 물론 단순히 도 1을 연장한 것일 수 있으며, 이로 국부 디바이스 제어 인터페이스(8') 이외에 포인팅 디바이스(2)가 도 1에 기술된 통신 인터페이스(12)를 또한 이용하며, 이는 이 포인팅 디바이스가 독립적인 기능 뿐만 아니라 홈 대화 시스템과 같은 외부 디바이스 제어 인터페이스(8)와 연계하여 동작할 수 있게 한다. 이 실시예는 카메라(3)에서 생성된 이미지를 포인팅 디바이스(2)가 저장할 수 있는 국부 메모리(20')를 더 특징으로 할 수 있다. 도면에 도시되지 않은 적절한 인터페이스에 의하여 포인팅 디바이스(2)는 메모리 스틱, 인터넷, 외부 디바이스 제어 인터페이스(8) 등과 같은 외부 소스로부터 얻어진 템플릿을 국부 메모리(20')에 저장할 수 있다.
포인팅 디바이스(2)를 위한 제어 입력의 몇몇 가능한 실시예는 도 3a 내지 도 3d에 도시되어 있다. 포인팅 방향(P)은 각 도면에 표시되어 있다.
도 3a에서, 제어 입력은 볼륨과 같은 제어를 변경시키기 위한 리모트 컨트롤 상에 종종 보이는 타입의 간단히 +/- 또는 위/아래 버튼(4a)으로 실현된다. 도 3b는 마우스 상에 좌로 및 우로 버튼(left and right buttons) 사이에 종종 발견되고 2방향 중 어느 방향으로 용이하게 스크롤하는데 사용되는 다이얼 유형과 같은 다이 얼(4b)의 형태로 된 제어 입력을 특징으로 한다.
도 3c 및 도 3d는 3개 이상의 방향으로 변화의 정도를 나타내는데 사용될 수 있는 제어 입력(4c, 4d)을 각각 특징으로 한다. 제어 입력(4c)은 4개의 방향, 즉 위로, 아래로, 좌로 및 우로 방향 중 어느 방향으로 변화의 정도를 나타내는데 사용될 수 있다. 트랙볼(4d)은 실제로 임의의 방향으로 이동될 수 있으므로, 훨씬 더 융통성이 있다.
유저는 항상 바로 정면에 있는 객체로만 포인팅 디바이스(2)를 지향시키는 것은 아닐 것이며, 이로 자기 자신의 위치를 변경하는 것보다 포인팅 디바이스(2)를 지향시키는 것이 종종 보다 더 편리하기 때문에 포인팅 디바이스(2)는 객체에 대해 다소 비스듬한 각도로 지향되는 것이 보다 일반적일 것이다. 이것은 도 4에 도시되어 있으며, 도 4는 소정의 거리에 비스듬한 각도로 객체(B2)를 지향하는 포인팅 디바이스(2)에 의해 생성되는 타깃 영역 이미지(6)를 개략적으로 도시하는 도면이며, 여기서 타깃 영역(A)에 있는 객체(B2), 이 경우에 라디에이터(B2)의 크기 및 사시도가 타깃 영역 이미지(6)에서 왜곡되어 보인다.
객체(B2)에 대해 포인팅 디바이스(2)의 각도에 상관없이 타깃 영역 이미지(6)는 항상 타깃 포인트(PT) 주위에 중심을 두고있다. 레이저 포인트(PL)는 또한 타깃 영역 이미지(6)에 보이며 타깃 포인트(PT)로부터 거리를 제할 수 있으며 또는 타깃 포인트(PT)와 일치할 수 있다. 디바이스 제어 인터페이스의 이미지 처리 유닛 은 유저를 지시하는 객체(B2)를 결정하기 위해 미리 한정된 템플릿(T)과 타깃 영역 이미지(6)를 비교한다.
이를 위해, 객체(B2)와 포인팅 디바이스(2)의 종축의 교차 포인트(PT)가 타깃 영역 이미지(6)에 위치된다. 이 교차 포인트(PT)에 대응하는 템플릿(T)의 포인트가 이후 위치될 수 있다.
에지 또는 코너 검출 방법을 사용하는 컴퓨터 비전 알고리즘은 객체(B2)의 템플릿(T) 내 포인트[(xa, ya),(xb,yb),(xc,yc)]에 대응하는 타깃 영역 이미지(6) 내 포인트[(xa', ya'),(xb',yb'),(xc',yc')]를 찾기 위해 적용된다.
각 포인트는 벡터로 표시될 수 있으며 예를 들어 이 포인트(xa, ya)는
Figure 112007007960968-PCT00001
로 표시될 수 있다. 그 다음 단계로서, 타깃 영역 이미지(6)를 템플릿(T)으로 맵핑하기 위해 다음과 같은 변환 함수(
Figure 112007007960968-PCT00002
)가 전개된다:
Figure 112007007960968-PCT00003
여기서 벡터
Figure 112007007960968-PCT00004
는 템플릿(T) 내 좌표 쌍(xi, yi)을 나타내며, 벡터(
Figure 112007007960968-PCT00005
)는 타깃 영역 이미지(6) 내 대응하는 좌표 쌍(x'i, y'i)을 나타낸다. 함수에 가장 저비용의 해법을 제공하는 이미지의 회전 및 병진이동 파라미터를 포함하는 파라미터 세트(
Figure 112007007960968-PCT00006
)가 객체(B2)에 대해 포인팅 디바이스(2)의 위치와 배향을 결정하기 위해 적 용될 수 있다. 컴퓨터 비전 알고리즘은 포인팅 디바이스(2) 내에서 카메라(3)가 고정되어 있고 포인팅 제스처의 방향으로 "보고 있다는" 사실을 이용한다. 그 다음 단계는 객체(B2)와 포인팅 방향(P)으로 포인팅 디바이스(2)의 종축의 교차 포인트(PT)를 계산하는 것이다. 이 포인트는 타깃 영역 이미지(6)의 중심이 되도록 취해질 수 있다. 일단 교차 포인트의 좌표가 계산되면, 템플릿(T)에서 이 포인트를 찾는 것은 간단한 문제이다.
본 발명이 비록 바람직한 실시예와 그 변형예의 형태로 기술되었지만, 수많은 추가적인 변경과 변형들이 본 발명의 범위를 벗어남이 없이 이루어질 수 있다는 것이 이해될 수 있을 것이다. 이 포인팅 디바이스는 전기적으로 또는 전자적으로 제어가능한 디바이스와 함께 집이나 임의의 다른 환경에서 범용 유저 인터페이스 디바이스로 사용될 수 있다. 간단히 말해, 유저가 포인팅에 의해 의도를 표시할 수 있는 곳이라면 유리할 수 있다. 그 작은 형태 인수와 그 편리하고 직관적인 포인팅 방식은 파워풀한 범용 리모트 컨트롤로 그러한 간단한 포인팅 디바이스를 향상시킬 수 있다. 펜 형상과는 다른 대안으로서, 포인팅 디바이스는 예를 들어 또한 빌트인 카메라 또는 빌트인 카메라를 갖는 이동 전화를 갖는 퍼스널 디지털 어시스턴트(PDA)일 수 있다.
명확히 하기 위해 본 명세서 전반에 걸쳐 단수를 사용하는 것은 복수를 배제하는 것이 아니며 "포함하는"이라는 것은 다른 단계나 요소를 배제하는 것이 아니라는 것을 또한 이해하여야 할 것이다. "유닛"이라는 것은 단일 개체임이 명확히 기술되지 않는 한, 다수의 블록이나 디바이스를 포함할 수 있다.
전술된 바와 같이, 본 발명은 디바이스를 제어하는 데에 이용가능하다.

Claims (13)

  1. 디바이스(D1,D2,D3,D4)를 제어하는 방법으로서,
    - 카메라(3)를 포함하는 포인팅 디바이스(2)를 제어될 디바이스(D1,D2,D3,D4)의 특성을 나타내는 객체(B1,B1',B2,B3,B4)로 지향(aim)시키고 상기 특성에 대한 변화의 정도(degree of change)(5)를 지정하도록 상기 포인팅 디바이스(2) 상의 제어 입력(4)을 조작하는 단계와,
    - 상기 포인팅 디바이스(2)에 의해 지향된 타깃 영역(A)의 이미지(6)를 생성하는 단계와,
    - 선택된 객체(B1,B1',B2,B3,B4)를 식별하도록 상기 타깃 영역 이미지(6)를 해석하는 단계와,
    - 상기 선택된 객체(B1,B1',B2,B3,B4)에 기초하여 제어될 디바이스(D1,D2,D3,D4)의 특성을 추론하는 단계와,
    - 추론된 특성에 대한 변화의 정도(5)에 따라 제어될 디바이스(D1,D2,D3,D4)를 위한 제어 신호(7)를 생성하는 단계
    를 포함하는, 디바이스를 제어하는 방법.
  2. 제 1 항에 있어서, 선택된 객체(B1,B1',B2,B3,B4)는 타깃 영역(A)에 특정 타깃 포인트를 포함하는 이미지(6)에 있는 객체를 식별함으로써 결정되는, 디바이스를 제어하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 타깃 영역(A)의 이미지(6)는 포인팅 디바이스(2)가 지향하는 선택된 객체(B1,B1',B2,B3,B4)를 식별하기 위해 미리 한정된 템플릿(template)(T)과 타깃 영역(A)의 이미지(6)를 비교함으로써 분석되는, 디바이스를 제어하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 복수의 디바이스(D1,D2,D3,D4)가 상기 포인팅 디바이스(2)에 의해 제어가능하며 상기 디바이스의 특성을 추론하는 단계는 선택된 디바이스(D1,D2,D3,D4)를 결정하는 단계를 포함하는, 디바이스를 제어하는 방법.
  5. 포인팅 디바이스(2)로서,
    - 포인팅 디바이스(2)가 지향하는 방향(P)으로 타깃 영역(A)의 이미지(6)를 생성하기 위한 카메라(3)와,
    - 특성의 변화의 정도(5)를 지정하기 위한 제어 입력(4)
    을 포함하는, 포인팅 디바이스.
  6. 제 6 항에 있어서, 상기 타깃 영역 내에 광 포인트(PL)를 생성하기 위한 집중된 광빔(L)의 소스(15)를 포함하는, 포인팅 디바이스.
  7. 제 6 항 또는 제 7 항에 있어서, 상기 제어 입력(4)은 다수의 방향 중 임의의 방향으로 조작될 수 있는, 포인팅 디바이스.
  8. 제 6 항 또는 제 7 항에 있어서, 상기 제어 입력(4)은 임의의 방향으로 조작될 수 있는, 포인팅 디바이스.
  9. 제 5 항 내지 제 8 항 중 어느 한 항에 있어서, 제어될 디바이스(D1,D2,D3,D4)와 상호작용하기 위한 디바이스 제어 인터페이스(8')를 포함하며,
    상기 디바이스 제어 인터페이스(8')는,
    - 이미지(6)를 분석하기 위한 이미지 분석 유닛(9')과,
    - 변화의 정도(5)를 제어될 디바이스(D1,D2,D3,D4)를 위한 제어 신호(7)로 변환하기 위한 제어 신호 생성 유닛(10')과,
    - 제어될 디바이스(D1,D2,D3,D4)에 상기 제어 신호(7)를 전달하기 위한 어플리케이션 인터페이스(11')
    를 포함하는, 포인팅 디바이스.
  10. 제 5 항 내지 제 9 항 중 어느 한 항에 있어서,
    이미지(6) 및/또는 변화의 정도(5)를 디바이스 제어 인터페이스(8)로 전달하기 위한 통신 인터페이스(12)를 포함하며, 상기 디바이스 제어 인터페이스(8)는 이미지(6) 및 변화의 정도(5')에 기초하여 제어될 디바이스(D1,D2,D3,D4)를 위한 제어 신호(7)를 생성하는, 포인팅 디바이스.
  11. 제어될 디바이스(D1,D2,D3,D4)와 상호작용하기 위한 디바이스 제어 인터페이스(8)로서,
    - 포인팅 디바이스(2)로부터 이미지(6) 및 변화의 정도(5)를 수신하기 위한 수신 유닛(13)과,
    - 이미지(6)를 분석하기 위한 이미지 분석 유닛(9)과,
    - 상기 변화의 정도(5)를 디바이스(D1,D2,D3,D4)를 위한 제어 신호(7)로 변환하기 위한 제어 신호 생성 유닛(10)과,
    - 이 제어 신호(7)를 디바이스(D1,D2,D3,D4)로 전달하기 위한 어플리케이션 인터페이스(11)
    를 포함하는, 제어될 디바이스와 상호작용하기 위한 디바이스 제어 인터페이스.
  12. 제11항에 기재된 디바이스 제어 인터페이스(8)를 포함하는 전기적으로 또는 전자적으로 제어가능한 디바이스(D1,D2,D3,D4).
  13. 제11항에 기재된 디바이스 제어 인터페이스(8)와 제5항 내지 제10항 중 어느 한 항에 기재된 포인팅 디바이스(2)를 포함하는 디바이스 제어 시스템(1).
KR1020077001986A 2004-07-28 2005-07-11 디바이스를 제어하는 방법 KR20070043807A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04103643 2004-07-28
EP04103643.5 2004-07-28

Publications (1)

Publication Number Publication Date
KR20070043807A true KR20070043807A (ko) 2007-04-25

Family

ID=35787494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077001986A KR20070043807A (ko) 2004-07-28 2005-07-11 디바이스를 제어하는 방법

Country Status (6)

Country Link
US (1) US7952063B2 (ko)
EP (1) EP1774428A2 (ko)
JP (1) JP2008508587A (ko)
KR (1) KR20070043807A (ko)
CN (1) CN1993671A (ko)
WO (1) WO2006013479A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100908099B1 (ko) * 2008-06-03 2009-07-16 엘지전자 주식회사 Ｄｔｖ, 3ｄ포인팅 디바이스 및 ｄｔｖ의 기능 실행 방법
KR20160022329A (ko) * 2016-02-05 2016-02-29 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316183B (zh) * 2007-05-31 2011-07-27 海尔集团公司 数字家庭网络的人机交互界面生成方法以及系统
US8665075B2 (en) 2009-10-26 2014-03-04 At&T Intellectual Property I, L.P. Gesture-initiated remote control programming
DE102011101387A1 (de) * 2011-05-12 2012-11-15 Abb Ag Tragbares Anzeige- und Bediengerät
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
CN103577788A (zh) * 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
ES2542089B1 (es) * 2014-01-30 2016-05-04 Universidad De Extremadura Sistema de control remoto de dispositivos con láser
KR102304979B1 (ko) * 2014-06-19 2021-09-27 삼성전자주식회사 전자 장치 및 전자 장치에서 페어링 방법
EP3174026A1 (en) * 2015-11-24 2017-05-31 Hella KGaA Hueck & Co Remote control for automotive applications

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162843A (ja) 1993-12-02 1995-06-23 Canon Inc 遠隔制御装置及び画像入力装置
EP0688119A1 (de) 1994-06-15 1995-12-20 Levy Fils AG Verfahren und Vorrichtung zum eineindeutigen Aktivieren von Busteilnehmern in Informationsnetzwerken
FR2731290A1 (fr) 1995-03-01 1996-09-06 Oriot Jean Claude Telecommande virtuelle a laser
US5719622A (en) * 1996-02-23 1998-02-17 The Regents Of The University Of Michigan Visual control selection of remote mechanisms
GB9615949D0 (en) 1996-07-30 1996-09-11 Murtha Terence M Light control systems
WO2001052230A1 (en) * 2000-01-10 2001-07-19 Ic Tech, Inc. Method and system for interacting with a display
DE10110979A1 (de) * 2001-03-07 2002-09-26 Siemens Ag Anordnung zur Verknüpfung von optisch erkannten Mustern mit Informationen
EP1291784A1 (de) 2001-09-10 2003-03-12 Abb Research Ltd. Herstellung einer selektiven Kommunikationsverbindung
US6655817B2 (en) * 2001-12-10 2003-12-02 Tom Devlin Remote controlled lighting apparatus and method
US6770864B2 (en) * 2001-12-22 2004-08-03 Yong Yan Light beam operated personal interfaces to computers
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6690003B2 (en) * 2002-03-25 2004-02-10 Zak Artur Laser actuated remote operator
CN101101520B (zh) 2002-11-20 2012-11-14 皇家飞利浦电子股份有限公司 基于指示设备的用户接口系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100908099B1 (ko) * 2008-06-03 2009-07-16 엘지전자 주식회사 Ｄｔｖ, 3ｄ포인팅 디바이스 및 ｄｔｖ의 기능 실행 방법
WO2009148213A1 (en) * 2008-06-03 2009-12-10 Lg Electronics Inc. Dtv capable of receiving signal from 3d pointing device, and method of executing function and adjusting audio property of dtv employing 3d pointing device
US8217894B2 (en) 2008-06-03 2012-07-10 Lg Electronics Inc. DTV capable of receiving signal from 3D pointing device, and method of executing function and adjusting audio property of DTV employing 3D pointing device
KR20160022329A (ko) * 2016-02-05 2016-02-29 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Also Published As

Publication number Publication date
WO2006013479A2 (en) 2006-02-09
US7952063B2 (en) 2011-05-31
JP2008508587A (ja) 2008-03-21
WO2006013479A3 (en) 2006-12-07
US20080265143A1 (en) 2008-10-30
CN1993671A (zh) 2007-07-04
EP1774428A2 (en) 2007-04-18

Similar Documents

Publication Publication Date Title
KR101224351B1 (ko) 제어될 디바이스에 연관된 객체를 찾아내는 방법 및 상기 디바이스를 제어하는 방법
KR20070043807A (ko) 디바이스를 제어하는 방법
JP4243248B2 (ja) ポインティングデバイスに基づくユーザインターフェイスシステム
RU2421776C2 (ru) Способ управления позицией контрольной точки в командной области и способ управления устройством
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
JP2009134718A5 (ko)
JP2005065118A (ja) リモコン機能付き携帯端末及びリモコンサーバ
JP2008511877A (ja) 装置制御方法
KR102360628B1 (ko) 영상 투사 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application