KR100596140B1

KR100596140B1 - 카메라를 내장한 리모트 컨트롤 장치 및 이를 이용한포인팅 방법

Info

Publication number: KR100596140B1
Application number: KR1020030030440A
Authority: KR
Inventors: 윤도현
Original assignee: 윤도현
Priority date: 2003-05-14
Filing date: 2003-05-14
Publication date: 2006-07-05
Also published as: KR20040098173A

Abstract

본 발명은 내장된 카메라에 의하여 사용자가 가리키는 위치를 포착하여 계산하고 이를 바탕으로 화면상에 GUI를 이용하여 복잡한 기능을 단순한 방법으로 조작/제어할 수 있도록 해주는 리모트 컨트롤 장치 및 이를 이용한 포인팅 방법에 관한 것으로, 카메라 렌즈와 영상 입력 센서로 구성되어 리모트 컨트롤 장치가 가리키는 방향의 영상을 입력 받는 영상 입력부; 상기 입력 영상에서 화면 영역을 추출하는 화면 영역 추출부; 상기 입력 영상의 중심점에 대한 상기 화면 영역에서의 좌표를 계산하여 리모트 컨트롤 장치가 가리키는 위치로 결정하는 위치 계산부; 기능 버튼을 구비한 사용자 입력부; 및 상기 계산된 위치 정보 및 상기 사용자 입력부로부터의 버튼 입력 정보를 상기 기기에 전송하는 송신부;를 포함하는 리모트 컨트롤 장치와 포인팅 방법을 요지로 한다.

리모트 컨트롤, 카메라, 위치 계산.

Description

카메라를 내장한 리모트 컨트롤 장치 및 이를 이용한 포인팅 방법 {REMOTE CONTROL DEVICE HAVING A CAMERA AND POINTING METHOD USING THE DEVICE}

도 1은 본 발명에 따른 리모트 컨트롤 장치의 구성을 도시한 블럭도,

도 2는 리모트 컨트롤 장치를 사용하는 모습을 도시한 도면,

도 3은 입력 영상을 도시한 도면,

도 4는 도 3의 입력 영상에서 화면 영역을 추출하는 모습을 도시한 도면,

도 5는 리모트 컨트롤 장치가 가리키는 위치를 계산하는 원리를 도시한 도면.

본 발명은 TV나 PC와 같이 디스플레이 장치를 구비하는 기기의 조작/제어를 위한 리모트 컨트롤 장치에 관한 것으로, 보다 상세하게는 내장된 카메라에 의하여 사용자가 가리키는 위치를 포착하여 계산하고 이를 바탕으로 화면상에 GUI를 이용하여 복잡한 기능을 단순한 방법으로 조작/제어할 수 있도록 해주는 리모트 컨트롤 장치 및 이를 이용한 포인팅 방법에 관한 것이다.

일반적인 TV 리모트 컨트롤은 각 기능에 해당하는 버튼이 있어 사용자가 해당 버튼을 누르면 그에 대응하는 기능이 수행되는 방식으로 동작한다. 그러나, TV의 기능이 점차로 강화되고, TV 이외에도 VCR, DVD, 케이블 및 위성 셋톱박스, PVR 등의 다양한 기기들이 TV와 함께 사용되고 있으며, 나아가 EPG 및 홈네트워킹 기능 등이 가전기기들에 구현됨에 따라서, 일반 가정에서 사용하는 리모트 컨트롤의 종류도 보통 2-3 가지 이상이 되었고, 또한 각 리모트 컨트롤이 너무 많은 기능을 구현하느라 아주 복잡한 형태가 되어 버렸다. 때문에, 대부분의 사용자들은 실제로 기기에 구현된 다양한 기능들을 대부분 외면하고 아주 기본적인 기능들만을 사용하고 있는 실정이다.

현재 PC에서는 마우스와 같은 포인팅 장치와 이에 맞는 GUI를 이용하여 복잡하고 다양한 기능들을 단순한 인터페이스를 통해서 제어할 수 있다. 이는 일반적으로 마우스를 이용하여 마우스 커서를 원하는 위치로 이동시킨 후 마우스의 버튼을 클릭하는 방법에 의해서다.

물론 TV나 VCR과 같은 기기에도 이러한 방법을 사용할 수 있지만, PC와는 다르게 TV에 마우스를 부착하여 사용하게 되면 사용자 입장에서 매우 불편할 것이다.

이를 해결하기 위해 XEROX사의 미국 특허 제6,498,657호는 리모트 컨트롤에 내장된 바코드 판독기를 이용하는 방법을 개시하고 있는데, 이는 사용자가 종이에 미리 인쇄된 항목을 보면서 리모트 컨트롤로 원하는 기능에 해당되는 바코드를 읽어서 기능을 동작시키는 방식이다.

그러나, 실제 사용에 있어서는 리모트 컨트롤과 더불어서 기능과 바코드가 인쇄된 종이를 항상 지니고 있어야 할뿐만 아니라 실제로 복잡한 기능을 수행하기도 어렵다는 문제가 있다.

LG전자의 대한민국 특허출원 제1998-47674호는 리모트 컨트롤에 광센서를 사용하여 사용자가 리모트 컨트롤로 가리키는 화면상의 위치를 CRT의 주사선이 화면에 뿌려지는 동기 신호와 리모콘이 조준한 화소를 감지한 시간차를 이용하여 계산하는 방법을 개시하고 있다.

그러나, 이 방법은 기본적으로 CRT 방식의 디스플레이 장치에서만 사용 가능하고, LCD나 프로젝션 방식의 디스플레이 장치에서는 구현이 불가능하다. 또한, 화면이 전체적으로 어두운 경우에는 리모트 컨트롤에서 조준한 화소의 빛을 감지할 수 없게 되고, 사용자가 리모트 컨트롤을 화면이 아닌 다른 부분을 조준했을 경우도 대처할 수 없게 된다. 더욱이, 일반적으로 리모트 컨트롤은 무선 방식이어서, CRT 화면의 동기 신호와의 정확한 타이밍을 계산하기가 힘들다는 단점이 있다.

본 발명은 상기 문제점의 해결을 위하여, 사용자가 리모트 컨트롤로 가리키는 화면상의 위치를 계산해주는 새로운 리모트 컨트롤 및 이를 이용한 포인팅 방법을 제공하는데 목적이 있다.

본 발명은 상기 목적의 달성하기 위한 것으로, 디스플레이 장치를 구비하는 기기를 제어하기 위한 리모트 컨트롤 장치에 있어서, 카메라 렌즈와 영상 입력 센서로 구성되어 리모트 컨트롤 장치가 가리키는 방향의 영상을 입력 받는 영상 입력부; 상기 입력 영상에서 화면 영역을 추출하는 화면 영역 추출부; 상기 입력 영상의 중심점에 대한 상기 화면 영역에서의 좌표를 계산하여 리모트 컨트롤 장치가 가리키는 위치로 결정하는 위치 계산부; 기능 버튼을 구비한 사용자 입력부; 및 상기 계산된 위치 정보 및 상기 사용자 입력부로부터의 버튼 입력 정보를 상기 기기에 전송하는 송신부;를 포함하는 것을 특징으로 한다.

또한, 본 발명은 리모트 콘트롤을 이용하여 디스플레이 장치를 구비하는 기기를 제어하기 위한 포인팅 방법에 있어서, a) 리모트 컨트롤에 내장된 카메라로 촬영한 영상을 입력하는 단계; b) 상기 입력 영상 중 디스플레이 장치의 화면 영역을 추출하는 단계; c) 상기 입력 영상의 중심점에 대한 상기 화면 영역에서의 좌표를 계산하여 리모트 컨트롤이 가리키는 위치로 결정하는 위치 계산 단계; 및 d) 상기 결정된 위치를 상기 기기로 송신하는 단계;를 포함하는 것을 특징으로 한다.

또한 상기 b) 단계는, 상기 입력 영상의 휘도 성분 차이를 이용하여 상대적 으로 밝은 부분을 화면 영역으로 결정하거나, 상기 디스플레이 장치의 화면 가장자리에 표시된 표식 부분을 인식함으로써 화면 영역을 결정하거나, 상기 디스플레이 장치의 화면 가장자리에 구비된 신호 출력부에서 출력하는 신호를 수신함으로써 화면 영역을 결정하는 것을 특징으로 한다.

한편 상기 c) 단계는, c1) 상기 화면 영역을 현재 사각형 영역으로 초기화하는 단계; c2) 상기 현재 사각형 영역을 사등분하고, 분할된 사각형 영역 중 상기 입력 영상의 중심점을 포함하는 사각형 영역을 현재 사각형 영역으로 선택하는 단계; 및 c3) 기설정된 해상도의 위치값을 얻을 때까지 상기 c2) 단계를 반복한 후, 현재 사각형 영역을 리모트 컨트롤이 가리키는 위치로 결정하는 단계;를 포함하는 것을 특징으로 한다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명에 따른 리모트 컨트롤 장치(10)의 구성을 도시한 블럭도로서, 영상 입력부(11), 화면 영역 추출부(12), 위치 계산부(13), 송신부(14), 사용자 입력부(15) 및 제어부(16)를 포함하고 있다.

또한, 도 2는 본 발명에 따른 리모트 컨트롤 장치를 사용하는 모습을 도시한 것으로, 디스플레이 장치 화면(21)상의 특정 위치를 리모트 컨트롤(10)로 조준하는 모습을 보여준다. 예컨대 TV 화면(21)을 리모트 컨트롤(10)로 조준할 때 사용자가 화면(21)에 표시된 GUI 등을 보고 원하는 메뉴에 해당하는 위치로 리모트 컨트롤(10)을 향하게 하면, 리모트 컨트롤(10)은 포인팅되는 화면상의 위치를 계산한 후 TV로 전송하게 된다. TV 등 기기의 GUI를 만들어주는 부분에서는, 이 위치 정보를 이용하여 포인팅 커서를 화면의 해당 위치에 표시해 주거나 기타 입력 신호에 따라서 사용자의 명령을 수행하게 된다.

영상 입력부(11)는 카메라 렌즈 및 영상 입력 센서로 구성되며, 사용자가 리모트 컨트롤(10)을 사용하여 가리키고 있는 방향의 영상을 입력 받는다. 도 3은 영상 입력부(11)의 카메라로 촬영하여 입력 받은 입력 영상(31)의 예를 도시한 것이다.

화면 영역 추출부(12)는 영상 입력부(11)로부터 입력 받은 영상에서 실제 디스플레이 장치의 화면에 해당하는 사각형 영역을 추출해 낸다. 이 과정은 도 4에 도시되어 있으며, 상기 입력 영상(31)에서 화면 영역(41)을 추출하는 과정이다. 화면 영역의 추출에는 다음과 같은 방법들이 사용될 수 있으나 반드시 이에 국한되는 것은 아니다.

첫째, 입력 영상의 휘도 성분의 차이를 이용하는 방법으로서, 일반적으로 TV, 모니터 및 프로젝터가 스크린에 뿌린 화면 영역은 주변 부분에 비해서 상대적으로 훨씬 밝기 때문에 휘도가 높은 영역을 화면 영역으로 결정하는 것이다.

둘째, 디스플레이 장치의 가장자리에 카메라가 인식하기 쉬운 표시를 하여 화면 영역의 추출이 용이하도록 하는 것이다.

세째, 디스플레이 장치에서 화면의 가장자리에 사람 눈에는 잘 안보이지만 리모트 컨트롤의 영상 입력 센서에서 쉽게 감지할 수 있는 신호를 출력해주는 방법 이다.

위치 계산부(13)는 리모트 컨트롤이 가리키는 위치에 대한 화면 영역에서의 좌표를 계산하는 부분이다. 본 발명에서는 사용자가 화면상의 가리키는 부분을 탐지하기 위해서 별도의 수단을 사용하지 않는다. 대신에 영상 입력부(11)에서 입력된 영상에서, 사용자가 리모트 컨트롤을 사용하여 가리키는 곳은 항상 중심점이라는 원리를 이용한다.

따라서, 화면 영역 추출부(12)에서 추출한 화면 영역이 영상 입력부에 의해 입력된 영상의 중심점을 포함하고 있지 않다면, 이는 사용자가 리모트 컨트롤을 화면을 향해 조준하지 않은 경우이다. 반대로 입력 영상의 중심점을 포함하고 있다면, 다음과 같은 과정을 거쳐서 사용자가 가리키고 있는 점이 디스플레이 장치 화면의 어떤 위치인지 xy 좌표를 계산하게 된다.

먼저, 화면 영역 사각형의 사변의 중점을 찾고, 위변과 아래변의 중점 및 좌변과 우변의 중점을 잇는 직선을 그려 사각형을 사등분한다. 그런 후, 분할된 4개의 사각형중 입력 영상의 중심점을 포함하는 사각형(현재 사각형 영역)을 선택하고, 선택된 사각형의 사변의 중점을 다시 찾아 사각형을 다시 사등분한 후 입력 영상의 중심점을 포함하는 사각형을 다시 현재 사각형 영역으로 설정하는데, 이 과정을 원하는 해상도에서의 좌표를 얻을 때까지 반복하면 된다. 즉, 이 과정을 N 번 반복하면 N 번째 현재 사각형 영역이 얻어지며, 이를 위치값으로 하게 되면 사용자가 가리키는 위치의 xy 좌표를 1/2^N의 해상도로 찾을 수 있다. 예컨대, 10 번의 반 복만으로 1/1024의 해상도를 얻을 수 있는 것이다.

도 5에 도시된 바와 같이, 입력 영상(53)의 중심 부분(51)이 사용자가 리모트 컨트롤로 조준하고 있는 위치가 되므로, 이 중심점(51)이 화면 영역 추출부(12)에서 추출한 화면 영역(52)에서 어떤 좌표를 가지고 있는지를 계산하여 이를 리모트 컨트롤이 조준하는 위치의 xy 좌표로 하는 방법이다.

제어부(16)는 리모트 컨트롤의 전체적인 상태를 제어하는 부분으로, 카메라의 노출, 화각 등에 대한 제어, 리모트 컨트롤 전체의 전원 제어 등을 담당한다. 또한, 영상 입력부(11)에서 입력 받은 영상을 분석하여 화면의 밝기, 색조 등의 자동 조절에 이용하도록 구현할 수도 있다.

사용자 입력부(15)는 리모트 컨트롤로 포인팅하는 방법에 대한 보조 수단으로 메뉴의 선택을 위한 버튼이나 볼륨 및 채널 조정 등 자주 사용되는 기능에 대한 입력을 수행토록 하는 버튼을 구비한다. 또한, 버튼 형태의 입력 이외에 휠 형태의 입력 수단을 사용하여 볼륨이나 채널 조정을 하도록 구현할 수도 있다.

송신부(14)는 위치 계산부(13)에서 계산된 xy 좌표, 제어부(16)에서의 화면 밝기/색, 사용자 입력부(15)에서의 입력 정보 등을 TV 등의 기기로 전송한다.

본 발명에 따른 리모트 컨트롤이나 포인팅 방법을 사용하면 PC에서 마우스를 사용하듯이 리모트 컨트롤을 조작할 수 있으므로, GUI를 이용하여 복잡한 기능을 단순한 방법으로 조작/제어할 수 있다.

또한, 본 발명은 디스플레이 장치의 종류에 영향을 받지 않으므로 CRT뿐만 아니라 LCD, PDP 및 프로젝션 등 모든 디스플레이 장치에 사용할 수 있다. 보다 구체적으로는 TV/VTR/케이블 및 위성 셋톱박스/PVR 등의 리모트 컨트롤로 이용할 수 있으며, TV 혹은 이와 연결된 장치가 홈네트워킹 허브 역할을 할 때 TV의 화면과 본 발명을 이용해서 홈네트워크에 연결된 가정내의 가전 기기들에 대한 제어를 할 수 있다. 또한, PC의 동영상을 유/무선으로 연결하여 TV를 통해서 시청할 경우 PC에 대한 제어에도 사용될 수 있고, 일반적인 PC에서 마우스 대신 사용하는 것도 가능하며, 프로젝터를 이용한 프리젠테이션시 포인팅 장치 및 PC에 대한 제어 장치로 사용 가능하다.

부가적으로, 리모트 컨트롤에 내장된 카메라를 이용하면 화면의 밝기, 색조 등의 자동 조절에 필요한 데이터를 쉽게 추출할 수 있으므로 한층 기능이 강화된 리모트 컨트롤을 구현할 수 있게 된다.

Claims

디스플레이 장치를 구비하는 기기를 제어하기 위한 리모트 컨트롤 장치에 있어서,

카메라 렌즈와 영상 입력 센서를 구비하여 상기 리모트 컨트롤 장치가 가리키는 방향의 영상을 입력 받는 영상 입력부;

상기 영상 입력부에 입력된 영상으로부터 상기 디스플레이 장치의 화면 영역을 추출하는 화면 영역 추출부;

상기 입력 영상으로부터 추출된 상기 화면 영역을 현재 사각형 영역으로 초기화하고, 상기 현재 사각형 영역을 사등분하여 얻어진 네 개의 사각형 영역 중 상기 입력 영상의 중심점을 포함하는 사각형 영역을 현재 사각형 영역으로 재설정하는 계산을 사전에 정하여진 해상도의 위치값을 얻을 때까지 반복하여, 상기 입력 영상의 중심점에 대한 상기 화면 영역에서의 좌표를 계산하고 이를 상기 리모트 컨트롤 장치가 가리키는 위치로 결정하는 위치 계산부;

상기 디스플레이 장치를 구비하는 기기에 대하여 메뉴의 선택, 볼륨 또는 채널 조정 등을 포함하는 기능을 입력할 수 있는 버튼을 구비한 사용자 입력부; 및

상기 위치 계산부에서 결정된 입력 영상의 중심점에 대한 상기 화면 영역에서의 위치 정보 및 상기 사용자 입력부로부터의 버튼 입력 정보를 상기 기기에 전송하는 송신부;

를 포함하여 이루어지는 것을 특징으로 하는 카메라를 내장한 리모트 컨트롤 장치.
제1항에 있어서, 상기 리모트 컨트롤 장치의 동작과 전원을 제어하는 제어부를 더 포함하여 이루어지는 것을 특징으로 하는 카메라를 내장한 리모트 컨트롤 장치.
제2항에 있어서, 상기 제어부는 상기 영상 입력부에 입력된 영상을 분석하여 상기 디스플레이 장치의 화면의 밝기 및 화면의 색상 등을 자동 조절하는 것을 특징으로 하는 카메라를 내장한 리모트 컨트롤 장치.
리모트 콘트롤을 이용하여 디스플레이 장치를 구비하는 기기를 제어하기 위한 포인팅 방법에 있어서,

a) 리모트 컨트롤에 내장된 카메라로 촬영한 영상을 영상 입력부로 입력하는 단계;

b) 상기 영상 입력부로 입력된 영상 중에서 상기 디스플레이 장치의 화면 영역을 추출하는 단계;

c) 상기 입력 영상의 중심점에 대한 상기 화면 영역에서의 좌표를 계산하여 이를 리모트 컨트롤이 가리키는 위치로 결정하기 위하여,

c1) 상기 추출된 화면 영역을 현재 사각형 영역으로 초기화하는 단계;와

c2) 상기 현재 사각형 영역을 사등분하고, 상기 분할된 네 개의 사각형 영역 중 상기 입력 영상의 중심점을 포함하는 사각형 영역을 현재 사각형 영역으로 재설정하는 단계; 및

c3) 상기 c2) 단계를 반복하여 사전에 정하여진 해상도의 상기 입력 영상의 중심점에 대한 위치값을 얻고, 이를 상기 리모트 컨트롤이 가리키는 위치로 결정하는 위치 계산 단계; 및

d) 상기 결정된 리모트 컨트롤이 가리키는 위치를 상기 디스플레이 장치로 송신하는 단계;

를 포함하여 이루어지는 것을 특징으로 하는 카메라를 내장한 리모트 컨트롤 장치를 이용한 포인팅 방법.
제4항에 있어서, 상기 b) 단계는

상기 입력 영상의 휘도 성분 차이를 이용하여 상대적으로 밝은 부분을 화면 영역으로 결정하는 것을 특징으로 하는 카메라를 내장한 리모트 컨트롤 장치를 이용한 포인팅 방법.
제4항에 있어서, 상기 b) 단계는

상기 디스플레이 장치의 화면 가장자리에 표시된 표식 부분을 인식함으로써 화면 영역을 결정하는 것을 특징으로 하는 카메라를 내장한 리모트 컨트롤 장치를 이용한 포인팅 방법.
제4항에 있어서, 상기 b) 단계는

상기 디스플레이 장치의 화면 가장자리에 구비된 신호 출력부에서 출력하는 신호를 수신함으로써 화면 영역을 결정하는 것을 특징으로 하는 카메라를 내장한 리모트 컨트롤 장치를 이용한 포인팅 방법.
삭제