KR20100134398A - 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기 - Google Patents

광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기 Download PDF

Info

Publication number
KR20100134398A
KR20100134398A KR1020090053012A KR20090053012A KR20100134398A KR 20100134398 A KR20100134398 A KR 20100134398A KR 1020090053012 A KR1020090053012 A KR 1020090053012A KR 20090053012 A KR20090053012 A KR 20090053012A KR 20100134398 A KR20100134398 A KR 20100134398A
Authority
KR
South Korea
Prior art keywords
light source
image
light
image sensor
brightness
Prior art date
Application number
KR1020090053012A
Other languages
English (en)
Inventor
곽계영
정헌준
Original Assignee
곽계영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 곽계영 filed Critical 곽계영
Priority to KR1020090053012A priority Critical patent/KR20100134398A/ko
Priority to PCT/KR2009/006409 priority patent/WO2010147270A1/ko
Publication of KR20100134398A publication Critical patent/KR20100134398A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Details Of Television Systems (AREA)

Abstract

본 발명에 따른 광 수신기는, 소정 범위의 파장을 갖는 빛을 투사하는 원격지의 광원을 인식하는 광 수신기로서, 상기 광원의 상(image)이 결상되는 이미지 센서; 및 상기 이미지 센서에 결상된 상의 위치 및 밝기를 감지하는 이미지 처리 프로세서를 포함하고, 상기 이미지 처리 프로세서로부터의 이미지 처리 결과에 따라, 상기 광 수신기를 포함하는 디스플레이 장치의 화면 상의 커서를 이동시켜 포인팅을 행하며, 상기 커서가 상기 화면 상에서 포인팅하는 위치를 지시하기 위하여, 상기 광원의 이동 방향 및 지향각 차이를 이용한다.
광 수신기, 램버트의 법칙, 광원, 리모콘

Description

광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기{OPTICAL RECEIVER WHICH ENABLES POINTING ON A SCREEN OF A DISPLAY APPARATUS BY USING A MOVING DIRECTION AND ORIENTATION ANGLE OF OPTICAL SOURCE}
본 발명은 소정 범위의 파장을 갖는 빛을 투사하는 원격지의 광원을 인식하는 광 수신기에 관한 것으로, 더욱 구체적으로는, 광원의 이동 방향 및 지향각 차이를 이용하여, 광 수신기가 부착된 디스플레이 장치의 화면에서의 포인팅을 행하도록 하는 광 수신기에 관한 것이다.
텔레비전, 컴퓨터, 오디오, 에어컨, 전등 등을 간단하게 켜고 끄며, 그 외에도 간단한 조작을 할 수 있는 리모콘(remocon; remote controller)이 널리 사용되고 있다.
예를 들어, 텔레비전의 경우, 리모콘에서 발사된 신호를 적외선 등에 실어 텔레비전의 광 수신부(광 수신기)로 보낸다. TV 광 수신부에는 포토다이오드(photo-diode)가 있어서, 수신된 적외선을 전기 신호로 바꾸어 준다. 이 신호는 증폭과 검파 등의 회로를 거쳐 전원의 온/오프, 채널의 변환, 음량 조절 등 여 러 가지 동작을 수행하게 된다.
보통, 우리가 쓰는 리모콘(예를 들어 TV 리모콘)은 작용 범위가 대략 5미터 안팎이고, 적외선 방식을 사용한다. 그러나, 필요에 따라, 초음파 방식으로 작동하는 리모콘도 존재한다.
조작 메뉴의 복잡화
근래의 디지털 텔레비전이나 DVD, 셋탑 박스 등의 영상 디스플레이 장치 및 그 보조 장치는 예전의 장치들에 비해서 기능이 많아지는 추세이다. 이와 같은 기능의 부가에 따른 필연적인 결과로서 조작 메뉴의 복잡화가 불가피하게 발생하게 된다.
즉, 전자 기기의 발달로 인하여, 종래에는 몇가지의 간단한 제어만으로도 충분히 동작하였던 기기들이 복잡한 작동 메뉴를 갖게 되는 일이 흔해졌다. 구체적인 예를 들자면, 텔레비전의 경우, 종래에는 전원의 온/오프, 볼륨 조절, 채널 조절 등으로 충분하였으나, 최근의 텔레비전은 컴퓨터와의 연결 관련 메뉴, 화질의 세부 설정을 위한 관련 메뉴, 음질의 설정에 관한 메뉴 등 그 메뉴가 세분화되고 복잡해졌다.
리모콘의 키 갯수의 증가 또는 디스플레이 장치의 조작 메뉴의 다양화
이러한 복잡화된 메뉴를 실행시키는 방법 중 하나는 리모콘의 키 갯수를 늘리는 것이다.
예를 들어, 예전에는 텔레비전을 조작하는 리모콘에 설치된 버튼의 수가 10개 내외였다면 지금은 대부분의 텔레비전 리모콘에 20~30개 정도의 버튼이 설치되 어 있는 실정이다. 각각의 키마다 특정의 기능을 부여하기 때문에 이처럼 버튼의 수가 많아지게 된 것이다.
한편, 리모콘의 키의 갯수를 늘리지 않으면서 여러 가지 기능을 구현하는 다른 방법으로는, 리모콘에서 소정의 메뉴 키를 누르면 디스플레이 장치의 화면 상에 메뉴가 계층화하여 및/또는 나열식으로 나타나게 하고, 리모콘의 화살표 키 등을 이용하여 그 메뉴 사이를 이동(navigate)하여 적절한 기능을 실행시킬 수도 있다.
이러한 최근의 텔레비전을 종래의 리모콘으로 조절하기 위해서는 상위 메뉴로 진입하고 순차적으로 하위 메뉴로 진행하여 여러 차례의 리모콘 버튼 입력이 필요하다. 즉, 전자기기(예를 들어 텔레비전)의 기능이 많아진 것에 비하여 이를 제어하는 리모콘과의 인터페이스 측면에서는 큰 변화가 없어서, 번거롭고 복잡한 원격 제어를 계속하여 행하고 있었다.
원격 포인팅 장치의 등장
이러한 불편을 극복하기 위하여 2차원 포인팅 리모콘 장치(원격 포인팅 장치)가 등장하였다. 2차원 포인팅 리모콘 장치 장치란, 리모콘을 마치 컴퓨터용 마우스와 같이 동작시키는 개념이다. 그러나, 무선 마우스와 다른 점은, 리모콘이 적외선을 방출하고, 전자기기(예를 들어 텔레비전)의 광 수신부에 이미지 센서가 부착되어 있어, 이 이미지 센서가 리모콘이 발한 적외선의 이동 좌표를 감지하여 리모콘의 상하좌우 이동을 감지해 내는 것이다. 이러한 동작을 취하는 경우에, 기존의 마우스와 작동 원리는 상이하지만, 겉으로 보이는 구현의 양상은 유사하며, 기존의 전자기기에 큰 변형을 가하지 않고서도, 최소한의 비용 부가로 그래픽 유저 인터페이스(GUI)의 구현이 가능하다.
즉, 종래의 리모콘은 전자기기에 대해서, 리모콘의 위치 이동 정보를 제공하지는 않았으나, 2차원 포인팅 리모콘 장치는 리모콘 자체의 이동 정보를 주면서, 이를 이용하여 포인팅을 행하여 메뉴 등을 선택하도록 하는 것이다.
도 1은 원격 포인팅 장치(103)를 설명하는 도면이다.
2차원 포인팅 리모콘 장치(103)에서 메뉴 버튼을 누르면, 텔레비전의 화면(101)에 그림과 같은 메뉴가 표시된다. 기존의 리모콘에서는 리모콘에 설치된 화살표 키 또는 '다음' 키 등을 이용하여 도 1에 나타난 8개의 메뉴 중에서 하나를 선택하지만, 2차원 포인팅 리모콘 장치(103)를 사용하는 경우는 2차원 포인팅 리모콘 장치(103) 자체를 상하좌우로 이동하여 그림의 8개의 메뉴 중 하나를 선택한다. 이 때, 필요에 따라 커서(105; cursor)가 이동하여 메뉴 중 하나를 선택하도록 구현할 수도 있다. 즉, 컴퓨터용 마우스와 같은 조절이 가능하다.
이 경우, 2차원 포인팅 리모콘 장치(103)에 달린 광원(104; 예를 들어 적외선 LED)로부터의 적외선 신호가 광 수신부(102; 예를 들어 적외선 수신기)에서 수신되며, 특히 그 위치 정보가 수신된다. 도 1에서 광 수신부(102)는 화면(101)의 우측 하단에 위치하는 것으로 도시되었으나, 2차원 포인팅 리모콘 장치(103)로부터의 신호를 수신받을 수 있는 곳이라면 임의의 장소에 위치할 수 있음은 물론이다.
도 2는 광 수신부(102)에서 2차원 포인팅 리모콘 장치(103)의 위치 정보가 수신되는 과정을 설명하는 도면이다.
도 2의 광 수신부(102)는 도 1의 화면(101) 하단에 존재하는 광 수신부(102) 를 구체적으로 도시한 것이다.
사용자가 들고 있는 2차원 포인팅 리모콘 장치(103)의 광원(104; 통상적으로 적외선 LED)에서 투사된 빛을 위치 감지하기 위하여 광 수신부(102)의 전단에는 렌즈(201), 리드 글래스(202), 이미지 센서(203) 등의 조립체가 배치되어 있다. 이러한 조립체의 각각의 구성요소는 홀더(206; 본체부)에 의해 지지된다.
또한, 광 수신부(102)의 후단에는 이 이미지 센서(203)로부터 전달되는 이미지 데이터 중에서 2차원 포인터로 동작하는 광원(104) 이미지의 위치를 읽어내고 시간의 흐름에 따라 이 위치의 변화를 계산하는 이미지 처리 프로세서(204)가 연결되어 있다. 이는 기판(205) 상에 설치되어 있으며, 이미지 센서(203)와 이미지 처리 프로세서(204)는 필요에 따라 기판(205)을 공유하거나 공유하지 않을 수 있다.
이 이미지 처리 프로세서(204)는 화면(도 1의 101) 상의 특정 위치에 커서(103)를 표시하여 사용자로 하여금 자신이 포인팅하고자 하는 화면 상의 위치를 확인할 수 있는 데이터를 전자기기(예를 들어 텔레비전)의 본체로 송신한다.
도 3은 이미지 센서(203)에 점으로 맺힌 빛의 상을 나타내는 도면이다.
이 렌즈(201)의 초점거리는, 통상적으로는 렌즈(201)를 통과한 광(적외선 등을 포함)이 광 수신부(102)의 후단에 위치한 이미지 센서(203) 상에 하나의 점으로 맺히도록 하는 초점거리로 설정되어 있으며, 예컨대, 리모콘(103)과 렌즈(201) 사이의 거리가 5미터 떨어져 있다면, 도 3과 같이 이미지 센서 상에 빛의 상이 맺힌다.
그러나, 리모콘(103)이 렌즈(201)로부터 더 멀어지면(예를 들어 10미터), 도 3에 나타난 상은 점점 희미해져서 이미지 센서(204) 및 이미지 처리 프로세서(204)가 인식할 수 없을 정도로 된다.
원격 포인팅 장치의 커서 제어의 문제점
그러나, 이러한 원격 포인팅 장치에 있어서의 문제점은 다음과 같다.
도 4는 원격지에 위치한 광원을 추적하는 이미지 센서 방식의 화면 포인팅 리모콘의 문제점을 나타내는 도면이다.
도 4(a)에서, X점은 광 수신부(102; 이미지 센서(203) 및 처리부를 포함함)와 거리 D0 만큼 떨어져 있으며, Y점은 광 수신부(102)와 거리 D1만큼 떨어져 있다.
도 4(a)에서도 볼 수 있듯이, 사용자가 X점에서 광원(104)을 움직일 때와 Y점에서 광원(104)을 움직일 때 광 수신부(102)에서 수신된 영상 내에서의 광원의 이동 거리는 사용자의 위치에 따라 매우 큰 차이가 난다.
즉, 광원(104)이 같은 거리를 움직여도 사용자의 위치가 광 수신부(102)에서 멀어질수록 수신되는 영상 내에서의 광원의 이동 거리는 광원(104)과 광 수신부(102) 사이의 거리에 반비례하여 작아지기 때문이다. 예를 들어, D1이 D0의 2배 거리라고 하면, 도 4(b)에서 볼 수 있듯이, D0만큼 떨어진 X지점에서의 광원(104)의 이동이 광 수신부(102)에서 R만큼의 이미지의 이동으로 나타난다면, D1만큼 떨어진 Y지점에서의 광원(104)의 이동이 광 수신부(102)에서 0.5R만큼의 이미지의 이동으로 나타난다(등록특허 제654194호(발명의 명칭: 일반 적외선 리모콘 통 신 기능을 겸비한 이미지 센서 이용방식 원격 포인팅 장치용 원격 제어기) 참조).
또한, 종래의 이미지 센서 방식의 포인팅 리모콘은 사용자의 위치에 따라 리모콘 광원의 이동량이 현저하게 달라야 하는 불리함을 해결하기 위한 방법으로서, 수신된 영상의 크기 변화 등을 관찰하여 거리를 보정해 주는 방식을 취할 수도 있다. 즉, 영상의 크기를 통해 거리를 보정(즉, 이미지 센서에 맺히는 상이 작으면 리모콘이 멀리 있는 것으로 인식하고, 상이 크면 가까이 있는 것으로 인식)하면, 거리가 멀 때에는 조작 동작을 작게 해도 되도록 보정할 수 있을 것이라고 생각할 수도 있다(등록특허 제660165호(발명의 명칭: 일반 적외선 리모콘 통신 기능을 겸비한 이미지 센서 이용 방식 원격 포인팅 시스템) 참조). 그러나, 실제로, 영상의 크기를 통한 거리 보정 방식을 사용하면 거리가 멀어질수록 디스플레이 화면 상에 표현할 수 있는 지점의 정확도가 떨어지기 때문에 바람직한 해결책이 되기는 힘들다.
결국 이러한 현상들로 인해, 종래의 기술에 의하면 크게 다음의 두 가지 문제가 발생한다.
① 사용자의 불편이 초래된다.
즉, 통상적인 거리에 있는 사용자가 의미있는 리모콘 동작 입력을 주기 위해 팔을 움직여야 하는 거리가 너무 커져서 리모콘 사용이 매우 불편해진다. 예를 들어, TV 등의 시청자가 약 5 미터 거리에서 리모콘(103)을 작동시키고 있고, 광 수신부(102)에는 약 60도의 화각(fov: field of view(또는 angle of view라고도 함))을 갖는 렌즈가 사용되고 있다고 가정할 때, 사용자가 리모콘(103)을 50cm만큼 이동시킨다 하더라도, 광 수신부(102)에 결상되는 광원의 상의 이동 거리는 전체 이미지의 1/10에 불과하다. 만일 사용자까지의 거리가 더 멀어지게 된다면, 이는 보통 체구를 가진 사용자가 자연스럽게 팔을 움직여 포인팅 동작을 할 수 있는 한계를 넘게 된다.
② 컴퓨팅 파워, 메모리 요구, 및 소비 전력이 증가된다.
광 수신부(102)의 이미지 센서가 충분한 해상도를 가지고 있어, 예를 들어 전체 화면의 1/10 정도의 광원의 상의 이동량을 디스플레이 화면 전체에 대응하는 좌표로 변환할 수 있다고 해도 광 수신부(102)의 이미지 센서(203)의 전체 해상도는 수십만 픽셀 이상을 가져야 하며, 이는 화면 포인팅 기능을 제공하기 위한 이미지 프로세싱에 더 많은 컴퓨팅 파워와 저장 메모리를 가진 후처리 프로세서를 요구하게 되며, 소비 전력 또한 증가한다. 이에 따라 비용이 증가하게 된다.
종래의 2차원 포인팅 장치에 있어서는, 고정된 시야각을 가진 이미지 센서에 포착되는 리모콘 광원이 광 수신부로부터 거리가 멀어질수록 사용자의 동작이 반비례하여 작게 감지되는 문제점 때문에 실용적인 2차원 포인팅 리모콘 장치의 구현이 어려웠다.
이에, 본 발명의 목적은, 이미지 센서 방식을 이용한 2차원 포인팅 리모콘 장치에서 사용자의 동작을 크게 요구하지 않으면서도 효과적인 포인팅 동작이 가능하게 하여 장치의 사용 편의성을 높이는 것이다.
본 발명에 따른 광 수신기는, 소정 범위의 파장을 갖는 빛을 투사하는 원격지의 광원을 인식하는 광 수신기로서, 상기 광원의 상(image)이 결상되는 이미지 센서; 및 상기 이미지 센서에 결상된 상의 위치 및 밝기를 감지하는 이미지 처리 프로세서를 포함하고, 상기 이미지 처리 프로세서로부터의 이미지 처리 결과에 따라, 상기 광 수신기를 포함하는 디스플레이 장치의 화면 상의 커서를 이동시켜 포인팅을 행하며, 상기 커서가 상기 화면 상에서 포인팅하는 위치를 지시하기 위하여, 상기 광원의 이동 방향 및 지향각 차이를 이용하는 것을 특징으로 한다.
바람직하게는, 본 발명의 광 수신기는, 상기 커서의 이동 방향은 상기 광원의 이동 방향에 기초하고, 상기 커서의 이동량은 상기 광원의 지향각 차이에 기초하는 것을 특징으로 한다.
바람직하게는, 본 발명의 광 수신기는, 소정의 시간 주기마다, 상기 이미지 센서에 결상되는 광원의 상의 밝기가 변화하는 정도를 검출하여, 상기 광원의 광축이 상기 광 수신기를 향하는 각도인 지향각의 변화를 알아내는 것을 특징으로 한다.
바람직하게는, 본 발명의 광 수신기는, 상기 광원의 상의 밝기 변화와 지향각 변화 사이의 관계를, 지향각이 커질수록 상이 어두워진다는 램버트의 법칙에 따라 산출하는 것을 특징으로 한다.
바람직하게는, 본 발명의 광 수신기는, 상기 광원의 이동 방향을 알아내기 위해, 상기 이미지 센서에 결상되는 광원의 상의 2차원 이동 궤적을 이용하는 것을 특징으로 한다.
바람직하게는, 본 발명의 광 수신기는, 상기 광 수신기에 포함되는 상기 광원은 복수개일 수 있으며, 상기 광원이 2개인 경우, 상기 2개의 광원의 광축이 서로 평행하지 않도록 각각의 광원을 배치하고, 상기 2개의 광원을 연결한 선과 평행한 축 방향을 따라서는 상기 광원의 이동 방향을 계산할 필요없이, 상기 복수의 광원들 상호간의 밝기 차이만을 비교하여 지향각을 계산함으로써 상기 화면 상의 커서의 위치를 결정하는 것을 특징으로 한다.
바람직하게는, 본 발명의 광 수신기는, 상기 광 수신기에 포함되는 상기 광원은 복수개일 수 있으며, 상기 광원이 3개 이상인 경우, 상기 복수의 광원 중에서 어떤 한쌍의 광원의 광축도 서로 평행하지는 않게 각각의 광원을 배치하고, 상기 광원의 이동 방향을 계산할 필요없이, 상기 복수의 광원들 상호간의 밝기 차이만을 비교하여 지향각을 계산함으로써 상기 화면 상의 커서의 위치를 결정하는 것을 특징으로 한다.
바람직하게는, 본 발명의 광 수신기는, 상기 광원으로부터의 빛은 광학 렌즈를 통과하여 상기 이미지 센서에 결상되는 것을 특징으로 한다.
바람직하게는, 본 발명의 광 수신기는, 상기 광원까지의 거리 변화에 따른 결상된 상의 이동 편차를 보정하기 위해, 수신된 상의 밝기 값을 이용하는 것을 특징으로 한다.
또한, 본 발명은, 위에 기재된 광 수신기에 대해 소정 범위의 파장을 갖는 빛을 투사하는 광 송신기로서, 디스플레이 장치의 화면 상에서 포인팅 위치를 지시하기 위하여, 투사되는 1개 또는 2개 이상의 광원의 지향각 차이를 이용하는 광 송신기를 제공한다.
또한, 본 발명은, 위에 기재된 광 송신기를 포함하는 휴대 전화기를 제공한다.
종래의 이미지 센서 방식의 포인팅 리모콘 장치(및 광 수신부)는 사용자의 위치에 따라 리모콘 광원의 이동량이 현저하게 달라지기 때문에, 수신된 영상의 크기 변화 등을 관찰하여 거리를 보정해 주는 방식을 취한다 할지라도, 거리가 멀어질수록 더 큰 조작 동작(통상, 좌우 50센티미터나 그 이상)을 취하도록 요구해야만 하였다. 본 발명을 이용하면 사용자에게 불편함을 느끼지 않을 정도의 손목을 꺾는 동작(통상, 리모콘 이동거리 20센티미터 내외에서 좌우 회전각 20도 내외)만을 취 하도록 요구함으로 화면 상의 임의의 지점을 원활하게 포인팅할 수 있게 되어 사용자 편의성이 극적으로 향상된다.
종래의 방식은 광원의 이동만을 가지고 광원의 이동'량'을 계산해 내야 하였지만, 본 발명은 이미지 센서에 나타난 광원의 상의 '밝기의 변화'와 광원의 이동 '방향'만을 얻어내면 충분하기 때문에, 종래보다 훨씬 낮은 해상도의 이미지 센서를 사용하여 원하는 목적을 달성할 수 있다. 더욱이 본 발명의 원리는 광 수신부로부터의 거리에 무관하게 적용할 수 있기 때문에 후처리를 위한 계산량이 줄어든다. 이와 같은 비용 절감 요소들은 종래에 비해 훨씬 저렴한 컴퓨터 칩(MCU)과 훨씬 적은 저장 메모리를 사용하고, 저전력으로 포인팅 기능을 구현할 수 있게 하여 제조 비용을 현저히 낮춘다.
이하, 첨부된 도면을 참조하여, 본 발명의 실시예를 상세히 설명한다.
도 5는 램버트(Lambert)의 법칙에 의해 설명되는 광원의 복사 휘도(radiance)와 이미지 센서에 수신되는 영상의 밝기(조도) 변화에 관한 도면이며, 도 6은 광원의 광축이 광 수신부(광 수신기)를 향하는 각도에 따라서 광 수신부에서 인식하는 광량이 달라짐을 나타내는 도면이다.
램버트의 법칙이란, 렌즈에 의해 맺힌 상(image)면의 가장자리의 밝기는 어떤 렌즈라도 화면의 중심부에 비해 어두우며, 구체적으로는, 상면의 조도가 광선의 입사각의 코사인 네제곱에 비례하여 감소한다는 것이다. 이때, 상면은 광 수신부(502)의 렌즈가 놓이는 위치가 될 것이며, 이 렌즈를 통한 상이 이미지 센 서(505)에 결상되는 것으로 볼 수 있다.
도 5를 참조하면, 리모콘(503)에 광원(504)이 부착되어 있는 것을 볼 수 있고, 이러한 광원(504; 이하, 램버트 광원(Lambertian light source)이라고도 함)이 광 수신부(502, 502')에서 인식된다. 도 5에는 광 수신부(502) 및 광 수신부(502')와 같이, 2개의 광 수신부(502, 502')가 도시되어 있으나, 이는 설명을 위한 예시이며, 본 발명의 장치에서 광 수신부를 2개 이용한다는 의미는 아니다.
평면을 비추고 있는 램버트 광원(504)은 광원이 향하고 있는 광축과 수직으로 대하고 있는 축상면에 위치(즉, 도 5에서 A점)되어 있는 광 수신부(502)의 이미지 센서(505)와 광축으로부터 이탈각 θ만큼의 각도를 가지고 벌어져 있는 비(非)축상면에 위치(즉, 도 5에서 H점)되어 있는 광 수신부(502')의 이미지 센서(505')에 각각 다른 밝기로 결상된다.
도 6을 참조하면, 도 6(a)는 리모콘(503)에 부착된 광원(504)의 광축이 광 수신부(502)의 이미지 센서(505)와 대략 마주하는 방향으로 있을 때 이미지 센서(505)에 결상된 이미지를 나타낸다. 또한, 6(b)는 리모콘(503)에 부착된 광원(504)의 광축이 광 수신부(502')의 이미지 센서(505')와 θ만큼의 각도를 가질 때 이미지 센서(505)에 결상된 이미지를 나타낸다.
이처럼, 도 6의 (a)와 (b)를 통해, 광원(504)의 광축이 광 수신부(502 또는 502')의 이미지 센서(505 또는 505')의 평면에 어떠한 각도를 지니는지에 따라서, 그 밝기가 달라짐을 쉽게 확인할 수 있다. 즉, 광축과 이미지 센서(505)의 평면이 직교하는 경우에는 도 6(a)에서 볼 수 있는 바와 같이 선명한 또는 밝은 광원으로 서 인식되지만, 이미지 센서(505')가 광원으로부터 θ의 각도만큼 비스듬한 위치에 있는 경우(즉, 광축과 이미지 센서(505')의 평면이 이루는 각이 90-θ인 경우)에는 도 6(b)에서 볼 수 있는 바와 같이 상대적으로 덜 선명한 혹은 어두운 광원으로서 인식된다.
이러한 결상 밝기 차이는, ① A점을 향해 방사되는 광원(503)의 복사 휘도 J0와 H점을 향해 방사되는 복사 휘도 Jθ 사이의 차이 및 ② A점에 있는 광 수신부(502)의 이미지 센서(505)의 상면과 H점에 있는 광 수신부(502')의 이미지 센서(505')의 상면 사이에 조도 차이를 일으키는 요인들(거리, 면 사이의 경사도 등) 때문이며, 각각 아래의 관계식으로 표현된다.
Jθ = J0 cos θ (J0: 광축 방향으로 방사되는 복사 휘도) ... 수식 (1)
H의 조도 = (A의 조도) × cos4 θ ... 수식 (2)
cos4 30o = 0.56, cos4 45o = 0.25, 그리고 cos4 60o = 0.06 이 된다는 사실을 생각해 보면, 광원(504)의 방향이 약간만 회전되어도 상의 밝기에 현저한 변화를 가져 올 수 있음을 알 수 있다.
이 원리를 역으로 이용하면, 어떤 지점에서의 조도를 알아 내면, 리모콘(503)의 광원(504)의 광축이 이미지 센서(505 또는 505')가 향하고 있는 방향으로 얼마나 이탈하였는지(즉, θ값이 어느 정도인지)를 계산해 낼 수 있다.
도 7은 사용자가 손목을 이용하여 리모콘 광원의 지향각을 바꾸는 방법으로 이미지 센서에 결상되는 광원의 상 밝기를 변화시킨 실험 예를 나타내는 도면이며, 도 8은 이미지 센서에 결상되는 광원의 상을 나타내는 도면이다.
도 7에는, 소정 범위의 파장을 갖는 빛(예를 들어 적외선)을 투사하는 원격지의 광원(504)을 인식하는 광 수신부(502; 광 수신기)가 개시된다. 이 광 수신부(502)는 광원(504)의 상(image)이 결상되는 이미지 센서(505), 및 이미지 센서(505)에 결상된 상의 위치 및 밝기를 감지하는 이미지 처리 프로세서를 포함하고, 이미지 처리 프로세서로부터의 이미지 처리 결과에 따라, 광 수신부(502)를 포함하는 디스플레이 장치의 화면(도 1의 101 참조) 상의 커서(도 1의 105 참조)를 이동시켜 포인팅을 행하며, 커서(105)가 화면(101) 상에서 포인팅하는 위치를 지시하기 위하여, 광원(504)의 이동 방향 및 지향각 차이를 이용한다.
이때, 광원(504)의 이동 방향 및 지향각 차이를 이용한다 함은, 커서(105)의 이동 방향은 광원(504)의 이동 방향에 기초하고, 커서(105)의 이동량은 광원(504)의 지향각 차이에 기초한다는 것이다. 후술하겠으나, 종래 기술에서는 커서(105)의 이동 방향 및 이동량 모두를 각각 광원(504)의 이동 방향 및 이동량에 기초하였고, 본 발명은 커서(105)의 이동 방향은 광원(504)의 이동 방향에 기초하고 커서(105)의 이동량은 광원(504)의 밝기 변화에 기초한다.
도면을 참조하여 구체적으로 살펴보면, 도 7의 (a)에서는, 광축과 이미지 센서(505)의 평면이 직교한다. 따라서, 도 7(a)에서 각도 θ(이탈각, 지향각)는 거의 0으로 볼 수 있다. 이는 도 5에서 A점 근방에서 발생하는 상황과 유사하다는 것을 알 수 있다. 이를 도 7(a)에서는 A'점으로 표현하였으며, 이때 이미지 센 서(505)에 결상되는 이미지는 도 8(a)와 같이 비교적 선명하게 나타난다.
지향각이라 함은, 광원(504)이 광 수신부(504)를 향하는 각도를 말한다. 더욱 구체적으로는, 광원(504)에서 광 수신부(504)의 렌즈의 중심까지 그은 선을 선 1이라 하고, 광원(504)의 광축을 선 2라 하면, 선 1과 선 2가 이루는 각을 말한다. 반드시 그런 것은 아니지만, 선 1과 이미지 센서(505)의 평면은 대략 직교할 것이다. 이는, 리모콘(503)으로서 적절히 동작하기 위해서는 광원(504)을 포함하는 리모콘(503)이 광 수신부(504)로부터 소정의 거리 범위 내에 있을 것이라는 통상의 동작을 전제로 한 것이다.
또한, 도 7의 (b)에서는, 광축과 이미지 센서(505)의 평면이 직교하는 것이 아니고 대략 90-θ만큼의 각도를 갖는다. 즉, 도 7(b)에서의 광원(504)의 광축은 도 7(a)에서의 광원(504)의 광축보다 θ만큼의 각도로 이탈해 있다. 이때, 도 7(b)에서 각도 θ는 예를 들어 10~30도이다. 이는 도 5에서 H점 근방에서 발생하는 상황과 유사하다는 것을 알 수 있다. 이를 도 7(b)에서는 H'점으로 표현하였으며, 이때 이미지 센서(505)에 결상되는 이미지는 도 8(b)와 같이 비교적 희미하게 나타난다.
이때 주의할 점은, 리모콘(503)에 포함된 광원(504)이 반드시 이미지 센서(505)를 정확히 향해야만(즉, θ가 거의 0이어야만) 결상되는 것은 아니라는 점이다. 즉, θ가 0이 아닌 소정의 값(예를 들어 10도)을 가져서 광원(504)이 광의 이미지 센서(505)를 정면으로 향하고 있지 않더라도, 이미지 센서(505)에는 광원(504)의 광이 약해지는 것으로 인식될 뿐이며 완전히 인식하지 못하는 것은 아니 다. 물론 θ의 값이 커짐에 따라서 점차적으로 광원(504)으로부터의 광이 인식되기 힘들며 소정의 임계 상황에서는 광이 없는 것으로 인식될 수 있다. 비유컨대, 플래쉬라이트의 방향이 사람의 눈을 정면으로 향하고 있지 않고 45도 정도 이탈되어 향하고 있다고 해도 사람의 눈은 여전히 플래쉬라이트의 존재를 알아챌 수 있으나, 다만, 이탈각이 적을수록 더욱 많은 광량이 눈에 들어오는 것과도 유사하다.
따라서, θ의 각(이탈각)이 커짐에 따라서 도 8(a)에서 도 8(b)로와 같이 결상된 이미지의 밝기가 달라지게 되며, θ각의 크기에 따라서 도 8(a)와 도 8(b)의 중간 단계의 이미지 밝기가 가능한 것임은 물론이고, 이는 전술한 수식 (2)와 같이 램버트의 법칙에 따른 것이다.
다시 말해, 도 7(a) 및 7(b)에서, 사용되는 광원(504)의 종류 및 사용 거리에 따라 상대적인 수치들은 달라지지만, 도 8(a) 및 8(b)에서의 실험 촬영된 사진의 도시들은 리모콘(503)의 광원(504)이 이미지 센서(505)가 향하는 방향과 최대한 일치시켰을 때(즉, 도 8(a)의 경우)와 광원(504)의 지향각 θ를 이미지 센서(505)에 향하는 방향으로부터 10도 가량 회전시켰을 때(즉, 도 8(b)의 경우) 밝기에 의미 있는 차이를 가져오며, 측정값은 앞서 설명된 램버트의 법칙 및 조도에 관한 관계식으로부터 계산된 값과 일치한다.
다만, 도 7(b)의 그림을 보면, 광원(504)을 회전축으로 하여 θ만큼의 각도를 이탈한 것이므로, 이미지 센서(505)의 입장에서는 광원(504)의 위치 변화는 없고 밝기 변화만 있는 것으로 감지될 수도 있다. 만약 그렇다면, 이미지 프로세서는 이미지 센서(505)에서의 밝기 변화를 광원(504)의 각도 변화로 인식할 수는 있 으나 어느 방향으로 이탈했는지 알 수 없게 되는 결과가 발생한다.
그러나 도 7(b)는 θ만큼의 이탈각에 대한 이해를 돕기 위해서 도시한 것이고, 실제의 리모콘(503) 사용을 생각해 보면 광원(504)이 중심축이 되어 회전(이탈)하는 것이 아니라 리모콘(503) 자체가 중심축이 되어 이탈한다. 즉, 사용자의 손이 리모콘(503)의 대략 중심부를 잡고서 움직이게 되므로 실제로는 도 7(c)와 같은 이동 및 각도 이탈이 발생한다. 즉, 광원 자체의 이탈각 θ'는 도 7(b)에서의 이탈각 θ와 이론적으로는 약간 상이하지만 실제로는 거의 같다고 볼 수 있으며, 이에 더하여 광원이 2차원적으로(도 7(c)에서는 상방으로) 약간 이동(즉, 거리 d만큼)하는 결과를 낳는다. 즉, d가 그리 크지 않다(약 50cm 이하, 바람직하게는 약 30cm 이하)는 전제 하에, 도 7(c)에서 이탈각 θ를 지향각으로 보든, 이탈각 θ'를 지향각으로 보든 간에 거의 동일한 결과를 얻는다. 도 7(c)에서는 설명의 편의를 위해서 스케일이 다소 과장되어 표현되어 있기 때문에 이탈각 θ와 이탈각 θ'가 다소 차이가 커 보일 수는 있을 것이다.
따라서, 이동 '방향'은 상방이라는 정보를 얻을 수 있고, 어느 정도나 이동했는지의 양적인 것은 광원의 밝기 변화를 통해 알아낼 수 있다.
물론, 이와 같이 손목을 약간 틀어서 리모콘(503)을 이동시키는 것만으로는 리모콘(503)의 이동량(도 7(c)에서의 이동 거리 d)이 미미할 우려도 있으므로, 바람직하게는, 리모콘(503)을 실제로 상방으로 수평이동(약 10cm 정도)하면서 상방으로 이탈각도 만들어 주는 것이 좋을 것이다.
결국, 이와 같은 과정을 통해, 이미지 센서(505)에서는 도 8(c)와 같은 상을 얻을 수 있으며, 이를 통해, 광원(504)의 2차원적 이동 방향도 인식되고, 이탈각의 변화에 따른 광원(504)의 상의 밝기 변화도 인식되므로, 이들 두 요인을 적절히 계산하여 커서의 포인팅 위치를 잡을 수 있게 된다.
이러한 원리를 이용하면, 사용자에게 불편함을 느끼지 않을 정도(통상 좌우 20도 이내)의 손목을 꺾는 동작만을 취하도록 요구함으로 화면 상의 임의의 지점을 원활하게 포인팅할 수 있게 된다.
즉, 종래에는 2차원(상하좌우의 평면) 상의 이동과 관련해서는 광원의 밝기는 전혀 고려의 대상이 아니며 광원의 이동만을 가지고 '광원의 이동량'을 알아야 하지만, 본 발명은 '광원의 이동 방향' 및 '광원의 밝기'를 통해 커서의 포인팅을 제어한다. 종래에 요구되었던 광원의 이동'량'과 본 발명에서 요구하는 광원의 이동 '방향'은 다소 다른 개념임을 알 수 있을 것이다.
또한 사용자의 위치가 한 번 정해진 후 비교적 작은 리모콘 동작 중에는 특정한 지점들간에 존재하는 광원으로부터의 거리 차이를 무시할 수 있다는 조건에서, 상 밝기 차이는 오로지 각도 θ에 관한 함수로 볼 수 있고, 그것은 사용자가 위치를 바꾸고 나서 여전히 성립한다. 이 사실로부터, 이 원리를 이용하여 광원(504)과 광 수신부(505) 사이의 거리에 무관한 방식으로 포인팅에 필요한 주요 변수값을 결정할 수 있음을 알게 된다.
실시예 1
본 발명의 실시예로서, 다음과 같은 방식으로 포인팅 동작을 할 수 있을 것이다.
주된 사항은 전술한 바와 같으며, 도 7을 참조하면, 우선, 사용자의 리모콘(503) 동작 중에 발생하는 2차원 상에서의 광원(504)의 상하좌우 움직임을 읽어내는 공지의 방식을 이용하여 포인터의 이동 '방향'을 결정한다.
다음으로, 이미지 센서(505)에 투영된 리모콘(503)의 광원(504)의 밝기 차이로부터 광원(504)의 지향각(θ)의 변화량을 계산하고, 이 변화량의 크기를 기초로 사용자가 원하는 방향으로 얼마나 큰 포인팅 이동 동작을 할 것인지를 결정한다.
도 9는 본 발명에 따른 광원의 인식을 나타내는 다른 도면이다.
도 9는 이미지 센서(505)에서 광원이 인식된 상을 나타내는데, 상이 이미지 센서(505)의 중심에서 약간 좌측 상단으로 치우쳐 있음을 알 수 있으며, 또한, 밝기는 약간 어두워진 것을 알 수 있다. 따라서, '이동 방향'은 좌측 상단임을 알 수 있고, '지향각'은 전술한 램버트의 법칙에 따른 수식을 이용하여 도 9에 나타난 상의 밝기로부터 구할 수 있다. 따라서, 도 9와 같은 결상의 경우에 있어서 이동 방향 및 지향각을 구하여, 도 1에 나타난 커서(105)를 화면(101) 상에서 적절한 양만큼 적절한 방향으로 이동시킬 수 있다.
이러한 지향각의 변화는, 소정의 시간 주기(예를 들어, 0.1초)마다, 이미지 센서(505)에 결상되는 광원(504)의 상의 밝기가 변화하는 정도를 검출하여, 광원(504)이 광 수신부(502)를 향하는 각도인 지향각의 변화를 알아내는 것이다.
참고로, 보통 상기와 같은 계산을 초당 10회 이상 반복하는 방식(초당 10프레임 이상)으로 수행할 때, 이 실시예에 대한 설명에서 고려하지 않은 비정상적인 사용자 동작(예를 들면, 사용자가 리모콘(503) 동작 중에 광 수신부(502) 쪽으로 다가가거나 혹은 광 수신부(502)로부터 멀어지는 것과 같이, 광 수신부(502)까지의 거리를 바꾸는 방식으로 움직여서 상의 밝기에 영향을 주는 동작)은 상대적으로 매우 느린 변화로 포착되기 때문에 화면 포인팅에 거의 영향을 주지 않는다.
또한, 광원(504)까지의 거리 변화에 따른 결상된 상의 이동 편차를 보정하기 위해, 이미지 센서(505)에 수신된 상의 밝기 값을 이용하도록 구성하는 것이 바람직하다.
이에 대해 부연 설명하면, 광 수신부(502)와 광원(504)이 2미터 떨어진 경우에 이미지 센서(505)에 결상된 상이 1cm 움직이는 것과, 광 수신부(502)와 광원(504)이 3미터 떨어진 경우에 있어서 이미지 센서(505)에 결상된 상이 1cm 움직이는 것은, 이미지 센서(505)가 보기에는 똑같이 1cm 의 이동이지만, 실제의 지향각 θ는 두 경우에 있어서 상이하다. 따라서, 광원(504)과 광 수신부(502)의 거리가 어느 정도인지를 알아야 지향각 θ를 정확히 계산해 낼 수 있는데, 이처럼 광원(504)과 광 수신부(502)의 거리를 정확히 알아내기 위해(달리 말하면, 광원(504)까지의 거리 변화에 따른 결상된 상의 이동 편차를 보정하기 위해), 수신된 상의 밝기를 이용하는 것이다.
즉, 아주 단순화된 예를 들면, 결상된 상의 밝기가 밝을 때에 상이 1cm 움직이면 광원(504)과 광 수신부(502)가 2미터 떨어진 것으로 보고 지향각 θ를 계산하고, 결상된 상의 밝기가 그보다 조금 어두울 때에 상이 1cm 움직이면 광원(504)과 광 수신부(502)가 3미터 떨어진 것으로 보고 지향각 θ를 계산하는 것이다. 물론 이는 매우 단순화한 설명이며, 구체적인 밝기 수치에 따라서 거리를 정확히 정할 수 있을 것이다.
실시예 2
위에서는 단지 하나의 광원(504)을 추적하는 방식을 중심으로 본 발명을 설명하였으나, 복수의 광원(504)을 사용하여 본 발명을 실시하면 ① 사용자에게 요구되는 동작 크기를 더 줄이고, ② 2차원 포인팅 정밀도는 더 증가시키면서도, ③ 이미지 처리를 위한 계산량은 더 줄어드는 포인팅 리모콘 장치를 구현할 수 있다.
도 10은 2개의 광원을 포함하는 리모콘을 나타낸 도면이다.
예를 들어, 두 개의 광원(504-1 및 504-2)이 같은 평면 상에서 광축이 서로 다른 방향을 향하도록 배치하여 본 발명을 적용하면, 해당 평면과 평행한 축 방향을 따라서는 광원의 이동 방향을 계산해 내는 일이 없이 두 광원(504-1 및 504-2)의 밝기 차이만을 비교하여 화면 상에서의 커서의 위치를 결정할 수 있다.
즉, 2개 이상의 광원(504-1 및 504-2)의 광축이 같은 평면 상에 있되 서로 평행하지는 않도록 각각의 광원(504-1 및 504-2)을 배치하고, 상기 평면과 평행한 축 방향을 따라서는 광원(504-1 및 504-2)의 이동 방향을 계산할 필요없이, 복수의 광원들(504-1 및 504-2)의 밝기 차이만을 비교하여 디스플레이 화면 상의 커서의 위치를 결정한다는 것이다.
예를 들어, 도 10의 예에서는 리모콘(503)에 광원(504-1, 504-2)이 상하로 부착되어 있으므로, 적어도 상하 방향에 대해서는, 두 광원(504-1, 504-2)의 밝기만을 계산하면 리모콘(503)이 위로 회전하였는지 또는 아래로 회전하였는지를 알아낼 수 있다.
위의 예에서는 광원(504-1 및 504-2)의 광축이 같은 평면에 있는 것으로 설명하였으나, 굳이 두 광축이 같은 평면에 있지 않아도 무방하다. 즉, 광원(504-1, 504-2)이 2개인 경우, 이 2개의 광원(504-1, 504-2)의 광축이 서로 평행하지 않으면 족하며, 이 경우라면, 이러한 2개의 광원(504-1, 504-2)을 연결한 선과 평행한 축 방향(예컨대 도 10 및 11에서는 상하 방향)을 따라서는 광원(504-1, 504-2)의 이동 방향을 계산할 필요없이, 2개의 광원(504-1, 504-2) 상호간의 밝기 차이만을 비교하여 지향각을 계산함으로써 화면(101) 상의 커서(105)의 위치를 결정할 수도 있을 것이다.
특히, 예를 들어, 광원(504-1, 504-2)이 상하로 배치되어 있고, 메뉴 선택시 상하의 커서(105) 움직임이 중요한 경우 또는 커서(105)의 움직임이 상하 운동으로만 한정되게 해 둔 경우라면 이러한 응용예는 매우 유용할 것이다.
물론, 도 10의 예에서는 광원(504-1, 504-2)이 상하 일렬로 배치되었으나, 이와 달리 좌우 일렬로 배치될 수도 있다. 이 경우라면, 좌우 방향의 움직임에 대해서는 이동 방향의 계산없이 두 광원(504-1, 504-2)의 밝기 차이만을 이용하면 될 것이다.
도 11은 도 10의 리모콘 장치를 상하로 이동했을 때의 도면이다.
즉, 도 11의 (a)에서는 도 10에 도시된 바와 같이 리모콘(503)이 정면을 향하고 있을 때, 이미지 센서(505)에 결상된 두 광원의 상이 나타난다.
도 11의 (b)는 도 9에 도시된 리모콘(503)을 상방으로 약간 틀었을 때의 이미지 센서(505)의 결상 모습이다. 이 경우 광원(504-1)은 더욱 상방을 향하고 광 원(504-2)는 광 수신부(502)를 거의 마주 보게 되므로, 광원(504-1)은 도 10(b)의 상방에 희미하게 혹은 어둡게 나타나고, 광원(504-2)은 도 11(b)의 중앙에 선명하게 혹은 밝게 나타난다. 이로써 이동 방향은 상방임을 알 수 있다. 그리고 어느 정도의 각도가 틀어졌는지는, 두 광원의 밝기의 차이를 통해 알 수 있다.
실시예 1에서는 하나의 광원(504)의 이동 전후의 밝기의 변화를 이용하였고, 실시예 2에서는 복수의 광원(504-1, 504-2) 상호간의 밝기의 차이를 이용한다는 차이가 있다.
도 11의 (c)는 도 9에 도시된 리모콘(503)을 하방으로 약간 틀었을 때의 이미지 센서(505)의 결상 모습이다. 이 경우 광원(504-1)은 광 수신부(502)를 거의 마주 보게 되고, 광원(504-2)는 더욱 하방을 향하게 되므로, 광원(504-1)은 도 11(c)의 중앙에 선명하게 혹은 밝게 나타나고, 광원(504-2)은 도 11(b)의 하방에 희미하게 혹은 어둡게 나타난다. 이로써 이동 방향은 하방임을 알 수 있다. 그리고 어느 정도의 각도가 틀어졌는지는, 복수의 광원(504-3, 504-4, 504-5) 상호간의 밝기의 차이를 이용하여 알 수 있다.
물론, 실시예 1에서처럼 이동 전과 후의 각각의 광원의 밝기의 변화를 통해서 알 수도 있을 것이다.
위 설명은, 이미지 센서(505) 앞에 있는 렌즈가 정립상을 만든다는 가정 하에서의 설명이고, 렌즈의 특성에 따라 만약 도립의 상이 맺히게 하는 렌즈라면 이와 반대 방향으로 해석 및 계산하면 될 것이다.
물론, 해당 평면과 평행한 축 방향이 아닌 다른 방향(즉, 도 9의 예라면 상 하 방향이 아닌 다른 방향)에 대해서는 단지 이미지 센서(505)에서 인식되는 광원(504-1, 504-2)의 밝기만으로는 부족하고, 실시예 1에서처럼 광원(504-1 및 504-2)의 이동 방향 및 이탈각(즉, 이미지 센서(505)에 인식되는 광원의 밝기 변화)을 동시에 고려해야 할 것이다.
실시예 2에서는 광원이 2개인 경우를 예로 들었으나, 광원들이 대략 일직선상으로 배치되어 있다면 광원이 2개를 초과하더라도 구성 및 효과는 실시예 2와 유사할 것이다.
실시예 3
도 12는 3개의 광원을 포함하는 리모콘을 나타낸 도면이다.
도 10의 경우와 마찬가지로, 3개 이상의 광원(504-3, 504-4, 504-5)을 사용하고 이 3개의 광원(504-3, 504-4, 504-5)의 광축들이 서로 다른 방향을 향하도록, 그리고 3개 이상의 광원(504-3, 504-4, 504-5) 중에서 어떤 한쌍의 광원의 광축도 서로 평행하지는 않도록 각각의 광원(504-3, 504-4, 504-5)을 배치하면, 각 광원들의 밝기 차이만을 비교하여 2차원 화면 상 임의의 위치로 포인팅을 할 수 있다.
다만, 광원들(504-3, 504-4, 504-5)이 일직선상으로 배치되면 오히려 실시예 2와 유사하게 되므로, 실시예 3은 광원들(504-3, 504-4, 504-5)이 일직선상으로 배치된 것이 아니라, 예를 들어 광원의 갯수만큼의 정다각형을 이루며 배치되는 등의 구성을 갖는다.
예를 들어, 도 12의 예에서는 리모콘(503)에 광원(504-3, 504-4, 504-5)이 삼각형을 이루면서 부착되어 있으므로, 세 광원(504-3, 504-4, 504-5)의 밝기만을 계산하면 리모콘(503)이 위로 움직였는지, 아래로 움직였는지, 오른쪽으로 움직였는지, 또는 왼쪽으로 움직였는지를 알아낼 수 있다.
광원(504-3, 504-4, 504-5)이 세 개라도, 그 외의 구체적인 구현 사항은 도 10 및 11의 경우와 유사하다.
다만, 광원(504-3, 504-4, 504-5)이 세개 이상 존재하는 경우에는, 광원(504-3, 504-4, 504-5)의 상의 이동을 통해서 광원(504-3, 504-4, 504-5)의 이동 방향을 계산하지 않더라도, 광원(504-3, 504-4, 504-5)들 상호간의 밝기 차이만으로도 광원(504-3, 504-4, 504-5)의 이동 방향 및 지향각을 알아낼 수도 있다는 차이가 있다.
발명의 이점
이상 설명한 바와 같은 본 발명의 여러 실시예에 따르면, 사용자에게 불편함을 느끼지 않을 정도의 손목을 꺾는 동작(통상, 리모콘 이동거리 20센티미터 내외에서 좌우 회전각 20도 내외)만을 취하도록 요구함으로 화면 상의 임의의 지점을 원활하게 포인팅할 수 있게 되어 사용자 편의성이 극적으로 향상된다.
특히, 종래의 방식은 광원의 이동량을 계산해 내야 하였지만, 본 발명은 이미지 센서에서의 광원의 상의 밝기의 변화와 광원의 이동 방향만을 얻어내면 충분하기 때문에, 종래보다 훨씬 낮은 해상도의 이미지 센서를 사용하여 원하는 목적을 달성할 수 있다. 더욱이 본 발명의 핵심 원리는 광 수신부로부터의 거리에 무관하게 적용할 수 있기 때문에 후처리를 위한 계산량이 줄어든다.
이와 같은 비용 절감 요소들은 종래에 비해 훨씬 저렴한 컴퓨터 칩(MCU; Micro Controller Unit)과 훨씬 적은 저장 메모리를 사용하고, 저전력으로 포인팅 기능을 구현할 수 있게 하여 제조 비용을 현저히 낮춘다.
위에서는 특정의 예를 들어 설명하였으나, 본 발명은 상기 실시예에 한정되지 않으며, 당 분야의 통상의 지식을 가진 자에 의하여 많은 변형이 첨부의 특허청구범위에 기재된 본 발명의 본질적인 사상 내에서 가능함은 물론이다.
예컨대, 적외선 광을 중심으로 설명하였으나, 이는 다른 파장 대역의 빛일 수도 있음은 물론이며, 이 경우, 전술한 적외선 필터 등은 그에 맞게 적절한 파장의 빛을 필터링하는 수단으로 대체되는 등 적절한 대응이 행해져야 함은 자명하다.
본 발명의 기본 사상을 벗어나지 않는 한, 그 외의 다양한 변형도 본 발명의 범주에 속하는 것으로 보아야 할 것이다.
도 1은 원격 포인팅 장치(103)를 설명하는 도면이다.
도 2는 광 수신부(102)에서 2차원 포인팅 리모콘 장치(103)의 위치 정보가 수신되는 과정을 설명하는 도면이다.
도 3은 이미지 센서(203)에 점으로 맺힌 빛의 상을 나타내는 도면이다.
도 4는 원격지에 위치한 광원을 추적하는 이미지 센서 방식의 화면 포인팅 리모콘의 문제점을 나타내는 도면이다.
도 5는 램버트(Lambert)의 법칙에 의해 설명되는 광원의 복사 휘도(radiance)와 이미지 센서에 수신되는 영상의 밝기(조도) 변화에 관한 도면이다.
도 6은 광원이 광 수신부(광 수신기)를 향하는 각도에 따라서 광 수신부에서 인식하는 광량이 어느 정도인지를 나타내는 도면이다.
도 7은 사용자가 손목을 이용하여 리모콘 광원의 지향각을 바꾸는 방법으로 이미지 센서에 결상되는 광원의 상 밝기를 변화시킨 실험 예를 나타내는 도면이다.
도 8은 이미지 센서에 결상되는 광원의 상을 나타내는 도면이다.
도 9는 본 발명에 따른 광원의 인식을 나타내는 다른 도면이다.
도 10은 2개의 광원을 포함하는 리모콘을 나타낸 도면이다.
도 11은 도 10의 리모콘 장치를 상하로 이동했을 때의 도면이다.
도 12는 3개의 광원을 포함하는 리모콘을 나타낸 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
502, 502': 광 수신부(광 수신기)
503: 리모콘
504, 504-1, 504-2, 504-3, 504-4, 504-5: 광원
505, 505': 이미지 센서

Claims (11)

  1. 소정 범위의 파장을 갖는 빛을 투사하는 원격지의 광원을 인식하는 광 수신기로서,
    상기 광원의 상(image)이 결상되는 이미지 센서; 및
    상기 이미지 센서에 결상된 상의 위치 및 밝기를 감지하는 이미지 처리 프로세서
    를 포함하고,
    상기 이미지 처리 프로세서로부터의 이미지 처리 결과에 따라, 상기 광 수신기를 포함하는 디스플레이 장치의 화면 상의 커서를 이동시켜 포인팅을 행하며,
    상기 커서가 상기 화면 상에서 포인팅하는 위치를 지시하기 위하여, 상기 광원의 이동 방향 및 지향각 차이를 이용하는 것을 특징으로 하는 광 수신기.
  2. 제1항에 있어서,
    상기 커서의 이동 방향은 상기 광원의 이동 방향에 기초하고,
    상기 커서의 이동량은 상기 광원의 지향각 차이에 기초하는 것을 특징으로 하는 광 수신기.
  3. 제2항에 있어서,
    소정의 시간 주기마다, 상기 이미지 센서에 결상되는 광원의 상의 밝기가 변 화하는 정도를 검출하여, 상기 광원의 광축이 상기 광 수신기를 향하는 각도인 지향각의 변화를 알아내는 것을 특징으로 하는 광 수신기.
  4. 제3항에 있어서,
    상기 광원의 상의 밝기 변화와 지향각 변화 사이의 관계를, 지향각이 커질수록 상이 어두워진다는 램버트의 법칙에 따라 산출하는 것을 특징으로 하는 광 수신기.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 광원의 이동 방향을 알아내기 위해, 상기 이미지 센서에 결상되는 광원의 상의 2차원 이동 궤적을 이용하는 것을 특징으로 하는 광 수신기.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 광 수신기에 포함되는 상기 광원은 복수개일 수 있으며,
    상기 광원이 2개인 경우, 상기 2개의 광원의 광축이 서로 평행하지 않도록 각각의 광원을 배치하고,
    상기 2개의 광원을 연결한 선과 평행한 축 방향을 따라서는 상기 광원의 이동 방향을 계산할 필요없이, 상기 복수의 광원들 상호간의 밝기 차이만을 비교하여 지향각을 계산함으로써 상기 화면 상의 커서의 위치를 결정하는 것을 특징으로 하는 광 수신기.
  7. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 광 수신기에 포함되는 상기 광원은 복수개일 수 있으며,
    상기 광원이 3개 이상인 경우, 상기 복수의 광원 중에서 어떤 한쌍의 광원의 광축도 서로 평행하지는 않게 각각의 광원을 배치하고,
    상기 광원의 이동 방향을 계산할 필요없이, 상기 복수의 광원들 상호간의 밝기 차이만을 비교하여 지향각을 계산함으로써 상기 화면 상의 커서의 위치를 결정하는 것을 특징으로 하는 광 수신기.
  8. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 광원으로부터의 빛은 광학 렌즈를 통과하여 상기 이미지 센서에 결상되는 것을 특징으로 하는 광 수신기.
  9. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 광원까지의 거리 변화에 따른 결상된 상의 이동 편차를 보정하기 위해, 수신된 상의 밝기 값을 이용하는 것을 특징으로 하는 광 수신기.
  10. 제1항에 기재된 광 수신기에 대해 소정 범위의 파장을 갖는 빛을 투사하는 광 송신기로서,
    디스플레이 장치의 화면 상에서 포인팅 위치를 지시하기 위하여, 투사되는 1 개 또는 2개 이상의 광원의 지향각 차이를 이용하는 광 송신기.
  11. 제10항의 광 송신기를 포함하는 휴대 전화기.
KR1020090053012A 2009-06-15 2009-06-15 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기 KR20100134398A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090053012A KR20100134398A (ko) 2009-06-15 2009-06-15 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기
PCT/KR2009/006409 WO2010147270A1 (ko) 2009-06-15 2009-11-03 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090053012A KR20100134398A (ko) 2009-06-15 2009-06-15 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기

Publications (1)

Publication Number Publication Date
KR20100134398A true KR20100134398A (ko) 2010-12-23

Family

ID=43356560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090053012A KR20100134398A (ko) 2009-06-15 2009-06-15 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기

Country Status (2)

Country Link
KR (1) KR20100134398A (ko)
WO (1) WO2010147270A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120075778A (ko) * 2010-12-29 2012-07-09 엘지전자 주식회사 표시장치 및 객체의 위치 표시방법
US9320809B2 (en) 2014-07-24 2016-04-26 University-Industry Foundation, Yonsei University Nanoparticle comprising hydrophobic drug conjugated to cationic polymer and hydrophilic drug conjugated to anionic polymer

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097424A (ko) * 2003-05-12 2004-11-18 주식회사위프랜 기울기에 따른 각도 변화를 이용한 좌표값 입력 컴퓨터용마우스
KR100654194B1 (ko) * 2004-10-04 2006-12-05 주식회사 포인칩스 일반 적외선 리모콘 통신 기능을 겸비한 이미지센서 이용방식 원격 포인팅 장치용 원격제어기
KR100773905B1 (ko) * 2004-11-10 2007-11-09 주식회사 포인칩스 이미지 센서를 이용한 원격 포인팅 장치 및 방법
KR100856573B1 (ko) * 2006-12-27 2008-09-04 주식회사 엠씨넥스 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120075778A (ko) * 2010-12-29 2012-07-09 엘지전자 주식회사 표시장치 및 객체의 위치 표시방법
US9320809B2 (en) 2014-07-24 2016-04-26 University-Industry Foundation, Yonsei University Nanoparticle comprising hydrophobic drug conjugated to cationic polymer and hydrophilic drug conjugated to anionic polymer

Also Published As

Publication number Publication date
WO2010147270A1 (ko) 2010-12-23

Similar Documents

Publication Publication Date Title
CN110199251B (zh) 显示装置和远程操作控制装置
JP5412227B2 (ja) 映像表示装置、および、その表示制御方法
US8555171B2 (en) Portable virtual human-machine interaction device and operation method thereof
US20180188894A1 (en) Virtual Touchpads For Wearable And Portable Devices
US20130215322A1 (en) Document camera with automatically switched operating parameters
CN111052063B (zh) 电子装置及其控制方法
US8194038B1 (en) Multi-directional remote control system and method with automatic cursor speed control
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
US9965027B2 (en) Control system employing identification of a displayed image
US9641743B2 (en) System, method, and apparatus for controlling timer operations of a camera
JP2001075736A (ja) 座標入力装置
JP2011054069A (ja) 表示装置及びプログラム
US20160070410A1 (en) Display apparatus, electronic apparatus, hand-wearing apparatus and control system
US8937593B2 (en) Interactive projection system and method for calibrating position of light point thereof
JP2002140164A (ja) 座標入力装置及びその制御方法、プログラム
US20160048212A1 (en) Display Device and Control Method Thereof, and Gesture Recognition Method
US9310903B2 (en) Displacement detection device with no hovering function and computer system including the same
US20210225328A1 (en) Display device and display method background of the disclosure
KR20100134398A (ko) 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기
WO2018083737A1 (ja) 表示装置及び遠隔操作制御装置
KR20080037315A (ko) 포인터 이동 제어 장치를 포함하는 전자기기
US9684415B2 (en) Optical touch-control system utilizing retro-reflective touch-control device
JP4715791B2 (ja) 情報機器操作装置及び車載電子装置
JP4612751B2 (ja) 入出力一体型装置
KR20110052867A (ko) 광원의 점멸을 이용하여 객체를 선택하는 광 송수신 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application