KR20060042704A - 이미지 센서를 이용한 원격 포인팅 장치 및 방법 - Google Patents

이미지 센서를 이용한 원격 포인팅 장치 및 방법 Download PDF

Info

Publication number
KR20060042704A
KR20060042704A KR1020040091457A KR20040091457A KR20060042704A KR 20060042704 A KR20060042704 A KR 20060042704A KR 1020040091457 A KR1020040091457 A KR 1020040091457A KR 20040091457 A KR20040091457 A KR 20040091457A KR 20060042704 A KR20060042704 A KR 20060042704A
Authority
KR
South Korea
Prior art keywords
image
remote
remote control
pointing
signal
Prior art date
Application number
KR1020040091457A
Other languages
English (en)
Other versions
KR100773905B1 (ko
Inventor
한상현
이재한
한창석
송우석
Original Assignee
주식회사 포인칩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포인칩스 filed Critical 주식회사 포인칩스
Priority to KR1020040091457A priority Critical patent/KR100773905B1/ko
Publication of KR20060042704A publication Critical patent/KR20060042704A/ko
Application granted granted Critical
Publication of KR100773905B1 publication Critical patent/KR100773905B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Details Of Television Systems (AREA)

Abstract

이미지 센서를 이용한 원격 포인팅 장치 및 방법이 개시된다. 신호수신부는 원격제어모드와 원격포인팅모드 중에서 원격제어장치로부터 수신된 적외선 신호에 대응하는 모드로 동작하도록 하는 제어신호를 출력한다. 영상수신부는 신호수신부로부터 원격포인팅모드로 동작하도록 하는 제어신호가 입력되면 구동되어, 원격제어장치로부터 적외선 신호가 입력되지 않는 제1신호수신구간 동안에 배경이미지를 획득하고 원격제어장치로부터 수신된 적외선 신호가 입력되는 제2신호수신구간 동안에 원격제어장치로부터 수신된 적외선 신호에 해당하는 광이미지를 획득한다. 영상처리부는 광이미지와 배경이미지의 차이값을 기초로 보정된 광이미지를 생성한다. 포인팅량산출부는 영상처리부로부터 입력되는 보정된 광이미지의 크기를 기초로 원격제어장치까지의 거리를 산출하고, 산출된 거리에 기초하여 원격제어장치의 이동량을 산출한다. 본 발명에 따르면, 원격제어장치의 사용환경과 관계없이 매우 적은량의 하드웨어와 소프트웨어의 사용으로도 안정적으로 원격제어기의 광원의 정보를 획득하고 추적하여 완성도 높은 원격 포인팅 시스템을 구현할 수 있다.
적외선 리모콘, 원격 포인팅, 화상 카메라, 영상처리, 패턴인식

Description

이미지 센서를 이용한 원격 포인팅 장치 및 방법{Apparatus for remote pointing using image sensor and method of the same}
도 1은 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치에 대한 일 실시예의 상세한 구성을 도시한 블록도,
도 2는 원격제어장치의 상세한 구성을 도시한 도면,
도 3은 원격 포인팅을 위한 적외선 신호의 원격 포인팅 프로토콜의 일 예를 도시한 도면,
도 4는 원격 포인팅 프로토콜의 포인팅개시구간의 상세한 구성을 도시한 도면,
도 5는 원격 포인팅 프로토콜의 포인팅수행구간의 상세한 구성을 도시한 도면,
도 6은 영상수신부에 의해 획득된 배경이미지를 도시한 도면,
도 7은 영상수신부에 의해 획득된 배경이미지와 적외선 광원이 함께 존재하는 이미지를 도시한 도면,
도 8은 도 6에 도시된 이미지와 도 7에 도시된 이미지를 기초로 영상처리부가 생성한 가상의 이미지를 도시한 도면,
도 9는 영상처리부가 가상의 이미지에 대한 마스킹처리를 수행하여 생성한 이미지를 도시한 도면,
도 10은 원격제어장치의 적외선 광원을 점등한 화면에서 소등한 화면을 감하여 얻은 이미지와 그 히스토그램을 도시한 도면,
도 11 및 도 12는 각각 배경화면 성분을 제거하기 위해 사용하는 3×3 및 5×5 이미지 마스크의 구조를 도시한 도면,
도 13은 원격제어장치의 적외선 광원을 점등한 화면에서 소등한 화면을 감한 후 원격제어장치의 적외선 이미지 이외의 배경 성분을 제거하여 얻은 이미지와 그 히스토그램을 도시한 도면,
도 14는 이미지 센서를 기준으로 하는 카메라 죄표계 시스템의 구조를 도시한 도면,
도 15는 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치의 영상수신부의 광학적 구조와 원격제어장치(200)의 거리에 따른 이미지를 도시한 도면, 그리고,
도 16은 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 방법에 대한 일 실시예의 수행과정을 도시한 흐름도이다.
본 발명은 이미지 센서를 이용한 원격 포인팅 장치 및 방법에 관한 것으로, 보다 상세하게는, 가전제품의 원격제어에 사용하는 리모콘과 같은 원격제어장치로 부터 수신되는 광이미지의 이동량을 기초로 포인팅 기능을 수행하는 원격 포인팅 장치 및 방법에 관한 것이다.
원격제어장치로부터 발생하는 적외선 LED 광원의 영상과 같은 형태의 특정한 이미지를 추출해 내기 위한 패턴인식(pattern recognition)기술은 이미 상업적 목적의 영상처리 분야에 널리 사용되고 있다.
이러한 패턴인식 기반의 영상처리 기술은 일반적으로 다음과 같이 크게 두 단계로 나뉘어 수행된다.
첫번째 단계는 전처리(Pre-Processing)단계로 이미지 센서로부터 출력된 원시 이미지에 대해서 영상처리 알고리즘을 적용하기 용이하도록 사전처리(Pre-Processing)를 수행하는 과정이다. 이러한 전처리 과정에서는 원시 이미지(최초로 획득된 이미지)에 포함되어 있는 처리목적에 적합한 정보 이외의 배경이나 이미지 센서의 노이즈와 같은 부가적인 정보들을 제거하고 주처리과정에서 사용하고자 하는 영상처리 알고리즘을 적용하기 용이하도록 하기 위해서 임의로 가공된 형태의 가상의 이미지를 새롭게 생성한다.
두번째 단계는 주처리(Main-Processing)단계로서, 전처리 단계에서 생성된 가상의 이미지 정보로부터 의도된 영상처리의 목적에 부합되도록 원하는 목표물의 이미지를 인식하며, 인식된 이미지로부터 목표물의 외형적 상태나 변위 또는 색과 크기 등의 유효한 영상정보를 추출해 내는 과정이다.
이와 같은 패턴 인식을 목적으로 하는 영상처리기법을 위해서 사용되는 전처리 단계에서는 목표물의 예상되는 외형에 대한 정보와 배경화면에 의해서 생성되는 정보와 사용하고자 하는 영상처리 알고리즘의 연산 결과의 성향 등에 관한 정보들을 참조하여 원시영상을 조작하거나 변형하여야 한다.
한편 적외선 리모콘 통신기능을 겸비한 이미지센서 이용방식 원격 포인팅 시스템의 응용분야가 디지털 텔레비전, 셋톱박스, 디스플레이, 게임기 등임을 고려할 때 원격 포인팅 장치는 매우 다양한 환경하에서 사용된다. 따라서 원격 포인팅 장치에서 채용하는 영상처리기법은 전처리 단계에서 주변의 태양광과 같은 자연광의 적외선 대역의 빛에 의한 교란이나 형광등, 백열전구 및 기타 인조 광원에서 발생하는 적외선 대역의 빛에 의한 교란, 그리고 발열을 하는 연소장치(촛불, 난로, 가스레인지, 라이터 등)의 연소 불꽃에서 발생하는 적외선 대역의 빛에 의한 교란에 대해서도 원시영상을 원하는 목적에 맞도록 조작 및 변형할 수 있어야 한다.
그러나 이러한 사용 환경에 따른 전처리 과정의 교란 성분들은 매우 불특정할 뿐만 아니라 다양한 적외선 성분의 상호 작용으로 인하여 사용환경상에서 고려해야 할 배경 화면의 정보가 매우 복잡하고 다양한 형태로 존재하므로 적절한 전처리 기능을 정의하기에는 매우 어려운 점이 존재해 왔다.
또한 완성도 높은 전처리 기능을 정의하고 이를 수행했을 경우에도 원격제어기의 적외선 영상 외에 별도의 적외선 영상 성분이 존재하는 경우가 많아 주처리 후의 결과가 바람직하지 못한 결과로 이어지는 경우가 자주 발생한다. 따라서 이러한 예외적인 사용환경에 대한 영상처리 결과를 보정하기 위해서는 매우 다양한 사용 환경에 대한 사전 검토가 진행되어야 한다. 또한 많은 양의 사용환경에 대한 정보를 추가적으로 연산하여 전처리 과정을 수행하여야 하므로 전처리를 위한 하드웨 어와 소프트웨어의 복잡성으로 인해 패턴 인식을 위한 전처리의 목적을 달성하는 데에 많은 어려움이 존재한다. 나아가 원격 포인팅 장치의 응용 목적상 반드시 실시간 처리를 하여야 하므로 기존의 전통적인 영상처리 기법으로는 정해진 시간내에 소정의 목적을 달성하기에 많은 어려움이 있다.
아울러 전처리 과정에 의해 새롭게 구성된 이미지를 주처리하는 과정에 있어서도 적외선 이미지의 정보 외에 배경영상의 일부와 이미지 센서 자체의 노이즈 중 일부가 혼재된 상태로 전처리된 이미지로부터 패턴 인식을 시도하게 된다. 따라서 가장 기본적인 영상 처리기법인 영상으로부터 출력되는 픽셀의 출력값의 임계값을 두고 그 이상은 “1”로 처리하고 그 미만은 “0”으로 처리하여 각각의 화소에 대한 히스토그램(histogram)을 생성해 내고 생성된 히스토 그램의 분포를 이용하는 이진영상 처리 기법은 그 결과에 대한 신뢰성을 보장할 수 없게 된다.
또한 이동량 추적을 위해 사용되는 일반적인 영상처리 기법인 전화면과 현재화면의 비교를 통한 영상 처리 기법을 사용하기 위해서는 적외선 광원의 이미지가 획득된 연속되는 과거의 이미지와 현재의 이미지 그리고 두 이미지의 차이를 저장하는 메모리 등의 적어도 세 종류 이상의 이미지를 저장하는 프레임 버퍼를 사용해야 하다. 또한, 각각의 이미지에 대한 비교 마스크를 설정하고 이러한 마스크를 전 화면에 대해서 연산해야 하므로 연산랑이 매우 증가할 뿐만 아니라 비교값의 결과가 광원의 움직임 면에서도 예기치 못한 매우 다양한 형태의 이동결과로 나타난다. 나아가 광원의 이동량과 배경화면의 이동량의 차이가 적거나 오히려 배경화면 중 특정 부분의 이동량이 광원의 이동량보다 클 경우에 대해서는 목표물의 패턴 인식 을 위한 논리적 판별이 매우 어려울 뿐만 아니라 직접 광원의 면적을 추출할 수 없게 되어 또다시 광원의 면적을 추출하기 위한 복잡한 형태의 연산을 추가적으로 수행하여야 하는 번거로움이 존재한다.
본 발명이 이루고자 하는 기술적 과제는, 원격제어장치로부터 발생하는 적외선 광원을 포함하는 영상에 대한 이미지처리를 통해 획득한 적외선 광원의 상대적인 이동량에 의해 파악된 원격제어장치의 이동 방향과 거리에 대한 정보를 기초로 원격제어 및 원격포인팅의 기능을 동시에 수행할 수 있는 이미지 센서를 이용한 원격 포인팅 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 원격제어장치로부터 발생하는 적외선 광원을 포함하는 영상에 대한 이미지처리를 통해 획득한 적외선 광원의 상대적인 이동량에 의해 파악된 원격제어장치의 이동 방향과 거리에 대한 정보를 기초로 원격제어 및 원격포인팅의 기능을 동시에 수행할 수 있는 이미지 센서를 이용한 원격 포인팅 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치는, 원격제어장치로부터 수신된 적외선 신호에 해당하는 제어명령을 수행하는 원격제어모드와 상기 원격제어장치로부터 수신된 적외선 신호를 기초로 포인팅 포인트의 변동량을 산출하여 원격 포인팅 동작을 수행하는 원격포인팅모 드 중에서 상기 원격제어장치로부터 수신된 적외선 신호에 대응하는 모드로 동작하도록 하는 제어신호를 출력하는 신호수신부; 상기 신호수신부로부터 원격포인팅모드로 동작하도록 하는 제어신호가 입력되면 구동되어, 상기 원격제어장치로부터 적외선 신호가 입력되지 않는 제1신호수신구간 동안에 배경이미지를 획득하고 상기 원격제어장치로부터 수신된 적외선 신호가 입력되는 제2신호수신구간 동안에 상기 원격제어장치로부터 수신된 적외선 신호에 해당하는 광이미지를 획득하는 영상수신부; 상기 광이미지와 상기 배경이미지의 차이값을 기초로 보정된 광이미지를 생성하는 영상처리부; 및 상기 영상처리부로부터 입력되는 보정된 광이미지의 크기를 기초로 상기 원격제어장치까지의 거리를 산출하고, 상기 산출된 거리에 기초하여 상기 원격제어장치의 이동량을 산출하는 포인팅량산출부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 방법은, (a) 원격제어장치로부터 적외선 신호를 수신하는 단계; (b) 상기 수신된 적외선 신호로부터 상기 원격포인팅모드의 동기신호가 인식되면 상기 이미지센서의 상태를 대기상태에서 동작상태로 전환하는 단계; (c) 상기 이미지센서에 의해 상기 원격제어장치로부터 적외선 신호가 입력되지 않는 제1신호수신구간 동안에 배경이미지를 획득하고 상기 원격제어장치로부터 수신된 적외선 신호가 입력되는 제2신호수신구간 동안에 상기 원격제어장치로부터 수신된 적외선 신호에 해당하는 광이미지를 획득하는 단계; (d) 상기 광이미지와 상기 배경이미지의 차이값을 기초로 보정된 광이미지를 생성하는 단계; 및 (e) 상기 보정된 광이미지의 크기를 기초로 상기 원격제어장치까지의 거리를 산출하고, 상기 산출된 거리 에 기초하여 상기 원격제어장치의 이동량을 산출하는 단계;를 포함한다.
이에 의해, 원격제어장치와 원격수신장치의 동작을 동기화하여 획득된 이미지 정보를 기초로 원격제어장치의 사용환경과 관계없이 매우 적은량의 하드웨어와 소프트웨어의 사용으로도 안정적으로 원격제어기의 광원의 정보를 획득하고 추적하여 완성도 높은 원격 포인팅 시스템을 구현할 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치에 대한 일 실시예의 상세한 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치(100)는 신호수신부(110), 영상수신부(120), 영상처리부(130) 및 포인팅량산출부(140)를 구비한다.
신호수신부(110)는 원격제어장치(200)로부터 수신된 적외선 신호에 해당하는 제어명령을 수행하는 원격제어모드와 원격제어장치(200)로부터 수신된 적외선 신호를 기초로 포인팅 포인트의 변동량을 산출하여 원격 포인팅 동작을 수행하는 원격포인팅모드 중에서 원격제어장치(200)로부터 수신된 적외선 신호에 대응하는 모드로 동작하도록 하는 제어신호를 출력한다.
영상수신부(120)는 신호수신부(110)로부터 원격포인팅모드로 동작하도록 하는 제어신호가 입력되면 구동되어 대기상태에서 동작상태로 전환한다. 동작상태로 전환된 영상수신부(120)는 원격제어장치(200)로부터 적외선 신호가 입력되지 않는 제1신호수신구간 동안에 배경이미지를 획득하고 원격제어장치(200)로부터 수신된 적외선 신호가 입력되는 제2신호수신구간 동안에 원격제어장치(200)로부터 수신된 적외선 신호에 해당하는 광이미지를 획득한다.
영상처리부(130)는 획득된 광이미지와 배경이미지의 차이값을 기초로 보정된 광이미지를 생성한다.
도 2는 원격제어장치의 상세한 구성을 도시한 도면이다.
도 2를 참조하면, 원격제어장치(200)는 조작버튼부(210), 모드선택버튼(220), 및 발광부(230)를 구비한다. 조작버튼부(210)는 숫자버튼, 기능선택버튼, 메뉴버튼 등 가전제품의 제어를 위해 필요한 버튼으로 구성된다. 모드선택버튼(220)은 적외선수신장치(예를 들면, 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치, 또는 이를 구비한 가전제품) 및 원격제어장치(200)가 원격제어장치(200)로부터 수신된 적외선 신호에 해당하는 제어명령을 수행하도록 하는 원격제어모드와 원격제어장치(200)로부터 수신된 적외선 신호를 기초로 포인팅 포인트의 변동량을 산출하여 원격 포인팅 동작을 수행하도록 하는 원격포인팅모드 간에서 스위칭동작이 이루어지도록 제어한다. 원격제어모드가 선택된 경우의 원격제어장치(200) 및 적외선수신장치의 동작은 널리 알려진 사항이고 본 발명의 핵심적 기술사상에 해당되지 아니하므로 상세한 설명은 생략한다.
한편, 원격포인팅모드가 선택되면 원격제어장치(200)와 적외선수신장치는 통상의 원격제어모드와는 달리 동작하며, 이를 위해 별도의 송신프로토콜이 정의되어야 한다. 적외선 신호를 송출하여 원격으로 가전제품을 제어하는 원격제어장치 (200)를 원격포인팅 상태로 사용하기 위해 사용자가 원격제어장치(200)의 모드선택버튼을 조작하여 원격제어모드를 조작하면 원격제어장치(200)의 발광부(230)는 도 3에 도시된 원격 포인팅 프로토콜에 따른 적외선 신호를 송출한다.
도 3을 참조하면, 원격 포인팅 프로토콜(300)은 포인팅개시구간(310), 포인팅수행구간(320) 및 포인팅종료구간(330)으로 구성된다.
포인팅개시구간(310)은 사용자가 원격 포인팅을 위해 원격제어장치(200)의 버튼을 조작하였을 경우 원격제어장치(200)의 광원의 점등 상태를 정해진 규약에 의해 조작하여 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치(100)의 신호수신부(110)에 구비된 적외선 수신 센서가 원격 포인팅의 시작을 인지하도록 한다. 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치(100)의 신호수신부(110)는 원격제어장치(200)로부터 수신된 적외선 신호에서 포인팅개시부(310)에 포함되어 있는 원격포인팅모드의 동기신호가 인식되면 영상수신부(120)의 상태를 대기상태에서 동작상태로 전환하도록 제어한다.
도 4는 원격 포인팅 프로토콜의 포인팅개시구간의 상세한 구성을 도시한 도면이다.
도 4를 참조하면, 포인팅개시구간(310)은 개시동기구간(410), 소등구간(420), 대기구간(430), 점등구간(440), 개시종료구간(450) 및 대기구간(460)으로 구성된다.
개시동기구간(410)에서 원격제어장치는 적외선 포인팅의 시작을 알리기 위한 적외선 신호를 송출하며, 신호수신부(110)는 수신된 적외선 신호로부터 개시동기신 호를 인지하여 영상수신부(120)를 대기상태에서 동작상태로 전환시킨다. 이 때 영상수신부(120)는 이미지의 획득을 위해 필요한 시스템의 초기화 과정을 수행한다.
소등구간(420)에서 원격제어장치(200)는 일정시간 동안 적외선 광원을 소등한 상태에서 대기한다. 이 때 신호수신부(110)는 적외선 광원의 소등상태를 인지하여 영상수신부(120)에 영상 처리의 목표물인 적외선 광원이 없는 상태에서 배경화면의 이미지를 획득하도록 제어한다. 이에 따라 영상수신부(120)는 획득된 배경화면의 정보를 이용하여 이미지 센서의 자동 노출량(Auto Expose)과 백색균형(White balance)값과 같이 효율적인 영상 획득에 필요한 기본 조정값들을 결정하고 결정된 값에 의한 새로운 이미지를 획득한다.
대기구간(430)에서 원격제어장치(200)는 적외선 광원을 정해진 규약에 따라 점등 또는 소등하여 현재의 제어상태가 종료되고 다음의 제어상태로 변화되게 된다는 정보를 신호수신부(110)로 전송한다.
점등구간(440)에서 원격제어장치(200)는 적외선 광원을 점등한 상태에서 일정시간 대기한다. 이 때 신호수신부(110)는 적외선 광원의 점등상태를 인지하여 영상수신부(120)에 영상 처리의 목표물인 적외선 광원이 존재하는 상태에서 배경화면과 목표물의 적외선 광원이 포함된 이미지를 획득하도록 제어한다. 영상수신부(120)는 획득된 이미지 정보를 이용하여 소등구간(420)에서 설정된 이미지 센서의 기본 조정값들의 유효성을 검증한다. 한편, 영상처리부(130)는 소등구간(420)에서 획득한 이미지 정보와 점등구간(440)에서 획득한 이미지 정보와의 차이를 통해 적외선 광원의 지름의 크기를 연산하며, 그 지름의 크기을 이용하여 원격제어장치 (200)의 적외선 광원의 카메라 좌표계 내의 삼차원적인 위치를 도출해 낸다.
개시종료구간(450) 및 대기구간(460)에서 원격제어장치(200)는 포인팅개시구간(310)이 종료하고 이어서 포인팅수행구간(320)이 진행됨을 알려주는 적외선 신호를 전송한다.
포인팅수행구간(320)은 사용자가 원격 포인팅을 위해 원격제어장치(200)를 직접 움직여서 디스플레이 화면에 표시되는 포인팅 결과를 통해 원격 제어를 수행하는 단계에서 원격제어장치(200)가 전송하는 적외선 광원의 전송 신호규약이다. 도 5는 원격 포인팅 프로토콜의 포인팅수행구간의 상세한 구성을 도시한 도면이다.
도 5를 참조하면, 포인팅수행구간(320) 동안에 원격제어장치(200)가 전송하는 적외선 광원의 신호는 사용자가 소정의 원격 포인팅의 목적을 달성하여 원격 포인팅을 종료할때까지 적외선 광원이 소등되는 신호대기구간(T1)과 적외선 광원이 점등되는 신호수신구간(T2)으로 구성된다. 원격제어장치(200)는 원격 포인팅을 종료할 때까지 T1과 T2로 이루어진 적외선 신호를 반복적으로 송출한다. 이 때 T1과 T2의 시간적 길이는 각각 영상수신부(120)에 구비되는 이미지 센서의 특성과 포인팅 시스템의 응용 제품에 따라 규정되어지며, 적어도 이미지 센서가 하나의 프레임을 구성할 수 있는 이미지 정보를 획득하고 출력하는 데 필요한 시간보다는 길게 설정되어야 한다. 통상적으로 T1과 T2의 시간은 이미지 센서의 특성에 따라 각각 약 1/10초에서 1/60초 정도의 시간으로 정의되어 사용된다.
결과적으로 신호수신부(110)에 구비된 적외선 센서를 통해 수신되는 신호는 T1과 T2의 주기를 갖는 파형이 된다. 이 때 영상수신부(120)에 구비된 이미지 센서 는 수신 신호와 동기하여 원격 포인팅 연산을 위한 이미지를 다음과 같은 방식으로 획득한다.
먼저, 수신 신호가 T1일 경우 적외선 광원은 소등된 상태이며, 따라서 영상수신부(120)는 도 6에 도시된 바와 같은 배경이미지를 획득한다. 이와 달리, 수신 신호가 T2일 경우 적외선 광원은 점등된 상태이며, 따라서 영상수신부(120)는 도 7에 도시된 바와 같은 배경이미지와 적외선 광원이 함께 존재하는 이미지를 획득한다. 이 때 도 6에 도시된 이미지를 P1이라 하고 도 7에 도시된 이미지를 P2라 하면 영상처리부(130)는 P2와 P1의 차이값을 구하고 그 차이값을 절대 값으로 변경하여 도 8에 도시된 바와 같은 가상의 이미지를 생성한다.
도 8에 도시된 이미지를 P3이라 하면, 영상처리부(130)에서 수행하는 연산 과정은 다음의 수학식으로 정의된다.
Figure 112004052112560-PAT00001
도 8에 도시된 이미지는 중앙부에 적외선 광원의 이미지가 주요한 이미지로 남고 배경의 이미지는 수학식 1에 의해 제거되나, 실제 상황에서는 영상 획득의 시간 차이로 인한 배경의 움직임이나 기타 이미지 수신 센서의 노이즈로 인하여 추출하고자 하는 적외선 광원의 이미지 외에 일정 부분 배경의 변화량의 이미지가 남아있을 가능성이 존재한다. 이러한 배경 부분의 이미지 성분을 확인하기 위해 도 8에 도시된 이미지의 성분에 대해 히스토그램(Histogram)기법을 적용하여 X축과 Y축의 누적 이미지 성분을 분석하면 도 10에 도시된 바와 같은 결과를 도출할 수 있다.
도 10에 도시된 이미지를 분석하면, Y축 성분의 이미지에 대한 히스토그램(1000) 및 X축 성분의 이미지의 히스토그램(1010)에 의해 Y축상의 b지점 및 X축상의 a지점이 각각 적외선 광원의 위치임을 직관적으로 파악할 수 있다. 그러나 도 10에 도시된 이미지는 배경의 노이즈 성분이 증가할 경우 문턱값(threshold value)(1010, 1030)의 설정이 어려운 경우가 발생할 수 있는 소지가 있는 형태의 가상의 이미지이다. 따라서 도 8에 도시된 이미지에 대해서 전통적인 영상 처리기법인 이미지 마스크(형태소)를 적용하여 배경화면에 남아있는 노이즈 성분에 대한 제거 작업을 수행한다. 이미지 마스크의 예가 도 11 및 도 12에 도시되어 있다. 이 때 노이즈 제거 작업을 위해서는 배경에 남아있는 노이즈 성분에 따라 도 11에 도시된 바와 같이 3X3 이미지 마스크를 사용하거나 도 12에 도시된 바와 같이 5X5 이미지 마스크를 사용하는 등 적절한 크기의 이미지 마스크를 결정해야 한다. 또한, 이미지 마스크의 특성도 "LOW PASS" 기능을 하는 마스크, "SMOOTHING" 기능을 하는 마스크, "원형의 형태소"를 구성하는 마스크 등 다양한 마스크를 선별적으로 사용 하여야 원하는 목적의 가상이미지를 생성해 낼 수 있다.
도 9에는 이상의 과정을 수행하여 생성된 이미지가 도시되어 있다. 도 9에 도시된 이미지를 P4라고 하고, 사용된 이미지 마스크를 3X3의 "SMOOTHING" 마스크로 가정할 경우 P4는 다음의 수학식으로 나타낼 수 있다.
Figure 112004052112560-PAT00002
수학식 2에 의해 생성된 최종 이미지는 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치(100)가 인식하고 이동 궤적을 추적해야 하며 원격 포인팅 정보를 도출해야 하는 원격제어장치(200)로부터 수신된 적외선 광원의 이미지만 남기고 거의 모든 주변 배경의 이미지와 노이즈가 제거된 형태로 가공된 이미지이다. 이와 같이 도 9에 도시된 이미지 성분을 히스토그램(Histogram)기법으로 분석하면 도 13에 도시된 바와 같은 결과를 도출할 수 있다.
도 13에 도시된 이미지를 분석하면, Y축 성분의 이미지에 대한 히스토그램(1300) 및 X축 성분의 이미지의 히스토그램(1310)에 의해 Y축상의 b지점 및 X축상의 a지점이 각각 적외선 광원의 위치임을 직관적으로 파악할 수 있다. 아울러 도 13에 도시된 이미지는 배경의 노이즈 성분이 대부분 제거되었으므로, 광원의 패턴 인식을 위한 판단 기준값인 문턱값(threshold value)(1320, 1330)의 설정이 용이하며 b 지점 및 a지점을 중심으로 하는 히스토그램의 분포와 누적 값의 추정을 통해 원격제어장치(200)의 광원의 세로(Y)축 및 가로(X)축 방향의 모양 및 크기(Ry, Rx)와 광원의 밝기를 측정해 낼 수 있는 장점이 있다.
포인팅종료구간(330)은 원격포인팅모드의 종료를 통지하기 위해 원격제어장치(200)가 전송하는 적외선 광원의 전송 신호규약이다. 원격포인팅모드를 수행중인 적외선수신장치 또는 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치를 구비한 가전제품은 사용자에 의한 원격제어장치(200)의 모드선택버튼(220)의 조작에 따라 원격제어장치(200)로부터 송신된 포인팅종료구간(330)이 포함된 적외선 신호를 수신하면 원격포인팅모드를 종료하고 원격제어장치(200)에 의한 기본적인 동작 모드인 원격제어모드로 변경된다.
포인팅량산출부(140)는 영상처리부(130)로부터 입력되는 보정된 광이미지의 크기를 기초로 원격제어장치(200)까지의 거리를 산출하고, 산출된 거리에 기초하여 원격제어장치(200)의 이동량을 산출한다.
일반적으로 적외선 LED 광원을 이용하여 원격 포인팅을 수행함에 있어서 원격제어장치(200)에 구비된 적외선 LED 광원은 사용자의 의도된 움직임에 의하여 상/하 및 좌/우의 위치이동정보뿐만 아니라 원격제어장치(200)와 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치(100)의 신호수신부(110) 사이의 거리에 대한 정보를 포함하고 있다. 따라서, 원격제어장치(200)의 적외선 LED 광원이 위치하는 공간은 영상수신부(120)를 기준으로 하는 삼차원적인 공간의 위치 정보로 해석될 수 있으며, 영상처리에 관한 학문적인 범주에서는 이러한 삼차원 공간을 도 14에 도시된 바과 같은 카메라 좌표 시스템으로 정의한다.
도 15는 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치의 영상수신부의 광학적 구조와 원격제어장치(200)의 거리에 따른 이미지를 도시한 도면이다.
도 15를 참조하면, 영상수신부(120)는 렌즈세트(1500)와 이미지 센서(1510)로 구성되며, 원격제어장치(200)는 렌즈세트(1500)까지의 거리에 따라 D0의 거리에 위치하는 원격제어장치(200)의 적외선 광원(1520)과 D1의 거리에 위치하는 원격제어장치(200)의 적외선 광원(1530)으로 표현될 수 있다. 이 때 렌즈세트(1500)와 이미지 센서(1510)의 거리는 통상적으로 렌즈세트(1500)와 원격제어장치(200)의 광원 (1520 또는 1530)과의 거리에 비해서 매우 가까운 거리이다. 따라서, 렌즈세트(1500)와 원격제어장치(200)의 광원(1520 또는 1530)과의 거리는 이미지 센서(1510)와 원격제어장치(200)의 광원(1520 또는 1530)과의 거리로 연산하여도 크게 차이가 나지 않는다.
본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치(100)는 원격제어장치(200)의 삼차원적인 공간의 위치정보가 도 15에 도시된 광학적 렌즈세트(1520)를 통해 영상수신부(120)에 구비된 이차원적인 이미지 센서(1530)에 투영된 영상정보를 이용한다. 즉, 이미지 센서(1530)에 투영된 이차원적인 포인팅 정보를 추출해 내는 과정에서 이미지 센서(1530)와 광원(1500 또는 1510)과의 거리를 판별한 후 거리 정보를 기준으로 광원의 상/하 또는 좌/우 방향의 실제 이동량을 측정한다. 그리고, 측정된 원격제어장치(200)의 이동량을 기초로 디스플레이되는 화면의 상/하 또는 좌/우의 원격 포인팅 결과가 원격제어장치(200)와 이미지 센서(1530)와의 거리에 무관하게 일정하게 표현될 수 있도록 상대적 이동량을 보상한다.
도 15에서 렌즈세트(1500)와 D1의 거리에 있는 적외선 광원(1520)의 지름 R은 렌즈세트(1500)와의 거리가 D0인 적외선 광원(1530)에 비해서 상대적으로 먼곳에 위치하므로 렌즈를 교차하는 광학적 구조에 의해서 이미지 센서(1510)에 획득된 광원(1550)의 크기가 상대적으로 작다. 또한 렌즈세트(1500)와 D0의 거리에 있는 적외선 광원(1530)의 지름 R은 렌즈세트(1500)와의 거리가 D1인 광원에 비해서 상대적으로 가까운 곳에 위치하므로 렌즈를 교차하는 광학적 구조에 의해서 이미지 센서 (1510)에 획득된 광원(1540)의 크기가 상대적으로 크다.
이 때 서로 다른 거리 D0와 D1에 위치한 적외선 광원(1530, 1520)의 실제 지름의 크기는 R로 동일하지만 각각의 두 경우의 광원(1530, 1520)에 대해 이미지 센서(1510)로부터 획득된 광원의 이미지(1540, 1550)는 서로 다른 크기로 나타난다. 만약, D0에 위치한 적외선 광원(1530)의 실제 지름을 RD0라 하고, D1에 위치한 적외선 광원(1520)의 실제 지름을 RD1이라 하면, 서로 다른 거리 D0와 D1에 의해 수신된 광원의 이미지(1540, 1550)의 지름 R0와 R1간의 관계는 다음의 수학식으로 나타낼 수 있다.
Figure 112004052112560-PAT00003
따라서 이미지 센서(1510)로부터 멀리 떨어진 곳에서 이미지 센서(1510)를 통해 획득된 영상의 적외선 광원의 크기는 가까운 곳에서 획득된 경우에 비해서 상대적으로 작게 표현된다. 또한 이미지 센서(1510)로부터 가까운 곳에서 이미지 센서(1510)를 통해 획득된 영상의 적외선 광원의 크기는 멀리 떨어진 곳에서 획득된 경우에 비해서 상대적으로 크게 표현된다. 그리고 적외선 광원의 밝기(광도) 또한 이미지 센서(1510)로부터 적외선 광원과의 거리가 멀어질수록 낮아지는 특성을 갖고 있다. 또한 이미지 센서(1510)를 통해 실제 획득된 광원의 이미지 측면에서도 고찰을 해보면 동일한 물리적 이동량을 갖는 실제 원격제어장치(200)의 적외선 광원의 움직임에 대해서도 가까운 곳에서는 상대적으로 밝은 적외선 광량으로 많은 포인팅의 변화값으로 출력되며, 멀리 떨어진 곳에서는 상대적으로 어두운 적외선 광량으로 적은 포인팅 값으로 출력됨을 알 수 있다. 따라서 이미지 센서(1510)로부터 단순히 획득되는 광원의 이미지에 의한 포인팅 값은 실제 원격제어장치(200)의 포인팅 값으로 직접 사용할 수 없으며 반드시 적외선 광원(1520, 1530)과 광학 렌즈세트(1500)와의 거리의 연관 관계를 통해 실제 포인팅 량을 연산해서 사용해야 한다.
본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치 및 방법은 이미지 센서에 의해 획득된 광원의 이미지로부터 실제의 유효한 포인팅량을 결정하기 위해 참조하는 원격제어장치와 이미지 센서 간의 거리를 다음과 같은 방법으로 연산한다.
도 15에 도시된 광원(1520)의 지름 R이 사전에 알려져 있는 경우에 렌즈세트(1500)와 적외선 광원(1520)까지의 거리를 D1, 렌즈세트(1500)와 이미지 센서(1510)와의 거리를 λ, 그리고, 이미지 센서(1510)에 의해서 측정된 광원(1520)의 영상의 지름이 RD1이라 하면 이들 사이의 관계는 다음의 수학식과 같이 정의된다.
Figure 112004052112560-PAT00004
수학식 4로부터 구하고자 하는 광원의 거리 D1은 다음의 수학식에 의해 구해진다.
Figure 112004052112560-PAT00005
이 때 R과 λ은 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치의 하드웨어적 구조에서 정의되는 상수이고 RD1은 이미지 센서(1510)로부터 도출되는 값으로 수학식 5를 이용하면 원격제어장치(200)와 이미지 센서(1510) 사이의 거리 D1을 도출해 낼 수 있다. 상술한 방식으로 구해진 거리는 실제 응용에 있어서 렌즈세트(1500)의 광학적 오차와 RD1에 비해 매우 작은 값인 λ에 의해 다소간의 오차가 존재할 수 있으으로 실제 거리와 수신된 광원이 크기에 대한 실측값을 테이블로 만들어 그 값을 보정하면 보다 정밀한 거리를 도출해 낼 수 있다.
또한 수학식 5에 의해 도출된 거리의 정보를 이미지 센서(1510)를 기준으로 하는 도 14에 도시된 카메라 좌표계 시스템에 적용하면 λ와 D 값을 알고 있는 상태에서 실제의 카메라 좌표계 상에서의 (X,Y,Z)의 위치로 표현되는 삼차원 공간에 존재하는 광원의 이미지는 렌즈세트의 중심점(1420)을 지나 이미지 센서에 의한 평면(1400)의 (x, y)의 위치에 이차원적으로 투영되어 존재하게 된다. 이 때 (X,Y,Z)의 삼차원 좌표를 갖고 있는 광원의 이미지 센서상의 Z좌표는 수학식 5에 의해 산출된 결과에 λ를 더하면 얻을 수 있다. 즉, 광원의 Z좌표는 다음의 수학식에 의해 구해진다.
Figure 112004052112560-PAT00006
또한 이미지 센서에 투영되는 (X,Y,Z)의 삼차원 좌표를 갖고 있는 광원의 이미지 센서상의 X좌표는 다음의 수학식으로 나타낼 수 있다.
Figure 112004052112560-PAT00007
수학식 7을 구하고자 하는 광원의 X좌표에 대한 관계식으로 나타내면 다음과 같다.
Figure 112004052112560-PAT00008
마찬가지로 이미지 센서에 투영되는 (X,Y,Z)의 삼차원 좌표를 갖고 있는 광원의 이미지 센서상의 Y좌표는 다음의 수학식으로 나타낼 수 있다.
Figure 112004052112560-PAT00009
수학식 9를 구하고자 하는 광원의 Y좌표에 대한 관계식으로 나타내면 다음과 같다.
Figure 112004052112560-PAT00010
따라서 수학식 6, 8 및 10을 사용하여 도출된 광원의 삼차원적 좌표 (X,Y,Z)의 변화량을 원격 포인팅 량으로 계산을 하면 실제 원격제어장치(200)의 적외선 LED 광원의 이동량을 충실하게 반영하여 원격 포인팅을 수행할 수 있게 된다.
이상의 과정을 통해 이미지 센서에 투영된 원격제어장치의 광원의 이미지의 좌표(a,b), 광원의 지름(Rx 또는 Ry), 그리고 이미 알고 있는 렌즈와 이미지 센서와의 거리(λ)를 통해서 도 5에 도시된 T1과 T2로 구성된 주기마다 도 14에 도시된 카메라 좌표계에서의 원격제어장치(200)의 광원의 삼차원적인 공간좌표를 실시간으로 연산해 낼 수 있다. 그리고, 매 주기마다의 광원의 삼차원적 좌표상의 변화량으로부터 이미지 센서를 이용하는 원격제어장치의 위치의 변화량을 추적하여 이를 포인팅의 결과로 도출하게 된다.
도 16은 본 발명에 따른 이미지 센서를 이용한 원격 포인팅 방법에 대한 일 실시예의 수행과정을 도시한 흐름도이다.
도 16을 참조하면, 신호수신부(110)는 원격제어장치(200)로부터 적외선 신호를 수신한다(S1600). 만약 수신된 적외선 신호로부터 상기 원격포인팅모드의 동기신호가 인식되면 신호수신부(110)는 영상수신부(120)의 상태를 대기상태에서 동작상태로 전환한다(S1610). 영상수신부(120)는 소정의 신호대기구간 동안에 조절용 배경이미지를 획득하여 자체에 구비된 이미지센서의 노출량과 백색균형값을 포함하는 기본조정값을 결정한다(S1620). 또한, 영상수신부(120)는 신호대기구간에 이어지는 신호수신구간 동안에 이미지센서에 의해 원격제어장치(200)로부터 수신된 적외선 신호에 해당하는 조절용 광이미지를 획득하여 조절용 배경이미지를 기초로 결 정된 기본조정값의 유효성을 검증한다(S1630).
다음으로, 영상수신부(120)는 원격제어장치(200)로부터 적외선 신호가 입력되지 않는 제1신호수신구간 동안에 배경이미지를 획득한 후 원격제어장치(200)로부터 수신된 적외선 신호가 입력되는 제2신호수신구간 동안에 원격제어장치(200)로부터 수신된 적외선 신호에 해당하는 광이미지를 획득한다(S1640). 제2신호수신구간 동안에 영상수신부(120)가 획득한 광이미지에는 원격제어장치(200)가 방출한 적외선 광원과 배경영상이 함께 포함된다.
영상처리부(130)는 영상수신부(120)에 의해 획득된 광이미지와 배경이미지의 차이값을 산출하고, 산출된 산출값에 의해 형성되는 중간이미지에 대해 소정의 이미지 마스크를 적용하여 보정된 광이미지를 생성한다(S1650). 다음으로, 영상처리부(130)는 보정된 광이미지에 대한 히스토그램 분석을 통해 보정된 광이미지의 가로 및 세로 방향의 크기 및 모양을 측정한다(S1660).
포인팅량산출부(140)는 보정된 광이미지의 크기를 기초로 원격제어장치(200)까지의 거리를 산출한다(S1670). 이 때 포인팅량산출부(140)는 수학식 5 또는 저장되어 있는 거리산출데이터를 기초로 원격제어장치(200)까지의 거리를 산출한다. 다음으로, 포인팅량산출부(140)는 산출된 거리에 기초하여 원격제어장치(200)의 이동량을 산출한다(S1680). 이 때 포인팅량산출부(140)는 수학식 6, 8, 및 10에 의해 영상수신부(130)를 구성하는 이미지센서의 중심을 원점으로 하는 공간좌표상에서의 원격제어장치(200)의 좌표(X, Y, Z)를 산출한다.
상술한 영상처리기법에서 도 5에 도시된 바와 같은 포인팅수행과정에서 적외 선 신호에 대해 T1과 T2의 시간을 두어 원격제어장치의 적외선 광원을 점등 및 소등하는 것은 도 6 및 도 7에 도시된 바와 같이 적외선 광원의 존재 유무가 극명하게 대비되는 두 종류의 이미지를 연속적으로 획득하여 두 이미지의 차이로부터 영상을 처리함으로써 패턴인식의 대상이 되는 적외선 광원의 이미지가 패턴인식에서 제거의 대상이 되는 배경이나 노이즈의 이미지보다 극명하게 부각되는 방식을 사용하기 위함이다.
또한 원격제어장치의 적외선 광원의 점등 및 소등시기과 동기화시켜 영상을 획득하는 방식을 통해 일반적인 영상처리기법에 비해 매우 적은 연산량과 매우 빠른 속도로 매우 완성도 높은 전처리 기능을 수행할 수 있으며, 극명하게 대비되는 광원의 이미지를 이용하여 메인처리를 수행함으로써 패턴 인식을 위한 판단의 정확도가 극대화될 뿐만 아니라 간단한 연산을 통해서 적외선 광원의 크기와 밝기 또한 쉽게 도출해 낼 수 있다.
또한 상술한 방식을 사용함으로써 일반 리모콘과 같이 37KHz ~ 38KHz대역의 캐리어 주파수로 적외선 광원을 점등하는 기존의 방식으로는 원격수신기의 이미지 센서가 영상을 수신하는 프레임의 시간과 광원의 점등과의 동기를 맞출 수 없기 때문에 불균일한 광원의 이미지가 획득되어 영상 처리가 매우 어려웠던 문제점들을 해결할 수 있다. 한편 항시 적외선 광원을 점등한 상태에서 사용되는 원격제어장치로부터 획득된 영상을 처리할 경우에 주변 환경에 의한 노이즈에 대한 고려사항의 증가로 영상처리의 양이 매우 증가하는 문제가 있으나, 본 발명에 의하면 이와 같은 문제점을 해결할 수 있다. 또한 원격제어장치에 전원을 공급하는 상태에서 원격 포인팅을 수행하는 원격제어방식에 비하여 본 발명에서 제시한 형태의 원격제어방식을 사용할 경우 원격제어장치의 전원인 건전지의 수명을 약 50%정도 증가시킬 수 있는 부가적인 장점이 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
본 발명에 따른 이미지 센서를 이용한 원격 포인팅 장치 및 방법에 의하면, 원격 포인팅 시스템의 원격제어장치와 원격수신장치의 동작을 동기화하여 획득된 이미지 정보를 사용함으로써 사용 환경의 변화에도 불구하고 기존의 방식에 비해 매우 적은 양의 하드웨어와 소프트웨어의 사용으로도 안정적으로 원격제어장치의 광원의 정보를 획득하고 추적하여 완성도 높은 원격 포인팅 시스템을 구현할 수 있다. 또한, 기존의 디지털 TV, 셋톱박스, VOD 등의 디스플레이 화면에 과거의 적외선 리모콘과 같이 버튼을 일일이 눌러 명령을 입력해야 하는 방식에서 벗어나 PC상에서 마우스를 움직여 GUI(Graphic User Interface)환경을 사용하듯이 디지털 TV, 셋톱박스, VOD 등의 정보 디스플레이장치를 제어하고 편리하게 사용할 수 있도록 하는 새로운 방식의 정보 디스플레이용 원격 포인팅 기법을 구현할 수 있다.

Claims (16)

  1. 원격제어장치로부터 수신된 적외선 신호에 해당하는 제어명령을 수행하는 원격제어모드와 상기 원격제어장치로부터 수신된 적외선 신호를 기초로 포인팅 포인트의 변동량을 산출하여 원격 포인팅 동작을 수행하는 원격포인팅모드 중에서 상기 원격제어장치로부터 수신된 적외선 신호에 대응하는 모드로 동작하도록 하는 제어신호를 출력하는 신호수신부;
    상기 신호수신부로부터 원격포인팅모드로 동작하도록 하는 제어신호가 입력되면 구동되어, 상기 원격제어장치로부터 적외선 신호가 입력되지 않는 제1신호수신구간 동안에 배경이미지를 획득하고 상기 원격제어장치로부터 수신된 적외선 신호가 입력되는 제2신호수신구간 동안에 상기 원격제어장치로부터 수신된 적외선 신호에 해당하는 광이미지를 획득하는 영상수신부;
    상기 광이미지와 상기 배경이미지의 차이값을 기초로 보정된 광이미지를 생 성하는 영상처리부; 및
    상기 영상처리부로부터 입력되는 보정된 광이미지의 크기를 기초로 상기 원격제어장치까지의 거리를 산출하고, 상기 산출된 거리에 기초하여 상기 원격제어장치의 이동량을 산출하는 포인팅량산출부;를 포함하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 장치.
  2. 제 1항에 있어서,
    상기 신호수신부는,
    상기 원격제어장치로부터 적외선 신호를 수신하는 수신부; 및
    상기 수신된 적외선 신호로부터 상기 원격포인팅모드의 동기신호가 인식되면 상기 영상수신부의 상태를 대기상태에서 동작상태로 전환하도록 하는 제1제어신호를 출력하고, 상기 수신된 적외선 신호로부터 상기 원격포인팅모드의 종료신호가 인식될 때까지 상기 영상수신부를 구동하도록 하는 제2제어신호를 출력하는 제어부;를 포함하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 장치.
  3. 제 2항에 있어서,
    상기 영상수신부는 상기 제1제어신호가 입력되면 구동되어 소정의 신호대기구간 동안에 조절용 배경이미지를 획득하여 이미지센서의 노출량과 백색균형값을 포함하는 기본조정값을 결정하고, 상기 신호대기구간에 이어지는 신호수신구간 동안에 상기 원격제어장치로부터 수신된 적외선 신호에 해당하는 조절용 광이미지를 획득하여 상기 조절영 배경이미지를 기초로 결정된 기본조정값의 유효성을 검증하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 장치.
  4. 제 1항에 있어서,
    상기 제1신호수신구간 및 상기 제2신호수신구간은 상기 영상수신부에 의한 하나의 프레임을 구성할 수 있는 이미지 정보의 획득 및 출력에 소요되는 시간보다 길게 설정되는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 장치.
  5. 제 1항에 있어서,
    상기 영상처리부는,
    상기 광이미지와 상기 배경이미지의 차이값을 산출하는 차이값산출부;
    상기 산출된 차이값에 의해 형성되는 중간이미지에 대해 소정의 이미지 마스크를 적용하여 상기 보정된 광이미지를 생성하는 보정부; 및
    상기 보정된 광이미지에 대한 히스토그램 분석을 통해 상기 보정된 광이미지의 가로 및 세로 방향의 크기 및 모양을 측정하는 광이미지 분석부;를 포함하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 장치.
  6. 제 1항에 있어서,
    상기 포인팅량산출부는 다음의 수학식에 의해 상기 원격제어장치까지의 거리 를 산출하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 장치:
    Figure 112004052112560-PAT00011
    여기서, D1은 원격제어장치까지의 거리, R은 광원의 지름, λ는 이미지센서의 전단에 위치하는 렌즈와 이미지센서 사이의 거리, 그리고, RD1은 수신된 광이미지의 지름이다.
  7. 제 1항에 있어서,
    상기 포인팅량산출부는 상기 수신된 광이미지의 크기에 대응하는 상기 원격제어장치까지의 거리에 대한 실측값으로 구성된 거리산출데이터를 기초로 상기 원격제어장치까지의 거리를 산출하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 장치.
  8. 제 6항 또는 제 7항에 있어서,
    상기 포인팅량산출부는 다음의 수학식에 의해 상기 영상수신부를 구성하는 이미지센서의 중심을 원점으로 하는 공간좌표상에서의 상기 원격제어장치의 좌표(X, Y, Z)를 산출하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 장치:
    Figure 112004052112560-PAT00012
    여기서, Z는 상기 원격제어장치까지의 거리, λ는 이미지센서의 전단에 위치하는 렌즈와 이미지센서 사이의 거리, 그리고, x 및 y는 각각 상기 이미지센서의 중심을 원점으로 하는 이미지센서로 구성되는 평면상에서 상기 보정된 광이미지의 x축 및 y축의 좌표값이다.
  9. (a) 원격제어장치로부터 적외선 신호를 수신하는 단계;
    (b) 상기 수신된 적외선 신호로부터 상기 원격포인팅모드의 동기신호가 인식되면 상기 이미지센서의 상태를 대기상태에서 동작상태로 전환하는 단계;
    (c) 상기 이미지센서에 의해 상기 원격제어장치로부터 적외선 신호가 입력되지 않는 제1신호수신구간 동안에 배경이미지를 획득하고 상기 원격제어장치로부터 수신된 적외선 신호가 입력되는 제2신호수신구간 동안에 상기 원격제어장치로부터 수신된 적외선 신호에 해당하는 광이미지를 획득하는 단계;
    (d) 상기 광이미지와 상기 배경이미지의 차이값을 기초로 보정된 광이미지를 생성하는 단계; 및
    (e) 상기 보정된 광이미지의 크기를 기초로 상기 원격제어장치까지의 거리를 산출하고, 상기 산출된 거리에 기초하여 상기 원격제어장치의 이동량을 산출하는 단계;를 포함하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 방법.
  10. 제 9항에 있어서,
    상기 (b)단계는,
    (b1) 상기 수신된 적외선 신호로부터 상기 원격포인팅모드의 동기신호가 인식되면 상기 이미지센서에 의해 소정의 신호대기구간 동안에 조절용 배경이미지를 획득하여 상기 이미지센서의 노출량과 백색균형값을 포함하는 기본조정값을 결정하는 단계; 및
    (b2) 상기 신호대기구간에 이어지는 신호수신구간 동안에 상기 이미지센서에 의해 상기 원격제어장치로부터 수신된 적외선 신호에 해당하는 조절용 광이미지를 획득하여 상기 조절용 배경이미지를 기초로 결정된 기본조정값의 유효성을 검증하는 단계;를 포함하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 방법.
  11. 제 9항에 있어서,
    상기 제1신호수신구간 및 상기 제2신호수신구간은 상기 영상수신부에 의한 하나의 프레임을 구성할 수 있는 이미지 정보의 획득 및 출력에 소요되는 시간보다 길게 설정되는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 방법.
  12. 제 9항에 있어서,
    상기 (d)단계는,
    (d1) 상기 광이미지와 상기 배경이미지의 차이값을 산출하는 단계;
    (d2) 상기 산출된 차이값에 의해 형성되는 중간이미지에 대해 소정의 이미지 마스크를 적용하여 상기 보정된 광이미지를 생성하는 단계; 및
    (d3) 상기 보정된 광이미지에 대한 히스토그램 분석을 통해 상기 보정된 광 이미지의 가로 및 세로 방향의 크기 및 모양을 측정하는 단계;를 포함하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 방법.
  13. 제 9항에 있어서,
    상기 (e)단계에서 다음의 수학식에 의해 상기 원격제어장치까지의 거리를 산출하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 방법:
    Figure 112004052112560-PAT00013
    여기서, D1은 원격제어장치까지의 거리, R은 광원의 지름, λ는 이미지센서의 전단에 위치하는 렌즈와 이미지센서 사이의 거리, 그리고, RD1은 수신된 광이미지의 지름이다.
  14. 제 9항에 있어서,
    상기 (e)단계에서 상기 수신된 광이미지의 크기에 대응하는 상기 원격제어장치까지의 거리에 대한 실측값으로 구성된 거리산출데이터를 기초로 상기 원격제어장치까지의 거리를 산출하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 방법.
  15. 제 13항 또는 제 14항에 있어서,
    상기 (e)단계에서 다음의 수학식에 의해 상기 영상수신부를 구성하는 이미지 센서의 중심을 원점으로 하는 공간좌표상에서의 상기 원격제어장치의 좌표(X, Y, Z)를 산출하는 것을 특징으로 하는 이미지 센서를 이용한 원격 포인팅 방법:
    Figure 112004052112560-PAT00014
    여기서, Z는 상기 원격제어장치까지의 거리, λ는 이미지센서의 전단에 위치하는 렌즈와 이미지센서 사이의 거리, 그리고, x 및 y는 각각 상기 이미지센서의 중심을 원점으로 하는 이미지센서로 구성되는 평면상에서 상기 보정된 광이미지의 x축 및 y축의 좌표값이다.
  16. 제 9항 내지 제14항 중 어느 한 항에 기재된 이미지 센서를 이용한 원격 포인팅 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040091457A 2004-11-10 2004-11-10 이미지 센서를 이용한 원격 포인팅 장치 및 방법 KR100773905B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040091457A KR100773905B1 (ko) 2004-11-10 2004-11-10 이미지 센서를 이용한 원격 포인팅 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040091457A KR100773905B1 (ko) 2004-11-10 2004-11-10 이미지 센서를 이용한 원격 포인팅 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060042704A true KR20060042704A (ko) 2006-05-15
KR100773905B1 KR100773905B1 (ko) 2007-11-09

Family

ID=37148539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040091457A KR100773905B1 (ko) 2004-11-10 2004-11-10 이미지 센서를 이용한 원격 포인팅 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100773905B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100714722B1 (ko) * 2005-06-17 2007-05-04 삼성전자주식회사 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
KR100856573B1 (ko) * 2006-12-27 2008-09-04 주식회사 엠씨넥스 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법
KR100962486B1 (ko) * 2008-12-22 2010-06-14 곽계영 원격지의 광원의 움직임을 인식하여 2차원 포인팅을 수행하는 광 수신기
KR20100067452A (ko) * 2008-12-11 2010-06-21 삼성전자주식회사 단말기의 입력 방법 및 시스템
WO2010147270A1 (ko) * 2009-06-15 2010-12-23 Kwak Kye Yeong 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기
KR101005620B1 (ko) * 2010-03-19 2011-01-05 하이브모션 주식회사 광원의 위치를 추적하기 위해 이미지 데이터를 처리하는 장치
KR101027837B1 (ko) * 2009-06-09 2011-04-07 김덕후 빔 패턴을 이용한 삼차원 포인팅장치
WO2011108815A2 (ko) * 2010-03-02 2011-09-09 (주)실리콘화일 포인팅 제어 장치 및 제어 방법
KR101127009B1 (ko) * 2010-04-12 2012-03-26 경북대학교 산학협력단 레이저 포인터를 이용한 입력장치 및 입력 방법
KR101295855B1 (ko) * 2008-12-05 2013-08-12 한국전자통신연구원 적외선 송신 장치를 기반으로 한 동작 인식으로 제어되는 전자기기
KR20200059598A (ko) * 2018-11-21 2020-05-29 (주) 이즈커뮤니케이션즈 영상 처리 모듈의 소형화가 가능한 컴퓨터에의 입력 정보의 추출 방법 및 이 추출 방법이 구현되는 컴퓨터 입력 시스템
CN112771879A (zh) * 2018-10-04 2021-05-07 三星电子株式会社 显示装置及其控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100803585B1 (ko) * 2001-12-05 2008-02-15 삼성전자주식회사 원격 포인팅 입력 방법 및 그 장치
KR100449710B1 (ko) * 2001-12-10 2004-09-22 삼성전자주식회사 원격 포인팅 방법 및 이에 적합한 장치
KR100660165B1 (ko) * 2004-07-08 2006-12-20 주식회사 포인칩스 일반 적외선 리모콘 통신 기능을 겸비한 이미지센서이용방식 원격 포인팅 시스템
JP4293108B2 (ja) * 2004-10-14 2009-07-08 ソニー株式会社 リモート・コントロール・システム及びリモート・コントロール方法、リモート・コントローラ、並びに電子機器

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100714722B1 (ko) * 2005-06-17 2007-05-04 삼성전자주식회사 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
KR100856573B1 (ko) * 2006-12-27 2008-09-04 주식회사 엠씨넥스 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법
KR101295855B1 (ko) * 2008-12-05 2013-08-12 한국전자통신연구원 적외선 송신 장치를 기반으로 한 동작 인식으로 제어되는 전자기기
KR20100067452A (ko) * 2008-12-11 2010-06-21 삼성전자주식회사 단말기의 입력 방법 및 시스템
KR100962486B1 (ko) * 2008-12-22 2010-06-14 곽계영 원격지의 광원의 움직임을 인식하여 2차원 포인팅을 수행하는 광 수신기
KR101027837B1 (ko) * 2009-06-09 2011-04-07 김덕후 빔 패턴을 이용한 삼차원 포인팅장치
WO2010147270A1 (ko) * 2009-06-15 2010-12-23 Kwak Kye Yeong 광원의 이동 방향 및 지향각을 이용하여 디스플레이 장치의 화면 상에 포인팅을 행할 수 있도록 하는 광 수신기
WO2011108815A2 (ko) * 2010-03-02 2011-09-09 (주)실리콘화일 포인팅 제어 장치 및 제어 방법
WO2011108815A3 (ko) * 2010-03-02 2012-01-12 (주)실리콘화일 포인팅 제어 장치 및 제어 방법
WO2011115364A2 (ko) * 2010-03-19 2011-09-22 하이브모션 주식회사 광원의 위치를 추적하기 위해 이미지 데이터를 처리하는 장치
WO2011115364A3 (ko) * 2010-03-19 2011-11-24 하이브모션 주식회사 광원의 위치를 추적하기 위해 이미지 데이터를 처리하는 장치
KR101005620B1 (ko) * 2010-03-19 2011-01-05 하이브모션 주식회사 광원의 위치를 추적하기 위해 이미지 데이터를 처리하는 장치
KR101127009B1 (ko) * 2010-04-12 2012-03-26 경북대학교 산학협력단 레이저 포인터를 이용한 입력장치 및 입력 방법
CN112771879A (zh) * 2018-10-04 2021-05-07 三星电子株式会社 显示装置及其控制方法
CN112771879B (zh) * 2018-10-04 2023-10-20 三星电子株式会社 显示装置及其控制方法
KR20200059598A (ko) * 2018-11-21 2020-05-29 (주) 이즈커뮤니케이션즈 영상 처리 모듈의 소형화가 가능한 컴퓨터에의 입력 정보의 추출 방법 및 이 추출 방법이 구현되는 컴퓨터 입력 시스템

Also Published As

Publication number Publication date
KR100773905B1 (ko) 2007-11-09

Similar Documents

Publication Publication Date Title
US10114475B2 (en) Position detection system and control method of position detection system
KR100773905B1 (ko) 이미지 센서를 이용한 원격 포인팅 장치 및 방법
CN102016773B (zh) 具有光学边框的交互输入系统
US7468742B2 (en) Interactive presentation system
KR100886056B1 (ko) 빛입력디바이스의 방법 및 장치
US11016582B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
US20090051651A1 (en) Apparatus for remote pointing using image sensor and method of the same
JP2012208926A (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
JP2009225432A (ja) 光投影装置、照明装置
US8913037B1 (en) Gesture recognition from depth and distortion analysis
CN112913330B (zh) 选择一种从视频内容中提取颜色以产生光效果的方法
CN105807989A (zh) 一种手势触控方法和系统
WO2013078989A1 (zh) 人机交互操作指令的触发控制方法和系统
CN112913331B (zh) 根据视频和音频权重而基于视频和音频信息来确定光效果
CN105227882B (zh) 一种显示方法及对应装置
US9733728B2 (en) Position detecting device and position detecting method
JP2007086995A (ja) ポインティング装置
CN115496850A (zh) 家居设备控制方法、智能穿戴设备和可读存储介质
US20210294456A1 (en) Operation detection method, operation detection device, and display system
JP5724064B2 (ja) 光投影装置
US11082638B2 (en) Live streaming system and method for live streaming
WO2016157996A1 (ja) 情報処理装置、情報処理方法、プログラム及び画像表示システム
CN106200890B (zh) 遥控装置与根据至少一静态手势产生控制指令的方法
JP2001273484A (ja) 指示位置検出システム、プレゼンテーションシステムおよび情報記憶媒体
CN105511649A (zh) 一种多点定位系统及多点定位方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E801 Decision on dismissal of amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20060721

Effective date: 20070626

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121026

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131021

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141017

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151020

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161017

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171016

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee