KR101056388B1 - 포인팅/인터페이스 시스템 - Google Patents

포인팅/인터페이스 시스템 Download PDF

Info

Publication number
KR101056388B1
KR101056388B1 KR1020090039767A KR20090039767A KR101056388B1 KR 101056388 B1 KR101056388 B1 KR 101056388B1 KR 1020090039767 A KR1020090039767 A KR 1020090039767A KR 20090039767 A KR20090039767 A KR 20090039767A KR 101056388 B1 KR101056388 B1 KR 101056388B1
Authority
KR
South Korea
Prior art keywords
image
pointing
calibration
coordinates
captured
Prior art date
Application number
KR1020090039767A
Other languages
English (en)
Other versions
KR20100120901A (ko
Inventor
최순필
Original Assignee
(주)초이스테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)초이스테크놀로지 filed Critical (주)초이스테크놀로지
Priority to KR1020090039767A priority Critical patent/KR101056388B1/ko
Publication of KR20100120901A publication Critical patent/KR20100120901A/ko
Application granted granted Critical
Publication of KR101056388B1 publication Critical patent/KR101056388B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Abstract

본 발명은 포인팅/인터페이스 시스템에 관한 것으로서, 비가시광선 영역의 IVR 포인팅 빔을 방출하는 IVR 포인팅 빔 발생부와, 키 신호를 생성하는 키 신호 입력부와, 상기 키 신호 입력부에 의해 생성된 상기 키 신호를 전송하는 키 신호 송신부를 갖는 포인팅/입력 디바이스와; 화면 상에 영상을 표시하기 위한 영상 디스플레이 디바이스와; 비가시광선 영역의 빛을 촬상하되 가시광선 영역의 빛을 선택적으로 촬상 가능하게 마련되어 상기 영상 디스플레이 디바이스의 화면을 촬상하는 듀얼 모드 카메라와; 상기 영상 디스플레이 디바이스를 통해 영상이 표시되도록 상기 영상 디스플레이 디바이스에 영상신호를 출력하고, 상기 듀얼 모드 카메라가 가시광선 영역의 빛을 촬상하는 상태에서 동작하는 칼리브레이션 모드와 상기 듀얼 모드 카메라가 가시광선 영역의 빛의 촬상이 차단되고 비가시광선 영역의 빛을 촬상하는 상태에서 동작하는 트래킹 모드로 동작 가능한 정보처리 디바이스와; 상기 정보처리 디바이스에 접속되며, 상기 키 신호 송신부로부터 전송되는 상기 키 신호를 수신하여 상기 정보처리 디바이스로 전달하는 수신 디바이스를 포함하며; 상기 정보처리 디바이스는 상기 칼리브레이션 모드로 동작하는 상태에서 적어도 하나의 칼리브레이션 영상을 상기 영상 디스플레이 디바이스에 표시하고, 상기 듀얼 모드 카메라에 의해 촬상된 촬상 영상으로부터 상기 칼리브레이션 영상을 추출하여 촬상 영상 중 상기 영상 디스플레이 디바이스의 화면 영역을 결정하고, 상기 트래킹 모드로 동작하는 상태에서 상기 듀얼 모드 카메라에 의해 촬상된 촬상 영상으로부터 상기 포인팅/입력 디바이스로부터 방출된 상기 IVR 포인팅 빔을 검출하고, 상기 검출된 IVR 포인팅 빔이 지시하는 상기 화면 영역 상의 좌표를 산출하며, 상기 포인팅/입력 디바이스로부터 전송되는 상기 키 신호를 상기 산출된 좌표에 대한 입력신호로 인식하여 처리하는 것을 특징으로 한다.

Description

포인팅/인터페이스 시스템{POINTING/INTERFACE SYSTEM}
본 발명은 포인팅/인터페이스 시스템에 관한 것으로서, 보다 상세하게는 컴퓨터와 같은 정보처리 디바이스에 대한 새로운 형태의 인터페이스 방식을 제공할 수 있는 포인팅/인터페이스 시스템에 관한 것이다.
각종 회의나 발표에서는 발표자가 컴퓨터와 같은 정보처리 디바이스를 이용하여 발표 내용을 실행하고, 빔 프로젝터를 이용하여 스크린 상에 큰 화면의 영상을 표시하여 발표를 수행하는 것이 일반적이다. 이 때, 발표자는 레이저 포인터를 이용하여 스크린 상에 표시된 화면의 특정 위치를 가리키며 발표를 하게 된다.
그런데, 레이저 포인터는 단순히 화면 상의 특정 위치를 지시하는 기능만을 갖기 때문에 발표 과정 중 컴퓨터를 조작하고자 하는 경우 컴퓨터를 설치한 위치로 직접 가서 마우스나 키보드를 조작하여야 하는 불편함이 있다.
이러한 불편함을 해소하기 위해 레이저 포인터에 컴퓨터를 간단하게 조작하기 위한 버튼을 마련하고, 버튼의 조작에 따른 키 신호를 무선으로 컴퓨터로 전송 하는 레이저 포인터가 사용되고 있다. 그러나, 버튼이 마련된 레이저 포인터의 경우에도 버튼의 조작에 따라 컴퓨터를 제어하는 기능은 극히 제한적이다. 예를 들어 대부분의 레이저 포인터는 키보드의 페이지 업(Page Up) 및 페이지 다운(Page Down) 버튼 정도만 부가되어 있다.
또한, 컴퓨터의 새로운 입력장치로 무선 마우스가 제안되고 있으나, 마우스 자체가 갖는 특징, 즉 마우스 패드와 같은 마우스의 조작을 위한 평평한 판이 필수적이라는 점에서 제약이 따르게 된다. 이외에도 다양한 형태의 센서, 예를 들어 가속도 센서, 자이로 센서, 터치 센서 등을 이용한 새로운 입력장치가 제안되고 있으나, 사용자가 사용 위치의 제약을 받지 않으면서도 기존의 마우스와 동일한 기능을 수행할 수 있는 입력장치를 실용화하지는 못하고 있는 실정이다.
근래에, 스크린 상에 표시된 레이저 포인터의 포인팅 빔을 카메라로 촬상하고, 촬상된 포인팅 빔의 스크린 상의 좌표를 추적하여 이를 커서의 움직임으로 인식하는 기술이 제안되었다. 일 예로 한국특허 제0171847호에는 무선원격 좌표 입력방법 및 장치가 개시되어 있다.
그런데, 상기 한국특허 제0171847호에 개시된 기술을 비롯하여 포인팅 빔의 스크린 상의 좌표를 추적하는 기술은 스크린 상에 표시된 영상 내에서 포인팅 빔을 추적해야 하기 때문에 포인팅 빔의 추적이 용이하지 않다.
즉, 통상적인 레이저 포인터의 포인팅 빔은 628~680nm 대의 파장을 갖는 적색 빔 형태를 갖는데, 화면 상에 표시되는 영상 내에 포인팅 빔의 파장과 같거나 근접한 영상이 존재하는 경우 포인팅 빔과 화면 상의 표시된 영상 간에 간섭이 발생하여 포인팅 빔의 추적이 어려우며, 이를 추적하기 위해서는 복잡한 연산과정이나 추정과정을 거치게 되어 신뢰성이 현저히 떨어지고 실시간으로 이를 추적하기 어려운 문제점이 있다.
또한, 상기와 같은 추적의 어려움을 극복하기 위해서는 하드웨어 자체가 고사양이 되는데, 이는 제품 가격의 상승을 초래하는 등 하드웨어 의존적인 시스템이 되는 문제점이 있다.
이에, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 포인팅 빔의 정확한 위치 추적이 가능하여 신뢰성 있는 새로운 입력장치로서의 기능을 갖는 포인팅/인터페이스 시스템을 제공하는데 그 목적이 있다.
또한, 가시광선 영역의 포인팅 빔이 조사되어 레이저 포인터로서의 기능을 동시에 수행하면서도, 가시광선 영역의 포인팅 빔의 화면 상에서의 위치가 마우스 커서의 위치가 될 수 있는 포인팅/인터페이스 시스템을 제공하는데 또 다른 목적이 있다.
상기 목적은 본 발명에 따라, 포인팅/인터페이스 시스템에 있어서, 비가시광선 영역의 IVR 포인팅 빔을 방출하는 IVR 포인팅 빔 발생부와, 키 신호를 생성하는 키 신호 입력부와, 상기 키 신호 입력부에 의해 생성된 상기 키 신호를 전송하는 키 신호 송신부를 갖는 포인팅/입력 디바이스와; 화면 상에 영상을 표시하기 위한 영상 디스플레이 디바이스와; 비가시광선 영역의 빛을 촬상하되 가시광선 영역의 빛을 선택적으로 촬상 가능하게 마련되어 상기 영상 디스플레이 디바이스의 화면을 촬상하는 듀얼 모드 카메라와; 상기 영상 디스플레이 디바이스를 통해 영상이 표시되도록 상기 영상 디스플레이 디바이스에 영상신호를 출력하고, 상기 듀얼 모드 카메라가 가시광선 영역의 빛을 촬상하는 상태에서 동작하는 칼리브레이션 모드와 상기 듀얼 모드 카메라가 가시광선 영역의 빛의 촬상이 차단되고 비가시광선 영역의 빛을 촬상하는 상태에서 동작하는 트래킹 모드로 동작 가능한 정보처리 디바이스와; 상기 정보처리 디바이스에 접속되며, 상기 키 신호 송신부로부터 전송되는 상기 키 신호를 수신하여 상기 정보처리 디바이스로 전달하는 수신 디바이스를 포함하며; 상기 정보처리 디바이스는 상기 칼리브레이션 모드로 동작하는 상태에서 적어도 하나의 칼리브레이션 영상을 상기 영상 디스플레이 디바이스에 표시하고, 상기 듀얼 모드 카메라에 의해 촬상된 촬상 영상으로부터 상기 칼리브레이션 영상을 추출하여 촬상 영상 중 상기 영상 디스플레이 디바이스의 화면 영역을 결정하고, 상기 트래킹 모드로 동작하는 상태에서 상기 듀얼 모드 카메라에 의해 촬상된 촬상 영상으로부터 상기 포인팅/입력 디바이스로부터 방출된 상기 IVR 포인팅 빔을 검출하고, 상기 검출된 IVR 포인팅 빔이 지시하는 상기 화면 영역 상의 좌표를 산출하며, 상기 포인팅/입력 디바이스로부터 전송되는 상기 키 신호를 상기 산출된 좌표에 대한 입력신호로 인식하여 처리하는 것을 특징으로 하는 포인팅/인터페이스 시스템에 의해 달성된다.
여기서, 상기 정보처리 디바이스는, 상기 듀얼 모드 카메라로부터 수신되는 촬상 영상으로부터 영상 프레임을 캡처하는 영상 캡처 모듈과; 상기 칼리브레이션 모드로 동작하는 상태에서 상기 영상 캡처 모듈에 의해 캡처된 영상 프레임으로부터 상기 칼리브레이션 영상을 추출하여 상기 화면 영역을 결정하는 칼리브레이션 모듈과; 상기 트래킹 모드로 동작하는 상태에서 상기 영상 캡처 모듈에 의해 캡처된 영상 프레임으로부터 상기 IVR 포인팅 빔을 검출하여 영상 프레임 상에서의 좌표를 결정하는 포인터 검출 모듈과; 상기 포인터 검출 모듈에 의해 결정된 상기 IVR 포인팅 빔의 영상 프레임 상에서의 좌표에 기초하여 상기 화면 영역 상의 좌표를 산출하는 좌표 산출 모듈과; 상기 칼리브레이션 모드로 동작하는 상태에서 상기 칼리브레이션 영상을 상기 영상 디스플레이 디바이스에 표시하고, 상기 트래킹 모드로 동작하는 상태에서 상기 포인팅/입력 디바이스로부터 전송되는 상기 키 신호를 상기 화면 영역 상의 좌표에 대한 입력신호로 인식하여 처리하는 메인 제어 모듈을 포함할 수 있다.
또한, 상기 칼리브레이션 영상은 화면의 네 모서리에 사각 형상의 제1 보정 이미지가 각각 표시된 제1 칼리브레이션 영상과, 상기 각 제1 보정 이미지의 내측 대각 방향의 꼭지점을 공유하며 상기 각 제1 보정 이미지로부터 내측 대각 방향에 위치하는 사각 형상의 제2 보정 이미지가 표시된 제2 칼리브레이션 영상과, 전체가 동일한 밝기값을 갖는 배경 이미지가 표시된 제3 칼리브레이션 영상을 포함하며; 상기 제1 칼리브레이션 영상에서 상기 제1 보정 이미지 외의 영역과 상기 제2 칼리브레이션 영상에서 상기 제2 보정 이미지 이외의 영역은 상기 제3 칼리브레이션 영상의 상기 배경 이미지와 동일한 밝기값을 가지며; 상기 칼리브레이션 모듈은 상기 영상 캡처 모듈에 의해 캡처된 상기 제1 칼리브레이션 영상에 대한 제1 영상 프레임과 상기 제3 칼리브레이션 영상에 대한 제3 영상프레임 간의 제1 차영상을 생성하고, 상기 제1 차영상을 4개의 사분면으로 분할하여 각 사분면에 대한 제1 대표 보정 좌표를 결정하며; 상기 영상 캡처 모듈에 의해 캡처된 상기 제2 칼리브레이션 영상에 대한 제2 영상 프레임과 상기 제3 영상 프레임 간의 제2 차영상을 생성하고, 상기 제2 차영상을 4개의 사분면으로 분할하여 각 사분면에 대한 제2 대표 보정 좌표를 결정하며; 상기 4개의 제1 대표 보정 좌표 및 상기 4개의 제2 대표 보정 좌표에 기초하여 촬상 영상 중 상기 화면 영역을 형성하는 4개의 외곽 모서리 좌표를 산출하여 상기 화면 영역을 결정할 수 있다.
그리고, 상기 제1 대표 보정 좌표 및 상기 제2 대표 보정 좌표는 각 사분면 내에서 가장 밝은 픽셀의 좌표로 결정될 수 있다.
여기서, 상호 대응하는 상기 제1 보정 이미지 및 상기 제2 보정 이미지는 동 일한 형상을 가지며; 상기 각 외곽 모서리 좌표는 수학식 Ck = Pk + (Pk - Pk')/2 (여기서, Ck는 k 번째 외곽 모서리 좌표이고, Pk는 k 번째 제1 대표 보정 좌표이고, Pk'는 k 번째 제2 대표 보정 좌표이다)에 의해 산출될 수 있다.
또한, 상기 포인터 검출 모듈은 상기 영상 캡처 모듈에 의해 캡처된 상기 영상 프레임 중 가장 밝은 픽셀을 검출하고; 기 설정된 크기의 윈도우 영역을 상기 가장 밝은 픽셀을 중심으로 기 설정된 탐색 범위 내에서 이동시키며 상기 윈도우 영역의 평균 밝기값을 산출하며; 상기 탐색 범위 내에서의 상기 윈도우 영역의 각 위치 중 가장 큰 평균 밝기값을 갖는 위치의 윈도우 영역의 중심 픽셀을 상기 영상 프레임 내에서 상기 IVR 포인팅 빔이 지시하는 위치로 결정할 수 있다.
여기서, 상기 포인터 검출 모듈은 상기 가장 밝은 픽셀의 밝기가 기 설정된 기준 밝기값 이하인 경우 검출 오류로 판단하고, 상기 가장 큰 평균 밝기값이 상기 기준 밝기값 이하인 경우 검출 오류로 판단할 수 있다.
또한, 상기 좌표 산출 모듈은 상기 영상 프레임의 해상도와, 상기 영상 디스플레이 디바이스에 표시된 영상의 해상도와, 상기 칼리브레이션 모듈에 의해 결정된 상기 화면 영역에 기초하여, 상기 포인터 검출 모듈에 의해 결정된 상기 영상 프레임 상의 좌표에 대한 상기 영상 디스플레이 디바이스의 화면 내의 좌표 범위를 산출하고; 상기 좌표 범위의 중심 좌표를 상기 화면 영역 상의 좌표로 산출할 수 있다.
그리고, 상기 듀얼 모드 카메라는, 가시광선 영역의 빛과 비가시광선 영역의 빛을 감지 가능한 이미지 센서 모듈과; 상기 이미지 센서 모듈에 비가시광선 영역이 빛이 전달되도록 가시광선 영역의 빛을 차단하는 가시광선 차단 필터와; 상기 이미지 센서 모듈로 가시광선 영역의 빛이 입사 또는 차단되도록 상기 가시광선 차단 필터를 구동하는 필터 구동부와; 상기 이미지 센서 모듈에 의해 수신된 빛에 기초하여 촬상 영상을 생성하는 촬상 영상 생성부와; 상기 촬상 영상 생성부에 의해 생성된 촬상 영상을 상기 정보처리 디바이스로 전송하는 카메라 인터페이스부를 포함할 수 있다.
그리고, 상기 포인팅/입력 디바이스는 상기 IVR 포인팅 빔 발생부로부터 방출되는 상기 IVR 포인팅 빔의 방출 방향에 대응하는 방향으로 가시광선 영역의 VR 포인팅 빔을 방출하는 VR 포인팅 빔 발생부를 더 포함할 수 있다.
여기서, 상기 정보처리 디바이스는 상기 IVR 포인팅 빔의 상기 화면 영역 상의 좌표 및 상기 키 신호를 각각 상기 영상 디스플레이 디바이스의 화면에 표시되는 마우스 커서의 좌표 및 상기 마우스 커서에 대한 입력신호로 인식하여 처리할 수 있다.
한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 듀얼 모드 카메라를 통해 입력받은 촬영 영상으로부터 영상 프레임을 캡처하는 단계와; 칼리브레이션 모드로 동작하는 상태에서 상기 캡처된 영상 프레임으로부터 상기 듀얼 모드 카메라에 의해 촬영된 가시광선 영역의 칼리브레이션 영상을 추출하여 화면 영역을 결정하는 단계와; 트래킹 모드로 동작하는 상태에서 상기 캡처된 영상 프레임으로부터 비가시광선 영역의 IVR 포인팅 빔을 검출하는 단계와; 상기 검출된 IVR 포인팅 빔의 상기 화면 영역 상의 좌표를 결정하는 단계와; 입력되는 키 신호를 상기 결정된 화면 영역 상의 좌표에 대한 입력신호로 인식하여 처리하는 단계를 포함하는 것을 특징으로 하는 포인터 입력 방법에 의해서도 달성될 수 있다.
여기서, 상기 칼리브레이션 영상을 추출하여 상기 화면 영역을 결정하는 단계는, 제1 보정 이미지가 표시된 제1 칼리브레이션 영상을 추출하는 단계와; 제2 보정 이미지가 표시된 제2 칼리브레이션 영상을 추출하는 단계와; 상기 제1 보정 이미지 내의 제1 대표 보정 좌표와 상기 제2 보정 이미지 내의 제2 대표 보정 좌표를 결정하는 단계와; 상기 제1 대표 보정 좌표와 상기 제2 대표 보정 좌표 간의 상대 위치에 기초하여 상기 화면 영역의 꼭지점 좌표를 결정하여 상기 화면 영역을 결정하는 단계를 포함할 수 있다.
그리고, 상기 제1 보정 이미지 및 상기 제2 보정 이미지는 상기 화면 영역의 대각선 상에 위치할 수 있다.
그리고, 상기 제1 보정 이미지는 상기 화면 영역의 네 꼭지점에 인접하여 각각 형성되고, 상기 제2 보정 이미지는 상기 제1 보정 이미지에 인접하여 각각 형성될 수 있다.
여기서, 상기 제1 대표 보정 좌표는 상기 제1 보정 이미지의 중심점으로 결정되고, 상기 제2 대표 보정 좌표는 상기 제2 보정 이미지의 중심점으로 결정되며, 상기 제1 보정 이미지와 상기 제2 보정 이미지는 각각 사각형으로 형성되어 하나의 꼭지점을 공유할 수 있다.
그리고, 상기 제1 대표 보정 좌표 및 상기 제2 대표 보정 좌표는 각각 상기 제1 보정 이미지 및 상기 제2 보정 이미지 내의 가장 밝은 픽셀의 좌표로 결정될 수 있다.
그리고, 상기 비가시광선 영역의 상기 IVR 포인팅 빔을 검출하는 단계는, 상기 캡처된 영상 프레임 중 가장 밝은 픽셀을 검출하는 단계와; 기 설정된 크기의 윈도우 영역을 상기 가장 밝은 픽셀을 중심으로 기 설정된 탐색 범위 내에서 이동시키며 상기 윈도우 영역의 평균 밝기값을 산출하는 단계와; 상기 탐색 범위 내에서의 상기 윈도우 영역의 각 위치 중 가장 큰 평균 밝기값을 갖는 위치의 윈도우 영역의 중심 픽셀을 상기 영상 프레임 내에서 상기 IVR 포인팅 빔이 지시하는 위치로 결정하는 단계를 포함할 수 있다.
상기와 같은 구성을 통해, 본 발명에 따르면 포인팅 빔의 정확한 위치 추적이 가능하여 신뢰성 있는 새로운 입력장치로서의 기능을 갖는 포인팅/인터페이스 시스템이 제공된다.
또한, 가시광선 영역의 포인팅 빔이 조사되어 레이저 포인터로서의 기능을 동시에 수행하면서도, 가시광선 영역의 포인팅 빔의 화면 상에서의 위치가 마우스 커서의 위치가 될 수 있는 포인팅/인터페이스 시스템이 제공된다.
이하에서는 첨부된 도면을 참조하여 본 발명을 상세히 설명한다. 여기서, 본 발명을 설명하는데 있어, 'IVR'은 'invisible ray', 즉 비가시광선을 의미하는 약어이고, 'VR'은 'visible ray', 즉 가시광선을 의미하는 약어로 사용된다.
도 1은 본 발명에 따른 포인팅/인터페이스 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명에 따른 포인팅/인터페이스 시스템은 포인팅/입력 디바이스, 영상 디스플레이 디바이스(50,50a), 듀얼 모드 카메라(40), 수신 디바이스(20) 및 정보처리 디바이스(30)를 포함한다.
영상 디스플레이 디바이스(50,50a)는 정보처리 디바이스(30)로부터 전달되는 영상신호를 처리하여 화면 상에 영상을 표시한다. 여기서, 본 발명에 따른 영상 디스플레이 디바이스(50,50a)는, 도 1에 도시된 바와 같이, 스크린(50a)에 영상을 투사하는 빔 프로젝터(50) 형태로 마련되는 것을 일 예로 한다.
포인팅/입력 디바이스(10)는, 도 2에 도시된 바와 같이, IVR 포인팅 빔 발생부(12), 키 신호 입력부(13), 키 신호 송신부(14) 및 송신 제어부(15)를 포함할 수 있다.
IVR 포인팅 빔 발생부(12)는 비가시광선 영역의 IVR 포인팅 빔을 방출한다. 여기서, 본 발명에서는 IVR 포인팅 빔 발생부(12)는 비가시광선 영역의 적외선 빔을 방출하는 것을 일 예로 한다. 그리고, IVR 포인팅 빔 발생부(12)로부터 방출된 IVR 포인팅 빔이 화면에 닿게 되면, IVR 포인팅 빔이 비가시광선 영역, 예를 들어 적외선 영역의 빔이므로 사람이 이를 시각적으로 인식할 수 없다.
키 신호 입력부(13)는 사용자의 조작에 따라 키 신호를 생성한다. 여기서, 키 신호 입력부(13)는 포인팅/입력 디바이스(10)의 외부에 마련된 버튼 형태로 마 련될 수 있으며, 본 발명에서는 통상의 마우스의 버튼, 예를 들어, 왼쪽 버튼, 오른쪽 버튼, 스크롤 버튼 등이 마련될 수 있으며, 필요에 따라 다양한 형태의 단축 버튼, 예를 들어, 페이지 업(Page Up) 버튼, 페이지 다운(Page Down), 또는 기 설정된 동작의 수행을 위한 단축키가 마련될 수 있음은 물론이다.
또한, 키 신호 입력부(13)는 2-스텝 버튼(2-step button) 형태로 마련될 수 있다. 예를 들어, 2-스텝 버튼(2-step button)을 이용하여 1단을 누르게 되면 IVR 포인팅 빔 발생부(12)로부터 IVR 포인팅 빔이 발출되고, 1단이 눌러진 상태에서 2단을 누르게 되면 IVR 포인팅 빔이 지속적으로 방출되는 상태에서 키 신호가 생성될 수 있다. 여기서, 키 신호를 클릭, 즉 키 다운(Key down) 신호로 인식하여 정보처리 디바이스(30)에서는 이를 클릭 신호로 인식 가능하게 된다.
그리고, 2-스텝 버튼(2-step button)이 2단까지 눌러진 상태에서 다시 1단으로 전환되면, IVR 포인팅 빔이 지속적으로 방출되는 상태에서 키 업(Key up) 신호에 해당하는 키 신호가 생성될 수 있다. 이 때 정보처리 디바이스(30)에서는 이를 클릭 해제 신호로 인식할 수 있다. 이와 같이 2-스텝 버튼(2-step button) 형태의 키 신호 입력부(13)를 통해 정보처리 디바이스(30)로 마우스 왼쪽 버튼의 클릭과 같은 효과가 제공된다.
송신 제어부(15)는 키 신호 입력부(13)를 통해 입력된 키 신호를 키 신호 송신부(14)를 통해 정보처리 디바이스(30)로 전송한다. 여기서, 본 발명에 따른 키 신호 송신부(14)는 RF 통신과 같은 무선 통신을 통해 키 신호를 정보처리 디바이스(30)로 전송하는 것을 일 예로 한다. 이에, 본 발명에 따른 키 신호 송신부(14) 는, 도 2에 도시된 바와 같이, 인코딩부(14a) 및 RF 변환부(14b)를 포함할 수 있다.
인코딩부(14a)는 키 신호 입력부(13)에 의해 생성된 키 신호를 인코딩하여 RF 변환부(14b)로 전달하고, RF 변환부(14b)는 인코딩부(14a)에 의해 인코딩된 키 신호를 RF 신호 형태로 변환하여 RF 통신을 통해 정보처리 디바이스(30)로 전송한다.
한편, 수신 디바이스(20)는 정보처리 디바이스(30)에 접속되어 포인팅/입력 디바이스(10)로부터 전송되는 RF 신호 형태의 키 신호를 수신하여 정보처리 디바이스(30)로 전달한다. 여기서, 수신 디바이스(20)는, 도 2에 도시된 바와 같이, 키 신호 수신부(24), 포인터 인터페이스부(21) 및 이들을 제어하는 수신 제어부(25)를 포함할 수 있다.
키 신호 수신부(24)는 포인팅/입력 디바이스(10)로부터 전송되는 RF 신호 형태의 키 신호를 수신한다. 여기서, 키 신호 수신부(24)는 RF 신호 형태의 키 신호를 수신하는 RF 수신부(24b)와, RF 수신부(24b)에 의해 수신된 RF 신호 형태의 키 신호를 디코딩하는 디코딩부(24a)를 포함할 수 있다. 그리고, 수신 제어부(25)는 디코딩부(24a)에 의해 디코딩된 키 신호를 포인터 인터페이스부(21)를 통해 정보처리 디바이스(30)로 출력한다.
여기서, 본 발명에 따른 수신 디바이스(20)는 정보처리 디바이스(30)와 USB(Universal Serial Bus) 통신을 통해 연결되는 것을 일 예로 하며, 이에 따라 디코딩부(24a)는 RF 수신부(24b)를 통해 수신된 RF 신호 형태의 키 신호를 USB 포 맷 데이터로 디코딩하여 포인터 인터페이스부(21)를 통해 정보처리 디바이스(30)로 출력한다.
듀얼 모드 카메라(40)는 영상 디스플레이 디바이스(50,50a)에 의해 표시되는 화면 상의 영상을 촬상한다. 여기서, 도 1에 도시된 바와 같이 영상 디스플레이 디바이스(50,50a)가 빔 프로젝터(50) 및 스크린(50a)으로 구성된 경우, 듀얼 모드 카메라(40)는 스크린(50a)에 표시된 영상을 촬상하게 된다.
본 발명에 따른 듀얼 모드 카메라(40)는 비가시광선 영역의 빛은 촬상하되, 가시광선 영역의 빛은 선택적으로 촬상 가능한 형태로 마련된다. 여기서, 듀얼 모드 카메라(40)가 비가시광선 영역의 빛의 촬상이 차단되고 비가시광선 영역이 빛을 촬상하는 상태에서 영상이 표시되고 있는 스크린(50a)을 촬상할 때, 스크린(50a)에 표시되는 영상 중 가시광선 영역에 해당하는 영상, 즉 정보처리 디바이스(30)로부터 출력되어 빔 프로젝터(50)에 의해 표시되는 영상은 촬상되지 않고, 포인팅/입력 디바이스(10)로부터 방출되어 스크린(50a) 상에 투사된 IVR 포인팅 빔만이 촬상된다.
도 3은 본 발명에 따른 듀얼 모드 카메라(40)의 구성의 일 예를 도시한 도면이다. 여기서, 도 3에 도시된 듀얼 모드 카메라(40)는 비가시광선 영역의 빛 중 적외선 영역의 빛을 촬상하는 형태로 마련되는 것을 일 예로 한다.
도 3을 참조하여 설명하면, 본 발명에 따른 듀얼 모드 카메라(40)는 가시광선 차단 필터(42), 필터 구동부(44), 촬상 영상 생성부(43), 카메라 인터페이스부(45)를 포함할 수 있다.
가시광선 차단 필터(42)는 듀얼 모드 카메라(40)로 입사되는 빛 중 가시광선 영역의 빛을 차단한다. 그리고, 필터 구동부(44)는 이미지 센서 모듈(41)로 가시광선 영역의 빛이 입사 또는 차단되도록 가시광선 차단 필터(42)를 구동한다. 즉, 필터 구동부(44)는 이미지 센서 모듈(41)의 전방에 가시광선 차단 필터(42)가 배치되도록 가시광선 차단 필터(42)를 구동시켜 이미지 센서 모듈(41)로 가시광선 영역의 빛의 입사를 차단시킨다. 또한, 필터 구동부(44)는 이미지 센서 모듈(41)의 전방에 배치된 가시광선 차단 필터(42)를 제거하여 이미지 센서 모듈(41)로 가시광선 영역의 빛이 입사되도록 한다.
이미지 센서 모듈(41)은 가시광선 영역의 빛과 비가시광선 영역의 빛을 감지하며, CMOS 센서나 CCD 센서 형태로 마련될 수 있다. 여기서, 이미지 센서 모듈(41)은 그 전방에 가시광선 차단 필터(42)가 배치된 상태에서는 비가시광선 영역의 빛, 예컨대 영상 디스플레이 디바이스(50,50a)의 화면 상에 조사된 IVR 포인팅 빔은 감지하지만 영상 디스플레이 디바이스(50,50a)에 표시되는 영상은 가시광선 차단 필터(42)에 의해 차단되어 감지되지 않는다. 반면, 이미지 센서 모듈(41)은 가시광선 차단 필터(42)가 그 전방에서 제거된 상태에서는 비가시광선 영역의 빛과 가시광선 영역의 빛을 모두 감지하게 되어 영상 디스플레이 디바이스(50,50a)에 표시된 영상 또한 감지하게 된다.
촬상 영상 생성부(43)는 이미지 센서 모듈(41)에 의해 감지된 빛에 기초하여 촬상 영상을 생성한다. 그리고, 촬상 영상 생성부(43)에 의해 생성된 촬상 영상은 카메라 인터페이스부(45)를 통해 정보처리 디바이스(30)로 전달된다. 여기서, 본 발명에 따른 카메라 인터페이스부(45)는 USB(Universal Serial Bus) 통신을 통해 정보처리 디바이스(30)와 연결되는 것을 일 예로 하며, 이에 따라 촬상 영상 생성부(43)에 의해 생성되는 촬상 영상은 USB 포맷 데이터 형태로 변환되어 전송될 수 있다. 여기서, 본 발명에 따른 카메라 인터페이스부(45)에 USB(Universal Serial Bus) 통신이 적용되는 것은 하나의 예을 뿐이며, IEEE 1394 등과 같이 다른 통신 방식이 적용 가능함은 물론이다.
한편, 정보처리 디바이스(30)는 영상 디스플레이 디바이스(50,50a)에 영상이 표시되도록 영상 디스플레이 디바이스(50,50a)에 영상신호를 출력한다. 그리고, 정보처리 디바이스(30)는 듀얼 모드 카메라(40)가 가시광선 영역의 빛을 촬상하는 상태에서 동작하는 칼리브레이션 모드(Calibration mode)와, 듀얼 모드 카메라(40)가 가시광선 영역의 빛의 촬상이 차단되고 비가시광선 영역의 빛을 촬상하는 상태에서 동작하는 트래킹 모드(Tracking mode)로 선택적으로 동작한다.
여기서, 정보처리 디바이스(30)는 칼리브레이션 모드로 동작하는 상태에서 적어도 하나의 칼리브레이션 영상을 영상 디스플레이 디바이스(50,50a)에 표시한다. 그리고, 정보처리 디바이스(30)는 듀얼 모드 카메라(40)가 영상 디스플레이 디바이스(50,50a)의 화면을 촬상한 촬상 영상을 전달받는데, 칼리브레이션 모드인 상태에서 듀얼 모드 카메라(40)는 가시광선 영역의 빛을 촬상하므로 정보처리 디바이스(30)로 전달된 촬상 영상은 칼리브레이션 영상을 포함하게 된다. 그리고, 정보처리 디바이스(30)는 듀얼 모드 카메라(40)로부터 전달된 촬상 영상으로부터 칼리브레이션 영상을 추출하고, 추출된 칼리브레이션 영상에 기초하여 전체 촬상 영 상 중 영상 디스플레이 디바이스(50,50a)의 화면 영역을 결정한다.
또한, 정보처리 디바이스(30)는 트래킹 모드로 동작하는 상태, 즉 듀얼 모드 카메라(40)가 가시광선 차단 필터(42)에 의해 가시광선 영역의 빛을 촬상하지 않은 상태에서, 듀얼 모드 카메라(40)에 의해 촬상된 촬상 영상으로부터 비가시광선 영역의 빛인 IVR 포인팅 빔을 검출한다. 그리고, 정보처리 디바이스(30)는 칼리브레이션 모드에서 결정된 영상 디스플레이 디바이스(50,50a)의 화면 영역 상에서 IVR 포인팅 빔이 지시하는 위치의 좌표를 산출하고, 포인팅/입력 디바이스(10)로부터 전송되는 키 신호를 산출된 좌표에 대한 입력신호로 처리한다.
이하에서는 도 4를 참조하여, 본 발명에 따른 정보처리 디바이스(30)에 대해 상세히 설명한다. 본 발명에 따른 정보처리 디바이스(30)는, 도 4에 도시된 바와 같이, 영상 캡처 모듈(31), 칼리브레이션 모듈(32), 포인터 검출 모듈(33), 좌표 산출 모듈(34) 및 메인 제어 모듈(35)을 포함할 수 있다.
영상 캡처 모듈(31)은 듀얼 모드 카메라(40)에 의해 촬상되어 전송된 촬상 영상을 수신하고, 수신된 촬상 영상으로부터 영상 프레임을 캡처한다.
칼리브레이션 모듈(32)은 정보처리 디바이스(30)가 칼리브레이션 모드로 동작하는 상태에서 영상 캡처 모듈(31)에 의해 캡처된 영상 프레임으로부터 칼리브레이션 영상을 추출하여 전체 영상 프레임 중 화면 영역을 결정한다. 여기서, 본 발명에 따른 칼리브레이션 모듈(32)은 3개의 칼리브레이션 영상을 이용하여 화면 영역을 결정하는 것을 일 예로 하며, 도 5 내지 도 9를 참조하여 3개의 칼리브레이션 영상을 이용하여 화면 영역을 결정하는 과정에 대해 상세히 설명한다.
먼저, 정보처리 디바이스(30)가 칼리브레이션 모드로 동작하는 상태에서, 메인 제어 모듈(35)은 도 5의 (a)에 도시된 바와 같은 제1 칼리브레이션 영상(100)을 영상 디스플레이 디바이스(50,50a)에 표시한다. 이 때, 듀얼 모드 카메라(40)는 칼리브레이션 모드에서 가시광선 영역의 빛을 촬상할 수 있도록 가시광선 차단 필터(42)가 이미지 센서 모듈(41)의 전방에서 제거된 상태이다. 여기서, 제1 칼리브레이션 영상(100)에는, 도 5의 (a)에 도시된 바와 같이, 화면의 네 모서리에 사각 형상의 제1 보정 이미지(101,102,103,104)들이 각각 표시된다.
그리고, 영상 캡처 모듈(31)은 듀얼 모드 카메라(40)로부터 촬상되어 전달되는 촬상 화면으로부터 영상 프레임(이하, '제1 영상 프레임(100a)'이라 함)을 캡처한다. 도 5의 (b)는 영상 캡처 모듈(31)에 의해 캡처된 제1 영상 프레임(100a)을 도시한 것으로, 영상 디스플레이 디바이스(50,50a)의 화면, 즉 화면 영역이 모두 포함되어 촬상될 수 있도록 듀얼 모드 카메라(40)가 조절되므로 듀얼 모드 카메라(40)가 촬상하는 전체 촬상 영상보다 영상 디스플레이 디바이스(50,50a)에 화면이 작다.
동일한 방법으로, 메인 제어 모듈(35)은 도 6의 (a)에 도시된 바와 같은 제2 칼리브레이션 영상(200)을 영상 디스플레이 디바이스(50,50a)에 표시한다. 그리고, 영상 캡처 모듈(31)은 듀얼 모드 카메라(40)로부터 촬상되어 전달되는 촬상 화면으로부터 영상 프레임(이하, '제2 영상 프레임(200a)'이라 함)을 캡처한다. 도 6의 (b)는 영상 캡처 모듈(31)에 의해 캡처된 제2 영상 프레임(200a)을 도시한 도면이다.
여기서, 제2 칼리브레이션 영상(200)에는, 도 6의 (a)에 도시된 바와 같이, 제1 보정 이미지(101,102,103,104)로부터 내측 대각 방향에 각각 위치하는 사각 형상의 제2 보정 이미지(201,202,203,204)들이 표시되는데, 상호 대응하는 제1 보정 이미지(101,102,103,104) 및 제2 보정 이미지(201,202,203,204)는 제1 보정 이미지(101,102,103,104)의 내측 대각 방향의 꼭지점과 제2 보정 이미지(201,202,203,204)의 외측 대각 방향의 꼭지점이 공유된다. 그리고, 상호 대응하는 제1 보정 이미지(101,102,103,104) 및 제2 보정 이미지(201,202,203,204)는 동일한 형상, 예컨대 동일 사이즈의 정사각형 형상을 갖는 것을 일 예로 한다.
그런 다음, 메인 제어 모듈(35)은 도 7의 (a)에 도시된 바와 같은 제3 칼리브레이션 영상(300)을 영상 디스플레이 디바이스(50,50a)에 표시한다. 그리고, 영상 캡처 모듈(31)은 듀얼 모드 카메라(40)로부터 촬상되어 전달되는 촬상 화면으로부터 영상 프레임(이하, '제3 영상 프레임(300a)'이라 함)을 캡처한다. 도 7의 (c)는 영상 캡처 모듈(31)에 의해 캡처된 제2 영상 프레임(200a)을 도시한 도면이다.
여기서, 제3 칼리브레이션 영상(300)에는 전체가 동일한 픽셀값을 갖는 배경 이미지(예컨대, 블랙 이미지)가 표시된다. 그리고, 제1 칼리브레이션 영상(100)에서 제1 보정 이미지(101,102,103,104) 외의 영역과, 제2 칼리브레이션 영상(200)에서 제2 보정 이미지(201,202,203,204) 이외의 영역은 제3 칼리브레이션 영상(300)의 배경 이미지와 동일한 픽셀값을 갖도록 마련된다.
상기와 같은 과정을 통해, 제1 영상 프레임(100a), 제2 영상 프레임(200a) 및 제3 영상 프레임(300a)이 캡처되면, 칼리브레이션 모듈(32)은 제1 영상 프레임(100a)과 제3 영상 프레임(300a) 간의 제1 차영상(400)을 생성한다. 여기서, 제1 차영상(400)은 제1 영상 프레임(100a)과 제3 영상 프레임(300a)의 상호 대응하는 픽셀의 밝기값의 차이값으로 각 픽셀의 밝기값이 결정된다.
도 8의 (a)는 제1 차영상(400)을 도시한 도면으로, 제1 영상 프레임(100a)의 제1 보정 이미지(101,102,103,104)들을 제외한 부분은 제3 영상 프레임(300a)과 이상적으로 동일하므로, 제1 차영상(400)에서 제1 보정 이미지(101,102,103,104)가 위치하는 영역 이외의 영역의 밝기값은 제1 보정 이미지(101,102,103,104)가 위치하는 영역 보다 낮다. 또한, 제1 영상 프레임(100a)의 제1 보정 이미지(101,102,103,104) 부분은 제3 영상 프레임(300a) 상의 제3 칼리브레이션 영상(300)의 배경 이미지의 밝기값과의 차이값을 갖게 되는데, 제1 보정 이미지(101,102,103,104)의 밝기값을 255로 설정하고, 배경 이미지의 밝기값을 0으로 설정한 경우, 제1 차영상(400)에서 제1 보정 이미지(101,102,103,104) 부분들의 밝기값들은 매우 크다.
여기서, 제1 보정 이미지(101,102,103,104)의 밝기값과 배경 이미지의 밝기값의 차이를 크게 설정하게 되면, 외부적인 요인, 예를 들어 듀얼 모드 카메라(40)의 자체적인 요인이나 촬상 당시의 조명 등의 영향에 의해 제1 영상 프레임(100a) 및 제3 영상 프레임(300a)의 각 픽셀의 밝기값들이 이상적이지 않더라도 제1 차영상(400)에서 제1 보정 이미지(101,102,103,104) 부분이 구분될 수 있다.
이와 같이 제1 차영상(400)이 생성되면, 칼리브레이션 모듈(32)은 제1 차영 상(400)을 4개의 사분면으로 분할하고, 각 사분면에 대한 제1 대표 보정 좌표(P1,P2,P3,P4), 즉 4개의 제1 대표 보정 좌표(P1,P2,P3,P4)를 결정한다. 여기서, 제1 대표 보정 좌표(P1,P2,P3,P4)는 각각의 제1 보정 이미지(101,102,103,104)의 중심 좌표인 것이 바람직하며, 본 발명에서는 각 사분면 내에서 가장 밝은 픽셀의 좌표를 제1 대표 보정 좌표(P1,P2,P3,P4)로 결정한다.
보다 구체적으로 설명하면, 제1 차영상(400)을 4개의 사분면으로 분할하게 되면 각 사분면에 하나씩의 제1 보정 이미지(101,102,103,104)와 관련된 픽셀이 포함된다. 여기서, 각 사분면에서 주변에 비해 밝은 영역으로 인식되는 부분은 제1 보정 이미지(101,102,103,104)와 관련된 픽셀 영역이고, 제1 보정 이미지(101,102,103,104) 내에서도 주변 밝기의 영향으로 제1 보정 이미지(101,102,103,104)의 가장자리 부분은 내부 중심 부분보다 상대적으로 낮은 밝기값을 갖게 된다. 따라서, 각 사분면 내에서 가장 밝은 밝기값을 갖는 픽셀을 제1 대표 보정 좌표(P1,P2,P3,P4)로 결정한다.
동일한 방법으로, 칼리브레이션 모듈(32)은 제2 영상 프레임(200a)과 제3 영상 프레임(300a) 간의 제2 차영상(500)을 생성한다. 여기서, 제2 차영상(500)은 제2 영상 프레임(200a)과 제3 영상 프레임(300a)의 상호 대응하는 픽셀의 밝기값의 차이값으로 각 픽셀의 밝기값이 결정된다.
도 8의 (b)는 제2 차영상(500)을 도시한 도면으로, 제2 영상 프레임(200a)의 제2 보정 이미지(201,202,203,204)들을 제외한 부분은 제3 영상 프레임(300a)과 이상적으로 동일하므로, 제2 차영상(500)에서 제2 보정 이미지(201,202,203,204)가 위치하는 영역 이외의 영역의 밝기값은 제2 보정 이미지(201,202,203,204)가 위치하는 영역 보다 낮다. 또한, 제2 영상 프레임(200a)의 제2 보정 이미지(201,202,203,204) 부분은 제3 영상 프레임(300a) 상의 제3 칼리브레이션 영상(300)의 배경 이미지의 밝기값과의 차이값을 갖게 되는데, 제2 보정 이미지(201,202,203,204)의 밝기값을 255로 설정하고, 배경 이미지의 밝기값을 0으로 설정한 경우, 제2 차영상(500)에서 제2 보정 이미지(201,202,203,204) 부분들의 밝기값들은 매우 크다.
이와 같이 제2 차영상(500)이 생성되면, 칼리브레이션 모듈(32)은 제1 차영상(400)에서와 동일하게, 제2 차영상(500)을 4개의 사분면으로 분할하고, 각 사분면에 대한 제2 대표 보정 좌표(P1',P2',P3',P4')를 결정하는데, 제1 차영상(400)에서와 동일하게 각 사분면에서 가장 밝은 픽셀의 좌표를 제2 대표 보정 좌표(P1',P2',P3',P4')로 결정한다.
상기와 같이 4개의 제1 대표 보정 좌표(P1,P2,P3,P4)와 4개의 제2 대표 보정 좌표(P1',P2',P3',P4')가 결정되면, 칼리브레이션 모듈(32)은 4개의 제1 대표 보정 좌표(P1,P2,P3,P4)와 4개의 제2 대표 보정 좌표(P1',P2',P3',P4')에 기초하여 촬상 영상 중 화면 영역을 형성하는 4개의 외곽 모서리 좌표(C1)를 산출함으로써, 영상 프레임, 즉 듀얼 모드 카메라(40)에 의해 촬상된 촬상 영상 중 영상 디스플레이 디바이스(50,50a)에 의해 표시되는 화면 영역을 결정하게 된다.
도 9를 참조하여 설명하여 보다 구체적으로 설명하면, 제1 보정 이미지(101,102,103,104)와 제2 보정 이미지(201,202,203,204)의 하나의 꼭지점이 공유 되고, 제1 보정 이미지(101,102,103,104)와 제2 보정 이미지(201,202,203,204)가 동일한 형상을 갖는 경우, 제1 보정 이미지(101,102,103,104)와 제2 보정 이미지(201,202,203,204)를 겹치게 되면 도 9에 도시된 바와 같다. 여기서, 벡터 연산을 통해 아래 [수학식]과 같이 계산하게 되면, 제1 보정 이미지(101,102,103,104)의 최외곽 모서리의 좌표가 계산된다.
[수학식 1]
Ck = Pk + (Pk - Pk')/2
여기서, Ck는 k 번째 외곽 모서리 좌표(C1)이고, Pk는 k 번째 제1 대표 보정 좌표(P1,P2,P3,P4)이고, Pk'는 k 번째 제2 대표 보정 좌표(P1',P2',P3',P4')이다.
상술한 바와 같이, 제1 칼리브레이션 영상(100) 내에서 각각의 제1 보정 이미지(101,102,103,104)의 최외곽 꼭지점들이 제1 칼리브레이션 영상(100) 즉 영상 디스플레이 디바이스(50,50a)의 화면 영역의 최외곽 꼭지점이 되므로, 상기 [수학식 1]을 통해 화면 영상의 4개의 외곽 모서리 좌표(C1)가 산출됨으로써 화면 영역이 결정된다.
이하에서는, 상기와 같이 칼리브레이션 모드에서 결정된 화면 영역을 이용한 정보처리 디바이스(30)의 트래킹 모드에 대해 상세히 설명한다. 여기서, 정보처리 디바이스(30)의 트래킹 모드에서는 듀얼 모드 카메라(40)가 가시광선 영역의 빛은 촬상하지 않는 상태, 즉 이미지 센서 모듈(41)의 전방에 가시광선 차단 필터(42)가 배치되어 이미지 센서 모듈(41)에는 비가시광선 영역의 빛만이 도달되는 상태가 됨 은 전술한 바와 같다.
먼저, 정보처리 디바이스(30)가 영상 디스플레이 디바이스(50,50a)에 영상을 표시하는 상태에서 사용자가 포인팅/입력 디바이스(10)를 이용하여 화면 상에 IVR 포인팅 빔을 조사하게 되면, 듀얼 모드 카메라(40)에 의해 촬상된 촬상 영상에는 정보처리 디바이스(30)가 표시한 영상은 촬상되지 않고 비가시광선 영역의 빛인 IVR 포인팅 빔은 촬상된다.
듀얼 모드 카메라(40)에 의해 촬상된 촬상 영상은 정보처리 디바이스(30)로 전달되고, 정보처리 디바이스(30)의 영상 캡처 모듈(31)이 수신된 촬상 영상으로부터 영상 데이터를 캡처한다. 트래킹 모드에서 영상 캡처 모듈(31)에 의해 캡처된 영상 데이터는 포인터 검출 모듈(33)로 전달된다.
포인터 검출 모듈(33)은 영상 캡처 모듈(31)에 의해 캡처된 영상 프레임 중 가장 밝은 밝기값을 갖는 픽셀(이하, '포인터 픽셀'이라 함)을 검출한다. 그런 다음, 포인터 검출 모듈(33)은 기 설정된 크기의 윈도우 영역을 포인터 픽셀을 중심으로 기 설정된 탐색 범위 내에서 이동시키고, 각 위치에서의 윈도우 영역의 평균 밝기값을 산출한다.
예컨대, 윈도우 영역을 영상 프레임의 크기가 320×240인 경우 7×7 크기로 윈도우 영역을 설정할 수 있고, 포인터 픽셀을 중심으로 윈도우 영역이 상하좌우로 3개의 픽셀씩을 이동하며 평균 밝기값을 산출할 수 있다. 즉, 탐색 범위가 13×13 크기가 되며, 7×7 크기의 윈도우 영역이 13×13 크기의 탐색 범위 내에서 49개의 평균 밝기값을 산출하게 된다.
이와 같이 평균 밝기값들이 산출되면, 포인터 검출 모듈(33)은 산출된 평균 밝기값 중 가장 큰 값을 갖는 윈도우 영역을 판단하고, 가장 큰 평균 밝기값을 갖는 윈도우 영역의 중심 픽셀을 영상 프레임 내에서 IVR 포인팅 빔이 지시하는 위치로 결정하게 된다.
여기서, 포인터 검출 모듈(33)은 포인터 픽셀을 결정할 때, 영상 프레임 중 가장 밝은 픽셀값을 갖는 픽셀의 밝기가 기 설정된 기준 밝기값 이하인 경우 검출 오류로 판단함으로써, IVR 포인팅 빔이 조사되지 않은 상태에서 촬상된 촬상 영상에서 가장 밝은 픽셀을 IVR 포인팅 빔으로 인식하는 오류를 방지할 수 있다. 또한, 포인터 검출 모듈(33)은 가장 큰 평균 밝기값이 기준 밝기값 이하인 경우에도 검출 오류로 판단할 수 있다.
한편, 좌표 산출 모듈(34)은 영상 캡처 모듈(31)에 의해 캡처된 영상 프레임의 해상도와, 영상 디스플레이 디바이스(50,50a)에 표시된 영상의 해상도, 그리고 칼리브레이션 모듈(32)에 의해 결정된 화면 영역에 기초하여, 포인터 검출 모듈(33)에 의해 결정된 영상 프레임 상의 좌표에 해당하는 영상 디스플레이 디바이스(50,50a)의 화면 내의 좌표 범위를 산출한다.
보다 구체적으로 설명하면, 영상 디스플레이 디바이스(50,50a)에 표시되는 영상의 해상도가 1280×1024이고 영상 프레임의 해상도가 320×240인 경우, 영상 프레임의 해상도는 영상 디스플레이 디바이스(50,50a)에 표시되는 영상의 해상도 보다 0.25×0.23로 축소된 크기가 된다.
또한, 영상 프레임 내에서도 실제 영상 디스플레이 디바이스(50,50a)의 화면 영역은 영상 프레임의 사이즈보다 작게 되는데, 칼리브레이션 모듈(32)에 의해 결정된 화면 영역이 영상 프레임 전체 영역의 80% 정도라 가정하면, 화면 영역은 영상 디스플레이 디바이스(50,50a)에 표시되는 영상의 해상도 보다 0.20×0.18로 축소된 크기가 된다.
따라서, 좌표 산출 모듈(34)은 포인터 검출 모듈(33)에 의해 결정된 영상 프레임 상의 좌표와, 영상 프레임 내에서의 화면 영역의 위치, 그리고 상기와 같은 정보에 기초하여 영상 프레임 상의 좌표에 해당하는 영상 디스플레이 디바이스(50,50a)의 화면 내의 좌표 범위를 산출한다. 위 예의 경우 포인터 검출 모듈(33)에 의해 결정된 좌표를 영상 디스플레이 디바이스(50,50a)에 적용하게 되면 5×5 크기의 좌표 범위가 된다. 그리고, 좌표 산출 모듈(34)은 좌표 범위의 중심 좌표를 화면 영역 상의 좌표로 산출함으로써, 영상 디스플레이 디바이스(50,50a)의 해상도를 기준으로 하나의 픽셀을 IVR 포인팅 빔이 지시하는 것으로 판단하게 된다.
상기와 같이 트래킹 모드에서 IVR 포인팅 빔이 지시하는 영상 디스플레이 디바이스(50,50a)의 하나의 픽셀의 좌표가 결정되며, 듀얼 모드 카메라(40)로부터 전달되는 촬상 영상에 대해 상기와 같은 과정을 통해 IVR 포인팅 빔의 영상 디스플레이 디바이스(50,50a)의 화면 상에서의 움직임이 트래킹된다.
이 때, 메인 제어 모듈(35)은 트래킹 모드에서 IVR 포인팅 빔의 영상 디스플레이 디바이스(50,50a)의 화면 상에서의 움직임이 트래킹되는 과정에서 포인팅/입력 디바이스(10)로부터 키 신호가 전송되면, 키 신호를 좌표 산출 모듈(34)에 의해 산출된 화면 영역 상의 좌표에 대한 입력신호로 인식하여 처리한다. 즉, 정보처리 디바이스(30)는 IVR 포인팅 빔의 화면 상의 위치를 듀얼 모드 카메라(40)에 의해 촬상된 촬상 영상으로부터 추적하여 화면 상의 마우스 커서를 움직이고, 포인팅/입력 디바이스(10)로부터 전송되는 키 신호를 IVR 포인팅 빔에 의해 산출된 화면 영역 상의 좌표에 대한 입력신호로 인식함으로써, 새로운 형태의 마우스, 즉 공간 마우스의 구현이 가능하게 된다.
이하에서는, 도 10을 참조하여 본 발명의 다른 실시 형태에 따른 포인팅/인터페이스 시스템의 포인팅/입력 디바이스(10)에 대해 설명한다. 여기서, 도 10에 도시된 포인팅/입력 디바이스(10)를 설명하는데 있어, 도 2에 도시된 포인팅/입력 디바이스(10)와 동일한 구성요소에 대하여는 동일한 참조번호를 사용하며 필요에 따라 그 설명은 생략할 수 있다.
도 10을 참조하여 설명하면, 포인팅/입력 디바이스(10)는 VR 포인팅 발생부를 더 포함할 수 있다.
VR 포인팅 빔 발생부(11)는 가시광선 영역의 VR 포인팅 빔을 방출한다. 여기서, 본 발명에서는 VR 포인팅 빔 발생부(11)가 가시광선 영역의 레이저 빔, 예를 들어 적색 레이저 빔을 방출하는 것을 일 예로 한다. 이 때, VR 포인팅 빔 발생부(11)로부터 방출된 VR 포인팅 빔이 화면에 닿게 되면 사람이 시각적으로 인식할 수 있다.
또한, VR 포인팅 빔 및 IVR 포인팅 빔은 화면에 닿을 때 일정 영역 내에 함께 들어갈 수 있도록 그 조사 방향이 조절된다. 즉, VR 포인팅 빔 발생부(11)로부 터 방출되는 VR 포인팅 빔의 방출 방향은 IVR 포인팅 빔 발생부(12)로부터 방출되는 IVR 포인팅 빔의 방출 방향에 대응한다. 예를 들어, 화면 상에서 마스크 커서 정도의 크기 내에서 VR 포인팅 빔 및 IVR 포인팅 빔이 들어갈 수 있도록 VR 포인팅 빔 발생부(11) 및 IVR 포인팅 빔 발생부(12)의 조사 방향이 설정될 수 있다.
상기와 같은 구성을 통해, 사용자는 VR 포인팅 빔에 의해 화면 상에 표시되는 포인트를 마우스의 커서와 같이 인식하고, 포인팅/입력 디바이스(10)에 마련된 키 신호 입력부(13)를 조작하여 VR 포인팅 빔이 지시하는 좌표에 대한 입력신호를 정보처리 디바이스(30)로 전달할 수 있게 된다. 이 때, 정보처리 디바이스(30)는 사용자가 시각적으로 인식하는 VR 포인팅 빔의 화면 상의 위치를 듀얼 모드 카메라(40)에 의해 촬상된 IVR 포인팅 빔의 화면 상의 위치를 추적함으로서 인식하게 되고, 포인팅/입력 디바이스(10)로부터 전송되는 키 신호를 IVR 포인팅 빔에 의해 산출된 화면 상의 좌표에 대한 입력신호로 인식하여 처리 가능하게 된다.
이에 따라, 사용자는 포인팅/입력 디바이스(10)를 손에 파지한 상태에서 화면 상에 VR 포인팅 빔을 이용하여 레이저 포인터로 사용함과 동시에, 화면 상에 표시된 버튼 등을 클릭하는 것과 같이 특정 제어신호를 정보처리 디바이스(30)에 입력하고자 할 때 마우스나 키보드의 조작없이 VR 포인팅 빔을 해당 위치에 위치시킨 상태에서 키 신호 입력부(13)를 조작하는 동작만으로 제어신호를 입력할 수 있게 된다.
한편, 도 11은 본 발명에 따른 정보처리 디바이스(30)가, 도 1에 도시된 컴퓨터(30a) 형태로 마련되는 경우의 예를 도시한 도면이다.
도 11을 참조하여 설명하면, 정보처리 디바이스(30)는 중앙처리장치인 CPU(36a)(Central Processing Unit), 칩셋(36b), 메인 메모리(36f), 운영체계(36i)(OS : Operating System) 및 포인터 드라이버(37)를 포함할 수 있다. 또한, 정보처리 디바이스(30)는 카메라 연결부(36g), 단말 인터페이스부(36e) 및 비디오 출력포트(36c)를 포함할 수 있다. 여기서, 상술한 정보처리 디바이스(30)의 영상 캡처 모듈(31), 칼리브레이션 모듈(32), 포인터 검출 모듈(33), 좌표 산출 모듈(34) 및 메인 제어 모듈(35)은 컴퓨터(30a)에 인스톨되는 포인터 드라이버(37) 형태로 마련되는 것을 예로 한다.
카메라 연결부(36g)는 듀얼 모드 카메라(40)가 접속되며, 듀얼 모드 카메라(40)로부터 전달되는 촬상 영상을 수신한다. 여기서, 본 발명에 따른 카메라 연결부(36g)는 상술한 바와 같이 USB(Universal Serial Bus) 방식을 통해 듀얼 모드 카메라(40)와 접속될 수 있다. 이외에도, 카메라 연결부(36g)와 듀얼 모드 카메라(40)의 접속 방식은 다양한 형태를 가질 수 있음은 전술한 바와 같다.
단말 인터페이스부(36e)는 수신 디바이스(20)가 접속되며, 수신 디바이스(20)로부터 포인팅/입력 디바이스(10)로부터 전송된 키 신호를 수신한다. 여기서, 본 발명에 따른 단말 인터페이스부(36e)는 USB(Universal Serial Bus) 방식을 통해 수신 디바이스(20)와 데이터를 교환하는 것을 일 예로 함은 전술한 바와 같다. 그리고, 단말 인터페이스부(36e)와 수신 디바이스(20) 간의 데이터 교환은 USB(Universal Serial Bus) 방식 이외에 IEEE 1394 등과 같이 다른 형태의 인터페이스 방식이 적용 가능함은 물론이다.
비디오 출력포트(36c)는 영상 디스플레이 디바이스(50,50a), 즉 도 1에 도시된 바와 같이 빔 프로젝터(50)로 영상신호를 출력한다. 여기서, 비디오 출력포트(36c)는 출력되는 영상신호의 포맷에 따라 D-Sub(RGB) 포트, DVI(Digital Video Interface) 포트, HDMI(High Definition Multimedia Interface) 포트나 S-Video 포트 등의 형태로 마련될 수 있다.
메인 메모리(36f)는 비휘발성 메모리인 램(RAM : Random Access Memory) 형태로 마련되며, CPU(36a)의 동작에 따른 어플리케이션 프로그램(36j) 등의 프로그램이나 기타 데이터를 임시 저장한다. 칩셋(36b)은 메인 메모리(36f) 및 모니터(36d)와 교환되는 데이터를 관리하며, CPU(36a), 메인 메모리(36f), 모니터(36d) 및 비디오 출력포트(36c)와 연결된 영상 디스플레이 디바이스(50,50a) 및 하드디스크 드라이브(36h) 간에 이동하는 데이터를 관리한다.
포인터 드라이버(37)는 운영체계(36i)와 연동하여 동작하며, 카메라 연결부(36g)를 통해 수신되는 촬상 영상에 기초하여 상술한 바와 같이 칼리브레이션 모드와 트래킹 모드로 동작한다. 여기서, 포인터 드라이버(37)는 촬상 영상에 기초하여 트래킹된 IVR 포인팅 빔의 화면 영역 상의 좌표에 대한 정보와, 단말 인터페이스부(36e)를 통해 수신되는 키 신호를 운영체계(36i)로 전달한다.
여기서, 도 11에서는 영상 캡처 모듈(31)이 포인터 드라이버(37)의 일 구성으로 포함되는 것을 예로 하고 있으나, 영상 캡처 모듈(31)의 기능을 포인터 드라이버(37)의 기능으로부터 분리시키고 듀얼 모드 카메라(40)의 제조사에서 제공하는 API(Application programming interface)를 영상 캡처 모듈(31)로 사용할 수 있다. 이 경우, 포인터 드라이버(37)는 API와의 연동을 통해 영상 데이터를 API로부터 제공받아 사용할 수 있다.
한편, 도 12 및 도 13은 본 발명에 따른 포인팅/인터페이스 시스템의 다른 형태의 구성을 도시한 도면이다. 도 12에 도시된 포인팅/인터페이스 시스템은 영상 디스플레이 디바이스(50b)가 PDP(Plasma display panel)과 같은 평판 디스플레이 장치인 것을 예로 하고 있으며, 도 13은 듀얼 모드 카메라(40c)가 빔 프로젝터(50c)에 내장된 형태로 제공되는 것을 예로 하고 있다.
전술한 실시예에서는 제3 칼리브레이션 영상(300)을 이용하여 제1 칼리브레이션 영상(100)의 제1 보정 이미지(101,102,103,104)와 제2 칼리브레이션 영상(200)의 제2 보정 이미지(201,202,203,204)의 경계를 명확히 하였으나, 당업자라면 제1 칼리브레이션 영상(100) 및 제2 칼리브레이션 영상(200) 만을 이용하여 화면 영역을 결정하도록 마련할 수 있음은 물론이다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 별명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
도 1은 본 발명에 따른 포인팅/인터페이스 시스템의 구성을 도시한 도면이고,
도 2는 도 1의 포인팅/인터페이스 시스템의 포인팅/입력 디바이스 및 수신 디바이스의 구성의 일 예를 도시한 도면이고,
도 3은 도 1의 포인팅/인터페이스 시스템의 듀얼 모드 카메라의 구성의 일 예를 도시한 도면이고,
도 4는 도 1의 정보처리 디바이스의 구성의 일 예를 도시한 도면이고,
도 5 내지 도 9는 도 4의 정보처리 디바이스의 칼리브레이션 모듈이 영상 디스플레이 디바이스의 화면 영역을 결정하는 과정을 설명하기 위한 도면이고,
도 10은 본 발명의 다른 실시 형태에 따른 포인팅/인터페이스 시스템의 포인팅/입력 디바이스의 구성의 일 예를 도시한 도면이고,
도 11은 본 발명에 따른 정보처리 디바이스가 컴퓨터 형태로 마련된 예를 도시한 도면이고,
도 12 및 도 13은 본 발명에 따른 포인팅/인터페이스 시스템의 다른 형태의 구성을 도시한 도면이다.

Claims (19)

  1. 포인팅/인터페이스 시스템에 있어서,
    비가시광선 영역의 IVR 포인팅 빔을 방출하는 IVR 포인팅 빔 발생부와, 키 신호를 생성하는 키 신호 입력부와, 상기 키 신호 입력부에 의해 생성된 상기 키 신호를 전송하는 키 신호 송신부를 갖는 포인팅/입력 디바이스와;
    화면 상에 영상을 표시하기 위한 영상 디스플레이 디바이스와;
    비가시광선 영역의 빛을 촬상하되 가시광선 영역의 빛을 선택적으로 촬상 가능하게 마련되어 상기 영상 디스플레이 디바이스의 화면을 촬상하는 듀얼 모드 카메라와;
    상기 영상 디스플레이 디바이스를 통해 영상이 표시되도록 상기 영상 디스플레이 디바이스에 영상신호를 출력하고, 상기 듀얼 모드 카메라가 가시광선 영역의 빛을 촬상하는 상태에서 동작하는 칼리브레이션 모드와 상기 듀얼 모드 카메라가 가시광선 영역의 빛의 촬상이 차단되고 비가시광선 영역의 빛을 촬상하는 상태에서 동작하는 트래킹 모드로 동작 가능한 정보처리 디바이스와;
    상기 정보처리 디바이스에 접속되며, 상기 키 신호 송신부로부터 전송되는 상기 키 신호를 수신하여 상기 정보처리 디바이스로 전달하는 수신 디바이스를 포함하며;
    상기 정보처리 디바이스는
    상기 칼리브레이션 모드로 동작하는 상태에서 적어도 하나의 칼리브레이션 영상을 상기 영상 디스플레이 디바이스에 표시하고, 상기 듀얼 모드 카메라에 의해 촬상된 촬상 영상으로부터 상기 칼리브레이션 영상을 추출하여 촬상 영상 중 상기 영상 디스플레이 디바이스의 화면 영역을 결정하고,
    상기 트래킹 모드로 동작하는 상태에서 상기 듀얼 모드 카메라에 의해 촬상된 촬상 영상으로부터 상기 포인팅/입력 디바이스로부터 방출된 상기 IVR 포인팅 빔을 검출하고, 상기 검출된 IVR 포인팅 빔이 지시하는 상기 화면 영역 상의 좌표를 산출하며, 상기 포인팅/입력 디바이스로부터 전송되는 상기 키 신호를 상기 산출된 좌표에 대한 입력신호로 인식하여 처리하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  2. 제1항에 있어서,
    상기 정보처리 디바이스는,
    상기 듀얼 모드 카메라로부터 수신되는 촬상 영상으로부터 영상 프레임을 캡처하는 영상 캡처 모듈과;
    상기 칼리브레이션 모드로 동작하는 상태에서 상기 영상 캡처 모듈에 의해 캡처된 영상 프레임으로부터 상기 칼리브레이션 영상을 추출하여 상기 화면 영역을 결정하는 칼리브레이션 모듈과;
    상기 트래킹 모드로 동작하는 상태에서 상기 영상 캡처 모듈에 의해 캡처된 영상 프레임으로부터 상기 IVR 포인팅 빔을 검출하여 영상 프레임 상에서의 좌표를 결정하는 포인터 검출 모듈과;
    상기 포인터 검출 모듈에 의해 결정된 상기 IVR 포인팅 빔의 영상 프레임 상에서의 좌표에 기초하여 상기 화면 영역 상의 좌표를 산출하는 좌표 산출 모듈과;
    상기 칼리브레이션 모드로 동작하는 상태에서 상기 칼리브레이션 영상을 상기 영상 디스플레이 디바이스에 표시하고, 상기 트래킹 모드로 동작하는 상태에서 상기 포인팅/입력 디바이스로부터 전송되는 상기 키 신호를 상기 화면 영역 상의 좌표에 대한 입력신호로 인식하여 처리하는 메인 제어 모듈을 포함하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  3. 제2항에 있어서,
    상기 칼리브레이션 영상은 화면의 네 모서리에 사각 형상의 제1 보정 이미지가 각각 표시된 제1 칼리브레이션 영상과, 상기 각 제1 보정 이미지의 내측 대각 방향의 꼭지점을 공유하며 상기 각 제1 보정 이미지로부터 내측 대각 방향에 위치하는 사각 형상의 제2 보정 이미지가 표시된 제2 칼리브레이션 영상과, 전체가 동일한 밝기값을 갖는 배경 이미지가 표시된 제3 칼리브레이션 영상을 포함하며;
    상기 제1 칼리브레이션 영상에서 상기 제1 보정 이미지 외의 영역과 상기 제2 칼리브레이션 영상에서 상기 제2 보정 이미지 이외의 영역은 상기 제3 칼리브레이션 영상의 상기 배경 이미지와 동일한 밝기값을 가지며;
    상기 칼리브레이션 모듈은
    상기 영상 캡처 모듈에 의해 캡처된 상기 제1 칼리브레이션 영상에 대한 제1 영상 프레임과 상기 제3 칼리브레이션 영상에 대한 제3 영상프레임 간의 제1 차영 상을 생성하고, 상기 제1 차영상을 4개의 사분면으로 분할하여 각 사분면에 대한 제1 대표 보정 좌표를 결정하며;
    상기 영상 캡처 모듈에 의해 캡처된 상기 제2 칼리브레이션 영상에 대한 제2 영상 프레임과 상기 제3 영상 프레임 간의 제2 차영상을 생성하고, 상기 제2 차영상을 4개의 사분면으로 분할하여 각 사분면에 대한 제2 대표 보정 좌표를 결정하며;
    상기 4개의 제1 대표 보정 좌표 및 상기 4개의 제2 대표 보정 좌표에 기초하여 촬상 영상 중 상기 화면 영역을 형성하는 4개의 외곽 모서리 좌표를 산출하여 상기 화면 영역을 결정하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  4. 제3항에 있어서,
    상기 제1 대표 보정 좌표 및 상기 제2 대표 보정 좌표는 각 사분면 내에서 가장 밝은 픽셀의 좌표로 결정되는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  5. 제3항에 있어서,
    상호 대응하는 상기 제1 보정 이미지 및 상기 제2 보정 이미지는 동일한 형상을 가지며;
    상기 각 외곽 모서리 좌표는 수학식 Ck = Pk + (Pk - Pk')/2 (여기서, Ck는 k 번째 외곽 모서리 좌표이고, Pk는 k 번째 제1 대표 보정 좌표이고, Pk'는 k 번째 제 2 대표 보정 좌표이다)에 의해 산출되는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  6. 제3항에 있어서,
    상기 포인터 검출 모듈은
    상기 영상 캡처 모듈에 의해 캡처된 상기 영상 프레임 중 가장 밝은 픽셀을 검출하고;
    기 설정된 크기의 윈도우 영역을 상기 가장 밝은 픽셀을 중심으로 기 설정된 탐색 범위 내에서 이동시키며 상기 윈도우 영역의 평균 밝기값을 산출하며;
    상기 탐색 범위 내에서의 상기 윈도우 영역의 각 위치 중 가장 큰 평균 밝기값을 갖는 위치의 윈도우 영역의 중심 픽셀을 상기 영상 프레임 내에서 상기 IVR 포인팅 빔이 지시하는 위치로 결정하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  7. 제6항에 있어서,
    상기 포인터 검출 모듈은 상기 가장 밝은 픽셀의 밝기가 기 설정된 기준 밝기값 이하인 경우 검출 오류로 판단하고, 상기 가장 큰 평균 밝기값이 상기 기준 밝기값 이하인 경우 검출 오류로 판단하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  8. 제2항에 있어서,
    상기 좌표 산출 모듈은
    상기 영상 프레임의 해상도와, 상기 영상 디스플레이 디바이스에 표시된 영상의 해상도와, 상기 칼리브레이션 모듈에 의해 결정된 상기 화면 영역에 기초하여, 상기 포인터 검출 모듈에 의해 결정된 상기 영상 프레임 상의 좌표에 대한 상기 영상 디스플레이 디바이스의 화면 내의 좌표 범위를 산출하고;
    상기 좌표 범위의 중심 좌표를 상기 화면 영역 상의 좌표로 산출하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 듀얼 모드 카메라는,
    가시광선 영역의 빛과 비가시광선 영역의 빛을 감지 가능한 이미지 센서 모듈과;
    상기 이미지 센서 모듈에 비가시광선 영역이 빛이 전달되도록 가시광선 영역의 빛을 차단하는 가시광선 차단 필터와;
    상기 이미지 센서 모듈로 가시광선 영역의 빛이 입사 또는 차단되도록 상기 가시광선 차단 필터를 구동하는 필터 구동부와;
    상기 이미지 센서 모듈에 의해 수신된 빛에 기초하여 촬상 영상을 생성하는 촬상 영상 생성부와;
    상기 촬상 영상 생성부에 의해 생성된 촬상 영상을 상기 정보처리 디바이스 로 전송하는 카메라 인터페이스부를 포함하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  10. 제9항에 있어서,
    상기 포인팅/입력 디바이스는 상기 IVR 포인팅 빔 발생부로부터 방출되는 상기 IVR 포인팅 빔의 방출 방향에 대응하는 방향으로 가시광선 영역의 VR 포인팅 빔을 방출하는 VR 포인팅 빔 발생부를 더 포함하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  11. 제9항에 있어서,
    상기 정보처리 디바이스는 상기 IVR 포인팅 빔의 상기 화면 영역 상의 좌표 및 상기 키 신호를 각각 상기 영상 디스플레이 디바이스의 화면에 표시되는 마우스 커서의 좌표 및 상기 마우스 커서에 대한 입력신호로 인식하여 처리하는 것을 특징으로 하는 포인팅/인터페이스 시스템.
  12. 영상 캡처 모듈에 의해서, 듀얼 모드 카메라를 통해 입력받은 촬영 영상으로부터 영상 프레임을 캡처하는 단계와;
    칼리브레이션 모듈에 의해서, 칼리브레이션 모드로 동작하는 상태에서 상기 캡처된 영상 프레임으로부터 상기 듀얼 모드 카메라에 의해 촬영된 가시광선 영역의 칼리브레이션 영상을 추출하여 화면 영역을 결정하는 단계와;
    포인터 검출 모듈에 의해서, 트래킹 모드로 동작하는 상태에서 상기 캡처된 영상 프레임으로부터 비가시광선 영역의 IVR 포인팅 빔을 검출하는 단계와;
    좌표 산출 모듈에 의해서, 상기 검출된 IVR 포인팅 빔의 상기 화면 영역 상의 좌표를 결정하는 단계와;
    메인 제어 모듈에 의해서, 입력되는 키 신호를 상기 결정된 화면 영역 상의 좌표에 대한 입력신호로 인식하여 처리하는 단계를 포함하는 것을 특징으로 하는 포인터 입력 방법.
  13. 제12항에 있어서,
    상기 칼리브레이션 영상을 추출하여 상기 화면 영역을 결정하는 단계는,
    제1 보정 이미지가 표시된 제1 칼리브레이션 영상을 추출하는 단계와;
    제2 보정 이미지가 표시된 제2 칼리브레이션 영상을 추출하는 단계와;
    상기 제1 보정 이미지 내의 제1 대표 보정 좌표와 상기 제2 보정 이미지 내의 제2 대표 보정 좌표를 결정하는 단계와;
    상기 제1 대표 보정 좌표와 상기 제2 대표 보정 좌표 간의 상대 위치에 기초하여 상기 화면 영역의 꼭지점 좌표를 결정하여 상기 화면 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 포인터 입력 방법.
  14. 제13항에 있어서,
    상기 제1 보정 이미지 및 상기 제2 보정 이미지는 상기 화면 영역의 대각선 상에 위치하는 것을 특징으로 하는 포인터 입력 방법.
  15. 제14항에 있어서,
    상기 제1 보정 이미지는 상기 화면 영역의 네 꼭지점에 인접하여 각각 형성되고, 상기 제2 보정 이미지는 상기 제1 보정 이미지에 인접하여 각각 형성되는 포인터 입력 방법.
  16. 제14항에 있어서,
    상기 제1 대표 보정 좌표는 상기 제1 보정 이미지의 중심점으로 결정되고, 상기 제2 대표 보정 좌표는 상기 제2 보정 이미지의 중심점으로 결정되며, 상기 제1 보정 이미지와 상기 제2 보정 이미지는 각각 사각형으로 형성되어 하나의 꼭지점을 공유하는 것을 특징으로 하는 포인터 입력 방법.
  17. 제14항에 있어서,
    상기 제1 대표 보정 좌표 및 상기 제2 대표 보정 좌표는 각각 상기 제1 보정 이미지 및 상기 제2 보정 이미지 내의 가장 밝은 픽셀의 좌표로 결정되는 것을 특징으로 하는 포인터 입력 방법.
  18. 제14항에 있어서,
    상기 비가시광선 영역의 상기 IVR 포인팅 빔을 검출하는 단계는,
    상기 캡처된 영상 프레임 중 가장 밝은 픽셀을 검출하는 단계와;
    기 설정된 크기의 윈도우 영역을 상기 가장 밝은 픽셀을 중심으로 기 설정된 탐색 범위 내에서 이동시키며 상기 윈도우 영역의 평균 밝기값을 산출하는 단계와;
    상기 탐색 범위 내에서의 상기 윈도우 영역의 각 위치 중 가장 큰 평균 밝기값을 갖는 위치의 윈도우 영역의 중심 픽셀을 상기 영상 프레임 내에서 상기 IVR 포인팅 빔이 지시하는 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 포인터 입력 방법.
  19. 제12항 내지 제18항 중 어느 한 항에 따른 포인터 입력 방법이 기록된 컴퓨터가 판독 가능한 기록매체.
KR1020090039767A 2009-05-07 2009-05-07 포인팅/인터페이스 시스템 KR101056388B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090039767A KR101056388B1 (ko) 2009-05-07 2009-05-07 포인팅/인터페이스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090039767A KR101056388B1 (ko) 2009-05-07 2009-05-07 포인팅/인터페이스 시스템

Publications (2)

Publication Number Publication Date
KR20100120901A KR20100120901A (ko) 2010-11-17
KR101056388B1 true KR101056388B1 (ko) 2011-08-12

Family

ID=43406327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090039767A KR101056388B1 (ko) 2009-05-07 2009-05-07 포인팅/인터페이스 시스템

Country Status (1)

Country Link
KR (1) KR101056388B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101396136B1 (ko) * 2013-02-25 2014-05-19 우송대학교 산학협력단 레이저 포인터의 위치 추적 방법
KR101615548B1 (ko) * 2015-05-11 2016-04-27 주식회사 아이에스엘코리아 적외선 포인터 입력 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374359B1 (ko) 2001-01-09 2003-03-03 엘지이노텍 주식회사 듀얼 룩-업 테이블을 이용한 영상 추출 장치 및 방법
KR20040014763A (ko) * 2002-08-12 2004-02-18 이문기 레이저와 카메라를 이용한 포인팅장치
KR20100004033A (ko) * 2008-07-02 2010-01-12 최순필 포인팅/인터페이스 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374359B1 (ko) 2001-01-09 2003-03-03 엘지이노텍 주식회사 듀얼 룩-업 테이블을 이용한 영상 추출 장치 및 방법
KR20040014763A (ko) * 2002-08-12 2004-02-18 이문기 레이저와 카메라를 이용한 포인팅장치
KR20100004033A (ko) * 2008-07-02 2010-01-12 최순필 포인팅/인터페이스 시스템

Also Published As

Publication number Publication date
KR20100120901A (ko) 2010-11-17

Similar Documents

Publication Publication Date Title
US8818027B2 (en) Computing device interface
US8491135B2 (en) Interactive projection with gesture recognition
CA2378154C (en) Computer presentation system and method with optical tracking of wireless pointer
EP2417557B1 (en) Enhanced handheld screen-sensing pointer
CN103365549B (zh) 输入装置、显示系统及输入方法
US20130135199A1 (en) System and method for user interaction with projected content
KR20060132219A (ko) 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
US8982050B2 (en) Motion compensation in an interactive display system
JP2009050701A (ja) 対話画像システム、対話装置及びその運転制御方法
CN101859210A (zh) 一种交互式投影系统及其实现方法
JP5231809B2 (ja) ハンドヘルドビジョン型絶対ポインティングシステム
TWI501021B (zh) 互動式投影系統及其光標的座標校正方法
US11663992B2 (en) Fade-in user interface display based on finger distance or hand proximity
JP2011013396A (ja) プロジェクター、画像投写システムおよび画像投写方法
WO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
KR101087998B1 (ko) 포인팅 제어 장치 및 제어 방법
WO2018150569A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
KR101056388B1 (ko) 포인팅/인터페이스 시스템
CN107728856A (zh) 投影系统
KR100980261B1 (ko) 포인팅/인터페이스 시스템
US10114473B2 (en) Interactive system and remote device
KR101065771B1 (ko) 터치 디스플레이 시스템
KR101418018B1 (ko) 터치펜 및 이를 이용한 터치 디스플레이 시스템
WO2020090228A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2007213197A (ja) 座標指定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150713

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190723

Year of fee payment: 9