KR20180052081A

KR20180052081A - 가상의 터치 스크린이 구현되는 컴퓨터 입력 시스템

Info

Publication number: KR20180052081A
Application number: KR1020170133887A
Authority: KR
Inventors: 박상욱
Original assignee: (주) 이즈커뮤니케이션즈
Priority date: 2016-11-09
Filing date: 2017-10-16
Publication date: 2018-05-17
Also published as: KR20190041984A; KR101990001B1; KR101989998B1

Abstract

본 발명은 컴퓨터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 소정 파장의 적외선광을 발광하는 입력 수단, 및 디스플레이 장치의 디스플레이 영역을 촬영하여 촬영된 영상의 정보를 컴퓨터에 전송하도록 구성되는 카메라 장치를 포함하여 컴퓨터에 정보를 입력하는 컴퓨터 입력 시스템에 관한 것으로서, 카메라 장치는 입력 장치가 발광하는 적외선광의 파장대 및 가시광 영역의 소정 파장대의 광만을 투과시키는 멀티 밴드 패스 필터 및 복수 개의 화소로 구성되는 촬상 소자를 포함하고, 컴퓨터는 카메라 장치가 촬영한 영상 중에서 입력 수단으로부터의 적외선광에 해당하는 영상의 정보를 추출하고 디스플레이 장치에 전송하는 영상의 좌표계에서의 위치 정보를 산출하여 디스플레이 장치를 통하여 컴퓨터에 입력되는 정보로서 처리하되, 카메라 장치가 촬영한 영상의 정보에서 각각의 화소의 R, G, B 값 및 비율을 산출하고, 인접한 화소의 R, G, B 값의 비율을 대비하여 R, G, B 값의 비율이 상이한 화소를 추출하고, 이 추출된 화소를 입력 수단으로부터의 적외선 광이 입사된 화소로서 특정하여 특정된 화소의 정보를 입력 수단으로부터의 적외선광에 해당하는 영상의 정보로 특정하는 것이다.

Description

가상의 터치 스크린이 구현되는 컴퓨터 입력 시스템{INPUT SYSTEM FOR A COMPUTER INCORPORATING A VIRTUAL TOUCH SCREEN}

본 발명은 가상의 터치 스크린이 구현되는 컴퓨터 입력 시스템에 관한 것으로서, 구체적으로는 컴퓨터가 전송하는 영상을 디스플레이하는 디스플레이 영역에 근접하거나 접촉하는 행위 등에 의해 컴퓨터를 제어하거나 각종 정보를 입력할 수 있 수 있는 컴퓨터 입력 시스템에 관한 것이다.

교육 현장이나 비지니스 현장 등에서는 다수의 사람에게 컴퓨터로부터 학습 컨텐츠나 비지니스 컨텐츠를 영상으로 전달하는 일이 빈번하고, 그러한 영상의 제공은 컴퓨터에 연결된 대형의 모니터나 프로젝터와 같은 디스플레이 장치를 이용한다.

터치 패널이 부착된 디스플레이 장치를 이용하는 경우에는 사용자가 디스플레이를 터치하면서 제공되는 영상을 제어하거나 디스플레이 화면에 문자나 도형을 표시하여 컴퓨터에 정보를 입력하고 그 입력된 정보가 다시 디스플레이 화면에 표시되도록 하는 등의 상호 작용이 가능하지만, 컴퓨터가 제공하는 영상을 프로젝터로 스크린에 비추어 제공하는 경우 또는 통상의 LCD 모니터와 같은 화면 입력 기능이 없는 디스플레이 장치를 이용하는 경우에는 사용자가 리모컨 등으로 영상을 진행 또는 정지시키는 동작 외에 디스플레이되는 스크린이나 모니터에서 컴퓨터를 제어하거나 스크린이나 모니터 상에서 도형이나 글자를 표시하여 컴퓨터에 입력되도록 하는 등의 상호 작용이 불가능하다.

이러한 불편함을 해소하기 위한 기술로서는, 특허 제820573호(문헌 1)의 '카메라를 이용하여 레이저 포인팅된 이미지와 컴퓨터 이미지를 비교하여 위치와 깜빡임을 인식하는 컴퓨터 입력 장치'에 관한 발명 및 특허 제936666호(문헌 2)에 개시된 '적외선 스크린 방식의 투영 영상 터치 장치'에 관한 발명이 있다.

문헌 1의 발명은 스크린이나 모니터에 레이저 포인터로 점광원을 조사하고 카메라로 모니터를 촬영하여 이 레이저 포인터로부터의 점광원의 영상을 인식하여 컴퓨터에의 입력으로 받아들이고, 모니터 등에 좌표계 보정용 이미지를 디스플레이하여 촬영함으로써 카메라가 촬영하는 영상의 좌표계를 컴퓨터가 디스플레이하는 영상의 좌표계에 맞추어 보정한다.

그러나, 문헌 1의 발명에서는 카메라가 촬영하는 영상에는 좌표계 보정용 영상과 레이저 포인터의 점광원의 영상 외에도 실내의 조명등이나 자연광에 따른 이미지가 포함되므로, 카메라가 촬영한 영상으로부터 레이저 포인터의 점광원 및 좌표계 보정용 이미지의 추출에 상당한 오류가 발생할 수 밖에 없으므로, 조명을 낮추고 자연광은 차단 또는 감소된 조건에서만 사용할 수 있다.

문헌 2의 발명은 적외선 엘이디 어레이에 의해 적외선 스크린을 형성하고 적외선 스크린을 향하는 적외선 카메라를 이용하여 사용자의 손가락 등에 의한 적외선 스크린 상의 적외선의 왜곡을 검출하여 사용자의 손가락 등이 위치한 지점을 검출하는 구성을 갖추고 있다.

그러나, 문헌 2의 발명에서는 적외선 스크린이 형성하는 평면의 좌표계가 컴퓨터가 투영하는 영상의 좌표계와 일치하도록 여러가지 장치를 사용하므로, 시스템의 설치가 매우 복잡하다는 문제점이 있다.

또한, 적외선을 포함하는 외부 광원이 스크린에 입사될 때에 카메라가 촬영하는 적외선 스크린에서의 왜곡으로 인식하는 오류가 발생하게 된다. 따라서, 문헌 1의 발명과 마찬가지로 일정 세기 이하의 자연광 하에서만 사용할 수 있다는 문제점이 있다.

문헌 1: 특허 제820573호 문헌 2: 특허 제936666호

본 발명은 컴퓨터 입력 시스템으로서 가상의 터치 스크린을 구현하려는 것이다. 구체적으로는 컴퓨터가 제공하는 영상이 디스플레이되는 영역에 손이나 도구를 접촉시키거나 근접시키는 동작만으로 컴퓨터를 제어하거나 각종 정보가 입력되어 디스플레이에 표시되는 상호 작용이 가능한 컴퓨터 입력 시스템을 제공하려는 것이다.

특히 본 발명은 전술한 종래 기술의 문제점을 고려하여, 비교적 간단한 장치를 부가하고 간단한 조작에 의해 어떠한 환경에서도 사용 가능한 가상의 터치 스크린 방식의 컴퓨터 입력 시스템을 구현하려는 것이다.

또한, 본 발명은 조명이나 자연광이 있는 환경에서도 그러한 조명이나 자연광에 구애받지 않고 오류를 일으키지 않는 컴퓨터 입력 시스템을 제공하려는 것이다.

전술한 본 발명의 해결 과제는, 컴퓨터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 소정 파장의 적외선광을 발광하는 입력 수단, 및 디스플레이 장치의 디스플레이 영역을 촬영하여 촬영된 영상의 정보를 컴퓨터에 전송하도록 구성되는 카메라 장치를 포함하여 이루어지는 본 발명의 컴퓨터 입력 시스템에 의해 달성된다.

본 발명의 컴퓨터 입력 시스템은 제1 양태로서,

카메라 장치는 입력 장치가 발광하는 적외선광의 파장대 및 가시광 영역의 소정 파장대의 광만을 투과시키는 멀티 밴드 패스 필터 및 복수 개의 화소로 구성되는 촬상 소자를 포함하고,

컴퓨터는 카메라 장치가 촬영한 영상 중에서 입력 수단으로부터의 적외선광에 해당하는 영상의 정보를 추출하고 디스플레이 장치에 전송하는 영상의 좌표계에서의 위치 정보를 산출하여 디스플레이 장치를 통하여 컴퓨터에 입력되는 정보로서 처리하되,

카메라 장치가 촬영한 영상의 정보에서 촬상 소자를 이루는 각각의 화소에서 R, G, B값의 비율을 산출하고, 인접한 화소의 R, G, B 값의 비율과 비교하여 R, G, B 값의 비율이 상이한 화소를 추출하고, 이 추출된 화소를 입력 수단으로부터의 적외선 광이 입사된 화소로서 특정하여 특정된 화소의 정보를 입력 수단으로부터의 적외선광에 해당하는 영상의 정보로 특정하는 것으로 구성할 수 있다.

이러한 구성을 갖는 본 발명의 제1 양태의 컴퓨터 입력 시스템의 동작을 설명한다.

컴퓨터를 통하여 디스플레이 장치에 영상이 전송되고 사용자는 입력 수단을 이용하여 컴퓨터를 제어하거나 문자나 도형 등의 정보를 입력하는데, 입력 수단은 디스플레이 장치의 디스플레이 영역에 접촉하거나 근접하거나 사용자의 조작에 의해 적외선광을 발광한다.

입력 수단이 디스플레이 영역에서 적외선광을 발광하면, 적외선광은 디스플레이 영역 전체의 영상과 함께 카메라 장치에 의해 촬영된다.

카메라 장치에 입사되는 전체 영상은 듀얼 밴드 패스 필터를 거치면서 소정 파장대의 가시광과 입력 수단의 적외선광의 파장대의 적외선광이 카메라의 촬상 소자에 입사된다.

촬상 소자에서 촬영되는 영상에 있어서, 입력 수단이 적외선광을 발광할 때에도 촬상 소자에서 적외선광이 입사되지 않는 화소에서 R, G, B 값의 비율은 입력 수단이 적외선광을 발광하지 않을 때와 동일하지만, 입력 수단으로부터의 적외선광이 입사되는 화소에서의 R, G, B 값의 비율은 다른 화소에서의 R, G, B 값의 비율과 다르게 된다.

따라서, 각각의 화소의 R, G, B 값의 비율을 산출하고, 인접한 화소의 R, G, B 값의 비율을 대비하면, 서로 상이한 R, G, B 값의 비율을 갖는 화소들로 이루어지는 2가지 영역을 추출할 수 있게 된다.

더욱 구체적으로 설명하자면, 입력 수단이 적외선광을 발광하지 않을 때에 멀티 밴드 패스 필터를 통하여 입사되는 광은 멀티 밴드 패스 필터의 작용에 의해 소정 파장대의 적외선광 영역과 가시광 영역의 성분을 가지고, 화소들에서 적외선광 성분은 동일한 광 강도의 값을 가지므로, 특정 가시광 영역의 성분이 강조된 R, G, B 값의 비율을 가지게 된다.

입력 수단이 적외선광을 발광할 때에 입력 수단으로부터의 적외선광이 입사되지 않는 화소에서의 R, G, B 값의 비율은 입력 수단이 적외선광을 발광하지 않을 때와 동일한 비율을 가지게 되지만, 입력 수단으로부터의 적외선 광이 입사되는 화소에서의 R, G, B 값의 비율은 멀티 밴드 패스 필터를 통과한 적외선광 성분이 입사하기 때문에 입력 수단의 적외선광이 입사하지 않는 화소의 R, G, B 값의 비율과 달라지게 된다.

따라서, 컴퓨터에서는 인접한 화소의 R, G, B 값의 비율을 대비함으로써 입력 수단으로부터의 적외선광이 입사되는 화소를 추출할 수 있고, 이렇게 추출된 화소의 위치에 대하여 입력 수단으로부터의 정보 입력이 있는 것으로 취급할 수 있게 된다.

이렇게 판별된 정보는 컴퓨터에의 입력으로 처리되어, 프로그램의 실행과 같은 컴퓨터의 동작을 제어하거나 컴퓨터에 도형이나 문자로서 입력되고 입력된 정보는 다시 디스플레이 장치에 표시될 수 있다.

이상 설명한 바와 같이, 본 발명의 제1 양태의 컴퓨터 입력 시스템에서는 터치 스크린과 같이 작동하는 가상의 터치 스크린이 구현된다.

본 발명의 컴퓨터 입력 시스템은 제2 양태로서,

입력 수단은 그 적외선광의 발광이 카메라 장치의 촬영에 동조되어 카메라 장치의 촬영 중에 적외선광의 발광과 비발광이 촬영의 프레임 단위로 교호로 이루어지고,

카메라 장치가 촬영한 영상의 정보에서 촬상 소자를 이루는 각각의 화소의 R, G, B 값을 산출하고, 입력 수단의 적외선광 발광 시의 프레임에서의 R, G, B 값과 이에 인접한 비발광 시의 프레임에서의 R, G, B 값을 차연산하여 차연산의 결과가 0이 아닌 화소를 추출하고, 이 추출된 화소를 입력 수단으로부터의 적외선 광이 입사된 화소로서 특정하여 특정된 화소의 정보를 입력 수단으로부터의 적외선광에 해당하는 영상의 정보로 특정하는 것으로 구성할 수 있다.

이러한 구성을 갖는 본 발명의 제2 양태의 컴퓨터 입력 시스템의 동작을 제1 양태의 컴퓨터 입력 시스템의 동작과의 차이점을 위주로 설명한다.

촬상 소자에서 촬영되는 영상에 있어서, 입력 수단이 디스플레이 영역에 위치하면서 적외선광을 발광할 때와 발광하지 않을 때에 촬상 소자에서 적외선광이 입사되지 않는 화소에서 R, G, B 값 또는 이 값들의 비율은 동일하지만, 입력 수단으로부터의 적외선광이 입사되는 화소에서의 R, G, B 값 또는 이 값들의 비율은 입력 수단으로부터의 적외선광이 입사되지 않을 때의 값이나 비율과는 다르게 된다.

제2 양태의 컴퓨터 입력 시스템에서는 입력 수단은 그 적외선광의 발광이 카메라 장치의 촬영에 동조되어 카메라 장치의 촬영 중에 적외선광의 발광과 비발광이 촬영의 프레임 단위로 교호로 이루어지므로, 인접한 프레임에서의 각 화소의 R, G, B 값의 비율을 대비하여 그 비율이 상이하게 되는 화소를 입력 수단으로부터의 적외선광이 입사된 화소로서 특정할 수 있게 된다.

구체적으로는, 촬상 소자를 이루는 각각의 화소들의 R, G, B 값에 대하여 의 비율을 산출하고, 인접한 프레임에서의 대비되는 화소의 R, G, B 값을 차연산하면, 입력 수단으로부터의 적외선광이 입사되지 않는 화소에서는 R, G, B 값의 변화가 없으므로 차연산의 결과가 0이 되고, 입력 수단으로부터의 적외선광이 입사되는 화소에서는 차연산의 결과가 0이 아닌 값으로 된다.

따라서, 입력 수단으로부터의 적외선광이 입사되는 화소를 판별할 수 있고, 그러한 판별 결과로서 화소를 특정하여 입력 수단으로부터의 정보가 입력된 것으로 취급할 수 있게 된다.

이상과 같이, 본 발명의 제1 양태에 따른 컴퓨터 입력 시스템에서는 단지 멀티 밴드 패스 필터를 갖춘 하나의 카메라 장치만을 이용하여 적외선광을 발광하는 입력 수단에 의한 입력을 인식할 수 있게 된다.

특히, 본 발명은 조명이나 자연광이 있는 환경에서도 그러한 조명이나 자연광에 구애받지 않고 오류를 일으키지 않고 입력 수단에 의한 정보 입력이 이루어질 수 있는 컴퓨터 입력 시스템이 마련된다.

본 발명의 제2 양태에 따른 컴퓨터 입력 시스템에서는, 입력 장치의 적외선광의 발광이 카메라 장치의 촬영에 동조되도록 구성하고 카메라 장치가 촬영하는 영상을 구성하는 프레임들 서로 인접하는 프레임의 영상의 정보를 대비함으로써, 적외선 광이 입력되는 화소와 입력되지 않는 화소를 명확히 구별할 수 있게 된다.

특히, 이러한 구성에 따르면, 본 발명의 입력 수단 외에 멀티 밴드 패스 필터를 통과하는 적외선광을 발광하는 포인터나 그 밖의 다른 장치로부터의 적외선광이 사용되는 환경에서도 차연산에 의하여 비교호되는 적외선 광원 및 가시광원이 제거될 수 있으므로 이러한 다른 장치로부터의 적외선광의 입력에 의해 영향을 받는 일이 없이 입력 수단의 적외선 발광을 컴퓨터에 대한 입력으로서 명확히 판별할 수 있게 된다.

도 1은 본 발명의 하나의 실시예에 따른 영상 시스템의 개략적인 구성을 보여주는 도면으로서, 영상 시스템을 이루는 각 요소들이 개념적으로 도시되어 있다.
도 2는 스크린에 입력 장치로서 레이저 커튼이 마련되는 실시예를 보여주는 도면이다.
도 3은 CMOS에서 각 화소의 광 스펙트럼에 따른 광강도를 보여주는 그래프이다..
도 4는 펜이 적외선을 발광하는 프레임과 발광하지 않는 프레임의 RGB 값의 차연산을 수행한 결과를 보여주는 그래프이다.
도 5는 좌표계 매칭을 위하여 스크린에 투사되는 이미지이다.

이하, 첨부 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 설명한다.

먼저 도 1을 참조하여 본 발명의 하나의 실시예에 따른 컴퓨터 입력 시스템을 이루는 요소들에 대해 설명한다.

본 실시예의 컴퓨터 입력 시스템은 디스플레이 장치로서 스크린(20) 및 이 스크린에 영상을 투사하는 프로젝터(10), 사용자가 파지하여 사용하며 스크린에 접촉하여 그 선단에서 850 ㎚ 파장대의 적외선광을 발광하도록 구성되는 입력 장치로서의 펜(30), 스크린(20)으로부터 반사되는 반사 영상을 촬영하도록 구성되는 카메라 장치(40) 및 카메라 장치와 프로젝터가 접속되는 컴퓨터(50)로 구성되어 있다.

프로젝터(10)는 컴퓨터(50)에서 실행되는 프로그램의 화면이나 각종의 프리젠테이션 컨텐츠 등의 영상을 스크린(20)에 투사하는 통상적인 구성의 것이다.

스크린(20)은 본 실시예의 컴퓨터 입력 시스템이 구현되는 강의실이나 회의실 등의 벽면에 설치되어 필요에 따라 영상이 투사되어 보여질 수 있는 통상의 스크린이지만, 본 발명의 스크린은 별도로 준비되는 스크린(20)에 한정되지 않고, 영상이 투사되어 반사됨으로써 투사된 영상을 사람들이 볼 수 있는 것이라면 충분하고, 예컨대 백색의 편평한 표면으로 이루어지는 건물의 벽면도 본 발명의 스크린으로서 이용될 수 있고, 본 명세서에서 스크린은 프로젝터의 투사 영상을 반사하는 표면을 갖춘 요소를 의미하는 것으로 정의한다.

또한, 본 발명의 디스플레이 장치는 이러한 스크린(20)과 프로젝터(10)에 한정되지 않고 LCD 모니터와 같이 컴퓨터(50)에 연결되어 컴퓨터(50)의 영상을 디스플레이하는 것으로 구성할 수도 있다.

카메라 장치(40)는 스크린(20)을 향하여 촬영하도록 배치되어 있다. 카메라 장치(40)는 통상적인 카메라와 마찬가지로 입사되는 광을 촬상 소자에 집속하는 렌즈 기구, 렌즈 기구를 통하여 입사되어 집속되는 광을 전기 신호로 변환하는 촬상 소자로서 CMOS 소자 및 CMOS 소자로부터의 전기 신호를 영상 데이터로서 처리하고 저장하는 메모리와 프로세서를 포함하여 구성되는 것이다.

다만, 본 실시예의 카메라 장치(10)에는 렌즈 기구와 촬상 소자 사이에 특정 대역의 파장을 갖는 광만을 통과시키는 밴드 패스 필터(band pass filter)가 배치되는데, 이 밴드 패스 필터는 850 ㎚ 대의 적외선광 영역과 550 ㎚ 대의 가시광 영역의 광만을 통과시키도록 형성되는 멀티 밴드 패스 필터(multi band pass filter)로 구성되어 있다.

본 실시예에서 펜(30)은, 예컨대 스크린에 근접하여 위치하면서 스크린에 투사되는 영상을 이용하여 프레젠테이션이나 강의를 진행하는 사용자가 스크린에 투사되는 영상을 전환하거나 중지시키는 동작과 같은 컴퓨터(50)의 제어 및 스크린에 문자나 도형 등을 표시하기 위해 사용하는 것이다.

펜(30)의 후단에는 적외선광을 발광하는 적외선 발광 소자가 마련되어 있고 선단에는 이 적외선 발광 소자에 전원 공급이 이루어지도록 하는 스위치가 마련되어 있어서, 펜의 선단이 스크린(20)에 접촉하면 스위치가 온(on)으로 되어 적외선 발광 소자가 펜(30)이 스크린(20)에 접촉한 지점에서 적외선광을 발광하게 구성되어 있다.

이러한 펜(30)과 유사한 구성의 입력 장치가 문헌 1의 도면 제3도에 도시되어 있다. 문헌 1의 펜형 포인터는 사용자가 조작하여 레이저를 발광하도록 하는 스위치가 부착되어 있으며, 본 실시예의 펜도 이와 같이 사용자가 조작하는 스위치를 구비할 수도 있다. 예컨대, 본 실시예의 펜이 사용자가 조작 가능한 스위치를 갖춘 경우에는 사용자는 스크린의 특정 지점에 펜을 근접시키고 스위치를 눌러 적외선광이 발광되도록 조작할 수 있다.

한편, 본 실시예에서는 입력 수단으로서 적외선광을 발광하는 펜(30)을 이용하고 있지만, 이와 달리 사용자의 손가락이나 통상의 펜 또는 포인터와 같이 적외선광을 발광하지 않는 수단을 이용할 수도 있다. 그러한 예를 도 2에 도시하였다.

도 2에는 입력 수단으로서 스크린(20)에 근접하여 스크린의 평면과 평행한 레이저 커튼(32)을 생성하는 레이저 모듈(31)이 마련되어 있는 별법의 실시예가 도시되어 있다.

레이저 모듈(31)은 스크린(20)의 상부에 설치되어 스크린(20)에 평행하게 적외선광의 라인 빔을 주사하여 레이저 커튼(32)을 형성한다. 스크린(20)에는 프로젝터(40)가 투사하는 영상(41)이 디스플레이되고 있으며, 그 영상의 앞쪽에 레이저 커튼(32)이 형성되어 있다.

사용자의 손가락(33)은 입력 수단의 하나를 형성하게 되는데, 레이저 커튼(32)의 적외선광은 그 직진성으로 인하여 카메라 장치(10)에 입사되지 않지만, 사용자가 손가락을 스크린(20)에 근접시켜 레이저 커튼(32)에 접촉하면 레이저 커튼을 이루는 적외선광이 손가락에 부딪히면서 반사 및 간섭에 의해 카메라 장치(10)에 입사된다.

따라서, 적외선광을 발광하는 펜(30)을 사용하는 경우와 같이, 카메라 장치(10)에는 레이저 커튼(32)과 접촉하는 손가락(33)의 선단으로부터의 적외선광이 입사하게 된다.

본 실시예의 펜(30)이 방출하는 적외선광 및 도 2의 별법의 실시예에서 레이저 모듈(31)이 생성하는 적외선광은 카메라 장치(40)의 멀티 밴드 패스 필터가 통과시키는 적외선 영역의 파장, 즉 850 ㎚ 대의 적외선을 발광하는 것이다.

다만, 본 발명에서 입력 장치가 발광하는 적외선광은 이에 한정되지 않고, 멀티 밴드 패스 필터가 통과시키는 적외선 파장 영역에 속하는 적외선 광을 발광하는 것으로 구성된다.

한편, 카메라 장치(30)에는 적외선 송신 모듈이 갖추어져 있고, 카메라 장치의 프로세서는 촬상 소자에 보내는 동기 신호를 적외선 송신 모듈을 통하여 송신하고, 펜(30)에는 적외선 수신 모듈이 갖추어져서 카메라 장치(40)로부터의 동기 신호를 받아 이 동기 신호에 따라 적외선광의 발광이 동조되도록 구성되어 있다.

펜(30)의 적외선광 발광은 카메라 장치(40)의 촬영의 한 주기를 이루는 프레임들에 대하여 하나의 프레임에서는 적외선광을 발광하고 다음의 프레임에서는 적외선광을 발광하지 않는 방식으로 교호로 적외선 광을 발광한다.

예컨대, 카메라 장치(40)가 초당 60 프레임으로 촬영을 하는 것이라면, 펜(30)은 그 발광 시에 2개의 프레임 당 하나의 프레임의 촬영에 맞추어 교호로 발광을 하도록 구성되어 있다.

즉, 펜(30)이 스크린(20)에 접촉하여 적외선광을 발광하는 경우에, 그 발광하는 전체 시간에서 카메라 장치(40)의 촬영에 동조되어 하나의 프레임에서는 발광, 다음의 프레임에서는 비발광하는 방식으로 작동하여, 카메라 장치(40)에서 촬영하는 영상에서는 하나의 프레임에는 펜(30)으로부터의 적외선광이 입사되고 다음 프레임에는 적외선광이 입사되지 않게 된다.

도 2에 도시된 레이저 모듈(31)로 입력 장치를 구성하는 경우에도 마찬가지로 레이저 모듈(31)이 카메라 장치(40)로부터의 동기 신호에 따라 발광과 비발광이 교호로 이루어지도록 구성되어 있다.

컴퓨터(50)는 통상적인 컴퓨터로서 구성되어 있으며, 학습용 콘텐츠 또는 비즈니스용 프리젠테이션 콘텐츠를 보여주는 프로그램 등이 실행되며, 그러한 콘텐츠의 영상을 프로젝터(10)로 보내거나 컴퓨터의 실행 화면을 스크린(20)에 투사되도록 한다.

또한, 컴퓨터(50)에는 카메라 장치(40)가 연결되어 있어서, 카메라 장치(40)가 촬영한 스크린(20)의 영상에 관한 정보가 입력되고 처리된다.

다음으로 도 3 및 도 4를 참조하여 본 실시예의 컴퓨터 입력 시스템에서 카메라 장치(40)에서의 영상 촬영 및 컴퓨터(50)에서의 촬영 영상에 대한 처리 과정을 설명한다.

펜(30)이 발광하지 않는 상태에서는 카메라 장치(40)가 촬영한 영상에는 스크린 영역에 조사되어 반사되는 외광 및 프로젝터(10)가 스크린(20)에 투사한 영상이 촬영된다. 스크린(20)에 조사되는 자연광이나 조명등의 광원에는 가시광선 및 적외선 성분이 모두 포함되어 있고 프로젝터(10)로부터의 영상에는 가시광선 성분만 포함되므로, 카메라 장치(40)가 촬영하는 영상은 혼합 영상이 된다.

이 혼합 영상에서 멀티 밴드 패스 필터의 550nm 대역에 해당하는 성분 및 850nm 대역에 해당하는 성분만 멀티 밴드 패스 필터를 통과하여 CMOS로 이루어지는카메라 장치(40)의 촬상 소자에 의하여 촬영된다.

펜(20)이 발광하는 프레임의 촬영 시에는 스크린(20)에 조사되는 외부 광원에 의한 영상 및 프로젝터(10)로부터의 영상과, 펜(20)으로부터의 적외선광(파장: 850 nm)이 중첩된 혼합 영상이 취득된다.

이 혼합 영상에서 멀티 밴드 패스 필터의 550nm 대역에 해당하는 외부 광원과 프로젝터(10)의 영상의 성분, 멀티 밴드 패스 밴드 필터의 850nm 대역에 해당하는 외부 광원과 펜(30)의 적외선광 성분이 멀티 밴드 패스 필터를 통과하여 카메라 장치(40)의 촬상 소자에 의하여 촬영된다.

촬상 소자의 CMOS는 R, G, B 화소가 특정한 방법으로 배열되어 있으며 각 R, G, B 화소의 광-전 변환 효율은, 도 3에 도시한 바와 같이 각각의 화소에 해당하는 파장의 빛(B; 450nm, G;550nm, R;650nm)에 높은 광-전 변환효율을 보이지만, 적외선 영역에서는 R, G, B 화소가 유사한 광-전 변환효율을 보인다. 도 3에서 부호 A와 B는 멀티 밴드 패스 필터의 투과 대역과 투과율을 보여주는 것이다.

촬상 소자의 이미지 처리부에서는 일정 영역의 R,G,B 화소의 값을 계산하여 각 화소의 R, G, B 값을 설정하여 출력하므로 CMOS에서 각 화소의 출력값은 R, G, B를 모두 포함하게 된다.

이러한 CMOS의 특성과 멀티 밴드 패스 필터의 특성에 따라, 카메라 장치(40)가 촬영한 영상은 외광에 의한 성분과 입력 장치인 펜(30)으로부터의 적외선광의 성분으로 나누어볼 수 있다.

외광은 펜(30)으로부터의 적외선광을 제외한 모든 광원으로부터의 광을 의미하여, 자연광이나 조명등 또는 프로젝터(10)가 투사하는 영상으로부터의 광이 포함된다. 외광은 카메라 장치(40)의 멀티 밴드 패스 필터를 투과하면서 550nm 대역의 가시광 성분과 850nm 대역의 적외선광 성분으로 분리되고, 각각의 성분은 다시 R, G, B 값으로 나타나므로 총6개의 성분 값으로 분리할 수 있다.

이렇게 분리되는 성분을 표시하면 아래와 같다. 아래에서 'EL'은 외광( External Light)을 표시하고, 'VF'는 멀티 밴드 패스 필터를 통과한 550nm 대역의 가시광(Visible band Filter)을 표시하며, 'IRF'는 멀티 밴드 패스 필터를 통과한 850nm 대역의 적외선광(IR band Filter)를 표시한다.

R_EL_VF : 외광이 듀얼 필터의 550nm를 통과하여 CMOS에 입사되어 나타나는 R 성분

R_EL_IRF : 외광의 적외선 성분이 850nm를 통과하여 CMOS에 입사되어 나타나는 R 성분

G_EL_VF : 외광이 듀얼 필터의 550nm를 통과하여 CMOS에 입사되어 나타나는 G 성분

G_EL_IRF : 외광의 적외선 성분이 850nm를 통과하여 CMOS에 입사하여 나타나는 G 성분

B_EL_VF : 외광이 듀얼필터의 550nm를 통과하여 CMOS에 입사하여 나타나는 B 성분

EL_IRF : 외광의 적외선 성분이 850nm를 통과하여 CMOS에 입사하여 나타나는 B화소에 작용하는 성분

입력 장치인 펜(30)으로부터의 적외선광은 가시광 성분을 포함하지 않으므로 다음의 3개 성분으로 구성된다.

R_IR_IRF : IR 광원이 850nm를 통과하여 CMOS에 입사하여 나타나는 R 성분

G_IR_IRF : IR 광원이 850nm를 통과하여 CMOS에 입사하여 나타나는 G 성분

B_IR_IRF : IR 광원이 850nm를 통과하여 CMOS에 입사하여 나타나는 B 성분

1. 펜(30)의 비발광 시의 촬상 소자의 RGB 화소에서의 광강도의 비율

펜(30)의 비발광 상태에서 촬영된 영상은 멀티 밴드 패스 필터를 통과하여 CMOS에 입사되면 멀티 밴드 패스 필터의 작용에 의하여 550nm 대역과 850nm 대역 성분만 통과되어 CMOS에 입사된다.

이때 550nm 대역의 필터의 작용에 의하여 가시광선 영역의 R과 B 성분은 제거되며, R_EL_IRF, G_EL_IRF, B_EL_IRF는 850nm 대역에서 CMOS의 RGB 광전 변환효율이 유사하므로 같은 값을 가지게 되나, 외광의 G 성분과 필터의 작용에 의하여 G_EL_VF값이 존재하고, 이 값의 크기(n)는 필터의 투과율 등에 따라 달라진다.

예를 들어 G_EL_VF를 G_EL_IRF의 4배 값이 되도록 멀티 밴드 패스 필터의 투과율을 조정하면 외광의 G 성분의 상대적인 값은 다른 성분을 1로 하였을 때에 대략 5가 되게 되어 외광의 RGB 화소에서의 광강도의 비율은 아래와 같이 측정된다.

R : G : B = (R_EL_IRF) : (G_EL_IRF + G_EL_VF) : (B_EL_IRF )

= 1 : ( 1 + G_EL_VF ) : 1

= 1 : (1 + n) : 1

= 1 : 5 : 1

여기서 n은 G_EL_IRF를 1로 하였을 때 G_EL_VF의 상대 크기이다.

2. 펜(30)의 발광 시의 촬상소자의 화소에서의 R, G, B 값의 비율

한편, 펜(30)이 적외선광을 발광할 때에 카메라 장치(40)가 촬영하는 발광 혼합 영상에서는 CMOS에서 펜(30)의 광원이 입사되는 화소들을 제외한 나머지 화소들에서는 펜(30)의 비발광 상태의 혼합 영상의 출력값과 동일한 비율을 가지게 되며 펜(30)의 광원에 해당하는 화소들은 외부 광원과 펜(30)으로부터의 적외선광의 합으로 구성된다.

이 때 펜(30)의 적외선광(IR)은 가시광선 성분이 없으므로 CMOS의 R G B 화소에 입사되는 적외선광의 광강도는 서로 동일한 값(a)을 가지게 되므로, 아래와 같이 표현할 수 있다.

R:G:B = (R_EL_IRF + R_IR_IRF) : (G_EL_IRF + G_EL_VF + G_IR_IRF) : (B_EL_IRF + B_IR_IRF)

= ( 1 + a ) : ( 1 + n + a ) : ( 1 + a )

이 때 a의 값은 1 에 비하여 상대적으로 크고, n값은 비발광시의 값과 동일하므로 n = 4를 적용하여

R : G : B = (1+a) : (1 + 4 + a ) : ( 1 + a )

= (1+a) : ( (1+a) + 4 ) : ( 1 + a )

여기서 RGB값을 (1+a)로 나누면,

R : G : B = (1+a)/(1+a) : ((1+a)+4)/(1+a) : (1+a)/(1+a)

= 1 : 1 + 4/(1+a) : 1

여기서 CMOS의 R G B 화소에 입사되는 적외선광의 광강도(a)는 항상 0 이상의 값을 가지므로 1/(1+a) < 4가 된다.

예컨대, 외광의 적외선광 성분(G_EL_IRF)과 펜(30)으로부터의 적외선광(G_IR_IRF)의 광강도가 동일, 즉 G_IR_IRF가 1이라고 가정하면, 4/(1+a) = 2가 되므로, 펜(30)이 적외선광을 발광할 때에 CMOS의 펜으로부터의 적외선광이 입사되는 화소에서

R : G : B = 1 : 3 : 1

로 된다.

이러한 RGB 화소에서의 광강도의 비율은 펜(30)의 적외선광의 광원의 세기에 따라 결정되며 1보다는 크고 5보다는 작은 범위에서 변화하게 된다.

즉, 펜(30)이 발광할 때에 펜(30)으로부터의 적외선광이 입사하지 않는 화소에서의 R, G, B 값의 비율은

R : G : B = 1 : 5 : 1

로 되고,

펜(30)으로부터의 적외선광이 입사하는 화소에서의 R, G, B 값의 비율은

R : G : B = 1 : 5 미만 : 1

로 되어, CMOS에서 RGB 화소의 광강도의 비율로 펜(30)으로부터의 적외선 광이 입사하지 않는 부분과 입사하는 부분이 구별된다.

결국, CMOS에서 인접하는 각 화소의 R:G:B의 값을 연속적으로 분석하여 보면, 도 4에 도시한 바와 같이, 펜(30)의 광원이 아닌 영역에서는 R과 B의 화소에서의 광강도 값의 변화는 거의 없으나, G 화소에서의 광강도의 값의 비율 변화가 급격하게 일어나게 된다.

도 4에서, 펜(30)의 적외선광이 발광하는 스크린(20)의 영역에 대한 CMOS의 출력 영상에 대하여 각 화소 별 R:G:B 값의 비율은 적외선광의 광원 영역에서는 상대적으로 G 화소에서의 값이 낮아지게 된다.

따라서 G 화소에서의 값이 상대적으로 감소-증가를 하는 구간의 화소가 광원영역이라고 판별할 수 있다.

펜(30)의 적외선광의 영역을 판별하는 다른 방법으로서, 펜(30)의 적외선광의 발광 상태와 비 발광 상태에 대하여 카메라 장치(40)가 촬영한 영상의 화소에 대하여 차연산을 수행하여 광원 영역을 판별할 수 있다.

광원 영역이 아닌 영역에 대해서는 발광 시의 영상의 프레임 및 이에 바로 인접하는 비 발광시의 영상의 프레임에서 각각의 화소의 R, G, B 값은 동일하므로 차연산 결과는 "0”가 되어 광원 영역 외의 부분은 제거가 된다.

즉, F(R:G:B)를 발광시 광원 영역의 RGB 값으로, D(R:G:B)를 비발광시 광원 영역의 RGB 값으로 정의하고 차연산을 수행하면,

F( R:G:B) - D(R:G:B) = F((R_EL_IRF) : (G_EL_IRF + G_EL_VF) : (B_EL_IRF ))-D((R_EL_IRF) : (G_EL_IRF + G_EL_VF) : (B_EL_IRF ))

여기서 발광시와 비발광시의 외광에 의한 성분은 동일하므로 최종적으로는 F( R:G:B) - D(R:G:B) = 0 : 0 : 0 이 된다.

광원 영역에서의 차연산은 F_L(R:G:B)를 발광시 광원영역의 RGB 값으로, D_L(R:G:B)를 비발광시 광원 영역의 RGB값으로 정의하면 아래와 같이 표현되며, 차연산을 수행한다.

F_L(R : G : B) = (R_EL_IRF + R_IR_IRF) : (G_EL_IRF + G_EL_VF + G_IR_IRF) : (B_EL_IRF + B_IR_IRF)

D_L(R : G : B) = (R_EL_IRF) : (G_EL_IRF + G_EL_VF) : (B_EL_IRF )

여기서 가시광선의 RGB성분은 발광시, 비 발광시 동일하므로

F(R:G:B) - D(R:G:B) = (R_EL_IRF + R_IR_IRF) : (G_EL_IRF + G_EL_VF + G_IR_IRF) : (B_EL_IRF + B_IR_IRF) - (R_EL_IRF) : (G_EL_IRF + G_EL_VF) : (B_EL_IRF )

= R_IR_IRF : G_IR_IRF : B_IR_IRF

이와 같이, 광원 영역 부분만 R:G:B가 일정 비율로 남게 되어 광원 영역을 추출할 수 있다.

이러한 방법에 따르면, 스크린(20)에 카메라 장치(40)와 동기되어 발광과 비발광이 교호로 이루어지는 펜(30) 외에 동일한 850nm 영역대의 적외선광을 발광하는 장치, 예를 들어 850 nm 대역의 적외선광을 이용하는 적외선 마이크나 적외선 리모콘 등으로부터의 광이 스크린에 조사되는 경우에도, 이들 장치는 적외선광을 교호로 발광/비발광하는 것이 아니므로, 이들 장치의 적외선광이 카메라 장치(40)의 멀티 밴드 패스 필터를 투과하여도 전술한 차연산에 의해 이들의 광원에 해당하는 영역에서 RGB의 차연산 결과는 0:0:0 으로 되어, 외광과 마찬가지로 펜(30)의 적외선광이 아닌 것으로 판별된다.

이상 설명한 바에 따라, 카메라 장치(40)가 촬영한 영상에서 펜(30)으로부터의 적외선광의 광원의 위치가 판별되고, 연속되는 촬영에서 판별된 광원의 위치 및 이동 궤적을 판별할 수 있다.

이렇게 판별된 정보는 펜(30)에 의한 컴퓨터의 제어 동작 또는 펜(30)으로 컴퓨터(50)가 제공하는 스크린 상의 영상에 도형을 그리거나 문자를 기입하는 동작으로 판별되어, 그에 따라 컴퓨터(50)가 제어되거나 문자 또는 도형이 입력되어 다시 프로젝터(10)를 통하여 스크린(20)에 표시될 수 있다.

한편, 카메라 장치(40)가 촬영하는 영상은 왜곡이 있으므로, 그러한 왜곡된 영상에서의 추출되는 펜(30)으로부터의 적외선광의 광원의 위치를 그대로 컴퓨터(50)가 스크린에 투사하는 영상의 좌표계로 산출하는 경우에 정확한 광원의 위치 판별이 되지 않는다.

따라서, 본 실시예의 컴퓨터 입력 시스템에서 컴퓨터(50)는 카메라 장치(40)가 촬영하는 스크린(20)의 영상을 컴퓨터(50)가 스크린에 투사하는 영상과 대비하여 스크린에 투사하는 영상의 좌표계에 카메라 장치(40)가 촬영하는 스크린(20)의 영상의 좌표계를 매칭한다.

도 5에는 컴퓨터(50)가 프로젝터(10)를 통하여 스크린(20)에 투사하는 좌표계의 매칭을 위한 기준점의 이미지가 도시되어 있다.

도 5에서 테두리선은 실제로 프로젝터(10)를 통하여 투사되는 영상은 아니며, 이는 컴퓨터(50)에서 프로젝터를 통하여 투사하는 영상의 둘레를 가상으로 표현하는 것이고, 프로젝터(10)는 녹색의 몇 개의 기준점을 프로젝터에 투사한다. 여기서 기준점이 녹색은 카메라 장치(40)의 멀티 밴드 패스 필터를 투과할 수 있는 550 nm 의 파장대를 갖는 것이다.

이들 원들은 프로젝터(10)가 투사하는 영상에 대해 특정 위치에 배치되는 것이고, 카메라 장치(40)가 이 영상을 촬영하고 컴퓨터(50)가 촬영된 영상에서 이 원들의 위치를 판별함으로써 스크린에 대한 촬영 영상의 좌표계를 프로젝터(10)를 통하여 투사하는 영상의 좌표계에 맞추어 설정할 수 있게 된다.

이러한 좌표계 설정을 위한 영상은 카메라 장치(40)에 입사되고, 멀티 밴드 패스 필터에서 좌표계 설정을 위한 기준점이 되는 녹색의 점에 대한 영상은 가시광 영역의 필터를 통하여 통과되고 촬상 소자에 입사되어 전기적 신호로 변환된다.

카메라 장치에서 촬영되는 영상에는 이 녹색의 기준점 영상 외에도 건물 내에 입사되어 스크린에서 반사되는 자연광이나 조명광도 포함되지만, 카메라 장치(40)의 멀티 밴드 패스 필터에서는 자연광이나 조명광의 대부분의 광 성분이 투과되지 않고 녹색의 기준점에 관한 영상 및 자연광이나 조명등광에서 멀티 밴드 패스 필터를 통과한 광 성분만이 통과하므로, 촬상 소자에 입사되는 광은 기준점에 해당하는 영상의 광 성분이 강조되고, 따라서 카메라 장치가 촬영한 영상에서 기준점의 영상이 명확하게 식별될 수 있다.

이상 설명한 본 실시예의 컴퓨터 입력 시스템의 구성 및 각각의 개별적인 작동에 따른 전체적인 동작을 설명한다.

본 실시예의 컴퓨터 입력 시스템은 그 사용 전에, 컴퓨터(50)가 프로젝터(10)를 통하여 스크린(30)에 투사하는 영상의 좌표계와 카메라 장치(40)가 촬영한 영상의 좌표계의 매칭, 즉 카메라 장치(40)에서의 촬영에 따른 왜곡을 보정하기 위하여 기준 좌표계의 정보가 포함된 패턴 영상, 즉 도 5에 도시한 기준점의 이미지를 포함하는 영상을 프로젝터(10)를 통하여 스크린(20)에 투사한다.

이러한 이미지의 영상은 카메라 장치(40)에서 멀티 밴드 패스 필터를 통하여 촬상 소자인 CMOS에 인가되고, CMOS는 촬영된 영상을 컴퓨터(50)로 전송한다. 컴퓨터(50)에서는 이 왜곡된 영상을 프로젝터(10)를 통하여 투사한 기준 패턴의 이미지과 비교하여 카메라 장치로 취득한 영상의 왜곡 정보를 분석하여 기준 패턴과의 매칭 데이터를 생성하고, 추후 펜(30)이 스크린(20)에 접촉하여 발광할 때 카메라 장치(40)에 의하여 왜곡된 위치를 매칭 데이터를 이용하여 기준 좌표계의 위치로 변환한다.

이후 사용자가 펜(30)를 이용하여 그림을 그리거나 마우스 동작을 수행할 때 펜(30)이 스크린(20)에 접촉하면 카메라 장치(40)가 보내는 적외선광 동기 신호에 맞춰서 접촉 시간동안 교호 발광을 지속하게 된다.

카메라 장치(40)는 연속되는 펜(30)의 발광/비발광을 포함한 스크린 영역을 지속적으로 촬영하여 발광 프레임과 비발광 프레임의 차연산을 수행하고 수행된 결과에서 각 화소의 RGB값의 비율을 분석하여 광원 영역을 추출한다. 추출된 광원 영역은 매칭 과정에서 얻은 매칭 데이터를 이용하여 기준 좌표계로 변환되고 컴퓨터(50)는 광원 영역의 움직임에 따라 선을 그어주거나, 마우스 동작을 실행하게 된다.

이상 설명한 본 실시예의 컴퓨터 입력 시스템에서는 입력 장치의 발광과 카메라 장치의 촬영을 동조하여 입력 장치가 스크린에 접촉하는 시간 동안 입력 장치가 발광하는 영상과 발광하지 않는 영상의 차연산을 수행하고 수행된 결과에서 RGB비율을 분석함으로써 정확한 입력장치의 위치를 검출할 뿐 아니라, 자연광이나 조명 등의 잡음은 물론이고 입력장치와 동일 파장대의 적외선광을 사용하는 기기와의 간섭을 없앨 수 있다.

10: 프로젝터 20: 스프린
30: 펜 40: 카메라 장치
50: 컴퓨터

Claims

컴퓨터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 소정 파장의 적외선광을 발광하는 입력 수단, 및 디스플레이 장치의 디스플레이 영역을 촬영하여 촬영된 영상의 정보를 컴퓨터에 전송하도록 구성되는 카메라 장치를 포함하여 컴퓨터에 정보를 입력하는 컴퓨터 입력 시스템으로서,
카메라 장치는 입력 장치가 발광하는 적외선광의 파장대 및 가시광 영역의 소정 파장대의 광만을 투과시키는 멀티 밴드 패스 필터 및 복수 개의 화소로 구성되는 촬상 소자를 포함하고,
컴퓨터는 카메라 장치가 촬영한 영상 중에서 입력 수단으로부터의 적외선광에 해당하는 영상의 정보를 추출하고 디스플레이 장치에 전송하는 영상의 좌표계에서의 위치 정보를 산출하여 디스플레이 장치를 통하여 컴퓨터에 입력되는 정보로서 처리하되,
카메라 장치가 촬영한 영상의 정보에서 각각의 화소의 R, G, B 값 및 비율을 산출하고, 인접한 화소의 R, G, B 값의 비율을 대비하여 R, G, B 값의 비율이 상이한 화소를 추출하고, 이 추출된 화소를 입력 수단으로부터의 적외선 광이 입사된 화소로서 특정하여 특정된 화소의 정보를 입력 수단으로부터의 적외선광에 해당하는 영상의 정보로 특정하는 것인 컴퓨터 입력 시스템.
컴퓨터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 소정 파장의 적외선광을 발광하는 입력 수단, 및 디스플레이 장치의 디스플레이 영역을 촬영하여 촬영된 영상의 정보를 컴퓨터에 전송하도록 구성되는 카메라 장치를 포함하여 컴퓨터에 정보를 입력하는 컴퓨터 입력 시스템으로서,
카메라 장치는 입력 장치가 발광하는 적외선광의 파장대 및 가시광 영역의 소정 파장대의 광만을 투과시키는 멀티 밴드 패스 필터 및 복수 개의 화소로 구성되는 촬상 소자를 포함하고,
입력 수단은 그 적외선광의 발광이 카메라 장치의 촬영에 동조되어 카메라 장치의 촬영 중에 적외선광의 발광과 비발광이 촬영의 프레임 단위로 교호로 이루어지고,
컴퓨터는 카메라 장치가 촬영한 영상 중에서 입력 수단으로부터의 적외선광에 해당하는 영상의 정보를 추출하고 디스플레이 장치에 전송하는 영상의 좌표계에서의 위치 정보를 산출하여 디스플레이 장치를 통하여 컴퓨터에 입력되는 정보로서 처리하되,
카메라 장치가 촬영한 영상의 정보에서 촬상 소자를 이루는 각각의 화소의 R, G, B 값을 산출하고, 입력 수단의 적외선광 발광 시의 프레임에서의 각각의 화소의 R, G, B 값과 이에 인접한 비발광 시의 프레임에서의 각각의 화소의 R, G, B 값을 차연산하여 차연산의 결과가 0이 아닌 화소를 추출하고, 이 추출된 화소를 입력 수단으로부터의 적외선 광이 입사된 화소로서 특정하여 특정된 화소의 정보를 입력 수단으로부터의 적외선광에 해당하는 영상의 정보로 특정하는 것인 컴퓨터 입력 시스템.
청구항 1 또는 청구항 2에 있어서,
입력 장치는 정보 처리 장치의 사용자가 파지할 수 있고 적외선광의 발광 수단을 포함하여 스크린에 접촉 또는 사용자의 조작에 의해 적외선광을 발광하도록 구성되는 것인 정보 입력 시스템.
청구항 1 또는 청구항 2에 있어서,
입력 장치는, 디스플레이 장치의 디스플레이 영역에 근접하고 스크린의 평면에 평행하게 적외선광을 조사하는 적외선광 조사 수단을 포함하여, 컴퓨터 사용자의 신체 일부 또는 사용자가 소지하는 물품의 일부가 디스플레이 영역에 근접함으로써 적외선광 조사 수단으로부터의 적외선광을 반사하도록 구성되는 것인 컴퓨터 입력 시스템.