KR102172564B1 - 영상 처리 모듈의 소형화가 가능한 컴퓨터에의 입력 정보의 추출 방법 및 이 추출 방법이 구현되는 컴퓨터 입력 시스템 - Google Patents

Abstract

본 발명은 컴퓨터로부터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 소정 파장의 적외선광을 발광하는 입력 장치, 디스플레이 장치의 디스플레이 영역을 촬영하는 카메라 장치, 및 카메라 장치에서 촬영한 영상으로부터 입력 장치로부터의 적외선광의 영상을 추출하여 컴퓨터에의 입력 정보로서 처리하는 영상 처리 모듈을 포함하여 구성되는 컴퓨터 입력 시스템에서 입력 장치로부터의 입력 정보를 추출하는 방법에 관한 것으로서, 카메라 장치로부터의 영상의 각 프레임의 화상에 대하여 화상을 이루는 각각의 화소의 광강도 정보로부터 입사된 적외선광에 상응하는 것으로 판정되는 광강도를 갖는 화소들을 추출하고, 추출된 화소들 중에서 서로 인접한 화소들의 집합을 카메라 장치에 입사된 적외선광으로 판별하는 것인 판별 단계, 및 판별된 적외선광에 대하여 각 프레임의 화상에서의 소정의 선형 축선에 배치되는 일련의 화소들의 광강도를 상호 대비하여 화소들 사이의 광강도의 변화율이 소정 값을 초과하는 경우에 해당 적외선광을 입력 장치로부터의 적외선광으로 판정하는 것인 판정 단계를 포함하는 것이다.

Description

영상 처리 모듈의 소형화가 가능한 컴퓨터에의 입력 정보의 추출 방법 및 이 추출 방법이 구현되는 컴퓨터 입력 시스템{Method of extracting a Input Information to a Computer capable of minimizing an Image Processing Module and a Computer Input System implementing the method}

본 발명은 컴퓨터에의 입력 정보를 추출하는 방법 및 이 추출 방법이 구현되는 컴퓨터 입력 시스템에 관한 것으로서, 구체적으로는 컴퓨터가 전송하는 영상을 디스플레이하는 디스플레이 영역에 근접하거나 접촉하는 행위 등에 의해 컴퓨터를 제어하거나 각종 정보를 입력할 수 있는 입력 장치로부터의 정보를 추출하는 방법 및 그러한 추출 방법이 구현되는 컴퓨터 입력 시스템에 관한 것이다.

교육 현장이나 비지니스 현장 등에서는 컴퓨터나 스마트폰 등의 정보 기기 등로부터 학습 컨텐츠나 비지니스 컨텐츠를 영상으로 전달하는 일이 빈번하고, 그러한 영상의 제공은 정보 기기에 연결된 모니터나 프로젝터와 같은 디스플레이 장치를 이용한다.

터치 패널이 부착된 디스플레이 장치를 이용하는 경우에는 사용자가 디스플레이를 터치하면서 제공되는 영상을 제어하거나 디스플레이 화면에 문자나 도형을 표시하여 컴퓨터에 정보를 입력하고 그 입력된 정보가 다시 디스플레이 화면에 표시되도록 하는 등의 상호 작용이 가능하지만, 정보 기기가 제공하는 영상을 프로젝터로 스크린에 비추어 제공하는 경우 또는 통상의 LCD 모니터와 같은 화면 입력 기능이 없는 디스플레이 장치를 이용하는 경우에는 사용자가 리모컨 등으로 영상을 진행 또는 정지시키는 동작 외에 디스플레이되는 스크린이나 모니터에서 컴퓨터를 제어하거나 스크린이나 모니터 상에서 도형이나 글자를 표시하여 컴퓨터에 입력되도록 하는 등의 상호 작용이 불가능하다.

이러한 불편함을 해소하기 위한 기술로서는, 국제공개공보 WO2014/005456호(문헌 1)에서 개시하는 '인터렉티브 시스템, 인터렉티브 시스템의 제어 방법 및 프로젝터'에 관한 발명을 포함한 다수의 선행 기술이 있다.

문헌 1의 발명과 같은 인터렉티브 시스템의 구성과 작동에 따르면, 프로젝터는 컴퓨터로부터 입력되는 영상을 스크린에 투사하고, 사람이 사용하는 발광펜은 스크린에 투사된 영상에 대해 적외선광을 발광하며, 카메라 장치가 투사된 영상 및 발광펜으로부터의 적외선광을 촬영하여, 촬영된 영상에서 발광펜으로부터의 적외선광을 추출하여 투사된 영상 중에서의 적외선광의 좌표에 따라, 사용자가 발광펜으로 특정 이미지나 문자를 표시하거나 특정 정보 입력 행위를 한 것을 판별함으로써 발광펜에 의한 정보 입력이 이루어진다.

그러나, 문헌 1의 발명과 같은, 발광펜과 프로젝터 및 카메라의 상호 작용에 의한 정보 입력이 이루어지는 시스템은, 촬영된 영상에서 발광펜으로부터의 적외선광을 식별하고 스크린에 투사된 영상에서의 발광펜의 적외선광의 위치를 식별하여컴퓨터로의 입력 정보로서 처리하는데 상당한 용량을 차지하는 데이터의 저장과 연산이 이루어져야 한다.

통상적으로 이용되고 있는 컴퓨터 입력 시스템에서는 카메라 장치에 발광펜으로부터의 적외선광의 파장대의 밴드 패스 필터를 배치하여, 카메라 장치에 입사되는 영상에서 특정 파장대의 적외선광만이 입사되도록 하지만, 입사되는 적외선광에는 스크린에 입사된 조명광의 적외선 성분이나 태양광의 적외선 성분 중에서 밴드 패스 필터를 통과하여 입사되는 성분이 있다.

통상의 컴퓨터 입력 시스템의 영상 처리 모듈에서는 밴드 패스 필터를 통과하여 카메라 장치의 촬상 소자에 입사된 영상의 이미지를 분석하여 조명광 또는 태양광 등의 외부 광원을 식별하는 데 있어서, 연속되는 영상의 프레임들을 서로 대비하는 방법을 이용한다.

카메라가 촬영한 영상에서 하나의 프레임에 입사된 적외선광이 도 1에서와 같이 표시되는 경우를 예로 들어 통상의 컴퓨터 입력 시스템의 영상 처리 모듈에서의 식별 방법을 설명한다.

도 1에 도시한 바와 같이, 카메라 장치에서 촬영된 하나의 프레임의 화상에는 밴드 패스 필터를 통과한 적외선 파장대를 갖는 적외선광만의 표시된다. 화면에는 촬상이 이루어진 화소는 흰색으로, 촬상이 이루어지지 않은 화소는 검은색으로 표시하고 있다.

컴퓨터 입력 시스템을 이루는 영상 처리 모듈은 일정 크기의 광강도를 갖지며 서로 인접한 화소를 하나의 집합으로 처리하고, 해당 집합을 이루는 화소들의 크기를 광원의 크기로 산출하고 집합을 이루는 화소들의 밀집도를 산출하여, 크기와 밀집도가 소정 값 이상이 되는 화소들의 집합을 광원으로 판정한다.

도 1에 도시되어 있는 4개의 화소들의 그룹(A, B, C)는 모두 소정의 광강도를 갖는 화소들이 표시된 것이다.

이 중에서 그룹 A는 화소들의 밀집도가 낮고 널리 분산되어 있어서 발광펜으로부터의 적외선광이 촬상된 화소의 그룹으로 판별되지 않는다. 또한, 그룹 B는 크기가 소정 크기를 초과한 것이어서 역시 발광펜으로부터의 적외선광이 촬상된 화소의 그룹으로 판별되지 않는다.

또한, 하나의 프레임(N번째 프레임)의 화상과 그 이전의 프레임(N-1 번째 프레임)의 화상을 서로 대비하여 앞서 광원으로 판정된 화소의 집합이 한 프레임의 화상에서의 위치와 그 이전의 프레임의 화상에서의 위치에 변화가 있는지 여부를 산출한다.

그러한 산출의 결과, 화소의 집합에 위치 변동이 없거나 위치 변동이 있어도 그 변위가 작은 경우에는 입력 장치인 발광펜으로부터의 적외선광이 아닌 것으로 판정하고, 위치 변동의 변위가 일정값 이상인 경우에는 발광펜으로부터의 적외선광이 촬상된 화소의 집합으로 판정하고, 이를 발광펜으로부터의 입력으로 처리한다.

도 1에 표시된 화소들의 그룹 중에서 그룹 C의 화소들은 N번째 프레임과 N-1번째 프레임을 대비하였을 때, 소정 거리 이상의 변위를 나타내고 있다.

따라서, 그룹 C의 화소들의 집합을 발광펜으로부터의 적외선광이 촬상된 것으로 판별하고, 이 그룹의 화소들의 중점의 위치를 산출하고, 그 중점을 발광펜이 해당 중점의 위치에 놓인 것으로 판정하여 컴퓨터에의 입력으로 처리한다.

이와 같이, 통상의 컴퓨터 입력 시스템에서는 카메라 장치가 촬영한 영상의 하나의 프레임의 화상에 대한 연산에 더하여 당해 프레임과 그 이전 프레임을 상호 대비함으로써 최종적으로 특정한 화소들의 집합을 발광펜으로부터의 적외선광이 촬상된 것으로 판정하고, 이를 컴퓨터에의 입력 정보로서 처리한다.

그러나, 이러한 판정 방식은 카메라 장치의 매 프레임의 화상을 이루는 화소들에 대한 산출 처리에 더하여 그 이전 프레임의 화상을 이루는 화소들과 대비하는 처리가 수반되므로 영상 처리 모듈이 높은 수준의 데이터 저장 및 처리 용량을 갖는 것이어야 한다.

최근에는 비지니스장의 프리젠테이션이나 각종 교육 현장에서 디스플레이 영역에서의 사용자의 행위가 스마트폰이나 태블릿 컴퓨터와 같은 작은 용량의 모바일 정보 기기에의 입력으로 이용되는 것과 더불어 휴대형 프로젝터와 같은 작은 용량의 모바일 디스플레이 장치가 이용되는 것에 대한 요구가 많다.

그러나, 이러한 모바일 기기들은 상대적으로 데이터 처리 용량이 작고 크기가 작으므로, 높은 처리 용량을 가진 영상 처리 모듈을 설치하기가 어렵고 영상 처리 모듈을 소프트웨어로서 구현하는 경우에도 해당 기기들의 처리 용량에 비추어 해당 소프트웨어를 설치하기 곤란한 경우가 많다.

따라서, 디스플레이 영역에서의 사용자의 행위가 컴퓨터에의 입력으로 처리되는 상호 작용형 컴퓨터 입력 시스템에서는 영상 처리 모듈이 입력 장치로부터의 적외선광을 식별하고 이를 입력 정보로서 추출하는 데에 있어서, 큰 데이터 처리 용량이 요구되지 않는 추출 방법이 요구된다.

문헌 1: 국제공개공보 WO2014/005456호 문헌 2: 일본 공개 특허공보 제2015-096963호

본 발명은 컴퓨터로부터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 소정 파장의 적외선광을 발광하는 입력 장치, 디스플레이 장치의 디스플레이 영역을 촬영하는 카메라 장치, 및 카메라 장치에서 촬영한 영상으로부터 입력 장치로부터의 적외선광의 영상을 추출하여 컴퓨터에의 입력 정보로서 처리하는 영상 처리 모듈을 포함하여 구성되는 컴퓨터 입력 시스템에서 입력 장치로부터의 입력 정보를 추출하는 방법 및 그러한 추출 방법이 구현되는 컴퓨터 입력 시스템을 제공하려는 것이다.

구체적으로, 본 발명은 모바일 정보 기기나 모바일 프로젝터와 같은 소용량의 기기에서 구현 가능하도록 입력 장치로부터의 입력 정보 추출에 상대적으로 적은 데이터 처리가 요구되는 구성의 입력 정보 추출 방법 및 그러한 추출 방법이 구현되는 컴퓨터 입력 시스템을 제공하려는 것이다.

특히, 본 발명은 입력 장치로부터 적외선광을 발광하는 장치로부터의 적외선광을 조명이나 태양광 같은 외부 광원으로부터의 적외선광과 오류 없이 구별하여 컴퓨터에의 입력 정보로서 처리할 수 있는 방법 및 시스템을 제공하려는 것이다.

전술한 본 발명의 해결 과제는, 컴퓨터로부터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에서 소정 파장의 적외선광을 발광하는 입력 장치, 디스플레이 장치의 디스플레이 영역을 촬영하는 카메라 장치, 및 카메라 장치에서 촬영한 영상으로부터 입력 장치로부터의 적외선광의 영상을 추출하여 컴퓨터에의 입력 정보로서 처리하는 영상 처리 모듈을 포함하여 구성되는 컴퓨터 입력 시스템에서 입력 장치로부터의 입력 정보를 추출하는 것인 본 발명에 따른 방법 및 이러한 추출 방법이 구현되는 것인 본 발명에 따른 컴퓨터 입력 시스템에 의해 달성된다.

본 발명에 따른 추출 방법은,

카메라 장치로부터의 영상의 각 프레임의 화상에 대하여 화상을 이루는 각각의 화소의 광강도 정보로부터 입사된 적외선광에 상응하는 것으로 판정되는 광강도를 갖는 화소들을 추출하고, 추출된 화소들 중에서 서로 인접한 화소들의 집합을 태양광 또는 조명등을 포함하는 교란광과 구별하여 카메라 장치에 입사된 적외선광으로 판별하는 것인 판별 단계, 및

판별된 적외선광에 대하여 각 프레임의 화상에서의 소정의 축선에 배치되는 일련의 화소들의 광강도를 상호 대비하여 화소들 사이의 광강도의 변화율이 소정 값 이상인 경우에 태양광 또는 조명등을 포함하는 교란광과 구별하여 해당 적외선광을 입력 장치로부터의 적외선광으로 판정하는 것인 판정 단계를 포함하는 것이다.

또한, 본 발명에 따른 컴퓨터 입력 시스템은 상기 영상 처리 모듈이 전술한 판별 단계와 판정 단계를 수행하여 입력 장치로부터의 입력 정보를 추출한다.

이러한 구성의 본 발명의 추출 방법 및 이러한 추출 방법이 구현되는 컴퓨터 입력 시스템에 따르면, 판별 단계에서는 카메라 장치가 촬영한 영상의 어느 하나의 프레임에 대해서만 이 프레임의 화상을 이루는 화소들의 광강도로부터 적외선광에 해당하는 화소들의 집합을 판별하고, 판정 단계에서도 어느 하나의 프레임에 대해서만 앞선 판별 단계에서 판별된 화소의 집합에 대해서만 광강도의 값을 대비함으로써 입력 장치로부터의 적외선광을 판정해내게 된다.

본 발명의 발명자들의 반복된 실험과 측정 및 분석에 따르면, 소정의 광강도를 갖는 적외선광이 입사된 화소들로서 서로 인접한 화소들의 집합에서 소정의 축선에 배치되는 일련의 화소들의 광강도를 상호 대비하였을 때, 화소들 사이의 광강도의 변화율에서 소정 값 이상의 높은 변화율을 나타내는 화소의 집합이 적외선광을 발광하는 입력 장치로부터의 적외선광이 촬영된 것이고, 그러한 소정 값 이상의 높은 변화율이 나타나지 않는 화소의 집합은 태양광이나 조명 등의 교란광의 적외선광인 것임을 알게 되었다.

따라서, 본 발명에 따른 컴퓨터 입력 시스템을 이용하는 추출 방법에서는 각 프레임의 화상을 다른 프레임의 화상과 대비하는 일이 없이 하나의 프레임의 화상에 대하여 화소들의 광강도의 정보만을 이용하여 입력 장치로부터의 적외선광을 판정할 수 있으므로, 추출 작업에서 많은 데이터를 처리하는 일이 없이 적은 양의 데이터만을 처리하여 오류없이 입력 장치로부터의 적외선광을 판정할 수 있다.

이로써, 본 발명에 따른 컴퓨터 입력 시스템은 영상 처리 모듈이 매우 작은 크기와 용량으로 구현될 수 있으므로, 처리 속도가 빠른 것은 물론이고 이 영상 처리 모듈을 작은 크기로 구현할 수 있거나 이 영상 처리 모듈을 소프트웨어로서 구현하는 경우에는 이 소프트웨어가 설치되고 구동되는 장치를 소형화할 수 있어서, 모바일 정보 기기 등에 쉽고 저렴하게 구현될 수 있다.

한편, 본 발명의 부가적 특징으로서,

상기 판정 단계에서는 상기 축선에서의 화소들의 순서를 제1 변수로 하고, 이 축선에 배치되는 화소들의 광강도값을 제2 변수로 하여, 제1 변수에 따른 제2 변수의 값들의 변화율을 산출하고, 이 변화율에 소정값 이상의 변화율이 나타나는 경우에 해당 적외선광을 입력 장치로부터의 적외선광으로 판정하는 것으로 구성할 수 있다.

이와 같은 변화율의 산출은 하나 또는 몇개의 축선에 배치되는 화소들의 광강도값의 변화율을 산출하는 간단한 계산을 통하여 이루어지므로 컴퓨터 입력 시스템에서의 매우 적은 양의 데이터를 처리함으로써 이루어질 수 있다.

한편, 본 명세서에서는 컴퓨터라는 용어를 사용하고 있는바, 본 명세서 전반에서 이러한 컴퓨터라는 용어는 데스크탑형 컴퓨터에 국한되지 않고, 스마트폰이나 태블릿 컴퓨터와 같은 모든 정보 처리 기기를 의미하는 것으로 정의한다.

도 1과 3은 카메라 장치가 촬영한 영상의 하나의 프레임의 화상에서 일정 크기의 광강도를 갖는 화소들을 표시한 그림이다.
도 2는 본 발명의 하나의 실시예에 따른 컴퓨터 입력 시스템이 구현되는 영상 시스템의 개략적인 구성을 보여주는 도면으로서, 영상 시스템을 이루는 각 요소들이 개념적으로 도시되어 있다.
도 4는 카메라 장치가 촬영한 영상의 하나의 프레임의 화상에 대하여 특정 위치의 축선을 따라 화소들의 광강도 및 변화율을 나타낸 그래프이다.

이하, 첨부 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 설명한다.

먼저 도 2을 참조하여 본 발명의 하나의 실시예에 따른 컴퓨터 입력 시스템을 이루는 요소들에 대해 설명한다.

본 실시예의 컴퓨터 입력 시스템은 디스플레이 영역으로서의 스크린(20) 및 이 스크린에 영상을 투사하는 디스플레이 장치로서의 프로젝터(10), 사용자가 파지하여 사용하며 스크린에 접촉하여 그 선단에서 특정 파장대의 적외선광을 발광하도록 구성되는 입력 장치로서의 발광펜(30), 스크린(20)으로부터 반사되는 반사 영상을 촬영하는 카메라 장치로서의 카메라 모듈을 구비하고, 카메라 모듈이 촬영한 영상으로부터 발광펜(30)으로부터의 적외선광의 이미지를 추출하고 이를 컴퓨터에의 입력 정보를 추출하는 입력 정보 추출 모듈을 갖춘 컴퓨터(40)로 구성되어 있다.

프로젝터(10)는 컴퓨터(40)에서 실행되는 프로그램의 화면이나 각종의 프리젠테이션 컨텐츠 등의 영상을 스크린(20)에 투사하는 통상적인 구성의 것이다.

스크린(20)은 본 실시예의 컴퓨터 입력 시스템이 구현되는 강의실이나 회의실 등의 벽면에 설치되어 필요에 따라 영상이 투사되어 보여질 수 있는 통상의 스크린이지만, 본 발명의 스크린은 별도로 준비되는 스크린(20)에 한정되지 않고, 영상이 투사되어 반사됨으로써 투사된 영상을 사람들이 볼 수 있는 것이라면 충분하고, 예컨대 백색의 편평한 표면으로 이루어지는 건물의 벽면도 본 발명의 스크린으로서 이용될 수 있고, 본 명세서에서 스크린은 프로젝터의 투사 영상을 반사하는 표면을 갖춘 요소를 의미하는 것으로 정의한다.

또한, 본 발명의 디스플레이 장치는 이러한 스크린(20)과 프로젝터(10)에 한정되지 않고 LCD 모니터와 같이 컴퓨터(40)에 연결되어 컴퓨터(40)의 영상을 디스플레이하는 것으로 구성할 수도 있다.

본 실시예에서 컴퓨터(40)로서 노트북 컴퓨터를 이용하는데, 이에 한정되지 않고 카메라 모듈 및 카메라 모듈이 촬영한 영상을 처리할 수 있는 영상 처리 모듈을 갖춘 것이라면 스마트폰이나 태블릿 컴퓨터와 같은 휴대형 정보 처리 기기 역시 본 발명에 따른 컴퓨터로서 이용될 수 있다.

컴퓨터(40)는 여기에 마련되어 있는 카메라 모듈이 스크린(20)을 향하여 촬영하도록 배치되어 있다. 카메라 모듈은 통상적인 카메라와 마찬가지로 입사되는 광을 촬상 소자에 집속하는 렌즈 기구, 렌즈 기구를 통하여 입사되어 집속되는 광을 전기 신호로 변환하는 촬상 소자로서 CMOS 소자 및 CMOS 소자로부터의 전기 신호를 영상 데이터로서 처리하고 저장하는 메모리와 프로세서를 포함하고, 발광펜(30)의 적외선광의 파장대의 광만을 통과시키는 밴드 패스 필터를 구비함으로써 특정 파장대의 적외선광만이 촬상 소자에 촬성되도록 구성되는 것이다.

본 실시예에서는 컴퓨터(40)에 마련된 카메라 모듈을 카메라 장치로서 이용하지만, 본 발명은 이에 한정되지 않고 별도의 카메라 장치를 컴퓨터에 연결하여 카메라 장치가 촬영한 영상 데이터를 컴퓨터에 송신하도록 구성될 수도 있고, 카메라 장치가 영상 처리 모듈을 갖추어 촬영한 영상을 분석하고 발광펜(30)으로부터의 입력 정보를 컴퓨터에 송신하도록 구성될 수도 있다.

컴퓨터(40)에 마련되어 있는 영상 처리 모듈(미도시)는 카메라의 촬상 소자로부터의 영상 데이터를 분석하여 발광펜(30)으로부터의 적외선광에 의한 신호를 추출하여 컴퓨터(40)에의 입력 정보로서 처리하는 것이다.

본 실시예에서 영상 처리 모듈은 별도의 하드웨어로서 구현되어 컴퓨터(40)에 장착되어 있지만, 컴퓨터(40)와 별개의 장치로서 마련되어 컴퓨터와의 정보 송수신을 통하여 컴퓨터의 카메라 모듈이 촬영한 영상 데이터를 전송받아 처리한 후에 컴퓨터(40)로 발광펜(30)으로부터의 입력 신호를 유선 또는 무선으로 송신하도록 구성될 수도 있다. 또한, 영상 처리 모듈은 하드웨어로서 마련되지 않고, 컴퓨터(50)의 메모리에 저장되고 연산 모듈에서 구동되는 소프트웨어로서 구현될 수도 있다.

본 실시예에서 발광펜(30)은, 예컨대 스크린에 근접하여 위치하면서 스크린에 투사되는 영상을 이용하여 프레젠테이션이나 강의를 진행하는 사용자가 스크린에 투사되는 영상을 전환하거나 중지시키는 동작과 같은 컴퓨터(50)의 제어 및 스크린에 문자나 도형 등을 표시하기 위해 사용하는 것이다.

발광펜(30)의 선단에는 적외선광을 발광하는 적외선 발광 소자(미도시)가 마련되어 있고 측면에는 이 적외선 발광 소자에 전원 공급이 이루어지도록 하는 스위치가 마련되어 있어서, 스위치를 켜면 발광펜(30)의 선단으로부터 적외선광이 발광되고 발광된 적외선광은 스크린(20)의 표면에서 반사된다.

컴퓨터(40)의 카메라 모듈은 프로젝터(10)에서 스크린(20)에 투사하는 영상을 촬영하고, 스크린(20)의 표면에서 반사되거나 발광펜(30)으로부터 직접 입사되는 발광펜으로부터의 적외선광의 영상이 컴퓨터(40)의 카메라가 촬영한 영상에 포함된다.

컴퓨터(40)의 영상 처리 모듈은 입력된 영상의 각 프레임의 영상을 이루는 각각의 화소를 판독하여, 발광펜(30)으로부터의 적외선광의 영상을 추출하고, 프로젝터(10)가 스크린(20)에 투사하는 영상의 좌표계와 발광펜(30)으로부터의 적외선광의 영상의 위치를 대비하여, 발광펜(30)이 프로젝터(10)가 투사한 영상의 어느 지점에 놓였는지를 판별하고, 이를 컴퓨터(40)에의 입력 정보로서 처리한다.

한편, 카메라 모듈에는 발광펜(30)으로부터의 적외선광만이 입사되게 해주는 밴드 패스 필터가 장착되어 있지만, 태양광이나 조명으로부터의 광에도 이 밴드 패스 필터를 통과하는 광성분이 포함되어 있으므로, 이러한 교란광 역시 카메라 모듈의 촬상 소자에 입사되어 촬상되므로, 영상 처리 모듈에 입력되는 화상 데이터에는 교란광의 적외선광에 관한 데이터가 포함된다.

컴퓨터(40)의 영상 처리 모듈은 입력된 영상의 각 프레임의 영상을 이루는 각각의 화소를 판독하여 발광펜(30)으로부터의 적외선광의 영상을 추출하는 데 있어서, 다음의 2단계의 처리를 수행한다.

첫 번째로, 카메라 장치에 입사된 적외선광을 판별하는 단계이다.

이러한 판별 단계는 도 1을 참조하여 설명한 통상의 컴퓨터 입력 시스템에서와 같은 방식으로 이루어진다.

컴퓨터(40)의 카메라 모듈에는 밴드 패스 필터가 장착되어 있어서, 카메라 모듈의 촬상 소자에는 밴드 패스 필터를 투과한 특정 파장대의 적외선광이 입사되어 촬상된다.

영상 처리 모듈은 일정 크기의 광강도를 갖지며 서로 인접한 화소를 하나의 집합으로 처리하고, 해당 집합을 이루는 화소들 중에서 화소 집합의 둘레를 이루는 화소들의 위치로부터 화소 집합의 크기를 산출한다.

아울러, 화소 집합의 둘레 내의 화소의 총개수와 일정 크기의 광강도를 갖는 적외선광이 촬상된 화소들의 갯수로부터 화소 집합의 밀집도를 산출한다. 이러한 화소 집합의 크기가 소정 크기 이하이고 밀집도가 소정 값 이상이 되는 화소들의 집합을 카메라가 촬영한 적외선광의 광원으로 판정한다.

이러한 영상 처리 모듈에서 수행되는 판별 단계를 도 3을 참조하여 설명한다. 도 3은 카메라 모듈에 촬영된 영상의 하나의 프레임의 화상을 나타내는 것으로서, 일정 크기 이상의 광강도를 갖는 화소는 흰색으로, 촬상이 이루어지지 않았거나 일정 크기 미만의 광강도를 갖는 화소는 검은색으로 표시하고 있다.

원 A로 표시한 화소 집합은 광강도를 갖는 화소들이 분산되어 있어서 밀집도가 소정 크기 미만이므로 적외선광의 광원으로 판별되지 않고, 원 B로 표시한 화소 집합은 화소들의 밀집도는 소정 크기 이상이지만, 화소 집합의 둘레를 이루는 화소들의 위치로부터 추출된 화소 집합의 크기가 일정 크기를 초과하므로 발광펜(30)으로부터의 적외선광이 아닌 것으로 판별된다. 원 C, D, E로 표시한 화소 집합은 일정 크기 이상의 밀집도를 가지고 일정 크기 이하의 둘레 크기를 가지므로 적외선광의 광원으로부터의 적외선광으로 판별하고, 후속하는 판정 단계에서 이들 화소 집합에 대해 발광펜(30)으로부터의 적외선광인지 여부를 판정한다.

영상 처리 모듈은, 판별 단계에 후속하여, 판별 단계에서 적외선광의 광원으로 판정된 화소의 집합에 대해서 발광펜(30)으로부터의 적외선광인지 여부를 판정하는 판정 단계를 수행한다.

판정 단계는 앞선 판별 단계에서 적외선광의 광원으로부터의 적외선광으로 판별된 3개의 화소 집합(C, D, E)에 대하여 화상의 수평축과 평행하며 화소 집합의 중심을 통과하는 축선(X)을 따라 놓이는 일련의 화소들의 광강도를 대비한다.

이러한 대비의 결과를 도 4에 그래프로서 도시한다.

도 4의 그래프는 화소의 위치를 수평축으로 하고 광강도 및 광강도의 변화율을 수직축으로 표시하였으며, 도 3에서 화소 집합 C, D, E에 대한 값을 각각 그래프 C, D, E로 표시하였다.

도 4의 그래프에서 화소 집합 'C'는 광강도의 값이 화소 집합의 중심으로 갈수록 서서히 증가하다가 화소 집합의 둘레로 갈수록 서서히 낮아지며, 그에 따라 화소들 사이의 광강도의 변화율에는 미미한 증감만이 나타난다.

도 4의 그래프에서 화소 집합 'D'는 광강도의 값이 화소 집합의 중심으로 갈수록 서서히 증가하다가 화소의 중심 부분에서는 거의 변화가 없고 화소 집합의 둘레로 갈수록 서서히 낮아지며, 그에 따라 화소들 사이의 광강도의 변화율 역시 미미한 증감만을 보일 뿐이다.

도 4의 그래프에서 화소 집합 'E'는 광강도의 값이 화소 집합의 중심에 가까운 위치에서 강광도의 값이 급격히 증가하는 구간이 나타나고, 중심 부분에서는 일정하며, 다시 화소 집합의 중심에서 벗어나면서 특정 위치에서 급격히 감소한다. 이에 따라 광강도의 변화율이 급격히 높은 2개의 지점이 나타난다.

백열등과 같은 조명등으로부터의 광이나 태양광에는 적외선 성분이 포함되고, 이러한 적외선광 성분은 본 실시예의 카메라 모듈의 밴드 패스 필터를 통과하여 촬상 소자에 촬상된다.

본 발명의 발명자들의 측정에 따르면, 백열등으로부터의 적외선광이 본 실시예의 카메라 모듈에 촬상된 경우에 그 광이 촬상된 화소 집합에서는 특정 축선을 기준으로 화소들의 강광도를 대비하면, 그래프 C에서와 같이 강광도의 변화율이 매우 미미하게 나타난다. 또한, 태양광으로부터의 적외선광이 본 실시예의 카메라 모듈에 촬상된 경우에 그래프 D에서와 같이 강광도의 변화율이 매우 미미하게 나타난다.

반면, 발광펜(30)으로부터의 적외선광이 본 실시예의 카메라 모듈에 촬상된 경우에는 그래프 E에서와 같이 광강도의 변화율이 2개의 서로 이격된 지점에서 급격히 크게 나타난다.

이러한 측정 결과를 바탕으로, 화소 집합 C는 조명으로 이용된 백열등으로부터의 적외선광, 화소 집합 D는 태양광으로부터의 적외선광, 화소 집합 E는 본 실시예의 발광펜(30)으로부터의 적외선광이 카메라 모듈에 입사하여 촬상된 것으로 판정할 수 있다.

이러한 판정 결과를 바탕으로 하여, 화소 집합 E로 나타나는 적외선광을 발광펜(30)으로부터의 적외선광으로 판정하고, 화소 집합 E의 둘레의 위치로부터 산출되는 중심의 위치를 사용자가 발광펜(30)을 스크린(30)에 위치시킨 지점으로 산출하고, 이를 컴퓨터(40)에의 정보 입력으로 처리한다.

한편, 본 실시예에서의 판정 단계에서는 적외선광으로 판별된 화소 집합에 대하여 화상의 수평축과 평행하고 화소 집합의 중심점을 통과하는 축선(X)을 따라 놓이는 일련의 화소들의 광강도를 대비하였지만, 본 발명은 이에 한정되지 않고, 수평축과 평행하지 않고 수직축과 평행한 축선 또는 임의의 경사를 갖는 축선을 따라 놓인 화소들의 광강도를 대비하여 판정 단계가 수행될 수 있다.

또한, 광강도를 대비하는 화소들이 화소 집합의 중심점을 지나는 어느 하나의 축선에 놓인 것이 바람직하지만, 이에 한정되지 않고 서로 평행한 여러 개의 축선에 대해 광강도를 대비하여 판정 단계를 수행할 수도 있다.

이러한 본 발명의 실시예에 따른 컴퓨터 입력 시스템의 구성과 작동에 따르면, 카메라 모듈에 촬상된 각 프레임의 화상을 다른 프레임의 화상과 대비하는 일이 없이, 특정 프레임의 화상으로부터 발광펜(30)으로부터의 적외선광을 추출하는 데 있어서, 당해 프레임의 화상의 화소들의 광강도를 대비하는 것만으로 오류 없이 발광펜(30)으로부터의 적외선광을 판정하고, 조명이나 태양광과 같은 교란광을 발광펜으로부터의 적외선광으로 판정하는 일이 없게 된다.

이상, 본 발명의 하나의 실시예를 설명하였는바, 본 발명은 이러한 실시예의 구성과 작동에 한정되지 않고 청구범위에 기재된 범위에서 다양한 구성의 부가와 변형 및 수정이 가능하다.

10: 프로젝터 20: 스프린
30: 펜 40: 컴퓨터

Claims (6)

1. 컴퓨터로부터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에서 소정 파장의 적외선광을 발광하는 입력 장치, 디스플레이 장치의 디스플레이 영역을 촬영하는 카메라 장치, 및 카메라 장치에서 촬영한 영상으로부터 입력 장치로부터의 적외선광의 영상을 추출하여 컴퓨터에의 입력 정보로서 처리하는 영상 처리 모듈을 포함하여 구성되는 컴퓨터 입력 시스템에서 입력 장치로부터의 입력 정보를 추출하는 방법으로서,
   카메라 장치로부터의 영상의 각 프레임의 화상에 대하여 화상을 이루는 각각의 화소의 광강도 정보로부터 입사된 적외선광에 상응하는 것으로 판정되는 광강도를 갖는 화소들을 추출하고, 추출된 화소들 중에서 서로 인접한 화소들의 집합을 태양광 또는 조명등을 포함하는 교란광과 구별하여 카메라 장치에 입사된 적외선광으로 판별하는 것인 판별 단계, 및
   판별된 적외선광에 대하여 각 프레임의 화상에서의 소정의 축선에 배치되는 일련의 화소들의 광강도를 상호 대비하여 화소들 사이의 광강도의 변화율이 소정 값을 초과하는 경우에 태양광 또는 조명등을 포함하는 교란광과 구별하여 해당 적외선광을 입력 장치로부터의 적외선광으로 판정하는 것인 판정 단계
   를 포함하는 것인, 입력 정보의 추출 방법.
2. 청구항 1에 있어서,
   상기 판정 단계에서는 상기 축선에서의 화소들의 순서를 제1 변수로 하고, 이 선형 축선에 배치되는 화소들의 광강도값을 제2 변수로 하여, 제1 변수에 따른 제2 변수의 값들의 변화율을 산출하고, 이 변화율에 소정값 이상의 변화율이 나타나는 경우에 해당 적외선광을 입력 장치로부터의 적외선광으로 판정하는 것인, 입력 정보의 추출 방법.
3. 청구항 1에 있어서,
   상기 판별 단계에서는 상기 서로 인접한 화소들의 집합이 소정 크기와 소정 밀집도를 갖는 경우에 카메라 장치에 입사된 적외선광으로 판별하는 것인, 입력 정보의 추출 방법.
4. 삭제
5. 삭제
6. 삭제

Images