KR20200134660A

KR20200134660A - 가시광 발광 소자를 입력 장치로서 이용하는 정보 입력 시스템

Info

Publication number: KR20200134660A
Application number: KR1020190060415A
Authority: KR
Inventors: 박상욱; 김체호; 윤동수
Original assignee: (주) 이즈커뮤니케이션즈
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2020-12-02

Abstract

본 발명은, 컴퓨터로부터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 가시광을 발광하는 발광하는 입력 장치, 디스플레이 장치의 디스플레이 영역을 촬영하는 카메라 장치 및 카메라 장치가 촬영한 영상으로부터 입력 장치의 입력 정보를 추출하는 영상 처리 모듈을 포함하여, 컴퓨터에 정보를 입력하는 정보 입력 시스템에 관한 것으로서, 본 발명의 정보 입력 시스템에서, 상기 영상 처리 모듈은 카메라 장치가 촬영한 영상의 각 프레임을 이루는 이미지의 각 화소의 RGB 값을 HSV 색도계에 의한 HSV값으로 변환하고, 변환된 HSV 값 중에서 색상값과 명도값이 소정의 범위에 드는 화소들에 대하여 입력 장치로부터의 가시광이 입사된 화소들로 판별하고, 컴퓨터가 디스플레이 장치에 전송하는 영상의 좌표계에서의 판별된 화소들의 위치 정보를 산출하여 컴퓨터에 입력되는 정보로서 처리하며, 입력 장치는 HSV 색도계에 의한 H값과 V값이 상기 소정의 범위에 드는 광을 출사하도록 구성되는 발광 소자를 구비하는 것이다.

Description

가시광 발광 소자를 입력 장치로서 이용하는 정보 입력 시스템{Information Input System using a Device Iradiating Visible Light as a Input Device}

본 발명은 컴퓨터에 정보를 입력하는 시스템에 관한 것으로서, 구체적으로는 컴퓨터가 전송하는 영상을 디스플레이하는 디스플레이 영역에 근접하거나 접촉하는 행위 등에 의해 컴퓨터를 제어하거나 각종 정보를 입력할 수 있는 입력 장치로서 가시광 발광 수단을 입력 장치로서 이용하는 정보 입력 시스템에 관한 것이다.

교육 현장이나 비지니스 현장 등에서는 다수의 사람에게 컴퓨터로부터 학습 컨텐츠나 비지니스 컨텐츠를 영상으로 전달하는 일이 빈번하고, 그러한 영상의 제공은 컴퓨터에 연결된 대형의 모니터나 프로젝터와 같은 디스플레이 장치를 이용한다.

터치 패널이 부착된 디스플레이 장치를 이용하는 경우에는 사용자가 디스플레이를 터치하면서 제공되는 영상을 제어하거나 디스플레이 화면에 문자나 도형을 표시하여 컴퓨터에 정보를 입력하고 그 입력된 정보가 다시 디스플레이 화면에 표시되도록 하는 등의 상호 작용이 가능하지만, 컴퓨터가 제공하는 영상을 프로젝터로 스크린에 비추어 제공하는 경우 또는 통상의 LCD 모니터와 같은 화면 입력 기능이 없는 디스플레이 장치를 이용하는 경우에는 사용자가 리모컨 등으로 영상을 진행 또는 정지시키는 동작 외에 디스플레이되는 스크린이나 모니터에서 컴퓨터를 제어하거나 스크린이나 모니터 상에서 도형이나 글자를 표시하여 컴퓨터에 입력되도록 하는 등의 상호 작용이 불가능하다.

이러한 불편함을 해소하기 위한 기술로서는, 국제공개공보 WO2014/005456호(문헌 1)에서 개시하는 '인터렉티브 시스템, 인터렉티브 시스템의 제어 방법 및 프로젝터'에 관한 발명을 포함한 다수의 선행 기술이 있다.

문헌 1의 발명과 같은 인터렉티브 시스템의 구성과 작동에 따르면, 프로젝터는 컴퓨터로부터 입력되는 영상을 스크린에 투사하고, 사람이 사용하는 발광펜은 스크린에 투사된 영상에 대해 적외선을 발광하며, 카메라 장치가 투사된 영상 및 발광펜으로부터의 적외선을 촬영하여, 촬영된 영상에서 발광펜으로부터의 적외선광을 추출하여 투사된 영상 중에서의 적외선광의 좌표에 따라, 사용자가 발광펜으로 특정 이미지나 문자를 표시하거나 특정 정보 입력 행위를 한 것을 판별함으로써 발광펜에 의한 정보 입력이 이루어진다.

그러나, 문헌 1의 발명을 포함한 발광펜과 프로젝터 및 카메라의 상호 작용에 의한 정보 입력이 이루어지는 시스템에서는 발광펜으로부터의 적외선광과 외부 광원으로부터의 적외선광의 식별이 어렵다는 문제가 있다.

이러한 문제를 해결하기 위한 하나의 방안으로서, 이 출원의 출원인에 의한 선출원인 특허출원 제10-2017-0133887호의 공개특허공보 제10-2018-0052081호(문헌 2)에서는 카메라 장치에 특정 파장대의 적외선광과 가시광만을 통과시키는 멀티 밴드 패스 필터를 이용함으로써 외부의 광으로부터의 적외선광과 입력 장치로서의 발광펜으로부터의 적외선광을 판별할 수 있는 구성의 정보 입력 시스템을 개시하고 있다.

그러나, 문헌 1의 특허 출원에서는 효과적으로 외부의 광에 의한 교란을 방지할 수는 있지만, 카메라 장치에 멀티 밴드 패스 필터를 이용하므로 특별한 구성의 카메라 장치를 이용하여야 한다는 문제점이 있다.

문헌 1: 국제공개공보 WO2014/005456호 문헌 2: 대한민국 공개특허공보 제10-2018-0052081호

본 발명은 컴퓨터 등의 정보 기기에 정보를 입력하는 정보 입력 시스템을 구현하려는 것이다.

구체적으로는 컴퓨터가 제공하는 영상이 디스플레이되는 영역에 가시광을 발광하는 입력 장치를 접촉시키거나 근접시키는 동작으로 컴퓨터를 제어하거나 각종 정보가 컴퓨터에 입력되는 정보 입력 시스템을 제공하려는 것이다.

또한, 본 발명은 조명이나 자연광과 같은 외부의 광이 있는 환경에서도 외부의 광에 구애받지 않고 오류를 일으키지 않는 정보 입력 시스템을 제공하려는 것이다.

전술한 본 발명의 해결 과제는,

컴퓨터로부터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 가시광을 발광하는 발광하는 입력 장치, 디스플레이 장치의 디스플레이 영역을 촬영하는 카메라 장치 및 카메라 장치가 촬영한 영상으로부터 입력 장치의 입력 정보를 추출하는 영상 처리 모듈을 포함하여, 컴퓨터에 정보를 입력하는 것인 본 발명에 따른 정보 입력 시스템에 의해 달성된다.

본 발명의 정보 입력 시스템에서,

상기 영상 처리 모듈은 카메라 장치가 촬영한 영상의 각 프레임을 이루는 이미지의 각 화소의 RGB 값을 HSV 색도계에 의한 HSV값으로 변환하고, 변환된 HSV 값 중에서 색상값과 명도값이 소정의 범위에 드는 화소들에 대하여 입력 장치로부터의 가시광이 입사된 화소들로 판별하고, 컴퓨터가 디스플레이 장치에 전송하는 영상의 좌표계에서의 판별된 화소들의 위치 정보를 산출하여 컴퓨터에 입력되는 정보로서 처리하며, 입력 장치는 HSV 색도계에 의한 H값과 V값이 상기 소정의 범위에 드는 광을 출사하도록 구성되는 발광 소자를 구비하는 것이다.

종래로부터 이용되어 오는 발광펜을 이용한 정보 입력 장치나 방법은 주로 가시광과 구별되는 적외광을 주로 사용하고, 촬영된 영상의 RGB 값을 분석하여 발광펜의 적외광을 판별해내는 방법을 이용하고 있다.

그러나, 본 발명의 발명자들은 HSV 색도계를 이용하는 경우에 적외광을 이용하지 않아도 발광펜이 내는 가시광을 다른 광들과 구별할 수 있다는 점에 착안을 하였다.

프로젝터로부터 조사되는 광이나 조명등의 광 또는 실내 공간에 유입되는 여러가지 광이 스크린에 입사되어 반사되었을 때, 그 반사광들의 HSV 색도계에 따른 색상값과 명도값은 비교적 넓은 범위에 걸쳐지지만, 특정 범위의 색상값과 명도값이 포함되지 않는 사실을 알게 되었다.

따라서, 입력 장치인 발광펜이 그러한 특정 범위의 HSV 색도계에 의한 색상값과 명도값을 값는 광을 발광하도록 구성하면, 특별한 구성의 필터나 동기화 장치등을 사용하지 않아도, 단지 카메라 장치의 촬상 소자로부터의 RGB 값을 HSV 색도계에 의한 HSV값으로 변환함으로써 발광펜으로부터의 가시광을 판별해낼 수 있게 되었다.

이와 같은 구성에서는 발광펜으로부터 조사되는 가시광을 스크린을 보는 사람들로 하여금 사용자가 발광펜을 통하여 지시하는 위치를 발광펜으로부터 조사되어 반사되는 가시광을 통하여 즉각 인지할 수 있다는 부수적 효과도 얻을 수 있다.

한편, 본 발명의 발명자들은 다양한 파장대의 광원을 갖춘 발광펜을 구성하고 그에 대한 실험을 통하여, 실내 환경에서 스크린에 조사되어 반사되는 광 중에서 HSV 색도계로 변환한 색조값이 210 ~ 230이고 명도값이 240 이상인 광은 실질적으로 존재하지 않는다는 결론에 도달하였다.

따라서, 본 발명의 정보 입력 시스템의 하나의 실시 양태로서, 영상 처리 모듈은 색조값이 210 ~ 230이고 명도값이 240 이상인 화소들을 입력 장치로부터의 가시광이 입사된 화소로 판별하고, 입력 장치는 색조값이 210 ~ 230이고 명도값이 240 이상인 광을 발광하도록 조합되는 발광 소자들로 구성할 수 있었다.

또한, 이러한 실시 양태에 있어서, 입력 장치가 중심 파장이 각각 450 ㎚ 및 680 ㎚인 복수 개의 발광 소자를 구비하고 발광 소자들의 광 강도를 조정하면, 이 입력 장치로부터 출사되는 가시광은 색조값이 210 ~ 230이고 명도값이 240 이상인 광으로 된다.

도 1은 본 발명의 하나의 실시예에 따른 정보 입력 시스템의 개략적인 구성을 보여주는 도면으로서, 정보 입력 시스템을 이루는 각 요소들이 개념적으로 도시되어 있다.
도 2는 본 발명의 실시예에 따른 발광펜으로부터 가시광이 조사되는 것을 촬영한 사진이다.
도 3 및 도 4는 본 발명의 실시예에 따른 발광펜이 조사되는 벽면을 촬영한 이미지 및 촬영된 이미지를 HSV 색도계에 따른 색상값 또는 명도값으로 전환하여 나타낸 이미지들이다.

이하, 첨부 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 설명한다.

먼저 도 1을 참조하여 본 발명의 하나의 실시예에 따른 정보 입력 시스템을 이루는 요소들에 대해 설명한다.

본 실시예의 정보 입력 시스템은 디스플레이 장치로서 스크린(20) 및 이 스크린에 영상을 투사하는 프로젝터(10), 사용자가 파지하여 사용하며 스크린에 접촉 또는 근접하여 가시광을 발광하도록 구성되는 입력 장치로서의 발광펜(30), 스크린(20)으로부터 반사되는 반사 영상을 촬영하도록 구성되는 카메라 장치(40) 및 카메라 장치와 프로젝터(10)가 접속되고, 카메라 장치가 촬영하는 영상의 정보가 입력되어 발광펜(30)이 표시하는 입력 정보를 추출하는 영상 처리 모듈로서의 기능을 겸하는 컴퓨터(50)로 구성되어 있다.

프로젝터(10)는 컴퓨터(50)에서 실행되는 프로그램의 화면이나 각종의 프리젠테이션 컨텐츠 등의 영상을 스크린(20)에 투사하는 통상적인 구성의 것이다.

스크린(20)은 본 실시예의 정보 입력 시스템이 구현되는 강의실이나 회의실 등의 벽면에 설치되어 필요에 따라 영상이 투사되어 보여질 수 있는 통상의 스크린이지만, 본 발명의 스크린은 별도로 준비되는 스크린(20)에 한정되지 않고, 영상이 투사되어 반사됨으로써 투사된 영상을 사람들이 볼 수 있는 것이라면 충분하고, 예컨대 백색의 편평한 표면으로 이루어지는 건물의 벽면도 본 발명의 스크린으로서 이용될 수 있고, 본 명세서에서 스크린은 프로젝터의 투사 영상을 반사하는 표면을 갖춘 요소를 의미하는 것으로 정의한다.

또한, 본 발명의 디스플레이 장치는 이러한 스크린(20)과 프로젝터(10)에 한정되지 않고, 컴퓨터(50)에 연결되어 컴퓨터(50)의 영상을 디스플레이하는 모니터 등으로 구성될 수도 있다.

카메라 장치(40)는 스크린(20)을 촬영하도록 배치되어 있다. 카메라 장치(40)는 통상적인 카메라와 마찬가지로 입사되는 광을 촬상 소자에 집속하는 렌즈 기구, 렌즈 기구를 통하여 입사되어 집속되는 광을 전기 신호로 변환하는 촬상 소자로서 CMOS 소자 및 CMOS 소자로부터의 전기 신호를 영상 데이터로서 처리하고 저장하는 메모리와 프로세서, 및 카메라 장치에 입사되는 광에서 가시광 대역의 광은 통과시키고 자외선 대역 및 적외선 대역의 광를 차단하는 가시광 필터를 포함하여 구성되는 것이다.

컴퓨터(50)는 입출력 장치, 메모리, 디스플레이 및 프로세서 등을 갖춘 통상의 컴퓨터로 구성되고, 스크린(20)에 투사하려는 영상을 프로젝터(10)로 송신하고 카메라 장치(40)가 촬영한 영상의 정보가 카메라 장치(40)로부터 입력되어 해당 정보를 처리하여 카메라 장치(40)가 촬영한 영상의 정보로부터 발광펜(30)으로부터의 광에 관한 정보를 추출하는 영상 처리 모듈을 갖추고 있다.

본 실시예에서 영상 처리 모듈은 카메라 장치(40)에 마련되어 있지만, 이러한 영상 처리 모듈이 별도의 장치로서 구비되는 것은 아니며, 컴퓨터(50)에서 구동되는 소프트웨어로서 구현되어 있다.

한편, 이러한 영상 처리 모듈은 반드시 컴퓨터(40)에 구비될 필요는 없고, 별도의 하드웨어 장치로서 마련되어 카메라 장치(40)로부터 유선 또는 무선으로 영상 데이터를 전송받아 처리한 후에 발광펜(30)으로부터의 입력 신호를 유선 또는 무선으로 컴퓨터(50)에 송신하도록 구성되거나, 컴퓨터에 마련되는 것과 같은 방식으로 카메라 장치(50)에 마련될 수도 있다.

본 실시예에서 발광펜(30)은, 예컨대 스크린에 근접하여 위치하면서 스크린에 투사되는 영상을 이용하여 프레젠테이션이나 강의를 진행하는 사용자가 스크린에 투사되는 영상을 전환하거나 중지시키는 동작과 같은 컴퓨터(50)의 제어 및 스크린에 문자나 도형 등을 표시하기 위해 사용하는 것이다.

발광펜(30)의 선단에는 특정 파장대역의 가시광을 발광하는 발광 소자들(미도시)이 마련되어 있고 측면에는 이 발광 소자에 전원 공급이 이루어지도록 하는 스위치가 마련되어 있어서, 스위치를 켜면 발광펜(30)의 선단으로부터 가시광이 발광되고 발광된 가시광은 스크린(20)의 표면에서 반사되어, 스크린(20)을 바라보는 사람들의 눈으로 식별된다.

스위치를 대신하여 발광펜(30)의 선단에는 사용자가 발광펜을 스크린(20)의 표면에 접촉시키는 것을 감지하는 터치 센서(미도시)가 마련될 수 있다. 이 경우, 사용자가 발광펜(30)을 스크린(10)에 접촉시키면 발광펜이 가시광을 발광하게 작동한다. 발광펜이 스위치와 터치 센서를 모두 갖추어 스위치가 오프로 된 경우에도 발광펜으로 스크린을 터치하면 발광하도록 구성할 수도 있다.

카메라 장치(40)는 프로젝터(10)에서 스크린(20)에 투사하는 영상을 촬영하고, 스크린(20)의 표면에서 반사되거나 발광펜(30)으로부터 직접 입사되는 발광펜으로부터의 가시광의 영상이 카메라 장치(40)가 촬영한 영상에 포함된다.

카메라 장치(40)가 스크린(20)의 영상을 촬영하면, 촬영된 스크린의 영상에는 스크린에 투사된 프로젝터(10)로부터의 영상과 발광펜(30)의 가시광의 영상이 함께 입사된다.

카메라 장치(40)가 촬영한 영상의 정보는 컴퓨터(50)로 전송되어 컴퓨터의 영상 처리 모듈에서 처리된다. 영상 처리 모듈은 카메라 장치(40)의 촬상 소자로부터의 영상 데이터를 촬영의 각 프레임 별로 판별한다.

입력된 영상의 각 프레임의 영상을 이루는 각각의 화소를 판독하여, 프로젝터(10)가 스크린에 투사한 영상 및 발광펜(30)으로부터의 가시광의 영상을 추출한다.

이로써, 카메라 장치(40)의 영상 처리 모듈은 프로젝터(10)가 투사한 영상과 발광펜(30)으로부터의 가시광의 영상을 대비하여, 발광펜(30)이 프로젝터(10)가 투사한 영상의 어느 지점에 놓였는지, 즉 가시광의 영상의 좌표를 판별할 수 있다.

본 실시예의 발광펜(30)의 발광소자는 중심 파장이 450 ㎚인 청색광과 중심 파장이 680 ㎚인 적색광의 2개 파장대의 광을 발광하는 복수 개의 발광소자로 이루어져 있고, 복수 개의 발광 소자로부터의 광이 렌즈에 의해 집속되어 출사된다.

발광펜(30)으로부터 출사되는 가시광은, 스크린(20)에 조사되어 반사되는 가시광을 카메라 장치(50)로 촬영하고 촬상 소자로부터의 각 화소의 RGB값을 HSV 색도계에 의한 색상값(Hue)은 210 ~ 230의 범위에 있게 되고, 발광 소자들의 출력을 조정하여 명도값(Value)이 240 이상이 되도록 한다.

명도값은 발광소자들의 출력 및 발광소자로부터 스크린(20)까지의 거리에 따라 정해지지만, 발광소자가 마련되는 발광펜(30)은 스크린(20)에 접촉 또는 근접하여 사용되는 것이므로, 발광소자의 출력을 조정함으로써 HSV 색도계에 따른 명도값이 본 실시예에서 얻고자 하는 240 이상으로 맞추어질 수 있다.

발광펜(30)의 발광 상태에서 광원을 중심으로 촬영한 도 2의 사진은 발광펜으로부터의 가시광의 RGB값에 따른 이미지이다.

도 2의 사진에서 볼 수 있듯이, 이렇게 적외선에 근접하는 적색광과 자외선에 근접하는 청색광의 2가지 파장대의 복수 개의 발광 소자로부터 집속되어 출사되는 가시광은, 색상으로서는 청색과 적색이 조합된 보라색의 광으로 식별되지만, 명도가 높은 중심은 흰색에 가깝고 테두리로 갈수록 보라색으로 식별되는 광으로서 출사된다.

사용자가 발광펜(30)을 스크린에 터치하거나 스위치를 눌러 발광펜(30)으로부터 광이 출사되면, 스크린(20)에는 발광펜(30)으로부터의 가시광이 조사되어 반사됨으로써 스크린(20)을 보는 청중들이나 시청자들이 발광펜(30)으로부터의 가시광을 식별할 수 있다.

카메라 장치(40)의 촬상 소자에는 집속 렌즈와 가시광 필터를 통과하여 스크린이 입사되는 광이나 영상들이 입사된다. 입사되는 광은 발광펜(30)으로부터의 가시광, 프로젝터(10)를 통하여 스크린에 조사되는 영상이나 이미지 및 실내의 조명으로부터의 광이나 건물의 외부 등로부터 입사되어 스크린(20)에 의해 반사되는 것이다.

카메라 장치(40)는 촬상소자에 입사된 광의 각 화소에서의 RGB 값을 영상의 각 프레임 별로 컴퓨터(50)에 전송한다.

컴퓨터(50)의 영상 처리 모듈은, 카메라 장치(40)로부터 수신하는 촬상된 영상의 각 프레임의 정보 중에서 각 화소에서의 RGB 값을 HSV 색도계에 의한 색상(Hue), 채도(Saturation), 명도(Value)의 값으로 변환하고, 변환된 HSV 색도계에 의한 색상(Hue), 채도(Saturation), 명도(Value)의 값 중에서 색상값(H 값)이 220 ± 10이고 명도값(V값)이 240 이상인 화소들을 추출한다.

발광펜(30)의 복수 개의 발광 소자로부터 발광되고 렌즈에서 의해 집속되어 출사되는 가시광은 HSV 색도계에 의한 색상값(H)과 명도값(V)이 각각 220 ± 10 및 240 이상으로 되므로, 영상 처리 모듈이 추출한 화소들은 발광펜(30)에서 출사되어 스크린(20)에서 반사되거나 직접 카메라 장치(40)에 입사된 가시광이 입사된 화소들이다.

태양광이 직접 조사되지 않는 실내 환경에서는 벽면으로부터 반사되는 태양광, 커튼 등을 통과하여 입사하는 태양광, 조명으로부터의 광, 프로젝터(10)에서 출사되고 스크린에 투사되어 반사되는 광 등이 스크린(20)에 투사되어 카메라 장치(40)에 입사되고, 이 중에서 적외선 및 자외선 파장대의 광은 카메라 장치의 가시광 필터에 의해 차단되며, 여러 광들 중에서 가시광 성분이 입사된다.

본 발명자들에 의한 수차례의 실험에 따르면, 이러한 각종의 실내에 존재하여 스크린(20)에 투사되는 광들 중에서 HSV 색도계에 의한 색상값(H)이 220 ± 10이고 명도값(V값)이 240 이상인 2가지 조건을 모두 만족하는 광은 실질적으로 존재하지 않고, 본 실시예에 의한 발광펜(30)으로부터의 가시광만이 그러한 조건을 모두 만족한다.

도 3의 (a)는 사용자가 벽면에 각종 색상을 갖는 색상지(1)를 부착한 후에, 카메라 장치(40)가 벽면을 촬영한 사진이다.

이 사진에서 사용자는 가시광을 발광하고 있는 발광펜(30)을 파지하여 발광펜(30)으로부터의 가시광이 색상지(1)의 흰색 부분에 조사되도록 하고 있다. 도 3의 (a)의 사진은 카메라 장치(40)의 촬상 소자에 입사된 광의 RGB 값에 따른 이미지이며, 이는 실제로 사람의 육안으로 관찰되는 이미지와 실질적으로 동일하다.

이 사진에서는 발광펜(30)으로부터의 가시광이 육안으로 식별된다. 따라서, 본 실시예의 발광펜(30)으로부터의 가시광은 스크린(20)을 주시하는 청중이나 시청자가 식별 가능한 것임을 알 수 있다.

도 3의 (b)는 도 3의 (a)의 사진과 같이 표현되는 이미지의 RGB 값을 영상 처리 모듈이 HSV 색도계에 따른 HSV값으로 변환한 것에서 색상값(H값)을 그레이 스케일의 이미지로 나타낸 것이다.

색상값(Hue)은 0 ~ 360까지의 값으로 나타내며, 이중에서 210 ~ 230은 통상 보라색이라고 불리우는 색상에 해당하는 것이어서, 발광펜(30)의 2가지 파장대의 광이 조합된 광의 색상을 나타낸다.

영상 처리 모듈은 H값이 210 ~ 230인 값을 1로, 나머지 값을 0으로 이진화하고, 이진화한 H값이 1인 화소만을 추출한다. 이렇게 추출된 화소만을 나타낸 영상이 도 3의 (c)이다.

도 3의 (c)의 이미지에서 알 수 있듯이, 카메라 장치가 촬영한 영상의 이미지에서 H값이 210 ~ 230에 드는 부분은 발광펜(30)이 출사하는 광 외에도 다른 광이 포함되어 있다.

다음으로 도 4를 살펴보면, (a)는 영상 처리 모듈도 3의 (a)의 사진과 같이 표현되는 이미지의 RGB 값을 영상 처리 모듈이 HSV 색도계에 따른 HSV값으로 변환한 것에서 명도값(Value)을 그레이 스케일로 나타낸 이미지이고, (b)는 이중에서 V값이 240이 넘는 화소를 1로, 미만인 화소를 0으로 이진화하여 나타낸 이미지이다.

도 4의 (b)에서와 같이, V값이 240 이상인 부분은 발광펜(30)의 가시광 외에도 다른 부분이 표시되고 있다.

도 4의 (c)는 도 3의 (c)에 나타낸 바와 추출 결과와 도 4의 (b)에 나타낸 추출 결과를 합산한 결과, 즉 H값이 210 ~ 230이고 V값이 240 이상인 화소만을 나타낸 이미지이다.

여기에는 나머지 모든 이미지는 사라지고, 발광펜(30)으로부터 조사되는 가시광이 조사되는 화소들(2)만이 표시되어 있다.

이상과 같이, 각종의 색상지(1)가 부착되고 각종 외부광이 투사되며 사용자가 서있는 벽면을 촬영하고 본 실시예의 구성에 따라 처리한 도 3 및 도 4의 이미지에서와 같이 발광펜(30)으로부터의 가시광이 조사된 화소들이 추출된다.

카메라 장치(40)에 의한 스크린의 촬영에 앞서, 카메라 장치(40)에 입사되는 스크린의 영상에 대한 좌표계 설정이 이루어진다. 좌표계 설정에서는 카메라 장치(40)가 촬영하는 영상의 좌표계를 프로젝터(10)를 통하여 스크린(20)에 투사하는 영상의 좌표계에 맞추어 놓는다.

영상 처리 모듈에서는 색상값(H 값)이 220 ± 10이고 명도값(V값)이 240 이상인 것으로 판별된 화소들의 중심점을 산출하고 산출된 중심점의 좌표를 산출한다. 산출된 좌표는 프로젝터(10)를 통하여 스크린(20)에 투사하는 영상의 좌표계에 맞추어져 있으므로, 영상 처리 모듈은 산출된 중심점의 좌표를 발광펜(30)으로부터의 가시광이 스크린(20)에 투사된 프로젝터(10)로부터의 영상의 어느 좌표에 해당하는지를 산출한다/

그렇게 산출된 좌표는 컴퓨터에의 입력 정보로서 처리된다.

컴퓨터(50)는 해당 좌표에 대한 영상 처리 모듈로부터의 입력 정보를 사용자가 발광펜(30)을 통하여 표시하거나 입력하려는 정보로서 처리하여, 예컨대 일련의 영상의 프레임들에서 발광펜(30)으로부터의 가시광이 입력되는 화소의 좌표들이 특정 선분을 형성하는 것이라면, 사용자가 해당 선분을 스크린에 표시하려는 것으로 판별하고, 프로젝터(40)를 통하여 해당 선분을 스크린(20)에 투사할 수 있다.

이상 설명한 바와 같이, 본 실시예의 정보 입력 시스템에서는 2개 파장대의 광을 출사하는 발광펜(30) 외에는 별도의 특별한 장치를 사용하지 않고 단지 영상 처리 모듈에서 카메라 장치로부터의 정보를 변환하는 작업만으로도 발광펜(30)으로부터의 가시광을 다른 광이나 이미지와 구별하고 발광펜(30)의 움직임 등을 컴퓨터에의 입력 정보로서 처리할 수 있다.

한편, 본 실시예에서는 HSV 색도계에 의한 H값이 220 ± 10이고, V값이 240인 화소를 발광펜(30)으로부터의 가시광으로 판별하고, 발광펜의 광원으로써 중심 파장이 각각 450 ㎚ 및 680 ㎚인 2가지의 발광 소자를 조합하고 있지만, HSV 색도계에 의한 H값 및 V값이 본 실시예에서 특정하는 범위와 다른 범위에 있는 것을 발광펜(30)으로부터의 가시광으로 판별하는 것으로 영상 처리 모듈을 구성하고, 발광펜의 발광 소자는 그러한 HSV 색도계에 의한 값을 갖는 것으로 서로 다른 파장대를 갖는 발광 소자들을 조합하여 구성하거나 단일 파장대의 발광 소자들로 구성할 수도 있다.

이상, 본 발명의 하나의 실시예를 설명하였는바, 본 발명은 이러한 실시예의 구성과 작동에 한정되지 않고 청구범위에 기재된 범위에서 다양한 구성의 부가와 변형 및 수정이 가능하다.

10: 프로젝터 20: 스크린
30: 발광펜 40: 카메라 장치
50: 컴퓨터

Claims

컴퓨터로부터의 영상을 디스플레이하는 디스플레이 장치, 디스플레이 장치가 영상을 디스플레이하는 디스플레이 영역에 접촉 또는 근접함으로써 또는 사용자의 조작에 의해 가시광을 발광하는 발광하는 입력 장치, 디스플레이 장치의 디스플레이 영역을 촬영하는 카메라 장치 및 카메라 장치가 촬영한 영상으로부터 입력 장치의 입력 정보를 추출하는 영상 처리 모듈을 포함하여, 컴퓨터에 정보를 입력하는 정보 입력 시스템으로서,
상기 영상 처리 모듈은 카메라 장치가 촬영한 영상의 각 프레임을 이루는 이미지의 각 화소의 RGB 값을 HSV 색도계에 의한 HSV값으로 변환하고, 변환된 HSV 값 중에서 색상값(Hue)과 명도값(Value)이 소정의 범위에 드는 화소들에 대하여 입력 장치로부터의 가시광이 입사된 화소들로 판별하고, 컴퓨터가 디스플레이 장치에 전송하는 영상의 좌표계에서의 판별된 화소들의 위치 정보를 산출하여 컴퓨터에 입력되는 정보로서 처리하며,
입력 장치는 HSV 색도계에 의한 H값과 V값이 상기 소정의 범위에 드는 광을 출사하도록 구성되는 발광 소자를 구비하는 것인, 정보 입력 시스템.
청구항 1에 있어서,
영상 처리 모듈은 색조값이 210 ~ 230이고 명도값이 240 이상인 화소들을 입력 장치로부터의 가시광이 입사된 화소로 판별하고,
입력 장치는 색조값이 210 ~ 230이고 명도값이 240 이상인 광을 발광하도록 조합되는 발광 소자들로 구성되는 것인, 정보 입력 시스템.
청구항 2에 있어서,
입력 장치는 중심 파장이 각각 450 ㎚ 및 680 ㎚인 복수 개의 광원을 구비하고, 카메라 장치는 가시광 카메라인 것인, 정보 입력 시스템.