KR101353110B1

KR101353110B1 - 투영 화상 영역 검출 장치, 투영 화상 영역 검출 시스템, 및 투영 화상 영역 검출 방법

Info

Publication number: KR101353110B1
Application number: KR1020127004608A
Authority: KR
Inventors: 유우지 가스야; 다다시 아라키; 게이지 오무라
Original assignee: 가부시키가이샤 리코
Priority date: 2009-09-10
Filing date: 2010-09-06
Publication date: 2014-01-17
Also published as: BR112012005149A2; EP2476258A1; JP2011081775A; US8870386B2; CA2770417A1; CN102484724A; WO2011030878A1; KR20120043013A; EP2476258A4; JP5521855B2; CA2770417C; US20120127323A1

Abstract

투영 화상 영역 검출 장치는 투영 화상을 포함하는 투영 화상 영역을 촬영하여 얻은 촬영 화상에서 마커 화상 영역을 검출하도록 구성되는 투영 화상 영역 검출 유닛을 포함한다. 마커 화상 영역은 투영 화상 영역의 4개 코너를 식별하는데 이용되는 마커 화상을 포함한다. 투영 화상 영역 검출 유닛은 시간의 경과에 따라 계속해서 변하는 마커 화상 영역에 포함된 색상을 식별함으로써 마커 화상 영역을 검출한다.

Description

투영 화상 영역 검출 장치, 투영 화상 영역 검출 시스템, 및 투영 화상 영역 검출 방법{PROJECTION IMAGE AREA DETECTING DEVICE, PROJECTION IMAGE AREA DETECTING SYSTEM, AND PROJECTION IMAGE AREA DETECTING METHOD}

본 발명은 투영 화상 영역 검출 장치에 관한 것이며, 더 구체적으로는 투영 장치에 의해 투영 대상물에 투영된 화상을 촬영 장치로 촬영하여, 그 촬영 화상에 기초해서 투영 화상이 투영되는 영역을 검출하기 위한 투영 화상 영역 검출 장치에 관한 것이다.

종래로부터, 투영 화상의 4개 코너를 특정하기 위한 마커 화상을 투영 화상에 부가하는 기술이 있다. 투영 장치가 그 투영 화상을 화이트보드 등의 투영 대상물에 투영시킨다. 촬영 장치가 그 투영 화상을 촬영한다. 검출 장치는 그 촬영 화상에서 마커 화상이 투영되는 영역을 검출한다. 따라서, 화상을 원격 표시 장치에서 표시하기 전에 촬영 화상의 투영 왜곡을 보정할 수 있다. 또한, 투영 대상물 위에 지정된 좌표가 실제 화상의 좌표로 변환되고, 변환된 좌표는 기록될 수 있다.

도 18은 투영 대상물 위에 지정된 좌표를 실제 화상의 좌표로 변환하여 변환된 좌표를 기록하는 예를 나타내고 있다. 투영 화상의 4개 코너에 있는 마커 화상(90A∼90D) 외에도 보조 마커 화상(90E)이 투영 장치에 의해 투영된다. 따라서, 마커 화상(90A∼90D)의 오검출을 방지하여, 좌표의 변환 정확도가 향상된다(예컨대, 특허문헌 1 참조).

그러나, 전술한 종래의 기술은 다음과 같은 문제를 갖고 있다. 투영 장치, 투영 대상물, 촬영 장치가 설치되어 있고, 투영 화상이 투영되는 투영 화상 영역이 촬영 화상에 기초해서 검출된다고 상정한다. 그러나, 투영 장치, 투영 대상물, 촬영 장치 간의 상대 위치가 진동 등의 어떤 이유로 인해 변한다면, 검출된 투영 화상 영역이 부적절해질 수 있다. 따라서, (진동 후에)사용자 조작에 의해 투영 화상 영역이 다시 한번 검출되지 않는다면, 부정확한 투영 화상 영역이 인식된다.

일본 특허 출원 공개 제2008-225553호

본 발명은 전술한 문제를 감안하여 이루어진 것으로, 본 발명의 적어도 하나의 실시형태의 목적은 투영 장치, 투영 대상물, 촬영 장치 간의 상대 위치 관계의 변화에 따라, 투영 화상이 투영되는 투영 화상 영역을 촬영 화상으로부터 검출할 수 있는 투영 화상 영역 검출 장치를 제공하는 것이다.

본 발명의 일 양태에 따르면, 투영 화상 영역 검출 장치는 투영 화상을 포함하는 투영 화상 영역을 촬영하여 얻은 촬영 화상에서, 그 투영 화상 영역의 4개 코너를 식별하는데 이용되는 마커 화상을 포함하는 마커 화상 영역을 검출하도록 구성되는 투영 화상 영역 검출 유닛을 포함하고, 상기 투영 화상 영역 검출 유닛은 시간의 경과에 따라 계속해서 변하는 상기 마커 화상 영역에 포함된 색상을 식별함으로써 마커 화상 영역을 검출한다.

본 발명의 일 양태에 따르면, 투영 화상 영역 검출 시스템은 투영 대상물 위에 투영 화상을 투영시키도록 구성되는 투영 장치와, 그 투영 대상물 위에 투영된 투영 화상을 포함하는 투영 화상 영역을 촬영하여 촬영 화상을 얻도록 구성되는 촬영 장치와, 투영 화상 영역 검출 장치를 포함하고, 이 투영 화상 영역 검출 장치는 촬영 장치에 의해 얻어진 촬영 화상에서, 그 촬영 화상 영역의 4개 코너를 식별하는데 이용되는 마커 화상을 포함하는 마커 화상 영역을 검출하여, 그 촬영 화상에서 투영 화상을 포함하는 투영 화상 영역을 검출하도록 구성되는 투영 화상 영역 검출 유닛과, 색상이 시간의 경과에 따라 변하는 특정 영역을 포함하는 마커 화상을 생성하도록 구성되는 마커 화상 생성 유닛과, 그 마커 화상 생성 유닛에 의해 생성된 마커 화상을 상기 투영 화상에 부가하도록 구성되는 마커 화상 부가 유닛과, 마커 화상이 부가된 투영 화상을 상기 투영 장치에 공급하도록 구성되는 화상 공급 유닛을 포함하며, 상기 투영 화상 영역 검출 유닛은 시간의 경과에 따라 계속해서 변하는 상기 마커 화상 영역에 포함된 색상을 식별함으로써 상기 촬영 화상에서 마커 화상 영역을 검출하여, 그 촬영 화상에서 투영 화상 영역을 검출한다.

본 발명의 일 양태에 따르면, 투영 화상 영역 검출 방법은 투영 화상을 포함하는 투영 화상 영역을 촬영하여 얻은 촬영 화상에서, 그 투영 화상 영역의 4개 코너를 식별하는데 이용되는 마커 화상을 포함하는 마커 화상 영역을 검출하는 단계를 포함하고, 상기 마커 화상 영역을 검출하는 단계는 시간의 경과에 따라 계속해서 변하는 상기 마커 화상 영역에 포함된 색상을 식별하는 단계를 포함한다.

본 발명의 일 양태에 따르면, 촬영 화상으로부터, 투영 장치, 투영 대상물, 촬영 장치 간의 상대 위치의 변화에 따라, 투영 화상이 투영되는 투영 화상 영역을 검출할 수 있는 투영 화상 영역 검출 장치가 제공된다.

도 1은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 시스템을 도시하는 도면이다.
도 2는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 시스템에 포함된 투영 화상 영역 검출 장치의 하드웨어 구성을 도시하는 도면이다.
도 3은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 시스템에 포함된 투영 화상 영역 검출 장치의 기능 블록도이다.
도 4는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치의 마커 화상 생성 유닛에 의해 생성된 마커 화상의 예를 도시하는 개념도이다.
도 5는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치의 마커 화상 생성 유닛에 의해 생성된 마커 화상의 다른 예를 도시하는 개념도이다.
도 6은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치의 마커 화상 부가 유닛에 의해 마커 화상이 부가된 투영 화상의 예를 도시하는 개념도이다.
도 7a와 도 7b는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치의 마커 화상 생성 유닛에 의해 생성된 마커 화상의 다른 예를 도시하는 개념도로서, 도 7a는 삼각형 마커 화상을, 도 7b는 왜곡된 삼각형 마커 화상을 도시한다.
도 8은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치의 투영 화상 영역 검출 유닛이 차분 화상을 생성할 때에 참조되는 함수의 일례를 도시하는 그래프이다.
도 9는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치의 투영 화상 영역 검출 유닛에 의해 촬영 화상에서 마커 화상 영역을 검출하는 예를 도시하는 개념도이다.
도 10은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치의 투영 화상 영역 검출 유닛에 의해 수행되는 템플릿 매칭에 이용되는 템플릿 화상의 일례를 도시하는 개념도이다.
도 11은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치의 투영 화상 영역 검출 유닛에 의해 수행되는 템플릿 매칭을 설명하기 위한 개념도이다.
도 12는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치에 의해 수행되는 투영 화상 공급 동작을 설명하기 위한 흐름도이다.
도 13은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치에 의해 수행되는 초기 검출 모드에서의 보정 계수 산출 동작을 설명하기 위한 흐름도이다.
도 14는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치에 의해 수행되는 동적 검출 모드에서의 보정 계수 산출 동작을 설명하기 위한 흐름도이다.
도 15는 본 발명의 제2 실시형태에 따른 투영 화상 영역 검출 시스템을 도시하는 도면이다.
도 16은 본 발명의 제2 실시형태에 따른 투영 화상 영역 검출 시스템에 포함된 투영 화상 영역 검출 장치의 하드웨어 구성을 도시하는 도면이다.
도 17은 본 발명의 제2 실시형태에 따른 투영 화상 영역 검출 시스템에 포함된 투영 화상 영역 검출 장치의 기능 블록도이다.
도 18은 종래의 프로젝터 시스템에 의해 투영되는 화상의 예를 도시하는 도면이다.

이하, 본 발명의 실시형태들에 대해 첨부 도면을 참조하여 설명한다.

도 1은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 시스템(1)을 도시하고 있다. 도 1에 도시하는 바와 같이, 투영 화상 영역 검출 시스템(1)은 투영 대상물로서 기능하는 화이트보드(2)에 화상을 투영시키는 투영 장치(3)와, 화이트보드(2)에 투영된 화상을 포함하는 영역을 촬영하는 촬영 장치(4)와, 투영 화상이 투영되는 투영 화상 영역을 촬영 화상으로부터 검출하는 투영 화상 영역 검출 장치(5)를 포함한다.

본 실시형태에서는 화이트보드가 투영 대상물로서 적용된다. 그러나, 본 발명은 여기에 한정되지 않으며, 스크린이나 종이가 투영 대상물로서 적용될 수도 있다.

투영 장치(3)는 범용 프로젝터일 수 있다. 투영 장치(3)는 투영 화상 영역 검출 장치(5)에 의해 송신된 화상을 투영시킨다. 투영 장치(3)는 화이트보드(2)의 묘화 영역에 투영 범위가 포함되도록 배치된다.

촬영 장치(4)는 범용 카메라일 수 있다. 촬영 장치(4)는 0.5초마다 한번 또는 1초마다 한번 등의 미리 설정된 시간 간격으로 화이트보드(2)에 표시된 화상을 촬영한다. 촬영 장치(4)는 그 촬영 화상을 투영 화상 영역 검출 장치(5)에 송신한다. 촬영 장치(4)는 투영 장치(3)의 투영 영역을 촬영할 수 있도록 배치된다.

도 2는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 시스템(1)에 포함된 투영 화상 영역 검출 장치(5)의 하드웨어 구성을 도시하고 있다. 도 2에 도시하는 바와 같이, 투영 화상 영역 검출 장치(5)는 CPU(Central Processing Unit)(10)와, RAM(Random Access Memory)(11)과, ROM(Read Only Memory)(12)과, 하드 디스크 장치(13)와, 키보드와 포인팅 디바이스를 포함하는 입력 장치(14)와, 액정 디스플레이를 포함하는 디스플레이 유닛(15)과, 투영 장치(3)와 촬영 장치(4) 등의 외부 장치들과 통신하기 위한 디바이스 통신 모듈(16)과, 네트워크를 통해 접속된 외부 장치들과 통신하기 위한 네트워크 통신 모듈(17)을 포함하는 범용 컴퓨터이다.

ROM(12)과 하드 디스크 장치(13)는 그 컴퓨터로 하여금 투영 화상 영역 검출 장치(5)로서 기능하게 하는 프로그램을 저장하고 있다. 즉, CPU(10)가 RAM(11)을 작업 영역으로서 이용하여 ROM(12)과 하드 디스크 장치(13)에 저장된 프로그램을 실행할 때, 컴퓨터가 투영 화상 영역 검출 장치(5)로서 기능한다.

도 3은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 시스템(1)에 포함된 투영 화상 영역 검출 장치(5)의 기능 블록도이다. 도 3에 도시하는 바와 같이, 투영 화상 영역 검출 장치(5)는 투영 장치(3)에 의해 투영된 투영 화상의 4개 코너를 특정하기 위한 마커 화상을 생성하는 마커 화상 생성 유닛(20)과, 마커 화상 생성 유닛(20)에 의해 생성된 마커 화상을 투영 화상에 부가하는 마커 화상 부가 유닛(21)과, 마커 화상이 부가된 투영 화상을 투영 장치(3)에 공급하는 화상 공급 유닛(22)과, 촬영 장치(4)에 의해 촬영된 촬영 화상으로부터, 투영 화상이 투영되는 투영 화상 영역을 검출하는 투영 화상 영역 검출 유닛(23)과, 투영 화상 영역 검출 유닛(23)에 의해 검출된 투영 화상 영역에 기초해서, 촬영 화상에서 투영 왜곡을 보정하는 화상 보정 유닛(24)과, 화상 보정 유닛(24)에 의해 보정된 촬영 화상으로부터, 투영 화상이 투영되는 투영 화상 영역을 추출하는 투영 화상 추출 유닛(25)을 포함한다.

마커 화상 생성 유닛(20), 마커 화상 부가 유닛(21), 투영 화상 영역 검출 유닛(23), 화상 보정 유닛(24) 및 투영 화상 추출 유닛(25)은 CPU(10)에 의해 구현된다. 화상 공급 유닛(22)은 디바이스 통신 모듈(16)에 의해 구현된다.

본 실시형태에 있어서, 투영 화상은 디스플레이 유닛(15)의 표시 화면 페이지에 해당한다. 그러나, 투영 화상은 투영 화상 영역 검출 장치(5)로서 기능하는 컴퓨터에 의해 실행되는 프리젠테이션 소프트웨어 등의 애플리케이션에 의해 작성된 화상일 수도 있다. 투영 화상은 원격지에 있는 다른 투영 화상 영역 검출 장치(5) 등의 외부 장치로부터 네트워크 통신 모듈(17)을 통해 수신된 화상일 수도 있다.

도 4는 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치(5)의 마커 화상 생성 유닛에 의해 생성된 마커 화상을 도시하는 개념도이다. 마커 화상 생성 유닛(20)은 배색이 시간의 경과에 따라 변하는 마커를 마커 화상(30)으로서 생성한다. 도 4에 도시한 예에서는 마커 화상 생성 유닛(20)에 의해 생성된 마커 화상(30)의 미리 정해진 특정 영역(31)에서 배색이 변한다. 구체적으로, R(적색 성분), G(녹색 성분), B(청색 성분)의 색성분이 시간의 경과에 따라 (255, 0, 0), (235, 20, 0), (215, 40, 0), (195, 60, 0)과 같이 변한다. 이런 식으로, 매 시간 프레임마다 적색 성분은 20씩 감소하고 녹색 성분은 20씩 증가한다.

특정 영역(31)에서의 임의의 색성분이 0 또는 255 이상이 될 때, 마커 화상 생성 유닛(20)은 특정 영역(31)의 배색을 초기 배색 (255, 0, 0)으로 바꾼다.

마커 화상 생성 유닛(20)은 촬영 화상에서 식별할 수 있도록 단순한 패턴을 갖고 주기적인 패턴이 없는 마커 화상을 생성한다. 예컨대, 도 5에 도시한 마커 화상(40, 41)이 마커 화상 생성 유닛(20)에 의해 생성되는 마커 화상으로서 바람직하다.

한편, 도 5에 도시한 마커 화상(42, 43)은 패턴이 주기적이기 때문에 마커 화상 생성 유닛(20)에 의해 생성되는 마커 화상으로서 바람직하지 못하다. 이것은, 패턴의 주기와, 촬영 화상에 투영된 마커 화상의 시프트량이 일치하면, 투영 화상 영역 검출 장치(5)가 마커 화상에 시프트가 없다고 잘못 검출할 수도 있기 때문이다.

도 3을 다시 참조하면, 마커 화상 부가 유닛(21)은 도 6에 도시하는 바와 같이, 투영 화상(50)의 4개 코너에 마커 화상(51A∼51D)을 부가한다. 도 6에서, 마커 화상(51A∼51D)은 도 4에 도시한 바와 같이 직사각 형상을 갖지만, 본 발명에 따른 마커 화상은 직사각형 이외의 형상을 가질 수도 있다.

예컨대, 마커 화상은 도 7a에 도시하는 바와 같이 삼각형일 수도 있다. 또한, 마커 화상은 투영 화상의 4개 코너의 각각에 대응하는 정점을 갖는 것이라면, 도 7b에 도시하는 바와 같이 왜곡된 형상일 수도 있다. 그러나, 투영 화상의 4개 코너를 쉽게 식별하기 위해서, 마커 화상은 투영 화상의 4개 코너의 각각에 대응하는 정점을 갖는, 삼각형이나 정사각형 등의 다각형 또는 부채꼴인 것이 바람직하다.

도 6에 도시하는 바와 같이, 각 마커 화상(51A∼51D)은 4개 코너 중 하나에 내접하도록 배치된다. 그러나, 마커 화상 부가 유닛(21)은 투영 화상(50)의 4개 코너가 식별될 수 있다면, 투영 화상(50) 내의 어떤 위치에도 마커 화상(51A∼51D)을 부가할 수 있다.

또한, 도 6에 도시한 마커 화상(51A∼51D)은 모두 같지만, 마커 화상 생성 유닛(20)은 마커 화상(51A∼51D)으로서 상이한 화상들을 생성할 수도 있다.

다시 도 3을 참조하면, 화상 공급 유닛(22)은 마커 화상이 부가된 투영 화상을 투영 장치(3)가 투영시키도록 화상을 투영 장치(3)에 공급한다.

투영 화상 영역 검출 유닛(23)은 마커 화상이 투영되는 마커 화상 영역을, 촬영 장치(4)에 의해 촬영된 촬영 화상으로부터 검출한다. 따라서, 투영 화상 영역 검출 유닛(23)은 투영 화상이 투영되는 투영 화상 영역을 촬영 화상으로부터 검출한다.

마커 화상 영역을 검출할 때에, 투영 화상 영역 검출 유닛(23)은 2개의 모드, 즉 초기 검출 모드와 동적 검출 모드를 이용한다. 투영 화상 영역 검출 유닛(23)은 처음에는 초기 검출 모드를 이용한 후, 동적 검출 모드로 천이한다.

초기 검출 모드에서, 투영 화상 영역 검출 유닛(23)은 촬영된 시각이 다른 2개의 촬영 화상(예컨대, 2개의 시간 프레임에서 연속 촬영된 촬영 화상)을 스캔한 다음, 스캔된 촬영 화상 간의 차분 화상을 생성한다.

이하, 촬영 화상이 촬영된 시각을 t로서 표현하고, 화소의 좌표를 (x, y)로 표현한다. 따라서, 시각 t에 촬영된 촬영 화상에서의 화소의 색성분의 값은 R(t, x, y), G(t, x, y), B(t, x, y)로 표현된다.

예컨대, 특정 색성분(R, G, B 중 어느 하나, 또는 R, G, B의 조합. 이하, "특정 색성분"이라고 함)에 대해 차분값이 구해질 수 있다. 투영 화상 영역 검출 유닛(23)은 미리 정해진 임계값(TH)을 초과하는 차분값을 갖는 화소가 유효색이고 그 외 화소는 무효색인 차분 화상을 생성한다.

이 경우에, 마커 화상 생성 유닛(20)은 다음의 특징을 갖는 마커 화상을 생성한다. 즉, 특정 영역에서의 특정 색성분은 매 시간 프레임마다 임계값(TH)을 초과하는 양만큼 변하지만, 특정 영역 이외의 영역에서의 특정 색성분은 매 시간 프레임마다 임계값(TH)을 초과하지 않는 양만큼 변한다.

투영 화상 영역 검출 유닛(23)은 다음과 같은 특징을 갖는 차분 화상을 생성할 수 있다. 즉, 유효색은 미리 정해진 제1 임계값(TH1)을 초과하며 특정 색성분에 대응하는 차분값을 갖는 화소와, 미리 정해진 제2 임계값(TH2)보다 낮고 특정 색성분(이하, "비특정 색성분") 이외의 색상에 대응하는 차분값을 갖는 화소로 형성된다. 또한, 무효색은 상기 이외의 화소로 형성된다.

이 경우에, 마커 화상 생성 유닛(20)은 다음과 같은 특징을 갖는 마커 화상을 생성한다. 즉, 특정 영역에서, 특정 색성분은 매 시간 프레임마다 제1 임계값(TH1)을 초과하는 양만큼 변하지만, 비특정 색성분은 매 시간 프레임마다 제2 임계값(TH2)을 초과하지 않는 양만큼 변한다. 더욱이, 특정 영역 이외의 영역에서, 특정 색성분은 매 시간 프레임마다 제1 임계값(TH1)을 초과하지 않는 양만큼 변하거나, 비특정 색성분은 매 시간 프레임마다 제2 임계값(TH2)을 초과하는 양만큼 변한다.

투영 화상 영역 검출 유닛(23)은 다음과 같은 특징을 갖는 차분 화상을 생성할 수 있다. 즉, 제1 유효색(예컨대, 적색)은 미리 정해진 제3 임계값(TH3)을 초과하며 제1 특정 색성분에 대응하는 차분값을 갖는 화소로 형성된다. 제2 유효색(예컨대, 청색)은 미리 정해진 제3 임계값(TH3)을 초과하며 제2 특정 색성분에 대응하는 차분값을 갖는 화소로 형성된다. 또한, 무효색(예컨대, 백색)은 상기 이외의 화소로 형성된다.

이 경우에, 마커 화상 생성 유닛(20)은 다음과 같은 특징을 갖는 마커 화상을 생성한다. 즉, 제1 특정 영역에서, 제1 특정 색성분은 매 시간 프레임마다 제3 임계값(TH3)을 초과하는 양만큼 변한다. 제2 특정 영역에서, 제2 특정 색성분은 매 시간 프레임마다 제3 임계값(TH3)을 초과하는 양만큼 변한다. 제1 및 제2 특정 영역 이외의 영역에서, 제1 특정 색성분 또는 제2 특정 색성분은 매 시간 프레임마다 제3 임계값(TH3)을 초과하지 않는 양만큼 변한다.

투영 화상 영역 검출 유닛(23)은 특정 색성분의 차분값과 임계값을 단순히 비교하는 것 이외의 방법으로 차분 화상을 생성할 수도 있다. 즉, 투영 화상 영역 검출 유닛(23)은 도 8에 도시하는 바와 같이, 임계값 부근의 기울기가 원활한(smooth) 함수에 의해 얻어지는 값에 기초해서 차분 화상을 생성할 수도 있다.

본 실시형태에서, 투영 화상 영역 검출 유닛(23)은 임계값(TH)을 초과하며 R 성분에 대응하는 차분값을 갖는 화소가 유효색(흑색)이고 다른 화소는 무효색(백색)인 차분 화상을 생성한다.

차분 화상이 생성되면, 투영 화상 영역 검출 유닛(23)은 흑색 화소로 형성된 영역의 외접 직시각형을 추출한다. 추출된 외접 직사각형 중에서, 미리 정해진 상한값을 초과하는 면적을 갖는 것과 미리 정해진 하한값보다 낮은 면적을 갖는 것은 차분 화상에서 제외된다. 상한값과 하한값은 투영 화상에 대한 마커 화상의 면적 비율과 촬영 화상의 면적에 기초해서 계산되는 마커 화상 영역의 실제 면적에 따라 미리 결정된다.

대응하는 외접 직사각형이 제외되면, 투영 화상 영역 검출 유닛(23)은 마커 화상의 각과 선을 검출함으로써, 투영 화상 영역을 검출한다. 예컨대, 도 9에 도시하는 바와 같이, 각각의 마커 화상(53)이 투영되는 마커 화상 영역을 검출하기 위해서, 차분 화상은 그 차분 화상의 각각의 코너의 이등분선(52)을 서브 스캐닝 방향으로서 이용하여 대각선으로 스캔된다. 검출된 마커 화상 영역에 기초하여 투영 화상 영역이 검출된다.

초기 검출 모드에서, 투영 화상 영역 검출 유닛(23)은 해리스 오퍼레이터(Harris operator)를 이용한 코너 검출과, 엣지를 이용한 다각형 검출을 수행할 수 있다. 따라서, 투영 화상 영역 검출 유닛(23)은 마커 화상(53)이 투영되는 마커 화상 영역의 코너를 검출하고, 검출된 마커 화상 영역의 코너에 기초하여 투영 화상 영역을 검출할 수 있다.

다시 도 3을 참조하면, 동적 검출 모드에서, 투영 화상 영역 검출 유닛(23)은 촬영된 시점이 다른 2개의 촬영 화상을 스캔한다. 그런 다음, 화상 보정 유닛(24)은 스캔된 촬영 화상에서 투영 왜곡을 보정한다. 투영 화상 영역 검출 유닛(23)은 초기 검출 모드에서와 같이 2개의 보정 화상 간의 차분 화상을 생성한다.

본 실시형태에 있어서, 동적 검출 모드에서도, 투영 화상 영역 검출 유닛(23)은 임계값(TH)을 초과하며 R 성분에 대응하는 차분값을 갖는 화소가 유효색(흑색)이고 다른 화소는 무효색(백색)인 차분 화상을 생성한다.

차분 화상이 생성되면, 투영 화상 영역 검출 유닛(23)은 차분 화상에 대해 미리 정해진 템플릿 화상을 이용해서 템플릿 매칭을 수행한다. 예컨대, 도 10에 도시하는 바와 같이, 각 마커 화상에 대한 템플릿 화상에 있어서, 특정 영역(54)은 유효색(예컨대, 흑색)을 갖고 그 특정 영역(54) 이외의 영역(55)은 무효색(예컨대, 백색)을 갖는다.

투영 화상 영역 검출 유닛(23)은 템플릿 매칭을 수행하기 전에, 초기 검출 모드로 검출된 마커 화상 영역과 사이즈가 같아지도록 템플릿 화상을 조절한다.

예컨대, 도 11에 도시하는 바와 같이, 투영 화상 영역 검출 유닛(23)은 템플릿 화상을 위치(56)로부터 점차 이동시킴으로써 마커 화상 영역에 대해 템플릿 매칭을 수행한다. 그 위치(56)는 마커 화상 영역이 초기 검출 모드에서 검출된 곳이나, 마커 화상 영역이 이전에 동적 검출 모드에서 검출된 곳(이하, "검출된 마커 화상 영역")이다. 템플릿 화상이 미리 정해진 양만큼 이동한 후에, 즉 미리 정해진 영역이 탐색된 후에, 투영 화상 영역 검출 유닛(23)은 상관치가 가장 높은 템플릿 화상의 영역을 마커 화상 영역으로 결정한다.

다시 도 3을 참조하면, 화상 보정 유닛(24)은 투영 화상 영역 검출 유닛(23)에 의해 검출된 투영 화상 영역의 투영 왜곡을 보정하여 투영 화상 영역을 직사각형으로 조정하기 위한 계수를 산출한다. 화상 보정 유닛(24)은 산출된 계수를 이용하여 촬영 화상의 투영 왜곡을 보정한다. 따라서, 마커 화상의 투영 왜곡도 보정되기 때문에, 투영 화상 영역 검출 유닛(23)에 의해 수행되는 템플릿 매칭의 정확도도 향상된다.

투영 화상 추출 유닛(25)은 화상 보정 유닛(24)에 의해 보정된 촬영 화상으로부터 투영 화상 영역을 추출한다. 본 실시형태에 있어서, 투영 화상 영역 검출 장치(5)는 투영 화상 추출 유닛(25)에 의해 추출된 화상을, 원격지에 있는 표시 장치(6)(도 1 참조)에 네트워크 통신 모듈(17)을 통해 송신하여, 표시 장치(6)로 그 화상을 표시하게 한다.

투영 화상 영역 검출 장치(5)는 투영 화상 추출 유닛(25)에 의해 추출된 화상을 원격지에 있는 다른 투영 화상 영역 검출 장치(5) 등의 외부 장치에 네트워크 통신 모듈(17)을 통해 송신할 수도 있다.

투영 화상 영역 검출 장치(5)는 투영 화상 추출 유닛(25)에 의해 추출된 화상을 외부의 기록 장치에 네트워크 통신 모듈(17)을 통해 송신하여, 그 기록 장치로 화상을 기록하게 할 수도 있다. 투영 화상 영역 검출 유닛(5)은 투영 화상 추출 유닛(25)에 의해 추출된 화상을 하드 디스크 장치(13)에 기록할 수도 있다.

전술한 투영 화상 영역 검출 장치(5)의 동작에 대해서 도 12 내지 도 14를 참조하여 설명한다.

도 12는 투영 화상 영역 검출 장치(5)에 의해 수행된 투영 화상 공급 동작을 설명하기 위한 흐름도이다. 이하에 설명하는 투영 화상 공급 동작은 입력 장치(14)의 입력 조작에 따라 실행된다.

먼저, 마커 화상 생성 유닛(20)은 매 시간 프레임마다 패턴의 색상이 변하는 마커를 나타내는 마커 화상을 생성한다(단계 S1). 이어서, 마커 화상 부가 유닛(21)은 디스플레이 유닛(15)의 표시 화면 페이지를 나타내는 투영 화상의 4개 코너에, 마커 화상 생성 유닛(20)에 의해 생성된 마커 화상을 부가한다(단계 S2). 화상 공급 유닛(22)은 마커 화상이 부가된 투영 화상을 투영 장치(3)에 공급한다(단계 S3).

입력 장치(14)의 입력 조작에 의해 투영 화상 공급 동작의 종료 지시가 주어지면, 투영 화상 공급 동작은 종료된다. 투영 화상 공급 동작의 종료 지시가 주어지지 않으면, 투영 화상 공급 동작은 단계 S1로 되돌아간다(단계 S4).

도 13과 도 14는 투영 화상 영역 검출 장치(5)에 의해 수행된 보정 계수 산출 동작을 설명하기 위한 흐름도이다. 도 13은 초기 검출 모드로 투영 화상 영역 검출 장치(5)에 의해 수행된 보정 계수 산출 동작을 설명하기 위한 흐름도이다.

먼저, 투영 화상 영역 검출 유닛(23)은 마커 화상 생성 유닛(20)에 의해 생성된 마커 화상의 색상 변화의 1 주기 동안, 촬영 장치(4)에 의해 촬영된 2개의 촬영 화상을 스캔한다(단계 S11).

다음으로, 투영 화상 영역 검출 유닛(23)은 스캔된 2개의 촬영 화상 간의 차분 화상을 생성한다(단계 S12). 투영 화상 영역 검출 유닛(23)은 차분 화상으로부터, 유효색인 흑색 화소로 형성된 영역의 외접 직사각형을 추출한다(단계 S13).

계속해서, 투영 화상 영역 검출 유닛(23)은 추출된 외접 직사각형 중에서, 면적이 미리 정해진 상한값을 초과하는 외접 직사각형과, 면적이 미리 정해진 하한값보다 작은 외접 직사각형을 제외시킨다(단계 S14). 다음으로, 투영 화상 영역 검출 유닛(23)은 차분 화상의 각 코너의 이등분선을 서브 스캐닝 방향으로서 이용해서 차분 화상을 대각선으로 스캔함으로써, 각 마커 화상이 투영되는 마커 화상 영역을 검출한다(단계 S15).

투영 화상 영역 검출 유닛(23)은 투영 화상 영역의 4개 코너에 대응하는 마커 화상 영역이 모두 검출되었는지의 여부를 판단한다(단계 S16). 투영 화상 영역의 4개 코너에 대응하는 마커 화상 영역 모두가 아직 검출되지 않은 경우에는, 보정 계수 산출 동작은 단계 S1로 되돌아간다.

한편, 투영 화상 영역의 4개 코너에 대응하는 마커 화상 영역이 모두 검출된 경우에, 투영 화상 영역 검출 유닛(23)은 검출된 마커 화상 영역에 기초하여 투영 화상 영역을 검출한다(단계 S17). 화상 보정 유닛(24)은 검출된 투영 화상 영역의 투영 왜곡을 보정하기 위한 계수를 산출한다(단계 S18).

도 14는 동적 검출 모드로 투영 화상 영역 검출 장치(5)에 의해 수행된 보정 계수 산출 동작을 설명하기 위한 흐름도이다. 후술하는 보정 계수 산출 동작은 미리 정해진 시간 간격으로 실행될 수도 연속적으로 실행될 수도 있다.

먼저, 투영 화상 영역 검출 유닛(23)은 마커 화상 생성 유닛(20)에 의해 생성된 마커 화상의 색상 변화의 1 주기 동안 촬영 장치(4)에 의해 촬영된 2개의 촬영 화상을 스캔한다(단계 S21).

계속해서, 화상 보정 유닛(24)은 산출된 계수를 이용하여, 스캔된 촬영 화상의 투영 왜곡을 보정한다(단계 S22). 투영 화상 영역 검출 유닛(23)은 투영 왜곡을 보정한 결과로서 얻어진 2개의 보정 화상 간의 차분 화상을 생성한다(단계 S23).

이어서, 투영 화상 영역 검출 유닛(23)은 그 차분 화상에 있어서 마커 화상 영역이 검출된 위치에서부터 시작해서 템플릿 매칭을 수행한다(단계 S24).

투영 화상 영역 검출 유닛(23)은 투영 화상 영역의 4개 코너에 대응하는 마커 화상 영역이 모두 검출되었는지의 여부를 판단한다(단계 S25). 투영 화상 영역의 4개 코너에 대응하는 마커 화상 영역 모두가 아직 검출되지 않은 경우에, 보정 계수 산출 동작은 단계 S21로 되돌아간다.

투영 화상 영역의 4개 코너에 대응하는 마커 화상 영역이 모두 검출된 경우에, 투영 화상 영역 검출 유닛(23)은 검출된 마커 화상 영역에 기초하여 투영 화상 영역을 검출한다(단계 S26).

화상 보정 유닛(24)은 차분 화상에 대하여, 단계 S22에서 이루어진 투영 왜곡 보정의 역변환을 수행한다(단계 S27). 그런 다음, 화상 보정 유닛(24)은 역변환이 이루어진 차분 화상에서 투영 화상 영역의 투영 왜곡을 보정하기 위한 계수를 산출한다(단계 S28).

전술한 바와 같이, 투영 화상 영역 검출 장치(5)에 의해 실행된 보정 계수 산출 동작에 있어서, 화상 보정 유닛(24)은 초기 검출 모드 또는 동적 검출 모드에서 산출된 계수에 기초하여, 촬영 장치(4)에 의해 촬영된 촬영 화상에 대해, 투영 왜곡 보정을 수행한다. 그런 다음, 투영 화상 추출 유닛(25)은 보정 촬영 화상으로부터 투영 영역을 추출한다. 그리고, 추출된 화상은 원격지에 있는 표시 장치(6)에 네트워크 통신 모듈(17)을 통해 송신된다.

전술한 바와 같이, 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 시스템(1)은 투영 장치(3)로 하여금, 패턴의 색상이 시간의 경과에 따라 변하는 마커 화상을 투영시킨다. 따라서, 촬영 화상에 있어서 패턴의 색상이 시간 경과에 따라 계속해서 변하는 영역이 마커 화상 영역으로서 검출된다. 따라서, 투영 장치(3), 화이트보드(2), 촬영 장치(4) 간의 상대 위치에 변화가 있는 경우라도, 상대 위치의 변화에 따라 촬영 화상으로부터 투영 화상 영역을 검출할 수 있다.

본 실시형태에서는 마커 화상 생성 유닛(20)이 도 4에 도시하는 바와 같은 마커 화상(30)을 생성한다. 그러나, 마커 화상 생성 유닛(20)은 초기 검출 모드에서 생성된 마커 화상보다 작은 사이즈의 마커 화상을 동적 검출 모드에서 생성하도록 구성될 수 있다.

그러한 구성으로, 동적 검출 모드에서의 마커 화상은 초기 검출 모드에서의 마커 화상보다 눈에 띄지 않기 때문에, 투영 화상의 시인성이 향상될 수 있다.

투영 화상의 시인성을 향상시키기 위해서, 마커 화상 생성 유닛(20)은 초기 검출 모드의 마커 화상보다 콘트라스트가 낮도록 동적 검출 모드의 마커 화상을 생성할 수도 있다.

투영 화상의 시인성을 향상시키기 위해서, 마커 화상 생성 유닛(20)은 초기 검출 모드의 마커 화상보다 색상 변화량이 적도록 동적 검출 모드의 마커 화상을 생성할 수도 있다.

도 15는 본 발명의 제2 실시형태에 따른 투영 화상 영역 검출 시스템을 도시하고 있다. 도 15에 도시하는 바와 같이, 제2 실시형태에 따른 투영 화상 영역 검출 장치(60)에서는, 제1 실시형태의 투영 장치(3)와, 촬영 장치(4)와, 투영 화상 영역 검출 장치(5)가 단일 유닛으로 통합된다. 제2 실시형태에서는 제1 실시형태의 구성요소에 대응하는 구성요소에 같은 도면 부호를 부여하며 추가 설명은 생략한다.

도 16은 본 발명의 제2 실시형태에 따른 투영 화상 영역 검출 시스템에 포함된 투영 화상 영역 검출 장치(60)의 하드웨어 구성을 도시하고 있다. 도 16에 도시하는 바와 같이, 투영 화상 영역 검출 장치(60)는 CPU(10)와, RAM(11)과, ROM(12)과, 하드 디스크 장치(13)와, 입력 장치(14)와, 네트워크 통신 모듈(17)과, 프로젝터(70)와, 카메라(71)를 포함한다.

ROM(12)과 하드 디스크 장치(13)는 장치로 하여금 투영 화상 영역 검출 장치(60)로서 기능하게 하는 프로그램을 저장하고 있다. 즉, CPU(10)가 RAM(11)을 작업 영역으로서 이용하여 ROM(12)과 하드 디스크 장치(13)에 저장된 프로그램을 실행함으로써, 장치는 투영 화상 영역 검출 장치(60)로서 기능한다.

도 17은 본 발명의 제2 실시형태에 따른 투영 화상 영역 검출 시스템에 포함된 투영 화상 영역 검출 장치(60)의 기능 블록도이다. 도 17에 도시하는 바와 같이, 투영 화상 영역 검출 장치(60)는 마커 화상 생성 유닛(20)과, 마커 화상 부가 유닛(21)과, 마커 화상이 부가된 투영 화상을 투영시키는 투영 유닛(80)과, 화이트보드(2)에 투영된 화상을 포함하는 영역을 촬영하는 촬영 유닛(81)과, 촬영 유닛(81)에 의해 촬영된 촬영 화상으로부터, 투영 화상이 투영되는 투영 화상 영역을 검출하는 투영 화상 영역 검출 유닛(23)과, 화상 보정 유닛(24)과, 투영 화상 추출 유닛(25)을 포함한다.

마커 화상 생성 유닛(20), 마커 화상 부가 유닛(21), 투영 화상 영역 검출 유닛(23), 화상 보정 유닛(24) 및 투영 화상 추출 유닛(25)은 CPU(10)에 의해 구현된다. 투영 유닛(80)은 프로젝터(70)에 의해 구현된다. 촬영 유닛(81)은 카메라(71)에 의해 구현된다.

본 실시형태에 있어서, 투영 화상은 투영 화상 영역 검출 장치(60)에 접속된 화상 공급 장치(61)에 공급된다. 화상 공급 장치(61)는 예컨대 범용 컴퓨터이다.

투영 화상은 화상 공급 장치(61)로서 기능하는 컴퓨터의 표시 화면 페이지에, 또는 컴퓨터에 의해 실행되는 프리젠테이션 소프트웨어 등의 애플리케이션에 의해 작성된 화상에, 또는 외부 장치로부터 수신된 화상에 해당할 수 있다.

화상 공급 장치(61)의 동작은 본 발명의 제1 실시형태에 따른 투영 화상 영역 검출 장치(5)에 의해 수행된 동작의 설명에 기초하여 용이하게 짐작될 수 있다.

전술한 바와 같이, 본 발명의 제2 실시형태에 따른 투영 화상 영역 검출 장치(60)는 투영 유닛(80)으로 하여금, 패턴의 색상이 시간의 경과에 따라 변하는 마커 화상을 투영시킨다. 따라서, 촬영 화상에 있어서 패턴의 색상이 시간의 경과에 따라 계속해서 변하는 영역이 마커 화상 영역으로서 검출된다. 따라서, 투영 화상 영역 검출 장치(60)와 화이트보드(2)의 상대 위치에 변화가 있는 경우라도 상대 위치의 변화에 따라 촬영 화상으로부터 투영 화상 영역을 검출할 수 있다.

본 발명의 양태에 따르면, 투영 화상 영역 검출 장치는 시간의 경과에 따라 계속해서 변하는 마커 화상 영역에 포함된 색상을 식별함으로써, 촬영 화상에서 마커 화상 영역을 검출한다. 이에, 투영 장치, 투영 대상물, 촬영 장치 간의 상대 위치에 변화가 있는 경우라도, 그 상대 위치의 변화에 따라 촬영 화상으로부터 투영 영역을 검출할 수 있다.

본 발명의 양태에 따르면, 마커 화상은 주기적인 패턴이 없는 단순한 패턴을 갖는다. 그렇기 때문에, 패턴의 주기와, 촬영 화상에 투영된 마커 화상의 시프트량이 일치하는 경우에도 투영 화상 영역 검출 장치가 마커 화상에서 시프트가 없다고 잘못 검출하는 것이 방지된다.

본 발명의 양태에 따르면, 투영 화상 영역 검출 장치는 마커 화상에 있는 특정 영역의 미리 정해진 색 성분을 시간의 경과에 따라 변화시킨다. 그러므로, 그 색은 사용자에게 위화감을 주지 않는 식으로 변한다.

본 발명의 양태에 따르면, 투영 화상 영역 검출 장치는 촬영 유닛에 의해 촬영된 복수의 촬영 화상 간의 차분 화상을 이용한다. 이에, 투영 화상 영역 검출 장치는 시간의 경과에 따라 패턴 색상이 변하는 마커 화상을 검출할 수 있다.

본 발명의 양태에 따르면, 투영 화상 영역 검출 장치는 투영 왜곡이 보정된 촬영 화상을 얻을 수 있다.

본 발명의 양태에 따르면, 투영 화상 영역 검출 장치는 복수의 촬영 화상 간의 차분 화상에 대해, 미리 정해진 템플릿 화상을 이용하여 템플릿 매칭을 수행한다. 그러므로, 마커 화상 영역을 높은 정확도로 검출할 수 있다.

본 발명의 양태에 따르면, 투영 화상 영역 검출 유닛은 동적 검출 모드에서, 이전에 검출된 마커 화상 영역과 그 주위의 영역에 대해 템플릿 매칭을 수행함으로써 마커 화상 영역을 검출한다. 이에, 투영 화상 영역 검출 장치에 의해 수행되는 템플릿 매칭의 실행 시간을 단축할 수 있다.

본 발명의 양태에 따르면, 투영 화상 영역 검출 유닛은 초기 검출 모드로 검출된 마커 화상 영역에 기초하여, 미리 정해진 템플릿 화상의 사이즈를 정의한다. 이에, 투영 화상 영역 검출 장치는 최적의 사이즈를 갖는 템플릿 화상을 이용하여 동적 검출 모드로 템플릿 매칭을 수행할 수 있다.

본 발명의 양태에 따르면, 마커 화상 생성 유닛은 초기 검출 모드의 마커 화상보다 눈에 덜 띄도록 동적 검출 모드의 마커 화상을 생성한다. 그러므로, 투영 화상의 시인성이 향상될 수 있다.

본 발명은 본 명세서에서 설명한 특정 실시형태들에 한정되지 않으며, 본 발명의 범위에서 벗어나는 일 없이 변형 및 수정이 이루어질 수 있다.

본 출원은 일본 특허청에 2009년 9월 10일에 출원한 일본 우선권 출원 제2009-209460호와, 2010년 7월 26일에 출원한 제2010-166943호에 기초하며, 이들 우선권의 전체 내용은 본 명세서에 원용된다.

Claims

투영 화상 영역 검출 장치에 있어서,
투영 화상을 포함하는 투영 화상 영역을 촬영하여 얻은 복수의 촬영 화상 간의 차분 화상에서, 그 투영 화상 영역의 4개 코너를 식별하는데 이용되는 마커 화상을 포함하는 마커 화상 영역을 검출하도록 구성되는 투영 화상 영역 검출 유닛을 포함하고,
상기 투영 화상 영역 검출 유닛은, 미리 정해진 임계값을 초과하는 차분값을 갖는 화소는 유효색이고 그 외의 화소는 무효색인 차분 화상을 생성하고, 시간의 경과에 따라 계속해서 변하는 상기 마커 화상 영역에 포함된 색상을 식별함으로써 마커 화상 영역을 검출하는 것인 투영 화상 영역 검출 장치.
제1항에 있어서,
색상이 시간의 경과에 따라 변하는 특정 영역을 포함하는 마커 화상을 생성하도록 구성되는 마커 화상 생성 유닛과,
상기 마커 화상 생성 유닛에 의해 생성된 마커 화상을 상기 투영 화상에 부가하도록 구성되는 마커 화상 부가 유닛과,
투영 대상물에 투영 화상을 투영시키는 투영 장치에, 상기 마커 화상이 부가된 투영 화상을 공급하도록 구성되는 화상 공급 유닛
을 더 포함하는 투영 화상 영역 검출 장치.
제1항에 있어서, 색상이 시간의 경과에 따라 변하는 특정 영역을 포함하는 마커 화상을 생성하도록 구성되는 마커 화상 생성 유닛을 더 포함하고,
상기 마커 화상 생성 유닛은 상기 마커 화상이 상기 촬영 화상에서 식별될 수 있도록, 주기적인 패턴이 없는 단순한 패턴을 갖는 마커 화상을 생성하는 것인 투영 화상 영역 검출 장치.
제1항에 있어서, 미리 정해진 색성분이 시간의 경과에 따라 변하는 특정 영역을 포함하는 마커 화상을 생성하도록 구성되는 마커 화상 생성 유닛을 더 포함하고,
상기 투영 화상 영역 검출 유닛은 시간의 경과에 따라 계속해서 변하는 상기 미리 정해진 색성분을 식별함으로써 상기 촬영 화상에서 마커 화상 영역을 검출하는 것인 투영 화상 영역 검출 장치.
삭제
제1항에 있어서, 상기 투영 화상 영역 검출 유닛에 의해 검출된 마커 화상 영역에 기초하여 상기 촬영 화상에서 투영 화상의 투영 화상 영역을 검출하고, 검출된 투영 화상 영역에서 투영 왜곡을 보정하도록 구성되는 화상 보정 유닛을 더 포함하는 투영 화상 영역 검출 장치.
제1항에 있어서, 상기 투영 화상 영역 검출 유닛에 의해 검출된 마커 화상 영역에 기초하여 상기 촬영 화상에서 투영 화상의 투영 화상 영역을 검출하고, 검출된 투영 화상 영역에서 투영 왜곡을 보정하도록 구성되는 화상 보정 유닛을 더 포함하고,
상기 투영 화상 영역 검출 유닛은 초기 검출 모드와 동적 검출 모드에서 동작하며,
상기 초기 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 마커 화상 영역의 최외측 코너를 식별함으로써 마커 화상 영역을 검출하고,
상기 동적 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 화상 보정 유닛에 의해 보정된 투영 화상 영역을 포함하는 복수의 촬영 화상 간의 차분 화상에 대해, 미리 정해진 템플릿 화상을 이용하여 템플릿 매칭을 수행함으로써 마커 화상 영역을 검출하는 것인 투영 화상 영역 검출 장치.
제1항에 있어서, 상기 투영 화상 영역 검출 유닛에 의해 검출된 마커 화상 영역에 기초하여 상기 촬영 화상에서 투영 화상의 투영 화상 영역을 검출하고, 검출된 투영 화상 영역에서 투영 왜곡을 보정하도록 구성되는 화상 보정 유닛을 더 포함하고,
상기 투영 화상 영역 검출 유닛은 초기 검출 모드와 동적 검출 모드에서 동작하며,
상기 초기 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 촬영 화상의 각각의 코너의 이등분선을 서브 스캐닝 방향으로서 이용해서 상기 촬영 화상을 대각선으로 스캔함으로써 식별되는 마커 화상 영역의 최외측 코너를 식별하여 마커 화상 영역을 검출하고,
상기 동적 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 화상 보정 유닛에 의해 보정된 투영 화상 영역을 포함하는 복수의 촬영 화상 간의 차분 화상에 대해, 미리 정해진 템플릿 화상을 이용하여 템플릿 매칭을 수행함으로써 마커 화상 영역을 검출하는 것인 투영 화상 영역 검출 장치.
제1항에 있어서, 상기 투영 화상 영역 검출 유닛에 의해 검출된 마커 화상 영역에 기초하여 상기 촬영 화상에서 투영 화상의 투영 화상 영역을 검출하고, 검출된 투영 화상 영역에서 투영 왜곡을 보정하도록 구성되는 화상 보정 유닛을 더 포함하고,
상기 투영 화상 영역 검출 유닛은 초기 검출 모드와 동적 검출 모드에서 동작하며,
상기 초기 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 마커 화상 영역의 최외측 코너를 식별함으로써 마커 화상 영역을 검출하고,
상기 동적 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 화상 보정 유닛에 의해 보정된 투영 화상 영역을 포함하는 복수의 촬영 화상 간의 차분 화상에서 이전에 검출된 마커 화상 영역과 그 주위의 영역에 대해, 미리 정해진 템플릿 화상을 이용하여 템플릿 매칭을 수행함으로써 마커 화상 영역을 검출하는 것인 투영 화상 영역 검출 장치.
제1항에 있어서, 상기 투영 화상 영역 검출 유닛에 의해 검출된 마커 화상 영역에 기초하여 상기 촬영 화상에서 투영 화상의 투영 화상 영역을 검출하고, 검출된 투영 화상 영역에서 투영 왜곡을 보정하도록 구성되는 화상 보정 유닛을 더 포함하고,
상기 투영 화상 영역 검출 유닛은 초기 검출 모드와 동적 검출 모드에서 동작하며,
상기 초기 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 마커 화상 영역의 최외측 코너를 식별함으로써 마커 화상 영역을 검출하고,
상기 동적 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 화상 보정 유닛에 의해 보정된 투영 화상 영역을 포함하는 복수의 촬영 화상 간의 차분 화상에 대해, 미리 정해진 템플릿 화상을 이용하여 템플릿 매칭을 수행함으로써 마커 화상 영역을 검출하며,
상기 투영 화상 영역 검출 유닛은 상기 초기 검출 모드에서 검출된 마커 화상 영역에 기초하여, 상기 미리 정해진 템플릿 화상의 사이즈를 정의하는 것인 투영 화상 영역 검출 장치.
제1항에 있어서,
상기 투영 화상 영역 검출 유닛에 의해 검출된 마커 화상 영역에 기초하여 상기 촬영 화상에서 투영 화상의 투영 화상 영역을 검출하고, 검출된 투영 화상 영역에서 투영 왜곡을 보정하도록 구성되는 화상 보정 유닛과,
미리 정해진 색성분이 시간의 경과에 따라 변하는 특정 영역을 포함하는 마커 화상을 생성하도록 구성되는 마커 화상 생성 유닛
을 더 포함하고,
상기 투영 화상 영역 검출 유닛은 초기 검출 모드와 동적 검출 모드에서 동작하며,
상기 초기 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 마커 화상 영역의 최외측 코너를 식별함으로써 마커 화상 영역을 검출하고,
상기 동적 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 화상 보정 유닛에 의해 보정된 투영 화상 영역을 포함하는 복수의 촬영 화상 간의 차분 화상에 대해, 미리 정해진 템플릿 화상을 이용하여 템플릿 매칭을 수행함으로써 마커 화상 영역을 검출하며,
상기 마커 화상 생성 유닛은 상기 초기 검출 모드의 마커 화상보다 사이즈가 작도록 상기 동적 검출 모드의 마커 화상을 생성하는 것인 투영 화상 영역 검출 장치.
제1항에 있어서,
상기 투영 화상 영역 검출 유닛에 의해 검출된 마커 화상 영역에 기초하여 상기 촬영 화상에서 투영 화상의 투영 화상 영역을 검출하고, 검출된 투영 화상 영역에서 투영 왜곡을 보정하도록 구성되는 화상 보정 유닛과,
미리 정해진 색성분이 시간의 경과에 따라 변하는 특정 영역을 포함하는 마커 화상을 생성하도록 구성되는 마커 화상 생성 유닛
을 더 포함하고,
상기 투영 화상 영역 검출 유닛은 초기 검출 모드와 동적 검출 모드에서 동작하며,
상기 초기 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 마커 화상 영역의 최외측 코너를 식별함으로써 마커 화상 영역을 검출하고,
상기 동적 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 화상 보정 유닛에 의해 보정된 투영 화상 영역을 포함하는 복수의 촬영 화상 간의 차분 화상에 대해, 미리 정해진 템플릿 화상을 이용하여 템플릿 매칭을 수행함으로써 마커 화상 영역을 검출하며,
상기 마커 화상 생성 유닛은 상기 초기 검출 모드의 마커 화상보다 콘트라스트가 낮도록 상기 동적 검출 모드의 마커 화상을 생성하는 것인 투영 화상 영역 검출 장치.
제1항에 있어서,
상기 투영 화상 영역 검출 유닛에 의해 검출된 마커 화상 영역에 기초하여 상기 촬영 화상에서 투영 화상의 투영 화상 영역을 검출하고, 검출된 투영 화상 영역에서 투영 왜곡을 보정하도록 구성되는 화상 보정 유닛과,
미리 정해진 색성분이 시간의 경과에 따라 변하는 특정 영역을 포함하는 마커 화상을 생성하도록 구성되는 마커 화상 생성 유닛
을 더 포함하고,
상기 투영 화상 영역 검출 유닛은 초기 검출 모드와 동적 검출 모드에서 동작하며,
상기 초기 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 마커 화상 영역의 최외측 코너를 식별함으로써 마커 화상 영역을 검출하고,
상기 동적 검출 모드에서, 상기 투영 화상 영역 검출 유닛은 상기 화상 보정 유닛에 의해 보정된 투영 화상 영역을 포함하는 복수의 촬영 화상 간의 차분 화상에 대해, 미리 정해진 템플릿 화상을 이용하여 템플릿 매칭을 수행함으로써 마커 화상 영역을 검출하며,
상기 마커 화상 생성 유닛은 상기 초기 검출 모드의 마커 화상보다 색상이 변하는 양이 작도록 상기 동적 검출 모드의 마커 화상을 생성하는 것인 투영 화상 영역 검출 장치.
투영 화상 영역 검출 시스템에 있어서,
투영 대상물에 투영 화상을 투영시키도록 구성되는 투영 장치와,
상기 투영 대상물에 투영된 투영 화상을 포함하는 투영 화상 영역을 촬영하여 복수의 촬영 화상을 얻도록 구성되는 촬영 장치와,
투영 화상 영역 검출 장치
를 포함하고,
상기 투영 화상 영역 검출 장치는,
상기 촬영 장치에 의해 얻어진 상기 복수의 촬영 화상 간의 차분 화상에서, 상기 투영 화상 영역의 4개 코너를 식별하는데 이용되는 마커 화상을 포함하는 마커 화상 영역을 검출하여, 상기 복수의 촬영 화상 간의 차분 화상에서 투영 화상을 포함하는 투영 화상 영역을 검출하도록 구성되는 투영 화상 영역 검출 유닛과,
색상이 시간의 경과에 따라 변하는 특정 영역을 포함하는 마커 화상을 생성하도록 구성되는 마커 화상 생성 유닛과,
상기 마커 화상 생성 유닛에 의해 생성된 마커 화상을 상기 투영 화상에 부가하도록 구성되는 마커 화상 부가 유닛과,
상기 마커 화상이 부가된 투영 화상을 상기 투영 장치에 공급하도록 구성되는 화상 공급 유닛
을 포함하고,
상기 투영 화상 영역 검출 유닛은, 미리 정해진 임계값을 초과하는 차분값을 갖는 화소는 유효색이고 그 외의 화소는 무효색인 차분 화상을 생성하고, 시간의 경과에 따라 계속해서 변하는 상기 마커 화상 영역에 포함된 색상을 식별함으로써 상기 복수의 촬영 화상 간의 차분 화상에서 마커 화상 영역을 검출하여 상기 복수의 촬영 화상 간의 차분 화상에서 투영 화상 영역을 검출하는 것인 투영 화상 영역 검출 시스템.
투영 화상 영역 검출 방법에 있어서,
투영 화상을 포함하는 투영 화상 영역을 촬영하여 얻은 복수의 촬영 화상 간의 차분 화상에서, 그 투영 화상 영역의 4개 코너를 식별하는데 이용되는 마커 화상을 포함하는 마커 화상 영역을 검출하는 단계를 포함하고,
상기 마커 화상 영역을 검출하는 단계는, 미리 정해진 임계값을 초과하는 차분값을 갖는 화소는 유효색이고 그 외의 화소는 무효색인 차분 화상을 생성하는 단계와, 시간의 경과에 따라 계속해서 변하는 상기 마커 화상 영역에 포함된 색상을 식별하는 단계를 포함하는 것인 투영 화상 영역 검출 방법.