KR20160122048A

KR20160122048A - 투영 시스템 및 반도체 집적 회로

Info

Publication number: KR20160122048A
Application number: KR1020157026566A
Authority: KR
Inventors: 류지 후치카미
Original assignee: 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date: 2014-02-18
Filing date: 2015-01-08
Publication date: 2016-10-21
Also published as: WO2015125403A1; JP2015173431A; US20160088275A1; US9554104B2; JP6618249B2; EP3110139B1; KR102196467B1; EP3110139A1; EP3110139A4; CN105165006A; CN105165006B

Abstract

투영 시스템(100)은, 투영 장치(102)와, 적어도 하나의 촬상 장치(101)를 구비하고, 투영 장치는, 영상 콘텐츠를 나타내는 영상광과, 투영 좌표계로 규정되는 투영 좌표를 코드화한 패턴 화상을 나타내는 패턴광을 투영한다.

Description

투영 시스템 및 반도체 집적 회로{PROJECTION SYSTEM AND SEMICONDUCTOR INTEGRATED CIRCUIT}

본 개시는, 투영 시스템, 투영 시스템에 이용되는 반도체 집적 회로에 관한 것이다.

물체, 예를 들어 건물과 같은 구조물에 영상 콘텐츠를 투영하는 기술, 이른바 프로젝션 맵핑으로 불리는 기술이 알려져있다. 프로젝션 맵핑의 시스템 중에는, 촬상 기능을 구비하고 있는 시스템이 있다.

예를 들어, 특허 문헌 1은, 피사체의 3D 형상을 취득하는 것, 및 피사체를 가시광으로 촬상하는 것을 동시에 행할 수 있는 시스템을 개시하고 있다.

일본국 특허 공개 2005-258622호 공보 일본국 특허 공개 2013-192189호 공보 일본국 특허 공개 2000-259126호 공보

"고속 프로젝터를 이용한 3000프레임 매초의 삼차원 화상 계측 시스템의 개발", 로보틱스·메카트로닉스 강연회 강연 개요집 2007, "1P1-M02(1)"-"1P1-M02(4)", 2007-05-11

상기 서술한 종래의 투영 시스템에서는, 투영 대상인 구조물에 영상 콘텐츠를 의도대로 위치 맞춤을 하여 투영하는 기술의 향상이 요구되고 있었다. 본 개시의 비한정적이고 예시적인 일 양태는, 구조물에 영상 콘텐츠를 의도대로 위치 맞춤을 하여 투영하는 것이 가능한 투영 시스템이다.

본 개시의 일 양태의 부가적인 혜택 및 유리한 점은 본 명세서 및 도면으로부터 분명해진다. 이 혜택 및/또는 유리한 점은, 본 명세서 및 도면에 개시한 여러가지 양태 및 특징에 의해 개별적으로 제공될 수 있는 것이며, 그 1 이상을 얻기 위해 전체가 필요하지 않다.

본 개시의 일 양태에 따른 투영 시스템은, 영상 콘텐츠를 나타내는 영상광과, 투영 좌표계에 있어서의 투영 좌표를 코드화한 정보에 대응하는 패턴 화상을 포함하는 패턴광을 투영하는 투영 장치와, 적어도 하나의 촬상 장치를 포함한다.

또한, 이들의 포괄적 또는 구체적인 양태는, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 읽기 가능한 기록 매체로 실현되어도 되고, 장치, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 및 컴퓨터 읽기 가능한 기록 매체의 임의의 조합으로 실현되어도 된다. 컴퓨터 읽기 가능한 기록 매체는, 예를 들어 CD-ROM(Compact Disc-Read Only Memory) 등의 불휘발성의 기록 매체를 포함한다.

본 개시에 의하면, 구조물에 영상 콘텐츠를 의도대로 위치 맞춤을 하여 투영을 행하는 것이 가능하게 된다.

도 1은 예시적인 실시 형태 1에 의한 투영 시스템의 개략적인 구성을 도시하는 모식도.
도 2는 패턴광에 대응한, 코드화된 패턴 화상의 일부를 예시하는 이미지도.
도 3은 예시적인 실시 형태 1에 의한 연산 장치의 기능 블록 구성도.
도 4는 예시적인 실시 형태 1에 의한 투영 시스템의 동작 플로차트.
도 5는 예시적인 실시 형태 2에 의한 투영 시스템(100)의 개략적인 구성을 도시하는 모식도.
도 6은 종래의 시스템 구성예를 도시하는 모식도.
도 7은 종래의 시스템 구성예를 도시하는 모식도.
도 8은 종래의 시스템 구성예를 도시하는 모식도.

본 개시의 실시 형태를 설명하기 전에, 먼저 도 6을 참조하면서 종래의 계측 시스템(600)을 설명한다.

계측 시스템(600)은, 촬상 장치(601), 적외광원(602), 가시광 광원(603) 및 패턴을 가지는 슬릿(604)을 구비하고 있다. 촬상 장치(601)는, 가시광 및 적외광을 동시에 촬상할 수 있다. 촬상 장치(601)는, 가시광 광원(603)에 의해 가시광이 조사된 피사체(605)를 가시광의 화상으로서 취득할 수 있다. 또, 적외광원(602)으로부터의 적외광이 슬릿(604)을 통과하여, 패턴광으로서 피사체(605)에 조사된다. 촬상 장치(601)는, 그 조사된 패턴광을 적외 화상으로서 촬영할 수 있다. 그 결과, 패턴광으로부터 피사체(605)의 형상을 얻을 수 있다. 이와 같이 하여 피사체(605)의 형상 계측과 가시광 화상의 취득이 동시에 실현된다.

계측의 분야에 있어서 특허 문헌 1 이외에, 예를 들어 비특허 문헌 1, 특허 문헌 2 및 특허 문헌 3에 개시된 시스템이 알려져있다.

비특허 문헌 1은, 광 패턴 투영을 이용하여 고속으로 3D 형상을 계측하는 수법을 개시하고 있다. 비특허 문헌 1의 시스템 구성을 도 7에 도시한다. 계측 시스템(700)은, 촬상 장치(701)와, 광원(731), 렌즈(711) 및 디지털 마이크로 미러 디바이스(721)를 가지는 투영 장치(702)를 구비하고 있다. 촬상 장치(701)는 고속도 촬영을 행하는 기능을 가지고 있다. 예를 들어, 촬상 장치(701)는, 6000fps로 고속 촬영을 할 수 있다. 투영 장치(702)는, 1024×768의 화소를 가지는 바이너리 패턴을 6000fps 이상으로 투영할 수 있다.

구체적으로는, 1024×768의 화상의 X좌표를 그레이 코드화한 각 비트를 맨체스터 부호화하여 얻어지는 패턴이, 디지털 마이크로 미러 디바이스에 6000fps로 설정된다. 그 패턴은 투영 대상(703)에 투영되고, 촬상 장치(701)는, 패턴이 투영된 투영 대상(703)을 6000fps로 촬영한다.

X좌표는 0부터 1023까지의 범위이므로, 각 좌표는 10bit로 표시된다. 또한 맨체스터 부호화함으로써 각 좌표는 20bit로 표시된다. 그로 인해, 20프레임의 촬상 화상으로부터 각 X좌표가 얻어진다. 또 , 삼각법에 의해 투영 대상(703)까지의 거리를 화소마다 얻을 수 있다. 촬상 결과는, 계산 장치(예를 들어, 퍼스널 컴퓨터)에 전송되어 해석된다. 맨체스터 부호화에 의해 2프레임마다 새로운 X좌표의 비트를 얻어 재계산할 수 있다. 이로 인해, 최종적인 스루풋으로서 3000fps의 분해 능력으로 3D 계측이 가능하게 된다.

또, 특허 문헌 2는, 촬상 데이터에 의거하여 영상 콘텐츠를 조정하는 계측 시스템을 개시하고 있다. 특허 문헌 2의 시스템 구성을 도 8에 도시한다. 계측 시스템(800)은, 촬상 장치(801), 투영 장치(802), 및 계산 장치(803)를 구비하고 있다. 계산 장치(803)는, 촬상 장치(801)에 의해 취득된 촬상 결과로부터 투영 대상(804)의 화상 인식을 행한다. 계산 장치(803)는, 투영 대상(804)을 인식한 영역에 영상 콘텐츠를 투사하도록 그 영상을 생성한다. 투영 장치(802)는, 영상 콘텐츠를 투영 대상(804)에 투영한다.

또, 특허 문헌 3은, 디지털 마이크로 미러 디바이스를 이용한 가시 화상의 계조 표시를 개시하고 있다. ON/OFF의 디지털 출력밖에 할 수 없는 디지털 마이크로 미러 디바이스에 있어서 계조 표시를 행할 때에, 계조를 표현하기 위해 서브필드 단위로 디지털 마이크로 미러 디바이스의 ON/OFF를 제어한다. 이것에 의해, 필드 전체의 ON/OFF를 매회 제어하는 것보다 짧은 시간에 계조를 제어할 수 있다.

이하, 본 개시에 있어서, 고찰된 종래 기술의 문제점을 설명한다.

프로젝션 맵핑 등의, 투영 대상인 구조물에 영상 콘텐츠를 투영하는 것을 생각한 경우, 영상 콘텐츠를 구조물에 의도대로 위치 맞춤하여 투영하는 것이 요구된다. 최종적으로는, 투영 장치의 좌표계로부터 본 구조물의 기하학적인 위치 정보를 얻는 것이 필요해진다.

또, 정적인 구조물에 투영할 때는, 투영과는 별도로 사전 계측을 1번 행하면 된다. 그 경우, 투영과 계측의 간섭을 무시할 수 있다. 한편, 동적으로 이동하고, 및/또는 변형하는 물체에 대해, 그것을 3D 계측하면서 그 결과에 의거하여 실시간으로 오차가 없는 투영을 행하는 것을 생각할 수 있다. 그 경우, 투영 중의 영상 콘텐츠에 영향을 주지 않도록 계측을 행하는 것이 요구된다.

그러나, 특허 문헌 1은, 3D 계측용의 패턴 화상을 비가시광에 의해 투영함으로써, 별도의 장소에 설치된 가시광 광원으로부터의 가시광의 영향을 받지 않는 계측이 가능하게 되는 것을 개시하고 있는 것에 불과하다. 특허 문헌 1의 기술에 의하면, 촬상 장치의 좌표계에 준하는 계측 결과밖에 얻어지지 않는다.

또, 비특허 문헌 1도, 고속으로 3D 계측을 행하는 기술 수준을 개시하고 있는 것에 불과하다. 투영 장치의 좌표 정보를 송출하려면 수십 프레임분의 화상이 필요하게 되므로, 종래, 이동 물체의 3D 계측을 고속으로 행하는 것은 어려웠다. 비특허 문헌 1의 기술은, 고속으로 계측을 행할 가능성을 시사한 점에서는 의미가 있다고 생각할 수 있다.

그러나, 비특허 문헌 1은 3D 계측 단체의 기술을 개시하고 있는데, 투영 장치의 좌표계에 대해 어떠한 언급도 하고 있지 않다. 또, 비특허 문헌 1은, 고속 촬상 후의 오프라인 처리, 즉 실시간이 아닌 처리에 대해 언급하고 있다. 원래, 60Hz 등으로 화상 처리를 행하는 것을 전제로 한 퍼스널 컴퓨터와 같은 계산기 아키텍처 장치에 있어서는, 수십 밀리초 이상의 지연이 입출력에서 발생한다. 그 결과, 이동 물체에 영상을 투영하면서 그것을 촬상하고, 그 결과를 실시간으로 투영에 피드백시키는 것은 어렵다.

특허 문헌 2의 기술에 의하면, 촬상 장치와 투영 장치의 위치가 서로 상이한 것에 의해 시차(視差) 발생한다. 그러나, 특허 문헌 2는, 그 시차의 해결에 대해 어떠한 언급도 하고 있지 않고, 시스템의 고속화에 대해서도 언급하고 있지 않다.

이러한 과제를 감안하여, 신규 구조를 구비한 투영 시스템, 그것에 이용되는 반도체 집적 회로에 상도했다.

본 개시는, 영상 투영과 같은 광학계를 이용하여, 가시광에 극력 영향을 주지 않고 좌표 정보를 중첩할 수 있는 투영 장치를 제공한다. 또, 촬상 장치의 좌표계를 기준으로 한 기하학 계측의 결과를 투영 장치의 좌표계를 기준으로 한 결과에 최소의 오차로 변환하는 방법을 제공한다. 또한 실시간으로 좌표 정보를 피드백하는 연산 회로를 제공한다.

본 개시의 일 양태의 개요는 이하대로이다.

본 개시의 일 양태인 투영 시스템은, 영상 콘텐츠를 나타내는 영상광과, 투영 좌표계에 있어서의 투영 좌표를 코드화한 정보에 대응하는 패턴 화상을 포함하는 패턴광을 투영하는 투영 장치와, 적어도 하나의 촬상 장치를 포함한다.

이 구성에 의하면, 영상 투영과 계측을 같은 투영 장치에 의해 행할 수 있다.

어느 양태에 있어서, 상기 투영 시스템은, 연산 장치를 더 구비하고, 상기 적어도 하나의 촬상 장치는, 촬상 좌표계를 가지며, 상기 투영 장치로부터 물체에 투영된 상기 패턴광을 촬상하여 촬상 화상을 생성하고, 상기 연산 장치는, 상기 촬상 화상을, 상기 촬상 좌표계에 있어서의 촬상 좌표에 대응하는 상기 투영 좌표를 나타내는 투영 좌표 정보로 복호하며, 상기 투영 좌표 정보를, 상기 투영 좌표계를 기준으로 하여 상기 물체까지의 거리 정보로 변환하고, 상기 거리 정보에 따라, 상기 영상 콘텐츠의 내용을 결정해도 된다.

이 구성에 의하면, 투영과 계측의 편차의 발생을 원리적으로 억제할 수 있고, 또한, 가시광의 영상에 간섭하지 않는 기하학 계측의 중첩을 실현할 수 있다. 또, 구조물에 영상 콘텐츠를 의도대로 위치 맞춤을 하여 투영을 행할 수 있다.

어느 양태에 있어서, 상기 투영 장치는, 상기 영상광 및 상기 패턴광을 시분할 다중화하여 투영해도 된다.

이 구성에 의하면, 광원의 수에 비해 적은 수의 디지털 마이크로 미러 디바이스로 장치를 구성할 수 있으므로, 코스트를 삭감할 수 있다. 고속으로 시분할 다중화할 수 있으므로, 감상자에게는 동시에 발광되고 있는 것과 구별이 되지 않는다.

어느 양태에 있어서, 상기 투영 장치는, 상기 영상광 및 상기 패턴광을 파장 다중화하여 투영해도 된다.

이 구성에 의하면, 파장 다중화된 광을 이용하여 투영과 계측을 완전 동시에 행할 수 있는 점에서, 지연량을 더 감소시킬 수 있다.

어느 양태에 있어서, 상기 투영 장치는, 상기 영상광에 상기 패턴광을 디지털 워터마크법에 의해 중첩시켜 투영해도 된다.

이 구성에 의하면, 가시광 영상의 시인성이 좋지 않은 하위 비트를 유효하게 활용할 수 있다.

어느 양태에 있어서, 상기 영상광은 가시광이며, 상기 패턴광은 비가시광이어도 된다.

이 구성에 의하면, 패턴광에 의한 영향을 받지 않고, 영상광이 사람에게 시인된다.

어느 양태에 있어서, 상기 비가시광은 적외광이어도 된다.

어느 양태에 있어서, 상기 영상광은 자외선 경화 수지의 경화에 작용을 주는 제1 파장을 가지고, 상기 패턴광은 상기 제1 파장과는 상이한 제2 파장이어도 된다. 상기 영상광은 3D 프린터 등의 방식 중 하나로서 실용화되어 있는 자외선 경화 수지를 경화시키는 광조형에 적합한 자외선 파장(예를 들어, 100nm~400nm)을 가지고, 상기 패턴광은, 상기 광조형에 영향을 주기 어려운 그 이상의 가시광선이나 근적외광선의 파장(예를 들어, 400nm~1000nm)을 가지고 있어도 된다.

이 구성에 의하면, 투영 장치의 투영 좌표계에서의 거리 정보에 의거하여 조형물 및 재료 수지의 상태를 얻을 수 있으므로, 오차가 적은 세심한 광조형의 제어가 가능하게 된다.

어느 양태에 있어서, 상기 적어도 하나의 촬상 장치의 설치 위치, 촬상 방향 및 줌 배율 중 적어도 하나는 동적으로 변화해도 된다.

이 구성에 의하면, 계측의 해상도를 부분적으로 높일 수 있다.

어느 양태에 있어서, 상기 적어도 하나의 촬상 장치는, 제1 및 제2 촬상 장치를 포함하고, 상기 제1 및 제2 촬상 장치는, 상기 투영 장치의 양측에 배치될 수 있다.

이 구성에 의하면, 투영광은 부딪히나 촬상할 수 없는 오클루젼 영역을 줄일 수 있다.

어느 양태에 있어서, 상기 적어도 하나의 촬상 장치는, 제1 및 제2 촬상 장치를 포함하고, 상기 제1 촬상 장치는, 상기 제2 촬상 장치에 비해, 상기 물체에 보다 가까운 위치에 배치되어 있어도 된다.

어느 양태에 있어서, 상기 연산 장치는, 상기 촬상 장치로부터 상기 촬상 좌표로 특정되는 화소의 제1 색정보를 취득하고, 상기 투영 좌표를 이용하여, 상기 제1 색정보에 대응한 상기 투영 화소의 제2 색정보를 결정해도 된다.

이 구성에 의하면, 촬상 장치는 투영처의 정확한 위치의 소재의 색정보에 의거한 투영을 행하는 것이 가능하게 된다. 그로 인해, 예를 들어 이하와 같은 일이 가능하게 된다.

제1에, 상이한 색이 혼재하는 면에, 마치 균일한 스크린에 투영했을 때와 같이 보이도록 보정할 수 있다. 제2에, 투영처의 소재를 선명하게 보이게 하는 연색성이 높은 조명 효과를 발휘할 수 있다. 제3에, 존재하는 소재의 시인성을 낮추어 숨기거나 할 수 있다. 또, 본 시스템은 저지연을 실현할 수 있으므로, 투영 대상이 이동하는 경우에서도 그 편차를 최소로 할 수 있다.

본 개시의 일 양태인 반도체 집적 회로는, 영상 콘텐츠를 나타내는 영상광, 및 투영 좌표계에 있어서의 투영 좌표를 코드화한 정보에 대응하는 패턴 화상을 포함하는 패턴광을 투영하는 투영 장치와, 상기 투영 장치로부터 물체에 투영된 상기 패턴광을 촬상하여 촬상 화상을 생성하는 적어도 하나의 촬상 장치를 구비하는 투영 시스템에 있어서 이용되고, 상기 촬상 화상을, 상기 촬상 좌표계에 있어서의 촬상 좌표에 대응하는 상기 투영 좌표를 나타내는 투영 좌표 정보로 복호하는 패턴 복호부와, 상기 투영 좌표 정보를, 상기 투영 좌표계를 기준으로 하여 상기 물체까지의 거리 정보로 변환하는 좌표 변환부와, 상기 거리 정보에 따라, 상기 영상 콘텐츠의 내용을 결정하는 콘텐츠 생성부를 구비한다.

이 반도체 집적 회로를 투영 시스템에 이용하면, 투영과 계측의 편차의 발생을 원리적으로 억제할 수 있고, 또한, 가시광의 영상에 간섭하지 않는 기하학 계측의 중첩을 실현할 수 있다. 또, 구조물에 영상 콘텐츠를 의도대로 위치 맞춤을 하여 투영을 행할 수 있다.

이하, 도면을 참조하면서, 본 개시의 구체적인 실시 형태를 설명한다. 이하의 설명에 있어서, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 붙이고 있다. 또, 중복하는 설명은 생략하는 경우가 있다. 또한, 본 개시의 실시 형태에 의한 투영 시스템은, 이하에 예시하는 것에 한정되지 않는다.

(실시 형태 1)

도 1 내지 도 4를 참조하면서, 본 실시 형태에 의한 투영 시스템(100)의 구조, 기능 및 동작을 설명한다.

도 1은 투영 시스템(100)의 개략적인 구성의 일례를 모식적으로 도시하고 있다. 투영 시스템(100)은, 촬상 장치(101), 투영 장치(102) 및 연산 장치(103)를 구비하고 있다.

본 실시 형태에서는, 촬상 장치(101)는 비특허 문헌 1과 마찬가지로 매초 6000프레임의 촬영을 행할 수 있다. 또, 촬상 장치(101)는, 내부에 버퍼링하는 일 없이 대규모의 전송 대역을 가지고, 연산 장치(103)에 촬상 데이터를 출력할 수 있다. 또한, 촬상 장치(101)는, 적외광 영역에 감도를 가지고 있다. 이하, 이들을 전제로 하여, 각 장치의 기능 및 동작의 일례를 설명한다.

투영 장치(102)는, 영상 콘텐츠를 나타내는 영상광과, 투영 좌표계로 규정되는 투영 좌표를 코드화한 패턴 화상을 나타내는 패턴광을 투영한다. 본 명세서에서는, 투영 좌표계는, 투영 화상인 영상 콘텐츠의 화상의 각 화소의 좌표를 특정하는 좌표계를 의미한다. 영상 콘텐츠의 화상의 각 화소를 특정하는 좌표를 투영 좌표계의 「투영 좌표」라고 칭한다.

투영 장치(102)는, 전형적으로는 렌즈 광학계(111)와, 가시광 LED 광원(131)과, 적외 LED 광원(132)과, 다이크로익 미러(141)와, 디지털 마이크로 미러 디바이스(121)를 가지고 있다.

렌즈 광학계(111)는, 한 매의 렌즈로 구성되어 있어도 되고, 복수 매의 렌즈(렌즈군)로 구성되어 있어도 된다. 복수의 렌즈는, 예를 들어 줌 렌즈 및 포커스 렌즈 등을 포함할 수 있다.

가시광 LED 광원(131)은, 가시광 대역(대개 380nm부터 780nm)의 광을 영상광으로서 출사한다. 간이화의 관점으로부터, 가시광 LED 광원(131)을 단색의 가시광 광원으로 할 수 있다. 단, 적청록의 삼색용으로 3개의 광원을 각각 설치함으로써, 풀 컬러의 영상을 투영해도 당연히 상관없다. 또는, 충분히 고속으로 회전 가능한 컬러 휠이 있으면, 가시광 LED 광원(131)을 대신하여 고압 수은등 등의 백색광원을 구비하고, 출력에 그것을 장착함으로써, 풀 컬러의 영상을 투영할 수 있다.

또, 가시광 LED 광원(131)으로서, 고압 수은등으로부터 다이크로익 프리즘 등으로 파장별로 광을 취출할 수 있는 광원을 이용할 수 있다. 이와 같이 본 개시에는 모든 광원을 이용할 수 있다.

적외 LED 광원(132)은, 비가시광을 패턴광으로서 출사한다. 비가시광은, 예를 들어, 적외광 대역(대개 700nm부터 1000nm)의 파장을 가지고 있다. 또한, 본 실시 형태에서는, 비가시광의 광원으로서, 적외 LED 광원(132)을 이용하고 있는데, 자외선을 출사하는 광원을 이용할 수도 있다.

디지털 마이크로 미러 디바이스(121)는, 예를 들어 1024×768의 칸 상에 마이크로 미러가 배열된 디바이스이다. 디지털 마이크로 미러 디바이스(121)는, 바이너리 패턴으로 매초 30000프레임의 영상을 출력할 수 있다. 또한, 디지털 마이크로 미러 디바이스(121)는 액정 디바이스로 대체하는 것도 가능하다.

다이크로익 미러(141)는 가시광을 투과시키고, 적외광을 반사하는 특성을 가지고 있다. 다이크로익 미러(141)로서는, 공지가 되어 있는 것을 널리 이용할 수 있다.

촬상 장치(101)는, 패턴광을 촬상하고, 패턴광의 촬상 화상을 생성한다. 촬상 장치(101)는, 이미지 센서, 렌즈 광학계 등을 포함하고 있다. 예를 들어, 디지털 마이크로 미러 디바이스(121)와 대응시켜, 1024×768의 화소수를 가지는 이미지 센서를 이용할 수 있다. 그 경우, 1화소를 8bit의 분해 능력으로 하면, 전송 대역은 38Gbps 정도이다. 연산 장치(103)를, 예를 들어, FPGA(Field Programmable Gate Array)로 실현한다고 가정한다. 현재의 반도체 기술 수준을 고려하면, 38Gbps 정도의 전송 대역은 충분히 실현할 수 있는 범위이다.

촬상 장치(101)는, 촬상 좌표계를 가지고 있다. 본 명세서에서는, 촬상 좌표계는, 촬상 장치(101)에 의해 취득되는 촬상 화상의 각 화소의 좌표를 특정하는 좌표계를 의미한다. 「투영 좌표」와 구별하여, 촬상 화상의 각 화소의 좌표를 촬상 좌표계의 「촬상 좌표」라고 칭한다.

연산 장치(103)는, 촬상 화상을, 촬상 좌표계로 규정되는 촬상 좌표에 대응하는 투영 좌표를 나타내는 투영 좌표 정보로 복호하고, 투영 좌표계를 기준으로 하여 투영 좌표 정보를 구조물까지의 거리 정보로 변환하며, 거리 정보에 따라, 영상 콘텐츠의 내용을 선택적으로 결정한다.

도 2는, 패턴광에 대응한, 코드화된 패턴 화상(좌표 패턴)의 일부를 예시하고 있다. 도 2에 도시되는 패턴 화상은, 1024×768의 마이크로 미러를 가지는 디지털 마이크로 미러 디바이스(121)의 각 미러의 X 및 Y좌표를 그레이 코드화한 후에, 각 bit를 흑백의 2치 화상으로서 표시함으로써 얻어진다.

투영 장치(102)는, 예를 들어 1024×768화소의 패턴 화상에 의거하여 패턴광을 구조물(104)에 투영할 수 있다. 화소의 X좌표 및 Y좌표 모두 512보다 크고 1024 이하이다. 그 경우, X좌표를 표시하는 bit0부터 bit9까지의 10비트가 그레이 코드화된다. X좌표와 마찬가지로, Y좌표를 표시하는 bit0부터 bit9까지의 10비트가 그레이 코드화된다. 이와 같이, 각 좌표에 각각 10비트, 합계 20비트를 할당함으로써, 좌표 정보를 코드화할 수 있다. 이하, 40프레임의 화상 데이터를 이용하여, 그 20비트의 정보의 부호화를 행하는 예를 설명한다.

도 2는 40매의 패턴 화상으로 코드화하는 예에 있어서, 40매의 패턴 화상에 포함되는 대표적인 12매의 패턴 화상을 도시하는 이미지도이다. 도 2의 (X9a)는 X좌표를 그레이 코드화한 후의 bit9에 대응한 패턴 화상을 도시하고 있다. 또, 본 실시 형태에서는, 맨체스터 부호화에 의해 투영 좌표를 부호화하므로, bit9를 비트 반전시킨 반전 패턴 화상도 이용된다. 도 2의 (X9b)는, (X9a)의 화상 패턴을 반전시킨 반전 패턴 화상을 도시하고 있다. 마찬가지로, 도 2의 (X8a)는 X좌표를 그레이 코드화한 후의 bit8에 대응한 패턴 화상을 도시하고, (X8b)는 (X8a)의 화상 패턴을 반전시킨 반전 패턴 화상을 도시하고 있다. 도 2의 (X7a)는 X좌표를 그레이 코드화한 후의 bit7에 대응한 패턴 화상을 도시하고, (X7b)는 (X7a)의 화상 패턴을 반전시킨 반전 패턴 화상을 도시하고 있다.

도 2의 (Y9a)는 Y좌표를 그레이 코드화한 후의 bit9에 대응한 패턴 화상을 도시하고 있다. 도 2의 (Y9b)는, (Y9a)의 화상 패턴을 반전시킨 반전 패턴 화상을 도시하고 있다. 마찬가지로, 도 2의 (Y8a)는 Y좌표를 그레이 코드화한 후의 bit8에 대응한 패턴 화상을 도시하고, (Y8b)는 (Y8a)의 화상 패턴을 반전시킨 반전 패턴 화상을 도시하고 있다. 도 2의 (Y7a)는 Y좌표를 그레이 코드화한 후의 bit7에 대응한 패턴 화상을 도시하고, (Y7b)는 (Y7a)의 화상 패턴을 반전시킨 반전 패턴 화상을 도시하고 있다.

도시되어 있지 않으나, 계측 가능한 해상도까지, 예를 들어 X좌표 및 Y좌표의 bit6부터 0에도 각각 대응한 패턴 화상 및 반전 패턴 화상이 존재한다. 투영 장치(102)는 이들 패턴을 포함시킨 40패턴을 구조물(104)에 순차적으로 투영한다. 촬상 장치(101)는, 투영된 패턴 화상을 순차적으로 촬상한다.

다음에, 도 3 및 4를 참조하면서, 연산 장치(103)의 구조, 기능의 상세를 설명한다.

도 3은 연산 장치(103)의 기능 블록 구성의 일례를 도시하고 있다. 연산 장치(103)는, 투영 시스템 전체를 제어하는 기능을 가지고 있다. 연산 장치(103)는, 예를 들어 컴퓨터, 프로세서로 대표되는 연산 장치, 또는 반도체 집적 회로에 의해 실현될 수 있다. 반도체 집적 회로는, 예를 들어 ASIC(Application Specific Integrated Circuit) 및 FPGA 등이다. 메모리에, 각 구성 요소의 기능을 발휘하는 컴퓨터 프로그램이 실장되어 있으며, 반도체 집적 회로 내의 프로세서가 순차적으로 컴퓨터 프로그램을 실행함으로써, 각 구성 요소의 기능을 실현해도 된다.

연산 장치(103)는, 화상 입력부(401)와, 패턴 복호부(402)와, 프레임 메모리부(403)와, 코드 복호용 메모리부(404)와, 좌표 변환부(405)와, 좌표 변환용 메모리부(406)와, 좌표 보간부(407)와, 콘텐츠 생성부(408)와, 콘텐츠 메모리부(409)와, 화상 출력부(410)와, 패턴 생성부(411)를 가지고 있다. 연산 장치(103) 내의 각 메모리부는, 예를 들어 RAM 등에 의해 구성될 수 있다.

도 4는, 본 실시 형태에 의한 투영 시스템(100)의 동작 플로차트를 나타내고 있다. 도 4에 도시되는 바와 같이, 투영 장치(102)는, 기간(211, 213, 215)에 있어서 패턴광을 투영하고, 기간(212, 214, 216)에 있어서 영상광을 투영한다. 즉, 투영 장치(102)는, 영상광 및 패턴광을 시분할 다중화하여 투영한다. 또한, 도면 중의 마이크로 미러의 「P」는 계측을 위한 패턴 화상을 나타내고, 「V」는 투영 화상으로서의 영상 콘텐츠를 나타내고 있다.

우선, 패턴 생성부(411)는, 기간(211)에 있어서, 적외 LED 광원(132)을 점등시킨다. 패턴 생성부(411)는, 상기 서술한 방법에 의해 패턴 투영용의 패턴 화상을 생성한다. 패턴 생성부(411)는, 디지털 마이크로 미러 디바이스(121)에 있어서 계측용의 패턴 투영을 행하도록, 화상 출력부(410)에 패턴 화상을 나타내는 화상 데이터를 출력한다. 화상 출력부(410)는, 패턴 생성부(411)로부터의 화상 데이터와 적외 LED 광원(132)의 점등 정보를 투영 장치(102)에 출력한다. 그 패턴 화상을 나타내는 패턴광은 적외광으로서 투영되므로, 촬상 장치(101)에 의해 계측되지만 인간의 시각에는 영향을 미치지 않는다.

패턴 생성부(411)는, 하나의 패턴을 1/6000초로 출력할 수 있다. 패턴 생성부(411)는, 기간(211)에 있어서, X좌표 및 Y좌표의 각각의 10bit의 좌표 화상과 그 반전 화상의 합계 40프레임을 출력한다. 한편, 촬상 장치(101)는, 디지털 마이크로 미러 디바이스(121)의 프레임을 출력하는 레이트와 동기하여 40프레임으로 촬상을 행한다. 이 예에서는 기간(211)의 길이는 6.7밀리초이다.

또, 화상 출력부(410)도, 패턴 생성부(411)의 출력 타이밍과 동기하여 투영 장치(102)에 패턴 화상을 출력한다. 화상 입력부(401)가, 화상 출력부(410)의 출력 타이밍과 동기하여 촬상 장치(101)의 노광을 제어함으로써, 40프레임의 촬상이 행해진다.

화상 입력부(401)는, 촬상 장치(101)에 의해 촬상된 촬상 화상(촬상 데이터)을 수신한다. 화상 입력부(401)는, 수신한 촬상 데이터를 패턴 복호부(402)에 송신한다. 화상 입력부(401)는, 화상 출력부(410)와 동기하면서 수신한 촬상 데이터에 대응하는 패턴을 판정한다.

패턴 복호부(402)는, 촬상 장치(101)로부터의 패턴 화상을 나타내는 촬상 화상을, 촬상 좌표계로 규정되는 촬상 좌표에 대응하는 투영 좌표를 나타내는 투영 좌표 정보로 복호한다. 이하, 패턴 복호부(402)의 기능을 보다 상세하게 설명한다.

패턴 복호부(402)는, 화상 입력부(401)로부터 수신한 촬상 데이터가 X 및 Y좌표의 비비트 반전 화상이면, 그 촬상 데이터를 프레임 메모리부(403)에 기록한다. 패턴 복호부(402)는, 그 화상 데이터가 X 및 Y좌표의 비트 반전 화상이면, 먼저 프레임 메모리부(403)에 기록된 비비트 반전 화상을 읽어내면서, 양자의 차분을 취한다. 그 차분을 취함으로써, 투영 대상의 색 또는 환경광에 의존하는 일없이, 투영광의 「0」과 「1」을 판별할 수 있다. 그 차분이 소정의 값 이하의 영역을, 투영광이 투영되어 있지 않은 영역으로서 판정하고, 그 영역을 계측 대상 영역으로부터 제외할 수 있다.

코드 복호용 메모리부(404)에는, 촬상 장치(101)의 화소마다 기록 영역이 설정되어 있다. 패턴 복호부(402)는, 차분을 취한 후, 그레이 코드화된 좌표 데이터의 각 비트값을, 그 기록 영역에 비트 단위로 기록한다. 이 조작이 촬상 장치(101)의 노광 시간의 사이에 40프레임분 실행된다. 이것에 의해, 촬상 장치(101)의 각 화소에 대응하는, 투영 장치(102)의 X좌표 및 Y좌표가 존재하는지의 여부를 나타내는 정보와, 존재하는 경우의 X좌표 및 Y좌표의 각각을 나타내는 10 bit의 값이, 코드 복호용 메모리부(404)에 기록된다. 패턴 복호부(402)는 최종적으로, 코드 복호용 메모리부(404)에 기록된 그레이 코드의 좌표 데이터를 바이너리로 재변환하여 좌표 변환부(405)에 출력한다.

지금까지의 처리에 의해, 촬상 장치(101)의 어느 화소 위치에 촬상된 투영광이, 투영 장치(102)의 어느 화소로부터 투영되었는지를 알 수 있다. 즉, 투영 좌표와, 촬상 장치의 촬상 좌표계로 규정되는 촬상 좌표의 대응 관계를 알 수 있다. 따라서, 촬상 장치(101)와 투영 장치(102)의 서로의 위치 관계가 기존의 것이면 촬상 화소마다 구조물까지의 거리를 삼각법에 의해 얻을 수 있다. 그러나, 얻어지는 정보는, 촬상 장치(101)의 촬상 화소에 대응한 거리 정보이다. 그로 인해, 본 실시 형태에서는, 그 정보를 투영 장치(102)의 화소 좌표에 대응한 거리 정보로 변환한다.

좌표 변환부(405)는, 패턴 복호부(402)로부터 수신한 데이터를, 투영 장치(102)의 투영 좌표에 대응한 어드레스로 특정되는 좌표 변환용 메모리부(406)의 영역에 기록한다. 그 후, 좌표 변환부(405)는, 좌표 변환용 메모리부(406)로부터, 거리 정보를 투영 장치(102)의 X좌표 및 Y좌표의 순서대로 읽어냄으로써, 투영 장치(102)의 투영 좌표에 대응한 거리 정보를 생성한다.

그때, 대응점이 존재하지 않는 투영 화소가 발생할 수 있다. 구체적으로는, 구조물에 투영된 패턴 화상 중, 어느 복수의 화소에 대응한 각각의 광이, 촬상 장치(101)의 하나의 촬상 화소에 의해 촬상될 수 있다. 그 경우, 그레이 코드의 특성상, 대응점이 존재하지 않는 투영 화소는 인접하는 2개의 투영 화소의 어느 한쪽의 화소 좌표에 넣어지므로, 편측의 투영 화소는 대응처가 없는 상태가 된다.

좌표 보간부(407)는, 좌표 변환부(405)로부터, 투영 장치(102)의 투영 좌표에 대응한 거리 정보를 수신한다. 좌표 보간부(407)는, 거리 정보가 존재하지 않는 투영 좌표에 대해 거리 정보를 보간한다. 이것은, 보간하는 것이 가능한 거리 정보를 가지는 투영 좌표가 일정수 그 주변에 존재하는 개소에 한정해, 주변 좌표의 거리 정보로부터 선형 보간 등의 보간법을 이용해 행해진다. 좌표 보간부(407)는, 투영 좌표에 의거하는 거리 정보를 콘텐츠 생성부(408)에 출력한다.

콘텐츠 생성부(408)는, 기간(212와 213)을 걸쳐서 투영용의 영상 콘텐츠를 생성한다. 콘텐츠 생성부(408)는, 콘텐츠 메모리부(409)에 미리 기록되어 있던 영상 콘텐츠를, 좌표 보간부(407)로부터 수신한 거리 정보에 의거하여 가공하고, 가공한 영상 콘텐츠를 화상 출력부(410)에 출력한다. 이하, 가공된 영상 콘텐츠를, 미리 기록된 가공 전의 영상 콘텐츠와 구별하여, 「가공 후의 영상 콘텐츠」라고 칭하는 경우가 있다.

콘텐츠 생성부(408)는, 좌표 편차가 없는, 구조물까지의 거리에 정확하게 대응한 영상 콘텐츠를 생성한다. 또, 콘텐츠 생성부(408)는, 영상 콘텐츠의 내용을 거리 정보에 따라 선택적으로 결정할 수 있다. 예를 들어 일정한 거리에 있는 물체를 잘라 검지하고, 가시광 투영용의 영상 콘텐츠를 정확하게 묘화하는 등의 처리가 가능하게 된다. 콘텐츠 생성부(408)는, 투영용의 가공 후의 영상 콘텐츠를 화상 출력부(410)에 출력한다.

화상 출력부(410)는, 기간(212 및 213)에 있어서 생성된 가시광 투영용의 영상 콘텐츠를, 기간(214)에 있어서 투영 장치(102)에 출력한다.

그 후, 가시광 LED 광원(131)이 점등되고, 디지털 마이크로 미러 디바이스(121)에 의해 영상 콘텐츠에 대응한 투영광이 출력된다. 디지털 마이크로 미러 디바이스(121)는, 매초 30000의 바이너리 프레임을 출력할 수 있다. 그로 인해, 예를 들어 8.5밀리초의 사이에 255프레임을 이용하여 256계조의 화상을 투영하는 것이 가능하게 된다. 이 투영은 가시광 광원에 의해 이루어지므로, 인간에게 시인된다.

기간(213)에 있어서는, 투영용의 영상 콘텐츠의 생성과 병행하여, 기간(211)과 마찬가지로 적외광에 의한 패턴 화상의 투영과 촬상이 이루어진다. 기간(214와 215)을 걸쳐서, 콘텐츠 생성부(408)는, 좌표 편차가 없는, 구조물까지의 거리에 정확하게 대응한 영상 콘텐츠를 생성한다. 그리고, 기간(216)에 있어서, 투영 장치(102)는, 투영용의 영상 콘텐츠를 투영한다. 이와 같이, 계측과 투영을 연속적으로 행하는 것이 가능하다.

계측과 투영의 반복의 주기는, 계측 시간(기간(211))이 6.7밀리초이며, 투영 시간(기간(212))이 8.5밀리초이면, 15.2밀리초이다. 이것은 60Hz 이상의 스루풋으로 실현 가능한 것을 의미하고 있다. 또, 계측으로부터 그 계측 결과를 반영시킬 때까지의 시간(이하, 「지연 시간」이라고 칭한다)을 반복의 주기와 같은 15.2밀리초로 할 수 있다. 이와 같이 60Hz 이상의 스루풋을 달성할 수 있으므로, 영상 콘텐츠가 투영되지 않는 계측 기간 등의 비표시 시간에 기인하는 투영 화상의 깜빡거림은 인간의 눈에 신경이 쓰이지 않는 레벨까지 충분히 저감할 수 있다. 또한, 도 4에 있어서는, 지연 시간은, 기간(212 및 213)의 합산 시간에 상당한다.

본 실시 형태에 의하면, 영상 투영과 계측을 같은 투영 장치에 의해 행함으로써, 투영과 계측의 편차의 발생을 원리적으로 억제할 수 있고, 또한, 가시광의 영상에 간섭하지 않는 기하학 계측의 중첩을 실현할 수 있다.

또, 본 실시 형태에 의하면, 연산 장치(103)가 촬상 장치(101)에 의해 촬상된 패턴 화상을 디코드할 수 있으면, 상대적인 위치 계측에는 견딜 수 있다. 그로 인해, 설치의 정밀도가 충분히 확보되지 않아도, 실용에 견딜 수 있다. 그 점에 있어서, 설치의 간이성을 확보할 수 있다. 또, 경년 열화에 의한 설치 관계의 오차 확대에 대해 높은 로바스트성을 얻을 수 있다.

이하, 본 실시 형태의 변형예를 설명한다.

본 실시 형태에서는, X좌표 및 Y좌표의 양방을 이용했다. 그러나, 본 개시는 이것에 한정되지 않고, 시차가 편방의 축방향에만 발생하지 않도록 촬상 장치(101)와 투영 장치(102)가 배치되어 있으면, 물체까지의 거리를 산출할 때에, 이용하는 패턴 화상을 반감시킬 수 있다.

또, 본 실시 형태에서는, 비특허 문헌 1과 마찬가지로, 비트 반전시킨 것을 교호로 전송하는 맨체스터 부호화 방식을 예시했다. 그러나, 본 개시는 이 방식에 한정되지 않는다. 예를 들어, 전체 0의 패턴 화상과 전체 1의 패턴 화상을 기준으로 하여 패턴 화상을 미리 생성한 후에 차분을 구하면, 맨체스터 부호화 방식보다 적은 매수로 계측할 수 있다. 이러한 방식을 채용하면, 기간(211)의 시간을 더 단축할 수 있다.

또, 비특허 문헌 1의 방식과 같이, 모든 좌표 비트를 주사하지 않고, 새로운 비트를 얻을 때마다 거리 정보를 갱신하는 방식을 채용하면, 기간(211)은 2프레임분의 촬영에 필요로 하는 시간으로 할 수 있다. 그 결과, 기간(211)의 시간을 333마이크로초로 할 수도 있다.

계측으로부터 그 계측 결과를 투영에 반영시킬 때까지는 지연이 발생한다. 그 지연에 관해서도, 본 실시 형태에서는, 기간(212) 및 기간(213)을 걸쳐서 촬상 결과에 의거하여 투영용의 영상 콘텐츠를 생성하고, 기간(214)에 있어서 가공 후의 영상 콘텐츠를 투영했다. 그러나, 기간(211)의 사이에 콘텐츠 생성도 단시간에 실시할 수 있으면, 다음의 기간(212)에 있어서 가시광 투영으로 그 결과를 반영시킬 수도 있다.

예를 들어, 본 실시 형태에서는, 물체까지의 거리를 포함시킨 3차원 데이터로서 계측 결과를 취급하고 있다. 단, 계측 결과를 2D 데이터로서 취급하고, 단순히 위치 맞춤을 행하는 경우에 있어서도, 본 개시는 매우 유용하다. 투영 영역을 단순히 결정하는 것이라면, 데이터 전송에 맞추어 역치(예를 들어, 물체까지의 거리에 따른 역치)를 설치해 두면 된다. 이것에 의해, 영상 콘텐츠를 생성하는 시간을 큰 폭으로 단축할 수 있다.

영상 콘텐츠(영상광)의 투영에 관해서도, 비특허 문헌 2와 같이 프레임 전체를 갱신하는 것이 아니라, 프레임 사이에 서브필드를 설치하여, 서브필드 단위로 갱신하면 보다 짧은 시간에 계조를 표현할 수 있는 것이 알려져 있다. 이러한 기술과 본 개시를 병용하면 전체적으로서의 프레임 레이트를 더 향상시킬 수 있다.

종래의 기술에 의하면, 계산기 아키텍처는, 60Hz에서의 화상 처리를 기본으로 한 묘화 시스템을 가지고 있다. 투영 장치와는 상이한 위치로부터 촬상된 촬상 화상에 의거하여, 그 계산기 아키텍처 상에서 촬상 장치의 위치 편차에 수반하는 시차를 계산하는 경우, 버퍼링 포함시켜 최저에서도 33밀리초 이상의 지연이 발생할 수 있다. 그 결과, 예를 들어, 종래의 기술을 볼링장 등에 적용한 경우, 계측으로부터 투영까지의 사이에 볼은 495밀리미터나 이동해 버려, 종래의 기술은 실용에 견디기 어렵다.

이에 비해, 본 개시에 의하면, 그 구성하기 나름으로 지연을 더 감소시키는 것도 가능하다. 구체적으로는, 1밀리초보다 짧은 지연으로 계측 결과를 투영에 반영시킬 수도 있다. 예를 들어 지연이 1밀리초 정도인 시스템을 조성한 경우, 초속 10미터로 이동하는 물체여도 계측과 투영의 오차는 10밀리미터 이하로 억제할 수 있다. 계측 대상을 포함시킨 시스템의 다이내믹스를 고려하면 정밀도와 지연은 트레이드 오프의 관계가 되므로, 실제로는 그 관계에 입각하여 시스템을 조정하면 된다.

본 개시는, 인터랙티브성을 구비한 프로젝션 맵핑 시스템 등에 최적이다. 예를 들어 볼링장에 있어서 볼의 움직임에 맞추어 영상 콘텐츠를 투영할 때, 볼의 속도는 세계 기록에서도 초속 15미터 정도이다. 1밀리초 이하의 지연으로 투영이 가능하면, 영상 콘텐츠의 편차량은 15밀리미터 이하로 할 수 있다. 본 실시 형태에서는 계측 결과가 투영 장치의 투영 좌표계에 있어서 얻어지므로, 매우 고속으로 투영용의 영상 콘텐츠를 가공할 수 있다.

본 실시 형태에서는, 투영 시스템(100)은, 하나의 촬상 장치(101)를 구비하고 있다. 단, 투영 장치(102)의 양측에 적어도 2개의 촬상 장치(101)를 설치함으로써, 투영광은 부딪히나 촬상할 수 없는 오클루젼 영역을 줄일 수 있다.

본 실시 형태에 있어서, 촬상 장치(101)의 설치 위치, 촬상 방향 및 줌 배율 중 적어도 하나를 동적으로 변화시켜도 된다. 또, 해상도 및 줌 배율 중 적어도 하나가 상이한 촬상 장치, 및/또는 물체까지의 거리가 상이한 촬상 장치를 추가함으로써, 계측의 해상도를 부분적으로 높일 수 있다. 예를 들어, 투영 시스템(100)은, 제1 및 제2 촬상 장치를 구비하고 있어도 된다. 그때, 제1 촬상 장치는, 제2 촬상 장치에 비해, 물체(구조물)에 의해 가까운 위치에 배치될 수 있다.

또한 적외 LED 광원(132)을 이용하는 대신에, 도 7에 도시되는 종래의 투영 장치를 이용할 수 있다. 이 경우, 계측을 위한 패턴광도 가시광에 의해 투영된다. 그러나, 예를 들어 맨체스터 부호화의 방식을 이용하는 경우, 모든 화소에 있어서 0과 1이 동량 발생한다. 그로 인해, 패턴광은 인간의 눈에는 인식되지 않고, 영상광에 일정한 오프셋이 걸린 것처럼 시인된다. 그 경우, 오프셋분을 가시광용의 영상광으로부터 미리 감산해 두는 것도 가능하다. 이것은, 디지털 워터마크 등의 기술의 일종이며, 예를 들어 가시광 영상의 시인성이 좋지 않은 하위 비트에 계측용의 패턴 화상을 묻음으로써 실현된다.

특히, 디지털 마이크로 미러 디바이스(121)를 대신하여 액정 디바이스로 대체하는 경우, 하위 비트는 특정의 바이너리 화상의 프레임이 아니라, 각 프레임의 아날로그량으로서 표현된다. 그로 인해, 디지털 워터마크 기술에 의해 영상광에 패턴광을 중첩시키는 것은 중요하다.

본 실시 형태에서는, 기간(211)에 있어서, 촬상 장치(101)에 의해, 패턴 화상과 맞추어 투영광의 투영 화상(영상 콘텐츠)을 제1 가시광 화상으로서 취득해도 된다. 그 경우, 만일 패턴 광이 가시광이어도, 맨체스터 부호화된 패턴 화상을 나타내는 광의 시간 방향에 있어서의 적분값은 반드시 일정해진다. 그로 인해, 백색광의 투영과 상관없이, 가시광에 의한 투영 화상의 취득이 가능하다. 또한, 기간(212)에 있어서 촬상 장치(101)에 의해 영상 콘텐츠를 나타내는 투영광을 제2 가시광 화상으로서 촬상해도 된다. 제2 가시광 화상으로부터, 투영처의 구조물(104)이, 그 촬영에 의해 어떤 색으로 변화하는지를 추종할 수 있다.

본 실시 형태에 의하면, 촬상 좌표계에 있어서의 촬상 지표를 투영 좌표계에 있어서의 투영 좌표로 변환할 수 있다. 그로 인해, 가시광 화상을 이용하여 투영 색의 조정을 행할 때, 위치 편차 없이 투영광을 투영할 수 있다. 이때의 가시광 화상은 제1 가시광 화상 및 제2 가시광 화상 중 어느 한쪽을 그대로 이용해도 되고, 양방을 합성하여 패턴 성분의 영향을 경감한 화상을 이용해도 된다.

본 개시는, 상품 전시가 개최되는 분야에서 프로젝션 맵핑에 유용하다. 예를 들어 식재를 선명하게 보이게 하거나, 환경광에 의존하지 않고 카탈로그 그대로의 상품의 색을 재현하는 것에 의의가 있다. 투영 대상인 물체의 형상 및/또는 이동에 맞추어 위치 편차 없이 투영광을 투영할 수 있다.

또, 본 개시는, 3D 프린터 등의 광조형 분야에 있어서도 유용한 기술이다. 그 3D 프린터는, 자외선용의 투영기를 이용하여 조형 정보를 나타내는 자외선을 자외선 경화 수지에 투영함으로써 광조형을 행한다. 예를 들어, 가시광 LED 광원(131)을 자외선 광원으로 변경하면, 수지를 경화시키지 않는 적외선에 의해 3D 정보의 계측을 행하면서, 자외선에 의해 광조형을 제어할 수 있다. 투영 장치(102)의 투영 좌표계에서의 거리 정보에 의거하여 조형물 및 재료 수지의 상태를 얻을 수 있으므로, 오차가 적은 세심한 광조형의 제어가 가능하게 된다.

또, 새로운 응용예로서, 본 개시에 의한 시스템을 자동차의 헤드라이트에 이용하는 것도 생각할 수 있다. 자동차의 헤드라이트의 광은, 예를 들어 빗방울 및 광택이 있는 물체 등에서 반사된다. 그 반사광에 의해, 운전자의 눈이 부실 우려가 있다. 본 개시의 시스템에 의하면, 3D 계측에 의해 핀 포인트로 그들 물체 등으로의 투광을 마스크함으로써, 안전한 시야를 확보할 수 있다. 보행자 및 맞은편 차에 대해서도 얼굴(특히 눈) 부분으로의 투광을 마스크함으로써, 사람의 눈에 대한 영향을 방지할 수 있다.

또, 이것과는 반대로, 표식 및 간판 등, 시인하고 싶은 형상을 인식하여, 핀 포인트로 그들에 적극적으로 투광할 수도 있다.

(실시 형태 2)

도 5를 참조하여, 본 실시 형태에 의한 투영 시스템(100)의 구성, 기능 및 동작을 설명한다.

본 실시 형태에 의한 투영 시스템(100)은, 투영 장치(102)가 다이크로익 프리즘(841)을 가지고 있는 점에서, 실시 형태 1에 의한 투영 장치(102)와는 상이하다. 이하, 투영 장치(102)의 구조를 중심으로 설명한다.

도 5는 본 실시 형태에 의한 투영 시스템(100)의 개략적인 구성을 도시하고 있다.

본 실시 형태에 의한 투영 시스템(100)은, 촬상 장치(101), 투영 장치(102) 및 연산 장치(103)를 구비하고 있다. 투영 장치(102)는, 디지털 마이크로 미러 장치(121, 121), 가시광 LED 광원(131), 다이크로익 프리즘(841), 적외 LED 광원(132), 및 렌즈 광학계(111)를 포함하고 있다.

다이크로익 프리즘(841)은, 좌우로부터 입사하는 가시광과 적외광을 혼합하여 렌즈 광학계에 혼합광을 출력한다.

본 실시 형태에 의한 촬상 장치(101)는, 적외광에 실질적으로 감도를 가지는 이미지 센서를 포함하고 있는 것이 바람직하다. 이것에 의해, 촬상 장치(101)는 혼합광을 수광하더라도, 적외광인 패턴광을 촬상할 수 있다.

본 실시 형태의 투영 장치(102)에 의하면, 디지털 마이크로 미러 디바이서(121)와 적외 LED 광원(132)의 조합에 의해 거리 계측용의 패턴광을 투영하면서, 동시각에 있어서 가시광 LED 광원(131)과 디지털 마이크로 미러 디바이스(122)의 조합에 의해 가시광의 투영광을 투영할 수 있다. 바꾸어 말하면, 투영 장치(102)는, 영상광 및 패턴광을 파장 다중화하여 투영한다. 또한, 실시 형태 1에서 설명한 바와 같이, 가시광 LED 광원(131)의 출력에 컬러 휠을 장착함으로써, 또는, 적청록의 삼색용으로 3개의 광원을 각각 설치함으로써, 풀 컬러의 영상을 투영하더라도 당연히 상관없다.

또한, 3판식 투영기와 같이 적청록용으로 개별적으로 디지털 마이크로 미러 디바이스(121 및 122)의 각각을 설치해도 좋다. 또, 종래의 3판의 디지털 마이크로 미러 디바이스에 추가하여, 적외용의 디지털 마이크로 미러 디바이스를 더 추가함으로써, 신규의 4판식 투영기를 실현할 수 있을 가능성이 있다. 이것에 의해, 새로운 산업 분야가 개척되는 것이 크게 기대된다.

본 실시 형태에 의하면, 실시 형태 1에 비해, 디지털 마이크로 미러 디바이스의 수가 증가하므로, 코스트가 그만큼 증가한다. 그러나, 혼합광을 이용하여 투영과 계측을 완전 동시에 행할 수 있는 점에서, 지연량을 더 감소시킬 수 있다.

본 개시에 의하면, 하나의 투영 장치를 이용하여 계측과 투영을 동시에 행할 수 있다. 또, 투영 장치의 투영 좌표계에 있어서 물체의 위치를 매우 고속으로 계측할 수 있고, 또한, 물체 추종형의 프로젝션 맵핑 시스템을 염가로 구축할 수 있다.

이하, 상정될 수 있는 본 개시의 응용예를 설명한다.

본 개시는, 예를 들어 볼링, 당구, 및 체감형 어트랙션 등의, 움직임을 포함한 어뮤즈먼트용의 인터랙티브한 프로젝션 맵핑을 포함한 조명 연출에 유용하다. 또, 본 개시는, 이벤트, 콘서트에 있어서의 조명 연출에 유용하다. 또, 본 개시는, 레스토랑 또는 바 등에 있어서의 손님의 움직임에 맞춘 점내 장식 연출 등에도 유용하다.

또한, 본 개시는, 백화점 또는 상점 등의 쇼케이스, 또는 상품 전시 중에서 이용될 수 있다. 본 개시는, 상품의 색채가 환경광에 의존하지 않고 카탈로그 그대로가 되도록 광량을 조정하는 장치에도 응용할 수 있다.

다른 응용예로서, 공장 및 유통 등의 분야에 있어서 작업 가이드 라인을 작업 스페이스에 투영하는 등의 용도에도 본 개시는 최적이다. 3D 광조형의 분야, 및 자동차의 헤드라이트 등의 머신비젼의 분야로의 응용도 기대할 수 있다.

영상광은 3D 프린터 등의 방식 중 하나로서 실용화되어 있는 자외선 경화 수지를 경화시키는 광조형에 적합한 자외선 파장(예를 들어, 100nm~400nm에 포함되는 파장)을 가지고, 패턴광은, 광조형에 영향을 주기 어려운 그 이상의 가시광선이나 근적외광선의 파장(예를 들어, 400nm~1000nm에 포함되는 파장)을 가지고 있어도 된다.

영상광으로서 100nm~400nm에 포함되는 파장대 A의 광을 선택했을 때, 패턴광으로서 400nm~1000nm에 포함되는 파장대 B의 광을 선택했을 때, 파장대 A와 파장대 B는 겹치는 파장이 없도록 해도 된다.

[산업상의 이용 가능성]

본 개시의 투영 시스템, 및 반도체 집적 회로는, 프로젝션 맵핑 시스템에 이용할 수 있다.

100 투영 시스템
101 촬상 장치
102 투영 장치
103 연산 장치
104 구조물
111 렌즈 광학계
121, 122 디지털 마이크로 미러 디바이스
131 가시광 LED 광원
132 적외 LED 광원
141 다이크로익 미러
401 화상 입력부
402 패턴 복호부
403 프레임 메모리부
404 코드 복호용 메모리부
405 좌표 변환부
406 좌표 변환용 메모리부
407 좌표 보간부
408 콘텐츠 생성부
409 콘텐츠 메모리부
410 화상 출력부
411 패턴 생성부
501 가시광 광원
502 적외광원
504 슬릿
702 계산 장치
841 다이크로익 프리즘

Claims

영상 콘텐츠를 나타내는 영상광과, 투영 좌표계에 있어서의 투영 좌표를 코드화한 정보에 대응하는 패턴 화상을 포함하는 패턴광을 투영하는 투영 장치와,
적어도 하나의 촬상 장치를 포함하는, 투영 시스템.
청구항 1에 있어서,
연산 장치를 더 구비하고,
상기 적어도 하나의 촬상 장치는, 촬상 좌표계를 가지며, 상기 투영 장치로부터 물체에 투영된 상기 패턴광을 촬상하여 촬상 화상을 생성하고,
상기 연산 장치는,
상기 촬상 화상을, 상기 촬상 좌표계에 있어서의 촬상 좌표에 대응하는 상기 투영 좌표를 나타내는 투영 좌표 정보로 복호하며,
상기 투영 좌표 정보를, 상기 투영 좌표계를 기준으로 하여 상기 물체까지의 거리 정보로 변환하고,
상기 거리 정보에 따라, 상기 영상 콘텐츠의 내용을 결정하는, 투영 시스템.
청구항 2에 있어서,
상기 투영 장치는 상기 영상광 및 상기 패턴광을 시분할 다중화하여 투영하는, 투영 시스템.
청구항 2에 있어서,
상기 투영 장치는 상기 영상광 및 상기 패턴광을 파장 다중화하여 투영하는, 투영 시스템.
청구항 2에 있어서,
상기 투영 장치는 상기 영상광에 상기 패턴광을 디지털 워터마크법에 의해 중첩시켜 투영하는, 투영 시스템.
청구항 4에 있어서,
상기 영상광은 가시광이며, 상기 패턴광은 비가시광인, 투영 시스템.
청구항 6에 있어서,
상기 비가시광은 적외광인, 투영 시스템.
청구항 4에 있어서,
상기 영상광은 자외선 경화 수지의 경화에 작용을 주는 제1 파장을 가지고, 상기 패턴광은 상기 제1 파장과는 상이한 제2 파장인, 투영 시스템.
청구항 1에 있어서,
상기 적어도 하나의 촬상 장치의 설치 위치, 촬상 방향 및 줌 배율 중 적어도 하나는 동적으로 변화하는, 투영 시스템.
청구항 2에 있어서,
상기 적어도 하나의 촬상 장치는, 제1 및 제2 촬상 장치를 포함하고,
상기 제1 및 제2 촬상 장치는, 상기 투영 장치의 양측에 배치되어 있는, 투영 시스템.
청구항 2에 있어서,
상기 적어도 하나의 촬상 장치는, 제1 및 제2 촬상 장치를 포함하고,
상기 제1 촬상 장치는, 상기 제2 촬상 장치에 비해, 상기 물체에 보다 가까운 위치에 배치되어 있는, 투영 시스템.
청구항 2에 있어서,
상기 연산 장치는, 상기 촬상 장치로부터 상기 촬상 좌표로 특정되는 화소의 제1 색정보를 취득하고, 상기 투영 좌표를 이용하여, 상기 제1 색정보에 대응한 상기 투영 화소의 제2 색정보를 결정하는, 투영 시스템.
영상 콘텐츠를 나타내는 영상광, 및 투영 좌표계에 있어서의 투영 좌표를 코드화한 정보에 대응하는 패턴 화상을 포함하는 패턴광을 투영하는 투영 장치와, 상기 투영 장치로부터 물체에 투영된 상기 패턴광을 촬상하여 촬상 화상을 생성하는 적어도 하나의 촬상 장치를 구비하는 투영 시스템에 있어서 이용되는 반도체 집적 회로로서,
상기 촬상 화상을, 상기 촬상 좌표계에 있어서의 촬상 좌표에 대응하는 상기 투영 좌표를 나타내는 투영 좌표 정보로 복호하는 패턴 복호부와,
상기 투영 좌표 정보를, 상기 투영 좌표계를 기준으로 하여 상기 물체까지의 거리 정보로 변환하는 좌표 변환부와,
상기 거리 정보에 따라, 상기 영상 콘텐츠의 내용을 결정하는 콘텐츠 생성부를 구비하는, 반도체 집적 회로.