KR20090112591A - 영상 처리 장치, 영상 처리 방법, 프로그램 및 기록 매체 - Google Patents

Abstract

영상 처리 장치는, 촬상 장치에 의해 촬상된 피사체의 영상이 입력되는 입력부와, 영상이 제시되는 표시 장치와, 표시 장치에 영상을 제시하는 영상 제시부와, 유저의 시점 위치를 검출하는 시점 검출부와, 영상이 시점 검출부에 의해 검출되는 유저의 시점 위치로부터 표시면을 통해 보여질 경우, 표시 장치의 표시면의 영상 프레임에 대응하여 추출되는 영역의 영상을 영상 제시부에 공급하는 제어부를 포함한다.

패널, 시점 위치, 시점 위치 카메라, 영상 취득 버튼, 줌 버튼, 시점 변환 영상

Description

영상 처리 장치, 영상 처리 방법, 프로그램 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM}

본 발명은, 예를 들면, 스크린에 투영된 영상으로부터 특정한 부분의 정보를 얻는 경우에 적용하기 바람직한 영상 처리 장치, 영상 처리 방법, 프로그램 및 기록 매체에 관한 것이다.

종래, 버추얼 리얼리티(virtual reality)를 실현하거나, 유저의 눈 앞에 가상 화면을 표시하거나 하기 위한 영상 표시 장치로서, 유저의 두부에 장착하는 HMD(Head Mounted Display)로 불리는 인터페이스 장치가 있다. 유저가 HMD를 장착하면, 유저의 시선 방향에 맞추어 표시되는 영상이 변화된다.

일본 특개 2006-101561호 공보에는, 친기(base unit)와 자기(sub-unit)를 연동시켜, 친기에 표시되는 영상에 관련되는 문자 등의 정보를 볼 수 있는 기술에 대해서 기재가 있다.

일본 특개평 10-191288호 공보에는, 유저의 시선을 검출하고, 카메라로 촬영된 영상과, 수신 수단에 의해 수신된 영상을 동시에 표시하는 기술에 대해서 기재가 있다.

영상을 중첩하기 위해서는, 크게 2개의 기술이 이용된다. 제1 기술은, 허상(virtual image)의 광학계를 이용하는 것이다. 그러나 이 기술에서는, 물체의 거리와 허상의 위치의 불일치가 생기기 쉽다. 한편, 제2 기술은, 유저의 망막에 영상을 직접 투영하는 것이다. 그러나, 이 기술은, 유저의 안구 운동에 투영되는 영상의 위치가 좌우되기 쉽다.

또한, 어떠한 기술을 이용해도 HMD는, 유저의 안구의 위치에 대하여 엄밀한 정밀도가 요구되는 광학계가 필요로 된다. 이 때문에, 안구의 초점이 약간이라도 어긋나면, 유저는 큰 스트레스를 느끼게 된다. HMD는 허상을 유저에게 보이는 것이며, 일반적인 디스플레이 장치와 같이, 표시면으로부터 사출되는 광선에 의해 실상(real image)을 유저에게 보이는 광학계와는 상이한 것이 스트레스의 원인이라고 할 수 있다.

일본 특개 2006-101561호 공보에는, 작은 표시 단말기를 이용하여, 직접 유저의 바로 앞에서 실상을 관찰할 수 있는 기술에 대해서 개시되어 있다. 그러나, 유저가 원하는 영상을 취득하기 위해서는, 촬영 대상으로 되는 피사체나 정경(이하, 이들을 "실세계(real world)"라고도 함) 혹은 스크린에 투영된 화면을, 일단 카메라로 촬영할 필요가 있다.

또한, 일본 특개평 10-191288호 공보에 기재가 있는 바와 같이, 촬영한 영상을 HMD에 표시하는 경우, 유저의 안구의 위치에 대한 광학성의 정밀도를 엄밀하게 개선하는 것은 가능하다. 그러나, 이 기술을 이용하면, 유저에게 제시되는 영상은 일단 촬영된 영상이기 때문에, 실세계에 비해 화질이 크게 열화된다. 이 때문에, 예를 들면, 실세계에서는 보이는 영상이, HMD에서는 표시되는 영상의 해상도가 저하되어, 불선명하게 되게 된다. 또한, 실세계에서의 움직임에 비해 영상이 표시될 때까지 지연이 생기기 쉽다. 이 결과, 유저가 실세계에서 보고자 하는 목적물을 찾기 어렵게 되게 된다.

또한, 실세계 혹은 영상이 투영되는 스크린과의 거리는, 유저 자신이 갖는 소형의 표시 단말기의 거리와 크게 상이하다. 이 때문에, 실세계나 스크린에 투영된 영상이 있는 장소를 지시하는 경우, 유저의 안구의 초점 조절이 필요하게 된다. 그러나, 유저의 안구의 초점은, 소형의 표시 단말기의 화면에 맞기 때문에, 정확하게 거리를 구할 수 없다.

또한, HMD는, 이것을 장착한 유저의 시야각을 제한하거나, 유저의 두부나 귀에 불쾌감이 생기게 하거나 하는 등의 문제가 있다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것으로, 시야각이 제한되지 않고, 실세계 혹은 스크린에 투영된 영상으로부터 특정한 부분의 정보를 얻는 것을 목적으로 한다.

본 발명은, 피사체를 촬상하는 촬상 장치에 의해 촬상된 영상이 입력되어, 유저의 시점 위치를 검출한다. 그리고, 표시 수단에 영상을 제시하고, 영상에서, 영상을 그 유저의 시점 위치로부터 표시 수단의 표시면을 통하여 보았을 때의 표시 면의 화상 프레임에 대응하는 영역을 추출하고, 추출한 범위의 영상을, 영상 제시부에 공급한다.

이와 같이 함으로써, 실세계 혹은 스크린에 투영된 영상으로부터 특정한 부분이 추출된 영상이 제시된다. 이 때문에, 유저는, 영상이 표시될 때까지의 지연이나 영상 열화가 없는 상태에서 영상을 취득하고, 이 취득한 영상에 대하여 조작할 수 있다. 또한, 취득한 영상은, 유저의 바로 앞에서 상세하게 관찰할 수 있다.

본 발명의 실시예에 따르면, 유저는, 실세계 혹은 스크린에 투영된 영상으로부터 특정한 부분의 영상을 추출하는 경우에, 주변 시야도 포함시킨 넓은 시야각으로 원하는 영상을 얻을 수 있다. 이 때문에, 유저는 취득하는 영상에 위화감없이, 자연스러운 조작으로 원하는 영상을 취득하기 쉬워진다고 하는 효과가 있다.

이하, 본 발명의 일 실시예에 대하여, 첨부 도면을 참조하여 설명한다. 본 실시예에서는, 실세계(real world)의 정경(scene), 대화면의 스크린 등에 투영된 영상, 대화면 디스플레이 장치에 의해 제시되는 영상 등을 유저가 시청하면서, 그 영상에 포함되는 정보를 취득할 수 있는 영상 처리 시스템(1)에 적용한 예에 대해서 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템(1)의 구성예이다.

영상 처리 시스템(1)은, 각종 메뉴, 영상 등이 표시되는 투과 디스플레이 장치(2)를 구비한다. 투과 디스플레이 장치(2)는, 영상 제시부(7)로부터 영상이 제 시되는 표시 수단이다. 또한, 투과 디스플레이 장치(2)의 표시면에는, 임의의 타이밍에서 투과와 불투과(확산 상태) 상태를 절환하는 것이 가능한 투과 디스플레이 패널(12)이 형성된다. 본 실시예에서는, 투과 디스플레이 패널(12)로서, 예를 들면, UMU 필름(등록 상표)이 접착된다. 이 필름은, 소정의 전압이 가해짐으로써 투과 상태와 불투과(확산) 상태가 절환된다. 불투과 상태의 투과 디스플레이 패널(12)에는, 소형의 프로젝터 장치인 영상 제시부(7)에 의해 영상이 제시된다. 영상 제시부(7)가 제시하는 영상은, 유저(10)의 시야각 내에 포함된다. 영상 제시부(7)에 의해 영상이 투영되지 않은 경우, 투과 디스플레이 패널(12)은 투과 상태로 된다.

투과 디스플레이 패널(12)이 투과 상태인 경우, 유저(10)는, 투과 디스플레이 장치(2)를 통하여 그 배면의 실세계(정경), 혹은 대화면의 스크린(9)에 투영된 영상, 대화면 디스플레이 장치에 의해 제시되는 영상 등을 볼 수 있다. 이하의 설명에서는, 스크린(9)에 투영된 영상에 대해서 설명하지만, 실세계에 대해서도 마찬가지의 처리를 행할 수 있는 것으로 한다.

투과 디스플레이 장치(2)의 양 측면에는, 유저(10)가 시청하고 있는 장소(이하, "시점 위치"라고도 함)를 검출하기 위해서, 유저의 시점을 촬영하는 시점 위치 카메라(4a, 4b)가 설치된다. 시점 위치는, 시점 위치 카메라(4a, 4b)가 촬영한 영상에 기초하여, 후술하는 시점 위치 검출부(16)에 의해 구해진다. 여기서, 시점 위치 카메라(4a, 4b)가 설치되는 면을 투과 디스플레이 장치(2)의 표면으로 한다. 투과 디스플레이 장치(2)의 이면(표시 수단의 상기 유저의 시점 위치와 반대측의 면)에는, 유저(10)가 시선을 향하는 스크린(9)에 투영되는 영상을 촬영하는 시선 카메라(3a, 3b)가 설치된다. 시선 카메라(3a, 3b), 시점 위치 카메라(4a, 4b)는, 정지 화상 또는 동화상을 촬상할 수 있는 촬상 장치이다. 투과 디스플레이 장치(2)에 응동하여 카메라의 촬상 방향이 이동한다.

또한, 시선 카메라(3a, 3b)와 시점 위치 카메라(4a, 4b)는, 적외선을 이용하여 유저(10)의 시점을 검출하는 적외선 카메라, 또는 시점 검출용의 거리 측정 장치이어도 된다. 또한, 시선 카메라(3a, 3b)와 시점 위치 카메라(4a, 4b)는, 투과 디스플레이 장치(2)에 일체로 형성되어 있는 대신, 즉, 투과 디스플레이 장치(2)의 외부 프레임(outer frame)에 부착되는 대신, 예를 들어,유저(10)가 있는 실내에 설치하여도 된다.

투과 디스플레이 장치(2)의 표면에는, 유저(10)가 손으로 접촉하여 조작 가능한 터치 패널(6)이 형성된다. 유저(10)는, 터치 패널(6)의 표시면의 메뉴, 영상, 및 아이콘에 대응하는 위치를, 직접 펜형의 입력 장치 등의 포인팅 디바이스나 유저(10)의 손가락으로 접촉하여 조작할 수 있다.

투과 디스플레이 장치(2)의 외부 프레임에는, 유저(10)가 각종 지시 조작을 행하기 위한 조작부(5)가 설치된다. 본 예에서는 조작부(5)가 시점 이동 버튼(5a) 및 줌 버튼(5b)을 포함한다. 시점 이동 버튼(5a)은, 유저(10)가 투과 디스플레이 장치(2)를 갖고 이동하거나, 시점을 움직이거나 하는 경우에 방향 지시 등을 행할 수 있게 한다. 줌 버튼(5b)은 유저(10)가 상세하게 보고자 하는 부분의 줌(영상의 확대·축소 표시)을 지시하는데 사용된다. 또한, 외부 프레임에는 영상 취득 버 튼(5c)이 제공되며, 유저(10)가 취득을 희망하는 영상의 취득을 지시하게 한다. 또한, 조작부(5)는, 투과 상태 절환 버튼(5d)과 터치 패널 절환 버튼(도시 생략)을 포함한다. 투과 상태 절환 버튼(5d)은 투과 디스플레이 패널(12)의 투과 상태와 불투과 상태를 절환하기 위해 사용된다. 터치 패널 절환 버튼은 터치 패널(6)을 작동시켜 메뉴 아이콘 등을 표시시키기 위해 사용된다. 또한, 터치 패널(6)에는, 사용자가 아이콘을 터치하여 원하는 조작을 수행할 수 있도록, 그 버튼에 대응하는 아이콘을 표시시킬 수 있다.

도 2는 영상 처리 시스템(1)의 내부 구성예이다.

영상 처리 시스템(1)은, 각 기능 블록을 제어하는 제어부(20)를 구비한다. 제어부(20)는, 예를 들면, MPU(Micro Processing Unit)에 의해 구성된다. 제어부(20)는, 유저(10)의 시점 위치를 검출하는 시점 위치 검출부(16)에 의해 검출된 유저(10)의 시점 위치와, 시선 카메라(3a, 3b)가 촬영한 영상에 기초하여, 투과 디스플레이 패널(12)에 제시하는 영상을 생성한다. 생성된 영상은, 유저(10)의 시점 위치로부터 투과 디스플레이 패널(12)을 통하여 보았을 때의 투과 디스플레이 패널(12)의 화상 프레임에 대응하여 영상 제시부(7)에 공급된다.

영상 처리 장치(25)는, 시선 카메라(3a, 3b) 및 시점 위치 카메라(4a, 4b)에 의해 촬상된 영상이 입력되는 입력부(14)를 구비한다. 또한, 영상 처리 장치(25)는, 시선 카메라(3a, 3b)에 의해 촬상된 영상에 기초하여 유저(10)의 시선 방향을 검출하는 시선 검출부(15)를 구비한다. 또한, 영상 처리 장치(25)는, 시점 위치 카메라(4a, 4b)에 의해 촬상된 영상에 기초하여, 스크린(9)에 대한 유저(10)(시점) 의 위치를 시점 위치로서 검출하는 시점 위치 검출부(16)를 구비한다.

또한, 영상 처리 장치(25)는, 투과 디스플레이 장치(2)에 제시하는 영상을 생성하는 시점 위치 영상 연산부(17)를 구비한다. 시점 위치 영상 연산부(17)에는, 시선 검출부(15)에 의해 검출된 유저(10)의 시선 방향과, 시점 위치 검출부(16)에 의해 검출된 유저(10)의 시점 위치, 피사체와의 거리(본 예에서는, 투과 디스플레이 장치(2)와 스크린(9)간의 거리)가 입력된다. 시점 위치 영상 연산부(17)는, 이들의 입력된 정보에 기초하여, 유저(10)의 시점 위치로부터 투과 디스플레이 패널(12)을 통하여 스크린(9)에 제시된 영상을 보았을 때의 영상을 생성한다. 이 영상은, 투과 디스플레이 패널(12)의 화상 프레임의 내부에 맞는 크기로 된다. 그리고, 영상 처리 장치(25)는, 지시 위치 검출부(18)와 출력부(19)를 포함한다. 지시 위치 검출부(18)는, 유저(10)에 의해 터치 패널(6)에 지시된 좌표 위치를 지시 위치로서 검출하고, 시점 위치 영상 연산부(17)에 의해 생성된 영상으로부터 그 지시 위치의 영상을 추출한다. 출력부(19)는 이들 정보를 터치 패널(6)에 공급한다.

시선 카메라(3a, 3b)는, 스크린(9)에 투영된 영상을 촬영하고, 생성한 영상 데이터를 입력부(14)에 공급한다. 또한, 스크린(9)에 투영되는 영상이나 튜너 등으로부터 공급되는 영상은, 영상 수신 인터페이스(21)를 통하여 입력부(14)에 입력된다.

시점 위치 카메라(4a, 4b)는, 유저(10)의 시점을 촬영하고, 생성한 영상 데이터를 입력부(14)에 공급한다. 또한, 터치 패널(6)은, 유저(10)가 패널면을 누른 것을 검출하고, 눌러진 패널면의 좌표 위치의 정보를 포함하는 조작 정보를 생성한다. 이 조작 정보에는, 조작부(5)에서 조작된 각종 버튼을 식별하는 정보도 포함된다. 그리고, 조작 정보는, 인터페이스(22)를 통하여 입력부(14)에 입력된다. 제어부(20)는, 스크린(9)에 제시된 영상과, 유저(10)의 시점 위치에 따라서 처리를 한 영상 데이터를 영상 제시부(7)에 송신한다.

입력부(14)에 공급된 각종 데이터는, 촬영 장소(촬영 영역)를 검출하는 시선 검출부(15)와, 유저(10)의 시점 위치를 검출하는 시점 위치 검출부(16)에 공급된다.

시선 검출부(15)는, 시선 카메라(3a, 3b)로부터 얻어진 데이터에 기초하여, 유저(10)가 스크린(9)에 투영된 영상을 촬영하는 장소를 검출한다.

시점 위치 검출부(16)는, 시점 위치 카메라(4a, 4b)로부터 얻어진 데이터에 기초하여, 스크린(9)에 대한 유저(10)의 장소(시점 위치)를 검출한다.

시점 위치 영상 연산부(17)는, 소정의 연산 처리를 행하여 시점 위치로부터 디스플레이 패널을 통하여 본 영상을 구한다.

시점 위치 영상 연산부(17)에서 구해진 시점 위치의 영상은, 유저(10)가 터치 패널(6)로 지시한 위치를 검출하는 지시 위치 검출부(18)에 공급된다. 지시 위치 검출부(18)에서 검출된 지시 위치는, 출력부(19)를 통하여 송신 인터페이스(23)에서 소정의 포맷으로 변환된다. 그 후, 스크린(9)에는, 지시 위치에 대응하는 영상으로서, 예를 들면 줌 영상이 표시된다.

또한, 제어부(20)는, 입력부(14)에 입력되는 영상 중, 유저(10)의 시점 위치 에 기초하여 영상을 추출하는 범위를 구한다. 그리고, 시선 검출부(15)가 검출한 유저(10)의 시선 방향의 영상을 추출하여, 영상 제시부(7)에 공급한다. 그리고, 제어부(20)는, 투과 디스플레이 패널(12)의 투과 상태와 불투과 상태를 절환하는 지시 명령을 투과 제어부(11)에 공급한다. 그리고, 투과 디스플레이 패널(12)이 투과 상태인 경우에, 투과 디스플레이 패널(12)의 화상 프레임에 대응하여 추출한 범위의 영상을 영상 제시부(7)에 공급한다.

영상 제시부(7)가 제시하는 영상은, 불투과 상태의 투과 디스플레이 패널(12)에 제시된다. 그리고, 제어부(20)가 투과 디스플레이 패널(12)을 통하여 스크린(9)에 제시된 영상을 추출하는 것은, 투과 디스플레이 패널(12)이 투과 상태인 경우에 한정된다. 투과 디스플레이 패널(12)의 투과 상태와 불투과 상태를 절환 제어하는 투과 제어부(11)는, 투과 상태 절환 버튼(5d), 또는, 투과 디스플레이 패널(12)에 표시되는 도시되지 않은 유저 인터페이스에 의해 제어된다. 이 유저 인터페이스에는, 예를 들면, 아이콘, 또는 선택 메뉴가 포함된다.

영상 제시부(7)가 스크린(9)에 영상을 투영할 때에는, 투과 제어부(11)가 투과 디스플레이 패널(12)을 불투과 상태로 절환한다. 영상 제시부(7)가 영상을 제시하는 동작과, 투과 제어부(11)가 불투과 상태로 되는 동작은 연동된다. 즉, 유저(10)가 영상을 취득하기 전에는, 투과 디스플레이 패널(12)이 투과 상태이다. 그러나, 유저(10)가 영상 취득 버튼(5c)을 누르면, 제어부(20)에 의해 투과 디스플레이 패널(12)이 불투과 상태로 절환되어, 영상을 취득할 수 있다. 영상 제시부(7)의 투영이 종료되면, 투과 제어부(11)는 투과 디스플레이 패널(12)을 투과 상 태로 한다.

도 3은 투과 디스플레이 장치(2)를 이용하여 스크린(9)에 투영된 영상을 보는 경우의 예이다.

유저(10)는, 예를 들면, 투과 디스플레이 장치(2)를 손에 쥐고, 투과 상태의 투과 디스플레이 패널(12)을 통하여 스크린(9)에 투영된 영상을 본다. 이 때, 유저(10)가 보는 영상은, 스크린(9)에 투영된 영상 중, 영역(31)에 해당하는 영상이다.

본 실시예에 따른 투과 디스플레이 장치(2)를 이용하면, 투과 디스플레이 패널(12)의 화상 프레임 내에 원하는 영상이 얻어지는 한편, 스크린(9)에 투영된 영상의 화질이 열화되거나, 제시 시간의 지연이 생기거나 하는 일은 없다. 또한, 유저(10)의 시야각 내에 투과 디스플레이 패널(12)을 배치한 상태에서, 투과 디스플레이 패널(12)의 화상 프레임 밖에 보이는 정경 등을 취득하는 요구가 있다. 이 때, 유저(10)의 시점 위치로부터 보았을 때의 투과 디스플레이 패널(12)에 제시된 영상에 대한 시야각은, 동일 시점 위치로부터 표시면을 통하여 보았을 때의 피사체에 대한 시야각보다 작다. 그리고, 유저(10)의 시야각이 제한되지 않기 때문에, 유저(10)의 주변 시야를 이용하여 주위의 정경을 보는 것이 용이하다. 이 때문에, 유저(10)는, 스크린(9)에 투영된 영상으로부터 줌 표시하고자 하는 부분 영상을 자연스러운 동작으로 찾을 수 있다.

그런데, 실상과 허상에서는, 인간의 눈에 의한 보이는 방법이 상이하다.

도 4a 및 도 4b는 실상과 허상의 보이는 방법의 예이다.

여기서는, 물체(41)와 유저(10)의 중간에 볼록 렌즈(42)와 오목 렌즈(45)를 둔 경우에, 물체(41)는 어떻게 보이는지에 대하여 설명한다.

도 4a는 볼록 렌즈(42)를 이용한 경우의 광선의 예이다.

유저(10)는, 볼록 렌즈(42)를 통하여 물체(41)를 보면, 물체(41)의 실상(43)이 보인다. 실상(43)은, 볼록 렌즈(42)의 유저측에 보이는 상이다. 본 실시예에 따른 투과 디스플레이 패널(12)은, 실상 광학계이다.

도 4b는 오목 렌즈를 이용한 경우의 광선의 예이다.

유저(10)는, 오목 렌즈(45)를 통하여 물체(41)를 보면, 물체(41)의 허상(44)이 보게 된다. 종래의 HMD는, 이와 같은 허상 광학계를 이용하고 있다.

도 5a 및 5b는 투과 디스플레이 장치(2)에 제시된 영상의 일부를 확대하여 투과 디스플레이 패널(12)에 제시하는 예이다.

도 5a는 투과 디스플레이 패널(12)에 제시되는 영상의 예이다.

유저(10)의 시점 위치와 스크린(9)간의 거리를 K1로 하고, 유저(10)의 시점 위치와 투과 디스플레이 장치(2)의 거리를 K2로 한다. 스크린(9)에 바로 맞대고 있는 유저(10)의 시야각 α의 범위 내에 투과 디스플레이 장치(2)의 외부 프레임을 일치시키면, 스크린(9)에 제시된 영상 중, 화각(viewing angle) α의 범위 내의 영상이 투과 디스플레이 패널(12)에 제시된다.

도 5b는 도 5a의 경우에 비해 투과 디스플레이 장치(2)를 유저(10)에 가깝게 한 경우에 투과 디스플레이 패널(12)에 제시되는 영상의 예이다.

이 때, 유저(10)의 시점 위치와 투과 디스플레이 장치(2)간의 거리는 전술한 거리 K2보다 짧은 K3이고, 스크린(9)과 유저(10)간의 거리는, 도 5a의 경우와 동일한 K1이다. 그리고, 스크린(9)에 제시된 영상과 동일한 화각 α의 영상(2b)은, 도 5a의 경우에 제시되는 영상(2a)에 비해 작게 제시된다.

유저(10)는, 제시된 영상의 일부에 흥미가 끌리면, 투과 디스플레이 장치(2)를 얼굴에 가깝게 하여 상세하게 영상을 보고자 하는 동작을 행한다고 생각된다. 이 때문에, 유저(10)가 투과 디스플레이 패널(12)에 제시된 영상의 일부를 지정하거나, 투과 디스플레이 패널(12)에 얼굴을 가깝게 하거나 하는 동작을 행하면, 예를 들면, 영상(2c)과 같이 영상의 일부(본 예에서는 꽃)가 줌되는 것이 바람직하다. 이 때문에, 본 실시예에서는, 유저(10)가 얼굴을 투과 디스플레이 장치(2)에 가깝게 한 경우나 영상의 일부를 지정한 경우에, 투과 디스플레이 패널(12)에 제시하는 영상의 줌율을 변화시키는 처리를 행한다. 이 처리에 의해, 유저(10)는, 투과 디스플레이 장치(2)를 직감적으로 사용할 수 있다.

영상의 줌율을 변화시키는 처리에서, 유저(10)가 투과 디스플레이 장치(2)에 얼굴을 가깝게 하였을 때에, 스크린(9)에 제시된 영상과 투과 디스플레이 장치(2)의 화각이 동일하면, 유저(10)의 시점 이동을 검출하는 조작을 행하는 처리가 필요하다. 또한, 유저(10)가 투과 디스플레이 장치(2)에 얼굴을 가깝게 한 부분의 영상을 줌하기 위해서는, 유저(10)의 동작을 검출하는 처리가 필요하다.

도 6a 내지 도 6d는 투과 디스플레이 패널(12)에 제시된 영상의 일부를 확대하는 예이다.

도 6a는 유저(10)가 영상 취득 버튼(5c)을 누르는 예이다.

이 때, 투과 디스플레이 패널(12)은 투과 상태이며, 유저(10)는, 투과 디스플레이 패널(12)을 투과한 스크린(9)의 영상을 시청할 수 있다.

도 6b는 제시 영상의 예이다.

이 때, 투과 디스플레이 패널(12)은 불투과 상태이다. 투과 디스플레이 패널(12)에는, 영상 제시부(7)에 의해 스크린(9)에 제시된 영상을 취득한 영상이 제시된다.

도 6c는 유저(10)가 줌 버튼(5b)을 누르는 예이다.

유저(10)가 줌을 지정하는 개소는, 터치 패널(6)에 의해 검출된다. 그 후, 줌 버튼(5b)을 누름으로써 지정한 개소의 영상이 확대된다.

도 6d는 확대된 제시 영상의 예이다.

유저(10)는, 투과 디스플레이 패널(12)에 제시되어 영상의 특정 부분에 대해서, 지정한 위치에서의 확대된 영상 부분을 상세하게 볼 수 있다.

도 7a 및 도 7d는 유저(10)가 시점 이동하면서 투과 디스플레이 패널(12)에 제시된 영상의 일부를 확대하는 예이다.

도 7a는 유저(10)가 영상 취득 버튼(5c)을 누르는 예이다.

이 때, 투과 디스플레이 패널(12)은 투과 상태이며, 스크린(9)의 영상이 투과 디스플레이 패널(12)에 투과되어 표시된다.

도 7b는 제시 영상의 예이다.

이 때, 투과 디스플레이 패널(12)은 불투과 상태이다. 유저(10)는, 투과 디스플레이 패널(12)을 투과한 스크린(9)의 영상을 시청할 수 있다.

도 7c는 유저(10)가 시점 이동 버튼(5a)을 누르면서 시점을 이동하는 예이다. 여기서는, 유저(10)가 왼쪽으로부터의 영상에 주목하는 것을 상정한다.

이 때, 유저(10)가 시점 이동 버튼(5a)을 누르면서 자신의 얼굴에 투과 디스플레이 장치(2)를 가깝게 하면, 이동 후의 유저(10)의 시점 위치가 계산된다. 그리고, 유저(10)가 줌 버튼(5b)을 누르면 유저(10)가 얼굴을 가깝게 한 위치의 영상(도 7c의 파선부)이 확대되어 투과 디스플레이 패널(12)에 제시된다.

도 7d는 확대된 제시 영상의 예이다.

유저(10)는, 투과 디스플레이 패널(12)의 정면으로부터 좌측으로 이동하면, 투과 디스플레이 패널(12)에 제시되어 있던 영상의, 시점 이동한 위치에서의 확대된 부분을 상세하게 볼 수 있다.

도 8은 유저(10)가 터치 패널(6)을 누른 개소에 따라서 영상을 제시하는 처리의 예이다. 제어부(20)는, 터치 패널(6)에 근접되는 물체의 위치를 검출한다. 본 실시예에서는, 2대의 시점 위치 카메라(4a, 4b)가 촬영한 영상에 의해, 유저(10)의 시점 위치를 검출한다. 시점 위치 카메라(4a, 4b)의 간격은 임의로 설정할 수 있다.

초기 상태로서, 투과 제어부(11)는 투과 디스플레이 패널(12)을 투과 상태로 한다(스텝 S1). 투과 상태이면, 유저(10)가 투과 부분으로부터 스크린(9)에 제시된 영상을 볼 수 있다. 유저(10)는 투과 디스플레이 장치(2)를 자유롭게 움직여, 스크린(9) 상의 상세하게 보고자 하는 물체가 있는 장소에서 영상 취득 버튼(5c)을 누른다. 이 때, 제어부(20)는, 영상 취득 버튼(5c)이 누름 조작되어 생기는 영상 취득 명령을 수취한다(스텝　S2).

다음으로, 시점 위치 검출부(17)는, 시점 위치 카메라(4a, 4b)로부터 얻어진 데이터에 기초하여, 유저(10)의 시점 위치를 검출한다(스텝 S3). 시점 위치 검출부(17)는, 시점 위치 카메라(4a, 4b)가 촬영한 유저(10)의 얼굴의 영상으로부터, 기존의 얼굴 인식의 기술을 이용하여 눈동자의 위치를 검출할 수 있다. 그 시점 위치 카메라(4a, 4b)에서 촬영한 유저(10)의 영상에 포함되는 눈동자의 위치를 이용하면 눈동자(시점)의 3차원적인 좌표를 구할 수 있다. 또한, 시점 위치 카메라(4a, 4b)를 이용하지 않은 경우라도 거리 측정 장치, 적외선 센서 등을 이용하거나, 디스플레이의 중심을 통과하는 축 상에 시점을 가상적으로 두거나 함으로써도 대용할 수 있다.

그리고, 유저(10)의 시점 위치를 통하여 보이는 영상을 취득하기 위해서, 영상 수신 인터페이스(21)와, 영상 송신 인터페이스(23)로부터 스크린(9)에 투영되는 영상을 취득한다(스텝 S4).

만약, 스크린(9)에 제시되는 영상의 원데이터를 수신할 수 있으면, 이후에는 이 원데이터를 이용하여도 된다. 영상의 원데이터이면, 스크린(9)에 제시된 영상을 촬영하는 경우에 비해 기려한 영상으로서 처리할 수 있다. 영상의 원데이터를 수신할 수 없는 것이면, 시선 카메라(3a, 3b)의 영상을 이용하여 처리를 행한다. 그리고, 스크린(9)에 제시된 영상을 수신할 수 있는 것이면, 그 수신한 영상과 시선 카메라(3a, 3b)로 촬영한 영상의 매칭을 행한다.

영상의 매칭 처리는, 예를 들면, 이하에 설명하는 2종류의 방법 중 어느 하 나의 방법으로 행해진다.

(1) 시선 카메라(3a, 3b)의 초점이 맞는 위치로부터, 시선 카메라(3a, 3b)와 스크린(9)간의 거리를 구하여 줌율(zoom rate)을 대략적으로 계산하고, 그 후 블록 매칭을 행하는 방법.

(2) 줌율이 일정하지 않은 상태 그대로 상관을 이용하여 검출하는 방법(An FFT-Based Technique for Translation, Rotation, and Scale-Invariant Image Registration [IEEE1996]).

그리고, 시선 검출부(15)는, 스크린(9)에 투영된 영상이 영상 수신 인터페이스(21)를 통하여 다운로드된 영상에 포함되는 영상인지를 검색할지의 여부의 판단을 행한다(스텝 S5). 스크린(9)에 투영되는 영상을 검색하는 경우, 시선 카메라(3a, 3b)가 촬영한 영상을 비교하여, 시선 카메라(3a, 3b)로 촬영된 영상의 매칭을 취한다(스텝 S6).

이 스텝 S5, S6에서는, 스크린(9)에 투영된 영상을, 영상 수신 인터페이스(21)를 통하여 다운로드하여, 이용하는 처리를 행한다. 이 처리에서는, 시선 카메라(3a, 3b)가 촬영한 영상과, 다운로드한 영상을 매칭하고, 촬영한 영상이 다운로드한 영상에 포함되는지의 여부를 확인하고 있다. 통상적으로, 스크린(9)에 제시된 영상을 직접 다운로드하여 이용하면, 투과 디스플레이 패널(12)에 해상도가 높은 영상을 제시할 수 있다. 단, 영상 수신 인터페이스(21)를 통하여 다운로드한 영상에 촬영한 영상이 포함되지 않을 때는, 이후의 스텝의 처리로 이행한다.

그리고, 스크린(9)에 투영된 영상을 시선 카메라(3a, 3b)가 촬영한 영상으로 부터, 유저(10)의 시점 위치의 시점 변환 영상을 작성한다(스텝 S7).

시점 변환 영상이란, 스크린(9)에 투영된 영상과, 유저(10)가 투과 디스플레이 장치(2)를 통하여 투과되는 영상을 맞춘 영상이다. 예를 들면, 유저(10)가 스크린(9)에 대하여 경사 방향으로부터 본 경우, 투과 디스플레이 장치(2)에서 볼 수 있는 영상은 정시하고 있지 않으므로 각도가 생기게 된다. 결과적으로, 투과 디스플레이 장치(2)에서 볼 수 있는 영상은 스크린(9)에 투영된 영상의 형상과 상이하다. 이와 같은 형상의 변형을 보정한 영상을 생성하는 처리를 "시점 변환(viewpoint conversion)"이라고 한다. 또한, 시점 변환 처리에 의해 작성된 영상을 "시점 변환 영상(viewpoint conversion image)"이라고 한다. 유저(10)가 취득한 영상을 다시 스크린(9)에 투영하고,이 투영된 영상을 유저(10)가 다시 취득하면, 취득한 영상의 열화가 심해진다. 이 때문에, 영상 처리 장치(25)의 내부에서 유저(10)의 시점 위치에서의 시점 변환 영상을 작성하면, 영상의 열화를 억제할 수 있다. 단, 스크린(9)에 제시되어 있는 영상을 그대로 사용할 수 있는 경우에는, 시점 변환 영상을 작성하지 않아도 된다.

시점 위치 영상 연산부(17)는, 시점 위치 검출부(16)가 검출한 유저(10)의 시점 위치에 따라서, 시점 변환 영상을 작성한다. 평면 영상이면, 아핀 변환(affine transformation)을 이용하여 시점을 변환하는 것이 가능하다. 2대 이상의 시선 카메라(3a, 3b)의 영상을 이용하면, 스테레오시에 의한 매칭 등으로 3차원적인 시점에 의한 영상을 재구성할 수 있다.

한편, 스크린(9)에 투영되는 영상을 검색하지 않는 경우, 시선 카메라(3a, 3b)가 촬영한 영상을 시점 변환하여, 시점 변환 영상을 작성한다(스텝 S8).

스텝 S7 또는 스텝 S8의 처리 후, 투과 제어부(11)는, 투과 디스플레이 패널(12)을 불투과 상태로 한다. 그리고, 영상 제시부(7)를 이용하여 시점 변환 영상을 투과 디스플레이 패널(12)에 제시한다(스텝 S9). 이 때, 투과 디스플레이 패널(12)에는, 유저(10)가 보는 영상이 제시된다.

도 9는 터치 패널(6)을 이용하여 표시된 영상의 위치를 지시하는 처리의 예이다.

초기 상태로서, 투과 제어부(11)는, 투과 디스플레이 패널(12)을 투과 상태로 한다(스텝 S11). 투과 상태이면, 유저(10)가 투과 부분으로부터 스크린(9)에 투영된 영상을 볼 수 있다. 유저(10)는 투과 디스플레이 장치(2)를 자유롭게 움직여, 스크린(9) 상에 상세하게 보고자 하는 물체가 있는 장소에서 터치 패널(6)을 누른다. 이 때, 제어부(20)는, 터치 패널(6)에 유저(10)의 손가락이 접촉한 지시 위치의 정보와, 영상 취득 명령을 터치 패널(6)로부터 수취한다(스텝 S12).

다음으로, 시점 위치 검출부(17)는, 시점 위치 카메라(4a, 4b)로부터 얻어진 데이터에 기초하여, 유저(10)의 시점 위치를 검출한다(스텝 S13). 시점 위치 검출부(17)는, 시점 위치 카메라(4a, 4b)가 촬영한 유저(10)의 얼굴의 영상으로부터, 기존의 얼굴 인식의 기술을 이용하여 눈동자의 위치를 검출할 수 있다. 이 때문에, 그 시점 위치 카메라(4a, 4b)가 촬영한 유저(10)의 눈동자의 위치를 이용함으로써, 눈동자(시점)의 3차원적인 좌표를 구할 수 있다. 또한, 시점 위치 카메라(4a, 4b)를 이용하지 않는 경우라도 거리 측정 장치, 적외선 센서 등을 이용하거 나, 디스플레이의 중심을 통과하는 축 상에 시점을 가상적으로 두거나 하여도 된다.

그리고, 유저(10)의 시점 위치를 통하여 보이는 영상을 취득하기 위해서, 영상 수신 인터페이스(21)와, 영상 송신 인터페이스(23)로부터 스크린(9)에 투영되는 영상을 취득한다(스텝 S14).

만약, 스크린(9)에 투영되는 영상 데이터를 수신할 수 있으면 이후는 이 영상을 이용하여, 보다 기려한 영상으로 처리한다. 수신할 수 없는 것이면, 시선 카메라(3a, 3b)의 영상을 이용하여 처리를 행한다. 스크린(9)에 투영되는 영상을 수신할 수 있는 것이면, 그 수신한 영상과 시선 카메라(3a, 3b)로 촬영한 영상의 매칭을 행한다.

그리고, 시선 검출부(15)는, 스크린(9)에 투영된 영상이 영상 수신 인터페이스(21)를 통하여 다운로드된 영상에 포함되는 영상인지를 검색할지의 여부의 판단을 행한다(스텝 S15). 스크린(9)에 투영되는 영상을 검색하는 경우, 시선 카메라(3a, 3b)가 촬영한 영상을 비교하여, 시선 카메라(3a, 3b)로 촬영된 영상의 매칭을 취한다(스텝 S16).

그리고, 스크린(9)에 투영된 영상을 시선 카메라(3a, 3b)가 촬영한 영상으로부터, 유저의 시점 위치의 시점 변환 영상을 작성한다(스텝 S17). 이 때, 시점 위치 카메라(4a, 4b)에서 얻은 유저(10)의 시점 위치에 따라서, 시점 변환 영상을 작성한다. 평면 영상이면, 아핀 변환을 이용하여 시점을 변환하는 것이 가능하다. 2대 이상의 시선 카메라(3a, 3b)의 영상을 이용하면, 스테레오 매칭 등으로 3차원 적인 시점에 의한 영상을 재구성할 수 있다.

한편, 스크린(9)에 투영되는 영상을 검색하지 않는 경우, 시선 카메라(3a, 3b)의 영상을 시점 변환하여, 시점 변환 영상을 작성한다(스텝 S18).

스텝 S17 또는 스텝 S18의 처리 후, 지시 위치 검출부(18)는, 작성한 시점 변환 영상과, 터치 패널(6)의 좌표를 비교한다. 그리고, 유저(10)에 의해 눌러진 터치 패널(6)의 위치를 계산한다(스텝 S19). 작성한 시점 변환 영상과 터치 패널(6)의 위치의 매칭을 취함으로써, 영상의 어느 부분이 유저(10)에 의해 지시된 것인지를 시점 위치 검출부(18)는 검출할 수 있다.

다음으로, 스텝 S19의 처리 후, 투과 제어부(11)는, 투과 디스플레이 패널(12)을 불투과 상태로 한다. 그리고, 영상 제시부(7)에서 작성한 시점 변환 영상을 투과 디스플레이 패널(12)에 제시한다(스텝 S20). 이 때, 투과 디스플레이 패널(12)에는, 유저(10)가 보는 영상이 제시된다.

예를 들면, 유저(10)가 지시한 투과 디스플레이 패널(12) 상에 문자를 표시하고, 그 문자를 중심으로 하여 영상을 확대하는 처리가 생각된다. 이와 같이 유저(10)의 동작에 따라서 영상을 제시하는 처리는 유저 인터페이스 기능으로서 미리 설정되어 있다. 이 때, 작성한 시점 변환 영상으로부터 연속하여 영상을 확대하면, 유저(10)는 영상을 직감적으로 인식할 수 있다.

유저(10)의 시점에서 지시한 터치 패널(6)의 위치로부터, 스크린(9)에 투영된 화면의 위치 정보를 계산하고, 이 화면에 투영되는 영상에 반영한다. 이 때문에, 복수인이 동일한 스크린(9)을 보면서, 어떤 정보가 제시되어 있는지를 공유하 여 이해할 수 있다.

다음으로, 스테레오시를 이용하여 입체상을 작성하는 처리의 예에 대해서 도 10 내지 도 12를 참조하여 설명한다. 이 처리는, 유저(10)의 시점 위치와 물체와의 거리를 측정하기 위해서 행해진다.

도 10과 도 11a 내지 도 11c는, 시선 카메라(3a, 3b)로 실세계에 배치된 3개의 물체(46a∼46c)를 촬영하는 경우에서의 유저(10)의 시점 이동의 예를 도시하는 도면이다. 이 도면은, 디스플레이 장치(2)와 스크린(9)을 상방으로부터 본 것이다.

도 10은 시점 위치 P0에 위치하는 시선 카메라(3a, 3b)로 3개의 물체(46a∼46c)를 촬영하는 예에 대해서 나타낸다.

물체(46c)의 3차원 공간에서의 좌표 위치는, S0(x, y, z)로 나타내어진다. 또한, 시선 카메라(3a, 3b) 사이의 거리는, 카메라간 거리 L로서 나타내어지고, 시선 카메라(3a, 3b)로부터 물체(46c)까지의 거리는, 피사체 거리 d로서 나타내어진다. 그리고, 카메라간 거리 L로 나타내어지는 세그먼트의 수선 상에 물체(46a)의 중심이 위치하도록, 시선 카메라(3a, 3b)가 물체(46a∼46c)를 향하고 있는 위치를 시점 위치 P0으로 한다.

이하, 새로운 시점 위치 P3으로 유저(10)의 시점이 이동한 경우에 대해 이하에 고찰한다. 또한, 시점 위치 P3에서의 시선 카메라(3b)에 대해서는 설명을 간략화하기 위해서 기재를 생략한다.

도 11a는, 시점 위치 P0에서의 시선 카메라(3a)가 촬영한 영상(47a)을 처리 하는 예이다. 시선 검출부(15)(도 2 참조)는, 영상(47a)의 좌우를 반전한 영상(47'a)을 작성한다.

도 11b는, 시점 위치 P3에서의 시선 카메라(3a)가 촬영한 영상(47b)을 처리하는 예이다. 시선 검출부(15)는, 영상(47a)의 좌우를 반전한 영상(47'b)을 작성한다.

도 11c는, 시점 위치 P0에서의 시선 카메라(3b)가 촬영한 영상(47c)을 처리하는 예이다. 시선 검출부(15)는, 영상(47a)의 좌우를 반전한 영상(47'c)을 작성한다.

도 12는 시점 이동에 의한 처리의 예를 설명하는 플로우차트이다.

여기서는, 유저(10)가 물체(46a∼46c)에 바로 맞댄 위치로부터 좌측 방향의 시점 위치 P3으로 이동한 경우에서의, 시선 카메라(3a, 3b)에 의해 촬영되는 영상에 대해서 도 11과 도 12를 참조하면서 설명한다.

처음에, 시선 검출부(15)는, 블록 매칭으로, 점 S'1(x1, x2)에 대응하는 점 S'2(x1, x2)를 구한다(스텝 S31). 점 S'1, S'2는, 점 S1과 점 S2을, 각각 좌우 반전한 좌표에 위치한다.

그리고, 점 S'1, S'2의 각도 θx1, θx2를 구한다(스텝 S32). 도 11에 도시된 바와 같이, 각도 θx1, θx2는 점 S1, S2의 각도와 동일하다. 여기서 카메라 화각(angle of view)을 φ, 카메라의 화소수를 width 및 height, 중심 좌표를 O1(ox1, oy1) 및 O2(ox2, oy2)라 하면, 각도 θx1, θx2는, 다음 수학식 1, 2에 의해 구해진다.

다음으로, 각도 θx1, θx2와 시선 카메라(3a, 3b)의 위치로부터 점 S0(x, y, z)까지의 피사체 거리 d를 구한다. 피사체 거리 d는, 다음 수학식 3에 의해 구해진다.

Y축 방향도 마찬가지로 각도 θy1, θy2가 구해지므로, 이것으로 점 S0의 3차원의 위치(x　, y, z)가 구해진다(스텝 S33). 3차원의 위치(x, y, z)는, 다음 수학식 4에 의해 구해진다.

또한, 새로운 시점 위치 P3의 좌표(p3x, p3y, p3z)로부터, 각도 θx3, θy3 이 구해진다. 각도 θx3, θy3은 다음 수학식 5에 의해 구해진다.

이 때문에, 카메라 화각 φ로부터, 점 S3, S'3의 좌표가 구해진다(스텝 S34). 점 S3, S'3의 좌표는, 다음 수학식 6, 7에 의해 구해진다.

다음으로, 유저(10)가 시점 위치를 이동한 경우에, 투과 디스플레이 장치(2)를 이용하여 취득한 영상에 대하여 줌, 시프트 등의 조작을 행하는 처리에 대해서 도 13과 도 14를 참조하여 설명한다. 여기서, "줌 처리(zooming)"란, 투과 디스플레이 장치(2)에서 취득한 영상을 확대하는 것이다. 한편, "시프트 처리(shifting)"란, 유저(10)가 보고자 하는 대상물을 이동시키는 것이다. 이 처리는, 유저(10)가 시점을 이동하였을 때에 일어나는 직감적인 동작을 반영시키는 것 이다.

도 13은 유저(10)가 시점을 이동하는 예이며, 디스플레이 장치(2)를 스크린(9)의 상방으로부터 본 도면이다.

영상을 취득하였을 때의 유저(10)의 시점, 혹은 시점 이동 버튼(5a)을 눌렀을 때의 유저(10)의 시점을 기준 시점 위치 P'(Xｐ', Yｐ', Zｐ')로 한다. 그리고, 유저(10)가 투과 디스플레이 장치(2)의 중심점 O를 보고 있었을 때, 그 시선의 앞에 있는 스크린(9)의 좌표를 좌표점 Q'(Xｑ', Yｑ', Zｑ')로 한다.

시점을 이동시킨 후의 시점을 P로 한다. 시점 위치 P로부터 좌표점 Q'를 보았을 때, 투과 디스플레이 패널(13) 상의 교점을 R(Xｒ', Yｒ', 0)로 한다. 중심점 O와 교점 R의 차분으로부터 영상의 이동할 양(이하, "시프트량(shift amount)"이라고도 함)(Xｒ', Yｒ')이 구해진다.

이 때, 좌표점 Q'와 기준 시점 위치 P'간의 Z 방향의 거리(Zｐ'-Zｑ')와, 좌표점 Q'와 시점 위치 P간의 Z 방향의 거리(Zｐ-Zｑ')로부터, 줌율(Zｐ'-Zｑ')/(Zｐ-Zｑ')이 구해진다. 이상으로부터, 시프트량과 줌율을 계산할 수 있다.

또한, 시프트량, 및 줌율을 미리 정해진 시점 이동 파라미터(예를 들면 1.5나 2.0 등)에 곱함으로써, 유저(10)의 동작을 강조하는 것도 가능하다.

이하, 시점 이동 파라미터에 대해서 설명한다.

유저(10)가 실제로 이동한 거리는, 기준 시점 P'로부터 시점 P까지의 거리로서 구해진다. 또한, 유저(10)가 실제로 이동하고 있지 않은 위치로 이동하였다고 가상하는 경우에, 이 위치를 가상 시점 P2로서 정한다. 가상 시점 P2는, 유저(10) 가 실제로 시점을 이동한 거리(기준 시점 P'로부터 시점 P까지의 거리)에 대하여 시점 이동 파라미터를 설정함으로써 구해진다. 예를 들면, 시점 이동 파라미터의 값을 "2"로 하면,이 값을 실제로 이동한 거리에 곱함으로써, 가상 시점 P2가 구해진다.

또한, "유저(10)의 동작을 강조한다"는 것에 대해서 설명한다. 우선, 유저(10)가 자신의 얼굴을 투과 디스플레이 장치(2)에 가깝게 하거나, 투과 디스플레이 장치(2)를 좌우로 움직이거나 하는 것을 상정한다. 그렇게 하면, 유저(10)가 투과 디스플레이 패널(12)을 통하여 보는 영상의 화상 프레임은, 스크린(9)에 제시된 영상의 주변부와 일치하며, 유저(10)는, 투과 디스플레이 패널(12)에 제시되는 영상의 일부를 보다 확대하고자 하는 것으로 한다. 종래 기술에서는, 유저(10)가 투과 디스플레이 패널(12)에 얼굴을 가깝게 할 경우, 스크린(9)의 주위의 정경도 투영되기 때문에, 보고자 하는 영상이 작아지게 된다(도 5b 참조). 이는 사용가능성을 감소시킨다.

이 때문에, 영상 처리 시스템(1)은, 유저(10)가 투과 디스플레이 패널(12)에 얼굴을 가깝게 하거나, 투과 디스플레이 장치(2)를 좌측으로 이동시키거나 하는 동작을 검출하면, "줌율을 올려 영상을 제시하는 것" 또는 "좌측 방향의 영상을 제시하는 것"의 동작이 행하여졌다고 해석한다. 그리고, 영상 처리 시스템(1)은, 유저(10)가 시점 이동한 거리를 단위 이동 거리로 한 경우에, 이 단위 이동 거리에 2배 또는 3배의 파라미터를 곱함으로써, 시점 이동의 거리를 증가시키고, 확대된 영상 또는 좌측 방향의 영상을 투과 디스플레이 패널(12)에 제시한다.

도 14는 시점 이동에 의한 처리의 예를 설명하는 플로우차트이다.

처음에, 유저(10)에 의해 영상 취득 버튼(5c)이 눌러진 것을 검출한다(스텝 S41). 이 때, 투과 디스플레이 패널(12)에는 시점 변환 영상이 표시된다(스텝 S42).

제어부(20)는, 시점 이동 버튼(5a)이 눌러져 있는지의 여부를 판단한다(스텝 S43). 시점 이동 버튼(5a)이 눌러져 있지 않다고 판단한 경우, 스텝 S43의 판단을 반복한다.

한편, 시점 이동 버튼(5a)이 눌러져 있다고 판단한 경우, 제어부(20)는, 유저(10)의 시점이 변화되었는지의 여부를 판단한다(스텝 S44). 유저(10)의 시점이 변화되어 있지 않다고 판단한 경우, 스텝 S44의 판단을 반복한다.

한편, 유저(10)의 시점이 변화되어 있다고 판단한 경우, 시점 위치 검출부(16)는, 현재의 처리 개시 시점에서의 유저(10)의 시점 위치를 취득한다(스텝 S45). 그리고, 시점 위치 검출부(16)는, 영상 취득 버튼(5c)이 눌러졌을 때(현재)의 시점 위치와, 처리 개시 시점의 시점 위치를 비교하여, 지정된 파라미터에 따라서 가상 시점 위치를 계산한다(스텝 S46).

시점 위치 영상 연산부(17)는, 구해진 가상 시점 위치에 따라서 시점 영상을 계산한다(스텝 S47). 그리고, 투과 제어부(11)는, 투과 디스플레이 패널(12)을 불투과 상태로 절환한다. 그리고, 영상 제시부(7)에서 작성한 시점 변환 영상을 투과 디스플레이 패널(12)에 제시한다(스텝 S48). 이 때, 투과 디스플레이 패널(12)에 제시되는 영상이, 유저(10)가 볼 수 있는 영상으로 된다.

다음으로, 시선 카메라(3a, 3b)로 촬영한 영상으로부터 유저(10)의 시선을 검출하는 처리에 대해서, 도 15∼도 17을 참조하여 설명한다.

도 15a 내지 도 15c는 디지털 워터마크를 이용한 시선 검출의 예이다.

도 15a는 스크린(9)에 제시되는 원영상의 예이다.

도 15b는 디지털 워터마크의 예이다.

디지털 워터마크는 고유하게 설정되는 ID(Identification)로서, X 좌표축을 따라서 스크린(9)에 삽입된다. 제시되는 원영상의 중심을 제로로 하여, 원영상의 가로 방향을 따라서 소정의 간격으로 디지털 워터마크가 설정된다.

도 15c는 스크린(9)에 삽입되는 디지털 워터마크의 예이다.

유저(10)가 스크린(9)에 제시되는 영상을 보아도, 디지털 워터마크를 볼 수는 없다. 그러나, 제어부(20)는, 스크린(9)에 삽입된 디지털 워터마크를 인식하고, 시선 방향을 산출할 수 있다.

도 16은 시선 카메라(3a, 3b)로 촬영한 영상으로부터 스크린(9)에 제시되는 영상에 삽입된 식별 부호를 검출하는 예이다.

시선 카메라(3a)로 촬영한 영상(51a)에는, 디지털 워터마크로서 식별 부호 90, 100, 110이 삽입된다. 시선 카메라(3b)로 촬영한 영상(51b)에는, 디지털 워터마크로서 식별 부호 100, 110, 120이 삽입된다. 여기서, 식별 부호 100에 대하여 좌표 P1, 식별 부호 110에 대하여 좌표 P2를 설정한다. 각 식별 부호의 간격은 k이다. 그리고, 시선 카메라(3a, 3b)의 가로 방향의 화소수는, 변수 "width"로 나타내어진다. 또한, 시선 카메라(3a, 3b)의 세로 방향의 화소수는, 변수 "height" 로 나타내어진다.

도 17은 스크린(9)과 시선 카메라(3a)의 위치 관계를 계산하는 예이다.

우선, 스크린(9)의 어느 장소에 어떤 식별 부호가 삽입되어 있는지는, 영상 처리 장치(20)에 미리 기록되어 있다. 이 때문에, 디지털 워터마크의 좌표간 거리 L은 기지이다. 이 때문에, 다음 수학식 8로부터 각도 θ가 구해진다.

시선 카메라(3a, 3b)의 화각 Φ는, 촬영 파라미터이며, 촬영 시에 기지이다. 그리고, 시선 카메라(3a)에 대해서, 다음 수학식 9로부터, 점 P2의 각도 ψ가 구해진다.

점 P1, 점 P2, 점 C1과 각도 θ, ψ로부터, 시선 카메라(3a)의 위치가 구해진다. 점 C1의 X좌표 C1x, Z좌표 C1z는, 다음 수학식 10의 연립 방정식으로부터 구해진다.

전술한 수순과 마찬가지로 하여, 시선 카메라(3b)에 대한 좌표도 구해진다.

이 결과, 시점 위치 카메라(4a, 4b)로 촬영한 영상에 의해, 투과 디스플레이 장치(2)에 대한 유저(10)의 시점의 상대 위치를 알 수 있다. 이 때문에, 스크린(9)에 대한 유저(10)의 시점의 위치를 알 수 있다. 또한, 유저(10)의 시점 위치와 투과 디스플레이 장치(2)의 중심을 연결하는 직선을, 유저(10)의 시선 방향인 것으로 인식할 수 있다.

이상 설명한 본 실시예에 따른 영상 처리 장치에 의하면, 스크린(9)에 투영된 영상으로부터 유저(10)의 바로 앞에 준비한 투과 디스플레이 장치(2)에 영상을 추출하여 표시할 때에 유용하다. 투과 디스플레이 장치(2)를 이용함으로써, 종래의 HMD와는 달리 유저의 시야각이 제한되지 않는다. 그러므로, 유저(10)는 넓은 시야각으로 영상을 볼 수 있다. 이 때, 주목하는 영상뿐만 아니라, 투과 디스플레이 장치(2)의 화상 프레임 밖인 주변 시야도 이용하여, 직감적으로 스크린(9) 상의 영상에 관한 정보를 취득할 수 있다. 또한, 취득하는 영상은, 지연이나 화질의 열화가 없고, 깊이가 스크린(9)에 투영된 영상의 위치와 일치한다. 또한, 투과 디스플레이 패널(12)을 통하여 보는 상이 실세계의 정경인 경우도, 직감적으로 영상을 취득하는 것이 가능하다. 이는 스크린(9)에 투영된 영상을 취득하는 경우와 마찬가지의 효과를 발휘한다.

또한, 영상을 취득한 후에는, 유저(10)의 바로 앞에 취득한 영상으로부터 특정한 부분 영상을 선택하여 줌 표시할 수 있다. 그리고, 유저(10)는, 스크린(9)에 투영된 영상이나 실세계의 정경으로부터 원하는 개소를 취득하기 쉬워져, 영상을 자연스럽게 볼 수 있다고 하는 효과가 있다. 또한, 유저(10)는, 원하는 영상을 취 득하고, 목적의 영상을 관찰한다고 하는 동작을 동시에 행할 수 있다. 또한, 투과 디스플레이 장치(2)는 실상 광학계를 이용하기 때문에, 유저(10)의 눈에 부담을 주지 않는다.

그런데, 스크린(9)에 투영된 영상을 복수의 사람이 시청하면서, 바로 앞에 준비한 투과 디스플레이 장치(2)로 필요한 정보를 취득하는 경우가 있다. 예를 들면, 항공 사진의 지도와, 이 항공 사진의 지도에 대응하는 기호 지도를 절환하여 스크린(9)에 표시하는 경우가 있다. 이 때, 복수의 사람이 스크린(9)에 투영된 항공 사진을 보고 있어도, 각 유저는 바로 앞의 디스플레이 장치(2)를 사용하여, 항공 사진에 위상을 맞춘 기호 지도를 즉시 취득할 수 있다.

또한, 스크린(9)에 투영된 영상을 복수의 사람이 보는 경우, 투과 디스플레이 장치(2)에 표시되는 영상에, 깃발이나 마크 등의 표식을 겹쳐서 표시하여도 된다. 이 때, 유저(10)에 의해 지시되어, 지시 위치 검출부(18)에 의해 검출된 위치를, 터치 패널(6)에 근접된 물체의 위치에 따라서 표식을 표시한다. 투과 디스플레이 장치(2)에서 가공한 영상은, 스크린(9)에 투영된 영상에 겹쳐서 표시시켜도 된다. 이 때문에, 임의의 유저가 가공한 영상을, 다른 유저가 동시에 볼 수 있다.

또한, 유저는, 투과 디스플레이 패널(12)의 표면을 직접 터치 패널로 지시 함으로써, 투과 디스플레이 패널(12)의 화상 프레임 내로부터 보이는 실세계나 스크린(9)에 투영된 영상의 원하는 장소를 지시할 수 있다.

또한, 투과 디스플레이 장치(2)에서 취득한 영상을, 송신 인터페이스(23)를 통하여 다른 디스플레이 장치에 표시하는 것도 가능하다.

도 18은 2개의 디스플레이 장치를 사용하여 영상을 취득하는 예이다.

유저(10)는, 투과 디스플레이 장치(2)를 통하여 피사체(61)의 영상을 취득한다. 이 때, 유저(10)의 손가락(62)에 의해 표시된 피사체(61)를 지시하면, 예를 들면, 유저(10)의 측면에 설치된 다른 디스플레이 장치(63)에 지시된 피사체(61)의 영상이 표시된다.

이와 같은 장치의 응용으로서, 예를 들면, 전철에 적용할 수 있다. 전철을 운전 중일 때에 운전수가 검지(index finger)로 안전성을 확인을 할 때, 전술한 실시예와 같이 정면의 창을 불투과 상태로 하면 매우 위험하다. 이 때문에, 다른 디스플레이 장치에 영상을 표시함으로써 안전하게 운전수가 보고자 하는 영상을 확대하여 표시할 수 있다.

또한, 전술한 실시예에서, 영상 제시부(7)로서 소형의 프로젝터 장치를 이용하고 있지만, 액정 등으로 반투명 상태를 만들어 내는 것도 가능하다. 그 때에는 미리 편광을 부여해 둘 필요가 있다. 구체적으로는 대화면에 한쪽의 편광된 영상을 제시해 놓고, 액정을 제어하여, 편광율을 변화시킨다. 이와 같이 투과 디스플레이 장치(2)를 설계함으로써, 반투명 상태의 투과 디스플레이 패널(12)에 영상을 제시할 수 있다. 이 때문에, 제시된 영상과 투과하는 영상을 서로 겹친 상태에서 제시하는 것도 가능하게 된다.

또한, 전술한 실시예에서의 일련의 처리는, 하드웨어에 의해 실행할 수 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램을, 전용의 하드웨어에 내 장되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한 예를 들면 범용의 퍼스널 컴퓨터 등에 원하는 소프트웨어를 구성하는 프로그램을 인스톨하여 실행시킨다.

또한, 전술한 실시예의 기능을 실현하는 소프트웨어의 프로그램 코드를 기록한 기록 매체를, 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터(또는 CPU 등의 제어 장치)가 기록 매체에 저장된 프로그램 코드를 읽어내어 실행함으로써도, 달성되는 것은 물론이다.

이 경우의 프로그램 코드를 공급하기 위한 기록 매체로서는, 예를 들면, 플로피 디스크, 하드디스크, 광 디스크, 광 자기 디스크, CD-ROM, CD-R, 자기 테이프, 불휘발성의 메모리 카드, ROM 등을 이용할 수 있다.

또한, 컴퓨터가 읽어낸 프로그램 코드를 실행함으로써, 전술한 실시예의 기능이 실현될뿐만 아니라, 그 프로그램 코드의 지시에 기초하여, 컴퓨터 상에서 가동하고 있는 OS 등이 실제의 처리의 일부 또는 전부를 행하고, 그 처리에 의해 전술한 실시예의 기능이 실현되는 경우도 포함된다.

또한, 본 명세서에서, 소프트웨어를 구성하는 프로그램을 기술하는 스텝은, 기재된 순서를 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

본 발명은 2008년 4월 24일 일본특허청에 제출된 일본 우선권 특허 출원 JP 2008-114408에 개시된 기술 내용을 포함하며, 그 전체 내용은 본 명세서에 참조된다.

또한, 본 발명은 전술한 실시예에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않고 그 밖에 다양한 구성을 취할 수 있는 것은 물론이다.

도 1은 본 발명의 일 실시예에서의 영상 처리 장치의 외부 구성예를 도시하는 설명도.

도 2는 본 발명의 일 실시예에서의 영상 처리 장치의 내부 구성예를 도시하는 블록도.

도 3은 본 발명의 일 실시예에서의 스크린에 제시된 영상을 취득하는 예를 도시하는 설명도.

도 4a 및 도 4b는 각각 실상과 허상의 예를 도시하는 설명도.

도 5a 및 도 5b는 본 발명의 일 실시예에서의 스크린에 제시된 영상의 일부를 확대하여 투과 디스플레이 장치에 제시하는 예를 도시하는 설명도.

도 6a 내지 도 6d는 본 발명의 일 실시예에서의 스크린에 제시된 영상의 일부를 확대하여 투과 디스플레이 장치에 제시하는 예를 도시하는 설명도.

도 7a 내지 도 7d는 본 발명의 일 실시예에서의, 유저가 시점을 이동하면서 스크린에 제시된 영상의 일부를 확대하여 투과 디스플레이 장치에 제시하는 예를 도시하는 설명도.

도 8은 본 발명의 일 실시예에서의 영상을 취득하는 처리의 예를 설명하는 플로우차트.

도 9는 본 발명의 일 실시예에서의 터치 패널에 의해 지시된 위치의 영상을 취득하는 처리의 예를 설명하는 플로우차트.

도 10은 본 발명의 일 실시예에서의 스테레오시(streo vision)를 이용한 물 체의 거리 측정법의 예를 도시하는 설명도.

도 11a 내지 도 11c는 본 발명의 일 실시예에서의 스테레오시를 이용한 물체의 거리 측정법의 예를 도시하는 설명도.

도 12는 본 발명의 일 실시예에서의 스테레오시를 이용하여 입체상을 작성하는 처리의 예를 설명하는 플로우차트.

도 13은 본 발명의 일 실시예에서의 시점 이동의 예를 도시하는 설명도.

도 14는 본 발명의 일 실시예에서의 시점 이동에 의한 처리의 예를 설명하는 플로우차트.

도 15a 내지 도 15c는 본 발명의 일 실시예에서의 제시 영상에 디지털 워터마크를 삽입하는 예를 도시하는 설명도.

도 16은 본 발명의 일 실시예에서의 시선 카메라의 영상에 포함되는 식별 부호를 검출하는 예를 도시하는 설명도.

도 17은 본 발명의 일 실시예에서의 스크린과 2개의 카메라의 위치 관계의 예를 도시하는 설명도.

도 18은 본 발명의 다른 실시예에서의 다른 디스플레이 장치에 영상을 제시하는 예를 도시하는 설명도.

<도면의 주요 부분에 대한 부호의 설명>

1 : 영상 처리 시스템

2 : 투과 디스플레이 장치

3a, 3b : 시선 카메라,

4a, 4b : 시점 위치 카메라

5 : 조작부

6 : 터치 패널

10 : 유저

11 : 투과 제어부

12 : 투과 디스플레이 패널

14 : 입력부

15 : 시선 검출부

16 : 시점 위치 영상 연산부

17 : 시점 위치 검출부

18 : 지시 위치 검출부

19 : 출력부

20 : 제어부

21 : 영상 수신 인터페이스

22 : 인터페이스

23 : 송신 인터페이스

25 : 영상 처리 장치

Claims (11)

1. 촬상 장치에 의해 촬상된 피사체의 영상이 입력되는 입력부와,

   상기 영상이 제시되는 표시 수단과,

   상기 표시 수단에 영상을 제시하는 영상 제시부와,

   유저의 시점 위치를 검출하는 시점 검출부와,

   상기 영상이 상기 시점 검출부에 의해 검출되는 유저의 시점 위치로부터 상기 표시 수단의 표시면을 통해 보여질 경우, 상기 표시면의 영상 프레임에 대응하여 추출되는 영역의 영상을 상기 영상 제시부에 공급하는 제어부

   를 포함하는 영상 처리 장치.
2. 제1항에 있어서,

   상기 제어부는, 상기 시점 검출부에 의해 검출된 상기 유저의 시점 위치, 상기 촬상 장치에 의해 촬영된 영상으로부터 구해지는 상기 유저의 시선 방향, 및 상기 피사체에 대한 거리에 기초하여, 상기 추출된 영역의 영상을 생성하는 시점 위치 영상 연산부와,

   상기 시점 위치 영상 연산부에 의해 생성된 영상이 표시되는 상기 표시 수단의 표시면에 대하여 지시된 위치를 검출하는 지시 위치 검출부를 포함하는 영상 처리 장치.
3. 제2항에 있어서,

   상기 제어부는, 상기 표시 수단의 표시면의 투과 상태와 불투과 상태를 절환하고, 상기 표시면이 투과 상태인 경우에, 상기 추출한 영역의 영상을 상기 영상 제시부에 공급하는 영상 처리 장치.
4. 제3항에 있어서,

   상기 영상 제시부는, 상기 표시 수단의 표시면이 불투과 상태인 경우에, 상기 추출한 영역의 영상을 상기 표시 수단의 표시면에 제시하는 영상 처리 장치.
5. 제4항에 있어서,

   상기 표시 수단은, 실상(real-image) 광학계인 영상 처리 장치.
6. 제5항에 있어서,

   상기 영역이 상기 유저의 시점 위치로부터 보여질 경우 상기 표시 수단의 표시면에 제시된 영역에 대한 시야각은, 상기 피사체가 동일한 시야각으로부터 상기 표시면을 통해 보여진 경우 상기 피사체에 대한 시야각보다 작은 영상 처리 장치.
7. 제2항에 있어서,

   상기 촬상 장치는, 상기 유저의 시점 위치와 반대측의 상기 표시 수단의 면에 제공되고, 상기 표시 수단에 응동하여 촬상 방향을 이동시키는 영상 처리 장치.
8. 촬상 장치에 의해 촬상된 피사체의 영상을 입력하는 스텝과,

   상기 유저의 시점 위치를 검출하는 스텝과,

   상기 영상을 표시 수단에 제시하는 스텝과

   상기 영상이 상기 유저의 시점 위치로부터 상기 표시 수단의 표시면을 통해 보여질 경우에, 상기 표시면의 영상 프레임에 대응하는 영상으로부터 추출된 영역의 영상을 영상 처리부에 공급하는 스텝

   을 포함하는 영상 처리 방법.
9. 촬상 장치에 의해 촬상된 피사체의 영상을 입력하는 스텝과,

   유저의 시점 위치를 검출하는 스텝과,

   상기 영상을 표시 수단에 제시하는 스텝과,

   상기 영상이 상기 유저의 시점 위치로부터 상기 표시 수단의 표시면을 통해 보여질 경우에, 상기 표시면의 영상 프레임에 대응하는 영상으로부터 추출된 영역의 영상을 영상 처리부에 공급하는 스텝

   을 포함하는 처리를 컴퓨터에 실행시키기는 프로그램.
10. 제9항에 따른 프로그램을 저장한 기록 매체.
11. 촬상 장치에 의해 촬상된 피사체의 영상이 입력되는 입력부와,

    상기 영상이 제시되는 표시 장치와,

    상기 표시 장치에 영상을 제시하는 영상 제시부와,

    유저의 시점 위치를 검출하는 시점 검출부와,

    상기 영상이 상기 시점 검출부에 의해 검출되는 유저의 시점 위치로부터 상기 표시 장치의 표시면을 통해 보여질 경우, 상기 표시면의 영상 프레임에 대응하여 추출되는 영역의 영상을 상기 영상 제시부에 공급하는 제어부

    를 포함하는 영상 처리 장치.

Images