KR20230038454A - 촬상 처리 시스템 및 3d 모델 생성 방법 - Google Patents

Abstract

본 개시는, 보다 정확한 3D 모델을 생성할 수 있도록 하는 촬상 처리 시스템 및 3D 모델 생성 방법에 관한 것이다. 오브젝트를 촬상하여 얻어지는 복수의 촬상 화상을 사용하여, 그 오브젝트의 3D 모델을 생성하는 촬상 처리 시스템으로서, 편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 그 편광자를 투과하여 얻어지는 편광을 그 오브젝트에 조사하는 복수의 편광 조명 장치와, 편광자를 구비하고, 그 오브젝트와 적어도 1개의 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 그 편광자를 투과하여 얻어지는 편광을 사용하여 그 촬상 화상을 생성하는 복수의 편광 촬상 장치를 구비하고, 그 편광 촬상 장치의 편광자의 편광 방향은, 그 편광 조명 장치의 편광자의 편광 방향과 다르다. 본 개시는, 예를 들어 촬상 처리 시스템이나 3D 모델 생성 방법 등에 적용할 수 있다.

Description

촬상 처리 시스템 및 3D 모델 생성 방법

본 개시는, 촬상 처리 시스템 및 3D 모델 생성 방법에 관한 것으로, 특히 보다 정확한 3D 모델을 생성할 수 있도록 한 촬상 처리 시스템 및 3D 모델 생성 방법에 관한 것이다.

다시점에서 촬상된 동화상으로부터 피사체의 3차원 정보를 갖는 모델인 3D 모델(3차원 모델)을 생성하고, 임의의 시점 위치에 따른 동화상인 자유 시점 동화상을 3D 모델에 기초하여 생성하는 기술이 있다. 이러한 기술은 볼류메트릭 캡처 기술 등으로도 불리고 있다.

예를 들어, 다른 방향으로부터 촬상하여 얻어진 복수의 촬상 화상에 기초하여 피사체의 3차원 형상의 깍아내기를 행하는 Visual Hull 등의 방법을 사용하여, 3D 모델을 생성하는 기술이 제안되었다(예를 들어 특허문헌 1 참조).

이러한 볼류메트릭 캡처 기술에 있어서의 피사체의 촬상에 있어서, 일반적으로, 휘도를 확보하기 위해 조명 장치를 사용하여 피사체나 피사체 주변에 광을 조사하는 일이 행해진다.

국제 공개 제2018/150933호

그러나, 볼류메트릭 캡처 기술의 경우, 피사체를 보다 다양한 방향으로부터 촬상하기 위해, 피사체를 둘러싸도록 배치된 복수의 촬상 장치에 의해 촬상을 행하기 때문에, 사각이 적고, 조명 장치가 화각 내에 수렴되기 쉽다. 고휘도의 조명 장치가 화각 내에 수렴되면, 소위 플레어, 고스트, 헐레이션 등과 같은 광학적 현상이 발생하기 쉽다. 이러한 광학적 현상이 발생하면, 그 촬상 화상으로부터 생성되는 3D 모델의 정확성이 저감될 우려가 있었다.

본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 보다 정확한 3D 모델을 생성하도록 하는 것이다.

본 기술의 일 측면의 촬상 처리 시스템은, 오브젝트를 촬상하여 얻어지는 복수의 촬상 화상을 사용하여, 상기 오브젝트의 3D 모델을 생성하는 촬상 처리 시스템으로서, 편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 상기 편광자를 투과하여 얻어지는 편광을 상기 오브젝트에 조사하는 복수의 편광 조명 장치와, 편광자를 구비하고, 상기 오브젝트와 적어도 1개의 상기 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 상기 편광자를 투과하여 얻어지는 편광을 사용하여 상기 촬상 화상을 생성하는 복수의 편광 촬상 장치를 구비하고, 상기 편광 촬상 장치의 상기 편광자의 편광 방향은, 상기 편광 조명 장치의 상기 편광자의 편광 방향과 다른 촬상 처리 시스템이다.

본 기술의 다른 측면의 3D 모델 생성 방법은, 서로 다른 위치에 있어서, 화각 내의 편광 조명 장치로부터 조사되는 편광과 다른 편광 방향의 편광을 사용하여 오브젝트의 촬상 화상을 생성하고, 서로 다른 위치에 있어서 얻어진 복수의 상기 촬상 화상을 사용하여 상기 오브젝트의 3D 모델을 생성하는 3D 모델 생성 방법이다.

본 기술의 또 다른 측면의 촬상 처리 시스템은, 편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 상기 편광자를 투과하여 얻어지는 편광을 오브젝트에 조사하는 복수의 편광 조명 장치와, 편광자를 구비하고, 상기 오브젝트와 적어도 1개의 상기 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 상기 편광자를 투과하여 얻어지는 편광을 사용하여 상기 오브젝트의 촬상 화상을 생성하는 복수의 편광 촬상 장치를 구비하고, 상기 편광 촬상 장치의 상기 편광자의 편광 방향은, 상기 편광 조명 장치의 상기 편광자의 편광 방향과 다른 촬상 처리 시스템이다.

본 기술의 일측면의, 오브젝트를 촬상하여 얻어지는 복수의 촬상 화상을 사용하여, 그 오브젝트의 3D 모델을 생성하는 촬상 처리 시스템에 있어서는, 편광자를 구비하는 복수의 편광 조명 장치에 의해, 발광부로부터 출사된 광이 그 편광자를 투과하여 얻어지는 편광이, 서로 다른 위치로부터 그 오브젝트에 조사되고, 편광 방향이 편광 조명 장치의 편광자와 다른 편광자를 구비하는 복수의 편광 촬상 장치에 의해, 그 오브젝트와 적어도 1개의 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 그 편광자를 투과하여 얻어지는 편광이 사용되어 그 촬상 화상이 생성된다.

본 기술의 다른 측면의 3D 모델 생성 방법에 있어서는, 서로 다른 위치에 있어서, 화각 내의 편광 조명 장치로부터 조사되는 편광과 다른 편광 방향의 편광을 사용하여 오브젝트의 촬상 화상이 생성되고, 그 서로 다른 위치에 있어서 얻어진 복수의 촬상 화상이 사용되어 그 오브젝트의 3D 모델이 생성된다.

본 기술의 또 다른 측면의 촬상 처리 시스템에 있어서는, 편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 그 편광자를 투과하여 얻어지는 편광을 오브젝트에 조사하는 복수의 편광 조명 장치와, 편광 방향이 편광 조명 장치의 편광자와 다른 편광자를 구비하고, 그 오브젝트와 적어도 1개의 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 그 편광자를 투과하여 얻어지는 편광을 사용하여 그 오브젝트의 촬상 화상을 생성하는 복수의 편광 촬상 장치가 구비된다.

도 1은 정보 처리 시스템의 주된 구성예를 도시하는 블록도이다.
도 2는 시스템 처리의 흐름의 예를 설명하는 흐름도이다.
도 3은 데이터 취득부의 주된 구성예를 도시하는 블록도이다.
도 4는 조명부의 주된 구성예를 도시하는 블록도이다.
도 5는 촬상부의 주된 구성예를 도시하는 블록도이다.
도 6은 촬상 조명 유닛의 구성예를 도시하는 도면이다.
도 7은 촬상 조명 유닛의 배치예를 도시하는 도면이다.
도 8은 촬상 조명 유닛의 배치예를 도시하는 도면이다.
도 9는 촬상 조명 유닛의 배치예를 도시하는 도면이다.
도 10은 촬상 조명 유닛의 배치예를 도시하는 도면이다.
도 11은 촬상 조명 유닛의 배치예를 도시하는 도면이다.
도 12는 촬상 화상의 예를 도시하는 도면이다.
도 13은 데이터 취득부의 다른 구성예를 도시하는 블록도이다.
도 14는 캘리브레이션 처리의 흐름의 예를 설명하는 흐름도이다.
도 15는 컴퓨터의 주된 구성예를 도시하는 블록도이다.

이하, 본 개시를 실시하기 위한 형태(이하 실시 형태라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 제1 실시 형태(정보 처리 시스템)

2. 제2 실시 형태(캘리브레이션)

3. 응용예

4. 부기

<1. 제1 실시 형태>

<정보 처리 시스템>

다시점에서 촬상된 동화상으로부터 피사체의 3차원 정보를 갖는 모델인 3D 모델(3차원 모델)을 생성하고, 임의의 시점 위치에 따른 동화상인 자유 시점 동화상을 3D 모델에 기초하여 생성하는 볼류메트릭 캡처 기술이 있다. 도 1의 정보 처리 시스템(100)은, 이러한 볼류메트릭 캡처 기술에 의해, 피사체를 다시점에서 촬상하고, 그 촬상 화상으로부터 피사체의 3D 모델을 생성하고, 그 3D 모델에 기초하여, 임의의 시점 위치에 따른 자유 시점 화상을 생성하는 시스템이다.

도 1에 도시되는 바와 같이, 정보 처리 시스템(100)은, 데이터 취득부(101), 3D 모델 생성부(102), 포맷화부(103), 송신부(104), 수신부(105), 렌더링부(106) 및 표시부(107)를 갖는다.

데이터 취득부(101)는, 피사체의 3D 모델을 생성하기 위한 화상 데이터를 취득한다. 예를 들어, 데이터 취득부(101)는, 피사체를 둘러싸도록 배치된 복수의 촬상 장치에 의해 촬상된 복수의 시점 화상을 화상 데이터로서 취득한다. 이 경우, 복수의 시점 화상은, 복수의 촬상 장치가 동기하여 촬상함으로써 얻어진 화상인 것이 바람직하다.

또한, 데이터 취득부(101)는, 화상 데이터에 기초하여 캘리브레이션을 행하여, 각 촬상 장치의 내부 파라미터 및 외부 파라미터를 취득해도 된다. 또한, 데이터 취득부(101)는, 예를 들어 복수 개소의 시점으로부터 피사체까지의 거리를 나타내는 복수의 뎁스 정보를 취득해도 된다.

데이터 취득부(101)는, 취득한 화상 데이터를 3D 모델 생성부(102)에 공급한다.

3D 모델 생성부(102)는, 데이터 취득부(101)로부터 공급되는 화상 데이터에 기초하여, 피사체의 3차원 정보를 갖는 모델인 3D 모델을 생성한다. 3D 모델 생성부(102)는, 예를 들어 소위 Visual Hull을 사용하여, 복수의 시점으로부터의 화상(예를 들어, 복수의 시점으로부터의 실루엣 화상)을 사용하여 피사체의 3차원 형상을 깎음으로써 피사체의 3D 모델을 생성한다.

여기서 실루엣 화상이란, 피사체의 윤곽(외형)만을 표현하는 화상이며, 그 윤곽의 내측 영역은, 예를 들어 그림자 그림과 같이 단색으로 빈틈없이 칠해져 표현된다. 즉, 3D 모델 생성부(102)는, 데이터 취득부(101)로부터 공급되는 화상 데이터(촬상 화상)로부터 이러한 실루엣 화상을 생성한다. 또한, 데이터 취득부(101)로부터 실루엣 화상의 화상 데이터가 3D 모델 생성부(102)에 공급되도록 해도 된다.

3D 모델 생성부(102)는, 또한 Visual Hull을 사용하여 생성된 3D 모델을 복수 개소의 시점으로부터 피사체까지의 거리를 나타내는 복수의 뎁스 정보를 사용하여 고정밀도로 변형시킬 수 있다.

3D 모델 생성부에서 생성되는 3D 모델은, 시계열의 프레임 단위로 생성함으로써 3D 모델의 동화상이라고 할 수도 있다. 또한, 3D 모델은, 데이터 취득부(101)의 촬상 장치로 촬상된 화상을 사용하여 생성되기 때문에, 실사의 3D 모델이라고도 할 수 있다. 3D 모델은, 피사체의 표면 형상을 나타내는 형상 정보를, 예를 들어 폴리곤 메시라고 불리는, 정점(Vertex)과 정점의 연결로 표현한 메시 데이터의 형식으로 표현할 수 있다. 3D 모델의 표현 방법은 이것들에 한정되는 것은 아니며, 점의 위치 정보로 표현되는 소위 포인트 클라우드의 표현 방법으로 기술되어도 된다.

이들 3D 형상 데이터에 관련지어지는 형태로, 색 정보의 데이터도 텍스처로서 생성된다. 예를 들어, 어느 방향으로부터 보아도 일정한 색이 되는 View Independent 텍스처의 경우와, 시청하는 방향에 따라 색이 변화하는 View Dependent 텍스처의 경우가 있다.

3D 모델 생성부(102)는, 생성된 3D 모델의 데이터를 포맷화부(103)에 공급한다.

포맷화부(103)는, 3D 모델 생성부(102)로부터 공급되는 3D 모델의 데이터를, 전송이나 축적에 적합한 포맷으로 변환한다. 예를 들어, 포맷화부(103)는, 3D 모델 생성부(102)에서 생성된 3D 모델을 복수의 방향으로부터 투시 투영함으로써, 복수의 2차원 화상으로 변환해도 된다. 또한, 포맷화부(103)는, 3D 모델을 사용하여 복수의 시점으로부터의 2차원의 뎁스 화상인 뎁스 정보를 생성해도 된다. 이 경우, 포맷화부(103)는, 이 2차원 화상의 상태의 뎁스 정보와, 색 정보를 부호화(압축)해도 된다. 그 경우, 포맷화부(103)는, 뎁스 정보와 색 정보를, 배열하여 1매의 화상으로서 부호화해도 되고, 2개의 별개의 화상으로서 부호화해도 된다. 또한, 포맷화부(103)는, 뎁스 정보와 색 정보가 2차원 화상 데이터의 형태이기 때문에, 그것들을 AVC(Advanced Video Coding) 등의 2차원 압축 기술을 사용하여 부호화(압축)해도 된다.

이상의 경우, 포맷화부(103)는, 3D 모델의 데이터를 2D 데이터(또는 그 부호화 데이터)를 포함하는 전송 데이터로서 송신부(104)에 공급한다.

또한, 예를 들어 포맷화부(103)는, 메시 데이터의 3D 데이터를 포인트 클라우드의 포맷으로 변환하고, 3D 데이터를 포함하는 전송 데이터로서 송신부(104)에 공급해도 된다. 이 경우, 포맷화부(103)는, 예를 들어 MPEG에서 논의되고 있는 Geometry-based-Approach의 3차원 압축 기술을 사용하여, 그 3D 데이터를 부호화(압축)해도 된다.

송신부(104)는, 포맷화부(103)에서 형성된 전송 데이터를 수신부(105)에 송신한다. 송신부(104)는, 데이터 취득부(101), 3D 모델 생성부(102) 및 포맷화부(103)의 일련의 처리를 오프라인에서 행한 후에, 전송 데이터를 수신부(105)에 전송한다. 또한, 송신부(104)는, 상술한 일련의 처리로부터 생성된 전송 데이터를 실시간으로 수신부(105)에 전송해도 된다.

수신부(105)는, 송신부(104)로부터 전송된 전송 데이터를 수신하고, 렌더링부(106)에 공급한다.

렌더링부(106)는, 수신부(105)에서 수신한 전송 데이터를 사용하여 렌더링을 행한다. 예를 들어, 렌더링부(106)는, 3D 모델의 메시를 묘화하는 카메라의 시점에서 투영하고, 색이나 모양을 나타내는 텍스처를 첩부하는 텍스처 매핑을 행한다. 이때의 묘화는, 촬영 시의 카메라 위치와 관계없이 임의로 설정하여 자유로운 시점에서 볼 수 있다.

렌더링부(106)는, 예를 들어 3D 모델의 메시의 위치에 따라, 메시의 색, 모양이나 질감을 나타내는 텍스처를 첩부하는 텍스처 매핑을 행한다. 텍스처 매핑에는, 소위, 유저의 시청 시점을 고려하는 View Dependent라고 불리는 방식이나, 유저의 시청 시점을 고려하지 않는 View Independent라고 하는 방식이 있다. View Dependent 방식은, 시청 시점의 위치에 따라 3D 모델에 첩부하는 텍스처를 변화시키기 때문에, View Independent 방식보다 고품질의 렌더링을 실현할 수 있는 이점이 있다. 한편, View Independent 방식은 시청 시점의 위치를 고려하지 않기 때문에 View Dependent 방식에 비하여 처리량을 적게 하는 이점이 있다. 또한, 시청 시점의 데이터는, 유저의 시청 개소(Region of Interest)를 표시부(107)가 검출하여, 표시부(107)로부터 렌더링부(106)에 입력된다. 또한, 렌더링부(106)는, 예를 들어 시청 시점에 대하여 오브젝트가 수직인 자세를 유지하도록 오브젝트를 렌더링하는 빌보드 렌더링을 채용해도 된다. 예를 들어, 복수 오브젝트를 렌더링할 때, 렌더링부(106)가, 시청자의 관심이 낮은 오브젝트를 빌보드로 렌더링하고, 그 밖의 오브젝트를 다른 렌더링 방식으로 렌더링할 수도 있다.

렌더링부(106)는, 그 렌더링 결과의 데이터를 표시부(107)에 공급한다.

표시부(107)는, 렌더링부(106)에 의해 렌더링된 결과를 표시 장치의 표시부에 표시한다. 표시 장치는, 예를 들어 헤드 마운트 디스플레이, 공간 디스플레이, 휴대 전화, 텔레비전, PC(Personal Computer) 등, 2D 모니터여도 되고 3D 모니터여도 된다.

<시스템 처리의 흐름>

정보 처리 시스템(100)에 의해 실행되는 시스템 처리의 흐름의 예를, 도 2의 흐름도를 참조하여 설명한다.

처리가 개시되면, 스텝 S101에 있어서, 데이터 취득부(101)는, 피사체의 3D 모델을 생성하기 위한 화상 데이터를 취득한다.

스텝 S102에 있어서, 3D 모델 생성부(102)는, 스텝 S101에 있어서 취득된 화상 데이터에 기초하여, 피사체의 3차원 정보를 갖는 모델인 3D 모델을 생성한다.

스텝 S103에 있어서, 포맷화부(103)는, 스텝 S102에 있어서 생성된 3D 모델의 형상 및 텍스처의 데이터를 전송이나 축적에 적합한 포맷으로 인코딩한다.

스텝 S104에 있어서, 송신부(104)는, 스텝 S103에 있어서 생성된 부호화된 데이터를 전송한다.

스텝 S105에 있어서, 수신부(105)는, 스텝 S104에 있어서 전송된 데이터를 수신한다.

스텝 S106에 있어서, 렌더링부(106)는, 디코드 처리를 행하여, 표시에 필요한 형상 및 텍스처의 데이터로 변환한다. 또한, 렌더링부(106)는, 그 형상 및 텍스처의 데이터를 사용하여 렌더링을 행한다.

스텝 S107에 있어서, 표시부(107)는, 그 렌더링한 결과를 표시한다.

스텝 S107의 처리가 종료되면, 시스템 처리가 종료된다.

이상과 같이 각 처리를 행함으로써, 정보 처리 시스템(100)은, 피사체의 3D 모델을 생성하고, 자유로운 시점에서 본 피사체의 화상을 생성하여, 표시할 수 있다. 이에 의해, 시청자인 유저는, 자유로운 시점에서 피사체를 볼 수 있다.

<변형예>

이상에 있어서는, 정보 처리 시스템(100)이, 콘텐츠를 생성하는 재료인 촬상 화상을 취득하는 데이터 취득부(101)로부터 유저가 시청하는 화상을 표시하는 표시부(107)까지의 일련의 흐름을 나타내었다. 그러나, 본 발명의 실시를 위해 모든 기능 블록이 필요하다고 하는 의미는 아니며, 기능 블록마다 또는 복수의 기능 블록의 조합에 본 발명을 실시할 수 있다. 예를 들어, 도 1에 있어서는, 콘텐츠를 작성하는 측으로부터 콘텐츠 데이터의 배신을 통하여 콘텐츠를 시청하는 측까지의 일련의 흐름을 나타내기 위해 송신부(104)나 수신부(105)를 마련하였지만, 콘텐츠의 제작부터 시청까지를 동일한 정보 처리 장치(예를 들어 퍼스널 컴퓨터)에서 실시할 수도 있다. 그 경우, 포맷화부(103), 송신부(104) 및 수신부(105)는 생략할 수 있다.

또한, 정보 처리 시스템(100)을 실시하는 경우, 동일한 실시자가 모두를 실시할 수도 있고, 각 기능 블록을 다른 실시자가 실시할 수도 있다. 예를 들어, 사업자 A가, 데이터 취득부(101), 3D 모델 생성부(102) 및 포맷화부(103)를 실시하여 3D 콘텐츠를 생성하고, 사업자 B가, 송신부(104)(플랫폼)를 실시하여 3D 콘텐츠를 배신하고, 사업자 C가, 수신부(105), 렌더링부(106) 및 표시부(107)를 실시하여 3D 콘텐츠의 수신, 렌더링, 표시 제어 등을 행해도 된다.

또한, 각 기능 블록은, 클라우드 상에서 실시할 수 있다. 예를 들어, 렌더링부(106)는, 표시 장치 내에서 실시되어도 되고, 서버에서 실시되어도 된다. 그 경우, 표시 장치와 서버간에서의 정보의 교환이 생긴다.

도 1에 있어서는, 데이터 취득부(101), 3D 모델 생성부(102), 포맷화부(103), 송신부(104), 수신부(105), 렌더링부(106) 및 표시부(107)를 통합하여 정보 처리 시스템(100)으로서 설명하였다. 단, 정보 처리 시스템(100)의 구성은 이 예에 한정되지 않으며, 적어도 데이터 취득부(101)를 갖고 있으면 된다. 예를 들어, 도 1에 도시되는 구성 중, 3D 모델 생성부(102) 내지 표시부(107) 중 어느 1개 이상을 생략해도 된다. 또한, 정보 처리 시스템(100)이, 상술한 구성 이외의 구성(기능 블록)을 가져도 된다.

또한, 상술한 각 기능 블록(데이터 취득부(101) 내지 표시부(107))은, 임의의 구성에 의해 실현된다. 예를 들어, 각 기능 블록이 1개 이상의 디바이스(장치)에 의해 실현되어도 된다. 또한, 복수의 기능 블록이 1개의 디바이스(장치)에 의해 실현되어도 된다.

<데이터 취득부>

도 3은, 도 1의 데이터 취득부(101)의 주된 구성예를 도시하는 블록도이다. 본 기술을 적용한 촬상 처리 시스템의 일 실시 형태인 데이터 취득부(101)는, 도 3에 도시되는 바와 같이, 촬상 조명부(121) 및 송신부(122)를 갖는다.

촬상 조명부(121)는, 피사체를 촬상하거나, 피사체를 조명하거나 한다. 촬상 조명부(121)는, 촬상부(131-1) 내지 촬상부(131-M), 그리고 조명부(132-1) 내지 조명부(132-N)를 갖는다(M, N은 2 이상의 정수). 촬상부(131-1) 내지 촬상부(131-M)를 서로 구별하여 설명할 필요가 없는 경우, 촬상부(131)라고 칭한다. 조명부(132-1) 내지 조명부(132-N)를 서로 구별하여 설명할 필요가 없는 경우, 조명부(132)라고 칭한다.

즉, 촬상 조명부(121)는, 복수의 촬상부(131)와 복수의 조명부(132)를 갖는다. 또한, 촬상 조명부(121)가 갖는 촬상부(131) 및 조명부(132)의 수는, 서로 같은 수(즉, M=N)여도 되고, 서로 달라도 된다.

촬상부(131)는, 단수 또는 복수의 촬상 디바이스에 의해 구성되고, 피사체를 촬상하여, 3D 모델 생성용의 촬상 화상을 생성한다. 즉, 촬상부(131)는, 피사체의 실루엣이나 텍스처의 추출에 사용되는 촬상 화상을 생성한다. 촬상부(131)는, 생성된 촬상 화상의 데이터를 송신부(122)에 공급한다.

촬상부(131)의 촬상 디바이스가 수광하는 광의 파장 대역은 임의이며, 가시광이어도 되고, 비가시광이어도 된다. 예를 들어, 촬상부(131)는, 가시광선(RGB 광선)을 수광하여, 가시광의 촬상 화상을 생성해도 되고, 적외광선(IR(InfraRed) 광선)을 수광하여, 적외광의 촬상 화상을 생성해도 된다.

조명부(132)는, 단수 또는 복수의 조명 디바이스에 의해 구성되며, 촬상부(131)에 의해 촬상되는 피사체를 조명한다. 조명부(132)의 조명 디바이스가 발광하는 광의 파장 대역은 임의이며, 가시광이어도 되고, 비가시광이어도 된다. 예를 들어, 조명부(132)는, 가시광선(RGB 광선)에 의해 피사체를 조명해도 되고, 적외광선(IR 광선)에 의해 피사체를 조명해도 된다.

송신부(122)는, 촬상부(131)로부터 공급되는 촬상 화상의 데이터를 3D 모델 생성부(102)에 송신한다. 그때, 송신부(122)는, 그 촬상 화상의 데이터를 부호화하지 않고 3D 모델 생성부(102)에 공급해도 되고, 그 촬상 화상의 데이터를 부호화하여, 부호화 데이터로서 3D 모델 생성부(102)에 공급해도 된다. 또한, 송신부(122)는, 그 촬상 화상에 대하여 임의의 화상 처리를 실시해도 된다. 예를 들어, 송신부(122)는, 촬상 화상으로부터 실루엣이나 텍스처를 추출하고, 추출한 실루엣이나 텍스처의 데이터를 3D 모델 생성부(102)에 공급해도 된다.

일반적으로, 휘도가 지나치게 낮으면(지나치게 어두우면) 피사체의 촬상이 곤란하게 된다. 그 때문에, 조명부(132)가 피사체를 조명함으로써, 촬상부(131)는, 충분한 밝기 하에서 피사체를 촬상할 수 있어, 휘도가 충분히 확보된 촬상 화상을 얻을 수 있다.

그러나, 3D 모델 생성용의 촬상 화상을 취득하는 데이터 취득부(101)의 경우, 복수의 촬상부(131)는, 사각을 저감시키도록 피사체 주변에 배치된다. 따라서, 촬상부(131)의 화각 내에 조명부(132)가 수렴될 가능성이 매우 높다. 환언하건대, 촬상부(131)의 화각 내에 수렴되지 않도록 조명부(132)를 배치하는 것은 곤란하였다.

조명부(132)(의 조명 디바이스)는 고휘도의 광원이기 때문에, 그 조명부(132)가 화각 내에 수렴되면, 그 광이 암부에 새는, 소위 플레어, 고스트, 헐레이션 등과 같은 현상이 발생하기 쉽다. 이러한 현상이 발생하면, 그 촬상 화상으로부터 피사체의 정확한 실루엣의 추출이 곤란하게 될 우려가 있었다. 또한, 피사체의 텍스처의 추출이 곤란하게 될 우려도 있었다. 그 때문에, 그 촬상 화상으로부터 생성되는 3D 모델의 정확성이 저감될 우려가 있었다.

<편광자의 적용>

그래서, 촬상부(131)(촬상 디바이스)와 조명부(132)(조명 디바이스)에, 자연광(비편광)이나 원편광으로부터 직선 편광을 생성하는 편광자를 마련하고, 조명부(132)가 피사체를 편광으로 조명하고, 촬상부(131)가 편광을 수광하여 촬상 화상을 생성하도록 한다. 그리고, 조명부(132)가 조사하는 편광의 편광 방향(즉, 조명부(132)가 갖는 편광자의 편광 방향)과, 촬상부(131)가 수광하는 편광의 편광 방향(즉, 촬상부(131)가 갖는 편광자의 편광 방향)이 서로 다르게 한다.

또한, 본 명세서에 있어서, 주로 소정의 방향의 진동 성분을 포함하는 광선을 편광이라고 칭하고, 그 편광의 주된 진동 방향을 편광 방향(또는 편광각)이라고 칭한다. 또한, 편광자는, 소정의 편광 방향의 편광을 생성하는데, 그 편광 방향을 편광자의 편광 방향(또는 편광각)이라고도 칭한다.

예를 들어, 오브젝트를 촬상하여 얻어지는 복수의 촬상 화상을 사용하여, 그 오브젝트의 3D 모델을 생성하는 촬상 처리 시스템이, 편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 그 편광자를 투과하여 얻어지는 편광을 그 오브젝트에 조사하는 복수의 편광 조명 장치(예를 들어 조명부(132))와, 편광자를 구비하고, 그 오브젝트와 적어도 1개의 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 그 편광자를 투과하여 얻어지는 편광을 사용하여 촬상 화상을 생성하는 복수의 편광 촬상 장치(예를 들어 촬상부(131))를 구비하도록 하고, 그 편광 촬상 장치의 편광자의 편광 방향이, 그 편광 조명 장치의 편광자의 편광 방향과 다르게 한다.

예를 들어, 서로 다른 위치에 있어서, 화각 내의 편광 조명 장치(예를 들어 조명부(132))로부터 조사되는 편광과 다른 편광 방향의 편광을 사용하여 오브젝트의 촬상 화상을 생성하고, 그 서로 다른 위치에 있어서 얻어진 복수의 촬상 화상을 사용하여 오브젝트의 3D 모델을 생성하도록 한다.

예를 들어, 촬상 처리 시스템이, 편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 그 편광자를 투과하여 얻어지는 편광을 오브젝트에 조사하는 복수의 편광 조명 장치(예를 들어 조명부(132))와, 편광자를 구비하고, 그 오브젝트와 적어도 1개의 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 그 편광자를 투과하여 얻어지는 편광을 사용하여 그 오브젝트의 촬상 화상을 생성하는 복수의 편광 촬상 장치(예를 들어 촬상부(131))를 구비하도록 하고, 그 편광 촬상 장치의 편광자의 편광 방향은, 그 편광 조명 장치의 편광자의 편광 방향과 다르게 한다.

촬상부(131)의 편광자의 편광 방향과, 조명부(132)의 편광자의 편광 방향이 서로 다르면, 촬상부(131)의 편광자를 투과하여 센서에 입사하는 조명부(132)로부터의 직접광의 광량이 저감한다. 따라서, 촬상부(131)가 생성하는 촬상 화상에 있어서, 화각 내에 수렴되는 조명부(132)의 부분의 휘도값을 저감시킬 수 있으므로, 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다. 따라서, 그 촬상 화상으로부터, 실루엣이나 텍스처의 추출을 보다 정확하게 행할 수 있게 되므로, 3D 모델 생성부(102)는, 보다 정확한 3D 모델을 생성할 수 있다(3D 모델의 정확성의 저감을 억제할 수 있다).

또한, 이와 같이 촬상부(131)의 편광자를 투과하여 센서에 입사하는 조명부(132)로부터의 직접광의 광량의 저감 정도는, 촬상부(131)의 편광자의 편광 방향과, 조명부(132)의 편광자의 편광 방향의 관계(각도)에 의존한다. 일반적으로, 양자간의 각도가 90도에 가까울수록, 광량은 보다 크게 저감한다. 즉, 촬상부(131)의 편광자의 편광 방향과, 조명부(132)의 편광자의 편광 방향의 각도가 90도에 가까울수록, 소위 플레어, 고스트, 헐레이션 등의 발생을 보다 강하게 억제할 수 있다.

<조명부>

도 4는, 조명부(132)의 주된 구성예를 도시하는 블록도이다. 도 4에 도시되는 바와 같이, 조명부(132)는 편광 필터(151) 및 발광부(152)를 갖는다.

편광 필터(151)는, 편광자의 일례이며, 소정의 방향으로 진동하는 성분의 광을 투과시킴으로써, 편광을 생성한다. 발광부(152)는, 광원이며, 소정의 파장의 광선(비편광)을 소정의 방향으로 출사한다.

도 4에 도시되는 바와 같이, 편광 필터(151)는, 발광부(152)의 광선의 출사 방향(조사 방향) 전방에 배치된다. 발광부(152)로부터 출사된 비편광(161)은 편광 필터(151)를 향한다. 편광 필터(151)는, 그 비편광(161)의, 소정의 방향의 진동 성분을 투과시킨다. 즉, 그 소정의 방향을 편광 방향으로 하는 편광(162)이 편광 필터(151)에 의해 생성된다. 이 편광(162)이 조명부(132)로부터 출사된다. 즉, 조명부(132)는, 편광자를 구비하고, 그 편광자에 의해 광원으로부터의 광을 사용하여 생성된 편광을 조사하는 편광 조명 장치이다.

조명부(132)는 촬상부(131)의 피사체로 되는 오브젝트를 조명하는 위치 및 자세로 설치되므로, 이 편광(162)의 적어도 일부는, 그 오브젝트에 조사된다. 그리고, 조사된 편광(162)의 적어도 일부가, 그 오브젝트 등에서 반사되어 비편광으로 되어, 촬상부(131)를 향한다. 즉, 조명부(132)가 이와 같이 조명함으로써, 촬상 화상의 휘도를 증대시킬 수 있다.

또한, 조명부(132)가 조사하는 편광(162)의 파장 대역은 임의이다. 예를 들어, 편광(162)은, 가시광이어도 되고, 비가시광이어도 되고, 그 양쪽이어도 된다. 예를 들어, 편광(162)이 적외광선(IR 광선)이어도 된다. 또한, 조명부(132)가 서로 다른 파장 영역의 광선을 출사하는 복수의 발광부(152)(광원)를 가져도 되고, 촬상 조명부(121)가 서로 다른 파장 영역의 편광(162)을 조사하는 복수의 조명부(132)를 가져도 된다.

또한, 편광 필터(151)의 편광 방향(즉, 편광(162)의 편광 방향)은, 미리 정해져 있어도 되고(고정이어도 되고), 가변이어도 된다. 예를 들어 편광 필터(151)의 편광 방향을 제어하는 편광 방향 제어 기구(가동 링 등)를 마련하여, 그 편광 방향 제어 기구에 의해, 편광 필터(151)의 편광 방향이 가변이어도 된다.

<촬상부>

도 5는, 촬상부(131)의 주된 구성예를 도시하는 블록도이다. 예를 들어, 도 5의 A에 도시되는 바와 같이, 촬상부(131)는 편광 필터(171) 및 이미지 센서(172)를 갖는다.

편광 필터(171)는, 편광자의 일례이며, 소정의 방향으로 진동하는 성분의 광을 투과시킴으로써, 편광을 생성한다. 이미지 센서(172)는, 복수의 화소를 갖고, 각 화소에 있어서 입사광을 광전 변환하여, 촬상 화상을 생성한다. 이미지 센서(172)는, 생성된 촬상 화상의 데이터를 송신부(122)에 공급한다.

도 5의 A에 도시되는 바와 같이, 편광 필터(171)는, 이미지 센서(172)의 광선 입사측에 배치된다. 촬상부(131)에 입사된 비편광(181)은 편광 필터(171)를 향한다. 편광 필터(171)는, 그 비편광(181)의, 소정의 방향의 진동 성분을 투과시킨다. 즉, 그 소정의 방향을 편광 방향으로 하는 편광(182)이 편광 필터(171)에 의해 생성된다. 이 편광(182)이, 이미지 센서(172)에 입사되어, 광전 변환된다. 즉, 이미지 센서(172)는, 이 편광(182)에 대응하는 촬상 화상을 생성한다. 즉, 촬상부(131)는, 편광자를 구비하고, 그 편광자에 의해 생성된 편광을 사용하여 촬상 화상을 생성하는 편광 촬상 장치이다.

또한, 촬상부(131)의 화각 내에 조명부(132)가 위치하는 경우, 그 조명부(132)로부터의 직접광이 촬상부(131)에 입사하는 경우가 있다. 즉, 조명부(132)로부터 조사된 편광(162)이 편광 필터(171)를 향하는 경우가 있다. 여기서, 편광 필터(171)의 편광 방향은, 편광 필터(151)의 편광 방향과 다른 방향으로 설정되어 있다. 즉, 편광 필터(171)와 편광 필터(151)는, 그 편광 방향이 서로 다르다. 그 때문에, 편광(162)의 적어도 일부가 편광 필터(171)에 의해 차단된다. 즉, 이미지 센서(172)에 입사하는 편광(162)의 광량이 저감된다.

즉, 촬상부(131)가 생성하는 촬상 화상에 있어서, 화각 내에 수렴되는 조명부(132)의 부분의 휘도값을 저감시킬 수 있으므로, 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다. 따라서, 그 촬상 화상으로부터, 실루엣이나 텍스처의 추출을 보다 정확하게 행할 수 있게 되므로, 3D 모델 생성부(102)는, 보다 정확한 3D 모델을 생성할 수 있다(3D 모델의 정확성의 저감을 억제할 수 있다).

또한, 이미지 센서(172)가 수광하고, 광전 변환하는 광의 파장 대역(즉 편광(182)의 파장 대역)은 임의이다. 예를 들어, 이미지 센서(172)는, 가시광을 광전 변환해도 되고, 비가시광을 광전 변환해도 되고, 그 양쪽을 광전 변환해도 된다. 즉, 촬상부(131)가, 가시광의 촬상 화상의 데이터를 생성해도 되고, 비가시광의 촬상 화상의 데이터를 생성해도 되고, 그 양쪽의 촬상 화상을 생성해도 된다. 예를 들어, 이미지 센서(172)가 적외광선(IR 광선)을 광전 변환해도 된다. 즉, 촬상부(131)가 적외광선(IR 광선)의 촬상 화상을 생성해도 된다. 또한, 촬상부(131)가 서로 다른 파장 영역의 광선을 광전 변환하는 복수의 이미지 센서(172)를 가져도 되고, 촬상 조명부(121)가 서로 다른 파장 영역의 광선의 촬상 화상을 생성하는 복수의 촬상부(131)를 가져도 된다.

촬상부(131)가 생성하는 촬상 화상은, 피사체인 오브젝트의 실루엣을 추출하기 위해 사용되어도 된다. 환언하건대, 촬상부(131)가 그 오브젝트의 실루엣을 추출하기 위한 촬상 화상을 생성해도 된다. 그러한 촬상 화상을 생성하는 촬상부(131)에 편광자(예를 들어 편광 필터(171))를 마련함으로써, 그 촬상 화상으로부터, 실루엣의 추출을 보다 정확하게 행할 수 있게 된다.

또한, 촬상부(131)가 생성하는 촬상 화상은, 피사체인 오브젝트의 텍스처를 추출하기 위해 사용되어도 된다. 환언하건대, 촬상부(131)가 그 오브젝트의 텍스처를 추출하기 위한 촬상 화상을 생성해도 된다. 그러한 촬상 화상을 생성하는 촬상부(131)에 편광자(예를 들어 편광 필터(171))를 마련함으로써, 그 촬상 화상으로부터, 텍스처의 추출을 보다 정확하게 행할 수 있게 된다.

물론, 촬상부(131)가 생성하는 촬상 화상은, 피사체인 오브젝트의 실루엣 및 텍스처의 양쪽을 추출하기 위해 사용되어도 된다. 환언하건대, 촬상부(131)가 그 오브젝트의 실루엣 및 텍스처를 추출하기 위한 촬상 화상을 생성해도 된다. 또한, 촬상부(131)가, 오브젝트의 실루엣을 추출하기 위한 촬상 화상과, 오브젝트의 텍스처를 추출하기 위한 촬상 화상을 각각 생성해도 된다.

또한, 촬상 조명부(121)가, 오브젝트의 실루엣을 추출하기 위해 사용되는 촬상 화상을 생성하는 촬상부(131)와, 오브젝트의 텍스처를 추출하기 위해 사용되는 촬상 화상을 생성하는 촬상부(131)를 가져도 된다. 그 경우, 편광자(예를 들어 편광 필터(171))는, 오브젝트의 실루엣을 추출하기 위해 사용되는 촬상 화상을 생성하는 촬상부(131)에 마련되도록 해도 되고, 오브젝트의 텍스처를 추출하기 위해 사용되는 촬상 화상을 생성하는 촬상부(131)에 마련되도록 해도 되고, 그 양쪽의 촬상부(131)에 마련되도록 해도 된다.

또한, 편광 필터(171)의 편광 방향(즉, 편광(182)의 진동 방향)은, 미리 정해져 있어도 되고(고정이어도 되고), 가변이어도 된다. 예를 들어 편광 필터(171)의 편광 방향을 제어하는 편광 방향 제어 기구(가동 링 등)를 마련하여, 그 편광 방향 제어 기구에 의해, 편광 필터(171)의 편광 방향이 가변이어도 된다.

또한, 도 5의 B에 도시되는 바와 같이, 촬상부(131)가, 편광 센서(191)에 의해 구성되도록 해도 된다. 편광 센서(191)는, 편광을 광전 변환하여 촬상 화상을 생성하는 이미지 센서이다. 편광 센서(191)는 복수의 화소를 갖고, 각 화소에는 입사광으로부터 편광을 생성하는 편광자가 마련되어 있고, 각 화소에 마련된 수광부는 그 편광자에 의해 생성된 편광을 수광하여, 광전 변환한다. 즉, 편광 센서(191)는, 입사된 비편광(181)을 편광화하여 광전 변환하고, 그 촬상 화상을 생성한다. 또한, 편광 센서(191)의 각 화소에 마련된 편광자의 편광 방향은, 편광 필터(151)의 편광 방향과 다른 방향으로 설계되어 있다. 즉, 편광 센서(191)의 각 화소에 마련된 편광자와, 편광 필터(151)는, 그 편광 방향이 서로 다르다. 그 때문에, 편광(162)의 적어도 일부가 그 편광자에 의해 차단되므로, 광전 변환되는 편광(162)의 광량(촬상 화상에 있어서의 휘도)이 저감된다.

따라서, 편광 필터(171)의 경우와 마찬가지로, 촬상부(131)(편광 센서(191))가 생성하는 촬상 화상에 있어서, 화각 내에 수렴되는 조명부(132)의 부분의 휘도값을 저감시킬 수 있어, 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다. 따라서, 그 촬상 화상으로부터, 실루엣이나 텍스처의 추출을 보다 정확하게 행할 수 있게 되므로, 3D 모델 생성부(102)는, 보다 정확한 3D 모델을 생성할 수 있다(3D 모델의 정확성의 저감을 억제할 수 있다).

또한, 촬상부(131) 및 조명부(132)가 ToF(Tim of Flight) 센서로서 구성되어도 된다. 즉, 조명부(132)가 피사체를 조명하고, 그 반사광을 촬상부(131)가 수광하고, 그 수광 타이밍에 기초하여 피사체까지의 거리를 계측하는 측거 센서로서 구성되어도 된다. 환언하건대, ToF 센서와 같은 광학식의 측거 센서에도, 본 기술을 적용할 수 있다.

<촬상 조명 유닛>

촬상부(131) 및 조명부(132)를 서로 근방의 위치에 배치해도 된다. 또한, 조명부(132)에 의한 광의 조사 방향과, 촬상부(131)의 촬상 방향(예를 들어, 화각 중심의 방향)이 서로 동일하게 되도록, 촬상부(131) 및 조명부(132)를 배치해도 된다. 환언하건대, 각 조명부(132)가, 어느 촬상부(131)의 근방에 위치하고, 또한 편광의 조사 방향이 그 근방의 촬상부(131)의 촬상 방향과 동일하게 되는 자세를 취하도록 해도 된다. 이와 같이 함으로써, 조명부(132)는, 촬상부(131)로부터 보아 피사체인 오브젝트의 정면으로부터 조명할 수 있다. 따라서, 촬상부(131)는, 피사체에 불필요한 음영이 적고, 또한 피사체가 충분한 휘도의 촬상 화상을 생성할 수 있다.

예를 들어, 그들의 서로 근방에 배치된 촬상부(131)와 조명부(132)로 촬상 조명 유닛을 형성하도록 해도 된다. 도 6은, 그 촬상 조명 유닛의 예를 도시하는 도면이다.

도 6의 예에 있어서, 촬상 조명 유닛(210)은, RGB 카메라(211), IR 카메라(212) 및 IR 라이트(213)를 갖는다.

RGB 카메라(211)는, 가시광선을 수광하고, 가시광의 파장 영역의 촬상 화상을 생성하는 촬상부(131)이다. IR 카메라(212)는, 적외광선을 수광하고, 적외광의 파장 영역의 촬상 화상을 생성하는 촬상부(131)이다. IR 라이트(213)는, 적외광선을 조사하는 조명부(132)이다.

예를 들어 옥외나 라이브 회장에서는, 가시광의 광원이 격렬하게 변화할 가능성이 높다. 예를 들어, 라이브 회장에서는, 스포트라이트나 레이저광이 피사체에 조사되는 것이 고려된다. 그러한 환경 하에 있어서, 상술한 바와 같은 촬상 처리 시스템에 의한 촬상을 행하는 경우, 가시광의 파장 영역의 촬상 화상은, 그러한 조명의 영향을 받기 쉬워, 소위 플레어, 고스트, 헐레이션 등과 같은 광학적 현상이 발생하기 쉽다. 그 때문에, 그러한 촬상 화상을 사용하여 피사체의 실루엣을 정확하게 추출하는 것이 곤란하게 될 우려가 있다.

그래서, 촬상 조명 유닛(210)은, IR 카메라(212)를 사용하여, 피사체의 실루엣을 추출하기 위한 촬상 화상으로서, 적외광의 파장 영역의 촬상 화상을 생성한다. 즉, 그 적외광의 파장 영역의 촬상 화상을 사용하여 피사체의 실루엣을 추출하도록 한다. 그리고, 그 IR 카메라(212)에 의한 촬상을 위해(적외광의 파장 영역에 있어서 충분한 휘도를 확보하기 위해), IR 라이트(213)가 적외광선을 사용하여 피사체를 조명한다.

또한, IR 카메라(212) 및 IR 라이트(213)는, 서로 근방의 위치에 서로 동일한 피사체를 향하여 설치되기 때문에, IR 라이트(213)는, IR 카메라(212)로부터 보아 피사체의 정면으로부터 조명할 수 있다. 따라서, IR 카메라(212)는, 피사체에 불필요한 음영이 적고, 또한 피사체가 충분한 휘도의 촬상 화상을 생성할 수 있다. 즉, IR 카메라(212)는, 보다 정확한 실루엣을 추출할 수 있는 촬상 화상을 생성할 수 있다. 환언하건대, IR 카메라(212)가 생성한 촬상 화상을 사용함으로써, 피사체의 실루엣을 보다 정확하게 추출할 수 있다.

또한, IR 카메라(212)는, 도 5의 예와 같이 편광자를 갖는다. 마찬가지로, IR 라이트(213)는, 도 4의 예와 같이 편광자를 갖는다. 그리고, IR 카메라(212)의 편광자의 편광 방향과, IR 라이트(213)의 편광자의 편광 방향이 서로 다르다. 따라서, 상술한 바와 같이, IR 카메라(212)에 의해 생성되는 촬상 화상에 있어서, 그 화각 내에 수렴되는 IR 라이트(213)가 조사하는 적외광에 의한 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다. 따라서, 그 촬상 화상으로부터, 실루엣의 추출을 보다 정확하게 행할 수 있게 되므로, 3D 모델 생성부(102)는, 보다 정확한 3D 모델을 생성할 수 있다(3D 모델의 정확성의 저감을 억제할 수 있다).

RGB 카메라(211)는, 가시광의 파장 영역의 촬상 화상을 생성할 수 있으므로, 피사체의 텍스처를 추출하기 위해 사용되는 촬상 화상을 생성할 수 있다. RGB 카메라(211) 및 IR 카메라(212)는, 서로 근방의 위치에 서로 동일한 피사체를 향하여 설치된다. 즉, RGB 카메라(211) 및 IR 카메라(212)의 화각은, 동일해지거나 또는 근사한다. 따라서, RGB 카메라(211)가 생성한 촬상 화상을 사용하여, IR 카메라(212)에 있어서 생성된 촬상 화상을 사용하여 추출한 피사체의 실루엣에 대응하는 텍스처를 추출할 수 있다.

<배치예>

촬상부(131) 및 조명부(132)의 배치예에 대하여, 촬상 조명 유닛(210)을 단위로 하여 설명한다. 복수의 촬상 조명 유닛(210)(즉 촬상부(131) 및 조명부(132))은, 도 7에 도시되는 바와 같이, 피사체인 오브젝트(231)의 주위에(둘러싸도록) 설치되어도 된다. 예를 들어, 인접하는 촬상 조명 유닛(210)끼리를 연결하는 선을 외측 프레임으로 하는 영역(평면 또는 공간)에 피사체로 되는 오브젝트가 위치하도록, 각 촬상 조명 유닛(210)을 배치해도 된다.

그 경우, 오브젝트(231)와 적어도 어느 1개의 조명부(132)가 각 촬상부(131)의 화각 내에 수렴되는 배치로 해도 된다. 또한 다른 촬상부(131)가 그 화각 내에 수렴되는 배치로 해도 된다.

예를 들어 도 8에 도시되는 바와 같이, 2개의 촬상 조명 유닛(210)(촬상 조명 유닛(210-1) 및 촬상 조명 유닛(210-2))이, 서로 대향하도록 배치되어도 된다. 도 8의 예의 경우, 촬상 조명 유닛(210-1) 및 촬상 조명 유닛(210-2)은, 오브젝트(231)를 통과하는 직선(241) 상의, 서로 오브젝트(231)의 반대측에, 오브젝트(231)를 향하여 설치되어 있다. 즉, 촬상 조명 유닛(210-1) 및 촬상 조명 유닛(210-2)은, 그 촬상 방향 및 조명 방향이 서로 역방향이다.

이와 같이 2개의 촬상 조명 유닛(210)(촬상 조명 유닛(210-1) 및 촬상 조명 유닛(210-2))을 설치함으로써, 오브젝트(231)의 보다 광범위를 촬상할 수 있다(사각을 보다 적게 할 수 있다).

이러한 배치의 경우, IR 카메라(212)의 화각 내에 IR 라이트(213)가 수렴되지만, 상술한 바와 같이, 편광자를 사용하여 IR 라이트(213)로부터의 직접광의 입사를 억제할 수 있으므로, IR 라이트(213)가 조사하는 적외광에 의한 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다. 따라서, IR 카메라(212)가 생성한 촬상 화상을 사용하여 보다 정확하게 오브젝트(231)의 실루엣을 추출할 수 있다.

또한, 설치하는 촬상 조명 유닛(210)의 수는 복수이면 임의이다. 예를 들어, 8개의 촬상 조명 유닛(210)을 설치해도 된다. 이와 같이 다수의 촬상 조명 유닛(210)을 설치하는 경우, 촬상부(131)의 화각 내에 다른 촬상부(131)나 조명부(132)가 복수 수렴되는 경우가 있을 수 있다.

즉, 촬상부(131)의 화각 내에 복수의 조명부(132)가 수렴되도록, 촬상 조명 유닛(210)(촬상부(131) 및 조명부(132))을 설치해도 된다. 그 경우, 그 복수의 조명부(132)의 각각의 편광자의 편광 방향을 서로 동일하게 해도 된다. 그렇게 함으로써, 화각 내에 수렴되는 각 조명부(132)로부터의 촬상부(131)에의 직접광의 입사를 서로 마찬가지로 억제할 수 있다. 즉, 소위 플레어, 고스트, 헐레이션 등의 발생을 보다 억제할 수 있다.

또한, 촬상부(131)의 화각 내에 다른 촬상부(131)가 수렴되도록 촬상 조명 유닛(210)을 설치해도 된다. 또한, 촬상부(131)의 화각 내에 다른 촬상부(131)가 복수 수렴되도록 촬상 조명 유닛(210)을 설치해도 된다.

또한, 복수의 편광 조명 장치(예를 들어 조명부(132))는, 제1 편광 조명 장치와 제2 편광 조명 장치를 포함하고, 복수의 편광 촬상 장치(예를 들어 촬상부(131))는, 오브젝트와 제1 편광 조명 장치가 화각 내로 되는 위치에 있는 제1 편광 촬상 장치와, 오브젝트와 제2 편광 조명 장치가 화각 내로 되는 위치에 있는 제2 편광 촬상 장치를 포함하고, 그 제1 편광 촬상 장치의 편광자의 편광 방향은, 제1 편광 조명 장치의 편광자의 편광 방향과 다르고, 제2 편광 촬상 장치의 편광자의 편광 방향은, 제2 편광 조명 장치의 편광자의 편광 방향과 달라도 된다. 즉, 화각 내에 단수의 조명부(132)가 수렴되는 촬상부(131)가 복수 존재해도 된다.

이러한 경우, 서로 다른 촬상부(131)의 화각 내에 수렴되는 복수의 조명부(132)의 편광자의 편광 방향은, 서로 동일해도 되고, 서로 동일하지 않아도 된다. 즉, 제2 편광 촬상 장치의 편광자의 편광 방향이, 제2 편광 조명 장치의 편광자의 편광 방향과 달라도 된다.

즉, 복수의 조명부(132)의 편광자의 편광 방향은 서로 동일하지 않아도 된다. 마찬가지로, 복수의 촬상부(131)의 편광자의 편광 방향은 서로 동일하지 않아도 된다. 예를 들어, 복수의 촬상부(131) 중 1개의 촬상부(131)의 편광자의 편광 방향과, 그 촬상부(131)의 화각 내에 수렴되는 조명부(132)의 편광자의 편광 방향이 서로 다르면, 본 실시예의 효과가 얻어진다.

예를 들어, 도 9의 A에 도시되는 바와 같이, 복수의 촬상 조명 유닛(210)(촬상부(131) 및 조명부(132))이, 오브젝트(231)를 중심으로 하는 원형으로 배치되어도 된다. 도 9의 A의 예의 경우, 8개의 촬상 조명 유닛(210)이, 오브젝트(231)를 중심으로 하는 원(251) 위에 배치되어 있다. 도 9의 B에 도시되는 바와 같이, 각 촬상 조명 유닛(210)(촬상 조명 유닛(210-1) 내지 촬상 조명 유닛(210-8))은, 오브젝트(231)를 향하여 설치된다. 보다 구체적으로는, 촬상 조명 유닛(210-1)과 촬상 조명 유닛(210-5)이, 오브젝트(231)를 통과하는 직선(252) 상에 대향하도록 배치되어 있다. 촬상 조명 유닛(210-2)과 촬상 조명 유닛(210-6)이, 오브젝트(231)를 통과하는 직선(253) 상에 대향하도록 배치되어 있다. 촬상 조명 유닛(210-3)과 촬상 조명 유닛(210-7)이, 오브젝트(231)를 통과하는 직선(254) 상에 대향하도록 배치되어 있다. 촬상 조명 유닛(210-4)과 촬상 조명 유닛(210-8)이, 오브젝트(231)를 통과하는 직선(255) 상에 대향하도록 배치되어 있다.

이러한 경우에 있어서도, 본 기술을 적용함으로써, 상술한 바와 같이 편광자에 의해 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다.

예를 들어, 도 10에 도시되는 바와 같이, 복수의 촬상 조명 유닛(210)(촬상부(131) 및 조명부(132))이, 오브젝트(231)를 통과하는 수직선(261)을 중심축으로 하는 원주상으로 배치되어도 된다. 이러한 경우에 있어서도, 본 기술을 적용함으로써, 상술한 바와 같이 편광자에 의해 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다.

예를 들어, 도 11에 도시되는 바와 같이, 복수의 촬상 조명 유닛(210)(촬상부(131) 및 조명부(132))이, 오브젝트(231)를 중심으로 하는 구상(또는 반구상)으로 배치되어도 된다. 이러한 경우에 있어서도, 본 기술을 적용함으로써, 상술한 바와 같이 편광자에 의해 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다.

<실루엣의 추출>

예를 들어, 도 12의 A에 도시되는 바와 같이, RGB 카메라(211)가 생성한 촬상 화상(301)에 있어서, 피사체인 오브젝트(311)와 함께, 다른 촬상 조명 유닛(210)의 IR 라이트(213)가 투영되는(화각 내에 수렴되는) 것으로 한다. 이 경우에 있어서, 촬상 화상(301)은 가시광의 파장 영역의 촬상 화상이므로, IR 라이트(213)로부터의 직접광(적외광)에 의한 타원(321)이나 타원(322)으로 나타내는 바와 같은 플레어는 발생하지 않는다.

이에 비해, IR 카메라(212)는, 도 12의 B에 도시되는 바와 같은 적외광의 파장 영역의 촬상 화상(331)을 생성한다. RGB 카메라(211)와 IR 카메라(212)의 화각은 대략 동일하다. 그 때문에, 이 촬상 화상(331)에도 다른 촬상 조명 유닛(210)의 IR 라이트(213)가 투영된다(화각 내에 수렴된다). 그 때문에, 본 기술이 적용되어 있지 않은 경우, 촬상 화상(331)에 있어서는, IR 라이트(213)로부터의 직접광(적외광)에 의한 플레어(타원(321)이나 타원(322))가 발생한다. 그 때문에, 오브젝트(311)의 실루엣을 정확하게 추출하는 것이 곤란하다.

본 기술을 적용함으로써, IR 카메라(212)는, IR 라이트(213)의 편광자의 편광 방향과 다른 편광 방향의 편광자에 의해, IR 라이트(213)로부터의 직접광을 억제하여, 도 12의 C에 도시되는 바와 같은 촬상 화상(331)을 생성할 수 있다. 즉, 소위 플레어, 고스트, 헐레이션 등의 발생을 억제할 수 있다. 따라서, 그 촬상 화상(331)으로부터, 실루엣의 추출을 보다 정확하게 행할 수 있게 되므로, 3D 모델 생성부(102)는, 보다 정확한 3D 모델을 생성할 수 있다(3D 모델의 정확성의 저감을 억제할 수 있다).

<2. 제2 실시 형태>

<캘리브레이션>

촬상부(131) 및 조명부(132)의 편광자의 편광 방향을 교정(조정)할 수 있도록 해도 된다. 상술한 바와 같이, 촬상부(131) 및 조명부(132)의 편광자의 편광 방향의 상대 각도에 따라, 촬상부(131)의 편광자에 의해 억제되는 광량이 변화한다. 즉, 소위 플레어, 고스트, 헐레이션 등의 발생의 억제 정도가 변화한다. 따라서, 예를 들어 촬상부(131)나 조명부(132)가 설치된 위치나 자세 등에 따라, 그 상대 각도가 적절한 각도로 되도록(소위 플레어, 고스트, 헐레이션 등의 발생을 보다 억제할 수 있도록), 각 편광자의 편광 방향을 교정해도 된다.

<데이터 취득부>

도 13은, 그 경우의 데이터 취득부(101)의 주된 구성예를 도시하는 블록도이다. 도 13에 도시되는 바와 같이, 데이터 취득부(101)는, 도 3의 구성에 더하여, 캘리브레이션 처리부(401) 및 표시부(402)를 갖는다.

캘리브레이션 처리부(401)는, 편광 필터의 편광 방향을 교정하는 교정 장치의 일례이며, 촬상부(131)에 의해 생성되는 촬상 화상을 취득하고, 그 촬상 화상에 기초하여, 보다 적합한 편광 방향(소위 플레어, 고스트, 헐레이션 등의 발생을 보다 억제할 수 있는 편광 방향)을 도출한다. 또한, 캘리브레이션 처리부(401)는, 그 도출한 편광 방향을 나타내는 표시 화상을 생성하고, 그 표시 화상을 표시부(402)에 공급한다.

표시부(402)는, 캘리브레이션 처리부(401)로부터 공급되는 표시 화상을 표시한다. 유저는 그 표시부(402)에 표시된 표시 화상을 참조함으로써, 소위 플레어, 고스트, 헐레이션 등의 발생을 보다 억제할 수 있는 편광 방향을 파악한다. 촬상부(131) 및 조명부(132)의 편광자의 편광 방향은 가변이고, 촬상부(131) 및 조명부(132)는, 그 편광자의 편광 방향을 제어하는 편광 방향 제어 기구(가동 링 등)를 갖는다. 유저는, 그 편광 방향 제어 기구를 조작하여, 편광 방향을 원하는 방향으로 교정한다.

<캘리브레이션 처리의 흐름>

이러한 캘리브레이션 처리부(401)에 의해 실행되는 캘리브레이션 처리의 흐름의 예를, 도 14의 흐름도를 참조하여 설명한다.

캘리브레이션 처리가 개시되면, 캘리브레이션 처리부(401)는, 스텝 S201에 있어서, 촬상 화상을 취득한다.

스텝 S202에 있어서, 유저는, 촬상부(131) 및 조명부(132)의 편광자의 편광 방향(편광각)을, 전회와 다른 소정의 방향(각도)으로 설정한다.

스텝 S203에 있어서, 캘리브레이션 처리부(401)는, 취득한 촬상 화상의 휘도값을 산출한다.

스텝 S204에 있어서, 캘리브레이션 처리부(401)는, 편광 방향(편광각)을, 후보로 되는 모든 방향(각도)로 설정하였는지 여부를 판정한다. 즉, 캘리브레이션 처리부(401)는, 후보로 되는 모든 편광 방향(편광각)에서 촬상 화상을 취득하고, 휘도값을 산출하였는지 여부를 판정한다.

미처리의 방향(각도)이 존재한다고 판정된 경우, 처리는 스텝 S202로 되돌아간다. 즉, 새로운 편광 방향(편광각)에서 촬상이 행해지고, 그 촬상 화상의 휘도값이 산출된다. 이상과 같이 하여, 후보로 되는 모든 방향(각도)에 대하여 처리를 행하였다고 판정된 경우, 처리는 스텝 S205로 진행한다.

스텝 S205에 있어서, 캘리브레이션 처리부(401)는, 촬상 화상의 휘도값을 산출한 각 편광 방향(편광각) 중에서, 휘도값이 최소로 되는 편광 방향(편광각)을 결정하고, 그 편광 방향(편광각)을 나타내는 표시 화상을 생성한다. 표시부(402)는, 그 표시 화상을 표시한다.

이에 의해, 유저는, 그 표시에 기초하여, 촬상부(131) 및 조명부(132)의 편광자의 편광 방향을 보다 적절한 방향으로 교정할 수 있다. 따라서, 소위 플레어, 고스트, 헐레이션 등의 발생을 보다 억제할 수 있다.

또한, 촬상부(131) 및 조명부(132)의 편광자의 편광 방향을, 캘리브레이션 처리부(401)가 도출한 편광 방향으로 갱신하는 편광 방향 제어부(액추에이터)를 마련해도 된다.

<3. 응용예>

또한, 카메라 캘리브레이션에 의해 카메라의 기울기를 검출하는 장치를 더 구비하도록 해도 된다. 캘리브레이션된 카메라의 위치는, 어떤 원점에 대하여, 회전과 병진으로 표현된다. 또한, 카메라의 회전을 검출한 경우에, 편광 필터의 각도를 바꾸는 장치를 구비하도록 해도 된다.

또한, 촬상부(131)로서, 도 5의 B의 예와 같이, 편광 센서를 사용하는 경우, 복수의 편향 방향(예를 들어 0°, 90°, 180°, 270°의 4방향 등)을 촬상하는 센서를 사용해도 된다. 예를 들어, 자동 제어되는 광원의 회전 정보를 취득하고, 편광 센서가, 그 개점 정보에 기초하여 최적의 편광 방향의 화소를 선택하고, 그 편광 방향의 편광에 대응하는 촬상 화상을 생성해도 된다.

또한, 카메라 위치에 따라 광원의 편향각을 제어하는 장치를 구비하도록 해도 된다. 예를 들어, 포위의 Volumetric 촬영 환경에, 드론이나 크레인 카메라와 같은 촬상 위치가 변경 가능한 촬상부를 도입하는 경우, 그 움직임에 따라, 대향 위치에 라이트가 들어가 버릴 우려가 있다. 그래서, 카메라의 위치나 회전 정보를 사용하여, 라이트측의 편광 방향(편광각)을 제어해도 된다.

<4. 부기>

<본 기술의 적용예>

본 개시에 관한 기술은, 여러 가지의 제품이나 서비스에 적용할 수 있다.

(1. 콘텐츠의 제작)

예를 들어, 본 실시 형태에서 생성된 피사체의 3D 모델과 다른 서버에서 관리되고 있는 3D 데이터를 합성하여 새로운 영상 콘텐츠를 제작해도 된다. 또한, 예를 들어 라이다(Lidar) 등의 촬상 장치로 취득한 배경 데이터가 존재하는 경우, 본 실시 형태에서 생성된 피사체의 3D 모델과 배경 데이터를 조합함으로써, 피사체가 배경 데이터로 나타내는 장소에 마치 있는 것 같은 콘텐츠를 제작할 수도 있다. 또한, 영상 콘텐츠는 3차원의 영상 콘텐츠여도 되고, 2차원으로 변환된 2차원의 영상 콘텐츠여도 된다. 또한, 본 실시 형태에서 생성된 피사체의 3D 모델은, 예를 들어 3D 모델 생성부에서 생성된 3D 모델이나 렌더링부에서 재구축한 3D 모델 등이 있다.

(2. 가상 공간에서의 체험)

예를 들어, 유저가 아바타로 되어 커뮤니케이션하는 장소인 가상 공간 내에서, 본 실시 형태에서 생성된 피사체(예를 들어, 연기자)를 배치할 수 있다. 이 경우, 유저는, 아바타로 되어 가상 공간에서 실사의 피사체를 시청하는 것이 가능하게 된다.

(3. 원격지와의 커뮤니케이션에 대한 응용)

예를 들어, 3D 모델 생성부(102)에서 생성된 피사체의 3D 모델을 송신부(104)로부터 원격지에 송신함으로써, 원격지에 있는 재생 장치를 통하여 원격지의 유저가 피사체의 3D 모델을 시청할 수 있다. 예를 들어, 이 피사체의 3D 모델을 실시간으로 전송함으로써 피사체와 원격지의 유저가 실시간으로 커뮤니케이션할 수 있다. 예를 들어, 피사체가 선생님이고, 유저가 학생인 경우나, 피사체가 의사이고, 유저가 환자인 경우를 상정할 수 있다.

(4. 기타)

예를 들어, 본 실시 형태에서 생성된 복수의 피사체의 3D 모델에 기초하여 스포츠 등의 자유 시점 영상을 생성할 수도 있고, 개인이 본 실시 형태에서 생성된 3D 모델인 자신을 배신 플랫폼에 배신할 수도 있다. 이와 같이, 본 명세서에 기재된 실시 형태에 있어서의 내용은 여러 가지의 기술이나 서비스에 응용할 수 있다.

<컴퓨터>

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 15는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

도 15에 도시되는 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)를 통하여 서로 접속되어 있다.

버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는, 입력부(911), 출력부(912), 기억부(913), 통신부(914) 및 드라이브(915)가 접속되어 있다.

입력부(911)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등으로 이루어진다. 출력부(912)는, 예를 들어 디스플레이, 스피커, 출력 단자 등으로 이루어진다. 기억부(913)는, 예를 들어 하드 디스크, RAM 디스크, 불휘발성 메모리 등으로 이루어진다. 통신부(914)는, 예를 들어 네트워크 인터페이스로 이루어진다. 드라이브(915)는, 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어 기억부(913)에 기억되어 있는 프로그램을, 입출력 인터페이스(910) 및 버스(904)를 통하여, RAM(903)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절하게 기억된다.

컴퓨터가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(921)를 드라이브(915)에 장착함으로써, 입출력 인터페이스(910)를 통하여, 기억부(913)에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수도 있다. 그 경우, 프로그램은, 통신부(914)에서 수신하여, 기억부(913)에 인스톨할 수 있다.

그 밖에, 이 프로그램은 ROM(902)이나 기억부(913)에 미리 인스톨해 둘 수도 있다.

<본 기술의 적용 대상>

또한, 이상에 있어서는, 본 기술의 적용예로서 정보 처리 시스템 등에 대하여 설명하였지만, 본 기술은 임의의 구성에 적용할 수 있다.

예를 들어, 본 기술은 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신, 및 셀룰러 통신에 의한 단말기로의 배신 등에 있어서의 송신기나 수신기(예를 들어 텔레비전 수상기나 휴대 전화기), 또는 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하거나, 이들 기억 매체로부터 화상을 재생하거나 하는 장치(예를 들어 하드 디스크 레코더나 카메라) 등의, 여러 가지의 전자 기기에 적용될 수 있다.

또한, 예를 들어 본 기술은, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들어 비디오 프로세서), 복수의 프로세서 등을 사용하는 모듈(예를 들어 비디오 모듈), 복수의 모듈 등을 사용하는 유닛(예를 들어 비디오 유닛), 또는 유닛에 추가로 그 밖의 기능을 부가한 세트(예를 들어 비디오 세트) 등, 장치의 일부의 구성으로서 실시할 수도 있다.

또한, 예를 들어, 본 기술은 복수의 장치에 의해 구성되는 네트워크 시스템에도 적용할 수 있다. 예를 들어, 본 기술을, 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅으로서 실시하도록 해도 된다. 예를 들어, 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말기, IoT(Internet of Things) 디바이스 등의 임의의 단말기에 대하여, 화상(동화상)에 관한 서비스를 제공하는 클라우드 서비스에 있어서 본 기술을 실시하도록 해도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 1개의 하우징 내에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두 시스템이다.

<본 기술을 적용 가능한 분야ㆍ용도>

본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들어 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등, 임의의 분야에 이용할 수 있다. 또한, 그 용도도 임의이다.

<기타>

본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변경이 가능하다.

예를 들어, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 1개의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.

또한, 예를 들어, 상술한 프로그램은, 임의의 장치에 있어서 실행되도록 해도 된다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 갖고, 필요한 정보를 얻을 수 있도록 하면 된다.

또한, 예를 들어 1개의 흐름도의 각 스텝을, 1개의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 또한, 1개의 스텝에 복수의 처리가 포함되는 경우, 그 복수의 처리를, 1개의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 환언하건대, 1개의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 1개의 스텝으로서 통합하여 실행할 수도 있다.

또한, 예를 들어 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서에 따라 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 개별적으로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합하여 실행되도록 해도 된다.

또한, 예를 들어 본 기술에 관한 복수의 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들어, 어느 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합하여 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하고 있지 않은 다른 기술과 병용하여 실시할 수도 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 오브젝트를 촬상하여 얻어지는 복수의 촬상 화상을 사용하여, 상기 오브젝트의 3D 모델을 생성하는 촬상 처리 시스템으로서,

편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 상기 편광자를 투과하여 얻어지는 편광을 상기 오브젝트에 조사하는 복수의 편광 조명 장치와,

편광자를 구비하고, 상기 오브젝트와 적어도 1개의 상기 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 상기 편광자를 투과하여 얻어지는 편광을 사용하여 상기 촬상 화상을 생성하는 복수의 편광 촬상 장치

를 구비하고,

상기 편광 촬상 장치의 상기 편광자의 편광 방향은, 상기 편광 조명 장치의 상기 편광자의 편광 방향과 다른

촬상 처리 시스템.

(2) 상기 편광 촬상 장치의 상기 화각 내에는, 복수의 상기 편광 촬상 장치 중, 다른 편광 촬상 장치가 위치하는

(1)에 기재된 촬상 처리 시스템.

(3) 상기 다른 편광 촬상 장치는, 상기 편광 촬상 장치와 대향하는

(2)에 기재된 촬상 처리 시스템.

(4) 상기 편광 조명 장치는, 어느 상기 편광 촬상 장치의 근방에 위치하고, 또한 상기 편광의 조사 방향이 상기 편광 촬상 장치의 촬상 방향과 동일한

(3)에 기재된 촬상 처리 시스템.

(5) 상기 편광 촬상 장치의 상기 화각 내에는, 복수의 상기 편광 조명 장치가 위치하는

(1) 내지 (4) 중 어느 것에 기재된 촬상 처리 시스템.

(6) 복수의 상기 편광 조명 장치는, 제1 편광 조명 장치와 제2 편광 조명 장치를 포함하고,

복수의 상기 편광 촬상 장치는, 상기 오브젝트와 상기 제1 편광 조명 장치가 화각 내로 되는 위치에 있는 제1 편광 촬상 장치와, 상기 오브젝트와 상기 제2 편광 조명 장치가 화각 내로 되는 위치에 있는 제2 편광 촬상 장치를 포함하고,

상기 제1 편광 촬상 장치의 편광자의 편광 방향은, 상기 제1 편광 조명 장치의 편광자의 편광 방향과 다르고,

상기 제2 편광 촬상 장치의 편광자의 편광 방향은, 상기 제2 편광 조명 장치의 편광자의 편광 방향과 다른

(1) 내지 (5) 중 어느 것에 기재된 촬상 처리 시스템.

(7) 상기 제1 편광 조명 장치의 편광자의 편광 방향은, 제2 편광 조명 장치의 편광자의 편광 방향과 다른

(6)에 기재된 촬상 처리 시스템.

(8) 복수의 상기 편광 촬상 장치 및 복수의 상기 편광 조명 장치는, 상기 오브젝트를 둘러싸도록 배치되는

(1) 내지 (7) 중 어느 것에 기재된 촬상 처리 시스템.

(9) 복수의 상기 편광 촬상 장치 및 복수의 상기 편광 조명 장치는, 상기 오브젝트를 중심으로 하는 원형으로 배치되는

(8)에 기재된 촬상 처리 시스템.

(10) 복수의 상기 편광 촬상 장치 및 복수의 상기 편광 조명 장치는, 상기 오브젝트의 위치를 통과하는 수직선을 중심축으로 하는 원주상으로 배치되는

(8)에 기재된 촬상 처리 시스템.

(11) 복수의 상기 편광 촬상 장치 및 복수의 상기 편광 조명 장치는, 상기 오브젝트를 중심으로 하는 구상으로 배치되는

(8)에 기재된 촬상 처리 시스템.

(12) 상기 편광 촬상 장치는, 상기 오브젝트의 실루엣을 추출하기 위한 촬상 화상을 생성하는

(1) 내지 (11) 중 어느 것에 기재된 촬상 처리 시스템.

(13) 상기 오브젝트를 촬상하고, 상기 오브젝트의 텍스처를 추출하기 위한 촬상 화상을 생성하는 촬상 장치를 더 구비하는

(1) 내지 (12) 중 어느 것에 기재된 촬상 처리 시스템.

(14) 상기 편광 조명 장치는, 가시광의 상기 편광을 조사하고,

상기 편광 촬상 장치는, 가시광의 상기 편광을 사용하여 상기 촬상 화상을 생성하는

(1) 내지 (13) 중 어느 것에 기재된 촬상 처리 시스템.

(15) 상기 편광 조명 장치는, 비가시광의 상기 편광을 조사하고,

상기 편광 촬상 장치는, 비가시광의 상기 편광을 사용하여 상기 촬상 화상을 생성하는

(1) 내지 (13) 중 어느 것에 기재된 촬상 처리 시스템.

(16) 상기 편광자는 편광 필터인

(1) 내지 (15) 중 어느 것에 기재된 촬상 처리 시스템.

(17) 상기 편광 필터의 편광 방향은 가변이고,

상기 편광 촬상 장치는, 상기 편광 필터의 편광 방향을 제어하는 편광 방향 제어 기구를 더 구비하는

(16)에 기재된 촬상 처리 시스템.

(18) 상기 편광 필터의 편광 방향을 교정하는 교정 장치를 더 구비하는

(17)에 기재된 촬상 처리 시스템.

(19) 서로 다른 위치에 있어서, 화각 내의 편광 조명 장치로부터 조사되는 편광과 다른 편광 방향의 편광을 사용하여 오브젝트의 촬상 화상을 생성하고,

서로 다른 위치에 있어서 얻어진 복수의 상기 촬상 화상을 사용하여 상기 오브젝트의 3D 모델을 생성하는

3D 모델 생성 방법.

(20) 편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 상기 편광자를 투과하여 얻어지는 편광을 오브젝트에 조사하는 복수의 편광 조명 장치와,

편광자를 구비하고, 상기 오브젝트와 적어도 1개의 상기 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 상기 편광자를 투과하여 얻어지는 편광을 사용하여 상기 오브젝트의 촬상 화상을 생성하는 복수의 편광 촬상 장치

를 구비하고,

상기 편광 촬상 장치의 상기 편광자의 편광 방향은, 상기 편광 조명 장치의 상기 편광자의 편광 방향과 다른

촬상 처리 시스템.

100: 정보 처리 시스템
101: 데이터 취득부
102: 3D 모델 생성부
103: 포맷화부
104: 송신부
105: 수신부
106: 렌더링부
107: 표시부
121: 촬상 조명부
122: 송신부
131: 촬상부
132: 조명부
151: 편광 필터
152: 발광부
171: 편광 필터
172: 이미지 센서
191: 편광 센서
210: 촬상 조명 유닛
211: RGB 카메라
212: IR 카메라
213: IR 라이트
231: 오브젝트
401: 캘리브레이션 처리부
402: 표시부

Claims (20)

1. 오브젝트를 촬상하여 얻어지는 복수의 촬상 화상을 사용하여, 상기 오브젝트의 3D 모델을 생성하는 촬상 처리 시스템으로서,
   편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 상기 편광자를 투과하여 얻어지는 편광을 상기 오브젝트에 조사하는 복수의 편광 조명 장치와,
   편광자를 구비하고, 상기 오브젝트와 적어도 1개의 상기 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 상기 편광자를 투과하여 얻어지는 편광을 사용하여 상기 촬상 화상을 생성하는 복수의 편광 촬상 장치
   를 구비하고,
   상기 편광 촬상 장치의 상기 편광자의 편광 방향은, 상기 편광 조명 장치의 상기 편광자의 편광 방향과 다른,
   촬상 처리 시스템.
2. 제1항에 있어서, 상기 편광 촬상 장치의 상기 화각 내에는, 복수의 상기 편광 촬상 장치 중, 다른 편광 촬상 장치가 위치하는,
   촬상 처리 시스템.
3. 제2항에 있어서, 상기 다른 편광 촬상 장치는, 상기 편광 촬상 장치와 대향하는,
   촬상 처리 시스템.
4. 제3항에 있어서, 상기 편광 조명 장치는, 어느 상기 편광 촬상 장치의 근방에 위치하고, 또한 상기 편광의 조사 방향이 상기 편광 촬상 장치의 촬상 방향과 동일한,
   촬상 처리 시스템.
5. 제1항에 있어서, 상기 편광 촬상 장치의 상기 화각 내에는, 복수의 상기 편광 조명 장치가 위치하는,
   촬상 처리 시스템.
6. 제1항에 있어서, 복수의 상기 편광 조명 장치는, 제1 편광 조명 장치와 제2 편광 조명 장치를 포함하고,
   복수의 상기 편광 촬상 장치는, 상기 오브젝트와 상기 제1 편광 조명 장치가 화각 내로 되는 위치에 있는 제1 편광 촬상 장치와, 상기 오브젝트와 상기 제2 편광 조명 장치가 화각 내로 되는 위치에 있는 제2 편광 촬상 장치를 포함하고,
   상기 제1 편광 촬상 장치의 편광자의 편광 방향은, 상기 제1 편광 조명 장치의 편광자의 편광 방향과 다르고,
   상기 제2 편광 촬상 장치의 편광자의 편광 방향은, 상기 제2 편광 조명 장치의 편광자의 편광 방향과 다른,
   촬상 처리 시스템.
7. 제6항에 있어서, 상기 제1 편광 조명 장치의 편광자의 편광 방향은, 제2 편광 조명 장치의 편광자의 편광 방향과 다른,
   촬상 처리 시스템.
8. 제1항에 있어서, 복수의 상기 편광 촬상 장치 및 복수의 상기 편광 조명 장치는, 상기 오브젝트를 둘러싸도록 배치되는,
   촬상 처리 시스템.
9. 제8항에 있어서, 복수의 상기 편광 촬상 장치 및 복수의 상기 편광 조명 장치는, 상기 오브젝트를 중심으로 하는 원형으로 배치되는,
   촬상 처리 시스템.
10. 제8항에 있어서, 복수의 상기 편광 촬상 장치 및 복수의 상기 편광 조명 장치는, 상기 오브젝트의 위치를 통과하는 수직선을 중심축으로 하는 원주상으로 배치되는,
    촬상 처리 시스템.
11. 제8항에 있어서, 복수의 상기 편광 촬상 장치 및 복수의 상기 편광 조명 장치는, 상기 오브젝트를 중심으로 하는 구상으로 배치되는,
    촬상 처리 시스템.
12. 제1항에 있어서, 상기 편광 촬상 장치는, 상기 오브젝트의 실루엣을 추출하기 위한 촬상 화상을 생성하는,
    촬상 처리 시스템.
13. 제1항에 있어서, 상기 오브젝트를 촬상하고, 상기 오브젝트의 텍스처를 추출하기 위한 촬상 화상을 생성하는 촬상 장치를 더 구비하는,
    촬상 처리 시스템.
14. 제1항에 있어서, 상기 편광 조명 장치는, 가시광의 상기 편광을 조사하고,
    상기 편광 촬상 장치는, 가시광의 상기 편광을 사용하여 상기 촬상 화상을 생성하는,
    촬상 처리 시스템.
15. 제1항에 있어서, 상기 편광 조명 장치는, 비가시광의 상기 편광을 조사하고,
    상기 편광 촬상 장치는, 비가시광의 상기 편광을 사용하여 상기 촬상 화상을 생성하는,
    촬상 처리 시스템.
16. 제1항에 있어서, 상기 편광자는 편광 필터인,
    촬상 처리 시스템.
17. 제16항에 있어서, 상기 편광 필터의 편광 방향은 가변이고,
    상기 편광 촬상 장치는, 상기 편광 필터의 편광 방향을 제어하는 편광 방향 제어 기구를 더 구비하는,
    촬상 처리 시스템.
18. 제17항에 있어서, 상기 편광 필터의 편광 방향을 교정하는 교정 장치를 더 구비하는,
    촬상 처리 시스템.
19. 서로 다른 위치에 있어서, 화각 내의 편광 조명 장치로부터 조사되는 편광과 다른 편광 방향의 편광을 사용하여 오브젝트의 촬상 화상을 생성하고,
    서로 다른 위치에 있어서 얻어진 복수의 상기 촬상 화상을 사용하여 상기 오브젝트의 3D 모델을 생성하는,
    3D 모델 생성 방법.
20. 편광자를 구비하고, 서로 다른 위치로부터, 발광부로부터 출사된 광이 상기 편광자를 투과하여 얻어지는 편광을 오브젝트에 조사하는 복수의 편광 조명 장치와,
    편광자를 구비하고, 상기 오브젝트와 적어도 1개의 상기 편광 조명 장치가 화각 내로 되는 서로 다른 위치에 있어서, 외부로부터의 광이 상기 편광자를 투과하여 얻어지는 편광을 사용하여 상기 오브젝트의 촬상 화상을 생성하는 복수의 편광 촬상 장치
    를 구비하고,
    상기 편광 촬상 장치의 상기 편광자의 편광 방향은, 상기 편광 조명 장치의 상기 편광자의 편광 방향과 다른,
    촬상 처리 시스템.

Images