KR20200014280A - 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램 - Google Patents

Abstract

실시간으로의 입력 화상에 기초한 3D 화상 생성을 가능하게 한 장치, 방법을 제공한다. 입력 화상의 각 화상 프레임에 대한 가공 처리를 실행하여 3차원 화상을 생성한다. 입력 화상의 피사체의 속성 정보와 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상을 생성한다. 템플릿 데이터베이스는, 인물의 얼굴의 구성 요소 단위의 머티리얼이 기록되어 있으며, 화상 처리부는, 얼굴의 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 템플릿 데이터베이스로부터 취득하여, 얼굴의 구성 요소 단위로의 머티리얼 설정을 실행한다.

Description

화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램

본 개시는, 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램에 관한 것이다. 더욱 상세하게는, 3차원(3D) 화상의 렌더링을 실행하는 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램에 관한 것이다.

근년, 컴퓨터 그래픽스(CG: Computer Graphics) 기술을 사용한 3차원(3D) 화상 생성 기술이, 영화나 게임 등 여러 분야에서 이용되고 있다.

예를 들어, 특허문헌 1(일본 특허 공개 제2012-185624호 공보)에는, 낮은 계산 비용으로 고품질의 인물의 얼굴을 묘화하는 3차원 얼굴 모델 데이터 생성 장치가 개시되어 있다.

이 특허문헌 1에는, 얼굴의 표정 데이터를 취득한 후에 인물의 얼굴의 부분만을 잘라내어, 표정에 따라 변형시킨 얼굴 형상 대응의 텍스처를 첩부하는 처리를 행함으로써, 고품질로 위화감이 없는 3차원 얼굴 화상을 생성하여 표시하는 장치가 개시되어 있다.

또한, 특허문헌 2(일본 특허 공개 제2010-113548호 공보)에는, 텍스처 매핑 방법을 채용한 폴리곤 3차원 그래픽 묘화 장치가 기재되어 있다.

물체의 반사에 관한 계수를 텍스처 데이터에 갖게 함으로써, 하나의 폴리곤 내에 있어서 복수의 상이한 반사를 표현하는 것을 가능하게 하여, 보다 적은 모델 데이터로 더욱 고도의 물체의 질감 표현을 가능하게 하는 장치를 개시하고 있다.

일본 특허 공개 제2012-185624호 공보 일본 특허 공개 제2010-113548호 공보

그러나, 특허문헌 1에 기재된 기술은, 인물 영상으로부터 잘라낸 얼굴 텍스처를 얼굴 모델에 첩부하여 렌더링하는 처리에 대해서 기재하고 있지만, 예를 들어, 특성이 상이한 부위별로 반사 특성을 변경시키거나 하는 고려가 되어 있지 않기 때문에, 촬영 시의 조명 환경과 상이한 조건 하에서 표시한 경우에는, 부자연스러운 3D 화상으로 되는 경우가 있다.

한편, 특허문헌 2에 기재된 기술은, 텍스처 데이터에 반사 계수 등의 물체의 재질을 나타내는 머티리얼 파라미터를 유지시켜, 그것들을 활용한 렌더링을 행함으로써, 섬세한 질감 표현을 실현하고 있다.

그러나, 이 특허문헌 2에 기재된 구성은, 미리 텍스처 데이터에 하나의 머티리얼 파라미터를 대응지어서 기록하는 구성이며, 그 때문에, 각 텍스처에 대해서 일의의 질감밖에 표현할 수 없다는 문제가 있다. 구체적으로는, 예를 들어 광원 방향에 따른 최적의 질감 표현을 할 수 없다는 문제가 있다.

본 개시는, 예를 들어 상술한 문제점을 감안하여 이루어진 것이며, 보다 자연스러운 리얼리티가 있는 3차원(3D) 화상의 표시 처리를 실현하는 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램을 제공하는 것이다.

본 개시의 일 실시예는, 표시 대상으로 되는 인물의 촬영 화상을 입력하고, 그 입력 촬영 화상(텍스처)으로부터, 인물의 성별이나 연령 등의 속성을 분석하고, 또한 얼굴 기관, 피부 영역, 몸 부위, 머리카락, 의복 등의 특징량 검출을 행한다. 또한, 사전에 준비된 템플릿 데이터베이스로부터 피사체에 적합한 머티리얼 설정용의 텍스처 맵과, 머티리얼의 적용 범위를 지정하는 마스크 화상을 자동 생성함으로써, 임의의 인물 3D 화상 모델 데이터에 대해서, 적절한 머티리얼을 실시간으로 자동 설정하여, 리얼리티가 있는 렌더링을 실현하는 것을 가능하게 하고 있다.

또한, 본 개시의 일 실시예는, 인물의 3차원(3D) 화상의 표시 처리에 있어서, 사전에 유저로부터 어떠한 CG 효과를 부여하고 싶은지의 커스터마이즈 정보를 취득하고, 입력된 텍스처(촬영 화상)로부터, 얼굴 기관, 피부 영역, 몸 부위, 머리카락, 의복 등의 특징량 검출을 행한다. 그 후, 유저 선택과 관련된 템플릿 데이터베이스로부터 머티리얼 설정용의 텍스처 맵과, 머티리얼의 적용 범위를 지정하는 마스크 화상을 자동 생성함으로써, 임의의 인물 3D 화상 모델 데이터에 대해서, 적절한 머티리얼을 실시간으로 자동 설정하여, 유저가 좋아하는 렌더링을 실현하는 것을 가능하게 하고 있다.

본 개시의 제1 측면은,

입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,

상기 화상 처리부는,

상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행하는 화상 처리 장치에 있다.

또한, 본 개시의 제2 측면은,

화상을 송신하는 송신 장치와,

상기 송신 장치로부터의 입력 화상에 대한 가공 처리를 실행하고, 3차원 화상을 생성하여 표시부에 표시하는 수신 장치를 갖고,

상기 수신 장치의 화상 처리부는,

상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 상기 3차원 화상의 생성 처리를 실행하는 화상 처리 시스템에 있다.

또한, 본 개시의 제3 측면은,

화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,

상기 화상 처리 장치는,

입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,

상기 화상 처리부가,

상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행하는 화상 처리 방법에 있다.

또한, 본 개시의 제4 측면은,

화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,

상기 화상 처리 장치는,

입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,

상기 프로그램은, 상기 화상 처리부에,

상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행시키는 프로그램에 있다.

또한, 본 개시의 프로그램은, 예를 들어 여러 가지 프로그램·코드를 실행 가능한 화상 처리 장치나 컴퓨터·시스템에 대해서, 컴퓨터 가독의 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이와 같은 프로그램을 컴퓨터 가독의 형식으로 제공함으로써, 화상 처리 장치나 컴퓨터·시스템상에서 프로그램에 따른 처리가 실현된다.

본 개시의 또 다른 목적, 특징이나 이점은, 후술하는 본 개시의 실시예나 첨부하는 도면에 기초한 보다 상세한 설명에 의해 명백해질 것이다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것으로 한정되지 않는다.

본 개시의 일 실시예의 구성에 의하면, 실시간으로의 입력 화상에 기초한 3D 화상 생성을 가능하게 한 장치, 방법이 실현된다.

구체적으로는, 예를 들어 입력 화상의 각 화상 프레임에 대한 가공 처리를 실행하여 3차원 화상을 생성한다. 입력 화상의 피사체의 속성 정보와 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상을 생성한다. 템플릿 데이터베이스는, 인물의 얼굴의 구성 요소 단위의 머티리얼이 기록되어 있으며, 화상 처리부는, 얼굴의 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 템플릿 데이터베이스로부터 취득하여, 얼굴의 구성 요소 단위로의 머티리얼 설정을 실행한다.

본 구성에 의해, 실시간으로의 입력 화상에 기초한 3D 화상 생성을 가능하게 한 장치, 방법이 실현된다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 또한 부가적인 효과가 있어도 된다.

도 1은 3D 화상의 렌더링 처리와 머티리얼에 대해서 설명하는 도면이다.
도 2는 텍스처 맵에 대해서 설명하는 도면이다.
도 3은 본 개시의 화상 처리 시스템의 구성예와 처리예에 대해서 설명하는 도면이다.
도 4는 본 개시의 화상 처리 시스템의 구성예와 처리예에 대해서 설명하는 도면이다.
도 5는 본 개시의 화상 처리 시스템의 구성예와 처리예에 대해서 설명하는 도면이다.
도 6은 화상 처리 장치의 구성예에 대해서 설명하는 도면이다.
도 7은 기억부에 저장되는 데이터와 템플릿 데이터베이스의 예에 대해서 설명하는 도면이다.
도 8은 기억부에 저장되는 데이터와 템플릿 데이터베이스의 예에 대해서 설명하는 도면이다.
도 9는 본 개시의 화상 처리 장치가 실행하는 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 10은 특징점에 대해서 설명하는 도면이다.
도 11은 마스크 화상의 예에 대해서 설명하는 도면이다.
도 12는 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.
도 13은 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.
도 14는 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.
도 15는 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.
도 16은 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.
도 17은 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.
도 18은 기억부에 저장되는 데이터와 템플릿 데이터베이스의 예에 대해서 설명하는 도면이다.
도 19는 기억부에 저장되는 데이터와 템플릿 데이터베이스의 예에 대해서 설명하는 도면이다.
도 20은 본 개시의 화상 처리 장치가 실행하는 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 21은 화상 처리 장치의 하드웨어 구성예에 대해서 설명하는 도면이다.

이하, 도면을 참조하면서 본 개시의 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램의 상세에 대해서 설명한다. 또한, 설명은 이하의 항목에 따라서 행한다.

1. 컴퓨터 그래픽스(CG) 처리의 개요에 대해서

2. 화상 처리 시스템의 구성예에 대해서

3. 화상 처리 장치의 구성예에 대해서

4. 화상 처리 장치가 실행하는 처리에 대해서

5. 유저 입력 정보에 기초한 커스터마이즈를 행한 3D 화상을 생성하는 처리예에 대해서

6. 화상 처리 장치의 하드웨어 구성예에 대해서

7. 본 개시의 구성의 정리

[1. 컴퓨터 그래픽스(CG) 처리의 개요에 대해서]

먼저, 컴퓨터 그래픽스(CG: Computer Graphics) 처리의 개요에 대해서 설명한다.

전술한 바와 같이, 근년, 컴퓨터 그래픽스(CG: Computer Graphics) 기술을 사용한 3차원(3D) 화상 생성 기술이, 영화나 게임 등 여러 분야에서 이용되고 있다.

3차원 화상의 묘화 처리로서 행해지는 렌더링은, 3차원 모델의 분할 영역인 「메시」에 대한 「머티리얼」의 설정 처리에 의해 행해진다.

메시는, 3차원 모델의 미세한 분할 영역인 삼각형이나 사각형 등의 다각형 영역이다.

이 메시에 머티리얼을 설정함으로써, 3차원 화상의 묘화 처리, 렌더링이 행해진다.

「머티리얼」은, 일반적으로는, 물체의 소재, 재질이지만, 3차원 화상 묘화 처리로서 행해지는 컴퓨터 그래픽스(CG)에 있어서는, 물체의 특성으로서의 광학적 특성, 재질감의 정의 정보이며, 오브젝트에 설정하는 재질의 의미를 갖는다.

예를 들어, 인물을 렌더링하는 경우, 렌더링 대상으로 되는 요소에는, 사람의 피부, 안구, 입, 머리카락, 의복 등이 있다. 이들 각 요소는, 특성이 상이한 부위마다 복수의 메시로 분할되어, 각 메시에 최적의 머티리얼을 설정, 즉 최적의 광학적 특성, 재질감을 설정함으로써, 리얼리티가 있는 3차원 모델 데이터를 생성할 수 있다.

또한, 후단에 설명하는 본 개시의 화상 처리 장치는, 예를 들어 네트워크를 통해 수신하는 피사체, 예를 들어 인물을 촬영한 영상에 기초하여 CG 가공한 3D 화상을 생성하여 표시한다.

이 경우, 인물의 촬영 영상은, 매 프레임마다 촬영 화상과 메시가 갱신된다.

이 프레임 단위로 갱신되는 데이터에 대해서, 피부, 안구, 입술, 머리카락, 의복 등의 부위에 적절한 머티리얼을 설정하는 처리를 행하여 실시간으로의 3D 화상의 생성, 표시를 행한다.

예를 들어, 움직이는 인물에 대한 메시 설정 처리로서, 통계적 인체 형상 모델인 SCAPE(Shape Completion and Animation of People) 모델을 피사체 화상에 피팅시켜서 메시 작성을 행하는 방법이 알려져 있다. 이 메시 작성 방식에서는, 얼굴 기관의 위치 등은 베이스 모델로부터 취득되며, 베이스 모델에 대응한 3D 화상이 생성된다.

그러나, 얻어지는 정보가 스크린 스페이스의 화상인 촬영 화상(텍스처 화상)과 메시만인 경우는, 프레임마다 여러 가지 머티리얼을 적용시킬 위치를 추정할 필요가 있다. 본 개시의 처리에서는, 스크린 스페이스의 촬영 화상으로부터 얼굴 기관 검출, 특징점 검출, 시멘틱 세그먼테이션 등을 실행하여, 설정하는 각 머티리얼 단위의 마스크 화상을 생성하고, 머티리얼의 적용 범위를 결정하고 나서 머티리얼의 설정 처리를 실행한다.

이 본 개시의 구체적 처리에 대해서는 후단에서 상세하게 설명한다.

상술한 바와 같이, 「머티리얼」은, 물체의 특성으로서의 광학적 특성, 재질감의 정의 정보이다.

「머티리얼」은, 3차원 모델의 각 메시를 구성하는 오브젝트(물체)에 설정하는 재질에 상당한다. 예를 들어,

3차원 모델이, 금속, 목재, 사람의 피부, 머리카락 등의 상이한 물질로 구성되어 있는 경우, 메시는, 이들 물질 단위로 구분할 필요가 있으며, 각 물질 내의 메시에는, 그 물질의 재질에 일치하는 「머티리얼」을 설정할 필요가 있다.

도 1에 나타내는 바와 같이, 「머티리얼」의 요소로서, 「텍스처」와, 「셰이더」가 있다.

「텍스처」는, 메시에 첩부하는 화상이며,

「셰이더」는, 물체에 빛을 쏘였을 때 물체 표면 상에 생기는 명암, 즉 반사광의 강도를 계산하는 알고리즘이며, 설정하는 광원이나 머티리얼에 기초하여, 메시 내의 화소(픽셀)마다의 묘화색을 계산하는 알고리즘이다.

기본적인 셰이더로서, 람베르트 셰이더, 펑 셰이더, 블린 셰이더 등이 있다.

또한, 인물 표현을 대상으로 한 셰이더에, 피부 셰이더, 머리카락 셰이더, 안구 셰이더 등이 있다.

3차원 모델의 구성 요소로 되는 메시에 대해서, 그 메시의 실제 재질에 가까운 머티리얼, 구체적으로는, 텍스처나 셰이더를 설정함으로써, 리얼리티가 있는 3차원 모델 데이터를 생성할 수 있다.

텍스처는, 각각이 상이한 효과를 갖는 복수의 텍스처 맵을 합성하여 생성하는 것이 가능한 화상 데이터이다.

도 2에, 나타내는 바와 같이, 텍스처 맵에는, 예를 들어 이하의 종류가 있다.

(1) 베이스 컬러 맵(Base color map)

(2) 샤이니니스 맵(Shininess map)

(3) 노멀 맵(Normal map)

(4) 캐비티 맵(Cavity map)

(5) 메탈릭 맵(Metallic map)

각 텍스처 맵의 효과, 표현에 대해서, 도 2를 참조하여 설명한다.

(1) 베이스 컬러 맵(Base color map)은, 기초(무늬)로 되는 색정보이다.

(2) 샤이니니스 맵(Shininess map)은, 물질의 매끄러움을 제어하는 텍스처 맵이며, 휘도가 높은 개소일수록 스페큘러(경면 반사)가 날카로워진다. 흑색(0, 0)이 완전 확산 반사이며, 백색(1, 0)이 완전 경면 반사이다.

구체적으로는, 광택도이며, 예를 들어 얼굴의 부위마다의 광택의 차를 표현할 수 있다.

(3) 노멀 맵(Normal map)은, 미세 요철을 표현하는 텍스처 맵이며, 주름, 점 등 얼굴의 미세한 요철을 표현할 수 있다.

(4) 캐비티 맵(Cavity map)은, 스페큘러(경면 반사)의 강도를 억제하고 싶을 때 사용한다. 예를 들어, 모공이나 기미 등 미소한 그늘을 생성할 수 있다.

(5) 메탈릭 맵(Metallic map)은, 금속 정도의 제어를 행하는 경우에 이용되는 텍스처 맵이며, 흑색(0, 0)이 비금속, 백색(1, 0)이 금속에 상당한다. 예를 들어, 금구 부분에 적용하면 금속의 질감을 표현할 수 있다.

이와 같이, 텍스처는, 각각이 상이한 효과를 갖는 복수의 텍스처 맵을 합성하여 생성하는 것이 가능한 화상 데이터이다.

도 1, 도 2를 참조하여 설명한 바와 같이, 3차원 화상을 묘화(렌더링)하는 경우, 예를 들어 폴리곤 등의 삼각형이나 사각형 등의 다각형 영역으로 구성되는 메시 단위로 최적의 머티리얼을 설정할 필요가 있다.

「머티리얼」의 요소로서, 「텍스처」와, 「셰이더」가 있고, 이들 「텍스처」와, 「셰이더」를, 3차원 모델의 구성 요소 단위의 재질, 또한 광원 방향 등을 고려하여 결정함으로써, 현실감이 있는 3차원 화상의 묘화 처리(렌더링)를 행할 수 있다.

예를 들어, 3차원 화상으로서 사람의 얼굴의 피부의 묘화(렌더링)를 행하는 경우, 얼굴의 피부 영역에 대응하는 메시 영역에, 사람의 피부 특성에 따른 최적의 머티리얼을 설정한다.

일반적으로는, 이 렌더링 처리에 있어서, 어느 텍스처 맵을 사용하고, 어떠한 CG 효과를 부여할지는, 디자이너가 사전에 여러 검토를 행하여 렌더링을 행한다.

최근의 렌더링 엔진의 다수가 물리 베이스(PBR)이므로, 각 머티리얼의 설정은 정량적으로 올바른 값을 설정하는 것이 가능하여, 많은 3차원 모델을 보다 현실에 가까운 질감으로 재현할 수 있다. 특히, 금속계의 표현은, 진짜와 비교해도 전혀 손색이 없다.

그러나, 인물 표현으로 되면, 피부의 반사율 하나에 있어서도 부위에 따라 변화하여, 올바른 값을 취득하여 설정하는 것은 매우 곤란하다. 또한, PBR의 이념으로부터는 벗어나지만, 올바른 값을 설정하는 것만으로는, 미관으로서 자연스러운 표현을 재현할 수 없는 케이스도 존재하기 때문에, 이들 머티리얼 설정의 고안이, 3D 표현의 품질을 크게 좌우하게 된다.

렌더링 처리에 시간을 들여, 여러 가지 텍스처, 셰이더를 갖는 여러 가지 머티리얼을 설정해 본다는 시행 착오를 반복하면, 보다 현실에 가까운 3차원 모델 화상의 묘화를 행할 수는 있다.

그러나, 예를 들어 네트워크를 통해 수신하는 영상에 대해서, 실시간으로 컴퓨터 그래픽(CG) 효과를 부여한 3차원 화상 모델을 묘화하고자 하면, 각 메시에 설정하는 머티리얼의 설정을 극히 단시간에 실행할 필요가 있어, 충분한 검토를 행할 수 없다. 이 결과, 머티리얼 설정이 부적절해져, 부자연스러운 3D 화상이 되어 버리는 경우가 많다.

본 개시의 처리는, 이와 같은 문제를 해결하는 것이다.

즉, 예를 들어 네트워크를 통해 수신하는 영상에 대해서, 실시간으로 컴퓨터 그래픽(CG) 효과를 부여한 3차원 화상 모델을 묘화하는 경우에, 리얼리티가 높은 현실감이 있는 자연스러운 화상을 생성하는 것을 가능하게 하는 것이다.

또한, 예를 들어 자신의 얼굴에 기초한 3차원 화상을 표시부에 표시하고, 이 표시 화상에 대해서 컴퓨터 그래픽(CG) 효과를 실시하는 버추얼 메이크업(Virtual Makeup)을 가능하게 하는 것이다.

이하, 본 개시의 구성에 대해서 설명한다.

[2. 화상 처리 시스템의 구성예에 대해서]

다음으로, 본 개시의 화상 처리 시스템의 구성예에 대해서 설명한다.

또한, 이하에 있어서는, 시스템 구성예로서, 이하의 두 예에 대해서 설명한다.

(a) 송신 장치측에서 촬영 화상에 기초한 3D 모델을 생성하여 수신 장치에 송신하고, 수신 장치측에서 3D 모델을 적용하여 표시용의 3D 화상을 생성하여 표시하는 시스템 구성

(b) 송신 장치로부터 촬영 화상과 뎁스 데이터를 수신 장치에 송신하고, 수신 장치측에서 3D 모델을 생성하고, 생성한 3D 모델을 적용하여 표시용의 3D 화상을 생성하여 표시하는 시스템 구성

먼저, 도 3을 참조하여,

(a) 송신 장치측에서 촬영 화상에 기초한 3D 모델을 생성하여 수신 장치에 송신하고, 수신 장치측에서 3D 모델을 적용하여 표시용의 3D 화상을 생성하여 표시하는 시스템 구성에 대해서 설명한다.

도 3에 나타내는 화상 처리 시스템은, 송신 장치(110)측에서, 복수의 카메라(멀티 카메라)로 화상을 촬영하고, 뎁스 데이터(거리 정보)를 생성하고, 촬영 화상과 뎁스 데이터를 이용하여, 촬영 프레임마다 3D 모델링 처리를 실행하여 텍스처가 구비된 3D 모델을 생성하는 구성이다.

송신 장치(110)는, 생성한 프레임별 3D 모델을 수신 장치(120)에 송신한다.

수신 장치(120)는, 수신한 3D 모델을 이용하여 표시용의 3D 화상을 생성하여 표시한다.

도 3에 나타내는 화상 처리 시스템의 구성과 처리에 대해서 설명한다.

도 3에 나타내는 화상 처리 시스템은, 송신 장치(110)와, 수신 장치(120)를 갖는다.

송신 장치(110)는 촬영한 피사체 화상으로부터 3D 모델을 생성하고, 네트워크(30)를 통해 수신 장치(120)에 송신한다.

수신 장치(120)는, 송신 장치(110)로부터 수신하는 피사체 화상에 대해서, 컴퓨터 그래픽스(CG) 처리를 실시한 3차원(3D) 화상을 생성하여 표시부(124)에 3D 화상(30)을 표시한다.

송신 장치(110)에 있어서는, 카메라를 갖는 화상 취득부(111)가, 피사체(10)의 입력 영상을 촬영한다.

화상 취득부(111)는 복수의 카메라(RGB, 뎁스)로 구성되고, 피사체(10)를 여러 가지 각도로부터 촬영한 RGB 화상, 뎁스 화상을 취득한다.

즉, 피사체(10)의 3차원 화상을 생성하기 위해서 필요로 되는 여러 가지 각도로부터 화상을 촬영한다.

화상 취득부(111)의 촬영 화상은, 3차원 모델 정보 생성부(113), 송신 정보 생성부(114)에 입력된다.

3차원 모델 정보 생성부(113)는, 피사체(10)의 촬영 화상에 기초하여, 피사체의 3차원 모델 정보를 생성한다.

3차원 모델 정보 생성부(113)가 생성하는 3차원 모델 정보에는, 도 3 중에 송신 데이터(130)로서 나타내는 데이터 중의, 메시 데이터(131), 텍스처 정보(132), UV 맵(133)이 포함된다.

메시 데이터(131)는, 앞서 설명한 바와 같이, 3차원 모델의 미세한 분할 영역인 삼각형이나 사각형 등의 다각형 영역이다.

이 메시에 머티리얼을 설정함으로써, 3차원 화상의 묘화 처리, 렌더링이 행해진다.

텍스처 정보(132)는, 메시 데이터(131)에 첩부하는 텍스처의 소재 정보이다.

UV 맵(133)은, 메시 데이터에 텍스처를 첩부하는 처리, 소위 텍스처 매핑을 행할 때 필요로 되는 좌표 정보이다.

송신 정보 생성부(114)는, 3차원 모델 정보 생성부(113)가 생성하는 3차원 모델 정보(메시 데이터(131), 텍스처 정보(132), UV 맵(133)) 외에, 피사체(10)의 속성 정보(134), 특징점 정보(135)를 생성하고, 통신부(115)를 통해 송신한다.

속성 정보(134)는, 구체적으로는, 예를 들어 성별, 연령, 인종, 피부질, 구성 파트(입, 눈, 코 등)의 정보이다. 또한, 이들 속성 정보는 화상 해석에 의해 행하는 것도 가능하지만, 송신 장치(110)에 있어서 유저가 입력한 정보를 사용해도 된다.

특징점 정보(135)는, 예를 들어 피사체(10)의 눈, 코, 볼, 의복 등의 얼굴 기관 등의 부위를 나타내는 특징점 등이다. 이것은, 특징점 추출은, 화상 취득부(111)의 촬영 화상에 기초하여 실행된다.

이와 같이, 송신 정보 생성부(114)는, 3차원 모델 정보 생성부(113)가 생성하는 3차원 모델 정보(메시 데이터(131), 텍스처 정보(132), UV 맵(133)) 외에, 피사체(10)의 속성 정보(134), 특징점 정보(135)를, 통신부(115), 네트워크(20)를 통해 수신 장치(120)에 송신한다.

또한, 속성 정보(134)에 대해서는, 피사체(10)가 동일한 경우는, 한번만의 송신이어도 된다. 그 밖의 정보는, 화상 프레임의 송신마다 축차 송신한다.

수신 장치(120)는, 송신 장치(110)로부터, 상기의 각 데이터를 수신하고, 화상 처리부(122)에 있어서, 수신 데이터를 적용하여, 송신 장치(110)로부터 수신하는 피사체(10)의 화상(텍스처)에 대해서, 컴퓨터 그래픽스(CG) 처리에 의한 가공 처리를 실시한 3차원 화상을 생성하여 표시부(124)에 3D 화상(30)을 표시한다.

또한, 수신 장치(120)에 있어서의 3차원 화상의 실시간 표시 처리를 행하는 경우, 그 사전 처리로서, 피사체(10)의 기본으로 되는 3차원 화상의 생성이나 데이터베이스(123)에 대한 저장 처리 등을 행한다.

이 사전 처리에 있어서, 실시간 처리에 필요해지는 여러 가지 데이터가, 데이터베이스(123)에 저장된 후, 실시간 처리에 의한 3차원 화상 표시 처리를 행한다.

실시간 처리에서는, 송신 장치(110)로부터 수신하는 피사체 화상에 대해서, 실시간으로 컴퓨터 그래픽스(CG) 처리에 의한 가공 처리를 실시한 3차원 화상을 생성하여 표시부에 3D 화상(30)을 표시하는 처리가 행해진다.

이 실시간 처리에서는, 예를 들어 피사체의 속성 정보에 따른 최적의 머티리얼의 설정을 행하여, 보다 자연스러운 3차원 화상을 생성하여 표시한다.

또한, 도 3에 나타내는 본 개시의 화상 처리 시스템의 구성예는, 송신 장치(110)측에 있어서, 3차원 모델 정보(메시 데이터(131), 텍스처 정보(132), UV 맵(133))를 생성하여, 수신 장치(120)에 송신하는 구성이지만, 3차원 모델 정보의 생성 처리를 수신 장치(120)측에 있어서 실행하는 시스템 구성으로 해도 된다.

도 4를 참조하여,

(b) 송신 장치로부터 촬영 화상과 뎁스 데이터를 수신 장치에 송신하고, 수신 장치측에서 3D 모델을 생성하고, 생성한 3D 모델을 적용하여 표시용의 3D 화상을 생성하여 표시하는 시스템 구성

에 대해서 설명한다.

도 4에 나타내는 화상 처리 시스템은, 송신 장치(110)측에서, 복수의 카메라(멀티 카메라)로 화상(RGB, 뎁스)을 촬영하고, 촬영 프레임마다 촬영 화상과 뎁스 데이터를 수신 장치(120)에 송신한다.

수신 장치(120)는, 수신한 촬영 화상과 뎁스 데이터를 이용하여, 촬영 프레임마다 3D 모델링 처리를 실행하여 텍스처가 구비된 3D 모델을 생성한다.

또한, 수신 장치(120)는, 생성한 3D 모델을 이용하여 표시용의 3D 화상을 생성하여 표시한다.

도 4에 나타내는 화상 처리 시스템의 구성과 처리에 대해서 설명한다.

도 4에 나타내는 화상 처리 시스템은, 송신 장치(110)와, 수신 장치(120)를 갖는다.

송신 장치(110)는 피사체 화상을 촬영하고, 네트워크(30)를 통해 수신 장치(120)에 송신한다.

수신 장치(120)는, 송신 장치(110)로부터 수신하는 피사체 화상에 대해서, 컴퓨터 그래픽스(CG) 처리를 실시한 3차원(3D) 화상을 생성하여 표시부(124)에 3D 화상(30)을 표시한다.

송신 장치(110)에 있어서는, 카메라를 갖는 화상 취득부(111)가, 피사체(10)의 입력 영상을 촬영한다.

화상 취득부(111)는 복수의 카메라로 구성되며, 피사체(10)를 여러 가지 각도로부터 촬영한 화상을 취득한다.

즉, 피사체(10)의 3차원 화상을 생성하기 위해서 필요로 되는 여러 가지 각도로부터 화상을 촬영한다.

화상 취득부(111)의 촬영 화상은, 송신 정보 생성부(114)에 입력된다.

송신 정보 생성부(114)는, 화상 취득부(111)가 취득한 촬영 화상 정보(137), 뎁스 정보(136), 또한 피사체(10)의 속성 정보(134), 특징점 정보(135)를 생성하여, 통신부(115)를 통해 송신한다.

또한, 속성 정보(134)에 대해서는, 피사체(10)가 동일한 경우는, 한번만의 송신이어도 된다. 그 밖의 정보는, 화상 프레임의 송신마다 축차 송신한다.

수신 장치(120)는, 송신 장치(110)로부터, 상기의 각 데이터를 수신하고, 화상 처리부(122)에 있어서, 수신 데이터를 적용하고, 송신 장치(110)로부터 수신하는 피사체(10)의 화상(텍스처)에 대해서, 컴퓨터 그래픽스(CG) 처리에 의한 가공 처리를 실시한 3차원 화상을 생성하여 표시부(124)에 3D 화상(30)을 표시한다.

도 4에 나타내는 구성에 있어서, 수신 장치(120)의 화상 처리부(122)는, 3차원 모델 정보 생성부를 포함하는 구성이다. 즉, 화상 처리부(122)는, 피사체(10)의 촬영 화상에 기초하여, 피사체의 3차원 모델 정보를 생성한다.

화상 처리부(122)가 생성하는 3차원 모델 정보에는, 앞서 도 3을 참조하여 설명한 메시 데이터, 텍스처 정보, UV 맵이 포함된다.

메시 데이터(131)는, 앞서 설명한 바와 같이, 3차원 모델의 미세한 분할 영역인 삼각형이나 사각형 등의 다각형 영역이다.

이 메시에 머티리얼을 설정함으로써, 3차원 화상의 묘화 처리, 렌더링이 행해진다.

또한, 수신 장치(120)에 있어서의 3차원 화상의 실시간 표시 처리를 행하는 경우, 그 사전 처리로서, 피사체(10)의 기본으로 되는 3차원 화상의 생성이나 데이터베이스(123)에 대한 저장 처리 등을 행한다.

이 사전 처리에 있어서, 실시간 처리에 필요로 되는 여러 가지 데이터가, 데이터베이스(123)에 저장된 후, 실시간 처리에 의한 3차원 화상 표시 처리를 행한다.

실시간 처리에서는, 송신 장치(110)로부터 수신하는 피사체 화상에 대해서, 실시간으로 컴퓨터 그래픽스(CG) 처리에 의한 가공 처리를 실시한 3차원 화상을 생성하여 표시부에 3D 화상(30)을 표시하는 처리가 행해진다.

이 실시간 처리에서는, 예를 들어 피사체의 속성 정보에 따른 최적의 머티리얼의 설정을 행하여, 보다 자연스러운 3차원 화상을 생성하여 표시한다.

도 4에 나타내는 수신 장치(120)측의 화상 처리부(122)에, 3차원 모델 정보 생성부를 설정한 구성을 적용한 구체적인 처리예에 대해서, 도 5를 참조하여 설명한다.

또한, 이하에서는, 수신 장치(120)측의 화상 처리부(122)에 3차원 모델 정보 생성부를 설정한 구성을 적용한 처리예에 대해서 설명하지만, 이하에 설명하는 처리는, 도 3을 참조하여 설명한 송신 장치(110)측에 3D 모델 정보 생성부를 마련한 구성예에 있어서도, 처리의 실행 주체가 상이할 뿐이며, 마찬가지의 처리가 적용 가능하다.

도 5에 나타내는 바와 같이, 수신 장치(120)는, 송신 장치(110)로부터,

촬영 화상 정보(137),

뎁스 정보(136),

속성 정보(134),

특징점 정보(135)

이들 정보를 입력한다.

화상 처리부(122)는, 예를 들어 이하의 처리를 실행한다.

(a1) 3차원(3D) 모델의 생성, 수정(그림자(Shadow)나 반사(Specular)의 제거 등)

(a2) 마스크 이미지 생성

(a3) 피사체 속성 정보 취득

(a4) 피사체 속성 대응 템플릿 데이터베이스의 작성

화상 처리부(122)는, 예를 들어 상기의 처리를 실행한다.

(a1) 3D 모델의 생성, 수정(그림자(Shadow)나 반사(Specular)의 제거 등)이란, 송신 장치(110)로부터 수신하는 피사체(10)의 촬영 화상에 기초하여, 피사체의 3차원 모델 정보를 생성하고, 텍스처 정보를 수정하는 처리이다.

생성하는 3차원 모델 정보에는, 메시 데이터, 텍스처 정보, UV 맵이 포함된다.

메시 데이터는, 앞서 설명한 바와 같이, 3차원 모델의 미세한 분할 영역인 삼각형이나 사각형 등의 다각형 영역이다.

이 메시에 머티리얼을 설정함으로써, 3차원 화상의 묘화 처리, 렌더링이 행해진다.

텍스처 정보(132)는, 메시 데이터(131)에 첩부하는 텍스처의 소재 정보이다.

UV 맵은, 메시 데이터에 텍스처를 첩부하는 처리, 소위 텍스처 매핑을 행할 때 필요로 되는 좌표 정보이다.

또한, 화상 처리부(122)는, 필요에 따라, 생성한 텍스처 정보의 수정(그림자(Shadow)나 반사(Specular)의 제거 등)을 행한다.

수신 장치(120)는, 생성한 3D 모델에 대해서, 메시 단위의 머티리얼 설정, 즉 메시 단위의 텍스처의 첩부나 셰이더에 의한 화소값 설정 등의 CG 처리를 실시하여 표시용의 3D 화상을 생성한다.

그러나, 수신 장치로부터 입력되는 촬영 화상에 기초하여 생성된 텍스처 화상은, 피사체(10)의 촬영 시의 환경광에 의한 그림자나 반사 등이 포함되는 경우가 있다. 이와 같은 여분의 농담 정보가 포함되는 화상을 베이스로서 머티리얼 설정, 즉 텍스처 첩부 등의 CG 가공을 행하면 촬영 시의 그림자나 반사가 반영되어 버려, 부자연스러운 화상이 생성되어 버리는 경우가 있다.

이와 같은 문제가 발생하는 것을 방지하는 처리로서, 텍스처 화상의 수정이 행해진다.

(a2) 마스크 이미지 생성은, 메시 단위의 머티리얼 설정을 행하는 경우의 머티리얼 설정 대상 이외의 영역을 숨기기 위한 마스크 이미지의 생성 처리이다.

예를 들어 인물의 3D 화상 모델을 CG 처리에 의해 생성하는 경우, 인물의 피부, 머리카락 등, 파트 단위로 상이한 머티리얼을 설정할 필요가 있다.

이와 같은 머티리얼 설정 범위를 규정하기 위한 마스크 이미지를 생성한다.

구체적인 마스크 이미지의 예와 머티리얼 설정예에 대해서는 후술한다.

(a3) 피사체 속성 정보 취득 처리는, 송신 장치(110)에 있어서 촬영된 피사체의 속성 정보를 취득하는 처리이다.

구체적인 속성 정보는, 예를 들어 성별, 연령, 인종, 피부질, 구성 파트(입, 눈, 코 등)의 정보이다. 또한, 이들 속성 정보는 화상 해석에 의해 행하는 것도 가능하지만, 송신 장치(110)에 있어서 유저가 입력한 정보를 사용해도 된다.

(a4) 피사체 속성 대응 템플릿 데이터베이스의 작성 처리는, 상술한 피사체의 속성 정보와 텍스처 등의 머티리얼 정보를 대응지은 데이터베이스이다.

이 템플릿 데이터베이스를, 송신 장치(120)의 데이터베이스(123) 내에 저장함으로써, 실시간으로의 3D 화상 모델의 생성 처리를 고속으로 행할 수 있다.

구체적인 템플릿 데이터베이스의 예에 대해서는 후술한다.

이와 같이, 도 5에 나타내는 수신 장치(120)의 화상 처리부(122)는, 이하의 처리를 행한다.

(a1) 3D 모델의 생성, 텍스처 화상의 수정(그림자(Shadow)나 반사(Specular)의 제거 등)

(a2) 마스크 이미지 생성

(a3) 피사체 속성 정보 취득

(a4) 피사체 속성 대응 템플릿 데이터베이스의 작성

화상 처리부(122)에 의한 상기 처리의 결과로서 생성되는 데이터는, 기억부로서 데이터베이스(123)에 저장된다.

도 5에 나타내는 바와 같이, 데이터베이스(123)에는, 이하의 각 정보가 저장된다.

(b1) 마스크 이미지

(b2) 피사체 속성 정보

(b3) 피사체 속성 대응 템플릿 데이터베이스

이들 데이터는, 도 5에 나타내는 수신 장치(120)의 화상 처리부(122)가, 송신 장치(110)로부터 수신하는 데이터에 기초하여 생성한 데이터이다.

데이터베이스에 소정의 데이터가 저장되면, 실시간 처리, 즉 송신 장치(110)로부터 송신되는 피사체 화상 등의 데이터를 수신 장치(120)가 수신하고, 그 수신 데이터에 대해서 실시간으로 CG 처리를 실시하여 표시용의 3D 화상을 생성하여 표시부에 표시하는 실시간 처리가 실행된다.

실시간 처리에서는, 송신 장치(110)측의 화상 취득부(111)가, 피사체(10)의 실시간 화상을 촬영한다.

화상 취득부(111)의 촬영 화상은, 송신 정보 생성부(114)에 입력된다.

송신 정보 생성부(114)는,

촬영 화상 정보(137),

뎁스 정보(136),

속성 정보(134),

특징점 정보(135)

이들 정보를 통신부(115), 네트워크(20)를 통해 수신 장치(120)에 송신한다.

또한, 전술한 바와 같이, 속성 정보(134)는, 피사체(10)의 변경이 없는 경우는, 한번만의 송신이어도 된다.

수신 장치(120)는, 송신 장치(110)로부터 입력되는 상기 정보를 사용하여, 표시부(124)에 표시하는 출력 영상인 3D 화상을 생성하여 표시한다.

또한, 실시간 처리에서는, 피사체의 현재의 촬영 화상을 이용하여, 사전 처리에 있어서 취득하여 데이터베이스(123)에 저장 완료된 정보를 적용하고, CG 가공한 3D 화상을 생성하여 표시하는 처리를 행한다.

[3. 화상 처리 장치의 구성예에 대해서]

다음으로, 3D 화상 생성 처리를 행하는 화상 처리 장치, 즉 도 5에 나타내는 수신 장치(120)의 구체적인 구성에 대해서, 도 6 이하를 참조하여 설명한다.

도 6은, 화상 처리 장치, 즉 도 5에 나타내는 수신 장치(120)에 상당하는 화상 처리 장치(200)의 구성예를 나타내는 도면이다.

도 6에 나타내는 바와 같이, 화상 처리 장치(200)는, 화상 입력부(통신부)(201), 유저 입력부(유저 IF)(202), 화상 처리부(203), 기억부(DB)(204), 표시부(205)를 갖는다.

화상 입력부(통신부)(201)는, 도 4, 도 5에 나타내는 수신 장치(120)의 통신부(121)에 상당한다.

유저 입력부(유저 IF)(202)는, 도 4, 도 5에 나타내는 수신 장치(120)에는 나타나 있지 않지만, 수신 장치(120)에 구성된 입력부이다.

화상 처리부(203)는, 도 4, 도 5에 나타내는 수신 장치(120)의 화상 처리부(122)에 상당한다.

기억부(DB)(204)는, 도 4, 도 5에 나타내는 수신 장치(120)의 데이터베이스(123)에 상당한다.

표시부(205)는, 도 4, 도 5에 나타내는 수신 장치(120)의 표시부(124)에 상당한다.

도 6에 나타내는 바와 같이, 화상 처리부(203)는, 화상 정보 해석부(211), 메시 편집부(212), 머티리얼 적용부(213), 렌더링부(214)를 갖는다.

화상 정보 해석부(211)에는, 특징량 추출부(211a), 속성 해석부(211b)가 포함된다.

메시 편집부(212)에는, 메시 취득부(212a), 메시 분할부(212b), 모델 추가부(212c)가 포함된다.

머티리얼 적용부(213)에는, 마스크 화상 생성부(213a), 텍스처 맵 생성부(213b)가 포함된다.

기억부(DB)(204)에는, 먼저 도 4를 참조하여 설명한 사전 처리에 의해 송신 장치(110)로부터 취득한 데이터나 화상 처리부(203)의 처리에 의해 생성된 데이터가 저장된다. 또한, 도 5를 참조하여 설명한 실시간 처리에 있어서, 화상 처리부(203)가 생성하는 데이터도 저장된다.

기억부(DB)(204)의 저장 데이터의 예를 도 7에 나타낸다.

도 7에 나타내는 바와 같이, 기억부(DB)(204)에는, 마스크 화상(222), 피사체 속성 정보(223), 템플릿 데이터베이스(224) 등이 저장된다.

마스크 화상(222)은, 실시간 처리에 있어서 적용하는 메시 대응의 머티리얼 설정 처리에 있어서, 머티리얼 설정 영역 이외의 그 밖의 영역을 마스킹하기 위한 마스크 화상이다.

본 개시의 처리에서는, 송신 장치(110)로부터 수신하는 매 프레임 상이한 촬영 화상의 각각으로부터, 눈, 코, 볼, 의복 등의 얼굴 기관 등의 부위 검출이나, 특징점 검출 등을 실행하여, 각 부위에 설정하는 머티리얼 단위의 마스크 화상을 생성하고, 머티리얼의 적용 범위를 결정하고 나서, 각 부위에 대한 머티리얼 설정 처리를 실행한다.

마스크 화상(222)은, 각 피사체 구성 요소 단위(부위 단위)의 마스킹에 적용하는 화상이다.

구체적인 마스크 화상의 예와 적용 처리에 대해서는 후단에서 설명한다.

피사체 속성 정보(223)는, 앞서 도 5를 참조하여 설명한 처리에 있어서 취득되는 정보이다.

구체적인 속성 정보는, 예를 들어 성별, 연령, 인종, 피부질, 구성 파트(입, 눈, 코 등)의 정보이다. 또한, 이들 속성 정보는 화상 해석에 의해 행하는 것도 가능하지만, 송신 장치(110), 혹은 수신 장치(120)에 있어서 유저가 입력한 정보를 사용해도 된다.

템플릿 데이터베이스(224)는, 도 7에 나타내는 바와 같이,

속성 정보와, 머티리얼의 대응 데이터이다.

속성 정보에는, 피사체 속성 정보와, 부위 속성 정보가 포함된다.

머티리얼은, 텍스처 맵으로 구성된다.

피사체 속성 정보는, 예를 들어 「성별」, 「연령」, 「인종」, 「피부질」 등의 피사체인 인물의 속성 정보이다.

부위 속성 정보는, 예를 들어 눈, 코, 눈썹, 볼(치크) 등의 사람의 얼굴의 각 부위의 식별 정보로 되는 속성 정보이다.

이들 속성 정보는, 사전 처리, 또는 실시간 처리에 있어서, 송신 장치(110)로부터 수신하는 화상 데이터에 기초하여 취득 가능하고, 또한 유저 입력 정보에 기초하여 취득해도 된다.

이 템플릿 데이터베이스는, 속성 정보와 머티리얼의 대응 데이터이다.

화상 처리 장치(200)의 화상 처리부(203)가, 실시간 처리에 의해 CG 효과를 실시한 3D 화상을 생성하는 처리를 행하는 경우, 화상 처리부(203)는, 이 템플릿 데이터베이스를 참조하여, 송신 장치(110)로부터 수신하는 피사체 화상, 예를 들어 인물의 촬영 화상으로부터 검출된 사람의 눈, 코, 볼(치크) 등의 부위에 설정해야 할 머티리얼을 바로 취득할 수 있다.

즉, 이 템플릿 데이터베이스를 이용함으로써, 송신 장치(110)로부터 송신되는 피사체 영상을 구성하는 프레임 단위로, 피사체 구성 요소 단위(부위 단위)의 최적의 머티리얼 설정을 단시간에 행하는 것이 가능해져, 3D 화상 생성을 실시간 처리로서 실행할 수 있다.

또한, 도 7에 나타내는 템플릿 데이터베이스(224)의 구성에서는, 머티리얼로서 텍스처 맵만을 기록하고 있으며, 셰이더에 대해서는 기록하고 있지 않다.

셰이더는, 전술한 바와 같이, 메시 내의 화소(픽셀)마다의 묘화색을 계산하는 알고리즘이다. 도 7에 나타내는 설정의 템플릿 데이터베이스를 이용한 처리를 행하는 경우, 텍스처는 템플릿 데이터베이스로부터 취득하고, 셰이더에 대해서는, 프레임 단위로 그때마다 계산 처리를 실행하여 메시 내의 픽셀 단위의 묘화색의 결정 처리를 행하게 된다.

도 7에 나타내는 템플릿 데이터베이스(224)와 상이한 설정으로 한 템플릿 데이터베이스(204)의 구성예를 도 8에 나타낸다.

도 8에 나타내는 템플릿 데이터베이스(224)는, 머티리얼로서 텍스처 맵과 셰이더를 기록하고 있다.

도 8에 나타내는 설정의 템플릿 데이터베이스를 이용하면, 텍스처뿐만 아니라 셰이더의 정보도 템플릿 데이터베이스로부터 취득하는 것이 가능하고, 프레임 단위, 피사체 구성 요소 단위(부위 단위)로 메시 내의 텍스처, 픽셀마다의 묘화색의 결정이 가능해진다.

[4. 화상 처리 장치가 실행하는 처리에 대해서]

다음으로, 실시간으로의 3D 화상 생성 처리를 행하는 화상 처리 장치, 즉 도 6을 참조하여 설명한 구성을 갖는 화상 처리 장치(200)(＝도 5의 수신 장치(120))가 실행하는 구체적인 처리에 대해서, 도 9 이하를 참조하여 설명한다.

도 9는, 화상 처리 장치, 즉 도 6에 나타내는 화상 처리 장치(200)(＝도 5의 수신 장치(120))가 실행하는 처리의 시퀀스를 설명하는 흐름도이다.

이하, 이 흐름도에 따라서, 도 6에 나타내는 화상 처리 장치(200)(＝도 5의 수신 장치(120))가 실행하는 처리의 구체예에 대해서 설명한다.

또한, 도 9에 나타내는 흐름도에 따른 처리는, 예를 들어 화상 처리 장치의 기억부에 저장된 프로그램에 따라서, 프로그램 실행 기능을 갖는 CPU 등을 구비한 컨트롤러로 이루어지는 데이터 처리부의 제어 하에 실행된다.

도 9에 나타내는 플로우의 각 스텝의 처리에 대해서, 순차, 설명한다.

(스텝 S101)

먼저, 화상 처리 장치(200)의 화상 입력부(201)가, 3D 화상의 생성원으로 되는 촬영 화상 정보(137), 뎁스 정보를 입력한다.

또한, 이 플로우에 나타내는 스텝 S101 내지 S109의 처리는, 예를 들어 도 5에 나타내는 송신 장치(110)로부터 송신되는 피사체의 촬영 영상을 구성하는 화상 프레임마다 실행된다.

즉, 최종적인 스텝 S109에서는, 송신 장치(110)로부터 송신되는 화상 프레임 단위로 CG 효과를 부여한 3D 화상의 렌더링이 행해지게 된다.

(스텝 S102)

다음으로, 스텝 S102에 있어서, 화상 정보 해석부(211)의 속성 해석부(211b)가, 입력 촬영 화상에 기초하여, 피사체의 인물의 속성(성별, 연령, 피부질 등)을 분석한다.

또한, 이 처리는, 사전에 행해 두는 것도 가능하고, 실시간 처리로서 행해도 된다.

앞서 설명한 바와 같이, 속성 정보 취득 처리는, 송신 장치(110)로부터 송신되는 촬영 화상 정보(137)나, 3D 모델 정보를 해석하여 행한다.

구체적인 속성 정보에는, 예를 들어 성별, 연령, 인종, 피부질, 구성 파트(입, 눈, 코 등)의 정보 등이 포함된다. 또한, 이들 속성 정보는 화상 해석에 의해 행하는 것도 가능하지만, 유저 입력 정보를 사용해도 된다.

(스텝 S103)

다음으로, 스텝 S103에 있어서, 특징량 추출부(211a)가, 스텝 S101에서 입력한 촬영 화상의 특징량에 기초하여, 피사체(사람)의 각 부위(얼굴 기관인 눈, 비구, 눈썹이나, 피부 영역, 몸 부위, 머리카락, 의복 등) 대응의 구분 영역을 설정한다.

도 10에 얼굴 기관인 눈, 비구, 눈썹 등의 특징점의 예를 나타낸다.

도 10에 나타내는 예에 있어서, 특징점 1 내지 17은 얼굴 윤곽을 나타내는 특징점이며,

특징점 18 내지 22, 23 내지 27이 눈썹을 나타내는 특징점이다.

특징점 28 내지 36이 코를 나타내는 특징점이다.

특징점 37 내지 48이 눈을 나타내는 특징점이다.

특징점 49 내지 68이 입을 나타내는 특징점이다.

예를 들어 화상으로부터 이들 특징점을 검출하여, 각 부위(얼굴 기관인 눈, 비구, 눈썹이나, 피부 영역, 몸 부위, 머리카락, 의복 등) 대응의 구분 영역을 설정한다.

또한, 구분 영역의 설정에는, 상기의 특징점에 기초하는 처리 외에, 종래부터 알려지는 시멘틱 세그먼테이션(Semantic Segmentation)도 이용 가능하다.

예를 들어, 얼굴 영역, 손, 머리카락, 의복 등의 영역 검출이나 구분 영역의 설정에는 시멘틱 세그먼테이션(Semantic Segmentation)의 이용이 가능하다.

(스텝 S104)

다음으로, 스텝 S104에 있어서, 마스크 화상 생성부(213a)가, 특징량에 기초한 구분 영역 단위의 머티리얼 설정을 행하기 위해서 적용하는 마스크 화상을 생성한다.

전술한 바와 같이, 마스크 화상은, 실시간 처리에 있어서 적용하는 메시 대응의 머티리얼 설정 처리에 있어서, 머티리얼 설정 영역 이외의 그 밖의 영역을 마스킹하기 위한 마스크 화상이다.

본 개시의 처리에서는, 송신 장치(110)로부터 수신하는 매 프레임 상이한 촬영 화상의 각각으로부터, 눈, 코, 볼, 의복 등의 얼굴 기관 등의 부위의 검출이나, 특징점 검출 등을 실행하여, 각 부위에 설정하는 머티리얼 단위의 마스크 화상을 생성하고, 머티리얼의 적용 범위를 결정하고 나서, 각 부위에 대한 머티리얼 설정 처리를 실행한다.

마스크 화상은, 피사체 구성 요소 단위(부위 단위)의 마스킹에 적용하는 화상이다.

마스크 화상의 예에 대해서 도 11을 참조하여 설명한다.

도 11에는, 이하의 각 도면을 나타내고 있다.

(A) 입력 화상

(1) 내지 (8)각 구분 영역 단위의 마스크 화상

예를 들어, (1) 얼굴 마스크는, 피사체 화상 중의 얼굴 영역에 대한 머티리얼 설정 시에 적용하는 마스크이다. 이 얼굴 마스크에 의해, 얼굴 영역 이외의 화상 영역은, 마스킹되게 된다. 이 얼굴 마스크를 이용한 머티리얼 설정 처리를 행함으로써, 머티리얼은 얼굴 영역에만 적용되며, 그 밖의 영역에는 적용되지 않는다.

마찬가지로, (2) 손 마스크는, 피사체 화상 중의 손 영역에 대한 머티리얼 설정 시에 적용하는 마스크이다. 이 손 마스크에 의해, 손 영역 이외의 화상 영역은, 마스킹되게 된다. 이 손 마스크를 이용한 머티리얼 설정 처리를 행함으로써, 머티리얼은 손 영역에만 적용되며, 그 밖의 영역에는 적용되지 않는다.

이하, (3) 머리카락 마스크, (4) 의복 마스크, (5) 눈 마스크, (6) 코 마스크, (7) 입 마스크, (8) 볼(치크) 마스크에 대해서도 마찬가지이며, 각 마스크는, 머티리얼 설정 대상 영역 이외의 화상 영역을 모두 마스킹하는 구성을 갖는 마스크 화상이다.

스텝 S104에서는, 마스크 화상 생성부(213a)가, 특징량에 기초한 구분 영역 단위의 머티리얼 설정을 행하기 위해서 적용하는 마스크 화상, 즉 예를 들어 도 11에 나타내는 마스크 화상을 생성한다.

또한, 도 11에 나타내는 마스크 화상은 일례이며, 그 외, 피사체에 따라 여러 가지 마스크 화상을 생성한다.

마스크 화상의 생성 처리에는, 템플릿 화상을 이용하는 구성으로 해도 된다. 예를 들어, 도 11에 나타내는 (1) 얼굴 마스크, (2) 손 마스크, (3) 머리카락 마스크, (4) 의복 마스크, (5) 눈 마스크, (6) 코 마스크, (7) 입 마스크, (8) 볼(치크) 마스크, 이들 각 마스크 화상의 템플릿 화상을 미리 기억부(204)에 저장해 두고, 이 템플릿 마스크 화상을, 송신 장치로부터 입력되는 피사체 화상에 따라 수정하여, 입력 화상에 적합한 마스크 화상을 생성할 수 있다.

템플릿 화상을 적용한 눈 마스크 화상의 생성 처리예에 대해서, 도 12를 참조하여 설명한다.

예를 들어, 도 12의 (1)에 나타내는 바와 같은 눈에 적용하기 위한 템플릿 마스크 화상이 미리 기억부(204)에 저장되어 있다.

마스크 화상 생성부(213a)는, 화상 입력부(201)를 통해 입력한 피사체의 촬영 화상 내의 특징점으로부터 눈의 영역 부근의 특징점을 사용 특징점으로서 선택한다. 도 12의 (2) 사용 특징점은, 피사체 화상의 왼쪽 눈 영역 근방의 특징점이다.

이 특징점은, 먼저 도 10을 참조하여 설명한 특징점에 대응한다.

이 특징점에 기초하여, (1)에 나타내는 템플릿 마스크 화상을, 촬영 화상의 눈의 영역에 적합하게 한 회전 처리와, 리사이즈 처리를 행한다.

도 12의 (3)이 회전 처리이며, (4)가 리사이즈 처리를 나타내고 있다.

도 12의 (3)에 나타내는 바와 같이, 특징점{17, 29}의 라인에 기초하여, 템플릿 화상의 회전 각도를 산출한다.

또한, 도 12의 (4)에 나타내는 바와 같이, 특징점{17, 23, 24, 25, 26, 27, 29}의 영역의 템플릿 화상을 입력 화상에 적합하도록 리사이즈한다. 본 예에서는, X 방향(수평 방향)으로 0.9배, Y 방향(수직 방향)으로 1.0배의 리사이즈를 행한다.

이와 같은 처리를 행함으로써, (1)에 나타내는 템플릿 마스크 화상을 이용하여, 촬영 화상의 눈의 영역에 적합한 눈 마스크 화상을 생성할 수 있다.

도 13은, 템플릿 화상을 적용한 코 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.

예를 들어, 도 13의 (1)에 나타내는 바와 같은 코에 적용하기 위한 템플릿 마스크 화상이 미리 기억부(204)에 저장되어 있다.

마스크 화상 생성부(213a)는, 화상 입력부(201)를 통해 입력한 피사체의 촬영 화상 내의 특징점으로부터 코의 영역 부근의 특징점을 사용 특징점으로서 선택한다. 도 13의 (2) 사용 특징점은, 피사체 화상의 코 영역 근방의 특징점이다.

이 특징점은, 앞서 도 10을 참조하여 설명한 특징점에 대응한다.

이 특징점에 기초하여, (1)에 나타내는 템플릿 마스크 화상을, 촬영 화상의 코 영역에 적합하게 하는 회전 처리와, 리사이즈 처리를 행한다.

도 13의 (3)이 회전 처리이며, (4)가 리사이즈 처리를 나타내고 있다.

도 13의 (3)에 나타내는 바와 같이, 특징점{37, 46}의 라인에 기초하여, 템플릿 화상의 회전 각도를 산출한다.

또한, 도 13의 (4)에 나타내는 바와 같이, 특징점{28, 29, 30, 31, 40, 43}의 영역의 템플릿 화상을 입력 화상에 적합하도록 리사이즈한다. 본 예에서는, X 방향(수평 방향)으로 0.7배, Y 방향(수직 방향)으로 1.1배의 리사이즈를 행한다.

이와 같은 처리를 행함으로써, (1)에 나타내는 템플릿 마스크 화상을 이용하여, 촬영 화상의 코 영역에 적합한 코 마스크 화상을 생성할 수 있다.

도 14는, 템플릿 화상을 적용한 볼(치크) 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.

예를 들어, 도 14의 (1)에 나타내는 바와 같은 볼(치크)에 적용하기 위한 템플릿 마스크 화상이 미리 기억부(204)에 저장되어 있다.

마스크 화상 생성부(213a)는, 화상 입력부(201)를 통해 입력한 피사체의 촬영 화상 내의 특징점으로부터 볼(치크)의 영역 부근의 특징점을 사용 특징점으로서 선택한다. 도 14의 (2) 사용 특징점은, 피사체 화상의 볼(치크) 영역 근방의 특징점이다.

이 특징점은, 먼저 도 10을 참조하여 설명한 특징점에 대응한다.

이 특징점에 기초하여, (1)에 나타내는 템플릿 마스크 화상을, 촬영 화상의 볼(치크) 영역에 적합하게 하는 회전 처리와, 리사이즈 처리를 행한다.

도 14의 (3)이 회전 처리이며, (4)가 리사이즈 처리를 나타내고 있다.

도 14의 (3)에 나타내는 바와 같이, 특징점{17, 29}의 라인에 기초하여, 템플릿 화상의 회전 각도를 산출한다.

또한, 도 14의 (4)에 나타내는 바와 같이, 특징점{17, 29, 55}의 영역의 템플릿 화상을 입력 화상에 적합하도록 리사이즈한다. 본 예에서는, X 방향(수평 방향)으로 0.8배, Y 방향(수직 방향)으로 1.0배의 리사이즈를 행한다.

이와 같은 처리를 행함으로써, (1)에 나타내는 템플릿 마스크 화상을 이용하여, 촬영 화상의 볼(치크) 영역에 적합한 볼(치크) 마스크 화상을 생성할 수 있다.

도 15는, 템플릿 화상을 적용한 입 주위 마스크 화상의 생성 처리예에 대해서 설명하는 도면이다.

예를 들어, 도 15의 (1)에 나타내는 바와 같은 입 주위에 적용하기 위한 템플릿 마스크 화상이 미리 기억부(204)에 저장되어 있다.

마스크 화상 생성부(213a)는, 화상 입력부(201)를 통해 입력한 피사체의 촬영 화상 내의 특징점으로부터 입 주위의 영역 부근의 특징점을 사용 특징점으로서 선택한다. 도 15의 (2) 사용 특징점은, 피사체 화상의 입 주위 영역 근방의 특징점이다.

이 특징점은, 앞서 도 10을 참조하여 설명한 특징점에 대응한다.

이 특징점에 기초하여, (1)에 나타내는 템플릿 마스크 화상을, 촬영 화상의 입 주위 영역에 적합하게 하는 회전 처리와, 리사이즈 처리를 행한다.

도 15의 (3)이 회전 처리이며, (4)가 리사이즈 처리를 나타내고 있다.

도 15의 (3)에 나타내는 바와 같이, 특징점{49, 55}의 라인에 기초하여, 템플릿 화상의 회전 각도를 산출한다.

또한, 도 15의 (4)에 나타내는 바와 같이, 특징점{9, 31, 49, 55}의 영역의 템플릿 화상을 입력 화상에 적합하도록 리사이즈한다. 본 예에서는, X 방향(수평 방향)으로 1.3배, Y 방향(수직 방향)으로 0.9배의 리사이즈를 행한다.

이와 같은 처리를 행함으로써, (1)에 나타내는 템플릿 마스크 화상을 이용하여, 촬영 화상의 입 주위 영역에 적합한 입 주위 마스크 화상을 생성할 수 있다.

또한, 템플릿 화상을 이용하지 않는 마스크 화상 생성 처리도 가능하다.

도 16은, 템플릿 화상을 이용하지 않고 입술 마스크 화상을 생성하는 처리예에 대해서 설명하는 도면이다.

마스크 화상 생성부(213a)는, 화상 입력부(201)를 통해 입력한 피사체의 촬영 화상 내의 특징점으로부터 입술 영역 부근의 특징점을 사용 특징점으로서 선택한다. 도 16의 (2) 사용 특징점은, 피사체 화상의 입술 영역 근방의 특징점이다.

이 특징점은, 앞서 도 10을 참조하여 설명한 특징점에 대응한다.

이 특징점에 기초하여, 입술 마스크 화상을 생성한다.

도 16의 (3)이 윗입술 마스크 화상의 생성 처리이며, (4)가 아랫입술 마스크 화상의 생성 처리를 나타내고 있다.

도 16의 (3)에 나타내는 바와 같이, 윗입술 마스크 화상의 생성 처리에 있어서는, 특징점{49, 50, 51, 52, 53, 54, 55, 65, 64, 63, 62, 61}의 윤곽에 기초하여, 윗입술 마스크 화상을 생성한다.

또한, 도 16의 (4)에 나타내는 바와 같이, 아랫입술 마스크 화상의 생성 처리에 있어서는, 특징점{49, 60, 59, 58, 57, 56, 55, 65, 64, 63, 62, 61}의 윤곽에 기초하여, 아랫입술 마스크 화상을 생성한다.

이와 같은 처리를 행함으로써, 템플릿 마스크 화상을 이용하지 않고, 촬영 화상의 입술 영역에 적합한 입술 마스크 화상을 생성할 수 있다.

도 17은, 템플릿 화상을 이용하지 않고 입 안 마스크 화상을 생성하는 처리예에 대해서 설명하는 도면이다.

마스크 화상 생성부(213a)는, 화상 입력부(201)를 통해 입력한 피사체의 촬영 화상 내의 특징점으로부터 입 안 영역 부근의 특징점을 사용 특징점으로서 선택한다. 도 17의 (2) 사용 특징점은, 피사체 화상의 입 안 영역 근방의 특징점이다.

이 특징점은, 앞서 도 10을 참조하여 설명한 특징점에 대응한다.

이 특징점에 기초하여, 입 안 마스크 화상을 생성한다.

도 17의 (3)이 입 안 입술 마스크 화상의 생성 처리를 나타내고 있다.

도 17의 (3)에 나타내는 바와 같이, 입 안 마스크 화상의 생성 처리에 있어서는, 특징점{61, 62, 63, 64, 65, 66, 67, 68}의 윤곽에 기초하여, 입 안 마스크 화상을 생성한다.

이와 같은 처리를 행함으로써, 템플릿 마스크 화상을 이용하지 않고, 촬영 화상의 입 안 영역에 적합한 입 안 마스크 화상을 생성할 수 있다.

그 밖의 (1) 얼굴 마스크, (2) 손 마스크, (3) 머리카락 마스크, (4) 의복 마스크 등, 이들 각 마스크 화상에 대해서도, 템플릿 화상을 이용, 또는 이용하지 않고 피사체 화상에 따른 마스크 화상을 생성할 수 있다.

이와 같이, 도 9에 나타내는 플로우의 스텝 S104에서는, 예를 들어 상술한 처리에 의해 마스크 화상 생성 처리가 실행된다.

도 9의 흐름도의 스텝 S105 이하의 처리에 대해서 설명한다.

(스텝 S105)

스텝 S105에 있어서, 메시 취득부(212a)가, 촬영 화상 대응의 3D 모델에 메시를 설정하고, 메시 분할부(212b)가, 마스크 화상에 따른 메시 분할 처리를 실행한다.

전술한 바와 같이, 메시는, 3차원 모델의 미세한 분할 영역인 삼각형이나 사각형 등의 다각형 영역이다.

이 메시에 머티리얼을 설정함으로써, 3차원 화상의 묘화 처리, 렌더링이 행해진다. 3차원 화상을 묘화(렌더링)하는 경우, 메시 단위로 최적의 머티리얼을 설정할 필요가 있다.

3차원 모델의 구성 요소로 되는 메시에 대해서, 그 메시의 실제의 재질에 가까운 머티리얼, 구체적으로는, 텍스처나 셰이더를 설정함으로써, 리얼리티가 있는 3차원 모델 데이터를 생성할 수 있다.

메시는, 송신 장치로부터 입력되는 촬영 화상과, 앞서 도 4를 참조하여 설명한 사전 처리에 있어서 데이터베이스에 저장된 피사체의 3차원 모델 데이터를 이용하여, 미리 정해진 알고리즘을 적용하여 취득할 수 있다. 또한, 렌더링 처리에 의해 생성하는 최종적인 CG 효과 부여 3차원 화상의 설정, 예를 들어 광원 위치의 설정 조건 등을 고려하여 메시 설정을 행하는 것이 바람직하다.

스텝 S105에서는, 먼저, 메시 취득부(212a)가, 입력 촬영 화상에 대응하는 3차원 모델 상에 메시를 설정하고, 또한 메시 분할부(212b)가, 스텝 S104에서 생성한 마스크 화상에 따른 메시 분할 처리를 실행한다.

마스크 화상에는, 앞서 도 11을 참조하여 설명한 바와 같이, 예를 들어 (1) 얼굴 마스크 내지 (8)볼 마스크 등, 여러 가지 마스크 화상이 있다. 이들은, 각 부위에 대한 머티리얼 적용 처리에 있어서 이용하는 마스크이다.

그러나, 마스크 화상이 미리 정해진 각 부위의 영역과, 메시에 의해 규정되는 구분 영역은, 많은 경우 일치하지 않는다.

예를 들어 하나의 삼각형 영역인 하나의 메시 영역이, 눈 마스크에 의해 마스크되지 않은 눈의 영역(＝눈 대응의 머티리얼 적용 영역)과, 눈 마스크에 의해 마스크되는 눈 이외의 영역(＝눈 대응의 머티리얼 비적용 영역)의 양쪽으로 넓어지는 경우가 있다.

머티리얼 설정은, 메시 단위로 실행하므로, 이와 같은 메시가 존재하면, 눈의 영역과 눈 이외의 영역에 같은 머티리얼의 설정 처리가 이루어져 버린다.

이와 같은 사태를 방지하기 위해서, 메시를 마스크 화상에 따라 재분할하고, 마스크 화상에 의해 마스크되지 않은 머티리얼 적용 영역과, 마스크 화상에 의해 마스크되는 머티리얼 비적용 영역을 분할한 새로운 메시 설정을 행할 필요가 있다.

이 처리를, 메시 분할부(212b)가 실행한다.

즉, 스텝 S104에서 생성한 마스크 화상에 따른 메시 분할 처리를 실행한다.

(스텝 S106)

다음으로, 스텝 S106에 있어서, 모델 추가부(212c)가, 특징량 정보에 기초하여, 기억부(DB)(204)에 저장된 3차원 모델을 설치한다. 예를 들어, 안구의 앞에 각막 모델을 설치하는 처리 등을 실행한다.

3차원 화상의 생성 처리는, 기본적으로는 메시에 대해서 머티리얼을 설정하는 처리로서 실행하지만, 예를 들어 안구 등의 특수한 부위에 대해서는, 미리 준비된 3차원 모델을 첩부하는 처리를 행한 쪽이 리얼리티를 증가시킬 수 있다.

스텝 S106에서는, 이와 같은 3차원 모델 추가 처리를 행한다.

또한, 3차원 모델은, 기억부(DB)(204)에 미리 저장되어 있다. 예를 들어 사전 처리에 있어서, 송신 장치(110)로부터 수신한 3차원 모델 정보를 이용하는 것이 가능하다.

예를 들어, 안구의 앞에 각막 모델을 설치하는 처리를 행하는 경우는, 눈의 검은자위 안에 흰 하이라이트 영역을 설정한 모델을 설정함으로써, 시선 방향이 설정된다.

눈의 검은자위 내의 적절한 위치에 하이라이트 부분을 설정하기 위해서는, 예를 들어 송신 장치로부터 수신하는 촬영 화상의 시선 방향을 검출하고, 검출한 시선 방향에 기초하여 하이라이트 영역 설정 위치를 결정하는 것이 바람직하다.

또한, 렌더링에 의해 생성한 3D 화상 내의 얼굴 화상의 눈의 검은자위 내의 하이라이트 영역과, 표시한 3D 화상의 광원 위치가 대응하도록, 광원 위치는, 얼굴 화상의 전방에 설정하는 것이 바람직하다.

(스텝 S107)

다음으로, 스텝 S107에 있어서, 텍스처 맵 생성부(213b)가, 각 머티리얼에 필요한 텍스처 맵(베이스 컬러, 샤이니니스, 캐비티, 노멀 등)을, 속성 해석 결과와, 템플릿 데이터베이스에 따라서 생성한다.

앞서 설명한 바와 같이, 3차원 화상의 생성 처리를 행하는 경우, 3차원 화상의 구성 요소인 메시에 대해서, 그 메시의 실제의 재질에 가까운 머티리얼, 구체적으로는, 텍스처나 셰이더를 설정한다. 이 머티리얼 설정 처리에 의해 리얼리티가 있는 3차원 화상을 생성할 수 있다.

텍스처는, 각각이 상이한 효과를 갖는 복수의 텍스처 맵을 합성하여 생성하는 것이 가능한 화상 데이터이다.

먼저 도 2를 참조하여 설명한 바와 같이, 텍스처 맵에는, 예를 들어 이하의 종류가 있다.

(1) 베이스 컬러 맵(Base color map)

(2) 샤이니니스 맵(Shininess map)

(3) 노멀 맵(Normal map)

(4) 캐비티 맵(Cavity map)

(5) 메탈릭 맵(Metallic map)

(1) 베이스 컬러 맵(Base color map)은, 기초(무늬)로 되는 색정보이다.

(2) 샤이니니스 맵(Shininess map)은, 물질의 매끄러움을 제어하는 텍스처 맵이며, 휘도가 높은 개소일수록 스페큘러(경면 반사)가 날카로워진다. 흑색(0, 0)이 완전 확산 반사이며, 백색(1, 0)이 완전 경면 반사이다.

구체적으로는, 광택도이며, 예를 들어 얼굴의 부위마다의 광택의 차를 표현할 수 있다.

(3) 노멀 맵(Normal map)은, 미세 요철을 표현하는 텍스처 맵이며, 주름, 점 등 얼굴의 미세한 요철을 표현할 수 있다.

(4) 캐비티 맵(Cavity map)은, 스페큘러(경면 반사)의 강도를 억제하고 싶을 때 사용한다. 예를 들어, 모공이나 기미 등 미소한 그림자를 생성할 수 있다.

(5) 메탈릭 맵(Metallic map)은, 금속 정도의 제어를 행하는 경우에 이용되는 텍스처 맵이며, 흑색(0, 0)이 비금속, 백색(1, 0)이 금속에 상당한다. 예를 들어, 금속 부재 부분에 적용하면 금속의 질감을 표현할 수 있다.

이와 같이, 텍스처는, 각각이 상이한 효과를 갖는 복수의 텍스처 맵을 합성하여 생성하는 것이 가능한 화상 데이터이다.

스텝 S107에서는, 렌더링에 의해 생성하는 3차원 화상의 각 메시에 설정하는 머티리얼의 요소인 텍스처를 결정한다.

이 텍스처의 결정 처리에는, 기억부(DB)(204)에 저장된 템플릿 데이터베이스(224)를 이용한다.

템플릿 데이터베이스(224)는, 앞서 도 7을 참조하여 설명한 바와 같이,

속성 정보와, 머티리얼의 대응 데이터이다.

속성 정보에는, 피사체 속성 정보와, 부위 속성 정보가 포함된다.

머티리얼은, 텍스처 맵으로 구성된다.

피사체 속성 정보는, 예를 들어 「성별」, 「연령」, 「인종」, 「피부질」 등의 피사체인 인물의 속성 정보이다.

부위 속성 정보는, 예를 들어 눈, 코, 눈썹, 볼(치크) 등의 사람의 얼굴의 각 부위 식별 정보로 되는 속성 정보이다.

이들 속성 정보는, 스텝 S102에 있어서 취득되는 정보이다. 예를 들어, 앞서 도 4를 참조하여 설명한 사전 처리, 도 5를 참조하여 설명한 실시간 처리에 있어서, 송신 장치(110)로부터 수신하는 화상 데이터에 기초하여 취득 가능하고, 또한 유저 입력 정보에 기초하여 취득해도 된다.

도 7에 나타내는 바와 같이 템플릿 데이터베이스는, 속성 정보와 머티리얼의 대응 데이터이다.

화상 처리 장치(200)의 화상 처리부(203)가, 실시간 처리에 의해 CG 효과를 실시한 3D 화상을 생성하는 처리를 행하는 경우, 화상 처리부(203)는, 이 템플릿 데이터베이스를 참조하여, 송신 장치(110)로부터 수신하는 피사체 화상, 예를 들어 인물의 촬영 화상으로부터 검출된 사람의 눈, 코, 볼(치크) 등의 부위에 설정해야 할 머티리얼을 바로 취득할 수 있다.

도 7에 나타내는 템플릿 데이터베이스(224)의 구성에서는, 머티리얼로서 텍스처 맵을 기록하고 있다.

즉, 속성 정보(피사체 속성과 부위 속성)에 따라 적용하는 텍스처 맵의 설정이 기록되어 있다.

구체적으로는, 예를 들어 20 내지 35세의 백인 여성의 보통 피부라는 피사체 속성의

(a) 눈의 주위의 영역의 메시에 첩부하는 텍스처 맵의 설정,

(b) 콧날의 영역의 메시에 첩부하는 텍스처 맵의 설정,

(c) 눈썹의 영역의 메시에 첩부하는 텍스처 맵의 설정,

(d) 볼(치크)의 영역의 메시에 첩부하는 텍스처 맵의 설정,

…

이들 피사체 속성과 부위 속성에 대응하여 적용할 텍스처 맵이 등록되어 있다.

이 템플릿 데이터베이스를 이용함으로써, 송신 장치(110)로부터 송신되는 피사체 영상을 구성하는 프레임 단위로, 피사체 구성 요소 단위(부위 단위)의 최적의 머티리얼 설정을 단시간에 행하는 것이 가능해져, 3D 화상 생성을 실시간 처리로서 실행할 수 있다.

또한, 도 7에 나타내는 설정의 템플릿 데이터베이스를 이용한 처리를 행하는 경우, 텍스처는 템플릿 데이터베이스로부터 취득하고, 셰이더에 대해서는, 프레임 단위로 그때마다 계산 처리를 실행하여 메시 내의 픽셀 단위의 묘화색의 결정 처리를 행하게 된다.

전술한 바와 같이, 도 8에 나타내는 템플릿 데이터베이스(224)는, 머티리얼로서 텍스처 맵과 셰이더를 기록하고 있다.

도 8에 나타내는 설정의 템플릿 데이터베이스를 이용하면, 텍스처뿐만 아니라 셰이더의 정보도 템플릿 데이터베이스로부터 취득하는 것이 가능하고, 프레임 단위, 피사체 구성 요소 단위(부위 단위)로 메시 내의 텍스처, 픽셀마다의 묘화색의 결정이 가능해진다.

또한, 도 7이나 도 8에 나타내는 템플릿 데이터베이스를 이용한 머티리얼 설정을 행하는 경우, 유저의 기호에 따른 템플릿 데이터베이스의 설정 변경을 행하는 것도 가능하다.

예를 들어, 코 영역에 설정하는 머티리얼로서, 미리 디폴트 데이터로서 설정된 머티리얼을 이용하는 구성도 가능하지만, 예를 들어 콧날을 보다 강조한 텍스처를 갖는 머티리얼을 설정하도록 변경한다는 처리를 행하는 것도 가능하다.

혹은 볼(치크)에 설정하는 머티리얼로서, 예를 들어 보다 매끄러운 피부질로 보이는 텍스처를 갖는 머티리얼을 설정하도록 변경한다는 처리를 행하는 것도 가능하다.

(스텝 S108)

스텝 S108에서는, 렌더링부(214)가, 3D 모델에 대해서, 머티리얼을 적용시키는 렌더링을 실행한다.

이 처리는, 스텝 S107에 있어서, 템플릿 데이터베이스(224)로부터 취득되는 속성 정보(피사체 속성과 부위 속성) 대응의 텍스처 맵을 이용하여, 각 부위의 메시에 머티리얼 설정, 즉 텍스처의 첩부를 행한다. 또한, 픽셀 단위의 묘화색의 결정 알고리즘인 셰이더를 적용하여 픽셀 단위의 묘화색의 결정 처리를 행한다.

또한, 도 8에 나타내는 템플릿 데이터베이스(224)를 이용한 경우는, 텍스처뿐만 아니라 셰이더의 정보도 템플릿 데이터베이스로부터 취득 가능하고, 프레임 단위, 피사체 구성 요소 단위(부위 단위)로 메시 내의 텍스처, 픽셀마다의 묘화색의 결정이 가능해진다.

(스텝 S109)

마지막으로, 스텝 S109에 있어서, 표시부(205)가 스텝 S108에서 생성한 렌더링 결과를 표시한다.

또한, 스텝 S101 내지 S109의 처리는, 화상 입력부(201)가 입력하는 화상 프레임마다 실행한다.

이 처리는, 실시간 처리로서 실행되며, 예를 들어 도 5에 나타내는 송신 장치(110)측에서 촬영된 화상이, 실시간으로, 수신 장치(120)측에서 CG 효과가 실시된 3차원 화상으로서 표시되게 된다.

이 실시간 처리를 실현 가능하게 하고 있는 하나의 큰 요소는, 템플릿 데이터베이스이다.

즉, 피사체 속성과 부위 속성에 대응하여 적용해야 할 텍스처 맵이 등록된 템플릿 데이터베이스를 이용함으로써, 송신 장치(110)로부터 송신되는 피사체 영상을 구성하는 프레임 단위로, 피사체 구성 요소 단위(부위 단위)의 최적의 머티리얼 설정을 단시간에 행하는 것이 가능해져, 3D 화상 생성을 실시간 처리로서 실행할 수 있다.

[5. 유저 입력 정보에 기초한 커스터마이즈를 행한 3D 화상을 생성하는 처리예에 대해서]

다음으로, 유저 입력 정보에 기초한 커스터마이즈를 행한 3D 화상을 생성하는 처리예에 대해서 설명한다.

도 6에 나타내는 화상 처리 장치(200)는, 유저 입력부(202)를 통해, 렌더링에 의해 생성하는 3차원 화상의 커스터마이즈 정보를 입력하는 것이 가능하다.

예를 들어, 얼굴의 화장 설정 정보, 구체적으로는, 립스틱의 색, 볼 연지의 색, 도포 영역, 눈썹의 설정 등의 여러 가지 설정 정보를 커스터마이즈 정보로서 입력 가능하다.

화상 처리 장치(200)의 화상 처리부(203)는, 유저 입력부(202)를 통해 입력되는 커스터마이즈 정보를 이용하여 표시부(205)에 표시하는 3차원 화상의 렌더링을 행할 수 있다.

예를 들어, 화상 입력부(201)를 촬상부로서 설정하고, 촬상부가 촬영한 자신의 얼굴 화상에 대해서, 메이크업을 실시한 3D 화상을 생성하여 표시부(205)에 표시한다는 처리를 행하는 것이 가능하다.

이와 같은 처리에 있어서, 피사체를 리얼하게 재현한 3D 화상이 아닌, 자신의 이상으로 되는 피부질이나, 메이크업이 되는 머티리얼을 적용함으로써, 스티커 사진(프리쿠라)의 아름다운 피부결이나, 버추얼 메이크업의 효과를 반영한 3D 화상을 생성하여 표시한다는 처리가 가능해진다.

본 실시예에서는, 여러 가지 커스터마이즈(수정, 변경)를 허용한 속성 정보-머티리얼 대응 데이터인 템플릿 데이터베이스를 이용한 처리를 행한다.

본 실시예에 있어서 적용하는 템플릿 데이터베이스의 예에 대해서, 도 18을 참조하여 설명한다.

템플릿 데이터베이스(224)는, 도 18에 나타내는 바와 같이,

유저에 의한 수정, 변경 가능한 정보인 커스터마이즈 가능한 속성 정보와, 머티리얼의 대응 데이터이다.

커스터마이즈 가능한 속성 정보에는, 피사체 속성 정보와, 부위 속성 정보가 포함된다.

커스터마이즈 가능한 머티리얼은, 텍스처 맵으로 구성된다.

피사체 속성 정보는, 예를 들어 「성별」, 「연령」, 「인종」, 「피부질」 등의 피사체인 인물의 커스터마이즈 가능한 속성 정보이다.

부위 속성 정보는, 예를 들어 눈, 코, 눈썹, 볼(치크) 등의 사람의 얼굴의 각 부위의 식별 정보로 되는 커스터마이즈 가능한 정보이다.

본 실시예에 있어서, 속성 정보와 머티리얼의 대응 관계는, 유저 입력부(202)로부터 입력하는 유저 입력 정보에 기초하여 설정, 변경이 가능하다.

화상 처리 장치(200)의 화상 처리부(203)가, 실시간 처리에 의해 CG 효과를 실시한 3D 화상을 생성하는 처리를 행하는 경우, 화상 처리부(203)는, 이 템플릿 데이터베이스를 참조하여, 송신 장치(110)로부터 수신하는 피사체 화상, 예를 들어 인물의 촬영 화상으로부터 검출된 사람의 눈, 코, 볼(치크) 등의 부위에 설정해야 할 머티리얼을 바로 취득할 수 있다.

즉, 이 템플릿 데이터베이스를 이용함으로써, 화상 입력부(201)를 통해 입력하는 피사체 영상을 구성하는 프레임 단위로, 피사체 구성 요소 단위(부위 단위)의 최적의 머티리얼 설정을 단시간에 행하는 것이 가능해져, 3D 화상 생성을 실시간 처리로서 실행할 수 있다.

또한, 도 18에 나타내는 템플릿 데이터베이스(224)의 구성에서는, 머티리얼로서 텍스처 맵만을 기록하고 있으며, 셰이더에 대해서는 기록하고 있지 않다.

셰이더는, 전술한 바와 같이, 메시 내의 화소(픽셀)마다의 묘화색을 계산하는 알고리즘이다. 도 18에 나타내는 설정의 템플릿 데이터베이스를 이용한 처리를 행하는 경우, 텍스처는 템플릿 데이터베이스로부터 취득하고, 셰이더에 대해서는, 프레임 단위로 그때마다 계산 처리를 실행하여 메시 내의 픽셀 단위의 묘화색의 결정 처리를 행하게 된다.

도 18에 나타내는 템플릿 데이터베이스(224)와 상이한 설정으로 한 템플릿 데이터베이스(204)의 구성예를 도 19에 나타낸다.

도 19에 나타내는 템플릿 데이터베이스(224)는, 머티리얼로서 텍스처 맵과 셰이더를 기록하고 있다.

도 19에 나타내는 설정의 템플릿 데이터베이스를 이용하면, 텍스처뿐만 아니라 셰이더의 정보도 템플릿 데이터베이스로부터 취득하는 것이 가능하고, 프레임 단위, 피사체 구성 요소 단위(부위 단위)로 메시 내의 텍스처, 픽셀마다의 묘화색의 결정이 가능해진다.

본 실시예에서는, 이와 같이 여러 가지 커스터마이즈 가능한 속성 정보와 머티리얼을 대응지은 템플릿 데이터베이스를 이용한 처리를 행한다.

이와 같이, 여러 가지 커스터마이즈 가능한 속성 정보와 머티리얼을 대응지은 템플릿 데이터베이스를 이용함으로써, 예를 들어 피사체를 리얼하게 재현한 3D 화상이 아닌, 자신의 이상으로 되는 피부질이나, 메이크업이 되는 머티리얼의 적용이 가능하고, 버추얼 메이크업의 효과를 반영한 3D 화상을 생성하여 표시하는 것이 가능해진다.

도 20에 나타내는 흐름도는, 유저 입력부(202)를 통해 입력되는 커스터마이즈 정보를 이용하여 표시부(205)에 표시하는 3차원 화상의 렌더링을 행하는 처리 시퀀스를 설명하는 흐름도이다.

이하, 이 흐름도에 따라서, 도 6에 나타내는 화상 처리 장치(200)(＝도 5의 수신 장치(120))가 실행하는 유저 입력 정보를 반영한 3차원 화상 생성 처리의 구체예에 대해서 설명한다.

또한, 도 20에 나타내는 흐름도에 따른 처리는, 예를 들어 화상 처리 장치의 기억부에 저장된 프로그램에 따라서, 프로그램 실행 기능을 갖는 CPU 등을 구비한 컨트롤러로 이루어지는 데이터 처리부의 제어 하에 실행된다.

도 20에 나타내는 플로우의 각 스텝의 처리에 대해서, 순차, 설명한다.

(스텝 S201)

먼저, 스텝 S201에 있어서, 화상 처리 장치(200)의 유저 입력부(202)를 통해 입력되는 유저 입력 정보로부터, 유저가 희망하는 커스터마이즈 정보(CG 효과 등)를 취득한다.

(스텝 S202)

다음으로, 화상 처리 장치(200)의 화상 입력부(201)가, 3D 화상의 생성원으로 되는 촬영 화상(텍스처)을 입력한다.

또한, 이 플로우에 나타내는 스텝 S202 내지 S209의 처리는, 화상 입력부(201)로부터 입력하는 피사체의 촬영 영상을 구성하는 화상 프레임마다 실행된다.

즉, 최종적인 스텝 S209에서는, 입력 화상 프레임 단위로 CG 효과를 부여한 3D 화상의 렌더링이 행해지게 된다.

(스텝 S203 내지 S206)

다음의 스텝 S203 내지 S206의 처리는, 앞서 도 9에 나타내는 흐름도를 참조하여 설명한 스텝 S103 내지 S106의 처리와 마찬가지의 처리이다.

즉, 이하의 처리를 실행한다.

스텝 S203에 있어서, 특징량 추출부(211a)가, 스텝 S202에서 입력된 촬영 화상의 특징량에 기초하여, 피사체(사람)의 각 부위(얼굴 기관인 눈, 비구, 눈썹이나, 피부 영역, 몸 부위, 머리카락, 의복 등) 대응의 구분 영역을 설정한다.

예를 들어, 앞서 도 10을 참조하여 설명한 얼굴 기관인 눈, 비구, 눈썹 등의 특징점에 기초하여, 각 부위(얼굴 기관인 눈, 비구, 눈썹이나, 피부 영역, 몸 부위, 머리카락, 의복 등) 대응의 구분 영역을 설정한다.

다음으로, 스텝 S204에 있어서, 마스크 화상 생성부(213a)가, 특징량에 기초한 구분 영역 단위의 머티리얼 설정을 행하기 위해서 적용하는 마스크 화상을 생성한다.

예를 들어, 먼저 도 11을 참조하여 설명한 여러 가지 부위 대응의 마스크 화상을 생성한다.

또한, 스텝 S205에 있어서, 메시 취득부(212a)가, 촬영 화상 대응의 3D 모델에 메시를 설정하고, 메시 분할부(212b)가, 마스크 화상에 따른 메시 분할 처리를 실행한다.

전술한 바와 같이, 메시는, 3차원 모델의 미세한 분할 영역인 삼각형이나 사각형 등의 다각형 영역이다.

이 메시에 머티리얼을 설정함으로써, 3차원 화상의 묘화 처리, 렌더링이 행해진다. 3차원 화상을 묘화(렌더링)하는 경우, 메시 단위로 최적의 머티리얼을 설정할 필요가 있다.

3차원 모델의 구성 요소로 되는 메시에 대해서, 그 메시의 실제의 재질에 가까운 머티리얼, 구체적으로는, 텍스처나 셰이더를 설정함으로써, 리얼리티가 있는 3차원 모델 데이터를 생성할 수 있다.

스텝 S205에서는, 먼저, 메시 취득부(212a)가, 입력 촬영 화상에 대응하는 3차원 모델 상에 메시를 설정하고, 또한 메시 분할부(212b)가, 스텝 S204에서 생성한 마스크 화상에 따른 메시 분할 처리를 실행한다.

다음으로, 스텝 S206에 있어서, 모델 추가부(212c)가, 특징량 정보에 기초하여, 기억부(DB)(204)에 저장된 3차원 모델을 설치한다. 예를 들어, 안구의 앞에 각막 모델을 설치하는 처리 등을 실행한다.

또한, 3차원 모델은, 기억부(DB)(204)에 미리 저장되어 있다.

(스텝 S207)

다음으로, 스텝 S207에 있어서, 텍스처 맵 생성부(213b)가, 각 머티리얼에 필요한 텍스처 맵(베이스 컬러, 샤이니니스, 캐비티, 노멀 등)을, 도 18, 도 19를 참조하여 설명한 커스터마이즈 가능한 템플릿 데이터베이스에 따라서 생성한다.

도 18, 도 19를 참조하여 설명한 커스터마이즈 가능한 템플릿 데이터베이스를 이용함으로써, 화상 입력부(201)를 통해 입력하는 피사체 영상을 구성하는 프레임 단위로, 부위 단위의 최적의 머티리얼 설정을 단시간에 행하는 것이 가능해져, 3D 화상 생성을 실시간 처리로서 실행할 수 있다.

스텝 S207에서는, 렌더링에 의해 생성하는 3차원 화상의 각 메시에 설정하는 머티리얼의 요소인 텍스처를 결정한다.

이 텍스처의 결정 처리에는, 기억부(DB)(204)에 저장된 템플릿 데이터베이스(224), 즉 커스터마이즈 가능한 속성 정보와, 머티리얼의 대응 데이터를 이용한다.

커스터마이즈 정보는, 스텝 S201에 있어서 취득되는 유저 입력 정보가 적용 가능하다.

예를 들어, 도 18에 나타내는 템플릿 데이터베이스(224)의 구성에서는, 머티리얼로서 텍스처 맵을 기록하고 있다.

즉, 커스터마이즈 가능한 속성 정보에 따라 적용하는 텍스처 맵의 설정이 기록되어 있다.

구체적으로는, 예를 들어 20 내지 35세의 백인 여성의 보통 피부라는 커스터마이즈 정보를 적용한 경우, 그 커스터마이즈 정보에 대응하는,

(a) 눈의 주위의 영역의 메시에 첩부하는 텍스처 맵의 설정,

(b) 콧날의 영역의 메시에 첩부하는 텍스처 맵의 설정,

(c) 눈썹의 영역의 메시에 첩부하는 텍스처 맵의 설정,

(d) 볼(치크)의 영역의 메시에 첩부하는 텍스처 맵의 설정,

…

이들 커스터마이즈된 속성 정보 대응의 텍스처 맵이 등록되어 있다.

이 템플릿 데이터베이스를 이용함으로써, 화상 입력부로부터 입력되는 피사체 영상을 구성하는 프레임 단위로, 부위 단위의 최적의 머티리얼 설정을 단시간에 행하는 것이 가능해져, 3D 화상 생성을 실시간 처리로서 실행할 수 있다.

또한, 도 18에 나타내는 설정의 템플릿 데이터베이스를 이용한 처리를 행하는 경우, 텍스처는 템플릿 데이터베이스로부터 취득하고, 셰이더에 대해서는, 프레임 단위로 그때마다 계산 처리를 실행하여 메시 내의 픽셀 단위의 묘화색의 결정 처리를 행하게 된다.

전술한 바와 같이, 도 19에 나타내는 템플릿 데이터베이스(224)는, 머티리얼로서 텍스처 맵과 셰이더를 기록하고 있다.

도 19에 나타내는 설정의 템플릿 데이터베이스를 이용하면, 텍스처뿐만 아니라 셰이더의 정보도 템플릿 데이터베이스로부터 취득하는 것이 가능하고, 프레임 단위, 부위 단위로 메시 내의 텍스처, 픽셀마다의 묘화색의 결정이 가능해진다.

(스텝 S208)

스텝 S208에서는, 렌더링부(214)가, 3D 모델에 대해서, 머티리얼을 적용시키는 렌더링을 실행한다.

이 처리는, 스텝 S207에 있어서, 템플릿 데이터베이스(224)로부터 취득되는 커스터마이즈된 속성 정보 대응의 텍스처 맵을 이용하여, 각 부위의 메시에 머티리얼 설정, 즉 텍스처의 첩부를 행한다. 또한, 픽셀 단위의 묘화색의 결정 알고리즘인 셰이더를 적용하여 픽셀 단위의 묘화색의 결정 처리를 행한다.

(스텝 S209)

마지막으로, 스텝 S209에 있어서, 표시부(205)가 스텝 S208에서 생성한 렌더링 결과를 표시한다.

또한, 스텝 S201 내지 S209의 처리는, 화상 입력부(201)가 입력하는 화상 프레임마다 실행한다.

이 처리는, 실시간 처리로서 실행된다.

이 실시간 처리를 실현 가능하게 하고 있는 하나의 큰 요소는, 템플릿 데이터베이스이다.

즉, 여러 가지 유저 요구에 의해 수정, 변경(커스터마이즈) 가능한 속성 정보 대응의 텍스처 맵이 등록된 템플릿 데이터베이스를 이용함으로써, 화상 입력부(201)로부터 입력되는 피사체 영상을 구성하는 프레임 단위로, 피사체 구성 요소 단위의 최적의 머티리얼 설정을 단시간에 행하는 것이 가능해져, 3D 화상 생성을 실시간 처리로서 실행할 수 있다.

[6. 화상 처리 장치의 하드웨어 구성예에 대해서]

다음으로, 도 21을 참조하여 도 6에 나타내는 화상 처리 장치(200)나, 도 3 내지 도 5에 나타내는 송신 장치(110), 수신 장치(120)의 하드웨어 구성예에 대해서 설명한다.

도 21은, 도 6에 나타내는 화상 처리 장치(200)나, 도 3 내지 도 5에 나타내는 송신 장치(110), 수신 장치(120)에 상당하는 화상 처리 장치(300)의 하드웨어 구성예를 나타내고 있다.

화상 처리 장치(300)는, 예를 들어 구체적으로는, PC(Personal Computer), 태블릿 PC, 스마트폰, 태블릿 단말기 등의 정보 처리 장치여도 된다.

동 도면에 있어서, 화상 처리 장치(100)는, 컨트롤러(301), ROM(Read Only Memory)(302), RAM(Random Access Memory)(303), 입출력 인터페이스(305), 및 이들을 서로 접속하는 버스(304)를 구비한다.

컨트롤러(301)는, 필요에 따라 RAM(303) 등에 적절히 액세스하여, 각종 연산 처리를 행하면서 화상 처리 장치(300)의 각 블록 전체를 통괄적으로 제어한다. 컨트롤러(301)는, CPU(Central Processing Unit), GPU(Graphics Processing Unit) 등이어도 된다. ROM(302)은, 컨트롤러(301)에 실행시키는 OS, 프로그램이나 각종 파라미터 등 펌웨어가 고정적으로 기억되어 있는 불휘발성의 메모리이다. RAM(303)은, 컨트롤러(301)의 작업용 영역 등으로서 사용되고, OS, 실행 중인 각종 애플리케이션, 처리 중인 각종 데이터를 일시적으로 유지한다.

입출력 인터페이스(305)에는, 입력부(306), 출력부(307), 기억부(308), 통신부(309), 및 리무버블 미디어(311)를 장착 가능한 드라이브(310) 등이 접속된다.

또한, 입출력 인터페이스(105)는, 이들 각 요소 외에, USB(Universal Serial Bus) 단자나 IEEE 단자 등을 통해 외부 주변 기기와 접속 가능하게 구성되어도 된다.

입력부(306)는, 예를 들어 도 6에 나타내는 화상 처리 장치(200)의 화상 입력부(201), 유저 입력부(202) 등을 포함하는 입력부이다. 화상 입력부는, 예를 들어 촬상부 등으로 구성 가능하다.

입력부(306)에는, 예를 들어 마우스 등의 포인팅 디바이스, 키보드, 터치 패널, 그 밖의 입력 장치도 포함된다.

출력부(307)는, 도 6에 나타내는 화상 처리 장치(200)의 표시부(205)로 구성된다.

기억부(308)는, 도 6에 나타내는 화상 처리 장치(200)의 기억부(DB)(204)에 상당한다. 예를 들어 HDD(Hard Disk Drive)나, 플래시 메모리(SSD; Solid State Drive), 그 밖의 고체 메모리 등의 불휘발성 메모리이다. 기억부(308)에는, OS나 각종 애플리케이션, 각종 데이터가 기억된다. 기억부(308)는, 또한 입력 화상이나, 화상 정보, 생성한 출력 화상군 등의 기억 영역으로서도 이용된다.

통신부(309)는, 예를 들어 Ethernet(등록 상표)용의 NIC(Network Interface Card)이며, 네트워크를 통한 통신 처리를 담당한다.

드라이브(310)는, 리무버블 미디어(311)를 이용한 데이터 기록, 재생 처리에 이용된다.

리무버블 미디어(311)는, 예를 들어 BD, DVD, CD, HDD, 플래시 메모리 등으로 구성된다.

[7. 본 개시의 구성의 정리]

이상, 특정한 실시예를 참조하면서, 본 개시의 실시예에 대해서 상세히 기슬하였다. 그러나, 본 개시의 요지를 벗어나지 않는 범위에서 당업자가 실시예의 수정이나 대용을 행할 수 있음은 자명하다. 즉, 예시라는 형태로 본 발명을 개시한 것이며, 한정적으로 해석되어서는 안된다. 본 개시의 요지를 판단하기 위해서는, 특허 청구 범위의 란을 참작해야 한다.

또한, 본 명세서에 있어서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.

(1) 입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,

상기 화상 처리부는,

상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행하는 화상 처리 장치.

(2) 상기 입력 화상은, 동화상 데이터이며,

상기 화상 처리부는,

상기 동화상 데이터를 구성하는 화상 프레임마다 새로운 3차원 화상의 생성 처리를 실행하는 (1)에 기재된 화상 처리 장치.

(3) 상기 입력 화상은, 동화상 데이터이며,

상기 화상 처리부는,

상기 동화상 데이터를 구성하는 화상 프레임마다, 3차원 화상의 구성 단위인 메시와, 머티리얼의 설정을 갱신하여 새로운 3차원 화상의 생성 처리를 실행하는 (1) 또는 (2)에 기재된 화상 처리 장치.

(4) 상기 템플릿 데이터베이스는,

상기 피사체의 구성 요소 단위의 머티리얼이 기록되어 있는 데이터베이스이며,

상기 화상 처리부는,

상기 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 상기 템플릿 데이터베이스로부터 취득하여 구성 요소 단위의 머티리얼 설정을 실행하는 (1) 내지 (3) 중 어느 것에 기재된 화상 처리 장치.

(5) 상기 입력 화상은 인물의 얼굴 화상을 포함하고,

상기 템플릿 데이터베이스는,

상기 입력 화상에 포함되는 인물의 얼굴의 구성 요소 단위의 머티리얼이 기록되어 있는 데이터베이스이며,

상기 화상 처리부는,

상기 입력 화상에 포함되는 인물의 얼굴의 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 상기 템플릿 데이터베이스로부터 취득하여, 얼굴의 구성 요소 단위의 머티리얼 설정을 실행하는 (1) 내지 (4) 중 어느 것에 기재된 화상 처리 장치.

(6) 상기 템플릿 데이터베이스는,

상기 머티리얼로서 텍스처를 포함하고,

상기 화상 처리부는,

상기 템플릿 데이터베이스로부터, 피사체 속성에 따른 텍스처를 선택하여 3차원 화상의 생성 처리를 실행하는 (1) 내지 (5) 중 어느 것에 기재된 화상 처리 장치.

(7) 상기 템플릿 데이터베이스는,

상기 머티리얼로서 텍스처와 셰이더를 포함하고,

상기 화상 처리부는,

상기 템플릿 데이터베이스로부터, 피사체 속성에 따른 텍스처와 셰이더를 선택하여 3차원 화상의 생성 처리를 실행하는 (1) 내지 (6) 중 어느 것에 기재된 화상 처리 장치.

(8) 상기 화상 처리부는,

상기 입력 화상으로부터 특징량을 추출하는 특징량 추출부를 갖고,

특징량 추출부가 추출한 특징량에 기초하여, 피사체의 구성 요소를 식별하고,

식별된 구성 요소 단위의 머티리얼 설정을 행하는 (1) 내지 (7) 중 어느 것에 기재된 화상 처리 장치.

(9) 상기 화상 처리부는,

상기 입력 화상으로부터 특징량을 추출하는 특징량 추출부를 갖고,

특징량 추출부가 추출한 특징량에 기초하여, 피사체의 구성 요소를 식별하고,

식별된 구성 요소 단위의 마스크 화상 생성 처리를 행하는 (1) 내지 (8) 중 어느 것에 기재된 화상 처리 장치.

(10) 상기 화상 처리부는,

피사체의 구성 요소에 따라서, 머티리얼 설정 단위로 되는 메시의 분할 처리를 실행하는 메시 분할부를 갖는 (1) 내지 (9) 중 어느 것에 기재된 화상 처리 장치.

(11) 상기 피사체의 속성 정보는,

성별, 연령, 인종, 피부질의 적어도 어느 것을 포함하는 (1) 내지 (10) 중 어느 것에 기재된 화상 처리 장치.

(12) 상기 피사체의 속성 정보는,

상기 입력 화상의 해석 처리에 의해 취득되는 속성 정보, 또는 유저 입력에 의해 취득되는 속성 정보인 (1) 내지 (11) 중 어느 것에 기재된 화상 처리 장치.

(13) 상기 템플릿 데이터베이스에 저장된 속성 정보와 머티리얼의 대응 데이터는, 유저에 따른 커스터마이즈 가능한 데이터이며,

유저 입력부를 통해 입력되는 입력 정보에 따라, 속성 정보와 머티리얼의 대응 데이터를 변경할 수 있는 구성을 갖는 (1) 내지 (12) 중 어느 것에 기재된 화상 처리 장치.

(14) 상기 입력 화상은,

네트워크를 통해 수신하는 화상인 (1) 내지 (13) 중 어느 것에 기재된 화상 처리 장치.

(15) 화상을 송신하는 송신 장치와,

상기 송신 장치로부터의 입력 화상에 대한 가공 처리를 실행하고, 3차원 화상을 생성하여 표시부에 표시하는 수신 장치를 갖고,

상기 수신 장치의 화상 처리부는,

상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 상기 3차원 화상의 생성 처리를 실행하는 화상 처리 시스템.

(16) 상기 화상은, 동화상 데이터이며,

상기 수신 장치의 화상 처리부는,

상기 동화상 데이터를 구성하는 화상 프레임마다, 3차원 화상의 구성 단위인 메시와, 머티리얼의 설정을 갱신하여 새로운 3차원 화상의 생성 처리를 실행하는 (15)에 기재된 화상 처리 시스템.

(17) 상기 템플릿 데이터베이스는,

상기 피사체의 구성 요소 단위의 머티리얼이 기록되어 있는 데이터베이스이며,

상기 수신 장치의 화상 처리부는,

상기 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 상기 템플릿 데이터베이스로부터 취득하여 구성 요소 단위의 머티리얼 설정을 실행하는 (15) 또는 (16)에 기재된 화상 처리 시스템.

(18) 상기 입력 화상은 인물의 얼굴 화상을 포함하고,

상기 템플릿 데이터베이스는,

인물의 얼굴의 구성 요소 단위의 머티리얼이 기록되어 있는 데이터베이스이며,

상기 화상 처리부는,

상기 입력 화상에 포함되는 인물의 얼굴의 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 상기 템플릿 데이터베이스로부터 취득하여, 얼굴의 구성 요소 단위의 머티리얼 설정을 실행하는 (15) 내지 (17) 중 어느 것에 기재된 화상 처리 시스템.

(19) 화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,

상기 화상 처리 장치는,

입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,

상기 화상 처리부가,

상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행하는 화상 처리 방법.

(20) 화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,

상기 화상 처리 장치는,

입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,

상기 프로그램은, 상기 화상 처리부에,

상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행시키는 프로그램.

또한, 명세서 중에 있어서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷이라는 네트워크를 통해 프로그램을 수신하고, 내장한 하드 디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 명세서에 기재된 각종의 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별적으로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것으로 한정되지않는다.

이상, 설명한 바와 같이, 본 개시의 일 실시예의 구성에 의하면, 실시간으로의 입력 화상에 기초한 3D 화상 생성을 가능하게 한 장치, 방법이 실현된다.

구체적으로는, 예를 들어 입력 화상의 각 화상 프레임에 대한 가공 처리를 실행하여 3차원 화상을 생성한다. 입력 화상의 피사체의 속성 정보와 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상을 생성한다. 템플릿 데이터베이스는, 인물의 얼굴의 구성 요소 단위의 머티리얼이 기록되어 있으며, 화상 처리부는, 얼굴의 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 템플릿 데이터베이스로부터 취득하여, 얼굴의 구성 요소 단위로의 머티리얼 설정을 실행한다.

본 구성에 의해, 실시간으로의 입력 화상에 기초한 3D 화상 생성을 가능하게 한 장치, 방법이 실현된다.

110: 송신 장치
111: 화상 취득부
113: 3차원 모델 정보 생성부
114: 송신 정보 생성부
115: 통신부
120: 수신 장치
121: 통신부
122: 화상 처리부
123: 데이터베이스
124: 표시부
200: 화상 처리 장치
201: 화상 입력부
202: 유저 입력부
203: 화상 처리부
204: 기억부
205: 표시부
211: 화상 정보 해석부
211a: 특징량 추출부
211b: 속성 해석부
212: 메시 편집부
212a: 메시 취득부
212b: 메시 분할부
212c: 모델 추가부
213: 머티리얼 적용부
213a: 마스크 화상 생성부
213b: 텍스처 맵 생성부
214: 렌더링부
222: 마스크 화상
223: 피사체 속성 정보
224: 템플릿 데이터베이스
301: 컨트롤러
302: ROM
303: RAM
304: 버스
305: 입출력 인터페이스
306: 입력부
307: 출력부
308: 기억부
309: 통신부
310: 드라이브
311: 리무버블 미디어

Claims (20)

1. 입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,
   상기 화상 처리부는,
   상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행하는, 화상 처리 장치.
2. 제1항에 있어서,
   상기 입력 화상은, 동화상 데이터이며,
   상기 화상 처리부는,
   상기 동화상 데이터를 구성하는 화상 프레임마다 새로운 3차원 화상의 생성 처리를 실행하는, 화상 처리 장치.
3. 제1항에 있어서,
   상기 입력 화상은, 동화상 데이터이며,
   상기 화상 처리부는,
   상기 동화상 데이터를 구성하는 화상 프레임마다, 3차원 화상의 구성 단위인 메시와, 머티리얼의 설정을 갱신하여 새로운 3차원 화상의 생성 처리를 실행하는, 화상 처리 장치.
4. 제1항에 있어서,
   상기 템플릿 데이터베이스는,
   상기 피사체의 구성 요소 단위의 머티리얼이 기록되어 있는 데이터베이스이며,
   상기 화상 처리부는,
   상기 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 상기 템플릿 데이터베이스로부터 취득하여 구성 요소 단위의 머티리얼 설정을 실행하는, 화상 처리 장치.
5. 제1항에 있어서,
   상기 입력 화상은 인물의 얼굴 화상을 포함하고,
   상기 템플릿 데이터베이스는,
   상기 입력 화상에 포함되는 인물의 얼굴의 구성 요소 단위의 머티리얼이 기록되어 있는 데이터베이스이며,
   상기 화상 처리부는,
   상기 입력 화상에 포함되는 인물의 얼굴의 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 상기 템플릿 데이터베이스로부터 취득하여, 얼굴의 구성 요소 단위의 머티리얼 설정을 실행하는, 화상 처리 장치.
6. 제1항에 있어서,
   상기 템플릿 데이터베이스는,
   상기 머티리얼로서 텍스처를 포함하고,
   상기 화상 처리부는,
   상기 템플릿 데이터베이스로부터, 피사체 속성에 따른 텍스처를 선택하여 3차원 화상의 생성 처리를 실행하는, 화상 처리 장치.
7. 제1항에 있어서,
   상기 템플릿 데이터베이스는,
   상기 머티리얼로서 텍스처와 셰이더를 포함하고,
   상기 화상 처리부는,
   상기 템플릿 데이터베이스로부터, 피사체 속성에 따른 텍스처와 셰이더를 선택하여 3차원 화상의 생성 처리를 실행하는, 화상 처리 장치.
8. 제1항에 있어서,
   상기 화상 처리부는,
   상기 입력 화상으로부터 특징량을 추출하는 특징량 추출부를 갖고,
   특징량 추출부가 추출한 특징량에 기초하여, 피사체의 구성 요소를 식별하고,
   식별된 구성 요소 단위의 머티리얼 설정을 행하는, 화상 처리 장치.
9. 제1항에 있어서,
   상기 화상 처리부는,
   상기 입력 화상으로부터 특징량을 추출하는 특징량 추출부를 갖고,
   특징량 추출부가 추출한 특징량에 기초하여, 피사체의 구성 요소를 식별하고,
   식별된 구성 요소 단위의 마스크 화상 생성 처리를 행하는, 화상 처리 장치.
10. 제1항에 있어서,
    상기 화상 처리부는,
    피사체의 구성 요소에 따라서, 머티리얼 설정 단위로 되는 메시의 분할 처리를 실행하는 메시 분할부를 갖는, 화상 처리 장치.
11. 제1항에 있어서,
    상기 피사체의 속성 정보는,
    성별, 연령, 인종, 피부질의 적어도 어느 것을 포함하는, 화상 처리 장치.
12. 제1항에 있어서,
    상기 피사체의 속성 정보는,
    상기 입력 화상의 해석 처리에 의해 취득되는 속성 정보, 또는 유저 입력에 의해 취득되는 속성 정보인, 화상 처리 장치.
13. 제1항에 있어서,
    상기 템플릿 데이터베이스에 저장된 속성 정보와 머티리얼의 대응 데이터는, 유저에 따른 커스터마이즈 가능한 데이터이며,
    유저 입력부를 통해 입력되는 입력 정보에 따라, 속성 정보와 머티리얼의 대응 데이터를 변경할 수 있는 구성을 갖는, 화상 처리 장치.
14. 제1항에 있어서,
    상기 입력 화상은,
    네트워크를 통해 수신하는 화상인, 화상 처리 장치.
15. 화상을 송신하는 송신 장치와,
    상기 송신 장치로부터의 입력 화상에 대한 가공 처리를 실행하고, 3차원 화상을 생성하여 표시부에 표시하는 수신 장치를 갖고,
    상기 수신 장치의 화상 처리부는,
    상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 상기 3차원 화상의 생성 처리를 실행하는, 화상 처리 시스템.
16. 제15항에 있어서,
    상기 화상은, 동화상 데이터이며,
    상기 수신 장치의 화상 처리부는,
    상기 동화상 데이터를 구성하는 화상 프레임마다, 3차원 화상의 구성 단위인 메시와, 머티리얼의 설정을 갱신하여 새로운 3차원 화상 생성 처리를 실행하는, 화상 처리 시스템.
17. 제15항에 있어서,
    상기 템플릿 데이터베이스는,
    상기 피사체의 구성 요소 단위의 머티리얼이 기록되어 있는 데이터베이스이며,
    상기 수신 장치의 화상 처리부는,
    상기 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 상기 템플릿 데이터베이스로부터 취득하여 구성 요소 단위의 머티리얼 설정을 실행하는, 화상 처리 시스템.
18. 제15항에 있어서,
    상기 입력 화상은 인물의 얼굴 화상을 포함하고,
    상기 템플릿 데이터베이스는,
    인물의 얼굴의 구성 요소 단위의 머티리얼이 기록되어 있는 데이터베이스이며,
    상기 화상 처리부는,
    상기 입력 화상에 포함되는 인물의 얼굴의 구성 요소 단위의 마스크 화상을 적용하고, 각 구성 요소에 대한 머티리얼을 상기 템플릿 데이터베이스로부터 취득하여, 얼굴의 구성 요소 단위의 머티리얼 설정을 실행하는, 화상 처리 시스템.
19. 화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,
    상기 화상 처리 장치는,
    입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,
    상기 화상 처리부가,
    상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행하는, 화상 처리 방법.
20. 화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,
    상기 화상 처리 장치는,
    입력 화상에 기초한 3차원 화상 생성 처리를 실행하는 화상 처리부를 갖고,
    상기 프로그램은, 상기 화상 처리부에,
    상기 입력 화상의 피사체의 속성 정보와, 3차원 화상의 렌더링 요소인 머티리얼의 대응 데이터인 템플릿 데이터베이스를 참조하여 피사체 속성에 따른 머티리얼을 선택하여 3차원 화상의 생성 처리를 실행시키는, 프로그램.

Images