KR102378860B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR102378860B1
KR102378860B1 KR1020197000616A KR20197000616A KR102378860B1 KR 102378860 B1 KR102378860 B1 KR 102378860B1 KR 1020197000616 A KR1020197000616 A KR 1020197000616A KR 20197000616 A KR20197000616 A KR 20197000616A KR 102378860 B1 KR102378860 B1 KR 102378860B1
Authority
KR
South Korea
Prior art keywords
image
layer
texture
depth
unit
Prior art date
Application number
KR1020197000616A
Other languages
English (en)
Other versions
KR20190034525A (ko
Inventor
노부아키 이즈미
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20190034525A publication Critical patent/KR20190034525A/ko
Application granted granted Critical
Publication of KR102378860B1 publication Critical patent/KR102378860B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T3/0056—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 전천구 화상을 사용하여 소정 시점의 고화질 텍스처 화상을 생성할 수 있도록 하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다. 묘화부는, 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 사용하여, 소정 시점의 표시 화상을 생성한다. 본 개시는, 예를 들어 전천구 화상으로부터 소정 시점의 표시 화상을 생성하는 홈 서버 등에 적용할 수 있다.

Description

화상 처리 장치 및 화상 처리 방법
본 개시는 화상 처리 장치 및 화상 처리 방법에 관한 것이며, 특히 전천구 화상을 사용하여 소정 시점의 고화질 텍스처 화상을 생성할 수 있도록 한 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
멀티 카메라에 의해 촬영된 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 촬영 화상을 2D 화상(평면 화상)에 매핑한 전천구 화상을 생성하고, 부호화하여 기억하는 기억 장치가 있다(예를 들어, 특허문헌 1 참조).
또한, 기억 장치에 의해 기억된 전천구 화상의 부호화 스트림을 복호하고, 그 결과 얻어지는 전천구 화상을 사용하여 시청자의 시야 범위의 텍스처 화상을 표시시키는 재생 장치가 있다. 이러한 재생 장치는, 전천구 화상을 구나 입방체 등의 3D 모델의 표면 상에 첩부하고, 그 3D 모델의 내부의 1점인 시점에서, 시청자의 시선 방향의 3D 모델의 표면을 보았을 때의 시청자의 시야 범위의 텍스처 화상을 표시시킨다. 이에 의해, 소정 시점의 시청자의 시야 범위의 촬영 화상이 재현된다.
일본 특허 공개 제2006-14174호 공보
그러나, 전천구 화상의 생성 시의 시점과 재생 시의 시점이 상이한 경우, 생성된 재생 시의 시점의 시청자의 시야 범위의 텍스처 화상에, 전천구 화상의 생성 시의 시점의 오클루전 영역이 포함된다. 따라서, 재생 시의 시점의 시청자의 시야 범위의 텍스처 화상의 화질이 열화된다. 오클루전 영역이란, 앞의 피사체에 의해 은폐된 안쪽 피사체의 영역이다.
본 개시는, 이러한 상황에 비추어 이루어진 것이며, 전천구 화상을 사용하여 소정 시점의 고화질 텍스처 화상을 생성할 수 있도록 하는 것이다.
본 개시의 제1 측면의 화상 처리 장치는, 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 사용하여, 소정 시점의 텍스처 화상을 생성하는 화상 생성부를 구비하는 화상 처리 장치이다.
본 개시의 제1 측면의 화상 처리 방법은, 본 개시의 제1 측면의 화상 처리 장치에 대응한다.
본 개시의 제1 측면에 있어서는, 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 사용하여, 소정 시점의 텍스처 화상이 생성된다.
본 개시의 제2 측면의 화상 처리 장치는, 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 생성하는 화상 생성부를 구비하는 화상 처리 장치이다.
본 개시의 제2 측면의 화상 처리 방법은, 본 개시의 제2 측면의 화상 처리 장치에 대응한다.
본 개시의 제2 측면에 있어서는, 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상이 생성된다.
또한, 본 개시의 제1 및 제2 측면의 화상 처리 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.
또한, 본 개시의 제1 및 제2 측면의 화상 처리 장치를 실현하기 위해, 컴퓨터에 실행시키는 프로그램은, 전송 매체를 통하여 전송함으로써, 또는 기록 매체에 기록하여 제공할 수 있다.
본 개시의 제1 측면에 따르면, 화상을 생성할 수 있다. 또한, 본 개시의 제1 측면에 따르면, 전천구 화상을 사용하여 소정 시점의 고화질 텍스처 화상을 생성할 수 있다.
또한, 본 개시의 제2 측면에 따르면, 화상을 생성할 수 있다. 또한, 본 개시의 제2 측면에 따르면, 전천구 화상을 사용하여 소정 시점의 고화질 텍스처 화상을 생성할 수 있도록 화상을 생성할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은, 본 개시를 적용한 화상 표시 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 2는, 콘텐츠 서버의 구성예를 도시하는 블록도이다.
도 3은, 고해상도 화상 처리부의 구성예를 도시하는 블록도이다.
도 4는, 거리 z와 거리 r을 설명하는 도면이다.
도 5는, 3D 모델 좌표계의 X축의 변화를 도시하는 도면이다.
도 6은, 3D 모델 좌표계의 X축의 변화에 수반하는 최솟값 zmin과 최솟값 rmin의 변화를 설명하는 도면이다.
도 7은, 제1 레이어의 6개의 면의 뎁스 화상을 구에 매핑하였을 때의 각 화소의 구 상의 위치의 예를 도시하는 도면이다.
도 8은, 제1 레이어의 면의 예를 도시하는 도면이다.
도 9는, 제1 실시 형태에 있어서의 제1 레이어의 시점 위치 정보 및 면 정보의 테이블의 구성예를 도시하는 도면이다.
도 10은, 제1 레이어의 소정의 면에 대응하는 피사체의 깊이 방향의 위치를 도시하는 도면이다.
도 11은, 제1 레이어 및 제2 레이어의 텍스처 화상의 구성예를 도시하는 도면이다.
도 12는, 제1 레이어와 제2 레이어의 텍스처 화상의 예를 설명하는 도면이다.
도 13은, 제1 레이어와 제2 레이어의 텍스처 화상의 다른 예를 설명하는 도면이다.
도 14는, 제2 레이어의 시점의 제1 예를 도시하는 도면이다.
도 15는, 제2 레이어의 시점 위치 정보 및 면 정보의 테이블의 제1 구성예를 도시하는 도면이다.
도 16은, 제2 레이어의 시점의 제2 예를 도시하는 도면이다.
도 17은, 제2 레이어의 시점 위치 정보 및 면 정보의 테이블의 제2 구성예를 도시하는 도면이다.
도 18은, 스트림 생성 처리를 설명하는 흐름도이다.
도 19는, 홈 서버의 구성예를 도시하는 블록도이다.
도 20은, ML3D 모델 생성부의 구성예를 도시하는 블록도이다.
도 21은, 접속 정보의 예를 설명하는 도면이다.
도 22는, 접속 정보의 다른 예를 설명하는 도면이다.
도 23은, 샘플링점의 예를 설명하는 도면이다.
도 24는, 샘플링점의 다른 예를 설명하는 도면이다.
도 25는, 오클루전 처리를 설명하는 도면이다.
도 26은, 재생 처리를 설명하는 흐름도이다.
도 27은, 3차원 데이터 생성 처리의 상세를 설명하는 흐름도이다.
도 28은, 삼각형 패치 유효 무효 정보를 설명하는 도면이다.
도 29는, 본 개시를 적용한 화상 표시 시스템의 제2 실시 형태의 구성예를 도시하는 블록도이다.
도 30은, 투영면의 좌표계를 설명하는 도면이다.
도 31은, tan축 투영을 설명하는 도면이다.
도 32는, 투시 투영과 tan축 투영에 있어서의 투영점을 설명하는 도면이다.
도 33은, 투시 투영에 의해 생성된 제1 레이어의 고해상도 화상 상의 촬영 화상의 각 화소의 예를 도시하는 도면이다.
도 34는, tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상 상의 촬영 화상의 각 화소의 예를 도시하는 도면이다.
도 35는, 투시 투영 및 tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상 상의 촬영 화상의 각 화소의 다른 예를 도시하는 도면이다.
도 36은, 제3 실시 형태에 있어서의 제1 레이어의 시점 위치 정보 및 면 정보의 테이블의 구성예를 도시하는 도면이다.
도 37은, 제1 레이어의 텍스처 화상의 다른 예를 도시하는 도면이다.
도 38은, 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
도 39는, 차량 제어 시스템의 개략적인 구성의 일례를 도시하는 블록도이다.
도 40은, 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 도시하는 설명도이다.
이하, 본 개시를 실시하기 위한 형태(이하, 실시 형태라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태: 화상 표시 시스템(도 1 내지 도 28)
2. 제2 실시 형태: 화상 표시 시스템(도 29)
3. 제3 실시 형태: 화상 표시 시스템(도 30 내지 도 36)
4. 텍스처 화상의 다른 예(도 37)
5. 제4 실시 형태: 컴퓨터(도 38)
6. 응용예(도 39 및 도 40)
<제1 실시 형태>
(화상 표시 시스템의 제1 실시 형태의 구성예)
도 1은, 본 개시를 적용한 화상 표시 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 1의 화상 표시 시스템(10)은, 멀티 카메라(11), 콘텐츠 서버(12), 홈 서버(13), 변환 장치(14) 및 헤드 마운트 디스플레이(15)에 의해 구성된다. 화상 표시 시스템(10)은, 멀티 카메라(11)에 의해 촬영된 YCbCr 화상(YUV 화상)인 촬영 화상으로부터 전천구 화상을 생성하고, 전천구 화상 중 시청자의 시야 범위의 화상을 표시한다.
구체적으로는, 화상 표시 시스템(10)의 멀티 카메라(11)는, 수평 방향의 주위 360도 및 수직 방향의 주위 180도를 촬영 범위로 하여, 외향으로 배치된 복수(도 1의 예에서는 6개)의 카메라에 의해 구성된다. 각 카메라는, 촬영을 행하고, 촬영 화상을 프레임 단위로 생성한다. 멀티 카메라(11)는, 각 카메라의 촬영 화상을 콘텐츠 서버(12)에 공급한다.
콘텐츠 서버(12)(화상 처리 장치)는, 멀티 카메라(11)로부터 공급되는 각 카메라의 촬영 화상으로부터, 소정 시점의 전천구 화상의 텍스처 화상과 뎁스 화상을 생성한다. 제1 실시 형태에서는, 뎁스 화상은, 소정 시점에서 각 화소에 있어서의 피사체까지의 직선 거리 r을 나타내는 8비트의 값으로서의, 거리 r의 역수 1/r을 화소값으로 하는 화상이다.
콘텐츠 서버(12)는, 전천구 화상의 텍스처 화상과 뎁스 화상을 저해상도화하고, 저해상도 텍스처 화상과 저해상도 뎁스 화상을 생성한다. 콘텐츠 서버(12)는, 저해상도 텍스처 화상과 저해상도 뎁스 화상을, AVC(Advanced Video Coding)나 HEVC(High Efficiency Video Coding)/H.265 등의 부호화 방식으로 압축 부호화한다. 콘텐츠 서버(12)는, 그 결과 얻어지는 저해상도 텍스처 화상의 부호화 스트림(이하, 저해상도 텍스처 스트림이라고 함)과 저해상도 뎁스 화상의 부호화 스트림(이하, 저해상도 뎁스 스트림이라고 함)을 기억한다.
또한, 콘텐츠 서버(12)는, 각 카메라의 촬영 화상을 사용하여, 전천구 화상에 있어서의 시점을 중심으로 한 입방체를 구성하는 6개의 면에 대응하는 텍스처 화상과 뎁스 화상을 계층화하여 생성한다. 구체적으로는, 콘텐츠 서버(12)는, 6개의 면의 제1 레이어 및 제2 레이어의 텍스처 화상과 뎁스 화상을 생성한다. 또한, 전천구 화상에 있어서의 시점과 입방체의 중심은 상이해도 된다.
콘텐츠 서버(12)는, 각 면의 제1 레이어의 텍스처 화상과 뎁스 화상을 포함하는 제1 레이어 화상과, 각 면의 제2 레이어의 텍스처 화상과 뎁스 화상을 포함하는 제2 레이어 화상을, 면, 화상의 종류 및 레이어마다, AVC나 HEVC 등의 부호화 방식으로 압축 부호화한다. 콘텐츠 서버(12)는, 그 결과 얻어지는 각 면의 제1 레이어의 텍스처 화상의 부호화 스트림(이하, 제1 레이어 텍스처 스트림이라고 함), 제1 레이어의 뎁스 화상의 부호화 스트림(이하, 제1 레이어 뎁스 스트림이라고 함), 제2 레이어의 텍스처 화상의 부호화 스트림(이하, 제2 레이어 텍스처 스트림이라고 함) 및 제2 레이어의 뎁스 화상의 부호화 스트림(이하, 제2 레이어 뎁스 스트림이라고 함)을 기억한다. 또한, 제1 레이어 화상과 제2 레이어 화상의 부호화 방식은, MVC(Multiview Video Coding) 방식이나 3D-HEVC 방식 등이어도 된다.
또한, 콘텐츠 서버(12)는, 제1 레이어 및 제2 레이어의 각 면에 관한 정보 등을 메타데이터로서 생성하여, 기억한다. 콘텐츠 서버(12)는, 기억하고 있는 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를, 도시하지 않은 네트워크를 통하여 홈 서버(13)에 전송한다.
또한, 콘텐츠 서버(12)는, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을 재구성(상세는 후술함)할 수도 있다. 이 경우, 콘텐츠 서버(12)는, 재구성 후의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림과, 그것들에 대응하는 메타데이터를 홈 서버(13)에 전송할 수도 있다. 그러나, 이하에서는, 설명의 편의상, 재구성이 행해진 경우라도, 재구성 전의 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림이, 콘텐츠 서버(12)에 전송되는 것으로 한다.
홈 서버(13)(화상 처리 장치)는, 콘텐츠 서버(12)로부터 전송되어 오는, 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 수취한다.
또한, 홈 서버(13)는, 카메라(13A)를 내장하고, 시청자의 헤드부에 장착되는 헤드 마운트 디스플레이(15)에 부여된 마커(15A)를 촬영한다. 그리고, 홈 서버(13)는, 마커(15A)의 촬영 화상에 기초하여 시청 위치를 검출한다. 또한, 홈 서버(13)는, 헤드 마운트 디스플레이(15)의 자이로 센서(15B)의 검출 결과를, 헤드 마운트 디스플레이(15)로부터 변환 장치(14)를 통하여 수취한다. 홈 서버(13)는, 자이로 센서(15B)의 검출 결과에 기초하여 시청자의 시선 방향을 결정하고, 시청 위치와 시선 방향에 기초하여 시청자의 시야 범위를 결정한다.
홈 서버(13)는, 제1 레이어의 6개의 면 중, 시청자의 시선 방향에 대응하는 3개의 면을 선택한다. 그리고, 홈 서버(13)는, 선택된 3개의 면에 대응하는 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을 복호한다. 이에 의해, 홈 서버(13)는, 선택된 3개의 면에 대응하는 제1 레이어 및 제2 레이어의 텍스처 화상 및 뎁스 화상을 생성한다.
또한, 홈 서버(13)는, 저해상도 텍스처 스트림과 저해상도 뎁스 스트림을 복호하고, 저해상도 텍스처 화상과 저해상도 뎁스 화상을 생성한다. 홈 서버(13)는, 선택된 3개의 면에 대응하는 제1 레이어 및 제2 레이어의 텍스처 화상 및 뎁스 화상, 그리고 저해상도 텍스처 화상과 저해상도 뎁스 화상을 사용하여, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 홈 서버(13)는, 도시하지 않은 HDMI(등록 상표)(High-Definition Multimedia Interface) 케이블을 통하여 표시 화상을 변환 장치(14)에 전송한다.
변환 장치(14)는, 홈 서버(13)로부터 전송되어 오는 표시 화상에 있어서의 좌표를, 헤드 마운트 디스플레이(15)에 있어서의 좌표로 변환한다. 변환 장치(14)는, 좌표 변환 후의 표시 화상을 헤드 마운트 디스플레이(15)에 공급한다.
헤드 마운트 디스플레이(15)는, 마커(15A)와 자이로 센서(15B)를 갖고, 시청자의 헤드부에 장착된다. 헤드 마운트 디스플레이(15)는, 변환 장치(14)로부터 공급되는 표시 화상을 표시한다. 또한, 헤드 마운트 디스플레이(15)에 내장되는 자이로 센서(15B)는, 헤드 마운트 디스플레이(15)의 기울기를 검출하고, 그 검출 결과를, 변환 장치(14)를 통하여 홈 서버(13)에 전송한다.
(콘텐츠 서버의 구성예)
도 2는, 도 1의 콘텐츠 서버(12)의 구성예를 도시하는 블록도이다.
도 2의 콘텐츠 서버(12)는, 뎁스 검출부(31), 저해상도 화상 처리부(33) 및 고해상도 화상 처리부(34)에 의해 구성된다.
콘텐츠 서버(12)의 뎁스 검출부(31)는, 도 1의 멀티 카메라(11)로부터 공급되는 각 카메라의 촬영 화상의 화소마다, 그 화소에 있어서의 피사체를 포함하는 깊이 방향에 수직인 뎁스 평면과 카메라의 사이의 깊이 방향의 거리 z의 역수 1/z을 검출한다. 뎁스 검출부(31)는, 그 결과 얻어지는 각 카메라의 촬영 화상의 각 화소의 역수 1/z을 화소값으로 하는 z 화상을 저해상도 화상 처리부(33)와 고해상도 화상 처리부(34)에 공급한다.
저해상도 화상 처리부(33)는, 멀티 카메라(11)의 3차원 좌표계(이하, 카메라 좌표계라고 함)에 있어서의 소정의 3차원 위치를 시점으로 하여, 멀티 카메라(11)로부터 공급되는 각 카메라의 촬영 화상을, 시점을 중심으로 한 정팔면체에 매핑(투시 투영)함으로써, 전천구 화상의 텍스처 화상을 생성한다. 또한, 저해상도 화상 처리부(33)는, 뎁스 검출부(31)로부터 공급되는 각 카메라의 z 화상을, 촬영 화상과 마찬가지로 정팔면체에 매핑함으로써, 전천구 화상의 z 화상을 생성한다.
저해상도 화상 처리부(33)는, 전천구 화상의 z 화상의 각 화소의 역수 1/z을 역수 1/r로 변환한다. 그리고, 저해상도 화상 처리부(33)는, 이하의 식 (1)에 의해, 역수 1/r에 대하여 8비트 양자화를 행한다.
Figure 112019002196338-pct00001
또한, Id(r)은, 거리 r의 역수 1/r의 8비트 양자화 후의 값이다. rmax, rmin은, 각각 전천구 화상에 있어서의 거리 r의 최댓값, 최솟값이다.
저해상도 화상 처리부(33)는, 전천구 화상의 각 화소의 역수 1/r의 8비트 양자화 후의 값을 화소값으로 함으로써, 전천구 화상의 뎁스 화상을 생성한다.
저해상도 화상 처리부(33)는, 전천구 화상의 텍스처 화상과 뎁스 화상을 저해상도화하고, 저해상도 텍스처 화상과 저해상도 뎁스 화상을 생성한다. 저해상도 화상 처리부(33)는, 저해상도 텍스처 화상과 저해상도 뎁스 화상을 압축 부호화하고, 그 결과 얻어지는 저해상도 텍스처 스트림과 저해상도 뎁스 스트림을 기억한다. 저해상도 화상 처리부(33)는, 기억하고 있는 저해상도 텍스처 스트림과 저해상도 뎁스 스트림을, 도 1의 홈 서버(13)에 송신한다.
고해상도 화상 처리부(34)는, 멀티 카메라(11)로부터 공급되는 각 카메라의 촬영 화상을 사용하여, 저해상도 화상 처리부(33)에 있어서의 정팔면체와 중심이 동일한 입방체를 구성하는 6개의 면에 대응하는 제1 레이어 및 제2 레이어의 텍스처 화상을 생성한다. 고해상도 화상 처리부(34)는, 뎁스 검출부(31)로부터 공급되는 각 카메라의 z 화상을 사용하여, 촬영 화상과 마찬가지로 6개의 면에 대응하는 제1 레이어 및 제2 레이어의 뎁스 화상을 생성한다.
고해상도 화상 처리부(34)는, 각 면의 제1 레이어 및 제2 레이어의 텍스처 화상과 뎁스 화상을, 면, 화상의 종류 및 레이어마다 압축 부호화한다. 콘텐츠 서버(12)는, 그 결과 얻어지는 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을 기억한다.
또한, 고해상도 화상 처리부(34)는, 메타데이터를 생성하여 기억한다. 콘텐츠 서버(12)는, 기억하고 있는 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를, 도시하지 않은 네트워크를 통하여 홈 서버(13)에 전송한다.
(고해상도 화상 처리부의 구성예)
도 3은, 도 2의 고해상도 화상 처리부(34)의 구성예를 도시하는 블록도이다.
도 3의 고해상도 화상 처리부(34)는, 제1 레이어 생성부(50), 양자화부(51), 인코더(52), 제2 레이어 생성부(53), 양자화부(54), 인코더(55), 설정부(56), 메타데이터 생성부(57), 스토리지(58), 재구성부(59) 및 전송부(60)에 의해 구성된다.
제1 레이어 생성부(50)에는, 설정부(56)로부터, 카메라 좌표계에 있어서의 전천구 화상의 시점을 원점으로 한 3차원 좌표계(이하, 3D 모델 좌표계라고 함)에 있어서의, 제1 레이어의 시점의 3차원 위치로서 원점을 나타내는 시점 위치 정보가 공급된다. 또한, 제1 레이어 생성부(50)에는, 3D 모델 좌표계에 있어서의 원점을 중심으로 한 입방체를 구성하는 6개의 면을 각각 포함하는 6개의 면 각각의, 3D 모델 좌표계에 있어서의 3차원 위치 및 사이즈를 나타내는 면 정보가 공급된다.
제1 레이어 생성부(50)는, 시점 위치 정보가 나타내는 원점을 제1 레이어의 시점(제1 시점)으로 설정한다. 제1 레이어 생성부(50)(화상 생성부)는, 카메라 좌표계에 있어서의 전천구 화상의 시점을 원점으로 하여, 제1 레이어의 시점에서, 도 1의 멀티 카메라(11)로부터 공급되는 촬영 화상을, 6개의 각 면 정보가 나타내는 3차원 위치 및 사이즈의 면의 각각에 매핑한다. 이에 의해, 제1 레이어 생성부(50)는, 제1 레이어의 6개의 면의 텍스처 화상을 생성한다.
또한, 제1 레이어 생성부(50)(화상 생성부)는, 카메라 좌표계에 있어서의 전천구 화상의 시점을 원점으로 하여, 제1 레이어의 시점에서, 도 2의 뎁스 검출부(31)로부터 공급되는 z 화상을, 6개의 각 면 정보가 나타내는 3차원 위치 및 사이즈의 면의 각각에 매핑한다. 이에 의해, 제1 레이어 생성부(50)는, 제1 레이어의 6개의 면의 z 화상을 생성한다.
제1 레이어의 6개의 면에 대응하는 시점은 동일하기 때문에, 제1 레이어의 6개의 면의 텍스처 화상은, 제1 레이어의 시점을 중심으로 한 3D 모델에 매핑된 전천구 화상을 6개의 면에 매핑함으로써 얻어진 화상이라고 할 수 있다. 마찬가지로, 제1 레이어의 6개의 면의 z 화상은, 제1 레이어의 시점을 중심으로 한 3D 모델에 매핑된 전천구 화상의 z 화상을 6개의 면에 매핑함으로써 얻어진 화상이라고 할 수 있다. 제1 레이어 생성부(50)는, 제1 레이어의 6개의 면의 텍스처 화상을 인코더(52)에 공급하고, 제1 레이어의 6개의 면의 z 화상을 양자화부(51)에 공급한다.
양자화부(51)는, 제1 레이어 생성부(50)로부터 공급되는 제1 레이어의 6개의 각 면의 z 화상의 각 화소의 역수 1/z을 역수 1/r로 변환한다. 그리고, 양자화부(51)는, 상술한 식 (1)에 의해, 역수 1/r에 대하여 8비트 양자화를 행한다. 단, 식 (1)에 있어서의 rmax, rmin은, 6개의 면 전부에 있어서의 거리 r의 최댓값, 최솟값이다. rmax 및 rmin을 6개의 면 전부에 있어서의 거리 r의 최댓값 및 최솟값으로 함으로써, 각 면의 거리 r의 최댓값 및 최솟값으로 하는 경우에 비하여, 면마다 양자화 스텝이 변화하는 것을 방지할 수 있다. 양자화부(51)는, 제1 레이어의 6개의 면의 z 화상의 각 화소의 역수 1/r의 8비트 양자화 후의 값을 화소값으로 함으로써, 제1 레이어의 6개의 면의 뎁스 화상을 생성하고, 인코더(52)에 공급한다.
인코더(52)는, 제1 레이어의 6개의 면의 텍스처 화상과 뎁스 화상을, 면마다, 또한 화상의 종류마다 압축 부호화하고, 제1 레이어 텍스처 스트림과 제1 레이어 뎁스 스트림을 생성한다. 인코더(52)는, 제1 레이어 텍스처 스트림과 제1 레이어 뎁스 스트림을 스토리지(58)에 공급한다.
제2 레이어 생성부(53)에는, 설정부(56)로부터, 제1 레이어의 각 면에 대응하는 제2 레이어의 각 면의, 제1 레이어의 시점과는 상이한 시점(제2 시점)의 시점 위치 정보와, 제1 레이어의 각 면에 대응하는 제2 레이어의 각 면의 면 정보가 공급된다. 제2 레이어 생성부(53)는, 제2 레이어의 면마다, 그 면에 대응하는 시점 위치 정보가 나타내는 3차원 위치를 제2 레이어의 시점으로 설정한다.
제2 레이어 생성부(53)(화상 생성부)는, 제2 레이어의 면마다, 그 면에 대응하는 제2 레이어의 시점에서, 멀티 카메라(11)로부터 공급되는 촬영 화상 중 제1 레이어의 시점에 있어서의 오클루전 영역을, 제2 레이어의 면에 매핑한다. 이에 의해, 제2 레이어 생성부(53)는, 제2 레이어의 6개의 면의 텍스처 화상을 생성한다.
또한, 제2 레이어 생성부(53)(화상 생성부)는, 제2 레이어의 면마다, 그 면에 대응하는 제2 레이어의 시점에서, 뎁스 검출부(31)로부터 공급되는 z 화상 중 제1 레이어의 시점에 있어서의 오클루전 영역을, 제2 레이어의 면에 매핑한다. 이에 의해, 제2 레이어 생성부(53)는, 제2 레이어의 6개의 면의 z 화상을 생성한다.
즉, 멀티 카메라(11)의 각 카메라의 위치는 상이하기 때문에, 카메라 좌표계에 있어서의 하나의 3차원 위치를 시점으로 하였을 때, 촬영 화상에는, 그 시점에 있어서의 오클루전 영역이 포함되어 있다. 그러나, 제1 레이어의 텍스처 화상은, 하나의 시점의 전천구 화상을 매핑함으로써 생성되기 때문에, 제1 레이어의 텍스처 화상에는, 그 시점에 있어서의 오클루전 영역의 촬영 화상은 포함되지 않는다. 따라서, 제2 레이어 생성부(53)는, 그 오클루전 영역의 촬영 화상을 제2 레이어의 텍스처 화상으로서 포함한다. z 화상에 대해서도 마찬가지이다. 제2 레이어 생성부(53)는, 제2 레이어의 6개의 면의 텍스처 화상을 인코더(55)에 공급하고, 제2 레이어의 6개의 면의 z 화상을 양자화부(54)에 공급한다.
양자화부(54)는, 제2 레이어 생성부(53)로부터 공급되는 제2 레이어의 6개의 각 면의 z 화상의 각 화소의 역수 1/z을 역수 1/r로 변환한다. 그리고, 양자화부(54)는, 양자화부(51)와 마찬가지로, 상술한 식 (1)에 의해, 역수 1/r에 대하여 8비트 양자화를 행한다. 양자화부(54)는, 제2 레이어의 6개의 면의 z 화상의 각 화소의 역수 1/r의 8비트 양자화 후의 값을 화소값으로 함으로써, 제2 레이어의 6개의 면의 뎁스 화상을 생성하고, 인코더(55)에 공급한다.
인코더(55)는, 제2 레이어의 6개의 면의 텍스처 화상과 뎁스 화상을, 면마다, 또한 화상의 종류마다 압축 부호화하고, 제2 레이어 텍스처 스트림과 제2 레이어 뎁스 스트림을 생성한다. 인코더(55)는, 제2 레이어 텍스처 스트림과 제2 레이어 뎁스 스트림을 스토리지(58)에 공급한다.
설정부(56)는, 3D 모델 좌표계에 있어서의 원점을 제1 레이어의 시점으로서 설정한다. 설정부(56)는, 제1 레이어의 시점을 중심으로 한 입방체를 구성하는 6개의 직사각형의 면을 각각 포함하는 6개의 면을 제1 레이어의 면으로서 설정한다. 또한, 설정부(56)는, 제1 레이어의 면마다 제2 레이어의 시점과 직사각형의 면을 설정한다.
설정부(56)는, 제1 레이어의 1개의 시점 위치 정보와 6개의 면 정보를 제1 레이어 생성부(50)와 메타데이터 생성부(57)에 공급한다. 또한, 설정부(56)는, 제1 레이어의 6개의 면에 대응하는 제2 레이어의 6개의 시점 위치 정보와 6개의 면 정보를, 제2 레이어 생성부(53)와 메타데이터 생성부(57)에 공급한다.
메타데이터 생성부(57)는, 설정부(56)로부터 공급되는 제1 레이어의 시점 위치 정보 및 면 정보, 그리고 제2 레이어의 시점 위치 정보 및 면 정보를 포함하는 테이블을 메타데이터로서 생성하고, 스토리지(58)에 공급한다.
스토리지(58)는, 인코더(52)로부터 공급되는 제1 레이어 텍스처 스트림 및 제1 레이어 뎁스 스트림, 그리고 인코더(55)로부터 공급되는 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을 기억한다. 또한, 스토리지(58)는, 메타데이터 생성부(57)로부터 공급되는 메타데이터를 기억한다.
또한, 스토리지(58)는, 재구성부(59)로부터 공급되는 재구성 후의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 기억한다.
재구성부(59)는, 필요에 따라, 스토리지(58)에 기억되어 있는 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을 판독하고, 재구성한다.
구체적으로는, 재구성부(59)는, 재구성 전의 제1 레이어 텍스처 스트림을 사용하여 제1 레이어 텍스처 스트림에 대응하는 면의 수나 화각을 변경하고, 재구성 전의 제1 레이어 뎁스 스트림을 사용하여 제1 레이어 뎁스 스트림에 대응하는 면의 수나 화각을 변경한다. 예를 들어, 재구성부(59)는, 제1 레이어의 면을, 입방체를 구성하는 6개의 면을 각각 포함하는 6개의 면으로부터, 그 6개의 면에 각 면의 중심을 통과하는 법선이 입방체의 12개의 각 변의 중점과 시점을 통과하는 선인 12개의 면을 더한 18개의 면으로 변경한다.
또는, 재구성부(59)는, 재구성 전의 제1 레이어 텍스처 스트림을 사용하여 제1 레이어 텍스처 스트림에 대응하는 면끼리의 간격(밀도)를 변경하고, 재구성 전의 제1 레이어 뎁스 스트림을 사용하여 제1 레이어 뎁스 스트림에 대응하는 면끼리의 간격을 변경한다. 예를 들어, 재구성부(59)는, 제1 레이어의 면을, 중심을 통과하는 법선의 간격이 90도인, 입방체를 구성하는 6개의 면을 각각 포함하는 6개의 면으로부터, 중심을 통과하는 법선의 간격이 45도인 18개의 면으로 변경한다.
제1 레이어의 면끼리의 간격이 좁아지면, 면수가 증가하기 때문에, 총 데이터 용량은 증가하지만, 홈 서버(13)에 있어서, 보다 시청자의 시야 범위에 가까운 제1 레이어의 면에 대응하는 텍스처 화상 및 뎁스 화상을 사용하여 표시 화상을 생성할 수 있다. 그 결과, 표시 화상 내의, 제1 레이어 또는 제2 레이어의 텍스처 화상 및 뎁스 화상을 사용하여 생성되는 고해상도 영역이 증가하고, 표시 화상의 화질이 향상된다.
또한, 재구성부(59)는, 재구성 전의 제1 레이어 텍스처 스트림을 사용하여 제1 레이어 텍스처 스트림에 대응하는 면의 위치를 변경하고, 재구성 전의 제1 레이어 뎁스 스트림을 사용하여 제1 레이어 뎁스 스트림에 대응하는 면의 위치를 변경함으로써, 재구성을 행해도 된다. 이 경우, 재구성부(59)는, 예를 들어 주요한 피사체가 제1 레이어의 면의 경계에 존재할 때, 주요한 피사체가 제1 레이어의 면의 경계 이외의 위치(예를 들어 중앙)에 존재하도록, 제1 레이어의 6개의 면에 대응하는 입방체를 회전시킴으로써, 재구성을 행한다.
또한, 재구성부(59)는, 재구성 전의 제1 레이어 텍스처 스트림을 사용하여 제1 레이어 텍스처 스트림에 대응하는 면의 기울기를 변경하고, 재구성 전의 제1 레이어 뎁스 스트림을 사용하여 제1 레이어 뎁스 스트림에 대응하는 면의 기울기를 변경함으로써, 재구성을 행해도 된다. 이 경우, 재구성부(59)는, 예를 들어 제1 레이어의 텍스처 화상 내의 주요한 피사체가 기울어져 있을 때, 기울기가 없어지도록, 제1 레이어의 6개의 면에 대응하는 입방체를 회전시킴으로써, 재구성을 행한다.
재구성부(59)는, 이상과 같이 하여 변경된 제1 레이어의 각 면에 대하여, 재구성 후의 제2 레이어의 시점과 면을 설정한다. 그리고, 재구성부(59)는, 재구성 전의 제2 레이어 텍스처 스트림을 사용하여, 제2 레이어 텍스처 스트림에 대응하는 시점 및 면을, 설정된 재구성 후의 제2 레이어의 시점 및 면으로 변경한다. 또한, 재구성부(59)는, 재구성 전의 제2 레이어 뎁스 스트림을 사용하여, 제2 레이어 뎁스 스트림에 대응하는 시점 및 면을, 설정된 재구성 후의 제2 레이어의 시점 및 면으로 변경한다.
재구성부(59)는, 재구성 후의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을 스토리지(58)에 공급한다. 또한, 재구성부(59)는, 재구성 후의 제1 레이어의 시점 위치 정보 및 면 정보, 그리고 제2 레이어의 시점 위치 정보 및 면 정보를 포함하는 테이블을 메타데이터로서 생성하고, 스토리지(58)에 공급한다.
전송부(60)는, 스토리지(58)로부터 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 판독하고, 도 1의 홈 서버(13)에 송신한다.
이상과 같이, 도 3의 고해상도 화상 처리부(34)는, 제1 레이어 화상과 제2 레이어 화상을 투시 투영에 의해 생성한다. 따라서, 홈 서버(13)는, 제1 레이어 화상과 제2 레이어 화상에 대하여 통상의 화상용 처리를 행할 수 있다. 또한, 고해상도 화상 처리부(34)는, 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을, 통상의 화상의 부호화 스트림의 송신 방법으로 송신할 수 있다.
(거리 z와 거리 r의 설명)
도 4는, 거리 z와 거리 r을 설명하는 도면이다.
또한, 도 4는, 제1 레이어에 대응하는 입방체의 소정의 면을 위에서 본 도면이다.
거리 z는, 시점으로부터 각 화소에 있어서의 피사체를 포함하는 깊이 방향에 수직인 뎁스 평면까지의 깊이 방향의 거리이다. 또한, 제1 레이어의 각 면의 깊이 방향은, 제1 레이어의 각 면에 수직인 방향이다. 따라서, 제1 레이어의 각 면과 뎁스 평면은 평행하게 된다. 따라서, 제1 레이어의 각 면에 있어서의 거리 z가 동일한 뎁스 평면인 등거리 z면의 형상은, 제1 레이어의 시점(O)을 중심으로 한 입방체형이 된다. 따라서, 등거리 z면을 제1 레이어에 대응하는 입방체의 소정의 면 위에서 본 형상은, 도 4의 A의 점선으로 나타내는 바와 같이 정사각형이 된다.
이에 비해, 거리 r은, 시점으로부터 각 화소에 있어서의 피사체까지의 직선 거리이다. 또한, 제1 레이어의 각 면의 시점(O)부터 피사체까지의 직선 방향은, 면에 구애되지 않고, 시점(O)을 중심으로 한 원의 반경 방향이다. 따라서, 제1 레이어의 각 면에 있어서의 거리 r이 동일한 등거리 r면의 형상은, 제1 레이어의 시점(O)을 중심으로 한 구형이 된다. 따라서, 등거리 r면을 제1 레이어에 대응하는 입방체의 소정의 면 위에서 본 형상은, 도 4의 B의 점선으로 나타내는 바와 같이 원형이 된다.
(뎁스 화상의 효과의 설명)
또한, 이하에서는, 제1 레이어의 시점(O)과, 제1 레이어에 대응하는 입방체(80)를 구성하는 6개의 면의 중심을 통과하는 6개의 면의 법선 벡터 중, 서로 직교하는 3개를, 3D 모델 좌표계의 X축, Y축, Z축의 정방향이라 하고, 그 3개와 역방향의 3개를, 3D 모델 좌표계의 X축, Y축, Z축의 부방향이라 한다.
도 5는, 3D 모델 좌표계의 X축의 변화를 도시하는 도면이고, 도 6은, 3D 모델 좌표계의 X축의 변화에 수반하는 최솟값 zmin과 최솟값 rmin의 변화를 도시하는 도면이다.
또한, 도 5 및 도 6의 예에서는, 제1 레이어의 각 면의 화각이 90도인 것으로 한다.
도 5에 도시하는 바와 같이, 제1 레이어에 대응하는 입방체(80)가 Y축을 축으로 하여 XZ 평면 상에서 45도 회전되고, 제1 레이어의 각 면의 위치가 변경되는 경우, X축이 XZ 평면 상에서 45도 회전된다. 이에 의해, X축의 정방향을 법선 벡터로 하는 제1 레이어의 면(81)의 깊이 방향은 XZ 평면 상에서 45도 회전된다.
따라서, 도 6에 도시하는 바와 같이, X 좌표가 양의 값이고, Z 좌표가 0인 위치를 중심으로 한 구(76)가 피사체로서 면(81)의 화각 내에 존재할 때, 회전 전의 면(81)에 있어서의 최솟값 zmin은, 도 6의 A에 도시하는 바와 같이, 시점(O)과 구(76)의 도 6의 A의 X축의 정방향의 거리의 최솟값이다. 그러나, 회전 후의 면(81)에 있어서의 최솟값 zmin은, 도 6의 B에 도시하는 바와 같이, 시점(O)과 화각 내의 구(76)(도 6의 B 중 구(76)의 상반부)의 도 6의 B의 X축의 정방향의 거리의 최솟값이다.
또한, 도 6의 예의 경우, 회전 전의 면(81)에 있어서의 최댓값 zmax는 무한대이기 때문에, 회전 후의 면(81)에 있어서의 최댓값 zmax도 무한대이지만, 무한대가 아닌 경우, 최솟값 zmin과 마찬가지의 이유에 의해, 회전 전후에서 면(81)에 있어서의 최댓값 zmax는 변화한다. 제1 레이어의 다른 면에 대해서도 마찬가지로, 최솟값 zmin과 최댓값 zmax가 변화한다.
또한, 설명은 생략하지만, 제1 레이어의 면의 화각, 수 또는 간격이 변경되는 경우에도, 제1 레이어의 모든 면에 있어서의 최솟값 zmin과 최댓값 zmax는 변화한다.
따라서, 제1 레이어의 뎁스 화상의 각 화소의 y값(휘도값)으로서, 거리 z의 역수 1/z이 사용되면, 재구성부(59)에 의한 재구성 시에, 각 면에 있어서의 최솟값 zmin과 최댓값 zmax을 다시 계산하여, 모든 면에 있어서의 최솟값 zmin과 최댓값 zmax을 다시 결정할 필요가 있다. 그 결과, 뎁스 화상의 8비트 양자화를 다시 행할 필요가 있다.
이에 비해, 시점(O)부터 피사체까지의 직선 방향은, 제1 레이어의 면의 위치에 구애되지 않고 동일하다. 따라서, 도 5에 도시한 바와 같이 입방체(80)가 Y축을 축으로 하여 XZ 평면 상에서 45도 회전되는 경우라도, 최솟값 rmin과 최댓값 rmax는 동일하다.
즉, 도 6의 B에 도시하는 바와 같이, 도 6의 A의 X축이 XZ 평면 상에서 45도 회전되어도, 회전 전과 마찬가지로, 시점(O)부터 피사체까지의 직선 방향은, 시점(O)으로부터 방사상으로 연장되는 방향이다. 따라서, X축의 회전에 구애되지 않고, 제1 레이어의 모든 면에 있어서의 최솟값 rmin은, 시점(O)부터 구(76)까지의 직선 거리의 최솟값이다. 제1 레이어의 모든 면에 있어서의 최댓값 rmax에 대해서도, 최솟값 rmin의 경우와 마찬가지의 이유에 의해, 회전 전후에 변화하지 않는다.
또한, 설명은 생략하지만, 제1 레이어의 면의 화각, 수 또는 간격이 변경되는 경우에도, 시점(O)부터 피사체까지의 직선 방향은 변화하지 않기 때문에, 최솟값 rmin과 최댓값 rmax는 변화하지 않는다.
따라서, 제1 레이어의 뎁스 화상의 각 화소의 y값으로서, 역수 1/z이 아니라, 역수 1/r의 양자화값이 사용됨으로써, 재구성부(59)에 의한 재구성 시에 뎁스 화상의 8비트 양자화를 다시 행하는 처리를 삭감할 수 있다.
또한, 상술한 설명에서는, 저해상도 텍스처 스트림과 저해상도 뎁스 스트림은 재구성되지 않도록 하였지만, 재구성되도록 해도 된다. 이 경우에도, 저해상도 뎁스 화상의 각 화소의 y값은 역수 1/r의 양자화값이므로, 제1 레이어의 뎁스 화상의 재구성 시와 마찬가지로, 재구성 시에 저해상도 뎁스 화상의 8비트 양자화를 다시 행하는 처리를 삭감할 수 있다.
또한, 저해상도 텍스처 스트림과 저해상도 뎁스 스트림의 재구성은, 저해상도 텍스처 스트림과 저해상도 뎁스 스트림의 매핑 방식을 변경함으로써 행해져도 된다. 이 경우에도, 뎁스 화상의 각 화소의 y값을 역수 1/r의 양자화값으로 함으로써, 재구성 시에 저해상도 뎁스 화상의 8비트 양자화를 다시 행하는 처리를 삭감할 수 있다.
(제1 레이어의 6개의 면의 뎁스 화상의 각 화소의 구 상의 위치의 예)
도 7은, 제1 레이어의 6개의 면의 뎁스 화상을 구에 매핑하였을 때의 각 화소의 구 상의 위치의 예를 도시하는 도면이다.
또한, 도 7에서는, 제1 레이어의 6개의 면의 뎁스 화상을 구에 매핑하였을 때의 각 화소의 구 상의 위치가 점으로 표시되어 있다.
제1 레이어의 각 면의 뎁스 화상의 각 화소의 뎁스 화상 상의 위치의 간격은 등간격이다. 그러나, 도 7에 도시하는 바와 같이, 제1 레이어의 6개의 면의 뎁스 화상을 구에 매핑하였을 때의 각 화소의 구 상의 위치의 간격은 등간격은 아니다. 즉, 제1 레이어의 6개의 면의 뎁스 화상을 구에 매핑하였을 때의 각 화소의 구 상의 위치의 밀도는, 일정하지는 않다.
(제1 레이어의 면의 예)
도 8은, 제1 레이어의 면의 예를 도시하는 도면이다.
또한, 이하에서는, 시점(O)과 6개의 면의 각각의 거리를 R이라고 하였을 때의 X=R인 면을, 적절하게 +X면이라고도 하며, X=-R인 면을, 적절하게 -X면이라고도 한다. 마찬가지로, Y=R인 면, Y=-r인 면, Z=R인 면, Z=-R인 면을, 적절하게 +Y면, -Y면, +Z면, -Z면이라고도 한다.
또한, 도 8의 A는, 제1 레이어의 입방체(80)의 사시도이고, 도 8의 B는, 제1 레이어의 입방체(80)를 Y축의 부방향으로 본 도면이다.
도 8의 A에 도시하는 바와 같이, 제1 레이어의 하나의 면(91)은, 시점(O)을 중심으로 한 입방체(80)를 구성하는 6개의 면(81 내지 86) 중 +Y면(83)을 포함하는 면이다. 보다 상세하게는, 면(91)은, +Y면(83)과 동일한 위치에 설정되고, 횡방향과 종방향의 화각이, +Y면(83)의 화각인 90도보다 크고 180도보다 작은 면이다.
따라서, 도 8의 B에 도시하는 바와 같이, 면(91)의 텍스처 화상은, +Y면(83)에 매핑된 텍스처 화상뿐만 아니라, +Y면(83)에 인접하는 +X면(81), -X면(82), +Z면(85) 및 -Z면(86)에 매핑되는 텍스처 화상의 일부를 포함한다. 면(91)의 뎁스 화상에 대해서도, 텍스처 화상과 마찬가지이다.
도 8에서는, 제1 레이어의 하나의 면(91)만 도시하였지만, 다른 5개의 면도, 면(91)과 마찬가지로, 각각 +X면(81), -X면(82), -Y면(84), +Z면(85), -Z면(86)과 동일한 위치에 설정되고, 횡방향과 종방향의 화각이 90도보다 크고 180도보다 작은 면이다.
이상과 같이, 제1 레이어의 6개의 면의 각각은, 입방체를 구성하는 6개의 면(81 내지 86)의 각각을 포함하도록 구성되므로, 제1 레이어의 6개의 면 중 어느 것에 반드시 전천구 화상이 매핑된다. 따라서, 홈 서버(13)는, 제1 레이어의 6개의 면 중 많아도 인접하는 3개의 면을 사용하면, 시점(O)을 시청 위치로 한 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 임의의 방향의 표시 화상을 생성할 수 있다.
(제1 레이어의 시점 위치 정보 및 면 정보의 테이블의 구성예)
도 9는, 도 3의 메타데이터 생성부(57)에 의해 생성되는 메타데이터 중, 제1 레이어의 시점 위치 정보 및 면 정보의 테이블의 구성예를 도시하는 도면이다.
도 9의 예에서는, 면 정보 중, 면의 3D 모델 좌표계에 있어서의 3차원 위치를 나타내는 정보가 방위각, 앙각, 회전각 및 시선 벡터이며, 사이즈를 나타내는 정보가 가로 화각과 세로 화각이다.
방위각은, 시점과 각 면의 중심을 연결하는 선과 Z축이 이루는 XZ 평면 방향의 각도이고, 앙각은, 시점과 각 면의 중심을 연결하는 선과 XZ 평면이 이루는 각도이다. 여기서는, 방위각은 우회전을 정방향으로 하고, 앙각은 좌회전을 정방향으로 한다. 시점으로부터 연장되는 Z축 방향의 선을 방위각만큼 XZ 평면 상으로 수평 회전시킨 후, 앙각만큼 Y축 방향으로 상하 회전시킨 선이, 면의 중심을 통과하는 법선이다.
회전각은, 시점과 각 면의 중심을 연결하는 선을 축으로 하였을 때의 각 면의 회전 방향의 각도이다. 여기서는, 회전각은 우회전이 정방향인 것으로 한다. 시선 벡터는, 시점을 기점으로 하여 각 면의 중심을 향하는 길이가 1인 벡터, 즉 각 면의 중심을 통과하는 법선 벡터이다. 가로 화각은, 각 면의 횡방향의 2개의 단부 각각과 시점을 연결한 선이 이루는 각도이고, 세로 화각은, 각 면의 종방향의 2개의 단부 각각과 시점을 연결한 선이 이루는 각도이다.
도 9에 도시하는 바와 같이, 제1 레이어의 시점 위치 정보 및 면 정보의 테이블에는, 도 3의 스토리지(58)에 있어서 각 면의 제1 레이어 텍스처 스트림 및 제1 레이어 뎁스 스트림이 저장되는 파일의 파일명의 공통 부분이 등록된다.
구체적으로는, 도 9의 예에서는, +Z면(85), -Z면(86), +X면(81), -X면(82), +Y면(83), -Y면(84)을 각각 포함하는 각 면의 제1 레이어 텍스처 스트림의 파일명이, posZ_texture, negZ_texture, posX_texture, negX_texture, posY_texture, negY_texture이다. 또한, +Z면(85), -Z면(86), +X면(81), -X면(82), +Y면(83), -Y면(84)을 각각 포함하는 각 면의 제1 뎁스 스트림의 파일명이, 각각 posZ_depth, negZ_depth, posX_depth, negX_depth, posY_depth, negY_depth이다. 따라서, 도 9의 테이블에는, 제1 레이어의 각 면의 파일명의 공통 부분으로서, posZ, negZ, posX, negX, posY, negY가 등록된다.
또한, 제1 레이어의 시점 위치 정보 및 면 정보의 테이블에는, 파일명의 공통 부분에 대응지어, 그 파일명의 공통 부분에 대응하는 면의 면 정보, 시점 위치 정보, 텍스처 화상 및 뎁스 화상의 가로 화소수 및 세로 화소수가 등록된다.
구체적으로는, +Z면(85), -Z면(86), +X면(81), -X면(82), +Y면(83), -Y면(84)을 각각 포함하는 제1 레이어의 각 면의 중심과 시점(O)을 연결하는 선과, Z축이 이루는 XZ 평면 방향의 각도는, 각각 0도, -180도, 90도, -90도, 0도, 0도이고, XZ 평면이 이루는 각도는, 각각 0도, 0도, 0도, 0도, 90도, -90도이다. 따라서, 파일명의 공통 부분 「posZ」, 「negZ」, 「posX」, 「negX」, 「posY」, 「negY」의 각각에 대응지어, 방위각 「0도」, 「-180도」, 「90도」, 「-90도」, 「0도」, 「0도」가 등록됨과 함께, 앙각 「0도」, 「0도」, 「0도」, 「0도」, 「90도」, 「-90도」가 등록된다.
또한, 도 9의 예에서는, 제1 레이어의 모든 면의 회전각은 0도이다. 따라서, 파일명의 공통 부분 「posZ」, 「negZ」, 「posX」, 「negX」, 「posY」, 「negY」의 각각에 대응지어, 회전각 「0도」가 등록된다. 또한, 파일명의 공통 부분 「posZ」, 「negZ」, 「posX」, 「negX」, 「posY」, 「negY」의 각각에 대응지어, 시점 위치 정보로서 원점의 좌표 (0,0,0)이 등록된다.
또한, 시점(O)으로부터, +Z면(85), -Z면(86), +X면(81), -X면(82), +Y면(83), -Y면(84)을 각각 포함하는 제1 레이어의 각 면의 시선 벡터는, (0,0,1), (0,0,-1), (1,0,0), (-1,0,0), (0,1,0), (0,-1,0)이다. 따라서, 파일명의 공통 부분 「posZ」, 「negZ」, 「posX」, 「negX」, 「posY」, 「negY」의 각각에 대응지어, 시선 벡터 (0,0,1), (0,0,-1), (1,0,0), (-1,0,0), (0,1,0), (0,-1,0)이 등록된다.
또한, 도 9의 예에서는, 제1 레이어의 모든 면의 가로 화각 및 세로 화각은 90도보다 큰 100도이며, 텍스처 화상 및 뎁스 화상의 횡방향의 화소수인 가로 화소수 및 종방향의 화소수인 세로 화소수는 1024이다. 따라서, 파일명의 공통 부분 「posZ」, 「negZ」, 「posX」, 「negX」, 「posY」, 「negY」의 각각에 대응지어, 가로 화각 「100도」, 세로 화각 「100도」, 가로 화소수 「1024」 및 세로 화소수 「1024」가 등록된다.
(계층화의 설명)
도 10은, 제1 레이어의 소정의 면에 대응하는 피사체의 깊이 방향의 위치를 도시하는 도면이고, 도 11은, 제1 레이어 및 제2 레이어의 시점이 동일한 경우의 도 10의 피사체의 제1 레이어 및 제2 레이어의 텍스처 화상의 구성예를 도시하는 도면이다.
또한, 도 10은, 제1 레이어의 시점(O)과 피사체를 위에서 본 도면이며, 도 10의 상하 방향은, 이 피사체를 화각에 포함하는 제1 레이어의 소정의 면의 깊이 방향이다. 또한, 도 11에 있어서, 좌우 방향 및 상하 방향은, 각각 텍스처 화상의 횡방향, 깊이 방향을 나타낸다. 도 10 및 도 11의 상측 방향이 앞쪽, 하측 방향이 안쪽이다.
도 10 및 도 11의 예에서는, 제1 레이어의 소정의 면의 화각 내에 포함되는 피사체가, 중앙의 전경(111)와, 전경의 안쪽에 있는 배경(112)이다. 이 경우, 도 11에 도시하는 바와 같이, 제1 레이어의 소정의 면의 텍스처 화상은, 전경(111)의 촬영 화상(121)과, 배경(112) 중 전경(111)에 의해 가려지지 않는 영역(112A)의 촬영 화상(122A)에 의해 구성된다.
한편, 이 제1 레이어의 소정의 면에 대응하는 제2 레이어의 면의 텍스처 화상은, 도 11에 도시하는 바와 같이, 배경(112) 중 전경(111)에 의해 차폐된 오클루전 영역(112B) 중, 멀티 카메라(11)에 의해 촬영된 촬영 완료 오클루전 영역(112C)의 촬영 화상(122C)을 유효 영역으로서 포함한다.
제2 레이어의 면의 텍스처 화상 중 유효 영역 이외의 영역에는 무엇을 배치 해도 되지만, 무효값 등의 특수값이 배치되면, 압축 부호화에 의해 특수값의 값이 변화하여, 홈 서버(13)에 있어서 복호에 의한 특수값의 복원이 곤란하게 된다.
따라서, 제2 레이어의 면의 텍스처 화상의 유효 영역 이외의 영역은, 영역(112A)에 대응하는 불필요 영역(배경 영역)과, 오클루전 영역(112B) 중 촬영 완료 오클루전 영역(112C) 이외의 영역에 대응하는 상상 영역으로 분할된다.
그리고, 오클루전 영역이 존재하지 않는 영역(112A)에 대응하는 불필요 영역에는, 제1 레이어와 마찬가지로 촬영 화상(122A)이 배치되거나, 또는 에지 부분이 급준하지 않은 평탄한 화상이 배치된다. 불필요 영역에 촬영 화상(122A)이 배치되는 경우, 불필요 영역에 있어서의 제1 레이어와 제2 레이어의 텍스처 화상이 동일하게 되므로, 제1 레이어의 텍스처 화상을 제2 레이어의 텍스처 화상을 참조하여 MVC 방식이나 3D-HEVC 방식 등으로 압축 부호화하는 경우, 압축률을 향상시킬 수 있다. 또한, 불필요 영역에 평탄한 화상이 배치되는 경우, 에지 부분이 급준한 화상이 배치되는 경우에 비하여, 제2 레이어 화상의 압축률을 향상시킬 수 있다. 또한, 불필요 영역의 일부에 촬영 화상(122A)이 배치되고, 다른 부분에 평탄한 화상이 배치되도록 해도 된다.
또한, 상상 영역은 오클루전 영역이 존재하지만, 멀티 카메라(11)에 의해 촬영되지 않은, 오클루전 영역(112B) 중 촬영 완료 오클루전 영역(112C) 이외의 영역에 대응하는 영역이다. 따라서, 상상 영역에는, 촬영 완료 오클루전 영역(112C)의 촬영 화상(122C)을 사용하여 추측(인페인팅)된 인페인팅 화상이 배치되거나, 또는 제1 레이어와 마찬가지로 촬영 화상(121)이 배치된다.
또한, 인페인팅에는, 과거의 촬영 화상이 사용되어도 된다. 콘텐츠 서버(12)가 인페인팅을 행함으로써, 홈 서버(13)는, 상상 영역을 유효 영역과 동등하게 다룰 수 있다. 또한, 콘텐츠 서버(12)가 인페인팅을 재생 전에 행함으로써, 많은 시간을 요하는 처리 부하가 높은 인페인팅도 행할 수 있다.
또한, 상상 영역에 촬영 화상(121)이 배치되는 경우, 상상 영역이 점재하거나, 인페인팅이 곤란하거나 할 때에도, 상상 영역을 용이하게 생성하는 것이 가능하다. 상상 영역의 일부에 인페인팅 화상이 배치되고, 다른 부분에 촬영 화상(121)이 배치되도록 해도 된다.
또한, 제1 레이어 및 제2 레이어의 뎁스 화상의 구성은, 촬영 화상이 뎁스 화상으로 바뀌는 점을 제외하고, 제1 레이어 및 제2 레이어의 텍스처 화상의 구성과 마찬가지이므로, 설명은 생략한다. 또한, 이하에서는, 제2 레이어의 불필요 영역과 상상 영역에, 제1 레이어와 마찬가지의 촬영 화상 또는 뎁스 화상이 배치되는 경우에 대하여 설명한다.
(제1 레이어와 제2 레이어의 시점의 설명)
도 12는, 제1 레이어와 제2 레이어의 시점이 동일한 경우의 제1 레이어의 소정의 면에 대응하는 제1 레이어와 제2 레이어의 텍스처 화상을 설명하는 도면이다. 도 13은, 제1 레이어와 제2 레이어의 시점이 상이한 경우의 제1 레이어의 소정의 면에 대응하는 제1 레이어와 제2 레이어의 텍스처 화상을 설명하는 도면이다.
도 12의 A와 도 13의 A는, 제1 레이어의 시점(O)과 피사체를 위에서 본 도면이며, 도 12의 A와 도 13의 A의 상하 방향은, 이 피사체를 화각에 포함하는 제1 레이어의 소정의 면의 깊이 방향이다.
도 12의 A에 도시하는 바와 같이, 제2 레이어의 시점이 제1 레이어의 시점(O)인 경우, 제1 레이어의 소정의 면(131)의 화각 내의 시점(O)으로 뻗는 막대형 피사체(141)는, 제1 레이어의 텍스처 화상(151) 및 제2 레이어의 텍스처 화상(152)의 양쪽에 있어서 점이 된다.
즉, 제1 레이어와 제2 레이어에 있어서 시점(O)으로부터 면(131)을 향하는 방향이 동일해지기 때문에, 제1 레이어의 텍스처 화상(151)과 제2 레이어의 텍스처 화상(152)의 양쪽에 있어서, 피사체(141)가 1점으로 축퇴되어 버린다. 따라서, 텍스처 화상(151)과 텍스처 화상(152)에서는, 피사체(141)의 시점(O)으로 뻗는 방향의 길이를 표현할 수 없다.
이에 비해, 제2 레이어의 시점이 제1 레이어의 시점(O)과는 상이한 시점(O')인 경우, 제1 레이어의 면(131)과 제2 레이어의 면(161)의 화각에 포함되는 피사체(141)는, 제2 레이어의 텍스처 화상(172)에 있어서 직선이 된다.
즉, 제1 레이어의 시점(O)으로부터 면(131)을 향하는 방향과 제2 레이어의 시점(O')으로부터 면(161)을 향하는 방향은 상이하다. 따라서, 제1 레이어의 텍스처 화상(151)에 있어서 피사체(141)가 1점으로 축퇴되어 버려도, 제2 레이어의 텍스처 화상(172)에 있어서는 피사체(141)가 1점으로 축퇴되지 않는다. 따라서, 텍스처 화상(172)에서는, 피사체(141)의 시점(O)으로 연장되는 방향의 길이를 표현할 수 있다.
이상에 의해, 콘텐츠 서버(12)에서는, 제1 레이어와 제2 레이어의 시점이 상이하도록 설정된다.
(제2 레이어의 시점의 제1 예)
도 14는, 제2 레이어의 시점의 제1 예를 도시하는 도면이다.
도 14의 A는, 제1 레이어의 입방체(80)의 사시도이고, 도 14의 B는, 입방체(80)를 Y축의 부방향으로 본 도면이다. 이것은, 도 16에 있어서도 마찬가지이다.
도 14의 예에서는, 제1 레이어의 +X면(81)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(191)이, 제1 레이어의 시점(O)으로부터 Y축의 정방향으로, 입방체(80)의 각 변의 절반의 길이 a만큼 이동한 위치에 설정된다. 도 14에 있어서 시점(191)에 부여된 화살표가 나타내는 바와 같이, 제1 레이어의 +X면(81)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터는, 제1 레이어와 마찬가지로 (1,0,0)이다.
제1 레이어의 -X면(82)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(192)은, 시점(O)으로부터 Y축의 부방향으로 길이 a만큼 이동한 위치에 설정된다. 도 14에 있어서 시점(192)에 부여된 화살표가 나타내는 바와 같이, 제1 레이어의 -X면(82)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터는, 제1 레이어와 마찬가지로 (-1,0,0)이다.
또한, 제1 레이어의 +Y면(83)을 포함하는 면(91)에 대응하는 제2 레이어의 면의 시점(193)과 -Y면(84)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(194)은, 각각 시점(O)으로부터 Z축의 정방향, 부방향으로 길이 a만큼 이동한 위치에 설정된다. 도 14에 있어서 시점(193) 및 시점(194)에 부여된 화살표가 나타내는 바와 같이, 제1 레이어의 면(91)에 대응하는 제2 레이어의 면의 시선 벡터와 -Y면(84)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터는, 각각 제1 레이어와 마찬가지로 (0,1,0), (0,-1,0)이다.
또한, 제1 레이어의 +Z면(85)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(195)과 -Z면(86)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(196)은, 각각 제1 레이어의 시점(O)으로부터 X축의 정방향, 부방향으로 길이 a만큼 이동한 위치에 설정된다. 도 14에 있어서 시점(195) 및 시점(196)에 부여된 화살표가 나타내는 바와 같이, 제1 레이어의 +Z면(85)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터와 -Z면(86)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터는, 각각 제1 레이어와 마찬가지로 (0,0,1), (0,0,-1)이다.
이상과 같이, 도 14의 예에서는, 제2 레이어의 각 면의 시점(191 내지 196)은, 제1 레이어의 시점(O)으로부터 시선 벡터에 수직인 일방향으로 길이 a만큼 이동한 위치에 설정된다. 또한, 제2 레이어의 각 면의 시선 벡터는, 대응하는 제1 레이어의 면의 시선 벡터와 동일하다. 또한, 제2 레이어의 각 면의 시점(191 내지 196)의 시점(O)에 대한 어긋남 방향은, 면마다 상이하다.
또한, 제2 레이어의 각 면의 시점(191 내지 196)과 시점(O)의, X축 방향, Y축 방향 또는 Z축 방향의 거리는, 입방체(80)의 각 변의 절반의 길이 a에 한정되지 않는다.
(제2 레이어의 시점 위치 정보 및 면 정보의 테이블의 제1 구성예)
도 15는, 제2 레이어의 각 면의 시점으로서 도 14의 시점(191 내지 196)이 설정되는 경우에, 도 3의 메타데이터 생성부(57)에 의해 생성되는 메타데이터 중, 제2 레이어의 시점 위치 정보 및 면 정보의 테이블의 구성예를 도시하는 도면이다.
도 15의 테이블은, 파일명의 공통 부분과 시점 위치 정보를 제외하고, 도 9의 테이블과 동일하다.
구체적으로는, 도 15의 예에서는, +Z면(85), -Z면(86), +X면(81), -X면(82), +Y면(83), -Y면(84)을 각각 포함하는 제1 레이어의 각 면에 대응하는 제2 레이어의 각 면의 텍스처 화상의 파일명이, 각각 posZ2_texture, negZ2_texture, posX2_texture, negX2_texture, posY2_texture, negY2_texture이다. 또한, +Z면(85), -Z면(86), +X면(81), -X면(82), +Y면(83), -Y면(84)을 각각 포함하는 제1 레이어의 각 면에 대응하는 제2 레이어의 각 면의 뎁스 화상의 파일명이, 각각 posZ2_depth, negZ2_depth, posX2_depth, negX2_depth, posY2_depth, negY2_depth이다. 따라서, 도 15의 테이블에는, 제2 레이어의 각 면의 파일명의 공통 부분으로서, posZ2, negZ2, posX2, negX2, posY2, negY2가 등록된다.
또한, 파일명의 공통 부분 「posZ2」, 「negZ2」, 「posX2」, 「negX2」, 「posY2」, 「negY2」의 각각에 대응지어, 시점(O)을 원점으로 하였을 때의 시점(191 내지 196)의 좌표 (a,0,0), (-a,0,0), (0,a,0), (0,-a,0), (0,0,a), (0,0,-a)가 등록된다.
(제2 레이어의 시점의 제2 예)
도 16은, 제2 레이어의 시점의 제2 예를 도시하는 도면이다.
도 16의 예에서는, 제1 레이어의 +X면(81)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(211)과 -X면(82)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(212)은, 각각 제1 레이어의 시점(O)으로부터, Y축의 정방향과 Z축의 부방향, Y축의 부방향과 Z축의 정방향으로 길이 a만큼 이동한 위치에 설정된다. 도 16에 있어서 시점(211) 및 시점(212)에 부여된 화살표가 나타내는 바와 같이, 제1 레이어의 +X면(81)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터와 제1 레이어의 -X면(82)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터는, 각각 제1 레이어와 마찬가지로 (1,0,0), (-1,0,0)이다.
또한, 제1 레이어의 +Y면(83)을 포함하는 면(91)에 대응하는 제2 레이어의 면의 시점(213)과 -Y면(84)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(214)은, 각각 시점(O)으로부터, X축의 부방향과 Z축의 정방향, X축의 정방향과 Z축의 부방향으로 길이 a만큼 이동한 위치에 설정된다. 도 16에 있어서 시점(213) 및 시점(214)에 부여된 화살표가 나타내는 바와 같이, 제1 레이어의 면(91)에 대응하는 제2 레이어의 면의 시선 벡터와 -Y면(84)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터는, 각각 제1 레이어와 마찬가지로 (0,1,0), (0,-1,0)이다.
또한, 제1 레이어의 +Z면(85)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(215)과 -Z면(86)을 포함하는 면에 대응하는 제2 레이어의 면의 시점(216)은, 각각 시점(O)으로부터, X축의 정방향과 Y축의 부방향, X축의 부방향과 Y축의 정방향으로 길이 a만큼 이동한 위치에 설정된다. 도 16에 있어서 시점(215) 및 시점(216)에 부여된 화살표가 나타내는 바와 같이, 제1 레이어의 +Z면(85)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터와 -Z면(86)을 포함하는 면에 대응하는 제2 레이어의 면의 시선 벡터는, 각각 제1 레이어와 마찬가지로 (0,0,1), (0,0,-1)이다.
이상과 같이, 도 16의 예에서는, 제2 레이어의 각 면의 시점(211 내지 216)은, 제1 레이어의 시점(O)으로부터 시선 벡터에 수직인 2방향으로 길이 a만큼 이동한 위치에 설정된다. 또한, 제2 레이어의 각 면의 시선 벡터는, 대응하는 제1 레이어의 면의 시선 벡터와 동일하다. 또한, 제2 레이어의 각 면의 시점(211 내지 216)의 시점(O)에 대한 어긋남 방향은, 면마다 상이하다. 또한, 시점(211 내지 216)은, 시점(O)에 대하여 대칭이다.
또한, 제2 레이어의 각 면의 시점(191 내지 196)과 시점(O)의, X축 방향, Y축 방향 및 Z축 방향 중 2방향의 거리는, 입방체(80)의 각 변의 절반의 길이 a에 한정되지 않는다.
(제2 레이어의 시점 위치 정보 및 면 정보의 테이블의 제2 구성예)
도 17은, 제2 레이어의 각 면의 시점으로서 도 16의 시점(211 내지 216)이 설정되는 경우에, 도 3의 메타데이터 생성부(57)에 의해 생성되는 메타데이터 중, 제2 레이어의 시점 위치 정보 및 면 정보의 테이블의 구성예를 도시하는 도면이다.
도 17의 테이블은, 시점 위치 정보를 제외하고, 도 15의 테이블과 동일하다.
구체적으로는, 도 17의 테이블에는, 파일명의 공통 부분 「posZ2」, 「negZ2」, 「posX2」, 「negX2」, 「posY2」, 「negY2」의 각각에 대응지어, 시점(O)을 원점으로 하였을 때의 시점(211 내지 216)의 좌표 (a,-a,0), (-a,a,0), (0,a,-a), (0,-a,a), (-a,0,a), (a,0,-a)가 등록된다.
(콘텐츠 서버의 처리의 설명)
도 18은, 도 2의 콘텐츠 서버(12)의 스트림 생성 처리를 설명하는 흐름도이다. 이 스트림 생성 처리는, 도 1의 멀티 카메라(11)로부터 각 카메라의 촬영 화상이 프레임 단위로 공급되었을 때, 개시된다.
도 18의 스텝 S11에 있어서, 콘텐츠 서버(12)의 뎁스 검출부(31)는, 멀티 카메라(11)로부터 공급되는 각 카메라의 촬영 화상으로부터, 각 카메라의 촬영 화상의 각 화소의 역수 1/z을 검출하고, 저해상도 화상 처리부(33)와 고해상도 화상 처리부(34)에 공급한다.
스텝 S12에 있어서, 저해상도 화상 처리부(33)는, 카메라 좌표계에 있어서의 소정의 3차원 위치를 시점으로 하여, 멀티 카메라(11)로부터 공급되는 각 카메라의 촬영 화상으로부터 전천구 화상의 텍스처 화상을 생성하고, 저해상도화한다.
스텝 S13에 있어서, 저해상도 화상 처리부(33)는, 뎁스 검출부(31)로부터 공급되는 각 카메라의 z 화상으로부터, 전천구 화상의 뎁스 화상을 생성하고, 저해상도화한다.
스텝 S14에 있어서, 저해상도 화상 처리부(33)는, 스텝 S12의 처리에 의해 생성된 저해상도 텍스처 화상과 스텝 S13의 처리에 의해 생성된 저해상도 뎁스 화상을 압축 부호화하여 기억한다.
스텝 S15에 있어서, 저해상도 화상 처리부(33)는, 기억하고 있는 저해상도 텍스처 스트림과 저해상도 뎁스 스트림을, 도 1의 홈 서버(13)에 송신한다.
스텝 S16에 있어서, 고해상도 화상 처리부(34)의 설정부(56)(도 3)는, 3D 모델 좌표계에 있어서의 원점을 제1 레이어에 공통인 1개의 시점으로서 설정하고, 제1 레이어의 시점을 중심으로 한 입방체를 구성하는 6개의 면을 각각 포함하는 6개의 면을 제1 레이어의 면으로서 설정한다. 또한, 설정부(56)는, 제1 레이어의 각 면에 대응하는 제2 레이어의 6개의 시점과 6개의 면을 설정한다. 설정부(56)는, 제1 레이어의 1개의 시점 위치 정보와 6개의 면의 면 정보를 제1 레이어 생성부(50)와 메타데이터 생성부(57)에 공급한다. 또한, 설정부(56)는, 제2 레이어의 6개의 시점 위치 정보와 6개의 면 정보를 제2 레이어 생성부(53)와 메타데이터 생성부(57)에 공급한다.
스텝 S17에 있어서, 제1 레이어 생성부(50)는, 카메라 좌표계에 있어서의 전천구 화상의 시점을 원점으로 하고, 제1 레이어의 시점 위치 정보가 나타내는 원점을 시점으로 하여, 각 카메라의 촬영 화상으로부터, 제1 레이어의 각 면 정보에 대응하는 각 면의 텍스처 화상을 생성한다. 또한, 제1 레이어 생성부(50)는, 각 카메라의 z 화상으로부터, 제1 레이어의 각 면 정보에 대응하는 각 면의 z 화상을 생성하여 양자화부(51)에 공급하고, 양자화부(51)는, 각 면의 z 화상으로부터 각 면의 뎁스 화상을 생성한다.
스텝 S18에 있어서, 제2 레이어 생성부(53)는, 제2 레이어의 면 정보에 대응하는 면마다, 카메라 좌표계에 있어서의 전천구 화상의 시점을 원점으로 하고, 제2 레이어의 시점 위치 정보가 나타내는 3차원 위치를 시점으로 하여, 각 카메라의 촬영 화상으로부터 텍스처 화상을 생성한다. 또한, 제2 레이어 생성부(53)는, 제2 레이어의 면 정보에 대응하는 면마다, 각 카메라의 z 화상으로부터 각 면의 z 화상을 생성하여 양자화부(54)에 공급하고, 양자화부(54)는, 각 면의 z 화상으로부터 각 면의 뎁스 화상을 생성한다.
스텝 S19에 있어서, 인코더(52)는, 제1 레이어의 각 면의 텍스처 화상과 뎁스 화상을, 면마다, 또한 화상의 종류마다 압축 부호화하여 스토리지(58)에 공급하고, 기억시킨다.
스텝 S20에 있어서, 인코더(55)는, 제2 레이어의 각 면의 텍스처 화상과 뎁스 화상을, 면마다, 또한 화상의 종류마다 압축 부호화하여 스토리지(58)에 공급하고, 기억시킨다.
스텝 S21에 있어서, 메타데이터 생성부(57)는, 설정부(56)로부터 공급되는 제1 레이어의 시점 위치 정보 및 면 정보, 그리고 제2 레이어의 시점 위치 정보 및 면 정보를 포함하는 테이블을 메타데이터로서 생성하고, 스토리지(58)에 공급하여 기억시킨다.
스텝 S22에 있어서, 재구성부(59)는, 제1 레이어의 텍스처 화상과 뎁스 화상의 재구성이 필요한지 여부를 판정한다. 예를 들어, 재구성부(59)는, 유저로부터 제1 레이어의 면의 수, 화각, 면끼리의 간격, 위치 또는 기울기의 변경이 지시된 경우, 제1 레이어의 텍스처 화상과 뎁스 화상의 재구성이 필요하다고 판정한다.
스텝 S22에서 제1 레이어의 텍스처 화상과 뎁스 화상의 재구성이 필요하다고 판정된 경우, 처리는 스텝 S23으로 진행한다. 스텝 S23에 있어서, 재구성부(59)는, 재구성 후의 제1 레이어의 면, 그리고 재구성 후의 제1 레이어의 면에 대응하는 제2 레이어의 시점 및 면을 설정한다.
스텝 S24에 있어서, 재구성부(59)는, 재구성 후의 제1 레이어의 시점 위치 정보 및 면 정보, 그리고 제2 레이어의 시점 위치 정보 및 면 정보를 포함하는 테이블을 메타데이터로서 생성하고, 스토리지(58)에 공급한다.
스텝 S25에 있어서, 재구성부(59)는, 스토리지(58)에 기억되어 있는 각 면의 제1 레이어 텍스처 스트림을, 스텝 S23에서 설정된 재구성 후의 제1 레이어의 면의 텍스처 스트림으로 재구성하고, 스토리지(58)에 공급하여 기억시킨다. 또한, 재구성부(59)는, 스토리지(58)에 기억되어 있는 제1 레이어 뎁스 스트림을, 스텝 S23에서 설정된 재구성 후의 제1 레이어의 면의 제1 레이어 뎁스 스트림으로 재구성하고, 스토리지(58)에 공급하여 기억시킨다.
또한, 재구성부(59)는, 스토리지(58)에 기억되어 있는 각 면의 제2 레이어 텍스처 스트림을, 스텝 S23에서 설정된 재구성 후의 제2 레이어의 시점 및 면의 제2 레이어 텍스처 스트림으로 재구성하고, 스토리지(58)에 공급하여 기억시킨다. 재구성부(59)는, 스토리지(58)에 기억되어 있는 제2 레이어 뎁스 스트림을, 스텝 S23에서 설정된 재구성 후의 제2 레이어의 시점 및 면의 제2 레이어 뎁스 스트림으로 재구성하고, 스토리지(58)에 공급하여 기억시킨다. 그리고, 처리는 스텝 S26으로 진행한다.
한편, 스텝 S22에서 제1 레이어의 텍스처 화상과 뎁스 화상의 재구성이 필요하지 않다고 판정된 경우, 처리는 스텝 S26으로 진행한다.
스텝 S26에 있어서, 전송부(60)는, 스토리지(58)로부터 재구성 전의 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 판독하고, 홈 서버(13)에 송신한다.
이상과 같이, 콘텐츠 서버(12)는, 제1 레이어의 시점에 있어서의 오클루전 영역의 텍스처 화상 및 뎁스 화상을 제2 레이어의 텍스처 화상 및 뎁스 화상으로서 생성한다. 따라서, 홈 서버(13)는, 시청 위치가 시점(O)과는 상이한 경우에, 제2 레이어의 텍스처 화상과 뎁스 화상을 사용함으로써, 표시 화상에 포함되는 시점(O)의 오클루전 영역을 생성할 수 있다. 따라서, 홈 서버(13)는, 고화질의 표시 화상을 생성할 수 있다.
또한, 콘텐츠 서버(12)는, 제2 레이어의 시점을, 제1 레이어의 시점(O)과는 상이한 3차원 위치에 설정한다. 따라서, 제2 레이어에 있어서, 시점(O)으로 연장되는 피사체의 시점(O)으로 연장되는 방향의 길이를 표현할 수 있다.
또한, 콘텐츠 서버(12)는, 뎁스 화상의 각 화소의 y값을 역수 1/r을 8비트 양자화한 값으로 한다. 따라서, 콘텐츠 서버(12)는, 재구성 시에 뎁스 화상의 8비트 양자화를 다시 행할 필요가 없다.
(홈 서버의 구성예)
도 19는, 도 1의 홈 서버(13)의 구성예를 도시하는 블록도이다.
도 19의 홈 서버(13)는, 카메라(13A), 수취부(231), 스토리지(232), 수취부(233), 시선 검출부(234), ML3D 모델 생성부(235), ML3D 모델 생성부(236), ML3D 모델 생성부(237), 3D 모델 생성부(238) 및 묘화부(239)에 의해 구성된다.
홈 서버(13)의 수취부(231)는, 콘텐츠 서버(12)로부터 전송되어 오는 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 수취하고, 스토리지(232)에 공급한다.
스토리지(232)는, 수취부(231)로부터 공급되는 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 기억한다.
수취부(233)는, 도 1의 자이로 센서(15B)의 검출 결과를 헤드 마운트 디스플레이(15)로부터 수취하고, 시선 검출부(234)에 공급한다.
시선 검출부(234)는, 수취부(233)로부터 공급되는 자이로 센서(15B)의 검출 결과에 기초하여, 3D 모델 좌표계에 있어서의 시청자의 시선 방향을 결정한다. 또한, 시선 검출부(234)는, 카메라(13A)로부터 마커(15A)의 촬영 화상을 취득하고, 그 촬영 화상에 기초하여, 3D 모델 좌표계에 있어서의 시청 위치를 검출한다.
시선 검출부(234)는, 스토리지(232)로부터 메타데이터 중 제1 레이어의 테이블을 판독한다. 시선 검출부(234)는, 3D 모델 좌표계에 있어서의 시청 위치 및 시선 방향, 그리고 제1 레이어의 테이블에 기초하여, 6개의 면 중, 시청 위치로부터 시선 방향으로 연장되는 시선에 가장 가까운 시선 벡터에 대응하는 3개의 면을 선택면으로 결정한다. 구체적으로는, 시선 검출부(234)는, +X면(81)과 -X면(82) 중어느 것을 포함하는 면, +Y면(83)과 -Y면(84) 중 어느 것을 포함하는 면, 및 +Z면(85)과 -Z면(86) 중 어느 것을 포함하는 면을 선택면으로 결정한다.
이상과 같이 하여 선택면이 결정됨으로써, 후술하는 묘화부(239)에 의해 선택면에 대응하는 제1 레이어 및 제2 레이어의 텍스처 화상과 뎁스 화상을 사용하여 생성되는 표시 화상 내의 고해상도 영역의 비율이 가장 높아진다. 또한, 3개의 선택면이 결정됨으로써, 1개의 선택면이 선택되는 경우에 비하여, 시선이 입방체(80)의 정점 부근을 향하는 경우에 표시 화상 내의 고해상도 영역의 비율을 증가시킬 수 있다.
시선 검출부(234)는, 3개의 선택면에 대응하는 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을, 스토리지(232)로부터 판독한다. 시선 검출부(234)는, 판독된 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을, 면마다 ML3D 모델 생성부(235 내지 237)에 공급한다. 또한, 시선 검출부(234)는, 저해상도 텍스처 스트림과 저해상도 뎁스 스트림을 스토리지(232)로부터 판독하고, 3D 모델 생성부(238)에 공급한다.
또한, 시선 검출부(234)는, 3D 모델 좌표계에 있어서의 시청 위치와 시선 방향에 기초하여, 3D 모델 좌표계에 있어서의 시청자의 시야 범위를 결정한다. 시선 검출부(234)는, 시청자의 시야 범위와 시청 위치를 묘화부(239)에 공급한다. 시선 검출부(234)는, 3개의 선택면과, 그 3개의 선택면에 대응하는 제2 레이어의 3개의 면의 시점 위치 정보 및 면 정보를 묘화부(239)에 공급한다.
ML3D 모델 생성부(235 내지 237)는, 각각 제1 레이어 텍스처 스트림과 제1 레이어 뎁스 스트림을 사용하여, 제1 레이어의 텍스처 화상의 각 화소에 대응하는 샘플링점의 텍스처 화상 좌표계에 있어서의 3차원 위치 (u,v,z) 및 접속 정보와, 컬러 정보로서의 RGB값을 포함하는 3차원 데이터를 생성한다. 또한, 각 샘플링점의 접속 정보는, 그 샘플링점(vertex)과 다른 샘플링점의 접속을 나타내는 정보이다. 텍스처 화상 좌표계는, 텍스처 화상의 횡방향을 u축, 종방향을 v축, 깊이 방향을 z축으로 하는 좌표계이다.
또한, ML3D 모델 생성부(235 내지 237)는, 각각 시선 검출부(234)로부터 공급되는 제2 레이어 텍스처 스트림과 제2 레이어 뎁스 스트림을 사용하여, 제2 레이어의 텍스처 화상의 각 화소에 대응하는 샘플링점의 3차원 데이터를 생성한다. ML3D 모델 생성부(235 내지 237)는, 제1 레이어 및 제2 레이어의 3차원 데이터를 묘화부(239)에 공급한다.
3D 모델 생성부(238)는, 시선 검출부(234)로부터 공급되는 저해상도 텍스처 스트림과 저해상도 뎁스 스트림을 복호하고, 저해상도 텍스처 화상과 저해상도 뎁스 화상을 생성한다. 3D 모델 생성부(238)는, 저해상도 텍스처 화상의 각 화소의 화소값으로서의 YCbCr값을 RGB값으로 변환하고, 각 화소에 대응하는 샘플링점의 RGB값으로 한다. 또한, 3D 모델 생성부(238)는, 저해상도 뎁스 화상의 각 화소의 화소값에 대하여 8비트 역양자화를 행하여, 역수 1/r을 얻는다. 그리고, 3D 모델 생성부(238)는, 저해상도 뎁스 화상의 각 화소의 역수 1/r에 기초하여, 각 화소의 3차원 위치 (u,v,z)를 각 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)로서 구한다.
또한, 3D 모델 생성부(238)는, 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 인접하는 3개의 샘플링점끼리 접속하도록 각 샘플링점의 접속 정보를 생성한다. 3D 모델 생성부(238)는, 각 샘플링점의 3차원 위치 (u,v,z), 접속 정보 및 RGB값을, 저해상도 텍스처 화상의 3차원 데이터로서, 묘화부(239)에 공급한다.
묘화부(239)는, 3D 모델 생성부(238)로부터 공급되는 저해상도 텍스처 화상의 3차원 데이터에 기초하여, 3D 모델 좌표계에 있어서, 저해상도 텍스처 화상의 삼각형 패치 묘화(점군 묘화)를 행한다. 그 후, 묘화부(239)는, ML3D 모델 생성부(235 내지 237)의 각각으로부터 공급되는 제1 레이어 및 제2 레이어의 3차원 데이터와, 시선 검출부(234)로부터 공급되는 시점 위치 정보 및 면 정보에 기초하여, 3D 모델 좌표계에 있어서, 제1 레이어 및 제2 레이어의 텍스처 화상의 삼각형 패치 묘화를 행한다.
즉, 저해상도 텍스처 화상의 시점은 3D 모델 좌표계에 있어서의 원점이며, 3D 모델로서의 정팔면체의 각 면의 위치 및 사이즈는 미리 결정되어 있다. 따라서, 묘화부(239)는, 정팔면체의 각 면에 대응하는 각 카메라의 내부 파라미터와 외부 파라미터를 구할 수 있다. 따라서, 묘화부(239)는, 이 내부 파라미터와 외부 파라미터를 사용하여, 저해상도 텍스처 화상의 각 샘플링점의 3차원 위치 (u,v,z)로부터, 각 샘플링점의 화면 상의 위치 (u,v) 및 3D 모델 좌표계에 있어서의 3차원 위치 (X,Y,Z)를 인식할 수 있다. 그 결과, 저해상도 텍스처 화상의 각 샘플링점의 화면 상의 위치 (u,v) 및 3차원 위치 (X,Y,Z)와 접속 정보 및 RGB값을 사용하여 삼각형 패치 묘화를 행할 수 있다.
또한, 묘화부(239)는, 제1 레이어 및 제2 레이어의 시점 위치 정보 및 면 정보에 기초하여, 제1 레이어 및 제2 레이어의 각 면에 대응하는 각 카메라의 내부 파라미터와 외부 파라미터를 구할 수 있다. 따라서, 묘화부(239)는, 이 내부 파라미터와 외부 파라미터를 사용하여, 제1 레이어 및 제2 레이어의 각 샘플링점의 3차원 위치 (u,v,z)로부터, 각 샘플링점의 화면 상의 위치 (u,v) 및 3차원 위치 (X,Y,Z)를 인식할 수 있다. 그 결과, 묘화부(239)는, 제1 레이어 및 제2 레이어의 각 샘플링점의 화면 상의 위치 (u,v) 및 3차원 위치 (X,Y,Z)와 접속 정보 및 RGB값을 사용하여 삼각형 패치 묘화를 행할 수 있다.
묘화부(239)(화상 생성부)는, 3D 모델 좌표계에 있어서 묘화된 삼각형 패치를, 시선 검출부(234)로부터 공급되는 시청 위치를 시점으로 하여 시야 범위에 투시 투영(매핑)함으로써, 표시 화상을 생성한다. 묘화부(239)는, 표시 화상을 도 1의 변환 장치(14)에 송신한다.
(ML3D 모델 생성부의 구성예)
도 20은, 도 19의 ML3D 모델 생성부(235)의 구성예를 도시하는 블록도이다.
도 20의 ML3D 모델 생성부(235)는, 디코더(251), RGB 변환부(252), 디코더(253), 뎁스 변환부(254), 불연속 검출부(255), 3D 모델 생성부(256), 디코더(257), RGB 변환부(258), 디코더(259), 뎁스 변환부(260), 오클루전 처리부(261) 및 3D 모델 생성부(262)에 의해 구성된다.
ML3D 모델 생성부(235)의 디코더(251)는, 도 19의 시선 검출부(234)로부터 공급되는 제1 레이어 텍스처 스트림을 복호하고, 제1 레이어의 텍스처 화상을 생성한다. 디코더(251)는, 제1 레이어의 텍스처 화상을 RGB 변환부(252)에 공급한다.
RGB 변환부(252)는, 제1 레이어의 텍스처 화상의 각 화소의 화소값으로서의 YCbCr값을 RGB값으로 변환하고, 각 화소에 대응하는 샘플링점의 RGB값으로 한다. 그리고, RGB 변환부(252)는, 각 샘플링점의 RGB값을 3D 모델 생성부(256)에 공급한다.
디코더(253)는, 시선 검출부(234)로부터 공급되는 제1 레이어 뎁스 스트림을 복호하고, 제1 레이어의 뎁스 화상을 생성한다. 디코더(253)는, 제1 레이어의 뎁스 화상을 뎁스 변환부(254)에 공급한다.
뎁스 변환부(254)는, 디코더(253)로부터 공급되는 제1 레이어의 뎁스 화상의 각 화소의 화소값에 대하여 8비트 역양자화를 행하여, 역수 1/r을 얻는다. 그리고, 뎁스 변환부(254)는, 제1 레이어의 뎁스 화상의 각 화소의 역수 1/r에 기초하여, 각 화소의 3차원 위치 (u,v,z)를 각 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)로서 구한다. 뎁스 변환부(254)는, 각 샘플링점의 3차원 위치 (u,v,z)를 불연속 검출부(255)와 3D 모델 생성부(256)에 공급한다.
불연속 검출부(255)는, 뎁스 변환부(254)로부터 공급되는 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 제1 레이어의 뎁스 화상의 화소 중, 인접하는 샘플링점과의 z 좌표의 차분이 역치 이상인 샘플링점에 대응하는 화소인 불연속 화소를 검출한다. 불연속 검출부(255)는, 불연속 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)를 3D 모델 생성부(256)에 공급한다.
3D 모델 생성부(256)(접속 정보 생성부)는, 뎁스 변환부(254)로부터 공급되는 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 각 샘플링점 중 인접하는 3개의 샘플링점끼리 접속하도록, 각 샘플링점의 접속 정보를 생성한다. 즉, 3D 모델 생성부(256)는, 샘플링점마다, 그 샘플링점을 정점으로 하는 삼각형 패치의 3개의 정점끼리의 접속을 나타내는 접속 정보를 생성한다. 그리고, 3D 모델 생성부(256)는, 불연속 검출부(255)로부터 공급되는 불연속 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 생성된 각 샘플링점의 접속 정보 중 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보를 삭제한다.
3D 모델 생성부(256)는, 제1 레이어의 각 샘플링점의 3차원 위치 (u,v,z), RGB값 및 삭제 후의 접속 정보를, 제1 레이어의 3차원 데이터로서 생성하고, 도 19의 묘화부(239)에 공급한다.
디코더(257), RGB 변환부(258), 디코더(259) 및 뎁스 변환부(260)의 처리는, 처리 대상의 레이어가 제1 레이어로부터 제2 레이어로 바뀌는 점을 제외하고, 디코더(251), RGB 변환부(252), 디코더(253) 및 뎁스 변환부(254)와 마찬가지이므로, 설명은 생략한다.
오클루전 처리부(261)는, 뎁스 변환부(260)로부터 공급되는 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 제2 레이어의 뎁스 화상의 화소 중 불연속 화소를 검출한다. 오클루전 처리부(261)는, 제2 레이어의 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 불연속 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)를 보정하는 오클루전 처리를 행한다.
구체적으로는, 오클루전 처리부(261)는, 예를 들어 불연속 화소에 대응하는 샘플링점의 2차원 위치 (u,v)를, 그 샘플링점의 근방이면서 앞쪽의 샘플링점의 2차원 위치 (u,v)로 보정한다. 오클루전 처리부(261)는, 제2 레이어의 각 샘플링점의 오클루전 처리 후에 3차원 위치 (u,v,z)를 3D 모델 생성부(262)에 공급한다.
3D 모델 생성부(262)는, 오클루전 처리부(261)로부터 공급되는 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 샘플링점마다, 그 샘플링점과 인접하는 2개의 샘플링점의 접속을 나타내는 접속 정보를 생성한다. 3D 모델 생성부(262)는, 각 샘플링점의 3차원 위치 (u,v,z) 및 접속 정보, 그리고 RGB 변환부(258)로부터 공급되는 RGB값을, 제2 레이어의 3차원 데이터로서 생성한다. 3D 모델 생성부(256)는, 제2 레이어의 3차원 데이터를 도 19의 묘화부(239)에 공급한다.
또한, 도시는 생략하지만, ML3D 모델 생성부(236) 및 ML3D 모델 생성부(237)는, 도 20의 ML3D 모델 생성부(235)와 마찬가지로 구성된다.
(접속 정보의 삭제 및 오클루전 처리의 효과의 설명)
도 21은, 제1 레이어의 접속 정보 중 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보를 삭제하지 않는 경우의 접속 정보를 설명하는 도면이고, 도 22는, 삭제한 경우의 접속 정보를 설명하는 도면이다.
도 21 및 도 22에 있어서, 좌우 방향은, 텍스처 화상의 횡방향을 나타내고, 상하 방향은, 텍스처 화상의 깊이 방향을 나타낸다. 도 21 및 도 22의 상측 방향이 앞쪽, 하측 방향이 안쪽이다. 또한, 도 21 및 도 22에 있어서, 실선은, 제1 레이어의 각 샘플링점의 3차원 위치 (u,v,z)를 나타내고, 점선은, 제2 레이어의 각 샘플링점의 3차원 위치 (u,v,z)를 나타낸다. 또한, 도 21 및 도 22의 예에서는, 피사체가 도 10의 전경(111)과 배경(112)이다.
제1 레이어 및 제2 레이어의 양쪽에 있어서 오클루전 처리가 행해지지 않는 경우, 도 21의 A에 도시하는 바와 같이, 제1 레이어의 전경(111)의 촬영 화상(121)과 배경(112)의 영역(112A)의 촬영 화상(122A)의 경계의 불연속 화소에 대응하는 샘플링점의 3차원 위치는 변경되지 않는다.
또한, 제1 레이어 및 제2 레이어의 양쪽에 있어서 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보가 삭제되지 않는 경우, 도 21의 A에 도시하는 바와 같이, 제1 레이어 및 제2 레이어의 불연속 화소에 대응하는 샘플링점은, 인접하는 2개의 샘플링점과 접속된다.
따라서, 제1 레이어의 불연속 화소에 대응하는 샘플링점과, 인접하는 2개의 샘플링점을 정점으로 하는 삼각형 패치가 생성되고, 그 삼각형 패치에 의해, 유효 영역의 촬영 화상(122C)은 빈틈없이 채워진다. 따라서, 도면 중 우측 하단으로부터 좌측 상단을 향하는 시선(V)에 대응하는, 촬영 완료 오클루전 영역(112C)을 포함하는 표시 화상을 생성하는 경우에, 촬영 완료 오클루전 영역(112C)의 촬영 화상(122C)이 배치되는 제2 레이어의 유효 영역을 사용할 수는 없다.
또한, 제1 레이어 및 제2 레이어의 양쪽에 있어서, 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보가 삭제되지 않지만, 오클루전 처리가 행해지는 경우, 도 21의 B에 도시하는 바와 같이, 제1 레이어 및 제2 레이어의 불연속 화소에 대응하는 샘플링점의 2차원 위치가, 그 샘플링점의 근방이면서 앞쪽의 샘플링점의 2차원 위치로 보정된다.
따라서, 시선(V)에 대응하는 표시 화상을 생성하는 경우, 촬영 완료 오클루전 영역(112C)의 표시 화상으로서, 제1 레이어의 영역(112A)의 촬영 화상(122A)을 사용할 수 있다. 그 결과, 표시 화상의 화질은 향상된다.
그러나, 오클루전 처리 후의 제1 레이어의 불연속 화소에 대응하는 샘플링점은, 인접하는 2개의 샘플링점과 접속되고, 삼각형 패치가 생성된다. 따라서, 도 21의 A의 경우와 마찬가지로, 시선(V)에 대응하는 표시 화상을 생성하는 경우, 촬영 완료 오클루전 영역(112C)의 촬영 화상(122C)이 배치되는 제2 레이어의 유효 영역을 사용할 수는 없다.
이에 비해, 3D 모델 생성부(256)는, 도 22에 도시하는 바와 같이, 제1 레이어의 불연속 화소와의 접속을 나타내는 접속 정보를 삭제한다. 따라서, 제1 레이어의 불연속 화소에 대응하는 샘플링점을 정점으로 하는 삼각형 패치가 생성되지 않는다. 따라서, 시선(V)에 대응하는 표시 화상을 생성하는 경우에, 촬영 완료 오클루전 영역(112C)의 촬영 화상(122C)이 배치되는 제2 레이어의 유효 영역을 사용할 수 있다. 제2 레이어에 있어서는 접속 정보의 삭제가 행해지지 않으므로, 제1 레이어의 삼각형 패치가 존재하지 않는 영역에는, 반드시 제2 레이어의 삼각형 패치가 존재한다.
또한, 오클루전 처리부(261)는, 제2 레이어에 대하여 오클루전 처리를 행한다. 따라서, 도 22에 도시하는 바와 같이, 제2 레이어의 유효 영역과 상상 영역의 경계의 불연속 화소에 대응하는 샘플링점 중 안쪽의 샘플링점의 2차원 위치가, 그 샘플링점의 근방이면서 앞쪽의 샘플링점의 2차원 위치로 보정된다. 따라서, 제2 레이어에 있어서 오클루전 영역이 삭감된다. 따라서, 시선(V)에 대응하는 표시 화상을 생성할 때 사용되는 제2 레이어의 화질이 향상되고, 그 결과, 표시 화상의 화질이 향상된다.
(제1 레이어의 면의 화각의 효과의 설명)
도 23 및 도 24는, 각각 제1 레이어의 각 면의 화각이 90도, 100도인 경우의 샘플링점을 설명하는 도면이다.
도 23 및 도 24의 예에서는, 설명의 편의상, 제1 레이어의 각 면의 화각이 90도, 100도인 경우의 제1 레이어의 텍스처 화상 및 뎁스 화상의 해상도가, 각각 4×4 화소, 6×6 화소인 것으로 한다.
도 23의 B에 도시하는 바와 같이, 제1 레이어의 각 면의 화각이 90도인 경우, 제1 레이어의 6개의 면은, 입방체(80)를 구성하는 6개의 면(81 내지 86)이 된다.
그러나, 도 23의 A에 도시하는 바와 같이, 제1 레이어의 -Z면(86)의 텍스처 화상(280) 상의 샘플링점(291)의 위치 (u,v), 즉 3D 모델 좌표계에 있어서의 시점(O)으로부터 샘플링점(291)을 향하는 선이 -Z면(86)과 교차하는 위치는, 각 화소(281)의 중심이다. 또한, 다른 면(81 내지 85)의 샘플링점의 위치 (u,v)도, -Z면(86)과 마찬가지로 각 화소의 중심이다.
따라서, 도 23의 B에 도시하는 바와 같이, 도면 중 검정색 동그라미로 나타내는 샘플링점 중 인접하는 3개의 샘플링점끼리를 접속함으로써 구성되는 모든 삼각형 패치의, 각 면(81 내지 86) 상의 영역(283)의 u 방향 및 v 방향 사이즈는, 각 면(81 내지 86)에 비하여 화소의 절반의 사이즈만큼 작다. 따라서, 각 면(81 내지 86)의 경계에 대응하는 삼각형 패치가 생성되지 않고, 그 결과, 각 면(81 내지 86)의 경계를 통과하는 시선의 표시 화상을 고화질로 생성하는 것이 곤란하게 된다.
이에 비해, 제1 레이어의 각 면의 화각이 100도인 경우, 도 24의 A에 도시하는 바와 같이, -Z면(86)을 포함하는 제1 레이어의 면의 텍스처 화상(310)의 사이즈는, 도 23의 텍스처 화상(280)의 사이즈보다 큰 6×6 화소가 된다. 다른 면(81 내지 85)을 각각 포함하는 제1 레이어의 각 면의 텍스처 화상의 사이즈도 마찬가지로 6×6 화소가 된다.
따라서, 도 24의 B에 도시하는 바와 같이, 도면 중 검정색 동그라미로 나타내는 샘플링점 중 인접하는 3개의 샘플링점끼리를 접속함으로써 구성되는 모든 삼각형 패치의, -Z면(86) 상의 영역(311)의 u 방향 및 v 방향 사이즈는, -Z면(86)에 비하여 화소의 절반의 사이즈만큼 크다. 도시는 생략하지만, 다른 면(81 내지 85)을 각각 포함하는 제1 레이어의 각 면의 삼각형 패치의 영역의 u 방향 및 v 방향 사이즈도, 영역(311)과 마찬가지로, 각 면(81 내지 85)에 비하여 화소의 절반의 사이즈만큼 크다. 따라서, 각 면(81 내지 86)의 경계에 대응하는 삼각형 패치가 생성되고, 그 결과, 각 면(81 내지 86)의 경계를 통과하는 시선을 포함하는 임의의 시선의 표시 화상을 고화질로 생성할 수 있다.
도 23 및 도 24에서는, 제1 레이어의 각 면의 화각이 100도인 경우의 효과에 대하여 설명하였지만, 제1 레이어의 각 면의 화각이 90도보다 크면, 화각이 100도가 아닌 경우라도 마찬가지의 효과가 발생한다.
(제2 레이어의 면의 화각의 효과의 설명)
도 25는, 제2 레이어의 각 면의 화각이 90도 및 100도인 경우의 오클루전 처리를 설명하는 도면이다.
도 25에 있어서, 횡축은 u축을 나타내고, 종축은 z축을 나타낸다. 또한, 동그라미는 샘플링점을 나타낸다. 또한, 도 25의 예에서는, 깊이 방향의 위치가 안쪽일수록 z 좌표는 크다.
제2 레이어의 각 면의 화각이 90도인 경우, 샘플링점이, 제2 레이어 중 어느 하나의 면에만 매핑된다. 따라서, 도 25의 A에 도시하는 바와 같이, 처리 대상의 면의 u 방향의 단부에 매핑되는 샘플링점(331)에 인접하는 샘플링점(332)은, 처리 대상의 면에는 매핑되지 않아, 처리 대상의 면의 오클루전 처리 시에 샘플링점(332)의 z축의 위치는 알 수 없다.
따라서, 샘플링점(331)과 샘플링점(332)의 z 좌표의 차분이 역치 이상인 경우라도, 샘플링점(331)에 대응하는 화소는 불연속 화소로서 검출되지 않는다. 마찬가지로, 샘플링점(332)이 매핑되는 면이 처리 대상의 면이 되는 경우에도, 샘플링점(332)에 대응하는 화소는 불연속 화소로서 검출되지 않는다. 따라서, 샘플링점(331) 및 샘플링점(332)에 대하여 오클루전 처리를 행할 수 없다. 즉, 샘플링점(331) 및 샘플링점(332)에 대하여 오클루전 처리를 행하기 위해, 처리 대상의 면의 뎁스 화상 이외에, 처리 대상의 면과 인접하는 면의 뎁스 화상도 사용할 필요가 있다.
이에 비해, 제2 레이어의 각 면의 화각이 100도인 경우, 각 면의 단부에, 그 면과 인접하는 면의 단부 이외의 영역에 매핑되는 샘플링점이, 겹침부로서 중복되어 매핑된다. 예를 들어, 샘플링점(331)이 매핑되는 처리 대상의 면의 단부에, 처리 대상의 면에 인접하는 면의 단부 이외의 영역에 매핑되는 샘플링점(332)이 매핑된다.
따라서, 샘플링점(331)과 샘플링점(332)의 z 좌표의 차분이 역치 이상인 경우, 샘플링점(331)과 샘플링점(332)에 대응하는 화소는 불연속 화소로서 검출된다. 따라서, 도 25의 B에 도시하는 바와 같이, 샘플링점(331)과 샘플링점(332)에 대하여 오클루전 처리를 행할 수 있다. 그 결과, 불연속 화소에 대응하는 샘플링점(332)의 u 좌표가, 샘플링점(332) 근방의 샘플링점(332)보다 전방측의(z 좌표가 작은) 샘플링점(333)의 u 좌표로 보정된다.
또한, 도 25의 예에서는, 처리 대상의 면의 단부 이외의 영역에 매핑되는 샘플링점(334)과 샘플링점(335)의 z 좌표의 차분이 역치 이상이기 때문에, 샘플링점(334)과 샘플링점(335)에 대응하는 화소도 불연속 화소로서 검출되고 있다. 그 결과, 도 25의 B에 도시하는 바와 같이, 샘플링점(334)의 u 좌표가, 샘플링점(334) 근방의 샘플링점(334)보다 앞쪽의 샘플링점(336)의 u 좌표로 보정되어 있다.
또한, 처리 대상의 면의 u 좌표가 가장 큰 단부의 샘플링점(337)은, 처리 대상의 면과 인접하는 면의 단부 이외의 영역에 매핑된다. 따라서, 이 면이 처리 대상의 면이 되는 경우에, 샘플링점(337)에 대응하는 화소가 불연속 화소인지 여부를 판정하고, 불연속 화소라고 판정된 경우에, 샘플링점(337)에 대한 오클루전 처리를 행할 수 있다.
이상과 같이, 제2 레이어의 각 면의 화각이 100도인 경우, 각 면의 샘플링점만을 사용하여, 각 면의 단부 이외의 영역의 단부에 매핑되는 샘플링점(331)에 대해서도 오클루전 처리를 행할 수 있다. 그 결과, 제2 레이어의 오클루전 영역이 삭감되어, 표시 화상의 화질을 향상시킬 수 있다.
도 25에서는, 제2 레이어의 각 면의 화각이 100도인 경우의 효과에 대하여 설명하였지만, 제2 레이어의 각 면의 화각이 90도보다 크면, 화각이 100도가 아닌 경우라도 마찬가지의 효과가 발생한다.
또한, ML3D 모델 생성부(235 내지 237)는, 복호 결과 얻어지는 텍스처 화상이나 뎁스 화상에 대하여, 주변 화소를 사용한 필터 처리 등의 화상 처리를 행하도록 해도 된다. 이 경우, 제1 레이어 및 제2 레이어의 각 면의 화각이 90도보다 큼으로써, 오클루전 처리와 마찬가지로, 각 면의 단부 이외의 영역의 단부에 있어서도 화상 처리를 행할 수 있다고 하는 효과를 얻을 수 있다.
(홈 서버의 처리의 설명)
도 26은, 도 19의 홈 서버(13)의 재생 처리를 설명하는 흐름도이다. 이 재생 처리는, 예를 들어 콘텐츠 서버(12)로부터 전송되어 오는 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터가 전송되어 왔을 때, 개시된다.
도 26의 스텝 S41에 있어서, 홈 서버(13)의 수취부(231)는, 콘텐츠 서버(12)로부터, 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 수취하여, 스토리지(232)에 공급한다.
스텝 S42에 있어서, 스토리지(232)는, 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 기억한다.
스텝 S43에 있어서, 수취부(233)는, 도 1의 자이로 센서(15B)의 검출 결과를 헤드 마운트 디스플레이(15)로부터 수취하여, 시선 검출부(234)에 공급한다.
스텝 S44에 있어서, 시선 검출부(234)는, 수취부(233)로부터 공급되는 자이로 센서(15B)의 검출 결과에 기초하여, 3D 모델 좌표계에 있어서의 시청자의 시선 방향을 결정한다. 스텝 S45에 있어서, 카메라(13A)는, 헤드 마운트 디스플레이(15)에 부여된 마커(15A)를 촬영하고, 그 결과 얻어지는 촬영 화상을 시선 검출부(234)에 공급한다.
스텝 S46에 있어서, 시선 검출부(234)는, 카메라(13A)로부터 공급되는 마커(15A)의 촬영 화상에 기초하여, 3D 모델 좌표계에 있어서의 시청 위치를 검출하고, 묘화부(239)에 공급한다.
스텝 S47에 있어서, 시선 검출부(234)는, 스토리지(232)에 기억되어 있는 메타데이터 중 제1 레이어의 테이블과, 3D 모델 좌표계에 있어서의 시청 위치 및 시선 방향에 기초하여, 6개의 면 중 시선에 가장 가까운 시선 벡터에 대응하는 3개의 면을 선택면으로 결정한다.
스텝 S48에 있어서, 시선 검출부(234)는, 3D 모델 좌표계에 있어서의 시청 위치와 시선 방향에 기초하여, 3D 모델 좌표계에 있어서의 시청자의 시야 범위를 결정하고, 묘화부(239)에 공급한다.
스텝 S49에 있어서, 시선 검출부(234)는, 저해상도 텍스처 스트림과 저해상도 뎁스 스트림을 스토리지(232)로부터 판독하고, 3D 모델 생성부(238)에 공급한다. 또한, 시선 검출부(234)는, 3개의 선택면에 대응하는 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을, 스토리지(232)로부터 판독한다. 시선 검출부(234)는, 판독된 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을, 면마다 ML3D 모델 생성부(235 내지 237)에 공급한다. 또한, 시선 검출부(234)는, 3개의 선택면에 대응하는 시점 위치 정보 및 면 정보를 스토리지(232)로부터 판독하고, 묘화부(239)에 공급한다.
스텝 S50에 있어서, ML3D 모델 생성부(235 내지 237)는, 면마다, 제1 레이어 및 제2 레이어의 각 샘플링점의 3차원 데이터를 생성하는 3차원 데이터 생성 처리를 행한다. 이 3차원 데이터 생성 처리의 상세는, 도 27을 참조하여 후술한다.
스텝 S51에 있어서, 3D 모델 생성부(238)는, 시선 검출부(234)로부터 공급되는 저해상도 텍스처 스트림과 저해상도 뎁스 스트림으로부터, 저해상도 텍스처 화상의 각 샘플링점의 3차원 데이터를 생성하고, 묘화부(239)에 공급한다.
스텝 S52에 있어서, 묘화부(239)는, 3D 모델 생성부(238)로부터 공급되는 저해상도 텍스처 화상의 3차원 데이터에 기초하여, 3D 모델 좌표계에 있어서, 저해상도 텍스처 화상의 삼각형 패치 묘화를 행한다. 그 후, 묘화부(239)는, ML3D 모델 생성부(235 내지 237)의 각각으로부터 공급되는 제1 레이어 및 제2 레이어의 3차원 데이터와, 시선 검출부(234)로부터 공급되는 시점 위치 정보 및 면 정보에 기초하여, 3D 모델 좌표계에 있어서, 제1 레이어 및 제2 레이어의 텍스처 화상의 삼각형 패치 묘화를 행한다.
스텝 S53에 있어서, 묘화부(239)는, 3D 모델 좌표계에 있어서 묘화된 삼각형 패치를, 시선 검출부(234)로부터 공급되는 시청 위치를 시점으로 하여 시야 범위에 투시 투영함으로써, 표시 화상을 생성한다. 스텝 S54에 있어서, 묘화부(239)는, 표시 화상을 도 1의 변환 장치(14)에 전송한다.
도 27은, 도 26의 스텝 S50에 있어서 ML3D 모델 생성부(235)에 의해 행해지는 3차원 데이터 생성 처리의 상세를 설명하는 흐름도이다.
도 27의 스텝 S71에 있어서, ML3D 모델 생성부(235)의 디코더(251)(도 20)는, 도 19의 시선 검출부(234)로부터 공급되는 제1 레이어 텍스처 스트림을 복호하고, 제1 레이어의 텍스처 화상을 생성한다. 디코더(251)는, 제1 레이어의 텍스처 화상을 RGB 변환부(252)에 공급한다.
스텝 S72에 있어서, RGB 변환부(252)는, 제1 레이어의 텍스처 화상의 각 화소의 화소값으로서의 YCbCr값을 RGB값으로 변환하고, 각 화소에 대응하는 샘플링점의 RGB값으로 한다. 그리고, RGB 변환부(252)는, 각 샘플링점의 RGB값을 3D 모델 생성부(256)에 공급한다.
스텝 S73에 있어서, 디코더(253)는, 시선 검출부(234)로부터 공급되는 제1 레이어 뎁스 스트림을 복호하고, 제1 레이어의 뎁스 화상을 생성한다. 디코더(253)는, 제1 레이어의 뎁스 화상을 뎁스 변환부(254)에 공급한다.
스텝 S74에 있어서, 뎁스 변환부(254)는, 디코더(253)로부터 공급되는 제1 레이어의 뎁스 화상의 각 화소의 화소값에 대하여 8비트 역양자화를 행하여, 제1 레이어의 뎁스 화상의 각 화소의 역수 1/r을 얻는다.
스텝 S75에 있어서, 뎁스 변환부(254)는, 제1 레이어의 뎁스 화상의 각 화소의 역수 1/r에 기초하여, 제1 레이어의 뎁스 화상의 각 화소의 3차원 위치 (u,v,z)를, 각 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)로서 구한다. 뎁스 변환부(254)는, 각 샘플링점의 3차원 위치 (u,v,z)를 불연속 검출부(255)와 3D 모델 생성부(256)에 공급한다.
스텝 S76에 있어서, 불연속 검출부(255)는, 뎁스 변환부(254)로부터 공급되는 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 제1 레이어의 뎁스 화상의 각 화소 중 불연속 화소를 검출한다. 불연속 검출부(255)는, 불연속 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)를 3D 모델 생성부(256)에 공급한다.
스텝 S77에 있어서, 3D 모델 생성부(256)는, 뎁스 변환부(254)로부터 공급되는 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 각 샘플링점 중 인접하는 3개의 샘플링점끼리 접속하도록, 제1 레이어의 각 샘플링점의 접속 정보를 생성한다.
스텝 S78에 있어서, 3D 모델 생성부(256)는, 불연속 검출부(255)로부터 공급되는 불연속 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 스텝 S77에서 생성된 각 샘플링점의 접속 정보 중 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보를 삭제한다.
스텝 S79에 있어서, 3D 모델 생성부(256)는, 제1 레이어의 각 샘플링점의 3차원 위치 (u,v,z), RGB값, 및 스텝 S78의 처리에 의한 삭제 후의 접속 정보를, 제1 레이어의 3차원 데이터로서 생성한다. 3D 모델 생성부(256)는, 제1 레이어의 3차원 데이터를 도 19의 묘화부(239)에 공급한다.
스텝 S80에 있어서, 디코더(257)는, 시선 검출부(234)로부터 공급되는 제2 레이어 텍스처 스트림을 복호하고, 제2 레이어의 텍스처 화상을 생성한다. 디코더(257)는, 제2 레이어의 텍스처 화상을 RGB 변환부(258)에 공급한다.
스텝 S81에 있어서, RGB 변환부(258)는, 제2 레이어의 텍스처 화상의 각 화소의 화소값으로서의 YCbCr값을 RGB값으로 변환하고, 각 화소에 대응하는 샘플링점의 RGB값으로 한다. 그리고, RGB 변환부(258)는, 각 샘플링점의 RGB값을 3D 모델 생성부(262)에 공급한다.
스텝 S82에 있어서, 디코더(259)는, 시선 검출부(234)로부터 공급되는 제2 레이어 뎁스 스트림을 복호하고, 제2 레이어의 뎁스 화상을 생성한다. 디코더(259)는, 제2 레이어의 뎁스 화상을 뎁스 변환부(260)에 공급한다.
스텝 S83에 있어서, 뎁스 변환부(260)는, 디코더(259)로부터 공급되는 제2 레이어의 뎁스 화상의 각 화소의 화소값에 대하여 8비트 역양자화를 행하여, 제2 레이어의 뎁스 화상의 각 화소의 역수 1/r을 얻는다.
스텝 S84에 있어서, 뎁스 변환부(260)는, 제2 레이어의 뎁스 화상의 각 화소의 역수 1/r에 기초하여, 제2 레이어의 뎁스 화상의 각 화소의 3차원 위치 (u,v,z)를, 각 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)로서 구한다. 뎁스 변환부(260)는, 각 샘플링점의 3차원 위치 (u,v,z)를 오클루전 처리부(261)와 3D 모델 생성부(262)에 공급한다.
스텝 S85에 있어서, 오클루전 처리부(261)는, 뎁스 변환부(260)로부터 공급되는 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 제2 레이어의 뎁스 화상의 각 화소 중 불연속 화소를 검출한다.
스텝 S86에 있어서, 오클루전 처리부(261)는, 제2 레이어의 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 불연속 화소에 대응하는 샘플링점의 3차원 위치 (u,v,z)를 보정하는 오클루전 처리를 행한다. 오클루전 처리부(261)는, 제2 레이어의 각 샘플링점의 오클루전 처리 후에 3차원 위치 (u,v,z)를 3D 모델 생성부(262)에 공급한다.
스텝 S87에 있어서, 3D 모델 생성부(262)는, 오클루전 처리부(261)로부터 공급되는 각 샘플링점의 3차원 위치 (u,v,z)에 기초하여, 각 샘플링점 중 인접하는 3개의 샘플링점끼리 접속하도록, 제2 레이어의 각 샘플링점의 접속 정보를 생성한다.
스텝 S88에 있어서, 3D 모델 생성부(262)는, 각 샘플링점의 3차원 위치 (u,v,z) 및 접속 정보, 그리고 RGB 변환부(258)로부터 공급되는 RGB값을, 제2 레이어의 3차원 데이터로서 생성한다. 3D 모델 생성부(262)는, 제2 레이어의 3차원 데이터를 도 19의 묘화부(239)에 공급한다.
또한, ML3D 모델 생성부(236) 및 ML3D 모델 생성부(237)에 의해 행해지는 3차원 데이터 생성 처리는, 도 27의 3차원 데이터 처리와 마찬가지로 행해진다.
이상과 같이, 홈 서버(13)는, 제1 레이어와 제2 레이어를 사용하여, 표시 화상을 생성한다. 따라서, 시청 위치가 시점(O)과는 상이한 경우에, 제2 레이어를 사용함으로써, 표시 화상에 포함되는 시점(O)의 오클루전 영역을 생성할 수 있다. 따라서, 고화질의 표시 화상을 생성할 수 있다.
또한, 홈 서버(13)는, 텍스처 화상뿐만 아니라 뎁스 화상도 사용하여 표시 화상을 생성한다. 따라서, 삼각형 패치 묘화에 의해, 피사체에 따른 3차원 형상의 삼각형 패치에 텍스처 화상을 매핑하고, 그 삼각형 패치를 사용하여 표시 화상을 생성할 수 있다. 따라서, 텍스처 화상만을 사용하여 텍스처 화상을 소정의 면에 매핑함으로써 표시 화상을 생성하는 경우에 비하여, 고화질의 표시 화상을 생성할 수 있다.
또한, 제1 레이어의 텍스처 화상과 뎁스 화상은, 전천구 화상의 텍스처 화상과 뎁스 화상을 소정의 면에 매핑함으로써 얻어지는 텍스처 화상과 뎁스 화상이다. 따라서, 전천구 화상의 텍스처 화상과 뎁스 화상을 소정의 면에 매핑함으로써 얻어지는 텍스처 화상과 뎁스 화상만을 재생하는 재생 장치에 있어서, 제1 레이어의 텍스처 화상과 뎁스 화상을 재생할 수 있다.
즉, 콘텐츠 서버(12)에 의해 생성되는 제1 레이어 및 제2 레이어의 텍스처 화상과 뎁스 화상의 포맷은, 전천구 화상의 텍스처 화상과 뎁스 화상을 소정의 면에 매핑함으로써 얻어지는 텍스처 화상과 뎁스 화상의 포맷과 호환성을 갖는다. 또한, 홈 서버(13)에 의한 재생 방법은, 전천구 화상의 텍스처 화상과 뎁스 화상을 소정의 면에 매핑함으로써 얻어지는 텍스처 화상과 뎁스 화상만을 재생하는 재생 장치의 재생 방법과 호환성을 갖는다.
또한, 홈 서버(13)는, 제1 레이어의 텍스처 화상과 뎁스 화상만을 사용하여 표시 화상을 생성하도록 해도 된다. 이 경우, 제1 레이어에 대하여 접속 정보의 삭제 대신에, 오클루전 처리가 행해진다.
또한, 상술한 설명에서는, 3D 모델 생성부(256)는, 불연속 검출부(255)에 있어서 검출된 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보를 삭제하였지만, 콘텐츠 서버(12)로부터 전송되어 오는 삼각형 패치 유효 무효 정보(상세는 후술함)에 기초하여 접속 정보를 삭제하도록 해도 된다. 이 경우, 불연속 검출부(255)는 마련되지 않는다.
(삼각형 패치 유효 무효 정보의 설명)
도 28은, 이러한 경우에 콘텐츠 서버(12)로부터 전송되어 오는 삼각형 패치 유효 무효 정보를 설명하는 도면이다.
도 28의 예에서는, 제1 레이어의 샘플링점(351)의 수가 12개이다. 따라서, 인접하는 3개의 샘플링점(351)을 정점으로 하는 삼각형 패치(352)의 수는 12개이다.
이 경우, 콘텐츠 서버(12)는, 불연속 검출부(255)와 마찬가지로, 불연속 화소를 검출한다. 그리고, 콘텐츠 서버(12)는, 그 불연속 화소에 대응하는 샘플링점을 정점으로 하는 삼각형 패치(352)를 무효(OFF)로 설정하고, 불연속 화소에 대응하는 샘플링점을 포함하지 않는 삼각형 패치(352)를 유효(ON)로 설정한다.
콘텐츠 서버(12)(생성부)는, 각 삼각형 패치(352)의 유효 또는 무효를 나타내는 삼각형 패치 유효 무효 정보를 생성하여, 메타데이터에 포함시킨다.
홈 서버(13)의 3D 모델 생성부(256)는, 삼각형 패치 유효 무효 정보에 기초하여, 무효의 삼각형 패치의 정점을 구성하는 샘플링점끼리의 접속을 나타내는 접속 정보를 삭제한다. 그 결과, 삼각형 패치 유효 무효 정보가 무효를 나타내는 삼각형 패치는, 묘화되지 않는다.
또한, 삼각형 패치는, 우측단 및 하측단의 샘플링점을 제외하고, 각 샘플링점에 대하여 2개씩 생성된다. 또한, 삼각형 패치 유효 무효 정보는, 삼각형 패치의 유효 또는 무효를 나타내는 1비트의 정보이다. 따라서, 모든 삼각형 패치의 삼각형 패치 유효 무효 정보의 비트수는, 제1 레이어의 텍스처 화상의 수평 방향의 화소수를 width라고 하고, 수직 방향의 화소수를 height라고 하면, (width-1)*(height-1)*2비트이다.
삼각형 패치 유효 무효 정보는, 무손실 압축 또는 비압축으로, 콘텐츠 서버(12)로부터 홈 서버(13)로 전송된다. 또한, 삼각형 패치 유효 무효 정보는, 뎁스 화상의 Cb, Cr값으로서 배치되어도 된다.
<제2 실시 형태>
(화상 표시 시스템의 제2 실시 형태의 구성예)
도 29는, 본 개시를 적용한 화상 표시 시스템의 제2 실시 형태의 구성예를 도시하는 블록도이다.
도 29에 도시하는 구성 중, 도 1의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절하게 생략한다.
도 29의 화상 표시 시스템(400)은, 멀티 카메라(11), 콘텐츠 서버(12), 변환 장치(14), 헤드 마운트 디스플레이(15), 배신 서버(401), 네트워크(402) 및 재생 장치(403)에 의해 구성된다. 화상 표시 시스템(400)에서는, 6개의 면 중, 시선에 대응하는 하나의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림만이 재생 장치(403)에 배신되어, 재생된다.
구체적으로는, 화상 표시 시스템(400)의 배신 서버(401)는, 콘텐츠 서버(12)로부터 송신되어 오는 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 6개의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를 수취하여, 기억한다.
또한, 배신 서버(401)는, 네트워크(402)를 통하여 재생 장치(403)와 접속된다. 배신 서버(401)는, 재생 장치(403)로부터의 요구에 따라, 기억하고 있는 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 하나의 면의 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림, 그리고 메타데이터를, 네트워크(402)를 통하여 재생 장치(403)에 전송한다.
재생 장치(403)(화상 처리 장치)는, 배신 서버(401)에 저해상도 텍스처 스트림, 저해상도 뎁스 스트림 및 메타데이터를, 네트워크(402)를 통하여 요구하고, 그 요구에 따라 전송되어 오는 저해상도 텍스처 스트림, 저해상도 뎁스 스트림 및 메타데이터를 수취한다.
또한, 재생 장치(403)는 카메라(13A)를 내장한다. 재생 장치(403)는, 홈 서버(13)와 마찬가지로, 3D 모델 좌표계에 있어서의 시청 위치를 검출하고, 3D 모델 좌표계에 있어서의 시청자의 시선 방향과 시야 범위를 결정한다.
그리고, 재생 장치(403)는, 3D 모델 좌표계에 있어서의 시청 위치 및 시선 방향, 그리고 메타데이터에 포함되는 제1 레이어의 테이블에 기초하여, 제1 레이어의 6개의 면 중, 시선에 가장 가까운 시선 벡터에 대응하는 하나의 면을 선택면으로 결정한다. 재생 장치(403)는, 하나의 선택면에 대응하는 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을, 네트워크(402)를 통하여 요구한다. 재생 장치(403)는, 그 요구에 따라 전송되어 오는 하나의 선택면에 대응하는 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을 수취한다.
재생 장치(403)는, 저해상도 텍스처 스트림 및 저해상도 뎁스 스트림, 그리고 하나의 선택면에 대응하는 제1 레이어 텍스처 스트림, 제1 레이어 뎁스 스트림, 제2 레이어 텍스처 스트림 및 제2 레이어 뎁스 스트림을 사용하여 표시 화상을 생성한다. 재생 장치(403)의 표시 화상을 생성하는 처리는, 선택면의 수가 1개인 점을 제외하고, 홈 서버(13)의 처리와 마찬가지이므로, 설명은 생략한다. 재생 장치(403)는, 도시하지 않은 HDMI 케이블을 통하여 표시 화상을 변환 장치(14)에 전송한다.
<제3 실시 형태>
본 개시를 적용한 화상 표시 시스템의 제3 실시 형태의 구성은, 투시 투영 대신에 tan축 투영(상세는 후술함)이 행해지는 점을 제외하고, 도 1의 화상 표시 시스템(10)의 구성과 동일하다. 따라서, 이하에서는, tan축 투영에 대해서만 설명한다.
(투영면의 좌표계의 설명)
도 30은, 투영면의 좌표계를 설명하는 도면이다.
또한, 제3 실시 형태에서는, 투영면은, 콘텐츠 서버(12)가 저해상도 화상을 생성할 때 촬영 화상을 tan축 투영하는 정팔면체의 각 면, 콘텐츠 서버(12)가 제1 레이어 화상 및 제2 레이어 화상을 생성할 때 촬영 화상이나 z 화상을 tan축 투영하는 각 면, 또는 홈 서버(13)가 표시 화상을 생성할 때 삼각형 패치를 tan축 투영하는 시야 범위이다.
도 30의 예에서는, 3D 모델 좌표계에 있어서, Z가 -1.0인 투영면(501)이 설정되어 있다. 이 경우, 투영면(501)의 중심(O')을 원점으로 하고, 투영면(501)의 수평 방향을 s 방향으로 하고, 수직 방향을 t 방향으로 하는 2차원의 st 좌표계가, 투영면(501)의 좌표계가 된다.
또한, 이하에서는, 3D 모델 좌표계의 원점(O)으로부터 st 좌표계의 좌표 (s,t)를 향하는 벡터(502)를, 좌표 (s,t)와, 원점(O)으로부터 투영면(501)까지의 거리인 -1.0을 사용하여, 벡터 (s,t,-1.0)로 한다.
(tan축 투영의 설명)
도 31은, tan축 투영(정접축 투영)을 설명하는 도면이다.
도 31은, 투영면(501)을 Z의 부방향으로 본 도면이다. 도 31의 예에서는, st 좌표계에 있어서, 투영면(501)의 s값 및 t값의 최솟값은 -1.0이며, 최댓값은 1.0이다.
이 경우, 투시 투영에서는, 원점(O)으로부터 투영면(501) 상의 투영점을 향하는 투영 벡터가 벡터 (s',t',-1.0)이 되도록, 투영면(501) 상에 투영점이 설정된다. 또한, s'는 -1.0부터 1.0까지의 s값의 범위에 마련된 소정의 간격마다의 값이고, t'는 -1.0부터 1.0까지의 t값의 범위에 마련된 소정의 간격마다의 값이다. 따라서, 투시 투영에 있어서의 투영점은, 투영면(501) 상에서 균일하다.
이에 비해, 투영면(501)의 가로 화각 및 세로 화각을 화각 θw(도 31의 예에서는 π/2)라고 하면, tan축 투영에서는, 투영 벡터가 벡터 (tan(s'*θw/2),tan(t'*θw/2),-1.0)이 되도록, 투영면(501) 상에 투영점이 설정된다.
구체적으로는, 벡터 (tan(s'*θw/2),tan(t'*θw/2),-1.0)은, s'*θw/2를 θ라고 하고, t'*θw/2를 φ라고 하면, 벡터 (tanθ,tanφ,-1.0)이 된다. 이때, 화각 θw가 π에 접근하면, tanθ나 tanφ는 무한대로 발산된다. 따라서, tanθ나 tanφ가 무한대로 발산되지 않도록, 벡터 (tanθ,tanφ,-1.0)이 벡터 (sinθ*cosφ,cosθ*sinφ,-cosθ*cosφ)로 보정되고, 투영 벡터가 벡터 (sinθ*cosφ,cosθ*sinφ,-cosθ*cosφ)가 되도록, 투영면(501) 상에 투영점이 설정된다. 따라서, tan축 투영에서는, 인접하는 투영점에 대응하는 투영 벡터끼리 이루는 각이 동일하게 된다.
또한, 대수축(로그 스케일)과 마찬가지로, tan(s'*θw/2), tan(t'*θw/2)는, tan축의 s', t'라고 파악된다. 따라서, 본 명세서에서는, 투영 벡터가 벡터 (tan(s'*θw/2),tan(t'*θw/2),-1.0)이 되는 투영을, tan축 투영이라고 칭하고 있다.
(투시 투영과 tan축 투영에 있어서의 투영점의 설명)
도 32는, 투시 투영과 tan축 투영에 있어서의 투영점을 설명하는 도면이다.
도 32는, 투영면(501)을 Y의 부방향으로 본 도면이다. 도 32의 예에서는, 투영면(501) 상에 투영점이 9개 배치되고, 구(511)에 매핑된 전천구 화상이 투영된다.
이 경우, 도 32에 도시하는 바와 같이, 투시 투영에서는, 투영점(P1 내지 P9)이 투영면(501) 상에 동일한 간격 d로 배치된다. 따라서, 투영점(P1 내지 P9)에 대응하는, 구(511)에 매핑된 전천구 화상 상의 점(P1' 내지 P9')의 간격 d'는 등간격은 아니다. 즉, 간격 d'는 투영 벡터에 의존하고, 투영면(501)의 중앙에 가까운 투영점일수록 간격 d'가 넓다.
이에 비해, tan축 투영에서는, 투영점(Q1 내지 Q9)이, 인접하는 투영점의 투영 벡터끼리 이루는 각도가 동일한 각도 α가 되도록 배치된다. 따라서, 투영점(Q1 내지 Q9)에 대응하는, 구(511)에 매핑된 전천구 화상 상의 점(Q1' 내지 Q9')의 간격은 동일한 간격 d"가 된다.
(투시 투영과 tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상 상의 촬영 화상의 각 화소의 예)
도 33은, 투시 투영에 의해 생성된 제1 레이어의 고해상도 화상 상의 촬영 화상의 각 화소의 예를 도시하는 도면이고, 도 34는, tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상 상의 촬영 화상의 각 화소의 예를 도시하는 도면이다.
또한, 도 33 및 도 34에서는, 제1 레이어의 고해상도 화상 상의 촬영 화상의 각 화소의 경계를 백선으로 나타내고 있다. 이것은, 후술하는 도 35에 있어서도 마찬가지이다. 또한, 도 33 및 도 34의 예에서는, 촬영 화상이 일단 구에 매핑되고, 구에 매핑된 촬영 화상이 투영된다. 또한, 도 33 및 도 34의 예에서는, 제1 레이어의 각 면은 입방체의 각 면이다.
이 경우, 도 33에 도시하는 바와 같이, 구에 매핑된 촬영 화상의 각 화소가, 입방체의 각 면에 투시 투영됨으로써 생성되는 제1 레이어의 고해상도 화상(521 내지 526) 상의 촬영 화상의 화소(530)(도면 중 백선으로 둘러싸인 직사각형)의 밀도는, 화면의 중앙에 가까울수록 높아진다.
즉, 투영점의 간격이 입방체의 각 면 상에서 동일한 투시 투영에서는, 구에 매핑된 촬영 화상 상의 투영점에 대응하는 점의 각도당 밀도가, 입방체의 각 면의 중앙에 가까운 투영점일수록 낮아진다. 따라서, 제1 레이어의 고해상도 화상(521 내지 526) 상의 촬영 화상의 화소(530)의 밀도는, 화면의 중앙에 가까울수록 높아진다.
이에 비해, 도 34에 도시하는 바와 같이, 구에 매핑된 촬영 화상의 각 화소가, 입방체의 각 면에 tan축 투영됨으로써 생성되는 제1 레이어의 고해상도 화상(541 내지 546) 상의 촬영 화상의 화소(550)(도면 중 백선으로 둘러싸인 직사각형)의 밀도는, 대략 균일하게 된다.
즉, 투영점에 대응하는, 구에 매핑된 촬영 화상 상의 점의 간격이 동일한 tan축 투영에서는, 투시 투영에 비하여, 구에 매핑된 촬영 화상 상의 투영점에 대응하는 점의 각도당 밀도가 균일하게 된다. 따라서, 제1 레이어의 고해상도 화상(541 내지 546) 상의 촬영 화상의 화소(550)의 밀도는 대략 균일하게 된다. 그 결과, 제1 레이어의 고해상도 화상(541 내지 546)의 화질은, 촬영 화상의 화소의 밀도가 균일하지 않은 제1 레이어의 고해상도 화상(521 내지 526)에 비하여 향상된다.
또한, 제1 레이어의 고해상도 화상(541)이나 제1 레이어의 고해상도 화상(546)의 각 화소(550)의 경계는 동심원을 그리지 않기 때문에, 제1 레이어의 고해상도 화상(541)이나 제1 레이어의 고해상도 화상(546)은, 어안 렌즈에 의해 촬영된 촬영 화상과는 상이하다. 또한, 제1 레이어의 고해상도 화상(521 내지 526)의 각각과, 제1 레이어의 고해상도 화상(541 내지 546)의 각각은, 촬영 화상의 동일한 영역이 투영된 화상이기 때문에, 상호 변환이 가능하다.
도 35는, 투시 투영 및 tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상 상의 촬영 화상의 각 화소의 다른 예를 도시하는 도면이다.
도 35의 상단에는, 가로 화각 및 세로 화각이 60°, 90°, 120°, 150°, 170°인 경우에 투시 투영에 의해 생성된 제1 레이어의 고해상도 화상(561 내지 565)이 도시되어 있다.
또한, 도 35의 하단에는, 가로 화각 및 세로 화각이 60°, 90°, 120°, 150°, 170°인 경우에 tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상(571 내지 575)이 도시되어 있다.
도 35의 상단에 도시하는 바와 같이, 투시 투영에 의해 생성된 제1 레이어의 고해상도 화상(561 내지 565) 상의 촬영 화상의 화소의 밀도의, 화면 내의 위치에 따른 차는, 가로 화각이나 세로 화각이 클수록 커진다. 한편, 도 35의 하단에 도시하는 바와 같이, tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상(571 내지 575)의 촬영 화상의 화소의 밀도는, 화면 내에서 균일에 가깝다. 따라서, 가로 화각이나 세로 화각이 클수록, tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상(571 내지 575)은, 투시 투영에 의해 생성된 제1 레이어의 고해상도 화상(561 내지 565)에 비하여 화질이 향상된다.
또한, 투시 투영에 의해 생성된 제1 레이어의 고해상도 화상(561 내지 565)의 화면 중앙의 촬영 화상의 화소의 밀도는, 가로 화각이나 세로 화각이 클수록 높아진다. 따라서, 예를 들어 가로 화각 및 세로 화각이 120°인 제1 레이어의 고해상도 화상(563)의 화면 중앙의 해상도는, 가로 화각 및 세로 화각이 90°인 제1 레이어의 고해상도 화상(562)에 비하여 저하된다.
한편, tan축 투영에 의해 생성된 제1 레이어의 고해상도 화상(571 내지 575) 전체의 촬영 화상의 화소의 밀도는, 가로 화각이나 세로 화각이 클수록 높아지지만, 화면 내에서 균일에 가깝다. 따라서, tan축 투영에서는, 투시 투영에 비하여, 가로 화각이나 세로 화각이 커질수록 화면 중앙의 촬영 화상의 화소의 밀도가 높아지는 것을 억제할 수 있다.
예를 들어, 가로 화각 및 세로 화각이 120°이고, tan축 투영에 의해 생성되는 제1 레이어의 고해상도 화상(573)의 화면 중앙에 있어서의 촬영 화상의 화소의 밀도는, 가로 화각 및 세로 화각이 90°이고, 투시 투영에 의해 생성되는 제1 레이어의 고해상도 화상(562)의 화면 중앙에 있어서의 촬영 화상의 화소의 밀도와 대략 동등하게 된다. 그 결과, tan축 투영에서는, 투시 투영에 비하여, 화면 중앙의 중요한 영역의 해상도를 향상시킬 수 있다.
또한, 도시는 생략하지만, 제1 레이어의 고해상도 화상(521 내지 526)이 입방체의 각 면에 텍스처로서 매핑되고, 인접하는 2개의 면의 경계가 화면 중앙에 투영되도록 투시 투영이 행해지면, 그 경계에 가까울수록, 투시 투영된 촬영 화상의 화소의 밀도가 높아진다. 마찬가지로, 인접하는 3개의 면의 경계가 화면 중앙에 투영되도록 투시 투영이 행해지면, 그 경계에 가까울수록, 투시 투영된 촬영 화상의 화소의 밀도가 높아진다. 즉, 제1 레이어의 고해상도 화상(521 내지 526)이 매핑된 입방체의 정점 부근으로부터 투시 투영된 촬영 화상의 화소의 밀도는, 다른 영역에 비하여 높아진다.
또한, 설명은 생략하지만, tan축 투영에 의해 생성되는 제1 레이어의 뎁스 화상, 제2 레이어 화상 및 표시 화상에 있어서도, 제1 레이어의 고해상도 화상과 마찬가지의 효과를 얻을 수 있다.
(제1 레이어의 시점 위치 정보 및 면 정보의 테이블의 구성예)
도 36은, 제3 실시 형태에 있어서의 제1 레이어의 시점 위치 정보 및 면 정보의 테이블의 구성예를 도시하는 도면이다.
도 36의 테이블의 구성은, 새롭게 각 면에 대한 투영 방식이 투영 방식으로서 등록되는 점을 제외하고, 도 9의 구성과 동일하다. 구체적으로는, 제3 실시 형태에서는, 각 면에 대한 투영 방식이 tan축 투영이기 때문에, 도 36의 테이블에는, 제1 레이어의 각 면의 파일명의 공통 부분에 대응지어, 투영 방식으로서 tan축 투영이 등록된다.
또한, 제1 및 제2 실시 형태에 있어서도, 제3 실시 형태와 마찬가지로, 테이블에 투영 방식이 등록되도록 해도 되고, 제3 실시 형태에 있어서, 제1 실시 형태와 마찬가지로, 테이블에 투영 방식이 등록되지 않도록 해도 된다.
이상과 같이, 제3 실시 형태에서는, 촬영 화상이나 z 화상을 면에 tan축 투영함으로써 제1 레이어 화상 및 제2 레이어 화상을 생성하므로, 제1 레이어 화상 및 제2 레이어 화상의 화질을 향상시킬 수 있다. 또한, 삼각형 패치를 시야 범위로 tan축 투영함으로써 표시 화상을 생성하므로, 표시 화상의 화질을 향상시킬 수 있다.
또한, 제1 레이어 화상, 제2 레이어 화상 및 표시 화상을 생성할 때 행해지는 투영은, 투시 투영, tan축 투영 이외여도 된다. 또한, 면마다 투영 방식이 상이하도록 해도 된다. 또한, 제2 실시 형태에 있어서, 투시 투영 대신에 tan축 투영이 행해지도록 해도 된다.
<텍스처 화상의 다른 예>
도 37은, 제1 레이어의 텍스처 화상의 다른 예를 도시하는 도면이다.
상술한 설명에서는, 제1 레이어의 각 면의 텍스처 화상은, 하나의 시점(O)의 텍스처 화상이었지만, 시점(O)에 대응하는 좌안용 시점과 우안용 시점의 텍스처 화상이 합성된 것이어도 된다.
구체적으로는, 도 37의 A에 도시하는 바와 같이, 제1 레이어의 각 면의 텍스처 화상은, 예를 들어 시점(O)에 대응하는 좌안용 시점의 제1 레이어의 각 면의 텍스처 화상(621)과, 우안용 시점의 제1 레이어의 각 면의 텍스처 화상(622)이, 횡방향(수평 방향)으로 패킹된 패킹 화상(620)이어도 된다.
또한, 도 37의 B에 도시하는 바와 같이, 제1 레이어의 각 면의 텍스처 화상은, 예를 들어 텍스처 화상(621)과 텍스처 화상(622)이 종방향(수직 방향)으로 패킹된 패킹 화상(640)이어도 된다.
마찬가지로, 제2 레이어의 각 면의 텍스처 화상은, 그 면의 하나의 제2 레이어의 시점에 대응하는 좌안용 시점의 제2 레이어의 텍스처 화상과, 우안용 시점의 제2 레이어의 텍스처 화상이 횡방향 또는 종방향으로 패킹된 패킹 화상이어도 된다.
이상과 같이, 제1 레이어 및 제2 레이어의 각 면의 텍스처 화상이 좌안용 시점과 우안용 시점의 화상을 패킹한 텍스처 화상인 경우, 복호 결과 얻어지는 텍스처 화상이, 좌안용 시점의 텍스처 화상과 우안용 시점의 텍스처 화상으로 분리된다. 그리고, 제1 레이어 및 제2 레이어에 대하여, 좌안용 3차원 데이터와 우안용 3차원 데이터가 생성된다.
그리고, 시청자의 시청 방향 및 시청 위치에 대응하는 좌안의 시청 방향 및 시청 위치에 기초하여, 좌안용 3차원 데이터로부터 좌안용 표시 화상이 생성된다. 또한, 시청자의 시청 방향 및 시청 위치에 대응하는 우안의 시청 방향 및 시청 위치에 기초하여, 우안용 3차원 데이터로부터 우안용 표시 화상이 생성된다. 그리고, 헤드 마운트 디스플레이(15)가 3D 표시 가능한 경우, 헤드 마운트 디스플레이(15)는, 좌안용 표시 화상을 좌안용 화상으로서 표시하고, 우안용 표시 화상을 우안용 화상으로서 표시함으로써, 표시 화상을 3D 표시한다.
또한, 제1 및 제2 실시 형태에서는, 촬영 화상이 정팔면체에 매핑됨으로써 전천구 화상이 생성되었지만, 촬영 화상이 매핑되는 3D 모델은, 정팔면체 외에, 구나 입방체 등으로 할 수 있다. 촬영 화상이 구에 매핑되는 경우, 전천구 화상은, 예를 들어 촬영 화상이 매핑된 구의 정거원통도법에 의한 화상이다.
또한, 저해상도 텍스처 스트림과 저해상도 뎁스 스트림은 생성되지 않아도 된다. 제1 레이어 및 제2 레이어의 뎁스 화상은 생성되지 않아도 된다. 또한, 제2 레이어의 텍스처 화상과 뎁스 화상은, 중요한 피사체의 촬영 화상이 매핑되는 일부 면에 대해서만 생성되도록 해도 된다.
또한, 저해상도 텍스처 화상 및 저해상도 뎁스 화상도, 고해상도 텍스처 화상 및 뎁스 화상과 마찬가지로, 계층화하여 생성되어도 된다.
<제4 실시 형태>
(본 개시를 적용한 컴퓨터의 설명)
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 38은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)에 의해 서로 접속되어 있다.
버스(904)에는, 또한 입출력 인터페이스(905)가 접속되어 있다. 입출력 인터페이스(905)에는, 입력부(906), 출력부(907), 기억부(908), 통신부(909) 및 드라이브(910)가 접속되어 있다.
입력부(906)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(907)는 디스플레이, 스피커 등을 포함한다. 기억부(908)는 하드 디스크나 불휘발성 메모리 등을 포함한다. 통신부(909)는 네트워크 인터페이스 등을 포함한다. 드라이브(910)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(911)를 구동한다.
이상과 같이 구성되는 컴퓨터(900)에서는, CPU(901)가, 예를 들어 기억부(908)에 기억되어 있는 프로그램을, 입출력 인터페이스(905) 및 버스(904)를 통하여, RAM(903)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(900)(CPU(901))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(911)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(900)에서는, 프로그램은, 리무버블 미디어(911)를 드라이브(910)에 장착함으로써, 입출력 인터페이스(905)를 통하여, 기억부(908)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(909)에서 수신하고, 기억부(908)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(902)이나 기억부(908)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(900)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
<응용예>
본 개시에 관한 기술은 여러 가지 제품에 응용할 수 있다. 예를 들어, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등의 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 39는, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(7000)의 개략적인 구성예를 도시하는 블록도이다. 차량 제어 시스템(7000)은, 통신 네트워크(7010)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 39에 도시한 예에서는, 차량 제어 시스템(7000)은, 구동계 제어 유닛(7100), 보디계 제어 유닛(7200), 배터리 제어 유닛(7300), 차외 정보 검출 유닛(7400), 차내 정보 검출 유닛(7500) 및 통합 제어 유닛(7600)을 구비한다. 이들 복수의 제어 유닛을 접속하는 통신 네트워크(7010)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크여도 된다.
각 제어 유닛은, 각종 프로그램에 따라 연산 처리를 행하는 마이크로컴퓨터와, 마이크로컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 사용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(7010)를 통하여 다른 제어 유닛과의 사이에서 통신을 행하기 위한 네트워크 I/F를 구비함과 함께, 차내외의 장치 또는 센서 등과의 사이에서, 유선 통신 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 39에서는, 통합 제어 유닛(7600)의 기능 구성으로서, 마이크로컴퓨터(7610), 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660), 음성 화상 출력부(7670), 차량 탑재 네트워크 I/F(7680) 및 기억부(7690)가 도시되어 있다. 다른 제어 유닛도 마찬가지로, 마이크로컴퓨터, 통신 I/F 및 기억부 등을 구비한다.
구동계 제어 유닛(7100)은, 각종 프로그램에 따라 차량의 구동계에 관련된 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(7100)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다. 구동계 제어 유닛(7100)은, ABS(Antilock Brake System) 또는 ESC(Electronic Stability Control) 등의 제어 장치로서의 기능을 가져도 된다.
구동계 제어 유닛(7100)에는, 차량 상태 검출부(7110)가 접속된다. 차량 상태 검출부(7110)에는, 예를 들어 차체의 축 회전 운동의 각속도를 검출하는 자이로 센서, 차량의 가속도를 검출하는 가속도 센서, 혹은 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수 또는 차륜의 회전 속도 등을 검출하기 위한 센서 중 적어도 하나가 포함된다. 구동계 제어 유닛(7100)은, 차량 상태 검출부(7110)로부터 입력되는 신호를 사용하여 연산 처리를 행하고, 내연 기관, 구동용 모터, 전동 파워 스티어링 장치 또는 브레이크 장치 등을 제어한다.
보디계 제어 유닛(7200)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 보디계 제어 유닛(7200)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 혹은 헤드 램프, 백 램프, 브레이크 램프, 윙커 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(7200)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(7200)은, 이들 전파 또는 신호의 입력을 접수하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
배터리 제어 유닛(7300)은, 각종 프로그램에 따라 구동용 모터의 전력 공급원인 이차 전지(7310)를 제어한다. 예를 들어, 배터리 제어 유닛(7300)에는, 이차 전지(7310)를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력 전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(7300)은, 이들 신호를 사용하여 연산 처리를 행하고, 이차 전지(7310)의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.
차외 정보 검출 유닛(7400)은, 차량 제어 시스템(7000)을 탑재한 차량의 외부 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(7400)에는, 촬상부(7410) 및 차외 정보 검출부(7420) 중 적어도 한쪽이 접속된다. 촬상부(7410)에는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 밖의 카메라 중 적어도 하나가 포함된다. 차외 정보 검출부(7420)에는, 예를 들어 현재의 날씨 또는 기상을 검출하기 위한 환경 센서, 혹은 차량 제어 시스템(7000)을 탑재한 차량 주위의 다른 차량, 장해물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 중 적어도 하나가 포함된다.
환경 센서는, 예를 들어 우천을 검출하는 우적 센서, 안개를 검출하는 안개 센서, 일조 정도를 검출하는 일조 센서, 및 강설을 검출하는 눈 센서 중 적어도 하나여도 된다. 주위 정보 검출 센서는, 초음파 센서, 레이더 장치 및 LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging) 장치 중 적어도 하나여도 된다. 이들 촬상부(7410) 및 차외 정보 검출부(7420)는, 각각 독립된 센서 내지 장치로서 구비되어도 되고, 복수의 센서 내지 장치가 통합된 장치로서 구비되어도 된다.
여기서, 도 40은, 촬상부(7410) 및 차외 정보 검출부(7420)의 설치 위치의 예를 도시한다. 촬상부(7910, 7912, 7914, 7916, 7918)는, 예를 들어 차량(7900)의 프론트 노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프론트 유리의 상부 중 적어도 하나의 위치에 마련된다. 프론트 노즈에 구비되는 촬상부(7910) 및 차실 내의 프론트 유리의 상부에 구비되는 촬상부(7918)는, 주로 차량(7900)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(7916)는, 주로 차량(7900)의 후방의 화상을 취득한다. 차실 내의 프론트 유리의 상부에 구비되는 촬상부(7918)는, 주로 선행 차량, 또는 보행자, 장해물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.
또한, 도 40에는, 각각의 촬상부(7910, 7912, 7914, 7916)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(a)는, 프론트 노즈에 마련된 촬상부(7910)의 촬상 범위를 나타내고, 촬상 범위(b, c)는, 각각 사이드 미러에 마련된 촬상부(7912, 7914)의 촬상 범위를 나타내고, 촬상 범위(d)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(7916)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(7910, 7912, 7914, 7916)에서 촬상된 화상 데이터가 중첩됨으로써, 차량(7900)을 상방에서 본 부감 화상이 얻어진다.
차량(7900)의 프론트, 리어, 사이드, 코너 및 차실 내의 프론트 유리의 상부에 마련되는 차외 정보 검출부(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들어 초음파 센서 또는 레이더 장치여도 된다. 차량(7900)의 프론트 노즈, 리어 범퍼, 백 도어 및 차실 내의 프론트 유리의 상부에 마련되는 차외 정보 검출부(7920, 7926, 7930)는, 예를 들어 LIDAR 장치여도 된다. 이들 차외 정보 검출부(7920 내지 7930)는, 주로 선행 차량, 보행자 또는 장해물 등의 검출에 사용된다.
도 39로 되돌아가서 설명을 계속한다. 차외 정보 검출 유닛(7400)은, 촬상부(7410)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상 데이터를 수신한다. 또한, 차외 정보 검출 유닛(7400)은, 접속되어 있는 차외 정보 검출부(7420)로부터 검출 정보를 수신한다. 차외 정보 검출부(7420)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차외 정보 검출 유닛(7400)은, 초음파 또는 전자파 등을 발신시킴과 함께, 수신된 반사파의 정보를 수신한다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 강우, 안개 또는 노면 상황 등을 인식하는 환경 인식 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 차외 물체까지의 거리를 산출해도 된다.
또한, 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 대하여 왜곡 보정 또는 위치 정렬 등의 처리를 행함과 함께, 상이한 촬상부(7410)에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상을 생성해도 된다. 차외 정보 검출 유닛(7400)은, 상이한 촬상부(7410)에 의해 촬상된 화상 데이터를 사용하여, 시점 변환 처리를 행해도 된다.
차내 정보 검출 유닛(7500)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(7500)에는, 예를 들어 운전자의 상태를 검출하는 운전자 상태 검출부(7510)가 접속된다. 운전자 상태 검출부(7510)는, 운전자를 촬상하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차실 내의 음성을 집음하는 마이크 등을 포함해도 된다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되고, 좌석에 앉은 탑승자 또는 스티어링 휠을 쥐는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(7500)은, 운전자 상태 검출부(7510)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다. 차내 정보 검출 유닛(7500)은, 집음된 음성 신호에 대하여 노이즈 캔슬링 처리 등의 처리를 행해도 된다.
통합 제어 유닛(7600)은, 각종 프로그램에 따라 차량 제어 시스템(7000) 내의 동작 전반을 제어한다. 통합 제어 유닛(7600)에는, 입력부(7800)가 접속되어 있다. 입력부(7800)는, 예를 들어 터치 패널, 버튼, 마이크로폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(7600)에는, 마이크로폰에 의해 입력되는 음성을 음성 인식함으로써 얻은 데이터가 입력되어도 된다. 입력부(7800)는, 예를 들어 적외선 또는 그 밖의 전파를 이용한 리모트 컨트롤 장치여도 되고, 차량 제어 시스템(7000)의 조작에 대응한 휴대 전화 또는 PDA(Personal Digital Assistant) 등의 외부 접속 기기여도 된다. 입력부(7800)는, 예를 들어 카메라여도 되며, 그 경우 탑승자는 제스처에 의해 정보를 입력할 수 있다. 혹은, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻어진 데이터가 입력되어도 된다. 또한, 입력부(7800)는, 예를 들어 상기 입력부(7800)를 사용하여 탑승자 등에 의해 입력된 정보에 기초하여 입력 신호를 생성하고, 통합 제어 유닛(7600)에 출력하는 입력 제어 회로 등을 포함해도 된다. 탑승자들은, 이 입력부(7800)를 조작함으로써, 차량 제어 시스템(7000)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 한다.
기억부(7690)는, 마이크로컴퓨터에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read Only Memory) 및 각종 파라미터, 연산 결과 또는 센서값 등을 기억하는 RAM(Random Access Memory)을 포함해도 된다. 또한, 기억부(7690)는, HDD(Hard Disc Drive) 등의 전자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현되어도 된다.
범용 통신 I/F(7620)는, 외부 환경(7750)에 존재하는 여러 가지 기기와의 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(7620)는, GSM(Global System of Mobile communications), WiMAX, LTE(Long Term Evolution) 혹은 LTE-A(LTE-Advanced) 등의 셀룰러 통신 프로토콜, 또는 무선 LAN(Wi-Fi(등록 상표)라고도 함), Bluetooth(등록 상표) 등의 그 밖의 무선 통신 프로토콜을 실장해도 된다. 범용 통신 I/F(7620)는, 예를 들어 기지국 또는 액세스 포인트를 통하여, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)에 접속되어도 된다. 또한, 범용 통신 I/F(7620)는, 예를 들어 P2P(Peer To Peer) 기술을 이용하여, 차량 근방에 존재하는 단말기(예를 들어, 운전자, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와 접속되어도 된다.
전용 통신 I/F(7630)는, 차량에 있어서의 사용을 목적으로 하여 책정된 통신 프로토콜을 서포트하는 통신 I/F이다. 전용 통신 I/F(7630)는, 예를 들어 하위 레이어인 IEEE802.11p와 상위 레이어인 IEEE1609의 조합인 WAVE(Wireless Access in Vehicle Environment), DSRC(Dedicated Short Range Communications), 또는 셀룰러 통신 프로토콜과 같은 표준 프로토콜을 실장해도 된다. 전용 통신 I/F(7630)는, 전형적으로는 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 차량과 집 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 중 하나 이상을 포함하는 개념인 V2X 통신을 수행한다.
측위부(7640)는, 예를 들어 GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호(예를 들어, GPS(Global Positioning System) 위성으로부터의 GPS 신호)를 수신하여 측위를 실행하고, 차량의 위도, 경도 및 고도를 포함하는 위치 정보를 생성한다. 또한, 측위부(7640)는, 무선 액세스 포인트와의 신호 교환에 의해 현재 위치를 특정해도 되고, 또는 측위 기능을 갖는 휴대 전화, PHS 혹은 스마트폰과 같은 단말기로부터 위치 정보를 취득해도 된다.
비콘 수신부(7650)는, 예를 들어 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하고, 현재 위치, 지체, 통행 금지 또는 소요 시간 등의 정보를 취득한다. 또한, 비콘 수신부(7650)의 기능은, 상술한 전용 통신 I/F(7630)에 포함되어도 된다.
차내 기기 I/F(7660)는, 마이크로컴퓨터(7610)와 차내에 존재하는 여러 가지 차내 기기(7760)의 사이의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(7660)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB)와 같은 무선 통신 프로토콜을 사용하여 무선 접속을 확립해도 된다. 또한, 차내 기기 I/F(7660)는, 도시하지 않은 접속 단자(및, 필요하다면 케이블)를 통하여, USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등의 유선 접속을 확립해도 된다. 차내 기기(7760)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 또는 차량에 반입되거나 혹은 설치되는 정보 기기 중 적어도 하나를 포함해도 된다. 또한, 차내 기기(7760)는, 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치를 포함해도 된다. 차내 기기 I/F(7660)는, 이들 차내 기기(7760)와의 사이에서, 제어 신호 또는 데이터 신호를 교환한다.
차량 탑재 네트워크 I/F(7680)는, 마이크로컴퓨터(7610)와 통신 네트워크(7010)의 사이의 통신을 중개하는 인터페이스이다. 차량 탑재 네트워크 I/F(7680)는, 통신 네트워크(7010)에 의해 서포트되는 소정의 프로토콜에 의거하여, 신호 등을 송수신한다.
통합 제어 유닛(7600)의 마이크로컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차량 탑재 네트워크 I/F(7680) 중 적어도 하나를 통하여 취득되는 정보에 기초하여, 각종 프로그램에 따라, 차량 제어 시스템(7000)을 제어한다. 예를 들어, 마이크로컴퓨터(7610)는, 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하고, 구동계 제어 유닛(7100)에 대하여 제어 명령을 출력해도 된다. 예를 들어, 마이크로컴퓨터(7610)는, 차량의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행해도 된다. 또한, 마이크로컴퓨터(7610)는, 취득되는 차량의 주위 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 구애되지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행해도 된다.
마이크로컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차량 탑재 네트워크 I/F(7680) 중 적어도 하나를 통하여 취득되는 정보에 기초하여, 차량과 주변 구조물이나 인물 등의 물체의 사이의 3차원 거리 정보를 생성하고, 차량의 현재 위치의 주변 정보를 포함하는 로컬 지도 정보를 작성해도 된다. 또한, 마이크로컴퓨터(7610)는, 취득되는 정보에 기초하여, 차량의 충돌, 보행자 등의 근접 또는 통행 금지의 도로로의 진입 등의 위험을 예측하고, 경고용 신호를 생성해도 된다. 경고용 신호는, 예를 들어 경고음을 발생시키거나, 경고 램프를 점등시키거나 하기 위한 신호여도 된다.
음성 화상 출력부(7670)는, 차량의 탑승자 또는 차외에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치로 음성 및 화상 중 적어도 한쪽의 출력 신호를 송신한다. 도 39의 예에서는, 출력 장치로서, 오디오 스피커(7710), 표시부(7720) 및 인스트루먼트 패널(7730)이 예시되어 있다. 표시부(7720)는, 예를 들어 온보드 디스플레이 및 헤드업 디스플레이 중 적어도 하나를 포함해도 된다. 표시부(7720)는, AR(Augmented Reality) 표시 기능을 가져도 된다. 출력 장치는, 이들 장치 이외의, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등의 다른 장치여도 된다. 출력 장치가 표시 장치인 경우, 표시 장치는, 마이크로컴퓨터(7610)가 행한 각종 처리에 의해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를, 텍스트, 이미지, 표, 그래프 등, 여러 가지 형식으로 시각적으로 표시한다. 또한, 출력 장치가 음성 출력 장치인 경우, 음성 출력 장치는, 재생된 음성 데이터 또는 음향 데이터 등을 포함하는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
또한, 도 39에 도시한 예에 있어서, 통신 네트워크(7010)를 통하여 접속된 적어도 2개의 제어 유닛이 하나의 제어 유닛으로서 일체화되어도 된다. 혹은, 개개의 제어 유닛이, 복수의 제어 유닛에 의해 구성되어도 된다. 또한, 차량 제어 시스템(7000)이, 도시되지 않은 다른 제어 유닛을 구비해도 된다. 또한, 상기 설명에 있어서, 어느 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 갖게 해도 된다. 즉, 통신 네트워크(7010)를 통하여 정보의 송수신이 되도록 되어 있다면, 소정의 연산 처리가, 어느 제어 유닛에서 행해지도록 되어도 된다. 마찬가지로, 어느 제어 유닛에 접속되어 있는 센서 또는 장치가, 다른 제어 유닛에 접속됨과 함께, 복수의 제어 유닛이, 통신 네트워크(7010)를 통하여 서로 검출 정보를 송수신해도 된다.
또한, 도 1 내지 도 37을 사용하여 설명한 본 실시 형태에 관한 화상 표시 시스템(10(400))의 각 기능을 실현하기 위한 컴퓨터 프로그램을, 어느 제어 유닛 등에 실장할 수 있다. 또한, 이러한 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체를 제공할 수도 있다. 기록 매체는, 예를 들어 자기 디스크, 광 디스크, 광자기 디스크, 플래시 메모리 등이다. 또한, 상기 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어 네트워크를 통하여 배신되어도 된다.
이상 설명한 차량 제어 시스템(7000)에 있어서, 도 1 내지 도 37을 사용하여 설명한 본 실시 형태에 관한 화상 표시 시스템(10(400))은, 도 39에 도시한 응용예의 차량 제어 시스템(7000)에 적용할 수 있다. 예를 들어, 화상 표시 시스템(10(400))의 멀티 카메라(11)는, 촬상부(7410)의 적어도 일부에 상당한다. 또한, 콘텐츠 서버(12), 홈 서버(13)(배신 서버(401), 네트워크(402), 재생 장치(403)) 및 변환 장치(14)는 일체화되며, 통합 제어 유닛(7600)의 마이크로컴퓨터(7610)와 기억부(7690)에 상당한다. 헤드 마운트 디스플레이(15)는, 표시부(7720)에 상당한다. 또한, 화상 표시 시스템(10(400))을 차량 제어 시스템(7000)에 적용하는 경우, 카메라(13A), 마커(15A) 및 자이로 센서(15B)는 마련되지 않고, 시청자인 탑승자의 입력부(7800)의 조작에 의해 시청자의 시선 방향 및 시청 위치가 입력된다. 이상과 같이 하여, 화상 표시 시스템(10(400))을, 도 39에 도시한 응용예의 차량 제어 시스템(7000)에 적용함으로써, 전천구 화상을 사용하여 고화질의 표시 화상을 생성할 수 있다.
또한, 도 1 내지 도 37을 사용하여 설명한 화상 표시 시스템(10(400))의 적어도 일부의 구성 요소는, 도 39에 도시한 통합 제어 유닛(7600)을 위한 모듈(예를 들어, 하나의 다이로 구성되는 집적 회로 모듈)에 있어서 실현되어도 된다. 혹은, 도 1 내지 도 37을 사용하여 설명한 화상 표시 시스템(10(400))이, 도 39에 도시한 차량 제어 시스템(7000)의 복수의 제어 유닛에 의해 실현되어도 된다.
본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 개시는, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 개시는, 이하와 같은 구성도 취할 수 있다.
(1) 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 사용하여, 소정 시점의 텍스처 화상을 생성하는 화상 생성부
를 구비하는 화상 처리 장치.
(2) 상기 제1 레이어 화상은, 상기 전천구 화상의 텍스처 화상과 뎁스 화상을 소정의 면에 투영함으로써 얻어진 텍스처 화상과 뎁스 화상으로 구성되고,
상기 제2 레이어 화상은, 상기 오클루전 영역의 텍스처 화상과 뎁스 화상을 소정의 면에 투영함으로써 얻어진 텍스처 화상과 뎁스 화상으로 구성되도록 구성된
상기 (1)에 기재된 화상 처리 장치.
(3) 상기 제2 레이어 화상의 상기 오클루전 영역 이외의 영역 중 배경 영역은, 상기 제1 레이어 화상과 동일하도록 구성된
상기 (1) 또는 (2)에 기재된 화상 처리 장치.
(4) 상기 제2 레이어 화상의 상기 오클루전 영역 이외의 영역 중 배경 영역은, 평탄 화상이도록 구성된
상기 (1) 또는 (2)에 기재된 화상 처리 장치.
(5) 상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 오클루전 영역을 사용하여 추측된 화상이도록 구성된
상기 (1) 내지 (4) 중 어느 것에 기재된 화상 처리 장치.
(6) 상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 제1 레이어 화상과 동일하도록 구성된
상기 (1) 내지 (4) 중 어느 것에 기재된 화상 처리 장치.
(7) 상기 제2 레이어 화상의 뎁스 화상의 화소 중, 인접하는 화소와의 깊이 방향의 위치의 차분이 역치 이상인 불연속 화소의 3차원 위치를 보정하는 오클루전 처리부를 더 구비하고,
상기 화상 생성부는, 상기 제1 레이어 화상, 상기 제2 레이어 화상의 텍스처 화상, 및 상기 오클루전 처리부에 의한 보정 후의 3차원 위치를 이용하여, 상기 소정 시점의 텍스처 화상을 생성하도록 구성된
상기 (6)에 기재된 화상 처리 장치.
(8) 상기 제1 레이어 화상의 뎁스 화상의 각 화소에 대응하는 샘플링점 중 인접하는 3개의 샘플링점끼리 접속하도록, 각 샘플링점의 다른 샘플링점과의 접속을 나타내는 접속 정보를 생성하는 접속 정보 생성부를 더 구비하고,
상기 접속 정보 생성부는, 생성된 상기 접속 정보로부터, 상기 제1 레이어 화상의 뎁스 화상의 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보를 삭제하고,
상기 화상 생성부는, 상기 제1 레이어 화상의 텍스처 화상, 상기 제2 레이어 화상의 텍스처 화상, 상기 오클루전 처리부에 의한 보정 후의 3차원 위치, 상기 제1 레이어 화상의 각 화소의 3차원 위치, 상기 접속 정보 생성부에 의한 삭제 후의 접속 정보, 및 제2 레이어 화상의 접속 정보를 사용하여, 상기 소정 시점의 텍스처 화상을 생성하도록 구성된
상기 (7)에 기재된 화상 처리 장치.
(9) 상기 제1 레이어 화상의 뎁스 화상의 각 화소에 대응하는 샘플링점 중 인접하는 3개의 샘플링점끼리 접속하도록, 각 샘플링점의 다른 샘플링점과의 접속을 나타내는 접속 정보를 생성하는 접속 정보 생성부를 더 구비하고,
상기 접속 정보 생성부는, 상기 3개의 샘플링점끼리를 접속함으로써 생성되는 각 삼각형 패치의 유효 또는 무효를 나타내는 삼각형 패치 유효 무효 정보에 기초하여, 무효의 상기 삼각형 패치를 구성하는 상기 3개의 샘플링점끼리의 접속을 나타내는 접속 정보를 삭제하고,
상기 화상 생성부는, 상기 제1 레이어 화상의 텍스처 화상, 상기 제2 레이어 화상의 텍스처 화상, 상기 오클루전 처리부에 의한 보정 후의 3차원 위치, 상기 제1 레이어 화상의 각 화소의 3차원 위치, 상기 접속 정보 생성부에 의한 삭제 후의 접속 정보, 및 제2 레이어 화상의 접속 정보를 사용하여, 상기 소정 시점의 텍스처 화상을 생성하도록 구성된
상기 (7)에 기재된 화상 처리 장치.
(10) 화상 처리 장치가,
전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 사용하여, 소정 시점의 텍스처 화상을 생성하는 화상 생성 스텝
을 포함하는 화상 처리 방법.
(11) 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 생성하는 화상 생성부
를 구비하는 화상 처리 장치.
(12) 상기 화상 생성부는, 상기 제1 레이어 화상과 상기 제2 레이어 화상의 상기 오클루전 영역을 복수의 시점의 촬영 화상으로부터 생성하도록 구성된
상기 (11)에 기재된 화상 처리 장치.
(13) 상기 화상 생성부는, 상기 전천구 화상의 텍스처 화상과 뎁스 화상을 각각 소정의 면에 투영함으로써 상기 제1 레이어 화상을 생성하고, 상기 오클루전 영역의 텍스처 화상과 뎁스 화상을 각각 소정의 면에 투영함으로써 상기 제2 레이어 화상을 생성하도록 구성된
상기 (11) 또는 (12)에 기재된 화상 처리 장치.
(14) 상기 제2 레이어 화상의 상기 오클루전 영역 이외의 영역 중 배경 영역은, 상기 제1 레이어 화상과 동일하도록 구성된
상기 (11) 내지 (13) 중 어느 것에 기재된 화상 처리 장치.
(15) 상기 제2 레이어 화상의 상기 오클루전 영역 이외의 영역 중 배경 영역은, 평탄 화상이도록 구성된
상기 (11) 내지 (13) 중 어느 것에 기재된 화상 처리 장치.
(16) 상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 오클루전 영역을 사용하여 추측된 화상이도록 구성된
상기 (11) 내지 (15) 중 어느 것에 기재된 화상 처리 장치.
(17) 상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 제1 레이어 화상과 동일하도록 구성된
상기 (11) 내지 (15) 중 어느 것에 기재된 화상 처리 장치.
(18) 상기 제1 레이어 화상의 뎁스 화상의 각 화소에 대응하는 샘플링점 중 인접하는 3개의 샘플링점끼리를 접속함으로써 생성되는 각 삼각형 패치의 유효 또는 무효를 나타내는 삼각형 패치 유효 무효 정보를 생성하는 생성부를 더 구비하는
상기 (11) 내지 (17) 중 어느 것에 기재된 화상 처리 장치.
(19) 상기 제1 레이어 화상의 뎁스 화상의 화소 중, 인접하는 화소와의 깊이 방향의 위치의 차분이 역치 이상인 불연속 화소에 대응하는 샘플링점을 정점으로 하는 삼각형 패치의 상기 삼각형 패치 유효 무효 정보는, 삼각형 패치의 무효를 나타내는 정보이도록 구성된
상기 (18)에 기재된 화상 처리 장치.
(20) 화상 처리 장치가,
전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 생성하는 화상 생성 스텝
을 포함하는 화상 처리 방법.
12: 콘텐츠 서버
13: 홈 서버
50: 제1 레이어 생성부
53: 제2 레이어 생성부
57: 메타데이터 생성부
239: 묘화부
256: 3D 모델 생성부
261: 오클루전 처리부
403: 재생 장치

Claims (20)

  1. 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 사용하여, 소정 시점의 텍스처 화상을 생성하는 화상 생성부;
    상기 제2 레이어 화상의 뎁스 화상의 화소 중, 인접하는 화소와의 깊이 방향의 위치의 차분이 역치 이상인 불연속 화소의 3차원 위치를 보정하는 오클루전 처리부; 및
    상기 제1 레이어 화상의 뎁스 화상의 각 화소에 대응하는 샘플링점 중 인접하는 3개의 샘플링점끼리 접속하도록, 각 샘플링점의 다른 샘플링점과의 접속을 나타내는 접속 정보를 생성하는 접속 정보 생성부
    를 구비하고,
    상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 제1 레이어 화상과 동일하도록 구성되고,
    상기 화상 생성부는, 상기 제1 레이어 화상, 상기 제2 레이어 화상의 텍스처 화상, 및 상기 오클루전 처리부에 의한 보정 후의 3차원 위치를 이용하여, 상기 소정 시점의 텍스처 화상을 생성하도록 구성되고,
    상기 접속 정보 생성부는, 생성된 상기 접속 정보로부터, 상기 제1 레이어 화상의 뎁스 화상의 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보를 삭제하고,
    상기 화상 생성부는, 상기 제1 레이어 화상의 텍스처 화상, 상기 제2 레이어 화상의 텍스처 화상, 상기 오클루전 처리부에 의한 보정 후의 3차원 위치, 상기 제1 레이어 화상의 각 화소의 3차원 위치, 상기 접속 정보 생성부에 의한 삭제 후의 접속 정보, 및 제2 레이어 화상의 접속 정보를 사용하여, 상기 소정 시점의 텍스처 화상을 생성하도록 구성된, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 레이어 화상은, 상기 전천구 화상의 텍스처 화상과 뎁스 화상을 소정의 면에 투영함으로써 얻어진 텍스처 화상과 뎁스 화상으로 구성되고,
    상기 제2 레이어 화상은, 상기 오클루전 영역의 텍스처 화상과 뎁스 화상을 소정의 면에 투영함으로써 얻어진 텍스처 화상과 뎁스 화상으로 구성되도록 구성된,
    화상 처리 장치.
  3. 제1항에 있어서,
    상기 제2 레이어 화상의 상기 오클루전 영역 이외의 영역 중 배경 영역은, 상기 제1 레이어 화상과 동일하도록 구성된,
    화상 처리 장치.
  4. 제1항에 있어서,
    상기 제2 레이어 화상의 상기 오클루전 영역 이외의 영역 중 배경 영역은, 평탄 화상이도록 구성된,
    화상 처리 장치.
  5. 제1항에 있어서,
    상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 오클루전 영역을 사용하여 추측된 화상이도록 구성된,
    화상 처리 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 화상 처리 장치가,
    전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 사용하여, 소정 시점의 텍스처 화상을 생성하는 화상 생성 스텝;
    상기 제2 레이어 화상의 뎁스 화상의 화소 중, 인접하는 화소와의 깊이 방향의 위치의 차분이 역치 이상인 불연속 화소의 3차원 위치를 보정하는 오클루전 처리 스텝; 및
    상기 제1 레이어 화상의 뎁스 화상의 각 화소에 대응하는 샘플링점 중 인접하는 3개의 샘플링점끼리 접속하도록, 각 샘플링점의 다른 샘플링점과의 접속을 나타내는 접속 정보를 생성하는 접속 정보 생성 스텝
    를 포함하고,
    상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 제1 레이어 화상과 동일하도록 구성되고,
    상기 화상 생성 스텝은, 상기 제1 레이어 화상, 상기 제2 레이어 화상의 텍스처 화상, 및 상기 오클루전 처리 스텝에 의한 보정 후의 3차원 위치를 이용하여, 상기 소정 시점의 텍스처 화상을 생성하는 것을 포함하고,
    상기 접속 정보 생성 스텝은, 생성된 상기 접속 정보로부터, 상기 제1 레이어 화상의 뎁스 화상의 불연속 화소에 대응하는 샘플링점과의 접속을 나타내는 접속 정보를 삭제하는 것을 포함하고,
    상기 화상 생성 스텝은, 상기 제1 레이어 화상의 텍스처 화상, 상기 제2 레이어 화상의 텍스처 화상, 상기 오클루전 처리 스텝에 의한 보정 후의 3차원 위치, 상기 제1 레이어 화상의 각 화소의 3차원 위치, 상기 접속 정보 생성 스텝에 의한 삭제 후의 접속 정보, 및 제2 레이어 화상의 접속 정보를 사용하여, 상기 소정 시점의 텍스처 화상을 생성하는 것을 포함하는, 화상 처리 방법.
  11. 전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 생성하는 화상 생성부; 및
    상기 제1 레이어 화상의 뎁스 화상의 각 화소에 대응하는 샘플링점 중 인접하는 3개의 샘플링점끼리를 접속함으로써 생성되는 각 삼각형 패치의 유효 또는 무효를 나타내는 삼각형 패치 유효 무효 정보를 생성하는 생성부
    를 구비하는, 화상 처리 장치.
  12. 제11항에 있어서,
    상기 화상 생성부는, 상기 제1 레이어 화상과 상기 제2 레이어 화상의 상기 오클루전 영역을 복수의 시점의 촬영 화상으로부터 생성하도록 구성된,
    화상 처리 장치.
  13. 제11항에 있어서,
    상기 화상 생성부는, 상기 전천구 화상의 텍스처 화상과 뎁스 화상을 각각 소정의 면에 투영함으로써 상기 제1 레이어 화상을 생성하고, 상기 오클루전 영역의 텍스처 화상과 뎁스 화상을 각각 소정의 면에 투영함으로써 상기 제2 레이어 화상을 생성하도록 구성된,
    화상 처리 장치.
  14. 제11항에 있어서,
    상기 제2 레이어 화상의 상기 오클루전 영역 이외의 영역 중 배경 영역은, 상기 제1 레이어 화상과 동일하도록 구성된,
    화상 처리 장치.
  15. 제11항에 있어서,
    상기 제2 레이어 화상의 상기 오클루전 영역 이외의 영역 중 배경 영역은, 평탄 화상이도록 구성된,
    화상 처리 장치.
  16. 제11항에 있어서,
    상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 오클루전 영역을 사용하여 추측된 화상이도록 구성된,
    화상 처리 장치.
  17. 제11항에 있어서,
    상기 제2 레이어 화상의 상기 오클루전 영역 및 배경 영역 이외의 영역은, 상기 제1 레이어 화상과 동일하도록 구성된,
    화상 처리 장치.
  18. 삭제
  19. 제11항에 있어서,
    상기 제1 레이어 화상의 뎁스 화상의 화소 중, 인접하는 화소와의 깊이 방향의 위치의 차분이 역치 이상인 불연속 화소에 대응하는 샘플링점을 정점으로 하는 삼각형 패치의 상기 삼각형 패치 유효 무효 정보는, 삼각형 패치의 무효를 나타내는 정보이도록 구성된,
    화상 처리 장치.
  20. 화상 처리 장치가,
    전천구 화상의 텍스처 화상과 뎁스 화상으로 구성되는 제1 레이어 화상과, 상기 제1 레이어 화상의 시점에 있어서의 오클루전 영역의 텍스처 화상과 뎁스 화상으로 구성되는 제2 레이어 화상을 생성하는 화상 생성 스텝; 및
    상기 제1 레이어 화상의 뎁스 화상의 각 화소에 대응하는 샘플링점 중 인접하는 3개의 샘플링점끼리를 접속함으로써 생성되는 각 삼각형 패치의 유효 또는 무효를 나타내는 삼각형 패치 유효 무효 정보를 생성하는 생성 스텝
    을 포함하는, 화상 처리 방법.
KR1020197000616A 2016-07-29 2017-07-14 화상 처리 장치 및 화상 처리 방법 KR102378860B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016149879 2016-07-29
JPJP-P-2016-149879 2016-07-29
PCT/JP2017/025720 WO2018021064A1 (ja) 2016-07-29 2017-07-14 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
KR20190034525A KR20190034525A (ko) 2019-04-02
KR102378860B1 true KR102378860B1 (ko) 2022-03-28

Family

ID=61016707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000616A KR102378860B1 (ko) 2016-07-29 2017-07-14 화상 처리 장치 및 화상 처리 방법

Country Status (6)

Country Link
US (1) US10943373B2 (ko)
EP (1) EP3493147B1 (ko)
JP (1) JP6944133B2 (ko)
KR (1) KR102378860B1 (ko)
CN (1) CN109496325A (ko)
WO (1) WO2018021064A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11043042B2 (en) * 2016-05-16 2021-06-22 Hewlett-Packard Development Company, L.P. Generating a shape profile for a 3D object
JP6977725B2 (ja) * 2016-08-03 2021-12-08 ソニーグループ株式会社 画像処理装置および画像処理方法
US11184602B2 (en) * 2017-02-13 2021-11-23 Sony Corporation Image processing apparatus and image processing method
JP6946963B2 (ja) * 2017-11-17 2021-10-13 株式会社アイシン 重畳画像表示装置及びコンピュータプログラム
US11756317B2 (en) * 2020-09-24 2023-09-12 Argo AI, LLC Methods and systems for labeling lidar point cloud data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014174A (ja) 2004-06-29 2006-01-12 Canon Inc 画像符号化装置及び方法、画像復号化装置及び方法
JP2010092480A (ja) 2008-10-06 2010-04-22 Arm Ltd グラフィックス処理システム
WO2013005365A1 (ja) * 2011-07-01 2013-01-10 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
CN100576934C (zh) * 2008-07-03 2009-12-30 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
CN101393635B (zh) * 2008-10-27 2011-08-10 华为技术有限公司 水印信息的嵌入、提取方法和装置、以及处理系统
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
KR20120129313A (ko) * 2011-05-19 2012-11-28 한국전자통신연구원 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법
ES2886136T3 (es) * 2013-06-06 2021-12-16 6 OVER 6 VISION Ltd Sistema para la medición del error de refracción de un ojo basado en la medición subjetiva de distancias
CN103581651B (zh) * 2013-10-28 2015-04-29 西安交通大学 一种用于车载多目摄像机环视系统的虚拟视点合成方法
KR102492971B1 (ko) * 2014-06-19 2023-01-30 코닌클리케 필립스 엔.브이. 3차원 이미지를 생성하기 위한 방법 및 장치
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
CN109478347A (zh) * 2016-07-29 2019-03-15 索尼公司 图像处理装置和图像处理方法
EP3493160A1 (en) * 2016-07-29 2019-06-05 Sony Corporation Image processing device and image processing method
EP3493164B1 (en) * 2016-07-29 2024-03-27 Sony Group Corporation Image processing device and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014174A (ja) 2004-06-29 2006-01-12 Canon Inc 画像符号化装置及び方法、画像復号化装置及び方法
JP2010092480A (ja) 2008-10-06 2010-04-22 Arm Ltd グラフィックス処理システム
WO2013005365A1 (ja) * 2011-07-01 2013-01-10 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路

Also Published As

Publication number Publication date
JP6944133B2 (ja) 2021-10-06
EP3493147B1 (en) 2021-04-07
EP3493147A1 (en) 2019-06-05
EP3493147A4 (en) 2019-06-05
KR20190034525A (ko) 2019-04-02
WO2018021064A1 (ja) 2018-02-01
CN109496325A (zh) 2019-03-19
US20200320747A1 (en) 2020-10-08
JPWO2018021064A1 (ja) 2019-05-09
US10943373B2 (en) 2021-03-09

Similar Documents

Publication Publication Date Title
JP6944136B2 (ja) 画像処理装置および画像処理方法
JP7127539B2 (ja) 画像処理装置および画像処理方法
KR102343651B1 (ko) 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법
WO2018021067A1 (ja) 画像処理装置および画像処理方法
JP7040466B2 (ja) 画像処理装置および画像処理方法
JP6944137B2 (ja) 画像処理装置および画像処理方法
KR102378860B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6944135B2 (ja) 画像処理装置および画像処理方法
JP7028168B2 (ja) 画像処理装置および画像処理方法
WO2018021071A1 (ja) 画像処理装置および画像処理方法
JP6944134B2 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant