KR20210109538A - 화상 처리 장치 및 방법 - Google Patents

Abstract

본 개시는, 화질의 저감을 억제할 수 있도록 하는 화상 처리 장치 및 방법에 관한 것이다. 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하고, 그 생성된 보정 정보를 부호화한다. 또한, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하고, 2D 데이터와, 그 보정 정보의 부호화 데이터가 복호되어 생성된 보정 정보를 이용하여 3D 데이터를 구축한다. 본 개시는, 예를 들어 정보 처리 장치, 화상 처리 장치, 전자 기기, 정보 처리 방법, 또는 프로그램 등에 적용할 수 있다.

Description

화상 처리 장치 및 방법

본 개시는, 화상 처리 장치 및 방법에 관한 것으로, 특히, 화질의 저감을 억제할 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다.

종래, 예를 들어 포인트 클라우드(Point cloud)와 같은 3차원 구조를 나타내는 3D 데이터의 부호화 방법으로서, 예를 들어 Octree 등과 같은, 복셀(Voxel)을 사용한 부호화가 있었다(예를 들어 비특허문헌 1 참조).

최근, 그 밖의 부호화 방법으로서, 예를 들어 포인트 클라우드의 위치 정보와 속성 정보를 소영역마다 2차원 평면에 투영하고, 그 2차원 평면에 투영된 화상(패치)을 프레임 화상 내에 배치하고, 그 프레임 화상을 2차원 화상용 부호화 방법으로 부호화하는 방법(이하, '비디오 베이스드 어프로치(Video-based approach)'라고도 칭함)이 제안되었다(예를 들어, 비특허문헌 2 내지 비특허문헌 4 참조).

이 비디오 베이스드 어프로치에 있어서, 프레임 화상의 각 위치에 있어서의 패치의 유무를 나타내는 오큐펀시 맵을 사용하는 경우, 그 해상도를 떨어뜨려 그 정보량을 저감시킴으로써, 부호화 효율을 향상시킬 수 있다.

그러나, 오큐펀시 맵의 해상도를 저감시키면, 오큐펀시 맵이 나타내는 패치의 범위와 실제의 패치 범위가 일치하지 않게 되어, 3D 데이터를 재구축할 때 본래 없던 점이 생성되어버릴 우려가 있었다. 그래서, 그와 같은 점의 위치를 스무싱에 의해 보정하는 방법이 생각되었다. 그러나, 그와 같이 스무싱을 행해도, PSNR(Peak Signal-to-Noise Ratio)은 열화될 우려가 있었다. 그래서, 오큐펀시 맵을 저해상도화(NxN 정밀도)함으로써 발생하는 여백 부분을 삭감하는 방법이 생각되었다(예를 들어, 비특허문헌 5 참조).

또한, 고해상도의 오큐펀시 맵(1x1 정밀도)의 경우, 패치의 중첩이 없기 때문에, 패치 경계의 점의 위치가 변형되면 인접하는 패치와의 사이에 간극이 발생하고, 3D 데이터로부터 생성한 표시용 2차원 화상에 있어서 그 간극이 구멍(결손 부분)으로 될 우려가 있었다. 그래서, 고해상도의 오큐펀시 맵(1x1 정밀도)의 경계를 확장하는 방법도 생각되었다(예를 들어, 비특허문헌 6 참조).

R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video", tcsvt_paper_submitted_february.pdf Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression," IEEE, 2015 K. Mammou, "Video-based and Hierarchical Approaches Point Cloud Compression", MPEG m41649, Oct. 2017 K. Mammou, "PCC Test Model Category 2 v0," N17248 MPEG output document, October 2017 Dejun Zhang, Zheng Liu, Vladyslav Zakharchenko, Jianle Chen, Kangying Cai, "[VPCC] New proposal of an adaptive outlier removing method", ISO/IEC JTC1/SC29/WG11 MPEG2018/m44766, October 2018, Macau, China Dejun Zhang, Zheng Liu, Vladyslav Zakharchenko, Jianle Chen, Kangying Cai, "[VPCC] New proposal of an adaptive hole filling method for reconstructed point cloud", ISO/IEC JTC1/SC29/WG11 MPEG2018/m 44767, October 2018, Macau, China

그러나, 비특허문헌 5나 비특허문헌 6에 기재된 방법에서는, 오큐펀시 맵을 보정하기 위해서, 어떤 패치의 존재를 나타내는 영역에 다른 패치가 포함되어버려, 구축된 3D 데이터가 열화될 우려가 있었다. 그 때문에, 그 3D 데이터를 2차원 평면에 투영한 표시용 화상의 주관 화질이 저감될 우려가 있었다.

본 개시는, 이와 같은 상황을 감안하여 이루어진 것으로, 3D 데이터의 표시용 2차원 화상의 화질의 저감을 억제할 수 있도록 하는 것이다.

본 기술의 일 측면의 화상 처리 장치는, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하는 보정 정보 생성부와, 상기 보정 정보 생성부에 의해 생성된 상기 보정 정보를 부호화하는 보정 정보 부호화부를 구비하는 화상 처리 장치이다.

본 기술의 일 측면의 화상 처리 방법은, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하고, 생성된 상기 보정 정보를 부호화하는 화상 처리 방법이다.

본 기술의 다른 측면의 화상 처리 장치는, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하는 보정 정보 복호부와, 상기 2D 데이터와, 상기 보정 정보 복호부에 의해 상기 보정 정보의 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여, 상기 3D 데이터를 구축하는 구축부를 구비하는 화상 처리 장치이다.

본 기술의 다른 측면의 화상 처리 방법은, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하고, 상기 2D 데이터와, 상기 보정 정보의 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여, 상기 3D 데이터를 구축하는 화상 처리 방법이다.

본 기술의 일 측면의 화상 처리 장치 및 방법에 있어서는, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보가 생성되고, 그 생성된 보정 정보가 부호화된다.

본 기술의 다른 측면의 화상 처리 장치 및 방법에 있어서는, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터가 복호되고, 그 2D 데이터와, 보정 정보의 부호화 데이터가 복호되어 생성된 보정 정보가 이용되어, 그 3D 데이터가 구축된다.

도 1은 오큐펀시 맵이 나타내는 패치의 범위와 실제 패치 범위의 관계의 예를 설명하는 도면이다.
도 2는 보정 방법의 예를 설명하는 도면이다.
도 3은 삭감 방식의 후보예를 나타내는 도면이다.
도 4는 삭감량의 예를 나타내는 도면이다.
도 5는 신택스의 예를 나타내는 도면이다.
도 6은 부호화 장치의 주된 구성예를 나타내는 블록도이다.
도 7은 보정 정보 생성부의 주된 구성예를 나타내는 블록도이다.
도 8은 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 9는 보정 정보 생성 처리의 흐름의 예를 설명하는 흐름도이다.
도 10은 복호 장치의 주된 구성예를 나타내는 블록도이다.
도 11은 3D 재구축부의 주된 구성예를 나타내는 블록도이다.
도 12는 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 13은 3D 데이터 재구축 처리의 흐름의 예를 설명하는 흐름도이다.
도 14는 컴퓨터의 주된 구성예를 나타내는 블록도이다.

이하, 본 개시를 실시하기 위한 형태(이하 '실시 형태'라 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 3D 데이터 재구축의 보정

2. 제1 실시 형태(부호화 장치)

3. 제2 실시 형태(복호 장치)

4. 부기

<1. 3D 데이터 재구축의 보정>

<기술 내용·기술 용어를 서포트하는 문헌 등>

본 기술에서 개시되는 범위는, 실시 형태에 기재되어 있는 내용뿐만 아니라, 출원 당시에 있어서 공지로 되어 있는 이하의 비특허문헌에 기재되어 있는 내용도 포함된다.

비특허문헌 1: (상술)

비특허문헌 2: TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017

비특허문헌 3: TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016

비특허문헌 4: Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_ v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 117th Meeting: Torino, IT, 13-21 July 2017

즉, 상술한 비특허문헌에 기재되어 있는 내용도 서포트 요건을 판단할 때의 근거로 된다. 예를 들어, 비특허문헌 3에 기재되어 있는 Quad-Tree Block Structure, 비특허문헌 4에 기재되어 있는 QTBT(Quad Tree Plus Binary Tree) Block Structure가 실시 형태에 있어서 직접적인 기재가 없는 경우라도, 본 기술의 개시 범위 내이며, 청구범위의 서포트 요건을 충족시키는 것으로 본다. 또한, 예를 들어 파싱(Parsing), 신택스(Syntax), 시맨틱스(Semantics) 등의 기술 용어에 대해서도 마찬가지로, 실시 형태에 있어서 직접적인 기재가 없는 경우라도, 본 기술의 개시 범위 내이며, 청구범위의 서포트 요건을 충족시키는 것으로 본다.

<포인트 클라우드>

종래, 점군의 위치 정보나 속성 정보 등에 의해 3차원 구조를 나타내는 포인트 클라우드(Point cloud) 등의 데이터가 존재하였다. 포인트 클라우드는 데이터 구조가 비교적 단순함과 함께, 충분히 많은 점을 사용함으로써 임의의 입체 구조를 충분한 정밀도로 표현할 수 있다.

<비디오 베이스드 어프로치의 개요>

이와 같은 포인트 클라우드의 위치 정보나 속성 정보를, 소영역마다 2차원 평면에 투영하고, 그 2차원 평면에 투영된 화상(패치)을 프레임 화상 내에 배치하고, 그 프레임 화상을 2차원 화상용 부호화 방법으로 부호화하는 비디오 베이스드 어프로치(Video-based approach)가 제안되었다.

이 비디오 베이스드 어프로치에서는, 입력된 포인트 클라우드(Point cloud)가 복수의 소영역으로 분할되고, 그 소영역마다 각 포인트가 2차원 평면에 투영된다(패치가 생성됨). 포인트 클라우드는 각 포인트의 위치 정보(Geometry)와 속성 정보(Texture)에 의해 구성되므로, 이 2차원 평면에 대한 투영은, 그 위치 정보와 속성 정보의 각각에 대하여 행해진다.

그리고, 이 패치는, 프레임 화상(2차원 화상)에 배치된다. 즉, 위치 정보의 패치가 배치된 프레임 화상(지오메트리 비디오 프레임(Geometry video frame)이라고도 칭함)과, 속성 정보의 패치가 배치된 프레임 화상(컬러 비디오 프레임(Color video frame)이라고도 칭함)이 생성된다.

또한, 지오메트리 비디오 프레임에서는, 포인트의 위치 정보는, 깊이 방향의 위치 정보(뎁스값(Depth))로서 표현된다. 즉, 그 프레임 화상의 각 화소값은, 이 뎁스값을 나타낸다.

이들 프레임 화상은, 각각, 예를 들어 AVC(Advanced Video Coding)나 HEVC(High Efficiency Video Coding) 등과 같은, 2차원 평면 화상용 부호화 방식에 의해 부호화된다.

이와 같이 생성된 부호화 데이터는, 복호측에 전송되고, 그 복호측에 있어서 복호되어 프레임 화상이 생성된다. 그리고, 그 프레임 화상으로부터 각 패치가 추출되고, 각 패치(위치 정보 및 속성 정보)로부터 3D 데이터(포인트 클라우드 등)가 재구축된다.

<오큐펀시 맵>

이와 같은 비디오 베이스드 어프로치의 경우, 추가로, 오큐펀시 맵을 사용할 수도 있다. 오큐펀시 맵은, 소정의 화소 정밀도로, 지오메트리 비디오 프레임의 투영 화상(패치)의 유무를 나타내는 맵 정보이다. 예를 들어, 오큐펀시 맵은, NxN 화소 정밀도로, 즉, NxN 화소의 영역마다, 패치의 유무를 나타낸다. 예를 들어, 오큐펀시 맵은, 패치가 존재하는 NxN 화소의 영역을 값 「1」로 나타내고, 패치가 존재하지 않는 NxN 화소의 영역을 값 「0」으로 나타낸다.

이와 같은 오큐펀시 맵이, 지오메트리 비디오 프레임이나 컬러 비디오 프레임과는 다른 데이터로서 부호화되어, 복호측에 전송된다. 디코더는, 이 오큐펀시 맵을 참조함으로써, 패치가 존재하는 영역인지 여부를 파악할 수 있으므로, 부호화·복호에 의해 발생하는 노이즈 등의 영향을 억제할 수 있어, 보다 정확하게 3D 데이터를 복원할 수 있다. 예를 들어, 부호화·복호에 의해 뎁스값이 변화하여도, 디코더는, 오큐펀시 맵을 참조함으로써, 패치가 존재하지 않는 영역의 뎁스값을 무시할(3D 데이터의 위치 정보로서 처리하지 않도록 할) 수 있다.

이와 같은 오큐펀시 맵을 사용하는 경우, 그 해상도를 떨어뜨려 그의 정보량을 저감시킴으로써, 부호화 효율을 향상시킬 수 있다.

그러나, 오큐펀시 맵의 해상도를 저감시키면, 오큐펀시 맵이 나타내는 패치의 범위와 실제의 패치 범위가 일치하지 않게 되어, 3D 데이터를 재구축할 때 본래 없던 점이 생성되어버릴 우려가 있었다. 예를 들어, 도 1의 A에 나타낸 바와 같이, 작은 사각으로 표시된 위치 정보의 패치 경계 근방의 화소(11)에 대해서, 보다 저해상도의 오큐펀시 맵(12)이 생성되면, 패치가 넓어져서, 본래 패치가 존재하지 않는 영역인 여백(도 1의 A에 있어서 회색으로 표시된 부분)이 발생할 우려가 있었다. 그래서, 스무싱을 행함으로써 그와 같은 점의 위치를 이동시켜, 여백을 저감시키는 방법이 생각되었다. 그러나, 스무싱을 행해도, PSNR(Peak Signal-to-Noise Ratio)은 열화될 우려가 있었다.

그래서, 비특허문헌 5에 기재와 같이, 오큐펀시 맵을 저해상도화(NxN 정밀도)함으로써 발생하는 여백 부분을 삭감하는 방법이 생각되었다. 그러나, 비특허문헌 5에 기재된 방법으로는, 여백 부분을 삭감할 수 있어도, 여백 부분을 증대시킬(확장시킬) 수는 없어, 패치 간 등의 간극에 의해 표시용 화상에 발생하는 구멍(결손 부분)을 저감시키는 것은 곤란하였다. 오히려, 여백 부분의 저감에 의해, 패치끼리의 중첩이 억제되기 때문에, 패치 간 등의 간극이 발생하기 쉬워질 우려가 있었다.

그래서, 비특허문헌 6에 기재한 바와 같이, 고해상도의 오큐펀시 맵(1x1 정밀도)의 경계를 넓히는 방법도 생각되었다. 그러나, 1x1 정밀도의 오큐펀시 맵은, 상술한 바와 같이, 정보량이 증대될 우려가 있었다.

그래서, 패치의 경계 부분에 있어서, 비특허문헌 5에 기재된 방법과 같이 여백 부분을 저감시키고, 추가로, 비특허문헌 6에 기재된 방법과 같이 경계를 넓히는 것이 생각된다. 그러나, 비특허문헌 5나 비특허문헌 6에 기재된 방법에서는, 오큐펀시 맵을 보정하기 위해서, 어떤 패치의 존재를 나타내는 영역에 다른 패치가 포함되어버려, 재구축한 3D 데이터가 열화될 우려가 있었다. 예를 들어, 도 1의 B에 나타낸 바와 같이 패치(21)와 패치(22)의 위치가 가까운 경우에, 오큐펀시 맵의 패치(21)가 존재하는 영역을 확대시키면, 점선 원(23)과 같이, 그 영역이 패치(22)와 중첩해버린다. 이와 같은 경우, 패치(21)가 존재하는 영역으로서 점선 원(23)이 잘라내어져 버리기 때문에, 패치(21)로부터 재구축한 3D 데이터에 패치(22)의 정보가 포함되어 버릴 우려가 있었다. 그 때문에, 그 재구축한 3D 데이터를 2차원 평면에 투영한 화상('표시용 화상'이라고도 칭함)의 주관 화질이 저감될 우려가 있었다.

부언하자면, 비특허문헌 6에 기재된 방법은, 스무싱에 대응하고 있지 않기 때문에, 스무싱에 의해 점의 위치가 이동함에 따른 패치 간의 간극의 발생을 억제하는 것이 곤란하였다. 그 때문에, 그 간극에 의해, 표시용 화상의 주관 화질이 저감될 우려가 있었다.

<방법 1>

그래서, 도 2의 표에 나타낸 방법 1과 같이, 2D 데이터로부터 3D 데이터로의 변환(3D 데이터의 재구축)에 있어서 보정을 행하고, 패치 간의 간극 등에 의한 구멍의 발생 등을 억제하도록 한다. 예를 들어, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하고, 그 생성된 보정 정보를 부호화하도록 한다. 예를 들어, 화상 처리 장치에 있어서, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하는 보정 정보 생성부와, 보정 정보 생성부에 의해 생성된 보정 정보를 부호화하는 보정 정보 부호화부를 구비하도록 한다.

또한, 예를 들어 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하고, 그 2D 데이터와, 그 보정 정보의 부호화 데이터가 복호되어 생성된 보정 정보를 이용하여, 3D 데이터를 구축하도록 한다. 예를 들어, 화상 처리 장치에 있어서, 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하는 보정 정보 복호부와, 그 2D 데이터와, 보정 정보 복호부에 의해 보정 정보의 부호화 데이터가 복호되어 생성된 보정 정보를 이용하여, 3D 데이터를 구축하는 구축부를 구비하도록 한다.

이와 같이 함으로써, 패치의 경계의 보정을, 3D 데이터의 보정에 의해 실현할 수 있다. 따라서, 오큐펀시 맵을 보정하는 경우와 같이, 처리 대상의 패치로부터 3D 데이터를 재구축할 때 다른 패치의 정보가 추가되는 등의, 3D 데이터의 열화를 억제할 수 있다. 즉, 표시용 화상의 주관 화질의 저감을 억제할 수 있다.

이 보정 정보는, 1x1 정밀도의 오큐펀시 맵과, NxN 정밀도의 오큐펀시 맵에 기초하여 생성하도록 해도 된다. 예를 들어, 오큐펀시 맵은, 1x1 정밀도로부터 NxN 정밀도로 저정밀도화되어 부호화되도록 하고, 보정 정보가, 부호화 전의 1x1 정밀도의 오큐펀시 맵과, 오큐펀시 맵의 부호화 데이터를 복호하여 생성된 NxN 정밀도의 오큐펀시 맵에 기초하여 생성되도록 한다. 이와 같이 오큐펀시 맵을 저정밀도화하여 부호화함으로써, 부호화 효율의 저감을 억제할 수 있다. 또한, 부호화 전후의 오큐펀시 맵을 사용하여 보정 정보를 생성함으로써, 부호화 시에 행해지는 스무싱을 보정 정보에 반영시킬 수 있다. 따라서, 스무싱에 의한 표시용 화상의 주관 화질의 저감을 억제할 수 있다.

또한 보정 정보는, 추가로, 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 크기의 설정값인 잔여량에 기초하여 생성하도록 해도 된다. 이와 같이 함으로써, 여백의 보정량을 설정값 「잔여량」에 의해서도 제어할 수 있다. 예를 들어, 3D 데이터에 따라서는, 단순한 부호화 전후의 오큐펀시 맵의 비교에서는 대응이 곤란한 결손 부분이 표시용 화상에 발생할 수도 있다. 그래서, 오큐펀시 맵의 비교 결과와는 독립적으로 잔여량을 설정함으로써, 이와 같은 결손 부분의 발생을 억제할 수 있다. 즉, 표시용 화상의 주관 화질의 저감을 보다 억제할 수 있다. 또한, 이 잔여량의 설정 방법은 임의이다. 예를 들어, 이 잔여량은, 유저 등의 외부로부터의 지시에 기초하여 설정되도록 해도 되고, 부호화 대상의 3D 데이터의 해석 결과에 기초하여 설정되도록 해도 되고, 그 밖의 정보에 기초하여 설정되도록 해도 된다.

또한 보정 정보는, 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 보정에 관한 정보를 포함하도록 해도 된다. 이와 같이 함으로써, 이 보정 정보에 기초하여, 여백의 보정을 3D 데이터의 보정에 반영시킬 수 있다. 즉, 패치의 경계의 보정을, 3D 데이터의 보정에 의해 실현할 수 있다. 따라서, 표시용 화상의 주관 화질의 저감을 억제할 수 있다.

<방법 1-1>

예를 들어, 이 여백의 보정에 관한 정보는, 그 여백의 삭감 방식을 나타내는 정보(어떻게 여백을 삭감할지를 나타내는 정보)를 포함하도록 해도 된다. 즉, 도 2의 표에 나타낸 방법 1-1과 같이, 보정 방법을 전송하도록 해도 된다. 이와 같은 정보를 보정 정보에 포함함으로써, 여백을 어떻게 삭감할지를 제어할 수 있다.

또한, 이 여백의 삭감 방식을 나타내는 정보는, 어떠한 내용이어도 되며, 예를 들어 후보 중에서 선택된 여백의 삭감 방식의 패턴을 나타내는 정보를 포함하도록 해도 된다. 예를 들어, 복수의 「여백의 삭감 방식의 패턴」을 후보로서 미리 준비하고, 국소마다 「여백의 삭감 방식의 패턴」을 그 후보 중에서 선택하도록 하고, 보정 정보(여백의 삭감 방식을 나타내는 정보)에는, 국소마다의, 선택된 후보를 나타내는 정보(예를 들어 선택한 후보의 식별 정보 등)가 포함되도록 해도 된다. 이와 같은 정보를 보정 정보에 포함함으로써, 보다 간이한 정보에 의해, 여백을 어떻게 삭감할지를 제어할 수 있다. 예를 들어 전체 국소의 삭감 방식을 1 화소 단위로 구체적으로 지정하는 경우에 비하여, 부호량의 증대를 억제할 수 있다.

<방법 1-2>

또한, 예를 들어 이 여백의 보정에 관한 정보는, 그 여백의 보정량을 나타내는 정보(어느 정도 여백을 보정할지를 나타내는 정보)를 포함하도록 해도 된다. 즉, 도 2의 표에 나타낸 방법 1-2와 같이, 보정량을 전송하도록 해도 된다. 이와 같은 정보를 보정 정보에 포함함으로써, 여백을 어느 정도 보정할지를 제어할 수 있다.

또한, 이 여백의 보정량을 나타내는 정보는, 여백의 삭감량을 나타내는 정보를 포함하도록 해도 된다. 이와 같은 정보에 의해, 여백을 어느 정도 삭감할지를 제어할 수 있다. 또한, 이 여백의 보정량을 나타내는 정보는, 여백의 증가량을 나타내는 정보를 포함하도록 해도 된다. 이와 같은 정보에 의해, 여백을 어느 정도 증대시킬지(굵게 할지)를 제어할 수 있다.

<방법 1-3·방법 1-4>

또한, 복호측에 있어서 보정 정보에 기초하여 보정하는 3D 데이터의 재구축에 사용하는 오큐펀시 맵의 정밀도는 임의이다. 예를 들어, NxN 정밀도여도 된다. 즉, 도 2의 표에 나타낸 방법 1-3과 같이, NxN 정밀도의 오큐펀시 맵을 사용한 변환(3D 데이터의 재구축)을 보정하도록 해도 된다. 또한, 1x1 정밀도여도 된다. 즉, 도 2의 표에 나타낸 방법 1-4와 같이, 1x1 정밀도의 오큐펀시 맵을 사용한 변환(3D 데이터의 재구축)을 보정하도록 해도 된다.

<여백의 삭감 방식의 패턴>

다음으로, <방법 1-1>에 있어서 설명한 「여백의 삭감 방식의 패턴」의 후보에 대하여 설명한다. 이 후보로 하는 패턴(삭감 방식)은, 어떠한 패턴이어도 된다. 그 수도 임의이다. 예를 들어, 도 3의 A 내지 도 3의 H에 나타낸 바와 같은 8패턴을 후보로 하여도 된다.

도 3의 A 내지 도 3의 H는, 각각, 여백의 삭감 방식의 패턴의 예를 나타낸다. 도 3의 A 내지 도 3의 H의 각각에 있어서, 각 사각은, 오큐펀시 맵의 데이터 단위로 되는 블록(예를 들어 화소)을 나타내고 있으며, 흑색의 블록은, 여백으로부터 삭감되는 블록이다. 즉, 이 흑색의 블록은, 빈 블록, 즉, 패치가 존재하지 않음을 나타내는 값이 설정되는 블록이다.

예를 들어, 도 3의 A에는, 처리 대상의 국소 부분의 우측 하단이 삭감되는 패턴이 도시되어 있다. 마찬가지로, 도 3의 B에는 우측 상단이 삭감되는 패턴이 도시되고, 도 3의 C에는 좌측 상단이 삭감되는 패턴이 도시되고, 도 3의 D에는 좌측 하단이 삭감되는 패턴이 도시되어 있다.

또한, 예를 들어 도 3의 E에는 처리 대상의 국소 부분의 우측이 삭감되는 패턴이 도시되고, 도 3의 F에는 상단이 삭감되는 패턴이 도시되고, 도 3의 G에는 왼쪽이 삭감되는 패턴이 도시되고, 도 3의 H에는 하단이 삭감되는 패턴이 도시되어 있다. 또한, 도면 중, 회색 블록은, 완전히 점유되어 있는 블록이거나, 또는 빈 블록이다.

즉, 이 예의 경우, 어느 후보를 선택하는지에 따라, 어느 쪽의 방향으로부터 삭감할지가 선택된다.

<여백의 보정량>

다음으로, <방법 1-2>에 있어서 설명한 「여백의 삭감량」에 대하여 설명한다. 이 여백의 삭감량은, 어떠한 값이어도 된다. 예를 들어 도 4의 A에 나타낸, 우측으로부터 삭감하는 패턴(도 3의 E의 패턴)의 경우, 4x4 화소를 포함하는 처리 대상 영역(커런트 영역)은, 여백의 보정량이 「0」(즉 초깃값(Default))인 경우, 도 4의 B에 나타낸 바와 같이, 우측 절반의 화소(우측의 2x4 화소 영역)가 삭감된다. 마찬가지로, 여백의 보정량이 「-1」인 경우, 도 4의 C에 나타낸 바와 같이, 커런트 영역의 우단의 화소열(우단의 1x4 화소 영역)이 삭감된다. 마찬가지로, 여백의 보정량이 「-2」인 경우, 도 4의 D에 나타낸 바와 같이, 커런트 영역은 보정되지 않는다(우단의 0x4 화소 영역이 삭감됨). 또한, 여백의 보정량이 「-3」인 경우, 도 4의 E에 나타낸 바와 같이, 커런트 영역의 우단에 1x4 화소 영역이 추가된다. 즉, 여백이 확장된다.

이와 같이, 여백의 보정량은, 여백의 삭감량을 나타낼 수도 있고, 여백의 증가량을 나타낼 수도 있다.

<신택스>

이상과 같은 보정 정보에 대한 신택스의 예를 도 5의 A에 나타낸다. 회색 부분이 보정 정보에 관한 신택스이다. omapFilterTypeFrameLevel/ omapFilterTypePatchLevel에 의해, 프레임 레벨과 패치 레벨의 여백의 삭감 방식(타입)과 타입별 처리를 시그널링한다. 또한, omapFilterValueFrameLevel/patchList[i]. omapFilterValue에 의해, 프레임 레벨과 패치별 보정량(삭감량·증가량)을 시그널링한다. 이 값은, 도 5의 B에 나타낸 변환표와 같이, 초깃값(Default)과의 차분을 나타내는 인덱스로 해도 된다.

<2. 제1 실시 형태>

<부호화 장치>

도 6은, 본 기술을 적용한 화상 처리 장치의 일 양태인 부호화 장치의 구성의 일례를 나타내는 블록도이다. 도 6에 나타낸 부호화 장치(100)는, 포인트 클라우드와 같은 3D 데이터를 2차원 평면에 투영하여 2차원 화상용 부호화 방법에 의해 부호화를 행하는 장치(비디오 베이스드 어프로치를 적용한 부호화 장치)이다.

또한, 도 6에 있어서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 6에 나타낸 것이 전부라고는 할 수 없다. 즉, 부호화 장치(100)에 있어서, 도 6에 있어서 블록으로서 도시되어 있지 않은 처리부가 존재하거나, 도 6에 있어서 화살표 등으로서 도시되어 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다. 이것은, 부호화 장치(100) 내의 처리부 등을 설명하는 다른 도면에 있어서도 마찬가지이다.

도 6에 도시한 바와 같이 부호화 장치(100)는, 패치 분해부(111), 패킹부(112), 보조 패치 정보 압축부(113), 비디오 부호화부(114), 비디오 부호화부(115), OMap 부호화부(116), 멀티플렉서(117), 복호부(118), 및 보정 정보 생성부(119)를 갖는다.

패치 분해부(111)는, 3D 데이터의 분해에 관한 처리를 행한다. 예를 들어, 패치 분해부(111)는, 부호화 장치(100)에 입력되는, 3차원 구조를 나타내는 3D 데이터(예를 들어 포인트 클라우드)를 취득한다(화살표(121)). 또한, 패치 분해부(111)는, 취득한 그 3D 데이터를 복수의 소영역(커넥션 컴포넌트)으로 분해하고, 그 소영역마다 3D 데이터를 2차원 평면에 투영하고, 위치 정보의 패치나 속성 정보의 패치를 생성한다.

패치 분해부(111)는, 생성된 각 패치에 관한 정보를 패킹부(112)에 공급한다(화살표(122)). 또한, 패치 분해부(111)는, 그 분해에 관한 정보인 보조 패치 정보를, 보조 패치 정보 압축부(113)에 공급한다(화살표(123)).

패킹부(112)는, 데이터의 패킹에 관한 처리를 행한다. 예를 들어, 패킹부(112)는, 패치 분해부(111)로부터 공급되는 패치에 관한 정보를 취득한다(화살표(122)). 또한, 패킹부(112)는, 취득한 각 패치를 2차원 화상에 배치하여 비디오 프레임으로서 패킹한다. 예를 들어, 패킹부(112)는, 포인트의 위치를 나타내는 위치 정보(Geometry)의 패치를 비디오 프레임으로서 패킹하여, 지오메트리 비디오 프레임(Geometry video frame(s))을 생성한다. 또한, 패킹부(112)는, 그 위치 정보에 부가되는 색 정보 등의 속성 정보(Texture)의 패치를, 비디오 프레임으로서 패킹하여, 컬러 비디오 프레임(Color video frame(s))을 생성한다. 또한, 패킹부(112)는, 패치의 유무를 나타내는 1x1 정밀도의 오큐펀시 맵을 생성한다.

패킹부(112)는, 그들을 후단의 처리부에 공급한다(화살표(124)). 예를 들어, 패킹부(112)는, 지오메트리 비디오 프레임을 비디오 부호화부(114)에 공급하고, 컬러 비디오 프레임을 비디오 부호화부(115)에 공급하고, 1x1 정밀도의 오큐펀시 맵(1x1 Omap)을 OMap 부호화부(116)에 공급한다. 또한, 패킹부(112)는, 그 패킹에 관한 제어 정보를 멀티플렉서(117)에 공급한다(화살표(125)). 또한, 패킹부(112)는, 1x1 정밀도의 오큐펀시 맵을 보정 정보 생성부(119)에 공급한다.

보조 패치 정보 압축부(113)는, 보조 패치 정보의 압축에 관한 처리를 행한다. 예를 들어, 보조 패치 정보 압축부(113)는, 패치 분해부(111)로부터 공급되는 보조 패치 정보를 취득한다(화살표(123)). 또한, 보조 패치 정보 압축부(113)는, 보정 정보 생성부(119)로부터 공급되는 보정 정보를 취득한다(화살표(133)). 보조 패치 정보 압축부(113)는, 취득한 보조 패치 정보를 부호화(압축)하여, 보조 패치 정보의 부호화 데이터를 생성한다. 또한, 보조 패치 정보 압축부(113)는, 취득한 보정 정보를 부호화(압축)하여 보정 정보의 부호화 데이터를 생성하고, 그 보정 정보의 부호화 데이터를, 보조 패치 정보의 부호화 데이터에 포함한다. 보조 패치 정보 압축부(113)는, 이와 같이 생성한 보조 패치 정보의 부호화 데이터를 멀티플렉서(117)에 공급한다(화살표(126)).

비디오 부호화부(114)는, 지오메트리 비디오 프레임의 부호화에 관한 처리를 행한다. 예를 들어, 비디오 부호화부(114)는, 패킹부(112)로부터 공급되는 지오메트리 비디오 프레임을 취득한다(화살표(124)). 또한, 비디오 부호화부(114)는, 그 취득한 지오메트리 비디오 프레임을, 예를 들어 AVC나 HEVC 등의 임의의 2차원 화상용 부호화 방법에 의해 부호화하여, 지오메트리 비디오 프레임의 부호화 데이터를 생성한다. 비디오 부호화부(114)는, 생성된 지오메트리 비디오 프레임의 부호화 데이터를 멀티플렉서(117)에 공급한다(화살표(127)). 또한, 비디오 부호화부(114)는, 그 지오메트리 비디오 프레임의 부호화 데이터를 복호부(118)에 공급한다(화살표(134)).

비디오 부호화부(115)는, 컬러 비디오 프레임의 부호화에 관한 처리를 행한다. 예를 들어, 비디오 부호화부(115)는, 패킹부(112)로부터 공급되는 컬러 비디오 프레임을 취득한다(화살표(124)). 또한, 비디오 부호화부(115)는, 복호부(118)로부터 공급되는, 복호된 지오메트리 비디오 프레임을 취득한다(화살표(135)). 그리고, 비디오 부호화부(115)는, 그 취득한 컬러 비디오 프레임을, 취득한 지오메트리 비디오 프레임을 사용하여 리컬러하고, 속성 정보를 복호 후의 위치 정보에 대응시킨다. 즉, 비디오 부호화부(115)는, 부호화에 있어서의 스무싱에 의해 갱신된 위치 정보에 속성 정보를 대응시킨다. 또한, 비디오 부호화부(115)는, 이렇게 리컬러한 컬러 비디오 프레임을, 예를 들어 AVC나 HEVC 등의 임의의 2차원 화상용 부호화 방법에 의해 부호화하여, 컬러 비디오 프레임의 부호화 데이터를 생성한다. 비디오 부호화부(115)는, 생성된 컬러 비디오 프레임의 부호화 데이터를 멀티플렉서(117)에 공급한다(화살표(128)).

OMap 부호화부(116)는, 오큐펀시 맵의 비디오 프레임 부호화에 관한 처리를 행한다. 예를 들어, OMap 부호화부(116)는, 패킹부(112)로부터 공급되는 1x1 정밀도의 오큐펀시 맵을 취득한다(화살표(124)). OMap 부호화부(116)는, 그 취득된 1x1 정밀도의 오큐펀시 맵을 저정밀도화하여, NxN 정밀도의 오큐펀시 맵을 생성한다. 그리고, OMap 부호화부(116)는, 생성된 NxN 정밀도의 오큐펀시 맵을, 예를 들어 산술 부호화 등의 임의의 부호화 방법에 의해 부호화하여, NxN 정밀도의 오큐펀시 맵의 부호화 데이터를 생성한다. 또한, OMap 부호화부(116)는, 생성된 NxN 정밀도의 오큐펀시 맵의 부호화 데이터를, 멀티플렉서(117)에 공급한다(화살표(129)). 추가로, 또한, OMap 부호화부(116)는, 그 부호화 데이터를, 복호부(118)에도 공급한다(화살표(131)).

멀티플렉서(117)는, 다중화에 관한 처리를 행한다. 예를 들어, 멀티플렉서(117)는, 보조 패치 정보 압축부(113)로부터 공급되는 보조 패치 정보의 부호화 데이터를 취득한다(화살표(126)). 또한, 예를 들어 멀티플렉서(117)는, 패킹부(112)로부터 공급되는 패킹에 관한 제어 정보를 취득한다(화살표(125)). 또한, 예를 들어 멀티플렉서(117)는, 비디오 부호화부(114)로부터 공급되는 지오메트리 비디오 프레임의 부호화 데이터를 취득한다(화살표(127)). 또한, 예를 들어 멀티플렉서(117)는, 비디오 부호화부(115)로부터 공급되는 컬러 비디오 프레임의 부호화 데이터를 취득한다(화살표(128)). 또한, 예를 들어 멀티플렉서(117)는, OMap 부호화부(116)로부터 공급되는 오큐펀시 맵의 부호화 데이터를 취득한다(화살표(129)).

멀티플렉서(117)는, 취득한 그들 정보를 다중화하여, 비트스트림을 생성한다. 멀티플렉서(117)는, 그 생성된 비트스트림을 부호화 장치(100)의 외부로 출력한다.

복호부(118)는, 이상과 같이 생성되는 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, 복호부(118)는, OMap 부호화부(116)로부터 공급되는 NxN 정밀도의 오큐펀시 맵의 부호화 데이터를 취득한다(화살표(131)). 또한, 복호부(118)는, 비디오 부호화부(114)로부터 공급되는 지오메트리 비디오 프레임의 부호화 데이터를 취득한다(화살표(134)). 그리고, 복호부(118)는, 후술하는 복호 장치(200)와 마찬가지의 구성을 갖고, 마찬가지의 처리를 행한다. 예를 들어, 복호부(118)는, NxN 정밀도의 오큐펀시 맵의 부호화 데이터를 복호하여, NxN 정밀도의 오큐펀시 맵을 생성한다. 복호부(118)는, 그 NxN 정밀도의 오큐펀시 맵을, 보정 정보 생성부(119)에 공급한다(화살표(132)). 또한, 복호부(118)는, 지오메트리 비디오 프레임의 부호화 데이터를 복호하여, 지오메트리 비디오 프레임을 생성한다. 복호부(118)는, 그 지오메트리 비디오 프레임을 비디오 부호화부(115)에 공급한다(화살표(135)).

보정 정보 생성부(119)는, 2차원 화상을 나타내는 2D 데이터를 이용하여 재구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 생성에 관한 처리를 행한다. 예를 들어, 보정 정보 생성부(119)는, 패킹부(112)로부터 공급되는 1x1 정밀도의 오큐펀시 맵을 취득한다(화살표(124)). 또한, 보정 정보 생성부(119)는, 복호부(118)로부터 공급되는 NxN 정밀도의 오큐펀시 맵을 취득한다(화살표(132)). 또한, 보정 정보 생성부(119)는, 외부(예를 들어 유저 등)로부터 입력되는 잔여량의 설정을 취득한다(도시생략). 보정 정보 생성부(119)는, 그들 정보에 기초하여, 보정 정보를 생성한다. 예를 들어, 보정 정보 생성부(119)는, 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 보정에 관한 정보를 포함하는 보정 정보를 생성한다. 보정 정보 생성부(119)는, 생성된 보정 정보를 보조 패치 정보 압축부(113)에 공급한다(화살표(133)).

이와 같이 함으로써, 부호화 장치(100)는, 복호측에 있어서, 이 보정 정보에 기초하여 3D 데이터를 보정시킬 수 있게 된다. 이에 의해, 3D 데이터의 열화를 억제할 수 있어, 표시용 화상의 주관 화질의 저감을 억제할 수 있다.

또한, 이들 처리부(패치 분해부(111) 내지 보정 정보 생성부(119))는, 임의의 구성을 갖는다. 예를 들어, 각 처리부가, 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등을 갖고, 그들을 사용하여 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론, 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 그 밖에, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되며, 예를 들어 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행의 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<보정 정보 생성부>

도 7은, 보정 정보 생성부(119)의 주된 구성예를 나타내는 블록도이다. 도 7에 나타낸 바와 같이, 보정 정보 생성부(119)는, 타입 설정부(151) 및 삭감량 설정부(152)를 갖는다.

타입 설정부(151)는, 여백의 삭감 방식(여백의 보정 타입)을 설정한다. 예를 들어, 타입 설정부(151)는, 미리 준비된 「여백의 삭감 방식의 패턴」의 후보 중에서 최적의 패턴을 선택한다. 예를 들어, 타입 설정부(151)는 상술한 바와 같은 오큐펀시 맵의 비교 결과나 잔여량의 설정에 기초하여, 이와 같은 패턴의 선택(타입의 선택)을 행한다.

삭감량 설정부(152)는, 여백의 보정량(여백을 어느 정도 보정할지)을 설정한다. 예를 들어, 삭감량 설정부(152)는, 여백의 삭감량(여백을 어느 정도 삭감할지)을 설정한다. 또한, 예를 들어 삭감량 설정부(152)는, 여백의 증가량(여백을 어느 정도 증가시킬지)을 설정한다. 삭감량 설정부(152)는, 상술한 바와 같은 오큐펀시 맵의 비교 결과나 잔여량의 설정에 기초하여, 이와 같은 보정량의 설정을 행한다.

보정 정보 생성부(119)는, 이상과 같이 설정된 여백의 보정 타입이나 보정량을 나타내는 정보를, 보정 정보로서 보조 패치 정보 압축부(113)에 공급한다.

<부호화 처리의 흐름>

이와 같은 부호화 장치(100)에 의해 실행되는 처리에 대하여 설명한다. 처음에, 부호화 처리의 흐름의 예를, 도 8의 흐름도를 참조하여 설명한다.

부호화 처리가 개시되면, 부호화 장치(100)의 패치 분해부(111)는, 스텝 S101에 있어서, 패치 분해 처리를 실행하고, 3D 데이터를 패치로 분해하여, 각 패치의 데이터를 2차원 평면에 투영한다.

스텝 S102에 있어서, 패킹부(112)는, 패치 분해부(111)에 의해 패치마다 2차원 평면에 투영된 3D 데이터를 패킹하고, 지오메트리 비디오 프레임이나 컬러 비디오 프레임을 생성한다. 또한, 패킹부(112)는, 1x1 정밀도의 오큐펀시 맵을 생성한다.

스텝 S103에 있어서, OMap 부호화부(116)는, 스텝 S102에 있어서 생성된 1x1 정밀도의 오큐펀시 맵을 저정밀도화하여 NxN 정밀도의 오큐펀시 맵을 생성하고, 그 NxN 정밀도의 오큐펀시 맵을 부호화하여 NxN 정밀도의 오큐펀시 맵의 부호화 데이터를 생성한다.

스텝 S104에 있어서, 복호부(118)는, 스텝 S103에 있어서 생성된 NxN 정밀도의 오큐펀시 맵의 부호화 데이터를 복호하여, NxN 정밀도의 오큐펀시 맵을 생성한다.

스텝 S105에 있어서, 보정 정보 생성부(119)는, 보정 정보 생성 처리를 실행하여, 스텝 S102에 있어서 생성된 1x1 정밀도의 오큐펀시 맵, 스텝 S104에 있어서 생성된 복호 후의 NxN 정밀도의 오큐펀시 맵 및 잔여량에 기초하여, 보정 정보를 생성한다. 이 보정 정보 생성 처리에 대해서는 후술한다.

스텝 S106에 있어서, 패킹부(112)는, 스텝 S102에 있어서 생성된 지오메트리 비디오 프레임의 딜리션을 행한다.

스텝 S107에 있어서, 비디오 부호화부(114)는, 스텝 S106에 있어서 딜리션이 행해진 지오메트리 비디오 프레임을 부호화하여, 지오메트리 비디오 프레임의 부호화 데이터를 생성한다.

스텝 S108에 있어서, 비디오 부호화부(114)는, 스텝 S107에 있어서 생성된 지오메트리 비디오 프레임의 부호화 데이터를 복호하여, 복호 후의 지오메트리 비디오 프레임을 생성한다.

스텝 S109에 있어서, 패킹부(112)는, 스텝 S102에 있어서 생성된 컬러 비디오 프레임의 딜리션을 행한다.

스텝 S110에 있어서, 비디오 부호화부(115)는, 스텝 S109에 있어서 딜리션이 행해진 컬러 비디오 프레임에 대하여, 스텝 S108에 있어서 생성된 복호 후의 지오메트리 비디오 프레임을 사용하여 리컬러 처리를 행하고, 속성 정보를, 복호 후의 위치 정보에 대응시킨다.

스텝 S111에 있어서, 비디오 부호화부(115)는, 스텝 S110에 있어서 리컬러 처리가 행해진 컬러 비디오 프레임을 부호화하여, 컬러 비디오 프레임의 부호화 데이터를 생성한다.

스텝 S112에 있어서, 보조 패치 정보 압축부(113)는, 스텝 S105의 처리에 의해 생성된 보정 정보를 포함하는 보조 패치 정보를 부호화(압축)하여, 부호화 데이터를 생성한다.

스텝 S113에 있어서, 멀티플렉서(117)는, 이상과 같이 생성된 각종 정보를 다중화하여, 이들 정보를 포함하는 비트스트림을 생성한다. 스텝 S114에 있어서, 멀티플렉서(117)는, 스텝 S113의 처리에 의해 생성한 비트스트림을 부호화 장치(100)의 외부로 출력한다. 스텝 S113의 처리가 종료되면, 부호화 처리가 종료된다.

<보정 정보 생성 처리의 흐름>

도 9의 흐름도를 참조하여, 도 8의 스텝 S105에 있어서 실행되는 보정 정보 생성 처리의 흐름의 예를 설명한다. 보정 정보 생성 처리가 개시되면, 보정 정보 생성부(119)의 타입 설정부(151)는, 스텝 S131에 있어서, 여백의 보정 타입을 설정한다. 스텝 S132에 있어서, 삭감량 설정부(152)는, 그 여백의 보정량(예를 들어 삭감량)을 설정한다. 스텝 S133에 있어서, 보정 정보 생성부(119)는, 그들 정보를 보정 정보로서 설정하고, 보조 패치 정보 압축부(113)에 공급한다.

스텝 S133의 처리가 종료되면 보정 정보 생성 처리가 종료되고, 처리는 도 8로 되돌아간다.

이상과 같이 각 처리를 실행함으로써, 부호화 장치(100)는, 3D 데이터의 보정 정보를 생성하고, 복호측에 있어서, 그 보정 정보에 기초하여 3D 데이터를 보정시킬 수 있게 된다. 이에 의해, 3D 데이터의 열화를 억제할 수 있어, 표시용 화상의 주관 화질의 저감을 억제할 수 있다.

<3. 제2 실시 형태>

<복호 장치>

도 10은, 본 기술을 적용한 화상 처리 장치의 일 양태인 복호 장치의 구성의 일례를 나타내는 블록도이다. 도 10에 나타낸 복호 장치(200)는, 포인트 클라우드와 같은 3D 데이터가 2차원 평면에 투영되어 부호화된 부호화 데이터를, 2차원 화상용 복호 방법에 의해 복호하여, 3D 데이터를 재구축하는 장치(비디오 베이스드 어프로치를 적용한 복호 장치)이다. 이 복호 장치(200)는, 도 6의 부호화 장치(100)에 대응하는 복호 장치이며, 부호화 장치(100)에 의해 생성된 비트스트림을 복호하여 3D 데이터를 재구축할 수 있다.

또한, 도 10에 있어서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 10에 나타낸 것이 전부라고는 할 수 없다. 즉, 복호 장치(200)에 있어서, 도 10에 있어서 블록으로서 도시되어 있지 않은 처리부가 존재하거나, 도 10에 있어서 화살표 등으로서 도시되어 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다. 이것은, 복호 장치(200) 내의 처리부 등을 설명하는 다른 도면에 있어서도 마찬가지이다.

도 10에 나타낸 바와 같이 복호 장치(200)는, 디멀티플렉서(211), 보조 패치 정보 복호부(212), 비디오 복호부(213), 비디오 복호부(214), OMap 복호부(215), 언패킹부(216) 및 3D 재구축부(217)를 갖는다.

디멀티플렉서(211)는, 데이터의 역다중화에 관한 처리를 행한다. 예를 들어, 디멀티플렉서(211)는, 복호 장치(200)에 입력되는 비트스트림을 취득한다. 이 비트스트림은, 예를 들어 부호화 장치(100)로부터 공급된다. 디멀티플렉서(211)는, 이 비트스트림을 역다중화하고, 보조 패치 정보의 부호화 데이터를 추출하고, 그것을 보조 패치 정보 복호부(212)에 공급한다. 또한, 디멀티플렉서(211)는, 역다중화에 의해, 비트스트림으로부터, 지오메트리 비디오 프레임의 부호화 데이터를 추출하고, 그것을 비디오 복호부(213)에 공급한다. 또한, 디멀티플렉서(211)는, 역다중화에 의해, 비트스트림으로부터, 컬러 비디오 프레임의 부호화 데이터를 추출하고, 그것을 비디오 복호부(214)에 공급한다. 또한, 디멀티플렉서(211)는, 역다중화에 의해, 비트스트림으로부터, 오큐펀시 맵의 부호화 데이터를 추출하고, 그것을 OMap 복호부(215)에 공급한다. 또한, 디멀티플렉서(211)는, 역다중화에 의해, 비트스트림부터 패킹에 관한 제어 정보를 추출하고, 그것을 언패킹부(216)에 공급한다.

보조 패치 정보 복호부(212)는, 보조 패치 정보의 부호화 데이터(보정 정보의 부호화 데이터를 포함함)의 복호에 관한 처리를 행한다. 예를 들어, 보조 패치 정보 복호부(212)는, 디멀티플렉서(211)로부터 공급되는 보조 패치 정보의 부호화 데이터를 취득한다. 또한, 보조 패치 정보 복호부(212)는, 그 부호화 데이터를 복호하여, 보조 패치 정보나 보정 정보를 생성한다. 이 보정 정보는, 부호화측에 있어서 생성되고, 부호화측으로부터 전송된 정보이며, 예를 들어 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 보정에 관한 정보를 포함한다. 보조 패치 정보 복호부(212)는, 그 보조 패치 정보를 3D 재구축부(217)에 공급한다.

비디오 복호부(213)는, 지오메트리 비디오 프레임의 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, 비디오 복호부(213)는, 디멀티플렉서(211)로부터 공급되는 지오메트리 비디오 프레임의 부호화 데이터를 취득한다. 또한, 예를 들어 비디오 복호부(213)는, 그 부호화 데이터를 복호하여, 지오메트리 비디오 프레임을 생성한다. 비디오 복호부(213)는, 그 지오메트리 비디오 프레임을, 언패킹부(216)에 공급한다.

비디오 복호부(214)는, 컬러 비디오 프레임의 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, 비디오 복호부(214)는, 디멀티플렉서(211)로부터 공급되는 컬러 비디오 프레임의 부호화 데이터를 취득한다. 또한, 예를 들어 비디오 복호부(214)는, 그 부호화 데이터를 복호하여, 컬러 비디오 프레임을 생성한다. 비디오 복호부(214)는, 그 컬러 비디오 프레임을, 언패킹부(216)에 공급한다.

OMap 복호부(215)는, 오큐펀시 맵의 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, OMap 복호부(215)는, 디멀티플렉서(211)로부터 공급되는 오큐펀시 맵의 부호화 데이터를 취득한다. 또한, 예를 들어 OMap 복호부(215)는, 그 부호화 데이터를 복호하여, 오큐펀시 맵을 생성한다. OMap 복호부(215)는, 그 오큐펀시 맵을, 언패킹부(216)에 공급한다.

언패킹부(216)는, 언패킹에 관한 처리를 행한다. 예를 들어, 언패킹부(216)는, 디멀티플렉서(211)로부터 공급되는 패킹에 관한 제어 정보를 취득한다. 또한, 언패킹부(216)는, 비디오 복호부(213)로부터 공급되는 지오메트리 비디오 프레임을 취득한다. 또한, 언패킹부(216)는, 비디오 복호부(214)로부터 공급되는 컬러 비디오 프레임을 취득한다. 또한, 언패킹부(216)는, OMap 복호부(215)로부터 공급되는 오큐펀시 맵을 취득한다. 언패킹부(216)는, 취득한 제어 정보나 오큐펀시 맵에 기초하여 지오메트리 비디오 프레임이나 컬러 비디오 프레임을 언패킹하고, 위치 정보나 속성 정보의 패치 등을 추출한다. 언패킹부(216)는, 그 위치 정보나 속성 정보의 패치 등을 3D 재구축부(217)에 공급한다.

3D 재구축부(217)는, 3D 데이터의 재구축에 관한 처리를 행한다. 예를 들어, 3D 재구축부(217)는, 보조 패치 정보 복호부(212)로부터 공급되는 보조 패치 정보 및 보정 정보를 취득한다. 또한, 3D 재구축부(217)는, 언패킹부(216)로부터 공급되는 위치 정보나 속성 정보의 패치 등을 취득한다. 또한, 3D 재구축부(217)는, 그들 정보에 기초하여, 3D 데이터(예를 들어 포인트 클라우드(Point Cloud))를 재구축한다. 예를 들어, 3D 재구축부(217)는, 보조 패치 정보나 위치 정보나 속성 정보의 패치 등에 기초하여 3D 데이터를 재구축하고, 또한, 보정 정보에 기초하여 그 3D 데이터를 보정한다. 3D 재구축부(217)는, 이와 같은 처리에 의해 얻어진 3D 데이터를 복호 장치(200)의 외부로 출력한다.

이 3D 데이터는, 예를 들어 표시부에 공급되어서 그 화상이 표시되거나, 기록 매체에 기록되거나, 통신을 통해 다른 장치에 공급되거나 한다.

이와 같이 함으로써, 복호 장치(200)는, 부호화측으로부터 공급된 보정 정보에 기초하여 3D 데이터를 보정할 수 있게 된다. 이에 의해, 3D 데이터의 열화를 억제할 수 있어, 표시용 화상의 주관 화질의 저감을 억제할 수 있다.

또한, 이들 처리부(디멀티플렉서(211) 내지 3D 재구축부(217))는, 임의의 구성을 갖는다. 예를 들어, 각 처리부가, 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU, ROM, RAM 등을 갖고, 그들을 사용하여 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론, 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 그 밖에 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되며, 예를 들어 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행의 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<3D 재구축부>

도 11은, 도 10의 3D 재구축부(217)의 주된 구성예를 나타내는 블록도이다. 도 11에 나타낸 바와 같이, 3D 재구축부(217)는, 보정 설정부(251) 및 재구축부(252)를 갖는다.

보정 설정부(251)는, 3D 데이터의 보정 제어에 관한 처리를 행한다. 예를 들어, 보정 설정부(251)는, OMap 복호부(215)로부터 공급되는 복호 후의 NxN 정밀도의 오큐펀시 맵을 취득한다. 또한, 보정 설정부(251)는, 보조 패치 정보 복호부(212)로부터 공급되는 보정 정보를 취득한다.

이 보정 정보가, 예를 들어 설정된 여백의 삭감 방식(여백의 보정 타입)을 나타내는 정보를 포함하도록 해도 된다. 예를 들어, 이 보정 정보가, 미리 준비된 「여백의 삭감 방식의 패턴」의 후보 중에서 선택된 최적의 패턴을 나타내는 정보를 포함하도록 해도 된다.

또한, 이 보정 정보가, 예를 들어 설정된 여백의 보정량(예를 들어, 삭감량 혹은 증가량, 또는 그 양쪽)을 나타내는 정보를 포함하도록 해도 된다.

보정 설정부(251)는, 이들 정보에 기초하여, 어떻게 보정을 행할지를 설정한다. 보정 설정부(251)는, 그 설정대로의 보정을 실현하기 위해서 제어 정보를 생성하고, 그 제어 정보를 재구축부(252)에 공급한다.

재구축부(252)는, 3D 데이터의 재구축에 관한 처리를 행한다. 예를 들어, 재구축부(252)는, 언패킹부(216)로부터 공급되는 지오메트리 비디오 프레임으로부터 추출된 위치 정보나, 언패킹부(216)로부터 공급되는 컬러 비디오 프레임으로부터 추출한 속성 정보에 기초하여, 3D 데이터를 재구축한다. 또한, 재구축부(252)는, 보정 설정부(251)의 제어에 따라서(보정 설정부(251)로부터 공급된 제어 정보에 따라서) 3D 데이터를 보정한다. 재구축부(252)는, 생성(보정)된 3D 데이터를 복호 장치(200)의 외부로 출력한다.

<복호 처리의 흐름>

이와 같은 복호 장치(200)에 의해 실행되는 처리에 대하여 설명한다. 처음에, 복호 처리의 흐름의 예를, 도 12의 흐름도를 참조하여 설명한다.

복호 처리가 개시되면, 복호 장치(200)의 디멀티플렉서(211)는, 스텝 S201에 있어서, 비트스트림을 역다중화한다.

스텝 S202에 있어서, 보조 패치 정보 복호부(212)는, 스텝 S201의 처리에 의해 비트스트림으로부터 추출된 보조 패치 정보의 부호화 데이터를 복호하여, 보조 패치 정보나 보정 정보를 생성한다.

스텝 S203에 있어서, OMap 복호부(215)는, 스텝 S201의 처리에 의해 비트스트림으로부터 추출된 오큐펀시 맵의 부호화 데이터를 복호한다.

스텝 S204에 있어서, 비디오 복호부(213)는, 스텝 S201의 처리에 의해 비트스트림으로부터 추출된 지오메트리 비디오 프레임의 부호화 데이터를 복호하여, 지오메트리 비디오 프레임을 생성한다.

스텝 S205에 있어서, 비디오 복호부(214)는, 스텝 S201의 처리에 의해 비트스트림으로부터 추출된 컬러 비디오 프레임의 부호화 데이터를 복호하여, 컬러 비디오 프레임을 생성한다.

스텝 S206에 있어서, 언패킹부(216)는, 패킹에 관한 제어 정보나 오큐펀시 맵에 기초하여, 지오메트리 비디오 프레임이나 컬러 비디오 프레임을 각각 언패킹한다.

스텝 S207에 있어서, 3D 재구축부(217)는, 3D 데이터 재구축 처리를 실행하여, 스텝 S202에 있어서 생성된 보조 패치 정보와, 스텝 S203 내지 스텝 S205에 있어서 생성된 각종 정보에 기초하여, 예를 들어 포인트 클라우드 등의 3D 데이터를 재구축한다. 또한, 3D 재구축부(217)는, 스텝 S202에 있어서 생성된 보정 정보에 기초하여, 재구축한 3D 데이터를 보정한다. 스텝 S207의 처리가 종료되면 복호 처리가 종료된다.

<3D 데이터 재구축 처리의 흐름>

다음으로, 도 12의 스텝 S207에 있어서 실행되는 3D 데이터 재구축 처리의 흐름의 예를, 도 13의 흐름도를 참조하여 설명한다.

3D 데이터 재구축 처리가 개시되면, 보정 설정부(251)는, 스텝 S221에 있어서, 복호 후의 NxN 정밀도의 오큐펀시 맵과 보정 정보에 기초하여, 3D 데이터 재구축에 관한 보정 방법을 설정하고, 제어 정보를 생성한다.

스텝 S222에 있어서, 재구축부(252)는, 위치 정보(지오메트리 데이터) 및 속성 정보(픽처 데이터), 그리고, 스텝 S221에 있어서 설정한 보정 방법을 이용하여 포인트 클라우드 등의 3D 데이터를 재구축한다. 보다 구체적으로는, 재구축부(252)는, 위치 정보(지오메트리 데이터) 및 속성 정보(픽처 데이터), 그리고, 보조 패치 정보 등에 기초하여, 3D 데이터를 재구축한다. 그리고, 재구축부(252)는, 보정 설정부(251)로부터 공급되는 제어 정보에 따라서, 재구축된 3D 데이터를 보정한다.

이상과 같이 각 처리를 실행함으로써, 복호 장치(200)는, 부호화측으로부터 공급된 보정 정보에 기초하여 3D 데이터를 보정할 수 있게 된다. 이에 의해, 3D 데이터의 열화를 억제할 수 있어, 표시용 화상의 주관 화질의 저감을 억제할 수 있다.

<4. 부기>

<제어 정보>

이상의 각 실시 형태에 있어서 설명한 본 기술에 관한 제어 정보를 부호화측으로부터 복호측으로 전송하도록 해도 된다. 예를 들어, 상술한 본 기술을 적용하는 것을 허가(또는 금지)할지 여부를 제어하는 제어 정보(예를 들어 enabled_flag)를 전송하도록 해도 된다. 또한, 예를 들어 상술한 본 기술을 적용하는 것을 허가(또는 금지)하는 범위(예를 들어 블록 사이즈의 상한 혹은 하한, 또는 그 양쪽, 슬라이스, 픽처, 시퀀스, 컴포넌트, 뷰, 레이어 등)를 지정하는 제어 정보를 전송하도록 해도 된다.

<컴퓨터>

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 14는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.

도 14에 나타낸 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)를 통해 서로 접속되어 있다.

버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는, 입력부(911), 출력부(912), 기억부(913), 통신부(914), 및 드라이브(915)가 접속되어 있다.

입력부(911)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등을 포함한다. 출력부(912)는, 예를 들어 디스플레이, 스피커, 출력 단자 등을 포함한다. 기억부(913)는, 예를 들어 하드디스크, RAM 디스크, 불휘발성의 메모리 등을 포함한다. 통신부(914)는, 예를 들어 네트워크 인터페이스를 포함한다. 드라이브(915)는, 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어 기억부(913)에 기억되어 있는 프로그램을, 입출력 인터페이스(910) 및 버스(904)를 통해 RAM(903)에 로드해서 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

컴퓨터가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(921)를 드라이브(915)에 장착함으로써, 입출력 인터페이스(910)를 통해 기억부(913)에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수도 있다. 그 경우, 프로그램은, 통신부(914)로 수신하여, 기억부(913)에 인스톨할 수 있다.

그 밖에, 이 프로그램은, ROM(902)이나 기억부(913)에, 미리 인스톨해 둘 수도 있다.

<본 기술의 적용 대상>

이상에 있어서는, 포인트 클라우드 데이터의 부호화·복호에 본 기술을 적용하는 경우에 대하여 설명하였지만, 본 기술은, 이들 예에 한정되지 않고, 임의의 규격의 3D 데이터의 부호화·복호에 대하여 적용할 수 있다. 즉, 상술한 본 기술과 모순되지 않는 한, 부호화·복호 방식 등의 각종 처리, 그리고, 3D 데이터나 메타데이터 등의 각종 데이터의 사양은 임의이다. 또한, 본 기술과 모순되지 않는 한, 상술한 일부의 처리나 사양을 생략해도 된다.

또한, 이상에 있어서는, 본 기술의 적용예로서 부호화 장치(100) 및 복호 장치(200)에 대하여 설명하였지만, 본 기술은, 임의의 구성에 적용할 수 있다.

예를 들어, 본 기술은, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷상에서의 배신 및 셀룰러 통신에 의한 단말기로의 배신 등에 있어서의 송신기나 수신기(예를 들어 텔레비전 수상기나 휴대 전화기), 또는 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하거나, 이들 기억 매체로부터 화상을 재생하거나 하는 장치(예를 들어 하드디스크 리코더나 카메라) 등의, 다양한 전자 기기에 적용될 수 있다.

또한, 예를 들어 본 기술은, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들어 비디오 프로세서), 복수의 프로세서 등을 사용하는 모듈(예를 들어 비디오 모듈), 복수의 모듈 등을 사용하는 유닛(예를 들어 비디오 유닛) 또는, 유닛에 그 밖의 기능을 더 부가한 세트(예를 들어 비디오 세트) 등, 장치의 일부의 구성으로서 실시할 수도 있다.

또한, 예를 들어 본 기술은, 복수의 장치에 의해 구성되는 네트워크 시스템에도 적용할 수도 있다. 예를 들어, 본 기술을, 네트워크를 통해 복수의 장치로 분담하여, 공동으로 처리하는 클라우드 컴퓨팅으로서 실시하도록 해도 된다. 예를 들어, 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말기, IoT(Internet of Things) 디바이스 등의 임의의 단말기에 대해서, 화상(동화상)에 관한 서비스를 제공하는 클라우드 서비스에 있어서 본 기술을 실시하도록 해도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는 모두 시스템이다.

<본 기술을 적용 가능한 분야·용도>

본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들어 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등, 임의의 분야에 이용할 수 있다. 또한, 그 용도도 임의이다.

<기타>

또한, 본 명세서에 있어서 「플래그」란, 복수의 상태를 식별하기 위한 정보이며, 참(1) 또는 거짓(0)의 2 상태를 식별할 때 이용하는 정보뿐만 아니라, 3 이상의 상태를 식별하는 것이 가능한 정보도 포함된다. 따라서, 이 「플래그」가 취할 수 있는 값은, 예를 들어 1/0의 2치여도 되고, 3치 이상이어도 된다. 즉, 이 「플래그」를 구성하는 비트(bit) 수는 임의이며, 1 비트여도 복수 비트여도 된다. 또한, 식별 정보(플래그도 포함함)는, 그 식별 정보를 비트스트림에 포함하는 형태뿐만 아니라, 어떤 기준이 되는 정보에 대한 식별 정보의 차분 정보를 비트스트림에 포함하는 형태도 상정되기 때문에, 본 명세서에 있어서는, 「플래그」나 「식별 정보」는, 그 정보뿐만 아니라, 기준이 되는 정보에 대한 차분 정보도 포함한다.

또한, 부호화 데이터(비트스트림)에 관한 각종 정보(메타데이터 등)는, 부호화 데이터에 관련지어져 있으면, 어떠한 형태로 전송 또는 기록되도록 해도 된다. 여기서, 「관련짓는다」라는 용어는, 예를 들어 한쪽 데이터를 처리할 때 다른 쪽 데이터를 이용할 수 있도록(링크시킬 수 있도록) 함을 의미한다. 즉, 서로 관련지어진 데이터는, 하나의 데이터로서 통합되어도 되고, 각각 개별의 데이터로 해도 된다. 예를 들어, 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들어 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에어리어)에 기록되도록 해도 된다. 또한, 이 「관련짓기」는, 데이터 전체가 아니라, 데이터의 일부여도 된다. 예를 들어, 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1 프레임 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어지도록 해도 된다.

또한, 본 명세서에 있어서, 「합성한다」, 「다중화한다」, 「부가한다」, 「일체화한다」, 「포함한다」, 「저장한다」, 「집어넣는다」, 「끼워넣는다」, 「삽입한다」 등의 용어는, 예를 들어 부호화 데이터와 메타데이터를 하나의 데이터에 통합한다고 하는, 복수의 물체를 하나로 통합함을 의미하고, 상술의 「관련짓는다」라는 하나의 방법을 의미한다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 된다.

또한, 예를 들어 상술한 프로그램은, 임의의 장치에 있어서 실행되도록 해도 된다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 갖고, 필요한 정보를 얻을 수 있게 하면 된다.

또한, 예를 들어 하나의 흐름도의 각 스텝을, 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담해서 실행하도록 해도 된다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우, 그 복수의 처리를, 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담해서 실행하도록 해도 된다. 다시 말해서, 하나의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 하나의 스텝으로서 통합해서 실행할 수도 있다.

또한, 예를 들어 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서를 따라서 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 개별로 실행되도록 해도 된다. 즉, 모순이 발생하지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합해서 실행되도록 해도 된다.

또한, 예를 들어 본 기술에 관한 복수의 기술은, 모순이 발생하지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들어, 어느 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합하여 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용하여 실시할 수도 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하는 보정 정보 생성부와,

상기 보정 정보 생성부에 의해 생성된 상기 보정 정보를 부호화하는 보정 정보 부호화부

를 구비하는 화상 처리 장치.

(2) 상기 보정 정보 생성부는, 1x1 정밀도의 오큐펀시 맵과, NxN 정밀도의 오큐펀시 맵에 기초하여, 상기 보정 정보를 생성하는

상기 (1)에 기재된 화상 처리 장치.

(3) 상기 보정 정보 생성부는, 상기 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 크기의 설정값인 잔여량에 기초하여, 상기 보정 정보를 더 생성하는

상기 (2)에 기재된 화상 처리 장치.

(4) 상기 보정 정보는, 상기 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 보정에 관한 정보를 포함하는

상기 (1)에 기재된 화상 처리 장치.

(5) 상기 여백의 보정에 관한 정보는, 상기 여백의 삭감 방식을 나타내는 정보를 포함하는

상기 (4)에 기재된 화상 처리 장치.

(6) 상기 여백의 보정에 관한 정보는, 후보 중에서 선택된 상기 여백의 삭감 방식의 패턴을 나타내는 정보를 포함하는

상기 (5)에 기재된 화상 처리 장치.

(7) 상기 여백의 보정에 관한 정보는, 상기 여백의 보정량을 나타내는 정보를 포함하는

상기 (4)에 기재된 화상 처리 장치.

(8) 상기 여백의 보정량을 나타내는 정보는, 상기 여백의 삭감량을 나타내는 정보를 포함하는

상기 (7)에 기재된 화상 처리 장치.

(9) 상기 여백의 보정량을 나타내는 정보는, 상기 여백의 증가량을 나타내는 정보를 포함하는

상기 (7)에 기재된 화상 처리 장치.

(10) 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하고,

생성된 상기 보정 정보를 부호화하는

화상 처리 방법.

(11) 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하는 보정 정보 복호부와,

상기 2D 데이터와, 상기 보정 정보 복호부에 의해 상기 보정 정보의 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여, 상기 3D 데이터를 구축하는 구축부

를 구비하는 화상 처리 장치.

(12) 상기 보정 정보는, 상기 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 보정에 관한 정보를 포함하는

상기 (11)에 기재된 화상 처리 장치.

(13) 상기 여백의 보정에 관한 정보는, 상기 여백의 삭감 방식을 나타내는 정보를 포함하는

상기 (12)에 기재된 화상 처리 장치.

(14) 상기 여백의 보정에 관한 정보는, 후보 중에서 선택된 상기 여백의 삭감 방식의 패턴을 나타내는 정보를 포함하는

상기 (13)에 기재된 화상 처리 장치.

(15) 상기 여백의 보정에 관한 정보는, 상기 여백의 보정량을 나타내는 정보를 포함하는

상기 (12)에 기재된 화상 처리 장치.

(16) 상기 여백의 보정량을 나타내는 정보는, 상기 여백의 삭감량을 나타내는 정보를 포함하는

상기 (15)에 기재된 화상 처리 장치.

(17) 상기 여백의 보정량을 나타내는 정보는, 상기 여백의 증가량을 나타내는 정보를 포함하는

상기 (15)에 기재된 화상 처리 장치.

(18) 상기 2D 데이터의 부호화 데이터를 복호하는 비디오 복호부를 더 구비하고,

상기 구축부는, 상기 비디오 복호부에 의해 복호되어 생성된 상기 2D 데이터와, 상기 보정 정보 복호부에 의해 상기 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여, 상기 3D 데이터를 구축하는

상기 (11)에 기재된 화상 처리 장치.

(19) 오큐펀시 맵의 부호화 데이터를 복호하는 OMap 복호부를 더 구비하고,

상기 구축부는, 상기 2D 데이터로부터 상기 3D 데이터를 구축할 때 상기 OMap 복호부에 의해 복호되어 생성된 오큐펀시 맵에 의해 확대된 부분인 여백을, 상기 보정 정보 복호부에 의해 상기 보정 정보의 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여 보정하는

상기 (11)에 기재된 화상 처리 장치.

(20) 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하고,

상기 2D 데이터와, 상기 보정 정보의 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여, 상기 3D 데이터를 구축하는

화상 처리 방법.

100: 부호화 장치
111: 패치 분해부
112: 패킹부
113: 보조 패치 정보 압축부
114: 비디오 부호화부
115: 비디오 부호화부
116: OMap 부호화부
117: 멀티플렉서
118: 복호부
119: 보정 정보 생성부
151: 타입 설정부
152: 삭감량 설정부
200: 복호 장치
211: 디멀티플렉서
212: 보조 패치 정보 복호부
213: 비디오 복호부
214: 비디오 복호부
215: OMap 복호부
216: 언패킹부
217: 3D 재구축부
251: 보정 설정부
252: 재구축부

Claims (20)

1. 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하는 보정 정보 생성부와,
   상기 보정 정보 생성부에 의해 생성된 상기 보정 정보를 부호화하는 보정 정보 부호화부
   를 구비하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 보정 정보 생성부는, 1x1 정밀도의 오큐펀시 맵과, NxN 정밀도의 오큐펀시 맵에 기초하여, 상기 보정 정보를 생성하는
   화상 처리 장치.
3. 제2항에 있어서,
   상기 보정 정보 생성부는, 상기 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 크기의 설정값인 잔여량에 기초하여, 상기 보정 정보를 더 생성하는
   화상 처리 장치.
4. 제1항에 있어서,
   상기 보정 정보는, 상기 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 보정에 관한 정보를 포함하는
   화상 처리 장치.
5. 제4항에 있어서,
   상기 여백의 보정에 관한 정보는, 상기 여백의 삭감 방식을 나타내는 정보를 포함하는
   화상 처리 장치.
6. 제5항에 있어서,
   상기 여백의 보정에 관한 정보는, 후보 중에서 선택된 상기 여백의 삭감 방식의 패턴을 나타내는 정보를 포함하는
   화상 처리 장치.
7. 제4항에 있어서,
   상기 여백의 보정에 관한 정보는, 상기 여백의 보정량을 나타내는 정보를 포함하는
   화상 처리 장치.
8. 제7항에 있어서,
   상기 여백의 보정량을 나타내는 정보는, 상기 여백의 삭감량을 나타내는 정보를 포함하는
   화상 처리 장치.
9. 제7항에 있어서,
   상기 여백의 보정량을 나타내는 정보는, 상기 여백의 증가량을 나타내는 정보를 포함하는
   화상 처리 장치.
10. 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보를 생성하고,
    생성된 상기 보정 정보를 부호화하는
    화상 처리 방법.
11. 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하는 보정 정보 복호부와,
    상기 2D 데이터와, 상기 보정 정보 복호부에 의해 상기 보정 정보의 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여, 상기 3D 데이터를 구축하는 구축부
    를 구비하는 화상 처리 장치.
12. 제11항에 있어서,
    상기 보정 정보는, 상기 3D 데이터의, 오큐펀시 맵에 의해 확대된 부분인 여백의 보정에 관한 정보를 포함하는
    화상 처리 장치.
13. 제12항에 있어서,
    상기 여백의 보정에 관한 정보는, 상기 여백의 삭감 방식을 나타내는 정보를 포함하는
    화상 처리 장치.
14. 제13항에 있어서,
    상기 여백의 보정에 관한 정보는, 후보 중에서 선택된 상기 여백의 삭감 방식의 패턴을 나타내는 정보를 포함하는
    화상 처리 장치.
15. 제12항에 있어서,
    상기 여백의 보정에 관한 정보는, 상기 여백의 보정량을 나타내는 정보를 포함하는
    화상 처리 장치.
16. 제15항에 있어서,
    상기 여백의 보정량을 나타내는 정보는, 상기 여백의 삭감량을 나타내는 정보를 포함하는
    화상 처리 장치.
17. 제15항에 있어서,
    상기 여백의 보정량을 나타내는 정보는, 상기 여백의 증가량을 나타내는 정보를 포함하는
    화상 처리 장치.
18. 제11항에 있어서,
    상기 2D 데이터의 부호화 데이터를 복호하는 비디오 복호부를 더 구비하고,
    상기 구축부는, 상기 비디오 복호부에 의해 복호되어 생성된 상기 2D 데이터와, 상기 보정 정보 복호부에 의해 상기 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여, 상기 3D 데이터를 구축하는
    화상 처리 장치.
19. 제11항에 있어서,
    오큐펀시 맵의 부호화 데이터를 복호하는 OMap 복호부를 더 구비하고,
    상기 구축부는, 상기 2D 데이터로부터 상기 3D 데이터를 구축할 때 상기 OMap 복호부에 의해 복호되어 생성된 오큐펀시 맵에 의해 확대된 부분인 여백을, 상기 보정 정보 복호부에 의해 상기 보정 정보의 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여 보정하는
    화상 처리 장치.
20. 2차원 화상을 나타내는 2D 데이터를 이용하여 구축하는 3차원 구조를 나타내는 3D 데이터의 보정에 관한 정보인 보정 정보의 부호화 데이터를 복호하고,
    상기 2D 데이터와, 상기 보정 정보의 부호화 데이터가 복호되어 생성된 상기 보정 정보를 이용하여, 상기 3D 데이터를 구축하는
    화상 처리 방법.

Images