WO2015147507A1

WO2015147507A1 - 깊이 정보를 이용한 비디오 부호화 방법 및 장치

Info

Publication number: WO2015147507A1
Application number: PCT/KR2015/002827
Authority: WO
Inventors: 박광훈; 김태욱; 이윤진
Original assignee: 경희대학교산학협력단
Priority date: 2014-03-28
Filing date: 2015-03-23
Publication date: 2015-10-01
Also published as: US20150281696A1; US9769481B2; US10021391B2; US20170324956A1

Abstract

깊이 정보를 이용한 영상 부호화 방법 및 장치를 개시한다. 깊이 정보를 이용한 영상 부호화 방법은 현재 코딩 유닛(CU: Coding Unit)이 준비되는 단계와, 깊이 영상으로부터 획득된 객체 정보로부터 상기 현재 CU의 객체 정보를 확인하는 단계 및 상기 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하고, 상기 현재 CU가 단일 객체로 이루어지는지의 여부에 따라 상기 현재 CU의 분할 구조를 예측하는 단계를 포함한다.

Description

깊이 정보를 이용한 비디오 부호화 방법 및 장치

본 발명은 깊이 정보를 이용한 비디오 부호화에 관한 것으로, 깊이 정보를 이용하여 객체 정보를 유도하고 영상을 효율적으로 부호화하는 방법 및 장치에 관한 것이다.

깊이 정보 영상은 3차원 비디오 부호화에서 널리 활용되고 있으며, Xbox 게임기에서의 키넥트(Kinect) 카메라, 인텔 SENZ3D 웹캠, IPad에서의 iSense 3D 스캐너, 구글 Tango 스마트폰 등과 같은 새로운 입력장치들에 구비된 깊이 정보 카메라는 여러 다양한 3D 및 2D 응용 어플리케이션에서 활용될 수 있다.

한편, 깊이 정보 카메라의 대중화 및 보급으로 2D/3D 응용 어플리케이션은 더욱 다양한 2D/3D 응용 서비스를 통해 대중화가 진행 중에 있으며, 그에 따라 향후 멀티미디어 카메라 시스템에 깊이 정보 카메라가 포함되어 다양한 정보의 활용이 가능하다.

본 발명의 목적은 2차원 비디오 부호화시 깊이 정보를 이용함으로써 성능 열화가 없고 효율적인 부호화가 가능한 영상 부호화 방법 및 장치를 제공하는 것이다.

일 실시예에 따른 깊이 정보를 이용한 영상 부호화 방법은, 현재 코딩 유닛(CU: Coding Unit)을 선택하는 단계; 깊이 영상으로부터 획득된 객체 정보로부터 상기 현재 CU의 객체 정보를 확인하는 단계; 및 상기 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하고, 상기 현재 CU가 단일 객체로 이루어지는지의 여부에 따라 상기 현재 CU의 분할 구조를 예측하는 단계를 포함한다.

다른 일 실시예에 따른 깊이 정보를 이용한 영상 부호화 방법은, 현재 코딩 유닛(CU: Coding Unit)을 선택하는 단계; 상기 현재 CU의 크기가 기 설정된 값 이상이면, 상기 현재 CU의 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 판단하는 단계; 및 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU의 주변 CU의 객체 정보 또는 상기 현재 CU의 참조 CU의 객체 정보를 확인하고, 상기 주변 CU의 객체 정보 또는 상기 참조 CU의 객체 정보에 기초하여 상기 현재 CU의 분할 구조를 예측하는 단계를 포함한다.

또 다른 일 실시예에 따른 깊이 정보를 이용한 영상 부호화 방법은, 깊이 영상으로부터 최대 코딩 유닛(LCU: Largest Coding Unit)의 객체 정보를 획득하는 단계; 상기 객체 정보에 기초하여 상기 LCU의 분할 구조 후보들을 예측하는 단계; 및 코딩 효율 및 화질 정보 중 적어도 어느 하나에 기초하여 상기 LCU의 분할 구조 후보들 중 최적 분할 구조를 결정하는 단계를 포함한다.

일 실시예에 따른 깊이 정보를 이용한 영상 부호화 장치는 깊이 영상으로부터 획득된 객체 정보로부터 현재 코딩 유닛(CU: Coding Unit)의 객체 정보를 확인하는 객체정보 확인부; 및 상기 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하고, 상기 현재 CU가 단일 객체로 이루어지는지의 여부에 따라 상기 현재 CU의 분할 구조를 예측하는 분할구조 예측부를 포함한다.

다른 일 실시예에 따른 깊이 정보를 이용한 영상 부호화 장치는 현재 코딩 유닛(CU: Coding Unit)의 크기를 확인하고 상기 현재 CU의 크기가 기 설정된 값 이상이면, 깊이 영상으로부터 획득된 상기 현재 CU의 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하는 객체정보 확인부; 및 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU의 주변 CU의 객체 정보 또는 상기 현재 CU의 참조 CU의 객체 정보를 확인하고, 상기 주변 CU의 객체 정보 또는 상기 참조 CU의 객체 정보에 기초하여 상기 현재 CU의 분할 구조를 예측하는 분할구조 예측부를 포함한다.

또 다른 일 실시예에 따른 깊이 정보를 이용한 영상 부호화 장치는 깊이 영상으로부터 최대 코딩 유닛(LCU: Largest Coding Unit)의 객체 정보를 확인하는 객체 정보 확인부; 상기 객체 정보에 기초하여 상기 LCU의 분할 구조 후보들을 예측하는 분할구조 예측부; 및 코딩 효율 및 화질 정보 중 적어도 어느 하나에 기초하여 상기 LCU의 분할 구조 후보들 중 최적 분할 구조를 결정하는 최적 분할구조 결정부를 포함한다.

본 발명의 실시예에 따르면, 깊이 정보 카메라에서 획득한 깊이 정보 영상을 이용해 2차원 일반 영상을 부호화함으로써, 2D 영상에 대한 효율적인 부호화를 수행할 수 있다.

도 1은 일반 영상 및 일반 영상의 깊이 정보 맵에 대한 예시도이다.

도 2는 키넥트 입력 장치의 예시도이다.

도 3은 웹캠 제품을 나타낸다.

도 4는 iSense 3D 스캐너 장치를 나타낸다.

도 5는 구글 Tango 스마트폰을 나타낸다.

도 6은 HEVC 부호화 장치를 설명하기 위한 도면이다.

도 7은 스마트 폰에서 HEVC 인코더가 적용된 영상 부호화의 예를 설명하기 위한 도면이다.

도 8은 스마트 폰에서 깊이 영상이 포함된 HEVC의 예를 설명하기 위한 도면이다.

도 9는 영상의 복수의 유닛들로 분할하는 예들을 나타낸다.

도 10은 LCU 단위로 CU 분할 구조를 결정하는 예를 나타낸다.

도 11은 깊이 정보 영상 및 라벨링 정보의 예를 나타내는 도면이다.

도 12는 일반 영상의 예를 나타내는 도면이다.

도 13은 도 12의 일반 영상에 대한 깊이 정보 맵의 예를 나타내는 도면이다.

도 14는 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타낸다.

도 15는 본 발명의 다른 일 실시예에 따른 영상 부호화 방법을 나타낸다.

도 16는 본 발명의 다른 일 실시예에 따른 영상 부호화 방법을 나타낸다.

도 17 및 18은 본 발명의 일 실시예에 따른 분할구조 예측 과정의 예를 설명하기 위한 흐름도들이다.

도 19는 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 한다.

도 1은 일반 영상 및 일반 영상의 깊이 정보 맵에 대한 예시도이다. 도 2는 키넥트 입력 장치의 예시도이다.

도 1을 참조하면, 도 1의 (A)는 카메라를 통해 실제 촬영한 영상이고, (B)는 실제 영상에 대한 깊이 영상, 즉 깊이 정보 영상(또는 깊이 정보 맵)을 나타낸다. 깊이 정보(Depth Information)는 카메라와 실제 사물간의 거리를 나타내는 정보를 의미한다.

이러한 깊이 정보 영상은 주로 3차원 가상 시점 영상을 생성하는데 활용되며, 실제 이와 관련된 연구로 ISO/IEC의 MPEG(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)에서 3차원 비디오 표준화가 현재 진행 중에 있다.

3차원 비디오 표준은 일반 영상과 그것의 깊이 정보 영상을 이용하여 스테레오스코픽 영상뿐만 아니라 오토스테레오스코픽 영상의 재생등을 지원할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.

2010년 11월 마이크로소프트는 XBOX-360 게임 디바이스의 새로운 입력장치로 키넥트(Kinect) 센서를 출시하였는데, 이 장치는 사람의 동작을 인지하여 컴퓨터 시스템에 연결하는 장치로 도 2에서 보듯 RGB 카메라뿐 아니라 3D Depth 센서를 포함하여 이루어져 있다. 또한, 키넥트는 영상 장치로도 RGB 영상 및 최대 640x480 깊이 정보 맵(Depth Map)을 생성해 연결된 컴퓨터에 제공할 수 있다. 이외에도 2014년 인텔은 노트북용으로 320x240 Depth 센서가 장착된 720p CREATIVE SENZ3D 웹캠을 발표하였고, 애플은 RGB 카메라와 Depth 센서를 이용한 iPad 용 3D 스캐너로 iSense를 출시하였고, 구글은 Depth 센서가 장착된 Tango 스마트폰을 발표하였다.

도 3은 웹캠 제품을 나타낸다.

도 3을 참조하면, CREATIVE SENZ3D 웹캠을 나타내고 있으며, 도 3의 (A)는 SENZ3D 웹캠제품을 나타내고, (B)는 SENZ3D 웹캠 프로토타입을 나타낸다.

도 4는 iSense 3D 스캐너 장치를 나타내고, 도 5는 구글 Tango 스마트폰을 나타낸다.

도 4의 (A)는 iSense 제품을 나타내고, (B)는 iSense를 통한 스캐닝 처리의 예를 나타낸다. 도 5의 (A)는 구글 Tango 스마트폰 제품을 나타내고, (B)는 구글 Tango 스마트폰 프로토타입을 나타낸다.

키넥트, iSense 3D 스캐너, 인텔 SENZ3D 웹캠과 같은 영상 장비 및 구글 Tango 스마트폰의 출현은 고가의 2차원 및 3차원 게임이나 영상 서비스와 같은 다양한 응용 어플리케이션을 대중적으로 즐길 수 있게 되는 계기가 되었으며, 깊이 정보 카메라 또는 센서가 부착된 비디오 장치가 대중화가 되고 있음을 보여주고 있다.

이처럼 앞으로의 비디오 시스템이 2차원 일반 영상을 위한 서비스뿐 만 아니라 일반 영상 카메라에 Depth 카메라가 결합되어 2차원과 3차원 응용 영상 서비스가 기본적으로 제공되는 형태 또는 핸드헬드(handheld) 시스템에서의 입력 보조장치의 형태로 발전할 것으로 예상된다.

일반 카메라와 Depth 카메라가 기본적으로 결합된 비디오 시스템은 3차원 비디오 코덱에서 깊이 정보를 이용하는 것뿐 아니라, 2차원 비디오 코덱에서도 깊이 정보를 이용하는 새로운 방법이라 할 수 있겠다.

또한, 깊이 정보 카메라가 포함된 카메라 시스템에서 일반 영상의 부호화는 기존 비디오 코덱을 그대로 사용하여 부호화될 수 있다. 여기서 기존의 비디오 코덱의 일예로, MPEG-1, MPEG-2, MPEG-4, H.261, H.262, H.263, H.264/AVC, MVC, SVC, HEVC, SHVC, 3D-AVC, 3D-HEVC, VC-1, VC-2, VC-3 등으로 부호화 될 수 있으며, 그외 다양한 코덱으로 부호화될 수 있다.

도 6은 HEVC 부호화 장치를 설명하기 위한 도면이다.

실제 영상과 그것의 깊이 정보 맵을 부호화하는 방법의 일예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 완료한 HEVC(High Efficiency Video Coding)를 이용하여 부호화를 수행할 수 있다. HEVC의 부호화 구조도의 일 예는 도 6과 같다. 도 6에서와 같이 HEVC에는 부호화 단위 및 구조, 화면 간(Inter) 예측, 화면 내(Intra) 예측, 보간(Interpolation), 필터링(filtering), 변환(Transform) 방법 등 다양한 새로운 알고리즘들을 포함하고 있다. 도 6은 영상 부호화 장치의 구성에 대한 일 예를 블록도로 도시한 것으로, HEVC 코덱에 따른 부호화 장치의 구성을 나타낸 것이다.

이때, 도 6의 필터부와 참조영상 버퍼 사이에는 SAO(Sample Adaptive Offset)이 구비될 수 있다. SAO는 코딩 에러를 보상하기 위해 화소값에 적정 오프셋(offset) 값을 더해줄 수 있다.

HEVC는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부에서 역양자화되고 역변환부에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다. 필터부를 거친 복원 블록은 참조 영상 버퍼에 저장된다.

도 7은 스마트 폰에서 HEVC 인코더가 적용된 영상 부호화의 예를 설명하기 위한 도면이다. 도 8은 스마트 폰에서 깊이 영상이 포함된 HEVC의 예를 설명하기 위한 도면이다.

도 7을 참조하면, HEVC 인코더가 적용된 스마트폰에서의 일반적인 형태는, 스마트폰을 통해 촬영된 영상을 HEVC 인코더를 이용해 부호화 하고, 부호화 된 영상을 가지고 서비스를 제공 받는 형태일 수 있다.

하지만 Depth 카메라가 포함된 스마트폰을 통해 영상을 촬영한다면 도 8과 같이 일반 영상(Texture)과 깊이 영상(Depth)이 독립적으로 생산되고, 깊이 정보를 이용하여 일반 영상과의 상관성을 이용하여 최적화를 통한 HEVC 인코더를 통해서 복잡도 감소를 통해 더욱 향상된 부호화 영상을 얻을 수 있다.

종래기술 특허문헌 1인 미국공개특허 제20140085416호는 깊이 맵(Depth map)으로부터 현재 블록의 객체에 대한 정보를 확인하여 블록을 병합(merge)하는 구성을 개시하고 있으나, 깊이 정보를 이용하여 어떻게 코딩 유닛을 분할하여 부호화할 것인가에 대해서는 전혀 개시하지 못하고 있다.

또한, 종래기술 특허문헌 2인 한국공개특허 제2012-0137305호 및 특허문헌 3인 한국공개특허 제2014-0048784호는 깊이 정보를 이용하는 내용을 개시하지 못하거나 CU의 분할 구조를 예측하기 위한 구성을 명확하게 제시하지 못하고 있다.

도 9는 영상의 복수의 유닛들로 분할하는 예들을 나타낸다.

고효율 비디오 코딩 방식은 부호화를 수행할 때 영상을 코딩 유닛(CU: Coding Unit, 이하 'CU')의 기본 단위인 LCU(LCU: Largest Coding Unit) 단위로 나누어 부호화를 수행한다.

여기서, CU는 기존의 비디오 코덱인 H.264/AVC에서의 기본 블록인 매크로블록(MB: Macro Block, 이하 'MB')과 유사한 역할을 하지만, 16x16의 고정 크기를 갖는 MB와 달리 CU는 가변적으로 크기를 정할 수 있다. 또한 부호화를 위해 분할된 LCU는 영상의 효율적인 부호화를 위해 다시 LCU 보다 작은 크기를 갖는 여러 CU로 분할될 수 있다.

도 9를 참조하면, 64x64 크기의 LCU는 다양한 방식으로 복수의 CU들로 분할될 수 있다.

도 9의 (A)는 분할 깊이 값이 0인 64x64 크기의 LCU를 분할 깊이 1인 32x32 크기의 CU들로 분할한 예를 나타낸다.

도 9의 (B)는 32x32 크기의 CU들 중 하나를 분할 깊이 2로 분할한 예를 나타내고, (C)는 32x32 크기의 CU들 중 두개를 분할 깊이 2로 분할한 예를 나타낸다.

도 9의 (D)는 분할깊이 3으로 분할된 CU들을 포함하는 예를 나타낸다.

따라서, LCU 또는 CU의 분할구조 후보들은 다양한 방식으로 존재할 수 있다.

LCU 분할 구조는 부호화 단위의 분할 정보이다. 위와 같이 다양한 LCU 분할 구조를 생성하여 LCU 분할 구조 후보에 저장한 뒤, 최적의 LCU 분할 구조를 결정하는 단계에서 LCU 단위로 LCU 분할 구조 후보 중 하나의 분할 구조를 최적의 LCU 분할 구조로서 선택하게 된다. 이러한 방법을 사용함으로써, LCU 단위로 영상의 특성에 맞게 적응적인 LCU 분할 구조를 기초로 부호화를 수행함으로써, 부호화 효율 및 화질 측면에서 효율적인 부호화를 수행할 수 있다는 장점이 있다.

도 10은 LCU 단위로 CU 분할 구조를 결정하는 예를 나타낸다.

HEVC의 인코더에서는 영상의 특성에 따라 LCU 내의 부호화 단위의 분할 방법을 다르게 결정할 수 있다. 즉, 최적의 LCU 분할 구조를 결정하기 위해 다양한 경우의 분할 구조를 부호화할 수 있는데 최적의 LCU 분할 구조를 결정하기 위한 방법으로 각각의 분할 깊이마다 모든 부호화 단위의 예측 모드(Intra, Inter 모드 등)를 사용하여 부호화를 수행한 뒤, 부호화되는 비트량과 화질에 따라 해당 부호화 단위의 예측 모드를 결정하는 방법을 사용할 수 있다.

예를 들어 도 9에서처럼, 깊이 0인 64x64 부호화 단위로 Intra 모드와 Inter 모드 등으로 각각 부호화를 수행한 뒤 최적의 모드를 저장해두고, 64x64 크기의 부호화 단위를 4개로 분할하여 각각의 32x32 크기의 부호화 단위로 Intra 모드와 Inter 모드 등으로 각각 부호화를 재귀적으로 수행할 수 있다. 이 때 분할된 4개의 32x32 크기의 부호화 단위는 각각 독립적으로 예측 모드가 선택될 수 있다. 또한 32x32 크기의 부호화 단위 내에서도 16x16 크기의 부호화 단위 4개로 분할하여 부호화를 수행한다. 이렇게 재귀적인 방식으로 해당 부호화 단위를 분할하여 부호화를 수행한 뒤, 비트량과 화질 측면에서 가장 효율적인 부호화 단위의 분할 구조를 결정한다.

예를 들어, 부호화한 4개의 32x32 크기의 부호화 단위의 비트량과 화질이 64x64 크기의 부호화 단위로 부호화를 한 경우보다 효율적일 경우, 해당 부호화 단위는 32x32 크기의 부호화 단위 4개로 분할된다고 결정한다. 인코더(영상 부호화기)에서 영상을 부호화할 때 LCU가 분할될 수 있는 모든 경우의 수에 대하여 최적의 부호화 단위 분포를 찾게 되는데, 이는 인코더의 계산 복잡도를 높이는 요인으로 작용한다.

효율적인 압축 성능을 위해 많은 경우의 수에 대해 부호화 효율을 판단할 수록 계산 복잡도가 증가하는 현상이 발생한다.

도 10 도시된 방법 및 종래기술에 따른 CU 분할 구조 결정 방법은, 주변 블록에 대해 객체 정보를 고려하지 않고 있다. 이는 당연한데, 2차원 영상의 경우, Depth 카메라가 없다면 2차원 영상 분석을 통하여 영상내의 객체 정보를 추출해내야 하므로, 현존하는 2차원 비디오 부호화 방법에는 객체정보를 이용하는 방법이 전혀 탑재되어 있지 않기 때문이다.

같은 이유로, HEVC 경우, 분할 구조 결정 방법에서도 객체정보를 이용하는 부호화 방법이 전혀 탑재되어 있지 않다. 하지만 Depth 카메라를 이용하여 객체정보를 고려할 수 있다면, 분할 구조 결정 방법에 있어서 해당 CU의 객체 구성 정보에 따른 상관성을 알 수 있어 효율적인 예측으로 분할 구조를 결정할 수 있다면, 부호화 복잡도를 효율적으로 감소시킨다.

이에, 깊이 정보를 분할 구조 결정 방법에 이용하는 경우 해당 CU의 객체 정보 또는 객체 영역의 구성을 판단하여 해당 영역에 대해서 효율적인 분할 구조를 예측하는 경우 부호화 복잡도를 효율적으로 감소할 수 있다.

깊이 정보로부터 유도되는 객체 정보는 깊이 값을 직접 이용하여 구하는 방법 이외에 깊이 정보 영상에 라벨링(Labeling) 알고리즘을 적용하여 간단한 객체 정보 영상으로 변환하여 구하는 방법을 들 수 있다. 도 11의 (A)는 깊이 정보 영상을 나타내고, 도 11의 (B)는 (A)에 도시된 영상에 Watersherd 라벨링 알고리즘을 적용하여 라벨링된 객체 정보 영상을 도시하고 있다.

도 12는 일반 영상의 예를 나타내는 도면이다. 도 13은 도 12의 일반 영상에 대한 깊이 정보 맵의 예를 나타내는 도면이다.

도 12와 도 13에서 도시하듯 객체 경계 영역에 해당하는 부분은 복잡한 CU 분할 구조를 가지고 있을 확률이 크며, 객체 내부 또는 배경 영역으로 판단되어지는 곳에서는 비교적 단순한 분할 구조를 가지고 있을 확률이 크다.

따라서 깊이 정보를 이용하여 현재 부호화 하는 영역에 대한 객체 정보를 얻는 경우에 있어서 현재 부호화 영역이 다수의 CU로 구성되는 복잡한 분할 구조로 결정하거나 또는 소수의 CU로 구성되는 단순한 분할 구조로 결정하는 높은 확률의 예측을 할 수 있다. 이를 통해 확률이 낮은 분할 구조 결정을 제한함으로써 연산량을 줄 일 수 있다. 본 발명에서 제안되는 방법은 분할 구조 결정에서 깊이 정보를 이용하여 확률이 높은 분할 구조를 예측하여 부호화 할 수 있다.

종래기술에 따른 2차원 비디오 코덱은, 깊이 정보 이용을 전혀 반영하지 않고 알고리즘들이 설계되어 있다. 하지만, 실제 영상과 그것의 깊이 정보 영상은 큰 상관성을 가지므로, 깊이 정보를 2차원 영상을 부호화하는 데 활용할 수 있다는 것에 착안하여 깊이 정보를 고려한 알고리즘 개발로 2차원 비디오 부호화에서의 깊이 정보 이용방법을 고려할 수 있다.

본 발명의 기본적인 원리는 2차원 비디오 코덱에서 효율적인 부호화를 위해서, 깊이 정보 카메라에서 획득한 깊이 정보를 이용하여 실제 영상을 부호화하는 데 활용하기위해 움직임 예측 방법에서의 깊이 정보를 이용하는 것이다.

예를 들어, 깊이 정보 영상을 활용하여 일반 영상의 객체들을 구분하여 부호화할 경우, 일반 영상에 대한 부호화 복잡도를 크게 감소시킬 수 있다.

여기서 객체들이란, 여러 개의 객체를 의미하여 배경 영상을 포함할 수 있으며, 블록기반 부호화 코덱에서 블록 내에는 여러 개의 객체가 존재할 수 있으며, 깊이 정보 영상으로 기반으로 해당 객채마다 각각 다른 부호화 방법들이 적용될 수 있다.

도 14를 참조하면, 영상 부호화 장치는 1410단계에서 분할 구조 후보 결정의 대상이 되는 현재 코딩 유닛을 선택한다.

1420단계에서 영상 부호화 장치는 깊이 영상으로부터 획득된 객체 정보로부터 상기 현재 CU의 객체 정보를 확인한다.

1430단계에서 영상 부호화 장치는 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하고, 상기 현재 CU가 단일 객체로 이루어지는지의 여부에 따라 상기 현재 CU의 분할 구조를 예측한다.

예를 들어, 1430 단계에서 예측된 CU의 분할 구조는 도 9에 도시된 (A), (B), (D) 일 수 있다.

도 14에 도시된 실시예에 따르면, 깊이 정보를 통해 CU의 객체 정보를 판단하여 CU의 분할구조를 예측할 수 있다. 깊이 정보를 통해서 어떤 CU가 단일 객체를 가진다고 판단이 될 때, 그 CU를 더 이상 분할하지 않는 것으로 분할 구조 후보를 결정함으로써, 부호화 복잡도를 감소할 수 있다.

따라서, 현재 CU의 분할 구조를 예측하는 1430단계는 현재 CU가 단일 객체로 이루어진 경우 현재 CU를 분할하지 않는 것으로 결정하는 과정을 포함할 수 있다.

또한, 1430단계에서 영상부호화 장치는, 현재 CU 및 현재 CU의 주변 CU가 각각 단일 객체로 이루어지고 현재 CU 및 현재 CU의 주변 CU가 동일 객체 내에 속하는 경우, 상기 현재 CU를 분할하지 않는 것으로 결정하고 분할 구조 예측을 종료할 수 도 있다.

또한, 1430단계에서 영상부호화 장치는, 상기 현재 CU 및 상기 현재 CU의 주변 CU가 각각 단일 객체로 이루어지고 상기 현재 CU 및 상기 현재 CU의 주변 CU가 동일 객체 내에 속하는 경우, 상기 주변 CU의 크기가 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고 분할 구조 예측을 종료할 수 도 있다.

또한, 1430단계에서 영상부호화 장치는, 현재 CU의 크기가 기 설정된 값 보다 작고 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU를 분할하지 않는 것으로 결정할 수 도 있다.

임의의 CU가 단일 객체로 이루어지는지 여부는, 깊이 정보 영상으로부터 획득되는 CU의 깊이 값 분포 또는 객체 정보 라벨 영상으로부터 획득되는 CU의 라벨 값 분포를 통해 결정될 수 있다.

예를 들어, CU의 라벨 값 분포가 단일 값이거나, CU의 깊이 값 분포의 최대값 및 최소값의 차가 일정한 값 이하인 경우 "CU의 객체 정보는 단일 객체이다"고 판단할 수 있다.

따라서, CU의 객체 정보는 "CU의 라벨 값 분포" 또는 "CU의 깊이 값 분포" 또는 "CU가 단일 객체로 이루어 지는 지의 여부 자체" 일 수 있다.

도 15는 LCU 단위로 최적 분할 구조를 결정하는 예를 나타낸다.

도 15를 참조하면 1510단계에서 영상 부호화 장치는, 깊이 영상으로부터 최대 코딩 유닛(LCU: Largest Coding Unit)의 객체 정보를 획득한다.

이때, 객체 정보는 깊이 영상을 라벨링 알고리즘에 의해 라벨링한 객체 정보 영상의 라벨 값일 수 있다.

1520단계에서 영상 부호화 장치는 객체 정보에 기초하여 상기 LCU의 분할 구조 후보들을 예측한다.

이때, 1520 단계는 현재 코딩 유닛의 객체 정보에 기초하여 상기 현재 코딩 유닛이 단일 객체로 이루어지는 지를 판단하는 과정, 및 상기 현재 코딩 유닛이 단일 객체로 이루어지고 현재 코딩 유닛의 크기가 기 설정된 값 보다 작으면 분할 구조 후보 예측 과정을 종료하는 과정을 포함할 수 있다.

1530단계에서 영상 부호화 장치는 코딩 효율 및 화질 정보 중 적어도 어느 하나에 기초하여 상기 LCU의 분할 구조 후보들 중 최적 분할 구조를 결정한다.

도 14 및 도 15에 도시한 실시예에 따르면, 현재 CU와 참조 CU의 깊이 정보를 통해서 현재 CU의 분할 구조 결정할 수 도 있다.

예를 들어, 32x32의 크기를 가지는 CU일 때, 만약 현재 CU가 깊이 정보를 통해 단일 객체로 구성되고 현재 CU의 상측 블록과 좌측 블록이 현재 CU와 같은 동일 객체로 판단되며, 상측 블록과 좌측 블록 CU의 크기가 32x32 이상이면 현재 CU를 더 이상 분할하지 않고 최적의 CU 분할 구조를 결정하고 종료할 수 있다.

만약 상측 블록과 좌측 블록 CU가 사용 될 수 없는 경우(예를 들어 현재 CU가 화면의 가장 자리에 위치하여 상측 또는 좌측 블록이 없는 경우), 참조 CU가 단일 객체로 구성되고 크기가 32x32 이상이면, 현재 CU를 더 이상 분할하지 않고 최적의 CU 분할 구조를 결정하고 종료할 수 있다.

또한, 16x16의 크기를 가지는 CU일 때, 현재 CU가 깊이 정보를 통해 단일 객체로 구성되었다고 판단 되면, 영상 부호화 장치는 현재 CU를 더 이상 분할하지 않고 최적의 CU 분할 구조를 결정하고 종료할 수 있다.

도 16은 도 15에 도시된 LCU 단위 분할 구조 결정 과정을 보다 상세히 나타내는 흐름도이다. 예를들어, 도 15의 1510 단계는 도 16의 1601단계 및 1605단계를 포함할 수 있다. 또한, 도 15의 1520단계는 도 16의 1610단계 내지 1630 단계, 1660단계 및 1670 단계를 포함할 수 있다.

1610단계에서 영상 부호화 장치는 CU 단위 재귀 프로세스를 시작하고, 1620단계에서 현재 분할 깊이의 CU를 부호화하고 최적의 CU 후보에 저장한다. 예를 들어 현재 분할 깊이의 CU는 도 9의 (A)일 수 있다.

1630단계에서 영상 부호화 장치는 깊이 정보를 이용한 분할 구조 조기 결정 과정을 수행한다. 이때, 분할 구조 조기 결정 과정은 도 14, 도 17 및 도 18에 도시된 분할 구조 후보 예측 과정일 수 있다.

1630단계의 분할 구조 조기 결정 과정을 통해 CU를 분할하는 것으로 결정될 수 있고, 이때 1660단계에서 도 9의 (B)와 같이 CU를 분할 깊이가 1 증가한 4개의 CU 로분할 할 수 있다.

만일, CU 단위 재귀 프로세스를 거쳐 CU 분할 구조 후보가 도 9의 (A), (B), (C)로 결정된 경우, 영상 부호화 장치는 각각의 분할 구조 후보에 대한 코딩 효율 등을 고려하여 1650단계에서 최적의 CU 분할 구조를 결정할 수 있다.

최적의 CU 분할 구조가 결정되면, 1650단계에서 CU 단위 재귀 프로세스는 종료될 수 있다.

*도 17을 참조하면, 현재 CU 부호화 및 CU 후보를 저장하는 1701 단계는 도 16의 1605단계와 동일한 단계일 수 있다.

1703단계에서 영상 부호화 장치는 현재 코딩 유닛(CU: Coding Unit)을 선택하고, 현재 CU의 크기가 32x32 이상인지를 판단한다.

현재 CU의 크기가 32x32 이상이면 1705단계를 수행하고, 그렇지 않으면 1731단계를 수행한다.

1705단계에서 현재 CU가 단일 객체로 이루어지는지를 판단하고, 단일 객체로 이루어진 경우 1707 단계를 수행하고 그렇지 않으면 1711 단계를 수행한다.

1707단계에서 현재 CU의 상측 및 좌측 CU가 사용가능하고 현재 CU와 동일 객체로 이루어지며 각각 단일 객체로 이루어지는지를 판단한다.

만일, 1707단계의 조건을 만족하면 1709단계를 수행하고, 그렇지 않으면 1721단계를 수행한다.

1709 단계에서 주변 CU인 상측 및 좌측 CU의 크기가 32x32 이상이면 현재 CU를 더 이상 분할하지 않은 것으로 결정하고, 최적의 CU 분할 구조를 결정하는 1720단계를 수행할 수 있다.

만일, 1709 단계에서 주변 CU인 상측 및 좌측 CU의 크기가 32x32 이상이 아니면 1711단계를 수행한다.

1711단계에서 현재 CU의 분할 깊이를 참조하여 분할 가능한 경우, 1713단계에서 CU를 분할하고 1715 단계 의 CU별 재귀 프로세스 호출 단계를 수행한다.

1711단계에서 현재 CU의 분할 깊이가 가장 큰 분할 깊이여서 CU를 더 이상 분할 할 수 없는 경우, 1720단계를 수행할 수 있다.

1703단계 및 1705단계를 참조하면, 일 실시예에 따른 영상 부호화 방법은 현재 CU의 크기가 기 설정된 값 이상이면, 상기 현재 CU의 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 판단하는 단계를 포함한다.

또한, 1707단계, 1709단계 및 1721단계를 참조하면, 일 실시예에 따른 영상 부호화 방법은 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU의 주변 CU의 객체 정보 또는 상기 현재 CU의 참조 CU의 객체 정보를 확인하고, 상기 주변 CU의 객체 정보 또는 상기 참조 CU의 객체 정보에 기초하여 상기 현재 CU의 분할 구조를 예측하는 단계를 포함한다.

이때, 주변 CU는 상기 현재 CU의 상측 CU 및 좌측 CU이고, 상기 현재 CU의 분할 구조를 예측하는 단계는, 상기 상측 CU 및 좌측 CU가 각각 단일 객체로 이루어지는 지를 판단하는 단계 및 상기 상측 CU 및 좌측 CU가 각각 단일 객체로 이루어지고 상기 상측 CU 및 좌측 CU의 크기가 상기 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고, 상기 상측 CU 및 좌측 CU의 크기가 상기 기 설정된 값 보다 작으면 상기 현재 CU를 한 레벨 더 분할하는 것으로 결정하는 단계를 포함할 수 있다.

1707단계에서 상측 CU 및 좌측 CU가 각각 단일 객체로 이루어지지 않은 경우, 1721단계에서 참조 CU가 단일 객체로 이루어지는 지를 판단할 수 있다.

보다 구체적으로, 1721단계에서 참조 CU가 사용가능하고 단일객체로 이루어지는 것으로 판단되는 경우, 1723단계에서 참조 CU의 크기가 32x32 이상인지를 판단할 수 있다.

1723단계에서 참조 CU의 크기가 32x32 이상인 것으로 판단되면, 현재 CU를 더 이상 분할하지 않은 것으로 결정하고, 최적의 CU 분할 구조를 결정하는 1720단계를 수행할 수 있다.

1721단계 및 1723단계를 참조하면, 일 실시예에 따른 영상 부호화 방법은 참조 CU가 단일 객체로 이루어지고 상기 참조 CU의 크기가 상기 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고, 상기 참조 CU가 단일 객체로 이루어지지 않은 경우 상기 현재 CU를 한 레벨 더 분할하는 것으로 결정하는 단계를 포함할 수 있다. 이때, CU를 한 레벨 더 분할 한다는 것은, 현재 CU를 분할 깊이가 1 증가한 4개의 CU로 분할한다는 것을 의미한다.

한편, 1703단계에서 CU의 크기가 32x32 이상이 아닌 경우, 1731단계에서 CU의 크기가 16x16인지를 판단하고, CU의 크기가 16x16이면 1733단계에서 현재 CU가 단일 객체로 이루어 지는 지를 판단한다.

1733단계에서 현재 CU가 단일 객체로 이루어지는 것으로 판단되면, 현재 CU를 더 이상 분할하지 않은 것으로 결정하고, 최적의 CU 분할 구조를 결정하는 1720단계를 수행할 수 있다.

본 발명의 일 실시예에 따르면, 동일 객체 및 단일 객체 임을 판단하는 방법으로 깊이 정보로부터 라벨링 알고리즘을 적용하여 깊이 정보 라벨 영상으로 객체 정보를 얻어오는 방법을 들 수 있으며, 객체 정보가 라벨로 표현되어 라벨이 동일 유무, 객체 구성에서 객체 영역에서의 라벨 분포를 통해 동일 객체 또는 단일 객체에 대한 판단을 할 수 있다.

따라서, 현재 CU의 객체 정보, 상기 주변 CU의 객체 정보 및 상기 참조 CU의 객체 정보는 깊이 영상을 라벨링 알고리즘에 의해 라벨링한 객체 정보 영상의 라벨 값일 수 있다.

도 18을 참조하면, 1801단계, 1820단계, 1813단계 및 1815단계는 각각 도 17의 1701단계, 1720단계, 1713단계 및 1715단계와 동일한 단계를 나타낸다.

1803단계에서 영상 부호화 장치는 현재 코딩 유닛(CU: Coding Unit)을 선택하고, 현재 CU의 크기가 32x32 이상인지를 판단한다.

현재 CU의 크기가 32x32 이상이면 1805단계를 수행하고, 그렇지 않으면 1831단계를 수행한다.

1805단계에서 현재 CU가 단일 라벨로 이루어지는지를 판단하고, 단일 라벨로 이루어진 경우 1807 단계를 수행하고 그렇지 않으면 1811 단계를 수행한다.

이때, 단일 라벨인지의 여부는 CU에 포함되는 라벨값이 모두 동일한 값이거나, 최대값 및 최소값의 차가 기 설정된 범위 내인 경우로 설정할 수 있다.

1807단계에서 현재 CU의 상측 및 좌측 CU가 사용가능하고 현재 CU와 동일 라벨로 이루어지며 각각 단일 라벨로 이루어지는지를 판단한다.

만일, 1807단계의 조건을 만족하면 1809단계를 수행하고, 그렇지 않으면 1821단계를 수행한다.

1809 단계에서 주변 CU인 상측 및 좌측 CU의 크기가 32x32 이상이면 현재 CU를 더 이상 분할하지 않은 것으로 결정하고, 최적의 CU 분할 구조를 결정하는 1820단계를 수행할 수 있다.

만일, 1809 단계에서 주변 CU인 상측 및 좌측 CU의 크기가 32x32 이상이 아니면 1811단계를 수행한다.

1811단계에서 현재 CU의 분할 깊이를 참조하여 분할 가능한 경우, 1813단계에서 CU를 분할하고 1815 단계 의 CU별 재귀 프로세스 호출 단계를 수행한다.

1811단계에서 현재 CU의 분할 깊이가 가장 큰 분할 깊이여서 CU를 더 이상 분할 할 수 없는 경우, 1820단계를 수행할 수 있다.

1803단계 및 1805단계를 참조하면, 일 실시예에 따른 영상 부호화 방법은 현재 CU의 크기가 기 설정된 값 이상이면, 상기 현재 CU의 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 판단하는 단계를 포함한다.

또한, 1807단계, 1809단계 및 1821단계를 참조하면, 일 실시예에 따른 영상 부호화 방법은 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU의 주변 CU의 객체 정보 또는 상기 현재 CU의 참조 CU의 객체 정보를 확인하고, 상기 주변 CU의 객체 정보 또는 상기 참조 CU의 객체 정보에 기초하여 상기 현재 CU의 분할 구조를 예측하는 단계를 포함한다.

1807단계에서 상측 CU 및 좌측 CU가 각각 단일 라벨로 이루어지지 않은 경우, 1821단계에서 참조 CU가 단일 라벨로 이루어지는 지를 판단할 수 있다.

*보다 구체적으로, 1821단계에서 참조 CU가 사용가능하고 단일라벨로 이루어지는 것으로 판단되는 경우, 1823단계에서 참조 CU의 크기가 32x32 이상인지를 판단할 수 있다.

1823단계에서 참조 CU의 크기가 32x32 이상인 것으로 판단되면, 현재 CU를 더 이상 분할하지 않은 것으로 결정하고, 최적의 CU 분할 구조를 결정하는 1820단계를 수행할 수 있다.

1821단계 및 1823단계를 참조하면, 일 실시예에 따른 영상 부호화 방법은 참조 CU가 단일 객체로 이루어지고 상기 참조 CU의 크기가 상기 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고, 상기 참조 CU가 단일 객체로 이루어지지 않은 경우 상기 현재 CU를 한 레벨 더 분할하는 것으로 결정하는 단계를 포함할 수 있다. 이때, CU를 한 레벨 더 분할 한다는 것은, 현재 CU를 분할 깊이가 1 증가한 4개의 CU로 분할한다는 것을 의미한다.

한편, 1803단계에서 CU의 크기가 32x32 이상이 아닌 경우, 1831단계에서 CU의 크기가 16x16인지를 판단하고, CU의 크기가 16x16이면 1833단계에서 현재 CU가 단일 라벨로 이루어 지는 지를 판단한다.

1833단계에서 현재 CU가 단일 라벨로 이루어지는 것으로 판단되면, 현재 CU를 더 이상 분할하지 않은 것으로 결정하고, 최적의 CU 분할 구조를 결정하는 1820단계를 수행할 수 있다.

도 19를 참조하면, 영상 부호화 장치(1900)는 객체정보 확인부(1910), 분할 구조 예측부(1920) 및 최적 분할 구조 결정부(1930)를 포함할 수 있다. 또한, 영상 부호화 장치(1900)는 깊이 정보 영상을 라벨링 알고리즘에 의해 라벨링한 객체 정보 영상의 라벨 값을 획득하는 객체 정보 생성부를 더 포함할 수 있다.

객체정보 확인부(1910)는 깊이 영상으로부터 획득된 객체 정보로부터 현재 코딩 유닛(CU: Coding Unit)의 객체 정보를 추출하고, 이를 확인할 수 있다.

또한, 객체정보 확인부(1910)는 현재 코딩 유닛(CU: Coding Unit)의 크기를 확인하고 상기 현재 CU의 크기가 기 설정된 값 이상이면, 깊이 영상으로부터 획득된 상기 현재 CU의 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인할 수 있다.

또한, 객체정보 확인부(1910)는 깊이 영상으로부터 최대 코딩 유닛(LCU: Largest Coding Unit)의 객체 정보를 추출하고 이를 확인할 수 있다.

분할 구조 예측부(1920)는 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하고, 상기 현재 CU가 단일 객체로 이루어지는지의 여부에 따라 상기 현재 CU의 분할 구조를 예측할 수 있다.

이때, 분할 구조 예측부(1920)는 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU를 분할하지 않는 것으로 결정할 수 있다.

이때, 분할 구조 예측부(1920)는 상기 현재 CU 및 상기 현재 CU의 주변 CU가 각각 단일 객체로 이루어지고 상기 현재 CU 및 상기 현재 CU의 주변 CU가 동일 객체 내에 속하는 경우, 상기 현재 CU를 분할하지 않는 것으로 결정하고 분할 구조 예측을 종료할 수 있다.

또한, 분할 구조 예측부(1920)는 상기 현재 CU 및 상기 현재 CU의 주변 CU가 각각 단일 객체로 이루어지고 상기 현재 CU 및 상기 현재 CU의 주변 CU가 동일 객체 내에 속하는 경우, 상기 주변 CU의 크기가 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고 분할 구조 예측을 종료할 수 있다.

또한, 분할 구조 예측부(1920)는 상기 현재 CU의 크기가 기 설정된 값 보다 작고 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU를 분할하지 않는 것으로 결정할 수 있다.

또한, 분할 구조 예측부(1920)는 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU의 주변 CU의 객체 정보 또는 상기 현재 CU의 참조 CU의 객체 정보를 확인하고, 상기 주변 CU의 객체 정보 또는 상기 참조 CU의 객체 정보에 기초하여 상기 현재 CU의 분할 구조를 예측할 수 있다.

또한, 분할 구조 예측부(1920)는 객체 정보에 기초하여 상기 LCU의 분할 구조 후보들을 예측할 수 있다.

최적 분할 구조 결정부(1930)는 코딩 효율 및 화질 정보 중 적어도 어느 하나에 기초하여 상기 LCU의 분할 구조 후보들 중 최적 분할 구조를 결정한다.

[표 1]은 도 18에 도시된 실시예를 HEVC에 적용한 실험 결과를 나타낸다.

실험 결과를 통하여 주관적 화질에서의 동일한 품질로 영상 품질의 큰 열화 없이 부호화 복잡도가 감소됨을 확인할 수 있다.

[표 1]

[규칙 제91조에 의한 정정 08.05.2015]　

본 발명의 실시예들에 있어서, 대상 범위 또는 적용 범위는 블록 크기 혹은 CU의 분할 깊이 등에 따라 가변될 수 있다.

이때, 적용 범위를 결정하는 변수(즉, 크기 혹은 깊이 정보)는 부호화기 및 복호화기가 미리 정해진 값을 사용하도록 설정할 수도 있고, 프로파일 또는 레벨에 따라 정해진 값을 사용하도록 할 수 도 있고, 부호화기가 변수 값을 비트스트림에 기재하면 복호화기는 비트스트림으로부터 이 값을 구하여 사용할 수도 있다. CU 분할 깊이에 따라 적용 범위를 달리하는 할 때는 [표 2]에 예시한 바와 같다. 방식A는 미리 설정된 깊이값 이상의 깊이에만 적용하는 방식일 수 있으며, 방식B는 미리 설정된 깊이값 이하에만 적용하는 방식일 수 있고, 방식C는 미리 설정된 깊이값에만 적용하는 방식이 있을 수 있다.

[표 2]

[표 2]는 주어진 CU 분할 깊이가 2인 경우, 본 발명의 방법들을 적용하는 적용 범위 결정 방식의 예를 나타낸다. (O: 해당 깊이에 적용, X: 해당 깊이에 적용하지 않음.)

모든 깊이에 대하여 본 발명의 방법들을 적용하지 않는 경우는 임의의 지시자(flag)를 사용하여 비트스트림에 나타낼 수도 있고, CU 깊이의 최대값보다 하나 더 큰 값을 적용범위를 나타내는 CU 깊이 값으로 시그널링 함으로써 표현할 수도 있다.

또한 상술한 각 방법들은 휘도 블록의 크기에 따라 색차 블록에 다르게 적용될 수 있으며, 휘도 신호영상 및 색차 영상에도 다르게 적용될 수 있다.

[표 3]은 각 방법을 조합하는 경우, 휘도 블록의 크기 및 색차 블록에 따라 다르게 적용되는 예를 나타낸다.

[표 3]

[규칙 제91조에 의한 정정 08.05.2015]　

[표 3]의 변형된 방법들 중에서 방법 사 1 을 살펴보면, 휘도블록의 크기가 8(8x8, 8x4, 2x8 등)인 경우이고, 그리고 색차 블록의 크기가 4(4x4, 4x2, 2x4)인 경우에 본 발명의 실시 예에 따른 머지 리스트 구성 방법을 휘도 신호 및 색차 신호에 적용할 수 있다.

위의 변형된 방법들 중에서 방법 파 2 을 살펴보면, 휘도블록의 크기가 16(16x16, 8x16, 4x16 등)인 경우이고, 그리고 색차 블록의 크기가 4(4x4, 4x2, 2x4)인 경우에 본 발명의 실시 예에 따른 머지 리스트 구성 방법을 휘도 신호에 적용하고 색차 신호에는 적용하지 않을 수 있다.

또 다른 변형된 방법들로 휘도 신호에만 본 발명의 실시 예에 따른 머지 리스트 구성 방법이 적용되고 색차 신호에는 적용되지 않을 수 있다. 반대로 색차 신호에만 본 발명의 실시 예에 따른 머지 리스트 구성 방법이 적용되고 휘도 신호에는 적용되지 않을 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

현재 코딩 유닛(CU: Coding Unit)을 선택하는 단계;

깊이 영상으로부터 획득된 객체 정보로부터 상기 현재 CU의 객체 정보를 확인하는 단계; 및

상기 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하고, 상기 현재 CU가 단일 객체로 이루어지는지의 여부에 따라 상기 현재 CU의 분할 구조를 예측하는 단계

를 포함하는 깊이 정보를 이용한 영상 부호화 방법.
제1항에 있어서,

상기 현재 CU의 분할 구조를 예측하는 단계는,

상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU를 분할하지 않는 것으로 결정하는 과정을 포함하는

깊이 정보를 이용한 영상 부호화 방법.
제1항에 있어서,

상기 현재 CU의 분할 구조를 예측하는 단계는,

상기 현재 CU 및 상기 현재 CU의 주변 CU가 각각 단일 객체로 이루어지고 상기 현재 CU 및 상기 현재 CU의 주변 CU가 동일 객체 내에 속하는 경우, 상기 현재 CU를 분할하지 않는 것으로 결정하고 분할 구조 예측을 종료하는 과정을 포함 하는

깊이 정보를 이용한 영상 부호화 방법.
제1항에 있어서,

상기 현재 CU의 분할 구조를 예측하는 단계는,

상기 현재 CU 및 상기 현재 CU의 주변 CU가 각각 단일 객체로 이루어지고 상기 현재 CU 및 상기 현재 CU의 주변 CU가 동일 객체 내에 속하는 경우, 상기 주변 CU의 크기가 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고 분할 구조 예측을 종료하는 과정을 포함 하는

깊이 정보를 이용한 영상 부호화 방법.
제1항에 있어서,

상기 현재 CU의 분할 구조를 예측하는 단계는,

상기 현재 CU의 크기가 기 설정된 값 보다 작고 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU를 분할하지 않는 것으로 결정하는 과정을 포함하는

깊이 정보를 이용한 영상 부호화 방법.
현재 코딩 유닛(CU: Coding Unit)을 선택하는 단계;

상기 현재 CU의 크기가 기 설정된 값 이상이면, 상기 현재 CU의 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 판단하는 단계; 및

상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU의 주변 CU의 객체 정보 또는 상기 현재 CU의 참조 CU의 객체 정보를 확인하고, 상기 주변 CU의 객체 정보 또는 상기 참조 CU의 객체 정보에 기초하여 상기 현재 CU의 분할 구조를 예측하는 단계

를 포함하는 깊이 정보를 이용한 영상 부호화 방법.
제6항에 있어서,

상기 주변 CU는 상기 현재 CU의 상측 CU 및 좌측 CU이고, 상기 현재 CU의 분할 구조를 예측하는 단계는,

상기 상측 CU 및 좌측 CU가 각각 단일 객체로 이루어지는 지를 판단하는 단계;

상기 상측 CU 및 좌측 CU가 각각 단일 객체로 이루어지고 상기 상측 CU 및 좌측 CU의 크기가 상기 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고, 상기 상측 CU 및 좌측 CU의 크기가 상기 기 설정된 값 보다 작으면 상기 현재 CU를 한 레벨 더 분할하는 것으로 결정하는 단계

를 포함하는 깊이 정보를 이용한 영상 부호화 방법.
제7항에 있어서,

상기 현재 CU의 분할 구조를 예측하는 단계는,

상기 상측 CU 및 좌측 CU가 각각 단일 객체로 이루어지지 않은 경우, 상기 참조 CU가 단일 객체로 이루어지는 지를 판단하는 단계; 및

상기 참조 CU가 단일 객체로 이루어지고 상기 참조 CU의 크기가 상기 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고, 상기 참조 CU가 단일 객체로 이루어지지 않은 경우 상기 현재 CU를 한 레벨 더 분할하는 것으로 결정하는 단계

를 포함하는 깊이 정보를 이용한 영상 부호화 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,

상기 객체 정보는 깊이 영상을 라벨링 알고리즘에 의해 라벨링한 객체 정보 영상의 라벨 값임을 특징으로 하는

깊이 정보를 이용한 영상 부호화 방법.
제6항 내지 제8항 중 어느 한 항에 있어서,

상기 현재 CU의 객체 정보, 상기 주변 CU의 객체 정보 및 상기 참조 CU의 객체 정보는 깊이 영상을 라벨링 알고리즘에 의해 라벨링한 객체 정보 영상의 라벨 값임을 특징으로 하는

깊이 정보를 이용한 영상 부호화 방법.
깊이 영상으로부터 최대 코딩 유닛(LCU: Largest Coding Unit)의 객체 정보를 획득하는 단계;

상기 객체 정보에 기초하여 상기 LCU의 분할 구조 후보들을 예측하는 단계; 및

코딩 효율 및 화질 정보 중 적어도 어느 하나에 기초하여 상기 LCU의 분할 구조 후보들 중 최적 분할 구조를 결정하는 단계

를 포함하는 깊이 정보를 이용한 영상 부호화 방법.
제12항에 있어서,

상기 객체 정보는 깊이 영상을 라벨링 알고리즘에 의해 라벨링한 객체 정보 영상의 라벨 값임을 특징으로 하는

깊이 정보를 이용한 영상 부호화 방법.
제11항에 있어서,

상기 LCU의 분할 구조 후보들을 예측하는 단계는,

현재 코딩 유닛의 객체 정보에 기초하여 상기 현재 코딩 유닛이 단일 객체로 이루어지는 지를 판단하는 단계; 및

상기 현재 코딩 유닛이 단일 객체로 이루어지고, 현재 코딩 유닛의 크기가 기 설정된 값 보다 작으면 분할 구조 후보 예측 과정을 종료하는 단계

를 포함하는 깊이 정보를 이용한 영상 부호화 방법.
깊이 영상으로부터 획득된 객체 정보로부터 현재 코딩 유닛(CU: Coding Unit)의 객체 정보를 확인하는 객체정보 확인부; 및

상기 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하고, 상기 현재 CU가 단일 객체로 이루어지는지의 여부에 따라 상기 현재 CU의 분할 구조를 예측하는 분할구조 예측부

를 포함하는 깊이 정보를 이용한 영상 부호화 장치.
제14항에 있어서,

상기 분할구조 예측부는 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU를 분할하지 않는 것으로 결정하는

깊이 정보를 이용한 영상 부호화 장치.
제14항에 있어서,

상기 분할구조 예측부는 상기 현재 CU 및 상기 현재 CU의 주변 CU가 각각 단일 객체로 이루어지고 상기 현재 CU 및 상기 현재 CU의 주변 CU가 동일 객체 내에 속하는 경우, 상기 현재 CU를 분할하지 않는 것으로 결정하고 분할 구조 예측을 종료하는

깊이 정보를 이용한 영상 부호화 장치.
제14항에 있어서,

상기 분할구조 예측부는 상기 현재 CU 및 상기 현재 CU의 주변 CU가 각각 단일 객체로 이루어지고 상기 현재 CU 및 상기 현재 CU의 주변 CU가 동일 객체 내에 속하는 경우, 상기 주변 CU의 크기가 기 설정된 값 이상이면 상기 현재 CU를 분할하지 않는 것으로 결정하고 분할 구조 예측을 종료하는

깊이 정보를 이용한 영상 부호화 장치.
제14항에 있어서,

상기 분할구조 예측부는 상기 현재 CU의 크기가 기 설정된 값 보다 작고 상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU를 분할하지 않는 것으로 결정하는

깊이 정보를 이용한 영상 부호화 장치.
현재 코딩 유닛(CU: Coding Unit)의 크기를 확인하고 상기 현재 CU의 크기가 기 설정된 값 이상이면, 깊이 영상으로부터 획득된 상기 현재 CU의 객체 정보에 기초하여 상기 현재 CU가 단일 객체로 이루어지는 지를 확인하는 객체정보 확인부; 및

상기 현재 CU가 단일 객체로 이루어진 경우 상기 현재 CU의 주변 CU의 객체 정보 또는 상기 현재 CU의 참조 CU의 객체 정보를 확인하고, 상기 주변 CU의 객체 정보 또는 상기 참조 CU의 객체 정보에 기초하여 상기 현재 CU의 분할 구조를 예측하는 분할구조 예측부

를 포함하는 깊이 정보를 이용한 영상 부호화 장치.
깊이 영상으로부터 최대 코딩 유닛(LCU: Largest Coding Unit)의 객체 정보를 확인하는 객체 정보 확인부;

상기 객체 정보에 기초하여 상기 LCU의 분할 구조 후보들을 예측하는 분할구조 예측부; 및

코딩 효율 및 화질 정보 중 적어도 어느 하나에 기초하여 상기 LCU의 분할 구조 후보들 중 최적 분할 구조를 결정하는 최적 분할구조 결정부

를 포함하는 깊이 정보를 이용한 영상 부호화 장치.