KR102232250B1 - 깊이 정보를 이용한 영상 부보화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 - Google Patents
깊이 정보를 이용한 영상 부보화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 Download PDFInfo
- Publication number
- KR102232250B1 KR102232250B1 KR1020157008820A KR20157008820A KR102232250B1 KR 102232250 B1 KR102232250 B1 KR 102232250B1 KR 1020157008820 A KR1020157008820 A KR 1020157008820A KR 20157008820 A KR20157008820 A KR 20157008820A KR 102232250 B1 KR102232250 B1 KR 102232250B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- encoded data
- depth
- decoding
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명의 실시 예에 따른 영상의 복호화 방법은 부호화된 데이터를 수신하는 단계; 상기 부호화된 데이터로부터 깊이 정보를 추출하는 단계; 상기 깊이 정보를 이용하여 상기 부호화된 데이터를 복호화하는 단계; 및 상기 깊이 정보를 이용하여 복호화된 데이터로부터 2차원 일반 영상을 획득하는 단계를 포함한다.
Description
본 발명은 깊이 정보를 이용하여 영상을 효율적으로 부호화/복호화하는 방법과, 그를 이용한 부호화/복호화 장치 및 영상 시스템에 관한 것이다.
깊이 정보 영상은 3차원 비디오 부호화에서 널리 활용되고 있으며, 키넥트(Kinect) 카메라 등과 같은 새로운 입력장치들에 구비된 깊이 정보 카메라는 여러 다양한 3D 응용 어플리케이션에서 활용될 수 있다.
한편, 상기한 바와 같은 3D 응용 어플리케이션은 더욱 다양한 2D/3D 응용 서비스를 통해 대중화될 수 있으며, 그에 따라 향후 멀티미디어 카메라 시스템에 깊이 정보 카메라가 포함되어 다양한 정보의 활용이 가능하다.
본 발명은 깊이 정보를 이용하여 부호화 효율을 증가시키고 복잡도를 감소시킬 수 있는 영상 부호화 및 복호화 방법, 그를 이용한 부호화/복호화 장치 및 영상 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 과제를 실현하기 위한 본 발명의 실시 예에 따른 영상 복호화 방법은 부호화된 데이터를 수신하는 단계; 상기 부호화된 데이터로부터 깊이 정보를 추출하는 단계; 상기 깊이 정보를 이용하여 상기 부호화된 데이터를 복호화하는 단계; 및 상기 깊이 정보를 이용하여 복호화된 데이터로부터 2차원 일반 영상을 획득하는 단계를 포함한다.
상기와 같은 과제를 실현하기 위한 본 발명의 실시 예에 따른 영상 복호화 방법은 부호화된 데이터를 수신하는 단계; 상기 부호화된 데이터의 헤더로부터 영상 내 객체들을 깊이 정보에 따라 소정 단위로 구분하기 위한 객체 정보를 획득하는 단계; 상기 획득된 객체 정보를 이용하여 상기 부호화된 데이터를 복호화하는 단계; 및 상기 깊이 정보를 이용하여 복호화된 데이터로부터 2차원 일반 영상을 획득하는 단계를 포함한다.
상기와 같은 과제를 실현하기 위한 본 발명의 실시 예에 따른 영상 복호화 방법은 부호화된 데이터를 수신하는 단계; 상기 부호화된 데이터에 포함된 네트워크 추상화 레이어 유닛의 타입을 식별하기 위한 타입 정보를 파싱하는 단계; 상기 파싱된 타입 정보가 객체 맵과 연관된 경우, 상기 부호화된 데이터로부터 객체 맵을 획득하는 단계; 및 상기 획득된 객체 맵을 이용하여 상기 부호화된 데이터로부터 영상 비트스트림을 복호화하는 단계를 포함한다.
본 발명의 실시예에 따르면, 깊이 정보 카메라에서 획득한 깊이 정보 영상을 이용해 2D 영상을 부호화 및 복호화 함으로써, 2D 영상에 대한 부호화 효율을 향상시킬 수 있다.
도 1은 실제 영상과 깊이 정보 맵 영상에 대한 일 예를 나타내는 도면이다.
도 2는 3차원 비디오 시스템의 기본 구조와 데이터 형식을 나타낸다.
도 3은 키넥트 입력 장치를 나타내며, (a) 키넥트, (b) 키넥트를 통한 깊이 정보 처리를 나타낸다.
도 4는 깊이 정보 카메라가 부착된 카메라 시스템의 일 예를 보여준다.
도 5는 깊이 정보 카메라가 존재하는 비디오 시스템에서 비디오 부호화기 구조도의 일예를 나타낸다.
도 6a는 깊이 정보 카메라가 존재하는 비디오 시스템에서 비디오 복호화기 구조도의 일예를 나타낸다.
도 6b는 본 발명의 실시 예에 따른 각각의 경우에 대한 부호화/복호화 방법을 나타낸다.
도 6c는 본 발명의 다른 실시 예에 따른 각각의 경우에 대한 부호화/복호화 방법을 나타낸다.
도 6d는 본 발명의 또 다른 실시 예에 따른 각각의 경우에 대한 부호화/복호화 방법을 나타낸다.
도 7a는 본 발명의 실시 예에 따라 움직이는 객체와 배경에 대한 객체 맵이 하나의 영상에 모두 표현되는 경우와 서로 분리되어 표현되는 경우를 나타낸다.
도 7b는 본 발명의 다른 실시 예에 따라 움직이는 객체와 배경에 대한 객체 맵이 하나의 영상에 모두 표현되는 경우와 서로 분리되어 표현되는 경우를 나타낸다.
도 7c는 본 발명의 실시 예에 따라 소정 단위로 객체들을 구분하기 위한 객체 정보를 나타낸다.
도 7d는 본 발명의 다른 실시 예에 따라 소정 단위로 객체들을 구분하기 위한 객체 정보를 나타낸다.
도 7e는 본 발명의 또 다른 실시 예에 따라 소정 단위로 객체들을 구분하기 위한 객체 정보를 나타낸다.
도 7f는 본 발명의 또 다른 실시 예에 따라 소정 단위로 객체들을 구분하기 위한 객체 정보를 나타낸다.
도 8은 영상 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 일 예이다.
도 9는 영상 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 또 다른 일예이다.
도 10은 블록 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 일예이다.
도 11은 블록 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 또 다른 일예이다.
도 12는 기하학적 형태의 블록 단위로 부호화하는 방법의 일 예이다.
도 13은 기하학적 형태로 부호화된 결과의 일예이다.
도 2는 3차원 비디오 시스템의 기본 구조와 데이터 형식을 나타낸다.
도 3은 키넥트 입력 장치를 나타내며, (a) 키넥트, (b) 키넥트를 통한 깊이 정보 처리를 나타낸다.
도 4는 깊이 정보 카메라가 부착된 카메라 시스템의 일 예를 보여준다.
도 5는 깊이 정보 카메라가 존재하는 비디오 시스템에서 비디오 부호화기 구조도의 일예를 나타낸다.
도 6a는 깊이 정보 카메라가 존재하는 비디오 시스템에서 비디오 복호화기 구조도의 일예를 나타낸다.
도 6b는 본 발명의 실시 예에 따른 각각의 경우에 대한 부호화/복호화 방법을 나타낸다.
도 6c는 본 발명의 다른 실시 예에 따른 각각의 경우에 대한 부호화/복호화 방법을 나타낸다.
도 6d는 본 발명의 또 다른 실시 예에 따른 각각의 경우에 대한 부호화/복호화 방법을 나타낸다.
도 7a는 본 발명의 실시 예에 따라 움직이는 객체와 배경에 대한 객체 맵이 하나의 영상에 모두 표현되는 경우와 서로 분리되어 표현되는 경우를 나타낸다.
도 7b는 본 발명의 다른 실시 예에 따라 움직이는 객체와 배경에 대한 객체 맵이 하나의 영상에 모두 표현되는 경우와 서로 분리되어 표현되는 경우를 나타낸다.
도 7c는 본 발명의 실시 예에 따라 소정 단위로 객체들을 구분하기 위한 객체 정보를 나타낸다.
도 7d는 본 발명의 다른 실시 예에 따라 소정 단위로 객체들을 구분하기 위한 객체 정보를 나타낸다.
도 7e는 본 발명의 또 다른 실시 예에 따라 소정 단위로 객체들을 구분하기 위한 객체 정보를 나타낸다.
도 7f는 본 발명의 또 다른 실시 예에 따라 소정 단위로 객체들을 구분하기 위한 객체 정보를 나타낸다.
도 8은 영상 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 일 예이다.
도 9는 영상 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 또 다른 일예이다.
도 10은 블록 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 일예이다.
도 11은 블록 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 또 다른 일예이다.
도 12는 기하학적 형태의 블록 단위로 부호화하는 방법의 일 예이다.
도 13은 기하학적 형태로 부호화된 결과의 일예이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
깊이 정보(Depth Information)는 카메라와 실제 사물간의 거리를 나타내는 정보로 도 1에 일반 영상과 그것의 깊이 정보 영상을 도시하였다. 도 1은 balloons영상의 실제 영상과 깊이 정보 맵 영상을 나타낸다. (a) 실제 영상, (b) 깊이 정보 맵이다.
이러한 깊이 정보 영상은 주로 3차원 가상 시점 영상을 생성하는데 활용되며, 실제 이와 관련된 연구로 ISO/IEC의 MPEG(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)에서 3차원 비디오 표준화가 현재 진행 중에 있다.
3차원 비디오 표준은 일반 영상과 그것의 깊이 정보 영상을 이용하여 스테레오스코픽 영상뿐만 아니라 오토스테레오스코픽 영상의 재생등을 지원할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.
3차원 비디오 표준에서 사용 중인 깊이 정보 영상은 일반 영상과 함께 부호화되어 비트스트림으로 단말에 전송된다. 단말에서는 비트스트림을 복호화하여 복원된 N시점의 일반 영상과 그것의(동일시점의) 깊이 정보 영상을 출력한다. 이때 N시점의 깊이 정보 영상은 깊이 정보 영상 기반 렌더링(DIBR; Depth-Image-Based Rendering) 방법을 통해 무한개의 가상시점 영상들을 생성하는데 이용된다. 이렇게 생성된 무한개의 가상시점 영상들은 다양한 입체 디스플레이 장치에 맞게 재생되어 사용자에게 입체감이 있는 영상을 제공하게 된다.
2010년 11월 마이크로소프트는 XBOX-360 게임 디바이스의 새로운 입력장치로 키넥트(Kinect) 센서를 출시하였는데, 이 장치는 사람의 동작을 인지하여 컴퓨터 시스템에 연결하는 장치로 도 3에서 보듯 RGB 카메라뿐 아니라 3D Depth 센서를 포함하여 이루어져 있다. 또한, 키넥트는 영상 장치로도 RGB 영상 및 최대 640x480 깊이 정보 맵(Depth Map)을 생성해 연결된 컴퓨터에 제공할 수 있다.
도 3은 키넥트 입력 장치를 나타낸다. (a) 키넥트, (b) 키넥트를 통한 깊이 정보 처리이다.
키넥트와 같은 영상 장비의 출현은 고가의 3차원 비디오 시스템보다 낮은 가격으로 2차원 및 3차원 게임이나 영상 서비스와 같은 다양한 응용 어플리케이션을 즐길 수 있게 되는 계기가 되었으며, 이로써 깊이 정보 카메라가 부착된 비디오 장치가 대중화가 될 것으로 예상된다.
도 4는 깊이 정보 카메라가 부착된 카메라 시스템의 일 예를 나타낸다.
도 4은 깊이 정보 카메라가 부착된 카메라 시스템의 일 예를 나타낸다. 도 4 (가)는 1개의 일반 영상 카메라와 2개의 깊이 정보 영상 카메라로 구성된 카메라이고, 도 4 (나)는 2개의 일반 영상 카메라와 1개의 깊이 정보 영상 카메라로 구성된 카메라이다.
이처럼 앞으로의 비디오 시스템이 2차원 일반 영상을 위한 서비스뿐 만 아니라 일반 영상 카메라에 Depth 카메라가 결합되어 2차원과 3차원 실감 영상 서비스가 기본적으로 제공되는 형태로 발전할 것으로 예상된다. 즉, 이러한 시스템 하에서 사용자는 3차원 실감 영상 서비스와 2차원 고화질 영상 서비스를 동시에 제공 받을 수 있는 형태가 될 것이다.
실시 일예로, 사용자는 2차원 고화질 서비스를 이용하다가 3차원 실감 서비스로 변경하여 서비스를 이용할 수 있다. 반대로, 사용자는 실감형 3차원 서비스를 이용하다가 2차원 고화질 서비스로 변경하여 서비스를 이용할 수 있다(스마트기기에 2D/3D 변환 기술 및 장치의 기본 탑재).
일반 카메라와 Depth 카메라가 기본적으로 결합된 비디오 시스템은 3차원 비디오 코덱에서 깊이 정보를 이용하는 것뿐 아니라, 역발상으로서 2차원 비디오 코덱에서도 3차원 깊이 정보를 이용 할 수 있겠다.
현재의 2차원 비디오 코덱에서는 깊이 정보 이용을 전혀 반영하지 않고 알고리즘들이 설계되어 있다. 하지만, 미래의 비디오 시스템에 이미 장착된 깊이 정보 카메라를 통해 획득한 깊이 정보 영상을 이용하여 3차원 영상뿐만 아니라 2차원 고화질 영상을 부호화하는 데 활용할 수 있다는 것에 착안하여 해당 부호화 방법의 컨셉을 제안한다.
깊이 정보 카메라가 포함된 카메라 시스템에서 일반 영상의 부호화는 기존 비디오 코덱을 그대로 사용하여 부호화될 수 있다. 여기서 기존의 비디오 코덱의 일예로, MPEG-1, MPEG-2, MPEG-4, H.261, H.262, H.263, H.264/AVC, MVC, SVC, HEVC, SHVC, 3D-AVC, 3D-HEVC, VC-1, VC-2, VC-3 등으로 부호화 될 수 있으며, 그외 다양한 코덱으로 부호화될 수 있다.
실시예 1. 깊이 정보를 이용한 영상 코딩
본 발명의 기본 컨셉은, 일반 2D 영상에 대한 부호화 효율을 극대화시키기 위해서, 깊이 정보 카메라에서 획득한 깊이 정보 영상을 활용하여 2D 일반 영상을 부호화하는 데 활용하자는데 있다.
일 실시 예로, 깊이 정보 영상을 활용하여 일반 영상의 객체들을 구분하여 부호화할 경우, 일반 영상에 대한 부호화 효율을 크게 증가시킬 수 있다. 여기서 객체들이란, 여러 개의 객체를 의미하여 배경 영상을 포함할 수 있으며, 블록기반 부호화 코덱에서 블록 내에는 여러 개의 객체가 존재할 수 있으며, 깊이 정보 영상을 기반으로 해당 객채마다 각각 다른 부호화 방법들이 적용될 수 있다. 이때 2D 일반 영상의 객체들을 구분하기 위한 정보(예를 들어, 플래그 정보: Depth 영상 픽셀정보는 아님)들이 2D 영상을 코딩하여 전송하는 비트스트림에 포함될 수 있다.
도 5는 깊이 정보 카메라가 존재하는 비디오 시스템에서 비디오 부호화기 구조도의 일예를 나타낸다. 도 5의 비디오 부호화기에서 2차원 일반 영상은 깊이 정보 영상을 사용하여 부호화된다. 이때 깊이 정보 영상은 객체 맵 형태로 변형되어 2차원 일반 영상의 부호화에 활용된다.
깊이 정보 영상을 객체 맵 형태로 변형하는 방법은 임계값 기법, 에지 검출 기법, 영역 성장법, 텍스처 특징 값을 이용하는 기법 등 여러 가지 방법들을 사용할 수 있다.
실시 일 예로, 임계치에 의한 영상분할 방법인 임계값 기법은 주어진 영상에 대하여 히스토그램(histogram)을 만들고 임계치를 결정하여 영상을 물체와 배경으로 분리하는 방법으로, 하나의 임계값을 제시함에 있어서는 좋은 성능을 보일 수 있고, 다수의 임계값을 결정하는데 있어서는 좋은 성능을 보이지 못할 수 있다.
또 다른 실시 일 예로, 에지 검출은 영상에서 그레이 레벨이 불연속인 픽셀을 찾는 것을 말할 수 있다. 이 방법은 에지 검출 기법을 먼저 계산된 결과가 다음 계산에 영향을 미치는 순차적인 방법과, 픽셀의 에지 여부가 자신과 이웃한 픽셀에만 영향을 받아 병렬적으로 계산할 수 있는 병렬적인 방법으로 나뉜다. 이러한 에지 검출 기법의 연산자들은 상당히 많이 존재하는데, 그 중 범용적으로 가장 많이 사용되고 있는 연산자는 1차 미분한 가우시안 함수를 주로 사용하는 에지 연산자이다.
또 다른 실시 일 예로, 영역 성장법은 화소 간의 유사도를 측정하여 영역을 확장해 분할하는 방법이다. 일반적으로 영역 성장법은 이웃 화소 간의 유사도 측정과 절대적인 임계치 설정에 있어, 객체 내 픽셀의 그레이 레벨 변화가 심하고 객체와 배경과의 경계가 불분명한 경우 비효율적일 수 있다.
또 다른 실시 일 예로, 영상에서 픽셀 값의 불연속적인 변화를 정량화 하는 텍스처 특징 값을 이용하는 방법이다. 텍스처의 특징만을 가지고 분할하는 것에 대해서는 빠르다는 장점이 있지만, 한 영역에 서로 다른 특징들이 모여 있거나, 그 특징의 경계가 모호하다면 분할 시 비효율적일 수 있다.
이러한 객체 맵 관련 정보는 비트스트림에 포함되어 전송된다. 3차원 영상 코딩을 위한 것이 아니라 2차원 일반영상을 코딩하는데 깊이 정보를 이용하는 것이므로, 깊이 정보영상 자체를 코딩해서 비트스트림에 포함하여 전송하는 것이 아니라, 단지 디코더 단에서 객체맵을 활용하기 위한 기본정보 (깊이영상 자체가 아님)만을 비트스트림에 포함하여 전송할 수 있다.
도 6a는 깊이 정보 카메라가 존재하는 비디오 시스템에서 비디오 복호화기 구조도의 일예를 나타낸다. 비디오 복호화기에서는 비트스트림을 입력받아 역다중화하여 일반 영상정보와 객체 맵 정보를 파싱한다.
이때, 객체 맵 정보는 일반 영상 정보를 파싱하는데 사용될 수 있으며, 반대로 파싱된 일반 영상 정보는 객체 맵을 생성하는데 사용될 수 있으며, 이는 아래와 같이 다양하게 적용될 수 있다.
1) 일 실시 예로, 일반 영상 정보 파싱부와 객체 맵 정보 파싱부는 서로 독립적으로 파싱된다.
2) 또 다른 일예로, 파싱된 객체 맵 정보를 이용하여 일반 영상 정보가 파싱된다.
3) 또 다른 일예로, 파싱된 일반 영상 정보를 이용하여 객체 맵 정보가 파싱된다.
이외에도 파싱부는 다양한 방법으로 적용될 수 있다.
파싱된 객체 맵 정보는 일반 영상정보 복호화부에 입력되어 2차원 일반 영상을 복호화하는데 사용된다. 최종적으로 일반 영상 정보 복호화부에서는 객체 맵 정보를 이용한 복호화를 수행하여 복원된 2차원 일반 영상을 출력한다.
이때 객체 맵 정보를 이용한 복호화는 객체 단위의 복호화가 수행된다. 도 6b와 같이 기존의 부호화 방법이 프레임(영상, 픽쳐) 전체가 하나의 객체를 의미하는 반면, 객체 단위의 부호화/복호화는 도 6c와 같이 임의 형태의 객체에 대한 부호화/복호화를 의미한다. 이때 비디오 객체(VO; Video Object)는 비디오 장면의 일부 영역으로 임의 형상 영역에 존재할 수 있으며, 임의 시간 동안 존재할 수 있다. 특정 시간에서의 VO를 VOP(Video Object Plane)라고 한다.
도 6b는 프레임 단위 부호화/복호화 방법의 일 예를 나타내며, 도 6c는 객체 단위 부호화/복호화 방법의 일 예를 나타낸다.
도 6b에서는 3 개의 직사각형 VOP들로 구성된 하나의 VO를 나타낸다. 반면 도 6c에서는 일정하지 않은 모양을 갖는 3개의 VOP들로 이루어진 하나의 VO를 나타내고 있는데 각 VOP는 프레임 내에 존재하며 독립적으로 객체 기반 부호화될 수 있다.
도 6d는 객체 단위 부호화에서 하나의 프레임을 3개의 객체로 나눈 경우의 실시 일 예를 나타낸다. 이때 각 객체(V01, V02, V03)는 독립적으로 부호화/복호화된다. 각각의 독립된 객체들은 최종 영상에 자신들의 중요성을 반영하기 위해 서로 다른 화질과 시간적인 해상도로 부호화/복호화 될 수 있으며, 여러 개의 소스로부터 얻어진 객체들은 하나의 영상 내에서 결합될 수 있다.
한편, 객체 맵이 복수인 경우에는 배경 객체와 움직이는 물체에 대한 객체로 구분한 경우에 대한 정의가 추가될 수 있다. 또한, 실시 일 예로, 배경 객체와 움직이는 물체에 대한 객체 그리고 글자에 대한 객체로 구분되는 경우에 대한 정의도 추가될 수 있다.
그리고, 부호화기에서 객체 맵 정보가 복호화기로 전달되지 않은 경우, 복호화기에서 이미 복호화된 정보들(일반 영상 혹은 그 이외의 정보)을 이용하여 객체 맵을 생성할 수 있다. 그렇게 복호화기에서 생성된 객체 맵은 다음의 일반 영상을 복호화에 이용될 수 있다. 하지만 복호화기에서 객체 맵의 생성은 복호화기의 복잡도 증가가 야기될 수도 있다.
한편, 복호화기에서는 객체 맵을 사용하여 일반 영상을 복호화할 수 있으며, 또한 객체 맵을 사용하지 않고도 일반 영상을 복호화할 수 있다. 이러한 객체 맵의 사용 유무에 대한 정보는 비트스트림에 포함될 수 있으며, 이러한 정보는 VPS, SPS, PPS, Slice Header 등에 포함될 수 있다.
그리고, 복호화기는 객체 맵 정보를 이용하여 깊이 정보 영상을 생성하고, 생성된 깊이정보 영상을 이용하여 3D 서비스에 활용할 수 있다. 객체 맵 정보를 이용하여 깊이 정보 영상을 생성하는 방법의 실시 일 예로, 객체 맵에서 각 객체 마다 서로 다른 임의의 깊이 정보 값을 할당하여 깊이 정보 영상을 생성할 수 있다. 이때 깊이 정보 값의 할당은 객체의 특성에 따라 높거나 낮은 임의의 깊이 정보 값이 할당될 수 있다.
실시예 2. 비트스트림 구성 방법
2차원 일반 영상을 부호화하기 위해 깊이 정보 영상을 이용하는 경우, 깊이 정보 영상은 객체 맵 형태로 변형되어 이용될 수 있다. 객체 맵은 움직이는 객체와 배경에 대한 객체 맵이 하나의 영상에 모두 표현되는 경우와 서로 분리되어 표현되는 경우로 나누어질 수 있다. 실시 일 예로, 도 7a은 움직이는 객체와 배경에 대한 객체 맵이 하나의 영상에 모두 표현되는 경우를 나타낸다. 또한 실시 일 예로, 도 7b는 움직이는 객체와 배경에 대한 객체 맵이 서로 다른 영상으로 표현되는 경우를 나타낸다.
이러한 객체 맵은 영상 단위, 혹은 임의 형태 단위, 혹은 블록단위, 혹은 임의 영역 단위로 계산되거나 구분될 수 있다.
첫째, 영상 단위로 깊이 정보 영상에 대한 객체 맵을 전송하는 경우, 라벨링을 통해 객체들을 구분한 정보가 전송될 수 있다.
도 7c은 영상 단위 객체 맵의 일 실시 예를 나타낸다. 도 7c에 도시된 바와 같이, 하나의 영상이 4개의 객체로 구분될 수 있다. 이 중에서 객체 1은 다른 객체들과 분리되어 독립적으로 존재하며, 객체 2와 객체 3은 서로 포개어져 있으며, 객체 4는 배경을 나타낸다.
둘째, 임의 형태 단위로 깊이 정보 영상에 대한 객체 맵을 전송하는 경우, 라벨링된 객체 구분 정보가 임의 형태로 전송될 수 있다.
도 7d는 임의 형태 단위로 객체들을 구분하는 정보에 대한 실시 예를 나타낸다.
셋째, 블록 단위로 깊이 정보 영상에 대한 객체 맵을 전송하는 경우, 블록 영역에서만 라벨링된 객체 구분 정보를 전송할 수 있다.
도 7e는 블록 단위로 객체들을 구분하는 정보에 대한 일 실시 예를 나타낸다. 도 7e와 같이 블록 단위로 객체가 존재하는 부분에 대한 객체 맵이 전송될 수 있다.
넷째, 임의 영역 단위로 깊이 정보 영상에 대한 객체 맵을 전송하는 경우, 움직이는 객체가 존재하는 부분의 임의 영역에 대해서만 라벨링된 객체 구분 정보를 전송할 수 있다.
도 7f는 임의 영역 단위로 객체들을 구분하는 정보에 대한 일 실시 예를 나타낸다. 도 7f과 같이, 객체가 존재하는 영역(예를 들어, 객체 2와 객체 3을 포함하는 영역)에 대한 객체 맵이 전송될 수 있다.
여기서 객체 구분 정보는 라벨링한 정보로 표현되어 전송될 수 있으며, 그외의 방법으로 객체를 구분한 정보가 전송될 수 있다. 이러한 객체 맵의 표현 방법은 다양하게 변경되어 사용될 수 있다.
도 8은 영상 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 일예를 나타낸다. 헤더(Header) 정보에는 깊이구성정보와 일반 영상 정보를 복호화하기 위해 필요한 파라미터에 대한 정보가 포함될 수 있다. 깊이구성정보에는 라벨링을 통해 객체들을 구분한 정보(혹은 그외의 방법으로 객체를 구분한 정보)가 포함될 수 있다. 깊이구성정보는 일반 영상에 대한 부호화 방법을 그대로 적용하여 부호화/복호화할 수 있으며, 혹은 MPEG-4 Part 2 Visual(ISO/IEC 14496-2)의 형상 부호화 방법(Shape Coding)을 적용하여 부호화/복호화할 수 있다. 이러한 깊이구성정보는 일반 영상을 복호화하는 데 사용될 수 있다. 일반 영상 정보에는 일반 영상을 복원하기위한 정보들(부호화 모드 정보, 화면내 방향정보, 움직임 정보, 잔여신호 정보등)이 포함될 수 있다.
도 9는 영상 단위로 깊이 정보 영상에 대한 객체 정보를 전송하는 비트스트림 순서의 또다른 일예를 나타낸다. 도 8의 통합 헤더(Header) 정보에는 2차원 일반 영상과 깊이 정보 영상의 객체 정보를 복호화하기 위해 필요한 파라미터에 대한 정보가 포함될 수 있다. 깊이 정보 영상의 객체 정보에는 라벨링을 통해 객체들을 구분한 정보(혹은 그외의 방법으로 객체를 구분한 정보)가 포함된다. 또한 깊이 정보 영상의 객체 정보는 임의 영역 혹은 임의 형태 단위로 깊이 정보 영상에 대한 객체들을 구분한 정보가 포함될 수 있다. 깊이정보영상의 객체 정보는 일반 영상에 대한 부호화 방법을 그대로 적용하여 부호화/복호화할 수 있으며, 혹은 MPEG-4 Part 2 Visual(ISO/IEC 14496-2)의 형상 부호화 방법(Shape Coding)을 적용하여 부호화/복호화할 수 있다. 이러한 깊이 정보 영상의 객체 정보는 2차원 일반 영상의 헤더 정보를 복호화하는데 사용될 수 있으며, 또한, 2차원 일반 영상의 복원하기위한 정보들(부호화 모드 정보, 화면내 방향정보, 움직임 정보, 잔여신호 정보등)을 복호화하는 데 사용될 수 있다. 2차원 일반 영상의 헤더(Header) 정보에는 2차원 일반 영상의 복호화에 필요한 파라미터에 대한 정보가 포함될 수 있다. 2차원 일반 영상의 부호화된 비트스트림에는 2차원 일반 영상을 복원하기위한 정보들(부호화 모드 정보, 화면내 방향정보, 움직임 정보, 잔여신호 정보등)이 포함될 수 있다.
도 10은 블록 단위로 깊이 구성 정보를 전송하는 비트스트림 순서의 일예를 나타낸다. 도 10의 헤더(Header) 정보에는 2차원 일반 영상과 깊이 구성 정보를 복호화하기 위해 필요한 파라미터에 대한 정보가 포함될 수 있다. 깊이구성정보에는 라벨링을 통해 블록 단위로 객체들을 구분한 정보(혹은 그외의 방법으로 객체를 구분한 정보)가 포함된다. 깊이구성정보는 일반 영상에 대한 부호화 방법을 그대로 적용하여 부호화/복호화할 수 있으며, 혹은 MPEG-4 Part 2 Visual(ISO/IEC 14496-2)의 형상 부호화 방법(Shape Coding)을 적용하여 부호화/복호화할 수 있다. 이러한 깊이구성정보는 일반 영상 블록을 복호화하는 데 사용될 수 있다. 일반 영상 정보에는 2차원 일반 영상의 블록을 복원하는데 필요한 정보들(부호화 모드 정보, 화면내 방향정보, 움직임 정보, 잔여신호 정보등)이 포함될 수 있다.
도 11은 블록 단위로 깊이 정보 블록에 대한 객체 정보를 전송하는 비트스트림 순서의 또다른 일예를 나타낸다. 도 11의 통합 헤더(Header) 정보에는 2차원 일반 영상과 깊이 정보 블록의 객체 정보를 복호화하기 위해 필요한 파라미터에 대한 정보가 포함될 수 있다. 깊이 정보 블록의 객체정보에는 라벨링을 통해 블록 단위로 객체들을 구분한 정보(혹은 그 외의 방법으로 객체를 구분한 정보)가 포함된다. 깊이 정보 블록의 객체 정보는 일반 영상에 대한 부호화 방법을 그대로 적용하여 부호화/복호화할 수 있으며, 혹은 MPEG-4 Part 2 Visual(ISO/IEC 14496-2)의 형상 부호화 방법(Shape Coding)을 적용하여 부호화/복호화할 수 있다. 이러한 깊이 정보 블록의 객체 정보는 영상의 헤더 정보를 복호화하는데 사용될 수 있으며, 또한, 일반 영상의 복원하기 위한 정보들(부호화 모드 정보, 화면내 방향정보, 움직임 정보, 잔여신호 정보등)을 복호화하는 데 사용될 수 있다. 영상의 예측 정보에는 2차원 일반 영상의 복호화에 필요한 예측정보들(부호화 모드 정보, 화면내 방향정보, 움직임 정보등)이 포함될 수 있다. 일반 영상의 잔여 신호 정보에는 2차원 일반 영상에 대한 잔여신호 정보가 포함될 수 있다.
실시예 3. 시그널링 방법
상술된 제안 방법은 깊이 구성 정보를 이용하여 객체 기반으로 일반 영상을 부호화한다는 측면에서 기존 일반 영상의 부호화 방법과 다르다. 따라서, 제안방법이 적용된 영상과 기존 방법이 적용된 일반 영상 간의 서로 다른 시그널링 방법이 필요하다.
제안방법이 적용된 영상을 nal_unit_type으로 새롭게 정의하여 시그널링할 수 있다. NAL(Network Abstract Layer)은 부호화된 영상의 비트스트림을 포함하고 있는 VCL(Video Coding Layer)과 영상의 부호화 및 복호화에 필요한 영상에 대한 정보들(예를 들어, 영상의 너비, 높이 등)에 대한 정보를 포함하고 있는 Non-VCL들을 구분하기 위한 헤더(Header) 정보를 포함한다. VCL 및 Non-VCL의 종류는 다양하며, nal_unit_type으로 그 종류를 구분할 수 있다. 따라서, 제안하는 시그널링 방법은 깊이 구성 정보를 이용하여 객체 기반으로 일반 영상을 부호화한 비트스트림에 대하여 새로운 nal_unit_type을 정의하여 기존 방법으로 부호화된 일반 영상의 비트스트림과 구분할 수 있다.
표 1
표 1은 HEVC의 NAL type에 객체 단위 부호화 type(OBJECT_NUT)이 추가된 경우의 일 예를 나타낸다.
표 1에서 OBJECT_NUT NAL type일 경우, 해당 비트스트림을 객체 맵으로 해석하여 복호화함을 나타낼 수 있다. 깊이구성정보(또는 깊이 정보 영상, 블록 또는 임의의 영역의 객체 정보)는 일반 영상에 대한 부호화 방법을 그대로 적용하여 부호화/복호화할 수 있으며, 혹은 MPEG-4 Part 2 Visual(ISO/IEC 14496-2)의 형상 부호화 방법(Shape Coding)을 적용하여 부호화/복호화할 수 있다. 따라서, 일반 영상에 대한 부호화 방법을 그대로 적용할 경우, Object_data_rbsp()에는 일반 영상에 대한 데이터가 동일하게 사용된다. 또한, MPEG-4 Part 2 Visual(ISO/IEC 14496-2)의 형상 부호화 방법(Shape Coding)을 적용할 경우, Object_data_rbsp()에는 MPEG-4 Part 2 Visual(ISO/IEC 14496-2)의 형상 부호화 방법(Shape Coding)에 대한 데이터가 동일하게 사용된다.
일반 영상이 기하학적 형태의 블록으로 부호화되는 경우
현재 비디오 부호화 코덱에서 영상을 부호화하는 단위는 직사각형 형태의 블록단위로 부호화한다. 하지만 향후에는 부호화 효율 및 영상의 주관적 화질의 향상을 위해 기하학적인 형태의 블록 단위로 부호화가 수행될 수 있다. 도 12는 이러한 기하학적 형태의 일 예를 나타낸다. 도 12에서 직사각형 블록은 사선을 중심으로 흰색 부분과 검은색 부분의 기하학적 형태의 블록으로 나누어진다. 각각의 기하학적 형태의 블록들은 서로 독립적으로 예측이 수행될 수 있다.
도 13은 기하학적 형태로 부호화된 영상에서 블록이 기하학적 형태로 분할된 그림의 일 예이다. 도 13과 같이 각 블록은 도 12와 같은 기하하적 형태로 분리되어 각각의 블록은 서로 독립적으로 예측 부호화를 수행할 수 있다.
도 12는 기하학적 형태의 블록 단위로 부호화하는 방법의 일 예, 도 13은 기하학적 형태로 부호화된 결과의 일 예를 나타낸다.
기하학적 형태로 부호화되는 경우, 일반 영상에서도 객체의 분리가 가능하다. 이러한 일반 영상에서의 분할 정보와 깊이 정보 영상을 이용한 객체 맵을 동시에 이용한다면, 2D 일반 영상의 부호화 효율을 극대화 할 수 있다. 일반 영상에서의 분할 정보를 이용하여 객체 맵을 생성하는 방법은 도 6의 구조도에 이미 도시되었으며, 그것과 관련된 내용이 설명되었다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.
Claims (26)
- 영상의 복호화 방법에 있어서,
부호화된 데이터를 수신하는 단계;
상기 부호화된 데이터로부터 깊이 정보를 파싱하는 단계; 및
상기 깊이 정보를 이용하여 상기 부호화된 데이터를 복호화하는 단계를 포함하고,
상기 깊이 정보는 영상에서 표현되는 적어도 하나의 객체를 구분하기 위한 객체 정보를 포함하고,
상기 파싱된 객체 정보에 기반하여 2차원 영상 정보가 상기 부호화된 데이터로부터 파싱되는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 제1항에 있어서,
상기 깊이 정보를 이용하여 복호화된 데이터로부터 2차원 일반 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 제1항에 있어서,
상기 부호화된 데이터로부터 상기 객체 정보와 2차원 영상 정보가 서로 독립적으로 파싱되는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 삭제
- 제1항에 있어서,
상기 깊이 정보를 파싱하는 단계는
상기 부호화된 데이터로부터 2차원 영상 정보를 파싱하는 단계; 및
상기 파싱된 2차원 영상 정보에 기초하여 상기 부호화된 데이터로부터 상기 객체 정보를 파싱하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 영상의 복호화 장치에 있어서,
부호화된 데이터를 수신하는 수신부;
상기 부호화된 데이터로부터 깊이 정보를 파싱하는 파싱부; 및
상기 깊이 정보를 이용하여 상기 부호화된 데이터를 복호화하는 복호화부를 포함하고,
상기 깊이 정보는 영상에서 표현되는 적어도 하나의 객체를 구분하기 위한 객체 정보를 포함하고,
상기 파싱된 객체 정보에 기반하여 2차원 영상 정보가 상기 부호화된 데이터로부터 파싱되는 것을 특징으로 하는 깊이 정보를 이용한 영상 복호화 장치. - 제6항에 있어서,
상기 복호화부는 상기 깊이 정보를 이용하여 복호화된 데이터로부터 2차원 일반 영상을 획득하는 것을 특징으로 하는 깊이 정보를 이용한 영상 복호화 장치. - 제6항에 있어서,
상기 파싱부는 상기 부호화된 데이터로부터 상기 객체 정보와 2차원 영상 정보를 서로 독립적으로 파싱하는 것을 특징으로 하는 깊이 정보를 이용한 영상 복호화 장치. - 삭제
- 제6항에 있어서,
상기 파싱부는 상기 부호화된 데이터로부터 2차원 영상 정보를 파싱하고, 상기 파싱된 2차원 영상 정보에 기초하여 상기 부호화된 데이터로부터 상기 객체 정보를 파싱하는 것을 특징으로 하는 깊이 정보를 이용한 영상 복호화 장치. - 영상의 복호화 방법에 있어서,
부호화된 데이터를 수신하는 단계;
상기 부호화된 데이터의 헤더로부터 영상에서 표현되는 적어도 하나의 객체를 깊이 정보에 따라 소정 단위로 구분하기 위한 객체 정보를 획득하는 단계; 및
상기 획득된 객체 정보를 이용하여 상기 부호화된 데이터를 복호화하는 단계를 포함하고,
상기 객체 정보에 기반하여 2차원 영상 정보가 상기 부호화된 데이터로부터 파싱되는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 제11항에 있어서,
상기 깊이 정보를 이용하여 복호화된 데이터로부터 2차원 일반 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 제11항에 있어서,
상기 소정 단위는 영상 단위, 블록 단위 또는 임의 형태 단위 중 어느 하나인 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 제11항에 있어서,
상기 부호화된 데이터의 헤더는 상기 깊이 구성을 복호화하기 위한 파라미터 정보를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 영상의 복호화 장치에 있어서,
부호화된 데이터를 수신하는 수신부;
상기 부호화된 데이터의 헤더로부터 영상에서 표현되는 적어도 하나의 객체를 깊이 정보에 따라 소정 단위로 구분하기 위한 객체 정보를 획득하는 객체 정보 처리부;및
상기 획득된 객체 정보를 이용하여 상기 부호화된 데이터를 복호화하는 복호화부를 포함하고,
상기 획득된 객체 정보에 기반하여 2차원 영상 정보가 상기 부호화된 데이터로부터 파싱되는 것을 특징으로 하는 깊이 정보를 이용한 영상 복호화 장치. - 제15항에 있어서,
상기 복호화부는 상기 깊이 정보를 이용하여 복호화된 데이터로부터 2차원 일반 영상을 획득하는 것을 특징으로 하는 깊이 정보를 이용한 영상 복호화 장치. - 제15항에 있어서,
상기 소정 단위는 영상 단위, 블록 단위 또는 임의 형태 단위 중 어느 하나인 것을 특징으로 하는 깊이 정보를 이용한 영상 복호화 장치. - 제15항에 있어서,
상기 부호화된 데이터의 헤더는 상기 깊이 구성를 복호화하기 위한 파라미터 정보를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 영상 복호화 장치. - 영상의 복호화 방법에 있어서,
부호화된 데이터를 수신하는 단계;
상기 부호화된 데이터에 포함된 네트워크 추상화 레이어 유닛의 타입을 식별하기 위한 타입 정보를 파싱하는 단계; 및
상기 파싱된 타입 정보가 영상에서 표현되는 적어도 하나의 객체를 구분하기 위한 객체 정보와 연관된 경우, 상기 부호화된 데이터로부터 객체 정보를 획득하는 단계를 포함하고,
상기 파싱된 객체 정보에 기반하여 2차원 영상 정보가 상기 부호화된 데이터로부터 파싱되는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 제19항에 있어서,
상기 획득된 객체 정보를 이용하여 상기 부호화된 데이터로부터 영상 비트스트림을 복호화하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 제19항에 있어서,
상기 타입 정보는 상기 부호화된 데이터에 대한 깊이 구성 정보, 깊이 정보 영상의 객체 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 제20항에 있어서,
상기 복호화하는 단계는
상기 객체 정보에 기초하여 상기 영상 비트스트림을 기하하적 블록으로 분리하고, 상기 분리된 블록에 대한 독립적 예측 복호화를 수행하는 단계를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 영상의 복호화 방법. - 영상의 복호화 장치에 있어서,
부호화된 데이터를 수신하는 수신부;
상기 부호화된 데이터에 포함된 네트워크 추상화 레이어 유닛의 타입을 식별하기 위한 타입 정보를 파싱하는 파서; 및
상기 파싱된 타입 정보가 영상에서 표현되는 적어도 하나의 객체를 구분하기 위한 객체 정보와 연관된 경우, 상기 부호화된 데이터로부터 객체 정보를 획득하는 객체 정보 획득부를 포함하고,
상기 파싱된 객체 정보에 기반하여 2차원 영상 정보가 상기 부호화된 데이터로부터 파싱되는 영상 복호화 장치. - 제23항에 있어서,
상기 획득된 객체 정보를 이용하여 상기 부호화된 데이터로부터 영상 비트스트림을 복호화하는 복호화부를 포함하는
영상 복호화 장치. - 제23항에 있어서,
상기 타입 정보는 상기 부호화된 데이터에 대한 깊이 구성 정보, 깊이 정보 영상의 객체 정보 중 적어도 하나를 포함하는 영상 복호화 장치. - 제24항에 있어서,
복호화부는 상기 객체 정보에 기초하여 상기 영상 비트스트림을 기하하적 블록으로 분리하고, 상기 분리된 블록에 대한 독립적 예측 복호화를 수행하는 영상 복호화 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020217008343A KR102394716B1 (ko) | 2012-11-27 | 2013-11-27 | 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 |
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20120135666 | 2012-11-27 | ||
| KR1020120135666 | 2012-11-27 | ||
| KR1020130040812 | 2013-04-15 | ||
| KR1020130040807 | 2013-04-15 | ||
| KR20130040807 | 2013-04-15 | ||
| KR20130040812 | 2013-04-15 | ||
| KR20130040803 | 2013-04-15 | ||
| KR1020130040803 | 2013-04-15 | ||
| PCT/KR2013/010875 WO2014084613A2 (ko) | 2012-11-27 | 2013-11-27 | 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217008343A Division KR102394716B1 (ko) | 2012-11-27 | 2013-11-27 | 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150091299A KR20150091299A (ko) | 2015-08-10 |
| KR102232250B1 true KR102232250B1 (ko) | 2021-03-25 |
Family
ID=50828571
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157008820A KR102232250B1 (ko) | 2012-11-27 | 2013-11-27 | 깊이 정보를 이용한 영상 부보화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 |
| KR1020217008343A KR102394716B1 (ko) | 2012-11-27 | 2013-11-27 | 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217008343A KR102394716B1 (ko) | 2012-11-27 | 2013-11-27 | 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150296198A1 (ko) |
| KR (2) | KR102232250B1 (ko) |
| WO (1) | WO2014084613A2 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10547834B2 (en) * | 2014-01-08 | 2020-01-28 | Qualcomm Incorporated | Support of non-HEVC base layer in HEVC multi-layer extensions |
| EA032031B1 (ru) | 2014-10-16 | 2019-03-29 | Олтриа Клайент Сервисиз Ллк | Сборочный барабан и система и способ его использования для автоматизированного производства электронно-паровых устройств |
| US20160277751A1 (en) * | 2015-03-19 | 2016-09-22 | Patrick J. Sweeney | Packaging/mux and unpackaging/demux of geometric data together with video data |
| US20190238863A1 (en) * | 2016-10-04 | 2019-08-01 | Lg Electronics Inc. | Chroma component coding unit division method and device |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1591963B1 (en) * | 2004-04-29 | 2008-07-09 | Mitsubishi Electric Information Technology Centre Europe B.V. | Adaptive quantisation of a depth map |
| KR20100002032A (ko) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | 영상 생성 방법, 영상 처리 방법, 및 그 장치 |
| US8760495B2 (en) * | 2008-11-18 | 2014-06-24 | Lg Electronics Inc. | Method and apparatus for processing video signal |
| KR20100128233A (ko) * | 2009-05-27 | 2010-12-07 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| WO2011108903A2 (ko) * | 2010-03-05 | 2011-09-09 | 한국전자통신연구원 | 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치 |
| KR20110115087A (ko) * | 2010-04-14 | 2011-10-20 | 삼성전자주식회사 | 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치 |
| KR101609394B1 (ko) * | 2010-06-03 | 2016-04-06 | 단국대학교 산학협력단 | 입체 영상 인코딩 장치 및 방법 |
| KR101314865B1 (ko) * | 2010-07-06 | 2013-10-04 | 김덕중 | 모바일 환경에서 ｔｖ 화면과 연동하는 증강 현실을 제공하는 방법, 이를 위한 부가 서비스 서버 및 방송 시스템 |
| KR20120017402A (ko) * | 2010-08-18 | 2012-02-28 | 한국전자통신연구원 | 디지털 방송 시스템에서 방송 서비스 모니터링 장치 및 방법 |
| EP2432232A1 (en) * | 2010-09-19 | 2012-03-21 | LG Electronics, Inc. | Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service |
| JP5281623B2 (ja) * | 2010-09-29 | 2013-09-04 | 日本電信電話株式会社 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム |
-
2013
- 2013-11-27 KR KR1020157008820A patent/KR102232250B1/ko active IP Right Grant
- 2013-11-27 WO PCT/KR2013/010875 patent/WO2014084613A2/ko active Application Filing
- 2013-11-27 KR KR1020217008343A patent/KR102394716B1/ko active IP Right Grant
- 2013-11-27 US US14/647,675 patent/US20150296198A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014084613A2 (ko) | 2014-06-05 |
| WO2014084613A9 (ko) | 2014-08-28 |
| WO2014084613A3 (ko) | 2014-10-23 |
| US20150296198A1 (en) | 2015-10-15 |
| KR20150091299A (ko) | 2015-08-10 |
| KR102394716B1 (ko) | 2022-05-06 |
| KR20210036414A (ko) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200153885A1 (en) | Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and/or a method for receiving point cloud data | |
| US11151742B2 (en) | Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method | |
| EP3926960A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| US9743110B2 (en) | Method of 3D or multi-view video coding including view synthesis prediction | |
| US20190253734A1 (en) | Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device | |
| Saldanha et al. | Fast 3D-HEVC depth map encoding using machine learning | |
| EP2416577B1 (en) | Image signal decoding apparatus and image signal decoding method | |
| US11659151B2 (en) | Apparatus, a method and a computer program for volumetric video | |
| CN102158733B (zh) | 辅助视频补充信息承载方法、处理方法、装置与系统 | |
| KR20150063126A (ko) | 비디오 인코딩 및 디코딩 방법, 장치 및 시스템 | |
| US11509879B2 (en) | Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video | |
| US8798356B2 (en) | Apparatus and method for encoding and decoding multi-view image | |
| CN114946178A (zh) | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 | |
| US20210321072A1 (en) | An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video | |
| KR102232250B1 (ko) | 깊이 정보를 이용한 영상 부보화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템 | |
| EP4072132B1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| CA2942055C (en) | Method and apparatus of single sample mode for video coding | |
| WO2014015460A1 (en) | 3d video representation using information embedding | |
| KR100813064B1 (ko) | 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷 | |
| US20210400295A1 (en) | Null tile coding in video coding | |
| US10021391B2 (en) | Method and apparatus for encoding of video using depth information | |
| US11558597B2 (en) | Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |