KR20070111880A

KR20070111880A - 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷

Info

Publication number: KR20070111880A
Application number: KR1020060045261A
Authority: KR
Inventors: 박승욱; 전병문; 전용준
Original assignee: 엘지전자 주식회사
Priority date: 2006-05-19
Filing date: 2006-05-19
Publication date: 2007-11-22
Also published as: KR100813064B1

Abstract

본 발명은 비디오 신호를 효율적으로 복호화/부호화하기 위한 방법 및 장치, 그리고 그 데이터 포맷에 관한 것이다.

비디오 신호의 복호화 방법에 있어서, 비트스트림으로부터 기준 시점 식별정보(view_dependency_flag)를 추출하는 단계와 상기 추출된 기준 시점 식별정보에 따라 앵커 픽쳐 식별정보(anchor_pic_flag)를 추출하는 단계와 상기 추출된 앵커 픽쳐 식별정보에 기초하여 해당 비트스트림을 복호화하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법 및 장치를 제공한다. 또한, 그 데이터 포맷과 역과정을 통한 부호화 방법도 제공한다. 본 발명을 통하여 다시점 영상의 랜덤 액세스를 하는 경우, 기존의 H.264/AVC와 호환성을 가지면서 시간 지연 문제를 해결할 수 있게 되어 효율적인 복호화/부호화가 가능하게 된다.

다시점, 기준 시점(base views), 앵커 픽쳐(anchor picture)

Description

비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷{Method and Apparatus, Data format for decoding and coding of video sequence}

도 1에서는 H.264/AVC 의 NAL(Network Abstraction Layer, 네트워크 추상 계층)단위의 구성을 나타낸다.

도 2는 본 발명이 적용되는 다시점 영상(multiview sequence) 부호화 및 복호화 시스템을 나타낸 것이다.

도 3은 본 발명이 적용되는 다시점 영상 신호의 전체적인 부호화 과정을 설명하기 위한 픽쳐들의 예측 구조를 나타낸 것이다.

도 4는 본 발명이 적용된 예로서, 신택스 상의 nal unit header 안에 기준 시점 식별 정보를 추가한 것을 나타낸 것이다.

도 5a는 본 발명이 적용된 데이터 포맷으로서, 현재 픽쳐가 기준 시점에 해당되는 경우의 NAL 구조를 나타낸다.

도 5b는 본 발명이 적용된 데이터 포맷으로서, 현재 픽쳐가 기준 시점에 해당되지 않는 경우의 NAL 구조를 나타낸다.

도 6은 본 발명이 적용된 비디오 신호 복호화 방법을 설명하기 위한 흐름도를 나타낸다.

도 7은 본 발명이 적용된 예로서, 신택스 상의 slice layer 안에 앵커 픽쳐 식별 정보를 추가한 것을 나타낸 것이다.

도 8은 본 발명이 적용된 비디오 신호 복호화 장치의 일부를 나타낸 것이다.

< 도면 내의 주요부분에 대한 설명 >

10 : 다시점 영상 발생부 20 : 전처리부(pre-processing)

30 : 인코더(encoder) 40 : 디코더(decoder)

50 : 후처리부(post-processing) 60 : 디스플레이부

61 : 2차원 디스플레이 63 : 스테레오 타입 디스플레이

65 : M개 시점을 입체 영상으로 제공하는 디스플레이

501: 제 1 NAL header 502: 제 1 slice layer

503: 제 2 NAL header 504: 제 2 slice layer

510: NAL header 520: slice layer

810: 제 1 식별정보 추출부 820: 제 2 식별정보 추출부

830: 복호화부

본 발명은 비디오 영상의 복호화/부호화 방법 및 장치와 그 데이터 포맷에 관한 기술이다.

현재 주류를 이루고 있는 비디오 방송 영상물은 한 대의 카메라로 획득한 단일시점 영상이다. 비록 여러 대의 카메라로 찍은 영상이라 할지라도 편집되어 한 개의 영상으로 취급된다. 반면, 다시점 비디오(Multi-view video)란 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원(3D) 영상처리의 한 분야이다. 다시점 비디오는 사용자에게 시점의 자유를 증가시킬 수 있으며, 한대의 카메라를 이용하여 획득할 수 있는 영상 영역에 비해 큰 영역을 포함하는 특징을 지닌다. 이러한 다시점 비디오 영상은 카메라를 이동시킨다던가, 다수의 카메라를 여러 방향에 배치하거나, 반사경 등의 특수 장치를 이용하여 획득하게 된다.

최근에는 이처럼 여러 대의 카메라로 찍은 다시점 영상 자체에 대한 부호화 및 전송, 복호화 그리고 디스플레이하는 시스템에 대한 연구가 활발히 진행되고 있다.

MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 초기 MPEG-4와 H.263 표준안보다 우수하고 뛰어난 비디오 이미지 압축 성능을 약속하는 새로운 표준안을 개발했다. 새로운 표준안은 "AVC(Advanced Video Coding)"으로 이름이 붙여졌고, MPEG-4 Part 10과 ITU-T Recommendation H.264로 공동 발표되었다.

이러한 H.264/AVC 에서의 비트열의 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위 는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.

도 1에서는 H.264/AVC 의 NAL(Network Abstraction Layer, 네트워크 추상 계층)단위의 구성을 나타낸다. NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL 헤더에는 그 NAL 단위의 참조픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 종류를 나타내는 식별자(nal_unit_type)가 포함되어 있다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP trailing bit(RBSP 채워넣기 비트)를 첨가한다.

이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.

MVC의 전반적인 코딩 구조에 따라 랜덤 액세스(random access)를 하게 될 경우, 그 구조가 복잡하여 오랜 시간 지연이 문제가 된다. 따라서 이러한 문제점을 해결하기 위하여 랜덤 액세스를 위한 최소 프레임 수를 감소시킬 필요가 있는데, 이는 디코더에서 시점들 간의 상관관계를 알고 앵커 픽쳐(anchor picture)라는 새로운 픽쳐 타입을 정의함으로써 가능할 수 있다.

본 발명의 목적은 다시점 영상 데이터에 대하여 효율적으로 복호화 및 부호 화를 수행하는 방법 및 장치, 그리고 그 데이터 포맷을 제공하는데 있다.

본 발명의 목적은 앵커 픽쳐 식별 정보 또는 기준시점 식별 정보를 규격화된 방식으로 추가함으로써 효율적으로 부호화 및 복호화를 수행하는 방법 및 장치, 그리고 그 데이터 포맷을 제공하는데 있다.

본 발명의 목적은 앵커 픽쳐 식별 정보를 신택스 상에 추가함으로써 다시점 비디오 영상의 랜덤 액세스를 효율적으로 수행하고자 함에 있다.

본 발명의 목적은 기준 시점 식별 정보를 신택스 상에 추가함으로써 기존의 H.264/AVC와 호환성을 유지하고자 함에 있다.

상기 목적을 달성하기 위하여, 본 발명은 비디오 신호의 복호화 방법에 있어서, 비트스트림으로부터 기준 시점 식별정보(view_dependency_flag)를 추출하는 단계와 상기 추출된 기준 시점 식별정보에 따라 앵커 픽쳐 식별정보(anchor_pic_flag)를 추출하는 단계와 상기 추출된 앵커 픽쳐 식별정보에 기초하여 해당 비트스트림을 복호화하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

또한, 본 발명은 비트스트림으로부터 기준 시점 식별정보를 추출하는 제 1 식별정보 추출부와 상기 추출된 기준 시점 식별정보에 따라 앵커 픽쳐 식별정보를 추출하는 제 2 식별정보 추출부와 상기 추출된 앵커 픽쳐 식별정보에 기초하여 해당 비트스트림을 복호화하는 복호화부를 포함하는 것을 특징으로 하는 비디오 신호 복호화 장치를 제공한다.

또한, 본 발명은 비디오 신호의 데이터 포맷에 있어서, 현재 픽쳐의 속성 정보를 포함하는 제 1 NAL 헤더와 상기 현재 픽쳐의 데이터 정보를 포함하는 제 1 슬라이스 계층과 상기 제 1 슬라이스 계층에 연속하여 추가된, 기준 시점에 대한 식별 정보를 포함하는 제 2 NAL 헤더와 앵커 픽쳐에 대한 식별 정보를 포함하는 제 2 슬라이스 계층으로 이루어지는 것을 특징으로 하는 비디오 신호의 데이터 포맷을 제공한다.

또한, 본 발명은 비디오 신호의 데이터 포맷에 있어서, 현재 픽쳐의 속성 정보와 기준 시점 식별 정보를 포함하는 NAL 헤더, 상기 현재 픽쳐의 데이터 정보와 앵커 픽쳐 식별정보를 포함하는 슬라이스 계층으로 이루어지는 것을 특징으로 하는 비디오 신호의 데이터 포맷을 제공한다.

또한, 본 발명은 기준 시점 식별정보를 nal unit header 안에 추가하는 것을 특징으로 하는 비디오 신호 부호화 방법을 제공한다.

또한, 본 발명은 앵커 픽쳐 식별정보를 슬라이스 계층(slice layer) 안에 추가하는 것을 특징으로 하는 비디오 신호 부호화 방법을 제공한다.

상술한 목적 및 구성의 특징은 첨부된 도면과 관련하여 다음의 상세한 설명을 통하여 보다 명확해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순 한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다.

도 2에 도시된 바와 같이, 본 발명을 적용한 다시점 영상 부호화 시스템은, 다시점 영상 발생부(10), 전처리부(20, preprocessing) 및 인코더(30, encoder)를 포함하여 구성된다. 또한, 복호화 시스템은 디코더(40, decoder), 후처리부(50, post processing) 및 디스플레이부(60, display)를 포함하여 구성된다.

관련하여, 상기 다시점 영상 발생부(10)는 다시점 개수 만큼의 영상 획득장치(예를들어, 카메라 #1 ~ #N)를 구비하여, 각 시점별로 독립적인 영상을 획득하게 된다. 상기 전처리부(20)는 다시점 영상 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다시점 영상 데이터들 간의 상관도를 높여주는 기능을 수행한다. 또한, 인코더(30)는 움직임(motion) 추정/보상 및 시점간의 변이(disparity) 추정/보상 및 비트율 제어 및 차영상 부호화부등을 포함하여 구성된다. 상기 인코더(30)는 일반적으로 알려진 방식을 적용할 수 있다.

또한, 디코더(40)는 전술한 방식에 의해 부호화된 비트스트림을 수신한 후, 이를 역으로 복호화한다. 또한, 후처리부(50)는 디코딩된 데이터의 신뢰도 및 해상도를 높여주는 기능을 수행하게 된다. 마지막으로 디스플레이부(60)는 디스플레이의 기능, 특히 다시점 영상을 처리하는 능력에 따라 다양한 방식으로 사용자에게 디코딩된 데이터를 제공하게 된다. 예를들어, 평면 2차원 영상만을 제공하는 2D 디스플레이(61)이거나, 2개의 시점을 입체 영상으로 제공하는 스테레오(stereo) 타입의 디스플레이(63)이거나 또는 M개의 시점(2<M)을 입체 영상으로 제공하는 디스플레이(65)일 수 있다.

도 3에 나타난 바와 같이 가로축의 T0 ~ T100 은 각각 시간에 따른 프레임을 나타낸 것이고, 세로축의 S0 ~ S100은 각각 시점에 따른 프레임을 나타낸 것이다. 예를 들어, T0에 있는 픽쳐들은 같은 시간대(T0)에 서로 다른 카메라에서 찍은 영상들을 의미하며, S0 에 있는 픽쳐들은 한 대의 카메라에서 찍은 다른 시간대의 영상들을 의미한다. 또한, 도면 상의 화살표들은 각 픽쳐들의 예측 방향과 순서를 나타낸 것으로서, 예를 들어, T0 시간대의 S2 시점에 있는 P0 픽쳐는 I0로부터 예측된 픽쳐이며, 이는 TO 시간대의 S4 시점에 있는 P0 픽쳐의 참조 픽쳐가 된다. 또한, S2 시점의 T4, T2 시간대에 있는 B1, B2 픽쳐의 참조 픽쳐가 된다.

다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스는 필수적이다. 따라서, 복호화 노력을 최소화하면서 임의 시점에 대한 액세스가 가능하도록 하여야 한다. 여기서 효율적인 랜덤 액세스를 실현하기 위하여 앵커 픽쳐(anchor picture)의 개념을 설명할 필요가 있다. 앵커 픽쳐라 함은, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스만을 참조하는 부호화된 픽쳐를 의미한다. 예를 들어, 다른 시점에 있는 슬라이스만을 참조하고 현재 시점에 있는 슬라이스는 참조하지 않는 부호화된 픽쳐를 말한다. 도 3에서 보면, T0 시간대의 S0 시점에 있는 I0픽쳐가 앵커 픽쳐라면, 같은 시간대에 있는, 즉 T0 시간대의 다른 시점에 있는 모든 픽쳐들 또한 앵커 픽쳐가 된다. 또 다른 예로서, T8 시간대의 S0 시점에 있는 I0픽쳐가 앵커 픽쳐라면, 같은 시간대에 있는, 즉 T8 시간대의 다른 시점에 있는 모든 픽쳐들 또한 앵커 픽쳐가 된다. 마찬가지로, T16, …, T96, T100 에 있는 모든 픽쳐들이 앵커 픽쳐의 예가 된다.

앵커 픽쳐가 디코딩된 후, 차례로 코딩된 모든 픽쳐들은 앵커 픽쳐에 선행하여 디코딩된 픽쳐로부터 인터-프리딕션(inter-prediction)없이 디코딩된다.

도 4를 설명하기에 앞서, 기준 시점(base views)에 대한 개념을 설명할 필요가 있다. 우리는 H.264/AVC 디코더와 호환성을 가지기 위한 적어도 하나의 시점 영상(view sequence)이 필요하다. 따라서, 빠른 랜덤 액세스를 위해 독립적으로 복호화가 가능한 시점들을 정의할 필요가 있는데, 이를 기준 시점(base views)이라 한다. 이러한 기준시점(base views)은 다시점(multi view) 중 부호화의 기준이 되며, 이는 참조 시점(reference view)에 해당된다. MVC(Multiview Video Coding)에서 기준 시점에 해당되는 영상은 종래 일반적인 영상 부호화 방식(MPEG-2, MPEG-4, H.263, H.264 등)에 의해 부호화되어 독립적인 비트스트림으로 형성하게 된다.

기준 시점에 해당되는 영상은 H.264/AVC와 호환될 수도 있고, 되지 않을 수도 있다. 하지만, H.264/AVC와 호환될 수 있는 시점의 영상은 항상 기준 시점이 된 다. 따라서, 본 발명에서는 현재 픽쳐가 기준 시점에 포함되는지 여부를 식별하기 위한 플래그로 MVC NAL의 nal unit header 내에서 "view_dependency_flag" 를 정의할 필요가 있다. 예를 들어, view_dependency_flag = 0 이면, 현재 픽쳐 또는 현재 슬라이스가 기준 시점에 포함되는 것을 의미하며, view_dependency_flag ≠ 0 이면, 현재 픽쳐 또는 현재 슬라이스가 기준 시점에 포함되지 않는 것을 의미한다. 또한, 새로운 MVC 슬라이스에 있어서, 각 슬라이스 타입에 대해 새로운 NAL unit type을 정의하는데, non-IDR 슬라이스에 대해서는 type 22로 지정하고, IDR 슬라이스에 대해서는 type 23으로 지정한다.(이에 대해서는 도 5a에서 좀더 상세히 설명하도록 한다.) view_dependency_flag를 추가함으로써, 수신된 비트스트림으로부터 복호화하게 될 경우 현재 픽쳐가 기준 시점에 해당되는지 여부를 판단할 수 있게 된다. 따라서, 이로부터 앵커 픽쳐 식별정보를 판단함에 있어서, H.264/AVC와 호환이 가능하게 된다. 이하, 현재 픽쳐가 앵커 픽쳐에 해당되는지 여부를 알려주는 앵커 픽쳐 식별 정보에 대해 살펴본다.

상기 본 발명이 적용된 데이터 포맷은 제 1 NAL 헤더(501), 제 1 슬라이스 계층(502), 제 2 NAL 헤더(503), 제 2 슬라이스 계층(504)을 포함한다. 제 1 NAL 헤더(501)는 현재 픽쳐의 속성 정보를 포함하고 있다. 예를 들어, nal_ref_idc, nal_unit_type 이 있는데, nal_ref_idc는 NAL 단위의 참조픽쳐가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보를 나타내며, nal_unit_type 은 NAL 단위의 종류를 나타내는 식별자를 나타낸다. 제 1 슬라이스 계층(502)은 압축된 결과 데이터를 포함하고 있다. 상기 제 1 NAL 헤더(501)와 제 1 슬라이스 계층(502)으로 이루어진 NAL 단위는 nal_unit_type이 1 또는 5가 된다. 이는 H.264/AVC 호환을 위한 슬라이스임을 나타내는 것이며, 예를 들어, nal_unit_type = 5 인 경우는 현재 슬라이스가 IDR 픽쳐의 슬라이스라는 것을 의미하며, nal_unit_type = 1 인 경우는 현재 슬라이스가 IDR 픽쳐이외의 픽쳐 슬라이스라는 것을 의미한다. 여기서 IDR(Instantaneous Decoding Refresh) 픽쳐란 순간 복호 리프레쉬 픽쳐로서, 영상 시퀀스의 선두 픽쳐를 의미한다. IDR 픽쳐에서는 픽쳐 비트스트림을 복호하기 위해 필요한 모든 상태가 초기화된다.

제 2 NAL 헤더(503)와 제 2 슬라이스 계층(504)은 상기 제 1 슬라이스 계층에 연속하여 순서대로 추가된 것이다. 제 2 NAL 헤더(503)는 기준 시점 식별정보를 포함하고 있으며, 이 부분에 현재 픽쳐가 기준 시점에 포함되는지 여부를 식별하는 view_dependency_flag 가 포함되어 있다. 제 2 슬라이스 계층(504)는 앵커 픽쳐 식별 정보만을 포함하고 있다. 따라서, anchor_pic_flag로부터 현재 픽쳐가 앵커 픽쳐인지 여부를 판단하게 된다. 상기 제 2 NAL 헤더(503)와 제 2 슬라이스 계층(504)으로 이루어진 추가된 NAL 단위는 nal_unit_type이 22 또는 23이 된다. 이는 MVC를 위한 슬라이스임을 나타내는 것이며, 예를 들어, nal_unit_type = 22 인 경우는 현재 슬라이스가 MVC에 있어서 IDR 픽쳐 이외의 픽쳐 슬라이스라는 것을 의미하며, nal_unit_type = 23 인 경우는 현재 슬라이스가 MVC에 있어서 IDR 픽쳐 슬라이스라는 것을 의미한다. nal_unit_type = 22인 NAL unit은 nal_unit_type = 1인 NAL unit을 따르며, nal_unit_type = 23인 NAL unit은 nal_unit_type = 5인 NAL unit을 따른다.

NAL 헤더(510)는 현재 픽쳐의 속성 정보 및 기준 시점 식별 정보를 포함하고 있다. 예를 들어, nal_ref_idc, nal_unit_type 이 있는데, nal_ref_idc는 NAL 단위의 참조픽쳐가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보를 나타내며, nal_unit_type 은 NAL단위의 종류를 나타내는 식별자를 나타낸다. 또한, 현재 픽쳐가 기준 시점에 포함되는지 여부를 식별하는 view_dependency_flag 가 포함되어 있다. 슬라이스 계층(520)은 압축된 결과 데이터 및 앵커 픽쳐 식별 정보를 포함하고 있다. 상기 NAL 헤더(510)와 슬라이스 계층(520)으로 이루어진 NAL 단위는 nal_unit_type이 22 또는 23이 된다. 이는 MVC를 위한 슬라이스임을 나타내는 것이며, 예를 들어, nal_unit_type = 22 인 경우는 현재 슬라이스가 MVC에 있어서 non-IDR 픽쳐의 슬라이스라는 것을 의미하며, nal_unit_type = 23 인 경우는 현재 슬라이스가 MVC에 있어서 IDR 픽쳐 슬라이스라는 것을 의미한다. 상기 NAL 구조는 오직 MVC 디코더에서만 디코딩될 수 있으므로, 즉 기준 시점에 해당되지 않는 다른 시점들인 경우에는 H.264/AVC와 호환될 필요가 없으므로 슬라이스 내에 앵커 픽쳐 식별 정보를 포함시킬 수 있다.

수신된 비트스트림으로부터 현재 픽쳐 또는 현재 슬라이스가 기준 시점(base views)에 포함되는지 여부를 판별하는 기준 시점 식별 정보를 추출하고(610), 추출된 기준 시점 식별 정보로부터 view_dependency_flag = 0 인지 여부를 판단한다(620). view_dependency_flag = 0 이면, 이는 현재 픽쳐 또는 현재 슬라이스가 기준 시점에 포함되는 것을 의미한다. 이 경우, 현재 픽쳐의 NAL(501,502)에 하나의 NAL(503,504)을 더 추가한 새로운 NAL 구조에 있어서, 추가된 NAL의 슬라이스 계층(504)으로부터 앵커 픽쳐 식별 정보를 추출한다(630). 추출된 앵커 픽쳐 식별 정보로부터 현재 픽쳐의 픽쳐 타입이 앵커 픽쳐인지 여부를 판단하는데(650), 예를 들어, anchor_pic_flag = 1 이면, 이는 현재 픽쳐의 픽쳐 타입이 앵커 픽쳐임을 나타내고, anchor_pic_flag ≠ 1 이면, 이는 현재 픽쳐의 픽쳐 타입이 앵커 픽쳐가 아님을 나타낸다. 앵커 픽쳐 여부를 판단한 후, 그에 따라 해당 비트스트림을 복호화하게 된다(660).

또한, 상기 view_dependency_flag = 0 인지 여부를 판단하는 단계(620)에서 view_dependency_flag ≠ 0 이면, 이는 현재 픽쳐 또는 현재 슬라이스가 기준 시점에 포함되지 않는 것을 의미한다. 이 경우, 현재 NAL 구조의 NAL header (510)에는 현재 픽쳐의 속성 정보 및 기준 시점 식별 정보를 포함하고 있으며, 슬라이스 계층(520)은 압축된 결과 데이터 및 앵커 픽쳐 식별 정보를 포함하고 있다. 상기와 같은 현재 픽쳐의 NAL 구조에 있어서, 슬라이스 계층(520)으로부터 앵커 픽쳐 식별 정보를 추출한다(640). 상기 NAL 구조는 오직 MVC 디코더에서만 디코딩될 수 있으므로, 즉 기준 시점에 해당되지 않는 다른 시점들인 경우에는 H.264/AVC와 호환될 필요가 없으므로 슬라이스 내에 앵커 픽쳐 식별 정보를 포함시킬 수 있다. 추출된 앵커 픽쳐 식별 정보로부터 현재 픽쳐의 픽쳐 타입이 앵커 픽쳐인지 여부를 판단하는데(650), 예를 들어, anchor_pic_flag = 1 이면, 이는 현재 픽쳐의 픽쳐 타입이 앵커 픽쳐임을 나타내고, anchor_pic_flag ≠ 1 이면, 이는 현재 픽쳐의 픽쳐 타입이 앵커 픽쳐가 아님을 나타낸다. 앵커 픽쳐 여부를 판단한 후, 그에 따라 해당 비트스트림을 복호화하게 된다(660).

다시점 영상 신호가 입력되면 인코더는 이를 신택스에 따라 비트스트림을 생성하게 되는데, 신택스 중 슬라이스 계층 함수 내에 앵커 픽쳐 식별 정보를 추가한다. 앵커 픽쳐 식별 정보를 추가함에 있어서는 기존의 H.264/AVC와 호환성이 유지될 필요가 있기 때문에, 앵커 픽쳐 식별 정보를 추가하기에 앞서 기준 시점 식별 정보인 view_dependency_flag 가 0인지 여부를 먼저 판단할 필요가 있다. 따라서, 신택스 상에서 먼저 "if (view_dependency_flag == 0)" 부분을 넣어서 현재 픽쳐의 픽쳐 타입이 기준 시점에 해당되는지 여부를 판단하고, 기준 시점에 해당된다면, 앵커 픽쳐 식별 정보인 anchor_pic_flag 만을 보내게 된다. 그러나, 현재 픽쳐의 픽쳐 타입이 기준 시점에 해당되지 않는다면, slice_header_in_mvc_extension() 함수와 slice_data_in_mvc_extension()함수 등을 호출하며, anchor_pic_flag 는 slice_header_in_mvc_extension() 함수 내에서 추출된다. 즉, 기준 시점에 해당되지 않는 다른 시점들인 경우에는 H.264/AVC와 호환될 필요가 없으므로 슬라이스 내 에 앵커 픽쳐 식별 정보를 포함시킬 수 있다. 이처럼 기준 시점 해당 여부를 판별한 뒤에 앵커 픽쳐 식별 정보를 구분하여 추가함으로서 H.264/AVC와 호환이 가능하며, 다시점 비디오 영상에서 랜덤 엑세스를 할 경우 최소한의 디코딩으로 어떠한 시점의 영상을 액세스할 수 있게 된다.

본 발명이 적용되는 상기 장치는 제 1 식별정보 추출부와 제 2 식별정보 추출부와 복호화부를 포함한다. 제 1 식별정보 추출부(810)는 수신된 비트스트림으로부터 기준 시점 식별정보(view_dependency_flag)를 추출한다. 제 2 식별정보 추출부(820)는 상기 추출된 기준 시점 식별정보에 따라 앵커 픽쳐 식별정보를 추출한다. 복호화부(830)는 상기 추출된 앵커 픽쳐 식별정보에 기초하여 해당 비트스트림을 복호화한다.

상기에서 살펴본 바와 같이, 본 발명은 여러 대의 카메라에서 취득된 다시점 영상의 랜덤 액세스를 함에 있어서, 앵커 픽쳐라는 개념을 사용함으로써 선행하여 디코딩된 픽쳐로부터 인터-프리딕션(inter-prediction)없이 디코딩할 수 있으므로 시간 지연 문제를 해결할 수 있다. 또한, 기준 시점(base views)을 설정하여 그에 따라 앵커 픽쳐 식별 정보를 다른 방식으로 추가함으로써 기존 H.264/AVC와 호환이 가능하게 할 수 있다. 본 발명은 이러한 특징을 활용함으로써 보다 효율적으로 다시점 비디오 신호의 복호화 및 부호화를 할 수 있다.

Claims

(a)비트스트림으로부터 기준 시점 식별정보(view_dependency_flag)를 추출하는 단계;

(b)상기 추출된 기준 시점 식별정보에 따라 앵커 픽쳐 식별정보(anchor_pic_flag)를 추출하는 단계;

(c)상기 추출된 앵커 픽쳐 식별정보에 기초하여 해당 비트스트림을 복호화하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법.
제 1항에 있어서,

상기 (b)단계는, 현재 픽쳐가 기준 시점에 포함되는 경우, 현재 NAL에 연속하여 추가된 NAL의 슬라이스 계층(slice layer)으로부터 상기 앵커 픽쳐 식별정보를 추출하는 것을 특징으로 하는 비디오 신호 복호화 방법.
제 1항에 있어서,

상기 (b)단계는, 현재 픽쳐가 다른 시점(other view)에 포함되는 경우, 현재 NAL의 슬라이스 헤더(slice header)로부터 상기 앵커 픽쳐 식별정보를 추출하는 것을 특징으로 하는 비디오 신호 복호화 방법.
비트스트림으로부터 기준 시점 식별정보(view_dependency_flag)를 추출하는 제 1 식별정보 추출부와;

상기 추출된 기준 시점 식별정보에 따라 앵커 픽쳐 식별정보(anchor_pic_flag)를 추출하는 제 2 식별정보 추출부; 및

상기 추출된 앵커 픽쳐 식별정보에 기초하여 해당 비트스트림을 복호화하는 복호화부를 포함하는 것을 특징으로 하는 비디오 신호 복호화 장치.
제 4항에 있어서,

상기 제 2 식별정보 추출부는, 현재 픽쳐가 기준 시점에 포함되는 경우, 현재 NAL에 연속하여 추가된 NAL의 슬라이스 계층으로부터 상기 앵커 픽쳐 식별정보를 추출하는 것을 특징으로 하는 비디오 신호 복호화 장치.
제 4항에 있어서,

상기 제 2 식별정보 추출부는, 현재 픽쳐가 다른 시점에 포함되는 경우, 현재 NAL의 슬라이스 헤더로부터 상기 앵커 픽쳐 식별정보를 추출하는 것을 특징으로 하는 비디오 신호 복호화 장치.
비디오 신호의 데이터 포맷에 있어서,

현재 픽쳐의 속성 정보를 포함하는 제 1 NAL 헤더;

상기 현재 픽쳐의 데이터 정보를 포함하는 제 1 슬라이스 계층;

상기 제 1 슬라이스 계층에 연속하여 추가된, 기준 시점에 대한 식별 정보를 포함하는 제 2 NAL 헤더;

앵커 픽쳐에 대한 식별 정보를 포함하는 제 2 슬라이스 계층으로 이루어지는 것을 특징으로 하는 비디오 신호의 데이터 포맷.
제 7항에 있어서,

상기 제 1 NAL 헤더의 속성 정보 중 NAL unit type이 IDR이외의 픽쳐 슬라이스인 경우, 상기 제 2 NAL 헤더의 NAL unit type은 22인 것을 특징으로 하는 비디오 신호의 데이터 포맷.
제 7항에 있어서,

상기 제 1 NAL 헤더의 속성 정보 중 NAL unit type이 IDR픽쳐 슬라이스인 경우, 상기 제 2 NAL 헤더의 NAL unit type은 23인 것을 특징으로 하는 비디오 신호의 데이터 포맷.
비디오 신호의 데이터 포맷에 있어서,

현재 픽쳐의 속성 정보 및 기준 시점 식별 정보를 포함하는 NAL 헤더;

상기 현재 픽쳐의 데이터 정보와 앵커 픽쳐 식별 정보를 포함하는 슬라이스 계층으로 이루어지는 것을 특징으로 하는 비디오 신호의 데이터 포맷.
제 10항에 있어서,

상기 NAL 헤더의 속성 정보 중 NAL unit type이 IDR이외의 픽쳐 슬라이스인 경우, 상기 NAL 헤더의 NAL unit type은 22인 것을 특징으로 하는 비디오 신호의 데이터 포맷.
제 10항에 있어서,

상기 NAL 헤더의 속성 정보 중 NAL unit type이 IDR픽쳐 슬라이스인 경우, 상기 NAL 헤더의 NAL unit type은 23인 것을 특징으로 하는 비디오 신호의 데이터 포맷.
기준 시점 식별정보를 nal unit header 안에 추가하는 것을 특징으로 하는

비디오 신호 부호화 방법.
앵커 픽쳐 식별정보를 슬라이스 계층(slice layer) 안에 추가하는 것을 특징으로 하는 비디오 신호 부호화 방법.