KR20070111969A - 비디오 신호의 디코딩 방법 및 장치 - Google Patents

비디오 신호의 디코딩 방법 및 장치 Download PDF

Info

Publication number
KR20070111969A
KR20070111969A KR1020070033405A KR20070033405A KR20070111969A KR 20070111969 A KR20070111969 A KR 20070111969A KR 1020070033405 A KR1020070033405 A KR 1020070033405A KR 20070033405 A KR20070033405 A KR 20070033405A KR 20070111969 A KR20070111969 A KR 20070111969A
Authority
KR
South Korea
Prior art keywords
reference picture
picture list
inter
unit
video signal
Prior art date
Application number
KR1020070033405A
Other languages
English (en)
Inventor
구한서
전병문
박승욱
전용준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20070111969A publication Critical patent/KR20070111969A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호를 효율적으로 디코딩하기 위한 방법 및 장치에 관한 것이다.
비디오 신호로부터 참조 번호의 할당 방법을 나타내는 식별 정보를 획득하는 단계와 상기 식별 정보에 따라 시점간 예측을 위한 참조 픽쳐들이 재배열되는 단계 및 상기 재배열된 참조 픽쳐들을 이용하여 상기 비디오 신호를 디코딩하는 단계를 포함하되, 상기 참조 번호는 참조 픽쳐의 시점을 식별하는 시점 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다. 본 발명을 통하여 다시점 영상 코딩을 하는 경우, 시점간 예측에 이용되는 참조 픽쳐들을 관리함으로써 보다 효율적으로 코딩을 수행할 수 있게 된다.
다시점, 복호 픽쳐 버퍼

Description

비디오 신호의 디코딩 방법 및 장치{A method and apparatus for decoding a video signal}
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트 생성부(630)의 내부 블록도를 나타낸다.
도 3은 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트를 생성하는 흐름도를 나타낸다.
도 4는 본 발명이 적용되는 일실시예로서, 현재 슬라이스가 P슬라이스일 때의 참조 픽쳐 리스트를 초기화하는 방법을 설명하기 위해 나타낸 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 현재 슬라이스가 B슬라이스일 때의 참조 픽쳐 리스트를 초기화하는 방법을 설명하기 위해 나타낸 것이다.
도 6은 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트 재배열부(640)의 내부 블록도를 나타낸다.
도 7은 본 발명이 적용되는 실시예로서, 참조번호 할당 변경부(643B,645B)의 내부 블록도를 나타낸다.
도 8은 본 발명이 적용되는 일실시예로서, 시점 정보를 이용하여 참조 픽쳐 리스트를 재배열하는 과정을 설명하기 위해 나타낸 것이다.
도 9는 본 발명이 적용되는 다른 실시예로서, 참조 픽쳐 리스트 재배열부(640)의 내부 블록도를 나타낸다.
도 10은 본 발명이 적용되는 실시예로서, 시점간 예측을 위한 참조 픽쳐 리스트 재배열부(970)의 내부 블록도를 나타낸다.
도 11은 본 발명이 적용되는 일실시예로서, 참조 픽쳐 리스트 재배열을 위한 신택스를 나타낸다.
도 12는 본 발명이 적용되는 다른 일실시예로서, 참조 픽쳐 리스트 재배열을 위한 신택스를 나타낸다.
본 발명은 비디오 신호의 디코딩 방법 및 장치에 관한 기술이다.
현재 주류를 이루고 있는 비디오 방송 영상물은 한 대의 카메라로 획득한 단일시점 영상이다. 반면, 다시점 비디오(Multi-view video)란 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원(3D) 영상처리의 한 분야이다. 다시점 비디오는 사용자에게 시점의 자유를 증가시킬 수 있으며, 한대의 카메라를 이용하여 획득할 수 있는 영상 영역에 비해 큰 영역을 포함하는 특징을 지닌다.
이러한 다시점 비디오 영상은 시점들 사이에 높은 상관 관계를 가지고 있기 때문에 시점들 사이의 공간적 예측을 통해서 중복된 정보를 제거할 수 있다. 따라서, 시점들 사이의 예측을 효율적으로 수행하기 위해서는 시점간 예측을 위한 참조 픽쳐들을 관리할 필요가 있다.
본 발명의 목적은 시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 함에 있다.
본 발명의 다른 목적은 시점간 예측을 위한 참조 픽쳐 리스트를 생성하는 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 함에 있다.
본 발명의 또 다른 목적은 시점간 예측을 위한 참조 픽쳐 리스트를 재배열하는 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 함에 있다.
상기 목적을 달성하기 위하여 본 발명은 비디오 신호로부터 참조 번호의 할당 방법을 나타내는 식별 정보를 획득하는 단계와 상기 식별 정보에 따라 시점간 예측을 위한 참조 픽쳐들이 재배열되는 단계 및 상기 재배열된 참조 픽쳐들을 이용하여 상기 비디오 신호를 디코딩하는 단계를 포함하되, 상기 참조 번호는 참조 픽쳐의 시점을 식별하는 시점 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.
또한, 본 발명은 비디오 신호로부터 참조 번호의 할당 방법을 나타내는 식별 정보를 획득하는 식별 정보 획득부와 상기 식별 정보에 따라 시점간 예측을 위한 참조 픽쳐들을 재배열하는 참조 번호 할당 변경부를 포함하되, 상기 참조 번호는 참조 픽쳐의 시점을 식별하는 시점 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치를 제공한다.
상술한 목적 및 구성의 특징은 첨부된 도면과 관련하여 다음의 상세한 설명을 통하여 보다 명확해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들를 상세히 설명한다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다.
MPEG MVC(Multiview Video Coding)에서는 여러 대의 카메라에서 취득된 비디오 영상에 대한 압축 표준을 다룬다. 출발점은 H.264/AVC 코덱을 가지고서 다시점(multiview) 비디오 영상에 맞게 변형된 형태가 되고, AVC 추가기술(AVC amendment)로 표준화가 진행되고 있다. H.264에는 특정한 기능을 지원하는 세 개의 프로파일이 정의되어 있는데, 프로파일(Profile)이란 비디오 부호화/복호화 과정에서 알고리즘상 들어가는 기술적 구성요소를 규격화한 것을 의미한다. 즉, 압축된 영상의 비트열을 복호하기 위해 필요한 기술요소의 집합으로서 일종의 서브 규격이라 할 수 있다. 상기 세 개의 프로파일은 베이스라인 프로파일(Baseline Profile), 메인 프로파일(Main Profile), 확장 프로파일(Extended Profile)을 말하며, 각각의 프로파일과 호환되기 위해서 인코더와 디코더에 요구되는 사항들이 정의되어 있다.
H.264/AVC 에서의 비트열의 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.
NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL 헤더에는 그 NAL 단위의 참조픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 종류를 나타내는 식별자(nal_unit_type)가 포함되어 있다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다. 이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다. 이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식별자(profile_idc)로 식별할 수 있다. 프로파일 식별자란, 비트스트림이 기반을 둔 프로파일을 나타내는 플래그를 의미한다. 예를 들어, H.264/AVC 에서는 프로파일 식별자가 66 이면 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 상기 프로파일 식별자는 시퀀스 파라미터 세트에 포함될 수 있다.
따라서, 다시점(multiview) 영상을 다루기 위해서는 입력되는 비트스트림이 다시점 프로파일(Multiview Profile)에 대한 것인지 여부를 식별하고, 다시점 프로파일로 식별되면 다시점에 대한 하나 이상의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 여기서 다시점 프로파일이란, H.264/AVC의 추가 기술로서 다시점 비디오(multiview video)를 다루는 프로파일 모드(profile mode)를 나타낸다. MVC는 기존 AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다는 MVC 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다. 예를 들어, AVC의 프로파일 식별자가 다시점 프로파일을 나타낼 때 다시점 영상에 대한 정보를 추가하면 부호화 효율을 높일 수 있다.
시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다. 압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 결국, 시퀀스 파라미터 세트 RBSP 는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다. 비트스트림이 입력되면, 먼저 프로파일 식별자는 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다. 따라서, 입력되는 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판단하는(예를 들어, " If ( profile_idc == MULTI_VIEW_PROFILE )") 부분을 신택스 상에 추가함으로써, 입력된 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판별하고, 다시점 프로파일에 대한 것으로 인정되는 경우에만 여러 가지 속성 정보들을 추가할 수 있게 된다. 예를 들어, 전체 시점의 개수, 앵커 픽쳐인 경우의 시점간 참조 픽쳐의 개수(List0/1), 넌-앵커 픽쳐인 경우의 시점간 참조 픽쳐의 개수(List0/1) 등을 추가할 수 있다. 또한, 복호 픽쳐 버퍼에서는 참조 픽쳐 리스트를 생성 및 관리하기 위하여 시점에 대한 정보들을 이용할 수 있다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
상기 디코딩 장치는 크게 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 디블록킹 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700) 등을 포함한다. 그리고, 복호 픽쳐 버퍼부(600)는 참조 픽쳐 저장부(610), 참조 픽쳐 리스트 생성부(630), 참조 픽쳐 관리부(650) 등을 포함한다.
파싱부(100)에서는 수신된 비디오 영상을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 셋과 픽쳐 파라미터 셋이 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에는 여러 가지 속성 정보가 포함될 수 있다. 예를 들어, 시간적 레벨(temporal level) 정보, 시점 레벨(view level) 정보, 앵커 픽쳐(anchor picture) 식별 정보, 시점 식별(view identifier) 정보 등이 포함될 수 있다.
여기서, 시간적 레벨 정보란, 비디오 신호로부터 시간적 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다. 이러한 시간적 레벨 정보를 통해 사용자에게 다양한 시간대의 영상을 제공할 수 있게 된다. 시점 레벨 정보란, 비디오 신호로부터 시점 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다. 다시점 비디오 영상에서는 사용자에게 다양한 시간 및 시점의 영상을 제공하도록 하기 위해 시간 및 시점에 대한 레벨을 정의해 줄 필요가 있다. 이처럼 레벨 정보를 정의할 경우, 시간 및 시점에 대한 확장성(scalability)을 이용할 수 있게 된다. 따라서, 사용자는 원하는 시간 및 시점의 영상만을 볼 수도 있고, 다른 제한 조건에 따른 영상만을 볼 수 있게 된다. 상기 레벨 정보는 그 기준 조건에 따라 다양한 방법으로 다르게 설정될 수 있다. 예를 들어, 카메라의 위치에 따라 다르게 설정될 수 있고, 카메라의 배열 형태에 따라 다르게 설정될 수 있다. 또한, 상기 레벨 정보는 특별한 기준에 의하지 않고 임의로 설정될 수도 있다.
또한 시점 식별 정보란, 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 정보를 말한다. 비디오 영상 신호가 코딩될 때, 각각의 픽쳐를 식별하기 위하여 POC(Picture Order Count)와 frame_num 이 이용된다. 다시점 비디오 영상인 경우에는 시점 간의 예측이 수행되기 때문에 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 식별자가 필요하다. 따라서, 픽쳐의 시점을 나타내는 시점 식별자(view identifier)를 정의할 필요가 있다. 상기 시점 식별자를 이용하여 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 획득하고, 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩할 수 있다. 이러한 상기 시점 식별자는 비디오 신호의 인코딩/디코딩 과정 전반에 걸쳐 적용될 수 있다. 또한, 특정한 시점 식별자가 아닌, 시점이 고려된 frame_num을 이용하여 다시점 비디오 코딩에 그대로 적용할 수도 있다.
파싱된 비트스트림은 엔트로피 디코딩부(200)를 통하여 엔트로피 디코딩되고, 각 매크로브록의 계수, 움직임 벡터 등이 추출된다. 역양자화/역변환부(300)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 인트라 예측부(400)에서는 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 한편, 디블록킹 필터부(500)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한 다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, MVC에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 식별하는 시점 정보도 함께 이용할 수 있다. 상기 복호 픽쳐 버퍼부(600)는 참조 픽쳐 저장부(610)와 참조 픽쳐 리스트 생성부(630)와 참조 픽쳐 관리부(650)를 포함한다. 참조 픽쳐 저장부(610)는 현재 픽쳐의 코딩을 위해 참조가 되는 픽쳐들을 저장한다. 참조 픽쳐 리스트 생성부(630)는 화면간 예측을 위한 참조 픽쳐들의 리스트를 생성하게 된다. 다시점 비디오 코딩에 있어서는 시점간 예측이 이루어질 수 있으므로 현재 픽쳐가 다른 시점에 있는 픽쳐를 참조하게 되는 경우, 시점간 예측을 위한 참조 픽쳐 리스트를 생성할 필요가 있을 수 있다. 이 때, 참조 픽쳐 리스트 생성부(630)는 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 시점에 대한 정보를 이용할 수 있다. 이는 도 2에서 상세히 설명하도록 한다.
상기 참조 픽쳐 리스트 생성부(630)는 변수 유도부(631), 참조 픽쳐 리스트 초기화부(635) 및 참조 픽쳐 리스트 재배열부(640)을 포함한다. 변수 유도부(631)는 참조 픽쳐 리스트 초기화에 사용되는 변수들을 유도한다. 예를 들어, 픽쳐의 고유 식별 번호인 frame_num 이거나 픽쳐의 시점을 식별해주는 view_id를 이용하여 상기 변수를 유도할 수 있다. 참조 픽쳐 리스트 초기화부(635)는 상기 변수들을 이용하여 참조 픽쳐 리스트를 초기화한다. 이때 참조 픽쳐 리스트의 초기화 과정은 슬라이스 타입에 따라 그 방식이 달라질 수 있다. 예를 들어, P슬라이스를 디코딩할 경우에는 디코딩 순서에 기초하여 참조 픽쳐 번호를 할당할 수 있으며, B슬라이스를 디코딩할 경우에는 픽쳐 출력 순서에 기초하여 참조 픽쳐 번호를 할당할 수 있다. 또한, 시점간 예측을 위한 참조 픽쳐 리스트를 초기화할 경우에는 상기 변수, 즉 시점 정보로부터 유도된 변수에 기초하여 참조 픽쳐에 번호를 할당할 수 있다. 이는 도 3 내지 도 5에서 상세히 설명하도록 한다.
참조 픽쳐 리스트 재배열부(640)는 초기화된 참조 픽쳐 리스트에서 빈번하게 참조된 픽쳐에 더 작은 번호를 할당함으로써 압축률을 향상시키는 역할을 수행한다. 참조 픽쳐를 지정하는 참조 픽쳐 번호는 블록단위로 부호화되는데 참조 픽쳐 번호의 부호화를 위한 참조 픽쳐 번호가 작을수록 작은 비트수의 부호가 할당되기 때문이다. 이는 도 6에서 상세히 설명하도록 한다.
또한, 상기 참조 픽쳐 리스트 재배열부(640)는 슬라이스 타입 확인부(642), 참조 픽쳐 리스트0 재배열부(643) 및 참조 픽쳐 리스트1 재배열부(645)를 포함한다. 슬라이스 타입 확인부(642)는 초기화된 참조 픽쳐 리스트가 입력될 경우, 디코딩하려는 슬라이스의 타입을 확인하여 참조 픽쳐 리스트0을 재배열할지, 참조 픽쳐 리스트1을 재배열할지를 결정하게 된다. 이에 따라 참조 픽쳐 리스트0/1 재배열부(643,645)에서는, 예를 들어, 슬라이스 타입이 I슬라이스가 아닌 경우에는 참조 픽쳐 리스트0의 재배열을 수행하고, 슬라이스 타입이 B슬라이스인 경우에는 참조 픽쳐 리스트1의 재배열도 수행한다. 이렇게 재배열 과정이 종료되면, 참조 픽쳐 리스트가 생성된다.
그리고, 상기 참조 픽쳐 리스트0/1 재배열부(643,645)는 각각 식별정보 획득부(643A,645A)와 참조번호 할당 변경부(643B,645B)를 포함한다. 식별정보 획득부(643A,645A)는 참조 픽쳐 리스트의 재배열을 수행할지 여부를 나타내는 플래그 정보에 따라 참조 픽쳐 리스트의 재배열을 수행하게 되는 경우, 참조 번호의 할당 방법을 나타내는 식별 정보(reordering_of_pic_nums_idc)를 입력받는다. 참조번호 할당 변경부(643B,645B)에서는 상기 식별 정보에 따라 참조번호의 할당을 변경함으로써 참조 픽쳐 리스트를 재배열하게 된다. 이는 도 7 및 도 8에서 상세히 설명하도록 한다.
또한, 상기 참조 픽쳐 리스트 재배열부(640)는 다른 방식을 적용하여 수행될 수도 있다. 예를 들어, 슬라이스 타입 확인부(642A,642B)를 거치기 전에 전송된 NAL의 타입을 확인하여 MVC NAL 인 경우와 그렇지 않은 경우로 나누어서 재배열을 할 수도 있다. 이는 도 9 내지 도 12에서 상세히 설명하도록 한다.
참조 픽쳐 관리부(650)는 보다 유연하게 화면간 예측을 실현하기 위하여 참조 픽쳐를 관리한다. 예를 들어, 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method)이 이용될 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 다시점 비디오 코딩에 있어서, 시점 방향의 픽쳐들은 픽쳐 출력 순서(Picture Order Count)가 동일하기 때문에 이들의 마킹을 위해서는 각 픽쳐의 시점을 식별해주는 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(700)에서 이용될 수 있 다.
인터 예측부(700)에서는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐를 이용하여 화면간 예측을 수행한다. 인터 코딩된 매크로블록은 매크로블록 파티션으로 나누어질 수 있으며, 각 매크로블록 파티션은 하나 또는 두개의 참조 픽쳐로부터 예측될 수 있다. 상기 인터 예측부(700)는 움직임 보상부(710)와 조명 보상부(720)를 포함한다.
움직임 보상부(710)에서는 엔트로피 디코딩부(200)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 프리딕터를 획득한다. 상기 획득된 움직임 벡터 프리딕터와 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 참조 픽쳐를 이용하여 수행될 수도 있다. 다시점 비디오 코딩에 있어서, 현재 픽쳐가 다른 시점에 있는 픽쳐들을 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(600)에 저장되어 있는 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다.
또한, 입력된 비트스트림이 다시점 영상에 해당되는 경우, 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 조명 (illumination) 차이가 발생하게 된다. 이를 방지하기 위해서 조명 보상부(720)에서는 조명 보상(illumination compensation)을 수행 하게 된다. 또한, 조명 보상을 수행함에 있어서, 현재 블록을 복원하기 위하여 주변 블록의 정보 또는 현재 블록과 다른 시점에 있는 블록의 정보를 이용할 수 있으며, 현재 블록의 오프셋 값을 이용할 수도 있다. 여기서 현재 블록의 오프셋 값이란, 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값 사이의 차이를 말한다. 이 때 현재 블록이 다른 시점에 있는 블록들을 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(600)에 저장되어 있는 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 조명 보상을 수행할 수 있다.
이처럼 조명 보상, 움직임 보상 등을 이용하여 인터 예측된 픽쳐들과 인트라 예측된 픽쳐들은 예측 모드에 따라 선택되어 현재 픽쳐를 복원하게 된다. 이하에서는 상기 인터 예측을 위해 참조 픽쳐를 관리하는 인코딩/디코딩 방법들의 구체적인 실시예들을 살펴보도록 한다.
도 2는 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트 생성부(630)의 내부 블록도를 나타낸다.
참조 픽쳐 리스트 생성부(630)는 화면간 예측을 위한 참조 픽쳐들의 리스트를 생성하게 된다. 여기서, 참조 픽쳐 리스트 생성부는 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 시점에 대한 정보를 이용할 수 있다. 상기 참조 픽쳐 리스트 생성부(630)는 변수 유도부(631), 참조 픽쳐 리스트 초기화부(635) 및 참조 픽쳐 리스트 재배열부(640)을 포함한다.
변수 유도부(631)는 참조 픽쳐 리스트 초기화에 사용되는 변수들을 유도한다. 예를 들어, 픽쳐의 식별 번호를 나타내는 frame_num 을 이용하여 상기 변수를 유도할 수 있다. 구체적 예로, 각각의 단기 참조 픽쳐에는 변수 FrameNum과 변수 FrameNumWrap 이 이용될 수 있다. 먼저 상기 변수 FrameNum은 신택스 요소인 frame_num 값과 같다. 그리고, 상기 변수 FrameNumWrap은 상기 복호 픽쳐 버퍼부(600)에서 참조 픽쳐마다 작은 번호를 할당해주기 위하여 이용될 수 있으며, 상기 변수 FrameNum으로부터 유도될 수 있다. 이렇게 유도된 상기 변수 FrameNumWrap 을 이용하여 변수 PicNum 을 유도할 수 있다. 여기서 변수 PicNum은 상기 복호 픽쳐 버퍼부(600)에서 사용되는 픽쳐의 식별 번호를 의미할 수 있다. 장기 참조 픽쳐를 나타내는 경우에는 변수 LongTermPicNum이 이용될 수 있다.
또한, 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위해서는 시점에 대한 정보를 이용하여 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위한 제 1 변수(예를 들어, ViewNum)를 유도할 수 있다. 예를 들어, 픽쳐의 시점을 식별해주는 view_id 를 이용하여 상기 제 2 변수(예를 들어, ViewId)를 유도할 수 있다. 먼저 상기 제 2 변수는 신택스 요소인 상기 view_id 값과 같을 수 있다. 그리고, 제 3 변수(예를 들어, ViewIdWrap)는 상기 복호 픽쳐 버퍼부(600)에서 참조 픽쳐마다 작은 시점 식별 번호를 할당해주기 위하여 이용될 수 있으며, 상기 제 2 변수로부터 유도될 수 있다. 여기서 상기 제 1 변수(ViewNum)는 상기 복호 픽쳐 버퍼부(600)에서 사용되는 픽쳐의 시점 식별 번호를 의미할 수 있다. 다만, 다시점 비디오 코딩에서는 시간적 예측에 이용되는 참조 픽쳐의 수에 비해 시점간 예측에 이용되는 참조 픽쳐의 수가 상대적으로 작을 수 있으므로, 장기 참조 픽쳐의 시점 식별 번호를 표시하기 위한 별도의 변수를 정의하지 않을 수 있다.
참조 픽쳐 리스트 초기화부(635)는 상기 변수들을 이용하여 참조 픽쳐 리스트를 초기화한다. 이때 참조 픽쳐 리스트의 초기화 과정은 슬라이스 타입에 따라 그 방식이 달라질 수 있다. 예를 들어, P슬라이스를 디코딩할 경우에는 디코딩 순서에 기초하여 참조 픽쳐 번호를 할당할 수 있으며, B슬라이스를 디코딩할 경우에는 픽쳐 출력 순서에 기초하여 참조 픽쳐 번호를 할당할 수 있다. 또한, 시점간 예측을 위한 참조 픽쳐 리스트를 초기화할 경우에는 상기 제 1 변수, 즉 시점 정보로부터 유도된 변수에 기초하여 참조 픽쳐에 번호를 할당할 수 있다. 이는 도 3 내지 도 5에서 상세히 설명하도록 한다.
도 3은 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트를 생성하는 흐름도를 나타낸다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 먼저, 현재 픽쳐 이전에 코딩된 픽쳐들은 참조 픽쳐로 활용하기 위하여 참조 픽쳐 저장부(610)에 저장된다(S31). 다시점 비디오 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 픽쳐의 시점을 식별하는 시점 정보를 이용할 수 있다. 따라서, 디코더에서는 픽쳐의 시점을 식별하는 시점 정보를 획득하여야 한다(S32). 예를 들어, 상기 시점 정보는 픽쳐의 시점을 식별하는 view_id 를 포함할 수 있다. 상기 복호 픽쳐 버퍼부(600)에서는 참조 픽쳐 리스트를 생성하기 위하여 상기 복호 픽쳐 버퍼부(600) 내에서 사용되는 변수를 유도할 필요가 있다. 다시점 비디오 코딩에 있어서는 시점간 예측이 이루어질 수 있으므로 현재 픽쳐가 다른 시점에 있는 픽쳐를 참조하게 되는 경우, 시점간 예측을 위한 참조 픽쳐 리스트를 생성할 필요가 있을 수 있다. 이 때, 상기 복호 픽쳐 버퍼부(600)에서는 상기 획득된 시점 정보를 이용하여, 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위해 사용되는 변수를 유도할 필요가 있다(S33).
시간적 예측을 위한 참조 픽쳐 리스트 또는 시점간 예측을 위한 참조 픽쳐 리스트는 현재 슬라이스의 슬라이스 타입에 따라 다른 방식으로 생성될 수 있다(S34). 예를 들어, 슬라이스 타입이 P/SP 슬라이스인 경우에는 참조 픽쳐 리스트0를 생성하게 되고(S35), 슬라이스 타입이 B 슬라이스인 경우에는 참조 픽쳐 리스트0와 참조 픽쳐 리스트1을 생성하게 된다(S36). 이 때 참조 픽쳐 리스트 0 또는 참조 픽쳐 리스트 1은 시간적 예측을 위한 참조 픽쳐 리스트만을 포함할 수 있고, 또는 상기 시간적 예측을 위한 참조 픽쳐 리스트와 시점간 예측을 위한 참조 픽쳐 리스트를 모두 포함하고 있을 수 있다. 이에 대해서는 도 4 및 도 5에서 상세히 설명하도록 한다.
이렇게 초기화된 참조 픽쳐 리스트는 보다 압축률을 향상시키기 위하여 빈번하게 참조된 픽쳐에 더 작은 번호를 할당하는 과정을 거치게 된다(S37). 이를 참조 픽쳐 리스트의 재배열 과정이라고 한다. 도 6 내지 도 12에서 상세히 설명하도록 한다. 이렇게 재배열된 참조 픽쳐 리스트를 이용하여 현재 픽쳐를 디코딩하게 되며, 상기 복호 픽쳐 버퍼부(600)에서는 버퍼를 보다 효율적으로 운영하기 위하여 디코딩된 참조 픽쳐들을 관리할 필요가 있다(S38). 이러한 과정을 통해 관리되는 참조 픽쳐들은 상기 인터 예측부(700)로부터 불러들여져 인터 예측을 위해 이용된다. 다시점 비디오 코딩에 있어서, 상기 인터 예측은 시점간 예측을 포함할 수 있으므로 이러한 경우에는 시점간 예측을 위한 참조 픽쳐 리스트가 이용될 수 있다.
이하 도 4 및 도 5에서는 슬라이스 타입에 따라 참조 픽쳐 리스트가 어떠한 방식으로 생성되는지 구체적인 실시예들을 통해서 알아보도록 한다.
도 4는 본 발명이 적용되는 일실시예로서, 현재 슬라이스가 P슬라이스일 때의 참조 픽쳐 리스트를 초기화하는 방법을 설명하기 위해 나타낸 것이다.
T0, T1, …,TN 은 시간을 나타내고, V0, V1, …,V4 는 시점을 나타낸다. 예를 들어, 현재 픽쳐(current picture)는 V4 시점의 T3 시간에 있는 픽쳐를 나타낸다. 또한 현재 픽쳐의 슬라이스 타입은 P 슬라이스인 경우이다. PN은 변수 PicNum의 약자이며, LPN은 변수 LongtermPicNum의 약자이며, VN은 변수 ViewNum의 약자이다. 각 변수 뒤에 붙은 숫자는 각 픽쳐의 시간(PN,LPN의 경우) 또는 시점(VN의 경우)을 가리키는 인덱스를 의미한다. 이는 도 5에서도 동일하게 적용된다.
시간적 예측을 위한 참조 픽쳐 리스트 또는 시점간 예측을 위한 참조 픽쳐 리스트는 현재 슬라이스의 슬라이스 타입에 따라 다른 방식으로 생성될 수 있다. 예를 들어, 도 4에서는 슬라이스 타입이 P/SP 슬라이스인 경우로, 이 경우에는 참조 픽쳐 리스트0를 생성하게 된다. 여기서 상기 참조 픽쳐 리스트0는 시간적 예측을 위한 참조 픽쳐 리스트 및/또는 시점간 예측을 위한 참조 픽쳐 리스트를 포함할 수 있다. 본 실시예에서는 참조 픽쳐 리스트 0가 시간적 예측을 위한 참조 픽쳐 리 스트와 시점간 예측을 위한 참조 픽쳐 리스트 모두를 포함하는 경우를 설명하도록 한다. 참조 픽쳐들을 배열하는 방법으로는 여러 가지가 있을 수 있는데, 예를 들어, 디코딩 순서에 따라 참조 픽쳐들을 배열할 수 있으며, 또는 픽쳐 출력 순서에 따라 참조 픽쳐들을 배열할 수도 있다. 또는 시점 정보를 이용하여 유도된 변수에 기초하여 배열될 수 있으며, 또는 시점간의 의존성(view dependency) 정보에 따라 참조 픽쳐들이 배열될 수도 있다.
시간적 예측을 위한 참조 픽쳐 리스트의 경우, 단기 참조 픽쳐와 장기 참조 픽쳐는 디코딩 순서에 기초하여 배열될 수 있다. 예를 들어, 픽쳐의 식별 번호를 나타내는 값(예를 들어, frame_num 또는 Longtermframeidx)으로부터 유도된 변수(PicNum 또는 LongtermPicNum)값에 따라 배열될 수 있다. 먼저 장기 참조 픽쳐에 앞서 단기 참조 픽쳐들이 초기화될 수 있다. 단기 참조 픽쳐의 배열되는 순서는 참조 픽쳐 중 가장 높은 변수(PicNum)값을 갖는 참조 픽쳐부터 가장 낮은 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, PN0,PN1,PN2 중 가장 높은 변수를 갖는 PN1부터 시작하여, 그 다음에 PN2, 그 다음에 가장 낮은 변수를 갖는 PN0 순서로 배열될 수 있다. 장기 참조 픽쳐의 배열되는 순서는 참조 픽쳐 중 가장 낮은 변수(LongtermPicNum)값을 갖는 참조 픽쳐부터 가장 높은 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, LPN0,LPN1 중 가장 낮은 변수를 갖는 LPN0부터 시작하여, 그 다음에 가장 낮은 변수를 갖는 LPN1 순서로 배열될 수 있다.
시점간 예측을 위한 참조 픽쳐 리스트의 경우, 시점 정보를 이용하여 유도된 제 1 변수(ViewNum)에 기초하여 배열될 수 있다. 예를 들어, 참조 픽쳐 중 가장 높은 제 1 변수(ViewNum)값을 갖는 참조 픽쳐부터 가장 낮은 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, VN0,VN1,VN2,VN3 중 가장 높은 변수를 갖는 VN3부터 시작하여, 그 다음에 VN2,VN1, 그 다음에 가장 낮은 변수를 갖는 VN0 순서로 배열될 수 있다.
이처럼, 상기 시간적 예측을 위한 참조 픽쳐 리스트와 상기 시점간 예측을 위한 참조 픽쳐 리스트는 하나의 참조 픽쳐 리스트로 관리될 수 있으며, 또는 별개의 참조 픽쳐 리스트로 각각 관리될 수도 있다. 그리고, 하나의 참조 픽쳐 리스트로 관리하게 되는 경우에는 순서에 따라 초기화될 수 있으며, 또는 동시에 초기화될 수도 있다. 순서에 따라 초기화되는 경우에는, 예를 들어, 상기 시간적 예측을 위한 참조 픽쳐 리스트를 먼저 초기화하고, 그 다음에 추가적으로 상기 시점간 예측을 위한 참조 픽쳐 리스트를 초기화할 수 있다. 이러한 개념은 도 5에서도 적용될 수 있다. 이하 도 5에서는 현재 픽쳐의 슬라이스 타입이 B 슬라이스인 경우에 대해 살펴보도록 한다.
도 5는 본 발명이 적용되는 일실시예로서, 현재 슬라이스가 B슬라이스일 때의 참조 픽쳐 리스트를 초기화하는 방법을 설명하기 위해 나타낸 것이다.
슬라이스 타입이 B 슬라이스인 경우에는 참조 픽쳐 리스트0와 참조 픽쳐 리스트1을 생성하게 된다. 이 때 참조 픽쳐 리스트 0 또는 참조 픽쳐 리스트 1은 시간적 예측을 위한 참조 픽쳐 리스트만을 포함할 수 있고, 또는 상기 시간적 예측을 위한 참조 픽쳐 리스트와 시점간 예측을 위한 참조 픽쳐 리스트를 모두 포함하고 있을 수 있다.
먼저 시간적 예측을 위한 참조 픽쳐 리스트의 경우, 단기 참조 픽쳐와 장기 참조 픽쳐의 배열 방법이 다를 수 있다. 예를 들어, 단기 참조 픽쳐의 경우는 픽쳐 출력 순서(Picture Order Count, 이하 POC라 함)에 따라 참조 픽쳐들이 배열될 수 있고, 장기 참조 픽쳐의 경우는 변수(LongtermPicNum)값에 따라 참조 픽쳐들이 배열될 수 있다. 그리고, 장기 참조 픽쳐에 앞서 단기 참조 픽쳐들이 초기화될 수 있다.
참조 픽쳐 리스트0의 단기 참조 픽쳐의 배열되는 순서는 현재 픽쳐보다 낮은 POC값을 갖는 참조 픽쳐 중 가장 높은 POC값을 갖는 참조 픽쳐부터 가장 낮은 POC값을 갖는 참조 픽쳐의 순서로 배열되고, 그 다음에 현재 픽쳐보다 높은 POC값을 갖는 참조 픽쳐 중 가장 낮은 POC값을 갖는 참조 픽쳐부터 가장 높은 POC값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, 현재 픽쳐보다 낮은 POC값을 갖는 참조 픽쳐인 PN0,PN1 중 가장 높은 POC값을 갖는 PN1부터 시작하여, PN0 순서로 배열되고, 그 다음에 현재 픽쳐보다 높은 POC값을 갖는 참조 픽쳐인 PN3,PN4 중 가장 낮은 POC값을 갖는 PN3부터 시작하여, PN4 순서로 배열될 수 있다.
그리고 참조 픽쳐 리스트0의 장기 참조 픽쳐의 배열되는 순서는 참조 픽쳐 중 가장 낮은 변수(LongtermPicNum)를 갖는 참조 픽쳐부터 가장 높은 변수를 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, LPN0,LPN1 중 가장 낮은 변수를 갖는 LPN0부터 시작하여, 그 다음에 가장 낮은 변수를 갖는 LPN1 순서로 배열될 수 있다.
시점간 예측을 위한 참조 픽쳐 리스트의 경우, 시점 정보를 이용하여 유도된 제 1 변수(ViewNum)에 기초하여 배열될 수 있다. 예를 들어, 시점간 예측을 위한 참조 픽쳐 리스트0의 경우 현재 픽쳐보다 낮은 제 1 변수값을 갖는 참조 픽쳐 중 가장 높은 제 1 변수값을 갖는 참조 픽쳐부터 가장 낮은 제 1 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 그리고, 현재 픽쳐보다 높은 제 1 변수값을 갖는 참조 픽쳐 중 가장 낮은 제 1 변수값을 갖는 참조 픽쳐부터 가장 높은 제 1 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, 현재 픽쳐보다 낮은 제 1 변수값을 갖는 참조 픽쳐인 VN0,VN1 중 가장 높은 제 1 변수값을 갖는 VN1부터 시작하여, 가장 낮은 제 1 변수값을 갖는 VN0 순서로 배열될 수 있다. 그 다음에 현재 픽쳐보다 높은 제 1 변수값을 갖는 참조 픽쳐인 VN3,VN4 중 가장 낮은 제 1 변수값을 갖는 VN3부터 시작하여, 가장 높은 제 1 변수값을 갖는 VN4 순서로 배열될 수 있다.
참조 픽쳐 리스트 1의 경우, 상기에서 설명한 참조 픽쳐 리스트 0의 배열 방식과 유사하게 적용될 수 있다.
먼저 시간적 예측을 위한 참조 픽쳐 리스트의 경우, 참조 픽쳐 리스트1의 단기 참조 픽쳐의 배열되는 순서는 현재 픽쳐보다 높은 POC값을 갖는 참조 픽쳐 중 가장 낮은 POC값을 갖는 참조 픽쳐부터 가장 높은 POC값을 갖는 참조 픽쳐의 순서로 배열되고, 그 다음에 현재 픽쳐보다 낮은 POC값을 갖는 참조 픽쳐 중 가장 높은 POC값을 갖는 참조 픽쳐부터 가장 낮은 POC값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, 현재 픽쳐보다 높은 POC값을 갖는 참조 픽쳐인 PN3,PN4 중 가 장 낮은 POC값을 갖는 PN3부터 시작하여, PN4 순서로 배열되고, 그 다음에 현재 픽쳐보다 낮은 POC값을 갖는 참조 픽쳐인 PN0,PN1 중 가장 높은 POC값을 갖는 PN1부터 시작하여, PN0 순서로 배열될 수 있다.
그리고 참조 픽쳐 리스트1의 장기 참조 픽쳐의 배열되는 순서는 참조 픽쳐 중 가장 낮은 변수(LongtermPicNum)를 갖는 참조 픽쳐부터 가장 높은 변수를 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, LPN0,LPN1 중 가장 낮은 변수를 갖는 LPN0부터 시작하여, 그 다음에 가장 낮은 변수를 갖는 LPN1 순서로 배열될 수 있다.
시점간 예측을 위한 참조 픽쳐 리스트의 경우, 시점 정보를 이용하여 유도된 제 1 변수(ViewNum)에 기초하여 배열될 수 있다. 예를 들어, 시점간 예측을 위한 참조 픽쳐 리스트1의 경우 현재 픽쳐보다 높은 제 1 변수값을 갖는 참조 픽쳐 중 가장 낮은 제 1 변수값을 갖는 참조 픽쳐부터 가장 높은 제 1 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 그리고, 현재 픽쳐보다 낮은 제 1 변수값을 갖는 참조 픽쳐 중 가장 높은 제 1 변수값을 갖는 참조 픽쳐부터 가장 낮은 제 1 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, 현재 픽쳐보다 높은 제 1 변수값을 갖는 참조 픽쳐인 VN3,VN4 중 가장 낮은 제 1 변수값을 갖는 VN3부터 시작하여, 가장 높은 제 1 변수값을 갖는 VN4 순서로 배열될 수 있다. 그 다음에 현재 픽쳐보다 낮은 제 1 변수값을 갖는 참조 픽쳐인 VN0,VN1중 가장 높은 제 1 변수값을 갖는 VN1부터 시작하여, 가장 낮은 제 1 변수값을 갖는 VN0 순서로 배열될 수 있다.
상기와 같은 과정을 통해 초기화된 참조 픽쳐 리스트는 상기 참조 픽쳐 리스트 재배열부(640)으로 전송되어 보다 효율적인 코딩을 위해 상기 초기화된 참조 픽쳐 리스트를 재배열하게 된다. 이러한 재배열 과정은 복호 픽쳐 버퍼를 운영하여 참조 픽쳐로서 선택될 확률이 가장 높은 참조 픽쳐에 낮은 번호를 할당하여 비트율을 줄이기 위한 것이다. 이하 도 6 내지 도 12에서는 참조 픽쳐 리스트를 재배열하는 방법을 다양한 실시예들을 통해 설명하도록 한다.
도 6은 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트 재배열부(640)의 내부 블록도를 나타낸다.
참조 픽쳐 리스트 재배열부(640)는 크게 슬라이스 타입 확인부(642), 참조 픽쳐 리스트0 재배열부(643) 및 참조 픽쳐 리스트1 재배열부(645)를 포함한다. 상기 참조 픽쳐 리스트0 재배열부(643)는 제 1 식별정보 획득부(643A)와 제 1 참조번호 할당 변경부(643B)를 포함하고, 상기 참조 픽쳐 리스트1 재배열부(645)는 제 2 식별정보 획득부(645A)와 제 2 참조번호 할당 변경부(645B)를 포함한다.
슬라이스 타입 확인부(642)는 현재 슬라이스의 슬라이스 타입을 확인하여, 상기 슬라이스 타입에 따라 참조 픽쳐 리스트0 및/또는 참조 픽쳐 리스트1의 재배열을 수행할지 여부가 결정된다. 예를 들어, 현재 슬라이스의 슬라이스 타입이 I슬라이스인 경우 참조 픽쳐 리스트0 및 참조 픽쳐 리스트1 모두 재배열을 수행하지 않는다. 그리고, P슬라이스인 경우에는 참조 픽쳐 리스트0만에 대해 재배열을 수행하고, B슬라이스인 경우에는 참조 픽쳐 리스트0 및 참조 픽쳐 리스트1 모두에 대해 재배열을 수행한다.
참조 픽쳐 리스트0 재배열부(643)는 상기 현재 슬라이스의 슬라이스 타입이 I 슬라이스가 아니고, 상기 참조 픽쳐 리스트0의 재배열을 수행하라는 플래그 정보가 참일 경우에 동작한다. 제 1 식별정보 획득부(643A)는 참조번호의 할당 방법을 나타내는 식별 정보를 획득하고, 제 1 참조번호 할당 변경부(643B)에서는 상기 식별 정보에 따라 상기 참조 픽쳐 리스트0의 각 참조 픽쳐에 할당되는 참조 번호를 변경하게 된다.
마찬가지로 참조 픽쳐 리스트1 재배열부(645)는 상기 현재 슬라이스의 슬라이스 타입이 B 슬라이스이고, 상기 참조 픽쳐 리스트1의 재배열을 수행하라는 플래그 정보가 참일 경우에 동작한다. 제 2 식별정보 획득부(645A)는 참조번호의 할당 방법을 나타내는 식별 정보를 획득하고, 제 2 참조번호 할당 변경부(645B)에서는 상기 식별 정보에 따라 상기 참조 픽쳐 리스트1의 각 참조 픽쳐에 할당되는 참조 번호를 변경하게 된다.
상기 참조 픽쳐 리스트0 재배열부(643)와 상기 참조 픽쳐 리스트1 재배열부(645)를 통해 실제 인터 예측을 위해 사용되는 참조 픽쳐 리스트 정보가 생성된다. 이하 도 7에서는 상기 제 1,2 참조번호 할당 변경부(643B,645B)에서 각 참조 픽쳐에 할당되는 참조 번호를 변경하는 방법을 상세히 설명하도록 한다.
도 7은 본 발명이 적용되는 실시예로서, 참조번호 할당 변경부(643B,645B)의 내부 블록도를 나타낸다.
본 실시예에서는 상기 도 6에 나타난 참조 픽쳐 리스트0 재배열부(643)와 참조 픽쳐 리스트1 재배열부(645)를 함께 설명하도록 한다. 제 1,2 참조번호 할당 변 경부(643B,645B)는 시간적 예측을 위한 참조번호 할당 변경부(644A), 장기 참조 픽쳐를 위한 참조번호 할당 변경부(644B), 시점간 예측을 위한 참조번호 할당 변경부(644C) 및 참조번호 할당 변경 종료부(644D)를 포함한다. 제 1,2 식별정보 획득부(643A,645A)에서 획득된 식별 정보에 따라 상기 제 1,2 참조 번호 할당 변경부(643B,645B)내의 각 부분들이 동작하게 된다. 이러한 재배열 과정은 참조번호 할당 변경을 종료하라는 식별 정보가 들어올 때까지 수행된다.
예를 들어, 상기 제 1,2 식별정보 획득부(643A,645A)에서 시간적 예측을 위한 참조 번호의 할당을 변경하라는 식별 정보가 전송된 경우, 상기 시간적 예측을 위한 참조번호 할당 변경부(644A)가 동작한다. 상기 시간적 예측을 위한 참조번호 할당 변경부(644A)에서는 상기 식별 정보에 따라 픽쳐 번호의 차이값을 획득한다. 여기서 픽쳐 번호의 차이값이란, 현재 픽쳐의 픽쳐 번호와 예측된 픽쳐 번호의 차이를 의미하고, 상기 예측된 픽쳐 번호란 직전에 할당된 참조 픽쳐의 번호를 의미할 수 있다. 이렇게 획득된 상기 픽쳐 번호의 차이값을 이용하여 참조번호의 할당을 변경할 수 있다. 이 때, 상기 픽쳐 번호의 차이값은 상기 식별 정보에 따라 상기 예측된 픽쳐 번호로부터 더해지거나 빼질 수 있다.
다른 예로서, 지정한 장기 참조 픽쳐에 참조 번호를 할당하라는 식별 정보가 전송된 경우, 상기 장기 참조 픽쳐를 위한 참조번호 할당 변경부(644B)가 동작한다. 상기 장기 참조 픽쳐를 위한 참조번호 할당 변경부(644B)에서는 상기 식별 정보에 따라 지정된 픽쳐의 장기 참조 픽쳐 번호를 획득하게 된다.
또 다른 예로서, 시점간 예측을 위한 참조 번호의 할당을 변경하라는 식별 정보가 전송된 경우, 상기 시점간 예측을 위한 참조번호 할당 변경부(644C)가 동작한다. 상기 시점간 예측을 위한 참조번호 할당 변경부(644C)에서는 상기 식별 정보에 따라 시점 정보의 차이값을 획득한다. 여기서 시점 정보의 차이값이란, 현재 픽쳐의 시점 번호와 예측된 시점 번호의 차이를 의미하고, 상기 예측된 시점 번호란 직전에 할당된 참조 픽쳐의 시점 번호를 의미할 수 있다. 이렇게 획득된 상기 시점 정보의 차이값을 이용하여 참조번호의 할당을 변경할 수 있다. 이 때, 상기 시점 정보의 차이값은 상기 식별 정보에 따라 상기 예측된 시점 번호로부터 더해지거나 빼질 수 있다.
또 다른 예로서, 참조번호 할당 변경을 종료하라는 식별 정보가 전송된 경우, 상기 참조번호 할당변경 종료부(644D)가 동작한다. 상기 참조번호 할당변경 종료부(644D)에서는 상기 식별 정보에 따라 참조번호의 할당 변경을 종료하고, 그에 따라 상기 참조 픽쳐 리스트 재배열부(640)에서는 참조 픽쳐 리스트 정보를 생성하게 된다.
이처럼, 시점간 예측에 이용되는 참조 픽쳐들은 시간적 예측에 이용되는 참조 픽쳐들과 함께 관리될 수 있다. 또는 시점간 예측에 이용되는 참조 픽쳐들을 시간적 예측에 이용되는 참조 픽쳐들과는 별도로 관리할 수도 있다. 이러한 경우에는 상기 시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 새로운 정보들이 필요할 수 있다. 이러한 경우에 대해서는 도 9내지 도 12에서 상세히 설명하도록 한다. 이하 도 8에서는 상기 시점간 예측을 위한 참조번호 할당 변경부(644C)에 대하여 구체적인 실시예를 통해 살펴보도록 한다.
도 8은 본 발명이 적용되는 일실시예로서, 시점 정보를 이용하여 참조 픽쳐 리스트를 재배열하는 과정을 설명하기 위해 나타낸 것이다.
본 실시예에서는 현재 픽쳐의 시점 번호(VN)는 3, 복호 픽쳐 버퍼의 크기(DPBsize)는 4이고, 현재 슬라이스의 슬라이스 타입이 P슬라이스인 경우 참조 픽쳐 리스트0의 재배열 과정을 설명하도록 한다. 초기 예측된 시점 번호는 현재 픽쳐의 시점 번호인 3 이고, 시점간 예측을 위한 참조 픽쳐 리스트0의 최초 배열은 4,5,6,2 이다(①). 이 때, 시점 정보의 차이값을 감산하여 시점간 예측을 위한 참조 번호의 할당을 변경하라는 식별 정보가 전송되고, 상기 식별 정보에 따라 상기 시점 정보 차이값으로 1을 획득한다. 그리고 상기 예측된 시점 번호(=3)에 상기 시점 정보 차이값(=1)을 감산하여 새롭게 예측된 시점 번호(=2)가 계산된다. 즉, 시점 번호 2 를 가지는 참조 픽쳐에 시점간 예측을 위한 참조 픽쳐 리스트0의 첫번째 인덱스를 할당한다. 그리고, 이전의 첫번째 인덱스에 할당되어 있던 픽쳐는 상기 참조 픽쳐 리스트0의 제일 뒷부분으로 옮겨질 수 있다. 따라서, 재배열된 상기 참조 픽쳐 리스트0는 2,5,6,4 이다(②). 그 다음에, 다시 시점 정보의 차이값을 감산하여 시점간 예측을 위한 참조 번호의 할당을 변경하라는 식별 정보가 전송되고, 상기 식별 정보에 따라 상기 시점 정보 차이값으로 -2 를 획득한다. 그리고 상기 예측된 시점 번호(=2)에 상기 시점 정보 차이값(= -2)을 감산하여 새롭게 예측된 시점 번호(=4)가 계산된다. 즉, 시점 번호 4 를 가지는 참조 픽쳐에 시점간 예측을 위한 참조 픽쳐 리스트0의 두번째 인덱스를 할당한다. 따라서, 재배열된 상기 참조 픽쳐 리스트0는 2,4,6,5 이다(③). 그 다음에는, 참조번호 할당 변경을 종료하라는 식별 정보가 전송된 경우, 상기 식별 정보에 따라 상기 재배열된 참조 픽쳐 리스트0를 끝으로 참조 픽쳐 리스트0가 생성된다(④). 결국 최종 생성된 시점간 예측을 위한 참조 픽쳐 리스트0의 배열은 2,4,6,5 이다.
시점간 예측을 위한 참조 픽쳐 리스트0의 첫번째 인덱스를 할당한 후 나머지 픽쳐들을 재배열하는 다른 예로서, 각 인덱스에 할당되어 있던 픽쳐가 차례로 바로 뒤의 위치로 옮겨질 수 있다. 즉, 시점 번호가 4인 픽쳐에는 두번째 인덱스를 할당하고, 두번째 인덱스가 할당되어 있던 시점 번호 5인 픽쳐에는 세번째 인덱스를 할당하며, 세번째 인덱스가 할당되어 있던 시점 번호 6인 픽쳐에는 네번째 인덱스를 할당할 수 있게 된다. 따라서, 재배열된 상기 참조 픽쳐 리스트0는 2,4,5,6 이 된다. 이후 재배열되는 과정도 동일하게 적용시킬 수 있다.
상기와 같은 과정을 거쳐 생성된 참조 픽쳐 리스트는 인터 예측에 사용된다. 시점간 예측을 위한 참조 픽쳐 리스트는 시간적 예측을 위한 참조 픽쳐 리스트와 함께 하나의 참조 픽쳐 리스트로 관리될 수 있다. 또한, 별개의 참조 픽쳐 리스트로 관리될 수도 있는데, 이에 대해서는 도 9 내지 도 12에서 살펴보도록 한다.
도 9는 본 발명이 적용되는 다른 실시예로서, 참조 픽쳐 리스트 재배열부(640)의 내부 블록도를 나타낸다.
시점간 예측을 위한 참조 픽쳐 리스트를 별개의 참조 픽쳐 리스트로 관리하기 위해서는 새로운 정보들이 필요할 수 있다. 예를 들어, 먼저 시간적 예측을 위한 참조 픽쳐 리스트를 재배열하고, 경우에 따라서 시점간 예측을 위한 참조 픽쳐 리스트를 재배열하도록 구성할 수 있다.
본 실시예에서 참조 픽쳐 리스트 재배열부(640)는 크게, 시간적 예측을 위한 참조 픽쳐 리스트 재배열부(910)와 NAL 타입 확인부(960) 및 시점간 예측을 위한 참조 픽쳐 리스트 재배열부(970)를 포함한다. 그리고, 상기 시간적 예측을 위한 참조 픽쳐 리스트 재배열부(910)는 슬라이스 타입 확인부(642), 제 3 식별정보 획득부(920), 제 3 참조번호 할당 변경부(930), 제 4 식별정보 획득부(940), 제 4 참조번호 할당 변경부(950)을 포함한다. 상기 제 3 참조번호 할당 변경부(930)는 시간적 예측을 위한 참조번호 할당 변경부(930A), 장기 참조 픽쳐를 위한 참조번호 할당 변경부(930B) 및 참조번호 할당변경 종료부(930C)를 포함한다. 마찬가지로 상기 제 4 참조번호 할당 변경부(950)는 시간적 예측을 위한 참조번호 할당 변경부(950A), 장기 참조 픽쳐를 위한 참조번호 할당 변경부(950B) 및 참조번호 할당변경 종료부(950C)를 포함한다.
시간적 예측을 위한 참조 픽쳐 리스트 재배열부(910)는 시간적 예측에 이용되는 참조 픽쳐들을 재배열한다. 상기 시간적 예측을 위한 참조 픽쳐 리스트 재배열부(910)에서의 동작은 상기 도 6에서 설명한 참조 픽쳐 리스트 재배열부(640)에서 시점간 예측을 위한 참조 픽쳐에 관한 정보들을 제외하면, 그 동작이 동일하다. 따라서, 상기 도 6으로부터 유추가능하므로 이에 대한 설명은 생략하기로 한다.
NAL 타입 확인부(960)에서는 전송된 비트스트림의 NAL 타입을 확인한다. 상기 NAL 타입이 다시점 영상 코딩을 위한 NAL 인 경우, 시점간 예측을 위한 참조픽쳐 리스트 재배열부(970)를 통해 시점간 예측에 이용되는 참조 픽쳐들을 재배열하게 된다. 이렇게 생성된 시점간 예측을 위한 참조픽쳐 리스트는 시간적 예측을 위 한 참조픽쳐 리스트 재배열부(910)을 통해 생성된 시간적 예측을 위한 참조픽쳐 리스트와 함께 인터 예측을 위해 사용된다. 그러나, 상기 NAL 타입이 다시점 영상 코딩을 위한 NAL 이 아닌 경우에는 시점간 예측을 위한 참조픽쳐 리스트를 재배열하지 않는다. 이 경우에는 단지 시간적 예측을 위한 참조 픽쳐 리스트만 생성된다. 그리고, 시점간 예측을 위한 참조픽쳐 리스트 재배열부(970)는 시점간 예측에 이용되는 참조 픽쳐들을 재배열하게 된다. 이는 도 10에서 상세히 설명하도록 한다.
도 10은 본 발명이 적용되는 실시예로서, 시점간 예측을 위한 참조 픽쳐 리스트 재배열부(970)의 내부 블록도를 나타낸다.
시점간 예측을 위한 참조 픽쳐 리스트 재배열부(970)는 슬라이스 타입 확인부(642), 제 5 식별정보 획득부(971), 제 5 참조번호 할당 변경부(972), 제 6 식별정보 획득부(973) 및 제 6 참조번호 할당 변경부(974)를 포함한다.
슬라이스 타입 확인부(642)는 현재 슬라이스의 슬라이스 타입을 확인하여, 상기 슬라이스 타입에 따라 참조 픽쳐 리스트0 및/또는 참조 픽쳐 리스트1의 재배열을 수행할지 여부가 결정된다. 상기 슬라이스 타입 확인부(642)에 대한 자세한 설명은 상기 도 6으로부터 유추가능하므로 생략하기로 한다.
제 5,6 식별정보 획득부(971,973)는 참조번호의 할당 방법을 나타내는 식별 정보를 획득하고, 제 5,6 참조번호 할당 변경부(972,974)에서는 각각 상기 식별 정보에 따라 상기 참조 픽쳐 리스트0,1의 각 참조 픽쳐에 할당되는 참조 번호를 변경하게 된다. 여기서의 참조번호는 참조 픽쳐의 시점 번호만을 의미할 수 있다. 또한, 상기 참조번호의 할당 방법을 나타내는 식별 정보는 플래그 정보일 수 있다. 예를 들어, 플래그 정보가 참일 경우에는 시점 번호의 할당을 변경하고, 거짓일 경우에는 시점 번호의 재배열 과정을 종료할 수 있다. 만약 상기 플래그 정보가 참일 경우, 상기 제 5,6 참조번호 할당 변경부(972,974)는 상기 플래그 정보에 따라 시점 번호의 차이값을 획득할 수 있다. 여기서 시점 번호의 차이값이란, 현재 픽쳐의 시점 번호와 예측된 픽쳐의 시점 번호 사이의 차이를 의미하고, 상기 예측된 픽쳐의 시점 번호란 직전에 할당된 참조 픽쳐의 시점 번호를 의미할 수 있다. 이렇게 획득된 상기 시점 번호의 차이값을 이용하여 시점 번호의 할당을 변경할 수 있다. 이 때, 상기 시점 번호의 차이값은 상기 식별 정보에 따라 상기 예측된 픽쳐의 시점 번호로부터 더해지거나 빼질 수 있다.
이처럼, 시점간 예측을 위한 참조 픽쳐 리스트를 별개의 참조 픽쳐 리스트로 관리하기 위해서는 그 신택스 구조 또한 새롭게 정의할 필요가 있다. 따라서, 도 9와 도 10에서 설명한 내용에 대한 일실시예로서, 도 11a,11b 및 도 12에서는 그 신택스를 설명한다.
도 11a 및 도 11b는 본 발명이 적용되는 일실시예로서, 참조 픽쳐 리스트 재배열을 위한 신택스를 나타낸다.
도 11a는 상기 도 9에서 나타낸 시간적 예측을 위한 참조픽쳐 리스트 재배열부(910)의 동작을 신택스로 나타낸 것이다. 상기 도 9의 각 블록들과 비교해보면, 상기 슬라이스 타입 확인부(642)는 (S1),(S6)에 해당되고, 상기 제 3 식별정보 획득부(920)은 (S2), 상기 제 4 식별정보 획득부(940)은 (S7)에 해당된다. 그리고, 상기 제 3 참조번호 할당 변경부(930)의 내부 블록도들은 각각 (S3),(S4),(S5)에 해당되고, 상기 제 4 참조번호 할당 변경부(950)의 내부 블록도들은 각각 (S8),(S9),(S10)에 해당된다.
도 11b는 상기 도 9 및 도 10에서 나타낸 NAL 타입 확인부(960)와 시점간 예측을 위한 참조픽쳐 리스트 재배열부(970)의 동작을 신택스로 나타낸 것이다. 상기 도 9와 도 10의 각 블록들과 비교해보면, 상기 NAL 타입 확인부(960)는 (S11)에 해당되고, 상기 슬라이스 타입 확인부(642)는 (S12),(S15)에 해당되고, 상기 제 5 식별정보 획득부(971)는 (S13), 상기 제 6 식별정보 획득부(973)는 (S16)에 해당된다. 그리고, 상기 제 5 참조번호 할당 변경부(972)는 (S14)에 해당되고, 상기 제 6 참조번호 할당 변경부(974)는 (S17)에 해당된다.
도 12는 본 발명이 적용되는 다른 일실시예로서, 참조 픽쳐 리스트 재배열을 위한 신택스를 나타낸다.
도 12는 상기 도 9 및 도 10에서 나타낸 NAL 타입 확인부(960)와 시점간 예측을 위한 참조픽쳐 리스트 재배열부(970)의 동작을 다른 신택스의 예로 나타낸 것이다. 상기 도 9와 도 10의 각 블록들과 비교해보면, 상기 NAL 타입 확인부(960)는 (S21)에 해당되고, 상기 슬라이스 타입 확인부(642)는 (S22),(S25)에 해당되고, 상기 제 5 식별정보 획득부(971)는 (S23), 상기 제 6 식별정보 획득부(973)는 (S26)에 해당된다. 그리고, 상기 제 5 참조번호 할당 변경부(972)는 (S24)에 해당되고, 상기 제 6 참조번호 할당 변경부(974)는 (S27)에 해당된다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
상기에서 살펴본 바와 같이, 본 발명은 여러 대의 카메라에서 취득된 다시점 영상을 코딩함에 있어서, 시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 보다 효율적으로 코딩을 수행할 수 있게 된다. 또한, 시점간 예측을 위한 참조 픽쳐 리스트를 초기화하는 방법 및 재배열하는 방법을 제공함으로써 보다 효율적으로 코딩을 수행할 수 있게 된다. 본 발명을 이용하여 시점간 예측(inter-view prediction)을 수행할 때, DPB(Decoded Picture Buffer)의 부담을 감소시켜 코딩 속도를 향상시킬 수 있을 뿐만 아니라 보다 정확한 예측이 가능하여 전송할 비트수를 감소시킬 수도 있다.

Claims (12)

  1. 비디오 신호로부터 참조 번호의 할당 방법을 나타내는 식별 정보를 획득하는 단계와;
    상기 식별 정보에 따라 시점간 예측을 위한 참조 픽쳐들이 재배열되는 단계; 및
    상기 재배열된 참조 픽쳐들을 이용하여 상기 비디오 신호를 디코딩하는 단계를 포함하되,
    상기 참조 번호는 참조 픽쳐의 시점을 식별하는 시점 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  2. 제 1항에 있어서, 상기 시점간 예측을 위한 참조 픽쳐들이 재배열되는 단계는,
    상기 시점 정보의 차이값을 획득하는 단계와;
    상기 차이값을 이용하여 상기 참조 픽쳐의 시점 정보 할당을 변경하는 단계;
    를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  3. 제 1항에 있어서,
    상기 참조 번호의 할당 방법을 나타내는 식별 정보는 슬라이스 헤더 영역으로부터 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  4. 제 2항에 있어서,
    상기 시점 정보의 차이값은 슬라이스 헤더 영역으로부터 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  5. 제 1항에 있어서, 상기 비디오 신호 디코딩 방법은,
    NAL 단위의 종류를 나타내는 식별 정보에 따라 현재 NAL이 다시점 영상 코딩된 NAL인지를 확인하는 단계를 더 포함하고,
    상기 현재 NAL이 다시점 영상 코딩된 NAL인 경우에만 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  6. 제 5항에 있어서, 상기 현재 NAL이 다시점 영상 코딩된 NAL인지를 확인하는 단계는,
    슬라이스 헤더 영역에서 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  7. 제 1항에 있어서, 상기 비디오 신호 디코딩 방법은,
    상기 식별 정보에 따라 시간적 예측을 위한 참조 픽쳐들이 재배열되는 단계를 더 포함하되,
    상기 시점간 예측을 위한 참조 픽쳐들이 재배열되는 단계는 상기 시간적 예 측을 위한 참조 픽쳐들이 재배열되는 단계 이후에 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  8. 제 7항에 있어서, 상기 시간적 예측을 위한 참조 픽쳐들이 재배열되는 단계는,
    참조 픽쳐 번호의 차이값을 획득하는 단계와;
    상기 차이값을 이용하여 상기 참조 픽쳐 번호의 할당을 변경하는 단계;
    를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  9. 제 7항에 있어서, 상기 시간적 예측을 위한 참조 픽쳐들이 재배열되는 단계는,
    상기 식별 정보에 따라 장기 참조 픽쳐 번호값을 획득하는 단계와;
    상기 장기 참조 픽쳐 번호값을 이용하여 상기 참조 픽쳐 번호의 할당을 변경하는 단계
    를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  10. 제 7항에 있어서, 상기 비디오 신호 디코딩 방법은,
    상기 식별 정보에 따라, 상기 시간적 예측을 위한 참조 픽쳐들과 상기 시점간 예측을 위한 참조 픽쳐들의 재배열 과정이 종료되는 것을 특징으로 비디오 신호 디코딩 방법.
  11. 제 1항에 있어서, 상기 비디오 신호 디코딩 방법은,
    현재 슬라이스의 슬라이스 타입을 확인하는 단계와;
    상기 슬라이스 타입에 따라 참조 픽쳐 리스트0 또는 참조 픽쳐 리스트1의 재배열을 수행할지 여부를 나타내는 플래그 정보를 획득하는 단계
    를 더 포함하고,
    상기 플래그 정보에 따라 상기 참조 픽쳐 리스트0 또는 상기 참조 픽쳐 리스트1의 재배열이 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  12. 비디오 신호로부터 참조 번호의 할당 방법을 나타내는 식별 정보를 획득하는 식별 정보 획득부와;
    상기 식별 정보에 따라 시점간 예측을 위한 참조 픽쳐들을 재배열하는 참조 번호 할당 변경부를 포함하되,
    상기 참조 번호는 참조 픽쳐의 시점을 식별하는 시점 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
KR1020070033405A 2006-05-19 2007-04-04 비디오 신호의 디코딩 방법 및 장치 KR20070111969A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US80139806P 2006-05-19 2006-05-19
US60/801,398 2006-05-19
US84003206P 2006-08-25 2006-08-25
US60/840,032 2006-08-25

Publications (1)

Publication Number Publication Date
KR20070111969A true KR20070111969A (ko) 2007-11-22

Family

ID=39090679

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020070033403A KR20070111968A (ko) 2006-05-19 2007-04-04 비디오 신호의 디코딩 방법 및 장치
KR1020070033405A KR20070111969A (ko) 2006-05-19 2007-04-04 비디오 신호의 디코딩 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020070033403A KR20070111968A (ko) 2006-05-19 2007-04-04 비디오 신호의 디코딩 방법 및 장치

Country Status (1)

Country Link
KR (2) KR20070111968A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860545B2 (en) 2008-01-07 2018-01-02 Samsung Electronics Co., Ltd. Method and apparatus for multi-view video encoding and method and apparatus for multiview video decoding

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911012B1 (ko) * 2011-04-26 2018-12-19 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860545B2 (en) 2008-01-07 2018-01-02 Samsung Electronics Co., Ltd. Method and apparatus for multi-view video encoding and method and apparatus for multiview video decoding

Also Published As

Publication number Publication date
KR20070111968A (ko) 2007-11-22

Similar Documents

Publication Publication Date Title
KR100949981B1 (ko) 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR20070111969A (ko) 비디오 신호의 디코딩 방법 및 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination