KR20080114500A - 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템 - Google Patents

기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템 Download PDF

Info

Publication number
KR20080114500A
KR20080114500A KR1020080040079A KR20080040079A KR20080114500A KR 20080114500 A KR20080114500 A KR 20080114500A KR 1020080040079 A KR1020080040079 A KR 1020080040079A KR 20080040079 A KR20080040079 A KR 20080040079A KR 20080114500 A KR20080114500 A KR 20080114500A
Authority
KR
South Korea
Prior art keywords
bitstream
view
encoded
video signal
unit
Prior art date
Application number
KR1020080040079A
Other languages
English (en)
Other versions
KR101345544B1 (ko
Inventor
조숙희
허남호
김진웅
이수인
이영렬
임성창
Original Assignee
한국전자통신연구원
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 세종대학교산학협력단 filed Critical 한국전자통신연구원
Priority to US12/142,863 priority Critical patent/US20080317124A1/en
Priority to PCT/KR2008/003628 priority patent/WO2009002088A1/en
Publication of KR20080114500A publication Critical patent/KR20080114500A/ko
Application granted granted Critical
Publication of KR101345544B1 publication Critical patent/KR101345544B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점 비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출 시스템을 개시한다. 다시점 비디오 부호화 시스템은, 상기 비디오 신호를 기본시점 및 다시점으로 부호화하는 부호화부 및 상기 기본시점에 대한 기본시점 식별자를 다시점 비디오 부호화를 위해 확장된 파라미터 셋에 추가하는 기본시점 식별자 추가부를 포함한다.
MVC(Multi-view Video Coding), AVC(Advanced Video Coding), 기본시점, 시점 랜덤 억세스, 부호화, 복호화

Description

기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점 비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출 시스템{MULTI-VIEW VIDEO CODING SYSTEM, DECODING SYSTEM, BITSTREAM EXTRACTING SYSTEM FOR DECODING BASE VIEW AND SUPPORTING VIEW RANDOM ACCESS}
본 발명은 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점 비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출 시스템에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발].
다시점 비디오 부호화(MVC: Multi-view Video Coding)는 사용자에게 보다 실감나는 입체감을 제공하기 위해 개발되고 있는 다시점 비디오는 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고 공간적으로 처리하여 여러 방향의 다양한 시점 영상을 사용자에게 제공하는 3차원 영상처리 기술의 새로운 분야이다. 이러한 다시점 비디오는 사용자에게 시청 시점을 자유롭게 선택할 수 있는 기회를 주고 넓은 화면을 통한 3차원 입체감을 느낄 수 있는 장점을 가진다. 그러나 다시점 비디오는 시점 수가 증가하는 만큼 데이터 양도 증가하므로 효율적인 데이터 처리 방법이 요구된다.
현재 동화상전문가그룹(MPEG: Moving Picture Experts Group) 및 연합비디오팀(JVT: Joint Video Team)에서 진행중인 다시점 비디오 부호화(MVC: Multi-view Video Coding) 표준화의 요구사항 정의에서 기본시점(base view)이 기존 어드밴스드 비디오 부호화(AVC: Advanced Video Coding)의 복호화기에서 복호가 가능하도록 하기 위한 역호환성(backward compatibility)을 언급하고 있다.
즉, 어떤 임의의 시간축상에서, 한 개의 시점에 대응하는 비트스트림은 어드밴스드 비디오 부호화에 따라야 한다. 다시 말해, 다시점 비디오 부호화기에서 부호화되는 N개의 시점에 대한 영상 중에서 1개의 시점에 대한 영상이 어드밴스드 비디오 부호화에 의하여 복호화가 가능하도록 함으로써, 기존 단말을 가진 사용자에게도 다시점 비디오 콘텐츠가 공유될 수 있도록 할 수 있다.
또한, 시점 임의 접근(view random access)에 대해서도 언급하고 있다. 즉, 다시점 비디오 부호화는 시점에서의 임의 접근을 지원하여야 한다. 예를 들어, 다른 시점에 있는 프레임의 최소 복호에 의하여 원하는 시점에 있는 프레임에 접근할 수 있어야 한다. 이러한 시점 임의 접근은 사용자의 요구에 따라 원하는 시간대에 있는 임의 시점에 대한 영상으로 짧은 시간에 접근할 수 있도록 하여 사용자에게 보다 원활한 콘텐츠를 제공하기 위하여 필요하다.
본 발명은 역호환성(backward compatibility)을 제공을 위해 다시점 비디오 부호화(MVC: Multi-view Video Coding)에서 기본시점(base view)으로 부호화된 영상이 기존 어드밴스드 비디오 부호화(AVC: Advanced Video Coding)의 복호화기에서 복호가 가능하도록 하는 다시점 비디오 부호화 시스템을 제공한다.
본 발명은 다른 시점으로부터의 참조 없이 부호화되는 독립시점을 별도로 정의하여 독립적으로 복호화해야 하는 시점이 복수 개 존재하는 응용을 지원하고, 시점 임의 접근(view random access)을 용이하게 지원하기 위한 다시점 비디오 부호화 시스템을 제공한다.
본 발명의 일실시예에 따른 다시점 비디오 부호화 시스템은 상기 비디오 신호를 기본시점 및 다시점으로 부호화하는 부호화부 및 상기 기본시점에 대한 기본시점 식별자를 파라미터 셋에 추가하는 기본시점 식별자 추가부를 포함한다. 여기서, 상기 기본시점은 전체 시점 중 하나의 시점으로 한정될 수 있다.
본 발명의 일측면에 따르면, 상기 파라미터 셋은 상기 부호화된 비디오 신호에 선행하여 복호화 시스템으로 전송될 수 있다. 이때, 상기 기본시점으로 부호화된 비디오 신호는 선행하여 전송된 파라미터 셋의 기본시점 식별자에 기초하여 상기 복호화 시스템에서 확인될 수 있다.
본 발명이 일측면에 따르면, 상기 파라미터 셋은 상기 부호화된 비디오 신호 의 전송 시 실제 부호화된 비디오 신호에 대한 네트워크 추상 계층(Network Abstraction Layer, NAL) 보다 선행하여 전송되는 네트워크 추상 계층에 포함될 수 있다.
본 발명의 일측면에 따르면, 상기 부호화부는 상기 비디오 신호를 독립시점으로 더 부호화할 수 있고, 이때, 상기 다시점 비디오 부호화 시스템은 상기 독립시점에 대한 독립시점 플래그를 네트워크 추상 계층 유닛(NAL unit)의 헤더에 추가하는 독립시점 플래그 추가부를 더 포함할 수 있다. 여기서, 상기 독립시점으로 부호화되는 비디오 신호는 다른 시점으로부터의 참조 없이 부호화될 수 있고, 상기 독립시점 플래그는 상기 네트워크 추상 계층 유닛에 해당하는 비디오 신호의 독립시점 여부를 나타낼 수 있다.
본 발명의 일측면에 따르면, 상기 다시점 비디오 부호화 시스템은 상기 파라미터 셋에 대한 제1 네트워크 추상 계층 및 상기 부호화된 비디오 신호에 대한 제2 네트워크 추상 계층을 적어도 포함하는 비트스트림을 생성하는 비트스트림 생성부를 더 포함할 수 있고, 상기 제1 네트워크 추상 계층은 상기 제2 네트워크 추상 계층에 선행하여 전송될 수 있다.
본 발명의 일실시예에 따른 복호화 시스템은 상기 부호화된 비디오 신호에 대한 비트스트림을 수신하는 비트스트림 수신부 및 상기 수신된 비트스트림에 포함된 파라미터 셋에 기초하여 기본시점에 해당하는 비트스트림을 복호화하는 복호화부를 포함한다.
본 발명의 일실시예에 따른 비트스트림 추출 시스템은 다시점 비디오 부호화 시스템으로부터 비트스트림을 수신하는 수신부, 파라미터 셋 및 네트워크 추상 계층 유닛의 헤더 중 적어도 하나에 기초하여 상기 비트스트림 중 적어도 일부의 비트스트림을 추출하는 비트스트림 추출부 및 상기 추출된 적어도 일부의 비트스트림을 해당하는 복호화 시스템으로 전송하는 전송부를 포함한다.
본 발명에 따르면, 역호환성(backward compatibility)을 제공을 위해 다시점 비디오 부호화(MVC: Multi-view Video Coding)에서 기본시점(base view)으로 부호화된 영상이 기존 어드밴스드 비디오 부호화(AVC: Advanced Video Coding)의 복호화기에서 복호가 가능하도록 할 수 있다.
본 발명에 따르면, 다른 시점으로부터의 참조 없이 부호화되는 독립시점을 별도로 정의하여 독립적으로 복호화해야 하는 시점이 복수 개 존재하는 응용을 지원하고, 시점 임의 접근(view random access)을 용이하게 지원할 수 있다.
이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명하기로 한다.
본 명세서에서 '어드밴스드 비디오 부호화(Advanced Video Coding, AVC)'라 함은 AVC/H.264의 규격에 따른 부호화 방법을 의미할 수 있다. AVC/H.264에서는 네트워크 이식성 향상을 위해 네트워크 추상 계층(Network Abstraction Layer, 이하 NAL)을 채택하고 있다. 상기 NAL의 채택으로 AVC/H.264에서의 비트스트림은 여러 다양한 네트워크를 통해 쉽게 전송될 수 있다. 즉, AVC/H.264는 다양한 네트워 크에서 자유롭게 이용될 수 있도록, 특히 서로 다른 이종 네트워크 간에 손쉬운 데이터 이동이 일어날 수 있도록 하기 위해서 동영상 신호를 압축하는 기능을 담당하는 계층과 이 정보를 네트워크 상에서 전송될 수 있는 형태로 데이터를 특정한 형태로 변환하는 기능을 담당하는 계층으로 분할하였다. 이 중 압축기능을 담당하는 계층을 비디오 코딩 계층(Video Coding Layer, 이하 VCL)이라고 부르며, 네트워크 적
응기능을 담당하는 계층을 NAL이라고 부른다. 이때, 다양한 종류의 네트워크를 통해 비트스트림 혹은 패킷 형태의 압축 데이터가 전송될 수 있는데, 이 데이터는 모든 네트워크에 걸쳐 동일한 데이터 형식인 NAL 유닛(unit)으로 재구성되어 있다. 아래 표 1은 AVC/H.264의 규격에서 네트워크 추상 계층 유닛 타입(이하, nal_unit_type) 코드들과 그 코드들의 정의 내용을 보이고 있다. 하기 표 1에서 1부터 5까지의 nal_unit_type을 갖는 NAL 유닛을 VCL NAL 유닛이라 하고, 그 나머지 NAL 유닛은 non-VCL 유닛이라 한다.
nal_unit_type NAL 유닛의 내용과 RBSP 구문 구조 C
0 Unspecified
1 Coded slice of a non-IDR picture slice_layer_without _partitioning_rbsp() 2, 3, 4
2 Coded slice data partition A slice_data_partition _a_layer_rbsp() 2
3 Coded slice data partition B slice_data_partition _b_layer_rbsp() 3
4 Coded slice data partition C slice_data_partition _c_layer_rbsp() 4
5 Coded slice of an IDR picture slice_layer_without _partitioning_rbsp() 2, 3
6 supplemental enhancement information (SEI) sei_rbsp() 5
7 Sequence parameter set seq_parameter _set_rbsp() 0
8 Picture parameter set pic_parameter _set_rbsp() 1
9 Access unit delimiter access_unit_delimiter _rbsp() 6
10 End of sequence end_of_seq_rbsp() 7
11 End of stream end_of_stream_rbsp() 8
12 Filter data filter_data_rbsp() 9
3...23 Reserved
23...31 Unspecified
다시점 비디오 부호화(Multi-view Video Coding, MVC)를 이용하는 콘텐츠는 부호화된 비트스트림이 한 시점의 비디오만을 디코딩하는 어드밴스드 비디오 부호화의 복호화기 또는 다시점 비디오를 전부 디코딩하는 다시점 비디오 부호화의 복호화기로 입력될 수 있다. 이때, 상기 비트스트림의 형태는 아래와 같이 2가지 경우로 분류될 수 있다.
1. 다시점 비디오 부호화에 의해 부호화된 비트스트림이 전체적으로 한 개의 비트스트림으로 복호화기에 입력되는 경우(비트스트림 추출기(bitstream extractor)가 없는 경우).
2. 다시점 비디오 부호화에 의해 부호화된 비트스트림이 NAL 유닛에 대한 정보를 이용하여 필요한 NAL만이 추출된 비트스트림으로 복호화기에 입력되는 경우(비트스트림 추출기가 있는 경우).
도 1은 다시점 비디오 부호화에 의해 부호화된 비트스트림이 전체적으로 한 개의 비트스트림으로 복호화기에 입력되는 응용시스템의 일례이다. 즉, 도 1은 상술한 두 가지 경우 중 첫 번째 경우를 나타내는 일례로서 다시점 비디오 부호화 부호화기(101)의 후단이나 다시점 비디오 부호화 복호화기(102) 또는 어드밴스드 비디오 부호화 복호화기(103)의 전단에 비트스트림 추출기가 없는 경우를 나타낸다. 이때, 다시점 비디오 부호화 복호화기(102)는 입력되는 상기 부호화된 비트스트림을 아무런 문제 없이 복호할 수 있다.
그러나, 어드밴스드 비디오 부호화 복호화기(103)는 입력되는 상기 부호화된 비트스트림 내에서 기본시점(base view)의 수가 복수이면 한 시점의 복호가 불가능하다. 이는 기본시점에 대한 부호화된 슬라이스 유닛(coded slices unit)에 프리픽스(prefix) NAL 유닛이 선행하기 때문이다. 도 2는 부호화된 슬라이스 유닛의 일례이다. 즉, 다시점 비디오 부호화에서는 'nal_unit_type = 1~5'(201)로 설정되는 기본시점의 부호화된 슬라이스 유닛(coded slices unit)은 도 2에서와 같이 'nal_unit_type = 14'(202)와 같은 타입의 프리픽스 NAL 유닛이 선행된다. 여기서, 'nal_unit_type = 14'(202)는 NAL 유닛의 종류를 나타내는 식별자인 nal_unit_type 중에서 예약된 nal_unit_type을 통해 다시점 비디오 부호화에서 기본시점에 대한 부호화된 슬라이스 유닛을 나타내기 위해 정의될 수 있고, 'nal_unit_header_svc_mvc_extention()'만 설정될 수 있다.
다시 말해, 다시점 비디오 부호화 부호화기(101)에서 도 2의 일례와 같이 상기 프리픽스 NAL 유닛이 정의되면, 다시점 비디오 복호화에 필요한 헤더 정보를 정의하는 'nal_unit_header_svc_mvc_extension()' 구문을 실행하게 되며, 상기 프리픽스 NAL 유닛에 뒤이어 오는 상기 기본시점의 상기 부호화된 슬라이스 유닛에서 시점 식별자 'view_id'의 정보를 얻게 된다. 그러나, 어드밴스드 비디오 부호화 복호화기(103)는 표 1의 15행에서와 같이 상기 프리픽스 NAL 유닛을 인식하지 못하기 때문에 뒤이어 입력되는 NAL 유닛에 대한 상기 시점 식별자를 얻지 못하고, 단순히 'nal_unit_type = 1~5'(201)로 설정된 부호화된 슬라이스 유닛을 복호하게 된다. 이때, 상술한 바와 같이 상기 기본시점의 수가 복수이면, 'nal_unit_type = 1~5'(201)로 설정된 상기 부호화된 슬라이스 유닛이 2개 이상의 시점에 대한 비트스트림이 서로 참조를 통해 부호화되었기 때문에 어드밴스드 비디오 부호화 복호화기(103)는 상기 비트스트림을 정상적으로 복호하지 못하게 된다. 따라서, 다시점 비디오 부호화에서 기본시점은 한 개로만 설정되어야 한다. 그러나, 다시점 비디오 부호화의 응용에 따라서, 독립적으로 복호화되어야 하는 시점이 복수 개 존재해야 하는 응용이 존재한다.
도 3은 다시점 비디오 부호화에 의해 부호화된 비트스트림이 NAL 유닛에 대한 정보를 이용하여 필요한 NAL만이 추출된 비트스트림으로 복호화기에 입력되는 응용 시스템의 일례이다. 즉, 도 3은 상술한 두 가지 경우 중 두 번째 경우를 나타내는 일례로서 다시점 비디오 부호화 부호화기(101)의 후단이나 다시점 비디오 부호화 복호화기(102) 또는 어드밴스드 비디오 부호화 복호화기(103)의 전단에 비트스트림 추출기가 존재하는 경우를 나타낸다. 이 경우, 상술한 바와 같이 다시점 비디오 부호화 부호화기(301)에서 부호화된 비트스트림은 비트스트림 추출기(302)에서 NAL 유닛에 대한 정보를 이용하여 필요한 NAL에 대한 비트스트림이 추출되어 다시점 비디오 부호화 복호화기(303) 또는 어드밴스드 비디오 부호화 복호화기(304)로 입력된다.
이 경우에도 다시점 비디오 부호화 부호화기(301)에서 출력되는 비트스트림이 다시점 비디오 부호화 복호화기(303)로 입력될 때는 상기 비트스트림을 아무런 문제없이 복호할 수 있고, 어드밴스드 비디오 부호화 복호화기(304)에서 독립적으로 복호화해야 하는 시점이 복수 개 존재하는 응용을 지원하도록 하기 위해서는, 상기 독립시점에 대한 정보를 통해 비트스트림 추출기(302)에서 상기 독립시점으로 부호화된 비디오 신호에 대한 비트스트림을 추출하여 어드밴스드 비디오 부호화 복호화기(304)로 입력될 수 있도록 지원해야 한다.
따라서, 본 발명의 일실시예에서는 기본시점에 대한 기본시점 식별자를 다시점 비디오 부호화를 위해 확장된 시퀀스 파라미터 셋에 추가하여 어드밴스드 비디오 부호화와의 역호환성을 지원한다. 또한, 기본시점과 마찬가지로 다른 시점으로부터의 참조 없이 부호화되는 독립시점을 별도로 정의함으로써 복호화해야 하는 시점이 복수 개 존재해야 하는 응용도 지원하고, 시점 임의 접근이 용이하도록 지원한다.
도 4는 본 발명의 일실시예에 있어서, 다시점 비디오 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 여기서, 본 발명의 일실시예에 따른 다시점 비디오 부호화 시스템(400)은 복수의 카메라를 통해 촬영된 비디오 신호를 다시점 비디오 부호화를 통해 부호화한다. 이때, 다시점 비디오 부호화 시스템(400)은 도 4에 도시된 바와 같이 부호화부(401), 기본시점 식별자 추가부(402) 및 독립시점 플래그 추가부(403)를 포함한다.
부호화부(401)는 상기 비디오 신호를 기본시점 및 다시점으로 부호화한다. 이때, 상기 기본시점은 전체 시점 중 하나의 시점으로 한정될 수 있고, 상기 기본시점에 해당하는 비디오 신호는 다른 시점으로부터의 참조 없이 부호화될 수 있다.
기본시점 식별자 추가부(402)는 상기 기본시점에 대한 기본시점 식별자를 파라미터 셋에 추가한다. 이때, 상기 파라미터 셋은 상기 부호화된 비디오 신호에 선행하여 복호화 시스템(410)으로 전송될 수 있다. 즉, 상기 기본시점으로 부호화된 비디오 신호는 선행하여 전송된 파라미터 셋의 기본시점 식별자에 기초하여 상기 복호화 시스템에서 확인될 수 있다. 보다 자세하게, 상기 파라미터 셋은 상기 부호화된 비디오 신호의 전송 시 실제 부호화된 비디오 신호에 대한 NAL 보다 선행하여 전송되는 NAL에 포함될 수 있다.
도 5는 비트스트림 구조의 일례이다. 도 5에서 비트스트림(500)은 5개의 NAL로 구성되어 있고, 각각의 NAL은 NAL 유닛과 RBSP(Raw Byte Sequence Payload)로 구성되어 있다. 여기서, 상기 RBSP에는 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 등의 정보를 알려주는 파라미터 셋이나 VCL에 해당하는 슬라이스 데이터가 포함될 수 있다. 또한, 상기 NAL 유닛의 헤더에는 해당하는 비디오 신호의 시점 식별자가 포함될 수 있다.
즉, 기본시점 식별자 추가부(402)에서 실제 부호화된 비디오 신호에 대한 NAL 보다 먼저 전송되는 상기 SPS와 같은 파라미터 셋에 상기 기본시점에 대한 기본시점 식별자를 추가함으로써, 이후 비트스트림을 수신한 복호화 시스템(410)이 상기 기본시점 식별자를 얻은 후 상기 NAL 유닛의 헤더의 시점 식별자와 비교하여 기본시점으로 부호화된 비디오 신호에 대한 NAL을 효율적으로 확인할 수 있다.
표 2는 동화상전문가그룹(Moving Picture Experts Group, MPEG) 및 연합비디오팀(Joint Video Team, JVT)에서 정의한 연합 다시점 비디오 모델(Joint Multi-view Video Model, JMVM)의 구문 중 'seq_parameter_set_mvc_extension()' 구문에 한 개의 시점으로 한정된 기본시점에 대한 기본시점 식별자(base_view_id)를 정의(표 2의 3행)하고 있다. 즉, 표 2에서와 같이 기존의 어드밴스드 비디오 부호화 복호화기에서 상기 기본시점 식별자를 통해 기본시점으로 부호화된 비디오 신호의 싱(parsing)하지 않고도 복호화할 수 있게 된다. 즉, 효율적으로 다시점 비디오 부호화와 어드밴스드 비디오 부호화간의 역호환성(backward compatibility)를 제공할 수 있게 된다.
seq_parameter_set_mvc_extension(){ C Descriptor
mum _ views _ minus _1 ue(v)
base _ view _ id ue(v)
for(i = 0; i <= num_views_minus_1; i++)
view _ id [i] ue(v)
for(i = 0; i <= num_views_minus_1; i++){
num _ anchor _ refs _ l0 [i] ue(v)
for(j = 0; j <= num_anchor_refs_l0[i]; j++)
anchor _ ref _ l0 [i][j] ue(v)
num _ anchor _ refs _ l1 [i] ue(v)
for(j = 0; j <= num_anchor_refs_l1[i]; j++)
anchor _ ref _ l0 [i][j] ue(v)
}
for(i = 0; i <= num_views_minus_1; i++){
num _ non _ anchor _ refs _ l0 [i] ue(v)
for(j = 0; j <= num_ non_anchor_refs_l0[i]; j++)
non _ anchor _ ref _ l0 [i][j] ue(v)
num _ non _ anchor _ refs _ l1 [i] ue(v)
for(j = 0; j <= num_ non_anchor_refs_l1[i]; j++)
non _ anchor _ ref _ l1 [i][j] ue(v)
}
}
여기서, 상기 'num_views_minus_1'는 상기 비트스트림에서 부호화된 시점의 전체 수보다 1 작은 수를 의미할 수 있다. 예를 들어, 상기 'num_views_minus_1'는 0에서 1023의 범위에 속한 수를 의미할 수 있다.
또한, 상기 'base_view_id'는 상기 기본 시점의 'view_id'를 의미할 수 있고, 상기 'view_id[i]'는 변수 'i'에 의해 지시되는 부호화 순서를 갖는 시점의 'view_id'를 나타낼 수 있다.
상기 'num_anchor_refs_ l0[i]'는 'RefPicList()'를 위해 가능한 내부-시점 예측 참조의 수를 나타낼 수 있고, 상기 'RefPicList()'는 상기 'view_id[i]'와 동일한 'view_id'를 갖는 앵커 픽쳐(anchor ficture)를 위해 이용되는 구문을 의미할 수 있다. 이때, 상기 'num_anchor_refs_ l0[i]'의 값은 참조 프레임의 수인 'num_ref_frames' 이하일 수 있다.
상기 'ue(v)'는 v-비트를 가진 부호가 없는 정수형 Exp-Golomb 코드를 의미할 수 있다.
또한, 부호화부(401)는 상기 비디오 신호를 독립시점으로 더 부호화할 수 있고, 이때, 도 4에 도시된 독립시점 플래그 추가부(403)는 상기 독립시점에 대한 독립시점 플래그를 NAL 유닛의 헤더에 추가한다. 여기서, 상기 독립시점으로 부호화되는 비디오 신호는 다른 시점으로부터의 참조 없이 부호화될 수 있다. 이는 독립적으로 복호화해야 하는 시점이 다수개 존재하는 응용이 존재하고, 상기 응용에 대해 시점 랜덤 억세스를 지원하기 위함이다.
표 3은 동화상전물가그룹 및 연합비디오팀에서 정의한 연합 다시점 비디오 모델의 구문 중 'nal_unit_header_svc_mvc_extension()' 구문을 나타내고, 표 4는 'nal_unit_header_svc_mvc_extension()' 구문을 변경하여 독립시점 플래그를 추가한 일례를 나타낸다. 즉, 표 4는 본 발명의 일실시예에 따른 다시점 비디오 부호화 시스템(400)에서 헤더 정보에 상기 독립시점 플래그를 추가한 일례를 나타낸다.
nal_unit_header_svc_mvc_extension(){ C Descriptor
svc _ mvc _ flag ALL u(1)
if(!svc_mvc_flag){
idr _ flag ALL u(1)
priority _ id ALL u(6)
temporal _ id ALL u(3)
dependency _ id ALL u(3)
quality _ id ALL u(2)
layer _ base _ flag ALL u(1)
use _ base _ prediction _ flag ALL u(1)
discardable _ flag ALL u(1)
output _ flag ALL u(1)
reserved _ zero _ four _ bits ALL u(3)
}else{
priority _ id ALL u(6)
temporal _ id ALL u(3)
anchor _ pic _ flag ALL u(1)
view _ id ALL u(10)
idr _ flag ALL u(1)
inter _ view _ flag ALL u(1)
reserved _ zero _ one _ bit ALL u(1)
}
nalUnitHeaderBytes += 3
}
nal_unit_header_svc_mvc_extension(){ C Descriptor
svc _ mvc _ flag ALL u(1)
if(!svc_mvc_flag){
idr _ flag ALL u(1)
priority _ id ALL u(6)
temporal _ id ALL u(3)
dependency _ id ALL u(3)
quality _ id ALL u(2)
layer _ base _ flag ALL u(1)
use _ base _ prediction _ flag ALL u(1)
discardable _ flag ALL u(1)
output _ flag ALL u(1)
reserved _ zero _ four _ bits ALL u(3)
nalUnitHeaderBytes += 3
}else{
priority _ id ALL u(6)
temporal _ id ALL u(3)
inter _ view _ flag ALL u(1)
If(nal_unit_type == 20){
anchor _ pic _ flag ALL u(1)
view _ id ALL u(10)
idr _ flag ALL u(1)
Independent _ view _ flag ALL u(1)
nalUnitHeaderBytes += 3
}else{
reserved _ zero _ five _ bits ALL u(5)
nalUnitHeaderBytes += 2
}
}
}
여기서, 상기 'priority_id'는 상기 NAL 유닛을 위한 우선순위를 나타낼 수 있다. 상기 'priority_id'는 값이 작을수록 더 높은 우선순위를 의미할 수 있다. 상기 NAL 유닛이 프리픽스(prefix) NAL 유닛인 경우, 상기 우선순위 식별자는 복호화 순서에서 상기 프리픽스 NAL 유닛에 바로 뒤따르는 조합된 NAL 유닛에 적용될 수 있다. 상기 'priority_id'의 가능한 어떤 값을 'pid'라고 하면, non-VCL(video coding layer) NAL 유닛 및 SEI(Supplemental Enhancement Information) 메시지뿐만 아니라 상기 'pid' 보다 큰 'priority_id'를 갖는 모든 VCL NAL 유닛을 폐기함으로써 얻어질 수 있는 비트스트림은 추천 국제 표준을 따를 수 있다.
상기 'temporal_id'는 상기 NAL 유닛의 일시적인 확장성의 레벨을 의미할 수 있다. 하나의 NAL을 위한 'temporal_id'가 존재하지 않는다면, 상기 'temporal_id'의 값은 조합된 프리픽스 네트워크 계층 단계의 'temporal_id'의 값으로 추정될 수 있다.
상기 'inter_view_flag'는 0의 값을 가질 때 현재 NAL 유닛에서 부호화된 픽쳐(picture)가 내부 시점 예측에 이용되지 않음을, 1의 값을 가질 때 상기 부호화된 픽쳐가 상기 내부 시점 예측에 이용됨을 각각 의미할 수 있다.
상기 'reserved_zero_one_bit' 및 상기 'reserved_zero_five_bit'는 0의 값을 가질 것이다. 상기 'reserved_zero_one_bit' 및 상기 'reserved_zero_five_bit'의 다른 값은 후에 ITU-T | ISO/IEC에 의해 정의될 수 있다. 디코더는 상기 'reserved_zero_one_bit' 및 상기 'reserved_zero_five_bit'의 값을 무시할 수 있다.
상기 기본시점이 한 개의 시점으로 한정되면, 표 3에서와 같이 기존에 'nal_unit_header_svc_mvc_extension()' 구문에 정의되어 있는 'anchor_pic_flag(1bit)', 'view_id(10bit)' 및 'idr_flag(1bit)'는 NAL 유닛에 대한 유형을 나타내는 'nal_unit_type'값에 의하여 알 수 있는 값이므로 표 4와 같이 변경함으로써 부호화 비트를 줄일 수 있다.
즉, 'nal_unit_type = 14'로 설정되는 프리픽스 NAL 유닛을 따르는 'nal_unit_type = 1~5'로 설정된 NAL에서 슬라이스 유형을 나타내는 'slice_type'에 의하여 상기 'anchor_pic_flag(1bit)'에 대한 정보를 얻을 수 있다. 예를 들어, 상기 'slice_type'의 값이 2, 4, 7 및 9인 경우에 상기 'anchor_pic_flag'의 값은 1을, 그렇지 않은 경우에 상기 'anchor_pic_flag'의 값은 0을 갖게 된다.
또한, 상기 'seq_parameter_set_mvc_extension()' 구문이 상기 기본시점의 기본시점 식별자를 위한 정보를 포함한다면, 'nal_unit_type = 1~5'로 설정된 NAL 유닛의 헤더를 통해 해당 NAL이 상기 기본시점에 대응됨을 간편하게 알 수 있다. 따라서, 상기 프리픽스 NAL 유닛이 상기 기본시점 식별자를 위한 정보를 필요로 하지 않게 된다.
뿐만 아니라, 상기 'idr_flag(1bit)'는 상기 'nal_unit_type = 14'를 따르는 'nal_unit_type'에 의해 알 수 있다. 즉, 상기 'nal_unit_type = 5'인 경우 슬라이스는 IDR(Instantaneous Decoding Refresh) 픽쳐이고, 그렇지 않은 경우, non-IDR 픽쳐이다.
내부-시점 예측(inter-view prediction) 없이 독립적으로 부호화된 독립시점의 NAL 유닛은 예약된 nal_unit_type 중 하나인 'nal_unit_type = 20'으로 설정될 수 있고, 이 경우, NAL 유닛의 헤더만을 체크함으로써 독립시점 여부를 확인할 수 있다. 기본시점으로 부호화된 NAL 유닛은 'nal_unit_type = 1~5'와 같이 설정될 수 있다. 따라서, NAL 유닛 헤더는 표 3에서와 같이 시점이 독립시점인지 여부를 확인하기 위한 독립시점 플래그를 포함할 수 있다. 여기서, 상기 독립시점 플래그는 표 4에서와 같이 'independent_view_flag'로 표현될 수 있다. 즉, 상기 독립시점 플래그를 통해 본 발명의 일실시예에 따른 비트스트림 추출 시스템이 'nal_unit_header_svc_mvc_extension()' 구문과 같은 헤더 정보에서 시점 종속성 정보 전체를 파싱하지 않고도 특정 독립시점을 쉽게 관리하여 처리할 수 있게 된다.
또한, 상기 독립시점 플래그는 NAL 유닛의 종류가 'nal_unit_type = 20'인 경우 독립시점을 발견하는데 유용하다. 만약, 어드밴스드 비디오 부호화 복호화기와 같은 복호화 시스템에서 상기 NAL 유닛의 종류가 'nal_unit_type = 20'이고, 독립시점인 하나의 시점을 골라 복호화하고자 하는 경우, 상기 비트스트림 추출 시스템에서 상기 독립시점 플래그, 상기 'idr_flag' 및 시점 식별자에 기초하여 'nal_unit_type = 20'을 'nal_unit_type = 1~5'으로 재설정함으로써, 해당 시점이 어드밴스드 비디오 부호화 복호화기와 같은 복호화 시스템에서 기본시점과 동일하게 복호화되도록 할 수 있다.
상기 'u(n)'는 n-비트를 가진 부호가 없는 정수형을 의미할 수 있다.
표 5는 상기 동화상전문가그룹 및 상기 연합비디오팀에서 정의한 연합 다시점 비디오 모델의 구문 중 기존의 'nal_unit()' 구문을, 표 6는 상기 표 4와 같이 변경하여 부호화비트를 줄임에 따라 상기 기존의 'nal_unit()' 구문을 변경한 구문을 각각 나타낸다.
nal_unit(NumBytesInNALunit){ C Descriptor
forbidden _ zero _ bit ALL f(1)
nal _ ref _ idc ALL u(2)
nal _ unit _ type ALL u(5)
nalUnitHeaderBytes = 1
if(nal_unit_type == 14 || nal_unit_type == 20){
nal_unit_header_svc_mvc_extension()
nalUnitHeaderBytes += 3
}
NumBytesInRBSP = 0
for(I = nalUnitHeaderBytes; i < NumBytesInNALunit; i++){
if(i+2 < NumBytesInNALunit && next_bits(24) == 0x000003){
rbsp _ byte [ NumBytesInRBSP ++] ALL b(8)
rbsp _ byte [ NumBytesInRBSP ++] ALL b(8)
i += 2
emulation_prevention_three_byte /* equal to 0x03 */ ALL f(8)
}else
rbsp _ byte [ NumBytesInRBSP ++] ALL b(8)
}
}
nal_unit(NumBytesInNALunit){ C Descriptor
forbidden _ zero _ bit ALL f(1)
nal _ ref _ idc ALL u(2)
nal _ unit _ type ALL u(5)
nalUnitHeaderBytes = 1
if(nal_unit_type == 14 || nal_unit_type == 20){
nal_unit_header_svc_mvc_extension()
if(nal_unit_type == 14)
nalUnitHeaderBytes += 2
else
nalUnitHeaderBytes += 3
}
NumBytesInRBSP = 0
for(I = nalUnitHeaderBytes; i < NumBytesInNALunit; i++){
if(i+2 < NumBytesInNALunit && next_bits(24) == 0x000003){
rbsp _ byte [ NumBytesInRBSP ++] ALL b(8)
rbsp _ byte [ NumBytesInRBSP ++] ALL b(8)
i += 2
emulation _ prevention _ three _ byte /* equal to 0x03 */ ALL f(8)
}else
rbsp _ byte [ NumBytesInRBSP ++] ALL b(8)
}
}
여기서, 상기 'f(n)'은 n-비트를 갖는 고정된 패턴의 데이터를, 상기 'b(8)'은 8-비트를 갖는 바이트 타입의 데이터를 각각 의미할 수 있다.
다시점 비디오 부호화 시스템(400)은 상기 파라미터 셋에 대한 제1 NAL 및 상기 부호화된 비디오 신호에 대한 제2 NAL을 적어도 포함하는 비트스트림을 생성하는 비트스트림 생성부(미도시)를 더 포함할 수 있다. 이와 같이 생성된 상기 비트스트림은 본 발명의 일실시예에 다른 복호화 시스템(410)으로 직접 전송되거나 또는, 비트스트림 추출 시스템(미도시)을 거쳐 복호화 시스템(410)으로 전송될 수 있다. 이때, 상기 제1 NAL은 상기 제2 NAL에 선행하여 전송될 수 있다.
도 6은 본 발명의 일실시예에 있어서, 복호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 도 6에 도시된 바와 같이 본 발명의 일실시예에 따른 복호화 시스템(600)은 비트스트림 수신부(601) 및 복호화부(602)를 포함할 수 있다.
비트스트림 수신부(601)는 상기 부호화된 신호에 대한 비트스트림을 수신한다. 이때, 상기 수신된 비트스트림은 다시점 비디오 부호화 시스템(610)에서 최초 전송되는 상기 부호화된 신호에 대한 전체 비트스트림 및 NAL 유닛에 대한 정보를 이용하여 필요한 NAL만이 추출된 비트스트림 중 하나의 비트스트림을 포함할 수 있다. 또한, 또한, 상기 수신된 비트스트림은 NAL 유닛을 포함하는 NAL을 포함할 수 있다.
복호화부(602)는 상기 수신된 비트스트림에 포함된 파라미터 셋에 기초하여 기본시점에 해당하는 비트스트림을 복호화한다. 이때, 상기 파라미터 셋에 대한 비트스트림은 상기 부호화된 비디오 신호에 대한 비트스트림에 선행하여 수신될 수 있다. 또한, 상기 파라미터 셋은 상기 기본시점으로 부호화된 비디오 신호에 대한 기본시점 식별자를 포함할 수 있고, 이때, 복호화부(602)는 상기 기본시점 식별자를 통해 상기 비트스트림에서 상기 부호화된 비디오 신호 중 상기 기본시점으로 부호화된 비디오 신호를 확인하여 복호화할 수 있다. 즉, 상기 파라미터 셋에 포함된 기본시점 식별자를 통해 상기 기본시점으로 부호화된 비디오 신호에 대한 비트스트림을 간편하게 찾아 복호화할 수 있다.
또한, 복호화부(602)는 상기 NAL 유닛의 헤더에 포함된 독립시점 플래그에 기초하여 상기 비트스트림에서 상기 부호화된 비디오 신호 중 독립시점으로 부호화된 비디오 신호를 확인하여 선택적으로 복호화할 수 있다. 즉, 기본시점은 한 개로만 설정되나 독립적으로 복호화해야 하는 시점이 다수개 존재해야 하는 응용이 필요하기 때문에 타 시점으로부터의 참조 없이 부호화되는 독립시점을 상기 독립시점 플래그를 통해 확인함으로써, 상기 응용을 지원할 수 있고 시점 랜덤 억세스 역시 지원할 수 있다.
따라서, 복호화 시스템(600)이 어드밴스드 비디오 부호화를 이용한다 하더라도 다시점 비디오 부호화를 통해 부호화된 콘텐트를 복호화할 수 있게 된다. 또한, 상기 독립시점은 부호화 시 시점의 개수가 제한되지 않기 때문에 독립적으로 복호화해야 하는 시점이 복수 개가 필요한 응용을 지원할 수 있게 되고, 시점 임의 접근 역시 용이해진다.
도 7은 본 발명의 일실시예에 있어서, 비트스트림 추출 시스템의 내부 구성을 설명하기 위한 블록도이다. 도 7에 도시된 바와 같이 본 발명의 일실시예에 따른 비트스트림 추출 시스템(700)은 수신부(701), 비트스트림 추출부(702) 및 전송부(703)를 포함한다.
수신부(701)는 다시점 비디오 부호화 시스템(710)으로부터 부호화된 비트스트림을 수신한다. 이때, 상기 부호화된 비트스트림은 적어도 하나의 NAL을 포함
비트스트림 추출부(702)는 파라미터 셋 및 NAL 유닛의 헤더 중 적어도 하나에 기초하여 상기 비트스트림 중 적어도 일부의 비트스트림을 추출한다. 여기서, 상기 파라미터 셋은 실제 부호화된 비디오 신호에 대한 NAL 보다 선행하여 전송되는 NAL에 포함될 수 있다. 또한, 상기 파라미터 셋은 기본시점으로 부호화된 비디오 신호에 대한 기본시점 식별자를 포함할 수 있고, 이 경우 상기 비트스트림 추출부(702)는 상기 기본시점 식별자에 기초하여 상기 기본시점으로 부호화된 비디오 신호에 대한 비트스트림을 추출할 수 있다. 이에 더해, 상기 헤더는 독립시점으로 부호화된 비디오 신호에 대한 독립시점 플래그를 포함할 수 있고, 상기 독립시점 플래그는, 상기 NAL 유닛에 대응하는 부호화된 비디오 신호의 독립시점 여부를 나타낼 수 있다. 이 경우, 비트스트림 추출부(702)는 상기 독립시점 플래그에 기초하여 독립시점으로 부호화된 비디오 신호에 대한 비트스트림을 추출할 수 있다.
전송부(703)는 상기 추출된 적어도 일부의 비트스트림을 해당하는 복호화 시스템(720)으로 전송한다. 즉, 복호화 시스템(720)이 상기 어드밴스드 비디오 복호화 시스템인 경우에도 독립적으로 부호화된 상기 기본시점 또는 역시 독립적으로 부호화된 상기 독립시점에 대한 비트스트림을 수신하기 때문에 기본시점으로 부호화된 비트스트림을 정상적으로 복호화하거나, 독립적으로 복호화해야 하는 시점이 복수 개 존재하는 응용에 대한 지원 및 시점 임의 접근에 대한 지원이 용이해진다.
또한, 비트스트림 추출 시스템(700)은 상기 독립시점으로 부호화된 비디오 신호에 대한 NAL 유닛의 타입을 변경하는 타입 변경부(미도시)를 더 포함할 수 있다. 즉, 선택적으로 상기 독립시점으로 부호화된 비디오 신호에 대한 NAL 유닛의 타입을 기본시점으로 부호화된 비디오 신호에 대한 NAL 유닛의 타입으로 변경함으로써, 복호화 시스템(720)에서 상기 독립시점으로 부호화된 비디오 신호가 기본시점으로 부호화된 비디오 신호와 동일하게 복호화되도록 할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 다시점 비디오 부호화에 의해 부호화된 비트스트림이 전체적으로 한 개의 비트스트림으로 복호화기에 입력되는 응용시스템의 일례이다.
도 2는 부호화된 슬라이스 유닛의 일례이다.
도 3은 다시점 비디오 부호화에 의해 부호화된 비트스트림이 NAL 유닛에 대한 정보를 이용하여 필요한 NAL만이 추출된 비트스트림으로 복호화기에 입력되는 응용 시스템의 일례이다.
도 4는 본 발명의 일실시예에 있어서, 다시점 비디오 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 5는 비트스트림 구조의 일례이다.
도 6은 본 발명의 일실시예에 있어서, 복호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 7은 본 발명의 일실시예에 있어서, 비트스트림 추출 시스템의 내부 구성을 설명하기 위한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
400: 다시점 비디오 부호화 시스템
401: 부호화부
402: 기본시점 식별자 추가부
403: 독립시점 플래그 추가부

Claims (21)

  1. 복수의 카메라를 통해 촬영된 비디오 신호를 다시점 비디오 부호화를 통해 부호화하는 다시점 비디오 부호화 시스템에 있어서,
    상기 비디오 신호를 기본시점 및 다시점으로 부호화하는 부호화부; 및
    상기 기본시점에 대한 기본시점 식별자를 파라미터 셋에 추가하는 기본시점 식별자 추가부
    를 포함하는 다시점 비디오 부호화 시스템.
  2. 제1항에 있어서,
    상기 파라미터 셋은 상기 부호화된 비디오 신호에 선행하여 복호화 시스템으로 전송되는, 다시점 비디오 부호화 시스템.
  3. 제2항에 있어서,
    상기 기본시점으로 부호화된 비디오 신호는 선행하여 전송된 파라미터 셋의 기본시점 식별자에 기초하여 상기 복호화 시스템에서 확인되는, 다시점 비디오 부호화 시스템.
  4. 제1항에 있어서,
    상기 파라미터 셋은 상기 부호화된 비디오 신호의 전송 시 실제 부호화된 비 디오 신호에 대한 네트워크 추상 계층(Network Abstraction Layer, NAL) 보다 선행하여 전송되는 네트워크 추상 계층에 포함되는, 다시점 비디오 부호화 시스템.
  5. 제4항에 있어서,
    상기 파라미터 셋은 시퀀스 파라미터 셋(Sequence Parameter Set, SPS)을 포함하고,
    상기 시퀀스 파라미터 셋은 상기 부호화된 비디오 신호에 대한 비트스트림 전송 시 가장 먼저 전송되는 네트워크 추상 계층인, 다시점 비디오 부호화 시스템.
  6. 제1항에 있어서,
    상기 부호화부는,
    상기 비디오 신호를 독립시점으로 더 부호화하고,
    상기 독립시점에 대한 독립시점 플래그를 네트워크 추상 계층 유닛(NAL unit)의 헤더에 추가하는 독립시점 플래그 추가부
    를 더 포함하는 다시점 비디오 부호화 시스템.
  7. 제6항에 있어서,
    상기 독립시점으로 부호화되는 비디오 신호는 다른 시점으로부터의 참조 없이 부호화되는, 다시점 비디오 부호화 시스템.
  8. 제6항에 있어서,
    상기 독립시점 플래그는 상기 네트워크 추상 계층 유닛에 해당하는 비디오 신호의 독립시점 여부를 나타내는, 다시점 비디오 부호화 시스템.
  9. 제1항에 있어서,
    상기 기본시점은 전체 시점 중 하나의 시점으로 한정되는 것을 특징으로 하는 다시점 비디오 부호화 시스템.
  10. 제1항에 있어서,
    상기 파라미터 셋에 대한 제1 네트워크 추상 계층 및 상기 부호화된 비디오 신호에 대한 제2 네트워크 추상 계층을 적어도 포함하는 비트스트림을 생성하는 비트스트림 생성부
    를 더 포함하고,
    상기 제1 네트워크 추상 계층은 상기 제2 네트워크 추상 계층에 선행하여 전송되는, 다시점 비디오 부호화 시스템.
  11. 다시점 비디오 부호화를 통해 부호화된 비디오 신호를 복호화하는 복호화 시스템에 있어서,
    상기 부호화된 비디오 신호에 대한 비트스트림을 수신하는 비트스트림 수신부; 및
    상기 수신된 비트스트림에 포함된 파라미터 셋에 기초하여 기본시점에 해당하는 비트스트림을 복호화하는 복호화부
    를 포함하는 복호화 시스템.
  12. 제11항에 있어서,
    상기 파라미터 셋에 대한 비트스트림은 상기 부호화된 비디오 신호에 대한 비트스트림에 선행하여 수신되는, 복호화 시스템.
  13. 제11항에 있어서,
    상기 파라미터 셋은 상기 기본시점으로 부호화된 비디오 신호에 대한 기본시점 식별자를 포함하고,
    상기 복호화부는,
    상기 기본시점 식별자를 통해 상기 비트스트림에서 상기 부호화된 비디오 신호 중 상기 기본시점으로 부호화된 비디오 신호를 확인하여 복호화하는, 복호화 시스템.
  14. 제11항에 있어서,
    상기 수신된 비트스트림은 네트워크 추상 계층 유닛을 포함하는 네트워크 추상 계층을 포함하고,
    상기 복호화부는,
    상기 네트워크 추상 계층 유닛의 헤더에 포함된 독립시점 플래그에 기초하여 상기 비트스트림에서 상기 부호화된 비디오 신호 중 독립시점으로 부호화된 비디오 신호를 확인하여 선택적으로 복호화하는, 복호화 시스템.
  15. 제11항에 있어서,
    상기 수신된 비트스트림은 상기 부호화된 신호에 대한 전체 비트스트림 및 네트워크 추상 계층 유닛에 대한 정보를 이용하여 필요한 네트워크 추상 계층만이 추출된 비트스트림 중 하나의 비트스트림을 포함하는, 복호화 시스템.
  16. 다시점 비디오 부호화 시스템으로부터 비트스트림을 수신하는 수신부;
    파라미터 셋 및 네트워크 추상 계층 유닛의 헤더 중 적어도 하나에 기초하여 상기 비트스트림 중 적어도 일부의 비트스트림을 추출하는 비트스트림 추출부; 및
    상기 추출된 적어도 일부의 비트스트림을 해당하는 복호화 시스템으로 전송하는 전송부
    를 포함하는, 비트스트림 추출 시스템.
  17. 제16항에 있어서,
    상기 부호화된 비트스트림은 적어도 하나의 네트워크 추상 계층을 포함하고,
    상기 파라미터 셋은 실제 부호화된 비디오 신호에 대한 네트워크 추상 계층 보다 선행하여 전송되는 네트워크 추상 계층에 포함되는, 비트스트림 추출 시스템.
  18. 제16항에 있어서,
    상기 파라미터 셋은 기본시점으로 부호화된 비디오 신호에 대한 기본시점 식별자를 포함하고,
    상기 비트스트림 추출부는,
    상기 기본시점 식별자에 기초하여 상기 기본시점으로 부호화된 비디오 신호에 대한 비트스트림을 추출하는, 비트스트림 추출 시스템.
  19. 제16항에 있어서,
    상기 헤더는 독립시점으로 부호화된 비디오 신호에 대한 독립시점 플래그를 포함하고,
    상기 독립시점 플래그는, 상기 네트워크 추상 계층 유닛에 대응하는 부호화된 비디오 신호의 독립시점 여부를 나타내는, 비트스트림 추출 시스템.
  20. 제19항에 있어서,
    상기 비트스트림 추출부는,
    상기 독립시점 플래그에 기초하여 독립시점으로 부호화된 비디오 신호에 대한 비트스트림을 추출하는, 비트스트림 추출 시스템.
  21. 제19항에 있어서,
    상기 독립시점으로 부호화된 비디오 신호에 대한 네트워크 추상 계층 유닛의 타입을 변경하는 타입 변경부
    를 더 포함하는 비트스트림 추출 시스템.
KR1020080040079A 2007-06-25 2008-04-29 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템 KR101345544B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/142,863 US20080317124A1 (en) 2007-06-25 2008-06-20 Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
PCT/KR2008/003628 WO2009002088A1 (en) 2007-06-25 2008-06-25 Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US94596507P 2007-06-25 2007-06-25
US60/945,965 2007-06-25

Publications (2)

Publication Number Publication Date
KR20080114500A true KR20080114500A (ko) 2008-12-31
KR101345544B1 KR101345544B1 (ko) 2013-12-26

Family

ID=40371569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080040079A KR101345544B1 (ko) 2007-06-25 2008-04-29 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템

Country Status (1)

Country Link
KR (1) KR101345544B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157817A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치
WO2013162258A1 (ko) * 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2013162259A1 (ko) * 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2014010894A1 (ko) * 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
WO2014010955A1 (ko) * 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터를 처리하는 방법 및 시스템
WO2015053525A1 (ko) * 2013-10-11 2015-04-16 한국전자통신연구원 영상의 부호화/복호화 방법 및 이를 이용하는 장치
CN105765978A (zh) * 2013-10-11 2016-07-13 韩国电子通信研究院 用于编码/解码图像的方法和使用其的装置
US9894394B2 (en) 2012-07-11 2018-02-13 Electronics And Telecommunications Research Institute Method and system for supporting random access of MPEG data
US9936232B2 (en) 2012-07-11 2018-04-03 Electronics And Telecommunications Research Institute Method and system for processing MPEG data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556848B1 (ko) 2003-05-13 2006-03-10 엘지전자 주식회사 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
US7728877B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US7756206B2 (en) 2005-04-13 2010-07-13 Nokia Corporation FGS identification in scalable video coding

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157817A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치
US9743061B2 (en) 2012-04-23 2017-08-22 Samsung Electronics Co., Ltd. Multiview video encoding method and device, and multiview video decoding method and device
WO2013162258A1 (ko) * 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2013162259A1 (ko) * 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US9774883B2 (en) 2012-04-23 2017-09-26 Samsung Electronics Co., Ltd. Multiview video encoding method and device, and multiview video decoding method and device
WO2014010955A1 (ko) * 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터를 처리하는 방법 및 시스템
WO2014010894A1 (ko) * 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
US9894394B2 (en) 2012-07-11 2018-02-13 Electronics And Telecommunications Research Institute Method and system for supporting random access of MPEG data
US9936232B2 (en) 2012-07-11 2018-04-03 Electronics And Telecommunications Research Institute Method and system for processing MPEG data
US10178418B2 (en) 2012-07-11 2019-01-08 Electronics And Telecommunications Research Institute Method and system for processing MPEG data
US10187672B2 (en) 2012-07-11 2019-01-22 Electronics And Telecommunications Research Institute Method and system for supporting random access of MPEG data
US11218744B2 (en) 2012-07-11 2022-01-04 Electronics And Telecommunications Research Institute Method and system for processing MPEG data
US11218748B2 (en) 2012-07-11 2022-01-04 Electronics And Telecommunications Research Institute Method and system for supporting random access of MPEG data
CN105765978A (zh) * 2013-10-11 2016-07-13 韩国电子通信研究院 用于编码/解码图像的方法和使用其的装置
WO2015053525A1 (ko) * 2013-10-11 2015-04-16 한국전자통신연구원 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US10142638B2 (en) 2013-10-11 2018-11-27 Electronics And Telecommunications Research Institute Method for encoding/decoding image and device using same
CN105765978B (zh) * 2013-10-11 2019-01-29 韩国电子通信研究院 用于编码/解码图像的方法和使用其的装置
US10306244B2 (en) 2013-10-11 2019-05-28 Electronics And Telecommunications Research Institute Method for encoding/decoding image and device using same

Also Published As

Publication number Publication date
KR101345544B1 (ko) 2013-12-26

Similar Documents

Publication Publication Date Title
KR101345544B1 (ko) 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템
KR102315232B1 (ko) Mpeg-2 시스템들을 이용한 비디오 코딩 표준 확장 비트스트림 데이터의 캐리지
CA2762337C (en) Multiview video coding over mpeg-2 systems
KR102140860B1 (ko) 계층화된 ｈｅｖｃ 비트스트림들의 캐리지를 위한 동작 포인트
KR101293425B1 (ko) Ｍｖｃ 동작점 특성들의 시그널링
US8780999B2 (en) Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
CN106063287B (zh) 用于解码视频数据的方法、装置和计算机可读存储媒体
KR101560956B1 (ko) 비트스트림 서브세트 표시
US20080317124A1 (en) Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
US20150103924A1 (en) On operation of decoded picture buffer for interlayer pictures
KR100813064B1 (ko) 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
EP2820854A1 (en) Bitstream extraction in three-dimensional video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee