KR20090007293A - 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치 - Google Patents
멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20090007293A KR20090007293A KR1020087022720A KR20087022720A KR20090007293A KR 20090007293 A KR20090007293 A KR 20090007293A KR 1020087022720 A KR1020087022720 A KR 1020087022720A KR 20087022720 A KR20087022720 A KR 20087022720A KR 20090007293 A KR20090007293 A KR 20090007293A
- Authority
- KR
- South Korea
- Prior art keywords
- view
- views
- international
- decoding
- avc
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치가 제공된다. 이 장치는 결과로서 생기는 비트스트림으로 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더(100)를 포함하고, 그 결과로서 생기는 비트스트림은 뷰 특정 정보를 포함하도록 인코딩된다. 이 뷰 특정 정보는 적어도 2개의 뷰 중 적어도 일부 사이의 디코딩 상호 의존성을 표시한다.
Description
관련 출원에 대한 상호 참조
본 출원은 본 명세서에 그 전문이 참조로 통합되어 있고 2006년 3월 29일 출원된 미국 가출원 일련 번호 60/787,092호의 이익을 주장한다. 본 출원은 또한 본 출원과 동시 출원되고 공동 발명자와 공동 양수인을 가지는 2개의 다른 출원(대리인 문서 번호 PU060064와 PU070032)과 밀접하게 관련되어 있고, 그 2개의 출원 각각은 그들의 전문이 참조로 통합되어 있다.
본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 특히 멀티-뷰(multi-view) 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치에 관한 것이다.
ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안(이후 "MPEG-4 AVC 표준"이라고 부름)을 따르는 멀티-뷰 비디오 코딩(MVC: Multi-view Video Coding)의 현재 구현에서는, 특정 뷰를 식별하고 카메라 파라미터를 신호로 알리는 어떠한 설비도 존재하지 않는다. 이 뷰 정보는 몇 가지 이유로 필요하다. 뷰 스케일러빌리티(view scalability), 뷰 랜덤 액세스, 병렬 처리, 뷰 발생(view generation), 및 뷰 합성(view synthesis) 모두는 이 뷰 정보를 이용하는 멀티-뷰 비디오 코딩 요구 사항이다. 게다가, 이들 요구 사항 중 몇 가지는 또한 표준화된 방식으로 현재 통과되지 않는 카메라 파라미터를 이용한다.
멀티-뷰 압축된 비트 스트림에서 효율적인 랜덤 액세스를 가능하게 하는 방법이 제안되었다. 제안된 방법에서는, V-화상 타입과 뷰 의존성(View Dependency) 보충 강화 정보(SEI: Supplemental Enhancement Information) 메시지가 정의된다. 제안된 V-화상 타입에서 요구된 특성은 V-화상이 동일한 카메라에서 다른 화상에 대한 일시적인 의존성을 가지지 않게 되고, 오직 동시에 다른 카메라에서의 화상들로부터 예측될 수 있다는 점이다. 제안된 뷰 의존성 SEI 메시지는, 화상의 선행하는 시퀀스와 다음에 오는 시퀀스 뿐만 아니라 어느 뷰에 V-화상이 의존적일 수 있는지를 정확히 설명하게 된다.
V-화상 구문론과 의미론에 관해, MPEG-4 AVC에 관련된 특정 구문론 표는 V-화상에 대응하는 14의 네트워크 추상화 층(NAL: Network Abstraction Layer) 유닛 타입을 포함하도록 확장된다. 또한, V-화상 타입은 다음 의미론을 가지도록 정의된다.
V-화상: 모든 슬라이스가 동일한 일시적인 인덱스를 지닌 슬라이스들만을 참조하는 코딩된 화상(즉, 현재 뷰에서의 슬라이스가 아닌 다른 뷰에서의 슬라이스 만). V-화상이 출력되거나 디스플레이될 때, 또한 디코딩 프로세스로 하여금 IDR-화상 또는 V-화상이 아니고 "참조를 위해 사용되지 않은"으로서 표시될 출력 순서에서 V-화상에 선행하는 동일한 뷰로부터 모든 화상을 표시하게 한다. 각각의 V-화상은 동일한 NAL에서 일어나는 뷰 의존성 SEI 메시지와 연관된다.
뷰 의존성 SEI 메시지 구문론과 의미론에 관해, 뷰 의존성 SEI 메시지는 다음 구문론으로 정의된다.
여기서, num_seq_reference_views/num_pic_reference_views는 현재의 시퀀스/화상에 대한 참조로서 사용될 수 있는 잠재적인 뷰의 개수를 나타내고, seq_reference_view_i/pic_reference_view_i는 i번째 참조 뷰에 대한 뷰 번호를 나타낸다.
뷰 의존성 SEI 메시지와 연관된 화상은 pic_reference_view_i에 의해 설명된 특정된 뷰만을 참조하게 된다. 유사하게, 그 뷰에서의 다음 뷰 의존성 SEI 메시지까지 그 뷰의 출력 순서에서 모든 다음 화상은 seq_reference_view_i에 의해 설명된 특정된 뷰만을 참조하게 된다.
뷰 의존성 SEI 메시지는 각각의 IDR(Instantaneous Decoding Refresh) 화상과 V-화상과 연관된다.
이 방법의 적어도 하나의 결점은, 반복적으로 얻어지는 의존성으로 인해 디코더에 도입된 복잡성이다. 또한, 이 방법은 모든 V-화상이 SEI 메시지{MPEG-4 AVC 표준의 비-표준(non-normative) 부분인)}를 운반하는 것을 필요로 하여, 참조 화상 선택과 같은 표준 행동을 위해 의존성이 사용될 수 없게 한다.
종래 기술의 이들 및 다른 결점 및 단점은 본 발명의 원리에 의해 다루어지고, 본 발명의 원리는 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치에 관한 것이다.
본 발명의 원리의 일 양상에 따르면, 장치가 제공된다. 이 장치는 결과로서 생기는(resultant) 비트스트림으로 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더를 포함하고, 이 결과로서 생기는 비트스트림은 뷰 특정 정보를 포함하도록 인코딩된다. 이 뷰 특정 정보는 적어도 2개의 뷰 중 적어도 일부 사이의 디코딩 상호 의존성을 표시한다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 결과로서 생기는 비트스트림으로 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하는 단계를 포함하고, 이 결과로서 생기는 비트스트림은 뷰 특정 정보를 포함하도록 인코딩된다. 이 뷰 특정 정보는 적어도 2개의 뷰 중 적어도 일부 사이의 디코딩 상호 의존성을 표시한다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 비트스트림으로부터 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하기 위한 디코더를 포함하고, 이 비트스트림은 내부에 포함된 뷰 특정 정보를 결정하도록 디코딩되며, 이 뷰 특정 정보는 적어도 2개의 뷰 중 적어도 일부 사이의 디코딩 상호 의존성을 표시한다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 비트스트림으로부터 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 단계를 포함하고, 이 비트스트림은 내부에 포함된 뷰 특정 정보를 결정하도록 디코딩된다. 이 뷰 특정 정보는 적어도 2개의 뷰 중 적어도 일부 사이의 디코딩 상호 의존성을 표시한다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 디코딩을 위해 적어도 2개의 뷰 중 임의의 다른 것에 독립적인 적어도 2개의 뷰 중 임의의 것을 베이스 뷰(base view)로서 정의함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더를 포함한다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 디코딩을 위해 적어도 2개의 뷰 중 임의의 다른 것에 독립적인 적어도 2개의 뷰 중 임의의 것을 베이스 뷰로서 정의함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하는 단계를 포함한다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하기 위한 디코더를 포함하고, 이 디코더는 만약 있다면 적어도 2개의 뷰 중 어느 것이, 디코딩을 위해 적어도 2개의 뷰 중 임의의 다른 것에 독립적인 베이스 뷰인지를 결정한다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 단계를 포함하고, 이 디코딩 단계는 만약 있다면 적어도 2개의 뷰 중 어느 것이, 디코딩을 위해 적어도 2개의 뷰 중 임의의 다른 것에 독립적인 베이스 뷰인지를 결정한다.
본 발명의 원리의 일 양상에 따르면, 장치가 제공된다. 이 장치는 하위 호환성(backwards compatibility)을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 결과로서 생기는 비트스트림에서의 적어도 2개의 뷰 중 적어도 하나를 인코딩함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더를 포함한다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 결과로서 생기는 비트스트림에서의 적어도 2개의 뷰 중 적어도 하나를 인코딩함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하는 단계를 포함한다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하기 위한 디코더를 포함하고, 적어도 2개의 뷰 중 적어도 하나는, 하위 호환성을 위해 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 비트스트림에 포함된다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 단계를 포함하고, 적어도 2개의 뷰 중 적어도 하나는, 하위 호환성을 위해 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 비트스트림에 포함된다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 2개의 미리 정의된 슬라이스 타입 중 하나를 선택함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰 중 적어도 하나를 인코딩하기 위한 인코더를 포함한다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 2개의 미리 정의된 슬라이스 타입 중 하나를 선택함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰 중 적어도 하나를 인코딩하는 단계를 포함한다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 2개의 미리 정의된 슬라이스 타입 중 하나를 선택함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰 중 적어도 하나를 디코딩하는 디코더를 포함한다.
본 발명의 추가 양상에 따르면, 방법이 제공된다. 이 방법은 2개의 미리 정의된 슬라이스 타입 중 하나를 선택함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰 중 적어도 하나를 디코딩하는 단계를 포함한다.
본 발명의 원리의 일 양상에 따르면, 장치가 제공된다. 이 장치는 멀티-뷰 콘텐츠에 대응하는 적어도 2개의 뷰를 결과로서 생기는 비트스트림으로 인코딩하는 인코더를 포함하고, 이 결과로서 생기는 비트스트림은 적어도 2개의 뷰 중 적어도 하나에 대응하는 적어도 하나의 카메라 파라미터를 포함하도록 인코딩된다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 멀티-뷰 콘텐츠에 대응하는 적어도 2개의 뷰를 결과로서 생기는 비트스트림으로 인코딩하는 단계를 포함하고, 이 결과로서 생기는 비트스트림은 적어도 2개의 뷰 중 적어도 하나에 대응하는 적어도 하나의 카메라 파라미터를 포함하도록 인코딩된다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 비트스트림으로부터 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 디코더를 포함하고, 이 비트스트림은 내부에 포함된 적어도 하나의 카메라 파라미터를 결정하도록 디코딩된다. 이 적어도 하나의 카메라 파라미터는 적어도 2개의 뷰 중 적어도 하나에 대응한다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 비트스트림으로부터 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 단계를 포함하고, 이 비트스트림은 내부에 포함된 적어도 하나의 카메라 파라미터를 결정하도록 디코딩된다. 이 적어도 하나의 카메라 파라미터는 적어도 2개의 뷰 중 적어도 하나에 대응한다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 결과로서 생기는 비트스트림으로 인코딩하는 인코더를 포함하고, 이 결과로서 생기는 비트스트림은 적어도 2개의 뷰 중 적어도 하나에 대한 적어도 하나의 카메라 파라미터에 관련된 적어도 하나의 구문론 요소를 포함하도록 인코딩된다.
본 발명의 원리의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 결과로서 생기는 비트스트림으로 인코딩하는 단계를 포함하고, 이 결과로서 생기는 비트스트림은 적어도 2개의 뷰 중 적어도 하나에 대한 적어도 하나의 카메라 파라미터에 관련된 적어도 하나의 구문론 요소를 포함하도록 인코딩된다.
본 발명의 원리의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 비트스트림으로부터 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 디코더를 포함하고, 이 비트스트림은 그것에 포함된 적어도 하나의 구문론 요소에 기초하여 적어도 2개의 뷰 중 적어도 하나에 대한 적어도 하나의 카메라 파라미터를 결정하도록 디코딩된다.
본 발명의 원리의 추가 양상에 따르면, 방법이 제공된다. 이 방법은 비트스트림으로부터 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 단계를 포함하고, 이 비트스트림은 그것에 포함된 적어도 하나의 구문론 요소에 기초하여 적어도 2개의 뷰 중 적어도 하나에 대한 적어도 하나의 카메라 파라미터를 결정하도록 디코딩된다.
본 발명의 원리의 이들 및 다른 양상, 특성 및 장점은, 첨부 도면과 함께 읽혀질 다음에 나오는 예시적인 실시예의 상세한 설명으로부터 분명해진다.
본 발명의 원리는 다음에 나오는 예시적인 도면에 따라 더 잘 이해될 수 있다.
도 1은 본 발명의 원리의 일 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더에 대한 블록도.
도 2는 본 발명의 원리의 일 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더에 대한 블록도.
도 3은 본 발명의 원리의 일 실시예에 따라, 계층적 B 화상을 사용하여 MPGE-4 AVC 표준에 기초한 인터-뷰-일시적 예측(inter-view-temporal prediction)구조에 대한 도면.
도 4는 본 발명의 원리의 일 실시예에 따라, 멀티-뷰 비디오 콘텐츠의 다수 의 뷰를 인코딩하기 위한 예시적인 방법에 대한 흐름도.
도 5는 본 발명의 원리의 일 실시예에 따라, 멀티-뷰 비디오 콘텐츠의 다수의 뷰를 디코딩하기 위한 예시적인 방법에 대한 흐름도.
본 발명의 원리는 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치에 관한 것이다.
본 설명은 본 발명의 원리를 예시한다. 그러므로, 당업자라면 비록 본 명세서에 명백히 설명되거나 도시되지 않을지라도 본 발명의 취지와 범주 내에 포함되고 본 발명의 원리를 구현하는 다양한 배열을 고안할 수 있을 것이라는 점을 알게 된다.
본 명세서에 인용된 모든 예와 조건부 언어는, 본 발명자(들)가 이 분야를 발전시키는 데 기여할 본 발명의 원리와 개념을 읽는 사람이 이해하는 것을 돕기 위해 교육학적인 목적을 위해 의도된 것이고, 그러한 특별히 인용된 예와 조건에 제한되지 않는다고 여겨져야 한다.
게다가, 본 명세서에서 본 발명의 원리, 양상 및 실시예와, 그 특정 예를 인용하는 모든 진술은 그것의 구조상 및 기능상 등가물 모두를 포함하는 것으로 의도된다. 또한, 그러한 등가물은 앞으로 개발될 등가물, 즉 구조와 관계없이 동일한 기능을 수행하는 개발될 임의의 요소들과 함께 현재 알려진 등가물 모두를 포함하는 것으로 의도된다.
그러므로, 당업자라면 예컨대 본 명세서에 나타난 블록도가 본 발명의 원리 를 구현하는 예시적인 회로의 개념도를 나타낸다는 점을 알게 된다. 마찬가지로, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등이 실질적으로 컴퓨터 판독 가능한 매체에서 나타낼 수 있고, 컴퓨터나 프로세서가 명백히 도시되는지 여부에 관계없이 그러한 컴퓨터나 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 점을 알게 된다.
도면에 도시된 다양한 요소의 기능은 적절한 소프트웨어와 연관된 소프트웨어를 실행할 수 있는 하드웨어뿐 아니라, 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능들은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별 프로세서로서, 그들 중 일부는 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 게다가, "프로세서" 또는 "컨트롤러"라는 용어의 명백한 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 가리킨다고 여겨져서는 안 되고, 제한 없이 디지털 시그널 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 ROM(read only memory), RAM(random access memory) 및 비 휘발성 저장 장치를 암시적으로 포함할 수 있다.
종래의 것 및/또는 주문형의 다른 하드웨어가 또한 포함될 수 있다. 마찬가지로, 도면에 도시된 임의의 스위치는 단지 개념적인 것이다. 그것들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호작용을 통해 또는 심지어 수동으로 실행될 수 있고, 그 특별한 기술은 상황에 따라 더 특별히 이해되는 바와 같이 구현자에 의해 선택 가능하다.
청구항에서, 특정 기능을 수행하기 위한 수단으로서 표현된 임의의 요소는, 예컨대 a) 그 기능을 수행하는 회로 요소의 결합 또는 b) 그 기능을 수행하기 위해 소프트웨어를 실행하기 위한 적절한 회로와 결합된 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는, 그 특정 기능을 수행하는 임의의 방식을 포함하는 것으로 의도된다. 그러한 청구항에 의해 정의된 것과 같은 본 발명은, 다양한 인용된 수단에 의해 제공된 기능들이 청구항이 주장하는 방식으로 결합되고 조립된다는 사실에 존재한다. 그러므로, 그러한 기능들을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 것들과 등가인 것으로 간주된다.
본 발명의 "일 실시예" 또는 "실시예"에 대한 본 명세서에서의 참조는 실시예와 관련하여 설명된 특별한 특성, 구조, 특징 등이, 적어도 하나의 본 발명의 실시예에 포함된다는 것을 의미한다. 그러므로 본 명세서 전반에 걸쳐 다양한 곳에 등장하는 "일 실시예에서" 또는 "실시예에서"라는 어구의 등장은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
도 1을 참조하면, 본 발명이 적용될 수 있는 예시적인 비디오 인코더가 일반적으로 참조 번호(100)로 표시되어 있다.
비디오 인코더(100)로의 입력은 결합기(110)의 비반전 입력과 통신을 위해 연결된다. 결합기(110)의 출력은 변환기/양자화기(120)와 통신을 위해 연결된다. 변환기/양자화기(120)의 출력은 엔트로피 코더(140)와 통신을 위해 연결된다. 엔트로피 코더(140)의 출력은 인코더(100)의 출력으로서 이용 가능하다.
또한, 변환기/양자화기(120)의 출력은 역 변환기/양자화기(150)와 통신을 위해 연결된다. 역 변환기/양자화기(150)의 출력은 디블록 필터(160)의 입력과 통신 을 위해 연결된다. 디블록 필터(160)의 출력은 참조 화상 저장부(170)와 통신을 위해 연결된다. 참조 화상 저장부(170)의 제 1 출력은 움직임 추정기(180)의 제 1 입력과 통신을 위해 연결된다. 인코더(100)의 입력은 또한 움직임 추정기(180)의 제 2 입력과 통신을 위해 연결된다. 움직임 추정기(180)의 출력은 움직임 보상기(190)의 제 1 입력과 통신을 위해 연결된다. 참조 화상 저장부(170)의 제 2 출력은 움직임 보상기(190)의 제 2 입력과 통신을 위해 연결된다. 움직임 보상기(190)의 출력은 결합기(110)의 반전 입력과 통신을 위해 연결된다.
도 2를 참조하면, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더가 일반적으로 참조 번호(200)로 표시되어 있다.
비디오 디코더(200)는 비디오 시퀀스를 수신하기 위한 엔트로피 디코더(210)를 포함한다. 엔트로피 디코더(210)의 제 1 출력은 역 양자화기/변환기(220)의 입력과 통신을 위해 연결된다. 역 양자화기/변환기(220)의 출력은 결합기(240)의 제 1 비반전 입력과 통신을 위해 연결된다.
결합기(240)의 출력은 디블록 필터(290)의 입력과 통신을 위해 연결된다. 디블록 필터(290)의 출력은 참조 화상 저장부(250)의 입력과 통신을 위해 연결된다. 참조 화상 저장부(250)의 출력은 움직임 보상기(260)의 제 1 입력과 통신을 위해 연결된다. 움직임 보상기(260)의 출력은 결합기(240)의 제 2 비반전 입력과 통신을 위해 연결된다. 엔트로피 디코더(210)의 제 2 출력은 움직임 보상기(260)의 제 2 입력과 통신을 위해 연결된다. 디블록 필터(290)의 출력은 비디오 디코더(200)의 출력으로서 이용 가능하다.
본 발명의 일 실시예에서, 높은 레벨의 구문론이 멀티-뷰 시퀀스의 효율적인 처리를 위해 제안된다. 특히, 멀티-뷰 슬라이스를 지원하기 위해 고유한 NAL 유닛 타입과 2개의 새로운 NAL 유닛 타입을 지닌 뷰 파라미터 세트(VPS: View Parameter Set)라고 하는 새로운 파라미터 세트 생성을 제안하는데, 이 경우 NAL 유닛 타입은 슬라이스가 어느 뷰에 속하는 지를 식별하기 위해 NAL 헤더에서 뷰 식별자(id)를 포함한다. MPEG-4 AVC 표준을 따르는 디코더와의 뷰 스케일러빌리티(view scalability)와 백워드 적합성(backward compatibility)을 위해, "MPEG-4 AVC를 따르는(compliant) 베이스 뷰"라고 하는 하나의 MPEG-4 AVC 컴플라이언트 뷰(compliant view)를 유지하는 것을 제안한다.
본 명세서에서 사용된 것처럼, "하이 레벨 구문론"이란 계층적으로 매크로블록 층 위에 존재하는 비트스트림에 존재하는 구문론을 가리킨다. 예컨대, 본 명세서에서 사용된 것과 같은 하이 레벨 구문론은, 슬라이스 헤더 레벨, 보충 강화 정보(SEI) 레벨, 화상 파라미터 세트 레벨 및 시퀀스 파라미터 세트 레벨에서의 구문론을 가리킬 수 있지만, 이들에 제한되지는 않는다.
특정 뷰를 식별하고 카메라 파라미터를 신호로 알리기 위한 어떠한 설비도 가지지 않은 전술한 멀티-뷰 코딩 시스템의 현재 구현예에서는, 분리된 뷰로서 상이한 뷰를 다루는 대신, 단일 시퀀스를 형성하도록 상이한 뷰들이 인터리브된다. 구문론이 위에서 주목된 것처럼 MPEG-4 표준에 적합하므로, 현재로서는 어느 뷰에 주어진 슬라이스가 속하는지를 식별하는 것이 가능하지 않다. 이 뷰 정보는 몇 가지 이유로 필요하게 된다. 뷰 스케일러빌리티, 뷰 랜덤 액세스, 병렬 처리, 뷰 발 생, 뷰 합성(view synthesis)은 모두 뷰를 식별하기 위해 필요로 하는 멀티-뷰 비디오 코딩 요구 조건들이다. 뷰 랜덤 액세스 및 뷰 스케일러빌리티의 효율적인 지원을 위해서는, 디코더가 서로에 대해 어떻게 상이한 화상이 의존하는지를 아는 것이 중요하므로, 필수적인 화상만이 디코딩된다. 카메라 파라미터는 뷰 합성을 위해 필요하다. 뷰 합성이 결국은 디코딩 루프에 사용되면, 카메라 파라미터를 신호로 알리는 표준화된 방식이 특정될 필요가 있다. 일 실시예에 따르면, 뷰 파라미터 세트가 사용된다.
일 실시예에서는 비-MVC에 적합하지만 MPEG-4 AVC에 적합한 디코더를 지원할 목적으로 MPEG-4 AVC 표준과 충분히 백워드 적합한 하나의 뷰가 필요하다고 가정된다. 일 실시예에서, 빠른 뷰 랜덤 액세스를 촉진하기 위해 독립적으로 디코드할 수 있는 뷰가 존재하게 된다고 가정된다. 이들 뷰를 "베이스 뷰"라고 한다. 베이스 뷰는 MPEG-4 AVC 표준에 적합하거나 적합하지 않을 수 있지만, MPEG-4 AVC에 적합한 뷰는 항상 베이스 뷰이다.
도 3을 참조하면, 계층적 B 화상을 사용하여 MPEG-4 AVC 표준에 기초한 인터-뷰-일시적 예측 구조가 일반적으로 참조 번호(300)로 표시되어 있다. 도 3에서, 변수 I는 인트라 코딩된(intra coded) 화상을, 변수 P는 예측 가능하게(predictively) 코딩된 화상을, 변수 B는 양 방향 예측 가능하게(bi-predictively) 코딩된 화상을, 변수 T는 특정 화상의 위치를, 변수 S는 특정 화상이 대응하는 특정 뷰를 나타낸다.
일 실시예에 따르면, 다음 용어가 정의된다.
앵커 화상(anchor picture)은 그 화상이 디코딩이 상이한 시간 인스턴스(instance)에서 샘플링된 임의의 화상을 수반하지 않는 화상으로서 정의된다. 앵커 화상은 nal_ref_idc를 3으로 세트함으로써 신호로 알려진다. 도 3에서, 위치(T0,T8...,T96,T100)에서의 모든 화상은 앵커 화상의 예들이다.
비-앵커(non-anchor) 화상은 앵커 화상을 위해 특정된 위 제약을 가지지 않는 화상으로서 정의된다. 도 3에서, 화상(B2,B3,B4)은 비-앵커 화상이다.
베이스 뷰는 임의의 다른 뷰에 의존하지 않고 독립적으로 디코딩될 수 있는 뷰이다. 도 3에서, 뷰(S0)는 베이스 뷰의 일 예이다.
또한, 일 실시예에서 멀티-뷰 비디오 코딩 슬라이스를 지원하기 위해 고유한 NAL 유닛 타입과 2개의 새로운 NAL 유닛 타입을 지닌 뷰 파라미터 세트라고 부르는 새로운 파라미터 세트가 제안된다. view_id와 사용될 뷰 파라미터 세트를 표시하기 위해 슬라이스 헤더 구문론도 수정한다.
MPEG-4 AVC 표준은 다음 2개의 파라미터 세트, 즉 (1) 전체 시퀀스를 변화하는 것이 기대되지 않는 정보를 포함하는 시퀀스 파라미터 세트(SPS)와, (2)각 화상에 관한 변화가 기대되지 않는 정보를 포함하는 화상 파라미터 세트(PPS: Picture Parameter Set)를 포함한다.
멀티-뷰 비디오 코딩이 각 뷰에 특정되는 추가 정보를 가지므로, 이러한 정보를 송신하기 위해 분리된 뷰 파라미터 세트(VPS)를 생성하였다. 상이한 뷰들 사이의 의존성을 결정하기 위해 필요로 하는 모든 정보는 뷰 파라미터 세트에서 표시된다. 제안된 뷰 파라미터 세트를 위한 구문론 표가 표 1(뷰 파라미터 세트 RBSP 구문론)에 도시된다. 이 뷰 파라미터 세트는, 예컨대 표 2(NAL 유닛 타입 코드)에 도시된 타입 14와 같은 새로운 NAL 유닛 타입에 포함된다.
본 발명의 설명에 따르면, 다음 용어가 정의된다.
view_parameter_set_id는 슬라이스 헤더에서 가리키는 뷰 파라미터 세트를 식별한다. view_parameter_set_id의 값은 0 내지 255의 범위에 있게 된다.
number_of_views_minus_1 plus 1은 비트스트림에서의 뷰의 총 개수를 식별한다. number_of_view_minus_1의 값은 0 내지 255의 범위에 있게 된다.
avc_compatible_view_id는 AVC에 적합한 뷰의 view_id를 표시한다. avc_compatible_view_id의 값은 0 내지 255의 범위에 있게 된다.
is_base_view_flag[i]가 1과 같다는 것은 뷰(i)가 베이스 뷰이고 독립적으로 디코딩 가능하다는 것을 표시한다. is_base_view_flag[i]가 0과 같다는 것은 뷰(i)가 베이스 뷰가 아니라는 것을 표시한다. is_base_view_flag[i]의 값은 AVC에 적합한 뷰(i)에 관해 1과 같게 된다.
dependency_update_flag가 1과 같다는 것은, 이 뷰에 관한 의존성 정보가 VPS에서 업데이트된다는 것을 표시한다. dependency_update_flag가 0과 같다는 것은, 이 뷰에 관한 의존성 정보가 업데이트되지 않고 변경되지 않아야 한다는 것을 표시한다.
anchor_picture_dependency_maps[i][j]가 1과 같다는 것은, j와 같은 view_id를 지닌 앵커 화상이 i와 같은 view_id를 지닌 앵커 화상에 의존하게 된다는 것을 표시한다.
non_anchor_picture_dependency_maps[i][j]가 1과 같다는 것은, j와 같은 view_id를 지닌 비-앵커 화상이 i와 같은 view_id를 지닌 비-앵커 화상에 의존한다는 것을 표시한다. non_anchor_picture_dependency_maps[i][j]는 anchor_picture_dependency_maps[i][j]가 1과 같을 때에만 존재한다. anchor_picture_dependency_maps[i][j]가 존재하고 0과 같다면, non_anchor_picture_dependency_maps[i][j]가 0과 같다는 것으로 추론된다.
뷰 파라미터 세트에서의 선택적 파라미터는 다음과 같은 것을 포함하는데, 즉
camera_parameters_present_flag가 1과 같다는 것은, 다음과 같이 프로젝션 매트릭스가 신호로 알려진다는 것을 표시한다.
camera_parameters는 카메라 파라미터가 3 ×4 프로젝션 매트릭스(P)의 형태로 운반된다고 가정되고, 3차원 세계에서의 한 점을 2차원 영상 좌표, 즉 로 맵핑하는데 사용될 수 있으며, 여기서 I는 동차 좌표로는 다음과 같이 표시된다.
각 요소 camera_parameters_*_*는 IEEE 단일 단순 정밀도 부동점(32비트) 표준에 따라 표현될 수 있다.
이 정보를 분리된 파라미터 세트에 놓는 장점은, MPEG-4 AVC 표준에 적합한 시퀀스 파라미터 세트(SPS)와 화상 파라미터 세트(PPS)를 여전히 유지한다는 점이다. 각 뷰에 관해 이 정보를 시퀀스 파라미터 세트나 화상 파라미터 세트에 놓게 되면, 분리된 시퀀스 파라미터 세트와 화상 파라미터 세트를 보낼 필요가 있다. 이는 너무 제한적이다. 또한 이 정보는 시퀀스 파라미터 세트나 화상 파라미터 세트에서 잘 맞지 않는다. 또 다른 이유는 MPEG-4 AVC 표준에 적합한 베이스 뷰를 가질 것을 제안하므로, 그러한 뷰에 관한 분리된(MPEG-4 AVC에 적합한) 시퀀스 파라미터 세트와 화상 파라미터 세트 및 모든 다른 뷰에 대해 분리된 시퀀스 파라미터 세트/화상 파라미터 세트(뷰 특정 정보를 지닌)를 사용해야만 한다는 점이다.
시퀀스의 바로 처음에 단일 뷰 파라미터 세트에 모든 의존성 정보를 놓는다는 것을 매우 유익하다. 디코더는 일단 그것이 뷰 파라미터 세트를 수신하면 모든 의존성 정보를 사용하여 맵을 생성할 수 있다. 이는 그것이 임의의 슬라이스를 수신하기 전에 특정 뷰를 디코딩하기 위해 어느 뷰가 필요한지 알 수 있게 한다. 이 결과, view_id를 얻기 위해 슬라이스 헤더를 분석하고 이 뷰가 사용자에 의해 표시된 타깃 뷰(target view)를 디코딩하기 위해 필요한지를 결정할 필요가 있을 뿐이다. 그러므로, 임의의 프레임을 버퍼링하거나 특정 뷰를 디코딩하기 위해 어느 프레임이 필요한지를 결정하기 위한 특정 포인트까지 기다릴 필요가 없다.
의존성 정보와 그것이 베이스 뷰인지의 여부는 뷰 파라미터 세트에 표시되어 있다. 심지어 MPEG-4 AVC에 적합한 베이스 뷰도 그 뷰에 특정되는 정보(예컨대, 카메라 파라미터)를 그것과 연관시킨다. 이 정보는 뷰 보간/합성을 포함하는 몇몇 목적을 위해 다른 뷰에 의해 사용될 수 있다. 여기서는 하나의 MPEG-4 AVC에 적합한 뷰만을 지원하는 것을 제안하는데, 이는 다수의 MPEG-4 AVC에 적합한 뷰가 존재하면, 이는 각각의 그러한 슬라이스에 관해, 어느 뷰에 그것이 속하는지를 식별하는 것을 어렵게 하고 비-멀티-뷰 비디오 코딩 디코더가 쉽게 혼동되게 할 수 있기 때문이다.
그것을 단지 하나의 그러한 뷰로 제한함으로써, 비-멀티-뷰 비디오 코딩 디코더가 올바르게 그러한 뷰를 디코딩할 수 있는 것이 보장되고, 멀티-뷰 비디오 코딩 디코더는 syntax avc_compatible_view_id를 사용하여 뷰 파라미터 세트로부터 그러한 뷰를 쉽게 식별할 수 있다. 모든 다른 베이스 뷰(비-MPEG-4 AVC에 적합한)가 is_base_view_flag를 사용하여 식별될 수 있다.
멀티-뷰 비디오 코딩 슬라이스를 위한 새로운 슬라이스 헤더가 제안된다. 뷰 스케일러빌리티, 뷰 랜덤 액세스 등을 지원하기 위해서는, 현재 슬라이스가 의존하는 뷰가 어느 것인지를 알 필요가 있다. 또한 뷰 합성과 뷰 보간을 위해, 잠재적으로 카메라 파라미터를 필요로 할 수 있다. 이 정보는 표 1에서 위에 도시된 것과 같은 뷰 파라미터 세트에 존재한다. 뷰 파라미터 세트는 view_parameter_set_id를 사용하여 식별된다. 여기서 표 3에 도시된 것과 같은 모든 비-MPEG-4 AVC에 적합한 슬라이스의 슬라이스 헤더에서 view_parameter_set_id를 더하는 것을 제안한다. view_id 정보는 뷰 보간/합성, 뷰 랜덤 액세스, 병렬 처리 등을 포함하는 몇몇 멀티-뷰 비디오 코딩 요구 조건을 위해 필요하다. 이 정보는 또한 크로스-뷰 예측에만 관련되는 특별한 코딩 모드를 위해 유용하다. 이 뷰를 위한 뷰 파라미터 세트로부터 대응하는 파라미터를 찾기 위해서는 슬라이스 헤더에서 view_id를 보낼 필요가 있다.
새로운 멀티-뷰 비디오 코딩 슬라이스를 위해, 각 슬라이스 타입에 관한 새로운 NAL 유닛 타입을 생성하는 것을 제안한다{순시 디코딩 리프레시(IDR: Instantaneous Decoding Refresh)와 비-IDR}. 표 2에 도시된 것처럼, IDR 슬라이스를 위해서는 타입 22를 사용하고, 비-IDR 슬라이스를 위해서는 타입 23을 사용하는 것을 제안한다.
view_parameter_set_id는 사용중인 뷰 파라미터 세트를 특정한다. view_parameter_set_id의 값은 0 내지 255의 범위에 있게 된다.
view_id는 현재 뷰의 view_id를 표시한다. view_parameter_set_id의 값은 0 내지 255의 범위에 있게 된다.
이제 뷰 랜덤 액세스의 일 예를 본 발명의 일 실시예에 따라 설명한다.
뷰 랜덤 액세스는 멀티-뷰 비디오 코딩 요구 조건이다. 그 목적은 최소의 디코딩 노력으로 임의의 뷰에 대한 액세스를 얻는 것이다. 도 3에 도시된 예측 구조를 위한 뷰 랜덤 액세스의 간단한 예를 고려하자.
사용자가 뷰(S3)를 디코딩하기를 요구한다고 가정한다. 도 3으로부터, 이 뷰가 뷰(S0), 뷰(S2), 뷰(S4)에 의존하는 것을 본다. 뷰 파라미터 세트의 일 예가 아래에 예시되어 있다.
그 뷰를 위한 view_id가 슬라이스 헤더 구문론에서 0부터 7까지 연속적으로 번호가 매겨지고, view_parameter_set가 0과 같은 1개의 뷰 파라미터 세트만이 존재한다고 가정한다. number_of_views_minus_1이 7로 세트된다. avc_compatible_view_id는 0으로 세트될 수 있다.
뷰(S0)의 경우, is_base_view_flag는 1로 세트되고, 다른 뷰에 관해서는 0으로 세트된다. S0, S1, S2, S3, S4에 관한 의존성 맵은 표 4a에 도시된 것에 관한 의존표(S0anchor_picture_dependency_map)와 표 4b에 도시된 것에 관한 의존성 표 (S0non_anchor_picture_dependency_map)와 같이 보인다. 다른 뷰에 관한 의존성 맵도 유사한 방식으로 쓰여질 수 있다.
일단 이 표가 디코더에서 이용 가능하게 되면, 디코더가 그것이 수신하는 슬라이스가 특정 뷰를 디코딩하는데 필요한지를 쉽게 결정할 수 있다. 디코더는 오직 현재 슬라이스의 view_id를 결정하기 위해 슬라이스 헤더를 분석할 필요가 있고, 타깃 뷰(S3)에 관해서는 그것이 현재 슬라이스를 유지해야하는지를 결정하기 위해, 2개의 표(표 4a와 표 4b)에서 S3 열들을 찾을 수 있다. 디코더는 앵커 화상과 비-앵커 화상을 구별할 필요가 있는데, 이는 그것들이 표 4a와 표 4b로부터 보여질 수 있는 것과 같은 상이한 의존성을 가질 수 있기 때문이다. 타깃 뷰(S3)의 경우, 뷰(S0,S2,S4)의 앵커 화상을 디코딩할 필요가 있지만 뷰(S2,S4)의 비-앵커 화상만을 디코딩할 필요가 있다.
도 4를 참조하면, 멀티-뷰 비디오 콘텐츠의 다수의 뷰를 인코딩하기 위한 예시적인 방법이 일반적으로 참조 번호(400)로 표시되어 있다.
방법(400)은 제어를 기능 블록(410)에 넘기는 시작 블록(405)을 포함한다. 기능 블록(410)은 다수의 뷰를 인코딩하기 위해 사용될 파라미터를 인코딩하기 위한 구성 파일을 읽고, 제어를 기능 블록(415)에 넘긴다. 이 기능 블록(415)은 N을 인코딩될 뷰의 개수와 같도록 세트하고, 제어를 기능 블록(420)에 넘긴다. 기능 블록(420)은 number_of_views_minus_1을 N-1과 같게 세트하고, avc_compatible_view_id를 MPEG-4 AVC에 적합한 뷰의 view_id와 같게 세트하며, 제어를 기능 블록(425)에 넘긴다. 기능 블록(425)은 view_parameter_set_id를 유효 정수와 같게 세트하고, 변수(i)를 0과 같게 초기화하며, 제어를 결정 블록(430)에 넘긴다. 결정 블록(430)은 i가 N보다 큰지 여부를 결정한다. 만약 N보다 크다면 제어는 결정 블록(435)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(470)으로 넘어간다.
결정 블록(435)은 현재 뷰가 베이스 뷰인지 여부를 결정한다. 만약 그렇다면 제어는 기능 블록(440)으로 넘어간다. 그렇지 않으면, 제어는 기능 블록(480)으로 넘어간다.
기능 블록(440)은 is_base_view_flag[i]를 1과 같게 세트하고, 제어를 결정 블록(445)에 넘긴다. 결정 블록(445)은 그 의존성이 업데이트되는지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(450)으로 넘어간다. 그렇지 않다면, 제어는 기능 블록(485)으로 넘어간다.
기능 블록(450)은 dependency_update_flag가 1과 같게 세트하고, 제어를 기능 블록(455)에 넘긴다. 기능 블록(455)은 변수(j)를 0과 같게 세트하고, 제어를 결정 블록(460)에 넘긴다. 결정 블록(460)은 j가 N보다 작은지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(465)으로 넘어간다. 그렇지 않다면, 제어는 기능 블록(487)으로 넘어간다.
기능 블록(465)은 anchor_picture_dependency_maps[i][j]와 non_anchor_picture_dependency_maps[i][j]를 구성 파일에 의해 표시된 값으로 세트하고, 제어를 기능 블록(467)에 넘긴다. 기능 블록(467)은 변수(j)를 1만큼 증가시키고, 제어를 결정 블록(460)으로 되돌린다.
기능 블록(470)은 카메라 파라미터가 존재할 때 camera_parameters_present_flag를 1과 같게 세트하고, 그렇지 않으면 camera_parameters_present_flag를 0과 같게 세트하고, 제어를 결정 블록(472)으로 넘긴다. 결정 블록(472)은 camera_parameters_present_flag가 1과 같은지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(432)으로 넘어간다. 그렇지 않으면, 제어는 기능 블록(434)으로 넘어간다.
기능 블록(432)은 카메라 파라미터를 쓰고, 제어를 기능 블록(434)으로 넘긴다.
기능 블록(434)은 뷰 파라미터 세트(VPS)를 쓰거나 시퀀스 파라미터 세트(SPS)를 쓰고 제어를 종료 블록(499)에 넘긴다.
기능 블록(480)은 is_base_view_flag[i]를 0과 같게 세트하고, 제어를 결정 블록(445)에 넘긴다.
기능 블록(485)은 dependency_update_flag를 0과 같게 세트하고, 제어를 기능 블록(487)에 넘긴다. 기능 블록(487)은 변수(i)를 1만큼 증가시키고, 제어를 결정 블록(430)으로 되돌린다.
도 5를 참조하면, 멀티-뷰 비디오 콘텐츠의 다수의 뷰를 디코딩하기 위한 예시적인 방법이 일반적으로 참조 번호(500)로 표시되어 있다.
이 방법(500)은 제어를 기능 블록(510)에 넘기는 시작 블록(505)을 포함한다. 기능 블록(510)은 시퀀스 파라미터 세트(SPS)나 뷰 파라미터 세트(VPS), view_parameter_set_id, number_of_views_minus_1, avc_compatible_view_id를 분석하고, 변수(I,j)를 0과 같게 세트하며, N이 number_of_views_minus_1과 같게 세트하고, 제어를 결정 블록(515)에 넘긴다. 결정 블록(515)은 i가 N 이하인지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(570)으로 넘어간다. 그렇지 않으면, 제어는 기능 블록(525)으로 넘어간다.
기능 블록(570)은 camera_parameters_present_flag를 분석하고, 제어를 결정 블록(572)으로 넘긴다. 결정 블록(572)은 camera_parameters_present_flag가 1과 같은지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(574)으로 넘어간다. 그렇지 않다면, 제어는 기능 블록(576)으로 넘어간다.
기능 블록(574)은 카메라 파라미터를 분석하고, 제어를 기능 블록(576)으로 넘긴다.
기능 블록(576)은 디코딩을 계속하고, 제어를 종료 블록(599)에 넘긴다.
기능 블록(525)은 is_base_view_flag[i]와 dependency_update_flag를 분석하고, 제어를 결정 블록(530)에 넘긴다. 결정 블록(530)은 dependency_update_flag가 0과 같은지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(532)으로 넘어간다. 그렇지 않으면 제어는 결정 블록(535)으로 넘어간다.
기능 블록(532)은 i를 1만큼 증가시키고 제어를 결정 블록(515)으로 되돌린다.
결정 블록(535)은 j가 N 이하인지 여부를 결정한다. 만약 그렇다면 제어는 기능 블록(540)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(537)으로 넘어간다.
기능 블록(540)은 anchor_picture_dependency_maps[i][j]를 분석하고, 제어를 결정 블록(545)에 넘긴다. 결정 블록(545)은 non_anchor_picture_dependency_maps[i][j]가 1과 같은지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(550)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(547)으로 넘어간다.
기능 블록(550)은 non_anchor_picture_dependency_maps[i][j]를 분석하고, 제어를 기능 블록(547)에 넘긴다.
기능 블록(547)은 j를 1만큼 증가시키고, 제어를 결정 블록(535)으로 되돌린다.
기능 블록(537)은 i를 1만큼 증가시키고, 제어를 기능 블록(515)으로 되돌린다.
이제 본 발명의 많은 수반된 장점/특성의 일부에 대한 설명이 주어지고, 그들 중 일부는 위에서 언급되었다. 예컨대, 한 가지 장점/특성은 인코더를 가지는 장치로서, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 결과로서 생기는 비트스트림으로 인코딩하며, 그 결과로서 생기는 비트스트림은 뷰 특정 정보를 포함하도록 인코딩된다. 뷰 특정 정보는 적어도 2개의 뷰 중 적어도 일부 사이의 디코딩 상호 의존성을 표시한다. 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 그 디코딩 상호 의존성은 대응하는 디코딩을 위한 적어도 2개의 뷰의 서브세트만을 사용하는 적어도 2개의 뷰 중 적어도 하나의 대응하는 디코딩을 허용한다. 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 뷰 특정 정보에 표시된 디코딩 상호 의존성은 적어도 하나의 뷰에 관해 비-상호 의존적이지 않은 것으로 표시된 적어도 2개의 뷰 중 임의의 다른 뷰에 관련된 슬라이스들을 버림으로써 적어도 2개의 뷰 중 적어도 하나의 랜덤 액세스를 위해 사용된다. 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 그 뷰 특정 정보는 하이 레벨의 구문론에 포함된다. 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 그 뷰 특정 정보는 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 파라미터 세트에 포함된다. 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 그 뷰 특정 정보는 뷰 파라미터 세트에 포함된다.
또 다른 장점/특성은 인코더를 가지는 장치로서, 그 뷰 특정 정보는 전술한 뷰 파라미터 세트에 포함되고, 그 뷰 파라미터 세트에는 오직 그 뷰 파라미터 세트와 사용하기 위해 특별히 NAL 유닛 타입이 할당된다. 추가 장점/특성은 NAL 유닛 타입이 전술한 바와 같은 뷰 파라미터 세트와만 사용하기 위해 특별히 할당되는 인코더를 가지는 장치로서, 이 경우 NAL 유닛 타입은 14이다. 게다가, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 그 뷰 특정 정보는 뷰 파라미터 세트 id를 표시하기 위한 적어도 하나의 구문론 요소를 포함한다. 또한, 또 다른 장점/특성은 인코더를 가지는 장치로서, 그 뷰 특정 정보가 전술한 바와 같은 뷰 파라미터 세트 id를 표시하기 위한 적어도 하나의 구문론 요소를 포함하며 이 경우 적어도 하나의 구문론 요소가 view_parameter_set_id 구문론 요소에 의해 표시된다. 또한, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 정보는 다수의 뷰를 표시하기 위한 적어도 하나의 구문론 요소를 포함한다. 추가로, 또 다른 장점/특성은 인코더를 가지는 장치로서, 그 뷰 특정 정보가 전술한 바와 같은 다수의 뷰를 표시하기 위한 적어도 하나의 구문론 요소를 포함하며, 이 경우 적어도 하나의 구문론 요소는 number_of_views_minus_1 구문론 요소에 의해 표시된다. 게다가, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 그 뷰 특정 정보는 적어도 2개의 뷰 중 특정된 하나의 뷰가 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 결과로서 생기는 비트스트림으로 인코딩될 때, 적어도 2개의 뷰 중 상기 특정된 것에 관한 뷰 id를 표시하기 위한 적어도 하나의 구문론 요소를 포함한다. 또, 또 다른 장점/특성은 인코더를 가지는 장치로서, 그 뷰 특정 정보가 전술한 바와 같은 적어도 2개의 뷰 중 특정된 하나의 뷰에 관한 뷰 id를 표시하기 위한 적어도 하나의 구문론 요소를 포함하며, 이 경우 적어도 하나의 구문론 요소는 avc_compatible_view_id 구문론 요소에 의해 나타내어진다. 또한, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 정보는 적어도 하나의 구문론 요소를 포함하거나 하이 레벨의 구문론으로부터 암시적으로 유도 가능하고, 이러한 적어도 하나의 구문론 요소와 하이 레벨의 구문론은 적어도 2개의 뷰 중 특정된 뷰가 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안에 적합하다는 것을 표시하기 위한 것이다. 추가로 또 다른 장점/특성은 인코더를 가지는 장치로서, 그 뷰 특정 정보가 적어도 하나의 구문론 요소를 포함하거나 전술한 바와 같이 하이 레벨의 구문론으로부터 암시적으로 유도 가능하며, 이 경우 그 적어도 하나의 구문론 요소는 is_base_view_flag 구문론 요소에 의해 표시된다. 게다가, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 정보는 적어도 2개의 뷰 중 적어도 하나의 뷰에 관한 의존성 정보가 결과로서 생기는 비트스트림에 존재하는지 여부를 표시하기 위한 적어도 하나의 구문론 요소를 포함한다. 또한 또 다른 장점/특성은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 정보는 적어도 2개의 뷰 중 적어도 하나의 뷰에 관한 의존성 정보가 전술한 바와 같이 그 결과로서 생기는 비트스트림에 존재하는지 여부를 표시하기 위한 적어도 하나의 구문론 요소를 포함하고, 이 경우 적어도 하나의 구문론 요소는 dependency_update_flag 구문론 요소에 의해 표시된다. 또한, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 정보는 적어도 2개의 뷰 중 현재의 뷰에서의 적어도 하나의 앵커 화상이 적어도 2개의 뷰 중 임의의 다른 뷰들을 디코딩하기 위해 사용되는지 여부를 표시하기 위해, 적어도 하나의 구문론 요소를 포함한다. 게다가, 또 다른 장점/특성은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 정보는 적어도 2개의 뷰 중 현재의 뷰에서의 적어도 하나의 앵커 화상이 전술한 바와 같이 적어도 2개의 뷰 중 임의의 다른 뷰를 디코딩하기 위해 사용되는지 여부를 표시하기 위한 적어도 하나의 구문론 요소를 포함하고, 그 적어도 하나의 구문론 요소는 anchor_picture_dependency_maps[i][j] 구문론 요소에 의해 표시된다. 또한 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 정보는 적어도 2개의 뷰 중 현재의 뷰에서의 적어도 하나의 비-앵커 화상이 적어도 2개의 뷰 중 임의의 다른 뷰를 디코딩하기 위해 사용되는지를 표시하기 위한 적어도 하나의 구문론 요소를 포함한다. 추가로 또 다른 장점/특성은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 정보는 적어도 2개의 뷰 중 현재의 뷰에서의 적어도 하나의 비-앵커 화상이 전술한 바와 같은 적어도 2개의 뷰 중 임의의 다른 뷰를 디코딩하기 위해 사용되는지 여부를 표시하기 위한 적어도 하나의 구문론 요소를 포함하고, 그러한 적어도 하나의 구문론 요소는 non_anchor_picture_dependency_maps[i][j] 구문론 요소에 의해 표시된다. 게다가, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 그 결과로서 생기는 비트스트림은 적어도 2개의 뷰 중 적어도 하나의 뷰에 관한 적어도 하나의 카메라 파라미터에 관련된 적어도 하나의 구문론 요소를 포함하도록 인코딩된다. 또한 또 다른 장점/특성은 인코더를 가지는 장치로서, 이 경우 그 결과로서 생기는 비트스트림은 전술한 바와 같은 적어도 2개의 뷰 중 적어도 하나의 뷰에 관한 적어도 하나의 카메라 파라미터에 관련된 적어도 하나의 구문론 요소를 포함하도록 인코딩되고, 그 적어도 하나의 구문론은 그 결과로서 생기는 비트스트림에 대응하는 파라미터 세트에 포함된다.
게다가, 또 다른 장점/특성은 그 디코딩을 위해 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 적어도 2개의 뷰 중 임의의 뷰를 베이스 뷰로서 정의함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더를 포함하는 장치이다.
또한, 또 다른 장점/특성은 백워드 적합성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 결과로서 생기는 비트스트림으로 적어도 2개의 뷰 중 적어도 하나의 뷰를 인코딩함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더를 포함하는 장치이다. 또한 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 적어도 하나의 뷰는 그 디코딩을 위해 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 베이스 뷰이다. 추가로, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 avc_compatible_view_id 구문론 요소는 적어도 하나의 뷰를 백워드 적합성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 결과로서 생기는 비트스트림으로 인코딩되는 것으로 식별한다.
게다가, 또 다른 장점/특성은 2개의 미리 정의된 슬라이스 타입 중 하나를 선택함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰 중 적어도 하나의 뷰를 인코딩하기 위한 인코더를 포함하는 장치이다. 또 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 2개의 미리 정의된 슬라이스 타입은 순시 디코딩 리프레시 슬라이스 타입과 비-순시 디코딩 리프레시 슬라이스 타입이다. 또한, 또 다른 장점/특성은 전술한 바와 같은 순시 디코딩 리프레시 슬라이스 타입과 비-순시 디코딩 리프레시 슬라이스 타입 중에서 선택하는 인코더를 가지는 장치로서, 이 경우 NAL 유닛 타입 22가 순시 디코딩 리프레시 슬라이스 타입을 위해 사용되고, NAL 유닛 타입 23이 비순시 디코딩 리프레시 슬라이스를 위해 사용된다. 추가로, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 적어도 2개의 슬라이스 중 적어도 하나의 슬라이스를 위한 슬라이스 헤더는 뷰 특정 구문론을 포함한다. 게다가, 또 다른 장점/특성은 인코더를 가지는 장치로서, 적어도 2개의 슬라이스 중 적어도 하나의 슬라이스를 위한 슬라이스 헤더가 전술한 바와 같은 뷰 특정 구문론을 포함하며, 이 경우 그 뷰 특정 구문론은 NAL 유닛 타입 23이냐 NAL 유닛 타입 24이냐에 따라 좌우된다. 또 또 다른 장점/특성은 인코더를 가지는 장치로서, 이 경우 적어도 2개의 슬라이스 중 적어도 하나의 슬라이스를 위한 슬라이스 헤더는 전술한 바와 같은 뷰 특정 구문론을 포함하고, 그 뷰 특정 구문론은 뷰 파라미터 세트 식별자와 뷰 식별자를 포함한다. 또한 또 다른 장점/특성은 인코더를 가지는 장치로서, 이 경우 그 뷰 특정 구문론은 전술한 바와 같이 뷰 파라미터 세트 식별자와 뷰 식별자를 포함하고, 그 뷰 파라미터 세트 식별자는 view_parameter_set_id 구문론 요소에 의해 나타내어지며, 그 뷰 식별자는 view_id 구문론 요소에 의해 나타내어진다.
추가로, 또 다른 장점/특성은 멀티-뷰 콘텐츠에 대응하는 적어도 2개의 뷰를 결과로서 생기는 비트스트림으로 인코딩하기 위한 인코더를 포함하는 장치로서, 이 경우 그 결과로서 생기는 비트스트림은 적어도 2개의 뷰 중 적어도 하나의 뷰에 대응하는 적어도 하나의 카메라 파라미터를 포함하도록 인코딩된다. 게다가, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 그 결과로서 생기는 비트스트림은 뷰 파라미터 세트를 포함하도록 인코딩되고, 상기 적어도 하나의 카메라 파라미터가 그 뷰 파라미터 세트에 포함된다. 또, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 적어도 하나의 카메라 파라미터의 존재는 구문론 요소에 의해 표시된다. 또한, 또 다른 장점/특성은 인코더를 가지는 장치로서, 적어도 하나의 카메라 파라미터의 존재가 전술한 바와 같은 구문론 요소에 의해 표시되며, 이 경우 그 구문론 요소는 camera_parameters_present_flag 구문론 요소이다. 추가로, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 상기 적어도 하나의 카메라 파라미터는 camera_parameters 구문론 요소에 의해 표시된다.
게다가, 또 다른 장점/특성은 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 결과로서 생기는 비트스트림으로 인코딩하기 위한 인코더를 포함하는 장치로서, 이 경우 그 결과로서 생기는 비트스트림은 적어도 2개의 뷰 중 적어도 하나의 뷰에 관한 적어도 하나의 카메라 파라미터에 관련된 적어도 하나의 구문론 요소를 포함하도록 인코딩된다. 또, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 적어도 하나의 구문론은 하이 레벨의 구문론 요소이다. 또한, 또 다른 장점/특성은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 적어도 하나의 구문론은 그 결과로서 생기는 비트스트림에 대응하는 파라미터 세트에 포함된다.
본 발명의 이들 및 다른 특성과 장점은 본 명세서의 가르침에 기초하여 당업자가 쉽게 확인할 수 있는 것이다. 본 발명의 가르침이 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특별한 목적의 프로세서 또는 이들의 결합으로 구현될 수 있음이 이해되어야 한다.
가장 바람직한 것은 본 발명의 가르침이 하드웨어와 소프트웨어의 결합으로서 구현되는 것이다. 게다가, 그 소프트웨어는 프로그램 저장 유닛에서 명백히 구현된 응용 프로그램으로서 구현될 수 있다. 그 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 기계로 업로드될 수 있고 그러한 기계에 의해 실행될 수 있다. 바람직하게, 그 기계는 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM), 입력/출력(I/O) 인터페이스와 같은 하드웨어를 가지는 컴퓨터 플랫폼에서 구현된다. 이 컴퓨터 플랫폼은 또한 운영 체제와 마이크로인스트럭션 코드를 포함할 수 있다. 본 명세서에 설명된 다양한 프로세스와 기능은 CPU에 의해 실행될 수 있는 마이크로인스트럭션 코드 부분이거나 응용 프로그램의 부분 또는 이들의 임의의 결합물일 수 있다. 또한, 추가 데이터 저장 유닛과 프린팅 유닛과 같은 다양한 다른 주변 유닛이 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면에 도시된 시스템을 구성하는 구성 요소와 방법의 일부가 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 구성 성분 또는 프로세스 기능 블록 사이의 실제 연결은, 본 발명의 원리가 프로그래밍되는 방식에 따라 상이할 수 있다는 점이 또한 이해되어야 한다. 본 명세서에 주어진 가르침으로, 당업자라면 본 발명의 이들 및 유사한 구현예 또는 구성예를 예측할 수 있게 된다.
비록 예시적인 구현예들이 첨부 도면을 참조하여 본 명세서에 설명되었지만, 본 발명은 이들 정밀한 실시예에 제한되지 않고, 본 발명의 범주 또는 사상으로부터 벗어나지 않으면서 당업자에 의해 다양한 변경 및 수정이 이루어질 수 있음이 이해되어야 한다. 모든 그러한 변경 및 수정은 첨부된 청구항에서 전개된 본 발명의 범주 내에 포함되는 것으로 의도된다.
전술한 바와 같이, 본 발명은 비디오 인코딩 및 디코딩, 특히 멀티-뷰 비디오 코딩 시스템에서 이용 가능하다.
Claims (20)
- 장치로서,디코딩을 위해, 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 적어도 2개의 뷰 중 임의의 것을 베이스 뷰(base view)로서 정의함으로써, 멀티-뷰(multi-view) 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더(100)를 포함하는 장치.
- 방법으로서,디코딩을 위해, 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 적어도 2개의 뷰 중 임의의 것을 베이스 뷰로서 정의함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하는 단계(440)를 포함하는, 방법.
- 장치로서,멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하기 위한 디코더(200)를 포함하고, 상기 디코더는, 만약 있다면 적어도 2개의 뷰 중 어느 것이, 디코딩을 위해 상기 적어도 2개의 뷰 중 임의 다른 것에 독립적인 베이스 뷰인지를 결정하는, 장치.
- 방법으로서,멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 단계를 포함하고, 상기 디코딩 단계는, 만약 있다면 적어도 2개의 뷰 중 어느 것이, 디코딩을 위해 상기 적어도 2개의 뷰 중 임의 다른 것에 독립적인 베이스 뷰인지를 결정하는(525), 방법.
- 비디오 인코딩을 위한 비디오 신호 구조로서,디코딩을 위해, 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 적어도 2개의 뷰 중 임의의 것을 베이스 뷰로서 정의함으로써, 인코딩된 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 포함하는, 비디오 인코딩을 위한 비디오 신호 구조.
- 인코딩된 비디오 신호 데이터를 가지는 저장 매체로서,디코딩을 위해, 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 적어도 2개의 뷰 중 임의의 것을 베이스 뷰로서 정의함으로써, 인코딩된 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 포함하는, 인코딩된 비디오 신호 데이터를 가지는 저장 매체.
- 장치로서,하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 결과로서 생기는 비트스트림에서 적어도 2개의 뷰 중 적어도 하나의 뷰를 인코딩함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더(100)를 포함하는, 장치.
- 제 7항에 있어서, 적어도 하나의 뷰는 그 디코딩을 위해, 상기 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 베이스 뷰인, 장치.
- 제 7항에 있어서, avc_compatible_view_id 구문론 요소가, 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 결과로서 생기는 비트스트림으로 인코딩되는 것으로서 상기 적어도 하나의 뷰를 식별하는, 장치.
- 방법으로서, 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고 안을 따르는 구문론인 결과로서 생기는 비트스트림에서 적어도 2개의 뷰 중 적어도 하나의 뷰를 인코딩함으로써, 멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 인코딩하는 단계(420)를 포함하는, 방법.
- 제 10항에 있어서, 상기 적어도 하나의 뷰는 그것의 디코딩을 위해, 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 베이스 뷰(440)인, 방법.
- 제 10항에 있어서, avc_compatible_view_id 구문론 요소가, 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 결과로서 생기는 비트스트림으로 인코딩되는 것으로서 상기 적어도 하나의 뷰를 식별하는, 방법.
- 장치로서,멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하기 위한 디코더(200)를 포함하고, 상기 적어도 2개의 뷰 중 적어도 하나의 뷰는 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 비트스트림에 포함되는, 장치.
- 제 13항에 있어서, 상기 적어도 하나의 뷰는 그것의 디코딩을 위해, 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 베이스 뷰인, 장치.
- 제 13항에 있어서, avc_compatible_view_id 구문론 요소가, 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 비트스트림에 포함되는 것으로서 상기 적어도 하나의 뷰를 식별하는, 장치.
- 방법으로서,멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 디코딩하는 단계(510)를 포함하고, 상기 적어도 2개의 뷰 중 적어도 하나의 뷰는, 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 비트스트림에 포함되 는, 방법.
- 제 16항에 있어서, 상기 적어도 하나의 뷰는 그것의 디코딩을 위해, 적어도 2개의 뷰 중 임의의 다른 뷰에 독립적인 베이스 뷰인(525), 방법.
- 제 17항에 있어서, avc_compatible_view_id 구문론 요소가, 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 비트스트림에 포함되는 것으로서 상기 적어도 하나의 뷰를 식별하는(510), 방법.
- 비디오 인코딩을 위한 비디오 신호 구조로서,멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 포함하고, 상기 적어도 2개의 뷰 중 적어도 하나의 뷰는 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 비트스트림으로 인코딩되는, 비디오 인코딩을 위한 비디오 신호 구조.
- 인코딩된 비디오 신호 데이터를 가지는 저장 매체로서,멀티-뷰 비디오 콘텐츠에 대응하는 적어도 2개의 뷰를 포함하고, 상기 적어도 2개의 뷰 중 적어도 하나의 뷰는 하위 호환성을 위해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안을 따르는 구문론인 비트스트림으로 인코딩되는, 인코딩된 비디오 신호 데이터를 가지는 저장 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US78709206P | 2006-03-29 | 2006-03-29 | |
US60/787,092 | 2006-03-29 | ||
PCT/US2007/004997 WO2007126511A2 (en) | 2006-03-29 | 2007-02-27 | Multi view video coding method and device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090007293A true KR20090007293A (ko) | 2009-01-16 |
KR101353193B1 KR101353193B1 (ko) | 2014-01-21 |
Family
ID=38515387
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087022149A KR101361896B1 (ko) | 2006-03-29 | 2007-02-27 | 멀티-뷰 비디오 코딩 방법 및 디바이스 |
KR1020087022174A KR101383735B1 (ko) | 2006-03-29 | 2007-02-27 | 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치 |
KR1020087022720A KR101353193B1 (ko) | 2006-03-29 | 2007-02-27 | 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087022149A KR101361896B1 (ko) | 2006-03-29 | 2007-02-27 | 멀티-뷰 비디오 코딩 방법 및 디바이스 |
KR1020087022174A KR101383735B1 (ko) | 2006-03-29 | 2007-02-27 | 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치 |
Country Status (11)
Country | Link |
---|---|
US (3) | US20090207904A1 (ko) |
EP (3) | EP1999967A2 (ko) |
JP (8) | JP2009531967A (ko) |
KR (3) | KR101361896B1 (ko) |
CN (3) | CN101416519B (ko) |
AU (2) | AU2007243933B2 (ko) |
BR (3) | BRPI0709167A2 (ko) |
MX (2) | MX2008011652A (ko) |
RU (2) | RU2529881C2 (ko) |
WO (3) | WO2007126509A2 (ko) |
ZA (2) | ZA200807023B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100061715A (ko) * | 2007-10-05 | 2010-06-08 | 톰슨 라이센싱 | 멀티-뷰 비디오(mvc) 코딩 시스템 내의 비디오 유용성 정보(vui)를 통합하기 위한 방법 및 장치 |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101199498B1 (ko) | 2005-03-31 | 2012-11-09 | 삼성전자주식회사 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체 |
US20100091845A1 (en) * | 2006-03-30 | 2010-04-15 | Byeong Moon Jeon | Method and apparatus for decoding/encoding a video signal |
AU2007232607B2 (en) | 2006-03-30 | 2010-09-16 | Lg Electronics Inc. | A method and apparatus for decoding/encoding a video signal |
US7714838B2 (en) * | 2006-04-27 | 2010-05-11 | Research In Motion Limited | Handheld electronic device having hidden sound openings offset from an audio source |
EP2030450B1 (en) * | 2006-06-19 | 2015-01-07 | LG Electronics Inc. | Method and apparatus for processing a video signal |
WO2008005124A2 (en) * | 2006-07-05 | 2008-01-10 | Thomson Licensing | Methods and apparatus for multi-view video encoding and decoding |
US8532178B2 (en) * | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
TWI376958B (en) * | 2006-09-07 | 2012-11-11 | Lg Electronics Inc | Method and apparatus for decoding a scalable video coded bitstream |
US8875199B2 (en) | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
US8416859B2 (en) * | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
US20090180546A1 (en) | 2008-01-09 | 2009-07-16 | Rodriguez Arturo A | Assistance for processing pictures in concatenated video streams |
EP1985121A4 (en) * | 2006-11-17 | 2010-01-13 | Lg Electronics Inc | METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL |
EP2418851A3 (en) * | 2006-12-21 | 2012-05-23 | Thomson Licensing | Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding |
KR100801968B1 (ko) * | 2007-02-06 | 2008-02-12 | 광주과학기술원 | 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더 |
SI3920538T1 (sl) | 2007-04-12 | 2023-08-31 | Dolby International Ab | Razpostavljanje pri kodiranju in dekodiranju videa |
EP2143278B1 (en) * | 2007-04-25 | 2017-03-22 | Thomson Licensing | Inter-view prediction with downsampled reference pictures |
US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
CN101911700A (zh) * | 2008-01-11 | 2010-12-08 | 汤姆逊许可证公司 | 视频和深度编码 |
US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
CN101562745B (zh) * | 2008-04-18 | 2012-07-04 | 华为技术有限公司 | 一种多视点视频图像编码和解码的方法及装置 |
CN102017627B (zh) * | 2008-04-25 | 2013-05-01 | 汤姆森许可贸易公司 | 使用基于深度信息的视差估计的多视点视频编码 |
WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
US8259817B2 (en) * | 2008-11-12 | 2012-09-04 | Cisco Technology, Inc. | Facilitating fast channel changes through promotion of pictures |
CN102364951B (zh) * | 2009-01-19 | 2013-12-18 | 松下电器产业株式会社 | 编码方法、解码方法、编码装置、解码装置、程序及集成电路 |
AU2011250757B2 (en) * | 2009-01-19 | 2012-09-06 | Panasonic Intellectual Property Corporation Of America | Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit |
RU2543954C2 (ru) | 2009-01-26 | 2015-03-10 | Томсон Лайсенсинг | Упаковка кадров для кодирования видео |
MX2010011683A (es) * | 2009-02-19 | 2010-11-30 | Panasonic Corp | Medio de grabacion, dispositivo de reproduccion y circuito integrado. |
WO2010096767A1 (en) | 2009-02-20 | 2010-08-26 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
JP4962525B2 (ja) * | 2009-04-08 | 2012-06-27 | ソニー株式会社 | 再生装置、再生方法、およびプログラム |
RU2550552C2 (ru) | 2009-04-28 | 2015-05-10 | Панасоник Корпорэйшн | Способ декодирования изображений и устройство декодирования изображений |
KR20120013966A (ko) | 2009-05-01 | 2012-02-15 | 톰슨 라이센싱 | 3dv를 위한 기준 화상 리스트 |
US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
US8780999B2 (en) | 2009-06-12 | 2014-07-15 | Qualcomm Incorporated | Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems |
US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
US8948241B2 (en) * | 2009-08-07 | 2015-02-03 | Qualcomm Incorporated | Signaling characteristics of an MVC operation point |
US9215445B2 (en) | 2010-01-29 | 2015-12-15 | Thomson Licensing | Block-based interleaving |
US20110216827A1 (en) * | 2010-02-23 | 2011-09-08 | Jiancong Luo | Method and apparatus for efficient encoding of multi-view coded video data |
US20110222837A1 (en) * | 2010-03-11 | 2011-09-15 | Cisco Technology, Inc. | Management of picture referencing in video streams for plural playback modes |
US9716920B2 (en) | 2010-08-05 | 2017-07-25 | Qualcomm Incorporated | Signaling attributes for network-streamed video data |
EP2617194A1 (en) | 2010-09-14 | 2013-07-24 | Thomson Licensing | Compression methods and apparatus for occlusion data |
CN103329544A (zh) * | 2010-10-13 | 2013-09-25 | 韩国电子通信研究院 | 用于传送立体感视频信息的方法和设备 |
JP5837606B2 (ja) * | 2010-11-15 | 2015-12-24 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
WO2012074328A2 (ko) * | 2010-12-03 | 2012-06-07 | 엘지전자 주식회사 | 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법 |
US20130250051A1 (en) * | 2010-12-13 | 2013-09-26 | Electronics And Telecommunications Research Institute | Signaling method for a stereoscopic video service and apparatus using the method |
US11496760B2 (en) | 2011-07-22 | 2022-11-08 | Qualcomm Incorporated | Slice header prediction for depth maps in three-dimensional video codecs |
US9674525B2 (en) | 2011-07-28 | 2017-06-06 | Qualcomm Incorporated | Multiview video coding |
US9635355B2 (en) | 2011-07-28 | 2017-04-25 | Qualcomm Incorporated | Multiview video coding |
US9402066B2 (en) * | 2011-08-09 | 2016-07-26 | Samsung Electronics Co., Ltd. | Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map |
WO2013030458A1 (en) * | 2011-08-31 | 2013-03-07 | Nokia Corporation | Multiview video coding and decoding |
US9258559B2 (en) | 2011-12-20 | 2016-02-09 | Qualcomm Incorporated | Reference picture list construction for multi-view and three-dimensional video coding |
US9451252B2 (en) | 2012-01-14 | 2016-09-20 | Qualcomm Incorporated | Coding parameter sets and NAL unit headers for video coding |
WO2013115562A1 (ko) * | 2012-01-30 | 2013-08-08 | 삼성전자 주식회사 | 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치 |
TW201342884A (zh) | 2012-01-31 | 2013-10-16 | Sony Corp | 編碼裝置及編碼方法、以及解碼裝置及解碼方法 |
KR20130116782A (ko) * | 2012-04-16 | 2013-10-24 | 한국전자통신연구원 | 계층적 비디오 부호화에서의 계층정보 표현방식 |
US10205961B2 (en) | 2012-04-23 | 2019-02-12 | Qualcomm Incorporated | View dependency in multi-view coding and 3D coding |
CN103379333B (zh) * | 2012-04-25 | 2018-12-04 | 浙江大学 | 编解码方法、视频序列码流的编解码方法及其对应的装置 |
US20140307803A1 (en) | 2013-04-08 | 2014-10-16 | Qualcomm Incorporated | Non-entropy encoded layer dependency information |
KR101861497B1 (ko) * | 2013-07-19 | 2018-05-28 | 에이치에프아이 이노베이션 인크. | 3d 비디오 코딩에서의 카메라 파라미터 시그널링의 방법 및 장치 |
CN104980763B (zh) * | 2014-04-05 | 2020-01-17 | 浙江大学 | 一种视频码流、视频编解码方法及装置 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6161382A (en) * | 1992-07-30 | 2000-12-19 | Brotz; Gregory R. | Thermoelectric actuator |
US5557331A (en) | 1993-03-11 | 1996-09-17 | Matsushita Electric Industrial Co., Ltd. | Image encoding method, an image encoding circuit, an image encoding apparatus, and an optical disk |
DE4331376C1 (de) | 1993-09-15 | 1994-11-10 | Fraunhofer Ges Forschung | Verfahren zum Bestimmen der zu wählenden Codierungsart für die Codierung von wenigstens zwei Signalen |
US5771081A (en) | 1994-02-28 | 1998-06-23 | Korea Telecommunication Authority | Bit system for transmitting digital video data |
US5619256A (en) * | 1995-05-26 | 1997-04-08 | Lucent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions |
US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
US5763943A (en) | 1996-01-29 | 1998-06-09 | International Business Machines Corporation | Electronic modules with integral sensor arrays |
JPH09261653A (ja) | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
KR980007751A (ko) * | 1996-06-26 | 1998-03-30 | 구자홍 | 엠펙2 가변길이 디코더의 병렬처리장치 및 방법 |
JP3197855B2 (ja) * | 1997-11-06 | 2001-08-13 | 三洋電機株式会社 | Mpegデータの再生装置 |
US6055274A (en) | 1997-12-30 | 2000-04-25 | Intel Corporation | Method and apparatus for compressing multi-view video |
EP1034656A2 (en) | 1998-06-11 | 2000-09-13 | Koninklijke Philips Electronics N.V. | Trick play signal generation for a digital video recorder |
US6151362A (en) * | 1998-10-30 | 2000-11-21 | Motorola, Inc. | Joint rate control for stereoscopic video coding |
US6056012A (en) * | 1999-02-25 | 2000-05-02 | Ecolab Inc. | Inline check valve |
TW544671B (en) | 2000-02-25 | 2003-08-01 | Sony Corp | Recording medium, recording apparatus, and reading apparatus |
KR100433516B1 (ko) * | 2000-12-08 | 2004-05-31 | 삼성전자주식회사 | 트랜스코딩 방법 |
KR100433625B1 (ko) | 2001-11-17 | 2004-06-02 | 학교법인 포항공과대학교 | 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치 |
RU2237283C2 (ru) * | 2001-11-27 | 2004-09-27 | Самсунг Электроникс Ко., Лтд. | Устройство и способ представления трехмерного объекта на основе изображений с глубиной |
KR100446635B1 (ko) | 2001-11-27 | 2004-09-04 | 삼성전자주식회사 | 깊이 이미지 기반 3차원 객체 표현 장치 및 방법 |
US7292691B2 (en) | 2002-01-02 | 2007-11-06 | Sony Corporation | Progressive video refresh slice detection |
KR100481732B1 (ko) | 2002-04-20 | 2005-04-11 | 전자부품연구원 | 다 시점 동영상 부호화 장치 |
KR100475060B1 (ko) * | 2002-08-07 | 2005-03-10 | 한국전자통신연구원 | 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법 |
JP4045913B2 (ja) | 2002-09-27 | 2008-02-13 | 三菱電機株式会社 | 画像符号化装置、画像符号化方法、および画像処理装置 |
MY134659A (en) * | 2002-11-06 | 2007-12-31 | Nokia Corp | Picture buffering for prediction references and display |
MXPA05008094A (es) | 2003-01-28 | 2006-02-08 | Thomson Licensing | Formacion escalonada de modo robusto. |
US7778328B2 (en) | 2003-08-07 | 2010-08-17 | Sony Corporation | Semantics-based motion estimation for multi-view video coding |
US7961786B2 (en) | 2003-09-07 | 2011-06-14 | Microsoft Corporation | Signaling field type information |
KR100965881B1 (ko) * | 2003-10-10 | 2010-06-24 | 삼성전자주식회사 | 비디오 데이터 인코딩 시스템 및 디코딩 시스템 |
KR100987775B1 (ko) * | 2004-01-20 | 2010-10-13 | 삼성전자주식회사 | 영상의 3차원 부호화 방법 |
JP2007525906A (ja) | 2004-02-27 | 2007-09-06 | ティディヴィジョン コーポレイション エス.エー. デ シー.ヴィ. | 立体3dビデオイメージディジタルコーディングのシステムおよび方法 |
KR100679740B1 (ko) * | 2004-06-25 | 2007-02-07 | 학교법인연세대학교 | 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 |
US7515759B2 (en) * | 2004-07-14 | 2009-04-07 | Sharp Laboratories Of America, Inc. | 3D video coding using sub-sequences |
US7444664B2 (en) * | 2004-07-27 | 2008-10-28 | Microsoft Corp. | Multi-view video format |
US20060028846A1 (en) * | 2004-08-06 | 2006-02-09 | Hsiao-Chung Yang | Connection device for solar panels in a solar powered lantern to enable thesolar panels to extend horizontally to the solar powered lantern |
WO2006016418A1 (ja) | 2004-08-11 | 2006-02-16 | Hitachi, Ltd. | 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置 |
US7672378B2 (en) * | 2005-01-21 | 2010-03-02 | Stmicroelectronics, Inc. | Spatio-temporal graph-segmentation encoding for multiple video streams |
EP1905244A4 (en) | 2005-07-18 | 2010-12-01 | Korea Electronics Telecomm | PREDICTIVE ENCODING / DECODING DEVICE THROUGH SPATIO-TEMPORAL DIMENSIONAL REFERENCE IMAGE PADS AND METHOD OF USE |
CN101317460A (zh) * | 2005-10-11 | 2008-12-03 | 诺基亚公司 | 用于有效的可伸缩流适配的系统和方法 |
US7903737B2 (en) * | 2005-11-30 | 2011-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for randomly accessing multiview videos with known prediction dependency |
KR101385015B1 (ko) * | 2006-03-02 | 2014-04-14 | 가부시키가이샤 다이센 고교 | 발포 수지 성형기 및 그 운전 방법 |
-
2007
- 2007-02-27 EP EP07751711A patent/EP1999967A2/en not_active Withdrawn
- 2007-02-27 AU AU2007243933A patent/AU2007243933B2/en not_active Ceased
- 2007-02-27 KR KR1020087022149A patent/KR101361896B1/ko active IP Right Grant
- 2007-02-27 RU RU2008142771/07A patent/RU2529881C2/ru not_active IP Right Cessation
- 2007-02-27 AU AU2007243935A patent/AU2007243935A1/en not_active Abandoned
- 2007-02-27 ZA ZA200807023A patent/ZA200807023B/xx unknown
- 2007-02-27 EP EP07751710A patent/EP1999966A2/en not_active Ceased
- 2007-02-27 EP EP07751734A patent/EP1999968A2/en not_active Ceased
- 2007-02-27 US US12/224,817 patent/US20090207904A1/en not_active Abandoned
- 2007-02-27 WO PCT/US2007/004972 patent/WO2007126509A2/en active Application Filing
- 2007-02-27 MX MX2008011652A patent/MX2008011652A/es active IP Right Grant
- 2007-02-27 CN CN2007800119697A patent/CN101416519B/zh not_active Expired - Fee Related
- 2007-02-27 US US12/224,814 patent/US9100659B2/en not_active Expired - Fee Related
- 2007-02-27 US US12/224,816 patent/US20090225826A1/en not_active Abandoned
- 2007-02-27 RU RU2008142774/07A patent/RU2488973C2/ru not_active IP Right Cessation
- 2007-02-27 CN CN2007800119593A patent/CN101416518B/zh not_active Expired - Fee Related
- 2007-02-27 ZA ZA200807142A patent/ZA200807142B/xx unknown
- 2007-02-27 BR BRPI0709167-2A patent/BRPI0709167A2/pt not_active Application Discontinuation
- 2007-02-27 MX MX2008012382A patent/MX2008012382A/es active IP Right Grant
- 2007-02-27 BR BRPI0708305-0A patent/BRPI0708305A2/pt not_active IP Right Cessation
- 2007-02-27 KR KR1020087022174A patent/KR101383735B1/ko active IP Right Grant
- 2007-02-27 JP JP2009502800A patent/JP2009531967A/ja active Pending
- 2007-02-27 KR KR1020087022720A patent/KR101353193B1/ko active IP Right Grant
- 2007-02-27 JP JP2009502799A patent/JP5255558B2/ja not_active Expired - Fee Related
- 2007-02-27 WO PCT/US2007/004971 patent/WO2007126508A2/en active Application Filing
- 2007-02-27 BR BRPI0709194-0A patent/BRPI0709194A2/pt not_active Application Discontinuation
- 2007-02-27 WO PCT/US2007/004997 patent/WO2007126511A2/en active Application Filing
- 2007-02-27 JP JP2009502802A patent/JP5213064B2/ja not_active Expired - Fee Related
- 2007-02-27 CN CNA2007800116788A patent/CN101416517A/zh active Pending
-
2012
- 2012-06-18 JP JP2012136737A patent/JP5669273B2/ja not_active Expired - Fee Related
- 2012-09-03 JP JP2012192932A patent/JP2013017215A/ja active Pending
-
2013
- 2013-01-24 JP JP2013010944A patent/JP5213088B2/ja not_active Expired - Fee Related
-
2014
- 2014-03-07 JP JP2014044689A patent/JP5845299B2/ja not_active Expired - Fee Related
-
2015
- 2015-11-19 JP JP2015226251A patent/JP2016054526A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100061715A (ko) * | 2007-10-05 | 2010-06-08 | 톰슨 라이센싱 | 멀티-뷰 비디오(mvc) 코딩 시스템 내의 비디오 유용성 정보(vui)를 통합하기 위한 방법 및 장치 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101353193B1 (ko) | 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치 | |
JP5351020B2 (ja) | バーチャルリファレンスピクチャを使用した方法及び装置 | |
KR101450921B1 (ko) | 멀티뷰 비디오 엔코딩 및 디코딩을 위한 방법 및 장치 | |
US20090323824A1 (en) | Methods and Apparatus for Use in Multi-View Video Coding | |
AU2012203039B2 (en) | Methods and apparatus for use in a multi-view video coding system | |
AU2012261656A1 (en) | Methods and apparatus for use in a multi-view video coding system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161220 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20171219 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190102 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20200103 Year of fee payment: 7 |