KR20100074280A - 입력 픽처 인코딩 방법, 입력 픽처 인코딩 장치 및 컴퓨터 판독가능한 메모리 매체 - Google Patents

입력 픽처 인코딩 방법, 입력 픽처 인코딩 장치 및 컴퓨터 판독가능한 메모리 매체 Download PDF

Info

Publication number
KR20100074280A
KR20100074280A KR1020107010716A KR20107010716A KR20100074280A KR 20100074280 A KR20100074280 A KR 20100074280A KR 1020107010716 A KR1020107010716 A KR 1020107010716A KR 20107010716 A KR20107010716 A KR 20107010716A KR 20100074280 A KR20100074280 A KR 20100074280A
Authority
KR
South Korea
Prior art keywords
input picture
motion
picture sequence
sequence
motion vector
Prior art date
Application number
KR1020107010716A
Other languages
English (en)
Inventor
잉 첸
미스카 한누크셀라
예-쿠이 왕
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20100074280A publication Critical patent/KR20100074280A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

멀티-뷰 비디오 코딩을 위해 모션 스킵 및 단일 루프 디코딩을 구현하기 위한 시스템, 방법 및 메모리 매체 내에 실제로 구현되는 컴퓨터 프로그램이 제공된다. 다양한 실시예에서, 보다 효율적인 모션 스킵이 계층적 매크로블록 분할과 관련된 H.264/AVC 설계를 준수하는 모션 보상 프로세스를 유지하면서 8×8 또는 4×4 픽셀 디스패리티 모션 벡터 정확도에 의해 현재 JMVM 구성에 사용된다. 하나의 인터-뷰 기준 픽처로부터 보다 정확한 모션 스킵을 획득하기 위해 적응성 기준 합병이 사용될 수 있다. 픽처가 모션 스킵에 사용되었는지 여부를 나타내기 위해서, NAL 유닛 헤더 내의 새로운 신택스 요소 또는 신택스 변경이 사용될 수 있다.

Description

비디오 코딩 방법, 비디오 코딩 장치, 컴퓨터 판독가능한 매체, 컴퓨터 판독가능한 메모리 매체{MOTION SKIP AND SINGLE-LOOP ENCODING FOR MULTI-VIEW VIDEO CONTENT}
본 발명의 예시적인 실시예는 일반적으로 비디오 코딩에 관한 것으로, 보다 구체적으로는 멀티-뷰(multi-view) 비디오 콘텐츠에 대한 비디오 코딩에 관한 것이다.
이 섹션은 특허청구범위에 기재된 본 발명의 배경 또는 전후관계를 제공하기 위한 것이다. 본 명세서의 설명은 추구하는 개념을 포함할 수 있지만, 반드시 이전에 고려 또는 추구된 개념을 포함하는 것은 아니다. 따라서, 본 명세서에 명시되지 않는 한, 이 섹션에 기술된 내용은 본 명세서 내의 설명과 특허청구범위에 대한 종래기술이 아니며, 이 섹션에 포함되었다고 해서 종래기술로 인정하는 것은 아니다.
비디오 코딩 표준은 ITU-T H.261, ISO/IEC Moving Picture Experts Group(MPEG)-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Video, ITU-T H.263, ISO/IEC MPEG-4 Visual 및 ITU-T H.264(ISO/IEC MPEG-4 Advanced Video Coding(AVC)로도 알려짐)를 포함한다. 또한, 새로운 비디오 코딩 표준의 개발과 관련한 노력이 현재 계속되고 있다. 개발 중인 이러한 표준 중 하나는 H.264/AVC에 대한 스케일 가능한 확장자가 될 스케일 가능한 비디오 코딩(SVC; scalable video coding) 표준이다. 개발 중인 다른 표준은 H.264/AVC에 대한 다른 확장자가 될 멀티-뷰 비디오 코딩(MVC) 표준이다.
멀티-뷰 비디오 코딩에서, 각각이 서로 다른 뷰들에 상응하는 서로 다른 카메라들로부터 출력된 비디오 시퀀스들이 하나의 비트스트림으로 인코딩된다. 디코딩 후에, 소정의 뷰를 디스플레이하기 위해서, 해당 뷰에 속하는 디코딩된 픽처(picture)가 재구성 및 디스플레이된다. 하나보다 많은 수의 뷰가 재구성 및 디스플레이되는 것도 가능하다. 멀티-뷰 비디오 코딩은 자유시점(free-viewpoint) 비디오/텔레비전, 3D TV 및 감시 애플리케이션을 포함하는 광범위한 다양한 애플리케이션들을 갖는다. 현재, ISO/IEC Motion Picture Expert Group(MPEG) 및 ITU-T Video Coding Expert Group의 Joint Video Team(JVT)은, H.264/AVC의 확장자가 되는 MVC 표준을 개발하는 작업 중이다. 이들 표준은 본 명세서에서 각각 MVC 및 AVC로도 지칭된다.
MVC의 최신 개발 가이드(working draft)는 2007년 6-7월 스위스 제네바에서 개최된 제24회 JVT 미팅의 JVT-X209 "Joint Draft 4.0 on Multiview Video Coding"에 기술되어 있으며, 이는 ftp3 . itu . ch / av - arch / jvt - site /2007_06_ Geneva / JVT -X209.zip에서 입수가능하다. MVC의 개발 가이드에 규정된 특성 외에도, 다른 잠재적인 특성들, 특히 코딩 툴에 초점을 맞춘 특성들이 Joint Multiview Video Model(JMVM)에 기술되었다. JMVM의 최신 버전은 2007년 6-7월 스위스 제네바에서 개최된 제24회 JVT 미팅의 JVT-X207 "Joint Multiview Video Model (JMVM) 5.0"에 기술되어 있으며, 이는 ftp3 . itu . ch / av - arch / jvt - site /2007_06_ Geneva / JVT -X207.zip에서 입수가능하다.
도 1은 전형적인 MVC 디코딩 순서(즉, 비트스트림 순서)를 도시한 도면이다. 디코딩 순서 배열은 시간-우선 코딩으로 지칭된다. 각 액세스 유닛은 하나의 출력 시간 인스턴스(instance)에 대해 모든 뷰들의 코딩된 픽처를 포함하도록 규정된다. 액세스 유닛들의 디코딩 순서는 출력 또는 디스플레이 순서와 동일하지 않을 수 있음을 이해해야 한다. 멀티-뷰 비디오 코딩에 대한 전형적인 MVC 예측(각 뷰 내의 인터-픽처 예측(inter-picture prediction)과 인터-뷰 예측(inter-view prediction) 모두를 포함) 구조가 도 2에 도시되었다. 도 2에서, 예측들은 화살표로 표시되었으며, 각각은 예측 기준에 대해 각각의 포인팅-프롬(pointed from) 대상을 이용하는 각각의 포인팅-투(pointed-to) 대상을 갖는다.
통상적으로, MVC에서 복수-루프 디코딩이 사용된다. 복수-루프 디코딩에서, 타겟 뷰를 디코딩하기 위해, 자신의 타겟 뷰 외에도 인터-뷰 예측을 위한 타겟 뷰에 의해 요청되는 각 뷰 또한 동작 보상(motion compensation) 루프로 완전히 재구성되어야 한다. 예를 들어, 만약 도 2에서 S1로 도시된 뷰 1만이 출력되었으면, 뷰 0 및 뷰 2 내의 모든 픽처들이 반드시 완전히 재구성되어야만 한다. 복수-루프 디코딩은, 각 뷰가 예로서 H.264/AVC를 이용하여 자신 고유의 비트스트림으로 독립적으로 코딩되는 단일-뷰 코딩과 비교하여 훨씬 많은 계산과 메모리를 필요로 한다. 이는, 복수-루프 디코딩에서 다른 뷰에 속해 있지만 인터-뷰 예측을 필요로 하는 모든 픽처들이 반드시 완전히 재구성되고 디코딩된 픽처 버퍼 내에서 저장되어야만 하기 때문이다.
MVC Joint Draft (JD) 4.0에서, 뷰 종속성이 시퀀스 파라미터 세트(SPS) MVC 확장자 내에 명시된다. 앵커 픽처(anchor picture) 및 비-앵커 픽처(non-anchor picture)에 대한 종속성이 독립적으로 명시된다. 따라서, 앵커 픽처 및 비-앵커 픽처는 서로 다른 뷰 종속성을 가질 수 있다. 그러나, 동일한 SPS를 참조하는 픽처들의 세트에 있어서, 앵커 픽처들 모두는 반드시 동일한 뷰 종속성을 가져야만 하고, 비-앵커 픽처들 모두는 반드시 동일한 뷰 종속성을 가져야만 한다. SPS MVC 확장자에서, 종속적인 뷰들은 RefPicList0 및 RefPicList1 내의 기준 픽처로서 사용되는 뷰들에 대해 개별적으로 시그널링된다.
인코딩된 뷰들의 서브세트만이 출력에 요구되는 다수의 용례가 존재한다. 이러한 특정 뷰들은 타겟 뷰 또는 출력 뷰로 지칭된다. 타겟 뷰는 출력이 아닌 디코딩을 위한 다른 뷰에 종속할 수 있다. 타겟 뷰가 종속되지만 출력에 사용되지는 않는 특정 뷰들은 종속 뷰로 지칭된다.
인터-뷰 예측을 위해 픽처 P에 의해 사용되는 픽처는 픽처 P의 인터-뷰 기준 픽처로 지칭된다. 인터-뷰 기준 픽처는 타겟 뷰 또는 종속 뷰에 속할 수 있다. 하나의 뷰가 SPS MVC 확장자 내에서 시그널링되는 뷰 종속성에 따라 다른 뷰들에 의해 종속된다고 해도, 하나의 뷰 내의 특정 픽처는 인터-뷰 예측에 절대 이용될 수 없다. JD 4.0에서, NAL 유닛을 포함하는 픽처가 다른 뷰 내의 픽처에 대한 인터-뷰 예측에 사용되는지 여부를 나타내는 NAL(network abstraction layer) 유닛 헤더 내에 inter_view_flag가 존재한다.
종속 뷰는 두 방향으로 시그널링될 수 있다. 이들 방향들은 두 개의 기준 픽처 리스트들, 즉 포워드 기준 픽처 리스트로 지칭되는 제 1 기준 픽처 리스트 RefPicList0 및 백워드 기준 픽처 리스트로 지칭되는 제 2 기준 픽처 리스트 RefPicList1에 대한 인터-뷰 예측 기준 픽처에 해당한다. RefPicList0에 상응하는 종속 뷰는 포워드 종속 뷰로 지칭되고, RefPicList1에 상응하는 종속 뷰는 백워드 종속 뷰로 지칭된다. 도 2에 도시된 예시에 있어서, 뷰 0은 뷰 1의 포워드 종속 뷰이고, 뷰 2는 뷰 2의 백워드 종속 뷰이다.
MVC JD 4.0에서, 인터-뷰 예측은 오직 텍스처 예측에 의해서만 지원되고(즉, 오직 재구성된 샘플 값만이 인터-뷰 예측에 사용될 수 있다), 현재 픽처와 동일한 출력 시간 인스턴스의 재구성된 픽처만이 인터-뷰 예측에 사용된다. 본 명세서에서 논의되는 바와 같이, MVC JD 4.0 내의 통상적인 인터-뷰 에측은 인터-뷰 샘플 예측으로 지칭된다.
JMVM 내의 코딩 툴로서, 모션 스킵(motion skip)은 인터-뷰 기준 픽처들로부터 매크로블록(MB) 모드 및 모션 벡터를 예측하고, 비-앵커 픽처에만 적용한다. 인코딩 중에, 인코딩이 앵커 픽처일 때 GDMV(global disparity motion vector)가 예측되고, 그 다음 비-앵커 픽처에 대한 GDMV가 두 이웃하는 앵커 픽처들의 GDMV로부터 가중된 평균이 되도록 비-앵커 픽처에 대한 GDMV가 파생된다. GDMV는 현재 픽처 내의 임의의 MB에 대해서 16 픽셀 예측을 갖고(즉, 픽처가 인코딩 또는 디코딩됨), GDMV에 따른 인터-뷰 기준 픽처 내에서 이동되는 상응하는 영역은 정확히 인터-뷰 기준 픽처 내의 하나의 MB를 커버한다.
단순화를 위해서, 모션 디스패리티(disparity) 보상 후의 인터-뷰 기준 픽처 내의 상응하는 4×4, 8×4, 4×8 블록 또는 8×8 MB 파티션을 기술하기 위해 집합적인 용어인 "공동 배치(co-located) 블록들"이 본 명세서에서 사용되었다. 일부 경우에, "공동 배치 MB 파티션"이라는 용어가 상응하는 MB 파티션을 기술하도록 사용되었고, "공동 배치 MB"라는 용어가 상응하는 MB를 기술하도록 사용되었다.
보통은, 제 1 포워드 종속 뷰로부터의 픽처가 모션 스킵 인터-뷰 기준 픽처로서 사용된다. 그러나, 만약 제 1 포워드 종속 뷰의 픽처 내의 공통 배치 MB가 인트라(Intra) 코딩되는 경우, 제 1 백워드 종속 뷰 내의 픽처로부터의 공동 배치 MB가 존재하면 이것이 다른 후보로 고려된다. 만약 이들 MB 모두가 인트라 코딩되면, 현재의 MB는 모션 스킵을 이용해서 코딩될 수 없다.
모션 스킵의 예시가 도 3에 도시되었으며, 이때 뷰 0은 종속 뷰이고 뷰 1은 출력 및 디스플레이될 타겟 뷰이다(도 3에서 "현재 디코딩 뷰"로 표시됨). 디스패리티 모션을 이용하여, 뷰 1 내의 MB들을 디코딩할 때, 뷰 0 내의 상응하는 MB들이 배치되고 그들의 모드 및 모션 벡터가 뷰 1 내의 MB들에 대한 MB 모드 및 모션 벡터로서 재사용된다. 복수-루프 디코딩에 해당하는 인터-뷰 샘플 예측에서와는 달리, 인터-뷰 샘플 예측에 사용된 인터-뷰 기준 픽처에 대한 모션 보상을 필요로 하기 때문에, 모션 스킵 자신은 모션 스킵에 사용되는 인터-뷰 기준 픽처의 모션 보상을 필요로 하지 않는다. 그러나, 현재의 드래프트 MVC 표준에서, 인터-뷰 샘플 예측 및 모션 스킵이 동시에 존재하기 때문에, 복수-루프 디코딩이 요구된다.
단일-루프 디코딩(SLD)은 SVC로도 알려진 H.264/AVC의 스케일 가능한 확장자 내에서 지원된다. SVC 명세는 2007년 6-7월 스위스 제네바에서 개최된 제24회 JVT 미팅의 JVT-X201 "Joint Draft 11 of SVC Amendment"에 기술되어 있으며, 이는 ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVT-X201.zip에서 입수가능하다. SVC 내의 SLD의 기본 개념은 다음과 같다. 다수의 하위 층에 종속되는 타겟 층을 디코딩하기 위해, 오직 타겟 층 자신만이 완전히 디코딩되어야 한다. 하위 층에 있어서는, 오직 인트라 MB의 파싱(parsing) 및 디코딩만이 요구된다. SVC 내의 SLD는 오직 타겟 층에서만 모션 보상을 요구한다. 결과적으로, SLD는 복잡도의 뚜렷한 감소를 제공한다. 또한, 하위 층이 모션 보상을 필요로 하지 않고 디코딩된 픽처 버퍼(DPB) 내에 샘플 값이 저장될 필요가 없기 때문에, 앞선 비디오 코딩 표준의 스케일 가능한 프로파일에서와 같이 모든 층에서 모션 보상 및 전체 디코딩을 필요로 하는 복수-루프 디코딩과 비교하여 디코더 메모리 요구가 뚜렷하게 감소된다. 오직 타겟 뷰만이 완전히 디코딩되도록 동일한 이유가 MVC에도 적용될 수 있다.
아래에는 H.264/AVC의 선택된 특성에 대해 논의되었다. H.264/AVC에서, 슬라이스 내의 MB는 인터 예측(Inter prediction)에 대한 서로 다른 기준 픽처들을 가질 수 있다. 특정한 MB 또는 MB 파티션에 대한 기준 픽처가 디코딩된 픽처 버퍼에서 이용가능하고 예측 기준에 사용되는 디코딩된 픽처에 대한 인덱스를 제공하는 기준 픽처 리스트로부터 선택된다. 각 MB 또는 MB 파티션과 각 예측 방향에 있어서, 기준 인덱스는 인터 예측에 대해 기준 픽처를 할당하도록 시그널링된다.
H.264/AVC 내의 기준 픽처 리스트 구성은 아래와 같이 기술될 수 있다. 먼저, 처음의 기준 픽처 리스트가 "기준용으로 사용됨"으로 표시된 단시간(short-term) 및 장시간(long-term) 기준 픽처들 전부를 포함하도록 구성된다. 그 다음 슬라이스 헤더가 RPLR 커맨드를 포함할 때 기준 픽처 리스트 재순서화(RPLR)가 수행된다. RPLR 프로세스는 처음의 리스트 내의 순서와는 상이한 순서로 기준 픽처들을 재순서화할 수 있다. 처음의 리스트 및 재순서화 이후의 최종 리스트는 모두 슬라이스에 의해 참조되는 슬라이스 헤더 또는 픽처 파라미터 세트 내의 신택스(syntax) 요소에 의해 표시된 소정의 개수의 엔트리만을 포함한다.
H.264/AVC에서, 각 픽처는 5개의 슬라이스 유형-I, SI, P, SP 또는 B-을 포함할 수 있는 하나 이상의 슬라이스로서 코딩된다. I 슬라이스 내의 MB는 인트라 MB로서 코딩된다. P 또는 B 슬라이스 내의 MB는 인트라 MB 또는 인터 MB로서 코딩된다. P 슬라이스 내의 각 인터 MB는 인터-P MB 또는 인트라 MB이거나 또는 인터 MB 파티션으로 이루어진다. B 슬라이스 내의 각 인터 MB는 인터-P MB 또는 인터-B MB이거나, 또는 인터-P MB 파티션 또는 인터-B MB 파티션으로 이루어진다. 인터-P MB 또는 MB 파티션에 있어서, 오직 한 방향으로부터의 예측이 사용될 수 있다. 인터-B MB 또는 MB 파티션에 있어서, 양 방향으로부터의 예측이 사용될 수 있으며, 이때 두 기준 픽처로부터의 두 예측 블록들이 최종 예측 MB 또는 MB 파티션을 획득하기 위해 샘플 방향으로 가중된다.
P 슬라이스 내의 인터-P MB 또는 MB 파티션에 있어서, 유일한 예측 방향은 RefPicList0으로부터의 방향이다. RefPicList0으로부터의 예측은 포워드 예측으로 지칭되지만, 기준 픽처는 디스플레이 순서에서 현재 픽처 앞 또는 뒤에 있을 수 있다. B 슬라이스 내의 인터-P MB 또는 MB 파티션에 있어서, 유일한 예측 방향은 RefPicList0 또는 RefPicList1로부터의 방향일 수 있다. RefPicList0으로부터의 예측은 포워드 예측으로 지칭된다. 그렇지 않고 RefPicList1으로부터의 예측은 백워드 예측으로 지칭된다.
MB 또는 MB 파티션이 오직 RefPicList0으로부터의 기준 인덱스만을 가질 때, 자신의 기준 상태는 포워드 예측으로 규정된다. MB 또는 MB 파티션이 오직 RefPicList1으로부터의 기준 인덱스만을 가질 때, 기준 상태는 백워드 예측으로 규정된다. MB 또는 MB 파티션이 RefPicList0 및 RefPicList1 모두로부터의 두 기준 인덱스를 가질 때, 기준 상태는 양방향 예측(bi-predicted)으로 규정된다.
임의의 MB 또는 MB 파티션에 있어서, 코딩 모드에 따라서, 자신의 기준 상태는 (a) 인트라, (b) 인터-B(양방향 예측), (c) 인터-P 포워드 예측, 및 (d) 인터-P 백워드 예측 중 하나일 수 있다. 제 1 상태는 본 명세서에서 위법인 것으로 인식하고, 다른 세 가지 상태는 합법인 것으로 나타낸다.
각 MB에 있어서, MB는 인트라 MB 또는 인터 MB로서 코딩될 수 있다. MB가 인터 코딩될 때, 이것은 도 4의 상단에 도시된 바와 같이 16×16, 16×8, 8×16 또는 8×8 사이즈인 MB 파티션으로 추가로 분할될 수 있다. 각 MB 또는 MB 파티션은 동일한 기준 상태 및 동일한 기준 인덱스(양방향 예측인 경우는 인덱스들)를 공유한다. 또한, 각 MB 또는 MB 파티션은 도 4의 하단부에 도시된 바와 같이 8×8, 8×4, 4×8 또는 4×4 블록들(또는 서브-매크로블록 파티션)로 분할될 수 있다. 각 블록 내의 샘플은 동일한 모션 벡터를 공유한다(또는 각 방향에 대해 하나의 모션 벡터를 갖는 양방향 예측에 대한 2개의 모션 벡터). 이것이 모션 보상부를 위한 하드웨어 설계 모듈이 H.264/AVC의 확장자 표준에도 적용가능할 수 있게 할 것이기 때문에, 지금까지 이러한 계층적 MB 분할을 따르는 H.264/AVC 기반 또는 H.264/AVC 준수 표준이 개발되었다.
각 MB, MB 파티션 또는 4×4 블록에 있어서, RefPicListX로부터의 인터 예측이 사용되었다면, 이러한 MB, MB 파티션 또는 4×4 블록은 "ListX 사용"으로 표기된다(X는 0 또는 1). 그렇지 않으면, 이러한 MB, MB 파티션 또는 4×4 블록은 "ListX 사용하지 않음"으로 표기된다.
JMVM에서의 종래의 모션 스킵 방법은 글로벌 디스패리티 모션에 기초하며, 글로벌 디스패리티 모션은 수평 및 수직 방향 모두에서 16 픽셀의 정확도(accuracy)를 갖는다. 16 픽셀의 글로벌 디스패리티 모션을 이용해서, 이러한 정보가 한 블록씩 계산될 필요가 없도록 모션 벡터 및 완전한 MB의 모드가 직접 복제된다. 그러나, 보다 높은 정확도의 글로벌 디스패리티 모션이 보다 효율적인 모션 스킵을 나타낼 수 있고, 따라서 보다 높은 코딩 효율성을 나타낼 수 있기 때문에, 글로벌 디스패리티 모션의 정확도는 모션 스킵의 성능에 영향을 미친다. 일반적으로, 이러한 글로벌 모션은 이미지 등록 알고리즘에 의해 발견될 수 있으며, 이때 변위(displacement)가 최적화 문제에 대한 솔루션이다. 8 픽셀 정확도가 이용될 때, 변위의 각 방향(X축 또는 Y축)에서, 하나의 유닛은 8 픽셀에 해당한다. 따라서 공동 배치 MB들은 인터-뷰 기준 픽처에서 8×8 블록의 경계를 따라 정렬된다. 4 픽셀 정확도가 이용될 때, 변위의 각 방향(X축 또는 Y축)에서, 하나의 유닛은 4 픽셀에 해당한다. 따라서, 공동 배치 MB는 인터-뷰 기준 픽처 내의 4×4 블록의 경계에 따라 정렬된다.
테스트 시퀀스의 하나의 테스트는 동일한 시간 인스턴스 내의 다른 뷰로부터의 픽처 쌍들에 대한 4 픽셀 정확도를 갖는 최적의 변위를 검색하는 것과 연관된다. 이러한 테스트에서, MB 경계 정렬을 발생시키는 최적의 변위(X축 및 Y축에서의 변위 값이 정확히 4로 나누어질 수 있음)를 갖는 픽처 쌍들의 백분율은 약 20%이다. 이것은 4 픽셀 정확도 기반의 등록이 16 픽셀 정확도 기반의 등록보다 우수한 등록 성능을 제공할 수 있음을 나타낸다.
H.264/AVC에서, 모션 필드 내의 모션 벡터는 각 4×4 블록으로 할당될 수 있으며, 즉 모션 필드의 샘플이 4 픽셀 정확도를 갖는다. 따라서, 인터-뷰 기준 픽처로부터의 모션 벡터의 재사용을 위한 디스패리티 모션은 편리하게 동일한 정확도를 가질 수 있다.
모션 디스패리티가 4 픽셀 정확도를 가질 때, 모션 디스패리티 값의 각 유닛이 4 픽셀을 나타낸다고 가정하면, 현재 픽처 내의 각 8×8 MB 파티션은 예컨대 도 5 및 6에 도시된 바와 같은 네 개의 8×8 MB 파티션, 도 7에 도시된 바와 같은 하나의 8×8 MB 파티션, 또는 도 8에 도시된 바와 같은 두 개의 8×8 MB 파티션으로 배치될 수 있다. 제 1 경우에서 모션 디스패리티의 값들은 (1,1) 모듈로 2와 동일하고, 제 2 경우에서 값들은 (0,0) 모듈로 2와 동일하며, 제 3 경우에서 값들은 (1,0) 또는 (0,1) 모듈로 2와 동일하다. 본 명세서에서 사용된 바와 같이, 명시적으로 언급되지 않는 한, MB 파티션은 자동으로 8×8 MB 파티션을 지칭하고, 블록은 자동으로 4×4 블록을 지칭한다.
4 픽셀의 디스패리티 모션일 때, 문제가 증가할 수 있다. B 슬라이스에서, H.264/AVC 계층적 매크로블록 분할에 따라서, 각 MB 파티션 내의 모든 블록들이 반드시 동시에 포워드 예측되거나("List0을 사용"하고 "List1을 사용하지 않음"), 백워드 예측되거나("List1을 사용"하고 "List0을 사용하지 않음"), 또는 양방향 예측("List0을 사용"하고 "List1을 사용"함)되어야만 한다. 그러나, 만약 디스패리티 벡터가 (1,1) 모듈로 2와 동일하면, 공동 배치 MB 파티션은 이 규칙을 파기할 수 있다. 예로서 도 5에 도시된 바와 같이 공동 배치 MB 파티션의 4개의 공동 배치 블록들이 각각, 백워드 예측, 포워드 예측, 양방향 예측 및 양방향 예측되는 네 개의 MB 파티션들에 속한다.
또한, 복수의 기준 픽처가 사용되었을 때, MB 파티션들은 상이한 기준 인덱스를 가질 수 있고 상이한 기준 픽처를 참조할 수 있다. 만약 디스패리티 벡터가 도 6에 도시된 바와 같은 (1,1) 모듈로 2와 동일하다면, 공동 배치 MB 내의 좌상단 공동 배치 MB 파티션을 커버하는 인터-뷰 기준 픽처로부터의 네 개의 MB 파티션들이 존재한다. 이러한 8×8 MB 파티션들은 상이한 기준 인덱스를 가질 수 있다. 예를 들어, 기준 인덱스는 도 6에 도시된 바와 같이 포워드 예측 방향에서 각각 0, 1, 2 및 0일 수 있다. 그러나, "ListX를 사용"할 때마다(X는 0 또는 1), H.264/AVC 내의 인터 MB의 8×8 MB 파티션 내의 블록들이 H.264/AVC 계층적 매크로블록 분할에 따라 하나의 예측 방향에 대해 동일한 기준 인덱스만을 가질 수 있다.
또한, 만약 디스패리티 벡터가 (0,0) 모듈로 2와 동일하고, 디스패리티 벡터가 8×8 블록(또는 MB 파티션) 경계에 따라 정렬되면, 공동 배치 MB 내의 하나 이상의 공동 배치 MB 파티션들이 모션 스킵을 위해 고려된 인터-뷰 기준 픽처로부터의 인트라 MB들 내의 픽셀들에 해당하는 상황이 발생할 수 있다. 예를 들어 도 7에 도시된 바와 같이, 현재 MB의 우상단의 8×8 MB 파티션은 인트라 MB 내의 픽셀에 해당한다. 따라서, 우상단의 8×8 MB 파티션에 대해 복제될 모션 정보가 존재하지 않기 때문에 모션 스킵은 사용될 수 없다. 이러한 문제는 디스패리티 모션 벡터가 8 픽셀 정확도를 가지고(디스패리티 모션 벡터의 각 유닛이 8 픽셀을 나타냄), 값이 (0,0) 모듈로 2와 동일하지 않을 경우에는 존재하지 않는다.
부연하면, 모션 스킵 시그널링과 관련된 다수의 문제점이 존재한다. 예를 들어, 종속 뷰 내의 픽처에 있어서, 뷰 종속성으로부터 픽처가 인터-뷰 기준 픽처로서 사용될 수 있는지가 결정될 수 있다. 그러나, 이것이 인터-뷰 샘플 예측 또는 모션 스킵에 사용될 수 있는지 여부는 알려질 수 없다. NAL 유닛 헤더 내의 inter_view_flag는 픽처가 임의의 다른 뷰에 의해서 인터-뷰 샘플 예측에 사용되는지 여부를 나타낸다. 만약 종속 뷰 픽처가 모션 스킵에만 사용되면, 픽처가 인터-코딩되는 경우에 모션 보상을 필요로 하는 샘플 값의 재구성이 필요하지 않다. 결과적으로, 픽처가 오직 모션 스킵에만 사용된다 할지라도 디코더는 통상적으로 픽처를 완전히 디코딩하고 디코딩된 픽처를 저장해야만 했다. 이것은 더 높은 복잡도를 발생시키고 추가적인 메모리 사용을 필요로 한다.
또한, 일부 슬라이스가 모션 스킵으로부터 이익을 취할 수 있지만, 다른 슬라이스는 그로부터 이익을 취할 수 없을 수도 있다. 그러나, 종래의 JMVM 구성에서, 각 MB가 모션 스킵이 해당 MB에서 사용되는지 여부를 나타내기 위한 표시를 필요로 해왔다. 이것은 비트를 불필요하게 낭비하고 코딩 효율성을 감소시킨다.
또한, 종래의 JMVM 구성은 앵커 픽처에서 글로벌 디스패리티 모션만을 시그널링하며, 이는 스스로에 대한 다수의 문제를 발생시킨다. 이러한 문제들은, (1) 최적의 디스패리티가 픽처마다 달라질 수 있고, 따라서 유도된 디스패리티가 모든 픽처들에 대해서 최적이지 않을 수 있다는 점과, (2) 앵커 픽처에 대한 인터-뷰 기준 픽처가 비-앵커 픽처에 대한 기준 픽처와 상이할 수 있다는 점, 즉 어떠한 비-앵커 픽처에 있어서 인터-뷰 기준 픽처와 관련하여 두 이웃하는 앵커 픽처 내에서 시그널링되는 디스패리티 모션이 가중된 후에도 적용가능하지 않을 수 있다는 점을 포함한다.
또한, 어떠한 MVC 비트스트림에 있어서, 모든 비-앵커 픽처들에 대해서 종속 뷰로부터의 인터-뷰 예측이 인터-뷰 샘플 예측 없이 모션 스킵으로만 이루어지면, 종속 뷰들은 비-앵커 픽처에서 완전히 재구성될 필요가 없다. 대신, 종속 뷰 내의 비-앵커 픽처들은 모션 스킵을 위한 MB 모드 및 모션 정보를 획득하기 위해 간단히 파싱될 수 있다. 그러나, 종래의 구성에서, 디코더는 단일-루프 디코딩이 가능할 수 있는지를 알지 못한다.
또한, 현재의 모션 스킵은 글로벌 디스패리티 모션에 기초한다. 그러나 실제로는, 두 개의 뷰 사이의 최적의 변환은 비선형적일 수 있으며, 서로 다른 깊이와 서로 다른 위치를 갖는 대상들이 서로 다른 디스패리티를 필요로 할 수 있다. 하나의 작은 영역에서 다른 영역으로 빠르게 변화하는 모션 액티비티를 갖는 일부 시퀀스에서, 글로벌 디스패리티는 모든 MB에 대해 충분히 정확하지 않다. 따라서, 모션 스킵 코딩 시스템은 코딩 효율성의 측면에서 보았을 때 차선의 방식이다.
본 발명의 예시적인 실시예를 사용하여 전술된 문제들과 그외의 문제들이 극복되고 다른 장점들을 구현된다.
본 발명의 제 1 측면에서, 본 발명의 예시적인 실시예는, 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 단계로서, 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인 인코딩 단계와, 디스패리티 모션(disparity motion)을 나타내는 디스패리티 신호 표시를 포함하는 단계와, 디스패리티 모션에 따라 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득(derivation) 방법을 이용하는 단계와, 제 2 입력 픽처를 인코딩하는 데에 적어도 하나의 획득된 모션 벡터를 사용하는 단계를 포함하는 방법을 제공한다.
본 발명의 다른 측면에서, 본 발명의 예시적인 실시예는, 프로세서와, 프로세서에 통신상 접속된 메모리 유닛을 포함하되, 메모리 유닛은 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하도록 구성되는 컴퓨터 코드로서, 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 인코딩하도록 구성되는 컴퓨터 코드와, 디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함하도록 구성되는 컴퓨터 코드와, 디스패리티 모션에 따라 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하도록 구성되는 컴퓨터 코드와, 제 2 입력 픽처를 인코딩하는 데에 적어도 하나의 획득된 모션 벡터를 사용하도록 구성되는 컴퓨터 코드를 포함하는 장치를 제공한다.
본 발명의 다른 측면에서, 본 발명의 예시적인 실시예는 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 수단으로서, 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 인코딩 수단과, 디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함시키는 수단과, 디스패리티 모션에 따라 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하기 위한 수단과, 제 2 입력 픽처를 인코딩하는 데에 상기 적어도 하나의 획득된 모션 벡터를 사용하기 위한 수단을 포함하는 장치를 제공한다.
본 발명의 다른 측면에서, 본 발명의 예시적인 실시예는, 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하고, 모션이 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되었는지 여부를 제 1 입력 픽처 시퀀스의 슬라이스 헤더(slice header)에서 시그널링하도록 구성되는 방법, 컴퓨터 프로그램 및 장치를 제공한다.
본 발명의 다른 측면에서, 본 발명의 예시적인 실시예는, 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하고, 모션 스킵(motion skip)을 위해 제 2 입력 픽처 시퀀스의 픽처가 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용되는지 여부를 네트워크 추상화 계층(network abstraction layer) 유닛 헤더 내에서 시그널링하도록 구성되는 방법, 컴퓨터 프로그램 및 장치를 제공한다.
본 발명의 다른 측면에서, 본 발명의 예시적인 실시예는, 비트스트림으로부터 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 수신하고, 네트워크 추상화 계층 유닛 헤더에서, 모션 스킵을 위해 제 2 입력 픽처 시퀀스의 픽처가 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용되는지 여부를 나타내는 신호를 수신하고, 만약 신호가 모션 스킵을 위해 제 2 입력 픽처 시퀀스의 픽처가 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용된다는 것을 나타내면, 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처를 디코딩할 때 모션 스킵을 위해 제 2 입력 픽처 시퀀스 내의 픽처를 사용하도록 구성되는 방법, 컴퓨터 프로그램 및 장치를 제공한다.
본 발명의 다른 측면에서, 본 발명의 예시적인 실시예는, 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 수신하되, 제 1 입력 픽처 시퀀스의 슬라이스 헤더는 모션이 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되는지 여부와 관련된 신호를 포함하고, 만약 제 1 입력 픽처 시퀀스의 슬라이스 헤더 내의 신호가 모션이 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되었다고 나타내면, 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처를 디코딩하기 위해 제 2 입력 픽처 시퀀스로부터 획득된 모션을 사용하도록 구성되는 방법, 컴퓨터 프로그램 및 장치를 제공한다.
본 발명의 또 다른 측면에서, 본 발명의 예시적인 실시예는, 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하되, 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용이며, 매크로블록 디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함하고, 디스패리티 모션에 따라 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하며, 모션 보상을 위해 적어도 하나의 획득된 모션 벡터를 사용하도록 구성되는 방법, 컴퓨터 프로그램 및 장치를 제공한다.
본 발명의 또 다른 측면에서, 본 발명의 예시적인 실시예는, 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 수단으로서, 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 인코딩 수단과, 매크로블록 디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함시키는 수단을 포함하는 장치를 제공한다. 이 장치는 또한 디스패리티 모션에 따라 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하기 위한 수단을 더 포함하되, 이때 적어도 하나의 획득된 모션 벡터가 모션 보상에 사용된다. 이 장치는 비트스트림 내에 적어도 하나의 추가 표시를 포함하기 위한 수단을 더 포함하되, 적어도 하나의 추가 표시는, 픽처가 적어도 하나의 모션 벡터의 획득에 사용되는지의 여부, 뷰가 인터-뷰 샘플 예측을 위해 임의의 다른 뷰를 사용하는지의 여부 및 단일 루프 디코딩이 뷰를 위해 지원되는지 여부 중 적어도 하나를 나타낸다.
도 1은 전형적인 MVC 디코딩 순서(즉, 비트스트림 순서)를 도시한 도면,
도 2는 멀티-뷰 비디오 코딩을 위한 전형적인 MVC 예측(각 뷰 내의 인터-픽처 예측 및 인터-뷰 예측 모두를 포함함)을 도시한 도면,
도 3은 디스패리티 모션 벡터를 사용하는 모션 스킵의 예시를 도시한 도면,
도 4는 종래의 H.264/AVC 기반 또는 준수 표준에서 사용되는 계층적 매크로블록 분할 구조를 도시한 도면,
도 5는 모션 스킵을 위해 고려되는 인터-뷰 기준 픽처에서 서로 다른 기준 상태를 갖는 여러 MB 파티션들 내에 배치된 공동 배치 8×8 파티션의 예시를 도시한 도면,
도 6은 모션 스킵을 위해 고려되는 인터-뷰 기준 픽처 내의 서로 다른 기준 인덱스 값을 갖는 여러 MB 파티션들 내에 배치된 공동 배치 파티션의 예시를 도시한 도면,
도 7은 모션 스킵을 위해 고려되는 인터-뷰 기준 픽처의 인트라 MB 내의 픽셀들에 상응하는 공동 배치 8×8 파티션의 예시를 도시한 도면,
도 8은 8×8 MB 파티션 내에 배치된 8×8 파티션을 나타낸 도면,
도 9는 본 발명의 다양한 실시예들이 구현될 수 있는 일반적인 멀티미디어 통신 시스템의 그래픽도,
도 10은 다양한 실시예에 따른 하나 이상의 인터-뷰 기준 픽처가 존재할 때 따르는 알고리즘과 관련된 프로세스를 도시한 순서도,
도 11은 다양한 실시예에 따른 모션 벡터 스케일링의 그래픽도,
도 12(a)는 위법인 공동 배치 MB 파티션 내의 네 블록들을 줌 1, 줌 2 및 줌 3으로 분류한 도면, 도 12(b)는 도 12(a)의 블록을 블록 각각의 4개의 이웃하는 블록들과 함께 나타낸 개별적인 블록의 도면,
도 13은 두 개의 인터-뷰 기준 픽처에 의해 예측되는 이용가능한 모션 정보를 나타낸 예시를 도시한 도면,
도 14는 인접하는 MB(A, B, D 및 C)로부터의 모션 디스패리티 예측을 도시한 도면,
도 15는 본 발명의 다양한 실시예들의 구현과 관련하여 사용될 수 있는 전자 디바이스의 투시도,
도 16은 도 15의 전자 디바이스 내에 포함될 수 있는 회로의 개략도.
본 발명의 다양한 예시적인 실시예들은 멀티-뷰 비디오 코딩을 위한 모션 스킵(motion skip) 및 단일-루프 디코딩을 구현하는 시스템 및 방법에 관련된다. 다양한 예시적인 실시예에서, 계층적 매크로블록 분할과 관련된 H.264/AVC 설계에 따른 모션 보상 프로세스를 유지하면서, 보다 효율적인 모션 스킵이 8×8 또는 4×4 픽셀 디스패리티 모션 벡터 정확도에 의한 현재의 JMVM 구성에 사용된다. 이러한 시스템 및 방법은 복수-루프 디코딩 및 단일-루프 디코딩 모두에 대해 적용가능하다.
전술된 8 픽셀 또는 4 픽셀 정확도(accuracy)를 갖는 모션 스킵에 대한 문제점과 관련하여, 하나의 인터-뷰 기준 픽처로부터 보다 높은 정확도의 모션 스킵을 획득하기 위해 적응성 기준 합병(adaptive referencing merging)이 사용될 수 있다. 이러한 적응성 기준 합병은 또한 복수의 인터-뷰 기준 픽처에 대해서도 적용가능하다. 복수의 인터-뷰 기준 픽처가 존재하고, 특히 서로 다른 방향의 인터-뷰 기준 픽처가 존재하는 경우에, 결합된 모션 스킵 알고리즘이 사용될 수 있다.
앞서 언급된 시그널링 문제와 관련하여, 픽처가 모션 스킵에 사용되는지 여부를 표시하기 위해, NAL 유닛 헤더 내의 새로운 신택스 요소 또는 신택스 변경이 사용될 수 있다. 픽처가 모션 스킵을 이용하는지 여부를 표시하기 위해, 플래그는 슬라이스 헤더 내에 추가될 수 있고, 관련된 디스패리티 모션 벡터(disparity motion vector)가 각 슬라이스에 대한 슬라이스 헤더 내에서 시그널링될 수 있다. 비트스트림에 대한 단일-루프 디코딩 기능은 시퀀스 레벨에서 시그널링될 수 있다. 각 MB 또는 MB 파티션에 대한 모션 디스패리티 또한 시그널링될 수 있다.
본 발명의 다양한 예시적인 실시예의 사용은, 뷰들 간의 인터-뷰 예측(inter-view prediction)이 사용될 때 코딩 효율성을 향상시키는 한편, 일부 뷰들이 출력을 위해 타겟팅되지 않았을 때 전체의 복잡도를 감소시키는 역할을 한다. 또한, 본 명세서에 기술된 다양한 모션 스킵 구성은, 출력이 아닌 인터-뷰 예측에만 필요한 뷰들에 대해 모션 보상을 적용하지 않는 단일-루프 디코딩에도 사용될 수 있다.
본 발명의 이러한 장점 및 특성과 그외의 장점 및 특성들이, 본 발명의 구성 및 동작 방법과 함께, 첨부된 도면을 참조로 하여 아래의 상세한 설명으로부터 명백해질 것이다. 여러 도면에 걸쳐서 동일한 요소에 동일한 참조번호가 사용되었다.
도 9는 본 발명의 다양한 실시예들이 구현될 수 있는 일반적인 멀티미디어 통신 시스템의 그래픽 도면이다. 도 9에 도시된 바와 같이, 데이터 소스(100)는 아날로그, 비압축 디지털, 또는 압축 디지털 포맷, 또는 이들 포맷들의 임의의 조합인 소스 신호를 제공한다. 인코더(110)는 소스 신호를 코딩된 미디어 비트스트림으로 인코딩한다. 디코딩될 비트스트림이 가상적인 임의의 유형의 네트워크 내에 배치된 원거리 디바이스로부터 직접 또는 간접적으로 수신될 수 있음을 인지해야 한다. 또한, 비트스트림은 로컬 하드웨어 또는 소프트웨어로부터 수신될 수 있다. 인코더(110)는 오디오 및 비디오와 같은 하나 이상의 미디어 유형을 인코딩할 수 있거나, 또는 하나 이상의 인코더(110)가 서로 다른 미디어 유형의 소스 신호를 코딩하도록 요청될 수 있다. 인코더(110)는 그래픽 또는 텍스트와 같은 종합적으로 생성된 입력을 획득할 수도 있거나, 또는 종합적 미디어의 코딩된 비트스트림을 생성할 수도 있다. 아래에서는, 설명의 간략화를 위해서 하나의 미디어 유형의 하나의 코딩된 미디어 비트스트림의 프로세싱만이 고려된다. 그러나, 전형적으로 실시간 브로드캐스트 서비스는 여러 스트림들을 포함한다는 것을 인지해야 한다(전형적으로 적어도 하나의 오디오, 비디오 및 텍스트 서브-타이틀 스트림). 시스템은 다수의 인코더를 포함할 수 있지만, 도 9에서는 일반성을 잃지 않고 설명을 간략화하도록 오직 하나의 인코더(110)만이 나타내어졌다. 또한, 본 명세서에 포함된 텍스트 및 예시가 특히 인코딩 프로세스를 포함할 수 있지만, 당업자는 동일한 개념 및 원리가 상응하는 디코딩 프로세스에 적용될 수 있고 그 역도 가능하다는 것을 이해할 것이다.
코딩된 미디어 비트스트림은 저장부(120)로 전송된다. 저장부(120)는 코딩된 미디어 비트스트림을 저장하기 위해 임의의 유형의 대용량 메모리를 포함할 수 있다. 저장부(120) 내의 코딩된 미디어 비트스트림의 포맷이 기본적인 자립적(self-contained) 비트스트림 포맷일 수 있거나, 또는 하나 이상의 코딩된 미디어 비트스트림이 컨테이너 파일(container file)로 인캡슐레이팅될 수 있다. 일부 시스템은 "실시간(live)" 동작하며, 즉 저장부를 생략하고 코딩된 미디어 비트스트림을 인코더(110)로부터 전송기(130)로 직접 전송한다. 그 다음 코딩된 미디어 비트스트림은 필요에 따라서 서버로도 불리는 전송기9130)로 전송된다. 전송에 사용되는 포맷이 기본적인 자립적 비트스트림 포맷, 패킷 스트림 포맷일 수 있거나, 또는 하나 이상의 코딩된 미디어 비트스트림이 컨테이너 파일로 인캡슐레이팅될 수 있다. 인코더(110), 저장부(120) 및 서버(130)는 동일한 물리적 디바이스 내에 존재할 수 있거나 또는 개별적인 디바이스 내에 포함될 수 있다. 인코더(110) 및 서버(130)는 실시간 콘텐츠로 동작할 수 있으며, 이러한 경우에 코딩된 미디어 비트스트림은 전형적으로 영구히 저장되지 않고, 프로세싱 지연, 전송 지연 및 코딩된 미디어 비트레이트에서의 변화를 제거하기 위해 콘텐츠 인코더(110) 및/또는 서버(130) 내에서 단기간 동안 버퍼링된다.
서버(130)는 통신 프로토콜 스택을 이용하여 코딩된 미디어 비트스트림을 전송한다. 스택은 몇몇 비한정적인 예시로서 RTP(Real-Time Transport Protocol), UDP(User Datagram Protocol) 및 인터넷 프로토콜(IP)을 포함할 수 있지만, 이것으로 제한되지는 않는다. 통신 프로토콜 스택이 패킷-지향적일 때, 서버(130)는 코딩된 미디어 비트스트림을 패킷으로 인캡슐레이팅한다. 예를 들어, RTP가 사용되었을 때, 서버(130)는 RTP 페이로드 포맷에 따라서 코딩된 미디어 비트스트림을 RTP 패킷으로 인캡슐레이팅한다. 전형적으로, 각 미디어 유형은 전용 RTP 페이로드 포맷을 갖는다. 시스템은 하나보다 많은 서버(130)를 포함할 수 있지만, 단순성을 위해서 아래의 설명은 오직 하나의 서버(130)만을 고려한다는 것을 인지해야 한다.
서버(130)는 통신 네트워크를 통해서 게이트웨이(140)로 접속될 수 있거나 또는 접속될 수 없다. 게이트웨이(140)는 하나의 통신 프로토콜 스택에 따른 패킷 스트림의 다른 통신 프로토콜 스택으로의 번역, 데이터 스트림들의 합병 및 포킹(forking) 및 우세한 다운링크 네트워크 상태에 따른 포워딩된 스트림의 비트레이트를 제어하는 것과 같은 수신기 성능 및/또는 다운링크에 따른 데이터 스트림의 조작과 같은 서로 다른 유형의 기능들을 수행할 수 있다. 게이트웨이(140)의 여러 비제한적인 예시는 MCU, 회로-스위칭 비디오 텔레포니와 패킷-스위칭 비디오 텔레포니 사이의 게이트웨이, PoC(Push-to-talk over Cellular) 서버, DVB-H 시스템 내의 IP 인캡슐레이터, 또는 브로드캐스트 전송을 국부적으로 홈 무선 네트워크로 포워딩하는 셋톱 박스를 포함한다. RTP가 사용될 때, 게이트웨이(140)는 RTP 믹서 또는 RTP 번역기로 지칭되며, 전형적으로는 RTP 접속부의 엔드포인트로서의 역할을 한다.
시스템은 전형적으로 전송되는 신호를 수신, 복조 및 코딩된 미디어 비트스트림으로 디캡슐레이팅(de-capsulating) 할 수 있는 하나 이상의 수신기(150)를 포함한다. 코딩된 미디어 비트스트림은 기록 저장부(155)로 전달된다. 기록 저장부(155)는 코딩된 미디어 비트스트림을 저장하기 위해서 임의의 유형의 대용량 메모리를 포함할 수 있다. 기록 저장부(155)는 이와 달리, 또는 이에 더하여 랜덤 액세스 메모리와 같은 컴퓨팅 메모리를 포함할 수도 있다. 기록 저장부(155) 내의 코딩된 미디어 비트스트림의 포맷은 기본적인 자립적 비트스트림 포맷일 수 있거나, 또는 하나 이상의 코딩된 미디어 비트스트림은 컨테이너 파일로 인캡슐레이팅될 수 있다. 만약 서로 연관된 오디오 스트림 및 비디오 스트림과 같은 다수의 코딩된 미디어 비트스트림이 존재한다면, 컨테이너 파일이 전형적으로 사용되고 수신기(150)는 입력 스트림으로부터 컨테이너 파일을 생성하는 컨테이너 파일 생성기에 부착되거나 이를 포함한다. 일부 시스템은 "실시간" 동작되며, 즉 기록 저장부(155)를 생략하고 코딩된 미디어 비트스트림을 수신기(150)로부터 디코더(160)로 직접 전송한다. 일부 시스템에서, 예로서 기록된 스트림의 가장 최근 10분의 발췌부와 같이, 기록된 스트림의 가장 최근 일부분만이 기록 저장부(155)에 보관되고, 이전의 기록된 데이터는 기록 저장부(155)로부터 폐기된다.
코딩된 미디어 비트스트림은 기록 저장부(155)로부터 디코더(160)로 전송된다. 만약 서로 연관되고 컨테이너 파일 내로 인캡슐레이팅되는 오디오 및 비디오 스트림과 같은 다수의 코딩된 미디어 비트스트림들이 존재한다면, 파일 파서(parser)(도면에 도시되지 않음)는 컨테이너 파일로부터 각 코딩된 미디어 비트스트림을 디캡슐레이팅하는 데에 사용될 수 있다. 기록 저장부(155) 또는 디코더(160)는 파일 파서를 포함할 수 있거나, 또는 파일 파서가 기록 저장부(155) 또는 디코더(160)에 부착된다.
코딩된 미디어 비트스트림은 전형적으로 자신의 출력이 하나 이상의 압축되지 않은 미디어 스트림인 디코더(160)에 의해 추가로 프로세싱된다. 마지막으로, 렌더러(170)는 예를 들어 확성기 및/또는 디스플레이를 이용해 압축되지 않은 미디어 스트림을 재생성할 수 있다. 수신기(150), 기록 저장부(155), 디코더(160) 및 렌더러(170)는 동일한 물리적 디바이스 내에 존재할 수 있거나, 또는 개별적인 디바이스 내에 포함될 수 있다.
본 발명의 다양한 예시적인 실시예에 따른 전송기(130)는 수신기(150)의 요청에 대해 응답하기 위해, 또는 비트스트림이 전달되는 네트워크의 우세한 상태와 같은 다양한 이유로 전송 층을 선택하도록 구성될 수 있다. 수신기(150)로부터의 요청은, 예를 들어 이전의 것과 비교했을 때 서로 다른 성능을 갖는 렌더링 디바이스의 변화 또는 디스플레이를 위한 층의 변화에 대한 요청일 수 있다.
아래에서는 모션 스킵을 위해 오직 하나의 인터-뷰 기준 픽처만이 존재할 때 모션 스킵에 이용가능한 공동 배치 MB를 생성하기 위한 알고리즘에 대해 설명 및 논의되었다. 다수의 새로운 정의 및 이전에 규정된 일부 개념에 대한 확장이 아래에서 제공되었다. 이것은 적어도 전술된 다양한 문제들을 해결하는 알고리즘의 비제한적인 예시에 의해 이어진다.
전술된 바와 같이, 인터-뷰 기준 픽처 내의 공동 배치 MB 파티션은 계층적 매크로블록 분할을 준수하지 않을 수 있으며 따라서 모션 스킵에 직접 사용될 수 없을 수 있다. 이러한 하나의 경우는, 하나 이상의 블록이 "ListX 사용"으로 지정되는 반면 다른 블록들이 "ListX 사용하지 않음"으로 지정되는 상황을 포함한다. 본 명세서에서 논의되는 바와 같이, 공동 배치 MB 파티션은, 만약 자신의 모든 블록들이 "ListX 사용"으로 지정되면 "ListX 사용"으로 지정된다(X는 0 또는 1).
공동 배치 MB 파티션은 아래의 조건들 모두가 참인 경우에 규정된다: 첫째, MB 파티션 내의 모든 블록들이 동시에 "List0 사용"하고 "List1 사용", 또는 "List0 사용"하고 "List1 사용하지 않음", 또는 "List0 사용하지 않음"이고 "List1 사용"한다. 이를 만족하는 MB 파티션은 "우수한 기준"을 갖는다. 그렇지 않으면 MB 파티션은 "불량한 기준"을 갖는다. 둘째로, 만약 MB 파티션이 "ListX 사용"으로 지정되면, 이 MB 파티션 내의 모든 블록들이 동시에 RefPicListX(X는 0 또는 1)에 리스팅된 동일한 기준 픽처를 사용한다. 만약 모든 블록들이 동일한 슬라이스 내에 존재하거나, 또는 모든 블록들이 동일한 기준 픽처 리스트 재순서화 커맨드를 포함하면, RefPicListX 내에 리스팅된 동일한 기준 픽처를 사용하는 모든 블록들은 RefPicListX 내의 동일한 기준 픽처 인덱스를 사용하여 모든 블록들에 대해 균일하다. 만약 상기의 조건들 중 임의의 것이 맞지 않으면, 공동 배치 MB 파티션이 위법인 것으로 규정된다. MB는 자신의 MB 파티션 모두가 합법이면 합법인 것으로 규정된다. 그렇지 않으면, MB는 위법인 것으로 규정된다.
만약 디스패리티 벡터 및 (0,0)이 동일한 모듈로 2이면, 즉 공동 배치 MB 파티션이 인터-뷰 기준 픽처의 MB 파티션 경계를 따라 정렬되었으면, 이들 공동 배치 MB 파티션 각각은 인터-뷰 기준 픽처 내의 인터 MB 내에 배치되는 한 자연적으로 합법이다. 이는 인터-뷰 기준 픽처 내의 임의의 MB 파티션이 계층적 매크로블록 분할을 준수하기 때문이다.
도 10은 다양한 예시적인 실시예에 따르는 하나 이상의 인터-뷰 기준 픽처가 존재할 때 따르는 알고리즘과 관련된 프로세스를 나타내는 순서도이다. 현재 픽처의 MB를 인코딩하고 모션 스킵 모드를 검사하는 동안, 디스패리티 모션을 이용하여 공동 배치 MB 파티션을 획득한 후에, 도 10에 도시된 알고리즘이 호출된다.
도 10에 도시된 알고리즘은 합법 MB 엑시트 또는 위법 MB 엑시트와 같은 두 가지 유형의 엑시트(exit)로 이끈다. 합법 MB 엑시트는 모션 스킵 모드가 현재 MB에 대해 인에이블되는 것을 의미한다. 위법 MB 엑시트는 모션 스킵 모드가 현재 MB에 대해 사용되지 않는 것을 의미한다. MB에 있어서, 모션 스킵 모드가 인에이블되면, 모션 스킵 모드가 마지막으로 MB를 인코딩하기 위해 사용되었는지의 여부는 이것이 코딩 효율성의 면에서 다른 코딩 모드보다 우수한가에 의존한다. MB에 있어서, 만약 모션 스킵 모드가 사용되면, 이러한 MB에 대해 생성된 모션 정보는 직접적 또는 간접적으로, 추가의 모션 보상을 위해 사용된다.
도 10에 도시된 알고리즘에서, 프로시저(procedure)의 쌍이 포함된다. 제 1 프로시저는 도 10의 지점(1005)으로부터 시작하여 지점(1075)에서 종료된다. 이러한 프로시저는 MB 파티션 모션 합병으로 지칭된다. MB 파티셔닝 모션 합병에서, 위법 공동 배치 MB 파티션은 합법 공동 배치 MB 파티션으로 복귀될 수 있다. 제 2 프로시저는 제 1 프로시저가 ((1075)에 도시된 바와 같이) 종료될 때 시작하여 지점(1072, 1085, 1100, 또는 1110)에서 종료된다. 이러한 제 2 프로시저는 합법 공동 배치 MB로의 불법 공동 배치 MB의 복귀를 위해 추가로 응답가능하며, 불법 MB 엑시트 또는 합법 MB 엑시트에서 종료된다. 이러한 프로시저는 MB 모션 합병으로 지칭된다. 디코딩 동안에, 만약 MB가 모션 스킵 모드를 이용하면, 알고리즘은 가능한 엑시트가 합법 MB 엑시트라는 것을 제외하고는 유사하게 적용된다. 이러한 MB에 대해 생성된 모션 정보가 추가적인 모션 보상을 위해 직접적 또는 간접적으로 사용된다. MB 파티션 모션 합병 절차에서, 공동 배치 MB 파티션이 하나씩 검사된다. 각각의 공동 배치 MB 파티션은 아래와 같이 프로세싱된다. 만약 현재 공동 배치 MB 파티션이 합법적이면, 추가의 프로세스가 이 프로시저에서 필요하지 않고, 다음의 공동 배치 MB 파티션이 프로세싱된다. 그렇지 않고, 만약 현재 공동 배치 MB 파티션이 위법이면, 아래의 사항이 적용된다. 만약 현재 공동 배치 MB 파티션이 "불량 기준"을 가지면, 기준 상태 합병 프로세스는 "불량 기준"을 "우수 기준"으로 고치도록 적용된다. 만약 기준 상태 합병 프로세스가 실패하면, 공동 배치 MB 파티션이 위법적인 것으로 남겨지고, 다음의 공동 배치 MB 파티션이 프로세싱된다.
만약 현재 공동 배치 MB 파티션이 "우수 기준"을 가지면(전술된 프로세스 이전에 공동 배치 MB 파티션이 "우수 기준"을 가지거나 또는 전술된 프로세스에 의해 "우수 기준"을 갖도록 만들어짐), 아래의 내용이 0인 X에 대해 적용되고 그 다음 1인 X에 대해 적용된다. 만약 현재 공동 배치 MB 파티션이 "ListX 사용"이면, 기준 인덱스 합병 프로세스 및 모션 벡터 생성 및 스케일링 프로세스(아래에서 기술됨)가 순차적으로 호출된다.
기준 인덱스 합병 프로세스는, 이러한 프로세스 후에, 현재 공동 배치 MB 파티션 내의 블록들이 각 예측 방향의 인터 예측에 대해 동일한 기준 픽처를 사용하는 것을 보장한다. 모션 벡터 생성 및 스케일링 프로세스는, RefPicListX 내의 기준 픽처가 기준 인덱스 합병 프로세스 동안 변화되는 블록(들)에 대한 모션 벡터(들)를 스케일링하고, 기준 인덱스 합병 프로세스 이전에 RefPicListX에 대한 모션 정보와 연관되지 않은 블록(들)에 대한 모션 벡터(들)를 생성한다.
도 10에 도시된 알고리즘의 MB 모션 합병 프로시저는, 현재 공동 배치 MB 내의 오직 하나의 공동 배치 MB 파티션만이 위법적일 때 위법적인 공동 배치 MB를 합법적인 것으로 바꾸고자 노력한다. 위법적인 공동 배치 MB 파티션을 프로세싱할 때, 이것의 모션 정보(만약 존재한다면)가 무시된다. 대신, 이러한 위법적 공동 배치 MB 파티션에 대한 모션 정보가 MB 모션 합병 프로시저에 의해 생성되고, 이것은 예측 생성 프로세스 및 모션 벡터 생성 프로세스를 포함한다. 각각의 X의 값에 있어서(X는 0 또는 1), 예측 생성 프로세스는 위법 공동 배치 MB 파티션을 "ListX 사용"으로 설정하고 이러한 공동 배치 MB 파티션에 대한 기준 인덱스를 설정하도록 노력한다. 각각의 X의 값(0 또는 1)에 있어서, 모션 벡터 생성 프로세스는 공동 배치 MB 파티션이 "ListX 사용"일 때 RefPicListX에 대한 기준 인덱스와 연관된 모션 벡터를 생성한다. 이러한 디스크립션은 오직 하나의 인터-뷰 기준 픽처가 사용된다는 것을 가정한다. 그러나, 도 10의 알고리즘은 아래에서 기술되는 바와 같이 복수의 인터-뷰 기준 픽처가 이용가능한 상황으로도 확장될 수 있다.
MB 파티션 모션 합병의 제 1 프로시저는 위법적인 공동 배치 MB 파티션을 합법적으로 만들도록 노력하는 것이며, 이러한 프로시저는 현재 공동 배치된 MB 내의 네 개의 공동 배치 MB 파티션 모두에 하나씩 적용된다. 만약 공동 배치 MB 파티션이 인터-뷰 기준 픽처의 슬라이스 경계를 가로질러 발생하면, 서로 다른 블록들 내의 동일한 기준 인덱스 값이 동일한 기준 픽처에 해당하지 않을 수 있다. 이러한 경우에, 각 블록 내의 기준 인덱스(만약 이용가능하면)가 자신의 기준 픽처 P로먼저 맵핑되고, 기준 픽처 P의 기준 인덱스가 현재 픽처의 RefPicListX 내에서 검색된다. 만약 이용가능한 기준 인덱스가 발견되면(idx로 표기됨), 이 블록의 기준 인덱스가 현재 픽처의 RefPicListX에 대한 idx인 것처럼 본 명세서에서 규정된 프로세스가 적용된다. 만약 이용가능한 기준 인덱스가 발견되지 않으면, 이것은 "ListX를 사용하지 않음"으로 처리된다. 만약 공동 배치 블록 또는 MB 파티션이 RefPicListX 내의 인터-뷰 기준 픽처를 참조하는 기준 인덱스를 가지면, 이것은 "ListX를 사용하지 않음"으로 처리된다. MB 파티션 모션 합병 프로시저의 기준 상태 합병 프로세스, 기준 인덱스 합병 프로세스, 모션 벡터 생성 및 스케일링 프로세스가 아래에 기술되었다.
기준 상태 합병의 프로세스는 공동 배치 MB 파티션을 "불량 기준"에서 "우수 기준"을 갖도록 바꾸고자 시도한다. 각각 "List0 사용" 및 "List1 사용"에 상응하는 포워드 및 백워드 예측 상태는 개별적으로 다루어질 수 있다. 아래의 내용이 0인 X에 대해 먼저 적용되고 그 다음 1인 X에 대해 적용된다. 케이스 1은 디스패리티 벡터 및 (0,0)가 동일한 모듈로 2인 상황을 포함한다. 공동 배치 MB 파티션은 인터-뷰 기준 픽처의 하나의 MB 파티션 내에 존재한다. 합병은 필요하지 않다. 케이스 2는 디스패리티 벡터와 (1,0) 또는 (0,1)이 동일한 모듈로 2인 상황을 포함한다. 공동 배치 MB 파티션은 인터-뷰 기준 픽처의 두 MB 파티션 내에 존재한다. 만약 두 MB 파티션이 모두 "ListX를 사용"하면, 공동 배치 MB 파티션은 "ListX 사용"으로 지정된다. 그렇지 않으면, 공동 배치 MB 파티션은 "ListX 사용하지 않음"으로 지정된다. 케이스 3은 디스패리티 벡터와 (1,1)이 동일한 모듈로 2인 상황을 포함한다. 공동 배치 MB 파티션은 인터-뷰 기준 픽처의 네 개의 MB 파티션 내의 네 개의 블록들로 이루어진다. 만약 블록들 중 3 또는 4개가 "ListX 사용"으로 지정되면, 공동 배치 MB 파티션은 "ListX 사용"으로 지정된다. 그렇지 않으면, 공동 배치 MB 파티션은 "ListX를 사용하지 않음"으로 지정된다. 만약 공동 배치 MB 파티션이 "ListX 사용"으로 지정되면, 그의 모든 블록들이 "ListX 사용"으로 지정된다.
기준 상태 합병 후에, 만약 공동 배치 MB 파티션이 "List0을 사용"하지만 "List1은 사용하지 않음", "List1을 사용"하지만 "List0은 사용하지 않음", 또는 "List0을 사용"하고 "List1을 사용"하는 것으로 지정된 경우, 이것은 "우수 기준"을 갖는다. 아래의 프로세스(즉, 기준 인덱스 합병 프로세스 및 모션 벡터 생성 및 스케일링 프로세스)는 오직 "우수 기준"을 갖는 MB 파티션에만 적용가능하다. 본 명세서의 다른 실시예에서, 공동 배치 MB 파티션은 "불량 기준"으로 설정될 수 있고, 만약 B 슬라이스에 속하고 양방향 예측되지 않으면, 즉 "List0을 사용하지 않음"이거나 "List1을 사용하지 않음"이면, 공동 배치 MB 파티션을 위해 추가 프로세싱이 이 프로시저에서 중지된다.
만약 공동 배치 MB 파티션이 기준 상태 합병 프로세스 동안에 "우수 기준"으로 고쳐지면, 이것은 기준 인덱스 합병 프로세스에 의해 합법 공동 배치 MB 파티션으로 복귀될 수 있다. 기준 인덱스 합병 프로세스는 X가 0 또는 1일 때 적용된다.
두 개의 규칙이 기준 인덱스 합병을 위해 소개되었다. 제 1 규칙은 최소 기준 인덱스 값을 선택하는 것이다. 제 2 규칙은 이러한 공동 배치 MB 파티션에서 블록으로부터 가장 빈번하게 사용된 기준 인덱스 값을 선택하는 것이다. 다른 규칙들이 필요에 따라서 구현될 수도 있다.
전술된 케이스 1, 2 및 3에 대한 솔루션은 아래와 같다. 만약 현재 공동 배치 MB 파티션이 "ListX를 사용"하면, 아래의 내용이 적용된다. 케이스 1의 상황에서(디스패리티 벡터 및 (0,0)이 동일한 모듈로 2인 경우), 기준 인덱스 합병 프로세스는 스킵된다. 케이스 2의 상황에서(디스패리티 벡터 및 (1,0) 또는 (0,1)이 동일한 모듈로 2인 경우), 인터-뷰 기준 픽처 내의 두 개의 MB 파티션의 최소 기준 인덱스 값이 선택된다. 케이스 3의 상황에서(디스패리티 벡터 및 (1,1)이 동일한 모듈로 2인 경우), 아래의 네 가지 솔루션 중 하나가 적용된다. 첫번째, 인터-뷰 기준 픽처 내의 네 개의 블록들의 최소 기준 인덱스 값이 선택된다. 두번째, 디스플레이 순서에서 현재 픽처에 가장 근접한 기준 픽처에 해당하는 인터-뷰 기준 픽처 내의 네 개의 블록들로부터 기준 인덱스 값이 선택된다. 세번째, 인터-뷰 기준 픽처 내의 네 개의 블록들 중에서 가장 빈번하게 사용되는 기준 인덱스가 선택된다. 만약 가장 빈번하게 사용되는 값이 하나보다 많을 경우에, 더 작은 (최소의) 기준 인덱스 값을 갖는 값이 선택된다. 네번째, 인터-뷰 기준 픽처 내의 네 개의 블록들 사이에서 가장 빈번하게 사용되는 기준 인덱스가 선택된다. 만약 가장 빈번하게 사용되는 값이 하나보다 많을 경우에, 디스플레이 순서에서 현재 픽처에 가장 근접한 기준 픽처에 해당하는 값이 선택된다.
전술된 측면에서, RefPicListX 내의 픽처들을 참조하는 네 개의 블록들에 대한 가능한 서로 다른 기준 인덱스들은 하나의 기준 인덱스로 통합될 수 있다. 공동 배치 MB 파티션에 대한 최종 기준 인덱스 값은 통합된 기준 인덱스로 지칭되고, 상응하는 기준 픽처는 통합된 기준 픽처로 지칭된다.
도 11에 그래픽으로 표현된 모션 벡터 스케일링 및 생성 프로세스는 X가 0 또는 1일 때 적용되고, 프로세스는 현재 공동 배치 MB 파티션 내의 네 개의 블록들 모두에 하나씩 적용된다. 공동 배치 MB 파티션 내의 블록에 있어서, 아래의 케이스들 중 임의의 케이스가 가능하다. 제 1 케이스에서, 블록은 기준 상태 합병 이전에 "ListX 사용"으로 지정되고 기준 인덱스 값은 기준 인덱스 합병 동안에 수정되지 않는다. 제 2 케이스에서, 블록은 기준 상태 병합 이전에 "ListX 사용"으로 지정되지만, 자신의 기준 인덱스 값은 기준 인덱스 합병 동안에 수정된다. 제 3 케이스에서, 블록은 "ListX 사용하지 않음"으로 지정되지만, "ListX 사용"으로 복귀되고 기준 인덱스는 기준 인덱스 병합 동안에 할당된다.
전술된 제 1 케이스에서, 모션 벡터 스케일링 및 생성이 필요하지 않다. 제 2 케이스에서, 모션 벡터는 식 mv'=td*mv/t0에 따라 스케일링되며, 이때 도 11을 참조하면, mv는 원래의 모션 벡터이고, mv'는 스케일링된 모션 벡터이며, td는 현재 픽처와 통합된 기준 픽처 간의 거리이며, t0는 현재 픽처와 원래(이전의) 기준 픽처 사이의 거리이다. td와 t0 모두 PicOrderCnt 차의 단위이며, PicOrderCnt는 H.264/AVC에서 명시된 픽처의 출력 순서(즉, 디스플레이 순서)를 나타낸다. 전술된 제 3 케이스에서, 모션 벡터는 다음과 같이 생성된다. 기준 상태 합병 프로세스에 따라서, RefPicListX에 있어서, 만약 MB 파티션이 "ListX 사용"으로 바뀌면 공동 배치 MB 파티션 내에서 최대 하나의 블록이 "ListX를 사용하지 않음"일 수 있다. 따라서, 공동 배치 MB 파티션은 이러한 제 3 케이스에 속하는 최대 하나의 블록을 포함한다. 이러한 블록의 기준 인덱스는 통합된 기준 인덱스로 설정된다. RefPicListX 내의 픽처를 참조하는 블록에 대한 모션 벡터는 아래의 두 방법 중 하나에 의해 생성된다:
1. 다른 블록들 내의 세 개의 모션 벡터들로부터의 중간 동작을 이용한다. 만약 3개의 모션 벡터들 중 임의의 것이 스케일링되면, 스케일링되는 모션 벡터는 중간 동작에서 사용된다. 블록의 모션 벡터는 세 개의 모션 벡터들 중 중간 값을 갖도록 설정된다.
2. 스케일링된 모션 벡터를 이용한다. 만약 오직 하나의 모션 벡터가 스케일링되지 않았으면, 이러한 모션 벡터가 블록의 모션 벡터로서 사용된다. 만약 두 블록의 두 모션 벡터가 스케일링되지 않았으면, 이들 두 모션 벡터들의 평균이 블록의 모션 벡터로서 사용된다. 그외의 경우(즉, 모션 벡터 중 하나도 스케일링되지 않은 경우)에서, 제 1 방법의 중간 동작이 사용된다.
아래에서 논의되는 제 3 케이스에 있어서, 공동 배치 MB 파티션 내의 최대 두 개의 블록에 대해, 모션 벡터가 기준 인덱스 합병 프로세스 동안 참조 픽처(들)의 변화로 인해 스케일링될 수 있다.
알고리즘의 제 2 프로시저, 즉 MB 모션 합병은 오직 하나의 위법적 공동 배치 MB 파티션을 갖는 위법적 공동 배치 MB를 합법 공동 배치 MB로 바꿀 수 있다. 이러한 프로시저 동안에, 위법적 공동 배치 MB 파티션의 모션 정보가, 존재한다면, 이것은 무시된다. 이러한 프로시저의 시작에서, 위법적 공동 배치 MB는 "List0를 사용하지 않음" 및 "List1를 사용하지 않음"으로 설정된다. 이러한 프로시저는 예측 생성 및 모션 벡터 생성의 두 주요 프로세스를 포함한다.
예측 생성 프로세스는 위법적 공동 배치 MB 파티션을, "List0을 사용하지 않음"으로부터 "List0을 사용함"으로, 또는 "List1을 사용함", 또는 둘 모두로 변경하고자 노력한다.
아래의 내용이 0인 X에 대해 적용되고 그 다음 1인 X에 대해 적용된다. 만약 다른 세 개의 공동 배치 MB 파티션이 "ListX 사용"으로 지정되면, 위법적 공동 배치 MB 파티션이 "ListX 사용"으로 설정되고, 기준 인덱스는 아래의 규칙 중 하나에 기초하여 공동 배치 MB 파티션에 대해 선택된다: (1) 다른 3개의 공동 배치 MB 파티션으로부터 최소 기준 인덱스 값을 선택, (2) 다른 세 개의 공동 배치 MB 파티션으로부터 가장 빈번하게 사용되는 기준 인덱스 값을 선택. (2)에서, 만약 가장 빈번하게 사용되는 하나보다 많은 값이 존재하면, 더 작은(가장 작은) 기준 인덱스 값을 갖는 값이 선택된다.
모션 벡터 생성 프로세스는 다른 세 개의 공동 배치 MB 파티션 내의 모션 벡터에 따라, 위법적인 공동 배치 MB 파티션 내의 네 개의 블록들에 대한 네 개의 모션 벡터들을 생성한다. 아래의 내용이 0인 X에 대해 먼저 적용된 후 1인 X에 대해 적용된다. 다른 세 개의 공동 배치 MB 파티션들 중에서, 위법적인 공동 배치된 MB 파티션과 동일한 기준 인덱스를 갖는 모션 벡터들만이 아래에서 고려된다. 위법 공동 배치 MB 파티션 내의 네 개의 블록들이 세 가지 유형들로 분류된다: (1) 줌 1, 공동 배치 MB의 중심에 가장 근접한 블록, (2) 줌 3, 공동 배치 MB의 중심에서 가장 멀리 있는 블록, 및 (3) 줌 2, 도 12(a)에 도시된 바와 같은 다른 두 개의 블록들. 각 블록에 있어서, 도 12(b)에 도시된 바와 같이 왼쪽, 오른쪽, 위, 아래의 블록이 4개의 이웃하는 블록으로 지칭되었다. 위법적 공동 배치 MB 파티션 내의 네 개의 블록들에 대한 모션 벡터가 아래에 의해 생성된다.
1. 줌 1 내의 블록에 있어서, 공동 배치 MB 내의 다른 공동 배치 MB 파티션 내에 네 개의 이웃하는 블록들 중 두 개를 구비한다. 이러한 네 개의 이웃하는 블록들 중 두 개는 후보 블록 1 및 2로 지칭된다. 다른 공동 배치 MB 파티션 내의 제 3 후보 블록은 두 개의 후보 블록 1 및 2의 네 개의 이웃하는 블록인 블록이다. 세 개의 후보 블록들에 있어서, 위법적 공동 배치 MB 파티션과 동일한 기준 인덱스 값을 갖는 것들의 모션 벡터(예측 생성 프로세스에 의해 생성)는 줌 1 내의 블록의 모션 벡터를 생성하도록 사용된다. 만약 세 개의 후보 블록들 중 오직 하나가 자격이 주어지면, 해당 블록의 모션 벡터가 줌 1 내의 블록의 모션 벡터로서 복제된다. 만약 세 개의 후보 블록들 중 두 개가 자격이 주어지면, 줌 1 내의 블록의 모션 벡터가 두 개의 블록들의 모션 벡터들의 평균으로 설정된다. 만약 모든 세 개의 후보 블록들에 자격이 주어지면, 줌 1 내의 블록의 모션 벡터가 세 개의 후보 블록들의 세 개의 모션 벡터들의 중간값으로 설정된다.
2. 줌 2의 블록에 있어서, 다른 공동 배치 MB 파티션 내의 4개의 이웃하는 블록들 중 하나를 구비한다. 이러한 4개의 이웃하는 블록들 중 하나는 유일한 후보 블록이다. 만약 후보 블록이 위법적인 공동 배치 MB 파티션과 동일한 기준 인덱스를 가지면, 줌 2 내의 블록의 모션 벡터는 후보 블록의 모션 벡터로 설정된다. 그렇지 않으면, 줌 2 내의 블록의 모션 벡터는 줌 1 내의 블록의 모션 벡터로 설정된다.
3. 줌 2 내의 다른 블록에 대해 프로세스 (2)를 반복한다.
4. 줌 3 내의 블록에 있어서, 공동 배치 MB 내의 다른 공동 배치 MB 파티션 내의 4개의 이웃하는 블록 중 어느 것도 갖지 않는다. 만약, 프로세스 (2) 또는 (3)에서, 후보 블록이 위법적 공동 블록 MB 파티션으로서 서로 다른 기준 인덱스를 가질 때, 줌 3 내의 블록의 모션 블록은 줌 1 내의 블록의 모션 블록으로 설정된다. 이와 달리, 이러한 블록의 모션 블록은 동일한 공동 배치 MB 파티션 내의 3개의 블록들의 3개의 모션 벡터들의 중간값으로 설정된다.
전술된 바와 같이, 도 10은 다양한 실시예에 따른 하나 이상의 인터-뷰 기준 픽처가 존재할 때 따르는 알고리즘에 포함되는 프로세스를 나타내는 순서도이다. 도 10은 본 명세서에서 상세하게 기술되었다. 알고리즘은 (1000)에서 현재 MB로 시작한다. (1005)에서, 제 1 MB 파티션이 현재 MB 파티션으로 설정된다. (1010)에서, MB 파티션이 프로세싱되었는지 여부가 판정된다. 만약 MB 파티션이 여전히 프로세싱되어야 한다면, (1015)에서 프로세싱될 다음 MB 파티션이 현재 MB 파티션으로서 설정된다. (1020)에서, 현재 MB 파티션이 합법적인지 여부가 결정된다. 만약 그렇다면, 이 프로세스는 다시 (1010)를 참조한다. 만약 그렇지 않다면, 기준 상태 합병이 (1025)에서 발생하고, 그 후에 (1030)에서 현재 MB 파티션 내의 모든 블록들이 "List0 사용", "List1 사용" 또는 "List0 사용"과 "List1 사용" 모두로 식별되는지가 판정된다. 만약 그렇지 않다면, (1035)에서 현재 MB 파티션이 위법적 MB 파티션으로 식별되고, (1010)으로 복귀된다. 그러나, 만약 그렇다면, (1040)에서 X가 0으로 설정되고, (1045)에서 현재 MB 파티션이 "ListX 사용"으로 식별되는지 여부가 판정된다. 만약 그렇다면, ListX에 대한 기준 인덱스 합병이 (1050)에서 발생한다. (1055)에서, 기준 픽처가 변경되었는지 여부가 결정된다. 만약 그렇다면, (1060)에서, 모션 벡터 생성 및 스케일링이 발생하고, (1065)에서 X가 0보다 큰지 여부가 결정된다. 만약 X가 0보다 크지 않다면, 프로세스는 (1045)로 복귀한다. 만약 X가 0보다 크면, 현재 MB 파티션이 (1070)에서 합법적으로 설정되고, 프로세스는 (1010)로 복귀한다. 만약 블록(1045) 또는 (1055)에서의 판정에 대한 응답이 "아니오"라면, 프로세스는 (1065)로 진행한다.
도 10의 (1010)를 다시 참조하면, 만약 계속 프로세스 되어야 할 MB 파티션이 존재하지 않으면, (1072)에서 모든 MB 파티션이 합법적인지 여부가 판정된다. 만약 모든 MB 파티션이 합법적이면, 프로세스는 합법적 MB 엑시트를 가지고 (1075)에서 종료된다. 그러나, 만약 그렇지 않으면, (1080)에서 세 개의 MB 파티션이 합법적인지가 판정된다. 만약 그렇지 않으면, 프로세스는 (1085)에서 위법 MB 엑시트를 가지고 종료된다. 만약 세 개의 MB 파티션이 존재하면, (1090)에서 위법적 MB에 대해 예측 생성이 발생한다. 그 다음 (1095)에서 위법적 MB 파티션 내의 모든 블록들이 "List0 사용" 또는 "List1 사용"으로 식별된다. 만약 그렇지 않으면, (1100)에서 위법적 MB를 가지고 프로세스가 종료된다. 그러나, 만약 그렇다면, 모션 벡터 예측이 (1105)에서 발생하고 프로세스는 (1110)에서 합법적 MB를 가지고 종료된다.
하나보다 많은 인터-뷰 기준 픽처가 존재할 때, 인터-뷰 기준 픽처 중 임의의 픽처가 슬라이스를 인코딩할 때 모션 스킵을 위해 선택될 수 있다. 선택을 위한 다른 방법들이 아래에 기술된다. 오직 하나의 인터-뷰 기준 픽처가 모션 스킵을 위해 사용될 때, MB 모드 및 현재 MB를 예측하는 데에 사용될 모션 벡터를 포함하는 공동 배치 MB는 하나의 인터-뷰 기준 픽처로부터 획득된다. 전술되고 도 10에 도시된 알고리즘에 의해 공동 배치 MB가 변경되었을 수 있기 때문에, 최종 공동 배치 MB는 예측자 MB로 지칭된다.
도 10에 도시된 다양한 블록들이 방법 단계들 및/또는 컴퓨터 프로그램 코드의 동작으로부터 발생하는 동작들, 및/또는 관련된 기능(들)을 수행하도록 구성된 복수의 결합된 로직 회로 소자들로서 보여질 수 있음을 이해해야 한다.
아래에는 모션 스킵에 대한 인터-뷰 기준 픽처의 선택에 대한 보다 상세한 설명이 주어진다.
각 슬라이스에 있어서, 모션 스킵에 사용되는 인터-뷰 기준 픽처는 파생 또는 시그널링된다. 따라서, 모션 스킵에 사용되는 픽처는 뷰 종속성에서 시그널링되는 제 1 인터-뷰 기준 픽처와는 다를 수 있으며, 이는 임의의 인터-뷰 기준 픽처일 수 있다. 예를 들어, RefPicList0에 상응하는 뷰 종속성 정보 내에서 시그널링되는 제 1 인터-뷰 기준 픽처는 모션 스킵에 사용되는 인터-뷰 기준 픽처이도록 선택된다. 다른 예시로서, RefPicList0 내의 제 1 인터-뷰 기준 픽처가 선택된다. RPLR 커맨드가 인터-뷰 기준 픽처를 RefPicList0 내의 첫번째로 만들 수 있음을 인지해야 한다.
전술된 바와 달리, 현재 픽처가 백워드 인터-뷰 기준 픽처를 가질 때, 전술된 두 가지 방법에서, RefPicList0은 RefPicList1과 대체된다. 다른 대안에서, 현재 픽처가 포워드 및 백워드 인터-뷰 기준 픽처 모두를 가질 때, 전술된 방법들이 RefPicList0 및 RefPicList1에 각각 상응하는 두 개의 인터-뷰 기준 픽처들을 선택하도록 적용될 수 있고, 플래그는 두 개의 선택된 인터-뷰 기준 픽처 중 하나를 선택하도록 시그널링된다. 또한 이와 달리, 사용된 인터-뷰 기준 픽처가, 예를 들어 슬라이스 헤더 내의 포워드 또는 백워드 인터-뷰 기준 픽처인지를 나타내는 플래그 및 뷰 종속성으로 나타내어지는 뷰 식별자의 인덱스를 포함함으로써, 명시적으로 시그널링될 수 있다. 이와 달리, 모션 스킵에 사용되는 뷰의 뷰 식별자가 슬라이스 헤더 내에 포함될 수도 있다.
전술된 방법은 모션 스킵에서 사용하기 위해 복수의 이용가능한 인터-뷰 기준 픽처로부터 하나의 인터-뷰 기준 픽처를 선택하는 데에 사용된다. 이용가능한 하나보다 많은 인터-뷰 기준 픽처가 존재할 때, 인코딩될 가가 MB에 대해서, 하나보다 많은 인터-뷰 기준 픽처가 모션 스킵에 사용되는 것이 가능하다. 이러한 경우, 현재 MB는 현재 픽처와 인터-뷰 기준 픽처 사이에 디스패리티 모션에 따라 각각 사용된 인터-뷰 기준 픽처 내에 공동 배치 MB를 갖는다. 이들 공동 배치 MB의 각각은 예측자 MB의 생성을 위해 후보 공동 배치 MB로서 지칭되고, 후보자 MB는 모든 후보 공동 배치 MB로부터 생성된다. 복수의 인터-뷰 기준 픽처를 갖는 모션 스킵을 위한 예측자 MB의 생성을 위한 솔루션이 아래에 기술되었다. 이러한 솔루션은 또한 결합된 모션 스킵 알고리즘으로도 지칭된다.
먼저, 예측자 MB의 각 예측자 MB 파티션이 공동 배치 MB 파티션으로부터 선택된다. 이것은 기준 결합으로 지칭된다. 기준 결합 후에, 전술되고 도 10에 도시된 알고리즘에서의 제 2 프로시저가 네 개의 예측자 MB 파티션에 적용된다.
기준 결합에서, 후보 공동 배치 MB 파티션으로부터 예측자 MB 파티션을 선택하기 위해, 후보 공동 배치 MB 파티션은 예컨대 제 1 포워드 종속 뷰(들) 다음에 백워드 종속 뷰(들)와 같은 사전결정된 순서로 고려된다. 각 기준 픽처 리스트 내의 인터-뷰 기준 픽처에 있어서, 순서는 시퀀스 파라미터 세트 MVC 확장에서와 동일하거나 기준 픽처 리스트에서와 동일하다. 순서에 기초하여, 만약 인터-뷰 기준 픽처 내의 공동 배치 MB 파티션이 합법적인 것으로 알려지면, 전술되고 도 10에 도시된 알고리즘 내의 제 1 프로시저가 이러한 공동 배치 MB 파티션에 적용되고, 이러한 공동 배치 MB 파티션이 인터-뷰 기준 픽처의 나머지로부터 후보 공동 배치 MB 파티션을 추가로 고려하지 않고 예측자 MB 파티션으로서 선택된다.
만약 임의의 인터-뷰 기준 픽처 내에 합법적인 공동 배치 MB 파티션이 존재하지 않으면 다음의 내용이 적용된다. 전술된 바와 동일한 순서로, 후보 공동 배치 MB 파티션이 "우수 기준"을 갖는 제 1 공동 배치 MB 파티션에 대해 검색된다. 만약 발견되면, "우수 기준"을 갖는 제 1 후보 공동 배치 MB 파티션은 후보 공동 배치 MB 파티션의 나머지를 더 고려하지 않고 예측자 MB 파티션으로서 선택된다. 기준 인덱스 합병 프로세스와 모션 벡터 생성 및 스케일링 프로세스가 그 다음 예측자 MB 파티션에 적용된다. 만약 "우수 기준"을 갖는 공동 배치 MB 파티션이 발견되지 않으면, 기준 상태 합병 프로세스는 전술된 바와 같은 순서로 후보 공동 배치 MB 파티션으로 적용된다. 후보 공동 배치 MB 파티션에 대한 기준 상태 합병 프로세스가 성공할 때마다, "우수 기준"을 갖는 요청된 후보 공동 배치 MB 파티션이 후보 공동 배치 MB 파티션의 나머지를 더 고려하지 않고 예측자 MB 파티션으로서 선택된다. 기준 인덱스 합병 프로세스와 모션 벡터 생성 및 스케일링 프로세스가 그 다음 예측자 MB 파티션에 적용된다. 만약 기준 상태 합병 프로세스가 후보 공동 배치 MB 파티션 전체에 대해 실패하면, 예측자 MB 파티션은 위법적이다.
기준 조합의 예시가 도 13에 도시되었으며, 여기에서 포워드 인터-뷰 기준 픽처(왼쪽의 인터-뷰 기준 픽처) 및 백워드 인터-뷰 기준 픽처(오른쪽의 인터-뷰 기준 픽처) 모두가 오직 P 슬라이스만을 포함한다. 현재 픽처와 포워드 인터-뷰 기준 픽처 및 (0,0) 사이의 디스패리티 벡터는 동일한 모듈로 2이며, 현재 픽처와 백워드 인터-뷰 기준 픽처 및 (1,1) 사이의 디스패리티 모션은 동일한 모듈로 2이다. 좌상단의 MB 파티션에 있어서, 포워드 인터-뷰 기준 픽처로부터의 후보 공동 배치 MB 파티션은 인터 MB 내에 포함되며, 따라서 이것은 합법적이고 예측자 MB 파티션으로서 선택된다. 따라서 이러한 좌상단의 예측자 MB 파티션에 대한 프로시저 1이 달성된다. 동일한 프로시저는 우상단 예측자 MB 파티션과 우하단 예측자 MB 파티션에 적용된다. 좌하단 예측자 MB 파티션에 있어서, 포워드 인터-뷰 기준 픽처로부터의 후보 공동 배치 MB 파티션은 인트라 MB에 포함되며 따라서 위법적이다. 따라서, 백워드 인터-뷰 기준 픽처로부터의 다음의 후보 공동 배치 MB 파티션이 검사된다. 이러한 후보 공동-배치 MB 파티션은 인터 MB 내에 포함되며, 따라서 이것은 합법적이고 예측자 MB 파티션으로서 선택된다. 따라서 이러한 좌하단 예측자 MB 파티션에 대한 프로시저 1이 달성된다. 따라서 이러한 예시에서, 합법적 예측자 MB가 생성되며, 이는 포워드 인터-뷰 기준 픽처로부터의 세 개의 합법적 예측자 MB 파티션과 백워드 인터-뷰 기준 픽처로부터의 하나의 합법적 예측자 MB 파티션을 갖는다.
기준 조합에서, 예측자 MB 파티션이 얻어지는 인터-뷰 기준 픽처는 앞서 기술된 바와 같이 파생된다. 아래의 다른 솔루션에서, 모션 스킵에 사용되는 인터-뷰 기준 픽처가 각각의 MB 또는 MB 파티션에 대해 명시적으로 시그널링된다. 이러한 다른 솔루션에서, 각 MB에 대해 모션 스킵이 인에이블되면, 모션 스킵에 사용되는 뷰 역시 시그널링된다. 따라서, 모션 스킵 알고리즘은 적응성으로 현재 MB의 모션 벡터가 파생되는 인터-뷰 기준 픽처를 선택할 수 있다. 이러한 MB 적응성 선택 케이스에서, 인코더 내의, 도 10에 도시된 알고리즘의 두 프로시저가 각 공동 배치 MB에 대해 개별적으로 적용되고, 최상의 레이트 왜곡 성능을 발생시키는 프로시저가 최후로 선택되어, 이러한 인터-뷰 기준 픽처를 식별하기 위해 필요한 정보가 코딩되는 현재 MB에 대해 시그널링된다. 디코더에서, 모션 스킵이 현재 MB에 대한 모드일 때, 어느 인터-뷰 기준 픽처가 사용되었는지를 나타내는 정보가 판독되고, 공동 배치 MB가 발견된다. 도 10에 도시된 알고리즘에 대한 제 1 및 제 2 절차가 호출된다. MB 레벨에 대해 전술되었지만, MB 파티션 레벨로 확장될 수도 있다.
픽처에 대한 글로벌 디스패리티 모션을 이용하는 것 외에도, MB 또는 MB 파티션 레벨 내의 적응성 디스패리티 모션이 사용될 수도 있다. 다양한 실시예에서, 로컬 디스패리티가 시그널링된 글로벌 디스패리티 모션과 관련하여 코딩된다. 로컬 디스패리티 모션은 현재 MB가 모션 스킵 모드를 이용할 때 시그널링된다. 로컬 디스패리티 모션의 코딩은 모션 벡터의 예측적 코딩과 유사하다. 도 14에 도시된 바와 같이, 현재 MB(Curr MB)에 있어서, 중간 디스패리티 모션이 상단 MB(B), 좌측 MB(A) 및 좌상단 MB(D)로부터 예측된다. 만약 D가 이용가능하지 않으면, 우상단 MB(C)가 사용된다. 다른 경우에서, 만약 MB가 시그널링된 로컬 모션 디스패리티를 갖지 않으면, 로컬 디스패리티 모션은 이웃하는 MB에 대해 로컬 디스패리티 모션의 예측에 사용될 글로벌 디스패리티 모션과 동일하도록 추론된다.
인코더에서, 원하는 디스패리티가 전형적인 모션 추정에 의해 생성될 수 있고, 그 다음 어느 정확도가 사용되었는지에 따라서 16 픽셀, 8 픽셀 또는 4 픽셀 정확도로 양자화된다. 다른 실시예는 디스패리티 모션 예측자 둘레의 영역을 검색함으로써 디스패리티 모션 예측을 개선하는 것을 포함한다. 예측자 및 원하는 디스패리티가 생성된 후에, 디스패리티 모션과 예측자 사이의 차이가 H.264/AVC에서의 모션 벡터 차 코딩에서와 유사한 방식으로 코딩된다.
모션 스킵은 현재 MB에 대한 모션을 파생할 수 있다. 그러나, 파생된 모션은 충분히 정확하지 않을 수 있다. 이러한 상황에서, 모션 벡터 정확도는 예를 들어 파생된 모션 벡터와 적절한 (원하는) 모션 벡터 사이의 차를 시그널링함으로써 개선하여 추가로 향상될 수 있다.
모션 스킵 시그널링과 관련된 다양한 문제들을 해소하기 위해서, 다양한 실시예들이 제공된다. 일 실시예에서 플래그의 형태인 표시자가 모션 스킵을 위해 다른 뷰 내의 임의의 픽처에 의해 현재 픽처가 사용되는지 여부를 명시하도록 사용된다. 이와 달리, inter_view_flag가 두 비트를 포함하는 inter_view_idc로 변경된다. 제 1 비트는 원래의 inter_view_flag와 동일하고, 제 2 비트는 새롭게 삽입된 플래그와 동일하다.
일 실시예에서 플래그의 형태인 표시자는, 슬라이스가 모션 스킵을 사용하는지 아닌지 여부를 표시하도록 슬라이스 헤더 내에 제공될 수도 있다. 만약 그렇지 않으면, 현재 슬라이스 내의 모든 매크로블록에 대한 모션 스킵 플래그가 시그널링되지 않고 거짓인 것으로 추론된다. 만약 이 플래그가 참이면, 모션 디스패리티가 시그널링된다.
일 실시예에서 플래그의 형태인 또 다른 표시자는, 이것이 단일 루프 디코딩에 의해 디코딩될 수 있는지 여부를 나타내도록 시퀀스 레벨에서, 예컨대 시퀀스 파라미터 세트 MVC 확장에서 각 뷰에 대해 사용될 수 있다. 또한, 플래그 또는 다른 표시자는, 뷰가 통상적인 인터-뷰 샘플 예측을 위해 다른 뷰들 중 임의의 뷰에 요구되는지 여부를 나타내기 위한 다른 표시자 또는 뷰가 모션 스킵 및 다른 플래그에 대한 임의의 다른 뷰들에 요구되는지 여부를 표시하기 위해, 예로서 시퀀스 파라미터 세트 MVC 확장자와 같은 시퀀스 레벨 내의 각 뷰에 대해 추가될 수 있다.
아래에는 전술된 다양한 실시예에서 사용될 수 있는 예시적인 시그널링이 기술되었다. 그러나, 이러한 시그널링이 단지 예시적인 것임을 인지해야 하며, 당업자는 다른 시그널링이 가능함을 이해할 것이다.
모션 스킵에 사용되는 픽처를 시그널링하기 위해서, NAL 유닛 헤더 SVC MVC 확장 신택스가 아래와 같을 수 있다.
Figure pct00001
상기 NAL 유닛 헤더 SVC MVC 확장 신택스 내의 신택스 요소 inter_view_idc의 의미는 다음과 같다. inter_view_idc가 0일 때, 이것은 현재 NAL 유닛을 포함하는 코딩된 픽처가 샘플 예측을 위한 인터-뷰 예측 기준으로서 사용되지도 않고 모션 스킵에 사용되지도 않음을 명시한다. inter_view_idc가 1과 같을 때, 이것은 현재 NAL 유닛을 포함하는 코딩된 픽처가 모션 스킵에 사용될 수는 있지만 인터-뷰 샘플 예측에는 사용되지 않음을 명시한다. inter_view_idc가 2와 같을 때, 이것은 현재 NAL 유닛을 포함하는 코딩된 픽처가 인터-뷰 샘플 예측에는 사용될 수 있지만 모션 스킵에는 사용되지 않음을 명시한다. inter_view_idc가 3과 같을 때, 이것은 현재 NAL 유닛을 포함하는 코딩된 픽처가 인터-뷰 샘플 예측과 모션 스킵 모두에 사용될 수 있음을 명시한다.
아래에는 슬라이스가 모션 스킵을 지원하는지 여부를 제어하기 위해 슬라이스 헤더 플래그를 시그널링하는 하나의 가능한 구성이 기술되었다. 이러한 구성에서, 슬라이스 헤더 신택스는 다음과 같다:
Figure pct00002
motion_skip_enable이 0과 같을 때, 이것은 현재 슬라이스가 모션 스킵을 사용하지 않음을 명시한다. motion_skip_enable가 1과 같을 EO, 이것은 현재 슬라이스가 모션 스킵을 사용함을 명시한다.
전술된 바와 같은 슬라이스 헤더 플래그의 시그널링에 있어서, 샘플 매크로블록 층 신택스는 다음과 같다:
Figure pct00003
전술된 바에 추가로, 복수의 인터-뷰 기준 픽처들을 시그널링하는 것이 필요할 수 있으며, 특히 하나의 인터-뷰 기준 픽처가 각 방향에 대해 사용되는 경우에 그러하다. 이러한 경우에, 샘플 신택스는 다음과 같다:
Figure pct00004
만약 참조된 SPS MVC 확장부 내의 num_non_anchor_refs_10[i](i는 SPS MVC 확장부 내의 view_id[i]가 현재 뷰의 뷰 식별자이도록 하는 값을 가짐)가 0보다 크면 MotionSKIPFwd는 1이도록 호출된다. 그렇지 않으면 0이도록 호출된다. 만약 참조된 SPS MVC 확장부 내의 num_non_anchor_refs_11[i](i는 SPS MVC 확장부 내의 view_id[i]가 현재 뷰의 뷰 식별자이도록 하는 값을 가짐)가 0보다 크면 MotionSKIPBwd는 1이도록 호출된다. 그렇지 않으면 0이도록 호출된다. fwdbwd_flag가 0과 같으면, 이것은 현재 MB가 모션 스킵을 위해 제 1 포워드 인터-뷰 기준 픽처를 사용한다는 것을 명시한다. fwdbwd_flag가 1과 같으면, 이것은 현재 MB가 모션 스킵을 위해 제 1 백워드 인터-뷰 기준 픽처를 사용한다는 것을 명시한다.
단일 루프 디코딩을 위한 예시적인 시퀀스 레벨 시그널링은 아래와 같다:
Figure pct00005
sld_flag[i]가 1과 같으면, 이것은 view_id[i]와 같은 view_id를 갖는 뷰가 단일 루프 디코딩을 지원한다는 것을 명시하며, 즉 시퀀스 파라미터 세트를 지칭하고 view_id[i]와 동일한 view_id를 갖는 임의의 비-앵커 픽처가 디코딩 프로세스 내의 인터-뷰 샘플 예측을 사용하지 않는다는 것을 명시한다. sld_flag[i]가 0과 같으면, 이것은 view_id[i]와 같은 view_id를 갖는 뷰가 단일 루프 디코딩을 지원하지 않는다는 것을 명시하며, 즉 시퀀스 파라미터 세트를 지칭하고 view_id[i]와 동일한 view_id를 갖는 적어도 하나의 비-앵커 픽처가 디코딩 프로세스 내의 인터-뷰 샘플 예측을 사용한다는 것을 명시한다. recon_sample_flag[i]가 1과 같을 때, 이것은 시퀀스 파라미터 세트를 지칭하고 view_id[i]와 동일한 view_id를 갖는 적어도 하나의 코딩된 픽처가 적어도 하나의 다른 뷰에 의해 인터-뷰 샘플 예측에 사용된다는 것을 명시한다. recon_sample_flag[i]가 0과 같을 때, 이것은 시퀀스 파라미터 세트를 지칭하고 view_id[i]와 동일한 view_id를 갖는 어떠한 코딩된 픽처도 임의의 뷰에 의해 인터-뷰 샘플 예측에 사용되지 않는다는 것을 명시한다. recon_motion_flag[i]가 1과 같을 때, 이것은 시퀀스 파라미터 세트를 지칭하고 view_id[i]와 동일한 view_id를 갖는 적어도 하나의 코딩된 픽처가 적어도 하나의 다른 뷰에 의해 모션 스킵에 사용된다는 것을 명시한다. recon_motion_flag[i]가 0과 같을 때, 이것은 시퀀스 파라미터 세트를 지칭하고 view_id[i]와 동일한 view_id를 갖는 어떠한 코딩된 픽처도 모션 스킵을 위해서 임의의 뷰에 의해 사용되지 않음을 명시한다.
본 명세서에 명시된 다양한 실시예들에 따른 통신 디바이스는, CDMA, GSM, UMTS, TDMA, FDMA, TCP/IP, SMS, MMS, 이메일, IMS, 블루투스, IEEE 802.11 등을 포함하지만 이것으로 한정되는 것은 아닌 다양한 전송 기술을 이용하여 통신할 수 있다. 본 발명의 다양한 실시예들을 구현하는 것과 관련된 통신 디바이스는 무선, 적외선, 레이저, 케이블 접속 등을 포함하지만 이것으로 제한되는 것은 아닌 다양한 미디어를 이용하여 통신할 수 있다.
도 15 및 16은 본 발명이 구현될 수 있는 하나의 대표적인 모바일 디바이스(12)를 도시한다. 그러나, 본 발명은 전자 디바이스의 하나의 특정한 유형으로 한정되지 않음을 이해해야 한다. 모바일 디바이스 내에 도시된 일부 또는 모든 특성들은 본 명세서에 기술된 임의의 또는 모든 디바이스로 결합될 수 있다. 도 15 및 16의 모바일 디바이스(12)는 하우징(30), 액정 디스플레이의 형태인 디스플레이(32), 키패드(34), 마이크로폰(36), 이어피스(38), 배터리(40), 적외선 포트(42), 안테나(44), 본 발명의 일 실시예에 따른 UICC의 형태인 스마트 카드(46), 카드 리더기(48), 무선 인터페이스 회로(52), 코덱 회로(54), 적어도 하나의 컨트롤러(56) 및 편리성을 위해서 메모리(58)로도 지칭되는 컴퓨터 판독가능한 메모리 매체를 포함한다. 메모리(58)는 적어도 하나의 컨트롤러(56)에 의해 실행되었을 때 디바이스(12)가 본 발명의 예시적인 실시예에 따라 동작하도록 하는 컴퓨터 프로그램 명령어를 포함하는 데이터를 저장한다. 개별적인 회로 및 요소들이 당업계에서 잘 알려진 유형을 가질 수 있다.
본 명세서에 기술된 다양한 실시예들은 가능하다면 네트워킹된 환경에서 메모리(58)와 같은 컴퓨터 판독가능한 매체에서 구현되고 하나 이상의 컴퓨터에 의해 실행되는 프로그램 코드와 같은 컴퓨터 실행가능한 명령어를 포함하는 메모리(58)와 같은 컴퓨터 판독가능한 매체 내에 구현된 컴퓨터 프로그램 제품에 의한 적어도 하나의 구현물에서 구현될 수 있는 방법 단계들 또는 프로세스들의 일반적인 맥락으로 기술되었다. 일반적으로 프로그램 모듈은 특정한 태스크를 수행하고 특정한 추출 데이터 유형을 구현하는 루틴, 프로그램, 객체, 구성요소, 데이터 구조 등을 포함할 수 있다. 데이터 구조와 관련된 컴퓨터 실행가능한 명령어 및 프로그램 모듈은, 본 명세서에 기술된 방법의 단계들을 실행하기 위해 프로그램 코드의 예시를 나타낸다. 이러한 실행가능한 명령어 또는 연관된 데이터 구조의 특정한 시퀀스는 이러한 단계 또는 프로세스에서 기술된 기능들을 수행하기 위한 상응하는 동작의 예시를 나타낸다.
다양한 실시예의 소프트웨어 및 웹 구현이 다양한 데이터베이스 검색 단계 또는 프로세스, 상관 단계 또는 프로세스, 비교 단계 또는 프로세스 및 결정 단계 또는 프로세스를 달성하기 위해 규칙 기반 로직 및 그외의 로직을 이용한 표준 프로그래밍 기술을 이용하여 달성될 수 있다. 본 명세서 및 아래의 특허청구범위에서 사용된 "구성요소" 및 "모듈"이라는 용어들은, 하나 이상의 소프트웨어 코드의 라인들을 이용한 구현물, 및/또는 하드웨어 구현물, 및/또는 수동 입력을 수신하는 장비를 포함하는 것이다.
실시예에 대한 전술된 설명은 예시 및 설명을 위해 기술된 것이다. 전술된 설명은 본 발명의 실시예를 개시된 형태 그대로 제한하고자 하는 것이 아니며, 전술된 내용의 측면에서 수정 및 변경이 가능하거나 다양한 실시예를 실시하는 것으로부터 획득될 수 있다. 본 명세서에 기술된 실시예는 다양한 실시예의 원리 및 특성을 설명하기 위해 선택 및 기술된 것이며, 당업자가 본 발명을 다수의 변경을 통해 다양한 실시예에 사용하도록 하는 이것의 실질적인 응용은 고안된 특정 용도에 맞추어진다. 본 명세서에 기술된 실시예의 특성은 방법, 장치, 모듈, 시스템 및 컴퓨터 프로그램 제품의 모든 가능한 조합으로 결합될 수 있다.
일반적으로, 다양한 예시적인 실시예가 하드웨어 또는 전용 회로, 소프트웨어, 로직 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 일부 측면들이 하드웨어에서 구현될 수 있는 반면, 다른 측면들이 컨트롤러, 마이크로프로세서 또는 다른 컴퓨팅 디바이스에 의해 실행될 수 있는 펌웨어 또는 소프트웨어에서 구현될 수 있지만, 본 발명이 이것으로 제한되는 것은 아니다. 본 발명의 예시적인 실시예의 다양한 측면들이 블록 다이어그램, 순서도, 또는 그외의 도시적 표현을 사용해서 도시 및 기술될 수 있지만, 본 명세서에 기술된 블록, 장치, 시스템, 기술 또는 방법이 비제한적인 예시로서 하드웨어, 소프트웨어, 펌웨어, 전용 회로 또는 로직, 범용 하드웨어 또는 컨트롤러 또는 그외의 컴퓨팅 디바이스, 또는 이들의 일부 조합에서 구현될 수 있다.
따라서 본 발명의 예시적인 실시예의 적어도 일부 측면이 집적 회로 칩 및 모듈과 같은 집적 회로 등의 다양한 구성요소에서 실시될 수 있으며, 본 발명의 예시적인 실시예가 적어도 하나의 집적 회로로서 구현되는 장치에서 구현될 수 있음을 이해해야 한다. 집적 회로 또는 회로들은, 프로그램 명령어를 저장하는 컴퓨터 판독가능한 메모리 매체뿐 아니라, 데이터 프로세서 또는 데이터 프로세서들, 디지털 신호 프로세서 또는 프로세서들, 기저대역 회로 및 본 발명의 예시적인 실시예에 따라 동작하도록 구성가능한 주파수 회로 중 적어도 하나 이상을 구현하기 위해 회로(가능하면 펌웨어)를 포함할 수 있다.
"접속된", "연결된", 또는 이들의 임의의 파생어가 둘 이상의 요소들 사이의 직접 또는 간접적인 임의의 접속 또는 연결을 의미하며, 함께 "접속" 또는 "연결"된 두 요소들 사이의 하나 이상의 중간 요소의 존재를 포함할 수 있다. 요소들 사이의 연결 또는 접속은 물리적, 논리적, 또는 이들의 조합일 수 있다. 본 명세서에서 사용된 바와 같이 두 요소는 비제한적인 예시로서 무선 주파수 영역, 마이크로파 영역 및 광학(가시적 및 비가시적) 영역 내의 파장을 갖는 전자기 에너지와 같은 전자기 에너지의 사용과, 하나 이상의 와이어, 케이블 및/또는 인쇄 전기 접속부의 사용에 의해 함께 "접속" 또는 "연결"되도록 고려될 수 있다.
또한, 기술된 파라미터(예컨대, motion_skip_enable, fwdbwd_flag, 등)에 사용되는 다양한 네임들은 어떠한 측면에서도 제한을 두고자 하는 것이 아니며, 이들 파라미터는 임의의 적절한 네임에 의해 식별될 수 있다. 또한, 이들 다양한 파라미터를 사용하는 임의의 공식 및/또는 표현이 본 명세서에 개시된 것과는 다르게 표현될 수 있다. 또한, 서로 다른 유닛과 모듈에 할당된 다양한 명칭들은 어떠한 측면에서도 제한을 두고자 하는 것이 아니며, 이들 다양한 유닛과 모듈들은 임의의 적절한 명칭에 의해 식별될 수 있다.
또한, 본 발명의 다양한 비제한적이고 예시적인 실시예의 일부 특성들이 상응하는 다른 특성들의 사용 없이 장점을 얻도록 사용될 수 있다. 이렇게, 전술된 설명은 본 발명을 제한하는 것이 아닌, 본 발명의 원리, 내용 및 예시적인 실시예에 대한 설명으로서 간주되어야 한다.

Claims (61)

  1. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 단계로서, 상기 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 상기 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 상기 인코딩 단계와,
    디스패리티 모션(disparity motion)을 나타내는 디스패리티 신호 표시를 포함하는 단계와,
    상기 디스패리티 모션에 따라 상기 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득(derivation) 방법을 이용하는 단계와,
    상기 제 2 입력 픽처를 인코딩하는 데에 상기 적어도 하나의 획득된 모션 벡터를 사용하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 디스패리티 모션은 8 픽셀 정확도(8-pel accuracy)를 갖는
    방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 포워드 예측(forward predicted), 백워드 예측(backward predicted) 및 양방향 예측(bi-predicted) 중 하나의 기준 상태(referencing status)가 변경되는
    방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 기준 인덱스(reference index)가 변경되는
    방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 기준 인덱스가 생성되는
    방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 모션 벡터가 변경되는
    방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 모션 벡터가 생성되는
    방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 디스패리티 신호 표시는 픽처, 슬라이스, 매크로블록 및 매크로블록 파티션 중 하나에 대해 상기 비트스트림 내에 포함되는
    방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터의 획득에 픽처가 사용되었는지 여부를 나타내는 표시가 상기 비트스트림 내에 포함되는
    방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    뷰(view)가 인터-뷰 샘플 예측(inter-view sample prediction)을 위한 임의의 다른 뷰를 사용하는지 여부를 나타내는 표시가 상기 비트스트림 내에 포함되는
    방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    단일 루프 디코딩이 뷰를 위해 지원되는지 여부를 나타내는 표시가 상기 비트스트림 내에 포함되는
    방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 획득된 모션 벡터와 원하는 모션 벡터 사이의 모션 벡터 차가 매크로블록과 매크로블록 파티션 중 하나에 시그널링되도록 상기 적어도 하나의 획득된 모션 벡터가 개선되는(refined)
    방법.
  13. 제 1 항에 있어서,
    상기 디스패리티 모션은 4 픽셀 정확도를 갖는
    방법.
  14. 제 1 항의 방법의 각 단계를 수행하도록 구성되는 컴퓨터 코드를 포함하는 컴퓨터 판독가능한 매체.
  15. 프로세서와,
    상기 프로세서에 통신상 접속된 메모리 유닛을 포함하되,
    상기 메모리 유닛은,
    제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하도록 구성되는 컴퓨터 코드로서, 상기 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 상기 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 상기 인코딩하도록 구성되는 컴퓨터 코드와,
    디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함하도록 구성되는 컴퓨터 코드와,
    상기 디스패리티 모션에 따라 상기 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하도록 구성되는 컴퓨터 코드와,
    상기 제 2 입력 픽처를 인코딩하는 데에 상기 적어도 하나의 획득된 모션 벡터를 사용하도록 구성되는 컴퓨터 코드
    를 포함하는
    장치.
  16. 제 15 항에 있어서,
    상기 디스패리티 모션은 8 픽셀 정확도를 갖는
    장치.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 포워드 예측, 백워드 예측 및 양방향 예측 중 하나의 기준 상태가 변경되는
    장치.
  18. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 기준 인덱스가 변경되는
    장치.
  19. 제 15 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 기준 인덱스가 생성되는
    장치.
  20. 제 15 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 모션 벡터가 변경되는
    장치.
  21. 제 15 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터를 획득하는 동안, 상기 제 1 입력 픽처 내의 적어도 하나의 블록의 모션 벡터가 생성되는
    장치.
  22. 제 15 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 디스패리티 신호 표시는 픽처, 슬라이스, 매크로블록 및 매크로블록 파티션 중 하나에 대해 상기 비트스트림 내에 포함되는
    장치.
  23. 제 15 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 모션 벡터의 획득에 픽처가 사용되었는지 여부를 나타내는 표시가 상기 비트스트림 내에 포함되는
    장치.
  24. 제 15 항 내지 제 23 항 중 어느 한 항에 있어서,
    뷰가 인터-뷰 샘플 예측을 위한 임의의 다른 뷰를 사용하는지 여부를 나타내는 표시가 상기 비트스트림 내에 포함되는
    장치.
  25. 제 15 항 내지 제 24 항 중 어느 한 항에 있어서,
    단일 루프 디코딩이 뷰를 위해 지원되는지 여부를 나타내는 표시가 상기 비트스트림 내에 포함되는
    장치.
  26. 제 15 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 획득된 모션 벡터와 원하는 모션 벡터 사이의 모션 벡터 차가 매크로블록과 매크로블록 파티션 중 하나에 시그널링되도록 상기 적어도 하나의 획득된 모션 벡터가 개선되는
    장치.
  27. 제 15 항에 있어서,
    상기 디스패리티 모션은 4 픽셀 정확도를 갖는
    장치.
  28. 제 15 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  29. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 수단으로서, 상기 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 상기 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 상기 인코딩 수단과,
    디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함시키는 수단과,
    상기 디스패리티 모션에 따라 상기 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하기 위한 수단과,
    상기 제 2 입력 픽처를 인코딩하는 데에 상기 적어도 하나의 획득된 모션 벡터를 사용하기 위한 수단을 포함하는
    장치.
  30. 제 29 항에 있어서,
    상기 디스패리티 모션은 8 픽셀 정확도를 갖는
    장치.
  31. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 단계와,
    모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되었는지 여부를 상기 제 1 입력 픽처 시퀀스의 슬라이스 헤더(slice header)에서 시그널링하는 단계를 포함하는
    방법.
  32. 제 31 항의 방법의 각 단계를 수행하도록 구성되는 컴퓨터 프로그램 명령어를 저장하는 컴퓨터 판독가능한 메모리 매체.
  33. 프로세서와,
    상기 프로세서에 통신상 접속되는 메모리 유닛을 포함하되,
    상기 메모리 유닛은,
    제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하도록 구성되는 컴퓨터 코드와,
    모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되었는지 여부를 상기 제 1 입력 픽처 시퀀스의 슬라이스 헤더에서 시그널링하도록 구성되는 컴퓨터 코드
    를 포함하는
    장치.
  34. 제 33 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  35. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 수단과,
    모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되었는지 여부를 상기 제 1 입력 픽처 시퀀스의 슬라이스 헤더에서 시그널링하는 수단을 포함하는
    장치.
  36. 제 35 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  37. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 단계와,
    모션 스킵(motion skip)을 위해 상기 제 2 입력 픽처 시퀀스의 픽처가 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용되는지 여부를 네트워크 추상화 계층(network abstraction layer) 유닛 헤더 내에서 시그널링하는 단계를 포함하는
    방법.
  38. 제 37 항의 방법의 각 단계를 수행하도록 구성되는 컴퓨터 프로그램 명령어를 저장하는 컴퓨터 판독가능한 메모리 매체.
  39. 프로세서와,
    상기 프로세서에 통신상 접속되는 메모리 유닛을 포함하되,
    상기 메모리 유닛은,
    제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하도록 구성되는 컴퓨터 코드와,
    모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스의 픽처가 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용되는지 여부를 네트워크 추상화 계층 유닛 헤더 내에서 시그널링하도록 구성되는 컴퓨터 코드
    를 포함하는
    장치.
  40. 제 39 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  41. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 수단과,
    모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스의 픽처가 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용되는지 여부를 네트워크 추상화 계층 유닛 헤더 내에서 시그널링하는 수단을 포함하는
    장치.
  42. 제 41 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  43. 비트스트림으로부터 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 수신하는 단계와,
    네트워크 추상화 계층 유닛 헤더에서, 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스의 픽처가 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용되는지 여부를 나타내는 신호를 수신하는 단계와,
    만약 상기 신호가 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스의 상기 픽처가 상기 제 1 입력 픽처 시퀀스 내의 상기 적어도 하나의 픽처에 의해 사용된다는 것을 나타내면, 상기 제 1 입력 픽처 시퀀스 내의 상기 적어도 하나의 픽처를 디코딩할 때 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스 내의 상기 픽처를 사용하는 단계를 포함하는
    방법.
  44. 제 43 항의 방법의 각 단계를 수행하도록 구성되는 컴퓨터 프로그램 명령어를 저장하는 컴퓨터 판독가능한 메모리 매체.
  45. 프로세서와,
    상기 프로세서에 통신상 접속되는 메모리 유닛을 포함하되,
    상기 메모리 유닛은,
    비트스트림으로부터 수신된 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 프로세싱하도록 구성되는 컴퓨터 코드와,
    네트워크 추상화 계층 유닛 헤더에서 수신된, 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스의 픽처가 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용되는지 여부를 나타내는 신호를 프로세싱하도록 구성되는 컴퓨터 코드와,
    만약 상기 신호가 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스의 상기 픽처가 상기 제 1 입력 픽처 시퀀스 내의 상기 적어도 하나의 픽처에 의해 사용된다는 것을 나타내면, 상기 제 1 입력 픽처 시퀀스 내의 상기 적어도 하나의 픽처를 디코딩할 때 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스 내의 상기 픽처를 사용하도록 구성되는 컴퓨터 코드
    를 포함하는
    장치.
  46. 제 45 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  47. 비트스트림으로부터 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 수신하는 수단과,
    네트워크 추상화 계층 유닛 헤더에서, 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스의 픽처가 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처에 의해 사용되는지 여부를 나타내는 신호를 수신하는 수단과,
    만약 상기 신호가 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스의 상기 픽처가 상기 제 1 입력 픽처 시퀀스 내의 상기 적어도 하나의 픽처에 의해 사용된다는 것을 나타내면, 상기 제 1 입력 픽처 시퀀스 내의 상기 적어도 하나의 픽처를 디코딩할 때 모션 스킵을 위해 상기 제 2 입력 픽처 시퀀스 내의 상기 픽처를 사용하는 수단을 포함하는
    장치.
  48. 제 47 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  49. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 수신하는 단계로서, 상기 제 1 입력 픽처 시퀀스의 슬라이스 헤더는 모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되는지 여부와 관련된 신호를 포함하는, 상기 수신 단계와,
    만약 상기 제 1 입력 픽처 시퀀스의 상기 슬라이스 헤더 내의 상기 신호가 상기 모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되었다고 나타내면, 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처를 디코딩하기 위해 상기 제 2 입력 픽처 시퀀스로부터 획득된 모션을 사용하는 단계를 포함하는
    방법.
  50. 제 49 항의 방법의 각 단계를 수행하도록 구성되는 컴퓨터 프로그램 명령어를 저장하는 컴퓨터 판독가능한 메모리 매체.
  51. 프로세서와,
    상기 프로세서에 통신상 접속되는 메모리 유닛을 포함하되,
    상기 메모리 유닛은,
    수신된 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 프로세싱하도록 구성되는 컴퓨터 코드로서, 상기 제 1 입력 픽처 시퀀스의 슬라이스 헤더는 모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되는지 여부와 관련된 신호를 포함하는, 상기 컴퓨터 코드와,
    만약 상기 제 1 입력 픽처 시퀀스의 상기 슬라이스 헤더 내의 상기 신호가 상기 모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되었다고 나타내면, 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처를 디코딩하기 위해 상기 제 2 입력 픽처 시퀀스로부터 획득된 모션을 사용하도록 구성되는 컴퓨터 코드
    를 포함하는
    장치.
  52. 제 51 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  53. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 수신하는 수단으로서, 상기 제 1 입력 픽처 시퀀스의 슬라이스 헤더는 모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되는지 여부와 관련된 신호를 포함하는, 상기 수신 수단과,
    만약 상기 제 1 입력 픽처 시퀀스의 상기 슬라이스 헤더 내의 상기 신호가 상기 모션이 상기 제 2 입력 픽처 시퀀스 내의 픽처로부터 획득되어 생성되었다고 나타내면, 상기 제 1 입력 픽처 시퀀스 내의 적어도 하나의 픽처를 디코딩하기 위해 상기 제 2 입력 픽처 시퀀스로부터 획득된 모션을 사용하는 수단을 포함하는
    장치.
  54. 제 53 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
  55. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 단계로서, 상기 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 상기 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 상기 인코딩 단계와,
    매크로블록 디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함하는 단계와,
    상기 디스패리티 모션에 따라 상기 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하는 단계와,
    모션 보상을 위해 상기 적어도 하나의 획득된 모션 벡터를 사용하는 단계를 포함하는
    방법.
  56. 제 55 항에 있어서,
    상기 비트스트림 내의 적어도 하나의 표시를 포함하는 단계를 더 포함하되,
    상기 적어도 하나의 표시는, 픽처가 상기 적어도 하나의 모션 벡터의 획득에 사용되는지의 여부, 뷰가 인터-뷰 샘플 예측을 위해 임의의 다른 뷰를 사용하는지의 여부 및 단일 루프 디코딩이 뷰를 위해 지원되는지 여부 중 적어도 하나를 나타내는
    방법.
  57. 제 55 항의 방법의 각 단계를 수행하도록 구성되는 컴퓨터 프로그램 명령어를 저장하는 컴퓨터 판독가능한 메모리 매체.
  58. 컴퓨터 프로그램 명령어를 저장하는 컴퓨터 판독가능한 메모리 매체로서,
    상기 컴퓨터 프로그램 명령어를 실행하면,
    제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 단계로서, 상기 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 상기 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 상기 인코딩 단계와,
    매크로블록 디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함하는 단계와,
    상기 디스패리티 모션에 따라 상기 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하는 단계로서, 상기 적어도 하나의 획득된 모션 벡터가 모션 보상에 사용되는, 상기 모션 획득 방법 이용 단계
    를 포함하는 동작을 수행하는
    컴퓨터 판독가능한 메모리 매체.
  59. 제 58 항에 있어서,
    적어도 하나의 표시가 상기 비트스트림 내에 포함되고,
    상기 적어도 하나의 표시는, 픽처가 상기 적어도 하나의 모션 벡터의 획득에 사용되는지의 여부, 뷰가 인터-뷰 샘플 예측을 위해 임의의 다른 뷰를 사용하는지의 여부 및 단일 루프 디코딩이 뷰를 위해 지원되는지 여부 중 적어도 하나를 나타내는
    컴퓨터 판독가능한 메모리 매체.
  60. 제 1 입력 픽처 시퀀스 및 제 2 입력 픽처 시퀀스를 비트스트림으로 인코딩하는 수단으로서, 상기 제 1 입력 픽처 시퀀스의 제 1 입력 픽처는 출력용일 수 있거나 출력용이 아닐 수 있고, 상기 제 2 입력 픽처 시퀀스의 제 2 입력 픽처는 출력용인, 상기 인코딩 수단과,
    매크로블록 디스패리티 모션을 나타내는 디스패리티 신호 표시를 포함시키는 수단과,
    상기 디스패리티 모션에 따라 상기 제 1 입력 픽처로부터 적어도 하나의 모션 벡터를 획득하는 모션 획득 방법을 이용하기 위한 수단으로서, 상기 적어도 하나의 획득된 모션 벡터가 모션 보상에 사용되는, 상기 모션 획득 방법을 이용하기 위한 수단과,
    상기 비트스트림 내에 적어도 하나의 추가 표시를 포함하기 위한 수단을 포함하되,
    상기 적어도 하나의 추가 표시는, 픽처가 상기 적어도 하나의 모션 벡터의 획득에 사용되는지의 여부, 뷰가 인터-뷰 샘플 예측을 위해 임의의 다른 뷰를 사용하는지의 여부 및 단일 루프 디코딩이 뷰를 위해 지원되는지 여부 중 적어도 하나를 나타내는
    장치.
  61. 제 60 항에 있어서,
    적어도 부분적으로 적어도 하나의 집적 회로로서 구현되는
    장치.
KR1020107010716A 2007-10-15 2008-10-15 입력 픽처 인코딩 방법, 입력 픽처 인코딩 장치 및 컴퓨터 판독가능한 메모리 매체 KR20100074280A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US98016107P 2007-10-15 2007-10-15
US60/980,161 2007-10-15

Publications (1)

Publication Number Publication Date
KR20100074280A true KR20100074280A (ko) 2010-07-01

Family

ID=40512417

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107010716A KR20100074280A (ko) 2007-10-15 2008-10-15 입력 픽처 인코딩 방법, 입력 픽처 인코딩 장치 및 컴퓨터 판독가능한 메모리 매체

Country Status (9)

Country Link
US (1) US20090116558A1 (ko)
EP (1) EP2215844A2 (ko)
JP (1) JP2011501497A (ko)
KR (1) KR20100074280A (ko)
CN (1) CN101999228A (ko)
AU (1) AU2008313328A1 (ko)
CA (1) CA2701877A1 (ko)
RU (1) RU2010120518A (ko)
WO (1) WO2009050658A2 (ko)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100966567B1 (ko) 2006-03-30 2010-06-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
WO2007148909A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
TWI375469B (en) * 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US20090180546A1 (en) 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8416859B2 (en) * 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
US8553781B2 (en) * 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
US8718388B2 (en) * 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8761266B2 (en) * 2008-11-12 2014-06-24 Cisco Technology, Inc. Processing latticed and non-latticed pictures of a video program
WO2010086545A1 (fr) * 2009-01-28 2010-08-05 France Telecom Procedes de codage et de decodage d'une sequence d'image mettant en oeuvre une compensation en mouvement, dispositifs de codage et de decodage, signal et programmes d'ordinateur correspondants
US8326131B2 (en) * 2009-02-20 2012-12-04 Cisco Technology, Inc. Signalling of decodable sub-sequences
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
US8949883B2 (en) * 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US9723319B1 (en) * 2009-06-01 2017-08-01 Sony Interactive Entertainment America Llc Differentiation for achieving buffered decoding and bufferless decoding
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8279926B2 (en) * 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
WO2011037933A1 (en) * 2009-09-22 2011-03-31 Panasonic Corporation Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
WO2011122659A1 (ja) * 2010-03-30 2011-10-06 シャープ株式会社 符号化装置および復号装置
US9369736B2 (en) 2010-04-05 2016-06-14 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
WO2011128259A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
WO2012005520A2 (en) * 2010-07-09 2012-01-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
CA2771433C (en) 2010-08-09 2016-01-12 Panasonic Corporation Coding and decoding of stereoscopic images with base and enhancement layers
US8965139B2 (en) 2010-09-29 2015-02-24 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
US20130156099A1 (en) 2010-09-30 2013-06-20 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US10778969B2 (en) * 2010-12-17 2020-09-15 Sun Patent Trust Image coding method and image decoding method
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US8934552B2 (en) 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
WO2012172634A1 (ja) * 2011-06-13 2012-12-20 株式会社東芝 画像符号化装置、画像復号化装置、方法およびプログラム
WO2013001749A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US11647197B2 (en) 2011-06-30 2023-05-09 Velos Media, Llc Context initialization based on slice header flag and slice type
US9060173B2 (en) * 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
GB2559226B (en) * 2011-09-09 2018-11-28 Kt Corp Method for deriving a temporal predictive motion vector
JP5979848B2 (ja) * 2011-11-08 2016-08-31 キヤノン株式会社 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
ES2898887T3 (es) 2011-11-08 2022-03-09 Nokia Technologies Oy Manejo de imágenes de referencia
US20130163880A1 (en) * 2011-12-23 2013-06-27 Chao-Chung Cheng Disparity search methods and apparatuses for multi-view videos
PL3016391T3 (pl) * 2012-01-17 2017-09-29 Telefonaktiebolaget Lm Ericsson (Publ) Obsługa listy obrazów referencyjnych
US9591331B2 (en) * 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US10721487B2 (en) * 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
US9549180B2 (en) * 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
WO2014005280A1 (en) * 2012-07-03 2014-01-09 Mediatek Singapore Pte. Ltd. Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
KR102238567B1 (ko) 2012-09-19 2021-04-08 퀄컴 인코포레이티드 디스패리티 벡터 유도를 위한 화상들의 선택
KR102072832B1 (ko) * 2012-09-26 2020-02-03 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
US9247256B2 (en) * 2012-12-19 2016-01-26 Intel Corporation Prediction method using skip check module
WO2014106346A1 (en) * 2013-01-07 2014-07-10 Mediatek Singapore Pte. Ltd. Method of signalling additional collocated picture for 3dvc
US9762905B2 (en) * 2013-03-22 2017-09-12 Qualcomm Incorporated Disparity vector refinement in video coding
US9674533B2 (en) * 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US9596486B2 (en) 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
EP3247114A4 (en) * 2015-01-21 2018-01-17 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
MX2018006642A (es) * 2015-12-14 2018-08-01 Panasonic Ip Corp America Metodo de codificacion de datos tridimencionales, metodos de decodificacion de datos tridimensionales, dispositivo de codificacion de datos tridimensionales y dispositivo de decodificacion de datos tridimensionales.
WO2020017423A1 (en) 2018-07-17 2020-01-23 Panasonic Intellectual Property Corporation Of America Motion vector prediction for video coding
CN110868591A (zh) 2018-08-28 2020-03-06 北京字节跳动网络技术有限公司 用扩展四叉树进行分割时的上下文编码
CN113396586A (zh) * 2019-02-11 2021-09-14 北京字节跳动网络技术有限公司 条件依赖的视频块分割
WO2020177663A1 (en) 2019-03-02 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Restrictions on partition structures
KR102647470B1 (ko) 2019-04-15 2024-03-14 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비선형 적응형 루프 필터링에서 파라미터의 시간적 예측
CN117499679A (zh) 2019-04-16 2024-02-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
CN115567707A (zh) 2019-05-30 2023-01-03 抖音视界有限公司 色度分量的自适应环路滤波

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4567733B2 (ja) * 2004-07-20 2010-10-20 クゥアルコム・インコーポレイテッド 動きベクトル処理のための方法及び装置
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
WO2009005626A2 (en) * 2007-06-28 2009-01-08 Thomson Licensing Single loop decoding of multi-vieuw coded video
US8964844B2 (en) * 2007-08-15 2015-02-24 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors

Also Published As

Publication number Publication date
WO2009050658A2 (en) 2009-04-23
WO2009050658A3 (en) 2009-10-29
EP2215844A2 (en) 2010-08-11
AU2008313328A1 (en) 2009-04-23
JP2011501497A (ja) 2011-01-06
CA2701877A1 (en) 2009-04-23
US20090116558A1 (en) 2009-05-07
RU2010120518A (ru) 2011-11-27
CN101999228A (zh) 2011-03-30

Similar Documents

Publication Publication Date Title
KR20100074280A (ko) 입력 픽처 인코딩 방법, 입력 픽처 인코딩 장치 및 컴퓨터 판독가능한 메모리 매체
US10715779B2 (en) Sharing of motion vector in 3D video coding
EP2839660B1 (en) An apparatus, a method and a computer program for video coding and decoding
EP3047649B1 (en) Combined bi-predictive merging candidates for 3d video coding
TWI538482B (zh) 於可擴展及多視角視訊寫碼之進階殘差預測
TWI539796B (zh) 視差向量推導
TWI526027B (zh) 視訊寫碼中之運動向量預測
KR101669524B1 (ko) 비디오 코딩을 위한 방법 및 장치
JP6434012B2 (ja) ３ｄ−ｈｅｖｃのための簡素化された高度動き予測
JP5992640B2 (ja) ビデオコード化における参照ピクチャリストのためのビュー間予測の無効化
JP6407961B2 (ja) ビデオコーディングにおける視差ベクトルリファインメント
JP2015515228A (ja) マルチビューコード化及び３ｄコード化におけるビュー依存性
EP2944086A1 (en) View synthesis in 3d video
WO2014100597A1 (en) Disparity vector derivation in three-dimensional video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application