KR100934676B1 - 다시점 비디오의 처리 - Google Patents

다시점 비디오의 처리 Download PDF

Info

Publication number
KR100934676B1
KR100934676B1 KR1020097017208A KR20097017208A KR100934676B1 KR 100934676 B1 KR100934676 B1 KR 100934676B1 KR 1020097017208 A KR1020097017208 A KR 1020097017208A KR 20097017208 A KR20097017208 A KR 20097017208A KR 100934676 B1 KR100934676 B1 KR 100934676B1
Authority
KR
South Korea
Prior art keywords
view
prediction
inter
information
viewpoint
Prior art date
Application number
KR1020097017208A
Other languages
English (en)
Other versions
KR20090099589A (ko
Inventor
양정휴
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060037773A external-priority patent/KR20070076356A/ko
Priority claimed from KR1020060110337A external-priority patent/KR20070076391A/ko
Priority claimed from KR1020060110338A external-priority patent/KR20070076392A/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20090099589A publication Critical patent/KR20090099589A/ko
Application granted granted Critical
Publication of KR100934676B1 publication Critical patent/KR100934676B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/455—Demodulation-circuits

Abstract

본 발명은, 다시점 비디오 데이터 스트림의 시퀀스 영역으로부터 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 획득하는 단계, 여기서 상기 시점간 예측 구조 정보는 개수 정보와 시점 식별 정보를 포함하고, 상기 개수 정보는 다시점 비디오 데이터 내에 있는 시점들의 전체 개수를 나타내고, 상기 시점 식별 정보는 상기 다시점 비디오 데이터 내에 있는 참조 시점의 각 시점 식별자를 나타내며, 상기 랜덤 액세스 픽쳐 내의 모든 슬라이스들은 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조함; 상기 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 이용하여 현재 슬라이스의 시점간 예측을 위한 참조 픽쳐 리스트를 결정하는 단계; 상기 결정된 시점간 예측을 위한 참조 픽쳐 리스트에 기초하여 상기 현재 슬라이스 내에 있는 매크로블록의 예측값을 결정하는 단계; 및 상기 예측값을 이용하여 상기 현재 슬라이스 내에 있는 상기 매크로블록을 디코딩하는 단계를 포함하되, 상기 다시점 비디오 데이터는 기준 시점과 보조 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 보조 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 다시점 비디오 데이터의 디코딩 방법을 제공한다.
비디오, 다시점, 프로파일, 앵커 픽쳐

Description

다시점 비디오의 처리{PROCESSING MULTIVIEW VIDEO}
본 발명은 다시점 비디오의 처리에 관한 것이다.
MVC(Multiview Video Coding)에서는 여러 대의 카메라에서 취득된 비디오 영상(예를 들어, 일련의 이미지들 또는 픽쳐들)에 대한 압축 표준을 다룬다. 상기 비디오 영상 또는 시점들은 MPEG과 같은 표준에 따라 코딩될 수 있다. 비디오 영상 내의 픽쳐는 완전한 비디오 프레임 또는 비디오 프레임의 필드를 나타낼 수 있다. 슬라이스는 상기 픽쳐 내의 일부 또는 모든 매크로블록들을 포함하는 픽쳐의 독립적으로 코딩된 부분일 수 있다. 그리고, 매크로블록은 픽쳐 요소들(또는 픽셀들)로 구성된 블록들을 포함할 수 있다.
상기 비디오 영상들은 H.264/AVC 코덱 기술에 따라 다시점 비디오 영상으로 코딩될 수 있다. 그리고, 많은 연구원들이 다시점 비디오 영상들을 제공하기 위해 표준의 추가 기술로 연구를 수행하고 있다.
현재 H.264에는 특정한 기능을 지원하는 세 개의 프로파일이 정의되어 있는데, 프로파일(Profile)이란 비디오 부호화/복호화 과정에서 알고리즘상 들어가는 기술적 구성요소를 규격화한 것을 의미한다. 즉, 압축된 영상의 비트열을 복호하기 위해 필요한 기술요소의 집합으로서 일종의 서브 규격이라 할 수 있다. 상기 세 개의 프로파일은 베이스라인 프로파일(Baseline Profile), 메인 프로파일(Main Profile), 확장 프로파일(Extended Profile)을 말한다. 디코더가 각각의 프로파일과 호환되기 위해서, 인코더와 디코더에 요구되는 다양한 사항들이 H.264 표준에서 정의되어 있다.
H.264/AVC 에서의 비트열의 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.
NAL 단위는 NAL헤더와 RBSP를 포함한다. 상기 NAL 헤더는 플래그 정보(예를 들어, nal_ref_idc)와 식별(ID) 정보(예를 들어, nal_unit_type)를 포함할 수 있다. 상기 플래그 정보는 상기 NAL 단위의 참조 픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내고, 상기 식별 정보는 NAL 단위의 종류를 나타낸다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다.
이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다.
이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식별 정보(profile_idc)로 식별할 수 있다. 프로파일 식별 정보란, 비트스트림에 관련된 프로파일을 나타내는 플래그를 의미한다. H.264/AVC 표준은 3가지 프로파일 식별정보를 포함할 수 있다. 예를 들어, 상기 프로파일 식별 정보가 66 이면 상기 비트스트림은 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 상기 프로파일 식별 정보는 시퀀스 파라미터 세트에 포함될 수 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
블록 간 또는 시점 간의 상관관계를 이용하여 비디오 신호의 코딩 효율을 높이고자 한다.
픽쳐의 시점을 식별할 수 있는 시점 정보를 정의함으로써 비디오 신호를 효율적으로 코딩하고자 한다.
시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 한다.
인터뷰 픽쳐 그룹 식별 정보를 규격화된 방식으로 추가함으로써 비디오 신호의 랜덤 액세스를 효율적으로 수행하고자 한다.
인터뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹을 정의함으로써 랜덤 액세스 및 시점간 예측을 보다 효율적으로 수행하고자 한다.
인터뷰 픽쳐 그룹 식별 정보를 이용함으로써 시점간 예측을 보다 효율적으로 수행하고자 한다.
인터뷰 픽쳐 그룹 식별 정보를 이용함으로써 시점간 예측을 위한 참조 픽쳐들을 보다 효율적으로 관리하고자 한다.
본 발명은, 다시점 비디오 데이터 스트림의 시퀀스 영역으로부터 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 획득하는 단계, 여기서 상기 시점간 예측 구조 정보는 개수 정보와 시점 식별 정보를 포함하고, 상기 개수 정보는 다시점 비디오 데이터 내에 있는 시점들의 전체 개수를 나타내고, 상기 시점 식별 정보는 상기 다시점 비디오 데이터 내에 있는 참조 시점의 각 시점 식별자를 나타내며, 상기 랜덤 액세스 픽쳐 내의 모든 슬라이스들은 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조함; 상기 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 이용하여 현재 슬라이스의 시점간 예측을 위한 참조 픽쳐 리스트를 결정하는 단계; 상기 결정된 시점간 예측을 위한 참조 픽쳐 리스트에 기초하여 상기 현재 슬라이스 내에 있는 매크로블록의 예측값을 결정하는 단계; 및 상기 예측값을 이용하여 상기 현재 슬라이스 내에 있는 상기 매크로블록을 디코딩하는 단계를 포함하되, 상기 다시점 비디오 데이터는 기준 시점과 보조 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 보조 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 다시점 비디오 데이터의 디코딩 방법을 제공한다.
또한, 본 발명은, 다시점 비디오 데이터 스트림의 시퀀스 영역으로부터 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 획득하는 NAL 파싱부, 여기서 상기 시점간 예측 구조 정보는 개수 정보와 시점 식별 정보를 포함하고, 상기 개수 정보는 다시점 비디오 데이터 내에 있는 시점들의 전체 개수를 나타내고, 상기 시점 식별 정보는 상기 다시점 비디오 데이터 내에 있는 참조 시점의 각 시점 식별자를 나타내며, 상기 랜덤 액세스 픽쳐 내의 모든 슬라이스들은 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조함; 상기 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 이용 하여 현재 슬라이스의 시점간 예측을 위한 참조 픽쳐 리스트를 결정하는 복호 픽쳐 버퍼부; 및 상기 결정된 시점간 예측을 위한 참조 픽쳐 리스트에 기초하여 상기 현재 슬라이스 내에 있는 매크로블록의 예측값을 결정하고, 상기 예측값을 이용하여 상기 현재 슬라이스 내에 있는 상기 매크로블록을 디코딩하는 인터 예측부를 포함하되, 상기 다시점 비디오 데이터는 기준 시점과 보조 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 보조 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 다시점 비디오 데이터의 디코딩 장치를 제공한다.
또한, 본 발명에서, 상기 랜덤 액세스 픽쳐의 상기 시점간 예측 구조 정보는 예측 방향을 고려하여 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 예측 방향은 픽쳐 출력 순서의 순방향 또는 역방향을 나타내는 것을 특징으로 한다.
또한, 본 발명에서, 상기 보조 시점은 상기 기준 시점을 참조하여 디코딩되는 것을 특징으로 한다.
본 발명은, 제 1 프로파일 및 적어도 하나의 다시점 비디오 신호에 대한 프로파일에 따라 인코딩된 비디오 신호와, 상기 제 1 프로파일을 식별하는 프로파일 정보를, 포함하는 비트스트림을 수신하는 단계와, 상기 비트스트림으로부터 상기 프로파일 정보를 추출하는 단계와, 상기 프로파일 정보에 따라 상기 비디오 신호를 디코딩하는 단계를 포함하되, 상기 제 1 프로파일은 단일 시점 비디오 신호들에 대한 다수개의 프로파일들로부터 선택된 것을 특징으로 하는 비디오 신호 디코딩 방 법을 제공한다.
또한, 본 발명은 다음과 같은 특징들 중 하나 이상을 포함할 수 있다.
본 발명은, 상기 프로파일 정보가 다시점 비디오 신호에 대응되는 경우, 다수개의 시점들과 관련된 속성 정보를 상기 비트스트림으로부터 추출하는 단계를 더 포함하되, 상기 속성 정보는, 각 시점들 사이의 의존 관계를 나타내는 시점간 의존 정보, 참조 시점을 나타내는 시점 식별 정보, 시점들의 개수를 나타내는 시점 개수 정보, 시점 스케일러빌러티를 제공하는 시점 레벨 정보 및 카메라 배열을 나타내는 시점 배열 정보 중 적어도 하나를 포함하는 것을 특징으로 한다. 예를 들어, 상기 프로파일 정보가 다시점 비디오 신호에 대응되는 것으로 결정될 때, 상기 속성 정보는 추출될 수 있다.
본 발명에서, 상기 프로파일 정보는 상기 비트스트림의 헤더에 위치하는 것을 특징으로 한다.
본 발명에서, 상기 시점간 의존 정보는 2차원 데이터 구조에서의 의존 관계를 나타내는 것을 특징으로 한다.
본 발명에서, 상기 2차원 데이터 구조는 매트릭스로 이루어지는 것을 특징으로 한다.
본 발명에서, 상기 시점 레벨 정보는 상기 다시점 비디오 신호의 시점들 간의 계층적 시점 예측 구조에 따라 시점들에 할당된 복수개의 레벨들에 대응되는 것을 특징으로 한다.
본 발명에서, 주어진 시점에 있는 픽쳐의 다수개의 부분들은 대응되는 레벨 을 나타내는 각각의 식별자와 관련있는 것을 특징으로 한다.
본 발명에서, 상기 다수개의 부분들은 상기 픽쳐의 독립된 슬라이스들에 대응되는 것을 특징으로 한다.
본 발명에서, 각 슬라이스는 전체 픽쳐(full picture)에 대응되는 것을 특징으로 한다.
본 발명에서, 주어진 레벨에 할당된 시점의 픽쳐들은 상기 주어진 레벨보다 더 낮은 레벨로 할당된 시점의 픽쳐들로부터 예측되는 것을 특징으로 한다.
본 발명에서, 가장 낮은 레벨로 할당된 단일 시점의 픽쳐들은 다른 레벨의 픽쳐들로부터 예측되지 않는 것을 특징으로 한다.
본 발명에서, 상기 계층적 시점 예측 구조는 하나의 기준 시점과 다수개의 보조 시점들을 포함하고, 제 1 레벨 시점에 있는 픽쳐들은 상기 기준 시점에 있는 픽쳐들에 기초하여 예측되고, 상기 제 1 레벨 시점보다 상위 레벨 시점에 있는 픽쳐들은 상기 상위 레벨에 있는 시점들의 레벨보다 더 낮은 레벨에 있는 시점들에 기초하여 예측되는 것을 특징으로 한다.
또한, 본 발명은, 각 시점들 간의 의존 관계에 따라 인코딩된 다시점 비디오 신호와, 2차원 데이터 구조의 의존 관계를 나타내는 시점간 의존 정보를 포함하는 비트스트림을 수신하는 단계와, 상기 2차원 데이터 구조를 추출하고, 상기 추출된 데이터 구조로부터 의존 관계를 결정하는 단계 및 상기 결정된 의존관계에 따라 상기 다시점 비디오 신호를 디코딩하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 신호 디코딩 방법을 제공한다.
본 발명은 다음과 같은 특징들 중 하나 이상을 포함할 수 있다.
본 발명에서, 상기 2차원 데이터 구조는 매트릭스로 이루어지는 것을 특징으로 한다.
본 발명에서, 상기 비트스트림으로부터 속성 정보를 추출하는 단계를 더 포함하되, 상기 속성 정보는, 참조 시점을 나타내는 시점 식별 정보, 시점들의 개수를 나타내는 시점 개수 정보, 시점 스케일러빌러티를 제공하는 시점 레벨 정보 및 카메라 배열을 나타내는 시점 배열 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 시점 레벨 정보는 상기 다시점 비디오 신호의 시점들 간의 계층적 시점 예측 구조에 따라 시점들에 할당된 복수개의 레벨들에 대응되는 것을 특징으로 한다.
본 발명에서, 주어진 시점에 있는 픽쳐의 다수개의 부분들은 대응되는 레벨을 나타내는 각각의 식별자와 관련있는 것을 특징으로 한다.
본 발명에서, 상기 다수개의 부분들은 상기 픽쳐의 독립된 슬라이스들에 대응되는 것을 특징으로 한다.
본 발명에서, 각 슬라이스는 전체 픽쳐(full picture)에 대응되는 것을 특징으로 한다.
본 발명에서, 주어진 레벨에 할당된 시점의 픽쳐들은 상기 주어진 레벨보다 더 낮은 레벨로 할당된 시점의 픽쳐들로부터 예측되는 것을 특징으로 한다.
본 발명에서, 가장 낮은 레벨로 할당된 단일 시점의 픽쳐들은 다른 레벨의 픽쳐들로부터 예측되지 않는 것을 특징으로 한다.
본 발명에서, 상기 계층적 시점 예측 구조는 하나의 기준 시점과 다수개의 보조 시점들을 포함하고, 제 1 레벨 시점에 있는 픽쳐들은 상기 기준 시점에 있는 픽쳐들에 기초하여 예측되고, 상기 제 1 레벨 시점보다 상위 레벨 시점에 있는 픽쳐들은 상기 상위 레벨에 있는 시점들의 레벨보다 더 낮은 레벨에 있는 시점들에 기초하여 예측되는 것을 특징으로 한다.
또한, 본 발명은, 각각의 디코딩 방법에 대하여, 상기 각각의 디코딩 방법에 의해 상기 비디오 신호가 디코딩될 수 있는 비트스트림을 생성하는 것을 특징으로 하는 비디오 신호 인코딩 방법을 제공한다. 예를 들어, 본 발명은, 제 1 프로파일 및 적어도 하나의 다시점 비디오 신호에 대한 프로파일에 따라 비트스트림을 생성하고, 상기 제 1 프로파일을 식별하는 프로파일 정보를 생성하는 단계를 포함하되, 상기 제 1 프로파일은 단일 시점 비디오 신호들에 대한 다수개의 프로파일들로부터 선택된 것을 특징으로 하는 비디오 신호 인코딩 방법을 제공한다. 또한, 본 발명은, 각 시점들 간의 의존 관계에 따라 비트스트림을 생성하고, 2차원 데이터 구조의 의존 관계를 나타내는 시점간 의존 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 인코딩 방법을 제공한다.
또한, 각각의 디코딩 방법에 대하여, 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램은, 상기 각각의 디코딩 방법을 수행하도록 컴퓨터에 지시하는 것을 특징으로 한다.
또한, 각각의 디코딩 방법에 대하여, 장치로 판독가능한 정보 운송체에 포함 된 이미지 데이터는 상기 각각의 디코딩 방법에 의해 비디오 신호로 디코딩될 수 있다.
또한, 각각의 디코딩 방법에 대하여, 디코더는 상기 각각의 디코딩 방법을 수행하기 위한 수단을 포함하는 것을 특징으로 한다.
또한, 각각의 디코딩 방법에 대하여, 인코더는 상기 각각의 디코딩 방법에 의해 비디오 신호로 디코딩될 수 있도록 비트스트림을 생성하는 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명은, 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성하되, 상기 다시점의 갯수(m)가
Figure 112009050346720-pat00001
< m <=
Figure 112009050346720-pat00002
인 경우, 상기 비트스트림은, 하나의 기준시점 비트스트림과 n개의 계층적 보조시점 비트스트림을 포함하는 것을 특징으로 하는 다시점 영상 인코딩 방법을 제공한다.
또한, 본 발명은, 2차원 배열된 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성하되, 상기 다시점의 갯수(가로축=m, 세로축=p)가
Figure 112009050346720-pat00003
< m <=
Figure 112009050346720-pat00004
,
Figure 112009050346720-pat00005
< p <=
Figure 112009050346720-pat00006
인 경우, 상기 비트스트림은, 하나의 기준시점 비트스트림과 (n+k)개의 계층적 보조시점 비트스트림을 포함하는 것을 특징으로 하는 다시점 영상 인코딩 방법을 제공한다.
또한, 본 발명은, 다시점으로부터 취득된 영상을 부호화한 비트스트림을 수신하되, 상기 비트스트림은 상기 다시점의 갯수(m)가
Figure 112009050346720-pat00007
< m <=
Figure 112009050346720-pat00008
인 경우, 하나의 기준시점 비트스트림과 n개의 계층적 보조시점 비트스트림으로 포함하고, 상기 수신된 비트스트림으로 부터 선택적으로 기준시점 및/또는 n개의 계층적 보조시점 비트스트림을 복호화는 것을 특징으로 하는 다시점 영상 디코딩 방법을 제공한다.
또한, 본 발명은, 2차원 배열된 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 수신하되, 상기 비트스트림은 상기 다시점의 갯수(가로축=m, 세로축=p)가
Figure 112009050346720-pat00009
< m <=
Figure 112009050346720-pat00010
,
Figure 112009050346720-pat00011
< p <=
Figure 112009050346720-pat00012
인 경우, 하나의 기준시점 비트스트림과 (n+k)개의 계층적 보조시점 비트스트림으로 포함하고, 상기 수신된 비트스트림으로 부터 선택적으로 기준시점 및/또는 (n+k)개의 계층적 보조시점 비트스트림을 복호화는 것을 특징으로 하는 다시점 영상 디코딩 방법을 제공한다.
또한, 본 발명은, m개의 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성하되, 상기 비트스트림은, 하나의 기준시점 비트스트림과 적어도 하나 이상의 보조시점 비트스트림을 포함하고, 상기 다시점의 양끝단을 제1 시점으로 설정하고, 상기 다시점 중 중앙에 위치한 시점을 제2 시점으로 설정하고, 상기 제2 시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 위치한 시점을 제3 시점으로 설정하고, 상기 제1 시점 ~ 제3 시점에 해당하지 않는 나머지 시점을 제4 시점으로 설정하되, 상기 제1 시점 내지 제3 시점 중 어느 하나의 시점을 독립적인 부호화를 수행하는 기준시점으로 결정하고, 기준시점을 제외한 나머지 시점들은 예측 부호화를 수행하는 보조시점으로 결정하는 것을 특징으로 하는 다시점 영상 인코딩 방법을 제공한다.
또한, 본 발명은, m개의 다시점으로부터 취득된 영상을 부호화하여 비트스트 림을 생성하되, 상기 비트스트림은, 하나의 기준시점 비트스트림과 적어도 하나 이상의 보조시점 비트스트림을 포함하고, 상기 기준시점의 위치는 다시점 중 중앙에 위치한 시점으로 설정하고, 제2 보조시점의 위치는 다시점의 양끝단 시점으로 설정하고, 제1 보조시점의 위치는 상기 기준시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 설정하는 것을 특징으로 하는 다시점 영상 인코딩 방법을 제공한다.
또한, 본 발명은, m개의 다시점으로부터 취득된 영상을 부호화한 비트스트림을 수신하되, 상기 비트스트림은 하나의 기준시점 비트스트림과 적어도 하나 이상의 보조시점 비트스트림을 포함하고, 상기 수신된 비트스트림으로부터, 기준시점 영상은 다시점중 중앙에 위치한 시점을 독립적으로 복호화하여 복원하고, 제1 보조시점 영상은, 상기 기준시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 위치한 시점(들)을 상기 기준시점 영상을 이용하여 복원하고, 제2 보조시점 영상은 다시점의 양끝단 시점을 상기 기준시점 영상을 이용하여 복원하는 것을 특징으로 하는 다시점 영상 디코딩 방법을 제공한다.
또한, 본 발명은, m개의 다시점으로부터 취득된 영상을 부호화한 비트스트림을 수신하되, 상기 비트스트림은 하나의 기준시점 비트스트림과 적어도 하나 이상의 보조시점 비트스트림을 포함하고, 상기 수신된 비트스트림으로부터, 기준시점 위치정보를 독출하여, 상기 기준시점 및 보조시점의 위치를 확인한 후, 상기 기준시점 영상과 보조시점 영상을 복원하되, 상기 기준시점 위치정보는, 상기 다시점의 양끝단으로 하는 제1 시점, 상기 다시점중 중앙에 위치한 제2 시점 및 상기 제2 시 점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 위치한 제3 시점중 어느 하나를 지정하는 정보인 것을 특징으로 하는 다시점 영상 디코딩 방법을 제공한다.
또한, 본 발명은, 비트스트림이 생성되는 경우 몇 개의 프로파일들 중에 적어도 하나의 프로파일을 선택하는 단계와, 상기 프로파일 내에 비디오 영상과 관련된 적어도 하나의 속성 정보를 포함시키는 단계를 포함하는 것을 특징으로 하는 비디오 영상 인코딩 방법을 제공한다.
또한, 본 발명은, 수신된 비트스트림으로부터 적어도 하나의 프로파일 정보를 추출하는 단계와, 상기 추출된 프로파일 정보에 기초하여 상기 프로파일 내에 포함된 적어도 하나의 속성 정보를 추출하는 단계 및 상기 추출된 속성 정보에 기초하여 상기 비트스트림을 디코딩하는 단계를 포함하는 것을 특징으로 하는 비디오 영상 디코딩 방법을 제공한다.
또한, 본 발명은, 비트스트림이 생성되는 경우 몇 개의 프로파일들 중에 적어도 하나의 프로파일을 선택하는 수단과, 상기 프로파일 내에 비디오 영상과 관련된 적어도 하나의 속성 정보를 포함시키는 수단을 포함하는 것을 특징으로 하는 비디오 영상 인코딩 방법을 제공한다.
또한, 본 발명은, 수신된 비트스트림으로부터 적어도 하나의 프로파일 정보를 추출하는 수단과, 상기 추출된 프로파일 정보에 기초하여 상기 프로파일 내에 포함된 적어도 하나의 속성 정보를 추출하는 수단 및 상기 추출된 속성 정보에 기초하여 상기 비트스트림을 디코딩하는 수단을 포함하는 것을 특징으로 하는 비디오 영상 디코딩 방법을 제공한다.
본 발명은 비디오 신호를 코딩함에 있어서, 다시점 비디오 영상의 전반적인 코딩 구조에 따를 때, 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹의 참조 정보가 다르기 때문에 상기 인터 뷰 픽쳐 그룹 식별 정보에 따라 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹을 구별하여 코딩하게 될 경우 보다 효율적인 코딩이 가능할 수 있다.
또한, 시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 보다 효율적으로 코딩을 수행할 수 있게 된다. 본 발명을 이용하여 시점간 예측(inter-view prediction)을 수행할 때, DPB(Decoded Picture Buffer)의 부담을 감소시켜 코딩 속도를 향상시킬 수 있을 뿐만 아니라 보다 정확한 예측이 가능하여 전송할 비트수를 감소시킬 수도 있다.
또한, 상기 다시점 영상의 인코딩/디코딩 방법은 다시점 영상을 효율적으로 코딩할 수 있다. 상기 다시점 영상을 디코딩하는 동안, 개별적인 시점들은 계층적으로 디스플레이될 수 있다. 상기 방법은 상기 다시점 영상을 인코딩하는 동안 개별적인 시점의 이미지들의 예측 구조를 확립할 수 있다. 따라서, 다시점의 개수가 많아지고 그 배열이 확장되더라도, 상기 방법은 위에서 설명한 실시예들과 동일한 방법으로 상기 예측 구조를 확장시킬 수 있을 것이다. 게다가, 상기 방법은 계층적 구조를 이용하여 다시점 영상의 시점 확장 기능을 수행함으로써, 수신단에서의 다양한 디스플레이 방식에 적합하도록 인코딩/디코딩 과정을 수행할 수 있다. 따라 서, 효율적인 인코딩/디코딩 시스템을 수행할 수 있게 된다.
또한, 상기 비디오 영상의 인코딩/디코딩 방법은, 수대의 카메라에 의해 찍힌 다시점 영상을 다루는 경우 인코더와 디코더에 시점들의 개수를 나타내는 num_views 정보를 전송할 수 있다. 상기 인코딩/디코딩 방법은 전체 시점의 기준으로 이용될 참조 시점을 지정할 수 있다. 상기 참조 시점 영상들은 다른 시점의 영상들을 참조하지 않고, 서로 독립적으로 코딩될 수 있다. 상기 인코딩/디코딩 방법은 view_arrangement 정보를 참조함으로써, 각 배열에 따라 상기 인코딩/디코딩 과정을 효율적으로 수행할 수 있다.
또한, 상기 인코딩/디코딩 방법은 프로파일 타입을 식별할 수 있고, 비디오 영상에 관련된 다양한 속성 정보들을 추가할 수 있으며, 상기 추가된 속성 정보들을 이용하여 상기 인코딩/디코딩 과정을 효율적으로 수행할 수 있다.
다시점(multiview) 영상을 효율적으로 다루기 위해서는, 디코딩 장치가 입력 비트스트림이 다시점 프로파일(Multiview Profile)에 관련되어 있는지 여부를 결정하도록 하는 정보를, 상기 입력 비트스트림은 포함할 수 있다. 상기 입력 비트스트림이 다시점 프로파일과 관련되어 있는 것으로 식별되면 다시점 영상에 대한 하나 이상의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 여기서 다시점 프로파일 식별 정보란, H.264/AVC의 추가 기술로서 다시점 비디오(multiview video)를 다루는 프로파일 모드(profile mode)를 나타낼 수 있다.
MVC 기술은 H.264/AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다 는 MVC 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다. 예를 들어, AVC의 프로파일 식별자가 다시점 프로파일을 나타낼 때 다시점 영상에 대한 정보를 추가하면 부호화 효율을 높일 수 있다.
시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다.
압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 시퀀스 파라미터 세트 RBSP (도 2의 S1)는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다. 비트스트림이 입력되면, 먼저 프로파일 식별자는 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다.
따라서, 입력되는 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판단하는(예를 들어, " If ( profile_idc == MULTI_VIEW_PROFILE )") 프로파일 식별 정보를 신택스 상에 포함시킴으로써, 입력된 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판별하고, 다시점 프로파일에 대한 것으로 인정되는 경우에 여러 가지 속성 정보들을 추가할 수 있게 된다.
도 1은 본 발명이 적용되는 실시예로서, 다시점 비디오 영상을 포함하는 비디오 신호의 디코딩을 위한 다시점 비디오 시스템의 디코딩 장치의 개략적인 블록도를 나타낸다.
상기 다시점 비디오 시스템은 상기 다시점 비디오 영상을 제공하기 위해 대 응되는 인코딩 장치(인코더)를 포함할 수 있다. 이때, 상기 다시점 비디오 영상은 장치로 판독가능한 정보의 운송체(예를 들어, 장치로 판독가능한 저장 매체, 또는 송신기와 수신기 사이에서 전파되는 장치로 판독가능한 에너지 신호)에 포함된 인코딩된 이미지 데이터를 포함하는 비트스트림으로써 제공될 수 있다.
도 1에 따르면, 상기 디코딩 장치는 크게 파싱부(10), 엔트로피 디코딩부(11), 역양자화/역변환부(12), 화면간 예측부(13), 화면내 예측부(14), 디블록킹 필터부(15), 복호 픽쳐 버퍼부(16) 등을 포함한다.
상기 화면간 예측부(13)는 움직임 보상부(17), 조명 보상부(18), 조명 보상 오프셋 예측부(19) 등을 포함한다.
파싱부(10)에서는 수신된 비디오 영상을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 셋과 픽쳐 파라미터 셋이 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에는 여러 가지 속성 정보가 포함될 수 있다. 예를 들어, 시간적 레벨(temporal level) 정보, 시점 레벨(view level) 정보, 앵커 픽쳐(anchor picture) 식별 정보, 시점 식별(view identifier) 정보 등이 포함될 수 있다.
여기서, 시간적 레벨 정보란, 비디오 신호로부터 시간적 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다. 이러한 시간적 레벨 정보를 통해 사용자에게 다양한 시간대의 영상을 제공할 수 있게 된다.
시점 레벨 정보란, 비디오 신호로부터 시점 확장성을 제공하기 위한 계층적 인 구조에 대한 정보를 말한다. 다시점 비디오 영상에서는 사용자에게 다양한 시간 및 시점의 영상을 제공하도록 하기 위해 시간 및 시점에 대한 레벨을 정의해 줄 필요가 있다.
이처럼 레벨 정보를 정의할 경우, 시간 및 시점에 대한 확장성(scalability)을 이용할 수 있게 된다. 따라서, 사용자는 원하는 시간 및 시점의 영상만을 볼 수도 있고, 다른 제한 조건에 따른 영상만을 볼 수 있게 된다. 상기 레벨 정보는 그 기준 조건에 따라 다양한 방법으로 다르게 설정될 수 있다. 예를 들어, 상기 레벨 정보는 카메라의 위치에 따라 다르게 설정될 수 있고, 카메라의 배열 형태에 따라 다르게 설정될 수 있다. 또한, 상기 레벨 정보는 특별한 기준에 의하지 않고 임의로 설정될 수도 있다.
앵커 픽쳐라 함은, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스만을 참조하는 부호화된 픽쳐를 의미한다. 예를 들어, 다른 시점에 있는 슬라이스만을 참조하고 현재 시점에 있는 슬라이스는 참조하지 않는 부호화된 픽쳐를 말한다. 다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스가 필요할 수 있다.
복호화 노력을 최소화하면서 임의 시점에 대한 액세스가 가능하도록 하여야 한다. 여기서 효율적인 랜덤 액세스를 실현하기 위하여 앵커 픽쳐 식별 정보가 필요할 수 있다.
또한, 시점 식별 정보란, 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 정보를 말한다. 비디오 영상 신호가 코딩될 때, 각각의 픽쳐를 식별 하기 위하여 POC(Picture Order Count)와 frame_num 이 이용될 수 있다.
다시점 비디오 영상인 경우에는 시점 간의 예측이 수행될 수 있다. 따라서, 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위해 식별자가 이용될 수 있다.
픽쳐의 시점을 나타내는 시점 식별자(view identifier)가 정의될 수 있다. 상기 시점 식별자를 이용하여 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 획득하고, 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩할 수 있다. 이러한 상기 시점 식별자는 비디오 신호의 인코딩/디코딩 과정 전반에 걸쳐 적용될 수 있다. 또한, 특정한 시점 식별자가 아닌, 시점이 고려된 frame_num을 이용하여 다시점 비디오 코딩에 그대로 적용할 수도 있다.
일반적으로 다시점 영상의 데이터량이 방대하기 때문에, 이를 해결하기 위해 각 시점의 계층적(hierarchy) 부호화(이를, '뷰 스케일러빌러티(view scalability)'라고도 한다) 기능이 필요할 수 있다. 뷰 스케일러빌러티 기능을 수행하기 위해 다시점 영상의 시점을 고려한 예측 구조를 정의할 수 있다.
상기 예측 구조는 여러 개의 시점 영상들에 대해서 예측 순서 및 방향 등을 구조화함으로써 정의될 수 있다. 예를 들어, 부호화하려는 여러 시점의 영상들이 주어질 때, 전체 배열의 중앙을 기준 시점(base view)으로 정하고 점차 계층적으로 부호화하려는 시점의 영상을 선택할 수 있다. 또는 전체 배열의 끝부분이나 그외 다른 부분을 기준 시점으로 정할 수도 있다.
만약 카메라 시점의 개수가 2의 지수승인 경우를 기준으로 각 시점 영상 간 의 계층적인 예측 구조를 형성할 수도 있다. 또는 카메라 시점의 개수가 2의 지수승이 아닌 경우에는 실제 개수보다 크면서 가장 작은 2의 지수승의 경우를 기준으로 가상의 시점을 상정하고 예측 구조를 형성할 수도 있다. 또한, 카메라 배열이 2차원일 경우에는 수평, 수직 방향으로 번갈아가며 예측 순서를 정할 수 있다.
파싱된 비트스트림은 엔트로피 디코딩부(11)를 통하여 엔트로피 디코딩되고, 각 매크로브록의 계수, 움직임 벡터 등이 추출된다. 역양자화부/역변환부(12)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 화면내 예측부(14)에서는 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다.
디블록킹 필터부(15)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(16)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(16)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(16)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, MVC에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므 로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 나타내는 시점 식별자도 함께 이용할 수 있다.
화면간 예측부(13)에서는 복호 픽쳐 버퍼부(16)에 저장된 참조 픽쳐를 이용하여 화면간 예측을 수행한다. 인터 코딩된 매크로블록은 매크로블록 파티션으로 나누어질 수 있으며, 각 매크로블록 파티션은 하나 또는 두개의 참조 픽쳐로부터 예측될 수 있다.
움직임 보상부(17)에서는 엔트로피 디코딩부(11)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 프리딕터를 획득한다. 상기 획득된 움직임 벡터 프리딕터와 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다.
따라서, 상기 참조 픽쳐들이 현재 시점과 다른 시점에 있는 픽쳐들인 경우에는 그 시점을 나타내는 시점 식별자를 이용하여 움직임 보상을 수행할 수 있다.
또한, 직접 예측 모드(direct mode)는 부호화가 끝난 블록의 움직임 정보로부터 현재 블록의 움직임 정보를 예측하는 부호화 모드이다. 이러한 방법은 움직임 정보를 부호화할 때 필요한 비트수가 절약되기 때문에 압축 효율이 향상된다.
예를 들어, 시간 직접 예측 모드(temporal direct mode)는 시간 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측하게 된다. 이 방법과 유사하게, 상기 디코더는 시점 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측할 수 있다.
또한, 입력된 비트스트림이 다시점 영상에 해당되는 경우, 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 조명 (illumination) 차이가 발생하게 된다. 이를 방지하기 위해서 조명 보상부(18)에서는 조명 보상(illumination compensation)을 수행하게 된다.
조명 보상을 수행함에 있어서, 비디오 신호의 일정 계층에 대한 조명 보상 수행여부를 나타내는 플래그 정보를 이용할 수 있다. 예를 들어, 해당 슬라이스 또는 해당 매크로블록의 조명 보상 수행여부를 나타내는 플래그 정보를 이용하여 조명 보상을 수행할 수 있다. 또한, 상기 플래그 정보를 이용하여 조명 보상을 수행함에 있어서, 여러 가지 매크로블록의 타입(예를 들어, 인터16×16모드 또는 B-skip모드 또는 직접 예측 모드 등)에 적용될 수 있다.
또한, 조명 보상을 수행함에 있어서, 현재 블록을 복원하기 위하여 주변 블록의 정보 또는 현재 블록과 다른 시점에 있는 블록의 정보를 이용할 수 있으며, 현재 블록의 오프셋 값을 이용할 수도 있다. 여기서 현재 블록의 오프셋 값이란, 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값 사이의 차이를 말한다. 상기 오프셋 값을 이용하는 일례로, 상기 현재 블록의 이웃 블록들을 이용하여 상기 현재 블록의 오프셋 값의 프리딕터를 획득하고, 상기 오프셋 값과 상기 프리딕터와의 차이값(residual)을 이용할 수 있다. 따라서, 디코더에서는 상기 차 이값과 상기 프리딕터를 이용하여 상기 현재 블록의 오프셋 값을 복원할 수 있다.
또한, 현재 블록의 프리딕터를 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다.
예를 들어, 이웃 블록의 오프셋 값을 이용하여 현재 블록의 오프셋 값을 예측할 수 있는데, 이에 앞서 상기 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인할 수 있다. 상기 확인 결과에 따라 상기 조명 보상부(18)는 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지를 결정할 수 있다.
또한, 상기 조명 보상부(18)는 현재 블록의 프리딕션 타입을 이용하여 조명 보상을 수행할 수도 있으며, 현재 블록이 2개의 참조 블록을 이용하여 예측 코딩된 경우에는 현재 블록의 오프셋 값을 이용하여 각 참조 블록에 대응하는 오프셋 값을 획득할 수도 있다.
이처럼 조명 보상, 움직임 보상 등을 이용하여 인터 예측된 픽쳐들과 인트라 예측된 픽쳐들은 예측 모드에 따라 선택되어 현재 픽쳐를 복원하게 된다.
이하에서는 현재 픽쳐를 복원하기 위해 적용되는 인코딩/디코딩 방법들의 구체적인 실시예들을 살펴보도록 한다.
도 2는 본 발명을 적용한 시퀀스 파라미터 세트 RBSP 신택스(Sequence Parameter Set RBSP syntax)를 나타내는 구조도이다.
도 2에 따르면, 시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다.
압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 결국, 시퀀스 파라미터 세트 RBSP 는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다(S1). 비트스트림이 입력되면, 먼저 프로파일 식별자(profile_idc)가 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다(S2). 예를 들어, 상기 프로파일 식별 정보가 66 이면 상기 비트스트림은 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 그리고, 입력 비트스트림이 다시점 프로파일에 대한 것인지 결정하는 신택스(" If ( profile_idc == MULTI_VIEW_PROFILE )")가 이용될 수 있다(S3).
상기 S3 부분에서 상기 입력 비트스트림이 다시점 프로파일에 대한 것으로 인정되는 경우, 상기 입력 비트스트림에 대하여 다시점 영상에 대한 여러 가지 정보들을 추가할 수 있게 된다. 여러 가지 정보들 중의 일실시예들은 다음과 같다.
" 참조 시점(reference_view)", 즉 전체 시점(view)에 대한 기준이 되는 참조 시점을 지정하여 이에 대한 정보를 추가할 수 있다. MVC(Multiview Video Coding)에서 보통 하나의 시점 영상(view sequence)은 기존의 부호화 방식(예를 들어, H.264/AVC codec)으로 부호화/복호화를 한다. 이렇게 정해진 시점(view)을 참조 시점(reference view)이라고 부르며, 신택스(syntax) 내에 상기 참조 시점을 추가한 경우, 몇 번째 시점을 참조 시점으로 설정할 지를 알려준다.
또한, 다시점 중 부호화 기준이 되는 시점인 "기준 시점(base view)"도 참조 시점으로서의 역할을 한다. 참조 시점 영상들은 다른 시점 영상에 대한 참조 없이 독립적으로 부호화된다(S4).
"시점 개수(num_views)", 즉 여러 대의 카메라에서 취득된 다중 시점의 개수에 대한 정보를 추가할 수 있다. 각 시퀀스마다 시점의 개수는 다양할 수 있으므로, 상기 정보를 전송함으로써 인코더, 디코더 측에서는 이를 유용하게 쓸 수 있다(S5).
"카메라의 배열 형태(view_arrangement)" 는 영상 취득시 카메라가 어떤 방식으로 배열되어 있는지를 알려 주는 정보로써, 이를 신택스(syntax) 내에 추가한 경우 각 배열 형태에 더 적합하게 부호화를 수행할 수 있다. 그리고, 차후에 카메라의 각 배열 형태에 더 적합한 부호화 방법이 고안될 경우에 유용하게 쓰일 수 있다(S6).
"프레임 수(temporal_units_size)" 는 각 시점 내에서 연속적으로 부호화/복호화되는 프레임(frame) 수를 나타내며, 상기 프레임 수에 관한 정보를 추가할 수 있다. 즉, 현재 N번째 시점(view)을 부호화/복호화하고 있고, 다음번에는 M번째 시점(view)을 부호화/복호화할 차례일 때, N번째 시점(view)에서 몇 개의 프레임을 먼저 처리하고 M번째 시점(view)으로 넘어가는지에 대한 것이다. 상기 temporal_units_size 정보와 num_views 정보를 통해서 전체 시퀀스에서 각 프레임이 몇 번째 시점(view)에 속하는 것인지 계산할 수도 있다. 각 view 시퀀스의 I 슬라이스와 P 슬라이스 사이의 제 1 길이, 또는 P 슬라이스와 P 슬라이스 사이의 제 2 길이, 또는 상기 제 1 또는 제 2 길이의 몇 배에 해당하는 길이를 temporal_units_size 정보로 설정하면, 그 단위로 하나의 시점(view)에서 처리하고 다음 시점(view)로 넘어갈 수 있다. temporal_units_size 정보는 기존의 GOP(Group Of Picture)의 길이(length)보다 작거나 같게 설정할 수 있다. 예를 들어, 도 4b와 도 4c는 본 발명에서 적용되는 temporal_units_size의 개념을 설명하기 위한 GGOP의 구조를 나타낸 것인데, 이 경우, 도 4b는 temporal_units_size = 3 , 도 4c는 temporal_units_size = 1 이 될 수 있다.
MVC (Multiview Video Coding)에서는 시간축과 시점축으로 프레임들이 배열되기 때문에 같은 시간대에서 각 시점마다 하나의 프레임들을 처리하고 나서 다음 시간대에서 다시 각 시점마다 하나의 프레임들을 처리할 수도 있다. 이 경우, 예를 들면 temporal_units_size = 1 이 된다. 그리고 하나의 시점 내에서 시간축을 따라 N 개의 프레임을 먼저 처리하고 나서 다음 시점에서 N 개의 프레임을 처리할 수도 있다. 이 경우, temporal_units_size = N 이 된다. 따라서, 최소한 1개의 프레임은 처리가 되므로 temporal_units_size 대신에 temporal_units_size_minus1 로 하여 syntax 내에 추가하는 것도 가능하다. 단, 이 경우 위 예들은 각각 temporal_units_size_minus1 = 0, temporal_units_size_minus1 = N-1 이 된다(S7).
기존 부호화 방식의 프로파일(profile)들에는 공통이 되는 프로파일이 없다. 이 때문에, 프로파일 이외에 호환성을 표시하기 위해 플래그(Flag)를 사용한다. constraint_ set*_flag 는 비트스트림이 어떤 프로파일의 복호기에서 복호될 수 있는지를 의미한다. constraint_set0_flag 는 베이스라인 프로파일의 복호기에서 복 호될 수 있음을 의미하며(S8), constraint_set1_flag 는 메인 프로파일의 복호기(S9), constraint_set2_flag 는 확장 프로파일의 복호기에서 복호될 수 있음을 의미한다(S10). 따라서, MULTI_VIEW_PROFILE 복호기를 정의할 필요가 있으며, 이를 constraint_set4_flag 로 정의한다(S11).
"level_idc" 는 레벨 식별자를 의미한다. 레벨이란, 복호기의 능력과 비트스트림의 복잡도를 정의하는 역할을 하며, 각 프로파일에서 규정된 기술 요소를 어느 범위까지 지원할 것인가에 대해서 정의하고 있다(S12).
"seq_parameter_set_id" 는 시퀀스를 식별하기 위해 SPS 안에 주어진 SPS 식별정보를 의미한다(S13).
도 3a는 본 발명이 적용된 비트스트림의 구조로써, 하나의 비트스트림(bitstream) 내에서 하나의 시퀀스(sequence)만을 포함하는 경우를 나타낸다.
도 3a에 따르면, SPS(Sequence Parameter Set, 시퀀스 파라미터 세트)는 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐 있는 정보가 포함되어 있는 헤더 정보이고, SEI(Supplemental Enhancement Information, 보충적 부가정보)는 동영상 부호화 계층의 복호과정에 필수가 아닌 부가정보를 나타낸다. PPS(Picture Parameter Set, 픽쳐 파라미터 세트)는 픽쳐 전체의 부호화 모드를 나타내는 헤더 정보이다. I 슬라이스(I slice)는 화면 내 부호화만을 행하는 슬라이스이고, P 슬라이스(P slice)는 화면 내 부호화 혹은 화면 간 예측부호화를 행하는 슬라이스를 말한다. 픽쳐 구분 기호(Picture delimiter)는 비디오 픽쳐 사이의 경계를 구분짓는 역할을 한다. 본 발명은 상기 SPS 부분에 SPS RBSP syntax가 적용된다. 따라서, 비트스트림 생성시 상기 신택스가 적용되어 여러 가지 정보를 추가할 수 있게 된다.
도 3b는 본 발명이 적용된 비트스트림의 구조로써, 하나의 비트스트림 내에서 2개의 시퀀스를 포함하는 경우를 나타낸다.
도 3b에 따르면, H.264/AVC 는 하나의 비트스트림이 여러 개의 시퀀스를 다룰 수 있다. 시퀀스를 식별하기 위해 SPS 내에 SPS 식별정보(seq_parameter_set_id)가 있고, PPS(Picture Parameter Set) 내에서 SPS 식별정보를 지정하여 어느 시퀀스에 속하는지를 식별할 수 있다. 또한 슬라이스 헤더 내에서 PPS 식별정보(pic_parameter_set_id)를 지정함으로써 어느 PPS를 사용하는가를 식별할 수 있다.
그 일실시예로서, 도 3b에서 슬라이스 #1내의 헤더에는 참조하는 PPS 식별정보(PPS=1)가 포함되어 있고(①), PPS#1에는 참조하는 SPS 식별정보(SPS=1)가 포함되어 있다(②). 따라서, 슬라이스 #1은 시퀀스 #1에 속함을 알 수 있다. 마찬가지로, 슬라이스 #2는 시퀀스 #2에 속함을 알 수 있다(③,④). 실제로, 베이스라인 프로파일(baseline profile) 영상과 메인 프로파일(main profile) 영상을 합쳐서 편집하고 새로운 비디오 비트스트림을 만들 수 있는데, 이 경우 두 가지 비트스트림에 대해서 다른 SPS 식별정보를 부여하고, 이 중 어느 하나는 다시점 프로파일(multiview profile)로도 변환이 가능하다.
도 4a는 본 발명을 적용한 실시예로서, GGOP(Group Of GOP)의 구조를 나타내고, 도 4b, 도 4c는 본 발명에서 적용되는 temporal_units_size의 개념을 설명하기 위한 GGOP의 구조를 나타낸다. GOP(Group of Picture)는 몇 장의 화면 데이터를 하나로 묶은 그룹을 의미한다. MVC(Multiview Video Coding)에서는 보다 효율적인 부호화를 위해 시간적, 공간적 예측을 모두 해야하므로 GGOP의 개념이 필요하다.
각 view 시퀀스의 I 슬라이스와 P 슬라이스 사이의 제 1 길이, 또는 P 슬라이스와 P 슬라이스 사이의 제 2 길이, 또는 상기 제 1 또는 제 2 길이의 몇 배에 해당하는 제 3 길이를 temporal_units_size 정보로 설정하면, 그 단위로 하나의 view에서 처리하고 다음 view로 넘어갈 수 있다. temporal_units_size 정보는 기존의 GOP length보다 작거나 같게 설정할 수 있다. temporal_units_size 정보의 적용 예로서, 도 4b는 temporal_units_size=3 인 경우이고, 도 4c는 temporal_units_size = 1인 경우이다. 특히, 도 4b에서 temporal_units_size > 1 이고, 하나 또는 그 이상의 view가 I로 시작하는 경우는 temporal_units_size+1 개의 프레임을 갖고 처리할 수 있다. 또한, 상기 temporal_units_size 정보와 num_views 정보를 통해서 전체 시퀀스에서 각 프레임이 몇 번째 시점(view)에 속하는 것인지 계산할 수도 있다.
도 4a에서, 각 프레임들은 시간축(time)과 시점축(view)으로 배열되어 있고, V1~V8은 각각 GOP(Group of Picture)를 나타내며, V4는 기준 GOP(Base GOP)로서 다른 GOP들의 참조 GOP 역할을 한다. MVC(Multiview Video Coding)에서는 temporal_units_size=1인 경우, 같은 시간대에서 각 시점(view)의 프레임들을 처리하고, 다음 시간대에서 다시 각 시점(view)의 프레임들을 처리할 수 있다. T1~T4는 각각 같은 시간대에서의 각 시점(view) 프레임들을 나타낸다. 즉, T1의 프레임들을 처리하고, 다시 T4 -> T2 -> T3 -> … 등의 순서대로 처리할 수 있다. 또한, MVC에서는 temporal_units_size=N인 경우, 하나의 시점 내에서 시간축을 따라 N개의 프레임을 먼저 처리하고 나서, 다음 시점 내에서 N개의 프레임을 처리할 수도 있다. 즉, temporal_units_size=4인 경우, V4의 T1~T4에 속하는 프레임들을 처리하고, 다시 V1 -> V2 -> V3 -> … 등의 순서대로 처리할 수 있다.
따라서, 도 4a의 경우 비트스트림을 생성할 때, 시점 개수는 8개이고, 참조 시점은 V4 GOP(Group of Picture)가 된다. 그리고 프레임수(temporal_units_size)는 각 시점 내에서 연속적으로 부호화/복호화되는 프레임수를 나타내므로, 도 4a에서 같은 시간대에서 각 시점의 프레임들을 처리하는 경우는 temporal_units_size 는 1이 되고, 하나의 시점 내에서 시간축을 따라 프레임을 처리하는 경우는 temporal_units_size 는 N이 된다. 상기의 정보들이 비트스트림 생성시 추가될 수 있다.
도 5는 본 발명이 적용된 비디오 영상의 복호화 방법을 설명하는 흐름도를 나타낸다.
먼저 수신된 비트스트림으로부터 하나 이상의 프로파일 정보를 추출할 수 있다. 여기서, 추출되는 프로파일 정보는 베이스라인 프로파일, 메인 프로파일, 다시점 프로파일 등등 여러 가지 프로파일 중에서 어느 하나 이상일 수 있으며, 이는 입력되는 비디오 영상에 따라 달라질 수 있다.(S51) 상기 추출된 프로파일 정보로부터 상기 프로파일에 포함된 하나 이상의 속성 정보를 추출할 수 있다. 예를 들어, 추출된 프로파일 정보가 다시점 프로파일에 관한 정보라면, 다시점 프로파일에 포함된 하나 이상의 속성정보, 즉 예를 들어, "참조 시점(reference_view)", "시점 개수(num_views)", "카메라의 배열 형태(view_arrangement)", "프레임 수(temporal_units_size)" 등에 대한 정보들을 추출해낼 수 있다.(S53) 이렇게 하여 추출된 정보들은 다시점 부호화된 비트스트림을 복호화하는데 활용된다.
도 6a 및 도 6b는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조(prediction structure)를 도시한 것이다.
도 6a-6b에 따르면, 다시점의 개수(m)를
Figure 112009050346720-pat00013
으로 표시하면, n=0 이면 시점 개수는 1이 되고, n=1 이면 시점 개수는 2가 되고, n=2 이면 시점 개수는 4가 되고, n=3 이면 시점 개수는 8이 됨을 나타낸다. 따라서, 이를 일반적으로 설명하면, 본 발명은 다시점의 개수(m)가
Figure 112009050346720-pat00014
< m <=
Figure 112009050346720-pat00015
인 경우, 하나의 기준시점 비트스트림과 n개의 계층적 보조시점 비트스트림을 포함할 수 있다.
여기서, "기준 시점(base view)"이라 함은, 상기 다시점 중 부호화의 기준이 되는 시점을 의미한다. 즉, 기준 시점에 해당되는 영상은 일반적인 영상 부호화 방식(MPEG-2, MPEG-4, H.263, H-264 등)에 의해 부호화되어 독립적인 비트스트림으로 형성할 수 있게 되는 바, 본 발명에서는 이를 "기준 시점 비트스트림"이라 한다.
또한, 본 발명에서 "보조 시점(auxiliary view)"이라 함은, 상기 다시점 중 기준시점이 아닌 시점을 의미한다. 즉, "보조 시점"에 해당되는 영상은 상기 기준시점 영상으로부터 움직임 추정 등을 수행하여 비트스트림을 형성하게 되는 바, 본발명에서는 이를 "보조 시점 비트스트림"이라 한다.
또한, 다시점 간의 계층적 부호화를 수행하는 경우, 상기 "보조 시점 비트스트림"은 "제1 보조 시점 비트스트림", "제2 보조 시점 비트스트림" 및 "제n 보조 시점 비트스트림"과 같이 구별되어 진다.
또한, 본 발명에서 "비트스트림"이라 함은, 상기 "기준 시점 비트스트림"과 "보조 시점 비트스트림"을 포괄하는 의미로 사용될 수 있다.
예를 들어, 상기 다시점의 개수(m)가 8개(n=3)인 경우, 상기 비트스트림은 하나의 기준시점과 3개의 계층적 보조시점을 포함하게 된다. 상기와 같이, 하나의 기준시점과 n개의 계층적 보조시점이 존재하는 경우, 다시점 중 기준시점이 되는 위치와, 각 계층적 보조시점이 되는 위치를 일반적인 규칙에 의해 정의하는 것이 바람직하다. 참고로, 도 6a 및 도 6b에서 사각형으로 표시된 영역은 각 시점을 의미하고, 사각형 내의 숫자는, 기준시점(0, base view), 제1 계층적 보조시점(1, 1st hierarchy), 제2 계층적 보조시점(2, 2nd hierarchy) 및 제3 계층적 보조시점(3, 3rd hierarchy)을 의미한다. 본 예에서는 최대 8개의 다시점을 예로 하였으나, 그 이상의 다시점의 경우에도 본 발명의 개념 및 특징이 동일하게 적용가능하다.
즉, 도 6a에 의하면, 각 기준시점과 계층적 보조시점은 다음의 규칙에 의해 결정되어 진다. 먼저 기준시점의 위치는
Figure 112009050346720-pat00016
번째 시점으로 선택한다. 예를 들어 n=3인 경우는, 기준시점은 4번째 위치하는 시점이 된다. 도 6a 및 도 6b는 시작시점이 최우측인 경우를 도시한 것으로, 최우측 시점(61)으로 부터 4번째 해당하는 시점이 기준시점이 된다. 일반적으로 기준시점의 위치는 다시점 중 가운데 부근 또 는 정중앙이 바람직하며, 이는 후술하겠지만 기준시점은 다른 보조시점들의 예측 부호화 수행에 기준이 되기 때문이다.
또 다른 예로, 항상 최좌측을 시작시점으로 하고, 시점 넘버를 m=10,1,2,3,... 순서로 결정하는 것도 가능하다. 예를 들어, n=3인 경우,
Figure 112009050346720-pat00017
번째 시점넘버(즉, m=4)를 기준시점으로 하는 것도 가능하다.
또한, 제1 계층적 보조시점의 위치는 상기 기준시점의 위치로부터
Figure 112009050346720-pat00018
번째 크기만큼 떨어진 좌(left) 또는 우(right) 방향중 어느 하나의 시점으로 선택한다. 예를 들어, 도 6a는 기준시점으로 부터 좌방향으로
Figure 112009050346720-pat00019
번째(즉, n=3인경우, 2개시점) 떨어진 시점을 제1 계층적 보조시점으로 선택한 경우를 도시한 것이다. 반면 도 6b는 기준시점으로부터 우방향으로
Figure 112009050346720-pat00020
번째 떨어진 시점을 제1 계층적 보조시점으로 선택한 경우를 도시한 것이다. 본 예에 의하면, 제1 계층적 보조시점의 개수는 하나가 된다.
또한, 제2 계층적 보조시점의 위치는 상기 기준시점 및 제1 계층적 보조시점으로부터
Figure 112009050346720-pat00021
크기만큼 떨어진 좌(left) 및 우(right) 방향의 시점들로 선택한다. 예를 들어, 도 6a에 의하면, 2개의 제2 계층적 보조시점이 발생하게 된다. 반면, 도 6b에 의하면, 제1 계층적 보조시점의 우방향으로 더이상
Figure 112009050346720-pat00022
크기만큼 떨어진 시점이 존재하지 않으므로, 기준시점을 기준으로 좌방향으로
Figure 112009050346720-pat00023
크기만큼 떨어진 시점이 제2 계층적 보조시점이 된다.
아울러 제2 계층적 보조시점을 기준으로 좌방향으로
Figure 112009050346720-pat00024
크기만큼 떨어진 위치를 제2 계층적 보조시점(63)으로 선택하는 것도 가능하다. 단, 해당시점이 다시점의 양끝단에 해당하는 경우 후술할 제3 계층적 보조시점으로 선택할 수도 있다. 즉, 도 6b에 의하면, 1개 또는 2개의 제2 계층적 보조시점이 발생하게 된다.
마지막으로, 제3 계층적 보조시점의 위치는 상기 기준시점 및 제1~제2 계층적 보조시점으로 선택된 시점들을 제외한 나머지 시점들로 선택한다. 도 6a에 의하면, 4개의 제3 계층적 보조시점이 발생하고, 도 6b에 의하면, 4개 또는 5개의 제3 계층적 보조시점이 발생하게 된다.
도 7a 및 도 7b는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측 조를 도시한 것이다.
본 예는 전술한 실시예(도6a 및 도6b)의 경우와 개념적 내용이 동일하며, 다만 기준시점을 선택하는 시작시점의 위치가 최좌측인 경우에 해당된다. 즉, 최좌측 시점(65)으로 부터 4번째 해당하는 시점을 기준시점으로 선택한 것이다. 이하, 나머지 부분은 도 6a, 도 6b의 실시예와 동일하다.
도 8은 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조를 도시한 것이다.
본 예는 다시점의 개수(m)가
Figure 112009050346720-pat00025
< m <=
Figure 112009050346720-pat00026
인 경우를 설명하기 위해 도시한 것이다. 구체적으로는, m=5, 6, 7 및 8인 경우를 예를 들어 도시하였다. 즉, m=5,6,7 인 경우는 다시점의 개수(m)가
Figure 112009050346720-pat00027
을 만족하지 않으므로, 전술한 제1 실 시예 (도 6a, 도 6b) 및 제2 실시예 (도 7a, 도 7b)를 그대로 적용하기가 어려워 진다. 본 예에서는 상기의 문제점을 가상 시점(virtual view) 개념을 도입하여 해결하였다.
예를 들어, 다시점의 개수(m)가
Figure 112009050346720-pat00028
< m <
Figure 112009050346720-pat00029
인 경우,
Figure 112009050346720-pat00030
만큼의 가상 시점을 생성한다. m=홀수개인 경우, 다시점 배열 좌측(또는 우측)에
Figure 112009050346720-pat00031
개, 우측(또는 좌측)에
Figure 112009050346720-pat00032
개의 가상 시점을 생성하고, m=짝수개인 경우, 다시점 배열 좌우측에 각각
Figure 112009050346720-pat00033
개의 가상 시점을 생성한 후, 전술한 방식으로 예측 구조를 동일하게 적용하는 것이 가능하다.
예를 들어, 상기 다시점의 개수(m)가 5개인 경우, 상기 다시점의 양끝단에 각각 1개 또는 2개의 가상 시점을 추가하여, 다시점의 개수를 8개로 가상 형성한 후, 기준시점 위치 및 3개의 계층적 보조시점 위치를 각각 선택한다. 도 8에 의하면, 예를 들어, 좌측 끝단에 2개, 우측 끝단에 1개의 가상 시점을 각각 추가하여, 전술한 도 6a의 실시예에 따라 기준시점 및 제1~제3 계층적 보조시점을 선택한 경우를 도시하였다.
또한, 상기 다시점의 개수(m)가 6개인 경우, 상기 다시점의 양끝단에 각각 1개의 가상시점을 추가하여, 다시점의 개수를 8개로 가상 형성한 후, 기준시점 위치 및 3개의 계층적 보조시점 위치를 각각 선택한다. 도 8에 의하면, 전술한 도 6a의 실시예에 따라 기준시점 및 제1~제3 계층적 보조시점을 선택한 경우를 도시하였다.
또한, 상기 다시점의 개수(m)가 7개인 경우, 상기 다시점의 양끝단 중 어느 한쪽에 1개의 가상 시점을 추가하여, 다시점의 개수를 8개로 가상 형성한 후, 기준시점 위치 및 3개의 계층적 보조시점 위치를 각각 선택한다. 도 8에 의하면, 예를 들어, 좌측 끝단에 1개의 가상 시점을 추가하여, 전술한 도 6a의 실시예에 따라 기준시점 및 제1~제3 계층적 보조시점을 선택한 경우를 도시하였다.
도 9a 및 도9b는 본 발명이 적용되는 실시예로서, 다시점 영상의 시점간 계층적(hierarchy) 예측구조를 도시한 것이다. 예를 들어, 도 9a는 전술한 도 6a의 경우를, 도 9b는 전술한 도 7a의 경우를 각각 적용하여 도시한 것이다. 즉, 다시점의 개수가 8개인 경우, 기준시점 및 3개의 계층적 보조시점을 가지게 된다. 이는 다시점 동영상 부호화시 시점간 계층적(hierarchy) 부호화(또는, '뷰 스케일러빌러티(view scalability)')를 가능하게 한다.
즉, 상기 계층적 보조시점 비트스트림을 구성하는 영상의 각 픽쳐(picture)들은, 상기 기준시점 영상의 각 픽쳐(picture) 및/또는 상위 계층적 보조시점 영상의 각 픽쳐(picture)로부터 예측하여 부호화를 수행하게 된다. 특히 상기 예측은, 움직임 추정(motion estimation)(예를 들어, 변이 추정(disparity estimation)) 방식이 일반적으로 적용될 수 있다.
예를 들어, 제1 계층적 보조시점(92)은 기준시점(91)을 참고하여 시점간 예측부호화를 수행하고, 제2 계층적 보조시점(93a, 93b)은 기준시점(91) 및/또는 제1 계층적 보조시점(92)을 참고하여 시점간 예측부호화를 수행하고, 또한, 제3 계층적 보조시점(94a, 94b, 94c, 94d)는 기준시점 및 제1 계층적 보조시점(92) 및/또는 제2 계층적 보조시점(93a, 93b)을 참고하여 시점간 예측부호화를 수행하게 된다. 관련하여, 도면내의 화살표는 시점간 예측부호화의 진행 방향을 표시한 것으로, 동일 계층에 포함되는 보조 스트림간에도 서로 참조하는 시점이 상이할 수 있음을 알 수 있다. 상기와 같이 계층적(hierarchy) 부호화가 수행된 비트스트림은 수신단에서 각자의 디스플레이 특성에 맞게 선택적으로 복호화가 수행되어 지며, 이에 대해서는 도 12에서 상세히 후술할 예정이다.
일반적으로 인코더에서 예측 구조는 변할 수 있기 때문에 각 시점들의 관계를 나타내는 정보를 전송함으로써, 디코더 측에서 수월하게 각 시점 영상들 간의 예측구조 관계를 알 수 있다. 또한, 각 시점이 전체 계층적 구조에서 어느 레벨에 속하는지에 대한 정보 또한 디코더 측으로 전송될 수 있다.
각 영상(또는 슬라이스)별로 시점 레벨(view_level)이 할당되고, 각 시점 영상들 간의 예측 구조(dependency) 관계가 주어지면, 인코더에서 다양하게 예측 구조를 변경하여도, 쉽게 디코더에서 파악이 가능하다. 이때, 각 시점들 간의 예측 구조/방향의 정보는 매트릭스 형태로 전송될 수 있다. 즉, 시점의 개수 (num_view) 또한 디코더에 전송되어야 하며, 각 시점들 간의 예측 관계를 2차원 매트릭스로 표현할 수 있다.
시점들 간의 예측관계가 시간에 따라 변하는 경우, 예를 들어 각 GOP의 첫번째 프레임들에 대한 예측 관계와 나머지 시간대에서의 프레임들 간의 예측 관계가 다른 경우, 각각의 경우에 대한 예측 관계 매트릭스 정보를 전송해 줄 수 있다.
도 10a 및 도 10b는 본 발명이 적용되는 실시예로서, 2차원 다시점 영상의 예측구조를 도시한 것이다.
전술한 실시예는 모두 1차원 배열의 다시점의 경우를 예로 하였으나, 이는 2차원 배열의 다시점 영상에도 동일한 방식으로 적용가능하다.
참고로, 도 10a 및 도 10b의 각 사각형은 2차원 배열된 각 시점을 의미하며, 사각형내의 숫자는 계층적 시점관계를 나타낸 것이다.
예를 들어, 사각형 내의 숫자가 'A-B' 형태일 경우, A는 해당하는 계층적 보조시점을 의미하고, B는 동일 계층적 보조시점 내에서의 우선순위를 나타낸 것이다.
따라서, 사각형내의 숫자는, 기준시점(0, base view), 제1 계층적 보조시점(1, 1st hierarchy), 제2 계층적 보조시점(2-1, 2-2, 2nd hierarchy), 제3 계층적 보조시점(3-1, 3-2, 3rd hierarchy), 제4 계층적 보조시점(4-1, 4-2, 4-3, 4th hierarchy) 및 제5 계층적 보조시점(5-1, 5-2, 5-3, 5th hierarchy)을 각각 의미한다.
결국, 본 예에 의하면, 2차원 배열된 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성함에 있어서, 상기 2차원 다시점의 개수(가로축=m, 세로축=p)가
Figure 112009050346720-pat00034
< m <=
Figure 112009050346720-pat00035
,
Figure 112009050346720-pat00036
< p <=
Figure 112009050346720-pat00037
인 경우, 상기 비트스트림은, 하나의 기준시점 비트스트림과 (n+k)개의 계층적 보조시점 비트스트림을 포함함을 특징으로 한다.
이를 구체적으로 설명하면, 상기 (n+k)개의 계층적 보조시점은 가로축과 세로축을 교대로 하여 형성되어 진다. 예를 들어, 도 10a는 상기 (n+k)개의 계층적 보조시점중, 제1 계층적 보조시점은 기준시점이 포함된 세로축 내에서 결정하는 경 우를 도시한 것이다. 반면, 도 10b는 상기 (n+k)개의 계층적 보조시점 중, 제1 계층적 보조시점은 기준시점이 포함된 가로축 내에서 결정하는 경우를 도시한 것이다.
예를 들어, 도 10a에 의하면, 상기 다시점의 개수가 가로축(m)이 8개(n=3)이고, 세로축(p)이 4개(k=2)인 경우, 비트스트림은 하나의 기준시점과 5개의 계층적 보조시점을 포함하게 된다. 관련하여, 도 10a는 '세로축->가로축->세로축...'순으로 계층적 보조시점이 선택되는 경우를 보여준다. 이하 기준시점 및 각 보조시점의 위치를 결정하는 방식은 다음과 같다.
우선, 기준시점의 위치를 결정하여야 하며, 이는 전술한 1차원 배열의 경우와 동일한 방식이 적용된다. 따라서, 상기 기준시점의 위치는 가로축으로
Figure 112009050346720-pat00038
번째, 및 세로축으로
Figure 112009050346720-pat00039
번째에 해당하는 시점으로 선택하게 된다.
또한, 제1 계층적 보조시점의 위치는 우선 세로축으로 상기 기준시점의 위치로부터
Figure 112009050346720-pat00040
번째 크기만큼 떨어진 상(top) 또는 하(bottom) 방향중 어느 하나의 시점으로 선택한다(①). 다음, 제2 계층적 보조시점의 위치는 상기 기준시점 및 제1 계층적 보조시점으로부터 가로축으로
Figure 112009050346720-pat00041
크기만큼 떨어진 좌(left) 또는 우(right) 방향중 어느 하나의 시점으로 선택한다(②). 다음, 제3 계층적 보조시점의 위치는 상기 기준시점, 제1 계층적 보조시점 및 제2 계층적 보조시점을 포함하는 세로축내의 나머지 시점들로 선택한다. 다음, 제4 계층적 보조시점의 위치는 상기 기준시점 및 제1~제3 계층적 보조시점으로부터 가로축으로
Figure 112009050346720-pat00042
크기만큼 떨어 진 좌(left) 및 우(right) 방향의 시점들로 선택한다. 마지막으로, 제5 계층적 보조시점의 위치는 상기 기준시점 및 제1~제4 계층적 보조시점을 제외한 나머지 시점들로 선택한다.
또한, 예를 들어, 도 10b에 의하면, 상기 다시점의 개수가 가로축(m)이 8개(n=3)이고, 세로축(p)이 4개(k=2)인 경우, 비트스트림은 하나의 기준시점과 5개의 계층적 보조시점을 포함하게 된다. 관련하여, 도 10b는 '가로축->세로축->가로축...'순으로 계층적 보조시점이 선택되는 경우를 보여준다. 이하 기준시점 및 각 보조시점의 위치를 결정하는 방식은 다음과 같다.
우선, 기준시점의 위치를 결정하여야 하며, 이는 전술한 1차원 배열의 경우와 동일한 방식이 적용된다. 따라서 상기 기준시점의 위치는 가로축으로
Figure 112009050346720-pat00043
번째 및 세로축으로
Figure 112009050346720-pat00044
번째 해당하는 시점으로 선택한다.
또한, 제1 계층적 보조시점의 위치는 가로축으로 상기 기준시점의 위치로부터
Figure 112009050346720-pat00045
번째 크기만큼 떨어진 좌(left) 또는 우(right) 방향 중 어느 하나의 시점으로 선택한다(①). 다음, 제2 계층적 보조시점의 위치는 상기 기준시점 및 제1 계층적 보조시점으로부터 세로축으로
Figure 112009050346720-pat00046
크기만큼 떨어진 상(top) 또는 하(bottom) 방향중 어느 하나의 시점으로 선택한다(②). 다음, 제3 계층적 보조시점의 위치는 상기 기준시점 및 제1~제2 계층적 보조시점으로부터 가로축으로
Figure 112009050346720-pat00047
크기만큼 떨어진 좌(left) 및 우(right) 방향의 시점들로 선택한다. 다음 제4 계층적 보조시점의 위치는 상기 기준시점, 제1~제3 계층적 보조시점을 포함하는 세로축 내의 나머 지 시점들로 선택한다. 마지막으로, 제5 계층적 보조시점의 위치는 상기 기준시점 및 제1~제4 계층적 보조시점을 제외한 나머지 시점들로 선택한다.
도 11a ~ 도 11c는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조를 도시한 것이다. 본 실시예는 전술한 도 6a,6b, 도 7a,7b, 도 8, 도 10a,10b의 실시예와는 상이한 예측 구조 규칙을 적용한 경우이다. 예를 들어, 도 11a ~ 도 11c에서 사각형으로 표시된 영역은 각 시점을 의미하지만, 사각형내의 숫자는 단지 시점의 예측 순서를 나타낸다. 즉 첫번째 결정되는 제1 시점(0), 두번째 결정되는 제2 시점(1), 세번째 결정되는 제3 시점(2), 네번째 결정되는 제4 시점(3)등을 각각 의미한다.
예를 들어, 도 11a는 다시점의 개수(m)가 m=1 ~ m=10인 경우 각각에 대해, 상기 제1 시점 ~ 제4 시점이 결정된 형태를 도시한 것으로, 상기 제1 시점 ~ 제4 시점은 다음의 규칙에 의해 결정되어 진다.
즉, 예를 들어, 상기 다시점의 양끝단을 제1 시점(0)으로 설정하고, 상기 다시점중 중앙에 위치한 시점을 제2 시점(1)으로 설정하고, 상기 제2 시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 위치한 시점을 제3 시점(2)으로 설정하고, 상기 제1 시점 ~ 제3 시점에 해당하지 않는 나머지 시점을 제4 시점(3)으로 설정한다. 상기와 같이 제1 시점 ~ 제4 시점이 결정되면, 이 중 기준시점과 보조시점을 구별하여야 한다. 예를 들어, 제1 시점, 제2 시점 및 제3 시점중 어느 하나를 기준시점으로 결정하고, 나머지를 보조시점으로 선택하는 것이 가능하다.
또한, 상기와 같이 기준시점이 정해진 규칙에 의해 결정되지 않고, 부호화단에서 임의로 선택하는 경우라면, 기준시점의 위치에 대한 식별정보(예를들어, 'base_view_position')를 비트스트림내에 포함하는 것이 필요할 수 있다.
또한, 도 11b는 상기 제2 시점(1)을 결정함에 있어서, 제1 시점(0)을 제외한 나머지 시점들이 짝수인 경우에 대해 도 11a와는 상이한 또 다른 예를 도시한 것이다. 즉, m=4, m=6, m=8, m=10 인 경우에 도 11b의 제2 시점(1)은, 도 11a의 제2 시점(1)과는 상이한 위치의 시점으로 결정할 수 있음을 보여준다. 또한, 또 다른 변형적 사용예로서, 제2 시점(1) 이후를 결정함에 있어서, 최좌측 제1 시점(0)부터 하나씩 시점을 건너뛰면서 상위 시점을 결정하는 것도 가능하다.
관련하여, 도 11c는 다시점의 개수가 10개(m=10)이고, 이중 기준시점이 상기 기준시점 식별정보에 의해 "base_view_position = '1' view (즉, 6번째 view에 해당)"와 같이 결정된 경우의 계층적 보조시점의 관계를 도시한 것이다. 예를 들어, 도 11c에 의하면, 제1 계층적 보조시점은 제3 시점(2)이 되고, 제2 계층적 보조시점은 제1 시점(0)이 되고, 제3 계층적 보조시점은 제4 시점(3)이 됨을 보여준다.
관련하여, 상기 도 11a 및 도 11b의 경우에 항상 기준시점은, 전술한 도 11c와 같이 상기 제1 시점(1)으로 설정하는 것도 가능하다. 이는 기준시점이 다시점의 가운데 부근 또는 정중앙에 위치하는 것이, 다른 보조시점의 예측 부호화를 수행함에 있어 효율적이기 때문이다. 따라서, 기준시점과 보조시점의 위치를 다음의 규칙에 의해 결정하는 것도 가능하다.
즉, 상기 기준시점의 위치는 다시점 중 중앙에 위치한 시점(1)으로 설정하 고, 제2 보조시점의 위치는 다시점의 양끝단 시점(0)으로 설정하고, 제1 보조시점의 위치는 상기 기준시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 위치하는 시점(2)으로 설정한다. 상기 시점외의 나머지 시점(3)은 모두 제3 보조시점이 된다.
관련하여, 다시점의 개수(m)가 7개 이하(m<=7) 인 경우, 상기 기준시점(1)과 제2 보조시점(0) 사이에 2개 이하의 시점만이 존재하는 경우에는, 상기 기준시점(1)과 제2 보조시점(0) 사이의 모든 시점을 제1 보조시점(2)으로 설정한다.
반면, 다시점의 개수(m)가 8개 이상(8<=m) 인 경우, 상기 제2 보조시점(0)과 제1 보조시점(2) 사이에 2개 이하의 시점만이 존재하는 경우에는, 상기 제2 보조시점(0)과 제1 보조시점(2) 사이의 모든 시점을 제3 보조시점(3)으로 설정한다.
예를 들어, 도 11a 및 도 11b에서, m=8, 9, 10 인 경우, 상기 제2 보조시점(0)과 제1 보조시점(2) 사이에 존재하는 1개 또는 2개의 시점이 제3 보조시점(3)으로 설정되었음을 알 수 있다.
또 다른 방식으로, 상기 기준시점(1)과 제2 보조시점(0) 사이에 2개 이하의 시점만이 존재하는 경우에도, 상기 기준시점(1)과 제2 보조시점(0) 사이의 모든 시점을 제3 보조시점(3)으로 설정할 수도 있다. 예를 들어, 도 11a 및 도 11b에서, m=8 인 경우, 기준시점(1)과 제2 보조시점(0) 사이에 존재하는 2개의 시점이 모두 제3 보조시점(3)으로 설정되었음을 알 수 있다.
또한, 상기 방식에 의해 결정된 기준시점과 보조시점들을 이용하여, 시점간 계층적 부호화('view scalability')를 수행할 수 있게 된다.
예를 들어, 다시점의 개수(m)가 7개 이하(m<=7) 인 경우에는, 하나의 기준시점 비트스트림과 2개의 계층적 보조시점 비트스트림을 생성하게 된다. 예를 들어, 상기 제2 보조시점(0)을 제1 계층적 보조시점으로 선택하고, 제1 보조시점(2)을 제2 계층적 보조시점으로 선택하는 것이 가능하다.
또한, 예를 들어, 다시점의 개수(m)가 8개 이상(m>=8)으로 m=8,9,10인 경우에는, 하나의 기준시점 비트스트림과 3개의 계층적 보조시점 비트스트림을 생성하게 된다. 예를들어, 상기 제1 보조시점(2)을 제1 계층적 보조시점으로 선택하고, 제2 보조시점(0)을 제1 계층적 보조시점으로 선택하고, 제3 보조시점(3)을 제3 계층적 보조시점으로 선택하는 것이 가능하다.
도 12는 본 발명의 다시점(multi view) 동영상의 시점간 계층적(hierarchy) 복호화 방법 및 장치를 설명하기 위해 도시한 것이다.
도 12에 따르면, 본 발명은 송신측 부호화단에서, 전술한 제1 실시예 ~ 제5 실시예 및 상기 실시예들로부터 예측가능한 변형적 방식에 의해, 다시점 영상에 대한 계층적 부호화를 수행하여 비트스트림을 생성하고 이를 수신측에 송신하게 된다.
따라서, 본 발명의 복호화 방법 및 장치는, 우선 상기 전술한 특징에 의해 생성된 비트스트림을 수신하여 이를 디코딩하여 각 계층별로 디코딩된 데이터를 생성한다. 이후, 사용자 또는 디스플레이의 선택에 의해 상기 계층별로 디코딩된 데이터를 이용하여, 다양한 방식의 디스플레이를 구현하는 것이 가능하게 된다.
예를 들어, 기준시점만을 재생하는 기준 레이어(121, Bsae layer)는 2차원 2D 디스플레이(125)에 적합하다. 또한, 기준시점과 제1 계층적 보조시점을 함께 재생하는 제1 인헨스먼트 레이어(122, Enhancement layer#1)는 2차원 영상을 2개 결합한 '스테레오 타입 디스플레이(126, stereo type display)'에 적합하다. 또한, 기준시점과 제1 계층적 보조시점 및 제2 계층적 보조시점을 함께 재생하는 제2 인헨스먼트 레이어(123, Enhancement layer#2)는 다시점 영상을 입체적으로 재생하는 '로우 멀티뷰 타입 디스플레이(127, low multi view display)'에 적합하다. 또한, 기준시점과 모든 계층적 보조시점을 함께 재생하는 제3 인헨스먼트 레이어(124, Enhancement layer#3)는 다시점 영상을 입체적으로 재생하는 '하이 멀티뷰 타입 디스플레이(128, high multi view display)'에 적합하다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명이 적용되는 실시예로서, 다시점 비디오 영상을 포함하는 비디오 신호의 디코딩을 위한 다시점 비디오 시스템의 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 본 발명을 적용한 시퀀스 파라미터 세트 RBSP 신택스(Sequence Parameter Set RBSP syntax)를 나타내는 구조도이다.
도 3a는 본 발명이 적용된 비트스트림의 구조로써, 하나의 비트스트림(bitstream) 내에서 하나의 시퀀스(sequence)만을 포함하는 경우를 나타낸다.
도 3b는 본 발명이 적용된 비트스트림의 구조로써, 하나의 비트스트림 내에서 2개의 시퀀스를 포함하는 경우를 나타낸다.
도 4a는 본 발명을 적용한 실시예로서, GGOP(Group Of GOP)의 구조를 나타내고, 도 4b, 도 4c는 본 발명에서 적용되는 temporal_units_size의 개념을 설명하기 위한 GGOP의 구조를 나타낸다.
도 5는 본 발명이 적용된 비디오 영상의 복호화 방법을 설명하는 흐름도를 나타낸다.
도 6a 및 도 6b는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조(prediction structure)를 도시한 것이다.
도 7a 및 도 7b는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측 구조를 도시한 것이다.
도 8은 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조를 도시한 것이다.
도 9a 및 도9b는 본 발명이 적용되는 실시예로서, 다시점 영상의 시점간 계층적(hierarchy) 예측구조를 도시한 것이다.
도 10a 및 도 10b는 본 발명이 적용되는 실시예로서, 2차원 다시점 영상의 예측구조를 도시한 것이다.
도 11a ~ 도 11c는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조를 도시한 것이다.
도 12는 본 발명의 다시점(multi view) 영상의 시점간 계층적(hierarchy) 복호화 방법 및 장치를 설명하기 위해 도시한 것이다.

Claims (8)

  1. 다시점 비디오 데이터 스트림의 시퀀스 영역으로부터 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 획득하는 단계, 여기서 상기 시점간 예측 구조 정보는 개수 정보와 시점 식별 정보를 포함하고, 상기 개수 정보는 다시점 비디오 데이터 내에 있는 시점들의 전체 개수를 나타내고, 상기 시점 식별 정보는 상기 다시점 비디오 데이터 내에 있는 참조 시점의 각 시점 식별자를 나타내며, 상기 랜덤 액세스 픽쳐 내의 모든 슬라이스들은 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조함;
    상기 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 이용하여 현재 슬라이스의 시점간 예측을 위한 참조 픽쳐 리스트를 결정하는 단계;
    상기 결정된 시점간 예측을 위한 참조 픽쳐 리스트에 기초하여 상기 현재 슬라이스 내에 있는 매크로블록의 예측값을 결정하는 단계; 및
    상기 예측값을 이용하여 상기 현재 슬라이스 내에 있는 상기 매크로블록을 디코딩하는 단계를 포함하되,
    상기 다시점 비디오 데이터는 기준 시점과 보조 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 보조 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 다시점 비디오 데이터의 디코딩 방법.
  2. 제1항에 있어서,
    상기 랜덤 액세스 픽쳐의 상기 시점간 예측 구조 정보는 예측 방향을 고려하여 획득되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법.
  3. 제2항에 있어서,
    상기 예측 방향은 픽쳐 출력 순서의 순방향 또는 역방향을 나타내는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법.
  4. 제1항에 있어서,
    상기 보조 시점은 상기 기준 시점을 참조하여 디코딩되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법.
  5. 다시점 비디오 데이터 스트림의 시퀀스 영역으로부터 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 획득하는 NAL 파싱부, 여기서 상기 시점간 예측 구조 정보는 개수 정보와 시점 식별 정보를 포함하고, 상기 개수 정보는 다시점 비디오 데이터 내에 있는 시점들의 전체 개수를 나타내고, 상기 시점 식별 정보는 상기 다시점 비디오 데이터 내에 있는 참조 시점의 각 시점 식별자를 나타내며, 상기 랜덤 액세스 픽쳐 내의 모든 슬라이스들은 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조함;
    상기 랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 이용하여 현재 슬라이스의 시점간 예측을 위한 참조 픽쳐 리스트를 결정하는 복호 픽쳐 버퍼부; 및
    상기 결정된 시점간 예측을 위한 참조 픽쳐 리스트에 기초하여 상기 현재 슬라이스 내에 있는 매크로블록의 예측값을 결정하고, 상기 예측값을 이용하여 상기 현재 슬라이스 내에 있는 상기 매크로블록을 디코딩하는 인터 예측부를 포함하되,
    상기 다시점 비디오 데이터는 기준 시점과 보조 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 보조 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 다시점 비디오 데이터의 디코딩 장치.
  6. 제5항에 있어서,
    상기 랜덤 액세스 픽쳐의 상기 시점간 예측 구조 정보는 예측 방향을 고려하여 획득되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치.
  7. 제6항에 있어서,
    상기 예측 방향은 픽쳐 출력 순서의 순방향 또는 역방향을 나타내는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치.
  8. 제5항에 있어서,
    상기 보조 시점은 상기 기준 시점을 참조하여 디코딩되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치.
KR1020097017208A 2006-01-12 2007-01-12 다시점 비디오의 처리 KR100934676B1 (ko)

Applications Claiming Priority (25)

Application Number Priority Date Filing Date Title
US75823406P 2006-01-12 2006-01-12
US60/758,234 2006-01-12
KR1020060004956 2006-01-17
KR20060004956 2006-01-17
US75962006P 2006-01-18 2006-01-18
US60/759,620 2006-01-18
US76253406P 2006-01-27 2006-01-27
US60/762,534 2006-01-27
KR20060027100 2006-03-24
KR1020060027100 2006-03-24
US78719306P 2006-03-30 2006-03-30
US60/787,193 2006-03-30
KR1020060037773 2006-04-26
KR1020060037773A KR20070076356A (ko) 2006-01-18 2006-04-26 비디오 영상의 부호화/복호화 방법 및 장치
US81827406P 2006-07-05 2006-07-05
US60/818,274 2006-07-05
US83008706P 2006-07-12 2006-07-12
US60/830,087 2006-07-12
US83032806P 2006-07-13 2006-07-13
US60/830,328 2006-07-13
KR1020060110337 2006-11-09
KR1020060110338 2006-11-09
KR1020060110337A KR20070076391A (ko) 2006-01-18 2006-11-09 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020060110338A KR20070076392A (ko) 2006-01-18 2006-11-09 비디오 신호의 디코딩/인코딩 방법 및 장치
PCT/KR2007/000228 WO2007081178A1 (en) 2006-01-12 2007-01-12 Processing multiview video

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20087019747A Division KR100953646B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090099589A KR20090099589A (ko) 2009-09-22
KR100934676B1 true KR100934676B1 (ko) 2009-12-31

Family

ID=46045583

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020097017210A KR100934677B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리
KR1020097017209A KR100943914B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR20087019747A KR100953646B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR1020097017211A KR100943915B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR1020097017208A KR100934676B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리
KR1020097017206A KR100943912B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR1020097017207A KR100943913B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR1020087019746A KR100947234B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020097017210A KR100934677B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리
KR1020097017209A KR100943914B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR20087019747A KR100953646B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR1020097017211A KR100943915B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020097017206A KR100943912B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR1020097017207A KR100943913B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치
KR1020087019746A KR100947234B1 (ko) 2006-01-12 2007-01-12 다시점 비디오의 처리 방법 및 장치

Country Status (6)

Country Link
US (9) US8115804B2 (ko)
EP (3) EP1977593A4 (ko)
JP (3) JP5192393B2 (ko)
KR (8) KR100934677B1 (ko)
DE (1) DE202007019463U1 (ko)
WO (3) WO2007081176A1 (ko)

Families Citing this family (241)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
EP2355360B1 (en) 2002-10-05 2020-08-05 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
EP2202888A1 (en) 2004-05-07 2010-06-30 Digital Fountain, Inc. File download and streaming system
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US8494042B2 (en) * 2006-01-09 2013-07-23 Lg Electronics Inc. Inter-layer prediction method for video signal
KR100934677B1 (ko) * 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
KR101342587B1 (ko) * 2006-03-22 2013-12-17 세종대학교산학협력단 조명변화 보상 움직임 예측 부호화 및 복호화 방법 및 장치
EP2025170B1 (en) * 2006-03-30 2015-01-07 LG Electronics Inc. A method and apparatus for decoding/encoding a video signal
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
WO2007148907A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
WO2008005124A2 (en) * 2006-07-05 2008-01-10 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
TWI344791B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
EP2632163A3 (en) * 2006-07-20 2013-11-27 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
WO2008023967A1 (en) * 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
CN101653000B (zh) * 2006-10-13 2013-01-02 汤姆逊许可公司 用于包含多视点视频编码的参考图像管理的方法
CN102761744B (zh) 2006-10-13 2015-10-28 汤姆逊许可公司 用于多视点视频编码的参考图像列表管理语法
CN101523920B (zh) * 2006-10-16 2013-12-04 汤姆森许可贸易公司 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
JP5421113B2 (ja) * 2006-10-18 2014-02-19 トムソン ライセンシング 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP2010507975A (ja) * 2006-10-24 2010-03-11 トムソン ライセンシング 多視点映像符号化のための画像の管理
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
KR101490534B1 (ko) * 2007-01-04 2015-02-05 톰슨 라이센싱 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
EP2116063B1 (en) * 2007-01-04 2017-03-08 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
EP2123042A4 (en) * 2007-01-24 2010-03-10 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
WO2008117963A1 (en) * 2007-03-23 2008-10-02 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
BRPI0823512A2 (pt) 2007-04-12 2013-11-26 Thomson Licensing Ladrilhamento em codificação e decodificação de vídeo
JP5254565B2 (ja) * 2007-04-24 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラム
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
CN101682786B (zh) * 2007-05-16 2016-05-18 汤姆森特许公司 解码多视图视频编码信息中使用码片组的方法和装置
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR101460362B1 (ko) * 2007-06-25 2014-11-14 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
KR20080114482A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
EP2168383A2 (en) * 2007-06-28 2010-03-31 Thomson Licensing Single loop decoding of multi-view coded video
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
CN101816180B (zh) * 2007-08-06 2013-01-16 汤姆森特许公司 利用多个视图间参考画面的运动跳跃模式的方法和装置
US20090060043A1 (en) * 2007-08-29 2009-03-05 Geert Nuyttens Multiviewer based on merging of output streams of spatio scalable codecs in a compressed domain
JP5027305B2 (ja) 2007-09-12 2012-09-19 デジタル ファウンテン， インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
EP2198620A2 (en) * 2007-10-05 2010-06-23 Thomson Licensing Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
KR20090099720A (ko) * 2008-03-18 2009-09-23 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8811499B2 (en) * 2008-04-10 2014-08-19 Imagine Communications Corp. Video multiviewer system permitting scrolling of multiple video windows and related methods
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
CN102177717B (zh) * 2008-10-07 2014-01-29 艾利森电话股份有限公司 一种用于产生媒体容器文件的方法及设备
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
WO2010058955A2 (ko) * 2008-11-18 2010-05-27 엘지전자 주식회사 영상 신호 처리 방법 및 장치
KR101190891B1 (ko) * 2008-12-17 2012-10-12 파나소닉 주식회사 관통전극의 형성방법 및 반도체 장치
WO2010071283A1 (ko) * 2008-12-18 2010-06-24 (주)엘지전자 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
MY155999A (en) 2009-01-19 2015-12-31 Panasonic Ip Corp America Coding method,decoding method,coding apparatus,decoding apparatus,program, and integrated circuit
CN104717521B (zh) 2009-01-26 2018-06-01 汤姆森特许公司 用于视频解码的方法
CN104618708B (zh) * 2009-01-28 2017-07-07 Lg电子株式会社 广播接收机及其视频数据处理方法
US8189666B2 (en) * 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
CN102308584B (zh) * 2009-02-12 2015-01-07 日本电信电话株式会社 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置以及多视点图像译码装置
US8270495B2 (en) * 2009-02-13 2012-09-18 Cisco Technology, Inc. Reduced bandwidth off-loading of entropy coding/decoding
ES2524973T3 (es) * 2009-02-23 2014-12-16 Nippon Telegraph And Telephone Corporation Codificación y decodificación de imágenes multivista usando corrección de iluminación y de color localizada
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP4957823B2 (ja) 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
JP4985883B2 (ja) * 2009-04-08 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
KR101619451B1 (ko) * 2009-04-17 2016-05-10 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 장치
WO2010125812A1 (ja) 2009-04-28 2010-11-04 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
KR101631270B1 (ko) * 2009-06-19 2016-06-16 삼성전자주식회사 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
EP2302933A1 (en) * 2009-09-17 2011-03-30 Mitsubishi Electric R&D Centre Europe B.V. Weighted motion compensation of video
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110129202A1 (en) * 2009-12-01 2011-06-02 Divx, Llc System and method for determining bit stream compatibility
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
CN102742282B (zh) 2010-01-29 2017-09-08 汤姆逊许可证公司 基于块的交错
KR101374812B1 (ko) * 2010-02-24 2014-03-18 니폰덴신뎅와 가부시키가이샤 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
WO2011146451A1 (en) 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
JP5387520B2 (ja) * 2010-06-25 2014-01-15 ソニー株式会社 情報処理装置と情報処理方法
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
JP5392199B2 (ja) * 2010-07-09 2014-01-22 ソニー株式会社 画像処理装置および方法
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
EP2604036B1 (en) * 2010-08-11 2018-03-07 GE Video Compression, LLC Multi-view signal codec
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
MX2013003557A (es) 2010-10-05 2013-05-01 Gen Instrument Corp Codificacion y decodificacion utilizando seleccion de modelo adaptativo al contexto con escaneo en zigzag.
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US20130250056A1 (en) * 2010-10-06 2013-09-26 Nomad3D Sas Multiview 3d compression format and algorithms
WO2012052968A1 (en) * 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
CN107454419B (zh) 2010-12-13 2020-12-29 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
GB2486692B (en) * 2010-12-22 2014-04-16 Canon Kk Method for encoding a video sequence and associated encoding device
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US9215473B2 (en) * 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20120095611A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오 부호화/복호화 방법 및 장치
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
ES2715613T3 (es) * 2011-06-28 2019-06-05 Lg Electronics Inc Método para fijar una lista de vectores de movimiento
US8879826B2 (en) * 2011-07-05 2014-11-04 Texas Instruments Incorporated Method, system and computer program product for switching between 2D and 3D coding of a video sequence of images
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
KR102020764B1 (ko) 2011-08-30 2019-09-11 디브이엑스, 엘엘씨 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9338463B2 (en) 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
US9781449B2 (en) * 2011-10-06 2017-10-03 Synopsys, Inc. Rate distortion optimization in image and video encoding
WO2013055148A2 (ko) 2011-10-12 2013-04-18 엘지전자 주식회사 영상 인코딩 방법 및 디코딩 방법
US8855433B2 (en) * 2011-10-13 2014-10-07 Sharp Kabushiki Kaisha Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US8787688B2 (en) * 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
WO2013067942A1 (zh) * 2011-11-08 2013-05-16 华为技术有限公司 一种帧内预测方法和装置
TWI532370B (zh) * 2011-11-08 2016-05-01 三星電子股份有限公司 解碼影像的方法
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
JP6394966B2 (ja) 2012-01-20 2018-09-26 サン パテント トラスト 時間動きベクトル予測を用いた、符号化方法、復号方法、符号化装置、及び、復号装置
WO2013115023A1 (ja) * 2012-01-31 2013-08-08 ソニー株式会社 画像処理装置および画像処理方法
EP3829177A1 (en) 2012-02-03 2021-06-02 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
CN103650497B (zh) 2012-03-02 2018-01-05 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
GB2500023A (en) * 2012-03-06 2013-09-11 Queen Mary & Westfield College Coding and Decoding a Video Signal Including Generating and Using a Modified Residual and/or Modified Prediction Signal
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US20130243085A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
KR102115323B1 (ko) * 2012-03-16 2020-05-26 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
JP2013247651A (ja) 2012-05-29 2013-12-09 Canon Inc 符号化装置、符号化方法およびプログラム
JP6000670B2 (ja) 2012-06-11 2016-10-05 キヤノン株式会社 画像処理装置、画像処理方法
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
US20140003799A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for decoding a video sequence encoded using predictions that include references to frames in reference segments from different video sequences
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
KR20140007272A (ko) * 2012-07-02 2014-01-17 삼성전자주식회사 블록크기에 따라 인터 예측의 참조픽처리스트를 결정하는 비디오 부호화 방법과 그 장치, 비디오 복호화 방법과 그 장치
RU2510944C2 (ru) * 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
JP5885604B2 (ja) 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
WO2014010935A1 (ko) * 2012-07-11 2014-01-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2014015807A1 (en) * 2012-07-27 2014-01-30 Mediatek Inc. Method of constrain disparity vector derivation in 3d video coding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US10469852B2 (en) 2012-08-23 2019-11-05 Mediatek Inc. Method and apparatus of interlayer texture prediction
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
US9426462B2 (en) 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding
AU2012391251B2 (en) 2012-09-29 2016-04-21 Huawei Technologies Co., Ltd. Method, apparatus and system for encoding and decoding video
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9723321B2 (en) 2012-10-08 2017-08-01 Samsung Electronics Co., Ltd. Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
TW201415898A (zh) * 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
WO2014103606A1 (ja) * 2012-12-26 2014-07-03 シャープ株式会社 画像復号装置
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
CN104104958B (zh) * 2013-04-08 2017-08-25 联发科技（新加坡）私人有限公司 图像解码方法及其图像解码装置
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
KR102105323B1 (ko) * 2013-04-15 2020-04-28 인텔렉추얼디스커버리 주식회사 객체 기반 적응적 밝기 보상 방법 및 장치
WO2014203726A1 (ja) * 2013-06-18 2014-12-24 シャープ株式会社 照度補償装置、ｌｍ予測装置、画像復号装置、画像符号化装置
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
FR3014278A1 (fr) * 2013-11-29 2015-06-05 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US10554967B2 (en) * 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
WO2016070363A1 (en) * 2014-11-05 2016-05-12 Mediatek Singapore Pte. Ltd. Merge with inter prediction offset
US9871967B2 (en) * 2015-01-22 2018-01-16 Huddly As Video transmission based on independently encoded background updates
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
PL412844A1 (pl) 2015-06-25 2017-01-02 Politechnika Poznańska System oraz sposób kodowania obszaru odsłoniętego w strumieniu danych sekwencji wielowidokowych
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
WO2018056709A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
JP6781340B2 (ja) * 2016-09-22 2020-11-04 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置
US10742979B2 (en) * 2016-12-21 2020-08-11 Arris Enterprises Llc Nonlinear local activity for adaptive quantization
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
JP7248664B2 (ja) 2017-10-05 2023-03-29 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ビデオ符号化および復号における適応的照度補償のための方法および装置
EP3468198A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
CN112399184B (zh) * 2018-05-16 2022-07-12 华为技术有限公司 一种运动矢量获取方法，装置，设备及计算机可读存储介质
WO2020010089A1 (en) * 2018-07-06 2020-01-09 Op Solutions, Llc Bi-prediction with adaptive weights
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
CN111263147B (zh) 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
CN111726598B (zh) * 2019-03-19 2022-09-16 浙江大学 图像处理方法和装置
CN110139112B (zh) * 2019-04-29 2022-04-05 暨南大学 一种基于jnd模型的视频编码方法
KR20210066282A (ko) 2019-11-28 2021-06-07 삼성전자주식회사 디스플레이 장치 및 그 제어방법
WO2021108913A1 (en) * 2019-12-04 2021-06-10 Studio Thinkwell Montréal Inc. Video system, method for calibrating the video system and method for capturing an image using the video system
KR102475334B1 (ko) * 2020-01-13 2022-12-07 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
US11375231B2 (en) * 2020-01-14 2022-06-28 Tencent America LLC Method and apparatus for video coding
US11412256B2 (en) 2020-04-08 2022-08-09 Tencent America LLC Method and apparatus for video coding
US20230024288A1 (en) * 2021-07-13 2023-01-26 Tencent America LLC Feature-based multi-view representation and coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013540A (ko) * 2002-08-07 2004-02-14 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR20050122717A (ko) * 2004-06-25 2005-12-29 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
ZA951617B (en) 1994-03-04 1997-02-27 Lilly Co Eli Antithrombotic agents.
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
WO1998031152A2 (en) 1997-01-13 1998-07-16 Koninklijke Philips Electronics N.V. Embedding supplemental data in a digital video signal
JPH11252552A (ja) 1998-03-05 1999-09-17 Sony Corp ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置
US6167084A (en) 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
US7236687B2 (en) * 2000-04-21 2007-06-26 Sony Corporation Information processing apparatus and method, program, and recording medium
KR100375708B1 (ko) 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
EP1418762A1 (en) 2002-05-22 2004-05-12 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
AU2003251484B2 (en) 2002-06-12 2009-06-04 The Coca-Cola Company Beverages containing plant sterols
CN1299502C (zh) 2002-06-20 2007-02-07 索尼株式会社 解码设备和解码方法
WO2004002141A1 (ja) 2002-06-20 2003-12-31 Sony Corporation 復号装置及び復号方法
KR20040001354A (ko) 2002-06-27 2004-01-07 주식회사 케이티 광역 무선랜 서비스 방법
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US7286689B2 (en) * 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
KR20060038408A (ko) 2003-06-30 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는비디오 처리를 위한 시스템 및 방법
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
CN1212014C (zh) 2003-08-18 2005-07-20 北京工业大学 基于时空域相关性快速运动估计的视频编码方法
US7613344B2 (en) * 2003-12-08 2009-11-03 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR100987775B1 (ko) 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
US7671893B2 (en) * 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
KR100584603B1 (ko) * 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
KR100760258B1 (ko) 2004-12-10 2007-09-19 한국전자통신연구원 범용적 다시점 동영상 부호화/복호화 장치 및 방법
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7710462B2 (en) 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
EP1946563A2 (en) 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR100934677B1 (ko) * 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
CN101375594B (zh) 2006-01-12 2011-09-07 Lg电子株式会社 处理多视图视频
EP2025170B1 (en) 2006-03-30 2015-01-07 LG Electronics Inc. A method and apparatus for decoding/encoding a video signal
JP5421113B2 (ja) 2006-10-18 2014-02-19 トムソン ライセンシング 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
EP2168383A2 (en) * 2007-06-28 2010-03-31 Thomson Licensing Single loop decoding of multi-view coded video
US8665958B2 (en) * 2008-01-29 2014-03-04 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
US8130277B2 (en) * 2008-02-20 2012-03-06 Aricent Group Method and system for intelligent and efficient camera motion estimation for video stabilization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013540A (ko) * 2002-08-07 2004-02-14 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR20050122717A (ko) * 2004-06-25 2005-12-29 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Also Published As

Publication number Publication date
KR100943913B1 (ko) 2010-03-03
US7817866B2 (en) 2010-10-19
US20070177674A1 (en) 2007-08-02
JP2009536793A (ja) 2009-10-15
KR100953646B1 (ko) 2010-04-21
JP2009523355A (ja) 2009-06-18
JP5199123B2 (ja) 2013-05-15
KR20090099591A (ko) 2009-09-22
US8154585B2 (en) 2012-04-10
KR20090099590A (ko) 2009-09-22
US7817865B2 (en) 2010-10-19
JP5199124B2 (ja) 2013-05-15
KR20090099588A (ko) 2009-09-22
EP1982517A1 (en) 2008-10-22
US20070177813A1 (en) 2007-08-02
EP1977593A4 (en) 2010-06-16
US20070177810A1 (en) 2007-08-02
KR100943914B1 (ko) 2010-03-03
US7970221B2 (en) 2011-06-28
KR20080094047A (ko) 2008-10-22
KR100947234B1 (ko) 2010-03-12
KR20090099098A (ko) 2009-09-21
US20070177673A1 (en) 2007-08-02
EP1982517A4 (en) 2010-06-16
KR20090099097A (ko) 2009-09-21
US8115804B2 (en) 2012-02-14
US8553073B2 (en) 2013-10-08
US20070177811A1 (en) 2007-08-02
US20070177812A1 (en) 2007-08-02
JP5192393B2 (ja) 2013-05-08
US20120121015A1 (en) 2012-05-17
KR100943912B1 (ko) 2010-03-03
WO2007081178A1 (en) 2007-07-19
KR100934677B1 (ko) 2009-12-31
KR20080094046A (ko) 2008-10-22
US7831102B2 (en) 2010-11-09
KR20090099589A (ko) 2009-09-22
EP1977593A1 (en) 2008-10-08
JP2009523356A (ja) 2009-06-18
US7856148B2 (en) 2010-12-21
US20070177672A1 (en) 2007-08-02
US20090310676A1 (en) 2009-12-17
KR100943915B1 (ko) 2010-03-03
DE202007019463U8 (de) 2013-03-21
WO2007081176A1 (en) 2007-07-19
WO2007081177A1 (en) 2007-07-19
EP1982518A4 (en) 2010-06-16
DE202007019463U1 (de) 2012-10-09
EP1982518A1 (en) 2008-10-22

Similar Documents

Publication Publication Date Title
KR100934676B1 (ko) 다시점 비디오의 처리
US9485492B2 (en) Compression methods and apparatus for occlusion data
CN105637878B (zh) 在视频译码中用于基于子解码图片缓冲器(sub-dpb)的dpb操作的传信
CN103155571B (zh) 译码立体视频数据
CN101375594B (zh) 处理多视图视频
CN104704835B (zh) 视频编码中运动信息管理的装置与方法
EP2538674A1 (en) Apparatus for universal coding for multi-view video
KR20090113281A (ko) 비디오 신호 처리 방법 및 장치
CN105874788A (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
US20160065983A1 (en) Method and apparatus for encoding multi layer video and method and apparatus for decoding multilayer video
CN101895744B (zh) 处理多视图视频
US20160044330A1 (en) Method and apparatus for decoding multi-layer video, and method and apparatus for encoding multi-layer video
JP7460760B2 (ja) サブピクチャベースビデオコーディングにおいてサブピクチャｉｄをシグナリングする
WO2015141977A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee