KR101619450B1 - 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치 - Google Patents

뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR101619450B1
KR101619450B1 KR1020117018820A KR20117018820A KR101619450B1 KR 101619450 B1 KR101619450 B1 KR 101619450B1 KR 1020117018820 A KR1020117018820 A KR 1020117018820A KR 20117018820 A KR20117018820 A KR 20117018820A KR 101619450 B1 KR101619450 B1 KR 101619450B1
Authority
KR
South Korea
Prior art keywords
depth
information
picture
data
coded
Prior art date
Application number
KR1020117018820A
Other languages
English (en)
Other versions
KR20110116166A (ko
Inventor
양정휴
서종열
최승종
임진석
임정은
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20110116166A publication Critical patent/KR20110116166A/ko
Application granted granted Critical
Publication of KR101619450B1 publication Critical patent/KR101619450B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림을 수신하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내는 단계; 상기 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보와 뎁스 레인지 정보를 획득하되, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내고, 상기 뎁스 레인지 정보는 서로 다른 시점에 있는 두 픽쳐 간 변이 차이의 최대값 및 최소값을 나타내는 정보를 나타내는 단계; 상기 데이터 타입 식별 정보에 따라 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는 경우, 상기 뎁스 코딩된 데이터를 복원하는 단계; 상기 뎁스 레인지 정보와 기설정된 뎁스 변화 임계 범위를 비교함으로써 상기 뎁스 레인지 정보를 조절하는 단계; 및 상기 복원된 뎁스 코딩된 데이터와 상기 조절된 뎁스 레인지 정보를 이용하여 3차원 영상을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 영상 신호 처리 방법을 제공한다.

Description

뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치{VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING DEPTH INFORMATION}
본 발명은 비디오 신호의 처리에 관한 기술이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 처리 효율을 높이고자 함에 있다.
본 발명은 뎁스 정보를 이용하여 효율적으로 3차원 디스플레이를 구현하는 방법 및 장치를 제공한다.
또한, 본 발명은, 화면 전환 또는 채널 스위칭시 뎁스 차이를 조절하기 위한 비디오 신호 처리 방법 및 장치를 제공한다.
또한, 본 발명은, 뎁스 픽쳐 데이터로 구성된 뎁스 비트스트림을 처리하기 위한 헤더 정보들을 정의함으로써, 보다 효율적인 비디오 신호의 디코딩 방법 및 장치를 제공한다.
또한, 본 발명은, 코덱 호환을 위한 신택스를 정의함으로써 서로 다른 종류의 코덱 사이의 호환성을 높이고자 한다.
이와 같이, 본 발명은 스테레오스코픽 3차원 영상, 또는 다수의 카메라를 이용하여 각기 다른 방향에서 촬영한 다시점 영상을 사용하는 3차원 디스플레이를 구현함에 있어, 뎁스 정보를 효율적으로 처리하기 위한 방법 및 장치를 제공한다. 뎁스 정보를 이용하여 가상 시점에서의 3차원 장면을 합성할 수 있기 때문에, 전송되지 않은 영상의 시점에 대해서도 3차원 콘텐츠를 생성할 수 있게 된다.
또한, 뎁스 레인지 정보를 조절함으로써 화면 전환, 객체의 갑작스런 변화, 또는 채널 전환 시 생기는 뎁스의 변화를 최소화시킬 수 있고, 이로써 사용자로 하여금 시각의 피로를 덜 느끼게 할 수 있는 3차원 영상을 제공할 수 있다.
또한, 영상 시퀀스(예를 들어, 컬러 픽쳐, 뎁스 픽쳐, 또는 컬러 픽쳐와 뎁스 픽쳐로 구성된 영상 시퀀스)의 시간적, 공간적 상관 관계를 이용하여 움직임 정보를 예측함으로써 신호 처리 효율을 높일 수 있다. 또한 현재 블록과 상관 관계가 높은 픽쳐의 코딩 정보를 이용하여 현재 블록의 코딩 정보를 예측함으로써 보다 정확하게 예측이 가능하고, 그에 따른 오차값 전송량이 감소하게 되어 효율적인 코딩을 수행할 수 있다. 그리고, 현재 블록의 움직임 정보가 전송되지 않더라도, 현재 블록의 움직임 정보와 매우 유사한 움직임 정보를 산출할 수 있기 때문에 복원율이 향상되는 효과가 있다.
또한, 뎁스 픽쳐 데이터로 구성된 뎁스 비트스트림을 처리하기 위한 헤더 정보들을 정의하고, 뎁스 비트스트림 내에서 시점간 의존 관계를 확인함으로써 코딩 효율을 향상시킬 수 있다.
또한, 코덱 호환을 위한 신택스를 정의함으로써 서로 다른 종류의 코덱 사이의 호환성을 높일 수 있다.
도 1은 본 발명이 적용되는 실시예로서, 뎁스(depth)의 개념을 설명하기 위해 나타낸 것이다.
도 2는 본 발명이 적용되는 실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
도 3은 본 발명이 적용되는 실시예로서, 뎁스 정보를 처리할 수 있는 비디오 디코더의 개략적인 블록도를 나타낸다.
도 4A는 본 발명이 적용되는 실시예로서, 뎁스 코딩된 비트스트림에 포함될 수 있는 뎁스 코딩 정보를 나타낸다.
도 4B는 본 발명이 적용되는 실시예로서, 뎁스 레인지 정보를 포함하는 SEI 메시지 정보가 적용되는 다시점 비디오 코딩의 구조의 나타낸다.
도 5는 본 발명이 적용되는 실시예로서, 뎁스 코딩된 비트스트림의 구조 및 전송 방법을 설명하기 위해 나타낸 것이다.
도 6은 본 발명이 적용되는 실시예로서, 뎁스 정보를 이용한 디지털 TV의 채널 전환 장치의 개략적인 블록도를 나타낸다.
도 7은 본 발명이 적용되는 실시예로서, 뎁스 변화를 조절하는 후처리부(680)의 개략적인 블록도를 나타낸다.
도 8은 본 발명이 적용되는 실시예들로서, 좌우 영상 신호의 픽셀 쉬프트를 이용하여 뎁스 변화를 조절하는 예를 나타낸다.
도 9는 본 발명이 적용되는 실시예로서, 뎁스 맵 스케일링을 이용하여 뎁스 변화를 조절하는 예를 나타낸다.
도 10은 본 발명이 적용되는 실시예들로서, 뎁스 시퀀스를 식별하기 위한 정보의 실시예를 나타낸다.
[발명의 실시를 위한 최선의 형태]
본 발명은, 컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림을 수신하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내는 단계; 상기 다시점 비디오 코딩된 비트스트림으로 부터 데이터 타입 식별 정보와 뎁스 레인지 정보를 획득하되, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내고, 상기 뎁스 레인지 정보는 서로 다른 시점에 있는 두 픽쳐 간 변이 차이의 최대값 및 최소값을 나타내는 정보를 나타내는 단계; 상기 데이터 타입 식별 정보에 따라 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는 경우, 상기 뎁스 코딩된 데이터를 복원하는 단계; 상기 뎁스 레인지 정보와 기설정된 뎁스 변화 임계 범위를 비교함으로써 상기 뎁스 레인지 정보를 조절하는 단계; 및 상기 복원된 뎁스 코딩된 데이터와 상기 조절된 뎁스 레인지 정보를 이용하여 3차원 영상을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 영상 신호 처리 방법을 제공한다.
또한, 본 발명에서, 상기 뎁스 레인지 정보가 상기 기설정된 뎁스 변화 임계 범위를 초과하는 경우, 상기 뎁스 레인지 정보는 상기 뎁스 변화 임계 범위 내의 값을 갖도록 스케일링 팩터를 곱함으로써 조절되는 것을 특징으로 한다. 또한, 본 발명에서, 상기 뎁스 레인지 정보는 부가 정보 영역(supplementary information area)으로부터 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 데이터 타입 식별 정보는 뎁스 코딩된 NAL 유닛의 확장 영역으로부터 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 다시점 비디오 코딩된 비트스트림은 기준 시점(base view)과 비-기준 시점(non-base view)의 컬러 픽쳐 및 뎁스 픽쳐를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 비-기준 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 한다.
또한, 본 발명은, 컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보 및 뎁스 레인지 정보를 획득하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내고, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코팅된 데이터를 포함하고 있는지 여부를 나타내는 트랜스포트 역다중화부;
상기 데이터 타입 식별 정보에 기초하여 상기 뎁스 픽쳐를 복원하는 비디오 디코더;
상기 뎁스 레인지 정보와 기설정된 뎁스 변화 임계 범위를 비교함으로써 상기 뎁스 레인지 정보를 조절하는 후처리부; 및
상기 복원된 뎁스 코딩된 데이터와 상기 조절된 뎁스 레인지 정보를 이용하여 3차원 영상을 디스플레이하는 디스플레이부
를 포함하는 것을 특징으로 하는 특징으로 하는 영상 신호 처리 장치를 제공한다.
[발명의 실시를 위한 형태]
비디오 신호 데이터를 압축 부호화하는 기술은 공간적 중복성, 시간적 중복성, 스케일러블한 중복성, 시점간 존재하는 중복성을 고려하고 있다. 그 중 다시점 영상을 사용하는 3차원 디스플레이를 구현하기 위해 뎁스 픽쳐(depth picture)를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 등을 고려하여 압축 코딩을 할 수 있다. 이러한 압축 코딩에 대한 기술은 뎁스 픽쳐들로 구성된 영상 시퀀스뿐만 아니라, 컬러 픽쳐들로 구성된 영상 시퀀스 또는 컬러 픽쳐와 뎁스 픽쳐로 구성된 영상 시퀀스에 적용될 수 있다. 여기서, 뎁스(depth)라 함은, 3차원 공간에서 카메라와 물체 사이의 거리를 의미할 수 있고, 이차원 영상에서는 시점 차이로 인해 생기는 변이 차이를 의미할 수 있다. 이에 대한 구체적인 설명은 도 1에서 하도록 한다. 또한, 본 명세서 내에서 뎁스 정보, 뎁스 데이터, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 코딩, 뎁스 비트스트림, 뎁스 맵 등과 같은 용어들은 상기 뎁스의 정의에 따라 뎁스에 관련된 정보로 유연하게 해석될 수 있을 것이다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
비디오 신호의 비트열 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.
NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL 헤더에는 그 NAL 단위의 참조 픽쳐가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 종류를 나타내는 식별자(nal_unit_type)가 포함되어 있다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다. 이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다. 이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식별자(profile_idc)로 식별할 수 있다. 프로파일 식별자란, 비트스트림이 기반을 둔 프로파일을 나타내는 플래그를 의미한다. 예를 들어, H.264/AVC 에서는 프로파일 식별자가 66 이면 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 상기 프로파일 식별자는 시퀀스 파라미터 세트에 포함될 수 있다.
따라서, 뎁스 픽쳐를 포함하는 영상 시퀀스(이하, 뎁스 시퀀스라 한다)를 다루기 위해서는 입력되는 비트스트림이 뎁스 시퀀스의 프로파일(Profile)에 대한 것인지 여부를 식별하고, 뎁스 시퀀스의 프로파일로 식별되면 뎁스 코딩에 관련된 적어도 하나의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 여기서 뎁스 시퀀스의 프로파일이란, H.264/AVC의 추가 기술로서 뎁스 픽쳐(depth picture)를 다루는 프로파일 모드(profile mode)를 나타낼 수 있으며, 또는 뎁스 픽쳐를 포함하는 다시점 비디오(multiview video)에 관한 프로파일 모드(profile mode)를 나타낼 수 있다. 뎁스 코딩은 기존 AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다는 뎁스 코딩 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다 예를 들어, AVC의 프로파일 식별자가 뎁스 시퀀스의 프로파일을 나타낼 때 뎁스 코딩에 대한 정보를 추가하면 부호화 효율을 높일 수 있다.
시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다. 압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 결국, 시퀀스 파라미터 세트 RBSP 는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다. 비트스트림이 입력되면, 먼저 프로파일 식별자는 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다. 따라서, 입력되는 비트스트림이 뎁스 시퀀스의 프로파일에 대한 것인지 여부를 판단하는(예를 들어, " If ( profile_idc == DEPTH_PROFILE )") 부분을 신택스 상에 추가함으로써, 입력된 비트스트림이 뎁스 시퀀스의 프로파일에 대한 것인지 여부를 판별하고, 뎁스 시퀀스의 프로파일에 대한 것으로 인정되는 경우에만 여러 가지 속성 정보들을 추가할 수 있게 된다. 예를 들어, 뎁스 시퀀스의 전체 시점의 개수, 뎁스-뷰(depth-view) 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 시점 식별 번호 등을 추가할 수 있다. 또한, 복호 픽쳐 버퍼에서는 참조 픽쳐 리스트를 생성 및 관리하기 위하여 뎁스-뷰 참조 픽쳐에 대한 정보들을 이용할 수 있다.
도 1은 본 발명이 적용되는 실시예로서, 뎁스(depth)의 개념을 설명하기 위해 나타낸 것이다.
앞서 설명한 바와 같이, 뎁스(depth)라 함은 카메라로부터 물체 사이의 거리를 의미할 수 있으며, 복수개의 카메라로 촬영된 영상 시퀀스에 있어서 시점 차이로 인해 생기는 변이 차이값에 대응될 수 있다. 따라서, 본 명세서에서 뎁스는 3차원 공간에서 카메라와 물체 사이의 실제 거리에 대응되는 경우에 적용될 수 있고, 2차원 평면에서의 변이 차이 값에 대응되는 경우에 적용될 수도 있다. 상기 도 1을 참조하면, 카메라의 위치(Oc)는 3차원 카메라 좌표계의 원점을 나타내며, Z축(optical axis)은 눈이 바라보는 방향과 일직선이 된다. 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)는 Z축에 수직인 2차원 이미지 평면의 임의의 한 점 p=(x,y)으로 투영될 수 있다. 이때, 2차원 이미지 평면 상의 p=(x,y)는 3차원 좌표계의 P=(X,Y,Z)의 컬러값으로 표현될 수 있으며, 이 때의 2차원 이미지 평면은 컬러 픽쳐를 의미할 수 있다. 또한, 2차원 이미지 평면 상의 p=(x,y)는 3차원 좌표계의 P=(X,Y,Z)의 Z 값으로 표현될 수 있으며, 이 때의 2차원 이미지 평면은 뎁스 픽쳐를 의미할 수 있다. 여기서, 초점 길이(f)는 카메라의 위치와 이미지 평면간의 거리를 의미할 수 있다.
또한, 상기 3차원 좌표계의 P=(X,Y,Z)는 카메라 좌표계의 임의의 한 점을 나타내나, 복수개의 카메라로 촬영된 경우 상기 복수개의 카메라들에 대한 공통의 기준 좌표계가 필요할 수 있다. 상기 도 1에서, Ow 점을 기준으로 하는 기준 좌표계의 임의의 점을 Pw=(Xw, Yw, Zw)라 할 수 있고, 상기 Pw=(Xw,Yw,Zw)는 3x3 로테이션 매트릭스(rotation matrix) R과 3x1 변환 벡터(translation vector) T를 이용하여 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)으로 변환할 수 있다. 상기 P는 수학식 1과 같이 획득될 수 있다.
[수학식 1]
Figure 112011062444017-pct00001
상기의 설명에 기초하여 뎁스 픽쳐(depth picture) 또는 뎁스 맵(depth map)을 다시 정의하면, 카메라의 위치를 기준으로 카메라의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라 할 수 있고, 이는 픽쳐 단위, 슬라이스 단위 등으로 표현될 수 있다. 그리고, 상기 뎁스 픽쳐 또는 뎁스 맵 내에서 뎁스 정보는 픽셀 단위로 표현될 수 있다.
상기 뎁스 픽쳐의 각 픽셀 값은 카메라 좌표계의 대응되는 좌표 P=(X,Y,Z)의 Z 좌표값으로 표현될 수 있으며, 상기 Z 좌표값은 실수 범위에 속하는 값이므로, 디지털 이미지 포맷으로 나타내기 위해서는 정수 범위에 속하는 값으로 양자화시킬 필요가 있다. 상기 뎁스 픽쳐의 각 픽셀 값은 다음 수학식 2 또는 수학식 3에 의해 양자화될 수 있다.
[수학식 2]
Figure 112011062444017-pct00002
[수학식 3]
Figure 112011062444017-pct00003
상기 수학식 2 또는 수학식 3에서 Zq는 양자화된 뎁스 정보를 의미하며, 상기 도 1의 [Top view]를 참고하면, Znear는 Z 좌표값의 하한(the lower limit)을, Zfar는 Z 좌표값의 상한(the upper limit)을 의미한다. 상기 수학식 2 또는 수학식 3에 따라 상기 양자화된 뎁스 정보는 0∼255 범위 내의 정수값을 가질 수 있다.
이처럼, 뎁스 픽쳐 또는 뎁스 맵은 컬러 픽쳐의 영상 시퀀스와 함께 또는 별개의 시퀀스로 코딩될 수 있으며, 이러한 경우 기존의 코덱과의 호환을 위해 다양한 실시예들이 적용될 수 있다. 예를 들어, H.264 코덱과 호환될 수 있도록 뎁스 코딩 기술이 부가 기술로 적용될 수 있으며, 또는 H.264/AVC 다시점 비디오 코딩 내에서 확장 기술로 적용될 수 있으며, 또는 H.264/AVC 스케일러블 비디오 코딩 내에서 확장 기술로 적용될 수 있다. 또한, 뎁스 픽쳐를 포함하는 영상 시퀀스만을 코딩하는 별개의 코덱 기술로 이용될 수도 있다. 이하에서는 뎁스 코딩에 대한 구체적인 실시예들을 살펴보며, 뎁스 코딩의 구체적인 실시예들은 앞서 설명한 바와 같이 다양한 케이스에서도 모두 활용할 수 있다.
도 2는 본 발명이 적용되는 실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
본 실시예에 따른 방송 수신기는 공중파 방송신호를 수신하여 영상을 재생하기 위한 것이다. 상기 방송 수신기는 수신된 뎁스 관련 정보들을 이용하여 3차원 콘텐츠를 생성할 수 있다. 상기 방송 수신기는 튜너(200), 복조/채널 디코더(202), 트랜스포트 역다중화부(204), 패킷 해제부(206), 오디오 디코더(208), 비디오 디코더(210), PSI/PSIP 처리부(214), 3D 렌더링부(216), 포맷터(220) 및 디스플레이부(222)를 포함한다.
튜너(200)는 안테나(미도시)를 통해 입력되는 다수의 방송 신호들 중에서 사용자가 선국한 어느 한 채널의 방송 신호를 선택하여 출력한다. 복조/채널 디코더(202)는 튜너(200)로부터의 방송 신호를 복조하고 복조된 신호에 대하여 에러 정정 디코딩을 수행하여 트랜스포트 스트림(TS)을 출력한다. 트랜스포트 역다중화부(204)는 트랜스포트 스트림을 역다중화하여, 비디오 PES(Packeted Elementary Stream)와 오디오 PES(Packeted Elementary Stream)를 분리하고, PSI(Program Specific Information)/PSIP(Program and System Information Protocol) 정보를 추출해낸다. 패킷 해제부(206)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원한다. 오디오 디코더(208)는 오디오 ES를 디코딩하여 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다. 비디오 디코더(210)는 비디오 ES를 디코딩하여 원래의 영상을 복원한다. 상기 오디오 디코더(208) 및 상기 비디오 디코더(210)의 디코딩 과정은 PSI/PSIP 처리부(214)에 의해 확인되는 패킷 ID(PID)를 토대로 진행될 수 있다. 디코딩 과정에서, 상기 비디오 디코더(210)는 뎁스 정보를 추출할 수 있다. 또한, 가상 카메라 시점의 영상을 생성하는데 필요한 부가 정보, 예를 들어, 카메라 정보, 또는 앞에 있는 물체에 의해 가려져 있어 안보이는 부분(Occlusion)을 추정하기 위한 정보(예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 색상 정보) 등을 추출하여 3D 렌더링부(216)에 제공할 수 있다. 그렇지만, 본 발명의 다른 실시예에 있어서는, 상기 뎁스 정보 및/또는 부가 정보가 트랜스포트 역다중화부(204)에 의해 분리될 수도 있다.
PSI/PSIP 처리부(214)는 트랜스포트 역다중화부(204)로부터의 PSI/PSIP 정보를 받아들이고, 이를 파싱하여 메모리(미도시) 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송이 재생되도록 한다. 3D 렌더링부(216)는 복원된 영상, 뎁스 정보, 부가 정보 및 카메라 파라미터를 이용하여, 가상 카메라 위치에서의 뎁스 정보를 생성할 수 있다. 또한, 3D 렌더링부(216)는 복원된 영상과, 가상 카메라 위치에서의 뎁스 정보를 토대로 3D 워핑(Warping)을 수행함으로써, 가상 카메라 위치에서의 영상을 생성한다. 본 실시예에서는 상기 3D 렌더링부(216)가 상기 비디오 디코더(210)와 별개의 블록으로 구성되어 설명되고 있지만, 이는 일실시예에 불과하며, 상기 3D 렌더링부(216)는 상기 비디오 디코더(210)에 포함되어 수행될 수도 있다.
포맷터(220)는 디코딩 과정에서 복원한 영상 즉, 실제 카메라에 의하여 촬영된 영상과, 3D 렌더링부(216)에 의하여 생성된 영상을 해당 수신기에서의 디스플레이 방식에 맞게 포맷팅하여, 디스플레이부(222)를 통해 3D 영상이 표시되도록 하게 된다. 여기서, 상기 3D 렌더링부(216)에 의한 가상 카메라 위치에서의 뎁스 정보 및 영상의 합성, 그리고 포맷터(220)에 의한 영상 포맷팅이 사용자의 명령에 응답하여 선택적으로 수행될 수도 있다. 즉, 시청자는 리모콘(미도시)을 조작하여 합성 영상이 표시되지 않도록 할 수도 있고, 영상 합성이 이루어질 시점을 지정할 수도 있다.
상기에서 살펴본 바와 같이, 3D 영상을 생성하기 위해 뎁스 정보는 3D 렌더링부(216)에서 이용되고 있지만, 다른 실시예로서 상기 비디오 디코더(210)에서 이용될 수도 있다. 이하에서는 상기 비디오 디코더(210)에서 뎁스 정보를 이용하는 다양한 실시예들을 살펴보도록 한다.
도 3은 본 발명이 적용되는 실시예로서, 뎁스 정보를 처리할 수 있는 비디오 디코더의 개략적인 블록도를 나타낸다.
도 3을 참조하면, 상기 비디오 디코더(210)는 크게 엔트로피 디코딩부(310), 역양자화부(320), 역변환부(330), 디블로킹 필터부(340), 복호 픽쳐 버퍼부(350), 인터 예측부(360) 및 인트라 예측부(370)를 포함할 수 있다. 여기서, 실선은 컬러 픽쳐 데이터의 흐름을 의미하며, 점선은 뎁스 픽쳐 데이터의 흐름을 의미한다. 이와 같이, 상기 도 3에서는 컬러 픽쳐 데이터와 뎁스 픽쳐 데이터를 구분하여 표시하였지만, 이는 별개의 비트스트림을 의미할 수 있고, 또는 하나의 비트스트림 내에서 데이터의 흐름만을 구분한 것으로 볼 수도 있다. 즉, 상기 컬러 픽쳐 데이터와 상기 뎁스 픽쳐 데이터는 하나의 비트스트림, 또는 별개의 비트스트림으로 전송될 수 있고, 도 3에서는 데이터의 흐름을 나타낼 뿐 하나의 디코더 내에서 모두 수행되는 것으로 한정되지 않는다.
먼저 수신된 뎁스 비트스트림(300)을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 셋과 픽쳐 파라미터 셋이 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역, NAL 헤더의 확장 영역, 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트), 시퀀스 헤더의 확장 영역, 픽쳐 헤더 영역(예를 들어, 픽쳐 파라미터 세트), 픽쳐 헤더의 확장 영역, 슬라이스 헤더 영역, 슬라이스 헤더의 확장 영역, 슬라이스 데이터 영역, 또는 매크로 블록 영역에는 뎁스에 관련된 여러 가지 속성 정보가 포함될 수 있다.
뎁스 코딩은 별개의 코덱으로 이용될 수 있지만, 기존 코덱과의 호환을 이루는 경우라면 뎁스 비트스트림인 경우에 한해 뎁스에 관련된 여러 가지 속성 정보들을 추가하는 것이 더 효율적일 수 있다. 예를 들어, 상기 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트) 또는 시퀀스 헤더의 확장 영역에서 뎁스 비트스트림인지 여부를 식별할 수 있는 뎁스 식별 정보를 추가할 수 있다. 상기 뎁스 식별 정보에 따라, 입력된 비트스트림이 뎁스 코딩된 비트스트림일 경우에 한해 뎁스 시퀀스에 대한 속성 정보들을 추가할 수 있다. 예를 들어, 상기 속성 정보들은 데이터 타입 식별 정보(data type identification information), 뎁스-시점 식별 정보(depth-view identification information) 등을 포함할 수 있다. 이는 도 4A에서 상세히 설명하도록 한다.
파싱된 뎁스 비트스트림(300)은 엔트로피 디코딩부(310)를 통하여 엔트로피 디코딩되고, 각 매크로브록의 계수, 움직임 벡터 등이 추출된다. 역양자화부(320)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 역변환부(330)에서는 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 인트라 예측부(370)에서는 현재 뎁스 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 한편, 디블로킹 필터부(340)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 디블로킹 필터링을 적용한다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(350)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(350)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 뎁스 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(350)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보도 함께 이용할 수 있다.
또한, 상기 복호 픽쳐 버퍼부(350)는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 뎁스 시점에 대한 정보를 이용할 수 있다. 예를 들어, 뎁스-뷰 참조 정보(depth-view reference information)를 이용할 수 있다. 뎁스-뷰 참조 정보란, 뎁스 픽쳐들의 시점간 의존 관계를 나타내기 위해 이용되는 정보들을 말한다. 예를 들어, 전체 뎁스 시점의 개수, 뎁스 시점 식별 번호, 뎁스-뷰 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 뎁스 시점 식별 번호 등이 있을 수 있다.
상기 복호 픽쳐 버퍼부(350)는 보다 유연하게 화면간 예측을 실현하기 위하여 참조 픽쳐를 관리한다. 예를 들어, 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method)이 이용될 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 컬러 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(360)에서 뎁스 코딩을 위해 이용될 수 있다.
도 3을 참조하면, 인터 예측부(360)는 움직임 보상부(361), 가상시점 합성부(362) 및 뎁스 픽쳐 예측부(363)를 포함할 수 있다.
움직임 보상부(361)에서는 엔트로피 디코딩부(310)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 예측값을 획득한다. 상기 획득된 움직임 벡터 예측값과 상기 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 뎁스 코딩에 있어서, 현재 뎁스 픽쳐가 다른 시점에 있는 뎁스 픽쳐를 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(350)에 저장되어 있는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다. 또한, 그 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보를 이용하여 움직임 보상을 수행할 수도 있다.
또한, 가상 시점 합성부(Virtual View Synthesizing Unit)(362)는 현재 픽쳐의 시점에 이웃하는 시점에 있는 픽쳐를 이용하여 새로운 시점의 컬러 픽쳐를 합성한다. 이때, 합성된 새로운 시점의 컬러 픽쳐는 현재 픽쳐를 예측하기 위해 이용될 수 있다. 각 이웃하는 시점의 픽쳐들을 이용하기 위해 또는 원하는 특정 시점의 픽쳐들을 이용하기 위해, 픽쳐의 시점을 나타내는 시점 식별 정보가 이용될 수 있다. 이러한 새로운 시점을 생성하게 될 경우, 상기 새로운 시점을 생성할지 여부를 알려주는 플래그 정보를 정의할 필요가 있다. 상기 플래그 정보가 상기 새로운 시점을 생성할 것임을 알려주었을 때, 상기 시점 식별 정보를 이용하여 새로운 시점을 생성할 수 있다. 상기 가상 시점 합성부(362)를 통해 획득된 새로운 시점의 픽쳐들은 참조 픽쳐로 사용될 수도 있으며, 이 경우 상기 새로운 시점의 픽쳐들에 상기 시점 식별 정보를 할당할 수 있다. 또한, 움직임 벡터를 전송하기 위해 움직임 벡터 예측을 수행하는 과정에서, 현재 블록의 이웃 블록들이 상기 가상 시점 합성부(362)를 통해 획득된 픽쳐를 참조할 수 있다. 이 때, 상기 새로운 시점의 픽쳐를 참조 픽쳐로 이용하기 위해 픽쳐의 시점을 나타내는 시점 식별 정보가 이용될 수 있다.
다른 실시예로, 상기 가상 시점 합성부(362)는 현재 뎁스 픽쳐의 시점에 이웃하는 시점에 있는 뎁스 픽쳐를 이용하여 새로운 시점의 뎁스 픽쳐를 합성할 수 있다. 이때, 합성된 새로운 시점의 뎁스 픽쳐는 현재 뎁스 픽쳐를 예측하기 위해 이용될 수 있다. 그리고, 뎁스 픽쳐의 시점을 나타내기 위해 뎁스 시점 식별 정보가 이용될 수 있다. 여기서, 상기 뎁스 시점 식별 정보는 대응되는 컬러 픽쳐의 시점 식별 정보로부터 유도될 수 있다. 예를 들어, 상기 대응되는 컬러 픽쳐는 현재 뎁스 픽쳐와 동일한 픽쳐 출력 순서 정보 및 동일한 시점 식별 정보를 가질 수 있다.
또 다른 실시예로, 상기 가상 시점 합성부(362)는 현재 뎁스 픽쳐의 시점에 이웃하는 시점에 있는 뎁스 픽쳐를 이용하여 새로운 시점의 컬러 픽쳐를 합성할 수 있다. 또는 현재 컬러 픽쳐의 시점에 이웃하는 시점에 있는 컬러 픽쳐를 이용하여 새로운 시점의 뎁스 픽쳐를 합성할 수도 있다.
뎁스 픽쳐 예측부(363)는 뎁스 코딩 정보를 이용하여 현재 뎁스 픽쳐를 예측할 수 있다. 여기서, 상기 뎁스 코딩 정보는 뎁스 코딩과 관련된 정보, 예를 들어, 뎁스 코딩을 위한 새로운 매크로블록 타입 정보, 뎁스 픽쳐 내의 경계선 식별 정보, 또는 RBSP내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 정보 등을 의미할 수 있다.
상기와 같은 과정을 통해 인터 예측된 픽쳐와 인트라 예측된 픽쳐는 예측 모드에 따라 선택되어 현재 픽쳐(또는 현재 뎁스 픽쳐)를 복원하게 된다.
도 4A는 본 발명이 적용되는 실시예로서, 뎁스 코딩된 비트스트림에 포함될 수 있는 뎁스 코딩 정보를 나타낸다.
상기 도 4A에서는 뎁스 코딩된 비트스트림의 속성 정보들이 포함될 수 있는 NAL 단위의 구성의 일례를 나타낸다. 크게 NAL 유닛은 NAL 유닛의 헤더와 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)로 구성될 수 있다. 그리고, NAL 유닛의 헤더에서는 NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 있는지 여부를 나타내는 식별 정보(nal_ref_idc)와 NAL 유닛의 타입을 나타내는 정보(nal_unit_type)를 포함할 수 있다. 또한, 제한적으로 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 예를 들어, 상기 NAL 유닛의 타입을 나타내는 정보가 스케일러블 비디오 코딩과 관련이 있는 경우, 또는 다시점 비디오 코딩과 관련이 있는 경우, 또는 뎁스 코딩과 관련이 있는 경우, 또는 prefix NAL 유닛을 나타내는 경우에, 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 구체적 예로, 상기 nal_unit_type 이 슬라이스 레이어의 확장 데이터를 나타내는 경우, 또는 시퀀스 헤더의 확장 데이터를 나타내는 경우, 또는 서브셋 시퀀스 헤더의 확장 데이터를 나타내는 경우, 또는 prefix NAL 유닛을 나타내는 경우, 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역을 포함할 수 있다. 또한, 상기 NAL 유닛 헤더의 확장 영역 내에서는, 뎁스 코딩된 비트스트림인지 여부를 식별할 수 있는 플래그 정보에 따라 뎁스 시퀀스에 대한 속성 정보들을 추가할 수 있다.
또 다른 예로, 상기 NAL 유닛의 타입을 나타내는 정보가 시퀀스 헤더를 나타내는 정보일 경우, 상기 RBSP는 시퀀스 파라미터 세트에 대한 정보를 포함할 수 있다. 이 때, 프로파일 정보에 따라 상기 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 예를 들어, 프로파일 정보(profile_idc)가 뎁스 코딩에 관련된 프로파일인 경우, 상기 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 또는 프로파일 정보에 따라 서브셋 시퀀스 파라미터 세트가 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 상기 시퀀스 파라미터 세트의 확장 영역은 뎁스 픽쳐의 시점간 의존 관계를 나타내는 뎁스-뷰 참조 정보를 포함할 수 있다.
이하 뎁스 시퀀스에 대한 다양한 속성 정보들, 예를 들어, NAL 유닛 헤더의 확장 영역에 포함될 수 있는 속성 정보들, 또는 시퀀스 파라미터 세트의 확장 영역에 포함될 수 있는 속성 정보들에 대해 구체적으로 살펴보도록 한다.
먼저, 데이터 타입 식별 정보(data type identification information)는 NAL 유닛의 RBSP 내에 포함된 데이터의 타입을 식별하는 정보를 의미할 수 있다. 예를 들어, RBSP 내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 정보(depth_flag)를 정의할 수 있다. 상기 정보는 NAL 유닛 헤더의 확장 영역, 시퀀스 파라미터 세트, 시퀀스 파라미터 세트의 확장 영역, 슬라이스 레이어 영역, 슬라이스 레이어의 확장 영역, 슬라이스 헤더, 슬라이스 헤더의 확장 영역, 매크로블록 레이어, 또는 이들의 다시점 비디오 신호를 나타내는 영역 중 적어도 하나의 영역에서 정의될 수 있다.
또한, 뎁스-뷰 참조 정보는 뎁스 픽쳐의 시점간 의존 관계를 나타내는 정보를 의미할 수 있다. 즉, 뎁스 픽쳐들이 어떠한 구조로 예측되었는지를 알 수 있는 정보를 말한다. 이는 비디오 신호의 데이터 영역로부터 획득될 수 있는데, 예를 들어, 시퀀스 파라미터 세트 영역 또는 시퀀스 파라미터 세트의 확장 영역으로부터 획득될 수 있다. 또한, 상기 뎁스-뷰 참조 정보는 참조 픽쳐의 개수와 참조 픽쳐의 시점 정보를 이용하여 파악할 수 있다. 예를 들어, 먼저 뎁스 픽쳐들의 전체 시점의 개수를 획득하고, 상기 전체 시점의 개수에 근거하여 각 뎁스 픽쳐의 시점을 구별하는 뎁스 시점 식별 정보를 파악할 수 있다. 그리고, 각 시점마다 참조 방향에 대한 참조 픽쳐의 개수를 나타내는 뎁스-뷰 참조 픽쳐의 개수 정보를 획득할 수 있다. 상기 뎁스-뷰 참조 픽쳐의 개수 정보에 따라 각 뎁스-뷰 참조 픽쳐의 시점 식별 정보를 획득할 수 있다.
이러한 방식을 통해서 상기 뎁스-뷰 참조 정보가 획득될 수 있으며, 상기 뎁스-뷰 참조 정보는 앵커 픽쳐일 경우와 넌-앵커 픽쳐일 경우로 나누어서 파악될 수 있다. 이는 현재 NAL에 있는 코딩된 슬라이스가 앵커 픽쳐인지 여부를 나타내는 앵커 픽쳐 식별 정보를 이용하여 알 수 있다. 이러한 앵커 픽쳐 식별 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있다. 또한, 상기 앵커 픽쳐 식별 정보에 따라 획득된 뎁스-뷰 참조 정보는 참조 픽쳐 리스트의 생성 및 관리 등에 이용될 수 있다.
또한, 뎁스 레인지 정보(depth range information)는 이웃한 시점에 있는 영상들 간의 변이(disparity) 차이의 범위를 나타내는 정보를 나타낸다. 상기 뎁스 레인지 정보는 최대값과 최소값으로 표현될 수 있으며, 예를 들어, max_disparity는 동일한 시간에 취득된 다른 시점에 있는 두 영상의 대응 위치 사이의 변이 정보 중 최대값을 나타내고, min_disparity는 동일한 시간에 취득된 다른 시점에 있는 두 영상의 대응 위치 사이의 변이 정보 중 최소값을 나타낸다.
예를 들어, 상기 뎁스 레인지 정보는 좌측 영상에서의 대응점의 위치를 기준으로 우측 영상의 대응점과의 x좌표값(또는 y좌표값 또는 z좌표값) 차이로 계산할 수 있다. 상기 뎁스 레인지 정보는 1pixel 단위 또는 서브 픽셀 단위로 나타낼 수 있다. 예를 들어, 음의 뎁스 레인지 정보는 스크린에서 시청자 쪽으로 돌출해 보이는 3D효과를 줄 수 있다. 뎁스 레인지 정보는 두 영상을 취득한 카메라 사이의 거리에 영향을 받으므로, 가장 인접한 두 영상 간의 변이 정보로부터 구할 수 있다. 또는 임의로 선택한 이웃한 두 영상 사이로부터 획득된 뎁스 레인지 정보를 이용할 수도 있고, 또는 하나 이상의 이웃 영상 페어(pairs)로부터 뎁스 레인지 정보들을 획득한 후 그 중 최대, 최소값을 이용하여 최종 뎁스 레인지 정보를 구할 수도 있다. 또한, 두 영상 사이에 (N-1)개의 시점이 존재하도록 하는 영상 페어(pair)로부터 뎁스 레인지 정보를 획득할 수도 있다.
상기 뎁스 레인지 정보는 다시점 비디오 신호의 SEI 영역(multiview_scene_info(payloadSize)) 내에 포함될 수 있다. 예를 들어, multiview scene information SEI message로써 다시점 비디오 신호에 포함될 수 있다. 또한, 뎁스 레인지 정보를 전송하기 위한 별도의 SEI 영역(depth_range_info(payloadSize)) 내에 포함될 수도 있다.
상기 뎁스 레인지 정보의 최대, 최소값을 전송하면, 다른 후처리에서 유용하게 이용될 수 있다. 예를 들어, 하나의 장면 내에서 뎁스 변화는 스무드(smooth)한게 보통이지만, 장면과 장면 사이의 경우 이전 장면의 마지막 프레임과 다음 장면의 첫 프레임 사이에서 시청자는 뎁스 차이를 크게 느낄 수 있다. 이는 원경과 근경, 갑작스럽게 화면에 등장하거나 빠져나가는 객체 등이 나타날 때 생길 수 있다. 하나의 프로그램 내에서 뿐만 아니라, 프로그램과 광고 사이, 또는 채널 변경 시에도 갑작스런 뎁스 차이가 생길 수 있다. 이 경우, 컨버전스(convergence)의 급격한 변화로 인하여 시청자는 시각의 피로로 불편함을 느끼게 되고, 콘텐츠에 집중할 수 없게 된다. 따라서, 이 경우에는 디스플레이 측에서 후처리를 통하여 뎁스 변화가 급격하지 않도록 처리할 필요가 있게 된다. 따라서, 프레임 단위로 뎁스 레인지 정보를 획득함으로써, 상이한 두 개의 장면 또는 채널 간의 뎁스 변화를 조절할 수 있다. 이때, 각 프레임에 대해서 가장 최근의 값들을 할당하며, 이웃한 두 프레임 사이에 뎁스 레인지 정보의 변화가 있을 시에는 비교를 통해서 후처리 여부를 결정지을 수도 있다.
한편, 다시점 비디오 신호로부터 2개 시점의 비디오 신호만을 추출하여 스테레오스코픽 영상을 디스플레이할 경우, 상기 2개의 시점은 서로 인접할 수도 있고, 인접하지 않을 수도 있다. 상기 2개의 시점이 인접하지 않은 경우에는, 두 시점 사이의 거리에 비례하여 뎁스 레인지 정보를 계산하여야 한다. 예를 들어, 도 4B에서, S0와 S2 시점을 디스플레이하는 경우, 뎁스 레인지 정보는 S0와 S1 시점 사이의 거리와, S1과 S2 시점 사이의 거리를 고려하여 그 비율만큼 스케일링하여야 한다.
도 4B는 본 발명이 적용되는 실시예로서, 뎁스 레인지 정보를 포함하는 SEI 메시지 정보가 적용되는 다시점 비디오 코딩의 구조의 나타낸다.
상기 도 4B는 8개의 시점으로 구성된 다시점 비디오 신호의 시점 및 시간에 따른 프레임들 간의 예측 구조 관계를 보여준다. 이때, 뎁스 레인지 정보를 포함하는 SEI 메시지 정보는 현재 프레임이 속한 액세스 유닛(access unit)의 픽쳐로부터 다음 SEI 메시지 정보가 수신되기 전까지의 액세스 유닛의 픽쳐까지 적용될 수 있다. 예를 들어, 상기 도 4B를 살펴보면, T0∼T3까지의 시간대에 존재하는 픽쳐들은 모두 제 1 뎁스 레인지 정보가 적용될 수 있고, T4∼T7까지의 시간대에 존재하는 픽쳐들은 모두 제 2 뎁스 레인지 정보가 적용될 수 있으며, T8∼T11까지의 시간대에 존재하는 픽쳐들은 모두 제 3 뎁스 레인지 정보가 적용될 수 있다. 또는, 뎁스 레인지 정보를 포함하는 SEI 메시지 정보는 동일 시간대의 픽쳐들에 대해서만 적용될 수도 있다.
도 5는 본 발명이 적용되는 실시예로서, 뎁스 코딩된 비트스트림의 구조 및 전송 방법을 설명하기 위해 나타낸 것이다.
압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 상기 시퀀스 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 마찬가지로, 픽쳐의 헤더 정보에 상당하는 픽쳐 파라미터 세트 또한, 상기 픽쳐 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 예를 들어, 시퀀스 파라미터 세트 내에는 각 시퀀스 파라미터 세트를 식별하기 위한 시퀀스 식별 번호(sequence identification number)(sps_id)(510 또는 520)가 존재하고, 픽쳐 파라미터 세트 내에는 각 픽쳐 파라미터 세트를 식별하기 위한 픽쳐 식별 번호(picture identification number)(pps_id)(530)와 어떤 시퀀스 파라미터 세트를 참조할지를 나타내는 시퀀스 식별 번호(sps_id)(530)가 존재한다. 마찬가지로, 슬라이스 내에는 어떤 픽쳐 파라미터 세트를 참조할지를 나타내는 픽쳐 식별 번호(pps_id)가 존재한다.
상기 픽쳐 파라미터 세트에 이어 슬라이스 데이터가 전송될 수 있다. 이때 복수개의 카메라로부터 획득된 영상 시퀀스의 경우, 기준 시점(base view)에 대한 데이터가 비-기준 시점(non-base view)에 대한 데이터보다 먼저 전송될 수 있다. 이는 기준 시점에 대한 데이터는 비-기준 시점에 대한 데이터의 참조 시점으로 이용되기 때문이다. 여기서, 기준 시점이라 함은, 일반적인 영상 코딩 방식(MPEG-2, MPEG-4, H.263, H.264, H.264/AVC 등)에 의해 코딩되어 독립적인 비트스트림으로 형성될 수 있는 시점을 의미한다. 또는 다른 시점의 정보를 이용하지 않고 독립적으로 코딩 가능한 시점을 의미할 수도 있다. 또는 일반적인 영상 코딩 방식과 호환 가능한 시점을 의미할 수도 있다. 그리고, 비-기준 시점이라 함은, 기준 시점이 아닌 시점을 의미한다. 또는 독립적으로 코딩가능하지 않은, 즉 다른 시점의 정보를 이용해서 코딩될 수 있는 시점을 의미할 수 있다.
상기 기준 시점 또는 비-기준 시점 내의 임의의 픽쳐가 전송될 때, 컬러 픽쳐 데이터와 뎁스 픽쳐 데이터가 별개의 NAL 유닛으로 분리되어 전송될 수 있다. 이때, 기준 시점의 경우 컬러 픽쳐 데이터(540,550)가 뎁스 픽쳐 데이터(560,570)보다 먼저 전송될 수 있고, 비-기준 시점의 경우에는 뎁스 픽쳐 데이터(580)가 컬러 픽쳐 데이터(590)보다 먼저 전송될 수 있다. 이는 본 발명의 일실시예에 해당되고, 다른 실시예로서 기준 시점과 비-기준 시점에 상관없이 컬러 픽쳐 데이터가 뎁스 픽쳐 데이터보다 먼저 전송될 수도 있다.
여기서, 상기 컬러 픽쳐 데이터 또는 상기 뎁스 픽쳐 데이터를 포함하는 NAL 유닛들은 각각 NAL 헤더 영역에서 NAL 유닛의 RBSP 내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 뎁스 플래그 정보(depth_flag)를 포함할 수 있다. 예를 들어, depth_flag 가 0인 경우, RBSP 내의 데이터는 뎁스 코딩된 데이터를 포함하고 있지 않으며, 즉 컬러 픽쳐 데이터를 포함하며, depth_flag 가 1인 경우, RBSP 내의 데이터는 뎁스 코딩된 데이터를 포함하고 있다. 다만, NAL 유닛의 타입이 prefix NAL을 나타내는 경우, 해당 NAL 유닛의 RBSP 내에는 어떠한 정보도 포함되어 있지 않고(540,560), 바로 뒤에 전송되는 NAL 유닛의 RBSP 내에 코딩된 슬라이스 데이터가 포함되어 있게 된다(550,570).
그리고, 현재 액세스 유닛의 첫번째 NAL 유닛의 시점 정보는 이전 액세스 유닛의 마지막 NAL 유닛의 시점 정보보다 작다. 여기서, 시점 정보라 함은 NAL 유닛의 시점 식별 정보를 의미할 수 있고, 또는 상기 NAL 유닛의 시점 식별 정보로부터 유도된 변수를 의미할 수 있다. 여기서, 상기 NAL 유닛의 시점 식별 정보로부터 유도된 변수는 시점간 디코딩 순서를 나타내는 정보일 수 있다. 또한, 여기서 상기 NAL 유닛은 중복 코딩된 픽쳐가 아닌 픽쳐의 NAL 유닛을 의미할 수 있다. 즉, 상기 NAL 유닛은 주요 코딩된 픽쳐(primary coded picture)의 NAL 유닛을 의미할 수 있다.
도 6은 본 발명이 적용되는 실시예로서, 뎁스 정보를 이용한 디지털 TV의 채널 전환 장치의 개략적인 블록도를 나타낸다.
상기 디지털 TV의 채널 전환 장치는 트랜스포트 역다중화부(610), 비디오 디코더(620), 오디오 디코더(625), PAT/PMT/VCT 디코더(630), PID 모니터링부(640), PID 저장부(650), PID 비교부(660), PID 셋팅부(670) 및 후처리부(680)를 포함할 수 있다.
상기 디지털 TV의 채널 전환 장치는, 상기 도 6에 도시한 바와 같이, 다수의 프로그램 정보를 갖는 전송 스트림(TransportStream) 중에 하나의 스트림만을 추출함과 아울러 그 추출된 스트림을 A/V(오디오/비디오) PES(Packeted Elementary Stream) 및 PSI(Program Specific Information)정보로 역다중화(Demultiplexing)하는 트랜스포트 역다중화부(610)와 상기 트랜스포트 역다중화부(610)의 A/V PES에서 오디오 및 비디오신호를 디코딩하여 오디오/영상출력장치(미도시)로 출력하는 오디오 디코더(625)와 비디오 디코더(620), 상기 트랜스포트 역다중화부(610)의 PSI정보를 프로그램 관련 테이블(PAT:Program Association Table) 및 프로그램 맵 테이블(PMT:Program Map Table)과 가상 채널 테이블(VCT:Virtual Channel Table)로 디코딩하는 PAT/PMT/VCT 디코더(630)와, 상기 PAT/PMT/VCT 디코더(630)에서 출력된 PID(Program ID)정보를 저장한 다음, 채널 변경 시 이를 이전 PID정보로 출력하는 PID 저장부(650)와, 채널 변경 시 전송 스트림을 모니터링하여 PID정보를 수집하고, 그 수집된 결과를 현재 PID정보로 출력하는 PID 모니터링부(640), 채널 변경 시 상기 PID 모니터링부(640)에 수집된 현재 PID정보와 PID 저장부(650)에 저장된 이전 PID정보를 비교하는 PID 비교부(660)와, 상기 PID 비교부(660)의 비교결과에 따라 상기 트랜스포트 역다중화부(610)가 A/V PES를 추출하도록 PID정보를 셋팅(setting)하는 PID 셋팅부(670) 및 상기 비디오 디코더(620)로부터 획득한 뎁스 정보를 이용하여 뎁스 변화를 처리하는 후처리부(680)를 포함할 수 있다.
일반적인 디지털 TV에서 안테나로부터 입력된 방송신호는 사용자의 선택에 따라 튜너(미도시)에서 선국 및 검파된 후 VSB 복조부(미도시)를 통해 복조되어 MPEG-2 규격의 전송 스트림으로 출력되는데, 트랜스포트 역다중화부(610)에서 상기 전송 스트림으로부터 오디오/비디오(A/V) PES(Packeted Elementary Stream) 및 부가 서비스 데이터인 PSI(ProgramSpecific Information)정보를 분리한다. 그리고, 오디오 디코더(625)와 비디오 디코더(620)는 상기 오디오/비디오(A/V) PES를 디코딩하여 원래의 오디오 신호와 비디오 신호로 출력하여 오디오/영상 표시 장치(미도시)를 통해 외부로 디스플레이하고, PAT/PMT/VCT 디코더(630)는 상기 트랜스포트 역다중화부(610)의 PSI정보를 프로그램 관련 테이블(PAT:Program Association Table) 및 프로그램 맵 테이블(PMT:Program Map Table)과 가상 채널 테이블(VCT:Virtual Channel Table)로 디코딩하여 프로그램에 관한 전반적인 정보를 제공한다.
한편, 사용자가 방송 채널 변경을 위해 키 입력을 하면 중앙처리장치(미도시)에 의해 튜너(미도시)의 동조 주파수가 제어되어 선국을 하게 되며, 이때 상기 중앙처리장치(미도시)는 PAT/PMT/VCT 디코더(30)에서 출력한 프로그램 관련 테이블(PAT)을 검색하여 사용자의 선택에 따른 전체 채널 개수, 방송 시청중인 프로그램 번호 등을 판별한다. 그리고, 상기 중앙처리장치(미도시)는 사용자가 원하는 방송 프로그램에 대응하는 프로그램 맵 테이블(PMT:ProgramMap Table)을 검색하여 A/V PES에 해당하는 PID를 인식하고, 이에 따라 트랜스포트 역다중화부(610)를 제어하여 그 해당 A/V PES를 추출하여 오디오 디코더(625)와 비디오 디코더(620)로 출력함으로써, 사용자가 선국한 방송 프로그램을 디스플레이한다. 이때, PID 저장부(650)는 상기 PAT/PMT/VCT 디코더(630)에서 출력된 PID(Packet ID)정보를 저장한 다음, 채널 변경시 이를 이전 PID정보로 출력하며, PID 모니터링부(640)은 채널 변경 시에 입력되는 전송 스트림을 모니터링하여 PID정보를 수집하고 그 수집된 결과를 현재 PID정보로 출력한다.
그러면, PID 비교부(660)에서 상기 PID 모니터링부(640)에 수집된 현재 PID정보와 PID 저장부(650)에 저장된 이전 PID정보를 비교하고, 그 비교결과에 따라 트랜스포트 역다중화부(610)가 A/V PES를 추출하도록 PID 셋팅부(670)에서 PID정보를 셋팅(setting)한다. 따라서, 이전 PID정보가 현재 PID정보와 일치한다면, 채널 변경시 PSIP(Program and System Information Protocol)의 획득(acquisition) 및 역다중화(Demultiplexing)에 소요되는 시간을 절약할 수 있게 된다.
이러한 채널 전환 과정에 있어서, 후처리부(680)는 상기 비디오 디코더(620)로부터 획득한 뎁스 정보를 이용하여 뎁스 변화를 조절할 수 있다. 예를 들어, 뎁스 레인지 정보의 이전 값들을 저장하고, 미리 지정된 뎁스 변화에 대한 임계값 정보 등을 이용하여 현재 프레임에 대한 뎁스 변화를 조절할 수 있다. 이에 대한 구체적인 실시예는 도 7 내지 도 9에서 상세히 살펴보도록 한다.
도 7은 본 발명이 적용되는 실시예로서, 뎁스 변화를 조절하는 후처리부(680)의 개략적인 블록도를 나타낸다.
상기 후처리부(680)는 뎁스 변화 식별부(681)와 뎁스 변화 조절부(682)를 포함할 수 있다.
먼저, 뎁스 변화 식별부(681)에서는 이전 프레임의 뎁스 레인지 정보 및 현재 프레임의 레인지 정보로부터 뎁스 변화(depth change)의 정도를 식별할 수 있다.
상기 뎁스 변화 정도에 따라 상기 뎁스 변화 조절부(682)는 뎁스 변화를 완화시키기 위한 조절을 수행할 수 있다.
뎁스의 급격한 변화를 상쇄하기 위한 일실시예로서 픽셀 쉬프트(pixel shift)를 이용할 수 있다. 즉, 픽셀 쉬프트를 이용하여 컨버전스(convergence) 변화가 점진적으로 이루어지도록 할 수 있다. 예를 들어, 이전 장면 또는 채널에서 뎁스 값이 커서 시청자에게 멀리 보이다가, 다음 장면 또는 채널로 변경되면서 갑자기 가깝게 보이는 경우가 생길 수 있다. 이 경우, 뎁스 변화가 일어난 최초의 프레임에 대해서 좌측 영상 신호 성분에 대해서 왼쪽으로 3 픽셀만큼 쉬프트를 수행하고, 우측 영상 신호에 대해서 오른쪽으로 3 픽셀만큼 쉬프트를 수행할 수 있다. 그리고, 다음 프레임에 대해서는 각각 2 픽셀만큼만 쉬프트시키고, 프레임이 진행될수록 쉬프트되는 픽셀 수를 줄여서 0이 될 때까지 수행한다. 또는 복수개의 프레임 단위로 쉬프트가 점진적으로 진행되도록 할 수 있다. 또는, 유사한 장면들에 대해서는 동일한 픽셀 수만큼의 쉬프트를 적용할 수도 있다. 다른 방법으로서, 매 프레임마다 적응적으로 픽셀 수를 미세 조정할 수도 있다. 이는 오디오 신호의 볼륨 컨트롤을 위해서 적용되는 알고리즘인 AGC(Adaptive Gain Control), DRC(Dynamic Range Control) 등의 방법이 적용될 수 있다.
도 8 및 도 9는 본 발명이 적용되는 실시예들로서, 좌우 영상 신호의 픽셀 쉬프트를 이용하여 뎁스 변화를 조절하는 예와 뎁스 맵 스케일링을 이용하여 뎁스 변화를 조절하는 예를 나타낸다.
도 8 및 도 9의 점선 부분을 살펴보면, 채널 또는 장면 변화시 급격한 뎁스 변화가 일어나는 것을 확인할 수 있다. 이때 컨버전스 조절(convergence control)을 통해서 뎁스 변화를 점선에서 실선과 같이 변경하여 서서히 변하도록 조절할 수 있다. 이러한 과정을 통해, 좌우 양안의 컨버전스가 급격히 변화되지 않도록 함으로써 눈의 피로도를 줄일 수 있다.
이와 같은 방법 외에도 뎁스 변화 분석을 통해, 뎁스 변화가 미리 정해 놓은 임계값보다 크다고 판단될 경우에는 페이드 아웃(fade-out), 페이드 인(fade-in) 기법을 적용함으로써 두 장면 또는 채널 간의 스위칭을 점진적으로 일어나게 할 수 있다. 또는 모자이크 방식 등을 이용할 수도 있다.
도 8을 살펴보면, 뎁스 레인지 정보의 최소값을 일정 배수만큼 늘리는 경우 뎁스 레인지 정보의 최대값도 일정 배수만큼 늘어나게 된다. 즉, 시청자 쪽으로 과도하게 돌출되는 효과를 줄이기 위해 컨버전스 조절(convergence control)을 수행하는 경우, 뒤 배경도 함께 조절할 필요가 있다.
도 9를 살펴보면, 영상의 뎁스 값들에 일정한 스케일링 팩터를 곱함으로써 영상의 폭을 조절할 수 있다. 뎁스 값은 변이 값으로 변환이 가능하므로 주어진 뎁스 레인지 정보와 비교하여 조절 여부 및 조절 정도를 결정할 수 있다. 이때, 영상의 뎁스 값이 변함으로써 합성된 시점 영상에 홀(hole)이 생길 수 있으며, 상기 홀을 채우기 위해 인터폴레이션 방법을 적용할 수 있다.
도 10은 본 발명이 적용되는 실시예로서, 뎁스 시퀀스를 식별하기 위한 정보의 실시예를 나타낸다.
뎁스 시퀀스를 식별하기 위한 정보는 NAL 유닛 헤더의 확장 영역, 또는 시퀀스 파라미터 세트의 확장 영역에 포함될 수 있다. 상기 뎁스 시퀀스를 식별하기 위한 정보의 예로서, 데이터 타입 식별 정보(data type identification information)를 들 수 있다.
상기 데이터 타입 식별 정보는 NAL 유닛의 RBSP 내에 포함된 데이터의 타입을 식별하는 정보를 의미할 수 있다. 예를 들어, 상기 도 6에 나타난 바와 같이 RBSP 내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 뎁스 플래그 정보(depth_flag)를 정의할 수 있다(S620). 이때, 상기 뎁스 플래그 정보(depth_flag)는 NAL 유닛 헤더의 확장 영역에 포함될 수 있으며, 상기 확장 영역은 다시점 비디오 코딩된 NAL 유닛 헤더의 확장 영역을 의미할 수 있다(S610). 또는 상기 확장 영역은 스케일러블 비디오 코딩된 NAL 유닛 헤더의 확장 영역을 의미할 수 있으며, 또는 뎁스 코딩된 NAL 유닛 헤더의 확장 영역을 의미할 수도 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 비디오 디코더는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
[산업상 이용가능성]
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (14)

  1. 컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림을 수신하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내는 단계;
    상기 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보와 뎁스 레인지 정보를 획득하되, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내고, 상기 뎁스 레인지 정보는 기준 시점의 픽쳐 및 비-기준 시점의 픽쳐 간 변이 차이의 범위를 나타내고, 상기 뎁스 레인지 정보는 상기 기준 시점의 픽쳐 및 상기 비-기준 시점의 픽쳐 간 변이 차이의 최대 값 및 최소 값을 포함하는 단계;
    상기 데이터 타입 식별 정보에 따라 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는 경우, 상기 뎁스 코딩된 데이터를 복원하는 단계;
    상기 뎁스 레인지 정보로부터 뎁스 변화의 정도를 식별하는 단계;
    기설정된 뎁스 변화 임계 범위와 상기 뎁스 변화의 정도를 비교하여 상기 뎁스 레인지 정보에 기초하여 뎁스 값을 조절하는 단계; 및
    상기 복원된 뎁스 코딩된 데이터와 상기 조절된 뎁스 값을 이용하여 3차원 영상을 디스플레이하는 단계를 포함하되,
    상기 뎁스 변화의 정도가 상기 기설정된 뎁스 변화 임계 범위를 초과하는 경우, 상기 뎁스 값은 스케일링 팩터를 곱함으로써 상기 뎁스 변화 임계 범위 내의 값으로 조절되고,
    상기 뎁스 값에 상기 스케일링 팩터를 곱함으로써 생성되는 홀의 뎁스 값은 인접 뎁스 값을 이용한 인터폴레이션 방법으로 채우는 것을 특징으로 하는 영상 신호 처리 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 뎁스 레인지 정보는 부가 정보 영역(supplementary information area)으로부터 획득되는 것을 특징으로 하는 영상 신호 처리 방법.
  4. 제 1항에 있어서,
    상기 데이터 타입 식별 정보는 뎁스 코딩된 NAL 유닛의 확장 영역으로부터 획득되는 것을 특징으로 하는 영상 신호 처리 방법.
  5. 제 1항에 있어서,
    상기 다시점 비디오 코딩된 비트스트림은 상기 기준 시점(base view)과 상기 비-기준 시점(non-base view)의 컬러 픽쳐 및 뎁스 픽쳐를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 비-기준 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 영상 신호 처리 방법.
  6. 컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보 및 뎁스 레인지 정보를 획득하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내고, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내고, 상기 뎁스 레인지 정보는 기준 시점의 픽쳐 및 비-기준 시점의 픽쳐 간 변이 차이의 범위를 나타내고, 상기 뎁스 레인지 정보는 상기 기준 시점의 픽쳐 및 상기 비-기준 시점의 픽쳐 간 변이 차이의 최대 값 및 최소 값을 포함하는 트랜스포트 역다중화부;
    상기 데이터 타입 식별 정보에 기초하여 상기 뎁스 픽쳐를 복원하는 비디오 디코더;
    상기 뎁스 레인지 정보로부터 뎁스 변화의 정도를 식별하고, 기설정된 뎁스 변화 임계 범위와 상기 뎁스 변화의 정도를 비교하여 상기 뎁스 레인지 정보에 기초하여 뎁스 값을 조절하는 후처리부; 및
    상기 복원된 뎁스 코딩된 데이터와 상기 조절된 뎁스 값을 이용하여 3차원 영상을 디스플레이하는 디스플레이부
    를 포함하되,
    상기 뎁스 변화의 정도가 상기 기설정된 뎁스 변화 임계 범위를 초과하는 경우, 상기 뎁스 값은 스케일링 팩터를 곱함으로써 상기 뎁스 변화 임계 범위 내의 값으로 조절되고,
    상기 뎁스 값에 상기 스케일링 팩터를 곱함으로써 생성되는 홀의 뎁스 값은 인접 뎁스 값을 이용한 인터폴레이션 방법으로 채우는 것을 특징으로 하는 특징으로 하는 영상 신호 처리 장치.
  7. 제 6항에 있어서,
    상기 데이터 타입 식별 정보는 뎁스 코딩된 NAL 유닛의 확장 영역으로부터 획득되는 것을 특징으로 하는 영상 신호 처리 장치.
  8. 제 6항에 있어서,
    상기 다시점 비디오 코딩된 비트스트림은 기준 시점(base view)과 비-기준 시점(non-base view)의 컬러 픽쳐 및 뎁스 픽쳐를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 비-기준 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 영상 신호 처리 장치.
  9. 제 1항에 있어서,
    상기 뎁스 레인지 정보로부터 뎁스 변화의 정도를 식별하는 단계는,
    현재 픽쳐 및 이전 픽쳐의 상기 뎁스 레인지 정보로부터 뎁스 체인지 정보를 획득하는 단계; 상기 이전 픽쳐는 상기 현재 픽쳐 이전에 출력되는 픽쳐를 나타내고,
    기정의된 뎁스 체인지 임계값과 상기 뎁스 체인지 정보를 비교하는 단계;
    상기 비교 결과를 기초로 상기 뎁스 레인지 정보를 조절하는 단계를 포함하는 것을 특징으로 하는 영상 신호 처리 방법.
  10. 삭제
  11. 삭제
  12. 제 6항에 있어서,
    상기 후처리부는, 현재 픽쳐 및 이전 픽쳐의 상기 뎁스 레인지 정보로부터 뎁스 체인지 정보를 획득하는 단계; 상기 이전 픽쳐는 상기 현재 픽쳐 이전에 출력되는 픽쳐를 나타내고, 기정의된 뎁스 체인지 임계값과 상기 뎁스 체인지 정보를 비교하고, 상기 비교 결과를 기초로 상기 뎁스 레인지 정보를 조절하는 것을 특징으로 하는 영상 신호 처리 장치.
  13. 삭제
  14. 삭제
KR1020117018820A 2009-01-12 2009-12-30 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치 KR101619450B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14412509P 2009-01-12 2009-01-12
US61/144,125 2009-01-12
US14838609P 2009-01-29 2009-01-29
US61/148,386 2009-01-29

Publications (2)

Publication Number Publication Date
KR20110116166A KR20110116166A (ko) 2011-10-25
KR101619450B1 true KR101619450B1 (ko) 2016-05-10

Family

ID=42316958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117018820A KR101619450B1 (ko) 2009-01-12 2009-12-30 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US20110310982A1 (ko)
EP (1) EP2387243A4 (ko)
KR (1) KR101619450B1 (ko)
WO (1) WO2010079921A2 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2718447C (en) 2009-04-28 2014-10-21 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
US8565731B2 (en) * 2009-09-30 2013-10-22 Apple Inc. Missed communication handling
US8848713B2 (en) 2009-10-13 2014-09-30 Apple Inc. Data routing acceleration
US20110111735A1 (en) * 2009-11-06 2011-05-12 Apple Inc. Phone hold mechanism
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
KR101875615B1 (ko) * 2010-09-01 2018-07-06 엘지전자 주식회사 삼차원 디스플레이를 위한 디지털 방송 신호를 처리하는 방법 및 장치
WO2012037075A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
JP5066244B2 (ja) * 2010-10-29 2012-11-07 株式会社東芝 映像再生装置及び映像再生方法
GB2485532A (en) * 2010-11-12 2012-05-23 Sony Corp Three dimensional (3D) image duration-related metadata encoding of apparent minimum observer distances (disparity)
KR101915130B1 (ko) 2010-12-08 2018-11-05 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법
US8571487B2 (en) 2010-12-10 2013-10-29 Apple Inc. Network status
US9578299B2 (en) 2011-03-14 2017-02-21 Qualcomm Incorporated Stereoscopic conversion for shader based graphics content
CN103430557A (zh) 2011-03-18 2013-12-04 索尼公司 图像处理设备和图像处理方法
AU2012232423A1 (en) * 2011-03-18 2013-09-05 Sony Corporation Image processing device and image processing method
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
KR20120133951A (ko) * 2011-06-01 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 깊이정보 조정방법 및 그 저장매체
US10491915B2 (en) * 2011-07-05 2019-11-26 Texas Instruments Incorporated Method, system and computer program product for encoding disparities between views of a stereoscopic image
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9363535B2 (en) 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
US9635355B2 (en) * 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
EP2742688A1 (en) * 2011-08-12 2014-06-18 Telefonaktiebolaget LM Ericsson (PUBL) Signaling of camera and/or depth parameters
US8548475B2 (en) 2011-08-17 2013-10-01 Apple Inc. Method for optimizing power consumption in wireless devices using data rate efficiency factor
JP6005157B2 (ja) * 2011-08-25 2016-10-12 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 深度マップ符号化および復号化
KR102163151B1 (ko) 2011-08-30 2020-10-08 디빅스, 엘엘씨 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
US20140321546A1 (en) * 2011-08-31 2014-10-30 Sony Corporation Image processing apparatus and image processing method
AU2012303085A1 (en) * 2011-08-31 2014-01-30 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9105117B2 (en) 2011-11-30 2015-08-11 Adobe Systems Incorporated Methods and apparatus for coherent manipulation and stylization of stereoscopic images
EP2801198B1 (en) * 2012-01-04 2023-10-11 InterDigital Madison Patent Holdings, SAS Processing 3d image sequences
TW201342884A (zh) 2012-01-31 2013-10-16 Sony Corp 編碼裝置及編碼方法、以及解碼裝置及解碼方法
WO2013145567A1 (ja) * 2012-03-26 2013-10-03 パナソニック株式会社 立体映像処理装置および立体映像処理方法
WO2013143113A1 (en) 2012-03-30 2013-10-03 Intel Corporation Techniques for media quality control
US20140003799A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for decoding a video sequence encoded using predictions that include references to frames in reference segments from different video sequences
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
KR101393869B1 (ko) * 2012-07-10 2014-05-12 엘지이노텍 주식회사 3ｄ 카메라 모듈 및 그의 구동 방법
CN103716607B (zh) * 2012-09-28 2017-02-08 中兴通讯股份有限公司 一种应用于HEVC‑based 3DVC的编码方法和装置
KR101932595B1 (ko) 2012-10-24 2018-12-26 삼성전자주식회사 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법
US9432654B2 (en) 2012-11-05 2016-08-30 Texas Instruments Incorporated Modifying fusion offset data in sequential stereoscopic image frames
US20140160256A1 (en) * 2012-12-10 2014-06-12 Daniel Avrahami Apparatus and techniques to provide variable depth display
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
CN105474232A (zh) * 2013-06-17 2016-04-06 匡特莫格公司 用于生物计量标识的系统和方法
WO2014204364A1 (en) * 2013-06-19 2014-12-24 Telefonaktiebolaget L M Ericsson (Publ) 3d video switching with gradual depth transition
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
KR102180068B1 (ko) * 2013-12-30 2020-11-17 엘지디스플레이 주식회사 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치
GB2523347B (en) * 2014-02-20 2016-01-13 Gurulogic Microsystems Oy Encoder, decoder and method
US9479827B2 (en) * 2014-10-21 2016-10-25 Arris Enterprises, Inc. Channel scanning based upon interleaver depth
GB2543844B (en) 2015-11-01 2018-01-03 Gurulogic Microsystems Oy Encoders, decoders and methods
KR102174258B1 (ko) * 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102410016B1 (ko) 2015-12-16 2022-06-16 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 시스템
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
CN117176948A (zh) 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
KR20040018858A (ko) * 2002-08-27 2004-03-04 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR101241903B1 (ko) * 2006-09-06 2013-03-12 엘지전자 주식회사 방송용 단말기의 3차원 입체영상 방송 제공 방법 및 이를위한 방송용 단말기
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal

Also Published As

Publication number Publication date
EP2387243A2 (en) 2011-11-16
EP2387243A4 (en) 2012-12-26
WO2010079921A3 (ko) 2010-09-23
US20110310982A1 (en) 2011-12-22
KR20110116166A (ko) 2011-10-25
WO2010079921A2 (ko) 2010-07-15

Similar Documents

Publication Publication Date Title
KR101619450B1 (ko) 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
KR101619448B1 (ko) 영상 신호 처리 방법 및 장치
KR101697598B1 (ko) 가상 뷰 이미지 합성 방법 및 장치
KR101625058B1 (ko) 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
US9196059B2 (en) Method and apparatus for processing video signals using boundary intra coding
KR20160034259A (ko) 비디오 신호 처리 방법 및 장치
KR101770211B1 (ko) 비디오 신호 처리 방법 및 장치
JP6114404B2 (ja) ビデオ信号処理方法及び装置
KR102248074B1 (ko) 비디오 신호 처리 방법 및 장치
KR101753592B1 (ko) 비디오 신호 처리 방법 및 장치
KR20150095679A (ko) 비디오 신호 처리 방법 및 장치
KR20150079606A (ko) 비디오 신호 처리 방법 및 장치
KR101783617B1 (ko) 비디오 신호 처리 방법 및 장치
KR101750316B1 (ko) 비디오 신호 처리 방법 및 장치
KR20160002712A (ko) 비디오 신호 처리 방법 및 장치
KR102300036B1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant