KR20110102305A - 영상 신호 처리 방법 및 장치 - Google Patents

영상 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20110102305A
KR20110102305A KR1020117011072A KR20117011072A KR20110102305A KR 20110102305 A KR20110102305 A KR 20110102305A KR 1020117011072 A KR1020117011072 A KR 1020117011072A KR 20117011072 A KR20117011072 A KR 20117011072A KR 20110102305 A KR20110102305 A KR 20110102305A
Authority
KR
South Korea
Prior art keywords
depth
picture
information
view
inter
Prior art date
Application number
KR1020117011072A
Other languages
English (en)
Other versions
KR101619448B1 (ko
Inventor
전용준
성재원
전병문
임재현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20110102305A publication Critical patent/KR20110102305A/ko
Application granted granted Critical
Publication of KR101619448B1 publication Critical patent/KR101619448B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

본 발명은, 복수개의 카메라로부터 획득된 영상 신호를 처리하는 방법에 있어서, 컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림을 수신하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내는 단계; 상기 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보를 획득하되, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 단계; 상기 데이터 타입 식별 정보에 기초하여 상기 뎁스 픽쳐의 시점간 참조 정보를 획득하되, 상기 뎁스 픽쳐의 시점간 참조 정보는 뎁스-뷰(depth-view) 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 시점 식별 번호를 포함하는 단계; 상기 뎁스 픽쳐의 시점간 참조 정보를 이용하여 상기 뎁스 픽쳐의 예측값을 획득하는 단계; 상기 뎁스 픽쳐의 예측값을 이용하여 상기 뎁스 픽쳐를 복원하는 단계; 및 상기 복원된 뎁스 픽쳐를 이용하여 3차원 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 신호 처리 방법을 제공한다.

Description

영상 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE SIGNAL}
본 발명은 영상 신호의 처리에 관한 기술이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 영상 신호의 처리 효율을 높이고자 함에 있다.
본 발명은 뎁스 정보와 카메라 파라미터 정보를 이용하여 효율적으로 3차원 디스플레이를 구현하는 방법 및 장치를 제공한다.
또한, 본 발명은, 뎁스 정보와 카메라 파라미터 정보를 이용하여 가상 시점에서의 3차원 장면을 합성함으로써, 전송되지 않은 영상의 시점을 생성하는 방법 및 장치를 제공한다.
또한, 본 발명은, 뎁스 픽쳐로 구성된 영상 시퀀스의 시간적, 공간적 상관 관계를 이용하여 움직임 정보를 예측하는 방법 및 장치를 제공한다.
또한, 본 발명은, 뎁스 픽쳐 데이터로 구성된 뎁스 비트스트림을 처리하기 위한 헤더 정보들을 정의함으로써, 보다 효율적인 비디오 신호의 디코딩 방법 및 장치를 제공한다.
또한, 본 발명은, 뎁스 비트스트림 내에서 뎁스 픽쳐의 시점간 의존 관계를 확인함으로써 보다 효율적인 비디오 신호의 디코딩 방법 및 장치를 제공한다.
또한, 본 발명은, 코덱 호환을 위한 신택스를 정의함으로써 서로 다른 종류의 코덱 사이의 호환성을 높이고자 한다.
이와 같이, 본 발명은 스테레오스코픽 3차원 영상, 또는 다수의 카메라를 이용하여 각기 다른 방향에서 촬영한 다시점 영상을 사용하는 3차원 디스플레이를 구현함에 있어, 뎁스 정보와 카메라 파라미터를 효율적으로 처리하기 위한 방법 및 장치를 제공한다. 뎁스 정보와 카메라 파라미터를 이용하여 가상 시점에서의 3차원 장면을 합성할 수 있기 때문에, 전송되지 않은 영상의 시점에 대해서도 3차원 콘텐츠를 생성할 수 있게 된다.
또한, 영상 시퀀스(예를 들어, 컬러 픽쳐, 뎁스 픽쳐, 또는 컬러 픽쳐와 뎁스 픽쳐로 구성된 영상 시퀀스)의 시간적, 공간적 상관 관계를 이용하여 움직임 정보를 예측함으로써 신호 처리 효율을 높일 수 있다. 또한 현재 블록과 상관 관계가 높은 픽쳐의 코딩 정보를 이용하여 현재 블록의 코딩 정보를 예측함으로써 보다 정확하게 예측이 가능하고, 그에 따른 오차값 전송량이 감소하게 되어 효율적인 코딩을 수행할 수 있다. 그리고, 현재 블록의 움직임 정보가 전송되지 않더라도, 현재 블록의 움직임 정보와 매우 유사한 움직임 정보를 산출할 수 있기 때문에 복원율이 향상되는 효과가 있다.
또한, 뎁스 픽쳐 데이터로 구성된 뎁스 비트스트림을 처리하기 위한 헤더 정보들을 정의하고, 뎁스 비트스트림 내에서 시점간 의존 관계를 확인함으로써 코딩 효율을 향상시킬 수 있다.
또한, 코덱 호환을 위한 신택스를 정의함으로써 서로 다른 종류의 코덱 사이의 호환성을 높일 수 있다.
도 1은 본 발명이 적용되는 실시예로서, 뎁스(depth)의 개념을 설명하기 위해 나타낸 것이다.
도 2는 본 발명이 적용되는 실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
도 3은 본 발명이 적용되는 실시예로서, 뎁스 정보를 처리할 수 있는 비디오 디코더의 개략적인 블록도를 나타낸다.
도 4는 본 발명이 적용되는 실시예로서, 뎁스 코딩된 비트스트림에 포함될 수 있는 뎁스 코딩 정보를 나타낸다.
도 5는 본 발명이 적용되는 실시예로서, 뎁스 코딩된 비트스트림의 구조 및 전송 방법을 설명하기 위해 나타낸 것이다.
도 6 및 도 7은 본 발명이 적용되는 실시예들로서, 뎁스 시퀀스를 식별하기 위한 정보의 다양한 실시예들을 나타낸다.
도 8 및 도 9는 본 발명이 적용되는 실시예들로서, 뎁스 정보를 식별하기 위한 다양한 실시예들을 설명하기 위해 나타낸 것이다.
도 10 내지 도 12는 본 발명이 적용되는 실시예들로서, 뎁스 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터의 구체적인 정보들을 나타낸다.
[발명의 실시를 위한 최선의 형태]
본 발명은, 복수개의 카메라로부터 획득된 영상 신호를 처리하는 방법에 있어서, 컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림을 수신하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내는 단계; 상기 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보를 획득하되, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 단계; 상기 데이터 타입 식별 정보에 기초하여 상기 뎁스 픽쳐의 시점간 참조 정보를 획득하되, 상기 뎁스 픽쳐의 시점간 참조 정보는 뎁스-뷰(depth-view) 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 시점 식별 번호를 포함하는 단계; 상기 뎁스 픽쳐의 시점간 참조 정보를 이용하여 상기 뎁스 픽쳐의 예측값을 획득하는 단계; 상기 뎁스 픽쳐의 예측값을 이용하여 상기 뎁스 픽쳐를 복원하는 단계; 및 상기 복원된 뎁스 픽쳐를 이용하여 3차원 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 신호 처리 방법을 제공한다.
또한, 본 발명은, 상기 다시점 비디오 코딩된 비트스트림이 뎁스 코딩된 비트스트림을 포함하고 있는지 여부를 식별하기 위한 식별 모드 정보를 수신하는 단계를 더 포함하되, 상기 식별 모드 정보에 의해 상기 다시점 비디오 코딩된 비트스트림이 뎁스 코딩된 비트스트림을 포함하고 있는 경우, 상기 뎁스 픽쳐의 시점간 참조 정보가 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 식별 모드 정보는 시퀀스 헤더 영역으로부터 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 데이터 타입 식별 정보는 뎁스 코딩된 NAL 유닛의 확장 영역으로부터 획득되는 것을 특징으로 한다.
또한, 본 발명은, 상기 컬러 픽쳐의 시점간 참조 정보를 획득하는 단계를 더 포함하되, 상기 뎁스 픽쳐의 시점간 참조 정보가 상기 컬러 픽쳐의 시점간 참조 정보와 동일한 경우, 상기 뎁스 픽쳐의 시점간 참조 정보는 상기 컬러 픽쳐의 시점간 참조 정보와 동일한 값으로 유도되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 다시점 비디오 코딩된 비트스트림은 기준 시점(base view)과 비-기준 시점(non-base view)의 컬러 픽쳐 및 뎁스 픽쳐를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 비-기준 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 한다.
또한, 본 발명에서, 상기 기준 시점의 경우 상기 컬러 픽쳐가 상기 뎁스 픽쳐보다 먼저 전송되고, 상기 비-기준 시점의 경우 상기 뎁스 픽쳐가 상기 컬러 픽쳐보다 먼저 전송되는 것을 특징으로 한다.
또한, 본 발명은, 복수개의 카메라로부터 획득된 영상 신호를 처리하는 장치에 있어서, 컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보를 획득하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내고, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 엔트로피 디코딩부; 상기 데이터 타입 식별 정보에 기초하여 상기 뎁스 픽쳐의 시점간 참조 정보를 획득하고, 상기 뎁스 픽쳐의 시점간 참조 정보를 이용하여 상기 뎁스 픽쳐의 예측값을 획득하되, 상기 뎁스 픽쳐의 시점간 참조 정보는 뎁스-뷰(depth-view) 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 시점 식별 번호를 포함하는 뎁스 픽쳐 예측부; 및 상기 뎁스 픽쳐의 예측값을 이용하여 상기 뎁스 픽쳐를 복원하고, 상기 복원된 뎁스 픽쳐를 이용하여 3차원 영상을 획득하는 포맷터부를 포함하는 것을 특징으로 하는 영상 신호 처리 장치를 제공한다.
[발명의 실시를 위한 형태]
비디오 신호 데이터를 압축 부호화하는 기술은 공간적 중복성, 시간적 중복성, 스케일러블한 중복성, 시점간 존재하는 중복성을 고려하고 있다. 그 중 다시점 영상을 사용하는 3차원 디스플레이를 구현하기 위해 뎁스 픽쳐(depth picture)를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 등을 고려하여 압축 코딩을 할 수 있다. 이러한 압축 코딩에 대한 기술은 뎁스 픽쳐들로 구성된 영상 시퀀스뿐만 아니라, 컬러 픽쳐들로 구성된 영상 시퀀스 또는 컬러 픽쳐와 뎁스 픽쳐로 구성된 영상 시퀀스에 적용될 수 있다. 여기서, 뎁스(depth)라 함은, 시점 차이로 인해 생기는 변이 차이를 의미할 수 있으며, 이에 대한 구체적인 설명은 도 1에서 하도록 한다. 또한, 본 명세서 내에서 뎁스 정보, 뎁스 데이터, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 코딩, 뎁스 비트스트림, 뎁스 맵 등과 같은 용어들은 상기 뎁스의 정의에 따라 뎁스에 관련된 정보로 유연하게 해석될 수 있을 것이다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
비디오 신호의 비트열 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.
NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL 헤더에는 그 NAL 단위의 참조 픽쳐가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 종류를 나타내는 식별자(nal_unit_type)가 포함되어 있다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다. 이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다. 이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식별자(profile_idc)로 식별할 수 있다. 프로파일 식별자란, 비트스트림이 기반을 둔 프로파일을 나타내는 플래그를 의미한다. 예를 들어, H.264/AVC 에서는 프로파일 식별자가 66 이면 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 상기 프로파일 식별자는 시퀀스 파라미터 세트에 포함될 수 있다.
따라서, 뎁스 픽쳐를 포함하는 영상 시퀀스(이하, 뎁스 시퀀스라 한다)를 다루기 위해서는 입력되는 비트스트림이 뎁스 시퀀스의 프로파일(Profile)에 대한 것인지 여부를 식별하고, 뎁스 시퀀스의 프로파일로 식별되면 뎁스 코딩에 관련된 적어도 하나의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 여기서 뎁스 시퀀스의 프로파일이란, H.264/AVC의 추가 기술로서 뎁스 픽쳐(depth picture)를 다루는 프로파일 모드(profile mode)를 나타낼 수 있으며, 또는 뎁스 픽쳐를 포함하는 다시점 비디오(multiview video)에 관한 프로파일 모드(profile mode)를 나타낼 수 있다. 뎁스 코딩은 기존 AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다는 뎁스 코딩 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다. 예를 들어, AVC의 프로파일 식별자가 뎁스 시퀀스의 프로파일을 나타낼 때 뎁스 코딩에 대한 정보를 추가하면 부호화 효율을 높일 수 있다.
시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다. 압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 결국, 시퀀스 파라미터 세트 RBSP 는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다. 비트스트림이 입력되면, 먼저 프로파일 식별자는 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다. 따라서, 입력되는 비트스트림이 뎁스 시퀀스의 프로파일에 대한 것인지 여부를 판단하는(예를 들어, " If ( profile_idc == DEPTH_PROFILE )") 부분을 신택스 상에 추가함으로써, 입력된 비트스트림이 뎁스 시퀀스의 프로파일에 대한 것인지 여부를 판별하고, 뎁스 시퀀스의 프로파일에 대한 것으로 인정되는 경우에만 여러 가지 속성 정보들을 추가할 수 있게 된다. 예를 들어, 뎁스 시퀀스의 전체 시점의 개수, 뎁스-뷰(depth-view) 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 시점 식별 번호 등을 추가할 수 있다. 또한, 복호 픽쳐 버퍼에서는 참조 픽쳐 리스트를 생성 및 관리하기 위하여 뎁스-뷰 참조 픽쳐에 대한 정보들을 이용할 수 있다.
도 1은 본 발명이 적용되는 실시예로서, 뎁스(depth)의 개념을 설명하기 위해 나타낸 것이다.
앞서 설명한 바와 같이, 뎁스(depth)라 함은 복수개의 카메라로 촬영된 영상 시퀀스에 있어서 시점 차이로 인해 생기는 변이 차이를 의미한다. 상기 도 1을 참조하면, 카메라의 위치(Oc)는 3차원 카메라 좌표계의 원점을 나타내며, Z축(optical axis)은 눈이 바라보는 방향과 일직선이 된다. 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)는 Z축에 수직인 2차원 이미지 평면의 임의의 한 점 p=(x,y)으로 투영될 수 있다. 이때, 2차원 이미지 평면 상의 p=(x,y)는 3차원 좌표계의 P=(X,Y,Z)의 컬러값으로 표현될 수 있으며, 이 때의 2차원 이미지 평면은 컬러 픽쳐를 의미할 수 있다. 또한, 2차원 이미지 평면 상의 p=(x,y)는 3차원 좌표계의 P=(X,Y,Z)의 Z 값으로 표현될 수 있으며, 이 때의 2차원 이미지 평면은 뎁스 픽쳐를 의미할 수 있다. 여기서, 초점 길이(f)는 카메라의 위치와 이미지 평면간의 거리를 의미할 수 있다.
또한, 상기 3차원 좌표계의 P=(X,Y,Z)는 카메라 좌표계의 임의의 한 점을 나타내나, 복수개의 카메라로 촬영된 경우 상기 복수개의 카메라들에 대한 공통의 기준 좌표계가 필요할 수 있다. 상기 도 1에서, Ow 점을 기준으로 하는 기준 좌표계의 임의의 점을 Pw=(Xw, Yw, Zw)라 할 수 있고, 상기 Pw=(Xw,Yw,Zw)는 3x3 로테이션 매트릭스(rotation matrix) R과 3x1 변환 벡터(translation vector) T를 이용하여 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)으로 변환할 수 있다. 상기 P는 수학식 1과 같이 획득될 수 있다.
[수학식 1]
P=R*Pw+T
상기의 설명에 기초하여 뎁스 픽쳐(depth picture) 또는 뎁스 맵(depth map)을 다시 정의하면, 카메라의 위치를 기준으로 카메라의 위치와 실물간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라 할 수 있고, 이는 픽쳐 단위, 슬라이스 단위 등으로 표현될 수 있다. 그리고, 상기 뎁스 픽쳐 또는 뎁스 맵 내에서 뎁스 정보는 픽셀 단위로 표현될 수 있다.
상기 뎁스 픽쳐의 각 픽셀 값은 카메라 좌표계의 대응되는 좌표 P=(X,Y,Z)의 Z 좌표값으로 표현될 수 있으며, 상기 Z 좌표값은 실수 범위에 속하는 값이므로, 디지털 이미지 포맷으로 나타내기 위해서는 정수 범위에 속하는 값으로 양자화시킬 필요가 있다. 상기 뎁스 픽쳐의 각 픽셀 값은 다음 수학식 2 또는 수학식 3에 의해 양자화될 수 있다.
[수학식 2]
Zq = floor(255*(Z-Znear)/(Zfar-Znear)+0.5)
[수학식 3]
Zq = floor(255*(1/Z-1/Zfar)/(1/Znear-1/Zfar)+0.5)
상기 수학식 2 또는 수학식 3에서 Zq는 양자화된 뎁스 정보를 의미하며, 상기 도 1의 [Top view]를 참고하면, Znear는 Z 좌표값의 하한(the lower limit)을, Zfar는 Z 좌표값의 상한(the upper limit)을 의미한다. 상기 수학식 2 또는 수학식 3에 따라 상기 양자화된 뎁스 정보는 0∼255 범위 내의 정수값을 가질 수 있다.
이처럼, 뎁스 픽쳐 또는 뎁스 맵은 컬러 픽쳐의 영상 시퀀스와 함께 또는 별개의 시퀀스로 코딩될 수 있으며, 이러한 경우 기존의 코덱과의 호환을 위해 다양한 실시예들이 적용될 수 있다. 예를 들어, H.264 코덱과 호환될 수 있도록 뎁스 코딩 기술이 부가 기술로 적용될 수 있으며, 또는 H.264/AVC 다시점 비디오 코딩 내에서 확장 기술로 적용될 수 있으며, 또는 H.264/AVC 스케일러블 비디오 코딩 내에서 확장 기술로 적용될 수 있다. 또한, 뎁스 픽쳐를 포함하는 영상 시퀀스만을 코딩하는 별개의 코덱 기술로 이용될 수도 있다. 이하에서는 뎁스 코딩에 대한 구체적인 실시예들을 살펴보며, 뎁스 코딩의 구체적인 실시예들은 앞서 설명한 바와 같이 다양한 케이스에서도 모두 활용할 수 있다.
도 2는 본 발명이 적용되는 실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
본 실시예에 따른 방송 수신기는 공중파 방송신호를 수신하여 영상을 재생하기 위한 것이다. 상기 방송 수신기는 수신된 뎁스 관련 정보들을 이용하여 3차원 콘텐츠를 생성할 수 있다. 상기 방송 수신기는 튜너(200), 복조/채널 디코더(202), 트랜스포트 역다중화부(204), 패킷 해제부(206), 오디오 디코더(208), 비디오 디코더(210), PSI/PSIP 처리부(214), 3D 렌더링부(216), 포맷터(220) 및 디스플레이부(222)를 포함한다.
튜너(200)는 안테나(미도시)를 통해 입력되는 다수의 방송 신호들 중에서 사용자가 선국한 어느 한 채널의 방송 신호를 선택하여 출력한다. 복조/채널 디코더(202)는 튜너(200)로부터의 방송 신호를 복조하고 복조된 신호에 대하여 에러 정정 디코딩을 수행하여 트랜스포트 스트림(TS)을 출력한다. 트랜스포트 역다중화부(204)는 트랜스포트 스트림을 역다중화하여, 비디오 PES와 오디오 PES를 분리하고, PSI/PSIP 정보를 추출해낸다. 패킷 해제부(206)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원한다. 오디오 디코더(208)는 오디오 ES를 디코딩하여 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다. 비디오 디코더(210)는 비디오 ES를 디코딩하여 원래의 영상을 복원한다. 상기 오디오 디코더(208) 및 상기 비디오 디코더(210)의 디코딩 과정은 PSI/PSIP 처리부(214)에 의해 확인되는 패킷 ID(PID)를 토대로 진행될 수 있다. 디코딩 과정에서, 상기 비디오 디코더(210)는 뎁스 정보를 추출할 수 있다. 또한, 가상 카메라 시점의 영상을 생성하는데 필요한 부가 정보, 예를 들어, 카메라 정보, 또는 앞에 있는 물체에 의해 가려져 있어 안보이는 부분(Occlusion)을 추정하기 위한 정보(예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 색상 정보) 등을 추출하여 3D 렌더링부(216)에 제공할 수 있다. 그렇지만, 본 발명의 다른 실시예에 있어서는, 상기 뎁스 정보 및/또는 부가 정보가 트랜스포트 역다중화부(204)에 의해 분리될 수도 있다.
PSI/PSIP 처리부(214)는 트랜스포트 역다중화부(204)로부터의 PSI/PSIP 정보를 받아들이고, 이를 파싱하여 메모리(미도시) 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송이 재생되도록 한다. 3D 렌더링부(216)는 복원된 영상, 뎁스 정보, 부가 정보 및 카메라 파라미터를 이용하여, 가상 카메라 위치에서의 뎁스 정보를 생성할 수 있다. 또한, 3D 렌더링부(216)는 복원된 영상과, 가상 카메라 위치에서의 뎁스 정보를 토대로 3D 워핑(Warping)을 수행함으로써, 가상 카메라 위치에서의 영상을 생성한다. 본 실시예에서는 상기 3D 렌더링부(216)가 상기 비디오 디코더(210)와 별개의 블록으로 구성되어 설명되고 있지만, 이는 일실시예에 불과하며, 상기 3D 렌더링부(216)는 상기 비디오 디코더(210)에 포함되어 수행될 수도 있다.
포맷터(220)는 디코딩 과정에서 복원한 영상 즉, 실제 카메라에 의하여 촬영된 영상과, 3D 렌더링부(216)에 의하여 생성된 영상을 해당 수신기에서의 디스플레이 방식에 맞게 포맷팅하여, 디스플레이부(222)를 통해 3D 영상이 표시되도록 하게 된다. 여기서, 상기 3D 렌더링부(216)에 의한 가상 카메라 위치에서의 뎁스 정보 및 영상의 합성, 그리고 포맷터(220)에 의한 영상 포맷팅이 사용자의 명령에 응답하여 선택적으로 수행될 수도 있다. 즉, 시청자는 리모콘(미도시)을 조작하여 합성 영상이 표시되지 않도록 할 수도 있고, 영상 합성이 이루어질 시점을 지정할 수도 있다.
상기에서 살펴본 바와 같이, 3D 영상을 생성하기 위해 뎁스 정보는 3D 렌더링부(216)에서 이용되고 있지만, 다른 실시예로서 상기 비디오 디코더(210)에서 이용될 수도 있다. 이하에서는 상기 비디오 디코더(210)에서 뎁스 정보를 이용하는 다양한 실시예들을 살펴보도록 한다.
도 3은 본 발명이 적용되는 실시예로서, 뎁스 정보를 처리할 수 있는 비디오 디코더의 개략적인 블록도를 나타낸다.
도 3을 참조하면, 상기 비디오 디코더(210)는 크게 엔트로피 디코딩부(310), 역양자화부(320), 역변환부(330), 디블로킹 필터부(340), 복호 픽쳐 버퍼부(350), 인터 예측부(360) 및 인트라 예측부(370)를 포함할 수 있다. 여기서, 실선은 컬러 픽쳐 데이터의 흐름을 의미하며, 점선은 뎁스 픽쳐 데이터의 흐름을 의미한다. 이와 같이, 상기 도 3에서는 컬러 픽쳐 데이터와 뎁스 픽쳐 데이터를 구분하여 표시하였지만, 이는 별개의 비트스트림을 의미할 수 있고, 또는 하나의 비트스트림 내에서 데이터의 흐름만을 구분한 것으로 볼 수도 있다. 즉, 상기 컬러 픽쳐 데이터와 상기 뎁스 픽쳐 데이터는 하나의 비트스트림, 또는 별개의 비트스트림으로 전송될 수 있고, 도 3에서는 데이터의 흐름을 나타낼 뿐 하나의 디코더 내에서 모두 수행되는 것으로 한정되지 않는다.
먼저 수신된 뎁스 비트스트림(300)을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 셋과 픽쳐 파라미터 셋이 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역, NAL 헤더의 확장 영역, 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트), 시퀀스 헤더의 확장 영역, 픽쳐 헤더 영역(예를 들어, 픽쳐 파라미터 세트), 픽쳐 헤더의 확장 영역, 슬라이스 헤더 영역, 슬라이스 헤더의 확장 영역, 슬라이스 데이터 영역, 또는 매크로 블록 영역에는 뎁스에 관련된 여러 가지 속성 정보가 포함될 수 있다.
뎁스 코딩은 별개의 코덱으로 이용될 수 있지만, 기존 코덱과의 호환을 이루는 경우라면 뎁스 비트스트림인 경우에 한해 뎁스에 관련된 여러 가지 속성 정보들을 추가하는 것이 더 효율적일 수 있다. 예를 들어, 상기 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트) 또는 시퀀스 헤더의 확장 영역에서 뎁스 비트스트림인지 여부를 식별할 수 있는 뎁스 식별 정보를 추가할 수 있다. 상기 뎁스 식별 정보에 따라, 입력된 비트스트림이 뎁스 코딩된 비트스트림일 경우에 한해 뎁스 시퀀스에 대한 속성 정보들을 추가할 수 있다. 예를 들어, 상기 속성 정보들은 데이터 타입 식별 정보(data type identification information), 뎁스-시점 식별 정보(depth-view identification information) 등을 포함할 수 있다. 이는 도 4에서 상세히 설명하도록 한다.
파싱된 뎁스 비트스트림(300)은 엔트로피 디코딩부(310)를 통하여 엔트로피 디코딩되고, 각 매크로브록의 계수, 움직임 벡터 등이 추출된다. 역양자화부(320)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 역변환부(330)에서는 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 인트라 예측부(370)에서는 현재 뎁스 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 한편, 디블로킹 필터부(340)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 디블로킹 필터링을 적용한다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(350)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(350)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 뎁스 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(350)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보도 함께 이용할 수 있다.
또한, 상기 복호 픽쳐 버퍼부(350)는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 뎁스 시점에 대한 정보를 이용할 수 있다. 예를 들어, 뎁스-뷰 참조 정보(depth-view reference information)를 이용할 수 있다. 뎁스-뷰 참조 정보란, 뎁스 픽쳐들의 시점간 의존 관계를 나타내기 위해 이용되는 정보들을 말한다. 예를 들어, 전체 뎁스 시점의 개수, 뎁스 시점 식별 번호, 뎁스-뷰 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 뎁스 시점 식별 번호 등이 있을 수 있다.
상기 복호 픽쳐 버퍼부(350)는 보다 유연하게 화면간 예측을 실현하기 위하여 참조 픽쳐를 관리한다. 예를 들어, 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method)이 이용될 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 컬러 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(360)에서 뎁스 코딩을 위해 이용될 수 있다.
도 3을 참조하면, 인터 예측부(360)는 움직임 보상부(361), 가상시점 합성부(362) 및 뎁스 픽쳐 예측부(363)를 포함할 수 있다.
움직임 보상부(361)에서는 엔트로피 디코딩부(310)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 예측값을 획득한다. 상기 획득된 움직임 벡터 예측값과 상기 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 뎁스 코딩에 있어서, 현재 뎁스 픽쳐가 다른 시점에 있는 뎁스 픽쳐를 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(350)에 저장되어 있는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다. 또한, 그 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보를 이용하여 움직임 보상을 수행할 수도 있다.
또한, 가상 시점 합성부(Virtual View Synthesizing Unit)(362)는 현재 픽쳐의 시점에 이웃하는 시점에 있는 픽쳐를 이용하여 새로운 시점의 컬러 픽쳐를 합성한다. 이때, 합성된 새로운 시점의 컬러 픽쳐는 현재 픽쳐를 예측하기 위해 이용될 수 있다. 각 이웃하는 시점의 픽쳐들을 이용하기 위해 또는 원하는 특정 시점의 픽쳐들을 이용하기 위해, 픽쳐의 시점을 나타내는 시점 식별 정보가 이용될 수 있다. 이러한 새로운 시점을 생성하게 될 경우, 상기 새로운 시점을 생성할지 여부를 알려주는 플래그 정보를 정의할 필요가 있다. 상기 플래그 정보가 상기 새로운 시점을 생성할 것임을 알려주었을 때, 상기 시점 식별 정보를 이용하여 새로운 시점을 생성할 수 있다. 상기 가상 시점 합성부(362)를 통해 획득된 새로운 시점의 픽쳐들은 참조 픽쳐로 사용될 수도 있으며, 이 경우 상기 새로운 시점의 픽쳐들에 상기 시점 식별 정보를 할당할 수 있다. 또한, 움직임 벡터를 전송하기 위해 움직임 벡터 예측을 수행하는 과정에서, 현재 블록의 이웃 블록들이 상기 가상 시점 합성부(362)를 통해 획득된 픽쳐를 참조할 수 있다. 이 때, 상기 새로운 시점의 픽쳐를 참조 픽쳐로 이용하기 위해 픽쳐의 시점을 나타내는 시점 식별 정보가 이용될 수 있다.
다른 실시예로, 상기 가상 시점 합성부(362)는 현재 뎁스 픽쳐의 시점에 이웃하는 시점에 있는 뎁스 픽쳐를 이용하여 새로운 시점의 뎁스 픽쳐를 합성할 수 있다. 이때, 합성된 새로운 시점의 뎁스 픽쳐는 현재 뎁스 픽쳐를 예측하기 위해 이용될 수 있다. 그리고, 뎁스 픽쳐의 시점을 나타내기 위해 뎁스 시점 식별 정보가 이용될 수 있다. 여기서, 상기 뎁스 시점 식별 정보는 대응되는 컬러 픽쳐의 시점 식별 정보로부터 유도될 수 있다. 예를 들어, 상기 대응되는 컬러 픽쳐는 현재 뎁스 픽쳐와 동일한 픽쳐 출력 순서 정보 및 동일한 시점 식별 정보를 가질 수 있다.
또 다른 실시예로, 상기 가상 시점 합성부(362)는 현재 뎁스 픽쳐의 시점에 이웃하는 시점에 있는 뎁스 픽쳐를 이용하여 새로운 시점의 컬러 픽쳐를 합성할 수 있다. 또는 현재 컬러 픽쳐의 시점에 이웃하는 시점에 있는 컬러 픽쳐를 이용하여 새로운 시점의 뎁스 픽쳐를 합성할 수도 있다.
뎁스 픽쳐 예측부(363)는 뎁스 코딩 정보를 이용하여 현재 뎁스 픽쳐를 예측할 수 있다. 여기서, 상기 뎁스 코딩 정보는 뎁스 코딩과 관련된 정보, 예를 들어, 뎁스 코딩을 위한 새로운 매크로블록 타입 정보, 뎁스 픽쳐 내의 경계선 식별 정보, RBSP내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 정보, 또는 데이터 타입이 뎁스 픽쳐 데이터인지 컬러 픽쳐 데이터인지 또는 패러렉스 데이터인지 여부를 나타내는 정보 등을 의미할 수 있다.
상기와 같은 과정을 통해 인터 예측된 픽쳐와 인트라 예측된 픽쳐는 예측 모드에 따라 선택되어 현재 픽쳐(또는 현재 뎁스 픽쳐)를 복원하게 된다.
도 4는 본 발명이 적용되는 실시예로서, 뎁스 코딩된 비트스트림에 포함될 수 있는 뎁스 코딩 정보를 나타낸다.
상기 도 4에서는 뎁스 코딩된 비트스트림의 속성 정보들이 포함될 수 있는 NAL 단위의 구성의 일례를 나타낸다. 크게 NAL 유닛은 NAL 유닛의 헤더와 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)로 구성될 수 있다. 그리고, NAL 유닛의 헤더에서는 NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 있는지 여부를 나타내는 식별 정보(nal_ref_idc)와 NAL 유닛의 타입을 나타내는 정보(nal_unit_type)를 포함할 수 있다. 또한, 제한적으로 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 예를 들어, 상기 NAL 유닛의 타입을 나타내는 정보가 스케일러블 비디오 코딩과 관련이 있는 경우, 또는 다시점 비디오 코딩과 관련이 있는 경우, 또는 뎁스 코딩과 관련이 있는 경우, 또는 prefix NAL 유닛을 나타내는 경우에, 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 구체적 예로, 상기 nal_unit_type 이 슬라이스 레이어의 확장 데이터를 나타내는 경우, 또는 시퀀스 헤더의 확장 데이터를 나타내는 경우, 또는 서브셋 시퀀스 헤더의 확장 데이터를 나타내는 경우, 또는 prefix NAL 유닛을 나타내는 경우, 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역을 포함할 수 있다. 또한, 상기 NAL 유닛 헤더의 확장 영역 내에서는, 뎁스 코딩된 비트스트림인지 여부를 식별할 수 있는 플래그 정보에 따라 뎁스 시퀀스에 대한 속성 정보들을 추가할 수 있다.
또 다른 예로, 상기 NAL 유닛의 타입을 나타내는 정보가 시퀀스 헤더를 나타내는 정보일 경우, 상기 RBSP는 시퀀스 파라미터 세트에 대한 정보를 포함할 수 있다. 이 때, 프로파일 정보에 따라 상기 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 예를 들어, 프로파일 정보(profile_idc)가 뎁스 코딩에 관련된 프로파일인 경우, 상기 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 또는 프로파일 정보에 따라 서브셋 시퀀스 파라미터 세트가 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 상기 시퀀스 파라미터 세트의 확장 영역은 뎁스 픽쳐의 시점간 의존 관계를 나타내는 뎁스-뷰 참조 정보를 포함할 수 있다.
이하 뎁스 시퀀스에 대한 다양한 속성 정보들, 예를 들어, NAL 유닛 헤더의 확장 영역에 포함될 수 있는 속성 정보들, 또는 시퀀스 파라미터 세트의 확장 영역에 포함될 수 있는 속성 정보들에 대해 구체적으로 살펴보도록 한다.
먼저, 데이터 타입 식별 정보(data type identification information)는 NAL 유닛의 RBSP 내에 포함된 데이터의 타입을 식별하는 정보를 의미할 수 있다. 예를 들어, RBSP 내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 정보(depth_flag)를 정의할 수 있다. 또는 RBSP 내의 데이터가 뎁스 픽쳐 데이터인지, 컬러 픽쳐 데이터인지 또는 패러렉스 데이터인지 여부를 나타내는 정보(aux_idc)를 정의할 수 있다. 상기 정보들은 NAL 유닛 헤더의 확장 영역에서 정의될 수 있다.
또한, 뎁스-뷰 참조 정보는 뎁스 픽쳐의 시점간 의존 관계를 나타내는 정보를 의미할 수 있다. 즉, 뎁스 픽쳐들이 어떠한 구조로 예측되었는지를 알 수 있는 정보를 말한다. 이는 비디오 신호의 데이터 영역로부터 획득될 수 있는데,. 예를 들어, 시퀀스 파라미터 세트 영역 또는 시퀀스 파라미터 세트의 확장 영역으로부터 획득될 수 있다. 또한, 상기 뎁스-뷰 참조 정보는 참조 픽쳐의 개수와 참조 픽쳐의 시점 정보를 이용하여 파악할 수 있다. 예를 들어, 먼저 뎁스 픽쳐들의 전체 시점의 개수를 획득하고, 상기 전체 시점의 개수에 근거하여 각 뎁스 픽쳐의 시점을 구별하는 뎁스 시점 식별 정보를 파악할 수 있다. 그리고, 각 시점마다 참조 방향에 대한 참조 픽쳐의 개수를 나타내는 뎁스-뷰 참조 픽쳐의 개수 정보를 획득할 수 있다. 상기 뎁스-뷰 참조 픽쳐의 개수 정보에 따라 각 뎁스-뷰 참조 픽쳐의 시점 식별 정보를 획득할 수 있다.
이러한 방식을 통해서 상기 뎁스-뷰 참조 정보가 획득될 수 있으며, 상기 뎁스-뷰 참조 정보는 인터뷰 픽쳐 그룹일 경우와 넌-인터뷰 픽쳐 그룹일 경우로 나누어서 파악될 수 있다. 이는 현재 NAL에 있는 코딩된 슬라이스가 인터뷰 픽쳐 그룹인지 여부를 나타내는 인터뷰 픽쳐 그룹 식별 정보를 이용하여 알 수 있다. 이러한 인터뷰 픽쳐 그룹 식별 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있다. 또한, 상기 인터뷰 픽쳐 그룹 식별 정보에 따라 획득된 뎁스-뷰 참조 정보는 참조 픽쳐 리스트의 생성 및 관리 등에 이용될 수 있다.
도 5는 본 발명이 적용되는 실시예로서, 뎁스 코딩된 비트스트림의 구조 및 전송 방법을 설명하기 위해 나타낸 것이다.
압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 상기 시퀀스 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 마찬가지로, 픽쳐의 헤더 정보에 상당하는 픽쳐 파라미터 세트 또한, 상기 픽쳐 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 예를 들어, 시퀀스 파라미터 세트 내에는 각 시퀀스 파라미터 세트를 식별하기 위한 시퀀스 식별 번호(sequence identification number)(sps_id)(510 또는 520)가 존재하고, 픽쳐 파라미터 세트 내에는 각 픽쳐 파라미터 세트를 식별하기 위한 픽쳐 식별 번호(picture identification number)(pps_id)(530)와 어떤 시퀀스 파라미터 세트를 참조할지를 나타내는 시퀀스 식별 번호(sps_id)(530)가 존재한다. 마찬가지로, 슬라이스 내에는 어떤 픽쳐 파라미터 세트를 참조할지를 나타내는 픽쳐 식별 번호(pps_id)가 존재한다.
상기 픽쳐 파라미터 세트에 이어 슬라이스 데이터가 전송될 수 있다. 이때 복수개의 카메라로부터 획득된 영상 시퀀스의 경우, 기준 시점(base view)에 대한 데이터가 비-기준 시점(non-base view)에 대한 데이터보다 먼저 전송될 수 있다. 이는 기준 시점에 대한 데이터는 비-기준 시점에 대한 데이터의 참조 시점으로 이용되기 때문이다. 여기서, 기준 시점이라 함은, 일반적인 영상 코딩 방식(MPEG-2, MPEG-4, H.263, H.264, H.264/AVC 등)에 의해 코딩되어 독립적인 비트스트림으로 형성될 수 있는 시점을 의미한다. 또는 다른 시점의 정보를 이용하지 않고 독립적으로 코딩 가능한 시점을 의미할 수도 있다. 또는 일반적인 영상 코딩 방식과 호환 가능한 시점을 의미할 수도 있다. 그리고, 비-기준 시점이라 함은, 기준 시점이 아닌 시점을 의미한다. 또는 독립적으로 코딩가능하지 않은, 즉 다른 시점의 정보를 이용해서 코딩될 수 있는 시점을 의미할 수 있다.
상기 기준 시점 또는 비-기준 시점 내의 임의의 픽쳐가 전송될 때, 컬러 픽쳐 데이터와 뎁스 픽쳐 데이터가 별개의 NAL 유닛으로 분리되어 전송될 수 있다. 이때, 기준 시점의 경우 컬러 픽쳐 데이터(540,550)가 뎁스 픽쳐 데이터(560,570)보다 먼저 전송될 수 있고, 비-기준 시점의 경우에는 뎁스 픽쳐 데이터(580)가 컬러 픽쳐 데이터(590)보다 먼저 전송될 수 있다.
여기서, 상기 컬러 픽쳐 데이터 또는 상기 뎁스 픽쳐 데이터를 포함하는 NAL 유닛들은 각각 NAL 헤더 영역에서 NAL 유닛의 RBSP 내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 뎁스 플래그 정보(depth_flag)를 포함할 수 있다. 예를 들어, depth_flag 가 0인 경우, RBSP 내의 데이터는 뎁스 코딩된 데이터를 포함하고 있지 않으며, 즉 컬러 픽쳐 데이터를 포함하며, depth_flag 가 1인 경우, RBSP 내의 데이터는 뎁스 코딩된 데이터를 포함하고 있다. 다만, NAL 유닛의 타입이 prefix NAL을 나타내는 경우, 해당 NAL 유닛의 RBSP 내에는 어떠한 정보도 포함되어 있지 않고(540,560), 바로 뒤에 전송되는 NAL 유닛의 RBSP 내에 코딩된 슬라이스 데이터가 포함되어 있게 된다(550,570).
본 발명이 적용되는 다른 실시예로, 상기 뎁스 플래그 정보(depth_flag)에 의해 현재 액세스 유닛과 이전 액세스 유닛이 구별될 수 있다. 예를 들어, 현재 액세스 유닛의 첫번째 NAL 유닛의 뎁스 플래그 정보는 이전 액세스 유닛의 마지막 NAL 유닛의 뎁스 플래그 정보와 다르다. 그리고, 현재 액세스 유닛의 첫번째 NAL 유닛의 시점 정보는 이전 액세스 유닛의 마지막 NAL 유닛의 시점 정보보다 작다. 여기서, 시점 정보라 함은 NAL 유닛의 시점 식별 정보를 의미할 수 있고, 또는 상기 NAL 유닛의 시점 식별 정보로부터 유도된 변수를 의미할 수 있다. 여기서, 상기 NAL 유닛의 시점 식별 정보로부터 유도된 변수는 시점간 디코딩 순서를 나타내는 정보일 수 있다. 또한, 여기서 상기 NAL 유닛은 중복 코딩된 픽쳐가 아닌 픽쳐의 NAL 유닛을 의미할 수 있다. 즉, 상기 NAL 유닛은 주요 코딩된 픽쳐(primary coded picture)의 NAL 유닛을 의미할 수 있다.
도 6 및 도 7은 본 발명이 적용되는 실시예들로서, 뎁스 시퀀스를 식별하기 위한 정보의 다양한 실시예들을 나타낸다.
뎁스 시퀀스를 식별하기 위한 정보는 NAL 유닛 헤더의 확장 영역, 또는 시퀀스 파라미터 세트의 확장 영역에 포함될 수 있다. 상기 뎁스 시퀀스를 식별하기 위한 정보의 예로서, 데이터 타입 식별 정보(data type identification information)를 들 수 있다.
상기 데이터 타입 식별 정보는 NAL 유닛의 RBSP 내에 포함된 데이터의 타입을 식별하는 정보를 의미할 수 있다. 예를 들어, 상기 도 6에 나타난 바와 같이 RBSP 내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 뎁스 플래그 정보(depth_flag)를 정의할 수 있다(S620). 이때, 상기 뎁스 플래그 정보(depth_flag)는 NAL 유닛 헤더의 확장 영역에 포함될 수 있으며, 상기 확장 영역은 다시점 비디오 코딩된 NAL 유닛 헤더의 확장 영역을 의미할 수 있다(S610). 또는 상기 확장 영역은 스케일러블 비디오 코딩된 NAL 유닛 헤더의 확장 영역을 의미할 수 있으며, 또는 뎁스 코딩된 NAL 유닛 헤더의 확장 영역을 의미할 수도 있다.
상기 데이터 타입 식별 정보의 다른 예로, 상기 도 7에 나타난 바와 같이 RBSP 내의 데이터가 뎁스 픽쳐 데이터인지, 컬러 픽쳐 데이터인지 또는 패러렉스 데이터인지 여부를 나타내는 모드 식별 정보(aux_idc)를 정의할 수 있다(S720). 상기 모드 식별 정보(aux_idc)는 다시점 비디오 코딩된 NAL 유닛 헤더의 확장 영역에 포함될 수 있다(S710). 이처럼 상기 모드 식별 정보(aux_idc)가 다시점 비디오 코딩된 NAL 유닛 헤더의 확장 영역에 포함되는 경우, 1byte가 더 필요하게 된다. 이때, 상기 모드 식별 정보(aux_idc)가 상기 예에서와 같이 3가지 경우만을 정의하게 된다면 2bit가 필요하게 되므로 나머지 6bit는 채워넣기 비트로 추후 다른 확장 가능성을 위해 비워놓을 수 있다(S730). 이러한 경우, NAL 유닛 헤더는 총 4byte의 크기를 가질 수 있다. 또한, 상기 모드 식별 정보(aux_idc)도 상기 뎁스 플래그 정보(depth_flag)의 실시예에서처럼 스케일러블 비디오 코딩된 NAL 유닛 헤더의 확장 영역, 또는 뎁스 코딩된 NAL 유닛 헤더의 확장 영역에 포함될 수 있다.
도 8 및 도 9는 본 발명이 적용되는 실시예들로서, 뎁스 정보를 식별하기 위한 다양한 실시예들을 설명하기 위해 나타낸 것이다.
뎁스 시퀀스를 처리하기 위해서는 입력되는 비트스트림이 뎁스 시퀀스의 프로파일(Profile)에 대한 것인지 여부를 식별할 필요가 있다. 그리고, 뎁스 시퀀스의 프로파일로 식별되면 뎁스 코딩에 관련된 적어도 하나의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 예를 들어, 도 8을 살펴보면, 프로파일 식별자(profile_idc)가 다시점 비디오 코딩된 시퀀스임을 나타내거나 뎁스 코딩된 시퀀스임을 나타내는 경우(S820), 다시점 비디오 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터를 추출할 수 있다(S830). 여기서, 상기 다시점 비디오 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터는, 시점간 영상들이 어떠한 구조로 예측되었는지를 알 수 있는 시점간 참조 정보를 의미할 수 있다. 상기 시점간 참조 정보는 전체 시점의 개수 정보, 각 시점을 구별하는 시점 정보, 각 시점마다 참조 방향에 대한 참조 픽쳐의 개수 정보 및 상기 참조 픽쳐의 시점 정보 등을 포함할 수 있다. 그리고, 상기 시점간 참조 정보는 인터뷰 픽쳐 그룹일 경우와 넌-인터뷰 픽쳐 그룹일 경우로 나누어서 파악될 수 있다.
또한, 상기 프로파일 식별자(profile_idc)가 다시점 비디오 코딩된 시퀀스임을 나타내거나 뎁스 코딩된 시퀀스임을 나타내고(S820) 다시점 비디오 코딩에 이용되는 확장 파라미터가 존재하는 경우(S840), 상기 프로파일 식별자(profile_idc)가 뎁스 코딩된 시퀀스임을 나타내는 경우(S850)에는 뎁스 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터를 추출할 수 있다(S860). 상기 뎁스 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터에 대해서는 도 10 내지 도 12에서 상세히 설명하도록 한다. 요컨대, 도 8에서 뎁스 코딩에 관련된 데이터(예를 들어, 뎁스 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터)는 다시점 비디오 코딩된 데이터와 함께 획득 가능할 수 있다. 즉, 뎁스 코딩된 비트스트림은 다시점 비디오 코딩된 비트스트림과 호환 가능하며, 뎁스 코딩된 데이터가 존재하지 않는 경우에는 다시점 비디오 코딩된 데이터만 획득 가능하게 된다.
한편, 도 9에서는 다시점 비디오 코딩된 비트스트림과 독립적으로 뎁스 코딩된 비트스트림을 추출할 수 있다. 즉, 상기 프로파일 식별자가 다시점 비디오 코딩된 시퀀스임을 나타내는 경우(S920)에는 다시점 비디오 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터를 추출하고(S930), 상기 프로파일 식별자가 뎁스 코딩된 시퀀스임을 나타내는 경우(S940)에는 뎁스 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터를 추출하게 된다(S950). 이하, 도 10 내지 도 12에서는 뎁스 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터에 대해 상세히 설명하도록 한다.
도 10 내지 도 12는 본 발명이 적용되는 실시예들로서, 뎁스 코딩된 시퀀스 파라미터 세트의 확장 영역의 데이터의 구체적인 정보들을 나타낸다.
먼저, 상기 도 10을 살펴보면, 상기 뎁스 코딩된 시퀀스 파라미터 세트의 확장 영역(S1010, S1110)의 데이터의 예로, 뎁스-뷰 참조 정보(depth-view reference information)와 뎁스 보조 정보(depth auxiliary information)를 들 수 있다. 상기 뎁스-뷰 참조 정보는 상기 도 4에서 설명한 바와 같이 뎁스 픽쳐의 시점간 의존 관계를 나타내는 정보를 의미할 수 있다.
상기 뎁스-뷰 참조 정보는 상기 도 8에서 설명한 다시점 비디오 코딩에서의 시점간 참조 정보와 동일한 값을 가질 수 있다. 또는 상기 뎁스-뷰 참조 정보는 다시점 비디오 코딩에서의 시점간 참조 정보로부터 유도될 수 있다. 상기 뎁스-뷰 참조 정보는 상기 시점간 참조 정보와 같은 값을 가질 확률이 높기 때문에 상기 시점간 참조 정보와 상기 뎁스-뷰 참조 정보를 함께 전송하는 것은 비효율적일 수 있다. 따라서, 상기 뎁스-뷰 참조 정보가 코딩되었는지 여부를 나타내는 스킵 정보(skip_depth_dependency)(S1030), 또는 상기 뎁스-뷰 참조 정보가 상기 시점간 참조 정보와 동일한지 여부를 나타내는 플래그 정보(same_dependency_flag)를 이용하여 코딩 효율을 높일 수 있다. 예를 들어, skip_depth_dependency 가 1이면, 상기 뎁스-뷰 참조 정보는 추출되지 않고 스킵되고, 0이면 상기 뎁스-뷰 참조 정보는 추출될 수 있다. 또는 same_dependency_flag 가 1이면 상기 뎁스-뷰 참조 정보가 상기 시점간 참조 정보와 동일하다는 것을 의미하고, 상기 뎁스-뷰 참조 정보는 상기 시점간 참조 정보로부터 유도되며, 0이면 상기 뎁스-뷰 참조 정보는 추출된다.
상기 뎁스-뷰 참조 정보는 참조 픽쳐의 개수와 참조 픽쳐의 시점 정보를 이용하여 파악할 수 있다. 예를 들어, 먼저 뎁스 픽쳐들의 전체 시점의 개수를 획득할 수 있다(S1020). 그리고, 스킵 정보(skip_depth_dependency)를 획득하고(S1030), 상기 스킵 정보에 따라 뎁스-뷰 참조 정보가 코딩되었음을 나타내는 경우 또는 상기 뎁스-뷰 참조 정보가 상기 시점간 참조 정보와 동일하지 않은 경우, 뎁스-뷰 참조 정보(A)를 획득할 수 있다. 상기 뎁스-뷰 참조 정보(A)의 구체적 예로, 먼저 상기 전체 시점의 개수에 근거하여 각 뎁스 픽쳐의 시점을 구별하는 뎁스 시점 식별 정보를 파악할 수 있다(S1040). 그리고, 각 시점마다 참조 방향에 대한 참조 픽쳐의 개수를 나타내는 뎁스-뷰 참조 픽쳐의 개수 정보를 획득할 수 있다(S1051, S1053, S1061, S1063). 상기 뎁스-뷰 참조 픽쳐의 개수 정보에 따라 각 뎁스-뷰 참조 픽쳐의 시점 식별 정보를 획득할 수 있다(S1052, S1054, S1062, S1064).
본 발명의 다른 실시예로, 상기 도 11을 살펴보면, 상기 도 10과는 달리 다시점 비디오 코딩의 시점간 참조 정보(C)를 포함하고 있다. 상기 도 11에서 뎁스-뷰 참조 정보는 다시점 비디오 코딩의 시점간 참조 정보(C)와 함께 획득될 수 있다. 즉, 스킵 정보를 획득하고(S1130), 상기 스킵 정보에 따라 뎁스-뷰 참조 정보가 시점간 참조 정보와 동일하지 않은 경우, 뎁스-뷰 참조 정보(A)를 획득할 수 있다(S1170). 상기 다시점 비디오 코딩의 시점간 참조 정보(C)(S1140, S1151∼S1154, S1161∼ S1164)에 대해서는 상기 도 8에서 상세히 설명한 바 있다.
한편, 도 12에서는 뎁스 보조 정보(depth auxiliary information)의 구체적인 예를 나타낸다. 뎁스 보조 정보(depth auxiliary information)라 함은 뎁스 코딩을 위한 보조 정보를 나타내며, 대표적 예로 카메라 파라미터 정보를 들 수 있다(S1210).
상기 카메라 파라미터 정보는 고유의 카메라 파라미터(intrinsic camera parameter)(S1211) 및 비고유의 카메라 파라미터(extrinsic camera parameter)가 있을 수 있는데, 고유의 카메라 파라미터에는 초점 거리(focal length) (S1212), 주점(principal point)(S1213), 삐뚤어진 각도(skew)(S1214), 가로세로비(aspect ratio) 등이 있을 수 있고, 비고유의 카메라 파라미터에는 기준 좌표계에서의 카메라의 위치정보 등이 있을 수 있다. 상기 고유의 카메라 파라미터는 모든 카메라가 동일한 값을 가지도록 영점 조정(calibration)되어 있다고 가정하고, 모든 카메라에 대하여 공통적으로 적용되는 하나의 고유의 카메라 파라미터가 수신 시스템에 전달될 수 있다. 또는, 각 카메라에 대하여 개별적으로 고유의 카메라 파라미터가 수신 시스템에 전달될 수도 있다.
상기 초점 거리는 수평 방향 초점 거리(focal_length_x)와 수직 방향 초점 거리(focal_length_y)로 구분하여 표현될 수 있다. 마찬가지로, 상기 주점(principal point) 위치도 수평 방향 주점 위치(principal_point_x)와 수직 방향 주점 위치(principal_point_y)로 구분하여 표현될 수 있다. 그리고, 각 파라미터는 IEC 60559:1989 내지 IEEE 954-1985 표준에 따른 부동소수점 숫자 표시 방식으로 표현되어, 부호, 지수 부분, 유효자리 소수부분으로 구분되어 표시된다. 일 실시예에 있어서, 부호는 1비트의 정수로 표시되고, 지수 부분 및 유효자리 소수 부분은 각각 6비트의 정수로 표시될 수 있다. 특히 음수를 나타낼 수 있도록, 지수 부분은 excess-31 코드의 바이어스된 지수(biased exponent) 형식으로써 표시될 수 있다.
한편, 실제 카메라와 가상 카메라를 포함하여 모든 카메라에 대하여 각각 별도로 정의되는 비고유(extrinsic) 카메라 파라미터는 다음과 같이 회전 파라미터와 변위 파라미터를 포함할 수 있다. 회전 파라미터(prec_rotation_param)는 회전량 행렬 성분 r[i][j][k]에 대한 최대허용 절사오차의 지수부분을 나타내는데, 여기서 최대허용 절사오차는 2-prec_rotation이 된다(S1221). 변위 파라미터(prec_translation_param)는 변위 행렬 성분 t[i][j][k]에 대한 최대허용 절사오차의 지수부분을 나타내는데, 여기서 최대허용 절사오차는 2-prec_translation이 된다(S1222).
또한, 상기 카메라 파라미터 정보는 뎁스 픽쳐의 Z 좌표 정보, 스케일 정보와 오프셋 정보를 포함할 수 있다. 뎁스 픽쳐의 Z 좌표 정보는 상기 도 1에서 설명한 Z 좌표값을 복원하기 위해 이용될 수 있다. 상기 스케일 정보는 뎁스 픽쳐를 스케일링할 때 이용되는 정보로써, 수평 성분(scale_x)(S1251)과 수직 성분(scale_y)(S1252)의 스케일 정보를 포함할 수 있다. 상기 스케일 정보는 원해상도보다 작은 해상도의 크기로 전송된 뎁스 픽쳐를 원해상도로 만들기 위해 이용될 수 있다.
상기 오프셋 정보는 컬러 픽쳐 내의 1/16 샘플링 위치와 뎁스 픽쳐의 위치 사이의 수평 방향(offset_x)(S1261), 수직 방향(offset_y)(S1262)의 오프셋 정보를 포함할 수 있다. 또한, 상기 오프셋 정보는 뎁스 픽쳐 간의 예측 코딩을 수행함에 있어서 상기 뎁스 픽쳐를 업샘플링(또는 다운 샘플링)시 공간 해상도의 차이로 생기는 상,하,좌,우 크로핑 정보(cropping information)(top_offset, bottom_offset, left_offset, right_offset)(S1264, S1266, S1263, S1265)를 포함할 수 있다. 상기 상,하,좌,우 크로핑 정보는 뎁스 픽쳐 간의 예측 코딩을 수행할 때, 보다 정확한 예측을 수행하기 위해 이용될 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 비디오 디코더는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
[산업상 이용가능성]
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (14)

  1. 복수개의 카메라로부터 획득된 영상 신호를 처리하는 방법에 있어서,
    컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림을 수신하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내는 단계;
    상기 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보를 획득하되, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 단계;
    상기 데이터 타입 식별 정보에 기초하여 상기 뎁스 픽쳐의 시점간 참조 정보를 획득하되, 상기 뎁스 픽쳐의 시점간 참조 정보는 뎁스-뷰(depth-view) 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 시점 식별 번호를 포함하는 단계;
    상기 뎁스 픽쳐의 시점간 참조 정보를 이용하여 상기 뎁스 픽쳐의 예측값을 획득하는 단계;
    상기 뎁스 픽쳐의 예측값을 이용하여 상기 뎁스 픽쳐를 복원하는 단계; 및
    상기 복원된 뎁스 픽쳐를 이용하여 3차원 영상을 획득하는 단계
    를 포함하는 것을 특징으로 하는 영상 신호 처리 방법.
  2. 제 1항에 있어서,
    상기 다시점 비디오 코딩된 비트스트림이 뎁스 코딩된 비트스트림을 포함하고 있는지 여부를 식별하기 위한 식별 모드 정보를 수신하는 단계를 더 포함하되,
    상기 식별 모드 정보에 의해 상기 다시점 비디오 코딩된 비트스트림이 뎁스 코딩된 비트스트림을 포함하고 있는 경우, 상기 뎁스 픽쳐의 시점간 참조 정보가 획득되는 것을 특징으로 하는 영상 신호 처리 방법.
  3. 제 2항에 있어서,
    상기 식별 모드 정보는 시퀀스 헤더 영역으로부터 획득되는 것을 특징으로 하는 영상 신호 처리 방법.
  4. 제 1항에 있어서,
    상기 데이터 타입 식별 정보는 뎁스 코딩된 NAL 유닛의 확장 영역으로부터 획득되는 것을 특징으로 하는 영상 신호 처리 방법.
  5. 제 1항에 있어서,
    상기 컬러 픽쳐의 시점간 참조 정보를 획득하는 단계를 더 포함하되,
    상기 뎁스 픽쳐의 시점간 참조 정보가 상기 컬러 픽쳐의 시점간 참조 정보와 동일한 경우, 상기 뎁스 픽쳐의 시점간 참조 정보는 상기 컬러 픽쳐의 시점간 참조 정보와 동일한 값으로 유도되는 것을 특징으로 하는 영상 신호 처리 방법.
  6. 제 1항에 있어서,
    상기 다시점 비디오 코딩된 비트스트림은 기준 시점(base view)과 비-기준 시점(non-base view)의 컬러 픽쳐 및 뎁스 픽쳐를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 비-기준 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 영상 신호 처리 방법.
  7. 제 6항에 있어서,
    상기 기준 시점의 경우 상기 컬러 픽쳐가 상기 뎁스 픽쳐보다 먼저 전송되고, 상기 비-기준 시점의 경우 상기 뎁스 픽쳐가 상기 컬러 픽쳐보다 먼저 전송되는 것을 특징으로 하는 영상 신호 처리 방법.
  8. 복수개의 카메라로부터 획득된 영상 신호를 처리하는 장치에 있어서,
    컬러 픽쳐와 뎁스 픽쳐를 포함하는 다시점 비디오 코딩된 비트스트림으로부터 데이터 타입 식별 정보를 획득하되, 상기 뎁스 픽쳐는 기준이 되는 카메라와 객체 간의 거리를 수치화한 정보들의 집합을 나타내고, 상기 데이터 타입 식별 정보는 상기 다시점 비디오 코딩된 비트스트림 내에 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 엔트로피 디코딩부;
    상기 데이터 타입 식별 정보에 기초하여 상기 뎁스 픽쳐의 시점간 참조 정보를 획득하고, 상기 뎁스 픽쳐의 시점간 참조 정보를 이용하여 상기 뎁스 픽쳐의 예측값을 획득하되, 상기 뎁스 픽쳐의 시점간 참조 정보는 뎁스-뷰(depth-view) 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 시점 식별 번호를 포함하는 뎁스 픽쳐 예측부; 및
    상기 뎁스 픽쳐의 예측값을 이용하여 상기 뎁스 픽쳐를 복원하고, 상기 복원된 뎁스 픽쳐를 이용하여 3차원 영상을 획득하는 포맷터부
    를 포함하는 것을 특징으로 하는 영상 신호 처리 장치.
  9. 제 8항에 있어서,
    상기 엔트로피 디코딩부는 상기 다시점 비디오 코딩된 비트스트림이 뎁스 코딩된 비트스트림을 포함하고 있는지 여부를 식별하기 위한 식별 모드 정보를 수신하고, 상기 식별 모드 정보에 의해 상기 다시점 비디오 코딩된 비트스트림이 뎁스 코딩된 비트스트림을 포함하고 있는 경우, 상기 뎁스 픽쳐 예측부는 상기 뎁스 픽쳐의 시점간 참조 정보를 획득하는 것을 특징으로 하는 영상 신호 처리 장치.
  10. 제 9항에 있어서,
    상기 식별 모드 정보는 시퀀스 헤더 영역으로부터 획득되는 것을 특징으로 하는 영상 신호 처리 장치.
  11. 제 8항에 있어서,
    상기 데이터 타입 식별 정보는 뎁스 코딩된 NAL 유닛의 확장 영역으로부터 획득되는 것을 특징으로 하는 영상 신호 처리 장치.
  12. 제 8항에 있어서,
    상기 컬러 픽쳐의 시점간 참조 정보를 획득하는 움직임 보상부를 더 포함하되,
    상기 뎁스 픽쳐의 시점간 참조 정보가 상기 컬러 픽쳐의 시점간 참조 정보와 동일한 경우, 상기 뎁스 픽쳐의 시점간 참조 정보는 상기 컬러 픽쳐의 시점간 참조 정보와 동일한 값으로 유도되는 것을 특징으로 하는 영상 신호 처리 장치.
  13. 제 8항에 있어서,
    상기 다시점 비디오 코딩된 비트스트림은 기준 시점(base view)과 비-기준 시점(non-base view)의 컬러 픽쳐 및 뎁스 픽쳐를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 비-기준 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 하는 영상 신호 처리 장치.
  14. 제 13항에 있어서,
    상기 기준 시점의 경우 상기 컬러 픽쳐가 상기 뎁스 픽쳐보다 먼저 전송되고, 상기 비-기준 시점의 경우 상기 뎁스 픽쳐가 상기 컬러 픽쳐보다 먼저 전송되는 것을 특징으로 하는 영상 신호 처리 장치.
KR1020117011072A 2008-11-18 2009-11-18 영상 신호 처리 방법 및 장치 KR101619448B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US11590608P 2008-11-18 2008-11-18
US61/115,906 2008-11-18
US17398409P 2009-04-30 2009-04-30
US61/173,984 2009-04-30
US22110109P 2009-06-29 2009-06-29
US61/221,101 2009-06-29
US22860909P 2009-07-26 2009-07-26
US61/228,609 2009-07-26

Publications (2)

Publication Number Publication Date
KR20110102305A true KR20110102305A (ko) 2011-09-16
KR101619448B1 KR101619448B1 (ko) 2016-05-10

Family

ID=42198658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117011072A KR101619448B1 (ko) 2008-11-18 2009-11-18 영상 신호 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US8760495B2 (ko)
EP (1) EP2365694B1 (ko)
KR (1) KR101619448B1 (ko)
WO (1) WO2010058955A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130119381A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2014073877A1 (ko) * 2012-11-07 2014-05-15 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
WO2014084613A2 (ko) * 2012-11-27 2014-06-05 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
WO2014109563A1 (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101199498B1 (ko) 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
US9143783B2 (en) 2011-01-19 2015-09-22 Telefonaktiebolaget L M Ericsson (Publ) Indicating bit stream subsets
CN103404156A (zh) * 2011-02-24 2013-11-20 索尼公司 图像处理装置和图像处理方法
CN103430529B (zh) 2011-03-18 2017-07-11 索尼公司 图像处理设备和图像处理方法
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
WO2013031573A1 (ja) 2011-08-31 2013-03-07 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9473752B2 (en) 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
EP2605217B8 (en) * 2011-12-16 2018-10-24 InterDigital Madison Patent Holdings Method for modelling a 3D scene and corresponding device
JP6078927B2 (ja) * 2012-01-10 2017-02-15 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、及び、動画像復号装置
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US8995754B2 (en) * 2013-05-30 2015-03-31 Xerox Corporation Estimating a pose of a camera for volume estimation
TWI602144B (zh) * 2013-10-02 2017-10-11 國立成功大學 包裝彩色圖框及原始景深圖框之方法、裝置及系統
KR102564729B1 (ko) * 2018-04-05 2023-08-09 삼성전자주식회사 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
CN111176593A (zh) * 2018-11-09 2020-05-19 上海云绅智能科技有限公司 一种延展画面的投影方法及系统
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
CN115904294B (zh) * 2023-01-09 2023-06-09 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
AU2002952874A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view
US7324594B2 (en) * 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
WO2006041261A1 (en) 2004-10-16 2006-04-20 Electronics And Telecommunications Research Institute Method and system for encoding/decoding multi-view video based on layered-depth image
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
WO2007047736A2 (en) * 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
KR20070098429A (ko) 2006-03-30 2007-10-05 엘지전자 주식회사 비디오 신호의 디코딩 방법
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
KR100949979B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130119381A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2014073877A1 (ko) * 2012-11-07 2014-05-15 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
US9854269B2 (en) 2012-11-07 2017-12-26 Lg Electronics Inc. Method and apparatus for processing multiview video signal with part of non-reference view
WO2014084613A2 (ko) * 2012-11-27 2014-06-05 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
WO2014084613A3 (ko) * 2012-11-27 2014-10-23 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
WO2014109563A1 (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9998762B2 (en) 2013-01-09 2018-06-12 Lg Electronics Inc. Method and apparatus for processing video signals

Also Published As

Publication number Publication date
EP2365694A2 (en) 2011-09-14
US20110221861A1 (en) 2011-09-15
KR101619448B1 (ko) 2016-05-10
EP2365694B1 (en) 2017-01-04
US8760495B2 (en) 2014-06-24
WO2010058955A3 (ko) 2010-08-19
EP2365694A4 (en) 2012-10-24
WO2010058955A2 (ko) 2010-05-27

Similar Documents

Publication Publication Date Title
KR101619448B1 (ko) 영상 신호 처리 방법 및 장치
KR101697598B1 (ko) 가상 뷰 이미지 합성 방법 및 장치
KR101619450B1 (ko) 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
US9196059B2 (en) Method and apparatus for processing video signals using boundary intra coding
KR101625058B1 (ko) 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
JP6114404B2 (ja) ビデオ信号処理方法及び装置
KR20160034259A (ko) 비디오 신호 처리 방법 및 장치
KR102248074B1 (ko) 비디오 신호 처리 방법 및 장치
KR101753592B1 (ko) 비디오 신호 처리 방법 및 장치
US20150215638A1 (en) Method and apparatus for processing video signal
KR101783617B1 (ko) 비디오 신호 처리 방법 및 장치
JP7472292B2 (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
KR102300036B1 (ko) 비디오 신호 처리 방법 및 장치
KR20150095679A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant