KR102020024B1 - 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법 - Google Patents

가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법 Download PDF

Info

Publication number
KR102020024B1
KR102020024B1 KR1020120010324A KR20120010324A KR102020024B1 KR 102020024 B1 KR102020024 B1 KR 102020024B1 KR 1020120010324 A KR1020120010324 A KR 1020120010324A KR 20120010324 A KR20120010324 A KR 20120010324A KR 102020024 B1 KR102020024 B1 KR 102020024B1
Authority
KR
South Korea
Prior art keywords
flag
virtual view
bitstream
encoding
mode
Prior art date
Application number
KR1020120010324A
Other languages
English (en)
Other versions
KR20130048130A (ko
Inventor
이진영
이재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/658,138 priority Critical patent/US20130100245A1/en
Priority to EP12189769.8A priority patent/EP2587813A3/en
Publication of KR20130048130A publication Critical patent/KR20130048130A/ko
Application granted granted Critical
Publication of KR102020024B1 publication Critical patent/KR102020024B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법이 개시된다. 부호화 장치는 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 현재 시점의 영상에 포함된 현재 블록들을 코딩 유닛에 따라 현재 정의되어 있는 부호화 모드 또는 가상 시점 합성 예측과 관련된 부호화 모드 중 어느 하나로 부호화할 수 있다.

Description

가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법{APPARATUS AND METHOD FOR ENCODING/DECODING USING VIRTUAL VIEW SYNTHESIS PREDICTION}
본 발명의 일실시예들은, 3D 비디오를 부호화/복호화하는 부호화/복호화 장치 및 방법에 관한 것으로, 보다 구체적으로는 현재 시점의 주변 시점에 대응하는 영상들을 합성한 결과를 부호화/복호화 과정에 활용하는 장치 및 방법에 관한 것이다.
입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 의미한다. 스테레오 영상의 경우, 좌우 눈에 각각 다른 시점의 영상을 제공하는 반면에, 입체 영상은 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공한다. 따라서, 입체 영상을 생성하기 위해서는 여러 시점에서 촬영한 영상들이 필요하다.
입체 영상을 생성하기 위해 여러 시점에서 찍은 영상들은 데이터량이 방대하다. 따라서, 입체 영상을 위해 네트워크 인프라, 지상파 대역폭 등을 고려하면 MPEG-2, H.264/AVC, 그리고 HEVC 등과 같은 단일시점 비디오 압축(Single-View Video Coding)에 최적화된 부호화 장치를 사용하여 압축하더라도 실현이 거의 불가능하다.
다만, 관찰자가 보는 시점마다 찍은 영상들은 서로 관련성이 있기 때문에 중복되는 정보가 많다. 따라서, 시점간 중복성을 제거할 수 있는 다시점 영상에 최적화된 부호화 장치를 이용하면 보다 적은 양의 데이터를 전송할 수 있다.
따라서, 입체 영상을 생성하기 위해 최적화된 다시점 영상 부호화 장치가 요구된다. 특히, 시간 및 시점 간의 중복성을 효율적으로 감소시키기 위한 기술 개발이 필요하다.
본 발명의 일실시예에 따른 부호화 장치는 이미 부호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성하는 합성 영상 생성부; 현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들 각각의 부호화 모드를 결정하는 부호화 모드 결정부; 및 상기 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성하는 영상 부호화부를 포함하고, 상기 부호화 모드는, 가상 시점 합성 예측과 관련된 부호화 모드를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 장치는 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정하는 플래그 설정부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 부호화 장치는 코딩 유닛을 구성하는 적어도 하나의 블록들에 대해 가상 시점 합성 예측과 관련된 부호화 모드 또는 현재 정의되어 있는 부호화 모드 중 어느 하나를 최적의 부호화 모드로 결정하는 부호화 모드 결정부; 및 상기 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성하는 영상 부호화부를 포함할 수 있다.
본 발명의 다른 실시예에 다른 부호화 장치는 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정하는 플래그 설정부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 장치는 이미 복호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성하는 합성 영상 생성부; 및 부호화 장치로부터 수신한 비트스트림에 추출한 복호화 모드를 이용하여 현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들을 복호화하는 영상 복호화부를 포함하고, 상기 복호화 모드는, 가상 시점 합성 예측과 관련된 복호화 모드를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 이미 부호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성하는 단계; 현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들 각각의 부호화 모드를 결정하는 단계; 및 상기 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성하는 단계를 포함하고, 상기 부호화 모드는, 가상 시점 합성 예측과 관련된 부호화 모드를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 부호화 방법은 코딩 유닛을 구성하는 적어도 하나의 블록들에 대해 가상 시점 합성 예측과 관련된 부호화 모드 또는 현재 정의되어 있는 부호화 모드 중 어느 하나를 최적의 부호화 모드로 결정하는 단계; 상기 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 부호화 방법은 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 이미 복호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성하는 단계; 및 부호화 장치로부터 수신한 비트스트림에 추출한 복호화 모드를 이용하여 현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들을 복호화하는 단계를 포함하고, 상기 복호화 모드는, 가상 시점 합성 예측과 관련된 복호화 모드를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림으로부터 추출하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 기록 매체는 부호화 장치가 복호화 장치에 전송하는 비트스트림이 기록되고, 비트스트림은 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 포함할 수 있다.
본 발명의 일실시예에 따르면, 부호화하고자 하는 현재 시점의 블록들을 부호화할 때 주변 시점의 영상을 합성하여 가상 시점의 합성 영상을 생성하고, 가상 시점의 합성 영상을 이용하여 부호화함으로써 시점간의 중복성을 제거하여 부호화 효율이 향상될 수 있다.
본 발명의 일실시예에 따르면, 현재 정의되어 있는 스킵 모드 이외에 가상 시점의 합성 영상에 기초한 스킵 모드를 추가적으로 활용함으로써 현재 영상을 부호화할 때 스킵 모드가 보다 많이 선택될 수 있으며, 이로 인해 부호화 효율이 향상될 수 있다.
본 발명의 일실시예에 따르면, 코딩 유닛을 구성하는 블록별로 부호화 모드를 결정함으로써 부호화 효율이 향상될 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 부호화 장치가 적용된 부호화 시스템을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 복호화 장치가 적용된 복호화 시스템을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 가상 시점 합성 기법을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따라 가상 시점 합성 예측 기법의 스킵 모드를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 가상 시점 합성 예측 기법의 잔차 신호 부호화 모드를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따라 코딩 유닛을 구성하는 블록들의 일례를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따라 플래그가 포함된 비트스트림을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치의 동작을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 부호화 장치(101)는 3D 비디오를 부호화한 후 부호화된 데이터를 비트스트림 형태로 복호화 장치(102)에 전송할 수 있다. 본 발명의 일실시예에 따른 부호화 장치(101)는 3D 비디오를 부호화할 때 영상들 간의 중복성을 최대한 제거함으로써 부호화 효율을 향상시킬 수 있다.
이러한 영상들 간의 중복성을 제거하기 위해, 인트라(Intra), 인터(Inter), 인터뷰(Inter-View) 예측 방법이 활용될 수 있다. 그리고, 블록을 예측할 때 여러 가지 부호화 모드(SKIP, 2N×2N, N×N, 2N×N, N×2N, 인트라 모드)들이 사용될 수 있다. 이 중 스킵 모드는 블록 정보들을 부호화하지 않기 때문에 다른 부호화 모드에 비해 비트량이 감소할 수 있다. 따라서, 영상을 부호화할 때 보다 많은 블록들이 스킵 모드로 부호화되는 경우, 보다 좋은 부호화 성능이 나타날 수 있다.
본 발명의 실시예에 의하면, 현재 정의되어 있는 스킵 모드와 더불어, 가상 시점의 합성 영상에 기초한 가상 시점 합성 스킵 모드를 정의함으로써 현재 영상을 구성하는 더 많은 블록들이 스킵 모드로 부호화될 수 있는 확률이 증가한다. 이 때, 부호화 장치(101)는 이미 부호화된 주변 시점의 영상들을 합성하여 가상 시점의 합성 영상을 생성하고, 생성된 합성 영상을 이용하여 현재 시점의 영상을 부호화할 수 있다.
이하에서는, 이미 부호화된 주변 시점의 영상들을 제1 영상, 부호화 장치에서 부호화하고자 하는 현재 시점의 영상을 제2 영상, 주변 시점의 제1 영상들로부터 합성한 영상을 합성 영상으로 정의한다. 합성 영상은 제2 영상과 동일한 현재 시점을 나타낸다. 그리고, 가상 시점 합성 예측과 관련된 부호화 모드를 가상 시점 합성 스킵 모드와 가상 시점 잔차 신호 부호화 모드로 구분하여 정의하기로 한다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 부호화 장치(101)는 합성 영상 생성부(201), 부호화 모드 결정부(202), 영상 부호화부(203), 플래그 설정부(204)를 포함할 수 있다.
합성 영상 생성부(201)는 이미 부호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성할 수 있다. 여기서, 주변 시점은 부호화하고자 하는 현재 시점의 제2 영상의 주변 영상에 대응하는 시점을 의미한다. 그리고, 가상 시점은 부호화하고자 하는 제2 영상의 시점과 동일한 시점을 의미한다.
부호화 모드 결정부(202)는 현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들 각각의 부호화 모드를 결정할 수 있다. 일례로, 부호화 모드는, 가상 시점 합성 예측과 관련된 부호화 모드를 포함할 수 있다. 구체적으로, 가상 시점 합성 예측과 관련된 부호화 모드는 가상 시점 합성 예측에서 블록 정보를 부호화하지 않은 스킵 모드인 제1 부호화 모드를 포함할 수 있다. 이 때, 제1 부호화 모드는 가상 시점 합성 스킵 모드로 정의될 수 있다.
그리고, 가상 시점 합성 예측과 관련된 부호화 모드는 블록 정보를 부호화하는 잔차 신호 부호화 모드인 제2 부호화 모드를 포함할 수 있다. 이 때, 제2 부호화 모드는 가상 시점 합성 잔차 신호 부호화 모드로 정의될 수 있다. 또는, 가상 시점 합성 예측과 관련된 부호화 모드는 제1 부호화 모드와 제2 부호화 모드 모두 포함할 수 있다.
본 발명의 일실시예에 따르면, 제1 부호화 모드와 제2 부호화 모드는 가상 시점의 합성 영상에서 제2 영상에 포함된 현재 블록과 동일한 위치에 있는 영벡터 블록을 이용할 수 있다. 여기서, 영벡터 블록은, 가상 시점의 합성 영상을 구성하는 블록들 중 현재 블록을 중심으로 영벡터가 가리키는 블록을 의미한다.
구체적으로, 제1 부호화 모드는 가상 시점의 합성 영상에서 현재 부호화하고자 하는 현재 블록과 동일한 위치에 있는 영벡터 블록을 검색하고, 현재 부호화하고자 하는 현재 블록을 영벡터 블록으로 대체하는 스킵 모드를 의미한다. 그리고, 제2 부호화 모드는 가상 시점의 합성 영상에서 현재 블록과 동일한 위치에 있는 영벡터 블록을 검색하고, 영벡터 블록을 기준으로 현재 부호화하고자 하는 현재 블록과 가장 유사한 예측 블록 및 예측 블록을 가리키는 가상 합성 벡터에 기초하여 잔차 신호 부호화를 수행하는 잔차 신호 부호화 모드를 의미한다.
그리고, 코딩 유닛은 현재 시점의 영상을 구성하는 블록들을 부호화하는 기준 요소를 의미하며, 부호화 성능에 따라 보다 세분화된 블록들로 분할될 수 있다. 이 때, 부호화 모드 결정부(202)는 코딩 유닛을 구성하는 적어도 하나의 세분화된 블록별로 부호화 모드를 결정할 수 있다. 코딩 유닛에 대해서는 도 10에서 구체적으로 설명하기로 한다.
부호화 모드 결정부(202)는 가상 시점 합성 예측과 관련된 부호화 모드와 현재 정의되어 있는 부호화 모드 중 부호화 성능이 가장 좋은 최적의 부호화 모드를 결정할 수 있다. 부호화 성능은 비용 함수가 최소인 것을 의미하며, 현재 시점의 영상을 부호화할 때 발생하는 비트수, 부호화된 현재 시점의 영상 왜곡 정도로 측정될 수 있다. 여기서, 현재 정의되어 있는 부호화 모드는 스킵 모드, 인터2N×2N, 인터2N×N, 인터N×2N, 인터N×N, 인트라2N×2N, 인트라N×N 등을 포함할 수 있다. 다른 실시예로, 현재 정의되어 있는 부호화 모드는 스킵 모드, 인터 모드, 인트라 모드를 포함할 수 있다. 현재 정의되어 있는 부호화 모드는 이에 한정되지 않고, 다른 방식의 부호화 모드가 추가될 수도 있다.
또한, 부호화 모드 결정부(202)는 가상 시점 합성 예측과 관련된 부호화 모드를 선택적으로 사용할 수 있다. 일례로, 현재 정의되어 있는 부호화 모드에 속하는 스킵 모드가 최적의 부호화 모드로 결정된 경우, 가상 시점 합성 예측과 관련된 부호화 모드의 부호화 성능을 배제할 수 있다. 즉, 현재 정의되어 있는 스킵 모드가 최적의 부호화 모드로 결정되면, 부호화 모드 결정부(202)는 가상 시점 합성 예측과 관련된 부호화 모드를 사용하지 않을 수 있다.
영상 부호화부(203)는 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성할 수 있다.
플래그 설정부(204)는 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정할 수 있다.
일례로, 플래그 설정부(204)는 비트스트림에 제2 플래그를 제3 플래그 뒤에 위치시키거나 또는 제3 플래그를 제2 플래그 뒤에 위치시킬 수 있다. 또한, 플래그 설정부(204)는 비트스트림에 제2 플래그를 제1 플래그 뒤에 위치시키거나 또는 제3 플래그를 제1 플래그 뒤에 위치시킬 수 있다. 한편, 플래그 설정부(204)는 비트스트림에 제1 플래그와 제2 플래그 사이에 제3 플래그를 위치시키거나 또는 제1 플래그와 제3 플래그 사이에 제2 플래그를 위치시킬 수 있다. 비트스트림에 플래그를 설정하는 방법에 대해서는 도 11에서 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 3을 참고하면, 복호화 장치(102)는 플래그 추출부(301), 합성 영상 생성부(302), 영상 복호화부(303)를 포함할 수 있다.
플래그 추출부(301)는 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림으로부터 추출할 수 있다.
일례로, 비트스트림에서, 제2 플래그는 제3 플래그 뒤에 위치할 수 있다. 반대로, 제3 플래그는 제2 플래그 뒤에 위치할 수 있다.
다른 일례로, 비트스트림에서, 제2 플래그는 제1 플래그 뒤에 위치할 수 있다. 그리고, 제3 플래그는 제1 플래그 뒤에 위치할 수 있다.
또 다른 일례로, 비트스트림에서, 제1 플래그와 제2 플래그 사이에 제3 플래그가 위치하거나 또는 제1 플래그와 제3 플래그 사이에 제2 플래그가 위치할 수 있다.
합성 영상 생성부(302)는 이미 복호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성할 수 있다.
영상 복호화부(303)는 부호화 장치(301)로부터 수신한 비트스트림에서 복호화 모드를 추출하고, 추출한 복호화 모드를 이용하여 현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들을 복호화할 수 있다.
이 때, 복호화 모드는 가상 시점 합성 예측과 관련된 복호화 모드를 포함할 수 있다. 여기서, 가상 시점 합성 예측과 관련된 복호화 모드는 가상 시점 합성 예측에서 블록 정보를 복호화하지 않는 스킵 모드인 제1 복호화 모드 및 블록 정보를 복호화하는 잔차 신호 복호화 모드인 제2 복호화 모드 중 적어도 하나를 포함할 수 있다. 구체적으로, 제1 복호화 모드 및 제2 복호화 모드는 가상 시점의 합성 영상에서 제2 영상에 포함된 현재 블록과 동일한 위치에 있는 영벡터 블록을 이용할 수 있다.
제1 복호화 모드 및 제2 복호화 모드는 제1 부호화 모드와 제2 부호화 모드에 대응되는 개념이며, 구체적인 내용은 도 2의 내용을 참고할 수 있다.
도 4는 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 4를 참고하면, 3개 시점(Left, Center, Right)의 영상을 입력받았을 때, GOP(Group of Picture) '8'로 부호화하는 다시점 비디오 부호화 방식(Multiview Video Coding)을 나타낸다. 다시점(Multi-view) 영상을 부호화기 위해서는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 영상(Hierarchical B Picture)을 적용하기 때문에 영상 간의 중복성(Redundancy)을 줄일 수 있다.
도 4에 도시된 다시점 비디오의 구조에 따라 다시점 비디오 부호화 장치(101)는 좌측 영상(Left Picture: I-view)을 먼저 부호화하고 우측 영상(Right Picture: P-view)과 중앙 영상(Center Picture: B-view)를 차례대로 부호화함으로써 3개 시점에 대응하는 영상을 부호화할 수 있다.
이 때, 좌측 영상은 움직임 추정(Motion Estimation)을 통해 이전 영상들로부터 비슷한 영역을 검색함으로써 시간적 중복성(Temporal Redundancy)이 제거되는 방식으로 부호화될 수 있다. 그리고, 우측 영상은 이미 부호화된 좌측 영상을 참조 영상으로 사용하여 부호화되기 때문에, 움직임 추정에 기초한 시간적 중복성과 변이 추정(Disparity Estimation)에 기초한 시점 간 중복성(View Redundancy)이 제거되는 방식으로 부호화될 수 있다. 또한, 중앙 영상은 이미 부호화된 좌측 영상과 우측 영상을 모두 참조 영상으로 이용하여 부호화되기 때문에, 양방향으로의 변이 추정에 따라 시점 간 중복성이 제거될 수 있다.
도 4를 참고하면, 다시점 비디오 부호화 방식에서, 좌측 영상과 같이 다른 시점의 참조 영상을 이용하지 않고 부호화되는 영상은 I-View, 우측 영상과 같이 다른 시점의 참조 영상을 단방향으로 예측하여 부호화하는 영상은 P-View, 중앙 영상과 같이 좌우 시점의 참조 영상을 양방향으로 예측하여 부호화하는 영상은 B-View이라고 정의된다.
MVC의 프레임은 예측 구조에 따라 크게 6가지 그룹으로 분류된다. 구체적으로, 6가지 그룹은 인트라 부호화를 위한 I-시점 Anchor 프레임, 시간축간 인터 부호화를 위한 I-시점 Non-anchor 프레임, 시점간 단방향 인터 부호화를 위한 P-시점 Anchor 프레임, 시점간 단방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 P-시점 Non-anchor 프레임, 시점간 양방향 인터 부호화를 위한 B-시점 Anchor 프레임 및 시점간 양방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 B-시점 Non-anchor 프레임으로 분류될 수 있다.
본 발명의 일실시예에 따르면, 부호화 장치(101)는 부호화하고자 하는 현재 시점의 좌우 시점인 주변 시점의 제1 영상을 합성하여 가상 시점의 합성 영상을 생성하고, 합성 영상을 이용하여 현재 시점의 제2 영상을 부호화할 수 있다. 여기서, 합성에 필요한 주변 시점의 제1 영상은 이미 부호화된 영상을 의미한다.
구체적으로, 부호화 장치(101)는 이미 부호화된 I-View를 합성하여 P-View를 부호화할 수 있다. 또는, 부호화 장치(101)는 이미 부호화된 I-View와 P-View를 합성하여 B-View를 부호화할 수 있다. 결국, 부호화 장치(101)는 주변에 위치한 이미 부호화된 영상을 합성하여 특정 영상을 부호화할 수 있다.
도 5는 본 발명의 일실시예에 따른 부호화 장치가 적용된 부호화 시스템을 도시한 도면이다.
3D 비디오를 구성하는 컬러 영상과 깊이 영상을 따로 부호화 및 복호화될 수 있다. 도 5를 참고하면, 부호화 과정은 원래 영상과 블록 기반의 예측을 통해 도출된 예측 영상 간의 잔차 신호를 구한 후, 잔차 신호를 변환 및 양자화하는 과정으로 이루어진다. 그리고, 다음 영상들의 정확한 예측을 위해 디블록킹 필터가 수행된다.
잔차 신호의 양이 적을수록 부호화에 필요한 비트수가 적기 대문에, 예측 영상이 원래 영상과 얼마나 비슷한지 여부가 매우 중요하다. 본 발명에 의하면, 블록 예측을 위해, 화면내 예측(Intra Prediction), 화면간 예측(Inter Prediction), 시점간 예측(Inter-View Prediction)에 대한 스킵 모드와 잔차 신호 부호화 모드뿐만 아니라, 가상 시점 합성 예측을 사용할 수 있다.
도 5를 참고하면, 가상 시점의 합성 영상을 생성하기 위해 가상 시점 합성을 위한 추가 구성이 필요하다. 도 5를 참고하면, 현재 시점의 컬러 영상에 대한 합성 영상을 생성하기 위해서, 부호화 장치(101)는 이미 부호화된 주변 시점의 컬러 영상과 깊이 영상을 이용하여 현재 시점의 컬러 영상에 대한 합성 영상을 생성할 수 있다. 그리고, 현재 시점의 깊이 영상에 대한 합성 영상을 생성하기 위해서, 부호화 장치(101)는 이미 부호화된 주변 시점의 깊이 영상을 이용하여 현재 시점의 깊이 영상에 대한 합성 영상을 생성할 수 있다.
도 6은 본 발명의 일실시예에 따른 복호화 장치가 적용된 복호화 시스템을 도시한 도면이다.
도 6의 복호화 장치(102)는 도 5의 부호화 장치(101)와 실질적으로 동일한 동작을 수행하기 때문에, 구체적인 설명은 생략하기로 한다.
도 7은 본 발명의 일실시예에 따른 가상 시점 합성 기법을 설명하기 위한 도면이다.
컬러 영상과 깊이 영상에 대한 가상 시점의 합성 영상은 이미 부호화된 컬러 영상과 깊이 영상 및 카메라 파라미터 정보를 이용하여 생성될 수 있다. 구체적으로, 컬러 영상과 깊이 영상에 대한 가상 시점의 합성 영상은 하기 수학식 1~3에 따라 생성될 수 있다.
Figure 112012008462760-pat00001
수학식 1에서, Z(Xr, Yr, Cr)은 깊이 정보를 의미한다. 그리고, D는 깊이 영상에서 픽셀 위치 (x,y)의 픽셀 값을 의미한다. Znear와 Zfar는 가장 가까운 깊이 정보 및 가장 먼 깊이 정보를 각각 나타낸다.
부호화 장치(101)는 실제 깊이 정보 Z를 얻은 뒤 Reference 시점의 (r) 영상을 Target 시점의 영상으로 (t) 합성하기 위해 [수학식 2]와 같이 Reference 시점 영상의 픽셀 (xr,yr)를 3D world 좌표계(u,v,w)로 투영할 수 있다. 이 때, 픽셀(xr,yr)은 칼라 영상에 대한 가상 시점 합성을 할 경우에는 칼라 영상의 픽셀을, 깊이 영상에 대한 가상 시점 합성을 할 경우에는 깊이 영상의 픽셀을 나타낸다
Figure 112012008462760-pat00002
수학식 2에서 A는 내부(intrinsic) 카메라 행렬, R는 카메라 회전(rotation) 행렬, T는 카메라 이동(translation)벡터, 그리고 Z는 깊이 정보를 나타낸다.
그러면, 부호화 장치(101)는 3D World 좌표계(u,v,w)를 Target 시점의 영상 좌표계 (xt ·zt, yt ·zt, zt) 로 투영한다. 이는 수학식 3에 따라 수행된다.
Figure 112012008462760-pat00003
수학식 3에서, (xt ·zt, yt ·zt, zt)는 타겟 시점의 영상 좌표계를 나타내고, t는 타겟 시점을 나타낸다.
최종적으로 Target 시점의 영상에서 대응되는 픽셀은 (xt, yt)이 된다.
이 때, 가상 시점의 합성 영상을 생성할 때 발생하는 홀(Hole) 영역은 주변 픽셀들을 이용하여 채울 수 있다. 그리고, 해당 영역이 홀 영역인지 아닌지를 정의하는 홀 맵(Hole Map)을 생성하여 추후 압축 시 사용할 수 있다.
이 때, 가상 시점의 합성 영상을 만들기 위해 깊이 정보(Znear/Zfar)와 카메라 파라미터 정보(R/A/T)가 부가적으로 필요하다. 따라서, 이 부가적인 정보들은 부호화 장치에서 부호화되어 비트스트림에 포함된 뒤 복호화 장치에서 복호화된다. 일례로, 부호화 장치는 매 영상마다 깊이 정보 및 카메라 파라미터 정보가 동일한 지 여부에 따라 깊이 정보 및 카메라 파라미터 정보의 전송 방식을 선택적으로 결정할 수 있다. 구체적으로, 깊이 정보 및 카메라 파라미터 정보와 같은 부가적인 정보들이 매 영상마다 똑같다면 부호화 장치는 가상 시점 합성을 위해 필요한 부가적인 정보를 비트스트림을 통해 한번만 복호화 장치에 보낼 수 있다. 혹은 깊이 정보 및 카메라 파라미터 정보와 같은 부가적인 정보들이 매 영상마다 똑같다면 부호화 장치는 가상 시점 합성을 위해 필요한 부가적인 정보를 비트스트림을 통해 GOP(Group of Picture) 마다 복호화 장치에 보낼 수 있다. 그리고, 매 영상마다 부가적인 정보가 다른 값을 가진다면, 부호화 장치는 매 영상마다 부가적인 정보들을 비트스트림을 통해 복호화 장치에 전송할 수 있다. 혹은, 매 영상마다 부가적인 정보가 다른 값을 가진다면, 부호화 장치는 매 영상마다 다른 값을 가지는 부가적인 정보만 비트스트림을 통해 복호화 장치에 전송할 수 있다.
또 다른 실시 예로, 만약 수평으로만 배치된 카메라들에 (1D Parallel arrangement) 의해 촬영된 컬러 영상과 깊이 영상들에 대한 가상 시점의 합성 영상은 하기 수학식 4에 따라 생성될 수도 있다.
Figure 112012008462760-pat00004
수학식 4에서, fx는 카메라의 수평 초점거리(horizontal focal length), tx 카메라의 x 이동값 (x translation), px는 카메라의 수평 주점 (horizontal principal point)을 의미한다. d (Disparity) 는 수평적으로 픽셀이 shift 된 거리를 알려준다.
최종적으로 Reference 영상에서 픽셀 (xr, yr)는 Target 시점의 영상에서 픽셀 (xt, yt)로 d 만큼 대응(Mapping) 된다.
이 때, 가상 시점의 합성 영상을 생성할 때 발생하는 홀(Hole) 영역은 주변 픽셀들을 이용하여 채울 수 있다. 그리고, 해당 영역이 홀 영역인지 아닌지를 정의하는 홀 맵(Hole Map)을 생성하여 추후 압축 시 사용할 수 있다.
이 때, 가상 시점 영상을 만들기 위해 깊이 정보(Znear/Zfar)와 카메라 파라미터 정보(fx,tx,px)가 부가적으로 필요하다. 따라서, 이 부가적인 정보들은 부호화 장치에서 부호화되어 비트스트림에 포함된 뒤 복호화 장치에서 복호화된다. 일례로, 부호화 장치는 매 영상마다 깊이 정보 및 카메라 파라미터 정보가 동일한 지 여부에 따라 깊이 정보 및 카메라 파라미터 정보의 전송 방식을 선택적으로 결정할 수 있다. 구체적으로, 깊이 정보 및 카메라 파라미터 정보와 같은 부가적인 정보들이 매 영상마다 똑같다면 부호화 장치는 가상 시점 합성을 위해 필요한 부가적인 정보를 비트스트림을 통해 한번만 복호화 장치에 보낼 수 있다. 혹은 깊이 정보 및 카메라 파라미터 정보와 같은 부가적인 정보들이 매 영상마다 똑같다면 부호화 장치는 가상 시점 합성을 위해 필요한 부가적인 정보를 비트스트림을 통해 GOP(Group of Picture) 마다 복호화 장치에 보낼 수 있다. 그리고, 매 영상마다 부가적인 정보가 다른 값을 가진다면, 부호화 장치는 매 영상마다 부가적인 정보들을 비트스트림을 통해 복호화 장치에 전송할 수 있다. 혹은, 매 영상마다 부가적인 정보가 다른 값을 가진다면, 부호화 장치는 매 영상마다 다른 값을 가지는 부가적인 정보만 비트스트림을 통해 복호화 장치에 전송할 수 있다.도 8은 본 발명의 일실시예에 따라 가상 시점 합성 예측 기법의 스킵 모드를 도시한 도면이다.
도 8을 참고하면, 부호화 장치(101)는 현재 시점의 제2 영상(801)의 주변 시점의 제1 영상(802, 803)을 이용하여 가상 시점의 합성 영상(804)을 생성할 수 있다. 이 때, 합성을 할 가상 시점은 현재 시점을 가리킨다. 따라서, 가상 시점의 합성 영상(804)는 현재 시점의 제2 영상(801)과 유사한 특징을 가진다. 여기서, 주변 시점의 제1 영상(802, 803)은 현재 시점의 제2 영상(801)을 부호화하기 전에 이미 부호화된 것으로 도 5의 프레임 버퍼에 제2 영상(801)에 대한 참조 영상으로 저장될 수 있다.
부호화 장치(101)는 가상 시점의 합성 영상(804)에서 현재 블록과 동일한 위치에 있는 영벡터 블록을 검색하고, 현재 블록을 영벡터 블록으로 대체하는 제1 부호화 모드를 선택할 수 있다. 실제로, 제1 부호화 모드는 제2 영상(801)에 포함된 현재 블록을 부호화하지 않고 가상 시점의 합성 영상(804)에 포함된 영벡터 블록을 대체한다. 제1 부호화 모드는 가상 시점 합성 스킵 모드를 나타낸다.
도 9는 본 발명의 일실시예에 따라 가상 시점 합성 예측 기법의 잔차 신호 부호화 모드를 도시한 도면이다.
도 9를 참고하면, 부호화 장치(101)는 현재 시점의 제2 영상(901)의 주변 시점의 제1 영상(902, 903)을 이용하여 가상 시점의 합성 영상(904)을 생성할 수 있다. 이 때, 합성을 할 가상 시점은 현재 시점을 가리킨다. 따라서, 가상 시점의 합성 영상(904)는 현재 시점의 제2 영상(901)과 유사한 특징을 가진다. 여기서, 주변 시점의 제1 영상(902, 903)은 현재 시점의 제2 영상(901)을 부호화하기 전에 이미 부호화된 것으로 도 5의 프레임 버퍼에 제2 영상(901)에 대한 참조 영상으로 저장될 수 있다.
부호화 장치(101)는 가상 시점의 합성 영상(904)에서 현재 블록과 동일한 위치에 있는 영벡터 블록을 검색하고, 영벡터 블록을 기준으로 현재 부호화하고자 하는 현재 블록과 가장 유사한 예측 블록 및 예측 블록을 가리키는 가상 합성 벡터에 기초하여 잔차 신호 부호화를 수행하는 제2 부호화 모드를 선택할 수 있다.
구체적으로, 부호화 장치(101)는 가상 시점의 합성 영상(904)에서 영벡터 블록을 중심으로 일정 영역에 속한 블록들 중 현재 부호화하고자 하는 현재 블록과 가장 유사한 블록을 찾는다. 여기서, 현재 블록과 가장 유사한 블록을 예측 블록이라고 정의한다. 그리고 부호화 장치(101)는 영벡터 블록에서 예측 블록으로 가리키는 가상 합성 벡터를 결정할 수 있다. 부호화 장치(101)는 제2 영상(801)에 포함된 현재 블록과 예측 블록 간의 차분 신호 및 예측 블록에 대응하는 가상 합성 벡터를 함께 부호화할 수 있다. 여기서, 제2 부호화 모드는 가상 시점 합성 잔차 신호 부호화 모드를 나타낸다.
본 발명의 일실시예에 따른 가상 시점 합성 스킵 모드 또는 가상 시점 합성 잔차 신호 부호화 모드 중 적어도 하나는 현재 정의되어 있는 부호화 모드와 함께 사용될 수 있다.
도 10은 본 발명의 일실시예에 따라 코딩 유닛을 구성하는 블록들의 일례를 도시한 도면이다.
도 10을 참고하면, 3D 비디오를 부호화하기 위해 부호화 장치(101)는 코딩 유닛을 활용할 수 있다. 일례로, H.264/AVC와 같은 코덱과 달리 HEVC(High Efficiency Video Codec)은 한 개의 코딩 유닛을 복수의 세분화된 블록으로 분할하여 부호화할 수 있다. 이와 같이 분할된 세분화된 블록들을 식별하기 위한 플래그는 비트스트림에 포함되어 복호화 장치(102)에 전송될 수 있다. 비트스트림 내에서는 각 블록의 부호화 모드를 식별하기 위한 플래그보다 코딩 유닛이 어떻게 세분화된 블록으로 분할되었는 지를 식별하기 위한 플래그가 우선적으로 위치할 수 있다.
코딩 유닛(1001)과 같이 하나의 블록으로 구성될 수도 있고, 코딩 유닛(1002~1004)와 같이 복수의 세분화된 블록으로 구성될 수 있다. 이 때, 코딩 유닛(1001)을 구성하는 블록은 가상 시점 합성 스킵 모드로 부호화 모드가 결정될 수 있다. 코딩 유닛(1001~1004)은 부호화 성능에 따라 단계적으로 분할될 수 있다.
코딩 유닛(1001~1004)에 표시되어 있는 VS는 가상 시점 합성 스킵 모드를, SKIP은 현재 정의되어 있는 스킵 모드를, Residual은 현재 정의되어 있는 잔차 신호 모드를 나타낸다.
도 11은 본 발명의 일실시예에 따라 플래그가 포함된 비트스트림을 도시한 도면이다.
도 11을 참고하면, 비트스트림(1101)과 비트스트림(1102)은 코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 식별하기 위한 제1 플래그(Split_coding_unit_flag), 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그(View_synthesis_skip_flag) 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그(Skip_flag)로 구성될 수 있다.
제1 플래그(Split_coding_unit_flag)는 블록이 더 세분화되는지의 여부를 알려주는 플래그를 의미한다. 일례로, 제1 플래그가 1인 경우에는 블록이 더 세분화되는 것을 의미하며, 제1 플래그가 0인 경우에는 블록이 더 세분화되지 않고 세분화되기 전의 크기에 해당하는 블록으로 부호화되었음을 의미한다. 제1 플래그가 0이 되어야, 블록이 더 이상 세분화되지 않고 최종 부호화하고자 하는 블록으로 결정되며, 이 때, 제2 플래그와 제3 플래그는 0으로 결정된 제1 플래그 뒤에 위치할 수 있다.
예를 들어, 비트스트림에서 제1 플래그의 값이 0이면, 코딩 블록은 세분화되지 않고 전체 블록으로 코딩되는 것을 의미한다. 즉, 도 10의 코딩 블록(1001)과 동일한 구성으로 결정된다.
그리고, 비트스트림에서 제1 플래그의 값이 1?0의 순서로 배치된다면, 코딩 블록은 1번 세분화된 것을 의미한다. 즉, 도 10의 코딩 블록(1003)과 동일한 구성으로 결정된다.
비트스트림(1101)과 같이, 제2 플래그는 제3 플래그 뒤에 위치할 수 있으며, 제2 플래그와 제3 플래그는 제1 플래그 뒤에 위치할 수 있다. 그리고, 제3 플래그는 제1 플래그와 제2 플래그 사이에 위치할 수 있다.
그리고, 비트스트림(1102)과 같이, 제3 플래그는 제2 플래그 뒤에 위치할 수 있으며, 제2 플래그와 제3 플래그는 제1 플래그 뒤에 위치할 수 있다. 그리고, 제2 플래그는 제1 플래그와 제3 플래그 사이에 위치할 수 있다.
만약, 비트스트림(1101)에서, 코딩 유닛을 구성하는 블록에 대해 제3 플래그가 1인 경우, 부호화 장치(101)는 제3 플래그를 전송한 이후 해당 블록에 대해 어떠한 정보도 비트스트림(1101)에 포함시키지 않는다.
그리고, 비트스트림(1101)에서, 코딩 유닛을 구성하는 블록에 대해 제3 플래그가 0이고, 제2 플래그가 1인 경우, 부호화 장치(101)는 제2 플래그까지 전송한 후 다른 어떠한 정보도 비트스트림(1101)에 포함시키지 않는다.
또한, 비트스트림(1101)에서, 코딩 유닛을 구성하는 블록에 대해 제3 플래그가 0이고, 제2 플래그가 0인 경우, 부호화 장치(101)는 제3 플래그, 제2 플래그 및 잔차 신호와 관련된 부호화 결과(residual data)를 비트스트림(1101)에 포함시킨다.
만약, 비트스트림(1102)에서, 코딩 유닛을 구성하는 블록에 대해 제2 플래그가 1인 경우, 부호화 장치(101)는 해당 블록에 대해 제2 플래그를 전송한 이후 어떠한 정보도 비트스트림(1102)에 포함시키지 않는다.
그리고, 비트스트림에서(1102)에서, 코딩 유닛을 구성하는 블록에 대해 제2 플래그가 0이고, 제3 플래그가 1인 경우, 부호화 장치(101)는 제3 플래그까지 전송한 후 다른 어떠한 정보도 비트스트림(1102)에 포함시키지 않는다.
또한, 비트스트림(1102)에서, 코딩 유닛을 구성하는 블록에 대해 제2 플래그가 0이고, 제3 플래그가 0인 경우, 부호화 장치(101)는 제2 플래그, 제3 플래그 및 잔차 신호와 관련된 부호화 결과(residual data)를 비트스트림(1102)에 포함시킨다.
그리고, 본 발명의 일실시예에 따르면, 가상 시점의 합성 영상을 생성할 때 생성한 홀 맵 을 이용하여 해당 영역이 홀인지 여부를 판단할 수 있다. 만약, 해당 영역이 홀인 경우, 부호화 장치(101)는 본 발명의 일실시예에 따른 가상 시점 합성 방식을 사용하지 않을 수 있다.
즉, 본 발명의 일실시예에 따르면, 해당 영역이 홀인 경우, 부호화 장치(101)는 제2 플래그에 대응하는 가상 시점 합성 예측과 관련된 스킵 모드를 사용하지 않을 수 있다. 또한, 해당 영역이 홀이 아닌 경우, 부호화 장치(101)는 제3 플래그에 대응하는 현재 정의되어 있는 스킵 모드를 사용하지 않을 수 있다.
그리고, 본 발명의 일실시예에 따르면, 현재 부호화하고자 하는 영상이 논 앵커(Non-anchor) 프레임이면, 부호화 장치(101)는 제2 플래그에 대응하는 가상 시점 합성 예측과 관련된 스킵 모드를 사용하지 않을 수 있다. 즉, 현재 부호화하고자 하는 프레임이 논 앵커(Non-anchor) 프레임이면, 부호화 장치(101)는 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 설정하지 않는다.
또한, 해당 영상이 앵커(Anchor) 프레임이면, 부호화 장치(101)는 제3 플래그에 대응하는 현재 정의되어 있는 스킵 모드를 사용하지 않을 수 있다. 즉, 현재 부호화고자 하는 프레임이 앵커(Anchor) 프레임이면, 부호화 장치(101)는 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 설정하지 않는다.
복호화 장치(102)는 부호화 장치(101)로부터 전송된 비트스트림(1101)에서 항상 제1 플래그를 추출한 후 제3 플래그를 추출하고, 제3 플래그가 0인 경우에 제2 플래그를 추출한다. 그리고, 복호화 장치(102)는 부호화 장치(101)로부터 전송된 비트스트림(1102)에서 항상 제1 플래그를 추출한 후 제2 플래그를 추출하고, 제2 플래그가 0인 경우에 제3 플래그를 추출한다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 부호화 장치
102: 복호화 장치

Claims (84)

  1. 이미 부호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성하는 합성 영상 생성부;
    현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들 각각의 부호화 모드를 결정하는 부호화 모드 결정부
    상기 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성하는 영상 부호화부; 및
    코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정하는 플래그 설정부
    를 포함하고,
    상기 부호화 모드는,
    가상 시점 합성 예측과 관련된 부호화 모드를 포함하고,
    상기 플래그 설정부는,
    비트스트림에 제3 플래그 다음에 제2 플래그가 위치하도록 설정하거나 또는 제2 플래그 다음에 제3 플래그가 위치하도록 설정하는 것을 특징으로 하는 부호화 장치.
  2. 제1항에 있어서,
    상기 가상 시점 합성 예측과 관련된 부호화 모드는,
    가상 시점의 합성 영상에서 블록 정보를 부호화하지 않는 스킵 모드인 제1 부호화 모드 및 블록 정보를 부호화하는 잔차 신호 부호화 모드인 제2 부호화 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 부호화 장치.
  3. 제2항에 있어서,
    상기 제1 부호화 모드 및 상기 제2 부호화 모드는,
    가상 시점의 합성 영상에서 제2 영상에 포함된 현재 블록과 동일한 위치에 있는 영벡터 블록을 이용하는 것을 특징으로 하는 부호화 장치.
  4. 제1항에 있어서,
    상기 부호화 모드 결정부는,
    가상 시점 합성 예측과 관련된 부호화 모드와 현재 정의되어 있는 부호화 모드 중 부호화 성능이 가장 좋은 최적의 부호화 모드를 결정하는 것을 특징으로 하는 부호화 장치.
  5. 제4항에 있어서,
    상기 부호화 모드 결정부는,
    현재 정의되어 있는 부호화 모드에 속하는 스킵 모드가 최적의 부호화 모드로 결정된 경우, 가상 시점 합성 예측과 관련된 부호화 모드의 부호화 성능을 배제할 수 있는 것을 특징으로 하는 부호화 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 플래그 설정부는,
    비트스트림에 제2 플래그를 제1 플래그 뒤에 위치시키거나 또는 제3 플래그를 제1 플래그 뒤에 위치시키는 것을 특징으로 하는 부호화 장치.
  9. 제1항에 있어서,
    상기 플래그 설정부는,
    비트스트림에 제1 플래그와 제2 플래그 사이에 제3 플래그를 위치시키거나 또는 제1 플래그와 제3 플래그 사이에 제2 플래그를 위치시키는 것을 특징으로 하는 부호화 장치.
  10. 제1항에 있어서,
    상기 영상 부호화부는,
    상기 가상 시점의 합성 영상을 생성할 때 필요한 깊이 정보 및 카메라 파라미터 정보를 포함하는 비트스트림을 생성하는 것을 특징으로 하는 부호화 장치.
  11. 제10항에 있어서,
    상기 영상 부호화부는,
    가상 시점의 합성 영상을 이용하여 부호화하고자 하는 영상마다 깊이 정보 및 카메라 파라미터 정보가 동일한 지 여부에 따라 깊이 정보 및 카메라 파라미터 정보의 전송 방식을 선택적으로 결정하는 것을 특징으로 하는 부호화 장치.
  12. 제1항에 있어서,
    상기 합성 영상 생성부는,
    홀 맵(Hole Map)을 이용하여 가상 시점의 합성 영상을 생성할 때 홀 영역이 발생하는 지 여부를 판단하고, 홀 영역을 주변 픽셀로 채우는 것을 특징으로 하는 부호화 장치.
  13. 제1항에 있어서,
    상기 플래그 설정부는,
    가상 시점의 합성 영상에 홀 영역이 발생하는 경우, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 설정하지 않는 것을 특징으로 하는 부호화 장치.
  14. 제1항에 있어서,
    상기 플래그 설정부는,
    가상 시점의 합성 영상에 홀 영역이 발생하지 않는 경우, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 설정하지 않는 것을 특징으로 하는 부호화 장치.
  15. 제1항에 있어서,
    상기 플래그 설정부는,
    현재 부호화하고자 하는 프레임이 논 앵커(Non-anchor) 프레임이면, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 설정하지 않는 것을 특징으로 하는 부호화 장치.
  16. 제1항에 있어서,
    상기 플래그 설정부는,
    현재 부호화고자 하는 프레임이 앵커(Anchor) 프레임이면, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 설정하지 않는 것을 특징으로 하는 부호화 장치.
  17. 코딩 유닛을 구성하는 적어도 하나의 블록들에 대해 가상 시점 합성 예측과 관련된 부호화 모드 또는 현재 정의되어 있는 부호화 모드 중 어느 하나를 최적의 부호화 모드로 결정하는 부호화 모드 결정부; 및
    상기 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성하는 영상 부호화부
    코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정하는 플래그 설정부
    를 포함하고,
    상기 플래그 설정부는,
    비트스트림에 제3 플래그 다음에 제2 플래그가 위치하도록 설정하거나 또는 제2 플래그 다음에 제3 플래그가 위치하도록 설정하는 부호화 장치.
  18. 삭제
  19. 삭제
  20. 제17항에 있어서,
    상기 플래그 설정부는,
    비트스트림에 제2 플래그를 제1 플래그 뒤에 위치시키거나 또는 제3 플래그를 제1 플래그 뒤에 위치시키는 것을 특징으로 하는 부호화 장치.
  21. 제17항에 있어서,
    상기 플래그 설정부는,
    가상 시점의 합성 영상에 홀 영역이 발생하는 경우, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 설정하지 않는 것을 특징으로 하는 부호화 장치.
  22. 제17항에 있어서,
    상기 플래그 설정부는,
    가상 시점의 합성 영상에 홀 영역이 발생하지 않는 경우, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 설정하지 않는 것을 특징으로 하는 부호화 장치.
  23. 제17항에 있어서,
    상기 플래그 설정부는,
    현재 부호화하고자 하는 프레임이 논 앵커(Non-anchor) 프레임이면, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 설정하지 않는 것을 특징으로 하는 부호화 장치.
  24. 제17항에 있어서,
    상기 플래그 설정부는,
    현재 부호화고자 하는 프레임이 앵커(Anchor) 프레임이면, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 설정하지 않는 것을 특징으로 하는 부호화 장치.
  25. 제17항에 있어서,
    상기 영상 부호화부는,
    상기 가상 시점의 합성 영상을 생성할 때 필요한 깊이 정보 및 카메라 파라미터 정보를 포함하는 비트스트림을 생성하는 것을 특징으로 하는 부호화 장치.
  26. 제25항에 있어서,
    상기 영상 부호화부는,
    매 영상 마다 깊이 정보 및 카메라 파라미터 정보가 동일한 지 여부에 따라 깊이 정보 및 카메라 파라미터 정보의 전송 방식을 선택적으로 결정하는 것을 특징으로 하는 부호화 장치.
  27. 이미 복호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성하는 합성 영상 생성부; 및
    부호화 장치로부터 수신한 비트스트림에 추출한 복호화 모드를 이용하여 현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들을 복호화하는 영상 복호화부
    코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림으로부터 추출하는 플래그 추출부
    를 포함하고,
    상기 복호화 모드는,
    가상 시점 합성 예측과 관련된 복호화 모드를 포함하고,
    상기 비트스트림은,
    제3 플래그 다음에 제2 플래그가 위치하도록 설정되거나 또는 제2 플래그 다음에 제3 플래그가 위치하도록 설정되는 것을 특징으로 하는 복호화 장치.
  28. 제27항에 있어서,
    상기 가상 시점 합성 예측과 관련된 복호화 모드는,
    가상 시점 합성 예측에서 블록 정보를 복호화하지 않는 스킵 모드인 제1 복호화 모드 및 블록 정보를 복호화하는 잔차 신호 복호화 모드인 제2 복호화 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 복호화 장치.
  29. 제28항에 있어서,
    상기 제1 복호화 모드 및 상기 제2 복호화 모드는,
    가상 시점의 합성 영상에서 제2 영상에 포함된 현재 블록과 동일한 위치에 있는 영벡터 블록을 이용하는 것을 특징으로 하는 복호화 장치.
  30. 삭제
  31. 삭제
  32. 제27항에 있어서,
    상기 비트스트림은,
    제2 플래그가 제1 플래그 뒤에 위치하거나 또는 제3 플래그가 제1 플래그 뒤에 위치하는 것을 특징으로 하는 복호화 장치.
  33. 제27항에 있어서,
    상기 비트스트림은,
    제1 플래그와 제2 플래그 사이에 제3 플래그가 위치하거나, 또는 제1 플래그와 제3 플래그 사이에 제2 플래그가 위치하는 것을 특징으로 하는 복호화 장치.
  34. 제27항에 있어서,
    상기 비트스트림은,
    가상 시점의 합성 영상에 홀 영역이 발생하는 경우, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 포함하지 않는 것을 특징으로 하는 복호화 장치.
  35. 제27항에 있어서,
    상기 비트스트림은,
    가상 시점의 합성 영상에 홀 영역이 발생하지 않는 경우, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 포함하지 않는 것을 특징으로 하는 복호화 장치.
  36. 제27항에 있어서,
    상기 비트스트림은,
    현재 부호화하고자 하는 프레임이 논 앵커(Non-anchor) 프레임이면, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 포함하지 않는 것을 특징으로 하는 복호화 장치.
  37. 제27항에 있어서,
    상기 비트스트림은,
    현재 부호화고자 하는 프레임이 앵커(Anchor) 프레임이면, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 포함하지 않는 것을 특징으로 하는 복호화 장치.
  38. 제27항에 있어서,
    상기 영상 복호화부는,
    상기 비트스트림으로부터 가상 시점의 합성 영상을 생성할 때 필요한 깊이 정보 및 카메라 파라미터 정보를 복호화하는 것을 특징으로 하는 복호화 장치.
  39. 제38항에 있어서,
    상기 비트스트림은,
    가상 시점의 합성 영상을 이용하여 부호화하고자 하는 영상마다 깊이 정보 및 카메라 파라미터 정보가 동일한 지 여부에 따라 깊이 정보 및 카메라 파라미터 정보가 선택적으로 포함되는 것을 특징으로 하는 복호화 장치.
  40. 부호화 장치가 수행하는 부호화 방법에 있어서,
    이미 부호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성하는 단계;
    현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들 각각의 부호화 모드를 결정하는 단계; 및
    상기 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성하는 단계
    코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정하는 단계
    를 포함하고,
    상기 부호화 모드는,
    가상 시점 합성 예측과 관련된 부호화 모드를 포함하고,
    상기 비트스트림에 설정하는 단계는,
    비트스트림에 제3 플래그 다음에 제2 플래그가 위치하도록 설정하거나 또는 제2 플래그 다음에 제3 플래그가 위치하도록 설정하는 것을 특징으로 하는 부호화 방법.
  41. 제40항에 있어서,
    상기 가상 시점 합성 예측과 관련된 부호화 모드는,
    가상 시점의 합성 영상에서 블록 정보를 부호화하지 않는 스킵 모드인 제1 부호화 모드 및 블록 정보를 부호화하는 잔차 신호 부호화 모드인 제2 부호화 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 부호화 방법.
  42. 제41항에 있어서,
    상기 제1 부호화 모드 및 상기 제2 부호화 모드는,
    가상 시점의 합성 영상에서 제2 영상에 포함된 현재 블록과 동일한 위치에 있는 영벡터 블록을 이용하는 것을 특징으로 하는 부호화 방법.
  43. 제40항에 있어서,
    상기 부호화 모드를 결정하는 단계는,
    가상 시점 합성 예측과 관련된 부호화 모드와 현재 정의되어 있는 부호화 모드 중 부호화 성능이 가장 좋은 최적의 부호화 모드를 결정하는 것을 특징으로 하는 부호화 방법.
  44. 제40항에 있어서,
    상기 부호화 모드를 결정하는 단계는,
    현재 정의되어 있는 부호화 모드에 속하는 스킵 모드가 최적의 부호화 모드로 결정된 경우, 가상 시점 합성 예측과 관련된 부호화 모드의 부호화 성능을 배제하는 것을 특징으로 하는 부호화 방법.
  45. 제40항에 있어서,
    상기 부호화 모드를 결정하는 단계는,
    상기 코딩 유닛이 분할되지 않은 경우, 가상 시점 합성 예측과 관련된 부호화 모드를 최적의 부호화 모드로 결정하는 것을 특징으로 하는 부호화 방법.
  46. 삭제
  47. 삭제
  48. 제40항에 있어서,
    상기 비트스트림에 설정하는 단계는,
    비트스트림에 제2 플래그를 제1 플래그 뒤에 위치시키거나 또는 제3 플래그를 제1 플래그 뒤에 위치시키는 것을 특징으로 하는 부호화 방법.
  49. 제40항에 있어서,
    상기 비트스트림에 설정하는 단계는,
    비트스트림에 제1 플래그와 제2 플래그 사이에 제3 플래그를 위치시키거나 또는 제1 플래그와 제3 플래그 사이에 제2 플래그를 위치시키는 것을 특징으로 하는 부호화 방법.
  50. 제40항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    상기 가상 시점의 합성 영상을 생성할 때 필요한 깊이 정보 및 카메라 파라미터 정보를 포함하는 비트스트림을 생성하는 것을 특징으로 하는 부호화 방법.
  51. 제50항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    가상 시점의 합성 영상을 이용하여 부호화하고자 하는 영상마다 깊이 정보 및 카메라 파라미터 정보가 동일한 지 여부에 따라 깊이 정보 및 카메라 파라미터 정보의 전송 방식을 선택적으로 결정하는 것을 특징으로 하는 부호화 방법.
  52. 제40항에 있어서,
    상기 가상 시점의 합성 영상을 생성하는 단계는,
    홀 맵(Hole Map)을 이용하여 가상 시점의 합성 영상을 생성할 때 홀 영역이 발생하는 지 여부를 판단하고, 홀 영역을 주변 픽셀로 채우는 것을 특징으로 하는 부호화 방법.
  53. 제40항에 있어서,
    상기 비트스트림에 설정하는 단계는,
    가상 시점의 합성 영상에 홀 영역이 발생하는 경우, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제1 플래그를 설정하지 않는 것을 특징으로 하는 부호화 방법.
  54. 제40항에 있어서,
    상기 비트스트림에 설정하는 단계는,
    가상 시점의 합성 영상에 홀 영역이 발생하지 않는 경우, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 설정하지 않는 것을 특징으로 하는 부호화 방법.
  55. 제40항에 있어서,
    상기 비트스트림에 설정하는 단계는,
    현재 부호화하고자 하는 프레임이 논 앵커(Non-anchor) 프레임이면, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 설정하지 않는 것을 특징으로 하는 부호화 방법.
  56. 제40항에 있어서,
    상기 비트스트림에 설정하는 단계는,
    현재 부호화고자 하는 프레임이 앵커(Anchor) 프레임이면, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 설정하지 않는 것을 특징으로 하는 부호화 방법.
  57. 코딩 유닛을 구성하는 적어도 하나의 블록들에 대해 가상 시점 합성 예측과 관련된 부호화 모드 또는 현재 정의되어 있는 부호화 모드 중 어느 하나를 최적의 부호화 모드로 결정하는 단계; 및
    상기 부호화 모드에 기초하여 코딩 유닛을 구성하는 적어도 하나의 블록들을 부호화하여 비트스트림을 생성하는 단계
    코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림에 설정하는 단계
    를 포함하고,
    상기 비트스트림에 설정하는 단계는,
    비트스트림에 제3 플래그 다음에 제2 플래그가 위치하도록 설정하거나 또는 제2 플래그 다음에 제3 플래그가 위치하도록 설정하는 부호화 방법.
  58. 삭제
  59. 삭제
  60. 제57항에 있어서,
    상기 비트스트림에 설정하는 단계는,
    비트스트림에 제2 플래그를 제1 플래그 뒤에 위치시키거나 또는 제3 플래그를 제1 플래그 뒤에 위치시키는 것을 특징으로 하는 부호화 방법.
  61. 제57항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    상기 가상 시점의 합성 영상을 생성할 때 필요한 깊이 정보 및 카메라 파라미터 정보를 포함하는 비트스트림을 생성하는 것을 특징으로 하는 부호화 방법.
  62. 제61항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    가상 시점의 합성 영상을 이용하여 부호화하고자 하는 영상마다 깊이 정보 및 카메라 파라미터 정보가 동일한 지 여부에 따라 깊이 정보 및 카메라 파라미터 정보의 전송 방식을 선택적으로 결정하는 것을 특징으로 하는 부호화 방법.
  63. 이미 복호화된 주변 시점의 제1 영상들을 합성하여 가상 시점의 합성 영상을 생성하는 단계; 및
    부호화 장치로부터 수신한 비트스트림에 추출한 복호화 모드를 이용하여 현재 시점의 제2 영상에 포함된 블록들 중 코딩 유닛을 구성하는 적어도 하나의 블록들을 복호화하는 단계
    코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 비트스트림으로부터 추출하는 단계
    를 포함하고,
    상기 복호화 모드는,
    가상 시점 합성 예측과 관련된 복호화 모드를 포함하고,
    상기 비트스트림은,
    제3 플래그 다음에 제2 플래그가 위치하도록 설정되거나 또는 제2 플래그 다음에 제3 플래그가 위치하도록 설정되는 것을 특징으로 하는 복호화 방법.
  64. 제63항에 있어서,
    상기 가상 시점 합성 예측과 관련된 복호화 모드는,
    가상 시점의 합성 영상에서 블록 정보를 복호화하지 않는 스킵 모드인 제1 복호화 모드 및 블록 정보를 복호화하는 잔차 신호 복호화 모드인 제2 복호화 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 복호화 방법.
  65. 제64항에 있어서,
    상기 제1 복호화 모드 및 상기 제2 복호화 모드는,
    가상 시점의 합성 영상에서 제2 영상에 포함된 현재 블록과 동일한 위치에 있는 영벡터 블록을 이용하는 것을 특징으로 하는 복호화 방법.
  66. 삭제
  67. 삭제
  68. 제63항에 있어서,
    상기 비트스트림은,
    제2 플래그가 제1 플래그 뒤에 위치하거나 또는 제3 플래그가 제1 플래그 뒤에 위치하는 것을 특징으로 하는 복호화 방법.
  69. 제63항에 있어서,
    상기 비트스트림은,
    제1 플래그와 제2 플래그 사이에 제3 플래그가 위치하거나, 또는 제1 플래그와 제3 플래그 사이에 제2 플래그가 위치하는 것을 특징으로 하는 복호화 방법.
  70. 제63항에 있어서,
    상기 비트스트림은,
    가상 시점의 합성 영상에 홀 영역이 발생하는 경우, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 포함하지 않는 것을 특징으로 하는 복호화 방법.
  71. 제63항에 있어서,
    상기 비트스트림은,
    가상 시점의 합성 영상에 홀 영역이 발생하지 않는 경우, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 포함하지 않는 것을 특징으로 하는 복호화 방법.
  72. 제63항에 있어서,
    상기 비트스트림은,
    현재 부호화하고자 하는 프레임이 논 앵커(Non-anchor) 프레임이면, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 포함하지 않는 것을 특징으로 하는 복호화 방법.
  73. 제63항에 있어서,
    상기 비트스트림은,
    현재 부호화고자 하는 프레임이 앵커(Anchor) 프레임이면, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 포함하지 않는 것을 특징으로 하는 복호화 방법.
  74. 제63항에 있어서,
    상기 복호화하는 단계는,
    상기 비트스트림으로부터 가상 시점의 합성 영상을 생성할 때 필요한 깊이 정보 및 카메라 파라미터 정보를 복호화하는 것을 특징으로 하는 복호화 방법.
  75. 제74항에 있어서,
    상기 비트스트림은,
    가상 시점의 합성 영상을 이용하여 부호화하고자 하는 영상마다 깊이 정보 및 카메라 파라미터 정보가 동일한 지 여부에 따라 깊이 정보 및 카메라 파라미터 정보가 선택적으로 포함되는 것을 특징으로 하는 복호화 방법.
  76. 제40항 내지 제45항, 제48항 내지 57항, 제60항 내지 제65항, 제68항 내지 제75항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  77. 부호화 장치가 복호화 장치에 전송하는 비트스트림이 기록된 기록 매체에 있어서,
    상기 비트스트림은,
    코딩 유닛을 구성하는 적어도 하나의 블록의 세분화 여부를 알려주는 제1 플래그, 가상 시점 합성 예측과 관련된 스킵 모드를 식별하기 위한 제2 플래그 및 현재 정의되어 있는 스킵 모드를 식별하기 위한 제3 플래그를 포함하고,
    상기 비트스트림에서,
    제3 플래그 다음에 제2 플래그가 위치하도록 설정되거나 또는 제2 플래그 다음에 제3 플래그가 위치하도록 설정되는 것을 특징으로 하는 기록 매체.
  78. 제77항에 있어서,
    상기 비트스트림은,
    제2 플래그가 제3 플래그 뒤에 위치하거나 또는 제3 플래그가 제2 플래그 뒤에 위치하는 것을 특징으로 하는 기록 매체.
  79. 제77항에 있어서,
    상기 비트스트림은,
    제2 플래그가 제1 플래그 뒤에 위치하거나 또는 제3 플래그가 제1 플래그 뒤에 위치하는 것을 특징으로 하는 기록 매체.
  80. 제77항에 있어서,
    상기 비트스트림은,
    제1 플래그와 제2 플래그 사이에 제3 플래그가 위치하거나 또는 제1 플래그와 제3 플래그 사이에 제2 플래그가 위치하는 것을 특징으로 하는 기록 매체.
  81. 제77항에 있어서,
    상기 비트스트림은,
    가상 시점의 합성 영상에 홀 영역이 발생하는 경우, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 포함하지 않는 것을 특징으로 하는 기록 매체.
  82. 제77항에 있어서,
    상기 비트스트림은,
    가상 시점의 합성 영상에 홀 영역이 발생하지 않는 경우, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 포함하지 않는 것을 특징으로 하는 기록 매체.
  83. 제77항에 있어서,
    상기 비트스트림은,
    현재 부호화하고자 하는 프레임이 논 앵커(Non-anchor) 프레임이면, 가상 시점 합성 예측과 관련된 스킵 모드에 대응하는 제2 플래그를 포함하지 않는 것을 특징으로 하는 기록 매체.
  84. 제77항에 있어서,
    상기 비트스트림은,
    현재 부호화고자 하는 프레임이 앵커(Anchor) 프레임이면, 현재 정의되어 있는 스킵 모드에 대응하는 제3 플래그를 포함하지 않는 것을 특징으로 하는 기록 매체.
KR1020120010324A 2011-10-25 2012-02-01 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법 KR102020024B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/658,138 US20130100245A1 (en) 2011-10-25 2012-10-23 Apparatus and method for encoding and decoding using virtual view synthesis prediction
EP12189769.8A EP2587813A3 (en) 2011-10-25 2012-10-24 Apparatus and method for encoding and decoding using virtual view synthesis prediction

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110109360 2011-10-25
KR1020110109360 2011-10-25
KR1020120006759 2012-01-20
KR20120006759 2012-01-20

Publications (2)

Publication Number Publication Date
KR20130048130A KR20130048130A (ko) 2013-05-09
KR102020024B1 true KR102020024B1 (ko) 2019-09-10

Family

ID=48659341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120010324A KR102020024B1 (ko) 2011-10-25 2012-02-01 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법

Country Status (1)

Country Link
KR (1) KR102020024B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109409A1 (en) * 2004-12-17 2007-05-17 Sehoon Yea Method and System for Processing Multiview Videos for View Synthesis using Skip and Direct Modes
US20080170618A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109409A1 (en) * 2004-12-17 2007-05-17 Sehoon Yea Method and System for Processing Multiview Videos for View Synthesis using Skip and Direct Modes
US20080170618A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view images

Also Published As

Publication number Publication date
KR20130048130A (ko) 2013-05-09

Similar Documents

Publication Publication Date Title
KR101158491B1 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR101276720B1 (ko) 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
EP2384000B1 (en) Image encoding device, image encoding method, program thereof, image decoding device, image decoding method, and program thereof
JP5872676B2 (ja) ３ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
KR101893559B1 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
KR101737595B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
EP2839664A1 (en) Method and apparatus of inter-view sub-partition prediction in 3d video coding
KR20120084629A (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
WO2013039031A1 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
US20150071362A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method and program
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
JP2008271217A (ja) 多視点映像符号化装置
EP2777266B1 (en) Multi-view coding with exploitation of renderable portions
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
KR20070098429A (ko) 비디오 신호의 디코딩 방법
US9900620B2 (en) Apparatus and method for coding/decoding multi-view image
US20130100245A1 (en) Apparatus and method for encoding and decoding using virtual view synthesis prediction
KR20130022923A (ko) 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법
KR102020024B1 (ko) 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법
KR20120084628A (ko) 다시점 영상 부호화／복호화 장치 및 방법
KR102133936B1 (ko) ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
RU2828826C2 (ru) Способ декодирования изображения, способ кодирования изображения и машиночитаемый носитель информации
RU2784475C1 (ru) Способ декодирования изображения, способ кодирования изображения и машиночитаемый носитель информации
RU2785479C1 (ru) Способ декодирования изображения, способ кодирования изображения и машиночитаемый носитель информации

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant