KR20090083746A - 다시점 동영상의 부호화 및 복호화 방법 및 장치 - Google Patents

다시점 동영상의 부호화 및 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20090083746A
KR20090083746A KR1020080009730A KR20080009730A KR20090083746A KR 20090083746 A KR20090083746 A KR 20090083746A KR 1020080009730 A KR1020080009730 A KR 1020080009730A KR 20080009730 A KR20080009730 A KR 20080009730A KR 20090083746 A KR20090083746 A KR 20090083746A
Authority
KR
South Korea
Prior art keywords
video
picture
encoding
pictures
decoding
Prior art date
Application number
KR1020080009730A
Other languages
English (en)
Other versions
KR101385884B1 (ko
Inventor
박영오
송관웅
주영훈
최광표
오윤제
김창수
정일룡
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020080009730A priority Critical patent/KR101385884B1/ko
Priority to US12/362,573 priority patent/US20090190662A1/en
Publication of KR20090083746A publication Critical patent/KR20090083746A/ko
Application granted granted Critical
Publication of KR101385884B1 publication Critical patent/KR101385884B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 다시점 부호화 방법은 다시점(Multiview) 동영상을 부호화하는 방법에 있어서, (a)기준이 되는 제1시각에서 촬영된 제1동영상에 포함된 복수의 픽처 사이의 움직임을 추정 및 보상하고, 움직임 추정 및 보상된 결과를 이용하여 제1동영상의 부호화를 수행하는 과정과, (b)상기 제1동영상과 서로 다른 제2시각에서 촬영된 제2동영상에 포함된 복수의 픽처 중, 선택된 소정의 픽처에 대해 움직임 추정 및 보상을 수행하고, 움직임 추정 및 보상된 결과를 이용하여 상기 제2동영상의 부호화를 수행하는 과정과, (c)상기 제1동영상의 부호화된 데이터 및 제2동영상의 부호화된 데이터를 포함하는 비트스트림을 생성하는 과정을 포함한다.
다시점, 스테레오스코픽, 동영상, 부호화, 복호화, 압축, 복원

Description

다시점 동영상의 부호화 및 복호화 방법 및 장치{METHOD FOR CORDING AND DECORDING MULTIVIEW VIDEO AND APPARATUS FOR THE SAME}
본 발명의 다시점 동영상의 부호화 및 복호화 방법과 장치에 관한 것으로서, 특히, 압축효율을 높일 수 있는 다시점 동영상의 부호화 및 복호화 방법과 장치에 관한 것이다.
최근 디스플레이 기술의 발전과 함께 3차원 영상이나 3차원 비디오를 실감나게 보는 것이 가능하게 되었다. 이러한 3차원 영상은 다양한 시점(view)에서 촬영되는 다시점 동영상을 이용하여 구현 가능하다. 나아가, 다시점 동영상을 부호화하는 장치는 서로 다른 시점의 다수의 카메라로부터 입력되는 동영상을 부호화한다. 따라서, 다시점 동영상은 근본적으로 상당한 크기의 데이터 용량을 차지하게 되며, 다시점 동영상을 이용하여 효과적인 3D 서비스를 위해서는 압축 부호화 과정이 필수적으로 요구된다.
한편, 인간의 경우 왼쪽 눈과 오른쪽 눈으로 들어오는 영상의 차이를 통해 3차원을 인식할 수 있다. 이러한 특성을 이용하여, 좌영상 및 우영상 만을 이용하여 3차원을 표현할 수 있는 스테레오스코픽 영상이 제안되었다. 이로써, 복수의 다시 점 동영상을 이용할 때보다, 상대적으로 적은 데이터를 이용하여 3차원 영상을 구현하는 것이 가능해졌다. 그럼에도 불구하고, 하나의 3차원 영상을 보여주기 위해서는 왼쪽과 오른쪽의 스테레오 영상이 각각 필요하다. 그런데 두 장의 영상을 각각 독립적으로 영상 압축을 하게 되면 종래의 2차원 영상의 압축에 비해 두 배의 저장공간이 필요하다. 또한, 부호화된 데이터를 전송하기 위해서도 종래의 2차원 영상에 비해 두 배의 통신 대역폭이 요구된다.
스테레오스코픽 영상은 동일한 물체를 같은 시간에 다른 위치에서 찍었기 때문에 왼쪽과 오른쪽의 두 영상 사이에는 많은 정보가 중복되어 나타날 수 있다. 따라서 이러한 중복성의 제거를 통하여 압축 효율을 높이는 것이 가능하다. 그러나, 양안 시점의 차이로 인한 스테레오스코픽 영상에 포함된 좌영상 및 우영상 사이의 폐색 영역이 발생할 수 있다. 이러한 점을 고려하여 스테레오스코픽 영상을 압축해야하기 때문에, 전송 대역폭의 획기적인 절감은 불가능하다.
본 발명은 전술한 문제점을 해결하기 위한 것으로써, 다시점 동영상의 압축효율을 높일 수 있는 부호화 방법 및 장치를 제공하고, 부호화된 다시점 동영상 데이터를 안정적으로 복호화할 수 있는 방법 및 장치를 제공한다.
또한, 다시점 동영상의 압축효율을 높이면서 동시에 스테레오 동영상의 복잡도를 낮출 수 있는 부호화 및 복호화 방법과 장치를 제공한다.
본 발명의 일 측면에 따른 다시점(Multiview) 동영상 부호화 방법은 다시점 동영상을 부호화하는 방법에 있어서, (a)기준이 되는 제1시각에서 촬영된 제1동영상에 포함된 복수의 픽처 사이의 움직임을 추정 및 보상하고, 움직임 추정 및 보상된 결과를 이용하여 제1동영상의 부호화를 수행하는 과정과, (b)상기 제1동영상과 서로 다른 제2시각에서 촬영된 제2동영상에 포함된 복수의 픽처 중, 선택된 소정의 픽처에 대해 움직임 추정 및 보상을 수행하고, 움직임 추정 및 보상된 결과를 이용하여 상기 제2동영상의 부호화를 수행하는 과정과, (c)상기 제1동영상의 부호화된 데이터 및 제2동영상의 부호화된 데이터를 포함하는 비트스트림을 생성하는 과정을 포함한다.
상기 (b)과정은 상기 제1동영상 및 제2동영상에 포함된 복수의 픽처 중, 시각(time)적으로 서로 대응되는 픽처의 변위(Disparity)를 추정하는 과정을 더 포함하며, 추정된 상기 변위를 더 이용하여 제2동영상에 포함된 픽처를 부호화한다.
상기 변위를 추정하는 과정은, 서로 대응되는 적어도 한 쌍의 픽처에 대한 변위(Disparity)를 추정할 수 있다.
상기 (b)단계에서 상기 소정의 픽처는 미리 정해진 단위마다 규칙적으로 선택되는 픽처일 수 있으며, 상기 미리 정해진 단위는 상기 제2동영상에 포함된 픽처 사이의 유사성을 고려하여 설정되는 것이 바람직하다.
나아가, 본 발명의 일 측면에 따른 다시점 동영상 부호화 방법은 제1동영상에 포함된 복수의 픽처 중, 선택된 소정의 픽처에 대해 움직임 추정 및 보상을 수행하고, 움직임 추정 및 보상된 결과를 이용하여 상기 제1동영상의 부호화를 수행할 수 있다.
제1동영상에 포함된 복수의 픽처 중 선택된 상기 소정의 픽처는, 제2동영상에 포함된 복수의 픽처 중 선택된 상기 소정의 픽처와 서로 다른 시각(time)에 대응하는 픽쳐일 수 있다.
본 발명의 다른 측면에 따른 다시점(Multiview) 동영상을 포함하는 비트스트림을 복호화하는 방법은 (a)부호화 방식에 대응하여, 기준이 되는 제1시각에서 촬영된 제1동영상에 포함된 복수의 픽처를 복호화하는 과정과, (b)부호화 방식에 대응하여, 상기 제1동영상과 서로 다른 제2시각에서 촬영된 제2동영상에 포함된 복수의 픽처 중, 선택적으로 부호화된 픽처를 복호화하는 과정과, (c)선택적으로 부호화된 상기 픽처의 움직임 벡터를 추출하는 과정과, (d)상기 (c)과정에서 획득된 상기 움직임 벡터를 이용하여, 상기 제2동영상에 포함된 픽처 중 부호화 과정에서 생략(skip)된 픽처를 복원하는 과정과, (e)상기 (b)과정 및 (d)과정에서 복호화된 픽 처를 조합하여 상기 제2동영상을 복호화하는 과정을 포함한다.
상기 (d)과정은, 상기 제1동영상 및 제2동영상의 시각(time)적으로 서로 대응되는 픽처에 대한 변위(Disparity) 벡터 및 상기 움직임 벡터를 이용하여, 상기 제2동영상에 포함된 픽처 중 부호화 과정에서 생략(skip)된 픽처를 복호화할 수 있다.
움직임이 없거나 미리 정해진 값보다 상대적으로 적은 움직임 벡터 값을 갖는 블록 또는 픽셀에 대해서는 상기 움직임 벡터를 이용하여 복원을 수행하고, 미리 정해진 값보다 상대적으로 큰 움직임 벡터 값을 갖는 블록 또는 픽셀에 대해서는 상기 변위 벡터를 이용하여 복원을 수행하는 것이 바람직하다.
본 발명의 다른 측면에 따른 복호화 방법에서, 상기 (a)과정의 상기 제1동영상에 포함된 복수의 픽처는, 부호화과정에서 선택된 픽처이며, 상기 (d)과정은, 움직임 벡터를 이용하여, 상기 제2동영상에 포함된 픽처 중 부호화 과정에서 생략(skip)된 픽처를 복원하고 복호화하는 과정을 더 포함하며, (f)상기 (a)과정 및 (d)과정에서 복호화된 픽처를 조합하여 상기 제1동영상을 복호화하는 과정을 더 포함할 수 있다.
제1동영상에 포함된 복수의 픽처 중 선택된 상기 소정의 픽처는, 제2동영상에 포함된 복수의 픽처 중 선택된 상기 소정의 픽처와 서로 다른 시각(time)에 대응하는 픽쳐일 수 있다.
본 발명의 또 다른 측면에 따른 다시점(Multiview) 동영상 부호화 장치는 다시점 동영상을 부호화하는 장치에 있어서, 외부로부터 입력되는 복수의 다시점 동 영상을 각각 부호화하는 복수의 인코더와, 상기 다시점 동영상 중 적어도 하나의 동영상에 포함된 복수의 픽처 중, 부호화할 소정의 픽처를 선택하는 부호화 픽처 선택부와, 부호화된 다시점 동영상을 포함하는 데이터를 다중화하는 다중화부를 포함하며, 상기 인코더는, 상기 부호화 픽처 선택부로부터 선택되는 픽처를 부호화한다.
서로 다른 시점(View)의 동영상에 포함되며, 시각(time)적으로 서로 대응하는 픽처 사이의 변위 벡터를 추정하는 변위 추정부를 더 포함하며, 확장 계층(Enhancement layer)의 동영상을 부호화하는 적어도 하나의 인코더는 상기 변위 벡터를 이용하여 동영상에 포함된 픽처를 부호화할 수 있다.
상기 부호화 픽처 선택부는 시각(time)적으로 서로 대응하는 적어도 한 쌍의 픽처를 선택할 수 있다.
상기 부호화 픽처 선택부가 선택하는 상기 소정의 픽처는 미리 정해진 단위마다 규칙적으로 선택되는 픽처일 수 있다.
상기 인코더는 동영상에 포함된 픽처 사이의 유사성을 연산하고, 연산된 결과를 상기 부호화 픽처 선택부로 제공하며, 상기 부호화 픽처 선택부는 영상의 상기 유사성을 고려하여 상기 미리 정해진 단위를 설정할 수 있다.
상기 부호화 픽처 선택부는, 복수의 동영상에 포함된 픽처 중, 시각(time)적으로 서로 대응하는 픽처를 교차하여 선택하는 것이 바람직하다.
본 발명의 또 다른 측면에 따른 다시점(Multiview) 동영상 복호화 장치는 다시점 동영상을 복호화하는 장치에 있어서, 다중화된 데이터로부터 복수의 다시점 동영상을 역다중화 하는 역다중화부와, 부호화된 복수의 다시점 동영상에 포함된 픽처를 복호화하고, 각 시점에 대한 픽처를 복원하는 과정에서 추출되는 움직임 벡터를 제공하는 복수의 디코더와, 상기 디코더로부터의 상기 움직임 벡터를 이용하여 부호화 과정에서 생략(skip)된 픽처를 추정하는 픽처 복원부를 포함하며, 상기 디코더는, 디코딩 과정을 통해 복호화한 상기 픽처 및 복원된 상기 픽처를 조합하여 각각의 동영상을 복원한다.
서로 다른 시점(View)의 동영상에 포함되며, 시각(time)적으로 서로 대응하는 픽처 사이의 변위 벡터를 추정하는 변위 추정부를 더 포함하며, 상기 픽처 복원부는, 상기 움직임 벡터 및 상기 변위 벡터를 이용하여 부호화 과정에서 생략(skip)된 픽처를 추정할 수 있다.
본 발명의 동영상 부호화 및 복호화 방법과 장치에 따르면, 다시점 동영상의 고효율 압축을 구현함으로써, 다시점 동영상의 부호화 데이터의 크기를 줄일 수 있다.
또한, 다시점 동영상의 부호화 크기를 줄임으로써, 한정된 자원을 이용하여 다시점 동영상의 실시간 전송이 가능할 뿐 아니라, 다시점 동영상의 실시간 재생도 가능하다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 다시점 동영상을 이루는 복수의 동영상에 각각 포함된 다수의 픽처를 부호화하는 과정에서, 일부 픽처를 선택적으로 생략(skip)하여 부호화하는데 특징이 있다. 또한, 이와 같이 부호화 과정에서 생략된 픽처를 안정적으로 복원하고, 다시점 동영상에 포함된 복수의 동영상을 복호화하는데 특징이 있다. 본 발명의 일 실시예는 이러한 특징을 실현하기 위한 실시예를 제시한다.
본 발명의 일 실시예에서는 다시점 동영상으로서 좌영상 및 우영상을 포함하는 스테레오 스코픽 영상을 예시한다. 비록 본 발명의 일 실시예에서 다시점 동영상으로서 두개의 동영상을 포함하는 스테레오스코픽 영상을 예시하지만 본 발명이 이를 한정하는 것은 아니며, 복수의 동영상을 포함하는 다시점 동영상에 다양하게 변경 적용할 수 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치의 구성을 도시하는 블록도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 부호화 장치는 제1인코더(11), 제2인코더(13), 부호화 픽처 선택부(15), 및 다중화부(19)를 포함한다.
제1인코더(11)는 스테레오스코픽 영상에 포함된 좌영상 즉, 기본 계층(Base Layer)의 동영상을 부호화하는 장치이고, 제2인코더(13)는 스테레오스코픽 영상에 포함된 우영상 즉, 확장 계층(Enhancement Layer)의 동영상을 부호화하는 장치이다.
예컨대, 제1인코더(11) 및 제2인코더(13)는 좌영상 및 우영상에 각각 포함된 복수의 픽처에 대해 DCT변환, 양자화, 인트라 예측, 움직임 추정, 움직임 보상 등의 처리를 수행하여 부호화를 수행하는 장치일 수 있다. 나아가, 제1인코더(11) 및 제2인코더(13)는 통상의 MPEG 방식에 따라 동영상을 부호화하는 장치 일 수 있다.
전술한, 제1인코더(11) 및 제2인코더(13)는 부호화 픽처 선택부(15)로부터 부호화할 픽처를 선택받으며, 선택받은 상기 픽처에 대해 부호화를 진행한다. 또한, 제1인코더(11) 및 제2인코더(13)는 부호화 과정에서 생략(skip)된 픽처의 위치를 지시하는 정보(예컨대, 순서적으로 배열된 픽처를 포함하는 동영상에서 생략된 상기 픽처가 위치한 순서 또는 상기 픽처가 생략되는 규칙에 대한 정보)를 포함하여 출력할 수 있다.
부호화 픽처 선택부(15)는 외부로부터 입력되는 다시점 동영상의 시점(View) 및 시각(Time)을 고려하여 각 동영상에 포함된 복수의 픽처 중, 부호화를 수행할 픽처를 선택한다. 여기서, 상기 좌영상 및 우영상은 서로 다른 시점(View)에서 동일한 시간동안에 촬영되어 생성된 영상이며, 상기 좌영상 및 우영상은 영상을 이루는 각 픽처의 색차 정보와 함께, 상기 각 픽처에 대한 시각(Time)적 동기화에 대한 정보를 포함하는 것이 바람직하다.
도 2는 본 발명의 일 실시예에 따른 좌영상 및 우영상에 포함된 픽처의 시리즈의 일 부분을 예시한다. 도 2를 참조하면, 좌영상에 포함된 5개의 픽처(110, 120, 130, 140, 150) 및 우영상에 포함된 5개의 픽처(210, 220, 230, 240, 250)가 도시된다. 도 2에서 실선으로 표시된 픽처(110, 120, 140, 210, 230, 250)는 부호 화 픽처 선택부(15)가 부호화를 위해 선택하는 픽처이며, 점선으로 표시된 픽처(130, 150, 220, 240)는 본 발명의 부호화 과정에서 생략(Skip)되는 픽처이다. 즉, 부호화 픽처 선택부(15)는 상기 좌영상을 부호화하는 제1인코더(11)로 3개의 픽처(110, 120, 140)에 대해 부호화를 진행할 것을 지시하는 신호를 제공하며, 상기 우영상을 부호화하는 제2인코더(13)로 3개의 픽처(210, 230, 250)에 대해 부호화를 진행할 것을 지시하는 신호를 제공한다.
나아가, 부호화 픽처 선택부(15)는 미리 정해진 단위마다 규칙적으로 픽처를 선택하는 것이 바람직하다. 그리고, 부호화 픽처 선택부(15)는 동일한 시각(Time)을 기준으로 서로 다른 시점(View)의 픽처 중, 적어도 하나의 픽처를 선택하는 것이 바람직하다. 예컨대, 도 2를 참조하면, 상기 미리 정해진 단위는 2일 수 있다. 또한, 동일한 시각을 기준으로 서로 다른 시점(View)의 픽처 중 적어도 하나의 픽처가 선택될 수 있도록, 부호화 픽처 선택부(15)는 좌영상에 포함된 픽처 중에서 짝수 번째의 시각정보를 포함하는 픽처(120, 140)를 선택하고, 우영상에 포함된 픽처 중에서 홀수 번째의 시각정보를 포함하는 픽처(130, 150)를 선택한다.
또한, 상기 미리 정해진 단위는 영상에 포함된 픽처 사이의 유사성을 지시하는 정보에 대응하여 다양하게 변경될 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 부호화 장치는 영상에 포함된 픽처 사이의 유사성을 추출하는 유사성 추출부(미도시)를 더 포함할 수 있다. 그리고, 부호화 픽처 선택부(15)는 상기 유사성 추출부를 통해 추출된 픽처 사이의 유사성을 고려하여 상기 미리 정해진 단위를 다양하게 설정할 수 있다. 나아가, 상기 유사성 추출부(미도시)는 제1인코더(11) 및 제 2인코더(13)에 구비될 수 있다.
비록 본 발명의 일 실시예는 도 2에서와 같이, 부호화 픽처 선택부(15)가 좌영상(즉, 기본 계층(Base Layer)의 동영상) 및 우영상(즉, 확장 계층(Enhancement Layer)의 동영상)에 포함된 픽처를 교차적으로 선택하는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 예컨대, 부호화 픽처 선택부(15)는 도 3과 같이, 좌영상에 포함된 픽처(115, 125, 135, 145, 155)를 모두 선택하고, 우영상에 포함된 픽처(215, 225, 235, 245, 255) 중, 특정 픽처(215, 235, 255)를 교차적으로 선택하는 것도 가능하다. 즉, 부호화 픽처 선택부(15)의 픽처 선택은 부호화의 압축효율을 고려하여 다양하게 변경 가능하다.
나아가, 본 발명의 일 실시예에 구비된 제2인코더(13)는 좌영상과 우영상에 포함된 픽처 중, 동일한 시각(time)에 대응하는 적어도 한 쌍의 픽처의 변위벡터를 이용하여 부호화를 진행하는 것이 바람직하다. 상기 한 쌍의 픽처는 인터 모드 부호화의 기준이 되는 픽처(예컨대, 도 2의 110,210)일 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 부호화 장치는 좌영상 및 우영상에 포함된 픽처 중, 동일한 시각(time)에 대응하는 적어도 한 쌍의 픽처 사이의 변위를 추정하는 변위추정부(17)를 포함할 수 있다. 즉, 변위추정부(17)는 상기 한 쌍의 픽처(예컨대, 도 2의 110,210) 사이의 특정 블록 단위, 예컨대 특정 매크로블록(도 2의 111,211) 단위의 변위 벡터를 연산한다.
다중화부(19)는 제1인코더(11) 및 제2인코더(13)를 통해 각각 출력되는 부호화된 다시점 동영상을 다중화하여 출력한다.
한편, 도 4는 본 발명의 일 실시예에 따른 다시점 복호화 장치의 구성을 도시하는 블록도 이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 다시점 복호화 장치는 역다중화부(21), 제1디코더(23), 제2디코더(25), 및 픽처복원부(27)를 포함한다.
역 다중화부(21)는 부호화되어 다중화된 데이터를 역 다중화한다. 예컨대, 부호화 과정에서 다시점 동영상에 포함된 제1동영상 및 제2동영상이 부호화되어 다중화되는 경우, 역 다중화부(21)는 다중화된 데이터를 역 다중화하여, 제1동영상 및 제2동영상이 부호화된 데이터를 획득한다.
제1디코더(23) 및 제2디코더(25)는 스테레오스코픽 영상에 포함된 좌영상(즉, 기본 계층(Base Layer)의 동영상) 및 우영상 (즉, 확장 계층(Enhancement Layer)의 동영상)을 복호화하는 장치이다. 제1디코더(23) 및 제2디코더(25)는 동영상을 부호화하는 인코더의 부호화 방식, 예컨대 MPEG 방식에 따라 동영상을 복호화하는 장치 일 수 있다.
또한, 제1디코더(23) 및 제2디코더(25)는 동영상이 부호화된 과정에서 생략된 픽처를 픽처복원부(27)로부터 제공받으며, 제공받은 상기 픽처를 삽입한 동영상을 출력한다.
한편, 본 발명의 일 실시예에 따르면, 스테레오스코픽 영상을 부호화하는 과정에서, 동영상에 포함된 복수의 픽처 중 일부 픽처의 부호화가 생략(skip)된다. 그리고, 생략된 픽처가 위치한 정보를 포함시켜 부호화를 수행한다. 예컨대, 상기 생략된 픽처가 위치한 정보는 순서적으로 배열된 픽처를 포함하는 동영상에서, 생 략된 상기 픽처가 위치한 순서 또는 상기 픽처가 생략되는 규칙에 대한 정보일 수 있다.
픽처복원부(27)는 부호화 과정에서 생략된 픽처가 위치한 정보를 확인하고, 생략된 상기 픽처를 복원한다. 픽처복원부(27)는 생략된 상기 픽처를 복원하는 데 필요한 픽처에 대한 정보를 상기 제1디코더(23) 및 제2디코더(25)로부터 제공받으며, 복원한 픽처를 다시 제1디코더(23) 및 제2디코더(25)로 제공한다.
픽처복원부(27)는 부호화 과정에서 삽입된 움직임 벡터값을 이용하여 생략된 픽처를 복원할 수 있다.
이하, 픽처복원부(27)가 생략된 픽처를 복원하는 과정에 대해 상세하게 설명한다.
도 5는 본 발명의 일 실시예에 따른 복원된 픽처를 포함하는 다시점 동영상의 구성을 도시한다. 도 5를 참조하면, 외곽선이 점선으로 표시된 픽처는 부호화 과정에서 생략(skip)된 픽처로서 복호화과정에서 복원될 픽처이며, 외곽선이 실선으로 표시된 픽처는 부호화 과정에서 정상적으로 부호화된 픽처를 지시한다. 또한, 도 5에서 수평축은 시간(time)축을 지시한다. 그리고, 픽처 내에 포함된 사각형은 픽처에 포함된 특정 블록을 지시한다.
예컨대, 제2디코더(25)는 우영상의 특정 시각(t+1)에 위치한 픽처(450)를 복원할 때, 상기 픽처(450)의 이전 픽처(440)가 생략되었음을 확인하고, 생략된 픽처(440)의 복원을 픽처복원부(27)로 요청한다. 그러면, 픽처복원부(27)는 제2디코더(25)로부터 복원할 상기 픽처(440)에 이웃한 픽처(430,450)를 제공받고, 제공받 은 픽처(430,450)에 포함된 특정 블록들 사이의 움직임 벡터 즉, 제1블록(431)과 제5블록(451) 사이의 움직임 벡터 및 제2블록(435)과 제6블록(455) 사이의 움직임 벡터를 확인한 후, 각 움직임 벡터를 2등분한 값을 제3블록(441) 및 제4블록(445)의 움직임 벡터로 지정한다.
나아가, 움직임이 없거나 적은 객체에 대응하는 블록에 대해서는 안정적인 복원이 가능하지만, 움직임이 큰 객체에 대응하는 블록의 경우 불완전한 복원을 나타내게 된다. 따라서, 제2디코더(25)는 움직임이 없거나 적은 객체에 대응하는 블록에 대해서는 상기와 같이 움직임 벡터를 이용하여 복원하는 것이 바람직하다. 그리고, 움직임이 큰 객체에 대응하는 블록에 대해서는 변위벡터를 이용하여 복원하는 것이 바람직하다. 예컨대, 도 5를 참조하면, 제2블록(435)과 제6블록(455) 사이에는 움직임 벡터가 0이므로, 상기 제4블록(445)은 상기 제2블록(435)과 동일한 값으로 복원한다. 그리고, 제1블록(431)과 제5블록(451) 사이에는 움직임 벡터가 존재하므로, 복원할 제3블록(441)이 삽입될 위치에 이웃한 픽셀들 중, 복원이 완료된 픽셀의 변위벡터를 추정한다. 그리고, 추정된 상기 변위벡터에 기초하여, 상기 제3블록(441)을 복원하게 된다. 이를 위하여, 본 발명의 일 실시예에 따른 다시점 동영상 복호화 장치는, 서로 다른 시점의 동영상에 포함된 픽처 사이의 상기 변위벡터를 추정할 수 있는 변위벡터 추출부(29)를 더 포함하는 것이 바람직하다.
이하, 본 발명의 일 실시예에 따른 부호화 방법 및 복호화 방법의 과정을 설명한다.
도 6은 본 발명의 일 실시예에 따른 다시점 동영상의 부호화 과정을 도시한 흐름도이다.
우선, 510과정에서는 다시점 동영상, 즉 좌영상 및 우영상에 각각 포함된 복수의 픽처를 순차적으로 입력받는다.
다음으로, 520 과정에서는 좌영상 및 우영상에 각각 포함된 다수의 픽처 중, 부호화할 픽처를 선택한다. 또한, 520 과정에서는 생략(skip)된 픽처의 위치를 지시하는 정보를 생성하게 된다. 520 과정의 상세한 진행 순서는 하기에 도 7과 함께 설명하기로 한다.
530과정에서는 상기 520 과정에서 선택된 픽처를 포함하는 동영상을 각각 부호화하게 된다. 예컨대, 530 과정은 좌영상 및 우영상에 포함된 복수의 선택된 픽처에 대해 각각 DCT변환, 양자화, 인트라 예측, 움직임 추정, 움직임 보상 등의 처리를 수행하여 부호화를 수행하는 과정일 수 있다. 예컨대, 통상의 MPEG 방식에 따라 좌영상 및 우영상을 각각 부호화하는 과정 일 수 있다. 나아가, 530 과정에서는 상기 생략(skip)된 픽처의 위치를 지시하는 정보를 참조하여, 픽처의 생략 여부와 함께, 상기 생략(skip)된 픽처의 위치를 지시하는 정보를 포함시켜 부호화하는 것이 바람직하다.
또한, 530 과정은 좌영상 및 우영상에 포함된 픽처 중, 동일한 시각(time)에 대응하는 적어도 한 쌍의 픽처 사이의 변위 벡터를 추정하여 부호화하는 것이 바람직하다. 예컨대, 상기 한 쌍의 픽처는 인터 모드 부호화의 기준이 되는 픽처(도 2의 110, 210)일 수 있다.
나아가, 상기 530 과정은 좌영상 즉, 기본 계층(Base Layer)의 동영상에 포 함된 픽처(도 2의 110 내지 150)에 대해서는 움직임 벡터를 이용하여 부호화를 수행할 수 있다. 또한, 530 과정은 우영상 즉, 확장 계층(Enhancement Layer)의 동영상에 포함된 픽처 중, 인터 모드 부호화의 기준이 되는 픽처(도 2의 210)에 대해서는 좌영상에 포함된 픽처(도 2의 110)와의 변위 벡터를 이용하여 부호화를 수행하고, 우영상에 포함된 픽처(230 및 250)에 대해서는 움직임 벡터를 이용하여 부호화를 수행할 수 있다.
마지막으로, 540 과정에서는, 530 과정에서 좌영상 및 우영상에 대해 부호화된 데이터를 다중화한다.
한편, 도 7은 도 6의 520 과정의 진행 순서를 상세하게 도시한 흐름도이다.
우선, 521 과정에서는 입력된 동영상이 기본 계층(Base Layer)의 동영상(예컨대 좌영상)인지를 확인한다. 확인 결과, 입력된 동영상이 기본 계층(Base Layer)의 동영상이면, 523 과정을 진행하고, 입력된 동영상이 기본 계층(Base Layer)이 아닌 확장 계층(Enhancement Layer)의 동영상(예컨대, 우영상)일 경우, 527과정을 진행한다.
523 과정은 기본 계층(Base Layer)의 동영상에 포함된 모든 픽처에 대해 부호화를 수행하는 경우 진행된다. 따라서, 523 과정은 기본 계층(Base Layer)의 동영상에 포함된 모든 픽처를 선택하는 과정이다.
527 과정은 확장 계층(Enhancement Layer)의 동영상(예컨대, 우영상)에 포함된 복수의 픽처 중, 부호화를 수행할 복수의 픽처를 선택한다. 527 과정은 영상에 포함된 복수의 픽처에 대해 생략될 픽처 또는 선택될 픽처를 미리 정해진 주기 마 다 선택하는 과정일 수 있다.
나아가, 527 과정에 앞서, 확장 계층(Enhancement Layer)의 동영상에 포함된 픽처 사이의 관계, 즉 동영상에 포함된 픽처 사이의 유사성 등을 확인하는 과정(526 과정)을 더 포함하는 것이 바람직하다.
또한, 바람직하게 상기 523 과정을 진행하기에 앞서, 기본 계층(Base Layer)의 동영상에 포함된 픽처를 선택적으로 부호화할 것인지에 대해 확인하는 과정(522과정)을 더 포함할 수 있다. 예컨대, 522 과정의 확인을 통해, 기본 계층(Base Layer)의 동영상에 포함된 모든 픽처를 부호화하는 것으로 확인되는 경우 523 과정을 진행하고, 기본 계층(Base Layer)의 동영상에 포함된 픽처를 선택적으로 부호화하는 것으로 확인되는 경우 527 과정을 진행하게 된다. 전술한 522과정은 다시점 동영상을 부호화 하기에 앞서, 사용자의 선택에 의해 설정될 수 있다.
도 8은 본 발명의 일 실시예에 따른 다시점 동영상의 복호화 과정을 도시한 흐름도이다.
610 과정은, 본 발명의 일 실시예에 따른 부호화 방법에 의해 부호화된 다시점 동영상을 외부로부터 제공받고, 제공받은 데이터를 역다중화하는 과정이다.
620 과정에서는 좌영상 및 우영상의 부호화된 데이터를 복호화하는 과정으로써, 동영상이 부호화된 방식에 대응하는 방식으로 복호화한다. 예컨대, 620 과정은 좌영상 및 우영상이 부호화된 MPEG 방식에 대응하여 복호화를 수행하는 과정일 수 있다.
한편, 본 발명에 따른 복호화 방법은, 부호화 과정에서 좌영상 및 우영상에 포함된 복수의 픽처 중, 일부 픽처가 생략된 상기 부호화 데이터를 복호화할 수 있는 방법을 제공한다. 나아가, 부호화 과정에서 픽처가 생략되는 경우, 픽처가 생략된 위치에 이(픽처가 생략되었음)를 지시하는 식별자가 삽입될 수 있다. 또한, 픽처 생략을 지시하는 식별자를 삽입하는 것에 대한 대안으로써, 생략된 픽처(또는 생략되지 않는 픽처)가 위치하는 패턴(예컨대, 픽처가 생략된 주기 등)을 지시하는 정보를 삽입할 수 있다. 이와 같이 부호화 과정에서 삽입되는 정보에 기초하여, 630 과정에서는 복호화된 픽처들 사이에 생략(skip)된 픽처가 존재하는지를 확인하게 된다. 630 과정은 부호화된 데이터 내에 포함된 정보 중에서, 생략된 픽처의 위치를 지시하는 식별자 또는 픽처가 생략된 주기 등을 확인하는 과정일 수 있다.
640 과정에서는 630 과정에서 획득된 결과를 참조하여 현재 복화화되는 픽처 사이에 생략된 픽처가 존재하는 지를 판단한다. 현재 복화화되는 픽처 사이에 생략된 픽처가 존재하는 경우 650 과정을 진행하고, 생략된 픽처가 존재하지 않는 경우 670 과정을 진행한다.
650 과정에서는, 생략된 픽처와 시각(time)적으로 이웃한 픽처, 즉 생략된 픽처의 이전 및 이후의 픽처를 복호화하는 과정에서 발생되는 정보를 이용하여, 생략된 픽처를 복원한다. 예컨대, 상기 복호화하는 과정에서 발생되는 정보는 생략된 픽처의 이전 및 이후의 픽처 사이의 매크로 블록 단위의 움직임 벡터일 수 있다.
660 과정에서는 동영상에 포함된 픽처에 대해 순차적으로 복호화가 진행 될 수 있도록, 650 과정에서 복원된 픽처를 생략된 위치에 삽입한다.
마지막으로, 670 과정에서는 동영상에 포함된 모든 픽처에 대해 복호화가 완 료되었는지를 확인한다. 동영상에 포함된 모든 픽처에 대해 복호화가 완료되었을 경우 다시점 동영상의 복호화를 종료하고, 동영상에 포함된 모든 픽처에 대해 복호화가 완료되지 않았을 경우 620, 630, 640, 650, 660 과정을 반복적으로 진행하게 된다.
도 9는 도 8의 650의 상세 과정을 예시하는 순서도이다. 이하, 도 9를 참조하여 생략된 픽처를 복원하는 650 과정을 설명한다.
우선, 651 과정에서는 복원할 픽처(예컨대, 도 5의 440)와 시각(time)적으로 이웃한 픽처(도 5의 430 및 450) 사이의 매크로 블록 단위의 움직임 벡터를 획득한다. 매크로 블록 단위의 움직임 벡터는 픽처의 부호화를 진행하는 과정에서 삽입되므로, 픽처의 복호화를 수행하는 과정으로부터 획득할 수 있다.
653 과정에서는, 매크로 블록 단위의 상기 움직임 벡터를 이용하여, 픽처에 포함된 객체의 움직임 특성을 확인하게 된다. 예컨대, 도 5의 제2블록(435)와 제6블록(455) 사이의 움직임 벡터(MV)가 0일 경우 상기 제2블록(435)에 대응하는 객체는 움직임이 없는 것으로 판단할 수 있다. 반면, 제1블록(431)과 제5블록(451)에서와 같이, 제1블록(431)과 제5블록(451) 사이의 움직임 벡터가 존재하는 경우, 상기 제1블록(431)에 대응하는 객체는 움직임이 있는 것으로 판단할 수 있다. 이와 같이, 653 과정에서는 픽처에 포함된 복수의 블록에 대해 움직임 벡터를 확인하고, 이에 대응하여 픽처에 포함된 객체들의 움직임 특성을 분석하게 된다. 즉, 653 과정에서는 상기 움직임 특성에 기초하여 각 객체가 움직임이 큰 이동성 객체인지 또는 움직임이 없거나 적은 정지성 객체인지를 분석하게 된다. 이때, 움직임 정도의 크고 작음의 판단은 상기 블록들 사이의 움직임 벡터 값이 미리 정해진 값을 초과하는지에 대한 확인을 통해 이루어질 수 있다.
다음으로, 655 과정에서는 상기 정지성 객체를 복원하게 된다. 즉, 655 과정에서는 움직임 벡터가 0인 블록에 대해, 이웃한 블록과 동일한 값으로 복원하고, 움직임 벡터가 미세하게 존재하는 블록에 대해, 움직임 벡터의 값을 반으로 나눈 값을 적용하여 복원하게 된다.
그리고, 657과정에서는 상기 이동성 객체를 복원하게 된다. 즉, 움직임 벡터가 크게 존재하는 블록에 대해, 움직임 벡터의 값을 반으로 나눈 값을 적용하여 복원하게 된다.
나아가, 움직임이 없거나 적은 객체에 대해서는 안정적인 복원이 가능하지만, 움직임이 큰 객체의 경우 불완전한 복원을 나타내게 된다. 따라서, 657 과정에서는 복원을 완료하지 못한 블록(예컨대, 도 5의 제3블록(441)) 내에서, 655 과정에서 완전하게 복원이 완료된 픽셀에 대한 변위벡터를 추청하고, 추정된 변위벡터를 이용하여 상기 복원을 완료하지 못한 픽셀의 복원을 완료하는 것이 바람직하다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치의 구성을 도시하는 블록도
도 2는 본 발명의 일 실시예에 따른 부호화 장치가 부호화할 픽처의 일 예시도
도 3은 본 발명의 일 실시예에 따른 부호화 장치가 부호화할 픽처의 다른 예시도
도 4는 본 발명의 일 실시예에 따른 다시점 복호화 장치의 구성을 도시하는 블록도
도 5는 본 발명의 일 실시예에 따른 복원된 픽처를 포함하는 다시점 동영상의 예시도
도 6은 본 발명의 일 실시예에 따른 다시점 동영상의 부호화 과정을 도시한 흐름도
도 7은 도 6의 520 과정의 진행 순서를 상세하게 도시한 흐름도
도 8은 본 발명의 일 실시예에 따른 다시점 동영상의 복호화 과정을 도시한 흐름도
도 9는 도 8의 650의 상세 과정을 예시하는 흐름도

Claims (22)

  1. 다시점(Multiview) 동영상을 부호화하는 방법에 있어서,
    (a)기준이 되는 제1시각에서 촬영된 제1동영상에 포함된 복수의 픽처 사이의 움직임을 추정 및 보상하고, 움직임 추정 및 보상된 결과를 이용하여 제1동영상의 부호화를 수행하는 과정과,
    (b)상기 제1동영상과 서로 다른 제2시각에서 촬영된 제2동영상에 포함된 복수의 픽처 중, 선택된 소정의 픽처에 대해 움직임 추정 및 보상을 수행하고, 움직임 추정 및 보상된 결과를 이용하여 상기 제2동영상의 부호화를 수행하는 과정과,
    (c)상기 제1동영상의 부호화된 데이터 및 제2동영상의 부호화된 데이터를 포함하는 비트스트림을 생성하는 과정을 포함함을 특징으로 하는 다시점 동영상 부호화 방법.
  2. 제1항에 있어서, 상기 (b)과정은,
    상기 제1동영상 및 제2동영상에 포함된 복수의 픽처 중, 시각(time)적으로 서로 대응되는 픽처의 변위(Disparity)를 추정하는 과정을 더 포함하며,
    추정된 상기 변위를 더 이용하여 제2동영상에 포함된 픽처를 부호화하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  3. 제2항에 있어서, 상기 변위를 추정하는 과정은,
    서로 대응되는 적어도 한 쌍의 픽처에 대한 변위(Disparity)를 추정하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  4. 제1항에 있어서, 상기 (b)단계에서 상기 소정의 픽처는 미리 정해진 단위마다 규칙적으로 선택되는 픽처인 것을 특징으로 하는 다시점 동영상 부호화 방법.
  5. 제4항에 있어서, 상기 미리 정해진 단위는 상기 제2동영상에 포함된 픽처 사이의 유사성을 고려하여 설정되는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 제1동영상에 포함된 복수의 픽처 중, 선택된 소정의 픽처에 대해 움직임 추정 및 보상을 수행하고, 움직임 추정 및 보상된 결과를 이용하여 상기 제1동영상의 부호화를 수행하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  7. 제6항에 있어서, 제1동영상에 포함된 복수의 픽처 중 선택된 상기 소정의 픽처는, 제2동영상에 포함된 복수의 픽처 중 선택된 상기 소정의 픽처와 서로 다른 시각(time)에 대응하는 픽쳐인 것을 특징으로 하는 다시점 동영상 부호화 방법.
  8. 부호화된 다시점(Multiview) 동영상을 포함하는 비트스트림을 복호화하는 방법에 있어서,
    (a)부호화 방식에 대응하여, 기준이 되는 제1시각에서 촬영된 제1동영상에 포함된 복수의 픽처를 복호화하는 과정과,
    (b)부호화 방식에 대응하여, 상기 제1동영상과 서로 다른 제2시각에서 촬영된 제2동영상에 포함된 복수의 픽처 중, 선택적으로 부호화된 픽처를 복호화하는 과정과,
    (c)선택적으로 부호화된 상기 픽처의 움직임 벡터를 추출하는 과정과,
    (d)상기 (c)과정에서 획득된 상기 움직임 벡터를 이용하여, 상기 제2동영상에 포함된 픽처 중 부호화 과정에서 생략(skip)된 픽처를 복원하는 과정과,
    (e)상기 (b)과정 및 (d)과정에서 복호화된 픽처를 조합하여 상기 제2동영상을 복호화하는 과정을 포함함을 특징으로 하는 다시점 동영상 복호화 방법.
  9. 제8항에 있어서, 상기 (d)과정은,
    상기 제1동영상 및 제2동영상의 시각(time)적으로 서로 대응되는 픽처에 대한 변위(Disparity) 벡터 및 상기 움직임 벡터를 이용하여, 상기 제2동영상에 포함된 픽처 중 부호화 과정에서 생략(skip)된 픽처를 복호화하는 것을 특징으로 하는 다시점 동영상 복호화 방법.
  10. 제9항에 있어서,
    움직임이 없거나 미리 정해진 값보다 상대적으로 적은 움직임 벡터 값을 갖는 블록 또는 픽셀에 대해서는 상기 움직임 벡터를 이용하여 복원을 수행하고,
    미리 정해진 값보다 상대적으로 큰 움직임 벡터 값을 갖는 블록 또는 픽셀에 대해서는 상기 변위 벡터를 이용하여 복원을 수행하는 것을 특징으로 하는 다시점 동영상 복호화 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 (a)과정의 상기 제1동영상에 포함된 복수의 픽처는, 부호화과정에서 선택된 픽처이며,
    상기 (d)과정은, 움직임 벡터를 이용하여, 상기 제2동영상에 포함된 픽처 중 부호화 과정에서 생략(skip)된 픽처를 복원하고 복호화하는 과정을 더 포함하며,
    (f)상기 (a)과정 및 (d)과정에서 복호화된 픽처를 조합하여 상기 제1동영상을 복호화하는 과정을 더 포함함을 특징으로 하는 다시점 동영상 복호화 방법.
  12. 제11항에 있어서, 제1동영상에 포함된 복수의 픽처 중 선택된 상기 소정의 픽처는, 제2동영상에 포함된 복수의 픽처 중 선택된 상기 소정의 픽처와 서로 다른 시각(time)에 대응하는 픽쳐인 것을 특징으로 하는 다시점 동영상 복호화 방법.
  13. 부호화된 다시점(Multiview) 동영상의 부호화 및 복호화를 처리하는 방법에 있어서,
    상기 부호화의 처리는,
    (a)기준이 되는 제1시각에서 촬영된 제1동영상에 포함된 복수의 픽처 사이의 움직임을 추정 및 보상하고, 움직임 추정 및 보상된 결과를 이용하여 제1동영상의 부호화를 수행하는 과정과,
    (b)상기 제1동영상과 서로 다른 제2시각에서 촬영된 제2동영상에 포함된 복수의 픽처 중, 선택된 소정의 픽처에 대해 움직임 추정 및 보상을 수행하고, 움직임 추정 및 보상된 결과를 이용하여 상기 제2동영상의 부호화를 수행하는 과정과,
    (c)상기 제1동영상의 부호화된 데이터 및 제2동영상의 부호화된 데이터를 포함하는 비트스트림을 생성하는 과정을 포함하며,
    상기 복호화의 처리는,
    (d)상기 (a)과정의 부호화에 대응하여, 상기 제1동영상에 포함된 복수의 픽처를 복호화하는 과정과,
    (e)상기 (b)과정의 부호화에 대응하여, 상기 (b)과정에서 선택적으로 부호화된 픽처를 복호화하는 과정과,
    (f)상기 (e)과정에서 선택적으로 부호화된 픽처의 움직임 벡터를 추출하는 과정과,
    (g)상기 (f)과정에서 획득된 상기 움직임 벡터를 이용하여, 상기 제2동영상에 포함된 픽처 중 부호화 과정에서 생략(skip)된 픽처를 복호화하는 과정과,
    (h)상기 (e)과정 및 (g)과정에서 복호화된 픽처를 조합하여 상기 제2동영상을 복호화하는 과정을 포함함을 특징으로 하는 다시점 동영상의 부호화 및 복호화 방법.
  14. 다시점(Multiview) 동영상을 부호화하는 장치에 있어서,
    외부로부터 입력되는 복수의 다시점 동영상을 각각 부호화하는 복수의 인코더와,
    상기 다시점 동영상 중 적어도 하나의 동영상에 포함된 복수의 픽처 중, 부호화할 소정의 픽처를 선택하는 부호화 픽처 선택부와,
    부호화된 다시점 동영상을 포함하는 데이터를 다중화하는 다중화부를 포함하며,
    상기 인코더는,
    상기 부호화 픽처 선택부로부터 선택되는 픽처를 부호화하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  15. 제14항에 있어서, 서로 다른 시점(View)의 동영상에 포함되며, 시각(time)적으로 서로 대응하는 픽처 사이의 변위 벡터를 추정하는 변위 추정부를 더 포함하며,
    확장 계층(Enhancement layer)의 동영상을 부호화하는 적어도 하나의 인코더는 상기 변위 벡터를 이용하여 동영상에 포함된 픽처를 부호화하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  16. 제15항에 있어서, 상기 부호화 픽처 선택부는 시각(time)적으로 서로 대응하는 적어도 한 쌍의 픽처를 선택하는 것을 특징으로 하는 다시점 동영상 부호화 장 치.
  17. 제14항에 있어서, 상기 부호화 픽처 선택부가 선택하는 상기 소정의 픽처는 미리 정해진 단위마다 규칙적으로 선택되는 픽처인 것을 특징으로 하는 다시점 동영상 부호화 장치.
  18. 제17항에 있어서,
    상기 인코더는 동영상에 포함된 픽처 사이의 유사성을 연산하고, 연산된 결과를 상기 부호화 픽처 선택부로 제공하며,
    상기 부호화 픽처 선택부는 영상의 상기 유사성을 고려하여 상기 미리 정해진 단위를 설정하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  19. 제14항 내지 제18항 중 어느 한 항에 있어서,
    상기 부호화 픽처 선택부는, 복수의 동영상에 포함된 픽처 중, 시각(time)적으로 서로 대응하는 픽처를 교차하여 선택하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  20. 다시점(Multiview) 동영상을 복호화하는 장치에 있어서,
    다중화된 데이터로부터 복수의 다시점 동영상을 역다중화 하는 역다중화부와,
    부호화된 복수의 다시점 동영상에 포함된 픽처를 복호화하고, 각 시점에 대한 픽처를 복원하는 과정에서 추출되는 움직임 벡터를 제공하는 복수의 디코더와,
    상기 디코더로부터의 상기 움직임 벡터를 이용하여 부호화 과정에서 생략(skip)된 픽처를 추정하는 픽처 복원부를 포함하며,
    상기 디코더는,
    디코딩 과정을 통해 복호화한 상기 픽처 및 복원된 상기 픽처를 조합하여 각각의 동영상을 복원하는 것을 특징으로 하는 다시점 동영상 복호화 장치.
  21. 제20항에 있어서,
    서로 다른 시점(View)의 동영상에 포함되며, 시각(time)적으로 서로 대응하는 픽처 사이의 변위 벡터를 추정하는 변위 추정부를 더 포함하며,
    상기 픽처 복원부는,
    상기 움직임 벡터 및 상기 변위 벡터를 이용하여 부호화 과정에서 생략(skip)된 픽처를 추정하는 것을 특징으로 하는 다시점 동영상 복호화 장치.
  22. 다시점(Multiview) 동영상의 부호화 및 복호화를 처리하는 장치에 있어서,
    상기 부호화를 처리하는 장치는,
    외부로부터 입력되는 복수의 다시점 동영상을 각각 부호화하는 복수의 인코더와, 상기 다시점 동영상 중 적어도 하나의 동영상에 포함된 복수의 픽처 중, 부호화할 소정의 픽처를 선택하는 부호화 픽처 선택부와, 부호화된 다시점 동영상을 포함하는 데이터를 다중화하는 다중화부를 포함하며,
    상기 인코더는, 상기 부호화 픽처 선택부로부터 선택되는 픽처에 대해 부호화를 수행하는 것을 특징으로 하며,
    상기 복호화를 처리하는 장치는,
    다중화된 데이터로부터 복수의 다시점 동영상을 역다중화 하는 역다중화부와, 호화된 복수의 다시점 동영상에 포함된 픽처를 복호화하고, 각 시점에 대한 픽처를 복원하는 과정에서 추출되는 움직임 벡터를 제공하는 디코더와, 상기 디코더로부터의 상기 움직임 벡터를 이용하여 부호화 과정에서 생략(skip)된 픽처를 추정하는 픽처 복원부를 포함하며,
    상기 디코더는, 디코딩 과정을 통해 복호화한 상기 픽처 및 복원된 상기 픽처를 조합하여 각각의 동영상을 복원하는 것을 특징으로 하는 다시점 동영상 처리장치.
KR1020080009730A 2008-01-30 2008-01-30 다시점 동영상의 부호화 및 복호화 방법 및 장치 KR101385884B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080009730A KR101385884B1 (ko) 2008-01-30 2008-01-30 다시점 동영상의 부호화 및 복호화 방법 및 장치
US12/362,573 US20090190662A1 (en) 2008-01-30 2009-01-30 Method and apparatus for encoding and decoding multiview video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080009730A KR101385884B1 (ko) 2008-01-30 2008-01-30 다시점 동영상의 부호화 및 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090083746A true KR20090083746A (ko) 2009-08-04
KR101385884B1 KR101385884B1 (ko) 2014-04-16

Family

ID=40899199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080009730A KR101385884B1 (ko) 2008-01-30 2008-01-30 다시점 동영상의 부호화 및 복호화 방법 및 장치

Country Status (2)

Country Link
US (1) US20090190662A1 (ko)
KR (1) KR101385884B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109112A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010107659A1 (en) * 2009-03-16 2010-09-23 Guidance Software, Inc. System and method for entropy-based near-match analysis
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
EP2591602A1 (en) 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
JP2012019329A (ja) 2010-07-07 2012-01-26 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
KR101645465B1 (ko) * 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
KR20120012301A (ko) * 2010-07-30 2012-02-09 삼성전자주식회사 디지털 방송에서의 확장 방송 서비스 송수신 방법 및 장치
JP5663093B2 (ja) * 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
US20130120528A1 (en) * 2011-01-09 2013-05-16 Thomson Licensing Video processing apparatus and method for detecting a temporal synchronization mismatch
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
JP2012186746A (ja) * 2011-03-08 2012-09-27 Sony Corp 映像送信装置、映像送信装置の制御方法、映像受信装置および映像受信装置の制御方法
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
EP2781091B1 (en) * 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9357197B2 (en) * 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
WO2014047351A2 (en) * 2012-09-19 2014-03-27 Qualcomm Incorporated Selection of pictures for disparity vector derivation
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100523930B1 (ko) * 2003-01-13 2005-10-26 전자부품연구원 다시점 영상의 압축/복원장치
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
ES2400955T3 (es) * 2004-10-07 2013-04-15 Panasonic Corporation Aparato de codificación de imágenes y aparato de decodificación de imágenes
WO2007011147A1 (en) * 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109112A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치
US9674534B2 (en) 2012-01-19 2017-06-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi-view video prediction capable of view switching, and method and apparatus for decoding multi-view video prediction capable of view switching
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
US9961323B2 (en) 2012-01-30 2018-05-01 Samsung Electronics Co., Ltd. Method and apparatus for multiview video encoding based on prediction structures for viewpoint switching, and method and apparatus for multiview video decoding based on prediction structures for viewpoint switching

Also Published As

Publication number Publication date
KR101385884B1 (ko) 2014-04-16
US20090190662A1 (en) 2009-07-30

Similar Documents

Publication Publication Date Title
KR101385884B1 (ko) 다시점 동영상의 부호화 및 복호화 방법 및 장치
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
JP4421940B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
KR100636785B1 (ko) 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
DK2594077T3 (en) Hybrid video coding that supports the intermediate-view synthesis
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
KR101375666B1 (ko) 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
EP2538674A1 (en) Apparatus for universal coding for multi-view video
KR100728009B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
KR101336204B1 (ko) 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
KR101893559B1 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
KR20070092566A (ko) 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
WO2007013194A1 (ja) 画像情報圧縮方法及び自由視点テレビシステム
JP2008034892A (ja) 多視点画像符号化装置
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
WO2013146636A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2013106273A (ja) 画像処理装置、及び画像処理方法
KR101349459B1 (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
JP2012028960A (ja) 画像復号装置、画像復号方法および画像復号プログラム
JP5343792B2 (ja) 画像符号化装置、画像符号化方法およびそのプログラム
JP2008034893A (ja) 多視点画像復号装置
KR20120084628A (ko) 다시점 영상 부호화／복호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee