KR20110036234A - 다시점 영상 압축 방법 및 장치 - Google Patents

다시점 영상 압축 방법 및 장치 Download PDF

Info

Publication number
KR20110036234A
KR20110036234A KR1020090093788A KR20090093788A KR20110036234A KR 20110036234 A KR20110036234 A KR 20110036234A KR 1020090093788 A KR1020090093788 A KR 1020090093788A KR 20090093788 A KR20090093788 A KR 20090093788A KR 20110036234 A KR20110036234 A KR 20110036234A
Authority
KR
South Korea
Prior art keywords
image
motion vector
macroblock
value
motion estimation
Prior art date
Application number
KR1020090093788A
Other languages
English (en)
Inventor
이석
박두식
이재준
위호천
임일순
이진영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090093788A priority Critical patent/KR20110036234A/ko
Publication of KR20110036234A publication Critical patent/KR20110036234A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다시점 영상 압축 방법 및 장치를 개시한다. 다시점 영상 압축 장치는 카메라에 대한 기하정보 및 영상의 깊이 정보를 이용하여 시점간 영상 예측을 수행하고, 상기 예측된 영상과 원 영상의 차이를 압축할 수 있다.
다시점 영상, 기하정보, 깊이 정보, 변위값, 움직임 벡터

Description

다시점 영상 압축 방법 및 장치 {APPARATUS AND METHOD FOR COMPRESSING MULTI VIEW IMAGE}
본 발명의 실시예들은 다시점 영상 압축 방법 및 장치에 관한 것으로, 특히 카메라에 대한 기하정보를 이용한 영상 예측을 통해 각 시점간 중복성을 제거하여 압축 데이터량을 감소시키는 기술과 관련된 것이다.
입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 말한다. 이때, 단순히 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오와는 달리 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공하기 위해서는, 여러 시점에서 촬영한 영상이 필요하다. 여러 시점에서 촬영한 영상을 이용한 응용분야는 자유시점 TV, 3차원 TV 등이 존재한다. 자유시점 TV는 동일 장면에 대해 다시점 영상을 획득 후 분석하여 사물을 바라보는 시점을 자유롭게 변경할 수 있으며, 3차원 TV의 경우 사람의 양쪽 눈에 비치는 영상을 달리함으로써 사실적인 3차원 깊이를 인지할 수 있도록 한다. 그러나 여러 시점에서 찍은 영상은 데이터량이 방대하기 때문에 압축하여 전송하려면 네트워크 인프라, 지상파 대역폭 등의 확보에 많은 어려움이 따른다.
따라서, 다시점 영상의 응용을 위해서는 방대한 영상 데이터를 효율적으로 압축할 수 있는 방법 및 장치에 대한 연구가 지속적으로 필요하다.
본 발명의 일실시예에 따른 다시점 영상 압축 방법은, 복수의 카메라에 대한 기하정보 및 제1 영상의 깊이 정보를 이용하여 상기 제1 영상과 상이한 카메라 시점의 제2 영상을 예측하는 단계 및 상기 예측된 제2 영상과 상기 제1 영상의 차이를 압축하는 단계를 포함할 수 있다.
이때, 상기 예측하는 단계는, 제1 영상의 매크로블록에 대한 변위값(disparity)을 산출하는 단계 및 상기 변위값을 제1 움직임 벡터로 사용하여 움직임 추정을 수행하는 단계를 포함할 수 있다.
또한, 상기 변위값을 산출하는 단계는, 상기 제1 영상의 매크로블록에 대한 대표값을 산출하는 단계 및 상기 대표값 및 상기 복수의 카메라 파라미터 중 적어도 하나를 이용하여 상기 변위값을 산출하는 단계를 포함할 수 있다.
또한, 상기 움직임 추정을 수행하는 단계는, 상기 변위값을 이용하여 움직임 추정 기준점을 추출하는 단계, 상기 움직임 추정 기준점에 기초한 움직임 추정을 수행하여 제2 움직임 벡터를 추출하는 단계 및 상기 변위값과 상기 제2 움직임 벡터를 합산하여 최종 움직임 벡터를 생성하는 단계를 포함할 수 있다.
또한, 상기 압축하는 단계는, 상기 예측된 제2 영상의 매크로블록과 상기 제1 영상의 매크로블록의 차이를 계산하여 차분(residue) 데이터를 생성하는 단계 및 상기 차분 데이터 및 상기 최종 움직임 벡터를 압축하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 다시점 영상 압축 장치는, 복수의 카메라에 대한 기하정보 및 제1 영상의 깊이 정보를 이용하여 상기 제1 영상과 상이한 카메라 시점의 제2 영상을 예측하는 예측부 및 상기 예측된 제2 영상과 상기 제1 영상의 차이를 압축하는 압축부를 포함할 수 있다.
이때, 상기 예측부는, 제1 영상의 매크로블록에 대한 변위값을 산출하는 변위 산출부 및 상기 변위값을 제1 움직임 벡터로 사용하여 움직임 추정을 수행하는 움직임 추정부를 포함할 수 있다.
또한, 상기 변위 산출부는, 상기 제1 영상의 매크로블록에 대한 대표값을 산출하는 대표값 산출부 및 상기 대표값 및 상기 복수의 카메라 파라미터 중 적어도 하나를 이용하여 3D 워핑(warping)을 수행하고, 상기 3차원 워핑을 통해 상기 변위값을 산출하는 워핑부를 포함할 수 있다.
또한, 상기 움직임 추정부는, 상기 변위값을 이용하여 움직임 추정 기준점을 추출하는 기준점 추출부, 상기 움직임 추정 기준점에 기초한 움직임 추정을 수행하여 제2 움직임 벡터를 추출하는 움직임 벡터 추출부 및 상기 변위값과 상기 제2 움직임 벡터를 합산하여 최종 움직임 벡터를 생성하는 움직임 보상부를 포함할 수 있다.
또한, 상기 압축부는, 상기 예측된 제2 영상의 매크로블록과 상기 제1 영상의 매크로블록의 차이를 계산하여 차분(residue) 데이터를 생성하는 차분 생성부 및 상기 차분 데이터 및 상기 최종 움직임 벡터를 압축하는 차분 압축부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 카메라에 대한 기하정보 및 영상의 깊이 정보를 이용하여 시점간 영상 예측을 수행하고, 예측된 영상과 원 영상의 차이를 압축함으로써, 압축 데이터량을 줄일 수 있다.
본 발명의 일실시예에 따르면, H.264/MVC의 틀을 이용하되, 매크로블록의 변위값을 계산하여 움직임 벡터의 초기값으로 사용함으로써, 비디오 압축 기술과 호환성을 유지함과 동시에 시점간 예측의 정확도를 높여 압축 효율을 향상시킬 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의　실시예들을 상세하게 설명한다.　 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.　 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따라 하나의 시점에서 다른 시점에 대한 영상을 예측하는 방법을 설명하기 위한 도면이다.
도 1을 참고하면, 다시점 영상의 경우, 복수의 카메라(101, 102, 103)를 통한 각 시점 별 영상간에 중복된 정보가 존재하므로, 중복성을 제거하기 위해 시점간 영상 예측(inter-view prediction)을 수행할 수 있다. 시점간 영상 예측을 통해 시점 변화에 따른 영상을 예측하면 원 영상과의 차이(residue)만을 압축 전송할 수 있어, 압축되는 데이터량을 줄일 수 있다.
한편, H.264/MVC 라고도 불리는 시점간 영상 예측은 단일 비디오 영상에 대 한 압축 기술인 H.264/AVC를 다시점 영상으로 확장한 것이다. 즉, 연속된 시간에 대한 각 프레임(frame)의 매크로블록(macroblock)에 대해 움직임 추정(motion estimation)을 수행하는 것과 마찬가지로, 인접한 시점의 영상 내의 매크로블록에 대해서도 동일한 블록 매칭(block matching)을 하여 차분(residue) 정보를 압축 전송할 수 있다.
본 발명의 일실시예에 따르면, H.264/AVC의 틀을 그대로 이용하되, 시점 합성 예측(view synthesis prediction)을 통해 계산된 매크로블록의 변위값(disparity)을 움직임 벡터의 초기값으로 사용하도록 하여 시점간 영상 예측을 수행할 수 있다.
여기서, 시점 합성 예측은 두 시점의 카메라가 갖는 기하학적 관계 및 깊이 정보를 이용하여, 3차원 공간상의 다른 시점 영상을 워핑(warping)을 통해 계산함으로써, 영상 예측을 수행할 수 있다.
도 2는 본 발명의 일실시예에 따른 다시점 영상 압축 방법을 나타낸 도면이다.
도 2를 참고하면, 단계(210)에서는 복수의 카메라에 대한 기하정보 및 제1 영상의 깊이 정보를 이용하여 상기 제1 영상과 상이한 카메라 시점의 제2 영상을 예측할 수 있다.
즉, 각 시점별 영상간에는 중복된 정보가 존재하므로, 중복되지 않는 부분에 대해서만 압축을 수행하기 위해 제1 영상으로부터 상이한 시점의 제2 영상을 예측할 수 있다. 여기서, 카메라에 대한 기하정보는 카메라의 위치, 자세 등을 포함 할 수 있다.
여기서, 단계(210)는 도 3을 참고하여 이하에서 더욱 상세하게 설명한다.
도 3은 도 2에 도시한 영상 압축 방법에 있어서, 다른 시점의 영상을 예측하는 과정을 설명하기 위한 도면이다.
도 3을 참고하면, 단계(310)에서는 제1 영상의 매크로블록에 대한 변위값(disparity)을 산출할 수 있다. 여기서, 변위값 산출은 3D 워핑(warping)을 통하여 수행될 수 있다. 한편, 단계(310)는 도 4를 참고하여 더욱 상세하게 설명한다.
도 4는 도 3에 도시한 영상 예측 과정에 있어서, 변위값을 산출하는 과정을 설명하기 위한 도면이다.
도 4를 참고하면, 단계(410)에서는 제1 영상의 매크로블록에 대한 대표값을 산출할 수 있다. 여기서, 상기 대표값은 깊이 평균값, 중앙값(median), 및 최빈값 중 하나일 수 있다. 또한, 상기 평균값, 중앙값, 최빈값 이외의 다양한 확률적 대표값들도 상기 대표값으로 사용될 수 있다.
단계(420)에서는 대표값 및 상기 복수의 카메라 파라미터 중 적어도 하나를 이용하여 상기 변위값을 산출할 수 있다. 여기서, 카메라 파라미터는 카메라에 대한 위치 정보, 자세정보, 초점거리, 화소 왜곡(pixel skew), 주점(principal point) 등을 포함하는 내부 센서 파라미터를 포함할 수 있다. 또한, 상기 변위값 산출을 위해 3D 워핑을 수행할 수 있다.
예를 들어, 상기 대표값이 깊이 평균값인 경우, 상기 깊이 평균값과 카메라 의 위치정보, 자세정보, 초점거리, 화소 왜곡(pixel skew), 주점(principal point) 중 적어도 하나를 포함하는 카메라 파라미터를 이용하여 3D 워핑을 수행함으로써, 변위값을 산출할 수 있다.
다시 도 3을 참고하면, 단계(320)에서는 상기 변위값을 제1 움직임 벡터로 사용하여 움직임 추정을 수행할 수 있다. 이때, 상기 산출된 변위값은 제1 영상의 매크로블록과 대응되는 제2 영상의 매크로블록의 대략적인 위치인 제1 움직임 벡터와 동일할 수 있다.
따라서, 상기 제1 움직임 벡터를 통해 계산된 기준점에 기초하여 움직임 추정을 수행하여 최종 움직임 벡터를 산출할 수 있다. 단계(320)는 도 5를 참고하여 이하에서 더욱 상세하게 설명한다.
도 5는 도 3에 도시한 영상 예측 과정에 있어서, 움직임 추정을 수행하는 과정을 설명하기 위한 도면이다.
도 5를 참고하면, 단계(510)에서는 변위값을 이용하여 움직임 추정 기준점을 추출할 수 있다. 상기 언급한 바와 같이, 변위값은 대응되는 영상의 대략적인 위치인 제1 움직임 벡터와 동일하고, 상기 제1 움직임 벡터를 이용하여 움직임 추정을 하기 위한 기준점을 추출할 수 있다. 이때, 움직임 추정을 위한 기준점은 제1 움직임 벡터의 끝점일 수 있다.
단계(520)에서는 움직임 추정 기준점에 기초한 움직임 추정을 수행하여 제2 움직임 벡터를 추출할 수 있다. 따라서, 상기 움직임 추정 기준점에 기초하여 움직임 추정을 수행하여 제2 움직임 벡터를 산출할 수 있다.
상기와 같이, 제1 움직임 벡터를 이용하여 움직임 추정을 수행함으로써, 블록 서치 영역을 줄일 수 있고, 블록 서치의 정확도를 높일 수 있다. 또한, 움직임 벡터의 크기를 줄일 수 있어, 저장 공간을 절약할 수 있다.
단계(530)에서는 변위값과 상기 제2 움직임 벡터를 합산하여 최종 움직임 벡터를 생성할 수 있다. 즉, 변위값 또는 제1 움직임 벡터와 제2 움직임 벡터를 합산하면 원 영상의 매크로블록으로부터 다른 시점 영상의 대응되는 매크로블록에 이르는 최종 움직임 벡터를 생성할 수 있다.
다시 도 2를 참고하면, 단계(220)에서는 상기 예측된 제2 영상과 상기 제1 영상의 차이를 압축할 수 있다. 여기서, 단계(220)는 상기 예측된 제2 영상의 매크로블록과 상기 제1 영상의 매크로블록의 차이를 계산하여 차분(residue) 데이터를 생성하는 단계 및 상기 차분 데이터 및 상기 최종 움직임 벡터를 압축하는 단계를 포함할 수 있다.
따라서, 제1 영상의 매크로블록과 제2 영상의 대응하는 매크로블록의 차분(residue)을 계산하여, 차분 데이터(residue data)를 추출할 수 있고, 상기 차분 데이터를 압축할 수 있다. 이때, 차분 데이터와 함께 상기 최종 움직임 벡터를 함께 압축할 수 있다.
도 6은 본 발명의 일실시예에 따른, 움직임 추정을 설명하기 위한 도면이다.
도 6을 참고하면, 제1 영상의 매크로블록(601)에 대해 바로 움직임 추정을 수행하지 않고, 제1 영상의 매크로블록(601)에 대응하는 깊이 영상 데이터의 평균 값 및 카메라 파라미터를 이용하여 변이값(602)을 계산할 수 있다. 계산된 변위값은 제1 영상의 매크로블록(601)에 대응되는 다른 시점 영상인 제2 영상 내의 대응하는 매크로블록의 대략적 위치(603)까지의 변위벡터(602)와 동일하다.
따라서, 계산된 매크로블록의 대략적 위치(603)를 기준으로 움직임 추정을 수행하면 대응하는 제2 영상 내의 대응하는 매크로블록(605)까지의 모션 벡터(604)가 계산될 수 있다. 따라서, 변이값(602)과 모션 벡터(604)를 더하면 최종 움직임 벡터가 산출될 수 있다.
도 7은 본 발명의 일실시예에 따른, 다시점 영상 압축 장치를 나타낸 블록도이다.
도 7을 참고하면, 다시점 영상 압축 장치(700)는 예측부(710) 및 압축부(720)를 포함할 수 있다.
예측부(710)는 복수의 카메라에 대한 기하정보 및 제1 영상의 깊이 정보를 이용하여 상기 제1 영상과 상이한 카메라 시점의 제2 영상을 예측할 수 있다. 여기서, 예측부(710)는 변위 산출부(730) 및 움직임 추정부(740)를 포함할 수 있다.
변위 산출부(730)는 제1 영상의 매크로블록에 대한 변위값을 산출할 수 있다. 이때, 변위값 산출은 카메라의 기하정보 및 입력 영상의 깊이정보를 이용하여 산출할 수 있다. 여기서, 변위 산출부(730)는 대표값 산출부(731) 및 워핑부(732)를 포함할 수 있다.
대표값 산출부(731)는 제1 영상의 매크로블록에 대한 대표값을 산출할 수 있다. 여기서, 대표값은 깊이 평균값, 중앙값, 및 최빈값 중 하나일 수 있다.
워핑부(732)는 상기 대표값 및 상기 복수의 카메라 파라미터 중 적어도 하나를 이용하여 3D 워핑(warping)을 수행하고, 상기 3차원 워핑을 통해 상기 변위값을 산출할 수 있다.
움직임 추정부(740)는 상기 변위값을 제1 움직임 벡터로 사용하여 움직임 추정을 수행할 수 있다. 즉, 제1 움직임 벡터에 기초한 지점에서 움직임 추정을 수행할 수 있다.
여기서, 움직임 추정부(740)는 기준점 추출부(741), 움직임 벡터 추출부(742), 및 움직임 보상부(743)를 포함할 수 있다.
기준점 추출부(741)는 상기 변위값을 이용하여 움직임 추정 기준점을 추출할 수 있다. 여기서, 상기 변위값은 제1 움직임 벡터와 동일하므로, 제1 움직임 벡터의 끝지점을 움직임 추정 기준점으로 추정해 낼 수 있다.
움직임 벡터 추출부(742)는 상기 움직임 추정 기준점에 기초한 움직임 추정을 수행하여 제2 움직임 벡터를 추출할 수 있다.
이와 같이, 상기 움직임 추정 기준점에 기초한 움직임 추정을 수행함으로써, 블록 서치 영역을 줄일 수 있고, 블록 서치의 정확도를 높일 수 있다.
움직임 보상부(743)는 상기 변위값과 상기 제2 움직임 벡터를 합산하여 최종 움직임 벡터를 생성할 수 있다.
압축부(720)는 상기 예측된 제2 영상과 상기 제1 영상의 차이를 압축할 수 있다. 여기서, 압축부(720)는 차분 생성부(721) 및 차분 압축부(722)를 포함할 수 있다.
차분 생성부(721)는 상기 예측된 제2 영상의 매크로블록과 상기 제1 영상의 매크로블록의 차이를 계산하여 차분(residue) 데이터를 생성할 수 있다. 차분 압축부(722)는 상기 차분 데이터 및 상기 최종 움직임 벡터를 압축할 수 있다.
상기와 같이, 상기 차분 데이터만을 압축함으로써, 압축되는 데이터량을 줄일 수 있다.
한편, 도 7에서 설명되지 않은 부분은 도 1 내지 도 6의 설명을 참고할 수 있다.
상기와 같이, 카메라에 대한 기하정보 및 영상의 깊이 정보를 이용하여 시점간 영상 예측을 수행하고, 예측된 영상과 원 영상의 차이를 압축함으로써, 압축 데이터량을 줄일 수 있다.
또한, H.264/MVC의 큰 틀을 유지함으로써, 비디오 압축 기술과 호환성을 유지함과 동시에 시점간 예측의 정확도를 높여 압축 효율을 향상시킬 수 있다.
본 발명의 실시예에 따른 다시점 영상 압축 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.　 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따라 하나의 시점에서 다른 시점에 대한 영상을 예측하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 다시점 영상 압축 방법을 나타낸 도면이다.
도 3은 도 2에 도시한 영상 압축 방법에 있어서, 다른 시점의 영상을 예측하는 과정을 설명하기 위한 도면이다.
도 4는 도 3에 도시한 영상 예측 과정에 있어서, 변위값을 산출하는 과정을 설명하기 위한 도면이다.
도 5는 도 3에 도시한 영상 예측 과정에 있어서, 움직임 추정을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른, 움직임 추정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른, 다시점 영상 압축 장치를 나타낸 블록도이다.

Claims (15)

  1. 복수의 카메라에 대한 기하정보 및 제1 영상의 깊이 정보를 이용하여 상기 제1 영상과 상이한 카메라 시점의 제2 영상을 예측하는 단계; 및
    상기 예측된 제2 영상과 상기 제1 영상의 차이를 압축하는 단계
    를 포함하는 다시점 영상 압축 방법.
  2. 제1항에 있어서,
    상기 예측하는 단계는,
    제1 영상의 매크로블록에 대한 변위값(disparity)을 산출하는 단계; 및
    상기 변위값을 제1 움직임 벡터로 사용하여 움직임 추정을 수행하는 단계
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 방법.
  3. 제2항에 있어서,
    상기 변위값을 산출하는 단계는,
    상기 제1 영상의 매크로블록에 대한 대표값을 산출하는 단계; 및
    상기 대표값 및 상기 복수의 카메라 파라미터 중 적어도 하나를 이용하여 상기 변위값을 산출하는 단계
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 방법.
  4. 제3항에 있어서,
    상기 대표값은,
    깊이 평균값, 중앙값(median), 및 최빈값 중 하나인 것을 특징으로 하는 다시점 영상 압축 방법.
  5. 제3항에 있어서,
    상기 카메라 파라미터는,
    상기 복수의 카메라에 대한 위치정보, 자세정보, 초점거리, 화소 왜곡(pixel skew), 및 주점(principal point) 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 압축 방법.
  6. 제2항에 있어서,
    상기 움직임 추정을 수행하는 단계는,
    상기 변위값을 이용하여 움직임 추정 기준점을 추출하는 단계;
    상기 움직임 추정 기준점에 기초한 움직임 추정을 수행하여 제2 움직임 벡터를 추출하는 단계; 및
    상기 변위값과 상기 제2 움직임 벡터를 합산하여 최종 움직임 벡터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 방법.
  7. 제6항에 있어서,
    상기 압축하는 단계는,
    상기 예측된 제2 영상의 매크로블록과 상기 제1 영상의 매크로블록의 차이를 계산하여 차분(residue) 데이터를 생성하는 단계; 및
    상기 차분 데이터 및 상기 최종 움직임 벡터를 압축하는 단계
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  9. 복수의 카메라에 대한 기하정보 및 제1 영상의 깊이 정보를 이용하여 상기 제1 영상과 상이한 카메라 시점의 제2 영상을 예측하는 예측부; 및
    상기 예측된 제2 영상과 상기 제1 영상의 차이를 압축하는 압축부
    를 포함하는 다시점 영상 압축 장치.
  10. 제9항에 있어서,
    상기 예측부는,
    제1 영상의 매크로블록에 대한 변위값을 산출하는 변위 산출부; 및
    상기 변위값을 제1 움직임 벡터로 사용하여 움직임 추정을 수행하는 움직임 추정부
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 장치.
  11. 제10항에 있어서,
    상기 변위 산출부는,
    상기 제1 영상의 매크로블록에 대한 대표값을 산출하는 대표값 산출부; 및
    상기 대표값 및 상기 복수의 카메라 파라미터 중 적어도 하나를 이용하여 3D 워핑(warping)을 수행하고, 상기 3차원 워핑을 통해 상기 변위값을 산출하는 워핑부
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 장치.
  12. 제11항에 있어서,
    상기 대표값은,
    깊이 평균값, 중앙값(median), 및 최빈값 중 하나인 것을 특징으로 하는 다시점 영상 압축 장치.
  13. 제11항에 있어서,
    상기 카메라 파라미터는,
    상기 복수의 카메라에 대한 위치 정보, 자세정보, 초점거리, 화소 왜곡(pixel skew), 및 주점(principal point) 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 압축 장치.
  14. 제10항에 있어서,
    상기 움직임 추정부는,
    상기 변위값을 이용하여 움직임 추정 기준점을 추출하는 기준점 추출부;
    상기 움직임 추정 기준점에 기초한 움직임 추정을 수행하여 제2 움직임 벡터를 추출하는 움직임 벡터 추출부; 및
    상기 변위값과 상기 제2 움직임 벡터를 합산하여 최종 움직임 벡터를 생성하는 움직임 보상부
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 장치.
  15. 제14항에 있어서,
    상기 압축부는,
    상기 예측된 제2 영상의 매크로블록과 상기 제1 영상의 매크로블록의 차이를 계산하여 차분(residue) 데이터를 생성하는 차분 생성부; 및
    상기 차분 데이터 및 상기 최종 움직임 벡터를 압축하는 차분 압축부
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 장치.
KR1020090093788A 2009-10-01 2009-10-01 다시점 영상 압축 방법 및 장치 KR20110036234A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090093788A KR20110036234A (ko) 2009-10-01 2009-10-01 다시점 영상 압축 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090093788A KR20110036234A (ko) 2009-10-01 2009-10-01 다시점 영상 압축 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20110036234A true KR20110036234A (ko) 2011-04-07

Family

ID=44044224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090093788A KR20110036234A (ko) 2009-10-01 2009-10-01 다시점 영상 압축 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20110036234A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378910B1 (ko) * 2012-08-28 2014-03-31 광운대학교 산학협력단 임의의 가상시점 홀로그램 서비스를 위한 의사변위 기반 중간시점 영상 생성 방법
US9729849B2 (en) 2012-04-19 2017-08-08 Intel Corporation 3D video coding including depth based disparity vector calibration

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9729849B2 (en) 2012-04-19 2017-08-08 Intel Corporation 3D video coding including depth based disparity vector calibration
US9860514B2 (en) 2012-04-19 2018-01-02 Intel Corporation 3D video coding including depth based disparity vector calibration
KR101378910B1 (ko) * 2012-08-28 2014-03-31 광운대학교 산학협력단 임의의 가상시점 홀로그램 서비스를 위한 의사변위 기반 중간시점 영상 생성 방법

Similar Documents

Publication Publication Date Title
KR101419979B1 (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
EP2477158B1 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2014050830A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US20130182945A1 (en) Image processing method and apparatus for generating disparity value
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
US9924197B2 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
KR20120084629A (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
JP6173218B2 (ja) 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
WO2015098948A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
KR20110027231A (ko) 입체영상 압축 처리 방법 및 장치
JP6039178B2 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
JP2009212664A (ja) 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US20150249839A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
CN104429077A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
KR101620067B1 (ko) 다시점 영상 압축 장치 및 방법
KR101868017B1 (ko) 스테레오 매칭 방법 및 그 장치
KR20110036234A (ko) 다시점 영상 압축 방법 및 장치
Daribo et al. Joint depth-motion dense estimation for multiview video coding
WO2015055143A1 (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
Hong et al. Object-based error concealment in 3D video
CN104782123A (zh) 用于预测视点间运动的方法以及用于确定3维视频中的视点间合并候选的方法
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment