KR20110098290A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20110098290A
KR20110098290A KR1020100017842A KR20100017842A KR20110098290A KR 20110098290 A KR20110098290 A KR 20110098290A KR 1020100017842 A KR1020100017842 A KR 1020100017842A KR 20100017842 A KR20100017842 A KR 20100017842A KR 20110098290 A KR20110098290 A KR 20110098290A
Authority
KR
South Korea
Prior art keywords
motion vector
block
view
color video
video
Prior art date
Application number
KR1020100017842A
Other languages
English (en)
Other versions
KR101628383B1 (ko
Inventor
손광훈
이석
위호천
서정동
김동현
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020100017842A priority Critical patent/KR101628383B1/ko
Priority to US12/929,413 priority patent/US9225967B2/en
Publication of KR20110098290A publication Critical patent/KR20110098290A/ko
Application granted granted Critical
Publication of KR101628383B1 publication Critical patent/KR101628383B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

영상 처리 장치가 제공된다. 다시점 칼라 및 깊이 비디오를 부호화 하는 경우, 상기 영상 처리 장치의 모션 벡터 계산부는 제1 시점 칼라 영상에 대한 블록 모션 벡터들을 계산한다. 그러면 모션 벡터 차용부는 깊이 비디오를 통해 계산되는 디스페러티를 고려하여 상기 계산된 제1 시점 칼라 영상에 대한 블록 모션 벡터을 제2 시점 칼라 영상에 대한 블록 모션 벡터로 차용한다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
다시점(Multi-view) 비디오의 부호화 및 복호화에 연관되며, 보다 특정하게는 다시점 칼라 및 깊이 비디오의 부호화에 연관된다.
스테레오 방식을 넘어서는 3차원 입체(3D) 비디오 시스템 구현을 위해서는 동일한 장면을 여러 시점에서 촬영하여, 다시점 비디오를 획득한다.
특히, 자유 시점 3D 비디오 시스템에 있어서, 복수 개의 시점 각각에서 칼라 비디오 및 깊이 비디오를 획득하게 되면, 데이터 대역폭이 매우 커지기 때문에 효율적인 부호화 과정이 요구된다.
그런데, 복수 개의 시점 각각의 칼라 비디오 내의 매크로 블록들 각각에 대해 프레임 간 모션 벡터를 별도로 구하는 경우, 연산양이 매우 커진다.
따라서, 기존의 비디오 부호화 과정인 화면 내 예측(intra prediction), 움직임 추정/ 보상(motion estimation/ compensation), 및 변이 추정/ 보상(disparity estimation/ compensation) 이외에도 다시점 칼라 및 깊이 비디오를 위한 효율적인 부호화 과정이 요구된다.
본 발명의 일측에 따르면, 다시점 칼라 및 깊이 비디오를 부호화 하는 영상 처리 장치에 있어서, 제1 시점의 칼라 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 모션 벡터 계산부, 제2 시점의 깊이 비디오를 참고하여, 상기 제2 시점의 칼라 비디오 내의 제1 블록에 대해, 상기 제1 시점과 상기 제2 시점 사이의 디스페러티 벡터를 계산하는 디스페러티 계산부, 및 상기 디스페러티 벡터를 참고하여, 상기 제1 시점의 칼라 비디오 내의 복수 개의 블록 중 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정하는 모션 벡터 차용부를 포함하는, 영상 처리 장치가 제공된다.
상기 모션 벡터 차용부는, 상기 디스페러티 벡터를 상기 제1 블록에 적용하여 상기 제1 시점의 칼라 비디오 내의 제1 영역을 결정하고, 상기 제1 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정할 수 있다.
이 경우, 상기 모션 벡터 차용부는, 상기 제1 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제1 블록을 두 개 이상의 서브 블록으로 분할하고, 분할된 각각의 서브 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 블록의 모션 벡터를 상기 각각의 서브 블록의 모션 벡터로 결정할 수 있다.
한편, 상기 디스페러티 계산부는, 벡터는 상기 제1 블록에 대응하는 깊이 값, 상기 제1 시점과 상기 제2 시점 사이의 거리를 참고하여 상기 디스페러티 벡터를 계산할 수 있다.
본 발명의 일 실시예에 따르면, 상기 모션 벡터 차용부는, 상기 제1 시점의 깊이 비디오의 제2 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 제2 영역을 결정하고, 상기 제2 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제2 블록의 모션 벡터로 결정한다.
이 경우, 상기 모션 벡터 차용부는, 상기 제2 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제2 블록을 두 개 이상의 서브 블록으로 분할하고, 분할된 각각의 서브 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 블록의 모션 벡터를 상기 각각의 서브 블록의 모션 벡터로 결정할 수 있다.
본 발명의 다른 일측에 따르면, 칼라 및 깊이 비디오를 부호화 하는 영상 처리 장치에 있어서, 칼라 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 모션 벡터 계산부, 및 깊이 비디오의 제1 블록에 대응하는 상기 칼라 비디오 내의 제1 영역을 결정하고, 상기 제1 영역의 적어도 일부를 포함하는 상기칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정하는 모션 벡터 차용부를 포함하는, 영상 처리 장치가 제공된다.
상기 모션 벡터 차용부는, 상기 제1 영역의 적어도 일부를 포함하는 상기 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제1 블록을 두 개 이상의 서브 블록으로 분할하고, 분할된 각각의 서브 블록에 대응하는 상기 칼라 비디오 내의 블록의 모션 벡터를 상기 각각의 서브 블록의 모션 벡터로 결정할 수 있다.
한편, 본 발명의 또 다른 일측에 따르면, 다시점 깊이 비디오를 부호화 하는 영상 처리 장치에 있어서, 제1 시점의 깊이 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 모션 벡터 계산부, 제2 시점의 깊이 비디오 내의 제1 블록에 대해, 상기 제1 시점과 상기 제2 시점 사이의 디스페러티 벡터를 계산하는 디스페러티 계산부, 및 상기 디스페러티 벡터를 참고하여, 상기 제1 시점의 깊이 비디오 내의 복수 개의 블록 중 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정하는 모션 벡터 차용부를 포함하는, 영상 처리 장치가 제공된다.
본 발명의 또 다른 일측에 따르면, 다시점 칼라 및 깊이 비디오를 부호화 하는 영상 처리 방법에 있어서, 제1 시점의 칼라 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 단계, 제2 시점의 깊이 비디오를 참고하여, 상기 제2 시점의 칼라 비디오 내의 제1 블록에 대해, 상기 제1 시점과 상기 제2 시점 사이의 디스페러티 벡터를 계산하는 단계, 및 상기 디스페러티 벡터를 참고하여, 상기 제1 시점의 칼라 비디오 내의 복수 개의 블록 중 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 차용하는 단계를 포함하는, 영상 처리 방법이 제공된다.
본 발명의 또 다른 일측에 따르면, 칼라 및 깊이 비디오를 부호화 하는 영상 처리 방법에 있어서, 칼라 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 단계, 깊이 비디오의 제1 블록에 대응하는 상기 칼라 비디오 내의 제1 영역을 결정하는 단계, 및 상기 제1 영역의 적어도 일부를 포함하는 상기칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 차용하는 단계를 포함하는 영상 처리 방법이 제공된다.
다시점 칼라 및 깊이 비디오의 부호화에 있어서, 모션 벡터 계산을 위한 연산양을 크게 줄일 수 있다.
다시점 칼라 및 깊이 비디오를 입력으로 한 부호화 과정에서 디스페러티 추정의 복잡도가 낮으며, 다시점 칼라 영상 간, 칼라 영상과 깊이 영상 간, 나아가 깊이 영상 간의 중복성을 줄이므로 부호화 과정의 영상 처리 효율이 높아진다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따라 블록들에 대한 모션 벡터가 미리 계산되는 제1 시점 칼라 비디오를 도시한다.
도 3은 본 발명의 일 실시예에 따라 제1 시점 칼라 비디오로부터 블록 모션 벡터를 차용할 제2 시점 칼라 비디오를 도시한다.
도 4는 본 발명의 일 실시예에 따라 제2 시점 칼라 비디오 내의 블록의 디스페러티 벡터를 계산하는 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따라 모션 벡터를 차용할 블록을 결정하는 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따라 제2 시점 칼라 비디오 내의 블록을 서브 블록으로 분할한 모습을 도시한다.
도 7은 본 발명의 일 실시예에 따라 제1 시점 칼라 비디오로부터 블록 모션 벡터를 차용할 제1 시점 깊이 비디오를 도시한다.
도 8은 본 발명의 일 실시예에 따라 모션 벡터를 차용할 블록을 결정하는 과정을 설명하기 위한 개념도이다.
도 9은 본 발명의 일 실시예에 따라 제1 시점 깊이 비디오 내의 블록을 서브 블록으로 분할한 모습을 도시한다.
도 10은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한다.
모션 벡터 계산부(110)가 제1 시점 칼라 영상(200)의 각 블록들의 모션 벡터를 계산한다. 이러한 모션 벡터 계산은 통상적인 부호화 방법들에서 수행되는 것과 동일하다.
그러나, 상기 제1 시점 칼라 영상(200)의 블록들에 대해 계산된 모션 벡터가 제2 시점 칼라 영상(300)의 제1 블록(310)의 모션 벡터로 차용된다.
이 경우, 디스페러티 계산부(120)는 상기 제1 블록(310)의 깊이 갚을 깊이 비디오로부터 구하고, 이를 이용하여 제1 시점과 제2 시점 사이의 디스페러티를 계산한다.
그러면, 모션 벡터 차용부(130)는 상기 계산된 디스페러티를 적용하여, 제1 시점 칼라 영상(200) 내에서, 상기 제1 블록(310)에 대응하는 제1 영역을 결정한다.
그리고, 모션 벡터 차용부(130)는 제1 시점 칼라 영상 내의 복수 개의 블록들 중 상기 제1 영역을 적어도 일부라도 포함하는 적어도 하나의 블록을 결정한다.
그리고, 상기 결정된 적어도 하나의 블록에 대한 모션 벡터 계산 결과를 상기 제1 블록의 모션 벡터로 차용한다.
이하에서는 제1 시점 칼라 비디오의 블록들에 대한 모션 벡터 계산 결과를 제2 시점 칼라 비디오의 블록에 차용하는 실시예, 상기 제1 시점 칼라 비디오의 블록들에 대한 모션 벡터 계산 결과를 상기 제1 시점 깊이 비디오의 블록에 차용하는 실시예, 및 제1 시점 깊이 비디오의 블록의 모션 벡터(직접 계산되거나 또는 칼라 비디오로부터 차용되었을 수 있음)를 제2 시점 깊이 비디오의 블록에 차용하는 등의 실시예들을 서술한다.
도 2는 본 발명의 일 실시예에 따라 블록들에 대한 모션 벡터가 미리 계산되는 제1 시점 칼라 비디오(200)를 도시한다.
제1 시점(view 0)의 칼라 비디오는 시간에 따른 복수 개의 프레임들을 갖는다. 칼라 비디오(200)은 제1 시점의 제1 프레임 칼라 비디오 Color(v0f0)이다. 그리고, 칼라 비디오(201) 및 칼라 비디오(202)는 각각, 상기 제1 시점의 제2 프레임 및 제3 프레임 칼라 비디오 Color(v0f1) 및 Color(v0f2)이다.
영상 처리 장치(100)의 모션 벡터 계산부(110)는, 제1 시점 칼라 비디오 내의 복수 개의 매크로 블록(이하에서는 단순히 "블록"이라고 한다)에 대해 시간에 프레임 간의 모션 벡터를 계산한다.
이를 테면, 칼라 비디오(200) 내의 블록들(210 내지 290 등)의 각각은 모션 벡터가 계산된다. 이러한 모션 벡터의 계산은 기존의 비디오 부호화 과정과 동일하다.
본 발명의 일 실시예에 따르면, 이렇게 제1 시점의 칼라 비디오의 복수 개의 블록(210 내지 290 등)에 대해 계산된 모션 벡터 중 적어도 일부가 상기 제1 시점과 상이한 제2 시점의 칼라 비디오의 블록 모션 벡터로 차용된다.
이러한 모션 벡터 차용은 도 3 이하를 참조하여 보다 상세히 후술한다.
도 3은 본 발명의 일 실시예에 따라 제1 시점 칼라 비디오로부터 블록 모션 벡터를 차용할 제2 시점 칼라 비디오(300)를 도시한다.
예시적으로 제2 시점 칼라 비디오(300) 내의 제1 블록(310)의 모션 벡터의 결정 과정을 서술한다. 제2 시점 칼라 비디오(300)의 제1 블록(310)은 영상 내에서 상기 제1 시점 칼라 비디오(200)의 블록(260)과 동일한 위치에 대응한다.
그러나, 상기 제1 시점과 상기 제2 시점은 위치가 상이하므로, 시점 간의 디스페러티(disparity)가 존재한다. 따라서, 상기 제1 블록(310)의 모션 벡터를 블록(260)에 대해 계산된 모션 벡터로부터 그대로 차용할 수 없다.
본 발명의 일 실시예에 따르면, 영상 처리 장치(100)의 디스페러티 계산부(120)는 상기 제1 블록(310)에 대응하는 깊이 값을 깊이 비디오로부터 획득하고, 이를 이용하여 제1 블록(310) 부분에 대한 제1 시점과 제2 시점 사이의 디스페러티를 계산한다. 디스페러티 계산부(120)의 동작은 도 4를 참조하여 보다 상세히 후술한다.
그리고 모션 벡터 차용부(130)는 상기 디스페러티를 이용하여 상기 제1 블록(310)이 상기 제1 시점 칼라 비디오(200) 내의 어느 영역에 대응하는지, 그리고 상기 영역을 포함하는 제1 시점 칼라 비디오(200) 내의 블록이 어느 것인지 판단한다.
그리고, 상기 영역의 적어도 일부를 포함하는 블록들의 모션 벡터를 상기 제2 시점 칼라 영상(300)의 제1 블록(310)의 모션 벡터로 차용한다. 모션 벡터 차용부의 동작은 도 5 내지 도 6을 참조하여 보다 상세히 후술한다.
도 4는 본 발명의 일 실시예에 따라 제2 시점 칼라 비디오(300) 내의 제1 블록(310)의 디스페러티 벡터(410)를 계산하는 과정을 설명하기 위한 개념도이다.
시점 간 디스페러티는 시점 간 거리가 클수록, 그리고 깊이 값이 작을수록(시점으로부터 가까울수록) 크다.
상기 시점 간 거리는 카메라 파라미터(camera parameter)로부터 계산될 수 있으며, 깊이 값은 상기 제2 시점의 칼라 영상(300)에 매칭된 제2 시점의 깊이 영상(도시 되지 않음)으로부터 계산될 수 있다.
구체적인 계산은 디스페러티 계산에 대한 일반적인 계산 방법을 이용할 수 있으며, 주어지는 카메라 파라미터나 시점 간의 위치 등에 따라 다양하게 변형될 수 있다.
이렇게 계산된 디스페러티 벡터(410)를 상기 제1 블록(310)에 적용하면, 상기 제1 시점 칼라 영상(200) 내에서 상기 제1 블록(310)에 대응하는 제1 영역을 결정할 수 있다.
도 5는 본 발명의 일 실시예에 따라 모션 벡터를 차용할 블록을 결정하는 과정을 설명하기 위한 개념도이다.
상기 디스페러티 벡터(410)를 이용하여 상기 제1 블록(310)에 대응하는 제1 영역(510)이 결정되는 경우, 상기 제1 영역(510)의 적어도 일부를 포함하는 블록이 어느 블록인 지 판단된다.
본 예시적 실시예에서는 제1 시점의 칼라 비디오(200)의 블록(240)과 블록(250)이 상기 제1 영역의 적어도 일부를 포함한다.
따라서, 도 1의 모션 벡터 차용부(130)은 상기 제1 시점 칼라 비디오(200)의 블록(240) 및 블록(250)에 대해 모션 벡터 계산부(110)가 미리 계산한 모션 벡터들을 제2 시점 칼라 비디오(300)의 제1 블록(310)의 모션 벡터로 차용한다.
제1 영역(510)이 제1 시점 칼라 비디오(200) 내의 하나의 블록에 포함되는 경우에는 그 블록의 모션 벡터 값을 그대로 차용하지만, 본 예시적 실시예와 같이 두 개 이상의 블록에 포함되는 경우에는 어느 하나의 블록의 모션 벡터 값만을 제1 블록(310)의 모션 벡터 값으로 차용할 수 없다.
이러한 경우의 처리 방법이 도 6을 참조하여 후술된다.
도 6은 본 발명의 일 실시예에 따라 제2 시점 칼라 비디오 내의 블록을 서브 블록으로 분할한 모습을 도시한다.
본 발명의 일 실시예에 따르면, 디스페러티 벡터(410)에 의해 제1 블록(310)에 대응하는 것으로 판단된 제1 영역(510)이 두 개 이상의 블록(240 및 250)에 포함되는 경우, 모션 벡터 차용부(130)는 상기 제1 블록(310)을 두 개 이상의 서브 블록(610 및 620)으로 분할한다.
그리고, 모션 벡터 차용부(130)는, 상기 분할된 서브 블록 중, 서브 블록(610)의 경우에는 제1 시점의 칼라 비디오(200)의 블록(240)으로부터 모션 벡터를 차용하고, 서브 블록(620)의 경우에는 블록(250)으로부터 모션 벡터를 차용한다.
이러한 과정을 제2 시점의 칼라 비디오(300)의 전체 블록에 대해서 수행함으로써, 다시점 칼라 비디오 부호화 과정에서 중복된 모션 벡터 계산을 최소화할 수 있다.
상기한 실시예에서는 미리 계산된 제1 시점의 칼라 비디오(200) 내의 블록들의 모션 벡터들이 제2 시점의 칼라 비디오(300) 내의 블록 모션 벡터 결정에 차용되었다.
본 발명의 다른 일 실시예에 따르면, 미리 계산된 제1 시점의 칼라 비디오(200) 내의 블록들의 모션 벡터들은 상기 제1 시점의 깊이 비디오 내의 모션 결정에 차용한다. 이러한 과정은 도 7 이하를 참조하여 상술한다.
도 7은 본 발명의 일 실시예에 따라 제1 시점 칼라 비디오(200)로부터 블록 모션 벡터를 차용할 제1 시점 깊이 비디오(700)를 도시한다.
제1 시점 깊이 비디오(700)는 상기 제1 시점 칼라 비디오(200)과 해상도가 동일할 수도 있지만, 하드웨어 스펙(specification)의 차이 때문에 해상도가 상이할 수 있다. 통상적으로는 깊이 카메라 또는 센서의 해상도가 칼라 카메라 또는 센서의 해상도 보다 낮다.
이하에서는, 제1 시점의 깊이 비디오(700)의 해상도가 상기 제1 시점의 칼라 비디오(200)의 해상도 보다 낮은 경우의 실시예를 서술하지만, 이러한 실시예에 의해 본 발명이 제한적으로 해석되어서는 안 된다.
따라서, 제1 시점의 깊이 비디오(700)의 해상도가 상기 제1 시점의 칼라 비디오(200)의 해상도와 같거나, 보다 높은 경우도 본 발명의 사상을 벗어나지 않는 범위 내에서 응용이 가능하다.
제1 시점 깊이 비디오(700)의 제2 블록(710)에 대해 모션 벡터를 결정함에 있어서, 상기 제1 시점 칼라 비디오(200)의 복수 개의 블록들(210 내지 290 등)에 대해 계산된 모션 벡터가 차용되는 과정이 도 8 내지 도 9를 참조하여 후술된다.
도 8은 본 발명의 일 실시예에 따라 모션 벡터를 차용할 블록을 결정하는 과정을 설명하기 위한 개념도이다.
제1 시점의 깊이 비디오(700)의 제2 블록(710)에 대응하는 제2 영역(810)이 상기 제1 시점의 칼라 비디오(200) 위에 표시되었다.
칼라 비디오(200)의 해상도가 크기 때문에, 제2 영역(810)의 크기는 원래 제2 블록(710)의 크기보다 커질 수 있으며, 따라서 칼라 비디오(200) 내의 복수 개의 블록들(210, 220, 240 및 250)에 포함될 수 있다.
이 경우 상기 블록들(210, 220, 240 및 250)에 대해 미리 계산된 모션 벡터를 상기 깊이 비디오(700)의 제2 블록(710)의 모션 벡터로 차용하는 과정은, 도 5 내지 도 6을 참조하여 상술한 칼라 비디오의 경우와 유사하다.
도 9은 본 발명의 일 실시예에 따라 제1 시점 깊이 비디오 내의 블록을 서브 블록으로 분할한 모습을 도시한다.
모션 벡터 차용부(130)는 상기 깊이 비디오(700)의 제2 블록(720)을 복수 개의 서브 블록(910 내지 940)으로 분할한다.
그리고, 모션 벡터 차용부(130)는 서브 블록(910)의 경우에는 제1 시점 칼라 비디오(200)의 블록(210)으로부터, 서브 블록(920)의 경우에는 블록(220)으로부터, 서브 블록(930)의 경우에는 블록(240)으로부터, 그리고 서브 블록(940)의 경우에는 블록(250)으로부터 각각 미리 계산되었던 모션 벡터를 차용한다.
한편, 이러한 응용을 확장하면, 제1 시점의 깊이 비디오(700)의 각 블록들에 대해 계산되거나 또는 상기한 실시예처럼 차용을 통해 결정된 모션 벡터들이 제2 시점의 깊이 비디오(도시 되지 않음)의 블록들에도 차용될 수 있다.
이 경우, 제2 시점 깊이 비디오 내의 특정 블록에 대해, 깊이 값을 이용하여 디스페러티 계산부(120)가 제1 시점과 제2 시점 사이의 디스페러티 벡터를 계산한다.
그러면, 상기 디스페러티 벡터를 이용하여 상기 특정 블록에 대응하는 영역을 상기 제1 시점 깊이 비디오 내에서 결정하고, 상기 영역을 적어도 일부라도 포함하는 적어도 하나의 블록들의 모션 벡터를 상기 특정 블록의 모션 벡터로 차용한다.
이 경우에도 서브 블록 분할이 수행될 수 있음은 도 8 내지 도 9를 참조하여 상술한 바와 같다.
도 10은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.
단계(S1010)에서 모션 벡터 계산부(110)가 제1 시점 칼라 영상(200)의 각 블록들의 모션 벡터를 계산한다. 이러한 모션 벡터 계산은 통상적인 부호화 방법들에서 수행되는 것과 동일하다.
그러나, 상기 제1 시점 칼라 영상(200)의 블록들에 대해 계산된 모션 벡터가 제2 시점 칼라 영상(300)의 제1 블록(310)의 모션 벡터로 차용된다.
이 경우, 단계(S1020)에서 영상 처리 장치(100)의 디스페러티 계산부(120)는 상기 제1 블록(310)의 깊이 갚을 깊이 비디오로부터 구하고, 이를 이용하여 제1 시점과 제2 시점 사이의 디스페러티를 계산한다.
그러면, 단계(S1030)에서 모션 벡터 차용부(130)는 상기 계산된 디스페러티를 적용하여, 제1 시점 칼라 영상(200) 내에서, 상기 제1 블록(310)에 대응하는 제1 영역을 결정한다.
그리고, 모션 벡터 차용부(130)는 제1 시점 칼라 영상(200) 내의 복수 개의 블록들(210 내지 290 등) 중 상기 제1 영역을 적어도 일부라도 포함하는 적어도 하나의 블록을 결정한다.
그리고, 상기 결정된 적어도 하나의 블록에 대한 모션 벡터 계산 결과를 상기 제1 블록(310)의 모션 벡터로 차용한다.
이러한 과정에서 서브 블록 분할 및 각각의 서브 블록에 대해 서로 다른 모션 벡터가 차용될 수 있음은 도 5, 도 6 등을 참조하여 상술한 바와 같다.
한편, 제1 시점 칼라 비디오(200)의 블록들의 모션 벡터 계산 결과를 제1 시점 깊이 비디오(700)의 모션 벡터로 차용하는 내용은 도 7 이하를 참조하여 상술한 바와 같다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 모션 벡터 계산부
120: 디스페러티 계산부
130: 모션 벡터 차용부

Claims (17)

  1. 다시점 칼라 및 깊이 비디오를 부호화 하는 영상 처리 장치에 있어서,
    제1 시점의 칼라 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 모션 벡터 계산부;
    제2 시점의 깊이 비디오를 참고하여, 상기 제2 시점의 칼라 비디오 내의 제1 블록에 대해, 상기 제1 시점과 상기 제2 시점 사이의 디스페러티 벡터를 계산하는 디스페러티 계산부; 및
    상기 디스페러티 벡터를 참고하여, 상기 제1 시점의 칼라 비디오 내의 복수 개의 블록 중 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정하는 모션 벡터 차용부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 모션 벡터 차용부는,
    상기 디스페러티 벡터를 상기 제1 블록에 적용하여 상기 제1 시점의 칼라 비디오 내의 제1 영역을 결정하고, 상기 제1 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 모션 벡터 차용부는,
    상기 제1 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제1 블록을 두 개 이상의 서브 블록으로 분할하고, 분할된 각각의 서브 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 블록의 모션 벡터를 상기 각각의 서브 블록의 모션 벡터로 결정하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 디스페러티 계산부는,
    벡터는 상기 제1 블록에 대응하는 깊이 값, 상기 제1 시점과 상기 제2 시점 사이의 거리를 참고하여 상기 디스페러티 벡터를 계산하는, 영상 처리 장치.
  5. 제1항에 있어서,
    상기 모션 벡터 차용부는,
    상기 제1 시점의 깊이 비디오의 제2 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 제2 영역을 결정하고, 상기 제2 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제2 블록의 모션 벡터로 결정하는, 영상 처리 장치.
  6. 제5항에 있어서,
    상기 모션 벡터 차용부는,
    상기 제2 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제2 블록을 두 개 이상의 서브 블록으로 분할하고, 분할된 각각의 서브 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 블록의 모션 벡터를 상기 각각의 서브 블록의 모션 벡터로 결정하는, 영상 처리 장치.
  7. 칼라 및 깊이 비디오를 부호화 하는 영상 처리 장치에 있어서,
    칼라 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 모션 벡터 계산부; 및
    깊이 비디오의 제1 블록에 대응하는 상기 칼라 비디오 내의 제1 영역을 결정하고, 상기 제1 영역의 적어도 일부를 포함하는 상기칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정하는 모션 벡터 차용부
    를 포함하는, 영상 처리 장치.
  8. 제7항에 있어서,
    상기 모션 벡터 차용부는,
    상기 제1 영역의 적어도 일부를 포함하는 상기 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제1 블록을 두 개 이상의 서브 블록으로 분할하고, 분할된 각각의 서브 블록에 대응하는 상기 칼라 비디오 내의 블록의 모션 벡터를 상기 각각의 서브 블록의 모션 벡터로 결정하는, 영상 처리 장치.
  9. 다시점 깊이 비디오를 부호화 하는 영상 처리 장치에 있어서,
    제1 시점의 깊이 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 모션 벡터 계산부;
    제2 시점의 깊이 비디오 내의 제1 블록에 대해, 상기 제1 시점과 상기 제2 시점 사이의 디스페러티 벡터를 계산하는 디스페러티 계산부; 및
    상기 디스페러티 벡터를 참고하여, 상기 제1 시점의 깊이 비디오 내의 복수 개의 블록 중 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정하는 모션 벡터 차용부
    를 포함하는, 영상 처리 장치.
  10. 다시점 칼라 및 깊이 비디오를 부호화 하는 영상 처리 방법에 있어서,
    제1 시점의 칼라 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 단계;
    제2 시점의 깊이 비디오를 참고하여, 상기 제2 시점의 칼라 비디오 내의 제1 블록에 대해, 상기 제1 시점과 상기 제2 시점 사이의 디스페러티 벡터를 계산하는 단계; 및
    상기 디스페러티 벡터를 참고하여, 상기 제1 시점의 칼라 비디오 내의 복수 개의 블록 중 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 차용하는 단계
    를 포함하는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 모션 벡터로 차용하는 단계는,
    상기 디스페러티 벡터를 상기 제1 블록에 적용하여 상기 제1 시점의 칼라 비디오 내의 제1 영역을 결정하는 단계; 및
    상기 제1 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 결정하는 단계
    를 포함하는, 영상 처리 방법.
  12. 제11항에 있어서,
    상기 모션 벡터로 차용하는 단계는,
    상기 제1 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제1 블록을 두 개 이상의 서브 블록으로 분할하는 단계; 및
    분할된 각각의 서브 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 블록의 모션 벡터를 상기 각각의 서브 블록의 모션 벡터로 차용하는 단계
    를 더 포함하는, 영상 처리 방법.
  13. 제10항에 있어서,
    상기 제1 시점의 깊이 비디오의 제2 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 제2 영역을 결정하는 단계; 및
    상기 제2 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제2 블록의 모션 벡터로 차용하는 단계
    를 더 포함하는, 영상 처리 방법.
  14. 제13항에 있어서,
    상기 제2 영역의 적어도 일부를 포함하는 상기 제1 시점의 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제2 블록을 두 개 이상의 서브 블록으로 분할하는 단계; 및
    분할된 각각의 서브 블록에 대응하는 상기 제1 시점의 칼라 비디오 내의 블록의 모션 벡터를 상기 각각의 서브 블록의 모션 벡터로 결정하는 단계
    를 더 포함하는, 영상 처리 방법.
  15. 칼라 및 깊이 비디오를 부호화 하는 영상 처리 방법에 있어서,
    칼라 비디오 내의 복수 개의 블록 각각의 모션 벡터를 계산하는 단계;
    깊이 비디오의 제1 블록에 대응하는 상기 칼라 비디오 내의 제1 영역을 결정하는 단계; 및
    상기 제1 영역의 적어도 일부를 포함하는 상기칼라 비디오 내의 적어도 하나의 블록의 모션 벡터를 상기 제1 블록의 모션 벡터로 차용하는 단계
    를 포함하는 영상 처리 방법.
  16. 제15항에 있어서,
    상기 제1 영역의 적어도 일부를 포함하는 상기 칼라 비디오 내의 블록이 두 개 이상인 경우, 상기 제1 블록을 두 개 이상의 서브 블록으로 분할하는 단계; 및
    상기 분할된 각각의 서브 블록에 대응하는 상기 칼라 비디오 내의 블록의 모션 벡터를 상기 분할된 각각의 서브 블록의 모션 벡터로 결정하는 단계
    를 더 포함하는, 영상 처리 방법.
  17. 제10항 내지 제16항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100017842A 2010-02-26 2010-02-26 영상 처리 장치 및 방법 KR101628383B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100017842A KR101628383B1 (ko) 2010-02-26 2010-02-26 영상 처리 장치 및 방법
US12/929,413 US9225967B2 (en) 2010-02-26 2011-01-21 Multi-view image processing apparatus, method and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100017842A KR101628383B1 (ko) 2010-02-26 2010-02-26 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110098290A true KR20110098290A (ko) 2011-09-01
KR101628383B1 KR101628383B1 (ko) 2016-06-21

Family

ID=44505251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100017842A KR101628383B1 (ko) 2010-02-26 2010-02-26 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9225967B2 (ko)
KR (1) KR101628383B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013067235A1 (en) * 2011-11-02 2013-05-10 Microsoft Corporation Surface segmentation from rgb and depth images
WO2014065547A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 영상의 뷰간(inter-view) 움직임 벡터 예측에서의 변이 벡터 유도 방법
WO2014109547A1 (ko) * 2013-01-08 2014-07-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2015005754A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 뷰 합성 예측을 이용한 인터 레이어 비디오 복호화 방법 및 그 장치 뷰 합성 예측을 이용한 인터 레이어 비디오 부호화 방법 및 장치
WO2015009091A1 (ko) * 2013-07-18 2015-01-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20150010631A (ko) * 2013-07-18 2015-01-28 경희대학교 산학협력단 변이 벡터 예측 방법 및 장치
US9347714B2 (en) 2010-11-17 2016-05-24 Lg Hausys, Ltd. Battery assembly having a heat-dissipating and heat-emitting functions
KR101863626B1 (ko) * 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430549B (zh) * 2011-03-18 2017-05-10 索尼公司 图像处理装置和图像处理方法
WO2012128242A1 (ja) * 2011-03-18 2012-09-27 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JPWO2012147621A1 (ja) * 2011-04-28 2014-07-28 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
CN103907346B (zh) * 2011-10-11 2017-05-24 联发科技股份有限公司 运动矢量预测子及视差矢量导出方法及其装置
EP2833634A4 (en) * 2012-03-30 2015-11-04 Sony Corp IMAGE PROCESSING DEVICE AND METHOD, AND RECORDING MEDIUM
WO2014000664A1 (en) * 2012-06-28 2014-01-03 Mediatek Inc. Method and apparatus of disparity vector derivation in 3d video coding
CN105308970B (zh) * 2013-04-05 2018-11-23 三星电子株式会社 针对整数像素的位置对视频进行编码和解码的方法和设备
CN105612748B (zh) * 2013-10-17 2019-04-02 日本电信电话株式会社 活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序
FR3114716A1 (fr) * 2020-09-29 2022-04-01 Orange Codage et décodage d’une vidéo multi-vues

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036800A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20090053820A (ko) * 2006-09-20 2009-05-27 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
WO2009131688A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Inter-view skip modes with depth

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
JPH10191394A (ja) 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
JP4355914B2 (ja) 2003-10-01 2009-11-04 日本電気株式会社 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US8369406B2 (en) 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
JP2007166381A (ja) 2005-12-15 2007-06-28 Univ Of Tokyo 多視点画像の圧縮符号化方法及び復号化方法
JP2007180981A (ja) 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
TW200806040A (en) 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR20070083168A (ko) 2006-02-20 2007-08-23 광운대학교 산학협력단 마크로 블록 기반 가중치 예측 기반 멀티 뷰 비디오 부호화및 복호화 장치 및 그 방법
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US8385628B2 (en) 2006-09-20 2013-02-26 Nippon Telegraph And Telephone Corporation Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TW200843510A (en) 2007-01-17 2008-11-01 Lg Electronics Inc Method and apparatus for processing a video signal
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
KR101360279B1 (ko) 2007-06-28 2014-02-13 광주과학기술원 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
JP4944046B2 (ja) 2008-01-07 2012-05-30 日本電信電話株式会社 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
KR100980780B1 (ko) 2008-06-16 2010-09-10 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8761491B2 (en) * 2009-02-06 2014-06-24 Himax Technologies Limited Stereo-matching processor using belief propagation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036800A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20090053820A (ko) * 2006-09-20 2009-05-27 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
WO2009131688A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Inter-view skip modes with depth

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9748618B2 (en) 2010-11-17 2017-08-29 Lg Hausys, Ltd. Battery assembly having a heat-dissipating and heat-emitting functions
US9347714B2 (en) 2010-11-17 2016-05-24 Lg Hausys, Ltd. Battery assembly having a heat-dissipating and heat-emitting functions
WO2013067235A1 (en) * 2011-11-02 2013-05-10 Microsoft Corporation Surface segmentation from rgb and depth images
KR101863626B1 (ko) * 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
WO2014065547A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 영상의 뷰간(inter-view) 움직임 벡터 예측에서의 변이 벡터 유도 방법
CN104969556A (zh) * 2013-01-08 2015-10-07 Lg电子株式会社 处理视频信号的方法和设备
AU2014205860B2 (en) * 2013-01-08 2016-06-16 Lg Electronics Inc. Method and apparatus for processing video signal
WO2014109547A1 (ko) * 2013-01-08 2014-07-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10123007B2 (en) 2013-01-08 2018-11-06 Lg Electronics Inc. Method and apparatus for processing video signal
WO2015005754A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 뷰 합성 예측을 이용한 인터 레이어 비디오 복호화 방법 및 그 장치 뷰 합성 예측을 이용한 인터 레이어 비디오 부호화 방법 및 장치
US10356430B2 (en) 2013-07-12 2019-07-16 Samsung Electronics Co., Ltd. Interlayer video decoding method and apparatus using view synthesis prediction and interlayer video encoding method and apparatus using view synthesis prediction
KR20150010631A (ko) * 2013-07-18 2015-01-28 경희대학교 산학협력단 변이 벡터 예측 방법 및 장치
WO2015009091A1 (ko) * 2013-07-18 2015-01-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
US20110211638A1 (en) 2011-09-01
US9225967B2 (en) 2015-12-29
KR101628383B1 (ko) 2016-06-21

Similar Documents

Publication Publication Date Title
KR20110098290A (ko) 영상 처리 장치 및 방법
US8768086B2 (en) Apparatus and method for depth-image encoding with rate-distortion optimization
KR101676830B1 (ko) 영상 처리 장치 및 방법
JP4414379B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
KR20100040593A (ko) 영상처리 장치 및 방법
JP2015533038A5 (ko)
KR102250821B1 (ko) 디스플레이 장치 및 디스플레이 장치 동작 방법
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2008509592A (ja) 多視点映像のダイレクトモードの動き予測方法及び装置
US8750600B2 (en) Apparatus and method for generating three-dimensional (3D) zoom image of stereo camera
KR20120084629A (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
US20130335526A1 (en) Multi-view video encoding/decoding apparatus and method
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
JP5307896B2 (ja) ステレオ画像符号化方法、ステレオ画像符号化装置及びステレオ画像符号化プログラム
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
WO2014048242A1 (zh) 预测图像生成方法和装置
JP2012114910A (ja) 遮蔽レイヤの拡張
US11240512B2 (en) Intra-prediction for video coding using perspective information
Kurc et al. Depth map inter-view consistency refinement for multiview video
CN103108183B (zh) 一种三维视频中Skip和Direct模式运动矢量的预测方法
US8879872B2 (en) Method and apparatus for restoring resolution of multi-view image
KR20120059955A (ko) 중간 시점 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190620

Year of fee payment: 4