KR20160147448A - 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법 - Google Patents

컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법 Download PDF

Info

Publication number
KR20160147448A
KR20160147448A KR1020150084214A KR20150084214A KR20160147448A KR 20160147448 A KR20160147448 A KR 20160147448A KR 1020150084214 A KR1020150084214 A KR 1020150084214A KR 20150084214 A KR20150084214 A KR 20150084214A KR 20160147448 A KR20160147448 A KR 20160147448A
Authority
KR
South Korea
Prior art keywords
depth
block
color image
depth image
information
Prior art date
Application number
KR1020150084214A
Other languages
English (en)
Inventor
임한신
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150084214A priority Critical patent/KR20160147448A/ko
Priority to US14/926,256 priority patent/US10091485B2/en
Publication of KR20160147448A publication Critical patent/KR20160147448A/ko

Links

Images

Classifications

    • H04N13/0048—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • H04N13/0022—
    • H04N13/0037—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이영상 복원 방법이 개시된다. 본 발명의 일 면에 따른 컬러 영상정보를 이용한 깊이영상 부호화 방법은, 컬러영상과 상기 컬러영상에 대응되는 깊이영상을 블록단위로 분할하는 단계; 상기 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 화소 표본 값의 위치를 선택하는 단계; 및 상기 선택된 위치의 화소 표본 값을 깊이정보로 부호화하는 단계를 포함한다. 또한, 본 발명의 다른 면에 따른 컬러 영상정보를 이용한 깊이영상 복원 방법은, 전술한 부호화 방법에 의해 부호화된 깊이정보를 이용하여 깊이영상을 복원하는 방법에 있어서, 부호화된 깊이영상을 복호화하여 각 블록 별로 화소 표본 값을 깊이정보로 복원하는 단계; 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 복원된 화소 표본 값의 위치를 선택하는 단계; 및 상기 복원된 각 블록 별 화소 표본 값의 위치를 이용하여 깊이영상을 복원하는 단계를 포함한다.

Description

컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법{DEPTH MAP CODING METHOD USING COLOR-MESH-BASED SAMPLING AND DEPTH MAP RECONSTRUCTION METHOD USING THE COLOR AND MESH INFORMATION}
본 발명은 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이영상 복원 방법에 관한 것으로서, 보다 상세하게는 컬러 영상정보를 이용하여 깊이영상에서 표본 값을 선택 및 부호화하는 방법과, 컬러 영상정보를 이용하여 메쉬 기반의 깊이영상을 복원하는 방법에 관한 것이다.
최근 들어 이러한 삼차원 비디오를 표현하는 방법으로 깊이영상 기반 렌더링(DIBR; Depth Image-Based Rendering)이 각광을 받고 있다. 깊이영상 기반 렌더링은 관련된 각 화소마다 깊이나 차이각 등의 정보를 가진 참조 영상들을 이용하여 다른 시점에서의 장면들을 창출하는 방법을 말한다. 이러한 깊이영상 기반 렌더링은 삼차원 모델로 표현하기 어렵고 복잡한 형상을 용이하게 렌더링할 뿐만 아니라, 일반적인 영상 필터링(Filtering)과 같은 신호처리 방법의 적용을 가능하게 하며, 고품질의 삼차원 비디오를 생산할 수 있게 하는 장점을 가지고 있다.
이러한 깊이영상 기반 렌더링은 상기한 바의 실현을 위해 깊이 카메라(Depth Camera) 및 멀티뷰 카메라(Multi-view Camera)를 통하여 획득되는 깊이영상(Depth Image(or Depth Map))과 텍스처 영상(Texture Image(or Color Image))을 이용한다. 여기에서 특히, 깊이영상은 삼차원 모델을 보다 실감있게 표현하는 데에 사용된다(즉, 보다 입체감 있는 삼차원 비디오의 생성을 위해 사용된다).
깊이영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상으로 정의할 수 있다. 이러한 깊이영상은 깊이정보와 카메라 파라미터를 통하여 3차원 복원기술 또는 3차원 워핑(Three-dimensional warphing)기술에 많이 이용된다.
이외에도, 깊이영상은 다양한 분야에 응용되는데, 그 대표적인 예가 자유시점 TV와 3차원 TV이다. 자유시점 TV는 정해진 하나의 시점에서만 영상을 감상하지 않고 사용자의 선택에 따라 임의의 시점에서 영상을 시청할 수 있게 하는 TV를 말한다. 자유시점 TV의 이러한 특징은 여러 대의 카메라를 이용하여 촬영한 다시점 영상들과 그 영상에 부합하는 다시점 깊이영상들을 참작하여 임의의 시점에서의 영상의 창작을 가능하게 한다. 한편, 3차원 TV는 기존 2차원 TV에 깊이영상을 더하여 실감영상을 구현하는 특징이 있으며, 최근 활발하게 연구개발이 이루어지고 있다.
또한, 기존의 메쉬 기반의 깊이영상 부호화 및 복원방법은 컬러정보 또는 깊이영상 상에서 주로 고주파 성분이 많은 부분을 표준 값의 위치로 선택하였다. 하지만, 부호화 기법들이 주로 고주파 성분의 제거 또는 감소를 수행하므로, 효율적인 표본 값의 부호화 및 복원이 이루어지지 않는 경향이 있었다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 깊이영상을 블록단위로 분할하고, 각 블록에서 컬러 영상정보를 이용하여 표본 값을 선택 및 부호화하는 방법과, 컬러 영상정보를 이용하여 메쉬 기반의 깊이영상을 복원하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 컬러 영상정보를 이용한 깊이영상 부호화 방법은, 컬러영상과 상기 컬러영상에 대응되는 깊이영상을 블록단위로 분할하는 단계; 상기 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 화소 표본 값의 위치를 선택하는 단계; 및 상기 선택된 위치의 화소 표본 값을 깊이정보로 부호화하는 단계를 포함한다.
상기 분할하는 단계는, 높이 n 픽셀, 너비 n 픽셀을 가지는 블록단위로 상기 컬러영상 및 상기 깊이영상을 분할하는 단계를 포함하되, 상기 n 은 2의 배수인 것을 특징으로 한다.
상기 선택하는 단계는, 상기 깊이영상의 각 블록에 대응되는 상기 컬러영상의 각 블록을 주파수 변환하는 단계와, 주파수 변환된 상기 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치를 각 블록의 화소 표본 값의 위치로 선택하는 단계를 포함한다.
상기 부호화하는 단계는, 상기 깊이영상을 높이 n픽셀, 너비 n픽셀 단위로 다운 샘플링하는 단계와, 다운 샘플링된 깊이영상의 화소 표본 값을 깊이정보로 부호화하는 단계를 포함한다.
또한, 본 발명의 다른 면에 따른 컬러 영상정보를 이용한 깊이영상 복원 방법은, 전술한 부호화 방법에 의해 부호화된 깊이정보를 이용하여 깊이영상을 복원하는 방법에 있어서, 부호화된 깊이영상을 복호화하여 각 블록 별로 화소 표본 값을 깊이정보로 복원하는 단계; 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 복원된 화소 표본 값의 위치를 선택하는 단계; 및 상기 복원된 각 블록 별 화소 표본 값의 위치를 이용하여 깊이영상을 복원하는 단계를 포함한다.
상기 선택하는 단계는, 깊이영상의 각 블록에 대응되는 컬러영상의 각 블록을 주파수 변환하는 단계와, 주파수 변환된 상기 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치를 각 블록의 복원된 화소 표본 값의 위치로 선택하는 단계를 포함한다.
상기 복원하는 단계는, 상기 복원된 화소 표본 값의 위치를 연결점으로 하여 깊이영상에서 메쉬를 생성하는 단계와, 각 블록에서 컬러 영상정보를 이용하여 메쉬 내부의 깊이 값을 결정하는 단계를 포함한다.
또한, 본 발명의 다른 면에 따른 컬러 영상정보를 이용한 깊이영상 부호화 장치는, 컬러영상과 상기 컬러영상에 대응되는 깊이영상을 블록단위로 분할하는 블록 분할부; 상기 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 화소 표본 값의 위치를 선택하는 화소 표본 값 위치 선택부; 및 상기 선택된 위치의 화소 표본 값을 깊이정보로 부호화하는 부호화부를 포함한다.
상기 블록 분할부는, 높이 n 픽셀, 너비 n 픽셀을 가지는 블록단위로 상기 컬러영상 및 상기 깊이영상을 분할하되, 상기 n은 2의 배수인 것을 특징으로 한다.
상기 화소 표본 값 위치 선택부는, 상기 깊이영상의 각 블록에 대응되는 상기 컬러영상의 각 블록을 주파수 변환하고, 주파수 변환된 상기 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치를 각 블록의 화소 표본 값의 위치로 선택한다.
상기 부호화부는, 상기 깊이영상을 높이 n픽셀, 너비 n픽셀 단위로 다운 샘플링하고, 다운 샘플링된 깊이영상의 화소 표본 값을 깊이정보로 부호화한다.
또한, 본 발명의 다른 면에 따른 컬러 영상정보를 이용한 깊이영상 복원 장치는, 전술한 부호화 장치에서 부호화된 깊이영상을 복호화하여 각 블록 별로 화소 표본 값을 깊이정보로 복원하는 복호화부; 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 복원된 화소 표본 값의 위치를 선택하는 화소 표본 값 위치 선택부; 및 상기 복원된 각 블록 별 화소 표본 값의 위치를 이용하여 깊이영상을 복원하는 깊이영상 복원부를 포함한다.
상기 화소 표본 값 위치 선택부는, 깊이영상의 각 블록에 대응되는 컬러영상의 각 블록을 주파수 변환하고, 주파수 변환된 상기 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치를 각 블록의 복원된 화소 표본 값의 위치로 선택한다.
상기 깊이영상 복원부는, 상기 복원된 화소 표본 값의 위치를 연결점으로 하여 깊이영상에서 메쉬를 생성하고, 각 블록에서 컬러 영상정보를 이용하여 메쉬 내부의 깊이 값을 결정한다.
이상 상술한 바와 같은 본 발명에 따르면, 컬러 영상정보를 이용하여 선택된 표본 값이 컬러영상의 DC 성분과의 차가 최소가 되는 픽셀의 위치를 선택하므로 컬러영상에서의 컬러일관성과 깊이영상에서의 깊이일관성이 상당히 일치한다는 장점을 이용할 수 있다.
따라서, 깊이영상의 부호화 및 복원과정에서 기존의 특징점들에 비해 손실이 적은 경향을 가지고 보다 노이즈에 강인할 수 있다.
또한 컬러 영상정보를 이용하는 메쉬 기반의 깊이지도 생성방법은 깊이 불일치 영역의 표현이 기존 방법보다 더욱 정확하기 때문에 깊이 불일치 영역의 복원도 더욱 정확하게 할 수 있다.
도 1은 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 부호화 방법의 흐름도.
도 2는 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상에서 화소 표본 값의 위치를 선택하는 과정을 설명하기 위한 개념도.
도 3은 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 복원 방법의 흐름도.
도 4는 본 발명의 실시예에 따른 컬러 영상정보를 이용한 메쉬 기반의 깊이영상을 복원하는 과정을 설명하기 위한 개념도.
도 5는 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 부호화 장치의 블록 구성도.
도 6은 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 복원 장치의 블록 구성도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 부호화 방법의 흐름도이다.
먼저, 컬러영상과 상기 컬러영상에 대응되는 깊이영상을 블록단위로 분할하고, 상기 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 화소 표본 값의 위치를 선택한다(S110).
도 2에는 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상에서 화소 표본 값의 위치를 선택하는 과정이 예시적으로 도시된다.
도 2를 참조하면, 컬러영상(100) 및 깊이영상(200)은 높이 n 픽셀, 너비 n 픽셀을 가지는 블록단위(110, 210)로 분할된다. 여기서, 상기 n은 2의 배수인 것이 바람직하지만, 본 발명의 실시예는 이에 한정되는 것은 아니다.
깊이영상(200)의 각 블록(210)의 화소 표본 값의 위치 X=(x,y)(220)는 깊이영상의 각 블록과 대응되는 컬러영상(100)의 각 블록(110)의 컬러 영상정보에 기반하여 결정된다. 예컨대, 깊이영상(200)의 각 블록(210)에 대응되는 컬러영상(100)의 각 블록(110)은 주파수 변환되고, 주파수 변환 결과 생성되는 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치가 각 블록의 화소 표본 값의 위치(220)로 선택된다.
이어, 깊이영상(200)은 높이 n픽셀, 너비 n픽셀 단위로 다운 샘플링되고(S120), 도 2에서 선택된 화소 표본 값의 위치(220)는 다운 샘플링된 깊이영상(210')에서 X=([x/n], [y/n])(220')로 변환된다. 여기서, [a]는 a를 넘지 않는 최대 정수 값을 의미한다.
이어, 다운 샘플링된 깊이영상(210')은 화소 표본 값의 위치(220')에 해당하는 화소 표본 값을 깊이정보로 하여 부호화된다(S130).
깊이영상의 부호화로는 Advanced Video Coding(AVC)-기반 3차원 비디오 부호화(3D-AVC) 기법, High Efficiency Video Coding(HEVC)-기반 3차원 비디오 부호화(3D-HEVC) 기법 등이 사용될 수 있다. 이하에서는 깊이영상의 부호화에 사용될 수 있는 각 부호화 기법들에 대해 간략하게 살펴보기로 한다. 아래 기재되는 부호화 기법들은 하나의 예시에 불과하며, 본 발명의 실시예에서는 다양한 종류의 깊이영상 부호화 기법들이 사용될 수 있다.
AVC -기반 3차원 비디오 부호화 (3D- AVC )
3D-AVC는 깊이영상을 부호화할 때, 다운 샘플링된 깊이영상을 이용한다. 색상영상에 비해 상대적으로 단순한 깊이영상은 정확한 부호화 중요도가 떨어지기 때문에 이를 저해상도에서 부호화하여 비트율을 줄인다.
3D-AVC에서 색상영상의 부호화를 위한 기술로는 깊이정보 기반 움직임 벡터 예측(depth-based motion vector prediction, DMVP), 적응적 밝기 보상(adaptive luminance compensation, ALC) 등이 있다. 깊이정보 기반 움직임 벡터 예측은 같은 시점에서 먼저 부호화된 깊이영상의 움직임 정보를 이용해 색상영상에서의 움직임을 예측하는 것이다. 적응적 밝기 보상은 시점 차이 때문에 발생하는 색상정보 오차를 줄이기 위해 사용된다.
깊이영상의 부호화를 위한 기술로는 시점간 깊이 필터링(in-loop joint inter-view depth filtering, JVDF), 색상-깊이 움직임 예측(motion prediction from texture to depth) 등이 있다. 시점간 깊이 필터링은 시점간 존재하는 깊이정보의 불규칙함을 보상한다. 색상-깊이 움직임 예측은 기준 시점에서 먼저 부호화한 색상영상의 정보를 이용하여 깊이영상에서의 움직임 예측에 사용하는 것이다
HEVC -기반 3차원 비디오 부호화(3D- HEVC )
3D-HEVC의 깊이영상 부호화를 위한 기술로는 깊이 모델링 모드(depth modeling modes, DMM), 깊이 쿼드트리 예측(depth quadtree prediction) 등이 있다. 깊이 모델링 모드는 기존 인트라 예측 모드에 추가하여 깊이영상에서의 영역간 경계를 정확히 부호화한다. 깊이 쿼드트리 예측은 깊이영상은 색상영상보다 단순함을 고려하여 깊이영상의 쿼드트리를 색상영상의 쿼드트리보다 제한시키는 것이다.
도 3은 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 복원 방법의 흐름도이다.
먼저, 도 1 및 도 2에서 전술한 부호화 방법에 의해 부호화된 깊이영상을 복호화하여 깊이영상의 각 블록 별 화소 표본 값을 깊이정보로서 복원한다(S310).
이어, 상기 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 화소 표본 값의 위치를 복원한다(S320).
이어, 상기 복원된 깊이영상의 각 블록 별 화소 표본 값의 위치를 이용하여 깊이영상을 복원한다.
도 4에는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 컬러 영상정보를 이용한 메쉬 기반의 깊이영상을 복원하는 과정이 예시적으로 도시된다.
도 4를 참조하면, 복호화 과정을 거쳐 복원된 다운 샘플링된 깊이영상(210’’)에서 화소 표본 값의 위치(220’’)는 복원될 깊이영상에서 컬러영상의 각 블록의 컬러 영상정보에 기반하여 결정된다. 예컨대, 복원될 깊이영상의 각 블록에 대응되는 컬러영상의 각 블록은 주파수 변환되고, 주파수 변환 결과 생성되는 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치가 각 블록의 화소 표본 값의 위치로 선택된다.
이에 따라, 복원될 깊이영상의 각 블록 별로 화소 표본 값의 위치는 결정되고, 각 블록 별 화소 표본 값의 위치를 연결점으로 하는 메쉬(mesh, 310)가 생성된다(S330).
이어, 생성된 메쉬(310)와 컬러 영상정보를 이용하여 메쉬(310) 내부의 깊이 값이 결정된다(S340).
예컨대, 컬러 영상정보를 이용한 메쉬 내부의 깊이 값 할당은 각각의 메쉬 내부의 각각의 픽셀에 대해서 색상 일관성 측면에서 가장 적당한 깊이 값이 할당된다. 이하에서는 본 발명의 실시예에 따른 깊이 값 할당의 과정을 간략하게 살펴보기로 한다. 아래 기재되는 깊이 값 할당 방법은 하나의 예시에 불과하며, 본 발명의 실시예에서는 다양한 종류의 깊이 값 할당 기법들이 사용될 수 있다.
제1 단계 - 메쉬를 생성한 후, 메쉬의 각각의 모서리(Edge) 사이에 깊이 불일치 구간이 있는지 여부를 확인한다.
제2 단계 - 특징점의 특성상 상당 수의 노드들이 깊이 불일치 구간 상에 있을 수 있으므로 깊이 불일치의 여부에 따라 각각의 노드의 대표 컬러 블록을 선택한다.
제3 단계 - 메쉬 내부의 각각의 픽셀을 중심으로 하는 블록과 제2 단계에서 선택된 노드들의 대표 컬러 블록 간의 유사성을 비교하고, 가장 유사한 대표 컬러 블록을 선별한다.
제4 단계 - 각각의 픽셀(x, y)의 깊이 값(dx ,y)을 가장 유사한 대표 컬러 블록을 가지고 있는 노드 ak의 깊이 값으로부터 아래의 수학식 1을 이용하여 계산한다.
[수학식 1]
dx ,y = pkx+qky+rk
여기서, (pk, qk, rk)는 선형근사(linear fitting)에 의해 얻어지는 평면계수들이다.
본 발명에 따르면, 컬러 영상정보를 이용하여 선택된 표본 값이 컬러영상의 DC 성분과의 차가 최소가 되는 픽셀의 위치를 선택하므로 컬러영상에서의 컬러일관성과 깊이영상에서의 깊이일관성이 상당히 일치한다는 장점을 이용할 수 있다.
따라서, 깊이영상의 부호화 및 복원과정에서 기존의 특징점들에 비해 손실이 적은 경향을 가지고 보다 노이즈에 강인할 수 있다.
또한 컬러 영상정보를 이용하는 메쉬 기반의 깊이지도 생성방법은 깊이 불일치 영역의 표현이 기존 방법보다 더욱 정확하기 때문에 깊이 불일치 영역의 복원도 더욱 정확하게 할 수 있다.
이하에서는 도 5 및 도 6을 참조하여 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 부호화 장치 및 복원 장치에 대해 설명한다.
도 5는 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 부호화 장치의 블록 구성도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 부호화 장치는 블록 분할부(10), 화소 표본 값 위치 선택부(20), 부호화부(30)를 포함하여 이루어진다.
상기 블록 분할부(10)는 컬러영상과 상기 컬러영상에 대응되는 깊이영상을 블록단위로 분할한다.
예컨대, 상기 블록 분할부(10)는 컬러영상 및 깊이영상을 높이 n 픽셀, 너비 n 픽셀을 가지는 블록단위로 분할한다. 여기서, 상기 n은 2의 배수인 것이 바람직하지만, 본 발명의 실시예는 이에 한정되는 것은 아니다.
상기 화소 표본 값 위치 선택부(20)는 상기 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 화소 표본 값의 위치를 선택한다.
상기 화소 표본 값 위치 선택부(20)는 깊이영상의 각 블록의 화소 표본 값의 위치 X=(x,y)를 깊이영상의 각 블록과 대응되는 컬러영상의 각 블록의 컬러 영상정보에 기반하여 결정한다.
예컨대, 깊이영상의 각 블록에 대응되는 컬러영상의 각 블록은 주파수 변환되고, 주파수 변환 결과 생성되는 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치가 각 블록의 화소 표본 값의 위치로 선택된다.
부호화부(30)는 상기 선택된 위치의 화소 표본 값을 깊이정보로 부호화한다.
깊이영상의 부호화로는 Advanced Video Coding(AVC)-기반 3차원 비디오 부호화(3D-AVC) 기법, High Efficiency Video Coding(HEVC)-기반 3차원 비디오 부호화(3D-HEVC) 기법 등이 사용될 수 있다. 전술한 부호화 기법들은 하나의 예시에 불과하며, 본 발명의 실시예에서는 다양한 종류의 깊이영상 부호화 기법들이 사용될 수 있다.
도 6은 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 복원 장치의 블록 구성도이다.
도 6을 참조하면, 본 발명의 실시예에 따른 컬러 영상정보를 이용한 깊이영상 복원 장치는 복호화부(100), 화소 표본 값 위치 선택부(200), 깊이영상 복원부(300)를 포함하여 이루어진다.
상기 복호화부(100)는 도 5를 참조하여 설명한 부호화 장치에서 부호화된 깊이영상을 복호화하여 각 블록 별로 화소 표본 값을 깊이정보로 복원한다.
상기 화소 표본 값 위치 선택부(200)는 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 복원된 화소 표본 값의 위치를 선택한다.
상기 화소 표본 값 위치 선택부(200)는 상기 복호화부(100)에서 복호화 과정을 거쳐 복원된 다운 샘플링된 깊이영상에서 화소 표본 값의 위치를 복원될 깊이영상에서 컬러영상의 각 블록의 컬러 영상정보에 기반하여 결정한다.
예컨대, 복원될 깊이영상의 각 블록에 대응되는 컬러영상의 각 블록은 주파수 변환되고, 주파수 변환 결과 생성되는 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치가 각 블록의 화소 표본 값의 위치로 선택된다.
상기 깊이영상 복원부(300)는 상기 화소 표본 값 위치 선택부(200)에서 복원된 각 블록 별 화소 표본 값의 위치를 이용하여 깊이영상을 복원한다.
예컨대, 상기 깊이영상 복원부(300)는 복원될 깊이영상의 각 블록 별로 화소 표본 값의 위치는 결정되면, 각 블록 별 화소 표본 값의 위치를 연결점으로 하는 메쉬(mesh)를 생성한다.
이어, 상기 깊이영상 복원부(300)는 생성된 메쉬와 컬러 영상정보를 이용하여 메쉬 내부의 깊이 값을 결정한다.
예컨대, 상기 깊이영상 복원부(300)는 컬러 영상정보에 기반하여 각각의 메쉬 내부의 각각의 픽셀에 대해서 색상 일관성 측면에서 가장 적당한 깊이 값을 할당한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 컬러영상과 상기 컬러영상에 대응되는 깊이영상을 블록단위로 분할하는 단계;
    상기 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 화소 표본 값의 위치를 선택하는 단계; 및
    상기 선택된 위치의 화소 표본 값을 깊이정보로 부호화하는 단계
    를 포함하는 컬러 영상정보를 이용한 깊이영상 부호화 방법.
  2. 제1항에 있어서, 상기 분할하는 단계는,
    높이 n 픽셀, 너비 n 픽셀을 가지는 블록단위로 상기 컬러영상 및 상기 깊이영상을 분할하는 단계를 포함하되, 상기 n은 2의 배수인 것을 특징으로 하는 것
    인 컬러 영상정보를 이용한 깊이영상 부호화 방법.
  3. 제1항에 있어서, 상기 선택하는 단계는,
    상기 깊이영상의 각 블록에 대응되는 상기 컬러영상의 각 블록을 주파수 변환하는 단계와,
    주파수 변환된 상기 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치를 각 블록의 화소 표본 값의 위치로 선택하는 단계를 포함하는 것
    인 컬러 영상정보를 이용한 깊이영상 부호화 방법.
  4. 제1항에 있어서, 상기 부호화하는 단계는,
    상기 깊이영상을 높이 n픽셀, 너비 n픽셀 단위로 다운 샘플링하는 단계와,
    다운 샘플링된 깊이영상의 화소 표본 값을 깊이정보로 부호화하는 단계를 포함하는 것
    인 컬러 영상정보를 이용한 깊이영상 부호화 방법.
  5. 청구항 제1항에 따른 방법에 의해 부호화된 깊이정보를 이용하여 깊이영상을 복원하는 방법에 있어서,
    부호화된 깊이영상을 복호화하여 각 블록 별로 화소 표본 값을 깊이정보로 복원하는 단계;
    깊이영상의 각 블록에서 컬러 영상정보를 이용하여 복원된 화소 표본 값의 위치를 선택하는 단계; 및
    상기 복원된 각 블록 별 화소 표본 값의 위치를 이용하여 깊이영상을 복원하는 단계
    를 포함하는 컬러 영상정보를 이용한 깊이영상 복원 방법.
  6. 제5항에 있어서, 상기 선택하는 단계는,
    깊이영상의 각 블록에 대응되는 컬러영상의 각 블록을 주파수 변환하는 단계와,
    주파수 변환된 상기 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치를 각 블록의 복원된 화소 표본 값의 위치로 선택하는 단계를 포함하는 것
    인 컬러 영상정보를 이용한 깊이영상 복원 방법.
  7. 제5항에 있어서, 상기 복원하는 단계는,
    상기 복원된 화소 표본 값의 위치를 연결점으로 하여 깊이영상에서 메쉬를 생성하는 단계와,
    각 블록에서 컬러 영상정보를 이용하여 메쉬 내부의 깊이 값을 결정하는 단계를 포함하는 것
    인 컬러 영상정보를 이용한 깊이영상 복원 방법.

  8. 컬러영상과 상기 컬러영상에 대응되는 깊이영상을 블록단위로 분할하는 블록 분할부;
    상기 깊이영상의 각 블록에서 컬러 영상정보를 이용하여 화소 표본 값의 위치를 선택하는 화소 표본 값 위치 선택부; 및
    상기 선택된 위치의 화소 표본 값을 깊이정보로 부호화하는 부호화부
    를 포함하는 컬러 영상정보를 이용한 깊이영상 부호화 장치.
  9. 제8항에 있어서, 상기 블록 분할부는,
    높이 n 픽셀, 너비 n 픽셀을 가지는 블록단위로 상기 컬러영상 및 상기 깊이영상을 분할하되, 상기 n은 2의 배수인 것을 특징으로 하는 것
    인 컬러 영상정보를 이용한 깊이영상 부호화 장치.
  10. 제8항에 있어서, 상기 화소 표본 값 위치 선택부는,
    상기 깊이영상의 각 블록에 대응되는 상기 컬러영상의 각 블록을 주파수 변환하고, 주파수 변환된 상기 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치를 각 블록의 화소 표본 값의 위치로 선택하는 것
    인 컬러 영상정보를 이용한 깊이영상 부호화 장치.
  11. 제8항에 있어서, 상기 부호화부는,
    상기 깊이영상을 높이 n픽셀, 너비 n픽셀 단위로 다운 샘플링하고, 다운 샘플링된 깊이영상의 화소 표본 값을 깊이정보로 부호화하는 것
    인 컬러 영상정보를 이용한 깊이영상 부호화 장치.
  12. 청구항 제8항에 따른 부호화 장치에서 부호화된 깊이영상을 복호화하여 각 블록 별로 화소 표본 값을 깊이정보로 복원하는 복호화부;
    깊이영상의 각 블록에서 컬러 영상정보를 이용하여 복원된 화소 표본 값의 위치를 선택하는 화소 표본 값 위치 선택부; 및
    상기 복원된 각 블록 별 화소 표본 값의 위치를 이용하여 깊이영상을 복원하는 깊이영상 복원부
    를 포함하는 컬러 영상정보를 이용한 깊이영상 복원 장치.
  13. 제12항에 있어서, 상기 화소 표본 값 위치 선택부는,
    깊이영상의 각 블록에 대응되는 컬러영상의 각 블록을 주파수 변환하고, 주파수 변환된 상기 컬러영상의 각 블록의 DC 계수와 차의 절대 값이 최소가 되는 화소 값을 갖는 픽셀의 위치를 각 블록의 복원된 화소 표본 값의 위치로 선택하는 것
    인 컬러 영상정보를 이용한 깊이영상 복원 장치.
  14. 제12항에 있어서, 상기 깊이영상 복원부는,
    상기 복원된 화소 표본 값의 위치를 연결점으로 하여 깊이영상에서 메쉬를 생성하고, 각 블록에서 컬러 영상정보를 이용하여 메쉬 내부의 깊이 값을 결정하는 것
    인 컬러 영상정보를 이용한 깊이영상 복원 장치.
KR1020150084214A 2015-06-15 2015-06-15 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법 KR20160147448A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150084214A KR20160147448A (ko) 2015-06-15 2015-06-15 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법
US14/926,256 US10091485B2 (en) 2015-06-15 2015-10-29 Method for encoding and reconstructing depth image using color image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150084214A KR20160147448A (ko) 2015-06-15 2015-06-15 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법

Publications (1)

Publication Number Publication Date
KR20160147448A true KR20160147448A (ko) 2016-12-23

Family

ID=57517441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150084214A KR20160147448A (ko) 2015-06-15 2015-06-15 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법

Country Status (2)

Country Link
US (1) US10091485B2 (ko)
KR (1) KR20160147448A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102199458B1 (ko) * 2017-11-24 2021-01-06 한국전자통신연구원 3차원 컬러 메쉬 복원 방법 및 장치
CN109086659B (zh) * 2018-06-13 2023-01-31 深圳市感动智能科技有限公司 一种基于多模道特征融合的人体行为识别方法和装置
CN117197004B (zh) * 2023-11-08 2024-01-26 广东鸿威国际会展集团有限公司 一种低光照图像优化增强方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918862B1 (ko) 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
WO2012090181A1 (en) * 2010-12-29 2012-07-05 Nokia Corporation Depth map coding
BR112014003165A2 (pt) 2011-08-09 2017-03-01 Samsung Electronics Co Ltd método para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, aparelho para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, método para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, e aparelho para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações
CN104838658B (zh) * 2012-12-14 2018-07-20 高通股份有限公司 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测
KR20140096532A (ko) 2013-01-28 2014-08-06 한국전자통신연구원 디지털 홀로그램 생성 장치 및 그 방법
US9355468B2 (en) * 2013-09-27 2016-05-31 Nvidia Corporation System, method, and computer program product for joint color and depth encoding

Also Published As

Publication number Publication date
US20160366391A1 (en) 2016-12-15
US10091485B2 (en) 2018-10-02

Similar Documents

Publication Publication Date Title
JP6633694B2 (ja) 多視点信号コーデック
EP3157258B1 (en) Method and device for encoding and decoding video signal by using embedded block partitioning
EP2991347B1 (en) Hybrid video coding supporting intermediate view synthesis
US9036933B2 (en) Image encoding method and apparatus, image decoding method and apparatus, and programs therefor
JP5351038B2 (ja) 画像データ及び深度データの組合せを処理する画像処理システム
US20150245062A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
US9961347B2 (en) Method and apparatus for bi-prediction of illumination compensation
KR100902353B1 (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
JP2009123219A (ja) 深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
US9451233B2 (en) Methods and arrangements for 3D scene representation
Po et al. Automatic 2D-to-3D video conversion technique based on depth-from-motion and color segmentation
US9031338B2 (en) Image encoding method and apparatus, image decoding method and apparatus, and programs therefor
US20150189276A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
Liu et al. Generic segment-wise DC for 3D-HEVC depth intra coding
Maugey et al. Graph-based representation for multiview image geometry
US20170070751A1 (en) Image encoding apparatus and method, image decoding apparatus and method, and programs therefor
KR20160147448A (ko) 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법
Ince et al. Depth estimation for view synthesis in multiview video coding
Muller et al. Compressing time-varying visual content
Joachimiak et al. View synthesis quality mapping for depth-based super resolution on mixed resolution 3D video
Kim et al. Edge-preserving directional regularization technique for disparity estimation of stereoscopic images
Li et al. Joint view filtering for multiview depth map sequences
Jäger et al. Median trilateral loop filter for depth map video coding
Hanca et al. Lossy contour-coding in segmentation-based intra-depth map coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application