KR20130006246A - 깊이 영상 변환 장치 및 방법 - Google Patents

깊이 영상 변환 장치 및 방법 Download PDF

Info

Publication number
KR20130006246A
KR20130006246A KR1020110084918A KR20110084918A KR20130006246A KR 20130006246 A KR20130006246 A KR 20130006246A KR 1020110084918 A KR1020110084918 A KR 1020110084918A KR 20110084918 A KR20110084918 A KR 20110084918A KR 20130006246 A KR20130006246 A KR 20130006246A
Authority
KR
South Korea
Prior art keywords
depth
depth image
discrete
value
image
Prior art date
Application number
KR1020110084918A
Other languages
English (en)
Other versions
KR101828814B1 (ko
Inventor
최욱
임화섭
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/466,573 priority Critical patent/US9047681B2/en
Priority to CN201210193354.3A priority patent/CN102867288B/zh
Publication of KR20130006246A publication Critical patent/KR20130006246A/ko
Application granted granted Critical
Publication of KR101828814B1 publication Critical patent/KR101828814B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

저해상도의 깊이 영상을 고해상도의 컬러 영상과 동일한 해상도의 깊이 영상으로 변환하는 장치 및 방법에 관한 것으로, 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성하고, 상기 이산 깊이 영상에 대하여 고해상도 컬러 영상 및 업 샘플링 된 깊이 경계를 고려한 목적함수를 최적화하여 고해상도 이산 깊이 영상을 추정하며, 상기 고해상도 이산 깊이 영상에서 이웃하는 픽셀들 간에 이산 깊이 값의 차이가 소정의 임계 값 이하인 경우를 필터링하여 상기 업 샘플링 된 깊이 영상을 고해상도의 깊이 영상으로 변환한다.

Description

깊이 영상 변환 장치 및 방법{DEPTH IMAGE CONVERSION APPARATUS AND METHOD THEREOF}
기술분야는 저해상도의 깊이 영상을 고해상도의 컬러 영상과 동일한 해상도의 깊이 영상으로 변환하는 장치 및 방법에 관한 것이다.
ToF(Time-of-Flight) 깊이 카메라는 실시간으로 신(scene)의 깊이 정보를 제공한다. 그런데, ToF 카메라의 픽셀로 사용되는 포토다이오드(Photodiode)의 낮은 감도로 인하여, 픽셀의 크기가 커지고, 큰 픽셀로 인하여 해상도가 낮아진다.
또한, 현재 상용화된 깊이 카메라들은 컬러 정보를 획득할 수 없으므로, 신의 3차원 모델을 생성하기 위해서는 별도의 컬러 카메라로 컬러 정보를 획득해야 한다. 또한, 컬러 카메라와 깊이 카메라를 기하학적으로 캘리브레이션(calibration) 할 필요가 있다. 또한, 컬러 카메라와 깊이 카메라의 시점을 유사하게 맞추기 위해, 빔 스플리터(Beam Splitter)와 같은 장치가 필요하고, 이로 인하여 카메라의 크기가 커진다.
최근 하나의 카메라로 신의 컬러와 깊이를 동일 시점에서 센싱하는 것이 가능해졌다. 이러한 카메라를 컬러-깊이 카메라라고 부를 수 있다.
그러나 컬러-깊이 카메라는 포토다이오드의 낮은 감도로 인하여 4개 또는 16개의 컬러 픽셀들을 연결하여 하나의 깊이 픽셀로 사용해야 한다. 따라서, 컬러 영상의 해상도를 그대로 유지하면서, 컬러-깊이 영상으로부터 새로운 시점의 영상을 생성하기 위해서는 깊이 영상의 해상도를 컬러 영상의 수준으로 높여줄 필요가 있다.
일 측면에 있어서, 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성하는 이산 깊이 영상 생성부, 상기 이산 깊이 영상에 대하여 고해상도 컬러 영상 및 업 샘플링 된 깊이 경계를 고려한 목적함수를 최적화하여 고해상도 이산 깊이 영상을 추정하는 고해상도 이산 깊이 영상 추정부 및 상기 고해상도 이산 깊이 영상에서 이웃하는 픽셀들 간에 이산 깊이 값의 차이가 소정의 임계 값 이하인 경우를 필터링하여 상기 업 샘플링 된 깊이 영상을 고해상도의 깊이 영상으로 변환하는 영상 변환부를 포함한다.
다른 일 측면에 있어서, 깊이 영상 변환 장치는 저해상도 깊이 영상을 보간(interpolation)하여 상기 고해상도의 깊이 영상과 동일한 크기로 상기 업 샘플링 된 깊이 영상을 생성하는 업 샘플링 깊이 영상 생성부, 상기 저해상도 깊이 영상에서 이웃하는 픽셀들 간에 깊이 값의 차이가 임계 값 이상인 경우를 깊이 경계로 추출하는 깊이 경계 추출부 및 상기 깊이 경계를 보간하여 상기 업 샘플링 된 깊이 경계를 생성하는 업 샘플링 깊이 경계 생성부를 더 포함할 수 있다.
상기 이산 깊이 영상 생성부는 상기 업 샘플링 된 깊이 영상의 깊이 값과 반비례하고, 저해상도 깊이 영상의 촬영시점(viewpoint)과 가상의 촬영시점 간의 베이스라인 길이 및 초점 길이에 비례하는 정수화 된 디스패리티(disparity) 값을 추정하는 디스패리티 추정부를 포함하고, 상기 정수화 된 디스패리티 값을 상기 이산 깊이 영상의 이산 깊이 값으로 사용할 수 있다.
상기 업 샘플링 된 깊이 경계는 이웃하는 픽셀들 간의 깊이 값의 차이에 따라 구별되는 경계 영역 및 경계 에지를 포함하고, 상기 고해상도 이산 깊이 영상 추정부는 상기 이산 깊이 영상에서 상기 경계 영역에 해당하는 경우와 상기 경계 에지에 해당하는 경우에 따라 서로 다른 방식으로 결정되는 데이터 코스트 및 이웃하는 픽셀들 간에 컬러 값의 차이에 따라 결정되는 불연속 코스트를 반영하는 상기 목적함수를 계산하는 목적함수 계산부 및 상기 목적함수의 최소값을 추정하는 최소값 추정부를 포함할 수 있다.
상기 데이터 코스트는 상기 경계 영역에서는 픽셀의 이산 깊이 값과 상기 고해상도 이산 깊이 영상에서 상기 픽셀에 대응하는 픽셀의 이산 깊이 값의 차이가 소정의 임계 값 이하가 되도록 상기 이웃하는 픽셀들 간의 컬러-깊이 유사 가중치를 고려하여 결정되고, 상기 경계 에지에서는 상기 이웃하는 픽셀들의 이산 깊이 값을 고려하여 결정될 수 있다.
상기 컬러-깊이 유사 가중치는 상기 이웃하는 픽셀들 간의 컬러 값의 차이, 깊이 값의 차이 및 거리에 기초하여 결정될 수 있다.
상기 불연속 코스트는 상기 이웃하는 픽셀들 간에 컬러 값의 차이가 적으면 상기 이웃하는 픽셀들의 이산 깊이 값의 차이도 작아지도록 상기 이웃하는 픽셀들 간에 컬러 값의 차이 및 위치 차이를 고려하여 결정될 수 있다.
상기 최저값 추정부는 상기 이웃하는 픽셀들의 이산 깊이 값이 불연속적인 경우에도 상기 목적함수의 최소값을 추정하는 알고리즘을 이용하여, 상기 고해상도 이산 깊이 영상의 이산 깊이 값을 추정할 수 있다.
상기 영상 변환부는 상기 업 샘플링 된 깊이 영상에서 상기 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행하는 필터링부를 포함할 수 있다.
상기 필터링부는 상기 경계 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 이산 깊이 값의 차이-상기 고해상도 이산 깊이 영상에서 대응하는 픽셀들 간-, 컬러 값의 차이, 깊이 값의 차이-상기 업 샘플링 된 깊이 영상에서 대응하는 픽셀들 간- 및 위치 차이를 고려하여 결정되는 가중치를 적용하고, 상기 경계 에지 및 상기 평탄 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용할 수 있다.
상기 영상 변환부는 상기 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상하는 보상부를 포함할 수 있다.
상기 저-고해상도 깊이 일관성은 상기 필터링 된 픽셀의 깊이 값과 저해상도 깊이 영상에서 상기 필터링 된 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)일 수 있다.
상기 영상 변환부는 상기 깊이 값이 보상된 픽셀을 상기 필터링 부의 입력 값으로 피드백하는 피드백 처리부를 포함할 수 있다.
상기 영상 변환부는 상기 업 샘플링 된 깊이 영상에서 상기 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행함과 동시에, 상기 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상할 수 있다.
일 측면에 있어서, 깊이 영상 변환 방법은 업 샘플링 된 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성하는 단계, 상기 이산 깊이 영상을 입력으로 하고, 고해상도 컬러 영상 및 업 샘플링 된 깊이 경계를 고려한 목적함수를 최적화하여 고해상도 이산 깊이 영상을 추정하는 단계 및 상기 고해상도 이산 깊이 영상에서 이웃하는 픽셀들 간에 이산 깊이 값의 차이가 소정의 임계 값 이하인 경우를 필터링하여 상기 업 샘플링 된 깊이 영상을 고해상도의 깊이 영상으로 변환하는 단계를 포함한다.
다른 일 측면에 있어서, 깊이 영상 변환 방법은 저해상도 깊이 영상을 보간하여 상기 고해상도의 깊이 영상과 동일한 크기로 상기 업 샘플링 된 깊이 영상을 생성하는 단계, 상기 저해상도 깊이 영상에서 이웃하는 픽셀들 간에 깊이 값의 차이가 임계 값 이상인 경우를 깊이 경계로 추출하는 단계 및 상기 깊이 경계를 보간하여 상기 업 샘플링 된 깊이 경계를 생성하는 단계를 더 포함할 수 있다.
상기 이산 깊이 영상을 생성하는 단계는 상기 업 샘플링 된 깊이 영상의 깊이 값과 반비례하고, 저해상도 깊이 영상의 촬영시점(viewpoint)과 가상의 촬영시점 간의 베이스라인 길이 및 초점 길이에 비례하는 정수화 된 디스패리티(disparity) 값을 추정하는 단계를 포함하고, 상기 정수화 된 디스패리티 값을 상기 이산 깊이 영상의 이산 깊이 값으로 사용할 수 있다.
상기 업 샘플링 된 깊이 경계는 이웃하는 픽셀들 간의 깊이 값의 차이에 따라 구별되는 경계 영역 및 경계 에지를 포함하고, 상기 고해상도 이산 깊이 영상을 추정하는 단계는 상기 이산 깊이 영상에서 상기 경계 영역에 해당하는 경우와 상기 경계 에지에 해당하는 경우에 따라 서로 다른 방식으로 결정되는 데이터 코스트 및 이웃하는 픽셀들 간에 컬러 값의 차이에 따라 결정되는 불연속 코스트를 반영하는 상기 목적함수를 계산하는 단계 및 상기 목적함수의 최소값을 추정하는 단계를 포함할 수 있다.
상기 데이터 코스트는 상기 경계 영역에서는 픽셀의 이산 깊이 값과 상기 고해상도 이산 깊이 영상에서 상기 픽셀에 대응하는 픽셀의 이산 깊이 값의 차이가 소정의 임계 값 이하가 되도록 상기 이웃하는 픽셀들 간의 컬러-깊이 유사 가중치를 고려하여 결정되고, 상기 경계 에지에서는 상기 이웃하는 픽셀들의 이산 깊이 값을 고려하여 결정될 수 있다.
상기 컬러-깊이 유사 가중치는 상기 이웃하는 픽셀들 간의 컬러 값의 차이, 깊이 값의 차이 및 거리에 기초하여 결정될 수 있다.
상기 불연속 코스트는 상기 이웃하는 픽셀들 간에 컬러 값의 차이가 적으면 상기 이웃하는 픽셀들의 이산 깊이 값의 차이도 작아지도록 상기 이웃하는 픽셀들 간에 컬러 값의 차이 및 위치 차이를 고려하여 결정될 수 있다.
상기 변환하는 단계는 상기 업 샘플링 된 깊이 영상에서 상기 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행하는 단계를 포함할 수 있다.
상기 필터링을 수행하는 단계는 상기 경계 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 이산 깊이 값의 차이-상기 고해상도 이산 깊이 영상에서 대응하는 픽셀들 간-, 컬러 값의 차이, 깊이 값의 차이-상기 업 샘플링 된 깊이 영상에서 대응하는 픽셀들 간- 및 위치 차이를 고려하여 결정되는 가중치를 적용하고, 상기 경계 에지 및 상기 평탄 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용할 수 있다.
상기 변환하는 단계는 상기 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상할 수 있다.
상기 이산 깊이 영상을 생성하는 단계는 상기 고해상도 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성할 수 있다.
고해상도의 이산 깊이 영상, 업 샘플링 된 깊이 경계 및 고해상도 컬러 영상을 이용하여 업 샘플링 된 깊이 영상을 필터링 함으로써, 컬러 영상과 동일한 해상도 및 정확한 에지를 가지는 깊이 영상을 생성할 수 있다.
또한, 필터링 된 깊이 영상을 저해상도 깊이 영상과 고해상도 깊이 영상 간의 깊이 일관성에 기초하여 보상함으로써, 컬러 영상과 동일한 해상도를 가지면서도 정확한 대상 정보를 가지는 깊이 영상을 생성할 수 있다.
또한, 변환된 고해상도의 깊이 영상을 컬러 정보와 깊이 정보를 모두 가지는 3차원(3D) 신(scene) 모델의 생성에 활용할 수 있다.
또한, 변환된 고해상도의 깊이 영상을 컬러-깊이 기반의 이미지 워핑(warping)을 통한 다시점 영상 생성의 입력 영상으로 활용할 수 있다.
도 1은 저해상도 깊이 영상과 일관성이 없는 고해상도 깊이 영상을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 깊이 영상 변환 장치의 블록도이다.
도 3은 본 발명의 다른 일실시예에 따른 깊이 영상 변환 장치의 블록도이다.
도 4는 본 발명의 일실시예에 따라 생성된 업 샘플링 된 깊이 영상을 나타낸다.
도 5는 본 발명의 일실시예에 따라 생성된 업 샘플링 된 깊이 경계를 나타낸다.
도 6은 본 발명의 일실시예에 따라 생성된 이산 깊이 영상을 나타낸다.
도 7은 본 발명의 일실시예에 따라 생성된 고해상도 이산 깊이 영상을 나타낸다.
도 8은 본 발명의 일실시예에 따라 필터링에 사용될 수 있는 요소들을 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따라 보상부에서 고려되는 저-고해상도 깊이 일관성을 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따른 깊이 영상 변환 방법의 흐름도이다.
도 11은 본 발명의 다른 일실시예에 따른 깊이 영상 변환 방법의 흐름도이다.
도 12는 본 발명의 일실시예에 따라 저해상도의 깊이 영상으로부터 변환된 고해상도의 깊이 영상을 나타낸 도면이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 저해상도 깊이 영상과 일관성이 없는 고해상도 깊이 영상을 나타낸 도면이다.
도 1은 이웃 픽셀간의 컬러 값 또는 깊이 값의 유사성을 이용하고, 각 픽셀의 깊이 값에 가중치를 부여하여 저해상도 깊이 영상(110)으로부터 고해상도 깊이 영상(120)이 생성된 경우를 나타낸다. 그런데, 픽셀의 깊이 값에 부여하는 가중치를 잘못 설정하는 경우, 도 1과 같이 저해상도 깊이 영상과 일관성이 없는 고해상도 깊이 영상이 생성될 수 있다. 고해상도 깊이 영상(120)을 살펴보면, 물체의 경계부분 일부에서 전경(foreground)과 배경(background) 간에 깊이 블러(Depth Blur)가 발생한다. 왜냐하면, 고해상도 컬러 영상(130)으로부터 이웃 픽셀간의 컬러 유사성으로 인하여, 전경(foreground)과 배경(background) 간에 경계가 모호한 깊이 영상이 생성될 수 있기 때문이다. 따라서, 이웃 픽셀간의 컬러 값 또는 깊이 값의 유사성뿐만 아니라 다른 요소들을 고려하여 고해상도 깊이 영상을 생성할 필요가 있다.
본 발명의 일실시예에 따른 깊이 영상 변환 장치는 이산 깊이 영상을 고려한 목적함수를 최적화하여 전경과 배경이 분리된 고해상도의 이산 깊이 영상을 생성하고, 고해상도의 이산 깊이 영상을 이용함으로써, 전경과 배경 간에 깊이 블러(Depth Blur)가 없는 고해상도의 깊이 영상을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 깊이 영상 변환 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 깊이 영상 변환 장치는 이산 깊이 영상 생성부(210), 고해상도 이산 깊이 영상 추정부(220) 및 영상 변환부(230)를 포함한다.
이산 깊이 영상 생성부(210)는 업 샘플링 된 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성한다. 업 샘플링 된 깊이 영상은 저해상도 깊이 영상을 보간(interpolation)하여 생성될 수 있다. 이때, 업 샘플링 된 깊이 영상은 고해상도 깊이 영상과 동일한 크기를 갖는다. 이산 깊이 영상 생성부(210)는 픽셀들의 깊이 값을 정수단위로 양자화하여 이산 깊이 영상을 생성할 수 있다. 예를 들면, 이산 깊이 영상 생성부(210)는 픽셀들의 깊이 값을 반올림하여 정수단위의 깊이 값을 가지는 이산 깊이 영상을 생성할 수 있다.
고해상도 이산 깊이 영상 추정부(220)는 이산 깊이 영상에 대하여 고해상도 컬러 영상 및 업 샘플링 된 깊이 경계를 고려한 목적함수를 최적화하여 고해상도 이산 깊이 영상을 추정한다. 고해상도 컬러 영상은 저해상도 깊이 영상과 함께 깊이 영상 변환 장치에 입력될 수 있다. 업 샘플링 된 깊이 경계는 저해상도 깊이 영상에서 추출된 깊이 경계가 고해상도 컬러 영상의 크기만큼 업 샘플링 되어 생성될 수 있다. 업 샘플링 된 깊이 경계는 이웃하는 픽셀들 간의 깊이 값의 차이에 따라 경계 영역 및 경계 에지로 구별될 수 있다. 경계 에지의 경우 이웃하는 픽셀들 간의 깊이 값의 차이가 경계 영역의 경우보다 크다.
고해상도 이산 깊이 영상 추정부(220)는 목적함수 계산부(221) 및 최소값 추정부(223)를 포함할 수 있다. 목적함수 계산부(221)는 데이터 코스트(Data Cost) 및 불연속 코스트(Discontinuity Cost)를 반영한 목적함수를 계산할 수 있다. 이때, 데이터 코스트는 이산 깊이 영상에서 경계 영역에 해당하는 경우와 경계 에지에 해당하는 경우에 따라 서로 다른 방식으로 결정될 수 있다. 불연속 코스트는 이웃하는 픽셀들 간에 컬러 값의 차이에 따라 결정될 수 있다.
데이터 코스트는 경계 영역에서는 픽셀의 이산 깊이 값과 고해상도 이산 깊이 영상에서 상기 픽셀에 대응하는 픽셀의 이산 깊이 값의 차이가 소정의 임계 값 이하가 되도록 이웃하는 픽셀들 간의 컬러-깊이 유사 가중치를 고려하여 결정될 수 있다. 컬러-깊이 유사 가중치는 이웃하는 픽셀들 간의 컬러 값의 차이, 깊이 값의 차이 및 거리에 기초하여 결정될 수 있다.
데이터 코스트는 경계 에지 에서는 이웃하는 픽셀들의 이산 깊이 값을 고려하여 결정될 수 있다.
불연속 코스트는 이웃하는 픽셀들 간에 컬러 값의 차이가 적으면 이웃하는 픽셀들의 이산 깊이 값의 차이도 작아지도록 이웃하는 픽셀들 간에 컬러 값의 차이 및 위치 차이를 고려하여 결정될 수 있다.
목적함수는 다음의 [수학식 1]과 같이 표현될 수 있다.
[수학식 1]
Figure pat00001
여기서, F(d)는 목적함수이고,
Figure pat00002
는 픽셀 i가 고해상도 이산 깊이 영상에서 이산 깊이 값 di를 가질 때의 데이터 코스트이고,
Figure pat00003
Figure pat00004
는 인접한 픽셀 i와 j가 각각 고해상도 이산 깊이 영상에서 이산 깊이 값 di와 dj를 가질 때의 불연속 코스트를 나타낸다. 픽셀 i는 고해상도 이산 깊이 영상을 구성하는 임의의 픽셀일 수 있다. 픽셀 j는 픽셀 i와 인접한 픽셀이며, 인접한 정도는 이웃하는 픽셀일 수도 있고, 소정의 픽셀 간격을 의미할 수도 있으며, 인접한 정도의 기준은 사용자에 의해 설정될 수 있다.
Figure pat00005
는 불연속 코스트에 적용되는 가중치로, 사용자에 의해 설정되는 값이다.
데이터 코스트는 다음과 같이 표현될 수 있다.
Figure pat00006
여기서,
Figure pat00007
는 픽셀 i를 포함한 주변 영역을 의미한다. 예를 들면,
Figure pat00008
는 픽셀 i를 중심 픽셀로 하는 소정 크기의 윈도우를 의미할 수 있다. j는
Figure pat00009
에 속하는 임의의 픽셀을 의미한다.
Figure pat00010
는 컬러-깊이 유사 가중치를 의미하고, 다음과 같이 표현될 수 있다.
Figure pat00011
Figure pat00012
및
Figure pat00013
는 고해상도 컬러 영상에서 픽셀 i와 픽셀 j의 컬러 값을 의미하고,
Figure pat00014
및
Figure pat00015
는 업 샘플링 된 깊이 영상에서 픽셀 i와 픽셀 j의 깊이 값을 의미하고,
Figure pat00016
및
Figure pat00017
는 각각 픽셀 i와 픽셀 j의 영상 좌표를 의미한다. σc, σz, σp는 각각 컬러 값, 깊이 값 및 픽셀 위치의 차이를 가중치로 변환시키는데 필요한 상수를 의미한다. 이때,
Figure pat00018
는 가우시안 weight를 적용하여 결정되었다. 즉,
Figure pat00019
는 픽셀 i와 픽셀 j 간의 컬러 값의 차이, 깊이 값의 차이 및 거리에 기초하여 결정될 수 있다.
Figure pat00020
는 픽셀 j의 고해상도 이산 깊이 영상에서의 이산 깊이 값
Figure pat00021
과 이산 깊이 영상의 이산 깊이 값
Figure pat00022
의 차이가 작아질수록 값이 작아지는 코스트이다.
Figure pat00023
는 경계 영역과 경계 에지에서 적용하는 값이 다르다. 경계 영역에서 적용하는
Figure pat00024
는 다음과 같이 표현될 수 있다.
Figure pat00025
경계 영역에서는
Figure pat00026
와
Figure pat00027
의 차이가 임계 값
Figure pat00028
보다 작은 경우와
Figure pat00029
이상인 경우에 따라 다른 코스트가 적용될 수 있다. 임계 값
Figure pat00030
는 사용자에 의해 설정될 수 있는 값이고,
Figure pat00031
와 비례하는 관계를 갖는다.
경계 에지에서 적용하는
Figure pat00032
는 다음과 같이 표현될 수 있다.
Figure pat00033
경계 에지에서는 코스트 및 불연속 코스트가 동일한 값을 갖는다.
Figure pat00034
와
Figure pat00035
가 동일한 값을 갖는 경우에는 코스트 및 불연속 코스트가 0이고, 그렇지 않은 경우에는 픽셀 i의 주변 픽셀의 이산 깊이 값을 고려하여 코스트 및 불연속 코스트가 결정될 수 있다.
불연속 코스트는 다음과 같이 표현될 수 있다.
Figure pat00036
Figure pat00037
및
Figure pat00038
는 고해상도 이산 깊이 영상에서 인접하는 픽셀 i와 픽셀 j의 이산 깊이 값을 의미하고,
Figure pat00039
와
Figure pat00040
의 차이가 임계 값
Figure pat00041
보다 작은 경우에는 인접 픽셀간에 이산 깊이 값의 차이가 크지 않으므로 불연속 코스트는 0일 수 있다. 임계 값
Figure pat00042
는 사용자에 의해 설정될 수 있는 값이다.
Figure pat00043
와
Figure pat00044
의 차이가 임계 값
Figure pat00045
이상인 경우에, 인접하는 픽셀 간에 컬러 값의 차이가 작을수록 불연속 코스트는 큰 값을 가질 수 있다. 컬러 값의 차이가 작은 경우에, 이산 깊이 값의 차이도 작아지도록 큰 값을 가지는 불연속 코스트가 적용될 수 있다.
목적함수 계산부(221)는 이산 깊이 영상의 각 픽셀에 대하여 데이터 코스트 및 불연속 코스트를 고려한 목적함수를 계산할 수 있다.
최소값 추정부(223)는 목적함수의 최소값을 추정할 수 있다. 최소값 추정부(223)는 이산 깊이 영상에서 이웃하는 픽셀들의 이산 깊이 값이 불연속적인 경우에도 목적함수의 최소값을 추정하는 알고리즘을 이용하여, 고해상도 이산 깊이 영상의 이산 깊이 값을 추정할 수 있다. 이때, 최소값 추정부(223)는 그래프 컷(Graph Cuts) 알고리즘 또는 빌리프 전파(Belief propagation) 알고리즘을 이용하여 목적함수의 최소값을 추정할 수 있다. 목적함수의 최소값으로 구성된 이산 깊이 영상을 고해상도 이산 깊이 영상으로 추정할 수 있다.
최소값 추정부(223)는 목적함수의 최소값을 추정함으로써 전경과 배경이 선명하게 분리된 고해상도 이산 깊이 영상을 획득할 수 있다.
그런데, 고해상도 이산 깊이 영상을 생성하는 과정에서 이산 깊이 값을 이용함으로써, 고해상도 이산 깊이 영상에는 깊이 값이 연속적이어야 함에도, 불연속적인 깊이 값을 갖는 부분이 발생할 수 있다. 영상 변환부(230)는 업 샘플링 된 깊이 영상을 고해상도 이산 깊이 영상을 고려하여 필터링을 수행하고, 저-고해상도 깊이 일관성에 기초하여 필터링 된 깊이 값을 보상함으로써, 고해상도 이산 깊이 영상의 불연속적인 깊이 값을 갖는 부분의 발생을 보상할 수 있다.
영상 변환부(230)는 고해상도 이산 깊이 영상에서 이웃하는 픽셀들 간에 이산 깊이 값의 차이가 소정의 임계 값 이하인 경우를 필터링하여 업 샘플링 된 깊이 영상을 고해상도의 깊이 영상으로 변환할 수 있다.
영상 변환부(230)는 필터링부(231), 보상부(233) 및 피드백 처리부(235)를 포함할 수 있다. 필터링부(231)는 업 샘플링 된 깊이 영상에서 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행할 수 있다.
필터링부(231)는 경계 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 이산 깊이 값의 차이, 컬러 값의 차이, 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용할 수 있다.
필터링부(231)는 경계 에지 및 평탄 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용할 수 있다.
필터링은 다음의 수식으로 표현될 수 있다.
Figure pat00046
시간 t에서 필터링부(231)에 입력되는 업 샘플링 된 깊이 영상의 깊이 값을
Figure pat00047
라고 하면, 필터링부(231)는 가중치 평균(Weighted Averaging) 연산을 수행하여 시간 t+1에서의 깊이 값
Figure pat00048
을 생성할 수 있다. 가중치 평균 연산은 각각의 깊이 값에 가중치를 곱하고, 전체 가중치의 값으로 정규화(normalized)하는 것을 의미한다.
Figure pat00049
는 픽셀 i를 포함한 주변 영역을 의미한다. 예를 들면,
Figure pat00050
는 픽셀 i를 중심 픽셀로 하는 소정 크기의 윈도우를 의미할 수 있다. j는
Figure pat00051
에 속하는 임의의 픽셀을 의미한다. 가중치
Figure pat00052
는 영역에 따라 다르게 결정될 수 있다.
경계 영역에서의 가중치
Figure pat00053
는 다음의 식과 같이 결정될 수 있다.
Figure pat00054
Figure pat00055
및
Figure pat00056
는 고해상도 컬러 영상에서 픽셀 i와 픽셀 j의 컬러 값을 의미하고,
Figure pat00057
및
Figure pat00058
는 업 샘플링 된 깊이 영상에서 픽셀 i와 픽셀 j의 깊이 값을 의미하고,
Figure pat00059
및
Figure pat00060
는 각각 픽셀 i와 픽셀 j의 영상 좌표를 의미한다. 또한,
Figure pat00061
및
Figure pat00062
는 고해상도 이산 깊이 영상에서 인접하는 픽셀 i와 픽셀 j의 고해상도 이산 깊이 값을 의미한다. Kronecker Delta Function δ 는
Figure pat00063
와
Figure pat00064
의 차이가 임계 값
Figure pat00065
보다 작지 않은 경우에는 가중치를 0으로 만든다. 즉, 필터링부(231)는 이산 깊이 값이 유사하지 않은 인접 픽셀 간에는 필터링을 수행하지 않는다. 임계 값
Figure pat00066
는 사용자에 의해 설정될 수 있는 값이다. σc, σz, σp는 각각 컬러 값, 깊이 값 및 픽셀 위치의 차이를 가중치로 변환시키는데 필요한 상수를 의미한다. 필터링부(231)는 업 샘플링 된 깊이 영상의 픽셀 i와 픽셀 j 간의 고해상도 이산 깊이 값의 차이가 소정의 임계 값보다 작은 경우, 픽셀 i와 픽셀 j 간의 컬러 값의 차이, 깊이 값의 차이, 거리를 고려하여 고해상도 깊이 영상의 깊이 값을 생성할 수 있다.
경계 에지 및 평탄 영역에서의 가중치
Figure pat00067
는 다음의 식과 같이 결정될 수 있다.
Figure pat00068
필터링부(231)는 픽셀 i와 픽셀 j 간의 깊이 값의 차이 및 거리를 고려하여 고해상도 깊이 영상의 깊이 값을 생성할 수 있다.
필터링부(231)를 통해 전경과 배경의 경계에 깊이 블러(Depth Blur)가 없는 고해상도 깊이 영상이 생성될 수 있다. 그런데, 필터링부(231)를 통하여 생성된 고해상도 깊이 영상은 저해상도 깊이 영상을 재생성(Reconstruction)할 수 없는 영상일 수 있다. 재생성이 보장되어야 고해상도 깊이 영상과 저해상도 깊이 영상 간에 정확한 깊이 영상 변환이 이루어질 수 있다. 보상부(233)는 이러한 재생성이 보장되도록 고해상도 깊이 영상을 보상할 수 있다.
또한, 보상부(233)는 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상함으로써, 고해상도 이산 깊이 영상의 불연속적인 깊이 값을 갖는 부분을 보상할 수 있다.
보상부(233)는 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상할 수 있다. 저-고해상도 깊이 일관성은 고해상도 깊이 영상에서 소정 픽셀의 깊이 값과 저해상도 깊이 영상에서 상기 소정 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)을 의미한다. 저-고해상도 깊이 일관성은 저해상도 깊이 영상에서 소정 픽셀의 깊이 값이 고해상도 깊이 영상의 대응하는 픽셀들의 깊이 값으로부터 어떻게 결정되는지를 나타낼 수 있다.
저-고해상도 깊이 일관성은 저해상도 깊이 영상의 분포(distribution)에 기초하여 결정될 수 있다. 이때, 저해상도 깊이 영상의 분포는 촬영 장치의 렌즈에 따라 결정된다. 저해상도 깊이 영상의 분포는 Point Spread Function에 의해 결정되며, 단일(Uniform) 분포, 가우시안(Gaussian) 분포를 가질 수 있다. Point Spread Function는 촬영 장치의 센서의 구조에 따라 결정될 수 있다.
저-고해상도 깊이 일관성은 저해상도의 픽셀과 고해상도의 대응하는 픽셀 간의 관계를 의미할 수 있다. 예를 들면, 저해상도 픽셀을 16배 크기로 업 샘플링 한 경우에, 저해상도 픽셀 k는 16개의 고해상도 픽셀과 대응할 수 있다. 그리고, 고해상도의 16개 픽셀의 평균 깊이 값이 저해상도 픽셀 k의 깊이 값과 같다고 가정하면, 저-고해상도 깊이 일관성은 다음의 식과 같이 표현될 수 있다.
Figure pat00069
여기서, Dk는 저해상도 픽셀 k와 대응하는 고해상도 픽셀들의 집합을 의미한다.
보상부(233)는 저-고해상도 깊이 일관성을 반영하여 필터링부(231)에서 출력된 픽셀의 깊이 값을 보상할 수 있다. 보상부(233)는 다음의 식과 같이 보상부(233)에서 적용할 재생성 파라미터를 결정할 수 있고, 재생성 파라미터에 기초하여 필터링 된 깊이 값을 보상할 수 있다.
Figure pat00070
보상부(233)에 입력되는 입력 값은 시간 t+1에서 재생성 파라미터
Figure pat00071
및 필터링 된 깊이 값
Figure pat00072
이고,
Figure pat00073
는 필터링부(231)에서 출력된 깊이 값에 저-고해상도 깊이 일관성을 반영하여 결정될 수 있다.
보상부(233)는 다음의 식과 같이 필터링 된 깊이 값을 보상할 수 있다.
Figure pat00074
보상부(233)는 시간 t+1에서 필터링 된 깊이 값
Figure pat00075
을 재생성 파라미터
Figure pat00076
만큼 보상하여, 시간 t+2에서 새로운 고해상도 깊이 영상의 깊이 값
Figure pat00077
을 생성할 수 있다.
피드백 처리부(235)는 깊이 값이 보상된 픽셀을 필터링부(231)의 입력 값으로 피드백 처리할 수 있다. 피드백 처리부(235)는 필터링과 보상의 반복을 통해 전경과 배경의 경계를 선명(sharp)하게 유지하면서도 고해상도 이산 깊이 영상의 생성과정에서 발생할 수 있는 불연속 부분을 보상할 수 있다. 피드백 처리부(235)는 기 설정된 횟수만큼 피드백을 반복할 수 있다. 또는 피드백 처리부(235)는 고해상도 깊이 영상이 소정의 깊이 값을 갖도록 피드백을 반복할 수도 있다.
영상 변환부(230)는 업 샘플링 된 깊이 영상에서 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행함과 동시에, 상기 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상할 수 있다. 영상 변환부(230)는 필터링 및 보상의 동작을 별개 사이클이 아닌 동일한 사이클에 수행할 수도 있다.
도 3은 본 발명의 다른 일실시예에 따른 깊이 영상 변환 장치의 블록도이다.
도 3을 참조하면, 깊이 영상 변환 장치는 업 샘플링 깊이 영상 생성부(310), 깊이 경계 추출부(320), 업 샘플링 깊이 경계 생성부(330), 이산 깊이 영상 생성부(340), 고해상도 이산 깊이 영상 추정부(350), 영상 변환부(360)를 포함한다.
고해상도 컬러 영상 및 저해상도 깊이 영상은 깊이 영상 변환 장치에 입력될 수 있다.
업 샘플링 깊이 영상 생성부(310)는 저해상도 깊이 영상을 보간(interpolation)하여 업 샘플링 된 깊이 영상을 생성할 수 있다. 예를 들면, 업 샘플링 깊이 영상 생성부(310)는 Bilinear 보간 또는 Bicubic 보간을 통하여 저해상도 깊이 영상을 고해상도 컬러 영상과 같은 크기의 깊이 영상으로 업 샘플링 할 수 있다.
깊이 경계 추출부(320)는 저해상도 깊이 영상에서 이웃하는 픽셀들 간에 깊이 값의 차이가 임계 값 이상인 경우를 깊이 경계로 추출할 수 있다.
업 샘플링 깊이 경계 생성부(330)는 추출된 깊이 경계를 보간 하여 업 샘플링 된 깊이 경계를 생성할 수 있다. 예를 들면, 업 샘플링 깊이 경계 생성부(330)는 저해상도의 깊이 경계에 Nearest Neighbor 보간을 수행하여 업 샘플링 깊이 경계를 생성할 수 있다.
업 샘플링 된 깊이 경계는 이웃하는 픽셀들 간의 깊이 값의 차이에 따라 구별되는 경계 영역 및 경계 에지를 포함할 수 있다. 경계 에지의 경우 이웃하는 픽셀들 간의 깊이 값의 차이가 경계 영역의 경우보다 크다.
이산 깊이 영상 생성부(340)는 업 샘플링 된 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성할 수 있다.
이산 깊이 영상 생성부(340)는 디스패리티 추정부(341)를 통하여 깊이 값을 양자화할 수 있다. 디스패리티 추정부(341)는 업 샘플링 된 깊이 영상의 깊이 값과 반비례하고, 저해상도 깊이 영상의 촬영시점(viewpoint)과 가상의 촬영시점 간의 베이스라인 길이 및 초점 길이에 비례하는 정수화 된 디스패리티(disparity) 값을 추정할 수 있다. 이산 깊이 영상 생성부(340)는 정수화 된 디스패리티를 이산 깊이 값으로 하여 이산 깊이 영상을 생성할 수 있다.
고해상도 이산 깊이 영상 추정부(350)는 이산 깊이 영상에 대하여 고해상도 컬러 영상 및 업 샘플링 된 깊이 경계를 고려한 목적함수를 최적화하여 고해상도 이산 깊이 영상을 추정한다.
고해상도 이산 깊이 영상 추정부(350)는 목적함수 계산부(351) 및 최소값 추정부(353)를 포함할 수 있다. 목적함수 계산부(351)는 데이터 코스트(Data Cost) 및 불연속 코스트(Discontinuity Cost)를 반영한 목적함수를 계산할 수 있다. 이때, 데이터 코스트는 이산 깊이 영상에서 경계 영역에 해당하는 경우와 경계 에지에 해당하는 경우에 따라 서로 다른 방식으로 결정될 수 있다. 불연속 코스트는 이웃하는 픽셀들 간에 컬러 값의 차이에 따라 결정될 수 있다.
최소값 추정부(353)는 목적함수의 최소값을 추정할 수 있다. 최소값 추정부(353)는 이산 깊이 영상에서 이웃하는 픽셀들의 이산 깊이 값이 불연속적인 경우에도 목적함수의 최소값을 추정하는 알고리즘을 이용하여, 고해상도 이산 깊이 영상의 이산 깊이 값을 추정할 수 있다. 이때, 최소값 추정부(353)는 그래프 컷(Graph Cuts) 알고리즘 또는 빌리프 전파(Belief propagation) 알고리즘을 이용하여 목적함수의 최소값을 추정할 수 있다.
영상 변환부(360)는 고해상도 이산 깊이 영상에서 이웃하는 픽셀들 간에 이산 깊이 값의 차이가 소정의 임계 값 이하인 경우를 필터링하여 업 샘플링 된 깊이 영상을 고해상도의 깊이 영상으로 변환할 수 있다.
영상 변환부(360)는 필터링부(361), 보상부(363) 및 피드백 처리부(365)를 포함할 수 있다. 필터링부(361)는 업 샘플링 된 깊이 영상에서 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행할 수 있다.
필터링부(361)는 경계 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 이산 깊이 값의 차이, 컬러 값의 차이, 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용할 수 있다. 보상부(363)는 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상할 수 있다. 저-고해상도 깊이 일관성은 고해상도 깊이 영상에서 소정 픽셀의 깊이 값과 저해상도 깊이 영상에서 상기 소정 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)을 의미한다. 저-고해상도 깊이 일관성은 저해상도 깊이 영상에서 소정 픽셀의 깊이 값이 고해상도 깊이 영상의 대응하는 픽셀들의 깊이 값으로부터 어떻게 결정되는지를 나타낼 수 있다. 피드백 처리부(365)는 깊이 값이 보상된 픽셀을 필터링부(361)의 입력 값으로 피드백 처리할 수 있다. 피드백 처리부(365)는 필터링과 보상의 반복을 통해 전경과 배경의 경계를 선명(sharp)하게 유지하면서도 고해상도 이산 깊이 영상의 생성과정에서 발생할 수 있는 불연속 부분을 보상할 수 있다.
도 4는 본 발명의 일실시예에 따라 생성된 업 샘플링 된 깊이 영상을 나타낸다.
깊이 영상 변환 장치는 저해상도 깊이 영상을 보간(interpolation)하여 업 샘플링 된 깊이 영상을 생성할 수 있다. 업 샘플링 된 깊이 영상은 고해상도 컬러 영상과 동일한 해상도를 가진다. 깊이 영상 변환 장치는 Bilinear 방식, Bicubic 방식, Nearest Neighbor 방식 등의 보간을 이용하여 저해상도 깊이 영상으로부터 업 샘플링 된 깊이 영상을 생성할 수 있다.
도 5는 본 발명의 일실시예에 따라 생성된 업 샘플링 된 깊이 경계를 나타낸다.
도 5를 참조하면, 깊이 영상 변환 장치는 저해상도 깊이 영상에서 이웃하는 픽셀들 간에 깊이 값의 차이가 임계 값 이상인 경우를 깊이 경계로 추출할 수 있다. 깊이 경계를 중심으로 깊이 값의 차이가 클 수 있기 때문이다. 깊이 영상 변환 장치는 깊이 경계 추출 프로세싱을 통해 저해상도 깊이 경계를 계산하고, 저해상도 깊이 경계를 보간하여 업 샘플링 된 깊이 경계를 생성할 수 있다. 이때, 보간 방법에는 Bilinear 방식, Bicubic 방식, Nearest Neighbor 방식 등, 영상 처리에서 깊이 영상을 변환하는데 사용되는 보간 방식들이 사용될 수 있다. 업 샘플링 된 깊이 경계는 깊이 값의 차이에 따라 경계 영역 및 경계 에지로 구별될 수 있다. 경계 에지의 경우 이웃하는 픽셀들 간의 깊이 값의 차이가 경계 영역의 경우보다 크다. 도 5에서, 경계 영역은 파란색으로 표시된 영역(510)을 가리키고, 경계 에지는 경계 영역의 외곽부분으로 빨간색으로 표시된 부분(520)을 가리킨다.
도 6은 본 발명의 일실시예에 따라 생성된 이산 깊이 영상을 나타낸다.
도 6을 참조하면, 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상의 깊이 값
Figure pat00078
과 반비례하고, 저해상도 깊이 영상의 촬영시점(viewpoint)과 가상의 촬영시점 간의 베이스라인 길이(b) 및 초점 길이(f)에 비례하는 정수화 된 디스패리티(disparity) 값
Figure pat00079
을 계산할 수 있다. 깊이 영상 변환 장치는 저해상도 깊이 영상으로부터 정수화 된 디스패리티를 계산하여 이산 깊이 영상을 생성할 수 있다.
도 7은 본 발명의 일실시예에 따라 생성된 고해상도 이산 깊이 영상을 나타낸다.
깊이 영상 변환 장치는 이산 깊이 영상의 이산 깊이 값을 반영한 목적함수를 계산하고, 목적함수의 최소값을 추정하면 고해상도 이산 깊이 영상을 생성할 수 있다. 그런데, 이산 깊이 값이 반영된 결과, 고해상도 이산 깊이 영상은 전경과 배경의 경계가 선명해지는 것뿐만 아니라 불연속적인 깊이 값을 갖는 아티팩트(artifact)가 발생할 수 있다. 깊이 영상 변환 장치는 고해상도 깊이 영상으로부터 저해상도 깊이 영상을 재생성하는 재생성 파라미터에 기초하여 상기 아티팩트를 보상할 수 있다.
도 8은 본 발명의 일실시예에 따라 필터링에 사용될 수 있는 요소들을 나타낸 도면이다.
필터링에서는 필터링의 가중치를 결정하는데 도 8의 요소들이 반영될 수 있다.
Figure pat00080
(810)는 픽셀 i를 포함한 주변 영역을 의미한다. 예를 들면,
Figure pat00081
(810)는 픽셀 i를 중심 픽셀로 하는 소정 크기의 윈도우를 의미할 수 있다. j는
Figure pat00082
에 속하는 이웃 픽셀을 의미한다. c는 고해상도 컬러 영상(820)의 컬러 값을 의미한다. zU는 업 샘플링 된 깊이 영상(830)의 깊이 값을 의미한다. 깊이 값이 작을수록 촬영장치와 가까운 거리를 나타내고, 밝은 색을 띤다. d는 고해상도 이산 깊이 영상(840)의 이산 깊이를 의미한다. 이산 깊이는 깊이 값을 양자화 한 것이므로, 깊이 영상에 비해 단순한 색상을 가지게 된다. 따라서, 업 샘플링 된 깊이 영상에 비해 고해상도 이산 깊이 영상에서 전경과 배경 간의 경계가 보다 선명(sharp)하다. W(850)는 가중치를 의미한다. w(850)는 픽셀 i와 픽셀 j간의 깊이 값의 차이, 컬러 값의 차이, 위치 차이 및 이산 깊이 값의 차이를 고려하여 결정될 수 있다. w(850)의 값이 작을수록 어두운 색상으로 표시되었다.
도 9는 본 발명의 일실시예에 따라 보상부에서 고려되는 저-고해상도 깊이 일관성을 설명하기 위한 도면이다.
저-고해상도 깊이 일관성은 고해상도 깊이 영상에서 소정 픽셀의 깊이 값과 저해상도 깊이 영상에서 상기 소정 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)을 의미한다. 저-고해상도 깊이 일관성은 저해상도 깊이 영상에서 소정 픽셀의 깊이 값이 고해상도 깊이 영상의 대응하는 픽셀들의 깊이 값으로부터 어떻게 결정되는지를 나타낼 수 있다.
도 9를 참조하면, 일 예로서, 저해상도 깊이 영상의 픽셀 k(910)을 16배 고해상도 깊이 영상으로 변환할 경우, 16개의 고해상도 깊이 영상의 픽셀 Dk(920)와 대응된다.
저해상도 깊이 영상의 분포는 Point Spread Function에 의해 결정되며, 단일(Uniform) 분포, 가우시안(Gaussian) 분포를 가질 수 있다. Point Spread Function이 픽셀 좌표 평면 상에서 단일(Uniform) 분포를 갖는 경우에, 재생성 가중치는 1/16으로 일정한 값을 갖는다. 재생성 가중치는 고해상도 깊이 영상의 픽셀들로부터 저해상도 깊이 영상을 재생성하는 경우에 적용되는 가중치이다. 재생성 가중치가 1/16인 경우라 함은, 고해상도 깊이 영상의 픽셀 Dk(920)의 깊이 값의 평균이 저해상도 깊이 영상의 픽셀 k(910)의 깊이 값이 됨을 의미한다.
재생성 가중치는 Point Spread Function의 형태에 따라서 달라질 수 있으며, 고해상도 깊이 영상의 픽셀 Dk 도 Point Spread Function의 형태에 따라서 달라질 수 있다. Point Spread Function는 촬영 장치의 센서의 구조에 따라 결정될 수 있다.
도 10은 본 발명의 일실시예에 따른 깊이 영상 변환 방법의 흐름도이다.
1010단계에서, 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성한다. 이때, 양자화는 소수점 단위의 깊이 값을 정수 단위로 처리하는 것을 의미할 수 있다. 업 샘플링 된 깊이 영상은 저해상도 깊이 영상을 보간하여 생성될 수 있다. 또한, 업 샘플링 된 깊이 영상의 해상도는 고해상도 깊이 영상의 해상도와 동일하다. 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상으로부터 정수화 된 디스패리티(disparity)를 계산하여, 이산 깊이 영상을 생성할 수도 있다.
1020단계에서, 깊이 영상 변환 장치는 이산 깊이 영상을 입력으로 하고, 고해상도 컬러 영상(1021) 및 업 샘플링 된 깊이 경계(1033)를 고려한 목적함수를 최적화하여 고해상도 이산 깊이 영상을 추정한다. 목적함수는 데이터 코스트 및 불연속 코스트를 반영한다. 데이터 코스트는 업 샘플링 된 깊이 경계(1033)를 구성하는 깊이 영역 및 깊이 에지에 따라 다른 값을 가지게 된다. 깊이 영역에서는 이웃하는 픽셀들 간의 컬러 값의 차이, 깊이 값의 차이 및 거리가 고려되고, 깊이 에지에서는 이웃하는 픽셀들 간의 이산 깊이 값의 차이가 고려된다. 깊이 에지에서 이산 깊이 값의 차이를 고려함으로써, 깊이 영상의 전경과 배경의 경계가 좀 더 선명하게 표시될 수 있다. 불연속 코스트는 이웃하는 픽셀들 간에 컬러 값의 차이 및 위치 차이를 고려하여 결정된다. 불연속 코스트는 이웃하는 픽셀들 간에 컬러 값이 유사하면 이산 깊이 값도 유사해지도록 영향을 주는 요인(factor)이다.
1030단계에서, 깊이 영상 변환 장치는 고해상도 이산 깊이 영상에서 이웃하는 픽셀들 간에 이산 깊이 값의 차이가 소정의 임계 값 이하인 경우에, 업 샘플링 된 깊이 영상(1031)에서 대응하는 픽셀을 필터링하여 고해상도의 깊이 영상(1040)으로 변환할 수 있다. 깊이 영상 변환 장치는 업 샘플링 깊이 경계(1033) 및 고해상도 컬러 영상(1021)을 고려하여 상기 필터링을 수행할 수 있다. 또한, 깊이 영상 변환 장치는 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상함으로써, 이산 깊이 값을 고려하여 발생한 불연속 부분을 보상할 수 있다.
도 11은 본 발명의 다른 일실시예에 따른 깊이 영상 변환 방법의 흐름도이다.
1110단계에서, 깊이 영상 변환 장치는 저해상도 깊이 영상(1101)에서 이웃하는 픽셀들 간에 깊이 값의 차이가 임계 값 이상인 경우를 깊이 경계로 추출할 수 있다.
1120단계에서, 깊이 영상 변환 장치는 저해상도 깊이 영상(1101)을 보간(interpolation)하여 고해상도의 깊이 영상(1181)과 동일한 크기로 업 샘플링 된 깊이 영상(1121)을 생성할 수 있다.
1130단계에서, 깊이 영상 변환 장치는 깊이 경계를 보간하여 업 샘플링 된 깊이 경계(1131)를 생성할 수 있다. 업 샘플링 된 깊이 경계(1131)는 이웃하는 픽셀들 간의 깊이 값의 차이에 따라 구별되는 경계 영역 및 경계 에지를 포함할 수 있다.
1140단계에서, 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상(1121)의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성할 수 있다. 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상(1121)으로부터 정수화 된 디스패리티(disparity) 값을 추정하고, 정수화 된 디스패리티 값을 이용하여 이산 깊이 영상을 생성할 수도 있다.
1150단계에서, 깊이 영상 변환 장치는 이산 깊이 영상을 입력으로 하고, 고해상도 컬러 영상(1103) 및 업 샘플링 된 깊이 경계(1131)를 고려한 목적함수를 계산하고, 최적화하여 고해상도 이산 깊이 영상(1151)을 추정할 수 있다. 목적함수에는 데이터 코스트 및 불연속 코스트가 반영된다. 데이터 코스트는 이산 깊이 영상에서 경계 영역인지 또는 경계 에지 인지에 따라 서로 다른 방식으로 결정된다. 데이터 코스트는 경계 영역에서는 이웃하는 픽셀들 간의 컬러-깊이 유사 가중치를 고려하여 결정되고, 경계 에지에서는 이웃하는 픽셀들의 이산 깊이 값을 고려하여 결정된다. 불연속 코스트는 이웃하는 픽셀들 간에 컬러 값의 차이에 따라 결정된다.
1160단계에서, 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상(1121)에서 업 샘플링 된 깊이 경계(1131)의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행할 수 있다. 깊이 영상 변환 장치는 경계 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 고해상도 이산 깊이 영상(1151)의 이산 깊이 값의 차이, 고해상도 컬러 영상(1103)의 컬러 값의 차이, 업 샘플링 된 깊이 영상(1121)의 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용할 수 있다. 깊이 영상 변환 장치는 경계 에지 및 평탄 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 업 샘플링 된 깊이 영상(1121)의 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용할 수 있다.
1170단계에서, 깊이 영상 변환 장치는 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상할 수 있다. 저-고해상도 깊이 일관성은 고해상도 깊이 영상(1181)에서 소정 픽셀의 깊이 값과 저해상도 깊이 영상(1101)에서 상기 소정 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)을 의미한다. 저-고해상도 깊이 일관성은 저해상도 깊이 영상(1101)에서 소정 픽셀의 깊이 값이 고해상도 깊이 영상(1181)의 대응하는 픽셀들의 깊이 값으로부터 어떻게 결정되는지를 나타낼 수 있다. 깊이 영상 변환 장치는 보상을 통해 저해상도 깊이 영상(1101)에 반영된 피사체의 깊이 값이 고해상도 깊이 영상(1181)에서 왜곡되지 않고 반영될 수 있도록 한다.
1180단계에서, 깊이 영상 변환 장치는 피드백 횟수가 n이하인 경우에, 깊이 값이 보상된 픽셀을 1160단계에서 다시 필터링을 수행하도록 피드백 할 수 있다. 깊이 영상 장치는 피드백 횟수가 n을 초과하는 경우에 보상된 픽셀을 최종 고해상도 깊이 영상(1181)으로 결정할 수 있다. 깊이 영상 변환 장치는 필터링과 보상의 반복을 통해 고해상도 깊이 영상(1181)에서 전경과 배경 간에 발생하는 깊이 블러(Depth Blur)를 최소화하고, 영상의 불연속 부분을 최소화할 수 있다. 또한, 깊이 영상 변환 장치는 고해상도 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성할 수도 있다. 즉, 깊이 영상 변환 장치는 획득한 고해상도 깊이 영상(1181)을 1140단계에서 다시 양자화 하도록 함으로써, 업데이트된 이산 깊이 영상을 생성할 수 있다. 또한, 깊이 영상 변환 장치는 1140단계 이후의 절차를 반복함으로써 새로운 고해상도 깊이 영상(1181)을 생성할 수 있다.
도 12는 본 발명의 일실시예에 따라 저해상도의 깊이 영상으로부터 변환된 고해상도의 깊이 영상을 나타낸 도면이다.
도 12를 참조하면, 깊이 영상 변환 장치는 저해상도 깊이 영상(1210)을 보간하여 업 샘플링 된 깊이 영상(1220)을 생성할 수 있다. 이때, 업 샘플링 된 깊이 영상(1220)은 고해상도 깊이 영상(1250)과 동일한 해상도를 갖는다. 깊이 영상 변환 장치는 업 샘플링 된 깊이 영상(1220)을 양자화하고, 고해상도 컬러 영상(1240) 및 업 샘플링 된 깊이 경계를 고려하여 고해상도 이산 깊이 영상(1230)을 생성할 수 있다. 깊이 영상 변환 장치는 고해상도 이산 깊이 영상(1230) 및 고해상도 컬러 영상(1240)을 고려하여 업 샘플링 된 깊이 영상(1220)을 필터링 함으로써 고해상도 깊이 영상(1250)을 생성할 수 있다. 또한, 깊이 영상 변환 장치는 저해상도 깊이 영상(1210)과 고해상도 깊이 영상(1220) 간의 관계에 기초하여 필터링 된 깊이 영상을 보상할 수 있다. 보상을 통해 고해상도 깊이 영상(1250)은 업 샘플링 된 깊이 영상(1220)에 비해 전경과 배경의 경계가 선명하면서도, 업 샘플링 된 깊이 영상(1220)에 촬영된 대상을 왜곡 없이 표시하고 있다.
상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (25)

  1. 업 샘플링 된 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성하는 이산 깊이 영상 생성부;
    상기 이산 깊이 영상에 대하여 고해상도 컬러 영상 및 업 샘플링 된 깊이 경계를 고려한 목적함수를 최적화하여 고해상도 이산 깊이 영상을 추정하는 고해상도 이산 깊이 영상 추정부; 및
    상기 고해상도 이산 깊이 영상에서 이웃하는 픽셀들 간에 이산 깊이 값의 차이가 소정의 임계 값 이하인 경우를 필터링하여 상기 업 샘플링 된 깊이 영상을 고해상도의 깊이 영상으로 변환하는 영상 변환부
    를 포함하는 깊이 영상 변환 장치.
  2. 제1항에 있어서,
    저해상도 깊이 영상을 보간(interpolation) 하여 상기 고해상도의 깊이 영상과 동일한 크기로 상기 업 샘플링 된 깊이 영상을 생성하는 업 샘플링 깊이 영상 생성부;
    상기 저해상도 깊이 영상에서 이웃하는 픽셀들 간에 깊이 값의 차이가 임계 값 이상인 경우를 깊이 경계로 추출하는 깊이 경계 추출부; 및
    상기 깊이 경계를 보간하여 상기 업 샘플링 된 깊이 경계를 생성하는 업 샘플링 깊이 경계 생성부
    를 더 포함하는 깊이 영상 변환 장치.
  3. 제1항에 있어서,
    상기 이산 깊이 영상 생성부는
    상기 업 샘플링 된 깊이 영상의 깊이 값과 반비례하고, 저해상도 깊이 영상의 촬영시점(viewpoint)과 가상의 촬영시점 간의 베이스라인 길이 및 초점 길이에 비례하는 정수화 된 디스패리티(disparity) 값을 추정하는 디스패리티 추정부를 포함하고,
    상기 정수화 된 디스패리티 값을 상기 이산 깊이 영상의 이산 깊이 값으로 사용하는
    깊이 영상 변환 장치.
  4. 제1항에 있어서,
    상기 업 샘플링 된 깊이 경계는 이웃하는 픽셀들 간의 깊이 값의 차이에 따라 구별되는 경계 영역 및 경계 에지를 포함하고,
    상기 고해상도 이산 깊이 영상 추정부는
    상기 이산 깊이 영상에서 상기 경계 영역에 해당하는 경우와 상기 경계 에지에 해당하는 경우에 따라 서로 다른 방식으로 결정되는 데이터 코스트 및 이웃하는 픽셀들 간에 컬러 값의 차이에 따라 결정되는 불연속 코스트를 반영하는 상기 목적함수를 계산하는 목적함수 계산부; 및
    상기 목적함수의 최소값을 추정하는 최소값 추정부
    를 포함하는 깊이 영상 변환 장치.
  5. 제4항에 있어서,
    상기 데이터 코스트는
    상기 경계 영역에서는 픽셀의 이산 깊이 값과 상기 고해상도 이산 깊이 영상에서 상기 픽셀에 대응하는 픽셀의 이산 깊이 값의 차이가 소정의 임계 값 이하가 되도록 상기 이웃하는 픽셀들 간의 컬러-깊이 유사 가중치를 고려하여 결정되고,
    상기 경계 에지에서는 상기 이웃하는 픽셀들의 이산 깊이 값을 고려하여 결정되는
    깊이 영상 변환 장치.
  6. 제5항에 있어서,
    상기 컬러-깊이 유사 가중치는
    상기 이웃하는 픽셀들 간의 컬러 값의 차이, 깊이 값의 차이 및 거리에 기초하여 결정되는
    깊이 영상 변환 장치.
  7. 제4항에 있어서,
    상기 불연속 코스트는
    상기 이웃하는 픽셀들 간에 컬러 값의 차이가 적으면 상기 이웃하는 픽셀들의 이산 깊이 값의 차이도 작아지도록 상기 이웃하는 픽셀들 간에 컬러 값의 차이 및 위치 차이를 고려하여 결정되는
    깊이 영상 변환 장치.
  8. 제4항에 있어서,
    상기 최소값 추정부는
    상기 이웃하는 픽셀들의 이산 깊이 값이 불연속적인 경우에도 상기 목적함수의 최소값을 추정하는 알고리즘을 이용하여, 상기 고해상도 이산 깊이 영상의 이산 깊이 값을 추정하는
    깊이 영상 변환 장치.
  9. 제1항에 있어서,
    상기 영상 변환부는
    상기 업 샘플링 된 깊이 영상에서 상기 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행하는 필터링부
    를 포함하는 깊이 영상 변환 장치.
  10. 제9항에 있어서,
    상기 필터링부는
    상기 경계 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 이산 깊이 값의 차이-상기 고해상도 이산 깊이 영상에서 대응하는 픽셀들 간-, 컬러 값의 차이, 깊이 값의 차이-상기 업 샘플링 된 깊이 영상에서 대응하는 픽셀들 간- 및 위치 차이를 고려하여 결정되는 가중치를 적용하고,
    상기 경계 에지 및 상기 평탄 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용하는
    깊이 영상 변환 장치.
  11. 제9항에 있어서,
    상기 영상 변환부는
    상기 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상하는 보상부
    를 포함하는 깊이 영상 변환 장치.
  12. 제11항에 있어서,
    상기 저-고해상도 깊이 일관성은
    상기 필터링 된 픽셀의 깊이 값과 저해상도 깊이 영상에서 상기 필터링 된 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)임을 특징으로 하는 깊이 영상 변환 장치.
  13. 제11 항에 있어서,
    상기 영상 변환부는
    상기 깊이 값이 보상된 픽셀을 상기 필터링부의 입력 값으로 피드백하는 피드백 처리부
    를 포함하는 깊이 영상 변환 장치.
  14. 제1항에 있어서,
    상기 영상 변환부는
    상기 업 샘플링 된 깊이 영상에서 상기 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행함과 동시에, 상기 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상하는
    깊이 영상 변환 장치.
  15. 업 샘플링 된 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성하는 단계;
    상기 이산 깊이 영상을 입력으로 하고, 고해상도 컬러 영상 및 업 샘플링 된 깊이 경계를 고려한 목적함수를 최적화하여 고해상도 이산 깊이 영상을 추정하는 단계; 및
    상기 고해상도 이산 깊이 영상에서 이웃하는 픽셀들 간에 이산 깊이 값의 차이가 소정의 임계 값 이하인 경우를 필터링하여 상기 업 샘플링 된 깊이 영상을 고해상도의 깊이 영상으로 변환하는 단계
    를 포함하는 깊이 영상 변환 방법.
  16. 제15항에 있어서,
    저해상도 깊이 영상을 보간(interpolation)(Bilinear, Bicubic)하여 상기 고해상도의 깊이 영상과 동일한 크기로 상기 업 샘플링 된 깊이 영상을 생성하는 단계;
    상기 저해상도 깊이 영상에서 이웃하는 픽셀들 간에 깊이 값의 차이가 임계 값 이상인 경우를 깊이 경계로 추출하는 단계; 및
    상기 깊이 경계를 보간(Nearest Neighbor)하여 상기 업 샘플링 된 깊이 경계를 생성하는 단계
    를 더 포함하는 깊이 영상 변환 방법.
  17. 제15항에 있어서,
    상기 이산 깊이 영상을 생성하는 단계는
    상기 업 샘플링 된 깊이 영상의 깊이 값과 반비례하고, 저해상도 깊이 영상의 촬영시점(viewpoint)과 가상의 촬영시점 간의 베이스라인 길이 및 초점 길이에 비례하는 정수화 된 디스패리티(disparity) 값을 추정하는 단계를 포함하고,
    상기 정수화 된 디스패리티 값을 상기 이산 깊이 영상의 이산 깊이 값으로 사용하는
    깊이 영상 변환 방법.
  18. 제15항에 있어서,
    상기 업 샘플링 된 깊이 경계는 이웃하는 픽셀들 간의 깊이 값의 차이에 따라 구별되는 경계 영역 및 경계 에지를 포함하고,
    상기 고해상도 이산 깊이 영상을 추정하는 단계는
    상기 이산 깊이 영상에서 상기 경계 영역에 해당하는 경우와 상기 경계 에지에 해당하는 경우에 따라 서로 다른 방식으로 결정되는 데이터 코스트 및 이웃하는 픽셀들 간에 컬러 값의 차이에 따라 결정되는 불연속 코스트를 반영하는 상기 목적함수를 계산하는 단계; 및
    상기 목적함수의 최소값을 추정하는 단계
    를 포함하는 깊이 영상 변환 방법.
  19. 제18항에 있어서,
    상기 데이터 코스트는
    상기 경계 영역에서는 픽셀의 이산 깊이 값과 상기 고해상도 이산 깊이 영상에서 상기 픽셀에 대응하는 픽셀의 이산 깊이 값의 차이가 소정의 임계 값 이하가 되도록 상기 이웃하는 픽셀들 간의 컬러-깊이 유사 가중치를 고려하여 결정되고,
    상기 경계 에지에서는 상기 이웃하는 픽셀들의 이산 깊이 값을 고려하여 결정되는
    깊이 영상 변환 방법.
  20. 제19항에 있어서,
    상기 컬러-깊이 유사 가중치는
    상기 이웃하는 픽셀들 간의 컬러 값의 차이, 깊이 값의 차이 및 거리에 기초하여 결정되는
    깊이 영상 변환 장치.
  21. 제18항에 있어서,
    상기 불연속 코스트는
    상기 이웃하는 픽셀들 간에 컬러 값의 차이가 적으면 상기 이웃하는 픽셀들의 이산 깊이 값의 차이도 작아지도록 상기 이웃하는 픽셀들 간에 컬러 값의 차이 및 위치 차이를 고려하여 결정되는
    깊이 영상 변환 방법.
  22. 제15항에 있어서,
    상기 변환하는 단계는
    상기 업 샘플링 된 깊이 영상에서 상기 업 샘플링 된 깊이 경계의 경계 영역에 대응하는 픽셀과 경계 에지 및 평탄 영역에 대응하는 픽셀에 대하여 서로 다른 가중치를 적용하여 필터링을 수행하는 단계
    를 포함하는 깊이 영상 변환 방법.
  23. 제22항에 있어서,
    상기 필터링을 수행하는 단계는
    상기 경계 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 이산 깊이 값의 차이-상기 고해상도 이산 깊이 영상에서 대응하는 픽셀들 간-, 컬러 값의 차이, 깊이 값의 차이-상기 업 샘플링 된 깊이 영상에서 대응하는 픽셀들 간- 및 위치 차이를 고려하여 결정되는 가중치를 적용하고,
    상기 경계 에지 및 상기 평탄 영역에 대응하는 픽셀에는 이웃하는 픽셀들 간의 깊이 값의 차이 및 위치 차이를 고려하여 결정되는 가중치를 적용하는
    깊이 영상 변환 방법.
  24. 제22항에 있어서,
    상기 변환하는 단계는
    상기 필터링 된 픽셀의 깊이 값을 저-고해상도 깊이 일관성에 기초하여 보상하는 단계
    를 포함하는 깊이 영상 변환 방법.
  25. 제15항에 있어서,
    상기 이산 깊이 영상을 생성하는 단계는
    상기 고해상도 깊이 영상의 깊이 값을 양자화하여 이산 깊이(discrete depth) 영상을 생성하는
    깊이 영상 변환 방법.
KR1020110084918A 2011-07-07 2011-08-25 깊이 영상 변환 장치 및 방법 KR101828814B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/466,573 US9047681B2 (en) 2011-07-07 2012-05-08 Depth image conversion apparatus and method
CN201210193354.3A CN102867288B (zh) 2011-07-07 2012-06-12 深度图像转换设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161505218P 2011-07-07 2011-07-07
US61/505,218 2011-07-07

Publications (2)

Publication Number Publication Date
KR20130006246A true KR20130006246A (ko) 2013-01-16
KR101828814B1 KR101828814B1 (ko) 2018-02-13

Family

ID=47837380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110084918A KR101828814B1 (ko) 2011-07-07 2011-08-25 깊이 영상 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101828814B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150008744A (ko) * 2013-07-15 2015-01-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
KR101532642B1 (ko) * 2014-03-04 2015-06-30 광주과학기술원 깊이정보 확장장치 및 방법
US9367920B2 (en) 2013-08-19 2016-06-14 Samsung Electronics Co., Ltd. Method and apparatus for processing images
US10615872B2 (en) 2016-11-24 2020-04-07 Yuyang Dnu Co., Ltd. Method and apparatus for managing visible light communication devices
WO2020071883A1 (ko) * 2018-10-05 2020-04-09 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN112446946A (zh) * 2019-08-28 2021-03-05 深圳市光鉴科技有限公司 基于稀疏深度与边界的深度重建方法、系统、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8248410B2 (en) * 2008-12-09 2012-08-21 Seiko Epson Corporation Synthesizing detailed depth maps from images

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150008744A (ko) * 2013-07-15 2015-01-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
US9767596B2 (en) 2013-07-15 2017-09-19 Samsung Electronics Co., Ltd. Method and apparatus for processing depth image
US9367920B2 (en) 2013-08-19 2016-06-14 Samsung Electronics Co., Ltd. Method and apparatus for processing images
KR101532642B1 (ko) * 2014-03-04 2015-06-30 광주과학기술원 깊이정보 확장장치 및 방법
US10615872B2 (en) 2016-11-24 2020-04-07 Yuyang Dnu Co., Ltd. Method and apparatus for managing visible light communication devices
WO2020071883A1 (ko) * 2018-10-05 2020-04-09 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
KR20200039418A (ko) * 2018-10-05 2020-04-16 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN112806000A (zh) * 2018-10-05 2021-05-14 Lg伊诺特有限公司 获得深度信息的方法和相机模块
CN112806000B (zh) * 2018-10-05 2023-12-12 Lg伊诺特有限公司 获得深度信息的方法和相机模块
US12078729B2 (en) 2018-10-05 2024-09-03 Lg Innotek Co., Ltd. Method for obtaining depth information, and camera module
CN112446946A (zh) * 2019-08-28 2021-03-05 深圳市光鉴科技有限公司 基于稀疏深度与边界的深度重建方法、系统、设备及介质

Also Published As

Publication number Publication date
KR101828814B1 (ko) 2018-02-13

Similar Documents

Publication Publication Date Title
US9047681B2 (en) Depth image conversion apparatus and method
CN111066065B (zh) 用于混合深度正则化的系统和方法
EP3841554B1 (en) Method and system for reconstructing colour and depth information of a scene
Jeon et al. Accurate depth map estimation from a lenslet light field camera
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
JP7134012B2 (ja) 視差推定装置及び方法
CN103814306B (zh) 深度测量质量增强
KR101742120B1 (ko) 영상 처리 장치 및 방법
KR101978172B1 (ko) 깊이 영상을 고해상도로 변환하는 방법 및 장치
KR20100085675A (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US11153552B2 (en) Image processing apparatus, image processing method and non-transitory computer-readable storage medium
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
CN106780590A (zh) 一种深度图的获取方法及系统
JP2020010146A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101855980B1 (ko) 홀 채우기 방법 및 장치
JPWO2019107180A1 (ja) 符号化装置、符号化方法、復号装置、および復号方法
KR20120127151A (ko) 영상 변환 장치 및 방법
CN110942506B (zh) 一种物体表面纹理重建方法、终端设备及系统
EP2887310A1 (en) Method and apparatus for processing light-field image
WO2018133027A1 (zh) 基于灰度约束的三维数字散斑的整像素搜索方法及装置
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
JP2019169000A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019020952A (ja) 画像処理装置、方法、及びプログラム
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110825

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160825

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110825

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170523

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171114

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180208

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210120

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220112

Start annual number: 5

End annual number: 5