KR20120127151A - 영상 변환 장치 및 방법 - Google Patents

영상 변환 장치 및 방법 Download PDF

Info

Publication number
KR20120127151A
KR20120127151A KR1020110061531A KR20110061531A KR20120127151A KR 20120127151 A KR20120127151 A KR 20120127151A KR 1020110061531 A KR1020110061531 A KR 1020110061531A KR 20110061531 A KR20110061531 A KR 20110061531A KR 20120127151 A KR20120127151 A KR 20120127151A
Authority
KR
South Korea
Prior art keywords
depth
image
high resolution
gradient
low
Prior art date
Application number
KR1020110061531A
Other languages
English (en)
Inventor
최욱
임화섭
이기창
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110061531A priority Critical patent/KR20120127151A/ko
Publication of KR20120127151A publication Critical patent/KR20120127151A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

저해상도의 깊이 영상을 고해상도의 컬러 영상과 동일한 해상도의 깊이 영상으로 변환하는 장치 및 방법에 관한 것으로, 영상 변환 장치는 업 샘플링 된 깊이 영상 및 고해상도 컬러 영상에서 이웃 픽셀들 간의 컬러-깊이 유사도를 이용하여 고해상도 깊이 영상의 깊이 유사 가중치를 결정하고, 상기 업 샘플링 된 깊이 영상에 기초하여 생성된 깊이 그래디언트(gradient) 영상의 에지(edge)의 폭을 저-고해상도 깊이 에지 폭 상관관계를 이용하여 감쇄시킴으로써, 고해상도 깊이 그래디언트 영상을 생성하며, 상기 깊이 유사 가중치, 상기 고해상도 깊이 그래디언트 영상 및 저-고해상도 깊이 일관성에 기초하여 저해상도 깊이 영상을 고해상도 깊이 영상으로 변환한다.

Description

영상 변환 장치 및 방법{IMAGE CONVERSION APPARATUS AND METHOD THEREOF}
기술분야는 저해상도의 깊이 영상을 고해상도의 컬러 영상과 동일한 해상도의 깊이 영상으로 변환하는 장치 및 방법에 관한 것이다.
ToF(Time-of-Flight) 깊이 카메라는 실시간으로 신(scene)의 깊이 정보를 제공한다. 그런데, ToF 카메라의 픽셀로 사용되는 포토다이오드(Photodiode)의 낮은 감도로 인하여, 픽셀의 크기가 커지고, 큰 픽셀로 인하여 해상도가 낮아진다.
또한, 현재 상용화된 깊이 카메라들은 컬러 정보를 획득할 수 없으므로, 신의 3차원 모델을 생성하기 위해서는 별도의 컬러 카메라로 컬러 정보를 획득해야 한다. 또한, 컬러 카메라와 깊이 카메라를 기하학적으로 캘리브레이션(calibration) 할 필요가 있다. 또한, 컬러 카메라와 깊이 카메라의 시점을 유사하게 맞추기 위해, 빔 스플리터(Beam Splitter)와 같은 장치가 필요하고, 이로 인하여 카메라의 크기가 커진다.
최근 하나의 카메라로 신의 컬러와 깊이를 동일 시점에서 센싱하는 것이 가능해졌다. 이러한 카메라를 컬러-깊이 카메라라고 부를 수 있다.
그러나 컬러-깊이 카메라는 포토다이오드의 낮은 감도로 인하여 4개 또는 16개의 컬러 픽셀들을 연결하여 하나의 깊이 픽셀로 사용해야 한다. 따라서, 컬러 영상의 해상도를 그대로 유지하면서, 컬러-깊이 영상으로부터 새로운 시점의 영상을 생성하기 위해서는 깊이 영상의 해상도를 컬러 영상의 수준으로 높여줄 필요가 있다.
일 측면에 있어서, 영상 변환 장치는 업 샘플링 된 깊이 영상 및 고해상도 컬러 영상에서 이웃 픽셀들 간의 컬러-깊이 유사도를 이용하여 고해상도 깊이 영상의 깊이 유사 가중치를 결정하는 가중치 결정부, 상기 업 샘플링 된 깊이 영상에 기초하여 생성된 깊이 그래디언트(gradient) 영상의 에지(edge)의 폭을 저-고해상도 깊이 에지 폭 상관관계를 이용하여 감쇄시킴으로써, 고해상도 깊이 그래디언트 영상을 생성하는 그래디언트 영상 생성부 및 상기 깊이 유사 가중치, 상기 고해상도 깊이 그래디언트 영상 및 저-고해상도 깊이 일관성에 기초하여 저해상도 깊이 영상을 고해상도 깊이 영상으로 변환하는 영상 변환부를 포함한다.
다른 일 측면에 있어서, 영상 변환 장치는 상기 저해상도 깊이 영상 및 상기 고해상도 컬러 영상을 입력받는 입력부 및 상기 저해상도 깊이 영상을 보간(interpolation)하여 상기 업 샘플링 된 깊이 영상을 생성하는 업 샘플링부를 더 포함할 수 있다.
상기 가중치 결정부는 상기 고해상도 깊이 영상의 제1 픽셀과 인접한 제2 픽셀에 대하여, 상기 업 샘플링 된 깊이 영상에서 깊이 값의 유사도를 계산하고, 상기 고해상도 컬러 영상에서 컬러 값의 유사도를 계산하는 유사도 계산부를 포함할 수 있다.
상기 유사도 계산부는 상기 제1 픽셀과 상기 제2 픽셀간의 거리를 계산할 수 있다.
상기 가중치 결정부는 상기 이웃 픽셀들 간에 상기 컬러-깊이 유사도가 클수록 상기 깊이 유사 가중치가 큰 값을 갖도록 결정할 수 있다.
상기 그래디언트 영상 생성부는 상기 업 샘플링 된 깊이 영상에 대해서 그래디언트의 크기를 계산하여 상기 깊이 그래디언트 영상을 생성하는 계산부 및 상기 그래디언트의 크기의 국부 최대값(Local Maximum)을 계산하여 상기 에지를 추출하는 에지 추출부를 포함할 수 있다.
상기 그래디언트 영상 생성부는 상기 깊이 그래디언트 영상과 기존에 저장된 원본 고해상도 깊이 그래디언트 영상 간에 대응하는 에지의 폭을 추출하여 상기 저-고해상도 깊이 에지 폭 상관관계를 획득하는 상관관계 획득부를 포함할 수 있다.
상기 저-고해상도 깊이 일관성은 고해상도 깊이 영상에서 소정 픽셀의 깊이 값과 저해상도 깊이 영상에서 상기 소정 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)을 의미할 수 있다.
상기 저-고해상도 깊이 일관성은 촬영 장치의 렌즈에 따라 결정되는 상기 저해상도 깊이 영상의 분포에 기초하여 결정될 수 있다.
상기 영상 변환부는 상기 깊이 유사 가중치, 상기 고해상도 깊이 그래디언트 영상 및 상기 저-고해상도 깊이 일관성을 고려한 목적함수가 최소값을 가지도록 최적화를 수행하는 최적화부를 포함할 수 있다.
상기 최적화부는 상기 고해상도 깊이 영상의 크기가 큰 경우에는 켤레 구배 알고리즘(Conjugate Gradient Descent Algorithm) 또는 야코비 반복(Jacobi iterative) 알고리즘을 이용하여 최적화를 수행할 수 있다.
일 측면에 있어서, 영상 변환 방법은 업 샘플링 된 깊이 영상 및 고해상도 컬러 영상에서 이웃 픽셀들 간의 컬러-깊이 유사도를 이용하여 고해상도 깊이 영상의 깊이 유사 가중치를 결정하는 단계, 상기 업 샘플링 된 깊이 영상에 기초하여 생성된 깊이 그래디언트(gradient) 영상의 에지의 폭을 저-고해상도 깊이 에지 폭 상관관계를 이용하여 감쇄시킴으로써, 고해상도 깊이 그래디언트 영상을 생성하는 단계 및 상기 깊이 유사 가중치, 상기 고해상도 깊이 그래디언트 영상 및 저-고해상도 깊이 일관성에 기초하여 저해상도 깊이 영상을 고해상도 깊이 영상으로 변환하는 단계를 포함한다.
상기 가중치를 결정하는 단계는 상기 고해상도 깊이 영상의 제1 픽셀과 인접한 제2 픽셀에 대하여, 상기 업 샘플링 된 깊이 영상에서 깊이 값의 유사도를 계산하고, 상기 고해상도 컬러 영상에서 컬러 값의 유사도를 계산하는 단계를 포함할 수 있다.
상기 그래디언트 영상을 생성하는 단계는 상기 업 샘플링 된 깊이 영상에 대해서 그래디언트의 크기를 계산하여 상기 깊이 그래디언트 영상을 생성하는 단계 및 상기 그래디언트의 크기의 국부 최대값(Local Maximum)을 계산하여 상기 에지를 추출하는 단계를 포함할 수 있다.
상기 그래디언트 영상을 생성하는 단계는 상기 깊이 그래디언트 영상과 기존에 저장된 원본 고해상도 깊이 그래디언트 영상 간에 대응하는 에지의 폭을 추출하여 상기 저-고해상도 깊이 에지 폭 상관관계를 획득하는 단계를 포함할 수 있다.
업 샘플링 된 깊이 영상과 고해상도 컬러 영상, 저-고해상도 깊이 에지 폭 상관관계를 이용함으로써, 컬러 영상과 동일한 해상도의 샤프한 에지를 가지는 깊이 영상을 생성할 수 있다.
또한, 고해상도 깊이 영상과 저해상도 깊이 영상의 깊이 일관성, 고해상도 깊이 영상에서 이웃 픽셀들 간의 깊이-컬러 유사도, 고해상도 깊이 그래디언트 영상의 에지의 폭을 최적화함으로써, 컬러 영상과 동일한 해상도의 깊이 영상을 생성할 수 있다.
또한, 변환된 고해상도의 깊이 영상을 컬러 정보와 깊이 정보를 모두 가지는 3차원(3D) 신(scene) 모델의 생성에 활용할 수 있다.
또한, 변환된 고해상도의 깊이 영상을 컬러-깊이 기반 이미지 워핑(warping)을 통한 다시점 영상의 생성에 입력 영상으로 활용될 수 있다.
도 1은 저해상도 깊이 영상과 일관성이 없는 고해상도 깊이 영상을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 변환 장치의 블록도이다.
도 3은 본 발명의 일실시예에서 필요한 저-고해상도 깊이 일관성의 계산에 사용되는 저해상도 픽셀과 저해상도 픽셀에 대응하는 고해상도 픽셀들을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따라 생성되는 깊이 영상 및 깊이 그래디언트 영상을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 저-고해상도 깊이 에지 폭 상관관계를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 저-고해상도 깊이 에지 폭 상관관계를 이용하여 깊이 그래디언트를 변환한 결과를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따라 저해상도 깊이 영상이 고해상도 깊이 영상으로 변환된 결과를 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 영상 변환 방법의 흐름도이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 저해상도 깊이 영상과 일관성이 없는 고해상도 깊이 영상을 나타낸 도면이다.
도 1은 이웃 픽셀간의 컬러 값 또는 깊이 값의 유사성을 이용하고, 각 픽셀의 깊이 값에 가중치를 부여하여 저해상도 깊이 영상(110)으로부터 고해상도 깊이 영상(120)이 생성된 경우를 나타낸다. 그런데, 픽셀의 깊이 값에 부여하는 가중치를 잘못 설정하는 경우, 도 1과 같이 저해상도 깊이 영상과 일관성이 없는 고해상도 깊이 영상이 생성될 수 있다. 고해상도 깊이 영상(120)을 살펴보면, 물체의 경계부분에서 작은 실과 같은 구조들이 보인다. 왜냐하면, 고해상도 컬러 영상(130)으로부터 이웃 픽셀간의 컬러 유사성으로 인하여, 저해상도 깊이 영상에는 없던 깊이 구조가 생성될 수 있기 때문이다. 따라서, 이웃 픽셀간의 컬러 값 또는 깊이 값의 유사성뿐만 아니라 다른 요소들을 고려하여 고해상도 깊이 영상을 생성할 필요가 있다.
본 발명의 일실시예에 따른 영상 변환 장치는 이웃 픽셀간의 컬러-깊이 유사성 이외에도, 저-고해상도 깊이 에지 폭 상관관계 및 대응하는 픽셀의 저-고해상도 깊이 일관성 등의 제약 조건을 반영하여, 저해상도 깊이 영상과 일관성이 있으면서도, 깊이 경계가 sharp한 고해상도 깊이 영상을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 변환 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 영상 변환 장치는 입력부(210), 업 샘플링부(220), 가중치 결정부(230), 그래디언트 영상 생성부(240) 및 영상 변환부(250)를 포함할 수 있다.
입력부(210)는 저해상도 깊이 영상 및 고해상도 컬러 영상을 입력 받을 수 있다. 업 샘플링부(220)는 저해상도 깊이 영상을 보간(interpolation)하여 업 샘플링 된 깊이 영상을 생성할 수 있다. 업 샘플링부(220)는 Bilinear 또는 Bicubic 등의 보간을 통하여 저해상도 깊이 영상을 고해상도 컬러 영상과 같은 크기의 깊이 영상으로 업 샘플링 할 수 있다.
가중치 결정부(230)는 업 샘플링 된 깊이 영상 및 고해상도 컬러 영상을 이용하여 이웃 픽셀들 간의 컬러-깊이 유사도를 계산할 수 있고, 컬러-깊이 유사도에 기초하여 깊이 유사 가중치를 결정할 수 있다. 컬러-깊이 유사도는 업 샘플링 된 깊이 영상에서 이웃 픽셀들 간의 깊이 값의 유사한 정도 및 고해상도 컬러 영상에서 이웃 픽셀들 간의 컬러 값의 유사한 정도를 의미한다.
가중치 결정부(230)는 컬러-깊이 유사도가 클수록 깊이 유사 가중치가 큰 값을 갖도록 결정할 수 있다. 가중치 결정부(230)는 [수학식 1]을 고려하여 깊이 유사 가중치를 결정할 수 있다.
[수학식 1]
Figure pat00001
여기서, wij는 깊이 유사 가중치를 의미하고, c(i), c(j)는 고해상도 컬러 영상에서 각각 픽셀 i와 j에서의 컬러 벡터를 의미하고, zU(i), zU(j)는 업 샘플링 된 깊이 영상에서 각각 픽셀 i와 j에서의 깊이 값을 의미하고, p(i), p(j)는 각각 픽셀 i와 j의 영상 좌표를 의미한다. σc, σz, σp는 각각 컬러 벡터, 깊이 값 및 픽셀 위치의 차이를 가중치로 변환시키는데 필요한 상수를 의미한다. 이때, 깊이 유사 가중치는 가우시안 weight를 적용하여 결정되었다.
가중치 결정부(230)는 Exponential Weight를 적용하여 깊이 유사 가중치를 결정할 수도 있다. 또한, 가중치 결정부(230)는 컬러 벡터, 깊이 값 및 픽셀 위치의 차이에 대한 임의의 단조 감소 함수를 적용하여 깊이 유사 가중치를 결정할 수도 있다.
가중치 결정부(230)는 유사도 계산부(231)를 포함할 수 있다.
유사도 계산부(231)는 고해상도 깊이 영상의 제1 픽셀과 인접한 제2 픽셀에 대하여, 업 샘플링 된 깊이 영상에서 깊이 값의 유사도를 계산하고, 고해상도 컬러 영상에서 컬러 값의 유사도를 계산할 수 있다. 또한, 유사도 계산부(231)는 제1 픽셀과 제2 픽셀간의 거리를 계산할 수 있다. 가중치 결정부(230)는 깊이 값의 유사도가 클수록, 컬러 값의 유사도가 클수록, 제1 픽셀과 제2 픽셀간의 거리가 작을수록 깊이 유사 가중치가 큰 값을 갖도록 결정할 수 있다.
그래디언트 영상 생성부(240)는 업 샘플링 된 깊이 영상에 기초하여 생성된 깊이 그래디언트(gradient) 영상의 에지(edge)의 폭을 저-고해상도 깊이 에지 폭 상관관계를 이용하여 감쇄시킴으로써, 고해상도 깊이 그래디언트 영상을 생성할 수 있다.
그래디언트 영상 생성부(240)는 계산부(241), 에지 추출부(243)를 포함할 수 있다. 계산부(241)는 업 샘플링 된 깊이 영상에 대해서 그래디언트의 크기를 계산하고, 그래디언트 크기에 따라 깊이 그래디언트 영상을 생성할 수 있다. 깊이 그래디언트 영상은 그래디언트의 크기가 반영된 깊이 영상을 의미한다.
에지 추출부(243)는 계산된 그래디언트의 크기의 국부 최대값(Local Maximum)을 계산하여 깊이 에지를 추출할 수 있다. 물체의 경계에서는 그래디언트의 크기가 증가할 수 있으므로, 그래디언트의 크기가 상대적으로 큰 부분에서 깊이 에지가 추출될 수 있다.
그래디언트 영상 생성부(240)는 상관관계 획득부(245)를 포함할 수 있다.
상관관계 획득부(245)는 깊이 그래디언트 영상과 기존에 저장된 원본 고해상도 깊이 그래디언트 영상 간에 대응하는 에지의 폭을 추출하여 저-고해상도 깊이 에지 폭 상관관계를 획득할 수 있다. 상관관계 획득부(245)는 대응하는 에지의 폭을 모든 대응 에지에서 추출하면, 깊이 그래디언트 영상의 깊이 에지의 폭에 대한 고해상도 깊이 에지의 폭의 상관관계를 획득할 수 있다. 상관관계 획득부(245)는 상관관계와 관련하여 주어진 각각의 데이터에 대해 다항 근사화(Polynomial Fitting) 방식을 이용하여 상관관계를 획득할 수도 있다.
그래디언트 영상 생성부(240)는 깊이 그래디언트 영상의 에지의 폭이 입력되면, 저-고해상도 깊이 에지 폭 상관관계에 따라 매칭되는 고해상도 깊이 그래디언트 영상의 에지의 폭을 출력할 수 있다. 고해상도 깊이 그래디언트 영상의 에지의 폭은 업 샘플링 된 깊이 그래디언트 영상의 에지의 폭보다 줄어든다. 따라서 고해상도 깊이 그래디언트 영상은 업 샘플링 된 깊이 그래디언트 영상보다 선명해진다.
저-고해상도 깊이 에지 폭 상관관계는 입력부(210)를 통하여 입력될 수도 있다. 저-고해상도 깊이 에지 폭 상관관계는 데이터베이스에 저장되어 있을 수 있다.
영상 변환부(250)는 깊이 유사 가중치, 고해상도 깊이 그래디언트 영상 및 저-고해상도 깊이 일관성에 기초하여 저해상도 깊이 영상을 고해상도 깊이 영상으로 변환할 수 있다. 영상 변환부(250)는 깊이 유사 가중치가 크고, 고해상도 깊이 그래디언트 영상의 결과를 반영하며, 저-고해상도 깊이 일관성이 큰 값을 가지는 경우를 만족시키는 최적의 조합으로 고해상도 깊이 영상을 생성할 수 있다.
이때, 저-고해상도 깊이 일관성은 고해상도 깊이 영상에서 소정 픽셀의 깊이 값과 저해상도 깊이 영상에서 상기 소정 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)을 의미한다. 저-고해상도 깊이 일관성은 저해상도 깊이 영상에서 소정 픽셀의 깊이 값이 고해상도 깊이 영상의 대응하는 픽셀들의 깊이 값으로부터 어떻게 결정되는지를 나타낼 수 있다.
저-고해상도 깊이 일관성은 저해상도 깊이 영상의 분포(distribution)에 기초하여 결정될 수 있다. 이때, 저해상도 깊이 영상의 분포는 촬영 장치의 렌즈에 따라 결정된다. 저해상도 깊이 영상의 분포는 Point Spread Function에 의해 결정되며, 단일(Uniform) 분포, 가우시안(Gaussian) 분포를 가질 수 있다.
영상 변환부(250)는 최적화부(251)를 포함할 수 있다.
최적화부(251)는 깊이 유사 가중치, 고해상도 깊이 그래디언트 영상 및 저-고해상도 깊이 일관성을 고려한 목적함수가 최소값을 가지도록 최적화를 수행할 수 있다.
상기 목적함수는 고해상도 깊이 영상에 대한 제약조건을 고려하여 정의될 수 있다. 제약조건에는 깊이 복원 제약조건, 깊이 유사 제약조건, 깊이 선명도 제약조건이 포함될 수 있다. 깊이 복원 제약조건을 저-고해상도 깊이 일관성을 반영하고, 깊이 유사 제약조건은 깊이 유사 가중치를 반영하며, 깊이 선명도 제약조건은 고해상도 깊이 그래디언트 영상을 반영한다.
목적함수 E(z)는 다음과 같이 표현될 수 있다.
Figure pat00002
Figure pat00003
R(z)는 깊이 복원 제약조건(Depth Reconstruction Constraint)을 나타내고, C(z)는 깊이 유사 제약조건(Depth Continuity Constraint)을 나타내고, S(z)는 깊이 선명도 제약조건(Depth Sharpness Constraint)을 나타낸다. 여기서, z는 고해상도 깊이 영상을 의미하고, z(i)는 고해상도 깊이 영상의 픽셀 i에서의 깊이 값을 의미하고, zL(k)는 고해상도 깊이 영상의 픽셀 i와 대응하는 저해상도 깊이 영상의 픽셀 k에서의 깊이 값을 의미한다. ui는 픽셀 i로부터 픽셀 k를 생성할 때의 기여도에 해당하는 복원 가중치를 의미하고, 복원 가중치는 촬영 장치의 센서 구조에 따라 결정된다. 이때 촬영 장치의 센서의 구조는 Point Spread Function으로 표현될 수 있다. Nk는 저해상도 깊이 영상의 픽셀 k에 대응하는 고해상도 깊이 영상의 픽셀들의 집합을 의미한다.
z(i)는 고해상도 깊이 영상의 픽셀 i에서의 깊이 값을 의미하고, z(j)는 픽셀 i의 주변의 이웃 픽셀의 깊이 값을 의미하고, Ni는 픽셀 i의 이웃 픽셀들의 집합을 의미하고, wij는 픽셀 i와 픽셀 j의 컬러-깊이 유사도에 기초하여 결정되는 깊이 유사 가중치를 의미하고, ∇z(i)는 고해상도 깊이 영상의 픽셀 i에서 깊이 그래디언트 벡터를 의미하고, ∇z H(i)는 저-고해상도 깊이 에지 폭 상관관계에 의해서 변환된 픽셀 i에서의 깊이 그래디언트 벡터를 의미한다. vi는 깊이 그래디언트 벡터의 크기에 의해서 결정되는 픽셀i의 가중치를 의미한다.
깊이 복원 제약조건 R(z)는 다음과 같이 표현될 수 있다.
Figure pat00004
깊이 복원 제약조건 R(z)는 고해상도 깊이 영상의 깊이 값과 저해상도 깊이 영상의 깊이 값의 일관성을 나타낸다. 촬영장치의 렌즈에 따라 복원 가중치 ui가 결정되면, 이를 고려하여, 깊이 값의 일관성이 유지되도록 고해상도 깊이 영상이 생성될 수 있다.
깊이 유사 제약조건 C(z)는 다음과 같이 표현될 수 있다.
Figure pat00005
깊이 유사 제약조건 C(z)는 인접하는 이웃 픽셀들 간의 깊이 값의 차이에, 컬러-깊이 유사도에 따른 깊이 유사 가중치를 반영하여, 피사체의 경계에서 깊이 값의 차이가 발생하는 경우를 좀 더 정확하게 반영할 수 있다.
깊이 선명도 제약조건 S(z)는 다음과 같이 표현될 수 있다.
Figure pat00006
깊이 선명도 제약조건 S(z)는 저-고해상도 깊이 에지 폭 상관관계에 기초하여 변환된 깊이 그래디언트 영상의 폭과 고해상도 깊이 그래디언트 영상의 폭의 차이를 반영할 수 있다.
목적함수 E(z)는 제곱의 합 형태이므로, z에 대해서 미분한 값이 0인 경우에, 최소 값을 갖는다. 목적함수 E(z)의 미분은 다음과 같이 표현될 수 있다.
Figure pat00007
최적화부(251)는 목적함수 E(z)를 미분하여 최적화를 수행할 수 있다. 위의 식을 정리하면, Az=b의 형태로 표현될 수 있다. 깊이 영상의 크기가 작은 경우에는 최적화부(251)는 직접 A의 Inverse 또는 Pseudo-inverse Matrix를 계산하여 다음과 같이 고해상도 깊이 영상 z를 생성할 수 있다.
Figure pat00008
깊이 영상의 크기가 큰 경우에는 최적화부(251)는 z의 초기값을 업 샘플링 된 깊이 영상으로 설정하고, 켤레 구배 알고리즘(Conjugate Gradient Descent Algorithm) 또는 야코비 반복(Jacobi iterative) 알고리즘을 이용하여 고해상도 깊이 영상 z를 생성할 수 있다.
도 3은 본 발명의 일실시예에서 필요한 저-고해상도 깊이 일관성의 계산에 사용되는 저해상도 픽셀과 저해상도 픽셀에 대응하는 고해상도 픽셀들을 나타낸 도면이다.
도 3을 참조하면, 일 예로서, 저해상도 깊이 영상의 픽셀 k(310)을 16배 고해상도 깊이 영상으로 변환할 경우, 16개의 고해상도 깊이 영상의 픽셀 Nk(320)와 대응된다.
저해상도 깊이 영상의 분포는 Point Spread Function에 의해 결정되며, 단일(Uniform) 분포, 가우시안(Gaussian) 분포를 가질 수 있다. Point Spread Function이 픽셀 좌표 평면 상에서 단일(Uniform) 분포를 갖는 경우에, 복원 가중치 ui는 1/16으로 동일 가중치를 갖고, 깊이 복원 제약조건 R(z)는 다음과 같이 [수학식 2]로 표현된다.
[수학식 2]
Figure pat00009
즉, [수학식 2]는 16개의 고해상도 깊이 영상의 픽셀들의 깊이 값의 평균이 대응하는 저해상도 깊이 영상의 픽셀의 깊이 값과 같다는 다음의 식을 목적 함수 형태로 나타낸 것이다.
Figure pat00010
복원 가중치 ui는 Point Spread Function의 형태에 따라서 달라질 수 있으며, 고해상도 깊이 영상의 픽셀 Nk 도 Point Spread Function의 형태에 따라서 달라질 수 있다.
도 4는 본 발명의 일실시예에 따라 생성되는 깊이 영상 및 깊이 그래디언트 영상을 나타낸 도면이다.
영상 변환 장치는 업 샘플링 된 깊이 영상(410)의 그래디언트(gradient) 크기를 계산하면, 깊이 그래디언트 영상(420)을 획득할 수 있다. 깊이 그래디언트 영상(420)에서 검은색으로 표시된 부분일수록 그래디언트 값이 크다. 실제 원본 고해상도 깊이 영상의 그래디언트 크기를 계산하여 생성된 깊이 그래디언트 영상(430)과 깊이 그래디언트 영상(420)을 비교하면, 물체의 경계에서 에지의 폭에 차이가 있음을 알 수 있다. 에지의 폭의 차이는 영상의 선명도(Sharpness)와 연관된다. 따라서, 깊이 그래디언트 영상(420)을 깊이 그래디언트 영상(430)과 같이 변환하는 방법이 요구된다.
도 5는 본 발명의 일실시예에 따른 저-고해상도 깊이 에지 폭 상관관계를 나타내는 도면이다.
도 5를 참조하면, 영상 변환 장치는 업 샘플링 된 깊이 영상으로부터 획득한 깊이 그래디언트 영상의 에지의 폭과 원본 고해상도 깊이 영상으로부터 계산된 깊이 그래디언트 영상의 에지의 폭을 비교하여 저-고해상도 깊이 에지 폭 상관관계를 획득할 수 있다. 저-고해상도 깊이 에지 폭 상관관계는 별도의 입력 값으로 영상 변환 장치에 입력될 수도 있다.
영상 변환 장치는 에지의 폭(501)과 대응하는 에지의 폭(503)을 추출하여 에지의 폭(501)이 3픽셀(531)인 경우에, 에지의 폭(503)의 픽셀이 2픽셀(533)이면, 저-고해상도 깊이 에지 폭 상관관계 관련 데이터를 획득할 수 있다. 에지의 폭(511)과 대응하는 에지의 폭(513)의 경우에도 저-고해상도 깊이 에지 폭 상관관계 데이터를 획득할 수 있고, 에지의 폭(521)과 대응하는 에지의 폭(523)의 경우에도 저-고해상도 깊이 에지 폭 상관관계 데이터를 획득할 수 있다. 컬러-영상 카메라의 특성에 따라 상관관계가 달라질 수 있으므로, 동일한 컬러-영상 카메라에서 촬영된 깊이 영상들로부터 저-고해상도 깊이 에지 폭 상관관계 데이터를 획득할 수 있다.
영상 변환 장치는 저-고해상도 깊이 에지 폭 상관관계 데이터들에 대해 다항 근사화(Polynomial Fitting) 방식을 적용하여 상관관계(540)를 획득할 수도 있다.
도 6은 본 발명의 일실시예에 따른 저-고해상도 깊이 에지 폭 상관관계를 이용하여 깊이 그래디언트를 변환한 결과를 나타낸 도면이다.
도 6을 참조하면, 영상 변환 장치는 업 샘플링 된 깊이 그래디언트 영상(610)의 깊이 에지의 폭(611)을 저-고해상도 깊이 에지 폭 상관관계(620)에 따라 매칭되는 고해상도 깊이 그래디언트 영상(630)의 깊이 에지의 폭(631)으로 변환할 수 있다. 깊이 에지의 폭(611)과 깊이 에지의 폭(631)을 비교해 보면 폭이 많이 감소함을 알 수 있다. 따라서, 고해상도 깊이 그래디언트 영상(630)은 업 샘플링 된 깊이 그래디언트 영상(610)보다 선명해 짐을 알 수 있다.
도 7은 본 발명의 일실시예에 따라 저해상도 깊이 영상이 고해상도 깊이 영상으로 변환된 결과를 나타낸 도면이다.
영상 변환 장치는 저해상도 깊이 영상(710)에 대해, 이웃 픽셀간의 컬러-깊이 유사성, 저-고해상도 깊이 에지 폭 상관관계 및 저-고해상도 깊이 일관성 등의 제약 조건을 반영한 목적함수를 최적화하여 고해상도 변환을 수행함으로써, 고해상도 깊이 영상(720)을 생성할 수 있다. 고해상도 깊이 영상(720)을 업 샘플링 된 깊이 영상(730)과 비교해보면, 고해상도 깊이 영상(720)에서 물체의 경계에서 선명도가 증가함을 알 수 있고, 에지의 폭이 감소하였음을 알 수 있다.
도 8은 본 발명의 일실시예에 따른 영상 변환 방법의 흐름도이다.
805단계에서, 영상 변환 장치는 저해상도 깊이 영상을 입력 받을 수 있다.
810단계에서, 영상 변환 장치는 고해상도 컬러 영상을 입력 받을 수 있다.
815단계에서, 영상 변환 장치는 업 샘플링 된 저해상도 깊이 영상을 생성할 수 있다. 영상 변환 장치는 Bilinear 또는 Bicubic 등의 보간을 통하여 저해상도 깊이 영상을 고해상도 컬러 영상과 같은 크기의 깊이 영상으로 업 샘플링 할 수 있다.
820단계에서, 영상 변환 장치는 깊이 그래디언트 영상을 생성할 수 있다.
영상 변환 장치는 업 샘플링 된 깊이 영상에 기초하여 깊이 그래디언트(gradient) 영상을 생성할 수 있다. 영상 변환 장치는 업 샘플링 된 깊이 영상에 대해서 그래디언트의 크기를 계산하고, 그래디언트 크기에 따라 깊이 그래디언트 영상을 생성할 수 있다. 깊이 그래디언트 영상은 그래디언트의 크기가 반영된 깊이 영상을 의미한다.
825단계에서, 영상 변환 장치는 업 샘플링 된 깊이 영상과 고해상도 컬러 영상을 이용하여 고해상도 깊이 영상에서 이웃 픽셀간 컬러-깊이 유사도를 계산할 수 있다. 영상 변환 장치는 컬러-깊이 유사도는 업 샘플링 된 깊이 영상에서 이웃 픽셀들 간의 깊이 값의 유사한 정도 및 고해상도 컬러 영상에서 이웃 픽셀들 간의 컬러 값의 유사한 정도를 의미한다.
830단계에서, 영상 변환 장치는 깊이 그래디언트 영상으로부터 에지(edge)를 추출할 수 있다. 영상 변환 장치는 계산된 그래디언트의 크기의 국부 최대값(Local Maximum)을 계산하여 깊이 에지를 추출할 수 있다. 물체의 경계에서는 그래디언트의 크기가 증가할 수 있으므로, 그래디언트의 크기가 상대적으로 큰 부분에서 깊이 에지가 추출될 수 있다.
835단계에서, 영상 변환 장치는 이웃 픽셀간 컬러-깊이 유사도에 기초하여 깊이 유사 가중치를 결정할 수 있다. 영상 변환 장치는 컬러-깊이 유사도가 클수록 깊이 유사 가중치가 큰 값을 갖도록 결정할 수 있다.
840단계에서, 영상 변환 장치는 저-고해상도 깊이 에지 폭 상관관계에 기초하여 고해상도 깊이 그래디언트 영상을 생성할 수 있다. 영상 변환 장치는 깊이 그래디언트(gradient) 영상의 에지(edge)의 폭을 저-고해상도 깊이 에지 폭 상관관계를 이용하여 감쇄시킴으로써, 고해상도 깊이 그래디언트 영상을 생성할 수 있다. 영상 변환 장치는 깊이 그래디언트 영상의 에지의 폭이 입력되면, 저-고해상도 깊이 에지 폭 상관관계에 따라 매칭되는 고해상도 깊이 그래디언트 영상의 에지의 폭을 출력할 수 있다.
845단계에서, 영상 변환 장치는 저해상도의 깊이 영상과 고해상도 깊이 영상 간의 저-고 해상도 깊이 일관성을 계산할 수 있다. 저-고해상도 깊이 일관성은 저해상도 깊이 영상에서 소정 픽셀의 깊이 값이 고해상도 깊이 영상의 대응하는 픽셀들의 깊이 값으로부터 어떻게 결정되는지를 나타낼 수 있다.
850단계에서, 영상 변환 장치는 저-고 해상도 깊이 일관성, 고해상도 깊이 그래디언트 영상 및 깊이 유사 가중치를 고려한 목적함수를 최적화할 수 있다. 목적함수는 고해상도 깊이 영상에 대한 제약조건을 고려하여 정의될 수 있다. 제약조건에는 깊이 복원 제약조건, 깊이 유사 제약조건, 깊이 선명도 제약조건이 포함될 수 있다. 깊이 복원 제약조건을 저-고해상도 깊이 일관성을 반영하고, 깊이 유사 제약조건은 깊이 유사 가중치를 반영하며, 깊이 선명도 제약조건은 고해상도 깊이 그래디언트 영상을 반영한다.
855단계에서, 영상 변환 장치는 목적함수의 최적화 결과 저해상도 깊이 영상을 고해상도 깊이 영상으로 변환할 수 있다.
상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 업 샘플링 된 깊이 영상 및 고해상도 컬러 영상에서 이웃 픽셀들 간의 컬러-깊이 유사도를 이용하여 고해상도 깊이 영상의 깊이 유사 가중치를 결정하는 가중치 결정부;
    상기 업 샘플링 된 깊이 영상에 기초하여 생성된 깊이 그래디언트(gradient) 영상의 에지(edge)의 폭을 저-고해상도 깊이 에지 폭 상관관계를 이용하여 감쇄시킴으로써, 고해상도 깊이 그래디언트 영상을 생성하는 그래디언트 영상 생성부; 및
    상기 깊이 유사 가중치, 상기 고해상도 깊이 그래디언트 영상 및 저-고해상도 깊이 일관성에 기초하여 저해상도 깊이 영상을 고해상도 깊이 영상으로 변환하는 영상 변환부
    를 포함하는 영상 변환 장치.
  2. 제1항에 있어서,
    상기 저해상도 깊이 영상 및 상기 고해상도 컬러 영상을 입력받는 입력부; 및
    상기 저해상도 깊이 영상을 보간(interpolation)하여 상기 업 샘플링 된 깊이 영상을 생성하는 업 샘플링부
    를 더 포함하는 영상 변환 장치.
  3. 제1항에 있어서,
    상기 가중치 결정부는
    상기 고해상도 깊이 영상의 제1 픽셀과 인접한 제2 픽셀에 대하여, 상기 업 샘플링 된 깊이 영상에서 깊이 값의 유사도를 계산하고, 상기 고해상도 컬러 영상에서 컬러 값의 유사도를 계산하는 유사도 계산부
    를 포함하는 영상 변환 장치.
  4. 제3항에 있어서,
    상기 유사도 계산부는
    상기 제1 픽셀과 상기 제2 픽셀간의 거리를 계산하는
    영상 변환 장치.
  5. 제1항에 있어서,
    상기 가중치 결정부는
    상기 이웃 픽셀들 간에 상기 컬러-깊이 유사도가 클수록 상기 깊이 유사 가중치가 큰 값을 갖도록 결정하는
    영상 변환 장치.
  6. 제1항에 있어서,
    상기 그래디언트 영상 생성부는
    상기 업 샘플링 된 깊이 영상에 대해서 그래디언트의 크기를 계산하여 상기 깊이 그래디언트 영상을 생성하는 계산부; 및
    상기 그래디언트의 크기의 국부 최대값(Local Maximum)을 계산하여 에지를 추출하는 에지 추출부
    를 포함하는 영상 변환 장치.
  7. 제1항에 있어서,
    상기 그래디언트 영상 생성부는
    상기 깊이 그래디언트 영상과 기존에 저장된 원본 고해상도 깊이 그래디언트 영상 간에 대응하는 에지의 폭을 추출하여 상기 저-고해상도 깊이 에지 폭 상관관계를 획득하는 상관관계 획득부
    를 포함하는 영상 변환 장치.
  8. 제1항에 있어서,
    상기 저-고해상도 깊이 일관성은
    고해상도 깊이 영상에서 소정 픽셀의 깊이 값과 저해상도 깊이 영상에서 상기 소정 픽셀에 대응하는 픽셀의 깊이 값 사이의 일관성(continuity)임을 특징으로 하는 영상 변환 장치.
  9. 제1항에 있어서,
    상기 저-고해상도 깊이 일관성은
    촬영 장치의 렌즈에 따라 결정되는 상기 저해상도 깊이 영상의 분포에 기초하여 결정되는 것을 특징으로 하는 영상 변환 장치.
  10. 제1항에 있어서,
    상기 영상 변환부는
    상기 깊이 유사 가중치, 상기 고해상도 깊이 그래디언트 영상 및 상기 저-고해상도 깊이 일관성을 고려한 목적함수가 최소값을 가지도록 최적화를 수행하는 최적화부
    를 포함하는 영상 변환 장치.
  11. 제10항에 있어서,
    상기 최적화부는
    상기 고해상도 깊이 영상의 크기가 큰 경우에는 켤레 구배 알고리즘(Conjugate Gradient Descent Algorithm) 또는 야코비 반복(Jacobi iterative) 알고리즘을 이용하여 최적화를 수행하는
    영상 변환 장치.
  12. 업 샘플링 된 깊이 영상 및 고해상도 컬러 영상에서 이웃 픽셀들 간의 컬러-깊이 유사도를 이용하여 고해상도 깊이 영상의 깊이 유사 가중치를 결정하는 단계;
    상기 업 샘플링 된 깊이 영상에 기초하여 생성된 깊이 그래디언트(gradient) 영상의 에지의 폭을 저-고해상도 깊이 에지 폭 상관관계를 이용하여 감쇄시킴으로써, 고해상도 깊이 그래디언트 영상을 생성하는 단계; 및
    상기 깊이 유사 가중치, 상기 고해상도 깊이 그래디언트 영상 및 저-고해상도 깊이 일관성에 기초하여 저해상도 깊이 영상을 고해상도 깊이 영상으로 변환하는 단계
    를 포함하는 영상 변환 방법.
  13. 제12항에 있어서,
    상기 가중치를 결정하는 단계는
    상기 고해상도 깊이 영상의 제1 픽셀과 인접한 제2 픽셀에 대하여, 상기 업 샘플링 된 깊이 영상에서 깊이 값의 유사도를 계산하고, 상기 고해상도 컬러 영상에서 컬러 값의 유사도를 계산하는 단계
    를 포함하는 영상 변환 방법.
  14. 제12항에 있어서,
    상기 그래디언트 영상을 생성하는 단계는
    상기 업 샘플링 된 깊이 영상에 대해서 그래디언트의 크기를 계산하여 상기 깊이 그래디언트 영상을 생성하는 단계; 및
    상기 그래디언트의 크기의 국부 최대값(Local Maximum)을 계산하여 상기 에지를 추출하는 단계
    를 포함하는 영상 변환 방법.
  15. 제12항에 있어서,
    상기 그래디언트 영상을 생성하는 단계는
    상기 깊이 그래디언트 영상과 기존에 저장된 원본 고해상도 깊이 그래디언트 영상 간에 대응하는 에지의 폭을 추출하여 상기 저-고해상도 깊이 에지 폭 상관관계를 획득하는 단계
    를 포함하는 영상 변환 방법.
KR1020110061531A 2011-05-13 2011-06-24 영상 변환 장치 및 방법 KR20120127151A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110061531A KR20120127151A (ko) 2011-05-13 2011-06-24 영상 변환 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US61/485,710 2011-05-13
KR1020110061531A KR20120127151A (ko) 2011-05-13 2011-06-24 영상 변환 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120127151A true KR20120127151A (ko) 2012-11-21

Family

ID=47512358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110061531A KR20120127151A (ko) 2011-05-13 2011-06-24 영상 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120127151A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128041A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 영상의 화질을 개선하는 장치 및 방법
KR20150061549A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 하이브리드 카메라 기반 동작 추적 장치 및 그 방법
KR101532642B1 (ko) * 2014-03-04 2015-06-30 광주과학기술원 깊이정보 확장장치 및 방법
US10015479B2 (en) 2013-09-06 2018-07-03 Samsung Electronics Co., Ltd. 3D display method and device for executing same
CN112399069A (zh) * 2019-08-16 2021-02-23 RealMe重庆移动通信有限公司 图像编码方法及装置、存储介质、电子设备
KR20210098398A (ko) * 2019-10-07 2021-08-10 한국항공대학교산학협력단 영상의 업샘플링 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128041A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 영상의 화질을 개선하는 장치 및 방법
US10015479B2 (en) 2013-09-06 2018-07-03 Samsung Electronics Co., Ltd. 3D display method and device for executing same
KR20150061549A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 하이브리드 카메라 기반 동작 추적 장치 및 그 방법
KR101532642B1 (ko) * 2014-03-04 2015-06-30 광주과학기술원 깊이정보 확장장치 및 방법
CN112399069A (zh) * 2019-08-16 2021-02-23 RealMe重庆移动通信有限公司 图像编码方法及装置、存储介质、电子设备
CN112399069B (zh) * 2019-08-16 2022-06-07 RealMe重庆移动通信有限公司 图像编码方法及装置、存储介质、电子设备
KR20210098398A (ko) * 2019-10-07 2021-08-10 한국항공대학교산학협력단 영상의 업샘플링 방법 및 장치

Similar Documents

Publication Publication Date Title
JP7159057B2 (ja) 自由視点映像生成方法及び自由視点映像生成システム
KR101978172B1 (ko) 깊이 영상을 고해상도로 변환하는 방법 및 장치
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US9047681B2 (en) Depth image conversion apparatus and method
KR20120127151A (ko) 영상 변환 장치 및 방법
WO2020039166A1 (en) Method and system for reconstructing colour and depth information of a scene
JP6020471B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN107680140B (zh) 一种基于Kinect相机的深度图像高分辨率重构方法
KR20100085306A (ko) 고해상도 영상 획득 장치 및 그 방법
CN110462685B (zh) 三维模型重建方法和系统
KR20130120730A (ko) 변이 공간 영상의 처리 방법
KR20110136016A (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
DK3189493T3 (en) PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
JP2019169000A (ja) 画像処理装置、画像処理方法、およびプログラム
KR101766431B1 (ko) 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치
US11798227B2 (en) Image processing apparatus and image processing method
KR102278756B1 (ko) 일관성을 고려한 스테레오 영상의 업스케일 장치 및 방법
KR101836238B1 (ko) 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법
CN111742352A (zh) 3d对象建模方法以及相关设备和计算机程序产品
KR20130036430A (ko) 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
KR102503976B1 (ko) 증강현실 영상 보정 장치 및 방법
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
JP2013069026A (ja) 被写体の３次元形状を復元する装置、方法およびプログラム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination