KR101290197B1 - 영상의 깊이 정보 추정 장치 및 방법 - Google Patents
영상의 깊이 정보 추정 장치 및 방법 Download PDFInfo
- Publication number
- KR101290197B1 KR101290197B1 KR1020120017438A KR20120017438A KR101290197B1 KR 101290197 B1 KR101290197 B1 KR 101290197B1 KR 1020120017438 A KR1020120017438 A KR 1020120017438A KR 20120017438 A KR20120017438 A KR 20120017438A KR 101290197 B1 KR101290197 B1 KR 101290197B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- depth map
- image
- estimating
- input image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
영상의 깊이 정보 추정 장치 및 방법이 개시된다. 본 발명은, 영상의 컬러 채널(color channel)에서 추출된 에지(edge) 영역에서 산출된 컬러 이동 벡터(color shifting vector)를 이용하여 풀 깊이 맵(full depth map)을 추정한다. 본 발명에 따르면, 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)를 구비한 촬영 장치로부터 촬영된 하나의 영상으로부터 영상에 대한 풀 깊이 맵(full depth map)을 추정할 수 있다
Description
본 발명은 영상의 깊이 정보 추정 장치 및 방법에 관한 것으로, 더욱 상세하게는 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)를 구비한 촬영 장치를 통해 촬영된 영상의 깊이 정보를 추정하는 장치 및 방법에 관한 것이다.
로봇 비젼(robot vision), 휴먼 컴퓨터 인터페이스(human computer interface), 지능형 시각 감시(intelligent visual surveillance), 3D 이미지 획득(3D image acquisition), 지능형 운전자 보조 시스템(intelligent driver assistant system) 등과 같은 다양한 분야에서 이용되는 3D 깊이 정보(three-dimensional depth information)의 추정 방법에 대해 활발한 연구가 이루어지고 있다.
3D 깊이 정보 추정에 대한 대부분의 전통적인 방법은 스테레오 비전(stereo vision) 등과 같은 복수의 영상에 의존하는 것이다. 스테레오 매칭(stereo matching)은 두 대의 카메라에서 얻어진 영상에서 생기는 양안 시차(binocular disparity)를 이용하여 깊이를 추정하는 방법이다. 이러한 방법은 많은 장점이 있지만, 동일한 장면(scene)에 대해 두 개의 카메라에서 얻어진 영상의 쌍(pair of image)이 필요한 근본적인 제약이 있다.
이러한 양안 시차(binocular disparity)를 사용한 방법의 대안으로 단안(monocular) 방법도 연구되고 있다. 일례로 DFD(depth from defocus) 방법은 단일 카메라 기반 깊이 추정 방법으로서, 동일한 장면에서 촬영된 다른 초점을 가지는 영상의 쌍을 이용하여 디포커스 블러(defocus blur)의 정도를 추정한다. 그러나 이 방법은 복수의 디포커시드 영상(defocused image)을 촬영하기 위해 고정된 카메라 뷰(fixed camera view)가 필요한 제약이 있다.
이에 따라, 복수의 영상이 아닌 하나의 영상을 통해 깊이를 추정하는 방법에 대한 연구가 활발히 이루어지고 있다.
본 발명이 이루고자 하는 기술적 과제는, 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)를 구비한 촬영 장치를 통해 촬영된 영상의 깊이 정보를 추정하는 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)를 구비한 촬영 장치를 통해 촬영된 영상의 깊이 정보를 추정하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 영상의 깊이 정보 추정 장치는, 각각 상이한 컬러 필터(color filter)가 적용된 복수 개의 개구부를 가지는 조리개를 구비한 촬영 장치에 의해 촬영된 입력 영상의 컬러 채널들(color channels)에서 추출된 에지(edge) 영역에서 컬러 간의 이동 정도를 나타내는 컬러 이동 벡터(color shifting vector)를 산출하는 컬러 이동 벡터 산출부; 및 상기 컬러 이동 벡터의 값을 통해 상기 에지 영역에 대한 스파스 깊이 맵(sparse depth map)을 추정하고, 상기 입력 영상 중 상기 에지 영역을 제외한 나머지 영역에 대한 깊이 정보를 상기 스파스 깊이 맵을 기반으로 보간하여 상기 입력 영상에 대한 풀 깊이 맵(full depth map)을 추정하는 깊이 맵 추정부;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 영상의 깊이 정보 추정 방법은, 각각 상이한 컬러 필터가 적용된 복수 개의 개구부를 가지는 조리개를 구비한 촬영 장치에 의해 촬영된 입력 영상의 컬러 채널들에서 추출된 에지 영역에서 컬러 간의 이동 정도를 나타내는 컬러 이동 벡터(color shifting vector)를 산출하는 단계; 상기 컬러 이동 벡터의 값을 통해 상기 에지 영역에 대한 스파스 깊이 맵(sparse depth map)을 추정하는 단계; 및 상기 입력 영상 중 상기 에지 영역을 제외한 나머지 영역에 대한 깊이 정보를 상기 스파스 깊이 맵을 기반으로 보간하여 상기 입력 영상에 대한 풀 깊이 맵(full depth map)을 추정하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 영상의 깊이 정보 추정 장치 및 방법에 의하면, 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)를 구비한 촬영 장치로부터 촬영된 하나의 영상으로부터 영상에 대한 풀 깊이 맵(full depth map)을 추정할 수 있다.
아울러, 추정된 풀 깊이 맵(full depth map)을 이용하여 영상의 컬러 부정합을 제거함으로써 영상의 화질을 개선할 수 있다.
또한, 추정된 풀 깊이 맵(full depth map)을 이용하여 2D 영상을 3D 영상으로 변환할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 영상의 깊이 정보 추정 장치를 설명하기 위한 블록도,
도 2는 개구부를 가지는 조리개를 이용한 영상 촬영 과정을 설명하기 위한 도면,
도 3은 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)의 컬러 이동 특성(color shifting property)을 나타내는 도면,
도 4 내지 도 6은 본 발명의 바람직한 실시예에 따른 영상의 화질 개선 정도를 설명하기 위한 도면, 그리고,
도 7은 본 발명의 바람직한 실시예에 따른 영상의 깊이 정보 추정 방법을 설명하기 위한 흐름도이다.
도 2는 개구부를 가지는 조리개를 이용한 영상 촬영 과정을 설명하기 위한 도면,
도 3은 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)의 컬러 이동 특성(color shifting property)을 나타내는 도면,
도 4 내지 도 6은 본 발명의 바람직한 실시예에 따른 영상의 화질 개선 정도를 설명하기 위한 도면, 그리고,
도 7은 본 발명의 바람직한 실시예에 따른 영상의 깊이 정보 추정 방법을 설명하기 위한 흐름도이다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 영상의 깊이 정보 추정 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 영상의 깊이 정보 추정 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 영상의 깊이 정보 추정 장치(100)는 영상 촬영부(110), 컬러 이동 벡터 산출부(130), 깊이 맵 추정부(150), 영상 보정부(170) 및 영상 저장부(190)를 포함한다. 한편, 영상 촬영부(110)는 영상의 깊이 정보 추정 장치(100)와는 독립적인 별개의 장치로 구현될 수 있다. 이 경우, 영상의 깊이 정보 추정 장치(100)는 영상 촬영부(110)로부터 영상을 제공받아 영상의 깊이 정보 추정, 영상의 화질 개선 등의 동작을 수행한다.
영상 촬영부(110)는 촬영 모듈(도시하지 않음)을 구비하며, 주위 장면(scene)을 촬영하여 영상을 획득한다. 촬영 모듈은 조리개(도시하지 않음), 렌즈부(도시하지 않음) 및 촬상 소자(도시하지 않음)를 구비한다. 조리개는 렌즈부 내에 설치되고 복수 개의 개구부(도시하지 않음)를 구비하며, 개구부들의 열림 정도에 따라 렌즈부로 입사되는 빛의 양을 조절한다. 각 개구부에는 적색 컬러 필터(red color filter), 녹색 컬러 필터(green color filter) 및 청색 컬러 필터(blue color filter)가 각각 설치된다. 촬영 모듈은 복수 개의 컬러 필터가 구비된 조리개를 이용하여 서로 다른 거리에 위치하는 피사체들의 깊이 정보를 측정하고 멀티 포커싱을 수행한다.
도 2는 개구부를 가지는 조리개를 이용한 영상 촬영 과정을 설명하기 위한 도면이다.
일반적 카메라의 개구부의 중심은 렌즈의 광축에 정렬되고, 영상 평면의 수렴 패턴은 도 2의 (a)에 도시된 바와 같이 피사체의 거리에 따라서 점이나 원형의 영역을 형성한다. 반면에, 개구부의 중심이 광축과 정렬되지 않으면 수렴 영역은 도 2의 (b)에 도시된 바와 같이 광축으로부터 어긋난다. 광이 모이는 특정 지역은 렌즈 및 피사체 간의 거리에 따라 달라진다. 예컨대, 초점 위치보다 가까운 피사체는 광축의 상부에 수렴하게 되고, 초점 위치보다 먼 피사체는 하부에 수렴한다. 광축으로부터의 이러한 오프셋(offset)의 크기가 영상의 초점 패턴을 생성할 수 있다. 도 2의 (c)를 참조하면, 광축의 한 쪽에 위치한 두 개의 개구부를 이용한 경우, 원거리에 위치한 피사체의 수렴 패턴이 촬상 센서에서 반대편에 형성된다는 것을 알 수 있다.
컬러 이동 벡터 산출부(130)는 영상 촬영부(110)로부터 제공받은 입력 영상의 컬러 채널(color channel)에서 추출된 에지(edge) 영역에서 컬러 간의 이동 정도를 나타내는 컬러 이동 벡터(color shifting vector : CSV)를 산출한다.
즉, 컬러 이동 벡터 산출부(130)는 입력 영상의 컬러 채널(color channel)에서 추출된 에지(edge) 영역에서 적색 컬러 채널(red color channel)을 기준으로 녹색 컬러 채널(green color channel) 및 청색 컬러 채널(blue color channel)과의 컬러 이동 벡터(color shifting vector : CSV)를 다음의 [수학식 1]과 같은 컬러 이동 마스크 맵(color shifting mask map : CSMM)이 결합된 정규화된 상호 상관(normailized cross correlation : NCC) 식을 통해 산출한다. 물론, 세 개의 컬러 채널(color channel) 중 녹색 컬러 채널(green color channel) 이나 청색 컬러 채널(blue color channel)을 기준으로 다른 컬러 채널들(color channels)과의 컬러 이동 벡터(color shifting vector : CSV)를 산출할 수 있다.
여기서, 는 에서 추정된 컬러 이동 벡터(color shifting vector : CSV)를 나타내고, 은 정규화된 상호 상관(normalized cross correlation : NCC) 식에 의해 계산된 값을 나타내고, 은 컬러 이동 마스크 맵(color shifting mask map : CSMM)을 나타내는 것으로서 컬러가 미리 정해진 형태로 이동되는 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)의 컬러 이동 특성(color shifting property)을 기반으로 미리 설정된다.
보다 자세하게 설명하면, 정규화된 상호 상관(normailized cross correlation : NCC) 식은 다음의 [수학식 2]와 같다. 이를 통해 빠른 블록 매칭을 수행할 수 있다.
여기서, 는 적색 컬러 채널(red color channel)에서의 블록이고, 는 녹색 컬러 채널(green color channel) 또는 청색 컬러 채널(blue color channel)에서의 블록을 나타낸다. [수학식 2]의 정규화된 상호 상관(normailized cross correlation : NCC)은 고속 푸리에 변환(fast fourier transform : FFT)을 이용하여 효율적으로 평가될 수 있다.
이와 같이, 컬러 이동 마스크 맵(color shifting mask map : CSMM)이라 불리우는 형태에서 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)의 컬러 이동 특성(color shifting property)을 강화함으로써, 에지 기반 정규화된 상호 상관(edge-based NCC)에 의해 추정된 시차(disparity)는 잘못 검출된 에지들과 컬러 채널들 사이의 다른 강도(intensity) 레벨 때문에 오차를 줄일 수 있다. 즉, 컬러 이동 벡터들(CSVs)의 피져블 패턴(feasible pattern)에 선험적 제약(a priori constraint)을 적용하여 보다 정확한 시차(disparity)를 추정할 수 있다.
도 3은 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)의 컬러 이동 특성(color shifting property)을 나타내는 도면이다.
다중 컬러-필터 조리개(multiple color-filter aperture : MCA)의 컬러 필터(color filter)는 도 3의 (a)에 도시된 바와 같이 정삼각형의 형태로 위치한다. 도 3의 (b)는 피사체가 초점면(plane of focus) 내에서 위치가 이동할 때 적색 채널(red channel)을 기준으로 하는 녹색 채널(green channel)과 청색 채널(blue channel)에서의 이동을 나타낸다. 도 3의 (c)는 적색 채널(red channel)을 기준으로 하는 녹색 채널(green channel)의 컬러 이동 마스크 맵(color shifting mask map : CSMM)을 나타내고, 도 3의 (d)는 적색 채널(red channel)을 기준으로 하는 청색 채널(blue channel)의 컬러 이동 마스크 맵(color shifting mask map : CSMM)을 나타낸다.
또한, 컬러 이동 벡터 산출부(130)는 산출된 두 개의 컬러 이동 벡터(color shifting vector : CSV) 중 높은 매칭율을 가지는 컬러 이동 벡터(color shifting vector : CSV)를 입력 영상에 대한 컬러 이동 벡터(color shifting vector : CSV)로 선택한다.
깊이 맵 추정부(150)는 컬러 이동 벡터 산출부(130)에 의해 추정된 입력 영상에 대한 컬러 이동 벡터(CSV)를 이용하여 다음의 [수학식 3]을 통해 입력 영상에 대한 스파스 깊이 맵(sparse depth map)을 추정한다.
깊이 맵 추정부(150)는 컬러 이동 벡터(CSV)를 이용하여 추정된 스파스 깊이 맵(sparse depth map)으로부터 입력 영상에 대한 풀 깊이 맵(full depth map)을 깊이 보간(depth interpolation) 방법을 이용하여 추정한다. 즉, 깊이 맵 추정부(150)는 에지 영역(edge region)에서 검출된 스파스 깊이 맵(sparse depth map)을 이용하여 풀 깊이 맵(full depth map)을 생성하기 위해, 매팅 라플라시안(matting Laplacian) 방법을 이용하여 영상의 나머지 부분을 채워 풀 깊이 맵(full depth map)을 추정한다.
보다 자세하게 설명하면, 깊이 보간(depth interpolation)은 다음의 [수학식 4]와 같은 에너지 함수(energy function)를 최소화함으로써 수행된다.
여기서, 는 풀 깊이 맵(full depth map)을 나타내고, 는 스파스 깊이 맵(sparse depth map)을 나타내며, 은 매팅 라플라시안 행렬(matting Laplacian matrix)을 나타내고, 는 i번째 픽셀이 에지에 있으면 가 1이고 i번째 픽셀이 에지에 있지 않으면 가 0인 대각 행렬(diagonal matrix)을 나타내며, 는 보간(interpolation)의 평활도(smoothness)와 스파스 깊이 맵간의 정밀도(fidelity)를 제어하는 상수를 나타낸다.
여기서, 는 크로네커의 델타 함수(Kronecker delta function)를 나타내고, 는 3x3 단위 행렬(identity matrix)을 나타내며, 는 윈도우 에서의 컬러의 평균(mean)을 나타내고, 는 윈도우 에서의 컬러의 공분산 행렬(covariance matrix)을 나타내며, 및 는 각각 픽셀 및 에서의 입력 영상 의 컬러를 나타내고, 는 정규화 파라미터(regularization parameter)를 나타내며, 는 윈도우 의 크기를 나타낸다.
풀 깊이 맵(full depth map)은 다음의 [수학식 6]을 통해 획득한다.
영상 보정부(170)는 깊이 맵 추정부(150)에 의해 추정된 풀 깊이 맵(full depth map)을 이용하여 입력 영상의 컬러 채널(color channel)을 이동시켜 입력 영상을 컬러가 정합된 영상으로 보정한다. 이와 같이, 입력 영상에 대한 풀 깊이 맵(full depth map)을 이용하여 컬러 부정합이 존재하는 영상을 보정함으로써, 영상의 화질을 개선시킬 수 있다. 또한, 영상 보정부(170)는 풀 깊이 맵(full depth map)을 이용하여 입력 영상을 3D 영상으로 보정할 수 있다.
영상 저장부(190)는 영상 보정부(170)에 의해 보정된 영상과 이에 대응되는 풀 깊이 맵(full depth map)을 저장한다.
도 4 내지 도 6은 본 발명의 바람직한 실시예에 따른 영상의 화질 개선 정도를 설명하기 위한 도면이다.
도 4 내지 도 6의 (a)는 다중 컬러-필터 조리개(multiple color-filter aperture : MCA)를 구비한 촬영 장치에 의해 촬영된 입력 영상을 나타낸다. 도 4 내지 도 6의 (b)는 입력 영상에 대한 스파스 깊이 맵(sparse depth map)을 나타낸다. 도 4 내지 도 6의 (c)는 입력 영상에 대한 풀 깊이 맵(full depth map)을 나타낸다. 도 4 내지 도 6의 (d)는 풀 깊이 맵(full depth map)을 이용하여 입력 영상의 컬러 부정합을 보정한 영상을 나타낸다.
도 7은 본 발명의 바람직한 실시예에 따른 영상의 깊이 정보 추정 방법을 설명하기 위한 흐름도이다.
영상의 깊이 정보 추정 장치(100)는 각각 상이한 컬러 필터가 적용된 복수 개의 개구부를 가지는 조리개를 구비한 촬영 장치에 의해 촬영된 입력 영상의 컬러 채널(color channel)에서 추출된 에지(edge)로부터 컬러 이동 벡터(CSV)를 산출한다(S710). 즉, 영상의 깊이 정보 추정 장치(100)는 입력 영상의 컬러 채널(color channel)에서 추출된 에지(edge)에서 적색 채널(red channel)을 기준으로 컬러 이동 마스크 맵(color shifting mask map : CSMM)이 결합된 정규화된 상호 상관(normailized cross correlation : NCC) 방법을 이용하여 컬러 이동 벡터(color shifting vector : CSV)를 산출한다.
이후, 영상의 깊이 정보 추정 장치(100)는 컬러 이동 벡터(CSV)를 이용하여 입력 영상에 대한 스파스 깊이 맵(sparse depth map)을 추정한다(S730). 즉, 영상의 깊이 정보 추정 장치(100)는 위의 [수학식 3]을 통해 컬러 이동 벡터(CSV)로부터 스파스 깊이 맵(sparse depth map)을 추정한다.
다음으로, 영상의 깊이 정보 추정 장치(100)는 깊이 보간(depth interpolation) 방법을 이용하여 스파스 깊이 맵(sparse depth map)으로부터 풀 깊이 맵(full depth map)을 추정한다(S750). 즉, 영상의 깊이 정보 추정 장치(100)는 에지 영역(edge region)에서 검출된 스파스 깊이 맵(sparse depth map)을 이용하여 풀 깊이 맵(full depth map)을 생성하기 위해, 매팅 라플라시안(matting Laplacian) 방법을 이용하여 영상의 나머지 부분을 채워 풀 깊이 맵(full depth map)을 추정한다.
이후, 영상의 깊이 정보 추정 장치(100)는 추정된 풀 깊이 맵(full depth map)을 이용하여 입력 영상을 보정한다(S770). 즉, 영상의 깊이 정보 추정 장치(100)는 풀 깊이 맵(full depth map)을 이용하여 입력 영상의 컬러 채널(color channel)을 이동시켜 입력 영상을 컬러가 정합된 영상으로 보정한다. 또한, 영상의 깊이 정보 추정 장치(100)는 풀 깊이 맵(full depth map)을 이용하여 입력 영상을 3D 영상으로 보정할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 롬(ROM), 램(RAM), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 유무선 통신망으로 연결된 컴퓨터 장치에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 영상의 깊이 정보 추정 장치, 110: 영상 촬영부,
130: 컬러 이동 벡터 산출부, 150: 깊이 맵 추정부,
170: 영상 보정부, 190: 영상 저장부
130: 컬러 이동 벡터 산출부, 150: 깊이 맵 추정부,
170: 영상 보정부, 190: 영상 저장부
Claims (11)
- 각각 상이한 컬러 필터(color filter)가 적용된 복수 개의 개구부를 가지는 조리개를 구비한 촬영 장치에 의해 촬영된 입력 영상의 컬러 채널들(color channels)에서 추출된 에지(edge) 영역에서 컬러 간의 이동 정도를 나타내는 컬러 이동 벡터(color shifting vector)를 산출하는 컬러 이동 벡터 산출부; 및
상기 컬러 이동 벡터의 값을 통해 상기 에지 영역에 대한 스파스 깊이 맵(sparse depth map)을 추정하고, 상기 입력 영상 중 상기 에지 영역을 제외한 나머지 영역에 대한 깊이 정보를 상기 스파스 깊이 맵을 기반으로 보간하여 상기 입력 영상에 대한 풀 깊이 맵(full depth map)을 추정하는 깊이 맵 추정부;를 포함하는 것을 특징으로 하는 영상의 깊이 정보 추정 장치. - 제 1항에 있어서,
상기 깊이 맵 추정부는 상기 스파스 깊이 맵으로부터 다음의 [수학식 A]를 통해 상기 풀 깊이 맵을 추정하는 것을 특징으로 하는 영상의 깊이 정보 추정 장치:
[수학식 A]
여기서, 상기 d는 상기 풀 깊이 맵이고, 상기 은 매팅 라플라시안 행렬(matting Laplacian matrix)을 나타내고, 상기 는 보간(interpolation)의 평활도(smoothness)와 스파스 깊이 맵간의 정밀도(fidelity)를 제어하는 상수를 나타내며, 상기 는 i번째 픽셀이 에지에 있으면 가 1이고 i번째 픽셀이 에지에 있지 않으면 가 0인 대각 행렬(diagonal matrix)을 나타내고, 상기 는 상기 스파스 깊이 맵을 나타낸다. - 제 1항에 있어서,
상기 컬러 이동 벡터 산출부는 컬러가 미리 정해진 형태로 이동되는 상기 조리개의 컬러 이동 특성(color shifting property)을 기반으로 미리 설정된 컬러 이동 마스크 맵(color shifting mask map : CSMM)을 제약 조건으로 하여 상기 추출된 에지 영역에서 상기 컬러 이동 벡터를 산출하는 것을 특징으로 하는 영상의 깊이 정보 추정 장치. - 제 1항 내지 제 4항 중 어느 한 항에 있어서,
상기 풀 깊이 맵을 이용하여 상기 입력 영상의 상기 컬러 채널을 이동시켜 상기 입력 영상을 컬러가 정합된 영상으로 보정하는 영상 보정부를 더 포함하는 것을 특징으로 하는 영상의 깊이 정보 추정 장치. - 각각 상이한 컬러 필터가 적용된 복수 개의 개구부를 가지는 조리개를 구비한 촬영 장치에 의해 촬영된 입력 영상의 컬러 채널들에서 추출된 에지 영역에서 컬러 간의 이동 정도를 나타내는 컬러 이동 벡터(color shifting vector)를 산출하는 단계;
상기 컬러 이동 벡터의 값을 통해 상기 에지 영역에 대한 스파스 깊이 맵(sparse depth map)을 추정하는 단계; 및
상기 입력 영상 중 상기 에지 영역을 제외한 나머지 영역에 대한 깊이 정보를 상기 스파스 깊이 맵을 기반으로 보간하여 상기 입력 영상에 대한 풀 깊이 맵(full depth map)을 추정하는 단계;를 포함하는 것을 특징으로 하는 영상의 깊이 정보 추정 방법. - 제 6항에 있어서,
상기 풀 깊이 맵 추정 단계에서 상기 스파스 깊이 맵으로부터 다음의 [수학식 A]를 통해 상기 풀 깊이 맵을 추정하는 것을 특징으로 하는 영상의 깊이 정보 추정 방법:
[수학식 A]
여기서, 상기 d는 상기 풀 깊이 맵이고, 상기 은 매팅 라플라시안 행렬(matting Laplacian matrix)을 나타내고, 상기 는 보간(interpolation)의 평활도(smoothness)와 스파스 깊이 맵간의 정밀도(fidelity)를 제어하는 상수를 나타내며, 상기 는 i번째 픽셀이 에지에 있으면 가 1이고 i번째 픽셀이 에지에 있지 않으면 가 0인 대각 행렬(diagonal matrix)을 나타내고, 상기 는 상기 스파스 깊이 맵을 나타낸다. - 제 6항에 있어서,
상기 컬러 이동 벡터 산출 단계에서 컬러가 미리 정해진 형태로 이동되는 상기 조리개의 컬러 이동 특성을 기반으로 미리 설정된 컬러 이동 마스크 맵을 제약 조건으로 하여 상기 추출된 에지 영역에서 상기 컬러 이동 벡터를 산출하는 것을 특징으로 하는 영상의 깊이 정보 추정 방법. - 제 6항 내지 제 9항 중 어느 한 항에 있어서,
상기 풀 깊이 맵을 이용하여 상기 입력 영상의 컬러 채널을 이동시켜 상기 입력 영상을 컬러가 정합된 영상으로 보정하는 단계를 더 포함하는 것을 특징으로 하는 영상의 깊이 정보 추정 방법. - 제 6항 내지 제 9항 중 어느 한 항에 기재된 영상의 깊이 정보 추정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120017438A KR101290197B1 (ko) | 2012-02-21 | 2012-02-21 | 영상의 깊이 정보 추정 장치 및 방법 |
PCT/KR2012/009308 WO2013125768A1 (ko) | 2012-02-21 | 2012-11-07 | 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법 |
US14/376,770 US20150029312A1 (en) | 2012-02-21 | 2012-11-07 | Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture |
US15/805,812 US20180063511A1 (en) | 2012-02-21 | 2017-11-07 | Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120017438A KR101290197B1 (ko) | 2012-02-21 | 2012-02-21 | 영상의 깊이 정보 추정 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101290197B1 true KR101290197B1 (ko) | 2013-07-30 |
Family
ID=48998134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120017438A KR101290197B1 (ko) | 2012-02-21 | 2012-02-21 | 영상의 깊이 정보 추정 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101290197B1 (ko) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160071172A (ko) | 2014-12-11 | 2016-06-21 | 공간정보기술 주식회사 | 스테레오 카메라를 이용한 파노라마 3차원 맵 생성시스템 |
WO2016117716A1 (ko) * | 2015-01-20 | 2016-07-28 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 이미지로부터 심도 정보를 추출하기 위한 방법 및 장치 |
KR101645451B1 (ko) | 2015-04-14 | 2016-08-12 | 공간정보기술 주식회사 | 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템 |
US9872012B2 (en) | 2014-07-04 | 2018-01-16 | Samsung Electronics Co., Ltd. | Method and apparatus for image capturing and simultaneous depth extraction |
CN110099209A (zh) * | 2018-01-30 | 2019-08-06 | 佳能株式会社 | 图像处理装置、图像处理方法和存储介质 |
US10552973B2 (en) | 2016-11-14 | 2020-02-04 | Samsung Electronics Co., Ltd. | Image vision processing method, device and equipment |
CN110914638A (zh) * | 2017-07-18 | 2020-03-24 | 杭州他若定位科技有限公司 | 使用反射光源的智能物体追踪 |
CN112446946A (zh) * | 2019-08-28 | 2021-03-05 | 深圳市光鉴科技有限公司 | 基于稀疏深度与边界的深度重建方法、系统、设备及介质 |
US11615594B2 (en) | 2021-01-21 | 2023-03-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
US11688073B2 (en) | 2020-04-14 | 2023-06-27 | Samsung Electronics Co., Ltd. | Method and system for depth map reconstruction |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070119961A (ko) * | 2006-06-16 | 2007-12-21 | 삼성전자주식회사 | 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한이미지 디스플레이 장치 및 방법 |
KR20090083030A (ko) * | 2008-01-29 | 2009-08-03 | 중앙대학교 산학협력단 | 조리개 장치 및 이를 구비한 촬상장치, 컬러 채널의 이동을기반으로 한 자동초점복원장치 및 방법 |
KR20090125029A (ko) * | 2009-11-11 | 2009-12-03 | 중앙대학교 산학협력단 | 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치 |
-
2012
- 2012-02-21 KR KR1020120017438A patent/KR101290197B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070119961A (ko) * | 2006-06-16 | 2007-12-21 | 삼성전자주식회사 | 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한이미지 디스플레이 장치 및 방법 |
KR20090083030A (ko) * | 2008-01-29 | 2009-08-03 | 중앙대학교 산학협력단 | 조리개 장치 및 이를 구비한 촬상장치, 컬러 채널의 이동을기반으로 한 자동초점복원장치 및 방법 |
KR20090125029A (ko) * | 2009-11-11 | 2009-12-03 | 중앙대학교 산학협력단 | 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9872012B2 (en) | 2014-07-04 | 2018-01-16 | Samsung Electronics Co., Ltd. | Method and apparatus for image capturing and simultaneous depth extraction |
KR20160071172A (ko) | 2014-12-11 | 2016-06-21 | 공간정보기술 주식회사 | 스테레오 카메라를 이용한 파노라마 3차원 맵 생성시스템 |
WO2016117716A1 (ko) * | 2015-01-20 | 2016-07-28 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 이미지로부터 심도 정보를 추출하기 위한 방법 및 장치 |
KR101645451B1 (ko) | 2015-04-14 | 2016-08-12 | 공간정보기술 주식회사 | 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템 |
US10552973B2 (en) | 2016-11-14 | 2020-02-04 | Samsung Electronics Co., Ltd. | Image vision processing method, device and equipment |
CN110914638A (zh) * | 2017-07-18 | 2020-03-24 | 杭州他若定位科技有限公司 | 使用反射光源的智能物体追踪 |
CN110099209A (zh) * | 2018-01-30 | 2019-08-06 | 佳能株式会社 | 图像处理装置、图像处理方法和存储介质 |
CN110099209B (zh) * | 2018-01-30 | 2021-03-23 | 佳能株式会社 | 图像处理装置、图像处理方法和存储介质 |
US11100655B2 (en) | 2018-01-30 | 2021-08-24 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for hiding a specific object in a captured image |
CN112446946A (zh) * | 2019-08-28 | 2021-03-05 | 深圳市光鉴科技有限公司 | 基于稀疏深度与边界的深度重建方法、系统、设备及介质 |
US11688073B2 (en) | 2020-04-14 | 2023-06-27 | Samsung Electronics Co., Ltd. | Method and system for depth map reconstruction |
US11615594B2 (en) | 2021-01-21 | 2023-03-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101290197B1 (ko) | 영상의 깊이 정보 추정 장치 및 방법 | |
US20180063511A1 (en) | Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture | |
US9253377B2 (en) | Image processing device and image processing system where de-mosaic image is generated based on shift amount estimation of pixels of captured images | |
US9251589B2 (en) | Depth measurement apparatus, image pickup apparatus, and depth measurement program | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
EP2566150B1 (en) | Image processing apparatus, image processing method, and program | |
US10567646B2 (en) | Imaging apparatus and imaging method | |
CN103440662B (zh) | Kinect深度图像获取方法与装置 | |
US9872012B2 (en) | Method and apparatus for image capturing and simultaneous depth extraction | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP6036829B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御プログラム | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
WO2013038833A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
US20120113227A1 (en) | Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture | |
US9483825B2 (en) | Apparatus and method for estimating distance using dual off-axis color filter aperture | |
EP4068207A1 (en) | Method of pixel-by-pixel registration of an event camera to a frame camera | |
KR20160004912A (ko) | 영상 획득 및 동시의 깊이 추출을 위한 장치 및 방법 | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
US10326951B2 (en) | Image processing apparatus, image processing method, image capturing apparatus and image processing program | |
JP2016134661A (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
KR101737260B1 (ko) | 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법 | |
Lee et al. | Single camera-based full depth map estimation using color shifting property of a multiple color-filter aperture | |
KR101371369B1 (ko) | 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법 | |
JP6652294B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2009237652A (ja) | 画像処理装置および方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170626 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180625 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190807 Year of fee payment: 7 |