KR20140106870A - 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법 - Google Patents

인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법 Download PDF

Info

Publication number
KR20140106870A
KR20140106870A KR1020130021045A KR20130021045A KR20140106870A KR 20140106870 A KR20140106870 A KR 20140106870A KR 1020130021045 A KR1020130021045 A KR 1020130021045A KR 20130021045 A KR20130021045 A KR 20130021045A KR 20140106870 A KR20140106870 A KR 20140106870A
Authority
KR
South Korea
Prior art keywords
image
color image
depth
intensity
vignetting
Prior art date
Application number
KR1020130021045A
Other languages
English (en)
Other versions
KR102079686B1 (ko
Inventor
정승원
김도균
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130021045A priority Critical patent/KR102079686B1/ko
Publication of KR20140106870A publication Critical patent/KR20140106870A/ko
Application granted granted Critical
Publication of KR102079686B1 publication Critical patent/KR102079686B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법이 개시된다. 컬러 영상 개선 장치는 깊이 카메라를 이용하여 인텐시티 영상을 획득하는 인텐시티 영상 획득부; 및 상기 인텐시티 영상과 깊이 영상으로 입력 컬러 영상을 개선하여 출력 컬러 영상을 출력하는 컬러 영상 개선부를 포함할 수 있다.

Description

인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법{APPARATUS AND METHOD OF COLOR IMAGE QUALITY ENHANCEMENT USING INTENSITY IMAGE AND DEPTH IMAGE}
이하의 일실시예들은 컬러 영상 개선 장치 및 방법에 관한 것으로 깊이 영상의 로컬 영역을 복수의 서브 영역들로 분할하여 깊이 영상의 현재 픽셀을 처리하는 장치 및 방법에 관한 것이다.
저조도 환경에서 촬영된 컬러 영상은 화질이 낮아 컬러 영상에 포함된 오브젝트를 식별하기 어려웠다. 따라서, 저조도 환경에서 촬영된 컬러 영상의 화질을 개선하기 위하여 플래시(Flash)가 종종 사용되었다.
그러나, 플래시는 인공 조명으로 인하여 실제 인간이 보는 영상과 다른 왜곡된 영상을 생성하는 한계가 있었다. 또한, 플래시는 눈부심과 같은 부작용이 있으며, 박물관과 같은 특정 장소에서는 사용할 수가 없다.
따라서, 사용 제한이나 왜곡된 영상을 생성하지 않으면서, 컬러 영상의 화질을 개선할 수 있는 컬러 영상 개선 방법이 요구된다.
일실시예에 따른 컬러 영상 개선 장치는 깊이 카메라를 이용하여 인텐시티(intensity) 영상을 획득하는 인텐시티 영상 획득부; 및 상기 인텐시티 영상과 깊이 영상으로 입력 컬러 영상을 개선하여 출력 컬러 영상을 출력하는 컬러 영상 개선부를 포함할 수 있다.
일실시예에 따른 컬러 영상 개선 장치는 비네팅 알고리즘을 이용하여 상기 인텐시티 영상의 비네팅을 보정하는 비네팅 보정부를 더 포함할 수 있다.
일실시예에 따른 컬러 영상 개선 장치의 비네팅 보정부는 상기 깊이 영상을 이용하여 상기 인텐시티 영상에서 비네팅을 보정할 영역을 추출하고, 추출한 영역의 비네팅을 보정할 수 있다.
일실시예에 따른 컬러 영상 개선 장치는 상기 깊이 영상을 이용하여 상기 인텐시티 영상의 폴 오프를 보정하는 폴 오프 보정부를 더 포함할 수 있다.
일실시예에 따른 컬러 영상 개선 장치는 상기 인텐시티 영상과 입력 컬러 영상을 비교하여 깊이 카메라의 광원에 의해 발생하는 그림자 영역을 추출하는 그림자 영역 추출부를 더 포함할 수 있다.
일실시예에 따른 컬러 영상 개선 장치의 그림자 영역 추출부는 상기 깊이 영상을 이용하여 깊이 영상의 경계를 검출하고, 깊이 영상의 경계를 이용하여 추출한 그림자 영역의 정확도를 높일 수 있다.
일실시예에 따른 컬러 영상 개선 장치의 컬러 영상 개선부는 새추레이션 영역과 그림자 영역에 포함된 픽셀들의 픽셀 값이 출력 컬러 영상에 반영되는 정도를 감소시킬 수 있다.
일실시예에 따른 컬러 영상 개선 장치의 컬러 영상 개선부는 상기 출력 컬러 영상과 상기 입력 컬러 영상 간의 유사도와, 상기 출력 컬러 영상의 텍스처 또는 에지 성분과 상기 인텐시티 영상에 포함된 텍스처 성분 또는 에지 성분 간의 유사도 및 상기 출력 컬러 영상에 포함될 텍스처 또는 에지 성분 중 적어도 하나에 따라 최적의 개선결과를 결정하고, 결정한 개선 결과에 따라 입력 컬러 영상을 개선할 수 있다.
일실시예에 따른 컬러 영상 개선 장치의 컬러 영상 개선부는 상기 깊이 영상에 포함된 깊이 정보에 따라 상기 입력 컬러 영상의 텍스처 성분 또는 에지 성분을 조절할 수 있다.
일실시예에 따른 컬러 영상 개선 장치의 컬러 영상 개선부는 상기 출력 컬러 영상의 텍스처 성분 또는 에지 성분이 상기 깊이 정보의 크기에 반비례하도록 조절할 수 있다.
일실시예에 따른 컬러 영상 개선 장치는 깊이 카메라를 이용하여 획득한 인텐시티 영상을 보정하는 인텐시티 영상 보정부; 및 보정된 인텐시티 영상과 깊이 영상을 이용하여 입력 컬러 영상을 개선하는 컬러 영상 개선부를 포함할 수 있다.
일실시예에 따른 컬러 영상 개선 장치의 인텐시티 영상 보정부는 비네팅 알고리즘을 이용하여 상기 인텐시티 영상의 비네팅을 보정하는 비네팅 보정부; 및 상기 깊이 영상을 이용하여 상기 인텐시티 영상의 폴 오프를 보정하는 폴 오프 보정부를 포함할 수 있다.
일실시예에 따른 컬러 영상 개선 방법은 깊이 카메라를 이용하여 인텐시티 영상을 획득하는 단계; 및 상기 인텐시티 영상과 깊이 영상으로 입력 컬러 영상을 개선하여 출력 컬러 영상을 출력하는 단계를 포함할 수 있다.
일실시예에 따른 컬러 영상 개선 방법은 깊이 카메라를 이용하여 획득한 인텐시티 영상을 보정하는 단계; 및 보정된 인텐시티 영상과 깊이 영상을 이용하여 입력 컬러 영상을 개선하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 컬러 영상 개선 장치의 동작을 도시한 도면이다.
도 2는 일실시예에 따른 컬러 영상 개선 장치의 구조를 도시한 도면이다.
도 2는 일실시예에 따른 컬러 영상 개선 과정을 도시한 도면이다.
도 3은 일실시예에 따른 인텐시티 영상 보정부를 도시한 도면이다.
　도 4는 일실시예에 따라 인텐시티 영상을 비네팅 보정하는 과정을 도시한 도면이다.
　도 5는 일실시예에 따라 인텐시티 영상에서 새추레이션 영역을 추출하는 과정을 도시한 도면이다.
　도 6은 일실시예에 따라 인텐시티 영상에서 그림자 영역을 추출하는 과정을 도시한 도면이다.
도 7는 일실시예에 따른 컬러 영상 개선 장치의 동작을 도시한 도면이다.
도 8은 일실시예에 따른 컬러 영상 개선 방법을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 컬러 영상 개선 장치의 구조를 도시한 도면이다.
도 1을 참고하면, 컬러 영상 개선 장치(100)는 인텐시티 영상 획득부(110), 인텐시티 영상 보정부(120), 새추레이션 영역 추출부(130), 그림자 영역 추출부(140), 및 컬러 영상 개선부(150)를 포함할 수 있다.
인텐시티 영상 획득부(110)는 깊이 카메라를 이용하여 인텐시티(intensity) 영상을 획득할 수 있다. 이때, 깊이 카메라는 오브젝트에 IR(infrared) 광을 조사하고 오브젝트로부터 반사된 IR광을 이용하여 깊이 영상을 획득하는 ToF(Time-of-flight) 깊이 카메라일 수 있다. 그리고, 인텐시티 영상 획득부(110)는 오브젝트로부터 반사된 IR광의 강도를 측정하여 인텐시티 영상을 획득할 수 있다.
또한, 인텐시티 영상 획득부(110)은 오브젝트로부터 반사된 IR광의 진폭(Amplitude)을 이용하여 진폭 영상을 획득할 수도 있다. 이때, 인텐시티 영상 보정부(120), 새추레이션 영역 추출부(130), 그림자 영역 추출부(140), 및 컬러 영상 개선부(150)는 인텐시티 영상을 대신하여 진폭 영상을 이용할 수도 있다.
인텐시티 영상 보정부(120)는 인텐시티 영상 획득부(110)가 획득한 인텐시티 영상을 보정할 수 있다.
ToF 깊이 카메라가 오브젝트에 IR 광을 조사하기 위하여 이용하는 광원은 카메라의 중앙부에 위치하므로, 인텐시티 영상의 밝기가 영상의 경계(boundary)에서 감쇄되는 비네팅(Vignetting)이 발생할 수 있다. 또한, 인텐시티 영상의 밝기는 카메라로부터의 거리의 제곱에 반비례하는 특성을 가지므로, 인텐시티 영상은 오브젝트와 카메라 간의 거리가 멀수록 오브젝트에 반사된 IR 광의 강도가 감쇄되는 폴 오프(Fall-off)가 발생할 수 있다.
따라서, 인텐시티 영상 보정부(120)는 인텐시티 영상의 비네팅과 폴 오프를 보정함으로써, ToF 깊이 카메라의 광원에 따른 인텐시티 영상의 감쇠 현상을 제거할 수 있다.
인텐시티 영상 보정부(120)의 상세 구성 및 동작은 이하 도 3을 참조하여 상세히 설명한다.
새추레이션 영역 추출부(130)는 인텐시티 영상에서 새추레이션(saturation) 영역을 추출할 수 있다.
인텐시티 영상은 고 반사 오브젝트나 다른 조건에 인하여 발생하는 새추레이션 영역을 포함할 수 있다. 예를 들어, 고 반사 오브젝트는 거울이나 유리와 같이 다른 오브젝트에 비하여 IR 광의 반사가 강한 오브젝트일 수 있다. 또한, 다른 조건은 IR 광의 입사각이 수직인 영역을 포함할 수 있다.
이때, 고 반사 오브젝트는 다른 오브젝트에 비하여 IR 광의 반사가 강하므로, 동일 위치에 있는 다른 오브젝트보다 인텐시티가 높을 수 있다. 따라서, ToF 깊이 카메라가 인텐시티를 이용하여 측정한 고 반사 오브젝트의 깊이도 동일 위치에 있는 다른 오브젝트와 다를 수 있다.
즉, 새추레이션 영역의 인텐시티와 깊이는 신뢰도가 없으므로, 새추레이션 영역은 인텐시티 영상의 다른 영역과 다른 처리를 해야 한다.
그리고, 새추레이션 영역 추출부(130)가 새추레이션 영역을 계산하는 방법은 외부로부터 새추레이션 영역에 대한 정보를 수신하여 계산하는 방법과, 인텐시티 영상을 분석하여 새추레이션 영역을 계산하는 방법을 포함할 수 있다.
외부로부터 새추레이션 영역에 대한 정보를 수신하여 계산하는 방법은 깊이 카메라가 자체적으로 새추레이션 영역을 계산하는 경우, 수행될 수 있다. 이때, 새추레이션 영역 추출부(130)는 깊이 카메라로부터 새추레이션 영역에 대한 정보를 수신하고, 수신한 정보에 따라 인텐시티 영상에서 새추레이션 영역을 추출할 수 있다.
인텐시티 영상을 분석하여 새추레이션 영역을 추출하는 방법은 외부로부터 새추레이션 영역에 대한 정보를 수신하지 못한 경우, 수행될 수 있다. 이때, 새추레이션 영역 추출부(130)는 인텐시티 영상에서 픽셀 값이 임계값(threshold) 이상인 픽셀들을 식별하고, 식별한 픽셀들을 새추레이션 영역으로 추출할 수 있다.
그림자 영역 추출부(140)는 인텐시티 영상과 입력 컬러 영상을 비교하여 깊이 카메라의 광원에 의해 발생하는 그림자 영역을 추출할 수 있다.
인텐시티 영상은 ToF 카메라의 광원에 의하여 촬영된 오브젝트를 나타내는 영상이므로 광원의 반대 방향에 그림자 영역을 가질 수 있다. 이때, ToF 카메라의 광원은 IR 조명일 수 있다. 또한, IR 조명으로 인해 발생하는 그림자는 IR 인텐시티 영상에서만 낮은 값을 가질 수 있다.
따라서, 그림자 영역 추출부(140)는 인텐시티 영상의 인텐시티와 입력 컬러 영상의 휘도(luminance) 간의 차이를 이용하여 그림자 영역을 추출할 수 있다. 구체적으로, 그림자 영역 추출부(140)는 인텐시티 영상의 인텐시티와 입력 컬러 영상의 휘도 간의 차이가 특정 임계값 이하인 픽셀을 그림자 영역으로 추출할 수 있다.
이때, 그림자 영역 추출부(140)가 이용하는 인텐시티 영상은 인텐시티 영상 보정부(120)에서 보정된 영상일 수 있다.
그러나, 인텐시티 영상의 인텐시티와 입력 컬러 영상의 휘도 성분의 노이즈로 인하여 그림자 영역이 잘못 검출될 가능성이 있다. IR 조명에 의한 그림자는 깊이 영상의 경계에서 발생하므로, 그림자 영역 추출부(140)는 깊이 영상을 이용하여 그림자 영역 검출의 정확도를 높일 수 있다. 예를 들어, 깊이 정보의 변화가 없는 평면 상에는 그림자 영역이 발생할 수 없다. 따라서, 깊이 영상의 경계와 일정 거리 이상 떨어진 영역에서 추출된 그림자 영역은 잘못 검출된 그림자 영역일 가능성이 높다.
이때, 그림자 영역 추출부(140)는 깊이 영상에서 깊이 영상의 경계를 검출하고, 깊이 영상의 경계를 이용하여 추출한 그림자 영역의 정확도를 높일 수 있다. 이때, 그림자 영역 추출부(140)가 이용하는 깊이 영상은 입력 컬러 영상의 해상도와 동일한 깊이 영상일 수 있다. 깊이 영상과 입력 컬러 영상의 해상도가 다른 경우, 그림자 영역 추출부(140)는 입력 컬러 영상의 해상도에 따라 깊이 영상의 해상도를 업샘플링한 깊이 영상을 이용할 수 있다.
구체적으로, 그림자 영역 추출부(140)는 추출된 그림자 영역의 픽셀과 깊이 영상의 경계 간의 거리를 측정하고, 그림자 영역의 픽셀들 중에서 측정한 거리가 임계값 이상인 픽셀을 삭제할 수 있다. 이때, 측정한 거리가 임계값 이상인 픽셀은 그림자 영역으로 잘못 검출된 픽셀이므로, 그림자 영역으로 잘못 검출된 픽셀을 제거하여 그림자 영역의 정확도를 높일 수 있다.
또한, 그림자 영역은 새추레이션 영역과 같이 인텐시티 영상 중에서 입력 컬러 영상의 화질 개선에 이용하지 않거나, 다른 픽셀들에 비하여 픽셀값을 적게 이용하는 픽셀들의 영역일 수 있다. 즉, 새추레이션 영역에서 그림자 영역을 추출하는 것은 동일 효과를 가진 픽셀을 중복 추출하는 것일 수 있다.
따라서, 그림자 영역 추출부(140)는 인텐시티 영상'의 영역 중 새추레이션 영역을 제외한 나머지 영역에서 그림자 영역을 추출할 수 있다.
컬러 영상 개선부(150)는 인텐시티 영상과 깊이 영상으로 입력 컬러 영상을 개선하여 출력 컬러 영상을 출력할 수 있다.
구체적으로, 컬러 영상 개선부(150)는 입력 컬러 영상의 해상도에 따라 보정한 깊이 영상, 인텐시티 영상 보정부(120)가 보정한 인텐시티 영상, 새추레이션 영역, 및 그림자 영역을 이용하여 입력 컬러 영상의 화질을 개선할 수 있다.
이때, 컬러 영상 개선부(150)가 출력하는 출력 컬러 영상은 컬러 영상 개선 장치(100)가 입력 받은 입력 컬러 영상과 크게 다르지 않을 수 있다. 또한, 출력 컬러 영상은 인텐시티 영상의 택스처(Texture) 성분을 포함할 수 있다.
예를 들어, 컬러 영상 개선부(150)는 수학식 1을 이용하여 출력 컬러 영상 (R)을 획득할 수 있다. 이때, Rj 는 출력 컬러 영상의 j 채널 (R, G, B 중 하나)일 수 있다.
Figure pat00001
이때, j는 컬러 영상의 채널의 인덱스이고, uj는 컬러 영상의 채널의 가중치이다. 또한, m(p)는 그림자 영역, 새추레이션 영역 및 그림자 영역, 새추레이션 영역을 제외한 나머지 영역의 가중치이고, Aj(p)는 컬러 영상의 p위치 픽셀값일 수 있다.
그리고, d(p)는 깊이 영상의 p 위치 깊이 정보이고, FI(p)는 인텐시티 영상의 p위치 픽셀값일 수 있다. 또한, k는 공간 변화도(Spatial gradient)에 대한 가중치이고, α는 공간 변화도 및 컬러-IR 인텐시티 변화도 유사도에 대한 가중치일 수 있다. 이때, k값이 커질수록 스무스(smooth)한 출력 컬러 영상을 획득할 수 있다. 또한, 컬러 영상 개선부(150)는 인텐시티 영상의 노이즈가 많을수록 k값을 작게 설정할 수 있다. 그리고, α는 일반적으로 0.5~2 사이의 값을 가지며 α를 변화시킴에 따라 변화도 유사도의 특성이 미세하게 달라질 수 있다.
이때, 수학식 1의 첫 번째 항인 유사도(Likelihood)는 출력 컬러 영상이 입력 컬러 영상과 다른 컬러 영상이 되는 것을 방지할 수 있다. 또한, 수학식 1의 두 번째 항인 공간(Spatial)은 출력 컬러 영상에 포함될 텍스처 성분 또는 에지 성분을 조절할 수 있다. 그리고, 수학식 1의 마지막 항인 IR 스펙트럴(Spectral)은 출력 컬러 영상의 텍스처 성분 또는 에지 성분과 인텐시티 영상의 텍스처 또는 에지 성분 간의 유사도를 조절할 수 있다.
즉, 컬러 영상 개선부(150)는 출력 컬러 영상과 입력 컬러 영상간의 유사도와, 출력 컬러 영상의 텍스처 또는 에지 성분과 인텐시티 영상에 포함된 텍스처 성분 또는 에지 성분 간의 유사도 및 출력 컬러 영상에 포함될 텍스처 또는 에지 성분 중 적어도 하나에 따라 최적의 개선결과를 결정하고, 결정한 개선 결과에 따라 입력 컬러 영상을 개선할 수 있다.
또한, 컬러 영상 개선부(150)는 인텐시티 영상의 새추레이션 영역과 그림자 영역에 포함된 픽셀들의 가중치를 조절하여 새추레이션 영역과 그림자 영역에 포함된 픽셀들의 픽셀 값이 출력 컬러 영상에 반영되는 정도를 감소시킬 수 있다.
이때, 컬러 영상 개선부(150)는 인텐시티 영상의 새추레이션 영역과 그림자 영역에 따라 수학식 1의 m(p)를 결정함으로써, 수학식 1의 각 항(term)의 가중치를 조절할 수 있다. 예를 들어, 컬러 영상 개선부(150)는 새추레이션 영역과 그림자 영역에 각각 가중치를 다르게 할당할 수도 있고, 새추레이션 영역과 그림자 영역을 하나로 간주하여 하나의 가중치를 할당할 수도 있다.
인텐시티 영상에서 새추레이션 영역과 그림자 영역은 인텐시티 영상의 다른 영역에 비하여 상대적으로 신뢰도가 낮다. 따라서, 컬러 영상 개선부(150)는 새추레이션 영역과 그림자 영역에 포함된 픽셀의 m(p)값을 높게 결정함으로써, 해당 픽셀에서 마지막 항의 역할을 낮출 수 있다.
그리고, 컬러 영상 개선부(150)는 깊이 영상에 포함된 깊이 정보에 따라 입력 컬러 영상의 텍스처 성분 또는 에지 성분을 조절할 수 있다.
수학식 1에서 두 번째 항에 포함된 d(p)는 영상의 깊이 정보에 따라 두 번째 항의 크기를 조절할 수 있다. 이때, 컬러 영상 개선부(150)는 d(p)를 결정함으로써, 영상의 거리에 따라 텍스처의 정도를 조절할 수 있다.
이때, 컬러 영상 개선부(150)는 출력 컬러 영상의 텍스처 성분 또는 에지 성분이 상기 깊이 정보의 크기에 반비례하도록 조절할 수 있다. 예를 들어, 컬러 영상 개선부(150)는 입력 컬러 영상에서 깊이 정보의 크기가 적은 영역의 텍스처는 유지하거나 증가 시키고, 깊이 정보의 크기가 큰 영역의 텍스처는 감소시킬 수 있다. 이 경우, 출력 컬러 영상에서 깊이 카메라에 가까운 영역은 복잡한 텍스처를 가지고, 깊이 카메라에서 먼 영역은 단순한 텍스처를 가지므로, 영상에 특수한 효과를 줄 수 있다.
도 2는 일실시예에 따른 컬러 영상 개선 과정을 도시한 도면이다.
컬러 영상 개선 장치(100)는 입력 컬러 영상(210)을 입력 받고, 인텐시티 영상(220)과 깊이 영상(230)을 이용하여 출력 컬러 영상(240)을 출력할 수 있다.
이때, 컬러 영상 개선 장치(100)는 반사된 IR광의 강도에 따라 생성된 인텐시티 영상(220)을 이용하여 입력 컬러 영상(210)의 화질을 개선함으로써, 저조도 환경에서 촬영된 컬러 영상의 화질을 개선할 수 있다.
또한, 컬러 영상 개선 장치(100)는 깊이 영상(230)을 이용하여 입력 컬러 영상(210)의 화질을 개선함으로써, 깊이에 따른 적응적인 컬러 영상 화질 개선을 적용할 수 있다. 예를 들어, 컬러 영상 개선 장치(100)는 깊이 적응적인 대비 증강(Depth adaptive contrast enhancement), 깊이 적응적인 리포커싱(depth adaptive refocusing)이 적용된 출력 컬러 영상(240)을 출력할 수 있다.
도 3은 일실시예에 따른 인텐시티 영상 보정부를 도시한 도면이다.
도 3을 참고하면, 인텐시티 영상 보정부(120)는 비네팅 보정부(310)과 폴 오프 보정부(320)를 포함할 수 있다.
비네팅 보정부(310)는 비네팅 알고리즘을 이용하여 인텐시티 영상의 비네팅을 보정할 수 있다.
그러나, 인텐시티 영상은 비네팅과 함께 폴 오프도 발생할 수 있으므로, 영상 전체에서 비네팅을 추정하여 보정하는 기법은 효과가 적을 수 있다. 이때, 폴 오프는 깊이 값이 변하는 영역에서 발생할 수 있다.
따라서, 비네팅 보정부(310)는 깊이 영상을 추가 정보로 이용하여 인텐시티 영상의 비네팅을 보정할 수 있다. 이때, 비네팅 보정부(310)는 깊이 영상을 이용하여 인텐시티 영상에서 깊이의 변화가 작은 영역을 비네팅을 보정할 영역으로 추출하고, 추출한 영역만을 이용하여 비네팅을 보정할 수 있다. 예를 들어, 깊이의 변화가 작은 영역은 깊이 영상의 경계보다 깊이의 변화가 작은 영역일 수 있다. 즉, 비네팅 보정부(310)는 깊이 영상의 경계를 포함하지 않는 영역을 깊이의 변화가 작은 영역으로 추출할 수 있다.
구체적으로, 비네팅 보정부(310)는 깊이 영상의 모든 픽셀에 대하여 국부 분산(local variance)을 계산하고 이 값을 경계화(thresholding)하여 깊이의 변화가 작은 영역을 추출할 수 있다. 다음으로, 비네팅 보정부(310)은 추출된 영역에 기존의 컬러 영상에서 적용하는 기법으로 비네팅을 추정하고, 추정 결과를 인텐시티 영상 전체에 적용하여 비네팅이 보정된 인텐시티 영상을 출력할 수 있다.
　폴 오프 보정부(320)는 깊이 영상을 이용하여 인텐시티 영상의 폴 오프를 보정할 수 있다.
구체적으로, 폴 오프 보정부(320)는 깊이 영상에서 픽셀들 각각의 거리 값을 획득하고, 인텐시티 영상의 각 픽셀 값에 해당 픽셀의 거리 값의 제곱을 곱하여 폴 오프를 보정할 수 있다.
이때, 폴 오프 보정부(320)는 깊이 정보의 평균값 (average value) 혹은 중앙값 (median value)을 갖는 픽셀의 IR 인텐시티 값이 일정하게 유지되도록 인텐시티 영상의 전체 픽셀 값을 스케일링(scaling)함으로써, 인텐시티 영상의 전반적인 밝기는 유지하면서 폴 오프로 인해 발생한 감쇄 성분만 보정할 수 있다.
　도 4는 일실시예에 따라 인텐시티 영상을 비네팅 보정하는 과정을 도시한 도면이다.
ToF 깊이 카메라가 오브젝트에 IR 광을 조사하기 위하여 이용하는 광원은 카메라의 중앙부에 위치하므로, 인텐시티 영상(410)은 도 2에 도시된 바와 같이 중앙부(411)가 가장 밝고 영상의 경계로 갈수록 어두워지는 비네팅이 발생할 수 있다.
비네팅 보정부(310)는 인텐시티 영상(410)의 비네팅을 보정하여 중앙부와 경계 간의 밝기 차이가 적은 인텐시티 영상(420)을 출력할 수 있다.
이때, 비네팅 보정부(310)는 깊이 영상의 모든 픽셀에 대하여 국부 분산을 계산하고 이 값을 경계화하여 깊이의 변화가 작은 영역을 추출할 수 있다. 다음으로, 비네팅 보정부(310)은 추출된 영역에 기존의 컬러 영상에서 적용하는 기법으로 비네팅을 추정하고, 추정 결과를 인텐시티 영상(410) 전체에 적용하여 비네팅이 보정된 인텐시티 영상(420)을 출력할 수 있다.
　도 5는 일실시예에 따라 인텐시티 영상에서 새추레이션 영역을 추출하는 과정을 도시한 도면이다.
인텐시티 영상(510)은 고 반사 오브젝트나 다른 조건에 인하여 발생하는 새추레이션 영역을 포함할 수 있다. 이때, 새추레이션 영역은 반사된 IR 광의 강도가 비정상적이므로, 반사된 IR 광의 강도에 따라 결정되는 인텐시티와 깊이 정보도 신뢰도가 낮을 수 있다.
따라서, 새추레이션 영역 추출부(130)는 인텐시티 영상(510)에서 픽셀 값이 임계값 이상인 픽셀(511)들을 식별하고, 식별한 픽셀들을 새추레이션 영역(520)으로 추출할 수 있다.
　도 6은 일실시예에 따라 인텐시티 영상에서 그림자 영역을 추출하는 과정을 도시한 도면이다.
인텐시티 영상(610)은 ToF 카메라의 광원에 의하여 촬영된 오브젝트를 나타내는 영상이므로 카메라에 가까운 오브젝트와 카메라에 먼 오브젝트의 사이에 그림자 영역이 형성될 수 있다.
따라서, 그림자 영역 추출부(140)는 인텐시티 영상(610)의 인텐시티와 입력 컬러 영상의 휘도 간의 차이를 이용하여 그림자 영역을 추출할 수 있다. 구체적으로, 그림자 영역 추출부(140)는 인텐시티 영상(610)의 인텐시티와 입력 컬러 영상의 휘도 간의 차이가 특정 임계값 이하인 픽셀(611)이 있는 경우, 해당 픽셀(611)을 그림자 영역(620)에 포함된 픽셀로 추출할 수 있다.
그러나, 인텐시티 영상의 인텐시티와 입력 컬러 영상의 휘도 성분의 노이즈로 인하여 그림자 영역이 잘못 검출될 가능성이 있다. IR 조명에 의한 그림자는 깊이의 경계가 있는 부분에서 발생하므로, 그림자 영역 추출부(140)는 깊이 영상을 이용하여 그림자 영역 검출의 정확도를 높일 수 있다.
구체적으로, 그림자 영역 추출부(140)는 검출된 그림자 영역의 픽셀과 깊이 영상의 경계 간의 거리를 측정하고, 그림자 영역의 픽셀들 중에서 측정한 거리가 임계값 이상인 픽셀을 삭제할 수 있다.
또한, 그림자 영역 추출부(140)는 인텐시티 영상'의 영역 중 새추레이션 영역을 제외한 나머지 영역에서 그림자 영역을 추출할 수 있다.
도 7는 일실시예에 따른 컬러 영상 개선 장치의 동작을 도시한 도면이다.
먼저, 새추레이션 영역 추출부(130)는 인텐시티 영상 I에서 새추레이션 영역을 추출할 수 있다. 이때, 새추레이션 영역 추출부(130)는 인텐시티 영상에서 픽셀 값이 임계값 이상인 픽셀들을 식별하고, 식별한 픽셀들을 새추레이션 영역으로 추출할 수 있다.
그리고 새추레이션 영역 추출부(130)는 추출한 새추레이션 영역 ms를 깊이 영상 보정부(700)과 그림자 영역 추출부(140)에 제공할 수 있다.
다음으로, 깊이 영상 보정부(700)은 입력 컬러 영상과 깊이 영상 및, 새추레이션 영역 추출부(130)로부터 제공받은 새추레이션 영역 ms를 이용하여 깊이 영상을 보정할 수 있다.
구체적으로, 깊이 영상 보정부(700)는 ToF 카메라로 획득한 깊이 영상의 해상도가 입력 컬러 영상의 해상도와 다른 경우, 입력 컬러 영상의 해상도에 따라 깊이 영상의 해상도를 업샘플링(Upsampling)할 수 있다. 이때, 깊이 영상 보정부(700)는 깊이 영상만을 이용하여 업샘플링할 수도 있고, 입력 컬러 영상, 또는 인텐시티 영상을 부가 정보로 이용하여 깊이 영상을 업샘플링할 수도 있다. 이때, 깊이 영상 보정부(700)가 부가 정보로 이용하는 것은 인텐시티 영상에서 추출된 새추레이션 영역 ms일 수 있다.
또한, 깊이 영상 보정부(700)는 업샘플링된 깊이 영상의 화질을 추가적으로 개선하기 위하여 필터링(filtering)을 적용할 수 있다. 예를 들어, 깊이 영상 보정부(700)는 깊이 영상에 대한 양방향 필터링(bilateral filtering), 입력 컬러 영상 및 깊이 영상을 이용한 조인트 양방향 필터링(joint-bilateral filtering)을 적용할 수 있다.
그리고, 깊이 영상 보정부(700)는 업샘플링과 필터링을 순차적으로 수행할 수도 있고, 하나의 프로세스로 병합하여 업샘플링과 필터링을 동시에 수행할 수도 있다. 예를 들어, 깊이 영상 보정부(700)은 조인트 양방향 업샘플링(Joint bilateral upsampling)을 이용하여 업샘플링과 필터링을 동시에 수행할 수 있다.
또한, 깊이 영상 보정부(700)은 깊이 필터링을 적용할 경우, 새추레이션 영역 추출부(130)으로부터 제공받은 새추레이션 영역 ms의 픽셀에 가중치를 주지 않을 수 있다. 그리고, 깊이 영상 보정부(700)은 업샘플링을 적용할 경우, 새추레이션 영역 ms의 픽셀은 엠티(empty) 픽셀로 간주하고, 새추레이션 영역 ms을 제외한 다른 영역의 픽셀들만을 이용하여 업샘플링을 수행할 수 있다.
이때, 깊이 영상 보정부(700)은 화질을 보정한 깊이 영상 D'를 비네팅 보정부(310), 폴 오프 보정부(320), 그림자 영역 추출부(140), 및 컬러 영상 개선부(150)에 제공할 수 있다.
그 다음으로, 비네팅 보정부(310)는 화질을 보정한 깊이 영상 D'를 이용하여 인텐시티 영상에서 깊이의 변화가 작은 영역을 추출하고, 추출한 영역만을 이용하여 비네팅을 보정할 수 있다.
구체적으로, 비네팅 보정부(310)는 깊이 영상 D'의 모든 픽셀에 대하여 국부 분산을 계산하고 이 값을 경계화하여 깊이 영상 D'에서 깊이의 변화가 작은 영역을 추출할 수 있다. 다음으로, 비네팅 보정부(310)은 추출된 영역에 기존의 컬러 영상에서 적용하는 기법으로 비네팅을 추정하고, 추정 결과를 인텐시티 영상 전체에 적용하여 비네팅이 보정된 인텐시티 영상 I'를 출력할 수 있다. 이때, 비네팅 보정부(310)는 비네팅이 보정된 인텐시티 영상 I'를 폴 오프 보정부(320)에 제공할 수 있다.
다음으로, 폴 오프 보정부(320)는 화질을 보정한 깊이 영상 D'를 이용하여 비네팅이 보정된 인텐시티 영상 I'의 폴 오프를 보정할 수 있다.
구체적으로, 폴 오프 보정부(320)는 깊이 영상 D'에서 픽셀들 각각의 거리 값을 획득하고, 인텐시티 영상 I'의 각 픽셀 값에 해당 픽셀의 거리 값의 제곱을 곱하여 폴 오프를 보정할 수 있다. 이때, 폴 오프 보정부(320)는 폴 오프가 보정된 인텐시티 영상 I''를 그림자 영역 추출부(140)와 컬러 영상 개선부(150)에 제공할 수 있다.
또한, 폴 오프 보정부(320)는 깊이 정보의 평균값 혹은 중앙값을 갖는 픽셀의 IR 인텐시티가 일정하게 유지되도록 인텐시티 영상의 전체 픽셀 값을 스케일링함으로써, 인텐시티 영상의 전반적인 밝기는 유지하면서 폴 오프로 인해 발생한 감쇄 성분만 보정할 수 있다.
그 다음으로, 그림자 영역 추출부(140)는 폴 오프가 보정된 인텐시티 영상 I''와 화질을 보정한 깊이 영상 D' 및 입력 컬러 영상을 이용하여 깊이 카메라의 광원에 의해 발생하는 그림자 영역을 추출할 수 있다.
구체적으로, 그림자 영역 추출부(140)는 인텐시티 영상 I''의 인텐시티와 입력 컬러 영상의 휘도 간의 차이가 특정 임계값 이하인 픽셀을 그림자 영역으로 추출할 수 있다. 이때, 그림자 영역 추출부(140)는 인텐시티 영상 I''의 영역 중 새추레이션 영역 추출부(130)가 추출한 새추레이션 영역 ms을 제외한 나머지 영역에서 그림자 영역을 추출할 수 있다.
그리고, 그림자 영역 추출부(140)는 깊이 영상 D'를 이용하여 깊이 영상의 경계를 검출하고, 검출된 그림자 영역의 픽셀 중에서 깊이 영상의 경계와 멀리 떨어져 있는 픽셀은 잘못 검출 된 것으로 판단하여 삭제할 수 있다.
이때, 그림자 영역 추출부(140)는 추출한 그림자 영역과 새추레이션 영역 추출부(130)로부터 제공받은 새추레이션 영역 ms를 컬러 영상 개선부(150)에 제공할 수 있다.
마지막으로, 컬러 영상 개선부(150)는 화질을 보정한 깊이 영상 D', 폴 오프가 보정된 인텐시티 영상 I'', 입력 컬러 영상, 새추레이션 영역 ms, 및 그림자 영역을 이용하여 입력 컬러 영상의 화질을 개선할 수 있다.
이때, 컬러 영상 개선부(150)가 출력하는 출력 컬러 영상 C'는 인텐시티 영상의 택스처 성분을 포함할 수 있다.
구체적으로, 컬러 영상 개선부(150)는 출력 컬러 영상 C'과 상기 입력 컬러 영상 간의 유사도와, 출력 컬러 영상 C'에 포함될 텍스처 또는 에지 성분 및 출력 컬러 영상 C'의 텍스처 또는 에지 성분과 인텐시티 영상 I에 포함된 텍스처 성분 또는 에지 성분 간의 유사도 중 적어도 하나에 따라 최적의 개선결과를 결정하고, 결정한 개선 결과에 따라 입력 컬러 영상을 개선할 수 있다.
또한, 컬러 영상 개선부(150)는 인텐시티 영상의 새추레이션 영역과 그림자 영역에 포함된 픽셀들의 가중치를 조절하여 새추레이션 영역과 그림자 영역에 포함된 픽셀들의 픽셀 값이 출력 컬러 영상 C'에 반영되는 정도를 감소시킬 수 있다.
그리고, 컬러 영상 개선부(150)는 깊이 영상에 포함된 깊이 정보에 따라 입력 컬러 영상의 텍스처 성분 또는 에지 성분을 조절할 수 있다.
도 8은 일실시예에 따른 컬러 영상 개선 방법을 도시한 도면이다.
단계(810)에서 인텐시티 영상 획득부(110)는 깊이 카메라를 이용하여 인텐시티 영상을 획득할 수 있다. 이때, 깊이 카메라는 오브젝트에 IR 광을 조사하고 오브젝트로부터 반사된 IR광을 이용하여 깊이 영상을 획득하는 ToF 깊이 카메라일 수 있다. 그리고, 인텐시티 영상 획득부(110)는 오브젝트로부터 반사된 IR광의 강도를 측정하여 인텐시티 영상을 획득할 수 있다.
단계(820)에서 새추레이션 영역 추출부(130)는 단계(810)에서 획득한 인텐시티 영상에서 새추레이션 영역을 추출할 수 있다. 이때, 새추레이션 영역 추출부(130)는 인텐시티 영상에서 픽셀 값이 임계값 이상인 픽셀들을 식별하고, 식별한 픽셀들을 새추레이션 영역으로 추출할 수 있다.
단계(830)에서 깊이 영상 보정부(700)은 입력 컬러 영상과 깊이 영상 및, 단계(820)에서 추출한 새추레이션 영역을 이용하여 깊이 영상을 보정할 수 있다.
구체적으로, 깊이 영상 보정부(700)는 ToF 카메라로 획득한 깊이 영상의 해상도가 입력 컬러 영상의 해상도와 다른 경우, 입력 컬러 영상의 해상도에 따라 깊이 영상의 해상도를 업샘플링할 수 있다. 또한, 깊이 영상 보정부(700)는 업샘플링된 깊이 영상의 화질을 추가적으로 개선하기 위하여 필터링을 적용할 수 있다.
그리고, 깊이 영상 보정부(700)는 업샘플링과 필터링을 순차적으로 수행할 수도 있고, 하나의 프로세스로 병합하여 업샘플링과 필터링을 동시에 수행할 수도 있다.
또한, 깊이 영상 보정부(700)은 깊이 필터링을 적용할 경우, 단계(820)에서 추출한 새추레이션 영역의 픽셀에 가중치를 주지 않을 수 있다. 그리고, 깊이 영상 보정부(700)은 업샘플링을 적용할 경우, 단계(820)에서 추출한 새추레이션 영역의 픽셀은 엠티 픽셀로 간주하고, 새추레이션 영역을 제외한 다른 영역의 픽셀들만을 이용하여 업샘플링을 수행할 수 있다.
단계(840)에서 비네팅 보정부(310)는 단계(830)에서 화질을 보정한 깊이 영상을 이용하여 단계(810)에서 획득한 인텐시티 영상에서 깊이의 변화가 작은 영역을 추출하고, 추출한 영역만을 이용하여 비네팅을 보정할 수 있다.
구체적으로, 비네팅 보정부(310)는 깊이 영상의 모든 픽셀에 대하여 국부 분산을 계산하고 이 값을 경계화하여 깊이 영상에서 깊이의 변화가 작은 영역을 추출할 수 있다. 다음으로, 비네팅 보정부(310)은 추출된 영역에 기존의 컬러 영상에서 적용하는 기법으로 비네팅을 추정하고, 추정 결과를 인텐시티 영상 전체에 적용하여 비네팅이 보정된 인텐시티 영상을 출력할 수 있다.
단계(850)에서 폴 오프 보정부(320)는 단계(830)에서 화질을 보정한 깊이 영상을 이용하여 단계(840)에서 비네팅이 보정된 인텐시티 영상의 폴 오프를 보정할 수 있다.
구체적으로, 폴 오프 보정부(320)는 깊이 영상에서 픽셀들 각각의 거리 값을 획득하고, 인텐시티 영상의 각 픽셀 값에 해당 픽셀의 거리 값의 제곱을 곱하여 폴 오프를 보정할 수 있다. 또한, 폴 오프 보정부(320)는 깊이 정보의 평균값 혹은 중앙값을 갖는 픽셀의 IR 인텐시티가 일정하게 유지되도록 인텐시티 영상의 전체 픽셀 값을 스케일링함으로써, 인텐시티 영상의 전반적인 밝기는 유지하면서 폴 오프로 인해 발생한 감쇄 성분만 보정할 수 있다.
단계(860)에서 그림자 영역 추출부(140)는 단계(850)에서 폴 오프가 보정된 인텐시티 영상과 단계(830)에서 화질을 보정한 깊이 영상 및 입력 컬러 영상을 이용하여 깊이 카메라의 광원에 의해 발생하는 그림자 영역을 추출할 수 있다.
구체적으로, 그림자 영역 추출부(140)는 인텐시티 영상의 인텐시티와 입력 컬러 영상의 휘도 간의 차이가 특정 임계값 이하인 픽셀을 그림자 영역으로 추출할 수 있다. 이때, 그림자 영역 추출부(140)는 인텐시티 영상 I''의 영역 중 단계(820)에서 추출한 새추레이션 영역을 제외한 나머지 영역에서 그림자 영역을 추출할 수 있다.
그리고, 그림자 영역 추출부(140)는 깊이 영상을 이용하여 깊이 영상의 경계를 검출하고, 검출된 그림자 영역의 픽셀 중에서 깊이 영상의 경계와 멀리 떨어져 있는 픽셀은 잘못 검출 된 것으로 판단하여 삭제할 수 있다.
단계(870)에서 컬러 영상 개선부(150)는 단계(830)에서 화질을 보정한 깊이 영상 D', 단계(850)에서 폴 오프가 보정된 인텐시티 영상 I'', 입력 컬러 영상, 단계(820)에서 추출한 새추레이션 영역 ms, 및 단계(860)에서 추출한 그림자 영역(751)을 이용하여 입력 컬러 영상의 화질을 개선할 수 있다.
이때, 컬러 영상 개선부(150)가 출력하는 출력 컬러 영상은 컬러 영상 개선 장치(100)가 입력 받은 입력 컬러 영상과 크게 다르지 않을 수 있다. 또한, 출력 컬러 영상은 인텐시티 영상의 택스처 성분을 포함할 수 있다.
구체적으로, 컬러 영상 개선부(150)는 출력 컬러 영상과 입력 컬러 영상의 유사도와, 출력 컬러 영상의 텍스처 또는 에지 성분과 인텐시티 영상에 포함된 텍스처 성분 또는 에지 성분 간의 유사도 및 출력 컬러 영상에 포함될 텍스처 또는 에지 성분 중 적어도 하나에 따라 최적의 개선결과를 결정하고, 결정한 개선 결과에 따라 입력 컬러 영상을 개선할 수 있다.
또한, 컬러 영상 개선부(150)는 인텐시티 영상의 새추레이션 영역과 그림자 영역에 포함된 픽셀들의 가중치를 조절하여 새추레이션 영역과 그림자 영역에 포함된 픽셀들의 픽셀 값이 출력 컬러 영상에 반영되는 정도를 감소시킬 수 있다.
그리고, 컬러 영상 개선부(150)는 깊이 영상에 포함된 깊이 정보에 따라 입력 컬러 영상의 텍스처 성분 또는 에지 성분을 조절할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 컬러 영상 개선 장치
120: 인텐시티 영상 보정부
130: 새추레이션 영역 추출부
140: 그림자 영역 추출부
150: 컬러 영상 개선부
310: 비네팅 보정부
320: 폴 오프 보정부

Claims (30)

  1. 깊이 카메라를 이용하여 인텐시티(intensity) 영상을 획득하는 인텐시티 영상 획득부; 및
    상기 인텐시티 영상과 깊이 영상으로 입력 컬러 영상을 개선하여 출력 컬러 영상을 출력하는 컬러 영상 개선부
    를 포함하는 컬러 영상 개선 장치.
  2. 제1항에 있어서,
    비네팅(Vignetting) 알고리즘을 이용하여 상기 인텐시티 영상의 비네팅을 보정하는 비네팅 보정부
    를 더 포함하는 컬러 영상 개선 장치.
  3. 제2항에 있어서,
    상기 비네팅 보정부는,
    상기 깊이 영상을 이용하여 상기 인텐시티 영상에서 비네팅을 보정할 영역을 추출하고, 추출한 영역의 비네팅을 보정하는 컬러 영상 개선 장치.
  4. 제1항에 있어서,
    상기 깊이 영상을 이용하여 상기 인텐시티 영상의 폴 오프(Fall-off)를 보정하는 폴 오프 보정부
    를 더 포함하는 컬러 영상 개선 장치.
  5. 제1항에 있어서,
    상기 인텐시티 영상과 입력 컬러 영상을 비교하여 깊이 카메라의 광원에 의해 발생하는 그림자 영역을 추출하는 그림자 영역 추출부
    를 더 포함하는 컬러 영상 개선 장치.
  6. 제5항에 있어서,
    상기 그림자 영역 추출부는,
    상기 깊이 영상을 이용하여 깊이 영상의 경계를 검출하고, 깊이 영상의 경계를 이용하여 추출한 그림자 영역의 정확도를 높이는 컬러 영상 개선 장치.
  7. 제5항에 있어서,
    상기 컬러 영상 개선부는,
    새추레이션 영역과 그림자 영역에 포함된 픽셀들의 픽셀 값이 출력 컬러 영상에 반영되는 정도를 감소시키는 컬러 영상 개선 장치.
  8. 제1항에 있어서,
    상기 컬러 영상 개선부는,
    상기 출력 컬러 영상과 상기 입력 컬러 영상 간의 유사도와, 상기 출력 컬러 영상의 텍스처 또는 에지 성분과 상기 인텐시티 영상에 포함된 텍스처 성분 또는 에지 성분 간의 유사도 및 상기 출력 컬러 영상에 포함될 텍스처 또는 에지 성분 중 적어도 하나에 따라 최적의 개선결과를 결정하고, 결정한 개선 결과에 따라 입력 컬러 영상을 개선하는 컬러 영상 개선 장치.
  9. 제1항에 있어서,
    상기 컬러 영상 개선부는,
    상기 깊이 영상에 포함된 깊이 정보에 따라 상기 입력 컬러 영상의 텍스처 성분 또는 에지 성분을 조절하는 컬러 영상 개선 장치.
  10. 제9항에 있어서,
    상기 컬러 영상 개선부는,
    상기 출력 컬러 영상의 텍스처 성분 또는 에지 성분이 상기 깊이 정보의 크기에 반비례하도록 조절하는 컬러 영상 개선 장치.
  11. 깊이 카메라를 이용하여 획득한 인텐시티 영상을 보정하는 인텐시티 영상 보정부; 및
    보정된 인텐시티 영상과 깊이 영상을 이용하여 입력 컬러 영상을 개선하는 컬러 영상 개선부
    를 포함하는 컬러 영상 개선 장치.
  12. 제11항에 있어서,
    상기 인텐시티 영상 보정부는,
    비네팅 알고리즘을 이용하여 상기 인텐시티 영상의 비네팅을 보정하는 비네팅 보정부; 및
    상기 깊이 영상을 이용하여 상기 인텐시티 영상의 폴 오프를 보정하는 폴 오프 보정부
    를 포함하는 컬러 영상 개선 장치.
  13. 제12항에 있어서,
    상기 비네팅 보정부는,
    상기 깊이 영상을 이용하여 상기 인텐시티 영상에서 비네팅을 보정할 영역을 추출하고, 추출한 영역의 비네팅을 보정하는 컬러 영상 개선 장치.
  14. 제11항에 있어서,
    상기 인텐시티 영상과 입력 컬러 영상을 비교하여 깊이 카메라의 광원에 의해 발생하는 그림자 영역을 추출하는 그림자 영역 추출부
    를 더 포함하는 컬러 영상 개선 장치.
  15. 제14항에 있어서,
    상기 그림자 영역 추출부는,
    상기 깊이 영상을 이용하여 깊이 영상의 경계를 검출하고, 깊이 영상의 경계를 이용하여 추출한 그림자 영역의 정확도를 높이는 컬러 영상 개선 장치.
  16. 제11항에 있어서,
    상기 컬러 영상 개선부는,
    상기 깊이 영상에 포함된 깊이 정보에 따라 상기 입력 컬러 영상의 텍스처 성분 또는 에지 성분을 조절하는 컬러 영상 개선 장치.
  17. 제16항에 있어서,
    상기 컬러 영상 개선부는,
    상기 출력 컬러 영상의 텍스처 성분 또는 에지 성분이 상기 깊이 정보의 크기에 반비례하도록 조절하는 컬러 영상 개선 장치.
  18. 깊이 카메라를 이용하여 인텐시티 영상을 획득하는 단계; 및
    상기 인텐시티 영상과 깊이 영상으로 입력 컬러 영상을 개선하여 출력 컬러 영상을 출력하는 단계
    를 포함하는 컬러 영상 개선 방법.
  19. 제18항에 있어서,
    비네팅 알고리즘을 이용하여 상기 인텐시티 영상의 비네팅을 보정하는 단계
    를 더 포함하는 컬러 영상 개선 방법.
  20. 제19항에 있어서,
    상기 비네팅을 보정하는 단계는,
    상기 깊이 영상을 이용하여 상기 인텐시티 영상에서 비네팅을 보정할 영역을 추출하고, 추출한 영역의 비네팅을 보정하는 컬러 영상 개선 방법.
  21. 제18항에 있어서,
    상기 깊이 영상을 이용하여 상기 인텐시티 영상의 폴 오프를 보정하는 단계
    를 더 포함하는 컬러 영상 개선 방법.
  22. 제18항에 있어서,
    상기 인텐시티 영상과 입력 컬러 영상을 비교하여 깊이 카메라의 광원에 의해 발생하는 그림자 영역을 추출하는 단계
    를 더 포함하는 컬러 영상 개선 방법.
  23. 제22항에 있어서,
    상기 그림자 영역을 추출하는 단계는,
    상기 깊이 영상을 이용하여 깊이 영상의 경계를 검출하고, 깊이 영상의 경계를 이용하여 추출한 그림자 영역의 정확도를 높이는 컬러 영상 개선 방법.
  24. 제22항에 있어서,
    상기 출력 컬러 영상을 출력하는 단계는,
    새추레이션 영역과 그림자 영역에 포함된 픽셀들의 픽셀 값이 출력 컬러 영상에 반영되는 정도를 감소시키는 컬러 영상 개선 방법.
  25. 제18항에 있어서,
    상기 출력 컬러 영상을 출력하는 단계는,
    상기 출력 컬러 영상과 상기 입력 컬러 영상 간의 유사도와, 상기 출력 컬러 영상의 텍스처 또는 에지 성분과 상기 인텐시티 영상에 포함된 텍스처 성분 또는 에지 성분 간의 유사도 및 상기 출력 컬러 영상에 포함될 텍스처 또는 에지 성분 중 적어도 하나에 따라 최적의 개선결과를 결정하고, 결정한 개선 결과에 따라 입력 컬러 영상을 개선하는 컬러 영상 개선 방법.
  26. 제18항에 있어서,
    상기 출력 컬러 영상을 출력하는 단계는,
    상기 깊이 영상에 포함된 깊이 정보에 따라 상기 입력 컬러 영상의 텍스처 성분 또는 에지 성분을 조절하는 컬러 영상 개선 방법.
  27. 제26항에 있어서,
    상기 출력 컬러 영상을 출력하는 단계는,
    상기 출력 컬러 영상의 텍스처 성분 또는 에지 성분이 상기 깊이 정보의 크기에 반비례하도록 조절하는 컬러 영상 개선 방법.
  28. 깊이 카메라를 이용하여 획득한 인텐시티 영상을 보정하는 단계; 및
    보정된 인텐시티 영상과 깊이 영상을 이용하여 입력 컬러 영상을 개선하는 단계
    를 포함하는 컬러 영상 개선 방법.
  29. 제28항에 있어서,
    상기 인텐시티 영상을 보정하는 단계는,
    비네팅 알고리즘을 이용하여 상기 인텐시티 영상의 비네팅을 보정하는 단계; 및
    상기 깊이 영상을 이용하여 상기 인텐시티 영상의 폴 오프를 보정하는 단계
    를 포함하는 컬러 영상 개선 방법.
  30. 제18항 내지 제29항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 할 수 있는 기록 매체.
KR1020130021045A 2013-02-27 2013-02-27 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법 KR102079686B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130021045A KR102079686B1 (ko) 2013-02-27 2013-02-27 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021045A KR102079686B1 (ko) 2013-02-27 2013-02-27 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140106870A true KR20140106870A (ko) 2014-09-04
KR102079686B1 KR102079686B1 (ko) 2020-04-07

Family

ID=51754983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021045A KR102079686B1 (ko) 2013-02-27 2013-02-27 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102079686B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3859675A4 (en) * 2018-09-27 2021-12-01 Panasonic Intellectual Property Management Co., Ltd. DEVICE AND METHOD FOR DEPTH MEASUREMENT AND PROGRAM
CN114040089A (zh) * 2020-07-21 2022-02-11 Oppo广东移动通信有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
US11341615B2 (en) * 2017-09-01 2022-05-24 Sony Corporation Image processing apparatus, image processing method, and moving body to remove noise in a distance image

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Han et al. 3D perception enhancement using depth map based color processing. ICCE, 2011년 1월, pp. 177-178. 1부.* *
Sturmer et al. Standardization of intensity values acquired by time of flight cameras. IEEE CVPR, 2008년 6월, pp. 1-6. 1부.* *
Zheng et al. Single image vignetting correction using radial gradient symmetry. IEEE CVPR, 2008년 6월, pp. 1-8. 1부.* *
Zhuo et al. Enhancing low light images using near infrared flash images. ICIP, 2010년 9월, pp. 2537-2540. 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341615B2 (en) * 2017-09-01 2022-05-24 Sony Corporation Image processing apparatus, image processing method, and moving body to remove noise in a distance image
EP3859675A4 (en) * 2018-09-27 2021-12-01 Panasonic Intellectual Property Management Co., Ltd. DEVICE AND METHOD FOR DEPTH MEASUREMENT AND PROGRAM
CN114040089A (zh) * 2020-07-21 2022-02-11 Oppo广东移动通信有限公司 一种图像处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
KR102079686B1 (ko) 2020-04-07

Similar Documents

Publication Publication Date Title
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
US11215700B2 (en) Method and system for real-time motion artifact handling and noise removal for ToF sensor images
US10026156B2 (en) Information processing apparatus, information processing method, and medium
US10354413B2 (en) Detection system and picture filtering method thereof
US10452922B2 (en) IR or thermal image enhancement method based on background information for video analysis
KR20100132189A (ko) 영상 처리 장치 및 방법
CN109598736B (zh) 深度图像与彩色图像的配准方法及装置
US9489751B2 (en) Image processing apparatus and image processing method for color correction based on pixel proximity and color similarity
JP7020471B2 (ja) 画像処理装置及び撮像装置
KR101550070B1 (ko) 입력영상에서 용이하게 에지를 검출할 수 있는 영상처리방법 및 장치
JP2015146526A (ja) 画像処理装置および方法、並びにプログラム
WO2019011110A1 (zh) 逆光场景的人脸区域处理方法和装置
US10489928B2 (en) Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser
US10803625B2 (en) Detection system and picturing filtering method thereof
KR102079686B1 (ko) 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법
KR101557271B1 (ko) 영상 내 원 형상 검출에 따른 검출 원 형상의 근사화 방법
KR20130112594A (ko) 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
KR101717733B1 (ko) Hdr 이미지 처리 장치 및 방법
CN109661683B (zh) 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
KR101582800B1 (ko) 적응적으로 컬러 영상 내의 에지를 검출하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101796551B1 (ko) 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템
KR20160056729A (ko) 극저조도 영상의 화질 개선 장치 및 방법
Jyothisree et al. Shadow detection using tricolor attenuation model enhanced with adaptive histogram equalization
KR102188163B1 (ko) 저조도 영상의 전처리 시스템 및 그 방법
US9754374B1 (en) Detection of a sheet of light based on second derivative

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right