KR20170092218A - 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치 - Google Patents

단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치 Download PDF

Info

Publication number
KR20170092218A
KR20170092218A KR1020160013267A KR20160013267A KR20170092218A KR 20170092218 A KR20170092218 A KR 20170092218A KR 1020160013267 A KR1020160013267 A KR 1020160013267A KR 20160013267 A KR20160013267 A KR 20160013267A KR 20170092218 A KR20170092218 A KR 20170092218A
Authority
KR
South Korea
Prior art keywords
target pixel
image
reflection
separating
blending
Prior art date
Application number
KR1020160013267A
Other languages
English (en)
Other versions
KR101772626B1 (ko
Inventor
제창수
박형민
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020160013267A priority Critical patent/KR101772626B1/ko
Publication of KR20170092218A publication Critical patent/KR20170092218A/ko
Application granted granted Critical
Publication of KR101772626B1 publication Critical patent/KR101772626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명은 단일 영상 내의 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치에 관한 것으로, 영상처리 장치는, 단일 영상을 입력 받고, 입력 영상에서, 각 컬러채널의 반사조도(reflected irradiance) 또는 각 컬러채널의 광도(intensity)를 상기 각 컬러채널의 조명(illumination)으로 나누어서 얻어지는 혼합반사도(mixed reflectance)에서 상기 혼합반사도의 분광적 평균(mean with respect to the spectral channel index)인 혼합중분(mixed neuter)을 제외한 잔여 성분인 체정분(body essence)을 이용하여 이색성 반사성분(dichromatic reflection components)을 분리하고, 이색성 반사성분의 분리에 따라 광휘(highlight) 영상과 광휘가 제거된 영상 중 하나 이상을 출력한다.

Description

단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치{Method for separating reflection components from a single image and image processing apparatus using the method thereof}
본 발명은 영상처리 기술에 관한 것으로, 특히 단일 영상으로부터 반사성분을 분리하는 방법, 그 방법을 기록한 기록매체 및 그 방법에 따른 영상처리 장치에 관한 것이다.
물리적 대상의 외관은 대상 물체 표면의 반사특성과 조명(illumination)의 특성, 물체 표면의 기하학적 형상, 그리고 관찰자 또는 센서의 위치와 그 특성에 의해 결정된다. 물체 표면에서의 반사는 크게 확산반사(diffuse reflection)와 경면반사(specular reflection)로 나눌 수 있다. 일반적으로 확산조명(diffuse illumination)이 물체표면에 입사하면 그 반사도 확산되게 되고, 물체 표면의 반사특성 자체가 확산반사인(Lambertian) 경우에는 입사 조명의 확산 여부와 관계없이 확산반사를 일으키게 된다. 그러나 실제로는 충분히 확산된 조명도 드물고, 물체 표면이 완전한 확산반사 특성을 가지는 경우도 드물다. 이로 인해, 많은 영상들은 경면반사 광휘(specular highlight)를 포함하고 있고, 경면반사 특성을 보이는 경계반사(interface reflection) 성분의 검출(detection)과 분리(separation)는 대상의 검출과 인식, 그리고 대상 표면의 반사특성 모델링 등을 위한 중요한 태스크 중의 하나이다.
광학적 과정에서는 경계반사를 경감한 이미징을 위해, 브루스터 각(Brewster's angle)의 편광이 이용될 수 있다. 비광학적 과정에서 경계반사를 검출 및 분리하기 위한 다양한 기술들이 개발되어왔으며, 그 중 많은 방법들은 불투명 유전체 표면에 적합한 이색성 반사 모델(dichromatic reflection model)을 이용하였다. 이색성 반사의 가정 아래, 다양한 컬러 기반 방법들이 제안되었다. Bajcsy 등은 S 공간(S space) 기반 컬러 반사 모델과 색상(hue) 기반 분할(segmentation) 알고리즘을 제시하였으나, 그 알고리즘은 색상이 같으면서 채도(saturation)가 다른 영역에는 적합하지 않은 문제가 있었다. 이 후 최대색도(maximum chromaticity)에 기반을 둔 기술 등 다양한 방법들이 제안되었으나 비최대(non-maximum) 색도에 대한 적절한 처리의 부재와 체반사(body reflection) 유사도 평가에 사용하는 실체(entity)의 자유도(degree of freedom) 부족 등으로 인해 구조적 오차(error)와 잡음에 대한 취약성을 안고 있었으며, 문턱치(thresholding) 연산에 의한 불연속적인 작동으로 인해 부자연스런 결과를 생성하는 문제점이 있었다.
미국등록특허 US 3,747,755 미국등록특허 US 7,136,537 미국등록특허 US 8,577,135 미국등록특허 US 8,577,150
S. A. Shafer, "Using color to separate reflection components," Color Research and Application 10, 210-218(1985). R. Bajcsy, S. W. Lee, and A. Leonardis, "Detection of diffuse and specular interface reflections and inter-reflections by color image segmentation," International Journal of Computer Vision 17, 241-272 (1996). R. Tan and K. Ikeuchi, "Separating reflection components of textured surfaces using a single image," Pattern Analysis and Machine Intelligence, IEEE Transactions on 27, 178-193 (2005). J. Yang, Z. Cai, L. Wen, Z. Lei, G. Guo, and S. Li, "Anew projection space for separation of specular-diffuse reflection components in color images," in "Computer Vision - ACCV 2012," , vol. 7727 of Lecture Notes in Computer Science (Springer Berlin Heidelberg, 2013), pp. 418-429. H.- L. Shen and Q.- Y. Cai, "Simple and effcient method for specularity removal in an image," Appl. Opt. 48, 2711-2719 (2009).
본 발명이 해결하고자 하는 기술적 과제는, 컬러가 포함된 단일 영상을 처리함에 있어서, 이색성 반사의 가정하에서 제안된 종래의 반사성분 분리 방법들에서 나타나는, 비최대(non-maximum) 색도(chromaticity)에 대한 적절한 처리의 부재로 청록, 심홍, 노랑 근처 컬러에서 오차가 커지는 문제점과 체반사 유사도 평가에 사용하는 실체(entity)의 자유도(degree of freedom) 부족 등으로 인해 구조적 오차(error)와 잡음에 대한 취약성을 가졌던 문제점을 해결하며, 문턱치(thresholding) 연산에 의한 불연속적인 작동으로 인해 부자연스런 결과를 생성하는 문제점을 해결하여 보다 정확하고 효과적인 반사성분 분리를 가능하게 하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 적어도 하나의 처리기(processor)를 구비하는 영상처리 장치가 입력된 영상 내의 반사성분(reflection component)을 분리하는 방법은, 상기 영상처리 장치가 단일 영상을 입력 받는 단계; 및 상기 영상처리 장치가 입력된 상기 단일 영상으로부터 체반사(body reflection) 성분만을 포함하는 체정분(body essence)을 이용하여 이색성 반사성분(dichromatic reflection components)을 분리하는 단계를 포함하며, 상기 체정분은, 각 컬러채널의 반사조도(reflected irradiance) 또는 각 컬러채널의 광도(intensity)를 상기 각 컬러채널의 조명(illumination)으로 나누어서 얻어지는 혼합반사도(mixed reflectance)에서 상기 혼합반사도의 분광적 평균(mean with respect to the spectral channel index)인 혼합중분(mixed neuter)을 제외한 잔여 성분이다.
일 실시예에 따른 영상 내 반사성분을 분리하는 방법에서, 상기 이색성 반사성분을 분리하는 단계는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 혼합중분의 지역 차분(local difference)을 산출하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 방법에서, 상기 이색성 반사성분을 분리하는 단계는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 체정분의 지역 차분(local difference)을 산출하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 방법에서, 상기 이색성 반사성분을 분리하는 단계는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 체정분의 지역 차분에 대한 가우시안 함수(Gaussian function)값을 산출하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 방법에서, 상기 이색성 반사성분을 분리하는 단계는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 이 경우에 해당하는 상기 대상 화소 및 상기 이웃 화소의 각 쌍에 대해 상기 체정분의 지역 차분에 대한 가우시안 함수값을 산출하고, 이를 해당 쌍에 대한 상기 혼합중분의 지역 차분과 곱하여 혼합중분의 가중 지역 차분을 산출하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 방법에서, 상기 이색성 반사성분을 분리하는 단계는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 상기 대상 화소의 하나 이상의 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것(음수이므로, 혼합중분의 가중 지역 차분 중 최소값)을 선택하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 방법에서, 상기 이색성 반사성분을 분리하는 단계는, 입력된 상기 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 상기 대상 화소의 하나 이상의 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것(음수이므로, 혼합중분의 가중 지역 차분 중 최소값)을 선택하여 그 절대값만큼 상기 대상 화소의 혼합중분을 감소시키는 단계를 포함할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 방법에서, 상기 이색성 반사성분을 분리하는 단계는, 입력된 상기 영상에 속하는 하나 이상의 각 대상 화소에 대해, 각 대상 화소의 혼합중분을 반복적으로 감소시킴으로써, 경계반사(interface reflection) 성분을 감소시킬 수 있다.
나아가, 이하에서는 상기 기재된 영상 내 반사성분을 분리하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 내 반사성분을 분리하는 장치는, 단일 영상을 입력받는 입력부; 적어도 하나의 처리기(processor)를 구비하고, 상기 입력부를 통해 입력된 상기 단일 영상으로부터 체반사(body reflection) 성분만을 포함하는 체정분(body essence)을 이용하여 이색성 반사성분(dichromatic reflection components)을 분리하는 영상처리부; 및 상기 이색성 반사성분의 분리에 따라 광휘(highlight) 영상과 광휘가 제거된 영상 중 하나 이상을 출력하는 출력부를 포함하며, 상기 체정분은, 각 컬러채널의 반사조도(reflected irradiance)를 상기 각 컬러채널의 조명(illumination)으로 나누어서 얻어지는 혼합반사도(mixed reflectance)에서 상기 혼합반사도의 분광적 평균(mean with respect to the spectral channel index)인 혼합중분(mixed neuter)을 제외한 잔여 성분이다.
일 실시예에 따른 영상 내 반사성분을 분리하는 장치에서, 상기 영상처리부는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 혼합중분의 지역 차분(local difference)을 산출하여, 상기 이색성 반사성분을 분리할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 장치에서, 상기 영상처리부는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 체정분의 지역 차분(local difference)을 산출하여, 상기 이색성 반사성분을 분리할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 장치에서, 상기 영상처리부는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 이 경우에 해당하는 상기 대상 화소 및 상기 이웃 화소의 각 쌍에 대해 상기 체정분의 지역 차분에 대한 가우시안 함수값을 산출하고, 이를 해당 쌍에 대한 상기 혼합중분의 지역 차분과 곱하여 혼합중분의 가중 지역 차분을 산출하여, 상기 이색성 반사성분을 분리할 수 있다.
일 실시예에 따른 영상 내 반사성분을 분리하는 장치에서, 상기 영상처리부는, 입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 그 대상 화소의 하나 이상의 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것(음수이므로, 혼합중분의 가중 지역 차분 중 최소값)을 선택하여 그 절대값만큼 그 대상 화소의 혼합중분을 감소시킬 수 있다.
본 발명의 실시예들은, 혼합반사도가 체정분과 혼합중분으로 구성된 새로운 반사 컬러 모델인 BREN 모델을 제안하고 이를 활용하여 영상 내 반사성분을 분리하는 기술적 수단을 제시함으로써, 잡음에 둔감하고, 최대색도 기반의 방법에 비해 RGB(red, green, and blue) 근처의 컬러들뿐만 아니라 CMY(cyan, magenta, and yellow) 근처의 컬러들에 대해서도 적합하며, 무경면반사(specular-free) 영상은 물론 어떠한 그것의 수정 영상(any modified one)도 사용하지 않음으로써 영역 분할(region segmentation)이 불필요하고 그로 인해 영상의 품질이 분할(segmentation)의 정확도에 의존하지 않는다는 장점을 갖는다.
도 1은 본 발명의 일 실시예에 따른 단일 영상 내의 반사성분을 분리하는 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 반사성분 분리 방법에서 이색성 반사성분을 분리하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 단일 영상 내의 반사성분을 분리하는 장치를 도시한 블록도이다.
도 4 내지 도 8은 본 발명의 실시예들이 제안하는 영상 내 반사성분을 분리하는 영상처리 장치의 프로토타입(prototype)을 통해 실제 입력된 단일 영상과 광휘가 제거된 출력 영상을 비교하여 설명하기 위한 도면이다.
카메라와 같은 영상 취득 수단을 통해 취득된 영상으로부터 그 영상의 장면(scene)에 존재하는 반사성분을 분리하는 기술은 대상의 검출 및 인식과 대상 표면의 반사특성 모델링 등에 다양하게 활용될 수 있다. 본 발명의 실시예들을 설명하기에 앞서, 광학, 컴퓨터비전(computer vision) 등의 분야에서 반사성분을 분리하기 위해 활용할 수 있는 기술적 수단과 이에 따른 문제점을 간략히 소개한 후, 이러한 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 제시하도록 한다. 또한, 설명의 편의를 위해 이하에서 사용되는 용어와 그 의미를 먼저 다음과 같이 밝혀두도록 한다.
반사(reflection)는 빛이 매체의 경계 및 그 주위에서 방향을 바꾸는 현상으로 주로 기하광학에서 기술된다. 이색성 반사 모델(dichromatic reflection model)은 대상 표면의 반사를 두 가지 반사성분(reflection component), 즉 체반사(body reflection) 성분과 경계반사(interface reflection) 성분으로 구성하여 기술하는 반사 모델이다. 대상 표면에 입사한 빛의 일부는 대상 표면에서 바로 반사되며 이를 경계반사성분이라 하고, 일부는 표면을 살짝 들어가서 그 중 일부는 흡수되고 나머지의 일부는 산란하여 그 일부는 다시 표면 밖으로 나오는데 이를 체반사성분이라 한다. 표면반사(surface reflection)는 경계반사를 의미하기도 하고 일반적인 표면반사를 포괄하기도 하는 용어이다. 경면반사(specular reflection)는 거울면반사라고도 하며, 표면 법선(surface normal)을 기준으로 입사각과 반사각이 같은 반사를 뜻하며, 매끈한 표면에서의 경계반사는 경면반사의 특성을 보인다. 확산반사(diffuse reflection)는 다양한 방향으로 반사하는 것을 의미하며, 체반사는 산란에 의해 확산반사의 특성을 보이며, 경계반사도 표면이 울퉁불퉁한 경우 그 정도에 따라 확산반사의 특성을 보일 수 있다. 광휘 제거(highlight removal)는 영상에서 주로 경면반사와 같이 휘도가 월등히 높은 영역의 고휘도 성분을 제거하는 것을 의미하며, 주로 경면반사성분만을 제거하고 확산반사성분을 남기게 되므로 확산반사성분을 구하는 것이나 경면반사성분을 구하는 것과 실질적으로 유사한 작업이 된다. 반사성분 분리(separation of reflection components)는 주로 확산반사성분과 경면반사성분을 분리하는 것을 의미하며, 광휘 제거, 경면반사 추정, 확산반사 추정과 실질적으로 유사한 작업이다. 컬러 비전(color vision)은 컬러의 인식, 컬러를 이용한 영상 분석, 추정, 인식 등을 포괄하는 연구 분야를 말하며, 본 발명의 실시예들이 적용될 수 있는 기술 분야 중 하나이다.
극단적으로 확산하는 조명(예를 들어, 반구형 조명) 또는 램버션(Lambertian) 반사특성은 대상 물체가 확산반사의 외관을 갖게 한다. 그러나, 우리가 마주하는 많은 실제 장면들은 조명이 충분히 확산하지도 않고 사물의 표면이 완전한 램버션 반사를 보여주지도 않는다. 따라서, 많은 장면 영상들은 경면반사 광휘(specular highlights)를 포함하며, 영상 내에 포함된 경면반사 특성을 보이는 경계반사(interface reflection)를 탐지하고 분리시키는 것은 객체 탐지 및 인식, 그리고 표면반사도(surface reflectance)을 모델링하기 위한 중요한 작업 중 하나이다. 일반적으로, 경면반사(specularity)는 경계반사에 의해 생성되고 체반사(body reflection)는 확산반사 특성을 지니므로, 본 발명의 실시예에서는 고도로 확산하는 경계반사는 고려하지 않는다.
브루스터 각(Brewster's angle)에 따른 편광(polarization)은 광학 프로세스 상에서 경계반사가 감소된 영상을 취득하는 데 사용될 수 있다. 비광학적 프로세스에서 경계반사를 탐지하고 분리하기 위해 다양한 기술들이 개발되었고, 많은 방법들이 불투명한 유전체의 객체 표면에 적합한 이색성 반사 모델을 채택하였다. 이색성 반사의 가정하에서, 다양한 컬러 기반의 방법들이 제안되었다. Bajcsy 등은 S 공간(S space) 기반 컬러 반사 모델과 색상(hue) 기반 분할(segmentation) 알고리즘을 제시하였으나, 그 알고리즘은 색상이 같으면서 채도(saturation)가 다른 영역에는 적합하지 않은 문제가 있었다. Tan과 Ikeuchi는 최대색도(maximum chromaticity) 기반 분리 알고리즘을 제안하였으나, 그들의 방법은 최대색도-광도 공간(maximum chromaticity intensity space) 내에서 두 개의 인접한 화소들의 최대색도를 정렬(align)하기 때문에, 색도의 나머지(비최대 색도)는 잘 정렬되지 않을 수 있다. RGB(red, green, and blue) 근처의 컬러가 비최대(non-maximum) 색도의 채널들에서 상대적으로 작은 값을 갖는 반면, CMY(cyan, magenta, and yellow) 근처의 컬러는 두 개의 채널에서 상대적으로 크면서 유사한 색도 값을 가진다. 예를 들어, R 근처의 한 컬러인 (0.9, 0.03, 0.07)는 G 및 B 채널에서 충분히 작은 두 개의 값을 가지는 반면, M 근처의 한 컬러인 (0.47, 0.05, 0.48)는 R 및 B 채널에서 상대적으로 크면서 유사한 두 개의 값을 가진다. 또한, 그들의 분석 공간에서, 확산반사 컬러로부터 경면반사 컬러까지의 경로가 비선형적이다. 또 다른 종래의 기술은 최대색도를 사용하였고 나아가 반사성분의 효과적인 분리를 위한 Ch-CV 공간을 생성하기 위해 변동계수를 도입하였다. 해당 알고리즘은 경면반사 영역의 분할(segmentation)을 필요로 하고, 분할 결과에 심각하게 의존한다. 따라서, 영역 분할이 성공적이지 못한 경우에는, 바람직하지 않은 결과를 출력하게 된다. 또 다른 종래의 기술에서는 오프셋(offset)이 무경면반사(specular-free) 영상에 추가된 수정 무경면반사 영상(modified specular-free image)을 사용하였다. 해당 방법에서는 확산반사성분이, 전체 영상 내에서의 경면반사 수준을 조절하는 단일의 파라미터를 결정함으로써 산출된다. 해당 방법이 효율적일 수는 있으나, 영역 분할(충분한 수의 화소들로 구성되는 경면반사 영역 및 그 주변 영역)을 필요로 하고, 경면반사 영역 및 그 주변 영역 내에서는 확산반사성분의 변화를 무시한다는 단점이 있다. 또한, 해당 방법에서는 전체 영상 내에서 단일의 조절 파라미터를 사용하는 그 단순화된 기법이 공개된 입력 영상들에 대해 어떻게 좋은 결과를 출력할 수 있는지를 입증하지 않았다.
따라서, 이하에서 제시되는 본 발명의 실시예들은 다음과 같은 새로운 반사 컬러 모델을 제안하고 있으며, 그 이름을 BREN(body reflection essence-neuter) 모델로 명명하였다.
본 발명의 실시예들은, 혼합반사도(mixed reflectance), 체중분(body neuter), 체정분(body essence), 및 혼합중분(mixed neuter)을 정의하고, 혼합반사도가 체정분과 혼합중분으로 구성된 새로운 반사 컬러 모델인 BREN 모델에 기반을 둔다. 여기서, 혼합반사도는 각 컬러채널의 반사조도(reflected irradiance)를 각 컬러채널의 조명(illumination as a mathematical entity)으로 나누어서 얻어지는 반사도를 나타낸다. 또한, 체정분은 체반사성분만을 포함하고 경면반사에 불변이면서 자유도가 2인 특성을 갖는 요소로서, 본 발명에서 최초로 정의된 성분이다. 마지막으로, 혼합중분은 혼합반사도에서 체정분을 빼고 남은 성분을 나타낸다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 단일 영상 내의 반사성분을 분리하는 방법을 도시한 흐름도로서, 다음과 같은 단계들을 정의하는 명령어들이 저장되어 정의된 순차적인 명령에 따른 연산을 수행하기 위해 적어도 하나의 처리기(processor)를 구비하는 영상처리 장치를 통해 구현될 수 있다.
S110 단계에서, 영상처리 장치는 단일 영상을 입력받는다.
S120 단계에서, 상기 영상처리 장치는 S110 단계를 통해 입력된 상기 단일 영상으로부터 각 컬러채널의 광도를 상기 각 컬러채널의 조명으로 나누어서 혼합반사도(mixed reflectance)를 얻고, 혼합반사도가 체정분과 혼합중분으로 구성된 새로운 반사 컬러 모델인 BREN 모델을 기초로, 이색성 반사성분(dichromatic reflection components)을 분리한다. 여기서, 상기 혼합반사도는, 체반사(body reflection) 성분만을 포함하는 체정분(body essence) 및 상기 체정분을 제외한 잔여 성분을 나타내는 혼합중분(mixed neuter)으로 구성된다. 특히, 상기 체정분은, 각 컬러채널의 반사조도(reflected irradiance) 또는 각 컬러채널의 광도(intensity)를 상기 각 컬러채널의 조명(illumination)으로 나누어서 얻어지는 혼합반사도(mixed reflectance)에서 상기 혼합반사도의 분광적 평균(mean with respect to the spectral channel index)인 혼합중분(mixed neuter)을 제외한 잔여 성분을 의미한다.
이러한 과정을 보다 구체적으로 도시하고 있는 도 2를 참조하면, 상기 이색성 반사성분을 분리하는 단계(S120)는, 상기 혼합중분 및 상기 체정분의 지역 차분(local difference)을 산출하는 과정(S121)과 문턱치 연산의 불연속성 문제를 제거하는, 가우시안(Gaussian) 함수를 이용하여 경계반사(interface reflection)를 분리하는 과정(S122)를 포함할 수 있다.
이상의 과정을 통해, 상기 영상처리 장치는 상기 이색성 반사성분의 분리에 따라 광휘(highlight)가 제거된 영상을 출력할 수 있다.
이하에서는 수학적 이론을 이용하여 본 발명의 실시예들이 채택하고 있는 BREN 모델과 이를 이용한 반사성분의 분리 과정에 대해 보다 구체적으로 설명한다.
이색성 반사 모델에서, 경계(interface: f) 및 체(body: b) 반사성분으로 구성된 반사조도(reflected irradiance) L은 다음의 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기서, mf 및 mb는 기하항(geometric terms)이고,
Figure pat00002
및
Figure pat00003
는 분광항(spectral terms)이다. 본 발명의 효과적인 기술을 위해, 그리고 본 발명의 편리한 실시를 위해, 임의의 화소에서, 각 채널의 광도(intensity)를 각 채널의 반사조도(reflected irradiance)로 간주한다. 이 둘이 엄밀한 의미에서 동일한 물리량은 아니지만, 본 발명의 기술에서 이 둘의 엄밀한 차이는 중요하지 않으며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 이 둘의 물리학적/수학적 차이에 관련된 문제들을 적절하게 통제할 수 있다. 흔히 사용되는 RGB 컬러 영상에서는, 각 픽셀의 RGB 값이 각 채널의 광도에 해당한다. 수학식 1에서의 각 채널의 반사조도는 다음의 수학식 2와 같이 표현될 수 있다.
Figure pat00004
여기서, 일반적인 RGB 컬러 영상의 경우에
Figure pat00005
이다. 본 발명의 효과적인 기술을 위해, 세 개의 채널을 갖는 영상, 특히 RGB 컬러 영상을 입력 영상으로 가정하는 것을 기본으로 하나, 본 발명의 실시예들은 두 개 또는 네 개 이상의 채널로 구성되는 영상들에도 쉽게 적용이 가능하다. 상기 분광 항은 조명
Figure pat00006
및 경계분광반사도(interface spectral reflectance)
Figure pat00007
및 체분광반사도(body spectral reflectance)
Figure pat00008
에 의해 다음과 같이 표현될 수 있다.
Figure pat00009
본 발명의 실시예들은 혼합반사도를 다음의 수학식 4와 같이 정의한다.
Figure pat00010
Figure pat00011
(경계반사도) 및
Figure pat00012
(체반사도)로 정의하면, 다음의 수학식 5가 도출된다.
Figure pat00013
이제, 음이 아닌(non-negative) 체중분(body neuter)을 다음의 수학식 6과 같이 정의한다.
Figure pat00014
그리고, 체정분은 다음의 수학식 7과 같이 정의한다.
Figure pat00015
여기서,
Figure pat00016
이다. 광휘 제거를 위하여, 본 발명의 실시예들은 경계반사에 대해 불변인 알려진 수학적 실체(entity)를 필요로 한다. 수학식 6 및 7로부터 체정분은 경계반사에 대해 불변이고(경계반사 성분을 전혀 갖고 있지 않고), 색상 및 최대색도(둘 다 1 자유도)와는 다르게 2 자유도(degree(s) of freedom)를 갖는다(3개의 채널로 구성되고 영평균(zero mean)이므로). 즉, 입력된 영상의 컬러채널 수가 n(n은 2 이상의 자연수)일 때, 상기 체정분의 자유도(degree(s) of freedom)는 n-1의 값을 갖는다.
수학식 5 및 7로부터 다음의 수학식 8이 도출된다.
Figure pat00017
따라서, 다음의 수학식 9를 얻을 수 있다.
Figure pat00018
Figure pat00019
가
Figure pat00020
에 대하여 불변이기 때문에,
Figure pat00021
는 분광적으로 중립이다. 따라서, 본 발명의 실시예들은 이것을 다음의 수학식 10과 같은 혼합중분으로 정의한다.
Figure pat00022
이제, 다음의 보조 정리(Lemma) 1을 얻을 수 있다.
보조 정리 1 (혼합중분)
이색성 반사 가정하에서,
Figure pat00023
및
Figure pat00024
를 각각 혼합반사도 및 체정분이라고 하자. 여기서
Figure pat00025
는 분광 채널 인덱스(예를 들어,
Figure pat00026
)이다. 그러면
Figure pat00027
는
Figure pat00028
에 대해 일정하다(constant). 즉 분광적으로 중립이다(spectrally neutral).
보조 정리 1에 대한 증명은 다음과 같다. 혼합반사도 및 체정분의 정의로부터,
Figure pat00029
이고,
Figure pat00030
이다. 여기서
Figure pat00031
,
Figure pat00032
이고,
Figure pat00033
는 컬러 채널의 수이며,
Figure pat00034
는 분광 채널 인덱스이다. 이런 이유에서
Figure pat00035
이며, 따라서
Figure pat00036
는
Figure pat00037
에 대해 일정하다. 즉 분광적으로 중립이다.
수학식 10으로부터, 이색성 반사의 새로운 직관적 표현인 BREN 모델의 핵심을 도출할 수 있다.
Figure pat00038
수학식 11은 혼합반사도가 체정분과 혼합중분의 합이라는 것을 말해준다.
혼합중분은 혼합반사도로부터 쉽게 산출될 수 있다. 다음의 보조 정리 2는 주어진 혼합반사도로부터 혼합중분을 산출하는 방법을 제시한다.
보조 정리 2 ( 혼합중분의 산출)
이색성 반사 가정 하에서,
Figure pat00039
및
Figure pat00040
를 각각 혼합반사도 및 체정분이라 하자. 여기서,
Figure pat00041
는 분광 채널 인덱스(예를 들어,
Figure pat00042
)이다. 그러면
Figure pat00043
는
Figure pat00044
에 대한
Figure pat00045
의 평균(mean)이다. 즉 다음의 수학식 12가 도출된다.
Figure pat00046
여기서
Figure pat00047
는 컬러 채널의 수이며, 보조 정리 2에 대한 증명은 다음과 같다.
Figure pat00048
에 대한 수학식 10의 합은
Figure pat00049
와 같이 주어진다. 체정분이 앞서 수학식 6 및 7을 통해 기술된 바와 같이 영평균(zero mean)이므로,
Figure pat00050
이다.
실제로 보조 정리 2는 앞서 기술한 보조 정리 1을 내포한다. 혼합중분이
Figure pat00051
에 대한 혼합반사도의 평균에 해당하므로, 혼합중분은
Figure pat00052
에 대해 일정하다. 수학식 11 및 12에 따라서, 체정분은 혼합반사도로부터 다음과 같이 직접 산출될 수 있다.
Figure pat00053
따라서, 만약 혼합반사도가 알려져 있다면(이는 단일 영상 기반 반사성분 분리에서는 흔한 가정 중 하나이다.), 체정분도 알려진 것이나 다름없다.
조명(illumination)은 알려져 있거나 적절하게 추정되었다고 가정한다. 단일 영상으로부터 조명을 추정하는 단순한 방법 중 하나는 각 채널에서 영상 내 모든 화소의 광도(intensity) 평균을 구하는 것이다(gray world assumption). 수학식 4를 통해, RGB 광도들 및 조명으로부터 혼합반사도가 각 화소에 대해 산출된다. 그런 다음, 혼합반사도에 기초하여, 혼합중분 및 체정분이 수학식 12 및 13에 의해 각 화소에 대해 산출된다.
대부분의 경우에는, 영상 내에서 상대적으로 작은 일부분만이 경면반사 광휘를 갖는다. 따라서, 대부분의 경우에는, 광휘 제거를 위해 한 영상 내의 모든 화소를 고려할 필요가 없다. 결과적으로, 본 발명의 실시예들은 고-중분(high-neuter) 화소들(가령, 임계값 이상의 혼합중분을 갖는 화소들)에 대해서만 반사성분 분리를 고려한다. 만약 체반사도 (
Figure pat00054
) 가 어떤 유한한 영역(finite region) 내에서 일정하다면, 그 영역내에서는 수학식 5로부터,
Figure pat00055
이고, 수학식 6 및 7로부터,
Figure pat00056
및
Figure pat00057
가 일정하며, 따라서 수학식 11로부터,
Figure pat00058
이다. 즉, 체반사도가 일정한 영역에 대해서는, 혼합중분을 감소시키는 것은 경계반사성분을 감소시키는 것과 동등하다. 즉, 이색성 반사성분을 분리하는 과정은, 단일 영상 내에서 임계값 이상의 혼합중분을 갖는 화소에 대해 혼합중분을 감소시킴으로써, 경계반사성분을 감소시키는 방식을 적용할 수 있다.
이러한 이유에서, 본 발명의 실시예들은 경계 반사도가 미지의 값이므로 경계 반사도를 감소시키기 위해 혼합중분을 이용한다. 각각의 고-중분 화소에 대하여, 본 발명의 실시예들은 다음의 수학식 14와 같이 주어지는 반복적인 광휘 제거를 고려한다.
Figure pat00059
여기서,
Figure pat00060
는 반복 횟수를 나타낸다. 상기 수학식 14는
Figure pat00061
을 만족할 때마다 반복적으로 혼합중분을 감소시킨다. 여기서,
Figure pat00062
는 다음과 같이 결정된다. 각 대상 고-중분 화소(이하 대상 화소)에 대하여, 본 발명의 실시예들은 상기 대상 화소로부터 상기 대상 화소에 이웃한(가령, 8-연결성(eight-connectivity), 4-연결성(four-connectivity) 등) 하나 이상의 이웃 화소에 이르는 상기 혼합중분의 지역 차분(local difference)을 다음의 수학식 15와 같이 산출한다.
Figure pat00063
여기서,
Figure pat00064
는 해당 고-중분 화소 위치이고,
Figure pat00065
는
Figure pat00066
에 대한 하나 이상의 연결된 화소 위치를 나타낸다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는, 유용한 이웃 화소를 발견할 가능성과 연산 비용 등을 고려하여, 8-연결성, 4-연결성 등 다양한 이웃 관계 방식들 중에서 적합한 것을 선택할 수 있다. 요약하건대, 이색성 반사성분을 분리하는 과정은, 임계값 이상의 혼합중분을 갖는 각 대상 화소에 대해 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 혼합중분의 지역 차분(local difference)을 산출하고, 산출된 혼합중분의 지역 차분을 이용하여 각 대상 화소의 혼합중분을 반복적으로 감소시킴으로써, 영상 내 반사성분을 분리할 수 있다.
본 발명의 실시예들에서는, 만약
Figure pat00067
가 하나의 영역 내에서 일정하다면,
Figure pat00068
역시 해당 영역 내에서 일정하다고 가정한다. 따라서, 본 발명의 실시예들은
Figure pat00069
가 미지의 값이기 때문에, 임의의 두(two) 체반사도의 유사도를 평가하기 위하여
Figure pat00070
를 사용한다.
다음의 표 1은 음영(shading) 및 경계반사(interface reflection)의 변화에 대한 관련 성분(entity, 물리량 또는 수학적 실체)들의 불변성(constancy) 및 변화를 보여준다. 표 1로부터, 음영의 변화에서와는 달리, 경계반사의 변화에서는 체정분이 색도(또는 색상(hue) 및 최대색도와 같은 색도의 일부)보다 체반사의 컬러를 식별하는데 훨씬 더 적합하다는 사실을 알 수 있다.
음영 변화
(shading change)		 경계반사 변화
(interface reflection change)
불변성(constancy)
변화(change)		 색도(chromaticity)
휘도(luminance)		 체정분(body essence)
혼합중분(mixed neuter)
세 가지 요소들, 색상, 최대색도, 및 체정분은 경계반사에 대해 모두 불변이다. 그러나, 체정분은 그 정의에 의해 2 자유도를 갖는 반면, 색상 및 최대색도는 단지 1 자유도만을 가진다. 따라서, 체정분은 다른 두 가지 요소들보다 체반사에 대한 더 많은 정보를 제공한다. 체정분이 2 자유도를 가지므로, 색상 및 최대색도에 비해 잡음에 더 강인하다. 나아가, 체정분은 최대색도와는 달리 RGB에 가까운 컬러들뿐만 아니라 CMY에 가까운 컬러들에도 적합하다. 최대색도는 그 정의에 의해, 컬러채널들의 다중의 유사한 값들을 동시에 담을 수 없다. 본 발명의 실시예들은 각 대상 화소에 대해, 그 대상 화소에 이웃하는 하나 이상의 이웃 화소 중에서 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 이 경우에 해당하는 그 대상 화소 및 이웃 화소의 각 쌍에 대해 다음의 수학식 16과 같이 체정분의 지역 차분을 산출한다.
Figure pat00071
여기서,
Figure pat00072
이다.
요약하건대, 이색성 반사성분을 분리하는 과정은, 각 대상 화소에 이웃한 하나 이상의 이웃 화소 중 그 혼합중분이 상기 대상 화소의 혼합중분보다 작은 이웃 화소에 대해서만 체정분의 지역 차분을 산출하는 것이 바람직하다. 그런 다음, 하기의 식과 같이, 상기 체정분의 지역 차분에 대한 가우시안 함수값을 산출한 후, 이를 해당 쌍에 대한 상기 혼합중분의 지역 차분과 곱하여 혼합중분의 가중 지역 차분을 산출하고, 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것(음수이므로, 혼합중분의 가중 지역 차분 중 최소값)을
Figure pat00073
로 설정한다.
Figure pat00074
즉, 이색성 반사성분을 분리하는 과정은, 입력된 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 체정분의 지역 차분에 대한 가우시안 함수(Gaussian function)값을 산출함으로써 달성될 수 있다. 이때, 상기 가우시안 함수는 종래의 문턱치 연산을 대체하며, 광휘 제거에 있어서, 체반사도 유사도의 보다 적절한 활용을 제공할 수 있다.
요약하건대, 이색성 반사성분을 분리하는 과정은, 입력된 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 그 대상 화소 및 이웃 화소의 각 쌍에 대해 상기 체정분의 지역 차분에 대한 가우시안 함수값을 산출하고, 이를 해당 쌍에 대한 상기 혼합중분의 지역 차분과 곱하여 혼합중분의 가중 지역 차분을 산출함으로써 달성될 수 있다.
또한, 입력된 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 상기 대상 화소의 하나 이상의 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것(음수이므로, 혼합중분의 가중 지역 차분 중 최소값)을 선택함으로써 이색성 반사성분의 효과적인 분리를 유도할 수 있다. 나아가, 입력된 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 상기 대상 화소의 하나 이상의 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것(음수이므로, 혼합중분의 가중 지역 차분 중 최소값)을 선택하여 그 절대값만큼 상기 대상 화소의 혼합중분을 감소시키는 방법 역시 활용 가능하다.
도 3은 본 발명의 일 실시예에 따른 단일 영상 내의 반사성분을 분리하는 장치(100)를 도시한 블록도로서, 도 1의 반사성분 분리 방법의 시계열적인 각 단계에 대응하는 기능들을 하드웨어 구성의 관점에서 재구성한 것으로서, 여기서는 설명의 중복을 피하고자 그 개요만을 약술하도록 한다.
입력부(10)는, 단일 영상을 입력받는 수단이다.
영상처리부(20)는, 적어도 하나의 처리기(processor)를 구비하고, 입력된 상기 단일 영상으로부터 체반사(body reflection) 성분만을 포함하는 체정분(body essence)을 이용하여 이색성 반사성분(dichromatic reflection components)을 분리하는 구성이다. 여기서, 상기 체정분은, 각 컬러채널의 반사조도(reflected irradiance)를 상기 각 컬러채널의 조명(illumination)으로 나누어서 얻어지는 혼합반사도(mixed reflectance)에서 상기 혼합반사도의 분광적 평균(mean with respect to the spectral channel index)인 혼합중분(mixed neuter)을 제외한 잔여 성분을 의미한다.
이러한 영상처리부(20)는, 상기 혼합중분 및 상기 체정분의 지역 차분(local difference)을 산출하고, 문턱치 연산의 불연속성 문제를 제거하는 가우시안(Gaussian) 함수를 이용하여 경계반사(interface reflection)를 분리함으로써, 상기 이색성 반사성분을 분리할 수 있다. 다시 말해, 영상처리부(20)는, 상기 단일 영상 내에서 임계값 이상의 혼합중분을 갖는 화소에 대해 상기 혼합중분을 감소시킴으로써, 경계반사 성분을 감소시킨다. 이를 위해, 상기 영상처리부(20)는, 상기 임계값 이상의 혼합중분을 갖는 각 대상 화소에 대해 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 혼합중분의 지역 차분(local difference)을 산출하고, 산출된 혼합중분의 지역 차분을 이용하여 각 대상 화소의 혼합중분을 반복적으로 감소시킬 수 있다. 이때, 상기 영상처리부(20)는, 상기 임계값 이상의 혼합중분을 갖는 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 이 경우에 해당하는 상기 대상 화소 및 상기 이웃 화소의 각 쌍에 대해 상기 체정분의 지역 차분을 산출하는 것이 바람직하다.
마지막으로, 출력부(30)는, 상기 이색성 반사성분의 분리에 따라 광휘(highlight)가 제거된 영상 또는 광휘 영상 중 적어도 하나 이상을 출력하는 수단이다.
도 4 내지 도 8은 본 발명의 실시예들이 제안하는 영상 내 반사성분을 분리하는 영상처리 장치의 프로토타입(prototype)을 통해 실제 입력된 단일 영상과 광휘가 제거된 출력 영상을 비교하여 설명하기 위한 도면이다.
도 4의 (a) 및 (b)는 단일 컬러 객체(얼굴 모형) 영상(Robby T. Tan 제공)에 대한 결과를 보여주며, 경면반사 성분이 적절하게 제거되었음을 확인할 수 있다. 도 5의 (a) 및 (b)는 공룡 모형 영상에 대한 결과를 보여주며, 꼬리 영역 내에 컬러의 부드러운 변화(gradation)가 존재함에도 불구하고, 경면반사 성분이 결함 없이 잘 제거되었음을 볼 수 있다.
도 6 내지 도 8은 각각 좀 더 복잡한 장면인 공 영상, 물고기 모형 영상(Robby T. Tan 제공) 및 장난감들 영상(Robby T. Tan 제공)에 대한 결과를 보여주며, 이들 영상의 경우, 컬러와 텍스처(texture)의 높은 복잡도에도 불구하고 체반사 성분이 적절하게 추정되었으며, 원본 영상인 (a)에서 광휘 성분이 제거된 영상 (b)로의 영상처리가 잘 수행되었음을 확인할 수 있다.
본 발명의 실시예들은 새로운 반사 컬러 모델인 BREN 모델과 단일 영상을 이용한 이색성 반사성분을 분리하는 효과적인 방법을 제안하였다. 이를 통해, 경면반사 광휘의 제거에 있어서, 체정분이 색상 및 최대색도에 비해 더 적합한 실체임을 보였다. 또한, 가우시안 함수로 표현되는 계수는 기존의 단순한 문턱치 연산을 일반화하여, 체반사 컬러 유사도의 정교한 활용을 가능하게 한다.
상기된 본 발명의 실시예들은, BREN 모델에 기반을 둔 단일 영상을 이용한 이색성 반사성분 분리의 효과적인 방법을 제시한다. 체정분은 경계반사에 불변인 요소(entity)이고, 색상(hue) 및 최대색도와는 달리 2 자유도(degree of freedom)를 갖는다. 결과적으로, 제안된 본 발명의 실시예들은 잡음에 둔감하고, 최대색도 기반의 방법과는 달리 RGB 근처의 컬러들뿐만 아니라 CMY 근처의 컬러들에도 적합하다. 제안된 방법은 혼합중분 및 체정분의 지역 차분(local difference)을 산출하고, 문턱치 연산의 불연속성 문제를 제거하는 가우시안 함수를 이용하여 반사성분를 분리한다. 나아가, 제안된 방법은 무경면반사(specular-free) 영상은 물론 어떠한 그것의 수정 영상(any modified one)도 사용하지 않으며, 영역 분할을 필요로 하지 않으므로 그 결과가 분할의 정확도에 의존하지 않는다는 장점을 갖는다.
한편, 본 발명의 실시예들에서 제안하고 있듯이, 적어도 하나의 처리기를 구비하는 영상처리 장치를 제어하여 상기 입력된 영상 내의 반사성분을 분리하는 방법을 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 영상 내 반사성분을 분리하는 영상처리 장치
10: 입력부
20: 영상처리부
30: 출력부

Claims (16)

  1. 적어도 하나의 처리기(processor)를 구비하는 영상처리 장치가, 입력된 영상 내의 반사성분(reflection component)을 분리하는 방법에 있어서,
    상기 영상처리 장치가 단일 영상을 입력 받는 단계; 및
    상기 영상처리 장치가, 입력된 상기 단일 영상으로부터, 체반사(body reflection) 성분만을 포함하는 체정분(body essence)을 이용하여 이색성 반사성분(dichromatic reflection components)을 분리하는 단계를 포함하며,
    상기 체정분은, 각 컬러채널의 반사조도(reflected irradiance) 또는 각 컬러채널의 광도(intensity)를 상기 각 컬러채널의 조명(illumination)으로 나누어서 얻어지는 혼합반사도(mixed reflectance)에서 상기 혼합반사도의 분광적 평균(mean with respect to the spectral channel index)인 혼합중분(mixed neuter)을 제외한 잔여 성분인 것을 특징으로 하는 영상 내 반사성분을 분리하는 방법.
  2. 제 1 항에 있어서,
    상기 이색성 반사성분을 분리하는 단계는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 혼합중분의 지역 차분(local difference)을 산출하는 단계를 포함하는 영상 내 반사성분을 분리하는 방법.
  3. 제 1 항에 있어서,
    상기 이색성 반사성분을 분리하는 단계는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 체정분의 지역 차분(local difference)을 산출하는 단계를 포함하는 영상 내 반사성분을 분리하는 방법.
  4. 제 1 항에 있어서,
    상기 이색성 반사성분을 분리하는 단계는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 체정분의 지역 차분에 대한 가우시안 함수(Gaussian function)값을 산출하는 단계를 포함하는 영상 내 반사성분을 분리하는 방법.
  5. 제 1 항에 있어서,
    상기 이색성 반사성분을 분리하는 단계는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 이 경우에 해당하는 상기 대상 화소 및 상기 이웃 화소의 각 쌍에 대해 상기 체정분의 지역 차분에 대한 가우시안 함수값을 산출하고, 이를 해당 쌍에 대한 상기 혼합중분의 지역 차분과 곱하여 혼합중분의 가중 지역 차분을 산출하는 단계를 포함하는 영상 내 반사성분을 분리하는 방법.
  6. 제 1 항에 있어서,
    상기 이색성 반사성분을 분리하는 단계는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 상기 대상 화소의 하나 이상의 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것을 선택하는 단계를 포함하는 영상 내 반사성분을 분리하는 방법.
  7. 제 1 항에 있어서,
    상기 이색성 반사성분을 분리하는 단계는,
    입력된 상기 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 상기 대상 화소의 하나 이상의 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것을 선택하여 그 절대값만큼 상기 대상 화소의 혼합중분을 감소시키는 단계를 포함하는 영상 내 반사성분을 분리하는 방법.
  8. 제 1 항에 있어서,
    상기 이색성 반사성분을 분리하는 단계는,
    입력된 상기 영상에 속하는 하나 이상의 각 대상 화소에 대해, 각 대상 화소의 혼합중분을 반복적으로 감소시킴으로써, 경계반사(interface reflection) 성분을 감소시키는 것을 특징으로 하는 영상 내 반사성분을 분리하는 방법.
  9. 제 1 항에 있어서,
    입력된 영상의 컬러채널 수가 n(n은 2 이상의 자연수)일 때, 상기 체정분의 자유도(degree(s) of freedom)는, n-1인 것을 특징으로 하는 영상 내 반사성분을 분리하는 방법.
  10. 제 1 항에 있어서,
    상기 체정분은 경계반사에 대해 불변(invariant)인 것을 특징으로 하는 영상 내 반사성분을 분리하는 방법.
  11. 제 1 항 내지 제 10 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 단일 영상을 입력받는 입력부;
    적어도 하나의 처리기(processor)를 구비하고, 상기 입력부를 통해 입력된 상기 단일 영상으로부터 체반사(body reflection) 성분만을 포함하는 체정분(body essence)을 이용하여 이색성 반사성분(dichromatic reflection components)을 분리하는 영상처리부; 및
    상기 이색성 반사성분의 분리에 따라 광휘(highlight) 영상과 광휘가 제거된 영상 중 하나 이상을 출력하는 출력부를 포함하며,
    상기 체정분은, 각 컬러채널의 반사조도(reflected irradiance)를 상기 각 컬러채널의 조명(illumination)으로 나누어서 얻어지는 혼합반사도(mixed reflectance)에서 상기 혼합반사도의 분광적 평균(mean with respect to the spectral channel index)인 혼합중분(mixed neuter)을 제외한 잔여 성분인 것을 특징으로 하는 영상 내 반사성분을 분리하는 장치.
  13. 제 12 항에 있어서,
    상기 영상처리부는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 혼합중분의 지역 차분(local difference)을 산출하여, 상기 이색성 반사성분을 분리하는 것을 특징으로 하는 영상 내 반사성분을 분리하는 장치.
  14. 제 12 항에 있어서,
    상기 영상처리부는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소로부터 그 대상 화소에 이웃하는 하나 이상의 이웃 화소에 이르는 상기 체정분의 지역 차분(local difference)을 산출하여, 상기 이색성 반사성분을 분리하는 것을 특징으로 하는 영상 내 반사성분을 분리하는 장치.
  15. 제 12 항에 있어서,
    상기 영상처리부는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 이 경우에 해당하는 상기 대상 화소 및 상기 이웃 화소의 각 쌍에 대해 상기 체정분의 지역 차분에 대한 가우시안 함수값을 산출하고, 이를 해당 쌍에 대한 상기 혼합중분의 지역 차분과 곱하여 혼합중분의 가중 지역 차분을 산출하여, 상기 이색성 반사성분을 분리하는 것을 특징으로 하는 영상 내 반사성분을 분리하는 장치.
  16. 제 12 항에 있어서,
    상기 영상처리부는,
    입력된 상기 단일 영상에 속하는 하나 이상의 각 대상 화소에 대해, 그 대상 화소의 혼합중분보다 그 대상 화소에 이웃하는 이웃 화소의 혼합중분이 더 작은 경우, 그 대상 화소의 하나 이상의 상기 혼합중분의 가중 지역 차분 중 절대값이 가장 큰 것을 선택하여 그 절대값만큼 그 대상 화소의 혼합중분을 감소시키는 것을 특징으로 하는 영상 내 반사성분을 분리하는 장치.
KR1020160013267A 2016-02-03 2016-02-03 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치 KR101772626B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160013267A KR101772626B1 (ko) 2016-02-03 2016-02-03 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160013267A KR101772626B1 (ko) 2016-02-03 2016-02-03 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치

Publications (2)

Publication Number Publication Date
KR20170092218A true KR20170092218A (ko) 2017-08-11
KR101772626B1 KR101772626B1 (ko) 2017-08-29

Family

ID=59651580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160013267A KR101772626B1 (ko) 2016-02-03 2016-02-03 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치

Country Status (1)

Country Link
KR (1) KR101772626B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712483A (zh) * 2021-01-14 2021-04-27 湖北工业大学 一种基于光场双色反射模型和全变分的高反光去除方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957411B2 (ja) 2007-07-02 2012-06-20 凸版印刷株式会社 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム
WO2012001949A1 (ja) 2010-06-30 2012-01-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
KR101535196B1 (ko) 2014-12-16 2015-07-09 연세대학교 산학협력단 질감 특성을 고려한 영상 분할 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712483A (zh) * 2021-01-14 2021-04-27 湖北工业大学 一种基于光场双色反射模型和全变分的高反光去除方法
CN112712483B (zh) * 2021-01-14 2022-08-05 湖北工业大学 一种基于光场双色反射模型和全变分的高反光去除方法

Also Published As

Publication number Publication date
KR101772626B1 (ko) 2017-08-29

Similar Documents

Publication Publication Date Title
Huang et al. Shallow-water image enhancement using relative global histogram stretching based on adaptive parameter acquisition
US6859565B2 (en) Method and apparatus for the removal of flash artifacts
EP2962278B1 (en) Multi-spectral imaging system for shadow detection and attenuation
Faridul et al. Colour mapping: A review of recent methods, extensions and applications
JP5727109B2 (ja) スペクトル画像処理
JP6004481B2 (ja) カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
Yang et al. Underwater image enhancement using scene depth-based adaptive background light estimation and dark channel prior algorithms
Huo et al. Fast fusion-based dehazing with histogram modification and improved atmospheric illumination prior
CN115082328A (zh) 用于图像校正的方法和设备
Chen et al. Underwater image enhancement based on color balance and multi-scale fusion
Ikeuchi et al. Separating reflection components of textured surfaces using a single image
KR101772626B1 (ko) 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치
CN108462865A (zh) 确定图像的光源和对图像进行色觉适配的方法及设备
AU2016273979A1 (en) System and method for adjusting perceived depth of an image
KR20180064028A (ko) 영상 처리 방법 및 장치
AU2016273984A1 (en) Modifying a perceptual attribute of an image using an inaccurate depth map
Tian et al. Real-time specularity detection using unnormalized wiener entropy
JP5824423B2 (ja) 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
Lindsay et al. Automatic multi-light white balance using illumination gradients and color space projection
Sie et al. Alignment-free exposure fusion of image pairs
KR102225362B1 (ko) 이미지 복원 방법
Jo et al. Adaptive white point extraction based on dark channel prior for automatic white balance
Moriyama et al. Illuminant color estimation method based on pseudo-detection of specular reflection
Yin et al. Real-time automatic chroma-key matting using perceptual analysis and prediction
Sankpal et al. Underwater image Colour Balance by Grey World approach with attenuation Map

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant