KR20180064028A - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20180064028A
KR20180064028A KR1020160164129A KR20160164129A KR20180064028A KR 20180064028 A KR20180064028 A KR 20180064028A KR 1020160164129 A KR1020160164129 A KR 1020160164129A KR 20160164129 A KR20160164129 A KR 20160164129A KR 20180064028 A KR20180064028 A KR 20180064028A
Authority
KR
South Korea
Prior art keywords
reflection component
regular reflection
pixels
input image
image processing
Prior art date
Application number
KR1020160164129A
Other languages
English (en)
Other versions
KR102614906B1 (ko
Inventor
손민정
장현성
사공동훈
성영훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160164129A priority Critical patent/KR102614906B1/ko
Priority to US15/591,378 priority patent/US10546392B2/en
Publication of KR20180064028A publication Critical patent/KR20180064028A/ko
Application granted granted Critical
Publication of KR102614906B1 publication Critical patent/KR102614906B1/ko

Links

Images

Classifications

    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

입력 영상에 포함된 픽셀들의 색도 특성에 기초하여 입력 영상으로부터 제1 정반사 성분을 결정하고, 픽셀들의 명도 특성에 기초하여, 제1 정반사 성분으로부터 제2 정반사 성분을 추출하며, 제2 정반사 성분에 기초하여 입력 영상을 보정하는 영상 처리 방법 및 장치를 제공할 수 있다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS OF IMAGE PROCESSING}
아래 실시예들은 영상 처리 방법 및 장치에 관한 것으로, 보다 구체적으로 정반사 제거를 위한 영상 처리 방법 및 장치에 관한 것이다.
정반사 제거(specular reflection removal)는 영상에서 정반사(specular) 성분을 제거하여 난반사(diffuse) 성분만을 남기는 방법이다. 정반사 성분은 영상의 형태 정보를 획득하는데 방해가 될 수 있으므로, 정반사 제거는 다양한 컴퓨터 비전, 영상 처리 분야에서 영상 전처리 단계로 활용될 수 있다. 하지만, 단일 영상에서 추가 정보 없이 정반사 성분만을 구분하여 제거하는 것은 용이하지 않다.
일 측에 따르면, 영상 처리 방법은 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 상기 입력 영상으로부터 제1 정반사 성분을 결정하는 단계; 상기 픽셀들의 명도 특성에 기초하여, 상기 제1 정반사 성분으로부터 제2 정반사 성분을 추출하는 단계; 및 상기 제2 정반사 성분에 기초하여, 상기 입력 영상을 보정하는 단계를 포함한다. 상기 입력 영상은 단일 영상을 포함할 수 있다.
상기 제2 정반사 성분을 추출하는 단계는 상기 제1 정반사 성분으로부터, 상기 픽셀들의 명도 특성에 기초한 에러 함수를 최소화하는 상기 제2 정반사 성분 및 난반사 성분을 추출하는 단계를 포함할 수 있다. 상기 난반사 성분은 무채색의 난반사(achromatic diffuse) 성분을 포함할 수 있다.
상기 픽셀들의 명도 특성은 인접 픽셀들에 대비한 상기 제2 정반사 성분의 픽셀들의 명도 변화가 미리 정해진 크기 이내인 제1 특성; 상기 제2 정반사 성분의 픽셀들의 명도가 미리 정해진 크기 이내인 제2 특성; 및 인접 픽셀들에 대비한 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 제3 특성 중 적어도 하나를 포함할 수 있다.
상기 입력 영상을 보정하는 단계는 상기 색도 특성에 기초하여 상기 제2 정반사 성분의 크기를 조절하는 단계를 포함할 수 있다. 상기 입력 영상을 보정하는 단계는 상기 색도 특성에 반비례하는 가중치에 기초하여 상기 제1 정반사 성분과 상기 제2 정반사 성분을 가중 평균 함으로써 상기 입력 영상을 보정하는 단계를 포함할 수 있다.
상기 제1 정반사 성분을 결정하는 단계는 상기 픽셀들 각각에 대응하여, 해당 픽셀 내 최대 색도 및 참조 픽셀-상기 참조 픽셀과 상기 해당 픽셀은 동일한 표면 색상(surface color)을 가지고, 상기 참조 픽셀은 난반사 성분만 포함함-의 최대 색도에 기초하여, 상기 해당 픽셀 내 난반사 성분을 결정하는 단계; 및 상기 해당 픽셀 내 난반사 성분에 기초하여, 상기 해당 픽셀 내 정반사 성분을 결정하는 단계를 포함할 수 있다.
일 측에 따르면, 영상 처리 방법은 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 상기 입력 영상으로부터 제1 정반사 성분을 결정하는 단계; 상기 픽셀들의 명도 특성에 기초한 필터링(filtering)을 이용하여, 상기 제1 정반사 성분으로부터 난반사 성분을 추정하는 단계; 상기 추정된 난반사 성분을 이용하여 제2 정반사 성분을 추정하는 단계; 및 상기 추정된 제2 정반사 성분에 기초하여 상기 입력 영상을 보정하는 단계를 포함한다. 상기 입력 영상은 단일 영상을 포함할 수 있다.
상기 픽셀들의 명도 특성은 인접 픽셀들에 대비한 상기 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 특성을 포함할 수 있다.
상기 난반사 성분을 추정하는 단계는 상기 필터링의 반복 횟수가 제한된 횟수에 도달하거나 또는 상기 필터링에 의하여 갱신된 난반사 성분이 미리 설정된 기준 이하의 값을 가질 때까지 상기 필터링을 반복적으로(iteratively) 수행함으로써 상기 제1 정반사 성분으로부터 상기 난반사 성분을 추정하는 단계를 포함할 수 있다. 상기 필터링은 바이래터럴 필터링(Bilateral Filtering) 기법; 및 엘제로 평활화(L0 Smoothing) 기법 중 적어도 하나를 포함할 수 있다.
상기 제2 정반사 성분을 추정하는 단계는 상기 제1 정반사 성분과 상기 추정된 난반사 성분 간의 차이에 기초하여 제2 정반사 성분을 추정하는 단계를 포함할 수 있다.
상기 입력 영상을 보정하는 단계는 상기 색도 특성에 기초하여 상기 제2 정반사 성분의 크기를 조절하는 단계를 포함할 수 있다. 상기 입력 영상을 보정하는 단계는 상기 색도 특성에 반비례하는 가중치에 기초하여 상기 제1 정반사 성분과 상기 제2 정반사 성분을 가중 평균 함으로써 상기 입력 영상을 보정하는 단계를 포함할 수 있다.
상기 제1 정반사 성분을 결정하는 단계는 상기 픽셀들 각각에 대응하여, 해당 픽셀 내 최대 색도 및 참조 픽셀-상기 참조 픽셀과 상기 해당 픽셀은 동일한 표면 색상을 가지고, 상기 참조 픽셀은 난반사 성분만 포함함-의 최대 색도에 기초하여, 상기 해당 픽셀 내 난반사 성분을 결정하는 단계; 및 상기 해당 픽셀 내 난반사 성분에 기초하여, 상기 해당 픽셀 내 정반사 성분을 결정하는 단계를 포함할 수 있다.
일 측에 따르면, 영상 처리 장치는 입력 영상을 수신하는 입력 인터페이스; 및 상기 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 상기 입력 영상으로부터 제1 정반사 성분을 결정하고, 상기 픽셀들의 명도 특성에 기초하여, 상기 제1 정반사 성분으로부터 제2 정반사 성분을 추출하며, 상기 제2 정반사 성분에 기초하여, 상기 입력 영상을 보정하는 프로세서를 포함한다.
일 측에 따르면, 영상 처리 장치는 입력 영상을 수신하는 입력 인터페이스; 및 상기 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 상기 입력 영상으로부터 제1 정반사 성분을 결정하고, 상기 픽셀들의 명도 특성에 기초한 필터링을 이용하여, 상기 제1 정반사 성분으로부터 난반사 성분을 추정하고, 상기 추정된 난반사 성분을 이용하여 제2 정반사 성분을 추정하며, 상기 추정된 제2 정반사 성분에 기초하여 상기 입력 영상을 보정하는 프로세서를 포함한다.
도 1은 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도.
도 2는 일 실시예에 따른 영상 처리 방법이 수행되는 과정을 설명하기 위한 도면.
도 3a 및 도 3b는 일 실시예에 따라 입력 영상으로부터 제1 정반사 성분을 결정하는 방법을 설명하기 위한 도면들.
도 4는 일 실시예에 따라 제1 정반사 성분으로부터 제2 정반사 성분을 추출하는 방법을 나타낸 흐름도.
도 5는 일 실시예에 따라 제1 정반사 성분으로부터 제2 정반사 성분과 난반사 성분을 추출하는 과정을 설명하기 위한 도면.
도 6은 다른 실시예에 따른 영상 처리 방법을 나타낸 흐름도.
도 7은 도 6의 실시예에 따라 제1 정반사 성분으로부터 제2 정반사 성분을 추정하는 방법을 설명하기 위한 도면.
도 8은 일 실시예에 따른 영상 처리 장치의 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 컴퓨터 비전, 영상 처리 분야, 증강 현실(Augmented Reality), 및 가상 현실(Virtual Reality) 분야에서 알고리즘 성능 향상을 위한 전처리 단계로서 조명 성분을 보정하는 데 사용될 수 있다. 실시예들에 따른 영상 처리 방법은 예를 들어 3D 텔레비전, 3D 모니터, 3D 디지털 정보 디스플레이(Digital Information Display, DID), 카메라 및 3D 모바일 기기 등에 적용될 수 있다.
도 1은 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력 영상에 포함된 픽셀들의 색도(chromaticity) 특성에 기초하여, 입력 영상으로부터 제1 정반사(specular) 성분을 결정한다(110).
색도는 빛의 색에 관한 성질로서, 명도의 차이를 무시한 빛의 색의 종류를 정량적으로 지정한 수치이다. 예를 들어, 색도는
Figure pat00001
와 같이 표현될 수 있다. 여기서, u는 적색(r), 녹색(g) 및 청색(b) 중 하나이고, Cu는 u의 색도이며, Iu는 u의 강도(intensity)이다.
색도 특성은 색도와 관련된 특성으로, 예를 들어 최대 색도(max chromaticity)를 포함할 수 있다. 최대 색도는 Cu 중 최대값으로, 예를 들어 max {Cr, Cg, Cb} 일 수 있다. 색도 특성은 '컬러(color) 특성' 또는 '색상 특성'이라고도 지칭될 수 있다.
무채색은 흰색에서 회색을 거쳐 흑색에 이르는, 채색이 없는 색을 의미한다. 무채색은 색상 및 채도가 없고 명도만으로 구별되므로, 무채색의 r, g, b 값은 서로 동일하다. 따라서, 무채색의 최대 색도는 1/3이다.
유채색은 색상이 있는 색으로서, 무채색을 제외한 모든 색을 의미한다. 유채색은 색상, 명도, 채도의 세가지 속성 모두를 포함하며, 유채색의 r, g, b 값 중 최소한 하나는 다른 값과 상이하다. 따라서, 유채색의 최대 색도는 1/3보다 크고 1 이하의 값을 가진다. 예를 들어, 원색인 유채색의 최대 색도는 1이다.
입력 영상은 정반사 성분과 난반사 성분을 포함한다. 정반사 성분이란 물체(대상)에서 빛이 정반사되어 보이는 하이라이트 성분으로 이해될 수 있다. 또한, 난반사(diffuse) 성분은 물체(대상)에서 빛이 난반사되어 보이는 실제 색상 성분으로 이해될 수 있다. 입력 영상은 정반사 성분과 난반사 성분을 포함하는 단일 영상일 수 있다.
영상 처리 장치는 입력 영상에 포함된 픽셀들의 색도 특성(예를 들어, 최대 색도)에 기초하여, 입력 영상에 포함된 정반사 성분을 결정할 수 있다. 아래에서 상세하게 설명하겠으나, 색도 특성에 기초하여 결정된 정반사 성분은 무채색의 난반사(achromatic diffuse) 성분을 포함할 수 있다. 실시예에 따라서, 정반사 성분을 min(Ir,Ig,Ib)로 임의로 정의할 수도 있다. 이 경우, 유채색의 난반사 성분 및 무채색의 난반사 성분이 모두 정반사 성분(S)에 포함될 수 있다.
이하 설명의 편의를 위하여, 입력 영상으로부터 색도 특성에 기초하여 결정된 정반사 성분(S)을 '초기 정반사 성분' 또는 '제1 정반사 성분'이라고 부르고, 실제 정반사 성분(S')을 '제2 정반사 성분'으로 부르기로 한다. 또한, 무채색의 난반사 성분(D')을 '제1 난반사 성분'이라고 부르기로 한다.
영상 처리 장치가 입력 영상으로부터 제1 정반사 성분을 결정하는 구체적인 방법은 도 3a 및 도 3b를 참조하여 설명한다.
영상 처리 장치는 픽셀들의 명도 특성에 기초하여, 제1 정반사 성분으로부터 제2 정반사 성분을 추출한다(120). 예를 들어, 영상 처리 장치는 제1 정반사 성분에 포함된 무채색의 난반사 성분을 제거함으로써, 제2 정반사 성분을 추출할 수 있다.
픽셀들의 명도 특성은 명도와 관련된 특성으로, 예를 들어 인접 픽셀들의 명도와 비교되는 제2 정반사 성분의 픽셀들의 명도 변화가 미리 정해진 크기 이내인 제1 특성, 제2 정반사 성분의 픽셀들의 명도가 미리 정해진 크기 이내인 제2 특성 및 인접 픽셀들에 대비한 제1 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 제3 특성 등을 포함할 수 있다. 명도 특성은 '쉐이딩(shading) 특성'이라고도 지칭될 수 있다.
제1 특성과 제2 특성은 정반사 성분과 관련된 명도 특성이고, 제3 특성은 난반사 성분과 관련된 명도 특성일 수 있다. 보다 구체적으로, 제1 특성 및 제2 특성은 입력 영상에서 상대적으로 일부분에 적용되는 정반사 성분이 부드럽고 성기게(smooth and sparse) 나타나는 것을 의미한다. 또한, 제3 특성은 입력 영상에서 난반사 성분이 구분적으로 부드럽게(piecewise smooth) 나타나는 것을 의미한다.
아래에서 설명하겠으나, 일 실시예에 따르면, 제1 특성은 인접한 정반사 성분들 사이에서 명도 변화가 연속적일 것을 요구하는 제약(constraint)으로 이용되고, 제2 특성은 정반사 성분이 입력 영상 내 성기게 분포될 것을 요구하는 제약으로 이용될 수 있다.
또한, 제3 특성은 각 픽셀 그룹 내 인접한 난반사 성분들 사이에서 명도 변화가 연속적일 것을 요구하는 제약으로 이용될 수 있다. 픽셀 그룹들은 서로 구분되며, 동일 픽셀 그룹 내에서 제3 특성은 제1 특성과 실질적으로 동일하다. 다만, 인접한 두 픽셀이 서로 다른 픽셀 그룹에 속하는 경우, 제3 특성은 인접한 두 픽셀 사이의 명도 변화가 연속적일 것을 요구하지 않는다.
일 실시예에 따른 영상 처리 장치는 제약적 최적화(Constrained Optimization) 방법에 의해 제1 정반사 성분으로부터 제2 정반사 성분을 추출할 수 있으며, 제약적 최적화 방법에 대하여는 도 2, 도 4 및 도 5를 참조하여 설명한다.
영상 처리 장치는 제2 정반사 성분에 기초하여, 입력 영상을 보정한다(130). 영상 처리 장치는 입력 영상으로부터 제2 정반사 성분을 제거함으로써, 입력 영상에 난반사 성분만 남길 수 있다. 일 실시예에 따르면, 영상 처리 장치는 색도 특성에 기초하여 제2 정반사 성분의 크기를 조절할 수 있다. 예를 들어, 영상 처리 장치는 입력 영상에 포함된 픽셀들의 색도 특성(예를 들어, 최대 색도)에 반비례하는 가중치에 기초하여 제1 정반사 성분과 제2 정반사 성분을 가중 평균 함으로써 입력 영상을 보정할 수 있다.
도 2는 일 실시예에 따른 영상 처리 방법이 수행되는 과정을 설명하기 위한 도면이다. 도 2를 참조하면, 일 실시예에 따라 입력 영상(210)으로부터 결정된 제1 정반사 성분(S)을 나타낸 영상(220), 제1 정반사 성분으로부터 추출한 제2 정반사 성분(S')을 나타낸 영상(230), 제2 정반사 성분(S')을 이용하여 입력 영상(210)을 처리한 결과 영상(240) 및 제1 정반사 성분(S)만을 이용하여 입력 영상(210)을 처리한 결과 영상(250)이 도시된다.
이하, 도면에 잔무늬로 표시된 부분(211)은 유채색의 난반사(chromatic diffuse) 성분을 나타내고, 점선 내부의 흰색으로 표시된 부분(213)은 정반사 성분을 나타낸다. 또한, 회색 부분(215)은 무채색의 난반사 성분을 나타낸다.
입력 영상에는 대상의 고유 특성보다 주변 환경, 또는 조명 등에 의해 큰 변화가 발생하는 부분(예를 들어, 정반사 성분)이 존재한다. 이러한 정반사 성분은 입력 영상의 형태 정보를 획득하는 데에 방해가 될 수 있으므로, 입력 영상으로부터 정반사 성분을 제거하는 처리가 필요하다. 일반적인 영상 처리 방법에서는 복수의 영상, 또는 사용자의 입력 등과 같은 추가적인 정보를 활용하여 입력 영상으로부터 정반사 성분을 제거할 수 있다.
실시예들에 따른 입력 영상 처리 장치는 단일 입력 영상으로부터 정반사 성분을 자동으로 제거하는 기법을 제공한다. 입력 영상 처리 장치는 적어도 하나의 소프트웨어 모듈, 적어도 하나의 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다.
우선, 입력 영상 처리 장치는 촬영 대상 전체를 유채색으로 가정하여 문제를 단순화하여 입력 영상으로부터 정반사 성분을 제거할 수 있다. 도 3a 및 도 3b는 일 실시예에 따라 입력 영상으로부터 제1 정반사 성분을 결정하는 방법을 설명하기 위한 도면들이다. 도 3a를 참조하면, 입력 영상(310), 난반사 성분(D)을 나타낸 영상(320) 및 정반사 성분(S)을 나타낸 영상(330)이 도시된다.
예를 들어, 입력 영상(I)(310)을 구성하는 픽셀 p의 RGB 채널 값을 각각 Ip r, Ip g, Ip b라고 하자. 입력 영상(310)의 각 픽셀의 RGB 채널 값은 영상(320)에 도시된 난반사 성분(D)과 영상(330)에서 흰색으로 밝게 도시된 정반사 성분(S)의 합 Ip u=Dp u+Sp, u{r, g, b}으로 표현될 수 있다.
영상 처리 장치는 입력 영상(310)이 유채색(Chromatic Color)이라고 가정하고, 정반사 성분(S)은 백색광으로 가정한 뒤, 입력 영상(310)에 포함된 픽셀들의 색도 특성에 기초하여 각 픽셀의 정반사 성분(S)을 추정할 수 있다.
보다 구체적으로, 도 3b를 참조하면, 입력 영상(310)에 포함된 각 픽셀은 최대 색도-강도의 공간으로 매핑될 수 있다. 예를 들어, 영상 처리 장치는 정반사 성분과 난반사 성분을 함께 포함하는 정반사 픽셀을 정반사 포인트(351)로 매핑할 수 있다. 영상 처리 장치는 정반사 픽셀에 포함된 정반사 성분을 미리 정해진 작은 양만큼 반복적으로 차감시킬 수 있다. 이 경우, 정반사 픽셀은 도 3b의 곡선(352) 위의 점들로 매핑된다.
또한, 영상 처리 장치는 난반사 성분만을 포함하는 난반사 픽셀을 난반사 포인트(353)로 매핑할 수 있다. 이 때, 난반사 픽셀의 최대 색도는 강도와 무관하게 일정한 값을 가지므로, 난반사 픽셀은 도 3b의 직선(354)위의 점들로 매핑된다.
정반사 픽셀과 난반사 픽셀이 동일한 표면 색상(surface color)를 가지는 픽셀들인 경우, 곡선(352)와 직선(354)의 교점(355)에서 정반사 픽셀에 포함된 정반사 성분이 모두 제거된다. 따라서, 영상 처리 장치는 교점(355)을 이용하여 정반사 픽셀에 포함된 난반사 성분을 계산하고, 정반사 픽셀 내 난반사 성분을 제거함으로써 정반사 픽셀 내 정반사 성분을 획득할 수 있다. 일 예로, 영상 처리 장치는 수학식 1을 이용하여 정반사 픽셀에 포함된 난반사 성분을 계산할 수 있다.
Figure pat00002
여기서,
Figure pat00003
는 정반사 픽셀에 포함된 난반사 성분이고,
Figure pat00004
는 정반사 픽셀의 최대 색도이고,
Figure pat00005
는 정반사 픽셀의 최대 강도이며,
Figure pat00006
는 참조 픽셀의 최대 색도이다. 참조 픽셀과 정반사 픽셀은 동일한 표면 색상을 가진다. 참조 픽셀은 정반사 픽셀과 인접한 픽셀일 수 있다.
전술한 방식에 따르면, 단일 영상으로부터 정반사 성분을 용이하게 추출할 수 있으나, 추출된 정반사 성분에 무채색의 난반사 성분이 포함된다. 전술한 바와 같이, 난반사 성분만을 포함하는 무채색 픽셀의 경우 최대 색도가 1/3이고, 정반사 성분이 포함되더라도 무채색 픽셀의 최대 색도는 (r+s)/{(r+s)+(g+s)+(b+s)}=1/3 (r=g=b) 로 고정된다. 이로 인하여, 무채색 픽셀은 도 3b의 직선(356)위의 점들로 매핑된다. 따라서, 무채색 픽셀에 대한 수학식 1에 의한 결과 값은 0으로 계산되며, 이로 인하여 무채색의 난반사 성분이 입력 영상 내 정반사 성분으로 분류된다.
다시 도 2를 참조하면, 만약 입력 영상 처리 장치가 제1 정반사 성분(S)만을 이용하여 영상 처리를 하는 경우, 결과 영상(250)와 같이 정반사 성분뿐 아니라 무채색의 난반사 성분까지 제거될 수 있다.
일 실시예에 따른 영상 처리 장치는 픽셀들의 명도 특성에 기초하여, 영상(220)과 같은 제1 정반사 성분(S)으로부터 영상(230)과 같은 제2 정반사 성분(S')을 추출할 수 있다.
영상 처리 장치는 제1 난반사 성분이 구분적으로 부드럽게(piecewise smooth) 나타나고, 제2 정반사 성분은 부드럽고 성기게(smooth and sparse) 나타나는 성질을 기초로, 제1 정반사 성분(S) 내 제1 난반사 성분과 제2 정반사 성분(S')을 분리할 수 있다. 전술한 바와 같이, 제1 난반사 성분이 구분적으로 부드럽게(piecewise smooth) 나타나고, 제2 정반사 성분은 부드럽고 성기게(smooth and sparse) 나타나는 성질은 명도 특성으로 정의될 수 있다.
명도 특성은 이하에서 설명하는 제약적 최적화 방식 및 필터링 기반의 영상 처리 방법 모두에 적용될 수 있다. 영상 처리 장치가 제1 정반사 성분(S)으로부터 제2 정반사 성분(S')을 추출하는 방법은 도 4 및 도 5를 참조하여 설명한다.
도 4는 일 실시예에 따라 제1 정반사 성분으로부터 제2 정반사 성분을 추출하는 방법을 나타낸 흐름도이다. 일 실시예에 따른 영상 처리 장치는 제1 정반사 성분으로부터, 픽셀들의 명도 특성에 기초한 에러 함수를 최소화하는 제2 정반사 성분 및 제1 난반사 성분을 추출할 수 있다(410). 이때, 제1 난반사 성분은 무채색의 난반사 성분을 포함할 수 있다.
보다 구체적으로, 도 5는 일 실시예에 따라 제1 정반사 성분으로부터 제2 정반사 성분과 제1 난반사 성분을 추출하는 과정을 설명하기 위한 도면이다. 도 5를 참조하면, 제1 정반사 성분(S)을 나타낸 영상(510)으로부터 추출된 제1 난반사 성분(D')을 나타낸 영상(520) 및 제2 정반사 성분(S')을 나타낸 영상(530)이 도시된다. 영상(530)에서 제2 정반사 성분(S')을 제외한 나머지 성분들은 모두 검은색으로 표현될 수 있다.
전술한 바와 같이, 픽셀들의 색도 특성에 기초하여 입력 영상으로부터 결정된 제1 정반사 성분(S)에는 실제 정반사 성분인 제2 정반사 성분(S') 이외에도 무채색의 난반사 성분인 제1 난반사 성분(D')이 포함될 수 있다. 이 경우, 제1 정반사 성분(S) = 제2 정반사 성분(S') + 제1 난반사 성분(D')과 같이 표현될 수 있다.
도 5의 아래에 도시된 그래프들은 각 영상(510, 520, 530)의 동일 영역(540)에 대응되는 명도 특성을 표현한 프로파일(profile)이다. 일 실시예에 따르면, 1차적으로 분리된 제1 정반사 성분(S)로부터 제1 난반사 성분(D')과 제2 정반사 성분(S')을 분리하고자 할 때, 도 5에 도시된 것과 같은 프로파일을 이용할 수 있다.
일 실시예에 따르면, 인접 픽셀들에 대비한 제2 정반사 성분(S')의 픽셀들의 명도 변화가 미리 정해진 크기 이내이고, 제2 정반사 성분(S')의 픽셀들의 명도가 미리 정해진 크기 이내이며, 인접 픽셀들에 대비한 난반사 성분(D')의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 명도 특성에 의한 제약을 만족하도록, 제1 정반사 성분(S)으로부터 제1 난반사 성분(D') 및 제2 정반사 성분(S')이 분리될 수 있다. 영상 처리 장치는 제약 조건(constraint)을 만족하는 한에서 에러 함수 E의 에러가 최소가 되도록 제약적 최적화를 수행하여 제2 정반사 성분(S')을 얻을 수 있다.
예를 들어, 수학식 2와 같이 에러 함수(error function) E를 최소화하는 문제가 정의될 수 있다. 영상 처리 장치는 수학식 2를 풀이하여 E를 최소로 만드는 제1 난반사 성분(D')과 제2 정반사 성분(S')을 결정함으로써, 제1 정반사 성분(S)으로부터 제2 정반사 성분(S')을 추출할 수 있다.
Figure pat00007
Figure pat00008
는 제1 난반사 성분(D')이 구분적이고, 부드러운 성질을 나타내고,
Figure pat00009
는 제2 정반사 성분(S')이 부드러운 성질을 나타내며,
Figure pat00010
는 제2 정반사 성분(S')이 성기게 나타나는 성질을 의미하는 텀(term)이다.
여기서, α, β는 각 텀의 중요도 비율을 조절하는 파라미터(parameter)이다.
Figure pat00011
는 제1 난반사 성분(D')의 구분적인(piecewise) 특징을 위하여 주어지는 가중치이다.
Figure pat00012
는 경사도(gradient)를 구하는 이웃 픽셀과의 제1 정반사 성분(S)의 차이에 반비례하는 함수일 수 있다. 또는,
Figure pat00013
는 제1 정반사 성분(S)에 대한 함수뿐만 아니라 입력 영상(I)의 강도(intensity) 또는 RGB 값 등 세그먼트(segment) 구별의 기준이 되는 다양한 값에 대한 함수로 정의될 수 있다.
제2 정반사 성분(S')은 구분적인 특징을 가지지 않으므로,
Figure pat00014
는 상수(constant) 값(예를 들어, 1)일 수 있다. 단, 제2 정반사 성분(S')에서도 구분적으로 부드러운 성질을 정의하려면
Figure pat00015
역시
Figure pat00016
와 마찬가지로 이웃 픽셀과의 정반사 성분 값 간의 차이에 반비례하는 함수로 정의될 수 있다.
다시 도 2를 참조하면, 영상 처리 장치는 입력 영상(210)에서, 영상(230)에 도시된 제2 정반사 성분(S')을 제거함으로써 결과 영상(240)을 획득할 수 있다. 이때, 입력 영상(210)에서 실제의 정반사 성분인 제2 정반사 성분(S')만 제거되었으므로 결과 영상(240)에서도 무채색의 난반사 성분(회색 부분)이 그대로 유지될 수 있다.
실시예에 따라서, 영상 처리 장치는 픽셀들의 색도 특성에 기초하여 구해진 제1 정반사 성분(S)과 제1 정반사 성분에 명도 특성에 기초하여 구해진 제2 정반사 성분(S')을 가중 평균하여 입력 영상(210)을 처리함으로써, 결과 영상(240)을 구할 수도 있다.
예를 들어, 영상 처리 장치는 제1 정반사 성분(S)과 제2 정반사 성분(S')을 가중치 w로 가중 평균(weighted average)하여 최종 정반사 성분(S'', 도면 미도시) = (1-w)S + wS'으로 정의할 수 있다. 이 경우, 영상 처리 장치는 입력 영상(210)의 RGB 각 채널에서 최종 정반사 성분(S'')을 뺀 I'u = Iu - S''를 결과 영상으로 얻을 수 있다.
가중치 w는 0 이상 1 이하의 값으로 결정될 수 있다. 예를 들어, 유채색 부분에서는 색도 특성에 기초하여 결정된 제1 정반사 성분(S)에 대한 신뢰도가 높다는 점을 고려할 때, 각 픽셀 p에 대한 가중치 wp는 최대 색도 Cp에 반비례하는 0~1 사이의 값으로 정의될 수 있다.
또는 영상 처리 장치는 각 픽셀 p에 대한 가중치 wp를 아래와 같이 정의할 수도 있다. 영상 처리 장치는 예를 들어, 선형 함수(Linear Function)를 이용하여, 1/3에서 1 사이의 값을 가지는 최대 색도 Cp를 0~1 사이의 값으로 정규화(Normalize)한 후, 정규화 결과에 반비례하고 임계값 t 에 의해 경계화(thresholding)하여 가중치 wp를 wp=1.0 - min((1.5Cp-0.5)/t, 1.0)로 정의할 수도 있다.
도 6은 다른 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다. 도 6을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 입력 영상으로부터 제1 정반사 성분을 결정한다(610). 영상 처리 장치가 입력 영상으로부터 제1 정반사 성분을 결정하는 방법은 도 3을 통해 설명한 것과 동일하므로 보다 상세한 설명은 생략한다.
영상 처리 장치는 픽셀들의 명도 특성에 기초한 필터링(filtering)을 이용하여, 단계(610)에서 결정된 제1 정반사 성분으로부터 제1 난반사 성분을 추정한다(620). 영상 처리 장치는 예를 들어, 필터링의 반복 횟수가 제한된 횟수에 도달하거나 또는 필터링에 의하여 갱신된 제1 난반사 성분이 미리 설정된 기준 이하의 값을 가질 때까지 필터링을 반복적으로(iteratively) 수행함으로써 제1 정반사 성분으로부터 제1 난반사 성분을 추정할 수 있다. 필터링은 예를 들어, 바이래터럴 필터링(Bilateral Filtering) 기법 및 엘제로 평활화(L0 Smoothing) 기법 등을 포함할 수 있다.
이때, 픽셀들의 명도 특성은 인접 픽셀들에 대비한 제1 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 특성을 포함할 수 있다.
영상 처리 장치는 예를 들어, 인접 픽셀들에 대비한 제1 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내의 값을 가지도록 픽셀들을 필터링하여 제1 정반사 성분으로부터 제1 난반사 성분을 추정할 수 있다.
영상 처리 장치는 단계(610)에서 추정된 제1 난반사 성분을 이용하여 제2 정반사 성분을 추정한다(630). 영상 처리 장치는 제1 정반사 성분과 추정된 제1 난반사 성분 간의 차이에 기초하여 제2 정반사 성분을 추정할 수 있다. 영상 처리 장치가 결정된 제1 정반사 성분으로부터 제1 난반사 성분의 추정을 거쳐 최종적으로 제2 정반사 성분을 추정하는 방법은 도 7을 참고하여 설명한다.
영상 처리 장치는 단계(630)에서 추정된 제2 정반사 성분에 기초하여 입력 영상을 보정한다(640). 제2 정반사 성분에 기초하여 입력 영상을 보정하는 방법에는 도 1 및 도 2를 통해 설명한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 7은 도 6의 실시예에 따라 제1 정반사 성분으로부터 제2 정반사 성분을 추정하는 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 영상 처리 장치가 제1 정반사 성분으로부터 제1 난반사 성분의 추정을 거쳐 최종적으로 제2 정반사 성분을 추정하는 과정이 도시된다.
도 5의 실시예는 제약적 최적화 기법을 통하여 제1 정반사 성분(S)으로부터 제1 난반사 성분(D')과 제2 정반사 성분(S')을 동시에(simultaneously) 분리한 반면, 도 7의 실시예는 제1 정반사 성분(S)으로부터 제1 난반사 성분(D')을 우선적으로 추정한 뒤 제2 정반사 성분(S')을 추정한다. 도 7의 실시예는 도 5의 실시예에 비하여 정확도가 상대적으로 낮은 대신, 연산량도 상대적으로 낮다. 따라서, 정확도와 연산량의 사이의 트레이드오프(tradeoff) 관계를 고려하여, 도 5의 실시예 및 도 7의 실시예 중 어느 하나가 선택되거나, 적절하게 조합될 수 있다.
보다 구체적으로, 영상 처리 장치는 제약적 최적화 대신 필터링을 이용해 거친(coarse-grained) 조건에 맞는 제1 난반사 성분(D')을 추정하고, 추정된 제1 난반사 성분(D')을 이용하여 제2 정반사 성분(S')을 추정할 수 있다. 예를 들어, 영상 처리 장치는 제1 난반사 성분의 픽셀들과 관련된 명도 특성(예를 들어, 제3 특성)을 만족시키는 필터링 함수를 이용하여, 제1 난반사 성분의 픽셀들을 추정할 수 있다.
영상 처리 장치는 제1 난반사 성분(D') = 제1 정반사 성분(S)으로 초기화하고, 제1 난반사 성분에 예를 들어, 바이래터럴 필터링(Bilateral Filtering)을 적용한 D'curr를 이용하여 D' = min(D', D'curr)를 반복 수행함으로써 제1 난반사 성분을 업데이트할 수 있다. 바이래터럴 필터링은 예를 들어, 엘제로 평활화(L0 Smoothing) 기법 등과 같이 인접 픽셀들에 대비한 제1 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 결과를 생성하는 다른 필터링 방식으로 대체될 수 있다.
영상 처리 장치는 필터링의 반복(iteration) 횟수가 제한된 횟수에 도달하거나 또는 필터링에 의하여 갱신된 제1 난반사 성분이 미리 설정된 기준 이하의 값을 가질 때까지 필터링을 반복적으로 수행함으로써 제1 정반사 성분으로부터 제1 난반사 성분을 추정할 수 있다. 영상 처리 장치는 제1 정반사 성분에서, 추정된 제1 난반사 성분을 뺀 값(S-D')으로 제2 정반사 성분을 추정할 수 있다.
도 8은 일 실시예에 따른 영상 처리 장치의 블록도이다. 도 8을 참조하면, 일 실시예에 따른 영상 처리 장치(800)는 입력 인터페이스(810) 및 프로세서(830)를 포함한다. 입력 인터페이스(810) 및 프로세서(830)는 통신 버스(805)를 통해 서로 통신할 수 있다. 또한, 영상 처리 장치(800)는 메모리(850)를 더 포함할 수 있다.
입력 인터페이스(810)는 입력 영상을 수신한다. 입력 인터페이스(810)는 예를 들어, 영상 처리 장치(800)이 외부 장치로부터 통신을 통해 입력 영상을 수신할 수도 있고, 영상 처리 장치(800)에 의해 직접 촬영된 영상을 입력 영상으로 수신할 수도 있다. 또한, 영상 처리 장치는 메모리(850)에 기 저장된 사진을 로딩하여 입력 영상으로 수신할 수도 있다.
프로세서(830)는 제약적 최적화 방법에 따른 영상 처리 방법 및 필터링 기반의 영상 처리 방법 중 적어도 하나의 방법에 의해 입력 영상을 보정할 수 있다.
우선, 제약적 최적화 방법을 이용하는 경우의 프로세서(830)의 동작은 다음과 같다. 프로세서(830)는 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 입력 영상으로부터 제1 정반사 성분을 결정한다. 프로세서(830)는 픽셀들의 명도 특성에 기초하여, 제1 정반사 성분으로부터 제2 정반사 성분을 추출한다. 이때, 픽셀들의 명도 특성은 인접 픽셀들에 대비한 제2 정반사 성분의 픽셀들의 명도 변화가 미리 정해진 크기 이내인 제1 특성, 제2 정반사 성분의 픽셀들의 명도가 미리 정해진 크기 이내인 제2 특성, 및 인접 픽셀들에 대비한 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 제3 특성 중 적어도 하나를 포함할 수 있다. 프로세서(830)는 제2 정반사 성분에 기초하여 입력 영상을 보정한다.
또한, 필터링 기반의 영상 처리 방법을 이용하는 경우의 프로세서(830)의 동작은 다음과 같다. 프로세서(830)는 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 입력 영상으로부터 제1 정반사 성분을 결정한다. 프로세서(830)는 픽셀들의 명도 특성에 기초한 필터링을 이용하여, 제1 정반사 성분으로부터 난반사 성분을 추정한다. 이때, 픽셀들의 명도 특성은 인접 픽셀들에 대비한 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 특성을 포함할 수 있다. 필터링은 예를 들어, 바이래터럴 필터링(Bilateral Filtering) 기법 및 엘제로 평활화(L0 Smoothing) 기법 등을 포함할 수 있다. 프로세서(830)는 추정된 난반사 성분을 이용하여 제2 정반사 성분을 추정한다. 프로세서(830)는 추정된 제2 정반사 성분에 기초하여 입력 영상을 보정한다.
이 밖에도, 프로세서(830)는 도 1 내지 도 7을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(830)는 프로그램을 실행하고, 영상 처리 장치(800)를 제어할 수 있다. 프로세서(830)에 의하여 실행되는 프로그램 코드는 메모리(850)에 저장될 수 있다. 영상 처리 장치(800)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 영상 처리 장치(800)는 텔레비전, 스마트 텔레비전, 스마트 폰 등 다양한 전자 시스템들을 포함할 수 있다.
메모리(850)는 보정된 입력 영상을 저장할 수 있다. 메모리(850)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.
이 밖에도, 도면에 도시하지 않았지만, 영상 처리 장치(800)는 출력 인터페이스를 더 포함할 수 있다. 출력 인터페이스는 보정된 입력 영상을 전송할 수 있다. 예를 들어, 보정된 입력 영상은 3D 디스플레이로 전송될 수 있다. 또한, 도면에 도시하지 않았으나, 영상 처리 장치(800)는 3D 디스플레이를 더 포함할 수 있다. 이 경우, 보정된 입력 영상은 출력 인터페이스를 통하지 않고 직접 3D 디스플레이에 표시될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 상기 입력 영상으로부터 제1 정반사(specular) 성분을 결정하는 단계;
    상기 픽셀들의 명도 특성에 기초하여, 상기 제1 정반사 성분으로부터 제2 정반사 성분을 추출하는 단계; 및
    상기 제2 정반사 성분에 기초하여, 상기 입력 영상을 보정하는 단계
    를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 제2 정반사 성분을 추출하는 단계는
    상기 제1 정반사 성분으로부터, 상기 픽셀들의 명도 특성에 기초한 에러 함수를 최소화하는 상기 제2 정반사 성분 및 난반사 성분을 추출하는 단계
    를 포함하는, 영상 처리 방법.
  3. 제2항에 있어서,
    상기 난반사 성분은
    무채색의 난반사(achromatic diffuse) 성분을 포함하는, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 픽셀들의 명도 특성은
    인접 픽셀들에 대비한 상기 제2 정반사 성분의 픽셀들의 명도 변화가 미리 정해진 크기 이내인 제1 특성;
    상기 제2 정반사 성분의 픽셀들의 명도가 미리 정해진 크기 이내인 제2 특성; 및
    인접 픽셀들에 대비한 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 제3 특성
    중 적어도 하나를 포함하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 입력 영상을 보정하는 단계는
    상기 색도 특성에 기초하여 상기 제2 정반사 성분의 크기를 조절하는 단계
    를 포함하는, 영상 처리 방법.
  6. 제5항에 있어서,
    상기 입력 영상을 보정하는 단계는
    상기 색도 특성에 반비례하는 가중치에 기초하여 상기 제1 정반사 성분과 상기 제2 정반사 성분을 가중 평균 함으로써 상기 입력 영상을 보정하는 단계
    를 포함하는, 영상 처리 방법.
  7. 제1항에 있어서,
    상기 입력 영상은 단일 영상을 포함하는, 영상 처리 방법.
  8. 제1항에 있어서,
    상기 제1 정반사 성분을 결정하는 단계는
    상기 픽셀들 각각에 대응하여,
    해당 픽셀 내 최대 색도 및 참조 픽셀-상기 참조 픽셀과 상기 해당 픽셀은 동일한 표면 색상(surface color)을 가지고, 상기 참조 픽셀은 난반사 성분만 포함함-의 최대 색도에 기초하여, 상기 해당 픽셀 내 난반사 성분을 결정하는 단계; 및
    상기 해당 픽셀 내 난반사 성분에 기초하여, 상기 해당 픽셀 내 정반사 성분을 결정하는 단계
    를 포함하는, 영상 처리 방법.
  9. 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 상기 입력 영상으로부터 제1 정반사 성분을 결정하는 단계;
    상기 픽셀들의 명도 특성에 기초한 필터링(filtering)을 이용하여, 상기 제1 정반사 성분으로부터 난반사 성분을 추정하는 단계;
    상기 추정된 난반사 성분을 이용하여 제2 정반사 성분을 추정하는 단계; 및
    상기 추정된 제2 정반사 성분에 기초하여 상기 입력 영상을 보정하는 단계
    를 포함하는, 영상 처리 방법.
  10. 제9항에 있어서,
    상기 픽셀들의 명도 특성은
    인접 픽셀들에 대비한 상기 난반사 성분의 픽셀들 중 동일 픽셀 그룹에 속하는 픽셀들의 명도 변화가 미리 정해진 크기 이내인 특성
    을 포함하는, 영상 처리 방법.
  11. 제9항에 있어서,
    상기 난반사 성분을 추정하는 단계는
    상기 필터링의 반복 횟수가 제한된 횟수에 도달하거나 또는 상기 필터링에 의하여 갱신된 난반사 성분이 미리 설정된 기준 이하의 값을 가질 때까지 상기 필터링을 반복적으로(iteratively) 수행함으로써 상기 제1 정반사 성분으로부터 상기 난반사 성분을 추정하는 단계
    를 포함하는, 영상 처리 방법.
  12. 제10항에 있어서,
    상기 필터링은
    바이래터럴 필터링(Bilateral Filtering) 기법; 및
    엘제로 평활화(L0 Smoothing) 기법
    중 적어도 하나를 포함하는, 영상 처리 방법.
  13. 제9항에 있어서,
    상기 제2 정반사 성분을 추정하는 단계는
    상기 제1 정반사 성분과 상기 추정된 난반사 성분 간의 차이에 기초하여 제2 정반사 성분을 추정하는 단계
    를 포함하는, 영상 처리 방법.
  14. 제9항에 있어서,
    상기 입력 영상을 보정하는 단계는
    상기 색도 특성에 기초하여 상기 제2 정반사 성분의 크기를 조절하는 단계
    를 포함하는, 영상 처리 방법.
  15. 제14 항에 있어서,
    상기 입력 영상을 보정하는 단계는
    상기 색도 특성에 반비례하는 가중치에 기초하여 상기 제1 정반사 성분과 상기 제2 정반사 성분을 가중 평균 함으로써 상기 입력 영상을 보정하는 단계
    를 포함하는, 영상 처리 방법.
  16. 제9항에 있어서,
    상기 입력 영상은 단일 영상을 포함하는, 영상 처리 방법.
  17. 제9항에 있어서,
    상기 제1 정반사 성분을 결정하는 단계는
    상기 픽셀들 각각에 대응하여,
    해당 픽셀 내 최대 색도 및 참조 픽셀-상기 참조 픽셀과 상기 해당 픽셀은 동일한 표면 색상을 가지고, 상기 참조 픽셀은 난반사 성분만 포함함-의 최대 색도에 기초하여, 상기 해당 픽셀 내 난반사 성분을 결정하는 단계; 및
    상기 해당 픽셀 내 난반사 성분에 기초하여, 상기 해당 픽셀 내 정반사 성분을 결정하는 단계
    를 포함하는, 영상 처리 방법.
  18. 하드웨어와 결합되어 제1항 내지 제17항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  19. 입력 영상을 수신하는 입력 인터페이스; 및
    상기 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 상기 입력 영상으로부터 제1 정반사(specular) 성분을 결정하고, 상기 픽셀들의 명도 특성에 기초하여, 상기 제1 정반사 성분으로부터 제2 정반사 성분을 추출하며, 상기 제2 정반사 성분에 기초하여, 상기 입력 영상을 보정하는 프로세서
    를 포함하는, 영상 처리 장치.
  20. 입력 영상을 수신하는 입력 인터페이스; 및
    상기 입력 영상에 포함된 픽셀들의 색도 특성에 기초하여, 상기 입력 영상으로부터 제1 정반사 성분을 결정하고, 상기 픽셀들의 명도 특성에 기초한 필터링(filtering)을 이용하여, 상기 제1 정반사 성분으로부터 난반사 성분을 추정하고, 상기 추정된 난반사 성분을 이용하여 제2 정반사 성분을 추정하며, 상기 추정된 제2 정반사 성분에 기초하여 상기 입력 영상을 보정하는 프로세서
    를 포함하는, 영상 처리 장치.
KR1020160164129A 2016-12-05 2016-12-05 영상 처리 방법 및 장치 KR102614906B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160164129A KR102614906B1 (ko) 2016-12-05 2016-12-05 영상 처리 방법 및 장치
US15/591,378 US10546392B2 (en) 2016-12-05 2017-05-10 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160164129A KR102614906B1 (ko) 2016-12-05 2016-12-05 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180064028A true KR20180064028A (ko) 2018-06-14
KR102614906B1 KR102614906B1 (ko) 2023-12-18

Family

ID=62243343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160164129A KR102614906B1 (ko) 2016-12-05 2016-12-05 영상 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US10546392B2 (ko)
KR (1) KR102614906B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166684B (zh) 2018-06-29 2021-09-17 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN111080686B (zh) * 2019-12-16 2022-09-02 中国科学技术大学 用于自然场景中图像高光去除的方法
CN111754425A (zh) * 2020-06-05 2020-10-09 北京有竹居网络技术有限公司 图像去高光处理方法、装置及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2375676A (en) * 2001-05-17 2002-11-20 Hewlett Packard Co Reducing the effects of specular reflections appearing in an image
JP2013065215A (ja) * 2011-09-16 2013-04-11 Toshiba Corp 画像処理装置及び画像処理方法
JP2014002614A (ja) 2012-06-19 2014-01-09 Toshiba Corp 画像処理装置及び画像処理方法
US9129188B2 (en) * 2012-06-22 2015-09-08 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
US8610976B1 (en) 2012-06-27 2013-12-17 3M Innovative Properties Company Image enhancement methods
US8743426B2 (en) 2012-06-27 2014-06-03 3M Innovative Properties Company Image enhancement methods
WO2014033743A2 (en) * 2012-08-18 2014-03-06 Tata Consultancy Services Limited Image processing
JP6030396B2 (ja) * 2012-09-28 2016-11-24 日立マクセル株式会社 映像処理装置
JP6478984B2 (ja) 2013-09-30 2019-03-06 ケアストリーム ヘルス インク Ｈｄｒイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム
JP2015087811A (ja) 2013-10-28 2015-05-07 大日本印刷株式会社 画像処理装置、画像処理方法、プログラム、及び、記録媒体
JP6380972B2 (ja) 2014-05-02 2018-08-29 オリンパス株式会社 画像処理装置および撮像装置
JP6827782B2 (ja) * 2016-11-30 2021-02-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Cheolkon Jung ET AL, Specular Highlight Removal Using Reflection Component Separation and Joint Bilateral Filtering, International Conference on Intelligent Science and Intelligent Data Engineering, Page 513-521, Dec. 2012(2012.12.31.) 1부.* *
Li Xu ET AL, Image Smoothing via L0 Gradient Minimization, ACM Transactions on Graphics, Vol. 30, No. 6, Article 174, Page 174:1-174:12, 12 Dec. 2011(2011.12.12.) 1부.* *
Robby T. Tan ET AL, Separating reflection components based on chromaticity and noise analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 26, Issue: 10, Page 1373-1379, Oct. 2004(2004.10.31.) 1부.* *
Yuanliu Liu ET AL, Saturation-preserving Specular Reflection Separation, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Page 3725-3733, Oct. 2015(2015.10.15.) 1부.* *

Also Published As

Publication number Publication date
US20180158174A1 (en) 2018-06-07
US10546392B2 (en) 2020-01-28
KR102614906B1 (ko) 2023-12-18

Similar Documents

Publication Publication Date Title
US8396324B2 (en) Image processing method and apparatus for correcting distortion caused by air particles as in fog
JP6998388B2 (ja) 画像特性マップを処理するための方法及び装置
US20120219214A1 (en) Mapping colors of an image
CN107507144B (zh) 肤色增强的处理方法、装置及图像处理装置
CN107451976B (zh) 一种图像处理方法及装置
US10055824B2 (en) Image correction device, image correction method and storage medium
KR101624801B1 (ko) 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치
EP4057609A1 (en) Method and apparatus for image correction
US20230059499A1 (en) Image processing system, image processing method, and non-transitory computer readable medium
US20170352133A1 (en) Image processing device, image processing method, and recording medium
KR20140065894A (ko) 깊이 영상을 이용한 컬러 영상 처리 장치 및 방법
KR20180064028A (ko) 영상 처리 방법 및 장치
KR101662407B1 (ko) 영상의 비네팅 보정 방법 및 장치
US9384561B2 (en) Method of selecting a region of interest
CN110175967B (zh) 图像去雾处理方法、系统、计算机设备和存储介质
JP2020077165A (ja) 画像処理装置、画像処理方法、及びプログラム
CN110188640B (zh) 人脸识别方法、装置、服务器和计算机可读介质
JP5914046B2 (ja) 画像処理装置および画像処理方法
KR20230049231A (ko) 영상 개선 방법 및 장치
KR20130058972A (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
CN110136070B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR20200134862A (ko) 영상 처리 방법 및 장치
KR101874538B1 (ko) 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치
KR20180088557A (ko) 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치
KR20180051856A (ko) 영상 개선 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant