KR101631012B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR101631012B1
KR101631012B1 KR1020150012002A KR20150012002A KR101631012B1 KR 101631012 B1 KR101631012 B1 KR 101631012B1 KR 1020150012002 A KR1020150012002 A KR 1020150012002A KR 20150012002 A KR20150012002 A KR 20150012002A KR 101631012 B1 KR101631012 B1 KR 101631012B1
Authority
KR
South Korea
Prior art keywords
pupil region
pupil
halation
image
luminance
Prior art date
Application number
KR1020150012002A
Other languages
English (en)
Other versions
KR20150107598A (ko
Inventor
줌페이 마츠나가
마사유키 코바야시
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20150107598A publication Critical patent/KR20150107598A/ko
Application granted granted Critical
Publication of KR101631012B1 publication Critical patent/KR101631012B1/ko

Links

Images

Classifications

    • G06T5/77—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Abstract

얼굴 화상의 적어도 일부를 보정하는 화상 처리 장치로서, 입력 화상을 취득하는 화상 취득 수단과, 상기 입력 화상으로부터, 인간의 눈에 대응하는 영역인 동공 영역을 추출하는 영역 추출 수단과, 상기 동공 영역에서, 휘도치가 소정의 임계치보다도 높은 화소를 추출하는 화소 추출 수단과, 상기 화소 추출 수단이 행한 추출 결과에 의거하여, 상기 동공 영역 내에서의 헐레이션의 발생 유무를 판정하는 판정 수단과, 상기 판정 수단이 행한 판정 결과에 의거하여, 상기 동공 영역에 대해, 헐레이션을 보정하는 처리를 행하는 보정 수단을 가지며, 상기 화소 추출 수단은, 상기 동공 영역에 포함되는 화소의 휘도 분포의 치우침에 의거하여, 상기 소정의 임계치를 설정하는 것을 특징으로 한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은, 휘도 불량이 발생한 화상을 보정하는 화상 처리 장치에 관한 것이다.
카메라 등의 촬상 장치에 의해, 스트로보광을 조사하여 인물의 얼굴을 촬영한 경우, 스트로보의 광에 기인하여, 인물의 동공(瞳)이 붉게 찍혀 버리는 색조 불량 현상(적목(赤目) 현상)이 발생한다. 이에 대응하기 위해, 적목 현상이 발생한 화상을 보정하여, 본래의 색조로 보정하는 기술이 수많이 제안되어 있다. 예를 들면, 특허 문헌 1에는, 촬영한 화상으로부터 적목이 발생한 영역을 검출하고, 당해 영역에 대해 색조의 보정을 행하는 디지털 카메라가 기재되어 있다.
적목 현상과는 별개의 현상으로서, 헐레이션이 있다. 헐레이션이란, 스트로보가 동공(瞳)에 강하게 반사함에 의해, 동공이 희게 번져(白飛) 버리는 현상이다. 헐레이션이 발생하면, 휘도의 계조 정보와 홍채 내의 모양 정보를 잃어버리기 때문에, 적목 보정과 마찬가지의 처리로는 대응할 수가 없다.
헐레이션을 보정하기 위한 발명으로서, 예를 들면 특허 문헌 2에는, 적목이 발생한 영역과, 헐레이션이 발생한 영역을 나누어서 추출하고, 각각을 다른 수법으로 보정하는 화상 처리 방법이 기재되어 있다.
특허 문헌 1 : 일본국 특개2007-235531호 공보 특허 문헌 2 : 일본국 특허4537142호 공보
특허 문헌 2에 기재된 방법에서는, 색조 불량이 발생하고 있는 영역에서, 임계치 이상의 휘도치를 갖는 화소를 추출하고, 당해 화소에서 헐레이션이 발생하고 있다고 판정하고 있다.
그러나, 헐레이션의 발생을 고정된 임계치로 판정한 경우, 오판정이 발생하기 쉽다는 문제가 있다. 즉, 화상 전체의 명도가 밝게 된 경우, 임계치 이상의 휘도치를 갖는 화소가 증가하기 때문에, 헐레이션이 발생하지 않았음에도 불구하고, 헐레이션이 발생하고 있다고 판정되어 버릴 우려가 있다. 반대도 마찬가지로, 화상 전체가 노출 부족으로 어두운 경우, 헐레이션이 발생하고 있음에도 불구하고, 휘도치가 임계치를 넘지 않아, 결과로서 헐레이션이 발생하고 있지 않다고 판정되어 버릴 우려가 있다.
이 문제는, 화상의 명암뿐만 아니라, 촬영된 인물의 개인차에 의해서도 발생한다. 예를 들면, 홍채가 청색(靑色) 등이 밝은 색인 경우, 홍채가 다색(茶色) 등이 어두운 색인 경우에 비하여, 화소의 휘도치가 높아진다. 즉, 헐레이션의 상태가 동일하여도, 헐레이션이 발생하고 있다고 판정될 확률이 높아져 버린다.
본 발명은 상기한 과제를 고려하여 이루어진 것으로, 눈의 내부에 발생한 헐레이션의 상태를 올바르게 판정할 수 있는 화상 처리 장치를 제공하는 것을 목적으로 한다.
전술한 과제를 해결하기 위해, 본 발명에 관한 화상 처리 장치는,
얼굴 화상의 적어도 일부를 보정하는 화상 처리 장치로서, 입력 화상을 취득하는 화상 취득 수단과, 상기 입력 화상으로부터, 인간의 눈에 대응하는 영역인 동공 영역을 추출하는 영역 추출 수단과, 상기 동공 영역에서, 휘도치가 소정의 임계치보다도 높은 화소를 추출하는 화소 추출 수단과, 상기 화소 추출 수단이 행한 추출 결과에 의거하여, 상기 동공 영역 내에서의 헐레이션의 발생 유무를 판정하는 판정 수단과, 상기 판정 수단이 행한 판정 결과에 의거하여, 상기 동공 영역에 대해, 헐레이션을 보정하는 처리를 행하는 보정 수단을 가지며, 상기 화소 추출 수단은, 상기 동공 영역에 포함되는 화소의 휘도 분포의 치우침에 의거하여, 상기 소정의 임계치를 설정하는 것을 특징으로 한다.
본 발명에 관한 화상 처리 장치는, 입력 화상으로부터 동공 영역을 추출하고, 당해 동공 영역 내에서의 헐레이션의 발생 유무를 판정하고 나서, 헐레이션의 보정을 행하는 장치이다. 동공 영역이란, 사람의 동공에 대응하는 영역이고, 전형적으로는, 동공의 중심점을 중심 좌표로 하는 원형 영역이지만, 이것으로 한정되지 않는다.
헐레이션의 발생 유무는, 동공 영역 내에서, 휘도치가 소정의 임계치보다도 높은 화소를 추출함으로써 판정할 수 있지만, 본 발명에서는 이에 더하여, 당해 임계치를, 동공 영역에 포함되는 화소의 휘도 분포의 치우침에 의거하여 설정한다.
예를 들면, 분포가 고휘도측에 치우쳐진 경우, 임계치를 고휘도측에 설정하고, 분포가 저휘도측에 치우쳐진 경우, 임계치를 저휘도측에 설정한다. 또한, 휘도 분포가 다봉성(多峰性)을 갖고 있는 경우, 즉 고휘도 클래스와 저휘도 클래스로 나누어져 분포하고 있는 경우, 임계치를, 각 클래스를 분할하는 값으로 설정하여도 좋다.
이러한 구성에 의하면, 헐레이션의 보정에 있어서, 화상의 휘도 분포의 치우침에 기인하여 발생하는 오판정을 억제할 수 있다.
또한, 상기 판정 수단은, 상기 화소 추출 수단에 의해 추출된 화소가, 상기 동공 영역 내에 소정의 비율 이상 존재하는 경우에, 상기 동공 영역 내에서 헐레이션이 발생하고 있다고 판정한 것을 특징으로 하여도 좋다.
동공 영역의 내부에서 헐레이션이 발생하고 있는 경우, 동공 영역의 내부에 하이라이트만이 존재하는 경우에 비하여, 휘도치가 임계치보다도 높은 화소가 많아진다. 즉, 동공 영역 내에서의 당해 화소의 비율을 판정함으로써, 헐레이션의 발생 유무를 추정할 수 있다.
또한, 상기 소정의 임계치는, 상기 동공 영역에 포함되는 화소의 휘도 분포를 저휘도 클래스와 고휘도 클래스로 분리하는 값인 것을 특징으로 하여도 좋다.
헐레이션이 발생한 경우, 휘도 분포가 고휘도측에서 돌출한다. 즉, 소정의 임계치를, 헐레이션에 대응하는 클래스인 고휘도 클래스와, 그 이외의 클래스인 저휘도 클래스를 분리하는 값으로 함으로써, 헐레이션의 판정 정밀도를 향상시킬 수 있다. 클래스의 분리는, 임의의 수법에 의해 행할 수 있다.
또한, 상기 판정 수단은, 상기 동공 영역에 포함되는 화소의 휘도 분포에서의, 클래스 내 분산과 클래스 사이 분산의 비(比)인 분리도(分離度)를 산출하고, 상기 분리도가 최대가 되는 값으로, 상기 소정의 임계치를 설정하는 것을 특징으로 하여도 좋다.
고휘도 클래스와 저휘도 클래스와의 분리는, 판별분석법에 의해 행하는 것이 바람직하다. 구체적으로는, 클래스 내 분산과 클래스 사이 분산의 비를 분리도로서 구하고, 분리도가 최대가 되는 임계치를 구한다. 이와 같이 하여 구한 임계치는, 각 클래스를 가장 잘 분리하는 값이 된다.
또한, 상기 보정 수단은, 상기 분리도가 소정의 값 이하이고, 또한, 상기 동공 영역에 포함되는 화소의 휘도치의 평균이 소정의 값 이상인 경우에, 상기 판정 수단이 행한 판정 결과에 관계없이, 헐레이션의 보정 처리를 행하는 것을 특징으로 하여도 좋다.
또한, 상기 보정 수단은, 상기 분리도가 소정의 값 이하이고, 또한, 상기 동공 영역에 포함되는 화소의 휘도치의 평균이 소정의 값 이하인 경우에, 상기 판정 수단이 행한 판정 결과에 관계없이, 헐레이션의 보정 처리를 행하지 않는 것을 특징으로 하여도 좋다.
휘도 분포의 분리도가 낮다는 것은, 동공 영역의 내부에서 독립한 헐레이션 영역을 검출할 수 없는 것을 의미한다. 즉, 보정하여야 할 레벨의 헐레이션이 발생하지 않든지, 또는, 동공 영역 전체가 헐레이션을 일으키고 있든지의 어느 하나이다.
이 2개는, 동공 영역에 포함되는 화소의 휘도치의 평균을 구함으로써 판별할 수 있다. 예를 들면, 동공 영역에 포함되는 화소의 휘도치의 평균이 소정의 값보다도 높은 경우, 동공 영역 전체가 헐레이션을 일으키고 있다고 추정할 수 있다. 이와 같은 경우, 판정 수단이 행한 판정의 결과에 관계없이, 동공 영역에 대해 헐레이션의 보정 처리를 행하는 것이 바람직하다. 또한, 동공 영역에 포함되는 화소의 휘도치의 평균이 소정의 값보다도 낮은 경우, 보정이 필요한 헐레이션은 발생하고 있지 않다고 추정할 수 있다. 이와 같은 경우, 판정 수단이 행한 판정의 결과에 관계없이, 동공 영역에 대한 헐레이션의 보정 처리를 행하지 않도록 하는 것이 바람직하다.
이와 같이 구성함으로써, 휘도 분포의 분리도가 낮은 경우라도, 적절하게 헐레이션의 발생을 검출하고, 보정을 행할 수 있도록 된다.
또한, 상기 보정 수단은, 동공 영역에 대응하는 동공 화상을 기억하고 있고, 동공 영역에 헐레이션이 발생한 경우에, 대응하는 동공 화상을 대상(對象)의 동공 영역에 붙임으로써 헐레이션의 보정을 행하는 것을 특징으로 하여도 좋다.
헐레이션의 보정은, 정상적인 상태의 동공 화상을, 대상의 동공 영역에 붙임으로써 행할 수 있다.
또한, 상기 보정 수단은, 상기 동공 화상을, 대상의 동공 영역에 적합한 형상으로 변형하고 나서 상기 동공 영역에 붙이는 것을 특징으로 하여도 좋고, 상기 보정 수단은, 상기 동공 화상을, 대상의 동공 영역에 적합한 색조로 보정하고 나서 상기 동공 영역에 붙이는 것을 특징으로 하여도 좋다.
이와 같이, 형상이나 색조를 보정하고 나서 동공 화상을 붙임으로써, 보다 자연스러운 보정 결과를 얻을 수 있다.
또한, 상기 보정 수단은, 제1의 동공 영역에 헐레이션이 발생하고 있고, 또한, 상기 제1의 동공 영역과 반대측의 눈에서의 동공 영역인 제2의 동공 영역에 헐레이션이 발생하지 않는 경우에, 상기 제2의 동공 영역에서 취득한 동공 화상을, 상기 제1의 동공 영역에 붙임으로써 헐레이션의 보정을 행하는 것을 특징으로 하여도 좋다.
이와 같이, 2개의 눈 중, 어느 한쪽(片方)에만 헐레이션이 발생하고 있는 경우, 또 한쪽의 동공 영역으로부터 정상적인 상태의 동공 화상을 취득할 수 있다.
또한, 본 발명의 다른 형태에 관한 화상 처리 장치는,
얼굴 화상에 발생한 헐레이션을 보정하는 화상 처리 장치로서, 입력 화상을 취득하는 화상 취득 수단과, 상기 입력 화상으로부터, 인간의 눈에 대응하는 영역인 동공 영역을 추출하는 영역 추출 수단과, 상기 동공 영역 내에서의 헐레이션의 발생 유무를 판정하는 판정 수단과, 상기 동공 영역에 헐레이션이 발생한 경우에, 대응하는 동공 화상을 대상의 동공 영역에 붙임으로써 헐레이션의 보정을 행하는 보정 수단을 갖는 것을 특징으로 한다.
이러한 구성에 의하면, 위화감이 적은 헐레이션 보정이 가능한 화상 처리 장치를 제공할 수 있다.
또한, 본 발명은, 상기 수단의 적어도 일부를 포함한 화상 처리 장치로서 특정할 수 있다. 또한, 본 발명은, 화상 처리 방법으로서 특정할 수도 있다. 또한, 본 발명은, 컴퓨터에 상기 화상 처리 방법을 실행시키는 프로그램으로서 특정할 수도 있다. 상기 처리나 수단은, 기술적인 모순이 생기지 않는 한에 있어서, 자유롭게 조합시켜서 실시할 수 있다.
본 발명에 의하면, 눈의 내부에 발생한 헐레이션의 상태를 올바르게 판정할 수 있는 화상 처리 장치를 제공할 수 있다.
도 1은 실시 형태에 관한 화상 처리 장치의 시스템 구성도.
도 2는 얼굴 화상 및 휘도치 히스토그램의 예.
도 3은 노출 부족 상태에서의 얼굴 화상 및 휘도치 히스토그램의 예.
도 4는 노출 과다 상태에서의 얼굴 화상 및 휘도치 히스토그램의 예.
도 5는 판별분석법에 의해 휘도 분포를 분리하는 방법을 설명하는 도면.
도 6은 올바르게 헐레이션 판정을 행할 수 없는 예를 설명하는 도면.
도 7은 올바르게 헐레이션 판정을 행할 수 없는 예를 설명하는 제2의 도면.
도 8은 화상 처리 장치가 행하는 처리의 플로 차트도.
도 9는 얼굴 및 동공 영역의 검출 처리를 상세히 설명하는 플로 차트도.
도 10은 동공의 상태 판정을 행하는 처리를 상세히 설명하는 플로 차트도.
도 11은 적목 및 금목의 체크 처리를 상세히 설명하는 플로 차트도.
도 12는 헐레이션의 체크 처리를 상세히 설명하는 플로 차트도.
도 13은 화상의 보정 처리를 상세히 설명하는 플로 차트도.
이하, 본 발명의 바람직한 실시 형태에 관해 도면을 참조하면서 설명한다.
본 실시 형태에 관한 화상 처리 장치는, 화상에 포함되는 사람의 동공에 색조 이상 또는 휘도 이상이 발생하고 있는 것을 검출하고 나서, 당해 동공에 대한 보정을 행하는 장치이다. 도 1은, 본 실시 형태에 관한 화상 처리 장치(10)의 시스템 구성도이다.
(시스템 구성)
화상 처리 장치(10)는, 화상 취득부(11), 동공 검출부(12), 동공 상태 판정부(13), 보정부(14), 입출력부(15)로 구성된다.
화상 취득부(11)는, 처리 대상의 화상을 취득하는 수단이고, 전형적으로는, 고정 디스크드라이브나 플래시 메모리라는 기억 장치이다. 또한, 화상 취득부(11)는, 장치의 외부로부터 화상을 취득하는 수단(예를 들면, 인터페이스 장치나 무선 통신 장치)이라도 좋고, 렌즈와 촬상 소자를 통하여 화상을 촬상하는 수단이라도 좋다.
동공 검출부(12)는, 화상 취득부(11)가 취득한 화상으로부터, 인간의 동공에 대응하는 영역을 추출하는 수단이다. 구체적으로는, 화상으로부터 인간의 얼굴을 검출하고, 두 눈이 포함되는 화상을 클리핑하고 나서, 당해 화상으로부터 눈 위치를 특정하고, 동공의 중심점을 결정된다. 또한, 동공의 중심점을 중심으로 한 원형 영역(이하, 동공 영역)을 추출한다. 또한, 본 명세서에서, 동공 영역이라고 한 단어는, 동공의 중심점을 중심 좌표로 한, 소정의 크기를 갖는 영역을 나타내는 단어로서 이용한다.
동공 상태 판정부(13)는, 동공 검출부(12)가 추출한 동공 영역에 대해, 그 상태를 판정하는 수단이다. 구체적으로는, 적목의 발생 유무, 금목(金目)의 발생 유무, 헐레이션의 발생 유무를 판정한다. 상세한 판정 방법에 관해서는 후술한다. 또한, 금목이란, 적목과 동일한 원리에 의해, 동공이 황색으로 찍혀 버리는 색조 불량 현상이다.
보정부(14)는, 동공 상태 판정부(13)가 행한 판정 결과에 의거하여, 적목 또는 금목, 및, 헐레이션의 보정을 행하는 수단이다. 또한, 보정부(14)가 보정을 행하는 대상의 영역은, 반드시 동공 영역과 동일하지 않아도 좋다. 예를 들면, 동공 영역으로부터, 피부에 대응하는 영역을 삭제한 영역이라도 좋다.
또한, 입출력부(15)는, 유저가 행한 입력 조작을 접수하고, 유저에 대해 정보를 제시하는 수단이다. 구체적으로는, 터치 패널과 그 제어 수단, 액정 디스플레이와 그 제어 수단으로 구성된다. 터치 패널 및 액정 디스플레이는, 본 실시 형태에서는 하나의 터치 패널 디스플레이로 이루어진다.
이상에 설명한 각 수단의 제어는, 제어 프로그램을 CPU 등의 처리 장치가 실행함에 의해 실현된다. 또한, 당해 제어 기능은, FPGA(Field Programmable Gate Array)나 ASIC(Application Specific Integrated Circuit) 등에 의해 실현되어도 좋고, 이들의 조합에 의해 실현되어도 좋다.
(종래 기술의 문제점)
우선, 종래 기술의 문제점에 관해 설명한다.
도 2(A)에 도시한 화상(201)은, 화상 취득부(11)에 의해 취득된 인물 화상 중, 눈의 주변 영역을 절취(切取)한 화상의 예이다. 부호 202는, 동공에 대응하는 영역(동공 영역)이다. 여기서는, 동공 영역(202)의 내부에, 스트로보의 반사에 기인한 헐레이션이 발생하고 있는 것으로 한다.
도 2(B)는, 동공 영역(202)에 포함되는 화소의 휘도치 히스토그램이다. 화상(201)은 RGB 화상이지만, 여기서는, 설명을 간단하게 하기 위해, 화상이 단일 색인 것으로 하여 히스토그램을 예시한다. 히스토그램의 횡축은 휘도치, 종축은 도수(度數)(화소수)이다.
동공 영역에 헐레이션이 발생하고 있는지의 여부는, 휘도의 분포에 의해 판단할 수 있다. 헐레이션이 발생하고 있는 경우, 휘도 분포가 고휘도측에서 돌출한다. 본 예에서는, 부호 203로 나타낸 부분이, 헐레이션에 기인한 휘도 분포의 돌출부이다. 또한, 휘도 분포가 고휘도측에서 돌출하고 있는 것은, 임계치를 넘는 휘도치를 갖는 화소의 비율로 판단할 수 있다. 예를 들면, 임계치(204)보다도 휘도치가 높은 화소가, 동공 영역(202)에 포함되는 화소 중, 소정의 비율 이상(예를 들면 20% 이상) 있는 경우에, 당해 동공 영역에 헐레이션이 발생하고 있다고 판정할 수 있다.
여기서 문제가 되는 것이, 휘도 분포가 특정한 방향으로 치우쳐진 경우, 올바르게 헐레이션의 판별이 행할 수가 없게 된다는 점이다. 도 3은, 휘도 분포가 저휘도 방향으로 치우쳐진 경우, 즉, 화상 전체가 노출 부족의 상태였던 경우의 예이다. 이와 같은 경우, 휘도 분포가 돌출하고 있는 부분이 저휘도측으로 이동하기 때문에, 임계치(204)보다도 휘도가 높은 화소의 비율이 감소하여 버린다. 즉, 헐레이션이 발생하고 있음에도 불구하고, 헐레이션이 발생하고 있지 않다고 판정되어 버릴 우려가 있다.
도 4는, 반대로, 휘도 분포가 고휘도 방향으로 치우쳐진 경우, 즉, 노출 과다의 상태였던 경우의 예이다. 이와 같은 경우, 휘도 분포가 전체적으로 고휘도측으로 이동하기 때문에, 임계치(204)보다도 휘도가 높은 화소의 비율이 증가하여 버린다. 즉, 헐레이션이 발생하고 있지 않음에도 불구하고, 헐레이션이 발생하고 있다고 판정되어 버릴 우려가 있다.
이 문제는, 노출의 상태뿐만 아니라, 홍채의 색의 차이에 의해서도 발생한다. 예를 들면, 대상 인물의 홍채가 밝은 색이었던 경우, 어두운 색이었던 경우에 비하여, 휘도치가 고휘도 방향으로 시프트한다. 즉, 전술한 바와 마찬가지의 판정 미스가 발생할 수 있다.
이와 같이, 단일한 임계치를 이용한 방법에서는, 휘도 분포의 상태에 따라, 올바르게 헐레이션의 발생을 판별할 수가 없는 케이스가 발생하여 버린다.
(임계치의 결정 방법)
그래서, 본 실시 형태에 관한 화상 처리 장치에서는, 동공 영역에 포함되는 화소의 휘도 분포의 치우침에 의거하여, 임계치를 자동적으로 설정한다는 수법을 취하였다. 이하, 구체적인 방법에 관해 설명한다.
전술한 바와 같이, 헐레이션이 발생하고 있는 경우, 휘도 분포가 고휘도측에서 돌출한다. 즉, 고휘도측에 있는 히스토그램의 봉우리와, 저휘도측에 있는 히스토그램의 봉우리를 분리하는 값으로 임계치를 설정하면, 올바르게 헐레이션의 발생을 판별할 수 있다.
도 5를 참조하면서 설명한다. 여기서, 휘도 분포 중에 임계치(t)를 설정하고, 임계치(t)보다도 휘도치가 낮은 클래스를 저휘도 클래스, 임계치(t)보다도 휘도치가 높은 클래스를 고휘도 클래스로 한다. 또한, 저휘도 클래스에서의 화소수, 휘도치의 평균, 휘도치의 분산을 각각 ω1, m1, σ1로 하고, 고휘도 클래스에서의 화소수, 휘도치의 평균, 휘도치의 분산을 각각 ω2, m2, σ2로 한다. 또한, 동공 영역에 포함되는 전 화소의 화소수, 휘도치의 평균, 휘도치의 분산을 각각 ωt, mt, σt로 한다.
이와 같이 변수를 정의하면, 각 클래스의 분산을 합계한 값(클래스 내 분산)은, 식 1로 표시할 수 있다. 또한, 각 클래스의 평균치의 분산(클래스 사이 분산)은, 식 2로 표시할 수 있다. 또한, 전 분산은, 상기 클래스 내 분산과 클래스 사이 분산의 합계치가 된다.
[수식 1]
Figure 112015007985021-pat00001
[수식 2]
Figure 112015007985021-pat00002
클래스 내 분산은, 작을수록 데이터가 모여져 있는 것을 의미하고, 클래스 사이 분산은, 작을수록 클래스의 중심 사이가 가까운 것을 의미한다. 즉, 이들의 비를 이용함으로써, 저휘도 클래스와 고휘도 클래스가 어느 정도 분리하고 있는지(분리도)를 표시할 수 있다. 분리도는, 식 3으로 표시할 수 있다.
[수식 3]
Figure 112015007985021-pat00003
또한, 전 분산은 임계치(t)에 관계없이 일정하기 때문에, 클래스 사이 분산이 최대가 되는 임계치(t)를 구하면, 분리도가 가장 높아지는 임계치(t)를 구할 수 있다. 또한, 클래스 사이 분산의 분모도 임계치(t)에 관계없이 일정하기 때문에, ω1ω2(m1-m2)2가 최대가 되는 임계치(t)를 구하면, 당해 t의 값이, 저휘도 클래스와 고휘도 클래스를 가장 잘 분리하는 값이 된다. 이와 같은 방법을 판별분석법(判別分析法)이라고 부른다.
본 실시 형태에 관한 화상 처리 장치는, 이와 같이 하여 구한 임계치(t)를 이용하여, 종래의 수법과 같이, 동공 영역에 포함되는 화소 중, 고휘도 클래스에 대응하는 화소의 비율을 산출하고, 헐레이션의 판정을 행한다. 이와 같이, 임계치(t)를 동적으로 설정함으로써, 동공 영역에서 헐레이션이 발생하고 있는지의 여부를 정확하게 판정할 수 있다.
(분리도가 낮은 경우의 처리)
이상에 설명한 처리는, 휘도 분포가, 저휘도 클래스와 고휘도 클래스로 충분히 분리하고 있는 경우에 유효한 처리이다. 한편, 저휘도 클래스와 고휘도 클래스가 충분히 분리하지 않은 경우, 올바르게 헐레이션의 보정을 행할 수 없는 케이스가 존재한다.
당해 케이스에서의 처리 방법을 설명한다.
도 6은, 휘도가 낮은 방향으로 분포가 치우쳐진 경우의 예이다. 이 경우, 스트로보의 반사를 나타내는 클래스는 부호 601로 표시된다. 이 레벨의 반사는 통상의 하이라이트이고, 헐레이션이 아니다. 그러나, 전술한 방법에서는, 임계치(t)가, 부호 602로 표시한 위치 등, 바람직하지 않는 위치에 설정되어 버리는 일이 있고, 이 결과, 동공 영역에서 헐레이션이 발생하고 있다는 잘못된 판정이 이루어져 버리는 일이 있다.
도 7은, 휘도가 높은 방향으로 분포가 치우쳐진 경우의 예이다. 동공 영역의 전체가 헐레이션을 일으키고 있는 경우, 이와 같이, 고휘도 방향으로 치우친 휘도 분포가 된다. 그러나, 전술한 방법에서는, 임계치(t)가, 부호 701로 표시한 위치 등, 바람직하지 않는 위치에 설정되어 버리는 일이 있고, 이 결과, 동공 영역에서 헐레이션은 발생하고 있지 않다는 잘못된 판정이 이루어져 버리는 일이 있다.
이와 같이, 클래스의 분리도가 낮은 값인 경우, 헐레이션의 발생 상태를 올바르게 판정할 수가 없는 경우가 있다.
그래서, 본 실시 형태에 관한 화상 처리 장치는, 임계치(t)를 이용한 헐레이션의 판정에 예외를 마련하고, 당해 판정 결과에 관계없이, 헐레이션의 보정을 행하지 않는 패턴과, 헐레이션의 보정을 행하는 패턴을 정의한다.
구체적으로는, 동공 영역 내의 휘도 분포의 분리도가 소정의 값보다도 낮고, 또한, 휘도치의 평균치가 소정의 값보다도 낮은 경우, 「(판정 결과에 관계없이) 헐레이션의 보정을 행하지 않는」 것으로 한다. 클래스의 분리도가 충분히 낮고, 또한, 휘도치의 평균이 충분히 낮은 경우, 원래 헐레이션이 발생하지 않는 것을 추정할 수 있기 때문이다.
또한, 동공 영역 내의 휘도 분포의 분리도가 소정의 값보다도 낮고, 또한, 휘도치의 평균치가 소정의 값보다도 높은 경우, 「(판정 결과에 관계없이) 헐레이션의 보정을 행하는」 것으로 한다. 클래스의 분리도가 충분히 낮고, 또한, 휘도치의 평균이 충분히 높은 경우, 동공 영역의 대부분에서 헐레이션이 발생하고 있는 것을 추정할 수 있기 때문이다.
(처리 플로 차트)
다음에, 이상에 설명한 기능을 실현하기 위하는 처리 플로 차트에 관해 설명한다.
도 8은, 본 실시 형태에 관한 화상 처리 장치(10)의 처리 플로 차트이다. 당해 처리는, 유저의 조작(예를 들면, 기억된 화상을 판독하는 조작)에 의해 시작된다. 또한, 본 실시 형태에서는, 헐레이션의 보정 처리와 동시에, 적목 및 금목을 보정하는 처리를 동시에 행한다. 적목 및 금목을 보정하는 처리에 관해서는, 수시로 설명한다.
우선, 스탭 S11에서, 화상 취득부(11)가 화상을 취득한다. 본 실시 형태에서는, 미리 기억되어 있는 화상을 기억 장치로부터 취득하지만, 통신 수단이나 촬상 수단을 이용하여 화상을 취득하여도 좋다.
다음에, 스탭 S12에서, 동공 검출부(12)가, 취득한 화상으로부터 얼굴 및 동공에 대응하는 영역을 추출한다. 도 9는, 스탭 S12에서 행하는 처리의 내용을 상세히 도시한 플로 차트이다. 스탭 S121 내지 S124는, 동공 검출부(12)에 의해 실행된다.
우선, 스탭 S121에서, 화상에 포함되는 얼굴에 대응하는 사각형 영역(얼굴 영역)을 추출한다. 화상으로부터 얼굴 영역을 추출하는 방법은 공지의 것이기 때문에, 상세한 설명은 생략한다.
다음에, 스탭 S122에서, 얼굴 영역에 포함되는 눈을 검출한다. 구체적으로는, 얼굴 영역에 대응하는 RGB 화상을 단일색의 화상으로 변환하고, 눈꼬리, 눈시울, 눈의 중심에 대응하는 특징점을 추출한다. 본 스탭에 의해, 동공을 탐색하기 위한 영역이 특정된다. 또한, 특징점의 추출에 실패한 경우, 필터링을 행한 후, 매칭 처리에 의해 눈을 검출하도록 하여도 좋다.
다음에, 스탭 S123에서, 화상의 정규화를 행한다. 구체적으로는, 얼굴 영역을 클리핑하여, 눈을 포함하는 소정의 사이즈의 사각형 화상을 생성한다. 이 때, 임의의 보간 수법을 이용하여 해상도의 변환을 행하여도 좋다. 또한, 얼굴 영역이 수평이 아닌 경우, 화상을 회전하는 처리를 행하여도 좋다. 또한, 스탭 S123 내지 S124의 처리는 한쪽눈씩 행한다.
다음에, 스탭 S124에서, 검출한 눈 중에 위치하는 동공의 중심점을 탐색한다. 동공의 중심점을 탐색하는 방법은 공지의 것이기 때문에, 상세한 설명은 생략한다. 예를 들면, 3중 필터에 의해 후보점을 추출하고 나서, 가장 스코어가 높은 후보점을 동공의 중심점으로서 결정하여도 좋다.
동공의 중심점이 결정되면, 당해 점을 중심으로 하는 소정의 크기의 원형 영역을 생성하고, 동공 영역으로 한다. 소정의 크기란, 고정된 크기라도 좋고, 인물마다 다른 크기라도 좋다. 또한, 영역의 형태는 정원(正圓)이라도 좋고, 타원이라도 좋다. 또한, 다른 형상이라도 좋다.
다음에, 스탭 S13에서, 동공 상태 판정부(13)가, 동공 영역의 상태를 판정한다. 동공에 발생한 색조 불량 및 휘도 불량에는, 「적목」「금목」「힐레이션」의 3종류가 존재하기 때문에, 본 스탭에서는, 동공의 상태가 어느 것에 들어맞는지를 판정한다. 도 10은, 스탭 S13에서 행하는 처리의 내용을 상세히 도시한 플로 차트이다. 스탭 S131 내지 S123은, 동공 상태 판정부(13)에 의해 실행된다. 또한, 스탭 S13의 처리는 한쪽눈씩 행한다.
우선, 스탭 S131에서, 동공 영역에 색조 불량이 보여지는지, 즉, 적목 또는 금목이 발생하고 있는지를 체크한다. 도 11은, 스탭 S131에서 행하는 처리의 내용을 상세히 도시한 플로 차트이다.
스탭 S1311에서는, 화상의 색공간을, RGB 색공간으로부터 Lab 색공간으로 변환한다.
다음에, 스탭 S1312에서, 동공 영역에 포함되는 각 화소에 관해, 이하의 어느 하나에 해당하는지를 각각 판정한다.
·θ가 350도 내지 55도의 범위에 있고, 또한, d가 0.2 이상(반경이 1의 경우)
·θ가 315도 내지 350도의 범위에 있고, 또한, d가 0.7 이상(반경이 1의 경우)또한, θ 및 d는, CIE Lab표색계에서의 색의 파라미터이다. 즉, 화소의 색이 적색인지의 여부를 판정한다.
다음에, 스탭 S1313에서, 상기 조건을 충족시키는 화소의 수가, 동공 영역에 존재하는 화소수에 대해 소정의 비율(예를 들면 10% 이상) 이상 존재하는지의 여부를 판정하고, 존재하는 경우는, 당해 동공 영역에서 적목이 발생하고 있다고 판정한다(S1314). 또한, 존재하지 않는 경우는, 당해 동공 영역에서 적목은 발생하고 있지 않다고 판정한다(S1315).
값의 판정도, 적목의 판정과 동일한 방법으로 행할 수 있다. 금목의 판정을 행하는 경우, 색 조건을, 금색(황색)에 대응하는 것으로 대치하면 좋다. 예를 들면, 이하와 같은 조건을 이용할 수 있다.
·θ가 65도 내지 115도의 범위에 있고, 또한, d가 0.2 이상(반경이 1의 경우)
또한, 본 예에서는, 화상의 색공간을 Lab로 변환하고 나서 색상의 판정을 행하였지만, 다른 방법을 이용하여 색상의 판정을 행하여도 좋다.
스탭 S132는, 동공 영역에 헐레이션이 발생하고 있는지를 체크하는 처리이다. 도 12는, 스탭 S132에서 행하는 처리의 내용을 상세히 도시한 플로 차트이다. 스탭 S1321 내지 S1326은, 동공 상태 판정부(13)에 의해 실행된다.
우선, 스탭 S1321에서, 화상의 색공간을, RGB 색공간으로부터 그레이 스케일으로 변환한다.
다음에, 스탭 S1322에서, 동공 영역에 포함되는 화소의 휘도치를 고휘도 클래스와 저휘도 클래스로 분리하기 위한 임계치(t)를 판별분석법에 의해 산출하고, 그 때의 분리도를 구한다. 이 결과, 얻어진 분리도가 소정의 임계치보다 높은 경우, 헐레이션의 판정을 행하기 위해, 처리를 스탭 S1323로 천이시킨다.
스탭 S1323에서는, 스탭 S1322에서 구한 임계치(t)를 이용하여, 헐레이션의 판정을 행한다. 즉, 임계치(t)를 초과하는 휘도를 갖는 화소의 수의, 전체에 대한 비율을 산출하고, 얻어진 비율이 소정의 비율보다 큰 경우, 헐레이션 있음으로 판정하고(스탭 S1325), 소정의 비율보다 작은 경우, 헐레이션 없음으로 판정한다(스탭 S1326).
스탭 S1322에서 얻어진 분리도가 소정의 임계치보다 낮은, 즉, 휘도 분포가 고휘도 클래스와 저휘도 클래스로 충분히 분리하지 않은 경우, 헐레이션이 발생하지 않든지, 동공 영역의 대부분에서 헐레이션이 발생하고 있든지 어느 하나이기 때문에, 판별을 행하기 위해, 처리를 스탭 S1324로 천이시킨다.
스탭 S1324에서는, 동공 영역 내의 화소의 휘도치의 평균을 취득하고, 평균치가 임계치보다도 높은지 낮은지를 판정한다. 이 결과, 평균치가 임계치보다도 높은 경우, 동공 영역의 대부분에서 헐레이션이 발생하고 있다고 추정할 수 있기 때문에, 헐레이션 있다라고 판정한다(스탭 S1325). 또한, 평균치가 임계치보다도 낮은 경우, 헐레이션은 발생하고 있지 않다고 판정한다(스탭 S1326).
도 10으로 되돌아와 설명을 계속한다. 적목 및 금목의 체크, 및, 헐레이션의 체크를 행한 결과, 적어도 어느 하나에 해당한다고 판단된 경우, 처리를 스탭 S14로 천이시킨다(스탭 S133). 어느쪽에도 해당하지 않는다고 판단된 경우는, 처리를 종료시킨다.
도 8로 되돌아와 설명을 계속한다. 스탭 S14에서는, 보정부(14)가, 동공 영역에 대해 보정을 행한다. 도 13은, 스탭 S14에서 행하는 처리의 내용을 상세히 도시한 플로 차트이다. 스탭 S141 내지 S146은, 보정부(14)에 의해 실행된다. 또한, 스탭 S14의 처리는 한쪽눈씩 행한다.
우선, 스탭 S141에서, 화상의 정규화를 행한다. 구체적으로는, 얼굴 영역을 클리핑 하여, 동공의 중심 좌표를 중심으로 한, 소정의 사이즈의 사각형 화상을 생성한다. 이 때, 임의의 보간 수법을 이용하여 해상도의 변환을 행하여도 좋다. 또한, 얼굴 영역이 수평이 아닌 경우, 화상을 회전하는 처리를 행하여도 좋다. 다음에,
스탭 S142에서, 보정 영역을 생성한다. 보정 영역이란, 보정을 행하는 대상의 영역이다. 여기서 생성된 보정 영역은, 동공의 중심 좌표를 중심으로 하는, 소정의 크기를 갖는 타원 영역이다. 보정 영역은, 동공 영역과 동일한 영역이라도 좋다.
스탭 S142에서 생성한 보정 영역은, 피부를 포함하고 있을 가능성이 있기 때문에, 스탭 S143에서, 피부에 대응하는 영역을 제거하고, 영역을 정형한다. 구체적으로는, Lab 색공간을 이용하여 살색 영역을 검출하고, 대응하는 영역을 삭제한다. 이 때, 색정보 이외에, 형상이나 배치에 관한 정보를 이용하여, 피부에 대응하는 영역을 삭제하여도 좋고, 노이즈를 제거하는 처리를 추가하여도 좋다. 또한, 다른 기준을 이용하여 복수의 처리를 행하고, 처리 결과를 결합하도록 하여도 좋다. 본 스탭을 실행함으로써, 눈의 내측에 대응하는 영역만이 추출된 상태가 된다.
스탭 S144에서는, 보정 대상에 따라 처리를 분기시킨다. 스탭 S13로 판정을 행한 결과는, (1) 적목 또는 금목, (2) 헐레이션, (3) 양쪽의 3패턴이 생각된다. 이 중, (1)에 관해서는, 색조의 보정만으로 대응할 수 있지만, (2)에 관해서는, 헐레이션에 의해 휘도 정보와 홍채 내의 모양 정보를 잃어버리고 있기 때문에, 정보의 보완(헐레이션 보정)을 행할 필요가 있다. 또한, (3)에 대해서도, 휘도 정보를 잃어버리고 있기 때문에, 헐레이션 보정을 우선하여 행할 필요가 있다.
따라서 판정 결과가 상기 (1)뿐이였던 경우, 적목 또는 금목의 보정을 행하고(스탭 S145), 판정 결과가 상기 (2) 또는 (3)이였던 경우, 헐레이션의 보정을 행한다(스탭 S146).
적목 또는 금목의 보정은, 색조를 변경하는 기지의 수법에 의해 행할 수 있다.
헐레이션을 보정하는 방법에 관해 설명한다.
헐레이션을 보정하는 방법의 하나로, 정상적인 상태의 동공의 화상을, 헐레이션이 발생한 영역에 페이스트한다는 방법이 있다. 예를 들면, 보정용의 동공 화상을 미리 기억시키고 두고, 당해 동공 화상을, 헐레이션이 발생한 영역에 붙여넣는다. 이 때, 확대 축소에 의해 사이즈를 적합시키는 처리를 행하여도 좋고, 클리핑 처리를 행하여도 좋다. 또한, 동공의 색을 적합시키기 위한 색조 보정이나, 명도를 적합시키기 위한 휘도 보정을 행하여도 좋다.
또한, 복수의 사이즈의 동공 화상으로부터, 사이즈가 적합하는 동공 화상을 선택하도록 하여도 좋다. 또한, 다른 동공색을 갖는 복수의 동공 화상으로부터, 동공색이 적합하는 동공 화상을 선택하도록 하여도 좋다.
또한, 보정용의 동공 화상은, 미리 다수의 인물의 얼굴 화상으로부터 추출한 동공(홍채) 영역 화상으로부터 생성한, 평균적인 동공의 화상인 것이 바람직하다.
또한, 한쪽의 눈에만 헐레이션이 발생하고 있는 경우, 헐레이션이 발생하지 않은 측의 눈으로부터 동공 화상을 취득하도록 하여도 좋다.
이와 같이, 헐레이션의 보정은, 정상적인 상태의 동공의 화상을, 헐레이션이 발생한 영역에 페이스트함으로써 행할 수 있다. 상기 (3)의 케이스에 관해서는, 화상의 페이스트를 행함으로써, 색조 이상이 발생한 영역도 동시에 보정할 수 있다. 또한, 헐레이션의 보정과, 색조 보정을 독립하여 행하도록 하여도 좋다.
이상에 설명한 실시 형태에서는, 동공 영역 내에서의 휘도치의 분포의 치우침에 의거하여, 헐레이션 발생의 유무를 판정하기 위한 임계치를 동적으로 설정한다. 이에 의해, 휘도 분포가 치우쳐진 경우라도, 헐레이션의 발생을 정확하게 판정할 수 있다. 또한, 휘도 분포의 분리도가 낮은 경우는, 임계치를 이용하지 않고서 헐레이션의 발생 유무를 추정한다. 이에 의해, 임계치에 의한 판정이 부적절한 케이스를 제외할 수가 있어서, 판정 정밀을 보다 향상시킬 수 있다.
(변형례)
상기한 실시 형태는 어디까지나 한 예이고, 본 발명은 그 요지를 일탈하지 않는 범위 내에서 적절히 변경하여 실시할 수 있다.
예를 들면, 실시 형태의 설명에서는, 기억 장치에 기억된 화상에 대해 처리를 행하는 화상 처리 장치를 예로 설명을 행하였지만, 화상은 반드시 기억 장치로부터 취득할 필요는 없고, 예를 들면, 장치의 외부로부터 유선 또는 무선 네트워크를 통하여 화상을 취득하여도 좋다.
또한, 내장된 카메라를 통하여 화상을 취득하도록 하여도 좋다. 본 발명은, 촬영한 화상에 대해 처리를 행하는 촬상 장치로서 실시할 수도 있다.
또한, 헐레이션 보정이나 색조 보정을 행할 때의, 보정의 정도나 방법을 별도 결정하도록 하여도 좋다. 예를 들면, 적목을 보정할 때의 색상의 변경량을, 스탭 S131의 실행 결과에 의거하여 결정하여도 좋다. 또한, 스탭 S131에서, 인물이 가지는 동공의 색을 검출하고, 당해 검출 결과에 의거하여, 헐레이션 보정을 행할 때에 사용하는 동공의 부분 화상을 선택하도록 하여도 좋다.
또한, 실시 형태의 설명에서는, 한쪽눈씩 처리를 행하는 예에 관해 기술하였지만, 두 눈을 대상으로서 처리를 행하여도 좋다. 또한, 한쪽눈에만 적목/금목이나 헐레이션이 발생하고 있는 경우, 반대측의 동공을 참조함으로써, 보정에 관한 정보(예를 들면 동공색이나 동공의 크기 등)를 취득하여도 좋다.
10 : 화상 처리 장치
11 : 화상 취득부
12 : 동공 검출부
13 : 동공 상태 판정부
14 : 보정부
15 : 입출력부

Claims (13)

  1. 얼굴 화상의 적어도 일부를 보정하는 화상 처리 장치로서,
    입력 화상을 취득하는 화상 취득 수단과,
    상기 입력 화상으로부터, 인간의 눈에 대응하는 영역인 동공 영역을 추출하는 영역 추출 수단과,
    상기 동공 영역에서, 휘도치가 소정의 임계치보다도 높은 화소를 추출하는 화소 추출 수단과,
    상기 화소 추출 수단이 행한 추출 결과에 의거하여, 상기 동공 영역 내에서의 헐레이션의 발생 유무를 판정하는 판정 수단과,
    상기 판정 수단이 행한 판정 결과에 의거하여, 상기 동공 영역에 대해, 헐레이션을 보정하는 처리를 행하는 보정 수단을 가지며,
    상기 소정의 임계치는, 상기 동공 영역에 포함되는 화소의 휘도 분포를 저휘도 클래스와 고휘도 클래스로 분리하는 값이며,
    상기 화소 추출 수단은, 상기 동공 영역에 포함되는 화소의 휘도 분포에서의, 클래스 내 분산과 클래스 사이 분산의 비인 분리도를 산출하고, 상기 분리도가 최대가 되는 값으로, 상기 소정의 임계치를 설정하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 판정 수단은, 상기 화소 추출 수단에 의해 추출된 화소가, 상기 동공 영역 내에 소정의 비율 이상 존재하는 경우에, 상기 동공 영역 내에서 헐레이션이 발생하고 있다고 판정하는 것을 특징으로 하는 화상 처리 장치.
  3. 삭제
  4. 삭제
  5. 제1항 또는 제2항에 있어서,
    상기 보정 수단은, 상기 분리도가 소정의 값 이하이고, 또한, 상기 동공 영역에 포함되는 화소의 휘도치의 평균이 소정의 값 이상인 경우에, 상기 판정 수단이 행한 판정 결과에 관계없이, 헐레이션의 보정 처리를 행하는 것을 특징으로 하는 화상 처리 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 보정 수단은, 상기 분리도가 소정의 값 이하이고, 또한, 상기 동공 영역에 포함되는 화소의 휘도치의 평균이 소정의 값 이하인 경우에, 상기 판정 수단이 행한 판정 결과에 관계없이, 헐레이션의 보정 처리를 행하지 않는 것을 특징으로 하는 화상 처리 장치.
  7. 제1항에 있어서,
    상기 보정 수단은, 동공 영역에 대응하는 동공 화상을 기억하고 있고, 동공 영역에 헐레이션이 발생한 경우에, 대응하는 동공 화상을 대상의 동공 영역에 붙임으로써 헐레이션의 보정을 행하는 것을 특징으로 하는 화상 처리 장치.
  8. 제7항에 있어서,
    상기 보정 수단은, 상기 동공 화상을, 대상의 동공 영역에 적합하는 형상으로 변형하고 나서 상기 동공 영역에 붙이는 것을 특징으로 하는 화상 처리 장치.
  9. 제7항에 있어서,
    상기 보정 수단은, 상기 동공 화상을, 대상의 동공 영역에 적합하는 색조로 보정하고 나서 상기 동공 영역에 붙이는 것을 특징으로 하는 화상 처리 장치.
  10. 제1항에 있어서,
    상기 보정 수단은, 제1의 동공 영역에 헐레이션이 발생하고 있고, 또한, 상기 제1의 동공 영역과 반대측의 눈에서의 동공 영역인 제2의 동공 영역에 헐레이션이 발생하지 않는 경우에, 상기 제2의 동공 영역에서 취득한 동공 화상을, 상기 제1의 동공 영역에 붙임으로써 헐레이션의 보정을 행하는 것을 특징으로 하는 화상 처리 장치.
  11. 삭제
  12. 얼굴 화상의 적어도 일부를 보정하는 화상 처리 장치가 행하는 화상 처리 방법으로서,
    입력 화상을 취득하는 화상 취득 스탭과,
    상기 입력 화상으로부터, 인간의 눈에 대응하는 영역인 동공 영역을 추출하는 영역 추출 스탭과,
    상기 동공 영역에서, 휘도치가 소정의 임계치보다도 높은 화소를 추출하는 화소 추출 스탭과,
    상기 화소 추출 스탭에 행한 추출 결과에 의거하여, 상기 동공 영역 내에서의 헐레이션의 발생 유무를 판정하는 판정 스탭과,
    상기 판정 스탭에서 행한 판정 결과에 의거하여, 상기 동공 영역에 대해, 헐레이션을 보정하는 처리를 행하는 보정 스탭을 포함하고,
    상기 소정의 임계치는, 상기 동공 영역에 포함되는 화소의 휘도 분포를 저휘도 클래스와 고휘도 클래스로 분리하는 값이며,
    상기 화소 추출 스탭에서는, 상기 동공 영역에 포함되는 화소의 휘도 분포에서의, 클래스 내 분산과 클래스 사이 분산의 비인 분리도를 산출하고, 상기 분리도가 최대가 되는 값으로, 상기 소정의 임계치를 설정하는 것을 특징으로 하는 화상 처리 방법.
  13. 얼굴 화상의 적어도 일부를 보정하는 화상 처리 장치에,
    입력 화상을 취득하는 화상 취득 스탭과,
    상기 입력 화상으로부터, 인간의 눈에 대응하는 영역인 동공 영역을 추출하는 영역 추출 스탭과,
    상기 동공 영역에서, 휘도치가 소정의 임계치보다도 높은 화소를 추출하는 화소 추출 스탭과,
    상기 화소 추출 스탭에서 행한 추출 결과에 의거하여, 상기 동공 영역 내에서의 헐레이션의 발생 유무를 판정하는 판정 스탭과,
    상기 판정 스탭에서 행한 판정 결과에 의거하여, 상기 동공 영역에 대해, 헐레이션을 보정하는 처리를 행하는 보정 스탭을 실행시키고,
    상기 소정의 임계치는, 상기 동공 영역에 포함되는 화소의 휘도 분포를 저휘도 클래스와 고휘도 클래스로 분리하는 값이며,
    상기 화소 추출 스탭에서는, 상기 동공 영역에 포함되는 화소의 휘도 분포에서의, 클래스 내 분산과 클래스 사이 분산의 비인 분리도를 산출하고, 상기 분리도가 최대가 되는 값으로, 상기 소정의 임계치를 설정하는 것을 특징으로 하는 화상 처리 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020150012002A 2014-03-14 2015-01-26 화상 처리 장치 및 화상 처리 방법 KR101631012B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014051799A JP6299300B2 (ja) 2014-03-14 2014-03-14 画像処理装置および画像処理方法
JPJP-P-2014-051799 2014-03-14

Publications (2)

Publication Number Publication Date
KR20150107598A KR20150107598A (ko) 2015-09-23
KR101631012B1 true KR101631012B1 (ko) 2016-06-15

Family

ID=52434607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150012002A KR101631012B1 (ko) 2014-03-14 2015-01-26 화상 처리 장치 및 화상 처리 방법

Country Status (5)

Country Link
US (1) US9811888B2 (ko)
EP (1) EP2919152B1 (ko)
JP (1) JP6299300B2 (ko)
KR (1) KR101631012B1 (ko)
CN (1) CN104917935B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6327071B2 (ja) 2014-09-03 2018-05-23 オムロン株式会社 画像処理装置および画像処理方法
JP6500535B2 (ja) * 2015-03-23 2019-04-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP3403217A4 (en) 2016-01-12 2019-08-21 Princeton Identity, Inc. SYSTEMS AND METHODS FOR BIOMETRIC ANALYSIS
JP6904788B2 (ja) * 2017-05-25 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
CN109635839B (zh) * 2018-11-12 2020-07-14 国家电网有限公司 一种基于机器学习的非平衡数据集的处理方法和装置
CN112954261B (zh) * 2021-03-18 2021-09-10 深圳奇实科技有限公司 一种视频会议网络流量控制方法和系统
CN113409210B (zh) * 2021-06-17 2023-06-02 杭州海康威视数字技术股份有限公司 瞳孔亮斑消除方法
TWI786719B (zh) * 2021-07-13 2022-12-11 義隆電子股份有限公司 改善顯示器的光暈效應的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269545A (ja) * 2001-03-12 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像処理方法及び顔画像処理装置
WO2005057910A1 (ja) 2003-12-12 2005-06-23 Fujitsu Limited カラーバランス補正プログラム、カラーバランス補正装置およびカラーバランス補正方法
JP2006040230A (ja) * 2004-07-30 2006-02-09 Canon Inc 画像処理方法及びその装置、撮像装置、プログラム
JP2010103820A (ja) * 2008-10-24 2010-05-06 Seiko Epson Corp 画像処理装置および画像処理方法並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432863A (en) * 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
JP4050842B2 (ja) * 1998-06-15 2008-02-20 富士フイルム株式会社 画像処理方法
JP4537143B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
EP1774466A4 (en) * 2004-07-30 2009-10-21 Canon Kk PICTURE PROCESSING AND DEVICE, PICTURE DEVICE AND PROGRAM
JP2006166359A (ja) * 2004-12-10 2006-06-22 Canon Inc 赤目補正方法
JP2007235531A (ja) 2006-03-01 2007-09-13 Nikon Corp デジタルカメラ
JP4942189B2 (ja) * 2007-05-11 2012-05-30 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP4986797B2 (ja) * 2007-10-02 2012-07-25 キヤノン株式会社 画像処理装置及び画像処理方法
JP5819157B2 (ja) * 2011-10-18 2015-11-18 株式会社日立ソリューションズ 画像処理装置、画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269545A (ja) * 2001-03-12 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像処理方法及び顔画像処理装置
WO2005057910A1 (ja) 2003-12-12 2005-06-23 Fujitsu Limited カラーバランス補正プログラム、カラーバランス補正装置およびカラーバランス補正方法
JP2006040230A (ja) * 2004-07-30 2006-02-09 Canon Inc 画像処理方法及びその装置、撮像装置、プログラム
JP2010103820A (ja) * 2008-10-24 2010-05-06 Seiko Epson Corp 画像処理装置および画像処理方法並びにプログラム

Also Published As

Publication number Publication date
CN104917935B (zh) 2018-09-18
US20150262342A1 (en) 2015-09-17
JP2015176301A (ja) 2015-10-05
EP2919152B1 (en) 2021-06-23
JP6299300B2 (ja) 2018-03-28
EP2919152A2 (en) 2015-09-16
EP2919152A3 (en) 2015-12-23
CN104917935A (zh) 2015-09-16
KR20150107598A (ko) 2015-09-23
US9811888B2 (en) 2017-11-07

Similar Documents

Publication Publication Date Title
KR101631012B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP4627557B2 (ja) デジタル画像中のハイブリッドフラッシュアーチファクトを補正する方法および装置
US9542599B2 (en) Image processing device and image processing method
US8184900B2 (en) Automatic detection and correction of non-red eye flash defects
JP4505362B2 (ja) 赤目検出装置および方法並びにプログラム
WO2015070723A1 (zh) 眼部图像处理方法和装置
CA3153067C (en) Picture-detecting method and apparatus
US9147115B2 (en) Method and device for detecting an object in an image
CN112102926A (zh) 一种图像处理方法、装置、设备和存储介质
JP2005196385A (ja) 画像処理装置、画像処理方法およびデジタルカメラ
US20190370942A1 (en) Red-eye correction techniques
JP2010219870A (ja) 画像処理装置および画像処理方法
WO2010149220A1 (en) An apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 4