KR100727935B1 - 이미지 보정 방법 및 장치 - Google Patents

이미지 보정 방법 및 장치 Download PDF

Info

Publication number
KR100727935B1
KR100727935B1 KR1020050043769A KR20050043769A KR100727935B1 KR 100727935 B1 KR100727935 B1 KR 100727935B1 KR 1020050043769 A KR1020050043769 A KR 1020050043769A KR 20050043769 A KR20050043769 A KR 20050043769A KR 100727935 B1 KR100727935 B1 KR 100727935B1
Authority
KR
South Korea
Prior art keywords
eye
pupil
color
identified
pupils
Prior art date
Application number
KR1020050043769A
Other languages
English (en)
Other versions
KR20060121533A (ko
Inventor
테레코프 블라디슬라프
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050043769A priority Critical patent/KR100727935B1/ko
Priority to US11/439,197 priority patent/US20060269128A1/en
Publication of KR20060121533A publication Critical patent/KR20060121533A/ko
Application granted granted Critical
Publication of KR100727935B1 publication Critical patent/KR100727935B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

이미지 보정 방법 및 장치가 개시된다. 본 발명에 의한 이미지 보정 장치는, 이미지에서 색상이 변형된 눈의 영역을 식별하는 식별부, 식별된 눈의 영역에서 특성 정보를 추출하여 식별된 눈의 영역을 검증하는 검증부, 검증된 눈의 영역에서 동공의 확장 여부를 판단하는 판단부 및 동공의 확장 여부에 따라 검증된 눈의 영역에 대한 색상을 보정하는 색상 보정부를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 플래시에 의해 나타나는 적목 현상 및 각막으로부터 반사된 하이라이트 등과 같은 색상 변경이 나타난 눈의 영역을 정확하게 식별하고, 식별된 눈의 영역을 자연스러운 색상으로 보정하는 효과를 거둘 수 있다.

Description

이미지 보정 방법 및 장치{Method and apparatus for correcting image}
도 1은 종래의 이미지 보정 방법에서 눈의 색상 구분을 도시한 것이다.
도 2는 본 발명에 의한 이미지 보정 장치의 구성을 블록도로 도시한 것이다.
도 3은 본 발명에 의한 이미지 보정 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 4는 도 3에 도시된 제310단계에 대한 본 발명에 의한 바람직한 일 실시예를 흐름도로 도시한 것이다.
도 5는 도 3에 도시된 제320단계에 대한 본 발명에 의한 바람직한 일 실시예를 흐름도로 도시한 것이다.
도 6는 도 3에 도시된 제340단계에 대한 본 발명에 의한 바람직한 일 실시예를 흐름도로 도시한 것이다.
도 7 내지 도 13b는 본 발명에 의한 이미지 보정 장치 및 방법을 설명하기 위한 참고도를 도시한 것이다.
〈도면의 주요 부호에 대한 간단한 설명〉
200: 식별부 210: 검증부
220: 추출부 230: 상태 판단부
233: 간격 산출부 235: 동공정보 도출부
236: 상태 구분부 240: 식별 확인부
242: 입술중심 도출부 244: 생성부
246: 제1 식별 검증부 248: 제2 식별 검증부
250: 판단부 260: 색상 보정부
262: 홍채색상 독출부 264: 제1 보정부
266: 제2 보정부
본 발명은 이미지 보정에 관한 것으로, 보다 상세하게는 인물이 포함된 디지털 이미지에서 플래시로 인해 색상이 변경된 눈의 부분을 식별하여 검증한 후 눈의 색상을 보정하는 이미지 보정 방법 및 장치에 관한 것이다.
플래시로 인한 눈의 색상 변경은 적목 현상(red eye effect) 및 각막으로부터 반사된 하이라이트 등이 있다.
적목 현상은 어두운 곳에서 플래시를 이용해 인물사진을 찍을 때 찍힌 사람의 동공 부분이 붉게 나타나는 현상을 말한다. 사람의 동공은 밝은 곳에서는 축소되어 빛의 양을 줄이고, 어두운 곳에서는 확대되어 많은 양의 빛을 받아들임으로써 명암에 따라 망막에 이르는 빛의 양을 자동적으로 조절한다.
따라서 어두운 곳에서 플래시를 터뜨려 사람의 얼굴을 찍을 경우, 어두운 곳에 적응한 동공은 이미 확대되어 있는 상태이므로, 플래시의 빛이 망막에 닿으면 망막 뒤의 모세혈관에서 빛이 반사된다. 반사된 빛은 다시 눈 밖으로 나오게 되는데, 이 때 찍힌 사람의 눈동자는 원래의 검은색이 아니라 빨간색으로 나타난다. 이는 동공에 있는 모세혈관이 찍히기 때문이다.
밝은 곳이 아니라, 눈동자가 확대되어 있는 어두운 곳에서 플래시를 사용해 사람의 얼굴을 촬영할 때 일어나는 현상이다. 플래시와 카메라 렌즈의 사이가 가까울수록, 카메라와 찍히는 사람 사이의 거리가 멀수록 잘 생긴다.
각막으로부터 반사된 하이라이트는 플래시의 빛이 각막으로부터 반사되어 동공과 홍채 부분의 색상이 변경되는 현상을 말한다.
종래의 이미지 보정 방법 및 장치를 살펴보면 다음과 같다.
미국특허등록번호 US5,432,863에 개시된 Automated detection and correction of color defects due to flash illumination"은 도 1에 도시된 바와 같이 YCC 색상 시스템으로 본체 픽셀(body pixel), 경계 픽셀(border pixel) 및 섬광 픽셀(glint pixel)로 구분한다. 본체 픽셀은 Ynew=Yold*0.35, C1new=0, C2new=0에 의하여 채도를 감소시킨다. 경계 픽셀은 Ynew=Yold*0.15, C1new=C1old, C2new=C2old에 의하여 채도를 감소시킨다. 섬광 픽셀은 Ynew=Yold, C1new=0, C2new=0에 의하여 채도를 감소시킨다.
미국특허등록번호 US6,016,354에 개시된 Apparatus and a method for reducing the red-eye in a digital image"는 YCbBr 색상 시스템으로 적색 픽셀을 Ynew=Yold*0.8, Cbnew=0, Crnew=0에 의하여 채도를 감소시킨다. 눈의 모양은 Cr 색상 채널의 임계치를 이용하여 보정한다.
미국특허출원 2004-0046878에 개시된 Image processing to remove red-eyed features"는 HLS 색상 시스템으로 적색 픽셀에 대해 Snew=0, Lnew=0에 의하여 채도를 감소시킨다. 보정할 모양은 하이라이트 부분의 크기에 대한 정보를 이용하여 식별한다.
미국특허등록번호 US6,407,777에 개시된 Red-eye filter method and apparatus"는 눈의 영역을 나타내는 눈 주변의 특성에 대한 픽셀 정보를 분석한다. 또한 각막으로부터 반사된 하이라이트, 홍채 링 및 눈썹에 대한 분석도 포함한다. 분석된 결과에 의하여 적목 현상이 나타난 눈의 영역에 대한 정확한 식별인지 여부를 판단한다.
미국특허등록번호 US5,432,863에 개시된 발명은 보정된 동공 부분의 색상이 부자연스러운 문제점을 갖는다. 미국특허등록번호 US6,016,354에 개시된 발명은 눈의 윤곽을 정확하게 식별할 수 없는 가능성이 있는 문제점을 갖는다. 미국특허출원번호 2004-0046878에 개시된 발명은 보정하려는 부분 이외의 적색 부분에 의하여 이미지에서 잘못된 눈의 모양을 식별할 수 있는 문제점을 갖는다. 미국특허등록번호 US6,407,777에 개시된 발명은 동공이 확장된 눈은 일반적으로 홍채 링이 얇게 되어 식별이 어렵고, 눈썹의 색상과 위치가 정확한 식별과 분석을 어렵게 하며, 각막으로부터 반사된 하이라이트 부분을 흰 색으로 정하지만 각막으로부터 반사된 하이라이트 부분은 3차원의 복합적인 영역이라는 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는, 인물이 포함된 디지털 이미지에서 플래시로 인해 색상이 변경된 눈의 부분을 식별하여 검증한 후 눈의 색상을 보정하는 이미지 보정 방법 및 장치에 관한 것이다.
상기의 과제를 이루기 위한 본 발명에 의한 이미지 보정 장치는, 이미지에서 색상이 변형된 눈의 영역을 식별하는 식별부, 상기 식별된 눈의 영역에서 특성 정보를 추출하여 상기 식별된 눈의 영역을 검증하는 검증부, 상기 검증된 눈의 영역에서 동공의 확장 여부를 판단하는 판단부 및 상기 동공의 확장 여부에 따라 상기 검증된 눈의 영역에 대한 색상을 보정하는 색상 보정부를 포함하는 것을 특징으로 한다.
상기 식별부에서 상기 식별된 눈의 영역은 적목 현상이 나타난 동공 부분, 공막 부분, 각막으로부터 반사된 하이라이트 부분, 눈의 윤곽 부분 및 홍채 부분에 대한 픽셀의 정보를 포함하는 것이 바람직하다.
상기 검증부는 상기 식별된 눈의 영역에서 상기 특성 정보를 추출하는 추출부 및 상기 추출된 특성 정보에 의하여 상기 식별된 눈의 영역을 검증하는 식별 확인부를 포함하는 것이 바람직하다.
상기 추출부는 상기 식별된 눈의 영역에서 눈의 상태를 판단하는 상태 판단부 및 상기 판단된 눈의 상태에 따라 제1 및 제2 동공의 지름 또는 제1 및 제2 동공의 중심을 도출하는 동공정보 도출부를 포함하는 것이 바람직하다.
상기 상태 판단부는 상기 픽셀의 정보로부터 눈의 수직 길이 및 눈의 수평 길이를 산출하는 간격 산출부 및 상기 눈의 수직 길이와 상기 눈의 수평 길이를 비 교하여 상기 식별된 눈의 영역을 눈을 완전히 뜬 상태 또는 눈을 부분적으로 뜬 상태로 구분하는 상태 구분부를 포함하는 것이 바람직하다.
상기 동공정보 도출부는 상기 식별된 눈의 영역이 상기 눈을 완전히 뜬 상태로 판단되면, 상기 공막 부분 및 상기 동공 부분에 대한 픽셀 정보에 의하여 상기 제1 및 제2 동공의 지름 또는 상기 제1 및 제2 동공의 중심을 도출하는 것이 바람직하다.
상기 동공정보 도출부는 상기 식별된 눈의 영역이 상기 눈을 부분적으로 뜬 상태로 판단되면, 상기 눈의 윤곽 부분 및 상기 동공 부분에 대한 픽셀 정보에 의하여 상기 제1 및 제2 동공의 지름 또는 상기 제1 및 제2 동공의 중심을 도출하는 것이 바람직하다.
상기 식별 확인부는 상기 이미지에서 입술의 영역을 식별하여 입술의 중심을 도출하는 입술중심 도출부, 상기 입술의 중심, 상기 제1 및 제2 동공의 중심을 연결하여 삼각형을 생성하는 생성부 및 상기 생성된 삼각형의 각 변에 대한 길이를 비교하여 상기 식별된 눈의 영역을 검증하는 제1 식별 검증부이 바람직하다.
상기 식별 확인부는 상기 생성된 삼각형에 의하여 머리 부분의 방향 또는 상기 식별된 눈의 부분이 좌안인지 우안인지를 판별하는 것이 바람직하다.
상기 식별 확인부는 상기 눈의 윤곽 부분에서 제1 및 제2 눈초리를 식별하여 상기 제1 및 제2 눈초리와 상기 제1 및 제2 동공의 중심 간의 길이를 비교하여 상기 식별된 눈의 영역을 검증하는 제2 식별 검증부를 포함하는 것이 바람직하다.
상기 판단부는 상기 눈의 수평 거리와 상기 제1 및 제2 동공의 지름을 비교 하여 동공이 확장되었는지 여부를 판단하는 것이 바람직하다.
상기 색상 보정부는 상기 동공이 확장되지 않았다고 판단되면 상기 홍채 부분의 색상 정보를 독출하는 홍채색상 독출부 및 상기 독출된 색상 정보에 의하여 상기 동공 부분과 연결된 상기 홍채 부분의 경계에 위치한 색상을 보정하는 제1 보정부를 더 포함하는 것이 바람직하다.
상기 제1 보정부는 상기 홍채 부분의 색상은 다음의 수학식들을 이용하여 보정하는 것이 바람직하다.
Figure 112005027288118-pat00001
( 여기서,
Figure 112005027288118-pat00002
는 R의 보정된 색상 값이고
Figure 112005027288118-pat00003
은 홍채에서 R의 평균 값이며,
Figure 112005027288118-pat00004
은 난수이다.)
Figure 112005027288118-pat00005
( 여기서
Figure 112005027288118-pat00006
는 G의 보정된 색상 값이고,
Figure 112005027288118-pat00007
은 홍채에서 G의 평균 값이며,
Figure 112005027288118-pat00008
은 난수이다.)
Figure 112005027288118-pat00009
( 여기서,
Figure 112005027288118-pat00010
는 B의 보정된 색상 값이고,
Figure 112005027288118-pat00011
은 홍채에서 B의 평균 값이며,
Figure 112005027288118-pat00012
은 난수이다.)
상기 보정부는 상기 각막으로부터 반사된 하이라이트 부분 또는 상기 동공 부분의 색상은 다음의 수학식들을 이용하여 보정하는 제2 보정부를 더 포함하는 것이 바람직하다.
Figure 112005027288118-pat00013
( 여기서,
Figure 112005027288118-pat00014
은 R의 보정된 색상 값이고,
Figure 112005027288118-pat00015
는 G의 보정된 색상 값이며,
Figure 112005027288118-pat00016
는 B의 보정된 색상 값이고,
Figure 112005027288118-pat00017
은 R의 현재 색상 값이며,
Figure 112005027288118-pat00018
은 G의 현재 색상 값이고,
Figure 112005027288118-pat00019
은 B의 현재 색상 값이다.)
상기의 과제를 이루기 위한 본 발명에 의한 이미지 보정 방법은, (a) 이미지에서 색상이 변형된 눈의 영역을 식별하는 단계, (b) 상기 식별된 눈의 영역에서 특성 정보를 추출하여 상기 식별된 눈의 영역을 검증하는 단계, (c) 상기 검증된 눈의 영역에서 동공의 확장 여부를 판단하는 단계 및 (d) 상기 동공의 확장 여부에 따라 상기 검증된 눈의 영역에 대한 색상을 보정하는 단계를 포함하는 것을 특징으로 한다.
상기 (a)단계에서 상기 식별된 눈의 영역은 적목 현상이 나타난 동공 부분, 공막 부분, 각막으로부터 반사된 하이라이트 부분, 눈의 윤곽 부분 및 홍채 부분에 대한 픽셀의 정보를 포함하는 것이 바람직하다.
상기 (b) 단계는 (b1) 상기 식별된 눈의 영역에서 상기 특성 정보를 추출하는 단계 및 (b2) 상기 추출된 특성 정보에 의하여 상기 식별된 눈의 영역을 검증하는 단계를 포함하는 것이 바람직하다.
상기 (b1) 단계는 (b1-1) 상기 식별된 눈의 영역에서 눈의 상태를 판단하는 단계 및 (b1-2) 상기 판단된 눈의 상태에 따라 제1 및 제2 동공의 지름 또는 제1 및 제2 동공의 중심을 도출하는 단계를 포함하는 것이 바람직하다.
상기 (b1-1) 단계는 상기 픽셀의 정보로부터 눈의 수직 길이 및 눈의 수평 길이를 산출하는 단계 및 상기 눈의 수직 길이와 상기 눈의 수평 길이를 비교하여 눈을 완전히 뜬 상태 또는 눈을 부분적으로 뜬 상태로 구분하는 단계를 포함하는 것이 바람직하다.
상기 (b1-2) 단계는 상기 눈을 완전히 뜬 상태로 판단되면, 상기 공막 부분 및 상기 동공 부분에 대한 픽셀 정보에 의하여 상기 제1 및 제2 동공의 지름 또는 상기 제1 및 제2 동공의 중심을 도출하는 것이 바람직하다.
상기 (b1-2) 단계는 상기 눈을 부분적으로 뜬 상태로 판단되면, 상기 눈의 윤곽 부분 및 상기 동공 부분에 대한 픽셀 정보에 의하여 상기 제1 및 제2 동공의 지름 또는 상기 제1 및 제2 동공의 중심을 도출하는 것을이 바람직하다.
상기 (b2) 단계는 상기 이미지에서 입술의 영역을 식별하여 입술의 중심을 도출하는 단계, 상기 입술의 중심, 제1 및 제2 동공의 중심을 연결하여 삼각형을 생성하는 단계 및 상기 생성된 삼각형의 각 변에 대한 길이를 비교하여 상기 식별된 눈의 영역을 검증하는 단계를 포함하는 것이 바람직하다.
상기 (b2) 단계는 상기 생성된 삼각형에 의하여 머리 부분의 방향 또는 상기 식별된 눈의 부분이 좌안인지 우안인지를 판별하는 것이 바람직하다.
상기 (b2) 단계는 상기 눈의 윤곽 부분에서 제1 및 제2 눈초리를 식별하여 상기 제1 및 제2 눈초리와 상기 제1 및 제2 동공의 중심 간의 길이를 비교하여 상기 식별된 눈의 영역을 검증하는 단계를 포함하는 것이 바람직하다.
상기 (c) 단계는 상기 눈의 수평 거리와 상기 제1 및 제2 동공의 지름을 비교하여 동공이 확장되었는지 여부를 판단하는 것이 바람직하다.
상기 (d) 단계는 (d1) 상기 동공이 확장되지 않았다면 홍채의 색상 정보를 독출하는 단계 및 (d2) 상기 독출된 색상 정보에 의하여 상기 동공과 연결된 홍채 부분의 색상을 보정하는 단계를 더 포함하는 것이 바람직하다.
상기 (d2) 단계는 상기 홍채 부분의 색상은 다음의 수학식들을 이용하여 보정하는 것이 바람직하다.
Figure 112005027288118-pat00020
( 여기서,
Figure 112005027288118-pat00021
는 R의 보정된 색상 값이고
Figure 112005027288118-pat00022
은 홍채에서 R의 평균 값이며,
Figure 112005027288118-pat00023
은 난수이다.)
Figure 112005027288118-pat00024
( 여기서
Figure 112005027288118-pat00025
는 G의 보정된 색상 값이고,
Figure 112005027288118-pat00026
은 홍채에서 G의 평균 값이며,
Figure 112005027288118-pat00027
은 난수이다.)
Figure 112005027288118-pat00028
( 여기서,
Figure 112005027288118-pat00029
는 B의 보정된 색상 값이고,
Figure 112005027288118-pat00030
은 홍채에서 B의 평균 값이며,
Figure 112005027288118-pat00031
은 난수이다.)
상기 (d) 단계는 상기 각막으로부터 반사된 하이라이트 또는 상기 동공 부분의 색상은 다음의 수학식들을 이용하여 보정하는 단계를 더 포함하는 것이 바람직하다.
Figure 112005027288118-pat00032
( 여기서,
Figure 112005027288118-pat00033
은 R의 보정된 색상 값이고,
Figure 112005027288118-pat00034
는 G의 보정된 색상 값이며,
Figure 112005027288118-pat00035
는 B의 보정된 색상 값이고,
Figure 112005027288118-pat00036
은 R의 현재 색상 값이며,
Figure 112005027288118-pat00037
은 G의 현재 색상 값이고,
Figure 112005027288118-pat00038
은 B의 현재 색상 값이다.)
상기 기술한 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것이 바람직하다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 이미지 보정 방법 및 장치에 대해 상세히 설명한다.
도 2는 본 발명에 의한 이미지 보정 장치의 구성을 블록도로 도시한 것으로서, 상기 이미지 보정 장치는 식별부(200), 검증부(210), 판단부(250) 및 색상 보정부(260)을 포함하여 이루어진다.
식별부(200)는 이미지에서 색상이 변형된 눈의 영역을 식별한다. 이미지에서 색상이 변형된 눈의 영역은 플래시에 의하여 적목 현상이 나타난 동공 부분, 각막으로부터 반사된 하이라이트 부분 등을 말한다. 식별부(200)에서 식별된 눈의 영역은 적목 현상이 나타난 동공 부분(800), 공막 부분(810), 각막으로부터 반사된 하이라이트 부분(820), 눈의 윤곽 부분(830) 및 홍채 부분(840)에 대한 픽셀의 정보를 포함한다. 예를 들어, 도 7의 이미지에서 식별부(200)는 710과 720에 대한 눈의 영역을 식별한다.
검증부(210)는 식별부(200)로부터 식별된 눈의 영역에서 특성 정보를 추출하여 식별된 눈의 영역을 검증한다. 상기 검증부(210)는 추출부(220) 및 식별 확인부(240)을 포함하여 이루어진다.
추출부(220)는 식별부(200)로부터 식별된 눈의 영역에서 특성 정보를 추출한다. 상기 추출부(220)는 상태 판단부(230) 및 동공정보 도출부(240)을 포함하여 이루어진다.
상태 판단부(230)는 식별부(200)로부터 식별된 눈의 영역에서 눈의 상태를 판단한다.
상기 상태 판단부(230)는 간격 산출부(233) 및 상태 구분부(236)을 포함하여 이루어진다.
간격 산출부(233)는 식별부(200)에서 식별된 눈의 영역에 대한 눈의 매개 변수를 산출한다. 상기 눈의 매개 변수는 눈의 윤곽 부분(920)에 대한 시야계, 눈의 수직 길이(900) 및 눈의 수평 길이(910)를 말한다.
상태 구분부(236)는 간격 산출부(233)에서 산출된 눈의 매개 변수에 의하여 눈을 완전히 뜬 상태 또는 눈을 부분적으로 뜬 상태로 구분한다. 상태 구분부(236)는 눈의 수직 길이(900)와 눈의 수평 길이(910)를 비교하여 임계치를 초과하면, 식별부(200)에서 식별된 눈의 영역을 눈을 부분적으로 뜬 상태로 구분한다. 반면에 상태 구분부(236)는 눈의 수직 길이(900)와 눈의 수평 길이(910)를 비교하여 임계치를 초과하지 않으면, 식별부(200)에서 식별된 눈의 영역을 눈을 완전히 뜬 상태로 구분한다. 또한, 상태 구분부(236)는 눈의 수평 길이(900)를 눈의 윤곽(920)에 대한 시야계로 대체하여 구분할 수도 있다. 상태 구분부(236)가 눈을 완전히 뜬 상태 또는 눈을 부분적으로 뜬 상태로 구분하는 이유는 눈을 부분적으로 뜬 상태는 공막 부분(830)이 거의 존재하지 않기 때문이다.
동공정보 도출부(225)는 상태 구분부(236)에서 눈을 완전히 뜬 상태로 구분되면, 공막 부분(810) 및 동공 부분(800)에 대한 픽셀의 정보에 의하여 제1 및 제2 동공의 지름(930) 또는 제1 및 제2 동공의 중심(940)을 도출한다. 반면에. 동공정 보 도출부(225)는 상태 구분부(236)에서 눈을 부분적으로 뜬 상태로 구분되면, 눈의 윤곽 부분(830) 및 동공 부분(800)에 대한 픽셀 정보에 의하여 제1 및 제2 동공의 지름(930) 또는 제1 및 제2 동공의 중심(940)을 도출한다. 동공정보 도출부(225)는 동공 부분(800), 공막 부분(810) 및 눈의 윤곽 부분(830)에 대한 픽셀 정보에 의해 동공 부분(800), 공막 부분(810) 및 눈의 윤곽 부분(830)에 대한 모양을 추론하여 제1 및 제2 동공의 지름(930) 또는 제1 및 제2 동공의 중심(940)을 도출한다.
식별 확인부(240)는 추출부(220)로부터 추출된 특성 정보에 의하여 식별부(200)에서 식별된 눈의 영역을 검증한다.
상기 식별 확인부(240)는 입술중심 도출부(242), 생성부(244), 제1 식별 검증부(246) 및 제2 식별 검증부(248)을 포함하여 이루어진다.
입술중심 도출부(242)는 이미지에서 입술의 영역(720 및 740)을 식별하여 입술의 중심(1000)을 도출한다.
생성부(244)는 입술중심 도출부(242)에서 도출된 입술의 중심(1000), 동공정보 도출부(225)에서 도출된 제1 동공의 중심(1100) 및 제2 동공의 중심(1020)을 연결하여 삼각형을 생성한다. 예를 들어, 생성부(244)는 도 7에서 710과 720, 730과 740을 각각 연결하여 삼각형을 생성한다. 도 10a는 일반적인 인물을 포함하는 디지털 이미지를 도시한 것이다. 도 10b는 각도를 다르게 한 인물을 포함하는 디지털 이미지를 도시한 것이다. 도 10b는 각도를 다르게 하여도 정면을 주시하는 일반적인 인물을 포함하는 디지털 이미지와 동일한 방식에 의하여 삼각형이 생성됨을 보 여준다. 상기 생성된 삼각형은 제1 동공의 중심(1010)과 제2 동공의 중심(1020)이 연결된 제1 변(1300), 입술의 중심(1000)과 제1 동공의 중심(1010)이 연결된 제2 변(1040) 및 입술의 중심(1000)과 제2 동공의 중심(1010)이 연결된 제3 변(1050)으로 이루어진다.
제1 식별 검증부(246)는 생성부(244)로부터 생성된 삼각형에서 제1 변(1030)과 제2 변(1040)을 비교하거나 제1 변(1030)과 제3 변(1050)을 비교하여 식별부(100)에서 식별된 눈의 영역을 검증한다. 제1 식별 검증부(246)는 제1 변(1030)과 제2 변(1040)의 비율 또는 제1 변(1030)과 제3 변(1050)의 비율이 임계치에 미달하면, 식별부(100)에서 식별된 눈의 영역은 잘못 식별된 것으로 판단한다.
식별 확인부(240)는 생성부(244)에서 생성된 삼각형에 의하여 머리 부분의 방향과 위치, 눈의 영역에서 눈알의 위치와 주시하는 방향 및 좌안인지 우안인지 여부를 예상할 수 있다. 도 11는 눈알의 위치와 주시하는 방향을 도시한 것이다. 예를 들어, 식별 확인부(240)는 머리 부분의 방향을 삼각형 외측으로 제1변의 직각 방향으로 예상한다.
제2 식별 검증부(248)는 제1 식별 검증부(246)에서 식별하는 눈의 영역 검증에 대한 예외적인 경우를 검증한다. 제2 식별 검증부(248)는 눈의 윤곽 부분(910)에서 제1 눈초리(1200) 및 제2 눈초리(1210)를 식별한다. 제1 눈초리(1200) 및 제2 눈초리(1210)를 식별한 후, 제2 식별 검증부(248)는 제1 눈초리(1200)와 제1 동공의 중심(1010)간 길이 및 제2 눈초리(1210)와 제2 동공의 중심(1020) 간의 길이를 비교하여 식별부(200)에서 식별된 눈의 영역을 검증한다. 눈의 동공은 대칭적으로 움직이므로 눈초리의 위치와 동공의 위치 간의 관계는 쉽게 예상할 수 있다. 제2 식별 검증부(248)는 제1 동공의 중심(1100)과 제1 눈초리 부분(1200)간의 길이 및 제2 동공의 중심(1020)과 제2 눈초리 부분(1210)간의 길이가 임계치를 초과한다면 식별부(200)에서 식별된 눈의 영역은 잘못 식별된 것으로 판단한다.
판단부(250)는 제1 식별 검증부(246) 또는 제2 식별 검증부(248)에서 식별부(200)로부터 식별된 눈의 영역이 검증되었다면, 눈의 수평 거리(910)와 동공의 지름(930)을 비교하여 동공이 확장되었는지 여부를 판단한다.
도 13a는 동공이 확장되지 않은 상태를 도시한 것이다. 도 13b는 동공이 확장된 상태를 도시한 것이다. 판단부(250)은 눈의 수평 거리(910)와 동공의 지름(930) 간의 비율이 임계치를 초과한다면, 식별부(200)에서 식별된 눈의 영역을 도 13a에 도시된 바와 같이 동공이 확장되지 않은 상태로 판단한다. 반면에, 판단부(250)은 눈의 수평 거리(910)와 동공의 지름(930) 간의 비율이 임계치를 초과하지 않았다면, 식별부(200)에서 식별된 눈의 영역을 도 13b에 도시된 바와 같이 동공이 확장된 상태로 판단한다.
색상 보정부(260)는 판단부(250)에서 판단된 동공의 확장 여부에 따라 식별부(100)에서 검증된 눈의 영역에 대한 색상을 보정한다.
상기 색상 보정부(260)는 홍채색상 독출부(262), 제1 보정부(264) 및 제2 보정부(266)을 포함하여 이루어진다.
홍채색상 독출부(262)는 판단부(250)에서 식별부(200)로부터 식별된 눈의 영역에 대하여 동공이 확장되지 않은 상태로 판단되면, 홍채 부분(840)에 대한 픽셀 의 정보로부터 색상 정보를 독출한다.
제1 보정부(264)는 홍채색상 독출부(262)로부터 독출된 색상 정보에 의하여 동공과 연결된 홍채 부분의 경계 부분에 대한 색상을 다음의 수학식들을 이용하여 보정한다.
[수학식 1]
Figure 112005027288118-pat00039
( 여기서,
Figure 112005027288118-pat00040
는 R의 보정된 색상 값이고
Figure 112005027288118-pat00041
은 홍채에서 R의 평균 값이며,
Figure 112005027288118-pat00042
은 난수이다.)
[수학식 2]
Figure 112005027288118-pat00043
( 여기서
Figure 112005027288118-pat00044
는 G의 보정된 색상 값이고,
Figure 112005027288118-pat00045
은 홍채에서 G의 평균 값이며,
Figure 112005027288118-pat00046
은 난수이다.)
[수학식 3]
Figure 112005027288118-pat00047
( 여기서,
Figure 112005027288118-pat00048
는 B의 보정된 색상 값이고,
Figure 112005027288118-pat00049
은 홍채에서 B의 평균 값이며,
Figure 112005027288118-pat00050
은 난수이다.)
제2 보정부(266)는 각막으로부터 반사된 하이라이트(820) 또는 동공 부분(800)의 색상을 다음의 수학식들을 이용하여 보정한다.
[수학식 4]
Figure 112005027288118-pat00051
( 여기서,
Figure 112005027288118-pat00052
은 R의 보정된 색상 값이고,
Figure 112005027288118-pat00053
는 G의 보정된 색상 값이며,
Figure 112005027288118-pat00054
는 B의 보정된 색상 값이고,
Figure 112005027288118-pat00055
은 R의 현재 색상 값이며,
Figure 112005027288118-pat00056
은 G의 현재 색상 값이고,
Figure 112005027288118-pat00057
은 B의 현재 색상 값이다.)
도 3은 본 발명에 의한 이미지 보정 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 이미지에서 색상이 변형된 눈의 영역을 식별한다(제300단계). 제300단계에서 식별된 눈의 영역은 적목 현상이 나타난 동공 부분(800), 공막 부분(810), 각막으로부터 반사된 하이라이트 부분(820), 눈의 윤곽 부분(830) 및 홍채 부분(840)에 대한 픽셀의 정보를 포함한다. 예를 들어, 도 7의 이미지에서 식별부(200)는 710과 720에 대한 눈의 영역을 식별한다.
제300단계에서 식별된 눈의 영역에서 특성 정보를 추출한다(제310단계).
제310단계에서 추출된 특성 정보에 의하여 눈의 영역을 검증한다(제320단계).
제320단계에서 검증된 눈의 영역에 대하여 동공의 확장 여부를 판단한다(제330단계). 제330단계는 눈의 수평 거리(910)와 동공의 지름(930)을 비교하여 동공의 확장 여부를 판단한다. 제300단계에서 눈의 수평 거리(910)와 동공의 지름(930)의 비율이 임계치를 초과하면, 도 13a에 도시된 바와 같이 동공이 확장되지 않은 상태로 판단한다. 제300단계에서 눈의 수평 거리(910)와 동공의 지름(930)의 비율이 임계치를 초과하지 않으면, 도 13b에 도시된 바와 같이 동공이 확장된 상태로 판단한다.
제330단계에서 동공 부분의 확장 여부에 따라 제300단계에서 식별된 눈의 영역에 대한 색상을 보정한다(제340단계).
도 4은 본 발명에 의한 제310단계를 설명하는 이미지 보정 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 제300단계에서 식별된 눈의 영역에서의 픽셀 정보에 의하여 눈의 매개 변수를 산출한다(제400단계). 제400단계에서 산출하는 눈의 매개 변수는 눈의 윤곽(920)에 대한 시야계, 눈의 수직 길이(900) 및 눈의 수평 길이(910)를 말한다.
제400단계에서 산출된 눈의 매개 변수에 의하여 제300단계에서 식별된 눈의 영역에 대한 눈의 상태를 구분한다(제410단계). 제410단계에서 눈의 상태는 눈을 완전히 뜬 상태와 눈을 부분적으로 뜬 상태로 구분한다. 제410단계는 눈의 수직 길 이(900)와 눈의 수평 길이(910)를 비교하여 임계치를 초과하면, 제300단계에서 식별된 눈의 영역을 눈을 부분적으로 뜬 상태로 구분한다. 반면에, 제410단계는 눈의 수직 길이(900)와 눈의 수평 길이(910)를 비교하여 임계치를 초과하지 않으면, 제300단계에서 식별된 눈의 영역을 눈을 완전히 뜬 상태로 구분한다. 또한, 제410단계는 눈의 수평 길이(900)를 눈의 윤곽(920)에 대한 시야계로 대체하여 구분할 수도 있다. 제410단계에서 눈을 완전히 뜬 상태 또는 눈을 부분적으로 뜬 상태로 구분하는 이유는 눈을 부분적으로 뜬 상태는 공막 부분(830)이 거의 존재하지 않기 때문이다.
만일, 제410단계에서 눈을 완전히 뜬 상태로 구분된다면, 공막 부분(810)의 픽셀 정보 및 동공 부분(800)의 픽셀 정보를 독출한다(제430단계).
만일, 제410단계에서 눈을 부분적으로 뜬 상태로 구분된다면, 눈의 윤곽 부분(920)의 픽셀 정보 및 동공 부분(800)의 픽셀 정보를 독출한다(제440단계).
제430단계 또는 제440단계에서 독출된 픽셀 정보들에 의하여 동공의 지름(930) 및 동공의 중심(940)을 도출한다(제450단계).
도 5는 도 3에 도시된 제320단계에 대한 본 발명에 의한 바람직한 일 실시예를 흐름도로 도시한 것이다.
먼저, 이미지에서 입술의 영역(720 및 740)을 식별하여 입술의 중심(1000)을 도출한다(제500단계).
제450단계에서 도출된 동공의 중심들(940)과 입술의 중심(1000)을 연결하여 삼각형을 생성한다(제510단계). 예를 들어, 제510단계는 도 7에서 710과 720, 730 과 740을 각각 연결하여 삼각형을 생성한다. 제450단계에서 도출된 동공의 중심들(940)은 제1 동공의 중심(1010) 및 제2 동공의 중심(1020)으로 구성된다. 제510단계에서 생성된 삼각형은 제1 동공의 중심(1010)과 제2 동공의 중심(1020)이 연결된 제1 변(1300), 입술의 중심(1000)과 제1 동공의 중심(1010)이 연결된 제2 변(1040) 및 입술의 중심(1000)과 제2 동공의 중심(1010)이 연결된 제3 변(1050)으로 이루어져 있다.
제510단계에서 생성된 삼각형에 의하여 머리 부분의 방향과 위치, 눈의 영역에서 눈알의 위치와 주시하는 방향 및 좌안인지 우안인지 여부를 예상한다(제520단계).
제510단계에서 생성된 삼각형에 의하여 제300단계에서 식별된 눈의 영역을 검증한다(제530단계). 제530단계는 제1 변(1030)과 제2 변(1040)의 비율 또는 제1 변(1030)과 제3 변(1050)의 비율이 임계치를 미달하면, 제300단계에서 식별된 눈의 영역은 잘못 식별된 것으로 판단한다.
제300단계로부터 식별된 눈의 영역이 제대로 식별된 것으로 검증되었는지 여부를 판단한다(제540단계).
만일 제540단계에서 잘못 식별된 눈의 영역으로 판단된다면, 눈의 윤곽 부분의 픽셀 정보로부터 제1 눈초리 부분(1200) 및 제2 눈초리 부분(1210)을 식별하여 제1 동공의 중심(1100)과 제1 눈초리 부분(1200)간의 길이 및 제2 동공의 중심(1020)과 제2 눈초리 부분(1210)간의 길이를 비교하여 제300단계에서 식별된 눈의 영역을 검증한다(제550단계). 눈의 동공은 대칭적으로 움직이므로 눈초리의 위치와 동공의 위치 간의 관계는 쉽게 예상할 수 있다. 제550단계는 제1 동공의 중심(1100)과 제1 눈초리 부분(1200)간의 길이 및 제2 동공의 중심(1020)과 제2 눈초리 부분(1210)간의 길이가 임계치를 초과한다면 제300단계에서 식별된 눈의 영역은 잘못 식별된 것으로 판단한다.
제560단계에서 제300단계로부터 식별된 눈의 영역이 잘못 식별된 것을 판단되면, 이미지의 보정을 종료한다.
제300단계에서 식별된 눈의 영역에 대한 색상을 보정한다(제340단계).
도 6는 도 3에 도시된 제340단계에 대한 본 발명에 의한 바람직한 일 실시예를 흐름도로 도시한 것이다.
먼저, 제330단계에서 동공의 확장 여부를 판단한다(제600단계).
만일 제600단계에서 동공이 확장되었다고 판단되면, 제300단계에서 식별된 눈의 영역에 대한 홍채 부분의 픽셀 정보로부터 색상 정보를 독출한다(제610단계).
제610단계에서 독출된 색상 정보에 의하여 동공 부분(800)과 연결된 홍채 부분(840)의 경계 부분에 대한 색상을 다음의 수학식들을 이용하여 보정한다.
[수학식 5]
Figure 112005027288118-pat00058
( 여기서,
Figure 112005027288118-pat00059
는 R의 보정된 색상 값이고
Figure 112005027288118-pat00060
은 홍채에서 R의 평균 값이며,
Figure 112005027288118-pat00061
은 난수이다.)
[수학식 6]
Figure 112005027288118-pat00062
( 여기서
Figure 112005027288118-pat00063
는 G의 보정된 색상 값이고, 은 홍채에서 G의 평균 값이며,
Figure 112005027288118-pat00065
은 난수이다.)
[수학식 7]
Figure 112005027288118-pat00066
( 여기서,
Figure 112005027288118-pat00067
는 B의 보정된 색상 값이고,
Figure 112005027288118-pat00068
은 홍채에서 B의 평균 값이며,
Figure 112005027288118-pat00069
은 난수이다.)
제600단계에서 홍채가 확장되었다고 판단되거나 제620단계 후에, 각막으로부터 반사된 하이라이트 부분(820)을 다음의 수학식들을 이용하여 보정한다(제630단계).
[수학식 8]
Figure 112005027288118-pat00070
( 여기서,
Figure 112005027288118-pat00071
은 R의 보정된 색상 값이고,
Figure 112005027288118-pat00072
는 G의 보정된 색상 값이며,
Figure 112005027288118-pat00073
는 B의 보정된 색상 값이고,
Figure 112005027288118-pat00074
은 R의 현재 색상 값이며,
Figure 112005027288118-pat00075
은 G의 현재 색상 값이고,
Figure 112005027288118-pat00076
은 B의 현재 색상 값이다.)
제630단계 후에, 동공 부분의 색상을 제630단계와 동일한 방법에 의하여 보정한다(제640단계).
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
이러한 본원 발명인 이미지 보정 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
본 발명에 의한 이미지 보정 방법 및 장치에 의하면, 인물이 포함된 디지털 이미지에서 플래시로 인해 색상이 변경된 눈의 부분을 식별하여 검증한 후 눈의 색상을 보정하는 이미지 보정 방법 및 장치를 제공한다.
이렇게 함으로써 플래시에 의해 나타나는 적목 현상 및 각막으로부터 반사된 하이라이트 등과 같은 색상 변경이 나타난 눈의 영역을 정확하게 식별하고, 식별된 눈의 영역을 자연스러운 색상으로 보정하는 효과를 거둘 수 있다.

Claims (29)

  1. 이미지에서 색상이 변형된 눈의 영역을 식별하는 식별부;
    상기 식별된 눈의 영역에서 특성 정보를 추출하는 추출부;
    상기 추출된 특성 정보에 의하여 상기 식별된 눈의 영역을 검증하는 식별 확인부;
    상기 검증된 눈의 영역에서 동공의 확장 여부를 판단하는 판단부; 및
    상기 동공의 확장 여부에 따라 상기 검증된 눈의 영역에 대한 색상을 보정하는 색상 보정부를 포함하는 것을 특징으로 하는 이미지 보정 장치.
  2. 제1항에 있어서, 상기 식별부에서 상기 식별된 눈의 영역은
    적목 현상이 나타난 동공 부분, 공막 부분, 각막으로부터 반사된 하이라이트 부분, 눈의 윤곽 부분 및 홍채 부분에 대한 픽셀의 정보를 포함하는 것을 특징으로 하는 이미지 보정 장치.
  3. 삭제
  4. 제1항에 있어서, 상기 추출부는
    상기 식별된 눈의 영역에서 눈의 상태를 판단하는 상태 판단부; 및
    상기 판단된 눈의 상태에 따라 제1 및 제2 동공의 지름 또는 제1 및 제2 동공의 중심을 도출하는 동공정보 도출부를 포함하는 것을 특징으로 하는 이미지 보정 장치.
  5. 제4항에 있어서, 상기 상태 판단부는
    상기 픽셀의 정보로부터 눈의 수직 길이 및 눈의 수평 길이를 산출하는 간격 산출부; 및
    상기 눈의 수직 길이와 상기 눈의 수평 길이를 비교하여 상기 식별된 눈의 영역을 눈을 완전히 뜬 상태 또는 눈을 부분적으로 뜬 상태로 구분하는 상태 구분부를 포함하는 것을 특징으로 하는 이미지 보정 장치.
  6. 제5항에 있어서, 상기 동공정보 도출부는
    상기 식별된 눈의 영역이 상기 눈을 완전히 뜬 상태로 판단되면, 상기 공막 부분 및 상기 동공 부분에 대한 픽셀 정보에 의하여 상기 제1 및 제2 동공의 지름 또는 상기 제1 및 제2 동공의 중심을 도출하는 것을 특징으로 하는 이미지 보정 장치.
  7. 제5항에 있어서, 상기 동공정보 도출부는
    상기 식별된 눈의 영역이 상기 눈을 부분적으로 뜬 상태로 판단되면, 상기 눈의 윤곽 부분 및 상기 동공 부분에 대한 픽셀 정보에 의하여 상기 제1 및 제2 동공의 지름 또는 상기 제1 및 제2 동공의 중심을 도출하는 것을 특징으로 하는 이미지 보정 장치.
  8. 제1항에 있어서, 상기 식별 확인부는
    상기 이미지에서 입술의 영역을 식별하여 입술의 중심을 도출하는 입술중심 도출부;
    상기 입술의 중심, 상기 제1 및 제2 동공의 중심을 연결하여 삼각형을 생성하는 생성부; 및
    상기 생성된 삼각형의 각 변에 대한 길이를 비교하여 상기 식별된 눈의 영역을 검증하는 제1 식별 검증부를 포함하는 것을 특징으로 하는 이미지 보정 장치.
  9. 제8항에 있어서, 상기 식별 확인부는
    상기 생성된 삼각형에 의하여 머리 부분의 방향 또는 상기 식별된 눈의 부분이 좌안인지 우안인지를 판별하는 것을 특징으로 하는 이미지 보정 장치.
  10. 제9항에 있어서, 상기 식별 확인부는
    상기 눈의 윤곽 부분에서 제1 및 제2 눈초리를 식별하여 상기 제1 및 제2 눈초리와 상기 제1 및 제2 동공의 중심 간의 길이를 비교하여 상기 식별된 눈의 영역을 검증하는 제2 식별 검증부를 포함하는 것을 특징으로 하는 이미지 보정 장치.
  11. 제5항에 있어서, 상기 판단부는
    상기 눈의 수평 거리와 상기 제1 및 제2 동공의 지름을 비교하여 동공이 확장되었는지 여부를 판단하는 것을 특징으로 하는 이미지 보정 장치.
  12. 제2항에 있어서, 상기 색상 보정부는
    상기 동공이 확장되지 않았다고 판단되면 상기 홍채 부분의 색상 정보를 독출하는 홍채색상 독출부; 및
    상기 독출된 색상 정보에 의하여 상기 동공 부분과 연결된 상기 홍채 부분의 경계에 위치한 색상을 보정하는 제1 보정부를 더 포함하는 것을 특징으로 하는 이미지 보정 장치.
  13. 제12항에 있어서, 상기 제1 보정부는
    상기 홍채 부분의 색상은 다음의 수학식들을 이용하여 보정하는 것을 특징으로 하는 이미지 보정 장치.
    Figure 112005027288118-pat00077
    ( 여기서,
    Figure 112005027288118-pat00078
    는 R의 보정된 색상 값이고
    Figure 112005027288118-pat00079
    은 홍채에서 R의 평균 값이며,
    Figure 112005027288118-pat00080
    은 난수이다.)
    Figure 112005027288118-pat00081
    ( 여기서
    Figure 112005027288118-pat00082
    는 G의 보정된 색상 값이고,
    Figure 112005027288118-pat00083
    은 홍채에서 G의 평균 값이며,
    Figure 112005027288118-pat00084
    은 난수이다.)
    Figure 112005027288118-pat00085
    ( 여기서,
    Figure 112005027288118-pat00086
    는 B의 보정된 색상 값이고,
    Figure 112005027288118-pat00087
    은 홍채에서 B의 평균 값이며, 은 난수이다.)
  14. 제2항 또는 제12항에 있어서, 상기 보정부는
    상기 각막으로부터 반사된 하이라이트 부분 또는 상기 동공 부분의 색상은 다음의 수학식들을 이용하여 보정하는 제2 보정부를 더 포함하는 것을 특징으로 하는 이미지 보정 장치.
    Figure 112005027288118-pat00089
    ( 여기서,
    Figure 112005027288118-pat00090
    은 R의 보정된 색상 값이고,
    Figure 112005027288118-pat00091
    는 G의 보정된 색상 값이며,
    Figure 112005027288118-pat00092
    는 B의 보정된 색상 값이고,
    Figure 112005027288118-pat00093
    은 R의 현재 색상 값이며,
    Figure 112005027288118-pat00094
    은 G의 현재 색상 값이고,
    Figure 112005027288118-pat00095
    은 B의 현재 색상 값이다.)
  15. (a) 이미지에서 색상이 변형된 눈의 영역을 식별하는 단계;
    (b1) 상기 식별된 눈의 영역에서 특성 정보를 추출하는 단계;
    (b2) 상기 추출된 특성 정보에 의하여 상기 식별된 눈의 영역을 검증하는 단계;
    (c) 상기 검증된 눈의 영역에서 동공의 확장 여부를 판단하는 단계; 및
    (d) 상기 동공의 확장 여부에 따라 상기 검증된 눈의 영역에 대한 색상을 보정하는 단계를 포함하는 것을 특징으로 하는 이미지 보정 방법.
  16. 제15항에 있어서, 상기 (a)단계에서 상기 식별된 눈의 영역은
    적목 현상이 나타난 동공 부분, 공막 부분, 각막으로부터 반사된 하이라이트 부분, 눈의 윤곽 부분 및 홍채 부분에 대한 픽셀의 정보를 포함하는 것을 특징으로 하는 이미지 보정 방법.
  17. 삭제
  18. 제15항에 있어서, 상기 (b1) 단계는
    (b1-1) 상기 식별된 눈의 영역에서 눈의 상태를 판단하는 단계; 및
    (b1-2) 상기 판단된 눈의 상태에 따라 제1 및 제2 동공의 지름 또는 제1 및 제2 동공의 중심을 도출하는 단계를 포함하는 것을 특징으로 하는 이미지 보정 방법.
  19. 제18항에 있어서, 상기 (b1-1) 단계는
    상기 픽셀의 정보로부터 눈의 수직 길이 및 눈의 수평 길이를 산출하는 단계; 및
    상기 눈의 수직 길이와 상기 눈의 수평 길이를 비교하여 눈을 완전히 뜬 상태 또는 눈을 부분적으로 뜬 상태로 구분하는 단계를 포함하는 것을 특징으로 하는 이미지 보정 방법.
  20. 제19항에 있어서, 상기 (b1-2) 단계는
    상기 눈을 완전히 뜬 상태로 판단되면, 상기 공막 부분 및 상기 동공 부분에 대한 픽셀 정보에 의하여 상기 제1 및 제2 동공의 지름 또는 상기 제1 및 제2 동공의 중심을 도출하는 것을 특징으로 하는 이미지 보정 방법.
  21. 제19항에 있어서, 상기 (b1-2) 단계는
    상기 눈을 부분적으로 뜬 상태로 판단되면, 상기 눈의 윤곽 부분 및 상기 동공 부분에 대한 픽셀 정보에 의하여 상기 제1 및 제2 동공의 지름 또는 상기 제1 및 제2 동공의 중심을 도출하는 것을 특징으로 하는 이미지 보정 방법.
  22. 제15항에 있어서, 상기 (b2) 단계는
    상기 이미지에서 입술의 영역을 식별하여 입술의 중심을 도출하는 단계;
    상기 입술의 중심, 제1 및 제2 동공의 중심을 연결하여 삼각형을 생성하는 단계; 및
    상기 생성된 삼각형의 각 변에 대한 길이를 비교하여 상기 식별된 눈의 영역을 검증하는 단계를 포함하는 것을 특징으로 하는 이미지 보정 방법.
  23. 제22항에 있어서, 상기 (b2) 단계는
    상기 생성된 삼각형에 의하여 머리 부분의 방향 또는 상기 식별된 눈의 부분이 좌안인지 우안인지를 판별하는 것을 특징으로 하는 이미지 보정 방법.
  24. 제23항에 있어서, 상기 (b2) 단계는
    상기 눈의 윤곽 부분에서 제1 및 제2 눈초리를 식별하여 상기 제1 및 제2 눈초리와 상기 제1 및 제2 동공의 중심 간의 길이를 비교하여 상기 식별된 눈의 영역을 검증하는 단계를 포함하는 것을 특징으로 하는 이미지 보정 방법.
  25. 제19항에 있어서, 상기 (c) 단계는
    상기 눈의 수평 거리와 상기 제1 및 제2 동공의 지름을 비교하여 동공이 확장되었는지 여부를 판단하는 것을 특징으로 하는 이미지 보정 방법.
  26. 제16항에 있어서, 상기 (d) 단계는
    (d1) 상기 동공이 확장되지 않았다면 홍채의 색상 정보를 독출하는 단계; 및
    (d2) 상기 독출된 색상 정보에 의하여 상기 동공과 연결된 홍채 부분의 색상을 보정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 보정 방법.
  27. 제26항에 있어서, 상기 (d2) 단계는
    상기 홍채 부분의 색상은 다음의 수학식들을 이용하여 보정하는 것을 특징으로 하는 이미지 보정 방법.
    Figure 112005027288118-pat00096
    ( 여기서,
    Figure 112005027288118-pat00097
    는 R의 보정된 색상 값이고
    Figure 112005027288118-pat00098
    은 홍채에서 R의 평균 값이며,
    Figure 112005027288118-pat00099
    은 난수이다.)
    Figure 112005027288118-pat00100
    ( 여기서
    Figure 112005027288118-pat00101
    는 G의 보정된 색상 값이고,
    Figure 112005027288118-pat00102
    은 홍채에서 G의 평균 값이며,
    Figure 112005027288118-pat00103
    은 난수이다.)
    Figure 112005027288118-pat00104
    ( 여기서,
    Figure 112005027288118-pat00105
    는 B의 보정된 색상 값이고,
    Figure 112005027288118-pat00106
    은 홍채에서 B의 평균 값이며,
    Figure 112005027288118-pat00107
    은 난수이다.)
  28. 제16항 또는 제26항에 있어서, 상기 (d) 단계는
    상기 각막으로부터 반사된 하이라이트 또는 상기 동공 부분의 색상은 다음의 수학식들을 이용하여 보정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 보정 방법.
    Figure 112006098310157-pat00108
    ( 여기서,
    Figure 112006098310157-pat00109
    은 R의 보정된 색상 값이고,
    Figure 112006098310157-pat00110
    는 G의 보정된 색상 값이며,
    Figure 112006098310157-pat00111
    는 B의 보정된 색상 값이고,
    Figure 112006098310157-pat00112
    은 R의 현재 색상 값이며,
    Figure 112006098310157-pat00113
    은 G의 현재 색상 값이고,
    Figure 112006098310157-pat00114
    은 B의 현재 색상 값이다.)
  29. 제15항, 제16항, 제18항 내지 제27항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020050043769A 2005-05-24 2005-05-24 이미지 보정 방법 및 장치 KR100727935B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050043769A KR100727935B1 (ko) 2005-05-24 2005-05-24 이미지 보정 방법 및 장치
US11/439,197 US20060269128A1 (en) 2005-05-24 2006-05-24 Image correction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050043769A KR100727935B1 (ko) 2005-05-24 2005-05-24 이미지 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060121533A KR20060121533A (ko) 2006-11-29
KR100727935B1 true KR100727935B1 (ko) 2007-06-14

Family

ID=37463423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050043769A KR100727935B1 (ko) 2005-05-24 2005-05-24 이미지 보정 방법 및 장치

Country Status (2)

Country Link
US (1) US20060269128A1 (ko)
KR (1) KR100727935B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391596B2 (en) * 2007-10-17 2013-03-05 Qualcomm Incorporated Effective red eye removal in digital images without face detection
JP2011511358A (ja) * 2008-02-01 2011-04-07 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 自動赤目検出
US8818091B2 (en) * 2011-03-21 2014-08-26 Apple Inc. Red-eye removal using multiple recognition channels
US10283162B2 (en) 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
CN113112407B (zh) * 2021-06-11 2021-09-03 上海英立视电子有限公司 基于电视的照镜视野生成方法、系统、设备及介质
CN114399457A (zh) * 2021-11-24 2022-04-26 复旦大学附属眼耳鼻喉科医院 一种检测核黄素在角膜中渗透深度的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322192A (ja) * 1996-05-29 1997-12-12 Nec Corp 赤目検出補正装置
JPH11232442A (ja) 1997-10-23 1999-08-27 Hewlett Packard Co <Hp> 赤目低減システム
JP2000013680A (ja) 1998-06-18 2000-01-14 Casio Comput Co Ltd 赤目防止方法および画像処理装置
JP2003036438A (ja) 2001-07-25 2003-02-07 Minolta Co Ltd 画像中の赤目を特定するプログラム、記録媒体、画像処理装置及び赤目特定方法
KR20040047834A (ko) * 2001-09-14 2004-06-05 픽솔로지 리미티드 적목현상 부분을 제거하기 위한 이미지 처리
JP2004208132A (ja) 2002-12-26 2004-07-22 Nikon Corp 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置
JP2004242272A (ja) 2002-07-15 2004-08-26 Nikon Corp 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009209A (en) * 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
JP3748172B2 (ja) * 1998-12-09 2006-02-22 富士通株式会社 画像処理装置
US7024035B1 (en) * 1999-09-07 2006-04-04 Fuji Photo Film Co., Ltd. Method of setting region to be subjected to red eye correction and red eye correcting method
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
JP2004253970A (ja) * 2003-02-19 2004-09-09 Fuji Photo Film Co Ltd 画像処理装置、方法及びプログラム
JP4345622B2 (ja) * 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
JP4262065B2 (ja) * 2003-11-28 2009-05-13 キヤノン株式会社 撮像装置及びその制御方法、プリンタ
JP4306482B2 (ja) * 2004-02-09 2009-08-05 株式会社ニコン 赤目画像補正装置、電子カメラおよび赤目画像補正プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322192A (ja) * 1996-05-29 1997-12-12 Nec Corp 赤目検出補正装置
JPH11232442A (ja) 1997-10-23 1999-08-27 Hewlett Packard Co <Hp> 赤目低減システム
JP2000013680A (ja) 1998-06-18 2000-01-14 Casio Comput Co Ltd 赤目防止方法および画像処理装置
JP2003036438A (ja) 2001-07-25 2003-02-07 Minolta Co Ltd 画像中の赤目を特定するプログラム、記録媒体、画像処理装置及び赤目特定方法
KR20040047834A (ko) * 2001-09-14 2004-06-05 픽솔로지 리미티드 적목현상 부분을 제거하기 위한 이미지 처리
JP2004242272A (ja) 2002-07-15 2004-08-26 Nikon Corp 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置
JP2004208132A (ja) 2002-12-26 2004-07-22 Nikon Corp 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置

Also Published As

Publication number Publication date
KR20060121533A (ko) 2006-11-29
US20060269128A1 (en) 2006-11-30

Similar Documents

Publication Publication Date Title
KR100727935B1 (ko) 이미지 보정 방법 및 장치
KR101159830B1 (ko) 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
JP4307496B2 (ja) 顔部位検出装置及びプログラム
US7460693B2 (en) Method and apparatus for the automatic detection of facial features
EP1596573B1 (en) Image correction apparatus
JP4583527B2 (ja) 眼の位置を判断する方法
JP4345622B2 (ja) 瞳色推定装置
Boehnen et al. A fast multi-modal approach to facial feature detection
CN111582238B (zh) 一种应用于人脸遮挡场景的活体检测方法及装置
CN109598210B (zh) 一种图片处理方法和装置
CN111353404B (zh) 一种人脸识别方法、装置及设备
JP2009525519A (ja) 鼻筋マスクを使用した眼鏡の自動検出方法および装置
JP2008269182A (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
CN111898569A (zh) 基于活体检测的人脸辨识方法
KR20080044611A (ko) 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법
CN111105368B (zh) 图像处理方法及其装置、电子设备和计算机可读存储介质
JPH11105578A (ja) 網膜反射像を利用したまばたき検出顔画像処理装置
JP4148903B2 (ja) 画像処理装置、画像処理方法およびデジタルカメラ
JP2004192552A (ja) 開閉眼判定装置
JP5594015B2 (ja) 画像処理プログラムおよび画像処理装置
JP4878273B2 (ja) 眼鏡検出装置、画像処理装置、眼鏡検出方法、及び、コンピュータプログラム
CN110555810B (zh) 红眼校正技术
Akhade et al. Automatic optic disc detection in digital fundus images using image processing techniques
CN115244572A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
LAPS Lapse due to unpaid annual fee