KR20100096148A - 디지털 이미지에서의 적목 결함 탐지 - Google Patents

Abstract

눈을 포함하는 디지털 이미지에서 적목 결함을 탐지하는 방법은, 상기 디지털 이미지를 명도 (intensity) 이미지로 변환하고, 상기 명도 이미지 중의 적어도 일부를, 각각이 국지적인 명도 최대값을 가지는 세그먼트들로 분할하는 것을 포함한다. 별도로, 상대적으로 높은 명도와 미리 정해진 범위 내의 크기인 영역들을 식별하기 위해 원래의 디지털 이미지에 문턱값이 적용된다. 이런 영역들 중에서, 실질적으로 가장 높은 평균 명도를 가지는 영역이 선택되며, 상기 명도 이미지 분할로부터의 세그먼트들 중에서 최대가 상기 선택된 영역 내에 위치한 그런 세그먼트들이 선택된다.

Description

디지털 이미지에서의 적목 결함 탐지{Detecting redeye defects in digital images}

본 발명의 실시예들은 일반적으로 디지털 이미지 프로세싱의 분야에 관한 것이며, 더 상세하게는, 디지털 이미지들에서 적목 결함들을 탐지하는 방법 및 장치에 관한 것으로, 그런 "적목 (redeye)" 결함들은 사람이나 동물의 눈의 이미지에서의 플래시로 인한, 실제로 붉은 색이건 또는 붉은 색이 아니건 간에, 임의의 아티팩트 (artifact)를 포함한다.

적목은 플래시가 피사체의 눈 내부에서 반사되어 사진에서 상기 피사체 눈의 검은 눈동자가 정상적으로 표시될 위치에 보통은 적색인 광 점 (light dot)으로 나타나는 현상이다. 눈의 이런 부자연스러운 타오르는 붉은 색은, 혈관들로 가득 찬 눈의 망막 후면의 혈관 막으로부터의 내부 반사로 인한 것이다. 이런 불편한 현상은 부분적으로는 카메라 플래시와 그 카메라의 렌즈 사이의 작은 각도 때문에 발생하는 것으로 널리 이해되고 있다. 상기의 각도는 내장된 플래시 기능들을 구비한 소형화되는 카메라를 이용하면 함께 줄어든다. 상기 피사체가 카메라에 상대적으로 근접하는 것 그리고 주변의 광 레벨들이 상기와 같은 현상에 대한 추가의 원인들이 된다.

홍채로 하여금 눈동자가 열리는 것을 줄어들게 하여 상기 적목 현상은 감소될 수 있다. 이는 플래시를 이용하여 사진을 촬영하기 전에 짧게 플래시를 터뜨리거나 광을 비추게 하는 "프리-플래시 (pre-flash)"를 이용하여 보통 실행된다. 이는 홍채를 닫히게 한다. 불행하게도, 상기 프리-플래시는 플래시를 이용하여 사진을 촬영하기 전 0.2 내지 0.6초의 불편함을 준다. 이런 지연은 사람인 피사체의 반응 시간 내에 즉시 그리고 쉽게 분리할 수 있다. 결과적으로 상기 피사체는 그 프리-플래시가 실제로 사진을 찍는 것으로 착각할 수 있을 것이며 그래서 실제로 사진을 찍을 시점에는 덜 바람직한 자세를 취할 수 있을 것이다. 대안으로, 상기 피사체에게 프리-플래시라는 것을 알려야만 하고, 그렇게 되면 보통은 그 사진에 촬영될 피사체의 자발성을 일부라도 잃게된다.

이미지가 디지털 방식으로 캡쳐되어 카메라 자체의 디스플레이 스크린 상에서 디스플레이될 용도로 메모리 어레이에 저장되기 때문에 디지털 사진은 필름에 대한 필요성을 몰아낸다. 이는 필름 처리를 위해서 기다리는 것에 반대로 사진들이 사실상 즉각적으로 보여지고 즐겨지도록 한다. 디지털 사진 장비는 이미지 프로세싱 및 압축 그리고 카메라 시스템 제어를 위해서 마이크로프로세서들을 포함한다. 그런 마이크로프로세서들의 계산 기능들을 이용하여 적목 탐지 및 제거를 개선하기 위한 동작을 수행시키는 것이 가능하다.

디지털 이미지들에서 적목 탐지 및 교정을 위한 현존하는 기술은 미국 특허 번호 6,407,777 그리고 미국 특허 출원 공개 번호 2005/0232490에 설명되어 있다. 그러나, 이런 종래의 방법들은 실제로는 효과적이지 않다.

본 발명의 목적은 상기에서 설명된 적목 결함을 탐지하고 제거할 수 있는 개선된 방법을 제공하는 것이다.

본 발명의 일 실시예에 따르면, 눈을 포함하는 디지털 이미지에서 적목 결함을 검출하기 위한 방법이 개시된다; 상기 디지털 이미지는 명도 (intensity) 이미지로 변환되며, 상기 명도 이미지의 적어도 일부는, 각각이 국지적 명도 최대를 구비한 세그먼트들로 분할되며, 상기 디지털 이미지의 대응 부분은 상대적으로 높은 명도의 영역을 식별하기 위해 문턱값이 적용되며, 실질적으로 가장 높은 평균 명도를 구비한 (c) 단계의 영역들 중의 적어도 몇몇으로부터의 영역이 선택되며, 단계 (d)에서 선택된 상기 영역을 가로지르는 단계 (b)로부터의 세그먼트들이 미리 정의된 기준에 따라서 선택된다.

본 발명의 실시예들의 특징 및 이점은 첨부한 도면 및 아래의 상세한 설명으로부터 명백할 것이다.

본 발명을 통해서, 상기에서 설명된 적목 결함을 탐지하고 효과적으로 제거할 수 있는 개선된 효과를 제공한다.

본 발명은 본 발명의 실시예들을 예시하기 위해 사용된 첨부된 도면들과 발명의 상세한 설명을 참조하면 최선으로 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따라 동작하는 디지털 카메라의 블록도이다.
도 2는 본 발명에 따른 적목 탐지 및 교정의 일 실시예의 도 1의 카메라에서 소프트웨어에 의해 수행되는 단계들의 흐름도이다.
도 3 내지 도 7은 도 2의 방법에 따라 처리되는 이미지 데이터를 보여준다 (명료함을 위해, 도 6의 (a) 내지 도 6의 (d), 도 6의 (f) 및 도 7은 본문에서 설명된 해당 이미지들의 네거티브 또는 반전된 형상이다).

플래시를 이용하여 획득된 이미지는 적목 결함들을 포함할 수 있을 것이다. 일반적으로, 이런 적목 결함들은 그 이미지에 통상적인 눈 결함 탐지기를 적용하여 탐지된다. 그러나 높은 ISO 등급으로 획득된 이미지들, 예를 들면, ISO 800 이상으로 획득된 이미지들은 노이즈를 나타내는 붉은-픽셀들의 수많은 클러스터들을 포함할 수 있을 것이며, 그런 경우에, 상기 눈 결함 탐지기는 상기 노이즈 얼룩들을 상대적으로 작은 적목 결함들로서 식별할 수 있다.

본 발명의 실시예들은 높은 ISO 플래시 이미지들에서의 적목들을 탐지하기 위한 방법들 및 장치들을 제공한다. 본 발명의 일 실시예에 대해, 디지털 이미지가 획득된다. 하나 또는 그 이상의 상대적으로 큰 후보 적목 결함 영역들이 그 이미지의 적어도 일부에서 탐지된다. 얼굴이-포함되지-않은 영역들을 배제하기 위해 그 아미지의 적어도 일부에 얼굴 탐지가 적용되며 그리고 상기 배제된 얼굴이-포함되지-않은 영역들을 포함하지 않는 상기 이미지의 적어도 일부에서 하나 또는 그 이상의 상대적으로 작은 후보 적목 결함 영역들이 식별된다.

다음의 설명에서, 수많은 특정한 상세 세부 사항들이 제시된다. 그러나, 본 발명의 실시예들은 이런 특정한 세부 사항들이 없이도 실시될 수 있을 것이라는 것이 이해될 것이다. 다른 예들에서, 이런 설명들을 이해하는 것을 불명료하게 하지 않게 하기 위해 잘 알려진 회로들, 구조들 및 기술들은 상세하게 설명되지 않을 것이다.

본 명세서에 걸쳐서 "하나의 실시예" 또는 "일 실시예"를 참조한다는 것은 그 실시예와 결합하여 설명된 특정한 특징, 구조 또는 특색이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 그러므로, 본 명세서에 걸친 여러 곳에서 "하나의 실시예" 또는 "일 실시예"의 문구들이 나타나는 것은 동일한 실시예를 모두 참조한다는 것을 반드시 의미하는 것은 아니다. 또한, 상기 특정한 특징, 구조 또는 특색이 하나 또는 그 이상의 실시예들에서 어떤 적합한 방식으로도 결합될 수 있을 것이다.

더 나아가, 특허성이 있는 모습들은 개시된 단일 실시예의 모든 특징들보다 적은 범위 내에 있다. 그러므로, 발명의 상세한 설명에 이어지는 청구범위는 그 결과 이 발명의 상세한 설명에 분명하게 병합되며, 각 청구항은 이 발명의 개별 실시예로서 자신의 지위를 가진다.

본 발명의 실시예들은 이미지 프로세싱이 수행되는 시스템의 넓은 범위에 적용 가능하다.

도 1은 디지털 이미지 획득 기기 (20)의 블록도이며, 이 실시예에서 상기 기기는 휴대용 디지털 카메라이며, 프로세서 (120)를 포함한다. 상기 디지털 카메라에서 구현된 많은 프로세스들이 집합적으로는 프로세서 (120)로서 도시된 마이크로프로세서, 중앙 처리 유닛, 제어기, 디지털 신호 프로세서 및/또는 주문형 집적 회로에서 동작하는 소프트웨어에 의해 제어되거나 구현될 수 있을 것이라는 것을 알 수 있다. 일반적으로, 모든 사용자 인터페이스 그리고 버튼 및 디스플레이와 같은 주변 컴포넌트들은 마이크로제어기 (122)에 의해 제어된다. 상기 프로세서 (120)는 셔터 버튼이 반 눌러진 것 (half-pressed)과 같은 사용자 입력 (프리-캡쳐 모드 (32))에 참조번호 122에서 응답하여, 디지털 사진 프로세스를 개시하고 제어한다. 플래시가 사용되어야 하는가의 여부를 자동적으로 판별하기 위해 광 센서 (40)를 이용하여 주변의 광 노출이 모니터된다. 피사체까지의 거리는 포커스 컴포넌트 (50)를 이용하여 결정되며, 상기 포커스 컴포넌트는 이미지 캡쳐 컴포넌트 (60) 상의 이미지에 또한 초점을 맞춘다. 본 명세서에서, "이미지"라는 용어는 이미지 데이터를 언급하는 것이며 그리고 상기 프로세싱의 어떤 단계에서건 실제의 볼 수 있는 이미지가 존재한다는 것을 반드시 의미하지는 않는다.

플래시가 사용될 것이라면, 프로세서 (120)는 상기 셔터 버튼이 완전히 눌려서 이미지 캡쳐 컴포넌트 (60)가 이미지를 기록하는 것과 실질적으로 동시에 상기 플래시 (70)로 하여금 사진을 찍기 위한 플래시를 터트리도록 한다. 상기 이미지 캡쳐 컴포넌트 (60)는 상기 이미지를 디지털 방식으로 칼라로 기록한다. 상기 이미지 캡쳐 컴포넌트는 디지털 기록을 용이하게 하기 위해 바람직하게는 CCD (charge coupled device) 또는 CMOS를 포함한다. 상기 플래시는 광 센서 (40)나 상기 카메라의 사용자로부터의 수동 입력 (72) 중의 어느 하나에 반응하여 선택적으로 생성될 수 있을 것이다. 이미지 캡쳐 컴포넌트 (60)에 의해 기록된 고해상도의 이미지는 이미지 저장부 (80)에 저장되며, 그 이미지 저장부는 동적인 랜덤 액세스 메모리 또는 비-휘발성 메모리와 같은 컴퓨터 메모리를 포함할 수 있을 것이다. 상기 카메라에는 이미지들을 미리 보고 그리고 나중에 보는 용도의 LCD와 같은 디스플레이가 장착된다.

상기 셔터 버튼이 반 눌러졌을 때의 프리-캡쳐 모드 (32)에서 생성되는 미리보기 이미지들에서, 상기 디스플레이 (100)는 초점을 맞추고 노출을 결정하기 위해 사용되는 것은 물론이며, 상기 이미지를 만드는데 있어서 사용자를 도울 수 있다. 임시 저장부 (82)는 하나 또는 그 이상의 미리보기 이미지들을 저장하기 위해 사용되며, 그리고 상기 이미지 저장부 (80)의 일부일 수 있으며 또는 개별적인 컴포넌트일 수 있다. 상기 미리보기 이미지는 상기 이미지 캡쳐 컴포넌트 (60)에 의해 생성되는 것이 바람직하다. 속도 및 메모리 효율의 이유로, 미리보기 이미지들은 셔터 버튼이 완전하게 눌러졌을 때에 찍히는 메인 이미지보다 더 낮은 픽셀 해상도를 가지는 것이 바람직하며, 그리고 상기 미리보기 이미지들은 캡쳐된 로 (raw) 이미지를 범용 프로세서 (120)의 일부이거나 또는 전용의 하드웨어 또는 그것들의 결합일 수 있는 소프트웨어 (124)를 이용하여 서브-샘플링 (sub-sampling)하여 생성되는 것이 바람직하다. 이런 하드웨어 서브시스템의 세팅들에 따라서, 상기 선-취득 (pre-acquisition) 이미지 프로세싱은 미리보기 이미지를 저장하기 이전에 몇몇의 미리 정해진 시험 기준을 만족할 수 있을 것이다. 그런 시험 기준은 상기 셔터 버튼을 완전하게 눌러서 고해상도의 메인 이미지가 캡쳐될 때까지 프리-캡쳐 모드 (32) 동안에, 이전에 저장되었던 미리보기 이미지를 매 0.5초마다 새롭게 캡쳐된 미리보기 이미지로 계속적으로 대체하는 것과 같이 시간의 흐름에 따르는 것일 수 있을 것이다. 더 복잡한 기준은 미리보기 이미지 컨텐트를 분석하는 것을 포함할 수 있을 것이며, 예를 들면, 상기 새로운 미리보기 이미지가 이전에 저장된 이미지를 대체하여야만 하는가의 여부를 결정하기 전에 이미지를 바꿀것인가를 위해 그 이미지를 시험할 수 있을 것이다. 다른 기준은 샤프니스와 같은 이미지 분석 또는 노출 조건, 플래시를 터트려야 하는가의 여부 그리고/또는 피사체까지의 거리와 같은 메타데이터 분석을 기반으로 할 수 있을 것이다.

시험 조건이 충족되지 않으면, 상기 카메라는 현재의 미리보기 이미지를 저장하지 않고 다음의 미리보기 이미지를 계속해서 캡쳐한다. 이런 프로세스는 셔터 버튼을 완전하게 눌러서 최종의 고해상도 메인 이미지가 획득되어 저장될 때까지 계속된다.

복수의 미리보기 이미지들이 저장될 수 있는 경우, 상기 사용자가 최종 사진을 찍을 때까지 새로운 미리보기 이미지는 시간의 흐름에 따르는 FIFO (First In First Out) 스택 상에 위치될 것이다. 복수의 미리보기 이미지들을 저장하는 이유는 마지막 미리보기 이미지 또는 어떤 단일의 미리보기 이미지는, 예를 들면, 적목 교정 프로세스에 있어서 또는 본 발명의 실시예에서의 미드-샷 (mid-shot) 모드 프로세싱에 있어서 최종의 고해상도 이미지와의 비교를 위한 최선의 레퍼런스 이미지가 아닐 수 있기 때문이다. 복수의 이미지들을 저장함으로써, 더 나은 레퍼런스 이미지가 획득될 수 있으며, 그리고 상기 미리보기와 최종 캡쳐된 이미지 사이에서의 더 가까운 정렬이 나중에 설명되는 정렬 단에서 획득될 수 있다.

또한 상기 카메라는 하나 또는 그 이상의 저해상도의 나중에-보기 (post-view) 이미지들 캡쳐하여 상기 임시 저장부 (82)에 저장할 수 있다. 나중에-보기 이미지들은 그 나중에-보기 이미지들이 상기 고해상도의 메인 이미지가 캡쳐된 후에 생겼다는 것을 제외하면 미리보기 이미지들과 실질적으로 동일한 저 해상도 이미지들이다.

적목 탐지 및 교정 필터 (90)는 상기 카메라 (20)에 통합될 수 있으며, 또는 테스크탑 컴퓨터, 칼라 프린터 또는 포토 키오스크 (kiosk)와 같은 외부의 프로세싱 기기 (10)의 일부일 수 있다. 이 실시예에서, 상기 필터 (90)는 상기 캡쳐된 고해상도 디지털 이미지를 상기 저장부 (80)로부터 받아서 적목들을 탐지하기 위해 그 이미지를 분석한다 (92). 그 분석 (92)은 이어지는 본 실시예들에서 설명되는 것과 같은 본 발명의 원칙들에 따라서 수행된다. 적목들이 발견되면, 상기 필터는 잘 알려진 기술들을 이용하여 이미지로부터 적목을 제거하기 위해 상기 이미지를 수정한다 (94). 이 수정된 이미지는 내장이거나 또는 CF 카드, SD 카드 등과 같이 탈부착 가능한 저장부일 수 있는 지속적인 저장부 (112)에 저장되어 이미지 디스플레이 (100) 상에 디스플레이되거나 또는 테더링 (tethered)이거나 무선일 수 있는 이미지 출력 수단 (110)을 통해서 다른 기기로 다운로드될 수 있을 것이다. 상기 적목 필터 (90)는 상기 플래시가 사용될 때마다 자동적으로 동작하거나 또는 입력부 (30)를 통한 사용자의 요청이 있을 때마다 동작하는 중의 어느 하나로 동작할 수 있다. 비록 개별적인 아이템으로 도시되어 있지만, 상기 필터 (90)가 상기 카메라의 일부일 경우, 그 필터는 상기 프로세서 (120) 상의 적절한 소프트웨어에 의해 구현될 수 있을 것이다.

도 2는 본 발명에 따른 적목 탐지 및 교정의 일 실시예인 도 1의, 카메라 내의 소프트웨어 그리고/또는 외부 프로세싱 기기에 의해 수행되는 단계들의 흐름도이다.

1. 눈 탐지 (Eye detection)

상기 실시예의 첫 번째 단계 (200)는 눈을 포함하는 것으로 여겨지는 이미지의 영역들을 식별하기 위한 눈 탐지 알고리즘을 실행시킨다. 그런 알고리즘의 예들은 PCT 출원 번호 PCT/EP2006/008342 (Ref: FN128) 그리고 미국 출원 번호 60/865,375 (2006.11.10. 출원) 미국 출원 번호 60/865,622 (2006.11.13. 출원) 및 미국 출원 번호 60/915,669 (2007.3.2. 출원) (Ref: FN181/FN208)에서 설명되었으며, 그 출원들에서의 출력은 이상적으로는 눈을 포함하고 있어야 하지만 틀린 긍정 (눈이 없는 영역)일 수 있는 탐지 직사각형이다. 더 나아가, 상기 탐지 직사각형이 눈을 포함하고 있는 경우에라도, 대부분의 경우들에서 그것은 비-결함 눈이며, 이는 이어지는 교정 알고리즘에 의해 수정되어서는 안된다. 그러므로, 상기 탐지 직사각형은 교정을 적용하기 이전에 눈이 아닌 영역과 보통의 눈의 영역 두 가지 모두를 버리도록 필터링되어야만 한다.

상기 탐지 태스크의 주요한 어려움은 (밝은 적색부터 오렌지, 황색, 백색 그리고 상기 색상들의 결합들까지의 모든 가능한 색조들을 커버하는) 색상과 크기 두 가지 모두의 면에서 적목들이 아주 다양하다는 것이다. 또한, 많은 경우들에서, 상기 결함은 색상 그리고/또는 명도 (intensity)의 면에 있어서 균일하다는 것과는 거리가 멀다. 그러므로, 모든 결함 눈들에서 변하지 않는 것, 즉, 실질적으로 모든 경우들에서 있어서 참인 상태를 유지하는 특성을 찾는 것이 목적이다. 이런 특성은 상기 결함이 그 자신의 이웃보다 더 밝으며 그리고 보통은 더 어두운 링으로 둘러싸여 있다는 것이다.

그러므로, 교정할 것인가를 결정하기 위해 또는 결함 영역이 아니라는 결정을 하기 위해 색상 정보는 더 나중의 단계에서 사용되며, 결함을 탐지하는 것은 (이 실시예에서는 적색 성분과 녹색 성분의 평균으로서 계산된) 상기 명도 (intensity) 이미지 상에서 단독으로 수행된다.

2. 결함 탐지

그러므로, 다음의 단계 (202)는, 단계 200에서 상기 눈 탐지 알고리즘에 의해 생긴, 도 3의 (a)에서의, 탐지 직사각형의 명도 이미지를 계산하는 것을 포함한다.

상기 명도 이미지 내에 있는 결함을 탐지하기 위해, 본 발명은 그 결함이 가까운 이웃보다 더 밝다는 사실을 이용한다. 그러나, 상기 명도 이미지에 단순하게 문턱값을 적용하여 상기 결함을 분리하려고 시도하는 것은 거의 성공의 기회가 없다. 이는, 우선, 있을 수 있는 결함들의 밝기의 범위가 넓으며, 그래서 이전의 어떤 문턱값도 모든 경우들에 있어서 제대로 적용되도록 설정할 수 없기 때문이다. 또한, 적응적으로 문턱값들을 적용하는 것, 즉, 국지적인 명도 정보를 기반으로 하여 각 경우를 위한 문턱값을 결정하는 것은 일반적으로 제대로 동작하지 않을 것이다. 이는 다음과 같이 설명될 수 있다: 많은 경우들에서, 상기 결함과 그 결함의 주변들 (홍채, 눈꺼풀들) 사이의 경계는 그 결함 주변 모두에서 제대로 정해지지 않는다. 도 3의 (a)는 꽤 자주 발생하는 이런 상황의 예를 제시한다 - 상기 결함과 윗 눈꺼풀 사이에서의 명도의 천이 (transition)는, 특히 상기 결함과 상기 홍채 사이의 천이와 비교하면, 아주 현저하지는 않다. 이는 도 3의 (b)에서 보여지며, 도 3의 (b)는 도 3의 (a)에서 보여지는 수직선을 따르는 명도 프로파일이며, 두 개의 포인트 P1, P2는 각각 상기 결함 및 윗 눈꺼풀 그리고 홍채 사이에서의 천이 명도들을 마킹한 것이다. 단순한 문턱값 적용으로 상기 결함을 공간적으로 분리하기 위해서, 큰 문턱값- 도 3의 (b)에서의 P1에 따라서 160보다 더 큰 문턱값- 이 사용되어야만 할 것이며, 이는 그 결함에 속한 모든 픽셀들의 탐지된 영역에 포함되는 것을 허용하지 않을 것이다. 상기 결함을 공간적으로 분리시키는 가장 낮은 문턱값으로 문턱값이 적용된 결함의 축소된 명도 이미지인 도 3의 (c)에서 볼 수 있는 것과 같이, 너무 큰 문턱값을 이용했기 때문에 결함이 있는 영역으로 포착되지 않은 밝은 링이 존재한다.

그러므로, 상기 결함을 주변으로부터 분리하는 것을 가능하게 하기 위해, 더 복잡한 기술이 고안되었다. 그것은, 대부분의 경우들에 있어서, 결함/주변 천이가 발생하는 곳에서의 명도에 관계없이 그 천이는 골짜기-모습 (valley-shaped)이라는 관찰을 기반으로 한다.

2.1 평균-이동 분할 (Mean-shift eye segmentation)

따라서, 단계 204에서, 도 3(a)의 명도 이미지에 평균-이동 분할이 가해진다. 상기 평균-이동 절차 (D. Comaniciu, P. Meer: Mean Shift: A Robust Approach toward Feature Space Analysis, IEEE Trans. Pattern Analysis Machine Intell., Vol. 24, No. 5, 603-619, 2002)는 수많은 상이한 태스크들에 대해 사용되었으며, 가장 중요한 것은 클러스터링 (분할)이다. N-차원 분포가 주어지면, 상기 알고리즘의 기본적인 아이디어는 상기 분포의 모드들을 식별하는 것이다 (모드는 국지적인 최대값에 의해 정의된다). 도시된 것과 같이, 도 4는 1D (1차원) 분포의 모드 신원 (mode identification)의 일 예를 제시하며, 짧은 수직선들은 하나의 모드에서 다른 모드로의 천이를 식별한다. 가장 낮은 값들을 가지는 포인트들로부터 시작하여 국지적인 최대값들로 발전하는 모드를 구축한다는 점에서, 이런 접근은 밑에서부터 위로의 (bottom-up) 접근 방식이다. 모드들을 식별하기 위해, 다음의 간단한 절차가 수행된다:

- 상기 분포의 각 포인트에 대해, 새로운 모드가 초기화된다. 그러면, 최대의 변화도 (gradient)를 구비한 이웃이 찾아지며 그리고 현재의 모드에 더해진다.

- 상기 최대 변화도가 양이면, 상기 절차는 상기 새롭게 추가된 이웃으로부터 시작하는 동일한 방식으로 계속된다.

- 상기 최대 변화도가 음이면 (즉, 현재의 포인트가 국지적으로 최대값이다), 상기 절차는 중단된다.

- 상기 절차 동안에, 최대 변화도를 특징으로 하는 이웃이 이미 조사되었다면 (즉, 그 이웃은 이전에 어떤 모드로 지정되었다), 현재 모드에 속한 모든 포인트들은 이긴 이웃의 모드로 지정된다.

- 상기 분포의 모든 포인트들이 어떤 모드로 지정되면 상기 절차는 중단된다.

이 절차는 보통은 분포 (확률 밀도 함수, 즉, 히스토그램)에 적용된다. 단계 204에서, 그 절차는 명도 이미지 상에 직접적으로 적용되어, 그 명도 이미지를 표면으로서 (2D 분포와 동등하게) 간주한다. 상기 명도 이미지가 너무 크면, 과다 분할 (over-segmentation)을 일으킬 수 있는 (너무 많은 모드들이 탐지된다) 작은 편차들을 줄이기 위해서, 국지적인 모드들을 추출하기 이전에 작은 커널 (많아야 5x5)을 구비한 국지적인 평균화가 적용될 수 있을 것이다.

평균-이동 명도 분할의 결과는 도 5에서 보여지며, 도5의 (a)는 평균 이동 분할에 의해 추출된 국지적인 최대값들을 구비한 명도 이미지의 의사 (pseudo) 3D 메시 (mesh)이며, 도 5의 (b)는 상기 분할로 인한 결과인 영역들을 보여주며, 그리고 도 5의 (c)는 도 5의 (b)에서 하나의 이미지로서 보이는 영역들의 국지적인 최대값들을 보여준다. 두 가지를 준수할 수 있을 것이다. 첫 번째, 기대되는 것과 같이, 눈 결함 영역은, 결함 서브-세그먼트들로서 언급되는 다중의 세그먼트들로 나누어지고, 이는 상기 결함 영역 내에 여러 개의 국지적인 최대값들이 존재한다는 (도 3의 (b) 참조) 사실로 인한 것이다. 이런 경우에, 상기 눈 결함에 속하는 (도 5의 (b)에서 1부터 5까지 라벨이 매겨진) 다섯 개의 서브-세그먼트들이 존재한다. 그러나, 상기 결함은 그 주변으로부터 양호하게 분리되며 - 비록 눈꺼풀과 상기 결함 사이의 경계가 몇몇 픽셀들에서는 매우 약하지만 그 눈꺼풀은 상기 결함으로부터 분리된다.

2.2 결함 서브-세그먼트들을 합체 (Merging the defect sub-segments)

다음으로, 단계 206에서, 상기 눈 결함을 구성하는 결함 서브-세그먼트들은 단일의 세그먼트로 합체(merge)된다.

모든 결함 서브-세그먼트들을 하나의 세그먼트로 합체하는 것을 가능하게 하는 것을 관찰하는 것은, 일반적으로, 이런 서브-세그먼트들의 국지적인 최대값들은 높으며 그리고 매우 높은 명도 영역으로 함께 그룹화된다는 것이다. 그러므로, 이런 높은-명도 영역은, 매우 높은 문턱값으로 문턱값을 적용하고, 그리고, 일 실시예에서, 이 영역에 위치한 자신의 최대값들을 구비한 모든 세그먼트들을 상기 중간-이동 분할된 명도 내에서 식별함으로써 추출된다. 세그먼트 영역의 일부가, 예를 들면 75% 이상이 상기 영역 내부에 놓여있는가의 여부가 세그먼트들을 식별하는 다른 기준이다.

상기 알고리즘은 다음의 단계들을 구비한다:

1. 다음의 절차에 의해 상기 높은 문턱값을 자동적으로 계산한다:

a. 도 3 (a)의 명도 이미지 내부의 고-명도 픽셀을 식별한다.

b. 상기 픽셀 상에 중심을 둔 더 작은 직사각형을 취한다. 그 직사각형의 크기는 상기 눈-결함 영역의 크기에 종속된다: 예를 들면, H는 상기 눈-결함 직사각형의 높이일 때에, H < 100인 경우 10x10, 100 < H <200인 경우 20x20, H > 200인 경우 30x30. 도 3의 (a)의 예에서, 상기 눈-결함 직사각형의 크기 H는 20x20이다.

c. 상기 더 작은 직사각형 내부에 있는 픽셀들의 평균 명도를 계산한다.

d. 상기 평균 명도와 고정된 양 (quantity)의 합에 상기 문턱값을 적용한다. 상기 고정된 양은 휴리스틱하게 (heuristically) 결정될 수 있으며, 본 실시예에서 사용된 값은 25이다.

2. 상기에서 결정된 문턱값으로 상기 명도 이미지에 문턱값을 적용한다 - 그 결과는 도 6의 (a)에서 보여진다.

3. 상기 문턱값이 적용된 이미지의 모든 관련된 컴포넌트들을 식별한다 - 도 6의 (b). 이는 문턱값이 적용된 이미지 내의 모든 연결된 픽셀들을 각 그룹 600a 내지 600f (가장 작은 그룹들에는 라벨이 붙여지지 않는다)로 링크하는 것을 포함한다.

4. 관련된 컴포넌트의 크기가 적절하지 않거나 (예를 들면, 그 관련된 컴포넌트들이 상기 눈-탐지 직사각형 영역의 0.1%보다 더 작거나 또는 그 영역의 4%보다 더 큰 경우) 또는 상기 관련된 컴포넌트가 상기 탐지 직사각형의 경계에 닿는 그런 연결된 컴포넌트들을 제거한다 - 도 6의 (c).

5. 남아있는 컴포넌트들을 그 컴포넌트의 평균 명도에 관하여 순위를 정하고 가장 높은 두 개만을 유지한다.

6. 그 두 개의 컴포넌트들의 평균 명도들 사이의 차이가 크다면 (예를 들면, 그것들 사이의 차이가 가장 높은 평균 명도의 10%를 초과하면), 가장 높은 평균 명도를 구비한 컴포넌트가 선택되며, 그렇지 않으면 가장 높은 채도를 구비한 컴포넌트가 선택된다 - 도 6d.

7. 그 최대값들이 상기 선택된 컴포넌트 내부에 위치한, 평균-이동 분할된 이미지 내의 모든 세그먼트들을 식별한다 (또는 상기 선택된 컴포넌트에 관한 어떤 다른 기준을 만족하는 모든 세그먼트들을 식별한다) - 도 6의 (e).

8. 상기 명도 이미지 내의 모든 세그먼트들을 합체 (merge)하고 모든 다른 픽셀들은 폐기한다 - 도 6의 (f).

도 6의 (f)에서 보여지는 것과 같이, 이런 절차에 의해 결정된 상기 영역은 밝은 결점만이 아니라, 교정되어서는 안되는 주변들에 속한 몇몇 부분들을 포함한다 (그 전체를 이하에서는 "확장된" 결함으로서 언급한다). 그러므로, 이런 부분들은 단계 208에서 제거된다.

2.3 최종 결함 추출

상기 확장된 결함에서 실제의 결함을 분리하기 위해, 단계 208은 상기 확장된 결함에 대응하는 상기 명도 이미지의 일부에 히스토그램 문턱값 설정 기술을 적용한다. 상기 중간-이동 분할 단계 (204)는 상기 확장된 결함이, 결함이 아닌 다른 밝은 부분들을 포함하고 있지 않다는 것 보장하고 그리고 이것이 상기 히스토그램 상에서 상기 문턱값을 결정하기 위한 중심이라는 것을 보장한다. 이 기술은 다음과 같다: 상기 확장된 결함에 대응하는 명도 이미지의 일부의 명도 히스토그램이 계산된다. 상기 확장된 결함의 크기는 일반적으로 작기 때문에, 상기 히스토그램은 노이즈를 포함할 것이 확실하다 (즉, 많은 "스파이크들"을 포함할 것이다 - 도 7의 (a) 참조). 그러므로, 문턱값을 계산하기 이전에, 상기 히스토그램을 n개-픽셀 와이드 평균화 커널 (wide averaging kernel)로 컨벌빙 (convolving)하여 평탄화한다. 상기 커널의 폭 n은 휴리스틱하게 선택되고, 본 실시예에서는 n=31이다. 전형적으로, 평탄화 이후에, 상기 히스토그램은 두 개의 봉우리 형상이다 - 도 7의 (a)에서의 평탄한 선 참조. 첫 번째 유력한 최대가 결정되고, 그러면 후속하는 유력한 최소가 찾고 있는 문턱값으로서 선택되며, 이는 도 7의 (a)에서 수직선으로 표시된다. 상기 선택된 최소는 상기 두 모드들 사이에서의 절대적인 최소가 아니며, 그것은 국지적으로 최소라는 것에 유의한다: 그것은 (본 실시예에서는) 왼쪽으로 3개의 이웃들을 그리고 오른쪽으로 더 높은 값들을 구비한 3개의 이웃을 가진다. 또한, 상기 선택된 최소는 상기 최초의 최대 이후의 첫 번째의 국지적인 최소이다. 상기 확장된 결함에서 상기 문턱값보다 더 낮은 명도를 구비한 모든 픽셀들은 제거된다. 도 7의 (b)는, 상기에서와 같이 계산된 문턱값으로 도 6의 (f)에서의 이미지에 문턱값을 적용함으로서 얻어진 결과를 보여준다. 남아있는 것은 잠재적으로 실제의 결함으로, 이는 교정을 거쳐야만 하는 것이다. 그러나, 이전에 설명된 것과 같이, 교정을 적용하기 이전에, 상기 탐지된 영역이 실제의 결함인가의 가능성에 대한 결정을 해야만 한다.

3. 필터링

이전의 섹션에서, 눈 탐지 직사각형 내부의 결함 영역에 대한 최선의 후보를 식별하기 위한 절차가 설명되었다. 그러나, 상기 탐지 직사각형은 오류의 포지티브 (즉, 눈 탐지기에 의해 틀리게 탐지된 눈이 아닌 영역)이거나 또는 비-결함 눈을 포함하는 중의 어느 하나이다. 두 가지 경우들에서, 교정이 적용되어서는 안된다. 그러므로, 도 7 (b)의 명도 이미지는 상기에서 설명된 방법에 의해 결정된 결함 영역이 실제로 눈 결함인가 아닌가의 여부를 결정하기 위해 단계 210에서 필터링된다. 비-결함 눈에 대해 탐지된 결함 후보로 가장 그럴듯한 것은 눈의 흰 부분 (공막 (sclera)이며, 이는 그 부분이 상기 탐지 직사각형 내에서 가장 밝은 영역이기 때문이다. 그것을 교정하는 것은 매우 좋지 않은 오류 포지티브의 결과로 귀결될 것이며 그러므로 그것은 필터링 단계를 통과해서는 안된다.

상기 필터 단계 (210) 배후의 원리는 실제의 결함은 다음의 특성들을 가진다는 것이다:

- 그것은 둥글다;

- 그것은 상기 탐지 직사각형의 나머지 보다 더 채도가 높다.

- 그것은 상기 탐지 직사각형의 나머지 보다 더 노랗거나 또는 더 붉다 (또는 둘 다이다);

- 그것의 윤곽은 그것의 내부보다 더 어둡다.

그러므로, 눈-결함 후보 영역이 실제의 결함인가의 여부를 결정하기 위해, 다음의 파라미터들이 고려된다:

- 그 영역의 둥근 정도 (roundness) (고전적인 원모양 인수, 즉, 원주 대 면적 비율의 평방근).

- 상기 영역과 상기 검출 직사각형의 평균 채도값들.

- 상기 영역 및 상기 검출 직사각형의 평균 a 값들 (적색 상태의 평균 정도를 나타낸다).

- 상기 영역 및 상기 검출 직사각형의 평균 b 값들 (적색 상태의 평균 정도를 나타낸다). a 및 b 모두는 랩 (Lab) 색상 공간에서의 색상들 표현의 좌표들이다.

- 상기 영역의 윤곽의 평균 명도의 상기 영역의 평균 명도에 대한 비율 (이 측정값은 상기 확장된 결함 상에서 계산되는 유일한 것이며, 최종 결함 상에서는 계산되지 않는다).

이런 측정값들을 기반으로 하여, 단계 210은 결함에 관련된 일반적인 조건들이 충족되는가를 평가하기 위한 몇몇의 필터 단계들을 포함한다. 상기 필터 단계들은 극히 소수의 결함들이 상기에서 열거된 4가지 특징들 모두를 충족한다는 것을 고려한다. 그러므로, 상기 조건들 각각은 다른 것들을 희생하면서 (즉, 다른 특징들에는 더 엄격한 조건들을 부과한다) 어느 정도는 완화될 수 있을 것이다. 예를 들면, 상기 탐지된 직사각형의 평균 채도보다 약간 더 작은, 상기 후보 영역의 평균 채도는, 상기 후보 영역이 매우 둥글고 그리고 매우 노랗고 등의 조건이 만족된다면, 수용할만하다.

4. 교정

결함 후보 영역이 모든 필터들을 통과했고 결함을 공표했으면, 그 영역은 교정을 받아야만 하며, 상기 교정은 그 결함의 명도를 줄이는 것이어야 한다. 그러나, 많은 추가의 문제들, 즉, 상기 결함은 섬광 (glint)을 포함하고 있을 수 있다는 사실 그리고 또한 상기 결함 내부의 픽셀들의 명도를 줄이면 상기 영역의 경계에서 불쾌한 아티팩트들을 생성할 수 있다는 사실이 중점을 두어 다루어져야만 한다.

4.1 섬광 결함 (Glint detection)

따라서, 섬광 탐지 필터가 단계 212에서 적용된다. 일반적으로, 섬광은 그 결함의 나머지보다 더 밝고 그리고 채도는 더 작은 영역이다. 그래서, 상기 섬광 탐지 필터는 다음의 단계들을 적용한다:

- 검출된 결함 영역의 가장 밝은 n% 포인트들을 탐지한다.

- 탐지된 결함 영역의 가장 작은 채도의 m% 포인트들을 탐지한다. 결함 영역이 더 넓을수록 상기 섬광이 차지하는 영역은 더 작아진다는 것을 관찰한 것을 기초로 하여 m과 n 둘 다는 상기 결함 영역의 크기의 함수로서 선택된다. 또한, n > m 이며, 즉, 일부 결함들에서는, 상기 섬광보다 더 밝은 상기 결함의 부분들이 존재하기 때문에 가장 작은 채도의 픽셀들보다 더 많은 밝은 픽셀들을 검사하는 것을 허용한다 (예를 들면, 100개 내지 300개 사이의 픽셀들을 가지는 결함들에 대해서, m = 15, n = 30 등).

- 두 세트의 포인트들을 교차시킨다.

- 상기 교차의 관련된 컴포넌트들을 식별한다.

- 채도가 더 작은 것을 후보 섬광으로서 선택한다.

- 선택된 영역이 충분하게 둥글면 (외관의 비율 및 채움 (filling) 인수 두 가지 모두의 면에서 평가되는 둥근 정도), 그것은 섬광으로 선언되며, 그러므로, 교정되기 위해서 그것은 상기 영역으로부터 제거된다.

4.2 결함 교정

섬광 탐지를 한 후에, 상기 영역을 교정하는 것이 가능하다. 그러면 탐지된 결함 내부의 픽셀들의 명도를 고정된 계수에 의해, 예를 들면, 5에 의해 축소시킴으로써 (그래서 120에서 24로, 210에서 42로, 109에서 22로 등과 같이 축소시킴) 단계 214에서 교정이 진행된다. 결함 경계에서 상기 아티팩트들을 축소시키기 위해 (아티팩트들은 상기 결함 경계의 양 쪽 상에 위치한 픽셀들이 서로 아주 다르게 취급된다는 사실로 인해서 생성된다), 상기 결함 영역을 어둡게 한 후에, 상기 결함의 외부 경계 및 내부 경계 상에 3x3 블러링 (bluring)이 적용된다. 또한 적용된 다른 교정은 상기 결함을 둘러싸는 작은 크기의 박스 내에서의 적색 상태 교정이다. 그 목표는 상기 결함 영역에 포함되지 않은 눈의 불그스레한 부분들을 제거하는 것이며, 그 부분들은 이런 방식으로 처리되지 않는다면 많은 경우들에 있어서 보이는 상태로 여전히 남아 있는다.

본 발명은 여기에서 설명된 실시예(들)로 한정되는 것이 아니지만, 본 발명의 범위를 벗어나지 않으면서도 수정되고 변경될 수 있다.

일반적인 문제들

본 발명의 실시예들은 적목 결함 탐지를 실행하기 위한 장치들 및 방법들을 포함한다. 본 발명의 실시예들은 상기에서 다양한 특정한 세부 사항들과 함께 설명되었다. 그런 세부 사항들은 예들이며 그리고 변경될 수 있다는 것이 이해될 것이다.

본 발명의 실시예들은 다양한 동작들을 포함하는 것으로서 설명되었다. 많은 프로세스들이 그 프로세스들의 가장 기본적인 형식으로 설명되었지만, 동작들은 본 발명의 요지에서 벗어나지 않으면서 상기 프로세스들의 임의의 것에 추가되거나 또는 삭제될 수 있다.

본 발명의 동작들은 하드웨어 컴포넌트들에 의해 수행될 수 있을 것이며 또는 기계로 실행가능한 명령어들로 구체화될 수 있을 것이며, 상기 명령어들은 상기 명령어들로 프로그램된 범용 프로세서 또는 특수-목적 프로세서 또는 로직 회로들로 하여금 상기 동작들을 수행하도록 할 수 있을 것이다. 대안으로, 상기 동작들은 하드웨어와 소프트웨어의 결합에 의해 수행될 수 있을 것이다. 본 발명은, 본 발명에 따른 프로세스를 수행하도록 컴퓨터를 (또는 다른 전자 기기들을) 프로그램하기 위해 사용될 수 있을 명령어들이 저장된 기계로-읽을 수 있는 매체를 포함하는 컴퓨터 프로그램 제품으로서 제공될 수 있을 것이다. 상기 기계로-읽을 수 있는 매체는 플로피 디스켓, CD-ROM들, 자기-광학 디스크, ROM, RAM, EPROM, EEPROM, 자기 또는 광학 카드들, 플래시 메모리 또는 전자적인 명령어들을 저장하기에 적합한 다른 유형의 매체/기계로-읽을 수 있는 매체를 포함할 수 있을 것이지만, 그것들로 제한되지는 않는다. 또한, 본 발명은 컴퓨터 프로그램 제품으로서 또한 다운로드될 수 있을 것이며, 이 경우 상기 프로그램은 원격 컴퓨터로부터 요청하는 컴퓨터로 통신 셀 (예를 들면, 모뎀 또는 네트워크 접속)을 경유하여 반송파형 또는 다른 전파 매체로 구현된 데이터 신호들에 의해 전달될 수 있을 것이다.

본 발명이 몇몇 실시예들에 관해서 설명되었지만, 본 발명이 속한 기술분야의 통상의 지식을 가진 당업자는 본 발명은 설명된 실시예들로 한정되지 않으며, 첨부된 청구범위의 사상 및 범위 내에서 변형되고 변경되어 실시될 수 있다는 것을 알 수 있을 것이다. 그러므로 상기의 설명은 한정하는 것이 아니라 예시적인 것으로 생각되어야 한다.

Claims (12)

1. 눈 (eye)을 포함하는 디지털 이미지에서 적목 (redeye) 결함을 탐지하는 방법으로, 상기 방법은,
   (a) 상기 디지털 이미지를 명도 (intensity) 이미지로 변환하는 단계;
   (b) 상기 명도 이미지 중의 적어도 일부를, 각각이 국지적인 명도 최대값을 가지는 세그먼트들로 분할하는 단계;
   (c) 상대적으로 높은 명도인 영역들을 식별하기 위해 상기 디지털 이미지의 대응 부분에 문턱값 (threshold)을 적용하는 단계;
   (d) (c) 단계의 영역들의 적어도 몇몇으로부터 실질적으로 가장 높은 평균 명도를 가지는 영역을 선택하는 단계; 및
   (e) (d) 단계에서 선택된 상기 영역을 가로지르는 단계 (b)로부터의 세그먼트들을 미리 정의된 기준에 따라서 식별하는 단계;를 포함하는, 디지털 이미지에서의 적목 결함 탐지 방법.
2. 제1항에 있어서, 상기 방법은,
   미리 정의된 범위 내에 포함되는 크기를 가진 영역들을 (c) 단계로부터 식별하는 단계;를 더 포함하며, 그리고
   상기 실질적으로 가장 높은 평균 명도를 가진 영역은 상기 영역들로부터 선택되는, 디지털 이미지에서의 적목 결함 탐지 방법.
3. 제1항에 있어서,
   (e) 단계는 세그먼트들의 최대들이 (d) 단계에서 선택된 상기 영역 내에 위치한 세그먼트들을 (b) 단계로부터 식별하는 것을 포함하는, 디지털 이미지에서의 적목 결함 탐지 방법.
4. 제1항에 있어서,
   가장 높은 평균 명도 및 그 다음으로 가장 높은 평균 명도를 가진 (c) 단계로부터의 두 영역들의 평균 명도들은 미리 정해진 양보다 서로 더 많이 차이가 나며, 그러면
   단계 (d)에서 선택된 상기 영역은 가장 높은 평균 명도를 가진 영역인, 디지털 이미지에서의 적목 결함 탐지 방법.
5. 제1항에 있어서,
   가장 높은 평균 명도 및 그 다음으로 가장 높은 평균 명도를 가진 (c) 단계로부터의 두 영역들의 평균 명도들은 미리 정해진 양보다 서로 더 적게 차이가 나며, 그러면
   단계 (d)에서 선택된 상기 영역은 가장 높은 평균 채도를 가진 영역인, 디지털 이미지에서의 적목 결함 탐지 방법.
6. 제1항에 있어서, 상기 방법은,
   평균 이동 분할 (mean shift segmentation)을 하기 이전에 상기 명도 이미지에 국지적인 평균화를 하는 단계를 포함하는, 디지털 이미지에서의 적목 결함 탐지 방법.
7. 제1항에 있어서,
   단계 (a)는 상기 디지털 이미지의 명도 이미지를 평균 이동 분할하는 것에 의해 수행되는, 디지털 이미지에서의 적목 결함 탐지 방법.
8. 제4항에 있어서, 상기 방법은,
   평균 이동 분할하기 이전에 상기 명도 이미지에 국지적인 평균화를 하는 단계를 포함하는, 디지털 이미지에서의 적목 결함 탐지 방법.
9. 제1항에 있어서,
   (c) 단계는,
   상기 명도 이미지 내부의 가장 높은 명도 픽셀을 식별하여 획득된 문턱값을 이용하여,
   상기 가장 높은 명도 픽셀 상에 중심을 둔 더 작은 직사각형 내 픽셀들의 평균 명도를 계산하며 그리고 상기 평균 명도와 고정된 양 (quantity)의 합에 상기 문턱값을 적용하는, 디지털 이미지에서의 적목 결함 탐지 방법.
10. 제1항에 있어서, 상기 방법은,
    (f) 상기 (e) 단계로부터의 세그먼트들에 대응하는 상기 명도 이미지 일부의 명도 히스토그램을 계산하는 단계;
    (g) 상기 히스토그램을 평탄화하는 단계;
    (h) 상기 평탄화된 히스토그램으로부터 문턱값을 결정하는 단계; 및
    (i) 상기 (h) 단계로부터의 문턱값으로 상기 명도 히스토그램에 문턱값을 적용하는 단계;를 포함하는, 디지털 이미지에서의 적목 결함 탐지 방법.
11. 제1항에 있어서,
    눈 (eye)을 포함하는 것으로 여겨지는 이미지의 하나 또는 그 이상의 부분들에 상기 (a) 단계 및 (b) 단계가 적용되는, 디지털 이미지에서의 적목 결함 탐지 방법.
12. 제1항의 방법을 수행하는 수단을 포함하는 디지털 이미지 획득 및 프로세싱 장치.

Images