KR101049188B1 - 사진에서의 눈동자 결함의 2단계 검출 - Google Patents

Abstract

적목 결함의 검출은 임베디드된 이미지 획득 및 처리 시스템의 디지털 이미지에서 향상된다. 2 단계 적목 필터링 시스템은, 후보 적목 영역의 초기 분할을 수행하고 정정을 위한 확인된 적목 영역의 제1 세트를 결정하기 위하여 거짓/검증 필터의 속도-최적화된 세트를 선택적으로 적용하는 속도에 최적화된 필터를 포함한다. 제1 단계 동안에 반려된 후보 영역의 일부는, 확인된 적목 영역의 제2 세트를 결정하기 위하여 다른 세트의 해석-최적화된 필터에 의해 제2 단계 동안에 기록되고 재해석된다.

Description

사진에서의 눈동자 결함의 2단계 검출{Two stage detection for photographic eye artifacts}

본 출원은 2007년 3월 5일에 출원된 미국의 임시특허출원 제60/892,884호의 우선권의 이익을 주장하며, 이는 참조에 의해 병합된다. 또한 본 출원은 2006년 8월 2일에 출원된 미국 특허출원 제11/462,035호과 2005년 11월 18일에 출원된 미국 특허출원 제11/282,954호의 일부계속출원(Continuation-in-Part, CIP)이며, 이들은 참조에 의해 병합된다.

본 발명은 디지털 이미지 처리 및 더욱 구체적으로는 획득된 디지털 이미지에서의 적목 및 다른 인위적인 결함들을 검출하는 방법 및 장치에 관련된다.

적목은 플래시 조명이 있는 카메라에 의해 획득된 이미지에 나타나는 사람 눈동자의 부자연스러운 적색 착색된 모습이다. 적목은 플래시에서 방출되어 사람의 망막에 있는 혈관들에서 반사되고 카메라로 되돌아간 빛에 의해 야기된다.

많은 수의 이미지 처리 기술들이 컬러이미지들에서 적목을 검출하고 정정하기 위하여 제안되었다. 일반적으로, 이러한 기술들은 정형적으로 반자동식이거나 자동식이다. 반자동식 적목 검출기술들은 사람의 입력에 의존한다. 예를 들어 일부 반자동식 적목 저감 시스템들에서, 사용자는 결함들이 정정될 수 있기 전에 적목을 포함하는 이미지의 영역들을 수동으로 시스템에 식별시켜야 한다.

많은 자동식 적목 저감 시스템들은 적목 영역들이 검출되기 전에 예비적인 얼굴 검출 단계에 의존한다. 보통의 자동식 접근은 이미지에서 얼굴들을 검출하고 그 후에 각각의 검출된 얼굴 내에서 눈을 검출하는 것을 포함한다. 눈의 위치가 검출된 후에, 적목은 검출된 눈 위치들에 대응되는 이미지 영역들의 형태, 착색 및 밝기에 기초하여 식별하게 된다. 일반적으로, 얼굴검출에 기초한 자동식 적목 저감 기술은 높은 수준의 계산과 메모리 자원이 요구된다. 이에 더하여, 대부분의 얼굴 검출 알고리즘들은 정면을 향하는 얼굴들만을 검출할 수 있다; 이러한 접근들은 이미지 평면에 대해 평면내(in-plane)이나 평면외(out-of-plane)에서 회전하는 얼굴들을 검출할 수 없다.

전형적인 선행기술의 적목 필터 프로세스는 도 1a에 도해된다. 입력 이미지는 먼저 화소 레벨(103)에서 속도 최적화된 적목 검출 단계(100)에 의해 분석되며, 후보 적목 영역(104)으로 분할된다. 다음으로, 연이어진 거짓 및 검증 필터(106)가 후보 영역에 적용되고, 이에 따라 확인된 적목 영역의 한 세트(108)가 결정된다. 다음으로, 정정 필터(화소 변경기)(102)가 확인된 영역에 적용되고, 적목에 대해 정정된 최종 이미지(112)가 생성된다.

예시적인 선행기술은, 획득된 디지털 이미지에서 적목 화소들의 인-카메라(in-camera) 검출과 정정을 개시한 드루카(DeLuca)의 미국특허 제6,407,777호; 핸드-헬드 장치에 최적화된 적목의 자동화된 실시간 검출 및 정정이 개시된 스타인베르크(Steinberg)의 미국특허출원 제2002/0176623호; 및 디지털 이미지와 임베드된 시스템에서 각각 적목을 검출 및 정정하는 구성이 개시된 루오(Luo) 등의 미국특허출원 제2005/0047655호 및 제2005/0047656호;를 포함한다.

오늘날 전형적인 디지털 카메라들에 구현된 것과 같은 이미지 획득 서브시스템 내에서, 최고치의 컴퓨팅 부하 및 자원 요구가 이미지 획득의 시간대에 발생된다는 것은 잘 알려져 있다. 사용자로부터 이미지 획득 요청을 받음에 따라, 메인 임베드된 프로세싱 시스템은 최적의 메인 획득된 이미지를 달성하기 위하여 이미지 초점과 노출을 세밀하게 해야 한다; 이 이미지는 차례로 카메라의 메인 광 센서로부터 부하가 걸리지 않도록 해야 하며, 로 포맷(raw format)(예를 들어, 바이엘(Bayer))으로부터 RGB 또는 YCC와 같은 통상적인 색공간(color space)으로 변환시키는 추가적인 이미지 처리가 이루어지도록 한다. 최종적으로 획득된 이미지는 컴팩트 플래시나 멀티미디어 카드와 같은 착탈식 저장매체에 저장하기에 앞서 압축되어야 한다.

첫번째 이미지의 획득으로부터 복귀하고 두번째 이미지를 포획하기 위하여 그 자신을 재초기화하기 위하여 카메라가 소요한 시간은 "클릭-투-클릭(click-to-click)" 시간으로서 산업계에 알려져 있다. 이는 최신의 디지털 카메라들의 비교 및 마케팅에서 가장 메인 파라미터들 중 하나이기 때문에, 상기의 "클릭-투-클릭" 시간을 최소화하는 것이 제조업자들에게 절대적으로 필요하다. 따라서, 메인 이미지 획득 사슬에 추가되는, 적목 필터링과 같은, 어떠한 추가적인 영상 처리도, 메인 시스템의 "클릭-투-클릭" 시간에의 영향을 최소화 하기 위하여 실행 속도에 대해 최적화되어야 한다.

명백하게 적목 필터와 같은 것은 적목 결함의 검출의 정확성과 이미지 정정의 품질의 관점에서 전반적인 성능과 타협해야 한다. 일 대안은 메인 이미지가 획득된 후까지 기다리고 카메라가 백그라운드 프로세스로 필터를 실행할 때 적목 필터링을 수행하거나 또는 데스트톱 PC나 프린터에서 카메라와 별개로 적목 필터링을 수행하는 것일 수 있다.

그러나 이러한 접근 방법에는 몇가지 불리한 점들이 있다. 첫째로, 이미지들은, 획득 직후, 정정되지 않은 적목 결함을 가진 채로 획득 장치상에 표시될 것이다; 그리고, 이미지들이 재생 모드에서 접근될 때, 이미지가 표시될 수 있기 전에 이미지들이 후처리되는 동안에 추가적인 지연이 있을 것이다. 이들 두 단점은 최종 사용자들에게 부정적인 인상을 줄 수 있다.

나아가, 손실 압축 기술을 이용하는 실질적으로 모든 디지털 카메라들에게는, 이미지들이 재생 모드나 백그라운드 모드들에서 적목 검출 및 정정 프로세스를 수행하기 위하여 압축 해제 및 재압축이 되어야 하므로, 이미지 품질의 관점에서 추가적인 불리한 점들이 있다. 이러한 이미지 품질의 손실은, 사용자가 이미지를 인쇄하고자 할 때까지 명확하게 나타나지 않을 수 있으며, 프로세스를 되돌리기에 너무 늦게 된다.

만약 적목 처리가 데스크톱 컴퓨터나 프린터와 같은 또다른 장치에 로드될때까지 지연되게 되면, 추가적인 불리한 점들이 있다. 첫째로, 획득 장치와 관련되는 중요 메타데이터와 이미지 획득시의 상태가 적목 필터 프로세스에서 유용하지 않을 수 있다. 두번째 불리한 점은, 이러한 후처리 장치가 이미지 전체에 대해 적목 필 터링을 수행하여야 한다는 점이다; 이러한 장치는 프린터와 같은 임베디드 장치이며, 그 자체는 주요 후처리 활동에 대해 CPU 사이클과 프로세싱 자원의 관점에서 상대적으로 압박될 수 있으며 전체 적목 필터의 성능을 최적화하는 것이 바람직할 것이다.

적목 결함의 검출은 임베디드된 이미지 획득 및 처리 시스템의 디지털 이미지에서 향상된다. 2 단계 적목 필터링 프로세스는, 속도 최적화된 필터가 후보 적목 영역의 초기 분할을 수행하고 정정을 위한 확인된 적목 영역의 제1 세트를 결정하기 위하여 거짓/검증 필터의 속도-최적화된 세트를 선택적으로 적용하는 것에 의하여 제공된다. 제1 단계 동안에 반려된 후보 영역의 일부는, 확인된 적목 영역의 제2 세트를 결정하기 위하여 다른 세트의 해석-최적화된 필터에 의해 제2 단계 동안에 기록되고 재해석된다.

다른 실시예에서, 확인된 적목 영역의 제1 세트는 단계-2 해석-최적화된 필터를 경유할 수 있다.

다른 실시예에서, 상기 제2 단계 필터는 확인된 적목 영역의 제1 세트에 선택적으로 적용될 수 있는 향상된 정정 필터를 통합시킬 수 있다.

2-단계 적목 필터가 실행되며, 여기서 속도에 최적화된 제1 적목 필터 프로세스가 정확한 이미지 해석에 최적화된 제2 적목 프로세스와 결합된다. 이에 따라, 메인 이미지 획득 사슬 내에서 실행된 적목 필터의 유리한 점은 백그라운드/재생 모드에서 실행되는 적목 필터들의 유리한 점들과 합쳐지며, 이들 두 접근 방법의 불리한 점들은 대부분 상쇄된다.

느린 플랫폼(삼성에 대한 후지쯔처럼)에 대해, 재생 모드에서, "RE 리브(lib)"는 그 뒤로 불려지며, 바람직하게는 그 뒤로 바로, (예를 들어, 사용자의 명령을 기다리지 않은 채) 이미지는 스크린에 표시된다. 카메라는 멀티- 태스킹할 수 있으며 및/또는 그밖의 것을 할 필요가 있을 때, 백그라운드 태스크(task)를 재빨리 포기할 수 있다. 이는, RE 함수가 실행될 때, 사용자에게 즉각적인 또는 실시간 결과를 준다. RE의 존재는 예를 들어 플래시 영역에서와 같은 사진 내에서 제공될 수 있다.

그밖의 기법은 디지털 이미지를 처리하기 위해 제공된다. 후보 얼굴 영역은 획득된 디지털 이미지로부터 얻어진다. 이러한 후보 얼굴 영역은 후보 적목 영역의 제1 세트를 생성하기 위하여 제1 속도 최적화된 필터로서 필터링된다. 획득된 디지털 이미지의 적어도 일 부분은 부호화된다. 획득된 디지털 이미지의 부호화된 부분은 상술한 부호화된 이미지의 추후의 이미지 처리를 위해 후보 적목 영역의 제1 세트와 함께 저장된다.

또한 하나 또는 복수의 거짓/검증 필터의 속도 최적화된 세트가 적용될 수 있다. 후보 적목 영역의 제1 세트는 해석-최적화된 필터를 경유할 수 있다. 필터링에 의해 반려된 후보 얼굴 영역은 필터링, 인코딩 및 저장 후에 종종 해석-최적화된 필터를 경유할 수 있어, 하나 또는 복수가 후보 적목 영역으로 결정될 수 있다. 제1 속도 최적화된 필터는 이미지 획득에 적용될 수 있으며, 해석-최적화된 필터는 백그라운드 또는 재생 모드 또는 양쪽 모드에서 적용될 수 있다.

이는 금색 눈동자 제거와 같은 더욱 복잡한 프로세스에 적용될 수 있다. (예를 들면, "2 단계" 프로세스는 실시간으로 적목을, 백그라운드에 금색 눈동자를 제거할 수 있다. 2-단계 프로세스는 획득 사슬 동안의 고속 필터와 그후에, 카메라가 쉬고있거나 또는 제2의 장치에서, 적용되는 저속기, 해석 최적화된 필터를 포함할 수 있다. 이는 특히 느린 장치에 도움이 되며, 재생뿐만 아니라 일반적으로 카메라가 사진을 찍고 있지 않을 때의 백그라운드 프로세스에서도 예측될 수 있다. 디스플레이상에는 적목이 수행되었음을 보여주는 아이콘 및/또는 플래시 영역이 있을 수 있다.

도 1a는 전형적인 선행기술의 적목 처리를 도해한다.

도 1b는 일 실시예에 따르는 적목 처리를 도해한다.

도 1c는 다른 실시예에 따르는 적목 처리를 도해한다.

도 2a는 디지털 이미지 획득 장치내의 본 발명의 일 실시예를 도해한다.

도 2b는 본 발명의 일 실시예로, 해석 최적화된 필터가 최초 획득 장치에 대해 별개인 장치상에서 수행되는 것을 도해한다.

도 3a는 본 발명의 일 실시예에 따르는 프로세스로, 그것에 의하여 속도 최적화된 적목 검출기가 부분적으로 압축된 DCT 블록 이미지에 적용되는 것을 도해한다.

도 3b는 적목 DCT 전치 필터를 채용한 개선된 인-카메라 적목 검출 수단의 도식적인 구현예의 작업순서도이다.

도 3c는 적목 DCT 전치 필터의 도식적인 구현예의 작업순서도이다.

도 3d는 적목 DCT 전치 필터의 분할 단계를 도해한다.

도 3e는 4-DCT 블록 이웃을 보여준다.

도 4a는 직사각형 그리드 상에 매핑한 눈동자 영역을 도해한다.

도 4b는 도 a의 이미지가 DCT 도메인안으로 변형된 후 각 DCT 블록의 DC 계수에 의하여 기록될 근사적인 컬러를 도해한다.

도 4c, 도 4d 및 도 4e는 포괄적인 컬러 결정 필터 방법을 사용하여, 각기, 적목 후보 영역, 백목 영역 및 피부색 영역의 컬러들에 의해 식별될 수 있는 도 4에 도시된 DCT 블록을 도해한다.

도 5는 일 실시예에 따르는 변형된 적목 필터링 프로세스의 기능상 실행을 도해한다.

도 6a는 헤더에 저장된 최초 결함 영역과 메인 이미지 바디에 적용된 정정된 결함 영역의 예를 도해한다.

도 6b는 헤더에 저장된 정정된 결함 영역과 메인 이미지 바디에 정정되지 않은 생태로 남아 있는 최초 결함 영역의 예를 도해한다.

6c는 헤더에 저장된 최초 결함 영역과 적어도 하나의 대체적인 정정된 결함 영역과 메인 이미지 바디에 적용되는 선택적으로 결정된 정정 결함 영역의 예를 도해한다.

도 7 및 도 8은 다른 실시예들에 따르는 변형된 적목 필터링 프로세스들의 기능상 실행들을 도해한다.

적목 결함의 검출은 임베디드된 이미지 획득 및 처리 시스템의 디지털 이미지들에서 향상된다. 2-단계 적목 필터링 프로세스는, 속도 최적화된 필터가 후보 적목 영역의 초기 분할을 수행하고 정정을 위한 확인된 적목 영역의 제1 세트를 결정하기 위하여 거짓/검증 필터의 속도-최적화된 세트를 선택적으로 적용하는 것에 의하여 제공된다. 제1 단계 동안에 반려된 후보 영역의 일부는, 확인된 적목 영역의 제2 세트를 결정하기 위하여 다른 세트의 해석-최적화된 필터에 의해 제2 단계 동안에 기록되고 재해석된다.

다른 실시예에서, 확인된 적목 영역의 제1 세트는 단계-2 해석-최적화된 필터를 경유할 수 있다.

다른 실시예에서, 상기 제2 단계 필터는 확인된 적목 영역의 제1 세트에 선택적으로 적용될 수 있는 향상된 정정 필터를 통합시킬 수 있다.

2-단계 적목 필터가 실행되며, 여기서 속도에 최적화된 제1 적목 필터 프로세스가 정확한 이미지 해석에 최적화된 제2 적목 프로세스와 결합된다. 이에 따라, 메인 이미지 획득 사슬 내에서 실행된 적목 필터의 유리한 점은 백그라운드/재생 모드에서 실행되는 적목 필터들의 유리한 점들과 합쳐지며, 이들 두 접근 방법의 불리한 점들은 대부분 상쇄된다.

하나의 일반화된 실시예가 도 1b에 도해된다. 입력 이미지(110)는 화소 해석기(103)에 의해 처리되고, 일 세트의 후보 영역(104)으로 세그먼트화되며, 그 후에 일 세트의 거짓/확인 필터(106)을 경유한다. 이들 모든 요소들은, 본 실시예에서 필터(100)가 변형되어 선행기술의 속도 최적화된 필터에서 그들 사이즈 또는 소정의 문턱(threshold) 보다 낮은 확률에 기초하여, 마지막으로 거짓 양성으로 분류되었을 후보 적목 영역이 연이어진 최적화된 해석(101)에 대해 후보 영역(109)로 대신 저장되도록 한다는 점을 제외하고는, 도 1a의 필터(100)에 일반적으로 대응되는 속도 최적화된 적목 검출 필터(100)를 형성한다.

따라서, 본 실시예에서 거짓/검증 필터(106)는 상기 확인된 적목 영역의 세트(108)뿐 아니라 이차적인 후보 영역의 세트(109)를 생성한다. 이차적인 후보 영역의 세트는 최초 후보 영역 세트(104)의 멤버들을 포함할 수 있으며, 이들은 속도 최적화 적목 검출 프로세스(100)에 의하여 확인되지 않거나 소거되지 않을 수 있다. 또한 이는 서로에게 가까운 근접영역에 결합된 후보 영역들을 포함할 수 있다.

후보 영역(109)의 이 세트는 본 실시예의 실행에 따라서 RAM 버퍼, 또는 비휘발성 메모리에 저장된다. 데이터가 RAM(또는 휘발성) 메모리에 저장되는 곳에, 이미지 획득 시스템은 전원을 끄기에 앞서 이미지에 제2 단계 적목 필터를 적용하여야 한다. 바람직한 형태의 저장은 비휘발성 메모리 또는 착탈식 멤모리 카드에 있다. 다른 실시예에서, 이 데이터는 부분 처리된 이미지 자체와 함께 이미지 헤드에 저장될 수 있다.

본 실시예에서, 제2 단계, 해석 최적화된 적목 필터(101)는 다음으로 후보 영역의 제2 세트(109)에 적용된다. 해석 최적화된 검출 프로세스(101) 동안에, 저장된 후보 영역(109)은 속도 최적화된 프로세스 동안 보다는 보다 높은 해상도로 더 해석되는 것이 바람직하다. 따라서, 필터(101)는 거짓 및 검증 필터(116)의 해석 최적화된 세트를 포함하며, 이는 그 자체 특성 또는 속도 최적화된 해석에 채용되는 거짓 및 검증 필터(108)로부터의 동작 매개변수에서 다르다. 그럼에도 불구하고, 증가된 이미지 해상도에서 최적화된 해석의 하나 또는 복수의 중간 단계를 실행하는 것이 유용할 수 있다는 점은 이해될 수 있을 것이다. 이는 이미지 응용기기의 하드웨어적 성능과 이미지 응용기기의 이미지 처리 서브시스템 내의 사용가능한 자원에 의존할 것이다.

제 2 단계 해석은 다양한 외부의 이벤트들에 상응하여 발생될 수 있다. 예를 들어, 사용자는 이 필터(101)가 적용되도록 하는 이미지 재생을 시작할 수 있다. 다른 것으로, 카메라는 소정의 간격 동안 아이들(idle) 상태에 있다는 신호를 주고, 이에 따라 백그라운드 적목 프로세스가 시작될 수도 있다. 카메라가, 예를 들어 자동 초점 데이터로부터, 그것의 동작을 결정할 수 있는 상태에서, 카메라가 아이들 상태에서, 예를 들어, 이미지 초점이 소정 간격동안 변하지 않고 어떠한 사용자의 입력도 받지 않는 상태에서, 단계-2 적목 필터링을 포함하는 백그라운드 이미지 프로세스가 실행될 수 있다고 생각될 수 있다.

확인된 적목 영역의 일 세트(118)가 제 2 단계 적목 필터(101)에 의해 결정된 후에, 정정 필터(화소 변경기)(102)가 적용되고, 이러한 정정된 영역은 최종 정정된 이미지(113)를 생성하기 위하여 초기 정정된 이미지(112)와 병합된다(115).

다른 실시예는 도 1c에 도해되며, 초기 정정된 이미지(112)를 단계-2 필터(101)에 의해 결정되는 정정된 영역과 병합시키기 보다는, 단일 정정 필터(화소 변경기)(102b)가 제2 단계 적목 필터(101) 후에 적용된다는 점에서 도 1b의 실시예와 다르다, 필터(102b)는, 최종 정정된 이미지(113)를 생성하기 위하여, 최초 확인된 적목 영역(108)과 제2 단계 확인된 적목 영역(118) 양자를 정정하여 한다.

도 2a는 디지털 이미지 획득 장치내에서의 본 발명의 실시예를 설명한다. 속도 최적화된 적목 필터(411)는 검출 프로세스(411-1, 411-2, 411-4) 및 선택적으로, 정정 프로세스(411-3) 양자를 포함할 수 있다. 마찬가지로, 분석 최적화된 적목 필터(412)는, 백그라운드 프로세스로서 작동할 수 있는 것으로, 속도 최적화된 필터(411)의 최초 결정에 대한 추가적인 세밀화와 정정을 실행할 수 있다. 이러한 초기 결정들에 관련된 데이터는 이미지 저장소(410)에서 획득된 이미지(410-2)와 함께 저장되는 적목 필터 메타데이터(410-5)에 의해 제공된다.

도 2b는 도 2A의 실시예의 변형예를 도해하며, 여기서 해석 최적화된 적색 필터는 최초 획득 장치에 대해 별개인 장치(400)상에 수행된다. 이는, 예를 들어 데스크톱 PC나 프린터가 될 수 있다. 다른 예들에서, 카메라는 네트워크나 웹 서비스에 직접적으로 연결될 수도 있다. 이미지 데이터 이송 수단(404a, 404b)는 두 장치 사이의 포인트-투-포인트(point-to-point) 통신이 될 수 있다; 2개의 장치 사이에서 물리적으로 교환되는 착탈식 기억 매체, 또는 양자 택일로 양쪽 장치는 인터넷과 같은 공통 네트워크에 연결될 수 있다. 다른 예에서 적목 필터 메타데이터(410-5)는 JPEG 헤더에 메타데이터를 더함으로써 메인 영상 데이터(410-2)와 함께 합쳐질 수 있다. 또한 백그라운드 적목 필터들이 최초 획득 장치(400)와 별개의 장치(400´) 양쪽에서 작동될 수 있다는 점은 명백할 것이다. 그러나 출원인은 더욱 정교해지는 다중 적목 필터를 지지하는 것이 매우 복잡하고 상세한 메타데이터 가 분석되고 정정되는 이미지와 함께 교환되고 저장될 것을 요구한다는 것을 언급한다.

예시적으로, 속도 또는 해석 최적화된 적목 필터(411, 412)에서 검출될 수 있는 몇 개의 전형적인 필터들의 비한정적 리스트는, 미국 출원 제10/976,336호를 본다 (참조번호 FN206US).

전술한 실시예에서, 속도 최적화된 적목 검출(100)은 바람직하게는 서브-샘플된 입력 아미지에 적용된다. 이 속도 최적화된 적목 검출(100)로부터 확인된 적목 영역(108)은 적목 정정 모듈(102/102a)로 통과한다. 정정된 적목 이미지(112)는 이미지 획득 프로세스가 사용자에게 적목 정정된 이미지를 거의 즉각적으로 제공한 후에 곧바로 디지털 카메라의 저 해상도 스크린에 표시될 수 있다. 그러나, 예를 들어 얼굴이 대부분의 이미지를 차지하는 초상화 스타일 이미지이거나 매우 높은 확률로 적목 영역이 존재하는 경우에서와 같이, 초기 정정된 이미지(112)가 적절히 정정되었을지라도, 후보 적목 영역이 더 작거나 덜 명확한, 큰 그룹의 사람들을 포함한 이미지에 대해 적절하게 정정되지 않을 수 있다. 따라서, 이미지 획득 후, 최종 이미지(113)를 보다 큰 뷰어(viewer)에 표시하거나 이미지를 인쇄하기에 앞서, 제2 해석 최적화된 적목 필터링 프로세스(101)가 실행된다. 본 발명의 유리한 점으로 해석 최적화된 적목 검출(101) 및 정정(102)의 프로세스들은 사용자에 의해 이러한 고해상도 보기 내지 인쇄되는 것이 요구되기 전까지 미루어질 수 있다는 점이 언급될 수 있다.

도 2a와 도 2b에 도해된 실시예들에서, 메인 이미지의 서브-샘플된 버전들은 또는 메인 이미지의 정정되지 않은 풀사이즈 버전들과 함께, 복호화된 풀사이즈 메인 이미지를 명시적으로 서브-샘플링하기를 필요로 하기보다는 메인 이미지 획득 장치 하드웨어(402)로부터 직접적으로 제공될 수 있다는 점은 유념되어야 한다.

이 경우에서처럼, 도 1c에서, 이미지 보정이 획득 사슬내에 이미지들에 수행되는 것이 필요하지 않고 속도 최적화된 적목 검출이 획득 사슬에서 수행되었던 획득된 이미지에 대해 백그라운드에서 사실상 수행될 수 있다. 이것은 이미지 압축이 메인 이미지 획득 사슬(401)의 일부분으로서 하드웨어에서 종종 수행되는 많은 이미지 획득 응용기기들에 있어서 유리하다. 본 실시예에서는, 단지 검출 프로세스가 획득 사슬에서 실질적으로 수행된다. 후속하여 속도 최적화된 정정 또는 전체 해석 최적화된 적목 필터가 이미지 재생/보기할 때에 카메라 내의 기설정된 세팅이나 사용자의 선택에 기초하여 재생모드에서 선택되어질 수 있다.

도 3a의 실시예에서, 획득된 미처리 이미지(402)는 DCT 압축 블록(408-1)에 제공되기 전에 부분적으로 처리된다(404). 이 블록은 본질적으로 획득된 이미지의 서브샘플을 제공하며, 도시되지는 아니하였으나, 이는 전술한 이미지 저장소(410)로 제공되어질 수 있다. 다음으로, 속도 최적화된 적목 검출기(428)는 부분적으로 압축된 DCT 블록 이미지에 적용되고 정정된 영역 및 의심되어진 미정정된 영역 양쪽에 해당되는 DCT 적목 후보 영역은 저장소(410)에 저장되기 위하여 출력된다. 화소 레벨에서보다 DCT 블록 레벨에서 속도 최적화된 정정이 적용됨에 따른 유리한 점은, 명시적인 이미지 서브샘플링 단계의 필요성이 제거되고, 그럼에도 여기에 인용된 선행기술에서 상세히 기술된 것처럼 서브샘플 이미지에 적목 분석을 적용하는 이점이 유지된다는 것이다.

메인 이미지 획득 사슬(401)에 합쳐진 DCT 전치 필터(428)에 의해 출력된 영역은, 이미지가 백그라운드 필터 모듈(26)과 같은 필터에 의해 후속하여 정정될 때, DCT 블록 스트림의 대부분이 처리되지 않고 우회되도록 유리하게 할 수 있다. 이것은, 해석 최적화된 적목 필터(406)에 의한 처리를 요청하도록 결정된 DCT 블록의 훨씬 더 빠르거나 더 상세한 해석과 필터링을 가능하게 한다. 당해 분야의 기술자라면, 본 실시예들이 메인 이미지 획득 사슬(401)과 백그라운드 적목 검출 및 정정 프로세스(426) 사이에서 DCT 전치 필터와 그밖의 통상적인 적목 필터(406)의 태양을 분리할 수 있는 그밖의 예들을 알 수 있을 것이다.

도 3b는 적목 DCT 전치 필터(428)의 동작을 보다 상세히 보여준다. 이 특정 예는 어떻게 DCT 전치 필터가 도 3a의 메인 이미지 획득, 처리 및 압축 사슬(402, 404, 408)와 통합될 수 있는지를 설명한다. 필터링된 DCT 이미지는 먼저 메인 DCT 전치 필터(428)가 적용된 후에 메모리로 로딩된다(902). 이는 3개의 주요 단계를 가지고 있다: 맨먼저 이미지의 DCT 블록은 스캔되고(904) 적절한 DCT 계수는 추출된다. 필터의 정교함에 따라서, 단지 각각의 DCT 블록의 DC 요소들이 후속하는 해석에 활용될 수 있다. 다르게는, AC 요소들의 일부가 전치 필터 동작의 일부분으로서 일부의 질감(texture) 또는 선명(sharpness)/흐림(blur)의 결정을 허용하기 위하여 추출될 수 있다.

DCT 전치 필터의 제2 주요 단계에서, DCT 블록은 904 단계에서 추출된 계수로부터 결정된 복수의 기준에 기초하여 세그먼트화 및 그룹된다(906). 최종적으로, 최종 후보 적목 그룹을 결정하기 위하여 영역에 기초한 해석이 수행된다(907). 다음으로, 어떠한 유효한 후보 그룹핑이 있는지, 노말 JPEG 압축 프로세스가 재시작(408-2)되지 않는지를 결정한다(908). 만일 후보 영역이 결정되면(908), 다음으로 경계영역이 각각에 대해 도 3a의 메인 선행 적목 필터 프로세스(606)의 일부분으로서 사용될 수 있는 다양한 눈 영역 특징을 포함하도록 충분히 크도록 결정될 수 있다. 만일 플래시 눈동자 결함인 영역의 확실성이 충분히 높으면, 바운딩 박스(bounding box) 영역은 비트맵 포맷으로 복원되고(912) 속도 최적화된 적목 필터 사슬는 메인 이미지의 그 영역을 정정하기 위하여 적용된다(914). 다음으로 비트맵 공간에 정정된 영역은 정수의 8x8 블록 경계들에 매핑되고 후속하여 DCT 도메인에 덮여 쓰여진다(920). 최종적으로, 노말 JPEG 압축은 재시작된다(408-2). 전술한 바와 같이, 정정된 영역 경계들과 의심되는 영역 경계들 각각은 추후의 해석 최적화된 검출 및 정정에 사용되기 위하여 출력된다.

도 3c는 도 3b의 영역에 기초한 해석(907)을 보다 상세히 보여준다. 먼저, DCT 계수는 임시 메모리 기억부의 DCT 이미지로부터 읽어진다(930). 이들 계수는 다음으로 일 세트의 기준 테이블(932)로 전처리된다. 각 테이블은 본질적으로 NxM의 사이즈를 갖는 수치적 테이블이며, 해석되는 이미지 안에 NxM DCT 블록들이 있다. 예를 들어, 이러한 테이블 하나는 플래쉬 눈동자 결함이 포함되고 각 DCT 블록의 휘도(luminance; Y)와 적색 색도(red chrominance; Cr) 요소에 대한 DC 계수로부터 유도된 컬러 범위를 강조하기 위하여 표준화된 적색 색도 요소를 포함할 수 있다. 또다른 테이블은 이웃하는 DCT 블록으로부터 유도되고 가장자리 검출에 사용 되는 다른 값을 포함할 수 있다; 그밖의 다른 테이블은 일 세트의 이웃하는 DCT 블록을 가로질러 계산된 다양한 값을 포함할 수 있다. 당해 분야의 당업자라면 DCT 전치 필터의 실행이 더욱 정교해질 수도록 다중의 추가적인 기준이 알고리즘내에 결합될 수 있다는 점을 이해할 수 있을 것이다.

각각의 기준들 테이블에 대해 요청된 계산들이 완성된 후에(932) 이들은 임지 저장소로 복사되고(933), 다음으로 전치 필터 알고리즘은 복수의 기준 테이블들 각각에 대해 필터링과 분할 단계를 수행한다(907). 이러한 특징적인 단계는 다음의 도 3d에 상세히 설명된다. 현 단계에서, 전치 필터는 복수의 기준 테이블들의 분할 분석에 기초하여 그룹지어진 복수의 DCT 블록 세트를 결정하였다. 플래시 결함 후보 영역의 최종 세트를 결정하기 위하여 이들 그룹지은 것을 분류 및 분석하는 것이 필요한다.

이 영역-기초한 해석(936)은 당해 분야의 기술자들에게 이미 알려져 있는 다수의 다른 기술을 포함한다. 특히, 영역들은 포괄적, 배타적이고, 덜 빈번하게 상호 배타적인 조합으로 결합될 수 있다(936-1); 영역에 기초한 해석에 대한 다른 접근 방법은 템플레이트 매칭을 채용할 수 있으며(936-2), 이의 일례는 나카노(Nakano)의 미국 특허 제5,805,727호에 개시되는바, 이 문헌에는 이미지 내에서 DCT 블록의 DC 계수에 기초한 거친 및 세밀한 템플레이트 매칭 기술 양자를 이용하여 DCT 이미지 내에서 서브영역을 매칭하는 것이 개시된다.

해석을 기초한 영역의 중요한 성분은 사실상 2개의 명백한 겹치진 영역일 수 있는 더 큰 영역, 또는 사실상 단일의 더 큰 영역일 수도 있는 더 작은 영역의 클 러스터를 해석하는 것을 맡은 재분할 엔진(92-6)이다. 다음으로, 일단 영역에 기초한 해석(936)이 완성되면, 결정된 플래쉬 결함 후보 영역의 리스트를 포함하는 최종 LUT는 얻어지고 시스템 메모리에 쓰여진다.

도 3d는 적목 DCT 전치 필터의 세크먼트화 단계(907)를 보다 상세히 보여준다. 세그먼트화 프로세스에 의해 처리될 다음의 전처리 기준 테이블은 먼저 로드되고(950), 영역 그룹핑 프로세스를 위해 LUT의 라벨링이 초기화된다(950). 다음으로, 현재 DCT블록과 DCT 블록의 이웃들은 초기화된다(954).

도 3e는 3개의 상부 DCT 블록을 포함하는 도면에서 밝은 회색으로 명암지게 된 4-DCT 블록 이웃(992)과 현재 DCT 블록(994)의 왼쪽의 도면에서 어두운 회색으로 명암지게 된 DCT 블록을 도식적으로 표시한 것을 보여준다. 이 4-블록 이웃은 예시적인 본 실시예의 라벨링 알고리즘에 사용된다. 대조 테이블(look-up table. LUT)은 대응되는 라벨들을 갖도록 정의된다.

다시 954 단계로 돌아가면, 초기화가 완성된 후, 도 3d의 워크플로우(workflow)에 대한 다음 단계가 좌상단에서 우하단으로 래스터-스캔하며, 현재 기준 테이블의 모든 요소들에 대하여 재귀 반복이 시작되는 것을 볼 수 있다. 다음으로, 워크플로우는 현재 기준 테이블 값이, 현재 DCT 블록과 함께, 후보 적목 영역에 대해 자격기준을 만족하는지를 결정한다(958). 본질적으로 이는 현재 기준 테이블 값이 플래시 눈동자 결함과 호환되는 속성을 가지고 있는 것을 암시한다. 만약 현재 기준 테이블 값이 세그먼트에 대한 자격 기준을 만족시키면(958), 알고리즘은 4-블록 이웃에 다른 멤버 DCT 블록을 체크한다(960). 만약 다른 멤버 블록이 없으면, 현재 블록은 현재 라벨의 멤버로 할당된다(980). 다음으로 LUT는 업데이트되고(982), 현재 라벨 값은 증분된다(984). 만약 4-블록 이웃에 다른 멤버 블록이 있으면(960), 현재 블록은 가장 낮은 라벨 값을 가지는 세크먼트에 자격이 주어지고(962), 이에 따라 LUT는 업데이트된다(516). 현재 블록이 플래쉬 눈동자 결함 세그먼트의 일부분으로 분류되거나(962 또는 980), 또는 958 단계 동안에 후보 결함 영역의 멤버가 아닌 것으로서 분류되된 후에, 테스트는 그것이 이미지에서 마지막 DCT 블록인지를 결정하는 단계(966)가 수행된다. 만약 현재 블록이 LUT의 마지막 블록이라면, LUT의 최종 업데이트가 수행된다(970). 그렇지 않다면, 현재 블록 포인터를 증분시킴으로써 다음의 기준 테이블 값이 얻어지고(968), 958 단계로 되도록 가고, 동일한 방식으로 프로세스가 진행된다. 일단 최종 DCT 블록이 처리되고 최종 LUT가 완성되면(970), 세그먼트 자격을 갖는 모든 블록들은 잠재적인 눈동자 결함 세그먼트의 라벨된 세그먼트로 분류된다(972). 다음으로 이것이 처리되어야 할 마지막 기준 테이블인지를 결정하기(966) 위해 또 다른 테스트가 진행되고, 만일 그렇다면 도 3c의 영역에 기초한 해석 단계로 진행하도록 제어된다(936). 그렇지 않다면, 블록 세그먼트기(segmentor)는 950 단계로 돌아가고 프로세스를 위해 다음 기준 테이블을 로드한다.

많은 종래의 기술들은 적목 DCT 전치 필터내에의 사용에 적합하다는 점에서 유리하다. 델프(Delp)의 미국특허 제5,949,904호는 DCT 블록내에서의 쿼리를 개시한다. 특히 이는 DCT만의 DC 계수로부터 DCT 블록내에서 컬러를 결정하는 것을 허용한다. 다그러므로, DC 계수만의 지식으로부터 컬러 매칭이 달성될 수 있다. 사자 드(Sazzad) 등의 미국특허 제6,621,867호는 DCT 블록내에서 경계들의 존재를 DCT 블록 이웃의 DC 계수간의 차이에 기초하여 결정하는 구성이 개시된다.

다음으로, 질감이나 이미지 선명/흐림과 같은 추가적인 영상 품질은 DCT 블록내에서 추가적인 AC 요소들의 분석을 통하여 결정될 수 있다. 이러한 분석 기술들의 예는 펑(Feng)의 미국 특허 출원 제2004/0120598호와 쉬허케(Schuhurke) 등의 미국 특허 출원 제2004/0057623호에서 설명된다.

다른 DCT 블록 분할 기술은 다른 예들에 채용될 수 있으며, 특히 드루카(DeLuca)의 미국특허 제6,407,777호, 스타인버그(Steinberg)의 미국특허 제6,873,743호 및 루오(Luo) 등의 미국 특허 출원 제2005/0047655호 및 제2005/0047656호의 선행기술들에서 구체적으로 설명된 기술들은 다른 실시예들에서 유용하게 채용될 수 있다.

도 4에서, 어떻게 윤곽 색 템플레이트가 적목 영역을 위해 만들어질 수 있는지의 예가 도시된다. 도 4a는 직사각형 그리드 위에 매핑된 눈 영역을 도시한다. 그리드(201)의 각각의 블록은 8x8 화소 블록에 대응된다. 메인 적목 결함(204)은 정형적으로, 통상적인 적목 필터에 의해 결정되는 것처럼 홍채 영역(203)과 추가적인 눈-백색 영역(202)과 메인 적목 영역의 경계(206)로 둘러싸일 수 있다.

다음으로, 도 4b는 도 4a의 이미지가 DCT 도메인으로 변화된 후에 각각의 DCT 블록의 DC 계수에 의해 기록될 수 있는 근사적인 색을 보여준다. 도 4b에 도시된 색 결합들은 다음과 같다: R은 플래쉬 눈동자 결함 현상을 나타낸 붉은 색상이다; S는 피부 색을 나타낸 색상이다; W는 눈-백색 영역과 결합된 흰 색상을 나타낸 다; I는 사람마다 크게 달라질 수 있는 눈의 홍채 색상이다; WS는 피부와 눈-백색이 혼합된 블록을 나타낸다; RW는 적목와 눈 백색이 혼합된 블록이다; RI는 적색과 홍채색의 혼합인 색상을 가진다. 이제, 충분히 포괄적인 컬러 필터링이 이들 이미지 블록에 적용되게 되면, DCT 도메인 이미지의 DC 계수로부터 직접적으로 전형적인 적목에 대한 컬러 매핑을 결정하는 것이 가능하다. 도 4c에서, 만약 포괄적인 컬러 필터가 사용되면 적색으로 결정될 영역이 설명된다. 도 4d 및 도 4e는 플래시 눈동자 결함 영역을 둘러싸는 눈 흰색과 피부 색 영역에 대해 이를 설명한다. 예를 들어, 이 데이타는 플래시 눈동자 결함 영역을 위해 일련의 색 템플레이트를 만들도록 사용될 수 있다. 다른 통상적인 기술들을 적용함으로써 색 영역 사이에 예리한 모서리들, 또는 전이를 포함하는 DCT 블록을 결정하는 것이 가능하다. 이는 DCT 전치 필터 검출 프로세스를 개선하기 위한 추가 정보를 제공할 수 있다.

도 3a의 실시예에서 잠재적인 불리한 점은 그것이 전체 이미지가 제2-단계 적목 필터링 프로세스를 실행하기 위하여 압축 해제될 것을 요구하는 데에 있다. 대부분의 카메라들이 손실성 JPEG 압축을 사용하기 때문에, 2-단계 적목 프로세스가 이미지 품질의 손실없이 이미지 획득 응용기기 내에서 수행될 것을 허용하는 무손실의 실시예를 제시하는 것이 바람직하다.

이에 따라, 도 5에서, 이미지 품질의 손실없이, 재생 모드에서 이루어질 수 있는 해석 최적화된 적목 검출 및 정정을 허용하는 변형된 적목 필터링 프로세스의 기능성 실행을 도해한다. 이는 또한 증분된 단계에서 실행되는 복잡한 후처리를 허용한다. 그러므로, 카메라가 사용자의 활동에 대해 아이들(idle) 상태에 있으며, 그러나 아직은 스위치가 켜져 있는 상태에 있을 때, 카메라는 이미지를 로드하고 프로세스를 시작할 수 있다. 사용자 활동이 재시작되면, 카메라는 재압축하고 사용자에 대한 반응 전에 처리된 이미지를 저장한다. 하기에 기술되는 실시예가 카메라 내에서 이미지의 무손실 저장 및 압축 해제을 허용하기 때문에, 적목에 제한되지 않고, 얼굴 검출 또는 인식과 같은 다른 인-카메라 방법에 적용될 수 있는 증분된 프로세스를 촉진한다.

사용자 활동을 센싱할 수 있는 다양한 방법은 당해 분야의 기술자에게 알려져 있다. 일 예의 수단은 카메라 동작을 검출하고 선택적으로 이를 자동 초점 방식의 서브시스템과 사용자 인터페이스 서브시스템과 같은 다른 인-카메라 기능에 관련시키는 것을 포함한다. 또한 많은 카메라들은 카메라가 소정의 메인 서브시스템을 동작하지 않게 하는데 충분한 충분히 긴 시간동안 비활동 상태에 있는 것을 결정하는 에너지 절약형 모드를 포함한다. 이러한 모드가 사용자의 비활동에 의해 활성화될 때 추가적인 백그라운드 이미지 프로세싱이 사용자의 응용기기를 사용한 간섭없이 시작될 수 있다.

도 5로 되돌아가, 메인 이미지 획득 사슬(401)에 속도-최적화된 적목 필터(411)를 포함하는 본 발명의 일 실시예를 설명한다. 본 실시예에서 필터의 속도 최적화는 거짓 및 검증 필터의 최소 세트를 실행함으로써 달성되며 어떠한 정정 프로세스도 메인 이미지 획득 사슬 동안에 적용되지 않는다. 다른 실시예들은, 앞서본 실시예에서 설명되어진 속도 최적화 기법들이 선택적으로 포함되거나 대체될 수 있다.

이미지가 이 속도 최적화된 적목 필터(411)에 의해 해석되고, 이어서 압축되고(427-1) 저장된다(410). 이에 더하여, 후보 적목 영역 및 거짓 양성(false positives)의 위치와 관련된 데이터는 저장되고 저장된 이미지와 함께 저장된 이미지를 가지고 기록되고 결합된다.

카메라가, 앞서 설명된 것처럼, 백그라운드 프로세싱을 시작할 수 있을 때 또는 사용자가 재생 모드에 들어가고 볼 이미지를 선택할 때, JPEG에서 DCT 블록 형태로 부분적으로 압축 해제된다(433). 이러한 압축 해제 단계는 무손실이므로 메모리에 일시적으로 저장되고 DCT 영역 복원기(430)에 통과되는 메인 이미지의 품질에 어떠한 손실도 없다. 이러한 DCT 영역 복원기는, 후보 적목 영역과 선택적으로 충분한 시간 및 시스템 자원이 활용가능할 때 추가적인 검출 프로세스로부터 이득을 얻을 수 있는 거짓 양성을 포함하는 특정의 DCT 블록을 결정하기 위하여 저장되고 최초 이미지와 결합된 데이터를 사용한다.

다음으로, 각각의 압축 해제된 DCT 영역은 DCT 이미지 블록에 적용되어야 한 정정들을 결정하기 위하여 하나 또는 복수의 적목 필터들에 의해 점진적으로 필터링된다.

실시예들에서, DCT 블록은 비트맵 포맷으로 압축 해제되고 화소 블록으로 필터링될 수 있다. 다른 실시예에, 인접한, 비후보 DCT 블록이 복원(430)과 필터링(412) 프로세스에 포함될 수 있다. 일단 압축 해제된 DCT 블록 영역은 다중의 DCT 블록을 포함하며, 적목 필터(412)에 의해 정정되고 다음으로 정정된 DCT 이미지 세그먼트는 DCT 블록 매칭 모듈(416) 상으로 넘겨지며, 이 DCT 블록 매칭 모 듈(416)은, DCT 블록의 정렬을 체크하는 것에 더하여, 부분적으로 압축 해제되고 임시로 저장된 DCT 블록 이미지 내의 정정된 통합된 DCT 블록을 체크할 것이다. 적목 필터 해석에 포함된 모든 후보 DCT 블록과 인접한 DCT 블록들이 정정되었을 때 이들은 부분적으로 압축 해제되고 일시적으로 저장된 DCT블록 이미지상에 DCT 영역 중복기록기(418) 모듈에 의해 덮어써진다. 부분적으로 압축 해제되고 일시적으로 저장된 DCT 블록 이미지는 그 후에 DCT to JPEG 이미지 압축 모듈(427-1)을 통과하고 JPEG 포맷으로 다시 손실없이 압축된다.

이러한 방식으로 손실성 기법들으로 압축 해제된 이미지의 유일한 영역은 이미지 획득 사슬에서 속도 최적화된 필터(411)에 의해 식별된 것들이다 이러한 이미지 영역은 정정되어야 하기 때문에 이들에 대한 손실성 압축 해제 및 재압축의 영향은 무시될 수 있다.

본 발명의 몇몇 다른 실시예들이 확인될 수 있다. 이들은 (i) DCT 이미지의 일시적 복사본에 이미지 결함을 포함하는 DCT 블록을 덮어쓰기에 앞서 최초 결함 영역의 복사본을 저장하는 단계를 포함한다. 이 실시예는 최초 이미지의 무손실 복원을 지원한다. 당해 분야의 당업자라면 결함을 포함하는 저장된 최초 DCT 블록 영역이 JPEG 이미지의 헤더내에 저장될 수 있다는 점이 이해될 수 있을 것이다. 이러한 기법의 일 선행기술은 래트나커(Ratnakar) 등의 미국특허 제6,298,166호에서 제시되며, 여기서 워터마크(watermark) 데이터는 이미지에 합쳐진다. 그러므로, 정정된 이미지는 최초 정정되지 않은 영역의 복사본을 포함한다; 다른 예로, (ii) 다중 대체적인 정정 알고리즘이 채용될 수 있으며, 이들은 카메라 또는 후속하는 이미지 처리 응용에 기초한 컴퓨터에서 사용자 인터페이스를 통해 최종 사용자에 의해 추후 선택되기 위하여 JPEG 헤더에 추후 저장을 위해 임시적으로 복사될 수 있다.

이들 실시예들의 그밖의 측면들은 도 6a 내지 도 6c에 각각 도해된다: 도 6a는 헤더(504)에 저장된 최초 결함 영역(506)과 메인 이미지 바디(502)에 적용되는 정정된 결함 영역의 예이다; 도 6b는 헤더(504)에 저장된 정정된 결함 영역(508)과 메인 이미지 바디(502)에 정정되지 않고 남은 최초 결함 영역(506)의 예이다: 도 6c는 헤더(504)에 저장된 치초 결함 영역(506) 및 적어도 하나의 다른 정정된 결함 영역(508-2)과 메인 이미지 바디(502)에 적용되는 적절히 결정된 정정된 결함 영역(508-1)의 예이다. 도 6에서 사용된 “정정된”및 “정정되지 않은”눈 영역의 도식적인 표시는 오직 설명을 위해서만 사용된다; 당해 분야의 당업자라면 각 도시적인 눈-영역이 실제로 DCT 계수의 변환된 블록을 나타낼 수 있다는 점을 이해할 것이다.

다른 실시예에, 고속 적목 필터의 실행은 획득된 이미지내에의 제안된 세트의 영역에 선택적으로 적용됨으로써 향상될 수 있다. 메인 이미지 획득 사슬 동안에 광대한 이미지 분석을 실행하는 것이 일반적으로 비현실적이기 때문에 이들 영역은 바람직하게는 메인 이미지 획득의 개시에 앞서 결정된다.

적목 후보들을 포함하는 것의 높은 확률을 가지고 있는 이미지 영역을 미리 결정하는 일 편리한 접근 방법은 일 세트의 미리보기 이미지들에 전-처리를 수행하는 것이다. 디지털 카메라는 일반적으로 예를 들어 메인 이미지 획득에 의해 제공되는 것보다 낮은 해상도에서 초당 15-30 프레임(fps)의 비디오율에서 획득되는, 이러한 이미지들의 스트림을 가능케하는 요소를 포함할 수 있다. 일련의 320x240, 또는 QVGA 이미지들은 많은 소비자 카메라들에서 정형적이며 이러한 미리보기 이미지 스트림의 사이즈와 프레임율은 소정 범위내에서 조정될 수 있다.

도 7 및 도 8을 참조하여 설명된 두개의 예시적인 실시예에서, 디지털 카메라는 미리보기 이미지 스트림(410-3)에 동작하는 얼굴 검출기(600)를 포함한다. 도 7은 얼굴 검출기(600)를 포함하는 반면에, 그림 8은 얼굴 검출기 및 추적기(600)를 포함하며, 이는 다중 프레임들을 가로질러 검출된 얼굴들의 추적을 포함한다. 또한 도 8은 얼굴 검출기 및 추적기(600) 자체뿐만 아니라 이미지 센서 서브시스템(610)과 디스플레이(605)를 포함하는 미리보기 스트림 획득 서브시스템(620)을 도해한다.

얼굴 검출 및 추적은 전형적으로 두 주요 모드를 포함한다: (i) 새로운 얼굴-후보 영역(601)을 검출( 및 확인)하기 위한 전체 이미지 탐색 모드 및 (ii) 이미지 스트림의 후속하는 프레임들에서 존재하는 얼굴-후보들의 새로운 위치를 예측하고 다음으로 확인하며 이러한 확인된 후보 영역 각각과 관련되는 통계적인 정보를 수집하는 메인 추적 모드. 양쪽 모드는 얼굴 검출, 피부 영역 분할, 눈 및 입 영역을 포함하는 특징 검출, 활동적인 윤관 해석 및 나아가 지향적인 목소리 해석(예를 들어, 루이(Rui) 등의 미국 특허 출원 제2005/0147278호은 다중 큐(cues)를 이용한 복수의 개인별 자동 검출 및 추적을 하는 시스템을 설명한다)와 같은 비-이미지에 기초한 입력을 포함하는 다양한 새롭고 및/또는 종래의 방법을 채용할 수 있다. 첫번째 모드( 이하 "씨딩 모드(seeding mode)"라고 함)는 전체 이미지에 적용되기 때문에, 더욱 집중적으로 연산될 수 있으며 오직 종종 -전형적으로는 30-60 이미지 프레임당 한 번씩- 적용된다. 이와 같이, 이미지에 나타나는 새로운 얼굴은 대부분의 소비자 응용기기에 대해 충분한 수 초내에 여전히 검출될 것이다. 비록 모든 해석 큐들이 매 프레임마다에 적용되지는 않을지라도, 두번째 모드는 바람직하게는 모든 이미지 프레임에 적용된다.

그러므로, 정상 작동에서, 얼굴 추적기 알고리즘의 두번째 작동모드로부터의 출력(들)은 미리보기 이미지 스트림의 모든 프레임 뒤에 이용될 수 있을 것이다. 이 2번째 모드로부터 3개의 주요 출력들이 있다: (i) 여전히 얼굴들을 포함한 것으로 확인된 후보 얼굴 영역의 리스트; 및/또는 (ii) 이러한 확인된 얼굴 영역 각각과 관련된어 그 이미지의 프레임 내의 위치와 확인된 얼굴 영역의 히스토리에서의 통계적 분석으로부터 결정된 다양한 추가적인 데이타를 포함하는 일 세트의 데이터; 및/또는 (iii) 미리보기 이미지 스트림의 다음 프레임에서 각각의 그러한 확인된 얼굴 영역에 대한 예측된 위치. 만일 항목 (ii)가 사용된다면, 항목 (iii)은 예측 위치를 결정하기 위한 충분한 데이타가 항목 (ii)에 의해 제공될 수 있으므로 선택 사항일 수 있다.

이제 본 실시예에서, 미리보기 얼굴 검출기(600)로부터의 이들 출력물이 속도 최적화된 적목 검출기(411)을 적목 결함이 발견될 것으로 기대되는 얼굴 영역(601)에 선택적으로 적용할 수 있게 한다는 점이 이해될 수 있을 것이다.

얼굴 검출기는 적목 필터의 적용에 앞서 이미지에 먼저 적용되는 것이 유리할 수 있다 (예를 들어 린(Lin) 등의 미국 특허출원 제20020172419호; 헬드(Held) 등의 미국 특허출원 제20020126893호; 이타가키(Itagaki) 등의 미국 특허출원 제20050232490호; 루오(Luo) 등의 미국 특허출원 제20040037460호, 이들은 참조에 의해 병합된다). 보통의 환경하에서, 일반적으로 디지털 카메라 내에서 작동가능한 메인 이미지 획득 사슬 동안에 적목 필터의 적용에 앞서 얼굴 검출기의 적용을 허용하는데 사용가능한 시간이 충분하지 않을 수 있다. 본 실시예는 선행기술의 이러한 불리한 점을 얼굴 추적기 모듈(600)의 예측성 출력을 이용하여 극복한다. 예측되는 영역의 사이즈가 전형적으로 대응되는 얼굴 영역의 사이즈에 비해 더 크지만, 여전히 전체 이미지의 사이즈에 비해 충분히 더 작다. 그러므로, 보다 빠르고 보다 정확한 검출의 잇점이 디지털 카메라나 임베디드된 이미지 획득 시스템에서 메인 이미지 획득 사슬 내의 얼굴 검출기(600)를 동작시킬 필요없이 얻어질 수 있다.

다중 얼굴 후보 영역(601)이 추적되는 경우에, 일부 실시예는 다중 예측 영역들은 적용되어지는 속도-최적화된 적목 필터를 가질 것이다.

도 7 및 8을 계속 참조하면, 메인 이미지가 얻어지고, 서브샘플되고, 도 7에서와 같이 얼굴 검출기/추적기(600)에 의해 처리되기 전에 저장되거나, 또는 얼굴 검출기/추적기(600)는 도 8에서와 같이 저장에 앞서 적용될 수 있고, 메인 이미지 획득과 병행하여서도 가능하다.

(압축되지 않은) 이미지들의 분리된 "미리보기 스트림"은 도 8에서 도해된 바와 같이, 메인 획득으로부터 독립적으로, 메인 이미지 센서로부터 전달될 수 있다. 미리보기 스트림은 카메라 디스플레이(605)에 보내질 수 있다. 얼굴 추적자(600)가 온 상태에서 작동가능하고 그로부터 후보 얼굴 영역은 도 8의 실시예에서 도출될 수 있는 것이 이러한 미리보기 스트림이다. 얼굴 추적기(600)을 사용하는데, 얼굴의 예측된 위치는 미리보기 이미지로부터 얻어질 수 있으며, 다음으로 속도 최적화된 적목 필터는 메인 획득된 이미지 (또는 이의 서브샘플된 복사본)에 대해 작동될 수 있다.

예시적인 도면들과 본 발명의 구체적인 실시예에 의해 기술되고 도해되었으나, 본 발명의 범위는 설명된 특정 실시예에 의하여 제한되지 않는다. 그러므로, 실시예들은 제한한다기보다 설명하는 것으로 보아야 할 것이며, 당해 분야의 당업자라는, 본 발명의 범위를 벗어나지 않으면서 이러한 실시예들에 다양한 변형례들을 만들 수 있을 것이다.

추가로, 여기에 바람직한 실시예에 따라 실행될 수 있고 전술할 방법들에서, 동작들은 선택된 인쇄상의 순서에 의해 설명되었다. 그러나, 이러한 순서는 인쇄상 편의를 위해 선택되어 정렬된 것으로, 특정 순서가 명백하게 설명되거나 당해 분야의 통상의 지식을 가진 자가 특정 순서가 필수적이라고 보는 것들을 제외하고는, 동작을 실시하는 데에 있어 특정 순서를 나타내고자 한 것이 아니다.

덧붙여, 여기서 인용된 모든 참조문헌들은 배경기술, 발명의 요약, 요약서, 도면의 간단한 설명과 함께, 그리고 미국 특허 제6,407,777호, 제7,315,631호 및 제7,336,821호, 및 미국 공개특허출원 제2005/0041121호, 제2005/0031224호, 제2005/0140801호, 제2006/0204110호, 제2006/0093212호, 제2006/0120599호, 제2007/0110305호 및 제2006/0140455호, 및 제PCT/EP2006/008358호, 및 미국 특허출 원 제60/773,714호, 제60/804,546호, 제60/865,375호, 제60/865,622호, 제60/829,127호, 제60/829,127호, 제60/821,165호, 제60/892,882호, 제60/945,558호, 제60/915,669호, 제10/772,767호, 제11/554,539호, 제11/464,083호, 제11/462,035호, 제11/282,954호, 제11/027,001호, 제10/842,244호, 제11/024,046호, 제11/233,513호, 제11/753,098호, 제11/753,397호, 제11/766,674호, 제11/769,206호, 제11/772,427호 및 제11/460,218호와 함께 개시되는 다른 실시예들로서 바람직한 실시예들의 상세한 설명에 참조로서 병합된다.

Claims (31)

1. (a) 다중의 디지털 미리보기(preview) 이미지들의 스트림 내에서 하나 또는 복수의 얼굴을 검출하는 단계;

   (b) 상기 다중의 디지털 미리보기 이미지들 중 적어도 첫번째 이미지에서부터 상기 다중의 디지털 미리보기 이미지들 중 적어도 두번째 이미지까지 적어도 하나의 검출된 얼굴을 추적하는 단계;

   (c) 상기 검출하는 단계 및 추적하는 단계에 기초하여, 획득된 메인 디지털 이미지 내에서 추적된 후보 얼굴 영역의 서브세트를 획득하는 단계;

   (d) 후보 적목 영역의 제1 세트를 생성하기 위하여 제1 속도에 최적화된 필터로 상기 추적된 후보 얼굴 영역을 필터링하는 단계;

   (e) 상기 획득된 메인 디지털 이미지의 적어도 일 부분을 부호화하는 단계; 및

   (f) 상기 부호화된 메인 디지털 이미지의 후 이미지 처리를 위해 상기 후보 적목 영역의 제1 세트와 함께 상기 획득된 메인 디지털 이미지의 부호화된 부분을 저장하는 단계;를 포함하는 디지털 이미지 처리 방법.
2. 제1 항에 있어서,

   상기 단계 (d)가 하나 또는 복수의 거짓 & 검증 필터의 속도-최적화된 세트를 적용하는 단계를 더 포함하는 방법.
3. 제1 항에 있어서,

   상기 단계 (d) 이후에 상기 후보 적목 영역의 제1 세트를 해석-최적화된 필터에 통과시키는 단계를 더 포함하는 방법.
4. 제1 항에 있어서,

   상기 필터링하는 단계에 의하여 반려된 후보 얼굴 영역을 상기 필터링 하는 단계, 부호화하는 단계 및 저장하는 단계 후에 해석-최적화된 필터에 통과시키는 단계를 더 포함하는 방법.
5. 제3 항에 있어서,

   상기 제1 속도에 최적화된 필터는 상기 메인 디지털 이미지 획득에 사용되고, 해석-최적화된 필터는 백그라운드 모드 또는 재생 모드 또는 양쪽 모드에 사용되는 방법.
6. 제1 항에 있어서,

   상기 검출하는 단계 및 추적하는 단계에 기초하여 상기 획득된 메인 디지털 이미지 내에서 후보 얼굴 영역의 서브세트를 획득하는 단계는, 상기 획득된 메인 디지털 이미지 내에서 상기 후보 얼굴 영역 각각의 위치를 예측하는 단계를 포함하는 방법.
7. (a) 이미지를 획득하기 위한 광학적 이미징 소자;

   (b) 다중 디지털 미리보기 이미지들의 스트림 내에서 하나 또는 복수의 얼굴을 검출하는 얼굴 검출기;

   (c) 상기 다중의 디지털 미리보기 이미지들 중 적어도 첫번째 이미지에서부터 상기 다중의 디지털 미리보기 이미지들 중 적어도 두번째 이미지까지 적어도 하나의 검출된 얼굴을 추적하고, 획득된 메인 디지털 이미지 내에서 추적된 후보 얼굴 영역의 서브세트를 획득하는 얼굴 추적기;

   (d) 후보 적목 영역의 제1 세트를 생성하기 위하여 상기 추적된 후보 얼굴 영역을 필터링하는 속도에 최적화된 필터; 및

   (e) 추가적인 이미지 처리를 위한 상기 획득된 메인 디지털 이미지 데이터의 적어도 일부분을 부호화하는 프로세서;를 포함하는 디지털 이미지 처리 시스템.
8. 제7 항에 있어서,

   후보 적목 영역의 제2 세트를 생성하기 위하여 적어도 반려된 후보 얼굴 영역을 필터링하는 해석-최적화된 필터를 더 포함하는 시스템.
9. 제7 항에 있어서,

   속도-최적화된 필터링 후에 하나 또는 복수의 상기 후보 적목 영역의 제1 세트를 확인하는 해석-최적화된 필터를 더 포함하는 시스템.
10. 제9 항에 있어서,

    상기 속도에 최적화된 필터는 상기 메인 디지털 이미지 획득에 사용되고, 상기 해석-최적화된 필터는 백그라운 모드 또는 재생 모드 또는 양쪽 모드에서 사용되는 시스템.
11. 제7 항에 있어서,

    상기 얼굴 추적기는 추가적으로 상기 획득된 메인 디지털 이미지 내에서 상기 후보 얼굴 영역 각각의 위치를 예측하는 시스템.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제

Images