KR20170092662A

KR20170092662A - 이미지 처리 방법

Info

Publication number: KR20170092662A
Application number: KR1020177018594A
Authority: KR
Inventors: 알렉산드루 말라에스쿠; 플로린 나누; 페트로넬 비기오이; 피터 코르코란; 스테판 페트레스쿠
Original assignee: 포토내이션 리미티드
Priority date: 2014-12-09
Filing date: 2015-11-17
Publication date: 2017-08-11
Also published as: CN107005655B; WO2016091545A1; CN107005655A; EP3205084B1; EP3205084A1; US10455147B2; US20160165129A1

Abstract

이미지를 처리하는 방법은 인식가능한 특징부를 갖는 물체를 포함하는 장면의 이미지를 획득하는 단계를 포함한다. 물체를 포함하는 이미지의 영역에 대한 최대 선명도를 제공하는 렌즈 액추에이터 설정 및 렌즈 액추에이터 설정에 대응하는 렌즈 변위가 결정된다. 렌즈 변위에 기초하여 물체까지의 거리가 계산된다. 물체까지의 거리, 이미지 형성된 물체 크기, 및 이미지를 획득하였던 렌즈 조립체의 초점 거리의 함수로서의 특징부의 치수가 결정된다. 물체를 포함하는 장면의 이미지들의 후속 처리를 위해 특징부의 가정된 치수 대신에 특징부의 결정된 치수가 채용된다.

Description

이미지 처리 방법{IMAGE PROCESSING METHOD}

본 발명은 이미지를 처리하는 방법에 관한 것이다.

예를 들어 유럽 특허 EP2052347호(참조 번호: FN-143)에 기술된 바와 같이, 얼굴 검출 및 추적이 이미지 처리에 잘 알려져 있다. 이들 기법은 이미지 형성되는 장면(scene) 내의 하나 이상의 얼굴 영역이 용이하게 묘사될 수 있게 하고, 이러한 정보에 기초하여 후속 이미지 처리를 허용할 수 있게 한다. 그러한 이미지 처리는 이미지 형성되는 개인을 식별하려고 시도하는 얼굴 인식; 검출된 및/또는 선택된 얼굴 영역에 초점을 맞춤으로써 이루어지는 자동-초점조절(auto-focussing); 또는 얼굴 영역(들)의 결함 검출 및/또는 보정을 포함할 수 있다.

인체계측 정보(anthropometric information)가 얼굴 영역 처리에 채용될 수 있는 것이 잘 알려져 있다. 예를 들어, 예상되는 얼굴 크기의 지식이 예를 들어 얼굴 검출 또는 필터링을 위해, 예를 들어 유럽 특허 EP1654865호(참조 번호: FN-101-CIP)에 기술된 바와 같이 적목 후보자(red-eye candidate)의 허위 분석(falsing analysis)을 위해 사용될 수 있다.

그러나, 이미지 형성되는 장면이 보통의 인체계측 규칙에 따르지 않는 임의의 얼굴을 포함하는 경우에 문제가 발생할 수 있다. 예를 들어, 장면이 매우 큰 사람 얼굴이 있는 게시판(billboard)을 포함하는 경우에, 보통의 인체계측 규칙에 기초한 처리는 게시판보다 카메라에 훨씬 더 가까이 있는 실제 대상을 나타낼 수 있다. 이는 예를 들어 카메라가 훨씬 더 짧은 거리에 초점을 맞추어야 함을 나타낼 수 있고, 만약 그렇게 하게 되면, 초점이 맞지 않는 이미지가 생성될 것이다.

상응하게, 장면이 작은 어린이를 포함하는 경우에, 그들의 얼굴의 검출은 어린이보다 카메라로부터 훨씬 더 멀리 있는 대상을 나타낼 수 있다. 이는 예를 들어 카메라가 훨씬 더 긴 거리에 초점을 맞추어야 함을 나타낼 수 있고, 역시, 만약 그렇게 하게 되면, 초점이 맞지 않는 이미지가 생성될 것이다.

본 개시 내용의 목적을 위해, 용어 "허위 얼굴(false face)"은 통상적인 인체계측 규칙을 따르지 않는 검출된 얼굴을 포함하는 이미지의 영역을 나타내기 위해 사용될 것이다.

일부 경우에, 허위 얼굴이 검출되었음을 인식하지 못하는 것은 격리된 이미지(isolated image)가 부정확한 초점으로 획득되게 하고, 장면의 이미지 스트림을 포착하는 비디오 카메라에서, 카메라가 정확히 초점을 맞추는 그의 능력을 상실할 수도 있는 것이 가능하다.

그럼에도 불구하고, 임의의 허위로 검출된 물체에 이미지 처리를 기초하려고 시도하는 경우에 위에 약술된 문제가 동일하게 발생할 수 있는 것이 인식될 것이다. 예를 들어, 일부 이미지 처리는 자동차의 치수에 관한 규칙에 기초할 수 있고, 분명히 예를 들어 게시판 상에 표시된 허위 자동차의 이미지가 포착될 수 있으며, 이는 문제를 야기할 수 있다.

본 발명에 따르면, 청구범위 제1항에 따른 이미지 처리 방법이 제공된다.

추가의 태양에서, 청구범위 제1항의 방법을 수행하도록 배열되는 이미지 처리 장치가 제공된다.

또 다른 추가의 태양에서, 이미지 처리 장치에서 실행될 때, 청구범위 제1항의 방법을 수행하도록 배열되는 컴퓨터 판독가능 명령어들을 포함하는 컴퓨터 프로그램 제품이 제공된다.

본 발명의 실시예는 허위 얼굴들에 의해 불리하게 영향을 받음이 없이 그리고 실제로 그러한 허위 얼굴들에 정확히 초점을 맞출 수 있음이 없이, 검출된 얼굴들에 기초한 신속한 자동-초점조절을 제공한다.

대안적인 실시예는 알려진 치수들을 가진 특징부를 갖는 관심 대상의 임의의 검출가능한 물체에 기초한 자동-초점조절을 제공한다.

이제 첨부 도면을 참조하여 예로서 본 발명의 실시예가 기술될 것이다.
도 1은 초점조절 시스템에서 인체계측 데이터의 사용을 예시하는 도면.
도 2는 본 발명의 실시예에 따라 이미지를 처리하는 방법을 예시하는 흐름도.

이제 도 1을 참조하면, 무한대 위치(infinity position)(전형적으로 3 미터 초과)에 있는 임의의 물체에 초점을 맞추기 위해, 렌즈(12)와 이미지 센서(14) 사이의 거리가 렌즈의 초점 거리(focal length)(f)와 정확히 동일하게 설정된다.

얼굴이 렌즈의 과초점 범위(hyper-focal range) 내에 있을 때, 대상까지의 거리(ds)가 주어지면, 초점이 맞는 이미지를 얻기 위해서는, 렌즈가 거리(ld)만큼 변위되어야 하며, 따라서 렌즈와 이미지 센서 사이의 거리는 f+ld이다.

따라서, 대상까지의 거리 대 렌즈 변위(lens displacement)가 도 1에 그래프로 예시된 바와 같이 공식: 1/f = 1/ds + 1/(f+ld)에 의해 관련된다.

필요한 렌즈 변위 ld가 결정될 때, 카메라가 렌즈를 포함하는 렌즈 조립체를 얼굴에 초점을 정확히 유지시키는 데 필요한 만큼 변위시키기 위한 필요한 디지털-아날로그 변환(digital-to-analog convert, DAC) 코드를 선택할 수 있다.

검출된 얼굴을 사용하여 초점조절을 보조하는 이미지 처리 시스템이 하기와 같이 동작할 수 있다:

1. 예를 들어 유럽 특허 EP2052347호(참조 번호: FN-143)에 개시된 것과 같은 기법을 사용하여 얼굴을 검출함;

2. 검출된 얼굴 영역 내에서 픽셀 단위의 눈 거리(eye distance)(edp)를 계산함;

3. 센티미터 단위의 눈 거리 ed

7 cm로 가정함;

4. 카메라 초점 거리(f) 및 픽셀 크기(ps)를 사용하여, 대상까지의 거리(ds)를 하기와 같이 계산함:

ds = f * (ed / (edp * ps);

5. 하기의 관계를 사용하여 이러한 거리(ds)에 대한 렌즈 변위(ld)를 계산함:

1/(ld+f) = 1/f - 1/ds;

6. 렌즈 변위를 알게 되었으므로, 도 1에 도시된 바와 같이 교정된 데이터에 기초하여 초점 위치에 대한 대응하는 DAC 코드를 계산함.

예를 들어 눈 거리 ed = 2 cm를 가진 허위 얼굴(작은 얼굴)이 실제로 위의 단계 1에서 검출되었는지 고려하기로 한다. 초점조절 알고리즘이 ed = 7 cm를 사용하여 이러한 작은 얼굴을 매우 멀리 있는 것으로 고려하여, 대상까지의 매우 큰 거리(ds) 및 아마도 무한대에 가까운 대응하는 DAC 코드를 결정할 것이다. 이는 매우 초점이 맞지 않는 이미지를 생성할 것이다.

이제 도 2를 참조하면, 본 발명의 실시예에서, 이미지 획득 문제를 야기하는 허위 얼굴을 회피하기 위해 다수의 추가 단계가 수행된다:

우선, 단계(200)에서, 획득된 이미지의 얼굴 영역 내에서 얼굴이 검출된다;

얼굴 검출 시에, 단계(204)에서, 초점 위치의 스윕(sweep)이 수행되어 얼굴 영역에 대한 최대 선명도(sharpness)를 제공하는 DAC 코드 - DAC_Code_Sweep을 결정한다. 이러한 스윕은 다수의 미리보기 이미지(preview image)를 통해 수행될 수 있고; 또는 디스플레이 갱신율(display update rate)보다 빠르게 이미지를 획득하는 것이 가능한 일부 시스템에서, 스윕은 국제 출원 공개 WO 2014/124787호(참조 번호: FN-387)에서 논의된 것과 같이 밀리초 간격으로 수행될 수 있다;

일단 DAC_Code_Sweep이 알려지면, 단계(206)에서, 위에 약술된 단계 4 내지 6이 역전된다:

따라서, DAC_Code_Sweep에 대응하는 렌즈 변위(ld_sweep)가 도 1에 도시된 교정된 데이터로부터 계산된다;

대상까지의 거리 ds_sweep이 다시 위의 단계 5의 관계를 사용하여 ld_sweep으로부터 계산된다;

이제 "ds_sweep", "edp" 및 "f"를 알게 되었으므로, 센티미터 단위의 실제 눈 거리가 계산될 수 있고, 이러한 경우에, 그것은 ed_sweep = 2 cm를 제공할 것이다.

이제 이러한 특정 얼굴이 추적되는 동안은, 보통의 눈 거리(ed = 7 cm)를 사용하는 대신에, 단계(208)에서, 얼굴 특정적 눈 거리(ed = 2 cm)가 새로 검출된 얼굴 영역에 대한 눈 거리로서 일시적으로 설정된다.

표준 눈 거리의 이러한 오버라이팅(overwriting)은 허위 얼굴이 추적되는 동안에만 유지되어야 한다. 일단 단계(210)에서 얼굴이 상실되면, 보통의 눈 거리(ed = 7 cm)가 새로 검출된 얼굴에 다시 사용된다.

그렇지 않으면, 각각의 새로운 이미지가 획득되도록 하기 위해, 단계(209)에서, 필요한 DAC 코드가 계산된 눈 거리에 기초하여 계산된다.

새로운 얼굴이 검출될 때마다 풀 스윕(full sweep)이 반드시 요구되지는 않으며, 예를 들어, 단계(212)에서, 검출된 얼굴이 허위인지 결정하기 위해 변형 스윕(modified sweep)이 수행될 수 있는 것이 인식될 것이다. 따라서, 예를 들어, 새로 검출된 얼굴을 포함하는 이미지가 획득되는 렌즈 변위에 대해, 렌즈는 이미지 획득 렌즈 변위의 양측의 렌즈 변위 위치로 변위될 수 있다.

이미지 획득 렌즈 변위에서의 얼굴 영역의 선명도가 인접한 렌즈 변위 위치에 대한 선명도에 비해 최대인 경우, 추정(estimation)이 우수한 것으로 간주된다. 이러한 경우에, 이미지 처리가 단계(209)에서 계속되어 각각의 새로운 이미지에 대한 필요한 DAC 코드를 결정하며, 여기서 얼굴 영역은 가정된 눈 거리 ed = 7 cm에 기초하여 계속 검출된다.

그러나, 얼굴 영역의 선명도가 최대가 아닌 경우, 그것은 새로 검출된 얼굴 영역 내의 얼굴이 허위이며, 따라서 단계(204)에서 풀 스윕을 트리거하여(triggering) 전술된 바와 같이 ed_sweep을 결정한다는 것을 나타낸다.

단계(204 내지 208)가 단지 검출된 물체에 대해 1회 수행되기만 하면 되지만; 단계가 또한 주어진 임계치 아래로 하락하는 얼굴 영역에 대한 선명도에 응답하여 반복될 수 있는 것이 인식될 것이다.

본 발명은 이미지 처리가 알려진 치수를 가진 특징부를 갖는 물체의 검출에 의존하는 모든 경우에 채용될 수 있으며, 따라서 물체가 추적되는 동안에 가정되기보다는 일시적인 치수 세트가 물체에 대해 사용될 수 있게 하고, 물체가 추적되는 동안에 물체에 초점이 유지될 수 있게 한다.

본 발명이 자동-초점조절과 다른 이미지 처리를 위해 채용될 수 있고, 예를 들어 가정된 물체 치수를, 그러한 물체의 허위 버전(false version)을 포함하는 이미지를 처리하기 위해 일시적으로 오버라이팅하기 위해 채용될 수 있는 것을 알게 될 것이다.

Claims

이미지를 처리하는 방법으로서,
a) 인식가능한 특징부를 갖는 물체를 포함하는 장면(scene)의 이미지를 획득하는 단계;
b) 상기 물체를 포함하는 상기 이미지의 영역에 대한 최대 선명도(sharpness)를 제공하는 렌즈 액추에이터 설정(lens actuator setting)을 결정하는 단계;
c) 상기 렌즈 액추에이터 설정에 대응하는 렌즈 변위(lens displacement)를 결정하는 단계;
d) 상기 렌즈 변위에 기초하여 상기 물체까지의 거리를 계산하는 단계;
e) 상기 물체까지의 상기 거리, 상기 이미지 형성된 물체 크기, 및 상기 이미지를 획득하였던 렌즈 조립체의 초점 거리(focal length)의 함수로서 상기 특징부의 치수를 결정하는 단계; 및
f) 상기 물체를 포함하는 상기 장면의 이미지들의 후속 처리를 위해 상기 특징부의 가정된 치수 대신에 상기 특징부의 상기 결정된 치수를 채용하는 단계
를 포함하는, 방법.
제1항에 있어서, 상기 물체는 사람 얼굴이고, 상기 특징부는 눈들이고, 상기 치수는 상기 눈들 사이의 거리인, 방법.
제1항에 있어서, 단계들 b) 내지 e)를 새로 검출된 물체에 대해 1회만 수행하는 단계를 포함하는, 방법.
제1항에 있어서, 단계들 b) 내지 e)를 상기 물체를 포함하는 상기 이미지의 상기 영역에 대한 선명도가 주어진 임계치 아래로 하락하는 것에 응답하여 수행하는 단계를 포함하는, 방법.
제1항에 있어서, 단계 b) 전에; 상기 이미지를 획득하기 위한 상기 렌즈 액추에이터 설정이 상기 물체를 포함하는 상기 이미지의 상기 영역에 대한 최대 선명도를 제공하는지 확인하고, 상기 선명도가 최대가 아닌 것에 응답하여, 단계들 b) 내지 e)를 수행하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 채용하는 단계는 상기 결정된 치수에 기초하여 자동-초점조절(auto-focusing)을 수행하는 단계를 포함하는, 방법.
제1항의 방법을 수행하도록 배열되는 이미지 처리 장치.
이미지 처리 장치에서 실행될 때, 제1항의 방법을 수행하도록 배열되는 컴퓨터 판독가능 명령어들을 포함하는 컴퓨터 프로그램 제품.