KR101783847B1 - 얼굴 검출 및 트래킹을 기반으로 하는 연속 자동초점 - Google Patents

얼굴 검출 및 트래킹을 기반으로 하는 연속 자동초점 Download PDF

Info

Publication number
KR101783847B1
KR101783847B1 KR1020137010457A KR20137010457A KR101783847B1 KR 101783847 B1 KR101783847 B1 KR 101783847B1 KR 1020137010457 A KR1020137010457 A KR 1020137010457A KR 20137010457 A KR20137010457 A KR 20137010457A KR 101783847 B1 KR101783847 B1 KR 101783847B1
Authority
KR
South Korea
Prior art keywords
faces
face
focus
partial
digital image
Prior art date
Application number
KR1020137010457A
Other languages
English (en)
Other versions
KR20130112036A (ko
Inventor
플로린 나누
코스민 니콜라에 스탄
피터 코코란
Original Assignee
포토내이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포토내이션 리미티드 filed Critical 포토내이션 리미티드
Publication of KR20130112036A publication Critical patent/KR20130112036A/ko
Application granted granted Critical
Publication of KR101783847B1 publication Critical patent/KR101783847B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Abstract

자동초점(autofocus) 방법은 하나 이상의 초점이 벗어난 얼굴들 및/또는 부분적 얼굴들을 포함하는 씬(scene)의 이미지를 획득하는 것을 포함한다. 상기 방법은 초점이 벗어난 얼굴들 상에 트레이닝된(trained) 구분기(classifier)들의 하나 이상의 집합(set)들을 적용함에 의해 디지털 이미지 안에 초점이 벗어난 얼굴들 및/또는 부분적 얼굴들 중 하나 이상을 검출하는 것을 포함한다. 디지털 이미지 안에 하나 이상의 각자의 초점이 벗어난 얼굴들 및/또는 부분적 얼굴들 하나 이상의 크기들이 판정된다. 디지털 이미지 안에 하나 이상의 얼굴들 및/또는 부분적 얼굴들의 하나 이상의 크기들을 기반으로 하여, 하나 이상의 초점이 벗어난 얼굴들 및/또는 부분적 얼굴들에의 하나 이상의 각자의 깊이들이 판정된다. 판정된 하나 이상의 각자의 깊이들에서 대략 초점을 맞추기 위해 렌즈의 하나 이상의 각자의 초점 위치들이 조정된다.

Description

얼굴 검출 및 트래킹을 기반으로 하는 연속 자동초점{Continuous autofocus based on face detection and tracking}
요즘 디지털 카메라들은 보통 자동 초점 메커니즘을 포함한다. 통상적인 자동 초점 메커니즘들의 2가지 유형들은 콘트라스트 검출 자동 초점(contrast detect auto focus) 및 페이즈(phase) 검출 자동 초점이다.
콘트라스트 검출 자동 초점(CONTRAST DETECT AUTO FOCUS)
콘트라스트 검출 자동 초점과 함께, 카메라 렌즈는 초기에 가장 가까운 초점 포인트(focus point)에 위치된다. 렌즈는 점진적으로(incrementally) 시프팅(shifting)되고, 그리고 이미지 선명도(sharpness)가 각 단계에서 평가된다. 선명도의 피크(peak)에 이를 때, 렌즈 시프팅이 정지된다. 콘트라스트 검출 자동 초점은 통상적인 디지털 스틸 카메라(digital stills camera)들 또는 DSC들, 캠코더(camcorder)들, 카메라 폰들, 웹캠(webcam)들 및 감시(surveillance) 카메라들에서 사용된다. 그것들은 화소 레벨 측정(measurement)들 및 미세한 스캐닝(fine scanning)을 기반으로 하여 매우 정밀(precise)하다. 그것들은 프레임 이내의 어디든 초점을 맞출 수 있으나, 그것들은 전형적으로 프레임의 중심(center) 주위에만 초점을 맞춘다. 그러나 콘트라스트 검출 자동 초점 메커니즘들은 느린데, 그것들이 초점 범위(focus range)를 스캐닝하는 것을 수반하기 때문이다. 또한, 그것들은 획득된 피사체(subject)의 트래킹(tracking)을 허용하지 않는다. 추가의 스캐닝은 초점 헌팅(hunting)으로 알려진 피사체가 앞 또는 뒤 초점(front or back focus)으로 이동했는지 여부를 판정하는 것에 관련된다. 콘트라스트 검출 자동 초점 메커니즘들은 전형적으로 값싸고 러기드(rugged)하다.
페이즈 검출 자동 초점(PHASE DETECT AUTO FOCUS)
페이즈 검출 자동 초점은 2차적 거울(secondary mirror), 분리기 렌즈(separator lens)들 및 초점 센서(focus sensor)를 포함하는 특수한 광전자 공학(optoelectronics)을 일반적으로 수반한다. 분리기 렌즈들은 렌즈의 맞은편(opposite side)들에서 오는 광(light)을 자동 초점 센서 쪽으로 향하게 한다. 2개의 이미지들 사이의 페이즈 차이가 측정된다. 렌즈가 페이즈 차이에 대응하는 거리로 시프팅된다. 페이즈 검출 자동 초점은 통상적인 단일 렌즈 리플렉스 카메라(single lens reflex camera)들 또는 SLR들에서 사용된다. 이것들은 일반적으로 콘트라스트 검출 자동초점 메커니즘들보다 덜 정밀한데, 페이즈 차이가 항상 매우 정확하게 산정되지 않을 수 있기 때문이다. 그것들은 오직 프레임 이내에 고정된 포인트들에서 초점을 획득할 수 있고, 이것들은 카메라 사용자에 의해 수동으로 전형적으로 표시된다. 피사체의 상대적 위치들이 단일(single) 측정들에 의해 검출될 수 있기 때문에, 그것들은 전형적으로 빠르다(fast). 그것들은 트래킹을 허용하는데, 그것은 피사체가 앞 또는 뒤 초점으로, 그러나 오직 하나의 초점 포인트로부터 다른 초점 포인트로 호핑(hopping)에 의해 이동했는지 여부를 판정할 수 있기 때문이다. 페이즈 검출 자동 초점 메커니즘들은 전형적으로 비싸며 취약(fragile)하다. 도 1은 페이즈 검출 자동 초점 메커니즘이 작용하는 방식을 도시하고, 즉 가운데 그래픽(graphic)에서와 같이 페이즈 차이가 영(zero)일 때, 피사체가 초점이 맞는 것으로 이해된다.
콘트라스트 검출 자동 초점 메커니즘 및 페이즈 검출 자동 초점 메커니즘 중 어느 한쪽의 상당한 결점들을 가지지 않는 개선된 자동 초점 메커니즘을 구비하는 것이 바람직하다. 공고된 미국 특허 출원 번호 2010/0208091은 카메라에 의해 캡처(capture)된 이미지에서 얼굴을 검출하며, 얼굴의 크기를 계산하는 카메라를 서술한다. 그것은 다수의 이전에 저장된 얼굴 크기들 중에서 계산된 얼굴 크기에 가장 가까운 하나를 선택한다. 그것은 선택되며 이전에 저장된 얼굴 크기와 연관된 이전에 저장된 렌즈 초점 위치를 복구(retrieve)한다. 그것은 디지털 카메라의 이동 가능한 렌즈 시스템이 복구되며 이전에 저장된 렌즈 초점 위치에 의해 주어진 최종(final) 초점 위치로 이동하도록 신호를 보낸다. US 2010/0208091에 서술된 기법을 이용하는 문제는 얼굴들의 흐릿(blurry)하며 초점이 벗어난 상태(state)로 인해 얼굴들의 비검출(non-detection)이 상당히 높은 레이트(rate)를 가질 것이라는 것이다. 만일 추가의 향상이 제공되지 않으면, 이것은 불만족스럽게 느린 이미지 캡처 과정을 초래할 것이다.
얼굴 검출을 기반으로 하는 디지털 이미지 획득 기기를 위한 자동초점(autofocus) 방법이 제공된다. 상기 방법은 기기의 렌즈, 이미지 센서 및 프로세서의 사용을 수반한다. 하나 이상의 초점이 벗어난 얼굴들 및/또는 부분적 얼굴들을 포함하는 씬(scene)의 디지털 이미지가 획득된다. 상기 방법은 초점이 벗어난 얼굴들 상에 트레이닝된(trained) 구분기(classifier)들의 하나 이상의 집합(set)들을 적용함에 의해 디지털 이미지 안에 초점이 벗어난 얼굴들 및/또는 부분적 얼굴들 중 하나 이상을 검출하는 것을 포함한다. 디지털 이미지 안에 하나 이상의 각자의 초점이 벗어난 얼굴들 및/또는 부분적 얼굴들 하나 이상의 크기들이 판정된다. 디지털 이미지 안에 하나 이상의 얼굴들 및/또는 부분적 얼굴들의 하나 이상의 크기들을 기반으로 하여, 하나 이상의 초점이 벗어난 얼굴들 및/또는 부분적 얼굴들에의 하나 이상의 각자의 깊이들이 판정된다. 판정된 하나 이상의 각자의 깊이들에서 대략 초점을 맞추기 위해 렌즈의 하나 이상의 각자의 초점 위치들이 조정된다. 하나 이상의 각기 조정된 초점 위치들에서 초점이 맞춰진 렌즈를 이용하여 하나 이상의 얼굴들 및/또는 부분적 얼굴들 중 적어도 하나를 포함하는 씬들의 하나 이상의 추가의(further) 이미지들이 획득된다.
하나 이상의 각자의 초점 위치들을 조정 시, 상기 방법은 미세한(fine) 스캐닝을 수행하고, 미세한 스캐닝을 기반으로 하나 이상의 각자의 초점 위치들을 미세하게 조정하는 것을 더 포함할 수 있다. 씬은 얼굴 구분기들의 상기 하나 이상의 집합(set)들을 적용함에 의해 검출되지 않는 적어도 하나의 초점이 벗어난 얼굴 및/또는 부분적 얼굴을 포함할 수 있고, 상기 방법은 초점이 벗어난 얼굴들 상에 트레이닝된 구분기들의 상기 하나 이상의 집합들을 적용함에 의해 검출되지 않는 상기 적어도 하나의 초점이 벗어난 얼굴 또는 부분적 얼굴 또는 이들 모두를 획득하기 위해, 콘트라스트 검출 스캐닝 또는 페이즈 검출 스캐닝 또는 둘 모두를 적용하는 것을 더 포함한다.
하나 이상의 부분적 얼굴들은 눈(eye) 영역을 포함할 수 있다.
상기 방법은 하나 이상의 얼굴들 및/또는 부분적 얼굴들 중 적어도 하나가 적어도 임계양(threshold amount)의 크기를 변경하는 경우, 하나 이상의 각자의 초점 위치들 중 적어도 하나를 조정하는 것을 더 포함할 수 있다. 상기 방법은 또한 얼굴들 및/또는 부분적 얼굴들 중 적어도 하나를 트래킹(track)하고, 트래킹을 기반으로 하나 이상의 얼굴들 및/또는 부분적 얼굴들 중 적어도 하나의 크기에서의 변화를 판정하는 것을 더 포함할 수 있다.
상기 방법은 디지털 이미지 획득 기기의 조리개(aperture)를 조임(stopping down)에 의해 피사계 심도(depth of field)를 증가시키는 것을 더 포함할 수 있다.
하나 이상의 얼굴들 및/또는 부분적 얼굴들은 그것들의 다른 판정된 크기들을 기반으로 하여 대략 판정된 각기 다른 다중의 깊이들에 위치해 있는 다중 얼굴들 및/또는 부분적 얼굴들을 포함할 수 있다.
하나 이상의 깊이들의 판정은 하나 이상의 판정된 크기들 중 적어도 하나에 대응하는 적어도 하나의 평균 깊이를 할당(assigning)하는 것을 포함할 수 있다.
하나 이상의 깊이들의 판정은, 검출된 얼굴 또는 부분적 얼굴, 또는 검출된 얼굴 및 부분적 얼굴을 특정한 개인에 속한 것으로 인식하고, 메모리로부터 특정한 얼굴 또는 부분적 얼굴 또는 둘 모두에 대응하는 알려진 얼굴 또는 부분적 얼굴 공간적(spatial) 파라미터를 호출하고, 그리고 판정된 크기 및 알려진 얼굴 또는 부분적 얼굴 공간적 파라미터에 대응하는 깊이를 판정하는 것을 포함할 수 있다.
하나 이상의 각자의 초점 위치들의 조정은 MEMS(microelectro mechanical system) 구성 요소(component)를 이용할 수 있다.
여기에 기술된 방법들 중 어느 하나를 수행하도록 프로세서를 구비하는 기기를 프로그래밍하기 위해 구현된 코드를 구비하는 하나 이상의 프로세서 판독 가능 매체들이 또한 제공된다.
렌즈, 이미지 센서, 프로세서 및 메모리를 포함하는 디지털 이미지 획득 기기가 또한 제공되고, 상기 메모리는 프로세서가 여기에 서술된 방법들 중 어느 하나를 수행하도록 프로그래밍하기 위해 내장된(embedded) 코드를 구비한다.
도 1은 통상적인 페이즈 검출 자동 초점 메커니즘을 도시한다.
도 2a는 어떤 실시예들에 따른 디지털 이미지 획득 기기에서 선명도(sharpness) 대 렌즈의 초점 위치의 플롯(plot)이다.
도 2b는 초점이 벗어난 얼굴을 포함하는 디지털 이미지를 도시하며, 그럼에도 여전히 검출된 얼굴 영역 주위에 얼굴 검출 박스(box)를 가진다.
도 3a-3b는 각기 선명한 얼굴 및 초점이 벗어난 얼굴을 포함하는 디지털 이미지들의 제1 예를 도시하고, 선명한 얼굴 및 초점이 벗어난 얼굴은 각각 어떤 실시예들에 따라 검출된다.
도 4a-4b는 각기 선명한 얼굴 및 초점이 벗어난 얼굴을 포함하는 디지털 이미지들의 제2 예를 도시하고, 선명한 얼굴 및 초점이 벗어난 얼굴은 각각 어떤 실시예들에 따라 검출된다.
도 5는 선명한 얼굴 및 초점이 벗어난 얼굴을 포함하는 디지털 이미지를 도시한다.
도 6은 어떤 실시예들에 따른 방법을 도시하는 흐름도이다.
도 7은 얼굴 크기를 기반으로 초점 거리(focus distance)의 계산을 도시한다.
도 8a-8d는 상대적으로 선명한 얼굴들 8a와 8c, 그리고 상대적으로 초점이 벗어난 얼굴들 8b와 8d를 포함하는 디지털 이미지들을 도시한다.
도 9는 어떤 실시예들에 따른 디지털 카메라 이미지 파이프라인을 도시한다.
정규의(normal) 콘트라스트 검출 자동초점은 느리고(slow), 피사체가 초점이 벗어나게 이동한 때 헌팅(hunting)한다. 흐릿한(blurry) 얼굴이 검출되지 않을 때, 콘트라스트 검출 자동 초점으로 돌아가는 것(falling back)은 US 2010/0208091에 의해 제공된 과정을 너무 자주 느리게 할 수 있다. 연속 자동초점에서 초점 헌팅을 줄이며 초점 맞춤(focusing)의 속도를 높이기 위한 얼굴 검출을 사용하는 방법이 제공된다. 대단히 신뢰할 수 있는 얼굴 검출이 얼굴이 초점이 맞지 않는 때조차 초점이 벗어난 얼굴들 및/또는 부분적(partial) 얼굴들을 위해 트레이닝된 구분기(trained classifier)들의 하나 이상의 집합(set)들을 제공함에 의해 우선 제공된다. 예를 들어, 얼굴 구분기들의 3개의 집합들이 제공될 수 있다: 선명한 얼굴들에 트레이닝된 하나, 약간(somewhat) 흐릿한 얼굴들에 트레이닝된 다른 하나, 그리고 좀 더 흐릿하며 초점이 벗어난 얼굴들에 트레이닝된 제3의 것. 상이한 개수의 구분기 집합들이 트레이닝될 수 있으며 사용될 수 있다. 이 유리한 기법은 US 2010/0208091의 기법보다 더 적은 비검출 이벤트들을 가질 것이고, 더 빠르고 더 신뢰할 수 있는 이미지 캡처 과정을 이끈다. 특히 균등하게(evenly) 조명(illuminate)될 수 있고, 앞을 향해(front facing) 있을 수 있으며, 선명하게-초점이 맞춰질(sharply-focused) 수 있거나 또는 그럴 수 없는 얼굴 구분기들을 트레이닝함에 의한 얼굴 검출이 본 출원의 양수인(assignee)에 의해 널리 연구 및 개발되었고, 예를 들어, U.S. 특허 번호들 7,362,368, 7,616,233, 7,315,630, 7,269,292, 7,471,846, 7,574,016, 7,440,593, 7,317,815, 7,551,755, 7,558,408, 7,587,068, 7,555,148, 7,564,994, 7,565,030, 7,715,597, 7,606,417, 7,692,696, 7,680,342, 7,792,335, 7,551,754, 7,315,631, 7,469,071, 7,403,643, 7,460,695, 7,630,527, 7,469,055, 7,460,694, 7,515,740, 7,466,866, 7,693,311, 7,702,136, 7,620,218, 7,634,109, 7,684,630, 7,796,816 및 7,796,822 및 U.S. 공고된 특허 출원 번호들 US 2006-0204034, US 2007-0201725, US 2007-0110305, US 2009-0273685, US 2008-0175481, US 2007-0160307, US 2008-0292193, US 2007-0269108, US 2008-0013798, US 2008-0013799, US 2009-0080713, US 2009-0196466, US 2008-0143854, US 2008-0220750, US 2008-0219517, US 2008-0205712, US 2009-0185753, US 2008-0266419, US 2009-0263022, US 2009-0244296, US 2009-0003708, US 2008-0316328, US 2008-0267461, US 2010-0054549, US 2010-0054533, US 2009-0179998, US 2009-0052750, US 2009-0052749, US 2009-0087042, US 2009-0040342, US 2009-0002514, US 2009-0003661, US 2009-0208056, US 2009-0190803, US 2009-0245693, US 2009-0303342, US 2009-0238419, US 2009-0238410, US 2010-0014721, US 2010-0066822, US 2010-0039525, US 2010-0165150, US 2010-0060727, US 2010-0141787, US 2010-0141786, US 2010-0220899, US 2010-0092039, US 2010-0188530, US 2010-0188525, US 2010-0182458, US 2010-0165140 및 US 2010-0202707에서 서술된 것과 같다.
초점이 벗어난(out of focus) 얼굴 및/또는 부분적 얼굴의 검출(detection) 후, 기법은 피사체(subject)가 위치해 있는 거리에서 판정되는 얼굴 크기(size)에 의존하는 것을 수반한다. 즉, 렌즈의 초점 위치가 도 2a에 도시된 선명도(sharpness) 피크(peak)의 값에서 최적으로 선명한(sharp) 이미지를 제공하도록 배치되지 않을 때, 그러면 피사체 얼굴은 도 2b에 도시된 것과 같이 초점이 벗어날 것이다. 여기에 제공된 것과 같이 초점이 벗어난 얼굴들을 검출하도록 트레이닝된(trained) 유리한 구분기(advantageous classifier)들과 함께, 도 2b에 도시된 흐릿한(blurry) 얼굴이 그럼에도 불구하고 피사체의 얼굴을 틀에 넣는(framing) 직사각형(rectangle)에 의해 도시된 것과 같이 검출된다. 얼굴 검출은 얼굴 크기의 변화(더 커짐=앞(larger=front), 더 작아짐=뒤(smaller=back))를 분석함으로써 피사체가 초점 쪽으로 또는 초점으로부터 떨어지게 이동했는지 여부를 알게 된다. 이것은 얼굴이 카메라로부터 더 가까이/더 멀리 이동하는 동안 얼굴 검출이 얼굴을 트래킹(track)하는 것을 가능하게 한다.
도 3a-3b는 각기 선명한 얼굴 및 초점이 벗어난 얼굴을 포함하는 디지털 이미지들의 제1 예를 도시하고, 선명한 얼굴 및 초점이 벗어난 얼굴은 각각 어떤(certain) 실시예들에 따라 검출된다. 도 3a에서, 피사체까지의 거리는 1미터(meter)이고, 초점면(focal plane)까지의 거리는 1미터여서, 얼굴이 선명하고, 그리고 초점 맞춤 요소(focusing element)가 이동될 필요가 없다. 도 3b에서, 피사체까지의 거리는 1미터이나, 초점면까지의 거리는 0.2미터여서, (피사체의 얼굴을 틀에 넣는 직사각형에 의해 표시된 것과 같이) 흐릿한 얼굴들을 검출하도록 트레이닝된 구분기들을 사용함으로써 유리하게 여전히(still) 검출됨에도 불구하고, 얼굴이 흐릿하다. 도 3b의 흐릿한 얼굴의 검출 시 검출된 얼굴의 크기를 기반으로 얼굴까지의 거리를 1미터로 추정함으로 인해 0.2미터 대신에 1미터에서 초점을 맞추기 위해 초점 맞춤 요소가 이 실시예들에 따라 이동될 것이다.
도 4a-4b는 각기 선명한 얼굴 및 초점이 벗어난 얼굴을 포함하는 디지털 이미지들의 제2 예를 도시하고, 선명한 얼굴 및 초점이 벗어난 얼굴은 각각 어떤 실시예들에 따라 검출된다. 도 4a에서, 피사체까지의 거리는 0.5미터이고, 초점면까지의 거리는 0.5미터여서, 얼굴이 선명하고, 그리고 초점 맞춤 요소가 이동될 필요가 없다. 도 4b에서, 피사체까지의 거리는 0.5미터이나, 초점면까지의 거리는 0.25미터여서, 흐릿한 얼굴들을 검출하도록 트레이닝된 구분기들을 사용함으로써 유리하게 여전히(still) 검출됨에도 불구하고, 얼굴이 흐릿하다. 초점이 도 3b에서와 같이 크게 벗어나지(far off) 않아서, 도 3b의 얼굴을 검출하도록 사용된 것들보다 덜 흐릿한 얼굴들을 검출하도록 트레이닝된 구분기들의 다른 집합(set)이 사용될 수 있음을 유의한다. 도 4b의 흐릿한 얼굴의 검출 시 검출된 얼굴의 크기를 기반으로 얼굴까지의 거리를 0.5미터로 추정함으로 인해 0.25미터 대신에 0.5미터에서 초점을 맞추기 위해 초점 맞춤 요소가 이 실시예들에 따라 이동될 것이다.
피사체까지의 거리가 예를 들어 도 7에서 제공된 공식(formula)을 기반으로 룩업 테이블(look up table)에 따라 연산 또는 추정에 의해 판정되면, 카메라의 초점 맞춤 요소가 위치로 직접 이동될 수 있는데, 그 위치는 전체(entire) 초점 범위(range)를 스캐닝(scanning)할 필요없이 초점 맞춤 요소가 대응하는 거리에 초점을 맞추도록 야기할 것이다. 뿐만 아니라, 연속 모드(continuous mode)에서, 얼굴 크기의 변화를 측정(measuring)함으로써 피사체가 앞 또는 뒤 초점의 방향으로 이동했는지 여부가 판정될 수 있다. 이것은 올바른(right) 방향으로 초점 요소의 이동을 가능하게 하고, 따라서 초점 헌팅(focus hunt)을 감소시킨다. 그 과정(process)은 MEMs 기술을 이용함으로써 더 가속화될 수 있는데, 예를 들어, MEMs 기술은 US 특허들 7,769,281, 7,747,155, 7,729,603, 7,729,601, 7,702,226, 7,697,834, 7,697,831, 7,697,829, 7,693,408, 7,663,817, 7,663,289, 7,660,056, 7,646,969, 7,640,803, 7,583,006, 7,565,070, 7,560,679, 7,555,210, 7,545,591, 7,515,362, 7,495,852, 7,477,842, 7,477,400, 7,403,344, 7,359,131, 7,359,130, 7,345,827, 7,266,272, 7,113,688 및/또는 6,934,087 중 임의의 것에서 제시된 것과 같다. 객체(object)의 크기가 사전에 알려지지 않은 경우에도, 이 아이디어는 식별될 수 있으며 트래킹될 수 있는 임의의 객체에 일반화될 수 있다.
언급된 것과 같이, 매우 유리한 특징(feature)이 제공되고, 그로써 얼굴들이 초점이 벗어난 경우조차 얼굴 검출 과정이 얼굴들 상에 신뢰 가능하게 수행된다. 이것은 여기에 서술된 실시예들에 따른 유리한 자동 초점 기법들이 얼굴들에 초점을 맞추는 것을 실제로(actually) 시작하기 전에 얼굴들을 검출하는 것을 가능하게 한다. 흐릿하고 초점이 벗어난 얼굴이 검출되면, 피사체까지의 개략적인(rough) 거리가 계산될 수 있다. 이것은 인간의 얼굴들이 크기에서 많이 다르지 않기 때문에 가능하다. 추가의(further) 정밀도(precision)가 얼굴 인식(recognition)을 사용함으로써 제공될 수 있고, 그로써 특정한 사람의 얼굴이 데이터베이스에 저장된 사람의 다른 얼굴 데이터와 비교에 의해 또는 수동의 사용자 표시(manual user indication)에 의해 인식되고, 또는 동일한 사람의 하나 이상의 영상(picture)들이 최근에 촬영되었기 때문에 또는 이것들의 결합(combination)들 및 다른 얼굴 인식 기법들에 의해 인식된다. 그러면, 특정적으로 알려진 그 사람의 얼굴 크기가 사용될 수 있다.
피사체까지의 거리는 또한 렌즈의 초점 길이(focal length) (그리고 만일 초점 길이가 35mm 등가(equivalent)가 아니면 센서 크기)를 참작함에 의해 계산될 수 있다. 피사체까지의 거리가 알려진 경우, 초점 맞춤 요소는 임의의 추가 스캐닝없이 대응하는 위치로 직접 이동될 수 있다. 그러면, 미세한(fine) 콘트라스트-검출(contrast-detect) 스캐닝만이 그 거리 주위에서 선택적으로(optionally) 수행된다. 만일 얼굴이 너무 크고 그리고/또는 오직 부분적으로 검출되면, 콘트라스트가 얼굴 구역(area) 상으로 또는 얼굴의 눈 영역 상에서 측정된다. 이것은 콘트라스트를 계산하기 위한 연산 노력을 감소시키기에 유리하다. 비디오 모드에서, 초점이 새로운 얼굴 상에 성취될 때마다 동일한 것이 수행될 수 있다. 초점이 어떤(certain) 얼굴 상에 성취되면, 얼굴 크기의 변동(variation)이 어떤 실시예들에 따라 모니터링(monitoring)된다. 만일 변화들이 상당하지 않으면, 알고리즘은 얼굴 직사각형 (또는 눈 구역 또는 다른 부분적 얼굴 영역) 상으로 콘트라스트를 측정하고, 그리고 만일 이것이 어떤 값(certain value) 아래로 떨어지지 않으면, 초점 위치가 조정되지 않는다. 반대로, 만일 콘트라스트가 떨어지나, 얼굴 크기가 변하지 않으면, 미세한 재초점 맞춤(refocusing)이 현재(current) 초점 거리 주위에서 이행될 수 있다. 만일 얼굴 크기가 어떤 마진(margin)보다 더 많이 변한 것으로 발견되면, 새로운 크기가 이전의(old) 크기와 비교되어 피사체가 앞 또는 뒤 초점으로 이동되었는지 여부를 판정한다. 이것을 기반으로 하여, 초점 맞춤 요소는 초점이 재획득될 때까지 적절한 방향 쪽으로(뒤로 또는 앞으로) 이동된다. 유리하게, 초점 트래킹(tracking)은 헌팅(hunting) 없이 제공된다. 예를 들어, 만일 얼굴 크기가 증가했으면, 피사체가 앞 초점(front focus)으로 이동되었음이 판정될 수 있고, 그래서 초점 맞춤 요소가 그것이 더 가까이 초점을 맞추도록 이동된다.
이전에 언급된 것과 같이, 이 방법은 알려진 크기의 임의의 객체에 일반화될 수 있다. 예를 들어, 얼굴 검출은 애완동물 검출을 위해 변경될 수 있다. 뿐만 아니라, 이 방법은 알려지지 않은 크기의 객체들에 일반화될 수 있다. 초점이 정규의(normal) 콘트라스트-검출 및/또는 페이즈-검출(phase-detect) 알고리즘을 사용하여 어떤 객체 상에 획득되면, 그 객체는 그것의 크기 변동들에 관해 트래킹될 수 있으며 모니터링될 수 있다. 이 방법은 객체가 더 커졌는지 또는 더 작아졌는지 여부 그리고 어느 정도 변경되었는지를 판정하는 것을 수반하고, 그리고 연속 초점 맞춤은 알려지지 않은 크기의 객체들 상에도 헌팅 없이 제공된다.
도 5에 도시된 것과 같이 씬(scene)이 다중(multiple) 얼굴들을 포함할 때, 프레임(frame) 안 다중 얼굴들이 검출될 수 있다. 그러면 이 얼굴들 각각의 크기들에 대응하는 거리들이 계산된다. 거리들은 다중 얼굴들에 대해 분류되고 그리고 저장된다. 분리 지배(divide-et-impera) 스타일 검색(search)이 초점 거리들에 걸쳐 수행될 수 있다. 각 단계에서, 렌즈 조리개(aperture), 초점 길이 및 초점 거리를 고려하면 COC 직경(diameter)이 거리들 각각에 대해 계산될 수 있다. 하나의 실시예에서, 이 직경들을 고려할 때 전반적인(global) 선명도의 측정(measure)이 다중 얼굴들에 걸쳐 측정될 수 있다. 이 검색들의 결과는 사진에서 모든 얼굴들에 걸쳐 선명도를 이론상으로 최대화시킬 초점 거리일 것이다. 렌즈는 그 거리에서 직접 초점이 맞춰질 것이고, 그리고 만일 요구되면, 미세한 스캐닝 시퀀스(sequence)가 더 큰 정밀도를 보장하기 위해 이행될 수 있다. 이 기법은 심지어 자동-노출(auto-exposure) 기법과 함께 놓일 수 있어, 만일 초점의 깊이(depth of focus) 또는 DOF가 충분히 유효(available)하지 않으면, 자동 초점(auto focus) 또는 AF 알고리즘은 DOF를 증가시키기 위해 조리개를 조이기(stop down)로 결정할 수 있다. 많은 다른 옵션(option)들이 유효하고, 예를 들어 선명한 얼굴들의 합성(composite) 이미지가 다중 이미지들의 신속한 캡처(capture)에 의해 제공될 수 있다: 계산된 초점 위치들의 각각에서 캡처된 하나의 이미지, 또는 사용자는 초점을 맞출 얼굴 또는 가장 큰 얼굴이 초점이 맞춰질 수 있을 때를 다른 가능성들 중에서 선택할 수 있다. 얼굴들의 가중치 부여(weighting)는 위에서 인용된 이전의 출원(application)들에서 논의된다.
도 6은 어떤 실시예들에 따른 방법을 도시하는 흐름도이다. 관심 영역(region of interest) 또는 ROI가 602에서 입력된다. 604에서 ROI가 얼굴인지 여부가 판정된다. 만일 얼굴이 아니면, 606에서 가장 좋은 등급(grade)을 위해 일정한(constant) 단계와 함께 반복(iterative) 검색이 수행된다. 만일 얼굴이 검출되면, 608에서 그것이 새로운 얼굴인지 여부가 판정된다. 만일 새로운 얼굴이 아니라면, 610에서 얼굴 크기가 이전에 판정된 얼굴 크기에 동일한지 또는 가까운지 여부가 판정된다. 만일 그러하다면, 초점 조정(focus adjustment)이 필요하지 않으나, 만일 이전에 검출된 얼굴의 크기가 크기를 변경했던 것으로 판정되면, 얼굴 거리에의 개략적인 초점이 612에서 수행된다. 만일 검출된 얼굴이 608에서 새로운 얼굴인 것으로 판정되면, 얼굴 거리에의 개략적인 초점이 612에서 수행된다. 선명도 등급(sharpness grade)이 614에서 연산될 수 있다. 만일 614에서 연산된 등급이 616에서 OK인 것으로 판정되면, 과정이 종료되나, 만일 등급이 OK가 아니면, 현재 거리 주위에 미세한 재초점(refocus)이 618에서 수행된다.
도 7은 피사체까지의 거리의 연산을 도시한다. 피사체까지의 거리는 이 실시예에서 35mm 등가 초점 길이 및 화소들에서 이미지 해상도(resolution)에 비례하고, 검출된 얼굴의 화소들에서의 크기에 역으로(inversely) 비례한다. 150/36의 곱셈기(multiplier)가 또한 존재한다. 도 8a-8d는 다른 얼굴들의 거리들 및 초점 깊이들의 예들을 간단히 보여주며, 각각 왼쪽에서 테이블의 첫 번째 줄(line)은 도 7에 도시된 계산을 기반으로 하여 객체/피사체까지의 연산된(computed) 또는 추정된(estimated) 거리를 보여준다.
디지털 카메라 이미지 파이프라인(pipeline)이 도 9에 도시된다. 하드웨어 시행에 의한 가속(acceleration)이 더욱더 빠른 얼굴 검출을 취득하기 위해 사용될 수 있다.
여기에 서술된 실시예에 따른 기법은 많은 카테고리들에서 높은 점수를 받는다(score). 예를 들어, 그것은 빠르고, 매우 낮은 전력(power)을 요구하며, 매우 낮은 모터 마모(motor wear)를 낳는다. 비디오 모드에서, 피사체가 앞 또는 뒤 초점으로 이동했는지 여부를 알고, 그래서 헌팅하는 것이 필요하지 않다. 이 특징은 DSC들 및 카메라 폰들을 위한 영화(movie) 모드에서 연속 자동초점을 가능하게 할 수 있는데, 이는 현재 기술들에서 유효하지 않은 것이다. 뿐만 아니라, 이 기법은 어떤 추가의 하드웨어를 요구하지 않고, 그래서 시행하기에 저렴하고, 그것은 러기드(rugged)하며(임의의 드랍 테스트(any drop test)를 통과함), 임의의 방식으로 초점의 품질을 절충(compromising)하지 않고 이 모든 것을 이행한다. 그것은 또한 매우 정확하다. 여러 가지 깊이들에 위치해 있는 다중 얼굴들에 카메라가 초점을 맞추는 것을 가능하게 하는 다중-얼굴(multi-face) 자동초점(autofocus)이 또한 제공된다. 여기에 서술된 실시예들에 따른 다중-얼굴 AF와 함께, 이것은 얼굴들의 크기들을 산정함(assessing)에 의해, 얼굴들의 각각까지의 거리를 계산함에 의해, 그러면 이 모든 얼굴들에 걸쳐 선명도를 최대화시키는 가상(virtual) 초점 거리를 결정함에 의해 이행될 수 있고, 그렇지 않으면 위에서 서술된 것과 같다. 게다가, 그러면 초점 범위를 스캐닝할 필요 없이 또는 이미지에서 다중 구역들 상 선명도를 측정할 필요 없이 초점이 거의 즉시 성취될 것이고, 즉 그렇지 않으면 이것은 그것들이 함께 프레임의 큰 구역을 커버하면 매우 느려질 것이다.
여기에 선호되는 실시예들에 따라 수행될 수 있으며 위에서 서술될 수 있었던 방법들에서, 작동(operation)들은 선택된 인쇄상(typographical) 시퀀스들로 서술되었다. 그러나, 시퀀스들은 선택되었고, 그래서 인쇄상 편의를 위해 정리되었으며, 그리고 작동들을 수행하기 위한 임의의 특별한 순서(order)를 내포하는 것은 아닌데, 특별한 순서가 분명히 제시될 수 있는 경우 또는 이 기술 분야에서 숙련된 자들이 특별한 순서를 필요하다고 여길 수 있는 경우는 제외한다.

Claims (13)

  1. 얼굴 검출을 기반으로 하는 디지털 이미지 획득 기기를 위한 자동초점(autofocus) 방법으로서:
    디지털 이미지 획득 기기의 렌즈, 이미지 센서 및 프로세서를 사용하고;
    하나 이상의 초점이 벗어난 얼굴들 또는 부분적 얼굴들, 또는 둘 모두를 포함하는 씬(scene)의 디지털 이미지를 획득하고;
    초점이 벗어난 얼굴들 상에 트레이닝된(trained) 구분기(classifier)들의 하나 이상의 집합(set)들을 적용함에 의해 디지털 이미지 안에 하나 이상의 초점이 벗어난 얼굴들 또는 부분적 얼굴들 또는 둘 모두를 검출하고;
    디지털 이미지 안에 하나 이상의 각자의 초점이 벗어난 얼굴들 또는 부분적 얼굴들 또는 둘 모두의 하나 이상의 크기들을 판정하고;
    디지털 이미지 안에 하나 이상의 얼굴들 또는 부분적 얼굴들 또는 둘 모두의 하나 이상의 크기들을 기반으로 하여, 하나 이상의 초점이 벗어난 얼굴들 또는 부분적 얼굴들 또는 둘 모두에의 하나 이상의 각자의 깊이들을 판정하고;
    판정된 하나 이상의 각자의 깊이들에서 초점을 맞추기 위해 렌즈의 하나 이상의 각자의 초점 위치들을 조정하고; 그리고
    하나 이상의 각기 조정된 초점 위치들에서 초점이 맞춰진 렌즈를 이용하여 하나 이상의 얼굴들 또는 부분적 얼굴들 또는 둘 모두 중 적어도 하나를 포함하는 씬들의 하나 이상의 추가의(further) 이미지들을 획득하는 것을 포함하는 방법.
  2. 제1항에 있어서,
    하나 이상의 각자의 초점 위치들을 조정 시, 미세한(fine) 스캐닝을 수행하고, 미세한 스캐닝을 기반으로 하나 이상의 각자의 초점 위치들을 미세하게 조정하는 것을 더 포함하는 방법.
  3. 제2항에 있어서,
    씬은 얼굴 구분기들의 상기 하나 이상의 집합(set)들을 적용함에 의해 검출되지 않는 적어도 하나의 초점이 벗어난 얼굴 또는 부분적 얼굴 또는 둘 모두를 포함하고,
    상기 방법은 얼굴 구분기들의 상기 하나 이상의 집합들을 적용함에 의해 검출되지 않는 상기 적어도 하나의 초점이 벗어난 얼굴 또는 부분적 얼굴 또는 둘 모두를 획득하기 위해, 콘트라스트 검출 스캐닝 또는 페이즈 검출 스캐닝 또는 둘 모두를 적용하는 것을 더 포함하는 방법.
  4. 제1항에 있어서,
    하나 이상의 부분적 얼굴들 중 적어도 하나는 눈(eye) 영역을 포함하는, 방법.
  5. 제1항에 있어서,
    하나 이상의 얼굴들 또는 부분적 얼굴들 또는 둘 모두 중 적어도 하나가 적어도 임계양(threshold amount)의 크기를 변경하는 경우, 하나 이상의 각자의 초점 위치들 중 적어도 하나를 조정하는 것을 더 포함하는 방법.
  6. 제5항에 있어서,
    얼굴들 또는 부분적 얼굴들 또는 둘 모두 중 적어도 하나를 트래킹(track)하고, 트래킹을 기반으로 하나 이상의 얼굴들 또는 부분적 얼굴들 또는 둘 모두 중 적어도 하나의 크기에서의 변화를 판정하는 것을 더 포함하는 방법.
  7. 제1항에 있어서,
    디지털 이미지 획득 기기의 조리개(aperture)를 조임(stopping down)에 의해 피사계 심도(depth of field)를 증가시키는 것을 더 포함하는 방법.
  8. 제1항에 있어서,
    하나 이상의 얼굴들 또는 부분적 얼굴들 또는 둘 모두는 그것들의 다른 판정된 크기들을 기반으로 하여 판정된 각기 다른 다중의 깊이들에 위치해 있는 다중 얼굴들 또는 부분적 얼굴들 또는 둘 모두를 포함하는, 방법.
  9. 제1항에 있어서,
    하나 이상의 깊이들의 판정은 하나 이상의 판정된 크기들 중 적어도 하나에 대응하는 적어도 하나의 평균 깊이를 할당(assigning)하는 것을 포함하는, 방법.
  10. 제1항에 있어서,
    하나 이상의 깊이들의 판정은,
    검출된 얼굴 또는 부분적 얼굴 또는 둘 모두를 특정한 개인에 속한 것으로 인식하고,
    메모리로부터 특정한 얼굴 또는 부분적 얼굴 또는 둘 모두에 대응하는 알려진 얼굴 또는 부분적 얼굴 공간적(spatial) 파라미터를 호출하고, 그리고
    판정된 크기 및 알려진 얼굴 또는 부분적 얼굴 공간적 파라미터에 대응하는 깊이를 판정하는 것을 포함하는, 방법.
  11. 제1항에 있어서,
    하나 이상의 각자의 초점 위치들을 조정하는 것은 MEMS(micro-electro mechanical system) 구성 요소(component)를 이용하는 것을 포함하는, 방법.
  12. 제1항 내지 제11항의 방법들 중 어느 한 항의 방법을 수행하도록 프로세서를 구비하는 기기를 프로그래밍하기 위해 구현된 코드를 구비하는 하나 이상의 프로세서 판독 가능 매체들로서, 상기 기기는 렌즈 및 이미지 센서를 사용하여 하나 이상의 초점이 벗어난 얼굴들 또는 부분적 얼굴들 또는 둘 모두를 포함하는 씬의 디지털 이미지를 획득하는 하나 이상의 프로세서 판독 가능 매체들.
  13. 렌즈, 이미지 센서, 프로세서 및 메모리를 포함하는 디지털 이미지 획득 기기로서,
    상기 메모리는 프로세서가 제1항 내지 제11항의 방법들 중 어느 한 항의 방법에 따른 얼굴 검출을 기반으로 하는 자동초점 방법을 수행하도록 프로그래밍하기 위해 내장된(embedded) 코드를 구비하는, 디지털 이미지 획득 기기.
KR1020137010457A 2010-09-28 2011-09-28 얼굴 검출 및 트래킹을 기반으로 하는 연속 자동초점 KR101783847B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US38744910P 2010-09-28 2010-09-28
US61/387,449 2010-09-28
US12/959,320 US8970770B2 (en) 2010-09-28 2010-12-02 Continuous autofocus based on face detection and tracking
US12/959,320 2010-12-02
PCT/EP2011/066835 WO2012041892A1 (en) 2010-09-28 2011-09-28 Continuous autofocus based on face detection and tracking

Publications (2)

Publication Number Publication Date
KR20130112036A KR20130112036A (ko) 2013-10-11
KR101783847B1 true KR101783847B1 (ko) 2017-10-10

Family

ID=44759672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137010457A KR101783847B1 (ko) 2010-09-28 2011-09-28 얼굴 검출 및 트래킹을 기반으로 하는 연속 자동초점

Country Status (6)

Country Link
US (1) US8970770B2 (ko)
EP (1) EP2622840B1 (ko)
JP (1) JP6027005B2 (ko)
KR (1) KR101783847B1 (ko)
CN (1) CN103155537B (ko)
WO (1) WO2012041892A1 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8633999B2 (en) 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
US8548206B2 (en) 2011-01-20 2013-10-01 Daon Holdings Limited Methods and systems for capturing biometric data
US8508652B2 (en) 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
US9294667B2 (en) 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
US9354486B2 (en) * 2012-06-07 2016-05-31 DigitalOptics Corporation MEMS MEMS fast focus camera module
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
KR101487516B1 (ko) * 2012-09-28 2015-01-30 주식회사 팬택 연속 자동 초점을 이용한 멀티 초점 이미지 캡처 장치 및 방법
US8988586B2 (en) 2012-12-31 2015-03-24 Digitaloptics Corporation Auto-focus camera module with MEMS closed loop compensator
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
JP6102602B2 (ja) 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
CN104427237B (zh) * 2013-09-05 2018-08-21 华为技术有限公司 一种聚焦图片的显示方法及图像处理设备
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
DE102013224704A1 (de) * 2013-12-03 2015-06-03 Robert Bosch Gmbh Verfahren zur automatischen Fokussierung einer Kamera
US9633462B2 (en) 2014-05-09 2017-04-25 Google Inc. Providing pre-edits for photos
US10242313B2 (en) * 2014-07-18 2019-03-26 James LaRue Joint proximity association template for neural networks
US10419658B1 (en) 2014-07-20 2019-09-17 Promanthan Brains LLC, Series Point only Camera optimizing for several directions of interest
CN105704360A (zh) * 2014-11-25 2016-06-22 索尼公司 辅助自动对焦方法、装置以及电子设备
WO2016091545A1 (en) * 2014-12-09 2016-06-16 Fotonation Limited Image processing method
US9686463B2 (en) * 2015-03-10 2017-06-20 Qualcomm Incorporated Systems and methods for continuous auto focus (CAF)
CN104853088A (zh) * 2015-04-09 2015-08-19 来安县新元机电设备设计有限公司 一种移动终端拍照时快速对焦的方法及移动终端
EP3109695B1 (en) 2015-06-24 2019-01-30 Samsung Electronics Co., Ltd. Method and electronic device for automatically focusing on moving object
CN104933419B (zh) * 2015-06-30 2019-05-21 小米科技有限责任公司 获取虹膜图像的方法、装置及红膜识别设备
CN106125879A (zh) * 2016-06-14 2016-11-16 深圳市金立通信设备有限公司 一种降低终端功耗的方法及终端
US10148943B2 (en) * 2016-08-08 2018-12-04 Fotonation Limited Image acquisition device and method based on a sharpness measure and an image acquistion parameter
US10334152B2 (en) 2016-08-08 2019-06-25 Fotonation Limited Image acquisition device and method for determining a focus position based on sharpness
US10015389B2 (en) * 2016-09-22 2018-07-03 Omnivision Technologies, Inc. Image sensor with asymmetric-microlens phase-detection auto-focus (PDAF) detectors, associated PDAF imaging system, and associated method
CN106506969B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 摄像模组、通过其进行人像追踪的方法以及电子设备
US10148945B1 (en) 2017-05-25 2018-12-04 Fotonation Limited Method for dynamically calibrating an image capture device
JP2020532914A (ja) * 2017-09-01 2020-11-12 ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． 仮想オーディオのスイートスポット適応法
CN108234879B (zh) * 2018-02-02 2021-01-26 成都西纬科技有限公司 一种获取滑动变焦视频的方法和装置
CN108920047A (zh) * 2018-05-29 2018-11-30 努比亚技术有限公司 一种应用程序的控制方法、终端和计算机可读存储介质
KR20210108082A (ko) 2020-02-25 2021-09-02 삼성전자주식회사 위상 차를 이용하는 라이브니스 검출 방법 및 장치
EP3936917B1 (en) * 2020-07-09 2024-05-01 Beijing Xiaomi Mobile Software Co., Ltd. A digital image acquisition apparatus and an autofocus method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262001A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp 撮像装置及びその主要被写体検出方法並びに合焦制御方法
JP2009069551A (ja) * 2007-09-14 2009-04-02 Sony Corp データ処理装置、およびデータ処理方法、並びにプログラム
JP2010210968A (ja) * 2009-03-11 2010-09-24 Fujifilm Corp 光学モジュールおよびその製造方法、並びに撮像装置

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5870217A (ja) 1981-10-23 1983-04-26 Fuji Photo Film Co Ltd カメラブレ検出装置
US5835138A (en) 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
KR100188116B1 (ko) 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
US6407777B1 (en) 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US6430312B1 (en) 1997-12-29 2002-08-06 Cornell Research Foundation, Inc. Image subregion querying using color correlograms
US6963361B1 (en) 1998-02-24 2005-11-08 Canon Kabushiki Kaisha Image sensing method and apparatus capable of performing vibration correction when sensing a moving image
JP3825222B2 (ja) * 2000-03-24 2006-09-27 松下電器産業株式会社 本人認証装置および本人認証システムならびに電子決済システム
US6747690B2 (en) 2000-07-11 2004-06-08 Phase One A/S Digital camera with integrated accelerometers
US7359130B1 (en) 2002-02-04 2008-04-15 Siimpel Corporation Lens mount and alignment method
US6850675B1 (en) 2002-02-04 2005-02-01 Siwave, Inc. Base, payload and connecting structure and methods of making the same
JP2003289468A (ja) * 2002-03-28 2003-10-10 Sanyo Electric Co Ltd 撮像装置
US6934087B1 (en) 2002-09-25 2005-08-23 Siimpel Corporation Fiber optic collimator and collimator array
JP4092636B2 (ja) 2002-11-01 2008-05-28 フジノン株式会社 オートフォーカスシステム
US7317815B2 (en) 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7315630B2 (en) 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7616233B2 (en) 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US7362368B2 (en) 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8204330B2 (en) 2009-06-29 2012-06-19 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US20050140801A1 (en) 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US7826139B2 (en) 2003-12-16 2010-11-02 The Invention Science Fund I, Llc Image correction using individual manipulation of microlenses in a microlens array
US7558408B1 (en) 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7555148B1 (en) 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7663289B1 (en) 2004-02-18 2010-02-16 Siimpel Corporation Centipede actuator motion stage
US7477842B2 (en) 2004-03-12 2009-01-13 Siimpel, Inc. Miniature camera
US7640803B1 (en) 2004-05-26 2010-01-05 Siimpel Corporation Micro-electromechanical system inertial sensor
US7733412B2 (en) 2004-06-03 2010-06-08 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4674471B2 (ja) 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
US7555210B2 (en) 2005-02-28 2009-06-30 Siimpel, Inc. Axial snubbers for camera
US7359131B1 (en) 2005-02-28 2008-04-15 Siimpel Corporation Lens positioning systems and methods
US7646969B2 (en) 2005-02-28 2010-01-12 Siimpel Corporation Camera snubber assembly
US7565070B1 (en) 2005-02-28 2009-07-21 Siimpel Corporation Telephone vibrator
US7403344B2 (en) 2005-02-28 2008-07-22 Siimpel Corporation Lens Assembly
US7345827B1 (en) 2005-02-28 2008-03-18 Siimpel Corporation Lens barrel
US7495852B2 (en) 2005-02-28 2009-02-24 Siimpel Corporation Zoom lens assembly
US7729603B2 (en) 2005-02-28 2010-06-01 Siimpel Corporation Resolution adjustment for miniature camera
US20060239579A1 (en) 2005-04-22 2006-10-26 Ritter Bradford A Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
JP2006319596A (ja) * 2005-05-12 2006-11-24 Fuji Photo Film Co Ltd 撮像装置および撮像方法
US7583006B2 (en) 2005-07-26 2009-09-01 Siimpel Corporation MEMS digital linear actuator
US7697829B1 (en) 2005-09-02 2010-04-13 Siimpel Corporation Electronic damping for stage positioning
US7477400B2 (en) 2005-09-02 2009-01-13 Siimpel Corporation Range and speed finder
US7692696B2 (en) 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
IES20060558A2 (en) 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
WO2007095477A2 (en) 2006-02-14 2007-08-23 Fotonation Vision Limited Image blurring
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US7551754B2 (en) 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
JP4264660B2 (ja) 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US7769281B1 (en) 2006-07-18 2010-08-03 Siimpel Corporation Stage with built-in damping
US7702226B1 (en) 2006-07-20 2010-04-20 Siimpel Corporation Board mounted hermetically sealed optical device enclosure and manufacturing methods therefor
US7515740B2 (en) 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP2008090059A (ja) * 2006-10-03 2008-04-17 Samsung Techwin Co Ltd 撮像装置およびそのオートフォーカス制御方法
US7697834B1 (en) 2006-10-13 2010-04-13 Siimpel Corporation Hidden autofocus
US7693408B1 (en) 2006-10-13 2010-04-06 Siimpel Corporation Camera with multiple focus captures
US7545591B1 (en) 2006-10-17 2009-06-09 Siimpel Corporation Uniform wall thickness lens barrel
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US7663817B1 (en) 2007-01-19 2010-02-16 Siimpel Corporation Optical system with plano convex lens
US7697831B1 (en) 2007-02-20 2010-04-13 Siimpel Corporation Auto-focus with lens vibration
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
WO2008109622A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
WO2008117584A1 (ja) 2007-03-23 2008-10-02 Kabushiki Kaisha Toshiba 手ぶれ補正装置、撮像装置、手ぶれ補正プログラム、撮像プログラム、手ぶれ補正方法、撮像方法
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
JP4678603B2 (ja) 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
WO2008131823A1 (en) 2007-04-30 2008-11-06 Fotonation Vision Limited Method and apparatus for automatically controlling the decisive moment for an image acquisition device
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP2009010777A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置、撮影制御方法、プログラム
KR101431535B1 (ko) * 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
US7729601B1 (en) 2007-08-31 2010-06-01 Siimpel Corporation Shutter for autofocus
JP2009094946A (ja) * 2007-10-11 2009-04-30 Fujifilm Corp 撮像装置及び撮像装置における肖像権保護方法
JP5048468B2 (ja) * 2007-11-28 2012-10-17 富士フイルム株式会社 撮像装置およびその撮像方法
JP4956401B2 (ja) 2007-12-18 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5337818B2 (ja) 2008-01-18 2013-11-06 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 画像処理方法および装置
JP4843002B2 (ja) * 2008-01-25 2011-12-21 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
JP5079552B2 (ja) 2008-03-13 2012-11-21 オリンパス株式会社 画像処理装置、撮像装置及び画像処理方法
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
KR20090113076A (ko) 2008-04-25 2009-10-29 삼성디지털이미징 주식회사 디지털 영상 처리기에서 브라케팅 촬영 장치 및 방법
JP4524717B2 (ja) 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2010015024A (ja) * 2008-07-04 2010-01-21 Canon Inc 撮像装置、その制御方法、プログラム及び記憶媒体
JP5163446B2 (ja) 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
JP4893758B2 (ja) 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
US8665326B2 (en) 2009-01-30 2014-03-04 Olympus Corporation Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method
US8233078B2 (en) * 2009-02-19 2012-07-31 Apple Inc. Auto focus speed enhancement using object recognition and resolution
JP5374220B2 (ja) 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
US8798388B2 (en) 2009-12-03 2014-08-05 Qualcomm Incorporated Digital image combining to produce optical effects
US20100283868A1 (en) 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
US8045046B1 (en) 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262001A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp 撮像装置及びその主要被写体検出方法並びに合焦制御方法
JP2009069551A (ja) * 2007-09-14 2009-04-02 Sony Corp データ処理装置、およびデータ処理方法、並びにプログラム
JP2010210968A (ja) * 2009-03-11 2010-09-24 Fujifilm Corp 光学モジュールおよびその製造方法、並びに撮像装置

Also Published As

Publication number Publication date
CN103155537A (zh) 2013-06-12
US20120075492A1 (en) 2012-03-29
EP2622840B1 (en) 2017-07-19
EP2622840A1 (en) 2013-08-07
JP2013542461A (ja) 2013-11-21
CN103155537B (zh) 2016-08-10
KR20130112036A (ko) 2013-10-11
WO2012041892A1 (en) 2012-04-05
US8970770B2 (en) 2015-03-03
JP6027005B2 (ja) 2016-11-16

Similar Documents

Publication Publication Date Title
KR101783847B1 (ko) 얼굴 검출 및 트래킹을 기반으로 하는 연속 자동초점
US7929042B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
EP1956831B1 (en) Focus adjusting device, image pickup apparatus, and focus adjustment method
EP3318054B1 (en) Systems and methods for autofocus trigger
US11956536B2 (en) Methods and apparatus for defocus reduction using laser autofocus
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
US20100194912A1 (en) Imaging apparatus, imaging apparatus control method, and computer program product, with eye blink detection features
JP2010015024A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP5950664B2 (ja) 撮像装置およびその制御方法
US20120249816A1 (en) Focus direction detection confidence system and method
JP2009198951A (ja) 撮像装置および対象物の検出方法
US10594938B2 (en) Image processing apparatus, imaging apparatus, and method for controlling image processing apparatus
JP2012500506A5 (ko)
JP2012500506A (ja) カメラおよびカメラの制御方法
JP2007328360A (ja) 自動焦点カメラ及び撮影方法
JP2013085089A (ja) 被写体追尾装置およびカメラ
JP5454392B2 (ja) 測距装置及び撮像装置
JP2009092747A (ja) 撮像装置、および撮像方法
JP2010072559A (ja) 撮像装置および対象物領域抽出方法
JP6525710B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP2013008045A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP2014023054A (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP6443486B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2021057778A (ja) 撮像装置、その制御方法、及びプログラム
JP2016057462A (ja) 撮像装置及び制御方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant