KR20080027443A - 촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램 - Google Patents

촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20080027443A
KR20080027443A KR1020070071514A KR20070071514A KR20080027443A KR 20080027443 A KR20080027443 A KR 20080027443A KR 1020070071514 A KR1020070071514 A KR 1020070071514A KR 20070071514 A KR20070071514 A KR 20070071514A KR 20080027443 A KR20080027443 A KR 20080027443A
Authority
KR
South Korea
Prior art keywords
range
face
focus
ranging
area
Prior art date
Application number
KR1020070071514A
Other languages
English (en)
Inventor
요시토 테라시마
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080027443A publication Critical patent/KR20080027443A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

정확한 인-포커스 위치의 검출에 의한 포커스 제어를 행하는 구성을 실현한다. 촬상장치에서 취득되는 화상 데이터로부터 안면 영역을 검출하고, 검출된 안면 영역에 기초해서 안면 영역을 포함한 안면 영역 대응 측거 범위와, 안면 영역 이외의 신체 영역을 포함한 신체 대응 측거 범위를 설정하고, 이 복수의 측거 범위를 적용하여, 각각의 측거 범위 대응의 인-포커스 위치를 산출하고, 산출한 복수의 측거 범위 대응의 인-포커스 위치 데이터를 사용해서 최종적인 인-포커스 위치를 결정한다. 본 구성에 의하면, 배경정보로 인한 인-포커스 위치 설정 에러나 저콘트라스트로 인한 인-포커스 위치 설정 에러 등의 인-포커스 에러가 방지되어, 정확한 인-포커스 위치의 결정이 가능해진다.
Figure P1020070071514
촬상, 화상, 포커스, 콘트라스트

Description

촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램{IMAGING APPARATUS, CONTROL METHOD OF IMAGING APPARATUS, AND COMPUTER PROGRAM}
본 발명은, 촬상장치, 및 촬상장치 제어방법, 및 컴퓨터 프로그램에 관한 것이다. 더욱 상세히는, 목적으로 하는 피사체에 대하여 정확한 오토 포커스 처리를 행할 수 있게 한 촬상장치, 및 촬상장치 제어방법, 및 컴퓨터 프로그램에 관한 것이다.
최근의 많은 스틸 카메라나 비디오 카메라 등의 촬상장치에는, 피사체에 대한 포커스를 자동으로 맞추는 오토 포커스(AF) 기구가 탑재되어 있다. 또한, 최근, 오토 포커스(AF) 기능을 갖춘 카메라에 있어서, 화면 내의 복수의 에어리어의 거리를 측정하고, 그 중에서 가장 촬영자에게 가까운 것, 화면의 중앙에 가까운 것 등의 여러 가지 우선 순위의 결과로서 최적의 에어리어 선택하고, 그 에어리어에 초점이 맞도록 렌즈를 구동하는 기능, 소위 「멀티 AF」, 「다점 AF」가 널리 채용되고 있다. 이 기능을 적용함으로써 주요 피사체가 반드시 화면의 중앙에 존재하지 않는 경우에도, 촬영자가 특별한 조작을 하지 않고 주요 피사체에 대해 적절히 초점을 맞출 수 있다.
그러나, 이러한 멀티 AF나 다점 AF도 만능일 수는 없고, 모든 구도에 대하여 만능으로 기능하지 않는다. 일반적인 카메라의 촬영에서는 인간이 주요 피사체가 되는 경우가 상당히 많지만, 촬영 화상에 있어서의 인물의 위치는 다양하고 여러 가지 구도가 있다. 처음부터 촬상장치에 있어서의 측거 에어리어가 설정되지 않은 위치에 목적 피사체가 있는 경우도 있다. 이러한 경우, 멀티 AF나 다점 AF를 적용해도 인물에 대한 인-포커스는 적절히 행해지지 않는다.
이러한 문제를 해결하기 위해서, 예를 들면 특허문헌 1에서는, 촬상장치에 있어서의 취득 화상으로부터 피부색 정보를 검출하고, 그 영역을 안면의 위치라고 가정하고, 거기에 대하여 거리를 측정하는 방법을 제안하였다. 이에 따라, 어떠한 구도여도 인물에 초점이 맞는 카메라를 실현할 수 있다. 그러나 이 방법에는, 안면의 검출 성능이 충분히 발휘되지 않는, 예를 들면 밝은 환경이나, 어두운 환경에서는 충분한 기능을 발휘하기 어렵다는 약점이 있다.
한편, 특허문헌 2에서는, 피부색 정보로부터의 안면 위치 추정이 아니라, 인물의 안면을 검출해서 인물의 검출 정밀도를 향상시키는 구성을 개시하고 있다. 더욱이 눈, 코, 입 등의 부분을 검출하고, 그 부분들의 거리를 측정하는 방법을 제안하고 있다. 그러나, 눈, 코, 입이 검출되었을 때에, 어디의 거리를 측정할지를 선택하는 것은 카메라가 아니고, 카메라의 사용자가 선택하게 하는 구성이며, 유저 조작이 필요해져 간단한 촬영은 실현하지 못한다. 또한 유저가 부분 선택 결정 처 리를 행하고 있는 동안에 촬영 기회를 놓쳐버릴 가능성이 있다.
카메라에 의한 취득 화상에 기초해서 안면 검출을 행해서 안면의 거리를 측정하는 구성으로 할 경우, 카메라의 취득 화상에 있어서의 안면 영역이 지나치게 작으면 손 떨림이나 피사체 흔들림의 영향을 받기 쉬워지는 문제가 있고, 안면의 휘도차를 검출하는 방식의 AF(오토 포커스)를 채용하는 경우에는, 휘도차가 검출되기 어려워지는 근본적인 문제도 존재한다.
이러한 문제를 해결하는 구성으로서, 특허문헌 3에서는, 안면의 크기에 따라 측거 영역을 변화시키는 방법을 제안하고 있다. 안면이 소정의 크기보다 큰 경우에, 눈이 검출되면 눈을 내부에 포함한 영역을 측거 영역으로 하고, 안면이 소정의 크기보다 작은 경우에는, 안면을 포함하는 넓은 범위를 설정하는 방법이다. 그러나, 이 방법에 의하면, 안면이 작은 경우에 줌을 사용한 촬영을 실시하면 배경에 초점이 맞게 되어, 안면에 대한 초점이 벗어나는 문제가 발생하는 경우가 있다.
[특허문헌 1] 일본국 공개특허공보 특개 2004-219461호
[특허문헌 2] 일본국 공개특허공보 특개 2003-107335호
[특허문헌 3] 일본국 공개특허공보 특개 2004-317699호
본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 목적으로 하는 피사체에 대한 정확한 오토 포커스 처리를 행할 수 있게 한 촬상장치, 및 촬상장치 제어방법, 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
보다 구체적으로, 본 발명은 안면 검출 기능을 이용하여, 안면 영역에 측거 범위를 설정하는 것과 함께, 안면 이외의 신체 영역에도 측거 범위를 설정하고, 이 측거 범위들을 적용한 정확한 인-포커스 위치 결정 처리를 실현하는 촬상장치, 및 촬상장치 제어방법, 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제1 측면은,
촬상장치에 있어서의 입력 화상으로부터 안면 영역의 검출을 실행하는 안면 검출부와,
상기 안면 검출부에서 검출된 안면 영역에 기초해서 안면 영역을 포함한 안면 영역 대응 측거 범위와, 신체 영역을 포함한 신체 영역 대응 측거 범위의 설정 처리를 실행하는 측거 범위 설정부와,
상기 측거 범위 설정부가 설정한 복수의 측거 범위를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행하는 포 커스 제어부를 가지는 것을 특징으로 하는 촬상장치에 있다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 측거 범위 설정부는, 안면 전체를 포함한 안면 영역 대응 측거 범위, 안면 내부의 일부 영역을 포함한 안면 내부 영역 대응 측거 범위, 안면 이외의 신체 영역을 포함한 신체 영역 대응 측거 범위의, 상기 3종류의 측거 범위를 설정하는 구성이며, 상기 포커스 제어부는, 상기 측거 범위 설정부가 설정한 상기 3종류의 측거 범위를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 측거 범위 설정부는, 상기 안면 검출부가 검출한 안면 영역 정보에 기초해서 안면 전체를 포함한 안면 영역 대응 측거 범위, 안면 내부의 일부 영역을 포함한 안면 내부 영역 대응 측거 범위, 안면 이외의 신체 영역을 포함한 신체 영역 대응 측거 범위의, 상기 3종류의 측거 범위의 설정 위치 및 크기를 결정해서 각 측거 범위를 설정하는 구성인 것을 특징으로 한다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 포커스 제어부는, 복수의 다른 각각의 측거 범위에 대해서, 포커스 렌즈의 이동에 따르는 콘트라스트 변화를 계측하고, 각 측거 범위 대응의 인-포커스 위치를 산출하고, 산출된 각 측거 범위 대응의 인-포커스 위치의 대조에 기초해서 최종적인 인-포커스 위치를 결정하는 구성인 것을 특징으로 한다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 포커스 제어부는, 상기 측거 범위 설정부가 설정한 복수의 측거 범위 내부의 화상의 콘트라스트를 검증하고, 저콘트라스트의 화상 데이터인 경우에는, 그 측거 범위를 적용해서 산출한 인-포커스 위치 정보를 무효로 하여, 최종적인 인-포커스 위치 산출에는 적용하지 않는 구성인 것을 특징으로 한다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 포커스 제어부는, 적어도 2개의 다른 측거 범위 대응의 인-포커스 위치가 미리 설정된 허용 범위 내의 차분 이내에서 일치하는 경우, 상기 일치점을 인-포커스 위치로 결정하는 처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 포커스 제어부는,
(a) 안면 전체를 포함한 안면 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치,
(b) 안면 내부의 일부 영역을 포함한 안면 내부 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치,
(c) 안면 이외의 신체 영역을 포함한 신체 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치의,
상기 3종류의 측거 범위 대응의 인-포커스 위치를 대조하고, 모든 측거 범위 대응의 인-포커스 위치가 미리 설정된 허용 범위 내의 차분 이내에서 일치할 경우, 또는, 적어도 2개의 다른 측거 범위 대응의 인-포커스 위치가 미리 설정된 허용 범위 내의 차분 이내에서 일치할 경우, 상기 일치점을 인-포커스 위치로 결정하는 처 리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 포커스 제어부는, 상기 안면 검출부가 검출한 안면 영역의 크기로부터 산출되는 안면까지의 거리정보와, 상기 복수의 측거 범위를 적용한 측거 결과로부터 얻어지는 복수의 인-포커스 위치를 비교 대조하고, 상기 거리정보로부터 구해진 인-포커스 위치와, 상기 복수의 인-포커스 위치 중 어느 하나와의 차분이 미리 정한 허용 범위 내에 있을 경우에는, 상기 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치를 최종적인 인-포커스 위치로 결정하는 처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 안면 검출부는, 연속적으로 촬상장치의 입력 화상으로부터의 안면 영역 검출을 실행하는 구성이며, 촬상장치의 제어부는, 상기 안면 검출부에 있어서 안면 영역 검출에 성공한 경우에는, 검출 화상의 휘도 또는 색 정보의 적어도 어느 하나를 포함한 화상정보를 메모리에 보존하고, 안면 영역 검출에 실패한 경우에는, 촬상장치의 움직임의 유무를 검증하고, 안면 검출 실패 화상과, 과거의 안면 검출 성공 화상의 휘도 또는 색 정보의 적어도 어느 하나를 포함한 화상정보의 비교 검증에 기초해서, 안면 검출 실패 화상에 있어서의 안면 영역의 위치로서, 과거의 안면 검출 성공 화상에 있어서의 안면 영역의 위치를 적용할 수 있는지 여부를 나타내는 플래그를 설정해서 메모리에 기록하는 처리를 실행하는 구성을 가지고, 상기 측거 범위 설정부는, 안면 검출 실패시에, 상기 플래그를 참조하여, 과거의 안면 검출 성공 화상에 있어서의 안면 영역의 위치가 적용 가능한 것이 확인된 경우, 과거의 안면 검출 성공 화상에 있어서의 안면 영역 정보를 적용한 측거 범위 설정 처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 촬상장치의 일 실시형태에 있어서, 상기 안면 검출부가 촬상장치의 입력 화상에 복수의 안면 영역을 검출한 경우, 상기 측거 범위 설정부는, 미리 설정된 우선 순위에 따라 측거 범위 설정 대상의 인물을 순차 선택하는 처리를 행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 제2 측면은,
촬상장치에 있어서 오토 포커스 제어를 실행하는 촬상장치 제어방법으로서,
안면 검출부에서, 촬상장치에 있어서의 입력 화상으로부터 안면 영역의 검출을 실행하는 안면 검출 스텝과,
측거 범위 설정부에서, 상기 안면 검출 스텝에 있어서 검출된 안면 영역에 기초해서 안면 영역을 포함한 안면 영역 대응 측거 범위와, 신체 영역을 포함한 신체 영역 대응 측거 범위의 설정 처리를 실행하는 측거 범위 설정 스텝과,
포커스 제어부에서, 상기 측거 범위 설정 스텝에서 설정한 복수의 측거 범위를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행하는 포커스 제어 스텝을 가지는 것을 특징으로 하는 촬상장치 제어방법에 있다.
또한, 본 발명의 제3 측면은,
촬상장치에서 오토 포커스 제어를 실행시키는 컴퓨터 프로그램으로서,
안면 검출부에서, 촬상장치에 있어서의 입력 화상으로부터 안면 영역의 검출을 실행시키는 안면 검출 스텝과,
측거 범위 설정부에서, 상기 안면 검출 스텝에 있어서 검출된 안면 영역에 기초해서 안면 영역을 포함한 안면 영역 대응 측거 범위와, 신체 영역을 포함한 신체 영역 대응 측거 범위의 설정 처리를 실행시키는 측거 범위 설정 스텝과,
포커스 제어부에서, 상기 측거 범위 설정 스텝에서 설정한 복수의 측거 범위를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행시키는 포커스 제어 스텝을 실행시키는 것을 특징으로 하는 컴퓨터 프로그램에 있다.
여기에서, 본 발명의 컴퓨터 프로그램은, 예를 들면 여러 가지 프로그램 코드를 실행할 수 있는 범용 컴퓨터 시스템에 대하여, 컴퓨터 판독 가능 형식으로 제공하는 기억매체, 통신매체, 예를 들면 CD나 FD, MO 등의 기억매체, 또는, 네트워크 등의 통신매체에 의해 제공할 수 있는 컴퓨터 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능 형식으로 제공함으로써, 컴퓨터 시스템상에서 프로그램에 따른 처리가 실현된다.
본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초한 상세한 설명에 의해 밝혀질 것이다. 한편, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 케이싱 내에 있는 것에 한정되지는 않는다.
본 발명의 하나의 실시예의 구성에서는, 촬상장치에서 취득되는 화상 데이터로부터 안면 영역을 검출하고, 검출된 안면 영역에 기초해서 안면 영역을 포함한 안면 영역 대응의 측거 범위와, 안면 영역 이외의 신체 영역을 포함한 신체 대응 측거 범위를 설정하고, 이 복수의 측거 범위를 적용하여, 각각의 측거 범위 대응의 인-포커스 위치를 산출하고, 산출한 복수의 측거 범위 대응의 인-포커스 위치 데이터를 사용해서 최종적인 인-포커스 위치를 결정하는 구성으로 했으므로, 배경정보로 인한 인-포커스 위치 설정 에러나 저콘트라스트로 인한 인-포커스 위치 설정 에러 등의 인-포커스 에러가 방지되어, 정확한 인-포커스 위치를 결정할 수 있다.
이하, 도면을 참조하면서 본 발명의 촬상장치, 및 촬상장치 제어방법, 및 컴퓨터 프로그램의 상세한 내용에 관하여 설명한다. 본 발명은, 목적으로 하는 피사체에 대하여 정확한 오토 포커스(AF)를 가능하게 하는 구성을 개시하는 것이다. 본 발명의 상세한 내용에 대해서, 이하의 항목에 따라 설명한다.
1. 촬상장치의 구성
2. 포커스 제어 및 안면 검출 처리의 개요
3. 안면 및 신체에 측거 범위를 설정한 포커스 제어 처리
4. 촬상장치의 기능 구성
[1. 촬상장치의 구성]
우선, 도 1, 도 2를 참조하여, 본 발명의 촬상장치의 구성에 관하여 설명한다. 도 1은, 본 발명의 촬상장치(10)의 외관을 도시한 도면이다. 도 1a는 촬상장치(10)의 평면도, 도 1b는 정면도, 도 1c는 배면도다. 도 1a의 평면도의 렌즈 부분은 단면도로 나타낸다. 촬상장치(10)는, 전원 스위치(11), 화상 포착 타이밍을 설정하는 트리거 수단, 즉 셔터로서 기능하는 릴리스 스위치(12), 촬상장치에 의해 촬영되는 화상(스루 화상)이나 조작 정보 등을 표시하는 모니터(13), 촬상소자(CCD)로서의 이미저(14), 줌 제어를 행하기 위한 줌 버튼(15), 각종 조작 정보를 입력하는 조작 버튼(16), 촬상장치에 의해 촬영되는 화상(스루 화상)을 확인하기 위한 뷰 파인더(17), 포커스 조정에 있어서 구동되는 포커스 렌즈(18), 줌 조정시에 구동되는 줌 렌즈(19), 촬영 모드를 설정하기 위한 모드 다이얼(20), 포커스 렌즈(18)를 구동하기 위한 포커스 렌즈 모터(M1)(21), 줌 렌즈(19)를 구동하기 위한 줌 렌즈 모터(M2)(22)를 가진다.
피사체 화상은, 뷰 파인더(17) 및 모니터(13)에 표시된다. 뷰 파인더(17) 및 모니터(13)는 예를 들면 LCD로 구성되고, 렌즈를 통과하는 피사체 화상이 동화상으로 나타난다. 이 동화상은 스루 화상이라 불린다. 유저는, 뷰 파인더(17) 또는 모니터(13)를 확인하여, 촬영하는 목표 피사체를 확인하고, 셔터로서의 릴리스 스위치(12)를 누름으로써 화상의 기록 처리가 실행되게 된다.
도 2를 참조해서 본 발명의 촬상장치(100)의 내부 구성에 관하여 설명한다. 본 발명의 촬상장치는, 오토 포커스 기능을 가지는 촬상장치다. 포커스 렌즈(101), 줌 렌즈(102)를 통과하는 입사광은, 예를 들면 CCD(Charge Coupled Device) 등의 촬상소자(103)에 입력되고, 촬상소자(103)에서 광전 변환된다. 광전 변환 데이터는, 아날로그 신호 처리부(104)에 입력되고, 아날로그 신호 처리부(104)에서 노이즈 제거 등의 처리가 이루어지고, A/D 변환부(105)에서 디지털 신호로 변환된다. A/D 변환부(105)에 있어서 디지털 변환된 데이터는, 예를 들면 플래시 메모리 등으로 구성되는 기록 디바이스(115)에 기록된다. 또한, 모니터(117), 뷰 파인더(EVF)(116)에 표시된다. 모니터(117), 뷰 파인더(EVF)(116)에는 촬영의 유무에 상관없이, 렌즈를 통과하는 화상이 스루 화상으로 표시된다.
조작부(118)는, 도 1을 참조해서 설명한 카메라 본체에 있는 릴리스 스위치(12), 줌 버튼(15), 각종 조작 정보를 입력하는 조작 버튼(16), 촬영 모드를 설정하기 위한 모드 다이얼(20) 등을 포함한 조작부다. 제어부(110)는, CPU를 가지고, 촬상장치가 실행하는 각종 처리의 제어를 미리 메모리(ROM)(120) 등에 저장된 프로그램에 따라 실행한다. 메모리(EEPROM)(119)는 불휘발성 메모리이며, 화상 데이터, 각종 보조 정보, 프로그램 등이 저장된다. 메모리(ROM)(120)는, 제어부(CPU)(110)가 사용하는 프로그램이나 연산 파라미터 등을 저장한다. 메모리(RAM)(121)는, 제어부(CPU)(110)에서 사용하는 프로그램이나, 그 실행에 있어서 적당하게 변화되는 파라미터 등을 저장한다. 자이로(111)는, 촬상장치의 기울기, 진동 등을 검출한다. 검출 정보는, 제어부(CPU)(110)에 입력되어 손 떨림 방지 등의 처리가 실행된다.
모터 드라이버(112)는, 포커스 렌즈(101)에 대응해서 설정된 포커스 렌즈 구 동 모터(113), 줌 렌즈(102)에 대응해서 설정된 줌 렌즈 구동 모터(114)를 구동한다. 수직 드라이버(107)는, 촬상소자(CCD)(103)를 구동한다. 타이밍 제너레이터(106)는, 촬상소자(103) 및 아날로그 신호 처리부(104)의 처리 타이밍의 제어신호를 생성하고, 각 처리부의 처리 타이밍을 제어한다.
안면 검출부(130)는, 렌즈를 통해 입력되는 화상 데이터를 해석하고, 화상 데이터 중의 인물의 안면을 검출한다. 안면 검출 정보는, 제어부(110)에 보내지고, 제어부(110)에서는, 검출된 안면 정보에 기초해서 검출된 안면의 영역에 오토 포커스(AF)를 위한 측거 범위(검파 범위라고도 부른다)를 설정하고, 포커스 제어를 행한다. 본 발명의 촬상장치에서는, 검출된 안면의 영역에 측거 범위를 설정할 뿐만 아니라, 안면 영역으로부터 추정되는 인물의 신체의 영역을 추정하고, 신체의 영역에도 측거 범위를 설정하여, 이 복수의 측거 범위에 기초해서 포커스 제어를 실행해서 포커스 위치를 결정한다.
[2. 포커스 제어 및 안면 검출 처리의 개요]
다음으로, 본 발명의 촬상장치에서 적용되는 이하의 처리에 관하여 설명한다.
(a) 콘트라스트 측정에 기초한 포커스 제어 처리
(b) 안면 영역의 검출 처리
(a) 콘트라스트 측정에 기초한 포커스 제어 처리
우선, 본 발명의 촬상장치에서 적용하는 콘트라스트 측정에 기초한 포커스 제어 처리에 대해서, 도 3을 참조해서 설명한다. 콘트라스트 측정에 기초한 포커스 제어는, 렌즈를 통해 취득된 촬영 데이터의 콘트라스트의 고저를 판단해서, 포커스 위치를 결정하는 방법이다. 이 오토 포커스(AF) 방법은, 예를 들면 일본국 공개특허공보 특개 평10-213737에 기재되어 있다.
비디오 카메라나 스틸 카메라에서 취득되는 화상의 콘트라스트의 대소정보를 이용해서 포커스 제어를 행한다. 예를 들면 촬영화상의 특정 영역을 포커스 제어용 신호 취득 영역(공간주파수 추출 에어리어)으로 설정한다. 이 영역은 측거 범위(검파 범위)이라 불린다. 이 특정 영역의 콘트라스트가 높을수록 포커스가 맞고, 콘트라스트가 낮으면 포커스가 벗어나 있다고 판정하여, 콘트라스트를 보다 높게 하는 위치로 렌즈를 구동해서 조정하는 방식이다.
구체적으로는, 특정 영역의 고주파성분을 추출해서, 추출한 고주파성분의 적분 데이터를 생성하고, 생성한 고주파성분 적분 데이터에 기초해서 콘트라스트의 고저를 판정하는 방법이 적용된다. 즉, 포커스 렌즈를 복수의 위치로 움직이면서 복수 매수의 화상을 취득하고, 각 화상의 휘도신호에 대하여 하이 패스 필터로 대표되는 필터 처리를 함으로써, 각 화상의 콘트라스트 강도를 나타내는 AF 평가치를 얻는다. 이때, 어떤 포커스 위치에서 초점이 맞은 피사체가 존재할 경우, 포커스 렌즈 위치에 대한 AF 평가치는 도 3과 같은 곡선을 그린다. 이 곡선의 피크 위치 P1, 즉 화상의 콘트라스트 값이 최대가 되는 위치가 인-포커스 위치다. 이 방식에서는, 디지털 카메라의 촬상소자인 이미저에 비친 화상의 정보만을 바탕으로 인-포커스 동작을 행할 수 있고, 촬상 광학계 이외에 측거 광학계를 가질 필요가 없어, 최근에는 디지털 스틸 카메라에서 널리 행해지고 있다.
본 발명의 촬상장치에서는, 도 2에 나타내는 안면 검출부(130)에서 검출된 안면 영역에 설정된 측거 범위와, 안면 영역으로부터 추정되는 신체 영역에도 별도의 측거 범위를 설정하고, 이 복수의 각각의 측거 범위에 대해서, 콘트라스트 판정에 기초해서 포커스 위치의 결정 처리를 행한다. 이 처리 구성에 대해서는, 후단에 상세히 설명한다.
(b) 안면 영역의 검출 처리
다음으로, 본 발명의 촬상장치의 안면 검출부(130)에서 실행하는 안면 영역의 검출 처리에 관하여 설명한다. 안면의 인식, 추미 기술로서는, 이미 여러 가지 기술이 개시되어 있고, 이 기존 기술을 적용할 수 있다. 예를 들면 일본국 공개특허공보 특개 2004-133637에 나타낸 바와 같은, 안면의 휘도분포 정보를 기록한 템플릿의 실화상에의 매칭에 의해 실현된다. 우선 실화상에 축소 처리를 한 화상을 복수 종류 준비한다. 거기에 안면을 기울였을 때에 얻어지는 안면의 휘도분포 정보 템플릿 군을 준비해 두고, 그것들을 순차 매칭시켜 간다. 이 템플릿은, 안면 3차원 직교좌표계의 XYZ축 각각에 대하여 기운 것이며, 이 템플릿과의 매칭에 의해 실제의 안면의 기울기를 판정하는 것이다.
축소된 화상에 대하여 2차원 평면 위를 이동시키면서 순차 매칭시켰을 때에, 어떤 특정 영역이 템플릿에 매치하면, 그 영역이 안면이 존재하는 위치가 되는 것이다. 본 발명의 촬상장치에서는, 이 안면 영역에 1개의 측거 범위를 설정하고, 추가로 그 안면 영역에 기초해서 신체 영역을 추정하여, 신체 영역에도 별도의 측거 범위를 설정함으로써, 콘트라스트 판정에 기초한 오토 포커스를 행한다.
또한, 상기의 템플릿 매칭에 의해 안면 영역이 결정되면, 안면의 크기도 실화상의 축소율로부터 구할 수 있다. 또한 그때에 사용한 템플릿으로부터 직교 3축 주변의 회전각, 요, 피치, 롤 각을 구할 수 있다. 이렇게 하여 얻어진 안면의 크기, 위치, 회전각도를 사용하여, 안면의 거리 추정을 실행해서 오토 포커스 제어를 행함으로써 포커스 렌즈의 동작 범위(Rf)를 작게 설정할 수 있다.
구체적인 안면까지의 거리의 산출 방법에 대해서 도 4를 참조해서 설명한다. 도 4에는, 피사체 위치(301), 포커스 렌즈(302), 촬상소자(303)를 나타낸다. 피사체 위치(301)에는 인물의 안면이 존재한다. 안면의 크기(안면의 폭)는 Wf다.
안면의 실제의 크기(Wf)를 알면 렌즈의 기본적인 물리법칙으로부터, 안면까지의 거리, 즉 피사체 거리(Df), 즉, 포커스 렌즈(302)로부터 피사체 위치(301)까지의 피사체 거리(Df)는 이하의 식으로 구할 수 있다. Df = Wref×(f/Wi)×(Ww/Wf) ···(식 1.1)
상기 식에 있어서의 각 기호의 설명을 이하에 나타낸다.
인간의 안면의 크기 기준 값: Wref
촬상소자의 폭: Wi
초점거리: f
촬영화상에서의 인간의 안면 크기의 픽셀 수(촬상소자 검출 값): Wf
사람의 안면 검출에 사용한 화상 크기의 픽셀 수(촬상소자 검출 값): Ww
인간의 안면의 크기 기준 값(Wref)은, 미리 정한 고정 값을 이용할 수 있다. 이때, 이 안면의 크기 기준 값(Wref)을, 개인차, 인종차, 연령차, 성별차 등을 고 려한 값으로 설정한 처리를 행할 수 있고, 이 처리에 의해, 한층 더 정확한 거리추정을 실현할 수 있다.
[3. 안면 및 신체에 측거 범위를 설정한 포커스 제어 처리]
다음으로, 본 발명의 촬상장치에 있어서 실행하는 안면 및 신체에 측거 범위를 설정한 포커스 제어 처리에 관하여 설명한다.
본 발명의 촬상장치의 하나의 특징은, 촬상장치에서 취득된 화상(스루 화상)으로부터의 안면 검출을 행하고, 안면 영역에 측거 범위를 설정하는 것과 함께, 안면 영역으로부터 신체 영역을 추정하고, 신체 영역에도 측거 범위를 설정하고, 이 측거 범위들을 적용해서 콘트라스트 판정에 근거하는 포커스 위치를 결정하는 것이다.
도 5를 참조해서 측거 범위의 설정 구성에 관하여 설명한다. 도 5a, 5b에 나타내는 화상은, 촬상장치에서 연속적으로 취득된 화상(스루 화상)을 나타내고, 도 5a는, 안면 영역에만 측거 범위를 설정한 예다. 즉, 안면 검출부에서 검출된 안면 영역에 포커스 위치 계측용 측거 범위(351)를 설정한 예다. 이렇게 안면 영역에 측거 범위를 설정하는 구성은 종래부터 있다.
이렇게, 안면 영역 전체에 측거 범위(351)를 설정한 경우, 측거 범위(351) 내에 배경이 혼합되는 것은 충분히 발생할 수 있다. 이러한 경우 「배경 이끌림」라는, 인물에 초점이 맞지 않고 배경에 초점이 맞게 되는 문제를 일으킨다. 즉, 측거 범위(351)의 내부에 있어서의 렌즈 구동에 따르는 콘트라스트의 변화를 측정해서 포커스 위치를 결정하는 처리를 행하게 되는데, 안면의 콘트라스트는 다른 피사 체(배경)에 비해 휘도 콘트라스트가 낮은 경향이 있어서, 안면의 측거 정보가, 다른 정보에 묻히게 되는 것이다. 즉, 측거 범위가 크면 AF의 실패를 일으키게 된다.
이러한 「배경 이끌림」를 방지하기 위해서, 안면의 내측에 측거 범위를 설정하는 것을 고려해 볼 수 있지만, 이렇게 검출된 안면의 내측에 측거 범위를 설정할 경우, 눈이나 입 등의 특징점을 포함한 측거 범위가 설정되면, 콘트라스트 변화를 측정할 수 있지만, 이러한 특징점을 포함하지 않는 측거 범위가 설정된 경우, 저콘트라스트가 되고, 렌즈 구동에 따르는 콘트라스트의 변화가 나타나기 어려워져, 초점을 맞출 수 없는 현상이 발생한다. 또한 측거 범위가 작을 경우에는, 손 떨림이나 피사체 흔들림에 의한 초점 위치의 오판도 많아진다. 따라서 측거 범위는 지나치게 작아도 AF의 실패로 연결된다는 문제가 있다.
이러한 문제는, 검출된 안면 영역에만 측거 범위를 설정해서 콘트라스트 변화에 근거하는 포커스 위치 탐색을 행하려는 데서 발생하는 문제다. 이 문제를 해결하는 하나의 방법으로는, 1개의 측거 범위가 아닌, 여러 군데의 측거 범위를 설정해서 복수의 측거 범위에 기초해서 측거한 결과를 종합적으로 판단해서 초점이 가장 맞는 위치를 검출하는 방법이 있다.
그러나, 예를 들면 복수의 다른 안면의 내부 영역에 복수의 측거 범위를 설정한 포커스 위치 탐색을 행할 경우, 이하의 문제가 발생한다.
* 안면의 내부를 목표로 하는 AF의 성능은, 안면의 검출 정밀도, 안면의 부분 인식 정밀도에 좌우되기 쉽다.
* 안면 내부에서 목표로 할 수 있는 부분은 적고, 벗어나면 볼과 같은 저콘 트라스트면으로 결정된다.
이러한 문제들이 있어, 안면 내부의 부분을 포함한 복수의 측거 범위를 설정해도, 양호한 결과를 얻을 수 있는 가능성은 크지 않다고 판단된다.
이 때문에, 본 발명의 촬상장치에서는, 측거 범위를 배치하는 대상을 안면 영역과, 안면 이외의 영역, 예를 들면 인물의 안면 이외의 신체에 측거 범위를 설정하고, 이 측거 범위에 근거하는 콘트라스트 측정에 의한 포커스 위치 결정을 행한다. 인물의 의복은, 안면의 피부색과 달리, 모양을 가지는 경우가 많고, 콘트라스트의 변화를 검출하기 쉬운 경우가 많아, 보다 정확한 포커스 위치 검출이 가능하다고 여겨지기 때문이다.
예를 들면, 도 5b에 나타낸 바와 같이, 안면 영역에 대한 측거 범위(371) 외에도, 신체 영역에 대한 측거 범위(372)를 설정하고, 각각의 측거 범위에 있어서, 먼저, 도 3을 참조해서 설명한 렌즈 위치 구동에 대응하는 콘트라스트 변화를 검출해서 검출한 콘트라스트 결과에 기초해서 포커스 위치를 결정한다.
이때, 예를 들면 도 6에 나타낸 바와 같이,
(a) 안면 영역에 대한 측거 범위(381),
(b) 신체 영역에 대응하는 측거 범위(382),
(c) 안면 내부 영역에 대응하는 측거 범위(383),
이 복수의 측거 범위를 설정하여, 각각의 측거 범위(381∼383)에 있어서, 먼저, 도 3을 참조해서 설명한 렌즈 위치 구동에 대응하는 콘트라스트 변화를 검출해서 검출한 콘트라스트 결과에 기초해서 포커스 위치를 결정하는 구성으로 해도 된 다.
도 7 이하를 참조하여, 도 6에게 나타내는 3군데의 측거 범위를 설정한 오토 포커스 제어 처리의 상세에 관하여 설명한다. 도 7은, 도 6에 나타내는 3군데의 측거 범위를 설정한 오토 포커스 제어 처리를 실행할 경우의 촬상장치의 동작 시퀀스를 설명하는 흐름도다.
스텝 S101에서, 안면 검출 처리를 실행한다. 이 처리는 도 2에 나타내는 안면 검출부(130)의 처리로서 실행되며, 앞서 설명한 바와 같이 템플릿 매칭 등의 방법을 사용해서 실행된다. 측거 범위의 설정은 셔터가 눌린 것이 검출된 경우에 실행된다(스텝 S102에서 Yes). 셔터를 누를 때까지는, 스텝 S101의 안면 검출을 반복적으로 실행해서 대기한다. 안면 검출을 연속적으로 실행함으로써, 셔터를 누른 후 안면 검출을 시작할 필요를 배제할 수 있어, 처리 시간을 단축할 수 있다. 즉, 셔터 래그를 짧게 할 수 있다. 이때, 셔터를 누른 후 안면 검출을 하는 구성으로 해도 되는데, 이 경우에도 셔터 래그 이외의 AF 성능은 바뀌지 않는다.
스텝 S102에 있어서 셔터가 눌린 것이 확인되면, 스텝 S103에서 안면이 검출되었는지 여부를 판정한다. 안면이 검출된 경우에는, 스텝 S107에 진행하여, 검출된 안면에 측거 범위를 설정하고, 스텝 S108에서, 안면의 내측에 측거 범위를 더 설정한다.
또한, 스텝 S109에서, 촬상장치에서 취득된 화상의 화각 내에 신체가 존재하는지 여부를 판정하고, 신체가 존재한다고 판정한 경우에는, 스텝 S110에 진행하여, 신체에 측거 범위를 설정한다. 스텝 S109의 신체가 존재하는지 여부의 판정 처 리, 및 스텝 S110에 있어서의 신체의 측거 범위의 설정 방법에 대해서는, 후단에 상세히 설명한다.
스텝 S111에서는, 설정한 측거 범위를 적용한 오토 포커스(AF) 처리를 실행한다. 즉, 먼저 도 3을 참조해서 설명한 바와 같이 렌즈 구동에 근거하는 콘트라스트 변화를 검출하고, 포커스 위치(인-포커스 위치)를 결정한다. 우선, 복수의 각각의 측거 범위에 대해서, 개별적으로 인-포커스 위치를 결정하고, 그 후에 이 복수의 인-포커스 위치에 기초해서 최종적인 인-포커스 위치를 결정한다. 이 처리의 구체적 시퀀스에 관해서는 후술한다.
스텝 S111에 있어서의 오토 포커스 처리가 완료되면, 스텝 S112에서, 오토 포커스 제어가 종료한 것을 나타내는 인-포커스 범위를 촬상장치의 모니터나 뷰 파인더에 표시한다.
한편, 스텝 S103에서, 안면이 검출되지 않았다고 판정된 경우에는, 스텝 S104에 진행하여, 과거의 안면 검출 이력정보를 참조하여, 과거 프레임에 있어서 안면 검출 정보가 남아있는 경우에는, 그 과거 프레임 대응의 안면 검출 영역을 사용하고, 스텝 S107 이하에서 각 측거 범위의 설정을 행한다.
본 발명의 촬상장치에서는, 연속적으로 취득되고 있는 화상에 대해서, 연속적으로 안면 검출 처리를 실행하고 있어, 미리 설정된 기간에 있어서의 프레임 대응의 안면 검출 정보를 보유하는 구성하고 있다. 측거 범위의 설정을 실행하려고 하는 타이밍에 있어서 안면 검출에 실패한 경우에도, 직전의 검출 정보의 유무를 판정하고, 안면의 검출 정보가 존재하는 경우에는, 그 검출 정보에 근거하는 측거 범위의 설정을 행한다. 예를 들면 안면의 방향이 바뀌는 등의 요인으로 안면이 검출되지 않게 되는 경우, 안면은 아직 거기에 있다고 판단하고, 전회까지 검출되던 결과를 사용해서 측거 범위의 설정을 행한다.
스텝 S104에서, 안면의 검출 이력도 없다고 판정한 경우에는, 스텝 S105에서, 종래 방법을 적용하여, 「멀티 AF」, 「다점 AF」나, 화면 중앙부에 측거 에어리어를 설정해서 포커스 제어를 행하고, 스텝 S106에서, 포커스 제어의 종료를 나타내는 인-포커스 범위를 촬상장치의 모니터나 뷰 파인더에 표시한다.
본 발명의 촬상장치에서는, 스텝 S103에서 안면의 검출이 이루어지지 않은 경우, 스텝 S104에서 안면 검출 이력의 유무를 판정하고, 이력이 있는 경우에는, 그 이력정보를 적용해서 측거 범위를 설정하는 구성으로 되어 있지만, 이 안면 검출 이력의 유무의 판정을 가능하게 하기 위해서, 안면의 검출 처리시에, 안면 검출 이력 플래그의 설정을 행하는 구성으로 한다. 이 안면 검출 이력 플래그의 설정 시퀀스에 대해서 도 8에 나타내는 흐름도를 참조해서 설명한다.
도 8에 나타내는 흐름도는 제어부의 제어 하에, 안면 검출부의 안면 검출 정보를 사용해서 실행된다. 안면 검출부에 의한 안면 검출 처리는 예를 들면 미리 정해진 프레임 간격으로 연속적으로 반복되어 실행되고, 이 도 8에 나타내는 처리도, 각 검출 처리 타이밍에서 반복되어 실행된다.
우선, 스텝 S151에서, 안면 검출부에 있어서 안면 검출 처리에 성공한 경우에는, 스텝 S152에 진행하고, 적어도 검출된 안면 영역에 포함되는 화상 데이터의 휘도, 색 정보가 메모리에 기록된다. 스텝 S151에서, 안면 검출부에 있어서의 안면 검출 처리에 성공하지 않은 경우에는, 스텝 S153에 진행하고, 과거의 안면 검출 성공시부터 현재에 이르기까지 팬·틸트가 실행되었는지 여부를 판정한다. 예를 들면 취득 화상의 변화의 해석이나, 도 2에 나타내는 자이로(111)에 의한 촬상장치의 팬·틸트의 실행의 유무를 검출한다.
팬·틸트가 실행되지 않은 경우에는, 스텝 S154에 진행하고, 과거의 안면 검출 성공시의 화상에 대응해서 메모리에 기록되어 있는 적어도 검출된 안면 영역의 휘도, 색 정보와, 안면 검출에 실패한 최신의 화상이 대응하는 영역의 휘도·색 정보를 비교한다. 이 둘의 화상의 휘도·색 정보에 변화가 없을 경우, 안면 검출에 성공한 프레임 화상과, 안면 검출에 실패한 최신의 프레임 화상에 큰 변화가 없다고 판단하고, 스텝 S155에서, 과거의 안면 검출 성공시의 프레임 화상을 적용해서 안면 영역의 추정이 가능한 것을 나타내는 플래그, 즉 안면 검출 이력 플래그를 [1]로 해서 최신 프레임 화상에 대응하는 이력 플래그로 설정한다.
안면 검출 이력 플래그가 [1]인 경우에는, 과거의 안면 검출 성공시의 화상과 동일 위치에 안면 영역이 있다는 추정이 가능하다는 것을 나타낸다. 한편, 스텝 S153에서, 과거의 안면 검출 성공시부터 현재에 이르기까지 팬·틸트가 실행되었다고 판정된 경우, 또는, 스텝 S154에서, 과거의 안면 검출 성공시의 화상에 대응해서 메모리에 기록되어 있는 안면 영역의 휘도, 색 정보와, 안면 검출에 실패한 최신의 화상이 대응하는 영역의 휘도·색 정보에 변화가 인정된 경우에는, 안면 검출에 실패한 프레임 화상과, 과거의 안면 검출에 성공한 프레임 화상은 다른 화상일 가능성이 크고, 과거의 프레임 화상의 안면 영역에 해당하는 위치는, 현재의 프레 임의 안면 영역으로 추정할 수 없다고 판정하고, 스텝 S156에 진행하여, 과거의 안면 검출 성공 프레임의 안면 영역 위치 정보를 적용할 수 없다는 것을 나타내는 플래그, 즉, 안면 검출 이력 플래그 [0]을 최신의 프레임 화상에 대응하는 이력 플래그로 설정한다.
안면 검출 이력 플래그 [1]이 설정되어 있을 경우, 도 7의 스텝 S104에 있어서, 안면 검출 이력 있음이라고 판정되어, 과거의 안면 검출 성공 프레임에 있어서 검출된 안면 영역에 안면이 존재한다고 추정하여, 스텝 S107로 진행하여, 그 추정 안면 영역에 기초해서 각 측거 범위의 설정이 실행된다.
한편, 안면 검출 플래그 [0]이 설정되어 있는 경우에는, 과거의 안면 검출 성공 프레임의 정보는 적용할 수 없다고 판단하고, 스텝 S107 이하의 측거 범위 설정 처리를 실행하지 않고 스텝 S105에 진행하고, 종래 방법을 적용하여, 「멀티 AF」, 「다점 AF」나, 화면 중앙부에 측거 에어리어를 설정해서 포커스 제어를 행한다.
이렇게, 본 발명의 촬상장치에서는, 카메라가 팬, 틸트해서 촬영 장면이 변화되었는지 여부, 화상의 휘도, 색 정보의 변화를 관찰하고, 과거의 안면 검출 성공시와 변화가 없다고 판정한 경우에는, 그 과거의 프레임에서 검출된 안면 영역에 현재도 안면이 존재한다고 추정해서 안면 영역 이외에 대한 측거 범위의 설정을 행한다. 이 구성에 의해 안면 검출부의 검출 에러에 대하여도 안정된 처리가 가능해 진다. 즉 안면의 방향이 바뀌는 등의 요인으로 일시적으로 안면이 검출되지 않게 되어버린 경우에도, 과거의 검출 정보의 신뢰성의 판정을 행한 후에 처리를 실행할 수 있다.
다음으로, 도 7에 나타내는 플로우에 있어서의 스텝 S109의 처리, 즉, 촬상장치의 취득 화상에 포함되는 신체 영역이 측거 범위의 설정 가능 크기를 가지는지 여부를 판정하는 처리의 구체적인 예에 대해서 도 9를 참조해서 설명한다.
촬상장치에 있어서 취득된 화상으로부터, 안면 영역이 특정되어도, 반드시 측거 범위를 설정하는 데에 충분한 신체 영역이 화상에 포함된다고는 할 수 없다. 예를 들면 도 9a에 나타낸 바와 같이, 큰 신체 영역이 화상 내에 존재하는 경우에는, 신체 영역에 대응하는 측거 범위 설정이 가능해지지만, 도 9b에 나타낸 바와 같이, 화상 내에 존재하는 신체 영역이 작은 경우에는, 신체 영역에 대응하는 측거 범위 설정을 할 수 없다. 측거 범위는, 렌즈의 이동에 대응하는 콘트라스트의 변화를 검출하는 영역으로서 설정되는 것이며, 특정 크기가 필요해진다. 이 판정 처리를 도 7의 스텝 S109에서 실행한다. 이 스텝 S109의 상세 시퀀스에 대해서, 도 9에 나타내는 흐름도를 참조해서 설명한다.
스텝 S201에서, 안면과 화각 하단 사이의 거리 [Δd]를 산출한다. 도 9a, 9b에 나타내는 거리 [Δd]이다. 다음으로, 스텝 S202에서, [Δd]과 미리 설정된 임계치를 비교한다. 구체적인 처리예에 관하여 설명한다.
검출된 안면의 세로의 길이를 [fxv]로 하고,
안면의 하단으로부터 화각의 하단까지의 거리를 [Δd]로 한다.
이때, 이하의 식을 만족하는지 여부를 판정한다.
fxv×k < Δd(단, k = 0.5∼1.0 정도)
상기 식을 만족하는 경우에는, 스텝 S203에 진행하여, 신체 영역에 대응하는 측거 범위의 설정이 가능하다고 판정하고, 상기 식을 만족하지 않는 경우에는, 스텝 S204에 진행하여, 신체 영역에 대응하는 측거 범위의 설정이 불가능하다고 판정한다.
스텝 S203에 진행하여, 신체 영역에 대응하는 측거 범위의 설정이 가능하다고 판정한 경우에는, 도 7에 있어서의 스텝 S109의 판정에서 Yes라고 판정한 것에 해당하고, 스텝 S110에서 신체에 대응하는 측거 범위를 설정하고, 스텝 S111에서, 안면 영역, 안면 내부 영역, 신체 영역의 3개의 측거 범위에 근거하는 측거 처리를 실행해서 포커스 위치의 결정을 행한다. 한편, 스텝 S204에 진행하여, 신체 영역에 대응하는 측거 범위의 설정이 불가능하다고 판정한 경우에는, 도 7에 있어서의 스텝 S109의 판정에서 No라고 판정한 것에 해당하고, 스텝 S110의 신체에 대응하는 측거 범위 설정은 생략하고, 스텝 S111에 진행하여, 안면 영역, 안면 내부 영역의 2개의 측거 범위에 근거하는 측거 처리를 실행해서 포커스 위치의 결정을 행한다.
다음으로, 도 7에 나타내는 플로우에 있어서의 측거 범위의 설정 처리, 즉,
* 스텝 S107의 안면 영역 대응 측거 범위의 설정,
* 스텝 S108의 안면 내부 영역 대응 측거 범위의 설정,
* 스텝 S110의 신체 영역 대응 측거 범위의 설정,
이 측거 범위 설정 처리에 대해서, 도 10을 참조해서 상세히 설명한다.
스텝 S107의 안면 영역 대응 측거 범위의 설정은, 아래와 같이 실행한다.
안면의 세로의 길이를 [fxv],
안면의 가로의 길이를 [fxh]로 하면,
안면 영역에 내접하는 사각형 영역으로서,
fxv×fxh의 사각형 영역을 설정하고, 이것을 안면 영역 대응의 측거 범위로 한다. 도 10에 나타내는 안면 영역 대응 측거 범위(391)이다.
스텝 S108의 안면 내부 영역 대응 측거 범위의 설정은, 아래와 같이 실행한다.
안면의 세로의 길이를 [fxv],
안면의 가로의 길이를 [fxh]로 하면,
· 세로의 길이 = 0.5×fxv,
· 가로의 길이 = 0.5×fxh,
· 중심좌표 = 안면 전체의 측거 영역의 중심좌표
이 사각형 영역을 안면 내부 영역 대응의 측거 범위로 한다. 도 10에 나타내는 안면 내부 영역 대응 측거 범위(392)이다.
스텝 S110의 신체 내부 영역 대응 측거 범위의 설정은, 아래와 같이 실행한다.
안면의 세로의 길이를 [fxv],
안면의 가로의 길이를 [fxh]로 하면,
· 세로의 길이 = 0.8×fxv,
· 가로의 길이 = 0.6×fxh,
· 신체에 대하여 수직방향의 중심좌표 = 안면 전체의 측거 영역의 중심좌 표(수직방향) + (신체의 측거 영역의 세로의 길이/2) + fxv
· 신체에 대하여 수평방향의 중심좌표 = 안면 전체의 중심좌표(수평방향)
이 사각형 영역을 신체 영역 대응의 측거 범위라고 한다. 도 10에 나타내는 신체 영역 대응 측거 범위(393)이다.
도 7의 플로우에 있어서의 스텝 S111에서는 이 측거 범위들을 적용한 측거 처리, 즉 렌즈 이동에 대응하는 콘트라스트의 변화를 검출해서 포커스 위치를 결정한다. 그러나, 모든 측거 범위의 측거 결과, 즉 콘트라스트 변화 정보를 유효하게 이용할 수 있다고는 단정할 수 없다. 예를 들면, 휘도가 충분하지 않은 경우 등에는, 측거 결과 데이터는 이용할 수 없는 경우가 있다. 즉, 측거한 데이터가 사용한지 여부를, 안면 전체, 안면 내부, 신체마다 설정한 각 측거 범위에 대해 판단한다. 이 판단 시퀀스에 대해서, 도 11에 나타내는 플로우를 참조해서 설명한다. 평가의 포인트는 휘도의 콘트라스트 신호가 충분히 변화되는지의 여부다. 휘도의 콘트라스트가 충분히 얻어지지 않은 경우, 저콘트라스트라고 부르고, 명확한 휘도 콘트라스트의 최대점이 존재하지 않기 때문에 초점이 맞는 위치를 아는 것은 불가능하다.
도 11에 나타내는 플로우는, 도 7에 나타내는 플로우의 스텝 S111의 AF(오토 포커스) 실행 처리의 일부를 구성한다. 즉, 각 측거 범위를 적용해서 실행한 측거 데이터의 유효성을 판정하는 처리로서 실행된다. 우선, 스텝 S301에서, 안면 영역 대응의 측거 범위를 적용해서 얻어지는 측거 데이터의 유효성을 판정한다. 구체적으로는, 안면 영역 대응의 측거 범위 내의 데이터가 저콘트라스트인지의 여부를 판 정하고, 저콘트라스트라고 판정한 경우에는, 스텝 S302에 진행하여, 안면 영역 대응의 측거 범위를 적용해서 얻어지는 측거 결과 데이터는 이용해서는 안 된다고 판단하고, 데이터를 무효로 한다.
다음으로, 스텝 S303에서, 안면 내부 영역 대응의 측거 범위를 적용해서 얻어지는 측거 데이터의 유효성을 판정한다. 구체적으로는, 안면 내부 영역 대응의 측거 범위 내의 데이터가 저콘트라스트인지의 여부를 판정하고, 저콘트라스트라고 판정한 경우에는, 스텝 S304에 진행하여, 안면 내부 영역 대응의 측거 범위를 적용해서 얻어지는 측거 결과 데이터는 이용해서는 안 된다고 판단하고, 데이터를 무효로 한다.
다음으로, 스텝 S305에서, 신체 영역 대응의 측거 범위가 설정되었는지 여부를 판정하고, 설정되어 있는 경우에는, 스텝 S306에 진행하여, 신체 영역 대응의 측거 범위를 적용해서 얻어지는 측거 데이터의 유효성을 판정한다. 구체적으로는, 신체 영역 대응의 측거 범위 내의 데이터가 저콘트라스트인지의 여부를 판정한다.
스텝 S305에서, 신체 영역 대응의 측거 범위가 설정되지 않은 경우, 또는, 스텝 S306에서, 저콘트라스트라고 판정한 경우에는, 스텝 S307에 진행하여, 신체 영역 대응의 측거 범위를 적용해서 얻어지는 측거 결과 데이터는 이용해서는 안 된다고 판단하고, 데이터를 무효로 한다.
다음으로, 도 12에 나타내는 플로우를 참조하여, 구체적인 포커스 위치(인-포커스 위치)의 결정 시퀀스에 관하여 설명한다. 도 12에 나타내는 플로우는, 도 7에 나타내는 플로우의 스텝 S111의 오토 포커스 처리의 세부 처리다. 이때, 도 12 에 나타내는 처리 플로우는,
안면 영역 대응 측거 범위에 근거하는 측거 결과,
안면 내부 대응 측거 범위에 근거하는 측거 결과,
신체 영역 대응 측거 범위에 근거하는 측거 결과,
이 측거 결과들이 모두 유효한 경우의 처리예이며,
A: 안면 영역 대응 측거 범위에 따른 측거 결과로부터 얻어지는 인-포커스 위치,
B: 안면 내부 대응 측거 범위에 따른 측거 결과로부터 얻어지는 인-포커스 위치,
C: 신체 영역 대응 측거 범위에 따른 측거 결과로부터 얻어지는 인-포커스 위치,
로 해서 처리 시퀀스를 설명하고 있다.
어느 하나의 측거 결과를 이용할 수 없는 경우에는, A, B, C 중 어느 하나를 생략한 처리로서 실행되게 된다.
다시 말하지만, 안면 영역 대응의 안면 전체를 측거 대상으로 삼았을 경우, 배경으로 이끌리는 리스크가 있다. 안면의 내부를 측거한 경우, 저콘트라스트가 되거나, 손 떨림 피사체 흔들림의 영향으로 엉뚱한 위치에 측거 결과가 나타나는 리스크가 있다. 또한 신체의 측거 범위를 이용한 경우, 복장에 따라서는 저콘트라스트, 또는 배경으로 이끌리는 리스크가 있다. 다만, 안면에 비해 일반적으로 의복의 콘트라스트가 높은 경우가 많아 배경으로 이끌리는 현상은 발생하기 어렵다. 한편, 최종 인-포커스 위치 결정 처리에서는, 저콘트라스트라고 판정된 측거 영역은, 결과의 신뢰성이 불충분하기 때문에, 평가의 대상으로 삼지 않는다.
도 12에 나타내는 플로우의 각 스텝에 관하여 설명한다. 우선, 스텝 S401에 있어서, 안면, 안면 내부, 신체 각 영역 대응의 측거 범위를 적용한 콘트라스트 측정에 근거하는 인-포커스 위치가 모두 일치하고 있는지 여부를 판정한다.
A, B, C가 일치한 경우, 안면 내부 대응의 측거 범위에 따른 인-포커스 위치와 안면 전체의 안면 영역 대응 측거 범위에 따른 인-포커스 위치가 일치하기 때문에, 안면 영역 대응 측거 범위에 따른 인-포커스 위치는 배경 이끌림에 의한 에러를 발생시키지 않은 것을 나타내고, 신체 영역 대응 측거 범위에 기초해서 계측된 인-포커스 위치와, 안면 내부 영역 대응 측거 범위에 기초해서 계측된 인-포커스 위치가 일치하기 때문에, 안면 내부 영역 대응 측거 범위에 기초해서 계측된 인-포커스 위치의 신뢰성이 높다, 즉, 손 떨림이나 피사체 흔들림의 영향을 거의 받지 않는다고 판정할 수 있다. 즉 측거 결과의 신뢰성이 상당히 높다. 여기에서, 일치한다는 것은, 차분이 일정한 범위 내에 있는 것이며, 최소 0, 최대 피사계심도 내가 된다. 즉, 스텝 S401에서는,
A ≒ B ≒ C
상기 식이 성립하는지 여부를 판정한다.
상기 식이 성립하는 경우에는, 스텝 S411에 진행하고, 이 일치점을 인-포커스 위치로 한다.
여기에서, 피사계심도란, 촬영한 경우에 번짐을 발생시키지 않는 범위를 정 의하는 정보다. 도 13을 참조해서 피사계심도에 관하여 설명한다. 도 13a에 나타낸 바와 같이, 피사체(501)의 상이, 아이리스(502), 렌즈(503)를 통해 이미저(504)에 결상한다. 이때, 상의 번짐이 인식되지 않는 범위를 허용 착란원(505)으로 설정하면, 이 허용 착란원에 기초해서 피사체까지의 거리의 허용 오차를 피사계심도 [Ra]로서 산출할 수 있다.
피사체 위치: Df
허용 착란원 지름: d
F값(조리개): F
렌즈 초점거리: f로 하면,
피사계심도 Ra, 즉, 전방 피사계심도(Ran)∼후방 피사계심도(Raf)는 이하의 식에 의해 정의된다.
Ra = (Df2×d×f)/(f2+Df×d×F)∼(Df2×d×f)/(f2-Df×d×F)
스텝 S401에서는, A, B, C의 인-포커스 위치가 상기 피사계심도 내의 오차를 포함한 경우에도 일치로 판정한다.
즉, A ≒ B ≒ C
상기 식이 성립하는지 여부를 판정한다.
스텝 S401에 있어서,
A ≒ B ≒ C
상기 식이 성립하지 않는다고 판정한 경우에는, 스텝 S402에 진행하여,
A: 안면 영역 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
B: 안면 내부 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
이 2개가 일치하는지 여부, 즉,
A ≒ B
상기 식이 성립하는지 여부를 판정한다.
상기 식이 성립하는 경우에는, 스텝 S411에 진행하고, 이 일치점을 인-포커스 위치로 한다.
이는 A와 B가 일치하고, C가 일치하지 않는 경우다. 신체가 측거할 수 없은 위치에 있는 경우나, 신체 앞에 별도의 피사체가 있는 경우, 또는 의복이 저콘트라스트 등인 경우는 여기에 해당하지만, A와 B가 일치하기 때문에, 안면 전체가 배경에 이끌리지는 않을 가능성이 크다. A ≒ B ≒ C의 경우 정도면 신뢰성은 높지 않지만, A와 B의 측거 데이터는 충분히 신뢰할 수 있다고 판단할 수 있다.
스텝 S402에 있어서,
A ≒ B
상기 식이 성립하지 않는다고 판정한 경우에는, 스텝 S403에 진행하여,
B: 안면 내부 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
C: 신체 영역 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커 스 위치,
이 2개가 일치하는지 여부, 즉,
B ≒ C
상기 식이 성립하는지 여부를 판정한다.
상기 식이 성립하는 경우에는, 스텝 S411에 진행하고, 이 일치점을 인-포커스 위치로 한다.
이는 B과 C가 일치하는 경우지만, 이것은 A가 배경 이끌림을 일으켰을 가능성이 크다. 그러나, B과 C가 일치하기 때문에, B의 안면 내부의 측거 데이터가 손 떨림이나 피사체 흔들림을 일으키고 있을 가능성은 작다고 할 수 있고, 이 경우에도, B과 C의 측거 데이터는 충분히 신뢰할 수 있다고 판단할 수 있다.
스텝 S403에 있어서,
B ≒ C
상기 식이 성립하지 않는다고 판정한 경우에는, 스텝 S404에 진행하고, 안면 검출부에 있어서 검출된 안면의 크기로부터 안면까지의 거리 [Df]를 추정한다. 이 추정 처리는, 먼저 도 4를 참조해서 설명한 대로이며,
인간의 안면의 크기 기준 값: Wref
촬상소자의 폭: Wi
초점거리: f
촬영화상에 있어서의 인간의 안면 크기의 픽셀 수(촬상소자 검출 값): Wf
사람의 안면 검출에 사용한 화상 크기의 픽셀 수(촬상소자 검출 값): Ww
라고 했을 때, 피사체 거리(Df)를 이하의 식으로 구한다. Df = Wref×(f/Wi)×(Ww/Wf)
다음으로, 스텝 S405에 있어서, 피사체 거리(Df)에 대응하는 피사계심도 [Ra]를 산출한다. 피사계심도 [Ra]는 먼저 도 13을 참조해서 설명한 대로이며, 어떤 1개의 피사체 거리에 대하여 허용되는 오차를 규정하는 데이터에 해당한다.
스텝 S406에서는,
A: 안면 영역 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
C: 신체 영역 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
이 A와 C가 일치하는지 여부를 판정한다. 즉,
A ≒ C
상기 식이 성립하는지 여부를 판정한다.
상기 식이 성립하는 경우, 스텝 S407에 진행하고, 안면 검출부에서 검출된 안면의 크기에 근거하는 안면까지의 거리 [Df]에 대응하는 피사계심도 [Ra] 내에 A ≒ C에 해당하는 위치가 있는지 여부를 판단한다. 존재하는 경우에는, 스텝 S411에 진행하고, A ≒ C에 해당하는 위치를 인-포커스 위치로 한다. A와 C가 일치하는 경우, 둘 다 배경 이끌림을 일으켰을 가능성이 있지만, A와 C의 일치점이 Ra 내에 있으면, 배경 이끌림이 일어나서, 안면에 초점이 맞지 않는 상황은 아니라고 추측된다. 이 경우, A와 C의 일치점을 인-포커스 위치로 간주하는 것이다.
스텝 S407에 있어서, 안면 검출부에서 검출된 안면의 크기에 근거하는 안면까지의 거리 [Df]에 대응하는 피사계심도 [Ra] 내에 A ≒ C에 해당하는 위치가 없다고 판단된 경우에는, 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치는 유효하지 않다고 판단하고, 스텝410에 진행하여, 인-포커스 실패라고 판단한다. 이 경우에는, 인-포커스 에러의 메시지 표시를 행하거나, 미리 설정된 디폴트 위치에 인-포커스 위치를 설정하는 처리를 행해서 처리를 종료한다.
또한, 스텝 S406에 있어서,
A: 안면 영역 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
C: 신체 영역 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
이 A와 C가 일치하지 않는다고 판정한 경우에는, 스텝 S408에 진행하고, 안면 검출부에서 검출된 안면의 크기에 근거하는 안면까지의 거리 [Df]에 대응하는 피사계심도 [Ra] 내에 A 또는 B 또는 C의 어느 한쪽의 인-포커스 위치가 있는지 여부를 판단한다. 존재하는 경우에는, 스텝 S409에 진행하고, 우선 순위를, B, C, A의 순, 즉,
B: 안면 내부 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
C: 신체 영역 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
A: 안면 영역 대응 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치,
상기 순서로 해서, 인-포커스 위치를 결정한다. 이것은, 배경 이끌림의 가능성이 적은 순으로 우선 순위를 매긴 것이다.
스텝 S408에 있어서, 안면 검출부에서 검출된 안면의 크기에 근거하는 안면까지의 거리 [Df]에 대응하는 피사계심도 [Ra] 내에 A, B, C 어느 한쪽의 인-포커스 위치도 없다고 판단된 경우에는, 측거 범위에 근거하는 측거 결과로부터 얻어지는 인-포커스 위치는 유효하지 않다고 판단하고, 스텝410에 진행하여, 인-포커스 실패라고 판단한다. 이 경우에는, 인-포커스 에러의 메시지 표시를 행하거나, 미리 설정된 디폴트 위치에 인-포커스 위치를 설정하는 처리를 행해서 처리를 종료한다.
이렇게, 본 발명의 촬상장치에서는, 안면 영역 이외에 신체 영역에 측거 범위를 설정하고, 복수의 측거 범위에 근거하는 측거 결과 데이터를 종합적으로 감안해서 인-포커스 위치를 산출하는 구성으로 했으므로, 보다 정확한 인-포커스 처리, 즉 오토 포커스 제어가 실현된다.
한편, 전술한 실시예에서는, 촬상장치에 있어서 취득되는 화상에 있어서의 1명의 인물에 대한 처리로서 설명했지만, 예를 들면 취득 화상에 복수의 인물이 포함될 경우에는, 화상에 포함되는 복수의 인물에 우선 순위를 설정하고 설정한 우선 순위에 따라 처리를 행할 수 있다.
우선 순위에 근거하는 처리 시퀀스에 대해서, 도 14에 나타내는 플로우를 참조해서 설명한다. 우선, 스텝 S501에서, 취득 화상에 포함되는 복수의 인물에 대한 우선 순위를 결정한다. 예를 들면 안면의 크기, 화상의 중심에서 가까운 정도 등, 미리 정한 규칙에 따라 우선 순위를 설정한다.
다음으로, 스텝 S502에서, 우선 순위가 높은 인물상을 선택하고, 스텝 S503에서 인-포커스 위치(오토 포커스 위치)의 결정 처리를 실행한다. 이 결정 시퀀스는, 먼저 도 12를 참조해서 설명한 시퀀스에 따른 처리로 실행한다.
다음으로, 스텝 S504에서, 인-포커스 위치의 결정에 성공했는지 여부를 판정하고, 성공한 경우에는 처리를 종료하고, 실패한 경우에는, 스텝 S505에서, 다음 우선 순위의 인물을 선택하고, 선택한 인물을 대상으로 삼아 스텝 S503에서 인-포커스 위치(오토 포커스 위치)의 결정 처리를 실행한다. 이 결정 시퀀스는, 먼저 도 12를 참조해서 설명한 시퀀스에 따른 처리로 실행한다. 이렇게, 우선 순위에 따라, 인-포커스 처리를 차례로, 실행한다.
[4. 촬상장치의 기능 구성]
마지막으로, 도 15를 참조해서 본 발명의 촬상장치에서 실행되는 처리를 행하기 위한 기능 구성에 관하여 설명한다. 전술한 처리는, 먼저 도 2를 참조해서 설명한 하드웨어 구성을 적용하여, 주로 제어부(110)의 제어 하에 실행되는 프로그램에 따라 실행된다. 도 15는, 이 처리를 실행할 때에 적용하는 기능을 중심으로 설명하기 위한 블럭도다.
촬상장치에서 취득된 화상정보(700)는, 도 2를 참조해서 설명한 촬상소자, 디지털 신호 처리부 등을 통해 안면 검출부(701)에 입력된다. 안면 검출부(701)에서는, 전술한 바와 같이, 예를 들면 안면의 휘도분포 정보를 기록한 템플릿의 실화 상에의 매칭 처리에 의해, 화상정보(700)로부터 안면 영역을 특정해서 검출한다. 측거 범위 설정부(702)는, 안면 검출부(701)에서 검출된 안면 영역의 정보에 기초해서 안면 영역을 포함한 안면 영역 대응 측거 범위와, 신체 영역을 포함한 신체 영역 대응 측거 범위의 설정 처리를 실행한다. 즉,
안면 전체를 포함한 안면 영역 대응 측거 범위,
안면 내부의 일부 영역을 포함한 안면 내부 영역 대응 측거 범위,
안면 이외의 신체 영역을 포함한 신체 영역 대응 측거 범위,
이 3종류의 측거 범위의 설정 위치 및 크기를 결정해서 이 측거 범위들을 설정한다.
포커스 제어부(703)는, 측거 범위 설정부(702)가 설정한 상기 3종류의 측거 범위를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행한다. 즉, 복수의 다른 각각의 측거 범위에 대해서, 포커스 렌즈의 이동에 따르는 콘트라스트 변화를 계측하고, 각 측거 범위 대응의 인-포커스 위치를 산출하고, 산출된 각 측거 범위 대응의 인-포커스 위치의 대조에 기초해서 최종적인 인-포커스 위치의 결정을 행한다. 또한, 이때에, 복수의 측거 범위 내부의 화상의 콘트라스트를 검증하고, 저콘트라스트의 화상 데이터인 경우에는, 그 측거 범위를 적용해서 산출한 인-포커스 위치 정보를 무효로 하여, 최종적인 인-포커스 위치 산출에는 적용하지 않는다.
포커스 제어부의 최종적인 포커스 위치의 결정 처리는, 먼저 도 12를 참조해 서 설명한 시퀀스에 따라 실행된다. 즉,
(a) 안면 전체를 포함한 안면 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치,
(b) 안면 내부의 일부 영역을 포함한 안면 내부 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치,
(c) 안면 이외의 신체 영역을 포함한 신체 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치,
상기 3종류의 측거 범위 대응의 인-포커스 위치를 대조하고, 모든 측거 범위 대응의 인-포커스 위치가 미리 설정된 허용 범위 내의 차분 이내에서 일치할 경우, 또는, 적어도 2개의 다른 측거 범위 대응의 인-포커스 위치가 미리 설정된 허용 범위 내의 차분 이내에서 일치할 경우, 상기 일치점을 인-포커스 위치로 결정하는 처리를 실행한다.
또한, 포커스 제어부(703)는, 안면 검출부(701)가 검출한 안면 영역의 크기로부터 산출되는 안면까지의 거리정보와, 복수의 측거 범위를 적용한 측거 결과로부터 얻어지는 복수의 인-포커스 위치를 비교 대조하고, 안면 검출부(701)가 검출한 안면 영역의 크기로부터 산출되는 거리정보로부터 구해진 인-포커스 위치와, 측거 범위를 적용해서 산출한 인-포커스 위치 중 어느 하나의 차분이 미리 정한 허용 범위 내에 있을 경우에는, 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치를 최종적인 인-포커스 위치로 결정하는 처리를 실행한다.
또한 먼저, 도 8을 참조해서 설명한 바와 같이, 안면 검출부(701)는, 연속적 으로 촬상장치의 입력 화상으로부터의 안면 영역 검출을 실행하고, 제어부(704)는, 안면 검출부(701)에서 안면 영역 검출에 성공한 경우에는, 검출 화상의 휘도 또는 색 정보의 적어도 어느 하나를 포함한 화상정보를 메모리(705)에 보존하고, 안면 영역 검출에 실패한 경우에는, 촬상장치의 움직임의 유무를 검증하고, 안면 검출 실패 화상과, 과거의 안면 검출 성공 화상의 휘도 또는 색 정보의 적어도 어느 하나를 포함한 화상정보의 비교 검증에 기초해서 안면 검출 실패 화상에 있어서의 안면 영역의 위치로서, 과거의 안면 검출 성공 화상에 있어서의 안면 영역의 위치를 적용할 수 있는지 여부를 나타내는 플래그를 설정해서 메모리(705)에 기록하는 처리를 실행한다. 측거 범위 설정부(702)는, 안면 검출 실패시에, 플래그를 참조하여, 과거의 안면 검출 성공 화상에 있어서의 안면 영역의 위치가 적용 가능한 것이 확인된 경우, 과거의 안면 검출 성공 화상에 있어서의 안면 영역 정보를 적용한 측거 범위 설정 처리를 실행한다.
이때, 먼저 도 14를 참조해서 설명한 바와 같이, 안면 검출부(701)가 촬상장치의 입력 화상에 복수의 안면 영역을 검출한 경우, 측거 범위 설정부(702)는, 미리 설정된 우선 순위에 따라 측거 범위 설정 대상의 인물을 순차 선택하는 처리를 행한다.
한편, 전술한 실시예에서는, 촬상장치로서 디지털 스틸 카메라를 상정해서 설명했지만, 인물의 촬영을 행하는 기기이면, 비디오 카메라나 카메라 장착 휴대전화 등 형태가 다른 기기에도 본 발명은 적용 가능하다.
이상, 특정한 실시예를 참조하면서, 본 발명에 대해서 상세히 설명했다. 그 러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 상기 실시예를 수정하거나 대용할 수 있다는 것은 자명하다. 즉, 예시의 형태로 본 발명을 개시한 것이고, 한정적으로 해석되어서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 특허청구범위의 난을 참작해야 한다.
또한, 명세서에 있어서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행할 수 있다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용 하드웨어에 삽입된 컴퓨터 내의 메모리에 인스톨해서 실행시키거나, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨해서 실행시킬 수 있다.
예를 들면 프로그램은 기록 매체로서의 하드 디스크나 ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 또는, 프로그램은 플렉시블 디스크, CD -ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), 자기디스크, 반도체 메모리 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 기록할 수 있다. 이러한 리무버블 기록 매체는, 소위 패키지 소프트 웨어로서 제공할 수 있다.
한편, 프로그램은, 전술한 바와 같은 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 이외에, 다운로드 사이트에서, 컴퓨터에 무선 전송하거나, LAN(Local Area Network), 인터넷 등의 네트워크를 통해, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그렇게 전송되어 오는 프로그램을 수신하고, 내장된 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 명세서에 기재된 각종 처리는, 기재에 따라 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별적으로 실행되어도 된다. 또한 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 케이싱 내에 있는 것에 한정되지는 않는다.
[산업상의 이용 가능성]
이상, 설명한 바와 같이, 본 발명의 일 실시예의 구성에서는, 촬상장치에서 취득되는 화상 데이터로부터 안면 영역을 검출하고, 검출된 안면 영역에 기초해서 안면 영역을 포함한 안면 영역 대응의 측거 범위와, 안면 영역 이외의 신체 영역을 포함한 신체 대응 측거 범위를 설정하고, 이 복수의 측거 범위를 적용하여, 각각의 측거 범위 대응의 인-포커스 위치를 산출하고, 산출한 복수의 측거 범위 대응의 인-포커스 위치 데이터를 사용해서 최종적인 인-포커스 위치를 결정하는 구성으로 했으므로, 배경정보로 인한 인-포커스 위치 설정 에러나 저콘트라스트로 인한 인-포커스 위치 설정 에러 등의 인-포커스 에러가 방지되어, 정확한 인-포커스 위치를 결정할 수 있다.
도 1은 본 발명의 촬상장치의 외관 구성예에 관하여 설명하는 도면이다.
도 2는 본 발명의 촬상장치의 하드웨어 구성예에 관하여 설명하는 도면이다.
도 3은 포커스 제어에 있어서의 인-포커스 동작으로서 실행되는 렌즈 구동, AF 평가치 취득 처리예에 관하여 설명하는 도면이다.
도 4는 안면의 크기에 근거하는 피사체 거리 산출 처리에 관하여 설명하는 도면이다.
도 5는 포커스 제어를 위한 측거 범위의 설정예에 관하여 설명하는 도면이다.
도 6은 포커스 제어를 위한 측거 범위의 설정예에 관하여 설명하는 도면이다.
도 7은 측거 범위의 설정 및 오토 포커스 제어 시퀀스에 관하여 설명하는 흐름도를 도시한 도면이다.
도 8은 안면 검출 이력 플래그의 설정 시퀀스에 관하여 설명하는 흐름도를 도시한 도면이다.
도 9는 신체 영역 대응의 측거 범위 설정 가부 판정 처리 및 처리 시퀀스에 관하여 설명하는 도면이다.
도 10은 각 영역 대응의 측거 범위 설정 처리예에 관하여 설명하는 도면이다.
도 11은 각 측거 범위의 측거 결과 데이터의 유효성 판정 처리 시퀀스에 관 하여 설명하는 흐름도를 도시한 도면이다.
도 12는 각 측거 범위의 측거 결과 데이터를 이용한 인-포커스 위치 결정 처리 시퀀스에 관하여 설명하는 흐름도를 도시한 도면이다.
도 13은 피사계심도에 관하여 설명하는 도면이다.
도 14는 복수의 인물에 대한 우선 순위 설정에 근거하는 처리 시퀀스에 관하여 설명하는 흐름도를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 촬상장치의 구성, 기능에 관하여 설명하는 블럭도다.
[도면의 주요 부분에 대한 부호의 간단한 설명]
10 촬상장치 11 전원 스위치
12 릴리스 스위치 13 모니터
14 이미저 15 줌 버튼
16 조작 버튼 17 뷰 파인더
18 포커스 렌즈 19 줌 렌즈
20 모드 다이얼 21 포커스 렌즈 모터(M1)
22 줌 렌즈 모터(M2) 100 촬상장치
101 포커스 렌즈 102 줌 렌즈
103 촬상소자 104 아날로그 신호 처리부
105 A/D 변환부 106 타이밍 제너레이터(TG)
107 수직 드라이버 108 디지털 신호 처리부
110 제어부 111 자이로
112 모터 드라이버 113, 114 모터
115 기록 디바이스 116 뷰 파인더(EVF)
117 모니터 118 조작부
119 메모리(EEPROM) 120 메모리(ROM)
121 메모리(RAM) 301 피사체 위치
302 포커스 렌즈 303 촬상소자
351 측거 범위 371, 372 측거 범위
381∼383 측거 범위 391 안면 영역 대응 측거 범위
392 안면 내부 영역 대응 측거 범위 393 신체 영역 대응 측거 범위
501 피사체 502 아이리스
503 렌즈 504 이미저
505 허용 착란원 700 화상정보
701 안면 검출부 702 측거 범위 설정부
703 오토 포커스 제어부 704 제어부
705 메모리

Claims (12)

  1. 촬상장치에 있어서의 입력 화상으로부터 안면 영역의 검출을 실행하는 안면 검출부와,
    상기 안면 검출부에서 검출된 안면 영역에 기초해서, 안면 영역을 포함한 안면 영역 대응 측거 범위와, 신체 영역을 포함한 신체 영역 대응 측거 범위의 설정 처리를 실행하는 측거 범위 설정부와,
    상기 측거 범위 설정부가 설정한 복수의 측거 범위를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행하는 포커스 제어부를 가지는 것을 특징으로 하는 촬상장치.
  2. 제 1항에 있어서,
    상기 측거 범위 설정부는,
    안면 전체를 포함한 안면 영역 대응 측거 범위,
    안면 내부의 일부 영역을 포함한 안면 내부 영역 대응 측거 범위,
    안면 이외의 신체 영역을 포함한 신체 영역 대응 측거 범위,
    상기 3종류의 측거 범위를 설정하는 구성이며,
    상기 포커스 제어부는,
    상기 측거 범위 설정부가 설정한 상기 3종류의 측거 범위를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행하는 구성인 것을 특징으로 하는 촬상장치.
  3. 제 1항에 있어서,
    상기 측거 범위 설정부는,
    상기 안면 검출부가 검출한 안면 영역 정보에 기초해서,
    안면 전체를 포함한 안면 영역 대응 측거 범위,
    안면 내부의 일부 영역을 포함한 안면 내부 영역 대응 측거 범위,
    안면 이외의 신체 영역을 포함한 신체 영역 대응 측거 범위,
    상기 3종류의 측거 범위의 설정 위치 및 크기를 결정해서 각 측거 범위를 설정하는 구성인 것을 특징으로 하는 촬상장치.
  4. 제 1항에 있어서,
    상기 포커스 제어부는,
    복수의 다른 각각의 측거 범위에 대해서, 포커스 렌즈의 이동에 따르는 콘트라스트 변화를 계측하여, 각 측거 범위 대응의 인-포커스 위치를 산출하고, 산출된 각 측거 범위 대응의 인-포커스 위치의 대조에 기초해서 최종적인 인-포커스 위치를 결정하는 구성인 것을 특징으로 하는 촬상장치.
  5. 제 1항에 있어서,
    상기 포커스 제어부는,
    상기 측거 범위 설정부가 설정한 복수의 측거 범위 내부의 화상의 콘트라스트를 검증하고, 저콘트라스트의 화상 데이터인 경우에는, 그 측거 범위를 적용해서 산출한 인-포커스 위치 정보를 무효로 하고, 최종적인 인-포커스 위치 산출에는 적용하지 않는 구성인 것을 특징으로 하는 촬상장치.
  6. 제 1항에 있어서,
    상기 포커스 제어부는,
    적어도 2개의 다른 측거 범위 대응의 인-포커스 위치가 미리 설정된 허용 범위 내의 차분 이내에서 일치할 경우, 상기 일치점을 인-포커스 위치로 결정하는 처리를 실행하는 구성인 것을 특징으로 하는 촬상장치.
  7. 제 1항에 있어서,
    상기 포커스 제어부는,
    (a) 안면 전체를 포함한 안면 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치,
    (b) 안면 내부의 일부 영역을 포함한 안면 내부 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치,
    (c) 안면 이외의 신체 영역을 포함한 신체 영역 대응 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치,
    상기 3종류의 측거 범위 대응의 인-포커스 위치를 대조하고, 모든 측거 범위 대응의 인-포커스 위치가 미리 설정된 허용 범위 내의 차분 이내에서 일치할 경우, 또는, 적어도 2개의 다른 측거 범위 대응의 인-포커스 위치가 미리 설정된 허용 범위 내의 차분 이내에서 일치할 경우, 상기 일치점을 인-포커스 위치로 결정하는 처리를 실행하는 구성인 것을 특징으로 하는 촬상장치.
  8. 제 1항에 있어서,
    상기 포커스 제어부는,
    상기 안면 검출부가 검출한 안면 영역의 크기로부터 산출되는 안면까지의 거리정보와, 상기 복수의 측거 범위를 적용한 측거 결과로부터 얻어지는 복수의 인-포커스 위치를 비교 대조하고, 상기 거리정보로부터 구해진 인-포커스 위치와, 상기 복수의 인-포커스 위치 중 어느 하나의 차분이 미리 정한 허용 범위 내에 있을 경우에는, 상기 측거 범위를 적용한 측거 결과로부터 얻어지는 인-포커스 위치를 최종적인 인-포커스 위치로 결정하는 처리를 실행하는 구성인 것을 특징으로 하는 촬상장치.
  9. 제 1항에 있어서,
    상기 안면 검출부는,
    연속적으로 촬상장치의 입력 화상으로부터의 안면 영역 검출을 실행하는 구성이며,
    촬상장치의 제어부는,
    상기 안면 검출부에서 안면 영역 검출에 성공한 경우에는, 검출 화상의 휘도 또는 색 정보의 적어도 어느 하나를 포함한 화상정보를 메모리에 보존하고,
    안면 영역 검출에 실패한 경우에는, 촬상장치의 움직임의 유무를 검증하고, 안면 검출 실패 화상과, 과거의 안면 검출 성공 화상의 휘도 또는 색 정보의 적어도 어느 하나를 포함한 화상정보의 비교 검증에 기초해서 안면 검출 실패 화상에 있어서의 안면 영역의 위치로서, 과거의 안면 검출 성공 화상에 있어서의 안면 영역의 위치를 적용할 수 있는지 여부를 나타내는 플래그를 설정해서 메모리에 기록하는 처리를 실행하는 구성을 가지고,
    상기 측거 범위 설정부는,
    안면 검출 실패시에, 상기 플래그를 참조하여, 과거의 안면 검출 성공 화상 에 있어서의 안면 영역의 위치가 적용 가능한 것이 확인된 경우, 과거의 안면 검출 성공 화상에 있어서의 안면 영역 정보를 적용한 측거 범위 설정 처리를 실행하는 구성인 것을 특징으로 하는 촬상장치.
  10. 제 1항에 있어서,
    상기 안면 검출부가 촬상장치의 입력 화상에 복수의 안면 영역을 검출한 경우,
    상기 측거 범위 설정부는,
    미리 설정된 우선 순위에 따라 측거 범위 설정 대상의 인물을 순차 선택하는 처리를 행하는 구성인 것을 특징으로 하는 촬상장치.
  11. 촬상장치에서 오토 포커스 제어를 실행하는 촬상장치 제어방법으로서,
    안면 검출부에서, 촬상장치에 있어서의 입력 화상으로부터 안면 영역의 검출을 실행하는 안면 검출 스텝과,
    측거 범위 설정부에서, 상기 안면 검출 스텝에서 검출된 안면 영역에 기초해서, 안면 영역을 포함한 안면 영역 대응 측거 범위와, 신체 영역을 포함한 신체 영역 대응 측거 범위의 설정 처리를 실행하는 측거 범위 설정 스텝과,
    포커스 제어부에서, 상기 측거 범위 설정 스텝에서 설정한 복수의 측거 범위 를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행하는 포커스 제어 스텝을 가지는 것을 특징으로 하는 촬상장치 제어방법.
  12. 촬상장치에서 오토 포커스 제어를 실행시키는 컴퓨터 프로그램으로서,
    안면 검출부에서, 촬상장치에 있어서의 입력 화상으로부터 안면 영역의 검출을 실행시키는 안면 검출 스텝과,
    측거 범위 설정부에서, 상기 안면 검출 스텝에서 검출된 안면 영역에 기초해서, 안면 영역을 포함한 안면 영역 대응 측거 범위와, 신체 영역을 포함한 신체 영역 대응 측거 범위의 설정 처리를 실행시키는 측거 범위 설정 스텝과,
    포커스 제어부에서, 상기 측거 범위 설정 스텝에서 설정한 복수의 측거 범위를 각각 적용해서 각 측거 범위 대응의 인-포커스 위치를 검출하고, 검출한 각 측거 범위 대응의 인-포커스 위치 정보의 대조에 기초해서 최종적인 인-포커스 위치의 결정 처리를 실행시키는 포커스 제어 스텝을 실행시키는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020070071514A 2006-09-22 2007-07-18 촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램 KR20080027443A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00256688 2006-09-22
JP2006256688A JP4218720B2 (ja) 2006-09-22 2006-09-22 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Publications (1)

Publication Number Publication Date
KR20080027443A true KR20080027443A (ko) 2008-03-27

Family

ID=39224502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070071514A KR20080027443A (ko) 2006-09-22 2007-07-18 촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US7929042B2 (ko)
JP (1) JP4218720B2 (ko)
KR (1) KR20080027443A (ko)
CN (1) CN100587538C (ko)
TW (1) TW200822715A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036966B2 (en) * 2012-04-26 2021-06-15 Canon Kabushiki Kaisha Subject area detection apparatus that extracts subject area from image, control method therefor, and storage medium, as well as image pickup apparatus and display apparatus

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4182117B2 (ja) * 2006-05-10 2008-11-19 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
CN101465964A (zh) * 2007-12-17 2009-06-24 鸿富锦精密工业（深圳）有限公司 摄影装置及其摄影方法
KR100973588B1 (ko) * 2008-02-04 2010-08-02 한국과학기술원 얼굴검출기의 부윈도우 설정방법
JP5079549B2 (ja) * 2008-03-03 2012-11-21 パナソニック株式会社 撮像装置および撮像装置本体
JP5036612B2 (ja) * 2008-03-28 2012-09-26 三洋電機株式会社 撮像装置
CN101625506B (zh) * 2008-07-07 2011-01-12 华晶科技股份有限公司 数字取像装置的脸部自动对焦方法
CN102090063A (zh) * 2008-07-11 2011-06-08 三洋电机株式会社 图像处理装置以及使用其的摄像装置
JP2010028418A (ja) * 2008-07-18 2010-02-04 Panasonic Corp 撮像装置
JP5038253B2 (ja) * 2008-08-05 2012-10-03 キヤノン株式会社 撮像装置
JP2010060657A (ja) * 2008-09-01 2010-03-18 Canon Inc 焦点調節装置及び焦点調節方法
JP2010044210A (ja) * 2008-08-12 2010-02-25 Canon Inc 焦点調節装置及び焦点調節方法
JP2010068030A (ja) * 2008-09-08 2010-03-25 Panasonic Corp 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
JP5066497B2 (ja) * 2008-09-09 2012-11-07 富士フイルム株式会社 顔検出装置及び方法
JP5159532B2 (ja) * 2008-09-16 2013-03-06 キヤノン株式会社 撮像装置とその制御方法
KR20100044542A (ko) * 2008-10-22 2010-04-30 삼성전자주식회사 디지털 영상 처리기의 절전 장치 및 방법
JP5517435B2 (ja) * 2008-10-22 2014-06-11 キヤノン株式会社 自動合焦装置および自動合焦方法、ならびに、撮像装置
JP5163446B2 (ja) * 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
JP4911165B2 (ja) * 2008-12-12 2012-04-04 カシオ計算機株式会社 撮像装置、顔検出方法及びプログラム
JP5384173B2 (ja) * 2009-04-03 2014-01-08 富士フイルム株式会社 オートフォーカスシステム
JP5384172B2 (ja) * 2009-04-03 2014-01-08 富士フイルム株式会社 オートフォーカスシステム
JP5421691B2 (ja) 2009-08-18 2014-02-19 キヤノン株式会社 焦点調節装置および焦点調節方法
JP2011090569A (ja) * 2009-10-23 2011-05-06 Sony Corp 画像処理装置および画像処理方法
JP5493789B2 (ja) 2009-12-07 2014-05-14 株式会社リコー 撮像装置および撮像方法
JP5474528B2 (ja) * 2009-12-25 2014-04-16 富士フイルム株式会社 オートフォーカスシステム
TWI488496B (zh) * 2010-01-20 2015-06-11 Altek Corp Face capture method for image capture device
US20110242314A1 (en) * 2010-03-31 2011-10-06 Canon Kabushiki Kaisha Image taking system
JP2012002951A (ja) * 2010-06-15 2012-01-05 Ricoh Co Ltd 撮像装置、合焦位置検出方法および合焦位置検出プログラム
CN102456213A (zh) * 2010-10-20 2012-05-16 上海无戒空间信息技术有限公司 照片处理方法
JP2012103979A (ja) * 2010-11-11 2012-05-31 Sanyo Electric Co Ltd 画像処理装置
US8648959B2 (en) * 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
JP5765931B2 (ja) * 2010-12-16 2015-08-19 キヤノン株式会社 焦点検出装置および焦点検出方法
JP5761984B2 (ja) * 2010-12-16 2015-08-12 キヤノン株式会社 撮像装置およびその制御方法
WO2012099175A1 (ja) * 2011-01-18 2012-07-26 富士フイルム株式会社 オートフォーカスシステム
JP5814557B2 (ja) * 2011-02-07 2015-11-17 キヤノン株式会社 画像表示制御装置、撮像装置、表示制御方法、及び制御プログラム
CN102650801A (zh) * 2011-02-25 2012-08-29 鸿富锦精密工业（深圳）有限公司 摄像装置及其自动对焦方法
JP5917017B2 (ja) * 2011-05-11 2016-05-11 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
KR101795601B1 (ko) * 2011-08-11 2017-11-08 삼성전자주식회사 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
US8705847B2 (en) * 2011-09-30 2014-04-22 Cyberlink Corp. Method and system of two-dimensional to stereoscopic conversion
CN103376616B (zh) * 2012-04-26 2016-01-13 华晶科技股份有限公司 图像获取装置及自动对焦的方法与自动对焦系统
JP5938268B2 (ja) * 2012-05-18 2016-06-22 キヤノン株式会社 撮像装置およびその制御方法
US9277111B2 (en) 2012-05-18 2016-03-01 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
US9503645B2 (en) * 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
JP5301016B2 (ja) * 2012-06-15 2013-09-25 キヤノン株式会社 撮像装置およびその制御方法
JP6049448B2 (ja) * 2012-12-27 2016-12-21 キヤノン株式会社 被写体領域追跡装置、その制御方法及びプログラム
JP6238581B2 (ja) * 2013-06-10 2017-11-29 キヤノン株式会社 撮像装置及び焦点検出方法
CN104427237B (zh) * 2013-09-05 2018-08-21 华为技术有限公司 一种聚焦图片的显示方法及图像处理设备
CN105765434B (zh) * 2013-09-24 2019-06-11 索尼公司 成像装置、成像方法和程序
JP5790751B2 (ja) * 2013-12-17 2015-10-07 株式会社ニコン 撮像装置
US9538065B2 (en) * 2014-04-03 2017-01-03 Qualcomm Incorporated System and method for multi-focus imaging
JP6352150B2 (ja) * 2014-11-06 2018-07-04 株式会社ソシオネクスト 画像処理装置および画像処理方法
JP6508926B2 (ja) * 2014-12-03 2019-05-08 キヤノン株式会社 撮像装置および撮像装置の制御方法
KR20160072687A (ko) * 2014-12-15 2016-06-23 삼성전기주식회사 카메라 모듈
EP3118576B1 (en) * 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
WO2017085075A1 (en) * 2015-11-18 2017-05-26 Koninklijke Philips N.V. Method and device for estimating absolute size dimensions of a test object
WO2017166076A1 (zh) * 2016-03-29 2017-10-05 华为技术有限公司 一种确定对焦窗的方法、装置及设备
CN105827994A (zh) * 2016-04-12 2016-08-03 乐视控股（北京）有限公司 一种解决对焦区曝光过度的系统及方法
JP2016197893A (ja) * 2016-07-05 2016-11-24 株式会社ニコン 撮像装置
JP6776062B2 (ja) * 2016-08-30 2020-10-28 キヤノン株式会社 撮像装置およびその制御方法
CN106412422B (zh) * 2016-09-05 2019-07-19 Oppo广东移动通信有限公司 对焦方法、装置及终端
JP6899049B2 (ja) * 2016-10-20 2021-07-07 株式会社ニコン 撮像装置
WO2018076370A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 一种视频帧的处理方法及设备
CN106407957A (zh) * 2016-11-04 2017-02-15 四川诚品电子商务有限公司 法院影像采集警报装置
CN108076278B (zh) * 2016-11-10 2021-03-19 斑马智行网络(香港)有限公司 一种自动对焦方法、装置及电子设备
CN107729889B (zh) * 2017-11-27 2020-01-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
JP6593476B2 (ja) * 2018-02-13 2019-10-23 株式会社リコー 撮像装置
CN110830709A (zh) * 2018-08-14 2020-02-21 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备、计算机可读存储介质
CN110971812B (zh) * 2018-09-30 2022-03-04 北京微播视界科技有限公司 一种拍摄方法、装置、电子设备及存储介质
CN110971814B (zh) * 2018-09-30 2022-03-04 北京微播视界科技有限公司 一种拍摄调整方法、装置、电子设备及存储介质
JP2020067534A (ja) * 2018-10-23 2020-04-30 パナソニックＩｐマネジメント株式会社 撮像装置
KR20200067465A (ko) 2018-12-04 2020-06-12 삼성전자주식회사 영상 처리 방법 및 장치
JP7277149B2 (ja) * 2019-01-18 2023-05-18 キヤノン株式会社 撮像装置及びその制御方法
JP7254555B2 (ja) * 2019-02-18 2023-04-10 キヤノン株式会社 撮像装置および撮像装置の制御方法
KR102664701B1 (ko) * 2019-02-19 2024-05-10 삼성전자주식회사 이미지와 관련된 콘텐트를 어플리케이션에 제공하는 전자 장치 및 방법
CN110139033B (zh) * 2019-05-13 2020-09-22 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110650288B (zh) * 2019-09-20 2021-08-03 Oppo广东移动通信有限公司 对焦控制方法和装置、电子设备、计算机可读存储介质
CN113341635A (zh) * 2020-02-18 2021-09-03 苏州佳世达光电有限公司 投影装置的测距调焦方法
CN111814612B (zh) * 2020-06-24 2024-09-03 浙江大华技术股份有限公司 目标的脸部检测方法及其相关装置
CN114079726B (zh) * 2020-08-13 2023-05-02 华为技术有限公司 一种拍摄方法及设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970010205B1 (ko) * 1988-05-11 1997-06-23 상요 덴기 가부시끼가이샤 영상 신호에 기초하여 초점의 자동 정합을 행하는 오토포커스 기능을 구비한 촬상장치
US5629735A (en) * 1989-08-20 1997-05-13 Canon Kabushiki Kaisha Image sensing device having a selectable detecting area
US5170202A (en) * 1990-07-03 1992-12-08 Eastman Kodak Company Contrast-based autofocus mechanism
US6118484A (en) * 1992-05-22 2000-09-12 Canon Kabushiki Kaisha Imaging apparatus
JPH07199039A (ja) * 1994-01-10 1995-08-04 Minolta Co Ltd Ａｆカメラ
US5835616A (en) * 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
JPH0954244A (ja) 1995-06-08 1997-02-25 Sony Corp オートフォーカス装置
JPH10213737A (ja) 1997-01-30 1998-08-11 Sony Corp ビデオカメラのオートフォーカス装置
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
JP3506958B2 (ja) 1998-09-10 2004-03-15 富士写真フイルム株式会社 画像処理方法、画像処理装置及び記録媒体
JP2001304855A (ja) 2000-04-18 2001-10-31 Olympus Optical Co Ltd 測距装置
JP2002298142A (ja) * 2001-03-29 2002-10-11 Minolta Co Ltd 人物画像検出方法、この方法を実行するためのプログラムを記録した記録媒体、人物画像検出装置及びこの装置を備えた撮影装置
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP2003107335A (ja) 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
JP2004219461A (ja) 2003-01-09 2004-08-05 Minolta Co Ltd 撮像装置およびオートフォーカス装置
JP2004240054A (ja) * 2003-02-04 2004-08-26 Olympus Corp カメラ
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP4022828B2 (ja) * 2003-06-30 2007-12-19 カシオ計算機株式会社 撮像装置、オートフォーカス制御方法、及びオートフォーカス制御プログラム
JP4154400B2 (ja) * 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP3817566B2 (ja) 2005-01-24 2006-09-06 キヤノン株式会社 撮像装置、撮像方法、撮像プログラム、及び記憶媒体
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
JP4639837B2 (ja) 2005-02-15 2011-02-23 株式会社ニコン 電子カメラ
JP4182117B2 (ja) 2006-05-10 2008-11-19 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036966B2 (en) * 2012-04-26 2021-06-15 Canon Kabushiki Kaisha Subject area detection apparatus that extracts subject area from image, control method therefor, and storage medium, as well as image pickup apparatus and display apparatus

Also Published As

Publication number Publication date
US7929042B2 (en) 2011-04-19
JP2008076786A (ja) 2008-04-03
TW200822715A (en) 2008-05-16
CN101149462A (zh) 2008-03-26
JP4218720B2 (ja) 2009-02-04
CN100587538C (zh) 2010-02-03
US20080074529A1 (en) 2008-03-27
TWI345908B (ko) 2011-07-21

Similar Documents

Publication Publication Date Title
JP4218720B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127297B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127296B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5167750B2 (ja) 追尾装置、撮像装置、および追尾方法
JP5789091B2 (ja) 撮像装置および撮像装置の制御方法
US20070285528A1 (en) Imaging apparatus, control method of imaging apparatus, and computer program
US8379138B2 (en) Imaging apparatus, imaging apparatus control method, and computer program
US10148889B2 (en) Image processing apparatus and control method thereof, image capturing apparatus and storage medium
JP5171468B2 (ja) 撮像装置及び撮像装置の制御方法
JP2006211139A (ja) 撮像装置
US20110149045A1 (en) Camera and method for controlling a camera
JP2010109671A (ja) 撮像装置
JP2008299784A (ja) 被写体判定装置及びそのプログラム
US10284782B2 (en) Image stabilization apparatus, control method thereof, and image capture apparatus
JP2007133301A (ja) オートフォーカスカメラ
JP2009290255A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4567538B2 (ja) 露出量算出システムならびにその制御方法およびその制御プログラム
JP2007328213A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4996568B2 (ja) 撮像装置および撮像装置の制御方法
JP5023750B2 (ja) 測距装置および撮像装置
JP2009092747A (ja) 撮像装置、および撮像方法
JP5780750B2 (ja) 自動合焦装置、その制御方法及びプログラム
JP2012065128A (ja) 画像評価装置及び画像評価プログラム
JP2006208783A (ja) 電子カメラ
JP2024078297A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right