JP4894661B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4894661B2
JP4894661B2 JP2007192182A JP2007192182A JP4894661B2 JP 4894661 B2 JP4894661 B2 JP 4894661B2 JP 2007192182 A JP2007192182 A JP 2007192182A JP 2007192182 A JP2007192182 A JP 2007192182A JP 4894661 B2 JP4894661 B2 JP 4894661B2
Authority
JP
Japan
Prior art keywords
focus
face
image
detecting
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007192182A
Other languages
English (en)
Other versions
JP2009033238A (ja
Inventor
一磨 細井
宏之 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007192182A priority Critical patent/JP4894661B2/ja
Priority to US12/219,517 priority patent/US8542941B2/en
Publication of JP2009033238A publication Critical patent/JP2009033238A/ja
Application granted granted Critical
Publication of JP4894661B2 publication Critical patent/JP4894661B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Description

本発明は撮像装置に関する。
撮像画像データを解析して肌色の色相を有する領域を検出するとともに、撮影光学系の焦点距離を取得して実際に撮影される顔の最大サイズを予測し、肌色領域の内の最大サイズよりも大きな領域を排除して顔領域を検出するするようにした顔領域検出方法が知られている(例えば、特許文献1参照)。
この出願の発明に関連する先行技術文献としては次のものがある。
特開2004−185555号公報
しかしながら、上述した従来の顔領域検出方法では、撮影光学系のピントが人物の顔に合っていないと顔の大きさを正しく予測することができず、顔領域を正確に検出することができないという問題がある。
(1)請求項1に記載の撮像装置は、結像光学系による像を撮像する撮像手段と、前記結像光学系の焦点調節状態を検出する焦点検出手段と、前記焦点検出手段の焦点検出結果が合焦と見なせるか否かを判定する合焦判定手段と、前記撮像手段により撮像された画像の中から人物の顔に対応する画像を検出する顔検出手段と、前記撮像手段により撮像された画像の中から背景に対応する画像を検出する背景検出手段と、前記合焦判定手段により合焦とみなせると判定された場合には、前記顔検出手段により前記顔に対応する画像の検出を行い、前記合焦判定手段により合焦とみなせると判定されるまでは、前記背景検出手段により前記背景に対応する画像の検出を行う制御手段と、を備えたことを特徴とする。
(2)請求項2に記載の撮像装置は、結像光学系による像を撮像する撮像手段と、前記結像光学系の焦点調節状態を検出する焦点検出手段と、前記焦点検出手段の焦点検出結果が合焦と見なせるか否かを判定する合焦判定手段と、前記撮像手段により撮像された画像の中から人物の顔に対応する画像を検出する顔検出手段と、前記撮像手段により撮像された画像の中から背景に対応する画像を検出する背景検出手段と、前記合焦判定手段により合焦とみなせると判定された場合に、前記背景検出手段により前記背景に対応する画像の検出を行った後に前記顔検出手段により前記顔に対応する画像の検出を行う制御手段と、を備えたことを特徴とする。
(3)請求項3に記載の撮像装置は、結像光学系による像を撮像する撮像手段と、前記結像光学系の焦点調節状態を検出する焦点検出手段と、前記焦点検出手段の焦点検出結果が合焦と見なせるか否かを判定する合焦判定手段と、前記撮像手段により撮像された画像の中から人物の肌に対応する情報を有する画像を顔候補として検出する顔候補検出手段と、前記顔候補の内、撮影距離に基づいた人物の顔幅と一致する幅を有する前記顔候補を顔と認識する認識手段と前記合焦判定手段により合焦とみなせると判定されるまでは前記顔候補検出手段により顔候補の検出を行い、前記合焦判定手段により合焦とみなせると判定されてから前記認識手段により顔の認識を行う制御手段と、を備えることを特徴とする。
本発明によれば、撮像した画像の中から人物の顔の領域を正確に検出することができる。
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態(この一実施の形態ではデフォーカス量)を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節(AF)機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像(基準画像)として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら(テンプレートマッチング)追尾対象の被写体を追尾する画像追尾機能とを備え、AF機能と画像追尾機能により撮影レンズを駆動しながら対象を追尾する撮像装置(一眼レフデジタルスチルカメラ)の一実施の形態を説明する。
図1は、一実施の形態の撮像装置(一眼レフデジタルスチルカメラ)1の構成を示す。なお、図1では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ1は、カメラ本体2に交換レンズ3が交換可能に装着される。カメラ本体2には被写体像を撮像して画像を記録するための第1撮像素子4が設けられる。この第1撮像素子4はCCDやCMOSなどにより構成することができる。撮影時にはクイックリターンミラー5およびサブミラー6が実線で示す撮影光路外の位置に退避してシャッター7が開放され、撮影レンズ8により第1撮像素子4の受光面に被写体像が結像される。
カメラ本体2の底部には、撮影レンズ8の焦点調節状態を検出するための焦点検出光学系9と測距素子10が設けられている。この一実施の形態では、瞳分割位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系9は、撮影レンズ8を通過した対の焦点検出用光束を測距素子10の受光面へ導き、対の光像を結像させる。測距素子10は例えば対のCCDラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー5およびサブミラー6が破線で示すような撮影光路内の位置に設定されており、撮影レンズ8からの対の焦点検出用光束はクイックリターンミラー5のハーフミラー部を透過し、サブミラー6により反射されて焦点検出光学系9および測距素子10へ導かれる。
カメラ本体2の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー5およびサブミラー6が破線で示す位置にあり、撮影レンズ8からの被写体光はクイックリターンミラー5に反射されてファインダースクリーン11へ導かれ、ファインダースクリーン11上に被写体像が結像する。有機EL表示素子12は、ファインダースクリーン11上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。ファインダースクリーン11上の被写体像はペンタダハプリズム13および接眼レンズ14を介してファインダー接眼窓15へ導かれ、撮影者が被写体像を視認することができる。
また、カメラ本体2上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第2撮像素子16が設けられる。この第2撮像素子16については詳細を後述する。ファインダースクリーン11に結像した被写体像は、ペンタダハプリズム13、プリズム17および結像レンズ18を介して第2撮像素子16の受光面に再結像される。第2撮像素子16は被写体像に応じた画像信号を出力する。撮影前にファインダースクリーン11上に結像された被写体像は、ペンタダハプリズム13、プリズム17および結像レンズ18を介して第2撮像素子16へ導かれ、第2撮像素子16の受光面に被写体像が再結像される。詳細を後述するが、この第2撮像素子16により撮像された被写体像に基づいて追尾制御と露出演算が行われる。
カメラ本体2にはまた、ボディ駆動制御装置19、操作部材20などが設けられる。ボディ駆動制御装置19は、詳細を後述するマイクロコンピューターとメモリ、A/D変換器などの周辺部品から構成され、カメラ1の種々の制御と演算を行う。操作部材20には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ1を操作するためのスイッチやセレクターが含まれる。
交換レンズ3には、ズーミングレンズ8a、フォーカシングレンズ8b、絞り21、レンズ駆動制御装置22などが設けられる。なお、この一実施の形態では撮影レンズ8をズーミングレンズ8a、フォーカシングレンズ8bおよび絞り21で体表的に表すが、撮影レンズ8の構成は図1に示す構成に限定されない。レンズ駆動制御装置22は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ8a、8bおよび絞り21の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置22に内蔵されるメモリには、交換レンズ3の焦点距離や開放絞り値などの情報が記憶されている。
ボディ駆動制御装置19とレンズ駆動制御装置22はレンズマウント部の接点23を介して通信を行い、ボディ駆動制御装置19からレンズ駆動制御装置22へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置22からボディ駆動制御装置19へレンズ情報や絞り情報を送信する。
図2はボディ駆動制御装置19の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置19は素子制御回路19a、A/D変換器19b、マイクロコンピューター19c、メモリ19dなどを備えている。素子制御回路19aは第2撮像素子16の電荷の蓄積と読み出しを制御する。A/D変換器19bは、第2撮像素子16から出力されるアナログ画像信号をデジタル画像信号に変換する。マイクロコンピューター19cは、ソフトウエア形態により背景領域/顔領域抽出部19e、露出制御部19f、焦点検出演算部19gおよびレンズ駆動量演算部19hを構成する。メモリ19dは、画像追尾用のテンプレート画像やデフォーカス量などの情報、あるいは撮影レンズ8の焦点距離、開放F値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報を記憶する。
背景領域/顔領域抽出部19eは、第2撮像素子16により撮像した被写体像から背景領域または顔領域を抽出する。この背景領域と顔領域の抽出処理については詳細を後述する。露出演算部19fは、第2撮像素子16により撮像した画像信号に基づいて露出値(シャッター速度および絞り値)を演算する。
焦点検出演算部19gは、測距素子10から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ8の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ8の撮影画面内には複数の焦点検出エリアが設定されており、測距素子10は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部19gは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部19hは検出されたデフォーカス量をレンズ駆動量に変換する。
図3は第2撮像素子16による被写体の撮像例を示す。第2撮像素子16は、マトリクス状に配列された複数の画素26(光電変換素子;この例では横22個×縦15個=330個)を備えている。この一実施の形態では、第2撮像素子16の横方向の画素26の座標をi(=1〜22)で表すとともに、縦方向の画素26の座標をj(=1〜15)で表し、左上隅の画素26の座標を原点(1,1)とする。
各画素26は図4に示すように3個の部分26a、26b、26cに分割され、これらの部分26a、26b、26cにはそれぞれ赤R、緑G、青Bの原色フィルターが設けられている。これにより、各画素26ごとに被写体像のRGB信号を出力することができる。第2撮像素子16により図3(a)に示すような被写体を撮像した場合には、第2撮像素子16の各画素26から図3(b)に示すような画像信号が出力される。
この一実施の形態では、基本的には撮影画像から顔領域を抽出し、人物の顔の部分に正しくピントを合わせるとともに、人物の顔の部分が適切な明るさになるように露出制御を行う。しかしながら、上述したように撮影レンズ8のピントが人物の顔に合っていないと顔のサイズを正しく予測することができず、顔領域を正確に抽出することができない。
そこで、この一実施の形態では、撮影レンズ8のピントがぼけている状態では顔領域の抽出処理を行わず、代わりに背景領域の抽出処理を行う。そして、抽出した背景領域以外の部分が主要被写体の領域であると判断し、主要被写体部分に正しくピントを合わせるとともに、主要被写体部分が適切な明るさになるように露出制御を行う。
ここで、ボディ駆動制御装置19で実行される背景領域の抽出方法と顔領域の抽出方法について説明する。まず、背景領域の抽出において、第2撮像素子16のすべての画素26の画像信号に対して色相Hue[i,j]を算出し、次の条件式(1)と条件式(2)を用いて被写体領域の判別を行う。
ABS(Hue[i,j]−Hue[i,1])<ThHue ・・・(1)、
M1[i,j−1]≠0 ・・・(2)
条件式(1)において、ABS( )は入力された色相の差の絶対値を返す関数であり、ThHueは実験等により決定される判定しきい値である。なお、j≠1を満たすM1[i,j]の初期値は0であり、M1[i,1]の初期値は1である。
画像の最上部の行の座標[i,1]の領域は背景である可能性が高いから、この領域の色相を背景の基準色相とし、この背景領域の基準色相と背景領域に隣接する他の領域の色相とを順次比較する。背景領域の基準色相と背景領域に隣接する他の領域の色相との差が判定しきい値ThHueより小さければ、背景領域に隣接する他の領域を背景領域ととして当該座標のM1[i,j]を1とする。なお、条件式(1)、(2)による背景領域の抽出演算は、各列ともjの小さい方から大きい方へ順に実行する。この背景領域の抽出演算によって、M1[i,j]が1となっている画素26が背景として抽出された領域である。
第2撮像素子16により図3(a)に示すような被写体を撮像した場合には、第2撮像素子16の各画素26から図3(b)に示すような画像信号が出力され、これらの画像信号に基づいて上述した背景領域の抽出演算を行うと、図5に示すような背景領域の抽出結果が得られる。図5において、ハッチングで示す画素26の領域が抽出された背景領域である。
次に、顔領域の抽出方法を説明する。第2撮像素子16のすべての画素26の画像信号に対して色相Hue[i,j]を算出し、次の条件式(3)を満たす画素26を顔候補領域として抽出する。
HueLoConst<Hue[i,j]<HueHiConst ・・・(3)
条件式(3)において、HueLoConst、HueHiConstは人肌の色相の下限と上限であり、例えば0°、30°とする。
第2撮像素子16により図3(a)に示すような被写体を撮像した場合には、第2撮像素子16の各画素26から図3(b)に示すような画像信号が出力され、これらの画像信号に基づいて上述した顔候補領域の抽出演算を行うと、図6(a)に示すような顔候補領域の抽出結果が得られる。図6(a)において、ハッチングで示す画素26の領域が抽出された顔候補領域である。
また、人物の顔幅に相当する第2撮像素子16の画素数FaceWidth(推定顔画素数)を次式(4)により算出する。
FaceWidth=FwTyp・f/(Distance・SensorPitch) ・・・(4)
(4)式において、FwTypは人物の顔幅と推定される長さを設定するための定数(例えば160mm)であり、Distanceはレンズ駆動制御装置22から取得した撮影レンズ8の撮影距離、SensorPitchは第2撮像素子16の画素26のピッチである。なお、この一実施の形態では、クイックリターンミラー5から結像レンズ18までの光路において像倍率が変化しないように構成している。
(4)式で算出した推定顔画素数FaceWidth(画素単位)と、条件式(3)により算出した顔候補領域(画素単位)とを比較し、両者が一致する場合にはそれらの領域を顔領域と判定する。今、(4)式で算出した推定顔画素数FaceWidthが5画素であったとすると、図6(a)に示す二つの顔候補領域の内、推定顔画素数FaceWidthが5画素でない図中の右側の2×3画素の領域は、色相が人肌と類似していても顔ではないと判断する。一方、図中の左側の5×5画素の領域は、色相が人肌と類似しており、かつ推定顔画素数FaceWidthの画素数と顔候補領域の画素数が等しい、つまり顔候補領域の横幅と推定顔幅とが等しいから、顔領域と判定する。図6(b)に抽出結果の顔領域を示す。
図7は一実施の形態の撮影動作を示すフローチャートである。図7により一実施の形態の動作を説明する。操作部材20のレリーズ半押しスイッチによりシャッターボタンの半押し操作が検出されると、ボディ駆動制御装置19はこの撮影動作を開始する。ステップ1において、第2撮像素子16により撮像を行い、各画素26の画像信号をメモリ19dに記憶する。続くステップ2では、測距素子10から出力される焦点検出信号に基づいて撮影レンズ8のデフォーカス量を検出する。
ステップ3において、焦点検出結果のデフォーカス量が合焦判定しきい値以内にあって撮影レンズ8が合焦しているか否かを判定する。合焦していないときはステップ4へ進んで上述した背景領域の抽出処理を行い、合焦しているときはステップ5へ進んで上述した顔領域の抽出処理を行う。ここで、背景領域の抽出を行った場合は、背景以外の領域に主要被写体が存在するとし、背景以外の領域を主要被写体領域とする。一方、顔領域の抽出を行った場合は、顔領域を主要被写体領域とする。
ステップ6において、主要被写体領域に対応する焦点検出エリアで焦点調節を行うとともに、主要被写体領域で露出制御を行う。背景領域の抽出を行った場合は、背景領域以外の主要被写体領域に対応する焦点検出エリアの焦点検出結果に基づいて撮影レンズ8の焦点調節を行う。顔領域の抽出を行った場合は、主要被写体領域すなわち顔領域に対応する焦点検出エリアの焦点検出結果に基づいて撮影レンズ8の焦点調節を行う。なお、主要被写体領域に対応する焦点検出エリアが複数個存在する場合は、例えば複数の焦点検出結果の内の最至近の焦点検出結果に基づいて焦点調節を行う。
また、背景領域の抽出を行った場合は、第2撮像素子16の各画素26の画像信号の内の、背景領域以外の主要被写体領域に対応する画素26の画像信号に基づいて露出演算を行い、シャッター速度と絞り値を算出する。一方、顔領域の抽出を行った場合は、第2撮像素子16の各画素26の画像信号の内の、主要被写体領域すなわち顔領域に対応する画素26の画像信号に基づいて露出演算を行い、シャッター速度と絞り値を算出する。
ステップ7で、主要被写体領域に対応する焦点検出エリアで検出されたデフォーカス量が合焦判定しきい値以内にあって撮影レンズ8が合焦しているか否かを判定し、合焦していないときはステップ9へ進み、シャッターボタンが半押しのままか否かを判別する。シャッターボタンが半押しのままであればステップ1へ戻り、上述した処理を繰り返す。一方、シャッターボタンが開放されているときは撮影動作を終了する。
ステップ7で主要被写体領域の被写体に合焦しているときはステップ8へ進み、操作部材20のレリーズスイッチによりシャッターレリーズ操作が行われたか否かを判別する。シャッターレリーズ操作がない場合はステップ9へ進み、シャッターボタンの半押し操作の有無に応じて上述した処理を行う。一方、シャッターレリーズ操作が行われたときはステップ10へ進み、撮影動作を行う。すなわち、絞り21を露出演算結果の絞り値に設定するとともに、シャッター7を露出演算結果の秒時だけ開放して第1撮像素子4を露光し、第1撮像素子4により撮像を行う。
撮像後のステップ11で、第1撮像素子4から出力される画像信号に対して周知の画像処理を施し、メモリカードなどの記録媒体(不図示)に記録するとともに、モニター(不図示)に表示する。
このように、一実施の形態によれば、撮影レンズ8の焦点検出結果が合焦と判定されてから、撮像した画像の中から人物の顔領域、すなわち人物の顔に対応する画像の検出を行うようにしたので、撮像画像の中から人物の顔領域を正確に検出することができる。
なお、撮像された画像の中から人物の肌色領域を顔候補領域として検出する顔候補領域検出処理と、撮影距離に基づいて人物の顔幅を推定する顔幅推定処理とを行い、顔候補領域の内の横幅が顔幅と一致する顔候補領域を顔領域とする顔領域検出処理において、焦点検出結果が合焦と判定されるまでは顔候補領域の検出処理を行い、焦点検出結果が合焦と判定されてから顔幅推定処理を行うようにしてもよい。通常、撮影レンズ8が合焦した後は、直ちに第2撮像素子4を露光して撮影を行うのが望ましく、顔候補領域検出処理を合焦と判定されるまでに実行することによって合焦後、速やかに撮影を行うことができ、ピントの合った写真を撮ることができる。
また、上述した一実施の形態では、焦点検出結果が合焦と判定されるまでは背景領域の検出処理、すなわち背景に対応する画像の検出を行い、焦点検出結果が合焦と判定されてから顔領域の検出処理を行う例を示したが、合焦と判定されるまでに実行する処理は背景領域の検出処理に限定されず、顔領域の検出処理と異なる画像判別処理、例えば撮像画像に基づく撮影シーンの判別処理などを行うようにしてもよい。
《発明の一実施の形態の変形例》
上述した一実施の形態では、撮影レンズ8が合焦状態にあれば直ちに顔領域の抽出処理を行う例を示したが、一般に顔領域の抽出処理は背景領域の抽出処理に比べて演算時間が長く、かつまた、撮影画像の全範囲から顔領域の抽出処理を行うと、背景にある人肌の色相と類似した領域を顔領域と誤認するおそれがある。
そこで、この変形例では、図8に示すように、ステップ3で撮影レンズ8が合焦していると判定された場合でも、ステップ5Aでいったん背景領域の抽出処理を行い、その後にステップ5Bで顔領域の抽出処理を行う。ここで、ステップ5Bにおける顔領域の抽出処理では、第2撮像素子16により撮像した画像の内、背景領域の抽出処理で抽出された背景領域を除外し、主要被写体領域に対してのみ顔領域の抽出処理を行う。
これにより、最終的に顔領域を抽出するまでの演算時間を短縮できる上に、主要被写体領域のみを対象にして顔領域の抽出処理を行うので、背景にある人肌の色相と類似した領域を顔領域と誤認することがなく、顔領域をより正確に抽出できる。
なお、上述した一実施の形態では、焦点検出光学系9と測距素子10により位相差検出方式の焦点検出を行う例を示したが、撮影レンズ8の焦点調節状態を検出する方法は上述した一実施の形態の方法に限定されず、例えば第1撮像素子4または第2撮像素子16により撮像された画像に基づいてコントラスト検出方式の焦点検出を行ってもよい。
また、上述した一実施の形態では第2撮像素子16により撮像された画像に基づいて顔領域と背景領域の検出処理を行う例を示したが、第1撮像素子4により撮像された画像に基づいてそれらの検出処理を実行してもよい。
さらに、画像の中から顔領域と背景領域を検出する方法は上述した一実施の形態の方法に限定されるものではない。
上述した一実施の形態では、本願発明を一眼レフデジタルスチルカメラに適用した一実施の形態とその変形例を説明したが、本願発明は一眼レフデジタルスチルカメラ以外の例えばコンパクトカメラやビデオカメラにも適用することができる。また、上述した一実施の形態では画像追尾機能を備えたカメラに適用した例を説明したが、画像追尾機能のないカメラにも適用できる。
一実施の形態の撮像装置の構成を示す図 一実施の形態のボディ駆動制御装置の詳細な構成を示す図 第2撮像素子による被写体の撮像例を示す図 第2撮像素子の詳細な構成を示す図 一実施の形態の背景領域の抽出結果を示す図 一実施の形態の顔領域の抽出結果を示す図 一実施の形態の撮影動作を示すフローチャート 変形例の撮影動作を示すフローチャート
符号の説明
8 撮影レンズ
9 焦点検出光学系
10 測距素子
16 第2撮像素子
19 ボディ駆動制御装置

Claims (3)

  1. 結像光学系による像を撮像する撮像手段と、
    前記結像光学系の焦点調節状態を検出する焦点検出手段と、
    前記焦点検出手段の焦点検出結果が合焦と見なせるか否かを判定する合焦判定手段と、
    前記撮像手段により撮像された画像の中から人物の顔に対応する画像を検出する顔検出手段と、
    前記撮像手段により撮像された画像の中から背景に対応する画像を検出する背景検出手段と、
    前記合焦判定手段により合焦とみなせると判定された場合には、前記顔検出手段により前記顔に対応する画像の検出を行い、前記合焦判定手段により合焦とみなせると判定されるまでは、前記背景検出手段により前記背景に対応する画像の検出を行う制御手段と、を備えたことを特徴とする撮像装置。
  2. 結像光学系による像を撮像する撮像手段と、
    前記結像光学系の焦点調節状態を検出する焦点検出手段と、
    前記焦点検出手段の焦点検出結果が合焦と見なせるか否かを判定する合焦判定手段と、
    前記撮像手段により撮像された画像の中から人物の顔に対応する画像を検出する顔検出手段と、
    前記撮像手段により撮像された画像の中から背景に対応する画像を検出する背景検出手段と、
    前記合焦判定手段により合焦とみなせると判定された場合に、前記背景検出手段により前記背景に対応する画像の検出を行った後に前記顔検出手段により前記顔に対応する画像の検出を行う制御手段と、を備えたことを特徴とする撮像装置。
  3. 結像光学系による像を撮像する撮像手段と、
    前記結像光学系の焦点調節状態を検出する焦点検出手段と、
    前記焦点検出手段の焦点検出結果が合焦と見なせるか否かを判定する合焦判定手段と、
    前記撮像手段により撮像された画像の中から人物の肌に対応する情報を有する画像を顔候補として検出する顔候補検出手段と、
    前記顔候補の内、撮影距離に基づいた人物の顔幅と一致する幅を有する前記顔候補を顔と認識する認識手段と
    前記合焦判定手段により合焦とみなせると判定されるまでは前記顔候補検出手段により顔候補の検出を行い、前記合焦判定手段により合焦とみなせると判定されてから前記認識手段により顔の認識を行う制御手段と、を備えることを特徴とする撮像装置。
JP2007192182A 2007-07-24 2007-07-24 撮像装置 Expired - Fee Related JP4894661B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007192182A JP4894661B2 (ja) 2007-07-24 2007-07-24 撮像装置
US12/219,517 US8542941B2 (en) 2007-07-24 2008-07-23 Imaging device, image detecting method and focus adjusting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007192182A JP4894661B2 (ja) 2007-07-24 2007-07-24 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011288826A Division JP5360191B2 (ja) 2011-12-28 2011-12-28 撮像装置

Publications (2)

Publication Number Publication Date
JP2009033238A JP2009033238A (ja) 2009-02-12
JP4894661B2 true JP4894661B2 (ja) 2012-03-14

Family

ID=40295391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007192182A Expired - Fee Related JP4894661B2 (ja) 2007-07-24 2007-07-24 撮像装置

Country Status (2)

Country Link
US (1) US8542941B2 (ja)
JP (1) JP4894661B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
JP4898475B2 (ja) * 2007-02-05 2012-03-14 富士フイルム株式会社 撮影制御装置、撮影装置、及び撮影制御方法
JP4894661B2 (ja) 2007-07-24 2012-03-14 株式会社ニコン 撮像装置
JP5171468B2 (ja) * 2008-08-06 2013-03-27 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5402129B2 (ja) * 2009-03-19 2014-01-29 株式会社ニコン 焦点検出装置、焦点調節装置および撮像装置
JP5407538B2 (ja) * 2009-05-12 2014-02-05 株式会社ニコン カメラ、およびフォーカス検出領域表示プログラム
JP5879736B2 (ja) * 2011-04-21 2016-03-08 株式会社ニコン 画像追尾装置および撮像装置
JP5843486B2 (ja) * 2011-05-31 2016-01-13 キヤノン株式会社 撮像装置およびその制御方法
JP5360191B2 (ja) * 2011-12-28 2013-12-04 株式会社ニコン 撮像装置
CN104463117B (zh) * 2014-12-02 2018-07-03 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
KR20170123125A (ko) * 2016-04-28 2017-11-07 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2019082539A1 (ja) * 2017-10-24 2019-05-02 ソニー株式会社 制御装置と制御方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
JP3760846B2 (ja) 2001-11-22 2006-03-29 コニカミノルタフォトイメージング株式会社 被写体抽出装置及び撮影装置
JP2003344891A (ja) * 2002-05-23 2003-12-03 Canon Inc 撮影モード自動設定カメラ
JP4126721B2 (ja) 2002-12-06 2008-07-30 富士フイルム株式会社 顔領域抽出方法及び装置
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US7109861B2 (en) * 2003-11-26 2006-09-19 International Business Machines Corporation System and method for alarm generation based on the detection of the presence of a person
JP2007010898A (ja) 2005-06-29 2007-01-18 Casio Comput Co Ltd 撮像装置及びそのプログラム
GB2432659A (en) * 2005-11-28 2007-05-30 Pixology Software Ltd Face detection in digital images
US7728903B2 (en) * 2005-11-30 2010-06-01 Nikon Corporation Focus adjustment device, focus adjustment method and camera
JP5188071B2 (ja) * 2007-02-08 2013-04-24 キヤノン株式会社 焦点調節装置、撮像装置及び、焦点調節方法
JP4894661B2 (ja) 2007-07-24 2012-03-14 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
US20090028394A1 (en) 2009-01-29
US8542941B2 (en) 2013-09-24
JP2009033238A (ja) 2009-02-12

Similar Documents

Publication Publication Date Title
JP4894661B2 (ja) 撮像装置
JP5176483B2 (ja) 画像認識装置、画像追尾装置および撮像装置
JP5167750B2 (ja) 追尾装置、撮像装置、および追尾方法
JP5247076B2 (ja) 画像追尾装置、焦点調節装置および撮像装置
JP4930509B2 (ja) 画像追尾装置、画像追尾方法、およびカメラ
JP4872834B2 (ja) 画像認識装置、焦点調節装置および撮像装置
JP5157256B2 (ja) 画像追尾装置および撮像装置
JP5003529B2 (ja) 撮像装置および対象物の検出方法
JP5056168B2 (ja) 焦点調節装置および撮像装置
JP5056136B2 (ja) 画像追尾装置
JP5403111B2 (ja) 画像追尾装置
JP4888249B2 (ja) 焦点検出装置および撮像装置
JP5359150B2 (ja) 撮像装置
JP5256847B2 (ja) 撮像装置
JP4985155B2 (ja) 焦点調節装置および撮像装置
JP5360191B2 (ja) 撮像装置
JP2008187331A (ja) 画像追尾装置および撮像装置
JP5233646B2 (ja) 画像追尾装置、撮像装置、画像追尾方法
JP2010054586A (ja) 焦点調節装置、撮像装置
JP4973369B2 (ja) 画像処理装置および撮像装置
JP5447579B2 (ja) 追尾装置、焦点調節装置および撮影装置
JP5176845B2 (ja) 画像追尾装置および撮像装置
JP2012093775A (ja) 焦点検出装置および撮像装置
JP2018063439A (ja) 焦点調節装置、撮像装置
JP2016028298A (ja) 焦点調節装置、撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111212

R150 Certificate of patent or registration of utility model

Ref document number: 4894661

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees