JP4207980B2 - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP4207980B2
JP4207980B2 JP2006160451A JP2006160451A JP4207980B2 JP 4207980 B2 JP4207980 B2 JP 4207980B2 JP 2006160451 A JP2006160451 A JP 2006160451A JP 2006160451 A JP2006160451 A JP 2006160451A JP 4207980 B2 JP4207980 B2 JP 4207980B2
Authority
JP
Japan
Prior art keywords
face
focus
subject
subject distance
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006160451A
Other languages
English (en)
Other versions
JP2007328212A (ja
Inventor
義人 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006160451A priority Critical patent/JP4207980B2/ja
Priority to TW096120144A priority patent/TW200819815A/zh
Priority to US11/760,481 priority patent/US7860386B2/en
Priority to KR1020070055980A priority patent/KR20070118036A/ko
Priority to CNB2007101102303A priority patent/CN100565320C/zh
Publication of JP2007328212A publication Critical patent/JP2007328212A/ja
Application granted granted Critical
Publication of JP4207980B2 publication Critical patent/JP4207980B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • G03B13/20Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。
昨今の多くのスチルカメラやビデオカメラなどの撮像装置には、被写体に対するフォーカスを自動的に合わせるオートフォーカス(AF)機構が搭載されている。さらに、近年、オートフォーカス(AF)機能を備えたカメラにおいて、画面内の複数のエリアを測距し、その中から最も撮影者に近いもの、画面の中央に近いものといった様々な優先順付けの結果として最適なエリア選び出し、そのエリアに対してピントが合うようにレンズを駆動する機能、いわゆる「マルチAF」、「多点測距AF」が広く採用されている。この機能を適用することで主要被写体が必ずしも画面の中央に存在しない場合においても、撮影者が特別な操作をすることなしに主要被写体に対する適切なピント合わせが可能となる。なお、オートフォーカス制御構成については、例えば特許文献1に記載がある。
しかし、このようなマルチAFや多点測距AFも万能ではなく、特定の構図に対してのみ有効な構成である。一般的なカメラの撮影においては人間が主要被写体になるケースが非常に多いが、撮影画像における人物の位置は多様であり様々な構図がある。そもそも撮像装置における測距エリアが設定されていない位置に目的被写体がいるケースもある。このような場合、マルチAFや多点測距AFを適用しても人物に対するフォーカスは適切に行われない。
このような問題を解決するため、撮像装置において画像から顔を認識し、測距エリアを認識された顔の位置に設定することで、どのような構図でも顔にピントを合わせることを可能とした構成が提案されている。例えば、特許文献2にこのような顔認識に基づくフォーカス制御構成が開示されている。この顔認識に基づくフォーカス制御によって様々な構図の撮影において適切なフォーカス制御(ピント合わせ)が可能になる。
しかし、シャッターチャンスを逃さないためには、時間のかかる処理は不適当である。すなわち、単に顔に測距エリアを合わせるだけのAFでは不十分であり、AF高速化に向けた工夫が必要となる。素早くフォーカス制御を行い、シャッターチャンスを逃さないという観点からフォーカス制御処理を提案した構成としては、例えば特許文献3がある。特許文献3では、特定の被写体を認識し追尾しながら測距を実行してフォーカス制御を迅速に実行してシャッターチャンスを逃さない撮影を可能とする装置を提案している。
しかしながら、このような主要被写体を追尾するAFにおいては、撮影者にとっての主要被写体は何か?ということが課題になる。この課題の1つの解決手法として、画像から顔を認識して、顔を主要被写体と判定する方法があると考えられる。しかしながら、この方法においては、複数の人物が存在するシーンでは、どの人物を主要被写体に設定するかということが問題となる。
このように、オートフォーカス(AF)には様々な解決すべき問題があるが、理想的なオートフォーカス(AF)を実現するために要求される基本的な機能としては、次の3点が最重要項目であると考えられる。
1.主要被写体に確実にピントを合わせる
2.短時間でピントを合わせる
3.複数の主要被写体候補からピントを合わせるべき被写体を確実にかつ迅速に選択する
また、もう1つの基本的な要求としてコストダウンがある。上記の機能を実現するために価格が高くなることは好ましくない。例えば、高価な測距センサーなどの外部測距装置などを用いないで確実に素早くフォーカス制御を実現させる構成が望まれる。
特開平04−000421号公報 特開2003−107335号公報 特開昭60−254207号公報
本発明は、このような状況に鑑みてなされたものであり、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出部と、
前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出部と、
前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御部と、
前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析部を有し、
前記被写体距離算出部は、
顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、
前記優先順位解析部は、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行する構成であり、
前記レンズ動作範囲算出部は、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行する構成であることを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記被写体情報は、人種、性別、年齢、体格の少なくともいずれかの情報であり、該被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記被写体情報は、人種、性別、年齢、体格の少なくともいずれかの情報であり、該被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記被写体距離算出部は、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御部を有することを特徴とする。
さらに、本発明の第2の側面は、
撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、撮像装置において入力する入力画像から顔領域を検出する顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御ステップと、
優先順位解析部において、前記顔検出ステップで検出した複数の顔の優先順位を設定する優先順位解析ステップを有し、
前記被写体距離算出ステップは、
顔検出ステップで検出した顔の大きさに基づく被写体距離算出処理において、被写体情報が入力されて、入力された被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであり、
前記優先順位解析ステップは、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
前記レンズ動作範囲算出ステップは、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行するステップであることを特徴とする撮像装置制御方法にある。
さらに、本発明の第3の側面は、
撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、撮像装置において入力する入力画像から顔領域を検出させる顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出させる被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定させるレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定させるフォーカス制御ステップと、
優先順位解析部において、前記顔検出ステップで検出した複数の顔の優先順位を設定する優先順位解析ステップを実行させるものとし、
前記被写体距離算出ステップは、
顔検出ステップで検出した顔の大きさに基づく被写体距離算出処理において、被写体情報が入力されて、入力された被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであり、
前記優先順位解析ステップは、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
前記レンズ動作範囲算出ステップは、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行するステップであることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定する。さらに、この推定したフォーカス位置に基づいて、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定し、設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定する。本構成によれば、フォーカス制御において移動させるレンズの距離を短く設定することが可能となり、高速なフォーカス制御が実現される。
さらに、本発明の一実施例の構成によれば、被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成としたので、被写体に適応したより正確な被写体距離を算出可能となり、正確なフォーカス制御が実現される。
さらに、本発明の一実施例の構成によれば、優先順位解析部において、顔検出部の検出した複数の顔の優先順位を、例えば、顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格などの被写体情報などを指標として決定し、決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成としたので、複数の顔が検出された場合であっても、より優先度の高い顔に対するフォーカス制御を効率的に行うことができる。
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。
本発明は、目的とする被写体に対する迅速で正確なオートフォーカスを可能とした構成を開示するものである。本発明の撮像装置では、フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いる。撮像画像の特定領域をフォーカス制御用の信号取得領域(空間周波数抽出エリア)として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。
具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値(AF評価値)として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。
本発明は、このようなコントラスト識別処理を用いたフォーカス制御において、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を可能とする。さらに、本発明は、顔の大きさの個人差、人種差、年齢差、性別差などを考慮して、顔の大きさに基づく被写体の距離推定をより正確に実行することを可能とするものである。
まず、図を参照して、本発明の撮像装置の構成について説明する。図1は、本発明の撮像装置10の外観を示す図である。図1(a)は、撮像装置10の上面図、(b)は正面図、(c)は背面図である。(a)上面図のレンズ部分は断面図として示してある。撮像装置10は、電源スイッチ11、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ12、撮像装置によって撮影される画像(スルー画像)や操作情報などを表示するモニタ13、撮像素子(CCD)としてのイメージャ14、ズーム制御を行うためのズームボタン15、各種の操作情報を入力する操作ボタン16、撮像装置によって撮影される画像(スルー画像)を確認するためのビューファインダ17、フォーカス調整において駆動されるフォーカスレンズ18、ズーム調整に際して駆動されるズームレンズ19、撮影モードを設定するためのモードダイアル20、フォーカスレンズ18を駆動するためのフォーカスレンズモータ(M1)21、ズームレンズ19を駆動するためのズームレンズモータ(M2)22を有する。
被写体画像は、ビューファインダ17およびモニタ13に表示される。ビューファインダ17およびモニタ13は例えばLCDによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ17またはモニタ13を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ12を押すことで画像の記録処理が実行されることになる。
図2を参照して本発明の撮像装置100の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ101、ズームレンズ102を介する入射光は、例えばCCD(Charge Coupled Device)などの撮像素子103に入力し、撮像素子103において光電変換される。光電変換データは、アナログ信号処理部104に入力され、アナログ信号処理部104においてノイズ除去等の処理がなされ、A/D変換部105においてデジタル信号に変換される。A/D変換部105においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス115に記録される。さらに、モニタ117、ビューファインダ(EVF)116に表示される。モニタ117、ビューファインダ(EVF)116には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。
操作部118は、図1を参照して説明したカメラ本体にあるレリーズスイッチ12、ズームボタン15、各種の操作情報を入力する操作ボタン16、撮影モードを設定するためのモードダイアル20等を含む操作部である。制御部110は、CPUを有し、撮像装置の実行する各種の処理の制御を予めメモリ(ROM)120などに格納されたプログラムに従って実行する。メモリ(EEPROM)119は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ(ROM)120は、制御部(CPU)110が使用するプログラムや演算パラメータ等を格納する。メモリ(RAM)121は、制御部(CPU)110において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ111は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部(CPU)110に入力され手ぶれ防止などの処理が実行される。
モータドライバ112は、フォーカスレンズ101に対応して設定されたフォーカスレンズ駆動モータ113、ズームレンズ102に対応して設定されたズームレンズ駆動モータ114を駆動する。垂直ドラバ107は、撮像素子(CCD)103を駆動する。タイミングジェネレータ106は、撮像素子103およびアナログ信号処理部104の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。
顔検出部130は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部110に送られ、制御部110では、検出された顔情報に基づいて、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定する。さらに、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を行なう。さらに、顔の大きさに基づく被写体距離の推定処理に際して、顔の大きさの個人差、人種差、年齢差、性別差などを考慮した処理を行うことで正確な距離推定を実現する。
本発明の撮像装置では、前述したように、フォーカス制御において、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いるが、このコントラスト識別処理を用いたフォーカス制御において、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を可能とする。
コントラストに基づくフォーカス位置の判定処理においては、特定領域の高周波成分積分値を算出して、これを評価値(AF評価値)として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。具体的なオートフォーカス制御処理には、AF評価値が頂点をキープするようにフォーカスレンズにサーボをかける方法(山登り法)や、特定の領域を特定の間隔の評価値データを取ってそれらの評価値の最大値をとったフォーカス位置にフォーカスレンズを移動させる方法(候補範囲サーチ法)などがある。
AF評価値が頂点をキープするようにフォーカスレンズにサーボをかける山登り法は、常に最適なピントを提供するが場合によってはピントが合うまでの時間がかかる、また、特定の領域を特定の間隔の評価値データを取ってそれらの評価値の最大値をとったフォーカス位置にフォーカスレンズを移動させる候補範囲サーチ法はおよそどのようなシーンでも短時間でピントが合うが、ピントが合うのはある特定の瞬間に限られ被写体が動けばピントがずれてしまうという問題がある。
本発明の撮像装置では、顔検出部130において、画像データ中の人物の顔を検出し、制御部110において検出された顔情報に基づいて、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、上述の山登りAF法、端点間サーチAF法に基づくフォーカス位置探索処理の動作範囲を狭めて設定して、その設定領域内で山登りAF法、端点間サーチAF法のいずれかの手法に基づくフォーカス位置探索処理を実行して迅速なフォーカス制御を行なうものである。さらに、顔の大きさに基づく被写体の距離の推定に際して、顔の大きさの個人差、人種差、年齢差、性別差などを考慮した被写体の距離推定を行い、正確な距離推定を実現する。
図3に、(a)従来のフォーカス制御におけるフォーカスレンズ動作範囲と、(b)本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御におけるフォーカスレンズ動作範囲を示す。一般的なオートフォーカス制御を行う場合、図3(a)に示すように、フォーカスレンズ201の動作範囲を至近側リミットから無限側リミットの全範囲に設定し、この範囲でフォーカスレンズ201を移動させて、レンズを介して取得された撮像データの特定領域のコントラストの高低を判定する。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値(AF評価値)とし、AF評価値が最大となる位置をフォーカス位置とする。このような処理を行なうと、フォーカスレンズ201の動作範囲が大きく、フォーカス制御の実行時間が長くなるという問題がある。
一方、図3(b)本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御においては、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を実行する。すなわち、図3(b)に示すように、目的被写体としての人物の顔の大きさに基づいて被写体の距離を推定し、この距離(DF)を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズ201の動作範囲(Rf)として設定し、この動作範囲(Rf)のみにおいて、フォーカスレンズ201を移動させて、コントラストの高低を判定してフォーカス位置を決定する。この処理においては、フォーカスレンズ201の動作範囲が狭められ、フォーカス位置の特定に要する時間を短縮することが可能となる。
具体的な処理シーケンスは、以下の通りである。なお、撮像素子のコントラスト信号差を求める領域、すなわちコントラストの高低判定のために設定する特定領域は、スルー画から検出される顔領域を含む領域とする。この領域から得られるコントラスト信号に基づいて、次のような動作を実施することでAFの高速化を実現する。
1.シャッターを押される前においては、コントラスト信号が最大となる位置にサーボをかける。この時のフォーカス制御におけるレンズ動作範囲は、Rfと限定する。
2.シャッターを押された時、コントラスト信号が最大値近傍を保っていたら、すなわちコントラストが、予め設定した閾値以上であり、かつ、コントラストの変動がフォーカスポジション変化によってほとんど変化しない領域にいる時は、そのままキャプチャーする。半押しならば、ロックする。
3.シャッターを押された時に、コントラスト信号が最大値付近にない場合、レンズ動作範囲Rfを「候補範囲サーチ法」によって、コントラストが最大になる位置を検出し、その位置にフォーカスポジションを移動させた後、キャプチャーする。半押しならば、ロックする。
4.顔の検出結果が変更するたびにレンズの動作範囲Rfを更新する。
以上の説明に対応する具体的なフォーカス制御処理シーケンスについて、図4に示すフローチャートを参照して説明する。まず、ステップS101において、撮像装置によって取得される被写体画像(スルー画)から目的被写体の顔領域を検出し、検出した目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定する。
ステップS102において、図3(b)に示すように、目的被写体としての人物の顔の大きさに基づいて推定した距離(DF)を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズの動作範囲、すなわちAF動作範囲として設定する。ステップS103では、動画用のオートフォーカス処理、すなわち、モニタに表示される画像を目的被写体としての人物の顔にピント合わせした画像として表示するためのオートフォーカス制御を実行する。ステップS104においてシャッター押下が検出されない限り、ステップS101〜S103の処理は継続して実行される。
ステップS104において、シャッター押下が検出されると、ステップS105に進み、コントラスト信号が最大値近傍を保っているか否か、すなわちコントラストが、予め設定した閾値以上であるかを判定する。
ステップS105において、コントラストが予め設定した閾値以上であると判定された場合は、正しいフォーカス制御がなされているものと判断して、ステップS107に進み、フォーカス制御を完了し、ステップS108において画像の撮影(キャプチャ)処理を行なう。一方、ステップS105において、コントラストが予め設定した閾値以上であると判定されなかった場合は、正しいフォーカス制御がなされていないと判断して、ステップS106に進み、静止画撮影のためのオートフォーカス制御を実行する。この場合のフォーカスレンズの移動範囲は、先に図3(b)を参照して説明した目的被写体としての人物の顔の大きさに基づく推定距離(Df)を中心として、予め設定された誤差範囲を含む動作範囲(Rf)である。この処理において、顔領域を含む特定領域のコントラストの高低に基づいてフォーカス位置を特定し、ステップS108に進み、フォーカス制御を完了し、ステップS108において画像の撮影(キャプチャ)処理を行なう。
本発明の最大のポイントは、顔の大きさによって顔までの距離を求める場合において、距離の誤差情報を用いて、極力狭いAF範囲を決定する方法にある。これにより短時間でのAFが実現できる。
本発明の撮像装置によって撮影される画像データから目的被写体の人物の顔を特定し、その顔による距離推定を実行する。以下、この処理の具体的な処理構成について説明する。説明は、以下の項目順に行なう。
(1)顔の認識処理
(2)顔までの距離算出およびフォーカスレンズの動作範囲(Rf)設定手法
(3)複数の顔が存在する場合のオートフォーカス処理
(1)顔の認識処理
まず、撮像装置によって取得される画像データから人物の顔を特定する手法について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開2004−133637に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔3次元直交座標系のXYZ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。
縮小された画像に対して2次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交3軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離の推定を実行してオートフォーカス制御を行うことで、先に図3(b)を参照して説明したフォーカスレンズの動作範囲(Rf)を小さく設定することが可能となる。
(2)顔までの距離算出およびフォーカスレンズの動作範囲(Rf)設定手法
以下、具体的な顔までの距離の算出手法と、フォーカスレンズの動作範囲(Rf)の設定手法について説明する。本発明が提案する顔の大きさに基づく距離算出方法においては、求めた距離(図3(b)に示す(Df))に距離誤差情報を含ませてフォーカスレンズの動作範囲(Rf)を設定する構成としている。
本発明の撮像装置では、撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める。この処理について、図5を参照して説明する。図5には、被写体位置301、フォーカスレンズ302、撮像素子303を示している。被写体位置301には人物の顔が存在する。顔の大きさ(顔の幅)はWfである。
顔の実際の大きさ(Wf)が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離(Df)、すなわち、フォーカスレンズ302から被写体位置301までの被写体距離(Df)は以下の式で求めることができる。 Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値:Wref
撮像素子の幅:Wi
焦点距離:f
撮像画像における人の顔の大きさのピクセル数(撮像素子検出値):Wf
人の顔検出に使用した画像の大きさのピクセル数(撮像素子検出値):Ww
人間の顔の大きさ基準値(Wref)は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値(Wref)を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。この処理構成については、後段で説明する。
撮像装置は、撮影される画像(スルー画)に基づいて、上述の式(式1.1)を適用して被写体距離(Df)を算出し、算出した被写体距離(Df)を中心として、あらかじめ設定した誤差範囲を含めてフォーカスレンズの動作範囲(Rf)を設定する。
仮に顔の大きさから求めた誤差がゼロというモデルを想定すると、この位置にフォーカスレンズを移動させた時にピントが外れる要因は、各種デバイスの個体差、製造における誤差に限定される。すなわちこれらの誤差を調整によって除去することができれば、原理的には、山登りAFや特定範囲サーチAFを用いずとも、顔の大きさだけで良好なピントの写真が得られることになる。
しかしながら、実際はそれらの誤差を完全に除去することはできない。具体的には、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスによるものである。それらの大きさを、ズームの位置、フォーカスの位置ごとにデータテーブルとして持ち、テーブル間のデータを線形補完する形で、誤差範囲を至近側にσn,無限側にσfとして設定すると、フォーカスレンズの動作範囲(Rf)は、顔までの距離を:Dfとしたときに、
Rf=Df−σn〜Df+σf・・・(式1.2)
として設定される。すなわち、図6に示すようにフォーカスレンズ302の動作範囲(Rf)が設定される。
したがって、例えばコントラスト判定に基づくフォーカス制御の1つの手法である山登り方でコントラスト信号の最大値を探すべき範囲は動作範囲(Rf)として設定することができ、シャッターを押された時にサーチすべき範囲の最大値も上記範囲として設定可能となり、従来と比較して短い距離のレンズ移動範囲が設定されて短時間でのフォーカス制御が可能となる。
しかし、このような顔の大きさに基づく距離推定処理には、以下のような問題がある。
問題点1.人種差、性別差、年齢差、体格差による顔の大きさばらつきがある。
問題点2.テンプレートマッチングの能力限界(実画像縮小率の分解能など)。
[問題点1の解決方法]
1つ目の問題の解決策は、顔大きさ基準値:Wrefを、被写体に対応する人種、性別、年齢、体格に応じた適切な値に設定することであり、このために、様々な人種、性別、年齢、体格に対応する基準値Wrefを算出して利用する構成である。例えば、様々な人種、性別、年齢、体格に対応する基準値Wrefを算出するためのテーブルデータを保持し、画像解析結果またはユーザ入力情報に基づいて被写体に対応する人種、性別、年齢、体格情報を取得して、これらの取得情報に基づいてテーブルから、被写体に応じた顔大きさ基準値:Wrefを求める構成である。
撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定することが可能である。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定する。あるいは、撮影者などのユーザが、被写体情報として人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を適用する構成としてもよい。
このように画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値:Wrefを求める。図7を参照して、この処理例について説明する。
図7に示すように、撮像装置は、顔の大きさ基準値(Wref)算出部310を有し、顔の大きさ基準値(Wref)算出部310は、人種別基準値算出テーブル311、性別基準値算出テーブル312、年齢別基準値算出テーブル313、体格別基準値算出テーブル314と、データ処理部320を有する。
画像解析部331は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値(Wref)算出部310に入力する。あるいは、ユーザ入力部332を介して撮影者などのユーザが、被写体情報としての人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を顔の大きさ基準値(Wref)算出部310に入力する。
顔の大きさ基準値(Wref)算出部310は、画像解析部331または、ユーザ入力部332を介して入力した被写体情報に基づいて、被写体に応じた最適な基準値(Wref)を、各テーブルを適用して算出する。実際の出力は、ある程度のばらつきを考慮した基準値範囲Wref=(Wref+ΔWrefb)〜(Wref−ΔWrerfs)を算出する。想定される大きい方へのずれをΔWrefb、想定される小さい方へのずれをΔWrefsとして考慮した結果を出力する。
テーブルのデータ構成例を図8〜図10を参照して説明する。図8(a)は、人種別基準値算出テーブル、図8(b)は、人種、性別基準値算出テーブル、図9(c)は、人種、性別、年齢別基準値算出テーブル、図10(d)は人種、性別、年齢、体格別基準値算出テーブルである。図7に示す構成例においては、人種、性別、年齢、体格の個別のテーブルを設定した例を説明したが、テーブル構成は、個別のテーブルとするばかりでなく、図8〜図10に示す態様のような各種の設定が可能である。
例えば、画像解析部331または、ユーザ入力部332を介して入力した被写体情報に基づいて、人種のみが推定/断定できる時には、図8(a)に示す人種別基準値算出テーブルを用いる。仮に人種の判断ができない場合。「共通」のデータが用いられることとなる。
画像解析部331または、ユーザ入力部332を介して入力した被写体情報に基づいて、人種と性別が推定/判断できる場合には、図8(b)に示す人種、性別基準値算出テーブルが用いられる。仮にアジア系人種であり、男性ということになれば、図8(b)に示すA列のデータが用いられることになる。一方で、例えば人種は判別できないが性別は女性と推定/断定できる場合、人種は共通、性別は女性という図8(b)に示すB列のデータを用いることとなる。
同様にして、年代まで推定/断定できるならば、図9(c)に示す人種、性別、年齢別基準値算出テーブルが用いられることになり、仮にアジア系人種の男性であり、12歳以上ということが分れば、図9(c)に示すC列のデータを用いればよいし、何らかの理由で年代が推定できなかった場合は、図9(c)に示すD列のデータを用いればよい。同様にして、体格まで推定/断定できるならば、図10(d)に示す人種、性別、年齢、体格別基準値算出テーブルを用いて最適な基準値Wref=(Wref+ΔWrefb)〜(Wref−ΔWrerfs)を算出する。
このように、画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値:Wrefを求めることが可能であり、算出した基準値:Wrefを適用することで、より正確な被写体までの距離(Df)を算出することが可能となる。なお、基準値:Wrefの適用処理および被写体までの距離(Df)の算出処理に際しては、顔の横幅、顔の縦の長さのいずれかを適用する構成、さらに、両者を併用する処理構成が可能である。さらに、傾きを考慮した処理構成としてもよい。
[問題点2の解決方法]
次に、前述の問題点2、すなわち、テンプレートマッチングの能力限界(実画像縮小率の分解能など)についての解決方法について説明する。前述したように、撮影画像から顔料粋を特定するためにテンプレートマッチングが実行される。すなわち、顔の様々な傾きに対応する顔の輝度分布情報テンプレート群を用意しておき、撮影画像に縮小処理をかけた縮小画像とのマッチングを行なう処理である。縮小された画像に対して2次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。
しかし、テンプレートマッチングの能力限界(実画像縮小率の分解能など)という問題が存在する。この問題に対する対策としては、これらの誤差を予め考慮した処理を行なうことが有効な対策である。検出誤差は、人種差や性別差、年齢差といったものとは独立に発生しうる問題である。顔のテンプレートに様々な顔のデータを記録させること、およびマッチングを確認する位置の数を増すことで精度を上げることが期待できるものの、どうしても限界がある。例えば、撮影された画像中の顔が暗い場合には誤差が大きくなり、また顔が傾くと誤差が大きくなる。検出誤差は、そもそもの性能の限界、検出に不利な明るさ、顔の傾き、これらの状況によって発生するものであり、このような状況に応じた誤差を考慮した処理を行なう。
具体的な処理例について説明する。撮影画像から検出された顔の大きさWfに対して、明るさ検出装置による明るさ情報などを用いて、テンプレートマッチングにおいて、最も小さく判定してしまう時の顔の大きさ:Ws、最も大きく判定してしまう時の顔の大きさ:Wbを求める。これらは、検出誤差の発生要因、すなわち、検出処理性能の限界、検出に不利な明るさ、顔の傾き、これらの状況によって発生する誤差要因を考慮して決定する。
次に、先に、図7〜図10を参照して説明した人種、性別、年齢、体格の基準値算出テーブルを適用した処理によって、顔の大きさ基準値Wref=(Wref+ΔWrefb)〜(Wref−ΔWrerfs)を算出する。これは、想定される大きい方向へのずれをΔWrefb、小さい方向へのずれをΔWrefsとして被写体までの距離を一定の範囲に設定した例である。
このとき、顔の大きさ基準値(Wref)、撮像画像における人の顔の大きさのピクセル数(撮像素子検出値)(Wf)について、
Wref=Wref+ΔWrefb、
Wr=Ws
として設定して、先に説明した被写体距離(Df)算出式、すなわち、 Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
上記式に上記、Wref=Wref+ΔWrefb、Wr=Wsを代入して得られる結果(Dff)が、最も遠方に誤差が広がるケースである。
一方、Wref、Wfについて、
Wref=Wref−ΔWrefs、
Wr=Wb
として設定して、被写体距離(Df)算出式、すなわち、 Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
上記式に、Wref=Wref−ΔWrefs、Wr=Wbを代入して得られる結果(Dfn)が、最も至近方向に誤差が広がるケースである。
すなわち、図11に示すように、被写体画像の顔の大きさから算出する被写体距離(Df)を一点とするのではなく、テンプレートマッチング等の画像解析における誤差と、人による誤差とを考慮した範囲として設定する。すなわち、図11に示すように、
Dfn〜Dffとして設定する。
この被写体距離(Dfn〜Dff)に対して、さらに、あらかじめ算出される誤差範囲を含めてフォーカスレンズの動作範囲(Rf)を設定する。先に説明したように、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスなどを考慮した誤差範囲を至近側にσn,無限側にσfとして設定すると、フォーカスレンズの動作範囲(Rf)は、
Rf=(Dfn−σn)〜(Dff+σf)・・・(式1.3)
上記式(式1.3)によって算出される。
本発明の構成では、このように、被写体画像の顔の大きさから算出する被写体距離(Df)を一点とするのではなく、テンプレートマッチング等の画像解析における誤差と、人による誤差とを考慮した特定の「範囲:Dfn〜Dff」で捉え、誤差を考慮した設定となっている。これが、本発明の重要な特徴の一つである。
(3)複数の顔が存在する場合のオートフォーカス処理
次に、画像中に複数の顔が存在する場合のオートフォーカス処理の詳細について説明する。画像中に顔が複数存在する時は,全ての顔について以上と同様の処理を実行して、それらの各顔に対応するフォーカスレンズの動作範囲(Rf)を求める。
ここで重要になるのが顔の選択方法であるが、1つの指標は顔の大きさ、すなわちカメラに対する近さである。もう1つの指標は、中央への近さである。これらを適応的に変化させる必要がある。
そこで、顔の大きさが、予め定めた閾値(Flim)よりも大きい場合、それを最優先し、かつ閾値(Flim)を超えた顔が複数存在する場合には大きい順に優先順位をつける。同じ大きさの顔が存在する場合には、中央に近い順に優先度を高くする。すべての顔の大きさが閾値(Flim)以下のときは、中央に近いほど優先順位を上げることとし、中心から同じ距離にあるときは顔の大きさが大きい順にする。これにより、最も優先順位の高い1つの顔を選択する。この処理について、図12、図13に示すフローチャートを参照して説明する。
図12、図13に示す処理は、図2に示す撮像装置の制御部110の制御の下に実行される。まず、ステップS201において、被写体指定情報(人種,年齢,性別,体格情報)が存在するか否かを判定する。被写体指定情報は、ユーザ入力部としての操作部から入力される。
被写体指定情報(人種,年齢,性別,体格情報)が存在しない場合は、ステップS204に進む。被写体指定情報(人種,年齢,性別,体格情報)が存在する場合、ステップS202に進み、被写体指定情報に合致する顔のみを選択し、ステップS203に進み、選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理の詳細については、図13のフローを参照して後段で説明する。
ステップS203において、被写体指定情報に合致する顔の優先順位設定処理が完了すると、ステップS204に進み、優先順位の設定されていない顔のみを選択し、ステップS205に進み、選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理の詳細については、図13のフローを参照して後段で説明する。
最後に、ステップS206に進み、ステップS203において決定された被写体指定情報に対応する顔の優先順位と、ステップS205において決定された優先順位とを統合して総合的な優先順位の設定処理を実行する。被写体指定情報に対応する顔の優先順位を被写体指定情報に対応しない顔の優先順位より高くする優先順位設定処理が実行される。
次に、ステップS203、およびS205において実行される優先順位設定処理の詳細処理について、図13に示すフローチャートを参照して説明する。まず、ステップS301において、処理対象とする撮影画像(スルー画)中に顔が複数あるか否かを判定する。複数無い場合は、優先順位の設定は不要であるので、処理を終了する。
処理対象とする撮影画像(スルー画)中に顔が複数ある場合は、ステップsx302に進み、複数ある顔から1つの処理対象としての顔を選択する。次に、ステップS303において、選択した顔の大きさが予め設定された閾値(Flim)より大きいか否かを判定する。大きい場合、ステップS304に進み、その顔を優先順位の高いグループ(A)に分類する。小さい場合、ステップS305に進み、その顔を優先順位の低いグループ(B)に分類する。
次に、ステップS306において、すべての顔のグルーピングが終了したか否かを判定し、未処理の顔がある場合は、ステップS302に戻り、同様の処理を繰り返す。ステップS306において、すべての顔のグルーピングが終了したと判定すると、ステップS307に進み、優先順位の高いグループ(A)の顔を大きい順に優先順位設定する。同じ大きさなら中央に近い順に優先順位を設定する。次に、ステップS308に進み、優先順位の低いグループ(B)の顔を中央に近い順に優先順位設定する。等距離にある場合は、大きい順に優先順位を設定する。このような処理によって、画像に含まれる顔の優先順位を設定する。
なお、優先順位の設定手法は、この手法に限らず、様々な手法が適用可能である。例えば、図14に示すフローに従った処理として実行してもよい。図14に示すフローは、人種、年齢、性別の各々について、指定情報に合致する顔のみを選択して、選択された顔に対して個別に優先順位を設定して、これらの個別の優先順位情報に基づいて最後に総合的な優先順位を設定する方法である。
図14に示すフローについて説明する。まず、ステップS401において、被写体指定情報としての人種指定情報が存在するか否かを判定する。人種指定情報が存在しない場合は、ステップS404に進む。人種指定情報が存在する場合、ステップS402に進み、指定情報に合致する顔のみを選択し、ステップS403において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図13のフローを参照して説明した処理となる。
さらに、ステップS404において、被写体指定情報としての年齢指定情報が存在するか否かを判定する。年齢指定情報が存在しない場合は、ステップS407に進む。年齢指定情報が存在する場合、ステップS405に進み、指定情報に合致する顔のみを選択し、ステップS406において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図13のフローを参照して説明した処理となる。
さらに、ステップS407において、被写体指定情報としての性別指定情報が存在するか否かを判定する。性別指定情報が存在しない場合は、ステップS410に進む。性別指定情報が存在する場合、ステップS408に進み、指定情報に合致する顔のみを選択し、ステップS409において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図13のフローを参照して説明した処理となる。次に、ステップS410において、優先順位の設定されていない顔のみを選択し、ステップS411に進み、選択された顔について被写体優先順位設定処理を実行する。この処理も図13に示すフローに従った処理となる。
最後に、ステップS412に進み、ステップS403,S406,S409,S411において決定された優先順位を統合して総合的な優先順位の設定処理を実行する。この統合的な優先順位設定ルールは、ユーザ設定によって様々なルールが適用可能である。
このような優先順位設定処理によって、優先順位が最も高くなった顔を顔1とし、異化、顔2,3,4,として優先順位が設定された場合のオートフォーカス処理について、図15、図16を参照して説明する。このように複数の顔を含む画像を撮影する場合のオートフォーカス制御においては、何を重要とするかによって制御手法が異なってくる。すなわち、
(a)高速化を重視する場合、
(b)多くの顔に対する合焦判定を行なうことを重視する場合、
(c)高速かつ、できるだけ多くの顔に合焦させることを重視する場合、
これらのどの方向とするかは、ユーザが選択できると合理的であり、具体的な実現方法は以下のとおりである。
(a)高速化を重視する場合
高速化を重視する場合、最も優先度の高い[顔1]に対応してオートフォーカスにおけるレンズ動作範囲(Rf)を設定する。すなわち、最も優先度の高い[顔1]の被写体距離(Dfn〜Dff)を算出し、フォーカスレンズの動作範囲(Rf)を設定する。すなわち、先に説明したように、フォーカスレンズの動作範囲(Rf)は、最も優先度の高い[顔1]の被写体距離(Dfn〜Dff)を適用して、
Rf=(Dfn−σn)〜(Dff+σf)
として設定し、この範囲のみをAFし、結果的に他の顔2,3・・・が、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦表示を行なう。合焦表示とは、モニタやビューファインダに表示される画像中に提示する合焦が完了したことを示す識別情報であり、例えば、顔1を囲む枠を合焦枠として表示する。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
合焦表示の例を図15に示す。図15に示す例は、撮像装置のカメラのモニタに表示される画像に合焦表示を行なった例である。上記のオートフォーカス処理によって、最も優先度の高い[顔1]に対応してレンズ動作範囲(Rf)を設定してフォーカスレンズを駆動してフォーカスポイントを決定する。この場合、当然、顔1,421には、合焦枠431が設定されて表示される。さらに、このフォーカスポイントにおいて、顔2,422、顔3,423についても、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦枠432,433の表示を行なう。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
(b)多くの顔に対する合焦判定を行なうことを重視する場合、
多くの顔に対する合焦判定を行なうことを重視する場合には、合焦させるべき被写体を逃さないために、各顔のAF範囲の和集合をAFの範囲としてのレンズ動作範囲(Rf)として設定し、このレンズ動作範囲(Rf)において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。
図16を参照してこのオートフォーカス制御処理について説明する。図16には、顔1,2,3のそれぞれについての被写体距離(Dfn〜Dff)を適用して算出されるフォーカスレンズ450の動作範囲(Rf)を示している。すなわち、
Rf=(Dfn−σn)〜(Dff+σf)
について、顔1,2,3のそれぞれについて個別に動作範囲(Rf)が設定される。
これらの多くの顔1,2,3に対する合焦判定を行なうことを重視する場合には、合焦させるべき被写体を逃さないために、顔1,2,3のそれぞれにおいて求められた動作範囲(Rf)をすべて含む範囲(和集合)、すなわち図に示すP1〜Q1間をAFの範囲としてのレンズ動作範囲(Rf)として設定し、このP1Q1間のレンズ動作範囲(Rf)において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。
(c)高速かつ、できるだけ多くの顔に合焦させることを重視する場合、
高速かつ、できるだけ多くの顔に合焦させることを重視する場合、各優先順位の設定された被写体顔1,2,3,・・・について、それぞれ、被写体距離(Dfn〜Dff)を適用して、AF動作範囲(レンズ動作範囲(Rf))
Rf=(Dfn−σn)〜(Dff+σf)
を算出する。
次に、被写体顔2,3,・・・について設定されたAF動作範囲(レンズ動作範囲(Rf))が、最も重要な被写体である[顔1]の被写体距離(Dfn〜Dff)に重複する領域を持つか否かを判定する。[顔1]の被写体距離(Dfn〜Dff)に重複するAF動作範囲(レンズ動作範囲(Rf))を持つ顔2,3・・については、AF動作範囲(レンズ動作範囲(Rf))の拡張領域として、その和となる範囲をAF動作範囲(レンズ動作範囲(Rf))とする。一方、[顔1]の被写体距離(Dfn〜Dff)に重複するAF動作範囲(レンズ動作範囲(Rf))を持たない顔4,5・・があった時は、それらに対してAF範囲は拡大しない。さらに、各顔が顔1の被写界深度内にあるか否かを判定し、被写界深度内にあることが確認された場合は、これらの顔についても合焦枠を表示する。これにより(a)の方法では取り逃してしまう可能性がある顔に対しても合焦確認がなされるフォーカス制御処理が可能となる。
図17を参照してこのオートフォーカス制御処理について説明する。図17には、顔1,2,3のそれぞれについての被写体距離(Dfn〜Dff)を適用して算出されるフォーカスレンズ450の動作範囲(Rf)を示している。すなわち、
Rf=(Dfn−σn)〜(Dff+σf)
について、顔1,2,3のそれぞれについて個別に動作範囲(Rf)が設定される。
高速かつ、できるだけ多くの顔に合焦させることを重視する場合、各優先順位の設定された被写体顔1,2,3について、それぞれ、被写体距離(Dfn〜Dff)を適用して、AF動作範囲(レンズ動作範囲(Rf))
Rf=(Dfn−σn)〜(Dff+σf)
を算出する。
次に、被写体顔2,3について設定されたAF動作範囲(レンズ動作範囲(Rf))が、最も重要な被写体である[顔1]の被写体距離(Dfn〜Dff)に重複する領域を持つか否かを判定する。[顔2]に対応するAF動作範囲(レンズ動作範囲(Rf))は、[顔1]の被写体距離(Dfn〜Dff)に重複するAF動作範囲(レンズ動作範囲(Rf))を持つ。従って、[顔2]については、AF動作範囲(レンズ動作範囲(Rf))の拡張領域として、その和となる範囲をAF動作範囲(レンズ動作範囲(Rf))とする。
一方、[顔3]に対応するAF動作範囲(レンズ動作範囲(Rf))は、[顔1]の被写体距離(Dfn〜Dff)に重複するAF動作範囲(レンズ動作範囲(Rf))を持たない。従って、[顔3]については、AF動作範囲(レンズ動作範囲(Rf))の拡張領域としない。図17の構成の場合、[顔1]と[顔2]のAF動作範囲(レンズ動作範囲(Rf))の和集合として設定される図に示すP2〜Q2間をAFの範囲としてのレンズ動作範囲(Rf)として設定し、このP2Q2間のレンズ動作範囲(Rf)において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。すなわち各顔が顔1の被写界深度内にあるか否かを判定し、被写界深度内にあることが確認された場合は、これらの顔についても合焦枠を表示する。
上述したようなオートフォーカス制御処理を実行することで、最も重要な顔に対して被写界深度内にいる顔には合焦マークを出せることになり、よりユーザにとって使い勝手のよい写真が得られることになる。これは、例えば仲間同士の集合写真や、母親と赤ん坊の写真など、ピントを合わせたい被写体が複数あるシーンで特に有効である。なお、AFの速度よりも、より多くの顔に合焦させようとする場合、焦点深度換算で1深度分をAF動作範囲に上乗せし、その範囲内にある顔については全て合焦枠を出すという方法を実行してもよい。
最後に、図18を参照して本発明の撮像装置において実行される処理を行なうための機能構成について説明する。上述した処理は、先に図2を参照して説明したハードウェア構成を適用して、主に制御部110の制御の下に実行されるプログラムに従って実行される。図18は、この処理を実行する際に適用する機能を中心として説明するためのブロック図である。
撮像装置において取得された画像情報500は、図2を参照して説明した撮像素子、デジタル信号処理部等を介して顔検出部502に入力される。顔検出部502では、前述したように、例えば顔の輝度分布情報を記録したテンプレートの実画像へのマッチング処理によって、画像情報500から顔領域を特定して検出する。
顔検出部502の検出した顔検出情報を含む画像情報は、画像解析部503、被写体距離算出部520の顔の大きさ基準値[Wref]算出部504、顔の推定距離[Df]算出部505、さらに、優先順位解析部508に出力される。画像解析部503は、先に、図7を参照して説明した画像解析処理を実行する。すなわち、画像解析部503は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値[Wref]算出部504に入力する。なお、これらの被写体情報は、ユーザ入力部501を介してユーザが入力する構成としてもよい。
被写体距離算出部520の顔の大きさ基準値[Wref]算出部504は、画像解析部503または、ユーザ入力部501を介して入力された被写体情報に基づいて、被写体に応じた最適な基準値(Wref)を、各テーブルを適用して算出する。算出処理は、先に、図7〜図10を参照して説明したように、テーブルを参照してある程度のばらつきを考慮した基準値範囲Wref=(Wref+ΔWrefb)〜(Wref−ΔWrerfs)を算出する。すなわち、想定される大きい方へのずれをΔWrefb、想定される小さい方へのずれをΔWrefsとして考慮した結果を出力する。
被写体距離算出部520の顔の推定距離[Df]算出部505では、顔のテンプレートマッチング処理において発生する誤差、すなわち、検出性能、明るさ、顔の傾きなどに基づく誤差を考慮して、被写体距離の範囲Dfn〜Dffを算出する。この被写体距離の算出の基本式は、先に説明した式、すなわち、
Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
である。上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値:Wref
撮像素子の幅:Wi
焦点距離:f
撮像画像における人の顔の大きさのピクセル数(撮像素子検出値):Wf
人の顔検出に使用した画像の大きさのピクセル数(撮像素子検出値):Ww
上記式において、テンプレートマッチングにおいて、最も小さく判定してしまう時の顔の大きさ:Ws、最も大きく判定してしまう時の顔の大きさ:Wbを算出し、顔の大きさ基準値Wref=(Wref+ΔWrefb)〜(Wref−ΔWrerfs)を考慮して、上記式(式1.1)を適用して、被写体距離の範囲Dfn〜Dffを算出する。
すなわち、
Wref=Wref+ΔWrefb、
Wr=Ws
として設定して、式:Df=Wref×(f/Wi)×(Ww/Wf)を計算して、最も遠方に誤差が広がる場合の結果(Dff)を算出し、
さらに、
Wref=Wref−ΔWrefs、
Wr=Wb
を設定して、式:Df=Wref×(f/Wi)×(Ww/Wf)を計算して、最も至近方向に誤差が広がる場合の結果(Dfn)を算出して、
被写体距離の範囲Dfn〜Dffを算出する。
この被写体距離情報:Dfn〜Dffは、AF動作範囲(レンズ動作範囲(Rf)算出部)507に入力される。AF動作範囲(レンズ動作範囲(Rf)算出部)507は、さらに、被写体距離(Dfn〜Dff)に対して、デバイス起因誤差算出部506の算出する誤差範囲を含めてフォーカスレンズの動作範囲(Rf)を設定する。デバイス起因誤差算出部506は、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスなどを考慮した誤差範囲を算出する。この誤差を至近側にσn,無限側にσfとする。
AF動作範囲(レンズ動作範囲(Rf)算出部)507は、至近側にσn,無限側にσfの誤差を加算し、フォーカスレンズの動作範囲(Rf)を、
Rf=(Dfn−σn)〜(Dff+σf)
として設定する。このフォーカスレンズの動作範囲(Rf)情報が、フォーカス制御部509に入力されて、フォーカスレンズ駆動部510に対する駆動コマンドを出力して、フォーカスレンズの動作範囲(Rf)においてフォーカスレンズが移動され、各移動ポイントにおいて、コントラスト信号制生成部511の生成するコントラスト情報からAF評価値を算出し、AF評価値の高い位置にフォーカス位置を決定する処理が実行される。このフォーカス制御によって合焦がなされた被写体には、図15を参照して説明した合焦枠を表示するように表示制御部511が処理を行なう。
さらに、画像情報500に複数の顔が含まれる場合には、優先順位解析部508において各顔の優先順位の判定が実行される。優先順位の設定処理は、先に説明したように、顔の大きさや中央への近さなどを指標とした処理が実行される。また、ユーザ入力部501を介して入力された指定情報、例えば、人種、年齢、性別、体格などの指定情報に基づいて優先順位の設定が実行される。この処理は、先に、図12〜図14を参照して説明した処理である。
優先順位解析部508において決定された優先順位情報は、AF動作範囲(レンズ動作範囲(Rf)算出部)507に入力され、この場合、AF動作範囲(レンズ動作範囲(Rf)算出部)507は優先順位情報に基づいて、AF動作範囲(レンズ動作範囲(Rf)を算出する。具体的には、先に説明したように、
(a)高速化を重視する場合、
(b)多くの顔に対する合焦判定を行なうことを重視する場合(図16)、
(c)高速かつ、できるだけ多くの顔に合焦させることを重視する場合(図17)、
これらのケースによって異なる処理が実行される。
この処理によってフォーカスレンズの動作範囲(Rf)を決定し、決定情報をフォーカス制御部509に入力して、フォーカスレンズ駆動部510に対する駆動コマンドを出力して、フォーカスレンズの動作範囲(Rf)においてコントラストに基づくフォーカス位置設定が実行される。フォーカス制御によって合焦がなされた被写体には、図15を参照して説明した合焦枠を表示するように表示制御部511が処理を行なう。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定する。さらに、この推定したフォーカス位置に基づいて、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定し、設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定する。本構成によれば、フォーカス制御において移動させるレンズの距離を短く設定することが可能となり、高速なフォーカス制御が実現される。
さらに、本発明の一実施例の構成によれば、被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成としたので、被写体に適応したより正確な被写体距離を算出可能となり、正確なフォーカス制御が実現される。
さらに、本発明の一実施例の構成によれば、優先順位解析部において、顔検出部の検出した複数の顔の優先順位を、例えば、顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格などの被写体情報などを指標として決定し、決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成としたので、複数の顔が検出された場合であっても、より優先度の高い顔に対するフォーカス制御を効率的に行うことができる。
本発明の撮像装置の外観構成例について説明する図である。 本発明の撮像装置のハードウェア構成例について説明する図である。 フォーカス制御におけるレンズ駆動例について説明する図である。 本発明の撮像装置のオートフォーカス制御シーケンスについて説明するフローチャートを示す図である。 顔の大きさに基づく被写体距離算出処理について説明する図である。 顔の大きさに基づいて算出した被写体距離情報とフォーカスレンズの動作範囲の設定例について説明する図である。 顔の大きさ基準値算出部の構成および処理について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさに基づいて算出した被写体距離情報とフォーカスレンズの動作範囲の設定例について説明する図である。 被写体の優先順位設定処理シーケンスの一例について説明するフローチャートを示す図である。 被写体の優先順位設定処理シーケンスの一例について説明するフローチャートを示す図である。 被写体の優先順位設定処理シーケンスの一例について説明するフローチャートを示す図である。 合焦表示例について説明する図である。 優先順位が設定された被写体に対するフォーカス制御処理例について説明する図である。 優先順位が設定された被写体に対するフォーカス制御処理例について説明する図である。 本発明の撮像装置における処理および機能を説明するブロック図である。
符号の説明
10 撮像装置
11 電源スイッチ
12 レリーズスイッチ
13 モニタ
14 イメージャ
15 ズームボタン
16 操作ボタン
17 ビューファインダ
18 フォーカスレンズ
19 ズームレンズ
20 モードダイアル
21 フォーカスレンズモータ(M1)
22 ズームレンズモータ(M2)
100 撮像装置
101 フォーカスレンズ
102 ズームレンズ
103 撮像素子
104 アナログ信号処理部
105 A/D変換部
106 タイミングジェネレータ(TA)
107 垂直ドライバ
108 デジタル信号処理部
110 制御部
111 ジャイロ
112 モータドライバ
113,114 モータ
115記録デバイス115
116 ビューファインダ(EVF)
117 モニタ
118 操作部
119 メモリ(EEPROM)
120 メモリ(ROM)
121 メモリ(RAM)
201 フォーカスレンズ
301 被写体位置
302 フォーカスレンズ
303 撮像素子
310 顔の大きさ基準値(Wref)算出部
311 人種別基準値算出テーブル
312 性別基準値算出テーブル
313 年齢別基準値算出テーブル
314 体格別基準値算出テーブル
320 データ処理部
331 画像解析部
332 ユーザ入力部
401 フォーカスレンズ
421,422,423 顔(画像)
431,432,433 合焦枠
450 フォーカスレンズ
500 画像情報
501 ユーザ入力部
502 顔検出部
503 画像解析部
504 顔の大きさ基準値[Wref]算出部
505 顔の推定距離[Df]算出部
506 デバイス起因誤差算出部
507 AF動作範囲(レンズ動作範囲(Rf)算出部)
508 優先順位解析部
509 フォーカス制御部
510 コントラスト信号生成部
511 フォーカスレンズ駆動部
512 表示制御部
520 被写体距離算出部

Claims (7)

  1. 撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
    顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出部と、
    前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出部と、
    前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御部と、
    前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析部を有し、
    前記被写体距離算出部は、
    顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、
    前記優先順位解析部は、
    前記入力された被写体情報を指標として顔の優先順位決定処理を実行する構成であり、
    前記レンズ動作範囲算出部は、
    複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行する構成である
    ことを特徴とする撮像装置。
  2. 前記被写体情報は、人種、性別、年齢、体格の少なくともいずれかの情報であり、該被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする請求項1に記載の撮像装置。
  3. 前記被写体情報は、人種、性別、年齢、体格の少なくともいずれかの情報であり、該被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする請求項1に記載の撮像装置。
  4. 前記被写体距離算出部は、
    被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  5. 前記撮像装置は、
    さらに、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御部を有することを特徴とする請求項1に記載の撮像装置。
  6. 撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
    顔検出部において、撮像装置において入力する入力画像から顔領域を検出する顔検出ステップと、
    被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップと、
    レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出ステップと、
    フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御ステップと、
    優先順位解析部において、前記顔検出ステップで検出した複数の顔の優先順位を設定する優先順位解析ステップを有し、
    前記被写体距離算出ステップは、
    顔検出ステップで検出した顔の大きさに基づく被写体距離算出処理において、被写体情報が入力されて、入力された被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであり、
    前記優先順位解析ステップは、
    前記入力された被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
    前記レンズ動作範囲算出ステップは、
    複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行するステップである
    ことを特徴とする撮像装置制御方法。
  7. 撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
    顔検出部において、撮像装置において入力する入力画像から顔領域を検出させる顔検出ステップと、
    被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出させる被写体距離算出ステップと、
    レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定させるレンズ動作範囲算出ステップと、
    フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定させるフォーカス制御ステップと、
    優先順位解析部において、前記顔検出ステップで検出した複数の顔の優先順位を設定する優先順位解析ステップを実行させるものとし、
    前記被写体距離算出ステップは、
    顔検出ステップで検出した顔の大きさに基づく被写体距離算出処理において、被写体情報が入力されて、入力された被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであり、
    前記優先順位解析ステップは、
    前記入力された被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
    前記レンズ動作範囲算出ステップは、
    複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行するステップである
    ことを特徴とするコンピュータ・プログラム。
JP2006160451A 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Expired - Fee Related JP4207980B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006160451A JP4207980B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
TW096120144A TW200819815A (en) 2006-06-09 2007-06-05 Imaging apparatus, control method of imaging apparatus, and computer program
US11/760,481 US7860386B2 (en) 2006-06-09 2007-06-08 Imaging apparatus, control method of imaging apparatus, and computer program
KR1020070055980A KR20070118036A (ko) 2006-06-09 2007-06-08 촬상 장치와 촬상 장치 제어 방법, 및 컴퓨터 프로그램
CNB2007101102303A CN100565320C (zh) 2006-06-09 2007-06-08 成像装置、成像装置的控制方法、和计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006160451A JP4207980B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008163410A Division JP2008282031A (ja) 2008-06-23 2008-06-23 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2007328212A JP2007328212A (ja) 2007-12-20
JP4207980B2 true JP4207980B2 (ja) 2009-01-14

Family

ID=38822099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006160451A Expired - Fee Related JP4207980B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Country Status (5)

Country Link
US (1) US7860386B2 (ja)
JP (1) JP4207980B2 (ja)
KR (1) KR20070118036A (ja)
CN (1) CN100565320C (ja)
TW (1) TW200819815A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8467579B2 (en) 2009-12-08 2013-06-18 Electronics And Telecommunications Research Institute Apparatus and method for estimating distance and position of object based on image of single camera

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8049812B2 (en) * 2006-03-03 2011-11-01 Honeywell International Inc. Camera with auto focus capability
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US8705808B2 (en) * 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US8442276B2 (en) 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
WO2007101276A1 (en) 2006-03-03 2007-09-07 Honeywell International, Inc. Single lens splitter camera
JP2009529197A (ja) * 2006-03-03 2009-08-13 ハネウェル・インターナショナル・インコーポレーテッド モジュールバイオメトリクス収集システムアーキテクチャ
GB2450023B (en) 2006-03-03 2011-06-08 Honeywell Int Inc An iris image encoding method
KR101308368B1 (ko) 2006-03-03 2013-09-16 허니웰 인터내셔널 인코포레이티드 홍채 품질 측정을 갖는 홍채 인식 시스템
JP4933184B2 (ja) * 2006-07-25 2012-05-16 キヤノン株式会社 光学装置及びその制御方法
JP4732397B2 (ja) * 2007-04-11 2011-07-27 富士フイルム株式会社 撮像装置及びその合焦制御方法
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
US7904461B2 (en) 2007-05-01 2011-03-08 Google Inc. Advertiser and user association
US8055664B2 (en) 2007-05-01 2011-11-08 Google Inc. Inferring user interests
KR101431535B1 (ko) * 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
US8041082B1 (en) * 2007-11-02 2011-10-18 Google Inc. Inferring the gender of a face in an image
JP4483930B2 (ja) 2007-11-05 2010-06-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP5374065B2 (ja) * 2008-04-07 2013-12-25 キヤノン株式会社 撮像装置及びその制御方法
JP5206095B2 (ja) * 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
JP2009294416A (ja) * 2008-06-05 2009-12-17 Sony Corp 撮像装置およびその制御方法
JP5383102B2 (ja) * 2008-06-23 2014-01-08 キヤノン株式会社 撮像装置およびその制御方法
JP2010008836A (ja) * 2008-06-30 2010-01-14 Fujinon Corp 電子内視鏡装置及びそのピント調節方法
CN101625506B (zh) * 2008-07-07 2011-01-12 华晶科技股份有限公司 数字取像装置的脸部自动对焦方法
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
JP5181935B2 (ja) * 2008-09-01 2013-04-10 カシオ計算機株式会社 画像処理装置、プログラム及び被写体検出方法
JP5093031B2 (ja) * 2008-09-29 2012-12-05 カシオ計算機株式会社 撮像装置及びプログラム
JP5084696B2 (ja) * 2008-10-27 2012-11-28 三洋電機株式会社 画像処理装置、画像処理方法及び電子機器
KR101511783B1 (ko) * 2008-10-31 2015-04-14 삼성전자주식회사 자동초점조절 방법 및 자동초점조절 기능을 구비한 카메라
US8280119B2 (en) * 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US20100157135A1 (en) * 2008-12-18 2010-06-24 Nokia Corporation Passive distance estimation for imaging algorithms
US8630464B2 (en) * 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
JP2011027847A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Af枠自動追尾システム
JP5381486B2 (ja) * 2009-08-13 2014-01-08 ソニー株式会社 撮像装置および方法
JP5483953B2 (ja) * 2009-08-18 2014-05-07 キヤノン株式会社 焦点調節装置、焦点調節方法及びプログラム
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
JP2011153965A (ja) * 2010-01-28 2011-08-11 Ricoh Co Ltd 測距装置、測距用モジュール及びこれを用いた撮像装置及び測距用モジュールの製作方法
JP5110098B2 (ja) * 2010-02-08 2012-12-26 カシオ計算機株式会社 表示処理装置、及び、プログラム
JP5789091B2 (ja) * 2010-08-20 2015-10-07 キヤノン株式会社 撮像装置および撮像装置の制御方法
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
JP5991514B2 (ja) * 2011-06-03 2016-09-14 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
CN103037173B (zh) * 2011-09-28 2015-07-08 原相科技股份有限公司 影像系统
JP2013238991A (ja) 2012-05-14 2013-11-28 Sony Corp 情報処理装置、情報処理方法及びプログラム
KR101979017B1 (ko) * 2012-11-02 2019-05-17 삼성전자 주식회사 근접 촬영 방법 및 이를 지원하는 단말기
CN103888655B (zh) * 2012-12-21 2017-07-25 联想(北京)有限公司 一种拍照方法及电子设备
CN103908219B (zh) * 2013-01-08 2016-07-06 荣晶生物科技股份有限公司 图像检测系统及获取图像的方法
KR101815052B1 (ko) * 2013-02-07 2018-01-04 한화테크윈 주식회사 촬영 장치의 포커싱 방법, 및 이 방법을 채용한 촬영 장치
JP5713055B2 (ja) * 2013-06-20 2015-05-07 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP2015084088A (ja) * 2013-09-18 2015-04-30 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
KR102094506B1 (ko) 2013-10-14 2020-03-27 삼성전자주식회사 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
JP2015187662A (ja) * 2014-03-27 2015-10-29 株式会社ニコン 焦点調節装置および撮像装置
CN107465877B (zh) * 2014-11-20 2019-07-09 Oppo广东移动通信有限公司 跟踪对焦方法及装置和相关介质产品
CN105812652B (zh) * 2015-07-29 2019-11-26 维沃移动通信有限公司 一种终端的对焦方法及终端
KR102460838B1 (ko) 2015-08-28 2022-10-28 삼성전자주식회사 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치
CN105120165A (zh) * 2015-08-31 2015-12-02 联想(北京)有限公司 图像采集的控制方法以及装置
JP6522768B2 (ja) 2015-09-30 2019-05-29 富士フイルム株式会社 撮像装置および撮像方法
CN105827944B (zh) * 2015-11-25 2019-05-17 维沃移动通信有限公司 一种对焦方法及移动终端
CN106249508B (zh) * 2016-08-15 2019-04-19 Oppo广东移动通信有限公司 自动对焦方法和系统、拍摄装置
CN106375671B (zh) * 2016-11-22 2020-03-06 Oppo广东移动通信有限公司 控制方法、控制装置和电子装置
CN107172352B (zh) 2017-06-16 2020-04-24 Oppo广东移动通信有限公司 对焦控制方法、装置、计算机可存储介质和移动终端
CN108416865A (zh) * 2018-04-03 2018-08-17 郑州云海信息技术有限公司 一种基于云计算的人脸识别数据自动修正方法及系统
CN110830709A (zh) * 2018-08-14 2020-02-21 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备、计算机可读存储介质
CN111065111B (zh) * 2018-10-16 2021-08-27 大唐移动通信设备有限公司 一种多测量事件并发上报的方法及装置
CN109670442A (zh) * 2018-12-17 2019-04-23 奥克斯空调股份有限公司 一种基于空气净化器的人体跟踪方法与装置
CN110113528B (zh) 2019-04-26 2021-05-07 维沃移动通信有限公司 一种参数获取方法及终端设备
JP2021145785A (ja) * 2020-03-17 2021-09-27 ソニーグループ株式会社 プログラム、情報処理装置及び端末装置
EP3936917B1 (en) * 2020-07-09 2024-05-01 Beijing Xiaomi Mobile Software Co., Ltd. A digital image acquisition apparatus and an autofocus method

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60254207A (ja) 1984-05-30 1985-12-14 Kuroi Electric Ind Co タイマ機能付き負荷制御装置
JPH04421A (ja) 1990-04-18 1992-01-06 Sony Corp ビデオカメラ
JPH10213737A (ja) 1997-01-30 1998-08-11 Sony Corp ビデオカメラのオートフォーカス装置
JP2002333652A (ja) 2001-05-10 2002-11-22 Oki Electric Ind Co Ltd 撮影装置及び再生装置
JP2003046758A (ja) * 2001-07-31 2003-02-14 Canon Inc 撮像装置、情報処理装置、画像処理装置およびその方法、並びに、画像処理システム
JP5011625B2 (ja) 2001-09-06 2012-08-29 株式会社ニコン 撮像装置
JP2003107335A (ja) 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP3794982B2 (ja) 2002-05-24 2006-07-12 オリンパス株式会社 測距装置
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
JP4218348B2 (ja) 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
JP4196714B2 (ja) 2003-04-15 2008-12-17 株式会社ニコン デジタルカメラ
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP4461747B2 (ja) 2003-09-10 2010-05-12 オムロン株式会社 対象決定装置
JP4553346B2 (ja) 2003-10-22 2010-09-29 キヤノン株式会社 焦点調節装置及び焦点調節方法
US7733412B2 (en) * 2004-06-03 2010-06-08 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
JP2006018246A (ja) 2004-06-03 2006-01-19 Canon Inc 撮像装置及び撮像方法
JP2006025238A (ja) * 2004-07-08 2006-01-26 Fuji Photo Film Co Ltd 撮像装置
JP2006145629A (ja) 2004-11-16 2006-06-08 Fuji Photo Film Co Ltd 撮像装置
JP4674471B2 (ja) * 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
JP4538386B2 (ja) * 2005-07-06 2010-09-08 富士フイルム株式会社 対象画像記録装置および撮像装置ならびにそれらの制御方法
JP2007178543A (ja) 2005-12-27 2007-07-12 Samsung Techwin Co Ltd 撮像装置
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8467579B2 (en) 2009-12-08 2013-06-18 Electronics And Telecommunications Research Institute Apparatus and method for estimating distance and position of object based on image of single camera

Also Published As

Publication number Publication date
CN101086598A (zh) 2007-12-12
CN100565320C (zh) 2009-12-02
US20070286590A1 (en) 2007-12-13
KR20070118036A (ko) 2007-12-13
JP2007328212A (ja) 2007-12-20
US7860386B2 (en) 2010-12-28
TW200819815A (en) 2008-05-01
TWI353465B (ja) 2011-12-01

Similar Documents

Publication Publication Date Title
JP4207980B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127296B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127297B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4172507B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4264660B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4218720B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US8831282B2 (en) Imaging device including a face detector
JP4582152B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2008282031A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5713055B2 (ja) 撮像装置、撮像方法及びプログラム
US20150003676A1 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
JP4730478B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP6577852B2 (ja) 動きベクトル検出装置およびその制御方法
JP2009141475A (ja) カメラ
JP2010091669A (ja) 撮像装置
JP2007133301A (ja) オートフォーカスカメラ
JP2009105851A (ja) 撮像装置、その制御方法およびプログラム
JP4996568B2 (ja) 撮像装置および撮像装置の制御方法
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2007328213A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2009092747A (ja) 撮像装置、および撮像方法
JP5446660B2 (ja) 画像認識装置、および、撮像装置
JP2018042092A (ja) 画像処理装置、撮像装置、制御方法およびプログラム
TW201024892A (en) Automatic focusing method and image capture apparatus using the same

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080930

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees