JP4996568B2 - IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD - Google Patents
IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD Download PDFInfo
- Publication number
- JP4996568B2 JP4996568B2 JP2008235592A JP2008235592A JP4996568B2 JP 4996568 B2 JP4996568 B2 JP 4996568B2 JP 2008235592 A JP2008235592 A JP 2008235592A JP 2008235592 A JP2008235592 A JP 2008235592A JP 4996568 B2 JP4996568 B2 JP 4996568B2
- Authority
- JP
- Japan
- Prior art keywords
- range
- face
- imaging
- depth
- focus lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明は、撮像装置および撮像装置の制御方法に関し、特に、オートフォーカス機能を備えた撮像装置および撮像装置の制御方法に関する。 The present invention relates to an imaging apparatus and an imaging apparatus control method, and more particularly, to an imaging apparatus having an autofocus function and an imaging apparatus control method.
従来から、CCDやCMOSイメージセンサといった撮像素子を用い、オートフォーカス(AF)機能を備えた撮像装置が知られている。このような撮像装置では、撮像素子に結像した被写体画像による電気信号から、コントラストを示す信号をHPF(ハイパスフィルタ)で抽出して増幅する。そして、この増幅されたコントラスト信号の波形を解析し、解析結果に基づき焦点を被写体に合わせることによりオートフォーカスを実行する。なお、以下では、焦点を被写体に合わせることを、適宜、合焦と呼ぶ。 2. Description of the Related Art Conventionally, an imaging apparatus using an imaging element such as a CCD or a CMOS image sensor and having an autofocus (AF) function is known. In such an imaging apparatus, a signal indicating contrast is extracted by an HPF (high-pass filter) from the electrical signal based on the subject image formed on the imaging element and amplified. Then, the waveform of the amplified contrast signal is analyzed, and autofocus is executed by focusing on the subject based on the analysis result. In the following, focusing on the subject is appropriately referred to as focusing.
すなわち、オートフォーカス機能を備えた撮像装置は、焦点が被写体に合っていないときはコントラスト信号の波形がなだらかになり、焦点が被写体に合っているときは急峻になるということを利用して、合焦動作を行う。より具体的には、フォーカスレンズを光軸方向に移動させ、レンズ駆動に合わせて撮像素子から出力された被写体画像により得られたコントラスト信号の波形が最も急峻になるレンズ位置を探索する。なお、この、合焦位置を探索するためにフォーカスレンズを移動させる一連の動作は、オートフォーカススキャンと呼ばれる。 In other words, an imaging device equipped with an autofocus function takes advantage of the fact that when the focus is not on the subject, the waveform of the contrast signal is smooth, and when the focus is on the subject, it is steep. Perform a focusing operation. More specifically, the focus lens is moved in the optical axis direction, and the lens position where the waveform of the contrast signal obtained from the subject image output from the image sensor is steepest in accordance with lens driving is searched. This series of operations for moving the focus lens to search for the in-focus position is called autofocus scan.
また、オートフォーカスは、一般的に、撮像素子における受光面の中央部または複数のエリアを測距エリアとして行われる。従来のオートフォーカス機能を備えた撮像装置は、例えば人物である被写体の顔全体を測距エリアとして、当該測距エリアまでの距離を検出する。そして、この検出された距離に基づき、被写体までの距離が被写界深度内となるように、焦点位置、レンズ焦点距離および絞り値を調節する(例えば、特許文献1参照)。 In addition, autofocus is generally performed using a central portion or a plurality of areas of a light receiving surface of an image sensor as a distance measuring area. A conventional imaging apparatus having an autofocus function detects the distance to a distance measurement area, for example, using the entire face of a subject as a person as a distance measurement area. Based on the detected distance, the focal position, the lens focal length, and the aperture value are adjusted so that the distance to the subject is within the depth of field (see, for example, Patent Document 1).
ここで、被写界深度とは、被写体が鮮明に写る深度(距離)方向の範囲すなわち合焦範囲のことであり、撮像装置から被写体までの距離、レンズ焦点距離および絞り値によって変化する。撮像装置から被写体までの距離が長く、レンズ焦点距離が短く、且つ、絞り値が大きい場合においては、撮像装置から被写体までの距離が被写界深度内となる。この場合、撮像装置は、オートフォーカスを行わなくても被写体を鮮明に写すことができる。 Here, the depth of field is a range in the depth (distance) direction where the subject is clearly captured, that is, a focusing range, and changes depending on the distance from the imaging device to the subject, the lens focal length, and the aperture value. When the distance from the imaging device to the subject is long, the lens focal length is short, and the aperture value is large, the distance from the imaging device to the subject is within the depth of field. In this case, the imaging apparatus can clearly capture the subject without performing autofocus.
また、特許文献2には、撮影した被写体の画像が映し出される撮影画面において被写体画像が占める領域の大きさに基づいて、撮像装置から被写体までの距離を検出する距離検出装置を有する撮像装置が記載されている。さらに、特許文献3には、撮像信号から顔を検出し、顔検出結果と被写体距離および被写界深度情報とからスキャン領域を狭め、オートフォーカススキャンに要する時間を短縮する技術が提案されている。 Further, Patent Document 2 describes an imaging apparatus having a distance detection device that detects the distance from the imaging apparatus to the subject based on the size of the area occupied by the subject image on the photographing screen on which the photographed subject image is displayed. Has been. Further, Patent Document 3 proposes a technique for detecting a face from an imaging signal, narrowing a scan area from the face detection result, subject distance, and depth of field information, and reducing the time required for autofocus scanning. .
しかしながら、上述した従来の撮像装置は、被写界深度が深く、且つ、顔検出可能範囲が広い状態において、オートフォーカスを精度よく行うことができないという問題点があった。また、従来の撮像装置では、オートフォーカスを実行する際に費やされるオートフォーカススキャン時間を短縮することが十分にできなかったという問題点があった。 However, the above-described conventional imaging device has a problem in that it cannot perform autofocus with high accuracy in a state where the depth of field is deep and the face detectable range is wide. In addition, the conventional imaging apparatus has a problem in that it is not possible to sufficiently reduce the autofocus scan time that is consumed when performing autofocus.
例えば、上述した特許文献3では、被写界深度に応じてオートフォーカススキャンの範囲を設定するようにしている。そのため、被写界深度が深い場合には、オートフォーカススキャンの範囲が広くなり、オートフォーカススキャンに多大な時間を要してしまうことになる。 For example, in Patent Document 3 described above, an autofocus scan range is set according to the depth of field. For this reason, when the depth of field is deep, the range of the autofocus scan is widened, and the autofocus scan takes a long time.
したがって、本発明の目的は、オートフォーカススキャンに要する時間を短縮できる撮像装置および撮像装置の制御方法を提供することにある。 Therefore, an object of the present invention is to provide an imaging apparatus and an imaging apparatus control method that can reduce the time required for autofocus scanning.
本発明は、上述した課題を解決するために、フォーカスレンズおよび絞りを備える撮像光学系を介して入射した光に応じて撮像信号を出力する撮像素子と、前記撮像素子から出力された前記撮像信号から顔を検出する顔検出手段と、前記顔検出手段で検出された前記顔までの推定被写体距離を推定する被写体距離推定手段と、前記撮像光学系の焦点距離と、前記絞りの値とに基づき被写界深度を算出する被写界深度算出手段と、前記フォーカスレンズをスキャンしながら、前記撮像素子から予め決められた周期で出力された前記撮像信号に基づいてオートフォーカス制御を行う制御手段とを有し、前記被写体距離推定手段は、撮像が指示される前に、前記顔までの推定被写体距離を推定し、前記制御手段は、前記撮像が指示される前に、前記フォーカスレンズの現在位置を中心とする、予め設定された第1の絞り値に基づいて前記被写界深度算出手段で算出される被写界深度の範囲を示す第1の範囲を求め、前記撮像が指示された後、前記絞りを、前記第1の絞り値よりも開放方向の第2の絞り値に駆動し、前記フォーカスレンズの現在位置を中心とする、前記第2の絞り値に基づいて前記被写界深度算出手段で算出される被写界深度の範囲を示す第2の範囲を求め、前記第2の絞り値で得られた撮像信号から前記顔検出手段が顔を検出すると、前記第2の範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定し、前記第2の絞り値で得られた撮像信号から前記顔検出手段が顔を検出できなかった場合に、前記第1の範囲のうち、前記第2の範囲とは異なる範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定することを特徴とする撮像装置である。 The present invention, in order to solve the problems described above, an imaging device that outputs an imaging signal in accordance with light incident through the imaging optical system with the full Okasurenzu and the aperture, the imaging output from the imaging device A face detection means for detecting a face from the signal, a subject distance estimation means for estimating an estimated subject distance to the face detected by the face detection means, a focal length of the imaging optical system, and a value of the diaphragm A depth-of-field calculating unit that calculates a depth of field based on the control unit, and a control unit that performs autofocus control based on the imaging signal output at a predetermined cycle from the imaging element while scanning the focus lens. has the door, the subject distance estimation unit before the imaging is instructed to estimate the estimated object distance to the face, the control unit, before the imaging is instructed, the Around the current position of Okasurenzu obtains a first range indicating a range of depth of field in which the calculated in depth of field calculation unit based on the first diaphragm value set in advance, the imaging after There is instructed, said diaphragm, said first be driven to a second aperture in the opening direction than the aperture value, centered on the current position of the focus lens based on said second aperture When a second range indicating a range of depth of field calculated by the depth of field calculating unit is obtained, and when the face detecting unit detects a face from an imaging signal obtained by the second aperture value, When the second range is determined as the scan range of the focus lens in the autofocus control, and the face detection unit cannot detect a face from the imaging signal obtained with the second aperture value, Of the first range, different from the second range An imaging apparatus characterized by determining the extent that the scan range of the focus lens in the autofocus control.
また、本発明は、撮像装置の制御方法であって、顔検出手段が、フォーカスレンズおよび絞りを備える撮像光学系を介して入射した光に応じて撮像信号を出力する撮像素子から出力された前記撮像信号から顔を検出する顔検出ステップと、被写体距離推定手段が、前記顔検出ステップで検出された前記顔までの推定被写体距離を推定する被写体距離推定ステップと、被写界深度算出手段が、前記撮像光学系の焦点距離と、前記絞りの値とに基づき被写界深度を算出する被写界深度算出ステップと、制御手段が、前記フォーカスレンズをスキャンしながら、前記撮像素子から予め決められた周期で出力された前記撮像信号に基づいてオートフォーカス制御を行う制御ステップとを有し、前記被写体距離推定ステップは、撮像が指示される前に、前記顔までの推定被写体距離を推定し、前記制御ステップは、前記撮像が指示される前に、前記フォーカスレンズの現在位置を中心とする、予め設定された第1の絞り値に基づいて前記被写界深度算出ステップにより算出される被写界深度の範囲を示す第1の範囲を求め、前記撮像が指示された後、前記絞りを、前記第1の絞り値よりも開放方向の第2の絞り値に駆動し、前記フォーカスレンズの現在位置を中心とする、前記第2の絞り値に基づいて前記被写界深度算出ステップにより算出される被写界深度の範囲を示す第2の範囲を求め、前記第2の絞り値で得られた撮像信号から前記顔検出ステップにより顔を検出すると、前記第2の範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定し、前記第2の絞り値で得られた撮像信号から前記顔検出ステップにより顔を検出できなかった場合に、前記第1の範囲のうち、前記第2の範囲とは異なる範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定することを特徴とする撮像装置の制御方法である。
Further, the present invention is a control method of the imaging device, the face detection unit, output from the imaging device that outputs an imaging signal in accordance with light incident through the imaging optical system including a focus lens and a diaphragm A face detection step for detecting a face from the imaging signal; a subject distance estimation unit; a subject distance estimation step for estimating an estimated subject distance to the face detected in the face detection step; and a depth of field calculation unit. A depth-of-field calculating step for calculating a depth of field based on a focal length of the imaging optical system and a value of the aperture; and a control unit that determines in advance from the imaging element while scanning the focus lens. and a control step of performing autofocus control based on the imaging signal outputted by the obtained period, the subject distance estimation step, before the imaging is instructed, Estimates the estimated object distance to Kikao, the control step, before the imaging is indicated, around the current position of the focus lens, the object on the basis of the first aperture value set in advance obtains a first range indicating a range of depth of field is calculated by the depth of field calculation step, after the imaging is instructed, said diaphragm, said first second open direction than aperture A second range that is driven to the aperture value and that indicates the range of the depth of field calculated by the depth of field calculation step based on the second aperture value centered on the current position of the focus lens. Then, when a face is detected by the face detection step from the imaging signal obtained with the second aperture value, the second range is determined as a scan range of the focus lens in the autofocus control, and the second range is determined . Aperture When the face is not detected by the face detection step from the imaging signal obtained in
本発明は、上述した構成を有しているため、オートフォーカススキャンに要する時間を短縮できる。 Since the present invention has the above-described configuration, the time required for autofocus scanning can be shortened.
以下、本発明の実施形態を、図面を参照しながら説明する。図1は、本発明の実施形態に適用可能な撮像装置100の一例の構成を示す。図1に例示される撮像装置100は、本体である当該撮像装置100に対して、レンズユニット300を装着して撮像を行うものである。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows an exemplary configuration of an
被写体からの光が、撮像光学系を構成するレンズユニット300から撮像装置100に入射され、ミラー114およびシャッタ115を介して撮像素子101に照射される。撮像素子101は、例えばCCDまたはCMOSイメージセンサからなる。撮像素子101は、照射された光を電気信号に変換し、さらにゲイン調整、ノイズ除去など所定の処理を施して、アナログ画像信号として出力する。A/D変換器116は、撮像素子101から出力されるアナログ撮像信号をディジタル信号に変換し、画像データとする。画像蓄積バッファ101aは、A/D変換器116から出力された画像データを一時的に蓄積する。
Light from the subject is incident on the
なお、撮像素子101から所定の周期で出力された撮像信号による画像データを逐次、撮像装置100に設けた表示装置に表示させることで、ライブビューを実現することができる。
Note that a live view can be realized by sequentially displaying image data based on an imaging signal output from the
顔検出手段としての顔情報検出回路102は、画像蓄積バッファ101aから画像データを取得し、取得した画像データから被写体の顔の情報(目の位置情報、顔座標など)を検出する。顔サイズ判別部103は、顔情報検出回路102で検出された被写体の顔の情報に基づいて、検出された顔のサイズを判別する。判別された顔サイズは、顔サイズ情報として出力される。
A face
カメラ制御部110は、例えばマイクロプロセッサ、RAMおよびROMを備え、マイクロプロセッサは、ROMに予め記憶されたプログラムやデータに従い、RAMをワークメモリにして動作し、この撮像装置100の全体の動作を制御する。
The
制御手段としてのカメラ制御部110は、後述するカメラ信号処理回路107から供給されるAF評価値に基づきオートフォーカスを実行する。それと共に、カメラ制御部110は、後述するインターフェイス119を介してレンズユニット300と通信を行い、レンズ焦点距離および絞り値を取得する。被写体距離推定手段としての被写体距離推定部104は、顔サイズ判別部103により判別された顔のサイズおよびカメラ制御部110により取得されたレンズ焦点距離に基づいて、撮像素子101から被写体までの被写体距離を推定する。
A
被写界深度算出手段としてのカメラ制御部110は、さらに、被写体距離推定部104により推定された推定被写体距離と、レンズユニット300から取得したレンズ焦点距離および絞り値に基づいて、被写界深度を算出する。
The
さらにまた、カメラ制御部110は、算出された被写界深度に基づいてオートフォーカスを制御するAF(オートフォーカス)制御部111を備える。AF制御部111は、カメラ制御部110が有するマイクロプロセッサ上で動作するプログラムであってもよいし、別途、専用のハードウェアとして構成してもよい。
Furthermore, the
AF制御部111は、例えばAFボタン131に対する操作をトリガとし、後述する被写体距離推定部104から出力された被写体距離情報に基づきオートフォーカス制御を行う。例えば、AF制御部111は、AFボタン131が操作されると、インターフェイス119を介して後述するレンズユニット300と通信を行い、レンズシステム制御部307に対してフォーカスレンズを駆動するように命令を出す。
The
なお、シャッタボタン130およびAFボタン131は、連動して操作されるように構成することもできる。例えば、半押し状態でAFボタン131が作動し、全押し状態でシャッタボタン130が作動するようなボタンを構成することが考えられる。
Note that the
カメラ制御部110は、シャッタボタン130に対する操作に応じて、シャッタ制御部117に対してシャッタ115の動作を制御するよう命令を出す。シャッタ制御部117は、この命令に応じてシャッタ115の動作を制御する。シャッタ制御部117によるシャッタ115の制御は、後述するレンズユニット300内の絞り制御部304と連携してなされる。
The
加えて、カメラ制御部110は、露出(AE)制御部(図示しない)なども備え、オートフォーカス制御に加えて露出制御をも実行し、撮像装置100全体の撮影制御を行う。なお、露出制御部による露出制御は、本発明の主旨と関連が薄いので、説明を省略する。
In addition, the
カメラ信号処理回路107は、A/D変換器116から出力された画像データに対して、γ補正、ホワイトバランス調整など所定の信号処理を施す。また、カメラ信号処理回路107は、A/D変換器116から出力された画像データに対してハイパスフィルタ処理を施し、コントラスト信号を抽出する処理も行う。そして、抽出されたコントラスト信号を解析し、オートフォーカス制御を行う際の評価値であるAF評価値を生成する。生成されたAF評価値は、カメラ制御部110に供給され、オートフォーカス制御時の合焦判定に用いられる。
The camera
さらに、カメラ信号処理回路107は、画像データの圧縮符号化処理なども行うことができる。カメラ信号処理回路107から出力された圧縮または非圧縮の画像データは、記録回路108により記録媒体109に記録することができる。記録媒体109は、例えば不揮発性メモリからなり、撮像装置100に対して脱着可能とされる。また、カメラ信号処理回路107から出力された画像データは、表示回路112により、LCDなどを表示デバイスとして用いた表示装置113に表示される。
Furthermore, the camera
一方、レンズユニット300において、レンズユニット300内のズームレンズおよびフォーカスレンズを含む撮影レンズ301に対して、被写体からの光が入射される。この入射した光は、絞り302、レンズマウント303および106、ミラー114およびシャッタ115を通じて導かれた撮像素子101上に、光学像として結像する。
On the other hand, in the
測距制御部305は、カメラ制御部110からの制御信号に基づき、撮影レンズ301のフォーカシングすなわち合焦動作を制御する。ズーム制御部306は、撮影レンズ301のズーミングを制御する。絞り制御部304は、カメラ制御部110からの制御信号や測光情報に基づいて絞り302を制御する。
The distance
レンズシステム制御部307(図1ではレンズ制御部と記述)は、レンズユニット300全体を制御する。レンズシステム制御部307は、動作用の定数、変数、プログラムなどを一時的に記憶するメモリを備える。さらに、レンズシステム制御部307は、レンズユニット300固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリも備える。
A lens system control unit 307 (described as a lens control unit in FIG. 1) controls the
インターフェイス308は、撮像装置100との間でデータ通信を行うためのインターフェイスである。インターフェイス308は、コネクタ309および118により、撮像装置100側のインターフェイス119に対して電気的に接続される。
The
<顔検出および顔サイズ判別について>
次に、本実施形態に適用可能な顔検出および顔サイズ判別について説明する。顔情報検出回路102は、図5を用いて後述するパターン認識処理を実行して画像データから顔の情報を検出する。この顔の画像データの検出方法としては、これ以外にも、ニューラルネットワークなどによる学習を用いる方法、物理的な形状における特徴のある部位を画像領域から抽出する方法が知られている。また、検出した顔の肌の色や目の形等の画像特徴量を統計的に解析する方法なども知られている。さらに、実用化が検討されている方法としては、ウェーブレット変換と画像特徴量を利用する方法などがある。
<About face detection and face size discrimination>
Next, face detection and face size discrimination applicable to this embodiment will be described. The face
ここで、パターン認識とは、抽出されたパターンを予め定められた概念(クラス)の1つに対応(マッチング)させる処理である。また、テンプレートマッチングとは、型紙を意味するテンプレートを画像上で移動させながら、画像とテンプレートとを比較する方法である。これらの方法は、例えば、対象物体の位置検出、運動物体の追跡および撮影時期の異なる画像の位置合わせなどに利用することができ、特に、目と鼻といった物理的形状を画像領域から抽出するといった顔の情報の検出に有用な方法である。 Here, pattern recognition is a process of matching (matching) an extracted pattern with one of predetermined concepts (classes). Template matching is a method of comparing an image and a template while moving a template meaning a pattern on the image. These methods can be used, for example, for detecting the position of a target object, tracking a moving object, and aligning images with different shooting times, and in particular, extracting physical shapes such as eyes and nose from an image region. This is a useful method for detecting face information.
顔サイズ判別部103は、顔情報検出回路102によって検出された顔の情報から顔領域における画素数をカウントし、この画素数に基づき顔のサイズを判別する。顔領域は、例えば、顔として検出された領域を示す座標情報で表すことができる。
The face
これに限らず、顔サイズ判別部103は、顔情報検出回路102によって検出された顔の情報のうち目の位置情報に基づき顔サイズを判別するようにしてもよい。例えば、目の位置情報に基づき画像データ上の目の間隔を算出し、予め求めておいた目の間隔と顔のサイズとの統計的関係を用いてテーブル化し、顔のサイズを判別することが考えられる。図2は、画像上の画素数で示される顔サイズと目の間隔との統計的関係の一例を示す。このように、統計的には、画像上の目の間隔に対して顔サイズを一意に対応付けることができる。
Not limited to this, the face
また、検出された顔の所定位置、例えば四隅の座標値から顔領域における画素数をカウントすることにより、顔サイズを判別してもよい。 Further, the face size may be determined by counting the number of pixels in the face area from the predetermined position of the detected face, for example, the coordinate values of the four corners.
被写体距離推定部104は、顔サイズ判別部103で判別された顔サイズに基づき、撮像装置100から被写体までの被写体距離を推定する。より具体的には、被写体距離推定部104は、顔サイズ判別部103により判別された顔サイズに基づき、顔サイズと被写体距離との関係から予め作成された、所定の焦点距離のレンズにおける変換テーブルを参照して、被写体距離を推定する。
The subject
図3(a)は、画像上の画素数で表される顔サイズと、被写体距離の一例の関係を示す。一例として、この図3(a)に示される関係に基づくテーブルを、レンズ焦点距離が38mmの広角レンズについて作成し、被写体距離を推定する。レンズ焦点距離が38mmと異なる場合には、判別された顔サイズに対して(38mm/実際のレンズ焦点距離(mm))を乗じた値を用いて、上述の変換テーブルを参照する。 FIG. 3A shows an example of the relationship between the face size represented by the number of pixels on the image and the subject distance. As an example, a table based on the relationship shown in FIG. 3A is created for a wide-angle lens with a lens focal length of 38 mm, and the subject distance is estimated. When the lens focal length is different from 38 mm, the conversion table is referred to using a value obtained by multiplying the determined face size by (38 mm / actual lens focal length (mm)).
これに限らず、図3(b)に例示されるように、顔サイズの代わりに、検出された顔領域の画像に占める割合と、被写体距離との関係をテーブル化して用いてもよい。 Not limited to this, as illustrated in FIG. 3B, the relationship between the ratio of the detected face area to the image and the subject distance may be used as a table instead of the face size.
なお、撮像素子の大きさ自体や使用領域により被写体距離が変わるので、そのモードに応じて、推定被写体距離を算出するための変換テーブルを生成しなおしたり、あらかじめ複数の変換テーブルを記憶しておいても良い。 Note that the subject distance varies depending on the size of the image sensor itself and the use area. Therefore, a conversion table for calculating the estimated subject distance may be regenerated according to the mode, or a plurality of conversion tables may be stored in advance. May be.
<顔検出について>
顔情報検出回路102によるパターン認識処理を、図4のフローチャートおよび図5を用いて説明する。図4において、画像蓄積バッファ101aから取得した画像データ503を前処理し(ステップS401)、前処理された画像データ503から特徴的部分のパターンを抽出する(ステップS402)。そして、抽出された特徴的部分のパターンを顔の標準パターンに基づくテンプレート501に対応させ、テンプレートマッチングを行う。このテンプレートマッチングにより認識パターンを取得し(ステップS403)、取得された認識パターンを顔サイズ判別部103に出力して(ステップS404)、パターン認識処理を終了する。
<About face detection>
Pattern recognition processing by the face
ステップS403のテンプレートマッチングの例について、図5を用いてより具体的に説明する。先ず、テンプレート501の中心点502を、取得した画像データ503のある座標点(i,j)に置く。そして、この中心点502を画像データ503内で走査しながら、テンプレート501と画像データ503との重なり部分の類似度を計算して、類似度が最大になる位置を決定する。顔の画像データ503から抽出されたパターンを、例えば目や耳などの形状を含むテンプレート501にマッチングさせることにより、目の位置情報や顔領域を示す座標情報(顔座標)を取得することができる。
An example of template matching in step S403 will be described more specifically with reference to FIG. First, the
<本実施形態による撮像処理について> <Imaging Processing According to the Present Embodiment>
図6を用いて、本実施形態による処理を概略的に説明する。図6(a)に示される第1の例において、最終的な焦点位置を位置(B)とし、現在のレンズ距離情報に示される位置を位置(C)とする。なお、この図6(a)および後述する図6(b)において、縦軸はAF評価値、横軸はフォーカスレンズ位置をそれぞれ示す。なお、フォーカスレンズ位置は、レンズユニット300内におけるフォーカスレンズ位置で合焦される距離で示されている。AF評価値が最大値を取る位置が、合焦位置となる。
The processing according to this embodiment will be schematically described with reference to FIG. In the first example shown in FIG. 6A, the final focal position is defined as position (B), and the position indicated in the current lens distance information is defined as position (C). In FIG. 6A and FIG. 6B described later, the vertical axis indicates the AF evaluation value, and the horizontal axis indicates the focus lens position. Note that the focus lens position is indicated by a distance focused at the focus lens position in the
図6(a)において、先ず、フォーカスレンズが位置(C)にある状態で顔検出を行い、顔が検出されたと判定されたら、現在の絞り値から、顔検出に対する被写界深度を算出する。図6(a)の例では、範囲(a)で示される被写界深度が2m〜8mの範囲とする。次に、次候補の絞り値、例えば絞り開放値にするためのレンズ絞り駆動を行い、絞り駆動を終えた後に、顔検出を行う。ここで、最初の顔検出時よりも絞り302が開放方向に駆動されているため、被写界深度が例えば4m〜6mと、浅くなっている(範囲(c))。なお、次候補の絞り値は、絞り開放値に限らず、現在の絞り値に対して開放方向であれば、他の絞り値を適用することもできる。
In FIG. 6A, first, face detection is performed in a state where the focus lens is at the position (C), and when it is determined that a face is detected, the depth of field for face detection is calculated from the current aperture value. . In the example of FIG. 6A, the depth of field indicated by the range (a) is in the range of 2 m to 8 m. Next, lens aperture driving is performed to set the aperture value of the next candidate, for example, the full aperture value, and face detection is performed after the aperture driving is completed. Here, since the
この図6(a)の例では、被写界深度4m〜6mの範囲(c)内に最終的な焦点位置があるので、顔が検出されたと判定される。そこで、オートフォーカスによるスキャン範囲を被写体深度に対応する距離4m〜6mの範囲(c)内に限定する。したがって、オートフォーカス制御は、この4m〜6mの範囲(c)内でのみ行えばよいことになる。当初の絞り値によるスキャン範囲である2m〜8mの6mの範囲(a)から新スキャン範囲の4m〜6mの2mの範囲(c)へと縮小され、より高速にオートフォーカス制御を行えるようになる。 In the example of FIG. 6A, since the final focal position is in the range (c) of the depth of field of 4 m to 6 m, it is determined that the face has been detected. Therefore, the scan range by autofocus is limited to a range (c) of a distance of 4 m to 6 m corresponding to the subject depth. Therefore, it is only necessary to perform the autofocus control within the range 4c to 6m (c). The scan range is reduced from the original scan range of 2m to 8m of 6m range (a) to the new scan range of 4m to 6m of 2m range (c), so that autofocus control can be performed at higher speed. .
図6(b)に示される第2の例において、最終的な焦点位置を位置(C)とし、現在のレンズ距離情報に示される位置を位置(B)とする。すなわち、最終的な焦点位置に対して、現在のレンズ位置が至近端側にあることになる。先ず、レンズが位置(B)にある状態で顔検出を行い、顔が検出されたと判定されたら、現在の絞り値から、顔検出に対する被写界深度を算出する。図6(a)の例では、被写界深度が2m〜8mの範囲(a)とする。次に、次候補の絞り値、例えば絞り開放値にするためのレンズ絞り駆動を行い、絞り駆動を終えた後に、顔検出を行う。 In the second example shown in FIG. 6B, the final focal position is position (C), and the position indicated by the current lens distance information is position (B). That is, the current lens position is on the near end side with respect to the final focal position. First, face detection is performed with the lens in the position (B), and if it is determined that a face has been detected, the depth of field for face detection is calculated from the current aperture value. In the example of Fig.6 (a), it is set as the range (a) whose depth of field is 2m-8m. Next, lens aperture driving is performed to set the aperture value of the next candidate, for example, the full aperture value, and face detection is performed after the aperture driving is completed.
ここで、最初の顔検出時よりも絞り302が開放方向に駆動されているため、被写界深度が例えば4m〜6mと、浅くなっている(範囲(c))。最終的な焦点位置は、この被写界深度4m〜6mの範囲(c)内にないため、この図6(b)の例では、顔が検出されないと判定される。被写界深度4m〜6mの範囲(c)では、顔が検出されなかったので、被写界深度2m〜4mの範囲(b)あるいは被写界深度6m〜8mの範囲(d)の何れかの範囲で顔が検出されるはずである。ここで、このレンズ位置(B)において顔検出により取得された顔サイズから推定した推定被写体距離が、最終的な焦点位置に対応すると考えることができる。この顔サイズから推定した推定被写体距離の精度が例えば±1m以内であれば、範囲(b)あるいは範囲(d)の何れかであることの精度が高まり、オートフォーカス制御を行う方向を決定することができる。
Here, since the
当初の絞り値によるスキャン範囲である2m〜8mの6mの範囲(c)から新スキャン範囲の2m〜4mあるいは6m〜8mの範囲(b)または(d)へと縮小され、より高速にオートフォーカス制御を行えるようになる。オートフォーカスのスキャン範囲も、元々の絞り値によるオートスキャン範囲の6mから新スキャン範囲の2mへと約1/3と縮小され、より高速にオートフォーカスを行えるようになる。 Auto-focusing is performed at a higher speed by reducing the original scanning range from 2m to 8m, 6m range (c) to 2m to 4m or 6m to 8m range (b) or (d). It becomes possible to control. The autofocus scan range is also reduced to about 1/3 from the auto scan range of 6 m based on the original aperture value to 2 m of the new scan range, so that autofocus can be performed at higher speed.
次に、図7および図8のフローチャートを用いて、図6(a)および図6(b)を用いて説明した処理を実現するための一例の方法について説明する。なお、図7および図8のフローチャートにおける各判断および制御は、カメラ制御部110および/またはAF制御部111で、所定のプログラムに従い行われる。
Next, an example method for realizing the processing described with reference to FIGS. 6A and 6B will be described with reference to the flowcharts of FIGS. Each determination and control in the flowcharts of FIGS. 7 and 8 is performed by the
図7は、本実施形態によるライブビュー時の一例の処理を示すフローチャートである。すなわち、図7のフローチャートの処理に先立って、撮像装置100がライブビューモードで動作しており、ミラー114は跳ね上げられた状態とされ、シャッタ115は、開放状態になっているものとする。撮像素子101から所定の間隔で出力された撮像信号に基づく画像データが、表示回路112を介して表示装置113に対して逐次、表示されてライブビュー動作が行われる。
FIG. 7 is a flowchart showing an example of processing in live view according to the present embodiment. That is, prior to the processing of the flowchart of FIG. 7, it is assumed that the
先ず、ステップS6101で、カメラ制御部110は、被写界深度調節および図示されないAE制御部により制御された絞り値(第1の絞り値)を算出する。なお、絞り値は、ライブビューの表示に支障を来さないように、ライブビューのフレームレートが遅くならず、且つ、ノイズ量を抑制しながら広範囲で顔情報検出回路による顔検出を行えるように選択される。そして、算出された絞り値に基づき絞り制御部304を制御して絞り302を駆動する。
First, in step S6101, the
レンズユニット300を介して照射された光に従い、撮像素子101から出力された撮像信号に基づく画像データが画像蓄積バッファ101aに記憶される。顔情報検出回路102は、画像蓄積バッファ101aから画像データを取得する(ステップS6102)。次のステップS6103で、顔情報検出回路102において、取得された画像データから顔が検出されたか否かが判定される。
In accordance with the light emitted through the
若し、顔が検出されないと判定されたら、処理はステップS6111に移行され、通常のオートフォーカス制御、例えば従来技術によるオートフォーカス制御の開始待ち状態とされる。 If it is determined that a face is not detected, the process proceeds to step S6111, where normal autofocus control, for example, autofocus control according to the prior art is awaiting to start.
一方、ステップS6103で顔が検出されたと判定されたら、処理はステップS6104に移行され、AF制御部111によりレンズユニット300の焦点距離情報が取得される。そして、次のステップS6105で、現在のレンズ距離位置情報が取得される。例えば、カメラ制御部110によりインターフェイス119などを介してレンズユニット300のレンズシステム制御部307と通信がなされ、焦点距離情報およびレンズ距離位置情報が取得される。取得された焦点距離情報およびレンズ距離位置情報は、AF制御部111に渡される。なお、レンズ距離位置情報は、フォーカスレンズの現在の位置に対応する合焦距離を示す情報である。
On the other hand, if it is determined in step S6103 that a face has been detected, the process proceeds to step S6104, and the
処理はステップS6106に移行され、ステップS6103で顔サイズ判別部103において検出された顔の情報に基づいて顔サイズが算出される。次のステップS6107で、被写体距離推定部104において、ステップS6106で取得された顔サイズと、ステップS6104で取得された焦点距離情報とに基づき被写体までの距離が推定される。一方、焦点距離情報と、絞り情報とに基づき、ステップS6108で、被写界深度が算出される。ここでは、例えば図6(a)または図6(b)に例示される範囲(a)、すなわち距離2m〜8mの6mが被写界深度として算出されたものとする。
The process moves to step S6106, and the face size is calculated based on the face information detected by the face
そして、ステップS6105で取得された現在のレンズ距離位置情報と、算出された被写界深度に基づき、次のステップS6109で、オートフォーカススキャンを行う範囲が限定され、ステップS6110で、本発明の実施形態によるオートフォーカス制御(顔AF制御と呼ぶ)の開始待ち状態とされる。なお、ステップS6109によるオートフォーカススキャン範囲の限定の詳細については、後述する。 Then, based on the current lens distance position information acquired in step S6105 and the calculated depth of field, the range in which autofocus scanning is performed is limited in the next step S6109, and the present invention is implemented in step S6110. A start waiting state of autofocus control (referred to as face AF control) according to the form is set. Details of limiting the autofocus scan range in step S6109 will be described later.
図8は、上述の図7のフローチャートによるライブビュー動作時に、撮像装置100に対して例えば撮像操作が行われた場合の一例の処理を示すフローチャートである。すなわち、図8は、図7のフローチャートにおけるステップS6110の後に行われる、撮像操作時の一例の処理を示す。AFボタン131またはシャッタボタン130が操作されると、顔AF制御が開始される。先ず、ステップS6201で、カメラ制御部110によりレンズユニット300と通信が行われ、現在の絞り値が取得され、次のステップS6202で、取得された現在の絞り値が次候補絞り値と同じか否かが判定される。若し、両者が同じであると判定されたら、処理はステップS6203に移行され、現在の絞り値(第1候補の絞り値)に基づいたスキャン範囲でAF制御を行う。ステップS6203のAF制御の後、処理がステップS6216に移行されて、合焦判定がなされる。
FIG. 8 is a flowchart illustrating an example of processing when, for example, an imaging operation is performed on the
一方、ステップS6202において、現在の絞り値が次候補絞り値と異なると判定された場合は、処理はステップS6204に移行される。ステップS6204では、次候補絞り値が算出され、算出された次候補絞り値(第2候補の絞り値)に応じてカメラ制御部110により絞り制御部304が制御され、絞り302が駆動される。なお、次候補絞り値は、例えば、現在の絞り値に対して絞り302を開放方向に所定分だけ駆動させる値である(第2の絞り値)。
On the other hand, if it is determined in step S6202 that the current aperture value is different from the next candidate aperture value, the process proceeds to step S6204. In step S6204, the next candidate aperture value is calculated, and the
なお、次候補絞り値は、オートフォーカスによるスキャン範囲を限定してスキャン時間を短くするために、予め、レンズ、焦点距離および被写体距離毎に絞り値候補をテーブル化しておき、ROMに記憶しておく。これに限らず、汎用性を高めるために、レンズユニット300から取得できる被写界深度情報から次候補絞り値を算出してもよい。
For the next candidate aperture value, in order to limit the scan range by autofocus and shorten the scan time, aperture value candidates are tabulated in advance for each lens, focal length, and subject distance and stored in the ROM. deep. In addition to this, in order to improve versatility, the next candidate aperture value may be calculated from depth-of-field information that can be acquired from the
ステップS6204で絞り302が駆動されると、処理はステップS6219に移行され、顔情報検出回路102により、画像蓄積バッファ101aに記憶された画像データが取得される。そして、次のステップS6205で、取得された画像データから顔が検出されたか否かが判定される。若し、顔が検出されたと判定されたら、処理はステップS6206に移行される。
When the
ステップS6206では、AF制御部111により、焦点距離情報および現在の絞り情報に基づき被写界深度が算出される。ここでは、図6(a)または図6(b)に例示される範囲(c)、すなわち距離4m〜6mが被写界深度として算出されたものとする。そして、次のステップS6207で、算出された被写界深度の深さに応じてオートフォーカスのスキャン範囲が限定され、第2候補の絞り値に基づいたスキャン範囲でオートフォーカス制御が行われる(ステップS6208)。そして、処理はステップS6216に移行され、合焦判定がなされる。
In step S6206, the
第2候補の絞り値による顔検出は、図7のステップS6102による、最初のAFボタン131またはシャッタボタン130が操作される前になされた顔検出の際の絞り値よりも絞りが開放された状態で、撮像素子101に撮像された画像データに基づき行われる。そのため、被写界深度が浅くなって顔検出可能な範囲が狭くなり、この狭くなった範囲内でオートフォーカス制御を行えばよいことになる。すなわち、オートフォーカスのスキャン範囲を狭めることが可能である。
Face detection using the second candidate aperture value is a state in which the aperture is opened more than the aperture value at the time of face detection performed before the
一方、上述したステップS6205において、顔が検出されなかったと判定されたら、処理はステップS6209に移行される。ステップS6209では、図7のステップS6103で顔が検出された場合の焦点距離情報(ステップS6105参照)と、現在の絞り情報とに基づき、被写界深度の算出が行われる。ここでは、図6(a)または図6(b)に例示される範囲(c)、すなわち距離4m〜6mが被写界深度として算出されたものとする。 On the other hand, if it is determined in step S6205 that a face has not been detected, the process proceeds to step S6209. In step S6209, the depth of field is calculated based on the focal length information (see step S6105) when the face is detected in step S6103 of FIG. 7 and the current aperture information. Here, it is assumed that the range (c) illustrated in FIG. 6A or 6B, that is, the distance of 4 m to 6 m is calculated as the depth of field.
次のステップS6210で、算出された被写界深度に応じてオートフォーカスによるスキャン範囲を限定する。そして、カメラ制御部110は、ステップS6210で限定されたスキャン範囲と、図7のステップS6109で限定されているスキャン範囲とを比較し、差分を記憶する。この差分は、上述の図6(a)または図6(b)の例では、距離2m〜4mの範囲(b)および距離6m〜8mの範囲(d)となる。
In the next step S6210, the scan range by autofocus is limited according to the calculated depth of field. Then, the
処理はステップS6211に移行され、図7のステップS6107で顔サイズ情報に基づき推定した推定被写体距離と、図7のステップS6105で取得されたレンズ距離情報とが比較される。比較の結果、顔サイズ情報に基づき推定した推定被写体距離の方が、レンズ距離情報で示される距離よりも近いと判定されたら、処理はステップS6212に移行される。 The process moves to step S6211, and the estimated subject distance estimated based on the face size information in step S6107 in FIG. 7 is compared with the lens distance information acquired in step S6105 in FIG. As a result of the comparison, if it is determined that the estimated subject distance estimated based on the face size information is closer than the distance indicated by the lens distance information, the process proceeds to step S6212.
ステップS6212では、オートフォーカスのスキャン範囲が、至近端側の範囲に限定される。そして、次のステップS6213で、第2候補の絞り値に基づいたスキャン範囲との差分、すなわち、ステップS6210で記憶された差分のうち、至近端側の差分で示される範囲をスキャン範囲として、オートフォーカス制御が行われる。上述の図6(a)または図6(b)の例では、距離2m〜4mの範囲(b)がスキャン範囲とされる。そして、処理はステップS6216に移行され、合焦判定が行われる。 In step S6212, the autofocus scan range is limited to the range on the close end side. Then, in the next step S6213, the difference from the scan range based on the aperture value of the second candidate, that is, the range indicated by the difference at the closest end among the differences stored in step S6210 is set as the scan range. Auto focus control is performed. In the example of FIG. 6A or 6B described above, the range (b) having a distance of 2 m to 4 m is set as the scan range. Then, the process proceeds to step S6216, and focus determination is performed.
一方、ステップS6211で、顔サイズ情報に基づき推定した推定被写体距離の方が、レンズ距離情報で示される距離より遠いと判定されたら、処理はステップS6214に移行され、オートフォーカスのスキャン範囲が、無限端側に限定される。そして、次のステップS6215で、第2候補の絞り値に基づいたスキャン範囲との差分、すなわち、ステップS6210で記憶された差分のうち、無限端側の差分で示される範囲をスキャン範囲として、オートフォーカス制御が行われる。上述の図6(a)または図6(b)の例では、距離6m〜8mの範囲(d)がスキャン範囲とされる。そして、処理はステップS6216に移行され、合焦判定が行われる。 On the other hand, if it is determined in step S6211 that the estimated subject distance estimated based on the face size information is farther than the distance indicated by the lens distance information, the process proceeds to step S6214, and the autofocus scan range is infinite. Limited to end side. In the next step S6215, the difference from the scan range based on the aperture value of the second candidate, that is, the range indicated by the difference on the infinite end side among the differences stored in step S6210 is set as the scan range. Focus control is performed. In the example of FIG. 6A or 6B described above, a range (d) having a distance of 6 m to 8 m is set as a scan range. Then, the process proceeds to step S6216, and focus determination is performed.
ステップS6216では、上述した処理結果に基づき、ステップS6203、ステップS6208、ステップS6213およびステップS6215の何れかの方法にてオートフォーカス制御を実行し、合焦判定を行う。若し、合焦出来たと判定されたら、処理はステップS6217に移行され、例えばシャッタボタン130に対する操作に応じた撮影がなされる。撮影時には、例えばユーザが撮像装置100に対して設定した値に絞り値を変更するとよい。一方、合焦出来なかったと判定されたら、処理はステップS6218に移行され、撮影は行わず、オートフォーカス制御の開始待ちの状態とされる。
In step S6216, based on the processing result described above, autofocus control is executed by any of the methods of step S6203, step S6208, step S6213, and step S6215, and the focus determination is performed. If it is determined that the in-focus state has been achieved, the process proceeds to step S6217, and for example, shooting is performed according to the operation on the
なお、被写界深度の深いレンズや、レンズ駆動の遅いレンズのことも考慮して、ステップS6202からステップS6207の、絞り値変更、顔検出および被写界深度の算出を複数回行って、スキャン範囲を更に狭めるようにしてもよい。この場合、絞り302は、直前の絞り値に対して所定量だけ開放方向に駆動される。
In consideration of a lens having a deep depth of field or a lens that is slow to drive, scanning is performed by performing aperture value change, face detection, and depth of field calculation a plurality of times in steps S6202 to S6207. The range may be further narrowed. In this case, the
<オートフォーカススキャン範囲の限定について>
次に、ステップS6109におけるオートフォーカス範囲の限定の方法について、図9を用いて説明する。図9は、フォーカスレンズ位置に対するAF評価値の例を、被写界深度に応じて示す。なお、図9において、縦軸がAF評価値、横軸がフォーカスレンズ位置を示し、曲線Aが被写界深度が深い場合の例、曲線Bが被写界深度が浅い場合の例をそれぞれ示す。また、位置Cは、合焦点を示す。
<Limitation of autofocus scan range>
Next, a method for limiting the autofocus range in step S6109 will be described with reference to FIG. FIG. 9 shows an example of the AF evaluation value with respect to the focus lens position according to the depth of field. In FIG. 9, the vertical axis indicates the AF evaluation value, the horizontal axis indicates the focus lens position, the curve A indicates an example where the depth of field is deep, and the curve B indicates an example where the depth of field is shallow. . A position C indicates a focal point.
曲線Aに示されるように、被写界深度が深いときは、オートフォーカス評価値の変化幅が小さくなるため、顔を検出できる範囲が広くなる。したがって、合焦点を見つけるためには、広い範囲のオートフォーカス範囲からAF評価値を検出する必要がある。 As shown by the curve A, when the depth of field is deep, the change range of the autofocus evaluation value is small, and the range in which the face can be detected becomes wide. Therefore, in order to find the focal point, it is necessary to detect the AF evaluation value from a wide autofocus range.
一方、曲線Bに示されるように、被写界深度が浅いときは、フォーカスレンズの動きに対するオートフォーカス評価値の変化幅が大きくなるため、顔を検出できる範囲が狭くなる。したがって、上述した被写界深度が深い場合に比べてより狭い範囲のオートフォーカス範囲からAF評価値を検出することで、合焦点を見つけることができる。 On the other hand, as shown by the curve B, when the depth of field is shallow, the range of change in the autofocus evaluation value with respect to the movement of the focus lens becomes large, so the range in which the face can be detected becomes narrow. Therefore, the in-focus point can be found by detecting the AF evaluation value from the autofocus range that is narrower than that when the depth of field is deep.
以上により、例えば、オートフォーカスのスキャン範囲を、被写界深度の所定倍とすると共に、推定された推定被写体距離の周辺をオートフォーカス範囲として設定する。これにより、被写界深度が深い場合には、オートフォーカスのスキャン範囲を広い範囲、被写界深度が浅い場合には、オートフォーカスのスキャン範囲を狭い範囲とすることができる。 As described above, for example, the autofocus scan range is set to a predetermined multiple of the depth of field, and the area around the estimated subject distance is set as the autofocus range. As a result, when the depth of field is deep, the autofocus scan range can be wide, and when the depth of field is shallow, the autofocus scan range can be narrow.
このように、被写界深度を変更して得られた顔情報を利用して、オートフォーカスのスキャン範囲を狭く設定してオートフォーカススキャンを行う。これにより、オートフォーカスを精度よく行うことができると共に、オートフォーカスに要する時間の短縮を図ることができる。さらに、オートフォーカスのスキャン範囲を、被写体距離推定部104で推定された推定被写体距離を含むように設定すると共に、推定された推定被写体距離の周辺を重点的にスキャンするようにオートフォーカス範囲を設定する。これにより、効率的なオートフォーカス制御を実現することができる。
In this way, by using the face information obtained by changing the depth of field, the autofocus scan is performed by setting a narrow autofocus scan range. As a result, the autofocus can be performed with high accuracy and the time required for the autofocus can be shortened. Furthermore, the autofocus scan range is set so as to include the estimated subject distance estimated by the subject
ここで、被写界深度とは、図10(a)および図10(b)に示すように、推定された推定被写体距離に相当する合焦点距離、レンズ焦点距離、許容錯乱円および絞り値を用いて下記の式(1)および式(2)に基づき決定された、近点から遠点までの範囲を指す。 Here, as shown in FIGS. 10 (a) and 10 (b), the depth of field is a focal length, a lens focal length, an allowable confusion circle, and an aperture value corresponding to the estimated estimated object distance. The range from the near point to the far point determined based on the following formulas (1) and (2) is used.
近点(手前への深さ)=(過焦点距離(Hd)×合焦点距離)/(過焦点距離(Hd)+合焦点距離) …(1)
遠点(奥側への深さ)=(過焦点距離(Hd)×合焦点距離)/(過焦点距離(Hd)−合焦点距離) …(2)
Near point (depth toward you) = (hyperfocal distance (Hd) × focusing distance) / (hyperfocal distance (Hd) + focusing distance) (1)
Far point (depth toward the back side) = (hyperfocal distance (Hd) × focusing distance) / (hyperfocal distance (Hd) −focusing distance) (2)
例えば、図10(b)のように、過焦点が合焦点となった場合、撮像位置(0)と過焦点との中点(Hd/2)から無限遠までの範囲において被写体がほぼ明瞭に写ることになる。過焦点距離は、レンズ焦点距離が長いほど、また、絞り値が小さいほど増大する。撮像位置(0)と過焦点との中点(Hd/2)は、過焦点を合焦点とした場合の被写界深度に入る最短距離地点、すなわち近点でもある。 For example, as shown in FIG. 10B, when the hyperfocal point becomes the in-focus point, the subject is almost clear in the range from the midpoint (Hd / 2) between the imaging position (0) and the hyperfocal point to infinity. It will be reflected. The hyperfocal length increases as the lens focal length increases and the aperture value decreases. The midpoint (Hd / 2) between the imaging position (0) and the hyperfocal point is also the shortest distance point that enters the depth of field when the hyperfocal point is the focal point, that is, the near point.
過焦点距離は、下記の式(3)に基づいて決定される。
過焦点距離=(レンズ焦点距離)2/(許容錯乱円×絞り値) …(3)
ここで、許容錯乱円とは、通常の観察距離における肉眼視で認識され得る下限値である「ぼけ許容度」をいう。
The hyperfocal distance is determined based on the following equation (3).
Hyperfocal length = (lens focal length) 2 / (permissible circle of confusion × aperture value) (3)
Here, the permissible circle of confusion means “blur tolerance” that is a lower limit value that can be recognized with the naked eye at a normal observation distance.
なお、本実施形態では、オートフォーカス範囲の限定やフォーカスレンズの動き幅の設定のために算出する被写界深度は、被写体距離推定部104で推定された推定被写体距離に相当する合焦点距離と、レンズ焦点距離情報、絞り情報に基づき算出して求めている。これは、この例に限定されず、例えば、撮像装置100の工場出荷時などに、予めフォーカスレンズの位置に対応した被写体距離(合焦点距離)を測定してメモリに記憶させるようにしてもよい。この場合、図7のステップS6108において、ステップS6102で顔を撮影した際のフォーカスレンズ位置に対応してメモリから読み出した合焦点距離と、レンズ焦点距離情報および絞り情報とに基づき、被写界深度の算出を行うことができる。
In the present embodiment, the depth of field calculated for limiting the autofocus range and setting the movement range of the focus lens is the focal length corresponding to the estimated subject distance estimated by the subject
100 撮像装置
101 撮像素子
101a 画像蓄積バッファ
102 顔情報検出回路
103 顔サイズ判別部
104 被写体距離推定部
107 カメラ信号処理回路
110 カメラ制御部
111 AF制御部
114 ミラー
115 シャッタ
116 A/D変換器
119 インターフェイス
130 シャッタボタン
131 AFボタン
300 レンズユニット
301 撮影レンズ
302 絞り
304 絞り制御部
307 レンズシステム制御部
DESCRIPTION OF
Claims (5)
前記撮像素子から出力された前記撮像信号から顔を検出する顔検出手段と、
前記顔検出手段で検出された前記顔までの推定被写体距離を推定する被写体距離推定手段と、
前記撮像光学系の焦点距離と、前記絞りの値とに基づき被写界深度を算出する被写界深度算出手段と、
前記フォーカスレンズをスキャンしながら、前記撮像素子から予め決められた周期で出力された前記撮像信号に基づいてオートフォーカス制御を行う制御手段と
を有し、
前記被写体距離推定手段は、撮像が指示される前に、前記顔までの推定被写体距離を推定し、
前記制御手段は、
前記撮像が指示される前に、前記フォーカスレンズの現在位置を中心とする、予め設定された第1の絞り値に基づいて前記被写界深度算出手段で算出される被写界深度の範囲を示す第1の範囲を求め、
前記撮像が指示された後、前記絞りを、前記第1の絞り値よりも開放方向の第2の絞り値に駆動し、前記フォーカスレンズの現在位置を中心とする、前記第2の絞り値に基づいて前記被写界深度算出手段で算出される被写界深度の範囲を示す第2の範囲を求め、
前記第2の絞り値で得られた撮像信号から前記顔検出手段が顔を検出すると、前記第2の範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定し、
前記第2の絞り値で得られた撮像信号から前記顔検出手段が顔を検出できなかった場合に、前記第1の範囲のうち、前記第2の範囲とは異なる範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定する
ことを特徴とする撮像装置。 An imaging device that outputs an imaging signal in accordance with light incident through the imaging optical system with the full Okasurenzu and stop,
Face detection means for detecting a face from the imaging signal output from the imaging device;
Subject distance estimation means for estimating an estimated subject distance to the face detected by the face detection means;
A depth-of-field calculating means for calculating a depth of field based on a focal length of the imaging optical system and a value of the diaphragm;
Control means for performing autofocus control based on the image pickup signal output at a predetermined cycle from the image pickup device while scanning the focus lens;
The subject distance estimating means estimates an estimated subject distance to the face before imaging is instructed,
The control means includes
Before the imaging is instructed, a range of the depth of field calculated by the depth of field calculation means based on a preset first aperture value centered on the current position of the focus lens is set. Find the first range to show,
After the imaging is instructed, said diaphragm, said also driven in a second aperture in the opening direction than the first aperture value, centered on the current position of the focus lens, the second diaphragm value A second range indicating a range of the depth of field calculated by the depth of field calculation means based on
When the face detection unit detects a face from the imaging signal obtained with the second aperture value, the second range is determined as a scan range of the focus lens in the autofocus control ,
When the face detection unit cannot detect a face from the imaging signal obtained with the second aperture value, a range different from the second range in the first range is determined by the autofocus control. An imaging apparatus comprising: determining a scan range of the focus lens .
前記第2の絞り値で得られた撮像信号から前記顔検出手段が顔を検出できなかった場合に、前記フォーカスレンズの現在位置に対応する合焦距離と前記推定被写体距離とを比較し、
前記推定被写体距離が前記合焦距離よりも遠ければ、前記第1の範囲のうち、前記第2の範囲よりも無限遠側の範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定し、
前記推定被写体距離が前記合焦距離よりも近ければ、前記第1の範囲のうち、前記第2の範囲よりも至近側の範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定する
ことを特徴とする請求項1に記載の撮像装置。 Wherein,
If from said image signal obtained in the previous SL second aperture face detecting means does not detect the face, compared with the focal length corresponding to the current position and the previous Ki推 constant object distance of the focus lens And
If the estimated subject distance is farther than the focal distance, of the first range, to determine the scope of the infinite side than the second range to scan range of the focus lens in the autofocus control ,
If the estimated subject distance is shorter than the in-focus distance, a range closer to the second range than the second range in the first range is determined as a scan range of the focus lens in the autofocus control. The imaging apparatus according to claim 1.
前記撮像が指示された後、前記絞りを前記第1の絞り値から開放方向に所定量駆動して得られた撮像信号から前記顔検出手段による顔の検出を行い、顔が検出された場合に、更に開放方向に前記絞りを所定量駆動して得られた撮像信号から前記顔検出手段による顔の検出を行う処理を繰り返して行い、顔が検出された、より開放方向の絞り値を前記第2の絞り値とする
ことを特徴とする請求項1または2に記載の撮像装置。 The control means includes
After the imaging is instructed, it performs face detection by the face detection unit from the image signal obtained by a predetermined amount driven in an opening direction of the throttle from the first aperture, when a face is detected Further , a process of detecting the face by the face detection means from the image pickup signal obtained by driving the diaphragm in the open direction by a predetermined amount is repeatedly performed, and the aperture value in the open direction in which the face is detected is set to the first value . The imaging apparatus according to claim 1 or 2 , wherein the aperture value is 2 .
前記顔検出手段で検出された顔の、前記撮像信号による画像上のサイズに基づき前記推定被写体距離を推定する
ことを特徴とする請求項1乃至請求項3の何れか1項に記載の撮像装置。 The subject distance estimating means includes
The imaging apparatus according to any one of claims 1 to 3, wherein the estimated subject distance is estimated based on a size of an image of the face detected by the face detection unit based on the imaging signal. .
顔検出手段が、フォーカスレンズおよび絞りを備える撮像光学系を介して入射した光に応じて撮像信号を出力する撮像素子から出力された前記撮像信号から顔を検出する顔検出ステップと、
被写体距離推定手段が、前記顔検出ステップで検出された前記顔までの推定被写体距離を推定する被写体距離推定ステップと、
被写界深度算出手段が、前記撮像光学系の焦点距離と、前記絞りの値とに基づき被写界深度を算出する被写界深度算出ステップと、
制御手段が、前記フォーカスレンズをスキャンしながら、前記撮像素子から予め決められた周期で出力された前記撮像信号に基づいてオートフォーカス制御を行う制御ステップと
を有し、
前記被写体距離推定ステップは、撮像が指示される前に、前記顔までの推定被写体距離を推定し、
前記制御ステップは、
前記撮像が指示される前に、前記フォーカスレンズの現在位置を中心とする、予め設定された第1の絞り値に基づいて前記被写界深度算出ステップにより算出される被写界深度の範囲を示す第1の範囲を求め、
前記撮像が指示された後、前記絞りを、前記第1の絞り値よりも開放方向の第2の絞り値に駆動し、前記フォーカスレンズの現在位置を中心とする、前記第2の絞り値に基づいて前記被写界深度算出ステップにより算出される被写界深度の範囲を示す第2の範囲を求め、
前記第2の絞り値で得られた撮像信号から前記顔検出ステップにより顔を検出すると、前記第2の範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定し、
前記第2の絞り値で得られた撮像信号から前記顔検出ステップにより顔を検出できなかった場合に、前記第1の範囲のうち、前記第2の範囲とは異なる範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定する
ことを特徴とする撮像装置の制御方法。 A method for controlling an imaging device,
A face detection step in which a face detection unit detects a face from the imaging signal output from an imaging element that outputs an imaging signal according to light incident through an imaging optical system including a focus lens and an aperture; and
A subject distance estimation means for estimating an estimated subject distance to the face detected in the face detection step;
A depth of field calculating means for calculating a depth of field based on a focal length of the imaging optical system and a value of the aperture; and
A control step for performing autofocus control based on the imaging signal output at a predetermined cycle from the imaging element while scanning the focus lens;
The subject distance estimation step estimates an estimated subject distance to the face before imaging is instructed,
The control step includes
Before the imaging is instructed, a range of the depth of field calculated by the depth of field calculation step based on a preset first aperture value centered on the current position of the focus lens is set. Find the first range to show,
After the imaging is instructed, said diaphragm, said also driven in a second aperture in the opening direction than the first aperture value, centered on the current position of the focus lens, the second diaphragm value A second range indicating a range of depth of field calculated by the depth of field calculation step based on,
When a face is detected by the face detection step from the imaging signal obtained with the second aperture value, the second range is determined as a scan range of the focus lens in the autofocus control ,
When a face cannot be detected by the face detection step from the imaging signal obtained with the second aperture value, a range different from the second range in the first range is determined by the autofocus control. A control method for an imaging apparatus , wherein the scan range of the focus lens is determined .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008235592A JP4996568B2 (en) | 2008-09-12 | 2008-09-12 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008235592A JP4996568B2 (en) | 2008-09-12 | 2008-09-12 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010066728A JP2010066728A (en) | 2010-03-25 |
JP2010066728A5 JP2010066728A5 (en) | 2011-10-27 |
JP4996568B2 true JP4996568B2 (en) | 2012-08-08 |
Family
ID=42192334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008235592A Expired - Fee Related JP4996568B2 (en) | 2008-09-12 | 2008-09-12 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4996568B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022213311A1 (en) * | 2021-04-08 | 2022-10-13 | Qualcomm Incorporated | Camera autofocus using depth sensor |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5848507B2 (en) * | 2011-03-08 | 2016-01-27 | キヤノン株式会社 | Image capturing apparatus and method with tracking function |
JP5846928B2 (en) * | 2012-01-19 | 2016-01-20 | オリンパス株式会社 | Imaging device |
JP6091228B2 (en) * | 2013-01-30 | 2017-03-08 | キヤノン株式会社 | Image processing apparatus and imaging apparatus |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006018246A (en) * | 2004-06-03 | 2006-01-19 | Canon Inc | Imaging apparatus and imaging method |
JP2006267247A (en) * | 2005-03-22 | 2006-10-05 | Matsushita Electric Ind Co Ltd | Imaging apparatus and focusing method for imaging apparatus |
JP2008020710A (en) * | 2006-07-13 | 2008-01-31 | Fujifilm Corp | Photographing device and focus adjusting method |
JP2008145782A (en) * | 2006-12-11 | 2008-06-26 | Pentax Corp | Camera provided with focusing device |
-
2008
- 2008-09-12 JP JP2008235592A patent/JP4996568B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022213311A1 (en) * | 2021-04-08 | 2022-10-13 | Qualcomm Incorporated | Camera autofocus using depth sensor |
Also Published As
Publication number | Publication date |
---|---|
JP2010066728A (en) | 2010-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5789091B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
US7733412B2 (en) | Image pickup apparatus and image pickup method | |
US9277112B2 (en) | Auto focusing apparatus and auto focusing method, and image sensing apparatus | |
JP2006018246A (en) | Imaging apparatus and imaging method | |
US8145049B2 (en) | Focus adjustment method, focus adjustment apparatus, and control method thereof | |
JP4674471B2 (en) | Digital camera | |
JP4420909B2 (en) | Imaging device | |
US8300137B2 (en) | Image sensing apparatus providing driving direction of focus lens for attaining in-focus state and control method therefor | |
US20080136958A1 (en) | Camera having a focus adjusting system and a face recognition function | |
JP2010015024A (en) | Image pickup apparatus, control method thereof, program and storage medium | |
KR20080027443A (en) | Imaging apparatus, control method of imaging apparatus, and computer program | |
JP5171468B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
US8502912B2 (en) | Focusing apparatus and method for controlling the same | |
JP4506779B2 (en) | Imaging apparatus and program | |
JP4996568B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP4329694B2 (en) | Imaging device | |
JP4871691B2 (en) | Imaging apparatus and control method thereof | |
JP4567538B2 (en) | Exposure amount calculation system, control method therefor, and control program therefor | |
JP5873336B2 (en) | Focus adjustment device | |
JP2009105851A (en) | Imaging apparatus, control method and program thereof | |
JP2007328213A (en) | Imaging apparatus, imaging apparatus control method, and computer program | |
JP5420034B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP4681899B2 (en) | Imaging apparatus and imaging method | |
JP2018042092A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
JP2010072537A (en) | Imaging device and control method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110909 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120411 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120511 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |