JP7073125B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、監視などの用途に使用される撮像装置に関するものである。

監視などの用途に使用される撮像装置では、被写体の視認性の観点から、絞りを小絞りとして被写界深度がすべての被写体を内包することが望ましい。一方、データ量の観点から、絞りが小絞りとなることで利得制御回路の利得が増加し、取得映像にノイズが増加することは避けたい。

従来から絞りやフォーカスレンズを制御することで複数の被写体を被写界深度内に収める撮像装置が知られている。例えば、特許文献１では、複数の特定被写体を検出した後に、各特定被写体までの距離を測定し、最至近の特定被写体と最遠方の特定被写体のほぼ中央の位置が被写界深度の中心となるように絞りとフォーカスレンズを制御する撮像装置が開示されている。

特開２０１２－１８１３２４号公報

上述の特許文献に開示された従来技術は、特定被写体（例えば人）の検出と測距を行う必要がある。しかし、監視などの用途に使用される撮像装置ではあらゆる被写体にピントが合っていることが求められるため、特定被写体の設定および検出手段の設計が困難である。また、測距を行うための構成が必要となるため、撮像装置の構成が複雑化する。

そこで、本発明は、被写界深度の状態が適切となるように維持する撮像装置を提供することを目的とする。

本発明の技術的特徴として、被写体像を撮像する撮像素子を有する撮像装置の制御方法であって、前記撮像素子の出力信号に基づいて、絞りとフォーカスレンズとを含む撮像光学系の合焦度を算出する算出工程と、ユーザーによるマニュアルフォーカスの指示に基づいて、特定の撮影領域にピントが合った任意のフォーカスレンズ位置を設定する設定工程と、前記合焦度に基づき、絞り駆動方向と、絞り駆動量を求める第１の制御工程と、前記撮像素子の出力信号に基づき前記フォーカスレンズの移動方向を求め、前記絞り駆動量に基づき、前記フォーカスレンズの駆動量を求める第２の制御工程と、を備え、前記第１、第２の制御工程では、特定の撮影領域を被写界深度に内包可能な範囲となるように、前記絞りと前記フォーカスレンズを制御することを特徴とする。

本発明によれば、被写界深度の状態が適切となるように維持する撮像装置を提供することができる。

実施例１の撮像装置を示すブロック図である。 実施例１の被写界深度制御処理を示すフローチャートである。 被写界深度制御処理における被写界深度と合焦位置の関係を示す図である。 実施例２の撮像装置を示すブロック図である。 実施例２の被写界深度制御処理を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜撮像装置の構成＞
以下の実施例では、レンズ群と撮像装置が一体となったレンズ鏡筒括りつけの撮像装置において、本発明を適用した場合の例を示す。

図１は、撮像装置の主要部の構成を示すブロック図である。

図１に示すように、レンズ鏡筒括りつけの撮像装置１００は、レンズ群及び撮像装置全体の動作を統括するカメラ制御部１０９を中心に構成される。撮像装置の制御は、カメラ制御部１０９の内部のＲＯＭ、ＲＡＭ（不図示）に格納された制御プログラム及び制御に必要な各種データに基づき実行される。

まず、レンズ群１０１は被写体から入射した光を撮像素子１０６上に集光する撮像光学系である。レンズ群１０１は絞り１０２とフォーカスレンズ１０３を含み、絞り駆動部１０４、フォーカス駆動部１０５によって駆動する。

撮像素子１０６は受光面で受けた光を電気信号に変換して被写体像を撮像し信号を出力する。撮像素子１０６からの出力信号は、電気信号の振幅を自動的に制御する利得制御回路１０７を介して、映像信号処理部１０８に入力される。

映像信号処理部１０８は入力された信号に対して種々の制御を施すとともに、合焦の度合いである合焦度等の映像信号に対する評価値を算出する。

カメラ制御部１０９は利得制御回路１０７の利得と映像信号処理部１０８で算出された合焦度に基づいて絞り駆動量とフォーカスレンズ駆動量を算出し、絞り駆動部１０４とフォーカス駆動部１０５を制御する。

マニュアルフォーカス操作部１１０はユーザーの指示による任意のフォーカスレンズ位置の設定を可能とするものであり、撮像装置本体に操作部を設けても良いし、外部に操作部を設けてネットワークを介した設定が行われても良い。フォーカスレンズ位置記録部１１１はマニュアルフォーカス操作部によって設定されたフォーカスレンズの位置を記録する。

＜実施例１＞
以下、図１を参照して、実施例１による被写界深度制御処理のフローチャート（図２）について説明する。なお、本実施例では、監視などの用途に使用される撮像装置を取り上げる。この撮像装置では、あらゆる被写体にピントが合っていることが求められる。このため、後述するように、画像もしくは画像内に複数設定された評価枠に対応する合焦度が予め決められた基準（所定の閾値）を満たしているか否かを判定する。そして、合焦度が満たされない場合には、被写界深度を現在より深くするための処理を行う。

Ｓ２０１において、ユーザーはマニュアルフォーカス操作部１１０を介して特定の撮影領域（例えば、通路や道路）にピントが合うようにフォーカスレンズ位置が設定される。その際、フォーカスレンズ位置記録部１１１はフォーカスレンズの位置を記録する。

Ｓ２０２では、映像信号処理部１０８によって画像に対応する合焦度が算出される。ここで、合焦度は、例えば、式（１）で算出できる。
ＴＥＰ／ＭＭ （１）

これは、ＴＥＰがコントラスト差信号であるＭＭを微分した信号に相当する。被写体の条件にもよるが、ＴＥＰ／ＭＭ比率が大であれば、合焦状態を表し、ＴＥＰ／ＭＭ比率が零に近いほど、大ボケ状態と判定することが出来る。黒レベル→白レベルに変化する輝度の傾斜を表現することとなるので、ボケ状態では傾斜が緩く（ＴＥＰ／ＭＭが小さい）、合焦状態では傾斜がほぼ垂直となり、ＴＥＰ／ＭＭの比率は大きくなる傾向を持つ。

ここで、ＭＭは、Ｍａｘ－Ｍｉｎ評価値である。Ｍａｘ－Ｍｉｎ評価値は、ガンマ変換された輝度信号Ｙが、水平ラインごとに最大値Ｍａｘ及び最小値Ｍｉｎがホールドされ、最大値Ｍａｘ－最小値Ｍｉｎなる減算が行われて、差が垂直ピークホールドされて、生成される。また、ＴＥＰは、ＴＥピーク評価値である。ＴＥピーク評価値は、ガンマ変換された輝度信号Ｙが、カットオフ周波数の高いＬＰＦ（ＢＰＦ）によって高周波成分が抽出され、その出力のＴＥ（Ｔｏｐ Ｅｖａｌｕａｔｅ）信号から、水平ライン毎にピーク値が求められる。更にピーク値は、垂直方向にピークホールドされ、ＴＥピーク評価値が生成される。

カメラ制御部１０９はＳ２０３において、算出された合焦度に基づき、被写界深度が不足しているかを判定する。具体的には、算出された合焦度が被写界深度の不足を判定するための閾値未満だった場合、被写界深度が不足していると判定し、Ｓ２０４に進む。ここでは閾値を０．７（合焦度最大値の約２／３）とする。

ただし、合焦度が画像内に複数設定された評価枠毎に算出可能な場合は複数の合焦度の中で最小の合焦度と被写界深度の不足を判定するための閾値を用いて判定を行う。さらに、被写体として空やテクスチャの無い壁などが存在する場合には一般的に合焦度が低下する。このため、映像信号処理部１０８によって評価枠毎に映像信号の周波数成分も算出可能な場合には、低周波成分の割合が高い領域を判定するための閾値以上となる評価枠に対応する合焦度を判定処理の候補から除外しても良い。

Ｓ２０４においてカメラ制御部１０９は被写界深度を現在より深くして画像もしくは画像内の複数の評価枠の合焦度を高めるため、小絞り側への絞り駆動量を算出し、Ｓ２０７に進む。このときの絞り駆動量は合焦度とＳ２０３における閾値との差分に比例するよう算出される。例えば、閾値との差が０．１５（合焦度最大値の約１／６）あたり絞り１段分絞る。

また、Ｓ２０３において、被写界深度が不足していないと判定された場合はＳ２０５に進む。

Ｓ２０５において、カメラ制御部１０９は利得制御回路１０７の利得を参照し、利得がノイズの許容量に基づいて定められる閾値以上の場合、Ｓ２０６に進む。そして、被写界深度を現在より浅くするため、開放側への絞り駆動量を算出した後、Ｓ２０７に進む。このときの絞り駆動量は合焦度とＳ２０３における閾値の差分に比例するよう算出されても良いし、現在のフォーカスレンズ位置とフォーカスレンズ位置記録部１１１に記録してあるフォーカスレンズ位置の差分に反比例するよう算出されても良い。例えば、閾値との差が０．３（合焦度最大値の約１／３、深度を浅くする場合は、深くする場合より２倍遅い）あたり絞り１段分開く。絞り駆動量に、１／（１＋α×ΔＦ）を乗じてもよい。ここでΔＦは現在のフォーカスレンズ位置とフォーカスレンズ位置記録部１１１に記録してあるフォーカスレンズ位置の差分である。αは任意の値であって、大きい値を設定する程深度を浅くする方向への動作が遅くなる。

また、Ｓ２０５において、利得がノイズの許容量に基づいて定められる閾値未満の場合はＳ２０２に戻る。

Ｓ２０７において、カメラ制御部１０９は算出された絞り駆動量に基づいて絞りを駆動させた場合に見込まれる被写界深度の変化量を算出し、さらに、Ｓ２０８において被写界深度の変化量に対応したフォーカスレンズの駆動量を算出する。

このとき、フォーカスレンズ駆動量は、絞り、およびフォーカスレンズの駆動後の被写界深度がユーザーが設定したフォーカスレンズ位置に対応する合焦位置を内包するように、式（２）によって算出できる。ここでは、被写界深度の変化量Δｄ、フォーカスレンズの移動に伴う合焦位置の移動量Δｘとする。
Δｄ／２＝Δｘ （２）

このように、絞りの駆動量から絞り駆動に伴う被写界深度の変化量を算出し、被写界深度の変化量の半分だけ合焦位置が移動するようにフォーカスレンズ駆動量を算出する。

Ｓ２０９では、フォーカスレンズの移動方向を決定する。このとき、絞りの駆動によって被写界深度がより浅くされる場合にはフォーカスレンズ位置記録部１１１に記録してあるフォーカスレンズ位置へ向かう方向をフォーカスレンズの移動方向とする。そして、被写界深度がより深くされる場合にはフォーカスレンズを微小駆動させ、映像信号の高周波成分が増加する方向をフォーカスレンズの移動方向とする。ただし、フォーカスレンズを微小駆動によるフォーカスレンズの移動方向の決定は合焦度とＳ２０３における閾値との大小関係に変化が生じた場合に限定して行っても良い。

Ｓ２１０において、カメラ制御部１０９は絞り駆動量とフォーカスレンズ駆動量に基づいて絞り、およびフォーカスレンズの駆動制御を行う。このとき、駆動制御中においても被写界深度がユーザーが設定したフォーカスレンズ位置に対応する合焦位置を内包するように、フォーカスレンズの駆動よりも絞りの駆動の方が駆動開始タイミングと駆動速度が同等もしくは速くなるようにする。

ここまで、Ｓ２０３において、単一の閾値によって被写界深度の過不足を判定する方法について述べたが、Ｓ２０３における閾値と合焦度が同程度の値となると、被写界深度をより深くする処理とより浅くする処理が繰り返されるハンチング現象が起こる。そのため、被写界深度の不足を判定するための合焦度の閾値と被写界深度の過剰を判定するための合焦度の閾値を設定してもよい。このとき、合焦度が被写界深度の不足を判定するための閾値未満の場合には絞り駆動方向を開放側とし、被写界深度の過剰を判定するための閾値以上の場合には絞り駆動方向を小絞り側とする。そして、被写界深度の不足を判定するための閾値以上、かつ被写界深度の過剰を判定するための閾値未満の場合には直接Ｓ２０２に戻る処理を加えても良い。このとき、被写界深度の過剰を判定するための閾値は被写界深度の不足を判定するための閾値よりも高く設定されるものとする。

以上の処理を反復して行うことでユーザーが設定したフォーカスレンズ位置に対応する合焦位置を被写界深度に内包させた状態を維持した上で、好適な被写界深度を得ることが可能となる。これにより、絞り、およびフォーカスレンズが特定の撮影領域を被写界深度に内包可能な範囲で駆動することができる。

図３は上述の処理に伴う、被写界深度の変化の一例を簡易的に示した図である。図中ｎは被写体１が被写界深度に内包されるまでの処理の反復回数を表し、ｔ０は処理開始時間、ｔｎはｎ回の処理に要した時間を表す。また、ｔ０における合焦位置はユーザーが設定したフォーカスレンズ位置に対応する合焦位置である。

＜実施例２＞
図４は、実施例２に係る撮像装置の構成を示す図である。

図４を参照して、実施例２による被写界深度制御処理のフローチャート（図５）について説明する。撮像装置の構成については実施例１の撮像装置と同様の部分に関しては説明を省略する。

図４に示す通り、実施例２に係る撮像装置では図１の構成に加えて背景差分検出部４０１、動体検出部４０２、動体速度測定部４０３、を備える。背景差分検出部は過去の撮影画像を参照画像として現在の撮影画像との差分を算出し、被写体の出現や消失、移動を検出するために用いる。画像ではなくヒストグラムの差分を用いた検出を行っても良い。動体検出部４０２、および動体速度測定部４０３は被写体内の動体の検出と速度推定を行うものであり、公知の動ベクトルによる速度推定等を用いれば良い。なお、画面内に複数の動体が存在する場合には、複数の動体速度の内、最大の動体速度が出力されるものとする。

駆動部の耐久性の観点から被写界深度をより深くする処理やより浅くする処理が行われる回数は極力少ない方が良いため、被写界深度内の被写体の出現や消失、移動といった被写体の変化が生じた際にのみ行われる方が好ましい。しかし、実施例１における被写界深度をより深くする処理やより浅くする処理は、合焦度とＳ２０３における閾値による判定を経て開始されるため、被写体の消失、移動がなくとも被写界深度をより浅くする処理が行われる場合がある。

そこで、実施例２では背景差分検出部の出力によって被写界深度をより浅くする処理を開始するか否かを判定するステップ（Ｓ５０３）を追加する。また、合焦度が直前に算出された合焦度を超えたかを判定するステップ（Ｓ５０１）、背景差分検出に用いる参照画像を更新するステップ（Ｓ５０２）も追加する。

また、被写体に動体が存在する場合、動体の速度によっては、動体を被写界深度に内包する前に、動体が画像から消失することが考え得る。そこで、動体速度測定部４０３の出力に応じて絞り駆動量を変更する。

Ｓ５０４において、カメラ制御部１０９は動体速度測定部４０３の出力に基づいて、実施例１と同様に算出した絞り駆動量に対して、さらに動体速度と比例する係数を乗じる。また、Ｓ５０５において、この係数を乗じた絞り駆動量に基づいて最小絞りまでの到達時間を推定し、動体が等速直線運動を行うと仮定した場合に動体が画面から消失するまでの時間と比較を行う。ここで、絞りが最小絞りまで到達する前に動体が画面から消失すると判断された場合には、Ｓ５０６によって絞り駆動量を駆動可能な最大駆動量とする。

以上の処理を追加することで、実施例１に比べて不要な駆動を抑制し、かつ、動体の速度に応じた被写界深度制御が可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (10)

1. 被写体像を撮像する撮像素子を有する撮像装置であって、
   前記撮像素子の出力信号に基づいて、絞りとフォーカスレンズとを含む撮像光学系の合焦度を算出する算出手段と、
   ユーザーによるマニュアルフォーカスの指示に基づいて、特定の撮影領域にピントが合った任意のフォーカスレンズ位置の設定が可能な設定手段と、
   前記合焦度に基づき、絞り駆動方向と、絞り駆動量を求める第１の制御手段と、
   前記撮像素子の出力信号に基づき前記フォーカスレンズの移動方向を求め、前記絞り駆動量に基づき、前記フォーカスレンズの駆動量を求める第２の制御手段と、を備え、
   前記第１、第２の制御手段は、特定の撮影領域を被写界深度に内包可能な範囲となるように、前記絞りと前記フォーカスレンズを制御することを特徴とする撮像装置。
2. 前記第１の制御手段は、前記合焦度が所定の閾値以上となる場合には、絞り駆動方向を開放側とし、前記合焦度が所定の閾値未満となる場合には、絞り駆動方向を小絞り側とすることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の制御手段は、前記合焦度と所定の閾値との差分に比例するように絞り駆動量を算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第２の制御手段は、前記絞り駆動方向が開放側である場合は、記憶媒体に記憶されたフォーカスレンズ位置へ向かう方向をフォーカスレンズの移動方向とし、前記絞り駆動方向が小絞り側である場合は、前記フォーカスレンズを微小駆動させ、前記撮像素子の出力信号の高周波成分が増加する方向を前記フォーカスレンズの移動方向とすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第２の制御手段は、前記絞りの駆動量から絞り駆動に伴う被写界深度の変化量を算出し、前記被写界深度の変化量の半分だけ合焦位置が移動するようにフォーカスレンズ駆動量を算出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記絞りの駆動が少なくとも前記フォーカスレンズの駆動よりも先に行われることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 利得制御回路をさらに備え、
   前記第１の制御手段は、前記利得制御回路の利得が所定の閾値以上となる場合に、前記絞りの開放側への駆動を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 被写体像を撮像する撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子の出力信号に基づいて、絞りとフォーカスレンズとを含む撮像光学系の合焦度を算出する算出工程と、
   ユーザーによるマニュアルフォーカスの指示に基づいて、特定の撮影領域にピントが合った任意のフォーカスレンズ位置を設定する設定工程と、
   前記合焦度に基づき、絞り駆動方向と、絞り駆動量を求める第１の制御工程と、
   前記撮像素子の出力信号に基づき前記フォーカスレンズの移動方向を求め、前記絞り駆動量に基づき、前記フォーカスレンズの駆動量を求める第２の制御工程と、を備え、
   前記第１、第２の制御工程では、特定の撮影領域を被写界深度に内包可能な範囲となるように、前記絞りと前記フォーカスレンズを制御することを特徴とする撮像装置の制御方法。
9. 請求項８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
10. 請求項８に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images