JP7254625B2 - 撮像装置およびセンサあおり制御方法 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特に撮像装置内の撮像素子のあおり角を調整する技術に関する。

高所に設置したカメラの撮像光軸を斜め下側に向けた状態で、道路を通行する人や車を監視する監視カメラシステムが用いられている。このようなカメラシステムにおいて、カメラ内の撮像素子を撮像光軸に直交する面に対して傾ける、すなわち「あおる」ことで、ピントが合う被写界深度を広げることが可能である（シャインプルーフの定理）。具体的には、撮像画面全体においてピントが合うように撮像素子をあおる角度であるあおり角を調整する。

ただし、撮像素子があおられた状態においてカメラの焦点距離の変更（ズーミング）が行われて画角が変更されると、被写界深度が変化して撮像画面内でピントが合わない領域が発生する。このため、ズーミングごとに撮像素子のあおり角を再設定する必要がある。

特許文献１には、ズーミングが行われた場合における焦点距離の変化に応じた補正量を決定し、該補正量を用いてズーミング後のレンズのあおり角を補正することで、ズーミング前後でのピント面と撮像光軸とがなす角度を一定にする方法が開示されている。

特開昭６１－０９５３０８号公報

しかしながら、特許文献１にて開示された方法は、ズーミングの前後でピント面と撮像光軸とがなす角度が変更される場合には使用することができない。

本発明は、撮像素子のあおり角が自動的に調整されるようにした撮像装置を提供する。

本発明の一側面としての撮像装置は、焦点距離が可変である撮像光学系により形成された光学像を撮像する撮像素子と、撮像光学系の光軸に直交する面に対する撮像素子のあおり角を制御する制御手段とを有する。制御手段は、焦点距離が第１の焦点距離であるときに、撮像素子上の複数の領域のそれぞれに対して、それぞれの領域に含まれる被写体にピントが合う第１のあおり角を記憶し、焦点距離が第１の焦点距離より長い第２の焦点距離に変更された場合に、複数の領域のうち焦点距離の変更後の撮像画面に含まれる特定領域に対して記憶された第１のあおり角を用いて、該特定領域で撮像される被写体にピントが合う第２のあおり角を算出し、あおり角を第２のあおり角に変更することを特徴とする。

また、本発明の他の一側面としての制御方法は、焦点距離が可変である撮像光学系により形成された光学像を撮像する撮像素子を有する撮像装置において、撮像光学系の光軸に直交する面に対する撮像素子のあおり角を制御する方法である。該制御方法は、焦点距離が第１の焦点距離であるときに、撮像素子上の複数の領域のそれぞれに対して、それぞれの領域に含まれる被写体にピントが合う第１のあおり角を記憶するステップと、焦点距離が第１の焦点距離より長い第２の焦点距離に変更された場合に、複数の領域のうち焦点距離の変更後の撮像画面に含まれる特定領域に対して記憶された第１のあおり角を用いて、該特定領域で撮像される被写体にピントが合う第２のあおり角を算出するステップと、あおり角を第２のあおり角に変更するステップとを有することを特徴とする。

なお、撮像装置のコンピュータに上記制御方法に従う処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

本発明によれば、撮像素子のあおり角が自動的に適切に調整される撮像装置を実現することができる。

本発明の実施例における撮像装置の構成を示すブロック図。 あおり撮像を説明する図。 ズーミング前後の撮像状況を示す図。 実施例１におけるズーミング時のあおり角制御処理を示すフローチャート。 実施例１におけるあおり角マップテーブルを示す図。 あおり角マップテーブルに対応する像高位置を示す図。 実施例２におけるズーミング時のあおり角制御処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である撮像装置の構成を示している。撮像装置は、後述するように焦点距離が可変である撮像光学系１００を一体に有するものであってもよいし、交換可能に有するものであってもよい。撮像光学系１００は、光軸方向に移動して撮像光学系１００の焦点距離を変更する変倍レンズ１０１と、光軸方向に移動して焦点調節を行うフォーカスレンズ１０２と、光量を調整する絞りユニット１０３とを有する。以下の説明において、撮像光学系１００の焦点距離を変更することをズームまたはズーミングといい、焦点調節を行うことをフォーカスまたはフォーカシングという。

撮像光学系１００を通過した光は、バンドパスフィルタ１０４およびカラーフィルタ１０５介して撮像素子１０６上に光学像としての被写体像を形成する。バンドパスフィルタ１０４は、撮像光学系１００の光路に対して出入りが可能である。撮像素子１０６は、被写体像を撮像（光電変換）してアナログ電気信号としての撮像信号を出力する。

撮像素子１０６から出力された撮像信号は、ＡＧＣ１０７によりゲイン調整され、Ａ／Ｄ変換器１０８によりデジタル撮像信号に変換される。デジタル撮像信号は、カメラ信号処理部１０９に入力される。カメラ信号処理部１０９は、デジタル撮像信号に対して各種画像処理を行って映像信号を生成する。

映像信号は、通信部１１０を介して撮像装置に有線または無線通信により接続された監視モニタ装置１１１に出力されるとともに、撮像装置内の制御手段としてのあおり/ズーム／フォーカス制御部１１３に出力される。

撮像素子駆動部１１２は、あおり／ズーム／フォーカス制御部１１３から伝達されたあおり角の設定値に基づいて撮像素子１０６を撮像光学系１００の光軸に直交する面に対して傾ける（あおる）。撮像光学系１００の光軸に直交する面に対する撮像素子１０６の傾き角を、あおり角という。

フォーカス駆動部１１４は、あおり／ズーム／フォーカス制御部１１３から伝達されたフォーカス位置にフォーカスレンズ１０２を移動させる。ズーム駆動部１１５は、あおり／ズーム／フォーカス制御部１１３から伝達されたズーム位置に変倍ムレンズ１０１を移動させる。ズーム位置は、撮像光学系１００の焦点距離に対応する。

マップテーブル記憶部１１４は、あおり／ズーム／フォーカス制御部１１３で作成されたあおり角マップテーブルを記憶する。あおり角マップテーブルについては後述する。あおり／ズーム／フォーカス制御部１１３は、撮像素子１０６のあおり角があおり角マップテーブルとズーム位置情報とを用いて算出したあおり角（以下、補正あおり角という）になるようにあおり角補正制御を行う。

ここで、ズーミングの前後で撮像光学系１００の光軸とピント面とがなす角度を変更する必要がある場合について、図２、図３（Ａ）および図３（Ｂ）を用いて説明する。図２は撮像するシーンの例を示しており、２００はズーミング前の撮像画面（画角）である。２０１は小動物や子供等の高さが低い被写体である。また、２０２は車や大人等の高さがある特定被写体であり、道路２０４上に位置している。２０３はズーミング後の撮像画面である。
図３（Ａ）に示すように、ズーミング前の撮像光学系１００の焦点距離をｆ、被写体距離をＬ、光軸とピント面とがなす角度をａとすると、光軸に直交する面に対する撮像素子１０６のあおり角ｂは、シャインプルーフの定理より、次式（１）で算出される。
ｂ＝tan^－１（ｆ／（Ｌtanａ）） （１）
被写体距離Ｌが道路２０４までの距離である場合において、撮像素子１０６をあおり角ｂだけあおると、道路２０４にピントが合った状態になる。この状態では、道路２０４だけでなく、被写体２０１，２０２も被写界深度内にあるため、撮像画面全体においてピントが合う。しかし、この状態からのズーミング後においてもピントを道路２０４に合わせると、図３（Ｂ）に示すように特定被写体２０２の上部が被写界深度外となってボケてしまう。このような場合、特定被写体２０２の全体が被写界深度内に入って該特定被写体２０２の全体（理想的には撮像画面の全体）にピントが合うように、撮像素子１０６のあおり角をｂ′に変更（補正）することが望ましい。このため、本実施例では、ズーミングに応じてあおり角補正制御を行う。

図４のフローチャートは、本実施例においてあおり／ズーム／フォーカス制御部１１３が行うあおり角補正制御処理（制御方法）を示している。ＣＰＵ等のコンピュータにより構成されるあおり／ズーム／フォーカス制御部１１３は、コンピュータプログラムとしてのあおり角制御プログラムに従って本処理を実行する。

ステップＳ４０１において、あおり／ズーム／フォーカス制御部１１３は、撮像画面の中心領域にピントを合わせるようにフォーカスレンズ１０２を移動させるオートフォーカス（ＡＦ）制御を行う。なお、このときユーザ操作に応じたマニュアルフォーカスによって中心領域にピントが合わせられてもよい。

次にステップＳ４０２では、あおり／ズーム／フォーカス制御部１１３は、撮像光学系１００の現在の焦点距離（第１の焦点距離）に対するあおり角マップテーブルを作成する。あおり角マップテーブルは、現在の焦点距離で撮像素子１０６の撮像面上に設定された複数の領域のそれぞれにおいて、該領域に含まれる被写体にピントが合うあおり角（以下、第１のあおり角という）を記録したデータテーブルである。

図５は、撮像面を像高が互いに異なる５つの領域（像高）１～５に分割し、領域ごとに第１のあおり角ｂ，ｄが記録されたあおり角マップテーブルの例を示している。あおり／ズーム／フォーカス制御部１１３は、作成したあおり角マップテーブルをあおり角マップテーブル記憶部１１４に記憶させる。

図６（Ａ）は、図２に示したシーンを撮像する際に撮像面の上部のみを図５に示したように上下方向に５つ（＝１×５）の領域に分割する例を示している。また図６（Ｂ）は撮像面の上部のみを上下方向および水平方向に計２０（＝４×５）の領域に分割した例を示している。また、図６（Ｃ）は、撮像面全体を計４０（＝４×１０）の領域に分割した例を示している。これら以外の領域分割を行ってもよい。

第１のあおり角は、例えば、撮像素子駆動部１１２が撮像素子１０６を実際にあおり、そのときに得られた映像信号からその映像信号のコントラスト状態を示すコントラスト値を算出し、該コントラスト値がピークとなるあおり角を測定することで得ることができる。また、ズーム位置とフォーカス位置の情報を用いて算出した被写体距離や、撮像素子１０６の各画素が瞳分割を行える場合に該撮像素子１００を用いた測距処理により取得した被写体距離から第１のあおり角を算出してもよい。

次にステップＳ４０３では、あおり／ズーム／フォーカス制御部１１３は、あおり角マップテーブル記憶部１１４に記憶されているあおり角マップデータから、撮像画面内で最も像高が高い領域１の第１のあおり角（以下、ズーミング前あおり角という）ｂを選択する。そして、撮像素子駆動部１１２を通じて撮像素子１０６を選択されたズーミング前あおり角ｂにあおり駆動する。

次にステップＳ４０４において、あおり／ズーム／フォーカス制御部１１３は、通信部１１０を介して監視モニタ装置１１１からズーミングを指示するズーム命令を受信したか否かを判定し、受信した場合はステップＳ４０５に進み、受信していない場合は本判定を繰り返す。

ステップＳ４０５では、あおり／ズーム／フォーカス制御部１１３は、ズーム命令が望遠（ＴＥＬＥ）方向へのズーム命令か否かを判定し、ズーム命令の方向（焦点距離の変更方向）が焦点距離が長くなるＴＥＬＥ方向であればステップＳ４０６に進む。また焦点距離が短くなる広角（ＷＩＤＥ）方向であればステップＳ４１１に進む。

ステップＳ４０６では、あおり／ズーム／フォーカス制御部１１３は、ズーム駆動部１１５を通じてＴＥＬＥ方向へのズーム駆動を行わせる。

次にステップＳ４０７では、あおり／ズーム／フォーカス制御部１１３は、ステップＳ４０６でのズーミング後の焦点距離（第２の焦点距離）ｆ′を取得する。

そしてステップＳ４０８では、あおり／ズーム／フォーカス制御部１１３は、ズーミング後の焦点距離ｆ′とズーミング前（あおり角マップテーブルの作成時）の焦点距離ｆを用いて、ズーミング前の像高のうちズーミング後の最大像高に最も近い像高（以下、ズーム後最大像高という）を算出する。ズーム後最大像高Ｈは、ズーミング前の焦点距離ｆ、ズーミング後の焦点距離ｆ′およびズーミング前の撮像素子１０６上での像高ｈを用いて、次式（２）により算出される。
Ｈ＝（ｆ／ｆ′）ｈ （２）
次に、あおり／ズーム／フォーカス制御部１１３は、あおり角マップテーブルからズーム後最大像高Ｈの領域（例えば領域３）に対応する第１のあおり角ｄを選択する。なお、ここで選択される第１のあおり角は、上記のように１つの領域に対応するあおり角であってもよいが、少なくとも２つの領域に対応するあおり角の平均値、中央値もしくは所定の重み付け処理によって得られた重み付け値を選択してもよい。このように、ズーミング前に作成したあおり角マップテーブルから第１のあおり角を選択することで、ズーミング後に好適なあおり角を設定することができる。

次にステップＳ４０９では、あおり／ズーム／フォーカス制御部１１３は、第１のあおり角ｄ、ズーミング前の焦点距離ｆ、ズーミング後の焦点距離ｆ′および撮像画面の中心での被写体距離Ｌを用いて、ズーミング後の撮像画面全体に対してピントが合うあおり角（以下、第２のあおり角という）Ｄを算出する。ｄ、ｆ、ｆ′，ＬおよびＤについてはシャインプルーフの法則から次式（３）の関係が成立し、この式（３）を式（４）のように変形することでＤが得られる。ここでのＬは、特定被写体２０２および道路２０４までの距離Ｌ２である。
ｆ／（Ｌtanｄ）＝ｆ′／（ＬtanＤ） （３）
Ｄ＝tan^－１（ｆ′／ｆtanｄ） （４）
次にステップＳ４１０では、あおり／ズーム／フォーカス制御部１１３は、撮像素子駆動部１１２を通じて撮像素子１０６のあおり角がステップＳ４０９で算出された第２のあおり角Ｄになるように撮像素子１０６をあおり駆動する。そして本処理を終了する。

一方、ステップＳ４０５にてズーム命令の方向がＷＩＤＥ方向であるためにステップＳ４１１に進んだあおり／ズーム／フォーカス制御部１１３は、ズーミング後の焦点距離（第３の焦点距離）にて撮像素子駆動部１１２を通じて撮像素子１０６のあおり角を微小角度だけ変化させる微小あおり駆動（以下、ウォブリング駆動という）を行う。これは、ＷＩＤＥ方向へのズーミング後の撮像画面内にどのような被写体が入るかが分からないためである。このとき、あおり／ズーム／フォーカス制御部１１３は、撮像素子１０６のウォブリング駆動中に生成される映像信号における領域ｉ（ここではｉ＝３）でのコントラスト値がピークとなるあおり角（第３のあおり角）Ｄ′を検出する。

そしてステップＳ４１３では、あおり／ズーム／フォーカス制御部１１３は、撮像素子駆動部１１２を通じて撮像素子１０６のあおり角がステップＳ４１２で検出された第３のあおり角Ｄ′になるように撮像素子１０６をあおり駆動する。そして本処理を終了する。

本実施例によれば、ズーミングに伴う撮像素子のあおり角補正制御を自動的かつ良好に行うことができる。

なお、本実施例ではズーム命令の方向がＴＥＬＥ方向の場合とＷＩＤＥ方向である場合とで互いに異なるあおり角補正制御を行う場合について説明したが、いずれか一方の処理のみを行うようにしてもよい。

実施例１では、あおり角マップテーブルをズーミング前に１度だけ作成することで、シンプルな処理によって良好なあおり角補正を行う場合について説明した。ただし、被写体が図２に示した位置にいつまでも留まっているとは限らない。例えば、あおり角マップテーブルの作成後に特定被写体２０２が移動した場合には、実施例１ではＴＥＬＥ方向へのズーミング後に撮像画面の上下部分のボケが目立つおそれがある。

このため本実施例では、ズーム命令が出るまであおり角マップテーブルのデータを更新し続けることで、ズーミング時に適正なあおり角補正制御を行えるようにする。本実施例の撮像装置の構成は実施例１の撮像装置と同じであり、本実施例の撮像装置の構成要素には実施例１と同符号を付す。

図７のフローチャートは、本実施例においてあおり／ズーム／フォーカス制御部１１３が行うあおり角補正制御処理を示している。ステップＳ７０１～Ｓ７０３の処理は、実施例１（図４）で説明したステップＳ４０１～Ｓ４０３と同じである。

ステップＳ７０４において、あおり／ズーム／フォーカス制御部１１３は、通信部１１０を介して監視モニタ装置１１１からズーム命令を受信したか否かを判定し、受信した場合はステップＳ７０７に進み、受信していない場合はステップＳ７０５に進む。

ステップＳ７０５では、あおり／ズーム／フォーカス制御部１１３は、実施例１のステップＳ４０２で説明したあおり角マップテーブルの作成処理を再度行う。すなわち、あおり角マップテーブルを更新する。そしてあおり／ズーム／フォーカス制御部１１３は、更新したあおり角マップテーブルをあおり角マップテーブル記憶部１１４に記憶されているあおり角マップテーブルに対して上書きする。

撮像素子１０６をあおって更新する場合、あおり角の角度が大きいと像がボケてしまい、見栄えが悪い。そのため、被写界深度内でピント面が振れるようにあおり角を調整してもよい。

次にステップＳ７０５Ａでは、あおり／ズーム／フォーカス制御部１１３は、あおり角マップテーブルを更新できたか否かを判定し、更新できた場合はステップＳ７０４に戻る。一方、更新できなかった場合、例えば、撮像素子のあおり角を制限したことによってコントラスト値のピークが見つけられなかった場合は、ステップＳ７０６に進み、更新失敗フラグを立てる。そしてステップＳ７０４に戻る。

ステップＳ７０７では、あおり／ズーム／フォーカス制御部１１３は、更新失敗フラグが立っていないか否かを確認する。更新失敗フラグが立っていない場合は、現在のあおり角マップテーブルは最新のものになっていて信頼性が高い。このため、あおり／ズーム／フォーカス制御部１１３は、実施例１のステップＳ４０５と同じステップＳ７０８に進む。一方、更新失敗フラグが立っている場合は、あおり角マップテーブルの信頼性が低く、実施例１と同様の処理を行うとＴＥＬＥ方向のズーミング後にボケた状態になる可能性が高い。このため、あおり／ズーム／フォーカス制御部１１３は、実施例１のステップＳ４１１と同じＳ７１４に進む。

ステップＳ７０８～Ｓ７１６の処理は、実施例１のステップＳ４０５～Ｓ４１３と同じである。

本実施例によれば、あおり角マップテーブルの作成後に被写体が移動した場合でも、あおり角マップテーブルを更新することによって、ズーミングに伴う撮像素子のあおり角補正制御を自動的かつ良好に行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 変倍レンズ
１０６ 撮像素子
１１４ あおり角マップテーブル記憶部
１１２ 撮像素子駆動部
１１３ あおり／ズーム／フォーカス制御部

Claims (8)

1. 焦点距離が可変である撮像光学系により形成された光学像を撮像する撮像素子と、
   前記撮像光学系の光軸に直交する面に対する前記撮像素子のあおり角を制御する制御手段とを有し、
   前記制御手段は、
   前記焦点距離が第１の焦点距離であるときに、前記撮像素子上において互いに像高が異なる複数の領域のそれぞれに対して、それぞれの領域に含まれる被写体にピントが合う第１のあおり角を記憶し、
   前記焦点距離が前記第１の焦点距離より長い第２の焦点距離に変更された場合に、前記複数の領域のうち前記焦点距離の変更後の撮像画面に含まれる特定領域に対して記憶された前記第１のあおり角を用いて、前記特定領域で撮像される被写体にピントが合う第２のあおり角を算出し、
   前記あおり角を前記第２のあおり角に変更することを特徴とする撮像装置。
2. 前記第２のあおり角は、前記撮像画面の全体においてピントが合うあおり角であることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記特定領域は、前記撮像画面における最大像高に最も近い像高の領域であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記複数の領域のうち少なくとも２つの領域に対して記憶された前記第１のあおり角の平均値、中央値または重み付け値を用いて前記第２のあおり角を算出することを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
5. 前記制御手段は、前記焦点距離が前記第１の焦点距離よりも短い第３の焦点距離に変更された場合は、前記あおり角を変化させながら前記撮像素子の前記特定領域からの出力を用いて生成される映像信号のコントラスト値が最も高くなる第３のあおり角を検出し、前記あおり角を前記第３のあおり角に変更することを特徴とする請求項１から４いずれか一項に記載の撮像装置。
6. 前記制御手段は、前記焦点距離の変更が指示されるまで前記第１のあおり角を更新することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
7. 焦点距離が可変である撮像光学系により形成された光学像を撮像する撮像素子を有する撮像装置において、前記撮像光学系の光軸に直交する面に対する前記撮像素子のあおり角を制御する制御方法であって、
   前記焦点距離が第１の焦点距離であるときに、前記撮像素子上の複数の領域のそれぞれに対して、それぞれの領域に含まれる被写体にピントが合う第１のあおり角を記憶するステップと、
   前記焦点距離が前記第１の焦点距離より長い第２の焦点距離に変更された場合に、前記複数の領域のうち前記焦点距離の変更後の撮像画面に含まれる特定領域に対して記憶された前記第１のあおり角を用いて、前記特定領域で撮像される被写体にピントが合う第２のあおり角を算出するステップと、
   前記あおり角を前記第２のあおり角に変更するステップとを有することを特徴とする撮像装置の制御方法。
8. 焦点距離が可変である撮像光学系により形成された光学像を撮像する撮像素子を有する撮像装置のコンピュータに、請求項７に記載の制御方法に従う処理を実行させることを特徴とするコンピュータプログラム。

Images