JP4293236B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、例えば監視装置用のビデオカメラに適用して好適な撮像装置及びその装置に適用される撮像方法に関し、特に、撮像される画像中の動体に追随して撮像を行う技術に関する。

従来、監視装置として使用されるビデオカメラ（監視カメラ）には、撮像して得た画像内の各部を画像認識して、その画像認識した結果から、車両などの動く物体を検出したり、或いは、侵入者などの人物を検出するなどの処理を行うものがある。これらの動く物体を検出した結果のデータは、例えば画像データに付随したデータとして出力させる。この監視装置から出力される画像データを表示させて監視を行うモニタ側では、例えば、動く物体の検出データを使用して、侵入者ありと警告表示を行うことが行われている。あるいは、動く物体がある場合に、そのときの画像データを記録装置で記録するようなことが行われている。

一方、監視カメラが装着する撮影用のレンズとして、ズームレンズを備えた構成としたものがある。ズームレンズを装着してあることで、撮像される画角を調整することができ、例えば、モニタで表示される特定の場所の画像を監視しながら、監視者の操作で、その監視画像中の特定箇所をズームアップするような処理が可能となり、より効果的な監視が行える。さらに、監視カメラとして、パン・チルタと称される可動機構を介して設置させるようにしたものがある。このパン・チルタを使用することで、監視カメラの水平方向の回転駆動と、仰角方向の駆動が行え、監視する方向の調整が可能である。このパン・チルタによる監視カメラの駆動についても、例えばモニタで表示された画像を監視する監視者の操作で行うのが一般的である。

特許文献１には、従来の監視用のビデオカメラの構成例についての記載がある。
特開２００６−２４５６５０号公報

ところで、監視用のビデオカメラを使用した監視を行う際には、監視者が操作を行うのではなく、監視装置が監視対象となる侵入者などを自動的に追尾できるようにすれば、監視者の負担が減り好ましい。ところが、例えば、単純に監視画像中の動きのある箇所にズームアップするようなことを行うと、その動きを検出した物体の動きが早いと、逆に撮像された画像の画角から、監視対象となる物体が外れてしまい、撮像画像で監視できない事態が発生してしまう。

同様に、パン・チルタを使用した撮像方向の調整についても、撮影画像の状態だけから簡単に調整することは困難である。従来行なわれているパン・チルタによる自動的な調整としては、例えば、決められた監視範囲内で、一定時間をかけてカメラの撮像方向を移動させるような、監視画像の状態とは無関係な動きを行うものが一般的であり、あまり高度な制御は行われていなかった。

本発明はかかる点に鑑みてなされたものであり、撮像画像による自動的な監視が良好に行えるようにすることを目的とする。

本発明は、撮像される画角が可変可能なズームレンズを用いて撮像を行うと共に、撮像範囲を移動させる移動部に装着して撮像を行う場合において、撮像して得た画像信号から動体を検出するものに適用される。検出された動体の画角内での大きさを検出し、動体検出処理で検出された動体の単位時間当たりの動き量を示す動きベクトルを検出し、その動きベクトル検出処理で検出された動きベクトルを、基準値と比較する。そして、その比較結果に基づいて、ズームレンズの画角設定値を調整する。さらに、調整した画角で動体が収まるか判断し、収まらない場合に移動部で撮像範囲を移動させる制御を行う。

このようにしたことで、動きベクトルに基づいて予測される動体の位置が適正か否か判断することになり、ズームレンズの画角調整が、動体の予測位置に基づいて適正に行われる。

本発明によると、ズームレンズの画角調整が、動体の予測位置に基づいて適正に行われ、動体の撮像を適正なサイズで自動的に行うことが可能になる。

以下、本発明の一実施の形態を、図１〜図５を参照して説明する。

図１は、本実施の形態に適用される撮像カメラの構成例を示した図である。本実施の形態においては、監視用に使用される監視用のビデオカメラ（監視カメラ）として構成してあり、例えば一定のフレーム周期で動画の撮像を連続して行う構成としてある。監視カメラ１０は、パン・チルタ２０に載置してあり、パン・チルタ２０で監視カメラ１０を水平方向（パン方向）に回転させることができると共に、仰角（チルト方向）についても監視カメラ１０を回転させることができる構成としてある。パン・チルタ２０での回転駆動は、監視カメラ１０側かの指令などで行われる。

まず、監視カメラ１０の構成について説明する。監視カメラ１０は、画角調整が可能なズームレンズ１１が装着してあり、そのズームレンズ１１を介して得られた被写体の像光を、イメージャ１２に入射させる。イメージャ１２は、例えばＣＣＤ型撮像素子やＭＯＳ型撮像素子などが適用される。ズームレンズ１１は、後述するズーム駆動部１７による駆動で自動的に画角調整が行なわれるものであり、例えば比較的ズーム倍率が高いレンズ構成のものが使用される。イメージャ１２では、受光した像光に基づいて撮像信号を出力する。出力された撮像信号は、撮像部１３で規定された画像データ（映像データ）とする撮像信号処理を行う。

撮像部１３が出力する画像データは、データ処理部１４に供給する。データ処理部１４では、画像データを伝送用の所定のフォーマットの画像データとするデータ処理を行う。また、画像データで示される画像中から、画像の内容を判別する画像解析処理などの、画像処理に関するデータ処理が、このデータ処理部１４で実行される。本例では、データ処理部１４で、画像データで示される画像中に動体が含まれているか否か判別処理を行うようにしてある。この動体判別時には、動体のサイズ（画素値でのサイズ）と、動体の動き状態を予測した動きベクトル値を検出するようにしてある。データ処理部１４で処理された画像データは、出力部１５から外部に出力される。

撮像部１３での撮像用画像処理やデータ処理部１４でのデータ処理は、制御部１６の制御で実行される。制御部１６は、例えばＣＰＵ（中央制御ユニット）などと称される演算処理ユニットとそれに付随するメモリなどで構成される。後述する動体検出に基づいた撮像状態の制御についても、制御部１６の制御で実行される。

制御部１６は、ズーム駆動部１７の制御を行って撮像画角の制御を行う構成としてある。この撮像画角の制御は、例えば動体ベクトルの検出に基づいて行うようにしてある。その制御状態の詳細については、図２のフローチャートの説明の際に後述する。また、監視カメラ１０からの画像を表示させるモニタ側からの指令を制御部１６が受信して、その受信した指令によりズーム駆動部１７の制御を行って撮像画角の調整ができるようにしてもよい。

また制御部１６は、データ処理部１４での画像の解析結果に基づいて、画像内容に関するデータであるメタデータを、メタデータ生成部１８で生成させる構成としてある。例えば、画像中の動体の位置などのデータを、メタデータ生成部１８で生成させる。その生成されたメタデータは、出力部１５で画像データに付随するデータとして付加させ、その画像データとメタデータとを、監視を行うモニタ側（図示せず）に供給する。

パン・チルタ２０の構成としては、制御部２１を備え、その制御部２１が監視カメラ１０側の制御部１６とデータ伝送可能としてある。監視カメラ１０側の制御部１６から制御部２１には、動体の検出状態に基づいて、パン・チルタ２０の駆動を制御する指令が伝送される。その制御指令の伝送状態については後述する。

制御部２１に水平角を調整する指令が届くと、制御部２１からパン駆動部２２に対応した駆動指令を送り、水平方向に回転させるモータ２３をパン駆動部２２が駆動させる。また、制御部２１に仰角を調整する指令が届くと、制御部２１からチルト駆動部２４に対応した駆動指令を送り、仰角方向に回転させるモータ２５をチルト駆動部２４が駆動させる。なお、図１の構成では、監視カメラ１０からパン・チルタ２０側に指令を送る構成だけを示してあるが、監視カメラ１０からの画像を表示させるモニタ側からの指令についても、パン・チルタ２０が受け付けて、その指令により水平方向の調整や仰角の調整についても可能としてある。

次に、図２のフローチャートを参照して、本例の監視カメラ１０で行われる監視動作処理について説明する。まず、制御部１６は、監視用の撮像を行っている最中に、データ処理部１４に供給された画像データを使用して、動体を検知させる（ステップＳ１１）。この処理で、撮像画像中に動体が検知されるか否か制御部１６は判断し（ステップＳ１２）、動体が検知されない場合には、ステップＳ１１の動体検知処理を繰り返し実行させる。

ステップＳ１２で動体ありと判断された場合には、制御部１６は、その検出された動体の大きさと、動体の速度ベクトル（動きベクトル）を判定する（ステップＳ１３）。動体の大きさは、撮像された画像中の縦及び横の画素数で示される大きさであり、例えばデータ処理部１４内で動体を検知した際に該当する大きさのデータを生成させる。速度ベクトルは、単位時間当たりの動体の動き量と、その動く方向をベクトル化して示したもので、例えばデータ処理部１４内で生成させる。速度ベクトルで示される単位時間としては、例えば１秒とする。ここで判定した速度ベクトルについても、画像内で動体が動く量を示したものである。速度ベクトルは、例えば過去の単位時間（例えば過去の１秒間）の動体の動き量と、動いた方向から、次の単位時間後（例えば１秒後）の動体の位置を予測して示すものである。なお、１秒後の動体の位置を予測した速度ベクトルを得る場合、例えば過去の０．１秒間の移動量を見て、その過去の０．１秒間の移動量を１０倍して予測するようにしてもよい。

このようにして得られた速度ベクトルは、基準ベクトルとベクトルの大きさを比較する（ステップＳ１４）。基準ベクトルは、制御部１６内のメモリに予め設定されているものとする。そして、速度ベクトルと基準ベクトルと比較して（ステップＳ１５）、その比較で速度ベクトルの方が基準ベクトルよりも大きいと判断された場合には、速度ベクトルと基準ベクトルとのサイズがほぼ等しくなるように、ズーム駆動部１７に指令を送り、ズームレンズ１１で設定される画角を示す角度の値が大きくなるように（即ち広角側になるように）ズームアウトさせる調整を行う（ステップＳ１６）。
また、ステップＳ１５での比較で、速度ベクトルの方が基準ベクトルよりも小さいと判断された場合には、速度ベクトルと基準ベクトルとのサイズがほぼ等しくなるように、ズーム駆動部１７に指令を送り、ズームレンズ１１で設定される画角を示す角度の値が小さくなるように（即ち望遠側になるように）ズームインさせる調整を行う（ステップＳ１７）。
また、ステップＳ１５での比較で、速度ベクトルのサイズが基準ベクトルのサイズとほぼ等しいと見なせる範囲内である場合には、ズームレンズ１１で設定される画角をそのままとする。

その後、速度ベクトルで示される動体の単位時間後の予定位置が、撮像画像内であるか否か判断する（ステップＳ１８）。この判断で、撮像画像内である限りは、そのままの状態で撮像を継続して行う。そして、ステップＳ１８の判断で、単位時間後の動体の予定位置が、撮像画像からはみ出すと判断した場合には、制御部１６からパン・チルタ２０に指令を送り、速度ベクトルで示される方向に監視カメラ１０を移動させる（ステップＳ１９）。そして、ステップＳ１１の動体検知処理に戻る。

図３〜図５は、このようにして撮像画像から動体（自動車）が検知された場合の処理例を示した図である。この例では、撮像画像として、水平方向にＶｘピクセル数の画素が存在し、垂直方向にＶｙピクセル数の画素が存在しているとする。また、基準速度ベクトルのサイズを、各図の右下に示してある。
ここでは、図３に示したように、ある撮影画角で横方向にＯｘピクセルで、縦方向にＯｙピクセルの動体が検知されたとする。このとき、この動体の中心座標位置Ｇｘ、Ｇｙを判断し、その重心（中心）座標位置Ｇｘ、Ｇｙから、単位時間後の動体の予測位置を示す速度ベクトルを得る。図３では、速度ベクトルとして、水平方向及び垂直方向の動き量Ｓｘ、Ｓｙで示してある。

この図３の例では、図の右下に示す基準速度ベクトルのサイズよりも大きいため、広角側になるように画角調整が行われて、基準速度ベクトルと速度ベクトルとがほぼ等しくなるようにズームレンズ１１での画角調整が行われる。そのように画角調整が行われた上で、そのときに検知された動体に追尾するように、パン・チルタ２０の駆動制御が行われる。

図４の例では、検出された速度ベクトルＳｘｒ、Ｓｙｒが、基準速度ベクトルとほぼ等しい場合の例である。この場合には、ズームレンズ１１での画角調整が行われず、そのままの画角で撮像が行われ、そのときに検知された動体に追尾するように、パン・チルタ２０の駆動制御が行われる。

図５の例では、検出された速度ベクトルＳｘ、Ｓｙが、基準速度ベクトルより小さい場合の例である。この図５の例では、図の右下に示す基準速度ベクトルのサイズよりも小さいため、望遠側になるように画角調整が行われて、基準速度ベクトルと速度ベクトルとがほぼ等しくなるようにズームレンズ１１での画角調整が行われる。そのように画角調整が行われた上で、そのときに検知された動体に追尾するように、パン・チルタ２０の駆動制御が行われる。

このようにして、ズームレンズ１１での画角調整が適正に行われた上で動体に追尾するようになり、常に検知された動体を適正なサイズで撮像して、その動体に追尾した撮像が可能になる。ここで、動体のサイズとして、撮像される画素数で判断するので、常に動体がほぼ一定のサイズで撮像されるようになり、一定の解像度で撮像されて、良好な監視が行える。また、適正なサイズで撮像されることで、動体を追いかけて撮像することも良好に行え、良好な監視ができる。

なお、図２のフローチャートに示した処理では、動体の動きベクトル（速度ベクトル）と基準ベクトルとのサイズの比較だけに着目して処理を行うようにしたが、例えば撮像される画像中に、基準となる範囲（指定枠）を設定して、速度ベクトルで示される予測位置が、その範囲外になるか否か判断して、制御するようにしてもよい。

図６は、この場合の処理例を示したフローチャートである。まず、制御部１６は、撮像される画像中に指定枠を設定する。この指定枠は、例えば図７に示すように、撮像される画像全体の範囲をある程度狭めた範囲として設定する。
その上で、監視用の撮像を行っている最中に、データ処理部１４に供給された画像データを使用して、動体を検知させる（ステップＳ２１）。この処理で、撮像画像中に動体が検知されるか否か制御部１６は判断し（ステップＳ２２）、動体が検知されない場合には、ステップＳ２１の動体検知処理を繰り返し実行させる。

ステップＳ２２で動体ありと判断された場合には、制御部１６は、その検出された動体の大きさと、動体の速度ベクトル（動きベクトル）を判定する（ステップＳ２３）。動体の大きさの定義と、速度ベクトルの定義については、図２のフローチャートで説明した処理と同じである。そして、検知された動体は、指定枠内か否か判断する（ステップＳ２４）。ここで指定枠の外であると判断した場合には、制御部１６からパン・チルタ２０に指令を送り、動体の位置が指定枠内になるようにし（ステップＳ３０）、ステップＳ２１の処理に戻る。

ステップＳ２４で指定枠内に動体が位置していると判断した場合には、速度ベクトルで示される単位時間後の予測動体位置と、指定枠とを比較する（ステップＳ２５）。この比較の結果の判断を行い（ステップＳ２６）、単位時間後の予測動体位置が、指定枠から外れると判断した場合には、ズーム駆動部１７に指令を送り、ズームレンズ１１で設定される画角を示す角度の値が大きくなるように（即ち広角側になるように）ズームアウトさせる調整を行う（ステップＳ２７）。
ステップＳ２６での判断で、速度ベクトルの大きさが、指定枠の大きさと比較して、非常に小さいと判断した場合には、ズーム駆動部１７に指令を送り、ズームレンズ１１で設定される画角を示す角度の値が小さくなるように（即ち望遠側になるように）ズームインさせる調整を行う（ステップＳ２８）。
ステップＳ２６での判断で、速度ベクトルで示される予想位置が、指定枠内であると判断された場合には、ズームレンズ１１で設定される画角をそのままとする。

その後、速度ベクトルで示される動体の単位時間後の予定位置が、指定枠内であるか否か判断する（ステップＳ２９）。この判断で、指定枠内である限りは、そのままの状態で撮像を継続して行う。そして、ステップＳ２９の判断で、単位時間後の動体の予定位置が、撮像画像からはみ出すと判断した場合には、制御部１６からパン・チルタ２０に指令を送り、速度ベクトルで示される方向に監視カメラ１０を移動させる（ステップＳ３０）。そして、ステップＳ２１の動体検知処理に戻る。

図７〜図１０は、このようにして撮像画像から動体（自動車）が検知された場合の処理例を示した図である。この例では、撮像画像として、水平方向にＶｘピクセル数の画素が存在し、垂直方向にＶｙピクセル数の画素が存在しているとする。
ここでは、図７に示したように、ある撮影画角で横方向にＯｘピクセルで、縦方向にＯｙピクセルの動体が検知されたとする。このとき、この動体の中心座標位置Ｇｘ、Ｇｙを判断し、その重心（中心）の座標位置Ｇｘ、Ｇｙから、単位時間後の動体の予測位置を示す速度ベクトルＳｘ、Ｓｙを得る。この図７の例では、その速度ベクトルで示される単位時間後の予想位置（重心位置）が、指定枠を超える場合の例である。このような例の場合には、広角側になるように画角調整が行われて、動体のサイズが適正なサイズとなるようにズームレンズ１１での画角調整が行われる。そのように画角調整が行われた上で、そのときに検知された動体に追尾するように、パン・チルタ２０の駆動制御が行われる。この図７の状態で、ズームレンズ１１での画角調整をしない場合には、図８に示すように、動体が指定枠をはみ出してしまい好ましくないが、画角調整が行われることで、図８に示すような状態で撮像されることを効果的に防止できる。

図９の例では、検出された速度ベクトルＳｘ′、Ｓｙ′で示される予測位置が、指定枠内に収まる場合の例である。この場合には、ズームレンズ１１での画角調整が行われず、そのままの画角で撮像が行われ、そのときに検知された動体に追尾するように、パン・チルタ２０の駆動制御が行われる。

図１０の例では、検出された速度ベクトルＳｘ、Ｓｙが、指定枠のサイズと比較して必要以上に小さい場合の例である。この図１０の例では、速度ベクトルが指定枠のサイズと比較して非常に小さいため、望遠側になるように画角調整が行われて、適正なサイズとなるようにズームレンズ１１での画角調整が行われる。そのように画角調整が行われた上で、そのときに検知された動体に追尾するように、パン・チルタ２０の駆動制御が行われる。

このようにして、撮像される画像内に指定枠を設定して、その指定枠との比較を行うことで、より効果的な動体の監視が可能になる。

なお、図３〜図５の例、及び図７〜図１０の例では、速度ベクトルとして、いずれもほぼ水平方向に動いている例としたが、水平方向と垂直方向の動き量を判断して総合的な速度ベクトルを得る場合には、図１１（ａ）に示したように、円形モードでの最適化を行う場合と、図１１（ｂ）に示したように、矩形モードでの最適化を行う場合のいずれでもよい。即ち、図１１（ａ）に示した円形モードの場合には、水平方向と垂直方向の動き量が等しい場合、最適化した速度ベクトル値も、それぞれの動き量と等しくなる。一方、図１１（ｂ）に示した矩形モードの場合には、水平方向と垂直方向の動き量が等しい場合、両方向のベクトルで示される矩形図形内を斜めに横切るように、最適化されたベクトル値が決まる。従って、水平方向と垂直方向の動き量が等しくない場合には、図１１（ｃ）及び図１１（ｄ）に示すように、最適化ベクトル値が設定される。

本発明の一実施の形態による監視カメラの構成例を示すブロック図である。 本発明の一実施の形態による監視動作の例を示すフローチャートである。 本発明の一実施の形態による動体の動きベクトルが大きい場合の例を示す説明図である。 本発明の一実施の形態による動体の動きベクトルが適正な場合の例を示す説明図である。 本発明の一実施の形態による動体の動きベクトルが小さい場合の例を示す説明図である。 本発明の他の実施の形態による監視動作の例を示すフローチャートである。 本発明の他の実施の形態による動体の動きベクトルが大きい場合の例を示す説明図である。 本発明の他の実施の形態による動体の予測位置の例を示す説明図である。 本発明の他の実施の形態による動体の動きベクトルが適正な場合の例を示す説明図である。 本発明の他の実施の形態による動体の動きベクトルが小さい場合の例を示す説明図である。 動きベクトルの最適化例を示す説明図である。

符号の説明

１０…監視カメラ、１１…ズームレンズ、１２…イメージャ、１３…撮像部、１４…データ処理部、１５…出力部、１６…制御部、１７…ズーム駆動部、１８…メタデータ生成部、２０…パン・チルタ、２１…制御部、２２…パン駆動部、２３…モータ、２４…チルト駆動部、２５…モータ

Claims (4)

1. 撮像される画角が可変可能なズームレンズが装着され、撮像範囲を移動させる移動部に装着された撮像装置において、
   撮像して得た画像信号から動体を検出する動体検出部と、
   前記動体検出部で検出された動体の画角内での大きさを検出する動体大きさ検出部と、
   前記動体検出部で検出された動体の単位時間当たりの動き量を示す動きベクトル検出部と、
   前記動きベクトル検出部で検出された動きベクトルを、基準値と比較する比較部と、
   前記比較部での比較結果に基づいて、前記ズームレンズの画角設定値を調整すると共に、調整した画角で前記動体大きさ検出部で検出した大きさの動体が収まるか判断し、収まらない場合に前記移動部で撮像範囲を移動させる制御を行う制御部とを備えた
   撮像装置。
2. 請求項１記載の撮像装置において、
   前記制御部による画角設定値の調整は、検出された動きベクトルが基準値より大きい場合に画角を大きくし、検出された動きベクトルが基準値より小さい場合に画角を小さくし、検出された動きベクトルが基準値とほぼ同じである場合に画角を変更しない
   撮像装置。
3. 撮像される画角が可変可能なズームレンズを用いて撮像を行うと共に、撮像範囲を移動させる移動部に装着して撮像を行う撮像方法において、
   撮像して得た画像信号から動体を検出する動体検出処理と、
   前記動体検出処理で検出された動体の画角内での大きさを検出する動体大きさ検出処理と、
   前記動体検出処理で検出された動体の単位時間当たりの動き量を示す動きベクトル検出処理と、
   前記動きベクトル検出処理で検出された動きベクトルを、基準値と比較し、その比較結果に基づいて、前記ズームレンズの画角設定値を調整する共に、調整した画角で前記動体大きさ検出処理で検出した大きさの動体が収まるか判断し、収まらない場合に前記移動部で撮像範囲を移動させる制御を行う
   撮像方法。
4. 請求項３記載の撮像方法において、
   前記画角設定値の調整は、検出された動きベクトルが基準値より大きい場合に画角を大きくし、検出された動きベクトルが基準値より小さい場合に画角を小さくし、検出された動きベクトルが基準値とほぼ同じである場合に画角を変更しない
   撮像方法。