JP6586239B2 - 撮影装置及び撮影方法 - Google Patents

Description

本発明は、監視用に用いられる撮影装置及び撮影方法に関する。

従来、カメラから取得した映像を画像処理することにより、監視または計測するエリアに現れる人や車両などの物体を認識する機能を有する映像監視システムが提案されている。
この映像監視システムは、カメラの検出結果を利用することにより、例えば、何らかの表示装置への警告表示あるいはアイコンの表示、またはブザー等を鳴らすなどして、監視員の注意を促すことができる。したがって、映像監視システムは、常時確認作業が必要であった従来の監視業務において、その負担低減に役立っていた。

また、カメラシステムを車やロボットのような移動体に設置し、周辺を認識して安全運転制御に活用したり、人をサポートするようなサービスロボットとして活用したりすることも一般的となっている。
更には、精度の向上等を目指して、ステレオカメラを用いて被写体までの距離を計測することにより、画像のみに比べてより安定な認識機能を実現する映像監視システムも提案されている。

また、車載の撮像装置などにおいて、逆光、暗闇などの明暗の激しい条件や、路面状態などの外部環境に影響されないようにしたステレオカメラも提案されている（特許文献１参照）。この特許文献１に記載の技術は、ステレオカメラからのステレオ画像データから視差画像データを生成し、視差画像データの正常または異常を判別することで、カメラが正常状態であるか、あるいは異常状態にあるかを判断するものである。

特開２０１４−６２４３号公報

しかしながら、従来の映像監視システムにおいては、例えば、カメラに何らかの異常が発生したり、カメラに汚れや付着物などがあったりした場合には、所望の検出精度を確保することができなかった。このため、カメラの異常などにより、映像監視システムの信頼性を損なうという問題があった。
また、窃盗などの不正行為を行う侵入者が、証拠となる映像を取得されないよう、カメラで撮影する角度を変更したり、カメラの前に遮蔽物を置いたり、あるいはカメラレンズに危害を加えるなどの行為を行うことがあり、問題になっていた。

また、特許文献１に記載の技術は、視差画像データの分布に基づいて、カメラの正常と異常を分類するため、この分類は、視差が取得可能な状態になって初めて機能する。このため、撮影が困難な暗所で視差画像データが得られない場合や、撮影した際の輝度分布が平面的に一様であって画像上の変化が見られないような場合には、カメラの正常と異常を明確に分類することが困難であった。

また、このようなカメラ装置をセキュリティ分野で活用する場合には、仮にカメラ装置が正常であっても、侵入者が故意にカメラの向きを変えたり、カメラのレンズを覆い隠したりして映像監視システム自体が正常に動作しない場合が起こり得る。したがって、カメラ装置が単に正常か異常かというだけの分類では、侵入者等による犯行を未然に防ぐことができないという問題があった。

更に、特許文献１に記載のものは、視差情報が正常にとれないものを異常と判断しており、視差情報が正常にとれている場合には、レンズに汚れが付着していても、その汚れが無視されて、汚れを汚れとして判断しなくなる。つまり、本来ならばカメラのレンズに汚れがある場合、異常と判断するべきであるのに、正常と判断してしまうという誤りが起こる可能性がある。したがって、カメラの状態判定が正常に行われないという問題が発生する。

本発明の目的は、画像処理により物体を認識する場合に、セキュリティレベルを下げることなく、カメラ装置を含むシステム全体の信頼性を向上させることにある。

上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。
上記の課題を解決するため、本発明の撮影装置は、２台以上のカメラで構成されるステレオカメラと、このステレオカメラからの画像データに基づいて、視差情報を取得する画像処理部と、ステレオカメラによる撮影状況の異なる複数の画像情報を予め診断パターンとして記憶する診断パターンデータベースと、を備える。
また、診断パターンデータベースに記憶されている撮影状況の異なる複数の画像情報を参照して、画像処理部から得た視差情報からカメラの状態を判別し、カメラの状態診断を行う状態診断部と、状態診断部の診断結果を受けて、ステレオカメラの照明制御、シャッター制御、姿勢制御のうち少なくとも１つを行うカメラ制御部と、を備える。

また、本発明の撮影方法は、ステレオカメラにより監視すべきエリアを撮影して左右の画像データを得る工程と、画像処理部により、ステレオカメラで撮影した左右の画像データに基づいて、撮影した画像に対する視差情報を取得する工程と、ステレオカメラで撮影した、撮影状況の異なる複数の画像情報を、予め診断パターンとして診断パターンデータベースに記憶する工程と、画像処理部で取得した視差情報と、診断パターンデータベースに予め記憶されている撮影状況の異なる複数の画像情報から、状態診断部によりカメラの状態を判別し、カメラの状態診断を行う工程と、を含む。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明によれば、セキュリティレベルを下げることなく、カメラの状態の正常か異常かの判定を安定に行うことができる。またカメラの状態から適切なモードへの切り替えを適切に行うことにより、何らかの要因でカメラの性能が低下した場合でも、アプリケーションを安定に実行可能とすることができる。更にはカメラの状態に応じた処理を実行することで、システム全体の信頼性を高めることができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明による一実施形態の例である撮影装置の全体構成を示すシステムブロック図である。 本発明の一実施形態の例である撮影装置に用いられるステレオカメラの内部機能を説明するためのブロック図である。 本発明の一実施形態の例である撮影装置に用いられるステレオカメラの外観図である。 本発明の一実施形態の例である撮影装置に用いられる画像処理部の機能を示す機能ブロック図である。 本発明の一実施形態の例である撮影装置に用いられる状態診断部の機能を示す機能ブロック図である。 本発明の一実施形態の例である撮影装置において計測される環境の例を示した図である。 本発明の一実施形態の例である撮影装置におけるステレオカメラの制御パターンを示した図である。 本発明の一実施形態の例である撮影装置において得られる検出結果の例を示した図である。 本発明の一実施形態の例である撮影装置における処理モードの状態遷移を示した図である。 本発明の一実施形態の例である撮影装置における状態診断のための診断パターンと判定結果を示した図である。

＜本発明の一実施形態例の全体構成＞
以下、本発明の一実施形態である撮影装置の例（以下、「本例」という）について、添付図面を参照して説明する。
なお、本発明は、監視用カメラシステム全般に適用可能な撮影装置であるが、以下、ステレオカメラ装置を例として説明する。

図１は、本例の撮影装置の一例としてのステレオカメラ装置を用いたシステム全体の構成を示すブロック図である。
本例の撮影装置は、ステレオカメラ１０と、画像処理部２０と、状態診断部３０と、診断パターンが記憶されるデータベースからなる記憶装置４０（以下、「診断パターンデータベース４０」という）と、カメラ制御部５０と、出力部６０を備える。
診断パターンデータベース４０には、予め撮影された複数の診断パターンが記憶されており、状態診断部３０は、ステレオカメラ１０から得られる視差情報をトリガーとして、診断パターンを参照してカメラの正常または異常を判定する。なお、この詳細については後述する。

［ステレオカメラ１０の構成］
図２は、本例に用いられるステレオカメラ１０の具体的な構成を示す。図２に示すように、ステレオカメラ１０は、レンズ部２０１、撮像部２０２、画像生成部２０３、を備える。更に、ステレオカメラ１０は、撮像制御部２０４、調整部２０５，投光部２０６，照明制御部２０７、及び姿勢制御部２０８を備える。なお、ステレオカメラ１０は、左右の画像を得るため、レンズ部２０１及び撮像部２０２は２個（一対）必要であるが、図２では簡略化して１個のレンズ部２０１及び撮像部２０２として示している。

レンズ部２０１は、撮影用の光学レンズである。撮像部２０２は、いわゆる画像センサであり、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子（いずれも図示せず）を含む画像センサが用いられる。

撮像部２０２は、レンズ部２０１から取り込んだ映像を電気信号に変換し、画像生成部２０３に供給する。画像生成部２０３は、撮像部２０２から送られた画像に対して、ノイズリダクションや色補正、画像合成などの所定の処理を実施し、処理後の画像データを後段の画像処理部２０に供給する。
撮像制御部２０４は、後述する調整部２０５からの制御信号に基づいて、撮像部２０２におけるカメラのシャッターや絞り、ズームなどのパラメータを制御する。

また、投光部２０６は、撮影する被写体に照明用の光を照射する部材であり、通常可視光が用いられるが、可視光以外にも、被写体に応じて近赤外光または遠赤外光を用いてもよい。この投光部２０６は、特に暗部のエリアにある物体を撮影する上で有効であり、これにより低照度の画像でも安定に取得することが可能になる。
照明制御部２０７は、後述する調整部２０５からの制御信号により、投光部２０６から照射される光の強度レベルを制御する。また、図１の状態診断部３０における状態診断の結果に応じて、例えば左右の照明を切り替える等の制御を行う場合もある。

姿勢制御部２０８は、カメラの姿勢や向きなどを変更する制御を行うものであり、これにより本例のステレオカメラ１０は、カメラの向きを動的に変更することが可能な、いわゆるパンチルトカメラの構成とすることができる。つまり、姿勢制御部２０８によってカメラの姿勢や向きを変更した後に、再度撮影を行うことにより、前とは異なる画像を得ることができるようになる。なお、パンチルトカメラとは、水平方向の角度（パン角度）と、垂直方向の角度（チルト角度）の２つを動的に変更できるものをいうが、水平方向または垂直方向のいずれか一方だけを変更可能にするようにしてもよい。

調整部２０５は、図１に示すカメラ制御部５０からの制御信号に基づいて、画像生成部２０３、撮像制御部２０４、照明制御部２０３、及び姿勢制御部２０８のそれぞれの機能を制御する。つまり、図１の状態診断部３０においてカメラの状態が診断された結果、状態診断部３０からのカメラ制御部５０に制御信号が供給される。そして、カメラ制御部５０は、調整部２０５を経由してステレオカメラ１０の各部分に様々な制御信号を送り、上述したカメラの制御を行う。

図３は、図１及び図２に示すステレオカメラ１０の構成を一体化した装置として示したものである。図２のレンズ部２０１は２個必要であることから、図３ではレンズ３０１及びレンズ３０２として示している。また、図２の投光部２０６は図３では投光部３０３として示している。投光部３０３としては、例えばＬＥＤ（Light Emission Diode）が用いられ、この投光器３０３からの投光（照射光）が被写体となる物体で反射されて、ステレオカメラ１０のレンズ部３０１、３０２に入射する。これによりステレオカメラ１０から被写体の左右の画像が得られる。

図３に示すように、投光部３０３は照射される光量を考えて、複数個のＬＥＤが設けられている。そして、投光部３０３から照射する光の向きや被写体までの距離などに応じて、これら複数のＬＥＤを制御することで、特定の領域に向けて投光部３０３から調整された光量の光をあてることが可能となる。

図３のステレオカメラ１０のステージ３０４は、図２のカメラ制御部５０が配置される部分であり、このステージ３０４は、例えば、水平方向及び垂直方向の２軸でカメラの姿勢を制御することができるマニピュレーション機能を備えている。したがって、ステージ３０４に配置されるカメラ制御部５０により、カメラの向きを特定の方向に向けることができる。また、後述するように、カメラが異常と判定された場合などには、カメラの方向を自在に変更して再度の撮影を行うようにする。

再び図１に戻り、本例の撮影装置の全体構成について説明を続ける。ステレオカメラ１０によって取得した左右の画像データは、画像処理部２０に転送される。画像処理部２０では、後述する図４に示すような処理が実行され、その処理された結果が状態診断部３０に転送される。

図１に示すように、本例の撮影装置は、診断パターンデータベース４０を備えている。この診断パターンデータベース４０には、ステレオカメラ１０による撮影状況の異なる複数の画像情報に基づいて、予めカメラの状態を分類した診断パターンが記憶されている。
この工程は、本例の撮像方法における、ステレオカメラで撮影した、撮影状況の異なる複数の画像情報を予め診断パターンとして診断パターンデータベースに記憶する工程となる。

状態診断部３０は、図５で後述するように、診断パターンデータベース４０に予め記憶されている診断パターンを読み出し、この診断パターンを参照して、画像処理部２０からの出力データの診断処理を行う。状態診断部３０の処理結果は、出力部６０に送られ、通常、液晶表示装置やＣＲＴ（Cathode Ray Tube）表示装置等の端末装置を用いて映像として提示することができる。

なお、出力部６０に出力される診断結果は、ＲＧＢ（Red-Green-Blue）のモニタ出力として表示してもよいし、あるいはデータファイル出力として、ネットワーク経由で中央のサーバに送信するようにしてもよい。更に、例えばブザー等の警報機を使って、周囲に注意を促すようにすることも可能である。

また、状態診断部３０は、その診断結果をステレオカメラ１０に対する制御データとしてカメラ制御部５０に送る。カメラ制御部５０は、状態診断部３０から送られた制御データに基づいて、ステレオカメラ１０に対する制御を実行する。すなわち、上述したように、カメラ制御部５０からの制御信号により、ステレオカメラ１０の調整部２０５を経由して、撮像制御部２０４、画像生成部２０３、照明制御部２０７及び姿勢制御部２０８を制御する。

［画像処理部２０の構成及び機能］
図４は、図１の画像処理部２０の機能をブロックとして表した機能ブロック図である。図４に示すように画像処理部２０は、カメラ画像取得部４０１、歪補正部４０２、視差計測部４０３及び物体検出部４０４を備える。
なお、本例の撮影装置においては、事前の準備としてステレオカメラ１０内の左右のレンズ間の距離、レンズの焦点距離、カメラの高さ、及びカメラの向きなどのカメラと実環境の位置関係は、予め取得されているものとする。つまり、カメラが設置されている実環境の中でのカメラ位置を示す座標系は、事前にキャリブレーションによって求めておくことが必要である。

ステレオカメラ１０の向きや姿勢などの外部パラメータについては、一般に実環境上にチェッカーチャートのようなパターンを投影するか、もしくはカメラのレンズに貼り付けることにより、予め求めることができる。この手法は、例えばZ. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.に示されている。これにより、ステレオカメラ１０と撮影する物体との位置関係が分かり、検出された物体についても、実環境での位置を特定することが可能となる。

また、ステレオカメラ１０のレンズの歪み、あるいは焦点距離等の内部パラメータについても、外部パラメータと同様に、チェッカーチャートのようなパターンを投影もしくは貼り付けることにより予め求めることができる。

通常、ステレオカメラ１０はパッシブ（受動的）なセンサとして用いられるが、このステレオカメラ１０の代わりに、３次元情報を取得可能なパターン照射型のアクティブセンサを用いることもできる。また、Time-of-Flight型として知られている、レーザー光等の照射光が被写体から反射して戻ってくるまでの時間を測定することが可能なアクティブセンサを用いることもできる。このように、パターン照射型センサやTime-of-Flight型のアクティブセンサを用いることで、パッシブなセンサに比べて、容易に物体の位置を特定することができるようになる。

図４に示すように、画像処理部２０は、カメラ画像取得部４０１においてステレオカメラ１０から左右のカメラ画像を取得する。次に、歪補正部４０２は、カメラ画像取得部４０１で取得した左右のカメラ画像を所定のパラメータに基づいて歪補正を行う。この歪補正は、平行ステレオ処理における平行化処理により、事前に取得したカメラの内外パラメータに基づいて実行される。

一般に、ステレオカメラ１０の左右のカメラ画像は、左右同時に処理がなされる「平行ステレオ処理」が行われるが、レンズの特性等によって片方または両方のレンズに歪みが生じ、本来平行な直線となるべき格子が歪んで、曲率を持った曲線になることがある。このため、この歪みを持った曲線が平行な直線になるように歪み補正を行った後に、左右の画像を比較する必要がある。このような処理が「平行化処理」であり、これにより左右のカメラ画像の照合が容易になり、視差画像データが求めやすくなる。

歪補正部４０２で歪補正がなされたステレオカメラ画像は、視差計測部４０３に入力され、ここで視差計測が行われる。この視差計測部４０３は、左右のカメラ画像の画素ごとに左右の視差情報（左右の位置のズレ量）を求める。また、画素毎に求めた視差情報から、三角測量の原理によって被写体までの距離を算出することもできる。その意味で視差情報と距離情報は等価な情報であるので、以下では、距離情報も含めて「視差情報」と言う言葉で統一して説明する。
この工程が、本例の撮像方法における監視すべきエリアを撮影して左右の視差データを得る工程になる。

視差計測部４０３の出力は、物体検出部４０４に送られ、ここで、例えば侵入者等の人物の位置やカメラ付近に存在している物体などが検出される。具体的には、物体検出部４０４は、視差計測部４０３からの画像データと、予め撮影しておいた背景情報との差分をとるなどの手法を用いて容易に物体の検出を行うことができる。
そして、物体検出部４０４の検出結果が図１に示す状態診断部３０に送られる。以上、画像処理部２０のカメラ画像取得部４０１から物体検出部４０４までの処理工程が、ステレオカメラで撮影した左右の画像データに基づいた視差情報を取得する工程になる。

以上の処理で、人物や車両などの物体が検出されるが、カメラ側に汚れがあると、それによって、検出されるべき物体が正常に検出されなかったり、検出されてはいけない汚れ等が人物と誤認されて検出されたりすることが起こり得る。あるいは、カメラのレンズの前に、妨害者等が遮蔽物を置くこともあり、そのような場合にも同様に検出されるべき物体が検出されなくなるといった状況が発生する。このような場合、カメラで撮影された物体が、実際の侵入者なのか、ゴミのような汚れなのかを明確に区別できるような対策を講じる必要がある。

［状態診断部３０の構成及び機能］
次に、図５を参照して、状態診断部３０の構成及びその機能について説明する。
図５に示すように、状態診断部３０は、結果取得部５０１、データ取得部５０２及び状態判定部５０３を備える。
結果取得部５０１は、画像処理部２０からその処理結果である視差情報を取得する。
また、データ取得部５０２は、所定の条件に基づいて予め作成して診断パターンデータベース４０に記憶されている診断パターンを取得する。そして、結果取得部５０１から入力された視差情報とともに、取得した診断パターンを状態判定部５０３に送る。

更に、状態判定部５０３は、データ取得部５０２が取得した診断パターンを参照して、結果取得部５０１からの視差情報に基づいてカメラの状態判定を行う。なお、状態判定部５０３における判定結果は、図１に示すカメラ制御部５０及び出力部６０に出力される。
以上、状態診断部３０の結果取得部５０１、データ取得部５０２及び状態判定部５０３の処理工程が、カメラの状態を判別し、カメラの状態診断を行う工程になる。

次に、図５に示す状態診断部３０の処理の詳細について、図６〜図８を参照して説明する。
図６は、ステレオカメラ１０で撮影する典型的な３つの物体の例を示した模式図である。
すなわち、図６では、ステレオカメラ１０に対して、カメラ付近の小さな物体Ａ、遠方の大きな物体Ｂ、及び遠方にある発光体Ｃの３つを設けている。物体Ａは、ステレオカメラ１０から近い場所（近傍１ｍ）にあり、物体Ｂはステレオカメラ１０から遠い場所（遠方１０ｍ）にあると仮定する。また、発光体Ｃは、物体Ｂよりも更に遠方にある、自ら発光する物体（自発光する物体）であると仮定する。

図６に示す、ステレオカメラ１０から１ｍの距離に置かれている小さな物体Ａと、ステレオカメラ１０から１０ｍの距離に置かれている大きな物体Ｂでは、ステレオカメラ１０で撮影した画像サイズがほぼ同じ大きさの画像になるものとする。また、図６の発光体Ｃは、自発光してステレオカメラ１０に光を入射するため、侵入者などの物体として誤認識される可能性がある。本例では、特に夜間における暗所で、照明なしでは撮影が困難な状況で、侵入者等の人物や危険物等の物体を撮影するケースとして、以下、説明する。

［撮影パターンの分類とその動作シーケンス］
図７は、ステレオカメラ１０の撮像制御部２０４及び照明制御部２０７の動作シーケンスを示したものである。図７の横軸は時間軸を示すとともに、区間(1)から(5)のそれぞれの区間は、本例の撮影装置における投光及びシャッター制御のパターン(1)〜(5)（以下、「撮影パターン(1)〜(5)」と称する）を示している。

ここでは、照明制御として、図２の投光部２０６からの投光が、近傍１ｍの距離を撮像するための「弱い強度」の照明と、遠方１０ｍの距離を撮像する「強い強度」の照明の２つに簡略化して説明する。また、シャッター制御は、シャッターの露光時間が長い場合と、露光時間が短い場合の２つに簡略化している。

撮影パターン(1)は、ステレオカメラ１０の投光部２０６がステレオカメラ１０から近くのエリア（１ｍ離れた近傍）を、弱い照明でかつ長い露光時間で撮影するパターンである。
撮影パターン(2)は、ステレオカメラ１０の投光器２０６からの投光なしでかつ長い露光時間で撮影するパターンである。

撮影パターン(3)は、ステレオカメラ１０の投光部２０６がステレオカメラ１０から遠くにあるエリア（１０ｍ離れた遠方）を、強い照明でかつ長い露光時間で撮影するパターンである。
撮影パターン(4)は、ステレオカメラ１０の投光器２０６からの投光なしでかつ短い露光時間で撮影するパターンである。
撮影パターン(5)は、ステレオカメラ１０の投光部２０６がステレオカメラ１０から１ｍ離れた位置を、弱い照明でかつ短い露光時間で撮影するパターンである。

図７に示す「画像処理」は、図４の画像処理部２０における画像処理のタイミングが一定の処理周期で実行されていることを示す。そして、この画像処理は、画像データとして生成する時間を考慮して、そのタイミングはシャッター動作の次の周期になること、つまり撮影パターン(1)で撮影した画像の処理が、次の撮影パターン(2)が実施されている期間で処理されることを示している。

図８は、図７のそれぞれの撮影パターン(1)〜（5）を用いて図６の物体Ａ、物体Ｂ及び発光体Ｃを撮影した画像を示したものである。
撮影パターン(1)では、物体Ａはカメラから近い物体であり、かつ露光時間が長いため、投光器２０６からの投光が弱い照明であっても、明確な画像として検出される。図８では明確な画像を黒色の楕円で表している。以下、このような検出を「明確な検出」と定義する。

また、撮影パターン(1)では、物体Ｂはカメラから１０ｍ離れた位置にあるので投光器２０６の投光が弱い照明では検出されない。更に発光体Ｃは自ら発光する物体なので、投光器２０６からの投光が弱い場合でも、淡いぼんやりとした光として検出される。このように、淡いぼんやりとした光の物体として検出されることを、ここでは「淡い検出」と定義する。図８では、「淡い検出」を中間色である灰色の楕円で表している。

撮影パターン(2)は、投光部２０６からの投光がなく、露光時間が長い場合である。カメラから近い位置にある物体Ａは、投光部２０６からの投光がない場合でも、露光時間が長いため、うっすらと検出される。この検出は、ノイズを含むような、いわば検出される部分と検出されない部分が混じったような検出結果になるので、以下、このような検出のされ方を「微小検出」と定義することにする。図８では、この「微小検出」を点線の白抜きの楕円で表している。

物体Ｂはカメラから遠方（１０ｍ先）にある物体なので、投光がない状態では検出されない。また、発光体Ｃは、投光部２０６からの投光がある撮影パターン(1)に比べて、投光がない分、より明確な画像として検出される。これは、発光体Ｃが自ら光を放つ物体であるため、照明光がない方がよりくっきりとした画像として検出されるからである。

撮影パターン(3)は、投光部２０６から強い強度の照明光が発せられる状態で、かつシャッターの露光時間が長い場合である。この場合には、近くの物体Ａ、及び遠くの物体Ｂともに「明確な検出」になる。照明用の投光が強いため、遠くのエリアまで十分に届くからである。ただ、発光体Ｃの場合は、発光した光が照明用の光で打ち消されるため、ほとんど検出されないか、ぼんやりした薄い画像として検出される。いわゆる「微小検出」に近い画像となる。

撮影パターン(4)は、投光部２０６からの投光がなく、シャッターの露光時間も短い場合である。この撮影パターン(4)では、投光がなく、露光時間も短いため、近くの物体Ａ及び遠くの物体Ｂのいずれも検出されない。しかし、発光体Ｃについては、投光による照明がない分、自発光の光が明確に検出される。

最後に撮影パターン(5)は、投光部２０６の発光が弱い状態で、かつシャッターの露光時間も短いパターンである。このため、近くに置かれている物体Ａは「淡い検出」として検出される。しかし、１０ｍ先のような遠くに置かれた物体Ｂは、検出されない。また、発光体Ｃは、投光部２０６による投光がない分、自発光の光が「淡い検出」として検出される。

次に、以上の撮影パターン(1)〜(5)を比較して、近傍の物体Ａ、遠方の物体Ｂ及び発光体Ｃのそれぞれに焦点を当てて、その各撮影パターン(1)〜(5)における撮影の状態を説明する。
カメラ近傍の物体Ａについては、撮影パターン(1)の弱い照明、及び撮影パターン(3)の強い照明のいずれでも、露光時間が長いため明確に検出される。しかし、撮影パターン(2)、(4)では投光がないので、露光時間が長い撮影パターン(2)では「微小検出」になるが、露光時間が短い撮影パターン(4)では検出されない。撮影パターン(5)は露光時間が短いため、露光時間が長く「明確な検出」になる撮影パターン(1)と比べて、露光時間が短い分だけ「淡い検出」になる。

次に、カメラから遠方にある物体Ｂの場合、強い照明でかつ露光時間が長い撮影パターン(3)以外では、検出されない。
また、遠方にある発光体Ｃの場合は、照明が投光されている撮影パターン(1)、(5)では、「淡い検出」になり、撮影パターン(3)では、照明の強度が強いため、発光体Ｃ自体が目立たない、「微小検出」になる。なお、発光体Ｃは自発光するため、投光が消されている撮影パターン(2)、(4)では「明確な検出」になる。

以上、撮影パターン(1)〜(5)に基づいて、物体Ａ、物体Ｂ及び発光体Ｃに代表される３種類の物体を検出する方法を説明した。
本例の撮影装置では、ステレオカメラ１０を使用するため、図８の黒い楕円で示すように、物体の「明確な検出」が得られれば、視差計測部４０３はその視差情報から物体までの距離を正確に測定することができる。
例えば、撮影パターン(1)では、カメラの近傍の物体Ａの距離を測定することができ、撮影パターン(3)であれば、カメラの近傍の物体Ａ及び遠方の物体Ｂの両方の距離を測定することができる。

一方、発光体Ｃの場合は、撮影パターン(2)と撮影パターン(4)で「明確な検出」となるものの、自発光であるが故に、発光体の形状を正確に認識することが難しくなり、その結果、発光体Ｃまでの距離が誤って検出される可能性がある。
そこで、本例においては、これらの撮影パターン(1)〜(5)を使い分け、状態判定部５０３で、各撮影パターン(1)〜(5)によって得られた互いに相違する画像データから、発光体Ｃと物体Ａまたは物体Ｂとを区別する判定を行っている。
このため、ステレオカメラ１０に汚れや遮蔽物等の妨害による異常が発生しても、物体や発光体を正確に判別することができ、更にどのような事象であるかも正確に計測することが可能となる。

［撮影装置の処理モード］
次に、状態診断部３０の状態判定部５０３における状態判定の結果と、その処理モードの設定及びその状態遷移について、図９及び図１０を参照して説明する。
図９は、本例の撮影装置の処理モードの状態遷移を示した図であり、図１０は、本例の撮影装置の状態診断のための診断パターンと判定結果を示した図である。
図９の待機モードＳ１、診断モードＳ２、保守モードＳ３、警戒モードＳ４の４つの処理モードは、図１０の処理モード９７に対応している。

図９の待機モードＳ１は何もない状態に対応している。その段階で何らかの異常の可能性がある候補が見つかると、待機モードＳ１から診断モードＳ２に移る。診断モードＳ２に入ると、既に説明したような、複数の撮影パターン(1)〜(5)を駆使して、物体Ａ、物体Ｂ及び発光体Ｃなどの撮影とその診断が行われる。この場合、カメラの高さや向きあるいは照明等を変えて、様々なカメラ画像を取得し、その診断を行う。
診断モードＳ２における診断の結果、例えば侵入者が見つかったというような場合には、警戒モードＳ４に移行する。警戒モードＳ４になると、警戒モードになったことを告げる旨の表示または警報が出力される。そして、警報等が報知された後に、再び待機モードＳ１に戻る。

一方、診断モードＳ２における診断の結果、異常の候補が、侵入者ではなく、例えばレンズの汚れのようなものと判定された場合は、保守モードＳ３に移行し、何らかの保守が行われた後に、待機モードＳ１に復帰する。
また、診断モードＳ２における診断の結果、単に遠方の発光体Ｃを撮影しただけであり、特段の異常が認められなければ、再び待機モードＳ１に戻る。

図１０は、図７の撮影パターン(1)〜(5)に基づいてあるエリアの撮影を行った場合の診断パターン９８ａ〜９８ｄを示したテーブルの例である。この診断パターン９８ａ〜９８ｄは、予め図１に示す診断パターンデータベース４０に保存されるものである。

図１０の横軸で示す符号９１〜９５は、図１及び図４の画像処理部２０による画像処理結果に基づいた画像の判定基準を示している。この判定基準９１〜９５は、撮影パターン(1)〜(5)に対応しているため、図１０では、図７で示した撮影パターン(1)〜(5)と判定基準９１〜９５を対応付けて記載している。

なお、図１０における各行は診断パターンを表している。ここで、診断パターン９８ａ〜９８ｄにおいて、用いられている数値は、物体がどれだけ明確に検出されたかを示すものであり、「＞１００」（１００を超える値）は極めてくっきりと明確に撮影された「明確な検出」を示している。また、「＞２０」（２０を超える値）は「微小検出」を示し、「＞５０」（５０を超える値）はその中間の「淡い検出」を示している。これらの数値はあくまでも撮影及び診断の状況に応じて任意に設定することができるものである。

例えば、診断パターン９８ａの場合であって、ステレオカメラ１０の制御モードが撮影パターン(1)の場合には、近傍の物体Ａが判定基準９１で明確に検出される。すると、判定結果９６に示すように「異常候補」として判定される。この判定結果９６で「異常候補」と判定された場合には、処理モード９７は図９の「待機モードＳ１」から「診断モードＳ２」に移行する。

次に、診断パターン９８ｂの場合は、投光がある撮影パターン(1)及び(5)では「明確な検出」になり、投光がない撮影パターン(2)では「微小検出」になっている。投光がなく露光時間の短い撮影パターン(4)では検出されない。また、近傍のエリアへの投光があり、かつ露光時間が短い撮影パターン(5)では、「淡い検出」になる。このような場合には、ステレオカメラ１０自体に付着物がついている可能性が高いため、判定結果９６は「付着物」となって処理モード９７は「保守モードＳ３」に移行する。

また、診断パターン９８ｃの場合には、撮影パターン(3)だけで「明確な検出」になっており、それ以外の撮影パターン(1)、(2)、(4)、(5)では、何も検出されていない。このように、遠方の物体Ｂだけが検出された場合は、判定結果９６は、「遠方物体」となり、処理モード９７は「警戒モードＳ４」となる。なぜなら、例えば１０ｍ先の遠方に何物かが明確に検出されたことは、検出された物が侵入者の可能性があるからである。

診断パターン９８ｄの場合には、投光がある撮影パターン(1)と(5)では、「淡い検出」となり、投光がない撮影パターン(2)と(4)では、「明確な検出」になっている。また、遠方への投光がある撮影パターン(3)では、「微小検出」となっている。この場合、まさに図８の発光体Ｃの検出結果と同じ傾向になっている。したがって、判定結果９６は、検出された物体は発光体Ｃであると判断される。そして、侵入者の疑いがないと判断されて、処理モード９７は「待機モードＳ１」のままになる。

以上、本例では、ステレオカメラ１０による監視エリアの状態を検出する際に、カメラの照明制御と、カメラ制御のうちシャッター制御によって様々な画像を取得して、監視エリアの状態を分類することを説明した。
しかしながら、例えば図３の投光部３０３をカメラ近傍のエリアに照射させた場合には、初期の段階で物体候補としてその位置や向きが検出された物も、時間の経過とともに検出されなくなる。このようなケースでは、誤報と判定されることもあり得る。それに対して、遠方のエリアにある物体を撮影する場合には、そこにある物体が比較的長時間検出されるため、誤報と判定される可能性は少なくなる。

言い換えると、カメラの向きを移動させることによって、近傍の物体であるか、遠方の物体であるかを判断することができる。なぜなら、近傍の物体の場合は、物体の移動に沿ってカメラが移動する場合の検出位置の移動が大きくなり、遠方の場合は検出位置の移動が小さくなるからである。
また、本例では、ステレオカメラ１０として、説明しているが、２台以上のカメラ、例えば３台のカメラを使って、同様な処理を行うことができることはもちろんである。

また、処理モードを「保守」とした場合であって、例えばステレオカメラ１０の左右いずれかに汚れが検出され、それにより性能低下が懸念される場合がある。そのような場合には、セキュリティを確保するために、汚れが検出されなかった方の正常なカメラを活用して、動作を止めることなく一定以上の処理を実行し続けることが必要である。また同時に、コントロールセンタ等に通知することで、システムを停止することなく、セキュリティレベルを確保することも可能となる。

以上、本発明の撮像装置の一例として、ステレオカメラ１０を用いて、その視差情報に基づいて、近傍及び遠方の物体と発光体を検出して、監視エリアの状態診断を行う撮影装置及び撮影方法について説明した。しかしながら、本例で説明した例は、あくまでも一つの実施の形態例であり、本発明は、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の応用例あるいは変形例を含むことは言うまでもない。

例えば、上述した実施の形態例では、撮影モードとして、投光の強度とシャッターの露光時間の２つの組み合わせによる撮影パターン(1)〜(5)を示した。これに対して、投光の強度と方向、露光時間、絞り、カメラの向き（姿勢）、及びレンズの焦点距離を動的に制御し、それらの複数の組合せによって、複数の撮影パターンを設定するようにしてもよい。更には、画像センサをＲＧＢセンサのみならず、ＲＧＢに加えて赤外感度のあるセンサを用いることや、ゲイン調整などによってセンサ感度を変更することで、取得する撮影パターンを設定してもよい。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０・・・ステレオカメラ、２０・・・画像処理部、３０・・・状態診断部、４０・・・診断パターン記憶部、５０・・・カメラ制御部、６０・・・出力部、２０１、３０１、３０２・・・レンズ部、２０２・・・撮像部、２０３・・・画像生成部、２０４・・・撮像制御部、２０５・・・調整部、２０６、３０３・・・投光部、２０７・・・照明制御部、２０８・・・姿勢制御部、３０４・・・ステージ、４０１・・・カメラ画像取得部、４０２・・・歪補正部、４０３・・・視差計測部、４０４・・・物体検出部、５０１・・・結果取得部、５０２・・・データ取得部、５０３・・・状態判定部

Claims (7)

1. ２台以上のカメラで構成されるステレオカメラと、
   前記ステレオカメラからの画像データに基づいて、視差情報を取得する画像処理部と、
   前記ステレオカメラによる撮影状況の異なる複数の画像情報が予め診断パターンとして記憶される診断パターンデータベースと、
   前記診断パターンデータベースに記憶されている前記撮影状況の異なる複数の画像情報を参照して、前記画像処理部から得た前記視差情報からカメラの状態を判別し、カメラの状態診断を行う状態診断部と、
   前記状態診断部の診断結果を受けて、前記ステレオカメラの照明制御、シャッター制御、姿勢制御のうち少なくとも１つを行うカメラ制御部と、
   を備える撮影装置。
2. 前記状態診断部は、待機、診断、警戒、保守の４つの処理モードを診断し、診断の結果に応じて、前記４つの処理モードのいずれかの処理モードに移行する
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記状態診断部は、状態診断した結果に応じて前記４つの処理モードのいずれかの処理モードに移行した後に、事前に設定した待機の処理モードへ移行する
   ことを特徴とする請求項２に記載の撮影装置。
4. 前記カメラ制御部は、照明の強度と方向、露光時間、絞り、カメラの向き、センサ感度及び焦点距離を動的に制御し、その組合せによって、前記ステレオカメラは、前記複数の画像情報を取得する
   ことを特徴とする請求項１〜３のいずれか１項に記載の撮影装置。
5. 前記画像処理部は、
   前記ステレオカメラより、左右のカメラ画像を取得するカメラ画像取得部と、
   前記カメラ画像取得部で取得したカメラ画像の歪みを補正する歪補正部と、
   前記歪補正部で歪みが補正された前記左右のカメラ画像から前記視差情報を算出する視差計測部と、
   前記視差計測部で算出した前記視差情報に基づいて、被写体である物体を検出する物体検出部と、
   を備えることを特徴とする請求項１に記載の撮影装置。
6. 前記状態診断部は、
   前記画像処理部から入力された前記視差情報を取得する結果取得部と、
   前記結果取得部で取得した前記視差情報が入力されるとともに、前記診断パターンデータベースより、前記診断パターンデータベースに予め記憶されている前記ステレオカメラによる撮影状況の異なる複数の画像情報を取得することにより、判別すべきパラメータを取得するデータ取得部と、
   前記データ取得部で取得した前記判別すべきパラメータに基づいて、ステレオカメラの正常または異常状態を判別する状態判定部と、
   を備えることを特徴とする請求項５に記載の撮影装置。
7. ステレオカメラにより監視すべきエリアを撮影して左右の画像データを得る工程と、
   画像処理部により、前記ステレオカメラで撮影した前記左右の画像データに基づいて、撮影した画像に対する視差情報を取得する工程と、
   前記ステレオカメラで撮影した、撮影状況の異なる複数の画像情報を、予め診断パターンとして診断パターンデータベースに記憶する工程と、
   前記画像処理部で取得した前記視差情報と、前記診断パターンデータベースに予め記憶されている撮影状況の異なる複数の画像情報から、状態診断部によりカメラの状態を判別し、カメラの状態診断を行う工程と、
   を含む撮影方法。

Images