以下、図面を用いて本発明の実施例を説明する。
図1は、本発明の第1実施例に係る撮像装置を示す模式図である。図1において、0101は撮像部、0102は信号処理部、0103は他撮像信号検知情報取得部、0104は撮像制御部である。
図1に示した撮像装置において、撮像部0101はズームレンズまたはフォーカスレンズを含むレンズ群やアイリスやシャッタや近赤外カットフィルタやCCDまたはCMOS等の撮像素子や信号増幅器やAD変換器などを備え、撮像制御部0104の出力するアイリスの絞り量や露光時間などの制御情報に基づいて、撮像素子に入射した光を光電変換し、撮像信号として出力する。信号処理部0102は撮像制御部0104の出力する制御情報に基づいて、輝度・色信号生成処理や、ゲイン処理や、ノイズ除去処理や、ガンマ等の輝度・色補正処理や、コントラスト補正処理や、ホワイトバランス処理や、ダイナミックレンジ拡大処理や、雨滴除去処理や雪除去処理や映像信号生成処理などの撮像信号に対する補正処理を行い、補正した信号を映像信号として不図示のモニタや画像処理装置、録画装置などに出力する。また、信号処理の過程で、領域内の輝度信号や色信号の積分値やヒストグラムなどの、撮像制御や信号処理の制御を行う上で必要な解析情報を演算し、撮影時の明るさや、色温度や、濃霧らしさや、雨天らしさや、降雪らしさや、フリッカ状況などを推定して、検知情報として撮像制御部0104に出力する。また、補正途中ないし補正後の撮像信号に対し信号処理による画像認識を行って顔や動体などの特定の被写体の検出や、識別などを行い、その認識結果を検知情報として撮像制御部0104に出力しても良い。他撮像信号検知情報取得部0103は、他の撮像信号処理装置とイーサネットやシリアル等で接続し、他の撮像信号処理装置において他の撮像装置で撮像された撮像信号に信号処理を行うことで得られた検知情報を取得し、撮像制御部0104に出力する。ここで、他の撮像信号処理装置とは、他の撮像装置そのものや、他の撮像装置の出力する撮像信号を信号処理可能なPCないし専用の画像処理装置などを指す。撮像制御部0104は、信号処理部0102の出力する検知情報、または、他撮像信号検知情報取得部0103の出力する検知情報、または、不図示のユーザ入力部から入力したユーザ入力情報を用いて、撮像部0101の撮像条件や、信号処理部0102で行う信号処理の各制御パラメータを決定し、それぞれ撮像部0101、信号処理部0102に出力することで、露光制御や、画質制御や、ダイナミックレンジ拡大制御や、近赤外カットフィルタの着脱制御や、ホワイトバランス制御や、霧画像補正処理制御や、コントラスト拡大制御や、雨滴除去処理制御や、雪除去処理制御や、フリッカキャンセル制御や、信号処理を行うフレームレート制御や、信号処理を行う解像度制御や、被写体検出処理制御や、被写体認識処理制御などを行う。これにより、他のカメラで撮影した映像情報の検知結果と連携した撮像制御や信号処理の制御を行うことが可能となる。なお、信号処理部0102の信号処理や、他撮像信号検知情報取得部0103の他撮像信号処理装置への接続および検知情報の取得処理や、撮像制御部0104の撮像条件および信号処理の制御処理は、通常はカメラ内のマイコンやカメラ信号処理DSPや専用のASICやFPGAなどで行われる。また、信号処理部0102、他撮像信号検知情報取得部0103、撮像制御部0104の一部ないし全体をPCや専用の画像処理装置などが行う形態を取っても良い。
図2は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御シーケンスの一例を示す図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図2の他撮像信号検知情報を用いた撮像制御シーケンスにおいて、ST0201では、他撮像信号検知情報取得部0103は接続された他撮像信号処理装置に対し他の撮像装置で撮像された撮像信号より得られた検知情報の取得を要求する。ST0202では、他撮像信号検知情報取得部0103は、他撮像信号処理装置より取得可能な検知情報があるかを判定し、他撮像信号処理装置より検知情報が返ってきた場合はST0203へ、他撮像信号処理装置より返答された情報に検知情報が含まれていない場合、あるいは一定時間返答が返らず通信がタイムアウトとなった場合は、取得可能な検知情報はないと判定してST0206へ、それぞれ進む。ST0203では、撮像制御部0104は、信号処理部0102の出力する自カメラの検知情報と他撮像信号検知情報取得部0103の出力する他カメラの検知情報のうちいずれを使うかを選択する。これは、予めいずれを選択するかの選択情報を例えばEEPROM等の記録装置に記録しておき、制御時にその情報を取得して選択する。あるいは、ユーザがシリアル通信やカメラ付属のボタン操作等の不図示のユーザ入力部より、いずれの検知情報を使うかを選択し、その選択情報を以後使うようにしてもよい。その結果、他カメラの検知情報を使用する場合はST0204へ、他カメラの検知情報と自カメラの検知情報の重み付け平均結果を使用する場合はST0205へ、自カメラの検知情報を使用する場合はST0206へ、それぞれ進む。ST0204では、撮像制御部0104は、撮像制御に用いる検知情報として他撮像信号検知情報取得部0103より取得した他カメラの検知情報を選択する。ST0205では、撮像制御部0104は、撮像制御に用いる検知情報として他撮像信号検知情報取得部0103より取得した他カメラの検知情報と信号処理部0102の出力する自カメラの検知情報の重み付け平均結果を選択し、予め定めた所定の重み係数に従って他カメラの検知情報と自カメラの検知情報の重み付き平均を算出する。このとき、重み係数を例えばEEPROM等の記録装置に記録しておき、制御時にその情報を取得して選択しても良いし、ユーザがシリアル通信やカメラ付属のボタン操作等の不図示のユーザ入力部より重み係数を入力して、その重み係数を以後使うようにしてもよい。ST0206では、撮像制御部0104は、撮像制御に用いる検知情報として信号処理部0102の出力する自カメラの検知情報を選択する。ST0207では、撮像制御部0104は、ST0204からST0206において選択した検知情報を元に、撮像部0101の撮像条件、および、信号処理部0102の信号処理の各パラメータを演算し、それぞれ撮像部0101、信号処理部0102に出力する。撮像部0101の撮像条件、および、信号処理部0102の信号処理の各パラメータの項目および演算方法の例については、図3から図11を用いて後述する。これにより、必要に応じて自カメラの検知情報と他カメラの検知情報を切り替えて使用する、適用的な撮像制御や信号処理の制御を行うことが可能である。例えば、撮影を行いたいエリアに自カメラと他カメラを設置した場合に、自カメラのほうが撮影シーンの明るさや色温度等の検知情報を安定して得られる設置になっていれば自カメラの検知情報を使用して撮像制御を行い、他カメラのほうが撮影シーンの明るさや色温度等の検知情報を安定して得られる設置になっていれば他カメラの検知情報を使用して撮像制御を行うことで、より撮影シーンに適応した撮像制御が可能となる。また、必ずしも一方のカメラだけでは十分に安定した検知情報が得られない場合は、自カメラの検知情報と他カメラの検知情報の重み付き平均を使用することで、一方のカメラのみの検知情報のみを用いた場合に比べ、より撮影シーンに適応した撮像制御が可能となる。なお、図2で示す他撮像信号検知情報を用いた撮像制御シーケンスは、撮像部0101が撮像信号を出力する周期に対し、毎周期実施することでリアルタイムかつ高応答性な他の撮像装置と連携した撮像制御を行うことが可能となる。例えば60fpsで撮像および信号出力が可能な撮像素子を用いた場合、撮像制御も秒あたり60回行えばよい。また、一定間隔ごとの周期やユーザタイミングで行っても良く、この場合は処理負荷の低減を行うことが可能である。
図3は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第1の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図3は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御を露光制御に適用した場合の例である。図3(a)は、暗い室内に2つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは窓を介して明るい屋外が画角に入るように設置され、第2のカメラは暗い室内のみが画角に入るように設置されている様子を示している。図3(b)は、それぞれのカメラの検知情報を用いた場合の露光制御の目標値を示した図であり、横軸に検知情報として撮影シーンの明るさ推定値、縦軸に露光制御の目標値を取っている。撮影シーンの明るさ推定値は、例えば、撮像信号の所定の領域の輝度積分値などから算出される。図中に点線で示した直線は、検出された撮影シーンの明るさ推定値に対する適切な露光制御の目標値の例であり、撮影シーンが暗いほど露光目標を高くすることで適切な露光の映像が得られる。第1のカメラで算出した撮影シーンの明るさ推定値は、第2のカメラと同じく室内に設置されているものの、屋外が画角に入っているため日中は大きい値をとり、露光制御の目標値は低くなる。一方で第2のカメラの撮影シーンの明るさ推定値を用いた場合は露光制御の目標値は高くなる。第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラで検出した撮影シーンの明るさ推定値を取得し、第1のカメラの撮像制御部0104は、第1のカメラの撮影シーンの明るさ推定値、第2のカメラの撮影シーンの明るさ推定値、第1のカメラの撮影シーンの明るさ推定値と第2のカメラの撮影シーンの明るさ推定値の重み付き平均値、のいずれかを選択し、第1のカメラの露光制御にフィードバックする。ここで、露光制御は、撮像部0101のアイリスの絞り量やシャッタ、信号増幅器の増幅量、信号処理部0102のゲイン量の制御や、それに伴う、ノイズ除去の強さやコントラスト補正の強さなどの画質制御を指すものとする。図3(c)は、第1のカメラの撮影シーンの明るさ推定値を第1のカメラの露光制御にフィードバックした場合に得られる映像の例であり、図3(d)は、第2のカメラの撮影シーンの明るさ推定値を第1のカメラの露光制御にフィードバックした場合に得られる映像の例であり、図3(e)は、第1のカメラの撮影シーンの明るさ推定値と第2のカメラの推定値の平均値を第1のカメラの露光制御にフィードバックした場合に得られる映像の例である。図3(c)では、撮影シーンの明るさ推定値が実際の明るさに対し高いため、映像が十分な明るさとなるまで露光制御を行うことができないが、図3(d)では、実際の明るさに近い第2のカメラの撮影シーンの明るさ推定値を用いることで、撮影シーンに適切な露光制御を行うことが可能となっている。また、図3(e)では、第2のカメラの撮影シーンの明るさ推定値のみを用いたときに対し、室内の暗い領域は十分に明るくなっていないが、一方で露光を上げすぎて屋外の明るい領域が過剰に飽和することを防ぐことが可能である。このように、撮影シーンの明るさ推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応した露光制御を行うことが可能となる。
図4は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第2の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図4は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御をダイナミックレンジ拡大制御に適用した場合の例である。図4(a)は、図3(a)に示したカメラの配置において、第1のカメラの撮影シーンの明るさ推定値を第1のカメラの露光制御にフィードバックした場合に得られる映像および輝度ヒストグラムの例であり、図4(b)は、図3(a)に示したカメラの配置において、第2のカメラの撮影シーンの明るさ推定値を第1のカメラの露光制御にフィードバックした場合に得られる映像および輝度ヒストグラムの例であり、図4(c)は第1のカメラの撮影シーンの明るさ推定値を第1のカメラの露光制御にフィードバックした場合に得られる映像と、第2のカメラの撮影シーンの明るさ推定値を第1のカメラの露光制御にフィードバックした場合に得られる映像を信号処理部0102においてそれぞれ生成し、合成することで得られる映像およびその輝度ヒストグラムの例である。図4(a)では、屋外の明るさを含む撮影シーンに露光を合わせているため、室内の明るさは十分ではないが、屋外が飽和しない映像を得ることが可能である。また、図4(b)では、室内の明るさのみを含む撮影シーンに露光を合わせているため、室内は十分な明るさとなるが、屋外は飽和気味になる。図4(c)では屋外の明るさを含む撮影シーンに露光を合わせた映像と、室内の明るさのみを含む撮影シーンに露光を合わせた映像を合成することで、室内と屋外の両方の視認性が向上したダイナミックレンジの広い映像を得ることが可能となる。このように、撮影シーンの明るさ推定を安定して行うことのできる他のカメラの検知情報と自メラの検知情報を組み合わせて用いることで、撮影シーンに適応したコントラスト拡大制御を行うことが可能となる。
図5は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第3の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図5は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御を近赤外カットフィルタ着脱制御に適用した場合の例である。図5(a)は、図3(a)に示したカメラの配置において、それぞれのカメラの検知情報を用いた場合の近赤外カットフィルタ着脱制御を示した図であり、横軸に検知情報として撮影シーンの明るさ推定値、縦軸に近赤外カットフィルタ着脱状況の2値を取っている。撮像制御部0104は、撮影シーンが明るい場合は、撮像部0101の撮像素子の前に近赤外カットフィルタを装着することで、近赤外域の波長の光の影響が撮像信号に乗ることを防止する。一方で、低照度下で撮影を行う場合は、近赤外カットフィルタを撮像素子から外すことで感度向上が実現できる。図5(a)の例では、撮像制御部0104は、第1のカメラで算出した撮影シーンの明るさ推定値を用いた場合には近赤外カットフィルタを装着し、第2のカメラで算出した撮影シーンの明るさ推定値を用いた場合には近赤外カットフィルタを外すように制御する。図5(b)は、第1のカメラの撮影シーンの明るさ推定値を第1のカメラの近赤外カットフィルタ着脱制御にフィードバックした場合に得られる映像の例であり、図5(c)は、第2のカメラの撮影シーンの明るさ推定値を第1のカメラの近赤外カットフィルタ着脱制御にフィードバックした場合に得られる映像の例である。図5(b)では、撮影シーンの明るさ推定値が実際の明るさに対し高いため、近赤外カットフィルタ装着により余り高い感度の映像を得ることはできない。一方で図5(c)では、実際の明るさに近い第2のカメラの撮影シーンの明るさ推定値を用いることで、暗い室内に合わせて近赤外カットフィルタを外し高感度な映像を得ることが可能となる。このように、撮影シーンの明るさ推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応した近赤外カットフィルタ着脱制御を行うことが可能となる。
図6は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第4の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図6は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御をホワイトバランス制御に適用した場合の例である。図6(a)は、色温度が5000K程度の白色光源を持つ室内に2つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは窓を介して色温度の高い晴天の青空が画角に入るように設置され、第2のカメラは室内のみが画角に入るように設置されている様子を示している。図6(b)は、それぞれのカメラの検知情報としての色温度推定値と実際の色温度との関係を示した図であり、横軸に色音頭を取っている。撮影シーンの色温度は、例えば、撮像信号の所定の領域の色データ積分値などから算出される。第1のカメラの色温度推定値は室内光源下の被写体と屋外光源下の被写体の両方の色データから算出されるため、室内光源の色温度と屋外光源の色温度の間の値が推定される。一方で第2のカメラの色温度推定値は屋外光源の影響が少ない被写体の色データから算出されるため、室内光源の色温度に近くなる。第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラで検出した撮影シーンの色温度推定値を取得し、第1のカメラの撮像制御部0104は、第1のカメラの撮影シーンの色温度推定値、第2のカメラの撮影シーンの色温度推定値、第1のカメラの撮影シーンの色温度推定値と第2のカメラの撮影シーンの色温度推定値の重み付き平均値、のいずれかを選択し、第1のカメラのホワイトバランス制御にフィードバックする。図6(c)は、第1のカメラの撮影シーンの色温度推定値を第1のカメラのホワイトバランス制御にフィードバックした場合に得られる映像をカラーベクトルスコープに入力して得られる、映像中の被写体の色情報の例であり、図6(d)は、第2のカメラの撮影シーンの色温度推定値を第1のカメラのホワイトバランス制御にフィードバックした場合に得られる映像をカラーベクトルスコープに入力して得られる、映像中の被写体の色情報の例である。図6(c)では、第1のカメラの撮影シーンの色温度推定値が室内光源の色温度より高いため、第1のカメラの撮影シーンの色温度推定値を元にホワイトバランス制御を行うと、室内にいる被写体人物の色再現性が低下してしまう。図6(d)では、室内光源の色温度に近い第2のカメラの撮影シーンの色温度推定値を用いてホワイトバランス制御を行うことで、室内にいる被写体人物の色再現性が向上した映像が得られる。このように、撮影シーンの色温度推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応したホワイトバランス制御を行うことが可能となる。
図7は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第5の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図7は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御を霧画像補正処理制御に適用した場合の例である。図7(a)は、室内と濃霧の発生しやすい屋外にそれぞれカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは窓を介して濃霧の発生している屋外が画角に入るように設置され、第2のカメラは濃霧の発生している屋外のみが画角に入るように設置されている様子を示している。図7(b)は、それぞれのカメラの検知情報を用いた場合のコントラスト拡大制御を示した図であり、横軸に検知情報として撮影シーンの濃霧らしさ推定値、縦軸に霧画像補正制御の目標値を取っている。撮影シーンの濃霧らしさ推定値は、例えば、撮像信号の所定の領域の輝度積分値やエッジ分布、エッジの強さなどから算出される。図中に点線で示した直線は、検出された撮影シーンの濃霧らしさ推定値に対する適切な霧画像補正制御の目標値の例であり、濃霧らしさが大きいほど霧画像補正制御の目標値を大きくすることで適切な霧の影響の少ない映像が得られる。第1のカメラで算出した撮影シーンの濃霧らしさ推定値は、室内に設置されており画角内で屋外の映る面積が小さいため小さい値をとり、コントラスト拡大係数は小さくなる。一方で第2のカメラの撮影シーンの濃霧らしさ推定値を用いた場合は霧画像補正制御の目標値が大きくなる。第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラで検出した撮影シーンの濃霧らしさ推定値を取得し、第1のカメラの撮像制御部0104は、第1のカメラの撮影シーンの濃霧らしさ推定値、第2のカメラの撮影シーンの濃霧らしさ推定値、第1のカメラの撮影シーンの濃霧らしさ推定値と第2のカメラの撮影シーンの濃霧らしさ推定値の重み付き平均値、のいずれかを選択し、第1のカメラの霧画像補正処理制御にフィードバックする。ここで、霧画像補正処理制御は、信号処理部0102のコントラスト拡大制御の強さや、輝度・色補正処理の係数などのパラメータ制御などを指すものとする。図7(c)は、第1のカメラの撮影シーンの濃霧らしさ推定値を第1のカメラの霧画像補正処理制御にフィードバックした場合に得られる映像の例であり、図7(d)は、第2のカメラの撮影シーンの濃霧らしさ推定値を第1のカメラの霧画像補正処理制御にフィードバックした場合に得られる映像の例である。図7(c)では、室内を撮影シーンに含むため撮影シーンの濃霧らしさ推定値が低くなり、十分な霧画像補正を行うことができず屋外のコントラストが低下する。一方で、図7(d)では、屋外のみが撮影シーンに含まれるため濃霧らしさ推定値が高くなり、十分な霧画像補正を行うことができ屋外のコントラストが向上する。このとき、予め霧画像補正処理を実施する撮像信号中の領域を定め、その領域内のみに濃霧らしさ推定値をフィードバックして霧画像補正処理を実施するようにしてもよく、この場合屋外領域のみ適切な霧画像補正処理の効果を得ることができる。このように、撮影シーンの濃霧らしさ推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応した霧画像補正処理制御を行うことが可能となる。
図8は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第6の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図8は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御を雨滴除去処理制御に適用した場合の例である。図8(a)は、室内と雨天の屋外にそれぞれカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは窓を介して降雨中の屋外が画角に入るように設置され、第2のカメラは降雨中の屋外のみが画角に入るように設置されている様子を示している。図8(b)は、それぞれのカメラの検知情報を用いた場合の雨滴除去制御を示した図であり、横軸に検知情報として撮影シーンの雨天らしさ推定値、縦軸に雨滴除去制御の実施の可否の2値を取っている。撮影シーンの雨天らしさ推定値は、例えば、撮像信号の所定の領域の輝度の時間軸方向の動きベクトルや、フレーム間差分値の大きさや分布などなどから算出され、撮像制御部0104で実施する雨滴除去処理制御は、雨天らしさ推定値が閾値より大きいときに信号処理部0102での雨滴除去処理を実施するように制御し、雨天らしさ推定値が閾値より小さいときに信号処理部0102での雨滴除去処理を実施しないように制御する。信号処理部0102における雨滴除去処理は、例えば動きベクトルを考慮した3次元ノイズリダクション処理などを行う。第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラで検出した撮影シーンの雨天らしさ推定値を取得し、第1のカメラの撮像制御部0104は、第1のカメラの撮影シーンの雨天らしさ推定値、第2のカメラの撮影シーンの雨天らしさ推定値、第1のカメラの撮影シーンの雨天らしさ推定値と第2のカメラの撮影シーンの雨天らしさ推定値の重み付き平均値、のいずれかを選択し、第1のカメラの雨滴除去処理制御にフィードバックする。図8(c)は、第1のカメラの撮影シーンの雨天らしさ推定値を第1のカメラの雨滴除去処理制御にフィードバックした場合に得られる映像の例であり、図8(d)は、第2のカメラの撮影シーンの雨天らしさ推定値を第1のカメラの雨滴除去処理制御にフィードバックした場合に得られる映像の例である。図8(c)では、室内を撮影シーンに含むため撮影シーンの雨天らしさ推定値が低くなり、雨滴除去処理を行うことができず屋外の視認性が低下する。一方で、図8(d)では、屋外のみが撮影シーンに含まれるため雨天らしさ推定値が高くなり、雨滴除去処理を適用することができ屋外の視認性が向上する。このとき、予め雨滴除去処理を実施する撮像信号中の領域を定め、その領域内のみに雨天らしさ推定値をフィードバックして雨滴除去処理を実施するようにしてもよく、この場合屋外領域のみ適切な雨滴除去処理の効果を得ることができる
。このように、撮影シーンの雨天らしさ推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応した雨滴除去処理制御を行うことが可能となる。
図9は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第7の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図9は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御をフリッカキャンセル制御に適用した場合の例である。図9(a)は、カメラの撮像フレームレートと周期の異なる電源周波数の蛍光灯下の室内に2つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは窓を介して屋外が画角に入るように設置され、第2のカメラは室内のみが画角に入るように設置されている様子を示している。図9(b)は、それぞれのカメラの撮影シーンの明るさ推定値の変動を示した図であり、横軸に時間、縦軸に撮影シーンの明るさ推定値を取っている。例えば撮像素子としてCCDを用いた場合、カメラの撮像フレームレートと蛍光灯の電源周波数の周期が異なると、同じ被写体を同じ条件で撮影しても、得られる映像の明るさはフレーム毎に変動する。信号処理部0102はこの明るさの変動からフリッカの状態を検出し、撮像制御部0104は信号処理部0102の検出したフリッカ検出情報から信号処理部0102がフリッカをキャンセルするような信号処理を実施するように、フリッカキャンセル制御を行う。図9(b)の例では、第1のカメラは撮影シーンに屋外が含まれるため、第2のカメラに比べ撮影シーンの明るさ推定値のフレーム間の変動が小さくなり、フリッカの検出が行いにくい。そこで、第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラで検出した撮影シーンのフリッカ検出情報を取得し、第1のカメラの撮像制御部0104は、第2のカメラの撮影シーンのフリッカ検出情報を用いてフリッカキャンセル制御を行う。これにより、フリッカ成分の検出のしにくい設置状態にありおいても、フリッカ検出を安定して行うことのできる他のカメラの検知情報を用いることで、撮影シーンに適切なフリッカキャンセル制御を行うことが可能となる。
図10は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第8の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図10は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御を信号処理のフレームレート制御に適用した場合の例である。図10(a)は、敷地内への入場者管理を目的として敷地内に2つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは敷地内の広域が画角に入るように設置され、第2のカメラは敷地内の入り口付近が画角に入るように設置されている様子を示している。また、歩行者が時刻tから時刻t+aを経て時刻t+b(ただし、b>aとする)にかけて敷地外から敷地の奥へと進行する様子を示している。このとき、第2のカメラでは、画像処理により映像内の人物検出を行い、検知情報として出力しており、第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラから人物検知情報を取得し、第1のカメラの撮像制御部0104は、第二のカメラで人物が検知されていない間は信号処理を行うフレームレートを撮像のフレームレートより小さくし、第二のカメラで人物が検知されると一定期間の間、信号処理を行うフレームレートを撮像のフレームレートと同じにする。画像処理による映像内の人物検出は、例えば、パターンマッチングや、特徴量の評価や、フレーム間差分とラベリングにより移動体を検出した後に面積や色による人物らしさ評価処理を行うなど、既存の手法を用いればよい。図10(b)は、時刻tにおける第1のカメラと第2のカメラでそれぞれ撮影された映像を示した図であり、図10(c)は、時刻t+aにおける第1のカメラと第2のカメラでそれぞれ撮影された映像を示した図であり、図10(d)は、時刻t+bにおける第1のカメラと第2のカメラでそれぞれ撮影された映像を示した図である。図10(b)では、歩行者が敷地内に入る前であり、第1のカメラの撮像制御部0104は信号処理を行うフレームレートを撮像のフレームレートより小さく制御している。一方で図10(c)および図10(d)では、歩行者が敷地内に入る瞬間およびその直後であり、第1のカメラの撮像制御部0104は信号処理を行うフレームレートを撮像のフレームレートと同じにしている。これにより、歩行者が敷地外にいる間は第1のカメラは信号処理を省電力で行い、敷地内にはいった直後の間は信号処理を毎フレーム行うことで歩行者の視認性を向上することができる。このとき、第1のカメラの撮像制御部0104が第2のカメラで検出した人物検知結果を用いることにより、歩行者が第1のカメラの画角に入る前からフレームレートを向上して歩行者の撮影漏れするフレームが発生することを防ぐことが可能である。このように、設置位置の異なる他のカメラの検知情報を用いることで、省電力と視認性を両立した適応的なフレームレート制御を行うことが可能となる。
図11は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第9の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部0103および撮像制御部0104で実施される。図11は、本発明の第1実施例に係る他撮像信号検知情報を用いた撮像制御を信号処理の顔認証処理制御に適用した場合の例である。図11(a)は、敷地内への入場者認証を目的として敷地内に2つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは敷地内の広域が画角に入るように設置され、第2のカメラは敷地内の入り口付近が画角に入るように設置されている様子を示している。また、敷地内のみを移動する第1の歩行者は時刻tの時点で敷地内を歩行しており、敷地外から敷地内に入場する第2の歩行者は時刻tから時刻t+aを経て時刻t+b(ただし、b>aとする)にかけて敷地外から敷地の奥へと進行する様子を示している。このとき、第2のカメラでは、画像処理により映像内の人物検出を行い、検知情報として出力しており、第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラから人物検知情報を取得し、第1のカメラの撮像制御部0104は、第二のカメラで人物が検知されていない間は顔認証処理制御を行わず、第二のカメラで人物が検知されると顔認証処理制御を開始する。顔認証処理は、例えば、特徴量の評価により映像ないから顔領域を検出し、事前に登録されたテンプレートとマッチングして識別処理を行うなど、既存の手法を用いればよい。図11(b)は、時刻tにおける第1のカメラと第2のカメラでそれぞれ撮影された映像に画像処理結果を重畳して生成した映像を示した図であり、図11(c)は、時刻t+aにおける第1のカメラと第2のカメラでそれぞれ撮影された映像に画像処理結果を重畳して生成した映像を示した図であり、図11(d)は、時刻t+bにおける第1のカメラと第2のカメラでそれぞれ撮影された映像に画像処理結果を重畳して生成した映像を示した図である。ここでは、顔認証を行った場合や人物検出を行った場合に、被写体を矩形で囲んで表示している。図11(b)では、歩行者が敷地内に入る前であり、第1のカメラの撮像制御部0104は顔認証制御を行っていない。一方で図11(c)および図11(d)では、歩行者が敷地内に入る瞬間およびその直後であり、第1のカメラの撮像制御部0104は顔認証処理制御を行っており、結果として図11(d)では、顔認証を行った人物の顔に矩形が重畳されて表示されている。これにより、敷地外から敷地内に入った人物を顔認証処理の対象とすることで、敷地入場者の認証処理を効率的に行うことが可能となる。このように、設置位置の異なる他のカメラの検知情報を用いることで、効率的な画像検知処理制御や画像認識処理制御を行うことが可能となる。
かように本実施例によれば、他のカメラで撮影した映像情報の検知結果と連携することにより、撮影シーンに適応した撮像制御や信号処理の制御や、信号処理を応用した機能拡張が実現できる。
図12は、本発明の第2実施例に係る撮像装置を示す第1の模式図である。図12において、0101は撮像部、0102は信号処理部、0103は他撮像信号検知情報取得部、0104は撮像制御部、1205は映像圧縮部、1206は映像圧縮制御部であり、図1で示した本発明の第1実施例に係る撮像装置を示す模式図に映像圧縮部1205、映像圧縮制御部1206を加えた構成となっている。
図12に示した撮像装置において、撮像部0101、信号処理部0102、他撮像信号検知情報取得部0103、撮像制御部0104は、図1で示した本発明の第1実施例に係る撮像装置と同様の処理を行う。映像圧縮部1205は、信号処理部0102の出力する補正を行った映像信号を符号化し、圧縮された映像データとして不図示の映像録画部や映像ネットワーク出力部に出力する。映像圧縮制御部1206は、信号処理部0102の出力する検知情報または他撮像信号検知情報取得部0103の出力する検知情報または不図示のユーザ入力部から入力したユーザ入力情報または予め不図示のEEPROMなどに格納した定義情報を元に、映像録画部1205が映像信号を符号化する際の、圧縮映像の解像度、画質、フレームレートやビットレートなどを制御する。これにより、他のカメラで撮影した映像情報の検知結果と連携した映像圧縮制御を行うことが可能となる。なお、映像圧縮部1205の映像圧縮処理や、映像圧縮制御部1206の映像圧縮制御処理は、通常はカメラ内のマイコンやコーデックLSIや専用のASICやFPGAなどで行われる。また、映像録画部1205、録画制御部1206の一部ないし全体をPCや専用の映像圧縮装置などが行う形態を取っても良い。
図13は、本発明の第2実施例に係る他撮像信号検知情報を用いた映像圧縮制御方法の一例を示す第1の図である。本発明において他撮像信号検知情報を用いた映像圧縮制御は他撮像信号検知情報取得部0103および映像圧縮制御部1206で実施される。図13は、本発明の第2実施例に係る他撮像信号検知情報を用いた映像圧縮制御を圧縮映像画質制御に適用した場合の例である。図13(a)は、敷地内への入場者管理を目的として敷地内に2つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは敷地内の広域が画角に入るように設置され、第2のカメラは敷地内の入り口付近が画角に入るように設置されている様子を示している。また、歩行者が時刻tから時刻t+aを経て時刻t+b(ただし、b>aとする)にかけて敷地外から敷地の奥へと進行する様子を示している。このとき、第2のカメラでは、画像処理により映像内の人物検出を行い、検知情報として出力しており、第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラから人物検知情報を取得し、第1のカメラの映像圧縮制御部1206は、第二のカメラで人物が検知されていない間は映像圧縮のフレームレートやビットレートや画像解像度を低くなるように制御し、第二のカメラで人物が検知されると、映像圧縮のフレームレートやビットレートや画像解像度が高くなるように制御する。図13(b)は、時刻tにおける第1のカメラで圧縮された映像と第2のカメラで撮影された映像を示した図であり、図13(c)は、時刻t+aにおける第1のカメラで圧縮された映像と第2のカメラで撮影された映像を示した図であり、図13(d)は、時刻t+bにおける第1のカメラで圧縮された映像と第2のカメラで撮影された映像を示した図である。図13(b)では、歩行者が敷地内に入る前であり、第1のカメラの映像圧縮部1205は低画質で映像圧縮を行う。一方で図13(c)および図13(d)では、歩行者が敷地内に入る瞬間およびその直後であり、第1のカメラの映像圧縮部1205は高画質で映像圧縮を行っている。これにより、歩行者が敷地外にいる間は第1のカメラは高圧縮率で圧縮した映像を出力することで、ネットワーク経由で圧縮映像を配信する際のネットワーク転送効率の向上を実現し、敷地内にはいった後は低圧縮率の高画質な映像圧縮を行うことで歩行者の視認性を向上することができる。このように、設置位置の異なる他のカメラの検知情報を用いることで、圧縮映像の画質を動的に制御し、記録データの低容量化やネットワーク転送効率の向上を図ることが可能となる。
図14は、本発明の第2実施例に係る撮像装置を示す第2の模式図である。図14において、0101は撮像部、0102は信号処理部、0103は他撮像信号検知情報取得部、0104は撮像制御部、1205は映像圧縮部、1206は映像圧縮制御部、1407は映像録画部、1408は録画制御部であり、図12で示した本発明の第2実施例に係る撮像装置を示す第2の模式図に映像録画部1407、録画制御部1408を加えた構成となっている。
図14に示した撮像装置において、撮像部0101、信号処理部0102、他撮像信号検知情報取得部0103、撮像制御部0104、映像圧縮部1205、映像圧縮制御部1206は、図12で示した本発明の第2実施例に係る撮像装置の第1の例と同様の処理を行う。映像録画部1407は、信号処理部0102の出力する補正を行った映像信号を、静止画データないし静止画データの集合として、または、映像圧縮部1205の出力する圧縮を行った映像信号を、動画データとして、磁気ディスクや光ディスクやフラッシュメモリなどの記録媒体に記録する。録画制御部1408は、信号処理部0102の出力する検知情報または他撮像信号検知情報取得部0103の出力する検知情報または不図示のユーザ入力部から入力したユーザ入力情報または予め不図示のEEPROMなどに格納した定義情報を元に、映像録画部1407が映像信号を静止画データないし動画データとして記録する際の記録開始および終了のタイミングや、記録画像の解像度、記録画像の画質、動画データとして記録する際のフレームレートやビットレートなどを制御する。これにより、他のカメラで撮影した映像情報の検知結果と連携した録画制御を行うことが可能となる。なお、映像録画部1407の録画処理や、録画制御部1408の録画制御処理は、通常はカメラ内のマイコンやコーデックLSIや専用のASICやFPGAなどで行われる。また、映像録画部1407、録画制御部1408の一部ないし全体をPCや専用の映像録画装置などが行う形態を取っても良い。
図15は、本発明の第2実施例に係る他撮像信号検知情報を用いた録画制御方法の一例を示す第2の図である。本発明において他撮像信号検知情報を用いた録画制御は他撮像信号検知情報取得部0103および録画制御部1408で実施される。図15は、本発明の第2実施例に係る他撮像信号検知情報を用いた録画制御を映像録画開始タイミング制御に適用した場合の例である。図15(a)に示したカメラ設置状況の例において、第2のカメラでは、画像処理により映像内の人物検出を行い、検知情報として出力しており、第1のカメラを基準カメラとした場合、第1のカメラの他撮像信号検知情報取得部0103は第2のカメラから人物検知情報を取得し、第1のカメラの録画制御部1408は、第二のカメラで人物が検知されていない間は映像録画部1407が録画処理を行わないよう制御し、第二のカメラで人物が検知されると、映像録画部1407が録画処理を開始するよう制御する。図15(a)は、時刻tにおける第1のカメラで録画された映像と第2のカメラで撮影された映像を示した図であり、図15(b)は、時刻t+aにおける第1のカメラで録画された映像と第2のカメラで撮影された映像を示した図であり、図15(c)は、時刻t+bにおける第1のカメラで録画された映像と第2のカメラで撮影された映像を示した図である。図15(a)では、歩行者が敷地内に入る前であり、第1のカメラの映像録画部1407は映像の録画を行っていない。一方で図15(b)および図15(c)では、歩行者が敷地内に入る瞬間およびその直後であり、第1のカメラの映像録画部1407は映像の録画を開始している。これにより、歩行者が敷地外にいる間は第1のカメラは録画を行わず省電力や記録媒体の容量節約を行い、敷地内にはいった後は録画を行うことで歩行者の映像の記録ができる。このとき、第1のカメラの録画制御部1408が第2のカメラで検出した人物検知結果を用いることにより、歩行者が第1のカメラの画角に入る前から録画を開始して歩行者の録画漏れするフレームが発生することを防ぐことが可能である。このように、設置位置の異なる他のカメラの検知情報を用いることで、映像録画の効率を向上し、省電力化や再生時の歩行者確認の省力化を図ることが可能となる。
かように本実施例によれば、他のカメラで撮影した映像情報の検知結果と連携することにより、撮影シーンに適応した映像圧縮制御や映像録画制御が実現でき、省電力化や記録データの低容量化やネットワーク転送の効率化などが図れる。
図16は、本発明の第3実施例に係る撮像装置を示す模式図である。図16において、0101は撮像部、0102は信号処理部、1603は他複数撮像信号検知情報取得部、0104は撮像制御部であり、図1で示した本発明の第1実施例に係る撮像装置を示す模式図の他撮像信号検知情報取得部0103を他複数撮像信号検知情報取得部1603に置き換えた構成となっている。
図16に示した撮像装置において、撮像部0101、信号処理部0102は、図1で示した本発明の第1実施例に係る撮像装置と同様の処理を行う。他複数撮像信号検知情報取得部1603は、他の複数の撮像信号処理装置とイーサネットやシリアル等で接続し、他の複数の撮像信号処理装置において他の複数の撮像装置で撮像された撮像信号に信号処理を行うことで得られた検知情報をそれぞれ取得し、撮像制御部0104に出力する。撮像制御部0104は、信号処理部0102の出力する検知情報または他複数撮像信号検知情報取得部0103の出力する複数の検知情報または不図示のユーザ入力部から入力したユーザ入力情報を用いて、撮像部0101の撮像条件や、信号処理部0102で行う信号処理を制御する。このとき、撮像制御部0104は、信号処理部0102の出力する検知情報または他複数撮像信号検知情報取得部0103の出力する複数の検知情報を、重み付け平均を取って用いる。これにより、広域監視システムなどの、撮影したいエリア内に3台以上の多数の監視カメラが設置されている場合に、より安定した撮影シーンの検知情報を用いて撮像制御を行うことが可能となる。なお、他複数撮像信号検知情報取得部1603の複数の他撮像信号処理装置への接続および検知情報の取得処理は、通常はカメラ内のマイコンやカメラ信号処理DSPや専用のASICやFPGAなどで行われる。また、他複数撮像信号検知情報取得部1603の処理をPCや専用の画像処理装置などが行う形態を取っても良い。
図17は、本発明の第3実施例に係る他複数撮像信号検知情報を用いた撮像制御方法の一例を示す図である。本発明において他複数撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部1603および撮像制御部0104で実施される。図17(a)は、室内に2つのカメラを、屋外に1つのカメラをそれぞれ設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第1のカメラは窓を介して屋外が画角に入るように設置され、第2のカメラは室内のみが画角に入るように設置され、第3のカメラは屋外のみが画角に入るように設置されている様子を示している。図17(b)は、第1のカメラを基準カメラとした場合に、第1のカメラの撮像制御部0104が、第1のカメラの信号処理部0102が出力する検知情報と、第1のカメラの他複数撮像信号処理検知情報取得部より取得した第2のカメラの検知情報と第3のカメラの検知情報をそれぞれ重み付けし、加算平均をとって撮像制御に用いる場合に、重み付け平均を行う検知情報である撮影シーンの明るさ推定値と色温度推定値と天候推定値のそれぞれに対し、第1のカメラの検知情報と第2のカメラの検知情報と第3のカメラの検知情報の重みを定めた場合の例を示した表である。図17(b)の例では、第1のカメラは室内に設置されているため、撮影シーンの明るさ推定値や色温度推定値を重み付け平均により取得する場合には、室内のみが画角に入る第2のカメラの重みを大きくし、屋外のみが画角に入る第3のカメラの重みを小さくすることが好ましい。また、窓の外に映る屋外の天候推定値を得る際には、逆に屋外のみが画角に入る第3のカメラの重みを大きくすることが好ましい。このように適切な重みにより重み付け平均を取った検知情報を用いることにより、より撮影シーンに適応した撮像制御や信号処理の制御を行うことが可能となる。なお、各カメラの検知情報の重みは、カメラの設置位置に応じてユーザが予め決定して設定するか、図18を用いて後述する重み推定処理により決定して設定すれば良い。
図18は、本発明の第3実施例に係る撮像制御および検知情報の重み推定シーケンスの一例を示す図である。本発明において撮像制御処理および検知情報の重み推定処理は他複数撮像信号検知情報取得部1603および撮像制御部0104で実施される。図18の撮像制御および検知情報の重み推定シーケンスにおいて、ST1801では、他複数撮像信号検知情報取得部1603は他撮像信号処理装置に接続し、検知情報の取得を要求する。ST1802では、他複数撮像信号検知情報取得部1603は、取得可能な検知情報があるかを判定し、検知情報がある場合は撮像制御部0104に出力してST1803に進み、検知情報がない場合や通信がタイムアウトとなった場合にはST1804に進む。ST1803では、撮像制御部0104は、他撮像信号処理装置より取得した検知情報に対し、予め保存した他撮像信号処理装置に対応した重みをかけて加算する。ST1804では、他複数撮像信号検知情報取得部1603は、接続している全ての他撮像信号処理装置から検知情報を取得したかを判定し、検知情報を取得していない他撮像信号処理装置がある場合にはST1801から繰り返し、全ての他撮像信号処理装置から検知情報を取得している場合にはST1805に進む。ST1805では、撮像制御部0104は、重み付き平均の取られた検知情報を元に、撮像部0101の撮像条件および信号処理部0102の信号処理の各パラメータを演算し、それぞれ撮像部0101および信号処理部0102に出力する。ST1806では、撮像制御部0104は、重み付き平均の取られた検知情報と、それぞれの他撮像信号処理装置より取得した検知情報との差分を演算する。ST1807では、撮像制御部0104は、重み付き平均の取られた検知情報と、それぞれの他撮像信号処理装置より取得した検知情報との差分を元に、それぞれの他撮像信号処理装置より取得した検知情報の重みを更新する。例えば、ある他撮像信号処理装置より取得した検知情報と重み付き平均の取られた検知情報との差分が小さい場合には、その他撮像信号処理装置より取得した検知情報は信頼性が高いとして、次回以降の処理での重みを大きくし、逆に差分が大きい場合には信頼性が低いとして次回以降の処理での重みを小さくする。これにより、撮影したいエリアに複数のカメラが設置されている場合に、いずれのカメラが安定した撮影シーンの推定を行えているかを自動で判断し、より撮影シーンに適応した撮像制御や信号処理の制御を行うことが可能となる。
かように本実施例によれば、他の複数のカメラで撮影した映像情報の検知結果と連携することにより、広域に多数のカメラを設置した場合により撮影シーンに適応した撮像制御や信号処理の制御や、信号処理を応用した機能拡張が実現できる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
本発明は民生や監視や車載や業務用途において、撮像装置や撮像装置と接続したPCアプリケーション、画像処理装置などに利用可能である。