JP7423196B2 - 撮像装置、撮像システム、およびその制御方法 - Google Patents

Description

本発明は、撮像装置、撮像システム、およびその制御方法に関し、特に複数のカメラを使用した撮像に関するものである。

従来より、例えば、スポーツでの撮影時など、主要被写体である移動体を的確に追尾し、撮影したい場合がある。しかしながら、周囲の状況や被写体の状況によっては、主要被写体が他の人や物体の後ろに隠れてしまうなど、撮影中のカメラから主要被写体の追尾ができないシーンがある。

このような課題に対して、例えば、特許文献１は、所定の位置に設置された複数のカメラを用いて、被写体の移動に応じてカメラを切り替えて撮影を引き継ぎ、移動する被写体を複数のカメラで追尾する。また、撮影するカメラを切り替える際には、それまで撮影していたカメラの動きベクトルなどの撮影条件を引き継ぐことが開示されている。

特開２００９－６５３８１号

特許文献１に記載の撮像システムによれば、被写体の移動に応じて、設置されたカメラのうち、移動した被写体を撮影可能なカメラに順次切り替えて、被写体の追尾撮影を行うことができる。また、カメラの切り替え時に、前に撮影していたカメラの撮影条件を引き継ぐことで、切り替え後のカメラの撮影条件が適切になるまでの時間を短縮することができる。しかしながら、特許文献１に開示された技術は、複数のカメラを切り替えて撮影を行うことはできるが、撮影に使用していないカメラの情報を用いて撮影中のカメラにおける撮影の精度を向上させるものではない。

そこで、本発明の目的は、撮影に使用しているカメラが被写体の動きを検出しづらい場合でも、他のカメラからの動き情報も用いることで被写体の追尾ができる手段を提供することである。

上記目的を達成するために、本発明は、画像データを生成するために撮像を行うメインカメラの撮像手段と、前記画像データに含まれる特定の被写体の第１の動き情報を検出するために撮像を行うサブカメラの第１の動き検出手段と、外部装置から前記特定の被写体の第２の動き情報を取得する第２の動き取得手段と、前記第１の動き情報および前記第２の動き情報から第３の動き情報を生成して、該第３の動き情報に基づいて、前記特定の被写体を追尾する追尾手段と、前記メインカメラと前記サブカメラの少なくとも２つの撮影モードを切り替えできる切替手段と、前記メインカメラ又は前記サブカメラのどちらの撮影モードで動作しているかを通知する通知手段と、を有することを特徴とする。

本発明によれば、撮影に使用しているカメラが被写体の動きを検出しづらい場合でも、他のカメラからの動き情報も用いることで被写体の追尾ができる。

本発明の第１の実施形態に係る撮像システムの構成例を示すブロック図である。 本発明の第１の実施形態に係る撮像装置の動きベクトル決定に関するフローチャートである。 本発明の第１の実施形態に係る撮像装置により検出される動きベクトルの例を示す図である。 本発明の第２の実施形態に係る撮像システムの構成例を示すブロック図である。 本発明の第２の実施形態に係るメインカメラとサブカメラの撮影モード切り替えの制御を示すフローチャートである。 本発明の第３実施形態に係る撮像システムの構成例を示すブロック図である。 本発明の第３実施形態に係るメインカメラとサブカメラの撮影モード切り替えの判定の例を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像システムの構成例を示すブロック図である。この構成例は一例であり、本発明は本実施形態に限定されるものではなく、回路構成により適時変更されて適応するべきものである。図１は、第１のカメラ１００および第２のカメラ１２０から成る撮像システムであって、撮像装置である第１のカメラ１００および第２のカメラ１２０は、例えば、デジタルカメラである。

第１のカメラ１００は、レンズ群１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、画像処理部１０４、被写体検出部１０６、ベクトル検出部１０７、ベクトル信頼度生成部１０８、ＣＰＵ１１４、通信部１１５を有する。第２のカメラ１２０は、第１のカメラ１００と共通の構成として、レンズ群１２１、撮像素子１２２、Ａ／Ｄ変換器１２３、画像処理部１２４、被写体検出部１２５、ベクトル検出部１２７、ベクトル信頼度生成部１２８、ＣＰＵ１３４、通信部１３５を有する。

レンズ群１０１、１２１は、ズームレンズやフォーカスレンズ、絞り等の光学素子を備え、光学的に被写体像のズーム倍率の変更や焦点調節をすることが可能である。

撮像素子１０２は、レンズ群１０１を介して入力される被写体像を結像する。撮像素子１０２に結像した被写体像は、Ａ／Ｄ変換器１０３にて光電変換され、画像信号として画像処理部１０４へ出力される。第２のカメラ１２０においても同様に、撮像素子１２２に結像した被写体像がＡ／Ｄ変換機１２３より画像信号として画像処理部１２４へ出力される。

画像処理部１０４、１２４は、被写体像より生成された画像信号に対して所定の処理を施し、例えば、画素毎の輝度信号と色信号などの画像データを出力する。例えば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＤＳＰ）などから構成され、デジタル信号に対して色変換、信号処理された画像の階調変換を行うガンマ処理、ノイズ低減処理など所定の画像処理を行う。また、出力用の画像データを生成するとともに、撮像装置を制御するための各撮像パラメータを算出可能である。撮像パラメータとしては、例えば絞りの制御や、ピント合わせの制御、色味を調整するホワイトバランス制御などで使われるパラメータがあげられる。ここで、レンズ群、撮像素子、Ａ／Ｄ変換器、画像処理部を駆動して、周囲の被写体像を取得して画像データを取得する動作を撮像動作とする。画像処理部１０２、１０４は、撮像された画像データに対して記録のための画像処理を行い、記録画像データを生成し、記録画像データは不図示の記録部に記録される。また、撮像された画像データに対して表示のための画像処理を行い、表示画像データを生成し、表示画像データは不図示の表示部に表示される。

被写体検出部１０６、１２５は、画像処理部１０４又は画像処理部１２４により処理された画像データに基づいて、特定被写体の有無、被写体の移動状態などの検出や、被写体種別や特定被写体の認識などを行う。ベクトル検出部１０７、１２７は、被写体検出部で検出した被写体の動きベクトルの検出を行う。ベクトル信頼度生成部１０８、１２８は、ベクトル検出部１０７、１２７で検出した動きベクトルの信頼度を生成する。

ＣＰＵ１１４、１３４は、不図示の伝送路（バス）を介して各制御ブロックと接続されており、第１のカメラ１００または第２のカメラ１２０の装置全体を制御する。不図示のメモリ（ＲＯＭ）、メモリ（ＲＡＭ）を有し、ＲＯＭからロードしたプログラムに従い、第１のカメラ１００および第２のカメラ１２０の各機能ブロックの制御およびそのために必要な演算を行う。メモリ（ＲＯＭ）には、ＣＰＵで実行される制御プログラムや、プログラムの実行に必要な各種の定数値が格納される。メモリ（ＲＡＭ）は、プログラムの実行に必要な各種一時データを記憶するための領域である。

通信部１１５、１３５は、外部装置または外部のネットワークと接続する。第１のカメラ１００、第２のカメラ１２０は、通信部を介して、画像やその他の制御情報、被写体情報、ベクトル情報などを外部装置（ネットワーク）へ出力したり、外部装置（ネットワーク）から取得することができる。

次に、第１のカメラ１００と第２のカメラ１２０にそれぞれ特有の制御ブロックについて説明する。まず、第１のカメラ１００の構成例について説明する。

被写体情報受信部１０５は、通信部１１５を介して外部装置（ネットワーク）から主要被写体に関する情報を取得する。本実施形態においては、第２のカメラ１２０から主要被写体に関する情報を取得する。ベクトル検出部１０７は、取得した主要被写体に関する情報に基づいて主要被写体およびその動きベクトルを検出する。信頼度情報送信部１０９は、ベクトル信頼度生成部１０８で生成した信頼度情報を、通信部１１５を介して外部装置（ネットワーク）へ転送する。本実施形態においては、出力された信頼情報は第２のカメラ１２０へ送信される。

位置情報受信部１１０は、通信部１１５を介して第２のカメラの位置情報を受信する。また、位置情報受信部１１０は、例えば、ＧＰＳ機能により第１のカメラ１００の地球上での位置を検出する。また、不図示のジャイロセンサなどからの出力信号に基づいて、カメラ１００の向き（撮影方向）を検出する。ベクトル変換部１１１は、取得した第２のカメラ１２０の位置情報と、自装置である第１のカメラ１００の位置情報を基に、ベクトル検出部１０７で検出した動きベクトルを、第２のカメラ１２０用に動きベクトル情報を変換する。ベクトル情報送信部１１２は、ベクトル変換部１１１で変換したベクトル情報を、通信部１１５を介して第２のカメラ１２０に転送する。

フレームレート調整部１１３は、第１のカメラ１００の撮像のフレームレートを調整する。撮像のフレームレートは種々の条件に基づいて調整されるが、本実施形態においてはベクトル検出部１０７で検出したベクトル情報に基づいて、フレームレートを調整できる。例えば、動きベクトルが検出しづらい場合には、画質は犠牲にしてもフレームレートを最大限あげるようにしてもよい。

次に第２のカメラ１２０の構成例について説明する。

被写体情報送信部１２６は、被写体検出部１２５で検出した被写体に関する情報を、通信部１３５を介して外部装置（ネットワーク）へ転送する。本実施形態において、検出した被写体に関する情報は第１のカメラ１００へ転送される。ベクトル情報受信部１２９は、通信部１３５を介して外部装置（ネットワーク）からベクトル情報を取得する。本実施形態においては、第１のカメラ１００のベクトル変換部１１１で変換され、ベクトル情報送信部１１２が送信したベクトル情報を受信する。信頼度情報受信部１３０は通信部１３５を介して信頼度情報を取得可能であり、本実施形態においては第１のカメラ１００の信頼度情報送信部１０９が送信した信頼度情報を受信して取得する。

ベクトル決定部１３１は、ベクトル信頼度生成部１２８が生成した信頼度と、ベクトル情報受信部１２９および信頼度情報受信部１３０が取得したベクトル情報と信頼度情報を基に主要被写体の動きベクトルを決定する。追尾処理部１３２は、ベクトル決定部１３１で決定したベクトル情報を基に被写体の追尾処理を行う。

位置情報送信部１３３は、自装置である第２のカメラ１２０の位置情報を、通信部１３５を介して外部装置（ネットワーク）へ出力する。位置情報は、例えば、ＧＰＳ機能により検出した位置情報や、不図示のジャイロセンサなどからの出力信号に基づいて検出した実際に撮像している撮像方向などの情報が含まれる。

第１のカメラ１００および第２のカメラ１２０はそれぞれ、独立して使用することができる。例えば、第１のカメラ１００の不図示の操作部をユーザが操作し、第１のカメラ１００の電源がオンされると、第１のカメラ１００は撮影待機状態となる。撮影待機状態において、第１のカメラ１００は撮像動作を実行し、取得した画像データを不図示の表示部にライブビュー画像として表示する。そして、ユーザが操作部を操作して、静止画の撮影準備を指示すると、画像処理部１０４は、ＡＦ（オートフォーカス）、ＡＥ（自動露出制御）、ＡＷＢ（オートホワイトバランス）の機能により、被写体に応じた撮影パラメータを算出する。さらに、静止画の撮影指示を受け取ると、被写体像を静止画像として不図示の記録部に記録する。また、動画の撮影指示があると、被写体像を動画データとして不図示の記録部へ記録を開始し、動画の撮影停止の指示があると、動画データの記録を停止する。このとき、例えば、特定の被写体を追尾して追尾枠を表示や、その被写体に合わせた撮影パラメータを算出し、また、その被写体が画角から外れてしまった場合は自動でのズーム制御や被写体の方向の表示など、フレーミングをサポートする動作を行う。

第２のカメラ１２０も第１のカメラ１００と同様に、独立して使用することができる。

また、本実施形態では、第１のカメラ１００と第２のカメラ１２０とを、ネットワークを介して接続して使用することもできる。第１のカメラ１００と第２のカメラ１２０とを、ネットワークを介して接続して使用して、第２のカメラ１２０による被写体の追尾処理を行うモードを、連携モードと呼ぶ。

図２、図３を参照して、このような連携モードを用いた第１の実施形態に係る複数のカメラによる被写体追尾について詳細に説明する。本実施形態では、図３に示すように、第１のカメラ１００と、第２のカメラ１２０とを用いて、主要被写体を追尾する。なお、カメラを２つ用いる場合を例に説明するが、カメラの数や位置はこれに限定されない。また、複数のカメラはそれぞれ手持ちカメラであっても、設置されたカメラでもよいし、据え置きや三脚に取り付けて撮影している状態であっても構わないが、複数のカメラはそれぞれ撮像動作を行っている。

図２は、第１の実施形態に係る撮像装置の動きベクトル決定に関するフローチャートである。図２（ａ）が第１のカメラ１００、（ｂ）が第２のカメラ１２０のフローチャートを示しており、第１のカメラ１００をサブカメラ、第２のカメラ１２０をメインカメラとして使用している場合を例に示している。メインカメラは被写体を静止画又は動画などの画像データとして記録し、サブカメラはメインカメラにおける被写体認識の精度を上げるための補足情報を取得するために用いられる。そのため、サブカメラでは、撮影した画像の記録は行わないが、記録するように構成してもよい。例えば、ユーザは、メインカメラとサブカメラとをそれぞれ連携モードに設定した後、メインカメラとサブカメラのいずれかを設定する。

本実施形態においては、メインカメラにおける主要被写体の追尾精度を上げるために、サブカメラで動きベクトルを検出して、メインカメラで検出した動きベクトルとを用いて、被写体を追尾する。図２のフローチャートは、例えば、第１および第２のカメラが起動されたとき、連携モードがＯＮにされたとき、など、第１、第２のカメラが連携して主要被写体を撮影する撮影設定（モード）になったときに開始される。

図２（ａ）のフローチャートは、サブカメラである第１のカメラ１００において、ＣＰＵ１１４によって各処理ブロックを制御して実行され、ＣＰＵ１１４がメモリ（不図示）に格納されているプログラムを展開して実行することにより実現される。

連携撮影が開始されると、サブカメラ（第１のカメラ１００）では、ステップＳ２０１で位置情報受信部１１０が、通信部１１５を介してメインカメラ（第２のカメラ１２０）の位置情報を受け取る。

ステップＳ２０２へ進み、被写体情報受信部１０５が、通信部１１５を介して、メインカメラから追尾対象の主要被写体を含む被写体情報を受け取る。被写体情報は、例えば主要被写体の画像データなどである。ただし、主要被写体が特定できれば画像データそのものではなく、主要被写体の特徴量等の情報や主要被写体が検出された位置の情報などであってもよい。また、予め登録されている被写体情報と認証できた場合には、その名前や属性などの個人認証の情報を被写体情報としてもよい。

ステップＳ２０３で、レンズ群１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、画像処理部１０４を駆動して、周囲の被写体像を取得して画像データを取得する撮像を行う。

ステップＳ２０４で、メインカメラの位置情報を受信したか否かを判断する。メインカメラの位置情報を取得した場合はステップＳ２０５へ進み、取得していない場合はステップＳ２０５をスキップしてステップＳ２０６へ進む。

ステップＳ２０５では、受信した位置情報に基づいて、自装置であるサブカメラのメモリ（不図示）に保持するメインカメラの位置情報を更新する。

ステップＳ２０６で、メインカメラから主要被写体情報の変更を受信したか否かを判断する。主要被写体情報の変更があった場合はステップＳ２０７へ進み、ない場合はステップＳ２０８へ進む。

ステップＳ２０７へ進んだ場合は、受信した主要被写体の情報に基づいて、サブカメラ内のメモリ（不図示）に保持する主要被写体の被写体情報を更新する。

ステップＳ２０８では、撮像した画像データから被写体検出部１０６が、主要被写体の認識やその位置情報の検出など、主要被写体を含む被写体情報を検出する。

次に、ステップＳ２０９で、ベクトル検出部１０７が取得した被写体情報に基づいて、例えば１フレーム前に認識した主要被写体の位置情報と比較して、主要被写体の動きベクトルを検出する。

ステップＳ２１０では、動きベクトルの大きさが所定の範囲内か否かを判断する。動きベクトルが所定の範囲内でなかった場合はステップＳ２１１へ進み、所定の範囲内だった場合はステップＳ２１２へ進む。

ステップＳ２１１で、フレームレート調整部１１３が、動きベクトルの大きさが所定の範囲より大きいのか、小さいのかに応じて、自装置であるサブカメラのフレームレートを調整する。例えば、被写体の動きが大きすぎて動きベクトルが所定の範囲外になっている場合は、フレームレートを高くすることで細かく動きベクトルを取得して動きが大きい被写体の動きを精度よく検出することができる。また、動きベクトルが十分細かくて所定の範囲外になっている場合にはフレームレートを低くして不要な電力消費や発熱を低減させることができる。

ステップＳ２１２で、ベクトル変換部１１１が、位置情報受信部１１０が受信したメインカメラの位置情報を基に、ベクトル検出部１０７が検出したベクトル情報を、メインカメラ用のベクトル情報に変換する。例えば、メインカメラ、サブカメラの三次元空間における位置関係に基づいて、三角測量などを用いて、サブカメラで取得した主要被写体の動きベクトルからメインカメラから主要被写体を見た場合の動きベクトルを算出する。なお、メインカメラの位置情報は、サブカメラとメインカメラの撮像方向の位置関係が分かれば、メインカメラの位置情報と撮像方向を保持していてもよいし、サブカメラに対するメインカメラの位置情報として保持しておいてもよい。

ステップＳ２１３で、ベクトル信頼度生成部１０８が、ベクトル検出部１０７が検出したベクトルの信頼度を生成する。ここで、例えば、動きベクトルは被写体の複数の特徴点を検出して、その特徴点の現フレームと前フレームとの位置関係に基づいて算出する。また、ベクトルの信頼度は、例えば、前記ベクトル検出のために検出された特徴点の数に基づいて決定し、特徴点の数が多いほどベクトル情報の信頼度が高いものとする。

ステップＳ２１４で、ベクトル情報送信部１１２と信頼度情報送信部１０９が、ベクトル変換部１１１が生成したベクトル情報とベクトル信頼度生成部１０８が生成した信頼度情報をメインカメラに送信する。

ステップＳ２１５で連携モードによる撮影終了か否かを判断する。撮影が終了していれば本フローチャートをする。撮影が継続している場合はＳ２０３に戻り、撮影が終了するまでの間、所定のフレームレートでステップＳ２０３の撮像を行い、本フローチャートのステップＳ２０３～Ｓ２１５の各ステップの処理を繰り返す。

図２（ｂ）のフローチャートは、メインカメラである第２のカメラ１２０において、ＣＰＵ１３４によって各処理ブロックを制御して実行され、ＣＰＵ１３４がメモリ（不図示）に格納されているプログラムを展開して実行することにより実現される。

連携撮影が開始されると、メインカメラ（第２のカメラ１２０）では、ステップＳ２２１で、位置情報送信部１３３がサブカメラにメインカメラの位置情報を送信する。

次に、ステップＳ２２２で、被写体情報送信部１２６がサブカメラに主要被写体の情報を含む被写体情報を送信する。ここでは、例えば、直前に撮像した画像データに基づく被写体情報や、ユーザ操作により指定された主要被写体の情報や、条件設定によりマッチした被写体情報、登録された被写体の情報などを、被写体情報としてサブカメラへ出力する。

ステップＳ２２３で、レンズ群１２１、撮像素子１２２、Ａ／Ｄ変換器１２３、画像処理部１２４を駆動して、周囲の被写体像を取得して画像データを取得する撮像を行う。

ステップＳ２２４で、自装置であるメインカメラの位置が変わったか否かを判定する。メインカメラの位置が変更された場合はステップ２２５へ進み、変わっていない場合はステップＳ２２６へ進む。

ステップＳ２２５では、サブカメラ（第１のカメラ１００）に変更後の位置情報を送信する。

次に、ステップＳ２２６では、主要被写体が変更されたか否かを判定する。例えば、ステップＳ２２３で撮像した画像データやユーザ操作に基づいて判断する。主要被写体が変更された場合はステップＳ２２７へ進み、変更されなかった場合はステップＳ２２８へ進む。

ステップＳ２２７では、でサブカメラ（第１のカメラ１００）に変更された後の主要被写体の被写体情報を送信する。

ステップＳ２２８で、被写体検出部１２５が主要被写体を検出する。

ステップＳ２２９で、ベクトル検出部１２７が主要被写体の動きベクトルを検出する。

ステップＳ２３０で、ベクトル信頼度生成部１２８が、ベクトル検出部１２７が検出した動きベクトルの信頼度を生成する。信頼度は、例えば、ベクトル情報の算出のために検出した特徴点の数に基づいて生成する。

ステップＳ２３１で、ベクトル情報受信部１２９と信頼度情報受信部１３０が、ベクトル情報送信部１１２および信頼度情報送信部１０９から送信されたベクトル情報と信頼度情報を取得する。

ステップＳ２３２で、ベクトル決定部１３１が、ステップＳ２２９で検出した動きベクトル、ステップＳ２３０で生成した信頼度、ステップＳ２３１で取得した動きベクトルと信頼度を基に、メインカメラが使用する動きベクトルを決定する。

ステップＳ２３３で影終了か否かを判断する。撮影が終了していれば本フローチャートをする。撮影が継続している場合はステップＳ２２３に戻って撮像を行い、撮影が終了するまでの間、本フローチャートのステップＳ２０３～Ｓ２１５の各ステップの処理を繰り返す。例えば、ユーザの指示に応じてメインカメラにて撮像画像が静止画として記録されたとき、動画の記録が中断されたとき、カメラの連携モードが解除されたときなどに、撮影終了したものとして図２（ａ）、（ｂ）のフローチャートは終了する。

なお、本実施形態においては、制御開始後に撮像装置の位置情報を送受信する構成を例に説明したが、競技場などで予め設置された撮像装置を用いる構成においては、予めお互いの設置位置を保持している構成とすることも可能である。また、ネットワークを介した別のサーバ（外部装置）において、それぞれのカメラの位置情報を保持していてもよい。

図３は、第１の実施形態に係る撮像装置により検出される各動きベクトルの例を示す図である。メインカメラ３０１（第２のカメラ１２０）、およびサブカメラ３０２（第１のカメラ１００）はそれぞれ被写体を撮像して、移動前の被写体３０３と移動後の被写体３０４の間の動きベクトルを検出する。ベクトル３０５はメインカメラ３０１が検出した動きベクトル、ベクトル３０６はサブカメラ３０２が検出した動きベクトル、ベクトル３０７は最終的にメインカメラ３０１が使用する動きベクトルを示す。ここで、各動きベクトルの信頼度として、仮に信頼度を最大１０としたときに、例えば、ベクトル３０５の信頼度が２、ベクトル３０６の信頼度が９であったとする。この場合、ベクトル３０７は、ベクトル３０５の信頼度２とベクトル３０６の信頼度９の比率に基づいて、ベクトル３０７の動きベクトルを決定する。例えば、信頼度に応じた重みづけを加味して、加重平均により動きベクトルを決定する。

以上、本実施形態によれば、主要被写体を複数のカメラで検出したベクトル情報を用いて追尾することにより、追尾精度を向上させることが可能になる。取得した動きベクトルの情報を用いて、例えば、設置カメラなどにおいては、撮影画角をパン／チルト方向に駆動させて自動追尾ができる。手持ちカメラなどでは、例えば、追尾ＡＦや追尾ＡＥなどの特定の人物（顔）などに合わせた撮影条件設定の実現や、また、画角から外れた主要被写体を追尾して画角外の被写体の位置（方向）を表示するなど、フレーミングのサポートにも活用できる。

なお、本実施形態では、主要被写体の動き情報として動きベクトルを用いたが、その限りでなく、追尾枠など、動きを示す情報に適用してもよい。また本実施形態では、メインカメラ用にベクトルを変換する処理をサブカメラで実施していたが、サブカメラが動き情報をそのまま送信して、メインカメラ側で変換するような構成としてもよい。また、複数のカメラを管理する集中管理装置を設けて、そこで変換する構成でもよい。また本実施形態では、メインカメラが使用するベクトルの決定方法として、各動きベクトルの信頼度を、使用する動きベクトルを決定する時の比率に置き換えたが、信頼度に応じて動きベクトルを決定する方法であればその算出方法は本実施形態の限りでは無い。

また、本実施形態では、サブカメラは動き情報を取得することに特化してフレームレートを変更したが、動き情報の取得を向上させられれば、露光時間を長くしたり、感度を下げるなど、撮影パラメータを変更する構成であってもよい。また、メインカメラとサブカメラはそれぞれ独立して撮影をしていてよいが、同じ主要被写体を追従して撮像している状態であれば、本実施形態における追尾の精度はより向上させることができる。

（第２の実施形態）
本発明の第２の実施形態を説明する。本第２の実施形態では、複数のカメラ間でメインカメラとサブカメラの関係（撮影モード）が切り替わる点で第１の実施形態と異なる。

図４は、本発明の第２の実施形態に係る撮像システムの構成例を示すブロック図である。図４において、図１と共通する部分（１００～１３３）には同一の符号を付し、その説明を省略する。図１の構成例に対して、第１のカメラ１００には、撮影モード切替部４０１および撮影モード通知部４０２が追加されている。撮影モード切替部４０１は、第２のカメラ１２０へ、メインカメラ（本画像撮影モード）への切り替え要求の通知と、その承認の是非の受信、また要求通知のキャンセルなどを行う。また撮影モード切替部４０１では、第２のカメラ１２０から、メインカメラ（本画像撮影モード）への切り替え要求を受信し、その承認の是非を送信する。第２のカメラ１２０へ出力した切り替え要求が承認された場合、または第２のカメラ１２０からの切り替え要求を承認した場合は、ＣＰＵ１１４から各機能ブロックへの設定値変更などの切り替え制御が行われる。撮影モード通知部４０２は、第１のカメラ１００の現在の撮影モードを外部装置（ネットワーク）に通知する。

第２のカメラ１２０には、撮影モード切替部４０３および撮影モード通知部４０４の構成が追加されている。撮影モード切替部４０３は、第１のカメラ１００に、メインカメラ（本画像撮影モード）への切り替え要求の通知と、その承認の是非の受信、また要求通知のキャンセルを行う。また撮影モード切替部４０３では、第１のカメラ１００からのメインカメラ（本画像撮影モード）への切り替え要求を受信し、その承認の是非を送信する。第１のカメラ１００へ出力した切り替え要求が承認された場合、または第１のカメラ１００からの切り替え要求を承認した場合は、ＣＰＵ１３３から各機能ブロックへの設定値変更などの切り替え制御が行われる。撮影モード通知部４０４は、第２のカメラ１２０の現在の撮影モードを外部装置（ネットワーク）に通知する。

図５は、第２の実施形態に係る撮像装置のメインカメラとサブカメラの撮影モード切り替え制御を示すフローチャートである。本フローチャートは、第１のカメラ１００においてはＣＰＵ１１４が、第２のカメラ１２０においてはＣＰＵ１３４が、メモリ（不図示）に格納されているプログラムを展開して実行することにより、各処理ブロックを制御して実現される。本フローチャートは、第１のカメラ１００又は第２のカメラ１２０に対して、例えばユーザ操作などにより、メインカメラとサブカメラの切り替えが指示されたときに開始される。ここでは、第１のカメラ１００から第２のカメラ１２０へ、メインカメラ／サブカメラの切り替えを要求する場合を例に説明する。

第１のカメラ１００がユーザの操作などにより撮影モードの切り替え指示を受けると、まずステップＳ５０１で、撮影モード切替部４０１が第２のカメラ１２０へ撮影モードの切り替え要求を出す。なお、撮影モードの切り替え要求は、ユーザ操作などでキャンセルすることができる。

ステップＳ５０２で、第２のカメラ１２０の、撮影モード通知部４０４へ撮影モードの切り替え要求を通知する。ここでの通知は、例えば、不図示の表示部に表示することで切り替え要求を通知し、またユーザは不図示の操作部材などを用いて切り替え要求の承認の是非を選択できる構成とする。

ステップＳ５０３で、第２のカメラ１２０が切り替え要求を承認したか否かを判断する。切り替え要求が承認されていない場合はステップＳ５０４へ進み、承認された場合はステップＳ５０６へ進む。

ステップＳ５０４で、第１のカメラ１００の要求取り消しの有無を判定する。要求取り消しが無い場合はステップＳ５０５へ進み、要求が取り消された場合はステップＳ５０７へ進む。

要求取り消しがなかった場合は、ステップＳ５０５で、第２のカメラ１２０からの切り替え要求の拒絶の有無を判定する。拒絶が無い場合はＳ５０３に戻り、要求の拒絶があった場合はステップＳ５０７に進む。

ステップＳ５０３で要求の承認があった場合、ステップＳ５０６で、第１のカメラ１００と第２のカメラ１２０の撮影モード（メインカメラ／サブカメラ）が切り替わる。

撮影モードが切り替えられた場合、切り替え要求が取り消された場合、または切り替え要求が拒絶された場合には、ステップＳ５０７で、切替要求通知が解除される。

以上、第２の実施形態によれば、例えばユーザ操作により、記録用のメインカメラと情報の補足用のサブカメラとを切り替えることが可能となる。なお、撮影モードの切り替えは、メインカメラとサブカメラのどちらから要求する構成であってもよい。

（第３の実施形態）
本発明の第３の実施形態を説明する。第３の実施形態では、所定の条件などに基づいてメインカメラとサブカメラの関係が切り替わる点で第１、第２の実施形態と異なる。

図６は、本発明の第３の実施形態に係る撮像システムの構成例を示すブロック図である。図６において、図１、図４と共通する部分には同一の符号を付し、その説明を省略する。本実施形態では、第１のカメラ１００には、被写体認証部６０１、認証情報送信部６０２の構成が追加されている。被写体認証部６０１は、被写体検出部１０６で検出した被写体が主要被写体か否かの認証をしてその認証率を計測する。本実施形態において認証率は、単位時間あたりの主要被写体を認証できた時間の割合であり、認証情報送信部６０２は、被写体認証部６０１で計測した認証率を第２のカメラ１２０に送信する。なお、認証率は時間ではなくフレーム数から算出する構成としてもよい。

第２のカメラ１２０には、被写体認証部６０４、認証情報受信部６０５、認証情報比較部６０６の構成が追加されている。被写体認証部６０４は、被写体検出１２５で検出した被写体の主要被写体を認証してその認証率を計測する。認証情報受信部６０５は、認証情報送信部６０２で送信した認証率を受信する。認証情報比較部６０６は、第１のカメラ１００と第２のカメラ１２０の被写体認証情報を比較する。

図７は、第３の実施形態に係るメインカメラとサブカメラの撮影モード切り替えの判定の例を示すフローチャートである。なお、第１のカメラ１００がメインカメラ、第２のカメラ１２０がサブカメラである場合を例として説明する。図７のフローチャートは、第１のカメラ１００においてはＣＰＵ１１４が、第２のカメラ１２０においてはＣＰＵ１３４が、メモリ（不図示）に格納されているプログラムを展開して実行することにより、各処理ブロックを制御して実現される。本フローチャートの切り替え判定は、第１、第２のカメラが連携して主要被写体を撮影する撮影設定（モード）のあいだ、適宜、開始される。例えば、所定の時間間隔で実行してもよいし、被写体の変化に応じて大きな変化があった場合など所定の条件で発動するような構成であってもよい。

切り替え判定が開始されると、まずステップＳ７０１で、第１のカメラ１００（メインカメラ）および第２のカメラ１２０（サブカメラ）の被写体認証部６０１、６０４が、それぞれ主要被写体を認証する。

ステップＳ７０２で、第１のカメラ１００の認証情報送信部６０２が認証情報を送信し、第２のカメラ１２０の認証情報受信部６０５がその認証情報を受信する。ここで、認証情報には、単位時間あたりの主要被写体が認証できた時間の割合である認証率が含まれる。

ステップＳ７０３で、認証情報を受信した第２のカメラ１２０では、認証情報比較部６０６が第１、第２のカメラでの共通の時間単位あたりの認証率を比較して、メインカメラよりサブカメラの認証率が高いかどうかを判定する。ここでメインカメラである第１のカメラ１００の認証率より、サブカメラである第２のカメラ１２０の認証率の方が高い場合は、ステップＳ７０４へ進む。

サブカメラの認証率の方が高い場合には、ステップＳ７０４で、経過時間をカウントする。

次にステップＳ７０５では、経過時間が所定以上か否か、すなわち、サブカメラの認証率の方がメインカメラの認証率より高い時間が所定以上継続したか否かを判定する。サブカメラの認証率が高い状態が所定の時間以上継続している場合（Ｙｅｓ）は、ステップＳ７０７へ進む。継続していない場合にはステップＳ７０１へ戻る。

一方、ステップＳ７０３で、メインカメラの認証率の方が高い場合には、ステップＳ７０６で経過時間をリセットして、その後、ステップＳ７０１へ戻る。

サブカメラでの被写体認証率がメインカメラの被写体認証率より高い状態での経過時間が、所定の時間以上継続した場合には、ステップＳ７０７で、撮影モード切替部４０１、４０３はそれぞれの撮影モードを切り替えて本フローチャートを終了する。本実施形態においては、第１のカメラ１００はメインカメラからサブカメラへ設定を変更し、第２のカメラ１２０はサブカメラからメインカメラへと設定を変更して、撮影モードを切り替える。

以上、第３の実施形態によれば、複数のカメラで連携して撮影している場合に、周辺の環境や被写体又はカメラの状態を撮像した画像から判断して、より被写体の認証率が高いカメラをメインカメラとして撮影を行うことができる。本実施形態において、サブカメラの認証率が高くなってから所定の経過時間を待つのは、主要被写体が認証できなくなった段階ですぐにカメラのモードが切り替わることで、頻繁にカメラのモードが切り替わることを避けるためである。例えば、設置カメラで自動追尾して撮影するような場合は、手持ち撮影に比べてモード切替時のユーザ操作の煩雑さは少ないと考えられる。そのため、そのような場合は主要被写体の認証率が高いカメラでの撮影を優先して、モード切り替えを判断のするための所定時間を少なくしてもよい。

なお、本実施形態では、認証率を被写体の顔や胴体などの検出し認証した結果を用いたが、被写体に関する検出情報であればその限りでは無い。また、サブカメラで認証率の比較や撮影モード切替の判定を行ったがその限りでは無く、メインカメラで比較や判定を行う構成であっても、複数のカメラを管理する集中管理装置で実施する構成であってもよい。

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で説明した撮像装置は、デジタルスチルカメラやデジタルビデオカメラに適用することができる。

また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 第１のカメラ
１０６ 被写体検出部
１０７ ベクトル検出部
１１２ ベクトル情報送信部
１１５ 通信部
１２０ 第２のカメラ
１２５ 被写体検出部
１２７ ベクトル検出部
１２６ ベクトル情報受信部
１３１ ベクトル決定部
１３２ 追尾処理部
１３５ 通信部

Claims (18)

1. 画像データを生成するために撮像を行うメインカメラの撮像手段と、
   前記画像データに含まれる特定の被写体の第１の動き情報を検出するために撮像を行うサブカメラの第１の動き検出手段と、
   外部装置から前記特定の被写体の第２の動き情報を取得する第２の動き取得手段と、
   前記第１の動き情報および前記第２の動き情報から第３の動き情報を生成して、該第３の動き情報に基づいて、前記特定の被写体を追尾する追尾手段と、
   前記メインカメラと前記サブカメラの少なくとも２つの撮影モードを切り替えできる切替手段と、
   前記メインカメラ又は前記サブカメラのどちらの撮影モードで動作しているかを通知する通知手段と、
   を有することを特徴とする撮像装置。
2. 前記第２の動き情報は、前記外部装置が検出した動き情報が該撮像装置からみた被写体の動きに関する情報に変換された情報であることを特徴とする請求項１に記載の撮像装置。
3. 該撮像装置と前記外部装置との位置関係に基づいて、前記第２の動き情報を該撮像装置からみた動き情報に変換する変換手段と、
   を有することを特徴とする請求項１に記載の撮像装置。
4. 前記第１、第２の動き情報の各々の信頼度を取得する信頼度生成手段と、
   前記追尾手段は、さらに、前記第１、第２の動き情報の各々の信頼度に基づいて、前記第３の動き情報を生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１、第２および第３の動き情報は、前記特定の被写体の動きベクトルであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記切替手段は、前記撮影モードを切り替えるときに、前記外部装置へ撮影モードの切り替え要求を通知した後に該撮影モードを切り替えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記切り替え要求をキャンセルするキャンセル手段と、をさらに有することを特徴とする請求項６に記載の撮像装置。
8. 前記外部装置からの切り替え要求を受信する受信手段と、をさらに有し、
   前記外部装置からの切り替え要求を受信したとき、
   前記切替手段は、ユーザ操作に応じて該切り替え要求を承認した後に、前記撮影モードを切り替えることを特徴とする請求項７に記載の撮像装置。
9. 画像データを生成するために撮像を行うメインカメラの撮像手段と、
   前記画像データに含まれる特定の被写体の第１の動き情報を検出するために撮像を行うサブカメラの第１の動き検出手段と、
   外部装置との位置関係に基づいて前記第１の動き情報を該外部装置からみた第２の動き情報に変換する変換手段と、
   前記第２の動き情報を前記外部装置へ出力する出力手段と、
   前記メインカメラと前記サブカメラの少なくとも２つの撮影モードを切り替えできる切替手段と、
   前記メインカメラ又は前記サブカメラのどちらの撮影モードで動作しているかを通知する通知手段と、
   を有することを特徴とする撮像装置。
10. 前記検出された動きの大きさが所定の範囲より大きい場合は前記撮像手段のフレームレートを高くし、前記動きベクトルの大きさが所定の範囲より小さい場合は前記フレームレートを低くするフレームレート調整手段と、
    を有することを特徴とする請求項９に記載の撮像装置。
11. 画像データを生成する複数の撮像装置を有する撮像システムの制御方法であって、
    第１および第２の撮像装置により被写体を撮像するステップと、
    前記第１の撮像装置により前記被写体に含まれる特定の被写体の第１の動き情報を検出するステップと、
    前記第２の撮像装置により前記特定の被写体の第２の動き情報を検出するステップと、
    前記第１の動き情報、前記第２の動き情報、および、前記第１の撮像装置と前記第２の撮像装置との位置関係に基づいて、前記特定の被写体を追尾するステップと、
    前記第１の撮像装置と前記第２の撮像装置の少なくとも２つの撮影モードを切り替えできる切替ステップと、
    前記第１の撮像装置又は前記第２の撮像装置のどちらの撮影モードで動作しているかを通知する通知ステップと、
    を有することを特徴とする制御方法。
12. 前記追尾するステップを前記第１の撮像装置で実行する場合に、前記第１の撮像装置と前記第２の撮像装置との位置関係に基づいて、前記第２の動き情報を該第１の撮像装置からみた動き情報に変換する
    ことを特徴とする請求項１１に記載の撮像システムの制御方法。
13. 前記第１、第２の動き情報は、前記特定の被写体の動きベクトルおよび該動きベクトルの信頼度に関する情報を含むことを特徴とする請求項１１に記載の撮像システムの制御方法。
14. 前記撮影モードを切り替える前に、
    撮影モードの切り替え要求を出力するステップと、
    前記切り替え要求を承認または拒絶またはキャンセルするステップと、をさらに有し、
    前記切り替え要求が承認された場合に、前記撮影モードを切り替えるステップが実行されることを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像システムの制御方法。
15. 前記第１の撮像装置がメインカメラ、前記第２の撮像装置がサブカメラで動作する場合であって、
    前記第２の撮像装置で生成する画像データの方が前記第１の撮像装置で生成する画像データより記録する本画像に適していると判定されたときに、前記撮影モードを切り替えるステップ又は切り替え要求を出力するステップを実行することを特徴とする請求項１４に記載の撮像システムの制御方法。
16. 前記第２の撮像装置で生成する画像データの方が前記第１の撮像装置で生成する画像データより前記特定の被写体を認証している時間が長くなったときに、前記第２の撮像装置で生成する画像データの方が記録する本画像に適していると判定することを特徴とする請求項１５に記載の撮像システムの制御方法。
17. 前記第２の撮像装置で生成する画像データの方が前記第１の撮像装置で生成する画像データより前記特定の被写体を認証している時間が長くなってからの経過時間が所定以上になったときに、前記撮影モードを切り替えるステップを実行することを特徴とする請求項１６に記載の撮像システムの制御方法。
18. 前記第１および第２の撮像装置の現在の前記撮影モードを表示するステップ、を有することを特徴とする請求項１１乃至１７のいずれか１項に記載の撮像システムの制御方法。

Images