JP7175595B2

JP7175595B2 - 撮像装置、制御装置、撮像システム及び撮像システムの制御方法

Info

Publication number: JP7175595B2
Application number: JP2017183513A
Authority: JP
Inventors: 良太小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-25
Filing date: 2017-09-25
Publication date: 2022-11-21
Anticipated expiration: 2037-09-25
Also published as: JP2019062279A

Description

本発明は、複数台の撮像装置を用いて被写体を撮影する撮影システム、撮像装置及び撮像システムの制御方法に関するものである。

パン・チルト制御が可能なカメラ（以下、パン・チルトカメラ）を複数台使用して、被写体を複数の方向から撮影する撮像システムが開発されている。このシステムを使用することにより、被写体をあらゆる視点から見ることが可能な多視点映像の撮影が可能となる。

特許文献１には、複数台のパン・チルトカメラを配置した撮像システムにおいて、そのうちの１台をマスターカメラとしてカメラマンが操作し、それ以外のスレーブカメラはマスターカメラの注視点を向くように方向制御される撮像システムの記載がある。

一方、撮影画像からの被写体検出技術を用いたり、あるいは電波を送信する被写体マーカを用いたりするなどして、指定した被写体を自動で追尾して撮影する技術が知られている。

特開２０１２－１１４５９３号公報

特許文献１に記載の撮像システムに、自動追尾技術を適用すると、マスターカメラが指定した被写体を自動で追尾し、スレーブカメラはマスターカメラの注視点を向くように制御される撮像システムとなる。しかしながら、マスターカメラが自動で被写体を追尾する場合、被写体とマスターカメラとの位置関係などの影響で、マスターカメラが被写体を見失い、被写体を画角に収められなくなるシーンが想定される。スレーブカメラはマスターカメラの注視点に被写体がいると想定してマスターカメラの注視点を向くように方向制御されるため、マスターカメラの画角内に被写体が収められなくなると、全てのカメラが所望の被写体とは異なる被写体を撮影してしまうことになる。

本発明は、複数台の撮像装置を用いて複数の角度から被写体を撮影する撮像システムであって、被写体を見失いにくい撮像システム、撮像システムの制御方法及び該撮像システムを構成する撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、別の撮像装置が接続され、主被写体を追尾して撮影する撮像装置であって、前記主被写体を追尾して撮影し、撮像信号を出力する撮影手段と、
前記撮影手段による追尾の信頼度を取得する信頼度取得手段と、前記別の撮像装置から前記別の撮像装置の追尾の信頼度の受信が可能な第１の通信手段と、前記別の撮像装置の追尾の信頼度と、前記信頼度取得手段により取得した追尾の信頼度とに基づいて、複数の撮像装置の中から、マスターモードで動作する撮像装置を選択する選択手段と、選択手段の選択結果に応じて、動作モードを、前記主被写体の位置を検出し、検出結果に基づいて前記主被写体を追尾して撮影する前記マスターモードと、前記別の撮像装置から取得した前記主被写体の位置情報を受信し、受信した前記主被写体の位置情報に基づいて前記主被写体を追尾して撮影するスレーブモードとで切り替える切り替え手段と、前記撮像装置の移動量を検出する移動量検出手段と、を備え、前記マスターモードで前記主被写体を追尾撮影中に、前記移動量検出手段により移動が検出された場合、前記選択手段は、前記スレーブモードで動作している別の撮像装置を前記マスターモードで動作する撮像装置として選択しなおすことを特徴とする。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明によれば、複数台の撮像装置を用いて複数の角度から被写体を撮影する撮像システムであって、被写体を見失いにくい撮像システム、撮像システムの制御方法及び該撮像システムを構成する撮像装置を提供することができる。

第１及び第２実施形態に係るカメラの構成例を示す図である。第１及び第２実施形態に係るカメラ撮影を示す図である。第１実施形態におけるマスターカメラ及びスレーブカメラの処理を説明するフローチャートである。被写体の向きが変わった後のカメラ撮影を示す図である。被写体の向き変更前後の各カメラの被写体検出信頼度を示す図である。第２実施形態におけるマスターカメラの動作を説明するフローチャートである。加速度センサの出力値の時間変化を示す図である。第２実施形態におけるスレーブカメラの動作を説明するフローチャートである。カメラ移動前後のローカル座標における基準被写体の位置を示す図である。カメラ移動前後の撮像画像と基準被写体探索後の撮像画像を示す図である。

以下に、本発明の例示的な各実施形態について、図面を参照して詳細に説明する。各実施形態ではパン（水平方向（左右）の旋回）・チルト（垂直方向（上下）の旋回）機能を持ったレンズ一体型カメラを複数有する多視点カメラシステムについて説明するが、パン・チルト機能を有するレンズ交換式カメラ等、各種の撮像装置に適用可能である。パン・チルト機能を有する撮像装置は、自動で動く雲台のように、パン・チルトを自動で調整する装置と撮像装置と組み合わせることで実現してもよいし、パン・チルト調整機構が一体型の撮像装置でもよい。

［第１実施形態］
［カメラシステムの構成］
本実施形態のカメラシステムは図２に示すように、互いに通信部を介して接続された、カメラ１００Ａ～１００Ｄで被写体２０１を囲むように配置して撮影を行う。本実施形態のカメラシステムを構成する各カメラの役割としてマスターカメラ（マスター撮像装置）とスレーブカメラ（スレーブ撮像装置）の二種類がある。マスターカメラはスレーブカメラに対して、マスターカメラと同一の被写体を画角の中心に収めるために必要な被写体の位置情報を送信する。スレーブカメラはマスターカメラから受信した被写体の位置情報を基に、マスターカメラの被写体がスレーブカメラの画角に収まるようにパン・チルト動作を行う。本実施形態のカメラシステムは、各カメラの被写体の検出状態に応じてマスターカメラとスレーブカメラの役割を入れ替える仕組みであり、カメラシステムを構成する複数のカメラから被写体の追尾に適したカメラをマスターカメラとして選択することができる。尚、各カメラは動作モードとしてマスターモードとスレーブモードを有しており、動作するモードを切り替えることでマスターカメラとして動作したり、スレーブカメラとして動作したりすることができる。

図１は、本実施形態のカメラシステムを構成する複数台のカメラの一つである、カメラ１００Ａがマスターカメラとして動作する場合の構成例を示す機能ブロック図である。各構成について説明をする。

撮像部１０１は、撮像光学系と、撮像光学系を通過して結像される光学像を電気信号に光電変換する撮像素子とを備え、撮像信号を出力する。撮像子光学系は複数のレンズや絞りから構成される。また、撮像素子としては、複数の画素が２次元配列されたＣＣＤまたはＣＭＯＳイメージセンサを用いることができる。撮像光学系の光軸は後述するパン・チルト制御部１１５により変更可能であり、取得した被写体位置に応じてパン・チルトが制御されることにより、被写体を追尾して撮影することができる。

撮像処理部１０２は撮像部１０１が出力する撮像信号を取得して、ノイズ低減、ＡＤ変換、ホワイトバランス調整、色補間などの処理を適用して画像信号を生成する。

信頼度取得部１０３は、カメラ１００Ａによる被写体検出の信頼度を取得する。本実施形態では、撮像部で撮像された撮像信号を用いて信頼度を取得する。

撮像信号を用いた信頼度の取得方法について説明をする。所定周期毎（例えばフレームレート毎）に後述する被写体画像記憶部１０４に記憶してある登録画像２０２と撮像部１０１で撮像した撮像信号に対応する画像との比較を行い、取得した画像の類似度に基づいて信頼度を取得する。類似度は特徴点比較、ブロックマッチング、パターン認識技術などの画像処理技術によって求める。類似度が高い場合は、撮像装置の画角内に登録画像２０２の被写体が存在するとみなし、高い信頼度を付与する。類似度をそのまま信頼度として用いてもよいし、類似度から信頼度へ変換を行ってもよい。図２は各カメラ１００Ａ～Ｄと被写体２０１との位置関係の例を示す図、図５（Ａ）は図２の状態で登録被写体を各カメラで撮影した画像と被写体画像記憶部に記憶している登録画像の信頼度の関係を示したものである。各カメラ１００Ａ～Ｄと、被写体２０１との位置関係が図２に示した位置関係の場合、各カメラ１００Ａ～Ｄで撮像された撮像信号に対応する画像と登録画像２０２との信頼度は、カメラ１００Ａが最も高く、カメラ１００Ｃが最も低い。よって、図５（Ａ）に示すように、信頼度取得部１０３で取得される信頼度もカメラ１００Ａが最も高く、カメラ１００Ｃが最も低くなる。撮像信号に対応する画像に複数の被写体が存在する場合は、それぞれの被写体に対して登録画像との類似度を取得し、最も類似度が高い被写体の類似度に基づいて信頼度を取得する。信頼度は一つの被写体のみではなく、複数の被写体のそれぞれに対して取得し、被写体の位置情報と関連付けて記憶しておいてもよい。このように、複数の被写体のそれぞれに基づいて信頼度を取得し、それぞれの被写体の位置と関連付けることで、類似被写体が存在する場合でも登録被写体を誤検出せずに追尾を継続する可能性を高めることができる。尚、信頼度取得部１０３による信頼度取得は、撮像装置がマスターカメラとして動作していても、スレーブカメラとして動作していても行う。

被写体画像記憶部１０４は、追尾対象とする被写体の画像の情報を登録画像情報として記憶する記憶部であり、ハードディスクやフラッシュメモリ等、各種メモリで構成することができる。撮影前に、登録画像情報を記憶することで、上述の撮像信号を用いた信頼度取得を行うことができる。尚、被写体からの信号を用いて信頼度を取得する場合はこの構成を省略することも可能である。

通信部１０５は、システムを構成する他のカメラ（１００Ｂ～１００Ｄ）と通信を行う。マスターカメラ（カメラ１００Ａ）はカメラシステムの全てのスレーブカメラ（カメラ１００Ｂ～１００Ｄ）と通信部１０５を介して無線通信を行う。一方、各スレーブカメラはマスターカメラのみと通信を行う。マスターカメラは追尾対象としている被写体の位置情報を所定時間間隔で各スレーブカメラに送信する。各スレーブカメラは、各スレーブカメラの信頼度取得部で取得した信頼度を所定時間間隔でマスターカメラに送信する。

マスターカメラセレクト部１０６は、各スレーブカメラが取得した信頼度とマスターカメラ自身が取得した信頼度とに基づいて、マスターカメラの選択を行う。マスターモードで動作するカメラを特定する情報を含む選択結果は、モード切り替え部１１７へ送信され、選択結果に応じてスレーブモードとマスターモードとの切り替えが行われる。マスターカメラセレクト部１０６は、基本的には、信頼度が高いカメラをマスターカメラとして選択すればよく、選択方法としては信頼度が最も高いカメラをマスターカメラとして選択する方法が考えられる。但し、頻繁にマスターカメラが切り替わることを防ぐため、スレーブカメラのほうが信頼度が高く、且つ、スレーブカメラの信頼度とマスターカメラの信頼度の差が閾値以上である場合にのみ、マスターカメラを切り替えてもよい。このような形態にすると、スレーブカメラの信頼度がマスターカメラの信頼度よりもわずかに高い場合であっても、マスターカメラを切り替えないため、マスターカメラが頻繁に切り替わることを防ぐことができる。また、マスターカメラとして動作し始めてから所定時間経過してからマスターモードで動作するカメラを選択してもよい。また、マスターカメラの信頼度よりもスレーブカメラの信頼度のほうが高い状態が所定の時間以上継続しないとマスターカメラの切り替えを行わないようにしてもよい。このような形態とすることで、同様の効果を得ることができる。

基準被写体記憶部１０７は、カメラの移動量を検出する際に基準とする被写体の画像を記憶する記憶部であり、ハードディスクやフラッシュメモリ等、各種メモリで構成することができる。基準被写体記憶部１０７に記憶されている画像を用いたカメラの移動量検出については、実施形態２で詳細に説明をする。

被写体位置検出部１０８は、電波検出部１１２により検出された電波信号に基づいて、被写体との距離を検出する。電波検出部１１２は、撮影対象となる被写体がビーコン等により自身の位置をカメラに通知するために発する電波を受信し、この信号を被写体位置検出部１０８に出力する。被写体位置検出部１０８は電波信号で検出するカメラ１００から被写体までの距離と公知の追尾技術に基づいて取得した被写体の方向情報に基づいて被写体のローカル座標上における位置を取得する。公知の追尾技術として、撮像処理部１０２から取得した画像信号（映像処理を施した撮像信号のため、撮像信号の一種とみなす）に基づいて被写体位置を取得する方法を用いることができる。単純に、撮像範囲における追尾対象の被写体の位置を検出してもよいし、動きベクトルを取得して被写体位置を予測してもよい。また、被写体位置検出部１０８は、キャリブレーション時に取得した情報を用いてローカル座標上の被写体位置情報を世界座標上での被写体位置情報に変換する。

撮影パラメータ保持部１０９は、カメラのパンおよびチルトの角度や被写体距離等の撮影条件を記憶するためのものであり、各種メモリで構成することができる。加速度センサ１１０は、カメラの加速度を検出するためのものであり、各種ジャイロセンサ等で構成することができる。

カメラ移動量検出部１１１は、加速度センサ１１０で取得した加速度および基準被写体記憶部１０７に記憶されている基準被写体の位置情報および基準被写体を登録した際のパン・チルト角度や被写体距離等の撮影パラメータを基にカメラの移動量を算出する。

回転行列生成部１１３は、被写体位置検出部１０８または通信部１０５で受信する被写体位置情報を基にパン・チルトの目標位置の回転行列を生成する。パン・チルト位置検出部１１４は、パン・チルトのエンコーダ位置基準での位置を検出する。パン・チルト制御部１１５は、回転行列生成部１１３で設定される目標位置とパン・チルト位置検出部１１４で検出されるパン・チルト位置との比較結果を使用して両者が一致するように駆動制御する。

カメラ位置検出部１１６はキャリブレーション時における世界座標上でのカメラ位置とカメラ移動量検出部１１１からのカメラ移動量を基に世界座標上でのカメラの位置を取得する。カメラ位置検出部１１６は、カメラの移動を検出すると、カメラ移動量検出部１１１で取得されたカメラ移動量と、移動前の世界座標上でのカメラ位置に基づいて、移動後のカメラの世界座標上での位置を検出する。また、カメラ位置検出部１１６は、検出したカメラの世界座標上での位置を被写体位置検出部１０８および通信部１０５に通知する。

本実施形態における、被写体検出の信頼度に応じてマスターカメラとスレーブカメラを切り替える方法について説明する。ここでは、電波検出部１１２により取得した、ビーコンからの電波信号に基づいて被写体を追尾し、予め被写体画像記憶部１０４に記憶していた登録画像との類似度に基づいて信頼度を取得する場合について説明をする。

まず、カメラシステムによる撮影を開始する前に、各カメラ１００Ａ～Ｄの配置及び注視点のキャリブレーション（カメラの注視点合わせ処理）を行う。多視点カメラシステムの各カメラ１００Ａ～Ｄを配置する際は、被写体を囲むような形でカメラの配置を行う。カメラの配置後は、各カメラについてキャリブレーションを行う。キャリブレーションは各カメラで同一のキャリブレーション用のチャート（例えば、ドットパターンや市松模様）を用いて行う。

キャリブレーションは、基準被写体の設定、基準被写体の探索、カメラのローカル座標上での位置と世界座標上での位置の検出の順番で行う。基準被写体の設定は、まず、キャリブレーション用のチャートを基準被写体に設定して画像を基準被写体記憶部１０７で記憶する。キャリブレーションに使用するチャートは原点（角度０°の位置）のパターンが明確であり、なおかつ撮影する角度ごとに変化するようなパターンを有するものを用いる。撮影する角度に応じて変化するチャートを用いることで、チャートをカメラ画像の中心部に収めるとチャートの原点を基準としたカメラが存在する角度を画像から検出することができる。画像からチャートの原点を基準としたカメラの角度を求める処理は撮像処理部１０２で行う。基準被写体の設定の後は、基準被写体の探索を行う。探索は、チャートがカメラ画像の中心部に来るまでカメラ１００Ａをパンおよびチルト駆動させる。パン、チルト駆動中は所定時間間隔でパン、チルト位置検出部１１４にてパンおよびチルト位置の検出を行い、駆動速度が一定となるようにパン・チルト制御部１１５で速度制御を行う。基準被写体であるチャートがカメラ画像の中心部に来た場合にはパンおよびチルトの駆動を停止させる。基準被写体の探索終了後は、カメラのローカル座標上での位置と世界座標上での位置をそれぞれ検出する。チャートからカメラまでの距離は、キャリブレーション開始前に測距用のビーコンをチャートに設置して、ビーコンからの電波情報を基に検出する。ビーコンからの電波の検出は電波検出部１１２で行う。チャートの原点を基準としたカメラが存在する角度とチャートからカメラまでの距離からカメラの世界座標上での位置を取得する。カメラが存在する角度はパン・チルト位置検出部１１４で検出されるパン、チルト角度から検出する。ローカル座標でのカメラの位置は、チャートからカメラまでの距離と、カメラの画像の中心部にチャートを収めたときのパンおよびチルトの角度から検出する。パンおよびチルトの角度はパン・チルト位置検出部１１４で検出する。検出した世界座標上での位置およびローカル座標上での位置をカメラ位置検出部１１６で記憶する。他のカメラ（マスターまたはスレーブ）と位置情報のやりとりを行う際は、このキャリブレーション時のローカル座標上での位置と世界座標上での位置の関係を用いて座標変換を行う。

キャリブレーションでは、対象被写体（キャリブレーション用のパターン）を世界座標の基準点に設定して、世界座標に対するカメラ座標（ローカル座標）のずれ量を回転ベクトルＲ_ｍおよび並進ベクトルＴ_ｍに変換して記憶する。世界座標系（Ｘ，Ｙ，Ｚ）とローカル座標（ｘ，ｙ，ｚ）との関係は次式（１）で表される。

このようなキャリブレーションを、カメラシステムを構成するすべてのカメラについて行う。キャリブレーション終了後はマスターカメラとなるカメラの選定を行う。マスターカメラを決める方式として２つの方式があり、ユーザーが適宜選択することができる。１つはカメラシステムが自動でマスターカメラを決める方式である。もう１つはユーザーがマスターカメラを指定する方式である。カメラシステムが自動でマスターカメラを決める方式は、上述のように、カメラシステムを構成する全てのカメラ１００Ａ～１００Ｄについて撮影中の被写体の検出の信頼度を取得して、信頼度が最も高いカメラをマスターカメラとする方式である。もう一方の方式であるユーザーがマスターカメラを指定する方式では、携帯電話などによる外部機器の無線通信を利用した設定や、直接カメラを操作することによってマスターカメラかスレーブカメラかをそれぞれ設定する。

次に、登録被写体と各カメラで撮影された被写体の類似度に応じて、撮影中にマスターカメラとスレーブカメラを切り替える処理について説明する。図３は、撮影対象の被写体の追尾中に被写体の類似度に応じてマスターカメラとスレーブカメラを切り替える処理のフローチャートである。図中左側のマスターカメラ側の処理から説明をする。ステップＳ３０１で、はじめに追尾対象となる被写体の指定を行う。本実施形態では、被写体画像記憶部１０４に追尾対象となる被写体（以下、主被写体と呼ぶ）の画像情報を記憶させることで被写体の指定を行う。被写体画像記憶部１０４があらかじめ主被写体の候補の画像を複数記憶しており、候補の中から今回の主被写体を選択するような形態でもよい。

主被写体の指定が終わったら、ステップＳ３０２へ進む。ステップＳ３０２において、パン・チルト制御部１１５は、被写体位置検出部１０８により取得した被写体の位置に基づいて、主被写体が画角の中央にくるようにマスターカメラをパン・チルト駆動して主被写体の追尾を行う。パン・チルト駆動により主被写体を画角の中央付近に捉えたら、ステップＳ３０３へ進み、マスターカメラのカメラ座標（ローカル座標）における被写体の位置検出を行う。上述のように、ビーコンの電波強度から推定した被写体距離と、パンおよびチルトの角度情報を用いて、マスターカメラのローカル座標上での位置を算出する。尚、ビーコンを用いる代わりに、カメラのフォーカスレンズの位置や撮像素子で撮像される被写体画像の各画素間での視差や、ミリ波レーダー等のビーコン以外の測距センサを用いて被写体距離を検出することもできる。ローカル座標における登録被写体の位置を求めたら、ステップＳ３０４へ進み、ローカル座標での主被写体の位置を世界座標での位置に変換する（Ｓ３０４）。世界座標上での位置に変換する際には、キャリブレーション時に記憶したローカル座標と世界座標との関係を表す行列（回転行列Ｒおよび並進ベクトルＴ）を基に世界座標に変換する。被写体位置のローカル座標から世界座標への変換が終わったら、ステップＳ３０５へ進み、通信部１０５を介して各スレーブカメラに対して世界座標上での主被写体の位置情報を送信する。次に、ステップＳ３０６で被写体検出の信頼度の取得を行う。上述のように、被写体検出の信頼度は、被写体画像記憶部１０４に登録されている被写体画像と撮像部１０１で取得した画像の比較結果の類似度で求める。

一方、各スレーブカメラ１００Ｂ～Ｄは、後述するステップＳ６０１～Ｓ６０５で、マスターカメラから送られてくる世界座標上での主被写体位置に主被写体が存在するものとして、主被写体が画角に収まるようにパン・チルト動作を行う。そして、撮像した画像に基づいて信頼度を取得してマスターカメラに送信する。マスターカメラは、ステップＳ３０７で各スレーブカメラから送られてくる信頼度を受信すると、ステップＳ３０８へ進み、マスターカメラセレクト部１０６によるマスターカメラの選択を行う。マスターカメラを選択すると、ステップＳ３０９で、選択情報を各スレーブカメラに送信する。送信後はステップＳ３１０へ進み、各カメラのモード切り替え部１１７でマスター切り替え処理を行う。図４は図２の状態から被写体の向きが変わった時の被写体２０１と各カメラ１００Ａ～１００Ｄの位置関係を示したものであり、図５（Ｂ）は図４の状態で登録被写体を各カメラで撮影した画像と被写体画像記憶部に記憶している登録画像の信頼度の関係を示す。図４の位置関係の場合はこれまでスレーブカメラであったカメラ１００Ｄの信頼度が最も高くなる。このような状態でカメラ１００Ａをマスターカメラのままにしてカメラシステムによる撮影を継続した場合、主被写体位置の検出精度が落ちたり、類似被写体が複数存在する場合に主被写体を誤検出する可能性が高くなる。その結果、主被写体以外の被写体を撮影したり、スレーブカメラが主被写体を追尾できなかったりする場合がある。このように、信頼度が最も高いカメラがカメラ１００Ｄに変化した場合、マスターカメラセレクト部１０６はカメラ１００Ｄをマスターカメラに変更するように各カメラに対してマスターセレクト情報を送信する。

次にマスターカメラとスレーブカメラの切り替え処理のスレーブカメラ側の処理について説明する。図３の右側は、主被写体を追尾中に被写体の信頼度に応じてマスターカメラとスレーブカメラを切り替えるスレーブカメラ側のフローチャートを示したものである。まず、ステップＳ６０１では、マスターカメラから所定時間間隔で無線通信により送られてくる世界座標上の被写体位置情報を受信する。次に、ステップＳ６０２で、受信した世界座標基準の被写体位置をスレーブカメラ自身のローカル座標上での位置に変換する。変換方法について説明する。

キャリブレーション時に記憶した世界座標とキャリブレーション時のカメラのローカル座標のずれを示す回転行列をＲ_ｓ０、並進ベクトルをＴ_ｓ０とする。このとき、被写体の世界座標位置（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）^Ｔをスレーブカメラのローカル座標上での位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）^Ｔに変換する式は次式（２）で表される。

また、被写体のスレーブカメラのローカル座標上での位置を世界座標上での位置に変換する際には式（３）により変換する。

マスターカメラから送られてきた世界座標上での被写体位置をスレーブカメラのローカル座標上での位置に変換したら、次は、ステップＳ６０３において、パン・チルトの目標角度を取得する。ローカル座標上での目標位置からカメラのパン・チルトの目標角度を取得する方法について説明する。

Ｚ軸を中心に回転する方向をパン方向、Ｘ軸を中心に回転する方向をチルト方向、被写体が存在するローカル座標上での位置を（ｘ_ｓ、ｙ_ｓ、ｚ_ｓ）として、キャリブレーションした時のカメラ位置からパン方向にθ、チルト方向にφ回転したとする。このとき、被写体距離ｌは次式（４）で表される。

パンの目標角度θおよびチルトの目標角度φは式（５）、（６）で表される。

ステップＳ６０４では、式（４）～（６）により算出して得られた目標角度にカメラの注視点が向くように、パン・チルトの駆動制御を行う。

次に、ステップＳ６０５で被写体検出の信頼度を取得する。信頼度はステップＳ３０６と同様に取得する。信頼度が取得されると、Ｓ６０６に進み、マスターカメラに対して信頼度情報を送信する。次に、ステップＳ６０７で、マスターカメラからのマスターセレクト情報を受信し、ステップＳ６０８へ進む。ステップＳ６０８では、マスターセレクト情報を基にマスターに変更するかスレーブのままでいるかを決定し、マスターカメラに切り替える場合には動作モードをマスターカメラへ切り替える処理を行う。

このように、本実施形態の多視点カメラシステムによれば、撮影された被写体と登録被写体との類似度が最も高いカメラをマスターカメラに切り替える。これにより、被写体の向きが変わった場合やカメラと被写体の間に障害物が現れてマスターカメラで被写体をとらえにくくなった場合でも被写体を誤検知する可能性を軽減しながら多視点カメラシステムによる撮影を継続することができる。

［第２実施形態］
上述のように、多視点カメラシステムを構成する各カメラの視点は、マスターカメラの注視点を向くようにカメラ毎に調整されている。そのため、撮影中にマスターカメラの位置を動かすと、スレーブカメラはマスターカメラとは異なる被写体を撮影してしまう。また、スレーブカメラの位置を動かしても、そのカメラはマスターカメラとは異なる被写体を撮影してしまう。これらの問題は、多視点カメラシステムの再キャリブレーションを行うことで解決できるが、キャリブレーションは全てのカメラの注視点を調整する必要があるため、再び撮影可能となるまでに時間がかかってしまう。

そこで、本実施形態では、画像情報を使用してカメラの移動量を検出することで、カメラ座標と世界座標の位置関係を求め、多視点カメラ撮影を継続する方法について説明をする。カメラの移動量は、キャリブレーション時に基準被写体を設定し、その基準被写体のカメラ座標上での位置を記憶しておき、カメラがキャリブレーションを行った時の位置から移動した場合に基準被写体を探索することで検出することができる。

一般的な多視点カメラシステムはキャリブレーションによって得られるカメラのローカル座標と世界座標との関係がわかっていることを前提としている。そのため、カメラがキャリブレーションした位置から移動した場合はカメラ座標と世界座標の関係が変わるため、従来は、再度キャリブレーションを行わないと正しく被写体追尾を行うことは難しかった。キャリブレーションを行う代わりに、カメラの移動量を検出してカメラのローカル座標と世界座標の関係を修正する方法もある。カメラの移動量を検出する方法としてＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）を用いた方法が挙げられる。しかしながらＧＰＳを用いて精度よくカメラの移動を検出するためには高精度のＧＰＳ受信機が必要となりコストアップとなる。また、ＧＰＳは屋内や周りに障害物が有る場合には精度が著しく落ちてしまうという問題がある。これらの問題を解決する方法として、加速度センサや地磁気センサを用いて移動量を検出する方法（ＰＤＲ：ＰｅｄｅｓｔｒｉａｎＤｅａｄＲｅｃｋｏｎｉｎｇ）が考えられる。しかし、この方法でも、加速度センサは加速度を検出できる限界が存在するため、正しくカメラの移動量を推定できない事がある。たとえば、加速度センサでは打撃等の急峻な衝撃を与えた場合や高速でカメラを移動させた場合は、センサの検出限界を超えてしまうため、正確な移動量を求めることできないことが多い。本実施形態では、このような問題を解決するために、画像情報を使用してカメラの移動量を検出してカメラ座標と世界座標の位置関係を求める方法について説明する。

図６は画像情報を使用してカメラの移動量を検出して、世界座標とローカル座標との関係を補正する処理におけるマスターカメラのフローチャートである。まず、ステップＳ７０１で、基準被写体の登録を行う。基準被写体の登録はキャリブレーション操作時に行う。まず、各カメラで撮影した画像の中で複数の基準となる被写体をユーザーが、もしくは自動で選択し、その被写体の画像を被写体画像記憶部１０４に記憶させる。登録する基準被写体は、被写体自身は移動せず、色や形が顕著なものでかつキャリブレーション時の画角に占める割合が所定量以上（基準物として認識可能である画素数以上）であるものが好適である。基準被写体を決めたら、被写体位置検出部１０８は、撮像処理部１０２から画像情報を取得し、撮像した画像における基準物体の位置と、撮影した際のカメラのパン・チルト位置および被写体距離からローカル座標上での基準被写体の位置を検出する。そして、検出したローカル座標上での基準物の位置を世界座標上での位置に変換して、世界座標上での基準被写体の位置を記憶することで、基準被写体の登録を完了する。

基準被写体の登録が終わったら多視点カメラシステムによる撮影を開始する。撮影中は常にステップＳ７０２でカメラの移動の有無を検出し続ける。カメラの移動の有無は、加速度センサの出力値に応じて判定を行う。検出した加速度の値が所定の閾値以下であれば、カメラの移動なしと判定し、カメラの移動がありと判定されるまで、待機する。閾値以上であればカメラの移動ありと判定し、ステップＳ７０３へ進み、新たなマスターカメラをスレーブカメラの中から選択する。マスターカメラに選ぶカメラは、カメラの移動を検知する直前に取得された信頼度が最も高いスレーブカメラとする。例えば、図２のようにカメラＡをマスターカメラとして撮影を行っている状況で、マスターカメラであるカメラ１００Ａが移動した場合には、スレーブカメラの中で最も類似度が高いカメラ１００Ｂがマスターカメラとして選ばれる。マスターカメラを選択したら、ステップＳ７０４へ進み、各スレーブカメラにマスターセレクト情報を送信する。送信後、ステップＳ７０５へ進み、動作モードをマスターカメラモードからスレーブカメラモードに切り替える。次に、ステップＳ７０６へ進み、加速度センサ１１０の検出結果が有効であるかどうかの判定を行う。加速度センサ１１０の検出結果が有効か無効かは、検出した値の大きさによって判定する。

図７は、カメラを移動させた際の加速度センサ１１０の出力にローパスフィルタをかけた結果の時間変化を示した図である。図７のａｔｈは加速度センサ１１０が検出可能な加速度の上限値であり、－ａｔｈは加速度センサ１１０が検出可能な加速度の下限値である。図７では、ｔｃの期間加速度センサが検出範囲の上限値を示している。加速度センサ１１０の出力が上限値を示す場合、実際にはそれ以上の加速度でカメラが移動しており、正しく加速度を検出できていない可能性がある。そのため、加速度センサ１１０の出力値が上限値の場合に加速度センサ１１０の出力値からカメラ移動量を取得すると、実際のカメラ移動量と、取得したカメラの移動量との間の誤差が大きくなることがある。そこで、本実施形態では、このように加速度センサ１１０の出力値が上限値または下限値を示す場合には、カメラの移動による加速度が加速度センサ１１０の検出限界を超えたものとし、加速度センサの出力結果は無効と判定する。そしてステップＳ７０８に進み、登録した基準被写体を使用したカメラの移動量の取得を行う。加速度センサの出力値が下限値と上限値の間である場合には加速度センサによる出力結果は有効であると判定して、ステップＳ７０７に進む。加速度センサの情報を基に移動量を取得するステップＳ７０７またはＳ７０８で移動量の取得が終わったら、ステップＳ７０９へ進み、世界座標とローカル座標の変換行列の更新を行う。

ステップＳ７０８による、基準被写体を使用したカメラの移動量取得方法について説明する。図９はカメラ移動前後のカメラ座標の関係を示したものである。通常は３次元座標で表現を行うが、本実施形態では簡単のために各カメラは同じ高さに配置されていて、かつ、パン方向のみ探索を行うものとして２次元座標系で表現している。図９の１００１はカメラ移動検出前のカメラ座標軸、１００２はカメラ移動検出後のカメラ座標軸を示している。図９のＰ_１およびＰ_２はキャリブレーション時に登録した画像内に存在する基準被写体の中心位置である。図９のｄはＰ_１とＰ_２の距離、ｌ_１、ｌ_２はそれぞれカメラ移動前のカメラから基準被写体位置Ｐ_１、Ｐ_２までの距離である。まず、キャリブレーション時に、基準被写体のローカル座標での位置（Ｐ_１、Ｐ_２）および両者の距離（図９のｄ）を算出して記憶しておく（Ｓ９０１）する。図１０（ａ）は基準被写体を登録した際に取得した画像の一例を示したものである。図１０の画像中の、基準被写体の花１１０１の位置がＰ_１に相当し、基準被写体の２本の木１１０２の位置がＰ_２に相当する。図１０（ａ）に示すように同一画角に存在する２つの静止物を基準被写体として被写体画像記憶部１０４に記憶させる。基準被写体をカメラが自動で決定する場合、画像中の被写体が静止物であるか否かを判定する必要がある。静止物であるか否かの判定は、画像内の各被写体の所定時間における画像上での移動量（移動速度）を検出して、所定の速度以下の物体を静止物として判定する。画像上での移動量を検出する際には、オプティカルフローやテンプレートマッチングを利用することができる。基準被写体の登録が終わったら、カメラの移動量及び方向の検出を開始する。図１０（ｂ）はカメラ移動検出後に取得した画像である。図１０（ｂ）の画像では、基準被写体１１０１のみ存在しており、なおかつ撮像画像上の配置が左奥にずれている。したがって、カメラは被写体に対して右側方向に動いたことになる。カメラの移動方向は、オプティカルフローやテンプレートマッチング等の画像処理ではなく加速度センサの出力値の符号によって判定するようにしてもよい。これらの情報からパン・チルトの駆動方向を決定し、基準被写体１１０１、１１０２の探索を行う。図１０（ｃ）は、カメラをパンすることによって２つの基準被写体１１０１、１１０２を画角に収めたときのカメラ画像を示したものである。このときのカメラ座標での基準被写体１１０１および１１０２の位置Ｐ_１、Ｐ_２を取得して記憶する。これらのカメラの移動前後の基準被写体位置Ｐ_１およびＰ_２からカメラの移動量を取得する。図９より、カメラ移動後の基準被写体位置Ｐ_１およびＰ_２はカメラ移動前の基準被写体位置Ｐ_１およびＰ_２に比べてｘｙ平面に垂直なｚ軸を中心として∠Ｅだけ回転移動したあとに並進ベクトルＴ_ｓ１だけ平行移動した位置に等しくなる。カメラ移動前後のカメラ座標の中心の移動量はベクトルＴ_ｓ１を用いて次式（７）～（１１）で表される。

式（１０）の角度Ｄはカメラ移動後に基準被写体Ｐ_２を画角に収めた際のパンのエンコーダ位置から求める。カメラ移動前のローカル座標からカメラ移動後のローカル座標に変換するための回転行列Ｒ_ｓ１は次式で表される。

カメラ移動後のローカル座標を世界座標へ変換するための変換行列は次式（１３）、（１４）で表される。

このように、実施形態１に記載したような、キャリブレーションをすべてのカメラで実施しなくても、カメラ移動後のローカル座標と世界座標との関係が取得できるため、注視点を合わせることができる。

次に、図８のフローチャートを用いて、スレーブカメラにおける、世界座標とローカル座標との関係を補正する処理について説明をする。ステップＳ９０１～９０２は、ステップＳ７０１～７０２と同様であるため説明は省略する。スレーブカメラが移動したと判定されると、ステップＳ９０３へ進み、移動があったことをマスターカメラに通知する。撮影者が意図的に、スレーブカメラを被写体を検出しやすい場所に移動させた場合には、動かした場合に各カメラの信頼度の高さの順位が変わる可能性が高い。
このような場合は一定間隔で行うスレーブとマスターの通信を待たずに即座に通信を行う様にしたほうが良い。移動があったことをマスターに通知すると、スレーブとマスターの切り替えを素早く行う事ができる。スターカメラへの通知が終わると、ステップＳ９０４へ進む。ステップＳ９０４～Ｓ９０７は、ステップＳ７０６～Ｓ７０９と同様であるため、説明を省略する。

このように、カメラ移動検出用のセンサの情報が使用できない場合でも、基準となる２つの被写体のローカル座標上での位置を検出して記憶しておき、カメラ移動前後の基準被写体のローカル座標上での位置の差からカメラの移動量を推定することができる。それにより、複数台のカメラ連携により多視点カメラ撮影を行っているときにカメラを移動させた場合でも、カメラの位置調整（キャリブレーション）を行わずに多視点カメラ撮影を継続することができる。

本実施形態では加速度センサを使用した例を示したが、加速度センサに限らず、地磁気センサ、ミリ波レーダー、ジャイロセンサなどの他のセンサを用いた場合でも同様な効果が期待できるため、移動量検出用のセンサが加速度センサ以外であってもよい。

［変形例］
実施形態１では、検出信頼度の取得方法として、登録されている被写体画像と、撮影画像に含まれる被写体との類似度に基づいて信頼度を取得する方法について説明をした。しかしながら、撮影画像に含まれる被写体がステップＳ３０１で指定した主被写体であるかどうかの確からしさを示す指標を取得できれば、他の方法を用いることができる。

例として、被写体からの信号を用いて信頼度を取得する方法について説明をする。被写体からの信号の具体例としては、被写体が保持する電波発信器（ビーコンなど）からの電波信号や、被写体自身もしくは被写体が保持する音声発生器（スピーカなど）からの音声信号が挙げられる。電波信号や音声信号から信頼度を取得する場合、信号の強度を示す値を信頼度として用いることができる。例えば、ＲＳＳＩ（ＲｅｃｅｉｖｅｄＳｉｇｎａｌＳｔｒｅｎｇｔｈＩｎｄｉｃａｔｉｏｎ）を規格化した値（カメラが受信可能な最大電波強度が１となるように受信した電波の強度に係数を掛けた値）を使用することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４被写体画像記憶部
１０６マスターカメラセレクト部
１０７基準物体記憶部
１１５パン・チルト制御部

Claims

別の撮像装置が接続され、主被写体を追尾して撮影する撮像装置であって、
前記主被写体を追尾して撮影し、撮像信号を出力する撮影手段と、
前記撮影手段による追尾の信頼度を取得する信頼度取得手段と、
前記別の撮像装置から前記別の撮像装置の追尾の信頼度の受信が可能な第１の通信手段と、
前記別の撮像装置の追尾の信頼度と、前記信頼度取得手段により取得した追尾の信頼度とに基づいて、複数の撮像装置の中から、マスターモードで動作する撮像装置を選択する選択手段と、
選択手段の選択結果に応じて、
動作モードを、前記主被写体の位置を検出し、検出結果に基づいて前記主被写体を追尾して撮影する前記マスターモードと、
前記別の撮像装置から取得した前記主被写体の位置情報を受信し、受信した前記主被写体の位置情報に基づいて前記主被写体を追尾して撮影するスレーブモードとで切り替える切り替え手段と、
前記撮像装置の移動量を検出する移動量検出手段と、を備え、
前記マスターモードで前記主被写体を追尾撮影中に、前記移動量検出手段により移動が検出された場合、
前記選択手段は、前記スレーブモードで動作している別の撮像装置を前記マスターモードで動作する撮像装置として選択しなおすことを特徴とする撮像装置。
前記第１の通信手段は前記選択手段による選択結果を前記別の撮像装置に送信することを特徴とする請求項１に記載の撮像装置。
前記選択手段は、前記第１の通信手段により受信した、別の撮像装置の追尾の信頼度よりも、前記信頼度取得手段により取得した追尾の信頼度のほうが低い場合に、別の撮像装置をマスターモードで動作する撮像装置として選択し、
前記切り替え手段は、動作モードを前記マスターモードから前記スレーブモードに切り替えることを特徴とする請求項１又は２に記載の撮像装置。
前記選択手段は、前記信頼度取得手段により取得した追尾の信頼度よりも、前記第１の通信手段により受信した、別の撮像装置の追尾の信頼度のほうが高く、且つ、前記信頼度取得手段により取得した追尾の信頼度と前記第１の通信手段により受信した、別の撮像装置の追尾の信頼度との差が閾値以上である場合に、別の撮像装置をマスターモードで動作する撮像装置として選択し、
前記切り替え手段は、動作モードを前記マスターモードから前記スレーブモードに切り替えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記選択手段は、前記マスターモードで動作し始めてから所定時間経過してから取得された前記信頼度に基づいて前記マスターモードで動作する撮像装置を選択することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
別の撮像装置が接続され、主被写体を追尾して撮影する撮像装置であって、
前記主被写体を追尾して撮影し、撮像信号を出力する撮影手段と、
前記撮影手段による追尾の信頼度を取得する信頼度取得手段と、
前記信頼度取得手段により取得した前記追尾の信頼度を、前記別の撮像装置へ送信が可能であり、且つ、マスターモードで動作する撮像装置を特定する情報の受信が可能な第１の通信手段と、
前記第１の通信手段により受信した、前記マスターモードで動作する撮像装置を特定する情報に基づいて、動作モードを、
前記主被写体の位置を検出し、検出結果に基づいて前記主被写体を追尾して撮影するマスターモードと、
前記別の撮像装置から取得した前記主被写体の位置情報を受信し、受信した前記主被写体の位置情報に基づいて前記主被写体を追尾して撮影するスレーブモードとで切り替える切り替え手段と、
前記撮像装置の移動量を検出する移動量検出手段と、
を備え、
前記マスターモードで前記主被写体の追尾撮影中に前記移動量検出手段により移動が検出された場合、
前記切り替え手段は、前記動作モードを前記マスターモードから前記スレーブモードへ切り替えることを特徴とする撮像装置。
主被写体の位置を検出する被写体位置検出手段を備え、
前記マスターモードで動作中、
前記撮影手段は前記被写体位置検出手段による主被写体の位置の検出結果に基づいて前記主被写体を追尾し、
前記第１の通信手段は、前記被写体位置検出手段による検出結果を前記別の撮像装置に送信することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記被写体位置検出手段は、
前記撮影手段から出力された撮像信号に基づいて前記主被写体の位置を検出することを特徴とする請求項７に記載の撮像装置。
前記撮影手段は、
前記被写体位置検出手段により取得された前記主被写体の位置に基づいて前記主被写体の位置を追尾すること特徴とする請求項７又は８に記載の撮像装置。
主被写体の画像情報を記憶する記憶部を備え、
前記信頼度取得手段は、前記記憶部に記憶された主被写体の画像と、前記撮影手段から出力された撮像信号に対応する画像との類似度に基づいて前記信頼度を取得する請求項１乃至９のいずれか１項に記載の撮像装置。
前記主被写体からの信号を受信する第２の通信手段を備え、
前記信頼度取得手段は、前記第２の通信手段が受信した前記主被写体からの信号の強度に基づいて前記信頼度を取得することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
前記撮影手段による前記主被写体の追尾撮影中に、前記移動量検出手段により前記撮像装置の移動が検出された場合、当該移動後の前記撮像装置の位置を取得する位置取得手段を備えることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
前記位置取得手段は、
前記追尾撮影中に前記移動量検出手段により前記撮像装置の移動が検出されると、
前記移動量検出手段により検出された前記移動量と、キャリブレーション時に取得した前記撮像装置の位置とに基づいて、当該移動後の前記撮像装置の位置を取得することを特徴とする請求項１２に記載の撮像装置。
前記スレーブモードで動作中に前記移動量検出手段により移動が検出された場合、
前記第１の通信手段を介して、前記マスターモードで動作中の撮像装置に対して当該移動の発生を通知することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
前記移動量検出手段は、前記撮像装置の移動量を検出するセンサを有することを特徴とする請求項１乃至１４のいずれか１項に記載に撮像装置。
前記移動量検出手段は、前記撮像装置の移動量を検出するセンサとして、加速度センサ、地磁気センサ、ミリ波リーダ、ジャイロセンサの少なくともいずれかを有することを特徴とする請求項１５に記載の撮像装置。
前記移動量検出手段は、前記撮像信号に基づいて前記撮像装置の移動量を取得することを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
前記撮影手段による前記主被写体の追尾撮影中に、前記移動量検出手段により前記撮像装置の移動が検出された場合、当該移動後の前記撮像装置の位置を取得する位置取得手段を備え、
前記移動量検出手段は、前記撮像装置の移動量を検出するセンサと、前記撮像信号に基づいて前記撮像装置の移動量を取得する手段とを有し、
前記センサにより検出された第１の移動量と、前記撮像信号に基づく前記撮像装置の第２の移動量とのいずれを用いて前記位置取得手段へ出力する移動量を取得するかを、前記センサの出力に基づいて判定することを特徴とする請求項１５または１６に記載の撮像装置。
前記撮影手段のパン駆動とチルト駆動の少なくともいずれかを行う駆動手段を備え、
前記主被写体の位置に基づいて撮影手段を駆動させることで前記主被写体の追尾撮影を行うことを特徴とする請求項１乃至１８のいずれか１項に記載の撮像装置。
複数の撮像装置と接続される制御装置であって、
複数の撮像装置のそれぞれによる主被写体の追尾の信頼度の受信が可能な通信手段と、
前記通信手段により受信した、前記複数の撮像装置のそれぞれの、前記追尾の信頼度に基づいて、複数の撮像装置の中から、マスターモードで動作する撮像装置を選択する選択手段と、を備え、
前記通信手段は、
前記選択手段の選択結果に応じて、
前記主被写体の位置を検出し、検出結果に基づいて前記主被写体を追尾して撮影する前記マスターモードと、
別の撮像装置から取得した前記主被写体の位置情報を受信し、受信した前記主被写体の位置情報に基づいて前記主被写体を追尾して撮影するスレーブモードと、のいずれで動作するかを示す情報を前記複数の撮像装置に対して送信し、
前記複数の撮像装置による前記主被写体の追尾撮影中に、前記通信手段により、前記複数の撮像装置のうち、マスターモードで動作中の撮像装置の移動が検出されたことを示す情報を受信した場合、
前記選択手段は、別の撮像装置を前記マスターモードで動作する撮像装置として選択しなおすことを特徴とする制御装置。
複数の撮像装置を備える撮像システムであって、
前記複数の撮像装置のそれぞれは、
主被写体を追尾して撮影する撮影手段と、
前記撮影手段による追尾の信頼度を取得する信頼度取得手段と、
前記信頼度取得手段により取得した前記追尾の信頼度を、送信または受信が可能な第１の通信手段と、
前記主被写体の位置を検出し、検出結果に基づいて前記主被写体を追尾して撮影するマスターモードと、
別の撮像装置から取得した前記主被写体の位置情報を受信し、受信した前記主被写体の位置情報に基づいて前記主被写体を追尾して撮影するスレーブモードとを切り替える切り替え手段と、
前記撮像装置の移動量を検出する移動量検出手段と、
を備え、
複数の撮像装置のそれぞれの追尾の信頼度に基づいて、
前記マスターモードで動作する撮像装置を選択する選択手段と、
を備え、
前記複数の撮像装置による前記主被写体の追尾撮影中に、前記マスターモードで動作中の撮像装置が備える前記移動量検出手段により、当該撮像装置の移動が検出された場合、
前記選択手段は、別の撮像装置を前記マスターモードで動作する撮像装置として選択しなおすことを特徴とする撮像システム。
前記選択手段は、前記複数の撮像装置のうち、前記マスターモードで動作する撮像装置が備えることを特徴とする請求項２１の記載の撮像システム。
前記選択手段を備える撮像装置は、前記マスターモードで動作する撮像装置が切り替わることに併せて切り替わることを特徴とする請求項２１または２２に記載の撮像システム。