JP7366594B2 - 情報処理装置とその制御方法 - Google Patents

Description

本発明は、情報処理装置とその制御方法に関する。

近年、いろいろな視点からの映像を撮影するために、様々な位置や角度に向けた多数の撮像装置を設置する場合がある。複数の撮像装置の映像からユーザの欲する視点の撮像装置映像を取得する必要があるが、多数の撮像装置から適切にユーザの欲する映像を残すことは困難である。

特許文献１では、撮像装置毎に注視点位置情報、撮像装置の位置情報、方向情報などを持ち、ユーザの属性情報を基に撮像装置の映像を選択する方法が開示されている。

また、パンまたはチルトの機能を有し、特定の被写体として自動追尾する機能を有する撮像装置技術も開示されている。例えば、特許文献２では、被写体がモニタ画面中心に出力されるように、モニタ中心座標と被写体の位置座標の差分を求め、被写体を画面中心に移動させるようにパン・チルト角度を駆動する制御方法が開示されている。

特開２０１４－２１５８２８号公報 特開平５－２８９２３号公報

しかしながら、複数の撮像装置を用いて複数視点撮影を行うシステムにおいて、パン・チルト、ズームなどを駆動して自動的に複数の撮像装置をコントロールすることは可能であるが、例えば被写体をロストした場合、ユーザが望む映像を得られないことがある。また、撮影したい被写体や撮影したい領域が複数ある場合、ユーザが一人で撮影操作することは難しかった。

従って、本発明は、複数台の撮像装置を連動させる際、簡単に撮像装置を制御できる情報処理装置とその制御方法を提供することを目的とする。

本発明の技術的特徴として、情報処理装置の制御方法であって、複数の撮像装置から、ユーザによる被写体指定に関する情報と、被写体検出に関する情報と、撮像装置のパン、チルト、ズームの少なくともいずれかの動作をユーザによる手動で操作するマニュアル操作に関する情報と、の少なくともいずれか１つを受信する受信工程と、前記受信工程により受信した前記被写体指定に関する情報と、前記被写体検出に関する情報と、前記マニュアル操作に関する情報と、の少なくともいずれかに基づいて、前記複数の撮像装置からメインの撮像装置と、サブの撮像装置を決定する決定工程と、前記決定工程による決定を前記メインの撮像装置に送信し、当該メインの撮像装置における被写体情報を前記サブの撮像装置に送信する送信工程とを有することを特徴とする。

本発明によれば、複数台の撮像装置を連動させる際、簡単に撮像装置を制御できる情報処理装置とその制御方法を提供することができる。

第１の実施形態に係る撮像装置を模式的に示す図である。 第１の実施形態に係る撮像装置の構成を示す図である。 第１の実施形態に係る複数の撮像装置と外部機器とのシステム構成を示す図である。 第１の実施形態に係る外部機器の構成を示す図である。 第１の実施形態に係るアプリケーションのリモートコントロール設定モードを説明する図である。 第１の実施形態に係る複数の撮像装置とスマートデバイスのシステム構成を示す図である。 第１の実施形態に係る撮像装置のセッティング方法を説明する図である。 第１の実施形態に係るアプリケーションを説明する図である。 第１の実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 第１の実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 第１の実施形態に係るアプリケーションの撮影エリアセッティングを説明するフローチャートである。 第１の実施形態に係るアプリケーションの撮影エリア確認モードの表示例を説明する図である。 第１の実施形態に係るアプリケーションの全体撮影領域設定モードの表示例を説明する図である。 第１の実施形態に係るアプリケーションの個別撮影領域設定モードの表示例を説明する図である。 第１の実施形態に撮影処理を説明するフローチャートである。 第１の実施形態に係る撮影画像内のエリア分割を説明するための図である。 各撮像装置からの情報を通知されるコントロール部における各撮像装置の優先度判定処理のフローを示す図である。 優先度に基づいた各撮像装置の処理フローについて説明するための図である。 仮３判定まで検出された場合の各撮像装置の優先度演算の例を示す図である。 撮像装置１と撮像装置２が同期しない場合の各撮像装置での自動撮影処理のタイミングチャートを示す図である。 各撮像装置での自動撮影処理のタイミングチャートを示す図である。 撮像装置１において、動画の自動撮影が判定された場合の例を示す図である。 撮像装置内での処理フローを示す図である。 コントロール部での処理フローを示す図である。 第２の実施形態での複数の撮像装置の自動撮影シーケンスを説明する図である。 第３の実施形態に係る複数の撮像装置と外部機器とのシステム構成を示す図である。 第３の実施形態による撮像装置１１０１の構成を示すブロック図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［第１の実施形態］
＜撮像装置の構成＞
図１は、第１の実施形態の複数台連携撮像装置の制御システムに用いる撮像装置を模式的に示す図である。

図１（ａ）に示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構を設けている。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１（ｂ）は、固定部１０３位置での軸定義である。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりする構成となっている。

図２は、本実施形態の撮像装置の構成を示すブロック図である。

図２において、第１制御部２２３は、プロセッサー（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１６は、電気的に消去・記録可能なメモリであり、第１制御部２２３の動作用の定数、プログラム等が記憶される。

図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。

撮像部２０６では、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部２０７に出力する。画像処理部２０７はＡ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０７から出力されたデジタル画像データは、画像記録部２０８でＪＰＥＧ形式等の記録用フォーマットに変換し、メモリ２１５や後述する映像出力部２１７に送信される。

鏡筒回転駆動部２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２をチルト方向とパン方向に駆動させる。

装置揺れ検出部２０９は、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出部２０９は、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。

音声入力部２１３は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得し、アナログデジタル変換をして音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７、音声処理部２１４により得られた画像信号及び音声信号を一時的に記憶する。

画像処理部２０７及び音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２３は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２０に送信する。

記録再生部２２０は、記録媒体２２１に対して画像処理部２０７及び音声処理部２１４で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信し記録媒体２２１に記録させる。

記録媒体２２１は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２２１は、撮像装置１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１６よりも大容量な媒体が一般的に使用される。例えば、記録媒体２２１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして読み出した圧縮画像信号、圧縮音声信号を、第１制御部２２３は画像処理部２０７及び音声処理部２１４に送信する。画像処理部２０７及び音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１７、音声出力部２１８に送信する。

音声入力部２１３は複数のマイクが撮像装置１０１に搭載されており、音声処理部２１４は複数のマイクが設置された平面上の音の方向を検出することができ、後述する探索や自動撮影に用いられる。さらに、音声処理部２１４では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１４に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、第１制御部２２３に、検出トリガ信号を出力する構成になっている。

電源部２１０は、第１制御部２２３を動作させるための、電源を供給する。音声出力部２１８は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。

ＬＥＤ制御部２２４は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンを制御する。

映像出力部２１７は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部２１８、映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。

学習処理部２１９は、ニューラルネットワークを用い、機械学習アルゴリズムを使用して、ユーザの好みに合わせた学習を行う。

通信部２２２は、撮像装置１０１と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部機器の指示から撮像装置１０１を駆動する。また、撮像装置１０１と外部装置との間で、学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

＜複数台連携の自動撮影システムの構成＞
図３は、複数台連携撮像装置の自動撮影システム（制御システム）の一例である。

撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）は、通信機能を有するコントローラユニット（スマートデバイス）３０１と無線で接続し、撮像装置へ操作指示や、撮像装置からの制御情報を取得することができる。図３においては、撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）とスマートデバイス３０１はそれぞれアクセスポイント３０２に接続し、アクセスポイントを経由して通信を行い、情報の転送を行う。

無線ＬＡＮ通信モジュールを含むスマートデバイス３０１の構成を図４を用いて説明する。

スマートデバイス３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、及び、ＢＬＥ用のＢＬＥ制御部４０２に加え、公衆無線通信用の公衆無線制御部４０６を有する情報処理装置である。また、スマートデバイス３０１は、パケット送受信部４０３をさらに有する。無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。公衆無線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、スマートデバイス３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。

スマートデバイス３０１は、例えば、制御部４１１、記憶部４０４、ＧＰＳ受信部４０５、表示部４０７、操作部４０８、モーションデータ取得部４０９、電源部４１０をさらに有する。制御部４１１は、例えば、記憶部４０４に記憶される制御プログラムを実行することにより、スマートデバイス３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することにより、実現される。

電源部４１０はスマートデバイス３０１に電源を供給する。表示部４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部４０８は、例えばユーザによるスマートデバイス３０１の操作を受け付けるボタン等である。なお、表示部４０７及び操作部４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。

モーションデータ取得部４０９には、例えばスマートデバイス３０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）が搭載される。また、スマートデバイス３０１の３軸方向の加速度を検出する加速度計（加速度センサ）や地磁気を検知する方位計（地磁気センサ）なども搭載される。ジャイロセンサと加速度センサと地磁気センサの出力値からスマートデバイス３０１の回転角度や変位量（ＸＹＺ軸移動量）を制御部４１１で演算する。また、気圧センサも設けて気圧の変化に基づく高度を取得し、移動量検出に用いることもできる。

ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、スマートデバイス３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ－Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、スマートデバイス３０１の現在位置を推定するようにしてもよい。

上記のように装置１０１とスマートデバイス３０１は、無線ＬＡＮ制御部４０１用いた通信により、装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したり、撮像装置１０１から撮影開始情報や被写体検出情報を受信したり、スマートデバイスから装置１０１の撮影などの操作指示であったりを行う。

図３で説明した構成においては、スマートデバイス３０１を撮像装置のコントローラとして使うために、スマートデバイスをサーバとして、アクセスポイント３０２経由で撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）との情報送受信を行う構成とした。しかしながら、別の方法により、複数撮像装置をコントロールする構成をとってもよい。

図６はサーバ経由転送の図の例である。撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）がアクセスポイント３０２を経由してサーバ６０２と無線で接続して情報転送を行う。また、ＰＣ６０３がアクセスポイント６０１を経由してサーバに接続し、撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）がサーバに転送した情報を取得する。なお、この例では違うアクセスポイントを経由して撮像装置とＰＣはそれぞれサーバに接続しているが、同じアクセスポイントを経由してもよい。またＰＣとサーバの接続は無線に限ら有線でもよい。

また、撮像装置の接続も無線に限らず有線でもよく、Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（ＰｏＥ）を用いて、電力供給を行いながら動かす構成にしてもよい。

＜撮像装置配置セッティング方法＞
複数の撮像装置を固定設置して、撮像装置がチルト回転ユニット１０４、パン回転ユニット１０５、ズームユニット２０１を駆動制御しながら連動して自動フレーミング撮影する場合を考える。この場合、各撮像装置の配置情報や、撮像装置の光軸向きの角度情報を把握しておく必要がある。

設置された各撮像装置の配置や角度を簡単な方法で取得する方法を説明する。

スマートデバイス３０１内に、複数台撮像装置をコントロールする専用のアプリケーションを用意しておく。ユーザは、アプリケーションを使って、簡単に撮像装置の設置位置を登録しておくことで、撮影時に複数の撮像装置間で連動してフレーミング制御できるような構成になっている。

まず、撮像装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅを適当な場所に設置する。ユーザ７００は、スマートデバイス３０１内のアプリケーションを起動する。アプリケーション起動時の画面例を図８に示す。撮像装置配置セッティングタブ８０１をタップして、撮像装置配置セッティング画面へ遷移する。図９に撮像装置配置セッティング画面を示す。ユーザ７００は、撮像装置１０１ａが設置されている場所に移動し、撮像装置１０１ａとスマートデバイス３０１をできる限り近づけて、撮像装置登録セットボタン９０１をタップする（図７）。同じように、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅの各撮像装置が設置されている場所に移動して、撮像装置とスマートデバイス３０１をできる限り近づけて、撮像装置登録セットボタン９０１をタップして、各撮像装置の配置情報を取得する。登録された撮像装置の位置は、撮像装置の設置位置を表示部９０３で確認できるようになっており、重力方向で上から見た撮像装置の配置位置がデフォルトでは表示されている。

ここで、１０１ｄから、１０１ｅの位置に移動して登録する場合を例に説明する。１０１ｄを登録した時点で登録撮像装置数は１０１ａ、１０１ｂ、１０１ｃ、１０１ｄの４台なので、登録撮像装置数９０２は「４」と表示されている。１０１ｅの場所に移動し、撮像装置登録セット９０１をタップすると、登録撮像装置数表示９０２は「４」から「５」に変化する。また、撮像装置の設置位置として、表示部９０３に、１０１ｅの撮像装置位置９０４が新規で追加表示される。

撮像装置の設置位置を表示部９０３に表示する際の撮像装置の位置表示方法の詳細について説明する。

まず、最初の撮像装置１０１ａにできるだけ近い位置で撮像装置登録セット８０１がタップされると、その位置のＸＹＺ座標を（０、０、０）として最初に登録する。そして、次の撮像装置の設定位置に移動し、次の撮像装置を登録する。このとき、最初に登録した座標（０、０、０）を基準した箇所から、次に撮像装置登録セットボタン９０１をタップするまでの移動距離をスマートデバイス３０１内のジャイロセンサ、加速度センサ、方位センサなどから算出することで、配置位置を登録する。或いは、スマートデバイス内のＧＰＳの情報を使ってもよいし、撮像装置内にＧＰＳを設ける構成にしてよい。或いは、複数の無線通信から受信した電波強度の違いから三点測位によって現在位置を推定する方法を使って移動位置を検出する方法をとってもよい。また、これらの方法を併用して移動位置を算出してもよい。

撮像装置の角度については、撮像装置１０１内部の加速度センサや方位センサの結果から算出することが可能である。

或いは、撮像装置の撮像装置１０１とスマートデバイス３０１との相対角度を決まった角度位置してユーザが登録設定することを前提として、スマートデバイス内の加速度センサや方位センサの結果から撮像装置１０１の角度を算出する構成にしてもよい。図１０（ａ）のように、撮像装置１０１のＸＹＺ軸を定義し、図１０（ｂ）のように、スマートデバイス３０１のＸ’Ｙ’Ｚ‘軸を定義したとする。図１０（ｃ）（ｄ）のように、撮像装置１０１のパン・チルト角度がデフォルト位置における光軸方向（Ｚ方向）とスマートデバイスのＹ’方向の向き角度があうようにしてから、撮像装置登録セット８０１がタップし撮像装置位置および角度を設定する構成にする。これにより、撮像装置内に方位センサを搭載しなくても、スマートデバイス内のセンサ情報を活用することで、撮像装置の方位角度を取得することが可能になる。

上記方法により、撮像装置１０１の３軸角度を算出することができる。

図１１に撮像装置登録セットボタン９０１がタップされた後のスマートデバイス３０１の制御部４１１の処理のフローを示す。

Ｓ１１０１で登録撮像装置数（Ｎ）が０より大きいかを判定し、Ｎが０以下（すなわち登録数０）である場合、Ｓ１１０２に進み撮像装置［Ｎ］（撮像装置１０１ａ）の撮像装置位置を初期位置（０、０、０）として最初に登録する。Ｓ１１０１でＮが０より大きい場合、Ｓ１１０３で撮像装置［Ｎ番目］の撮像装置座標を設定するため、撮像装置［Ｎ－１番目］に設定された位置からの現在位置までの相対位置を算出し、撮像装置［Ｎ］の設置位置を登録する。

Ｓ１１０２、Ｓ１１０３の処理後、Ｓ１１０４に進み撮像装置［Ｎ］の設置角度を取得し、Ｓ１１０５に進む。Ｓ１１０５では登録撮像装置数をインクリメントし、表示部９０２の撮像装置数の表示を更新し、Ｓ１１０６に進む。Ｓ１１０６では、撮像装置の設置位置を表示する表示部９０３に撮像装置［Ｎ］の座標位置を追加表示し、処理を終了する。

撮像装置登録セットボタン９０１がタップされる毎に本フローを繰り返すが、別途用意されたリセット設定などにより、登録がリセットされた場合は、撮像装置数Ｎを０にリセットし、撮像装置の設置位置を表示する表示部の情報もリセットする。

＜撮影エリアセッティング方法＞
図８の画面に戻り、ユーザ７００が、撮影エリアセッティングタブ８０２をタップした場合、撮影エリアセッティング画面へ遷移する。図１２に撮影エリアセッティング画面を示す。１２０１は撮像装置の設置位置の表示部であり、前述した撮像装置配置セッティング画面にて設定された撮像装置配置が表示されている。図１２に示すように、表示画面上に（図ではバスケットボールのコートのイラスト例を示している。）ユーザがイラストを張り付けたり、別途用意した上から撮影した撮影画像を張り付けたりしてもよい。１２０２は実際の撮像装置のライブ映像を表示するエリアであり、１２０１上の撮像装置の設置位置をタップすると、指定した撮像装置のライブ表示ができるようになっている。１２０３、１２０４、１２０５はそれぞれモードを変更するために用意されたボタンである。１２０３は「撮影エリア確認モード」、１２０４は「全体撮影領域設定モード」、１２０５は「個別撮影領域設定モード」の画面に遷移するためのモードスイッチとして用意されている。

まず、「撮影エリア確認モード」について説明する。

＜撮影エリア確認モード＞
１２０３の領域をタップすると、「撮影エリア確認モード」画面（図１２）に遷移する。

上記説明したように１２０１に撮像装置配置が表示されている。ここで、後述する「全体撮影領域設定モード」、「個別撮影領域設定モード」で撮影領域がユーザにより設定されていない場合、撮像装置がチルト回転ユニット１０４、パン回転ユニット１０５、ズームユニット２０１を駆動して撮影できる全領域が表示される。複数撮像装置が撮影できる領域が重なっているほど色が濃く表示され、複数撮像装置で撮影できる領域が重なっていないと薄く表示される。また、各撮像装置のもつ最大焦点距離に応じて撮像装置を原点としてどの距離までを撮影領域とするかが決められており、具体的には最大ズーム位置における撮影像倍率が所定値以上の条件で決められ、撮像装置配置位置からの半径が決められている。このような表示を行うことで、どの領域が複数撮像装置による多視点映像を取得できるのか、また複数の撮像装置での撮影が難しい領域なども確認することができる。

撮像装置の設置位置の表示部１２０１は、拡大／縮小、回転できるようになっており、１２０１上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画面が縮小され、広い領域での確認することができる。１２０１上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画面が拡大され、撮影領域を確認することができる。（図１２（ａ）→（ｂ）にピンチイン操作時の例を示す。）また、１２０１上でのタッチスクリーンを２本の指で同じ方向にスライドする操作により、画面表示の角度を変更することができる。例えば上下方向にスライド操作することで画面横軸を回転軸として回転し、左右方向にスライド操作することで画面縦軸を回転軸として回転させたりすることができる（図１２（ｃ）に例を示す。）。

また、指一本のスライドで画面の中心位置を移動させたり、撮像装置配置箇所をタップすることで指定した撮像装置のライブ映像を１２０２に表示することもできる。

＜全体撮影領域設定モード＞
１２０４の領域をタップすると、「全体撮影領域設定モード」画面（図１３）に遷移する。

「全体撮影領域設定モード」においては、撮像装置の設置位置の表示部１２０１に表示された画面で、ユーザが撮影したい領域を手動で操作することで、複数の撮像装置が自動でフレーミング撮影をする際にユーザの意図する映像が撮れやすくする。ここで撮影領域に指定されない領域については、各撮像装置はそのエリアの撮影をほとんど行わないように自動制御されることになる。撮像装置の設置位置の表示部１２０１に表示画面内でユーザが撮影領域を指定した例を図１３（ａ）の１３０１に示す。

ユーザが撮影領域を指定すると指定した領域の中で１３０２の領域と１３０３の領域とそれぞれ視覚的に異なるエリア領域だとわかるように表示する。ここで、配置された撮像装置によって撮影網羅できるエリアである場合は１３０２の領域に表示され、撮影網羅できないエリアと判定された場合は１３０３のように表示される。図１２に示されたように、配置された各撮像装置からの距離が遠い領域や、２台以上の撮像装置で撮影可能な領域が重なっていない場合は、撮影網羅できないエリアと判定されることになる。

図１２で説明した方法と同様に、撮像装置の設置位置の表示部１２０１は、拡大／縮小、回転できるようになっており、１２０１上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画面が縮小され、広い領域での確認することができる。１２０１上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画面が拡大され、撮影領域を確認することができる。また、１２０１上でのタッチスクリーンを２本の指で同じ方向にスライドする操作により、画面表示の角度を変更することができる。例えば上下方向にスライド操作することで画面横軸を回転軸として回転し、左右方向にスライド操作することで画面縦軸を回転軸として回転させたりすることができる。（図１３（ｃ）に例を示す。）重力方向をＺ軸と置いたとき、Ｚ軸方向から表示させた場合において、図１３（ａ）（ｂ）のようにＸＹ軸範囲での撮影領域を指定、撮影領域網羅かを確認することができるが、Ｚ軸方向の撮影範囲も指定することができる。図１３（ｄ）のように画面を回転させＺ軸方向を指定できる画面角度になった状態で、ユーザがＺ軸方向の撮影領域を指定した例を図１３（ｄ）に示す。ここで、配置された撮像装置によって撮影網羅できるエリアである場合は１３０４の領域に表示され、撮影網羅できないエリアと判定された場合は１３０５のように表示される。

１２０２は指定した撮像装置のライブ映像を表示するエリアであり、図１３（ｅ）のように１２０１上の撮像装置の設置位置をタップすると、指定した撮像装置のライブ映像が１２０２上に表示される。表示例を図１３（ｆ）に示す。１２０１内で指定された撮像装置の色或いは形大きさが変わり、どの撮像装置が指定されているかが確認できる。また、指定した撮像装置の現在の表示画角が分かるような画角範囲の表示１３０４も同時にされる。１２０２のライブ映像の中でも。ユーザが手動で操作し指定した撮影領域１３０１の範囲なのか否かわかるようになっており、ユーザは視覚的に確認することができる（例えば１３０５が撮影領域に指定している領域で、１３０６が撮影領域に指定していない領域でグレーに表示される。）。

このように、ユーザが簡単な操作で撮影エリアを指定でき、且つ撮影網羅できる領域と網羅できていない領域を可視化することができる。また、実際の撮像装置のライブ映像をモニタしながら指定した領域の範囲内外を確認できる。

＜個別撮影領域設定モード＞
１２０５の領域をタップすると、「個別撮影領域設定モード」画面（図１４）に遷移する。

「個別撮影領域設定モード」においては、撮像装置毎に詳細な撮影領域を指定させることができる。図１４（ａ）のように、撮像装置の設置位置の表示部１２０１に表示された画面で、ユーザが撮影領域設定したい撮像装置の表示位置をタップすると、指定した撮像装置のライブ映像が１２０２上に表示される。表示例を図１４（ｂ）に示す。１２０１内で指定された撮像装置の色或いは形大きさが変わり、どの撮像装置が指定されているかが視覚的に確認できる。また、指定した撮像装置の現在の表示画角が分かるような画角範囲の表示１４０１も同時にされる。１２０２のライブ映像表示されている画面上で、タッチスクリーンを１本の指でスライド操作することで表示画面内での撮影領域指定を行う。タッチスライド操作で図１４（ｂ）→（ｃ）のように画面横方向にスライドさせることでエリア範囲を指定できる。また、スライドで画面端付近に到達すると、横（パン）方向に指定撮像装置のパン駆動を行い、撮像装置光軸を変化させながらの撮影エリア指定もできる。縦（チルト）方向にスライド操作も同様に行うことができ、タッチスライド操作で図１４（ｃ）→（ｄ）のように画面縦方向にスライドさせることでエリア範囲を指定できる。スライドで画面端付近に到達すると、縦（チルト）方向に指定撮像装置のチルト駆動を行い、光軸を変化させることで撮影エリア指定しやすくする。撮影エリア指定することなくパン・チルトを駆動して撮像装置光軸を変化させたい場合は、例えば２本の指でタッチスライド操作すれば、撮影エリア指定することなく画面を縦横（チルトパン）方向に移動させることが可能なようにしておく。また、１２０２上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画角が大きくなるようにズーム駆動し画面が縮小され、広い領域での確認することができる。また、１２０２上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画角が小さくなるようにズーム駆動し画面が拡大され、撮影領域を確認することができる。

また、自動でズーム駆動する領域をユーザ指定させてもよい。

指定された撮影エリアを解除したい場合は、例えば指定済みのエリアを２回タップすることで「解除するか否か」のメッセージを画面に表示する。そして、解除ＯＫを指定することで、指定エリアを解除する方法にしてもよいし、タッチスクリーン上に「指定」「解除」のそれぞれのタッチボタンを用意し、「解除」を指定後、１２０２上でタッチスライドした領域を解除するようにしてもよい。

上記のような方法で、各撮像装置別に撮影領域を指定することができる。「個別撮影領域設定モード」画面で撮像装置別の撮影領域をした後、１２０３の領域をタップすると、撮影エリア確認モード」画面（図１２を用いて説明）に遷移する。図１４（ａ）～（ｄ）で説明した方法で個別に撮影領域を指定後の撮影エリア表示例を、図１４（ｅ）に示す。各撮像装置が指定した撮影エリアに基づいて、撮影網羅している領域か否かが色の濃さにより視覚的に確認できるようになっている。複数撮像装置が撮影できる領域が重なっているほど色が濃く表示され、複数撮像装置で撮影できる領域が重なっていないと薄く表示される。

図１４（ｅ）→（ｆ）にピンチイン操作時の例を示す。ピンチイン操作により画面が縮小され、広い領域を確認できる画面で撮影領域を確認することができる。

このように、ユーザが簡単な操作で撮像装置個別毎に撮影エリアを指定でき、且つ撮影網羅できる領域と網羅できていない領域を可視化することができる。

以上の方法で複数撮像装置を用いた撮影領域指定を簡単に行うことができ、指定した撮影領域において複数の撮像装置が連動してフレーミング調整を行ったり、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことをサポートする。

＜リモートコントロール設定モード＞
図８の画面に戻り、ユーザが、リモートコントロールタブ８０３をタップした場合、リモートコントロール画面へ遷移する。図５にリモートコントロール画面を示す。１７０１は撮像装置の設置位置の表示部であり、前述した撮像装置配置セッティング画面にて設定された撮像装置配置、撮影領域設定モード画面で設定された撮影領域が分かるように表示される。また、各撮像装置が現在どの方向を向き画角範囲がどうなっているかが視覚化できるようになっている。自動或いは手動で撮像装置画角や光軸向きが変化した場合、この方向表示も同時に変化することになる。１７０２は実際の撮像装置のライブ映像を表示するエリアであり、１７０１上の撮像装置設定位置をタップすると、指定した撮像装置のライブ表示ができるようになっている。また、１７０１上で現在ライブ表示されているどの撮像装置かが分かるようになっており、１７０６のように撮像装置の設置位置の色或いは形大きさなどが変わる。１７０４は撮影ボタンであり、動画撮影開始／静止画撮影／自動撮影開始などが指示できるようになっている。１７０５は撮像装置設定を変更できる撮像装置セッティングボタンであり、１７０５をタップすると、撮像装置セッティングメニューが表示され、例えば解像度／フレームレート／ホワイトバランスなどの設定をマニュアルで操作できるようになっている。

１７０３は「リモートコントロール操作ボタン」であり、ユーザがリモートで撮像装置を操作する場合にタップしてリモート操作画面に遷移する。リモート操作画面に遷移すると、図５（ｂ）の画面に遷移する。リモート操作画面では、パン・チルトを操作することのできる操作部１７０７と、ズーム操作をすることのできる操作部１７０８が表示される。パン・チルト操作部１７０７の上下アイコンをタッチすると指定している撮像装置のチルト駆動し、左右アイコンをタッチするとパン駆動し、撮像装置光軸を変更できる。また、操作部１７０８アイコンの操作で上方向にスイッチアイコンをスライド操作すると画角を狭める方向（Ｔｅｌｅ側）にズーム駆動し、下方向にスイッチアイコンをスライド操作すると画角を広げる方向（Ｗｉｄｅ側）にズーム駆動する。これにより画角を変更できるようする。

ここでは１７０７や１７０８のような操作アイコンを表示する例を示した。しかしながら、操作アイコンを表示せず、タッチスクリーンの１７０２の画面内でピンチアウト、ピンチインすることでズーム駆動したり、スライド操作でパン・チルトを駆動するような構成にしてもよい。

また、指定した被写体が画面の所定位置（例えば画面中央付近）を保持するように自動でパン・チルト、ズームを駆動したい場合、図５（ｃ）のようにタッチ操作で被写体を指定してもよい。タッチで被写体を指定すると、自動で被写体追尾する制御を行い、図５（ｄ）のように現在追尾している被写体が視覚的にわかるように、被写体枠１７０９を表示させるようにしている。追尾解除するまでは被写体追尾を継続し、解除は例えば解除ボタンを表示させてそのボタンをタッチすれば解除するようにしてもよいし、１７０７や１７０８などで撮像装置光軸や画角を手動変更したら追尾解除するようにしてもよい。

また、自動フレーミング撮影動作中に、障害物が死角となり（例えば撮像装置の前に人が移動してその場に留まってしまった場合など）、指定した撮影領域が撮影できないような場合の警告表示について説明する。

図９乃至１４を用いて説明したように撮影領域が指定されているので、撮影領域に設定された範囲よりも撮像装置側に近い前方の被写体を検出し、且つ撮影範囲に置いてその被写体の写る領域が所定値よりも大きい場合、死角が発生していると判定する。そして、スマートデバイスアプリケーション内に警告表示を行う。例えば、死角が発生している撮像装置はスマートデバイスに通知され、アプリケーションの１７０１の表示領域において撮像装置のアイコンを点滅させたり、エラー表示を行うなどして警告をユーザに知らせる。距離計測はフォーカスを利用したものでも外側センサを用いても何れの方法でもよい。若しくは、同時に同じ被写体を追尾撮影したり、同じ撮影領域を複数撮像装置で撮影している場合、他の撮像装置の画像情報（被写体検出情報や画像内の色相や彩度などの特徴情報）と一致しない場合などに警告表示させるなどしてもよい。

＜被写体指定による撮像装置優先度の決定＞
（タッチ被写体指定による撮像装置優先度の決定）
上記説明した方法により、タッチ操作により撮影する被写体を指定できる。まず、図５（ｃ）（ｄ）のような方法でユーザ操作により被写体指定された撮像装置の、撮像装置から被写体までの距離、撮像装置の光軸方位角度、被写体検出情報（事前に学習済みの物体検出情報や顔情報や画像内の色相や彩度などの特徴情報）を取得する。取得した被写体までの距離と被写体指定した撮像装置の光軸方位角度とから、各撮像装置の配置座標上における被写体位置座標を算出する。更に被写体位置座標から各撮像装置までの距離を算出し、より被写体に近い撮像装置が優先度高くなるようにまず仮優先度設定を行う。この時、最も優先度が高いと判定された撮像装置が前記被写体指定した撮像装置であれば、仮優先度設定をそのまま本優先度設定として使用する。ここで、最も優先度が高いと判定された撮像装置が前記被写体指定した撮像装置でない場合、最も仮優先度が高い撮像装置に前記被写体が撮影できるように撮像装置光軸方位角度をパン・チルト、ズームを駆動して画角を変更する。被写体方向に駆動後、前記被写体指定した撮像装置からの被写体検出情報を、仮優先度高に設定された撮像装置に送信し、仮優先度高に設定された撮像装置がその被写体を検出できた場合、仮優先度高に設定された撮像装置を優先度高に設定する。

或いは、被写体が人の場合、検出した顔の情報から決められた条件での一致度（例えば、顔向きが正面ほど優先し、顔大きさが大きいほど優先するなど）から一致度が高い撮像装置を優先度高に設定してもよい。また、被写体が人以外の物体である場合も予め登録された被写体であれば、被写体の一致度（過去の学習の結果に基づいて学習済みのモデルから推論実行された結果の点数）から一致度が高い撮像装置を優先度高に設定してもよい（一致度＝被写体信頼度）。

上記のように指定被写体までの距離や被写体信頼度などによって優先度高と低の撮像装置が設定されるが、指定被写体までの距離が離れすぎていて被写体を追尾し撮影することが困難な場合は、優先度高の撮像装置に従わないように設定する。具体的には、指定被写体までの距離が所定値以内の範囲に位置する撮像装置は優先度低、且つ前記優先度高に設定された撮像装置の指示に従うように後述する方法で制御される。一方、指定された被写体までの距離が所定値以上の場合、優先度高の撮像装置には従わないように設定される。優先度が高にも低にも設定されていない撮像装置は、自動被写体探索を撮像装置内部で演算して動くことになる。

上記方法での被写体指定は、１つの被写体のみではなく複数の被写体を指定してもよい。２つ目の被写体が指定された場合、上記と同様の方法で優先度高とそれに従う優先度低の撮像装置をそれぞれ設定する。すべての撮像装置は２つの被写体までの距離をそれぞれ算出し、算出した距離に基づいて、優先度高の撮像装置の設定と、どの撮像装置に従う優先度低の撮像装置に設定するのかが設定される。優先度高の撮像装置に対して少なくとも１つ以上は、その撮像装置に従う優先度低に設定された撮像装置を設けるようにする。

（自動被写体検出による撮像装置優先度の決定）
上記方法では、ユーザが手動で被写体を指定する方法で説明したが、事前に検出したい被写体を登録しておき、各撮像装置が自動でその被写体を検出した場合に、自動的に被写体を指定する方法をとってもよい。そのときは被写体を検出した場合に、手動で被写体指定した場合と同様の方法で、各撮像装置の優先度の設定が行われる。

複数被写体を検出した場合も、手動で被写体指定した場合と同様の方法で、各撮像装置の優先度の設定が行われる。

なお、自動的に複数被写体を検出し追尾する場合には、各撮像装置毎に追尾している被写体の追尾精度がより高いと判断した撮像装置を優先度がより高い撮像装置と判定することもできる。また、追尾精度がより低いと判断した撮像装置を優先度がより低い撮像装置と判定することもできる。

（マニュアル操作による撮像装置優先度の決定）
また、図５（ｂ）を用いて説明したように、ユーザがパン・チルト、ズームを手動で操作して撮像装置をコントロールするようなマニュアル操作時においては、マニュアル操作を行っている撮像装置を優先度高に設定する。マニュアル操作している撮像装置のズーム、フォーカス情報などから撮影被写体までの距離を算出し、上記説明した方法と同様に各撮像装置から撮影被写体までの距離を算出する。そして、撮影被写体までの距離が所定値以内の範囲に位置する撮像装置は優先度低に設定し、且つ前記優先度高に設定された撮像装置の指示に従うように後述する方法で制御される。一方、指定された被写体までの距離が所定値以上の場合、優先度高の撮像装置に従わないように設定される。

上記のような方法で、優先度高と低の撮像装置を設定し、自動フレーミング制御を行う。図１７、図１８を用いて処理フローを説明する。

図１７は各撮像装置からの情報を通知されるコントロール部（スマートデバイス３０１、或いはサーバ６０２）における各撮像装置の優先度判定処理のフローを示す。

Ｓ１７０１では、図５（ｂ）で説明したようなパン・チルト、ズームのマニュアル操作が行われているかを判定し、マニュアル操作が行われていればＳ１８０２に進み、マニュアル操作が行われていなければＳ１７０３に進む。

Ｓ１７０２では、マニュアル操作による優先度の仮判定を行う。マニュアル操作されている撮像装置を仮優先度高とし、マニュアル操作されている撮像装置のズーム、フォーカス情報などから撮影被写体までの距離を算出する。そして、各撮像装置から撮影被写体までの距離を算出し、距離の大きさに基づいて、各撮像装置の仮優先度が設定される。

ここで設定された仮優先度は「仮１判定」としておく。

Ｓ１７０３では、被写体指定がされているか否かを判定する。被写体指定はユーザが手動で設定する場合もあるし、撮像装置が自動で予め登録した被写体を検出し、指定する場合もあるし、指定された被写体は複数の場合もある。被写体指定されている場合、Ｓ１７０４に進み、被写体指定されていない場合、Ｓ１７０６に進む。

Ｓ１７０４では、被写体指定後、優先度高と判定されている撮像装置からの被写体距離情報などを取得する。なお、被写体指定された直後は、その指定した撮像装置が優先度高の撮像装置となっているが、その後は上記説明したように各撮像装置の優先度に基づいて変化する。優先度高の撮像装置からの情報を取得すると、Ｓ１７０５に進み、被写体距離情報から各撮像装置から被写体までの距離を算出し、距離の大きさや各撮像装置が検出した被写体の信頼度に基づいて、各撮像装置の仮優先度が設定される。ここで設定された仮優先度は「仮２判定」とし、また指定されている被写体毎にＳ１７０４、Ｓ１７０５の処理は行われ、ここでは「仮３判定」まで検出できた例を説明する。図１９に仮３判定まで検出された場合の各撮像装置の優先度演算の例を示す。各撮像装置の優先度が仮１と仮２と仮３で演算され、撮像装置から被写体までの距離（ａ１１～ａ１６，ａ２１～ａ２６，ａ３１～ａ３６）と被写体信頼度（ｂ１１～ｂ１６，ｂ２１～ｂ２６，ｂ３１～ｂ３６）からそれぞれ優先度を演算する。優先度は距離が近いときに大きくなり、被写体信頼度が高いときに大きくなるように演算されるような関数とする。

Ｓ１７０６に進むと最終的な各撮像装置の優先度を判定する。

優先度高に設定される撮像装置の中でも、『マニュアル操作 ＞ 手動被写体指定 ＞ 自動被写体指定』の順で優先すべき撮像装置が決められている。

ここで、マニュアル操作と手動被写体指定と自動被写体指定それぞれが実行されている状態を例にして説明する。仮１の判定はマニュアル操作の判定であるので、仮１優先度では優先度高の撮像装置はマニュアル操作している撮像装置で固定される。ここで、仮１の優先度高は撮像装置１に設定され、優先度は、撮像装置２＞撮像装置３＞撮像装置４＞撮像装置５＞撮像装置６の順番になっていたと仮定する。次に手動で被写体指定が行われ、仮２に設定されているとする。このとき撮像装置１はマニュアル操作で優先度高とされているので、仮２以降の判定から除外される。ここで仮２優先度は、撮像装置２＞撮像装置３＞撮像装置４＞撮像装置５＞撮像装置６の順番になっていたと仮定する。最も優先度の高い撮像装置２が優先度高撮像装置に設定されることになる。

自動被写体指定は、マニュアルや手動被写体指定で設定されていない撮像装置が登録被写体を検出した場合に実行されるものである。よって、マニュアル操作の仮１判定と手動被写体指定の仮２判定のそれぞれから優先度高の撮像装置に従う優先度低の撮像装置を先に設定する。ここで、撮像装置１と撮像装置２はそれぞれ優先度高に設定されているので、撮像装置３乃至６の中から各撮像装置に従う優先度低の撮像装置を設定する。ここで、仮１と仮２ともに各優先度は、撮像装置２＞撮像装置３＞撮像装置４＞撮像装置５＞撮像装置６の順番になっている。何れも撮像装置３を優先度低に設定したいが、仮１の優先度の方が高いので、撮像装置３が仮１の優先度高の撮像装置に従う優先度低の撮像装置に設定され、撮像装置４が仮２の優先度高の撮像装置に従う優先度低の撮像装置に設定される。ここで、撮像装置５、撮像装置６の仮１優先度と仮２優先度が所定値よりも小さく、各撮像装置に従う優先度低の撮像装置に設定されなかったとすると、撮像装置５と撮像装置６は自動でフレーミング撮影されるように動く。

ここで、撮像装置５において自動で登録被写体が検出された場合、撮像装置５を仮３の優先度高の撮像装置と設定し、撮像装置６の仮３優先度の値が所定値以上であれば、撮像装置６を仮３の優先度高の撮像装置に従う優先度低撮像装置に設定されることになる。

以上のようにＳ１７０６で、マニュアル操作や手動被写体指定や自動被写体指定が行われた場合に、優先度高とその撮像装置に従う優先度低の撮像装置が設定され、各撮像装置に情報通知を行い、処理を終了する。この処理は通信サンプリング毎に逐次実行される。

次に上記判定された優先度に基づいた各撮像装置の処理フローについて、図１８を用いて説明する。

Ｓ１８０１では、コントロール部（スマートデバイス３０１、或いはサーバ６０２）から、図１７、図１９を用いて説明した方法により設定された優先度などの情報を受信し、Ｓ１８０２に進む。Ｓ１８０２では受信した情報からこの撮像装置が優先度高に設定されているか否かを判定し、優先度高に判定されていればＳ１８０３に進み、優先度高に設定されていなければＳ１８０６に進む。

Ｓ１８０３では、受信した情報からこの撮像装置がマニュアル操作されているか否かを判定し、マニュアル操作されている撮像装置であればＳ１８０４に進み、受信したマニュアル操作指示（パン・チルト、ズーム指示）に基づいて撮像装置を駆動制御する。マニュアル操作されていない撮像装置であれば、Ｓ１８０５に進む。この場合、マニュアルでなく且つ優先度高であるので被写体指定がされている撮像装置ということになる。よって、現在設定されている被写体を自動パン・チルト、ズーム制御により、画面の中心付近に被写体を保持するように追尾制御する。Ｓ１８０４やＳ１８０５の処理を行いＳ１８１３に進む。

Ｓ１８０２で、受信した情報からこの撮像装置が優先度高に設定されていないと判定されると、Ｓ１８０６で受信した情報からこの撮像装置が優先度低に設定されているか（即ち他の優先度高の撮像装置に従う撮像装置であるか）を判定する。そして、優先度低に設定されている場合、Ｓ１８０７に進み、優先度低に設定されていない場合、Ｓ１８１２に進む。Ｓ１８１２では優先度高にも低にも設定されていないので、この撮像装置が自動でフレーミング制御する設定にする。（自動フレーミング制御については後述する方法で実施する。）Ｓ１８０７では受信した情報からこの撮像装置が従う優先度高の撮像装置がマニュアル操作による撮像装置に設定されているかを判定する。そして、マニュアル操作であれば、Ｓ１８０８に進み、受信した情報からこの撮像装置を制御するパン・チルト、ズーム指令値を設定し、Ｓ１８０９に進み、受信したパン・チルト、ズーム指令値に基づいてパン・チルト、ズーム駆動し、Ｓ１８１３に進む。Ｓ１８０７でこの撮像装置が従う優先度高の撮像装置がマニュアル操作による撮像装置でない（即ちこの撮像装置が従う優先度高の撮像装置が被写体指定による撮像装置）と判定されると、Ｓ１８１０に進む。この場合、受信した情報から追尾対象被写体の被写体情報（事前に学習済みの物体検出情報や顔情報や画像内の色相や彩度などの特徴情報）などを取得し、被写体登録する。そして、Ｓ１８１１に進み、登録した被写体を自動パン・チルト、ズーム制御により、画面の中心付近に被写体を保持するように追尾制御し、Ｓ１８１３に進む。

Ｓ１８１３では、この撮像装置現在の各情報（被写体情報、パン・チルト、ズーム位置情報）を図１７の処理を行うためにコントロール部（スマートデバイス３０１、或いはサーバ６０２）に通知し、処理を終了する。この処理は通信サンプリング毎に逐次実行される。

以上のような方法により、複数撮像装置を備えた自動撮影システムにおいて、複数の各撮像装置の撮影優先度を決定し、優先度高と判定された撮像装置が優先度低と判定された撮像装置の処理内容を決定して、複数の撮像装置で自動フレーミング撮影を行う。

＜自動フレーミング／撮影処理＞
次に自動撮影処理の詳細を説明する。１７０４で撮影制御開始を指示すると撮影動作が開始される。図１５を用いて、撮影モード処理を説明する。

Ｓ１５０１にて、撮像部２０６で取り込まれた信号を画像処理部２０７で被写体検出用に画像処理された画像を生成する。生成された画像からは、人物や物体検出などの被写体検出が行われる。

人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。

例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。また、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（以下ＣＮＮと略記する）などを用いて予め検出したい被写体を学習しておき、顔認識や物体認識に対してＣＮＮを適用してもよい。以上の方法で、撮像情報から各被写体情報を得ることができる。

Ｓ１５０２では被写体探索処理を行う。被写体探索は、以下の処理によって構成される。
（１）エリア分割
（２）エリア毎の重要度レベルの算出
（３）探索対象エリアの決定

以下、順次説明する。

（１）エリア分割
図１６を用いて、エリア分割を説明する。

図１６（ａ）のように撮像装置（原点Ｏが撮像装置位置とする。）位置を中心として、全周囲でエリア分割を行う。図１６（ａ）の例においては、チルト方向、パン方向それぞれ２２．５度で分割している。図１６（ａ）のように分割すると、撮像装置チルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。

よって、図１６（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。

図１６（ｃ）、（ｄ）に撮影画角内でのエリア分割された例を示す。軸１６０１は初期化時の撮像装置１０１の方向であり、この方向角度を基準位置としてエリア分割が行われる。１６０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図１６（ｄ）に示す。画角に写し出されている画像内ではエリア分割に基づいて、図１６（ｄ）の１６０３～１６１８のように画像分割される。

（２）エリア毎の重要度レベルの算出
前記のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。

また、図１２乃至１４で説明した方法でユーザによる撮影領域の指定が行われている場合、指定された撮影領域内で各撮像装置が探索、フレーミング動作を行うように、指定されていない領域に位置するエリアの重要度レベルを最小値に固定する。これにより、そのエリア方向の探索は行わないように設定する。

なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するＳ９１０にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。但し、ユーザによる撮影領域の指定が行われていないエリアは可変させず最小値を保持させる。

（３）探索対象エリアの決定
前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。

Ｓ１５０３では、パン・チルト駆動を行う。パン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出し、鏡筒回転駆動部２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。

Ｓ１５０４ではズームユニット２０１を制御しズーム駆動を行う。具体的には、Ｓ１５０２で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔であるとき、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出ができず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体や撮像装置自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追尾するのに適した状態を保つことができる。

Ｓ１５０２乃至Ｓ１５０４では、パン・チルトやズーム駆動により被写体探索を行う方法を説明したが、広角なレンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位撮像装置の場合、撮像によって得られる信号すべてを入力画像として、被写体検出などの画像処理を行うと膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。上述した方法と同様にエリア毎の重要レベルを算出し、重要レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。

尚、図５を用いて説明したように、追尾被写体を手動で指定された場合や、自動で特定被写体を検出したら追尾するように設定されている場合においては、上記探索動作は行わない。指定された被写体を画面の所定位置（例えば画面中央付近）に保持するようにパン・チルト駆動を行ったり、被写体が所定の大きさになるようにズーム駆動が行われることになる。

Ｓ１５０５では、手動による撮影指示があったがどうかを判定し、撮影指示があった場合、Ｓ１５０６に進む。この時、手動による撮影指示は、シャッターボタン押下によるものや、撮像装置筺体を指等で軽く叩く（タップ）、音声コマンド入力、外部機器からの指示などによってもよい。タップ操作による撮影指示は、ユーザが撮像装置筺体をタップした際、装置揺れ検出部２０９によって短期間に連続した高周波の加速度を検知し、撮影トリガとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、音声処理部２１４で音声を認識し、撮影のトリガとする撮影指示方法である。外部機器からの指示は、例えば撮像装置と無線通信で接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガとする撮影指示方法である。

Ｓ１５０６では、自動撮影判定を行う。自動撮影判定では、撮影を行うかどうかの判定を行う。

＜自動撮影を行うかどうかの判定＞
自動撮影を行うかどうかの判定は以下の２つの判定に基づいて行う。１つは、Ｓ１５０２にて得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施する判定を下す。２つめは、ニューラルネットワークに基づく判定である。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、等を使用する。その他、シーン判別結果、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か、等を使用してもよい。また、振動情報（加速度情報、前記撮像装置状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。

なお、このニューラルネットワークに基づく判断は、後述する学習処理によって、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることができる。

＜撮影方法の判定＞
撮影方法の判定では、Ｓ１５０１において検出した、周辺の被写体の状態に基づいて、静止画撮影、動画撮影の何れかを実行するかの判定を行う。例えば、被写体（人物）が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写を実行する。ニューラルネットワークによる判定を行ってもよい。また、専用のアプリケーションを用いて、撮像装置の設定を手動で変更することもでき、静止画のみを撮影するように指定もできるし、動画のみを指定することもできるし、両方を撮影として残すように設定することも可能である。

Ｓ１５０７では、Ｓ１５０６の自動撮影判定により撮影する判定が下された場合、Ｓ１５０８に進み、下されなかった場合、撮影モード処理終了へと進む。

Ｓ１５０８では、撮影を開始する。この時、Ｓ１５０６にて判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部２０４によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理を行い、画像を生成する。

また、動画撮影の場合、撮影記録中においてもＳ１５０１乃至Ｓ１５０４で説明したように被写体検出に基づいたパン・チルトとズーム駆動によるフレーミング動作を行いながら撮影する。上記方法のようにエリア分割した重要度レベルに基づいて探索を行ってもよいし、動画中は大きな探索動作を禁止するようにしてもよい。また、特定の被写体を登録し、登録した被写体を画面中心付近に保持するように、指定された撮影領域内でパン・チルト、ズームで追尾しながら動画撮影してもよい。

Ｓ１５０９では、Ｓ１５０８にて生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果などである。画像加工は、Ｓ１５０８にて生成した画像を元に、上記の処理の組み合わせによって複数生成し、前記Ｓ１５０８にて生成した画像とは別に保存するとしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。

Ｓ１５１０では過去撮影情報の更新を行う。具体的には、Ｓ１５０６の説明で述べたエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。

上記説明した方法により、複数撮像装置を用いた撮影領域指定を簡単に行うことができ、指定した撮影領域において複数の撮像装置が連動してフレーミング調整や、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことをサポートする。

上記説明した方法により、撮影領域指定を簡単な操作で行うことができる。そして、指定した撮影領域の中で、複数の撮像装置が連動してフレーミング調整や、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことで、ユーザが望む映像を撮影し易くなる自動撮影を行うことができる。

本実施形態においては、図１に示す構成のパン・チルト、ズームを有する撮像装置を複数台使用する例で説明した。しかしながら、複数台使用する撮像装置の中で、図１に示すパン・チルト、ズームの構成の撮像装置を用いてもよい。また、パン・チルトがないズームを有する撮像装置を用いてもよい。また、ズームのないパン・チルトを有する撮像装置を用いてもよい。また、一部撮像装置には、ズームもパン・チルトもない固定焦点距離の撮像装置を用いてもよい。また、複数の撮像素子及び広角な光学系を有して、全方位を一度に撮影する全方位撮像装置を用いてもよい。

［第２の実施形態］
複数台設置された各撮像装置は、パンチルトズームを用いて自動構図調整する。また、各撮像装置は、Ｓ１５０６で説明したような自動撮影判定処理をそれぞれで行い、自動撮影ＯＮと判定すると自動撮影を開始する。

第２の実施形態においては、複数台を連携して自動撮影を行う方法を説明する。

第１の実施形態で説明したとおり、ユーザによって指定された範囲内で各撮像装置はパンチルトズームを自動駆動してフレーミングを行う。ある１つの撮像装置が自動撮影開始を指示されると、＜被写体指定による撮像装置優先度の決定＞で説明した方法と同様の方法で、各種情報をコントロール部が取得する。各種情報とは、ここでは、自動撮影判定された撮像装置から被写体までの距離、撮像装置の光軸方位角度、被写体検出情報（事前に学習済みの物体検出情報や顔情報や画像内の色相や彩度などの特徴情報）とする。コントロール部は取得した被写体までの距離と被写体指定した撮像装置の光軸方位角度とから、各撮像装置の配置座標上における被写体位置座標を算出する。更に、コントロール部は、被写体位置座標から各撮像装置までの距離を算出し、より被写体に近い撮像装置をメインの撮像装置（優先度高の撮像装置）として設定する。また、その他の撮像装置を被写体に近い撮像装置の撮影サポートを行うサブの撮像装置（優先度低の撮像装置）として設定する。

図２１、図２２を用いて各撮像装置とコントロール部（スマートデバイス３０１、或いはサーバ６０２）でのフローを説明する。

図２１に撮像装置内での処理フローを示す。

Ｓ２１０１では、コントロール部からの情報を受信したか否かを判定し、受信がある場合にはＳ２１０２に進む。Ｓ２１０２では、コントロール部から受信した情報の中に被写体指定に関する情報、或いは画角指定に関する情報があるか否かを判定し、ありの場合にはＳ２１０３に進み、なしの場合にはＳ２１０４に進む。Ｓ２１０３では、受信した情報に基づいて、指定された被写体や画角に応じたパンチルトズームを駆動し、フレーミングを行う。ここでは、コントロール部が撮像装置の配置座標上における被写体位置座標を算出するものとする。そして、被写体値座標が撮像装置の画角内で撮影されるようなパンチルトズームを調整するための情報が、コントロール部から送信され、撮像装置がそれを受信することでフレーミングを行うことができる。Ｓ２１０３で指令された被写体に向けパンチルトズームにより画角調整しＳ２１０４に進む。

Ｓ２１０１でコントロール部からの情報受信がない場合Ｓ２１０６に進み、撮像装置内で判定された重要被写体（例えば事前に重要被写体として登録されている特定人物や特定物体など）が画角内にいるか否かを判定する。そして、重要被写体ありの場合Ｓ２１０７に進み、検出した重要被写体の各情報（被写体情報、パン・チルト、ズーム位置情報）をコントロール部に通知（送信）し、Ｓ２１０８に進む。Ｓ２１０６で重要被写体なしの場合はコントロール部には通知せずにＳ２１０８に進む。

Ｓ２１０４ではコントロール部からの情報内に撮影指示情報があったか否かを判定し、撮影指示情報がある場合にはＳ２１０５に進み撮影を開始し、処理を終了する。この処理は所定周期毎に逐次実行される。また、Ｓ２１０４でコントロール部から撮影指示情報がない場合には、Ｓ２１０８に進む。

Ｓ２１０８では撮像装置内で図１５のＳ１５０６で説明した方法と同様に自動撮影判定処理を行う。自動撮影開始と判定された場合、Ｓ２１０９に進み、撮像装置内で自動撮影開始するのと同時に他の撮像装置へ撮影指示するために自動撮影開始情報をコントローラ部に通知し、Ｓ２１０５に進み撮影を開始する。Ｓ２１０８で自動撮影開始判定されなければ処理を終了し、次回周期での実行を待つ。

次にコントロール部（スマートデバイス３０１、或いはサーバ６０２）での処理について図２２を用いて説明する。

Ｓ２２０１で各撮像装置の何れかからの情報受信がある場合Ｓ２２０２に進み、情報受信がない場合は何もせずに処理を終了する。Ｓ２２０２で各撮像装置からの情報受信の中に重要被写体判定情報が含まれている場合、Ｓ２２０３に進み、重要被写体判定情報が含まれていない場合はＳ２２０６に進む。

Ｓ２２０３では重要被写体ありと判定された撮像装置の各情報（被写体情報、パン・チルト、ズーム位置情報）から同時に同じ被写体にフレーミングする撮像装置を決める。決定方法は図１７を用いて説明したように被写体指定された撮像装置からの情報に基づき演算された各撮像装置の被写体までの距離などでサブの撮像装置を決定する方法がある。サブの撮像装置を選択するとＳ２２０３にて決定したサブの撮像装置の画角を判定する（Ｓ２２０４）。詳細にはサブの撮像装置に設定された撮像装置の配置座標上における被写体位置座標を算出し、被写体値座標が撮像装置の画角内にはいるようなパンチルトズーム情報が演算される。Ｓ２２０５では、Ｓ２２０４で演算された画角情報や、重要被写体ありと判定された撮像装置の被写体情報などを、サブの撮像装置と判定された撮像装置へ通知し、Ｓ２２０６に進む。

Ｓ２２０６では、各撮像装置からの情報受信の中に自動撮影判定情報が含まれている場合にＳ２２０７に進み、自動撮影判定情報が含まれていない場合は処理を終了する。Ｓ２２０７では、同時に撮影する撮像装置を選択する。ここで、Ｓ２２０３で選択されたサブの撮像装置を同時撮影する撮像装置と選択してもよいし、被写体までの距離が所定以下になるすべての撮像装置を同時撮影する対象と選択してもよいし、設置されるすべての撮像装置を同時撮影する対象と選択してもよい。また、それぞれの撮像装置の過去の撮影枚数などを考慮し、過去にあまり撮影されていない撮像装置を優先的に同時撮影する対象と選択してもよい。Ｓ２２０７で選択された撮像装置へＳ２２０８にて撮影開始指示の情報通知を行い、処理を終了する。

次に図２３を用いて第２の実施形態での複数台撮像装置の自動撮影シーケンスを説明する。

先ず操作端末（３０１或いは６０３）からコントロール部（３０１或いは６０２）へ自動操縦スタート要求Ｓ２３０１を通知する。操作端末とコントロール部は同じ装置（３０１）であってもよい。コントロール部は、自動操縦スタート要求Ｓ２３０１を受け、各撮像装置（撮像装置１、撮像装置２、撮像装置３、・・・）へ自動フレーミング開始指示、自動撮影判定開始指示を通知する（Ｓ２３０２、Ｓ２３０３、Ｓ２３０４）。

各撮像装置はそれぞれ図１５や図２１の処理を行い、重要被写体を検出すると、コントロール部へ重要被写体検知Ｓ２３０５を通知する。コントロール部は重要被写体検出Ｓ２３０５の通知を受ける。そして、撮像装置１から指定された被写体までの距離、撮像装置の光軸方位角度、被写体検出情報（事前に学習済みの物体検出情報や顔情報や画像内の色相や彩度などの特徴情報）から、撮像装置１以外の各撮像装置の配置座標上における被写体位置座標を算出する。更に被写体位置座標から各撮像装置までの距離を算出し、より被写体に近い撮像装置をメインの撮像装置として設定し、被写体に近い撮像装置を撮像装置１の撮影サポートを行うサブの撮像装置として設定する（Ｓ２３０６）。

ここで撮像装置２をサブの撮像装置と判定したとする。Ｓ２３０７で撮像装置２をサブの撮像装置に設定するために、図２１のＳ２１０２、２１０３を用いて説明したように、撮像装置１で検出された被写体と同じ被写体をフレーミングするように、Ｓ２３０８で設定する。これにより、その後は撮像装置１と撮像装置２は、同じ被写体を画像内に留まるようにフレーミングする。

Ｓ２３０９で撮像装置１が自動撮影開始判定すると、撮像装置１が自動撮影処理を開始する。自動撮影処理の詳細は図２０Ａ、図２０Ｂ、図２０Ｃを用いて後述する。次にＳ２３１０で撮像装置１は、コントロール部に、撮像装置１が自動撮影開始したことを通知する。コントロール部では撮像装置１以外の撮像装置で撮影を開始する撮像装置の判定Ｓ２３１１を行う。ここでは撮像装置２と撮像装置３が撮影する撮像装置と選択された例で説明する。Ｓ２３１２で撮像装置２を撮像装置１と連動して撮影する撮像装置として、Ｓ２３１３で撮像装置３を撮像装置１と連動して撮影する撮像装置として設定する。撮像装置２と撮像装置３はそれぞれ自動撮影処理を開始する（Ｓ２３１４、Ｓ２３１５）。

ここで、撮像装置２は撮像装置１と同じ被写体に対してパンチルトズームを駆動し画角を調整している。撮像装置１で撮影している被写体の大きさや画角内の被写体配置やメイン被写体以外の周期の被写体情報などは、コントロール部を介して逐次撮像装置２へ通知されるようにする。そして、同じ被写体に対して撮像装置１とは異なる構図、例えばメインの被写体の大きさを異ならせるように構図調整、メインの被写体の画面上での配置を異ならせるように構図調整、メイン被写体の周囲の被写体を含ませるかを異ならせるように構図調整を行う。これにより、撮影のバリエーションが得られるように撮影画角調整する構成にしてもよい。

Ｓ２３１６で、撮像装置１において自動撮影終了判定がされると、Ｓ２３１７でコントロール部に撮像装置１が自動撮影終了された通知を行う。コントロール部は、Ｓ２３１８で撮像装置２と撮像装置３に対して、撮像装置１の自動撮影終了通知を行い、各撮像装置内で自動撮影判定がされていなければ、Ｓ２３２０のように自動撮影をすぐに終了する。一方、Ｓ２３１８通知されても、撮像装置内で自動撮影判定が継続されていれば（重要被写体が継続している、撮影枚数が少ないなど）、自動撮影は継続される。この場合、重要被写体の検出不能や、撮影枚数が所定枚数以上に達した時点などで自動撮影を終了する（Ｓ２３１９）。

また、撮像装置１から自動撮影終了通知（Ｓ２３１６）されても、Ｓ２３０５で設定した重要被写体判定が継続されている場合、Ｓ２３０７で設定したサブの撮像装置設定は継続されている。そして、撮像装置１で重要被写体の検出不能や、十分な撮影を行うことができてこれ以上撮影しないと判定されるなどで、重要被写体終了判定（Ｓ２３２１）がされる。すると、Ｓ２３２２でコントロール部に撮像装置１の重要被写体追尾終了を通知する。そして、Ｓ２３２２通知を受けてコントロール部は撮像装置２に被写体追尾を解除させる通知を行い、Ｓ２３２３で撮像装置２に被写体追尾停止指示を通知する。そして、Ｓ２３２４で撮像装置２は被写体追尾を停止し、撮像装置２内部判定による被写体探索やフレーミングを行う。

次に図２０Ａ、図２０Ｂ、図２０Ｃのタイミングチャートを用いて、図２１や図２２での各撮像装置での自動撮影処理について説明する。

ここで、撮像装置１で自動撮影判定が行われ、コントロール部を介して撮像装置２が略同時に撮影を開始する撮像装置と選択された場合を例に説明する。Ｓ２１０８において自動撮影判定が行われると撮像装置１は自動撮影判定期間であると判定し、撮像装置１内で重要な被写体がいなくなるまで自動撮影ＯＮ期間を継続する。自動撮影ＯＮ期間内において、被写体情報により静止画撮影開始するタイミングを判定し、静止画撮影を行う。ＯＮ期間内における撮影開始判定は、例えばＳ１５０６で説明したように、ニューラルネットワークによる判定を行う方法でもよい。また、各特徴情報に対して固定されたゲインを乗算してから総和をとってスコアを算出するようなルールベースで決められた判定による方法でもよい。ここで、各特長情報は、例えば、一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度などの情報から得られる。また、ニューラルネットワークでの判定やルールベースでの判定などにより撮影タイミングのためのスコアを算出し、そのスコアが前回撮影されたスコア以上になったとき撮影を開始してもよい。また、算出された撮影タイミングのためのスコアが一定値以上継続していたとき決められた所定時間間隔で撮影を行うようにしてもよい。また、特徴情報の変化があった場合（例えば笑顔度、顔の数など）に撮像を行うようにしてもよい。

撮像装置１の自動撮影ＯＮ期間と判定されるとコントロール部を介して撮像装置２に撮像装置２が自動撮影ＯＮ期間であることを通知し、撮像装置２の自動撮影判定もＯＮに設定する。

図２０Ａにおいては撮像装置２の処理内で検出された画像などの情報から撮影開始判定を行い、撮像装置１とは１枚１枚の撮影タイミングを同期せずに個々に撮影判定を行う。また、図２０Ａにおいては撮像装置１が自動撮影判定期間終了と判定され、コントロール部を介して撮像装置２に通知されても撮像装置２の処理内で撮影判定期間がＯＦＦされるまで、自動撮影ＯＮ期間を継続する。言い換えると、例えば、撮像装置１の主被写体設定部で設定された被写体と同じ被写体が画角内に入るように撮像装置２に、コントロール部を介して主被写体に関する情報または画角調整情報を通知する。このとき複数の撮像装置それぞれが主被写体を設定して自動撮影判定を行う自動撮影判定部を有しているものとする。これにより、複数の撮像装置で同時に前記被写体の自動撮影を行う。撮像装置１が自動撮影判定されたと同時に、第１撮像装置以外の少なくとも１つ以上の撮像装置の自動撮影期間も開始と判定し、各撮像装置の各自動撮影期間内において、更に各撮像装置内で撮影トリガ判定を行い、それぞれの撮像装置において自動撮影する。また、各撮像装置における自動撮影期間の終了判定は、各撮像装置内でそれぞれ行う。

図２０Ｂにおいては撮像装置２の処理内で検出された画像などの情報から撮影開始判定を行い、撮像装置１と同期して同じタイミングで静止画撮影を行う。撮像装置１が自動撮影判定期間終了と判定され、コントロール部を介して撮像装置２に通知されると撮像装置２の自動撮影判定期間も同時に終了させる。言い換えると、複数の撮像装置それぞれが自動撮影判定を行う自動撮影判定部を有し、例えば、自動撮影判定部で判定された撮像装置１の撮影トリガのタイミングを、コントロール部を介して、撮像装置１以外の撮像装置に通知することで、同時に撮影を行う。

動画撮影に関しても同様の方法で行うことができる。撮像装置１において動画の自動撮影が判定された場合の例を図２０Ｃに示す。図２０Ｃにおいては撮像装置１の自動撮影判定期間と撮像装置１の動画撮影期間は一致しており、撮像装置２の自動撮影判定期間と撮像装置２の動画撮影期間は一致している。ここでは、自動撮影１と自動撮影２の動画撮影期間は同期する例で示したが、撮像装置１の動画撮影が終了判定された後は、撮像装置２の動画撮影は、撮像装置１とは同期せずに撮影終了判定を行ってもよい。

上記説明した方法により、複数撮像装置を用いた自動撮影を簡単に行うことができ、各撮像装置が判定した自動撮影判定をコンローラ部を介して他の撮像装置に通知することで、撮影タイミングを逃さずに自動撮影を行うことができる。また、自動撮影時の画角調整によって視点が異なるだけでなく、被写体の大きさなど異なる条件でフレーミングされた被写体を撮影できることでユーザはバリエーション豊富な画像を簡単に取得することが可能になる。

本第２の実施形態においては、図１に示す構成のパン・チルト、ズームを有する撮像装置を複数台使用する例で説明した。しかしながら、複数台使用する撮像装置の中で、図１に示すパン・チルト、ズームの構成の撮像装置を用いてもよい。また、パン・チルトがないズームを有する撮像装置を用いてもよい。また、ズームのないパン・チルトを有する撮像装置を用いてもよい。また、一部撮像装置には、ズームもパン・チルトもない固定焦点距離の撮像装置を用いてもよい。また、複数の撮像素子及び広角な光学系を有して、全方位を一度に撮影する全方位撮像装置を用いてもよい。

［第３の実施形態］
＜複数台連携の自動撮影システムの構成＞
図２４は、第３の実施形態における複数台連携撮像装置の自動撮影システム（制御システム）の一例である。

撮像装置（１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄ）は、通信機能を有するコントローラユニット（スマートデバイス）３０１と無線で接続し、撮像装置へ操作指示や、撮像装置からの制御情報を取得することができる。図２４においては、撮像装置（１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄ）とスマートデバイス３０１はそれぞれアクセスポイント３０２に接続し、アクセスポイントを経由して通信を行い、情報の転送を行う。

撮像装置１１０１とスマートデバイス３０１は、無線ＬＡＮ制御部４０１用いた通信により、撮像装置１１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したり、撮像装置１１０１から撮影開始情報や被写体検出情報を受信したり、スマートデバイスから撮像装置１１０１の撮影などの操作指示であったりを行う。

図２５は、第３の実施形態による撮像装置１１０１の構成を示すブロック図である。図において、撮像装置１１０１は、撮像レンズ１１、絞り兼用シャッタ１２、ＣＣＤ１３、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１４、ユニット回路１５、画像処理部１６、レンズ駆動部１７、ＣＰＵ１８、ＤＲＡＭ１９、メモリ２０、フラッシュメモリ２１、表示部２２、キー入力部２３、カードＩ／Ｆ２４、及びメモリ・カード２５を備えている。撮像レンズ１１は、ズームレンズ、フォーカスレンズを含み、レンズ駆動部１７が接続されている。レンズ駆動部１７は、ＣＰＵ１８からの制御信号に従って撮像レンズ１１を駆動し、オートフォーカス駆動やズーム駆動などを行う。絞り兼用シャッタ１２は、図示しない駆動回路を含み、駆動回路によってＣＰＵ１８から送られてくる制御信号に従って動作する。該絞り兼用シャッタ１２は、撮像レンズ１１から入ってくる光の量を制御する。ＣＣＤ（撮像素子）１３は、撮像レンズ１１、及び絞り兼用シャッタ１２を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路１５に出力する。該ＣＣＤ１３は、ＴＧ１４によって生成されたタイミング信号に従って駆動される。ユニット回路１５は、ＣＣＤ１３から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。該ユニット回路１５は、ＴＧ１４によって生成されたタイミング信号に従って駆動される。ＣＣＤ１３の撮像信号は、ユニット回路１５を経てデジタル信号として画像処理部１６に送られる。画像処理部１６は、ユニット回路１５から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ－ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、撮像画像のトリミングや撮像画像のデジタルズームなどの処理などを行う。該画像処理部１６は、ＴＧ１４によって生成されたタイミング信号に従って駆動される。ＤＲＡＭ１９は、ＣＣＤ１３によって撮像された後、ＣＰＵ１８に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１８のワーキングメモリとして使用される。上記ＣＰＵ１８は、ＤＲＡＭ１９に保存された撮像画像に対して上述した処理を施すよう制御する。メモリ２０は、ＣＰＵ１８による撮像装置１１０１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１８は、このプログラムに従って処理を行う。フラッシュメモリ２１や、メモリ・カード２５は、ＣＣＤ１３によって撮像された画像データなどを保存しておく記録媒体である。表示部２２は、カラー液晶表示器とその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ１３によって撮像された撮像画像をライブビュー画像として表示し、記録画像の再生時には、フラッシュメモリ２１や、メモリ・カード２５から読み出され、伸張された記録画像を表示する。キー入力部２３は、シャッタボタン２３ａ、撮影モード設定ダイヤル２３ｂ、ズームスイッチ、ＳＥＴキー、十字キー等の操作キー２３ｃを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１８に出力する。カードＩ／Ｆ２４には、撮像装置１１０１本体の図示しないカードスロットを介してメモリ・カード２５が着脱自在に装着されている。また、通信部２２２は、第１の実施形態で説明したものと同様に、撮像装置１１０１と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンドなどの撮影にかかわる制御信号を受信して、撮像装置１１０１と相互通信可能な外部機器の指示から撮像装置１１０１を駆動する。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

第３の実施形態でも、図１７を用いて説明した撮像装置優先度の決定に従って、図１８を用いて説明した自動制御からユーザ指示によるメインカメラ制御への切り換えを行う。ただし、第３の実施形態における複数台連携撮像装置の自動撮影システムにおいて、撮像装置１１０１には、パン・チルトを駆動する機構がないため、パン・チルト情報を除いたズーム情報を通知して、フレーミングや自動撮影を行うものとする。

第３の実施形態では、メインの撮像装置における被写体情報をサブの撮像装置に送信して、サブの撮像装置が被写体情報に基づいて自動撮影するので、被写体をロストしてしまう場合を回避し、ユーザが望む映像を得られる複数台連携撮像装置の自動撮影システムを提供できる。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、デジタルカメラやデジタルビデオカメラの撮影に限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮像装置と通信する情報処理装置にも搭載できる。情報処理装置は、スマートフォンのような携帯電話に限定されず、タブレット型コンピュータなどでもよい。

１０１ 撮像装置
３０１ スマートデバイス
１０４ チルト回転ユニット
１０５ パン回転ユニット

Claims (20)

1. 複数の撮像装置から、ユーザによる被写体指定に関する情報と、被写体検出に関する情報と、撮像装置のパン、チルト、ズームの少なくともいずれかの動作をユーザによる手動で操作するマニュアル操作に関する情報と、の少なくともいずれか１つを受信する受信手段と、
   前記受信手段により受信した前記被写体指定に関する情報と、前記被写体検出に関する情報と、前記マニュアル操作に関する情報と、の少なくともいずれかに基づいて、前記複数の撮像装置からメインの撮像装置と、サブの撮像装置を決定する決定手段と
   前記決定手段による決定を前記メインの撮像装置に送信し、当該メインの撮像装置における被写体情報を前記サブの撮像装置に送信する送信手段と、を有することを特徴とする情報処理装置。
2. 前記決定手段は、ユーザが前記マニュアル操作している撮像装置を優先度がより高い撮像装置と判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、ユーザにより指定された特定被写体を追尾している撮像装置を優先度がより高い撮像装置と判定することを特徴とする請求項１に記載の情報処理装置。
4. 前記決定手段は、各撮像装置毎に、追尾している被写体の追尾精度がより高いと判断した撮像装置を優先度がより高い撮像装置と判定し、前記追尾精度がより低いと判断した撮像装置を優先度がより低い撮像装置と判定することを特徴とする請求項３に記載の情報処理装置。
5. 前記受信手段は、前記被写体指定に関する情報と前記マニュアル操作に関する情報とを少なくとも受信し、
   前記決定手段は、前記マニュアル操作に関する情報を前記被写体指定に関する情報よりも優先して前記複数の撮像装置の優先度を決定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記受信手段は、前記被写体指定に関する情報と前記被写体検出に関する情報とを少なくとも受信し、
   前記決定手段は、前記被写体指定に関する情報を前記被写体検出に関する情報よりも優先して前記複数の撮像装置の優先度を決定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記決定手段は、前記優先度に基づいて前記メインの撮像装置と前記サブの撮像装置とを決定することを特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。
8. 前記被写体検出に関する情報は、事前に登録された被写体が検出された場合、当該被写体を撮影する対象として自動で指定したことに関する情報であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記受信手段は、前記被写体指定に関する情報を受信し、
   前記複数の撮像装置のうち、指定された被写体までの距離が所定値以上の撮像装置は、前記メインの撮像装置に従わず、自動で被写体の探索処理を行うように制御されることを徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記受信手段は、前記被写体指定に関する情報を受信し、
    前記決定手段は、前記被写体指定に関する情報が、複数の被写体を指定することを示す場合、それぞれの被写体に対して前記メインの撮像装置と前記サブの撮像装置とを決定することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
11. 前記撮像装置は、撮影レンズと撮像素子を含む筐体を、少なくとも１軸以上の方向で回転駆動できる回転機構を備え、
    前記回転駆動により前記パンと前記チルトの少なくともいずれかの動作が実行され、
    特定被写体を探索する処理を、回転機構を回転することで行うことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記撮像装置は、ズームレンズを含む撮影レンズを備え、特定被写体を探索する処理を、前記ズームレンズのズーム駆動を制御することで行うことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
13. 前記メインの撮像装置と、前記サブの撮像装置は、過去の学習の結果に基づいて決定されることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記メインの撮像装置で設定された主被写体に関する情報を前記サブの撮像装置に送信することで、前記メインの撮像装置で設定された主被写体と同じ被写体が前記サブの撮像装置の画角内に入るように画角調整して前記被写体の自動撮影が行われるようにすることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記被写体情報には、前記メインの撮像装置で撮影している主被写体の大きさ、前記メインの撮像装置で撮影している画角内の被写体配置、前記メインの撮像装置で撮影している主被写体以外の周囲の被写体の情報の少なくともいずれか１つが含まれ、
    前記送信手段が前記被写体情報を前記サブの撮像装置へ送信することで、前記主被写体と同じ被写体を、撮像範囲における配置が前記メインの撮像装置とは異なるように前記サブの撮像装置が構図調整されることを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 前記サブの撮像装置は、前記メインの撮像装置とは、前記主被写体の周囲の被写体を含むか含まないかが異なるように構図調整されることを特徴とする請求項１５に記載の情報処理装置。
17. 前記サブの撮像装置は、前記主被写体を、前記メインの撮像装置と異なるサイズで追尾するように構図調整されることを特徴とする請求項１５に記載の情報処理装置。
18. 情報処理装置の制御方法であって、
    複数の撮像装置から、ユーザによる被写体指定に関する情報と、被写体検出に関する情報と、撮像装置のパン、チルト、ズームの少なくともいずれかの動作をユーザによる手動で操作するマニュアル操作に関する情報と、の少なくともいずれか１つを受信する受信工程と、
    前記受信工程にて受信した前記被写体指定に関する情報と、前記被写体検出に関する情報と、前記マニュアル操作に関する情報と、の少なくともいずれかに基づいて、前記複数の撮像装置からメインの撮像装置と、サブの撮像装置を決定する決定工程と、
    前記決定工程による決定を前記メインの撮像装置に送信し、当該メインの撮像装置における被写体情報を前記サブの撮像装置に送信する送信工程と、を有することを特徴とする制御方法。
19. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
20. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images