JP6061657B2 - 撮影装置 - Google Patents

Description

本発明は、他の撮影装置と連携して撮影を行うことが可能な撮影装置に関する。

従来、複数の撮影装置を連携させて撮影を行う撮影システムに関する技術として例えば特許文献１で提案されている技術がある。特許文献１が提案する技術では、主体撮影装置で被写体に対する撮影命令が入力されると、その撮影命令のデータが複数の位置に配置された複数の従属撮影装置に送信される。そして、この撮影命令のデータに応じて主体撮影装置及び従属撮影装置の同期撮影が実行される。

特開２００４−２７４６２５号公報

特許文献１の技術では、主体撮影装置と従属撮影装置とを連携させて動画撮影を行うことが可能であり、また、その際の従属撮影装置の撮影開始のタイミングを任意に指定できる。ここで、特許文献１の技術では、被写体の動き（移動速度や移動軌跡）から撮影開始のタイミングを設定することについては言及されている。しかしながら、個々の従属撮影装置の撮影範囲（画角）が異なっている場合、被写体の動きのみから撮影開始のタイミングを設定してしまうと、個々の従属撮影装置で得られる画像間の連続性が悪くなる可能性がある。

本発明は、前記の事情に鑑みてなされたもので、他の撮影装置と連携して撮影を行う撮影装置において、他の撮影装置との間で得られる画像間の連続性を重視した撮影を簡単に行える撮影装置を提供することを目的とする。

前記の目的を達成するために、本発明の一態様の撮影装置は、被写体を撮像する撮像部と、当該撮像装置の地表面に対する傾き情報を検出する傾き検出部と、当該撮像装置の地表面に対応した座標系における位置情報を検出する位置検出部と、当該撮像装置の地表面に対応した座標系における撮影方向を示す方位情報を検出する方位検出部と、当該撮像装置の画角情報を取得する画角取得部と、他の撮影装置との通信により、該他の撮影装置の前記地表面に対する傾き情報と、前記地表面に対応した座標系における位置情報と、前記地表面に対応した座標系における撮影方向を示す方位情報と、前記他の撮影装置の画角情報とを受信する通信部と、前記撮像部で撮像された画像における前記被写体の動き分析処理によって前記地表面に対応した座標系における前記被写体の移動距離及び移動方向を算出し、前記受信した前記他の撮影装置の傾き情報と、位置情報と、画角情報と、方位情報と、前記取得した当該撮影装置の傾き情報と、位置情報と、画角情報と、方位情報と、前記被写体の移動距離及び移動方向とに基づいて前記他の撮影装置の撮影開始タイミング及び撮影終了タイミングをそれぞれ決定する撮影タイミング決定部とを具備し、前記通信部は、前記決定された撮影開始タイミング及び撮影終了タイミングを前記他の撮影装置に送信することを特徴とする。

本発明によれば、他の撮影装置と連携して撮影を行う撮影装置において、他の撮影装置との間で得られる画像間の連続性を重視した撮影を簡単に行える撮影装置を提供することができる。

本発明の一実施形態に係る撮影システムの構成を示す図である。 本発明の一実施形態の撮影システムの動作について説明するための図である。 撮影装置の動作を示すフローチャートである。 動き分析処理について説明するための図である。 撮影タイミングの算出処理について説明するための図である。 画像合成処理について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮影システムの構成を示す図である。図１に示す撮影システムは、複数（図では２つ）の撮影装置１００ａ、１００ｂを有している。撮影装置１００ａと撮影装置１００ｂとは、互いに通信自在に接続されている。撮影装置１００ａと撮影装置１００ｂとの通信は、基本的には無線通信を用いることが想定されるが、必ずしも無線通信を用いる必要はない。

撮影装置１００ａ及び撮影装置１００ｂは、例えばデジタルカメラであって静止画撮影機能と動画撮影機能とを有している。図１は、撮影装置１００ａと撮影装置１００ｂとが同一の構成を示しているものとして図示されている。ただし、撮影装置１００ｂは、必ずしも撮影装置１００ａと同一の構成を有している必要はない。撮影装置１００ａは、撮影機能に加えて、位置の検出機能、方位の検出機能、計時機能、通信機能を有していれば良い。

以下の説明では、撮影装置１００ａの構成について説明し、撮影装置１００ｂの構成については説明を省略する。図１に示す撮影装置１００ａは、撮像部１０２と、表示部１０４と、記録部１０６と、時計部１０８と、位置検出部１１０と、方位検出部１１２と、操作部１１４と、タッチパネル１１６と、通信部１１８と、通信部１１９と、制御部１２０とを有している。

撮像部１０２は、撮影レンズ１０２ａ及び撮像素子１０２ｂを有している。撮影レンズ１０２ａは、図示しない被写体の光像を生成し、生成した光像を撮像素子１０２ｂに結像させる。ここで、本実施形態の撮影レンズ１０２ａは、画角の調整が可能なズームレンズを含んでいる。撮影レンズ１０２ａの駆動制御は、撮像制御部１２０ａとしての機能を有する制御部１２０によって制御される。撮影レンズ１０２ａは、撮影装置１００ａの本体に対して着脱自在に構成された交換レンズであっても良いし、撮影装置１００ａと一体的に構成されていても良い。撮像素子１０２ｂは、画素としての光電変換素子が２次元状に配置された撮像面を有して構成されている。それぞれの画素は、撮影レンズ１０２ａを介して結像された被写体の像を電気信号（画像データ）に変換する。

表示部１０４は、制御部１２０の画像処理部１２０ｂによって処理された画像データに基づく画像等の各種の画像を表示する。表示部１０４は、例えば液晶ディスプレイで構成されている。

記録部１０６は、制御部１２０の画像処理部１２０ｂによって処理された画像データから生成される画像ファイルを記録する。記録部１０６は、例えば撮影装置１００ａに内蔵されたフラッシュメモリである。記録部１０６を撮影装置１００ａに着脱自在に構成しても良い。

時計部１０８は、撮影日時等の各種の日時を計時する。また、時計部１０８は、撮影装置１００ｂとの連携撮影を行うための時間計測も行う。時計部１０８は、制御部１２０に内蔵させるようにしても良い。

位置検出部１１０は、撮影装置１００ａの現在位置（例えば緯度及び経度）を検出する。この位置検出部１１０は、例えばＧＰＳ（Global Positioning System）モジュールであって、図示しない複数のＧＰＳ衛星からの信号を受けて撮影装置１００ａの現在位置を検出する。

方位検出部１１２は、撮影装置１００ａの現在の方位（例えば北を基準とした方位）を検出する。この方位検出部１１２は、例えば電子コンパスで構成されている。
傾き検出部１１３は、撮影装置１００ａの現在の姿勢（傾き）を検出する。この傾き検出部１１３は、例えば３軸の加速度センサで構成されている。

操作部１１４は、ユーザが撮影装置１００ａの各種の操作を行うための複数の操作部材を有して構成されている。操作部材としては、レリーズボタン、動画ボタン、電源スイッチ等が含まれる。レリーズボタンは、ユーザが撮影装置１００ａに対して静止画撮影開始の指示をするための操作部材である。動画ボタンは、ユーザが撮影装置１００ａに対して動画撮影開始及び終了の指示をするための操作部材である。電源スイッチは、ユーザが撮影装置１００ａに対して電源のオン又はオフを指示するための操作部材である。

タッチパネル１１６は、表示部１０４の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等の情報を制御部１２０に対して与える。

通信部１１８は、例えば無線ＬＡＮインターフェイスであり、撮影装置１００ａが他の撮影装置１００ｂと通信する際の仲介をする。通信部１１９は、例えば第４世代通信回線であり、撮影装置１００ａがインターネット回線等のネットワーク回線と通信する際の仲介をする。

制御部１２０は、操作部１１４やタッチパネル１１６の操作等に応じて、撮影装置１００ａの各ブロックの動作を制御する。この制御部１２０は、撮像制御部１２０ａを有し、撮像部１０２の撮影レンズ１０２ａのレンズ駆動（フォーカス駆動及びズーム駆動等）を制御する。また、制御部１２０は、画像処理部１２０ｂを有し、画像データに対して画像処理を施す。画像処理部１２０ｂが施す画像処理は、ホワイトバランス補正処理、γ補正処理及びリサイズ処理等の画像データに対応した画像を表示部１０４に表示させたり記録部１０６に記録したりするために必要な各種の処理、並びに圧縮処理、伸張処理等が含まれる。また、制御部１２０は、撮影タイミング決定部１２０ｃとしての機能も有し、連携撮影の際の撮影装置１００ｂの撮影タイミングを決定する。また、制御部１２０は、表示制御部１２０ｄとしての機能も有し、各種の画像を表示部１０４に表示させる際の制御を行う。

以下、本実施形態の撮影システムの動作について説明する。本撮影システムは、図２に示すように複数（図では２つ）の撮影装置１００ａ、１００ｂを用いて１つの移動する被写体Ｓを撮影することが可能なシステムである。撮影時においては、何れかの撮影装置（例えば撮影装置１００ａ）がメインの撮影装置となって、サブの撮影装置（例えば撮影装置１００ｂ）の撮影タイミングを制御する。

図２において、撮影装置１００ａの画角が画角２００ａであり、撮影装置１００ｂの画角が画角２００ｂであるとしたとき、画角２００ａと画角２００ｂとが重なっている範囲以外では、撮影装置１００ａと撮影装置１００ｂの何れかでしか被写体Ｓを撮影することができない。本実施形態では、被写体Ｓが画角２００ａ内から画角２００ｂ内に移動するタイミングを予測することにより、撮影装置１００ａと撮影装置１００ｂのそれぞれの撮影タイミングを管理する。

なお、図２は、撮影者Ａが撮影装置１００ａを持つとともに撮影者Ｂが撮影装置１００ｂを持って被写体Ｓを撮影する例を示している。しかしながら、撮影者が撮影装置を持って撮影を行う必要はなく、何れか又は両方の撮影装置が例えば三脚に固定されていても良い。

図３は、撮影装置の動作を示すフローチャートである。なお、図３で示す処理は、撮影装置１００ａと撮影装置１００ｂとの両方に適用され得るものである。以下、撮影装置１００ａと撮影装置１００ｂとを区別せずに「撮影装置」と言う。また、以下では主に動画撮影時の動作について説明するが、本撮影装置は静止画撮影も可能である。

図３において、制御部１２０は、撮影装置の動作モードが撮影モードであるか否かを判定する（ステップＳＴ１０１）。本撮影装置は、動作モードとして、撮影モードと再生モードとを少なくとも有している。撮影モードは、被写体Ｓを撮影して記録用の画像を得るためのモードである。再生モードは、撮影モードによって記録された画像を表示部１０４に再生するためのモードである。動作モードの切り替えは、例えばユーザが操作部１１４の特定の操作部材を操作するか又は表示部１０４に表示されたメニュー画面においてユーザがタッチパネル１１６を操作することによって行われる。

ステップＳＴ１０１において、動作モードが撮影モードであると判定した場合に、制御部１２０は、撮影装置の撮影モードが連携撮影モードであるか否かを判定する（ステップＳＴ１０２）。本撮影装置は、撮影モードとして、単独撮影モードと連携撮影モードとを有している。単独撮影モードは、１つの撮影装置で被写体Ｓの撮影を行うモードである。連携撮影モードは、他の撮影装置と連携して被写体Ｓの撮影を行うモードである。撮影モードの切り替えは、例えばユーザが操作部１１４の特定の操作部材を操作するか又は表示部１０４に表示されたメニュー画面においてユーザがタッチパネル１１６を操作することによって行われる。

ステップＳＴ１０２において、連携撮影モードでないと判定した場合に、制御部１２０は、撮像部１０２を起動してスルー画表示用の撮像を実行する（ステップＳＴ１０３）。そして、制御部１２０は、スルー画表示用の撮像によって撮像部１０２を介して得られる画像データに基づき、スルー画表示を行う（ステップＳＴ１０４）。この際、制御部１２０は、撮像部１０２を介して得られる画像データに対し、画像処理部１２０ｂによってホワイトバランス補正やリサイズ処理といったスルー画表示用の画像処理を施し、画像処理した画像データを表示部１０４に入力して表示を行う。スルー画表示においては、撮影動作を実行するまで撮像部１０２を継続して動作させるので、表示部１０４には、撮像部１０２を介して得られる画像データに基づく画像が動画像として表示される。このようにして、ユーザは、被写体Ｓの状態を表示部１０４に表示された画像から確認することが可能である。

スルー画表示の後、制御部１２０は、動画撮影の開始が指示されたか否かを判定する（ステップＳＴ１０５）。ステップＳＴ１０５においては、例えば、ユーザによって動画ボタンが押された場合に動画撮影の開始が指示されたと判定される。ステップＳＴ１０５において、動画撮影の開始が指示されていないと判定した場合に、制御部１２０は、処理をステップＳＴ１０１に戻す。この場合には、スルー画表示が繰り返される。

ステップＳＴ１０５において、動画撮影の開始が指示されたと判定した場合に、制御部１２０は、動画撮影を実行する（ステップＳＴ１０６）。動画撮影時において、制御部１２０は、撮像部１０２を繰り返し動作させ、撮像部１０２から得られる画像データに対して画像処理部１２０ｂによってホワイトバランス補正、γ補正、リサイズ、動画圧縮処理といった、動画撮影用の画像処理を施し、さらに画像処理した画像データにヘッダ情報を付与して動画像ファイルを作成して記録部１０６に記録する。このような記録動作をユーザによって動画撮影の終了が指示されるまで繰り返す。なお、一旦、動画像ファイルを記録部１０６に記録した後は、画像処理された画像データを順次動画像ファイルに追記する。

動画撮影の実行後、制御部１２０は、動画撮影の終了が指示されたか否かを判定する（ステップＳＴ１０７）。ステップＳＴ１０７においては、例えば、ユーザによって動画ボタンが再度押された場合に動画撮影の終了が指示されたと判定される。ステップＳＴ１０７において動画撮影の終了が指示されたと判定するまで、制御部１２０は、処理を待機する。ステップＳＴ１０７において、動画撮影の終了が指示されたと判定した場合に、制御部１２０は、処理をステップＳＴ１０１に戻す。

ステップＳＴ１０２において、連携撮影モードであると判定した場合に、制御部１２０は、撮像部１０２を起動してスルー画表示用の撮像を実行する（ステップＳＴ１０８）。そして、制御部１２０は、スルー画表示用の撮像によって撮像部１０２を介して得られる画像データに基づき、スルー画表示を行う（ステップＳＴ１０９）。スルー画表示は、ステップＳＴ１０４で説明したものと同様である。

続いて、制御部１２０は、通信部１１８を制御して他の撮影装置との通信を開始する（ステップＳＴ１１０）。その後、制御部１２０は、本撮影装置が連携撮影のメインの撮影装置に設定されているか否かを判定する（ステップＳＴ１１１）。撮影装置をメインの撮影装置とするか又はサブの撮影装置とするかの設定は、例えばユーザが操作部１１４の特定の操作部材を操作するか又は表示部１０４に表示されたメニュー画面においてユーザがタッチパネル１１６を操作することによって行われる。

ステップＳＴ１１１において、メインの撮影装置に設定されていると判定した場合には、サブの撮影装置の撮影タイミングを決定する。このために、制御部１２０は、通信部１１８を制御して、サブの撮影装置の現在の画角情報、現在の位置情報、及び現在の方位情報、現在の姿勢（傾き）情報を取得する（ステップＳＴ１１２）。サブの撮影装置の現在の画角情報は、サブの撮影装置の現在の焦点距離より取得される。サブの撮影装置の現在の位置情報は、サブの撮影装置の現在の位置検出部１１０の出力より取得される。サブの撮影装置の現在の方位情報は、サブの撮影装置の現在の方位検出部１１２の出力より取得される。サブの撮影装置の現在の姿勢情報は、サブの撮影装置の現在の傾き検出部１１３の出力より取得される。

続いて、制御部１２０は、動き分析処理を行う（ステップＳＴ１１３）。動き分析処理は、フレーム間の被写体の動き（移動量及び移動方向）を分析する処理である。例えば、図４に示すように、過去フレーム_{ｎｏｗ−１}において地表面上のある位置（X_{ｎｏｗ−１}，Y_{ｎｏｗ−１}）に存在していた被写体が現在フレーム_ｎｏｗにおいて地表面上のある位置（X_ｎｏｗ，Y_ｎｏｗ）に移動したとする。このとき、被写体の移動量及び移動方向は、図４の矢印Ｖで表される。矢印Ｖの長さが被写体の移動量を示し、矢印Ｖの向きが被写体の移動方向を示す。このような被写体の移動量は、メインの撮影装置から被写体Ｓまでの被写体距離を測定することにより算出することが可能である。即ち、過去フレームと現在フレームとで被写体距離を算出することにより、位置（X_{ｎｏｗ−１}，Y_{ｎｏｗ−１}）及び位置（X_ｎｏｗ，Y_ｎｏｗ）をそれぞれ特定できる。したがって、X成分及びY成分の差を取ることによって移動距離及び移動方向を算出することができる。

動き分析処理の後、制御部１２０は、メインの撮影装置のユーザにより、連携撮影開始の指示がされたか否かを判定する（ステップＳＴ１１４）。ステップＳＴ１１４においては、ユーザによって操作部１１４の動画ボタンが押された場合に、連携撮影開始の指示がされたと判定される。ステップＳＴ１１４において、連携撮影開始の指示がされていないと判定した場合に、制御部１２０は、現在、連携撮影開始の条件を満たしているか否かを判定する（ステップＳＴ１１５）。連携撮影開始の条件は、例えば、メインの撮影装置とサブの撮影装置とがともに地表に対して傾いておらず、また、ステップＳＴ１１３で検出した被写体が画角内の特定位置（例えば、中央）に達すること又は画角に対する被写体の大きさが所定大きさを超えることである。特定位置に達した場合又は所定大きさを超えた場合には、連携撮影開始の条件を満たしたと判定される。ステップＳＴ１１５において、連携撮影開始の条件を満たしていないと判定した場合に、制御部１２０は、処理をステップＳＴ１０１に戻す。

ステップＳＴ１１４において連携撮影開始の指示がなされたと判定した場合又はステップＳＴ１１５において連携撮影開始の条件を満たしていると判定した場合に、制御部１２０は、動画撮影を実行する（ステップＳＴ１１６）。ステップＳＴ１１６の動画撮影は、ステップＳＴ１０６の動画撮影と同様である。

動画撮影の開始後、制御部１２０は、被写体の移動方向がサブの撮影装置に向かう方向であるか否かを判定する（ステップＳＴ１１７）。メインの撮影装置の画角内における被写体の移動方向は、ステップＳＴ１１３の動き分析処理によって検出することが可能である。また、メインの撮影装置とサブの撮影装置の位置関係は、それぞれの位置及び方位によって求めることが可能である。これらの被写体の移動方向とメインの撮影装置及びサブの撮影装置の位置関係とから、被写体の移動方向がサブの撮影装置に向かう方向であるか否かを判定する。ステップＳＴ１１７において、被写体の移動方向がサブの撮影装置に向かう方向でないと判定した場合に、制御部１２０は、処理をステップＳＴ１２０に移行させる。

ステップＳＴ１１７において、被写体の移動方向がサブの撮影装置に向かう方向であると判定した場合に、制御部１２０は、サブの撮影装置の撮影タイミングを算出する（ステップＳＴ１１８）。撮影タイミングの算出後、制御部１２０は、通信部１１８を制御して、撮影タイミングの情報をサブの撮影装置に送信する（ステップＳＴ１１９）。撮影タイミングの情報は、例えばサブの撮影装置の撮影開始時刻及び撮影終了時刻を示す情報である。撮影タイミングの算出の詳細については後で説明する。

続いて、制御部１２０は、動画撮影の終了が指示されたか否かを判定する（ステップＳＴ１２０）。ステップＳＴ１２０においては、例えば、ユーザによって動画ボタンが再度押された場合に動画撮影の終了が指示されたと判定される。ステップＳＴ１２０において、動画撮影の終了が指示されていないと判定した場合に、制御部１２０は、現在、連携撮影終了の条件を満たしているか否かを判定する（ステップＳＴ１２１）。連携撮影終了の条件は、例えばステップＳＴ１１３で検出した被写体が画角から外れている場合や画角に対する被写体の大きさが所定大きさよりも小さくなる（被写体が検出できなくなる場合も含む）ことである。被写体が画角から外れていたり又は所定大きさよりも小さくなったりした場合には、連携撮影終了の条件を満たしたと判定される。ステップＳＴ１２１において、連携撮影終了の条件を満たしていないと判定した場合に、制御部１２０は、処理をステップＳＴ１２０に戻す。この場合には、動画撮影が継続される。

ステップＳＴ１２０において動画撮影の終了が指示されたと判定した場合又は連携撮影終了の条件を満たしていると判定した場合に、制御部１２０は、処理をステップＳＴ１０１に戻す。

ステップＳＴ１１１において、本撮影装置が連携撮影のメインの撮影装置に設定されていない、即ちサブの撮影装置に設定されていると判定した場合に、制御部１２０は、通信部１１８を介してメインの撮影装置から撮影タイミングの情報を受信したか否かを判定する（ステップＳＴ１２２）。ステップＳＴ１２２において撮影タイミングの情報を受信したと判定するまで、制御部１２０は、処理を待機する。所定時間の間に撮影タイミングの情報を受信できなかった場合にはエラー警告をするようにしても良い。

ステップＳＴ１２２において、撮影タイミングの情報を受信したと判定した場合に、制御部１２０は、時計部１０８の出力から、メインの撮影装置から受信した撮影タイミング情報によって示される撮影開始時刻となったか否かを判定する（ステップＳＴ１２３）。ステップＳＴ１２３において撮影開始時刻となったと判定するまで、制御部１２０は、処理を待機する。

ステップＳＴ１２３において、撮影開始時刻となったと判定した場合に、制御部１２０は、動画撮影を実行する（ステップＳＴ１２４）。ステップＳＴ１２４の動画撮影は、ステップＳＴ１０６の動画撮影と同様である。

続いて、制御部１２０は、時計部１０８の出力から、メインの撮影装置から受信した撮影タイミング情報によって示される撮影終了時刻となったか否かを判定する（ステップＳＴ１２５）。ステップＳＴ１２５において撮影終了時刻となったと判定するまで、制御部１２０は、処理を待機する。ステップＳＴ１２５において、撮影終了時刻となったと判定した場合に、制御部１２０は、通信部１１８を介して、連携撮影によって生成された画像ファイルをメインの撮影装置に送信する（ステップＳＴ１２６）。その後、制御部１２０は、処理をステップＳＴ１０１に戻す。

ステップＳＴ１０１において、動作モードが撮影モードでないと判定した場合に、制御部１２０は、動作モードが再生モードであるか否かを判定する（ステップＳＴ１２７）。ステップＳＴ１２７において、動作モードが再生モードであると判定した場合に、制御部１２０は、記録部１０６に記録されている画像ファイルの一覧を表示部１０４に表示させる（ステップＳＴ１２８）。続いて、制御部１２０は、ユーザによって画像ファイルの選択がなされたか否かを判定する（ステップＳＴ１２９）。ステップＳＴ１２９において、画像ファイルの選択がなされていないと判定した場合に、制御部１２０は、処理をステップＳＴ１２８に戻す。この場合、一覧表示が継続される。

ステップＳＴ１２９において、画像ファイルの選択がなされたと判定した場合に、制御部１２０は、ユーザにより選択された画像ファイルを再生する（ステップＳＴ１３０）。再生処理において、制御部１２０は、ユーザにより選択された画像ファイルを記録部１０６から読み出し、読みだした画像ファイルを画像処理部１２０ｂに入力する。画像処理部１２０ｂは、入力された圧縮画像データを伸長する。制御部１２０は、伸長された画像データを表示部１０４に入力して画像の表示を行う。

画像ファイルの再生後、制御部１２０は、ユーザにより画像ファイルの再生終了が指示されたか否かを判定する（ステップＳＴ１３１）。ステップＳＴ１３１において、画像ファイルの再生終了が指示されていないと判定した場合に、制御部１２０は、処理をステップＳＴ１３０に戻す。この場合、画像ファイルの再生が継続される。また、ステップＳＴ１３１において、画像ファイルの再生終了が指示されたと判定した場合に、制御部１２０は、処理をステップＳＴ１０１に戻す。

ステップＳＴ１２７において、動作モードが再生モードでないと判定した場合に、制御部１２０は、画像ファイルが受信されたか否かを判定する（ステップＳＴ１３２）。ステップＳＴ１３２において、画像ファイルが受信されていないと判定した場合に、制御部１２０は、処理をステップＳＴ１０１に戻す。ステップＳＴ１３２において、画像ファイルが受信されたと判定した場合に、制御部１２０は、画像処理部１２０ｂにより、画像ファイルを合成する（ステップＳＴ１３３）。その後に、制御部１２０は、処理をステップＳＴ１０１に戻す。なお、画像ファイルの合成処理については後で詳しく述べる。

図５は、撮影タイミングの算出処理について説明するための図である。図５は、移動する被写体Ｓを、撮影装置Ａと撮影装置Ｂとを連携させて撮影する例を示している。ここで、図５の例では、撮影装置Ａをメインの撮影装置とし、撮影装置Ｂをサブの撮影装置とする。また、図５において、地表面と水平な平面内に直交座標系を定義する。この直交座標系のＸ軸は、撮影装置Ａの位置と撮影装置Ｂの位置とを結ぶ直線であり、Ｙ軸はＸ軸に対して直交する直線である。Ｘ軸の正方向を図５の右方向とし、Ｙ軸の正方向を図５の上方向とする。また、図５の撮影装置Ａの位置を原点（0,0）とし、位置（X1,Y1）に撮影装置Ｂが配置されているとする。さらに、被写体は、等速直線運動をしており、また、撮影装置Ａと撮影装置Ｂとはともに傾きがなく、それぞれの撮影方向が地表に対して水平となるように配置されているとする。撮影装置Ａと撮影装置Ｂのそれぞれの傾きは、前述したように、傾き検出部１１３の出力より検出される。

まず、撮影装置Ｂの撮影開始タイミングの算出処理について説明する。撮影開始タイミングを算出するに際し、サブの撮影装置である撮影装置Ｂの画角を直線式に変換する。このため、角度θaを算出する。角度θaは、撮影装置Ｂの現在の画角の１/２の角度であって、以下の（式１）に従って算出される。
θa＝180/π×２tan^-1(x/2f) ［deg］ （式１）
ここで、xは、撮像素子１０２ｂの撮像面の水平方向幅である。また、fは、撮影レンズ１０２ａの焦点距離である。

続いて、角度θbを算出する。角度θbは、撮影装置ＢとＸ軸とのなす角である。角度θbは、撮影装置Ｂの方位検出部１１２の出力から算出することが可能である。ここで、方位検出部１１２の出力が、例えば北を基準とした方位を算出するものであるとすると、Ｘ軸が南北と一致していない場合には、撮影装置Ｂの方位検出部１１２の出力からそのままθbを算出することはできない。したがって、実際には、撮影装置Ｂの方位検出部１１２の出力をＸ軸のずれ量に従って補正してθbを算出する。

θa及びθbを取得した後、撮影装置Ｂの画角を表す直線1の傾き角θ1を、以下の（式２）に従って算出する。
θ1＝９０°−（θa＋θb） （式２）
傾き角θ1を算出した後、直線1の傾きI1を、以下の（式３）に従って算出する。
I1＝−θ1/９０° （式３）
傾きI1より、直線1を表す式を、以下の（式４）に従って算出する。
Y＝I1×X＋K （式４）
ここで、Kは、直線1の切片であり、（式４）に(X,Y)＝（X1,Y1）を代入することによって求めることができる。

続いて、被写体Ｓの移動軌跡を表す直線2の式を算出する。このために、直線2の傾きI2を、以下の（式５）に従って算出する。

I2＝（Y_ｎｏｗ−Y_{ｎｏｗ−１}）/（X_ｎｏｗ−Y_{ｎｏｗ−１}，） （式５）
続いて、被写体Ｓの移動速度を取得する。被写体Ｓの移動速度S［m/frame］は、ステップＳＴ１１３で算出された移動量である。

図５に示すように、直線1と直線2の交点（X_{ｃｒｏｓｓ１},Y_{ｃｒｏｓｓ１}）が、被写体Ｓが撮影装置Ｂの画角内に入る移動位置である。被写体Ｓが（X_ｎｏｗ，Y_ｎｏｗ）から（X_{ｃｒｏｓｓ１},Y_{ｃｒｏｓｓ１}）に移動するまでの時間を算出するため、（X_ｎｏｗ，Y_ｎｏｗ）から（X_{ｃｒｏｓｓ１},Y_{ｃｒｏｓｓ１}）までの距離D1を、以下の（式６）に従って算出する。

距離D1を求めた後、撮影装置Ｂの画角内に被写体Ｓが入る時間、即ち被写体Ｓが（X_{ｃｒｏｓｓ１},Y_{ｃｒｏｓｓ１}）に到達する時間T_{ｓｔａｒｔ}を、以下の（式７）に従って算出する。
T_{ｓｔａｒｔ}＝D1/S （式７）
現在時刻からT_{ｓｔａｒｔ}時間経過後の時刻に撮影装置Ｂの撮影を開始すれば、撮影装置Ｂで正しく被写体Ｓを撮影することが可能である。実際には、通信のタイムラグ等を考慮してT_{ｓｔａｒｔ}に対して所定の余裕を持たせた時間（被写体が図５の事前切り替えポイントに到達する時間。例えば、距離D1の６０％の距離）で撮影装置Ｂの撮影を開始することが望ましい。また、T_{ｓｔａｒｔ}が所定時間T_ｐ１（例えば３秒）よりも短い場合には、その時点で撮影装置Ｂの撮影を開始するようにしても良い。

続いて、撮影装置Ｂの撮影終了タイミングの算出処理について説明する。撮影終了タイミングを算出する場合も撮影開始タイミングを算出する場合と基本的な考え方は同様である。まず、撮影装置Ｂの画角を表す直線3のＸ軸に対する傾き角θ3を算出する。傾き角θ3は、以下の（式８）に従って算出される。
θ3＝θ1＋θb （式８）
傾き角θ3を算出した後、直線3の傾きI3を、以下の（式９）に従って算出する。
I3＝θ3/９０° （式９）
傾きI3より、直線3を表す式を、以下の（式１０）に従って算出する。
Y＝I3×X＋K （式１０）
ここで、Kは、直線3の切片であり、（式１０）に(X,Y)＝（X1,Y1）を代入することによって求めることができる。

図５に示すように、直線3と直線2の交点（X_{ｃｒｏｓｓ２},Y_{ｃｒｏｓｓ２}）が、被写体Ｓが撮影装置Ｂの画角内に入る移動位置である。被写体Ｓが（X_ｎｏｗ，Y_ｎｏｗ）から（X_{ｃｒｏｓｓ２},Y_{ｃｒｏｓｓ２}）に移動するまでの時間を算出するため、（X_ｎｏｗ，Y_ｎｏｗ）から（X_{ｃｒｏｓｓ２},Y_{ｃｒｏｓｓ２}）までの距離D2を、以下の（式１１）に従って算出する。

距離D2を求めた後、撮影装置Ｂの画角外に被写体Ｓが出る時間、即ち被写体Ｓが（X_{ｃｒｏｓｓ２},y_{ｃｒｏｓｓ２}）に到達する時間T_ｅｎｄを、以下の（式１２）に従って算出する。
T_ｅｎｄ＝D2/S
現在時刻からT_ｅｎｄ経過後の時刻に撮影装置Ｂの撮影を終了すれば、撮影装置Ｂで正しく被写体Ｓを撮影することが可能である。

このように、本実施形態では、撮影装置Ｂの画角内に被写体が入るタイミングと画角外に被写体が出るタイミングとを予測し、この予測に基づいて撮影装置Ｂの撮影タイミングを管理している。これにより、撮影装置Ａと撮影装置Ｂとを正しく連携させて被写体を撮影することが可能である。
ここで、前述の例では、撮影装置Ａと撮影装置Ｂとがともに地表に対して傾いていない場合を前提として撮影装置Ｂの画角内に被写体が入るタイミングと画角外に被写体が出るタイミングとを予測している。実際には、撮影装置Ａと撮影装置Ｂとが地表に対して同程度の傾きを有している場合や、撮影装置Ａと撮影装置Ｂとの傾きが小さい場合には、図５で説明したのと同様の手法でタイミングを予測することが可能である。
さらに、撮影装置Ａと撮影装置Ｂとの地表に対する傾きが大きい場合にも、被写体の位置を移動方向及び移動速度を３次元の情報として算出することにより、図５で説明したのと同様の手法でタイミングを予測することが可能である。

図６は、画像合成処理について説明するための図である。図５に示すようにして被写体が移動していたとすると、撮影装置Ａの画角内に被写体が存在している期間Ｔ１〜Ｔ２の間は、撮影装置Ａによる撮影が行われる。この撮影装置Ａによる撮影の間、撮影装置Ｂは撮影開始タイミングになったか否かを判定しており、撮影開始タイミングとなったＴ２の期間で撮影を開始する。撮影装置Ａは、例えば被写体が検出できなくなった期間Ｔ３において撮影を終了する。撮影装置Ｂは、期間Ｔ３においても撮影を継続しており、図示しない撮影終了タイミングとなるまで撮影を行う。

画像合成処理は、撮影装置Ａで得られた画像と撮影装置Ｂで得られた画像とを１つの動画像ファイルとする処理である。この画像合成処理において、撮影装置Ａでしか画像データが得られていない期間Ｔ１に対応したフレームでは撮影装置Ａで得られた画像データを画像ファイルに記録し、撮影装置Ｂでしか画像データが得られていない期間Ｔ３に対応したフレームでは撮影装置Ｂで得られた画像データを画像ファイルに記録する。撮影装置Ａと撮影装置Ｂの両方で画像データが得られている期間Ｔ２に対応したフレームでは、例えば被写体がより鮮明に映っている方の画像データ（図６の例では撮影装置Ａにより得られた画像データ）を画像ファイルに記録する。この他、図６に示すように、一方の画像データに他方の画像データを縮小して合成して良い。このような画像合成処理は、例えば撮影装置Ａの制御部１２０により行われる。

以上説明したように、本実施形態によれば、複数の撮影装置を連携させて被写体を撮影するに当たり、被写体の移動軌跡や移動速度に加えて撮影装置の現在の画角を考慮してそれぞれの撮影装置の撮影タイミングを制御している。これにより、被写体の動きを正しく捉えて撮影を行うことが可能であり、それぞれの撮影装置で得られる画像の時間的な連続性を保つことが可能である。

ここで、本実施形態では、２つの撮影装置を連携させる例を示したが、３つ以上の撮影装置を連携させることもできる。この場合、例えば１つをメインの撮影装置とし、残りをサブの撮影装置として撮影を行う。

また、サブの撮影装置の撮影タイミングの情報の算出及び送信は、実際に撮影が開始されるまで繰り返し行うようにしても良い。これにより、被写体の動きが変化しても被写体を追従できる可能性を高めることが可能である。

また、本実施形態では、サブの撮影装置で得られた画像データをメインの撮影装置に送信してメインの撮影装置で画像合成処理を行うようにしているが、メインの撮影装置で得られた画像データとサブの撮影装置で得られた画像データとを例えば所定のサーバに送信し、このサーバにおいて画像合成処理を行うようにしても良い。また、サーバへの画像データの送信は、フレーム毎に行うようにしても良い。この場合、例えばメインの撮影装置で得られた画像データとサブの撮影装置で得られた画像データと合成した動画像をリアルタイムで他の外部機器に配信することも可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００ａ，１００ｂ…撮影装置、１０２…撮像部、１０２ａ…撮影レンズ、１０２ｂ…撮像素子、１０４…表示部、１０６…記録部、１０８…時計部、１１０…位置検出部、１１２…方位検出部、１１３…傾き検出部、１１４…操作部、１１６…タッチパネル、１１８…通信部、１１９…通信部、１２０…制御部、１２０ａ…撮像制御部、１２０ｂ…画像処理部、１２０ｃ…撮影タイミング決定部、１２０ｄ…表示制御部

Claims (5)

1. 被写体を撮像する撮像部と、
   撮像装置の地表面に対する傾き情報を検出する傾き検出部と、
   当該撮像装置の地表面に対応した座標系における位置情報を検出する位置検出部と、
   当該撮像装置の地表面に対応した座標系における撮影方向を示す方位情報を検出する方位検出部と、
   当該撮像装置の画角情報を取得する画角取得部と、
   他の撮影装置との通信により、該他の撮影装置の前記地表面に対する傾き情報と、前記地表面に対応した座標系における位置情報と、前記地表面に対応した座標系における撮影方向を示す方位情報と、前記他の撮影装置の画角情報とを受信する通信部と、
   前記撮像部で撮像された画像における前記被写体の動き分析処理によって前記地表面に対応した座標系における前記被写体の移動距離及び移動方向を算出し、前記受信した前記他の撮影装置の傾き情報と、位置情報と、画角情報と、方位情報と、前記取得した当該撮影装置の傾き情報と、位置情報と、画角情報と、方位情報と、前記被写体の移動距離及び移動方向とに基づいて前記他の撮影装置の撮影開始タイミング及び撮影終了タイミングをそれぞれ決定する撮影タイミング決定部と、
   を具備し、
   前記通信部は、前記決定された撮影開始タイミング及び撮影終了タイミングを前記他の撮影装置に送信することを特徴とする撮影装置。
2. 前記撮影タイミング決定部は、前記受信した前記他の撮影装置の傾き情報と、位置情報と、画角情報と、方位情報と、前記取得した当該撮影装置の傾き情報と、位置情報と、画角情報と、方位情報と、前記被写体の移動距離及び移動方向とに基づいて前記他の撮影装置の撮像部の画角内に被写体が入ってくる時間を前記他の撮影装置の撮影開始タイミングとして算出し、前記他の撮影装置の前記撮像部の画角から被写体が出ていく時間を撮影終了タイミングとして算出することを特徴とする請求項１に記載の撮影装置。
3. 前記他の撮影装置の撮像部は、前記撮影開始タイミングで撮像を開始し、前記撮影終了タイミングで撮像を終了することを特徴とする請求項１又は２に記載の撮影装置。
4. 前記他の撮影装置の撮像部は、前記撮影開始タイミングに対して所定時間の余裕を持ったタイミングで撮像を開始し、前記撮影終了タイミングで撮像を終了することを特徴とする請求項１又は２に記載の撮影装置。
5. 当該撮影装置の前記撮像部は、被写体が画角内に存在している間、撮像を行うことを特徴とする請求項１乃至４の何れか１項に記載の撮影装置。

Images