JP6326892B2 - 撮像システム、撮像方法、画像再生装置及びプログラム - Google Patents

Description

本発明は、被写体を撮像し、所定の画像を生成する撮像システム等に関する。

従来、コンサート等のイベントやテレビ番組においては、複数のカメラを用いて、被写体となる歌手等を、それぞれ、異なる方向から撮像し、各カメラにて撮像された画像を編集しつつ、一の画像データを生成することが行われている。

また、最近では、被写体の周囲に、それぞれ、異なるアングルから被写体を撮像するためのカメラを複数台設置して、アングルの変更方向に、撮像するカメラを、順次、連続的に切り替えていくことにより、被写体の動きを停止、又は、スローモーション状態にしつつ、視点が高速で移動しているように見える画像を生成する方法が利用されるようになっている（例えば、特許文献１）。

特開２０１１−２４３２０５号公報

しかしながら、特許文献１に記載の手法においては、被写体の動作を検出し、それに連動させて複数のカメラを切り替えることはできない。

本発明は、上記課題を解決するためになされたものであり、被写体の動作に連動させて各カメラを制御することによって使用者における煩雑な操作を低減し、容易にバレットタイムの効果を有する画像を生成すること、及び、その画像再生を行うことが可能な画像データ生成システム等を提供することにある。

上述した課題を解決するため、本発明に係る撮像システム等は、被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置と、前記撮像装置を制御する制御装置と、を備え、前記制御装置が、前記撮像手段によって撮像された画像に対して画像解析を実行し、当該画像内の被写体の動きを検出する検出手段と、前記検出された被写体の動きに従って前記撮像装置を切り替える切り替え手段と、を有する構成を備えている。

この構成により、本発明に係る撮像システム等は、被写体の動きを検出すると、各撮像手段を切り替えることができるので、使用者における煩雑な操作を低減し、容易にバレットタイムの効果を有する画像を生成することができる。

また、上述した課題を解決するため、本発明に係る画像再生装置等は、複数の同期した撮像装置により撮像された画像に対して画像解析を実行し、当該画像内の被写体の動きを検出する検出手段と、前記検出された被写体の動きに従って、同期した画像に切り替えつつ、再生する切り替え手段と、を備える構成を有している。

この構成により、本発明に係る画像再生装置等は、被写体の動きを検出すると、各撮像手段を切り替えることができるので、使用者における煩雑な操作を低減し、容易にバレットタイムの効果を有する画像再生を実行することができる。

本発明に係る撮像システム等は、被写体の動きを検出すると、各撮像手段から出力された画像に順次切り替えて出力することができるので、使用者における煩雑な操作を低減し、容易にバレットタイムの効果を有する画像を生成すること、又は、その画像再生を実行することができる。

本発明に係る画像データ生成システムの一実施形態における構成を示すシステム構成図である。 一実施形態の画像データ生成装置の構成を示すブロック図である。 一実施形態の画像データ生成装置に記録されるカメラ管理テーブルに格納されるデータの一例を示す図である。 一実施形態の画像データ生成装置において実行される自動画像切り替え処理の動作を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、被写体を撮像するカメラと、当該カメラから画像データを取得して、編集処理を行う画像データ生成装置と、を有する画像データ生成システムに対し、本発明に係る撮像システム、撮像方法、画像再生装置、及び、プログラムを適用した場合の実施形態である。

［１］画像データ生成システム
まず、図１を用いて、本実施形態における画像データ生成システム１の構成及び概要について説明する。なお、図１は、本実施形態における画像データ生成システム１の構成を示すシステム構成図である。

本実施形態の画像データ生成システム１は、被写体Ｏの周囲に設置されたカメラを切り替えつつ、被写体Ｏの画像を連続的に撮像し、各カメラ１０にて撮像された画像を合成及び編集することにより、被写体を３６０度全方向から撮像した画像（以下、「全方位画像」という。）に対応する画像データを生成するためのシステムである。

具体的には、本実施形態の画像データ生成システム１は、図１に示すように、被写体Ｏを中心点とし、半径をＲ（撮像距離）とする同心円Ｃ上に、等間隔にて又は予め定められた間隔（非等間隔）にて設置され、それぞれ、異なるアングルから被写体Ｏの画像を撮像する複数のカメラ１０と、各カメラ１０に接続され、各カメラ１０を制御し、被写体Ｏの全方位画像に対応する画像データを生成する画像データ生成装置２０と、を有し、上記のシステムを実現するようになっている。

なお、画像データ生成システム１において、被写体Ｏの周囲に設置するカメラの台数は、任意であるが、本実施形態においては、説明を明確化するため、図１に例示するように、被写体Ｏを６台のカメラ１０−１〜１０−６にて撮像するものとして説明を行う。

各カメラ１０は、撮像手段である撮像素子（ＣＣＤイメージセンサ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を有し、デジタルビデオカメラ、Ｗｅｂカメラ又はスマートフォン付属のビデオカメラ等の動画像撮像用のカメラであり、例えば、本発明の撮像装置として機能する。また、各カメラ１０は、オートフォーカス機能及び手ぶれ補正機能などの公知の種々の機能を有し、被写体Ｏを撮像することにより、複数のフレームからなる画像データを生成する。

特に、本実施形態の各カメラ１０は、画像データ生成装置２０による制御の下、同期を取りつつ、被写体Ｏの画像を撮像するようになっており、生成した画像データを画像データ生成装置２０に供給する構成を有している。

また、各カメラ１０は、同心円Ｃ又は同心円Ｃの円周の一部に沿って等間隔にて設置されている。なお、本実施形態においては、同心円Ｃに沿って等間隔に６台設置されているが、複数のカメラ１０を用いていればよい。ただし、隣接する２台のカメラ１０（例えば、カメラ１０−１と１０−２）と、被写体Ｏによって構成される角度と、が９０度を超える場合には、画像の連続性を確保することが難しくなるので、基本的には、４台以上のカメラ１０を用いることが望ましい。

画像データ生成装置２０は、各カメラ１０の同期を取りつつ、各カメラ１０を制御する。また、画像データ生成装置２０は、被写体Ｏの動きを検出し、当該被写体Ｏの動きを検出した場合に、バレットタイムの効果を奏するために、各カメラ１０によって撮像している被写体Ｏの画像の出力切り替え、又は、各カメラ１０によって撮像された画像を用いて再生する場合の再生されている各カメラ１０の画像の切り替えを実行する構成を有している。

特に、画像データ生成装置２０は、
（Ａ）一のカメラ１０から出力された画像について画像解析を実行し、画像内の被写体Ｏの動きを検出する動き検出処理、及び
（Ｂ）撮像時（リアルタイム）及び再生時を含め、特定のカメラ１０から同心円Ｃにおける予め定められた円周方向（例えば、時計回り）に沿って順番に各カメラ１０から出力された画像に切り替えて出力する画像切り替え処理、
を含む処理（以下、「自動画像切り替え処理」という。）を実行するための構成を有している。

特に、画像データ生成装置２０は、（Ａ）の動き検出処理においては、一のカメラ１０から出力された画像（例えば、動画像）について画像解析を実行することによって被写体Ｏの移動量を判定し、当該判定した移動量が所定の条件に具備した場合に、当該画像内の被写体の動きを検出したと判定するようになっている。

このような構成により、本実施形態の画像データ生成システム１は、被写体Ｏの動きを検出すると、各カメラ１０から出力された画像、又は、各カメラ１０の再生画像に順次切り替えて出力することができるので、使用者における煩雑な操作を低減し、容易にバレットタイムの効果を有する画像を生成することができるようになっている。

［２］画像データ生成装置
次に、図２及び図３を用いて本実施形態の画像データ生成装置２０の構成について説明する。なお、図２は、本実施形態の画像データ生成装置２０の構成を示すブロック図であり、図３は、本実施形態の画像データ生成装置２０に記録されるカメラ管理テーブルＴＢＬのデータ格納例を示す図である。

本実施形態の画像データ生成装置２０は、図２に示すように、各種の情報に対応するデータが記録される記録部２００と、カメラ１０及び他の外部機器との間の入出力（Ｉ／Ｏ）インターフェース２１０と、液晶素子、又は、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルにより構成される表示部２４０と、表示部２４０に対する画像の表示を制御する表示制御部２５０と、動き検出処理及び画像切り替え処理を実行するデータ処理部２６０と、キーボード、マウス、タッチパネル等により構成される操作部２７０と、装置管理制御部２８０と、現在日時を特定するタイマ２９０と、を有し、上記の各部は、バスＢによって相互に接続されている。

記録部２００は、例えば、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）により構成され、その記録領域内に、少なくとも、各カメラ１０を管理するための情報が記録されるカメラ管理テーブル記録部２０１と、生成した画像データなどの各シュルの画像データを記録するための画像データ記録部２０３と、ワークエリア及び画像バッファとして機能するＲＡＭ２０４と、が設けられている。

カメラ管理テーブル記録部２０１には、各カメラ１０を管理するためのカメラ管理テーブルＴＢＬが記録される。また、カメラ管理テーブルＴＢＬには、図３に示すように、各カメラ１０を識別するためのカメラＩＤと、カメラ情報が対応付けて格納される。

本実施形態のカメラ情報には、
（１）各カメラ１０の設置位置を示す設置位置情報と、
（２）各カメラ１０の撮像時におけるフレームレートを示すフレームレート情報と、
が含まれている。

図３には、図１に示すように６台のカメラ１０を設置した場合のカメラ管理テーブルＴＢＬの例が示されている。すなわち、図３には、カメラＩＤ「Ｃａｍｅｒａ１」の設置位置を「０度」として、「Ｃａｍｅｒａ２〜６」が、それぞれ、「６０度」毎に設置された設置情報が格納されていることが示されている。

また、図３においては、全てのカメラ１０のフレームレートが「６０ｆｐｓ」とされているが、各カメラ１０のフレームレートが異なる場合には、それぞれ、異なるフレームレート情報が格納される。

画像データ記録部２０３には、画像ＩＤなどの所定の情報に対応付けて合成画像データ生成処理によって生成された画像データを記録する。

ＲＡＭ２０４は、自動画像切り替え処理が実行されている際に、ワークエリアとして用いられるとともに、画像バッファとしても機能する。特に、ＲＡＭ２０４には、自動画像切り替え処理が実行されている際に、各カメラ１０から出力された画像データがフレーム毎に順次記録される。なお、ＲＡＭ２０４に記録された各フレームの画像は、一定期間保持されるようになっている。

Ｉ／Ｏインターフェース２１０は、例えば、ＵＳＢ（Ｕｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ ｂｕｓ）、無線ＬＡＮ（ＩＥＥＥ８０２．１１ａ、ｂ、ｎ、ａｃ）、ＨＤＭＩ（登録商標（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ））等の入出力用インターフェースであり、各カメラ１０と有線又は無線にて通信接続され、各カメラ１０とバスＢとの間におけるデータの授受を中継する。

なお、Ｉ／Ｏインターフェース２１０には、ＢＤ（ブルーレイディスク）などの光ディスクレコーダを接続することも可能となっており、生成した合成画像データを記録媒体に記録させることが可能になっている。また、Ｉ／Ｏインターフェース２１０には、写真プリント用のプリンタを接続することが可能となっており、合成画像データに基づいて、画像をプリントアウトさせることも可能となっている。

表示部２４０は、所定のサイズ（Ｗ１９２０×Ｈ１０８０ピクセル）の画像表示領域を有する液晶素子又はＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部２５０において生成された表示データに基づいて所定の画像を表示する。なお、例えば、本実施形態の表示部２４０は、本発明の表示手段を構成する。

表示制御部２５０は、装置管理制御部２８０及びデータ処理部２６０の制御の下、表示部２４０に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部２４０に出力する。

データ処理部２６０は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、装置管理制御部２８０の中央演算処理装置（ＣＰＵ）を用いて構成されるとともに、装置管理制御部２８０による制御の下、プログラムを実行することにより、自動画像切り替え処理を実行する。

具体的には、データ処理部２６０は、動き検出処理として、特定のカメラ１０によって撮像されて生成された画像に対して画像解析を実行し、当該画像内の被写体Ｏの動きを検出する処理を実行する。また、データ処理部２６０は、画像切り替え処理として、動き検出処理によって被写体Ｏの動きが検出された場合に、予め定められたタイミングまで、特定のカメラ１０から同心円Ｃ上予め定められた円周方向に沿って順番に各カメラ１０から出力された画像に切り替えて出力する処理を実行する。

特に、データ処理部２６０は、自動画像切り替え処理を実行するために、アプリケーションを実行することによって、各カメラ１０を制御するカメラ制御部２６１と、画像切り替え処理を実行する切り替え制御部２６２と、動き検出処理を実行する検出処理部２６３と、を実現する。

なお、例えば、本実施形態のカメラ制御部２６１は、本発明の制御手段を構成し、検出処理部２６３は、本発明の検出手段を構成する。また、例えば、本実施形態の切り替え制御部２６２は、本発明の切り替え手段及び再生手段を構成する。

カメラ制御部２６１は、操作部２７０を介して入力された管理者などの使用者の指示に基づいて、Ｉ／Ｏインターフェース２１０を介して各カメラ１０に制御コマンドを出力し、該当するカメラ１０を制御する。具体的には、カメラ制御部２６１は、電源のＯＮ及びＯＦＦ、ピント、並びに、フレーム同期設定その他の合成画像データ生成処理を実行する上で必要な各種の設定を行うことができる構成を有している。

また、カメラ制御部２６１は、各カメラ１０において撮像されて生成された画像データをＩ／Ｏインターフェース２１０を介してそれぞれ取得し、当該取得した各画像データをカメラ１０に対応付けてフレーム毎にＲＡＭ２０４に順次記録する。

切り替え制御部２６２は、自動画像切り替え処理の実行中に、管理者の操作指示の下、当該処理を実行するための処理条件を取得しつつ、カメラ制御部２６１と連動し、かつ、フレームを同期しつつ、各カメラの画像出力の切り替えを行う画像切り替え処理を実行する。

特に、切り替え制御部２６２は、管理者の操作指示の下、
（１）自動画像切り替え処理を開始するカメラ（以下、「基準カメラ」ともいう。）１０の設定、
（２）被写体Ｏの動き検出処理に用いるカメラ（以下、「検出用カメラ」ともいう。）１０の設定（複数又は全部のカメラ１０を設定可）、
（３）スロー再生及び早送り再生などの被写体Ｏの移動量に基づく再生速度（所定のフレームを間引くなどのフレームの出力調整）の設定、及び、フレーム毎又は１秒毎など各カメラ１０を切り替える切り替えタイミングであって、各カメラ１０から出力された各画像の出力期間（表示期間、すなわち、カメラ１０の画像を切り替える速度（以下、「切り替え速度」ともいう。））の設定、
（４）被写体Ｏの動き停止、予め定められた開始時刻からの経過時間やフレーム数又は管理者によるマニュアル停止など、自動画像切り替え処理の終了タイミングの設定、及び、
（５）上述の動き検出処理を検出する際に用いるしきい値の設定
の処理条件を取得して設定する。

そして、切り替え制御部２６２は、検出処理部２６３によって検出用カメラ１０から出力された画像から被写体Ｏの動きを検出した場合に、設定された処理条件に基づいて画像切り替え処理を実行する。

具体的には、切り替え制御部２６２は、カメラ制御部２６１によって取得された基準カメラ１０から出力された画像に切り替えて、予め定められた期間、当該画像を表示部２４０に出力する。また、切り替え制御部２６２は、カメラＩＤに基づいて、基準カメラ１０に隣接するカメラ１０を特定するとともに、予め定められた期間経過後に、特定した基準カメラ１０に隣接するカメラ１０から出力されたカメラ制御部２６１によって取得された画像に切り替えて、予め定得られた期間、当該画像を表示部２４０に出力する。

そして、切り替え制御部２６２は、カメラＩＤに基づいて、隣接するカメラ１０にさらに隣接するカメラを特定するとともに、予め定められた期間経過後に、特定した隣接するカメラ１０にさらに隣接するカメラ１０から出力されたカメラ制御部２６１によって取得された画像に切り替えて、予め定められた期間、当該画像を表示部２４０に出力する。

このように、切り替え制御部２６２は、終了タイミングが到来するまで、順次、隣接するカメラ１０を特定しつつ、予め定められた期間毎に、当該特定したカメラ１０から出力された画像を出力するようになっている。なお、切り替え制御部２６２は、再生速度及び切り替え速度を制御することによって、種々の画像を生成することができる。このため、この場合には、本実施形態に興趣性の高い新たな画像を生成することができるようになっている。

例えば、図１において切り替わる進行方向が時計周りの場合であって基準カメラが１０−１の場合には、切り替え制御部２６２は、
（１）基準カメラ１０−１から出力された画像に切り替えて表示部２４０に予め定められた期間（第１の期間）表示し、
（２）第１の期間の終了後に、カメラ１０−２から出力された画像に切り替えて表示部２４０に予め定められた期間（第２の期間）表示し、
（３）第２の期間の終了後、カメラ１０−３から出力された画像に切り替えてを表示部２４０に予め定められた期間表示し、
終了タイミングが到来するまで、カメラ１０−１からカメラ１０−６までの各カメラ１０を順次切り替えつつ、各カメラ１０から出力された画像を表示部２４０に出力する。

なお、本実施形態においては、画像が出力される予め定められた期間とは、１フレームや数フレームなどのフレーム単位であってもよいし、１秒や３秒なで時間であってもよく、管理者によって切り替え速度として設定することができるようになっている。

検出処理部２６３は、自動画像切り替え処理の実行中に、管理者の操作指示の下、上記の処理条件に基づいて、検出用カメラ１０からの出力された画像について画像解析を行って被写体の動きを検出する。そして、検出処理部２６３は、当該被写体Ｏの動きを検出すると、切り替え制御部２６２に画像切り替え処理を実行させる。

具体的には、検出処理部２６３は、画像解析として、検出用カメラ１０から出力された最新のフレームの画像と、当該最新のフレームの直前のフレームと、を用いてブロックマッチング法に基づいて実行する。すなわち、検出処理部２６３は、それぞれのフレームにおいて、被写体Ｏが含まれると想定される領域を、複数の小領域のブロックに分割し、分割した各ブロックを他のフレームの各ブロックと比較しつつ、それぞれのブロックにおける色特徴量の類似度を算出し、類似するブロックが画像上の異なる座標位置（ブロック位置）に存在する場合には、被写体Ｏの動きがあったとして検出する。

なお、検出処理部２６３は、上記のブロックマッチング法に代えて、前後のフレームのピクセルの特徴量の差分を用いて被写体Ｏの動きを検出してもよい。例えば、検出処理部２６３は、
（１）対象となる画像においてピクセル単位で輝度化してグレースケールの画像を生成し、
（２）生成したグレースケール画像を、ガウシアンフィルタなどを用いて平滑化して平滑化画像を生成し、
（３）同様の処理を施した次のフレームとの差分をピクセル毎に算出し、
（４）差分値が一定値以上のピクセル集合があれば被写体の動きがあったとして検出する。

また、検出処理部２６３は、当該被写体Ｏが動いたことを検出するための条件に基づいて、被写体Ｏの動きの有無を判定する。具体的には、検出処理部２６３は、上述のブロックマッチング法を用いる場合には、画像解析を行う際に、類似するブロック同士の画像上の移動距離を移動量として算出する。そして、検出処理部２６３は、算出した移動量が予め定めた条件に具備するか否かによって被写体Ｏの動きの有無を判定する。

すなわち、検出処理部２６３は、たとえ、類似するブロックが画像上の異なる座標位置に存在する場合であっても、当該座標間の距離が予め定められた条件を満たさなかった場合（例えば、予め定められたしきい値以下の場合）に、被写体Ｏは動いていないと判定する。

なお、検出処理部２６３は、移動方向又は移動量と移動方向を算出し、これらの情報が予め定められた条件を具備しない場合には、被写体Ｏは動いていないと判定してもよい。例えば、検出処理部２６３は、算出された被写体Ｏの移動方向が禁止方向の場合には、被写体Ｏが動いていないと判定する。

また、検出処理部２６３は、画像切り替え処理中に、被写体Ｏの動きが予め定められたしきい値以下など移動量がしきい値に対して所定の条件を具備した場合には、すなわち、その動きを停止した場合を終了タイミングとして設定された場合であって、上記の動き検出において被写体Ｏ動きを検出しなくなった場合には、切り替え制御部２６２に、終了タイミングであることを通知する。

さらに、本実施形態においては、検出用カメラ１０は、一台であっても、２以上の複数台あってもよい。２台以上ある場合には、検出処理部２６３は、いずれかの検出用カメラ１０からの出力された画像について動きを検出している場合には、被写体Ｏは動いていると判定し、いずれの検出用カメラ１０からの出力された画像について動きを検出することができない場合には、被写体Ｏは動いていないと判定する。

一方、検出処理部２６３は、上記に加えて、被写体Ｏの動きを検出する際の移動量に基づいて再生速度、及び、切り替え速度（一のカメラ１０の画像が表示部２４０に表示される期間）を変化させてもよい。

具体的には、検出処理部２６０は、再生速度や切り替え速度と被写体Ｏの動きの移動量とが対応付けられたテーブル情報を有し、被写体Ｏの移動量が上記の条件を満たして当該被写体Ｏが動いたことを検出した場合には、さらに、当該移動量によってテーブル情報を参照し、被写体Ｏの移動量が当該規定されるどの再生速度、又は、切り替え速度に属するかを判定する。そして、検出処理部２６０は、判定した再生速度又は切り替え速度をＲＡＭ２０４に記録する。

この場合に、切り替え制御部２６２は、各カメラ１０から出力された画像を表示部２４０に表示する際には、当該ＲＡＭ２０４に記録された再生速度や切り替え速度に基づいて、画像を出力し（出力するフレームを調整し）、又は、隣接するカメラ１０の画像に切り替えるようになっている。

なお、このように、画像切り替え処理中に、再生速度や切り替え速度を可変にすることができるので、本実施形態においては、興趣性の高い画像を生成することができる。

操作部２７０は、キーボード、ポインティングデバイス等により構成され、画像データ生成装置２０の管理者が、カメラ１０を用いて、被写体Ｏを撮像する際に、管理者の指示入力を受け付けるために用いられる。

装置管理制御部２８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、画像データ生成装置２０の全般的な機能及び画像合成処理のための全般的な処理を総括的に制御する。

［３］自動画像切り替え処理
次に、図４を用いて本実施形態の画像データ生成装置２０において実行される自動画像切り替え処理について説明する。なお、図４は、本実施形態の画像データ生成装置２０において実行される自動画像切り替え処理の動作を示すフローチャートである。

本動作においては、記録部２００には、図３に例示するカメラ管理テーブルが記録済みの状態にあるものとし、各カメラ１０について電源が投入されて撮像が開始され、それぞれ撮像した画像が同一のフレームレートで画像データ生成装置２０に出力されているものとする。

また、ＲＡＭ２０４には、各カメラ１０から順次出力された画像データがフレーム毎に記録されており、最新フレームの画像データが常に保持されているものとする。

さらに、本動作に先立って、装置管理制御部２８０は、表示部２４０に所定のホーム画面を表示させつつ、管理者による、被写体Ｏにおける自動画像切り替え処理の設定指示を待機する状態になっているものとする。

まず、切り替え制御部２６２は、操作部２７０を介して、被写体Ｏに対する自動画像切り替え処理を実行するにあたり事前設定を行うための指示を検出すると（ステップＳ１００）、各部の初期化など自動画像切り替え処理を実行するにあたりカメラ情報の読み出しなど必要な処理を事前処理として実行する（ステップＳ１０１）。

具体的には、切り替え制御部２６２は、ＲＡＭ２０４の初期化を行うとともに、カメラ管理テーブルＴＢＬから各カメラ１０のカメラ情報を読み出してＲＡＭ２０４に記録する。特に、切り替え制御部２６２は、各カメラ１０のカメラＩＤをＲＡＭ２０４に記録する。

次いで、切り替え制御部２６２は、表示制御部２５０及び操作部２７０と連動しつつ、管理者の操作に基づいて、自動画像切り替え処理を行う際の各種の条件（すなわち、処理条件）を設定する（ステップＳ１０２）。

例えば、切り替え制御部２６２は、上述のように、処理条件として
（１）基準カメラ１０の設定、
（２）１以上の検出用カメラ１０の設定、
（３）被写体Ｏの移動量に基づく再生速度（フレームの出力調整）の設定及び各カメラ１０から出力された画像を切り替える切り替え速度（表示部２４０への表示期間）の設定
（４）終了タイミングの設定、及び、
（５）動き検出処理を検出する際に用いる条件（しきい値）の設定
を行う。なお、上記の設定は、自動で行ってもよいし、デフォルトとして予め定められた各種の値を用いてもよい。

次いで、切り替え制御部２６２は、操作部２７０を介して入力された管理者の指示に基づいて、被写体Ｏに対する自動画像切り替え処理の開始を検出すると（ステップＳ１１１）、検出処理部２６３は、検出用のカメラ１０から出力された最新のフレームの画像とＲＡＭ２０４に記録された当該最新のフレームの前の１又は２以上のフレームの画像とを用いて画像解析（例えば、ブロックマッチング法）を実行する（ステップＳ１１２）。

次いで、検出処理部２６３は、ステップＳ１１２の画像解析の解析結果によって被写体Ｏが動いたか否かを判定し（ステップＳ１１３）、当該被写体Ｏが動いていないと判定した場合には、検出カメラ１０における次のフレームを取得して当該取得した次フレームを最新フレームに設定し（ステップＳ１１４）、ステップＳ１１２の処理に戻る。

なお、検出処理部２６３は、再生速度又は切り替え速度については、ステップＳ１１３の判定時に、被写体Ｏの移動量に基づいて、再生速度、及び、切り替え速度（カメラ１０から出力された画像の表示期間）を設定する。

一方、検出処理部２６３が、ステップＳ１１２の画像解析の解析結果によって被写体Ｏが動いたと判定した場合には、切り替え制御部２６２は、カメラ制御部２６１によって取得された基準カメラ１０から出力された画像に切り替えて、予め定められた期間、当該画像を表示部２４０に出力する（ステップＳ１２１）。

なお、切り替え制御部２６２は、ステップＳ１２１の処理においては、設定した処理条件に従って、再生速度及び切り替え速度（画像の表示部２５４への出力期間）を制御してもよい。

次いで、切り替え制御部２６２は、カメラＩＤに基づいて、次のカメラ１０を特定し、すなわち、ステップＳ１１２の処理又は前回のステップＳ１２３の処理によって用いたカメラに隣接するカメラ１０を特定する（ステップＳ１２２）。

次いで、切り替え制御部２６２は、カメラ制御部２６１によって取得され、ステップＳ１２２の処理で特定されたカメラ１０から出力された画像に切り替えて、予め定められた期間、当該画像を表示部２４０に出力する（ステップＳ１２３）。

なお、切り替え制御部２６２は、ステップＳ１２１と同様に、設定した処理条件に従って、再生速度及び切り替え速度（画像の表示部２５４への出力期間）を制御してもよい。

次いで、検出処理部２６３は、ステップＳ１０２によって設定された終了タイミングの設定に基づいて、自動画像切り替え処理の終了か否かを判定する（ステップＳ１２４）。

具体的には、検出処理部２６３は、ステップＳ１０２によって設定された終了タイミングの設定が、フレーム数、経過時間、又は、カメラ数の場合には、当該タイミングであるか否かを判定する。また、検出処理部２６３は、当該終了タイミングの設定が、被写体Ｏの移動量がしきい値に対して予め定められた条件を具備した場合、すなわち、被写体Ｏの動きが停止した場合（被写体Ｏが移動していても移動量が予め定められた条件を満たさない場合を含む）には、ステップＳ１１２と同様に、検出用のカメラ１０から出力された最新のフレームの画像と当該最新のフレームの前の１又は２以上のフレームの画像とを用いて画像解析を実行する。

なお、再生速度や切り替え速度を被写体Ｏの移動量に基づいて可変にする場合には、検出処理部２６３は、ステップＳ１２４の処理において、画像解析を実行して被写体Ｏの動きの有無を判定しつつ、設定したテーブル情報に基づいて、当該検出した動きの移動量によって再生速度又は切り替え速度を更新する。

また、切り替え制御部２６２は、ステップＳ１２４の処理において、自動画像切り替え処理が終了でないと判定した場合には、ステップＳ１２２の処理に戻り、当該自動画像切り替え処理が終了であると判定した場合には、ステップＳ１３１の処理に移行する。

次いで、切り替え制御部２６２は、操作部２７０を介して管理者における本動作を終了させるか否かを判定し（ステップＳ１３１）、本動作の終了指示を検出していないと判定した場合には、ステップＳ１１１の処理に移行し、本動作の終了指示を検出した場合には、本動作を終了させる。

以上、本実施形態の画像データ生成システム１は、被写体Ｏの動きを検出すると、各カメラ１０から出力された画像に順次切り替えて表示部２４０に表示することができるので、使用者における煩雑な操作を低減し、容易にバレットタイムの効果を有する画像を生成することができる。

［４］変形例
［４．１］変形例１
上記実施形態においては、カメラ１０から出力された画像を用いて合成画像データ生成処理を実行しているが、既に録画され、かつ、同期が取られており、同様のカメラシステムによって撮像された画像を用いて当該合成画像データ生成処理を実行してもよい。

［４．２］変形例２
上記実施形態においては、画像データ生成装置２０により出力された画像を表示部２４０に表示させて、記録媒体に記録し、又は、プリンタによりプリントアウトする構成としたが、ネットワークを介して、他の通信端末装置に配信する構成としてもよい。

この場合には、画像データ生成装置２０にネットワークを介して通信を行うためのネットワーク通信部を設け、通信端末装置からの要求に応じて合成画像データを配信するようにすればよい。

例えば、被写体Ｏが、人間の場合には、この構成を採用することにより、遊園地のアトラクション等において撮像された全方位画像の合成画像データを生成し、使用者の通信端末装置に配信することも可能となる。

［４．３］変形例３
上記実施形態においては、被写体Ｏの動きが検出されてから該当するカメラ１０から出力された画像に切り替える切り替え処理を行っているが、ＲＡＭ２０４に常に数フレーム分のフレーム画像が記憶されていることから、被写体Ｏの動きが検出された場合に、被写体Ｏの動きが検出されたフレームに同期している該当するカメラ１０のフレーム（基準フレーム）の画像をＲＡＭ２０４から取得し、当該基準フレームに基づいて、順次ＲＡＭ２０４から該当するカメラ１０のフレームを読み出しつつ、画像切り替え処理を実行してもよい。

例えば、この場合であって切り替わる画像を出力するための期間が一フレームの場合には、切り替え制御部２６２は、
（１）画像切り替え処理が開始されて基準フレームの画像を出力し、
（２）基準カメラ１０に隣接するカメラ１０における基準フレームの次のフレームをＲＡＭ２０４から取得して当該取得した画像を出力し、
（３）当該隣接するカメラ１０にさらに隣接するカメラ１０おける次フレームの次のフレーム（次々フレーム）をＲＡＭ２０４から取得して画像として出力し、
（４）終了タイミングまで（３）の処理を繰り返す。

この場合には、被写体の動きを検出したタイミングから画像切り替え処理を実行することができるので、被写体の動きを検出するための画像解析及びその判定の処理にある程度の時間が必要な場合であっても、被写体の動きを検出したタイミングと画像切り替え処理の開始タイミングとがずれることがないので、画像の視聴者に違和感を与えることなく、バレットタイムの効果を有する画像を生成することができる。

また、この場合であって、画像切り替え処理について所定の期間（フレーム数又は時間）経過後にリアルタイムの画像の切り替えを行うために（すなわち、カメラ１０から出力された画像を直接切り替えるために）、所定の期間中、ＲＡＭ２０４から各フレームを読み出す際のフレームレートを上げて、リアルタイムに処理が可能となった場合に（ＲＡＭ２０４から読み出すフレームが最新フレームとなった場合に）、フレームレートを元に戻して画像切り替え処理を行うようにしてもよい。

この場合には、画像切り替え処理において、被写体の実際の動きと画像によって出力された際に視聴される動きの差を解消することができるので、さらに、画像の視聴者に違和感を与えることなく、バレットタイムの効果を有する画像を生成することができる。

［４．４］変形例４
上記実施形態においては、各カメラ１０から出力された画像データに対して切り替え制御を行うことによって合成画像データ生成処理を実行しているが、カメラ制御部２６１が各カメラの動作状態のＯＮ及びＯＦＦの切り替えも連動させて合成画像データの生成処理を実行してもよい。

［４．５］変形例５
上記実施形態においては、検出用カメラ１０から出力された画像に対してブロックマッチング法を用いて当該画像から被写体Ｏの動きを検出しているが、被写体Ｏの動きが検出することができれば、背景差分法又は勾配法などの種々の手法を用いてもよい。

［４．６］変形例６
上記実施形態においては、検出処理部２６３によって被写体Ｏの動きが検出され、かつ、当該被写体Ｏが動いたと判定された場合に、切り替え制御部２６２は、各カメラ１０からの出力される画像の出力を切り替えつつ、当該被写体Ｏの移動量に基づいて、このときの再生速度（フレーム出力調整）及び各カメラ１０の切り替え速度を制御するようになっているが、当該被写体Ｏの移動量に基づいて、カメラ１０の画像を切り替えることなく、再生速度のみを制御してもよい。

１ … 画像データ生成システム
１０ … カメラ
２０ … 画像データ生成装置
２００ … 記録部
２０１ … カメラ管理テーブル記録部
２０３ … 画像データ記録部
２０４ … ＲＡＭ
２１０ …Ｉ／Ｏインターフェース
２４０ … 表示部
２５０ … 表示制御部
２６０ … データ処理部
２６１ … カメラ制御部
２６２ … 切り替え制御部
２６３ … 検出処理部
２７０ … 操作部
２８０ … 装置管理制御部
２９０ … タイマ

Claims (10)

1. 所定の位置に固定配置されている被写体を中心とする同心円の円周上に、所定の間隔を持って固定設置されるとともに、それぞれ、前記被写体を同一の位置から撮像する撮像手段を有する複数の同期した撮像装置と、
   前記撮像装置を制御する制御装置と、
   を備え、
   前記制御装置が、
   前記撮像手段によって撮像された画像に対して画像解析を実行し、当該画像内の被写体の動きを検出する検出手段と、
   前記検出された、固定配置されている被写体の動きに従って、同一の位置から当該被写体をそれぞれ撮像する撮像装置を切り替える切り替え手段と、
   を有することを特徴とすることを特徴とする撮像システム。
2. 請求項１に記載の撮像システムにおいて、
   前記制御装置が、前記画像を再生する再生手段を更に有する、撮像システム。
3. 請求項２に記載の撮像システムにおいて、
   前記切り替え手段が、前記検出された被写体の動きに従って前記撮像装置を切り替える切替速度を制御する、撮像システム。
4. 請求項１〜３のいずれか１項に記載の撮像システムにおいて、
   前記切り替え手段が、前記撮像装置の切り替え制御中に、前記被写体の動きについて所定の条件を具備した場合に、前記撮像装置の切り替え制御を停止する、撮像システム。
5. 請求項１〜４のいずれか１項に記載の撮像システムにおいて、
   前記撮像手段が、前記所定の間隔にて前記被写体を３６０度撮像可能に設置されている、撮像システム。
6. 請求項１〜５のいずれか１項に記載の撮像システムにおいて、
   前記切り替え手段が、
   前記検出された、固定配置されている被写体の動きに従って同一の位置から当該被写体をそれぞれ撮像する撮像装置を、隣接する撮像装置に、順次切り替える、撮像システム。
7. コンピュータを、
   所定の位置に固定配置されている被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を同一の位置から撮像する撮像手段を有する複数の同期した撮像装置を制御する制御手段、
   前記撮像手段によって撮像された画像に対して画像解析を実行し、当該画像内の被写体の動きを検出する検出手段、及び、
   前記検出された、固定配置されている被写体の動きに従って、同一の位置から当該被写体をそれぞれ撮像する前記撮像装置を切り替える切り替え手段、
   として機能させることを特徴とするプログラム。
8. 所定の位置に固定配置されている被写体を中心とする同心円の円周上に、所定の間隔を持って固定設置されるとともに、それぞれ、前記被写体を同一の位置から撮像する撮像手段を有する複数の同期した撮像装置を制御する制御工程と、
   前記撮像手段によって撮像された画像に対して画像解析を実行し、当該画像内の被写体の動きを検出する検出工程と、
   前記検出された、固定配置されている被写体の動きに従って、同一の位置から当該被写体をそれぞれ撮像する撮像装置を切り替える切り替え工程と、
   を含むことを特徴とする撮像方法。
9. 複数の同期した撮像装置によりそれぞれ同一の位置から撮像された画像に対して画像解析を実行し、当該画像内の所定の位置に固定配置されている被写体の動きを検出する検出手段と、
   前記検出された、固定配置されている被写体の動きに従って、同期したそれぞれ同一の位置から撮像された画像に切り替えつつ、再生する切り替え手段と、
   を備えることを特徴とする画像再生装置。
10. コンピュータを、
    複数の同期した撮像装置によりそれぞれ同一の位置から撮像された画像に対して画像解析を実行し、当該画像内の所定の位置に固定配置されている被写体の動きを検出する検出手段、及び、
    前記検出された、固定配置されている被写体の動きに従って、同期したそれぞれ同一の位置から撮像された画像に切り替えつつ、再生する切り替え手段、
    として機能させることを特徴とするプログラム。
    

Images