JP6369080B2 - 画像データ生成システム、画像生成方法、画像処理装置及びプログラム - Google Patents

Description

本発明は、画像データを生成する画像データ生成システム等に関する。

従来、コンサート等のイベントやテレビ番組においては、複数のカメラを用いて、被写体となる歌手等を、それぞれ、異なる方向から撮像し、各カメラにて撮像された画像を編集しつつ、一の画像データを生成することが行われている。

また、最近では、被写体の周囲に、それぞれ、異なるアングルから被写体を撮像するためのカメラを複数台設置して、アングルの変更方向に、撮像するカメラを、順次、連続的に切り替えていくとともに、カメラ切り替え時において画像を補間することにより、被写体の動きを停止、又は、スローモーション状態にしつつ、視点が高速に、かつ、なめらかに、移動しているように見える視覚効果（以下、「エフェクト」という。）を実現する方法が提案されている。（例えば、特許文献１）。

特開２０１１−２４３２０５号公報

しかしながら、特許文献１には、被写体に対する視点を変更するエフェクトを実現することはできるが、被写体自体の動きを利用した、新規なエフェクトを実現してはいない。

本発明は、上記課題を解決するためになされたものであり、それぞれ、異なるアングルから被写体を撮像するカメラの撮像画像を切り替えつつ、画像を生成する場合に、被写体自体の動きを利用した新規のエフェクトを実現可能な画像データ生成システム等を提供することにある。

上述した課題を解決するため、本発明に係る画像データ生成システム等は、被写体を中心とする同心円上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置と、開始点となる一の撮像装置によって撮像された基準画像に対して、隣接する１又は２以上の撮像装置によって撮像された画像を合成し、合成画像データを生成する生成手段を有する画像処理装置と、を備える構成を有している。

この構成により、本発明に係る画像データ生成システム等は、それぞれ、異なるアングルから被写体を撮像した画像を合成することができるので、被写体自体の動きを利用した新規のエフェクト処理を実現することができる。

また、上述した課題を解決するため、本発明に係る画像処理装置等は、隣接する複数の同期した撮像装置により撮像された画像を取得する取得手段と、開始点となる一の撮像装置によって撮像された基準画像に対して、隣接する１又は２以上の撮像装置によって撮像された画像を合成し、合成画像データを生成する生成手段と、を備える構成を有している。

この構成により、本発明に係る画像処理装置等は、それぞれ、異なるアングルから被写体を撮像した画像を合成することができるので、被写体自体の動きを利用した新規のエフェクト処理を実現することができる。

本発明に係る画像データ生成システム等は、それぞれ、異なるアングルから被写体を撮像した画像を合成することができるので、被写体自体の動きを利用した新規のエフェクト処理を実現することができる。

本発明に係る画像データ生成システムの一実施形態における構成を示すシステム構成図である。 一実施形態の画像データ生成装置の構成を示すブロック図である。 一実施形態の画像データ生成装置に記録されるカメラ管理テーブルに格納されるデータの一例を示す図である。 一実施形態の画像データ生成装置において実行される合成フレーム画像合成処理を説明するための図である。 一実施形態の画像データ生成装置において実行される合成フレーム画像合成処理の動作を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、被写体を撮像する複数のカメラと、各カメラから画像データを取得して、編集処理を行う画像データ生成装置と、を有する画像データ生成システムに対し、本発明に係る、画像データ生成システム、画像生成方法、画像処理装置、及び、プログラムを適用した場合の実施形態である。

［１］画像データ生成システム
まず、図１を用いて、本実施形態における画像データ生成システム１の構成及び概要について説明する。なお、図１は、本実施形態における画像データ生成システム１の構成を示すシステム構成図である。

本実施形態の画像データ生成システム１は、被写体の周囲に設置されたカメラを切り替えつつ、被写体の画像を連続的に撮像し、各カメラにて撮像された画像を合成及び編集することにより、被写体Ｏを、３６０度全方向から撮像した画像（以下、「全方位画像」という。）や特殊なエフェクト画像を生成するためのシステムである。

具体的には、本実施形態の画像データ生成システム１は、図１に示すように、被写体Ｏを中心点とし、半径をＲ（撮像距離）とする同心円Ｃ上に、等間隔又は予め定められた間隔（非等間隔）にて設置され、それぞれ、異なるアングルから被写体Ｏの画像を撮像する複数のカメラ１０と、各カメラ１０と接続され、かつ、各カメラ１０を制御するとともに、各カメラ１０によって撮像された画像を合成しつつ、編集することによって、特殊なフレーム合成を行うエフェクト画像を生成する処理（以下、「フレーム画像合成処理」という。）を実行する画像データ生成装置２０と、を有し、上記のシステムを実現するようになっている。

なお、画像データ生成システム１において、被写体Ｏの周囲に設置するカメラの台数は、任意であるが、本実施形態においては、説明を明確化するため、図１に例示するように、被写体Ｏを６台のカメラ１０−１〜１０−６にて撮像するものとして説明を行う。

各カメラ１０は、撮像手段である撮像素子（ＣＣＤイメージセンサ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を有し、デジタルビデオカメラ、Ｗｅｂカメラ又はスマートフォン付属のビデオカメラ等の動画像撮像用のカメラであり、例えば、本発明の撮像装置として機能する。また、各カメラ１０は、オートフォーカス機能及び手ぶれ補正機能などの公知の種々の機能を有し、被写体Ｏを撮像することにより、複数のフレームからなる画像データを生成する。

特に、本実施形態の各カメラ１０は、画像データ生成装置２０による制御の下、同期をとりつつ、被写体Ｏの画像を撮像するようになっており、生成した画像データを画像データ生成装置２０に供給する構成を有している。

また、各カメラ１０は、同心円Ｃ又は同心円Ｃの円周の一部に沿って、等間隔にて設置されている。なお、本実施形態においては、同心円Ｃに沿って等間隔に６台設置されているが、複数のカメラ１０を用いていればよい。ただし、全方位画像の連続性を確保しつつ、全方位画像に効果的なエフェクトを与えるためには、隣接する２台のカメラ１０（例えば、カメラ１０−１と１０−２）と、被写体Ｏによって構成される角度が、９０度未満であることが望ましいため、基本的には、４台以上のカメラ１０を用いることが望ましい。

画像データ生成装置２０は、各カメラ１０の同期を取りつつ、各カメラ１０を制御する。また、画像データ生成装置２０は、各カメラ１０から取得された画像データに基づいて、全方位画像に被写体Ｏの動きを利用した新規のエフェクトを施すことが可能な構成を有しており、新規なエフェクト処理として複数のフレームの画像を合成した画像データを生成する処理（以下、「フレーム画像合成処理」という。）を実行するようになっている。

具体的には、本実施形態の画像データ生成装置２０は、新規なエフェクト処理としては、撮像時（リアルタイム）及び記録された画像を再生する再生時を含め、開始点となる一のカメラ１０によって撮像された基準画像に対して、隣接する１又は２以上のカメラ１０によって撮像された画像を合成し、合成画像データを生成する構成を有している。

特に、画像データ生成装置２０は、合成画像データを生成する際に、基準画像のフレームに隣接するカメラ１０によって撮像された画像であって、基準画像の次のフレーム以降のフレームの画像を合成する構成を有している。そして、画像データ生成装置２０は、開始点となるカメラ１０の画像データおける一のフレームから予め定められたフレーム数に達するまで、隣接するカメラ１０に順次切り替えつつ、直前のカメラ１０が取得したフレームの次のフレームの画像を抽出し、当該抽出されたフレームを合成する構成を有している。

なお、本実施形態の画像データ生成装置２０は、基準画像のフレームに対して隣接する撮像装置によって撮像されたフレームの画像を合成する際に、常に一定数のフレームの画像を合成するとともに、当該合成を開始する際には、一フレーム毎追加し、かつ、当該合成を終了させる際には、一フレーム毎減少させる構成を有している。

このような構成を有することにより、本実施形態の画像データ生成システム１は、それぞれ、異なるアングルから被写体を撮像した画像を合成することができるので、被写体自体の動きを利用した新規のエフェクト処理を実現することができるようになっている。

特に、本実施形態の画像データ生成システム１は、それぞれ、異なるアングルから被写体Ｏを撮像した画像データを、開始点となる一のカメラ１０の画像データおける一のフレームから予め定められたフレーム数に達するまで、隣接するカメラ１０に順次切り替えつつ、直前のカメラ１０が取得したフレームの次のフレームの画像を抽出して、当該画像を合成することにより合成画像データを生成することができるので、被写体Ｏ自体の動きを利用した新規のエフェクト処理を実現することができるようになっている。

［２］画像データ生成装置
次に、図２〜５を用いて本実施形態の画像データ生成装置２０の構成について説明する。なお、図２は、本実施形態の画像データ生成装置２０の構成を示すブロック図であり、図３は、本実施形態の画像データ生成装置２０に記録されるカメラ管理テーブルＴＢＬのデータ格納例を示す図である。

本実施形態の画像データ生成装置２０は、図２に示すように、各種の情報に対応するデータが記録される記録部２００と、カメラ１０及び他の外部機器との間の入出力（Ｉ／Ｏ）インターフェース２１０と、液晶素子、又は、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルにより構成される表示部２４０と、表示部２４０に対する画像の表示を制御する表示制御部２５０と、フレーム画像合成処理その他の処理を実行するデータ処理部２６０と、キーボード、マウス、タッチパネル等により構成される操作部２７０と、装置管理制御部２８０と、現在日時を特定するタイマ２９０と、を有し、上記の各部は、バスＢによって相互に接続されている。

記録部２００は、例えば、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）により構成され、その記録領域内に、少なくとも、各カメラ１０を管理するための情報が記録されるカメラ管理テーブル記録部２０１と、フレーム画像合成処理において生成される画像データ（以下、「エフェクト画像データ」という。）を記録するための画像データ記録部２０３と、ワークエリア及び画像バッファとして機能するＲＡＭ２０４と、が設けられている。

カメラ管理テーブル記録部２０１には、各カメラ１０を管理するためのカメラ管理テーブルＴＢＬが記録される。また、カメラ管理テーブルＴＢＬには、図３に示すように、各カメラ１０を識別するためのカメラＩＤと、カメラ情報が対応付けて格納される。

本実施形態のカメラ情報には、
（１）各カメラ１０の設置位置を示す設置位置情報と、
（２）各カメラ１０の撮像時におけるフレームレートを示すフレームレート情報と、
が含まれている。

図３には、図１に示すように６台のカメラ１０を設置した場合のカメラ管理テーブルＴＢＬの例が示されている。すなわち、図３には、カメラＩＤ「Ｃａｍｅｒａ１」の設置位置を「０度」として、「Ｃａｍｅｒａ２〜６」が、それぞれ、「６０度」毎に設置された設置情報が格納されていることが示されている。

また、図３においては、全てのカメラ１０のフレームレートが「６０ｆｐｓ」とされているが、各カメラ１０のフレームレートが異なる場合には、それぞれ、異なるフレームレート情報が格納される。

画像データ記録部２０３には、画像ＩＤなどの所定の情報に対応付けてフレーム画像合成処理によって生成されたエフェクト画像データが記録される。

ＲＡＭ２０４は、フレーム画像合成処理を実行する際に、ワークエリアとして用いられるとともに、画像バッファとしても機能する。特に、ＲＡＭ２０４には、エフェクト処理を実行する際に、当該処理の期間中（すなわちエフェクト期間中）、各カメラ１０から出力された画像データがフレーム毎に順次記録されるようになっている。なお、ＲＡＭ２０４に記録された各フレームの画像は、一定期間保持されるようになっている。

特に、ＲＡＭ２０４には、フレーム画像合成処理において用いるフレーム数のみフレームの画像データを記録するための専用のバッファ領域を有している。

Ｉ／Ｏインターフェース２１０は、例えば、ＵＳＢ（Ｕｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ ｂｕｓ）、無線ＬＡＮ（ＩＥＥＥ８０２．１１ａ、ｂ、ｎ、ａｃ）、ＨＤＭＩ（登録商標（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ））等の入出力用インターフェースであり、各カメラ１０と有線又は無線にて通信接続され、各カメラ１０とバスＢとの間におけるデータの授受を中継する。

なお、Ｉ／Ｏインターフェース２１０には、ＢＤ（ブルーレイディスク）などの光ディスクレコーダを接続することも可能となっており、生成した画像データを記録媒体に記録させることが可能になっている。また、Ｉ／Ｏインターフェース２１０には、写真プリント用のプリンタを接続することが可能となっており、エフェクト画像データに基づいて、画像をプリントアウトさせることも可能となっている。

表示部２４０は、所定のサイズ（Ｗ１９２０×Ｈ１０８０ピクセル）の画像表示領域を有する液晶素子又はＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部２５０において生成された表示データに基づいて所定の画像を表示する。

表示制御部２５０は、装置管理制御部２８０及びデータ処理部２６０の制御の下、表示部２４０に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを表示部２４０に出力する。

データ処理部２６０は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、装置管理制御部２８０の中央演算処理装置（ＣＰＵ）を用いて構成されるとともに、装置管理制御部２８０による制御の下、プログラムを実行することにより、エフェクト処理を実行する。

具体的には、データ処理部２６０は、各カメラ１０から出力された各フレームの画像データの中から、開始点となる一のカメラ１０の画像データおける一のフレームから予め定められたフレーム数に達するまで、隣接するカメラ１０に順次切り替えつつ、直前のカメラ１０が取得したフレームの次のフレームの画像を順次抽出し、抽出した各フレームの画像を合成して合成画像データを生成するフレーム画像合成処理を実行する構成を有している。

特に、データ処理部２６０は、フレーム画像合成処理を実行するために、所定のアプリケーションを実行することによって各カメラ１０を制御するカメラ制御部２６１と、各フレームの画像を合成する画像合成処理部２６３と、合成画像データを生成する合成画像データ生成部２６４と、を実現する。

なお、例えば、本実施形態のカメラ制御部２６１は、本発明の取得手段を構成し、画像合成処理部２６３は、本発明の生成手段を構成する。

カメラ制御部２６１は、操作部２７０を介して入力された管理者の指示に基づいて、Ｉ／Ｏインターフェース２１０を介して、各カメラ１０に制御コマンドを出力し、該当するカメラ１０を制御する。具体的には、カメラ制御部２６１は、カメラ１０の電源のＯＮ及びＯＦＦ、ピント、並びに、フレーム同期設定その他のフレーム画像合成処理を実行する上で必要な各種の設定を行うことができる構成を有している。

カメラ制御部２６１は、操作部２７０を介して、入力された管理者の指示に従い、開始点となるカメラ１０を設定するとともに、当該カメラ１０から、予め定められた切り替え方向に、順次、カメラ１０を切り替えつつ、各カメラ１０にて撮像された被写体Ｏの画像データをＩ／Ｏインターフェース２１０を介して、それぞれ、取得する。

そして、カメラ制御部２６１は、当該取得した各画像データをカメラ１０のカメラＩＤと対応付けて、フレーム毎にＲＡＭ２０４に、順次記録する。

画像合成処理部２６３は、予め管理者が設定したフレーム数分（すなわち、対象フレーム数分）、アングルの変更方向に対して、順次、カメラ１０から出力された画像を切り替えつつ、フレーム毎に、カメラ制御部２６１が取得した画像データを抽出し、当該抽出した各フレームの画像を合成する。

具体的には、画像合成処理部２６３は、該当するカメラ１０から出力された画像データの該当するフレームをＲＡＭ２０４の専用のバッファ領域に順次記録し、不要となったフレームの画像をＲＡＭ２０４から破棄しつつ、当該領域に記録された各フレームの画像データを合成して合成画像を出力する。

合成画像データ生成部２６４は、画像合成処理部２６３により合成された合成画像に基づき、管理者が閲覧可能な形式にて合成画像データを生成し、画像データ記録部２０３に記録させる。そして、合成画像データ生成部２６４は、このようにして、画像データ記録部２０３に記録された合成画像データを管理者が操作部２７０に行った入力操作に応じて、表示制御部２５０と連動しつつ表示部２４０に表示させる。

また、合成画像データ生成部２６４は、管理者の入力操作に応じて、生成した合成画像データをＩ／Ｏインターフェース２１０に接続された図示しないＢＤレコーダに供給して、図示しない記録媒体に記録させる。

さらに、合成画像データ生成部２６４は、管理者が操作部２７０に対して、合成画像データに含まれる所定のフレームを選択しつつ、プリントアウトを指示すると、当該選択されたフレームの画像に基づいて、静止画データを生成して、Ｉ／Ｏインターフェース２１０に接続された写真用プリンタに出力する。このとき、合成画像データ生成部２６４は、プリンタに対して、生成した静止画データとともに、印刷命令コマンドを出力するようになっている。

［３］フレーム画像合成処理の原理
次に、図４を用いて本実施形態のデータ処理部２６０において実行されるフレーム画像合成処理について説明する。なお、図４は、本実施形態の画像データ生成装置２０において実行されるフレーム画像合成処理を概念的に示すイメージ図である。

本実施形態のデータ処理部２６０は、カメラ制御部２６１、画像合成処理部２６３、及び、合成画像データ生成部２６４が連動して、フレーム画像合成処理を実現する。特に、データ処理部２６０は、各カメラ１０から出力された画像開始点のカメラ１０から順に、予め管理者が設定したフレーム数分（すなわち、対象フレーム数分）、アングルの変更方向に対して、順次、カメラ１０から出力された画像を切り替えつつ、フレーム毎に画像データを抽出し、当該抽出した各フレームの画像を合成する。

例えば、以下の説明においては、各カメラ１０から出力された画像データが、同期を取りつつ、開始タイミングからフレーム毎にそれぞれ抽出されており、図１に示すカメラ１０−１を開始点とし、かつ、時計回りをアングルの変更方向に設定した場合を想定する。

（１）まず、データ処理部２６０は、フレーム画像合成処理の第１フレーム（すなわち、先頭フレーム）においては、各カメラ１０から出力された画像データの中から、カメラ１０−１の第１フレームの画像データのみを抽出し、ＲＡＭ２０４の専用領域に記録するとともに、エフェクト画像データの第１フレームとして画像データを出力する。

（２）次に、データ処理部２６０は、フレーム画像合成処理の第２フレームにおいては、各カメラ１０から出力された画像データの中から、開始点のカメラ１０−１において時計回りの方向に隣接するカメラ１０−２の第２フレームを抽出し、ＲＡＭ２０４の専用領域に記録するとともに、当該フレームの画像をＲＡＭ２０４に記録された（１）のフレーム、すなわち、カメラ１０−１の第１フレームと合成して、エフェクト画像データの第２フレームとして画像データを出力する。

（３）次に、データ処理部２６０は、フレーム画像合成処理の第３フレームにおいては、各カメラ１０から出力された画像データの中から、カメラ１０−２において時計回りの方向に隣接するカメラ１０−３の第３フレームを抽出し、ＲＡＭ２０４の専用領域に記録するとともに、当該フレームの画像をＲＡＭ２０４に記録された（２）の各フレーム、すなわち、カメラ１０−１の第１フレーム及びカメラ１０−２の第２フレームと合成して、エフェクト画像データの第３フレームとして画像データを出力する。

（４）次に、データ処理部２６０は、フレーム画像合成処理の第４フレームにおいては、各カメラ１０から出力された画像データの中から、カメラ１０−３において時計回りの方向に隣接するカメラ１０−４の第４フレームを抽出し、ＲＡＭ２０４の専用領域に記録するとともに、当該フレームの画像をＲＡＭ２０４に記録された（３）の各フレーム、すなわち、カメラ１０−１の第１フレーム、カメラ１０−２の第２フレーム及びカメラ１０−３の第３フレームと合成して、エフェクト画像データの第４フレームとして画像データを出力する。

（５）次に、データ処理部２６０は、フレーム画像合成処理の第５フレームにおいては、各カメラ１０から出力された画像データの中から、カメラ１０−４において時計回りの方向に隣接するカメラ１０−５の第５フレームを抽出し、ＲＡＭ２０４に記録するとともに、当該フレームの画像をＲＡＭ２０４の専用領域に記録された（３）の各フレームであって、最先のフレームを除いた各フレーム、すなわち、カメラ１０−１の第１フレームを除いたカメラ１０−２の第２フレーム及びカメラ１０−３の第３フレームと合成して、エフェクト画像データの第５フレームとして画像データを出力する。なお、例えば、このとき、データ処理部２６０は、最先のフレームをＲＡＭ２０４の専用のバッファ領域から破棄する。

（６）次に、データ処理部２６０は、フレーム画像合成処理の第６フレーム以降においては、同様に、各カメラ１０から出力された画像データの中から、直前のカメラ１０において時計回りの方向に隣接するカメラ１０から取得されたフレーム「ｎ」の次のフレーム「ｎ＋１」の画像を順次抽出し、ＲＡＭ２０４の専用領域に記録するとともに、最後に抽出されたフレーム「ｎ＋１」から予め定められたフレーム数「ｍ（上記の場合は４フレーム）」前のフレーム（ｎ＋１−ｍ＋１）までの各フレーム（ｎ−２、ｎ−１、ｎ、ｎ＋１）の画像を合成してエフェクト画像データの第「ｎ＋１」フレームとして画像データを出力する。そして、データ処理部２６０は、当該（６）の処理をフレーム画像合成処理の終了指示があるまで繰り返す。

なお、当該フレーム画像合成処理が開始点から同心円Ｃを一周しても終了しない場合には、上述の規定にしたがって、データ処理部２６０は、直前のカメラ１０において時計回りの方向に隣接するカメラ１０から取得されたフレーム「ｎ」の次のフレーム「ｎ＋１」の画像を取得して当該抽出した各フレームの画像を合成する。

また、データ処理部２６０は、フレーム画像合成処理の終了指示を検出すると、上記とは反対に、新たなカメラ１０への切り替えを停止し、フレームが進む毎に最先のフレームを破棄した合成画像をエフェクト画像データとして出力する。そして、データ処理部２６０は、最終的に、最後に追加されたカメラ１０の画像、すなわち、最新の画像の単独の画像データを出力してフレーム画像合成処理を終了させる。

［４］フレーム画像合成処理
次に、図５を用いて本実施形態の画像データ生成装置２０において実行されるフレーム画像合成処理について説明する。なお、図５は、本実施形態の画像データ生成装置２０において実行される合成フレーム画像合成処理の動作を示すフローチャートである。

また、本動作においては、記録部２００には、図３に例示するカメラ管理テーブルＴＢＬが記録済みの状態にあるものとし、各カメラ１０について電源が投入されて撮像が開始され、それぞれ撮像した画像が同一のフレームレートで同期して画像データ生成装置２０に出力されているものとする。

さらに、本動作に先立って、装置管理制御部２８０は、表示部２４０に所定のホーム画面を表示させつつ、管理者による、被写体Ｏのフレーム画像合成処理に基づくエフェクト画像データの生成指示を待機する状態になっているものとする。

なお、以下においては、説明を具体化するため、図５に示す場合を例に、フレーム画像合成処理について説明する。

まず、カメラ制御部２６１は、操作部２７０を介して、操作者におけるフレーム画像合成処理の開始指示を検出すると（ステップＳ１００）、カメラ管理テーブルＴＢＬをカメラ管理テーブル記録部２０１から読み出してＲＡＭ２０４に記録する（ステップＳ１０１）。

次いで、画像合成処理部２６３は、表示制御部２５０及び操作部２７０と連動し、管理者の操作に基づいて、
（１）フレーム合成画像処理を実行する期間（以下、「エフェクト期間」ともいう。）、
（２）開始点となるカメラ１０の設定（上述の場合にはカメラ１０−１）、
（３）合成フレーム数「Ｎ」の設定（上述の場合にはフレーム数「４」）、
（４）アングルの変更方向の設定（上述の場合には「時計回り」）、
の合成条件の設定を行う（ステップＳ１０２）。具体的には、画像合成処理部２６３は、（１）〜（３）の各設定を行うための画面を表示部２４０に表示させつつ、操作部２７０に対する管理者の入力操作に従って各設定を実行し、ＲＡＭ２０４に記録させる。

なお、アングルの変更方向は、通常は、時計回りとなっている。また、このとき、画像合成処理部２６３は、開始点のカメラ１０に基づいて、全てのカメラの切り替え順をＲＡＭ２０４に記録する。

次いで、画像合成処理部２６３は、画像データを抽出するカメラ１０の順番「ｘ」を開始点のカメラ１０に設定し（ｘ＝１）、出力するエフェクト画像データのフレーム番号「ｎ」に先頭フレームである「１」の設定（ｎ＝１）を実行する（ステップＳ１０３）。

次いで、画像合成処理部２６３は、ｘ番目のカメラ１０の撮像画像における「ｎ」番目のフレームを取得し（ステップＳ１０６）、現在のカメラ１０に割り当てられた「ｘ」値が「Ｎ＋１」と等しいか否かを判定する（ステップＳ１０７）。このとき、画像合成処理部２６３は、現在のカメラ１０に割り当てられた「ｘ」値が「Ｎ＋１」でないと判定した場合には、ステップＳ１１１の処理に移行し、現在のカメラ１０に割り当てられた「ｘ」値が「Ｎ＋１」と判定した場合には、ステップＳ１２１の処理に移行する。

なお、フレーム合成処理の開始直後は、「ｘ＝１」及び「ｎ＝１」であるため、画像合成処理部２６３は、この判定において「ｎｏ」と判定してステップＳ１２１の処理に移行するが、フレーム画像合成処理が進み、一定のフレーム数が合成されると、ステップＳ１１１の処理に移行し、上述のように最先のフレームを破棄してフレーム合成を行う。

次いで、画像合成処理部２６３は、現在のカメラ１０に割り当てられた「ｘ」値が「Ｎ＋１」でないと判定した場合には、ステップＳ１０６の処理において取得したｘ番目のカメラ１０の撮像画像における「ｎ」番目のフレームをＲＡＭ２０４の専用領域に記録する（ステップＳ１１１）。

次いで、画像合成処理部２６３は、ＲＡＭ２０４の専用領域に記録された各フレームに基づいて、エフェクト画像データの第ｎフレームを生成し、合成画像データ生成部２６４は、表示制御部２５０と連動し、生成したエフェクト画像データの第ｎフレームを表示部２４０に表示する（ステップＳ１１２）。

次いで、画像合成処理部２６３は、「ｘ」を「１」インクリメントするとともに（ステップＳ１１３）、「ｎ」を「１」インクリメントして（ステップＳ１１４）、ステップＳ１０６に処理に戻る。

次いで、画像合成処理部２６３は、現在のカメラ１０に割り当てられた「ｘ」値が「Ｎ＋１」である判定した場合には、ステップＳ１０６の処理において取得したｘ番目のカメラ１０の撮像画像における「ｎ」番目のフレームをＲＡＭ２０４の専用領域に記録する（ステップＳ１２１）。このとき、画像合成処理部２６３は、ＲＡＭ２０４の専用領域に記録された最先のフレームの画像データを破棄した上で、ｘ番目のカメラ１０の撮像画像における「ｎ」番目のフレームを記録（すなわち、上書き）する。

例えば、フレーム画像合成処理の合成対象フレーム数「４」の場合に、第５フレーム以降は、上述の処理を実行することになる。特に、「ｘ＝５」の場合には、画像合成処理部２６３は、ＲＡＭ２０４に記録済みのＲＡＭ２０４の専用領域に記録されたフレームうち、最先のフレーム（すなわち、カメラ１０−１の第１フレーム）を最新のフレーム（すなわち、カメラ１０−５の第５フレーム）により上書きする。

次いで、画像合成処理部２６３は、ＲＡＭ２０４の専用領域に記録された各フレームに基づいて、エフェクト画像データの第ｎフレームを生成し、合成画像データ生成部２６４は、表示制御部２５０と連動し、生成したエフェクト画像データの第ｎフレームを表示部２４０に表示する（ステップＳ１２２）。

次いで、画像合成処理部２６３は、操作者の指示に基づく、又は、予め定められた指示に基づく、フレーム画像合成処理の終了指示を検出したか否かを判定する（ステップＳ１２３）。このとき、画像合成処理部２６３は、操作部２７０を介して入力された操作者の指示を検出したか否か、又は、タイマなどによって予め定められたタイミングが到来したか否かを判定する。また、このとき、画像合成処理部２６３は、フレーム画像合成処理の終了指示を検出していないと判定した場合には、上ステップＳ１１３の処理に移行する。

一方、画像合成処理部２６３は、フレーム画像合成処理の終了指示を検出したと判定した場合には、カメラ１０の切り替えを停止しつつ、１フレーム毎に最先の画像を破棄しつつ、最新の画像による単独の画像データを生成する終了処理を実行して（ステップＳ１２４）本動作を終了させる。

以上、本実施形態の画像データ生成システム１は、各々、異なるアングルから被写体Ｏを撮像した画像データを、開始点となる一のカメラ１０の画像データおける一のフレームから予め定められたフレーム数に達するまで、隣接するカメラ１０に順次切り替えつつ、直前のカメラ１０が取得したフレームの次のフレームの画像を抽出して、当該画像を合成することにより合成画像データを生成することができるので、被写体Ｏ自体の動きを利用した新規のエフェクト処理を実現することができる。

［５］変形例
［５．１］変形例１
上記実施形態においては、カメラ１０から出力された画像を用いて合成フレーム画像合成処理を実行しているが、既に録画され、かつ、同期が取られており、同様のカメラシステムによって撮像された画像を用いて当該合成フレーム画像合成処理を実行してもよい。

［５．２］変形例２
上記実施形態においては、単純にＲＡＭ２０４に記録されたフレームを合成することにより、エフェクト処理を実行する構成としたが、例えば、ＲＡＭ２０４に記録された各フレームに重み付けを行いつつフレーム画像を合成する構成としてもよい。

この場合には、例えば、エフェクト画像データに用いられる各フレームの取得した時刻に応じて重み付けの係数を変更することにより、例えば、４つのフレームのデータを用いる場合に、順次取得した各フレームの最新のフレーム（４番目に取得したフレーム）の画像データを強調し、又は、最先のフレーム（１番目に取得したフレーム）の画像データを強調するように画像合成を実行し、当該エフェクトの調整を行うようにしてもよい。

［５．３］変形例３
上記実施形態においては、１フレーム毎に、カメラ１０の撮像画像を切り替える構成としたが、所定数（例えば２フレーム）毎にカメラ１０の撮像画像を切り替える構成としても良い。 この構成を採用する場合、エフェクトの度合いを変化させつつ、合成画像データを生成することができる。

［５．４］変形例４
上記実施形態においては、最隣接するカメラ１０に切り替えつつ、フレーム画像合成処理を実行しているが、最隣接のカメラ１０ではなく、１又は２以上のカメラ１０を介して隣接するカメラ１０、すなわち、カメラ１０−１の次に、カメラ１０−３、その次に、カメラ１０−５というように、他のカメラ１０（この場合には、１０−２及び１０−４）を介して隣接するカメラ１０を用いてフレーム画像合成処理を実行してもよい。

［５．５］変形例５
上記実施形態においては、カメラ１０を切り替えつつ、異なるフレームを用いてフレーム画像合成処理を実行しているが、カメラ１０を切り替えつつ、同一のフレームを用いてフレーム画像合成処理を実行してもよい。

また、上記の実施形態においては、フレーム画像合成処理においては、隣接するカメラ１０の次のフレームの画像を合成しているが、次々フレームなど、次のフレーム以降の画像であってもよい。

１ … 画像データ生成システム
１０ … カメラ
２０ … 画像データ生成装置
２００ … 記録部
２０１ … カメラ管理テーブル記録部
２０３ … 画像データ記録部
２０４ … ＲＡＭ
２１０ …Ｉ／Ｏインターフェース
２４０ … 表示部
２５０ … 表示制御部
２６０ … データ処理部
２６１ … カメラ制御部
２６３ … 画像合成処理部
２６４ … 画像データ生成部
２７０ … 操作部
２８０ … 装置管理制御部
２９０ … タイマ

Claims (9)

1. 被写体を中心とする同心円上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置と、
   開始点となる一の撮像装置によって撮像された基準画像と、当該基準画像に隣接する１又は２以上の撮像装置によって撮像された画像と、をブレンディングして１の合成画像データを生成し、又は、当該基準画像に隣接する２以上の撮像装置によって撮像されたそれぞれの画像をブレンディングして１の合成画像データを生成する生成手段を有する画像処理装置と、
   を備え、
   前記隣接する撮像装置によって撮像された画像が、前記基準画像の次のフレーム以降のフレームの画像であることを特徴とする画像データ生成システム。
2. 請求項１に記載の画像データ生成システムにおいて、
   前記隣接する撮像装置には、前記撮像装置に最隣接する撮像装置、及び、当該一の撮像装置と他の撮像装置を介して隣接する撮像装置のいずれかが含まれる、画像データ生成システム。
3. 請求項１又は２に記載の画像データ生成システムにおいて、
   前記生成手段が、前記基準画像のフレームに対して前記隣接する撮像装置によって撮像されたフレームの画像を合成し、当該合成を行う際に、常に一定数のフレームの画像を合成する、画像データ生成システム。
4. 請求項３に記載の画像データ生成システムにおいて、
   前記生成手段が、前記基準画像のフレームに対して前記隣接する撮像装置によって撮像されたフレームの画像をフレーム毎に合成し、当該合成を開始する際には、一フレーム毎追加し、かつ、当該合成を終了させる際には、一フレーム毎減少させる、画像データ生成システム。
5. 請求項１〜４のいずれか１項に記載の画像データ生成システムにおいて、
   前記生成手段が、前記ブレンディングによる合成に用いる撮像装置を切り替えつつ、前記合成画像データを生成し、前記画像の合成が終了した場合に、最後に追加合成された単独の画像のデータを生成する、画像データ生成システム。
6. コンピュータを、
   被写体を中心とする同心円上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置から画像を画像データとして取得する取得手段、及び、
   開始点となる一の撮像装置によって撮像された基準画像と、当該基準画像に隣接する１又は２以上の撮像装置によって撮像された画像と、をブレンディングして１の合成画像データを生成し、又は、当該基準画像に隣接する２以上の撮像装置によって撮像されたそれぞれの画像をブレンディングして１の合成画像データを生成する生成手段として機能させ、
   前記隣接する撮像装置によって撮像された画像が、前記基準画像の次のフレーム以降のフレームの画像であることを特徴とするプログラム。
7. 被写体を中心とする同心円上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置から画像を画像データとして取得する取得工程と、
   開始点となる一の撮像装置によって撮像された基準画像と、当該基準画像に隣接する１又は２以上の撮像装置によって撮像された画像と、をブレンディングして１の合成画像データを生成し、又は、当該基準画像に隣接する２以上の撮像装置によって撮像されたそれぞれの画像をブレンディングして１の合成画像データを生成する生成工程と、
   を含み、
   前記隣接する撮像装置によって撮像された画像が、前記基準画像の次のフレーム以降のフレームの画像であることを特徴とする画像生成方法。
8. 隣接する複数の同期した撮像装置により撮像された画像を取得する取得手段と、
   開始点となる一の撮像装置によって撮像された基準画像と、当該基準画像に隣接する１又は２以上の撮像装置によって撮像された画像と、をブレンディングして１の合成画像データを生成し、又は、当該基準画像に隣接する２以上の撮像装置によって撮像されたそれぞれの画像をブレンディングして１の合成画像データを生成する生成手段と、
   を備え、
   前記隣接する撮像装置によって撮像された画像が、前記基準画像の次のフレーム以降のフレームの画像であることを特徴とする画像処理装置。
9. コンピュータを、
   隣接する複数の同期した撮像装置により撮像された画像を取得する取得手段、及び、
   開始点となる一の撮像装置によって撮像された基準画像と、当該基準画像に隣接する１又は２以上の撮像装置によって撮像された画像と、をブレンディングして１の合成画像データを生成し、又は、当該基準画像に隣接する２以上の撮像装置によって撮像されたそれぞれの画像をブレンディングして１の合成画像データを生成する生成手段、
   として機能させ、
   前記隣接する撮像装置によって撮像された画像が、前記基準画像の次のフレーム以降のフレームの画像であることを特徴とするプログラム。

Images