JPWO2020129696A1 - 情報処理装置、情報処理方法、プログラム、および、情報処理システム - Google Patents

Abstract

本技術は、バレットタイム動画を簡単に生成することができるようにする情報処理装置、情報処理方法、プログラム、および、情報処理システムに関する。情報処理装置は、複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像を要求する制御部とを備える。本技術は、例えば、バレットタイム動画を生成する情報処理装置等に適用できる。

Description

本技術は、情報処理装置、情報処理方法、プログラム、および、情報処理システムに関し、特に、バレットタイム動画を簡単に生成することができるようにした情報処理装置、情報処理方法、プログラム、および、情報処理システムに関する。

バレットタイム(Bullet Time)撮影と称される撮影技術が知られている。バレットタイム撮影では、例えば、被写体を複数のカメラで同期して撮影し、各カメラで撮影された画像を編集機器に送信して、編集機器において、撮影方向を順次切り替えたような一連の画像（動画）が生成される。

バレットタイム動画の生成には、複数の方向から被写体を撮影した画像が必要であるが、例えば、特許文献１には、例えば、任意の位置、方向、移動速度を自由に設定した自由視点画像を生成する画像処理装置が提案されている。

特開２０１８−４６４４８号公報

従来、バレットタイム動画を生成するためには、複数のカメラで撮影した全ての画像を編集機器に送信する必要があった。

本技術は、このような状況に鑑みてなされたものであり、バレットタイム動画を簡単に生成することができるようにするものである。

本技術の第１の側面の情報処理装置は、複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、前記ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像を要求する制御部とを備える。

本技術の第１の側面の情報処理方法およびプログラムは、第１の側面の情報処理装置に対応する情報処理方法およびプログラムである。

本技術の第１の側面においては、複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択が受け付けられ、前記ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像が要求される。

本技術の第１の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術の第２の側面の情報処理システムは、複数の撮像装置に対応して設けられる複数の第１情報処理装置と、第２情報処理装置とからなり、前記複数の第１情報処理装置のうちのいずれか１つの第１情報処理装置は、対応する前記撮像装置で得られた撮像画像に関連する関連画像を前記第２情報処理装置に送信し、前記第２情報処理装置は、前記関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、前記ユーザの選択に対応する撮像画像を保持する前記第１情報処理装置に対して、撮像画像を要求する制御部とを備える。

本技術の第２の側面においては、複数の撮像装置に対応して設けられる複数の第１情報処理装置と、第２情報処理装置とからなり、前記複数の第１情報処理装置のうちのいずれか１つの第１情報処理装置では、対応する前記撮像装置で得られた撮像画像に関連する関連画像が前記第２情報処理装置に送信され、前記第２情報処理装置では、前記関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択が受け付けられ、前記ユーザの選択に対応する撮像画像を保持する前記第１情報処理装置に対して、撮像画像が要求される。

情報処理装置および情報処理システムは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術を適用した撮影システムの構成例を示す図である。 撮影システムで実行される処理の概要について説明する図である。 カメラと制御装置の構成例を示すブロック図である。 編集用統合機器としてのコンピュータのハードウエアの構成例を示すブロック図である。 バレットタイム編集画面の画面例を示す図である。 自由指定のフレーム選択モードを説明する図である。 バレットタイム動画生成の一連の流れを説明する図である。 撮影システムによるバレットタイム動画生成の処理を説明するフローチャートである。 間引き処理されたライブビュー画像を説明する図である。 複数のカメラを２次元配置とした場合のユーザI/Fを説明する図である。 カメラと制御装置の機能を集約したカメラの構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．撮影システムの構成例
２．撮影システムの概要
３．ブロック図
４．画面例
５．バレットタイム動画生成の一連の流れ
６．変形例

＜１．撮影システムの構成例＞
図１は、本技術を適用した撮影システムの構成例を示している。

図１の撮影システム１は、撮影方向を順次切り替えたような一連の画像（動画）であるバレットタイム動画の撮影および生成に好適なシステムであり、８台のカメラ１１A乃至１１Hと、８台の制御装置１２A乃至１２Hと、編集用統合機器１３と、表示装置１４とを含んで構成される。

なお、以下の説明では、カメラ１１A乃至１１Hを特に区別する必要がない場合、単にカメラ１１と称する。また、制御装置１２A乃至１２Hを特に区別する必要がない場合には、単に制御装置１２と称する。撮影システム１では、カメラ１１と制御装置１２とが対で構成される。図１の例では、撮影システム１が８台のカメラ１１と制御装置１２で構成される例を説明するが、カメラ１１と制御装置１２の台数は８台に限られず、任意の台数でスケーラブルに構成することができる。

カメラ１１は、制御装置１２の制御に従い、被写体２１を撮像し、その結果得られる撮像画像（動画像）を制御装置１２に供給する。カメラ１１と制御装置１２とは、所定の通信ケーブルで接続されている。複数台（８台）のカメラ１１は、例えば、図１に示されるように、被写体２１の周囲に円弧状に配置され、同期して撮像を行う。複数台のカメラ１１の相互の位置関係は、キャリブレーション処理を行うことで既知であるとする。

制御装置１２は、制御対象のカメラ１１と接続され、カメラ１１に撮像の指示を出力するとともに、カメラ１１から供給される動画像を構成する１以上の撮像画像を取得し、バッファリングする（一時的に保存する）。制御装置１２は、所定のネットワーク２２を介した編集用統合機器１３からの要求に応じて、１以上の撮像画像を編集用統合機器１３へ送信したり、撮像画像に関連する関連画像を編集用統合機器１３へ送信する。ここで、関連画像とは、バッファリングした撮像画像に対して、解像度変換、フレームレート変換（フレーム間引き）、圧縮処理等の所定の画像処理を施して得られる画像である。関連画像は、例えば、動画撮影中の画像確認用（後述するライブビュー画像）や、撮像画像選択中の画像確認用（後述する停止画）として利用される。したがって、制御装置１２は、バッファリングした撮像画像に対して、解像度変換、圧縮処理等の画像処理を必要に応じて実行する。以下では、カメラ１１から得られた撮像画像を、関連画像と区別して、フレーム画像と称して説明する。

ネットワーク２２は、例えば、インターネット、電話回線網、衛星通信網、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）とすることができる。その他、ネットワーク２２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網などでもよい。また、ネットワーク２２は、有線による通信網に限らず、無線による通信網であってもよい。

編集用統合機器１３は、バレットタイム動画の生成を行うユーザが操作する操作端末であり、例えば、パーソナルコンピュータやスマートフォン等で構成される。編集用統合機器１３は、バレットタイム動画の撮影および編集を行うアプリケーションプログラム（以下、適宜、バレットタイム動画生成アプリと称する。）を実行する。編集用統合機器１３は、バレットタイム動画生成アプリにおいて、ユーザの操作を受け付け、ユーザの指示に基づいて、バレットタイム動画の撮影および編集を行う。例えば、編集用統合機器１３は、被写体２１の撮像の開始および停止を、各制御装置１２へ指示する。また、編集用統合機器１３は、バレットタイム動画に必要なフレーム画像を制御装置１２へ要求して取得し、取得したフレーム画像を用いて、バレットタイム動画を生成する。

表示装置１４は、LCD（Liquid Crystal Display）または有機EL（Electro-Luminescence）ディスプレイなどの表示デバイスであり、バレットタイム動画生成アプリの画面を表示したり、制御装置１２から取得した被写体２１のフレーム画像などを表示する。なお、編集用統合機器１３が、例えば、スマートフォンや、携帯型のパーソナルコンピュータなど、ディスプレイと一体とされている場合には、表示装置１４は、編集用統合機器１３の一部として構成される。

＜２．撮影システムの概要＞
次に、図２を参照して、撮影システム１で実行される処理の概要について説明する。

各カメラ１１は、ユーザの操作に基づく制御装置１２からの指令に基づき、他のカメラ１１と同期したタイミングで被写体２１を撮像し、その結果得られるフレーム画像（動画像）を制御装置１２に供給する。各カメラ１１で撮像されたフレーム画像には、同一の被写体２１が含まれる。

各制御装置１２は、対となるカメラ１１から供給されるフレーム画像をバッファリングする。ここで、各カメラ１１において、６枚のフレーム画像が時系列に撮像され、対応する制御装置１２にバッファリングされたとする。具体的には、図２に示されるように、制御装置１２Aには、カメラ１１Aで撮像された６枚のフレーム画像A１乃至A６がバッファリングされている。制御装置１２Bには、カメラ１１Bで撮像された６枚のフレーム画像B１乃至B６がバッファリングされている。以下、同様に、制御装置１２Gには、カメラ１１Gで撮像された６枚のフレーム画像G１乃至G６がバッファリングされ、制御装置１２Hには、カメラ１１Hで撮像された６枚のフレーム画像H１乃至H６がバッファリングされている。

編集用統合機器１３は、図２に示されるように、カメラ１１の配置に合わせた空間方向（カメラ１１の配列方向）を横軸（X軸）とし、フレーム画像の撮像時刻（撮像時間）に合わせた時間方向を縦軸（Y軸）とする２次元空間上に、各制御装置１２にバッファリングされているフレーム画像を配置した表現形式でフレーム画像を管理し、バレットタイム動画に必要なフレーム画像を、ユーザに選択させるユーザI/F（ユーザインタフェイス）を用いる。このようなユーザI/Fを用いることで、撮像されたフレーム画像間の時間関係や位置関係（被写体の撮像方向の関係）を直観的に認識しやすくし、ユーザが、必要なフレーム画像の選択を容易に行うことができる。

例えば、編集用統合機器１３のユーザI/Fにおいて、図中、ハッチングが付され、太枠で囲まれたフレーム画像A１、B１、C１、D１、E１、F１、G１、H１乃至H６、G６、F６、E６、D６、C６、B６、および、A６が選択されたとすると、選択されたフレーム画像のみが、ネットワーク２２を介して、制御装置１２から編集用統合機器１３へ供給される。編集用統合機器１３は、取得したフレーム画像を所定の順番でエンコードすることにより、バレットタイム動画を生成する。バレットタイム動画のフレームレートは、初期設定により予め決定されるか、動画生成時に決定される。選択されたフレーム画像をエンコードする際のフレーム画像の順番も、初期設定により予め決定することができ、動画生成時に決定することもできる。

このように、編集用統合機器１３では、バレットタイム動画の生成に必要なフレーム画像のみを各制御装置１２から取得して、バレットタイム動画の生成に使用しないフレーム画像はダウンロードしないようにすることで、フレーム画像の取得に使用するネットワーク帯域を削減することができ、使用する編集用統合機器１３のメモリ領域も少なくすることができる。

なお、各カメラ１１の配置が、図１に示したように列状ではなく、被写体２１を中心とする略円状である場合には、所定の１つのカメラ１１を起点とする列状の配置と考えて、空間方向と時間方向の２次元空間上でフレーム画像を管理することができる。

＜３．ブロック図＞
図３は、カメラ１１と制御装置１２の構成例を示すブロック図である。

カメラ１１は、イメージセンサ４１、CPU（Central Processing Unit）４２、メモリ４３、画像処理部４４、USB(Universal Serial Bus） I/F４５、および、HDMI（High-Definition Multimedia Interface）（登録商標） I/F４６などを有する。イメージセンサ４１、CPU４２、メモリ４３、画像処理部４４、USB I/F４５、および、HDMI I/F４６は、バス４７を介して相互に接続されている。

イメージセンサ４１は、例えば、CCD(Charge Coupled Device)や、CMOS （Complementary Metal Oxide Semiconductor）センサなどで構成され、図示せぬ撮像レンズを介して入射される被写体からの光（像光）を受光（撮像）する。イメージセンサ４１は、被写体を撮像して得られる撮像信号を、バス４７を介してメモリ４３に供給する。

CPU４２は、不図示のROM（Read Only Memory）に記憶されたプログラムにしたがって、カメラ１１全体の動作を制御する。CPU４２は、例えば、USB I/F４５を介して、制御装置１２から供給される制御信号にしたがって、イメージセンサ４１に撮像を行わせたり、メモリ４３に記憶されている撮像信号の画像処理を画像処理部４４に行わせる。

メモリ４３は、例えば、RAM（Random Access Memory）で構成され、各種の処理で用いるデータやパラメータなどを一時的に記憶する。例えば、メモリ４３は、イメージセンサ４１から供給される撮像信号を記憶したり、画像処理部４４で処理された後の画像データなどを記憶する。

画像処理部４４は、イメージセンサ４１で撮像され、メモリ４３に記憶されている撮像信号を用いて、デモザイク処理等の画像処理を実行し、フレーム画像を生成する。

USB I/F４５は、USB端子を有し、USBケーブルを介して接続される制御装置１２との間で、カメラ１１を制御する制御信号やデータなどを送受信する。HDMI（R）I/F４６は、HDMI（R）端子を有し、HDMI（R）ケーブルを介して接続される制御装置１２との間で、カメラ１１を制御する制御信号やデータなどを送受信する。USB I/F４５とHDMI（R）I/F４６の２つの通信I/Fの使用方法は、特に限定されないが、例えば、カメラ１１を制御する制御信号が、USB I/F４５を介して制御装置１２からカメラ１１に入力され、非圧縮のフレーム画像の画像データが、HDMI（R）I/F４６を介して、カメラ１１から制御装置１２へ高速伝送される。

制御装置１２は、CPU６１、メモリ６２、画像処理部６３、USB I/F６４、HDMI（R） I/F６５、および、ネットワークI/F６６などを有する。CPU６１、メモリ６２、画像処理部６３、USB I/F６４、HDMI（R） I/F６５、および、ネットワークI/F６６は、バス６７を介して相互に接続されている。

CPU６１は、不図示のROMに記憶されたプログラムにしたがって、制御装置１２全体の動作を制御する。例えば、CPU６１は、編集用統合機器１３からのカメラ１１の制御信号にしたがって、カメラ１１を制御する制御信号を、USB I/F４５を介して、制御装置１２に出力する。また、CPU６１は、HDMI（R） I/F６５を介してカメラ１１から高速伝送されてきた非圧縮のフレーム画像をメモリ６２に記憶させたり、メモリ６２に記憶されている非圧縮のフレーム画像の画像処理を画像処理部６３に行わせる。

メモリ６２は、例えば、RAMで構成され、各種の処理で用いるデータやパラメータなどを一時的に記憶する。メモリ６２は、カメラ１１から供給される非圧縮のフレーム画像や、非圧縮のフレーム画像を画像処理部６３で画像処理した処理後の画像などを、所定枚数記憶する記憶容量を有している。

画像処理部６３は、メモリ６２に記憶されている非圧縮のフレーム画像に対して、例えば、解像度変換処理や、圧縮処理、フレームレートを変換するフレームレート変換処理等の画像処理を実行する。

USB I/F６４は、USB端子を有し、USBケーブルを介して接続されるカメラ１１との間で、カメラ１１を制御する制御信号やデータなどを送受信する。HDMI（R）I/F６５は、HDMI（R）端子を有し、HDMI（R）ケーブルを介して接続されるカメラ１１との間で、カメラ１１を制御する制御信号やデータなどを送受信する。本実施の形態では、上述したように、例えば、USB I/F６４からは、カメラ１１を制御する制御信号が、カメラ１１へ出力され、HDMI（R）I/F６５からは、非圧縮のフレーム画像の画像データがカメラ１１から入力される。

ネットワークI/F６６は、例えば、Ethernet（登録商標）に準拠したネットワーク２２を介して通信を行う通信I/Fである。ネットワークI/F６６は、ネットワーク２２を介して、編集用統合機器１３と通信を行う。例えば、ネットワークI/F６６は、編集用統合機器１３から供給されるカメラ１１の制御信号を取得してCPU６１へ供給したり、非圧縮のフレーム画像の画像データを編集用統合機器１３へ送信する。

以上のように、カメラ１１と制御装置１２との間では、USB I/Fと、HDMI（R）I/Fの２つの通信手段を用いて、制御信号やデータなどを送受信するように構成されるが、１つの通信手段のみで、制御信号やデータを送受信する構成としてもよい。また、通信手段の通信方式は、USB I/FとHDMI（R）I/Fに限らず、その他の通信方式でもよい。さらには、有線通信に限らず、Wi-fiや、Bluetooth（登録商標）等の無線通信でもよい。制御装置１２と編集用統合機器１３との間の通信についても、有線通信または無線通信のどちらでもよいし、通信手段の種類は問わない。

図４は、編集用統合機器１３としてのコンピュータのハードウエアの構成例を示すブロック図である。

編集用統合機器１３において、CPU１０１、ROM１０２、および、RAM１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。入力部１０６は、ユーザが行う選択や指示など、ユーザの操作を受け付ける受付部として機能する。出力部１０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１０９は、ネットワークI/Fなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成される編集用統合機器１３では、バレットタイム動画生成アプリが、例えば、記憶部１０８に記憶されている。CPU１０１が、記憶部１０８に記憶されているバレットタイム動画生成アプリを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、ユーザに、バレットタイム動画の撮影および編集を行わせることができる。例えば、CPU１０１は、図５のバレットタイム編集画面を表示装置１４に表示させたり、各制御装置１２からダウンロードした複数のフレーム画像をエンコードしてバレットタイム動画を生成する処理を行う。各制御装置１２からダウンロードした画像が圧縮符号化されている場合には、CPU１０１は、圧縮画像の伸長処理も行うことができる。バレットタイム動画生成アプリを実行するCPU１０１は、バレットタイム動画用の撮影および編集を制御する制御部に相当する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

バレットタイム動画生成アプリを含む、CPU１０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

＜４．画面例＞
図５は、編集用統合機器１３上でバレットタイム動画生成アプリが実行されることにより表示装置１４に表示された、バレットタイム編集画面の画面例を示している。

バレットタイム編集画面１５１には、“バレットタイム編集”のタイトルとともに、カメラ１１で撮像された画像を表示する画像表示部１６１が設けられている。画像表示部１６１は、各カメラ１１がバレットタイム動画用の撮像を行っている最中には（後述する“ライブビュー”ステート）、所定の１台のカメラ１１（以下、代表カメラ１１とも称する。）で撮像されたフレーム画像の関連画像であるライブビュー画像を表示する。ライブビュー画像は、例えば、制御装置１２にバッファリングされているフレーム画像よりも、解像度を落とした画像とされる。

また、画像表示部１６１は、バレットタイム動画の生成に使用するフレーム画像を選択する際には（後述する“フレーム選択”ステート）、フレーム選択のためのプレビュー用の画像（静止画）である停止画を画像表示部１６１に表示する。停止画も、例えば、制御装置１２にバッファリングされているフレーム画像よりも、解像度を落とした画像であり、フレーム画像の関連画像である。

ライブビュー画像や停止画を、フレーム画像よりも解像度を低下させた画像とすることで、ネットワーク帯域を節約するとともに、撮像中およびフレーム選択中の高速伝送および高速表示を実現することができる。なお、勿論、編集用統合機器１３の処理能力が高く、ネットワーク帯域に余裕がある場合などにおいては、制御装置１２にバッファリングされているフレーム画像を、ライブビュー画像や停止画として、そのまま編集用統合機器１３に伝送して、表示するようにしてもよい。

バレットタイム編集画面１５１の画像表示部１６１の下方には、複数のフレーム選択モードに対応するフレーム選択モードボタン１６２乃至１６６が表示されている。

フレーム選択モードボタン１６２乃至１６６は、各カメラ１１で撮像されたフレーム画像を、各カメラ１１の空間方向を横軸とし、フレーム画像の撮像時刻に合わせた時間方向を縦軸とする２次元空間上に配列したフレーム画像の配置を基に、バレットタイム動画に使用するフレーム画像の選択方法を指定するためのボタンである。以下では、各カメラ１１の空間方向を横軸とし、フレーム画像の撮像時刻に合わせた時間方向を縦軸とする２次元空間上に、各カメラ１１で撮像された複数のフレーム画像が配置された空間を、フレーム配置２次元空間とも称する。

フレーム選択モードボタン１６２乃至１６５は、バレットタイム動画に使用するフレーム画像の選択方法が、キータイミングKTを基点として予め規定されている（プリセットされている）フレーム選択モードのボタンである。

フレーム選択モードボタン１６２乃至１６５のフレーム選択モードでは、ユーザがキータイミングKTを指定することで、キータイミングKTを基点に、フレーム配置２次元空間上に配列された複数のフレーム画像のなかの所定のフレーム画像が、バレットタイム動画に使用するフレーム画像として（自動的に）選択される。キータイミングKTの指定とは、フレーム配置２次元空間上に配列されたフレーム画像のうち、バレットタイム動画に使用するフレーム画像の時間方向を特定する操作である。

フレーム選択モードボタン１６２で実行されるフレーム選択モード（プリセット１）では、キータイミングKTが決定されると、フレーム配置２次元空間上に配列された複数のフレーム画像のうち、キータイミングKTを基点として、行L１の各フレーム画像と、行L２の各フレーム画像とが、バレットタイム動画に使用するフレーム画像として選択される。行L１の各フレーム画像は、フレーム配置２次元空間上の縦軸が示す撮像時刻がキータイミングKTと同じ時刻で、最左端のカメラ１１Aから最右端のカメラ１１Hまでのフレーム画像に対応する。行L２の各フレーム画像は、フレーム配置２次元空間上の縦軸が示す撮像時刻がキータイミングKTと同じ時刻で、最右端のカメラ１１Hから最左端のカメラ１１Aまでのフレーム画像に対応する。

フレーム選択モードボタン１６３で実行されるフレーム選択モード（プリセット２）では、キータイミングKTが決定されると、フレーム配置２次元空間上に配列された複数のフレーム画像のうち、キータイミングKTを基点として、行L１の各フレーム画像と、列L２の各フレーム画像と、行L３の各フレーム画像とが、バレットタイム動画に使用するフレーム画像として選択される。行L３の各フレーム画像は、縦軸が示す撮像時刻がキータイミングKTと同じ時刻で、最右端のカメラ１１Hから最左端のカメラ１１Aまでのフレーム画像に対応する。列L２は、終点の撮像時刻がキータイミングKTと同じ時刻で、最右端のカメラ１１Hの撮像時刻が、所定の時刻からキータイミングKTと同じ時刻までのフレーム画像に対応する。行L１は、撮像時刻が列L２の始点の撮像時刻と同じで、最左端のカメラ１１Aから最右端のカメラ１１Hまでのフレーム画像に対応する。列L２の長さ（フレーム数）は、ユーザ設定により適宜変更することができる。

なお、図２で示したフレーム画像の選択例は、フレーム選択モードボタン１６３で実行されるフレーム選択モードに対応する。

フレーム選択モードボタン１６４で実行されるフレーム選択モード（プリセット３）では、キータイミングKTが決定されると、フレーム配置２次元空間上に配列された複数のフレーム画像のうち、キータイミングKTを基点として、列L１の各フレーム画像と、行L２の各フレーム画像と、行L３の各フレーム画像とが、バレットタイム動画に使用するフレーム画像として選択される。行L３の各フレーム画像は、縦軸が示す撮像時刻がキータイミングKTと同じ時刻で、最右端のカメラ１１Hから最左端のカメラ１１Aまでのフレーム画像に対応する。行L２の各フレーム画像は、縦軸が示す撮像時刻がキータイミングKTと同じ時刻で、最左端のカメラ１１Aから最右端のカメラ１１Hまでのフレーム画像に対応する。列L１の各フレーム画像は、終点の撮像時刻がキータイミングKTと同じ時刻で、最左端のカメラ１１Aの撮像時刻が所定の時刻からキータイミングKTと同じ時刻までのフレーム画像に対応する。列L１の長さ（フレーム数）は、ユーザ設定により適宜変更することができる。

フレーム選択モードボタン１６５で実行されるフレーム選択モード（プリセット４）では、キータイミングKTが決定されると、フレーム配置２次元空間上に配列された複数のフレーム画像のうち、キータイミングKTを基点として、列L１の各フレーム画像と、行L２の各フレーム画像と、列L３の各フレーム画像と、行L４の各フレーム画像と、列L５の各フレーム画像とが、バレットタイム動画に使用するフレーム画像として選択される。行L４の各フレーム画像は、縦軸が示す撮像時刻がキータイミングKTと同じ時刻で、所定のカメラ１１から最左端のカメラ１１Hまでのフレーム画像に対応する。列L５の各フレーム画像は、最右端のカメラ１１Hの、撮像時刻がキータイミングKTと同じ時刻から最後の時刻までのフレーム画像に対応する。列L３の各フレーム画像は、行L４の始点のフレーム画像と同じカメラ１１の、撮像時刻が所定の時刻からキータイミングKTと同じ時刻までのフレーム画像に対応する。行L２の各フレーム画像は、撮像時刻が列L３の始点のフレーム画像と同じ時刻で、最右端のカメラ１１Aから、列L３の始点のフレーム画像と同じカメラ１１までのフレーム画像に対応する。列L１の各フレーム画像は、最右端のカメラ１１Aで、撮像時刻が最初から行L２の始点と同じ時刻までのフレーム画像に対応する。列L１、行L２、列L３、行L４、および列L５の長さ（フレーム数）は、ユーザ設定により適宜変更することができる。

フレーム選択モードボタン１６６は、バレットタイム動画に使用するフレーム画像を、ユーザが自由に指定するフレーム選択モードのボタンである。フレーム選択モードボタン１６６が選択（押下）されると、図６のフレーム選択画面２０１が表示される。フレーム選択画面２０１では、フレーム配置２次元空間上に配列した各フレーム画像に対応する矩形領域の所望の領域を、ユーザがクリックまたはタッチ操作で選択することで、バレットタイム動画に使用するフレーム画像を選択することができる。例えば、フレーム画像に対応する矩形領域を選択した順番が、バレットタイム動画として表示するフレーム画像の順番となる。図６では、バレットタイム動画に使用するフレーム画像として選択された領域が、グレーで着色されている。決定ボタン２１１により、フレーム画像の選択が確定して、画面は図５のバレットタイム編集画面１５１に戻る。キャンセルボタン２１２により、フレーム画像の選択がキャンセルされて、画面は図５のバレットタイム編集画面１５１に戻る。

図５のバレットタイム編集画面１５１には、さらに、開始ボタン１７１、停止ボタン１７２、上下左右の方向キー１７３、決定ボタン１７４、ダウンロードボタン１７５、および、バレットタイム動画生成ボタン１７６が設けられている。

開始ボタン１７１は、バレットタイム動画用の撮像を行うとき、操作（押下）される。停止ボタン１７２は、バレットタイム動画用の撮像を停止（終了）するとき、操作される。停止ボタン１７２は、キーボードのスペースキーとも対応しており、スペースキーを押下することでも同様に、撮像の停止を指定することができる。

上下左右の方向キー１７３は、画像表示部１６１に表示されるライブビュー画像または停止画を変更する際に操作されるボタンである。方向キー１７３には、上方向キー１７３U、下方向キー１７３D、右方向キー１７３R、および、左方向キー１７３Lがある。上下左右の方向は、フレーム配置２次元空間上の各方向に対応している。したがって、画像表示部１６１に表示されるライブビュー画像を、上方向キー１７３Uと下方向キー１７３Dで、時間方向に切り替えができ、右方向キー１７３Rと左方向キー１７３Lで、空間方向に切り替えができる。

例えば、上方向キー１７３Uが押下されると、現在、画像表示部１６１に表示されているライブビュー画像（以下、現ライブビュー画像という。）と同じカメラ１１で、表示中のライブビュー画像よりも１つ前の時刻に撮像されたフレーム画像のライブビュー画像が、画像表示部１６１に表示される（画像表示部１６１の表示が更新される）。

下方向キー１７３Dが押下されると、現ライブビュー画像と同じカメラ１１で、表示中の現ライブビュー画像よりも１つ後の時刻に撮像されたフレーム画像のライブビュー画像が、画像表示部１６１に表示される。

右方向キー１７３Rが押下されると、現ライブビュー画像を撮像したカメラ１１の右隣りのカメラ１１で、現ライブビュー画像と同じ時刻に撮像されたフレーム画像のライブビュー画像が、画像表示部１６１に表示される。

左方向キー１７３Lが押下されると、現ライブビュー画像を撮像したカメラ１１の左隣りのカメラ１１で、現ライブビュー画像と同じ時刻に撮像されたフレーム画像のライブビュー画像が、画像表示部１６１に表示される。

なお、上方向キー１７３Uと下方向キー１７３Dを用いた時間方向の切り替えは、図７で後述する“ライブビュー”ステートでは行うことができず、右方向キー１７３Rと左方向キー１７３Lを用いたカメラ１１の切り替えのみが可能となる。後述する“フレーム選択”ステートでは、時間方向の切り替えと空間方向（のカメラ１１）の切り替えの両方が可能である。上方向キー１７３U、下方向キー１７３D、右方向キー１７３R、および、左方向キー１７３Lは、キーボードの方向キーとも対応しており、キーボードの方向キーを押下することでも同様に指定することができる。

決定ボタン１７４は、キータイミングKTの設定を行うとき、操作される。決定ボタン１７４が操作されたとき、画像表示部１６１に表示されている画像（停止画）に対応する撮像時刻が、キータイミングKTに設定される。決定ボタン１７４は、キーボードのEnterキーとも対応しており、Enterキーを押下することでも同様に、キータイミングKTを指定することができる。

キータイミングKTは、バレットタイム動画に使用するフレーム画像の時間方向のタイミングを特定するので、横軸のカメラ１１の空間方向は、キータイミングKTの決定に影響しない。例えば、プリセット１のフレーム選択モードボタン１６２では、行L１の左端近傍に、キータイミングKTを表す星印が表示されているが、縦軸の時間方向だけが特定されるので、行L１の横方向の位置は問わない。したがって、行L１の星印に相当するカメラ１１の画像（停止画）が表示されている状態で、キータイミングKTを設定する必要はなく、行L２上の複数のカメラ１１A乃至１１Hのどの画像が表示されている状態で、キータイミングKTを指定してもよい。

なお、本実施の形態では、キータイミングKTは、フレーム配置２次元空間上の縦軸である時間方向のタイミングを特定することとするが、フレーム配置２次元空間上の横軸であるカメラ１１の空間方向のタイミングを特定するようにしてもよい。また、本実施の形態では、キータイミングKTの指定個数は１個であるが、複数個を指定するようにしてもよい。キータイミングKTの指定方法（時間方向の指定または空間方向の指定、キータイミングKTの指定個数）を、設定画面で適宜設定できるようにしてもよい。

ダウンロードボタン１７５は、バレットタイム動画に使用するフレーム画像を、各制御装置１２からダウンロード（取得）する際に、操作されるボタンである。ダウンロードボタン１７５は、例えば、フレーム選択モードとキータイミングKTが決定され、バレットタイム動画に使用するフレーム画像が確定した状態となったとき、操作（押下）可能となる。

バレットタイム動画生成ボタン１７６は、ダウンロードされた複数のフレーム画像をエンコードしてバレットタイム動画を生成する処理を実行する際に、操作されるボタンである。バレットタイム動画生成ボタン１７６は、バレットタイム動画に使用する複数のフレーム画像のダウンロードが完了したとき、操作（押下）可能となる。

バレットタイム編集画面１５１の右上には、キャリブレーションボタン１８１と終了ボタン１８２が配置されている。

キャリブレーションボタン１８１は、複数台のカメラ１１の相互の位置関係を設定するキャリブレーション処理を実行する際に、操作されるボタンである。複数台のカメラ１１の位置および姿勢の算出には、例えば、複数の視点位置で撮像されたフレーム画像から、被写体の３次元形状と、カメラ１１の位置と姿勢を同時に復元する手法であるストラクチャフロムモーションと称される技術を用いることができる。

終了ボタン１８２は、バレットタイム動画生成アプリを終了する際に、操作されるボタンである。

＜５．バレットタイム動画生成の一連の流れ＞
次に、図７を参照して、撮影システム１によるバレットタイム動画生成の一連の流れを説明する。

図７には、ユーザの操作と、それに対応する制御装置１２および編集用統合機器１３の処理と、撮影システム１のシステムステートが示されている。

バレットタイム動画生成を開始する場合、初めに、ユーザは、バレットタイム編集画面１５１の開始ボタン１７１を操作する（“開始”操作）。

編集用統合機器１３は、ユーザによる開始ボタン１７１の押下を受け付けると、撮影システム１のシステムステートが、“ライブビュー”ステートに遷移する。“ライブビュー”ステートは、ユーザがバレットタイム編集画面１５１の停止ボタン１７２を操作するまで継続する。

“ライブビュー”ステートでは、開始ボタン１７１の操作に応じて、カメラ１１の撮像と、制御装置１２へのバッファリングの開始を要求する開始要求が、編集用統合機器１３から、各制御装置１２へ送信される。

各制御装置１２は、開始要求を受信し、撮像を開始させる制御信号を、接続されているカメラ１１に供給して、カメラ１１に被写体の撮像を開始させる。また、各制御装置１２は、カメラ１１から順次供給されるフレーム画像を取得し、バッファリング（記憶）する。各制御装置１２は、カメラ１１から順次供給されるフレーム画像をメモリ６２にバッファリングする際、フレーム画像を識別するフレームIDを付与して記憶する。フレームIDは、例えば、カメラ１１間の同期信号に基づくタイムコード等とすることができる。この場合、同期した各カメラ１１で同時刻に撮像されたフレーム画像には、フレームIDとして、同一のタイムコードが付与される。

撮影システム１を構成する複数の制御装置１２のうち、代表カメラ１１と接続された制御装置１２（以下、代表制御装置１２と称する。）は、バッファリングしたフレーム画像に、解像度を落とす解像度変換処理を施して生成したライブビュー画像を、そのフレームIDとともに、所定のネットワーク２２を介して編集用統合機器１３へ供給する。ライブビュー画像は、解像度変換処理に加えて圧縮処理を行うことで、生成するようにしてもよい。

編集用統合機器１３は、代表制御装置１２から順次送信されてくるライブビュー画像を、画像表示部１６１に表示する。ユーザは、右方向キー１７３Rと左方向キー１７３Lを押下することで、代表カメラ１１を切替えることが可能である。代表カメラ１１の切替えに応じて、バレットタイム編集画面１５１の画像表示部１６１に表示されるライブビュー画像の視点が変更される。初期値としての代表カメラ１１は、例えば、設定画面で予め設定することができる。

ユーザは、画像表示部１６１に表示されるライブビュー画像を監視し、所定のタイミングで、バレットタイム編集画面１５１の停止ボタン１７２を押下する（“停止”操作）。

停止ボタン１７２の押下が検出されると、撮影システム１のシステムステートが、それまでの“ライブビュー”ステートから、“フレーム選択”ステートに遷移する。“フレーム選択”ステートでは、編集用統合機器１３が、ユーザの方向キー１７３の操作に応じて、画像表示部１６１に表示するライブビュー画像を切替える。

まず、編集用統合機器１３は、停止ボタン１７２の押下を受け付けると、停止画を要求する停止画要求を、停止ボタン１７２が押下された直後に受信したフレームIDとともに、各制御装置１２に送信する。停止画とは、撮影システム１のシステムステートが、それまでの“ライブビュー”ステートから、“フレーム選択”ステートに移行した後に、フレーム選択のため、画像表示部１６１に表示させるプレビュー画像（静止画）である。停止画も、フレーム画像の関連画像であり、フレーム画像に対して解像度を落としたり、圧縮処理等の画像処理を施すことにより得られる。

停止画要求を受信した各制御装置１２は、撮像を停止させる制御信号を、接続されているカメラ１１に供給し、カメラ１１に被写体の撮像を停止させる。

また、各制御装置１２では、タイムラグ等により、停止画要求とともに受信したフレームIDよりも時間的に後のフレーム画像がメモリ６２にバッファリングされている場合には、そのフレーム画像が削除される。これにより、複数の制御装置１２それぞれのメモリ６２には、同一時刻に撮像された同一枚数のフレーム画像が格納される。

さらに、代表カメラ１１と接続された代表制御装置１２は、停止画要求に応じて、受信したフレームIDの停止画を編集用統合機器１３に送信する。編集用統合機器１３は、受信した停止画を、画像表示部１６１に表示する。したがって、停止画要求を受信した全ての制御装置１２は、バッファリングを停止する処理を実行し、さらに、代表制御装置１２のみが、停止画要求に応じて停止画を編集用統合機器１３に送信する処理も行う。

“フレーム選択”ステートでは、編集用統合機器１３が、画像表示部１６１に表示する停止画を、ユーザの方向キー１７３の操作に応じて切替える。上方向キー１７３Uと下方向キー１７３Dで、停止画を時間方向に切り替えができ、右方向キー１７３Rと左方向キー１７３Lで、停止画を空間方向に切り替え（代表カメラ１１の切り替え）ができる。

ユーザの方向キー１７３の押下に応じて、編集用統合機器１３から代表制御装置１２へ、停止画要求とフレームIDとが送信される。停止画要求とフレームIDとを受信した代表制御装置１２は、受信したフレームIDの停止画を生成して編集用統合機器１３に送信する。編集用統合機器１３は、受信した停止画を、画像表示部１６１に表示する。

ユーザは、方向キー１７３の押下に応じて画像表示部１６１に更新表示される停止画を確認し、ダウンロードするフレーム画像の選択、および、キータイミングKTの決定の参考とする。ユーザの方向キー１７３の操作に応じて、停止画要求とフレームIDの送信、および、停止画の表示が、任意の回数、繰り返し実行される。停止画要求とフレームIDは、例えば、代表制御装置１２のMACアドレスを宛先MACアドレスとして、Ethernet（登録商標）フレームに格納されて、ネットワーク２２を介して伝送される。

“フレーム選択”ステートで、代表制御装置１２と編集用統合機器１３との間で伝送される停止画は、バッファリングしたフレーム画像に対して、解像度を落としたり、圧縮処理を行ったものとすることで、ネットワーク帯域を節約することができる。

フレーム選択モードボタン１６２乃至１６５によるフレーム選択モードの決定と、決定ボタン１７４によるキータイミングKTの決定がユーザによってなされると、バレットタイム動画に使用するフレーム画像が確定する。あるいはまた、フレーム選択モードボタン１６６が押下され、フレーム配置２次元空間上に配列した各フレーム画像に対応する矩形領域の所望の領域が選択されると、バレットタイム動画に使用するフレーム画像が確定する。

バレットタイム動画に使用するフレーム画像が確定された後、ダウンロードボタン１７５が押下されると（“ダウンロード”操作）、撮影システム１のシステムステートが、“フレーム選択”ステートから“フレームダウンロード”ステートに遷移する。“フレームダウンロード”ステートは、ユーザがバレットタイム編集画面１５１のバレットタイム動画生成ボタン１７６を押下するまで継続する。

“フレームダウンロード”ステートでは、バレットタイム動画への使用が決定された複数のフレーム画像を要求するフレーム要求が、フレームIDとともに、編集用統合機器１３から、フレーム画像をバッファリングしている制御装置１２へ送信される。１つの制御装置１２へ、複数のフレーム画像を要求する場合には、編集用統合機器１３は、複数のフレームIDを付加して、フレーム要求を送信することができる。例えば、制御装置１２Aには、フレームID＝１，５，６とフレーム要求とを送信し、制御装置１２Bには、フレームID＝１とフレーム要求とを送信し、制御装置１２Cには、フレームID＝１，２，３，４とフレーム要求とを送信することができる。フレーム要求の送信先は、例えば、Ethernet（登録商標）フレームの宛先MACアドレスで指定される。

バレットタイム動画に使用する全てのフレーム画像のダウンロード（取得）が完了すると、バレットタイム動画生成ボタン１７６が押下可能となる。

そして、ユーザによってバレットタイム動画生成ボタン１７６が押下されると（“動画生成”操作）、撮影システム１のシステムステートが、それまでの“フレームダウンロード”ステートから、“バレットタイム動画生成”ステートに遷移する。

“バレットタイム動画生成”ステートでは、編集用統合機器１３が、ダウンロードした全てのフレーム画像を所定の順番で配列し、エンコード処理を行うことにより、バレットタイム動画を生成する。生成されたバレットタイム動画は、記憶部１０８に記憶される。

図８のフローチャートを参照して、撮影システム１によるバレットタイム動画生成の処理について、さらに詳細に説明する。

初めに、ステップＳ１１において、ユーザは、撮像の開始操作を行う。すなわち、ユーザは、バレットタイム編集画面１５１の開始ボタン１７１を押下する。

編集用統合機器１３（のバレットタイム動画生成アプリ）は、ステップＳ１２において、ユーザによる開始ボタン１７１の押下を受け付け、カメラ１１の撮像と、制御装置１２へのバッファリングの開始を要求する開始要求を、各制御装置１２へ送信する。

各制御装置１２は、ステップＳ１３において、開始要求を受信し、撮像を開始させる制御信号を、接続されているカメラ１１に供給して、カメラ１１に被写体の撮像を開始させる。各カメラ１１は、ステップＳ１４において、撮像を開始し、ステップＳ１５において、撮像により得られたフレーム画像を、制御装置１２に送信する。ステップＳ１６において、制御装置１２は、カメラ１１から供給されたフレーム画像を取得し、バッファリング（記憶）する。ステップＳ１４乃至Ｓ１６の処理は、撮像を停止させる制御信号が制御装置１２からカメラ１１へ送信されるまで（後述するステップＳ２３の処理）、各カメラ１１と、対応する制御装置１２との間で、繰り返し実行される。

また、画像表示部１６１への表示対象となる代表カメラ１１と接続された代表制御装置１２では、ステップＳ１６の処理に続いて、次のステップＳ１７およびＳ１８の処理も実行される。ステップＳ１７において、代表制御装置１２は、バッファリングしたフレーム画像に、解像度を落とす解像度変換処理を施し、ライブビュー画像を生成する。そして、ステップＳ１８において、代表制御装置１２は、生成したライブビュー画像と、そのフレームIDを、所定のネットワーク２２を介して編集用統合機器１３へ送信する。編集用統合機器１３は、ステップＳ１９において、代表制御装置１２から送信されてきたライブビュー画像を、画像表示部１６１に表示する。ステップＳ１７乃至Ｓ１９の処理は、代表制御装置１２のメモリ６２にフレーム画像をバッファリングする毎に実行される。ステップＳ１７乃至Ｓ１９の処理において、右方向キー１７３Rまたは左方向キー１７３Lの操作により、代表制御装置１２とそれに接続された代表カメラ１１は変わり得る。

ステップＳ２１において、ユーザは、撮像の停止操作を行う。すなわち、ユーザは、バレットタイム編集画面１５１の停止ボタン１７２またはスペースキーを押下する。

編集用統合機器１３（のバレットタイム動画生成アプリ）は、ステップＳ２２において、ユーザによる開始ボタン１７１の押下を受け付け、停止画を要求する停止画要求と、停止ボタン１７２が押下された直後に受信したフレームIDを、各制御装置１２へ送信する。

各制御装置１２は、ステップＳ２３において、停止画要求を受信し、バッファリングを停止するとともに、撮像を停止させる制御信号を、接続されているカメラ１１に供給し、カメラ１１に被写体の撮像を停止させる。また、ステップＳ２３において、各制御装置１２は、停止画要求とともに受信したフレームIDよりも時間的に後のフレーム画像がメモリ６２にバッファリングされている場合、そのフレーム画像を削除する。カメラ１１は、ステップＳ２４において、被写体の撮像を停止する。

さらに、代表制御装置１２は、ステップＳ２５の処理も行う。ステップＳ２５において、代表制御装置１２は、受信したフレームIDの停止画を、編集用統合機器１３に送信し、ステップＳ２６において、編集用統合機器１３は、代表制御装置１２から受信した停止画を、画像表示部１６１に表示する。

ステップＳ３１において、ユーザは、画像切替操作を行う。すなわち、ユーザは、上下左右のいずれかの方向キー１７３を押下する。

編集用統合機器１３は、ステップＳ３２において、ユーザによる方向キー１７３の押下を受け付け、表示対象の停止画（に対応するフレーム画像）を有する代表制御装置１２へ、停止画要求とフレームIDとを送信する。ステップＳ３３において、代表制御装置１２は、停止画要求とフレームIDとを受信し、ステップＳ３４において、受信したフレームIDの停止画を生成して、編集用統合機器１３に送信する。編集用統合機器１３は、ステップＳ３５において、代表制御装置１２からの停止画を受信し、画像表示部１６１に表示する。

ステップＳ３１乃至Ｓ３５の一連の処理は、ユーザによって、上下左右のいずれかの方向キー１７３が押下されるごとに、繰り返し実行される。

ステップＳ４１において、ユーザは、キータイミングKTを決定する決定操作を行う。すなわち、ユーザは、バレットタイム編集画面１５１の決定ボタン１７４またはEnterキーを押下する。

編集用統合機器１３は、ステップＳ４２において、ユーザによる決定ボタン１７４またはEnterキーの押下を受け付け、キータイミングKT、即ち、バレットタイム動画に使用するフレーム画像の時間方向の基点となるタイミングを決定する。

ステップＳ５１において、ユーザは、フレーム選択モードを選択する。すなわち、ユーザは、バレットタイム編集画面１５１のフレーム選択モードボタン１６２乃至１６６のいずれかを押下する。

編集用統合機器１３は、ステップＳ５２において、フレーム選択モードボタン１６２乃至１６６のいずれかの押下を受け付け、フレーム選択モードを決定する。

ステップＳ４１およびＳ４２のキータイミングKTの決定と、ステップＳ５１およびＳ５２のフレーム選択モードの決定は、どちらを先に行ってもよい。また、フレーム選択モードボタン１６６が選択され、各フレーム画像に対応する矩形領域の所望の領域が選択された場合には、ステップＳ４１およびＳ４２のキータイミングKTの決定は省略される。フレーム選択モードボタン１６２乃至１６６のいずれかを使用して、バレットタイム動画に使用するフレーム画像が確定すると、ダウンロードボタン１７５が押下可能に表示される。

ステップＳ６１において、ユーザは、ダウンロード操作を行う。すなわち、ユーザは、バレットタイム編集画面１５１のダウンロードボタン１７５を押下する。

編集用統合機器１３は、ステップＳ６２において、バレットタイム動画に使用するフレーム画像をバッファリングしている制御装置１２へ、フレーム画像を要求するフレーム要求と、フレームIDを送信する。フレームIDは、複数指定することができる。制御装置１２は、ステップＳ６３において、編集用統合機器１３からのフレーム要求とフレームIDを受信し、ステップＳ６４において、受信したフレームIDのフレーム画像を、編集用統合機器１３へ送信する。編集用統合機器１３は、ステップＳ６５において、制御装置１２から送信されてきたフレーム画像を受信し、記憶部１０８に記憶させる。

ステップＳ６２乃至Ｓ６５の処理は、編集用統合機器１３と、バレットタイム動画に使用するフレーム画像をバッファリングしている全ての制御装置１２との間で、並行して実行される。バレットタイム動画に使用する全てのフレーム画像のダウンロードが完了すると、バレットタイム動画生成ボタン１７６が押下可能となる。

ステップＳ７１において、ユーザは、バレットタイム動画生成操作を行う。すなわち、ユーザは、バレットタイム編集画面１５１のバレットタイム動画生成ボタン１７６を押下する。

編集用統合機器１３は、ステップＳ７２において、ユーザによるバレットタイム動画生成ボタン１７６の押下を受け付け、バレットタイム動画を生成する。具体的には、編集用統合機器１３は、ダウンロードした全てのフレーム画像を所定の順番で配列し、エンコード処理を行うことにより、バレットタイム動画を生成する。生成されたバレットタイム動画は、記憶部１０８に記憶され、バレットタイム動画生成の処理が終了する。

撮影システム１によるバレットタイム動画生成の処理によれば、“ライブビュー”ステートにおいては、各カメラ１１が撮像して得られたフレーム画像が、対応する制御装置１２へ非圧縮で高速伝送され、バッファリングされるとともに、代表制御装置１２から、プレビュー用のライブビュー画像が、編集用統合機器１３へ送信され、表示される。また、“フレーム選択”ステートにおいても、方向キー１７３を用いて選択されたプレビュー用の停止画が、編集用統合機器１３へ送信され、表示される。代表制御装置１２と編集用統合機器１３との間で、バッファリングされたフレーム画像に関連する関連画像として伝送されるライブビュー画像および停止画は、バッファリングしたフレーム画像に対して、解像度を落としたり、圧縮処理を行ったものとすることで、ネットワーク帯域を節約することができる。

“フレーム選択”ステートにおいて、フレーム選択モードボタン１６２乃至１６５によるフレーム選択モードでは、ユーザは、画像表示部１６１に表示された停止画を見ながらキータイミングKTを決定することによりバレットタイム動画に使用するフレーム画像を決定する。フレーム選択モードボタン１６６によるフレーム選択モードでは、ユーザは、フレーム配置２次元空間上に配列した各フレーム画像に対応する矩形領域の所望の領域を選択することにより、バレットタイム動画に使用するフレーム画像を決定する。フレーム選択モードボタン１６２乃至１６６は、バレットタイム動画に使用するフレーム画像に関し、画像表示部１６１に表示された停止画に基づいて、複数のカメラ１１の配置を示す空間方向とフレーム画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部として機能する。バレットタイム動画に使用するフレーム画像が決定されると、ユーザは、ダウンロードボタン１７５を押下することで、編集用統合機器１３から各制御装置１２に対してダウンロードが要求される（フレーム要求が送信される）。

“フレーム選択”ステートでは、カメラ１１の空間方向（カメラ１１の配列方向）を横軸（X軸）とし、フレーム画像の撮像時刻に合わせた時間方向を縦軸（Y軸）とする２次元空間上に、各制御装置１２にバッファリングされているフレーム画像を配置した表現形式でフレーム画像を管理し、バレットタイム動画に必要なフレーム画像を、ユーザに選択させるユーザI/F（ユーザインタフェイス）が採用される。時間方向は、フレーム画像のフレームIDに対応する。これにより、バレットタイム動画に必要なフレーム画像の選択を直観的に少ない手順で行うことができ、フレーム選択時間を削減することができる。

そして、バレットタイム動画に必要なフレーム画像のみが、各制御装置１２から編集用統合機器１３へダウンロードされるので、フレーム画像の取得に使用するネットワーク帯域を削減することができ、フレーム画像の伝送時間も削減することができる。また、使用する編集用統合機器１３のメモリ領域も少なくすることができる。

“ライブビュー”ステートや“フレーム選択”ステートにおいて画像表示部１６１に表示されるライブビュー画像または停止画は、制御装置１２で予め解像度変換処理等の画像処理を行ったものが伝送されてくるので、編集用統合機器１３の処理負荷を低減することができる。

編集用統合機器１３は、ダウンロードしたフレーム画像をエンコードしてバレットタイム動画を生成する処理が主な処理であり、スマートフォンやパーソナルコンピュータなどで一般的なコンピュータデバイスで実現可能である。

＜６．変形例＞
撮影システム１は、上述した実施の形態に限らず、例えば、以下のような変形例も可能である。

＜変形例１＞
上述した実施の形態では、“ライブビュー”ステートにおいて、代表制御装置１２が、メモリ６２にバッファリングしたフレーム画像の解像度を低くしたライブビュー画像を生成し、編集用統合機器１３に送信するようにしたが、フレームレートを低下させるフレームレート変換処理も実行するようにしてもよい。この場合、代表制御装置１２は、バッファリングしたフレーム画像を所定のフレーム間隔で間引き、間引き後のフレーム画像を解像度変換した画像を、ライブビュー画像として、編集用統合機器１３に送信することができる。

なお、“ライブビュー”ステートにおいて、フレーム間引きしたライブビュー画像を画像表示部１６１に表示する場合であっても、“フレーム選択”ステートにおいて、方向キー１７３の押下に応じてバレットタイム編集画面１５１の画像表示部１６１に更新表示される停止画は、間引き処理されない、解像度のみを変換した画像とすることができる。

あるいはまた、“フレーム選択”ステートにおいても、“ライブビュー”ステートと同様に、方向キー１７３の押下に応じて画像表示部１６１に更新表示される停止画を、間引き処理した画像としてもよい。間引き処理した停止画を画像表示部１６１に表示する場合には、“フレームダウンロード”ステートにおいて、編集用統合機器１３が制御装置１２へフレーム画像を要求する場合、図９に示されるように、間引き処理により表示されないフレーム画像のフレームIDも指定する必要がある。

図９は、間引き処理された停止画を画像表示部１６１に表示する場合の“フレームダウンロード”ステートにおけるフレーム画像の要求を説明する図である。

図９の例では、時間方向に１枚間隔で間引かれた停止画が画像表示部１６１に表示される。例えば、画像表示部１６１に、フレーム画像D１の停止画D１’が表示されている状態において、下方向キー１７３Dを押下して時間方向の切り替えを行うと、停止画D３’、停止画D５’、停止画D７’の順に、停止画が表示される。

そして、図２の例と同様に、プリセット２のフレーム選択モード（フレーム選択モードボタン１６３）が選択され、図中、太枠で囲まれた停止画が、バレットタイム動画の生成に必要なフレーム画像として選択されるとすると、編集用統合機器１３は、図９に示されるように、カメラ１１Hに対応する制御装置１２Hに対しては、フレーム画像H１、H３、H５、H７、H９、および、H１１だけでなく、その間の間引きされたフレーム画像H２、H４、H６、H８、および、H１０も、フレームIDを指定して、フレーム要求を送信する。

＜変形例２＞
上述した実施の形態では、被写体２１に対して水平方向に並べて配置したカメラ１１の配列方向（空間方向）を横軸（X軸）として、フレーム画像の撮像時刻に合わせた時間方向を、横軸（X軸）に直交する縦軸（Y軸）とする２次元空間上に、各制御装置１２にバッファリングされているフレーム画像を配置した表現形式でフレーム画像を管理し、ユーザに、バレットタイム動画に必要なフレーム画像を選択させるユーザI/Fとした。

これに対して、バレットタイム撮影では、被写体２１に対して複数のカメラ１１を水平方向と垂直方向（仰角方向）の２次元に並べて配置して撮影する方法もあり得る。

図１０は、複数のカメラ１１を２次元配置として撮影した場合のフレーム画像の管理方法およびユーザI/Fを説明する図である。

複数のカメラ１１が２次元に配置された場合には、第１の空間方向である水平方向の空間方向と、第２の空間方向である垂直方向（仰角方向）の空間方向とを直交する方向とし、さらに、撮像時刻に合わせた時間方向を、それら複数の空間方向（第１および第２の空間方向）と直交する方向とした３次元空間上に、各制御装置１２にバッファリングされているフレーム画像を配置した表現形式を採用することができる。具体的には、例えば、カメラ１１の水平方向の空間方向を横軸（X軸）とし、カメラ１１の垂直方向（仰角方向）の空間方向を縦軸（Y軸）とし、フレーム画像の撮像時刻に合わせた時間方向を奥行き方向（Z軸）とする３次元空間上に、フレーム画像を配置した表現形式でフレーム画像を管理し、ユーザに、バレットタイム動画に必要なフレーム画像を選択させるユーザI/Fとすることができる。

バレットタイム編集画面１５１の画像表示部１６１に表示させるライブビュー画像（のカメラ１１）の切り替えは、例えば、次のように行うことができる。右方向キー１７３Rと左方向キー１７３Lで、第１の空間方向のカメラ１１を切り替え、上方向キー１７３Uと下方向キー１７３Dで、第２の空間方向のカメラ１１を切り替え、シフトキーを押しながら上方向キー１７３Uと下方向キー１７３Dを押下することで、時間方向を切り替えることができる。

＜変形例３＞
上述した実施の形態では、被写体２１を撮像するカメラ１１と、撮像により得られたフレーム画像をバッファリングする制御装置１２とが、別々に構成されていたが、これらは一体化された１つの装置で構成することができる。

図１１は、上述したカメラ１１と制御装置１２の機能を集約したカメラの構成例を示すブロック図である。

図１１のカメラ３１１は、イメージセンサ３２１、CPU３２２、メモリ３２３、画像処理部３２４、USB I/F３２５、HDMI（R） I/F３２６、および、ネットワークI/F３２７などを有する。イメージセンサ３２１、CPU３２２、メモリ３２３、画像処理部３２４、USB I/F３２５、HDMI（R） I/F３２６、および、ネットワークI/F３２７は、バス３２８を介して相互に接続されている。

イメージセンサ３２１は、例えば、CCDや、CMOSセンサなどで構成され、図示せぬ撮像レンズを介して入射される被写体からの光（像光）を受光（撮像）する。イメージセンサ３２１は、被写体を撮像して得られる撮像信号を、バス３２８を介してメモリ３２３に供給する。

CPU３２２は、不図示のROMに記憶されたプログラムにしたがって、カメラ３１１全体の動作を制御する。CPU３２２は、上述したカメラ１１のCPU４２と、制御装置１２のCPU６１と同様の処理を実行する。

メモリ３２３は、上述したカメラ１１のメモリ４３と、制御装置１２のメモリ６２と同様の処理を実行する。具体的には、イメージセンサ３２１から供給される撮像信号や、デモザイク処理後の非圧縮のフレーム画像などを記憶する。

画像処理部３２４は、上述したカメラ１１の画像処理部４４と、制御装置１２の画像処理部６３と同様の処理を実行する。具体的には、画像処理部３２４は、例えば、デモザイク処理、解像度変換処理、圧縮処理、フレームレート変換処理等の画像処理を実行する。

USB I/F３２５は、USB端子を有し、USBケーブルを介して接続される外部装置との間で、制御信号やデータなどを送受信する。HDMI（R）I/F３２６は、HDMI（R）端子を有し、HDMI（R）ケーブルを介して接続される外部装置との間で、制御信号やデータなどを送受信する。

ネットワークI/F３２７は、例えば、Ethernet（登録商標）に準拠したネットワーク２２を介して通信を行う通信I/Fである。ネットワークI/F３２７は、ネットワーク２２を介して、編集用統合機器１３と通信を行う。例えば、ネットワークI/F３２７は、編集用統合機器１３から供給されるカメラ１１の制御信号を取得してCPU３２２へ供給したり、非圧縮のフレーム画像の画像データを編集用統合機器１３へ送信する。

＜変形例４＞
上述した実施の形態では、複数の制御装置１２から取得した複数のフレーム画像のみを用いてバレットタイム動画を生成するようにしたが、例えば、複数の制御装置１２から取得した複数のフレーム画像から、仮想視点におけるフレーム画像を生成し、その生成した仮想視点のフレーム画像（仮想視点フレーム画像）も含めて、バレットタイム動画を静止するようにしてもよい。

例えば、編集用統合機器１３のCPU１０１（上で実行されるバレットタイム動画生成アプリ）は、制御装置１２X（X＝A,B,C,・・・,H）から取得したフレーム画像X1と制御装置１２Y（Ｙ＝A,B,C,・・・,H，X≠Y）から取得したフレーム画像Y1とを用いて、画像フレーム補間処理を行うことで、カメラ１１Xの視点と、カメラ１１Yとの視点との間の所定の視点（仮想視点）におけるフレーム画像Z1を生成する。そして、例えば、フレーム画像X1、Z1、およびY１を含めてエンコードすることにより、フレーム画像X1、Z1、Y１の順に、空間方向に視点を移動したようなバレットタイム動画を生成することができる。

なお、仮想視点におけるフレーム画像の生成方法については、特に限定されず、任意の生成方法を用いることができる。例えば、上記のように実カメラで得られたフレーム画像（２次元画像）から補間処理で生成してもよいし、カメラ１１A乃至１１Hで得られたフレーム画像から３Dモデルを生成し、生成した３Dモデルを任意の視点から見たフレーム画像を生成することで、カメラ１１Xとカメラ１１Yとの間に相当する仮想視点のフレーム画像を生成してもよい。

また、上記は、物理的に設置されたカメラ１１の間に仮想的な視点を補間する、すなわち、取得した複数のフレーム画像の空間方向を補間する例であるが、時間方向を補間したフレーム画像を生成し、それを含めたバレットタイム動画を生成してよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は、以下の構成を取ることができる。
（１）
複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、
前記ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像を要求する制御部と
を備える情報処理装置。
（２）
前記制御部は、前記関連画像を、前記空間方向と前記時間方向とに対応させて表示部に表示させるように制御し、
前記ユーザ選択部は、前記表示部に表示された前記関連画像に対する前記ユーザの選択を受け付ける
前記（１）に記載の情報処理装置。
（３）
前記ユーザ選択部は、前記ユーザが選択操作を行った時に、前記表示部に表示されている前記関連画像を、前記ユーザが選択した前記関連画像として受け付ける
前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記空間方向と前記時間方向とを異なる方向として、前記関連画像を前記表示部に表示させるように制御する
前記（２）または（３）に記載の情報処理装置。
（５）
前記異なる方向は、直交する方向である
前記（４）に記載の情報処理装置。
（６）
前記空間方向は、複数の方向を有する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記時間方向は、フレームIDに対応する方向である
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記ユーザ選択部は、１つの前記関連画像の選択を受け付け、
前記制御部は、前記ユーザにより選択された前記関連画像を基点として、前記空間方向と前記時間方向との配置によって予め決められた複数の撮像画像を、前記複数の撮像画像を保持する１以上の前記処理装置に対して要求する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記制御部は、前記ユーザにより選択された前記関連画像を用いて、前記時間方向のタイミングを特定し、前記複数の撮像画像を、前記複数の撮像画像を保持する１以上の前記処理装置に対して要求する
前記（８）に記載の情報処理装置。
（１０）
前記ユーザ選択部は、前記空間方向と前記時間方向に対する前記ユーザの複数の選択を受け付け、
前記制御部は、前記ユーザの複数の選択に対応する複数の前記撮像画像を、１以上の前記処理装置に対して要求する
前記（１）に記載の情報処理装置。
（１１）
前記関連画像は、前記撮像画像の解像度またはフレームレートの少なくとも一方を変更した画像である
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記ユーザ選択部は、前記撮像画像をフレーム間引きした前記関連画像に対する前記ユーザの選択を受け付け、
前記制御部は、フレーム間引きされた前記関連画像に対応する前記撮像画像も要求する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記ユーザ選択部は、１つの前記関連画像の選択を受け付け、
前記制御部は、前記ユーザにより選択された前記関連画像に対応して、複数の前記撮像画像を、１以上の前記処理装置に対して要求し、
複数の前記撮像画像には、同一の被写体が含まれる
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記制御部は、さらに、要求に応じて前記処理装置から取得した複数の前記撮像画像をエンコードし、動画を生成する
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
複数の前記撮像画像のうちの、第１の撮像画像と第２の撮像画像は異なる視点の画像であり、
前記制御部は、前記第１の撮像画像の視点と、前記第２の撮像画像の視点との間の仮想視点における第３の撮像画像を生成し、前記第３の撮像画像を含めてエンコードして、前記動画を生成する
前記（１４）に記載の情報処理装置。
（１６）
情報処理装置が、
複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付け、
前記ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像を要求する
情報処理方法。
（１７）
コンピュータを、
複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、
前記ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像を要求する制御部
として機能させるためのプログラム。
（１８）
複数の撮像装置に対応して設けられる複数の第１情報処理装置と、第２情報処理装置とからなり、
前記複数の第１情報処理装置のうちのいずれか１つの第１情報処理装置は、
対応する前記撮像装置で得られた撮像画像に関連する関連画像を前記第２情報処理装置に送信し、
前記第２情報処理装置は、
前記関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、
前記ユーザの選択に対応する撮像画像を保持する前記第１情報処理装置に対して、撮像画像を要求する制御部と
を備える
情報処理システム。
（１９）
前記１つの第１情報処理装置は、前記撮像画像の解像度またはフレームレートの少なくとも一方を変更した前記関連画像を生成して、前記第２情報処理装置に送信する
前記（１８）に記載の情報処理システム。
（２０）
前記１つの第１情報処理装置は、前記撮像画像をフレーム間引きした前記関連画像を生成して、前記第２情報処理装置に送信し、
前記制御部は、フレーム間引きされた前記関連画像に対応する前記撮像画像も要求する
前記（１８）に記載の情報処理システム。

１ 撮影システム， １１A乃至１１H カメラ， １２A乃至１２H 制御装置， １３ 編集用統合機器， １４ 表示装置， ４１ イメージセンサ， ４４ 画像処理部， ６１ CPU， ６２ メモリ， ６３ 画像処理部， １０１ CPU， １０２ ROM， １０３ RAM， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ， １５１ バレットタイム編集画面， １６１ 画像表示部， １６２乃至１６５ フレーム選択モードボタン， １７１ 開始ボタン， １７２ 停止ボタン， １７３ 方向キー， １７４ 決定ボタン， １７５ ダウンロードボタン， １７６ バレットタイム動画生成ボタン， ３１１ カメラ， ３２２ CPU， ３２４ 画像処理部

Claims (20)

1. 複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、
   前記ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像を要求する制御部と
   を備える情報処理装置。
2. 前記制御部は、前記関連画像を、前記空間方向と前記時間方向とに対応させて表示部に表示させるように制御し、
   前記ユーザ選択部は、前記表示部に表示された前記関連画像に対する前記ユーザの選択を受け付ける
   請求項１に記載の情報処理装置。
3. 前記ユーザ選択部は、前記ユーザが選択操作を行った時に、前記表示部に表示されている前記関連画像を、前記ユーザが選択した前記関連画像として受け付ける
   請求項２に記載の情報処理装置。
4. 前記制御部は、前記空間方向と前記時間方向とを異なる方向として、前記関連画像を前記表示部に表示させるように制御する
   請求項２に記載の情報処理装置。
5. 前記異なる方向は、直交する方向である
   請求項４に記載の情報処理装置。
6. 前記空間方向は、複数の方向を有する
   請求項１に記載の情報処理装置。
7. 前記時間方向は、フレームIDに対応する方向である
   請求項１に記載の情報処理装置。
8. 前記ユーザ選択部は、１つの前記関連画像の選択を受け付け、
   前記制御部は、前記ユーザにより選択された前記関連画像を基点として、前記空間方向と前記時間方向との配置によって予め決められた複数の撮像画像を、前記複数の撮像画像を保持する１以上の前記処理装置に対して要求する
   請求項１に記載の情報処理装置。
9. 前記制御部は、前記ユーザにより選択された前記関連画像を用いて、前記時間方向のタイミングを特定し、前記複数の撮像画像を、前記複数の撮像画像を保持する１以上の前記処理装置に対して要求する
   請求項８に記載の情報処理装置。
10. 前記ユーザ選択部は、前記空間方向と前記時間方向に対する前記ユーザの複数の選択を受け付け、
    前記制御部は、前記ユーザの複数の選択に対応する複数の前記撮像画像を、１以上の前記処理装置に対して要求する
    請求項１に記載の情報処理装置。
11. 前記関連画像は、前記撮像画像の解像度またはフレームレートの少なくとも一方を変更した画像である
    請求項１に記載の情報処理装置。
12. 前記ユーザ選択部は、前記撮像画像をフレーム間引きした前記関連画像に対する前記ユーザの選択を受け付け、
    前記制御部は、フレーム間引きされた前記関連画像に対応する前記撮像画像も要求する
    請求項１に記載の情報処理装置。
13. 前記ユーザ選択部は、１つの前記関連画像の選択を受け付け、
    前記制御部は、前記ユーザにより選択された前記関連画像に対応して、複数の前記撮像画像を、１以上の前記処理装置に対して要求し、
    複数の前記撮像画像には、同一の被写体が含まれる
    請求項１に記載の情報処理装置。
14. 前記制御部は、さらに、要求に応じて前記処理装置から取得した複数の前記撮像画像をエンコードし、動画を生成する
    請求項１に記載の情報処理装置。
15. 複数の前記撮像画像のうちの、第１の撮像画像と第２の撮像画像は異なる視点の画像であり、
    前記制御部は、前記第１の撮像画像の視点と、前記第２の撮像画像の視点との間の仮想視点における第３の撮像画像を生成し、前記第３の撮像画像を含めてエンコードして、前記動画を生成する
    請求項１４に記載の情報処理装置。
16. 情報処理装置が、
    複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付け、
    前記ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像を要求する
    情報処理方法。
17. コンピュータを、
    複数の撮像装置のいずれかで得られた撮像画像に関連する関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、
    前記ユーザの選択に対応する撮像画像を保持する処理装置に対して、撮像画像を要求する制御部
    として機能させるためのプログラム。
18. 複数の撮像装置に対応して設けられる複数の第１情報処理装置と、第２情報処理装置とからなり、
    前記複数の第１情報処理装置のうちのいずれか１つの第１情報処理装置は、
    対応する前記撮像装置で得られた撮像画像に関連する関連画像を前記第２情報処理装置に送信し、
    前記第２情報処理装置は、
    前記関連画像に基づいて、前記複数の撮像装置の配置を示す空間方向と撮像画像の撮像時間を示す時間方向に対するユーザの選択を受け付けるユーザ選択部と、
    前記ユーザの選択に対応する撮像画像を保持する前記第１情報処理装置に対して、撮像画像を要求する制御部と
    を備える
    情報処理システム。
19. 前記１つの第１情報処理装置は、前記撮像画像の解像度またはフレームレートの少なくとも一方を変更した前記関連画像を生成して、前記第２情報処理装置に送信する
    請求項１８に記載の情報処理システム。
20. 前記１つの第１情報処理装置は、前記撮像画像をフレーム間引きした前記関連画像を生成して、前記第２情報処理装置に送信し、
    前記制御部は、フレーム間引きされた前記関連画像に対応する前記撮像画像も要求する
    請求項１８に記載の情報処理システム。

Images