JP6354244B2 - 画像再生端末、画像再生方法、プログラム、及び、多視点画像再生システム - Google Patents

Description

本発明は、複数のカメラを並べ様々な方向から被写体を撮影する多視点映像技術に関する。

近年、複数のカメラを並べ撮影対象を様々な方向から撮影した映像を鑑賞できる多視点映像技術が注目されている。多視点映像技術は、映画、ＣＭ、スポーツ映像で効果的に使用され、新しい映像表現をユーザに提供している。

特許第４４３９３７３号

しかしながら、ユーザは、製作者側が提供する多視点映像コンテンツを受動的に視聴するのがいまだ現状であり、ユーザが多視点映像コンテンツを主体的に楽しむまでには至っていない。

一方、スマートフォンなどの普及により、ユーザは気軽に映像コンテンツを編集でき、また、編集した映像コンテンツを他ユーザと共有するなどして、新たな映像コンテンツの楽しみ方が生まれつつある。

本発明は、かかる課題を解決するためになされたものであり、その目的は、ユーザが多視点映像コンテンツを直感的な操作により容易に編集できる手段を提供することで多視点映像コンテンツの楽しみ方をよりユーザの身近なものとすることにある。

前述した目的を達成するための第１の発明は、撮影対象の周囲を取り囲むように設置される複数の画像撮影装置ごとに撮影された複数の時系列画像を再生する画像再生端末であって、１つの前記時系列画像を再生する再生手段と、当該画像再生端末の姿勢情報を取得するセンサと、取得した前記姿勢情報に基づいて、前記再生手段の再生速度を制御する再生速度制御手段と、取得した前記姿勢情報に基づいて、前記再生手段の再生する前記時系列画像を他の前記時系列画像に切り替える視点切替制御手段と、前記再生速度制御手段、及び、前記視点切替制御手段による制御の時系列の情報であるカメラワーク情報を記憶する記憶手段と、を備えることを特徴とする画像再生端末である。
第１の発明によって、端末を傾けるという直感的な操作により多視点コンテンツを容易に再生できる画像再生端末を提供することができる。また、カメラワーク情報を用いて、端末の操作を再現することができる。

前記再生速度制御手段は、前記姿勢情報が、基準姿勢における基準軸に対して所定方向に傾いている場合には、順方向に再生し、前記所定方向とは逆向きに傾いている場合には、逆方向に再生することが望ましい。
これにより、端末を一方向に傾けると順方向に再生し、逆方向に傾けると逆方向に再生することができる。

前記再生速度制御手段は、前記姿勢情報が、基準姿勢における基準軸に対して傾いている角度の大きさに応じて、再生速度を変更することが望ましい。
これにより、端末の傾ける角度の大きさに応じて再生速度を変更することができる。

前記視点切替制御手段は、前記姿勢情報が、基準姿勢における基準軸に対して所定方向に傾いている場合には、前記再生手段の再生する前記時系列画像に係る前記画像撮影装置の一方に隣接する前記画像撮影装置の撮影した前記時系列画像に切り替え、前記所定方向とは逆向きに傾いている場合には、前記画像撮影装置の他方に隣接する前記画像撮影装置の撮影した前記時系列画像に切り替えることが望ましい。
これにより、端末を一方向に傾けると例えば右隣の画像撮影装置で撮影された時系列画像を再生し、多方向に傾けると左隣の画像撮影装置で撮影された時系列画像を再生することができる。

第２の発明は、撮影対象の周囲を取り囲むように設置される複数の画像撮影装置ごとに撮影された複数の時系列画像を再生する画像再生端末で実行される画像再生方法であって、１つの前記時系列画像を再生する再生ステップと、当該画像再生端末の姿勢情報を取得するステップと、取得した前記姿勢情報に基づいて、前記時系列画像の再生速度を制御する再生速度制御ステップと、取得した前記姿勢情報に基づいて、再生する前記時系列画像を他の前記時系列画像に切り替える視点切替制御ステップと、前記再生速度制御ステップ、及び、前記視点切替制御ステップによる制御の時系列の情報であるカメラワーク情報を記憶する記憶ステップと、を含むことを特徴とする画像再生方法である。
第２の発明によって、端末を傾けるという直感的な操作により多視点コンテンツを容易に再生できる画像再生方法を提供することができる。また、カメラワーク情報を用いて、端末の操作を再現することができる。

第３の発明は、コンピュータを、撮影対象の周囲を取り囲むように設置される複数の画像撮影装置ごとに撮影された複数の時系列画像を再生する画像再生端末として機能させるためのプログラムであって、前記コンピュータを、１つの前記時系列画像を再生する再生手段、当該画像再生端末の姿勢情報を取得するセンサ手段、取得した前記姿勢情報に基づいて、前記再生手段の再生速度を制御する再生速度制御手段、取得した前記姿勢情報に基づいて、前記再生手段の再生する前記時系列画像を他の前記時系列画像に切り替える視点切替制御手段、前記再生速度制御手段、及び、前記視点切替制御手段による制御の時系列の情報であるカメラワーク情報を記憶する記憶手段、として機能させるためのプログラムである。
第３の発明に係るプログラムを画像再生端末にインストールすることにより、第１の発明に係る画像再生端末を得て、第２の発明に係る画像再生方法を実行することができる。

第４の発明は、画像データ管理サーバと、画像再生端末とが、ネットワークを介して接続される多視点画像再生システムであって、前記画像データ管理サーバは、撮影対象の周囲を取り囲むように設置される複数の画像撮影装置ごとに撮影された複数の時系列画像を記憶する記憶手段と、前記複数の時系列画像を送信する送信手段と、を備え、前記画像再生端末は、前記複数の時系列画像を受信する受信手段と、１つの前記時系列画像を再生する再生手段と、当該画像再生端末の姿勢情報を取得するセンサと、取得した前記姿勢情報に基づいて、前記再生手段の再生速度を制御する再生速度制御手段と、取得した前記姿勢情報に基づいて、前記再生手段の再生する前記時系列画像を他の前記時系列画像に切り替える視点切替制御手段と、前記再生速度制御手段、及び、前記視点切替制御手段による制御の時系列の情報であるカメラワーク情報を記憶する記憶手段と、を備えることを特徴とする多視点画像再生システムである。
第４の発明によって、画像データ管理サーバにより管理されている多視点コンテンツを画像再生端末が読み出して、端末を傾けるという直感的な操作により多視点コンテンツを容易に再生できる多視点画像再生システムを提供することができる。また、カメラワーク情報を用いて、端末の操作を再現することができる。

ユーザが多視点映像コンテンツを直感的な操作により容易に編集できる手段を提供することで多視点映像コンテンツの楽しみ方がよりユーザの身近なものとなる。

本発明の実施の形態に係る多視点画像再生システムの構成を示す概念図である。 多視点撮影装置の構成を示す図である。 制御端末１００、多視点画像データ管理サーバ２００、情報処理端末４００のハードウェア構成の例を示す図である。 画像再生端末３００のハードウェア構成の例を示す図である。 画像再生端末３００の入力表示部３０５の例を示す図である。 （ａ）画像再生端末３００の座標系を示す側面図である。（ｂ）画像再生端末３００の座標系を示す上面図である。 画像再生端末３００の傾きθを示す図である。 傾きθによる再生速度制御の例を示す図である。 画像再生端末３００の傾きφを示す図である。 傾きφによる視点切替制御の例を示す図である。 傾き基準変更手段の例を示す図である。 本発明の実施の形態に係る多視点画像再生システムの動作を示すフローチャート図である。 本発明の実施の形態に係る多視点画像再生システムの動作を示すフローチャート図である。 本発明の実施の形態に係る多視点画像再生システムの動作を示すフローチャート図である。

以下、図面に基づいて、本発明の好適な実施形態を詳細に説明する。

[本発明の実施の形態]
図１は、本実施形態に係る多視点画像システムの概念図である。多視点画像システムは、主に多視点撮影装置１００、多視点画像データ管理サーバ２００、画像再生端末３００、情報処理端末４００から構成され、ネットワーク５００を介して相互にデータ通信のやり取りが可能な環境を構築している。

＜多視点撮影装置 １００＞
多視点撮影装置１００は、図２に示すように、多視点カメラ１００a、制御端末１００ｂから構成される。

多視点カメラ１００aは、多数のカメラを撮影対象の周りに配置することにより構成されており、撮影対象を様々な角度から同時に撮影する。本実施形態の場合、図２に示すように撮影対象（図２の中心位置）を囲んで２４台のカメラを円周上に等角度（１５°間隔）に配置している。

多視点カメラ１００aの各カメラは、例えばＣＣＤ（Ｃｈａｒｇｅ
Ｃｏｕｐｌｅ Ｄｅｖｉｃｅ）等の撮像素子及びレンズを備え、その映像を電子情報（映像データ）として取得する所謂デジタルビデオカメラであり、動画（時間の経過に従い変化する動きのある映像）を撮影し得るものであるが、必要に応じて静止画（スチル写真）を撮影できるように構成したものであってもよい。各カメラにより撮影された映像情報は、図示しないビデオ端子等のインターフェースを介して、制御端末１００ｂに送信する。

なお、多視点カメラ１００aは、様々な方向から撮影対象を撮影できるよう配置されていれば十分であり、本実施形態とは異なり、例えば、撮影対象を囲うように楕円状若しくは四角形状に配置してもよいし、撮影対象に対して直線状に並べて配置してもよい。

制御端末１００ｂは、図３に示すように制御部１０１、記憶部１０２、メディア入出力部１０３、通信制御部１０４、入力部１０５、表示部１０６、周辺機器Ｉ／Ｆ部１０７、バス部１０８などから構成される。

制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。

ＣＰＵは、記憶部１０２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１０８を介して制御端末１００ｂの全ての処理を実行する。

ＲＯＭは、不揮発性メモリであり、制御端末１００ｂのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。

ＲＡＭは、揮発性メモリであり、記憶部１０２、ＲＯＭ、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１０１が各種処理を行う為に使用するワークエリアを備える。

記憶部１０２は、通常はＨＤＤ（ハードディスクドライブ）から構成され、制御部１０１が実行するプログラム、プログラムの実行に必要なデータ等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、本実施形態に必要な各種プログラムが格納されている。これらの各プログラムは、制御部１０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

メディア入出力部１０３は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）のメディア入出力装置を有する。

通信制御部１０４は、通信制御装置、通信ポート等を有し、ネットワーク５００を介して外部機器等と接続し、データ通信を行う。例えば、ＴＣＰ／ＩＰを用いた通信が可能である。

入力部１０５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキ―等の入力装置を有する。入力部１０５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。

表示部１０６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置を有する。

周辺機器Ｉ／Ｆ（インターフェース）部１０７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１０７を介してコンピュータは周辺機器とのデータ通信を行う。周辺機器Ｉ／Ｆ部１０７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。

バス１０８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

制御端末１００ｂの制御部１０１は、多視点カメラ１００ａの撮影を行う（多視点映像撮影手段）。具体的には、制御端末１００ｂの制御部１０１は、入力部１０５から撮影者などの入力操作を受け付けることによって、多視点カメラ１０１aの全カメラの撮影を同期して実行する。また、制御端末１００ｂの制御部１０１は、入力部１０５から撮影者などの入力操作を受け付けることによって、または、予め設定された撮影時間の経過後に、撮影を停止する。

制御端末１００ｂの制御部１０１は、図示しないビデオ端子等のインターフェースを介して、多視点カメラ１００ａで撮影し取得した各カメラの映像情報を、例えばＡＶＩ（Ａｕｄｉｏ-Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅｄ）形式、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などの映像ファイルとして、記憶部１０２に記憶する（多視点映像記憶手段）。

制御端末１００ｂの制御部１０１は、記憶部１０２に記憶した各カメラの映像ファイルから多視点画像データを生成する（多視点画像データ生成手段）。多視点画像データとは、制御端末１００ｂの制御部１０１が、各カメラで撮影された映像ファイル（動画）を、所定のサンプリング間隔で時系列の静止画像（例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式）に変換し、当該変換した時系列の静止画像を所定のフォーマットのデータファイルとして生成したものである。所定のサンプリング間隔は、多視点画像データの容量や、要求される映像の動きの滑らかさ、多視点画像データを再生する画像再生端末３００のＣＰＵ性能などを考慮して、任意に設定できる。

制御端末１００ｂの制御部１０１は、生成した多視点画像データを、記憶部１０２に記憶する（多視点画像データ記憶手段）。なお、記憶される多視点画像データに含まれる静止画像の総数は、例えば、時系列の数が１００であれば、２４（カメラ数）×１００（時系列数）＝２４００枚となる。また、多視点カメラ１００aが静止画（スチル写真）を撮影する場合には、時系列の数は１であるため、２４（カメラ数）×１（時系列数）＝２４枚となる。

制御端末１００ｂの制御部１０１は、多視点画像データのヘッダ情報として、「多視点画像データＩＤ」、「カメラ数」、「カメラＩＤ」、「カメラ切替順序」、「カメラ初期視点」、「カメラ位置情報」、「時系列数」、「サンプリング間隔」などの情報を併せて生成し、多視点画像データとともに記憶１０２に記憶する。
以降、多視点画像データと言った場合には、上記ヘッダ情報も含んだ所定のフォーマットのデータを指し、多視点画像と言った場合には、多視点画像データ中に存在する画像（カメラ数×時系列数の静止画像）そのものを指す。

「カメラ数」とは、多視点カメラ１０１ａのカメラの総数であり、本実施形態では、「カメラ数」には「２４」が制御部１０１によって設定される。

「カメラＩＤ」とは、多視点カメラ１００аの各カメラを特定するＩＤを示すものであり、本実施形態では、「カメラＩＤ」には「Ｃ１、Ｃ２、Ｃ３、・・・、Ｃ２４」という配列が制御部１０１によって設定される。

「カメラ切替順序」とは、上記「カメラＩＤ」の配列に基づき各カメラの切替をどのような順番で行うかを設定するものである。本実施形態の場合、各カメラの切替は、カメラを時計回りに「Ｃ１→Ｃ２→・・・Ｃ２３→Ｃ２４」のように順番に切り替えるため、「カメラ切替順序」には「Ｃ１、Ｃ２、・・・・、Ｃ２３、Ｃ２４、Ｒ」という配列が制御部１０１によって設定される。ここで「カメラ切替順序」の最後の「Ｒ」は、Ｃ２４の次にはＣ１にカメラを切り替えることを意味しており、つまり、この場合、「Ｃ１→Ｃ２→・・・→Ｃ２４」→「Ｃ１→Ｃ２・・・→Ｃ２４」→「Ｃ１→Ｃ２→・・・→Ｃ２４」のようにカメラ切替を繰り返す。
なお、後述するようにカメラを逆方向に切り替える場合（「Ｃ１→Ｃ２４→Ｃ２３→・・・」）もあるが、この場合、「カメラ切替順序」に保持される配列を逆順にすればよいだけなので、本実施形態では、カメラを逆方向に切り替える切替順序は、ヘッダ情報にはあえて保持していない。

「カメラ初期視点」とは、上記「カメラ切替順序」のどのカメラのカメラ画像から切替をスタートさせるかを示すものであり、カメラ切替の始点を決定するものである。例えば、「カメラ初期視点」が「Ｃ４」であれば、実際のカメラ切替順序は、カメラＣ４を始点として、「Ｃ４→Ｃ５→Ｃ６→・・・→Ｃ２４→Ｃ１→Ｃ２→Ｃ３・・・」となる。本実施形態では、「カメラ初期視点」には「Ｃ１」が制御部１０１によって設定される。

「カメラ位置情報」は、各カメラの位置を示す情報であり、各カメラの位置情報を保持しておけば、画像再生端末３００で多視点画像を再生する際、カメラの位置関係に基づいたより高度な視点切替制御を行うこともできる。

制御端末１００ｂの制御部１０１は、多視点画像データ生成手段により生成した、又は、多視点画像データ記憶手段により記憶した、多視点画像データを、ネットワーク５００を介して、多視点画像データ管理サーバ２００へ送信する（多視点画像データ送信手段）。

＜多視点画像データ管理サーバ ２００＞
多視点画像データ管理サーバ２００は、図３に示すように、制御部１０１、記憶部１０２、メディア入出力部１０３、通信制御部１０４、入力部１０５、表示部１０６、周辺機器Ｉ／Ｆ部１０７、バス部１０８などにより構成される。

また、多視点画像データ管理サーバ２００は、多視点画像データを管理するデータベース（多視点画像データ管理ＤＢ）、ユーザ情報を管理するデータベース（ユーザ情報管理ＤＢ）、カメラワーク情報を管理するデータベース（カメラワーク情報管理ＤＢ）、多視点カメラワーク動画を管理するデータベース（多視点カメラワーク動画ＤＢ）を備える。

多視点画像データ管理サーバ２００の制御部１０１は、多視点撮影装置１００の制御端末１００ｂからネットワーク５００を介して送信される多視点画像データを受信する（多視点画像データ受信手段）。

多視点画像データ管理サーバ２００の制御部１０１は、受信した多視点画像データを、記憶部１０２に記憶し管理する（多視点画像データ記憶管理手段）。多視点画像データの管理は、制御部１０１が、多視点画像データ管理ＤＢに登録される「多視点画像データＩＤ」と記憶部１０２に記憶される多視点画像データを紐づけることで実現する。

多視点画像データ管理サーバ２００の制御部１０１は、画像再生端末３００からの受信要求に応じて、画像再生端末３００のユーザ認証を行い（ユーザ認証手段）、ユーザ認証後、ネットワーク５００を介して画像再生端末３００に多視点画像データを送信する（多視点画像データ送信手段）。

上記ユーザ認証手段において、多視点画像データ管理サーバ２００の制御部１０１は、ユーザ情報管理ＤＢに登録されている画像再生端末３００のユーザの「ユーザＩＤ」、「パスワード」に基づく一致認証を行う。以降に記載のユーザ認証も同様の手段で行われるため説明は省略する。

多視点画像データ管理サーバ２００の制御部１０１は、画像再生端末３００からの送信要求に応じて、画像再生端末３００のユーザ認証を行い、ユーザ認証後、ネットワーク５００を介して画像再生端末３００から送信されるカメラワーク情報を受信し（カメラワーク情報受信手段）、記憶部１０２に記憶し管理する（カメラワーク情報記憶管理手段）。カメラワーク情報の管理は、制御部１０１が、カメラワーク情報管理ＤＢに登録される「ユーザＩＤ」、「多視点画像データＩＤ」、「カメラワーク名」と記憶部１０２に記憶されるカメラワーク情報を紐づけることで実現する。

多視点画像データ管理サーバ２００の制御部１０１は、多視点画像データ記憶管理手段により記憶部１０２に記憶した多視点画像データと、カメラワーク記憶管理手段により記憶部１０２に記憶したカメラワーク情報と、に基づいて多視点カメラワーク動画を生成する（多視点カメラワーク動画生成手段）。ここで多視点カメラワーク動画とは、画像再生端末３００のユーザの画像再生端末３００の傾け操作によって画像再生端末３００の入力表示部３０５に表示される時系列のカメラ画像（静止画のコマ送り画像）を、一つの動画データとして生成したものに相当する。多視点カメラワーク動画は、少なくとも情報処理端末４００へストリーミング配信できるフォーマットのデータである。
本実施形態においては、多視点カメラワーク動画は、情報処理端末４００からの配信要求があったときに、多視点画像データ管理サーバ２００の制御部１０１によって、生成される。

多視点画像データ管理サーバ２００の制御部１０１は、上記生成された多視点カメラワーク動画を記憶部１０２に記憶し管理する（多視点カメラワーク動画記憶手段）。多視点カメラワーク動画の管理は、制御部１０１が、多視点カメラワーク動画ＤＢに登録される「ユーザＩＤ」、「多視点カメラワーク動画ＩＤ」、「多視点カメラワーク動画再生コード（ＵＲＬなど）」と記憶部１０２に記憶される多視点カメラワーク動画を紐づけることで実現する。

多視点画像データ管理サーバ２００の制御部１０１は、多視点カメラワーク動画記憶手段により記憶した、又は、多視点カメラワーク動画生成手段により生成した多視点カメラワーク動画を、情報処理端末４００の配信要求に応じて、情報処理端末４００のユーザ認証を行い、ユーザ認証後、ネットワーク５００を介して情報処理端末４００に配信する（多視点カメラワーク動画配信手段）。

なお、上記ユーザ認証は、ユーザ情報管理ＤＢに登録されている情報処理端末４００の「ユーザＩＤ」と「パスワード」の一致認証に加え、ユーザ情報管理ＤＢに登録されている情報処理端末４００の「ユーザグループＩＤ」と画像再生端末３００のユーザの「ユーザグループＩＤ」との一致認証も行う。これにより、多視点画像データ管理サーバ２００の制御部１０１は、画像再生端末３００のユーザと同じユーザグループＩＤを持つ情報処理端末に対してのみ、コンテンツ配信を行うようにする。

配信の方法は、例えば、多視点画像データ管理サーバ２００の制御部１０１が、多視点カメラワーク編集動画ＤＢの「多視点カメラワーク動画再生コード（ＵＲＬなど）」を、ネットワーク５００を介して、情報処理端末４００に送信し、情報処理端末４００が当該多視点カメラワーク動画再生コード（ＵＲＬなど）にアクセスすることで、多視点カメラワーク動画を視聴できるようにする。

また、多視点画像データ管理サーバ２００の制御部１０１は、画像再生端末３００からの受信要求に応じて、画像再生端末３００のユーザ認証を行い、ユーザ認証後、データベース（多視点画像データ管理ＤＢ、ユーザ情報管理ＤＢ、カメラワーク情報管理ＤＢ）を参照し、多視点画像データ記憶手段により記憶部１０２に記憶した多視点画像データと、当該多視点画像データに紐づくカメラワーク情報記憶管理手段により記憶部１０２に記憶したカメラワーク情報とを取得し、当該取得した多視点画像データとカメラワーク情報とをネットワーク５００を介して画像再生端末３００に送信する（多視点画像再生データ送信手段）。
これにより、画像再生端末３００のユーザが多視点画像を自身のカメラワークで再度確認することができる。

また、多視点画像再生データ送信手段において、多視点画像データ管理サーバ２００の制御部１０１は、ネットワーク５００を介して、画像再生端末３００のユーザ以外の他ユーザの画像再生端末に上記多視点画像データと上記カメラワーク情報を送信するようにしてもよい。
これにより、他ユーザが、画像再生端末３００のユーザと同一のカメラワークで多視点画像を再生することができ、ユーザ間でコンテンツの共有をすることができる。

＜画像再生端末 ３００＞
画像再生端末３００は、多視点画像を表示再生する画像再生端末であり、例えば、スマートフォン、タブレット端末（携帯情報端末）などを用いることができる。図４に示すように、画像再生端末３００は、制御部３０１、記憶部３０２、メディア入出力部３０３、通信制御部３０４、入力表示部３０５、周辺機器Ｉ／Ｆ部３０６、センサ部３０７、バス部３０８などから構成される。

記憶部３０２、メディア入出力部３０３、通信制御部３０４、周辺機器Ｉ／Ｆ部３０６部は、バス３０８は、図３と同様の構成なので説明を省略する。

制御部３０１は、図３の構成に加えて、再生速度制御部、及び、視点切替制御部を備える。

入力表示部３０５は液晶などのタッチパネルで構成されており、画面上では多視点画像が表示再生される。

また、入力表示部３０５には、図５に示すように再生ボタン３０５−１、停止ボタン３０５−２、一時停止ボタン３０５−３、早送りボタン３０５−４、巻戻しボタン３０５−５、録画ボタン３０５−６、カメラ順切替ボタン３０５−７−１、カメラ逆切替ボタン３０５−７−２、再生モード切替ボタン３０５−８、傾き基準変更ボタン３０５−９、などのアイコンが表示される。

センサ部３０７は、直交する３軸加速度センサから構成されており、画像再生端末３００の傾き（姿勢）を検出する。具体的には、センサ部３０７は、Ｘ、Ｙ、Ｚ軸の重力加速度の時系列データを検出し、当該重力加速度から、画像再生端末３００のＸ軸を中心軸としたＹ軸の傾き（回転角度）、Ｙ軸を中心軸としたＸ軸の傾き（回転角度）の時系列データを算出する。以降、画像再生端末３００のＸ軸を中心軸としたＹ軸の傾き（回転角度）をθと表し、同じく画像再生端末３００のＹ軸を中心軸としたＸ軸の傾き（回転角度）をφと表す。画像再生端末３００の座標系は、図６（ａ）（ｂ）に示すように、画像再生端末３００の中心を原点として、直交するＸ、Ｙ、Ｚ軸により形成される。

なお、本実施形態では、センサ部３０７が画像再生端末３００の傾きθ、φを算出するように構成しているが、センサ部３０７ではＸ、Ｙ、Ｚ軸の重力加速度のみを検出し、傾きθ、φの算出は、制御部３０１が実行するように構成してもよい。

また、センサ部３０７は、画像再生端末の傾き（姿勢）を検出できるセンサであればよく、例えば、ジャイロセンサ若しくは加速度センサとジャイロセンサの組み合わせで構成してもよい。

画像再生端末３００の制御部３０１は、多視点画像データ管理サーバ２００に多視点画像データの受信要求をし、多視点画像データ管理サーバ２００におけるユーザ認証後、多視点画像データ管理サーバ２００から多視点画像データを受信し（多視点画像データ受信手段）、当該受信した多視点画像データを記憶部３０２に記憶する（多視点画像データ記憶手段）。

画像再生端末３００の制御部３０１は、記憶部３０２に記憶した多視点画像データを読み込むと、多視点画像の所定のカメラ画像を入力表示部３０５に表示する。ここで、所定のカメラ画像とは、上述した多視点画像データのヘッダ情報に設定されている「カメラ初期視点」のカメラ画像である。つまり、本実施形態においてはカメラＣ１のカメラ画像が入力表示部３０５に最初に表示される（図５参照）。
また、多視点画像の各カメラ画像は、時系列の静止画像で構成されているが、読込み時に表示されるのは、時系列中、一番はじめの静止画像である。

画像再生端末３００の制御部３０１は、入力表示部３０６に表示される多視点画像の再生を行う（多視点画像再生手段）。

（タッチパネルを用いた再生動作）
まず、本実施形態の加速度センサを用いた多視点画像の再生動作を説明する前に、入力表示部３０５のタッチパネルを用いた多視点画像の再生動作を簡単に説明する。

ユーザが入力表示部３０５の再生ボタン３０５−１をタッチ操作すると、画像再生端末３００の制御部３０１は、入力表示部３０５に表示されているカメラＣ１のカメラ画像を正の時間方向にコマ送りし（再生動作）、ユーザが入力表示部３０５の停止ボタン３０５−２又は一時停止ボタン３０５−３をタッチ操作すると、画像再生端末３００の制御部３０１は、コマ送りを停止する（停止動作）。

また、ユーザが入力表示部３０５の早送りボタン３０５−４をタッチ操作すると、画像再生端末３００の制御部３０１は、入力部３０５に表示されているカメラＣ１のカメラ画像を正の時間方向に通常再生時のコマ送り速度より早くコマ送りし（早送り動作）、ユーザが入力表示部３０５の巻戻しボタン３０５−５をタッチ操作すると、画像再生端末３００の制御部３０１は、入力部３０５に表示されているカメラＣ１のカメラ画像を負の時間方向に通常再生時のコマ送り速度より早くコマ送りする（巻戻し動作）。

なお、上記例において、最初にユーザが入力表示部３０５の再生ボタン３０５−１の代わりに録画ボタン３０５−６をタッチ操作すれば、画像再生端末３００の制御部３０１は、録音ボタン３０５−６をタッチ操作してから停止ボタン３０５−２をタッチ操作するまでに入力表示部３０５に表示されるカメラ画像の時系列データを、記憶部３０２に記憶する。

また、ユーザが入力表示部３０５のカメラ順切替ボタン３０５−７−１をタッチ操作すると、画像再生端末３００の制御部３０１は、現在、入力表示部３０５に表示し再生されているカメラ画像がカメラＣ１のカメラ画像であれば、カメラＣ１のカメラ画像をカメラＣ２のカメラ画像に時計周りに切り替える（順切替動作）。一方、ユーザが入力表示部３０５のカメラ逆切替ボタン３０５−７−２をタッチ操作すると、画像再生端末３００の制御部３０１は、現在、入力表示部３０５に表示し再生されているカメラ画像がカメラＣ１のカメラ画像であれば、カメラＣ１のカメラ画像をカメラＣ２４のカメラ画像に反時計周りに切り替える（逆切替動作）。なお、カメラの切替順序は多視点画像データのヘッダ情報である「カメラ切替順序」に保持されており、これに基づきカメラの切替が行われる。

（センサ利用モード時の再生動作）
次に、本実施形態におけるセンサ部３０７の加速度センサを用いた多視点画像の再生動作ついて説明する。

まず、ユーザが入力表示部３０５の再生モード切替ボタン３０５−８をタッチ操作すると、画像再生端末３００の制御部３０１は、多視点画像の再生モードを「センサ利用モード」に切り替える。これにより、ユーザは、画像再生端末３００の傾け操作により、多視点画像の再生を行うことができるようになる。

そして、ユーザが入力表示部３０５の再生ボタン３０５−２又は録画ボタン３０５−６をタッチ操作すると、画像再生端末３００の再生速度制御部（制御部３０１）が、センサ部３０７からユーザの画像再生端末３００の傾け操作に応じた傾きθの値を時々刻々取得し、当該取得される傾きθに基づいて、入力表示部３０５に表示されるカメラ画像の再生速度の制御を行う。

また、同時に画像再生端末３００の視点切替制御部（制御部３０１）が、センサ部３０７からユーザの画像再生端末３００の傾け操作に応じた傾きφの値を時々刻々取得し、当該取得されるφに基づいて、入力表示部３０５に表示されるカメラ画像の視点切替制御を行う。

画像再生端末３００の再生速度制御部（制御部３０１）は、具体的には、ユーザが画像再生端末３００を初期姿勢（θ＝０°、図７（ａ）参照）からＸ軸を中心軸としてＹ軸を時計周りに回転させた場合（センサ部３０７から取得される傾きθが正（＋）の場合、図７（ｂ）参照）には、画像再生端末３００の再生速度制御部（制御部３０１）は、時系列のカメラ画像を正の時間方向にコマ送りし、入力表示部３０５に表示し再生する（順再生動作）。

一方、ユーザが画像再生端末３００を初期姿勢（θ＝０°、図７（ａ）参照）からＸ軸を中心軸としてＹ軸を反時計回りに回転させた場合（センサ部３０７から取得される傾きθが負（−）の場合、図７（ｃ）参照）には、画像再生端末３００の再生速度制御部（制御部３０１）は、時系列のカメラ画像を負の時間方向にコマ送りし、入力表示部３０５に表示し再生する（逆再生動作）。

また、画像再生端末３００の傾きθが０°の場合（図７（ａ）参照）、画像再生端末３００の再生速度制御部（制御部３０１）は、時系列のカメラ画像のコマ送りを停止する（停止動作）。なお、θが０°の場合というのは、０°に近いという程度の意味であり、物理的厳密な意味を有するものではない点に注意されたい。

さらに、画像再生端末３００の再生速度制御部（制御部３０１）は、センサ部３０７から取得される傾きθの大きさ｜θ｜に応じて、時系列のカメラ画像のコマ送り速度を制御する。

図８は、傾きθの関係による再生速度制御の様子を示す図である。図８における傾きθの関係は、θ_３（負）＜θ_２（＝０°）＜θ_０（正）＜θ_１（正）である。再生開始時（Ｔ_０）にセンサ部３０７から取得される傾きがθ_０の場合、画像再生端末３００の再生速度制御部（制御部３０１）は、まず、正の時間方向に所定の再生速度でカメラ画像のコマ送りを開始する（順再生動作）。所定時間経過後（Ｔ_１）の傾きがθ_１の場合、θ_０＜θ_１の関係より、画像再生端末３００の再生速度制御部（制御部３０１）は、傾きがθ_０のときに比べカメラ画像のコマ送り速度を早くし再生する。そして次の所定時間経過後（Ｔ_２）の傾きがθ_２（＝０°）の場合、画像再生端末３００の再生速度制御部（制御部３０１）は、コマ送りを停止する（停止動作）。さらに次の所定時間経過後（Ｔ_３）の傾きがθ_３の場合、θ_３（負）＜０°の関係より、再生速度制御部（制御部３０１）は、負の時間方向に所定の再生速度でカメラ画像のコマ送りをする（逆再生動作）。

画像再生端末３００の視点切替制御部（制御部３０１）は、センサ部３０７から取得される傾きφに応じて、入力表示部３０５に表示されているカメラ画像を当該カメラ以外のカメラ画像に切り替える。

具体的には、ユーザが画像再生端末３００を初期姿勢（φ＝０°、図９（ａ）参照）からＹ軸を中心軸としてＸ軸を時計周りに回転させた場合（センサ部３０７から取得される傾きφが正（＋）の場合、図９（ｂ）参照）、画像再生端末３００の視点切替制御部（制御部３０１）は、現在、入力表示部３０５に表示し再生されている画像がカメラＣ１のカメラ画像であれば、多視点画像データのヘッダ情報である「カメラ切替順序」に基づき、「カメラＣ１のカメラ画像→カメラＣ２のカメラ画像→カメラＣ３のカメラ画像→カメラＣ４のカメラ画像・・・」のように時計周りに所定速度でカメラ画像を切り替え、入力表示部３０５に表示させていく（視点順切替動作）。

一方、画像再生端末３００を初期姿勢（φ＝０°、図９（ａ）参照）からＹ軸を中心軸としてＸ軸を反時計周りに回転した場合（センサ部３０７から取得される傾きφが負（−）の場合、図９（ｃ）参照）、画像再生端末３００の視点切替制御部（制御部３０１）は、現在、入力表示部３０５に表示し再生されているカメラ画像がカメラＣ１のカメラ画像であれば、多視点画像データのヘッダ情報である「カメラ切替順序」を逆順にさせて、「カメラＣ１のカメラ画像→カメラＣ２４のカメラ画像、カメラＣ２３のカメラ画像、カメラＣ２２のカメラ画像・・・」のように反時計周りに所定速度でカメラ画像を切り替え、入力表示部３０５に表示させていく（視点逆切替動作）。

また、センサ部３０７から取得される傾きφが０°（図９（ａ）参照）の場合には、画像再生端末３００の視点切替制御部（制御部３０１）は、カメラ画像の切替えを停止する（視点固定動作）。なお、φが０°の場合というのは、０°に近いという程度の意味であり、物理的厳密な意味を有するものではない点に注意されたい。

さらに、画像再生端末３００の視点切替制御部（制御部３０１）は、センサ部３０７から取得される傾きφの大きさ｜φ｜に応じて、カメラ画像の切替え速度も制御する。具体的には、｜φ｜が小さい場合には、画像再生端末３００の視点切替制御部（制御部３０１）は、カメラ画像の切替え速度を遅く制御し、|φ|が大きい場合には、カメラ画像の切替速度を速くするよう制御する。

図１０は、傾きφの関係による視点切換制御の様子を示した図である。図１０は｜φ_１｜＜｜φ_２｜の場合のカメラ切替速度の関係を示すものであり、傾きがφ_１の場合は、画像再生端末３００の視点切替制御部部（制御部３０１）は、入力表示部３０５に表示されるカメラ画像をｓ_１秒、ｓ_２（＝ｓ_１×２）秒、ｓ_３（＝ｓ_１×３）秒、ｓ_４（＝ｓ_１×４）秒の時間毎に「カメラＣ１のカメラ画像→カメラＣ２のカメラ画像→カメラＣ３のカメラ画像→カメラＣ４のカメラ画像」のように視点を切替える。一方、φ_２の場合は、画像再生端末３００の視点切替制御部（制御部３０１）は、入力表示部３０５に表示されるカメラ画像をｔ_１秒、ｔ_２（＝ｔ_１×２）秒、ｔ_３（＝ｔ_１×３）秒、ｔ_４（＝ｔ_１×４）秒の時間毎に「カメラＣ１のカメラ画像→カメラＣ２のカメラ画像→カメラＣ３のカメラ画像→カメラＣ４のカメラ画像」のように視点を切替える。図１０から分かるように、画像再生端末３００の視点切替制御部（制御部３０１）は、傾きがφ_１の場合（傾きが小さい場合）には、カメラ画像をゆっくり切替え、傾きがφ_２の場合（傾きが大きい場合）には、カメラ画像を早く切り替える。

以上のように、画像再生端末３００の制御部３０１（再生速度制御部、視点切替制御部）は、センサ部３０７から取得される画像再生端末３００の傾きθ、φの時系列データから、入力表示部３０５に表示される多視点画像の再生速度制御及び視点切替制御を行う。なお、再生速度制御と視点切替制御は同期処理で実装されていても、非同期処理で実装されていてもかまわない。
また、多視点画像データの「時系列数」が１の場合は、多視点画像の再生は、視点切替制御のみによって実行される。

表１に画像再生端末３００の傾きθ、φと多視点画像の表示状態の関係をまとめておく。

なお、表１で言う０°も、０°に近いという程度の意味であり、物理的厳密な意味を有するものではない点に注意されたい。

画像再生端末３００の制御部３０１は、上述したセンサ利用モード時における多視点画像の再生中において取得される「画像再生端末３００の傾きθ、φの時系列データ」（カメラワーク）とそれに関連する情報（「多視点画像データＩＤ」、「カメラワーク名」など）を含むカメラワーク情報を所定のフォーマットで記憶部３０２に記憶する（カメラワーク情報記憶手段）。カメラワーク名は、画像再生端末３００のユーザが任意に設定できるものである。
なお、画像再生端末３００の制御部３０１は、記憶したカメラワークを記憶部３０２に記憶されている多視点画像データとともに読み込み、多視点画像を当該カメラワークに基づいて入力表示部３０５に表示再生できる。これにより、一度再生したカメラワークに基づく再生を再度再現することができる。

画像再生端末３００の制御部３０１は、多視点画像データ管理サーバ２００にカメラワーク情報の送信要求をし、多視点画像データ管理サーバ２００におけるユーザ認証後、当該カメラワーク情報を多視点画像データ管理サーバ２００に送信する（カメラワーク情報送信手段）。
本実施形態においては、画像再生端末３００の制御部３０１が、カメラワーク情報のみを送信することで（表示再生した多視点画像そのものを送信するのではなく）、多視点画像データ管理サーバ２００の記憶容量を低減させている。

その他、画像再生端末３００の機能を以下に説明しておく。

画像再生端末３００の制御部３０１は、画像再生端末３００の傾きの基準（画像再生端末３００の傾きθ、φが０°となる画像再生端末３００の姿勢）を変更する機能を有する（傾き基準変更手段）。

具体的には、画像再生端末３００の制御部３０１は、まず、ユーザによる入力表示部３０５の傾き基準変更ボタン３０６−９のタッチ操作を受け付けると、センサ部３０７から傾きθ、φの時系列データの取得を開始する。次にユーザが画像再生端末３００を傾きの基準としたい位置まで画像再生端末３００を傾け、再度、入力表示部３０５の傾き基準変更ボタン３０５−９をタッチ操作すると、画像再生端末３００の制御部３０１は、当該タッチ操作をした時点の画像再生端末３００の傾きθ、φを基準の傾き（θ、φ＝０°）として変更する。

簡単のため、傾きφのみに着目して傾き基準変更手段を図１１に基づき説明する。当初、傾きの基準軸は、図１１（ａ）のＹ軸である。ここで、ユーザが入力表示部３０５の傾き基準変更ボタン３０５−９のタッチ操作を行い、ユーザが画像再生端末３００を図１１（ｂ）の状態（φ＝２０°）まで傾け、この状態で、ユーザが入力表示部３０５の傾き基準変更ボタン３０５−９を再度タッチ操作すると、画像再生端末３００の制御部３０１は、傾きの基準軸を図１１（ｃ）のＹ軸に変更する。これにより、例えば、ユーザが画像再生端末３００を見やすい向きに傾けたときの傾きを基準とし、再生速度制御などを行うことができるようになる。

なお、センサ利用モード時においても、画像再生端末３００の制御部３０１は、リアルタイムに傾きの基準を変更することができる。センサ利用モード時において多視点画像を再生している最中に、ユーザが入力表示部３０５の傾き基準変更ボタン３０５−９をタッチ操作すると、画像再生端末３００の制御部３０１は、当該タッチ操作をした時点の画像再生端末３００の傾きθ、φを基準の傾きとして変更する。

また、画像再生端末３００の制御部３０１は、カメラ視点切替順序を任意に変更することもできる（カメラ切替順序変更手段）。上述したように、「カメラ切替順序」は多視点画像データのヘッダ情報に設定されているが、当該設定は、多視点映像の製作者側で設定されたものであり、必ずしも、ユーザの好みの視点切替順序になっているとは限らない。

具体的には、入力表示部３０５は、図示しない「カメラ切替順序変更ボタン」を有しており、ユーザのタッチ操作を受け付けると、画像再生端末３００の制御部３０１は、入力表示部３０５に図示しない「カメラ切替順序編集画面」を表示し、ユーザは当該表示された画面で、カメラ切替順序を任意に編集することができる。カメラ切替順序を編集後、ユーザが図示しない「ＯＫボタン」をタッチ操作すると、画像再生端末３００の制御部３０１は、多視点画像データのヘッダ情報に設定されている「カメラ切替順序」をユーザが編集したカメラ切替順序で更新する。これにより、多視点画像のカメラ切替は、当該更新した「カメラ切替順序」に基づいて、画像再生端末３００の視点切替制御部（制御部３０１）によって行われるため、ユーザの好みのカメラ切替えが実現できる。

また、画像再生端末３００の制御部３０１は、センサ利用モード時において、ユーザの入力表示部３０５のタッチ操作によって、多視点画像の一時停止及び視点固定を行う（表示固定手段）。具体的には、入力表示部３０５に「センサ利用モード時」にのみ表示される図示しない「表示固定ボタン」が表示されており、ユーザが当該ボタンをタッチ操作すると、画像再生端末３００の制御部３０１は、センサ部３０７からの傾きθ、φの取得を停止し、ユーザが当該ボタンを押し（触れ）続けている間はセンサ部３０７からの傾きθ、φの取得を一切行わない。つまり、ユーザが当該ボタンを押し（触れ）続けている間は、再生速度制御及び視点切替制御を行わないようになり、ユーザはタッチ操作をしたときのカメラ画像を常に入力表示部２０５に表示させておくことができる。

これは、例えば、画像再生端末３００の傾け操作により多視点画像を再生しているとき、ユーザが興味ある画像が表示されたとき、その画像を一時停止したいという要求があるが、センサ利用モード時においては、一時停止する場合には、傾きθ、φを共に０°の位置に戻す必要があり、この戻し動作が間に合わないことがある。そうすると、興味ある画像を見逃したり、意図せず視点が切り替わったりする。これを回避するため、ユーザのタッチ操作という単純操作により、再生速度制御及び視点切替制御を一時停止し、ユーザが興味ある画像を見逃さずにする。
なお、上記「表示固定ボタン」は、通常ユーザが画像再生端末３００を片手で操作する場合に親指で直ぐにタッチ操作できる位置である入力表示部３０５の左上部又は右上部に表示されるのが好ましい。

そして、ユーザが入力表示部３０７の図示しない「表示固定ボタン」を離すと、画像再生端末３００の制御部３０１は、センサ部３０７からの傾きθ、φの取得を再開し、再生速度制御及び視点切替制御を行うようになる。

なお、本実施形態では、センサ部３０７から取得される画像再生端末３００の傾きθ、φの時系列データから、画像再生端末３００の制御部３０１が、入力表示部３０５に表示される多視点画像の再生速度制御及び視点切替制御を行ったが、センサ部３０７が検出する重力加速度そのものを使って、再生速度制御及び視点切替制御を行ってもよい。この場合、例えば、画像再生端末３００の制御部３０１は、Ｙ軸方向の重力加速度の時系列データにより再生速度制御を行い、Ｘ軸方向の重力加速度の時系列データにより視点切替制御を行う、などが考えられる。

＜情報処理端末 ４００＞
情報処理端末４００は、画像再生端末として機能し、いわゆるパーソナルコンピュータの他、スマートフォンなどの画像再生端末も含む。図３に示すように制御部１０１、記憶部１０２、メディア入出力部１０３、通信制御部１０４、入力部１０５、表示部１０６、周辺機器Ｉ／Ｆ部１０７、バス部１０８などから構成される。

情報処理端末４００の制御部１０１は、ネットワーク５００を介して、多視点画像データ管理サーバ２００に多視点カメラワーク動画の配信要求をし、多視点画像データ管理サーバ２００におけるユーザ認証後、多視点画像データ管理サーバ２００からネットワーク５００を介してストリーミング配信される多視点カメラワーク動画を受信し、情報処理端末４００の表示部１０６に表示し再生する。

＜多視点画像再生システムの動作ステップ＞
図１２から図１４のフローチャートを参照して、多視点画像再生システムの動作ステップを説明する。

図１２のステップ１において、制御端末１００ｂの制御部１０１は、多視点カメラ１００ａの撮影を行う（多視点映像撮影ステップ）。具体的には、ステップ１において、制御端末１００ｂの制御部１０１は、入力部１０５から撮影者などの入力操作を受け付けることによって、多視点カメラ１０１aの各カメラの撮影を同期して実行する。また、制御部１０１は、入力部１０５から撮影者などの入力操作を受け付けることによって、または、予め設定された撮影時間の経過後に、撮影を停止する。

ステップ２において、制御端末１００ｂの制御部１０１は、図示しないビデオ端子等のインターフェースを介して、多視点カメラ１００ａで撮影し受信した各カメラの映像情報を、例えばＡＶＩ形式、ＭＰＥＧ形式などの映像ファイルとして、記憶部１０２に記憶する（多視点映像記憶ステップ）。

ステップ３において、制御端末１００ｂの制御部１０１は、ステップ２において記憶部１０２に記憶した各カメラの映像ファイルから多視点画像データを生成する（多視点画像データ生成ステップ）。また、ステップ３において、制御端末１００ｂの制御部１０１は、生成した多視点画像データを記憶部１０２に記憶する（多視点画像データ記憶ステップ）。

ステップ４において、制御端末１００ｂの制御部１０１は、ステップ３で生成又は記憶した多視点画像データを、ネットワーク５００を介して、多視点画像データ管理サーバ２００へ送信する（多視点画像データ送信ステップ）。

ステップ５において、多視点画像データ管理サーバ２００の制御部１０１は、多視点撮影装置１００の制御端末１００ｂからネットワーク５００を介して送信される多視点画像データを受信する（多視点画像データ受信ステップ）。

ステップ６において、多視点画像データ管理サーバ２００の制御部１０１は、受信した多視点画像データを、記憶部１０２に記憶し管理する（多視点画像データ記憶管理ステップ）。

続いて、図１３のステップ１１において、画像再生端末３００の制御部３０１は、多視点画像データ管理サーバ２００に多視点画像データの受信要求をする。

ステップ１２において、多視点画像データ管理サーバ２００の制御部１０１は、画像再生端末３００からの受信要求に応じて、画像再生端末３００のユーザ認証を行う。

ステップ１３において、ステップ１２のユーザ認証後、ネットワーク５００を介して画像再生端末３００に多視点画像データを送信する（多視点画像データ送信ステップ）。

ステップ１４において、画像再生端末３００の制御部３０１は、多視点画像データ管理サーバ２００から多視点画像データを受信する（多視点画像データ受信ステップ）。

ステップ１５において、画像再生端末３００の制御部３０１は、ステップ１４において受信した多視点画像データを記憶部３０２に記憶する（多視点画像データ記憶ステップ）。

ステップ１６において、画像再生端末３００の制御部３０１は、記憶部３０２に記憶した多視点画像データを読み込み、多視点画像の所定のカメラ画像を入力表示部３０５に表示する。

また、ステップ１６において、画像再生端末３００の制御部３０１は、ユーザの再生モード切替ボタン３０５−８のタッチ操作を受け付けることによって、多視点画像の再生モードを「センサ利用モード」に切り替える。

そして、ステップ１６において、ユーザが再生ボタン３０５−２又は録画ボタン３０５−６をタッチ操作すると、画像再生端末３００の制御部３０１（再生速度制御部、視点切替制御部）は、センサ部３０７から画像再生端末３００の傾きθ、φの時系列データを取得しながら、入力表示部３０５に表示される多視点画像の再生速度制御及び視点切替制御を行う。

最後に、ステップ１６において、ユーザの停止ボタン３０５−２のタッチ操作を受け付けるか、若しくは、多視点画像の再生が全て終了すると、画像再生端末３００の制御３０１（再生速度制御部、視点切替制御部）は制御を終了する。

ステップ１７において、画像再生端末３００の制御部３０１は、ステップ１６の多視点画像の再生中に取得される画像再生端末３００の傾きθ、φの時系列データ（「カメラワーク」）とそれに関連する情報（「多視点画像データＩＤ」、「カメラワーク名」など）を含むカメラワーク情報を所定のフォーマットで記憶部３０２に記憶する（カメラワーク情報記憶ステップ）。

ステップ１８において、画像再生端末３００の制御部３０１は、ネットワーク５００を介して、多視点画像データ管理サーバ２００にカメラワーク情報の送信要求をする。

ステップ１９において、多視点画像データ管理サーバ２００の制御部１０１は、画像再生端末３００のユーザ認証を行う。

ステップ２０において、ステップ１９のユーザ認証後、画像再生端末３００の制御部３０１は、ネットワーク５００を介して、多視点画像データ管理サーバ２００にカメラワーク情報を送信する（カメラワーク情報送信ステップ）。

ステップ２１において、多視点画像データ管理サーバ２００の制御部１０１は、ネットワーク５００を介して画像再生端末３００から送信されるカメラワーク情報を受信する（カメラワーク情報受信ステップ）。

ステップ２２において、多視点画像データ管理サーバ２００の制御部１０１は、受信したカメラワーク情報を記憶部１０２に記憶し管理する（カメラワーク情報記憶ステップ）。

続いて、図１４のステップ３１において、情報処理端末４００の制御部１０１は、ネットワーク５００を介して、多視点画像データ管理サーバ２００に多視点カメラワーク動画の配信要求をする。

ステップ３２において、多視点画像データ管理サーバ２００は、情報処理端末４００のユーザ認証を行う。

ステップ３３において、ステップ３２のユーザ認証後、多視点画像データ管理サーバ２００の制御部１０１は、記憶部１０２に記憶した多視点画像データとカメラワーク情報とに基づいて多視点カメラワーク動画を生成する（多視点カメラワーク動画生成ステップ）。

ステップ３４において、多視点画像データ管理サーバ２００の制御部１０１は、生成した多視点カメラワーク動画を、ネットワーク５００を介して情報処理端末４００にストリーミング配信する（多視点カメラワーク動画配信ステップ）。

ステップ３５において、情報処理端末４００の制御部１０１は、多視点画像データ管理サーバ２００からネットワーク５００を介してストリーミング配信される多視点カメラワーク動画を受信し、表示部１０６に表示し再生する。

本実施形態によれば、スマートフォンなどの画像再生端末を用いて、当該画像再生端末の傾け操作という直感的な操作により多視点画像を容易に再生編集することができ、多視点映像コンテンツの楽しみ方をよりユーザの身近なものとすることができる。

また、本実施形態によれば、ユーザが再生した多視点画像を、他ユーザの情報処理端末に配信し、他ユーザとコンテンツ共有をすることができるため、多視点映像コンテンツの楽しみ方をさらにユーザの身近なものとすることができる。

以上、添付図面を参照しながら、本発明に係る多視点画像再生システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１ ・・・・・・多視点画像再生システム
１００・・・・・多視点撮影装置
２００・・・・・多視点画像データ管理サーバ
３００・・・・・画像再生端末
４００・・・・・情報処理端末
５００・・・・・ネットワーク

Claims (7)

1. 撮影対象の周囲を取り囲むように設置される複数の画像撮影装置ごとに撮影された複数の時系列画像を再生する画像再生端末であって、
   １つの前記時系列画像を再生する再生手段と、
   当該画像再生端末の姿勢情報を取得するセンサと、
   取得した前記姿勢情報に基づいて、前記再生手段の再生速度を制御する再生速度制御手段と、
   取得した前記姿勢情報に基づいて、前記再生手段の再生する前記時系列画像を他の前記時系列画像に切り替える視点切替制御手段と、
   前記再生速度制御手段、及び、前記視点切替制御手段による制御の時系列の情報であるカメラワーク情報を記憶する記憶手段と、
   を備えることを特徴とする画像再生端末。
2. 前記再生速度制御手段は、前記姿勢情報が、基準姿勢における基準軸に対して所定方向に傾いている場合には、順方向に再生し、前記所定方向とは逆向きに傾いている場合には、逆方向に再生する
   ことを特徴とする請求項１に記載の画像再生端末。
3. 前記再生速度制御手段は、前記姿勢情報が、基準姿勢における基準軸に対して傾いている角度の大きさに応じて、再生速度を変更する
   ことを特徴とする請求項１又は請求項２に記載の画像再生端末。
4. 前記視点切替制御手段は、前記姿勢情報が、基準姿勢における基準軸に対して所定方向に傾いている場合には、前記再生手段の再生する前記時系列画像に係る前記画像撮影装置の一方に隣接する前記画像撮影装置の撮影した前記時系列画像に切り替え、前記所定方向とは逆向きに傾いている場合には、前記画像撮影装置の他方に隣接する前記画像撮影装置の撮影した前記時系列画像に切り替える
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の画像再生端末。
5. 撮影対象の周囲を取り囲むように設置される複数の画像撮影装置ごとに撮影された複数の時系列画像を再生する画像再生端末で実行される画像再生方法であって、
   １つの前記時系列画像を再生する再生ステップと、
   当該画像再生端末の姿勢情報を取得するステップと、
   取得した前記姿勢情報に基づいて、前記時系列画像の再生速度を制御する再生速度制御ステップと、
   取得した前記姿勢情報に基づいて、再生する前記時系列画像を他の前記時系列画像に切り替える視点切替制御ステップと、
   前記再生速度制御ステップ、及び、前記視点切替制御ステップによる制御の時系列の情報であるカメラワーク情報を記憶する記憶ステップと、
   を含むことを特徴とする画像再生方法。
6. コンピュータを、撮影対象の周囲を取り囲むように設置される複数の画像撮影装置ごとに撮影された複数の時系列画像を再生する画像再生端末として機能させるためのプログラムであって、
   前記コンピュータを、
   １つの前記時系列画像を再生する再生手段、
   当該画像再生端末の姿勢情報を取得するセンサ手段、
   取得した前記姿勢情報に基づいて、前記再生手段の再生速度を制御する再生速度制御手段、
   取得した前記姿勢情報に基づいて、前記再生手段の再生する前記時系列画像を他の前記時系列画像に切り替える視点切替制御手段、
   前記再生速度制御手段、及び、前記視点切替制御手段による制御の時系列の情報であるカメラワーク情報を記憶する記憶手段、
   として機能させるためのプログラム。
7. 画像データ管理サーバと、画像再生端末とが、ネットワークを介して接続される多視点画像再生システムであって、
   前記画像データ管理サーバは、
   撮影対象の周囲を取り囲むように設置される複数の画像撮影装置ごとに撮影された複数の時系列画像を記憶する記憶手段と、
   前記複数の時系列画像を送信する送信手段と、
   を備え、
   前記画像再生端末は、
   前記複数の時系列画像を受信する受信手段と、
   １つの前記時系列画像を再生する再生手段と、
   当該画像再生端末の姿勢情報を取得するセンサと、
   取得した前記姿勢情報に基づいて、前記再生手段の再生速度を制御する再生速度制御手段と、
   取得した前記姿勢情報に基づいて、前記再生手段の再生する前記時系列画像を他の前記時系列画像に切り替える視点切替制御手段と、
   前記再生速度制御手段、及び、前記視点切替制御手段による制御の時系列の情報であるカメラワーク情報を記憶する記憶手段と、
   を備える
   ことを特徴とする多視点画像再生システム。
   

Images