JP6460105B2 - 撮影方法、撮影システムおよび端末装置 - Google Patents

Description

本発明は、カメラまたはカメラ機能を備える端末装置による画像の撮影方法などに関する。

旅行先またはイベント参加先などで、その場に居る人同士で画像（静止画または動画）を共有する方法がある（例えば、特許文献１参照）。この特許文献の方法では、被写体の類似度または位置情報等に基づいて、サーバが、その場限りの一時的な、複数のカメラから成る共有グループを作る。また、複数のカメラからの画像を統合して、仮想現実空間を構築する際、または、被写体の３次元再構成（つまり三次元画像の生成）を行う際には、複数のカメラにおける時刻の同期がとれている必要がある。例えば、カメラのシャッターを切るアクセサリであるケーブルレリーズを複数に分岐させ、一度の操作で複数のカメラのシャッターを同時に切る方法がある。あるいは、カメラを制御する電気的な信号線を分配して、同時に複数のカメラのシャッターを切る方法がある。あるいは、フラッシュ照明、または、動画像内に映し出される扉の開閉動作などの特定の視覚イベントに基づいて、カメラ間の撮影タイミングのずれを補正する方法がある（例えば、特許文献２参照）。あるいは、周期的に点滅を行う照明装置からの光に撮影のタイミングを同期させる方法がある（例えば、特許文献３参照）。

特許第５２７１６９３号公報 国際公開第１３／０９４１１５号 特許第５２１３０４５号公報

しかしながら、上記特許文献１〜３の方法では、撮影される時刻を高い精度で所望のタイミングに合わせることが難しいという問題がある。

そこで、本発明は、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる撮影方法などを提供する。

本発明の一態様である撮影方法は、第１の端末装置が撮影を行う撮影方法であって、前記第１の端末装置のクロックを基準クロックに同期させ、前記基準クロックに基づく撮影時刻を示す撮影時刻情報を取得し、撮影開始から撮影が実行されるまでの撮影遅延時間を特定し、前記基準クロックに既に同期された前記第１の端末装置のクロックと前記撮影遅延時間とに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行い、前記撮影遅延時間の特定では、前記基準クロックに基づく時刻を表示する被写体、または、当該時刻を特定するための信号を含む画像データを、前記第１の端末装置が撮影し、前記被写体または前記画像データの撮影が開始された、前記第１の端末装置のクロックに基づく時刻と、前記被写体または前記画像データの撮影によって得られた時刻との差分を、前記撮影遅延時間として特定する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様である撮影方法は、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。

図１は、実施の形態１における撮影方法によって撮影を行う撮影システムを示す図である。 図２は、実施の形態１における端末装置の構成を示すブロック図である。 図３は、実施の形態１におけるサーバの構成を示すブロック図である。 図４Ａは、実施の形態１における端末同期処理部およびサーバ同期処理部の処理動作を示すフローチャートである。 図４Ｂは、実施の形態１における端末装置による撮影方法を示すフローチャートである。 図５は、実施の形態１における、本番撮影を行うためのサーバと端末装置との処理動作を示すフローチャートである。 図６は、実施の形態２における撮影方法によって撮影を行う撮影システムを示す図である。 図７は、実施の形態２における端末同期処理部およびサーバ同期処理部による同期処理を示すフローチャートである。 図８Ａは、実施の形態２におけるタイムコードの一例であるＱＲコード（登録商標）を説明するための図である。 図８Ｂは、実施の形態２におけるタイムコードの他の例を示す図である。 図８Ｃは、実施の形態２におけるタイムコードの他の例を示す図である。 図８Ｄは、実施の形態２におけるタイムコードの他の例を示す図である。 図８Ｅは、実施の形態２におけるタイムコードの他の例を示す図である。 図９Ａは、実施の形態２におけるタイムコードの他の例を示す図である。 図９Ｂは、実施の形態２におけるタイムコードの他の例を示す図である。 図９Ｃは、実施の形態２におけるタイムコードの他の例を示す図である。 図１０は、変形例に係る端末画像処理部の処理動作を示すフローチャートである。 図１１は、本発明の一態様に係る撮影方法を示すフローチャートである。 映像情報処理システムの構成を示す図である。 カメラ起動時に表示される通知画面の一例を示す図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 デジタル放送用システムの全体構成図である。 スマートフォンの一例を示す図である。 スマートフォンの構成例を示すブロック図である。

（発明するに至った知見）
ケーブルレリーズまたは制御信号を分配することによって複数の端末装置（例えば複数のカメラなど）に同時に撮影させる方法では、高い精度で同時に撮影させることができるが、事前に機材の準備が必要である。したがって、この撮影方法は、旅行先またはイベントの参加先でのその場限りの撮影の用途には適さない。動画像に映し出されている視覚イベントを用いる例では、イベントを行う物体の動きが極めて遅ければ、類似するフレームが多数発生するため、端末装置間の時刻合わせの精度は低下する。つまり、複数の端末装置のそれぞれの撮影によって得られるフレームから、最も似ているフレームを探索することが難しい。周期的に点滅を行う照明装置からの光に撮影のタイミングを同期させる方法では、そのタイミングを合わせることは可能であっても、どの時刻で撮影されたのかはわからない。したがって、撮影によって得られた各画像がネットワークで伝送される際に遅延が発生すると、各画像の撮影時刻のずれが発生する。また、フラッシュ照明は目障りでもあるので、人の多い大規模空間では使いにくいという課題もある。

このような問題を解決するために、本発明の一態様に係る撮影方法は、第１の端末装置が撮影を行う撮影方法であって、前記第１の端末装置のクロックを基準クロックに同期させ、前記基準クロックに基づく撮影時刻を示す撮影時刻情報を、通信ネットワークを介して取得し、前記基準クロックに既に同期された前記第１の端末装置のクロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う。

これにより、第１の端末装置のクロックが基準クロックに予め同期されているため、撮影時刻情報を撮影時刻よりも少し前に取得すれば、基準クロックに基づく撮影時刻に高い精度で一致するタイミングに撮影を行うことができる。したがって、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。

また、前記撮影方法は、さらに、第２の端末装置が前記通信ネットワークを介して前記撮影時刻情報を取得し、前記第２の端末装置が、前記基準クロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行ってもよい。例えば、前記基準クロックはサーバに備えられているクロックであり、前記第２の端末装置は、当該第２の端末装置のクロックを前記基準クロックに同期させ、前記第１および第２の端末装置はそれぞれ前記撮影時刻情報を前記サーバから取得する。または、前記基準クロックは前記第２の端末装置に備えられているクロックであり、前記第１および第２の端末装置はそれぞれ前記撮影時刻情報をサーバから取得する。

これにより、複数の端末装置間における撮影タイミングをより高い精度で一致させることができる。

また、前記第１の端末装置のクロックの同期では、前記第１の端末装置は、当該第１の端末装置のシステムクロックに基づいて管理される撮影用クロックを、当該第１の端末装置のクロックとして前記基準クロックに同期させてもよい。なお、撮影用クロックはいわゆる仮想クロックである。

これにより、第１の端末装置のシステムクロックは調整されずに、撮影用クロックが調整されて基準クロックに同期されるため、第１の端末装置における撮影以外の処理に対する、クロックの同期による影響を避けることができる。したがって、システムクロックに基づいて行われる第１の端末装置における撮影以外の処理を、同期が行われた後にも維持することができる。

また、前記撮影方法では、さらに、前記基準クロックに既に同期された当該第１の端末装置のクロックに基づく、前記撮影が行われた時刻を示すタイムスタンプを、前記撮影によって得られた画像に付加してサーバに送信してもよい。

これにより、サーバは、第１の端末装置から画像を取得すると、その画像が撮影された時刻を容易に特定することができる。その結果、サーバは、例えば三次元画像の生成などの、その時刻を用いた画像の処理を適切に行うことができる。

また、前記撮影方法では、さらに、前記第１の端末装置における、撮影開始から撮影が実行されるまでの撮影遅延時間を特定し、前記第１の撮影装置による撮影では、前記撮影時刻情報によって示される撮影時刻よりも前記撮影遅延時間だけ前の時刻に、前記撮影を開始してもよい。

例えば、撮影時刻情報に示される撮影時刻に撮影を開始しても、実際に撮影が行われるタイミングが、様々な物理的な要因によって、その撮影時刻から遅れる場合がある。しかし、本発明の一態様では、その遅れる時間が撮影遅延時間として特定され、その撮影遅延時間だけ前の時刻に撮影が開始される。したがって、様々な物理的な要因に影響を受けることなく、基準クロックに基づく撮影時刻により高い精度で一致するタイミングに撮影を行うことができる。

また、前記撮影遅延時間の特定では、前記第１の端末装置が、前記基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影し、前記被写体の撮影が開始された、前記第１の端末装置のクロックに基づく時刻と、前記被写体の撮影によって得られた画像に映し出されている時刻との差分を、前記撮影遅延時間として特定してもよい。

これにより、実際に撮影が行われた時刻が、画像に映し出されているため、正確な撮影遅延時間を特定することができる。

また、前記第１の端末装置のクロックの同期では、前記第１の端末装置は、第１のパケットをサーバに送信することによって、前記サーバから、前記基準クロックに基づく時刻を示す第２のパケットを受信し、前記第２のパケットによって示される時刻と、前記第１のパケットが前記サーバに送信されたときの、前記第１の端末装置のクロックに基づく時刻との差分が、ゼロになるように、前記第１の端末装置のクロックを調整することによって、前記第１の端末装置のクロックを前記基準クロックに同期させてもよい。

これにより、例えばＮＴＰまたはＲＴＣＰなどを用いて、第１の端末装置のクロックを基準クロックに、簡単に且つ正確に同期させることができる。

また、前記第１の端末装置のクロックの同期では、前記第１の端末装置が、前記基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影し、前記被写体が撮影された、前記第１の端末装置のクロックに基づく時刻と、前記被写体の撮影によって得られた画像に映し出されている時刻との差分がゼロになるように、前記第１の端末装置のクロックを調整することによって、前記第１の端末装置のクロックを前記基準クロックに同期させてもよい。例えば、前記被写体は、前記基準クロックに基づいて更新された時刻を、一次元コードまたは二次元コードとして表示する。

これにより、実際に撮影が行われた、基準クロックに基づく時刻が、画像に映し出されているため、第１の端末装置のクロックを基準クロックに、より簡単に且つより正確に同期させることができる。

また、前記撮影方法では、さらに、前記基準クロックに基づく時刻を表現するための各桁の数値を個別に符号化し、符号化された各桁の数値を前記被写体に表示させてもよい。例えば、前記各桁の数値のうち、第１の桁の数値は、前記基準クロックに基づく時刻の更新ごとに、更新されて、符号化および表示され、第２の桁の数値は、前記時刻の更新がＮ回（Ｎは２以上の整数）行われるごとに、更新されて、符号化および表示される。

これにより、例えば、基準クロックに基づく時刻を表現するための、秒の桁の数値と、１／１０秒の桁の数値と、１／１００秒の桁の数値とがそれぞれ個別に符号化されて表示される。また、例えば、基準クロックに基づく時刻の精度が１／１００秒であれば、１／１００秒の桁の数値は、基準クロックの時刻の更新ごとに、更新されて、符号化および表示され、１／１０秒の桁の数値は、基準クロックの時刻の更新が１０回行われるごとに、更新されて、符号化および表示される。したがって、第１の端末装置による動画撮影のフレームレートが遅いために、１／１００秒の精度で、画像に映し出される基準クロックの時刻を特定することができなくても、秒または１／１０秒の精度で、その時刻を特定することができる。その結果、動画撮影のフレームレートによる影響を抑えて、第１の端末装置のクロックを基準クロックに正確に同期させることができる。

また、前記一次元コードまたは二次元コードは、水平方向の幅が垂直方向の幅よりも長い長方形であってもよい。

これにより、被写体にタイムコードとして映し出される１次元コードまたは二次元コードを、水平方向のどの角度から撮影しても、そのタイムコードによって表現される時刻を正確に読み取ることができる。つまり、撮影方向によるタイムコードの読み取りエラーの発生を抑えることができる。

また、前記第１の端末装置による撮影では、前記撮影時刻情報によって示される撮影時刻から動画の撮影を開始し、前記撮影方法では、さらに、前記第１の端末装置が、前記動画の撮影によって第１の周期ごとに得られるピクチャのうち、前記第１の周期よりも長い第２の周期ごとに得られるピクチャのみをサーバに送信してもよい。例えば、前記撮影方法では、さらに、前記第１の端末装置が、前記第２の周期を示す周期情報を前記サーバから取得し、前記サーバへの送信では、前記第１の周期ごとに得られるピクチャの中から、取得された前記周期情報によって示される前記第２の周期ごとに得られるピクチャのみを選択し、選択されたピクチャを前記サーバに送信する。

これにより、サーバに送信される動画像のフレームレートを適切に落とすことができ、サーバによる処理負担を軽減することができる。

また、本発明の一態様に係るシステムは、通信ネットワークを介して接続される複数の端末装置およびサーバからなる撮影システムであって、前記サーバは、基準クロックと、前記複数の端末装置のそれぞれのクロックを、前記サーバの基準クロックに同期させるための処理を行うサーバ同期処理部と、前記サーバの基準クロックに基づく撮影時刻を示す撮影時刻情報を前記複数の端末装置のそれぞれに前記通信ネットワークを介して送信する情報送信部とを備え、前記複数の端末装置のそれぞれは、クロックと、前記サーバ同期処理部による処理に応じて、当該端末装置のクロックを、前記サーバの基準クロックに同期させる端末同期処理部と、前記情報送信部から送信される前記撮影時刻情報を、前記通信ネットワークを介して取得する情報取得部と、前記サーバの基準クロックに既に同期された当該端末装置のクロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う撮影部とを備える。

これにより、複数の端末装置のクロックのそれぞれが基準クロックに予め同期されているため、それらの端末装置は、撮影時刻情報を撮影時刻よりも少し前に取得すれば、基準クロックに基づく撮影時刻に高い精度で一致するタイミングに、同時に撮影を行うことができる。したがって、複数の端末装置のそれぞれで撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。

また、本発明の一態様に係るサーバは、基準クロックと、複数の端末装置のそれぞれのクロックを、前記基準クロックに同期させるための処理を行う同期処理部と、前記基準クロックに基づく撮影時刻を示す撮影時刻情報を前記複数の端末装置のそれぞれに通信ネットワークを介して送信する情報送信部とを備える。

これにより、複数の端末装置のクロックを基準クロックに同期させることができ、撮影時刻情報を撮影時刻よりも少し前に各端末装置に送信すれば、それらの端末装置に対して、基準クロックに基づく撮影時刻に高い精度で一致するタイミングに撮影を行わせることができる。したがって、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
実施の形態１における撮影方法について説明する。

図１は、本実施の形態における撮影方法によって撮影を行う撮影システムを示す図である。

本実施の形態における撮影システムは、それぞれ通信ネットワーク（以下、単にネットワークという）を介して接続される端末装置１１０Ａ、端末装置１１０Ｂおよびサーバ１２０を備える。端末装置１１０Ａおよび端末装置１１０Ｂは、それぞれ動画または静止画の撮影機能を有する第１および第２の端末装置であって、それぞれ例えばカメラ、スマートフォン、または監視カメラとして構成されている。端末装置１１０Ａは、内部時計であるクロック１１１ａを備え、端末装置１１０Ｂも、端末装置１１０Ａと同様に、内部時計であるクロック１１１ｂを備える。なお、本実施の形態では、端末装置１１０Ａおよび端末装置１１０Ｂは、それぞれ同一の構成を有するため、端末装置１１０Ａについて詳細に説明する。サーバ１２０は、内部時計であるクロック１２１を備える。このサーバ１２０のクロック１２１は基準クロックとして用いられる。これらのクロック１１１ａ，１１１ｂ，１２１はそれぞれ個別に、時刻を周期的に更新する。

サーバ１２０は、端末装置１１０Ａおよび端末装置１１０Ｂと通信することにより、端末装置１１０Ａのクロック１１１ａおよび端末装置１１０Ｂのクロック１１１ｂのそれぞれをサーバ１２０のクロック１２１に同期させる。これにより、クロック１１１ａおよびクロック１１１ｂの時刻は、基準クロックであるクロック１２１の時刻に一致する。そして、サーバ１２０は、ネットワークを介して、端末装置１１０Ａおよび端末装置１１０Ｂのそれぞれに撮影時刻を通知することによって、その撮影時刻に、端末装置１１０Ａおよび端末装置１１０Ｂのそれぞれに撮影をさせる。

これにより、本実施の形態における撮影システムでは、複数の端末装置による動画または静止画の撮影の時刻を高精度に一致させることができる。

図２は、本実施の形態における端末装置１１０Ａの構成を示すブロック図である。

端末装置１１０Ａは、上述のクロック１１１ａと、端末同期処理部１１２と、情報取得部１１３と、撮影部１１４と、端末画像処理部１１５とを備える。

端末同期処理部１１２は、サーバ１２０とパケットの送受信を行って、端末装置１１０Ａのクロック１１１ａの時刻を補正（または調整）することによって、そのクロック１１１ａをサーバ１２０のクロック１２１に同期させる。つまり、端末同期処理部１１２は、クロック１１１ａの時刻をクロック１２１の時刻に合わせる。

情報取得部１１３は、サーバ１２０のクロック１２１に基づく撮影時刻を示す撮影時刻情報を、そのサーバ１２０からネットワークを介して取得する。

撮影部１１４は、サーバ１２０のクロック１２１に既に同期された端末装置１１０Ａのクロック１１１ａに基づいて、取得された撮影時刻情報に示される撮影時刻に撮影を行う。なお、撮影部１１４は、動画撮影を行う場合には、その撮影時刻を撮影開始時刻として扱い、その撮影開始時刻から所定のフレームレートでの動画撮影を開始する。

端末画像処理部１１５は、撮影部１１４による撮影によって得られた画像をサーバ１２０に送信する。また、画像をサーバ１２０に送信する際には、端末画像処理部１１５は、撮影が行われた、またはその画像が得られた、補正後のクロック１１１ａに基づく時刻を、タイムスタンプとしてその画像に付与する。さらに、端末画像処理部１１５は、その画像を得るために撮影を行った端末装置（具体的には端末装置１１０Ａ）を識別するための識別子をその画像に付与する。言い換えれば、端末画像処理部１１５は、基準クロックに既に同期された端末装置１１０Ａのクロックに基づく、撮影が行われた時刻を示すタイムスタンプを、撮影によって得られた画像に付加する。そして、端末画像処理部１１５は、タイムスタンプおよび識別子が付与された画像をサーバ１２０に送信する。これにより、サーバ１２０は、端末装置１１０Ａから画像を取得すると、その画像が撮影された時刻を容易に特定することができる。なお、タイムスタンプによって示される時刻は、実際に撮影が行われて画像が得られた時刻であって、静止画の撮影において撮影開始から撮影完了までの時間が０であれば、上述の撮影時刻情報によって示される撮影時刻と一致する。また、端末画像処理部１１５は、端末装置１１０Ｂと共有される画像（以下、共有画像という）をサーバ１２０から取得すると、その共有画像を表示する。

なお、端末装置１１０Ｂも、端末装置１１０Ａと同様に、端末装置１１０Ｂのクロック１１１ｂを基準クロックであるサーバ１２０のクロック１２１に同期させる。そして、端末装置１１０Ｂは、ネットワークを介して上述の撮影時刻情報を取得する。端末装置１１０Ｂは、基準クロックに基づいて、つまり、基準クロックに既に同期された端末装置１１０Ｂのクロック１１１ｂに基づいて、撮影時刻情報によって示される撮影時刻に撮影を行う。

このように本実施の形態では、複数の端末装置のクロックが基準クロックに同期され、サーバ１２０から送信される撮影時刻情報に示される撮影時刻に、複数の端末装置が撮影を行う。したがって、複数の端末装置間における撮影タイミングをより高い精度で一致させることができる。

図３は、本実施の形態におけるサーバ１２０の構成を示すブロック図である。

サーバ１２０は、上述のクロック１２１と、サーバ同期処理部１２２と、情報送信部１２３と、サーバ画像処理部１２４とを備える。

サーバ同期処理部１２２は、端末装置１１０Ａとパケットの送受信を行い、端末装置１１０Ａのクロック１１１ａがサーバ１２０のクロック１２１と同期するための処理を行う。サーバ同期処理部１２２は、このような同期のための処理を端末装置１１０Ａだけでなく、端末装置１１０Ｂに対しても同様に行う。これにより、端末装置１１０Ａのクロック１１１ａと端末装置１１０Ｂのクロック１１１ｂとが、サーバ１２０の基準クロックであるクロック１２１と同期する。

情報送信部１２３は、上述の撮影時刻情報を端末装置１１０Ａおよび端末装置１１０Ｂに送信する。これにより、端末装置１１０Ａと端末装置１１０Ｂは、撮影時刻情報によって示される撮影時刻に、つまり同時に、撮影を行う。

サーバ画像処理部１２４は、端末装置１１０Ａおよび端末装置１１０Ｂのそれぞれから、撮影によって得られた画像を取得する。そして、サーバ画像処理部１２４は、端末装置１１０Ａによる撮影によって得られた画像を共有画像として端末装置１１０Ｂに送信する。または、サーバ画像処理部１２４は、端末装置１１０Ｂによる撮影によって得られた画像を共有画像として端末装置１１０Ａに送信する。あるいは、サーバ画像処理部１２４は、端末装置１１０Ａによる撮影によって得られた画像と、端末装置１１０Ｂによる撮影によって得られた画像とを合成することによって例えば三次元画像を生成する。そして、サーバ画像処理部１２４は、その三次元画像を共有画像として端末装置１１０Ａおよび端末装置１１０Ｂのそれぞれに送信する。

また、本実施の形態におけるサーバ画像処理部１２４は、端末装置１１０Ａおよび端末装置１１０Ｂの位置推定を行う。具体的には、端末装置１１０Ａは、端末装置１１０Ａの位置推定を行うために必要とされる複数の画像をサーバ１２０に送信する。この複数の画像は、ユーザによって端末装置１１０Ａがそれぞれ異なる方向に向けられるたびに、端末装置１１０Ａによって撮影された画像である。サーバ画像処理部１２４は、端末装置１１０Ａから送信された上述の複数の画像に映し出されている被写体の大きさおよび向きなどから、端末装置１１０Ａの位置を推定する。このように推定された端末装置１１０Ａの位置は、上述の三次元画像の生成に利用される。なお、端末装置１１０Ａおよび端末装置１１０Ｂによる撮影によって得られた画像を用いて特徴量マッチング等の画像処理を行うことにより、端末装置１１０Ａおよび端末装置１１０Ｂそれぞれの位置を推定するようにしても構わない。

図４Ａは、端末同期処理部１１２およびサーバ同期処理部１２２の処理動作を示すフローチャートである。端末同期処理部１１２は、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）を用いて、端末装置１１０Ａのクロック１１１ａをサーバ１２０のクロック１２１に同期させる。

具体的には、端末装置１１０Ａの端末同期処理部１１２は、端末装置１１０Ａのクロック１１１ａに基づく時刻を示すタイムスタンプを格納するパケットを、サーバ１２０に送信する（ステップＳ２０１）。なお、このタイムスタンプによって示される時刻は、そのパケットが端末装置１１０Ａから送信される時刻である。

次に、サーバ１２０のサーバ同期処理部１２２は、端末装置１１０Ａから上述のパケットを受信すると、サーバ１２０のクロック１２１に基づく時刻を示すタイムスタンプを格納したパケットを端末装置１１０Ａへ送り返す（ステップＳ２０２）。なお、このタイムスタンプによって示される時刻は、そのパケットがサーバ１２０から送信される時刻である。

端末装置１１０Ａの端末同期処理部１１２は、サーバ１２０から送り返されたパケットに格納されているタイムスタンプの時刻と、ステップＳ２０１で送信されたパケットに格納されているタイムスタンプの時刻との差分を、遅延時間として算出する（ステップＳ２０３）。ネットワークにおける伝送と、サーバ１２０におけるパケットに対する応答処理とにそれぞれ遅延が発生していなければ、上述の遅延時間は、端末装置１１０Ａのクロック１１１ａとサーバ１２０のクロック１２１との時差である。したがって、端末装置１１０Ａの端末同期処理部１１２は、その遅延時間だけ、端末装置１１０Ａのクロック１１１ａの時刻を補正（例えば、加算または減算）する（ステップＳ２０４）。つまり、端末装置１１０Ａは、第１のパケットをサーバに送信することによって、サーバ１２０から、基準クロックに基づく時刻を示す第２のパケットを受信する。端末装置１１０Ａは、その第２のパケットによって示される時刻と、第１のパケットがサーバ１２０に送信されたときの、端末装置１１０Ａのクロック１１１ａに基づく時刻との差分が、ゼロになるように、端末装置１１０Ａのクロック１１１ａを調整する。端末装置１１０Ａは、この調整、つまり補正によって、端末装置１１０Ａのクロック１１１ａを、基準クロックであるサーバ１２０のクロック１２１に同期させる。

実際には、ネットワークにおける伝送とサーバの応答処理とにはそれぞれ遅延が発生している。したがって、端末同期処理部１１２は、これらの遅延を考慮して遅延時間を算出してもよい。例えば、端末同期処理部１１２は、端末装置１１０Ａがサーバ１２０にパケットを送信する時刻（Ｔｃｓ）と、サーバ１２０が端末装置１１０Ａからパケットを受信する時刻（Ｔｓｒ）と、サーバ１２０が端末装置１１０Ａにパケットを送り返す時刻（Ｔｓｓ）と、端末装置１１０Ａがパケットをサーバ１２０から受信した時刻（Ｔｃｒ）とを計測する。なお、サーバ１２０から送り返されるパケットには、時刻Ｔｓｒを示すタイムスタンプおよび時刻Ｔｓｓを示すタイムスタンプが含まれている。次に、端末同期処理部１１２は、遅延時間＝（Ｔｓｓ＋Ｔｓｒ）／２−（Ｔｃｓ＋Ｔｃｒ）／２によって、遅延時間を算出する（ステップＳ２０３）。

なお、本実施の形態では、ＮＴＰを用いるが、ＲＴＣＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を用いてもよい。ＲＴＣＰでも、ＮＴＰと同様に、端末装置のタイムスタンプをパケットに格納することができる。したがって、ＲＴＣＰを用いる場合でも、ＮＴＰと同様に、端末装置のクロックをサーバのクロックに一致させることができる。ＲＴＣＰは、リアルタイムの映像伝送プロトコルＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）と一緒に用いられる仕組みであって、映像の受信側から送信側へ伝送状態をフィードバッグする仕組みである。ＲＴＣＰパケットによって、映像の実際の受信品質を示す情報とともに、映像の受信側のタイムスタンプが、映像の送信側へ送信される。映像の送信側は、その受信品質を示す情報を受信すると、上述のＮＴＰのように、その情報を受信した時刻を示すタイムスタンプ（Ｔｓｒ）と、その情報に対する応答を送る時刻を示すタイムスタンプ（Ｔｓｓ）とを格納したパケットを、映像の受信側（本実施の形態では端末装置１１０Ａ）へ送り返す。端末装置１１０Ａは、送り返されたパケットを受信した時刻を示すタイムスタンプ（Ｔｃｒ）を計測する。そして、端末装置１１０Ａは、上述の４つのタイムスタンプに基づいて、ＮＴＰの場合と同様に、遅延時間を算出し、クロック１１１ａの時刻を補正する。また、ＮＴＰまたはＲＴＰ以外のプロトコルなどを用いてクロック１１１ａの時刻を補正してもよい。

このように、端末装置１１０Ａのクロック１１１ａは、サーバ１２０のクロック１２１と同期される。端末装置１１０Ｂのクロック１１１ｂも、同様に、サーバ１２０のクロック１２１と同期される。したがって、サーバ１２０にネットワークを介して接続される各端末装置のクロックは、サーバ１２０の基準クロックであるクロック１２１と同期される。つまり、端末装置１１０Ａのクロック１１１ａの時刻と、端末装置１１０Ｂのクロック１１１ｂの時刻とが一致する。その結果、端末装置間のクロックの同期が得られる。言い換えれば、各端末装置のクロックの時刻が合わせられる。

このような各クロックの同期、すなわち時刻合わせは、共有のためにサーバ１２０に送信される静止画または動画の撮影（いわゆる本番撮影）前に行われる。これにより、適切なタイミングで各端末装置に撮影をさせることができ、それらの撮影によって得られた画像を三次元画像の生成に利用することができる。

図４Ｂは、端末装置１１０Ａによる撮影方法を示すフローチャートである。

端末装置１１０Ａのユーザは、例えば撮影会などのイベントに参加する。このとき、端末装置１１０Ａはサーバ１２０に接続する（ステップＳ２１１）。ここで、サーバ１２０は、ユーザ認証を行ってもよい。次に、端末装置１１０Ａは、ユーザに対して、周辺を一定時間撮影するように指示する（ステップＳ２１２）。例えば、端末画像処理部１１５は、「周辺を一定時間撮影してください」といメッセージを表示することによって、上述の指示を行う。この指示は、端末装置１１０Ａの位置をサーバ１２０に推定させるために行われる。この指示にしたがって、ユーザは、自らの周辺を見渡すように、端末装置１１０Ａの向きを変えながら、端末装置１１０Ａに撮影（例えば動画撮影）させる。このとき、端末装置１１０Ａの撮影部１１４は、ユーザによって端末装置１１０Ａがそれぞれ異なる方向に向けられるたびに撮影を行う。そして、端末装置１１０Ａの端末画像処理部１１５は、その撮影によって画像（例えばピクチャまたはフレーム）が得られるごとに、その画像をサーバ１２０に送信する。サーバ１２０のサーバ画像処理部１２４は、端末装置１１０Ａから送信されるそれらの画像に基づいて、端末装置１１０Ａの位置を推定する。

なお、端末装置１１０Ａは、ステップＳ２１２において、ユーザに対して指示を行う際には、目印となるようなランドマークを被写体に含めるように指示してもよい。これにより、サーバ１２０による位置推定の精度を向上させることができる。例えば、ユーザが野球場にいる場合には、端末装置１１０Ａは、ホームベース、一塁ベース、二塁ベースおよび三塁ベースからなるダイヤモンドを被写体に含めるように指示する。あるいは、端末装置１１０Ａは、野球場の電光掲示板を撮影するように指示する。また、ユーザがサッカー場にいる場合には、端末装置１１０Ａは、ゴール、ペナルティエリア、あるいは、センターサークルなどの、特徴的なものを撮影するように指示する。

端末装置１１０Ａの端末同期処理部１１２は、この位置推定が（例えば数秒）行われている間に、ＮＴＰまたはＲＴＣＰの手法を用いて、端末装置１１０Ａのクロック１１１ａをサーバ１２０のクロック１２１に同期させる（ステップＳ２１３）。つまり、このときに、端末装置１１０Ａは、図４Ａに示すフローチャートにしたがって、自らのクロック１１１ａをサーバ１２０のクロック１２１に同期させる。

次に、サーバ１２０は、クロックの同期および位置推定を含む処理であるキャリブレーションが完了すると、そのことを示す通知（キャリブレーション完了通知）を端末装置１１０Ａに送信する。端末装置１１０Ａはそのキャリブレーション完了通知を受信すると、撮影部１１４によるキャリブレーションのための撮影を中断させる（ステップＳ２１４）。さらに、端末装置１１０Ａは、ユーザに対して、キャリブレーションが完了したことを通知する（ステップＳ２１５）。例えば、端末画像処理部１１５は、「キャリブレーションが完了しました。通常利用が可能です。」といメッセージを表示することによって、上述の通知を行う。キャリブレーションには、ユーザに端末装置１１０Ａの向きを変えてもらうなどの協力が必要である。したがって、ユーザは、上述の通知を受けることによって、その協力が不要になったことを把握することができる。

次に、サーバ１２０の情報送信部１２３は、撮影時刻情報を端末装置１１０Ａに送信する。端末装置１１０Ａの情報取得部１１３は、撮影時刻情報を受信すると、その撮影時刻情報によって示される撮影時刻に、撮影部１１４に撮影をさせる（ステップＳ２１６）。このときに行われる撮影は、位置推定を行うための撮影ではなく、ユーザが所望の画像を得るための撮影（いわゆる本番撮影）である。また、撮影部１１４は、動画の撮影を行う際には、その撮影時刻を撮影開始時刻として扱い、その撮影開始時刻から、所定のフレームレートで動画の撮影を開始する。

このように、本実施の形態では、端末装置１１０Ａは、クロックの同期を行うときに、待ち時間が発生するため、この待ち時間に、位置推定をサーバ１２０に行わせる。三次元画像の生成のための複数の端末装置による撮影では、各端末装置の位置は重要である。したがって、ステップＳ２１３では、端末装置１１０Ａの位置が推定されるように、ユーザは周辺を見渡すように端末装置１１０Ａに撮影を行わせる。なお、端末装置１１０Ａが、監視カメラなどのように撮影部１１４（カメラ）を動かす能力がある場合には、上述の周辺を見渡すような撮影を自動的に行う。また、端末装置１１０Ａが、ユーザに携帯されるカメラ、ビデオカメラまたは携帯端末などの場合には、ユーザに対して周辺を撮影するように指示する。

図５は、撮影（本番撮影）を行うためのサーバ１２０と端末装置１１０Ａとの処理動作を示すフローチャートである。この図５は、図４ＢのステップＳ２１６の処理動作を詳細に示す。

サーバ１２０と端末装置との間でのネットワークによる伝送遅延は、端末装置の能力によって異なる場合が多いと想定される。例えば、Ｗｉ−Ｆｉ（登録商標）経由の通信と、３ＧまたはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの無線通信とでは、応答速度も通信速度も異なる。サーバ１２０から全ての端末装置へ一斉に撮影開始指示のパケットを送るやり方では、各端末装置での撮影のタイミングにずれが発生してしまう。そこで、サーバ１２０は、本番撮影が動画撮影の場合、Ｘ時Ｙ分Ｚ秒から撮影を開始しなさいというように、具体的な撮影開始時刻を示す撮影時刻情報を、その撮影開始時刻よりもやや前の時点で、各端末装置へ送信する。なお、上述のＸは０〜２３までの整数であり、ＹおよびＺはそれぞれ０〜５９までの整数である。以下、具体的に説明する。

サーバ１２０は、端末装置１１０Ａの撮影開始時刻を上述の撮影時刻として決定する（ステップＳ３０１）。この撮影開始時刻は、例えば、動画撮影の開始時刻であって、既に動画撮影を行っているその他の端末装置（例えば、端末装置１１０Ｂ）の撮影タイミングと、端末装置１１０Ａの撮影タイミングとが同期するように決定された時刻である。なお、サーバ１２０は、撮影開始時刻に加えて、撮影のフレームレートも決定してもよい。また、サーバ１２０は、フレームレートまたは画像解像度などの能力に関する情報交換を端末装置１１０Ａと行った後に、撮影開始時刻およびフレームレートを決定してもよい。

サーバ１２０は、撮影開始時刻の少し前の時刻に、撮影開始時刻を示す撮影時刻情報を端末装置１１０Ａに送信する（ステップＳ３０２）。少し前の時刻とは、ネットワークの伝送遅延および撮影開始の遅延を考慮した時間である。次に、端末装置１１０Ａは、撮影時刻情報を受け取る（ステップＳ３０３）。端末装置１１０Ａは、撮影部１１４の準備処理を行い、撮影時刻情報に示される撮影開始時刻まで撮影部１１４を待機させる（ステップＳ３０４）。具体的には、撮影部１１４の処理がソフトウェアで実現される場合には、端末装置１１０Ａは、撮影開始時刻までの残り時間だけソフトウェアをスリープさせるか、撮影開始時刻にソフトウェアが起動するように、タイマテーブルへの登録を行う。クロック１１１ａに基づく現在時刻が撮影開始時刻に達すると、撮影部１１４は撮影を開始する（ステップＳ３０５）。なお、撮影部１１４の準備処理は端末装置によって異なる。したがって、ステップＳ３０４において、端末装置１１０Ａがあらかじめ準備処理を行っておくことは、複数の端末装置の撮影タイミングを一致させるのに効果的である。

ここで、撮影開始時刻に撮影のトリガを発生させても、撮影開始時刻から実際に撮影が行われるまでには遅延が発生する場合がある。具体的には、トリガがソフトウェアで実現される場合、トリガ発生から、撮影部１１４の物理的または光学系の実際の動作までは遅延がある。この遅延には、状況によって変化する遅延も含まれるが、端末装置や撮影部１１４のソフトウェアまたはデバイスに固有の遅延も含まれる。以下、状況によって変化する遅延時間を変動遅延時間といい、ソフトウェアまたはデバイスに固有の遅延時間を固有遅延時間という。さらに、変動遅延時間と固有遅延時間を含む時間を撮影遅延時間という。

そこで、端末装置１１０Ａを含む各端末装置は、自身の端末装置または撮影部のモデルを示す情報を、サーバ１２０に送信する。サーバ１２０は、モデルごとに、そのモデルの固有遅延時間を示すテーブルを参照し、送信された上述の情報に示されるモデルに対応する固有遅延時間を特定する。そして、サーバ１２０は、端末装置ごとに、その端末装置に対して特定された固有遅延時間をその端末装置に通知する。また、変動遅延時間は、光学系への入射光の量または画像の解像度などによって変動し、端末装置本体が静止しているか、動かされているかによっても変動する。したがって、各端末装置は、これらの状況または環境を示すパラメータを取得し、それらのパラメータに応じた変動遅延時間をサーバから取得する。

この場合、各端末装置は、固有遅延時間および変動遅延時間から撮影遅延時間を導出する。例えば、各端末装置は、固有遅延時間と変動遅延時間とを加算することによって撮影遅延時間を導出する。あるいは、各端末装置は、固有遅延時間と変動遅延時間とのうちの長い方の時間を撮影遅延時間として導出する。そして、端末装置は、撮影時刻情報を受信すると、撮影時刻情報によって示される撮影時刻から、その導出された撮影遅延時間だけ前の時点に、スリープの状態から起動して（つまり、タイマ起動して）撮影を行う。

つまり、端末装置１１０Ａは、その端末装置１１０Ａにおける撮影開始から撮影が実行されるまでの撮影遅延時間を特定し、記撮影時刻情報によって示される撮影時刻よりもその撮影遅延時間だけ前の時刻に、撮影を開始する。これにより、様々な物理的な要因に影響を受けることなく、基準クロックに基づく撮影時刻により高い精度で一致するタイミングに撮影を行うことができる。

なお、固有遅延時間を、以下のように計測してもよい。つまり、固有遅延時間が既知である端末装置Ｒと、固有遅延時間の計測対象とされる端末装置Ｘとに、上述のようなＮＴＰ等によるクロックの同期を実行させる。さらに、それらの端末装置Ｒおよび端末装置Ｘに対して、同一の撮影時刻を指定して、同一状況または同一環境下で撮影させる。このとき、撮影の対象として、高精度に時刻が表示されている時計（例えばストップウォッチなど）を撮影させる。端末装置Ｒの撮影によって得られた画像に映し出されている時刻と、端末装置Ｘの撮影によって得られた画像に映し出されている時刻との差分を、端末装置Ｒの既知である固有遅延時間に加算または減算することによって、端末装置Ｘの固有遅延時間を導出ることができる。なお、上述のＮＴＰ等によるクロックの同期は省略してもよい。また、計測または導出される固有遅延時間の誤差を軽減するため、固有遅延時間を繰り返し導出したり、エラー値を排除したり、繰り返し導出された固有遅延時間を平均化したりしてもよい。また、サービスの提供者または端末装置のメーカが、このような計測を予め行ってもよいし、端末装置の所有者が行ってもよい。

このように、本実施の形態では、各端末装置のクロックの時刻は、基準となるサーバ１２０のクロックの時刻に一致する。したがって、各端末装置は、ネットワークの伝送遅延または端末装置の撮影遅延時間に影響されることなく、同じ時刻に撮影を行うことができる。

なお、サーバ１２０のクロック１２１には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）時計または原子時計などを用い、そのクロック１２１を世界の基準時計に合わせてもよい。この場合、端末装置１１０Ａは、サーバ１２０のクロック１２１との間で、クロック１１１ａの同期を直接行わずに、世界の基準時計と同期されている任意の別のクロックとの間で、クロック１１１ａの同期を行ってもよい。例えば、基準クロックは端末装置１１０Ｂに備えられているクロック１１１ｂであって、端末装置１１０Ａは、自らのクロック１１１ａを、端末装置１１０Ｂのクロック１１１ｂに同期させる。

また、端末装置１１０Ａは、クロック１１１ａの同期を、撮影の直前に開始するのではなく、撮影開始から所定の時間経過後に開始してもよい。これにより、端末装置１１０Ａの立ち上がり時の負担を減らし、スムーズに撮影を開始することができる。

なお、撮影時刻情報には、撮影終了時刻を含めるようにして構わない。これにより、端末装置１１０Ａ及び端末装置１１０Ｂは、撮影終了時刻に合せて同時に撮影を終了することができる。また、端末装置１１０Ａ及び端末装置１１０Ｂは、撮影映像をリアルタイムにサーバ１２０に送信するようにしても構わない。また、撮影映像をいったんは端末装置１１０Ａ及び端末装置１１０Ｂのローカルディスクに保存し、撮影終了後にサーバ１２０に送信するようにしても構わない。

（実施の形態２）
実施の形態１のように、端末装置がクロックの同期を行い、さらに、撮影時刻から撮影遅延時間だけ前に撮影を開始することにより、複数の端末装置間における実際の撮影時刻を高精度に一致させることができる。しかし、それでも、様々な予測困難な外的要因により、同期がうまくとれない場合がある。

そこで、本実施の形態では、撮影の同期がとれているのか、とれていなければ、撮影のタイミングがずれている時間はどれぐらいなのかを、直接的に検知する方法を提供する。つまり、本実施の形態では、時計などを撮影し、撮影によって得られる画像に映し出されている時刻と、端末装置のクロックの時刻とを比較することによって、撮影のタイミングがずれている時間を直接的に検知する。以下、本実施の形態について、具体的に説明する。

図６は、本実施の形態における撮影方法によって撮影を行う撮影システムを示す図である。

本実施の形態における撮影システムは、複数の端末装置１１０Ｃと、サーバ１２０Ｃと、表示装置１３０とを備える。なお、説明を簡単にするために、図６には端末装置１１０Ｃを１つだけ示している。また、本実施の形態における撮影システムに含まれる構成要素のうち、実施の形態１の構成要素と同じ参照符号が付されたものは、実施の形態１の構成要素と同一であるため、それらの構成要素についての詳細な説明は省略する。

サーバ１２０Ｃは、基準クロックであるクロック１２１と、サーバ同期処理部１２２ｃと、情報送信部１２３と、サーバ画像処理部１２４とを備える。サーバ同期処理部１２２ｃは、ＮＴＰなどの手法と異なる手法によって、端末装置１１０Ｃの撮影系クロック１１１ｃがサーバ１２０のクロック１２１と同期するための処理を行う。このようなサーバ同期処理部１２２ｃは、タイムコード符号化部１２５、タイムコード検出復号部１２６および遅延時間導出部１２７を備える。

タイムコード符号化部１２５は、所定の周期ごとに、サーバ１２０のクロック１２１に基づく現在の時刻ＴＳＳＶＲをタイムコードに符号化する。タイムコードは、時刻を示す例えばＱＲコード（登録商標）などの二次元コードである。なお、このようなタイムコードは、視覚的に時刻を示すものであれば、模様、文字、数字または記号などによって構成されるどのような画像であってもよい。このようなタイムコードは、符号化によって生成されるごとに、表示装置１３０に随時送信されて連続的に切り替えて表示される。

ここで、表示装置１３０は、任意の画像を表示することができ、その画像を時間的に変化させることができる装置である。より具体的には、表示装置１３０は、一般的な紙の印刷物ではなく、例えば、液晶、ブラウン管、大画面ＬＥＤ装置、発光装置、または可視光外領域の光電波信号（典型的には近赤外線画像、遠赤外線画像、マイクロレーダー画像、またはＸ線画像）を表示する装置などである。なお、時刻を表示する機能を有するものであれば、表示装置１３０の代わりに、機械的または物理的な動作を行う時計を用いてもよい。しかし、一般的な時計の場合には、秒針が最小の表示単位であり、時刻を秒単位よりも短い周期で表示することができない。そのため、同期の精度を高めることが難しい。そこで、１／１０秒または１／１０００秒の精度で時刻を表示する機能を備える時計を用いれば、同期の精度を高めることができる。このような時計は、デジタル時計であれば、１／１０秒などの精度の時刻の表示を行う機能を有する時計であり、アナログ時計であれば、その精度の時刻を目で見て認識可能なように針を動かす機能を有する時計である。

このような表示装置１３０によって、サーバ１２０のクロック１２１の時刻ＴＳＳＶＲがタイムコードの形で表示される。

タイムコード検出復号部１２６は、端末装置１１０Ｃから、その端末装置１１０Ｃによる撮影によって得られた画像を取得する。そして、タームコード検出復号部１２６は、その画像に映し出されているタイムコードを復号することによって、そのタイムコードが示す時刻ＴＳＳＶＲを特定する。

遅延時間導出部１２７は、タイムコード検出復号部１２６によって特定されたタイムコードの時刻ＴＳＳＶＲと、端末装置１１０Ｃの撮影系クロック１１１ｃに基づく、端末装置１１０Ｃによる撮影が行われた時刻ＴＳＣＡＰとを取得する。そして、遅延時間導出部１２７は、時刻ＴＳＳＶＲと時刻ＴＳＣＡＰとの差分を遅延時間として導出し、その遅延時間を示す遅延時間情報を端末装置１１０Ｃに送信する。

端末装置１１０Ｃは、クロック１１１ａと、撮影系クロック１１１ｃと、端末同期処理部１１２ｃと、情報取得部１１３と、撮影部１１４ｃと、端末画像処理部１１５とを備える。

撮影系クロック１１１ｃは、システムクロックとして用いられるクロック１１１ａとは異なり、撮影に対して専用的に用いられるクロックである。例えば、撮影系クロック１１１ｃは、端末装置１１０Ｃの起動時、または、端末装置１１０ＣのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の再起動時に、システムクロックと一致するように初期化される。つまり、この撮影系クロック１１１ｃは、端末装置１１０Ｃのシステムクロックに基づいて管理される撮影用クロックである。なお、端末装置１１０Ｃによる撮影の遅延時間が予めわかっている場合には、撮影系クロック１１１ｃの時刻をその遅延時間だけ、システムクロックよりも早めておいてもよい。

なお、端末装置１１０Ｃのシステムクロックを補正することはＯＳ等の制約によりできない場合がある。また、可能な場合でも、撮影以外の稼働中の他のサービスへの影響を避けるために、システムクロックの補正はしない方がよい場合もある。それらの場合のために、撮影系クロック１１１ｃが備えられている。この撮影系クロック１１１ｃは、端末装置１１０Ｃにおいて動作する、撮影のためのソフトウェアに限定されたクロック（いわゆる仮想クロック）である。また、本実施の形態では、撮影系クロック１１１ｃとサーバ１２０Ｃのクロック１２１との間の遅延時間を算出し、その遅延時間だけ撮影系クロック１１１ｃの時刻を補正する。しかし、システムクロックであるクロック１１１ａとサーバ１２０Ｃのクロック１２１との間の遅延時間を算出し、その遅延時間だけクロック１１１ａの時刻を補正することによって得られる時刻に、撮影系クロック１１１ｃの時刻を合わせてもよい。

このように、本実施の形態では、第１の端末装置である端末装置１１０Ｃは、端末装置１１０Ｃのシステムクロック（つまりクロック１１１ａ）に基づいて管理される撮影系クロック１１１ｃを、基準クロック（つまりサーバ１２０Ｃのクロック１２１）に同期させる。

撮影部１１４ｃは、端末同期処理部１１２ｃからの指示に基づいて、表示装置１３０に表示されるタイムコードを撮影し、その撮影によって得られた画像（以下、タイムコード撮影画像という）を、端末同期処理部１１２ｃに出力する。

また、撮影部１１４ｃは、実施の形態１の撮影部１１４と同様に、サーバ１２０Ｃのクロック１２１に既に同期された撮影系クロック１１１ｃに基づいて、取得された撮影時刻情報によって示される撮影時刻に撮影を行う。なお、撮影部１１４ｃは、動画撮影を行う場合には、その撮影時刻を撮影開始時刻として扱い、その撮影開始時刻から所定のフレームレートで動画撮影を開始する。

端末同期処理部１１２ｃは、撮影部１１４ｃによってタイムコードが撮影された時刻ＴＳＣＡＰを、撮影系クロック１１１ｃに基づいて特定し、その時刻ＴＳＣＡＰをサーバ１２０に送信する。さらに、端末同期処理部１１２ｃは、サーバ１２０Ｃから遅延時間情報を取得すると、その遅延時間情報によって示される遅延時間だけ、撮影系クロック１１１ｃの時刻を補正する。これによって、撮影系クロック１１１ｃは、サーバ１２０Ｃのクロック１２１に同期される。

端末画像処理部１１５は、撮影部１１４ｃによる撮影によって得られた画像をサーバ１２０Ｃに送信する。また、画像をサーバ１２０Ｃに送信する際には、端末画像処理部１１５は、撮影が行われてその画像が得られた、補正後の撮影系クロック１１１ｃに基づく時刻をタイムスタンプとしてその画像に付与する。さらに、端末画像処理部１１５は、その画像を得るために撮影を行った端末装置（具体的には端末装置１１０Ｃ）を識別するための識別子をその画像に付与する。そして、端末画像処理部１１５は、タイムスタンプおよび識別子が付与された画像をサーバ１２０Ｃに送信する。なお、タイムスタンプによって示される時刻は、実際に撮影が行われて画像が得られた時刻であって、静止画の撮影において撮影開始から撮影完了までの時間が０であれば、上述の撮影時刻情報によって示される撮影時刻と一致する。また、端末画像処理部１１５は、他の端末装置と共有される共有画像をサーバ１２０Ｃから取得すると、その共有画像を表示する。

つまり、本実施の形態では、端末装置１１０Ｃは、表示装置１３０に表示されているタイムコードを撮影部１１４ｃに撮影させ、その撮影によってタイムコード撮影画像を得る。端末装置１１０Ｃによって撮影が行われた時刻ＴＳＣＡＰと、タイムコード撮影画像に映し出されているタイムコードから特定される時刻ＴＳＳＶＲとが、例えば、時刻ＴＳＳＶＲ ＞ 時刻ＴＳＣＡＰの関係にあれば、時刻ＴＳＣＡＰは、時刻ＴＳＳＶＲよりも遅れている。ここで、時刻ＴＳＣＡＰは、撮影が行われた撮影系クロック１１１ｃに基づく時刻であって、時刻ＴＳＳＶＲは、撮影が行われた時点におけるサーバ１２０のクロック１２１に基づく時刻である。したがって、撮影系クロック１１１ｃは、基準クロックであるサーバ１２０のクロック１２１よりも遅れている。具体的には、時刻ＴＳＣＡＰが０．１００秒であって、時刻ＴＳＳＶＲが０．４００秒であれば、撮影系クロック１１１ｃは、サーバ１２０のクロック１２１よりも、０．３００秒だけ遅れている。

端末装置１１０Ｃは、この遅れた時間（遅延時間）だけ、撮影系クロック１１１ｃを早める。つまり、撮影系クロック１１１ｃを補正（または調整）する。これによって、撮影系クロック１１１ｃは、サーバ１２０のクロック１２１と同期する。このような補正が行われた後、端末装置１１０Ｃの動作にかかる時間にばらつきがなければ、端末装置１１０Ｃの撮影系クロック１１１ｃとサーバ１２０のクロック１２１との間で常に同期がとれているため、時刻ＴＳＳＶＲ＝時刻ＴＳＣＡＰの関係がなりたつ。

このような、本実施の形態における端末装置１１０Ｃは、図４Ｂに示すフローチャートにしたがって撮影を行ってもよい。このとき、端末装置１１０Ｃは、本番撮影の前に、ステップＳ２１３において、上述の撮影系クロック１１１ｃの補正を、キャリブレーションに含まれる処理として実行する。例えば、端末装置１１０Ｃは、ステップＳ２１２の指示にしたがって、ステップＳ２１３では、野球場の電光掲示板として構成される表示装置１３０に表示されているタイムコードが被写体に含まれるように、周辺を一定時間撮影する。なお、本番撮影の時間が長い場合などには、撮影系クロック１１１ｃの補正（すなわち同期）を定期的に行ってもよい。

このように、本実施の形態では、複数の端末装置１１０Ｃがそれぞれ表示装置１３０を撮影することによって、それらの撮影系クロック１１１ｃの補正を行う。したがって、表示装置１３０に表示されるタイムコードに基づいて、複数の端末装置１１０Ｃの撮影系クロック１１１ｃを同期させることができる。言い換えれば、本実施の形態では、端末装置１１０Ｃは、基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影する。そして、端末装置１１０Ｃは、被写体が撮影された、端末装置１１０Ｃの撮影系クロック１１１ｃに基づく時刻と、被写体の撮影によって得られたタイムコード撮影画像に映し出されている時刻との差分がゼロになるように、端末装置１１０Ｃの撮影系クロック１１１ｃを調整する。これによって、端末装置１１０Ｃは、自らの撮影系クロック１１１ｃを基準クロックに同期させる。したがって、実際に撮影が行われた、基準クロックに基づく時刻が、画像に映し出されているため、端末装置１１０Ｃの撮影系クロック１１１ｃを基準クロックに、より簡単に且つより正確に同期させることができる。

ここで、撮影系クロック１１１ｃは、端末装置１１０Ｃが備えるシステムクロックであるクロック１１１ａとは異なるものである。なお、１つの端末装置内に２つのクロックが併存することは煩雑であるため、システムクロックも同時に補正してもよい。しかし、システムクロックは撮影以外の別の目的に使われている可能性もあるので、システムクロックを補正せずに、撮影目的のために独立して用いられる撮影系クロック１１１ｃのみを補正するほうが望ましい。

なお、本実施の形態では、被写体である表示装置１３０は、基準クロックに基づいて更新された時刻をＱＲコード（登録商標）として表示するが、ＱＲコード（登録商標）に限らず、一次元コードまたは二次元コードとして表示してもよい。

図７は、端末同期処理部１１２ｃおよびサーバ同期処理部１２２ｃによる同期処理を示すフローチャートである。

サーバ１２０のタイムコード符号化部１２５は、クロック１２１に基づく現在の時刻ＴＳＳＶＲを取得し（ステップＳ５０１）、その時刻ＴＳＳＶＲをタイムコードに符号化する（ステップＳ５０２）。表示装置１３０は、そのタイムコードを取得して表示する（ステップＳ５０３）。

端末装置１１０Ｃの撮影部１１４ｃは、表示されているタイムコードが被写体に含まれるように撮影する。このとき、端末同期処理部１１２ｃは、その撮影が行われた時点における撮影系クロック１１１ｃに基づく時刻ＴＳＣＡＰを取得する（ステップＳ５０４）。そして、端末同期処理部１１２ｃは、上述の撮影によって得られたタイムコード撮影画像と時刻ＴＳＣＡＰとをサーバ１２０に送信する。

サーバ１２０のタイムコード検出復号部１２６は、タイムコード撮影画像から時刻ＴＳＳＶＲを検出する。続いて、サーバ１２０の遅延時間導出部１２７は、時刻ＴＳＳＶＲ−時刻ＴＳＣＡＰによって、遅延時間を算出する（ステップＳ５０５）。そして、遅延時間導出部１２７は、その遅延時間を示す遅延時間情報を端末装置１１０Ｃに送信する。

次に、端末装置１１０Ｃの端末同期処理部１１２ｃは、その遅延時間情報に基づいて、遅延時間がゼロとなるように、撮影系クロック１１１ｃの時刻を補正する（ステップＳ５０６）。

なお、本実施の形態では、撮影系クロック１１１ｃの時刻を補正するが、この時刻を補正しなくてもよい。つまり、サーバ１２０は、算出された端末装置１１０Ｃの遅延時間を保持し、撮影時刻を決定したときには、その撮影時刻よりも遅延時間だけ早い時刻を示す撮影時刻情報を、端末装置１１０Ｃに送信する。これによって、遅延時間が相殺されて、決定された撮影時刻に、端末装置１１０Ｃに撮影をさせることができる。また、この場合には、端末装置１１０Ｃは撮影系クロック１１１ｃを備えなくてもよい。

また、ステップＳ５０１の処理からステップＳ５０３の処理まで、つまり、サーバ１２０Ｃのクロック１２１の時刻ＴＳＳＶＲが取得されから、その時刻ＴＳＳＶＲがタイムコードとして表示されるまでに、遅延が発生する場合がある。このような場合には、タイムコード符号化部１２５は、時刻ＴＳＳＶＲにその遅延にかかる時間を加算した時刻を、タイムコードに符号化してもよい。これにより、表示装置１３０に表示されるタイムコードの時刻と、サーバ１２０Ｃのクロック１２１の時刻とを厳密に一致させることができる。

ここで、本実施の形態におけるタイムコードについて詳しく説明する。本実施の形態におけるタイムコードは、具体的には、誤り耐性のあるコードであるＱＲコード（登録商標）である。

図８Ａは、ＱＲコード（登録商標）を説明するための図である。この図８Ａに示すように、ＱＲコード（登録商標）は、３つのファインダパターンと、タイミングパターンと、アライメントパターンと、コード化されたデータ部分とからなる。３つのファインダパターンは、コードの検出に用いられる。タイミングパターンは、直線上に白黒のドットが繰り返し配置されて構成されたパターンであって、これによりドットのピッチが特定される。アライメントパターンは、モジュールが一定間隔で配置されて構成されるパターンであって、これによりＱＲコード（登録商標）の変形量が特定される。データ部分は、オリジナルのデータが符号化されることによって得られるエラー訂正可能な（冗長度を持つ）符号である。

本実施の形態におけるタイムコードは、このような検出容易性、変形耐性、およびエラー訂正の能力を持つＱＲコード（登録商標）である。また、本実施の形態におけるタイムコードは、複数の端末装置によって同時に撮影されるため、斜め方向から、または遠方から撮影されるケースが想定される。したがって、本実施の形態におけるタイムコードをＱＲコード（登録商標）とすることによって、上述のようなケースであっても、タイムコードからの時刻の検出にエラーが発生してしまうことを抑えることができる。

図８Ｂ〜図８Ｅは、本実施の形態におけるタイムコードの他の例を示す図である。

例えば、本実施の形態におけるタイムコードは、図８Ｂ〜図８Ｄに示すように、横長のＱＲコード（登録商標）のようなコードであってもよい。つまり、本実施の形態におけるタイムコードは、水平方向の幅が垂直方向の幅よりも長い長方形のコードであってもよい。例えば、図８Ｂに示すタイムコードは、水平方向に配列された２つのファインダパターンを備え、タイムコードの縦の長さ（垂直方向の高さ）は、ファインダパターンの縦の長さと等しい。

このように、図８Ｂ〜図８Ｄに示すタイムコードは横長の長方形であるため、水平方向の広い角度からの撮影に対して強いエラー耐性を有する。つまり、このタイムコードは、変形耐性とピッチ検出機能を有する。したがって、複数の端末装置１１０Ｃが、水平方向に取り囲むような各位置からそのタイムコードを撮影する場合であっても、それぞれの端末装置１１０Ｃは、そのタイムコードによって示される時刻を適切に特定することができる。さらに、このタイムコードは垂直方向に短いため、タイムコードを目立たないようにすることができる。

また、図８Ｃに示すように、タイムコードは、１つだけファインダパターンを備えていてもよい。つまり、図８Ｃに示すタイムコードは、図８Ｂに示すタイムコードに含まれる２つのファインダパターンのうちの左右どちらか一方がなく、他方のファインダパターンのみを有する。

また、通常のＱＲコード（登録商標）では、ドット（セル）の形状は正方形であるが、図８Ｄに示すように、本実施の形態におけるタイムコードは、横長の長方形のドット（セル）から構成されていてもよい。これにより、水平方向の変形耐性をさらに高めることができる。

また、本実施の形態におけるタイムコードは、なるべく目立たずに表示されることが望ましいため、正方形の格子状の白黒ドットパターンからなるコードではなく、図８Ｅに示すように、六角形パターンからなるコードであってもよい。具体的には、このコードでは、一行毎に、ドットの座標が０．５ドット分だけ横方向にずれている。さらに、ドットの形状は正方形ではなく六角形である。このように、タイムコードを、六角形の格子状にすることによって、四角の格子状よりも、人間がタイムコードを見た場合における違和感を少なくすることができる。また、四角の格子状のコードでは、上下または左右のドット間の距離が、斜め方向のドット間の距離よりも短い。そのため、上下または左右のドット間で誤認識が発生しやすい。具体的には、ドットを特定する際、そのドットの隣のドットのレベルを参照してしまうことがある。一方、六角形の格子状のコードでは、ドットと、そのドットに隣接する６つのドットのそれぞれとの間の距離はすべてほぼ等しい。したがって、各方向における誤認識率は均等であり、誤認識という観点において弱点となる方向は無い。

次に、タイムコードで表現できる最小の時間単位について説明する。一般的な時計では、秒が最小の単位である。本実施の形態では、同期の精度を１ｍ秒の誤差に抑えるために、タイムコードに示される時刻は１ｍ秒の精度を有し、そのタイムコードは１ｍ秒の周期で更新されて表示される。

図９Ａ〜図９Ｃは、本実施の形態におけるタイムコードの他の例を示す図である。

例えば、タイムコードは、図９Ａに示すように、横長のＱＲコード（登録商標）のような形状のコードであって、１ｍ秒単位の精度の時刻を表す。そして、このタイムコードは、１ｍ秒ごとに更新されて表示される。このような短い周期で更新されるタイムコードを適切に撮影するためには、端末装置は、ハイスピードカメラなどの特殊な機能を有する必要がある。

そこで、本実施の形態では、時刻は、その時刻を表すための桁ごとに分割されて符号化されてもよい。例えば、時刻「ａ．ｂｃｄ」秒を符号化するときには、図９Ｂに示すように、「ａ」と「ｂ」と「ｃ」と「ｄ」とをそれぞれ独立して符号化する。なお、ａ、ｂ、ｃ、およびｄはそれぞれ０〜９のうちのいずれかの数値である。言い換えれば、秒の桁の数値と、１／１０秒の桁の数値と、１／１００秒の桁の数値と、１／１０００秒の桁の数値からなる時刻を符号化するときには、秒の桁の数値を符号化し、１／１０秒の桁の数値を符号化し、１／１００秒の桁の数値を符号化し、さらに、１／１０００秒の桁の数値を符号化する。図９Ｂに示すタイムコードは、これらの符号化によって得られた各符号が横方向に配列されて構成されている。また、各符号は、横方向に配列されるドットのパターンとして構成されている。また、それぞれの符号は独立に復号される。

これにより、秒の桁の符号は、秒単位で更新されて表示され、１／１０秒の桁の符号は、１／１０秒単位で更新されて表示され、１／１００秒の桁の符号は、１／１００秒単位で更新されて表示され、１／１０００秒の桁の符号は、１／１０００秒単位で更新されて表示される。したがって、ハイスピードカメラのような特殊な機能を有する応答性能がよい端末装置は、秒の桁の符号から１／１０００秒の桁の符号まで、各符号を正しく復号することができる。さらに、上述の端末装置よりも応答性能が劣る端末装置は、１／１０００秒の桁の符号を復号することはできなくても、例えば、１／１０秒の桁の符号、および秒の桁の符号を復号することができる。

また、図９Ｂに示すタイムコードでは、符号ごとに、その符号に対応するファインダパターン、バージョン情報、サイズ、およびエラー耐性強度情報などが付加されているが、符号ごとにこれらの情報を付加しなくてもよい。つまり、図９Ｃに示すように、タイムコードは、ファインダパターン、バージョン情報、サイズ、エラー耐性強度情報などの情報をそれぞれ１つだけ有する。例えば、これらの情報は各符号に共通に用いられる。これにより、タイムコードの表示面積を減らすことができる。なお、タイムコードの中で、一定間隔ごとにアライメントパターンが配置されていれば、そのタイムコードの変形を容易に検出することができる。したがって、タイムコードが長い場合には、複数のアライメントパターンをタイムコード内に配置してもよい。

このように、本実施の形態では、時刻を桁ごとの数値に分けて符号化してもよい。つまり、基準クロックに基づく時刻を表現するための各桁の数値を個別に符号化し、符号化された各桁の数値を被写体である表示装置１３０に表示させてもよい。このとき、各桁の数値のうち、第１の桁の数値（例えば１／１０００秒の桁の数値）は、基準クロックに基づく時刻の更新ごとに、例えば１／１０００秒ごとに、更新されて、符号化および表示される。また、各桁の数値のうち、第２の桁の数値（例えば、１／１００秒の桁の数値）は、時刻の更新がＮ回（例えば１０回）行われるごとに、更新されて、符号化および表示される。これにより、端末装置は、自らの応答性能がどのようなレベルであっても、その応答性能に応じた精度で、その時刻を検出することができる。なお、時刻を桁ごとの数値に分けて符号化することは一例であり、時刻をどのように分けて符号化してもよい。例えば、時刻を、秒の数値、分の数値、および時の数値のように分けて符号化してもよい。また、一日の最初からの経過時間をＮ進数で表現し、その経過時間を桁ごとの数値に分割して符号化してもよい。また、日付、時または分などの情報は、タイムコード以外から容易に得られるため、例えば、秒以下の桁の数値のみ、あるいは、秒未満の桁の数値のみを符号化してもよい。また、タイムコードは、これら時刻の表現形式（時刻の起点または時刻の単位など）を示す識別情報を備えてもよい。また、タイムコードは、符号化される時刻の桁の範囲を示す付加情報を備えてもよい。

（変形例）
上記実施の形態１および２では、本番撮影時に撮影部によって動画撮影が行われる場合、端末画像処理部１１５は、撮影部による撮影によって得られる全てのフレームをサーバに順次送信する。本変形例では、端末画像処理部１１５は、サーバへのデータ転送量を削減するために、撮影によって得られる各フレームを間引いて、一部のフレームのみをサーバに送信する。これにより、サーバへのデータ転送量を削減することができる。

図１０は、本変形例に係る端末画像処理部１１５の処理動作を示すフローチャートである。なお、撮影部（撮影部１１４または撮影部１１４ｃ）は、例えば３０ｆｐｓまたは６０ｆｐｓのフレームレートで動画撮影を行う。この場合、３３ｍ秒または１６．５ｍ秒の周期で、画像がフレームとして生成される。なお、撮影部によって生成される画像は、狭義の意味のフレームに限定されず、どのようなピクチャであってもよい。以下、撮影部によって生成される画像をピクチャとして説明する。

まず、端末画像処理部１１５は、撮影によって生成されたピクチャを撮影部から取得する（ステップＳ７０１）。次に、端末画像処理部１１５は、撮影時刻情報によって示される撮影開始時刻から、上述のピクチャを取得した時刻までの経過時間（ｔｉｍｅＥｌａｐｓｅｄ）を算出する（ステップＳ７０２）。なお、動画撮影の場合には、撮影時刻情報によって示される撮影時刻は撮影開始時刻として扱われる。また、ピクチャを取得した時刻は、クロック１１１ａまたはクロック１１１ｃに基づく時刻である。つまり、端末画像処理部１１５は、撮影開始時刻をｓｔａｒｔＴｉｍｅとし、ピクチャを取得した時刻をｎｏｗ（）とすると、端末画像処理部１１５は、ｔｉｍｅＥｌａｐｓｅｄ＝ｎｏｗ（）−ｓｔａｒｔＴｉｍｅによって、経過時間を算出する。

次に、端末画像処理部１１５は、ステップＳ７０１で取得されたピクチャのピクチャ番号ＰＮを算出する（ステップＳ７０３）。このとき、端末画像処理部１１５は、サーバ（サーバ１２０またはサーバ１２０Ｃ）のサーバ画像処理部１２４から予め取得されている時間間隔（ｐｅｒｉｏｄＴｒｇt）を用いる。つまり、端末画像処理部１１５は、ｔｉｍｅＥｌａｐｓｅｄをｐｅｒｉｏｄＴｒｇｔで除算することによって得られる商の整数部分を、ピクチャ番号ＰＮとして算出する。

そして、端末画像処理部１１５は、ピクチャ番号ＰＮが最終ピクチャ番号（ｌａｓｔＰＮ）と異なるか否かを判定する（ステップＳ７０４）。なお、最終ピクチャ番号は、ステップＳ７０１の処理前に「−１」に初期化されている。ここで、ピクチャ番号ＰＮが最終ピクチャ番号と異なると判定されると（ステップＳ７０４のＹ）、端末画像処理部１１５は、そのピクチャ番号ＰＮのピクチャをサーバに送信する（ステップＳ７０５）。そして、端末画像処理部１１５は、最終ピクチャ番号（ｌａｓｔＰＮ）をそのピクチャ番号ＰＮに更新する（ステップＳ７０６）。

ステップＳ７０４で、ピクチャ番号ＰＮが最終ピクチャ番号と同一であると判定された場合（ステップＳ７０４のＮ）、またはステップＳ７０６の処理の後、端末画像処理部１１５は、撮影部による動画撮影が終了したか否かを判定する（ステップＳ７０７）。端末画像処理部１１５は、動画撮影が終了したと判定すると（ステップＳ７０７のＹ）、サーバにピクチャを送信する処理を終了する。一方、端末画像処理部１１５は、動画撮影が終了していないと判定すると（ステップＳ７０７のＮ）、ステップＳ７０１からの処理を繰り返し実行する。

このように、本変形例では、端末装置は、撮影時刻情報によって示される撮影時刻から動画の撮影を開始し、その動画の撮影によって第１の周期ごとに得られるピクチャのうち、その第１の周期よりも長い第２の周期ごとに得られるピクチャのみをサーバに送信する。なお、端末装置は、第１の端末装置であって、上記各実施の形態における端末装置１１０Ａ、端末装置１１０Ｂおよび端末装置１１０Ｃのうちの何れであってもよい。また、第１の周期は、端末装置の撮影部による動画撮影のフレームレートの逆数であり、第２の周期は、上述の時間間隔（ｐｅｒｉｏｄＴｒｇt）である。また、端末装置は、その第２の周期を示す周期情報をサーバから取得する。したがって、端末装置は、第１の周期ごとに得られるピクチャの中から、取得された周期情報によって示される第２の周期ごとに得られるピクチャのみを選択し、選択されたピクチャをサーバに送信する。

これにより、撮影部によって短い周期でピクチャが順次生成されても、それらのピクチャの中から、サーバから通知される長い周期（ｐｅｒｉｏｄＴｒｇt）で順次生成されたピクチャのみを選択してサーバに送信することができる。したがって、撮影部が例えば３０ｆｐｓなどの高フレームレートで動画撮影を行っていても、サーバに送信される動画像のフレームレートを１０ｆｐｓまたは１ｆｐｓなどの低フレームレートに抑えることができる。したがって、サーバへのデータ転送量を削減することができる。

また、端末装置（端末装置１１０Ａ〜端末装置１１０Ｃのうちの何れかの端末装置）のバッテリーなどの要因によって、その端末装置による動画撮影中に、１ピクチャが撮影されるタイミングが変動したり、ピクチャの撮影が欠落してしまうことがある。したがって、複数の端末装置が撮影時刻情報にしたがって同時に動画撮影を開始しても、動画撮影中において、それらの複数の端末装置による１ピクチャの撮影のタイミングがずれてしまうことがある。

しかしながら、本変形例では、サーバに送信される動画像のフレームレートを低く抑えることができるため、端末装置のバッテリーの急激な減少を防ぐことができる。その結果、複数の端末装置のそれぞれに共通の時間間隔（ｐｅｒｉｏｄＴｒｇｔ）を通知しておくことによって、複数の端末装置による上述の撮影のタイミングのずれの発生を抑えることができる。

以上、一つまたは複数の態様に係る撮影方法について、幾つかの実施の形態および変形例に基づいて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記各実施の形態または変形例に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

例えば、本発明の一態様に係る撮影方法は、図１１に示すフローチャートによって示される撮影方法であってもよい。

図１１は、本発明の一態様に係る撮影方法を示すフローチャートである。

本発明の一態様に係る撮影方法は、端末装置が撮影を行う撮影方法であって、ステップＳ９０１〜９０３の各処理を実行する。なお、端末装置は、上述の端末装置１１０Ａ〜１１０Ｃのうちの何れかである。ステップＳ９０１では、端末装置は、その端末装置のクロックを基準クロックに同期させる。この基準クロックは例えばサーバ１２０に備えられているクロック１２１である。なお、この基準クロックは、他の端末装置または装置などに備えられているクロックであってもよい。次に、ステップＳ９０２では、端末装置は、その基準クロックに基づく撮影時刻を示す撮影時刻情報を、例えばサーバ１２０から通信ネットワークを介して取得する。さらに、ステップＳ９０３では、端末装置は、基準クロックに既に同期されたその端末装置のクロックに基づいて、上述の撮影時刻情報によって示される撮影時刻に撮影を行う。

これにより、端末装置のクロックが基準クロックに予め同期されているため、撮影時刻情報を撮影時刻よりも少し前に取得すれば、基準クロックに基づく撮影時刻に高い精度で一致するタイミングに撮影を行うことができる。したがって、撮影される時刻を高い精度で所望のタイミングに容易に合わせることができる。

なお、上記各実施の形態および変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態および変形例の端末装置などを実現するソフトウェアは、例えば、図１１に示すフローチャートの各ステップをコンピュータに実行させるプログラムである。

また、上記実施の形態１では、端末装置１１０Ａは、ＮＴＰなどの手法を用いてクロック１１１ａを基準クロックに同期させたが、このような同期が行われた後に、さらに、実施の形態２のタイムコードを撮影してもよい。このタイムコードの撮影によって、端末装置１１０Ａは、クロック１１１ａを基準クロックにより高精度に同期させてもよい。さらに、上記実施の形態１では、固有遅延時間を計測するために、端末装置Ｒおよび端末装置Ｘのそれぞれに時計を撮影させたが、この時計の代わりに、実施の形態２のタイムコードを撮影させてもよい。

さらに、上記実施の形態１では、撮影遅延時間を特定するために、端末装置は、サーバと通信を行ったが、実施の形態２のタイムコードの撮影によって、その撮影遅延時間を特定してもよい。つまり、端末装置は、基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体である表示装置１３０を撮影する。そして、端末装置は、その被写体の撮影が開始された、端末装置のクロックに基づく時刻と、被写体の撮影によって得られた画像に映し出されている時刻との差分を、撮影遅延時間として特定する。このようなタイムコードの撮影によっても、撮影遅延時間を適切に特定することができる。

また、上記実施の形態２では、タイムコード検出復号部１２６と遅延時間導出部１２７は、サーバ１２０Ｃに備えられていたが、端末装置１１０Ｃに備えられていてもよい。また、表示装置１３０はサーバ１２０Ｃに備えられていてもよい。

また、上記実施の形態１および２とその変形例では、システムクロックであるクロック１１１ａまたは撮影系クロック１１１ｃの時刻を補正し、その補正後の時刻を示すタイムスタンプを画像（具体的にはピクチャまたはフレーム）に付与した。しかし、端末装置は、システムクロックであるクロック１１１ａまたは撮影系クロック１１１ｃの補正前の時刻をタイムスタンプとして画像に付与し、その画像をサーバに送付してもよい。この場合には、サーバが、端末装置のクロックとサーバのクロックとの間の遅延時間に基づいて、画像に付与されているタイムスタンプを補正する。なお、この場合には、サーバに送信される画像が多いほど、サーバにおける処理負担は大きくなる。一方、実施の形態１および２とその変形例では、画像に付与されているタイムスタンプは既に補正されているため、サーバは、それらのタイムスタンプを補正する必要がなく、処理負担を大幅に低減することができる。

また、上記実施の形態１および２とその変形例では、端末装置は撮影によって得られた画像をリアルタイムにサーバに送信したが、リアルタイムに送信しなくてもよい。例えば、端末装置は、撮影によって得られた画像を一時的に蓄積し、ネットワークの伝送帯域に余裕があるときに、その蓄積されている画像をサーバに送信してもよい。また、端末装置は、撮影によって得られた画像のデータ量を削減して、そのデータ量が削減された画像をリアルタイムにサーバに送信してもよい。例えば、端末装置は、画像を縮小することによって、または、画像が動画像であればフレームレートを落とすことによって、データ量を削減する。この場合、端末装置は、さらに、ネットワークの伝送帯域に余裕があるときに、フルサイズの画像、またはフルフレームレートの画像をサーバに送信してもよい。

なお、本発明の１つまたは複数の態様に係る撮影方法などについて、上記各実施の形態および変形例に基づいて説明してきたが、本発明は、上記各実施の形態および変形例に限定されないのはもちろんである。以下のような場合も本発明の１つまたは複数の態様に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

（実施の形態３）
上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、（１）店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、（２）個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、（３）ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び（４）エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。

図１２は、本実施の形態における映像情報処理システムｅｘ１００の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。

図１２に示す映像情報処理システムｅｘ１００は、映像情報処理装置ｅｘ１０１と、複数のカメラｅｘ１０２と、映像受信装置ｅｘ１０３とを含む。なお、映像受信装置ｅｘ１０３は、必ずしも映像情報処理システムｅｘ１００に含まれる必要はない。

映像情報処理装置ｅｘ１０１は、保存部ｅｘ１１１と、解析部ｅｘ１１２とを備える。Ｎ個のカメラｅｘ１０２のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ｅｘ１０１に送信する機能とを有する。また、カメラｅｘ１０２は、撮影中の映像を表示する機能を有する場合もある。なお、カメラｅｘ１０２は、撮影された映像信号をＨＥＶＣ又はＨ．２６４のような符号化方式を用いてエンコードしたうえで映像情報処理装置ｅｘ１０１に送信してよいし、エンコードされていない映像データを映像情報処理装置ｅｘ１０１に送信してもよい。

ここで、各カメラｅｘ１０２は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。

移動カメラは、映像情報処理装置ｅｘ１０１から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。

また、撮影開示前に複数のカメラｅｘ１０２の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数のカメラｅｘ１０２の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。

情報処理装置ｅｘ１０１に含まれる保存部ｅｘ１１１は、Ｎ個のカメラｅｘ１０２から送信された映像データを保存する。

解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。

解析部ｅｘ１１２は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて死角検出を行う。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ｅｘ１１２は、ＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。

なお、解析部ｅｘ１１２は、カメラｅｘ１０２の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるＧＰＳ及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ｅｘ１１２に送信し、解析部ｅｘ１１２は、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。

なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、解析部ｅｘ１１２は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ｅｘ１１２は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ｅｘ１１２は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ｅｘ１１２は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。

ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。

なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。

なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ｅｘ１１２は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラｅｘ１０２の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ｅｘ１０１は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。

なお、移動カメラが複数ある場合、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ｅｘ１０１は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ｅｘ１０１は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。

以上の構成により、映像情報処理装置ｅｘ１０１は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。

（変形例１）
なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ｅｘ１０１側で制御可能であれば、映像情報処理装置ｅｘ１０１は、そのような撮影に関するカメラｅｘ１０２の特徴量を自動で制御してもよい。

ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。

また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ｅｘ１０１に登録されてもよい。この場合は、映像情報処理装置ｅｘ１０１は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。

（変形例２）
解析部ｅｘ１１２は、例えばＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像（三次元再構成データ）を生成してもよい。この自由視点映像は、保存部ｅｘ１１１に保存される。映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信される視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出して、映像受信装置ｅｘ１０３に送信する。なお、映像受信装置ｅｘ１０３は、複数のカメラ１１１の一つであってもよい。

（変形例３）
映像情報処理装置ｅｘ１０１は、撮影禁止領域を検出してもよい。この場合、解析部ｅｘ１１２は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。

解析部ｅｘ１１２は、例えば、ＳｆＭを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ｅｘ１１２は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。

また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。

例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。

また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。

以上の構成により、映像情報処理装置ｅｘ１０１は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。

（変形例４）
映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムｅｘ１００は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ｅｘ１０１は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ｅｘ１０１は、リクエストが多いなど価値のある視野（及び／又は、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。

（変形例５）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ｅｘ１０１は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラｅｘ１０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラｅｘ１０２は、このマッピングを、カメラｅｘ１０２に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。

また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。

（変形例６）
解析部ｅｘ１１２は，自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。

映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。

例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ｅｘ１０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ｅｘ１１２の解析結果に基づき、映像情報処理装置ｅｘ１０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ｅｘ１０１はユーザからリクエストがあった場合のみ過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。

（変形例７）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。

広告情報は例えば変形例５で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ｅｘ１０１は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。

また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはｅコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。

（変形例８）
映像受信装置ｅｘ１０３は、カメラｅｘ１０２（ユーザカメラ）の一つであってもよい。

この場合、解析部ｅｘ１１２は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。

例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２が判定したユーザカメラの撮影領域から視点情報の分だけ移動させた領域を撮影した映像データを保存部ｅｘ１１１から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ｅｘ１０１から配信された映像を表示する。

以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。

また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ｅｘ１０１からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ｅｘ１０１から配信された映像を視聴することができるので、障害物の影響を軽減することができる。

また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。

なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。

（変形例９）
各カメラｅｘ１０２で撮影された映像データの重要度に基づき映像データを映像情報処理装置ｅｘ１０１に転送する速度が指示されてもよい。

この場合、解析部ｅｘ１１２は保存部ｅｘ１１１に保存された映像データ、又は当該映像データを撮影したカメラｅｘ１０２の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。

また、映像データの重要度の判定は、映像データが撮影されたカメラｅｘ１０２の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラｅｘ１０２の近くに撮影中の他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、対象のカメラｅｘ１０２の位置が他のカメラｅｘ１０２から離れていても同じ領域を撮影している他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。

また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が高く設定されてもよい。逆に、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。

また、解析部ｅｘ１１２は、自由視点映像とカメラｅｘ１０２の撮影映像とを用いて、映像データの重要度を判定してもよい。

映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２で行われた重要度の判定結果に基づき、カメラｅｘ１０２に対して通信速度指示信号を送信する。映像情報処理装置ｅｘ１０１は、例えば、重要度が高い映像を撮影しているカメラｅｘ１０２に対して高い通信速度を指示する。また、映像情報処理装置ｅｘ１０１は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラｅｘ１０２と映像情報処理装置ｅｘ１０１との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ｅｘ１０１は、有線通信及び無線通信のいずれか一方のみを制御してもよい。

カメラｅｘ１０２は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ｅｘ１０１に送信する。なお、カメラｅｘ１０２は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ｅｘ１１２における処理の高速化を実現できる。

また、カメラｅｘ１０２は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。

また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要である可能性がある。この場合、カメラｅｘ１０２は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域のみを抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。

また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラｅｘ１０２は、映像情報処理装置ｅｘ１０１にカメラｅｘ１０２の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラｅｘ１０２は、カメラｅｘ１０２で検出された位置情報及び撮影方向の情報のみを送信してもよい。また、映像情報処理装置ｅｘ１０１においてカメラｅｘ１０２の位置情報及び撮影方向の情報を推定する場合は、カメラｅｘ１０２は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラｅｘ１０２に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ｅｘ１０１は、より多くのカメラｅｘ１０２から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。

なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラｅｘ１０２が行ってもよいし、映像情報処理装置ｅｘ１０１が各カメラｅｘ１０２の動作を決定し、決定された動作を示す制御信号を各カメラｅｘ１０２に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラｅｘ１０２の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。

（変形例１０）
解析部ｅｘ１１２は、映像受信装置ｅｘ１０３から送信された視野情報（及び／又は、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ｅｘ１１２は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。

なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラｅｘ１０２が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び／又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。

（変形例１１）
映像配信システムにおいて、映像情報処理装置ｅｘ１０１は、撮影シーンの全体を示す概観映像を映像受信装置ｅｘ１０３に送信してもよい。

具体的には、映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信された配信リクエストを受信した場合、保存部ｅｘ１１１から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ｅｘ１０３に送信する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質が低くてもよい。視聴者は、映像受信装置ｅｘ１０３の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ｅｘ１０３は、タッチされた部分に対応する視野情報（及び／又は、視点情報）を映像情報処理装置ｅｘ１０１に送信する。

映像情報処理装置ｅｘ１０１は、視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出し、当該映像データを映像受信装置ｅｘ１０３に送信する。

また、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）で示される領域に対して優先的に三次元形状の復元（三次元再構成）を行うことで自由視点映像を生成する。解析部ｅｘ１１２は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。

（変形例１２）
なお、映像情報処理装置ｅｘ１０１は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。

例えば、スタジアムでサッカーが行われている場合、解析部ｅｘ１１２は、選手及びボールのみに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ｅｘ１１２は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ｅｘ１１２は、人物及び移動物体のみに限定して、又はそれらを優先して三次元形状の復元を行ってもよい。

（変形例１３）
各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ｅｘ１１２は、複数のカメラｅｘ１０２で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ｅｘ１１１に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。

または、解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された複数の映像データのうち、高画質データのみを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。

（変形例１４）
解析部ｅｘ１１２は，カメラ属性情報を用いて、三次元形状の復元を行ってもよい。この場合、カメラｅｘ１０２は、撮影映像データとカメラ属性情報とを映像情報処理装置ｅｘ１０１に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。

これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。

具体的には、カメラｅｘ１０２は、施設内又はスタジアム内に三次元座標を定義し、カメラｅｘ１０２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ｅｘ１０１に送信する。また、カメラｅｘ１０２の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。

また、カメラｅｘ１０２の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラｅｘ１０２を向けることにより、カメラｅｘ１０２の位置及び角度情報が取得される。図１３は、カメラｅｘ１０２に起動時に、カメラｅｘ１０２の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「＋」に、画面中央に表示された「＋」を合わせて、カメラｅｘ１０２のディスプレイをタッチすると、カメラｅｘ１０２は、カメラｅｘ１０２から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラｅｘ１０２のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。

カメラｅｘ１０２の座標の特定は、ＧＰＳ、ＷｉＦｉ（登録商標）、３Ｇ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、及び５Ｇ（無線ＬＡＮ）の電波を用いて行われてもよいし、ビーコン（Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波）など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。

（変形例１５）
当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。

上記システムへのログインには、各種ＳＮＳ等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。

また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。

このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。

また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人のみでシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてＣＧのキャラクタを挿入するなどにより、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）のゲーム等にも映像作品を利用できる。

また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する３Ｄプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。

（変形例１６）
上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。

一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はＳｆＭ等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。

また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。

また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、ＳｆＭは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。

また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。

（実施の形態３）
上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図１４は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ２００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ２０６、ｅｘ２０７、ｅｘ２０８、ｅｘ２０９、ｅｘ２１０が設置されている。

このコンテンツ供給システムｅｘ２００は、インターネットｅｘ２０１にインターネットサービスプロバイダｅｘ２０２および通信網ｅｘ２０４、および基地局ｅｘ２０６からｅｘ２１０を介して、コンピュータｅｘ２１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ２００は図１４のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ２０６からｅｘ２１０を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ｅｘ２０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ２１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ２１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンｅｘ２１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ２００では、カメラｅｘ２１３等が基地局ｅｘ２０９、通信網ｅｘ２０４を通じてストリーミングサーバｅｘ２０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ２１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して符号化処理を行い、ストリーミングサーバｅｘ２０３に送信する。一方、ストリーミングサーバｅｘ２０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ２１１、ＰＤＡｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ２１３で行っても、データの送信処理をするストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ２１３に限らず、カメラｅｘ２１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ２１１を介してストリーミングサーバｅｘ２０３に送信してもよい。この場合の符号化処理はカメラｅｘ２１６、コンピュータｅｘ２１１、ストリーミングサーバｅｘ２０３のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンｅｘ２１４等では画像の一部の領域を拡大して表示してもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ２１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ２１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンｅｘ２１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ２１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ２０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ２００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ２００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ２００の例に限らず、図１５に示すように、デジタル放送用システムｅｘ３００にも、上記各実施の形態を適用してもよい。具体的には、放送局ｅｘ３０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ３０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ３０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ３０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ４００またはセットトップボックス（ＳＴＢ）ｅｘ３１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ３１５、もしくはＳＤなどのメモリｅｘ３１６に記録した多重化データを読み取り復号化する、または記録メディアｅｘ３１５もしくはメモリｅｘ３１６に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ３１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ３１９に表示され、多重化データが記録された記録メディアｅｘ３１５、又はメモリｅｘ３１６により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ３０３または衛星／地上波放送のアンテナｅｘ３０４に接続されたセットトップボックスｅｘ３１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ３１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１６は、スマートフォンｅｘ２１４を示す図である。また、図１７は、スマートフォンｅｘ２１４の構成例を示す図である。スマートフォンｅｘ２１４は、基地局ｅｘ２１０との間で電波を送受信するためのアンテナｅｘ４５０、映像、静止画を撮ることが可能なカメラ部ｅｘ４６５、カメラ部ｅｘ４６５で撮像した映像、アンテナｅｘ４５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ４５８を備える。スマートフォンｅｘ２１４は、さらに、タッチパネル等である操作部ｅｘ４６６、音声を出力するためのスピーカ等である音声出力部ｅｘ４５７、音声を入力するためのマイク等である音声入力部ｅｘ４５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ｅｘ４６７、又は図１５に例示されたメモリｅｘ３１６、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４を備える。

スマートフォンｅｘ２１４は、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０に対して、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、メモリ部ｅｘ４６７がバスｅｘ４７０を介して互いに接続されている。

電源回路部ｅｘ４６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ２１４を動作可能な状態に起動する。

スマートフォンｅｘ２１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。またスマートフォンｅｘ２１４は、音声通話モード時にアンテナｅｘ４５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ｅｘ４６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出される。主制御部ｅｘ４６０は、テキストデータを変調／復調部ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して基地局ｅｘ２１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ４５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、カメラ部ｅｘ４６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像、静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。

多重／分離部ｅｘ４５３は、映像信号処理部ｅｘ４５５から供給された符号化された映像データと音声信号処理部ｅｘ４５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ４５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。

また、上記スマートフォンｅｘ２１４等の端末は、テレビｅｘ４００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ３００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明の一態様に係る撮影方法は、例えば、画像撮影機能を備える、テレビ、デジタルビデオレコーダー、ドライブレコーダ、携帯電話、スマートフォン、デジタルカメラ、監視カメラ、またはデジタルビデオカメラ等の端末装置、情報表示機器または撮影機器に利用可能である。

１１０Ａ〜１１０Ｃ 端末装置
１１１ａ，１１１ｂ，１２１ クロック
１１１ｃ 撮影系クロック
１１２，１１２ｃ 端末同期処理部
１１３ 情報取得部
１１４，１１４ｃ 撮影部
１１５ 端末画像処理部
１２０，１２０Ｃ サーバ
１２２，１２２ｃ サーバ同期処理部
１２３ 情報送信部
１２４ サーバ画像処理部
１２５ タイムコード符号化部
１２６ タイムコード検出復号部
１２７ 遅延時間導出部
１３０ 表示装置

Claims (19)

1. 第１の端末装置が撮影を行う撮影方法であって、
   前記第１の端末装置のクロックを基準クロックに同期させ、
   前記基準クロックに基づく撮影時刻を示す撮影時刻情報を取得し、
   撮影開始から撮影が実行されるまでの撮影遅延時間を特定し、
   前記基準クロックに既に同期された前記第１の端末装置のクロックと前記撮影遅延時間とに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行い、
   前記撮影遅延時間の特定では、
   前記基準クロックに基づく時刻を表示する被写体、または、当該時刻を特定するための信号を含む画像データを、前記第１の端末装置が撮影し、
   前記被写体または前記画像データの撮影が開始された、前記第１の端末装置のクロックに基づく時刻と、前記被写体または前記画像データの撮影によって得られた時刻との差分を、前記撮影遅延時間として特定する、
   撮影方法。
2. 前記撮影方法は、さらに、
   第２の端末装置が前記撮影時刻情報を取得し、
   前記第２の端末装置が、前記基準クロックに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う
   請求項１に記載の撮影方法。
3. 前記基準クロックはサーバに備えられているクロックであり、
   前記第２の端末装置は、当該第２の端末装置のクロックを前記基準クロックに同期させ、
   前記第１および第２の端末装置はそれぞれ前記撮影時刻情報を前記サーバから取得する
   請求項２に記載の撮影方法。
4. 前記基準クロックは前記第２の端末装置に備えられているクロックであり、
   前記第１および第２の端末装置はそれぞれ前記撮影時刻情報をサーバから取得する
   請求項２に記載の撮影方法。
5. 前記第１の端末装置のクロックの同期では、
   前記第１の端末装置は、当該第１の端末装置のシステムクロックに基づいて管理される撮影用クロックを、当該第１の端末装置のクロックとして前記基準クロックに同期させる
   請求項１〜４の何れか１項に記載の撮影方法。
6. 前記撮影方法では、さらに、
   前記基準クロックに既に同期された当該第１の端末装置のクロックに基づく、前記撮影が行われた時刻を示すタイムスタンプを、前記撮影によって得られた画像に付加してサーバに送信する
   請求項１〜５の何れか１項に記載の撮影方法。
7. 前記第１の端末装置による撮影では、
   前記撮影時刻情報によって示される撮影時刻よりも前記撮影遅延時間だけ前の時刻に、前記撮影を開始する
   請求項１に記載の撮影方法。
8. 前記基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を前記被写体が表示する場合には、
   前記撮影遅延時間の特定では、
   前記被写体の撮影が開始された、前記第１の端末装置のクロックに基づく時刻と、前記被写体の撮影によって得られた画像に映し出されている時刻との差分を、前記撮影遅延時間として特定する
   請求項１に記載の撮影方法。
9. 前記第１の端末装置のクロックの同期では、
   前記第１の端末装置は、第１のパケットをサーバに送信することによって、前記サーバから、前記基準クロックに基づく時刻を示す第２のパケットを受信し、
   前記第２のパケットによって示される時刻と、前記第１のパケットが前記サーバに送信されたときの、前記第１の端末装置のクロックに基づく時刻との差分が、ゼロになるように、前記第１の端末装置のクロックを調整することによって、前記第１の端末装置のクロックを前記基準クロックに同期させる、
   請求項１〜８の何れか１項に記載の撮影方法。
10. 前記第１の端末装置のクロックの同期では、
    前記第１の端末装置が、前記基準クロックに基づく時刻が更新されるごとに、更新された当該時刻を表示する被写体を撮影し、
    前記被写体が撮影された、前記第１の端末装置のクロックに基づく時刻と、前記被写体の撮影によって得られた画像に映し出されている時刻との差分がゼロになるように、前記第１の端末装置のクロックを調整することによって、前記第１の端末装置のクロックを前記基準クロックに同期させる、
    請求項１〜８の何れか１項に記載の撮影方法。
11. 前記被写体は、前記基準クロックに基づいて更新された時刻を、一次元コードまたは二次元コードとして表示する
    請求項１０に記載の撮影方法。
12. 前記撮影方法では、さらに、
    前記基準クロックに基づく時刻を表現するための各桁の数値を個別に符号化し、符号化された各桁の数値を前記被写体に表示させる
    請求項１１に記載の撮影方法。
13. 前記各桁の数値のうち、
    第１の桁の数値は、前記基準クロックに基づく時刻の更新ごとに、更新されて、符号化および表示され、
    第２の桁の数値は、前記時刻の更新がＮ回（Ｎは２以上の整数）行われるごとに、更新されて、符号化および表示される
    請求項１２に記載の撮影方法。
14. 前記一次元コードまたは二次元コードは、水平方向の幅が垂直方向の幅よりも長い長方形である
    請求項１１〜１３の何れか１項に記載の撮影方法。
15. 前記第１の端末装置による撮影では、
    前記撮影時刻情報によって示される撮影時刻から動画の撮影を開始し、
    前記撮影方法では、さらに、
    前記第１の端末装置が、前記動画の撮影によって第１の周期ごとに得られるピクチャのうち、前記第１の周期よりも長い第２の周期ごとに得られるピクチャのみをサーバに送信する
    請求項１〜１４の何れか１項に記載の撮影方法。
16. 前記撮影方法では、さらに、
    前記第１の端末装置が、前記第２の周期を示す周期情報を前記サーバから取得し、
    前記サーバへの送信では、
    前記第１の周期ごとに得られるピクチャの中から、取得された前記周期情報によって示される前記第２の周期ごとに得られるピクチャのみを選択し、選択されたピクチャを前記サーバに送信する
    請求項１５に記載の撮影方法。
17. 複数の端末装置およびサーバからなる撮影システムであって、
    前記サーバは、
    基準クロックと、
    前記複数の端末装置のそれぞれのクロックを、前記サーバの基準クロックに同期させるための処理を行うサーバ同期処理部と、
    前記サーバの基準クロックに基づく撮影時刻を示す撮影時刻情報を前記複数の端末装置のそれぞれに送信する情報送信部とを備え、
    前記複数の端末装置のそれぞれは、
    クロックと、
    前記サーバ同期処理部による処理に応じて、当該端末装置のクロックを、前記サーバの基準クロックに同期させる端末同期処理部と、
    前記情報送信部から送信される前記撮影時刻情報を取得する情報取得部と、 撮影開始から撮影が実行されるまでの撮影遅延時間を特定する遅延時間特定部と、
    前記サーバの基準クロックに既に同期された当該端末装置のクロックと前記撮影遅延時間とに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う撮影部とを備え、
    前記遅延時間特定部は、
    前記基準クロックに基づく時刻を表示する被写体、または、当該時刻を特定するための信号を含む画像データを、前記撮影部が撮影した場合に、
    前記被写体または前記画像データの撮影が開始された、当該端末装置の前記クロックに基づく時刻と、前記被写体または前記画像データの撮影によって得られた時刻との差分を、前記撮影遅延時間として特定する、
    撮影システム。
18. クロックと、
    前記クロックを基準クロックに同期させる同期処理部と、
    前記基準クロックに基づく撮影時刻を示す撮影時刻情報を取得する情報取得部と、
    撮影開始から撮影が実行されるまでの撮影遅延時間を特定する遅延時間特定部と、
    前記基準クロックに既に同期された前記クロックと前記撮影遅延時間とに基づいて、前記撮影時刻情報によって示される撮影時刻に撮影を行う撮影部とを備え、
    前記遅延時間特定部は、
    前記基準クロックに基づく時刻を表示する被写体、または、当該時刻を特定するための信号を含む画像データを、前記撮影部が撮影した場合に、
    前記被写体または前記画像データの撮影が開始された、前記クロックに基づく時刻と、前記被写体または前記画像データの撮影によって得られた時刻との差分を、前記撮影遅延時間として特定する、
    端末装置。
19. クロックと、プロセッサと、カメラと、通信回路を備える装置において、前記プロセッサに実行されるプログラムであって、
    前記クロックを基準クロックに同期させる同期ステップと、
    前記基準クロックに基づく撮影時刻を示す撮影時刻情報を取得する取得ステップと、
    前記カメラにおける、撮影開始から撮影が実行されるまでの撮影遅延時間を特定する遅延時間特定ステップと、
    前記基準クロックに既に同期された前記クロックと前記撮影遅延時間とに基づいて、前記撮影時刻情報によって示される撮影時刻に前記カメラに撮影させる撮影ステップとを含み、
    前記遅延時間特定ステップでは、
    前記基準クロックに基づく時刻を表示する被写体、または、当該時刻を特定するための信号を含む画像データを、前記カメラが撮影した場合に、
    前記被写体または前記画像データの撮影が開始された、前記クロックに基づく時刻と、前記被写体または前記画像データの撮影によって得られた時刻との差分を、前記撮影遅延時間として特定する、
    プログラム。

Images