JPWO2018030206A1

JPWO2018030206A1 - カメラワーク生成方法及び映像処理装置

Info

Publication number: JPWO2018030206A1
Application number: JP2018532951A
Authority: JP
Inventors: 哲史吉川; 敏康杉尾; 徹松延; 達也小山; 州平笹倉; 知里山下
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2016-08-10
Filing date: 2017-08-01
Publication date: 2019-06-06
Anticipated expiration: 2037-08-01
Also published as: JP7054677B2; WO2018030206A1; US10778951B2; CN109565605B; US20190174109A1; CN109565605A; EP3499897A1; EP3499897B1; EP3499897A4

Abstract

カメラワーク生成方法は、同一シーンを異なる視点から撮影した多視点映像（１５１）から前記シーンの三次元モデル（１５２）を生成するモデル生成ステップ（Ｓ１１２）と、前記シーンのうち、前記三次元モデル（１５２）を仮想カメラから見た自由視点映像（１５６）を生成する対象である対象シーン（１５３）を決定する対象シーン決定ステップ（Ｓ１１３）と、前記自由視点映像（１５６）における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワーク（１５４）を生成するカメラワーク生成ステップ（Ｓ１１４）とを含む。

Description

本開示は、カメラワーク生成方法及び映像処理装置に関する。

多視点映像の配信方法として、特許文献１には、複数の視点から撮影された映像を視点移動に連動して配信する技術が開示されている。

また、特定シーンを複数の校正済みカメラにより撮影した映像群を用いてそのシーンを自由な視点から見ることができる自由視点映像を生成する技術が知られている。

特開２００２−１６５２００号公報

このような自由視点映像を生成する際には、時間的な視点の軌跡を示すカメラワークを決定する必要がある。

本開示は、適切にカメラワークを決定できるカメラワーク生成方法又は映像処理装置を提供することを目的とする。

上記目的を達成するために、本開示の一態様に係るカメラワーク生成方法は、同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成ステップと、前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する対象シーン決定ステップと、前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成ステップとを含む。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示は、適切にカメラワークを決定できるカメラワーク生成方法又は映像処理装置を提供できる。

図１は、実施の形態１に係る映像配信システムのブロック図である。図２は、実施の形態１に係る映像配信システムの動作例を示す図である。図３は、実施の形態１に係る映像配信システムの動作を模式的に示す図である。図４は、実施の形態１に係る映像処理装置の動作を示すフローチャートである。図５は、実施の形態１に係るインタフェース画面の例を示す図である。図６は、実施の形態１の変形例に係る映像配信システムのブロック図である。図７は、実施の形態２に係る映像配信システムのブロック図である。図８は、映像情報処理システムの構成を示す図である。図９は、カメラ起動時に表示される通知画面の一例を示す図である。図１０は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。図１１は、デジタル放送用システムの全体構成図である。図１２は、スマートフォンの一例を示す図である。図１３は、スマートフォンの構成例を示すブロック図である。

スポーツ競技又はライブなどにおける静止シーンから自由視点映像を作成するようなサービスが普及しはじめている。また、静止シーンのみでなく撮像シーンに対しても視点が動的に動く自由視点映像を利用する機会が増加すると予想される。ここで、自由視点映像とは、対象シーンを、任意の空間位置を移動する仮想カメラから見た映像である。自由視点映像を生成する場合には、仮想カメラの位置及び姿勢の時間変化を示すカメラワークを決定する必要がある。このカメラワークの設定は自由度が高いため適切に設定することが困難であるという課題がある。

本開示では、カメラワークを自動生成するカメラワーク生成方法について説明する。

本開示の一態様に係るカメラワーク決定方法は、同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成ステップと、前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する対象シーン決定ステップと、前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成ステップとを含む。

これによれば、当該カメラワーク決定方法は、自由視点映像を生成する対象である対象シーンを決定し、決定した対象シーンのカメラワークを生成できる。よって、当該カメラワーク決定方法は、適切にカメラワークを決定できる。また、当該カメラワーク決定方法により、例えば、自動的にカメラワークが決定されるので、編集者等の手間を低減できる。

例えば、前記対象シーン決定ステップでは、前記多視点映像又は前記三次元モデルを用いて、前記対象シーンを決定してもよい。

例えば、前記対象シーン決定ステップでは、前記シーンの音声を用いて、前記対象シーンを決定してもよい。

例えば、前記カメラワーク生成ステップでは、前記対象シーンに対応付けられている予め定められた種別の物体が前記自由視点映像に含まれるように前記仮想カメラの位置及び姿勢を決定してもよい。

これによれば、当該カメラワーク決定方法で決定されたカメラワークを用いて、対象シーンに応じた種別の物体が映った自由視点映像を生成できる。

例えば、前記カメラワーク生成ステップでは、前記三次元モデルに含まれる複数の部分の精度に基づき、前記仮想カメラの位置及び姿勢を決定してもよい。

これによれば、当該カメラワーク決定方法で決定されたカメラワークを用いて、精度の高い自由視点映像を生成できる。

例えば、前記カメラワーク生成方法は、さらに、前記カメラワークを表示するカメラワーク表示ステップを含んでもよい。

例えば、前記カメラワーク生成方法は、さらに、前記カメラワークを用いて、前記三次元モデル又は前記多視点映像から前記自由視点映像を生成する映像生成ステップを含んでもよい。

例えば、前記映像生成ステップでは、前記自由視点映像にブレを追加してもよい。

これによれば、当該カメラワーク決定方法は、臨場感のある自由視点映像を生成できる。

例えば、前記カメラワーク生成方法は、さらに、前記カメラワークに対するユーザの評価を取得する取得ステップを含み、前記カメラワーク生成ステップでは、前記評価に基づき、カメラワークを生成してもよい。

これによれば、当該カメラワーク決定方法は、ユーザの好みにあったカメラワークを生成できる。

本開示の一態様に係る映像処理装置は、同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成部と、前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する解析部と、前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成部とを備える。

これによれば、当該映像処理装置は、自由視点映像を生成する対象である対象シーンを決定し、決定した対象シーンのカメラワークを生成できる。よって、当該映像処理装置は、適切にカメラワークを決定できる。また、当該映像処理装置により、例えば、自動的にカメラワークが決定されるので、編集者等の手間を低減できる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１は、本実施の形態に係る映像配信システム１００の構成を示すブロック図である。この映像配信システム１００は、スポーツ競技場、又はライブ会場等における自由視点映像を生成し、生成した自由視点映像を配信するシステムである。映像配信システム１００は、複数の撮像装置１０１と、映像処理装置１０２と、複数の視聴装置１０３とを含む。

撮像装置１０１は、カメラ１１１と、センサ１１２とを含む。カメラ１１１は、映像を撮影する。センサ１１２は、振動センサ、加速度センサ、地磁気センサ、及びマイクの少なくとも一つを含み、撮影環境をセンシングしたデータを生成する。なお、撮像装置１０１は、固定カメラであってもよいし、移動可能なカメラであってもよい。移動可能なカメラとは、例えば、ＣＣＤカメラ或いはネットワークカメラ等のＰＴＺカメラ、又はウェアラブルカメラであってもよいし、ドローン等の移動体に搭載されたカメラであってもよい。この複数の撮像装置１０１により、同一シーンを異なる視点から撮影した多視点映像１５１が生成される。つまり、多視点映像１５１は、同一シーンを異なる視点から撮影した複数の映像を含む。

映像処理装置１０２は、多視点映像１５１を用いて自由視点映像１５６を生成し、生成した自由視点映像１５６を複数の視聴装置１０３に配信する。この撮像装置１０１は、モデル生成部１２１と、解析部１２２と、カメラワーク生成部１２３と、レンダリング部１２４と、表示部１２５と、配信部１２６とを備える。

視聴装置１０３は、映像処理装置１０２から配信された自由視点映像を再生し、表示する。

なお、映像処理装置１０２は、単一の装置により実現されてもよいし、互いに通信可能な複数の装置により実現されてもよい。例えば、表示部１２５が他の処理部とは別の装置に含まれてもよい。

図２は映像配信システム１００の動作例を示す図である。図３は、各動作を模式的に示す図である。

まず、複数の撮像装置１０１により同期撮影が行われることで、同時刻の画像（静止画）又は映像（動画像）が撮影される（Ｓ１０１）。例えば、有線又は無線接続により複数の撮像装置１０１が制御されることで、複数の撮像装置１０１のシャッターが同時に切られる。また、撮像装置１０１は、カメラ１１１で撮影された映像のみでなく、同時にセンサ１１２を用いて撮影環境をセンシングしたセンシングデータを取得してもよい。例えば、このセンシングデータは、振動、加速度、地磁気、及び音声の少なくとも一つを含む。

次に、複数の撮像装置１０１は、多視点映像１５１及びセンシングデータを映像処理装置１０２に送信する（Ｓ１０２）。

次に、映像処理装置１０２に含まれるモデル生成部１２１は、多視点映像１５１と、多視点映像１５１の撮影時の複数の撮像装置１０１のカメラパラメータとを用いて、撮像空間の三次元モデル１５２を生成する（Ｓ１０３）。なお、映像処理装置１０２は、予め較正処理によりカメラパラメータを求めていてもよいし、ＳｆＭ（ＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ）等を用いて多視点映像１５１からカメラパラメータを推定してもよい。また、モデル生成部１２１は、例えば、視体積交差法又はＳｆＭ等を用いて三次元モデル１５２を生成する。

次に、カメラワーク生成部１２３は、三次元空間上に仮想カメラを自動配置して、自由視点映像の作成に用いるカメラワーク１５４を生成する（Ｓ１０４）。具体的には、カメラワーク生成部１２３は、自動でカメラワーク１５４を設定する際には、三次元空間認識などを用いて、より適切なカメラ姿勢及び設定などを推定してカメラワーク１５４を決定する。

次に、レンダリング部１２４は、三次元モデル１５２を仮想カメラから見た映像である自由視点映像１５６を、実カメラ映像である多視点映像１５１のテクスチャ又は色情報を用いて生成する（Ｓ１０５）。このとき、レンダリング部１２４は、利用する実カメラを、被写体までの距離が近いなどの基準を用いて優先的に選択してもよい。

次に、配信部１２６は、生成された自由視点映像１５６を、視聴装置１０３に配信する（Ｓ１０６）。そして、視聴装置１０３は、受信した自由視点映像１５６を再生し、表示する（Ｓ１０７）。

以下、映像処理装置１０２における処理を詳細に説明する。図４は、映像処理装置１０２による自由視点映像生成処理のフローチャートである。

まず、映像処理装置１０２は、多視点映像１５１を取得する（Ｓ１１１）。次に、三次元モデル生成部１２１は、多視点映像１５１を用いて、撮像空間である対象シーンの三次元モデル１５２を生成する（Ｓ１１２）。この時、生成される三次元モデル１５２は多視点映像１５１と補足情報とから生成される空間情報であればよい。補足情報とは、例えば、複数のカメラ１１１の位置情報である。具体的には、三次元モデル生成部１２１は、複数のカメラ１１１の三次元空間上の位置を予め測定することで複数のカメラ１１１の位置情報を取得する。または、三次元モデル生成部１２１は、画像処理によるキャリブレーション処理などによって複数のカメラ１１１の位置情報を取得する。次に、三次元モデル生成部１２１は、取得した複数のカメラ１１１の位置情報を利用して視体積交差法などによりボクセルデータを生成する。

または、三次元モデル生成部１２１は、各画像上のエッジ又はコーナーなどの特徴点情報を用いて画像間で同一の位置（特徴点位置）を推定する。三次元モデル生成部１２１は、特徴点位置及びカメラ姿勢の三次元情報を推定するＳｆＭなどの手法を用いて三次元点群を生成する。

次に、解析部１２２は、多視点映像１５１及び三次元モデル１５２の少なくとも一方を用いて、自由視点映像１５６を生成する対象である対象シーン１５３を決定する（Ｓ１１３）。具体的には、解析部１２２は、多視点映像１５１及び三次元モデル１５２に対して認識処理を行うことで対象シーン１５３を決定する。より具体的には、解析部１２２は、対象シーン１５３の開始を示すカメラワークの生成トリガと、対象シーン１５３の終了を示す終了トリガとを判定する。なお、対象シーン１５３は、静止シーンであってもよいし、動的なシーンであってもよい。つまり、対象シーンは、一時刻で示されてもよいし、時間範囲により示されてもよい。

また、解析部１２２は、付帯情報を生成する。ここで付帯情報とは、画像認識により得られる情報であり、カメラワークを生成する際に必要となる認識結果情報である。例えば、付帯情報は、映像内の物体或いは人物等の種別及び位置を示す情報、又は、現在のシーンが予め定められた特定のシーンであるかを示す情報、或いは現在のシーンの種別を示す情報である。具体的には、付帯情報は、映像内の特定人物の三次元位置（例えば三次元座標）を示す。または、付帯情報は、現在のシーンがシュートシーンであるか等を示す。

例えば、解析部１２２は、画像認識等によりゴールシーン等のハイライトシーンを検出する。または、解析部１２２は、審判員の特徴的なポーズ（例えば、野球の球審のアウトを示すポーズ、又はサッカーの各種カードの提示時のポーズ等）を検出し。ポーズが検出された時刻の前後のシーンを特定シーンと判定する。また、解析部１２２は、特定人物又はボールなどの注目物体の三次元座標情報などを検出する。これらの検出された情報が付帯情報として出力される。

なお、解析部１２２は、認識された全ての人物を示す情報を含む付帯情報を出力してもよいし、認識された人物のうち条件を満たす人物の情報を出力してもよい。例えば、条件を満たす人物とは、急制動を行った人物、不審な行動をとった人物、又は特定領域に侵入した人物等である。これによると、監視目的等において、認識された人物のうち要注意人物に対して処理を行うことができるので、計算資源及びデータ量を低減できる。

また、解析部１２２は、シーンの解析結果に基づき、過去にさかのぼって映像処理を行ってもよい。つまり、解析部１２２は、特定シーンを検出した場合、その特定シーン及び特定シーンの直前のシーンを対象シーン１５３に決定してもよい。例えば、解析部１２２は、シュートシーンを検出した場合に、シュートシーンとその直前のシーンとを含む一連のシーンを対象シーン１５３に決定してもよい。

また、解析部１２２は、映像以外に撮像装置１０１のセンサ１１２で取得されたセンシングデータを用いて、対象シーン１５３を決定してもよい。例えば、解析部１２２は、マイクで得られた音声を用いて対象シーンを決定してもよい。具体的には、解析部１２２は、音量が予め定められた値以上になったシーン又はその前後のシーンを対象シーンに決定してもよい。なお、解析部１２２は、特定の周波数の音声の音量を判定に用いてもよいし、音声の持続時間を判定に用いてもよい。これにより、解析部１２２は、歓声が上がったシーン、ホイッスル等の明示的な音声信号が入力されたシーン、非常時の音（爆発音又は警報音など）が入力されたシーンを対象シーンに決定できる。

次に、カメラワーク生成部１２３は、解析部１２２から出力された、対象シーン１５３の情報及び付帯情報を用いて自動で一つ又は複数のカメラワーク１５４を生成する（Ｓ１１４）。なお、カメラワーク生成部１２３は、上記情報に加え、手動入力された情報を用いてカメラワーク１５４を生成してもよい。

具体的には、カメラワーク生成部１２３は、付帯情報で示されるシーンの種別、及び被写体の状況に応じてカメラワーク１５４を自動生成する。例えば、カメラワーク生成部１２３は、対象シーンに対応付けられている予め定められた種別の物体が自由視点映像１５６に含まれるように仮想カメラの位置及び姿勢を決定する。例えば、カメラワーク生成部１２３は、サッカーでのシュートシーンではゴールが映像中に入るようにカメラ位置及び姿勢を決定する。または、カメラワーク生成部１２３は、注目選手等の注目人物が映像中に入るようにカメラ位置及び姿勢を決定する。また、カメラワーク生成部１２３は、注目選手の進行方法が広めに映るようにカメラ位置及び姿勢を決定してもよい。このように、カメラワーク生成部１２３は、そのシーンの意味合いに応じて、カメラ位置及び姿勢を設定する。なお、視点は常にシームレスに移動する必要はなく、スイッチングのように視点が離散的に切り替えられてもよい。

また、付帯情報でスポンサーのロゴが示される場合、カメラワーク生成部１２３は、それらのロゴが多く含まれるようにカメラワークを決定してもよい。

また、カメラワーク生成部１２３は、三次元モデル１５２が生成されていない領域又は品質が低い領域を判定し、それら領域が映像中に含まれにくくするようなカメラワーク１５４を選択してもよい。つまり、カメラワーク生成部１２３は、三次元モデル１５２に含まれる複数の部分の精度に基づき、仮想カメラの位置及び姿勢を決定してもよい。

また、カメラワーク生成部１２３は、対象シーンの決定後に、当該対象シーンのカメラワーク１５４を生成するのではなく、常にカメラワーク１５４を生成しておき、対象シーンの決定後に、その対象シーンのカメラワーク１５４を出力してもよい。これによると、処理による待ち時間を削減できるので、視聴者に即時に映像を提供できる。

また、カメラワーク生成部１２３は、意図的にカメラワークの生成を失敗させてもよい。例えば、ボール又は注目選手等の対象物を追従時において、対象物の移動方向が大きく変化する場合において、一度対象物を視点が通り過ぎるオーバーランなどが発生するようにカメラワークを設定してもよい。これにより、実際のカメラで撮影されたような臨場感のある自由視点映像１５６を生成できる。

次に、レンダリング部１２４は、多視点映像１５１、三次元モデル１５２、及びカメラワーク１５４を用いてカメラワーク確認用映像１５５を生成する（Ｓ１１５）。なお、カメラワーク確認用映像１５５は、例えば、三次元モデル１５２から簡易的に生成された画像でもよい。例えば、カメラワーク確認用映像１５５は、速度優先で生成され、後述する自由視点映像１５６に比べて、低画質又は低解像度の映像でもよいし、点群データのものでもよい。なお、レンダリング速度が十分に速い場合には、カメラワーク確認用映像１５５として、後述する自由視点映像１５６と同品質の映像を生成してもよい。

次に、表示部１２５は、三次元モデル１５２とカメラワーク１５４とカメラワーク確認用映像１５５とを確認するためのインタフェース画面を表示する（Ｓ１１６）。図５は、このインタフェース画面の例を示す図である。このインタフェース画面は、カメラワーク表示欄２０１と、カメラ情報表示欄２０２と、カメラワーク確認用映像表示欄２０３と、スライドバー２０４と、評価表示欄２０５と、アップロードボタン２０６とを含む。

カメラワーク表示欄２０１には、三次元モデル１５２とカメラワーク１５４の軌跡であるカメラパスとが表示される。なお、１つのカメラパスが表示されてもよいし、複数のカメラパスの候補が表示されていてもよい。また、複数のカメラパスの色又は線種によって各カメラパスのお勧め度などの情報が表現されてもよい。ここで、お勧め度とは、ユーザの好みとの合致度又は視聴率の高さなどを示す。また、複数のカメラパスを表示することで、ユーザ（視聴者）又は編集者に選択肢を提供できる。

なお、図５では、一つの対象物に対するカメラパスが表示されているが、複数の対象物それぞれに対するカメラパスが表示されてもよい。また、複数のカメラパスが順次選択された場合、選択順で、対応するカメラワーク確認用映像１５５が連続再生されてもよい。

カメラワーク確認用映像表示欄２０３には、確認用に、カメラワークに対応するカメラワーク確認用映像１５５が表示される。

スライドバー２０４により、カメラワーク確認用映像１５５の時刻が操作される。例えば、編集者によりスライドバー２０４が操作されることにより、カメラパス上を仮想カメラが移動し、その時刻におけるカメラワーク確認用映像１５５がカメラワーク確認用映像表示欄２０３に表示される。なお、カメラパスが選択された場合に、自動的に再生が開始され、スライドバー２０４が移動してもよい。なた、カメラワークを再生するための操作ボタン又は操作メニュー等が設けられていてもよい。

カメラ情報表示欄２０２には、対応する時刻におけるカメラ位置及び姿勢と、焦点距離、画角、及びＦ値等のカメラパラメータとが表示される。また、これらのカメラ位置及び姿勢とカメラパラメータとは、編集者により編集可能である。これにより、編集者は、カメラワーク生成部１２３で生成されたカメラワーク１５４を、編集者の好みに合わせて修正することができる。なお、カメラパラメータの代わりに、カメラの型番を選択できるインタフェースが設けられていてもよい。編集者がカメラの型番を選択することで、選択したカメラでのカメラパラメータ等が自動で設定される。これにより、選択したカメラで撮影されたような映像を再現できる。

また、映像処理装置１０２は、編集者の選択結果、修正内容及び提案をフィードバックする機能を有してもよい。例えば、アップロードボタン２０６が操作されることで、編集者により修正されたカメラワークがカメラワーク生成部１２３に通知される。通知された情報は、例えば、カメラパス又はカメラワーク１５４の生成に関する機械学習のリファレンスとして利用される。

評価表示欄２０５には、選択されているカメラワーク１５４のお勧め度等の評価値が表示されている。なお、編集者が、カメラワーク１５４の評価値を入力する欄が設けられていてもよい。この場合、入力された評価値は、カメラワーク生成部１２３に通知され、当該カメラワーク１５４の評価値が更新される。また、この評価値は、上記機械学習に用いられてもよい。

また、例えば、ライブ中に複数のカメラワーク１５４（又はカメラワーク確認用映像１５５）が編集者に表示される。編集者は、複数のカメラワーク１５４からいずれかを選択し、選択結果等に応じて各カメラワーク１５４の評価値が算出される。そして、この評価値は、放送素材等の非リアルタイムでのリプレイ映像を作る際に用いられる。つまり、高評価のカメラワーク１５４が優先して作成及び表示される。なお、評価値は個人単位で設定されてもよいし、複数人の評価結果が反映されてもよい。

また、フィルター効果などを設定するためのインタフェースが設けられていてもよい。

このように、編集者による選択又は編集により、配信する自由視点映像１５６に用いるカメラワーク１５４が決定される（Ｓ１１７）。また、例えば、編集者によりアップロードボタン２０６が操作されることで、編集後のカメラワーク１５４がレンダリング部１２４に送られる。レンダリング部１２４は、このカメラワーク１５４に対応する自由視点映像１５６を生成する（Ｓ１１８）。なお、カメラワーク１５４が複数選択されている場合には、レンダリング部１２４は複数の自由視点映像１５６を生成する。

この際、レンダリング部１２４は、三次元モデル１５２が生成されていない領域、低品質な領域、又は水面などの再構成が困難な領域を判定し、これらの領域をＣＧ等で補間してもよい。また、レンダリング部１２４は、このような領域の画像を、時間の異なるフレーム（例えば、数刻前のレンダリング結果）の情報を用いて補間してもよい。これら補間処理によって、三次元モデル１５２の情報が少ない領域に対しても、自然な自由視点映像１５６を作成可能となる。また、レンダリング部１２４は、再構成が困難な領域が存在する場合には、移動体カメラ等の撮像装置１０１を制御することで、上記領域の生成に用いる映像データ等を取得してもよい。

また、レンダリング部１２４は、カメラスピード（視点の移動スピード）に合わせて、レンダリング結果のぼけ感を制御してもよい、例えば、レンダリング部１２４は、速度に応じて周辺視野に相当する領域（例えば、画像の周辺領域）をぼかしてもよい。具体的には、レンダリング部１２４は、速度が早いほど、大きくぼかす処理を行う。これにより、生成された映像を、実際に人間が見る映像に近づけることができる。これにより、視聴者は、高臨場感（特にＶｉｒｔｕａｌＲｅａｌｉｔｙ体験時）を得ることができる。

また、レンダリング部１２４は、映像中の不要な物体（例えば、セキリュティー用の金網等）に属する三次元モデルをレンダリングの際に無視してもよい。例えば、解析部１２２において、映像中の不要な物体が判別される。

また、レンダリング部１２４は、ｖｉｅｗｍｏｒｐｈｉｎｇのように、三次元モデル１５２を利用せずにレンダリング処理を行ってもよい。これによると、レンダリング部１２４は、三次元モデル１５２を用いずに二次元画像である多視点映像１５１を用いて処理を行うことができるので、処理量を低減できる。

また、レンダリング部１２４は、音声情報が存在する場合は、音源位置を推定し、その結果を利用して臨場感の向上に繋がる音声処理又は音声合成を行ってもよい。また、レンダリング部１２４は、オリジナルのカメラ映像に対しては、撮像装置１０１で録音した音声が再生され、仮想カメラの位置の映像に対しては、予め録音した音又は効果音を使用又は追加してもよい。

また、レンダリング部１２４は、仮想カメラの姿勢及び位置に合わせて音を制御してもよい。例えば、レンダリング部１２４は、音源位置の推定結果により仮想カメラの位置での音を再現してもよい。

また、レンダリング部１２４は、視覚エフェクト又は実際のカメラマンが撮影した際に生じるような効果を付与することでリアリティを向上させてもよい。

例えば、レンダリング部１２４は、カメラぶれを追加する。具体的には、レンダリング部１２４は、スタジアムの揺れの検知結果、カメラの揺れの検知結果、又は、歓声の検知結果等を用いて、カメラぶれを追加する。具体的には、レンダリング部１２４は、スタジアムの揺れの程度、カメラの揺れの程度、又は、歓声の程度に応じて、これらの程度が大きいほどぶれを大きくする。また、これらの検知結果は、例えば、センサ１１２で得られる検知結果である。または、レンダリング部１２４は、多視点映像１５１からこれらを検知してもよい。

また、レンダリング部１２４は、視点の移動スピードに合わせてカメラブレを追加してもよい。具体的には、レンダリング部１２４は、視点の移動スピードが大きいほどブレを大きくする。

なお、カメラワーク確認用映像１５５として自由視点映像１５６と同品質の映像が生成されている場合には、カメラワーク確認用映像１５５が自由視点映像１５６としてそのまま用いられてもよい。

次に、配信部１２６は、レンダリング部１２４で生成された一つ又は複数の自由視点映像１５６を視聴装置１０３に配信する（Ｓ１１９）。この時、配信部１２６は、自由視点映像１５６に加え、三次元モデル１５２、視点（仮想カメラの位置）を示す情報、及びカメラワーク１５４の少なくとも一つを視聴装置１０３に配信してもよい。

視聴装置１０３は、配信された自由視点映像１５６を表示する。また、視聴装置１０３は、三次元モデル１５２、視点を示す情報、又はカメラワーク１５４を受信した場合には、これらの情報を表示してもよい。また、視聴装置１０３は、三次元モデル１５２から画像又はＣＧを生成し、生成した画像又はＣＧを表示してもよい。また、視聴装置１０３は、複数の自由視点映像１５６を受信する場合、受信した複数の自由視点映像１５６のうち表示する自由視点映像１５６を切り替えるためのインタフェースを有してもよい。

また、視聴装置１０３は、視聴者の自由視点映像１５６又はカメラワーク１５４に対する評価値を取得するためのインタフェースを有してもよい。得られた評価値は、カメラワーク生成部１２３に送られ、編集者の評価と同様に、その後のカメラワーク１５４の生成に用いられる。つまり、映像配信システム１００は、カメラワーク１５４に対するユーザ（編集者又は視聴者）の評価を取得し、評価に基づき、カメラワーク１５４を生成する。

なお、上記説明では、映像処理装置１０２が、カメラワーク生成部１２３で生成されたカメラワーク１５４を編集者が編集する機能を有する例を述べたが、これに限らない。例えば、編集者は、複数のカメラワーク１５４のなかから、任意の個数のカメラワーク１５４を選択してもよい。この場合、レンダリング部１２４は、選択されたカメラワーク１５４に対応する自由視点映像１５６を生成する。

また、必ずしも編集者が介在する必要はなく、全ての処理が自動的に行われてもよい。つまり、図４に示すステップＳ１１５〜Ｓ１１７は行われず、カメラワーク生成部１２３で生成されたカメラワーク１５４に対応する自由視点映像１５６が視聴装置１０３に配信されてもよい。

（実施の形態１の変形例）
上記説明では、表示部１２５を操作する編集者により、カメラワーク１５４が選択又は修正される例を述べたが、映像配信システム１００は、上記機能に加え、視聴装置１０３Ａを操作する視聴者がカメラワーク１５４を編集する機能を有してもよい。

図６は、本変形例に係る映像配信システム１００Ａの構成を示すブロック図である。本変形例では、視聴装置１０３Ａは、表示部１２５と同様の機能を有する表示部１３１を有する。これにより、視聴装置１０３Ａで、表示部１２５と同様の表示及び操作を行うことができる。これにより、視聴者がカメラワーク１５４を制御することができる。

例えば、表示部１３１は、表示部１２５に入力される情報と同様の情報を通信により取得する。また、表示部１３１は、表示部１２５と同様に、修正したカメラワーク１５４、カメラワーク１５４の選択結果、又は、評価値等を、通信によって映像処理装置１０２にフィードバックする。

また、視聴者又は編集者が新規に作成したカメラワーク１５４をＳＮＳ等経由で他人に提供する仕組みがあってもよい。この場合、映像処理装置１０２は、提供されているカメラワーク１５４のダウンロード数又は人気度等を元に優れたカメラワーク１５４を取得し、取得したカメラワーク１５４の情報を以降のカメラワーク１５４の生成に用いる。例えば、取得したカメラワーク１５４は、機械学習のリファレンスとして利用される。

また、視聴装置１０３Ａからのインタラクティブな操作に応じて表示部１２５に表示されている画面のスクリーンショット等が適宜、視聴装置１０３Ａに送信されてもよい。これにより、画面情報だけが伝達されるので、伝達される情報量を低減できる。

（実施の形態２）
本実施の形態では、映像処理装置１０２の一部の機能を視聴装置１０３が備える例を説明する。図７は、本実施の形態に係る映像配信システム１００Ｂの構成を示すブロック図である。図７に示す映像配信システム１００Ｂでは、映像処理装置１０２Ｂは、カメラワーク生成部１２３、レンダリング部１２４及び表示部１２５を備えない。一方で、映像処理装置１０２Ｂは、評価情報受信部１２７を備える。

配信部１２６は、多視点映像１５１、三次元モデル１５２、対象シーン１５３を示す情報及び付帯情報等を視聴装置１０３Ｂに配信する。

視聴装置１０３Ｂは、カメラワーク生成部１２３、レンダリング部１２４、表示部１２５及び評価部１３２を備える。なお、カメラワーク生成部１２３、レンダリング部１２４及び表示部１２５の機能は、実施の形態１で説明した機能と同様である。

評価部１３２は、表示部１２５で実施の形態１と同様の手法により得られた、カメラワーク１５４又はカメラワーク確認用映像１５５の評価値、又はカメラワーク１５４の修正内容等を映像処理装置１０２Ｂに送信する。

評価情報受信部１２７は、評価部１３２により送信された情報を受信する。なお、この情報の伝送は、上述したようにＳＮＳ等を介して行われてもよい。

これにより、配信者側である映像処理装置１０２Ｂは、視聴者の嗜好情報等を取得できる。よって、映像処理装置１０２Ｂは、視聴者の嗜好情報等に合わせたカメラワーク１５４の生成に必要な情報（対象シーン１５３を示す情報及び付帯情報等）を視聴装置１０３Ｂに送ることができる。

なお、ここでは、映像処理装置１０２Ｂが、カメラワーク生成部１２３、レンダリング部１２４及び表示部１２５を備えない例を示したが、実施の形態１と同様に、映像処理装置１０２Ｂは、カメラワーク生成部１２３、レンダリング部１２４及び表示部１２５を備えてもよい。また、配信部１２６は、自由視点映像１５６を視聴装置１０３Ｂに配信してもよい。この場合、映像処理装置１０２Ｂ及び視聴装置１０３Ｂの両方でカメラワーク１５４の修正が可能となる。これにより、一旦編集者が修正したカメラワーク１５４を再度視聴者が修正できるので、視聴者の操作を低減できるとともに、各視聴者が、自分の好みに合った映像を視聴できるようにできる。

また、この場合には、評価情報受信部１２７が受信した情報は、例えば、機械学習等によるカメラワーク１５４の自動生成を行う際の学習データとして利用される。

なお、上記の複数の実施の形態で示した、複数の装置における処理の分割は一例であり、上記に限定されない。例えば、三次元モデル１５２の生成までが映像処理装置１０２Ｂで行われ、多視点映像１５１及び三次元モデル１５２が視聴装置１０３Ｂに転送され、視聴装置１０３Ｂで以降の処理が行われてもよい。つまり、視聴装置１０３Ｂは、さらに、解析部１２２を備えてもよい。

以上、実施の形態に係る映像配信システム等について説明したが、本開示は、この実施の形態に限定されるものではない。

例えば、本開示は、上記映像配信システムにおいて実行される映像配信方法、映像処理方法、及びカメラワーク生成方法等として実現されてもよい。

また、上記実施の形態に係る映像配信システムに含まれる各装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

言い換えると、映像配信システムに含まれる各装置又は映像表示装置は、処理回路（ｐｒｏｃｅｓｓｉｎｇｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該処理回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係るカメラ選択方法又は映像表示方法を実行する。

さらに、本開示は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、フローチャート等に示す複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、本開示の一つ又は複数の態様に係る映像配信システム等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

（実施の形態３）
上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、（１）店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、（２）個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、（３）ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び（４）エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。

図８は、本実施の形態における映像情報処理システムｅｘ１００の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。

図８に示す映像情報処理システムｅｘ１００は、映像情報処理装置ｅｘ１０１と、複数のカメラｅｘ１０２と、映像受信装置ｅｘ１０３とを含む。なお、映像受信装置ｅｘ１０３は、必ずしも映像情報処理システムｅｘ１００に含まれる必要はない。

映像情報処理装置ｅｘ１０１は、保存部ｅｘ１１１と、解析部ｅｘ１１２とを備える。Ｎ個のカメラｅｘ１０２のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ｅｘ１０１に送信する機能とを有する。また、カメラｅｘ１０２は、撮影中の映像を表示する機能を有する場合もある。なお、カメラｅｘ１０２は、撮影された映像信号をＨＥＶＣ又はＨ．２６４のような符号化方式を用いてエンコードしたうえで映像情報処理装置ｅｘ１０１に送信してよいし、エンコードされていない映像データを映像情報処理装置ｅｘ１０１に送信してもよい。

ここで、各カメラｅｘ１０２は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。

移動カメラは、映像情報処理装置ｅｘ１０１から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。

また、撮影開示前に複数のカメラｅｘ１０２の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数のカメラｅｘ１０２の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。

情報処理装置ｅｘ１０１に含まれる保存部ｅｘ１１１は、Ｎ個のカメラｅｘ１０２から送信された映像データを保存する。

解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。

解析部ｅｘ１１２は、例えば、ＳｆＭ（ＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ）を用いて死角検出を行う。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ｅｘ１１２は、ＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。

なお、解析部ｅｘ１１２は、カメラｅｘ１０２の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるＧＰＳ及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ｅｘ１１２に送信し、解析部ｅｘ１１２は、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。

なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、解析部ｅｘ１１２は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ｅｘ１１２は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ｅｘ１１２は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ｅｘ１１２は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。

ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。

なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。

なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ｅｘ１１２は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラｅｘ１０２の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ｅｘ１０１は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。

なお、移動カメラが複数ある場合、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ｅｘ１０１は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ｅｘ１０１は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。

以上の構成により、映像情報処理装置ｅｘ１０１は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。

（変形例１）
なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ｅｘ１０１側で制御可能であれば、映像情報処理装置ｅｘ１０１は、そのような撮影に関するカメラｅｘ１０２の特徴量を自動で制御してもよい。

ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）である。

また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ｅｘ１０１に登録されてもよい。この場合は、映像情報処理装置ｅｘ１０１は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。

（変形例２）
解析部ｅｘ１１２は、例えばＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像（三次元再構成データ）を生成してもよい。この自由視点映像は、保存部ｅｘ１１１に保存される。映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信される視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出して、映像受信装置ｅｘ１０３に送信する。なお、映像受信装置ｅｘ１０３は、複数のカメラの一つであってもよい。

（変形例３）
映像情報処理装置ｅｘ１０１は、撮影禁止領域を検出してもよい。この場合、解析部ｅｘ１１２は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。

解析部ｅｘ１１２は、例えば、ＳｆＭを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ｅｘ１１２は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。

また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。

例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。

また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。

以上の構成により、映像情報処理装置ｅｘ１０１は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。

（変形例４）
映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムｅｘ１００は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ｅｘ１０１は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ｅｘ１０１は、リクエストが多いなど価値のある視野（及び／又は、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。

（変形例５）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ｅｘ１０１は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラｅｘ１０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラｅｘ１０２は、このマッピングを、カメラｅｘ１０２に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。

また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。

（変形例６）
解析部ｅｘ１１２は，自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。

映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。

例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ｅｘ１０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ｅｘ１１２の解析結果に基づき、映像情報処理装置ｅｘ１０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ｅｘ１０１はユーザからリクエストがあった場合のみ過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。

（変形例７）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。

広告情報は例えば変形例６で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ｅｘ１０１は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。

また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはｅコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。

（変形例８）
映像受信装置ｅｘ１０３は、カメラｅｘ１０２（ユーザカメラ）の一つであってもよい。この場合、解析部ｅｘ１１２は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。

例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２が判定したユーザカメラの撮影領域から視点情報の分だけ移動させた領域を撮影した映像データを保存部ｅｘ１１１から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ｅｘ１０１から配信された映像を表示する。

以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。

また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ｅｘ１０１からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ｅｘ１０１から配信された映像を視聴することができるので、障害物の影響を軽減することができる。

また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。

なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。

（変形例９）
各カメラｅｘ１０２で撮影された映像データの重要度に基づき映像データを映像情報処理装置ｅｘ１０１に転送する速度が指示されてもよい。

この場合、解析部ｅｘ１１２は保存部ｅｘ１１１に保存された映像データ、又は当該映像データを撮影したカメラｅｘ１０２の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。

また、映像データの重要度の判定は、映像データが撮影されたカメラｅｘ１０２の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラｅｘ１０２の近くに撮影中の他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、対象のカメラｅｘ１０２の位置が他のカメラｅｘ１０２から離れていても同じ領域を撮影している他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。

また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が高く設定されてもよい。逆に、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。

また、解析部ｅｘ１１２は、自由視点映像とカメラｅｘ１０２の撮影映像とを用いて、映像データの重要度を判定してもよい。

映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２で行われた重要度の判定結果に基づき、カメラｅｘ１０２に対して通信速度指示信号を送信する。映像情報処理装置ｅｘ１０１は、例えば、重要度が高い映像を撮影しているカメラｅｘ１０２に対して高い通信速度を指示する。また、映像情報処理装置ｅｘ１０１は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラｅｘ１０２と映像情報処理装置ｅｘ１０１との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ｅｘ１０１は、有線通信及び無線通信のいずれか一方のみを制御してもよい。

カメラｅｘ１０２は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ｅｘ１０１に送信する。なお、カメラｅｘ１０２は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ｅｘ１１２における処理の高速化を実現できる。

また、カメラｅｘ１０２は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。

また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要である可能性がある。この場合、カメラｅｘ１０２は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域のみを抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。

また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラｅｘ１０２は、映像情報処理装置ｅｘ１０１にカメラｅｘ１０２の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラｅｘ１０２は、カメラｅｘ１０２で検出された位置情報及び撮影方向の情報のみを送信してもよい。また、映像情報処理装置ｅｘ１０１においてカメラｅｘ１０２の位置情報及び撮影方向の情報を推定する場合は、カメラｅｘ１０２は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラｅｘ１０２に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ｅｘ１０１は、より多くのカメラｅｘ１０２から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。

なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラｅｘ１０２が行ってもよいし、映像情報処理装置ｅｘ１０１が各カメラｅｘ１０２の動作を決定し、決定された動作を示す制御信号を各カメラｅｘ１０２に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラｅｘ１０２の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。

（変形例１０）
解析部ｅｘ１１２は、映像受信装置ｅｘ１０３から送信された視野情報（及び／又は、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ｅｘ１１２は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。

なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラｅｘ１０２が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び／又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。

（変形例１１）
映像配信システムにおいて、映像情報処理装置ｅｘ１０１は、撮影シーンの全体を示す概観映像を映像受信装置ｅｘ１０３に送信してもよい。

具体的には、映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信された配信リクエストを受信した場合、保存部ｅｘ１１１から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ｅｘ１０３に送信する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質が低くてもよい。視聴者は、映像受信装置ｅｘ１０３の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ｅｘ１０３は、タッチされた部分に対応する視野情報（及び／又は、視点情報）を映像情報処理装置ｅｘ１０１に送信する。

映像情報処理装置ｅｘ１０１は、視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出し、当該映像データを映像受信装置ｅｘ１０３に送信する。

また、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）で示される領域に対して優先的に三次元形状の復元（三次元再構成）を行うことで自由視点映像を生成する。解析部ｅｘ１１２は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。

（変形例１２）
なお、映像情報処理装置ｅｘ１０１は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。

例えば、スタジアムでサッカーが行われている場合、解析部ｅｘ１１２は、選手及びボールのみに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ｅｘ１１２は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ｅｘ１１２は、人物及び移動物体のみに限定して、又はそれらを優先して三次元形状の復元を行ってもよい。

（変形例１３）
各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ｅｘ１１２は、複数のカメラｅｘ１０２で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ｅｘ１１１に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。

または、解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された複数の映像データのうち、高画質データのみを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。

（変形例１４）
解析部ｅｘ１１２は、カメラ属性情報を用いて、三次元形状の復元を行ってもよい。例えば、解析部ｅｘ１１２は、カメラ属性情報を用いて、視体積交差法又はマルチビューステレオ法などの手法により三次元映像を生成してもよい。この場合、カメラｅｘ１０２は、撮影映像データとカメラ属性情報とを映像情報処理装置ｅｘ１０１に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。

これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。

具体的には、カメラｅｘ１０２は、施設内又はスタジアム内に三次元座標を定義し、カメラｅｘ１０２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ｅｘ１０１に送信する。また、カメラｅｘ１０２の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。

また、カメラｅｘ１０２の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラｅｘ１０２を向けることにより、カメラｅｘ１０２の位置及び角度情報が取得される。図９は、カメラｅｘ１０２に起動時に、カメラｅｘ１０２の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「＋」に、画面中央に表示された「＋」を合わせて、カメラｅｘ１０２のディスプレイをタッチすると、カメラｅｘ１０２は、カメラｅｘ１０２から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラｅｘ１０２のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。

カメラｅｘ１０２の座標の特定は、ＧＰＳ、ＷｉＦｉ（登録商標）、３Ｇ、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、及び５Ｇ（無線ＬＡＮ）の電波を用いて行われてもよいし、ビーコン（Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波）など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。

（変形例１５）
当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。

上記システムへのログインには、各種ＳＮＳ等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。

また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。

このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。

また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人のみでシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてＣＧのキャラクタを挿入するなどにより、拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）のゲーム等にも映像作品を利用できる。

また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する３Ｄプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。

（変形例１６）
上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。

一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はＳｆＭ等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。

また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。

また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、ＳｆＭは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。

また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。

（変形例１７）
上記システムは、例えば、複数のカメラを利用して建物又は設備の測距又はモデリングを行うシステムにも適用できる。

ここで、例えば、１台のドローンを用いて建物を上空から撮影し、建物の測距又はモデリングを行う場合には、測距中にカメラに動物体が写りこむことで測距の精度が低下するという課題がある。また、動物体の測距及びモデリングを行えないという課題がある。

一方で、上述したように複数のカメラ（固定カメラ、スマートフォン、ウェアラブルカメラ及びドローン等）を用いることで、動物体の有無にかかわらず安定した精度で建物の測距及びモデリングを実現できる。また、動物体の測距及びモデリングを実現できる。

具体的には、例えば、建築現場において作業員のヘルメット等にカメラが取り付けられる。これにより、作業員の作業に並行して建物の測距を行うことができる。また、作業の効率化及びミス防止にも用いることができる。また、作業員に装着されたカメラで撮影された映像を用いて建物をモデリングできる。さらに、遠隔地にいる管理者が、モデリングされた建物を見ることで進捗具合を確認できる。

また、当該システムは、工場又は発電所の機械等、停止できない設備の点検に使用できる。また、当該システムは、橋或いはダムの開閉、又は、遊園地の乗り物の動作等に異常がないかを点検する場合に使用できる。

また、当該システムにより、道路の渋滞具合又は交通量を監視することで、各時間帯の道路の渋滞具合又は交通量を示す地図を生成することができる。

（実施の形態４）
上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図１０は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ２００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ２０６、ｅｘ２０７、ｅｘ２０８、ｅｘ２０９、ｅｘ２１０が設置されている。

このコンテンツ供給システムｅｘ２００は、インターネットｅｘ２０１にインターネットサービスプロバイダｅｘ２０２および通信網ｅｘ２０４、および基地局ｅｘ２０６からｅｘ２１０を介して、コンピュータｅｘ２１１、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）ｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ２００は図１０のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ２０６からｅｘ２１０を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ｅｘ２０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ２１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ２１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンｅｘ２１４は、ＧＳＭ（登録商標）（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）方式、若しくはＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（ＨｉｇｈＳｐｅｅｄＰａｃｋｅｔＡｃｃｅｓｓ）、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ２００では、カメラｅｘ２１３等が基地局ｅｘ２０９、通信網ｅｘ２０４を通じてストリーミングサーバｅｘ２０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ２１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して符号化処理を行い、ストリーミングサーバｅｘ２０３に送信する。一方、ストリーミングサーバｅｘ２０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ２１１、ＰＤＡｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ２１３で行っても、データの送信処理をするストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ２１３に限らず、カメラｅｘ２１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ２１１を介してストリーミングサーバｅｘ２０３に送信してもよい。この場合の符号化処理はカメラｅｘ２１６、コンピュータｅｘ２１１、ストリーミングサーバｅｘ２０３のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンｅｘ２１４等では画像の一部の領域を拡大して表示してもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ２１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ２１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンｅｘ２１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ２１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ２０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ２００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ２００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ２００の例に限らず、図１１に示すように、デジタル放送用システムｅｘ３００にも、上記各実施の形態を適用してもよい。具体的には、放送局ｅｘ３０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ３０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ３０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ３０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ４００またはセットトップボックス（ＳＴＢ）ｅｘ３１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ３１５、もしくはＳＤなどのメモリｅｘ３１６に記録した多重化データを読み取り復号化する、または記録メディアｅｘ３１５もしくはメモリｅｘ３１６に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ３１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ３１９に表示され、多重化データが記録された記録メディアｅｘ３１５、又はメモリｅｘ３１６により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ３０３または衛星／地上波放送のアンテナｅｘ３０４に接続されたセットトップボックスｅｘ３１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ３１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１２は、スマートフォンｅｘ２１４を示す図である。また、図１３は、スマートフォンｅｘ２１４の構成例を示す図である。スマートフォンｅｘ２１４は、基地局ｅｘ２１０との間で電波を送受信するためのアンテナｅｘ４５０、映像、静止画を撮ることが可能なカメラ部ｅｘ４６５、カメラ部ｅｘ４６５で撮像した映像、アンテナｅｘ４５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ４５８を備える。スマートフォンｅｘ２１４は、さらに、タッチパネル等である操作部ｅｘ４６６、音声を出力するためのスピーカ等である音声出力部ｅｘ４５７、音声を入力するためのマイク等である音声入力部ｅｘ４５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ｅｘ４６７、又は図１１に例示されたメモリｅｘ３１６、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４を備える。

スマートフォンｅｘ２１４は、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０に対して、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、メモリ部ｅｘ４６７がバスｅｘ４７０を介して互いに接続されている。

電源回路部ｅｘ４６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ２１４を動作可能な状態に起動する。

スマートフォンｅｘ２１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。またスマートフォンｅｘ２１４は、音声通話モード時にアンテナｅｘ４５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ｅｘ４６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出される。主制御部ｅｘ４６０は、テキストデータを変調／復調部ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して基地局ｅｘ２１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ４５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、カメラ部ｅｘ４６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像、静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。

多重／分離部ｅｘ４５３は、映像信号処理部ｅｘ４５５から供給された符号化された映像データと音声信号処理部ｅｘ４５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ４５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。

また、上記スマートフォンｅｘ２１４等の端末は、テレビｅｘ４００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ３００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本開示は、自由視点映像を配信する映像配信システム等に適用できる。

１００、１００Ａ、１００Ｂ映像配信システム
１０１撮像装置
１０２、１０２Ｂ映像処理装置
１０３、１０３Ａ、１０３Ｂ視聴装置
１１１カメラ
１１２センサ
１２１モデル生成部
１２２解析部
１２３カメラワーク生成部
１２４レンダリング部
１２５、１３１表示部
１２６配信部
１２７評価情報受信部
１３２評価部
１５１多視点映像
１５２三次元モデル
１５３対象シーン
１５４カメラワーク
１５５カメラワーク確認用映像
１５６自由視点映像
２０１カメラワーク表示欄
２０２カメラ情報表示欄
２０３自由視点映像表示欄
２０４スライドバー
２０５評価表示欄
２０６アップロードボタン

Claims

同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成ステップと、
前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する対象シーン決定ステップと、
前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成ステップとを含む
カメラワーク生成方法。
前記対象シーン決定ステップでは、前記多視点映像又は前記三次元モデルを用いて、前記対象シーンを決定する
請求項１記載のカメラワーク生成方法。
前記対象シーン決定ステップでは、前記シーンの音声を用いて、前記対象シーンを決定する
請求項１記載のカメラワーク生成方法。
前記カメラワーク生成ステップでは、前記対象シーンに対応付けられている予め定められた種別の物体が前記自由視点映像に含まれるように前記仮想カメラの位置及び姿勢を決定する
請求項１〜３のいずれか１項に記載のカメラワーク生成方法。
前記カメラワーク生成ステップでは、前記三次元モデルに含まれる複数の部分の精度に基づき、前記仮想カメラの位置及び姿勢を決定する
請求項１〜３のいずれか１項に記載のカメラワーク生成方法。
前記カメラワーク生成方法は、さらに、
前記カメラワークを表示するカメラワーク表示ステップを含む
請求項１〜５のいずれか１項に記載のカメラワーク生成方法。
前記カメラワーク生成方法は、さらに、
前記カメラワークを用いて、前記三次元モデル又は前記多視点映像から前記自由視点映像を生成する映像生成ステップを含む
請求項１〜６のいずれか１項に記載のカメラワーク生成方法。
前記映像生成ステップでは、前記自由視点映像にブレを追加する
請求項７記載のカメラワーク生成方法。
前記カメラワーク生成方法は、さらに、
前記カメラワークに対するユーザの評価を取得する取得ステップを含み、
前記カメラワーク生成ステップでは、前記評価に基づき、カメラワークを生成する
請求項１〜８のいずれか１項に記載のカメラワーク生成方法。
同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成部と、
前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する解析部と、
前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成部とを備える
映像処理装置。