WO2022091215A1

WO2022091215A1 - 映像配信装置、映像配信システム、映像配信方法、及びプログラム

Info

Publication number: WO2022091215A1
Application number: PCT/JP2020/040259
Authority: WO
Inventors: 出瀬之口
Original assignee: Ａｍａｔｅｌｕｓ株式会社
Priority date: 2020-10-27
Filing date: 2020-10-27
Publication date: 2022-05-05
Also published as: JP7208695B2; EP4240019A4; US20230269411A1; EP4240019A1; JP2023027378A; JPWO2022091215A1

Abstract

本発明は、ログイン等の権限を定めた階層的なコンテンツ公開の場を設定及び開設し、コンテンツを配信する技術を提供する。　本発明は、映像配信装置とユーザの端末装置とからなる映像配信システムであって、映像配信装置は、端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する公開プレイスを設定する公開プレイス設定部と、公開プレイスの前記コンテンツデータについてユーザの端末装置より配信に係る要求があったときに、少なくとも要求をしたユーザの権限及び前記公開プレイスに設定された権限に基づいて、要求に係る処理の可否を判定し、条件を満たす場合には、処理を実行する判定部と、を有する。

Description

映像配信装置、映像配信システム、映像配信方法、及びプログラム

　本発明は、自由視点映像データ等を利用する技術に係り、特に自由視点映像データ等を編集し、オートパイロット用の教示ファイルを生成し、それらを公開する場である公開プレイスの設定及び開設に関わる技術に関する。

　従来、自由視点映像データ等を利用する技術は多岐に亘る。そのような中で、複数のカメラで撮影された画像を利用する映像配信装置ついても種々の技術が提案されている。例えば、同一の被写体に対して視点が異なる複数台のカメラのうち、予めユーザ指定された一部のカメラの配置状態を基準として、被写体に対する視点を変える技術がある（例えば特許文献１等参照）。同技術では、一連の結合動画像の生成に用いる画像を撮影する１又は２以上の他のカメラを、ユーザ指定のカメラと共にグループ指定し、この指定したグループ内の各カメラの各撮影動画像を所定の切り換えタイミングで切り換え結合して一連の結合動画像を生成するために、その結合する順番を決定する。

　一方、複数のカメラにより同時に撮像された複数の動画を編集して１本の動画を作成する技術がある（例えば特許文献２等参照）。同技術では、動画撮像可能な複数のカメラと無線又は有線により接続され、前記複数のカメラから１乃至複数のライブビュー画像を取得するライブビュー画像取得部と、前記ライブビュー画像取得部により取得した１乃至複数のライブビュー画像を表示する表示部と、前記表示部に表示させるライブビュー画像を手動操作により切り替える操作部と、前記操作部での操作履歴を示す操作履歴情報を記録する操作履歴記録部と、前記複数のカメラによる動画撮像の終了後、前記複数のカメラによりそれぞれ撮像された複数の動画と前記操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行う動画編集部とを備える。

　さらに、共有グループの共有部にてコンテンツの共有を行う際に前記コンテンツの利用権限を管理するコンテンツ共有システム用利用権限管理装置に関する技術がある（例えば特許文献３参照）。このコンテンツ共有システム用利用権限管理装置では、コンテンツの利用権限を登録する登録ユーザの操作入力に基づいてコンテンツを固有に識別する登録識別情報をコンテンツに割り当ててコンテンツの利用権限を登録する登録手段と、コンテンツの登録識別情報と登録ユーザの登録ユーザ識別情報とを対応させて登録ユーザによる利用上の情報管理を行う管理手段とを備えている。

特開２０１５－１７７３９４号公報特許第６３０２５６４号公報特許第４６９７４６８号公報

　しかしながら、特許文献１は、複数のカメラで撮影された、それぞれ指定されたカメラの動画を、その都度結合処理する技術を開示するものであり、動画を編集し、オートパイロット用の教示ファイルを生成する点については開示されていない。

　一方、特許文献２は、複数のカメラにより撮像された複数の動画と操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行うことを開示しているにすぎず、文字や音声等のアノテーションを動画に付加することや、編集の結果をオートパイロット用の教示ファイルとして配信する点については開示されていない。

　さらに、特許文献３では、ユーザの設定により、ログイン等の権限を個別に定めた階層的なネスト構造の公開プレイスを開設し、コンテンツを配信可能とする点については、何ら開示も示唆もされていない。

　本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、ログイン等の権限を定めた階層的なコンテンツ公開の場を設定及び開設し、コンテンツを配信する技術を提供することにある。

　上記課題を解決するために、本発明の第１の態様に係る映像配信システムは、映像配信装置とユーザの端末装置とからなる映像配信システムであって、前記映像配信装置は、前記端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する前記公開プレイスを設定する公開プレイス設定部と、前記公開プレイスの前記コンテンツデータについて前記ユーザの端末装置より配信に係る要求があったときに、少なくとも要求をした前記ユーザの権限、及び前記公開プレイスに設定された権限に基づいて、前記要求に係る処理の可否を判定し、条件を満たす場合には、前記処理を実行する判定部と、を有し、前記端末装置は、前記映像配信装置の前記公開プレイスの前記コンテンツデータについて配信に係る要求を行う要求部と、前記映像配信装置から配信されたコンテンツデータを取得する取得部と、前記コンテンツデータに基づく映像を表示する表示部と、を有する。

　本発明の第２の態様に係る映像配信方法は、映像配信装置とユーザの端末装置とよる映像配信方法であって、前記映像配信装置が、前記端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する前記公開プレイスを設定し、前記公開プレイスの前記コンテンツデータについて前記ユーザの端末装置より配信に係る要求があったときに、少なくとも要求をした前記ユーザの権限、及び前記公開プレイスに設定された権限に基づいて、前記要求に係る処理の可否を判定し、条件を満たす場合には、前記処理を実行し、前記端末装置が、前記映像配信装置の前記公開プレイスの前記コンテンツデータについて配信に係る要求を行い、前記映像配信装置から配信されたコンテンツデータを取得し、前記コンテンツデータに基づく映像を表示する。

　本発明の第３の態様に係る映像配信装置は、ユーザの端末装置と通信自在な映像配信装置であって、前記端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する前記公開プレイスを設定する公開プレイス設定部と、前記公開プレイスの前記コンテンツデータについて前記ユーザの端末装置より配信に係る要求があったときに、少なくとも要求をした前記ユーザの権限、及び前記公開プレイスに設定された権限に基づいて、前記要求に係る処理の可否を判定し、条件を満たす場合には、前記処理を実行する判定部と、を有する。

　本発明の第４の態様に係るプログラムは、ユーザの端末装置と通信自在なコンピュータを、前記端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する前記公開プレイスを設定する公開プレイス設定部、及び前記公開プレイスの前記コンテンツデータについて前記ユーザの端末装置より配信に係る要求があったときに、少なくとも要求をした前記ユーザの権限、及び前記公開プレイスに設定された権限に基づいて、前記要求に係る処理の可否を判定し、条件を満たす場合には、前記処理を実行する判定部として機能させる。

　本発明によれば、ログイン等の権限を定めた階層的なコンテンツ公開の場を設定及び開設し、コンテンツを配信する技術を提供することができる。

本発明の実施形態に係る映像配信システムの構成図である。同システムにおける映像配信装置の構成図である。同システムにおける端末装置の構成図である。編集画面の一例を示す図である。動画データ及び分割データについて示す図である。分割データの切り換えについて示す図である。スクリーン教示データの構造を示す図である。コンテンツ教示データの構造を示す図である。アノテーション教示データの構造を示す図である。アノテーション教示データの構造を示す図である。生成された静止画データの順番を示す図である。同システムによる自由視点映像データ等の編集に係る処理手順を示すフローチャートである。編集処理の詳細な処理手順を示すフローチャートである。オートパイロット用の教示ファイルに基づく再生等の処理手順を示すフローチャートである。図１５（ａ）はコンテンツの種別を定義して説明する図であり、図１５（ｂ）は権限の種別を定義して説明する図である。図１６（ａ）はユーザテーブルの一例を示す図であり、図１６（ｂ）は公開プレイステーブルの一例を示す図であり、図１６（ｃ）はコンテンツテーブルの一例を示す図である。公開プレイス開設に関わる処理手順を示すフローチャートである。権限に応じた処理の処理手順を示すフローチャートである。

　以下、図面を参照しつつ本発明の一実施形態について説明する。

　図１には、本発明の実施形態に係る映像配信システムの構成を示し説明する。

　同図に示されるように、映像配信システムは、映像配信装置１と、編集者の端末装置２と、閲覧者の端末装置３とが、インターネット等の通信網４に無線又は有線で接続されている。映像配信装置１は、１又は２以上のサーバ装置やコンピュータ等により実現されてよい。編集者の端末装置２としては、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータ、ヘッドマウントディスプレイ等、操作入力受付け等が可能で、情報表示を可能とする端末であれば、各種のものを採用することができる。これと同様に、閲覧者の端末装置３としては、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータ、ヘッドマウントディスプレイ等、操作入力受付け等が可能で、情報表示を可能とする端末であれば、各種のものを採用することができる。

　このような構成において、映像配信装置１は、編集者の端末装置２からの要求を受けると、複数のカメラで被写体を撮影した自由視点映像データ等を、当該編集者の端末装置２に送信する。編集者の端末装置２では、詳細は後述する所定の編集画面が表示され、自由視点映像データを閲覧しながら、映像の切り替え（視点の切り換え）、拡大、縮小、各種アノテーション（文字、図形、記号、及び音声等）の付加等を行い、編集結果である教示データを映像配信装置１に送信する。編集者が複数の場合には、各編集者の端末装置２より教示データが映像配信装置１に送信される。映像配信装置１は、教示データを受信すると、当該教示データに基づいて、オートパイロット用の教示ファイルを生成する。更に、映像配信装置１は、オートパイロット用の教示ファイルを、閲覧者の端末装置３に配信可能に提示する。この提示は、専用のＷｅｂサイト等により行ってもよく、或いは端末装置２でのアプリケーションプログラムの実行により表示される画面にて行ってもよい。

　ここで、「オートパイロット」とは、自由視点映像データの表示等に関して、閲覧者が任意に操作せずとも、教示ファイルの構成内容に基づいて自動操作により視点の切替えや、再生時間位置の移動等を行い表示することをいう。「ライブオートパイロット」とは、任意に指定した所定時間経過後、または可能な限り即時に、オートパイロット用の教示ファイルを逐次生成、配信することをいい、自由視点映像データのライブ配信（生配信）、オンデマンド配信等の配信形態を問わず行うことができる。

　閲覧者の端末装置３で、映像配信装置１の提供するＷｅｂサイト等で、オートパイロット用の教示ファイルが選択され、配信要求がなされると、映像配信装置１は、選択されたオートパイロット用の教示ファイルを閲覧者の端末装置３に配信する。このとき、閲覧者の有する権限に応じて、教示ファイルの配信の可否、及び教示ファイル有無の表示の可否について決定するようにしてもよい。従って、例えば、教示ファイル有無の表示は全員にできるが、教示ファイルの配信に関しては購入済権限を持つ人のみに可能としたり、購入済権限が無ければ教示ファイル自体表示されないようにしたりできる。

　閲覧者の端末装置３は、オートパイロット用の教示ファイルを受信すると、当該教示ファイルに基づいて、自由視点映像を再生する。従来であれば、閲覧者の端末装置３で、所望とする視点等に切り換えながら自由視点映像の再生を行っていたが、本実施形態によれば、自動的に視点等を切り換えながらの有用な再生が実現される。なお、自由視点映像の再生に伴う、コンテンツの取得については、例えば、オンラインストリーミングでも、ダウンロードでもよく、複合的に行ってもよいことは勿論である。

　すなわち、閲覧者の端末装置３は、一旦、教示ファイルと自由視点映像データをダウンロードすれば、通信環境下でなくても、いずれも自由に自由視点映像を再生することが可能となり、それらを編集して、教示ファイルの再生成が可能であることは勿論である。また、自由視点映像データのみをダウンロードした場合にも、それらを編集して、教示データの生成及び教示ファイルの生成が可能であることは勿論である。また、端末装置３で編集、生成ないしは再生成した教示ファイルを任意に映像配信装置１へ送信し、権限を付与し配信することが可能であることは勿論である。

　映像配信装置１は、ユーザの端末装置２，３からのリクエストに応じて、自由視点映像データや教示ファイル等の各種コンテンツを公開する場である公開プレイスを例えばＷｅｂサイト等で開設する。この公開プレイスの開設に際しては、編集者の端末装置２、及び閲覧者の端末装置３等から公開プレイス設定情報を受信し、当該設定情報に基づいて、階層的なネスト構造の公開プレイスを開設する。以下では、編集者、閲覧者に一般ユーザを加えたものをユーザと定義する。ユーザ、公開プレイス、及びコンテンツには、例えば、サイトへのログインやコンテンツのストリーミング、ダウンロード等の各種権限を設定することができるので、映像配信装置１は、公開プレイスについて、各種要求があった場合には、権限に基づく処理（例えば、ダウンロード等）を実行する。即ち、一般ユーザであっても、当該権限さえ取得していれば、公開プレイスの開設等が可能となる。
詳細は後述する。

　図２には、映像配信システムにおける映像配信装置の詳細な構成を示し説明する。

　同図に示されるように、サーバ装置等からなる映像配信装置１は、全体の制御を司る制御部１０と、メモリとしてのＲＡＭ（Random Access Memory）１１及びＲＯＭ（Read Only Memory）１２と、ＭＰＥＧデコードモジュール１３と、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等からなる記憶部１４と、Ｉ／Ｏポート１５とを有し、これらがバスラインに接続されている。Ｉ／Ｏポート１５には、ＨＵＢ１６を介してルータ１７が接続されている。尚、制御部１０は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ（Microprocessor）、マルチプロセッサ（Multiprocessor）、ＡＳＩＣ、ＦＰＧＡ等で構成されてよい。

　記憶部１４は、コンテンツ記憶部１４ａ、操作データ記憶部１４ｂ、教示ファイル記憶部１４ｃ、公開プレイス情報記憶部１４ｋ、及びユーザ情報記憶部１４ｌを有する。コンテンツ記憶部１４ａには、自由視点映像データや、それを分割した静止画データ等が記憶されている。操作データ記憶部１４ｂには、編集者の端末装置２から送られてきた操作データ等が記憶されている。教示ファイル記憶部１４ｃには、生成したオートパイロット用の教示ファイルが記憶されている。公開プレイス情報記憶部１４ｋには、詳細は後述する公開プレイス設定情報が記憶されている。そして、ユーザ情報記憶部１４ｌには、ユーザの属性情報や権限、閲覧履歴等の情報が記憶されている。

　記憶部１４には、更にＯＳ１４ｄ、データ取得プログラム１４ｅ、データ生成プログラム１４ｆ、教示ファイル生成プログラム１４ｇ、選択プログラム１４ｈ、配信プログラム１４ｉ、及びコンテンツ生成プログラム１４ｊが記憶されている。したがって、制御部１０は、配信プログラム１４ｉを実行することで、配信部１０ａ、公開プレイス設定部１０ｈ、判定部１０ｉ、通知部１０ｊ、及び関連性示唆部１０ｋとして機能し、データ取得プログラム１４ｅを実行することで取得部１０ｂとして機能し、データ生成プログラム１４ｆを実行することでデータ生成部１０ｃとして機能し、選択プログラム１４ｈを実行することで指定値受付部１０ｄ及び選択部１０ｅとして機能し、教示ファイル生成プログラム１４ｇを実行することで教示ファイル生成部１０ｆとして機能する。コンテンツ生成プログラム１４ｊを実行することで、コンテンツ生成部１０ｇとしても機能する。このほかＯＳ１４ｄの下、決済部１０ｌとして機能する。

　取得部１０ａは、複数の動画データを自由視点動画データとしてＩ／Ｏポート１５を介して取得する。本実施形態では、取得部１０ａは、被写体をそれぞれ異なる方向から撮像した複数の動画データを取得する。取得した自由視点動画データはコンテンツ記憶部１４ａに記憶される。

　データ生成部１０ｃは、取得部１０ｂが取得した自由視点動画データ、即ち複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成する。より詳細には、データ生成部１０ｃは、コンテンツ記憶部１４ａに記憶された動画データをＭＰＥＧデコードモジュール１３で解凍し、静止画データの集合とした上で、コンテンツ記憶部１４ａに保存する。この際、各静止画データは、それぞれが撮像されたタイミングを示す時間データと関連付けて保存される。

　指定値受付部１０ｄは、閲覧者の端末装置３より、閲覧したい静止画データにおける位置データを指定する方向指定値（操作データ）を受け付ける。選択部１０ｅは、指定値受付部１０ｄが受け付けた方向指定値に基づいて、時間データに沿って静止画データを選択し、通信網４を介して、閲覧者の端末装置３に送信する。本実施形態では、閲覧者の端末装置３が静止画データを受信して、映像を生成する。

　教示ファイル生成部１０ｆは、編集者の端末装置２からの教示データに基づいて、オートパイロット用の教示ファイルを生成し、教示ファイル記憶部１４ｃに記憶する。教示ファイルのファイル構造については、後に詳述する。配信部１０ａは、閲覧者の端末装置３からの配信要求に従い、教示ファイル記憶部１４ｃから指定されたオートパイロット用の教示ファイルを読み出し、通信網４を介して閲覧者の端末装置３に送信する。この送信の際には、該当するコンテンツデータ（分割された静止画データを含む）を同時に送信しても、閲覧の過程で該当するコンテンツデータを都度送信してもよい。

　コンテンツ生成部１０ｇは、自由視点映像データ及び教示ファイルに基づいて、自由視点映像データのコンテンツを生成、または動画のストリーミングデータ等のコンテンツを生成する。このコンテンツも、配信部１０ａにより閲覧者の端末装置３に送信される。

　公開プレイス設定部１０ｈは、端末装置２，３からの公開プレイス設定情報に基づいて階層的なネスト構造の公開プレイスを開設し、コンテンツの配信を可能とする。判定部１０ｉは、ユーザから公開プレイスにアップロードされているコンテンツに対してダウンロードやストリーミング等のリクエストがあった場合に、ユーザの権限、公開プレイスの権限、及びコンテンツの権限に基づいて、ダウンロード等の処理の可否を判定する。通知部１０ｊは、公開プレイスで公開されている自由視点映像データ等について、他の視点の自由視点映像データがアップロードされた場合等に、その旨を、公開者等に通知する。関連性示唆部１０ｋは、コンテンツが再生されているときに、関連する動画等が存在する場合には、関連性を示唆する。そして、決済部１０ｌは、公開プレイスにアップロードされているコンテンツについて、販売等に関わる電子決済を行う。

　図３には、映像配信システムにおける編集者の端末装置２の構成を示し説明する。閲覧者の端末装置３も基本構成は同じである。

　同図に示されるように、編集者の端末装置２（閲覧者の端末装置３も同様）は、制御部２１と、ＲＡＭ２２と、ＲＯＭ２３と、ＪＰＥＧデコードモジュール２４と、Ｉ／Ｏポート２５と、無線通信部２６と、描画部２７と、表示モニタ２８と、操作認識部２９と、操作部３０と、記憶部３１と、撮像部３２と、ＧＰＳ部３３とを有する。各部は、バスラインを介して接続されている。制御部１０は、例えば、ＣＰＵ、マイクロプロセッサ、マルチプロセッサ、ＡＳＩＣ、ＦＰＧＡ等で構成されてよい。記憶部３１は、ＨＤＤやフラッシュメモリである。

　記憶部３１は、コンテンツ記憶部３１ａ、操作データ記憶部３１ｂ、及び教示ファイル記憶部３１ｃを有する。コンテンツ記憶部３１ａは、映像配信装置１から送られてきた自由視点動画データや静止画データ等を記憶する。操作データ記憶部３１ｂは、画面操作に基づいて再生映像の視点等が変更されたときに、その操作データを記憶する。そして、教示ファイル記憶部３１ｃは、映像配信装置１から送られてきた教示ファイルや、編集時に生成された教示データを記憶する。

　記憶部３１は、ＯＳ３１ｄ、ブラウザプログラム３１ｅ、編集プログラム３１ｆ、教示ファイル生成プログラム３１ｇを記憶している。したがって、制御部２１は、ＯＳ３１ｄに基づき、要求部２１ａ、取得部２１ｄ、送信部２１ｆ、コード解析部２１ｇ、及び位置情報取得部２１ｈとして機能し、ブラウザプログラム３１ｅを実行することで、映像生成部２１ｂとして機能し、編集プログラム３１ｆを実行することで編集部２１ｃとして機能する。閲覧者の端末装置３の表示モニタ２８がタッチパネルである場合には、記憶部３１は、タッチパネル制御ファームウェアを記憶する。制御部２１は、教示ファイル生成プログラム３１ｇを実行することで、教示ファイル生成部２１ｅとして機能する。

　編集時においては、次のような処理を各部が行う。即ち、要求部２１ａは、映像配信装置１に対して、自由視点映像データ（分割された静止画データを含む）を要求する。この要求の送信は、Ｉ／Ｏポート２５を介して接続された無線通信部２６が行う。無線通信部２６に代えて、有線通信部を備えてもよい。取得部２１ｄは、映像配信装置１から送られてきた自由視点映像データ（分割された静止画データを含む）を取得する。映像生成部２１ｂは、自由視点映像データから端末装置３に表示可能なコンテンツを生成する。このとき描画部２７は、表示モニタ２８への表示を制御する。なお、取得した静止画データは、ＪＰＥＧデコードモジュール２４によりデコードされる。

　編集部２１ｃは、詳細は後述する画面での編集者による操作に基づいて、自由視点映像データ（分割された静止画データを含む）の視点の変更、画面割、拡大／縮小、再生速度の変更、アノテーション（文字、図形、記号、及び音声等）の付加などを含む編集処理を実行し、教示データを生成し、教示ファイル記憶部３１ｃに保存する。教示データの一部を操作データとする場合には、操作認識部２９が、操作部３０の操作を認識して、方向指定値を含む操作データとして操作データ記憶部３１ｂに保存する。教示ファイル生成部２１ｅは、教示データに基づいて、オートパイロット用の教示ファイルを生成し、教示ファイル記憶部３１ｃに記憶する。送信部２１ｆは、コンテンツ記憶部３１ａのコンテンツデータ（例えば、動画のストリーミングデータ等）や、教示データ、教示ファイル等を、無線通信部２６を介して映像配信装置１に送信する。

　一方、オートパイロット用の教示ファイルに基づく再生を行う場合には、次のような処理を各部が行う。即ち、要求部２１ａは、映像配信装置１に対して、オートパイロット用の教示ファイルを要求する。取得部２１ｄは、映像配信装置１から送られてきたオートパイロット用の教示ファイルを取得する。このとき、再生に必要な３次元点群データ、３次元ＣＧ、動画データや静止画データ等のコンテンツデータを取得してもよい。そして、映像生成部２１ｂが、教示ファイルに基づいて映像を生成し、描画部２７により表示モニタ２８にて動画の再生を行う。教示ファイルにアノテーションデータ等が含まれている場合、動画の再生と共に、音声、テキスト、図形等の再生も教示ファイルで定義されたタイミングで行う。

　オートパイロット用の教示ファイルに基づく再生の過程で、閲覧者により操作部３０が操作され、視点の変更等が指示されると、操作認識部２９が、その操作を認識し、方向指定値に係る操作データを生成する。要求部２１ａは、方向指定値に係る操作データを映像配信装置１に送信し、視点の変更等を要求する。映像配信装置１から、視点の変更等がなされた自由視点映像データ（分割された静止画データを含む）を取得部２１ｄが取得すると教示ファイルに基づく再生を一旦中止して、視点を変えた再生が実行される。

　コード解析部２１ｇは、撮像部３２により撮像したＱＲコード（登録商標）等の二次元コードを解析し、コード情報を取得する。このコード情報には、例えば、座席番号や、当該座席と紐づけられている位置情報等が含まれてよい。位置情報取得部２１ｈは、無線通信部２６の通信環境、或いはＧＰＳ部３３から取得したデータに基づいて、位置情報を取得する。この位置情報は、生成したコンテンツと紐づけて公開プレイスにアップロードするようにしてもよい。

　図４には、編集者の端末装置２で表示される編集画面の一例を示し説明する。

　同図に示されるように、編集画面１００の領域１００ａには、編集対象として選択可能な自由視点映像データのファイルが提示され、編集者が、編集対象の自由視点映像データ（この例では、分割された静止画データ）を選択できるようになっている。領域１００ｂはチャットを書き込むことができ、複数の編集者により編集作業が分業される場合等において、コミュニケーションを取りながら作業を進められるようになっている。なお、領域１００ｂには、チャットのほか、編集ログ等も表示可能であり、不要な編集を権限に応じて無効にしたり、無効にした編集を元に戻したりすることができる。音声通話、ビデオチャット等の為の表示領域や機能を別途設けてもよい。

　領域１００ｃでは、選択している自由視点映像データに基づく再生表示がなされる。領域１００ｄでは、領域１００ａで編集対象として選択した自由視点映像データが、所定単位で分割され、分割単位ごとにサムネイル等と共に示される。この例では、選択された分割単位を破線で示している。編集作業においては、操作部３０の操作により、各分割単位に各種アノテーションを付加することができるようになっている。符号１００ｅは、テキストや図形などのアノテーションが付加されたことを示しており、符号１００ｆは、音声のアノテーションが付加されたことを示している。符号１００ｇは、ライブ配信を追いかけるように、編集を行う場合に、ライブの現在位置を示す。以上に加えて、現在のライブからどの程度遅れているか、ライブとして任意時間後に再生可能とした場合に当該任意時間までの残り時間等を表示するようにしてもよい。

　ここで、図５（Ａ）乃至図５（Ｄ）を参照して、自由視点映像データに概念的に含まれる、動画データ及び分割データについて詳細に説明する。

　図５（Ａ）に示されるように、動画データＤ１は、複数のフレームＦ１、Ｆ２、Ｆ３…から構成されている。映像配信装置１のデータ生成部１０ｃは、動画データを複数のフレーム毎に分割して、分割データの単位で動画データをコンテンツ記憶部１４ａに記憶してもよい。例えば、図５（Ｂ）に示されるように、３枚のフレーム毎に分割される場合、フレームＦ１～Ｆ３に分割された分割データＤ２、フレームＦ４～Ｆ６に分割された分割データＤ２のように、動画データの複数のフレームは、順次分割される。

　また、データ生成部１０ｃは、動画データを、複数のフレームと、１のフレームとに分割して、分割データの単位でコンテンツ記憶部１４ａに記憶してもよい。この場合、例えば、図５（Ｃ）に示されるように、分割データは、複数のフレームで構成される複数枚分割データ（Ｄ２Ｍ）と、１枚のフレームで構成される単数枚分割データ（Ｄ２Ｓ）で構成される。

　また、データ生成部１０ｃは、動画データを、１枚の複数枚分割データと、複数の単数枚分割データとが、時系列に交互に配されるように分割して、コンテンツ記憶部１４ａに記憶してもよい。この場合、図５（Ｄ）に示されるように、フレームＦ１～Ｆ３に分割された複数枚分割データ（Ｄ２Ｍ）、フレームＦ４に分割された単数枚分割データＤ２Ｓ、フレームＦ５に分割された単数枚分割データＤ２Ｓ、フレームＦ５に分割された単数枚分割データＤ２Ｓのように、１枚の複数枚分割データと、複数の単数枚分割データとが、時系列に交互となるように分割される。

　次に、図６（Ａ）乃至図６（Ｃ）を参照して、分割データの切り替えについて説明する。

　図６（Ａ）に示されるように、本実施形態では、動画データＡを分割して得られる分割データＤ２－Ａ１，Ｄ２－Ａ２，Ｄ２－Ａ３、Ｄ２－Ａ４…と、動画データＢを分割して得られる分割データＤ２－Ｂ１，Ｄ２－Ｂ２，Ｄ２－Ｂ３，Ｄ２－Ｂ４…とは、同じまたはほぼ同じ撮像時刻に撮像して得られるフレームから構成されてよい。但し、他の実施形態によっては、異なる撮像時刻に撮像されてものでもよい。

　図６（Ｂ）に示されるように、配信部１０ａは、動画データＡに基づく分割データＤ２－Ａ１，Ｄ２－Ａ２を順次送信した後、閲覧者の端末装置３からの切換要求を受け付けると、時間的に分割データＤ２－Ａ２の直後となる、分割データＤ２－Ｂ３をコンテンツ記憶部１４ａから読み出し、続いて分割データＤ２－Ｂ３から時間的に後になる分割データＤ２－Ｄ４…をコンテンツ記憶部１４ａから読み出し、順次送信する。

　また、図６（Ｃ）に示されるように、配信部１０ａは、動画データＡに基づく分割データＤ２－Ａ１，Ｄ２－Ａ２を順次送信した後、閲覧者の端末装置３からの切換要求を受け付けると、時間的に分割データＤ２－Ａ２と同じタイミングとなる、分割データＤ２－Ｂ２をコンテンツ記憶部１４ａから読み出し、続いて分割データＤ２－Ｂ２から時間的に後になる分割データＤ２－Ｄ３…をコンテンツ記憶部１４ａから読み出し、順次送信するようにしてもよい。

　各動画データには撮像時刻の情報が付加されているので、配信部１０ａは、当該撮像時刻の情報に基づいて、分割データと他の分割データとの時間的に連続又はほぼ連続した読み出し、及び配信が可能となる。

　次に、図７乃至図１０を参照して、教示ファイル生成部１０ｆが生成する、オートパイロット用の教示ファイルの構造について詳細に説明する。教示ファイルは、スクリーン教示データ、コンテンツ教示データ、アノテーション教示データを含む。

　図７には、教示ファイルに含まれるスクリーン教示データの構造を示し説明する。

　同図に示されるように、スクリーン教示データは、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、時間調整データ、画面割データを有する。オブジェクトタイプは、スクリーンとなる。オブジェクトＩＤ／ＵＲＬとは、教示データでのオブジェクトＩＤである。時間調整データとは、画面割データにタイムコードが含まれている場合に、調整時間を加味したタイムコードで動作させるためのデータである。そして、画面割データとは、基本的には後述するコンテンツ教示データの画面割データと同じになる。

　図８には、教示ファイルに含まれるコンテンツ教示データの構造を示し説明する。

　同図に示されるように、コンテンツ教示データは、パイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション、スタートタイムコード、エンドタイムコード、視点関連データ、再生速度データ、ズーム関連データ、及び画面割データを有する。

　パイロットタイムコードは、オートパイロット上での開始時間を規定する。オブジェクトタイプは、コンテンツとなる。オブジェクトＩＤ／ＵＲＬとは、システム上でコンテンツを一意に示すＩＤ／ＵＲＬである。教示データオブジェクトＩＤとは、教示データでのオブジェクトＩＤである。そして、パイロットタイムコード到達時アクションとは当該コンテンツが持つタイムコードの開始位置、もしくは設定されたスタートタイムコードにパイロットタイムコードにおける時間が到達した際のアクションを規定できる。例えば、再生、停止、映像エフェクト等が規定される。指定タイムコード到達時アクションでは、規定するアクション毎にパイロットタイムコードもしくはコンテンツが持つタイムコードのどちらを基点とするか決定し、基点とするタイムコード到達時もしくは通過時に実行されるアクションを規定する。ここで、通過時とは、例えばパイロットタイムコード上では１０秒経過時点で再生されるはずであった音声に関して、パイロットタイムコードがシークバー等で８秒目から一気に１５秒等へジャンプした際に当該音声の再生範囲内であれば適宜な音声位置から再生される様な挙動が例示される。また、この通過時の挙動が、タイムコードと関連する、パイロットタイムコード到達時アクション、コンテンツ終了時アクション、後述するパイロットタイムコード終了時アクション等に関しても同様に適宜な状態で挙動する事は勿論である。

　スタートタイムコードは、コンテンツ上での再生開始時間であり、エンドタイムコードとは、再生終了時間である。スタートタイムコードとエンドタイムコードを遡及的に指定した場合には逆再生となる。視点関連情報とは、自由視点映像の配信方式に応じて指定可能な情報であって、例えば、静止画送信方式の場合、及び動画送信方式の場合には、カメラＩＤとなり、マルチカメラ方式の場合には、マルチカメラＩＤとなり、３次元点群データや３次元ＣＧの場合には例えば４×４のビュー変換行列となる。ビュー変換行列以外であっても、カメラの位置、カメラの向いている方向（注視点）、カメラの姿勢が特定できる表現方法であれば、形式は問わないことは勿論である。再生速度は、停止から変速再生を０．１２５、０．２５、０．５、０、１、１．２５、１．５、２、４等の如く定義できる。

　そして、画面割データとは、１つのスクリーンに複数のコンテンツを表示する際の割データである。画面割データでは、画面上部左、画面上部右、画面下部左、画面下部右、上部、下部など、基本位置を指定したり、ピクセル単位指定をしたり、画面全体に対する表示領域の割合等を設定することができる。表示領域は、矩形に限定されず、正円、ペジエ曲線、スプライン曲線、複数直線、ポリラインのような図形も指定可能である。ワイプのように、一のコンテンツの上に他のコンテンツを重ね合わせて表示することも可能であることは勿論である。また、１つ以上のタイムコードとその時点での対応した表示領域形態を指定することもできる。また、モーフィングを行う事を指定する事で、新たな表示領域形態へ移行する際に、滑らかに形態を変化させる指定行う事も可能であり、形態変化に掛かる時間を任意に指定する事も可能であることは勿論である。タイムコードは当該スクリーンオブジェクトの表示時間に到達した時間を０秒等として規定することができるし、オートパイロットタイムコードを基点とした規定も可能であることは勿論である。

　以上がコンテンツ教示データの基本構成となるが、パイロットタイムコード、教示データオブジェクトＩＤ、及び視点関連データのみで構成し、コンテンツ表現時の最小構成とすることもできる。また、パイロットタイムコード、教示データオブジェクトＩＤ、スタートタイムコード、エンドタイムコード、及び視点関連データのみで構成し、視点関連データに１つ以上のタイムコードとその時点での対応した視点関連情報を入れた最小構成とすることもできる。

　図９には、教示ファイルに含まれるアノテーション教示データ（音声）の構造を示し説明する。同図に示されるように、アノテーション教示データ（音声）は、パイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットアイムコード到達時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション、スタートタイムコード、エンドタイムコード、再生速度、及びデータを有する。

　パイロットタイムコードは、オートパイロット上での開始時間である。オブジェクトタイプは、コンテンツとなる。オブジェクトＩＤ／ＵＲＬは、システム上でデータの位置を一意に示すＩＤ／ＵＲＬである。教示データオブジェクトＩＤは、教示データ上でのオブジェクトＩＤである。パイロットタイムコード到達時アクションとして、再生、停止、映像エフェクト等が規定できる。コンテンツ終了時アクションとして、当該コンテンツの再生が終了するタイムコードに到達した際に行うアクションを規定できる。指定タイムコード到達時アクションでは、規定するアクション毎にパイロットタイムコードもしくはコンテンツが持つタイムコードのどちらを基点とするか決定し、基点とするタイムコード到達時もしくは通過時に実行されるアクションを規定する。スタートタイムコードとは、音声上での再生開始時間であり、エンドタイムコードとは、音声上での再生終了時間である。再生速度は、再生停止から変速再生を０．１２５、０．２５、０．５、０、１、１．２５、１．５、２、４等の如く定義できる。データとしては、参照ではなく、音声データ自体を埋め込むことも可能である。なお、教示データで指定された再生速度は相互に影響し合うことなく指定を行うことが可能であり、例えばコンテンツに指定された再生速度とは相互に影響せずに音声の再生速度を指定することが可能である。例えば、コンテンツは２倍速、音声は１倍速の如くである。

　図１０には、教示ファイルに含まれるアノテーション教示データ（文字列、図形、画像など）の構造を示し説明する。

　同図に示されるように、アノテーション教示データ（文字列、図形、画像など）は、パイロットタイムコード、エンドパイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、パイロットタイムコード終了時アクション、指定タイムコード到達時アクション、アノテーションアクション、時間調整データ、データ、及び画面割データを有する。

　パイロットタイムコードは、オートパイロット上での開始時間である。エンドパイロットタイムコードは、オートパイロット上での終了時間である。オブジェクトタイプは、コンテンツとなる。オブジェクトＩＤ／ＵＲＬは、システム上でデータの位置を一意に示すＩＤ／ＵＲＬである。教示データオブジェクトＩＤは、教示データでのオブジェクトＩＤである。パイロットタイムコード到達時アクションとして、再生、停止、映像エフェクト等が規定できる。パイロットタイムコード終了時アクションとして映像エフェクト、音声の再生、動画のワイプ表示再生等を規定できる。指定タイムコード到達時アクションでは、規定するアクション毎にパイロットタイムコードもしくはコンテンツが持つタイムコードのどちらを基点とするか決定し、基点とするタイムコード到達時もしくは通過時に実行されるアクションを規定する。アノテーションアクションとしては、表示領域をクリック、タップ、マイクから所定の音声が入力された等したときに起こすアクションを規定できる。このアクションとしては、例えば、任意の音声出力、パイロットタイムコードの時間を戻すこと、コンテンツの再生を所定時間停止してその間に音声出力する、映像エフェクト、動画の再生等がある。また、前述のアクションを、アクションを規定可能な、パイロットタイムコード到達時アクション、パイロットタイムコード終了時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション等に関しても同様に適宜に規定可能な事は勿論である。

　時間調整データとは、調整時間を加味したタイムコードで動作させるためのデータである。データでは、表示したい文字列、図形、画像などと、表示位置、表示スタイル等を規定することができる。画面割データについては、設定しない場合には、表示画面全体にコンテンツよりも上のレイヤーで重ねて表示される。

　これらスクリーン教示データ、コンテンツ教示データ、アノテーション教示データを含む教示ファイルは、前述した図４の編集画面での操作に基づいて生成される教示データが編集者の端末装置２から送られると、映像配信装置１がそれを受信し、教示ファイル生成部１０ｆが当該教示データに基づいて生成し、教示ファイル記憶部１４ｃに保存する。

　生成されたオートパイロット用の教示ファイルは、映像配信装置１が運営するｗｅｂサイト等で公表され、適宜提供されるので、閲覧者の端末装置３では、当該教示ファイルの中から閲覧を所望するものを受信する。閲覧者の端末装置３では、受信した教示ファイルを教示ファイル記憶部３１ｃに保存し、当該教示ファイルに基づいて、映像生成部２１ｂが端末装置３に表示可能なコンテンツを生成して、表示モニタ２８上で再生表示を行う。

　このとき、オートパイロット用の教示ファイルでは、コンテンツ（例えば分割された静止画データ）の視点、再生速度、ズームの有無、画面割等を規定しているので、それら規定内容に従って再生が実行される。さらに、オートパイロット用の教示ファイルには、音声、文字等のアノテーション教示データも含まれているので、アノテーション教示データにしたがって、再生と同期して規定されたタイミングで文字や音声等の再生を併せて行うことができる。したがって、閲覧者は、自分の嗜好や目的に合致したオートパイロット用の教示ファイルを取得すれば、自ら視点等を変更させることなく、自動的に自身に好適なコンテンツ閲覧の機会を得ることが可能となる。

　ここで、閲覧者の端末装置３において、オートパイロット用の教示ファイルに基づく再生を実行している途中で、ユーザ操作がなされると、オートパイロットの再生が一時中断されて、ユーザ操作に基づく画面の切り換え、再生が実行される。以下、この点を、図１１を参照しつつ詳細に説明する。尚、オートパイロットの再生中において、オートパイロットタイムコードにおける変速再生、巻き戻し、任意オートパイロットタイムコードへの移動等も可能であり、更に、視点切り替え等以外に関しては、オートパイロットを中断せずとも可能であることは勿論である。また、上述のユーザ操作には、オートパイロットを中断というボタン等のＵＩへの押下という操作も含まれる。

　図１１は、縦軸が方向データとしての識別番号、横軸が時間データとなっており、縦軸及び横軸に対応する静止画データのファイル名が示されている。図１１の下に図示するようなユーザ操作に応じて、表示される静止画データは推移する。即ち、図中、実線で示す矢印が通過するセルに該当する静止画データが、閲覧者の端末装置３にて表示されることを意味している。

　まず、オートパイロット用の教示ファイルに従って、Ｃ００１の静止画データを再生している状態において、時系列にそって、順次動画が再生される。そして、自動再生の実行中に、閲覧者のスワイプ操作により指定値受付部１０ｄが方向指定値を受付けると、オートパイロット用の教示ファイルに基づく自動再生は一時中断され、選択部１０ｅは、方向指定値を受付けた時に対応する静止画データの時間データ（ｔ＝５ｐ）を基準にして、スワイプ操作における方向指定値の変化量に基づいて、対応する静止画データ（Ｃ００５～Ｋ００５）を選択する。

　すなわち、選択部１０ｅは、方向指定値を受付けた時刻（ｔ＝５ｐ）を基準とし、その瞬間において選択されている位置データ（方向データ）に対応する静止画データ（Ｃ００５）を最初に選択する。そして、方向指定値が変化していく過程において、選択部１０ｅは、同一の時間データに相当する静止画データを１フレームずつ、識別番号の順に選択していく。方向指定値がスワイプ操作により指定された静止画データ（Ｋ００５）を表示したとき、一度停止状態となる。そして、ユーザが再度再生開始ボタンを押すことで、その時の方向指定値に対応する静止画データが継続して再生される。なお、一度停止状態とせずに、連続してその時の方向指定値に対応する静止画データを継続再生してもよい。

　また、ユーザが再度スワイプ操作を行うと（ｔ＝１００ｐ）、前述と同様に、方向指定値の変化に伴って、選択部１０ｅが、同一の時間データに相当する静止画データを１フレームずつ、識別番号の順に選択していく（Ｋ１００～Ｆ１００）。そして、スワイプ操作により指定された静止画データ（Ｆ１００）を表示した後は、一度停止状態としない場合、同じ方向指定値に対応する静止画データが引き続き継続して再生される。なお、前述の説明では、選択部１０ｅが方向指定値を受付けた時に対応する静止画データの時間データ（ｔ＝５ｐ）を基準にして、当該静止画データと同じ時間データを選択するという態様について説明しているがこのような態様に限られない。

　すなわち、本発明の映像配信装置では、破線で示す矢印のように、選択部１０ｅが方向指定値を受付けた時に対応する静止画データの時間データ（ｔ＝５ｐ）を基準にして、既に選択されている時間データの次の時間データを順次選択してもよい。この場合には、スワイプ中も動画が停止されることなく、再生された状態を維持することができる。

　また、選択部１０ｅは、指定値受付部１０ｄが方向指定値を受付けない場合で、単位時間当たりの方向指定値の変化量が閾値未満のときは、方向データが連続的につながるように、静止画データを選択する。一方、選択部１０ｅは、単位時間当たりの方向指定値の変化量が閾値以上の場合には、方向データが間欠的につながるように、静止画データを選択する。ここで、「間欠的に」とは、連続的に並ぶ方向データに対して、一部のデータのみを取得することを意味している。

　すなわち、ユーザ４０が指を大きく、又は速く動かすことで、スワイプ操作による操作量が大きいと操作認識部２９が判断した場合には、隣り合う方向データに対応する静止画データを取得することなく、元の方向データから、離れた方向データに対応する静止画データを取得することができる。そして、端末装置３では、選択部１０ｅから受信する静止画データにより、方向指定操作中は、該方向指定操作に基づき変化する方向指定値における被写体の静止画データを表示する。一方、端末装置３では、方向指定操作がされていない時には、該方向指定操作の完了位置に対応する方向指定値の静止画データを、時系列順に順次受信し表示することで、完了位置に対応する方向からの疑似的動画を表示する。

　なお、閲覧者操作に基づく視点方向を切り替えながらの上記再生から、オートパイロット用の教示ファイルに基づく自動再生に復帰する場合には、閲覧者の端末装置３の再生画面上に表示される所定のボタンをタップ等することで、中断したタイミングから、或いは切り換えのタイミングから、オートパイロット用の教示ファイルに基づく自動再生を再開するよう指示することができる。

　以下、図１２のフローチャートを参照して、本発明の実施形態に係る映像配信システムによるオートパイロット用の教示フィルの生成に関わる処理手順を説明する。

　この処理では、閲覧者の端末装置２において、制御部２１が編集プログラム３１ｆを実行し、表示モニタ２８に図４に示したような編集画面１００が表示されていることを前提としている。但し、表示態様は、図４には限定されない。

　編集画面１００において、領域１００ａに示された選択可能な自由視点映像データが選択されると、要求部２１ａが、映像配信装置１に対して、自由視点映像データの配信要求をする（Ｓ１）。映像配信装置１では、取得部１０ｂが、配信要求を受付け（Ｓ２）、配信部１０ａが、当該配信要求に関わる自由視点映像データをコンテンツ記憶部１４ａから読み出し、閲覧者の端末装置２に向けて配信する（Ｓ３）。

　閲覧者の端末装置２では、この自由視点映像データを受信し（Ｓ４）、映像生成部２１ｂが端末装置２に表示可能なコンテンツを生成し、表示モニタ２８に表示されている編集画面１００の領域１００ｃ、及び領域１００ｄに、選択された映像を表示する（Ｓ５）。領域１００ｄでは、分割された静止画データが、サムネイル等と共に、分割単位も閲覧者が把握できる態様で表示される。領域１００ｃでは、編集対象として選択された映像が再生される。

　続いて、閲覧者の端末装置２では、編集部２１ｃが編集処理を実行する（Ｓ６）。編集処理の詳細は、後に詳述するが、例えば、分割された静止画データの選択（視点情報）、再生速度、各種アノテーションの付加等が実施されることになる。編集部２１ｃは、編集処理を完了すると、例えば、スクリーン教示データ、コンテンツ教示データ、アノテーション教示データを概念的に含む教示データを、教示ファイル記憶部３１ｃに保存すると共に、映像配信装置１へと送信する（Ｓ７）。

　映像配信装置１は、取得部１０ｂが、この教示データを受信し、教示ファイル記憶部１４ｃに保存する（Ｓ８）、そして、全ての編集者の端末装置２から教示データを受信すると（Ｓ９をＹｅｓに分岐）、教示ファイル生成部１０ｆが、保存している教示データに基づいて教示ファイルを生成し（Ｓ１０）、上記ファイル記憶部１４ｃに記憶する（Ｓ１１）。こうしてオートパイロット用の教示ファイル生成に関わる一連の処理を終了する。教示ファイル記憶部１４ｃに保存されているオートパイロット用の教示ファイルは、所定のＷｅｂサイトなどにおいて、閲覧者に選択可能に公表される。

　ここで、図１３のフローチャートを参照して、図１２のステップＳ７で実行される編集処理の処理手順について更に詳細に説明する。

　編集処理に入ると、編集部２１ｃは、コンテンツの選択がなされたか否かを判断し（Ｓ６－１）、コンテンツの選択がなされると（Ｓ６－１をＹｅｓに分岐）、コンテンツ教示データを教示ファイル記憶部３１ｃに記憶する（Ｓ６－２）。コンテンツの選択がなされない場合には（Ｓ６－１をＮｏに分岐）、ステップＳ６－３に移行する。

　ステップＳ６－２で教示ファイル記憶部３１ｃに記憶されるコンテンツ教示データは、パイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション、スタートタイムコード、エンドタイムコード、視点関連情報、再生速度、ズーム関連情報、及び画面割情報を有する。これら詳細については、前述した通りである。

　続いて、編集部２１ｃは、アノテーション（文字）の付加がなされたか否かを判断し（Ｓ６－３）、アノテーション（文字）の付加がなされると（Ｓ６－３をＹｅｓに分岐）、アノテーション教示データ（文字）を教示ファイル記憶部３１ｃに記憶する（Ｓ６－４）。アノテーション（文字）の付加がなされない場合には（Ｓ６－３をＮｏに分岐）、ステップＳ６－５に移行する。

　ステップＳ６－４で教示ファイル記憶部３１ｃに記憶されるアノテーション教示データ（文字）は、パイロットタイムコード、エンドパイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、パイロットタイムコード終了時アクション、指定タイムコード到達時アクション、アノテーションアクション、時間調整、データ、及び画面割情報を有する。これら詳細については、前述した通りである。

　続いて、編集部２１ｃは、アノテーション（図形、記号等）の付加がなされたか否かを判断し（Ｓ６－５）、アノテーション（図形、記号等）の付加がなされると（Ｓ６－５をＹｅｓに分岐）、アノテーション教示データ（図形、記号等）を教示ファイル記憶部３１ｃに記憶する（Ｓ６－６）。アノテーション（図形、記号等）の付加がなされない場合には（Ｓ６－５をＮｏに分岐）、ステップＳ６－７に移行する。

　ステップＳ６－６で教示ファイル記憶部３１ｃに記憶されるアノテーション教示データ（図形、記号等）は、パイロットタイムコード、エンドパイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、パイロットタイムコード終了時アクション、指定タイムコード到達時アクション、アノテーションアクション、時間調整、データ、及び画面割情報を有する。これら詳細については、前述した通りである。

　続いて、編集部２１ｃは、アノテーション（音声）の付加がなされたか否かを判断し（Ｓ６－７）、アノテーション（音声）の付加がなされると（Ｓ６－７をＹｅｓに分岐）、アノテーション教示データ（音声）を教示ファイル記憶部３１ｃに記憶する（Ｓ６－８）。アノテーション（音声）の付加がなされない場合には（Ｓ６－７をＮｏに分岐）、ステップＳ６－９に移行する。

　ステップＳ６－８で教示ファイル記憶部３１ｃに記憶されるアノテーション教示データ（音声）は、パイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットアイムコード到達時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション、スタートタイムコード、エンドタイムコード、再生速度、及びデータを有する。これら詳細については、前述した通りである。

　こうして、編集部２１ｃは、全ての編集が完了したか否かを判断し（Ｓ６－９）、全ての編集を完了していない場合には（Ｓ６－９をＮｏに分岐）、ステップＳ６－１に戻り、上記処理を繰り返し、全ての編集を完了した場合には（Ｓ６－９をＹｅｓに分岐）、編集処理を完了し、図１２のステップＳ８以降の処理にリターンする。

　次に、図１４のフローチャートを参照して、本発明の実施形態に係る映像配信システムによるオートパイロット用の教示ファイルの配信処理について説明する。

　先ず、前提として、映像配信装置１は、Ｗｅｂサイトにおいて、オートパイロット用の教示ファイルを、複数、選択可能に提示している。閲覧者の端末装置３は、取得部２１ｄが、教示ファイルを取得し、当該教示ファイルに基づく再生を実行する（Ｓ２１）。このオートパイロットに係る再生開始に伴い、要求部２１ａは、映像配信装置１に対して、コンテンツ教示データにより教示された自由視点映像データ（分割された静止画データ等を含む）の配信要求をする（Ｓ２２）。

　映像配信装置１は、配信要求を受付け（Ｓ２３）、配信部１０ａがコンテンツ記憶部１４ａより該当する自由視点映像データを読み出し、配信する（Ｓ２４）。閲覧者の端末装置３では、自由視点映像データを受信し（Ｓ２５）、映像生成部２１ｂが、自由視点映像データに基づく端末装置３に表示可能なコンテンツを生成し、表示モニタ２８で再生表示を行う（Ｓ２６）。このオートパイロットに係る再生の過程で、ユーザ操作（例えば、画面のスワイプ操作）等がなされたか否かを判断し（Ｓ２７）、操作がなければ（Ｓ２７をＮｏに分岐）、再生終了まで（Ｓ３４）、オートパイロット用の教示ファイルに基づく再生表示を継続する。

　一方、オートパイロットに係る再生の過程で、ユーザ操作がなされると（Ｓ２７をＹｅｓに分岐）、制御部２１は、操作データ（方向指定値を含む）を映像配信装置に送信する（Ｓ２８）。映像配信装置１では、操作データを受付け、操作データ記憶部１４ｂに保存する（Ｓ２９）。そして、選択部１０ｅは、方向指定値を受付けた時刻を基準とし、方向指定値がユーザ操作により指定された自由視点映像データ（静止画データ）を選択し（Ｓ３０）、配信部１０ａが選択された自由視点映像データ（静止画データ）を閲覧者の端末装置３へと配信する（Ｓ３１）。

　閲覧者の端末装置３では、取得部２１ｄが、この選択された自由視点映像データ（静止画データ）を受信し（Ｓ３２）、映像生成部２１ｂが、端末装置３に表示可能なコンテンツを生成し、表示モニタ２８の表示を切り替える（Ｓ３３）。続いて、制御部２１は、再生を終了するか否かを判断し（Ｓ３４）、再生を終了しない場合には、上記ステップＳ２２に戻り、上記処理を繰り返し、再生を終了する場合には、一連の処理を終了する。

　なお、この再生の終了は、オートパイロット用の教示ファイルに基づく自動再生の終了と、ユーザ操作に基づいてオートパイロットが一時中断され、当該ユーザ操作に基づく再生が行われた場合の当該再生の終了を含む。

　次に、公開プレイスについて更に詳細に言及する。

　映像配信装置１が、ユーザにより任意且つ階層的に設定された公開プレイスで公開可能とするデータは、例えば、図１５（ａ）に示されるように分類される。即ち、第１に自由視点映像データ、第２に教示ファイル、第３に自由視点映像データ及び教示ファイル、第４に自由視点映像データ及び教示ファイルにより生成された動画ファイル等である。以下では、教示ファイルと教示ファイル等によって生成された動画ファイルをオートパイロットファイルと称する。

　このように公開プレイスにて公開されたデータを、他のユーザの端末装置２は、自己の権限に基づいてストリーミング、ダウンロード等することが可能となる。このとき、配信装置１は、公開可能なデータに付与された権限、及び視聴等する他のユーザの権限によりダウンロード等の可否を決定する。

　ここで、公開可能なデータ及び視聴等する他のユーザに付与される権限は、例えば、図１５（ｂ）に示されるように分類される。ログイン（Ａ１）、閲覧（Ａ２）、ストリーミング（Ａ３）、にダウンロード（Ａ４）、アップロード（Ａ５）、作成可能（購入済のみ）（Ａ６）、作成可能（教示ファイルのみ）（Ａ７）、作成可能（動画のみ）（Ａ８）、作成可能（その他；例えばオートパイロットファイル等）（Ａ９）、参加（Ａ１０）、投票（Ａ１１）、販売（Ａ１２）、及び招待（Ａ１３）等に分類される。配信装置１の判定部１０ｉは、これら権限（Ａ１～Ａ１３）に基づいて、リクエストの可否を判断し、権限を満たしている場合には、ダウンロード、ストリーミング等のリクエストに応じた処理を進めることになる。

　映像配信装置１の記憶部１４のユーザ情報記憶部１４ｌには、ユーザテーブルが記憶されている。このユーザテーブルの一例は、例えば、図１６（ａ）に示される通りであり、ユーザＩＤと紐づけて、氏名、住所、メードアドレス等の属性情報と、当該ユーザに付与された権限（Ａ１～Ａ１３）、ダウンロードや購入等の履歴情報が記憶されている。

　映像配信装置１の記憶部１４の公開プレイス情報記憶部１４ｋには、公開プレイステーブルが記憶されている。公開プレイステーブルの一例は、例えば、図１６（ｂ）に示される通りである。公開プレイステーブルには、プレイスＩＤと紐づけて、当該公開プレイスの階層、上位層との関係、当該公開プレイス又はコンテンツに付与された権限、公開範囲、公開期限、公開対象、公開したユーザ、及びコンテンツＩＤが記憶されている。

　映像配信装置１の記憶部１４のコンテンツ記憶部１４ａには、公開プレイスに対応付けられるコンテンツもコンテンツテーブルで記憶されている。このコンテンツテーブルの一例は、図１６（ｃ）に示される通りである。このコンテンツテーブルでは、コンテンツＩＤと紐づけて、コンテンツの種別（Ｃ１～Ｃ４）、コンテンツデータ、関連性情報、作成者であるユーザのユーザＩＤが記憶されている。ここで、関連性情報とは、自由視点映像データ等の再生時に任意タイムコードに対して、関連する自由視点映像データやオートパイロットファイルがある事を示唆させるための情報である。映像配信装置１では、関連性示唆部１０ｋが、自由視点映像データ等の再生時に関連性情報を参照し、関連付けられているタイミングで示唆を実行する。

　映像配信装置１では、公開プレイス設定部１０ｈが、端末装置２等から送られてきた公開プレイス設定情報に基づいて、公開プレイステーブルに設定をなし、公開プレイスを開設するが、前述したように、公開プレイスには、階層、及び上位層との関係も含まれるので、解説される公開プレイスは多階層のネスト構造とすることが可能となる。

　例えば、以下のようなネスト構造を構築することが可能である。
　　１．公開プレイス（主催者；会社名等）
　　　－２．公開プレイス（イベントカテゴリ）
　　　　－３．公開プレイス（イベント）
　　　　　－４．公開プレイス（アップロード用）
　即ち、最上位層では、主催者名で公開プレイスを公開し、中位層では当該主催者の取り扱うイベントのカテゴリ別に公開プレイスを公開し、更に下位層では各カテゴリに属するイベント別に公開プレイスを公開し、このほか、閲覧ユーザ等によるコンテンツのアップロード用の公開プレイスを公開することができる。各公開プレイスについて、先に図１６（ｂ）で示したように、権限（Ａ１～Ａ１３）を付与することができる。

　従って、公開プレイスに係るサービスを利用して、自社ブランドや自社製品等のプロモーションを行うことも可能となる。その場合、より具体的には、公開プレイスには、例えば、以下のようなネスト構造を持たせことが可能となる。
　　１．音楽会社公開プレイス
　　　－２．アーティスト毎の公開プレイス
　　　　－３．ミュージックビデオ・ライブ映像購入者公開プレイス
　　　　　－４．自由視点映像データ群公開プレイス
　　　　　　－５．オートパイロットファイル群公開プレイス

　ストリーミング又はダウンロードの権限（Ａ１、Ａ２等）を持つユーザや、購入物品に付与されていたＰＩＮコード等を入力する事で、対象のミュージックビデオ・ライブ映像公開プレイスにログインすることが可能であり、当該公開プレイスにある対象の自由視点映像データ等を閲覧することが可能となる。

　権限については、公開プレイス毎に、以下にように設定することができる。即ち、音楽会社公開プレイスにはユーザーログイン（ＩＤ、パスワード）が必須とする。アーティスト毎の公開プレイスにあるコンテンツは、音楽会社公開プレイスにログインできれば誰でも閲覧等することができる。ミュージックビデオ・ライブ映像購入者公開プレイスはＰＩＮコードを入力等する事でログインすることが可能で、対象の自由視点映像データを閲覧することができる。但し、これは一例であって、これには限定されない。

　作成権限（Ａ６，Ａ７，Ａ８，Ａ９等）を持つユーザは、オートパイロットファイルを作成して、公開プレイスにアップロードすることができる。このとき、販売権限（Ａ１２）を有するユーザは、値段を提示し決済部１０ｌによる決済を受けるようにしてもよく、代替するポイント等の付与を受けるようにしてもよい。コンテンツホルダーである音楽会社から公式オートパイロットファイルが販売等されても良い。この場合の公式教示、動画ファイルの購入可能者の範囲は音楽会社公開プレイスまで広げることも、ミュージックビデオ・ライブ映像公開プレイスのみに絞る事も可能であり、所定日数経過後等に購入可能者範囲を変更し、価格変更する等も可能とする。これら変更は、公開プレイス設定部１０ｈにより公開プレイステーブルを更新することでなされる。

　なお、ネスト構造は、例えば以下のように自由視点映像データは公開せずにオートパイロットファイル郡のみを公開する事も可能とする。
　　１．音楽会社公開プレイス
　　　－２．アーティスト毎の公開プレイス
　　　　－３．ミュージックビデオ・ライブ映像購入者公開プレイス
　　　　　－４．オートパイロットファイル群公開プレイス
　この場合、権限としてオートパイロットファイルに対して自由視点映像データへの遷移は不可とする事も可能である。

　前述したような公開プレイスのネスト構造は、個人レベルまで落とす事も勿論可能であり、例えばアミューズメントパークで撮影したものを、顧客に渡す際にはその顧客のみがログイン可能な公開プレイスを提供し、購入済み権限があれば、自由視点映像データ等の閲覧や、権限によりオートパイロットファイルを作成可能としてもよい。

　ここで、公開プレイスにアップロードされた公開可能データの公開については、権限や公開範囲、公開期限、公開対象等で規制できるようになっている。公開範囲を投稿者もしくは投稿者グループのみとする場合には、公開範囲でその旨を規制すれば、それらの者に公開範囲を規制することができる。この場合、ユーザが複数人で自由視点映像データの元データを撮影して公開プレイスにアップロードした場合には、これら複数人のユーザはグループという単位になる。このほか、権限に応じてアクセス制限をかける場合には、権限で規制すればよい。このほか、公開範囲で、ＳＮＳを公開先とすることを認める旨の設定することも可能である。

　以下、図１７のフローチャートを参照して、本発明の一実施形態に係る映像配信システムによる、公開プレイス開設までの処理の流れを説明する。

　端末装置２は、例えば、配信装置１が提供するＷｅｂサイト等にアクセスするなどして、操作部３０の操作により、公開プレイスの設定情報の入力を受付け、送信部２１ｆが、公開プレイス設定情報を配信装置１へと送信する（Ｓ５１）。ここで、公開プレイス設定情報とは、当該公開プレイスの階層、上位層がある場合には上位層、権限、公開範囲、公開期限、公開対象等の情報を含んでいる。配信装置１は、取得部１０ｂが、この公開プレイス設定情報を取得すると（Ｓ５２）、公開プレイス設定部１０ｈが、これら公開プレイス設定情報を、公開プレイス情報記憶部１４ｋに設定する（Ｓ５３）。このとき、プレイスＩＤが付与され、公開ユーザのユーザＩＤとの紐づけ行われる。

　配信装置１は、通知部１０ｊが、設定完了通知を端末装置２に送信する（Ｓ５４）。端末装置２では、取得部２１ｄが、この設定完了通知を受信すると、表示モニタ２８に表示する（Ｓ５５）。そして、設定された公開プレイスにアップロードするコンテンツ（Ｃ１～Ｃ４）を送信部２１ｆが送信する（Ｓ５６）。配信装置１では、取得部１０ｂが、この送られてきたコンテンツを受信すると（Ｓ５７）、公開プレイスのプレイスＩＤと紐づけて、コンテンツ記憶部１４ａに登録し、公開プレイス情報記憶部１４ｋの公開プレイステーブルの内容を更新する（Ｓ５８）。こうして、公開プレイス設定部１０ｈが、公開プレイスの公開を開始する（Ｓ５９）。

　次に、図１８のフローチャートを参照して、本発明の一実施形態に係る映像配信システムにより、権限に応じた処理の流れを詳細に説明する。

　ユーザの端末装置２は、例えば、配信装置１が提供している公開プレイスに係るＷｅｂサイト等にアクセスするなどして、操作部３０の操作による閲覧を所望とする公開プレイスの選択を受付けると、要求部２１ａが、選択された公開プレイスのプレイスＩＤとユーザＩＤを配信装置１に送信することで、閲覧等のリクエストを行う（Ｓ６１）。

　配信装置１は、取得部１０ｂが、このリクエストを受信すると（Ｓ６２）、判定部１０ｉがリクエストの可否を判定する（Ｓ６３）。具体的には、判定部１０ｉは、ユーザ情報記憶部１４ｌのユーザテーブルを参照して、ユーザＩＤよりユーザを特定し、当該ユーザに付与された権限を確認し、公開プレイス情報記憶部１４ｋの公開プレイステーブルを参照して、プレイスＩＤより公開プレイスを特定し、当該公開プレイスについて設定されている権限を確認し、これら権限を比較することで、リクエストの可否を判定する。

　判定部１０ｉにより、ユーザが公開プレイスの閲覧等の処理をリクエストする権限を有すると判定した場合には、権限に応じた処理を行う（Ｓ６４）。具体的には、リクエストがダウンロード、ストリーミングである場合には、それら処理を行う。端末装置２では、コンテンツを受信すると（Ｓ６５），再生等を開始する（Ｓ６６）。

　次に、前述したような映像配信システムの実施例を説明する。

　（１）配信装置１は、ユーザの撮影した動画、３次元ＣＧデータ、３次元点群データ等（以下、「元データ」という）のアップロードを受け付ける公開プレイスを開設し、これら元データに基づいて自由視点映像データ、もしくはオートパイロットファイルを生成するように促してもよい。例えば、スタジアム等でサッカーの試合を複数のユーザが撮影したデータをアップロードすることで、それら元データに基づいて自由視点映像データ、もしくはオートパイロットファイルを生成するように促す。このような公開プレイスは、イベント運営側が撮影イベントに係る公開プレイスとして開催しても良いし、ユーザ側が任意で作成したイベントに係る公開プレイスであっても良い。元データの公開プレイスのアップデートの可否は、権限に基づいて、判定部１０ｉが判定する。

　元データの撮影に関しては、配信装置１が配信する公式アプリのナビゲーションに従った撮影のみを可能とする事のほか、通常のカメラやＴｏＦ等で撮影したものでも可とする事も出来る。公開プレイス情報の一部として、公開対象を規定することで、受け入れ可能な元データを定義することが可能となる。また、元データには、位置情報を紐づけることも可能である。例えば、前述した公式アプリの撮影で元データを得る場合には、チケットや座席より位置情報を取得することができる。

　また、例えばチケットに記載されたQRコード（登録商標）等の二次元コードを読み取る等する事で撮影場所を特定し、撮影可能か否かは座席に行って初めて分かるようにしてもよい。このほか、指定されたＷｉＦｉへの接続状況、会場に設置されたＢｌｕｅＴｏｏｔｈの受信状況、ＧＰＳの想定範囲内にいる場合に参加可能とする等、位置情報に基づいて撮影を規制することもできる。また、位置同定としては、端末同士の通信（ＢｌｕｅＴｏｏｔｈ、ＵＷＢ等）、ＷｉＦｉ等の位置情報、ＧＰＳ等の広域な位置情報、撮影したもの同士の特徴点の合致（ＴｏＦ、写真測量法等）が考えられ、方角情報、ピッチ角、ロール角、ヨー角及び海抜情報等も取得可能であれば取得し送信してもよい。この場合、これら情報は、元データと紐づけられて管理される。

　撮影中時刻に関しては、撮影したものに含まれる、ファイル自体の生成時刻、元データに含まれるタイムスタンプ、ＧＰＳ等から取得した時刻情報を用いてもよい。これら情報を取得できない、或いは信頼性に欠けるファイルに関しては、位置同定情報関連との合致から（特に、その時点での端末同士の通信情報や、特徴点の合致等）、撮影中時刻を割り出しても良いことは勿論である。

　（２）配信装置１は、公開プレイスに、自由視点映像データを公開するときに、当該データに対してオートパイロットファイルを作成可能な資格権限（購入済み、教示ファイルのみ、動画のみ、その両等権限を付与可能等）を決定しても良く、また、オートパイロットファイル生成に関して、オートパイロットファイル生成上限時間（６０秒等）、及び／又は下限時間（１０秒以上等）の設定を付与することも可能とする。

　自由視点映像データにオートパイロットファイル生成上限時間が設定されていない場合にも、ユーザが個別にオートパイロットファイル生成上限時間を設定できるようにしてもよい。その場合には、当該データに上限時間の情報が紐づけられる。例えば１ヶ月の間に生成可能なオートパイロットファイルの期間内合計生成上限時間（６００秒等）、１つのオートパイロットファイルを生成する際の生成上限時間（３０秒等）等の如くである。いずれの生成上限時間に対しても、何らかの対価を支払う、もしくは他のユーザから生成したオートパイロットに対して一定の評価を得てランクを上げる事で上限時間を伸ばす事を可能としてもよい。例えば、期間内合計生成上限時間が１２００秒に伸びたり、生成上限時間が１２０秒に伸びたりするようなイメージである。

　（３）配信装置１は、自由視点映像データに複数視点が存在する場合に、視点を選択的に各視点の自由視点映像データを取得できるようにしてもよい。この場合には、例えば視点毎に購入や５視点パックを買えば１視点個別に５視点買うより安価等のサービスを提供できる。全ての視点を購入（コンプリート）した場合に、特典視点もしくは特典オートパイロットファイルを有償・無償で与えても良いし、例えば当該自由視点映像データに対してオートパイロットファイルを作成する権利を有償・無償で与えても良い。これにより必要な視点だけを購入して結果的に安価にできたり、全ての視点をコンプリートするモチベーションを与えたりする事ができる。

　また、購入した視点に係る自由支援映像データに関してダウンロードしているのであれば、購入後に必要なくなれば自身のディスクから任意視点を削除する事でディスク容量を空けてもよく、既に購入済みであれば権限によるが、削除後に再度同視点をダウンロードする事も可能とし、この回数制限やダウンロード可能期限を設けても良い。ダウンロードではなくストリーミングの場合に、閲覧の必要性が無いと感じる視点を読み込まない設定にする事も可能する。これにより、自身に好適な視点のみ閲覧可能としたり、ストリーミング時の通信容量を削減したりすることができる。

　（４）配信装置１では、通知部１０ｊが、自由視点映像データやオートパイロットファイルをユーザが取得した場合に、当該データに新たな視点やオートパイロットファイルが後に追加された場合に、これをユーザ側に通知（通知可否、通知受信条件はユーザ側で決められても良い）する。通知方法は、Ｗｅｂプッシュ、アプリ通知でも、当該データ閲覧時にアテンション、ユーザのメールへ通知等何でも良い。また、配信装置１では、通知部１０ｊが、自由視点映像データ及びオートパイロットファイルをユーザが取得していなくても、当該ユーザが気になる等の設定を行っている場合に、ユーザ側に通知（通知可否及び通知受信条件は、ユーザ側で設定可能としてもよい）をしてもよい。

　また、配信装置１では、関連性示唆部１０ｋが、通常の自由視点映像データ閲覧時に任意タイムコードに対して、関連する自由視点映像データやオートパイロットファイルがある事を示唆させる。例えば、スポーツであればファインプレー等のオートパイロットファイル等の通知（示唆）、教育向けで美容師であれば、あるタイムコードにおけるカットの説明がわかりにくかった際に、通常の動画を関連付けてアップした旨を通知（示唆）する等の如くである。このとき、タイムコードに拘らずに、当該データ閲覧時に任意のタイミングで通知（示唆）することも可能である。

　また、配信装置１では、関連性示唆部１０ｋが、オートパイロットファイル閲覧時に対応したプレイヤであれば、任意タイムコードに対して、関連する自由視点映像データやオートパイロットファイルがある事を示唆させる。例えばスポーツであればファインプレー等の「オートパイロットファイル」等の如くである。この場合も、タイムコードに拘らずに当該データ閲覧時に任意のタイミングで通知（示唆）することも可能である。

　（５）物理デバイス（ＤＶＤ等）、あるいはデジタルで取得（購入等）したミュージックビデオ等に自由視点映像データやオートパイロットファイルにアクセス可能な特典等を付与してもよい。また、ユーザ側でオートパイロットファイルを作成して権限に応じて公開プレイス上でシェアできるようにしてもよい。有償の設定ができるか否かはコンテンツホルダー側で資格等を設けて決定可能である。高評価を貰った際にポイントを付与して、公開プレイス内においてお金の様に使用できてもよい。コンテンツホルダー側もオートパイロットファイルを公開（弊社との契約プランによって公開数上限を設定出来てもよい）する事が可能である。サブスクリプション的に１ヶ月視聴で金額を設定してもよい。このほか、ユーザが作成したオートパイロットファイルで素晴らしいものや、コンテンツホルダー生成のものを凌ぐ高い評価を得たものがあれば、仕事を依頼したり、リクルートできたりする仕組みに結び付けることも可能である。

　（６）配信装置１は、公開者側の指示に基づいて、スワイプタイムと称する設定をすることもできる。このスワイプタイムに入ると、任意のタイムコードで勝手に停止状態になり（音声を止めたり、もしくはスワイプタイム中の音声を別途選べる）、そこで自動で回ったり（視点の移動だけでなく、タイムコードを任意速度で進める事も可能）、任意に回し終わると自動で再生が開始されるか、自分で再生指示する。このスワイプタイムに関しては、閲覧者ログを取り、２回目からはスキップする等を任意で選べてもよいし、任意に選ぶ事を公開者側の設定で選べるようにしてもよい。

　（７）本発明の映像配信システムは、オーディションやコンテストに利用することも可能である。例えばＣ向け公式アプリ上でアイドルオーディションを開催し、参加資格、撮影条件等を満たせば参加可能とする。このオーディションやコンテストは、企業とのタイアップで行う事も出来るし、通常ユーザも権限があれば公開範囲設定、閲覧資格付与等でオーディションやコンテストを開催可能とする。通常ユーザの使用方法としては、例えば学園祭等で利用する等が考えられる。

　撮影条件として、例えばＣ向け公式アプリがインストールされた５台のスマホでＣ向け公式アプリのガイドに従って撮影し、例えば５台のスマホはＧＰＳ位置情報的にも想定範囲内に存在し、各端末がＢｌｕｅＴｏｏｔｈやＵＷＢ等によって双方向に通信し想定範囲内に存在する事が確度高く保証されている状態等を指定できる。同様に、被写体の撮影範囲に対する大きさをアテンド等してくれて（もう少し下がって被写体全体が入る様にして下さい等）条件を満たさなければ撮影開始が出来ない。撮影開始は１台の端末を親として撮影を開始し、その子（ここでは他の４台）達は撮影開始命令、一時停止、完全停止命令を受けて同期的に挙動する。撮影開始、撮影停止前にはカウトダウンが発話、表示されてもよい。撮影に参加している端末を親とする事も、参加していない端末を親とする事も可能である。更に、親は最初に撮影開始を行ったものを親にもできるし、決まった端末のみを親にもできる。また、撮影の一時停止、完全停止の両方、または何れかを子でも可能にできる。参加資格が１５歳以上、１８歳以下などであれば、参加資格があるかどうかの為のフローを設定することが可能である。例えば、学生証等の様に顔写真があるものと、自身の顔を一緒に撮影したものを送信する等の如くである。参加資格に関しては、即時に判定される事もあれば、参加資格に必要なものだけ送って、撮影後に、後から参加資格を判断される場合もある。

　オーディションやコンテストに際しては、主催者側が配信装置１に対して様々設定を行うことが可能である。例えば、先に踊って欲しいダンスの自由視点映像データや動画を１週間前から公開し、そのダンスを踊ってもらう、先に台本が渡されて、スマホから流れるセリフに対して、決まったセリフを身振り付きで喋ってもらう如くである。何のオーディションかは分かっているが（…という映画の…の役等）、オーディション内容の事前情報が無い中で、参加開始後にスマホからオーディション内容が発表され、音楽に合わせて歌ったり、踊ったり、スマホから流れセリフに対するアドリブでの芝居等諸々の使用方法を可能とし、参加開始後に台本等が表示され１時間以内に投稿用の撮影を完了しなければならない等の制約を設ける事も可能である。また、投稿されてきた自由視点映像データ等に関して、公開範囲を主催者側が設定し、閲覧したユーザからの評価で勝ち上がる様な仕組みを設けても良いし、３次選考まではユーザ主導で、最終選考は主催者側等の決定権指定も可能、グループ分けしたトーナメント式や、敗者復活等も可能である。

　（８）本発明の映像配信システムでは、タイアップ企画による自由視点映像データの活用を行うことが可能である。例えば、清涼飲料水を購入した際に当該商品に付与されているQRコード（登録商標）を公式アプリのガイドに従って撮影すると、元データのアップロードが可能となり、タイアップした企業側は選別した元データから自由視点映像データを作成してキャンペーン動画や、ＣＭ等に流用するといった利用方法である。元データの撮像タイミングは所定の日時に撮影がアプリ主導で行われるパターンと（例えば１２月３１日の２３時５９分４５秒～年明けの０時０分１５秒の３０秒間等であり、各国の当該日時となる）、いつまでに何秒の元データをアップロードするという様な期限付きのパターン等が想定される。元データの撮影環境は指定することが可能であり（例えば、当該清涼飲料水を飲んでいる映像等）、ラベルが元データに入る様にする等の細かな指定が可能である。

　選別においては、卑猥なもの等、不適切なものに関しては機械学習により除外し、適切であると思われる元データの確度を百分率等で自動的にラベリングして、それをフィルタとして選択する事や、性別、年齢、背景に流れる音楽、位置情報等の指定等を利用してフィルタリングする事も可能である。いかに適切なスクリーニングを行い、それを企業側に提示出来るかがポイントになると考える。元データから作成される結果データは、自由視点映像データ以外であっても構わない。例えば、数千人の動画をマージして、タイル状に並べたものであっても良い。神戸市のタイアップであれば、震災が起きた時間帯（例えば１分間等）にメッセージや決まった歌を受付ける、場所は神戸市にあるストリートピアノの周り等の如くである。

　（９）このほか、各地に点在する自由視点映像データの撮影スポットがマップ上に表示され、撮影したスポットは認識可能となり、公開権限をＯＮにしていると、参加している他の人にも自分がその場所で撮影した事が分かったり、データに関する公開権限やオートパイロットファイルに関する公開権限をＯＮにしていれば、他の人にも自身の自由視点映像データなどを見てもらったりする事も可能とする。

　以上説明したように、本発明の実施形態に係る映像配信システム等によれば、以下の効果が奏される。

　本発明の実施形態に係る映像配信システム等によれば、オートパイロット用の教示ファイルを生成することができるので、閲覧者の端末装置では、オートパイロット用の教示ファイルを取得すれば、当該教示ファイルに基づく自動再生が実行可能となる。このとき、教示ファイルには、音声、文字、画像、図形などの各種アノテーション教示データが含まれているので、再生と共に付加的な演出も自動的に再現される。従って、閲覧者は、自ら視点等を切り替えることなく、ニーズに合致した教示ファイルを取得し実行するだけで、所望とする視点等の切り換えを伴う再生を楽しむことが可能となる。

　このようなオートパイロットは、自分で視点を変えながらの閲覧が煩雑である、どの時点が有用であるかが分からない、まとめて時間短縮して閲覧したい、などといったニーズに応えるものである。使用例として、ライブ映像等を、先ずは自由視点映像データ（分割された静止画データを含む）として公開し、編集者が編集した教示データに基づいて生成した教示ファイルを後で公開することも可能である。例えば、ライブに関する自由視点映像データを取り扱う場合には、特定のアーチストのみを追った再生を可能とする教示ファイル等も生成可能である。

　また、編集者の端末装置２で、前述したように各種教示データを生成し、映像配信装置１側でオートパイロット用の教示ファイルを生成することを基本とするが、編集者又は閲覧者の端末装置２，３でのユーザ操作（例えば、スワイプ操作）を記録し、それを教示データの一部として用いることも可能である。

　また、オートパイロット用の教示ファイルに基づく自動再生の過程で、ユーザ操作（例えばスワイプ操作）がなされた場合には、自動再生を一旦中断し、ユーザ操作に基づく視点の切り換えなどを行うことができる自由度もある。

　このほか、オートパイロット用の教示ファイルは、フォーク（分岐及びコピー）、マージ（結合）、クローン（コピー）等により再編集することも可能であるので、公開された教示ファイルは、複数人で共有されることで、多様なものに発展していくことが期待できる。

　ここで、本発明の実施形態には、以下の内容も含まれる。

　オートパイロット用の教示ファイルを、ライブ配信（生配信）における自由視点映像データに基づいて生成してもよい。例えば、機械学習により自動生成したオートパイロット用の教示ファイルをライブ配信（生配信）しても良いし、人的に作成（共同編集作業も可能とする）し、ライブとしては任意時間（例えば５分遅延等）後に閲覧者側では任意時間の遅延にて、ライブ開始時点からのコンテンツ再生を可能としてもよい。また、複合的に機械学習により作成したオートパイロット用の教示ファイルを、編集者が閲覧、編集してライブ配信（生配信）するようにしてもよい。さらに、人的な作業が間に合わない場合には一定時間通常の自由視点映像データを配信し、作成された段階で再度オートパイロット用の教示ファイルをライブ配信（生配信）してもよい。オートパイロット用の教示ファイルの共同編集も、既に確立されている共同編集技術、自身のタイムラインにおける排他制御や、ＯＴ（Operational Transformation）法等を用いた編集マージを行う事で迅速にオートパイロットを作成するようにしてもよい。また、オンデマンドの自由視点映像データに対しても、機械学習によりオートパイロット用の教示ファイルを自動生成、機械学習による生成されたオートパイロット用の教示ファイルを、編集者が閲覧、編集可能、オートパイロット用の教示ファイルの共同編集作業が可能である事は勿論である。また、１つの自由視点映像コンテンツに対して１つ以上のオートパイロット情報、ライブオートパイロット情報を同時に付与、配信できることも可能であることは勿論である。

　上記の流れにおいて、オートパイロット用の教示ファイルの作成中に作業が完了したところまでの「動画ファイル」を生成してもよく、それを通常の動画ファイルとして配信するようにしてもよい。その場合、専用のＷｅｂサイト等に公開可能であり、権限によりストリーミングでの閲覧、ダウンロード可能とするとよい。また、動画ファイルに対してタイムコード毎に構成要素に含まれる自由視点映像コンテンツ等に関する情報をメタデータ（例えば、ＸＭＰ形式等）として動画に埋め込み、または別ファイルとして関連付けて取得可能な状態とし（XMP等に当該ファイルの場所を記述しても良いし、例えばHLS形式であればm3u8ファイル等に当該ファイルの場所や内容を記述しても良いし、所定のサーバに対して問合せを行う等して当該ファイルの内容や、配置場所を取得する等しても良い）、当該メタデータを参照することで、対応した動画プレイヤであれば、再生中等に動画ファイルから現在閲覧していた自由視点映像コンテンツに遷移して任意の視点に変更することも可能であり、動画ファイルの遷移時点の箇所に戻って再生を再開することも可能であることは勿論である。また、自由視点映像のオートパイロット及びライブオートパイロット時、ないしはオートパイロット及びライブオートパイロットの教示ファイル内容から生成された動画ファイル閲覧時に、任意に、生成元の自由視点映像のコンテンツへ遷移して、当該自由視点映像を閲覧することもでき、また遷移時の箇所に戻ってオートパイロット及びライブオートパイロット（自由視点映像、動画ファイル双方）を再開することも可能である。

　さらに、各個人の自由視点映像の閲覧方法や近似属性の閲覧方法を学習して、送信されてきた自由視点映像を自動的に学習結果に基づいて切り替えるようにしてもよい。また、コンテンツオーナー側が人的に作成して（共同作業も可能、当該共同編集機能は一般ユーザ向けに権限に基づいて付与する事も可能と算段）、所定時間経過後にライブオートパイロット用の教示ファイルを配信するようにしてもよい。

　また、先行して自由視点映像を閲覧しているユーザの閲覧統計データを基に、例えば最も良く見られている視点等から、ライブオートパイロット用の教示ファイルを生成し、配信するようにしてもよい。また、ライブオートパイロット用の教示ファイルから逐次、例えばＨＬＳ形式等の動画ストリーミングデータを生成してそれをライブ配信（生配信）してもよい。また、動画ストリーミングデータに対してタイムコード毎に構成要素に含まれる自由視点映像コンテンツ等に関する情報を、メタデータ（例えば、ＸＭＰ形式等）として動画に埋め込み、または別ファイルとして関連付けて取得可能な状態とし（XMP等に当該ファイルの場所を記述しても良いし、例えばHLS形式であればm3u8ファイル等に当該ファイルの場所や内容を記述しても良いし、所定のサーバに対して問合せを行う等して当該ファイルの内容や、配置場所を取得する等しても良い）、当該メタデータを参照することで、対応した動画プレイヤであれば再生中等に動画ファイルから現在閲覧していた自由視点映像コンテンツに遷移して任意の視点に変更することも可能とし、動画ファイルの遷移時点の箇所に戻って再生を再開することも可能としてもよいことは勿論である。

　このほか、ユーザが好むターゲットやジャンルを属性情報として保持している場合、それら属性情報に基づいて、当該ユーザに好適な視点、拡大等を伴うコンテンツ再生を実現するオートパイロット用の教示ファイルを生成し、当該ユーザに提供するようにしてもよい。例えば、スポーツであれば「ボール」等を選択しておくと、ボールを物体認識して常に追従したようなオートパイロット用の教示ファイルを生成、配信してもよい。

　以上、本発明の実施形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の更なる改良・変更が可能である。

　１…映像配信装置、２…端末装置、３…端末装置、４…通信網、１０…制御部、１０ａ…配信部、１０ｂ…取得部、１０ｃ…データ生成部、１０ｄ…指定値受付部、１０ｅ…選択部、１０ｆ…教示ファイル生成部、１１…ＲＡＭ、１２…ＲＯＭ、１３…ＭＰＥＧデコードモジュール、１４…記憶部、１４ａ…コンテンツ記憶部、１４ｂ…操作データ記憶部、１４ｃ…教示ファイル記憶部、１４ｄ…ＯＳ、１４ｅ…データ所得プログラム、１４ｆ…データ生成プログラム、１４ｇ…教示ファイル生成プログラム、１４ｈ…選択プログラム、１４ｉ…配信プログラム、１４ｊ…コンテンツ生成プログラム、１４ｋ…公開プレイス情報記憶部、１４ｌ…ユーザ情報記憶部、１５…Ｉ／Ｏポート、１６…ハブ、１７…ルータ、２１…制御部、２１ａ…要求部、２１ｂ…映像生成部、２１ｃ…編集部、２１ｄ…取得部、２２…ＲＡＭ、２３…ＲＯＭ、２４…ＪＰＥＧでコードモジュール、２５…Ｉ／Ｏポート、２６…無線通信部、２７…描画部、２８…表示モニタ、２９…操作認識部、３０…操作部、３１…記憶部、３１ａ…コンテンツ記憶部、３１ｂ…操作データ記憶部、３１ｃ…教示ファイル記憶部、３１ｄ…ＯＳ、３１ｅ…ブラウザプログラム、３１ｆ…編集プログラム。

Claims

　映像配信装置とユーザの端末装置とからなる映像配信システムであって、
　前記映像配信装置は、
　前記端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する前記公開プレイスを設定する公開プレイス設定部と、
　前記公開プレイスの前記コンテンツデータについて前記ユーザの端末装置より配信に係る要求があったときに、少なくとも要求をした前記ユーザの権限、及び前記公開プレイスに設定された権限に基づいて、前記要求に係る処理の可否を判定し、条件を満たす場合には、前記処理を実行する判定部と、を有し、
　前記端末装置は、
　前記映像配信装置の前記公開プレイスの前記コンテンツデータについて配信に係る要求を行う要求部と、
　前記映像配信装置から配信されたコンテンツデータを取得する取得部と、
　前記コンテンツデータに基づく映像を表示する表示部と、を有する
映像配信システム。
　前記権限とは、ログイン、ストリーミング、ダウンロード、アップロード、コンテンツデータの作成、イベントへの参加、投票、及びコンテンツデータの販売の少なくともいずれかを含む
　請求項１に記載の映像配信システム。
　前記公開プレイスは、階層的な構造となっており、前記公開プレイス設定情報は、前記公開プレイスの階層に係る情報、権限に係る情報を含む
　請求項１又は請求項２に記載の映像配信システム
　前記教示ファイルは、教示データを含み、
　前記教示データは、スクリーンの態様を教示するスクリーン教示データ、コンテンツを教示するコンテンツ教示データ、及び、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データの少なくともいずれかを含む
　請求項１に記載の映像配信システム。
　前記映像配信装置は、前記端末装置において、オートパイロット用の教示ファイルに基づく再生を実行している途中で、ユーザ操作がなされると、オートパイロットの再生を一時中断し、ユーザ操作に基づく画面の切り換え、再生を実行するよう促す
　請求項１に記載の映像配信システム。
　前記映像配信装置は、前記端末装置において、自由視点映像のオートパイロット及びライブオートパイロット時、ないしはオートパイロット及びライブオートパイロットの教示ファイル内容から生成された動画ファイル閲覧時に、任意に、生成元の自由視点映像のコンテンツへ遷移して、当該自由視点映像を閲覧し、また遷移時の箇所に戻ってオートパイロット及びライブオートパイロットを再開するよう促す
　請求項１乃至請求項５のいずれか1項に記載の映像配信システム。
　映像配信装置とユーザの端末装置とよる映像配信方法であって、
　前記映像配信装置が、
　前記端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する前記公開プレイスを設定し、
　前記公開プレイスの前記コンテンツデータについて前記ユーザの端末装置より配信に係る要求があったときに、少なくとも要求をした前記ユーザの権限、及び前記公開プレイスに設定された権限に基づいて、前記要求に係る処理の可否を判定し、条件を満たす場合には、前記処理を実行し、
　前記端末装置が、
　前記映像配信装置の前記公開プレイスの前記コンテンツデータについて配信に係る要求を行い、
　前記映像配信装置から配信されたコンテンツデータを取得し、
　前記コンテンツデータに基づく映像を表示する
　映像配信方法。
　ユーザの端末装置と通信自在な映像配信装置であって、
　前記端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する前記公開プレイスを設定する公開プレイス設定部と、
　前記公開プレイスの前記コンテンツデータについて前記ユーザの端末装置より配信に係る要求があったときに、少なくとも要求をした前記ユーザの権限、及び前記公開プレイスに設定された権限に基づいて、前記要求に係る処理の可否を判定し、条件を満たす場合には、前記処理を実行する判定部と、を有する
映像配信装置。
　ユーザの端末装置と通信自在なコンピュータを、
　前記端末装置から送信された公開プレイス設定情報に基づき、少なくとも自由視点映像データ及び教示ファイルを含むコンテンツデータを配信可能に公開する前記公開プレイスを設定する公開プレイス設定部、及び
　前記公開プレイスの前記コンテンツデータについて前記ユーザの端末装置より配信に係る要求があったときに、少なくとも要求をした前記ユーザの権限、及び前記公開プレイスに設定された権限に基づいて、前記要求に係る処理の可否を判定し、条件を満たす場合には、前記処理を実行する判定部として機能させる
プログラム。