JP7218105B2 - ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム - Google Patents

ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム Download PDF

Info

Publication number
JP7218105B2
JP7218105B2 JP2018116888A JP2018116888A JP7218105B2 JP 7218105 B2 JP7218105 B2 JP 7218105B2 JP 2018116888 A JP2018116888 A JP 2018116888A JP 2018116888 A JP2018116888 A JP 2018116888A JP 7218105 B2 JP7218105 B2 JP 7218105B2
Authority
JP
Japan
Prior art keywords
virtual viewpoint
file
viewpoint video
data
access information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018116888A
Other languages
English (en)
Other versions
JP2019220847A (ja
JP2019220847A5 (ja
Inventor
裕尚 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018116888A priority Critical patent/JP7218105B2/ja
Priority to PCT/JP2019/023224 priority patent/WO2019244731A1/ja
Publication of JP2019220847A publication Critical patent/JP2019220847A/ja
Priority to US17/122,931 priority patent/US11431957B2/en
Publication of JP2019220847A5 publication Critical patent/JP2019220847A5/ja
Application granted granted Critical
Publication of JP7218105B2 publication Critical patent/JP7218105B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Description

本発明は、仮想視点映像ファイルの処理に関する。
複数のカメラを用いて得られる複数の撮像画像に基づいて、仮想カメラの位置及び向きに応じた仮想視点画像を作る方法が知られている。
特許文献１は、複数のカメラを用いて得られる複数の撮影画像に基づいて、前景テクスチャ画像、背景テクスチャ画像、及び３Ｄモデルなどのデータ（以下では素材データと呼ぶ）を生成し、該素材データを用いて仮想視点映像を生成することを開示している。
特開２０１７－２１１８２８号公報
仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを生成することは容易ではなかった。
例えば、他者が設定した仮想カメラワークに基づいて生成された仮想視点映像を閲覧したユーザが、別の仮想カメラワークに基づくオリジナルの仮想視点映像を生成したいと考える場合がある。その場合、仮想視点映像の生成のための素材データの所在を調べ、該素材データを取得し、新たな仮想視点映像データを生成することが考えられるが、それでは煩雑な作業が発生する。また、素材データを見つけることができなければ、新たな仮想視点映像データを生成できないこともあり得る。
本発明は上記の課題を鑑みてなされたものであり、その目的は、仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを容易に生成できるようにすることである。
上記課題を解決するため、本発明のファイル生成装置は、例えば以下の構成を有する。すなわち、仮想視点に対応する仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を取得する取得手段と、前記取得手段により取得されたアクセス情報と前記取得手段により取得された仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成手段と、前記ファイル生成手段により生成された仮想視点映像ファイルを出力する出力手段と、を有する。
本発明によれば、仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを容易に生成できるようになる。
第一実施形態の機能ブロック図である。 撮影システムを説明するための図である。 仮想視点映像ファイルの生成に関するシーケンス図である。 仮想視点映像ファイルの再生に関するシーケンス図である。 素材データへのアクセス情報を例示した図である。 ＩＳＯＢＭＦＦに準拠するボックスの構造の一例である。 ＩＳＯＢＭＦＦに基づくファイル構造の一例である。 ＩＳＯＢＭＦＦに準拠するムービーボックスにアクセス情報を記述する例を示す図である。 静止画フォーマットにアクセス情報を記述する方法を例示した図である。 素材データアクセス情報のタグ情報を例示した図である。 動画ポータルサイトのトップ画面を例示した図である。 動画ポータルサイトの動画再生画面を例示した図である。 仮想視点映像の生成画面を例示した図である。 第二実施形態の機能ブロック図である。 その他の実施形態の機能ブロック図である。 ファイル処理装置２０のハードウェア構成を示す図である。
＜第一実施形態＞
図１は、第一実施形態における素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の機能を説明するためのブロック図である。なお、本実施形態における各装置の機能は、図１６にて示すハードウェア資源により実現される。図１６はファイル処理装置２０のハードウェア構成を説明するための図であるが、素材サーバ１０及びファイルサーバ３０のハードウェア構成もファイル処理装置２０のそれと同様である。図１６において、ＣＰＵ１６０１は、ＲＡＭ１６０２をワークメモリとして、ＲＯＭ１６０３及び／又はハードディスクドライブ（ＨＤＤ）１６０５に格納されたプログラムを実行する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェース（Ｉ／Ｆ）１６０４は、ファイル処理装置２０と、ＨＤＤ１６０５や光ディスクドライブなどの二次記憶装置とを接続するためのインタフェースである。入力インタフェース（Ｉ／Ｆ）１０６は、１又は複数の座標を入力するためのタッチパネル、キーボード、マウス、デジタルカメラ、及びスキャナなどの入力デバイス１６０７とファイル処理装置２０とを接続するためのインタフェースである。入力インタフェース（Ｉ／Ｆ）１６０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースである。出力インタフェース（Ｉ／Ｆ）１６０８は、ディスプレイなどの出力デバイス１６０９とファイル処理装置２０とを接続するためのインタフェースである。ネットワークインタフェース（Ｉ／Ｆ）１６１０は、ファイル処理装置２０と外部の装置（例えば、素材サーバ１０及びファイルサーバ３０）とを接続するためのインタフェースである。ＣＰＵ１６０１は、ネットワークＩ／Ｆ１６１０を介して外部の装置データのやり取りを行うことが可能である。
なお、ファイル処理装置２０は複数のＣＰＵ１６０１を有してもよい。また、ＣＰＵ１６０１とは異なる専用の１又は複数のハードウェアを有し、ＣＰＵ１６０１による処理の少なくとも一部を専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などがある。
図３は、仮想視点映像ファイルを生成するときの素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の処理の流れを説明するためのシーケンス図である。以下、図１及び図３を用いて各装置の機能及び動作について説明する。
まず、ファイル処理装置２０は、素材サーバ１０に対して素材リストを要求する（Ｓ１０１）。具体的には、ファイル処理装置２０のデータ受信部２００は、ユーザ操作の入力に応じて、素材サーバ１０の外部インタフェース部１００に対して素材リストの要求を送信する。本実施形態において、素材リストとは、素材サーバ１０が提供可能な素材データをリスト化したデータである。
また、本実施形態において素材データとは、仮想視点映像の生成のために用いられるデータである。素材データの一例としては、オブジェクト（例えばスポーツ選手やボールなど）の３次元形状を示す３次元形状データと、該オブジェクトのテクスチャデータと、背景画像のテクスチャデータである。これらの素材データを用いることで、仮想視点（仮想カメラ）の位置と向きに応じた仮想視点映像を生成することができる。また、素材データの別の例としては、複数のカメラによる撮影画像と、各カメラの位置、姿勢、及び画角に関するカメラ情報であっても良い。これらの素材データを用いることによっても、仮想視点（仮想カメラ）の位置と向きに応じた仮想視点映像を生成することができる。なお、このような素材データは、図２に示すような撮像システムを用いることによって得られる。図２に示すように、複数のカメラが所定の撮影領域を異なる方向から同期撮影を行うことで得られる撮影画像を用いることによって、該撮影領域内に存在するオブジェクトの形状やテクスチャデータが得られる。具体的なアルゴリズムとしては、ＶｉｓｕａｌＨｕｌｌなど公知の手法を用いることができる。また、図２に示す各カメラの位置、姿勢、及び画像角度に関するカメラ情報は、例えば、各カメラの撮影画像に基づいて得ることができる。
なお、本実施形態の素材リストには、提供可能な素材データの種別、時間帯、撮影場所、及び、該素材データを要求するためのアクセス情報が含まれる。なお、本実施形態では素材リストという名称を用いているが、必ずしもリスト形式のデータでなければならないわけではない。また、上述した情報（種別、時間帯、撮影場所、アクセス情報）のすべてが必ずしも必須の情報であることは限らない。上述した情報のうち一部が素材リストに含まれていなくても良いし、別の情報が加えられていても良い。
また、アクセス情報は、例えば、素材データを記録する記録装置（素材サーバ１０）のＩＰアドレス、又は、素材データの所在を示すＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含み得る。また、アクセス情報は、例えば、素材データを格納するファイルの名称（ファイル名）、及び、素材データを識別するための識別情報（例えばタイトル）のうち、少なくとも何れか一方を含んでいても良い。
図２のＳ１０２において、ファイル処理装置２０は、素材サーバ１０から素材リストを受信する。具体的には、素材サーバ１０の外部インタフェース部１００は、素材リストの要求を受けると、データリスト取得部１０１を介してデータ蓄積部１０２から素材リストを取得し、その素材リストをファイル処理装置２０のデータ受信部２００に対して送信する。
そして、ファイル処理装置２０は、素材サーバ１０に対して素材データを要求する（Ｓ１０３）。具体的には、ファイル処理装置２０のデータ受信部２００は、ユーザによる素材データの選択操作に応じて、素材サーバ１０の外部インタフェース部１００に対して素材データの要求を送信する。
そして、ファイル処理装置２０は、素材サーバ１０から素材データを受信する（Ｓ１０４）。具体的には、素材サーバ１０の外部インタフェース部１００は、ファイル処理装置２０から素材データの要求を受けると、データ取得部１０３を介してデータ蓄積部１０２から素材データを取得する。そして、該素材データをファイル処理装置２０のデータ受信部２００に対して送信する。
そして、ファイル処理装置２０は、仮想視点の情報を取得する（Ｓ１０５）。具体的には、仮想視点入力部２０２から仮想視点の位置、向き、及び画角などに関する仮想視点情報の入力を受付ける。本実施形態において、仮想視点情報はユーザ操作に基づいて決定される情報であるものとするが、これに限らず、自動的に仮想カメラが操縦されるようにしても良い。
そして、ファイル処理装置２０の仮想視点映像生成部２０１は、Ｓ１０４において取得された素材データと、Ｓ１０５において入力された仮想視点情報とに基づいて、仮想視点映像データを生成する（Ｓ１０６）。
そして、ファイル処理装置２０のファイル生成部２０４は、Ｓ１０６において生成された仮想視点映像データに基づいて仮想視点映像ファイルを生成する（Ｓ１０７）。本実施形態のファイル処理装置２０は、仮想視点映像データの生成のために用いられた素材データの要求のアクセス情報を含む仮想視点映像ファイルを生成する。なお、図１は、ファイル生成部２０４が仮想視点映像ファイルを生成したあとにアクセス情報付与部２０５がアクセス情報を付加する例を示しているが、これに限らない。例えば、アクセス情報が記述された仮想視点映像ファイルを生成したあとに、仮想視点映像データを付加するようにしても良い。
そして、ファイル処理装置２０は、Ｓ１０７において生成された仮想視点映像ファイルをファイルサーバ３０へ出力する（Ｓ１０９）。具体的には、ファイル処理装置２０のファイル出力部２０６が、ファイルサーバ３０のファイル受信部３０５に対して仮想視点映像ファイルを送信する。
そして、ファイルサーバ３０は、ファイル処理装置２０から受け取った仮想視点映像ファイルを記録する（Ｓ１０９）。記録された仮想視点映像ファイルは、一般公開された場合、他のファイル処理装置２０（例えばスマートフォンやタブレットＰＣなど）へ提供される。
なお、仮想視点映像ファイルの出力先はファイルサーバ３０に限らない。例えば、ファイル処理装置２０に接続されるハードディスクに出力されても良いし、他の端末（例えばスマートフォンやタブレットＰＣなど）に出力されても良い。
また、図１は、素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０がそれぞれ１台ずつ接続される例を示しているが、これに限らず、種々の変形例があり得る。例えば、素材サーバ１０とファイルサーバ３０が同一の（又は同一とみなせる）サーバであっても良いし、複数の素材サーバ１０と複数のファイルサーバ３０が存在するシステムもあり得る。例えば、素材サーバ１０が複数存在する場合、ファイル処理装置２０は該複数の素材サーバ１０に対して、素材リストの要求を送信しうる。また、複数のファイルサーバ３０が存在する場合、ファイル処理装置２０は該複数のファイルサーバ３０に対して、仮想視点映像ファイルを送信しうる。また、図１では、ファイル処理装置２０が仮想視点映像ファイルを生成する機能と、仮想視点映像ファイルを再生する機能の両方を有している例を示しているが、これに限らない。すなわち、仮想視点映像ファイルを生成するための機能と、仮想視点映像ファイルを再生するための機能とが別の装置として存在することもありうる。すなわち、本実施形態のファイル処理装置２０は、ファイル生成装置やファイル再生装置と呼ぶこともできる。
また、本実施形態のファイル処理装置２０は、ユーザにより指定された素材データを一括ですべて受信してから仮想視点映像データを生成することを想定しているが、所定時間ごとの素材データを部分的に取得しながら、仮想視点映像データを生成しても良い。
次に、本実施形態のファイル処理装置２０が仮想視点映像ファイルを再生するときの素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の処理の流れについて、図１及び図４を用いて説明する。
まず、ファイル処理装置２０は、ファイルサーバ３０に対してファイルリストを要求する（Ｓ２０１）。ファイルリストとは、ファイルサーバ３０がファイル処理装置２０に対して提供可能なコンテンツファイルの一覧を示す情報である。ただし、必ずしもリスト形式のデータである必要はない。また、ファイルリストが示すコンテンツファイルには、仮想視点映像ファイルが含まれる。本実施形態のファイル処理装置２０のファイルリスト受信部２０７は、ファイルリストの取得に関するユーザ操作を受け付けると、ファイルリストの要求をファイルサーバ３０の外部インタフェース部３００に対して送信する。
そして、ファイル処理装置２０は、ファイルサーバ３０からファイルリストを取得する（Ｓ２０２）。具体的には、ファイルサーバ３０の外部インタフェース部３００は、ファイル処理装置２０からの要求を受信すると、ファイルリスト取得部３０１を介してファイル蓄積部３０２からファイルリストを取得する。そして、そのファイルリストをファイル処理装置２０に対して送信する。
そして、ファイル処理装置２０は、ファイルリストにおいて示された複数のコンテンツファイルのうち、ユーザにより指定された仮想視点映像ファイルの要求をファイルサーバ３０に対して送信する（Ｓ２０３）。具体的には、ファイル処理装置２０のファイル要求部２０８が、ユーザにより指定された仮想視点映像ファイルの識別情報を含む要求をファイルサーバ３０の外部インタフェース部３００に対して送信する。
そして、ファイル処理装置２０は、ファイルサーバ３０から仮想視点映像ファイルを受信する（Ｓ２０４）。具体的には、ファイルサーバ３０の外部インタフェース部３００は、ファイル処理装置２０から仮想視点映像ファイルの要求を受けると、該要求された仮想視点映像ファイルを、ファイル取得部３０３を介してファイル蓄積部３０２から取得する。そして、該取得された仮想視点映像ファイルをファイル処理装置２０のファイル受信部２１０に対して送信する。
そして、ファイル処理装置２０は、Ｓ２０４において取得した仮想視点映像ファイルを再生する（Ｓ２０５）。具体的には、ファイル処理装置２０のファイル再生部２１１が、ファイル受信部２１０により受信された仮想視点映像ファイルに含まれる仮想視点映像データをデコードし、デコードの結果を映像出力部２０３に対して送信する。そして、映像出力部２０３は、仮想視点映像を表示させる。このとき、オーディオデータもあれば、映像と合わせて再生される。
そして、ファイル処理装置２０は、素材データの取得指示が入力されたか判定する（Ｓ２０６）。素材データの取得指示は、典型的には、ユーザ操作により入力される。ユーザは、ファイルサーバ３０から取得した仮想視点映像ファイルに基づく仮想視点映像を再生中に、該映像とは異なる視点から映像を視聴したいと考えた場合に、素材データの取得指示を入力する。素材データの取得指示が入力されなかった場合、仮想視点映像の再生が継続される。
一方、素材データの取得指示が入力された場合、ファイル処理装置２０は、素材データをファイルサーバ３０に対して要求する（Ｓ２０７）。具体的には、ファイル処理装置２０の素材データ要求部２０９が、素材データの取得に関するユーザ操作の入力に応じて、ファイルサーバ３０に対して素材データの要求を送信する。この素材データの要求は、素材データのアクセス情報に基づいて行われる。例えば、アクセス情報が素材サーバ１０のＩＰアドレスとファイル名の組み合わせである場合、該アクセス情報が素材データの要求に含まれる。また、例えば、アクセス情報がＵＲＬである場合、素材データ要求部２０９は、該ＵＲＬに対するＧＥＴリクエストを送信することにより、素材データを取得できる。この場合、ＧＥＴリクエストはファイルサーバ３０ではなく、素材サーバ１０に直接送信されることがある。
ファイルサーバ３０のメタデータ解析部３０６は、ファイル処理装置２０から素材データの要求を受け付けた場合、該要求に含まれるアクセス情報を参照する。もし素材データの要求にアクセス情報が含まれていない場合（Ｓ２０８でＮｏ）、ファイル処理装置２０に対してエラーが通知される（Ｓ２０９）。一方、素材データの要求にアクセス情報が含まれる場合、ファイルサーバ３０は、素材サーバ１０に対して素材データの要求を送信する（Ｓ２１０）。具体的には、ファイルサーバ３０のデータ受信部３０７から素材サーバ１０のデータ送信部１０４に対して素材データの要求が送信される。その後、ファイルサーバ３０は素材サーバ１０から素材データ及びアクセス情報を取得し（Ｓ２１１）、その素材データとアクセス情報をファイル処理装置へ提供する（Ｓ２１２）。ただし、素材サーバ１０からファイル処理装置２０に対して直接的に素材データとアクセス情報が送信されるようにしても良い。図４のＳ２１３～Ｓ２１７は、図３のＳ１０５～Ｓ１０９と同様である。
次に図５を用いて、素材データのアクセス情報について詳細に説明する。図５において、アクセス情報バージョン５０１Ａは、アクセス情報５００のバージョンを示し、バージョンごとに格納するパラメータが変わることに対応するための情報である。
アクセス情報フラグ５０２Ａは、アクセス情報５００に含まれる情報のうち、有効な情報を示す。たとえば、二値の値で、１が有効を示すようなビットアサインのデータ等を使用できる。
データベースＵＲＬ５０３Ａは、素材データを記録するサーバ（データベース）のＵＲＬを示す。データベースＩＰアドレス５０４Ａは、素材データを記録するサーバ（データベース）のＩＰアドレスを示す。
データＩＤ５０５Ａは、素材データを記録するサーバ（データベース）において、素材データを一意に特定するためのＩＤ（識別情報）である。また、データ名５０６Ａは、素材データを記録するサーバ（データベース）において、素材データを一意に特定するためのデータ名（識別情報）である。識別情報の具体例としては、素材データのタイトルやファイル名などである。
映像生成ポータルサイトＵＲＬ５０７Ａは、仮想視点映像の生成機能を含むポータルサイトのＵＲＬである。このＵＲＬによって特定されるサイトは、ユーザが指定した素材データから仮想視点映像を生成できるサービスを提供するものとする。
映像生成に用いたデータの時間情報５０８は、仮想視点映像に対応する開始時間及び終了時間等を示す。この時間情報は、仮想視点映像に対応する実カメラの撮影時刻に基づく情報である。この時間情報を用いることで、ユーザは同じ時間の仮想視点映像を再度生成することができる。
なお、図５で示す情報のすべてがアクセス情報として含まれていなければならないわけではないことに留意されたい。
次に、アクセス情報をＩＳＯ／ＩＥＣ１４４９６－１２（ＭＰＥＧ－４ Ｐａｒｔ１２） ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｏｒｍａｔ（以下、ＩＳＯＢＭＦＦ）規格に準拠した動画用ファイルフォーマットに格納する場合の例について詳細に説明する。
ＩＳＯＢＭＦＦは、サイズとタイプを示す情報とデータとが格納されるボックスという単位でファイルを扱う。図６（ａ）はボックスの構造を例示した図である。図６（ｂ）のように、ボックスの中にデータとしてボックスを含む構造とすることも可能である。
図７はＩＳＯＢＭＦＦに準拠したファイルのデータ構造を示している。図７に示すように、ＩＳＯＢＭＦＦに準拠したファイルは、ｆｔｙｐ７０１（Ｆｉｌｅ Ｔｙｐｅ Ｃｏｍｐａｔｉｂｉｌｉｔｙ Ｂｏｘ）、ｍｏｏｖ７０２（Ｍｏｖｉｅ Ｂｏｘ）、及びｍｄａｔ７０３（Ｍｅｄｉａ Ｄａｔａ Ｂｏｘ）のボックスを含む。ｆｔｙｐ７０１にはファイルフォーマットの情報、例えばファイルがＩＳＯＢＭＦＦに準拠していることや、ボックスのバージョン、ファイルを作成したメーカ名称等が格納される。ｍｏｏｖ７０２（ムービーボックス）には、メディアデータを管理するための時間軸、アドレスなどのメタデータが格納される。ｍｄａｔ７０３（メディアデータボックス）には、実際に動画として再生されるメディアデータが格納される。本実施形態において、ｍｏｏｖ７０２はメタデータを格納するためのメタデータ領域、ｍｄａｔ７０３はメディアデータを格納するためのメディアデータ領域と呼ぶことができる。
図８は、ｍｏｏｖ７０２に、素材データへのアクセス情報５００を記述する例を示した図である。図８（ａ）のように、ファイル全体のメタ情報を示すｍｅｔａ８０１に情報を付与することができる。またトラックごとに異なる映像をつなぎ合わせて編集されたファイルの場合は、図８（ｂ）のように、各トラックのボックスｍｅｔａ８０２にアクセス情報５００を記述することも可能である。また、図８（ｃ）のように、アクセス情報５００を格納する新たなボックスを定義しても良い。こうすることで、異なる素材データから生成された仮想視点映像を混在させた編集動画を生成した場合でも、それぞれのトラックから素材データへアクセスすることが可能となる。
アクセス情報５００を格納するための新たなボックスの例を以下に示す。
aligned(8) class MetaBox (handler_type)
extends FullBox(‘meta’, version = 0, 0) {
HandlerBox(handler_type) theHandler;
PrimaryItemBox primary_resource; // optional
DataInformationBox file_locations; // optional
ItemLocationBox item_locations; // optional
ItemProtectionBox protections; // optional
ItemInfoBox item_infos; // optional
IPMPControlBox IPMP_control; // optional
ItemReferenceBox item_refs; // optional
ItemDataBox item_data; // optional
Original_Data_Access_info // optional
Box other_boxes[]; // optional
}
ここで、Original_Data_Access_infoが素材データへのアクセス情報５００を表す。このボックスは
Box Type: ‘odai’
Container: Meta box (‘meta’)
Mandatory: No
Quantity: Zero or one
そのシンタックスは
aligned(8) class ItemLocationBox extends FullBox(‘odai’,version,0) {
unsigned int(32) offset_size;
unsigned int(32) length_size;
unsigned int(32) base_offset_size;
if (version == 1) {
unsigned int(32) index_size;
} else {
unsigned int(32) reserved;
unsigned int(32) ; //

}
for (i=0, i<4; i++) {
unsigned char(8) Information Version[i]; //アクセス情報バージョン
}
unsigned int(32) Access Info Flag; //アクセス情報フラグ
unsigned int(32) Database URL Character Num;
//データベースＵＲＬ文字数
for (i=0, i<Database URL Character Num; i++) {
char(8) Database URL[i]; /データベースURL
}
for (i=0, i<15; i++) {
char(8) Database IP Address[i]; //データベースIPアドレス
}
unsigned int(32) Data Name Character Num; //データ名 文字数
for (i=0, i<Database Name Character Num; i++) {
char(8) Database Name[i]; //データ名
}
unsigned int(32) Video Create Portal Site URL Character Num;
//映像生成ポータルサイトURL 文字数
for (i=0, i< Video Create Portal Site URL Character Num; i++) {
char(8) Video Create Portal Site URL [i];
//映像生成ポータルサイトURL
}
unsigned int(32) Start Time Of Using Data; //データ使用開始時間
unsigned int(32) End Time Of Using Data; //データ使用終了時間
}
となる。なお、アクセス情報５００はボックスで構成されるため、図８（ｃ）のように別途設定しても構わない。また、ＩＳＯＢＭＦＦは一例であり、アクセス情報５００が他のファイルフォーマットに準拠したファイルにメタデータとして格納されるようにしても良い。
以下、カメラ映像機器工業会規格ＤＣ－００８－２０１２デジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ２．３に準拠したフォーマットでアクセス情報５００を記述する場合の例について説明する。図９（ａ）は、Ｅｘｉｆ規格に準拠したファイルフォーマットに、アクセス情報５００を記述する場合の例を示している。
図９（ａ）は、使用カメラ情報を、Ｄａｔａ Ａｃｃｅｓｓ Ｉｎｆｏ Ｉｍａｇｅ Ｆｉｌｅ Ｄｉｒｅｃｔｏｒｙ（以下、ＤＡＩ ＩＦＤ）９０２として定義し、素材データへのアクセス情報５００を格納している。図１０に、ＤＡＩ ＩＦＤのタグ情報の構成の一例を示す。また、ＤＡＩ ＩＦＤ Ｐｏｉｎｔｅｒ９０１は、ＤＡＩ ＩＦＤ９０２を指し示すポインタである。
図１０において、ＤＡＩタグのバージョンは１から始まる値であり、以下に続くデータのフォーマットのバージョンを表している。アクセス情報フラグはビットごとの１又は０の値で、以下に続く情報が有効か否かを示し、４バイト符号なし整数で表現される。データベースＵＲＬ文字数は、データベースＵＲＬの文字数を示し、４バイト符号なし整数で表現される。データベースＵＲＬは、データベースのＵＲＬを示し、ＡＳＣＩＩで表現される。ＡＳＣＩＩは、１つの７ピットＡＳＣＩＩコードを納めた８ビットバイトである。データベースＩＰアドレスは、データベースのＩＰアドレスを示し、ＡＳＣＩＩで表現される。データＩＤは、データを一意に特定するためのＩＤであり、４バイト符号なし整数で表現される。データ名文字数は、データ名の文字数を示し、４バイト符号なし整数で表現される。データ名は、データ名を示し、ＡＳＣＩＩで表現される。
映像生成ポータルサイトＵＲＬ文字数は、映像生成ポータルサイトのＵＲＬの文字数を示し、４バイト符号なし整数で表現される。映像生成ポータルサイトＵＲＬは仮想視点映像生成のサービスを提供するポータルサイトのＵＲＬを示し、ＡＳＣＩＩで表現される。データ使用開始時間及びデータ使用終了時間は、どの時間からどの時間までの素材データで仮想視点映像が生成されたかを示す。データ使用開始時間及びデータ使用終了時間は、４バイト符号なし整数で表現され、たとえば１バイトずつ１０進数で時間、分、秒、及びフレームを示す方式を用いる。ただし、上記の情報の順序、データ長はこれに限定されない。また、図１０で示すすべての情報がアクセス情報５００として必須であるとは限らない。また、図１０で示す情報以外の情報がアクセス情報５００に含まれることもありうる。
図９（ｂ）は、Ｅｘｉｆ規格では定義されていないが、ベンダーあるいは業界団体が任意に利用することができる未定義のＡＰＰｎマーカであるＡＰＰ３（８１１）に準拠する形式でアクセス情報５００を格納する例を示している。このように、既存の静止画用ファイルフォーマットであるＥｘｉｆ規格に、素材データへのアクセス情報５００を格納するための領域を追加定義し、仮想視点パラメータ付き仮想視点映像を生成することできる。
上記実施形態では、動画フォーマットとしてＩＳＯＢＭＦＦ規格、静止画フォーマットとしてＥｘｉｆ規格を例に説明したが、フォーマットはこれに限るものではなく、他の規格であっても、独自のフォーマットであっても構わない。また、アクセス情報５００に含まれる各パラメータの値及び表現は上述の例に限定されない。
また、今回はネットワークでつながった機器同士が連携する例について紹介したが、ひとつの装置内に素材データと、その素材データから生成された仮想視点映像がある場合は、ローカルフォルダパス等で素材データへのアクセス情報を表現することもできる。
次に、ｗｅｂページを動画ポータルサイトとする動画配信サービスのクライアントとして、ファイル処理装置２０が動作する場合の例について説明する。ファイル処理装置２０は、ｗｅｂブラウザを有するものとする。ｗｅｂブラウザは、ファイルサーバ３０から送信されたｗｅｂページデータを解析し、画面を再構成することで、ユーザは動画ポータルサイトを閲覧する。
図１１は動画ポータルサイトのトップ画面を例示した図である。トップ画面は、キーワードで動画を検索可能な検索バー１１００、ジャンル等から動画を検索できるメニュー画面１１０１、おすすめファイルリスト１１０２などから構成される。おすすめファイルリスト１１０２により示される各動画は、サムネイル画面、タイトル、投稿者、及び視聴回数などで構成される。例えばユーザが、マウスなどで動画をクリックすると、動画再生画面に遷移する。
図１２は、動画再生画面を例示した図である。動画再生画面は、動画が表示される動画ウィンドウ１２００、再生ボタン、停止ボタン、及び時間的な再生位置を指定するシークバーなどを備えた再生操作バー１２０１を有する。また、動画再生画面は、素材データへのアクセスボタン１２０２を有する。
例えば、本実施形態のファイルサーバ３０のメタデータ解析部３０６は、ファイル処理装置２０に対して提供する仮想視点映像ファイルにアクセス情報５００が含まれているかを判定する。そしてファイルサーバ３０は、アクセス情報５００が含まれていると判定された場合、ファイル処理装置２０により表示される動画再生画面上に、素材データへのアクセスボタン１２０２（所定領域）を加えることができる。
ユーザが再生中の仮想視点映像と同じ素材データに基づいて異なる視点の仮想視点映像を生成したいと考えた場合、素材データへのアクセスボタン１２０２を押下（クリック）する。そのユーザ操作に応じて、素材データ要求部２０９がファイルサーバ３０に対し、素材データを要求し、前述の通り、ファイルサーバ３０（又は素材サーバ１０）から素材データを取得する。図１３は、ファイル処理装置２０がファイルサーバ３０（又は素材サーバ１０）から素材データを取得して、仮想視点映像を生成するための画面を例示する図である。図１３の画面は、仮想視点映像を再生するウィンドウ１３００、編集対象とする時間の指定のための時間指定バー１３０１、編集スタートボタン１３０２、編集ストップボタン１３０３、静止操作ボタン１３０４、及び、仮想視点映像再生バー１３０５を有する。
ユーザは、時間指定バー１３０１で、編集を開始する時間を指定する。そして、編集スタートボタン１３０２を押下すると時間が進み始め、ユーザはマウスや専用コントローラなどを使って仮想視点を操作する。これにより、オリジナルの視点に基づく仮想視点映像が生成される。ユーザが編集ストップボタン１３０３を押下すると編集が終了する。仮想視点映像再生バー１３０５を操作すると、新たに生成された仮想視点映像を確認することができる。
以上、第一実施形態では、仮想視点映像データと、該仮想視点映像データの生成に用いられた素材データにアクセスするためのアクセス情報５００とを含む仮想視点映像ファイルを生成する。これにより、該仮想視点映像ファイルを取得したファイル処理装置２０は、アクセス情報に基づいて素材データへアクセス可能となり、異なる視点の仮想視点映像を簡単に生成できるようになる。
なお、本実施形態では素材データの取得をファイルサーバ３０経由で行う例を中心に説明したが、これに限定さない。例えば、素材データ要求部２０９がメタデータ解析部３０６の機能を持つことで、ファイル処理装置２０が直接的に素材サーバ１０に素材データを要求しても良い。
なお、素材データへのアクセスボタン１２０２はこれに限らず、「再構成可能ボタン」または「編集ボタン」のように、素材データへのアクセスの可否を直接あらわさない表現にしても良い。
＜第二実施形態＞
第一実施形態では、ファイル処理装置２０が、素材サーバ１０に記録された素材データをファイルサーバ３０経由で取得する場合の例を中心に説明した。これに対し、第二実施形態では、ファイル処理装置２０が素材サーバ１０から直接的に素材データを取得する形態について説明する。
図１４は、第二実施形態における素材サーバ４０、ファイル処理装置５０、及びファイルサーバ６０の詳細を説明するためのブロック図である。図１と同様のブロックについては、同じ番号を付与し、その説明を省略する。
ファイル処理装置５０が、仮想視点映像データと素材データへのアクセス情報とを有する仮想視点映像ファイルをファイルサーバ６０に出力することについては第一実施形態と第二実施形態において共通である。
本実施形態では、ファイル処理装置５０がファイルサーバ６０から仮想視点映像ファイルを取得し、該ファイルに含まれるアクセス情報に基づいて素材サーバ４０から素材データを取得し、新たな仮想視点に基づく仮想視点映像データを生成するケースを説明する。
ファイル処理装置５０のファイル受信部５０１は、所定のユーザ操作（例えば素材データの取得指示）の入力に応じて、メタデータ解析部５０２に仮想視点映像ファイル中のメタデータを送信する。
メタデータ解析部５０２は、ファイル受信部５０１から受け取ったメタデータを解析し、仮想視点映像ファイルの素材データへのアクセス情報を抽出する。メタデータ解析部５０２は、素材データへのアクセス情報がメタデータに含まれていない場合は、ファイル受信部５０１にその旨を通知する。この場合、映像出力部２０３は、素材データへのアクセスができない旨を示す画像を表示する。メタデータにアクセス情報が含まれている場合、メタデータ解析部５０２は、アクセス情報をデータ受信部５０３に送信する。アクセス情報の具体例は第一実施形態において説明した通りである。すなわち、素材データを記録する装置（素材サーバ１０）のＩＰアドレスと、素材データを特定するための識別情報（データＩＤ）の組み合わせなどがありうる。また、アクセス情報の別の例としては、特定の素材データに所在を表すＵＲＬなどもありうる。
データ受信部５０３は、アクセス情報に基づいて素材データの取得を行う。例えば、アクセス情報が素材サーバ４０のＩＰアドレスとデータＩＤであった場合、データ受信部５０３は、素材サーバ４０の外部インタフェース部１００に該データＩＤを指定して素材データを要求する。
素材サーバ４０の外部インタフェース部１００は、データ取得部１０３を介してデータ蓄積部１０２から素材データを取得し、データ送信部１０４を介してファイル処理装置５０へ送信する。なお、ファイル処理装置５０のデータ受信部５０３は、素材サーバ４０から受け取った素材データを仮想視点映像生成部２０１に提供すると共に、アクセス情報をアクセス情報付与部２０５に対して提供する。このようにすることで、新たに生成される仮想視点映像データに基づいて仮想視点映像ファイルを生成する場合においても、その生成に用いられた素材データのアクセス情報を含めることができるようになる。
以上、第二実施形態によれば、ファイル処理装置５０が、仮想視点映像を生成するための素材データへのアクセス情報を解析し、素材データを取得する。このような方法によれば、ファイルサーバ６０を介さずに素材データを取得できるため、素材データの取得に要する時間の削減や、システム全体の負荷削減などの効果が期待できる。
＜その他の実施形態＞
第一及び第二実施形態では、オブジェクト（前景）の３次元形状データの構成要素（例えばボクセル）と撮影画像の構成要素（例えば画素）との位置の対応関係に基づいて、前景の３次元形状に色づけが行われるケースを想定して説明している。しかしながら、このような色づけ処理は三次元計算を伴うため、処理負荷が高い。したがって、ファイル処理装置５０としての機能をスマートフォンなどの端末によって実現することができない可能性も考えられる。そこで、例えば下記のような方式を用いることにより、スマートフォンなど処理性能が高くない端末においても仮想視点映像の生成ができるようになる。
まず、素材サーバ４０において、あらかじめオブジェクトの３次元形状データの各構成要素の色を決定し、色つきの３次元形状データを生成する。そして、素材サーバ４０は、色つきの３次元形状データを素材データとしてファイル処理装置５０へ提供する。このようにすれば、ファイル処理装置５０の仮想視点映像生成部２０１は３次元形状データに対する色づけ処理を省略することができる。
また、色づけ処理の省略に代えて、又は、色づけ処理の省略に加えて、画像サイズを小さくする、フレームレートを低くするなどの処理負荷の低減方法を採用しても良い。処理端末（ファイル処理装置５０）の性能や負荷状況に合わせて素材データやレンダリング方法が選択されるようにしても良い。
また、仮想視点映像ファイルは、動画のファイルフォーマットに準拠したファイルであっても良いし、静止画のファイルフォーマットに準拠したファイルであっても良いし、イメージシーケンスのファイルフォーマットに準拠したファイルであっても良い。
例えば、静止画データ（仮想視点静止画）とアクセス情報を含む静止画ファイルを生成し、それをファイル処理装置２０に提供されるようにしても良い。この場合、ファイル処理装置２０は、静止画データに基づく静止画を再生する。そして、所定のユーザ操作の入力に応じて、ファイル処理装置２０が素材サーバ１０から素材データを取得し、該静止画とは別のアングルに基づく静止画を生成するようにしても良い。このようにすれば、例えば、ユーザがあるアングルに基づく静止画を再生中に、別のアングルから見たいと考えたときに、アングルを変更した新たな静止画を容易に生成できるようになる。
また、画像サイズの変更や、トリミング、及び、色調整などの画像処理を行うファイル処理装置２０に対して、画像処理の実施前の静止画へのアクセス情報を含む画像ファイルを提供しても良い。このようにすれば、オリジナルの静止画を再処理することが可能となる。また同様に、動画についても、画像サイズの変更や、フレームレートの変更、時間方向のトリミングなどの処理を行う動画処理装置に対して、画像処理の実施前の動画へのアクセス情報を含む画像ファイルを提供するようにしても良い。
また、素材データへのアクセス情報を暗号化しても良い。図１５は、素材データへのアクセス情報を暗号化する暗号化部７００と、素材データへのアクセス情報の暗号化を解除する暗号化解除部８００を含むファイル処理装置７０の例を示している。ファイル処理装置７０は、暗号化部７００で暗号化された素材データへのアクセス情報を含む仮想視点映像ファイルを生成する。また、ファイル処理装置７０は、アクセス情報が暗号化されていることを示すために、アクセス情報フラグの特定のビットを立てる。ここでは、３１ビット目をアクセス情報フラグとして使用するものとする。一方、ファイルサーバ８０は、ファイル処理装置７０から素材データを要求された場合、素材データへのアクセス情報の解析において、アクセス情報フラグを確認し、素材データへのアクセス情報が暗号化されているか確認する。暗号化されていた場合、暗号化解除部８００に素材データへのアクセス情報の暗号化解除を要求し、暗号化が解除された素材データへのアクセス情報を取得し、素材データへアクセスする。これにより素材データへのアクセス情報の秘匿性を高め、不正なアクセスを防止することが可能となる。
また、上述の実施形態では、ファイル処理装置２０が仮想視点映像ファイルを生成する機能と、仮想視点映像ファイルを再生する機能の両方を有している場合の例を中心に説明した。しかしながら、この例に限らない。例えば、仮想視点映像ファイルを生成する機能のみを有する第１ファイル処理装置（ファイル生成装置）と、図１のファイル処理装置２０に対応する第２ファイル処理装置が存在するようにしても良い。
また、上述の実施形態では、ファイル処理装置２０が仮想視点映像生成部２０１とファイル生成部２０４の両方を有している場合の例を中心に説明した。しかしこれに限らない。例えば、ファイル処理装置２０は、仮想視点映像生成装置から仮想視点映像データとアクセス情報を取得し、該仮想視点映像データとアクセス情報とを含む仮想視点映像ファイルを生成するようにしても良い。また、仮想視点映像データとアクセス情報が異なる装置から取得されるようにしても良い。また、素材サーバ１０とファイルサーバ３０が一体であっても良い。このように、図１のシステム構成には種々の変形例が存在することに留意されたい。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０ 素材サーバ
２０ ファイル処理装置
３０ ファイルサーバ
２００ データ受信部
２０４ ファイル生成部
２０６ ファイル出力部

Claims (17)

  1. 仮想視点に対応する仮想視点映像データと、当該仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を取得する取得手段と、
    前記取得手段により取得されたアクセス情報と前記取得手段により取得された仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成手段と、
    前記ファイル生成手段により生成された仮想視点映像ファイルを出力する出力手段と、を有することを特徴とするファイル生成装置。
  2. 仮想視点の位置及び仮想視点からの視線方向に関する仮想視点情報を取得する情報取得手段と、
    前記情報取得手段により取得された仮想視点情報と前記素材データとに基づいて、前記仮想視点映像データを生成する映像生成手段と、を有することを特徴とする請求項１に記載のファイル生成装置。
  3. 前記アクセス情報は、ＩＰアドレス及びＵＲＬのうち少なくとも何れか一方を含むことを特徴とする請求項１又は２に記載のファイル生成装置。
  4. 前記アクセス情報は、前記素材データを格納するファイルのファイル名、及び、前記素材データを識別するための識別情報のうち、少なくとも何れか一方を含むことを特徴とする請求項１乃至３の何れか１項に記載のファイル生成装置。
  5. 前記素材データは、オブジェクトの３次元形状データと、前記オブジェクトのテクスチャデータと、背景画像のテクスチャデータと、複数の撮影装置による撮影画像と、前記複数の撮影装置の位置及び姿勢に関する情報と、のうち、少なくとも何れか１つを含むことを特徴とする請求項１乃至４の何れか１項に記載のファイル生成装置。
  6. 前記仮想視点映像ファイルはメタデータ領域とメディアデータ領域とを含み、
    前記ファイル生成手段は、前記メタデータ領域に前記アクセス情報が記述され、前記メディアデータ領域に前記仮想視点映像データが記述された前記仮想視点映像ファイルを生成することを特徴とする請求項１乃至５の何れか１項に記載のファイル生成装置。
  7. 前記取得手段は、前記素材データを記録する記録装置から前記アクセス情報を取得することを特徴とする請求項１乃至６の何れか１項に記載のファイル生成装置。
  8. 前記ファイル生成手段は、前記仮想視点映像ファイルとして、ＩＳＯ／ＩＥＣ１４４９６－１２に基づくファイルフォーマットに対応するファイルを生成し、
    前記アクセス情報は、ＩＳＯ／ＩＥＣ１４４９６－１２に基づく動画用ファイルフォーマットのムービーボックスに格納される
    ことを特徴とする請求項１乃至７の何れか１項に記載のファイル生成装置。
  9. 前記ファイル生成手段は、前記仮想視点映像ファイルとして、Ｅｘｉｆに基づくファイルフォーマットに対応するファイルを生成し、
    前記アクセス情報は、Ｅｘｉｆに準拠した形式で格納される
    ことを特徴とする請求項１乃至７のうち、何れか１項に記載のファイル生成装置。
  10. 前記アクセス情報を暗号化する暗号化手段を有し、
    前記ファイル生成手段は、前記暗号化手段により暗号化されたアクセス情報を含む仮想視点映像ファイルを生成することを特徴とする請求項１乃至９の何れか１項に記載のファイル生成装置。
  11. 仮想視点に対応する仮想視点映像データと、当該仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を含む仮想視点映像ファイルを取得する取得手段と、
    前記取得手段により取得された仮想視点映像ファイルに含まれる前記アクセス情報を、前記仮想視点映像ファイルから抽出する抽出手段と、
    前記抽出手段により抽出された前記アクセス情報を使用して、前記素材データの取得を要求する要求手段と、
    前記要求手段による要求に基づいて取得された素材データを使用して、前記仮想視点映像ファイルに含まれる仮想視点映像データとは異なる他の仮想視点映像データを出力する出力手段と、を有することを特徴とする処理装置。
  12. 前記他の仮想視点映像データは、前記仮想視点映像ファイルに含まれる仮想視点映像データに対応する仮想視点とは異なる仮想視点に基づいて生成される仮想視点映像データであることを特徴とする請求項１１に記載の処理装置。
  13. 前記仮想視点映像ファイルを提供するファイルサーバと、前記素材データを提供する素材サーバとは、異なることを特徴とする請求項１１又は１２に記載の処理装置。
  14. 前記取得手段により取得された前記仮想視点映像ファイルに含まれる仮想視点映像データを再生する再生手段と、
    前記再生手段により再生される前記仮想視点映像データの再生画面上に表示される所定領域に対するユーザ操作を受け付ける受付手段と、を有し、
    前記要求手段は、前記受付手段による前記ユーザ操作の受け付けに応じて、前記素材データの取得を要求することを特徴とする請求項１１乃至１３の何れか１項に記載の処理装置。
  15. 仮想視点に対応する仮想視点映像データと、当該仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を取得する取得工程と、
    前記取得工程により取得されたアクセス情報と前記取得工程により取得された仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成工程と、
    前記ファイル生成工程により生成された仮想視点映像ファイルを出力する出力工程と、を有することを特徴とするファイル生成方法。
  16. 仮想視点に対応する仮想視点映像データと、当該仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を含む仮想視点映像ファイルを取得する取得工程と、
    前記取得工程により取得された仮想視点映像ファイルに含まれる前記アクセス情報を、前記仮想視点映像ファイルから抽出する抽出工程と、
    前記抽出工程により抽出された前記アクセス情報を使用して、前記素材データの取得を要求する要求工程と、
    前記要求工程による要求に基づいて取得された素材データを使用して、前記仮想視点映像ファイルに含まれる仮想視点映像データとは異なる仮想視点に基づく他の仮想視点映像データを出力する出力工程と、を有することを特徴とする処理方法。
  17. コンピュータを、請求項１乃至１０の何れか１項に記載のファイル生成装置、又は、請求項１１乃至１４の何れか１項に記載の処理装置として動作させるためのプログラム。
JP2018116888A 2018-06-20 2018-06-20 ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム Active JP7218105B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018116888A JP7218105B2 (ja) 2018-06-20 2018-06-20 ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
PCT/JP2019/023224 WO2019244731A1 (ja) 2018-06-20 2019-06-12 ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
US17/122,931 US11431957B2 (en) 2018-06-20 2020-12-15 File generation apparatus, file generation method, processing apparatus, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116888A JP7218105B2 (ja) 2018-06-20 2018-06-20 ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2019220847A JP2019220847A (ja) 2019-12-26
JP2019220847A5 JP2019220847A5 (ja) 2021-07-29
JP7218105B2 true JP7218105B2 (ja) 2023-02-06

Family

ID=68983326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116888A Active JP7218105B2 (ja) 2018-06-20 2018-06-20 ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11431957B2 (ja)
JP (1) JP7218105B2 (ja)
WO (1) WO2019244731A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212591A (ja) 2016-05-25 2017-11-30 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP2018513574A (ja) 2015-02-10 2018-05-24 ノキア テクノロジーズ オサケユイチア 画像シーケンストラックを処理する方法、装置、及びコンピュータプログラムプロダクト

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005200888B2 (en) * 2005-02-28 2009-01-08 Canon Kabushiki Kaisha Visualising camera position in recorded video
JP4737573B2 (ja) * 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
CN103339947B (zh) * 2011-02-03 2014-07-30 富士胶片株式会社 3d视频再现装置、3d显示装置、3d成像装置和3d视频再现方法
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
JP6429829B2 (ja) 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
WO2019012817A1 (ja) * 2017-07-14 2019-01-17 ソニー株式会社 画像処理装置、画像処理装置の画像処理方法、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513574A (ja) 2015-02-10 2018-05-24 ノキア テクノロジーズ オサケユイチア 画像シーケンストラックを処理する方法、装置、及びコンピュータプログラムプロダクト
JP2017212591A (ja) 2016-05-25 2017-11-30 キヤノン株式会社 制御装置、制御方法、及び、プログラム

Also Published As

Publication number Publication date
JP2019220847A (ja) 2019-12-26
WO2019244731A1 (ja) 2019-12-26
US20210105450A1 (en) 2021-04-08
US11431957B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
EP1249002B1 (en) Authenticating metadata and embedding metadata in watermarks of media signals
CN1604080B (zh) 图象文件容器
US20020105529A1 (en) Generation and display of multi-image video streams
JP2009506475A (ja) 統合マルチメディアファイルフォーマット構造と、統合マルチメディアファイルフォーマット構造に基づくマルチメディアサービスシステム及び方法
US20080195924A1 (en) Method and apparatus for encoding multimedia contents and method and system for applying encoded multimedia contents
JP2000069442A (ja) 動画システム
JP2005513831A (ja) 多数の異種装置に配信するためのマルチメディアデータの変換
JP6004283B2 (ja) マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路
US20150035999A1 (en) Method for sharing digital photos securely
CN107851425B (zh) 信息处理设备、信息处理方法和程序
JP2006308952A (ja) 文字情報生成装置及び方法、文字情報表示装置及び方法、デジタル映画上映方法及びシステム、並びに、字幕表示装置
JP4303085B2 (ja) コンテンツ提供サービスシステム
EP1357495A1 (en) Content data encoding system and content registering system
JP7218105B2 (ja) ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
EP3952275A1 (en) File generation device, file generation method, file reproduction device, file reproduction method, and program
JP5782120B2 (ja) コンテンツデータ再生方法、およびサムネイル画像生成方法
US20230006818A1 (en) File processing device and file processing method
JP5350021B2 (ja) ファイル生成装置、ファイル再生装置およびコンピュータプログラム
US8565425B2 (en) Recording medium, method for manufacturing the same and apparatus for reproducing the same
US9219945B1 (en) Embedding content of personal media in a portion of a frame of streaming media indicated by a frame identifier
KR20050116846A (ko) 멀티미디어 컨텐츠와 이에 대응하는 자막 정보를 개인용정보 처리기로 제공하기 위한 방법 및 그 시스템
JP4017436B2 (ja) ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体
KR100960092B1 (ko) 이미지 데이터 등록 방법 및 시스템
JP4373739B2 (ja) デジタルカメラ
US20230104640A1 (en) File processing device, file processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R151 Written notification of patent or utility model registration

Ref document number: 7218105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151