JP6236573B2 - 自由視点映像データ配信システム - Google Patents

自由視点映像データ配信システム Download PDF

Info

Publication number
JP6236573B2
JP6236573B2 JP2017516567A JP2017516567A JP6236573B2 JP 6236573 B2 JP6236573 B2 JP 6236573B2 JP 2017516567 A JP2017516567 A JP 2017516567A JP 2017516567 A JP2017516567 A JP 2017516567A JP 6236573 B2 JP6236573 B2 JP 6236573B2
Authority
JP
Japan
Prior art keywords
viewpoint
user
video data
data
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017516567A
Other languages
English (en)
Other versions
JPWO2016178340A1 (ja
Inventor
彰洋 志村
彰洋 志村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsu Group Inc
Original Assignee
Dentsu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsu Inc filed Critical Dentsu Inc
Publication of JPWO2016178340A1 publication Critical patent/JPWO2016178340A1/ja
Application granted granted Critical
Publication of JP6236573B2 publication Critical patent/JP6236573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

この発明は、自由視点映像データ配信システムに関し、特に、推奨視点の切り換え処理に関する。
複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成及び表示技術について様々な提案がなされている。（例えば、特許文献１〜４、非特許文献１及び非特許文献２）。
これらの方法は、イメージ・ベースド・レンダリングと呼ばれている。具体的には、複数のカメラで撮影した画像から光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。
なお、光線空間を構築するとは、ある面を通過する光線を適当な座標軸にて表して、この座標空間の座標として表現される光線と、この光線により生じる画像の画素値を対応付ける処理をいう。なお、座標空間の総ての座標に対して画素値のデータをあらかじめ用意しておくことは現実的ではないので、通常は、一部の座標についてのみ画素値のデータを用意しており、他は補完することより決定される。
前記自由視点映像を表示する場合に、視点の切り替え処理を、ユーザが効果的におこなうには慣れが必要となる。特許文献５には、かかる自由視点画像生成技術における推奨表示方法として、静的な属性（性別、年齢など）が類似のユーザの操作履歴（視点条件と経過時間）を複数記憶しておき、静的な属性が類似するユーザに、前記複数の操作履歴から決定した平均の操作履歴を、推奨操作履歴として配信することが開示されている（段落００６２〜００６４)。
特開2008-15756号公報 特開2010-244221号公報（US8687000(B2)) 特開2009-037301号公報（US8243122（B2)) 特開2005-215848号公報（US7675540（B2)，US8189036（B2)) 特開2014-41502号公報
Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、"Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ"、ＶＳＭＭ９７、ｐｐ．５９−６２、１９９７年９月 Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、"Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ"、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年
しかしながら、特許文献５に記載の推奨方法では、推奨の操作履歴として選択されるのは、性別、年齢などが類似するユーザである。したがって、必ずしも、提案する視点条件として合致していない場合もある。
この発明は、より適合度の高い推奨自由視点映像を提供する自由視点映像データ配信システムを提供することを目的とする。
この発明の特徴、他の目的、用途、効果等は、実施例および図面を参酌することにより明らかになるであろう。
１）本発明にかかる自由視点映像データ配信システムは、Ａ）下記を備えた配信コンピュータ、視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、ユーザ端末に前記自由視点映像データを配信する配信手段、Ｂ）下記を備えたユーザ端末、前記自由視点映像データを受信する受信手段、視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、前記生成された特定視点動画データを表示手段に表示させる表示制御手段、前記表示手段に表示された特定視点動画データについて、ユーザ端末の操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、前記配信コンピュータに送信する投影画像変更手段、を備え、C）前記配信コンピュータは、さらに、以下を有し、前記投影特性変更データの履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段、前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいて代表ユーザ別操作データを決定する推奨表示条件決定手段、Ｄ）前記配信手段は、推奨表示条件を前記自由視点映像データとともに配信する。
したがって、他のユーザのユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
２）本発明にかかる自由視点映像データ配信システムは、Ａ）下記を備えた配信コンピュータ、視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、視点および視点方向が与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、ユーザ端末に前記特定視点動画データを配信する配信手段、Ｂ）下記を備えたユーザ端末、前記特定視点動画データを受信する受信手段、前記特定視点動画データを表示手段に表示させる表示制御手段、前記表示手段に表示された特定視点動画データについて、ユーザから視点および視点方向の切り替え指示が与えられると、この切り替え指示を前記配信コンピュータに与える投影画像変更手段、を備え、C）前記配信コンピュータは、前記切り替え指示の履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段を有しており、前記投影画像生成手段は、前記切り替え指示にもとづいて、新たな特定視点動画データを生成させ、前記配信手段から配信させ、Ｄ）前記配信コンピュータはさらに、下記を有し、前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいて代表ユーザ別操作データを決定する推奨表示条件決定手段、Ｅ）前記配信手段は、前記推奨表示条件に基づいて、前記特定視点動画データを配信する。
したがって、他のユーザのユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
３）本発明にかかる自由視点映像データ配信システムにおいては、前記視点が変化したタイミングが、再生開始からの相対経過時刻において同じ場合に、前記対象ユーザ別操作データとして決定する。したがって、再生開始からの相対経過時刻において同じタイミングで操作されたユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
４）本発明にかかる自由視点映像データ配信システムにおいては、前記複数のユーザ別操作データから再生開始からの相対経過時刻において、視点および視点方向の組み合わせが少なくとも1つ合致する場合に、前記対象ユーザ別操作データとして決定する。したがって、前記相対経過時刻において、視点および視点方向の組み合わせが少なくとも1つ合致するユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
５）本発明にかかる自由視点映像データ配信システムにおいては、前記複数のユーザ別操作データから再生開始からの相対経過時刻において、同じ相対経過時刻でズーム処理がなされた場合に、前記対象ユーザ別操作データとして決定する。したがって、前記相対経過時刻において、同じ相対経過時刻でズーム処理がなされたユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
６）本発明にかかる自由視点映像データ配信システムにおいては、前記複数のユーザ別操作データから再生開始からの相対経過時刻において、再生速度を変化させるタイミングが合致する場合に、前記対象ユーザ別操作データとして決定する。したがって、前記相対経過時刻において、再生速度を変化させるタイミングが合致するユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
７）本発明にかかる自由視点映像データ配信システムにおいては、前記複数のユーザ別操作データから再生開始からの相対経過時刻において、視点の変更履歴が合致する場合に、前記対象ユーザ別操作データとして決定する。したがって、前記相対経過時刻において、視点の変更履歴が合致するユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
８）本発明にかかる自由視点映像データ配信システムにおいては、前記視点の変更履歴について、さらに視点方向も合致する場合に前記対象ユーザ別操作データとして決定する。したがって、前記相対経過時刻において、さらに視点方向が合致するユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
９）本発明にかかる自由視点映像データ配信システムにおいては、前記代表ユーザ別操作データは、前記複数の対象ユーザ別操作データのうち合致する組み合わせが多いものである。したがって、前記合致する組み合わせが多いユーザ別操作データを用いた推奨表示が可能となる。
１０）本発明にかかる自由視点映像データ配信システムにおいては、前記代表ユーザ別操作データは対象ユーザ別操作データの平均である。したがって、前記ユーザ別操作データの平均を用いた推奨表示が可能となる。
１１）本発明にかかる自由視点映像データ配信システムにおいては、前記代表ユーザ別操作データは前記複数の対象ユーザ別操作データのうち合致する組み合わせが少ないものである。したがって、前記合致する組み合わせが少ない代表ユーザ別操作データを用いた推奨表示が可能となる。
１２）本発明にかかる自由視点映像データ配信システムにおいては、いままで記憶したユーザ別操作データの合計数が所定値を超えたユーザのユーザ別操作データを対象ユーザ別操作データとする。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
１３）本発明にかかる自由視点映像データ配信システムにおいては、特定の動画データに関するユーザ別操作データのユーザ別操作データの合計数が所定値を超えたユーザのユーザ別操作データを対象ユーザ別操作データとする。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
１４）本発明にかかる自由視点映像データ配信システムにおいては、特定の操作を含むユーザ別操作データを対象ユーザ別操作データとする。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
１５）本発明にかかる自由視点映像データ配信システムにおいては、前記特定の操作は、映像領域を入力デバイスにて操作することによる再生停止操作である。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
１６）本発明にかかる自由視点映像データ配信システムにおいては、前記特定の操作は、前記再生停止操作の後、自由視点における回転操作が行われる。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
１７）本発明にかかる自由視点映像データ配信システムにおいては、前記特定の操作は、入力デバイスによる細切れでない操作軌道である。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
１８）本発明にかかる自由視点映像データ配信システムにおいては、前記特定の操作は、ズームインである。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
１９）本発明にかかる自由視点映像データ配信システムにおいては、前記特定の操作は、ズームイン後の操作回数が所定回数ある。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
２０）本発明にかかる自由視点映像データ配信システムにおいては、前記特定の操作は、ズームイン後の総操作時間が所定時間以上である。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
２１）本発明にかかる自由視点映像データ配信システムにおいては、さらに、特定の操作を含むユーザ別操作データを前記対象ユーザ別操作データとする。したがって、自由視点切り替えの操作に慣れたユーザの操作データを用いた推奨表示が可能となる。
２２）本発明にかかる自由視点映像データ配信システムにおいては、自由視点映像データについて操作経験値を記憶する操作経験値記憶手段を有し、前記操作経験値が一定値以上のユーザのユーザ別操作データを前記対象ユーザ別操作データとする。したがって、他のシステムで自由視点の切り替えになれたユーザの操作データを用いた推奨表示が可能となる。
２３）本発明にかかる自由視点映像データ配信装置においては、視点および視点方向が与えられると与えられた視点および視点方向からの特定視点動画データを生成するための自由視点映像データを記憶する記憶手段、ユーザ端末に前記自由視点映像データを配信する配信手段、前記ユーザ端末から特定視点動画データについて、ユーザ端末の操作者から与えられた視点および視点方向の切り替え指示を受け取ると、この切り替え指示の履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段、前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいてそれ以降の配信の時の推奨表示条件として決定する推奨表示条件決定手段、を備え、前記配信手段は、推奨表示条件を前記自由視点映像データとともに配信する。
したがって、他のユーザのユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
２４）本発明にかかる自由視点映像データ配信装置においては、視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、視点および視点方向が与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、ユーザ端末に前記特定視点動画データを配信する配信手段、備え、ユーザ端末から視点および視点方向の切り替え指示を受け取ると、前記投影画像生成手段は、前記切り替え指示にもとづいて、新たな特定視点動画データを生成させ、前記配信手段から配信させる自由視点映像データ配信装置であって、さらに、前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいてそれ以降の配信の時の推奨表示条件として決定する推奨表示条件決定手段、を有し、前記配信手段は、前記推奨表示条件に基づいて、前記特定視点動画データを配信する。
したがって、他のユーザのユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
２５）本発明にかかる特定視点動画データ表示装置は、視聴する視点を変更可能な自由視点映像データを受信する受信手段、視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、前記生成された特定視点動画データを表示手段に表示させる表示制御手段、前記表示手段に表示された特定視点動画データについて、操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、配信コンピュータに送信する投影画像変更手段、を備えている。
したがって、他のユーザのユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
２６）本発明にかかる特定視点動画データ表示プログラムは、コンピュータを下記手段として機能させる。視聴する視点を変更可能な自由視点映像データを受信する受信手段、視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、前記生成された特定視点動画データを表示手段に表示させる表示制御手段、前記表示手段に表示された特定視点動画データについて、操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、配信コンピュータに送信する投影画像変更手段。
したがって、他のユーザのユーザ別操作データに基づいて決定された代表ユーザ別操作データを用いた推奨表示が可能となる。
本明細書において、「合致」とは、完全一致はもちろん、合致条件の幅内で合致する場合も含む。
投影特性変更データとは、視点および視点方向の組み合わせの少なくとも一方が変更される投影開始からの相対経過時間における変更データをいい、本実施形態においては、視点、視点方向、ズームおよび相対経過時間の組み合わせで構成した。なお、ズームは必須ではない。また、再生開始から再生終了まで、１の視点および視点方向で動画再生する場合には、１の視点および視点方向で構成される。また、これ以外の他の投影特性を変更するデータを含んでもよい。
自由視点映像配信システム１の概要を示す図である。 自由視点映像配信システム１の機能ブロック図である。 配信コンピュータ２のハードウェア構成を示す図である。 自由視点動画の一例を示す。 ユーザ別操作データのデータ構造を示す。 ユーザ端末３a〜３nのハードウェア構成を示すである。 自由視点動画配信処理フローチャートである。 投影表示処理のフローチャートである。 ユーザ端末に表示される自由視点映像の一例である。 投影変更割り込み処理のフローチャートである。 ユーザ端末に表示される操作ボタンの一例である。 ユーザ端末に表示される自由視点映像の一例である。 自由視点映像において対象物の回転処理を説明する図である。 投影変更データの送信処理フローチャートである。 対象操作生成処理のフローチャートである。 配信サーバ２に記憶されたユーザ別操作データのデータ構造を示す。 対象ユーザの選択処理フローチャートである。
１・・・・ 自由視点映像配信システム
２３・・・ＣＰＵ
２７・・・メモリ
１２３・・・ＣＰＵ
１２７・・・メモリ
自由視点映像配信システム１の概要
図１に、本発明にかかる自由視点映像配信システム１の構成を示す。自由視点映像配信システム１は、配信コンピュータ２と、複数の端末コンピュータ３a〜３nにて構成される。
配信コンピュータ２は、各ユーザ端末3a〜3n-1に対して、コンテンツIDが特定された自由視点動画データおよび視聴する視点を変更するための投影特性データ（視点および視点方向）を配信する。
各ユーザ端末3a〜3n-1は受信した自由視点動画データおよび投影特性データから、投影動画を生成して表示する。各ユーザが視点および視点方向を変更する切り替え命令を各ユーザ端末に与えると、ユーザ端末3a〜3n-1は、新たな投影動画を生成して表示する。ユーザ端末3a〜3n-1は、この切り替え命令を配信コンピュータ２に送信する。
配信コンピュータ２はこの切り替え命令をユーザID毎、コンテンツID毎に記憶する。
配信コンピュータ２は同じコンテンツIDの自由視点動画データについて、複数の切り替え命令から、推奨する投影特性データを生成する。ユーザ端末3nからそのコンテンツIDについて、新たな配信要求があると、ユーザ端末3nに、自由視点動画データとともに、推奨する投影特性データを配信する。これにより、ユーザ端末3nのユーザが動画の視点切り替えに不慣れであっても、他のユーザが楽しんでいるのと同様の視点からの投影動画を視聴することができる。
機能ブロック図
図２に、自由視点映像配信システム１の機能ブロック図を示す。配信コンピュータ２は、記憶手段４、配信手段５、ユーザ別操作データ受信手段７、ユーザ別操作データ記憶手段６、および推奨表示条件決定手段３を備えている。
記憶手段４は、視聴する視点を変更可能な自由視点映像データを複数記憶する。配信手段５は、自由視点映像データのIDを特定した配信要求があると、特定された自由視点映像データを、配信要求したユーザ端末３a〜３nに配信する。
ユーザ別操作データ受信手段７、ユーザ別操作データ記憶手段６、および奨表示条件決定手段３については後述する。
ユーザ端末３aは、要求手段８、受信手段９、記憶手段１０、投影画像生成手段１１、表示制御手段１２、表示手段１３、および投影画像変更手段１５を備えている。
要求手段８は、配信コンピュータ２に対して自由視点映像データを要求する。受信手段９は配信コンピュータ２から送られてきた自由視点映像データを受信する。記憶手段１０は、受け取った自由視点映像データを記憶する。投影画像生成手段１１は、視点および視点方向が与えられると、記憶された自由視点映像データから前記視点および視点方向からの特定視点動画データを生成する。表示制御手段１２は、前記生成された特定視点動画データを表示手段１３に表示させる。
投影画像変更手段１５は、表示手段１３に表示された特定視点動画データについて、ユーザ端末３a〜３nの操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づいて変更された特定視点動画データを投影画像生成手段１１に与えるとともに前記投影特性変更データの履歴を、配信コンピュータ２に送信する。
配信コンピュータ２のユーザ別操作データ受信手段７は、前記投影特性変更データの履歴をユーザ別操作データとして受信する。ユーザ別操作データ記憶手段６は前記受信したユーザ別操作データを記憶する。推奨表示条件決定手段３は前記複数のユーザ別操作データから特有の傾向を抽出して、それ以降の配信の時の推奨表示条件として決定する。
配信手段５は、あるユーザ端末に対して自由視点映像データを配信する場合に、決定した推奨表示条件を前記自由視点映像データとともに配信する。推奨表示条件および前記自由視点映像データを受けとったユーザ端末は、かかる推奨表示条件を投影画像生成手段１１に与えて、生成された投影画像は、表示制御手段１２により表示手段１３に表示される。
これにより、各自由視点映像データについて、どの観点で投影画像を表示させると面白いかが分からないユーザであっても、自由視点映像データの特性を生かした表示ができる。また、どの観点で投影画像を表示させると面白いかが分かっているユーザでも、自分では想定してなかった視点または視点方向からの表示が可能となる。
なお、ユーザ端末３a以外の他のユーザ端末の機能も同様である。
３．ハードウェア構成
３．１ 配信コンピュータ２のハードウェア構成
配信コンピュータ２のハードウェア構成について、図３を用いて説明する。同図は、配信コンピュータ２を、ＣＰＵを用いて構成したハードウェア構成の一例である。
配信コンピュータ２は、ＣＰＵ２３、メモリ２７、ハードディスク２６、モニタ３０、光学式ドライブ２５、入力デバイス２８、通信ボード３１、およびバスライン２９を備えている。ＣＰＵ２３は、ハードディスク２６に記憶された各プログラムにしたがいバスライン２９を介して、各部を制御する。
ハードディスク２６は、オペレーティングシステムプログラム２６ｏ（以下ＯＳと略す）、メインプログラム２６ｐが記憶される。メインプログラム２６ｐの処理の詳細は後述が、ユーザ端末から動画IDを特定した配信要求を受けると、対応する自由視点動画データを配信する。
自由視点動画データ記憶部２６dには、複数の自由視点動画が記憶されている。各自由視点動画は、動画データID、再生時間、インデックスワードを有する（図示せず）。図４に自由視点動画の一例を示す。この例では、XYZ座標系において、1人のダンサーが移動しながら踊っている自由視点動画である。また、視点P1、視点方向θ１、φ１、ズーム無しでの投影画像とするための初期投影条件が付与されている。本実施形態においては、視点方向として、水平角度θおよび仰角φで特定したが他の特定方法であってもよい。
ユーザ別操作データ記憶部２６uは、図５に示すようなユーザ別操作データをユーザ毎に、動画ID毎に記憶する。例えば、図５Bに示すユーザ別操作データは、経過時刻t0における視点はP1、視点方向はθ１、φ１、ズームは無であり、経過時刻t1における視点はP2、視点方向はθ２、φ２、ズームは無・・・と、再生からの経過時間における視点、視点方向およびズームについての履歴が記憶されている。詳しくは後述する。
本実施形態においては、オペレーティングシステムプログラム（ＯＳ）２６ｏとして、Windows2008R2（登録商標または商標）を採用したが、これに限定されるものではない。
なお、上記各プログラムは、光学式ドライブ２５を介して、プログラムが記憶されたＣＤ−ＲＯＭ２５ａから読み出されてハードディスク２６にインストールされたものである。なお、ＣＤ−ＲＯＭ以外に、フレキシブルディスク（ＦＤ）、ＩＣカード等のプログラムをコンピュータ可読の記録媒体から、ハードディスクにインストールさせるようにしてもよい。さらに、通信回線を用いてダウンロードするようにしてもよい。
本実施形態においては、プログラムをＣＤ−ＲＯＭからハードディスク２６にインストールさせることにより、ＣＤ−ＲＯＭに記憶させたプログラムを間接的にコンピュータに実行させるようにしている。しかし、これに限定されることなく、ＣＤ−ＲＯＭに記憶させたプログラムを光学式ドライブ２５から直接的に実行するようにしてもよい。なお、コンピュータによって、実行可能なプログラムとしては、そのままインストールするだけで直接実行可能なものはもちろん、一旦他の形態等に変換が必要なもの（例えば、データ圧縮されているものを、解凍する等）、さらには、他のモジュール部分と組合して実行可能なものも含む。
３．２ ユーザ端末３のハードウェア構成
ユーザ端末３a〜３nのハードウェア構成を図６に示す。ハードディスク１２６にはブラウザプログラム１２６b、操作処理プログラム１２６pが記憶されている。ＣＰＵ１２３がブラウザプログラム１２６bにより、自由視点映像をモニタ１３０に表示すると、ＣＰＵ１２３は操作処理プログラム１２６pに基づき、ユーザがおこなった所定の操作を投影変更履歴記憶部１２６rに記憶し、配信コンピュータ２に送信する。他の構成は一般的なパソコンなどと同じである。なお、ユーザ端末は、タブレットコンピュータ、スマートフォン、ゲーム機、スマートテレビ、その他の家電製品などであってもよい。
また、操作処理プログラム１２６pは予めハードディスク１２６に記憶するようにしたが、これは必要なプログラムをブラウザプログラムにプラグイン処理で実行させるようにしてもよい。
また、本実施形態においては、ハードディスク１２６に、ブラウザプログラム１２６P、操作処理プログラム１２６p、投影変更履歴記憶部１２６rが記憶されている場合について説明したが、これらの記憶場所については限定されない。
４. フローチャート
（４．１ 自由視点動画配信処理）
つぎに、図７を用いて、自由視点動画配信表示処理について説明する。
以下では、この自由視点動画配信システムを初利用するユーザU10111がＩＤとパスワードで配信サーバ２にログインし、複数の自由視点動画のうちいずれかを選択した以降の処理について説明する。
ユーザ端末３nのＣＰＵ１２３は、ユーザから配信要求命令があるか否か判断しており（ステップＳ２０１）、配信要求命令があれば、配信要求を配信コンピュータに送信する（ステップＳ２０２）。配信コンピュータのＣＰＵ２３(図３参照)は、ユーザ端末３nから自由視点動画IDを特定した配信要求があるか否か判断しており（ステップＳ２０３）、かかる配信要求があると、ユーザ３nのユーザは推奨を送るべきユーザか否かを判断する(ステップＳ２０４)。
ここで、ユーザU10111は、この自由視点動画配信システムを初利用するユーザである。したがって、ＣＰＵ２３は、設定を「推奨」とし（ステップS２０６）、自由視点動画および設定した推奨データを、ユーザ端末３nに配信する（ステップS２０７）。
ここでは、推奨する設定として図５Cに示す推奨データであったものとする。
ユーザ端末３nのＣＰＵ１２３は、自由視点動画を受信するか否か判断しており（ステップＳ２０８）、自由視点動画を受信すると前記設定データを用いて、投影処理を行う（ステップＳ２０９）。
このようにして、自由視点動画IDを複数種類記憶しておき、リスト要求があるとこれをユーザ端末に送信して、ユーザ端末にてリスト表示し、ユーザが選択した特定の自由視点動画を推奨する設定データとともに、ユーザ端末に配信することができる。
なお、ステップS２０４にて、推奨データを送るべきユーザではないと判断した場合には、設定を初期設定とし（ステップS２０５）、ステップS２０７の処理の実行する。本実施形態においては、初期設定として、図５Ａの「視点Ｐ１、視点方向θ１、φ１、ズーム無し」とした。
（４．２ 投影表示処理）
ステップS２０９の投影処理について説明する。ユーザ端末３は、表示画面の再生ボタン（図示せず）が選択されると、配信された自由視点動画データおよび設定データから投影画像を生成して、モニタ１３０に表示する（図８ステップS３０１）。
この場合、図５Cの投影特性データから、二次元投影データが生成される。図５Cに示す推奨データは、時刻t0にて視点P1、視点方向θ１、φ１での投影画像、時刻t2にて視点P2に移動して、視点方向θ２、φ２での投影画像、時刻t3にて視点P3に移動して視点方向θ３、φ３での投影画像、時刻t4にて視点P4に移動して視点方向θ４、φ４にて投影画像、ズーム2倍、時刻t5にて視点P5に移動して視点方向θ５、φ５、ズーム2倍にて投影するというデータである。この場合、対象の自由視点動画が時間の経過とともに、1名のダンサーが位置を変えつつ、踊る動画だとすると、図９に示すように、視点および視点方向が切り替わるような投影動画が表示される。
なお、自由視点動画からの投影画像の生成については周知の座標変換技術を用いればよい。
（４．３ ユーザによる投影変更処理）
ユーザ端末３においては、ユーザが所望の切り替え処理をすることにより、投影画像の変更が可能である。本実施形態においては、「視点」、「視点方向」、および「ズームの有無」を切り替えることにより、投影画像を切り替え表示できるようにした。かかる投影画像の変更について図１１を用いて説明する。
ユーザ端末３には投影動画が表示される表示領域の外に、図１１A〜Dの操作ボタンが表示される。図１１Aの操作ボタンは、自由視点動画が投影される二次元平面については変更せずに、画面の表示領域が移動するモード、具体的には、図９に示すように、ユーザにとっては視点が平行移動するように見えるモード（平行移動モード）である。移動量は、ユーザが入力デバイスにて指定することにより決定される。
図１１Bの操作ボタンは、自由視点動画が投影される二次元平面が移動するとともに変更するモード、すなわちユーザにとっては自由視点空間における特定軸を中心に視点が回転移動するように見えるモードである。移動量は、ユーザが入力デバイスにて指定することにより決定される。例えば、図１２に示すような視点からの投影動画となる。
図１１Ｃの操作ボタンは、画面のズームイン・ズームアウトである。拡大量および縮小量はユーザが入力デバイスにて指定することにより決定される。図１１Ｄの操作ボタンは、図１３のように画面内のオブジェクトを指定して、単体で回転させるモードである。回転軸は任意に設定可能であり、さらに、回転軸自体も回転させることができる。かかる操作は、もともとの動画には存在しない動きをユーザが望む場合である。
自由視点動画の再生中に、各操作ボタンが選択された場合の投影画像の変更について、説明する。以下では、図５Cの投影条件で再生したユーザが、時刻t2で視点は同じでズームを2倍とし、その後、t3で視点P6、時刻t4で視点P７へ切り替えた場合について説明する。
ユーザは、時刻t3にて視点P3に移動して視点方向θ１、φ１にて視点が切り替わった時に、投影変更割り込み処理ボタン(図示せず)を操作する。本実施形態においては、投影変更割り込み処理ボタンとして、マウスの右クリックを割り当てたがどのボタンを割り当てるかは任意である。これより、図１０に示す投影変更割り込み処理が開始する。ＣＰＵ１２３は、再生表示を停止し(図１０ステップS３１１）、前記投影変更割り込み処理ボタンが選択されたタイミングを記憶する（ステップS３１３）。本実施形態においては、選択されたタイミングは動画再生スタートからの経過時間で記憶するようにしたが、フレーム数などであってもよい。
ユーザ端末３の操作者は、図１０Ｃに示すズームボタンを操作するとともに、ズーム量をユーザ端末３に与える。ここで所望の処理は、ズームだけなので、割り込み処理終了命令を与える。本実施形態においては、かかる割り込みモードで再度、マウスの右クリックが操作された場合に、この割り込み処理終了命令が与えられるとしたが、これに限定されない。
ＣＰＵ１２３は、かかる終了命令が与えられるか否か判断しており(ステップS３１５)、かかる命令が与えられると、操作量を記憶する（ステップS３１７）。この場合、具体的には、時刻t2にて、「ズーム２倍」が記憶される。ＣＰＵ１２３は、表示停止を解除し（ステップS３１９）、投影変更割り込み処理を終了する。
これにより動画の再生がされる。つぎに、ユーザは、時刻t3にて、投影変更割り込み処理ボタン(図示せず)を操作する。ユーザは、視点P6、視点方向θ6、φ6、ズーム2倍に投影条件を切り替える。投影変更割り込み処理を終了し、時刻t4にて、同様にして、視点P7、視点方向θ７、φ７、ズーム2倍に投影条件を切り替える。
このようにして、ユーザ端末に、図５Dに示すユーザ別操作データが記憶される。
（４．４ 投影変更データ送信処理）
図１４を用いて、かかる投影変更処理を配信コンピュータに送信する処理について説明する。
ユーザ端末のＣＰＵ１２３は、送信条件に合致するか否か判断しており(ステップＳ４０２)、送信条件に合致すると、配信コンピュータへ送信する(ステップＳ４０３)。本実施形態においては、送信条件として、記憶してからの経過時刻を採用し、ＣＰＵ１２３が所定時刻経過した場合にユーザ端末から配信コンピュータへ送信するようにした。かかる送信条件としては、これらに限定されず、当該自由視点動画の視聴終了後や、特定の操作終了後などを採用してもよい。
また、配信コンピュータから、送信すべき履歴がないかを問い合わせて、これをユーザ端末が判断するようにしてもよい。
配信コンピュータのＣＰＵ２３は、かかる履歴を受け取ったか否か判断しており(ステップＳ４０４)、受信するとこれを、ユーザ別操作データとして記憶する(ステップＳ４０５)。
配信コンピュータのＣＰＵ２３は、設定データ生成処理を行う(ステップS４０６）。
なお、ユーザ別操作データは、配信サーバからの推奨のままであった場合には、送信しないようにしてもよい。
（４．５ 設定データ生成処理）
設定データ生成処理について図１５を用いて説明する。
ＣＰＵ２３は、すべてのログを読み出す(図１５ステップS４３１）。つぎに、動的ユーザ操作属性が合致するログがあるか否か判断する(ステップS４３３）。
動的ユーザ操作属性とは、当該ユーザが過去に行った操作データで特定される属性である。本実施形態においては、1)動的ユーザ操作属性として、視点およびその切り替えタイミングが合致、2)ズームのタイミングが合致、3)複数の視点および視点方向の移動履歴が合致の３つの条件を採用した。しかし、これに限定されず、他の操作データ属性、例えば再生速度変更のボタンをさらに追加し、そのタイミングが合致するかを判断するようにしてもよい。
例えば、図１６に示すように、ある自由視点動画データについて、ID0001〜0006のユーザ別操作データがあった場合、ユーザ別操作データID0001、ID0002、ID0003、ID0004、ID0006は、経過時間t1、t2における視点が合致するので、条件1)が合致する。
ＣＰＵ２３は、動的ユーザ操作属性が合致したユーザ別操作データのグループ化をおこなう（図１５ステップS４３５）。ここでは、グループG1としてグループ化されたものとする。
このように、グループ化とは、蓄積した複数のユーザ別操作データから共通の特性を有するユーザ別操作データを抽出してグループ化することをいう。
ＣＰＵ２３は、かかるグループ化したユーザ別操作データから代表を決定する(ステップS４３７）。本実施形態においては、代表は合致する共通点について、分布数が多いものとした。かかる演算は、様々な演算手法が可能であるが、本実施形態においては、経過時間、視点座標、視点方向の値、ズームをn次元のベクトルとし、かかるn次元ベクトルの類似性を求めて、一番多いユーザ別操作データを選択するようにした。たとえば、グループG1であれば、ID0004、ID0006が同じであるので、これがグループG1の代表となる。
なお、ベクトルの類似性演算手法は、ベクトル間の距離の総和を求めればよい。さらに重み付けをしてもよい。
なお、かかる代表は合致する共通点についての平均や、逆に分布数が少ないものとしてもよい。分布数の少ないものとすることにより、変わった視点からの推奨が可能となる。
ＣＰＵ２３は、すべてについて検討済みか否か判断し（図１５ステップS４３９）
以下、同様にして、ユーザ別操作データID0003、ID0005は、経過時間t3、t4におけるズームのタイミングが合致するので、条件2)が合致するので、グループG2として、代表を決定する。ユーザ別操作データID0003、ID0004は、経過時間t1〜t4における視点および視点方向が合致するので、条件3)が合致するグループG3として代表を決定する。
ユーザ別操作データID0001、ID0002は、経過時間t1、t2における視点および視点方向が合致するので、条件3)が合致するグループG4として代表を決定する。
また、ユーザ別操作データID0002〜ID0005は、経過時間t3、t4における視点および視点方向が合致するので、条件3)が合致するグループG5として代表を決定する。
なお、タイミングが合致するとは、完全合致でなくても、多少の違いについては、合致すると判断するようにしてもよい。例えば、タイミングの幅として０．２秒などである。かかる幅は、固定の時間でもよく、また、自由視点動画データの再生時間の何％と決めるようにしてもよい。
また、すべてのタイミングにおいて合致していなくても、一部について合致する場合、例えば、１の経過時間tnにおいて視点が合致する場合であってもよい。
視点の座標、θおよびφについても同様である。この場合も、自由視点動画データの種類にかかわらず、幅は一律でもよいし、自由視点動画データによって変動させてもよい。このように自由視点動画データによって変動させることにより、自由視点動画データにおける座標範囲が広い場合（サッカー中継等)のように広い場合もあれば、チェス対戦のように自由視点動画データにおける座標範囲が狭い場合もあるからである。
また、視点と視点方向は双方が合致する場合でもよいし、いずれか一方だけ、すなわち、視点または視点方向だけ合致するかで判断してもよい。
本実施形態においては、グループ化として、動的ユーザ操作属性を採用したが、静的ユーザ属性をさらに加えてもよい。静的ユーザ属性とは、ユーザの静的な属性、例えば、年齢、性別、興味がある事項などである。
このように、年齢などの静的属性が似ているユーザ群、視聴によって変化する動的な視聴傾向属性が似ているユーザ群、過去に視聴したコンテンツの属性（例えば、サッカーの試合を好んで観るなど）を採用することにより、傾向が似ているユーザ間の操作履歴を推奨として配信することができる。
例えば、特定の野球チームが好きなユーザは、同じ属性を有するユーザ群の行動履歴を参照すればよい。
さらに、これらを切り換える際に、時間帯をパラメータとして検出するようにしてもよい。例えば、ある時間帯になると、ある自由視点動画がある視点および視点方向で表示切り換えされる傾向にある場合には、その時間帯になると上記切り換えを行うようにしてもよい。
上記実施形態では、１のユーザ別操作データが、複数のグループに属することもある。ただし、かかる複数グループへの所属は任意であり、１のグループだけに所属するようにしてもよい。
なお、上記例では、他のユーザの視聴行動を参照にして別のユーザの画面配置を変更するようにしたが、自分自身の視聴操作履歴を参照にして、当該ユーザの画面配置を変更するようにしてもよい。たとえば、サッカーの試合の自由視点動画において、ゴール地点の動画を操作して表示を切り換える頻度をパラメータとして記憶しておき、前記頻度が高いユーザは、サッカーの試合では、そのような画面配置で配信してもよい。この場合、個別の視点に、属性タグを付与しておき、それを参照するようにすればよい。
このように、特定のユーザのユーザ端末における二次元投影データを第三者または自分自身のユーザ別操作データから動的に変更することができる。
このように、ユーザの視聴行動に基づいて、ユーザ端末にて興味深い自由視点動画配信の画面配置を提案することができる。
（４．６ 選別処理）
上記実施形態においては、すべてのユーザについて、共通点にてグループ化するようにしたが、中には操作がなれておらず、たまたまそのような操作が合致する場合もある。このようなゴミデータは可能な限り排除することが好ましい。
この場合、図１７に示すような対象ユーザを選択する処理を配信サーバで行うことにより、上記ゴミデータを排除することができる。
ＣＰＵ２３は、当該ユーザについて記憶されている総ログ数が閾値よりも多いか否か判断する(ステップS５０１)。本実施形態においては、３０未満を閾値としたが、これについては任意である。
総ログ数が閾値よりも多い場合には、ＣＰＵ２３は、当該ユーザの個別操作履歴をグループ化の対象とする（ステップS５０７）。これは、一定数以上の履歴が記憶されているということは、操作に慣れていると判断できるからである。
ＣＰＵ２３は、ステップS５０１で総ログ数が閾値よりも多くないと判断した場合、慣れ特徴操作を含んでいるか否か判断する（ステップS５０３）。慣れ特徴操作とは、当該操作していると自由視点動画の切り替えに慣れていると判断できる操作であり、本実施形態においては、「動画領域を選択することによる再生停止、さらに、その後の回転操作回数または総回転操作時間が閾値を超えていること」「操作軌道が細切れでないこと」「ズームイン後の操作回数または総操作時間が閾値を超えていること」を採用した。
このような慣れ特徴操作を個別操作履歴に含んでいる場合には、グループ化の対象とし（ステップS５０７）、そうでなければグループ化の対象としない（ステップS５０５）。
なお、かかる慣れ特徴操作は、本システム以外の操作履歴を参照することも可能である。たとえば、３次元CGの操作履歴などをデータベースに記憶しておけばよい。
また、本実施形態においては、ステップS５０１とステップS５０３のいずれかが該当すると、対象とするようにしたが、双方合致した場合に対象とするようにしてもよい。
なお、前記特定の操作は、「動画領域を選択することによる再生停止」「ズームイン」だけであってもよい。
５. 第２実施形態
上記実施形態においては、ユーザ端末にて自由視点動画を生成するようにしたが、配信装置に視点切り替えデータを与えて、配信装置にて自由視点動画を生成して、ユーザ端末に送信するようにしてもよい。この場合、自由視点動画配信システムは下記のような構成となる。
Ａ）下記を備えた配信コンピュータ、
視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、
視点および視点方向が与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
ユーザ端末に前記特定視点動画データを配信する配信手段、
Ｂ）下記を備えたユーザ端末、
前記特定視点動画データを受信する受信手段、
前記特定視点動画データを表示手段に表示させる表示制御手段、
前記表示手段に表示された特定視点動画データについて、ユーザから視点および視点方向の切り替え指示が与えられると、この切り替え指示を前記配信コンピュータに与える投影画像変更手段、
を備え、
C）前記配信コンピュータは、前記切り替え指示の履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段を有しており、前記投影画像生成手段は、前記切り替え指示にもとづいて、新たな特定視点動画データを生成させ、前記配信手段から配信させ、
Ｄ）前記配信コンピュータはさらに、下記を有し、
前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、
前記複数のユーザ別操作データから特有の傾向があるユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいて代表ユーザ別操作データを決定する推奨表示条件決定手段、
Ｅ）前記配信手段は、前記推奨表示条件に基づいて、前記特定視点動画データを配信すること、
を特徴とすると自由視点映像データ配信システム。
６.その他の実施形態
本実施形態においては、ズーム処理は必須ではない。
また、本実施形態においては、経過時刻tnにおいて、順次、視点および視点方向が変更する場合について説明したが、切り替え後は、動画再生開始からその視点および視点方向で再生してもよい。これは最初からこの条件で投影画像を生成するのかを確認し、ユーザは途中から視点を切り替えるのか、それとも最初から切り替えるのかを選択できるようにすればよい。これにより、視聴の途中で視点および視点方向を変更しなくてもよい。
また、本実施形態においては、視点座標および視点方向θ、φを記憶するようにしたが、かかるデータとしては、要はどこからどの方向の投影画像かを特定できればよく、直接または間接に特定できる形式であればどのような形式であってもよい。
また、本実施形態においては、１つの推奨視点を供給するようにしたが、１の自由視点動画について、複数の視点からの動画を画面上に表示して、ユーザ端末にてユーザが構成する個別動画の組み合わせを変えられるようにしてもよい。かかる履歴を記憶することにより、自由視点動画の構成をも切り換えることができる。
上記実施形態においては、ユーザ端末の処理は、ブラウザプログラムで実行させたが、専用ハードウェアまたはソフトウェアを搭載させることも可能である。
また、ユーザ端末はパソコンではなく、携帯端末などであってもよい。
上記実施形態においては、図１に示す機能を実現するために、ＣＰＵを用い、ソフトウェアによってこれを実現している。しかし、その一部若しくはすべてを、ロジック回路等のハードウェアによって実現してもよい。
なお、上記プログラムの一部の処理をオペレーティングシステム（ＯＳ）にさせるようにしてもよい。
また、パラメータを数値化して、n次元ベクトルの類似性を演算するようにしたが、画像の変化を記憶しておき、同相対時刻における静止画像の類似性から判断するようにしてもよい。その際、全体ではなく、特定対象物のみに注目してもよい。例えば、サッカーなどでは、移動するボール、選手などである。
なお、本実施形態においては、自由視点画像についてイメージ・ベースド・レンダリングを採用した場合について説明したが、これ以外のデータ構成で、自由視点画像を生成する技術についても同様に適用することができる。例えば、特開2014-056466号公報（US2014071131(A1))に開示されている技術などを採用してもよい。
上記においては、本発明を好ましい実施形態として説明したが、各用語は、限定のために用いたのではなく、説明のために用いたものであって、本発明の範囲および精神を逸脱することなく、添付のクレームの範囲において、変更することができる。

Claims (26)

  1. Ａ）下記を備えた配信コンピュータ、
    視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、
    ユーザ端末に前記自由視点映像データを配信する配信手段、
    Ｂ）下記を備えたユーザ端末、
    前記自由視点映像データを受信する受信手段、
    視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
    前記生成された特定視点動画データを表示手段に表示させる表示制御手段、
    前記表示手段に表示された特定視点動画データについて、ユーザ端末の操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、前記配信コンピュータに送信する投影画像変更手段、
    を備え、
    C）前記配信コンピュータは、さらに、以下を有し、
    前記投影特性変更データの履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段、
    前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、
    前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいて代表ユーザ別操作データを決定する推奨表示条件決定手段、
    Ｄ）前記配信手段は、推奨表示条件を前記自由視点映像データとともに配信すること、
    を特徴とする自由視点映像データ配信システム。
  2. Ａ）下記を備えた配信コンピュータ、
    視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、
    視点および視点方向が与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
    ユーザ端末に前記特定視点動画データを配信する配信手段、
    Ｂ）下記を備えたユーザ端末、
    前記特定視点動画データを受信する受信手段、
    前記特定視点動画データを表示手段に表示させる表示制御手段、
    前記表示手段に表示された特定視点動画データについて、ユーザから視点および視点方向の切り替え指示が与えられると、この切り替え指示を前記配信コンピュータに与える投影画像変更手段、
    を備え、
    C）前記配信コンピュータは、前記切り替え指示の履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段を有しており、前記投影画像生成手段は、前記切り替え指示にもとづいて、新たな特定視点動画データを生成させ、前記配信手段から配信させ、
    Ｄ）前記配信コンピュータはさらに、下記を有し、
    前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、
    前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいて代表ユーザ別操作データを決定する推奨表示条件決定手段、
    Ｅ）前記配信手段は、前記推奨表示条件に基づいて、前記特定視点動画データを配信すること、
    を特徴とする自由視点映像データ配信システム。
  3. 請求項１または請求項２の自由視点映像データ配信システムにおいて、
    前記視点が変化したタイミングが、再生開始からの相対経過時刻において同じ場合に、前記対象ユーザ別操作データとして決定すること、
    を特徴とする自由視点映像データ配信システム。
  4. 請求項１または請求項２の自由視点映像データ配信システムにおいて、
    前記複数のユーザ別操作データから再生開始からの相対経過時刻において、視点および視点方向の組み合わせが少なくとも1つ合致する場合に、前記対象ユーザ別操作データとして決定すること、
    を特徴とする自由視点映像データ配信システム。
  5. 請求項１または請求項２の自由視点映像データ配信システムにおいて、
    前記複数のユーザ別操作データから再生開始からの相対経過時刻において、同じ相対経過時刻でズーム処理がなされた場合に、前記対象ユーザ別操作データとして決定すること、
    を特徴とする自由視点映像データ配信システム。
  6. 請求項１または請求項２の自由視点映像データ配信システムにおいて、
    前記複数のユーザ別操作データから再生開始からの相対経過時刻において、再生速度を変化させるタイミングが合致する場合に、前記対象ユーザ別操作データとして決定すること、
    を特徴とする自由視点映像データ配信システム。
  7. 請求項１または請求項２の自由視点映像データ配信システムにおいて、
    前記複数のユーザ別操作データから再生開始からの相対経過時刻において、視点の変更履歴が合致する場合に、前記対象ユーザ別操作データとして決定すること、
    を特徴とする自由視点映像データ配信システム。
  8. 請求項７の自由視点映像データ配信システムにおいて、
    前記視点の変更履歴について、さらに視点方向も合致する場合に前記対象ユーザ別操作データとして決定すること、
    を特徴とする自由視点映像データ配信システム。
  9. 請求項１〜請求項８のいずれかの自由視点映像データ配信システムにおいて、
    前記代表ユーザ別操作データは、前記複数の対象ユーザ別操作データのうち合致する組み合わせが多いものであること、
    を特徴とする自由視点映像データ配信システム。
  10. 請求項１〜請求項８のいずれかの自由視点映像データ配信システムにおいて、
    前記代表ユーザ別操作データは対象ユーザ別操作データの平均であること、
    を特徴とする自由視点映像データ配信システム。
  11. 請求項１〜請求項８のいずれかの自由視点映像データ配信システムにおいて、
    前記代表ユーザ別操作データは前記複数の対象ユーザ別操作データのうち合致する組み合わせが少ないものであること、
    を特徴とする自由視点映像データ配信システム。
  12. 請求項１〜１１のいずれかの自由視点映像データ配信システムにおいて、
    いままで記憶したユーザ別操作データの合計数が所定値を超えたユーザのユーザ別操作データを対象ユーザ別操作データとすること、
    を特徴とする自由視点映像データ配信システム。
  13. 請求項１〜１１のいずれかの自由視点映像データ配信システムにおいて、
    特定の動画データに関するユーザ別操作データの合計数が所定値を超えたユーザのユーザ別操作データを対象ユーザ別操作データとすること、
    を特徴とする自由視点映像データ配信システム。
  14. 請求項１〜１１のいずれかの自由視点映像データ配信システムにおいて、
    特定の操作を含むユーザ別操作データを対象ユーザ別操作データとすること、
    を特徴とする自由視点映像データ配信システム。
  15. 請求項１４の自由視点映像データ配信システムにおいて、
    前記特定の操作は、映像領域を入力デバイスにて操作することによる再生停止操作であること、
    を特徴とする自由視点映像データ配信システム。
  16. 請求項１５の自由視点映像データ配信システムにおいて、
    前記特定の操作は、前記再生停止操作の後、自由視点における回転操作が行われること、
    を特徴とする自由視点映像データ配信システム。
  17. 請求項１４の自由視点映像データ配信システムにおいて、
    前記特定の操作は、入力デバイスによる細切れでない操作軌道であること、
    を特徴とする自由視点映像データ配信システム。
  18. 請求項１４の自由視点映像データ配信システムにおいて、
    前記特定の操作は、ズームインであること、
    を特徴とする自由視点映像データ配信システム。
  19. 請求項１８の自由視点映像データ配信システムにおいて、
    前記特定の操作は、ズームイン後の操作回数が所定回数あること、
    を特徴とする自由視点映像データ配信システム。
  20. 請求項１８の自由視点映像データ配信システムにおいて、
    前記特定の操作は、ズームイン後の総操作時間が所定時間以上であること、
    を特徴とする自由視点映像データ配信システム。
  21. 請求項１２または請求項１３の自由視点映像データ配信システムにおいて、
    特定の操作を含むユーザ別操作データを前記対象ユーザ別操作データとすること、
    を特徴とする自由視点映像データ配信システム。
  22. 請求項１２、１３，１４のいずれかの自由視点映像データ配信システムにおいて、
    自由視点映像データについて操作経験値を記憶する操作経験値記憶手段を有し、
    前記操作経験値が一定値以上のユーザのユーザ別操作データを前記対象ユーザ別操作データとすること、
    を特徴とする自由視点映像データ配信システム。
  23. 視点および視点方向が与えられると与えられた視点および視点方向からの特定視点動画データを生成するための自由視点映像データを記憶する記憶手段、
    ユーザ端末に前記自由視点映像データを配信する配信手段、
    前記ユーザ端末から特定視点動画データについて、ユーザ端末の操作者から与えられた視点および視点方向の切り替え指示を受け取ると、この切り替え指示の履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段、
    前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、
    前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいてそれ以降の配信の時の推奨表示条件として決定する推奨表示条件決定手段、
    を備え、
    前記配信手段は、推奨表示条件を前記自由視点映像データとともに配信すること、
    を特徴とする自由視点映像データ配信装置。
  24. 視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、
    視点および視点方向が与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
    ユーザ端末に前記特定視点動画データを配信する配信手段、
    を備え、
    ユーザ端末から視点および視点方向の切り替え指示を受け取ると、前記投影画像生成手段は、前記切り替え指示にもとづいて、新たな特定視点動画データを生成させ、前記配信手段から配信させる自由視点映像データ配信装置であって、
    さらに、
    前記視点および視点方向の切り替え指示をユーザ別操作データとして記憶するユーザ別操作データ記憶手段、
    前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいてそれ以降の配信の時の推奨表示条件として決定する推奨表示条件決定手段、を有し、
    前記配信手段は、前記推奨表示条件に基づいて、前記特定視点動画データを配信すること、
    を特徴とする自由視点映像データ配信装置。
  25. 視聴する視点を変更可能な自由視点映像データを受信する受信手段、
    視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
    前記生成された特定視点動画データを表示手段に表示させる表示制御手段、
    前記表示手段に表示された特定視点動画データについて、操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、配信コンピュータに送信する投影画像変更手段、
    を備えたことを特徴とする特定視点動画データ表示装置。
  26. コンピュータを下記手段として機能させる特定視点動画データ表示プログラム。
    視聴する視点を変更可能な自由視点映像データを受信する受信手段、
    視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
    前記生成された特定視点動画データを表示手段に表示させる表示制御手段、
    前記表示手段に表示された特定視点動画データについて、操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、配信コンピュータに送信する投影画像変更手段。
JP2017516567A 2015-05-01 2016-03-22 自由視点映像データ配信システム Active JP6236573B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015094365 2015-05-01
JP2015094365 2015-05-01
PCT/JP2016/058913 WO2016178340A1 (ja) 2015-05-01 2016-03-22 自由視点映像データ配信システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017208815A Division JP2018085722A (ja) 2015-05-01 2017-10-30 自由視点映像データ配信システム

Publications (2)

Publication Number Publication Date
JPWO2016178340A1 JPWO2016178340A1 (ja) 2017-08-10
JP6236573B2 true JP6236573B2 (ja) 2017-11-22

Family

ID=57218635

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017516567A Active JP6236573B2 (ja) 2015-05-01 2016-03-22 自由視点映像データ配信システム
JP2017208815A Pending JP2018085722A (ja) 2015-05-01 2017-10-30 自由視点映像データ配信システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017208815A Pending JP2018085722A (ja) 2015-05-01 2017-10-30 自由視点映像データ配信システム

Country Status (4)

Country Link
US (1) US10462497B2 (ja)
EP (1) EP3291563A4 (ja)
JP (2) JP6236573B2 (ja)
WO (1) WO2016178340A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180092163A (ko) * 2017-02-08 2018-08-17 삼성전자주식회사 비디오 재생을 위한 전자 장치 및 서버
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP2018182428A (ja) * 2017-04-06 2018-11-15 株式会社フューチャリズムワークス 映像配信装置、映像配信システム及び映像配信方法
JP6889371B2 (ja) * 2017-09-21 2021-06-18 株式会社ミクシィ 動画情報処理装置並びにその制御方法及び制御プログラム
JP7146472B2 (ja) 2018-06-18 2022-10-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7254464B2 (ja) 2018-08-28 2023-04-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
CN110225191A (zh) * 2019-05-24 2019-09-10 深圳传音控股股份有限公司 主题模式的实现方法
JPWO2022070598A1 (ja) * 2020-09-29 2022-04-07

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60216693T2 (de) 2001-09-07 2007-10-25 Matsushita Electric Industrial Co., Ltd., Kadoma Gerät zum Verteilen von Video und Gerät zum Empfangen von Video
JP4185333B2 (ja) * 2001-09-07 2008-11-26 松下電器産業株式会社 映像配信装置および映像受信装置
US7675540B2 (en) 2003-08-19 2010-03-09 Kddi Corporation Concealed regions complementing system of free viewpoint video images
JP4208142B2 (ja) 2004-01-28 2009-01-14 Ｋｄｄｉ株式会社 自由視点画像の隠蔽領域補完方式
US7221366B2 (en) * 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
US20070240183A1 (en) * 2006-04-05 2007-10-11 International Business Machines Corporation Methods, systems, and computer program products for facilitating interactive programming services
JP4803594B2 (ja) 2006-07-05 2011-10-26 Ｋｄｄｉ株式会社 局所領域分割による自由視点画像の生成装置およびプログラム
JP5029062B2 (ja) * 2007-02-26 2012-09-19 富士通株式会社 多視点動画像伝送システム
JP4947593B2 (ja) 2007-07-31 2012-06-06 Ｋｄｄｉ株式会社 局所領域分割による自由視点画像の生成装置およびプログラム
JP2009177431A (ja) 2008-01-23 2009-08-06 Dainippon Printing Co Ltd 動画像再生システム、サーバ装置、端末装置及び動画像生成方法等
JP5249114B2 (ja) 2009-04-03 2013-07-31 Ｋｄｄｉ株式会社 画像生成装置、方法及びプログラム
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
SG188630A1 (en) 2010-09-24 2013-04-30 Gnzo Inc Video bit stream transmission system
EP2791909A4 (en) * 2011-12-16 2015-06-24 Thomson Licensing METHOD AND DEVICE FOR PRODUCING 3D CONTENTS WITH FREE VIEWPOINT
JP5593356B2 (ja) * 2012-08-22 2014-09-24 ヤフー株式会社 広告配信装置、広告配信方法および広告配信プログラム
JP5600148B2 (ja) 2012-08-23 2014-10-01 ヤフー株式会社 映像配信装置、映像配信方法及び映像配信プログラム
JP6021541B2 (ja) 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
JP6015493B2 (ja) * 2013-02-27 2016-10-26 ブラザー工業株式会社 端末装置、及びプログラム
JP5942933B2 (ja) 2013-07-04 2016-06-29 ブラザー工業株式会社 端末装置、及びプログラム
JP5683756B1 (ja) 2013-10-01 2015-03-11 株式会社電通 多視点動画配置システム
WO2015049810A1 (ja) 2013-10-01 2015-04-09 株式会社電通 多視点動画配置システム

Also Published As

Publication number Publication date
EP3291563A1 (en) 2018-03-07
JP2018085722A (ja) 2018-05-31
EP3291563A4 (en) 2018-12-05
US10462497B2 (en) 2019-10-29
US20180146218A1 (en) 2018-05-24
JPWO2016178340A1 (ja) 2017-08-10
WO2016178340A1 (ja) 2016-11-10

Similar Documents

Publication Publication Date Title
JP6236573B2 (ja) 自由視点映像データ配信システム
JP6277329B2 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
CN109416931B (zh) 用于视线跟踪的装置和方法
EP3760287B1 (en) Method and device for generating video frames
US10284753B1 (en) Virtual reality media content generation in multi-layer structure based on depth of field
US8964008B2 (en) Volumetric video presentation
JP4425274B2 (ja) トラッキングされている頭部の動作に従って表示中のシーンのビューを調整する方法及び装置
US11904246B2 (en) Methods and systems for facilitating intra-game communications in a video game environment
US20210213362A1 (en) Automated player sponsorship system
US20230056898A1 (en) Systems and methods for creating a non-curated viewing perspective in a video game platform based on a curated viewing perspective
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US10751611B2 (en) Using a game controller as a mouse or gamepad
US11579752B1 (en) Augmented reality placement for user feedback
US11418857B2 (en) Method for controlling VR video playing and related apparatus
KR102138977B1 (ko) 클라우드 컴퓨터를 이용한 게임 플레이 동영상 제공 시스템
US20200014901A1 (en) Information processing apparatus, control method therefor and computer-readable medium
KR102266311B1 (ko) 동영상 서비스 제공 방법 및 장치
JP7335536B2 (ja) コンピュータプログラム、情報処理装置及び情報処理方法
JP7332919B2 (ja) コンピュータプログラム、情報処理装置及び情報処理方法
JP7075073B2 (ja) インタラクティブオブジェクトを仮想現実環境に追加する方法及び装置
US20220270368A1 (en) Interactive video system for sports media
US20240007713A1 (en) Provision of media content
KR20170060889A (ko) 사용자 객체 및 비사용자 객체를 제어하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170523

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171030

R150 Certificate of patent or registration of utility model

Ref document number: 6236573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250