JP7408506B2 - コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム - Google Patents

コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム Download PDF

Info

Publication number
JP7408506B2
JP7408506B2 JP2020138014A JP2020138014A JP7408506B2 JP 7408506 B2 JP7408506 B2 JP 7408506B2 JP 2020138014 A JP2020138014 A JP 2020138014A JP 2020138014 A JP2020138014 A JP 2020138014A JP 7408506 B2 JP7408506 B2 JP 7408506B2
Authority
JP
Japan
Prior art keywords
content
cue
data
processor
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020138014A
Other languages
English (en)
Other versions
JP2021106378A5 (ja
JP2021106378A (ja
Inventor
量生 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2020138014A priority Critical patent/JP7408506B2/ja
Publication of JP2021106378A publication Critical patent/JP2021106378A/ja
Publication of JP2021106378A5 publication Critical patent/JP2021106378A5/ja
Application granted granted Critical
Publication of JP7408506B2 publication Critical patent/JP7408506B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示の一側面はコンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラムに関する。
コンテンツ内での頭出しを制御する技術が知られている。例えば、特許文献1には、記録したHMD映像を再生する際に、仮想物体の操作情報を時間軸に沿って可視化することにより、所定の条件を満たすHMD映像を容易に頭出しする方法が記載されている。
特開2005-267033号公報
仮想空間を表現するコンテンツの頭出しを容易にするための仕組みが望まれている。
本開示の一側面に係るコンテンツ配信システムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサのうちの少なくとも一つは、仮想空間を表現する既存のコンテンツのコンテンツデータを取得する。少なくとも一つのプロセッサのうちの少なくとも一つは、コンテンツデータを解析することで、コンテンツ内の少なくとも一つのシーンを、コンテンツにおける頭出しの少なくとも一つの候補位置として動的に設定する。少なくとも一つのプロセッサのうちの少なくとも一つは、少なくとも一つの候補位置のうちの一つを頭出し位置として設定する。
このような側面においては、仮想空間内の特定のシーンが頭出しの候補位置として動的に設定され、その候補位置から頭出し位置が設定される。特許文献1には記載されていないこのような処理によって、視聴者はコンテンツの頭出しを簡単に行うことができる。
本開示の一側面によれば、仮想空間を表現するコンテンツの頭出しを容易にすることができる。
実施形態に係るコンテンツ配信システムの適用の一例を示す図である。 実施形態に係るコンテンツ配信システムに関連するハードウェア構成の一例を示す図である。 実施形態に係るコンテンツ配信システムに関連する機能構成の一例を示す図である。 実施形態におけるコンテンツの頭出しの一例を示すシーケンス図である。 頭出しの候補位置の表示の一例を示す図である。 コンテンツの変更の一例を示すシーケンス図である。 コンテンツの変更の一例を示す図である。 コンテンツの変更の別の例を示す図である。
以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
[システムの概要]
実施形態に係るコンテンツ配信システムは、ユーザに向けてコンテンツを配信するコンピュータシステムである。コンテンツとは、コンピュータまたはコンピュータシステムによって提供され、人が認識可能な情報のことをいう。コンテンツを示す電子データのことをコンテンツデータという。コンテンツの表現形式は限定されず、例えば、コンテンツは画像(例えば、写真、映像など)、文書、音声、音楽、またはこれらの中の任意の2以上の要素の組合せによって表現されてもよい。コンテンツは様々な態様の情報伝達またはコミュニケーションのために用いることができ、例えば、エンターテインメント、ニュース、教育、医療、ゲーム、チャット、商取引、講演、セミナー、研修などの様々な場面または目的で利用され得る。配信とは、通信ネットワークまたは放送ネットワークを経由して情報をユーザに向けて送信する処理のことをいう。本開示では、配信は放送を含み得る概念である。
コンテンツ配信システムはコンテンツデータを視聴者端末に送信することで、コンテンツを視聴者に提供する。一例では、そのコンテンツは配信者から提供される。配信者とは視聴者に情報を伝えようとする人であり、すなわち、コンテンツの発信者である。視聴者とはその情報を得ようとする人であり、すなわち、コンテンツの利用者である。
本実施形態ではコンテンツは少なくとも画像を用いて表現される。コンテンツを示す画像を「コンテンツ画像」という。コンテンツ画像とは、人が視覚を通して何らかの情報を認識することができる像のことをいう。コンテンツ画像は動画像(映像)でもよいし静止画でもよい。コンテンツデータはコンテンツ画像を含み得る。
一例では、コンテンツ画像は仮想オブジェクトが存在する仮想空間を表現する。仮想オブジェクトとは、現実世界には実際に存在せず、コンピュータシステム上でのみ表現される物体のことをいう。仮想オブジェクトは、実写画像とは独立した画像素材を用いて、2次元または3次元のコンピュータグラフィック(CG)によって表現される。仮想オブジェクトの表現方法は限定されない。例えば、仮想オブジェクトはアニメーション素材を用いて表現されてもよいし、実写画像に基づいて本物に近いように表現されてもよい。仮想空間とは、コンピュータ上に表示される画像によって表現される仮想の2次元または3次元の空間のことをいう。見方を変えると、コンテンツ画像は、仮想空間内に設定された仮想カメラから見える風景を示す画像であるといえる。仮想カメラは、コンテンツ画像を見るユーザの視線に対応するように仮想空間内に設定される。コンテンツ画像または仮想空間は、現実世界に実際に存在する物体である現実オブジェクトをさらに含んでもよい。
仮想オブジェクトの一例として、ユーザの分身であるアバターがある。アバターは、撮影された人そのものではなく、原画像とは独立した画像素材を用いて、2次元または3次元のコンピュータグラフィック(CG)によって表現される。アバターの表現方法は限定されない。例えば、アバターはアニメーション素材を用いて表現されてもよいし、実写画像に基づいて本物に近いように表現されてもよい。
コンテンツ画像に含まれるアバターは限定されず、例えば、アバターは、配信者に対応してもよいし、配信者と共にコンテンツに参加すると共に該コンテンツを視聴するユーザである参加者に対応してもよい。参加者は視聴者の一種であるといえる。
コンテンツ画像は、出演者である人を映してもよいし、出演者の代わりにアバターを映してもよい。配信者は、出演者としてコンテンツ画像上に現われてもよいし、出演者でなくてもよい。視聴者はコンテンツ画像を見ることで、拡張現実(Augumented Reality(AR))、仮想現実(Virtual Reality(VR))、または複合現実(Mixed Reality(MR))を体験することができる。
コンテンツ配信システムは、リアルタイム配信後の所与の期間においてコンテンツを視聴することが可能なタイムシフトのために用いられてもよい。あるいは、コンテンツ配信システムは、任意のタイミングでコンテンツを視聴することが可能なオンデマンド配信のために用いられてもよい。コンテンツ配信システムは、過去に生成および保存されたコンテンツデータを用いて表現されるコンテンツを配信する。
本開示において、データまたは情報を第1コンピュータから第2コンピュータ“に送信する”との表現は、該第2コンピュータに最終的にデータまたは情報を届けるための送信を意味する。この表現は、その送信において別のコンピュータまたは通信装置がデータまたは情報を中継する場合も含む意味であることに留意されたい。
上述したようにコンテンツの目的および利用場面は限定されない。例えば、コンテンツは教育用コンテンツであってもよく、この場合には、コンテンツデータは教育用コンテンツデータである。教育用コンテンツとは、教師が生徒に向けて授業を行うために用いられるコンテンツである。教師とは学業、技芸などを教える人のことをいい、生徒とはその教えを受ける人のことをいう。教師は配信者の一例であり、生徒は視聴者の一例である。教師は教員免許を持つ人であってもよいし、教員免許を持たない人でもよい。授業とは、教師が生徒に学業、技芸などを教えることをいう。教師および生徒のそれぞれについて年齢および所属は限定されず、したがって、教育用コンテンツの目的および利用場面も限定されない。例えば、教育用コンテンツは、保育園、幼稚園、小学校、中学校、高等学校、大学、大学院、専門学校、予備校、オンライン学校などの各種の学校で用いられてよいし、学校以外の場所または場面で用いられてもよい。これに関連して、教育用コンテンツは、幼児教育、義務教育、高等教育、生涯学習などの様々な目的で用いられ得る。一例では、教育用コンテンツは先生または生徒に対応するアバターを含み、これは、そのアバターが教育用コンテンツの少なくとも一部のシーンで登場することを意味する。
[システムの構成]
図1は、実施形態に係るコンテンツ配信システム1の適用の一例を示す図である。本実施形態では、コンテンツ配信システム1はサーバ10を備える。サーバ10は、コンテンツデータを配信するコンピュータである。サーバ10は通信ネットワークNを介して少なくとも一つの視聴者端末20と接続する。図1は2台の視聴者端末20を示すが、視聴者端末20の台数は何ら限定されない。サーバ10は通信ネットワークNを介して配信者端末30と接続してもよい。サーバ10は通信ネットワークNを介してコンテンツデータベース40および視聴履歴データベース50とも接続する。通信ネットワークNの構成は限定されない。例えば、通信ネットワークNはインターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。
視聴者端末20は視聴者によって用いられるコンピュータである。視聴者端末20は、コンテンツ配信システム1にアクセスしてコンテンツデータを受信および表示する機能を有する。視聴者端末20の種類および構成は限定されない。例えば、視聴者端末20は高機能携帯電話機(スマートフォン)、タブレット端末、ウェアラブル端末(例えば、ヘッドマウントディスプレイ(HMD)、スマートグラスなど)、ラップトップ型パーソナルコンピュータ、携帯電話機などの携帯端末でもよい。あるいは、視聴者端末20はデスクトップ型パーソナルコンピュータなどの据置型端末でもよい。あるいは、視聴者端末20は、部屋に設置された大型スクリーンを備える教室システムであってもよい。
配信者端末30は配信者によって用いられるコンピュータである。一例では、配信者端末30は、映像を撮影する機能と、コンテンツ配信システム1にアクセスしてその映像を示す電子データ(映像データ)を送信する機能とを有する。配信者端末30の種類および構成は限定されない。例えば、配信者端末30は映像を撮影、収録、および送信する機能を有する撮影システムであってもよい。あるいは、配信者端末30は高機能携帯電話機(スマートフォン)、タブレット端末、ウェアラブル端末(例えば、ヘッドマウントディスプレイ(HMD)、スマートグラスなど)、ラップトップ型パーソナルコンピュータ、携帯電話機などの携帯端末でもよい。あるいは、配信者端末30はデスクトップ型パーソナルコンピュータなどの据置型端末でもよい。
視聴者は視聴者端末20を操作してコンテンツ配信システム1にログインし、これにより視聴者はコンテンツを視聴することができる。配信者は配信者端末30を操作してコンテンツ配信システム1にログインし、これによりコンテンツを視聴者に提供することが可能になる。本実施形態では、コンテンツ配信システム1のユーザが既にログインしていることを前提とする。
コンテンツデータベース40は、生成されたコンテンツデータを記憶する非一時的な記憶媒体または記憶装置である。コンテンツデータベース40は既存のコンテンツのライブラリであるといえる。コンテンツデータは、サーバ10、配信者端末30、または別のコンピュータなどの任意のコンピュータによってコンテンツデータベース40に格納される。
コンテンツデータは、コンテンツを一意に識別するコンテンツIDと関連付けられた上でコンテンツデータベース40に格納される。一例では、コンテンツデータは仮想空間データ、モデルデータ、およびシナリオを含んで構成される。
仮想空間データは、コンテンツを構成する仮想空間を示す電子データである。例えば、仮想空間データは、背景を構成する個々の仮想オブジェクトの配置、仮想カメラの位置、または仮想光源の位置を示してよい。
モデルデータは、コンテンツを構成する仮想オブジェクトの仕様を規定するために用いられる電子データである。仮想オブジェクトの仕様とは、仮想オブジェクトを制御するための取り決めまたは方法のことをいう。例えば、仕様は仮想オブジェクトの構成(例えば形状および寸法)、動作、および音声のうちの少なくとも一つを含む。アバターのモデルデータのデータ構造は限定されず、任意に設計されてよい。例えば、モデルデータはアバターを構成する複数のジョイントおよび複数のボーンに関する情報と、アバターの外観デザインを示すグラフィックデータと、アバターの属性と、アバターの識別子であるアバターIDとを含んでもよい。ジョイントおよびボーンに関する情報の例として、個々のジョイントの3次元座標と、隣り合うジョイントの組合せ(すなわちボーン)とが挙げられるが、この情報の構成はこれに限定されず、任意に設計されてよい。アバターの属性とは、アバターを特徴付けるために設定される任意の情報であり、例えば公称寸法、声質、または性格を含み得る。
シナリオとは、仮想空間内での時間の経過に伴う個々の仮想オブジェクト、仮想カメラ、または仮想光源の動作を規定する電子データである。シナリオはコンテンツのストーリーを決めるための情報であるこということができる。仮想オブジェクトの動作は、視覚で認識できる動きに限定されず、聴覚で認識される音声の発生を含んでよい。シナリオは、動作する個々の仮想オブジェクトについて、どのタイミングでどのように動作するかを示すモーションデータを含む。
コンテンツデータは現実オブジェクトに関する情報を含んでもよい。例えば、コンテンツデータは、現実オブジェクトが映された実写画像を含んでもよい。コンテンツデータが現実オブジェクトを含む場合には、シナリオは、その現実オブジェクトをどのタイミングでどこに映すかをさらに規定し得る。
視聴履歴データベース50は、視聴者がコンテンツを視聴した事実を示す視聴データを記憶する非一時的な記憶媒体または記憶装置である。視聴データの各レコードは、視聴者を一意に特定する識別子であるユーザIDと、視聴されたコンテンツのコンテンツIDと、視聴日時と、コンテンツに対する視聴者の操作を示す操作情報とを含む。本実施形態では、操作情報は頭出しに関連する頭出し情報を含む。したがって、視聴データは個々のユーザによる頭出しの履歴を示すデータであるともいえる。操作情報は、視聴者が視聴を終了した時点でのコンテンツの再生位置(以下ではこれを「再生終了位置」という)をさらに含んでもよい。
個々のデータベースの設置場所は限定されない。例えば、コンテンツデータベース40および視聴履歴データベース50の少なくとも一方が、コンテンツ配信システム1とは別のコンピュータシステム内に設けられてもよいし、コンテンツ配信システム1の構成要素であってもよい。
図2はコンテンツ配信システム1に関連するハードウェア構成の一例を示す図である。図2は、サーバ10として機能するサーバコンピュータ100と、視聴者端末20または配信者端末30として機能する端末コンピュータ200とを示す。
一例として、サーバコンピュータ100はハードウェア構成要素として、プロセッサ101、主記憶部102、補助記憶部103、および通信部104を備える。
プロセッサ101は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサの例としてCPU(Central Processing Unit)およびGPU(Graphics Processing Unit)が挙げられるが、プロセッサ101の種類はこれらに限定されない。例えば、プロセッサ101はセンサおよび専用回路の組合せでもよい。専用回路はFPGA(Field-Programmable Gate Array)のようなプログラム可能な回路でもよいし、他の種類の回路でもよい。
主記憶部102は、サーバ10を実現するためのプログラム、プロセッサ101から出力された演算結果などを記憶する装置である。主記憶部102は例えばROM(Read Only Memory)およびRAM(Random Access Memory)のうちの少なくとも一つにより構成される。
補助記憶部103は、一般に主記憶部102よりも大量のデータを記憶することが可能な装置である。補助記憶部103は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部103は、サーバコンピュータ100をサーバ10として機能させるためのサーバプログラムP1と各種のデータとを記憶する。例えば、補助記憶部103はアバターなどの仮想オブジェクトと仮想空間とのうちの少なくとも一つに関するデータを記憶してもよい。本実施形態では、コンテンツ配信プログラムはサーバプログラムP1として実装される。
通信部104は、通信ネットワークNを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部104は例えばネットワークカードまたは無線通信モジュールにより構成される。
サーバ10の各機能要素は、プロセッサ101または主記憶部102の上にサーバプログラムP1を読み込ませてプロセッサ101にそのプログラムを実行させることで実現される。サーバプログラムP1は、サーバ10の各機能要素を実現するためのコードを含む。プロセッサ101はサーバプログラムP1に従って通信部104を動作させ、主記憶部102または補助記憶部103におけるデータの読み出しおよび書き込みを実行する。このような処理によりサーバ10の各機能要素が実現される。
サーバ10は一つまたは複数のコンピュータにより構成され得る。複数のコンピュータが用いられる場合には、通信ネットワークを介してこれらのコンピュータが互いに接続されることで、論理的に一つのサーバ10が構成される。
一例として、端末コンピュータ200はハードウェア構成要素として、プロセッサ201、主記憶部202、補助記憶部203、および通信部204、入力インタフェース205、出力インタフェース206、および撮像部207を備える。
プロセッサ201は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサ201は例えばCPUまたはGPUであり得るが、プロセッサ201の種類はこれらに限定されない。
主記憶部202は、視聴者端末20または配信者端末30を実現させるためのプログラム、プロセッサ201から出力された演算結果などを記憶する装置である。主記憶部202は例えばROMおよびRAMのうちの少なくとも一つにより構成される。
補助記憶部203は、一般に主記憶部202よりも大量のデータを記憶することが可能な装置である。補助記憶部203は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部203は、端末コンピュータ200を視聴者端末20または配信者端末30として機能させるためのクライアントプログラムP2と各種のデータとを記憶する。例えば、補助記憶部203はアバターなどの仮想オブジェクトと仮想空間とのうちの少なくとも一つに関するデータを記憶してもよい。
通信部204は、通信ネットワークNを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部204は例えばネットワークカードまたは無線通信モジュールにより構成される。
入力インタフェース205は、ユーザの操作または動作に基づいてデータを受け付ける装置である。例えば、入力インタフェース205は、キーボード、操作ボタン、ポインティングデバイス、マイクロフォン、センサ、およびカメラのうちの少なくとも一つによって構成される。キーボードおよび操作ボタンはタッチパネル上に表示されてもよい。入力インタフェース205の種類が限定されないことに対応して、入力されるデータは限定されない。例えば、入力インタフェース205はキーボード、操作ボタン、またはポインティングデバイスによって入力または選択されたデータを受け付けてもよい。あるいは、入力インタフェース205は、マイクロフォンにより入力された音声データを受け付けてもよい。あるいは、入力インタフェース205はカメラによって撮影された画像データ(例えば、映像データまたは静止画データ)を受け付けてもよい。
出力インタフェース206は、端末コンピュータ200で処理されたデータを出力する装置である。例えば、出力インタフェース206はモニタ、タッチパネル、HMDおよびスピーカのうちの少なくとも一つによって構成される。モニタ、タッチパネル、HMDなどの表示装置は、処理されたデータを画面上に表示する。スピーカは、処理された音声データで示される音声を出力する。
撮像部207は、現実世界を写した画像を撮影する装置であり、具体的にはカメラである。撮像部207は動画像(映像)を撮影してもよいし静止画(写真)を撮影してもよい。動画像を撮影する場合には、撮像部207は映像信号を所与のフレームレートに基づいて処理することで、時系列に並ぶ一連のフレーム画像を動画像として取得する。撮像部207は入力インタフェース205としても機能し得る。
視聴者端末20または配信者端末30の各機能要素は、プロセッサ201または主記憶部202の上にクライアントプログラムP2を読み込ませてそのプログラムを実行させることで実現される。クライアントプログラムP2は、視聴者端末20または配信者端末30の各機能要素を実現するためのコードを含む。プロセッサ201はクライアントプログラムP2に従って通信部204、入力インタフェース205、出力インタフェース206、または撮像部207を動作させ、主記憶部202または補助記憶部203におけるデータの読み出しおよび書き込みを行う。この処理により視聴者端末20または配信者端末30の各機能要素が実現される。
サーバプログラムP1およびクライアントプログラムP2の少なくとも一つは、CD-ROM、DVD-ROM、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、これらのプログラムの少なくとも一つは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。これらのプログラムは別々に提供されてもよいし、一緒に提供されてもよい。
図3はコンテンツ配信システム1に関連する機能構成の一例を示す図である。サーバ10は機能要素として受信部11、コンテンツ管理部12、および送信部13を備える。受信部11は視聴者端末20から送信されたデータ信号を受信する機能要素である。コンテンツ管理部12はコンテンツデータを管理する機能要素である。送信部13はそのコンテンツデータを視聴者端末20に送信する機能要素である。コンテンツ管理部12は頭出し制御部14および変更部15を備える。頭出し制御部14は視聴者端末20からの要求に基づいてコンテンツにおける頭出し位置を制御する機能要素である。変更部15は視聴者端末20からの要求に基づいてコンテンツの一部を変更する機能要素である。一例では、コンテンツの変更は、アバターの追加、アバターの置き換え、および仮想空間におけるアバターの位置の変更のうちの少なくとも一つを含む。
頭出しとは、コンテンツの中で再生したい部分の冒頭の箇所を探し出すことをいい、頭出し位置とはその冒頭の箇所のことをいう。頭出し位置はコンテンツの現在の再生位置より前の位置でもよく、この場合には再生位置が過去の位置に戻る。頭出し位置はコンテンツの現在の再生位置より後の位置でもよく、この場合には再生位置が将来の位置に進む。
視聴者端末20は機能要素として要求部21、受信部22、および表示制御部23を備える。要求部21はコンテンツに関する各種の制御をサーバ10に要求する機能要素である。受信部22はコンテンツデータを受信する機能要素である。表示制御部23はそのコンテンツデータを処理してコンテンツを表示装置上に表示する機能要素である。
[システムの動作]
コンテンツ配信システム1の動作(より具体的にはサーバ10の動作)を説明するとともに、本実施形態に係るコンテンツ配信方法について説明する。以下では、画像処理に関して特に説明し、コンテンツに埋め込まれた音声の出力に関しては詳細な説明を省略する。
まず、コンテンツの頭出しに関して説明する。図4は、コンテンツの頭出しの一例を処理フローS1として示すシーケンス図である。
ステップS101では、視聴者端末20がコンテンツ要求をサーバ10に送信する。コンテンツ要求はコンテンツの再生をサーバ10に要求するためのデータ信号である。視聴者が所望のコンテンツの再生を開始させるために視聴者端末20を操作すると、要求部21がその操作に応答して、その視聴者のユーザIDと、選択されたコンテンツのコンテンツIDとを含むコンテンツ要求を生成する。そして、要求部21はそのコンテンツ要求をサーバ10に送信する。
ステップS102では、サーバ10がそのコンテンツ要求に応答してコンテンツデータを視聴者端末20に送信する。受信部11がコンテンツ要求を受信すると、コンテンツ管理部12がそのコンテンツ要求で示されるコンテンツIDに対応するコンテンツデータをコンテンツデータベース40から読み出して、そのコンテンツデータを送信部13に出力する。送信部13はそのコンテンツデータを視聴者端末20に送信する。
コンテンツ管理部12は、コンテンツが冒頭から再生されるようにコンテンツデータを読み出してもよいし、コンテンツが途中から再生されるようにコンテンツデータを読み出してもよい。コンテンツを途中から再生する場合には、コンテンツ管理部12はコンテンツ要求で示されるユーザIDおよびコンテンツIDの組合せに対応する視聴データを視聴履歴データベース50から読み出すことで前回の視聴での再生終了位置を特定する。そして、コンテンツ管理部12はその再生終了位置からコンテンツが再生されるようにコンテンツデータを制御する。
コンテンツ管理部12はコンテンツデータを送信し始めることを契機として、今回のコンテンツ要求に対応する視聴データのレコードを生成し、そのレコードを視聴履歴データベース50に登録する。
ステップS103では視聴者端末20がコンテンツを再生する。受信部22がコンテンツデータを受信すると、表示制御部23がそのコンテンツデータを処理してコンテンツを表示装置上に表示する。一例では、表示制御部23はコンテンツデータに基づくレンダリングを実行することでコンテンツ画像(例えばコンテンツ映像)を生成し、そのコンテンツ画像を表示装置上に表示する。視聴者端末20はコンテンツ画像の表示に合わせて音声をスピーカから出力する。本実施形態では視聴者端末20がレンダリングを実行するが、レンダリングを実行するコンピュータは限定されない。例えばサーバ10がレンダリングを実行してもよく、この場合には、サーバ10はレンダリングによって生成されたコンテンツ画像(例えばコンテンツ映像)をコンテンツデータとして視聴者端末20に送信する。
一例では、視聴者は頭出し条件を指定することができる。この場合にはステップS104,S105の処理が実行される。これら二つのステップは必須の処理ではないことに留意されたい。頭出し条件とはサーバ10が頭出しの候補位置を動的に設定する際に考慮される条件のことをいう。頭出しの候補位置とは、頭出し位置の選択肢として視聴者に提供される位置のことをいい、以下では単に「候補位置」ともいう。
ステップS104では、視聴者端末20が頭出し条件をサーバ10に送信する。視聴者が頭出し条件を設定するために視聴者端末20を操作すると、要求部21がその操作に応答してその頭出し条件をサーバ10に送信する。頭出し条件の設定方法および内容は限定されない。例えば、視聴者はコンテンツに登場する複数の仮想オブジェクトの中から特定の仮想オブジェクトを選び、要求部21がその選択された仮想オブジェクトを示す頭出し条件を送信してもよい。コンテンツ管理部12がその操作のためのメニュー画面を送信部13を介して視聴者端末20に提供し、表示制御部23がそのメニュー画面を表示することで、視聴者は複数の仮想オブジェクトの中から特定の仮想オブジェクトを選択することができる。視聴者に選択肢として提示される複数の仮想オブジェクトの一部またはすべてがアバターでもよく、この場合には頭出し条件は選択されたアバターを示し得る。
ステップS105では、サーバ10がその頭出し条件を保存する。受信部11が頭出し条件を受信すると、頭出し制御部14が、現在の視聴に対応する視聴データの頭出し情報の少なくとも一部としてその頭出し条件を視聴履歴データベース50に格納する。
ステップS106では、視聴者端末20が頭出し要求をサーバ10に送信する。頭出し要求は再生位置を変更するためのデータ信号である。視聴者が視聴者端末20上で、頭出しボタンを押すなどの頭出しの操作を行うと、要求部21がその操作に応答して頭出し要求を生成し、その頭出し要求をサーバ10に送信する。頭出し要求は、要求される頭出し位置が現在の再生位置よりも前か、それとも後かを示してもよい。あるいは頭出し要求はそのような頭出し方向を示さなくてもよい。
ステップS107では、サーバ10が頭出しの候補位置を設定する。受信部11が頭出し要求を受信すると、頭出し制御部14がその頭出し要求に応答して、現在提供されているコンテンツのコンテンツデータを解析し、この解析によってコンテンツ内の少なくとも一つのシーンを候補位置として動的に設定する。そして、頭出し制御部14はその候補位置を示す候補情報を生成する。コンテンツ内の少なくとも一つのシーンを候補位置として動的に設定することは、端的にいうと、候補位置を動的に設定することである。何らかの対象を「動的に設定する」とは、コンピュータが人手の介入無しにその対象を設定することを意味する。
頭出しの候補位置を設定する具体的な手法は限定されない。第1の手法として、頭出し制御部14は視聴者によって選択された仮想オブジェクト(例えばアバター)が所定の動作を行ったシーンを候補位置として設定してもよい。例えば、頭出し制御部14は現在の視聴に対応する視聴データを視聴履歴データベース50から読み出して頭出し条件を取得する。そして、頭出し制御部14はその頭出し条件で示される仮想オブジェクト(例えばアバター)が所定の動作を行う1以上のシーンを候補位置として設定する。あるいは、頭出し制御部14は、視聴者がコンテンツ画像上でタップ操作などによりリアルタイムに選択した仮想オブジェクトが所定の動作を行う1以上のシーンを候補位置として設定してもよい。この場合には、要求部21が視聴者の操作(例えば、そのタップ操作)に応答して、選択された仮想オブジェクトを示す情報を頭出し条件としてサーバ10に送信する。受信部11がその頭出し条件を受信すると、頭出し制御部14がその頭出し条件で示される仮想オブジェクトが所定の動作を行う1以上のシーンを候補位置として設定する。
選択された仮想オブジェクトの所定の動作は限定されない。例えば、所定の動作は、コンテンツ画像で示される仮想空間への登場、特定の姿勢または動き(例えば、カチンコをたたくなど)、特定の発話、コンテンツ画像で示される仮想空間からの退場のうちの少なくとも一つを含んでよい。仮想オブジェクトの登場または退場は、第1の仮想オブジェクトから第2の仮想オブジェクトへの置換によって表現されてもよい。特定の発話とは、特定の言葉を発することをいう。例えば、特定の発話は、「スタート」という言葉の発声でもよい。
第2の手法として、頭出し制御部14は、視聴者による選択に基づくのではなく(すなわち、頭出し条件を取得することなく)、予め定められた特定の仮想オブジェクト(例えばアバター)が所定の動作を行う1以上のシーンを候補位置として設定してもよい。この手法では、候補位置を設定するために用いられる仮想オブジェクトが予め定められているので、頭出し制御部14は頭出し条件を取得しない。頭出し制御部14はその仮想オブジェクト(例えばアバター)が所定の動作を行ったシーンを候補位置として設定する。第1の手法と同様に所定の動作は限定されない。
第3の手法として、頭出し制御部14は、仮想空間における仮想カメラの位置が切り替わる1以上のシーンを候補位置として設定してもよい。仮想カメラの位置が切り替わるとは、仮想カメラの位置が第1の位置から第2の位置に不連続に変わることをいう。
第4の手法として、頭出し制御部14は、頭出し要求を送信した視聴者と他の視聴者との少なくとも一方によって過去の視聴において頭出し位置として選択された1以上のシーンを候補位置として設定してもよい。頭出し制御部14は、コンテンツ要求のコンテンツIDを含む視聴レコードを視聴履歴データベース50から読み出す。そして、頭出し制御部14はその視聴レコードの頭出し情報を参照することで、過去に選択された1以上の頭出し位置を特定し、その頭出し位置に対応する1以上のシーンを候補位置として設定する。
頭出し制御部14は上述した様々な手法のうちの任意の2種類以上の手法を用いて1以上のシーンを候補位置として設定してもよい。候補位置を設定する手法が何かにかかわらず、頭出し要求が頭出し方向を示す場合には頭出し制御部14はその頭出し方向に存在する候補位置のみを設定する。
一例では、頭出し制御部14は設定された1以上の候補位置の少なくとも一つに対応して(例えば、1以上の候補位置のそれぞれについて)代表画像を設定してもよい。この代表画像は、候補位置がどのようなシーンに対応するかを視聴者に認識させるために用意される画像である。代表画像の内容は限定されず、任意に設計されてよい。例えば、代表画像は、候補位置に対応するシーンに登場する少なくとも一つの仮想オブジェクトでもよいし、そのシーンを映す画像領域の少なくとも一部でもよい。代表画像は上記の第1または第2の手法において選択された仮想オブジェクト(例えばアバター)を表してもよい。いずれにしても、代表画像は候補位置に対応して動的に設定される。代表画像が設定された場合には、頭出し制御部14は、視聴者端末20上でその代表画像を候補位置に対応させて表示させるために、該代表画像を含む候補情報を生成する。
ステップS108では、送信部13が、設定された1以上の候補位置を示す候補情報を視聴者端末20に送信する。
ステップS109では、視聴者端末20が1以上の候補位置から頭出し位置を選択する。受信部22が候補情報を受信すると、表示制御部23がその候補情報に基づいて1以上の候補位置を表示装置上に表示する。候補情報が1以上の代表画像を含む場合には、表示制御部23はそれぞれの代表画像を候補位置に対応させて表示する。「代表画像を候補位置に対応させて表示させる」とは、代表画像と候補位置との対応関係が視聴者に認識され得るように該代表画像を表示することをいう。
図5は頭出しの候補位置の表示の一例を示す図である。この例では、コンテンツ画像が、再生ボタン301、一時停止ボタン302、およびシークバー310を備える動画アプリケーション300上で再生されている。シークバー310は現在の再生位置を表現するスライダー311を含む。この例では、表示制御部23は4個の候補位置を示す4個のマーク312をそのシークバー310に沿って並べる。一つのマーク312は現在の再生位置よりも過去の位置を示し、残りの3個のマーク312は、現在の再生位置よりも将来の位置を示す。この例では、マーク312(候補位置)に対応する仮想オブジェクト(アバター)が、代表画像として該マーク312の上に(言い換えると、シークバー310を挟んで該マーク312の反対側に)表示される。この例は、4個のマーク312に対応する4個の代表画像を示す。
ステップS110では、視聴者端末20が選択された候補位置を示す位置情報をサーバ10に送信する。視聴者が一つの候補位置を選択する操作を行うと、要求部21はこの操作に応答して、その選択された候補位置を示す位置情報を生成する。図5の例では、視聴者が一つのマーク312をタップ操作などによって選択すると、要求部21はそのマーク312に対応する候補位置を示す位置情報を生成し、その位置情報をサーバ10に送信する。
ステップS111では、サーバ10が、選択された頭出し位置に基づいてコンテンツデータを制御する。受信部11が位置情報を受信すると、頭出し制御部14がその位置情報に基づいて頭出し位置を特定する。そして、頭出し制御部14はその頭出し位置からコンテンツが再生されるように、その頭出し位置に対応するコンテンツデータをコンテンツデータベース40から読み出し、そのコンテンツデータを送信部13に出力する。すなわち、頭出し制御部14は、少なくとも一つの候補位置のうちの一つを頭出し位置として設定する。さらに、頭出し制御部14は視聴履歴データベース50にアクセスして、設定された頭出し位置を示す頭出し情報を、現在の視聴に対応する視聴データに記録する。
ステップS112では、送信部13が、選択された頭出し位置に対応するコンテンツデータを視聴者端末20に送信する。
ステップS113では、視聴者端末20がその頭出し位置からコンテンツを再生する。受信部22がコンテンツデータを受信すると、表示制御部23がそのコンテンツデータをステップS103と同様の手法で処理してコンテンツを表示装置上に表示する。
一回の視聴において、ステップS106~S113の処理は視聴者が頭出しのための操作を実行する度に繰り返し実行され得る。視聴者が頭出し条件を変更する場合にはステップS104,S105の処理が再び実行され得る。
次に、コンテンツの一部の変更について説明する。図6は、コンテンツの変更の一例を処理フローS2として示すシーケンス図である。
ステップS201では、視聴者端末20が変更要求をサーバ10に送信する。変更要求はコンテンツの一部の変更をサーバ10に要求するためのデータ信号である。一例では、コンテンツの変更は、アバターの追加および置換の少なくとも一方を含んでよい。視聴者が所望の変更を行うために視聴者端末20を操作すると、要求部21がその操作に応答して、コンテンツをどのように変更するかを示す変更要求を生成する。コンテンツの変更がアバターの追加を含む場合には、要求部21はそのアバターのアバターIDを含む変更要求を生成する。コンテンツの変更がアバターの置換を含む場合には、要求部21は、置換前のアバターのアバターIDと、置換後のアバターのアバターIDとを含む変更要求を生成してもよい。あるいは、要求部21は置換前のアバターのアバターIDを含まず、置換後のアバターのアバターIDを含む変更要求を生成してもよい。ここで、置換前のアバターとは、置換によって表示されなくなるアバターのことをいい、置換後のアバターとは、置換によって表示されることになるアバターのことをいう。追加されるアバターおよび置換後のアバターはいずれも、視聴者に対応するアバターであってよい。要求部21は変更要求をサーバ10に送信する。
ステップS202では、サーバ10がその変更要求に基づいてコンテンツデータを変更する。受信部11が変更要求を受信すると、変更部15がその変更要求に基づいてコンテンツデータを変更する。
変更要求がアバターの追加を示す場合には、変更部15は変更要求で示されるアバターIDに対応するモデルデータをコンテンツデータベース40または他の記憶部から読み出し、このモデルデータをコンテンツデータに埋め込むかまたは関連付ける。また、変更部15はそのアバターを仮想空間内に追加するためにシナリオを変更する。これにより、仮想空間内に新たなアバターが追加される。例えば、変更部15は、追加したアバターを仮想カメラの位置に配置することで、あたかもそのアバターが仮想世界を見ているようなコンテンツ画像を提供してもよい。変更部15は、変更前の仮想空間に配置されている一つの既存アバターの位置を変更し、その既存アバターの位置に追加のアバターを配置してもよい。さらに、変更部15は関連する他のアバターの向きまたは姿勢を変えてもよい。
変更要求がアバターの置換を示す場合には、変更部15は置換後のアバターのアバターIDに対応するモデルデータをコンテンツデータベース40または他の記憶部から読み出し、このモデルデータを、置換前のアバターのモデルデータと置き換える。これにより、仮想空間内で特定の一つのアバターが別のアバターに置き換わる。変更部15は、置換前のアバターを動的に設定してもよく、例えば、最初の話者ではないアバター、特定の物を持つアバター、または特定の物を持たないアバターを置換前のアバターとして選択してもよい。コンテンツが教育用コンテンツである場合には、置換前のアバターは生徒アバターでもよいし先生アバターでもよい。
ステップS213では、送信部13が、変更されたコンテンツデータを視聴者端末20に送信する。
ステップS214は、視聴者端末20が、変更されたコンテンツを再生する。受信部22がコンテンツデータを受信すると、表示制御部23がそのコンテンツデータをステップS103と同様の手法で処理してコンテンツを表示装置上に表示する。
図7はコンテンツの変更の一例を示す図である。この例では元画像320が変更後画像330に変更されている。元画像320は先生アバター321と第1生徒アバター322とが英会話の練習をしているシーンを表す。この例では、変更部15は、第1生徒アバター322がいた位置に第2生徒アバター323を配置し、第1生徒アバター322の位置を変更し、先生アバター321がその第1生徒アバター322と向き合うように先生アバター321の姿勢を変更する。一例では、変更後画像330は、タイムシフトまたはオンデマンドによりコンテンツを見ている視聴者が仮想空間内で第2生徒アバター323として登場し、先生アバター321と第1生徒アバター322との間の会話を見ているシーンを表現する。
図8はコンテンツの変更の別の例を示す図である。この例では、変更部15は第1生徒アバター322を第2生徒アバター323に置き換えることで元画像320を変更後画像340に変更している。変更後画像340は、タイムシフトまたはオンデマンドによりコンテンツを見ている視聴者が仮想空間内で第2生徒アバター323として登場し、第1生徒アバター322に代わって先生アバター321と英会話を練習するシーンを表す。
[効果]
以上説明したように、本開示の一側面に係るコンテンツ配信システムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサのうちの少なくとも一つは、仮想空間を表現する既存のコンテンツのコンテンツデータを取得する。少なくとも一つのプロセッサのうちの少なくとも一つは、コンテンツデータを解析することで、コンテンツ内の少なくとも一つのシーンを、コンテンツにおける頭出しの少なくとも一つの候補位置として動的に設定する。少なくとも一つのプロセッサのうちの少なくとも一つは、少なくとも一つの候補位置のうちの一つを頭出し位置として設定する。
本開示の一側面に係るコンテンツ配信方法は、少なくとも一つのプロセッサを備えるコンテンツ配信システムによって実行される。コンテンツ配信方法は、仮想空間を表現する既存のコンテンツのコンテンツデータを取得するステップと、コンテンツデータを解析することで、コンテンツ内の少なくとも一つのシーンを、コンテンツにおける頭出しの少なくとも一つの候補位置として動的に設定するステップと、少なくとも一つの候補位置のうちの一つを頭出し位置として設定するステップとを含む。
本開示の一側面に係るコンテンツ配信プログラムは、仮想空間を表現する既存のコンテンツのコンテンツデータを取得するステップと、コンテンツデータを解析することで、コンテンツ内の少なくとも一つのシーンを、コンテンツにおける頭出しの少なくとも一つの候補位置として動的に設定するステップと、少なくとも一つの候補位置のうちの一つを頭出し位置として設定するステップとをコンピュータシステムに実行させる。
このような側面においては、仮想空間内の特定のシーンが頭出しの候補位置として動的に設定され、その候補位置から頭出し位置が設定される。このような仕組みにより、視聴者は自分で頭出しの位置を調整することなくコンテンツの頭出しを簡単に行うことができる。
他の側面に係るコンテンツ配信システムでは、少なくとも一つのプロセッサのうちの少なくとも一つが、少なくとも一つの候補位置を視聴者端末に送信し、少なくとも一つのプロセッサのうちの少なくとも一つが、視聴者端末において視聴者によって選択された一つの候補位置を頭出し位置として設定してもよい。この仕組みによって、視聴者は動的に設定された候補位置の中から所望の頭出し位置を選択することができる。
他の側面に係るコンテンツ配信システムでは、少なくとも一つのシーンが、仮想空間内の仮想オブジェクトが所定の動作をするシーンを含んでもよい。仮想オブジェクトの動作に基づいて候補位置を設定することで、頭出し位置として適切であると推定されるシーンへの頭出しが可能になる。
他の側面に係るコンテンツ配信システムでは、所定の動作が、仮想空間への仮想オブジェクトの登場と、仮想空間からの仮想オブジェクトの退場とのうちの少なくとも一つを含んでもよい。このようなシーンはコンテンツ中での転換点であるといえるので、そのシーンを候補位置として設定することで、頭出し位置として適切であると推定されるシーンへの頭出しが可能になる。
他の側面に係るコンテンツ配信システムでは、仮想オブジェクトの登場または退場が、別の仮想オブジェクトとの置換によって表現されてもよい。このようなシーンはコンテンツ中での転換点であるといえるので、そのシーンを候補位置として設定することで、頭出し位置として適切であると推定されるシーンへの頭出しが可能になる。
他の側面に係るコンテンツ配信システムでは、所定の動作が、仮想オブジェクトによる特定の発話を含んでもよい。仮想オブジェクトの発話に基づいて候補位置を設定することで、頭出し位置として適切であると推定されるシーンへの頭出しが可能になる。
他の側面に係るコンテンツ配信システムでは、少なくとも一つのシーンが、仮想空間における仮想カメラの位置が切り替わるシーンを含んでもよい。このようなシーンはコンテンツ中での転換点であるといえるので、そのシーンを候補位置として設定することで、頭出し位置として適切であると推定されるシーンへの頭出しが可能になる。
他の側面に係るコンテンツ配信システムでは、少なくとも一つのプロセッサのうちの少なくとも一つが、個々のユーザによる頭出しの履歴を示す視聴データを視聴履歴データベースから読み出し、該視聴データをさらに用いて、過去の視聴においてコンテンツの頭出し位置として選択された少なくとも一つのシーンを少なくとも一つの候補位置として設定してもよい。過去に選択された頭出し位置を候補位置として設定することで、視聴者によって選択される蓋然性が高いシーンを候補位置として提示することが可能になる。
他の側面に係るコンテンツ配信システムでは、少なくとも一つのプロセッサのうちの少なくとも一つが、少なくとも一つの候補位置のうちの少なくとも一つに対応して代表画像を設定し、少なくとも一つのプロセッサのうちの少なくとも一つが、視聴者端末上で代表画像を候補位置に対応させて表示させてもよい。候補位置に対応させて代表画像を表示することで、候補位置がどのようなシーンに対応するかを予め視聴者に伝えることができる。視聴者はどのようなシーンが頭出し位置の候補であるかを頭出し操作の前に代表画像によって確認または推測でき、その結果、所望のシーンを直ぐに選択することができる。
他の側面に係るコンテンツ配信システムでは、コンテンツが、先生または生徒に対応するアバターを含む教育用コンテンツであってもよい。この場合には、視聴者は自分で頭出しの位置を調整することなく教育用コンテンツの頭出しを簡単に行うことができる。
[変形例]
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。
本開示において、「少なくとも一つのプロセッサが、第1の処理を実行し、第2の処理を実行し、…第nの処理を実行する。」との表現、またはこれに対応する表現は、第1の処理から第nの処理までのn個の処理の実行主体(すなわちプロセッサ)が途中で変わる場合を含む概念である。すなわち、この表現は、n個の処理のすべてが同じプロセッサで実行される場合と、n個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念である。
少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ(処理)の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の2以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。
1…コンテンツ配信システム、10…サーバ、11…受信部、12…コンテンツ管理部、13…送信部、14…頭出し制御部、15…変更部、20…視聴者端末、21…要求部、22…受信部、23…表示制御部、30…配信者端末、40…コンテンツデータベース、50…視聴履歴データベース、300…動画アプリケーション、310…シークバー、312…マーク、P1…サーバプログラム、P2…クライアントプログラム。

Claims (9)

  1. 少なくとも一つのプロセッサを備え、
    前記少なくとも一つのプロセッサが、仮想空間を表現し且つ視聴者端末上で再生されている既存のコンテンツのコンテンツデータを取得し、
    前記少なくとも一つのプロセッサが前記コンテンツの再生位置を変更するための頭出し要求に応答して、前記コンテンツデータを解析前記視聴者端末での前記コンテンツ内の現在の再生位置よりも前または後に位置する少なくとも一つのシーンを、前記コンテンツにおける頭出し位置として動的に設定する、
    コンテンツ配信システム。
  2. 前記少なくとも一つのプロセッサが、前記シーンを前記コンテンツにおける前記頭出し位置の少なくとも一つの候補位置として動的に設定し、
    前記少なくとも一つのプロセッサが、前記少なくとも一つの候補位置のうちの一つを前記コンテンツの頭出し位置として設定する、
    請求項1に記載のコンテンツ配信システム。
  3. 前記少なくとも一つのプロセッサが、前記頭出し位置に対応して代表画像を設定し、
    前記少なくとも一つのプロセッサが、前記視聴者端末上で前記代表画像を前記頭出し位置に対応させて表示させる、
    請求項1に記載のコンテンツ配信システム。
  4. 前記少なくとも一つのプロセッサが、前記頭出し位置に対応する前記シーンに登場する少なくとも一つの仮想オブジェクトを前記代表画像として設定する、
    請求項3に記載のコンテンツ配信システム。
  5. 前記少なくとも一つのプロセッサが、前記頭出し位置に対応する前記シーンを映す画像領域の少なくとも一部を前記代表画像として設定する、
    請求項3に記載のコンテンツ配信システム。
  6. 前記少なくとも一つのプロセッサが、前記少なくとも一つの候補位置を視聴者端末に送信し、
    前記少なくとも一つのプロセッサが、前記視聴者端末において視聴者によって選択された一つの候補位置を前記頭出し位置として設定する、
    請求項に記載のコンテンツ配信システム。
  7. 前記少なくとも一つのシーンが、前記仮想空間内の仮想オブジェクトが所定の動作をするシーンを含む、
    請求項1~6のいずれか一項に記載のコンテンツ配信システム。
  8. 少なくとも一つのプロセッサを備えるコンテンツ配信システムによって実行されるコンテンツ配信方法であって、
    仮想空間を表現し且つ視聴者端末上で再生されている既存のコンテンツのコンテンツデータを取得するステップと、
    前記コンテンツの再生位置を変更するための頭出し要求に応答して、前記コンテンツデータを解析前記視聴者端末での前記コンテンツ内の現在の再生位置よりも前または後に位置する少なくとも一つのシーンを、前記コンテンツにおける頭出し位置として動的に設定するステップ
    を含むコンテンツ配信方法。
  9. 仮想空間を表現し且つ視聴者端末上で再生されている既存のコンテンツのコンテンツデータを取得するステップと、
    前記コンテンツの再生位置を変更するための頭出し要求に応答して、前記コンテンツデータを解析前記視聴者端末での前記コンテンツ内の現在の再生位置よりも前または後に位置する少なくとも一つのシーンを、前記コンテンツにおける頭出し位置として動的に設定するステップ
    をコンピュータシステムに実行させるコンテンツ配信プログラム。
JP2020138014A 2019-12-26 2020-08-18 コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム Active JP7408506B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020138014A JP7408506B2 (ja) 2019-12-26 2020-08-18 コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019236669A JP6752349B1 (ja) 2019-12-26 2019-12-26 コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2020138014A JP7408506B2 (ja) 2019-12-26 2020-08-18 コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019236669A Division JP6752349B1 (ja) 2019-12-26 2019-12-26 コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Publications (3)

Publication Number Publication Date
JP2021106378A JP2021106378A (ja) 2021-07-26
JP2021106378A5 JP2021106378A5 (ja) 2022-12-13
JP7408506B2 true JP7408506B2 (ja) 2024-01-05

Family

ID=72333530

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019236669A Active JP6752349B1 (ja) 2019-12-26 2019-12-26 コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2020138014A Active JP7408506B2 (ja) 2019-12-26 2020-08-18 コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019236669A Active JP6752349B1 (ja) 2019-12-26 2019-12-26 コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Country Status (4)

Country Link
US (1) US20220360827A1 (ja)
JP (2) JP6752349B1 (ja)
CN (1) CN114846808B (ja)
WO (1) WO2021131343A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7469536B1 (ja) 2023-03-17 2024-04-16 株式会社ドワンゴ コンテンツ管理システム、コンテンツ管理方法、コンテンツ管理プログラム、およびユーザ端末

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267033A (ja) 2004-03-17 2005-09-29 Canon Inc 複合現実感映像蓄積検索方法及び装置
WO2010100937A1 (ja) 2009-03-06 2010-09-10 シャープ株式会社 ブックマーク利用装置、ブックマーク作成装置、ブックマーク共有システム、制御方法、制御プログラム、および、記録媒体
JP2014093733A (ja) 2012-11-06 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 映像配信装置、映像再生装置、映像配信プログラム及び映像再生プログラム
WO2016117039A1 (ja) 2015-01-21 2016-07-28 株式会社日立製作所 画像検索装置、画像検索方法、および情報記憶媒体
US20180342101A1 (en) 2015-04-09 2018-11-29 Cinemoi North America, LLC Systems and Methods to Provide Interactive Virtual Environments
JP2019083029A (ja) 2018-12-26 2019-05-30 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP2019097137A (ja) 2017-11-28 2019-06-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム
JP2019121224A (ja) 2018-01-09 2019-07-22 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139767B1 (en) * 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2002197376A (ja) * 2000-12-27 2002-07-12 Fujitsu Ltd ユーザに応じてカストマイズされた仮想世界を提供する方法および装置
US7409639B2 (en) * 2003-06-19 2008-08-05 Accenture Global Services Gmbh Intelligent collaborative media
KR100966668B1 (ko) * 2003-10-10 2010-06-29 샤프 가부시키가이샤 콘텐츠 재생 장치, 콘텐츠 기록 매체, 콘텐츠 재생 방법 및 기록 매체
JP4542372B2 (ja) * 2004-05-28 2010-09-15 シャープ株式会社 コンテンツ再生装置
US7396281B2 (en) * 2005-06-24 2008-07-08 Disney Enterprises, Inc. Participant interaction with entertainment in real and virtual environments
JP2007041722A (ja) * 2005-08-01 2007-02-15 Sony Corp 情報処理装置,コンテンツ再生装置,情報処理方法,イベントログ記録方法,およびコンピュータプログラム
CN101273604B (zh) * 2005-09-27 2011-11-09 喷流数据有限公司 用于多媒体对象的渐进式传送的系统和方法
JP2007172702A (ja) * 2005-12-20 2007-07-05 Sony Corp コンテンツ選択方法及びコンテンツ選択装置
US8196045B2 (en) * 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
JP4405523B2 (ja) * 2007-03-20 2010-01-27 株式会社東芝 コンテンツ配信システム、このコンテンツ配信システムで使用されるサーバ装置及び受信装置
JP2008252841A (ja) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd コンテンツ再生システム、コンテンツ再生装置、サーバおよびトピック情報更新方法
US8622831B2 (en) * 2007-06-21 2014-01-07 Microsoft Corporation Responsive cutscenes in video games
CN103402070B (zh) * 2008-05-19 2017-07-07 日立麦克赛尔株式会社 记录再现装置及方法
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US20100235762A1 (en) * 2009-03-10 2010-09-16 Nokia Corporation Method and apparatus of providing a widget service for content sharing
US20100235443A1 (en) * 2009-03-10 2010-09-16 Tero Antero Laiho Method and apparatus of providing a locket service for content sharing
US9071868B2 (en) * 2009-05-29 2015-06-30 Cognitive Networks, Inc. Systems and methods for improving server and client performance in fingerprint ACR systems
JP5609021B2 (ja) * 2009-06-16 2014-10-22 ソニー株式会社 コンテンツ再生装置、コンテンツ提供装置及びコンテンツ配信システム
US8523673B1 (en) * 2009-12-14 2013-09-03 Markeith Boyd Vocally interactive video game mechanism for displaying recorded physical characteristics of a player in a virtual world and in a physical game space via one or more holographic images
JP4904564B2 (ja) * 2009-12-15 2012-03-28 シャープ株式会社 コンテンツ配信システム、コンテンツ配信装置、コンテンツ再生端末およびコンテンツ配信方法
US8891936B2 (en) * 2010-05-07 2014-11-18 Thomson Licensing Method and device for optimal playback positioning in digital content
JP5416322B2 (ja) * 2011-09-05 2014-02-12 株式会社小林製作所 作業管理システム、作業管理端末、プログラム及び作業管理方法
KR102217186B1 (ko) * 2014-04-11 2021-02-19 삼성전자주식회사 요약 컨텐츠 서비스를 위한 방송 수신 장치 및 방법
US9832504B2 (en) * 2015-09-15 2017-11-28 Google Inc. Event-based content distribution
US20180068578A1 (en) * 2016-09-02 2018-03-08 Microsoft Technology Licensing, Llc Presenting educational activities via an extended social media feed
US10183231B1 (en) * 2017-03-01 2019-01-22 Perine Lowe, Inc. Remotely and selectively controlled toy optical viewer apparatus and method of use
US10721536B2 (en) * 2017-03-30 2020-07-21 Rovi Guides, Inc. Systems and methods for navigating media assets
EP3502837B1 (en) * 2017-12-21 2021-08-11 Nokia Technologies Oy Apparatus, method and computer program for controlling scrolling of content
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context
US11356488B2 (en) * 2019-04-24 2022-06-07 Cisco Technology, Inc. Frame synchronous rendering of remote participant identities
US11260307B2 (en) * 2020-05-28 2022-03-01 Sony Interactive Entertainment Inc. Camera view selection processor for passive spectator viewing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267033A (ja) 2004-03-17 2005-09-29 Canon Inc 複合現実感映像蓄積検索方法及び装置
WO2010100937A1 (ja) 2009-03-06 2010-09-10 シャープ株式会社 ブックマーク利用装置、ブックマーク作成装置、ブックマーク共有システム、制御方法、制御プログラム、および、記録媒体
JP2014093733A (ja) 2012-11-06 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 映像配信装置、映像再生装置、映像配信プログラム及び映像再生プログラム
WO2016117039A1 (ja) 2015-01-21 2016-07-28 株式会社日立製作所 画像検索装置、画像検索方法、および情報記憶媒体
US20180342101A1 (en) 2015-04-09 2018-11-29 Cinemoi North America, LLC Systems and Methods to Provide Interactive Virtual Environments
JP2019097137A (ja) 2017-11-28 2019-06-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム
JP2019121224A (ja) 2018-01-09 2019-07-22 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
JP2019083029A (ja) 2018-12-26 2019-05-30 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置

Also Published As

Publication number Publication date
WO2021131343A1 (ja) 2021-07-01
JP2021106324A (ja) 2021-07-26
US20220360827A1 (en) 2022-11-10
JP6752349B1 (ja) 2020-09-09
CN114846808B (zh) 2024-03-12
JP2021106378A (ja) 2021-07-26
CN114846808A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
US10020025B2 (en) Methods and systems for customizing immersive media content
US10770113B2 (en) Methods and system for customizing immersive media content
WO2021204139A1 (zh) 视频显示方法、装置、设备和存储介质
Adão et al. A rapid prototyping tool to produce 360 video-based immersive experiences enhanced with virtual/multimedia elements
JP2023181234A (ja) コンテンツ配信サーバ、コンテンツ作成装置、教育端末、コンテンツ配信プログラム、および教育プログラム
CN114402276A (zh) 授课系统、视听终端、信息处理方法以及程序
JP2014212490A (ja) 端末装置、コメント配信システム、及びプログラム
JP7408506B2 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
KR101824863B1 (ko) 가상현실 멀티 스토리텔링 영상극장 다중미디어 스트리밍 장치
US20240054746A1 (en) Interactive Element in a Replay
JP6727388B1 (ja) 授業システム、視聴端末、情報処理方法およびプログラム
JP2021086145A (ja) 授業システム、視聴端末、情報処理方法およびプログラム
JP7465736B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP6766228B1 (ja) 遠隔教育システム
Voronkin Educational Video in the University: Instruments, Technologies, Opportunities and Restrictions.
US20220343783A1 (en) Content control system, content control method, and content control program
WO2022255262A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
TWI789083B (zh) 擴增實境內容播放之控制方法、系統及其電腦可讀媒介
JP7011746B1 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
Remans User experience study of 360 music videos on computer monitor and virtual reality goggles
Samčović 360-degree Video Technology with Potential Use in Educational Applications
Series Collection of usage scenarios of advanced immersive sensory media systems
Sai Prasad et al. For video lecture transmission, less is more: Analysis of Image Cropping as a cost savings technique
Cromsjö et al. Design of video player and user interfaces for branched 360 degree video
KR20240068181A (ko) 원본의 해상도를 유지하며 파일 크기를 최소화하는 강의 녹화 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231220

R150 Certificate of patent or registration of utility model

Ref document number: 7408506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150