JP6557886B1 - コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システム - Google Patents

Abstract

コンテンツに埋め込まれた透かしデータの埋め込みタイミングに限定されず、また、当該コンテンツの進行時間が変動してしまうものであっても、任意のタイミングで別のコンテンツを再生する。コンテンツ再生プログラムは、コンピュータに、透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納する第１テーブルと、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミングを格納する第２テーブルと、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する検出機能と、検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する取得機能と、取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する判定機能と、判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御する制御機能と、を実現させる。

Description

本発明は、コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システムに関する。

近年、映像や音楽等の複数のコンテンツを複数の機器で再生させて、イベント等を総合的に演出するサービスが多く存在する。この様なサービスにおいては、当該複数のコンテンツの進行を、当該複数の機器間で同期させる必要がある。当該同期にあたっては、例えば、演出のメインとなるコンテンツ（以下、「メインコンテンツ」という）の進行に合わせて、その他のサブとなるコンテンツ（以下、「サブコンテンツ」という）の再生タイミングを予め機器等に設定し、当該設定されたタイミングで各サブコンテンツを再生させる方法が考えられる。

しかしながら、俳優や歌手が舞台で劇を演じたり歌ったりする実演等においては、上記の様な方法では、実演等の進行時間が本番に変動するため、実演等のメインコンテンツの進行に合わせて、ＢＧＭ等のサブコンテンツの再生タイミングを予め設定することが難しいという課題がある。

当該課題に対して、特許文献１には、音声を伴った映像をメインコンテンツとして、また、当該映像に対するセカンドスクリーン情報（例えば、字幕等）をサブコンテンツとして、セカンドスクリーン情報を映像の進行に応じて携帯デバイスに出力させる方法が開示されている。

具体的には、当該開示された方法では、電子透かし技術を利用して、各映像シーンに対応づけられたセカンドスクリーン情報の識別情報を、映像の音声中に透かしデータとして埋め込み、当該映像の音声と共に出力させる。一方、携帯デバイスには、セカンドスクリーン情報のデータと当該識別情報とが対応付けられて格納されており、携帯デバイスに当該映像の音声が入力されると、当該透かしデータが検出されて、映像シーンに同期させてセカンドスクリーン情報を出力させることができる。ここで「電子透かし技術」とは、映像や音楽等のコンテンツに、透かしデータとして特定の情報を当該コンテンツの音等に埋め込む技術をいう。

この様な方法を用いれば、例えば、俳優や歌手が舞台で劇を演じたり歌ったりする実演等の進行時間が変動するメインコンテンツに対しても、実演に合わせて流すＢＧＭ等のサブコンテンツに透かしデータを埋め込み、当該サブコンテンツに合わせて当該透かしデータが入力されて、メインコンテンツの進行に応じて別のサブコンテンツであるセカンドスクリーン情報等を出力させることができる。

特開２０１５−６１１１２号公報

しかしながら、特許文献１に開示されている方法では、各映像シーンに埋め込まれた透かしデータと、セカンドスクリーン情報の識別情報とが１対１で対応付けられているため、各映像シーンに透かしデータが埋め込まれたタイミングでしかセカンドスクリーン情報を出力させることができない。このため、透かしデータの埋め込みタイミングと関係なく、各映像シーンの開始、途中又は終了といった様々なタイミングで字幕等のセカンドスクリーン情報を出力させることができないという問題がある。

そこで、本発明は、進行時間が変動してしまうコンテンツにおいても、コンテンツの透かしデータの埋め込みタイミングに限定されず任意のタイミングで、別のコンテンツの再生を制御するコンテンツ再生プログラム、コンテンツ再生システムを提供することを目的とする。

本発明の一態様に係るコンテンツ再生プログラムは、コンピュータに、透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納する第１テーブルと、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミングを格納する第２テーブルと、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する検出機能と、検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する取得機能と、取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する判定機能と、判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御する制御機能と、を実現させる。

本発明の一態様に係るコンテンツ再生方法は、コンピュータが、透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて第１テーブルに格納するステップと、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミングを第２テーブルに格納するステップと、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出するステップと、検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得するステップと、取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定するステップと、判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御するステップと、を含む。

本発明の一態様に係るコンテンツ再生システムは、ユーザ端末と、オペレータ端末とを含むコンテンツ再生システムであって、ユーザ端末は、透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納する第１テーブルと、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミングを格納する第２テーブルと、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する検出部と、検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する取得部と、取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する判定部と、判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御する制御部と、を備え、オペレータ端末は、オペレータからの第２サブコンテンツの再生に関する入力を受け付ける入力部と、受け付けた入力内容に基づいて、第２サブコンテンツの再生を制御する制御部と、を備える。

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されてもよい。

本発明によれば、進行時間が変動してしまうコンテンツにおいても、コンテンツの透かしデータの埋め込みタイミングに限定されず任意のタイミングで、別のコンテンツの再生を制御するコンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システムを提供することができる。

本発明の一実施形態であるコンテンツ再生システムの構成を示す図である。 ユーザ端末２００及びオペレータ端末１００のハードウェア構成の一例を示す図である。 オペレータ端末１００の機能構成の一例を示す図である。 ユーザ端末２００の機能構成の一例を示す図である。 コンテンツ再生システムにおけるコンテンツ再生処理の概要を示す図である。 コンテンツ再生システムにおけるコンテンツ再生処理の概要を示す図である。 コンテンツ再生システムにおけるテーブル構成の一例を示す図である。 ユーザ端末２００におけるコンテンツ再生処理の一例を示すフローチャートである。 コンテンツ再生における事象の一例の概要を示す図である。 図９の事象に対するコンテンツ再生システムにおけるコンテンツ再生制御の概要を示す図である。 ユーザ端末２００におけるコンテンツ再生制御処理の一例を示すフローチャートである。 コンテンツ再生システムにおけるコンテンツ再生制御の概要を示す図である。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。また、説明において、各タイミングにおける時刻を記載する場合、hh:mm:ss形式（時＝hh、分＝mm、秒＝ss）で記載する。なお、各タイミングを表す形式は、当該時刻情報に限られず、例えば、固定サイクルでインクリメントされるタイマー値等を用いてもよい。

本実施形態では、本実施形態に係るコンテンツ再生システム（以下、単に「コンテンツ再生システム」という）を舞台で行われる実演を含むコンテンツに適用した場合を例に説明するが、これに限る趣旨ではない。

＜１．システム概要＞
図１は、コンテンツ再生システムの概略構成を示す図である。コンテンツ再生システムは、図１に示すように、オペレータ端末１００、ユーザ端末２００ａ、２００ｂ及び２００ｃ（コンテンツ再生装置）（以下、特に区別の必要がない場合、総称して「ユーザ端末２００」という）、及びスピーカ３００ａ、３００ｂ（以下、特に区別の必要がない場合、総称して「スピーカ３００」という）を備える。

スピーカ３００は、劇場や球場等の実演の本番が行われる施設に設置され、オペレータ端末１００は、スピーカ３００から出力されるＢＧＭ等のコンテンツに対する人（オペレータ）の操作（例えば、ＢＧＭ等の再生操作等）に利用される。ユーザ端末２００では、当該コンテンツの再生に連動して、字幕や音声ガイド等の別のコンテンツが再生される。以降、舞台上で実演を行う演者やオペレータ端末１００又はスピーカ３００等の施設に設置されている機器等を総称して「舞台側」という。

舞台で行われる実演を含むコンテンツに適用した場合の本例では、例えば、舞台上ではメインとなるコンテンツ（メインコンテンツ）である実演が行われ、ＢＧＭ等のサブコンテンツ（第２サブコンテンツ）が当該実演の進行に合わせてオペレータ端末１００におけるオペレータの操作で再生される。ユーザ端末２００では、実演の進行に合わせてＢＧＭと共に、実演の進行の変動によるずれを反映するための二つテーブルを用いて、字幕等の別のサブコンテンツ（第１サブコンテンツ）が自動で再生される。本例におけるコンテンツ再生システムの概要を次の（１）〜（３）で説明する。なお、コンテンツ再生システムに含まれるコンテンツは、前述のとおり、「メインコンテンツ」と、「第１サブコンテンツ」と、「第２サブコンテンツ」とに大きく分かれて構成されるが、各コンテンツの詳細は後述する。

（１）コンテンツ再生システムが適用される実演では、本番前に、舞台側において、先ず、メインコンテンツである実演が予定どおり進行した場合のＢＧＭや字幕の再生スケジュールが設定される。次に、ＢＧＭが再生される区間中に同期ポイントが設定される。具体的には、実演の開始時刻等の同期基準タイミングを基準としたＢＧＭ再生区間中の任意の再生タイミングに、透かしデータとして同期ポイントＩＤを埋め込む。なお、当該スケジュール及び同期ポイントの設定は、オペレータ端末１００等に当該設定の情報を登録し、オペレータの操作等によって適宜編集されてもよい。

ここで、「同期ポイント」とは、メインコンテンツの進行に対して、サブコンテンツの進行の同期を図るポイントをいう。また「同期ポイントＩＤ」とは、同期ポイントを特定するための識別情報である。また、「同期基準タイミング」とは、例えば、メインコンテンツの開始時刻や場面が切り替わるシーンの開始時刻等のタイミングである。以降の説明では、同期基準タイミングとしてメインコンテンツの開始時刻「00:00:00」を採用した場合について説明する。

（２）コンテンツ再生システムで用いられるユーザ端末２００には、同期ポイントＩＤと、同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納した第１テーブルと、同期基準タイミングを基準として実演の進行に合わせて再生する字幕等の第１サブコンテンツの開始予定タイミングを格納する第２テーブルとが予め記憶される（又は、アクセス可能に設定される）。

（３）実演の本番当日において、舞台側でオペレータは、メインコンテンツである実演が開始されると、当該メインコンテンツの進行をモニターし、遅延等が発生した場合は、それを考慮してＢＧＭの再生タイミングを修正して再生制御する。この結果、メインコンテンツの実際の進行に応じたタイミングでＢＧＭが再生され、当該ＢＧＭの再生と共に同期ポイントＩＤが出力される。ユーザ端末２００において、当該ＢＧＭがマイク等で集音されると、当該ＢＧＭに埋め込まれている同期ポイントＩＤを検出し、検出された同期ポイントＩＤと第１テーブルとに基づき、該当する同期ポイントの予定タイミングを取得する。コンテンツ再生システムは、当該取得された同期ポイントの予定タイミングと、当該同期ポイントＩＤが検出されたタイミングとの差分（進行の遅延等による予定とのずれ）を取得し、当該差分と第２テーブルに基づき、実演の進行予定とのずれを反映させて、字幕を実際に開始させるタイミングを判定する。コンテンツ再生システムは、当該判定した開始タイミングに基づき、ユーザ端末２００において字幕を再生させる。

上記構成によれば、進行時間が変動してしまう実演等のメインコンテンツにおいても、ＢＧＭ等の第２サブコンテンツの透かしデータの埋め込みタイミングに限定されず、任意のタイミングで、第１サブコンテンツの再生を制御することができる。

また、上記構成によれば、オペレータが張り付いて舞台の進行に合わせて字幕の再生操作を行わなくとも、少ない誤差で、舞台上の進行とユーザ端末２００の字幕の再生進行とを同期させることもできる。

＜２．ハードウェア構成＞
図２は、オペレータ端末１００及びユーザ端末２００（以下、「ユーザ端末２００等」という）のハードウェア構成の一例を示す図である。ユーザ端末２００等は、第１サブコンテンツを再生可能な端末であれば足り、例えば、スマートフォン、タブレット端末、ラップトップ端末、デスクトップ端末又はメガネ型やリストバンド型等のウェアラブル端末等の情報端末であってもよい。図２に示すように、ユーザ端末２００等は、プロセッサ１１０、記憶装置１１５、通信インタフェース（Ｉ／Ｆ）１２０、音声入力装置１２５、音声出力装置１３０、操作入力装置１３５及び表示出力装置１４０を備える。

プロセッサ１１０は、データの演算、加工及び転送並びにプログラムの実行や他の装置の制御等を担う処理装置である。プロセッサ１１０は、記憶装置１１５に格納されているプログラムを実行することにより、ユーザ端末２００における様々な機能を実現することができる。

記憶装置１１５は、主記憶装置（例えば、揮発性メモリ、ランダムアクセスメモリ等）、補助記憶装置（例えば、不揮発性メモリ等）又は外部記憶装置等のプログラムやデータを記憶する装置である。

通信インタフェース１２０は、外部の装置との間でプログラムやデータの送受信を行うためのインタフェース装置である。通信インタフェース１２０は、例えば、携帯電話の通信網用のインタフェースや、無線ＬＡＮ（Local Area Network）用のインタフェースを含む。通信インタフェース１２０は、有線のインタフェースを含んでもよい。

音声入力装置１２５は、周囲の音を検出するための入力装置である。音声入力装置１２５は、例えば、マイク等である。音声入力装置１２５は、可聴域の音に限らず、非可聴域の音も検出することができる。音声入力装置１２５は、ユーザ端末２００等の外部に設けられていてもよい。

音声出力装置１３０は、音を出力するための出力装置である。音声出力装置１３０は、例えば、スピーカ等である。また、音声出力装置１３０は、イヤホンに音を出力するための装置であってもよい。第１サブコンテンツが音（例えば音声ガイドや吹き替え音声）を含む場合、当該音は音声出力装置１３０から出力される。

操作入力装置１３５は、ユーザやオペレータからの操作入力を受け付けるための装置である。操作入力装置１３５は、例えば、表示出力装置１４０と一体的に形成されたタッチパネルであってもよい。操作入力装置１３５は、ユーザ端末２００等の外部に設けられてもよく、例えば、キーボードやマウスパット等でもよい。

表示出力装置１４０は、画像（静止画又は動画）を表示するための出力装置である。表示出力装置１４０、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイである。表示出力装置１４０は、ユーザ端末２００等の外部に設けられていてもよい。第１サブコンテンツが画像（例えば字幕）を含む場合、当該画像はユーザ端末２００の表示出力装置１４０に表示される。

＜３．機能構成＞
＜３．１ オペレータ端末１００の機能構成＞
図３は、オペレータ端末１００の機能構成の一例を示す図である。オペレータ端末１００は、入力部１５０と、出力部１５５と、制御部１６０と、記憶部１６５とを備える。図３に示す各部は、例えば、記憶装置１１５の記憶領域を用いたり、記憶装置１１５に格納されたプログラム（コンテンツ再生プログラム）をプロセッサ１１０が実行したりすることにより実現することができる。

入力部１５０は、オペレータ端末１００において各種情報の入力を受け付ける。入力部１５０は、例えば、オペレータからの第２サブコンテンツの再生に関する入力を受け付けてもよい。入力部１５０は、オペレータ端末１００に接続されたキーボードへの操作入力を受け付けたり、オペレータ端末１００に内蔵されたマイクを用いて音声入力したりと、様々な入力態様を含む。

出力部１５５は、オペレータ端末１００において各種情報を出力する。出力部１５５は、オペレータ端末１００の画面に表示したり、オペレータ端末１００に内蔵されたスピーカを用いて音声出力したりと、様々な出力態様を含む。また、出力部１５５は、例えば、第２サブコンテンツを出力してもよい。

制御部１６０は、入力部１５０が受け付けた入力内容に基づいて、第２サブコンテンツの再生を制御する。

記憶部１６５は、例えば、第２サブコンテンツを記憶してもよい。また、記憶部１６５は、例えば、オペレータからの操作内容を示す操作データを記憶してもよい。

＜３．２ ユーザ端末２００の機能構成及び再生制御の仕組み＞
最初に、図５〜６を用いて、コンテンツ再生システムの再生制御の仕組みについて説明する。図５〜６は、舞台側において、メインコンテンツとして実演が行われ、当該実演に合わせた第２サブコンテンツとして「ＢＧＭ１」〜「ＢＧＭ２」が再生される状況と、ユーザ端末２００において、当該実演に合わせてＢＧＭと共に、第１サブコンテンツとして「字幕１」〜「字幕２」が再生される状況とを表している。

ここで、「メインコンテンツ」とは、進行時間が変動するコンテンツである。この様なメインコンテンツとしては、例えば、人による演劇、ダンス若しくはパフォーマンス又は動物を用いたショー等の生物による実演等のコンテンツが考えられる。また、メインコンテンツは、各サブコンテンツの再生制御において基準となるコンテンツでもある。メインコンテンツは、具体的には、各サブコンテンツの再生を同期させるための基準とするタイミングを示す同期基準タイミングが設定されている。

また、「第１サブコンテンツ」とは、メインコンテンツの進行に応じてユーザ端末２００等で再生されるコンテンツである。この様なサブコンテンツとしては、例えば、テキスト情報（例えば、字幕やガイド等）、音（例えば、音楽又は音声ガイド等）、画像（例えば、手話画像又は説明画像等）、光や振動等による演出（例えば、端末に内蔵されるランプの点滅、携帯のバイブレーション又は端末に接続されたペンライトによる発光等）等のコンテンツが考えられる。第１サブコンテンツは、例えば、メインコンテンツが実演の場合、当該実演に連動して再生される字幕等のテキスト情報であってもよい。

また、「第２サブコンテンツ」とは、第１サブコンテンツと共にメインコンテンツの進行に応じて再生されるコンテンツである。第２サブコンテンツは、例えば、オペレータ端末１００におけるオペレータの操作等に基づいて、スピーカ３００等の劇場等の施設に設置される機器によって再生される。この様なサブコンテンツとしては、例えば、音（例えば、ＢＧＭ又は効果音等）、画像（例えば、ライブ映像又はスクリーン映像等）、光による演出（例えば、スポットライトやサイリウム等による発光）等のコンテンツが考えられる。第２サブコンテンツには、第１サブコンテンツの再生を制御するための透かしデータが埋め込まれており、第２サブコンテンツの再生によって、第１サブコンテンツの再生を制御することができる。ここで「透かしデータ」とは、任意の電子透かし技術を利用して、画像や音楽等のコンテンツに埋め込まれる、特定の情報（本例の場合、「同期ポイントＩＤ」）を示すデータである。

図５は、予め設定されたコンテンツ再生のスケジュールを示している。図５に示す例では、舞台側では、同期基準タイミングである実演開始時刻「00:00:00」を基準として、「ＢＧＭ１」は「00:05:00」、「ＢＧＭ２」は「00:30:00」の開始予定タイミングで再生されることがスケジューリングされている。

一方、ユーザ端末２００では、「字幕１」は「00:12:00」、「字幕２」は「00:43:00」の開始予定タイミングで再生されることがスケジューリングされている。また、図５において、実演における「字幕２」を開始させたいポイントについて、Ｐの丸マーク（以下、「ポイントＰ」という）を付与する。当該スケジュールにおいては、ポイントＰのタイミングと「字幕２」の開始予定タイミングが合うようにスケジューリングされている。

図６の舞台側においては、実演の本番当日において、実演の進行が、実演者の演技が長引く等して予定より遅延している（本例では、１秒遅延しているものとする）状況を示している。遅延の発生以降のＢＧＭの再生は、オペレータが遅延を考慮して再生タイミングを修正する結果、予定より５分ずつおくれて再生される。図６では、遅延以降に再生されるＢＧＭの再生タイミングが予定されていた「00:30:00」より５分遅れて「00:35:00」に再生される様子が示されている。

一方、図６のユーザ端末２００においては、コンテンツ再生システムが当該遅延による進行のずれを吸収し、実演の進行に「字幕２」の進行を同期させている状況を示している。具体的には、「ＢＧＭ２」に埋め込まれた透かしデータとして同期ポイントＩＤ「ID:002」が「ＢＧＭ２」と共に出力されると、ユーザ端末２００において、（１）当該同期ポイントＩＤを検出し、（２）当該検出された同期ポイントＩＤと同期ポイントＩＤと当該同期ポイントの予定タイミングとを対応付けて格納した第１テーブルとに基づき、同期ポイントＩＤ「ID:002」の予定タイミング「00:30:00」を取得し、当該取得された予定タイミングと当該同期ポイントＩＤが検出されたタイミング「00:35:00」との差分（遅延によるずれ５分）を取得し、（３）ユーザ端末２００は、「字幕２」の開始タイミングを、予め設定された開始予定タイミング「00:43:00」に対して当該差分を反映させることで「00:48:00」と判定し、当該開始タイミングで「字幕２」の再生を開始させる。

上記構成によれば、舞台側の実演等のメインコンテンツにおいて遅延が発生し、予定より進行時間が変動しても、実演等のメインコンテンツの遅延の発生した進行に合わせた適切なタイミングで、字幕等の第１サブコンテンツの再生を開始させることができる。

図４は、ユーザ端末２００の機能構成の一例を示す図である。ユーザ端末２００は、検出部２１０と、取得部２１５と、判定部２２０と、制御部２２５と、記憶部２３０と、を備える。図４に示す各部は、例えば、記憶装置１１５の記憶領域を用いたり、記憶装置１１５に格納されたプログラム（コンテンツ再生プログラム）をプロセッサ１１０が実行したりすることにより実現することができる。

検出部２１０は、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する。

取得部２１５は、検出部２１０で検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントのタイミングを取得する。取得部２１５は、当該取得した同期ポイントのタイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する。

判定部２２０は、取得部２１５で取得された差分と、第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する。

制御部２２５は、判定部２２０で判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御する。

記憶部２３０は、第１テーブルと、第２テーブルとを記憶する。記憶部２３０は、例えば、後述する第３テーブルを記憶してもよい。なお、記憶部２３０は、各テーブルの記憶にあたっては、ＲＤＢやＮｏＳＱＬ等のデータベースシステムを利用してもよいし、ファイルシステムを利用してもよい。記憶部２３０は、例えば、コンテンツ再生プログラムを記憶してもよい。

＜テーブル構成＞
ここで、図７を用いて、第１テーブル４１０と、第２テーブル４２０とについて詳細に説明する。なお、各テーブルは理解を容易にするため、各情報を直接的に対応付けて一つのテーブルで格納するよう表現しているが、これに限定せず、複数のテーブルに渡って間接的に対応付けて格納するようにしてもよい。

図７に示すように、第１テーブル４１０は、同期ポイントＩＤ４１２と、同期予定タイミング４１４とを対応付けて格納する。第１テーブル４１０は、例えば、同期ポイントＩＤ４１２「001」と、当該同期ポイントＩＤが特定する同期予定タイミング４１４「00:05:00」とを対応付けて格納する。なお、同期予定タイミング４１４は、同期基準タイミングを基準として、例えば、メインコンテンツに対する第１サブコンテンツの編成又は演出等に応じて任意のタイミング等を設定すればよい。同期予定タイミング４１４は、具体的には、同期基準タイミングから５秒、１０秒、１分等の等間隔で設定してもよいし、各ＢＧＭが再生開始となるタイミングで設定してもよい。

第２テーブル４２０は、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミング４２２を格納する。第２テーブル４２０は、例えば、開始予定タイミング４２２と、第１サブコンテンツを示す情報（以下、「第１サブコンテンツ情報」という）４２４とを対応付けて格納してもよい。第１サブコンテンツ情報は、例えば、第１サブコンテンツを特定するための識別情報等である。第１サブコンテンツ情報は、例えば、第１サブコンテンツＩＤ、第１サブコンテンツのタイトル名、第１サブコンテンツが実装されたファイル名、ファイルパス等を含んで構成してもよい。第２テーブル４２０は、例えば、第１サブコンテンツの開始予定タイミング４２２「00:45:00」と当該開始予定の第１サブコンテンツ情報「映像１」とを対応付けて格納してもよい。

ユーザ端末２００は、上記の各部の他に、コンテンツ取得部（不図示）を設けてもよい。コンテンツ取得部は、例えば、ユーザ端末２００で再生制御される第１サブコンテンツやユーザ端末２００で実行されるコンテンツ再生プログラムを、例えばインターネットや外部媒体を介して取得し、記憶部２３０に格納してもよい。なお、第１サブコンテンツは、ユーザ端末２００において、必ずしも、コンテンツ取得部によって取得され、記憶部２３０に格納等されなくてもよい。ユーザ端末２００は、例えば、他の端末に記憶されている第１サブコンテンツを、ユーザ端末２００からの再生制御メッセージの送信によって、再生させてもよい。

＜４．処理の流れ＞
図８は、ユーザ端末２００におけるコンテンツ再生処理の一例を示すフローチャートである。図８に示す処理は、例えば、ユーザによるコンテンツ再生プログラムが実装されたアプリケーションに対するインストールリクエスト又は当該アプリケーションを起動したことをトリガーにより開始される。なお、以下に示す処理の順番は一例であって、適宜、変更されてもよい。

図８に示すように、ユーザ端末２００は、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する（Ｓ７０１）。

ユーザ端末２００は、当該検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントのタイミングを取得する（Ｓ７０２）。ユーザ端末２００は、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する（Ｓ７０３）。ユーザ端末２００は、当該取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する。（Ｓ７０４）。

ユーザ端末２００は、当該判定された第１サブコンテンツの開始タイミングに基づき第１サブコンテンツの再生を制御する（Ｓ７０５）。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

（変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記実施の形態に限定されない。以下のような場合も本発明に含まれる。

（１）上記実施の形態では、メインコンテンツとして進行時間が変動する実演等を例にしたが、本発明は、例えば、進行時間が実質的に変動しない映画やライブ映像等のコンテンツにおいても適用することが可能である。例えば、メインコンテンツが映画の場合、第１サブコンテンツは映画の字幕等としてもよい。メインコンテンツが、進行時間が変動しないコンテンツであっても、メインコンテンツを再生させる機器と、オペレータ端末１００と、ユーザ端末２００との間でシステム時刻のずれを生じることがあり、本発明を用いることで、各コンテンツ間のこの様なずれを実質的に解消することができる。なお、本発明を用いるにあたっては、ユーザ端末２００のシステム時刻を用いて、当該システム時刻から取得した同期ポイントＩＤの検出タイミングと、第１テーブル４１０に当該同期ポイントＩＤに対応付けられている同期ポイントの予定タイミングとの差分を用いて第１サブコンテンツを再生制御する。

（２）上記実施の形態では、制御部２２５は、判定部２２０で判定された開始タイミングで第１サブコンテンツを再生制御するが、例えば、第１サブコンテンツに対して再生の前提となる少なくとも一つの第２サブコンテンツが設定されている場合、前提となる第２サブコンテンツに埋め込まれた同期ポイントＩＤが検出されたことを条件に、当該第１サブコンテンツを再生するように制御してもよい。

ここで、図９と図１０とを用いて、制御部２２５の上記構成について説明する。図９は、コンテンツ再生制御における事象の一例の概要を示す模式図である。図１０は、図９の事象に対するコンテンツ再生システムにおけるコンテンツ再生制御の概要を示す模式図である。

図９に示すように、第１サブコンテンツにおける「字幕１」と「字幕２」について、「字幕１」に続いて、実演のポイントＰのタイミング及び第２サブコンテンツの「ＢＧＭ２」と合わせて「字幕２」を再生させるよう自走させていたとする。当該自走の間、メインコンテンツの実演において何らかの遅延（本例での遅延は３分とする）が発生した場合、ユーザ端末２００において第２サブコンテンツ「ＢＧＭ２」の同期ポイントＩＤが検出される前に「字幕２」が実演に対して「00:20:00」に先に出力されてしまう。その後、「ＢＧＭ２」が検出されると、当該検出タイミングにおいて遅延発生による差分を取得して、開始タイミングを判定するため、再度、「00:23:00」に「字幕２」が出力されてしまう事象が考えられる。なお、ここで「自走」とは、ユーザ端末２００等において、外部からの送信メッセージ等のトリガーなく、自端末内で各処理を開始し、実行させていくことをいい、例えば、スケジューラーに予め第１サブコンテンツの再生スケジュールを登録し、当該登録された再生スケジュールに基づき、第１サブコンテンツを順次再生させていくことをいう。

当該事象に対し、図１０に示すように、制御部２２５は、第１サブコンテンツ「字幕２」に対して再生の前提となる第２サブコンテンツとして「ＢＧＭ２」を予め設定し、当該前提となる「ＢＧＭ２」の同期ポイント「ID:001」が検出部２１０で検出されたことを条件に、「字幕２」を再生するように制御する。当該制御によって、実演の進行が遅れてしまっても、「字幕２」の再生を待機させて、「ＢＧＭ２」の同期ポイントＩＤが検出されて初めて「字幕２」を再生させることができる。この様な態様によれば、第１サブコンテンツの再生を自走させている間において、メインコンテンツの再生で遅延が生じても、メインコンテンツの進行に応じた第２サブコンテンツの進行に合わせて第１サブコンテンツを再生することができる。このため、ユーザにとって使用性の高いコンテンツ再生システムを提供することができる。

また、図１１を用いて、制御部２２５の上記構成における再生制御処理の一例について説明する。図１１に示すように、イベントドリブン又は固定サイクルで、ユーザ端末２００は、現在時刻（例えば、ユーザ端末２００のシステム時刻等）を取得し、当該取得した現在時刻において開始タイミングとなっている第１サブコンテンツは存在するか判定する（Ｓ７１１）。当該開始タイミングとなっている第１サブコンテンツが存在しない場合（Ｓ７１１のＮＯ）、処理を終了する。

ユーザ端末２００は、当該開始タイミングとなっている第１サブコンテンツが存在する場合（Ｓ７１１のＹＥＳ）、当該第１サブコンテンツに対して再生の前提となる第２サブコンテンツが設定されているか判定する（Ｓ７１２）。当該前提となる第２サブコンテンツが設定されている場合（Ｓ７１２のＹＥＳ）、当該前提となる第２サブコンテンツに埋め込まれ同期ポイントＩＤが検出されたか判定する（Ｓ７１３）。ユーザ端末２００は、当該同期ポイントＩＤが検出されていると判定した場合（Ｓ７１３のＹＥＳ）、上記第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツを再生する（Ｓ７１４）。一方、当該同期ポイントＩＤが検出されていないと判定した場合（Ｓ７１３のＮＯ）、処理を終了する。

ユーザ端末２００は、当該第１サブコンテンツに対して再生の前提となる第２サブコンテンツが設定されていない場合（Ｓ７１２のＮＯ）、上記第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツを再生する（Ｓ７１４）。

（３）上記実施の形態では、検出部２１０が検出する透かしデータは、例えば、非可聴領域の音に埋め込まれたデータを含んでもよい。この様な態様によれば、ＢＧＭ等の第２サブコンテンツが配置されていない区間においても、当該非可聴音域の音であればユーザに気付かせることなく、当該音に埋め込んだ同期ポイントＩＤの透かしデータを出力させることもできる。

（４）上記実施の形態では、第１テーブルと、第２テーブルとを用いて制御部２２５でコンテンツの再生制御をする例をしたが、本発明は、例えば、同期ポイントＩＤと、第１サブコンテンツ情報とを対応付けて格納する第３テーブルをさらに備え、当該検出された同期ポイントＩＤと第３テーブルとに基づき、当該同期ポイントＩＤに対応付けられた第１サブコンテンツ情報が示す第１サブコンテンツの再生を制御する第２制御部と、を備えてもよい。第２制御部は、例えば、第２テーブルに、当該検出された同期ポイントＩＤが格納されておらず、第３テーブルに当該検出された同期ポイントＩＤが格納されている場合に、当該検出された同期ポイントＩＤと第３テーブルとに基づき、当該同期ポイントＩＤに対応付けられた第１サブコンテンツの再生を制御してもよい。

上記構成によれば、例えば、（１）従来技術のように、第１サブコンテンツを自走させたい区間においては、第１テーブル４１０及び第２テーブル４２０を用いて、一方、（２）第１サブコンテンツを第２サブコンテンツの再生タイミング（透かしデータの埋め込みタイミング等）に合わせて開始させたい区間においては、第１テーブル４１０及び第３テーブルを用いることで、二つの種類の第１サブコンテンツの再生制御を実現することができる。この様な構成によれば、様々なバリエーションのコンテンツ再生制御を、ユーザの操作入力なく実現することができる。

（５）上記変形例（４）では、第３テーブルは、第１テーブル４１０とは別途一つのテーブルとして構成しているが、例えば、第１テーブル４１０とまとめて一つのテーブルを構成してもよい。第３テーブルは、具体的には、第１テーブル４１０とまとめて、第１同期ポイントＩＤを主キーとして、同期予定タイミングと、第１サブコンテンツ情報との３つのカラムから構成してもよいし、同期予定タイミングと第１サブコンテンツ情報とを一つのカラムで共有するよう構成してもよい。この様な構成によれば、参照先のテーブル数を減らすことができ、処理効率のよいコンテンツ再生システムを提供することができる。

（６）上記実施の形態では、第１サブコンテンツ（字幕）を直列で再生する例について説明しているが、図１２で示すように、第１サブコンテンツを第１サブコンテンツ１と第１サブコンテンツ２とで大きく分けて、例えば、一つのユーザ端末２００において並列で複数の第１サブコンテンツを同時に再生するよう制御してもよい。また、別の例として、複数のユーザ端末２００の間で、ユーザ端末２００ａでは第１サブコンテンツ１を再生するように、また、他方のユーザ端末２００ｂでは第１サブコンテンツ２を再生するように、端末ごとに制御してもよい。また、図１２で示すように、舞台側において、なお、「ＢＧＭ１」には同期ポイントＩＤ「ID:001」及び「ID:002」が設定され、「ＢＧＭ２」には同期ポイントＩＤ「ID:003」が設定されているように、第２サブコンテンツの単位と、設定されている同期ポイントの数は１対１に限らず、１対他でも、他対１でも、他対他でもいずれでもよい。

上記構成によれば、一つの透かしデータに対して、ユーザ端末２００側で多様に、かつ、柔軟に、第１サブコンテンツを再生することができるので、拡張性の高いコンテンツ再生システムを提供することができる。

（７）上記実施の形態では示していないが、ユーザ端末２００は、例えば、スマートフォンの通知ランプやＬＥＤランプ等の発光装置を備えてもよい。発光装置は、例えば、第１サブコンテンツが光による演出を含む場合、当該演出のための光は、当該発光装置によって発光されてもよい。このような構成によれば、ユーザ端末２００を用いてメインコンテンツの進行に合わせて、ユーザにとって趣向性の高い、また、会場全体で様々な演出を実現することができるコンテンツ再生システムを提供することができる。

（８）上記実施の形態では、電子透かし技術を用いて同期ポイントＩＤを検出させる例を説明したが、音声フィンガープリント技術を用いてもよい。「音声フィンガープリント技術」とは、オリジナルとなるデジタル音源から音声波形の特徴を電子的に抽出し、オリジナルの音源よりも小さなデータ（フィンガープリント）として当該抽出された特徴を扱うデジタル音声信号処理技術をいう。コンテンツ再生システムは、例えば、音声入力装置１２５が受け付けた音の波形等の特徴量を抽出し、記憶装置１１５に予め記憶させた音の波形の教師データと照合することで、同期ポイントＩＤを判定し、検出してもよい。

上記構成によれば、第２サブコンテンツのオリジナルから得られる識別性ある特徴を用いることができるため、第２サブコンテンツに透かしデータを埋め込むことなく、同期ポイントを検出することができる。これにより、汎用性の高いコンテンツ再生システムを提供することができる。

１００…オペレータ端末、１１０…プロセッサ、１１５…記憶装置、１２０…通信インタフェース、１２５…音声入力装置、１３０…音声出力装置、１３５…操作入力装置、１４０…表示出力装置、１５０…入力部、１５５…出力部、１６０…制御部、１６５…記憶部、２００、２００ａ、２００ｂ、２００ｃ…ユーザ端末、２１０…検出部、２１５…取得部、２２０…判定部、２２５…制御部、２３０…記憶部、３００、３００ａ、３００ｂ…スピーカ、４１０…第１テーブル、４２０…第２テーブル

Claims (7)

1. コンピュータに、
   透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした第１のタイミングとを対応付けて格納する第１テーブルと、
   第１サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第２のタイミングとを対応づけて格納する第２テーブルであって、前記第２のタイミングは、前記第１のタイミングとは独立して設定される、第２テーブルと、
   前記メインコンテンツの進行に応じて再生される第２サブコンテンツから、前記透かしデータとして埋め込まれている前記同期ポイントＩＤを検出する検出機能と、
   前記検出された同期ポイントＩＤと前記第１テーブルとに基づき、前記検出された同期ポイントＩＤに対応する前記第１のタイミングを取得し、当該取得した第１のタイミングと前記同期基準タイミングを基準とした前記同期ポイントＩＤの検出タイミングとの差分を取得する取得機能と、
   前記第１サブコンテンツについて、前記取得された差分と、前記第２テーブルにおいて前記第１サブコンテンツを示す情報に対応する前記第２のタイミングとに基づき、開始タイミングを判定する判定機能と、
   前記判定された第１サブコンテンツの開始タイミングに基づき、前記第１サブコンテンツの再生を制御する制御機能と、を実現させるための、
   コンテンツ再生プログラム。
2. 前記制御機能は、前記第１サブコンテンツに対して再生の前提となる少なくとも一つの前記第２サブコンテンツが設定されている場合、前記前提となる第２サブコンテンツに埋め込まれた前記同期ポイントＩＤが検出されたことを条件に、前記第１サブコンテンツを再生するように制御する
   請求項１に記載のコンテンツ再生プログラム。
3. 前記透かしデータは、非可聴領域の音に埋め込まれたデータを含む、
   請求項１又は２に記載のコンテンツ再生プログラム。
4. 前記メインコンテンツは、生物による実演を含み、前記第１サブコンテンツは、前記第２サブコンテンツと共に前記メインコンテンツの進行に応じて再生されるテキスト情報であり、前記第２サブコンテンツは、前記メインコンテンツの進行に応じて再生される音楽である、
   請求項１から３のいずれか１項に記載のコンテンツ再生プログラム。
5. 前記同期ポイントＩＤと、前記第１サブコンテンツを示す情報とを対応付けて格納する第３テーブルと、
   前記同期ポイントＩＤが前記検出機能で検出された場合、前記検出された同期ポイントＩＤと前記第３テーブルとに基づき、前記同期ポイントＩＤに対応付けられた前記情報が示す前記第１サブコンテンツの再生を制御する第２制御機能と、を実現させるための、
   請求項１から４のいずれか１項に記載のコンテンツ再生プログラム。
6. コンピュータが、
   透かしデータとして埋め込まれた同期ポイントＩＤとメインコンテンツの同期基準タイミングを基準とした第１のタイミングとを対応付けて第１テーブルに格納するステップと、
   第１サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第２のタイミングとを対応づけて第２テーブルに格納するステップであって、前記第２のタイミングは、前記第１のタイミングとは独立して設定される、ステップと、
   前記メインコンテンツの進行に応じて再生される第２サブコンテンツから、前記透かしデータとして埋め込まれている前記同期ポイントＩＤを検出するステップと、
   前記検出された同期ポイントＩＤと前記第１テーブルとに基づき、前記検出された同期ポイントＩＤに対応する前記第１のタイミングを取得し、当該取得した第１のタイミングと前記同期基準タイミングを基準とした前記同期ポイントＩＤの検出タイミングとの差分を取得するステップと、
   前記第１サブコンテンツについて、前記取得された差分と、前記第２テーブルにおいて前記第１サブコンテンツを示す情報に対応する前記第２のタイミングとに基づき、開始タイミングを判定するステップと、
   前記判定された第１サブコンテンツの開始タイミングに基づき、前記第１サブコンテンツの再生を制御するステップと、を含む、
   コンテンツ再生方法。
7. ユーザ端末と、オペレータ端末とを含むコンテンツ再生システムであって、
   前記ユーザ端末は、
   透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした第１のタイミングとを対応付けて格納する第１テーブルと、
   第１サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第２のタイミングとを対応づけて格納する第２テーブルであって、前記第２のタイミングは、前記第１のタイミングとは独立して設定される、第２テーブルと、
   前記メインコンテンツの進行に応じて再生される第２サブコンテンツから、前記透かしデータとして埋め込まれている前記同期ポイントＩＤを検出する検出部と、
   前記検出された同期ポイントＩＤと前記第１テーブルとに基づき、前記検出された同期ポイントＩＤに対応する前記第１のタイミングを取得し、当該取得した第１のタイミングと前記同期基準タイミングを基準とした前記同期ポイントＩＤの検出タイミングとの差分を取得する取得部と、
   前記第１サブコンテンツについて、前記取得された差分と、前記第２テーブルにおいて前記第１サブコンテンツを示す情報に対応する前記第２のタイミングとに基づき、開始タイミングを判定する判定部と、
   前記判定された第１サブコンテンツの開始タイミングに基づき、前記第１サブコンテンツの再生を制御する制御部と、を備え
   前記オペレータ端末は、
   オペレータからの第２サブコンテンツの再生に関する入力を受け付ける入力部と、
   前記受け付けた入力内容に基づいて、第２サブコンテンツの再生を制御する制御部と、を備える、
   コンテンツ再生システム。

Images