JPWO2017068855A1 - メディア記録再生装置、および、メディア再生装置 - Google Patents

Abstract

派生元パッケージから生成された派生パッケージに対して付与された注釈情報を、派生元パッケージや、同じ派生元パッケージから生成された別の派生パッケージの再生時にメディアデータと合わせて提示可能なメディア再生装置を提供する。メディア記録再生装置（１）は、派生メディア情報を含むパッケージ情報を記録するパッケージ記録部（１５）と、メディア記録部（１２）と、注釈記録部（１６）と、派生メディアを含むパッケージ情報を再生するパッケージ再生部（１７）を備えている。

Description

本発明の一態様は、映像・音声等のメディアデータと、コメントや関連データ等の注釈情報とを関連付けて記録するとともに、要求に従って関連するメディアデータと注釈情報を再生するメディア記録再生装置に関する。

撮影された映像や録音された音声に代表されるメディアデータを記録し再生するためにメディア記録再生装置が利用されている。メディア再生装置は、メディアデータをハードディスクに代表される記録媒体に記録し、ユーザの再生要求に応じて記録されたメディアデータを再生し、ディスプレイに代表される表示装置に表示できる形式で出力する。

メディア記録再生装置の機能の一つに、メディアデータに関連付けられた注釈情報を記録する注釈情報記録機能がある。また、関連付けられて記録された注釈情報とメディアデータを合わせて再生する注釈情報再生機能もある。

注釈情報記録機能や注釈情報再生機能を活用することで、映像の特定時刻における状況を表す情報を注釈情報として記録・再生したり、特定時刻の音声の発話者を表す情報を注釈情報として記録・再生したりできる。

特許文献１には、メディアデータに注釈情報を付与して活用する方法が開示されている。具体的には、メディアデータ（メディアコンテンツデータ）の特定時刻に関連付けて、各種注釈情報、すなわち、テキスト注釈、グラフィカル注釈、および、オーディオ注釈を付与し、メディアデータの再生時に適切なタイミングで関連付けられた注釈情報を提示する方法が開示されている。

一方、メディア記録再生装置の別の機能の一つに、メディアデータに編集を施すことで派生メディアデータを作成するとともに、その派生メディアデータを記録・再生する機能がある。

特許文献２には、メディアデータを自動編集して元のメディアデータの要約に相当する派生メディアデータを作成する方法が開示されている。具体的には、映像を自動編集して要約映像を作成する方法が開示されている。

日本国公表特許公報「特表２０１１−５３０７４５号」 日本国公開特許公報「特開２０１１−６１２６３号」

しかしながら、特許文献１や特許文献２に代表される従来技術では、特定のメディアデータである派生元メディアデータから生成された派生メディアデータに対して付与された注釈情報を、注釈情報の付与時に試用された派生メディアデータ（注釈付与対象メディアデータ）以外のメディアデータの再生時に活用することが難しいという課題があった。

例えば、派生メディアデータにおける提示時刻ｔ０に関連付けられて付与された注釈情報が、派生元メディアデータにおけるどの提示時刻に関連付けられるのかの判定ができないという課題があった。

また、一つのメディアデータから複数の派生メディアデータを生成する場合に、派生メディアデータ間で注釈情報の更新内容を交換する仕組みがないという課題があった。

例えば、メディアデータＡから派生メディアデータＢおよび派生メディアデータＣを生成し、派生メディアデータＣに対して派生メディアデータＢとも関連する注釈情報を付与した場合に、派生メディアデータＢを扱う構成要素から注釈情報の更新を知る仕組みがないという課題があった。

インターネットに代表される伝送路を経由して交換される映像や音声に代表されるメディアデータのデータ量は増加しており、保有する全てのメディアデータをユーザ間で共有することは現実的ではない。そこで、メディアデータに対して付与される注釈情報を共有する場合には、元のメディアデータではなく、データ量が少なくなるよう編集された派生メディアデータに対して注釈情報を付与可能な仕組みを実現するともに、派生元メディアデータや別の派生メディアデータの再生時に同じ注釈情報が適切なメディア内位置、つまり、適切な時刻や位置に提示されることが重要であるが、従来技術ではそのようなシステムやサービスを実現できないという課題があった。

上記課題を解決するため、本発明の一態様によるメディア記録再生装置は、記録されたパッケージ情報に基づいてメディアデータと注釈情報を再生するメディア記録再生装置であって、派生メディア情報を含むメディア情報を、少なくとも含んだパッケージ情報を記録するパッケージ記録部と、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、メディアデータを記録するメディア記録部と、パッケージ情報に基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部を備え、前記パッケージ再生部は、再生対象のパッケージが派生メディアであることを前記派生メディア情報に含まれる派生メディア識別情報が示す場合に、前記メディア情報に含まれる構成要素情報を参照してメディアデータと注釈情報を再生することを特徴とする。

上記課題を解決するため、本発明の一態様によるメディア再生装置は、メディアデータを含むパッケージデータを受信して、メディアデータと注釈情報を再生するメディア再生装置であって、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、パッケージデータに基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部と、付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新するとともに外部に通知する注釈更新部と、通知された注釈情報を受信して前記注釈記録部に記録された注釈情報を更新する注釈受信部とを備え、前記パッケージデータは、派生メディア情報を含むことを特徴とする。

本発明の一態様によるメディア記録再生装置は、記録されたパッケージ情報に基づいてメディアデータと注釈情報を再生するメディア記録再生装置であって、派生メディア情報を含むメディア情報を、少なくとも含んだパッケージ情報を記録するパッケージ記録部と、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、メディアデータを記録するメディア記録部と、パッケージ情報に基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部を備えており、前記パッケージ再生部は、再生対象のパッケージが派生メディアであることを前記派生メディア情報に含まれる派生メディア識別情報が示す場合に、前記メディア情報に含まれる構成要素情報を参照してメディアデータと注釈情報を再生する。

したがって、本発明の一態様によるメディア記録再生装置によれば、再生対象パッケージが派生メディアを含む場合であっても、派生メディアの派生元メディアをパッケージ情報に含まれる派生メディア情報から特定できるため、派生メディアを含むパッケージの再生時に、派生元メディアに関連付けられて記録された注釈情報を注釈記録部から読み出して、構成要素情報に基づいて再生位置や再生タイミングを調整した上でメディアデータと合わせて再生できる。

上記課題を解決するため、本発明の一態様によるメディア再生装置は、メディアデータを含むパッケージデータを受信して、メディアデータと注釈情報を再生するメディア再生装置であって、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、パッケージデータに基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部と、付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新するとともに外部に通知する注釈更新部と、通知された注釈情報を受信して前記注釈記録部に記録された注釈情報を更新する注釈受信部とを備え、前記パッケージデータは、派生メディア情報を含むことを特徴とするメディア再生装置。

したがって、本発明の一態様によるメディア再生装置によれば、入力されるパッケージデータが派生メディアを含む場合であっても、派生メディアの派生元メディアをパッケージデータ含まれる派生メディア情報から特定できるため、派生メディアを含むパッケージの再生時に、派生元メディアに関連付けられて記録された注釈情報を注釈記録部から読み出して、メディアデータと合わせて再生できる。

加えて、メディア再生装置は、注釈更新部を有するため、パッケージの再生時に付与された注釈を注釈記録部に記録するとともに外部に通知できる。また、メディア再生装置は、注釈受信部を有するため、通知された注釈情報を受信して注釈記録部の注釈情報を更新できる。したがって、メディア再生装置は、派生メディアを含むパッケージの再生時に、他のメディア再生装置により付与され通知された注釈情報を含めて再生映像を生成して表示することができる。

本実施形態に係るメディア記録再生装置および注釈付与装置における処理の各段階における映像と注釈情報と提示時刻の関係を例示した図である。 本発明の一実施形態に係るメディア記録再生装置の概略的構成を示すブロック図である。 メディア記録再生装置においてパッケージ記録部に記録されるパッケージ情報のデータ構造を表すテーブルである。 メディア記録再生装置において注釈記録部に記録される注釈情報のデータ構造を示す表である。 メディア記録再生装置に含まれるパッケージ再生部の概略的構成を示すブロック図である。 前記メディア記録再生装置において注釈記録部に記録される注釈情報のうち、注釈補足情報のデータ構造を示す表である。 本発明の一実施形態に係るメディア再生装置の概略的構成を示すブロック図である。 メディア再生装置において入力されるパッケージデータのデータ構造を表すテーブルである。

図１〜図６に基づいて、本発明の一実施形態に係るメディア記録再生装置１および注釈付与装置２を説明すれば以下のとおりである。

〔実施形態１：メディア記録再生装置の構成〕
本実施形態に係るメディア記録再生装置１の構成を図２に示す。メディア記録再生装置１は、概略的には、入力されるメディアデータをパッケージと関連付けて記録する。加えて、外部からの再生制御により指定されたパッケージについて、パッケージに関連付けられたメディアデータおよび注釈情報を再生することで再生映像を構成して出力する。加えて、入力される付与注釈情報に基づいて、注釈情報を更新する。

パッケージとは、複数のメディアデータと注釈情報を代表とする関連情報とを合わせて含むデータと表現できる。また、以下では、パッケージを表現するためのデータ構造をパッケージ情報と呼ぶ。以下ではパッケージ情報にはメディアデータそのものは含まず、パッケージに含まれるメディアデータを参照するための情報（メディア参照情報）が含まれているものとして説明するが、パッケージ情報に直接メディアデータを含むようにメディア記録再生装置を構成することも可能である。また、パッケージには、メディアデータに対する付加的な情報であるメディア付加情報が含まれていてもよい。パッケージに含まれるメディア参照情報とメディア付加情報を合わせてメディア情報と呼ぶ。

図２に示すように、メディア記録再生装置１は、メディア取得部１１、メディア記録部１２、パッケージ生成部１３、パッケージ派生部１４、パッケージ記録部１５、注釈記録部１６、パッケージ再生部１７、注釈更新部１８を備える。

（メディア取得部１１）
メディア取得部１１は、外部から入力されるメディアデータを出力先の記録部（本実施形態においてはメディア記録部１２）に記録する。加えて、メディア取得部１１は、メディアデータの記録位置を示す情報を、メディア参照情報として出力する。

なお、メディア取得部１１に入力されるメディアデータの数は２以上であってもよい。その場合、複数のメディアデータを含むパッケージが後述のパッケージ生成部１３により生成される。また、メディアデータには、少なくとも、映像、音声、グラフィックデータ、時系列の各種機器出力データが含まれる。メディアデータは、他のコンテンツを表現するデータであってもよい。

（メディア記録部１２）
メディア記録部１２は、入力されるメディアデータを特定記録位置に記録して保持する。加えて、メディア記録部１２は、メディア参照情報として記録位置をキーとした出力要求を受けて、該記録位置に記録されているメディアデータを出力する。

（パッケージ生成部１３）
パッケージ生成部１３は、入力されるメディア参照情報の示す記録位置に記録されたメディアを含むパッケージを表すパッケージ情報を生成して出力する。パッケージ情報の生成方法の説明の前に、まず、パッケージ生成部１３において生成されるパッケージ情報のデータ構造について図３を参照して説明する。

図３はパッケージ生成部１３で導出されるパッケージ情報（package_info）のデータ構造を例示している。パッケージ情報は以下の情報を含んでいる。
・パッケージ識別子（package_id）： パッケージを一意に識別するための情報であり、各パッケージに対して他と重複しない数値や文字列が用いられる。
・メディア数（num_media）： パッケージに含まれるメディアデータの個数を示す情報であって、非負の整数が用いられる。
・メディアソース位置（media_src_location[i]）： パッケージに含まれるi番目のメディアデータの記録位置、すなわちメディア参照情報、を表す情報である。一般的にはURL（Uniform Resource Locator）が用いられる。メモリ上のアドレスなど他の表現を用いてもよい。
・派生メディア数（num_derived_media）： パッケージに含まれる派生メディアの個数を表す情報であって、非負の整数が用いられる。派生メディアは、派生元メディアの一部から構成される。
加えて、パッケージ情報は、派生メディア毎に以下の情報を含んでいる。
・派生元パッケージ識別子（src_package_id[i]）： 派生メディアの派生元メディアを含むパッケージ（派生元パッケージ）のパッケージ識別子を示す。派生元パッケージ識別子は、派生元パッケージを特定するための情報であるため、派生元パッケージ識別情報とも呼ぶ。派生元パッケージ識別情報は必ずしも識別子で表現する必要はなく、派生元パッケージを一意に特定できれば別の表現の派生元パッケージ識別情報を用いてもよい。
・派生元メディア番号（src_media_idx[i]）: 派生元メディアが派生元メディアにおける何番目のメディアかを表す情報であって、非負の整数で表現される。なお、派生元メディア番号は、派生元パッケージ内のメディアの中から派生元メディアを識別するための情報であって、派生元メディア識別情報とも呼ぶ。派生元メディア識別情報は必ずしも番号で表現する必要はなく、派生元パッケージ内の派生元メディアを一意に特定できれば別の表現の派生元メディア識別情報を用いてもよい。
・構成要素数（num_components[i]）： i番目の派生メディアを構成する構成要素の個数を示す情報であって、非負の整数が用いられる。
加えて、パッケージ情報は、各派生メディアの構成要素毎に以下の情報を含んでいる。
・構成要素開始（comp_start[i][j]）： i番目の派生メディアにおけるj番目の構成要素の開始点の派生元メディア内での提示時刻（再生時刻）を示す情報である。構成要素開始の値の単位としては、NTPで規定された絶対時刻や、派生元メディアの提示開始時刻を基準とする時間を利用できる。構成要素開始として、メディア内での提示時刻を示す他の表現を用いてもよい。
・構成要素期間（comp_duration[i][j]）： i番目の派生メディアにおけるj番目の構成要素の提示期間（再生期間）を表す情報である。構成要素期間の値の単位としては、時間、または、時間を所定の値で除算した単位が利用できる。派生元メディアにおいて提示時刻Ts秒から開始するTd秒の部分を用いて派生メディアの構成要素を作った場合、構成要素開始の値はTs、構成要素期間の値はTdとなる。構成要素期間として、メディア内での２つの提示時刻の間隔を示す他の表現を用いてもよい。

図３を参照して説明したパッケージ情報は、パッケージ識別情報（パッケージ識別子）、メディア情報（メディア数、メディアソース位置、および、派生メディア情報）を含んでいる。ここで、派生メディア情報は、派生メディア数、派生元パッケージ識別子、派生元メディア番号、および、構成要素情報を含んでいる。ここで、構成要素情報は、構成要素数、構成要素開始、構成要素期間を含んでいる。なお、構成要素情報は、派生パッケージを構成する各構成要素が、派生元パッケージのどの部分に相当するかを解釈できるのであれば別の形式で表現されていてもよい。例えば、構成要素期間の代わりに、構成要素の終了点の派生元メディア内での提示時刻を示す構成要素終了を用いてもよい。また、構成要素開始の代わりに、直前の構成要素の終了時刻からのオフセットを値としてもつ構成要素開始オフセットを用いてもよい。

次に、パッケージ生成部１３における、パッケージ情報の生成処理を説明する。パッケージ生成部１３にメディア参照情報が入力されると、パッケージ識別子の値に未使用の識別子を設定する。次に、メディア数の値に入力されたメディア記録位置の個数を設定する。メディアソース位置の値には、入力メディア参照情報の示すメディア記録位置を設定する。派生メディア数の値は０に設定する。換言すると、パッケージ生成部１３は、入力された全てのメディア参照情報の示すメディアデータを含み、かつ、派生メディアを含まないパッケージを表すパッケージ情報を生成する。

（パッケージ派生部１４）
パッケージ派生部１４は、外部からの派生パッケージ生成要求（図示せず）に応じて、指定されたパッケージを表すパッケージ情報を派生元パッケージ情報として読み込み、派生元パッケージ情報に基づいて派生パッケージを表すパッケージ情報（派生パッケージ情報）を生成して出力する。派生パッケージ生成要求は、派生元パッケージの識別情報と、派生パッケージに含まれる派生メディアの個数を示す情報と、各派生メディアに対する派生元メディア識別情報と、派生元メディアのどの部分を構成要素として派生メディアを構成するかを示す情報と、が含まれている。派生パッケージ生成要求は、例えば、派生元パッケージのメディアデータを提示し、その中からユーザが派生パッケージ内の各派生メディアに利用する部分を選択することで作成できる。

派生元メディアと派生メディアの関係を、図１を参照して説明する。図１(a)は、メディアが映像である場合の派生元メディア（派生元映像）と提示時刻の関係を表している。派生元映像は、提示時刻の順で、S0〜S7の８個の部分映像から構成されている。図１(b1)は、派生元映像から導出された派生映像１と提示時刻の関係を表している。派生映像１は、提示時刻の順で、S1、S4、S6の３個の部分映像から構成されている。なお、派生元映像と派生映像１において共通の記号が付与された部分映像は同一の部分映像である。つまり、派生映像１は、派生元映像を構成する部分映像の一部を構成要素とする映像といえる。このことから、派生メディアは、派生元メディアを構成する部分メディアの一部を構成要素とするメディアであると表現できる。

パッケージ派生部１４において、派生パッケージ生成要求と、派生元パッケージ情報とから派生パッケージ情報を生成する手順は次の通りである。始めに、パッケージ識別子の値に未使用の識別子を設定する。次に、メディア数は０に設定する。派生メディア数の値は派生パッケージ生成要求に含まれる派生メディアの個数を示す情報を参照して設定する。派生元パッケージ識別子の値は、派生元パッケージ情報に含まれるパッケージ識別情報に基づいて設定される。構成要素数、構成要素開始、構成要素期間の各値は、派生パッケージ生成要求に含まれる情報に基づいて設定される。

（パッケージ記録部１５）
パッケージ記録部１５は、入力されるパッケージ情報を記録して保持する。パッケージ記録部１５に記録された各パッケージ情報はパッケージ識別子をキーとして参照できる。

パッケージ記録部１５に記録されるパッケージ情報の形式として、例えば図３を参照して説明したデータ構造が利用できる。なお、それ以外のデータ構造であっても、図３を参照して説明した内容が含まれている、もしくは、パッケージ情報内の情報を用いて間接的に導出できるのであれば代わりに利用できる。

（注釈記録部１６）
注釈記録部１６は、入力される注釈情報を記録して保持する。注釈記録部１６に記録された各注釈情報はそれぞれ特定のパッケージに関連付けられおり、パッケージ識別子を指定することで、該パッケージ識別子の示すパッケージに関連付けられた注釈情報を参照できる。

注釈記録部１６に記録される注釈情報のデータ構造を、図４を参照して説明する。図４に示すように、注釈情報（annotation_info）には、以下の情報が含まれる。
・関連パッケージ識別子（associated_package_id）： 注釈情報が関連付けられるパッケージのパッケージ識別子を表す情報である。パッケージ識別子は、パッケージ情報で用いられパッケージ識別子と同一の形式であるか、または、一対一に相互変換が可能な形式である必要がある。本実施形態においては、パッケージ情報と注釈情報に含まれるパッケージ識別子は同一の形式であるとして説明を行う。したがって、パッケージ情報に含まれるパッケージ識別子の値と、注釈情報に含まれる関連パッケージ識別子の値が同一の場合、それらは同一のパッケージを参照している。
・注釈数（num_annotations）： 注釈情報に含まれる注釈の個数を表す情報であって、非負の整数が用いられる。
加えて、注釈情報には、注釈毎に以下の情報が含まれている。
・注釈開始（ann_start[i]）： 注釈情報に含まれるi番目の注釈が関連付けられたメディア内の提示位置を表す情報である。特定の注釈において、注釈開始により指定されるメディア内の提示時刻のことを、注釈付与時刻とも呼ぶ。
・注釈期間（ann_duration[i]）： 注釈情報に含まれるi番目の注釈が継続する期間を表す情報である。
・注釈ソース位置（ann_src_location[i]）： 注釈情報に含まれるi番目の注釈の記録位置を表す情報である。一般的にはURL（Uniform Resource Locator）が用いられる。
・注釈補足情報（annotation_option()）： 注釈情報に含まれるi番目の注釈の補足情報である。注釈付与者や注釈付与時刻に代表される注釈付与時の文脈を表す情報が含まれている。

以上説明したように、図４で示す注釈情報は、注釈対象パッケージ情報（関連パッケージ識別子）、注釈数、各注釈の注釈位置情報（注釈開始、注釈期間）、注釈内容情報（注釈ソース位置）、および、注釈補足情報を含んでいる。

（パッケージ再生部１７）
パッケージ再生部１７は、外部からの再生制御で指定されるパッケージに関して、パッケージの再生に必要なパッケージ情報、メディア情報、および注釈情報をそれぞれ入力として読み出し、映像を構成して出力する。パッケージ再生部１７の詳細は後述する。

（注釈更新部１８）
注釈更新部１８は、入力される付与注釈情報に基づいて、接続された注釈記録部上の対応する注釈情報を更新する。付与注釈情報は注釈記録部１６の説明において図４および図６を参照して説明したデータ構造に変換して記録する。

付与注釈情報は、注釈付与時パッケージ識別情報、注釈付与時メディア内位置、注釈付与時メディア番号、および、付与注釈内容情報を含む。注釈付与時パッケージ識別情報は、注釈付与時に利用されたパッケージを識別する情報である。注釈付与時パッケージ情報には、例えば、注釈付与時に再生されていたパッケージのパッケージ識別子が利用される。注釈付与時メディア内位置は、注釈が関連付けられる位置を表す情報であって、注釈付与時パッケージに含まれるメディアデータの提示時刻を基準とした注釈提示位置情報を含む。本実施形態において、注釈提示位置情報は、注釈開始時刻と期間により表現される。注釈付与時メディア番号は、注釈付与対象メディアの注釈付与時パッケージ内での識別番号である。付与注釈内容は、付与された注釈の内容（注釈内容情報）を表す情報である。

注釈更新部１８における注釈更新処理は次の手順で実行される。

（Ｔ１８１）入力の付与注釈情報に含まれる注釈付与時パッケージ情報の示すパッケージ識別子をキーとして、パッケージ記録部１５から注釈付与時パッケージに対応するパッケージ情報（注釈付与時パッケージ情報）を読み出す。次にＴ１８２に移る。

（Ｔ１８２）注釈付与時パッケージ情報に含まれる注釈付与時メディア番号を用いて、注釈付与時パッケージに含まれるメディアデータまたは派生メディアの一つを選択して対象メディアに設定する。注釈付与時メディア番号をmn1、注釈付与時パッケージ情報内のメディア数をmn2、派生メディア数をmn3とすると対象メディアは次の通り設定される。mn1がmn2以下の場合、注釈付与時パッケージ情報に含まれるメディア参照位置の中で、mn1個目のメディア参照位置が示すメディアデータが対象メディアに設定される。それ以外の場合（mn1がmn2より大きい場合）、注釈付与時パッケージ情報に含まれる派生メディアの中で（mn1-mn2）個目の派生メディアが対象メディアに設定される。なお、注釈付与時メディア番号の表現は上記に限定されず、注釈付与時パッケージ内のいずれのメディアデータまたは派生メディアを選択可能な情報であれば別の表現でもよい。対象メディアがメディアデータの場合はＴ１８３に移り、対象メディアが派生メディアの場合はＴ１８４に移る。

（Ｔ１８３）注釈記録部１６から、注釈付与時パッケージ情報に含まれるパッケージ識別子をキーとして、注釈付与時パッケージに含まれる各メディアデータの注釈情報を取得して対象注釈情報に設定する。注釈情報が存在しない場合は、注釈数が０の注釈情報を設定して対象注釈情報として利用する。対象注釈情報に含まれるメディア内注釈位置（注釈開始と注釈期間）の情報は、注釈付与時メディア内位置の値により設定する。加えて、注釈付与内容を注釈記録部１６に記録して、その記録位置を注釈ソース位置の値に設定する。次にＴ１８５に移る。

（Ｔ１８４）注釈記録部１６から、対象メディアの派生元パッケージ識別子をキーとして注釈情報を取得して対象注釈情報に設定する。注釈情報が存在しない場合は、注釈数が０の注釈情報を対象注釈情報として利用する。対象注釈情報に含まれるメディア内注釈位置（注釈開始と注釈期間）の情報は、注釈付与時メディア内位置と、注釈付与時パッケージ情報の派生メディア情報として含まれる、対象メディアの構成要素情報とに基づいて設定する。

注釈付与時メディア内位置の示す注釈開始時刻をTs、期間をDsと表し、対象メディアのj番目の構成要素の構成要素開始をTc[j]、構成要素期間をDc[j]と表す場合、注釈開始Toと、注釈期間Doは以下の疑似コードによる処理で導出できる。

a=Ts;
k=0;
while (a >= Dc[k]) {
a -= Dc[k];
k++
}
To = Tc[k] + a;
Do = Min(Ds, Dc[k])
上記導出処理では、まず、注釈付与時の注釈開始時刻が対象メディアを構成する構成要素の番号（上記疑似コードでwhileループ終了後の変数kの値）と、該構成要素内での位置（上記疑似コードでwhileループ終了後の変数aの値）を導出している。続いて、注釈開始Toの値として、構成要素k（k番目の構成要素）の構成要素開始と、構成要素k内での位置との和を設定している。また、注釈期間Doの値として、注釈付与時の注釈期間Dsと構成要素kの構成要素期間Dc[k]との最小値を設定している。ここで最小値を設定することで、注釈期間が構成要素期間より長い場合であっても、派生元パッケージの提示時に意図しない時刻に注釈情報が提示されることを防止できる。

続いて、注釈付与内容を注釈記録部１６に記録して、その記録位置を注釈ソース位置の値に設定する。次にＴ１８５に移る。

（Ｔ１８５）対象注釈情報を、入力の付与注釈情報に含まれる注釈付与時メディア内位置と付与注釈内容情報に基づいて更新して、更新された注釈情報を注釈記録部１６に同じパッケージ識別子を持つ注釈情報を上書きして記録する。

以上説明した処理により、注釈更新部１８は、注釈付与時パッケージが派生メディアを含む場合であっても、派生メディアに対して、派生パッケージにおけるメディア再生位置（提示時刻）を基準として付与された注釈情報を、派生元パッケージと関連付けて注釈記録部１６に記録できる。したがって、派生パッケージを提示するとともに注釈を付与するための手段や装置が、派生パッケージと派生元パッケージの関係性を解釈できない場合であっても派生パッケージに対して付与された注釈情報を派生元パッケージに関連付けて記録できるという効果を奏する。

〔パッケージ再生部１７の構成〕
次に、パッケージ再生部１７の詳細構成について、図５を参照して説明する。図５に示すとおり、パッケージ再生部１７は、パッケージ選択部１７１、メディア選択部１７２、注釈選択部１７３、映像構成部１７４を備えている。パッケージ選択部１７１は、内部にメディア構成部１７１１と派生メディア構成部１７１２を備えている。

（パッケージ選択部１７１）
パッケージ選択部１７１は、入力の再生制御で指定されるパッケージに関するパッケージ情報を読み出して解釈し、パッケージに含まれるメディア（派生メディアも含む）毎に再生（提示）に必要なメディア情報および注釈情報を集めて出力する。

パッケージ選択部１７１は、まず、入力の再生制御で指定されるパッケージに対応するパッケージ識別子の値をキーとしてパッケージ情報（再生対象パッケージ情報）をパッケージ記録部１５から読み出す。次に、再生対象パッケージ情報に含まれるメディアデータ情報（メディア数、および、メディアソース位置）をメディア構成部１７１１に渡す。また、派生メディア情報（派生メディア数、派生元パッケージ識別子、派生元メディア識別番号、構成要素数、構成要素開始、および、構成要素期間）を派生メディア構成部１７１２に渡す。

（メディア構成部１７１１）
メディア構成部１７１１は、入力のメディアデータ情報に含まれるメディア数の示す個数のメディアデータを取得して出力する。メディアデータは、メディアソース位置をメディア選択部１７２に入力することで、メディア選択部１７２の出力として取得される。

加えて、メディア構成部１７１１は、再生対象パッケージに関連付けられた注釈情報を取得して出力する。注釈情報の取得は、再生対象パッケージ情報の含むパッケージ識別子を注釈選択部１７３に入力することで、注釈選択部１７３の出力として取得される。

（派生メディア構成部１７１２）
派生メディア構成部１７１２は、入力の派生メディア情報に含まれる派生メディア数の示す個数のメディアデータを取得して出力する。各派生メディアは派生元パッケージに含まれるメディア（派生元メディア）の断片である構成要素から構成される。各派生メディアに対応する派生元メディアは、派生メディア情報に含まれる派生元パッケージ識別子と派生元メディア識別番号に基づいて導出される派生元メディアのメディア記録位置をメディア選択部１７２に入力することで、メディア選択部１７２の出力として取得される。ｉ番目の派生元メディアの記録位置の導出は次の通りである。まず、派生メディア関連情報に含まれるｉ番目の派生元パッケージ識別子に対応するパッケージ情報（第ｉ番目派生元パッケージ情報）をパッケージ記録部１５から取得する。次に、第ｉ番目派生元パッケージ情報に含まれるメディアデータ情報のうち、派生メディア情報に含まれるｉ番目の派生元メディア番号（src_media_idx[i]）の示す位置にあるメディア記録位置を選択してｉ番目の派生元メディアの記録位置としてｉ番目の派生元メディアのメディアデータを取得する。取得したメディアデータから、派生メディア情報に含まれる構成要素情報に基づいて、再生用のメディアデータを生成して出力する。具体的には、ｉ番目の派生メディアの構成要素情報に含まれる各構成要素について、始めの構成要素から順に構成要素開始と構成要素期間によって示される派生元メディアの部分を切り出し、順に結合することで提示用のメディアデータを生成する。

加えて、派生メディア構成部１７１２は、派生元パッケージに関連付けられた注釈情報を取得して出力する。注釈情報の取得は、派生元パッケージ情報の含むパッケージ識別子を注釈選択部１７３に入力することで、注釈選択部１７３の出力として取得される。

（メディア選択部１７２）
メディア選択部１７２は、入力されるメディアソース位置の示す位置からメディアデータを読み出して出力する。本実施形態の場合、メディアデータはメディア記録部１２から読み出される。

（注釈選択部１７３）
注釈選択部１７３は、入力されるパッケージ識別子の示すパッケージの提示に必要な注釈情報を選択して読み出し、出力する。この注釈情報選択処理において選択対象となる注釈情報は、入力のパッケージ識別子の示すパッケージに関連付けられた注釈情報である。本実施形態では、図４を参照して示した注釈情報を用いるため、関連パッケージ識別子（associated_package_id）の値が入力のパッケージ識別子の値と一致する注釈情報（annotation_info）が注釈記録部１６から読み出されて、出力される。

（映像構成部１７４）
映像構成部１７４は、入力されるパッケージ情報、メディアデータ、および、注釈情報を再生することで再生映像を構成して出力する。再生映像は、提示時刻毎にメディアデータと注釈情報を再生して得られる画面および音声の組み合わせとして構成される。各提示時刻の画面は、各提示時刻における画像関連のメディア（映像、時刻付き画像、時刻付き字幕テキストなど）を既定の条件で重畳または選択することで作成する。また、各提示時刻における音声関連のメディア（音声、時刻付き音声テキストなど）を既定の条件で重畳または選択することで作成する。注釈情報については、特定の提示時刻に注釈データが存在する場合、注釈ソース位置（ann_src_location）から読み込んだ注釈データを注釈タイプ（ann_type）の示す方法で提示する。ある提示時刻ｔに注釈データが存在するか否かは、提示時刻ｔが注釈開始（ann_start）と注釈期間（ann_duration）により示される提示時間の区間に含まれるか否かにより判定できる。

〔メディア記録再生装置の動作〕
メディア記録再生装置１の動作について説明する。メディア記録再生装置１は複数の機能を有しているため、メディア記録再生装置１の動作は以下に示す機能別の複数の処理に分けて表現できる。
・動作１：パッケージ記録処理
・動作２：パッケージ派生処理
・動作３：パッケージ再生処理
・動作４：注釈更新処理
以下では、上記各処理について、図２と図５の構成を参照してそれぞれ説明する。

（パッケージ記録処理）
メディア記録再生装置１におけるパッケージ記録処理は、入力メディアデータを含むパッケージを生成し、メディアデータおよびパッケージ情報を記録する処理であって、以下の手順で実行される。

（Ｓ１０１）メディア取得部１１は、入力メディアデータをメディア記録部１２に記録する。加えて、メディア取得部１１は、入力メディアデータに対応するメディア識別情報を決定してパッケージ生成部１３に出力する。その後Ｓ１０２の処理に移る。

（Ｓ１０２）パッケージ生成部１３は、入力されるメディア識別情報に基づいてパッケージ情報を生成し、パッケージ記録部１５に記録して処理を終了する。

なお、上記パッケージ記録処理で言及された構成要素を少なくとも備えることで、パッケージ記録装置（メディア記録装置）を実現できる。すなわち、メディア取得部１１、メディア記録部１２、パッケージ生成部１３、および、パッケージ記録部１５を少なくとも含むパッケージ記録装置は、パッケージ記録処理が実行できる。

（パッケージ派生処理）
メディア記録再生装置１におけるパッケージ派生処理は、記録されたパッケージ情報から派生パッケージ情報を生成して記録する処理であって、以下の手順で実行される。

（Ｓ１１１）パッケージ派生部１４は、外部からのパッケージ派生要求に応じてパッケージ記録部１５から派生元パッケージのパッケージ情報を読み出す。その後Ｓ１１２の処理に移る。

（Ｓ１１２）パッケージ派生部１４は、派生元パッケージ情報とパッケージ派生要求に基づいて派生パッケージのパッケージ情報を生成する。生成したパッケージ情報をパッケージ記録部１５に記録して処理を終了する。

なお、上記パッケージ派生処理で言及された構成要素を少なくとも備えることで、パッケージ派生装置を実現できる。すなわち、パッケージ派生部１４、および、パッケージ記録部１５を少なくとも含むパッケージ派生装置は、パッケージ派生処理が実行できる。

（パッケージ再生処理）
メディア記録再生装置１におけるパッケージ再生処理は、再生制御に応じて、記録されたパッケージ情報、メディアデータ、および、注釈情報を参照して再生映像を生成して出力する処理であって、以下の手順で実行される。

（Ｓ１２１）パッケージ再生部１７に入力された再生制御は、パッケージ選択部１７１と映像構成部１７４に通知される。次にＳ１２２に移る。

（Ｓ１２２）パッケージ選択部１７１は、入力の再生制御の指定するパッケージのパッケージ識別子をキーとして、パッケージ記録部１５からパッケージ情報を取得する。取得したパッケージ情報は、メディア構成部１７１１および派生メディア構成部１７１２に入力される。次にＳ１２３に移る。

（Ｓ１２３）メディア構成部１７１１は、入力されたパッケージ情報を参照してパッケージに含まれる各メディアについてメディアソース位置をメディア選択部１７２に出力する。次にＳ１２４に移る。

（Ｓ１２４）メディア選択部１７２は、Ｓ１２３で入力された各メディアソース位置に基づいてメディア記録部１２からメディアデータを取得してメディア構成部１７１１に出力する。次にＳ１２５に移る。

（Ｓ１２５）メディア構成部１７１１は、Ｓ１２２で入力されたパッケージ情報に含まれるパッケージ識別子を注釈選択部１７３に入力する。次にＳ１２６に移る。

（Ｓ１２６）注釈選択部１７３は、Ｓ１２５で入力されたパッケージ識別子をキーとして注釈記録部１６から注釈情報を取得してメディア構成部１７１１に出力する。次にＳ１２７に移る。

（Ｓ１２７）メディア構成部１７１１は、Ｓ１２２で取得したパッケージ情報、Ｓ１２４で入力されたメディアデータ、Ｓ１２６で入力された注釈情報を映像構成部１７４に出力する。次にＳ１２８に移る。

（Ｓ１２８）派生メディア構成部１７１２は、Ｓ１２２で取得したパッケージ情報に含まれる各派生元パッケージ識別子をキーとして、パッケージ記録部１５から対応するパッケージ情報（派生元パッケージ情報）を取得する。次にＳ１２９に移る。

（Ｓ１２９）派生メディア構成部１７１２は、Ｓ１２８で取得した派生元パッケージ情報に含まれる複数のメディアソース位置の中から、Ｓ１２２で取得したパッケージ情報に含まれる各派生元メディア番号の示すメディアソース位置をメディア選択部１７２に出力する。次にＳ１３０に移る。

（Ｓ１３０）メディア選択部１７２は、Ｓ１２９で入力された各メディアソース位置に基づいてメディア記録部１２からメディアデータを取得して派生メディア構成部１７１２に出力する。次にＳ１３１に移る。

（Ｓ１３１）派生メディア構成部１７１２は、Ｓ１２８で取得した派生元パッケージ情報に含まれるパッケージ識別子を注釈選択部１７３に入力する。次にＳ１３２に移る。

（Ｓ１３２）注釈選択部１７３は、Ｓ１３１で入力されたパッケージ識別子をキーとして注釈記録部１６から注釈情報を取得して派生メディア構成部１７１２に出力する。次にＳ１３３に移る。

（Ｓ１３３）派生メディア構成部１７１２は、Ｓ１２８で取得した派生元パッケージ情報、Ｓ１３０で入力されたメディアデータ、Ｓ１３２で入力された注釈情報を映像構成部１７４に出力する。次にＳ１３４に移る。

（Ｓ１３４）映像構成部は、Ｓ１２７およびＳ１３３で入力された、パッケージ情報、メディアデータ、および、注釈情報に基づいて再生映像を構成して出力して処理を終了する。

なお、上記パッケージ再生処理で言及された構成要素を少なくとも備えることで、パッケージ再生装置を実現できる。すなわち、メディア記録部１２、パッケージ記録部１５、注釈記録部１６、および、パッケージ再生部１７を少なくとも含むパッケージ再生装置は、パッケージ再生処理が実行できる。

（注釈更新処理）
メディア記録再生装置１における注釈更新処理は、入力される付与注釈情報に基づいて記録されている注釈情報を更新する処理であって、以下の手順で実行される。

（Ｓ１４１）メディア記録再生装置１に入力された付与注釈情報は、注釈更新部１８に入力される。次にＳ１４２に移る。

（Ｓ１４２）注釈更新部１８は、入力された付与注釈情報に含まれるパッケージ識別子をキーとして注釈付与時パッケージ情報をパッケージ記録部１５から取得する。

（Ｓ１４３）注釈更新部１８は、入力された付与注釈情報と、Ｓ１４２で取得した注釈付与時パッケージ情報に基づいて、注釈記録部１６に記録された対応する注釈情報を更新して処理を終了する。

なお、上記注釈更新処理で言及された構成要素を少なくとも備えることで、注釈更新装置を実現できる。すなわち、パッケージ記録部１５、注釈記録部１６、および、注釈更新部１８を少なくとも含む注釈更新装置は、注釈更新処理が実行できる。

〔メディア記録再生装置の効果〕
以上説明したメディア記録再生装置１は、パッケージ派生部１４、および、パッケージ記録部１５を備えており、パッケージ派生処理を実行できる。したがって、メディア記録再生装置１は、あるパッケージ（以下、派生元パッケージ）に含まれるメディアの断片を含んで構成された派生パッケージ（派生パッケージ１）を作成できる。

また、メディア記録再生装置１は、注釈記録部１６、および、注釈更新部１８を備えており、注釈更新処理を実行できる。したがって、メディア記録再生装置１は、派生パッケージ１に対して付与された注釈情報を入力として受け取り、注釈記録部１６に記録された注釈情報を更新できる。その際、注釈情報は、派生パッケージ１と関連付けられるのではなく、派生パッケージ１の派生元パッケージと関連付けて記録される。したがって、派生元パッケージから、派生パッケージ１に対して付与された注釈情報を参照可能となる。

また、メディア記録再生装置１は、メディア記録部１２、パッケージ記録部１５、注釈記録部１６、および、パッケージ再生部１７を備えており、パッケージ再生処理を実行できる。ここで、パッケージ記録部に記録され、パッケージ再生部で再生されるパッケージ情報は派生メディア情報を含んでいる。したがって、メディア記録再生装置１は、あるパッケージ（派生元パッケージ）の再生要求があった際に、派生元パッケージからパッケージ派生処理により生成された派生パッケージ１に対して付与された注釈情報を含めた注釈情報を再生して再生映像を生成できる。加えて、パッケージ再生処理において参照されるパッケージ情報には、派生パッケージと派生元パッケージを関連付ける情報（派生元パッケージ識別子）が含まれている。そのため、同一の派生元パッケージから派生した派生パッケージは、派生元パッケージを介して同じ注釈情報を参照できる。したがって、メディア記録再生装置１は、派生元パッケージから、パッケージ派生処理により生成される派生パッケージであって、派生パッケージ１とは異なる派生パッケージ（派生パッケージ２）を提示する際に、派生パッケージ１に対して付与された注釈情報を含めた再生映像を生成できる。

（本発明の一態様を映像に対して適用する場合の例）
メディア記録再生装置１の効果について上述したが、ここで、メディアとして１個の映像を含むパッケージを扱う場合の効果について、図１を参照して説明する。

図１(a)は、メディアが映像である場合の派生元メディア（派生元映像）と提示時刻の関係を表している。派生元映像は、提示時刻の順で、S0〜S7の８個の部分メディア（部分映像）から構成されている。派生元映像にパッケージ派生処理を適用することで、出力として派生メディア（派生映像）が生成される。

図１(b1)は、派生元映像から導出された派生映像１と提示時刻の関係を表している。派生映像１は、提示時刻の順で、S1、S4、S6の３個の部分映像から構成されている。また、図１(b1)では、派生映像１の提示時刻t1に対して注釈情報an1が付与されることを示している。図１(b2)は、派生元映像から導出された派生映像２と提示時刻の関係を表している。派生映像２は、提示時刻の順で、S4、S7、S1の３個の部分映像から構成されている。図１(b2)では、派生映像２の提示時刻t2に対して注釈情報an2が付与されることを示している。

図１(c)は、派生映像１と派生映像２に注釈情報が付与された後、つまり注釈更新後の派生元映像と注釈情報の関係を示している。注釈更新処理により、派生映像に対して付与された注釈情報は、派生元映像から参照可能である。注釈更新処理では、派生映像１における注釈情報an1の提示時刻t1から、派生元映像における注釈情報an1の提示時刻t１aに変換できる。注釈情報an2についても同様である。そのため、パッケージ再生処理では、派生元映像に加えて、派生映像１に対して付与された注釈情報an1、および、派生映像２に対して付与された注釈情報an2を含んだ再生映像を適切な提示時刻で生成できる。

図１(d)は、派生映像１と派生映像２の注釈更新後の派生映像２と注釈情報の関係を示している。パッケージ再生処理では、派生元映像における注釈情報an1の提示時刻t1aから、派生映像２における注釈情報an1の提示時刻t１bに変換できる。そのため、パッケージ再生処理では、派生映像２に加えて、派生映像１に対して付与された注釈情報an1、および、派生映像２に対して付与された注釈情報an2を含んだ再生映像を適切な提示時刻で生成できる。

〔変形例１：注釈補足情報の活用〕
図４を参照して説明した注釈情報は注釈補足情報を含むと説明したが、注釈補足情報を利用することで追加の機能を実現するメディア記録再生装置を構成してもよい。以下の説明で用いる注釈補足情報のデータ構造を、図６を参照して説明する。図６に示すように、注釈補足情報（annotation_option）は、以下の情報を含む。
・継承タイプ（inherit_type）： 注釈情報をパッケージ間で受け渡す際の制限を示す情報である。少なくとも、「継承不可」、「派生元パッケージにのみ継承可」、「自由に継承可」を意味する値をとる。
・注釈文脈存否フラグ（ann_context_present_flag）： 注釈情報が付与された文脈（コンテキスト）を表す情報が含まれているか否かを示す情報である。
・文脈生成時刻（ctx_create_time）： 注釈情報が付与された時刻を示す情報である。・文脈注釈者識別子（ctx_annotator_id）： 注釈情報を付与したユーザ（注釈者）を表す情報である。ここでは、注釈記録部１６を含むシステムで管理されてユーザ毎に割り当てるユーザ識別子を文脈注釈者識別子の値として利用するが、注釈者が特定可能な別の情報であってもよい。
・文脈パッケージ識別子： 注釈情報が付与される時点で提示されていたパッケージ（注釈時利用パッケージ）を特定するための情報である。本変形例では、注釈時利用パッケージのパッケージ識別子を表す情報を値として利用する。なお、文脈パッケージ識別子は、注釈付与時パッケージの特定が可能な他の表現でもよく、その意味から、文脈パッケージ識別子を文脈パッケージ識別情報とも呼ぶ。

以上説明したように、図６に示す注釈補足情報は、継承制御情報（継承タイプ）、注釈付与文脈情報（文脈生成時刻、文脈注釈者識別子、文脈パッケージ識別子）を含む。継承制御情報は、注釈の継承を制御するための情報とも表現できる。また、注釈付与文脈情報は、注釈が付与された際の文脈や状況を表す情報と表現できる。

（１．注釈情報の派生先の指定）
図６に示した注釈補足情報は継承制御情報である継承タイプを含んでいる。そのため、継承タイプの内容に基づいて、パッケージ再生時に提示される注釈を制御するようメディア記録再生装置１を構成できる。

まず、継承タイプの値が「自由に継承可」の場合、メディア記録再生装置１の動作として記載したパッケージ再生処理、および、注釈更新処理がそのまま適用できる。

次に、継承タイプの値が「継承不可」の場合、注釈更新処理において、注釈付与時パッケージが派生パッケージである場合には注釈情報を注釈記録部に記録しないよう、注釈更新部１８を構成する。

次に、継承タイプの値が「派生元パッケージにのみ継承可」の場合であって、再生対象パッケージ内の再生対象メディアが派生メディアである場合には、注釈情報に含まれる関連パッケージ識別子の値と、再生対象パッケージのパッケージ識別子の値が一致する場合にのみ、注釈情報を提示するようパッケージ再生部１７を構成する。この構成のパッケージ再生部１７は、再生対象パッケージに含まれる再生対象メディアが派生メディアか否かと、再生対象メディアに対する継承タイプとに基づいて、再生対象メディアと併せて再生する注釈情報を決定する、とも表現できる。

上記構成により、注釈付与者が共有したい注釈を選択可能になる。また、注釈情報を他の利用者と共有することなく、派生元パッケージに対してのみ注釈情報を蓄積する仕組みが実現できる。

（２．注釈付与文脈に応じた提示）
図６に示した注釈補足情報は注釈付与文脈情報として文脈生成時刻、文脈注釈者識別子、および、文脈パッケージ識別子を含んでいる。そのため、パッケージ再生時に注釈付与時の文脈に基づいて再生映像を生成するようパッケージ再生部１７を構成できる。

例えば、再生制御に追加情報として表示対象注釈期間を含むことで、注釈情報に含まれる文脈生成時刻を参照して、表示対象注釈期間内に付与された注釈のみを選択して表示するようパッケージ再生部１７を構成できる。

また、例えば、再生制御に追加情報として表示対象注釈者を含むことで、注釈情報に含まれる文脈注釈者識別子を参照して、表示対象注釈者と同一の注釈者によって付与されたと判定される注釈のみを選択して表示するようパッケージ再生部１７を構成できる。

また、例えば、再生制御に追加情報として注釈表示対象パッケージ情報を含むことで、注釈情報に含まれた文脈パッケージ識別子を参照することで、特定のパッケージの提示時に付与された注釈情報のみを選択して表示するようパッケージ再生部１７を構成できる。

なお、上記では特定の条件を満たす注釈情報のみを選択して表示すると記載したが、特定の条件を満たす注釈情報が他の注釈情報と区別可能な形式で提示されるような構成も可能である。例えば、注釈データとしてテキストを画面に提示する場合、両者でテキスト色を変更する、文字サイズを変更する処理も区別可能な形式での提示に含まれる。

以上の例について、次のように表現できる。すなわち、再生対象パッケージに含まれる再生対象メディアが派生メディアか否かと、再生対象メディアに対する注釈付与文脈情報とに基づいて、前記再生対象メディアと併せて再生する注釈情報を決定するようパッケージ再生部１７を構成できる。

多くの注釈情報が付与された場合には、パッケージ再生部１７による再生映像上で各注釈の判別が困難になるため、提示される注釈情報を選択可能とすることは有用である。

（３．注釈付与文脈を利用したパッケージ切り替え）
注釈付与文脈情報は文脈パッケージ識別子を含んでいる。そのため、提示中の注釈情報を起点として、提示対象のパッケージを注釈付与時に参照されたパッケージ（文脈パッケージ識別子の示すパッケージ）に切り替えることが可能なようにパッケージ再生部１７を構成できる。例えば、画面上で特定の注釈情報を指定した場合、注釈付与時に参照されたパッケージへの切り替えボタンまたはリンクを表示し、該ボタン・リンクが選択された場合に注釈付与時に参照されたパッケージへ切り替えるような構成が可能である。

上記内容は次のようにも表現できる。すなわち、パッケージ再生部１７は、出力映像上で再生対象パッケージに含まれるメディア（再生対象メディア）と関連付けて再生対象パッケージ切り替える操作のインターフェース（上記ボタンやリンク）を含め、前記再生対象パッケージの切り替え操作のインターフェースは、前記特定のメディアに対する前記文脈パッケージ識別情報が示す注釈付与時のパッケージへの切り替え操作を実行するためのインターフェースである。

上記構成によれば、パッケージ再生中に表示された注釈が、どのような状況で付けられたかを知るために、少ない操作で注釈情報が付与されたパッケージ情報を確認することができる。

〔実施形態２：メディア再生装置の構成〕
本発明の別の実施形態について図７〜図８を参照して説明する。図７は、本発明の一実施形態であるメディア再生装置２の構成を示すブロック図である。メディア再生装置２は、概略的には、パッケージデータを受信して再生して表示するとともに、受信したパッケージに関する注釈を付与する機能を有する。また、付与された注釈を別のメディア再生装置２と共有する機能を有する。図７に示すとおり、メディア再生装置２は、注釈記録部１６、パッケージ再生部２１、注釈更新部２２、表示画像合成部２３、再生制御ＵＩ２４、注釈付与ＵＩ２５、注釈受信部２６を備えている。なお、注釈記録部１６は、図２を参照して説明したメディア記録再生装置１に含まれる同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。

（パッケージデータのデータ構造）
各構成要素の説明前に、メディア再生装置２が入力として受け取るパッケージデータのデータ構造を説明する。図８はパッケージデータのデータ構造を表す表である。パッケージデータは、パッケージ識別子（package_id）、メディア数（media_num）、メディア数が示す個数のメディアデータ（media_data[i]）を含んでいる。ここで、パッケージ識別子とメディア数は、図３に含まれる同名の要素と同一の意味をもつため説明は省略する。メディアデータはメディアの再生に必要なデータである。パッケージデータは、加えて、メディア毎に派生メディアフラグ（derived_media_flag[i]）を含む。派生メディアフラグは、メディアが派生メディアか否かを示す。派生メディアフラグが真（メディアが派生メディアであることを示す）場合、パッケージデータは、加えて、派生メディア情報を含む。派生メディア情報は、派生元ソース識別子（src_package_id）、派生元メディア番号（src_media_idx）、構成要素数（num_components）、構成要素開始（comp_start）、構成要素期間（comp_duration）を含んでいる。派生元ソース識別子、派生元メディア番号、構成要素数、構成要素開始、および、構成要素期間は、図３に含まれる同名の要素と同一の意味をもつため説明は省略する。

なお、本実施形態において、パッケージデータが派生パッケージである、つまり、パッケージデータに含まれる特定のメディアが派生元メディアの一部から構成される派生メディアである場合、派生メディアのメディアデータとして含まれるデータは、派生元メディアデータではなく、派生元メディアデータの一部に相当するメディアデータとする。これにより、メディア再生装置２が派生パッケージ再生時に受信するべきパッケージデータのデータ量を低減できる。

なお、派生メディアフラグの代わりに、派生メディアか否かを識別するための情報を含んだ派生メディア識別情報を用いてもよい。例えば、派生メディア識別情報として、値が０の場合は派生メディアではないことを示し、値が１以上の場合は、構成要素数がその値の派生メディアであることを示す情報を用いてもよい。この場合、派生メディアフラグと構成要素数の情報を統合することで、データの読み込み処理の回数を減らせる。

（パッケージ再生部２１）
パッケージ再生部２１は、再生制御に基づいて、パッケージデータを外部から入力として読み込み、そのパッケージデータに関連する注釈情報を読み出し、提示時刻毎にメディアデータと注釈情報を合わせて再生することで再生映像を生成して出力する。パッケージ再生部２１は、図５を参照して説明したパッケージ再生部１７と類似の機能を持つが、以下の異なる機能を持つ。

パッケージ再生部２１は、入力のパッケージデータからメディアデータを抽出し、メディアデータ毎に適した復号処理または再生処理を適用してメディアデータを再生する。パッケージ再生部１７とは異なり、メディアデータ自体の再生には、メディアデータが派生メディアかどうかの情報は用いない。

パッケージ再生部２１は、入力のパッケージデータに含まれる派生メディアフラグを参照してメディア毎に派生メディアか否かを判定する。ある対象メディアが派生メディアではない場合、パッケージ識別子と対象メディアのパッケージデータ内での位置をキーとして注釈情報を読み込む。

対象メディアが派生メディアである場合、派生メディア情報（派生元ソース識別子、派生元メディア番号、構成要素数、構成要素開始、構成要素期間）を参照して、メディアの構成要素毎に派生元ソース識別子と派生元メディア番号をキーとして注釈情報を読み込む。読み込んだ注釈情報に含まれる各注釈データの提示時刻は、注釈情報に含まれる注釈開始の値は派生元パッケージの提示時刻を基準とする値のため、入力パッケージデータの提示時刻を基準とする値に変換する。この派生元パッケージ再生時刻基準の時刻から、派生パッケージ再生時刻基準の時刻への変換は、入力パッケージデータに含まれる構成要素情報（構成要素数、構成要素開始、構成要素期間）を用いて実行できる。

（注釈更新部２２）
注釈更新部２２は、メディア記録再生装置１の備える注釈更新部１８と同様に、入力される付与注釈情報に基づいて、接続された注釈記録部上の対応する注釈情報を更新する。注釈更新部２２は、加えて、更新された注釈の内容を外部に通知する。

（表示画像合成部２３）
表示画像合成部２３は、入力される再生映像、再生ＵＩ画像、および、注釈付与ＵＩ画像を用いて表示画面を構成して外部の表示端末に表示する。具体的には、再生映像の上に再生制御用のＵＩ画像を重畳して画面の一部に設定するとともに、残りの画面部分に注釈付与ＵＩ画像を設定して表示画面を構成する。なお、このような表示画面構成は一例であり、利用者が再生制御や注釈付与が可能であるような別の構成方法を用いてもよい。

（再生制御ＵＩ２４）
再生制御ＵＩ２４は、生成制御用の再生ＵＩ画像を生成して出力するとともに、外部の操作端末による操作情報から再生制御の指示を出力する。再生制御には、例えば、再生パッケージの選択、再生開始、再生停止、早送り再生、巻き戻し再生が含まれる。

（注釈付与ＵＩ２５）
注釈付与ＵＩ２５は、注釈付与用の注釈付与ＵＩ画像を生成して出力するとともに、外部の操作端末による操作情報から注釈付与情報を生成して出力する。例えば、注釈付与ＵＩ画像としてテキスト入力領域を利用し、テキスト入力領域に対する入力完了の操作情報があった場合に、その時点でのパッケージ再生時刻に対して入力されたテキストの内容のテキストデータが注釈データとして付与されたものとして注釈付与情報を生成して出力する。なお、注釈付与情報に含まれる注釈データはテキストに限定されず、例えば、画像、映像、音声、その他の可視化されたデータを注釈データとしてもよい。

（注釈受信部２６）
注釈受信部２６は、外部の別のメディア再生装置２から通知された注釈情報を受信して、注釈記録部に書き込む。この処理により、別のメディア再生装置２で付与された注釈情報を他のメディア再生装置２でも共有できる。なお、外部のメディア再生装置２からの注釈更新の通知は必ずしも直接受け取る必要はなく、別の機器（例えば注釈更新通知用のサーバ）を設置して、その機器を中継するような構成にしてもよい。

〔メディア再生装置２の動作〕
メディア再生装置２の動作について説明する。メディア再生装置２は複数の機能を有しているため、メディア再生装置２の動作は以下に示す機能別の複数の処理に分けて表現できる。
・動作１：パッケージ再生処理
・動作２：画面表示処理
・動作３：注釈付与処理
・動作４：注釈受信処理
以下では、上記各処理について、図７の構成を参照してそれぞれ説明する。

（パッケージ再生処理）
メディア再生装置２におけるパッケージ再生処理は、再生制御に応じて、外部からパッケージデータを入力として読み込んで、パッケージ内メディアデータを関連する注釈情報と合わせて再生することで、再生映像を構成して出力する処理であって、以下の手順で実行される。

（Ｓ２０１）パッケージ再生部２１は、再生制御ＵＩ２４から入力される再生制御で指定されるパッケージを入力として受信する。次にＳ２０２に移る。

（Ｓ２０２）パッケージ再生部２１は、Ｓ２０１で入力されたパッケージデータに含まれるメディアに関する注釈情報を注釈記録部１６から読み出して入力とする。次にＳ２０３に移る。

（Ｓ２０３）パッケージ再生部２１は、Ｓ２０１で入力されたパッケージデータ、および、Ｓ２０２で入力された注釈情報に基づいて再生映像を構成して出力し、処理を終了する。

以上説明したパッケージ再生処理により、メディア再生装置２はパッケージデータを読み込んで、注釈情報を反映した再生映像を構成できる。その際、パッケージデータに含まれるメディアに派生メディアが含まれる場合であっても、意図した提示時刻に対して注釈情報を含んだ再生映像を生成できる。

（画面表示処理）
メディア再生装置２における画面表示処理は、再生映像と再生制御ＵＩと注釈付与ＵＩから表示画面を構成して外部の表示端末に表示する。画面表示処理は表示画面合成部２３により実行される。

表示画面合成部２３は、前述のパッケージ再生処理の結果得られる再生映像、再生制御ＵＩ２４から入力される再生制御ＵＩ画像、および、注釈付与ＵＩ２５から入力される注釈付与ＵＩ画像に基づいて表示画像を構成して出力する。

（注釈付与処理）
メディア再生装置２における注釈付与処理は、利用者の指示によってパッケージデータの特定の提示位置に対応する注釈情報を生成して記録するとともに、外部に通知する。注釈付与処理は次の手順で実行される。

（Ｓ２３１）注釈付与ＵＩは、外部の操作端末から注釈付与の指示に基づいて、指示があった提示時刻に関連付けられた付与注釈情報を生成して注釈更新部２２に出力する。次にＳ２３２に移る。

（Ｓ２３２）注釈更新部２２は、入力の付与注釈情報に基づいて、注釈記録部１６の注釈情報を更新する。次にＳ２３３に移る。

（Ｓ２３３）注釈更新部２２は、入力の付与注釈情報を外部に通知して処理を終了する。

以上説明した注釈付与処理により、メディア再生装置２は、特定のパッケージ再生時刻に関連付けられた注釈情報を記録できる。そのため、以降のパッケージ再生処理において、更新された注釈情報を参照して再生映像を生成できる。また、メディア再生装置２は、特定のパッケージ再生時刻に関連付けられた注釈情報を外部に記録できる。そのため、更新された注釈情報を別のメディア再生装置２と共有できる。

（注釈受信処理）
メディア再生装置２における注釈受信処理では、外部から通知された注釈情報の更新を受信して注釈情報を更新する。注釈受信処理は注釈受信部２６で実行される。注釈受信部う２６は、外部から通知された注釈情報の更新を受信し、受信した注釈情報の更新に基づいて注釈情報を注釈記録部１６に記録された注釈情報を更新する。

この注釈受信処理により、メディア再生装置２は、別のメディア再生装置２で付与された注釈情報を共有できる。したがって、注釈受信処理によって注釈情報が更新された以降のパッケージ再生処理では、更新された注釈情報、つまり、別の利用者によって付与された注釈情報をメディアデータと合わせて提示できる。ここで、更新された注釈情報は、注釈が付与されたパッケージの提示時だけではなく、注釈が付与されたメディアを構成要素として含む別のパッケージの提示時にも提示できる。

〔メディア再生装置２の効果〕
以上説明したメディア再生装置２は、パッケージ再生部２１、および、注釈記録部１６を備えており、パッケージ再生処理を実行できる。その際、パッケージデータに含まれるメディアに派生メディアが含まれる場合であっても、意図した提示時刻に対して注釈情報を含んだ再生映像を生成できる。

また、メディア再生装置２は、パッケージ再生部２１、再生制御ＵＩ２４、注釈付与ＵＩ２５、および、表示画面合成部２３を備えており、画面表示処理を実行できる。したがって、パッケージデータと注釈情報を合わせて表示したり、画面上に再生制御ＵＩを表示して再生を制御したり、画面上に注釈制御ＵＩを表示して注釈付与を容易にしたりできる。

また、メディア再生装置２は、表示画面合成部２３、注釈付与ＵＩ２５、注釈更新部２２、および、注釈記録部１６を備えており、注釈付与処理を実行できる。したがって、パッケージデータが派生メディアを含む場合であっても、注釈情報を意図した提示時刻と関連付けて記録および外部に通知できる。

また、メディア再生装置２は、注釈受信部２６、および、注釈記録部１６を備えており、注釈受信処理が実行できる。したがって、別のメディア再生装置２によって付与された注釈情報を受信して記録することで、パッケージデータが派生メディアを含む場合であっても、メディア再生装置間で注釈情報を共有できる。

〔付記事項１〕
以上の各実施形態の説明で用いたパッケージ情報やパッケージデータのデータ構造は、一つの派生メディアが一つの派生元メディアの断片から構成することを表現可能なデータ構造であった。しかし、一つの派生メディアが複数の派生元メディアの断片から構成されてもよい。その際、複数の派生元メディアが、それぞれ別のパッケージに含まれるメディアデータであってもよい。その場合、派生メディアの断片毎に派生元メディアを指定する必要があるためパッケージ情報やパッケージデータのデータ量は増加するが、より多様な派生パッケージを生成できるという利点がある。

〔まとめ〕
上記課題を解決するため、本発明の一態様によるメディア記録再生装置は、記録されたパッケージ情報に基づいてメディアデータと注釈情報を再生するメディア記録再生装置であって、派生メディア情報を含むメディア情報を、少なくとも含んだパッケージ情報を記録するパッケージ記録部と、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、メディアデータを記録するメディア記録部と、パッケージ情報に基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部を備え、前記パッケージ再生部は、再生対象のパッケージが派生メディアであることを前記派生メディア情報に含まれる派生メディア識別情報が示す場合に、前記メディア情報に含まれる構成要素情報を参照してメディアデータと注釈情報を再生することを特徴とする。

また、本発明の一態様によるメディア記録再生装置は、付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新する注釈更新部を備えていることを特徴とする。

また、前記構成要素情報は、パッケージに含まれる派生メディアを構成する各構成要素について、構成要素開始および構成要素期間の情報を含むことを特徴とする。

また、前記付与注釈情報は注釈付与時パッケージを識別する注釈付与時パッケージ識別情報を含み、前記注釈更新部は、前記注釈付与時パッケージが派生メディアを含む場合であって、前記付与注釈情報が前記派生メディアに対して注釈を付与することを示す場合に、前記注釈を含む注釈情報を、前記注釈付与時パッケージの派生元パッケージに関連付けて前記注釈記録部に記録することを特徴とする。

また、前記付与注釈情報には注釈を表す情報として注釈位置情報と注釈内容情報が含まれており、前記注釈更新部は、前記派生元パッケージに関連付けて前記注釈情報を記録する際に、注釈付与時メディア内位置から、前記派生元パッケージにおけるメディア内注釈位置への変換処理を適用することを特徴とする。

また、前記付与注釈情報は、パッケージ間での注釈の継承を制限する継承タイプを含み、前記注釈更新部は、前記付与注釈情報に含まれる注釈の付与対象が派生メディアか否かと、前記継承タイプとに基づいて、前記注釈記録部の更新内容を決定することを特徴とする。

また、前記注釈情報は、パッケージ間での注釈の継承を制限する継承タイプをパッケージ内のメディアに関連付けて含み、前記パッケージ再生部は、再生対象パッケージが含む再生対象メディアが派生メディアか否かと、前記再生対象メディアに対する前記継承タイプとに基づいて、前記再生対象メディアと合わせて再生する注釈情報を決定することを特徴とする。

また、前記注釈情報は、注釈付与文脈情報をパッケージ内のメディアに関連付けて含み、前記パッケージ再生部は、再生対象パッケージが含む再生対象メディアが派生メディアか否かと、前記再生対象メディアに対する前記注釈付与文脈情報とに基づいて、前記再生対象メディアと合わせて再生する注釈情報を決定することを特徴とする。

また、前記注釈情報は、メディアに関連付けられた注釈付与時のパッケージを示す文脈パッケージ識別情報を含み、前記パッケージ再生部は、出力映像上で特定のメディアと関連付けて再生対象パッケージ切り替え操作のインターフェースを含め、前記再生対象パッケージの切り替え操作のインターフェースは、前記特定のメディアに対する前記文脈パッケージ識別情報が示す注釈付与時のパッケージへの切り替え操作を実行するためのインターフェースであることを特徴とする。

上記課題を解決するため、本発明の一態様によるメディア再生装置は、メディアデータを含むパッケージデータを受信して、メディアデータと注釈情報を再生するメディア再生装置であって、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、パッケージデータに基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部と、付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新するとともに外部に通知する注釈更新部と、通知された注釈情報を受信して前記注釈記録部に記録された注釈情報を更新する注釈受信部とを備え、前記パッケージデータは、派生メディア情報を含むことを特徴とするメディア再生装置。

〔ソフトウェアによる実現例〕
メディア記録再生装置１およびメディア再生装置２は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現しても良いし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現しても良い。

後者の場合、メディア記録再生装置１およびメディア再生装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ，上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読みとって実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されても良い。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
（関連出願の相互参照）
本出願は、２０１５年１０月２３日に出願された特願２０１５-２０８６８７に対して先権の利益を主張するものであり、当該出願を参照することにより、その内容の全てが本書に含まれる。

１ メディア記録再生装置
１１ メディア取得部
１２ メディア記録部
１３ パッケージ生成部
１４ パッケージ派生部
１５ パッケージ記録部
１６ 注釈記録部
１７ パッケージ再生部
１７１ パッケージ選択部
１７１１ メディア構成部
１７１２ 派生メディア構成部
１７２ メディア選択部
１７３ 注釈選択部
１７４ 映像構成部
１８ 注釈更新部
２ メディア再生装置
２１ パッケージ再生部
２２ 注釈更新部
２３ 表示画面合成部
２４ 再生制御ＵＩ
２５ 注釈付与ＵＩ
２６ 注釈受信部

Claims (10)

1. 記録されたパッケージ情報に基づいてメディアデータと注釈情報を再生するメディア記録再生装置であって、
   派生メディア情報を含むメディア情報を少なくとも含むパッケージ情報を記録するパッケージ記録部と、
   パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、
   メディアデータを記録するメディア記録部と、
   パッケージ情報に基づいて、パッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部を備え、
   前記パッケージ再生部は、再生対象のパッケージが派生メディアであることを前記派生メディア情報に含まれる派生メディア識別情報が示す場合に、前記メディア情報に含まれる構成要素情報を参照してメディアデータと注釈情報を再生することを特徴とするメディア記録再生装置。
2. 付与注釈情報に基づいて、記録された前記注釈情報を更新する注釈更新部を備えることを特徴とする請求項１に記載のメディア記録再生装置。
3. 前記構成要素情報は、パッケージに含まれる派生メディアを構成する各構成要素について、構成要素開始および構成要素期間の情報を含むことを特徴とする請求項１又は２に記載のメディア記録再生装置。
4. 前記付与注釈情報は、注釈付与時パッケージを識別する注釈付与時パッケージ識別情報を含み、
   前記注釈更新部は、前記注釈付与時パッケージが派生メディアを含む場合であって、前記付与注釈情報が前記派生メディアに対して注釈を付与することを示す場合に、前記注釈を含む注釈情報を、前記注釈付与時パッケージの派生元パッケージに関連付けて前記注釈記録部に記録することを特徴とする請求項２に記載のメディア記録再生装置。
5. 前記付与注釈情報は、注釈を表す情報として注釈位置情報と注釈内容情報を含み、
   前記注釈更新部は、前記派生元パッケージに関連付けて前記注釈情報を記録する際に、注釈付与時メディア内位置から、前記派生元パッケージにおけるメディア内注釈位置への変換処理を適用することを特徴とする請求項４に記載のメディア記録再生装置。
6. 前記付与注釈情報は、パッケージ間での注釈の継承を制限する継承タイプを含み、
   前記注釈更新部は、前記付与注釈情報に含まれる注釈の付与対象が派生メディアか否かと、前記継承タイプとに基づいて、前記注釈記録部の更新内容を決定することを特徴とする請求項２に記載のメディア記録再生装置。
7. 前記注釈情報は、パッケージ内のメディアに関連付けて、パッケージ間での注釈の継承を制限する継承タイプを含み、
   前記パッケージ再生部は、再生対象パッケージに含まれる再生対象メディアが派生メディアか否かと、前記再生対象メディアに対する前記継承タイプとに基づいて、前記再生対象メディアと併せて再生する注釈情報を決定することを特徴とする請求項１から請求項６のいずれか一項に記載のメディア記録再生装置。
8. 前記注釈情報は、パッケージ内のメディアに関連付けて、注釈付与文脈情報を含み、
   前記パッケージ再生部は、再生対象パッケージに含まれる再生対象メディアが派生メディアか否かと、前記再生対象メディアに対する前記注釈付与文脈情報とに基づいて、前記再生対象メディアと併せて再生する注釈情報を決定することを特徴とする請求項１から請求項７のいずれか一項に記載のメディア記録再生装置。
9. 前記注釈情報は、メディアに関連付けられた注釈付与時のパッケージを示す文脈パッケージ識別情報を含み、
   前記パッケージ再生部は、出力映像上で特定のメディアと関連付けて再生対象パッケージ切り替え操作のインターフェースを含み、
   前記再生対象パッケージの切り替え操作のインターフェースは、前記特定のメディアに対する前記文脈パッケージ識別情報が示す注釈付与時のパッケージへの切り替え操作を実行するためのインターフェースであることを特徴とする請求項１から請求項８のいずれか一項に記載のメディア記録再生装置。
10. メディアデータを含むパッケージデータを受信して、メディアデータと注釈情報を再生するメディア再生装置であって、
    パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、
    パッケージデータに基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部と、
    付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新するとともに外部に通知する注釈更新部と、
    通知された注釈情報を受信して前記注釈記録部に記録された注釈情報を更新する注釈受信部とを備え、
    前記パッケージデータは、派生メディア情報を含むことを特徴とするメディア再生装置。

Images