JP4964319B2 - 映像合成装置、プログラム及び記録媒体 - Google Patents

Description

本発明は、第１の映像に第２の映像を合成する映像合成装置等に関する。

ネットワークインフラの高速化や記録メディアの大容量化によって、ユーザが、あるいはユーザの扱う映像機器が、一度に扱える映像データの絶対量は飛躍的に増大している。それに伴い、複数の映像データを使って実現される様々な機能や、それらに基づく高度アプリケーションも登場しつつある。そのような機能の１つに「ピクチャ・イン・ピクチャ」と呼ばれる機能がある。

「ピクチャ・イン・ピクチャ」は、画面（親画面）の中に小さな子画面を重ねて２つの映像を同時に表示する機能である。例えば、親画面の映像と別のアングルから撮影された映像を子画面中に表示する「マルチアングル表示」や、親画面の映像に関する付加情報をコメンタリ形式で表示する「コメンタリ表示」（例えば、映画に関する撮影秘話などを収録した監督のコメンタリ映像等を子画面表示する）などに用いられる。

ピクチャ・イン・ピクチャは、例えば、図１７に示されるように、２つの映像データを２つの異なるレイヤ上にそれぞれ復号した後、それらの復号映像を重ね合せることで実現されている。この時、子画面側の映像は、親画面に重ね合わせるために映像の表示サイズや表示位置が調整される。また、ピクチャ・イン・ピクチャ時の子画面には、図１７に図示した矩形の映像の他、任意形状の映像が用いられることもある。このようなピクチャ・イン・ピクチャの機能及び実現方法については、例えば特許文献１に記載されている。

特開２００５−１２３７７５号公報

従来のピクチャ・イン・ピクチャでは、子画面の表示位置が予め決まっており、その位置に子画面を表示していた。

ピクチャ・イン・ピクチャでは、親画面の映像の上に子画面の映像が重ねて表示されるため、子画面表示時には、子画面の映像によって親画面の映像の一部が隠れることになる。このことから、子画面の表示位置は、親画面の映像の内容の変化に応じて、親画面上のどの位置に子画面を表示するかを切替えて与えることができることが望ましい。

さらに、ピクチャ・イン・ピクチャを利用したアプリケーションとして、子画面の映像を、ある期間内の任意の時刻で自由に再生開始、一時停止、再生再開可能とするものが考えられる。子画面は再生状態時にのみ表示される。例えば、子画面映像が親画面映像に対する特典映像の時、親画面と完全に同期させる必要は無いが、親画面映像内の特定の期間でのみ、その子画面映像（特典映像）を視聴可能とする、といった場合に利用される。この場合でも、子画面が表示される都度、親画面映像の内容に応じて、子画面を表示すべき適切な親画面上の表示位置が与えられることが望ましい。

しかし、これらの要求に対して、上記のように親画面映像の変化と共に変化する子画面の表示位置を与える方法が従来に無かった。そのため、上記のようなアプリケーションも実現不可能であった。

本発明は上記の問題を鑑みてなされたものであり、ピクチャ・イン・ピクチャ再生時の子画面の表示位置について、表示可能時間、並びに各時刻に対する表示領域もしくは表示可能領域を示した表示用データを提供する。また、それによって、上記したように、子画面映像の再生時刻、停止時刻を自由に変更しても、適切な子画面の表示位置を与えることを可能にする、映像合成装置等を提供するものである。

上述した課題を解決するために、本発明の映像合成装置は、第１の映像に第２の映像を合成する映像合成装置であって、
前記第１の映像の再生時間内に、前記第２の映像の表示可能時間が指定され、
前記第２の映像は、前記表示可能時間内の任意の時刻に再生を開始し、前記第２の映像の終了もしくは前記表示可能時間を超えたとき再生を終了し、かつ、再生中は任意に表示／非表示切替可能であって、
前記表示可能時間内の総ての時刻に亘って指定される、前記第１の映像の時刻を示す時刻情報と、前記時刻に前記第２の映像を表示するときの表示位置を示す表示領域情報とを含む表示用データを受け取り、該表示用データに基づいて任意の時刻に前記第２の映像を表示するときの表示位置を指定する指定手段と、
前記第１の映像の前記指定手段により指定された表示位置に前記第２の映像を重ねて合成する合成手段と、
を備えることを特徴とする。

また、本発明の映像合成装置において、前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像の表示領域を示す第２の表示領域情報が含まれており、
前記指定手段は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び／又は前記第２の表示領域情報に従って表示位置を指定する処理を行うことを特徴とする。

また、本発明の映像合成装置において、前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像を表示するときの表示可能な領域を示す表示可能領域情報が含まれており、前記表示可能な領域とは、前記第２の映像を表示に切り替えたときその領域内の任意の位置に表示してよい領域を指し、
前記指定手段は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び／又は前記表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする。

また、本発明の映像合成装置において、前記表示領域情報は、前記第２の映像を表示する領域の座標及び／またはサイズを示す情報を含むことを特徴とする。

また、本発明の映像合成装置において、前記表示領域情報は、前記第２の映像を表示する矩形領域の左上の頂点座標を含む、ことを特徴とする。

本発明の映像合成装置は、第１の映像に第２の映像を合成する映像合成装置であって、
前記第１の映像の再生時間内に、前記第２の映像の表示可能時間が指定され、
前記第２の映像は、前記表示可能時間内の任意の時刻に再生を開始し、前記第２の映像の終了もしくは前記表示可能時間を超えたとき再生を終了し、かつ、再生中は任意に表示／非表示切替可能であって、
前記表示可能時間内の総ての時刻に亘って指定される、前記第１の映像の時刻を示す時刻情報と、前記時刻に前記第２の映像を表示するときの表示可能な領域を示す表示可能領域情報とを含む表示用データを受け取り、前記表示可能な領域とは、前記第２の映像を表示に切り替えたときその領域内の任意の位置に表示してよい領域を指し、該表示用データに基づいて任意の時刻に前記第２の映像を表示するときの表示位置を指定する指定手段と、
前記第１の映像の前記指定手段により指定された表示位置に前記第２の映像を重ねて合成する合成手段と、
を備えることを特徴とする。

また、本発明の映像合成装置において、前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像の表示領域を示す表示領域情報が含まれており、
前記指定手段は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び／又は前記表示領域情報に従って表示位置を指定する処理を行うことを特徴とする。

また、本発明の映像合成装置において、前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像を表示するときの表示可能な領域を示す第２の表示可能領域情報が含まれており、
前記指定手段は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び／又は前記第２の表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする。

また、本発明の映像合成装置において、前記合成されて出力される映像はピクチャ・イン・ピクチャ形式の映像であり、前記第１の映像は親画面に表示される映像にあたり、前記第２の映像は子画面に表示される映像にあたることを特徴とする。

本発明のプログラムは、第１の映像に第２の映像を合成する映像合成装置において実行されるプログラムであって、
前記第１の映像の再生時間内に、前記第２の映像の表示可能時間が指定され、
前記第２の映像は、前記表示可能時間内の任意の時刻に再生を開始し、前記第２の映像の終了もしくは前記表示可能時間を超えたとき再生を終了し、かつ、再生中は任意に表示／非表示切替可能であって、
前記表示可能時間内の総ての時刻に亘って指定される、前記第１の映像の時刻を示す時刻情報と、前記時刻に前記第２の映像を表示するときの表示位置を示す表示領域情報とを含む表示用データを受け取り、該表示用データに基づいて任意の時刻に前記第２の映像を表示するときの表示位置を指定する指定機能と、
前記第１の映像の前記指定機能により指定された表示位置に前記第２の映像を重ねて合成する合成機能と、
を、前記映像合成装置に実現することを特徴としている。

また、本発明のプログラムにおいて、前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像の表示領域を示す第２の表示領域情報が含まれており、
前記指定機能は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び／又は前記第２の表示領域情報に従って表示位置を指定する処理を行うことを特徴とする。

また、本発明のプログラムにおいて、前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像を表示するときの表示可能な領域を示す表示可能領域情報が含まれており、前記表示可能な領域とは、前記第２の映像を表示に切り替えたときその領域内の任意の位置に表示してよい領域を指し、
前記指定機能は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び／又は前記表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする。

また、本発明のプログラムにおいて、前記表示領域情報は、前記第２の映像を表示する領域の座標及び／またはサイズを示す情報を含むことを特徴とする。

また、本発明のプログラムにおいて、前記表示領域情報は、前記第２の映像を表示する矩形領域の左上の頂点座標を含む、ことを特徴とする。

本発明のプログラムは、第１の映像に第２の映像を合成する映像合成装置において実行されるプログラムであって、
前記第１の映像の再生時間内に、前記第２の映像の表示可能時間が指定され、
前記第２の映像は、前記表示可能時間内の任意の時刻に再生を開始し、前記第２の映像の終了もしくは前記表示可能時間を超えたとき再生を終了し、かつ、再生中は任意に表示／非表示切替可能であって、
前記表示可能時間内の総ての時刻に亘って指定される、前記第１の映像の時刻を示す時刻情報と、前記時刻に前記第２の映像を表示するときの表示可能な領域を示す表示可能領域情報とを含む表示用データを受け取り、前記表示可能な領域とは、前記第２の映像を表示に切り替えたときその領域内の任意の位置に表示してよい領域を指し、該表示用データに基づいて任意の時刻に前記第２の映像を表示するときの表示位置を指定する指定機能と、
前記第１の映像の前記指定手段により指定された表示位置に前記第２の映像を重ねて合成する合成機能と、
を、前記映像合成装置に実現することを特徴としている。

また、本発明のプログラムにおいて、前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像の表示領域を示す表示領域情報が含まれており、
前記指定機能は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び／又は前記表示領域情報に従って表示位置を指定する処理を行うことを特徴とする。

また、本発明のプログラムにおいて、前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像を表示するときの表示可能な領域を示す第２の表示可能領域情報が含まれており、
前記指定機能は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び／又は前記第２の表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする。

また、本発明のプログラムにおいて、前記合成されて出力される映像はピクチャ・イン・ピクチャ形式の映像であり、前記第１の映像は親画面に表示される映像にあたり、前記第２の映像は子画面に表示される映像にあたることを特徴とする。

本発明の記録媒体は、第１の映像と、第２の映像及び該第１の映像に該第２の映像を重ねて合成表示するための表示用データが記録され、該第１の映像に該第２の映像を合成して出力する映像合成装置において再生される記録媒体であって、
上述した発明のプログラムが記録されていることを特徴とする。

本発明では、ピクチャ・イン・ピクチャ再生時の子画面の表示位置について、表示可能時間、並びに表示領域もしくは表示可能領域を示した表示用データを提供する。この表示用データは、子画面映像もしくは親画面映像の映像データ中に含めるか、あるいは映像データと独立した管理データ内に格納し、映像の伝送や配信時などに映像データと共に扱われる。映像の表示装置及び方法では、上記表示用データを読み出して、都度、親（子）画面映像の再生時刻に対応する子画面の表示位置を決定するのに利用する。これらにより、ピクチャ・イン・ピクチャで子画面映像を親画面映像に合成表示する際、適切な表示位置に表示して再生することが可能となる。結果、子画面映像は、表示可能時間の範囲内で自由に表示、非表示を切り替えることができ、また、自由に表示、非表示を切り替えても、その都度適切な位置に子画面映像を合成表示することができる。従って、提供者の意図した通りにピクチャ・イン・ピクチャ時の再生を行うことが可能となる。

第１、第２、第３の実施形態にかかる映像表示装置の概略構成を示した機能ブロック図である。 第１の実施形態にかかる映像表示装置で扱われる表示用データの例を示した図である。 第１の実施形態にかかる映像表示装置で扱われる表示用データの別の例を示した図である。 第１の実施形態にかかる映像表示装置で扱われる表示用データのバリエーションを示した説明図である。 第１の実施形態にかかる映像表示装置で扱われる表示用データのさらに別の例を示した図である。 第１、第２、第３の実施形態にかかる映像表示装置で映像が表示される時の処理を示したフローチャートである。 第１の実施形態にかかる映像表示装置で映像が表示される時の第１の表示状態を示した説明図である。 第１の実施形態にかかる映像表示装置で映像が表示される時の第２の表示状態を示した説明図である。 第１の実施形態にかかる映像表示装置で映像が表示される時の第３の表示状態を示した説明図である。 第１の実施形態にかかる映像表示装置で映像が表示される時の第４の表示状態を示した説明図である。 第２の実施形態にかかる映像表示装置で扱われる表示用データの例を示した図である。 第２の実施形態にかかる映像表示装置で映像が表示される時の第１の表示状態を示した説明図である。 第２の実施形態にかかる映像表示装置で映像が表示される時の第２の表示状態を示した説明図である。 第２の実施形態にかかる映像表示装置で映像が表示される時の第３の表示状態を示した説明図である。 第２の実施形態にかかる映像表示装置で映像が表示される時の第４の表示状態を示した説明図である。 第３の実施形態にかかる映像表示装置で映像が表示される時の処理を示した説明図である。 従来のピクチャ・イン・ピクチャ機能の実現方式を示した説明図である。

以下、図面を参照して本発明を実施するための形態について説明する。なお、以下の実施形態では、一例として、本発明における映像合成装置（プログラム）を、記録媒体を再生表示する映像表示装置に適用した場合について説明する。

（第１の実施形態）
第１の実施形態にかかる映像表示装置、方法、並びに表示用データを、図１乃至図１０を用いて説明する。

図１は、第１の実施形態にかかる映像表示装置１の概略構成を示した機能ブロック図である。映像表示装置１では、２つの映像データ（符号化映像ストリーム）が入力され、それらが復号、合成されいわゆる「ピクチャ・イン・ピクチャ表示」状態で表示される。本明細書では以下、ピクチャ・イン・ピクチャ表示において親画面に表示される映像を「メイン映像」、子画面として表示される映像を「サブ映像」と呼んで区別する。

映像表示装置１は、メイン映像の映像データを復号及び出力制御する復号部１０１及びバッファリング部１０２、サブ映像の映像データを復号及び出力制御する復号部１０３及びバッファリング部１０４、サブ映像をメイン映像に合成する合成部１０５及びその内部構成である調整部１０６、出力映像を表示する表示部１０７に加えて、ユーザからのサブ映像（子画面）の表示／非表示の切り替え指示を受け付ける入力部１０８と、該切り替えに対応して、復号部１０３及び／又はバッファリング部１０４の処理を調整する処理制御部１０９、並びに、別途入力されるサブ映像の表示用データと再生時の時刻情報とから、サブ映像（子画面）の表示位置を指定する位置指定部１１０とを備えて構成される。本明細書では以下、サブ映像（子画面）の表示位置を指定するのに利用されるこの表示用データを、映像データに対する「メタデータ」と呼ぶ。

なお、ここでは映像表示装置１を、復号部１０１、１０３を含んだ構成として示したが、それらは必須ではない。例えば、入力される映像データが符号化されていない映像データであれば、映像表示装置１は復号部１０１、１０３を含まなくともよい。また、図１の映像表示装置１は、映像のデータ（映像信号に係るデータ）の処理に関する機能ブロックのみを含んで構成されているが、実際の映像データは、映像信号に係るデータ以外に、オーディオデータや管理データ（符号化方式など符号化データの復号に必要な情報や、映像の切出しや連結を指定したプレイリストなど映像の再生に必要な情報）を含み、実際の映像表示装置は、それらを処理するための機能ブロックも含んで構成されるものである。この時、図１は、実際の映像表示装置の内部構成として実施される。

まず、映像表示装置１において、サブ映像（子画面）が表示されない時の処理について説明する。この時、サブ映像の映像データは、入力されていないか、あるいは入力されているが非表示処理されている。

入力されたメイン映像の映像データは、復号部１０１で復号され、復号された映像はバッファリング部１０２でタイミングを調整された上で出力される。サブ映像が表示されないため、バッファリング部１０２から出力された復号映像は、合成部１０５をそのまま素通りして、表示部１０７に入力される。そして、メイン映像がそのまま表示される。

次に、映像表示装置１において、サブ映像（子画面）が表示される場合の処理を説明する。
入力されたサブ映像の映像データは、復号部１０３で復号され、復号された映像はバッファリング部１０４でタイミングを調整された上で出力される。このサブ映像の復号映像は、合成部１０５内の調整部１０６に入力される。

調整部１０６は、サブ映像をメイン映像に合成する前処理として、サブ映像の復号映像の画像サイズや画面上の表示位置を変換、調整する。この時、後述する位置指定部１１０で指示されたメイン映像（親画面）の表示位置にサブ映像（子画面）を合成するように調整する。その後、入力されたメイン映像の復号映像に調整後のサブ映像が合成されて出力され、表示部１０７を通して表示される。また、合成時に透過度が設定されて、合成されたサブ映像の下にメイン映像が透けて見えるような合成を行うことも可能である。

映像表示装置１は、入力部１０８を備えており、ユーザからサブ映像（子画面）の表示／非表示の切り替え指示を受け付ける。そして、入力部１０８は、入力された切り替え指示に基づいて、サブ映像（子画面）が現時点で表示状態か非表示状態かを示す表示状態情報を生成し、処理制御部１０９及び位置指定部１１０に伝える。

処理制御部１０９は、入力部１０８から表示状態情報を受け取り、それに基づいて復号部１０３及び／又はバッファリング部１０４の処理を制御する。例えば、表示状態情報が「非表示状態」になった時に復号部１０３での復号処理及び／又はバッファリング部１０４からの出力を停止し、表示状態情報が「表示状態」になった時点でそれらの処理を再開することで、非表示の間、サブ映像を一時停止状態にしておく、といった処理を行う。

位置指定部１１０は、入力部１０８から表示状態情報を受け取り、サブ映像（子画面）が表示状態である時に、後述するメタデータを使って、サブ映像（子画面）を表示するメイン映像（親画面）内の表示位置を決定し、調整部１０６に通知する。

メイン映像は時間的に変化するものであり、サブ映像を表示させたい、あるいはサブ映像を表示させてもよいメイン映像内の表示位置は、メイン映像の変化に伴って時間的に変化するものである。そのため、上述したように、処理制御部１０９並びに処理制御部１０９で制御される復号部１０３及び／又はバッファリング部１０４によってサブ映像が非表示となり一時停止状態となってから、いくらかの時間が経過後に再生を再開しサブ映像を表示する時、非表示になる前と同じ位置に表示されることが望ましいとは限らない。本発明で与えるサブ映像の表示用データ、即ちメタデータは、メイン映像の各時刻位置に対して、サブ映像をメイン映像の何処に表示するか、あるいは何処に表示が可能かを与えたデータであり、位置指定部１１０は、サブ映像の映像データと共に入力されるメタデータを使って、再生時の時刻情報で示される時刻位置に対応するサブ映像（子画面）の表示位置を出力する。

本実施形態で扱う映像表示用のメタデータについて、図２乃至図５を用いてさらに詳しく説明する。

図２、図３は、本発明で与えるサブ映像表示に係るメタデータの具体例を示したものである。映像データに含まれる映像ストリーム（サブ映像ストリーム）は、ヘッダ部分と映像データ部分から構成されている。そして、ヘッダ部分にはストリームに関する各種情報が含まれており、当該ヘッダ部分にメタデータが含まれている。

図２、図３では各々、具体的なメタデータの構造（図２（ａ）、図３（ａ））と、そのメタデータが指し示している表示領域もしくは表示可能領域を示した図（図２（ｂ）、図３（ｂ））とに加えて、表示領域もしくは表示可能領域の時間的な変化が理解し易いように、同じく表示領域もしくは表示可能領域を１次元として模式的に表した図（図２（ｃ）、図３（ｃ））とが記載されている。即ち、図２（ｃ）及び図３（ｃ）の縦軸は画面の空間的な２次元位置を表すものであり、図示された帯の縦幅が表示領域もしくは表示可能領域の大きさに対応する。

図２（ａ）にメタデータの構造の一例を示す。メタデータには、サブ映像の総再生時間２００と、メイン映像の再生時刻（再生開始位置を「００：００：００」とする再生時間）を基準として、メイン映像のどの時間範囲でサブ映像が表示可能かを示す表示可能時間情報２０１と、表示可能な時間範囲内の各々の時刻で、サブ映像を表示するメイン映像内の位置を示した表示領域情報２０２とを含んで構成されている。なお、図２で示した表示領域情報２０２は、サブ映像（子画面）の表示サイズが予め与えられた固定サイズであることを想定し、子画面の左上頂点位置を示している。例えば、時間「００：００：１０」からは（ｘ１，ｙ１）を左上の頂点位置として、サブ映像が表示される。なお、頂点座標は左上の座標とは限らず、例えばサブ映像の中心座標としても良いことは勿論である。

図２（ｂ）は、メイン映像の各時刻でサブ映像を表示する表示領域を２次元で表したものである。例えば、時刻「００：００：１５」〜時刻「００：００：３０」の間であれば、サブ映像は（ｘ２，ｙ２）を左上の頂点座標とするメイン映像内の領域に合成されて表示される。

図２（ｃ）は、サブ映像を表示する表示領域を１次元で表したものである。縦方向はメイン映像における空間位置（領域）を示しており、横方向は時刻（メイン映像の時間位置）を示している。例えば、時刻「００：００：１５」のときに、サブ映像の左上の頂点座標が（ｘ１，ｙ１）から（ｘ２，ｙ２）に移動していることが図示されている。そして、メイン映像に対するサブ映像の表示領域は、図２（ｃ）において時刻「００：００：１５」及び「００：００：３０」で位置が変化する帯状の領域として表されている。

図３（ａ）も同様にメタデータの構造の一例を示す。図３（ａ）に示したメタデータは、サブ映像の総再生時間３００と、メイン映像の再生時刻を基準として、メイン映像のどの時間範囲でサブ映像が表示可能かを示す表示可能時間情報３０１と、表示可能な時間範囲内の各時刻で、サブ映像を表示することが可能な（表示することが許可された）メイン映像内の領域を示した表示可能領域情報３０２とを含んで構成されている。図３で示した表示可能領域情報３０２は、子画面が表示可能な領域を左上、右下２つの頂点座標で表している。例えば、図３（ｂ）を参照すると、時刻「００：００：１０」からは、座標（ｘ１，ｙ１）、（ｘ１’，ｙ１’）を左上、右下の各頂点とする矩形領域にサブ映像（子画面）が表示可能であることが示されている。サブ映像（子画面）の表示サイズが予め与えられた固定サイズであり、図３の表示可能領域情報３０２で指定される表示可能領域が子画面の表示サイズより大きい場合に、サブ映像は、表示時に表示可能領域内で任意の位置に表示することができるものとする。また、表示可能領域の範囲内で、表示されているサブ映像（子画面）を移動、もしくは拡大表示可能としてもよい。例えば、図３（ｃ）において、メイン映像に対してサブ映像を表示できる領域は、時刻「００：００：１５」及び「００：００：３０」で位置、幅が変化する帯状の領域として表されている。

図２及び図３に示した２つの例では、サブ映像（子画面）のサイズが固定であることを想定してメタデータにより表される表示（可能）領域について説明したが、これに限らず、表示領域情報がサブ映像の表示サイズ自体を表すとしてもよい。即ち、図３と同様に表示領域を左上、右下２つの頂点座標で表した上で、サブ映像が表示される際に、その表示領域のサイズにサブ映像が拡大又は縮小されて表示されるようにしてもよい。

図４の表は、本発明で与えるメタデータに関して、表示（可能）領域を指定する時間範囲の設定及び表示（可能）領域の記述形式についてのバリエーションを示したものである。但し、図４には、表示（可能）領域が矩形領域の場合のみを例示している。

時間範囲の設定の仕方としては、任意区間を指定するものと、固定の単位区間毎に表示（可能）領域を与えるものとがある。なお、任意区間を指定する際、連続する区間の間には時間の抜けや重複が無いとすれば、区間の開始もしくは終了時刻のいずれか一方を省略しても構わない。また、図４の表では、時刻の表現として、一般的に用いられている「時：分：秒」を例に挙げたが、これに限らず、例えば全体を「秒」もしくは「ミリ秒」で与えるといった形式であってもよい。また、固定の単位区間毎に与える場合では、図４に例示した５秒毎以外にも、任意の時間、例えば１秒毎や、２５０ミリ秒毎、１分毎などに１つずつ表示（可能）領域を与えるようにしてもよい。また、時間以外に、フレーム毎や、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）といった映像符号化時の単位毎に与えることもできる。単位区間の長さは、格納される映像の性質によって適宜設定される。

表示（可能）領域の記述形式としては、座標１つのみ、座標２つ、座標とサイズ、といった指定の仕方がある。このうち、座標１つで指定可能なのは、サブ映像の表示サイズが予め決められるケースである。また、領域を座標２つ、もしくは座標とサイズで表すのは、サブ映像の表示サイズが指定された領域よりも小さい、いわゆる表示可能領域を表すケースと、サブ映像を指定された領域にリサイズ（拡大あるいは縮小）する、表示領域を表すケースとがある。表示可能領域として、メイン映像内の上下あるいは左右に亘った帯状の領域（例えば画面の上半分、下半分といった領域）を指定することも可能である。また、図４は表示（可能）領域を矩形領域とした例であるが、これ以外に、表示（可能）領域を多角形や楕円といった矩形以外の形状で与えるか、または任意形状で与えることも可能である。任意形状領域は、例えばそれを表したマスク画像などにより与えられる。ここでは任意形状の具体的な記述形式については説明を省略する。

また、図２、図３のように表示（可能）領域の位置がある時刻で離散的に変化するので無く、図５に示すように表示（可能）領域が時間的に連続して変化するように指定することもできる。この場合のメタデータ（図５（ａ））に含まれる表示（可能）領域情報５０２は、例えば図５に示すように、時間区間と、その時間区間の開始時刻位置での表示（可能）領域の位置及びその時間区間の終了時刻位置での表示（可能）領域の位置の組み合わせで与えられる。例えば、子画面の表示領域を図５（ｂ）に示す。ここで、時刻「００：００：１０」のとき、子画面は（ｘ１、ｙ１）を左上の座標とする表示領域に表示される。そして、時刻「００：００：２０」のときに、子画面が（ｘ２、ｙ２）を左上の座標とする表示領域に表示されるように、連続して表示領域を移動させる。また、時刻「００：００：４０」のときに、子画面が（ｘ３、ｙ３）を左上の座標とする表示領域に表示されるように、連続して表示領域を移動させる。そして、この場合における表示領域もしくは表示可能領域を１次元として模式的に表したのが図５（ｃ）である。

なお、連続して変化する領域の指定方法はこれに限らず、開始時刻位置での表示（可能）領域の位置とそこからの単位変化量（移動ベクトル）によって与える、といった方法もある。

また、本発明では、メタデータにより表される領域を表示領域（表示される領域）もしくは表示可能領域（表示できる領域）であるとしているが、逆に、それ以外の領域を表示禁止領域（表示できない領域）として指定している、と捉えることもできる。即ち、表示可能時間と表示禁止領域とを指定するメタデータにも、本発明は同様に適用される。

次に、以上で説明した表示用のメタデータを使って、サブ映像をメイン映像に合成して再生、表示する際の具体的な動作について、図６乃至図１０を用いて説明する。

図６は、サブ映像（子画面）の表示／非表示の切り替えを含むサブ映像表示時の処理を示したフローチャートである。本フローチャートは、図１で示した映像表示装置１の装置構成のうち、主に位置指定部１１０、処理制御部１０９及び合成部１０５の動作を示している。また、図７乃至図１０には、図６のフローチャートを通して図１の映像表示装置１でサブ映像が合成表示された時の動作結果の一例を示した。図７乃至図１０中、黒く塗った箇所が、サブ映像の表示された時間、並びにその時の表示位置を示している。

なお、以下、表示領域がサブ映像の表示サイズと同じとなる図２で示したメタデータを例にとって再生、表示過程を説明していくが、表示領域のサイズがサブ映像の表示サイズよりも大きい、いわゆる表示可能領域を示したメタデータを用いる場合であっても、位置指定部１１０が表示可能領域から適宜表示位置を決定して出力する以外に、基本的な動作は変わらない。

位置指定部１１０は、メタデータを読み込む(ステップＳ１)と、まず、メタデータに含まれる表示可能時間情報（図２の２０１）に従い、メイン映像の現在の再生時刻が表示可能時間内であるかを判定する（ステップＳ２及びＳ３）。表示可能時間の開始時刻よりも前であれば、表示可能時間が開始されるまで待機することにより、サブ映像は表示されない（ステップＳ２；Ｎｏ）。

メイン映像における現在の再生時刻が表示可能時間内であれば（ステップＳ２；Ｙｅｓ→ステップＳ３；Ｎｏ）、位置指定部１１０はサブ映像の表示／非表示状態の変更の指示を入力部１０８から受け付ける。ここで、サブ映像を表示する指示を受け、サブ映像が表示状態である場合には（ステップＳ４；Ｙｅｓ）、サブ映像の復号処理を行い、復号画像を出力する（ステップＳ５）。また、位置指定部１１０は、メイン映像の現在の再生時刻位置に関する時刻情報を取得し（ステップＳ６）、メタデータを用いて現在の再生時刻位置に対応するサブ映像の表示位置を決定する（ステップＳ７）。そして、合成部１０５は、メイン映像内の指定された表示位置にサブ映像を合成して表示する（ステップＳ８）。そして、サブ映像のデータが終了となっていない場合（ステップＳ９；Ｎｏ）は、処理をステップＳ３に移行し処理を継続する。

他方、サブ映像の表示／非表示状態の変更指示により、サブ映像が非表示状態とユーザにより指示された場合（Ｓ４；Ｎｏ）には、サブ映像の復号並びに出力処理を停止し（ステップＳ１０）、サブ映像の表示自体を一時停止状態とする。
サブ映像の再生が終了するか(Ｓ９；Ｙｅｓ)、あるいはメイン映像の再生時刻がサブ映像の表示可能時間の終了時刻を過ぎたら（Ｓ３；Ｙｅｓ）、サブ映像の表示処理は終了する。

図７乃至図１０は、メイン映像とサブ映像との位置関係を模式的に示した図である。縦方向にメイン映像の空間位置を、横方向に時間を示している。今、時刻「００：００：００」からメイン映像の出力が開始される。さらに、図２（ａ）で示したメタデータ構造を利用した場合におけるサブ映像の表示状態について表している。

まず、図７は、時刻「００：００：１３」までの状態を表した図である。図２（ａ）におけるメタデータ構造を参照すると、時刻「００：００：１０」からサブ映像の表示可能時間が開始する。そして、時刻「００：００：１３」のときにサブ映像を表示する操作がユーザによりなされると（図６のステップＳ２；Ｙｅｓ→ステップＳ３；Ｎｏ→ステップＳ４；Ｙｅｓ）、サブ映像が復号される（ステップＳ５）。そして、メイン映像と合成され、メタデータで示された時刻「００：００：１３」に対応する表示位置に、サブ映像の表示が開始される（図７の黒塗り部）。

つづいて、図８は、時刻「００：００：２０」までの状態を表した図である。図２（ａ）におけるメタデータ構造を参照すると、時刻「００：００：１５」のときにサブ映像の表示領域を変更する内容が記述されている。したがって、位置指定部１１０は、メタデータの表示領域２０１にしたがって、サブ映像の表示位置を変更する（ステップＳ７）。また、時刻「００：００：２０」において、入力部１０８からサブ映像の状態を非表示とする信号が入力されると（ステップＳ４；Ｎｏ）、位置指定部１１０から合成部１０５に対してサブ映像の出力を停止する信号を出力する。そして、合成部１０５は、サブ映像の出力を停止する（ステップＳ１０）。

つづいて、図９は、時刻「００：００：２８」までの状態を表した図であり、再びサブ映像（子画面）が表示状態に切り替えられた時の状態を示している。この時、サブ映像は一時停止状態から再生状態に復帰し、「００：００：２０」時点で再生されていた続きのサブ映像が再生される。そしてその時のサブ映像（子画面）の表示位置は、メタデータによって時刻「００：００：２８」に対応した表示位置が与えられる。

つづいて、図１０は、時刻「００：００：３６」までの状態を表した図であり、総再生時間「１５」秒であるサブ映像の再生が終了した状態を示している。まず、図２（ａ）に記載されたメタデータを参照すると、時刻「００：００：３０」の時にサブ映像の表示領域が変更される（ステップＳ７）。そして、総再生時間「１５」秒が経過した「００：００：３６」において、サブ映像の出力は停止する（ステップＳ９；Ｙｅｓ）。

以上説明したように、第１の実施形態にかかる映像表示装置１では、サブ映像の表示領域あるいは表示可能領域を示したメタデータを利用することによって、サブ映像がメイン映像に合成表示される時、その表示時刻に対応したメイン映像内でのサブ映像の表示位置を適切に指定することができる。これにより、サブ映像は、表示可能時間の範囲内で自由に表示、非表示を切り替えることができ、また、自由に表示、非表示を切り替えても、メイン映像にとって望ましくない位置にサブ映像が合成表示されることを回避することができる。

本実施形態の図１では、上記したメタデータが、それぞれの映像データと独立して入力されるように描かれている。例えば、映像データと共に、映像データを管理するための管理データ（符号化方式など符号化データの復号に必要な情報や、映像の切出しや連結を指定したプレイリストなど映像の再生に必要な情報）が映像と別ストリームで与えられるような場合に、メタデータを管理データ内に格納して映像表示装置１に与えることができる。あるいは、図２（ａ）あるいは図３（ａ）に既に示しているように、上記したメタデータが、サブ映像の映像データを含む映像ストリーム中に格納されて提供されるようにしてもよい。この場合には、映像表示装置１に入力する前に、サブ映像の映像ストリームからメタデータを分離する処理が必要である。

また、上記したメタデータは、サブ映像の再生に伴って消費されるため、通常はサブ映像と一対一で与えられると考えられるが、例えば、メイン映像がメタデータを有して、複数のサブ映像に対して、どのサブ映像にも共通にそのメタデータを適用する、といった使用方法も考えられる。その場合には、メイン映像の映像データ（の映像ストリーム）中にメタデータが格納されることもある。さらに、図２（ａ）、図３（ａ）では、映像ストリームのヘッダ位置に上記メタデータが格納されているが、格納位置はこれに限らす、ストリームの中間、例えば映像データが複数のパケットに分割されて送られるような場合に、映像パケットと映像パケットの間に新規のデータパケットとして埋め込むか、あるいは映像パケットそれぞれのパケットヘッダに格納するとしてもよい。

映像の提供者は、上記のようにして映像データと共にメタデータを提供することにより、提供者の意図した表示位置でピクチャ・イン・ピクチャ時のサブ映像の表示を可能とする。

また、図１に示した映像表示装置１の合成部１０５は、サブ映像の調整のみを行い、メイン映像の調整は行わない（即ちメイン映像は全画面表示）が、例えば、メイン映像の復号映像の入力側にも（サブ映像用の調整部１０６と別個の）調整部１０６ａを設けて、メイン映像、サブ映像共に調整して出力する合成部１０５ａを構成することも可能である（合成部１０５ａ及び調整部１０６ａについては特に図示していない。）。但し、その場合、メタデータはサブ映像を合成表示するメイン映像上の表示（可能）領域を表すため、上記調整部１０６ａでメイン映像の調整を行った際には、その調整に応じてメタデータで示されるサブ映像の表示（可能）領域も調整する必要がある。即ち、例えば、メイン映像が縦横共に２分の１に縮小表示される場合には、そのメイン映像に合成表示されるサブ映像の表示（可能）領域も縦横２分の１に圧縮される。このことは、他の実施形態においては特に明言しないが、他の実施形態についても全く同様に当てはまるものとする。

（第２の実施形態）
次に、第２の実施形態にかかる映像表示装置、方法、並びに表示用データを、図１、図６、並びに図１１乃至図１５を用いて説明する。

第２の実施形態にかかる映像表示装置２の概略構成は、第１の実施形態と同様に図１の機能ブロック図で表される。但し、第２の実施形態では、第１の実施形態と扱うメタデータが異なり、表示装置の動作としては、位置指定部の動作のみが映像表示位置１（位置指定部１１０）と映像表示装置２（位置指定部２１０）とで異なる。このため、以下では、第１の実施形態との相違を中心に、第２の実施形態の映像表示装置２で用いるメタデータと、そのメタデータを用いた再生時の具体的動作とを説明する。

図１１に、本第２の実施形態で扱うメタデータの例を示す。第１の実施形態であげたメタデータ（図２、図３）は、サブ映像が表示可能時間内に表示される時、メイン映像にとって好ましいメイン映像内のサブ映像（子画面）の表示領域を与えるものであった。このため、図２、図３に示されたメタデータでは、メイン映像の再生時間軸を基準に、それぞれのメイン映像の再生時刻に対応するサブ映像の表示領域が与えられていた。これに対して、図１１に示した第２の実施形態にかかるメタデータは、サブ映像が表示される時、サブ映像の内容や演出意図などによって、サブ映像自体にとって望ましいサブ映像の表示されるべき表示領域を与えるものである。このため、第２の実施形態にかかるメタデータでは、サブ映像の再生時間軸を基準に、それぞれのサブ映像の再生時刻に対応したサブ映像の表示領域を与える。

ここで、サブ映像の内容によって望ましい表示位置とは、例えば、１０秒のサブ映像があり、最初の５秒が右を向いた人物Ａ、残りの５秒が左を向いた人物Ｂを移した映像であった場合に、最初の５秒は画面向かって左にサブ映像を表示し、残りの５秒は画面向かって右にサブ映像を表示して、両者Ａ、Ｂとも画面中央向きに表示する、といったユースケースにおいて利用される。無論、これは例であって、必ずしも両者中央を向くことが常に望ましい訳ではなく、何処に表示させるかは映像製作者の演出意図と絡むものである。つまり、図１１に示すような第２の実施形態にかかるメタデータは、サブ映像自体に対してサブ映像製作者の演出意図を再生に反映させるための付加情報ということになる。

第１の実施形態の図２と同様、図１１（ａ）には具体的なメタデータの構造を、図１１（ｂ）にはそのメタデータが指し示している表示領域を、図１１（ｃ）には表示領域の時間的な変化が理解し易いように、表示領域を１次元として模式的に表した。上述したように、図１１（ｂ）及び図１１（ｃ）の横軸には、サブ映像の再生時間位置が与えられている。図１１（ｃ）の縦軸は画面の空間的な２次元位置を表すものであり、図示された帯の縦幅が表示領域の大きさに対応する。

図１１（ａ）に示したメタデータは、メイン映像のどの時間範囲でサブ映像が表示可能かを示す表示可能時間情報１１０１と、サブ映像の再生時間軸を基準として、サブ映像の各再生時刻時点でサブ映像を表示すべきメイン映像内の位置を示した表示領域情報１１０２とを含んで構成される。但し、表示可能時間情報１１０１は必須ではなく、省略されてもよい。省略された場合、メイン映像全体がサブ映像の表示可能時間と解釈される。

なお、図１１では、表示領域情報１１０２として、サブ映像（子画面）の表示サイズが予め与えられた固定サイズであることを想定し、子画面の左上頂点位置（あるいは子画面の中心位置）の座標のみで指定される例を示したが、これに限らず、第１の実施形態と同様に、２つの座標を与えて表示可能領域を示したり（図３を参照）、同じく２つの座標を与えてサブ映像を拡大・縮小して表示する表示領域を与えたりすることも可能である。図１１（ｃ）で、サブ映像を表示すべき表示領域は、サブ映像の再生時刻「００：００：０５」（即ちサブ映像の再生開始から延べ５秒再生後）及び「００：００：１０」（即ちサブ映像の再生開始から延べ１０秒再生後）で位置が変化する帯状の領域として表される。

次に、図１１で示したメタデータを使って、サブ映像をメイン映像に合成して再生、表示する際の具体的な動作について、図６、図１２乃至図１５を用いて説明する。

本実施形態にかかる映像表示装置２で、サブ映像（子画面）の表示／非表示の切り替えを含むサブ映像表示を行う際の処理は、第１の実施形態と同様に図６のフローチャートで表される。本フローチャートは、図１で示した映像表示装置２の装置構成のうち、位置指定部２１０、処理制御部１０９及び合成部１０５の動作を示している。

なお、第１の実施形態の説明と同様、以下では、表示領域を表すメタデータを使った再生、表示過程を説明していくが、表示可能領域を示したメタデータを用いる場合であっても、位置指定部２１０が表示可能領域から適宜表示位置を決定して出力する以外に、基本的な動作は変わらない。

位置指定部２１０は、入力されたメタデータを読み込むと(ステップＳ１)、当該メタデータに含まれる表示可能時間情報１１０１に従い、メイン映像の現在の再生時刻が表示可能時間内であるかを判定する（ステップＳ２及びＳ３）。現在の再生時刻が表示可能時間の開始時刻よりも前であれば、サブ映像の表示は行わず待機状態となる（ステップＳ２；Ｎｏ）。

メイン映像における現在の再生時刻が表示可能時間内であれば（ステップＳ２；Ｙｅｓ→ステップＳ３；Ｎｏ）、位置指定部２１０はサブ映像の表示／非表示状態の変更の指示を入力部１０８から受け付ける。ここで、サブ映像を表示する指示を受け、サブ映像が表示状態である場合には（ステップＳ４；Ｙｅｓ）、サブ映像の復号処理を行い復号画像を出力する（ステップＳ５）。また、位置指定部２１０は、サブ映像の現在の再生時刻位置に関する時刻情報を取得し（ステップＳ６）、メタデータを用いてサブ映像の現在の再生時刻位置に対応する表示位置を決定する（ステップＳ７）。そして、合成部１０５は、メイン映像内の指定された表示位置にサブ映像を合成して表示する（ステップＳ８）。このように、第１の実施形態との相違は、ステップＳ６において時刻情報としてサブ映像自体の延べ再生時刻位置を取得することと、ステップＳ７においてメタデータを使ってサブ映像の再生時刻位置に対応する表示位置を決定することの２点である。

図１２乃至図１５は、映像表示装置２でサブ映像が合成表示された時の動作結果の一例を模式的に示した図である。但し、本実施形態における映像再生装置２では、メイン映像の再生時刻と別に、サブ映像が何処まで再生表示されたかを示すサブ映像の再生時刻を基にメタデータを管理するため、図１２乃至図１５では、（ａ）にサブ映像の再生時刻を基準としてメタデータから表示領域が指定される様子を示し、（ｂ）にメイン映像の時間を基準としてサブ映像がメイン映像に合成表示される様子を示した図を記載した。図１２乃至図１５の（ｂ）図中、黒く塗った箇所が、サブ映像の表示された時間、並びにその時の表示位置を示している。

まず、図１２は、時刻「００：００：１３」までの状態を表した図である。図１１（ａ）におけるメタデータ構造を参照すると、時刻「００：００：１０」からサブ映像の表示可能時間が開始する。そして、時刻「００：００：１３」のときにサブ映像を表示する操作がユーザによりなされると（図６のステップＳ２；Ｙｅｓ→ステップＳ３；Ｎｏ→ステップＳ４；Ｙｅｓ）、サブ映像が復号される（ステップＳ５）。そして、メイン映像と合成され、メタデータで示された時刻「００：００：１３」に対応する表示位置に、サブ映像の表示が開始される。ここで、図１２（ａ）は、サブ映像における再生時刻「００：００：００」から映像が出力されはじめた様子が示されている。また、図１２（ｂ）はメイン映像における再生時刻が「００：００：１３」のときにサブ映像が出力されはじめた様子が示されている。

つづいて、図１３は、時刻「００：００：２０」までの状態を表した図である。図１１（ａ）におけるメタデータ構造の表示領域情報１１０２を参照すると、サブ映像の再生時刻が「００：００：０５」のときにサブ映像の表示領域が変更される。したがって、図１３（ａ）に示すように、サブ映像の再生時刻「００：００：０５」のときに、表示領域が変化している。このため、図１３（ｂ）に示すように、合成映像上では、サブ映像が再生（表示）されてから５秒後となる時刻「００：００：１８」において表示位置が変更されている。そして、メイン映像における再生時刻「００：００：２０」において、サブ映像を非表示状態とする操作がなされると、メイン映像においてサブ映像の表示が停止する。このとき、サブ映像は「００：００：０７」まで再生されている。

つづいて、図１４は、時刻「００：００：２８」までの状態を表した図であり、再びサブ映像（子画面）が表示状態に切り替えられた時の状態を示している。この時、サブ映像は一時停止状態から再生状態に復帰し、メイン映像の「００：００：２０」時点で再生されていた続きのサブ映像、即ちサブ映像自体の時刻位置「００：００：０７」（延べ再生時間７秒の時間位置）から再生が開始される。サブ映像（子画面）の表示位置は、メタデータによって、同じくサブ映像自体の時刻位置「００：００：０７」（延べ再生時間７秒の時間位置）に対応した表示位置が与えられる。

つづいて、図１５は、メイン映像における時刻「００：００：３６」までの状態を表した図であり、総再生時間「１５」秒であるサブ映像の再生が終了した状態を示している。図１１（ａ）に記載されたメタデータに含まれる表示領域情報１１０２を参照すると、サブ映像の時刻「００：００：１０」（延べ再生時間１０秒の時間位置）にサブ映像の表示位置の変更がある。したがって、サブ映像の時刻が「００：００：１０」となる時刻、すなわちメイン映像の時刻「００：００：３１」において、サブ映像の表示位置が変更されている。

以上説明したように、本実施形態にかかる映像表示装置２では、サブ映像の表示領域（あるいは表示可能領域）を示したメタデータを利用することによって、サブ映像がメイン映像に合成表示される時、サブ映像の内容や演出意図によって予め決められるサブ映像を表示すべき位置を指定して、メイン映像に合成表示することができる。これにより、サブ映像は自由に表示、非表示を切り替えることができ、また、自由に表示、非表示を切り替えても、サブ映像の内容や演出意図に則った表示位置にサブ映像を合成表示することができる。

本実施形態にかかるメタデータについても、メタデータの提供形態は、第１の実施形態と同様、映像データと独立した、例えば管理データのデータストリームに格納されて提供されるか、もしくは、図１１（ａ）に示すように、サブ映像の映像データを含む映像ストリーム中に格納されて提供されるかの、いずれも可能である。映像ストリームに格納される場合には、映像表示装置２に入力する前に、サブ映像の映像ストリームからメタデータを分離する処理が必要となる。なお、第２の実施形態にかかるメタデータは、サブ映像と一対一で与えられるものであるため、基本的にサブ映像の映像データ、もしくはサブ映像に関連する管理データに付加される。さらに、図１１（ａ）では、映像ストリームのヘッダ位置にメタデータが格納されているが、格納位置はこれに限らす、ストリームの中間、例えば映像データが複数のパケットに分割されて送られるような場合に、映像パケットと映像パケットの間に新規のデータパケットとして埋め込むか、あるいは映像パケットそれぞれのパケットヘッダに格納するとしてもよい。

（第３の実施形態）
次に、第３の実施形態にかかる映像表示装置、方法、並びに表示用データを、図１、図６及び図１６を用いて説明する。

第３の実施形態にかかる映像表示装置３の概略構成は、第１及び第２の実施形態と同様に、図１の機能ブロック図で表される。但し、位置指定部１１０の動作のみが異なり、本実施形態においては位置指定部３１０として表す。また、第３の実施形態にかかる映像表示装置３でサブ映像表示を行う際の処理も、第１及び第２の実施形態と同様に、図６のフローチャートで表される。以下では、第１の実施形態にかかる映像表示装置１との相違点を中心に、第３の実施形態にかかる映像表示装置３の動作を説明する。

本実施形態における映像表示装置３では、第１の実施形態並びに第２の実施形態で説明した２種類のメタデータが、共にサブ映像の表示用メタデータとして入力され、それらのメタデータの組合せに基づいてサブ映像の表示領域を決定するものである。従って、映像表示装置３の位置指定部３１０は、２種類のメタデータと、２つの時刻情報（メイン映像の再生時刻位置情報とサブ映像の再生時刻位置情報）とを受け取り（フローチャートのステップＳ６）、適切なサブ映像の表示領域を決定する（フローチャートのステップＳ７）。

図１６は、メイン映像とサブ映像の状態を模式的に表した図である。図１６（ａ）は、第１の実施形態で説明したメタデータで与えられる、メイン映像に対して指定されるサブ映像の表示可能領域であり、図１６（ｂ）は、第２の実施形態で説明したメタデータで与えられる、サブ映像自体に対して指定される表示領域を表したものである。また、図１６（ｃ）は図１６（ｂ）のメタデータによって再生時にサブ映像の表示領域が指定される様子を示した図であり、図１６（ｄ）は図１６（ａ）、図１６（ｂ）のメタデータを使ってメイン映像とサブ映像とが合成されて表示される状態を示した図である。

図１６（ｃ）及び図１６（ｄ）は、上記２種類のメタデータを用いて、第１及び第２の実施形態と同様に、サブ映像を時刻「００：００：１３」で表示開始、時刻「００：００：２０」で表示停止、時刻「００：００：２８」で表示再開、時刻「００：００：３６」で表示を終了した時の、サブ映像の表示位置を示している。また図１６（ｃ）には（ｂ）で示したサブ映像に対する表示領域１６Ｂが、図１６（ｄ）には、（ａ）で示したメイン映像におけるサブ映像の表示可能領域１６Ａが示してある。そして、図１６（ｄ）の斜線もしくは黒く塗りつぶした箇所が、サブ映像の表示された時間、並びにその時の表示位置を示している。

サブ映像はメイン映像に対して、付加価値的な余剰コンテンツとして与えられるのが一般的である。従って、メイン映像をできるだけ崩さないように保持した状態で再生するのが一般的には望ましい。このため、上記した２種類のメタデータが与えられた場合には、サブ映像自体に対して与えられる表示領域１６Ｂよりも、メイン映像に対して与えられるサブ映像の表示可能領域１６Ａを優先させて表示領域を決定する。

図１６（ｄ）において、時刻範囲１６０１（「００：００：１３」〜「００：００：１５」）では、表示可能領域１６Ａとの表示領域１６Ｂとがちょうど重なっているため、双方のメタデータに基づきサブ映像の表示領域を決定している。

また、時刻範囲１６０２（「００：００：１５」〜「００：００：２０」及び「００：００：２８」〜「００：００：３０」）では、表示可能領域１６Ａに表示領域１６Ｂが完全に含まれる状態にある。このため、範囲１６０２では、第２の実施形態に示したのと同様のメタデータに基づき、サブ映像自体に対して与えられる表示領域にサブ映像を表示する。

また、時刻範囲１６０３（「００：００：３０」〜「００：００：３６」）では、メイン映像に対して与えられるサブ映像の表示可能領域１６Ａと、サブ映像の内容自体に応じて指定されるサブ映像の表示領域１６Ｂとが、異なる領域に別れている。この場合には、メイン映像に対して与えられるサブ映像の表示可能領域１６Ａを優先させる。即ち、時刻範囲１６０３では、第１の実施形態に示したのと同様のメタデータに基づき、メイン映像に対して与えられるサブ映像の表示可能領域にサブ映像を表示する。

なお、図には無いが、サブ映像の表示位置を指定するための図１６（ａ）に示す表示可能領域と図１６（ｂ）の表示領域とが異なる領域に別れ、かつ、図１６（ａ）に示した表示可能領域がサブ映像（子画面）の表示サイズよりも大きな領域を示すような場合に、図１６（ａ）の表示可能領域に含まれ、かつ、図１６（ｂ）の表示領域に最も近くなるような領域を決定し、サブ映像の表示領域とする、といった処理を加えてもよい。無論、逆に、サブ映像の演出意図が極めて重要な場合に、図１６（ｂ）の表示領域の優先度を高く設定することにより、サブ映像の表示位置を強制的に図１６（ｂ）の表示領域に基づいて設定するといったことも可能である。

なお、上記した各実施形態では、映像表示装置に入力される映像データ（及び管理データ）並びにメタデータが、放送や通信といった伝送路を経由して入力されるか、あるいは予め記録媒体に記録されていて、記録媒体に記録された映像データ（及び管理データ）並びにメタデータを逐次読み出して再生、表示するのかを問わない。伝送路を経由して一旦記録媒体に記録された後、記録された映像データ（及び管理データ）並びにメタデータを読み出して再生するといった使用についても同様である。即ち、各実施形態の映像表示装置、方法、並びに表示用データは、放送映像の受信装置、映像通信の受信装置、記録媒体を有する録画再生装置の一構成として、並びに、各実施形態で説明したメタデータが記録された記録媒体に対しても、適用可能である。

また、映像データ（及び管理データ）と本発明の各実施形態で示したメタデータとは、別個に管理することも可能である。このことから、再生側においてメタデータを生成し、別途放送、通信、又は記録媒体を経由して入力された映像データをピクチャ・イン・ピクチャ再生する際に、再生側で生成されたメタデータと組み合わせて用いるといったことも可能である。この場合、例えば、ユーザの好みに応じてメイン映像のうちサブ映像表示時に隠れて構わない領域と隠れて欲しくない領域を設定するなどの処理を通して、メタデータが形成される。再生側でのメタデータの生成は、放送や通信などの伝送路を通して入力された映像データ（及び管理データ）を記録媒体に記録する際や、記録媒体から映像データ（及び管理データ）を読み出して再生する直前などに実行される。また、この生成処理は、ユーザが直接入力しても、あるいはＪａｖａ（登録商標）等のプログラムで動的に生成できるようにしてもよい。即ち、本発明は、メタデータが実際に何処で設定されたかに拘らず、各実施形態で説明したメタデータを利用する映像表示装置、方法に対して適用可能である。

なお、ここで開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１、２、３ 映像表示装置
１０１、１０３ 復号部
１０２、１０４ バッファリング部
１０５ 合成部
１０６ 調整部
１０７ 表示部
１０８ 入力部
１０９ 処理制御部
１１０、２１０、３１０ 位置指定部

Claims (19)

1. 第１の映像に第２の映像を合成する映像合成装置であって、
   前記第１の映像の再生時間内に、前記第２の映像の表示可能時間が指定され、
   前記第２の映像は、前記表示可能時間内の任意の時刻に再生を開始し、前記第２の映像の終了もしくは前記表示可能時間を超えたとき再生を終了し、かつ、再生中は任意に表示／非表示切替可能であって、
   前記表示可能時間内の総ての時刻に亘って指定される、前記第１の映像の時刻を示す時刻情報と、前記時刻に前記第２の映像を表示するときの表示位置を示す表示領域情報とを含む表示用データを受け取り、該表示用データに基づいて任意の時刻に前記第２の映像を表示するときの表示位置を指定する指定手段と、
   前記第１の映像の前記指定手段により指定された表示位置に前記第２の映像を重ねて合成する合成手段と、
   を備えることを特徴とする映像合成装置。
2. 前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像の表示領域を示す第２の表示領域情報が含まれており、
   前記指定手段は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び／又は前記第２の表示領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項１に記載の映像合成装置。
3. 前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像を表示するときの表示可能な領域を示す表示可能領域情報が含まれており、前記表示可能な領域とは、前記第２の映像を表示に切り替えたときその領域内の任意の位置に表示してよい領域を指し、
   前記指定手段は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び／又は前記表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項１に記載の映像合成装置。
4. 前記表示領域情報は、前記第２の映像を表示する領域の座標及び／またはサイズを示す情報を含むことを特徴とする、請求項１に記載の映像合成装置。
5. 前記表示領域情報は、前記第２の映像を表示する矩形領域の左上の頂点座標を含む、ことを特徴とする請求項１に記載の映像合成装置。
6. 第１の映像に第２の映像を合成する映像合成装置であって、
   前記第１の映像の再生時間内に、前記第２の映像の表示可能時間が指定され、
   前記第２の映像は、前記表示可能時間内の任意の時刻に再生を開始し、前記第２の映像の終了もしくは前記表示可能時間を超えたとき再生を終了し、かつ、再生中は任意に表示／非表示切替可能であって、
   前記表示可能時間内の総ての時刻に亘って指定される、前記第１の映像の時刻を示す時刻情報と、前記時刻に前記第２の映像を表示するときの表示可能な領域を示す表示可能領域情報とを含む表示用データを受け取り、前記表示可能な領域とは、前記第２の映像を表示に切り替えたときその領域内の任意の位置に表示してよい領域を指し、該表示用データに基づいて任意の時刻に前記第２の映像を表示するときの表示位置を指定する指定手段と、
   前記第１の映像の前記指定手段により指定された表示位置に前記第２の映像を重ねて合成する合成手段と、
   を備えることを特徴とする映像合成装置。
7. 前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像の表示領域を示す表示領域情報が含まれており、
   前記指定手段は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び／又は前記表示領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項６に記載の映像合成装置。
8. 前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像を表示するときの表示可能な領域を示す第２の表示可能領域情報が含まれており、
   前記指定手段は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び／又は前記第２の表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項６に記載の映像合成装置。
9. 前記合成されて出力される映像はピクチャ・イン・ピクチャ形式の映像であり、前記第１の映像は親画面に表示される映像にあたり、前記第２の映像は子画面に表示される映像にあたることを特徴とする請求項１から８のいずれか一項に記載の映像合成装置。
10. 第１の映像に第２の映像を合成する映像合成装置において実行されるプログラムであって、
    前記第１の映像の再生時間内に、前記第２の映像の表示可能時間が指定され、
    前記第２の映像は、前記表示可能時間内の任意の時刻に再生を開始し、前記第２の映像の終了もしくは前記表示可能時間を超えたとき再生を終了し、かつ、再生中は任意に表示／非表示切替可能であって、
    前記表示可能時間内の総ての時刻に亘って指定される、前記第１の映像の時刻を示す時刻情報と、前記時刻に前記第２の映像を表示するときの表示位置を示す表示領域情報とを含む表示用データを受け取り、該表示用データに基づいて任意の時刻に前記第２の映像を表示するときの表示位置を指定する指定機能と、
    前記第１の映像の前記指定機能により指定された表示位置に前記第２の映像を重ねて合成する合成機能と、
    を、前記映像合成装置に実現するためのプログラム。
11. 前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像の表示領域を示す第２の表示領域情報が含まれており、
    前記指定機能は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び／又は前記第２の表示領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項１０に記載のプログラム。
12. 前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像を表示するときの表示可能な領域を示す表示可能領域情報が含まれており、前記表示可能な領域とは、前記第２の映像を表示に切り替えたときその領域内の任意の位置に表示してよい領域を指し、
    前記指定機能は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び／又は前記表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項１０に記載のプログラム。
13. 前記表示領域情報は、前記第２の映像を表示する領域の座標及び／またはサイズを示す情報を含むことを特徴とする、請求項１０に記載のプログラム。
14. 前記表示領域情報は、前記第２の映像を表示する矩形領域の左上の頂点座標を含む、ことを特徴とする請求項１０に記載のプログラム。
15. 第１の映像に第２の映像を合成する映像合成装置において実行されるプログラムであって、
    前記第１の映像の再生時間内に、前記第２の映像の表示可能時間が指定され、
    前記第２の映像は、前記表示可能時間内の任意の時刻に再生を開始し、前記第２の映像の終了もしくは前記表示可能時間を超えたとき再生を終了し、かつ、再生中は任意に表示／非表示切替可能であって、
    前記表示可能時間内の総ての時刻に亘って指定される、前記第１の映像の時刻を示す時刻情報と、前記時刻に前記第２の映像を表示するときの表示可能な領域を示す表示可能領域情報とを含む表示用データを受け取り、前記表示可能な領域とは、前記第２の映像を表示に切り替えたときその領域内の任意の位置に表示してよい領域を指し、該表示用データに基づいて任意の時刻に前記第２の映像を表示するときの表示位置を指定する指定機能と、
    前記第１の映像の前記指定手段により指定された表示位置に前記第２の映像を重ねて合成する合成機能と、
    を、前記映像合成装置に実現するためのプログラム。
16. 前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像の表示領域を示す表示領域情報が含まれており、
    前記指定機能は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び／又は前記表示領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項１５に記載のプログラム。
17. 前記表示用データには、前記第２の映像の時刻に対応して与えられる前記第２の映像を表示に切り替えたときの前記第１の映像内における前記第２の映像を表示するときの表示可能な領域を示す第２の表示可能領域情報が含まれており、
    前記指定機能は、前記第２の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び／又は前記第２の表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項１５に記載のプログラム。
18. 前記合成されて出力される映像はピクチャ・イン・ピクチャ形式の映像であり、前記第１の映像は親画面に表示される映像にあたり、前記第２の映像は子画面に表示される映像にあたることを特徴とする請求項１０から１７のいずれか一項に記載のプログラム。
19. 第１の映像と、第２の映像及び該第１の映像に該第２の映像を重ねて合成表示するための表示用データが記録され、該第１の映像に該第２の映像を合成して出力する映像合成装置において再生される記録媒体であって、
    前記請求項１０から１８の何れか一項に記載のプログラムが記録されていることを特徴とする記録媒体。

Images