WO2007013334A1

WO2007013334A1 - 映像合成装置及びプログラム

Info

Publication number: WO2007013334A1
Application number: PCT/JP2006/314264
Authority: WO
Inventors: Shuichi Watanabe; Jiro Kiyama; Takayoshi Yamaguchi
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2005-07-27
Filing date: 2006-07-19
Publication date: 2007-02-01
Also published as: EP2200289A2; CN101815186B; KR20090109138A; US8687121B2; EP1912201A1; US20100259680A1; EP2200288A3; EP2200289A3; CN101790058A; EP2200288A2; ES2392350T3; JP4408845B2; EP2200286A2; ES2506141T3; US8836803B2; US8836804B2; US9100619B2; US20100260478A1; EP2200290A2; CN101233558B

Abstract

ピクチャ・イン・ピクチャ再生で親画面上に子画面を合成表示する際の子画面の表示領域について、親画面の映像内容に応じて子画面の表示領域を与えるための表示用データ、及び、表示用データを用いて適切な表示位置に子画面を表示する映像表示装置等を提供する。映像表示装置１は、２つの映像データを復号する復号部１０１、１０３と、復号映像を合成して出力する合成部１０５と、子画面の表示／非表示を指示する入力部１０８と、上記指示を受けて復号部１０１、１０３の処理を制御する処理制御部１０９と、上記指示と、表示用データ並びに時刻情報とを受けて上記合成部１０５に子画面の表示位置を指示する位置指定部１１０とを備え、該位置指定部１１０は、上記表示用データに含まれる子画面映像の表示可能時間情報、及び各時刻の表示領域もしくは表示可能領域を示す情報に従って子画面映像の表示位置を決定する。

Description

明細書

映像合成装置及びプログラム

技術分野

[0001] 本発明は、第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して表示する映像合成装置及びプログラムに関する。

背景技術

[0002] ネットワークインフラの高速ィ匕ゃ記録メディアの大容量ィ匕によって、ユーザが、あるいはユーザの扱う映像機器が、一度に扱える映像データの絶対量は飛躍的に増大している。それに伴い、複数の映像データを使って実現される様々な機能や、それらに基づく高度アプリケーションも登場しつつある。そのような機能の 1つに「ピクチャ' イン ·ピクチャ」と呼ばれる機能がある。

[0003] 「ピクチャ'イン 'ピクチャ」は、画面 (親画面）の中に小さな子画面を重ねて 2つの映像を同時に表示する機能である。例えば、親画面の映像と別のアングル力撮影された映像を子画面中に表示する「マルチアングル表示」や、親画面の映像に関する付加情報をコメンタリ形式で表示する「コメンタリ表示」（例えば、映画に関する撮影秘話などを収録した監督のコメンタリ映像等を子画面表示する）などに用いられる。

[0004] ピクチャ 'イン'ピクチャは、例えば、図 17に示されるように、 2つの映像データを 2つの異なるレイヤ上にそれぞれ復号した後、それらの復号映像を重ね合せることで実現されている。この時、子画面側の映像は、親画面に重ね合わせるために映像の表示サイズや表示位置が調整される。また、ピクチャ 'イン'ピクチャ時の子画面には、図 17に図示した矩形の映像の他、任意形状の映像が用いられることもある。このようなピクチャ 'イン'ピクチャの機能及び実現方法にっ、ては、例えば特許文献 1に記載されている。

特許文献 1 :特開 2005— 123775号公報

発明の開示

発明が解決しょうとする課題

[0005] 従来のピクチャ'イン 'ピクチャでは、子画面の表示位置が予め決まっており、その位置に子画面を表示して!/、た。

[0006] ピクチャ'イン 'ピクチャでは、親画面の映像の上に子画面の映像が重ねて表示されるため、子画面表示時には、子画面の映像によって親画面の映像の一部が隠れることになる。このことから、子画面の表示位置は、親画面の映像の内容の変化に応じて、親画面上のどの位置に子画面を表示するかを切替えて与えることができることが望ましい。

[0007] さらに、ピクチャ'イン 'ピクチャを利用したアプリケーションとして、子画面の映像を、ある期間内の任意の時刻で自由に再生開始、一時停止、再生再開可能とするものが考えられる。子画面は再生状態時にのみ表示される。例えば、子画面映像が親画面映像に対する特典映像の時、親画面と完全に同期させる必要は無いが、親画面映像内の特定の期間でのみ、その子画面映像 (特典映像)を視聴可能とする、といった場合に利用される。この場合でも、子画面が表示される都度、親画面映像の内容に応じて、子画面を表示すべき適切な親画面上の表示位置が与えられることが望ましい。

[0008] しかし、これらの要求に対して、上記のように親画面映像の変化と共に変化する子画面の表示位置を与える方法が従来に無かった。そのため、上記のようなアプリケーシヨンも実現不可能であった。

[0009] 本発明は上記の問題を鑑みてなされたものであり、ピクチャ 'イン'ピクチャ再生時の子画面の表示位置について、表示可能時間、並びに各時刻に対する表示領域もしくは表示可能領域を示した表示用データを提供する。また、それによつて、上記したように、子画面映像の再生時刻、停止時刻を自由に変更しても、適切な子画面の表示位置を与えることを可能にする、映像合成装置及びプログラムを提供するものである。

課題を解決するための手段

[0010] 上述した課題を解決するために、第 1の発明は、第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力する映像合成装置であって、前記第 2 の映像が表示可能とされる前記第 1の映像の時刻を示す時刻情報と、前記時刻に対応して与えられる前記第 2の映像の表示領域を示す表示領域情報と、を含んだ表示用データを受け取り、該表示用データに基づいて前記第 2の映像を表示する際の前記第 1の映像内の表示位置を指定する指定手段と、前記指定手段により指定された前記第 1の映像内の表示位置に前記第 2の映像を重ねて合成する合成手段と、を備えることを特徴とする。

[0011] また、第 2の発明は、第 1の発明の映像合成装置であって、前記表示用データには、前記第 2の映像の時刻に対応して与えられる、前記第 2の映像の表示領域を示す第 2の表示領域情報が含まれており、前記指定手段は、前記第 2の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び Z又は前記第 2の表示領域情報に従って表示位置を指定する処理を行うことを特徴とする。

[0012] また、第 3の発明は、第 1の発明の映像合成装置であって、前記表示用データには、前記第 2の映像の時刻に対応して与えられる、前記第 2の映像の表示可能な領域を示す表示可能領域情報が含まれており、前記指定手段は、前記第 2の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び Z又は前記表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする。

[0013] 第 4の発明は、第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力する映像合成装置であって、前記第 2の映像が表示可能とされる前記第 1の映像の時刻を示す時刻情報と、前記時刻に対応して与えられる前記第 2の映像の表示可能な領域を示す表示可能領域情報と、を含んだ表示用データを受け取り、該表示用データに基づ!、て前記第 2の映像を表示する際の前記第 1の映像内の表示位置を指定する指定手段と、前記指定手段により指定された前記第 1の映像内の表示位置に前記第 2の映像を重ねて合成する合成手段と、を備えることを特徴とする。

[0014] また、第 5の発明は、第 4の発明の映像合成装置であって、前記表示用データには、前記第 2の映像の時刻に対応して与えられる、前記第 2の映像の表示領域を示す表示領域情報が含まれており、前記指定手段は、前記第 2の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び Z又は前記表示領域情報に従って表示位置を指定する処理を行うことを特徴とする。

[0015] また、第 6の発明は、第 4の発明の映像合成装置であって、前記表示用データには、前記第 2の映像の時刻に対応して与えられる、前記第 2の映像の表示可能な領域を示す第 2の表示可能領域情報が含まれており、前記指定手段は、前記第 2の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び Z又は前記第 2の表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする。

[0016] 第 7の発明は、第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力する映像合成装置であって、前記第 1の映像の時刻と異なる前記第 2 の映像の時刻を示す時刻情報と、前記第 2の映像の前記時刻に対応して与えられる前記第 2の映像の表示領域を示す表示領域情報と、を含んだ表示用データを受け取り、該表示用データに基づいて前記第 2の映像を表示する際の前記第 1の映像内の表示位置を指定する指定手段と、前記指定手段により指定された前記第 1の映像内の表示位置に前記第 2の映像を重ねて合成する合成手段と、を備えることを特徴とする。

[0017] 第 8の発明は、第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力する映像合成装置であって、前記第 1の映像の時刻と異なる前記第 2 の映像の時刻を示す時刻情報と、前記第 2の映像の前記時刻に対応して与えられる前記第 2の映像の表示可能な領域を示す表示可能領域情報と、を含んだ表示用データを受け取り、該表示用データに基づいて前記第 2の映像を表示する際に、前記表示可能領域情報に含まれるように前記第 1の映像内の表示位置を指定する指定手段と、前記指定手段により指定された前記第 1の映像内の表示位置に前記第 2の映像を重ねて合成する合成手段と、を備えることを特徴とする。

[0018] また、第 9の発明は、第 1から第 8の発明の何れか一項に記載された発明の映像合成装置であって、前記合成されて出力される映像はピクチャ 'イン'ピクチャ形式の映像であり、前記第 1の映像は親画面に表示される映像にあたり、前記第 2の映像は子画面に表示される映像にあたることを特徴とする。

[0019] 第 10の発明は、第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力させる制御を行うコンピュータに、前記第 2の映像が表示可能とされる、前記第 1の映像の時刻を示す時刻情報と、前記時刻に対応して与えられる前記第 2の映像の表示領域を示す表示領域情報と、を含んだ表示用データを受け取り、該表示用データに基づ!/、て前記第 2の映像を表示する際の前記第 1の映像内の表示位置を指定する制御を行う指定機能と、前記指定機能により指定された前記第 1 の映像内の指定された表示位置に、前記第 2の映像を重ねて合成させる制御を行う合成機能と、を実現させることを特徴とする。

また、第 11の発明は、第 1又は第 7の発明の映像合成装置であって、前記表示領域情報は、前記第 2の映像を表示する矩形領域の左上の頂点座標を含む、ことを特徴とする。

また、第 12の発明は、第 4又は第 8の発明の映像合成装置であって、前記表示可能領域情報は、前記第 2の映像を表示可能な矩形領域の左上の頂点座標を含む、ことを特徴とする。

発明の効果

[0020] 本発明では、ピクチャ'イン 'ピクチャ再生時の子画面の表示位置について、表示可能時間、並びに表示領域もしくは表示可能領域を示した表示用データを提供する。この表示用データは、子画面映像もしくは親画面映像の映像データ中に含めるか、あるいは映像データと独立した管理データ内に格納し、映像の伝送や配信時などに映像データと共に扱われる。映像の表示装置及び方法では、上記表示用データを読み出して、都度、親 (子)画面映像の再生時刻に対応する子画面の表示位置を決定するのに利用する。これらにより、ピクチャ 'イン'ピクチャで子画面映像を親画面映像に合成表示する際、適切な表示位置に表示して再生することが可能となる。結果、子画面映像は、表示可能時間の範囲内で自由に表示、非表示を切り替えることができ、また、自由に表示、非表示を切り替えても、その都度適切な位置に子画面映像を合成表示することができる。従って、提供者の意図した通りにピクチャ 'イン'ピクチャ時の再生を行うことが可能となる。

図面の簡単な説明

[0021] [図 1]本発明の第 1、第 2、第 3の実施形態にかかる映像表示装置の概略構成を示した機能ブロック図である。

[図 2]本発明の第 1の実施形態に力かる映像表示装置で扱われる表示用データの例を示した図である。

圆 3]本発明の第 1の実施形態に力かる映像表示装置で扱われる表示用データの別の例を示した図である。

圆 4]本発明の第 1の実施形態に力かる映像表示装置で扱われる表示用データのバリエーシヨンを示した説明図である。

圆 5]本発明の第 1の実施形態に力かる映像表示装置で扱われる表示用データのさらに別の例を示した図である。

[図 6]本発明の第 1、第 2、第 3の実施形態に力かる映像表示装置で映像が表示される時の処理を示したフローチャートである。

圆 7]本発明の第 1の実施形態に力かる映像表示装置で映像が表示される時の第 1 の表示状態を示した説明図である。

圆 8]本発明の第 1の実施形態に力かる映像表示装置で映像が表示される時の第 2 の表示状態を示した説明図である。

圆 9]本発明の第 1の実施形態に力かる映像表示装置で映像が表示される時の第 3 の表示状態を示した説明図である。

圆 10]本発明の第 1の実施形態に力かる映像表示装置で映像が表示される時の第 4 の表示状態を示した説明図である。

圆 11]本発明の第 2の実施形態に力かる映像表示装置で扱われる表示用データの例を示した図である。

圆 12]本発明の第 2の実施形態に力かる映像表示装置で映像が表示される時の第 1 の表示状態を示した説明図である。

圆 13]本発明の第 2の実施形態に力かる映像表示装置で映像が表示される時の第 2 の表示状態を示した説明図である。

圆 14]本発明の第 2の実施形態に力かる映像表示装置で映像が表示される時の第 3 の表示状態を示した説明図である。

圆 15]本発明の第 2の実施形態に力かる映像表示装置で映像が表示される時の第 4 の表示状態を示した説明図である。

圆 16]本発明の第 3の実施形態に力かる映像表示装置で映像が表示される時の処理を示した説明図である。

[図 17]従来のピクチャ 'イン'ピクチャ機能の実現方式を示した説明図である。

符号の説明

[0022] 1、2、3 映像表示装置

101、 103 復号部

102、 104 ノッファリング部

105 合成部

106 調整部

107 表示部

108 入力部

109 処理制御部

110、 210、 310 位置指定部

発明を実施するための最良の形態

[0023] 以下、図を参照して本発明に係る映像合成装置を、合成した映像を表示する映像表示装置に適用した場合について詳細に説明する。

(第 1の実施形態）

本発明の第 1の実施形態にかかる映像表示装置、方法、並びに表示用データを、図 1乃至図 10を用いて説明する。

[0024] 図 1は、本発明の第 1の実施形態にカゝかる映像表示装置 1の概略構成を示した機能ブロック図である。映像表示装置 1では、 2つの映像データ (符号ィ匕映像ストリーム) が入力され、それらが復号、合成されいわゆる「ピクチャ 'イン'ピクチャ表示」状態で表示される。本明細書では以下、ピクチャ 'イン'ピクチャ表示において親画面に表示される映像を「メイン映像」、子画面として表示される映像を「サブ映像」と呼んで区別する。

[0025] 映像表示装置 1は、メイン映像の映像データを復号及び出力制御する復号部 101 及びバッファリング部 102、サブ映像の映像データを復号及び出力制御する復号部 103及びバッファリング部 104、サブ映像をメイン映像に合成する合成部 105及びその内部構成である調整部 106、出力映像を表示する表示部 107に加えて、ユーザからのサブ映像 (子画面）の表示 Z非表示の切り替え指示を受け付ける入力部 108と、該切り替えに対応して、復号部 103及び Z又はノッファリング部 104の処理を調整する処理制御部 109、並びに、別途入力されるサブ映像の表示用データと再生時の時刻情報とから、サブ映像 (子画面)の表示位置を指定する位置指定部 110とを備えて構成される。本明細書では以下、サブ映像 (子画面）の表示位置を指定するのに利用されるこの表示用データを、映像データに対する「メタデータ」と呼ぶ。

[0026] なお、ここでは映像表示装置 1を、復号部 101、 103を含んだ構成として示したが、それらは必須ではない。例えば、入力される映像データが符号ィ匕されていない映像データであれば、映像表示装置 1は復号部 101、 103を含まなくともよい。また、図 1 の映像表示装置 1は、映像のデータ（映像信号に係るデータ）の処理に関する機能ブロックのみを含んで構成されているが、実際の映像データは、映像信号に係るデータ以外に、オーディオデータや管理データ (符号化方式など符号化データの復号に必要な情報や、映像の切出しや連結を指定したプレイリストなど映像の再生に必要な情報)を含み、実際の映像表示装置は、それらを処理するための機能ブロックも含んで構成されるものである。この時、図 1は、実際の映像表示装置の内部構成として実施される。

[0027] まず、映像表示装置 1において、サブ映像 (子画面）が表示されない時の処理について説明する。この時、サブ映像の映像データは、入力されていないか、あるいは入力されて!、るが非表示処理されて!、る。

[0028] 入力されたメイン映像の映像データは、復号部 101で復号され、復号された映像はノッファリング部 102でタイミングを調整された上で出力される。サブ映像が表示されないため、ノッファリング部 102から出力された復号映像は、合成部 105をそのまま素通りして、表示部 107に入力される。そして、メイン映像がそのまま表示される。

[0029] 次に、映像表示装置 1において、サブ映像 (子画面）が表示される場合の処理を説明する。

入力されたサブ映像の映像データは、復号部 103で復号され、復号された映像はノッファリング部 104でタイミングを調整された上で出力される。このサブ映像の復号映像は、合成部 105内の調整部 106に入力される。 [0030] 調整部 106は、サブ映像をメイン映像に合成する前処理として、サブ映像の復号映像の画像サイズや画面上の表示位置を変換、調整する。この時、後述する位置指定部 110で指示されたメイン映像 (親画面）の表示位置にサブ映像 (子画面）を合成するよう〖こ調整する。その後、入力されたメイン映像の復号映像に調整後のサブ映像が合成されて出力され、表示部 107を通して表示される。また、合成時に透過度が設定されて、合成されたサブ映像の下にメイン映像が透けて見えるような合成を行うことも可能である。

[0031] 映像表示装置 1は、入力部 108を備えており、ユーザ力もサブ映像 (子画面）の表示 Z非表示の切り替え指示を受け付ける。そして、入力部 108は、入力された切り替え指示に基づいて、サブ映像 (子画面）が現時点で表示状態か非表示状態かを示す表示状態情報を生成し、処理制御部 109及び位置指定部 110に伝える。

[0032] 処理制御部 109は、入力部 108から表示状態情報を受け取り、それに基づいて復号部 103及び Z又はバッファリング部 104の処理を制御する。例えば、表示状態情報が「非表示状態」になった時に復号部 103での復号処理及び Z又はバッファリング部 104からの出力を停止し、表示状態情報が「表示状態」になった時点でそれらの処理を再開することで、非表示の間、サブ映像を一時停止状態にしておぐといった処理を行う。

[0033] 位置指定部 110は、入力部 108から表示状態情報を受け取り、サブ映像 (子画面）が表示状態である時に、後述するメタデータを使って、サブ映像 (子画面）を表示するメイン映像 (親画面）内の表示位置を決定し、調整部 106に通知する。

[0034] メイン映像は時間的に変化するものであり、サブ映像を表示させたい、あるいはサブ映像を表示させてもょ、メイン映像内の表示位置は、メイン映像の変化に伴って時間的に変化するものである。そのため、上述したように、処理制御部 109並びに処理制御部 109で制御される復号部 103及び Z又はバッファリング部 104によってサブ映像が非表示となり一時停止状態となつてから、いくらかの時間が経過後に再生を再開しサブ映像を表示する時、非表示になる前と同じ位置に表示されることが望ましいとは限らない。本発明で与えるサブ映像の表示用データ、即ちメタデータは、メイン映像の各時刻位置に対して、サブ映像をメイン映像の何処に表示するカゝ、あるいは何処に表示が可能かを与えたデータであり、位置指定部 110は、サブ映像の映像データと共に入力されるメタデータを使って、再生時の時刻情報で示される時刻位置に対応するサブ映像 (子画面)の表示位置を出力する。

[0035] 本実施形態で扱う映像表示用のメタデータについて、図 2乃至図 5を用いてさらに詳しく説明する。

[0036] 図 2、図 3は、本発明で与えるサブ映像表示に係るメタデータの具体例を示したものである。映像データに含まれる映像ストリーム (サブ映像ストリーム）は、ヘッダ部分と映像データ部分力も構成されている。そして、ヘッダ部分にはストリームに関する各種情報が含まれており、当該ヘッダ部分にメタデータが含まれて、る。

[0037] 図 2、図 3では各々、具体的なメタデータの構造（図 2 (a)、図 3 (a) )と、そのメタデータが指し示して、る表示領域もしくは表示可能領域を示した図（図 2 (b)、図 3 (b) )とに加えて、表示領域もしくは表示可能領域の時間的な変化が理解し易いように、同じく表示領域もしくは表示可能領域を 1次元として模式的に表した図（図 2 (c)、図 3 (c) )とが記載されている。即ち、図 2 (c)及び図 3 (c)の縦軸は画面の空間的な 2次元位置を表すものであり、図示された帯の縦幅が表示領域もしくは表示可能領域の大きさに対応する。

[0038] 図 2 (a)にメタデータの構造の一例を示す。メタデータには、サブ映像の総再生時間 200と、メイン映像の再生時刻（再生開始位置を「00 : 00 : 00」とする再生時間）を基準として、メイン映像のどの時間範囲でサブ映像が表示可能かを示す表示可能時間情報 201と、表示可能な時間範囲内の各々の時刻で、サブ映像を表示するメイン映像内の位置を示した表示領域情報 202とを含んで構成されている。なお、図 2で示した表示領域情報 202は、サブ映像 (子画面)の表示サイズが予め与えられた固定サイズであることを想定し、子画面の左上頂点位置を示している。例えば、時間「0 0 : 00 : 10」からは 1, yl)を左上の頂点位置として、サブ映像が表示される。なお、頂点座標は左上の座標とは限らず、例えばサブ映像の中心座標としても良ヽことは勿論である。

[0039] 図 2 (b)は、メイン映像の各時刻でサブ映像を表示する表示領域を 2次元で表したものである。例えば、時刻「00： 00： 15」〜時刻「00： 00： 30」の間であれば、サブ映像は (x2, y2)を左上の頂点座標とするメイン映像内の領域に合成されて表示される

[0040] 図 2 (c)は、サブ映像を表示する表示領域を 1次元で表したものである。縦方向はメイン映像における空間位置 (領域)を示しており、横方向は時刻 (メイン映像の時間位置）を示している。例えば、時刻「00 : 00 : 15」のときに、サブ映像の左上の頂点座標が（xl, yl)から（x2, y2)に移動していることが図示されている。そして、メイン映像に対するサブ映像の表示領域は、図 2 (c)にお!/、て時刻「00： 00： 15」及び「00： 00： 30」で位置が変化する帯状の領域として表されて!/ヽる。

[0041] 図 3 (a)も同様にメタデータの構造の一例を示す。図 3 (a)に示したメタデータは、サブ映像の総再生時間 300と、メイン映像の再生時刻を基準として、メイン映像のどの時間範囲でサブ映像が表示可能かを示す表示可能時間情報 301と、表示可能な時間範囲内の各時刻で、サブ映像を表示することが可能な (表示することが許可された )メイン映像内の領域を示した表示可能領域情報 302とを含んで構成されている。図 3で示した表示可能領域情報 302は、子画面が表示可能な領域を左上、右下 2つの頂点座標で表している。例えば、図 3 (b)を参照すると、時刻「00 : 00 : 10」からは、座標 (xl, yl)、 (χΐ ' , yl ' )を左上、右下の各頂点とする矩形領域にサブ映像 (子画面）が表示可能であることが示されて、る。サブ映像 (子画面）の表示サイズが予め与えられた固定サイズであり、図 3の表示可能領域情報 302で指定される表示可能領域が子画面の表示サイズより大きい場合に、サブ映像は、表示時に表示可能領域内で任意の位置に表示することができるものとする。また、表示可能領域の範囲内で、表示されているサブ映像 (子画面）を移動、もしくは拡大表示可能としてもよい。例えば、図 3 (c)において、メイン映像に対してサブ映像を表示できる領域は、時刻「00 : 00： 15」及び「00： 00： 30」で位置、幅が変化する帯状の領域として表されて!/、る。

[0042] 図 2及び図 3に示した 2つの例では、サブ映像 (子画面）のサイズが固定であることを想定してメタデータにより表される表示（可能)領域について説明した力これに限らず、表示領域情報がサブ映像の表示サイズ自体を表すとしてもよい。即ち、図 3と同様に表示領域を左上、右下 2つの頂点座標で表した上で、サブ映像が表示される際に、その表示領域のサイズにサブ映像が拡大又は縮小されて表示されるようにしてもよい。

[0043] 図 4の表は、本発明で与えるメタデータに関して、表示 (可能)領域を指定する時間範囲の設定、及び表示（可能)領域の記述形式にっ、てのバリエーションを示したものである。但し、図 4には、表示（可能)領域が矩形領域の場合のみを例示している。

[0044] 時間範囲の設定の仕方としては、任意区間を指定するものと、固定の単位区間毎に表示 (可能)領域を与えるものとがある。なお、任意区間を指定する際、連続する区間の間には時間の抜けや重複が無いとすれば、区間の開始もしくは終了時刻のいずれか一方を省略しても構わない。また、図 4の表では、時刻の表現として、一般的に用いられて、る「時:分:秒」を例に挙げた力これに限らず、例えば全体を「秒」もしくは「ミリ秒」で与えるといった形式であってもよい。また、固定の単位区間毎に与える場合では、図 4に例示した 5秒毎以外にも、任意の時間、例えば 1秒毎や、 250ミリ秒毎、 1分毎などに 1つずつ表示（可能)領域を与えるようにしてもよい。また、時間以外に、フレーム毎や、 GOP (Group Of Picture)といった映像符号化時の単位毎に与えることもできる。単位区間の長さは、格納される映像の性質によって適宜設定される。

[0045] 表示（可能)領域の記述形式としては、座標 1つのみ、座標 2つ、座標とサイズ、といつた指定の仕方がある。このうち、座標 1つで指定可能なのは、サブ映像の表示サイズが予め決められるケースである。また、領域を座標 2つ、もしくは座標とサイズで表すのは、サブ映像の表示サイズが指定された領域よりも小さい、いわゆる表示可能領域を表すケースと、サブ映像を指定された領域にリサイズ (拡大あるいは縮小)する、表示領域を表すケースとがある。表示可能領域として、メイン映像内の上下あるいは左右に亘つた帯状の領域 (例えば画面の上半分、下半分といった領域)を指定することも可能である。また、図 4は表示 (可能)領域を矩形領域とした例であるが、これ以外に、表示 (可能)領域を多角形や楕円といった矩形以外の形状で与えるか、または任意形状で与えることも可能である。任意形状領域は、例えばそれを表したマスク画像などにより与えられる。ここでは任意形状の具体的な記述形式については説明を省略する。

[0046] また、図 2、図 3のように表示（可能)領域の位置がある時刻で離散的に変化するので無ぐ図 5に示すように表示 (可能)領域が時間的に連続して変化するように指定することもできる。この場合のメタデータ（図 5 (a) )に含まれる表示（可能)領域情報 502 は、例えば図 5に示すように、時間区間と、その時間区間の開始時刻位置での表示（可能)領域の位置、及びその時間区間の終了時刻位置での表示 (可能)領域の位置の組み合わせで与えられる。例えば、子画面の表示領域を図 5 (b)に示す。ここで、時刻「00 : 00 : 10」のとき、子画面は（xl、 yl)を左上の座標とする表示領域に表示される。そして、時刻「00 : 00 : 20」のときに、子画面が（x2、 y2)を左上の座標とする表示領域に表示されるように、連続して表示領域を移動させる。また、時刻「00 : 00 : 40 」のときに、子画面が（x3、 y3)を左上の座標とする表示領域に表示されるように、連続して表示領域を移動させる。そして、この場合における表示領域もしくは表示可能領域を 1次元として模式的に表したのが図 5 (c)である。

[0047] なお、連続して変化する領域の指定方法はこれに限らず、開始時刻位置での表示

(可能)領域の位置とそこ力もの単位変化量 (移動ベクトル）によって与える、といった方法もある。

[0048] また、本発明では、メタデータにより表される領域を表示領域 (表示される領域)もしくは表示可能領域 (表示できる領域)であるとしているが、逆に、それ以外の領域を表示禁止領域 (表示できない領域)として指定している、と捉えることもできる。即ち、表示可能時間と表示禁止領域とを指定するメタデータにも、本発明は同様に適用される。

[0049] 次に、以上で説明した表示用のメタデータを使って、サブ映像をメイン映像に合成して再生、表示する際の具体的な動作について、図 6乃至図 10を用いて説明する。

[0050] 図 6は、サブ映像 (子画面）の表示 Z非表示の切り替えを含むサブ映像表示時の処理を示したフローチャートである。本フローチャートは、図 1で示した映像表示装置 1 の装置構成のうち、主に位置指定部 110、処理制御部 109及び合成部 105の動作を示している。また、図 7乃至図 10には、図 6のフローチャートを通して図 1の映像表示装置 1でサブ映像が合成表示された時の動作結果の一例を示した。図 7乃至図 1 0中、黒く塗った箇所が、サブ映像の表示された時間、並びにその時の表示位置を示している。 [0051] なお、以下、表示領域がサブ映像の表示サイズと同じとなる図 2で示したメタデータを例にとって再生、表示過程を説明していくが、表示領域のサイズがサブ映像の表示サイズよりも大き、、 V、わゆる表示可能領域を示したメタデータを用いる場合であつても、位置指定部 110が表示可能領域から適宜表示位置を決定して出力する以外に、基本的な動作は変わらない。

[0052] 位置指定部 110は、メタデータを読み込む (ステップ S1)と、まず、メタデータに含まれる表示可能時間情報（図 2の 201)に従い、メイン映像の現在の再生時刻が表示可能時間内であるかを判定する (ステップ S2及び S3)。表示可能時間の開始時刻よりも前であれば、表示可能時間が開始されるまで待機することにより、サブ映像は表示されな、（ステップ S2； No)。

[0053] メイン映像における現在の再生時刻が表示可能時間内であれば (ステップ S2 ; Yes →ステップ S3 ;No)、位置指定部 110はサブ映像の表示 Z非表示状態の変更の指示を入力部 108から受け付ける。ここで、サブ映像を表示する指示を受け、サブ映像が表示状態である場合には (ステップ S4 ; Yes)、サブ映像の復号処理を行い、復号画像を出力する (ステップ S5)。また、位置指定部 110は、メイン映像の現在の再生時刻位置に関する時刻情報を取得し (ステップ S6)、メタデータを用いて現在の再生時刻位置に対応するサブ映像の表示位置を決定する (ステップ S 7)。そして、合成部 105は、メイン映像内の指定された表示位置にサブ映像を合成して表示する (ステツプ S8)。そして、サブ映像のデータが終了となっていない場合 (ステップ S9 ;No)は、処理をステップ S 3に移行し処理を継続する。

[0054] 他方、サブ映像の表示 Z非表示状態の変更指示により、サブ映像が非表示状態とユーザにより指示された場合 (S4 ;No)には、サブ映像の復号並びに出力処理を停止し (ステップ S 10)、サブ映像の表示自体を一時停止状態とする。

サブ映像の再生が終了するか (S9 ;Yes)、あるいはメイン映像の再生時刻がサブ映像の表示可能時間の終了時刻を過ぎたら（S3； Yes)、サブ映像の表示処理は終了する。

[0055] 図 7乃至図 10は、メイン映像とサブ映像との位置関係を模式的に示した図である。

縦方向にメイン映像の空間位置を、横方向に時間を示している。今、時刻「00 : 00 : 0 0」からメイン映像の出力が開始される。さら〖こ、図 2 (a)で示したメタデータ構造を利用した場合におけるサブ映像の表示状態にっ、て表して!/、る。

[0056] まず、図 7は、時刻「00 : 00 : 13」までの状態を表した図である。図 2 (a)におけるメタデータ構造を参照すると、時刻「00： 00： 10」からサブ映像の表示可能時間が開始する。そして、時刻「00 : 00 : 13」のときにサブ映像を表示する操作がユーザによりなされると（図 6のステップ S2 ;Yes→ステップ S3 ;No→ステップ S4 ;Yes)、サブ映像が復号される (ステップ S5)。そして、メイン映像と合成され、メタデータで示された時刻「 00 : 00 : 13」に対応する表示位置に、サブ映像の表示が開始される（図 7の黒塗り部

) o

[0057] つづいて、図 8は、時刻「00 : 00 : 20」までの状態を表した図である。図 2 (a)におけるメタデータ構造を参照すると、時刻「00 : 00 : 15]のときにサブ映像の表示領域を変更する内容が記述されている。したがって、位置指定部 110は、メタデータの表示領域情報 202にしたがって、サブ映像の表示位置を変更する (ステップ S7)。また、時刻「00 : 00 : 20」において、入力部 108からサブ映像の状態を非表示とする信号が入力されると (ステップ S4 ; No)、位置指定部 110から合成部 105に対してサブ映像の出力を停止する信号を出力する。そして、合成部 105は、サブ映像の出力を停止する（ステップ S 10)。

[0058] つづ!/、て、図 9は、時刻「00： 00： 28」までの状態を表した図であり、再びサブ映像 ( 子画面）が表示状態に切り替えられた時の状態を示している。この時、サブ映像は一時停止状態から再生状態に復帰し、「00： 00： 20」時点で再生されて!ヽた続きのサブ映像が再生される。そしてその時のサブ映像 (子画面）の表示位置は、メタデータによって時刻「00： 00： 28」に対応した表示位置が与えられる。

[0059] つづいて、図 10は、時刻「00 : 00 : 36」までの状態を表した図であり、総再生時間「 15」秒であるサブ映像の再生が終了した状態を示している。まず、図 2 (a)に記載されたメタデータを参照すると、時刻「00： 00： 30」の時にサブ映像の表示領域が変更される（ステップ S7)。そして、総再生時間「15」秒が経過した「00 : 00 : 36」において、サブ映像の出力は停止する（ステップ S 9 ; Yes)。

[0060] 以上説明したように、本発明の第 1の実施形態に力かる映像表示装置 1では、サブ映像の表示領域あるいは表示可能領域を示したメタデータを利用することによって、サブ映像がメイン映像に合成表示される時、その表示時刻に対応したメイン映像内でのサブ映像の表示位置を適切に指定することができる。これにより、サブ映像は、表示可能時間の範囲内で自由に表示、非表示を切り替えることができ、また、自由に表示、非表示を切り替えても、メイン映像にとって望ましくない位置にサブ映像が合成表示されることを回避することができる。

[0061] 本実施形態の図 1では、上記したメタデータ力それぞれの映像データと独立して入力されるように描かれている。例えば、映像データと共に、映像データを管理するための管理データ (符号化方式など符号化データの復号に必要な情報や、映像の切出しや連結を指定したプレイリストなど映像の再生に必要な情報）が映像と別ストリームで与えられるような場合に、メタデータを管理データ内に格納して映像表示装置 1に与えることができる。あるいは、図 2 (a)あるいは図 3 (a)に既に示しているように、上記したメタデータ力サブ映像の映像データを含む映像ストリーム中に格納されて提供されるようにしてもよい。この場合には、映像表示装置 1に入力する前に、サブ映像の映像ストリーム力メタデータを分離する処理が必要である。

[0062] また、上記したメタデータは、サブ映像の再生に伴って消費されるため、通常はサブ映像と一対一で与えられると考えられる力例えば、メイン映像カ^タデータを有して、複数のサブ映像に対して、どのサブ映像にも共通にそのメタデータを適用する、といった使用方法も考えられる。その場合には、メイン映像の映像データ（の映像ストリーム）中にメタデータが格納されることもある。さらに、図 2 (a)、図 3 (a)では、映像ストリームのヘッダ位置に上記メタデータが格納されている力格納位置はこれに限らず、ストリームの中間、例えば映像データが複数のパケットに分割されて送られるような場合に、映像パケットと映像パケットの間に新規のデータパケットとして埋め込むか、あるいは映像パケットそれぞれのパケットヘッダに格納するとしてもよい。

[0063] 映像の提供者は、上記のようにして映像データと共にメタデータを提供することにより、提供者の意図した表示位置でピクチャ 'イン'ピクチャ時のサブ映像の表示を可能とする。

[0064] また、図 1に示した映像表示装置 1の合成部 105は、サブ映像の調整のみを行い、メイン映像の調整は行わない（即ちメイン映像は全画面表示）が、例えば、メイン映像の復号映像の入力側にも（サブ映像用の調整部 106と別個の）調整部 106aを設けて、メイン映像、サブ映像共に調整して出力する合成部 105aを構成することも可能である (合成部 105a及び調整部 106aについては特に図示していない。 )₀但し、その場合、メタデータはサブ映像を合成表示するメイン映像上の表示（可能)領域を表すため、上記調整部 106aでメイン映像の調整を行った際には、その調整に応じてメタデータで示されるサブ映像の表示 (可能)領域も調整する必要がある。即ち、例えば、メイン映像が縦横共に 2分の 1に縮小表示される場合には、そのメイン映像に合成表示されるサブ映像の表示（可能)領域も縦横 2分の 1に圧縮される。このことは、他の実施形態にぉヽては特に明言しな！ヽが、他の実施形態につ！ヽても全く同様に当てはまるものとする。

[0065] (第 2の実施形態）

次に、本発明の第 2の実施形態にかかる映像表示装置、方法、並びに表示用データを、図 1、図 6、並びに図 11乃至図 15を用いて説明する。

[0066] 本発明の第 2の実施形態にかかる映像表示装置 2の概略構成は、第 1の実施形態と同様に図 1の機能ブロック図で表される。但し、第 2の実施形態では、第 1の実施形態と扱うメタデータが異なり、表示装置の動作としては、位置指定部の動作のみが映像表示装置 1 (位置指定部 110)と映像表示装置 2 (位置指定部 210)とで異なる。このため、以下では、第 1の実施形態との相違を中心に、第 2の実施形態の映像表示装置 2で用いるメタデータと、そのメタデータを用いた再生時の具体的動作とを説明する。

[0067] 図 11に、本第 2の実施形態で扱うメタデータの例を示す。第 1の実施形態であげたメタデータ（図 2、図 3)は、サブ映像が表示可能時間内に表示される時、メイン映像にとつて好ま、メイン映像内のサブ映像 (子画面）の表示領域を与えるものであった。このため、図 2、図 3に示されたメタデータでは、メイン映像の再生時間軸を基準に、それぞれのメイン映像の再生時刻に対応するサブ映像の表示領域が与えられて!/ヽた。これに対して、図 11に示した第 2の実施形態に力かるメタデータは、サブ映像が表示される時、サブ映像の内容や演出意図などによって、サブ映像自体にとって望ましいサブ映像の表示されるべき表示領域を与えるものである。このため、第 2の実施形態に力かるメタデータでは、サブ映像の再生時間軸を基準に、それぞれのサブ映像の再生時刻に対応したサブ映像の表示領域を与える。

[0068] ここで、サブ映像の内容によって望ましい表示位置とは、例えば、 10秒のサブ映像があり、最初の 5秒が右を向いた人物 A、残りの 5秒が左を向いた人物 Bを移した映像であった場合に、最初の 5秒は画面向力つて左にサブ映像を表示し、残りの 5秒は画面向力つて右にサブ映像を表示して、両者 A、 Bとも画面中央向きに表示する、といったユースケースにおいて利用される。無論、これは例であって、必ずしも両者中央を向くことが常に望ましい訳ではなぐ何処に表示させるかは映像製作者の演出意図と絡むものである。つまり、図 11に示すような第 2の実施形態に力かるメタデータは、サブ映像自体に対してサブ映像製作者の演出意図を再生に反映させるための付加情報ということになる。

[0069] 第 1の実施形態の図 2と同様、図 11 (a)には具体的なメタデータの構造を、図 11 (b )にはそのメタデータが指し示している表示領域を、図 11 (c)には表示領域の時間的な変化が理解し易いように、表示領域を 1次元として模式的に表した。上述したように、図 11 (b)及び図 11 (c)の横軸には、サブ映像の再生時間位置が与えられている。図 11 (c)の縦軸は画面の空間的な 2次元位置を表すものであり、図示された帯の縦幅が表示領域の大きさに対応する。

[0070] 図 11 (a)に示したメタデータは、メイン映像のどの時間範囲でサブ映像が表示可能かを示す表示可能時間情報 1101と、サブ映像の再生時間軸を基準として、サブ映像の各再生時刻時点でサブ映像を表示すべきメイン映像内の位置を示した表示領域情報 1102とを含んで構成される。但し、表示可能時間情報 1101は必須ではなく、省略されてもよい。省略された場合、メイン映像全体がサブ映像の表示可能時間と解釈される。

[0071] なお、図 11では、表示領域情報 1102として、サブ映像 (子画面）の表示サイズが予め与えられた固定サイズであることを想定し、子画面の左上頂点位置（あるいは子画面の中心位置）の座標のみで指定される例を示したが、これに限らず、第 1の実施形態と同様に、 2つの座標を与えて表示可能領域を示したり（図 3を参照）、同じく 2つの座標を与えてサブ映像を拡大 *縮小して表示する表示領域を与えたりすることも可能である。図 11 (c)で、サブ映像を表示すべき表示領域は、サブ映像の再生時刻「0 0 : 00 : 05」（即ちサブ映像の再生開始から延べ 5秒再生後）及び「00 : 00 : 10」（即ちサブ映像の再生開始力も延べ 10秒再生後)で位置が変化する帯状の領域として表される。

[0072] 次に、図 11で示したメタデータを使って、サブ映像をメイン映像に合成して再生、表示する際の具体的な動作について、図 6、図 12乃至図 15を用いて説明する。

[0073] 本実施形態にかかる映像表示装置 2で、サブ映像 (子画面）の表示 Z非表示の切り替えを含むサブ映像表示を行う際の処理は、第 1の実施形態と同様に図 6のフローチャートで表される。本フローチャートは、図 1で示した映像表示装置 2の装置構成のうち、位置指定部 210、処理制御部 109及び合成部 105の動作を示している。

[0074] なお、第 1の実施形態の説明と同様、以下では、表示領域を表すメタデータを使つた再生、表示過程を説明していくが、表示可能領域を示したメタデータを用いる場合であっても、位置指定部 210が表示可能領域力適宜表示位置を決定して出力する以外に、基本的な動作は変わらない。

[0075] 位置指定部 210は、入力されたメタデータを読み込むと (ステップ Sl)、当該メタデータに含まれる表示可能時間情報 1101に従、、メイン映像の現在の再生時刻が表示可能時間内であるかを判定する (ステップ S2及び S3)。現在の再生時刻が表示可能時間の開始時刻よりも前であれば、サブ映像の表示は行わず待機状態となる (ステツプ S 2 ; No)。

[0076] メイン映像における現在の再生時刻が表示可能時間内であれば (ステップ S2 ; Yes →ステップ S3 ;No)、位置指定部 210はサブ映像の表示 Z非表示状態の変更の指示を入力部 108から受け付ける。ここで、サブ映像を表示する指示を受け、サブ映像が表示状態である場合には (ステップ S4； Yes)、サブ映像の復号処理を行ヽ復号画像を出力する (ステップ S5)。また、位置指定部 210は、サブ映像の現在の再生時刻位置に関する時刻情報を取得し (ステップ S6)、メタデータを用いてサブ映像の現在の再生時刻位置に対応する表示位置を決定する (ステップ S7)。そして、合成部 105 は、メイン映像内の指定された表示位置にサブ映像を合成して表示する (ステップ S8 ) oこのように、第 1の実施形態との相違は、ステップ S6において時刻情報としてサブ映像自体の延べ再生時刻位置を取得することと、ステップ S7にお、てメタデータを使ってサブ映像の再生時刻位置に対応する表示位置を決定することの 2点である。

[0077] 図 12乃至図 15は、映像表示装置 2でサブ映像が合成表示された時の動作結果の一例を模式的に示した図である。但し、本実施形態における映像表示装置 2では、メイン映像の再生時刻と別に、サブ映像が何処まで再生表示されたかを示すサブ映像の再生時刻を基にメタデータを管理するため、図 12乃至図 15では、（a)にサブ映像の再生時刻を基準としてメタデータ力表示領域が指定される様子を示し、 (b)にメイン映像の時間を基準としてサブ映像がメイン映像に合成表示される様子を示した図を記載した。図 12乃至図 15の (b)図中、黒く塗った箇所が、サブ映像の表示された時間、並びにその時の表示位置を示している。

[0078] まず、図 12は、時刻「00 : 00 : 13」までの状態を表した図である。図 11 (a)におけるメタデータ構造を参照すると、時刻「00： 00： 10」からサブ映像の表示可能時間が開始する。そして、時刻「00 : 00 : 13」のときにサブ映像を表示する操作がユーザによりなされると（図 6のステップ S2 ;Yes→ステップ S3 ;No→ステップ S4 ;Yes)、サブ映像が復号される (ステップ S5)。そして、メイン映像と合成され、メタデータで示された時刻「00 : 00 : 13」に対応する表示位置に、サブ映像の表示が開始される。ここで、図 1 2 (a)は、サブ映像における再生時刻「00 : 00 : 00」から映像が出力されはじめた様子が示されている。また、図 12 (b)はメイン映像における再生時刻が「00 : 00 : 13」のときにサブ映像が出力されはじめた様子が示されている。

[0079] つづいて、図 13は、時刻「00 : 00 : 20」までの状態を表した図である。図 11 (a)におけるメタデータ構造の表示領域情報 1102を参照すると、サブ映像の再生時刻が「 00 : 00 : 05」のときにサブ映像の表示領域が変更される。したがって、図 13 (a)に示すように、サブ映像の再生時刻「00 : 00 : 05」のときに、表示領域が変化している。このため、図 13 (b)に示すように、合成映像上では、サブ映像が再生 (表示）されてから 5秒後となる時刻「00 : 00 : 18」において表示位置が変更されている。そして、メイン映像における再生時刻「00： 00： 20」におヽて、サブ映像を非表示状態とする操作がなされると、メイン映像においてサブ映像の表示が停止する。このとき、サブ映像は「00： 00： 07」まで再生されて!ヽる。

[0080] つづいて、図 14は、時刻「00 : 00 : 28」までの状態を表した図であり、再びサブ映像 (子画面）が表示状態に切り替えられた時の状態を示している。この時、サブ映像は一時停止状態から再生状態に復帰し、メイン映像の「00： 00： 20」時点で再生されていた続きのサブ映像、即ちサブ映像自体の時刻位置「00 : 00 : 07」（延べ再生時間 7秒の時間位置)から再生が開始される。サブ映像 (子画面）の表示位置は、メタデータによって、同じくサブ映像自体の時刻位置「00 : 00 : 07」（延べ再生時間 7秒の時間位置）に対応した表示位置が与えられる。

[0081] つづいて、図 15は、メイン映像における時刻「00 : 00 : 36」までの状態を表した図であり、総再生時間「15」秒であるサブ映像の再生が終了した状態を示している。図 11 (a)に記載されたメタデータに含まれる表示領域情報 1102を参照すると、サブ映像の時刻「00 : 00 : 10」（延べ再生時間 10秒の時間位置）にサブ映像の表示位置の変更がある。したがって、サブ映像の時刻が「00 : 00 : 10」となる時刻、すなわちメイン映像の時刻「00 : 00 : 31」において、サブ映像の表示位置が変更されている。

[0082] 以上説明したように、本実施形態に力かる映像表示装置 2では、サブ映像の表示領域 (あるいは表示可能領域)を示したメタデータを利用することによって、サブ映像がメイン映像に合成表示される時、サブ映像の内容や演出意図によって予め決められるサブ映像を表示すべき位置を指定して、メイン映像に合成表示することができる。これにより、サブ映像は自由に表示、非表示を切り替えることができ、また、自由に表示、非表示を切り替えても、サブ映像の内容や演出意図に則った表示位置にサブ映像を合成表示することができる。

[0083] 本実施形態に力かるメタデータについても、メタデータの提供形態は、第 1の実施形態と同様、映像データと独立した、例えば管理データのデータストリームに格納されて提供されるか、もしくは、図 11 (a)に示すように、サブ映像の映像データを含む映像ストリーム中に格納されて提供されるかの、いずれも可能である。映像ストリームに格納される場合には、映像表示装置 2に入力する前に、サブ映像の映像ストリームからメタデータを分離する処理が必要となる。なお、第 2の実施形態に力かるメタデータは、サブ映像と一対一で与えられるものであるため、基本的にサブ映像の映像データ、もしくはサブ映像に関連する管理データに付加される。さらに、図 11 (a)では、映像ストリームのヘッダ位置にメタデータが格納されている力格納位置はこれに限らず、ストリームの中間、例えば映像データが複数のパケットに分割されて送られるような場合に、映像パケットと映像パケットの間に新規のデータパケットとして埋め込む力あるいは映像パケットそれぞれのパケットヘッダに格納するとしてもよい。

[0084] (第 3の実施形態）

次に、本発明の第 3の実施形態にかかる映像表示装置、方法、並びに表示用データを、図 1、図 6、及び図 16を用いて説明する。

[0085] 本発明の第 3の実施形態にかかる映像表示装置 3の概略構成は、第 1及び第 2の実施形態と同様に、図 1の機能ブロック図で表される。但し、位置指定部 110の動作のみが異なり、本実施形態においては位置指定部 310として表す。また、第 3の実施形態に力かる映像表示装置 3でサブ映像表示を行う際の処理も、第 1及び第 2の実施形態と同様に、図 6のフローチャートで表される。以下では、第 1の実施形態にか力る映像表示装置 1との相違点を中心に、第 3の実施形態にかかる映像表示装置 3 の動作を説明する。

[0086] 本実施形態における映像表示装置 3では、第 1の実施形態並びに第 2の実施形態で説明した 2種類のメタデータが、共にサブ映像の表示用メタデータとして入力され、それらのメタデータの組合せに基づいてサブ映像の表示領域を決定するものである。従って、映像表示装置 3の位置指定部 310は、 2種類のメタデータと、 2つの時刻情報 (メイン映像の再生時刻位置情報とサブ映像の再生時刻位置情報)とを受け取り ( フローチャートのステップ S6)、適切なサブ映像の表示領域を決定する（フローチヤートのステップ S7)。

[0087] 図 16は、メイン映像とサブ映像の状態を模式的に表した図である。図 16 (a)は、第 1の実施形態で説明したメタデータで与えられる、メイン映像に対して指定されるサブ映像の表示可能領域であり、図 16 (b)は、第 2の実施形態で説明したメタデータで与えられる、サブ映像自体に対して指定される表示領域を表したものである。また、図 1 6 (c)は図 16 (b)のメタデータによって再生時にサブ映像の表示領域が指定される様子を示した図であり、図 16 (d)は図 16 (a)、図 16 (b)のメタデータを使ってメイン映像とサブ映像とが合成されて表示される状態を示した図である。

[0088] 図 16 (c)及び図 16 (d)は、上記 2種類のメタデータを用いて、第 1及び第 2の実施形態と同様に、サブ映像を時刻「00： 00： 13」で表示開始、時刻「00： 00： 20」で表示停止、時刻「00 : 00 : 28」で表示再開、時刻「00 : 00 : 36」で表示を終了した時の、サブ映像の表示位置を示している。また図 16 (c)には (b)で示したサブ映像に対する表示領域 16B力図 16 (d)には、（a)で示したメイン映像におけるサブ映像の表示可能領域 16Aが示してある。そして、図 16 (d)の斜線もしくは黒く塗りつぶした箇所力サブ映像の表示された時間、並びにその時の表示位置を示している。

[0089] サブ映像はメイン映像に対して、付加価値的な余剰コンテンツとして与えられるのが一般的である。従って、メイン映像をできるだけ崩さないように保持した状態で再生するのが一般的には望ましい。このため、上記した 2種類のメタデータが与えられた場合には、サブ映像自体に対して与えられる表示領域 16Bよりも、メイン映像に対して与えられるサブ映像の表示可能領域 16Aを優先させて表示領域を決定する。

[0090] 図 16 (d)において、時刻範囲 1601 (「00 : 00 : 13」〜「00 : 00 : 15」）では、表示可能領域 16Aとの表示領域 16Bとがちようど重なっているため、双方のメタデータに基づきサブ映像の表示領域を決定して、る。

[0091] また、時刻範囲 1602 (「00： 00： 15」〜「00： 00： 20」及び「00： 00： 28」〜「00： 00

: 30」）では、表示可能領域 16Aに表示領域 16Bが完全に含まれる状態にある。このため、範囲 1602では、第 2の実施形態に示したのと同様のメタデータに基づき、サブ映像自体に対して与えられる表示領域にサブ映像を表示する。

[0092] また、時刻範囲 1603 (「00： 00： 30」〜「00： 00： 36」 )では、メイン映像に対して与えられるサブ映像の表示可能領域 16Aと、サブ映像の内容自体に応じて指定されるサブ映像の表示領域 16Bとが、異なる領域に別れている。この場合には、メイン映像に対して与えられるサブ映像の表示可能領域 16Aを優先させる。即ち、時刻範囲 16 03では、第 1の実施形態に示したのと同様のメタデータに基づき、メイン映像に対して与えられるサブ映像の表示可能領域にサブ映像を表示する。

[0093] なお、図には無いが、サブ映像の表示位置を指定するための図 16 (a)に示す表示可能領域と図 16 (b)の表示領域とが異なる領域に別れ、かつ、図 16 (a)に示した表示可能領域がサブ映像 (子画面)の表示サイズよりも大きな領域を示すような場合に

、図 16 (a)の表示可能領域に含まれ、かつ、図 16 (b)の表示領域に最も近くなるような領域を決定し、サブ映像の表示領域とする、といった処理を加えてもよい。無論、逆に、サブ映像の演出意図が極めて重要な場合に、図 16 (b)の表示領域の優先度を高く設定することにより、サブ映像の表示位置を強制的に図 16 (b)の表示領域に基づ、て設定すると!/、つたことも可能である。

[0094] なお、上記した本発明の各実施形態では、映像表示装置に入力される映像データ

(及び管理データ）並びにメタデータ力放送や通信といった伝送路を経由して入力される力、あるいは予め記録媒体に記録されていて、記録媒体に記録された映像データ (及び管理データ）並びにメタデータを逐次読み出して再生、表示するのかを問わない。伝送路を経由してー且記録媒体に記録された後、記録された映像データ（及び管理データ）並びにメタデータを読み出して再生するといつた使用についても同様である。即ち、本発明の映像表示装置、方法、並びに表示用データは、放送映像の受信装置、映像通信の受信装置、記録媒体を有する録画再生装置の一構成として、並びに、各実施形態で説明したメタデータが記録された記録媒体に対しても、適用可能である。

[0095] また、映像データ (及び管理データ）と本発明の各実施形態で示したメタデータとは、別個に管理することも可能である。このことから、再生側においてメタデータを生成し、別途放送、通信、又は記録媒体を経由して入力された映像データをピクチャ'ィン 'ピクチャ再生する際に、再生側で生成されたメタデータと組み合わせて用いるといつたことも可能である。この場合、例えば、ユーザの好みに応じてメイン映像のうちサブ映像表示時に隠れて構わな!/、領域と隠れて欲しくな!/、領域を設定するなどの処理を通して、メタデータが形成される。再生側でのメタデータの生成は、放送や通信などの伝送路を通して入力された映像データ (及び管理データ）を記録媒体に記録する際や、記録媒体から映像データ (及び管理データ)を読み出して再生する直前などに実行される。また、この生成処理は、ユーザが直接入力しても、あるい〖お ava (登録商標）等のプログラムで動的に生成できるようにしてもよい。即ち、本発明は、メタデータが実際に何処で設定されたかに拘らず、各実施形態で説明したメタデータを利用する映像表示装置、方法に対して適用可能である。

なお、ここで開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は、上記した説明ではなぐ特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

Claims

請求の範囲

[1] 第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力する映像合成装置であって、

前記第 2の映像が表示可能とされる前記第 1の映像の時刻を示す時刻情報と、前記時刻に対応して与えられる前記第 2の映像の表示領域を示す表示領域情報と、を含んだ表示用データを受け取り、該表示用データに基づいて前記第 2の映像を表示する際の前記第 1の映像内の表示位置を指定する指定手段と、

前記指定手段により指定された前記第 1の映像内の表示位置に前記第 2の映像を重ねて合成する合成手段と、

を備えることを特徴とする映像合成装置。

[2] 前記表示用データには、前記第 2の映像の時刻に対応して与えられる、前記第 2の映像の表示領域を示す第 2の表示領域情報が含まれており、

前記指定手段は、前記第 2の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び Z又は前記第 2の表示領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項 1に記載の映像合成装置。

[3] 前記表示用データには、前記第 2の映像の時刻に対応して与えられる、前記第 2の映像の表示可能な領域を示す表示可能領域情報が含まれており、

前記指定手段は、前記第 2の映像を表示する際に、前記表示用データに含まれる前記表示領域情報及び Z又は前記表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項 1に記載の映像合成装置。

[4] 第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力する映像合成装置であって、

前記第 2の映像が表示可能とされる前記第 1の映像の時刻を示す時刻情報と、前記時刻に対応して与えられる前記第 2の映像の表示可能な領域を示す表示可能領域情報と、を含んだ表示用データを受け取り、該表示用データに基づいて前記第 2 の映像を表示する際の前記第 1の映像内の表示位置を指定する指定手段と、前記指定手段により指定された前記第 1の映像内の表示位置に前記第 2の映像を重ねて合成する合成手段と、を備えることを特徴とする映像合成装置。

[5] 前記表示用データには、前記第 2の映像の時刻に対応して与えられる、前記第 2の映像の表示領域を示す表示領域情報が含まれており、

前記指定手段は、前記第 2の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び Z又は前記表示領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項 4に記載の映像合成装置。

[6] 前記表示用データには、前記第 2の映像の時刻に対応して与えられる、前記第 2の映像の表示可能な領域を示す第 2の表示可能領域情報が含まれており、

前記指定手段は、前記第 2の映像を表示する際に、前記表示用データに含まれる前記表示可能領域情報及び Z又は前記第 2の表示可能領域情報に従って表示位置を指定する処理を行うことを特徴とする、請求項 4に記載の映像合成装置。

[7] 第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力する映像合成装置であって、

前記第 1の映像の時刻と異なる前記第 2の映像の時刻を示す時刻情報と、前記第 2 の映像の前記時刻に対応して与えられる前記第 2の映像の表示領域を示す表示領域情報と、を含んだ表示用データを受け取り、該表示用データに基づいて前記第 2 の映像を表示する際の前記第 1の映像内の表示位置を指定する指定手段と、前記指定手段により指定された前記第 1の映像内の表示位置に前記第 2の映像を重ねて合成する合成手段と、

を備えることを特徴とする映像合成装置。

[8] 第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力する映像合成装置であって、

前記第 1の映像の時刻と異なる前記第 2の映像の時刻を示す時刻情報と、前記第 2 の映像の前記時刻に対応して与えられる前記第 2の映像の表示可能な領域を示す表示可能領域情報と、を含んだ表示用データを受け取り、該表示用データに基づいて前記第 2の映像を表示する際に、前記表示可能領域情報に含まれるように前記第 1の映像内の表示位置を指定する指定手段と、

を備えることを特徴とする映像合成装置。

[9] 前記合成されて出力される映像はピクチャ 'イン'ピクチャ形式の映像であり、前記第 1の映像は親画面に表示される映像にあたり、前記第 2の映像は子画面に表示される映像にあたることを特徴とする請求項 1から 8のいずれか一項に記載の映像合成装置。

[10] 第 1の映像と第 2の映像とを入力し、該第 1の映像に該第 2の映像を合成して出力させる制御を行うコンピュータに、

前記第 2の映像が表示可能とされる、前記第 1の映像の時刻を示す時刻情報と、前記時刻に対応して与えられる前記第 2の映像の表示領域を示す表示領域情報と、を含んだ表示用データを受け取り、該表示用データに基づいて前記第 2の映像を表示する際の前記第 1の映像内の表示位置を指定する制御を行う指定機能と、

前記指定機能により指定された前記第 1の映像内の指定された表示位置に、前記第 2の映像を重ねて合成させる制御を行う合成機能と、

を実現させるプログラム。

[11] 前記表示領域情報は、前記第 2の映像を表示する矩形領域の左上の頂点座標を含む、ことを特徴とする請求項 1又は 7に記載の映像合成装置。

[12] 前記表示可能領域情報は、前記第 2の映像を表示可能な矩形領域の左上の頂点座標を含む、ことを特徴とする請求項 4又は 8に記載の映像合成装置。