JP3874730B2 - 動画像再生装置 - Google Patents
動画像再生装置 Download PDFInfo
- Publication number
- JP3874730B2 JP3874730B2 JP2003007479A JP2003007479A JP3874730B2 JP 3874730 B2 JP3874730 B2 JP 3874730B2 JP 2003007479 A JP2003007479 A JP 2003007479A JP 2003007479 A JP2003007479 A JP 2003007479A JP 3874730 B2 JP3874730 B2 JP 3874730B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- current time
- unit
- image
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のオブジェクトにより構成される動画像を含むコンテンツを再生するための動画像再生装置に関するものである。
【０００２】
【従来の技術】
近年、動画像の符号化において、１つのシーンを、背景、人物などの複数のオブジェクトに分離し、それぞれ個別に符号化を行うオブジェクト符号化方式が注目されている。例えば、動画像符号化方式の国際標準（ＩＳＯ／ＩＥＣ ＭＰＥＧ４）では、このオブジェクト符号化をサポートしている。
オブジェクト符号化を用いることのメリットとしては、コンテンツ作成時にオブジェクト単位での編集が容易であること、コンテンツ再生時にコンテンツに付加された補助情報（シーン記述情報）や視聴者の嗜好などに応じて、オブジェクト単位で配置、表示サイズ、表示のオン・オフなどを制御するメカニズムを提供できることなどが挙げられる。
特開２０００−１７５１１８号公報には、受信した映像中の物体について表示／非表示を切り替えたり、サイズを変えたりというように、オブジェクト単位にレイアウトを設定する技術が開示されている。
【０００３】
図１３は、従来技術における動画像再生装置の構成を示すブロック図である。
なお、図１３に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。
【０００４】
以下、図１３を参照して、従来の動画像再生装置の各構成部分を説明する。
２０は、コンテンツを後段に供給するためのコンテンツ供給手段であり、具体的には通信網、放送網、蓄積メディアなどが考えられる。
１は、前段からコンテンツを受け取り、各オブジェクト符号毎に分離し、後段に出力するための逆多重化手段である。
３Ａ、３Ｂ、３Ｃは、いずれも前段からオブジェクト符号を受け取り、１枚の画像（オブジェクトプレーン）を復号したのち、復号画像とＣＴＳ（合成処理時刻）を出力するための復号手段である。なお、以下の説明において、復号手段３Ａ、復号手段３Ｂ、復号手段３Ｃを区別しない場合は、単に復号手段３と記述する。
【０００５】
１０は、動画像再生装置の現在時刻を供給するための現在時刻供給手段である。
４Ａ、４Ｂ、４Ｃは、いずれも前段から受け取ったＣＴＳと現在時刻供給手段１０が供給する現在時刻とを比較し、現在時刻≧ＣＴＳとなるのを待って、前段から受け取った復号画像を後段に出力するための待機手段である。なお、以下の説明において、待機手段４Ａ、待機手段４Ｂ、待機手段４Ｃを区別しない場合は、単に待機手段４と記述する。
【０００６】
１１は、前段から受け取った複数の復号画像をシーン記述情報に基づいて１枚の画像として合成し、後段に合成画像を出力するための合成手段である。この際の合成にはコンテンツに付加されたシーン記述情報をそのまま利用したり、あるいはユーザからの指示入力に基づいて変更されたシーン記述情報を利用する。
１２は、前段から受け取った合成画像を表示するための表示手段である。
１３は、少なくとも前記現在時刻供給手段１０に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段１３は、再生開始時、コンテンツの再生開始位置におけるＣＴＳに基づいて算出される値で現在時刻供給手段１０を初期化するものとし、各オブジェクトについて個別に再生、停止、早送り、巻き戻し等の制御を行うことはできない。
【０００７】
図１４は、従来技術における動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
従来の動画像再生装置では、図１４に示すように、処理開始後、復号手段３は逆多重化手段１から受け取ったオブジェクト符号を復号し（Ｓ５−１）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。ここで、ＣＴＳは、オブジェクト符号に含まれている場合にはその値を利用し、オブジェクト符号に含まれていない場合には各符号化方式に応じた方法により導出するものとする。
次に、待機手段４により、現在時刻供給手段１０から取得した現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ５−２）、合成手段１１に対して復号手段３から受け取った復号画像を出力して（Ｓ５−３）、処理を終了する。
【０００８】
上記処理は、各オブジェクト毎に個別に施されるが、待機手段４が参照する現在時刻は、従来の動画像再生装置において唯一つ存在する現在時刻供給手段１０によって供給されるものであるため、最終的に合成手段１１によって合成された合成画像上の複数のオブジェクト間には時間的な同期が図られていることとなる。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像再生装置では、全てのオブジェクトをＣＴＳにより時間的に同期させて再生することしかできない。
例えば、視聴者が注目するオブジェクトだけを一時停止し、その他のオブジェクトはそのまま再生を続けることはできない。
また、複数オブジェクト、または同一オブジェクトにおいて、異なる時刻の画像を単一の動画像再生装置を用いて同時に再生することはできないという課題があった。
【００１０】
本発明は、上述した事情に鑑みてなされたもので、各オブジェクト毎にそれぞれ異なる時刻の画像を同時に再生可能であり、また、１つのオブジェクトにおける複数の異なる時刻の画像を同時に再生可能な動画像再生装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る動画像再生装置は、複数のオブジェクトにより構成される動画像を含むコンテンツを再生するための動画像再生装置において、
コンテンツを逆多重化して各オブジェクト符号に分離・出力するための逆多重化手段と、各オブジェクトを復号して復号画像を出力するための復号手段と、現在時刻が所定の時刻になるまで各復号画像の出力を待機するための待機手段と、現在時刻を供給するための現在時刻供給手段と、複数の復号画像を合成して合成画像を出力するための合成手段と、合成画像を画面に表示するための表示手段と、コンテンツ再生中に各オブジェクト毎に一時停止・再生再開の制御を行うための再生制御手段とを備えたことを特徴とするものである。
【００１２】
ここで、オブジェクト符号を廃棄するための符号廃棄手段を備えることが可能であり、さらに、コンテンツに含まれる動画像がイントラ符号化方式およびインター符号化方式の両方式を用いて符号化されている場合に、一時停止されたオブジェクトの再生再開に際し、イントラ符号化されたオブジェクト符号から先に復号手段に供給することが可能である。
また、復号画像を廃棄するための復号画像廃棄手段を備えることが可能である。
【００１３】
また、本発明に係る動画像再生装置は、複数のオブジェクトにより構成される動画像を含むコンテンツを再生するための動画像再生装置において、
コンテンツを逆多重化して各オブジェクト符号に分離・出力するための逆多重化手段と、各オブジェクトを復号して復号画像を出力するための復号手段と、
現在時刻が所定の時刻になるまで各復号画像の出力を待機するための待機手段と、現在時刻を供給するための現在時刻供給手段と、複数の復号画像を合成して合成画像を出力するための合成手段と、合成画像を画面に表示するための表示手段と、前記逆多重化手段が出力するオブジェクト符号を一時的に保持するための符号バッファと、コンテンツ再生中に各オブジェクト毎に早送り・巻き戻しを行うための再生制御手段と、前記現在時刻供給手段が供給する現在時刻を補正した補正現在時刻を現在時刻として前記待機手段に供給するための現在時刻補正手段とを備えたことを特徴とするものである。
【００１４】
また、前記合成手段は、オブジェクト毎に半透明度を指定して合成することが可能であるし、また、オブジェクトの再生時刻を画面表示することが可能である。そして、各オブジェクトのエッジと該オブジェクトに対応する再生時刻を同一の色で表示することが可能である。前記オブジェクトは形状が矩形であることが望ましい。
【００１５】
【発明の実施の形態】
以下、本発明に係る動画像再生装置の実施の形態について、図面を参照して説明する。
【００１６】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る動画像再生装置の構成を示すブロック図である。なお、図１に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは本実施形態に係る動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。また、図１３に示す従来の動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００１７】
以下、図１を参照して、第１の実施形態に係る動画像再生装置の各構成部分を説明する。
５Ａ、５Ｂ、５Ｃは、いずれも前段から受け取ったオブジェクト符号を廃棄するための符号廃棄手段である。なお、以下の説明において、符号廃棄手段５Ａ、符号廃棄手段５Ｂ、符号廃棄手段５Ｃを区別しない場合は、単に符号廃棄手段５と記述する。
８Ａ、８Ｂ、８Ｃは、いずれも逆多重化手段１からの出力の接続先を、復号手段３と符号廃棄手段５との間で切り替えるためのスイッチである。なお、以下の説明において、スイッチ８Ａ、スイッチ８Ｂ、スイッチ８Ｃを区別しない場合は、単にスイッチ８と記述する。
【００１８】
１１３は、少なくともスイッチ８、現在時刻供給手段１０に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段１１３は、再生制御手段１３の機能に加えて、コンテンツの再生中に、各オブジェクト毎に再生と停止の制御を行うことと、所定のタイミングでスイッチ８の切り替えを行うことができる。
【００１９】
図２は、本発明の第１の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
スイッチ８により逆多重化手段１と復号手段３が接続されているときは、図２（ａ）に示すように、処理開始後、復号手段３は逆多重化手段１から受け取ったオブジェクト符号を復号し（Ｓ１−１）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。ここで、ＣＴＳは、上述した従来の動画像再生装置と同様に、オブジェクト符号に含まれている場合にはその値を利用し、含まれていない場合は各符号化方式に応じた方法により導出するものとし、以降も同様とする。
【００２０】
次に、待機手段４により、現在時刻供給手段１０から取得した現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ１−２）、合成手段１１に対して復号手段３から受け取った復号画像を出力し（Ｓ１−３）、処理を終了する。つまり、再生中の動作は、上述した従来の動画像再生装置と全く同じである。
他方、スイッチ８により逆多重化手段１と符号廃棄手段５が接続されているときは、図２（ｂ）に示すように、処理開始後、符号廃棄手段５は逆多重化手段１から受け取ったオブジェクト符号を廃棄し（Ｓ１−４）、処理を終了する。
なお、再生制御手段１１３は、基本的に、オブジェクトの再生時には、逆多重化手段１と復号手段３とを接続し、停止時には、逆多重化手段１と符号廃棄手段５とを接続するようスイッチ８を制御する。
【００２１】
ここで、停止時にオブジェクト符号を廃棄するのは、各オブジェクトの符号化レートの時間的変動を吸収する目的で、逆多重化手段１と復号手段３との間に設けられる符号バッファ（図１では明示していない）をオーバーフローさせないためである。ただし、オブジェクトの再生を一時停止または再開する際には、所定時間だけ接続の切り替えを遅延させても構わない。また、オブジェクトの符号化にイントラ符号化方式とインター符号化方式の両方式が用いられている場合には、一時停止させたオブジェクトの再生を再開する際、少なくとも逆多重化手段１が供給するオブジェクト符号がイントラ符号化方式によるものになるまで待ってから、逆多重化手段１と復号手段３とを接続することで、再開直後のインター符号化されたオブジェクトプレーンの復号画像による合成画像の乱れを回避することができる。
【００２２】
このように、本発明の第１の実施形態に係る動画像再生装置を用いることで、オブジェクト毎に個別に、再生と停止の制御を行うことが可能となる。
これは、例えば情報番組などで、背景画像の上に番組で紹介された店の地図の映像が別オブジェクトとして重ね合わせられているようなシーンにおいて、その地図だけを一時的に停止して閲覧した後、背景画像が興味ある内容になった時点で、地図の停止表示を解除し、通常再生に戻りたい、といった要求に応じることができることを意味する。
また、第１の実施形態に係る動画像再生装置は、一時停止中のオブジェクトについては復号を行わないため、装置の消費電力を削減することが可能となる。
【００２３】
＜第２の実施形態＞
図３は、本発明の第２の実施形態に係る動画像再生装置の構成を示すブロック図である。なお、図３に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは本実施形態に係る動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。また、図１３に示す従来の動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００２４】
６Ａ、６Ｂ、６Ｃは、いずれも前段から受け取った復号画像を廃棄するための復号画像廃棄手段である。なお、以下の説明において、復号画像廃棄手段６Ａ、復号画像廃棄手段６Ｂ、復号画像廃棄手段６Ｃを区別しない場合は、単に復号画像廃棄手段６と記述する。
９Ａ、９Ｂ、９Ｃは、いずれも待機手段４の出力の接続先を合成手段１１と復号画像廃棄手段６との間で切り替えるためのスイッチである。なお、以下の説明において、スイッチ９Ａ、スイッチ９Ｂ、スイッチ９Ｃを区別しない場合は、単にスイッチ９と記述する。
【００２５】
２１３は、少なくともスイッチ９、現在時刻供給手段１０に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段２１３は、再生制御手段１３の機能に加えて、コンテンツの再生中に、各オブジェクト毎に、再生と停止の制御を行うことができ、再生時には、待機手段４と合成手段１１とを接続し、停止時には、待機手段４と復号画像廃棄手段６とを接続する。また、一時的に停止させてオブジェクトの再生を再開するとき、再生制御手段２１３は、符号化方式に関わらず、待機手段４と合成手段１１とを即座に接続する。
【００２６】
図４は、本発明の第２の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
スイッチ９により待機手段４と合成手段１１が接続されているときは、図４（ａ）に示すように、処理開始後、復号手段３は逆多重化手段１から受け取ったオブジェクト符号を復号し（Ｓ２−１）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。
【００２７】
次に、待機手段４により、現在時刻供給手段１０から取得した現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ２−２）、合成手段１１に対して復号手段３から受け取った復号画像を出力し（Ｓ２−３）、処理を終了する。つまり、再生中の動作は、上述した従来の動画像再生装置と全く同じである。
他方、スイッチ９により待機手段４と復号画像廃棄手段６が接続されているときは、図４（ｂ）に示すように、処理開始後、復号手段３は逆多重化手段１から受け取ったオブジェクト符号を復号し（Ｓ２−４）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。
【００２８】
次に、待機手段４により、現在時刻供給手段１０から取得した現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機する（Ｓ２−５）。ここまでの流れは、再生中の場合と同じである。
その後、復号画像廃棄手段６により、復号手段３から受け取った復号画像を廃棄し（Ｓ２−６）、処理を終了する。
【００２９】
このように、本発明の第２の実施形態に係る動画像再生装置を用いることで、オブジェクト毎に個別に、再生と停止の制御を行うことが可能となる。また、一時停止の際、合成に使用されないオブジェクトについても常に復号を行い、その復号画像を廃棄することにより、符号化方式に関わらず、要求に即座に応答して再生を再開することが可能となる。
【００３０】
＜第３の実施形態＞
図５は、本発明の第３の実施形態に係る動画像再生装置の構成を示すブロック図である。なお、図５に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは本実施形態に係る動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。また、図１３に示す従来の動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００３１】
以下、図５を参照して、第３の実施形態に係る動画像再生装置の各構成部分を説明する。
２Ａ、２Ｂ、２Ｃは、いずれも前段から受け取ったオブジェクト符号を所定の時間分だけ格納しておくための符号バッファである。なお、以下の説明において、符号バッファ２Ａ、符号バッファ２Ｂ、符号バッファ２Ｃを区別しない場合は、単に符号バッファ２と記述する。
７Ａ、７Ｂ、７Ｃは、いずれも現在時刻供給手段１０が供給する現在時刻に対し、所定のオフセットを付加して出力するための現在時刻補正手段である。なお、以下の説明において、現在時刻補正手段７Ａ、現在時刻補正手段７Ｂ、現在時刻補正手段７Ｃを区別しない場合は、単に現在時刻補正手段７と記述する。
【００３２】
３１３は、少なくとも復号手段３、現在時刻補正手段７、現在時刻供給手段１０に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段３１３は、再生制御手段１３の機能に加えて、各オブジェクト毎に、再生、停止、早送り、巻き戻し等の制御を行うことができる。
【００３３】
図６は、本発明の第３の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
処理開始後、図６に示すように、復号手段３は符号バッファ２に蓄えられたオブジェクト符号を取り出し（Ｓ３−１）、該オブジェクト符号を復号手段３にて復号し（３−２）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。
次に、待機手段４により、現在時刻補正手段７にて補正された現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ３−３）、合成手段１１に対して復号手段３から受け取った復号画像を出力し（Ｓ３−４）、処理を終了する。
【００３４】
このように、本発明の第３の実施形態に係る動画像再生装置によって、全ての現在時刻補正手段７で付加するオフセットをゼロに設定すれば、上述した従来の動画像再生装置と同様に、全てのオブジェクト間で時間的な同期を図った再生が可能であることは自明である。
【００３５】
次に、本発明の第３の実施形態に係る動画像再生装置によって、どのようにオブジェクト毎にタイムシフトさせた再生を実現するかを、図７、図８、図９を参照して説明する。
【００３６】
図７は、複数の動画像オブジェクトからなるコンテンツにおける各オブジェクトの復号画像の一例である。
図７に示すように、コンテンツは３つの動画像オブジェクトＡ、Ｂ、Ｃから構成されるものとし、合成する際は、画面奥から手前にオブジェクトＣ、Ｂ、Ａの順で重ね合わせられるものとする。
ＯＰＡ１、ＯＰＡ２、ＯＰＡ３は、いずれもオブジェクトＡの復号画像を示し、それぞれの対応するＣＴＳは、Ｔ−Ｍ、Ｔ、Ｔ＋Ｎとなっている。
ＯＰＢ１、ＯＰＢ２、ＯＰＢ３は、いずれもオブジェクトＢの復号画像を示し、それぞれの対応するＣＴＳは、Ｔ−Ｍ、Ｔ、Ｔ＋Ｎとなっている。
ＯＰＣ１、ＯＰＣ２、ＯＰＣ３は、いずれもオブジェクトＣの復号画像を示し、それぞれの対応するＣＴＳは、Ｔ−Ｍ、Ｔ、Ｔ＋Ｎとなっている。
なお、この例ではオブジェクトＡが任意形状オブジェクト、オブジェクトＢとＣが矩形オブジェクトである場合を示しているが、これに限定されるものではない。各オブジェクトは矩形、任意形状のいずれであってもよく、全てのオブジェクトが矩形であってもよい。
【００３７】
例えば、オブジェクトＡのみ、現在時刻より時間Ｍだけ前の地点に巻き戻して再生したい場合に、再生制御手段３１３は、復号手段３に対し、符号バッファ２内の時間Ｍだけ前のオブジェクト符号を取り出すよう指示し、現在時刻補正手段７に対し、現在時刻に−Ｍだけオフセットを付加するよう指示する。これらの指示は順序不同である。
【００３８】
図８は、この後、現在時刻がＴの時点で、各オブジェクトの復号画像がどのように合成されるのかを示す説明図である。
図８に示すように、オブジェクトＡについては、復号手段３にて、ＣＴＳがＴ−Ｍであるオブジェクトプレーンのオブジェクト符号を符号バッファ２より取り出して復号し、その復号結果である復号画像ＯＰＡ１を、待機手段４にて、補正された現在時刻≧ＣＴＳとなるのを待って合成手段１１に出力する。ここで、補正された現在時刻とは現在時刻−Ｍであるため、待機手段４が復号画像ＯＰＡ１を出力する時刻はＴということになる。
他方、オブジェクトＢ、オブジェクトＣについては、ＣＴＳ＝Ｔとなるオブジェクト符号を復号し、それぞれの復号結果である復号画像ＯＰＢ２、復号画像ＯＰＣ２を、待機手段４が現在時刻≧Ｔとなるまで待機し、合成手段１１に対し出力するのは、上述した従来の動画像再生装置と同様である。
【００３９】
ここで、符号バッファ２は、少なくとも時間Ｍだけ前の時刻から現在時刻までのオブジェクト符号を格納している必要がある。そのため、復号手段３が復号を終えたオブジェクトプレーンに対応するオブジェクト符号は、即座に符号バッファ２より削除せずに、所定時間経過後に廃棄しなければならない。
【００４０】
また、前記所定時間がオブジェクトＡ単体で巻き戻して再生できる限界時間を決定することになる。そのため、前記限界時間を長くするためには、オブジェクトＡ処理用の符号バッファ２を大きく確保する必要がある。これは、予め巻き戻し再生を行うオブジェクトが分かっている場合には、他のオブジェクト処理用の符号バッファ２よりも大きく確保すればよいことを意味する。また、前記限界時間を超えて巻き戻そうとする場合は、巻き戻しが不可能である旨を視聴者に通知するメッセージを出すことが望ましい。
【００４１】
他方、オブジェクトＡのみ、現在時刻より時間Ｎだけ先の地点に早送りして再生したい場合に、再生制御手段３１３は、復号手段３に対し、符号バッファ２内の時間Ｎだけ先のオブジェクト符号を取り出すよう指示し、現在時刻補正手段７に対し、現在時刻に＋Ｎだけオフセットを付加するよう指示する。これらの指示は順序不同である。
【００４２】
図９は、この後、現在時刻がＴの時点で、各オブジェクトの復号画像がどのように合成されるのかを示す説明図である。
図９に示すように、オブジェクトＡについては、復号手段３にて、ＣＴＳがＴ＋Ｎであるオブジェクトプレーンのオブジェクト符号を符号バッファ２より取り出して復号し、その復号結果である復号画像ＯＰＡ３を、待機手段４にて、補正された現在時刻≧ＣＴＳとなるのを待って合成手段１１に出力する。ここで、補正された現在時刻とは現在時刻＋Ｎであるため、待機手段４が復号画像ＯＰＡ３を出力する時刻はＴということになる。
他方、オブジェクトＢ、オブジェクトＣについては、ＣＴＳ＝Ｔとなるオブジェクト符号を復号し、それぞれの復号結果である復号画像ＯＰＢ２、復号画像ＯＰＣ２を、待機手段４が現在時刻≧Ｔとなるまで待機し、合成手段１１に対し出力するのは、上述した従来の動画像再生装置と同様である。
【００４３】
ここで、符号バッファ２は、少なくとも現在時刻から時間Ｎだけ先の時刻のオブジェクト符号までを格納している必要がある。そのため、逆多重化手段１は、現在時刻から時間Ｎだけ先の時刻まで先んじて逆多重化を行っておく必要がある。これは、コンテンツ供給手段２０が通信網や放送網などであり、未来に再生するデータを予め供給することができない場合には、オブジェクト単位での早送り再生ができないことを意味する。また、符号バッファ２に予め格納されているオブジェクト符号よりも先の時刻に早送りをしようとする場合は、早送りが不可能である旨を視聴者に通知するメッセージを出すことが望ましい。
【００４４】
なお、コンテンツ供給手段２０が蓄積メデイアであって、全てのオブジェクトを同時に同じだけ早送り、あるいは、巻き戻しを行う場合については、必ずしも上記の方法によって各オブジェクト毎に復号手段３と現在時刻補正手段７を操作する必要はなく、逆多重化手段１がコンテンツ供給手段２０からコンテンツを読み出す位置をシークするという方法であってもよい。
【００４５】
このように、本発明の第３の実施形態における動画像再生装置を用いることで、単一の再生装置によるオブジェクト毎にタイムシフトさせた再生が可能となる。
これは、例えば、異なる時刻の人物のモーション（野球のバッテイングフォーム、あるいは、ゴルフのスイング等）の比較などが行えることを意味する。このような場合、比較したい複数の人物オブジェクトが空間的に重なり合うこともあるため、合成手段１１を改良し、タイムシフトさせたオブジェクトのみを半透明化したり、空間的配置を変えることができるようにすることが好ましい。
【００４６】
また、タイムシフトさせたオブジェクトの存在を視聴者に分かり易くするために、現在合成に用いられている各オブジェクトの復号画像に対応するＣＴＳ値を表示するようにしてもよく、その際、オブジェクトのエッジ部分等に各オブジェクト毎に異なる色を付けて、ＣＴＳ値の文字表示の色を対応するオブジェクトのエッジ色と同じにすることが好ましい。
【００４７】
＜第４の実施形態＞
図１０は、符号バッファ２Ａに保持されているオブジェクト符号中の異なる２つの時刻の画像を同時に再生することを可能にするため、図５に示す第３の実施形態に係る動画像再生装置に対して、いくつかのブロックを追加した第４の実施形態における動画像再生装置の構成を示すブロック図である。なお、図１３に示す従来の動画像再生装置、図１に示す第１の実施形態に係る動画像再生装置、および図５に示す第３の実施形態に係る動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００４８】
以下、図１０を参照して、第４の実施形態に係る動画像再生装置の各構成部分を説明する。
３Ｄは、３Ａ、３Ｂ、３Ｃと同等の復号手段である。４Ｄは、４Ａ、４Ｂ、４Ｃと同等の待機手段である。７Ｄは、７Ａ、７Ｂ、７Ｃと同等の現在時刻補正手段である。
【００４９】
このように、図５に示す第３の実施形態に係る動画像再生装置に対して、復号手段３Ｄ、待機手段４Ｄ、現在時刻補正手段７Ｄを追加することにより、１つのオブジェクトにおける２つの時刻の画像が同時に表示できるようになることは、第３の実施形態に係る動画像再生装置の説明からも自明である。
なお、図１０は、オブジェクト中の２つの異なる時刻における画像を同時に表示できる動画像再生装置のブロック図であるが、さらに、復号手段３、待機手段４、現在時刻補正手段７を追加することにより、オブジェクト中の３つ以上の異なる時刻における画像を同時に表示することも可能である。
【００５０】
＜第５の実施形態＞
図１１は、本発明の第５の実施形態における動画像再生装置の構成を示すブロック図である。なお、図１１に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは本実施形態に係る動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。また、図１３に示す従来の動画像再生装置、図１に示す第１の実施形態に係る動画像再生装置、図５に示す第３の実施形態に係る動画像再生装置、および図１０に示す第４の実施形態に係る動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。ただし、第５の実施形態の説明においては、コンテンツ供給手段２０は、蓄積メディア等シーク可能なデバイスで構成されるものに限定するものとする。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００５１】
以下、図１１を参照して、第５の実施形態に係る動画像再生装置の各構成部分を説明する。
１４Ａ、１４Ｂ、１４Ｃは、いずれも前段からコンテンツを受け取り、各オブジェクト符号毎に分離し、所定の１つのオブジェクト符号のみを後段に出力し、残りのオブジェクト符号を廃棄するための逆多重化手段である。なお、以下の説明において、逆多重化手段１４Ａ、逆多重化手段１４Ｂ、逆多重化手段１４Ｃを区別しない場合は、単に逆多重化手段１４と記述する。
【００５２】
４１３は、少なくとも現在時刻補正手段７、現在時刻供給手段１０、逆多重化手段１４に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段４１３は、再生制御手段１３の機能に加えて、各オブジェクト毎に、再生、停止、早送り、巻き戻し等の制御を行うことができる。
なお、以下の説明において、所定のオブジェクトを処理する逆多重化手段１４、複合化手段３、待機手段４、現在時刻補正手段７のセットをオブジェクト処理手段と記述する。
【００５３】
図１２は、本発明の第５の実施形態における動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
処理開始後、図１２に示すように、逆多重化手段１４はコンテンツ供給手段２０から受け取ったコンテンツを逆多重化し（Ｓ４−１）、所定の１つのオブジェクト符号だけを復号手段３に対し出力する。
次に、復号手段３は逆多重化手段１４から受け取ったオブジェクト符号を復号し（Ｓ４−２）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。
次に、待機手段４により、現在時刻補正手段７にて補正された現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ４−３）、合成手段１１に対して復号手段３から受け取った復号画像を出力し（Ｓ４−４）、処理を終了する。
【００５４】
ここで、第５の実施形態に係る動画像再生装置においては、逆多重化手段１４が各オブジェクトの処理段の全てに１つずつあるため、コンテンツ供給手段２０が、蓄積メディア等シーク可能なデバイスで構成される場合には、各逆多重化手段１４がコンテンツ供給手段２０からコンテンツを取り出す場所を再生制御手段４１３によって個別に制御することも可能である。つまり、各オブジェクト処理手段毎に、異なる時刻のオブジェクト符号を復号手段３に対し供給することができる。また、コンテンツを取り出す場所の指定は、コンテンツの先頭から最後までの全域において有効である。
一方で、全ての逆多重化手段１４がコンテンツ供給手段２０からコンテンツを取り出す場所を同一にして、全ての現在時刻補正手段７で付加するオフセットをゼロに設定すれば、上述した従来の動画像再生装置と同様に、全てのオブジェクト間で時間的な同期を図った再生が可能であることは自明である。
【００５５】
次に、第５の実施形態に係る動画像再生装置によって、どのようにオブジェクト毎にタイムシフトさせた再生を実現するかを、図７、図８、図９を用いて説明する。
【００５６】
図７に示すように、例えば、オブジェクトＡのみ、現在時刻より時間Ｍだけ前の地点に巻き戻して再生したい場合に、再生制御手段４１３は、逆多重化手段１４に対して、コンテンツ供給手段２０から時間Ｍだけ前のオブジェクト符号を取り出すよう指示し、現在時刻補正手段７に対して、現在時刻に−Ｍだけオフセットを付加するよう指示する。これらの指示は順序不同である。
【００５７】
図８は、この後、現在時刻がＴの時点で、各オブジェクトの復号画像がどのように合成されるのかを示す説明図である。
図８に示すように、オブジェクトＡについては、復号手段３にて、ＣＴＳがＴ−Ｍであるオブジェクトプレーンのオブジェクト符号を逆多重化手段１４を介してコンテンツ供給手段２０より取り出して復号し、その復号結果である復号画像ＯＰＡ１を、待機手段４にて、補正された現在時刻≧ＣＴＳとなるのを待って合成手段１１に出力する。ここで、補正された現在時刻とは現在時刻−Ｍであるため、待機手段４が復号画像ＯＰＡ１を出力する時刻はＴということになる。
【００５８】
他方、オブジェクトＢ、オブジェクトＣについては、ＣＴＳ＝Ｔとなるオブジェクト符号を復号し、それぞれの復号結果である復号画像ＯＰＢ２、復号画像ＯＰＣ２を、待機手段４が現在時刻≧Ｔとなるまで待機し、合成手段１１に対し出力するのは、上述した従来の動画像再生装置と同様である。
また、オブジェクトＡのみ、現在時刻より時間Ｎだけ先の地点に早送りして再生したい場合については、上記時間Ｍだけ巻き戻す場合の説明において、Ｍ＝−Ｎの置き換えをすることを以って説明を省略する。
【００５９】
図９は、現在時刻がＴの時点で、各オブジェクトの復号画像がどのように合成されるのかを示す説明図である。
このように、本発明の第５の実施形態に係る動画像再生装置を用いることで、単一の再生装置によるオブジェクト毎にタイムシフトさせた再生が可能となる。また、再生制御手段４１３により、複数の逆多重化手段１４において、同一オブジェクトのオブジェクト符号を出力するよう制御することで、同一オブジェクトにおける異なる時刻の画像を同時に表示することも可能である。さらに、限界時間に縛られることなくオブジェクト単位での早送り、巻き戻しが可能となる。
【００６０】
【発明の効果】
以上説明したように、本発明の動画像再生装置によれば、複数のオブジェクトにより構成される動画像を含むコンテンツを再生する際に、各オブジェクト毎に一時停止・再生再開の制御を行うことができる。
【００６１】
また、本発明の動画像再生装置によれば、単一または複数のオブジェクトにより構成される動画像を含むコンテンツを再生する際に、各オブジェクト毎にタイムシフトさせて再生可能であるとともに、１つのオブジェクト中の異なる時刻の画像を同時に表示可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【図３】本発明の第２の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図４】本発明の第２の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【図５】本発明の第３の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図６】本発明の第３の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【図７】複数の動画像オブジェクトからなるコンテンツにおける各オブジェクトの復号画像の一例である。
【図８】本発明の各実施形態における動画像再生装置が生成する所定の時刻における合成画像の一例である。
【図９】本発明の各実施形態における動画像再生装置が生成する所定の時刻における合成画像の一例である。
【図１０】本発明の第４の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図１１】本発明の第５の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図１２】本発明の第５の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【図１３】従来の動画像再生装置の構成を示すブロック図である。
【図１４】従来の動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【符号の説明】
１ 逆多重化手段
２Ａ〜Ｃ 符号バッファ
３Ａ〜Ｄ 復号手段
４Ａ〜Ｄ 待機手段
５Ａ〜Ｃ 符号廃棄手段
６Ａ〜Ｃ 復号画像廃棄手段
７Ａ〜Ｄ 現在時刻補正手段
８Ａ〜Ｃ スイッチ
９Ａ〜Ｃ スイッチ
１０ 現在時刻供給手段
１１ 合成手段
１２ 表示手段
１３ 再生制御手段
１４Ａ〜Ｃ 逆多重化手段
２０ コンテンツ供給手段
１１３ 再生制御手段
２１３ 再生制御手段
３１３ 再生制御手段
４１３ 再生制御手段
【発明の属する技術分野】
本発明は、複数のオブジェクトにより構成される動画像を含むコンテンツを再生するための動画像再生装置に関するものである。
【０００２】
【従来の技術】
近年、動画像の符号化において、１つのシーンを、背景、人物などの複数のオブジェクトに分離し、それぞれ個別に符号化を行うオブジェクト符号化方式が注目されている。例えば、動画像符号化方式の国際標準（ＩＳＯ／ＩＥＣ ＭＰＥＧ４）では、このオブジェクト符号化をサポートしている。
オブジェクト符号化を用いることのメリットとしては、コンテンツ作成時にオブジェクト単位での編集が容易であること、コンテンツ再生時にコンテンツに付加された補助情報（シーン記述情報）や視聴者の嗜好などに応じて、オブジェクト単位で配置、表示サイズ、表示のオン・オフなどを制御するメカニズムを提供できることなどが挙げられる。
特開２０００−１７５１１８号公報には、受信した映像中の物体について表示／非表示を切り替えたり、サイズを変えたりというように、オブジェクト単位にレイアウトを設定する技術が開示されている。
【０００３】
図１３は、従来技術における動画像再生装置の構成を示すブロック図である。
なお、図１３に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。
【０００４】
以下、図１３を参照して、従来の動画像再生装置の各構成部分を説明する。
２０は、コンテンツを後段に供給するためのコンテンツ供給手段であり、具体的には通信網、放送網、蓄積メディアなどが考えられる。
１は、前段からコンテンツを受け取り、各オブジェクト符号毎に分離し、後段に出力するための逆多重化手段である。
３Ａ、３Ｂ、３Ｃは、いずれも前段からオブジェクト符号を受け取り、１枚の画像（オブジェクトプレーン）を復号したのち、復号画像とＣＴＳ（合成処理時刻）を出力するための復号手段である。なお、以下の説明において、復号手段３Ａ、復号手段３Ｂ、復号手段３Ｃを区別しない場合は、単に復号手段３と記述する。
【０００５】
１０は、動画像再生装置の現在時刻を供給するための現在時刻供給手段である。
４Ａ、４Ｂ、４Ｃは、いずれも前段から受け取ったＣＴＳと現在時刻供給手段１０が供給する現在時刻とを比較し、現在時刻≧ＣＴＳとなるのを待って、前段から受け取った復号画像を後段に出力するための待機手段である。なお、以下の説明において、待機手段４Ａ、待機手段４Ｂ、待機手段４Ｃを区別しない場合は、単に待機手段４と記述する。
【０００６】
１１は、前段から受け取った複数の復号画像をシーン記述情報に基づいて１枚の画像として合成し、後段に合成画像を出力するための合成手段である。この際の合成にはコンテンツに付加されたシーン記述情報をそのまま利用したり、あるいはユーザからの指示入力に基づいて変更されたシーン記述情報を利用する。
１２は、前段から受け取った合成画像を表示するための表示手段である。
１３は、少なくとも前記現在時刻供給手段１０に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段１３は、再生開始時、コンテンツの再生開始位置におけるＣＴＳに基づいて算出される値で現在時刻供給手段１０を初期化するものとし、各オブジェクトについて個別に再生、停止、早送り、巻き戻し等の制御を行うことはできない。
【０００７】
図１４は、従来技術における動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
従来の動画像再生装置では、図１４に示すように、処理開始後、復号手段３は逆多重化手段１から受け取ったオブジェクト符号を復号し（Ｓ５−１）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。ここで、ＣＴＳは、オブジェクト符号に含まれている場合にはその値を利用し、オブジェクト符号に含まれていない場合には各符号化方式に応じた方法により導出するものとする。
次に、待機手段４により、現在時刻供給手段１０から取得した現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ５−２）、合成手段１１に対して復号手段３から受け取った復号画像を出力して（Ｓ５−３）、処理を終了する。
【０００８】
上記処理は、各オブジェクト毎に個別に施されるが、待機手段４が参照する現在時刻は、従来の動画像再生装置において唯一つ存在する現在時刻供給手段１０によって供給されるものであるため、最終的に合成手段１１によって合成された合成画像上の複数のオブジェクト間には時間的な同期が図られていることとなる。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像再生装置では、全てのオブジェクトをＣＴＳにより時間的に同期させて再生することしかできない。
例えば、視聴者が注目するオブジェクトだけを一時停止し、その他のオブジェクトはそのまま再生を続けることはできない。
また、複数オブジェクト、または同一オブジェクトにおいて、異なる時刻の画像を単一の動画像再生装置を用いて同時に再生することはできないという課題があった。
【００１０】
本発明は、上述した事情に鑑みてなされたもので、各オブジェクト毎にそれぞれ異なる時刻の画像を同時に再生可能であり、また、１つのオブジェクトにおける複数の異なる時刻の画像を同時に再生可能な動画像再生装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る動画像再生装置は、複数のオブジェクトにより構成される動画像を含むコンテンツを再生するための動画像再生装置において、
コンテンツを逆多重化して各オブジェクト符号に分離・出力するための逆多重化手段と、各オブジェクトを復号して復号画像を出力するための復号手段と、現在時刻が所定の時刻になるまで各復号画像の出力を待機するための待機手段と、現在時刻を供給するための現在時刻供給手段と、複数の復号画像を合成して合成画像を出力するための合成手段と、合成画像を画面に表示するための表示手段と、コンテンツ再生中に各オブジェクト毎に一時停止・再生再開の制御を行うための再生制御手段とを備えたことを特徴とするものである。
【００１２】
ここで、オブジェクト符号を廃棄するための符号廃棄手段を備えることが可能であり、さらに、コンテンツに含まれる動画像がイントラ符号化方式およびインター符号化方式の両方式を用いて符号化されている場合に、一時停止されたオブジェクトの再生再開に際し、イントラ符号化されたオブジェクト符号から先に復号手段に供給することが可能である。
また、復号画像を廃棄するための復号画像廃棄手段を備えることが可能である。
【００１３】
また、本発明に係る動画像再生装置は、複数のオブジェクトにより構成される動画像を含むコンテンツを再生するための動画像再生装置において、
コンテンツを逆多重化して各オブジェクト符号に分離・出力するための逆多重化手段と、各オブジェクトを復号して復号画像を出力するための復号手段と、
現在時刻が所定の時刻になるまで各復号画像の出力を待機するための待機手段と、現在時刻を供給するための現在時刻供給手段と、複数の復号画像を合成して合成画像を出力するための合成手段と、合成画像を画面に表示するための表示手段と、前記逆多重化手段が出力するオブジェクト符号を一時的に保持するための符号バッファと、コンテンツ再生中に各オブジェクト毎に早送り・巻き戻しを行うための再生制御手段と、前記現在時刻供給手段が供給する現在時刻を補正した補正現在時刻を現在時刻として前記待機手段に供給するための現在時刻補正手段とを備えたことを特徴とするものである。
【００１４】
また、前記合成手段は、オブジェクト毎に半透明度を指定して合成することが可能であるし、また、オブジェクトの再生時刻を画面表示することが可能である。そして、各オブジェクトのエッジと該オブジェクトに対応する再生時刻を同一の色で表示することが可能である。前記オブジェクトは形状が矩形であることが望ましい。
【００１５】
【発明の実施の形態】
以下、本発明に係る動画像再生装置の実施の形態について、図面を参照して説明する。
【００１６】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る動画像再生装置の構成を示すブロック図である。なお、図１に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは本実施形態に係る動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。また、図１３に示す従来の動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００１７】
以下、図１を参照して、第１の実施形態に係る動画像再生装置の各構成部分を説明する。
５Ａ、５Ｂ、５Ｃは、いずれも前段から受け取ったオブジェクト符号を廃棄するための符号廃棄手段である。なお、以下の説明において、符号廃棄手段５Ａ、符号廃棄手段５Ｂ、符号廃棄手段５Ｃを区別しない場合は、単に符号廃棄手段５と記述する。
８Ａ、８Ｂ、８Ｃは、いずれも逆多重化手段１からの出力の接続先を、復号手段３と符号廃棄手段５との間で切り替えるためのスイッチである。なお、以下の説明において、スイッチ８Ａ、スイッチ８Ｂ、スイッチ８Ｃを区別しない場合は、単にスイッチ８と記述する。
【００１８】
１１３は、少なくともスイッチ８、現在時刻供給手段１０に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段１１３は、再生制御手段１３の機能に加えて、コンテンツの再生中に、各オブジェクト毎に再生と停止の制御を行うことと、所定のタイミングでスイッチ８の切り替えを行うことができる。
【００１９】
図２は、本発明の第１の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
スイッチ８により逆多重化手段１と復号手段３が接続されているときは、図２（ａ）に示すように、処理開始後、復号手段３は逆多重化手段１から受け取ったオブジェクト符号を復号し（Ｓ１−１）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。ここで、ＣＴＳは、上述した従来の動画像再生装置と同様に、オブジェクト符号に含まれている場合にはその値を利用し、含まれていない場合は各符号化方式に応じた方法により導出するものとし、以降も同様とする。
【００２０】
次に、待機手段４により、現在時刻供給手段１０から取得した現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ１−２）、合成手段１１に対して復号手段３から受け取った復号画像を出力し（Ｓ１−３）、処理を終了する。つまり、再生中の動作は、上述した従来の動画像再生装置と全く同じである。
他方、スイッチ８により逆多重化手段１と符号廃棄手段５が接続されているときは、図２（ｂ）に示すように、処理開始後、符号廃棄手段５は逆多重化手段１から受け取ったオブジェクト符号を廃棄し（Ｓ１−４）、処理を終了する。
なお、再生制御手段１１３は、基本的に、オブジェクトの再生時には、逆多重化手段１と復号手段３とを接続し、停止時には、逆多重化手段１と符号廃棄手段５とを接続するようスイッチ８を制御する。
【００２１】
ここで、停止時にオブジェクト符号を廃棄するのは、各オブジェクトの符号化レートの時間的変動を吸収する目的で、逆多重化手段１と復号手段３との間に設けられる符号バッファ（図１では明示していない）をオーバーフローさせないためである。ただし、オブジェクトの再生を一時停止または再開する際には、所定時間だけ接続の切り替えを遅延させても構わない。また、オブジェクトの符号化にイントラ符号化方式とインター符号化方式の両方式が用いられている場合には、一時停止させたオブジェクトの再生を再開する際、少なくとも逆多重化手段１が供給するオブジェクト符号がイントラ符号化方式によるものになるまで待ってから、逆多重化手段１と復号手段３とを接続することで、再開直後のインター符号化されたオブジェクトプレーンの復号画像による合成画像の乱れを回避することができる。
【００２２】
このように、本発明の第１の実施形態に係る動画像再生装置を用いることで、オブジェクト毎に個別に、再生と停止の制御を行うことが可能となる。
これは、例えば情報番組などで、背景画像の上に番組で紹介された店の地図の映像が別オブジェクトとして重ね合わせられているようなシーンにおいて、その地図だけを一時的に停止して閲覧した後、背景画像が興味ある内容になった時点で、地図の停止表示を解除し、通常再生に戻りたい、といった要求に応じることができることを意味する。
また、第１の実施形態に係る動画像再生装置は、一時停止中のオブジェクトについては復号を行わないため、装置の消費電力を削減することが可能となる。
【００２３】
＜第２の実施形態＞
図３は、本発明の第２の実施形態に係る動画像再生装置の構成を示すブロック図である。なお、図３に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは本実施形態に係る動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。また、図１３に示す従来の動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００２４】
６Ａ、６Ｂ、６Ｃは、いずれも前段から受け取った復号画像を廃棄するための復号画像廃棄手段である。なお、以下の説明において、復号画像廃棄手段６Ａ、復号画像廃棄手段６Ｂ、復号画像廃棄手段６Ｃを区別しない場合は、単に復号画像廃棄手段６と記述する。
９Ａ、９Ｂ、９Ｃは、いずれも待機手段４の出力の接続先を合成手段１１と復号画像廃棄手段６との間で切り替えるためのスイッチである。なお、以下の説明において、スイッチ９Ａ、スイッチ９Ｂ、スイッチ９Ｃを区別しない場合は、単にスイッチ９と記述する。
【００２５】
２１３は、少なくともスイッチ９、現在時刻供給手段１０に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段２１３は、再生制御手段１３の機能に加えて、コンテンツの再生中に、各オブジェクト毎に、再生と停止の制御を行うことができ、再生時には、待機手段４と合成手段１１とを接続し、停止時には、待機手段４と復号画像廃棄手段６とを接続する。また、一時的に停止させてオブジェクトの再生を再開するとき、再生制御手段２１３は、符号化方式に関わらず、待機手段４と合成手段１１とを即座に接続する。
【００２６】
図４は、本発明の第２の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
スイッチ９により待機手段４と合成手段１１が接続されているときは、図４（ａ）に示すように、処理開始後、復号手段３は逆多重化手段１から受け取ったオブジェクト符号を復号し（Ｓ２−１）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。
【００２７】
次に、待機手段４により、現在時刻供給手段１０から取得した現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ２−２）、合成手段１１に対して復号手段３から受け取った復号画像を出力し（Ｓ２−３）、処理を終了する。つまり、再生中の動作は、上述した従来の動画像再生装置と全く同じである。
他方、スイッチ９により待機手段４と復号画像廃棄手段６が接続されているときは、図４（ｂ）に示すように、処理開始後、復号手段３は逆多重化手段１から受け取ったオブジェクト符号を復号し（Ｓ２−４）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。
【００２８】
次に、待機手段４により、現在時刻供給手段１０から取得した現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機する（Ｓ２−５）。ここまでの流れは、再生中の場合と同じである。
その後、復号画像廃棄手段６により、復号手段３から受け取った復号画像を廃棄し（Ｓ２−６）、処理を終了する。
【００２９】
このように、本発明の第２の実施形態に係る動画像再生装置を用いることで、オブジェクト毎に個別に、再生と停止の制御を行うことが可能となる。また、一時停止の際、合成に使用されないオブジェクトについても常に復号を行い、その復号画像を廃棄することにより、符号化方式に関わらず、要求に即座に応答して再生を再開することが可能となる。
【００３０】
＜第３の実施形態＞
図５は、本発明の第３の実施形態に係る動画像再生装置の構成を示すブロック図である。なお、図５に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは本実施形態に係る動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。また、図１３に示す従来の動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００３１】
以下、図５を参照して、第３の実施形態に係る動画像再生装置の各構成部分を説明する。
２Ａ、２Ｂ、２Ｃは、いずれも前段から受け取ったオブジェクト符号を所定の時間分だけ格納しておくための符号バッファである。なお、以下の説明において、符号バッファ２Ａ、符号バッファ２Ｂ、符号バッファ２Ｃを区別しない場合は、単に符号バッファ２と記述する。
７Ａ、７Ｂ、７Ｃは、いずれも現在時刻供給手段１０が供給する現在時刻に対し、所定のオフセットを付加して出力するための現在時刻補正手段である。なお、以下の説明において、現在時刻補正手段７Ａ、現在時刻補正手段７Ｂ、現在時刻補正手段７Ｃを区別しない場合は、単に現在時刻補正手段７と記述する。
【００３２】
３１３は、少なくとも復号手段３、現在時刻補正手段７、現在時刻供給手段１０に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段３１３は、再生制御手段１３の機能に加えて、各オブジェクト毎に、再生、停止、早送り、巻き戻し等の制御を行うことができる。
【００３３】
図６は、本発明の第３の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
処理開始後、図６に示すように、復号手段３は符号バッファ２に蓄えられたオブジェクト符号を取り出し（Ｓ３−１）、該オブジェクト符号を復号手段３にて復号し（３−２）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。
次に、待機手段４により、現在時刻補正手段７にて補正された現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ３−３）、合成手段１１に対して復号手段３から受け取った復号画像を出力し（Ｓ３−４）、処理を終了する。
【００３４】
このように、本発明の第３の実施形態に係る動画像再生装置によって、全ての現在時刻補正手段７で付加するオフセットをゼロに設定すれば、上述した従来の動画像再生装置と同様に、全てのオブジェクト間で時間的な同期を図った再生が可能であることは自明である。
【００３５】
次に、本発明の第３の実施形態に係る動画像再生装置によって、どのようにオブジェクト毎にタイムシフトさせた再生を実現するかを、図７、図８、図９を参照して説明する。
【００３６】
図７は、複数の動画像オブジェクトからなるコンテンツにおける各オブジェクトの復号画像の一例である。
図７に示すように、コンテンツは３つの動画像オブジェクトＡ、Ｂ、Ｃから構成されるものとし、合成する際は、画面奥から手前にオブジェクトＣ、Ｂ、Ａの順で重ね合わせられるものとする。
ＯＰＡ１、ＯＰＡ２、ＯＰＡ３は、いずれもオブジェクトＡの復号画像を示し、それぞれの対応するＣＴＳは、Ｔ−Ｍ、Ｔ、Ｔ＋Ｎとなっている。
ＯＰＢ１、ＯＰＢ２、ＯＰＢ３は、いずれもオブジェクトＢの復号画像を示し、それぞれの対応するＣＴＳは、Ｔ−Ｍ、Ｔ、Ｔ＋Ｎとなっている。
ＯＰＣ１、ＯＰＣ２、ＯＰＣ３は、いずれもオブジェクトＣの復号画像を示し、それぞれの対応するＣＴＳは、Ｔ−Ｍ、Ｔ、Ｔ＋Ｎとなっている。
なお、この例ではオブジェクトＡが任意形状オブジェクト、オブジェクトＢとＣが矩形オブジェクトである場合を示しているが、これに限定されるものではない。各オブジェクトは矩形、任意形状のいずれであってもよく、全てのオブジェクトが矩形であってもよい。
【００３７】
例えば、オブジェクトＡのみ、現在時刻より時間Ｍだけ前の地点に巻き戻して再生したい場合に、再生制御手段３１３は、復号手段３に対し、符号バッファ２内の時間Ｍだけ前のオブジェクト符号を取り出すよう指示し、現在時刻補正手段７に対し、現在時刻に−Ｍだけオフセットを付加するよう指示する。これらの指示は順序不同である。
【００３８】
図８は、この後、現在時刻がＴの時点で、各オブジェクトの復号画像がどのように合成されるのかを示す説明図である。
図８に示すように、オブジェクトＡについては、復号手段３にて、ＣＴＳがＴ−Ｍであるオブジェクトプレーンのオブジェクト符号を符号バッファ２より取り出して復号し、その復号結果である復号画像ＯＰＡ１を、待機手段４にて、補正された現在時刻≧ＣＴＳとなるのを待って合成手段１１に出力する。ここで、補正された現在時刻とは現在時刻−Ｍであるため、待機手段４が復号画像ＯＰＡ１を出力する時刻はＴということになる。
他方、オブジェクトＢ、オブジェクトＣについては、ＣＴＳ＝Ｔとなるオブジェクト符号を復号し、それぞれの復号結果である復号画像ＯＰＢ２、復号画像ＯＰＣ２を、待機手段４が現在時刻≧Ｔとなるまで待機し、合成手段１１に対し出力するのは、上述した従来の動画像再生装置と同様である。
【００３９】
ここで、符号バッファ２は、少なくとも時間Ｍだけ前の時刻から現在時刻までのオブジェクト符号を格納している必要がある。そのため、復号手段３が復号を終えたオブジェクトプレーンに対応するオブジェクト符号は、即座に符号バッファ２より削除せずに、所定時間経過後に廃棄しなければならない。
【００４０】
また、前記所定時間がオブジェクトＡ単体で巻き戻して再生できる限界時間を決定することになる。そのため、前記限界時間を長くするためには、オブジェクトＡ処理用の符号バッファ２を大きく確保する必要がある。これは、予め巻き戻し再生を行うオブジェクトが分かっている場合には、他のオブジェクト処理用の符号バッファ２よりも大きく確保すればよいことを意味する。また、前記限界時間を超えて巻き戻そうとする場合は、巻き戻しが不可能である旨を視聴者に通知するメッセージを出すことが望ましい。
【００４１】
他方、オブジェクトＡのみ、現在時刻より時間Ｎだけ先の地点に早送りして再生したい場合に、再生制御手段３１３は、復号手段３に対し、符号バッファ２内の時間Ｎだけ先のオブジェクト符号を取り出すよう指示し、現在時刻補正手段７に対し、現在時刻に＋Ｎだけオフセットを付加するよう指示する。これらの指示は順序不同である。
【００４２】
図９は、この後、現在時刻がＴの時点で、各オブジェクトの復号画像がどのように合成されるのかを示す説明図である。
図９に示すように、オブジェクトＡについては、復号手段３にて、ＣＴＳがＴ＋Ｎであるオブジェクトプレーンのオブジェクト符号を符号バッファ２より取り出して復号し、その復号結果である復号画像ＯＰＡ３を、待機手段４にて、補正された現在時刻≧ＣＴＳとなるのを待って合成手段１１に出力する。ここで、補正された現在時刻とは現在時刻＋Ｎであるため、待機手段４が復号画像ＯＰＡ３を出力する時刻はＴということになる。
他方、オブジェクトＢ、オブジェクトＣについては、ＣＴＳ＝Ｔとなるオブジェクト符号を復号し、それぞれの復号結果である復号画像ＯＰＢ２、復号画像ＯＰＣ２を、待機手段４が現在時刻≧Ｔとなるまで待機し、合成手段１１に対し出力するのは、上述した従来の動画像再生装置と同様である。
【００４３】
ここで、符号バッファ２は、少なくとも現在時刻から時間Ｎだけ先の時刻のオブジェクト符号までを格納している必要がある。そのため、逆多重化手段１は、現在時刻から時間Ｎだけ先の時刻まで先んじて逆多重化を行っておく必要がある。これは、コンテンツ供給手段２０が通信網や放送網などであり、未来に再生するデータを予め供給することができない場合には、オブジェクト単位での早送り再生ができないことを意味する。また、符号バッファ２に予め格納されているオブジェクト符号よりも先の時刻に早送りをしようとする場合は、早送りが不可能である旨を視聴者に通知するメッセージを出すことが望ましい。
【００４４】
なお、コンテンツ供給手段２０が蓄積メデイアであって、全てのオブジェクトを同時に同じだけ早送り、あるいは、巻き戻しを行う場合については、必ずしも上記の方法によって各オブジェクト毎に復号手段３と現在時刻補正手段７を操作する必要はなく、逆多重化手段１がコンテンツ供給手段２０からコンテンツを読み出す位置をシークするという方法であってもよい。
【００４５】
このように、本発明の第３の実施形態における動画像再生装置を用いることで、単一の再生装置によるオブジェクト毎にタイムシフトさせた再生が可能となる。
これは、例えば、異なる時刻の人物のモーション（野球のバッテイングフォーム、あるいは、ゴルフのスイング等）の比較などが行えることを意味する。このような場合、比較したい複数の人物オブジェクトが空間的に重なり合うこともあるため、合成手段１１を改良し、タイムシフトさせたオブジェクトのみを半透明化したり、空間的配置を変えることができるようにすることが好ましい。
【００４６】
また、タイムシフトさせたオブジェクトの存在を視聴者に分かり易くするために、現在合成に用いられている各オブジェクトの復号画像に対応するＣＴＳ値を表示するようにしてもよく、その際、オブジェクトのエッジ部分等に各オブジェクト毎に異なる色を付けて、ＣＴＳ値の文字表示の色を対応するオブジェクトのエッジ色と同じにすることが好ましい。
【００４７】
＜第４の実施形態＞
図１０は、符号バッファ２Ａに保持されているオブジェクト符号中の異なる２つの時刻の画像を同時に再生することを可能にするため、図５に示す第３の実施形態に係る動画像再生装置に対して、いくつかのブロックを追加した第４の実施形態における動画像再生装置の構成を示すブロック図である。なお、図１３に示す従来の動画像再生装置、図１に示す第１の実施形態に係る動画像再生装置、および図５に示す第３の実施形態に係る動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００４８】
以下、図１０を参照して、第４の実施形態に係る動画像再生装置の各構成部分を説明する。
３Ｄは、３Ａ、３Ｂ、３Ｃと同等の復号手段である。４Ｄは、４Ａ、４Ｂ、４Ｃと同等の待機手段である。７Ｄは、７Ａ、７Ｂ、７Ｃと同等の現在時刻補正手段である。
【００４９】
このように、図５に示す第３の実施形態に係る動画像再生装置に対して、復号手段３Ｄ、待機手段４Ｄ、現在時刻補正手段７Ｄを追加することにより、１つのオブジェクトにおける２つの時刻の画像が同時に表示できるようになることは、第３の実施形態に係る動画像再生装置の説明からも自明である。
なお、図１０は、オブジェクト中の２つの異なる時刻における画像を同時に表示できる動画像再生装置のブロック図であるが、さらに、復号手段３、待機手段４、現在時刻補正手段７を追加することにより、オブジェクト中の３つ以上の異なる時刻における画像を同時に表示することも可能である。
【００５０】
＜第５の実施形態＞
図１１は、本発明の第５の実施形態における動画像再生装置の構成を示すブロック図である。なお、図１１に示す動画像再生装置は、コンテンツが３つの動画像オブジェクトを多重化した場合を想定しているが、これは本実施形態に係る動画像再生装置が扱える動画像オブジェクトの個数を３つに限定するものではない。また、図１３に示す従来の動画像再生装置、図１に示す第１の実施形態に係る動画像再生装置、図５に示す第３の実施形態に係る動画像再生装置、および図１０に示す第４の実施形態に係る動画像再生装置と同様の機能を有する部分には同一符号を付し、その説明を省略する。ただし、第５の実施形態の説明においては、コンテンツ供給手段２０は、蓄積メディア等シーク可能なデバイスで構成されるものに限定するものとする。
なお、ここで言うオブジェクトとは矩形もしくは任意の形状をした部品画像を指す。
【００５１】
以下、図１１を参照して、第５の実施形態に係る動画像再生装置の各構成部分を説明する。
１４Ａ、１４Ｂ、１４Ｃは、いずれも前段からコンテンツを受け取り、各オブジェクト符号毎に分離し、所定の１つのオブジェクト符号のみを後段に出力し、残りのオブジェクト符号を廃棄するための逆多重化手段である。なお、以下の説明において、逆多重化手段１４Ａ、逆多重化手段１４Ｂ、逆多重化手段１４Ｃを区別しない場合は、単に逆多重化手段１４と記述する。
【００５２】
４１３は、少なくとも現在時刻補正手段７、現在時刻供給手段１０、逆多重化手段１４に対して制御情報を供給することで、再生、停止、早送り、巻き戻し等を実現するための再生制御手段である。ここで、再生制御手段４１３は、再生制御手段１３の機能に加えて、各オブジェクト毎に、再生、停止、早送り、巻き戻し等の制御を行うことができる。
なお、以下の説明において、所定のオブジェクトを処理する逆多重化手段１４、複合化手段３、待機手段４、現在時刻補正手段７のセットをオブジェクト処理手段と記述する。
【００５３】
図１２は、本発明の第５の実施形態における動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
処理開始後、図１２に示すように、逆多重化手段１４はコンテンツ供給手段２０から受け取ったコンテンツを逆多重化し（Ｓ４−１）、所定の１つのオブジェクト符号だけを復号手段３に対し出力する。
次に、復号手段３は逆多重化手段１４から受け取ったオブジェクト符号を復号し（Ｓ４−２）、１枚の復号画像とＣＴＳを待機手段４に対して出力する。
次に、待機手段４により、現在時刻補正手段７にて補正された現在時刻と復号手段３から取得したＣＴＳとの比較を行い、現在時刻が少なくともＣＴＳの示す時刻となるまで待機し（Ｓ４−３）、合成手段１１に対して復号手段３から受け取った復号画像を出力し（Ｓ４−４）、処理を終了する。
【００５４】
ここで、第５の実施形態に係る動画像再生装置においては、逆多重化手段１４が各オブジェクトの処理段の全てに１つずつあるため、コンテンツ供給手段２０が、蓄積メディア等シーク可能なデバイスで構成される場合には、各逆多重化手段１４がコンテンツ供給手段２０からコンテンツを取り出す場所を再生制御手段４１３によって個別に制御することも可能である。つまり、各オブジェクト処理手段毎に、異なる時刻のオブジェクト符号を復号手段３に対し供給することができる。また、コンテンツを取り出す場所の指定は、コンテンツの先頭から最後までの全域において有効である。
一方で、全ての逆多重化手段１４がコンテンツ供給手段２０からコンテンツを取り出す場所を同一にして、全ての現在時刻補正手段７で付加するオフセットをゼロに設定すれば、上述した従来の動画像再生装置と同様に、全てのオブジェクト間で時間的な同期を図った再生が可能であることは自明である。
【００５５】
次に、第５の実施形態に係る動画像再生装置によって、どのようにオブジェクト毎にタイムシフトさせた再生を実現するかを、図７、図８、図９を用いて説明する。
【００５６】
図７に示すように、例えば、オブジェクトＡのみ、現在時刻より時間Ｍだけ前の地点に巻き戻して再生したい場合に、再生制御手段４１３は、逆多重化手段１４に対して、コンテンツ供給手段２０から時間Ｍだけ前のオブジェクト符号を取り出すよう指示し、現在時刻補正手段７に対して、現在時刻に−Ｍだけオフセットを付加するよう指示する。これらの指示は順序不同である。
【００５７】
図８は、この後、現在時刻がＴの時点で、各オブジェクトの復号画像がどのように合成されるのかを示す説明図である。
図８に示すように、オブジェクトＡについては、復号手段３にて、ＣＴＳがＴ−Ｍであるオブジェクトプレーンのオブジェクト符号を逆多重化手段１４を介してコンテンツ供給手段２０より取り出して復号し、その復号結果である復号画像ＯＰＡ１を、待機手段４にて、補正された現在時刻≧ＣＴＳとなるのを待って合成手段１１に出力する。ここで、補正された現在時刻とは現在時刻−Ｍであるため、待機手段４が復号画像ＯＰＡ１を出力する時刻はＴということになる。
【００５８】
他方、オブジェクトＢ、オブジェクトＣについては、ＣＴＳ＝Ｔとなるオブジェクト符号を復号し、それぞれの復号結果である復号画像ＯＰＢ２、復号画像ＯＰＣ２を、待機手段４が現在時刻≧Ｔとなるまで待機し、合成手段１１に対し出力するのは、上述した従来の動画像再生装置と同様である。
また、オブジェクトＡのみ、現在時刻より時間Ｎだけ先の地点に早送りして再生したい場合については、上記時間Ｍだけ巻き戻す場合の説明において、Ｍ＝−Ｎの置き換えをすることを以って説明を省略する。
【００５９】
図９は、現在時刻がＴの時点で、各オブジェクトの復号画像がどのように合成されるのかを示す説明図である。
このように、本発明の第５の実施形態に係る動画像再生装置を用いることで、単一の再生装置によるオブジェクト毎にタイムシフトさせた再生が可能となる。また、再生制御手段４１３により、複数の逆多重化手段１４において、同一オブジェクトのオブジェクト符号を出力するよう制御することで、同一オブジェクトにおける異なる時刻の画像を同時に表示することも可能である。さらに、限界時間に縛られることなくオブジェクト単位での早送り、巻き戻しが可能となる。
【００６０】
【発明の効果】
以上説明したように、本発明の動画像再生装置によれば、複数のオブジェクトにより構成される動画像を含むコンテンツを再生する際に、各オブジェクト毎に一時停止・再生再開の制御を行うことができる。
【００６１】
また、本発明の動画像再生装置によれば、単一または複数のオブジェクトにより構成される動画像を含むコンテンツを再生する際に、各オブジェクト毎にタイムシフトさせて再生可能であるとともに、１つのオブジェクト中の異なる時刻の画像を同時に表示可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【図３】本発明の第２の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図４】本発明の第２の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【図５】本発明の第３の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図６】本発明の第３の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【図７】複数の動画像オブジェクトからなるコンテンツにおける各オブジェクトの復号画像の一例である。
【図８】本発明の各実施形態における動画像再生装置が生成する所定の時刻における合成画像の一例である。
【図９】本発明の各実施形態における動画像再生装置が生成する所定の時刻における合成画像の一例である。
【図１０】本発明の第４の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図１１】本発明の第５の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図１２】本発明の第５の実施形態に係る動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【図１３】従来の動画像再生装置の構成を示すブロック図である。
【図１４】従来の動画像再生装置が１枚のオブジェクトプレーンを処理する流れを示すフローチャートである。
【符号の説明】
１ 逆多重化手段
２Ａ〜Ｃ 符号バッファ
３Ａ〜Ｄ 復号手段
４Ａ〜Ｄ 待機手段
５Ａ〜Ｃ 符号廃棄手段
６Ａ〜Ｃ 復号画像廃棄手段
７Ａ〜Ｄ 現在時刻補正手段
８Ａ〜Ｃ スイッチ
９Ａ〜Ｃ スイッチ
１０ 現在時刻供給手段
１１ 合成手段
１２ 表示手段
１３ 再生制御手段
１４Ａ〜Ｃ 逆多重化手段
２０ コンテンツ供給手段
１１３ 再生制御手段
２１３ 再生制御手段
３１３ 再生制御手段
４１３ 再生制御手段
Claims (9)
- 複数のオブジェクトにより構成される動画像を含むコンテンツを再生するための動画像再生装置において、
コンテンツを逆多重化して各オブジェクト符号に分離・出力するための逆多重化手段と、
各オブジェクトを復号して復号画像を出力するための復号手段と、
現在時刻が所定の時刻になるまで各復号画像の出力を待機するための待機手段と、
現在時刻を供給するための現在時刻供給手段と、
複数の復号画像を合成して合成画像を出力するための合成手段と、
合成画像を画面に表示するための表示手段と、
コンテンツ再生中に各オブジェクト毎に一時停止・再生再開の制御を行うための再生制御手段とを備えたことを特徴とする動画像再生装置。 - オブジェクト符号を廃棄するための符号廃棄手段を備えたことを特徴とする請求項１記載の動画像再生装置。
- コンテンツに含まれる動画像がイントラ符号化方式およびインター符号化方式の両方式を用いて符号化されている場合に、一時停止されたオブジェクトの再生再開に際し、イントラ符号化されたオブジェクト符号から先に復号手段に供給することを特徴とする請求項２記載の動画像再生装置。
- 復号画像を廃棄するための復号画像廃棄手段を備えたことを特徴とする請求項１記載の動画像再生装置。
- 複数のオブジェクトにより構成される動画像を含むコンテンツを再生するための動画像再生装置において、
コンテンツを逆多重化して各オブジェクト符号に分離・出力するための逆多重化手段と、
各オブジェクトを復号して復号画像を出力するための復号手段と、
現在時刻が所定の時刻になるまで各復号画像の出力を待機するための待機手段と、
現在時刻を供給するための現在時刻供給手段と、
複数の復号画像を合成して合成画像を出力するための合成手段と、
合成画像を画面に表示するための表示手段と、
前記逆多重化手段が出力するオブジェクト符号を一時的に保持するための符号バッファと、
コンテンツ再生中に各オブジェクト毎に早送り・巻き戻しを行うための再生制御手段と、
前記現在時刻供給手段が供給する現在時刻を補正した補正現在時刻を現在時刻として前記待機手段に供給するための現在時刻補正手段とを備えたことを特徴とする動画像再生装置。 - 前記合成手段は、オブジェクト毎に半透明度を指定して合成することを特徴とする請求項１〜５のうちのいずれか１項記載の動画像再生装置。
- 各オブジェクトの再生時刻を画面表示することを特徴とする請求項１〜６のうちのいずれか１項記載の動画像再生装置。
- 各オブジェクトのエッジと該オブジェクトに対応する再生時刻を同一の色で表示することを特徴とする請求項７記載の動画像再生装置。
- 前記オブジェクトは形状が矩形であることを特徴とする請求項１〜８のうちのいずれか１項記載の動画像再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003007479A JP3874730B2 (ja) | 2002-01-24 | 2003-01-15 | 動画像再生装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002-15577 | 2002-01-24 | ||
| JP2002015577 | 2002-01-24 | ||
| JP2003007479A JP3874730B2 (ja) | 2002-01-24 | 2003-01-15 | 動画像再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003289505A JP2003289505A (ja) | 2003-10-10 |
| JP3874730B2 true JP3874730B2 (ja) | 2007-01-31 |
Family
ID=29253155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003007479A Expired - Fee Related JP3874730B2 (ja) | 2002-01-24 | 2003-01-15 | 動画像再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3874730B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005123775A (ja) | 2003-10-15 | 2005-05-12 | Sony Corp | 再生装置、再生方法、再生プログラムおよび記録媒体 |
| US12051391B2 (en) | 2005-04-12 | 2024-07-30 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| US11232768B2 (en) | 2005-04-12 | 2022-01-25 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| JP2007080323A (ja) * | 2005-09-12 | 2007-03-29 | Sharp Corp | 画像出力装置 |
| US20100061697A1 (en) * | 2007-04-13 | 2010-03-11 | Makoto Yasuda | Motion picture decoding method, motion picture decoding device, and electronic apparatus |
| JP4575417B2 (ja) * | 2007-11-09 | 2010-11-04 | 株式会社東芝 | 動画像再生装置 |
-
2003
- 2003-01-15 JP JP2003007479A patent/JP3874730B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003289505A (ja) | 2003-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9100619B2 (en) | Video synthesizing apparatus and program | |
| US20180114545A1 (en) | Entertainment device with improved reverse play | |
| WO2006137292A1 (ja) | 映像データ再生装置、映像データ生成装置及び記録媒体 | |
| JP3874730B2 (ja) | 動画像再生装置 | |
| JP2000013777A (ja) | 映像再生装置及び映像蓄積装置 | |
| JPH10283715A (ja) | デジタル・ビデオ・ディスクにおけるサブ・ピクチャ・ユニットの高速再生システム及び方法 | |
| JPH10322680A (ja) | 連鎖型多視点映像再生方法 | |
| JPH10191261A (ja) | 多視点映像再生方法 | |
| JP2010206803A (ja) | 映像合成装置及びプログラム | |
| KR100739676B1 (ko) | 그래픽 데이터를 포함하는 정보저장매체, 그 처리장치 및처리방법 | |
| JP4272753B2 (ja) | 再生装置及びその制御方法、並びにコンピュータ読み取り可能な記憶媒体 | |
| CN101594487B (zh) | 一种字幕机场景区域切换的同步方法 | |
| JP3098485B2 (ja) | 画像復号装置 | |
| JP5246181B2 (ja) | ネットワークコンテンツ再生制御装置、ネットワークコンテンツ再生制御方法、及び映像表示装置 | |
| CN101594542A (zh) | 一种字幕机场景区域切换的同步系统 | |
| CN101594469A (zh) | 一种图文资讯播出系统场景区域切换的同步系统 | |
| CN101594468A (zh) | 一种图文资讯播出系统场景区域切换的同步方法 | |
| JP2001145111A (ja) | 動画像復号化装置および方法 | |
| JPH11331776A (ja) | 符号化データ復号装置及び符号化データ復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061024 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |