JPWO2008139730A1 - 表示装置 - Google Patents

Abstract

本発明に係る表示装置は、第１メモリに記憶されている画像と第２メモリに記憶されている画像とを、前記第２メモリに記憶されている画像が前面になるように合成した画像をディスプレイに表示するものであり、前記第１メモリに記憶する画像の表示サイズ又は表示位置を取得したら、第１画像生成手段に当該表示サイズ又は表示位置の画像の生成を開始させ、当該生成が終了するまでの間、第２画像生成手段に、前記第１画像生成手段が生成している画像を覆う大きさの不透明な画像を生成させて表示し、前記第１画像生成手段の画像の生成が終了したら、前記第２画像生成手段に、前記第１画像生成手段が生成した画像の前面となる部分が透明である画像を生成させて表示する。

Description

本発明は、動画像と、文字等の静止画像とを合成して表示する表示装置に関し、特に、動画像の表示領域を拡大等する場合の、動画像と静止画像とを表示する技術に関する。

従来から、動画像と静止画像とを一つのディスプレイに表示することが行われている。いわゆるＯＳＤ（On Screen Display）といわれるもので、例えば、輝度等を設定する場合に、設定値をディスプレイの一部に表示しながら設定を行うものである。

近年では、ディジタル放送受信機においては、放送番組である動画像と、放送局から送信されてくる番組表などの静止画像とを合成して表示することが行われており、他にも、ビデオレコーダやビデオプレイヤ、携帯電話機、デジタルカメラなど、様々な機器で、動画像と静止画像とを合成してディスプレイに表示することが行われている。

動画像と静止画像の合成方法としては、動画像と静止画像とをそれぞれ別のメモリに記憶し、動画像の上に静止画像を重ねて表示する方法がある。

この方法では、静止画像の一部分、すなわち、動画像と同じ部分を透明にして下の動画像が見えるようにして合成する。従って、動画像の表示サイズや位置が変更された場合には、静止画像の透明にする部分を、動画像の表示サイズや位置に合わせて変更することになる。

また、動画像は、所定のフレームレートで画像が更新されることから、更新が行われる都度、動画像と静止画像とを合成して表示することになるが、動画像のサイズ等の変更のタイミングと、静止画像の透明化のタイミングとが合わない場合には、動画像と静止画像とがディスプレイ上でずれて表示されてしまうこととなる。すなわち、動画像と静止画像との境に、意図しない画像が表示されてしまう。

そこで、静止画像を透明化するタイミングを、動画像の変更のタイミングに合わせることで、ディスプレイ上でずれて表示されないようにする技術がある（特許文献１）。
特開２００４−３０２３６１号公報

しかし、この技術では、静止画像の透明化を指示する命令や、透明部分を変更した静止画像を表示のタイミングまで記憶しておく必要がある。また、このタイミング合わせはソフトウェアで行うことから、他のアプリケーション等の実行状況によっては、必要な時間分ＣＰＵを確保することができずに、タイミングを正確には合わせることができない場合も発生する。

そこで、本発明は、メモリを余分に必要とせずに、動画像と静止画像とがディスプレイ上でずれて表示されることのない表示装置の提供を目的とする。

上記目的を達成するために、本発明に係る表示装置は、画像を記憶する第１メモリと第２メモリと、前記第１メモリに記憶されている画像と前記第２メモリに記憶されている画像とを、前記第２メモリに記憶されている画像が前面になるように合成した画像をディスプレイに表示する表示手段と、画像を前記第１メモリに生成する第１画像生成手段と、画像を前記第２メモリに生成する第２画像生成手段と、前記第１メモリに記憶する画像の表示サイズ又は表示位置を取得する取得手段と、前記取得手段で表示サイズ又は表示位置を取得した場合は、前記第１画像生成手段に当該表示サイズ又は表示位置の画像の生成を開始させ、当該生成が終了するまでの間、前記第２画像生成手段に、前記第１画像生成手段が生成している画像を覆う大きさの不透明な画像を生成させて前記表示手段で表示し、前記第１画像生成手段の画像の生成が終了したら、前記第２画像生成手段に、前記第１画像生成手段が生成した画像の前面となる部分が透明である画像を生成させて前記表示手段で表示する表示制御手段とを備えることを特徴とする。

上記構成の表示装置は、第１メモリに画像を生成している間、生成している画像を覆う大きさの画像を第２メモリに生成して第１メモリに生成している画像をディスプレイに表示しないようにしているので、第１メモリに画像が生成されたタイミングでディスプレイに表示することができるようになる。具体的には、第１メモリに画像が生成されてから、第２メモリに記憶されている画像の一部を透明にする。

従って、第１メモリに画像が生成されたタイミングと同時に、第２メモリの画像を透明にするのが理想ではあるが、このタイミングが正確にあわせることが難しい場合であっても、本発明では、タイミングが正確にあわされたようにディスプレイには表示することができる。

例えば、第１メモリには、ビデオ画像等の動画像を記憶し、第２メモリには、録画番組一覧のような静止画像を記憶しておき、動画像のサイズが変わったら、静止画像の一部を動画像のサイズに合わせて透明にするなどである。

また、第１メモリに画像を生成している間、表示されている第１メモリの画像が乱れるような仕様の表示装置であったとしても、本発明の表示装置では、乱れた画像が表示されること無く、第１メモリへの画像の生成が終了したタイミングでディスプレイに表示することができる。

また、前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの１フレーム画像に基づいて、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段により生成を開始させた前記１フレーム画像から生成される画像であることとしてもよい。

これにより、第１メモリに生成する画像と第２メモリに生成する画像とは、同じフレーム画像から生成するので、第１メモリに生成された表示サイズ又は表示位置が変更された画像をディスプレイに表示するよりも早く、サイズの変更等が反映された画像をディスプレイに表示することが可能となり、第１メモリに生成された画像にスムーズに移行することが可能となる。

また、前記第２画像生成手段は、前記第1画像生成手段による画像の生成よりも短い時間で、第１動画像生成手段が生成する画像よりも精度の低い画像を第２メモリに生成することとしてもよい。

これにより、第２画像生成手段が画像を生成する時間は、第１画像生成手段が画像を生成する時間より短いので、同じフレーム画像から画像を生成したとしても、第１メモリに画像を生成している間に、第２メモリに画像を生成することができるようになる。

また、前記第２画像生成手段は、前記１フレーム画像から生成する画像以外に、他の画像を前記第２メモリに生成し、前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段による画像の生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、当該表示サイズ又は表示位置の画像と前記他の画像であり、前記第１画像生成手段の画像の生成が終了後に前記第２画像生成手段に生成させる画像は、前記他の画像であることとしてもよい。

これにより、第２メモリには、第１メモリに生成している画像と同じフレーム画像から生成する画像以外の他の画像も生成できるので、第１メモリに画像が生成されたら、生成された画像と当該他の画像とを表示することができるようになる。

また、前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの各１フレーム画像から、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段に生成を開始させたときに前記第１メモリに記憶されている画像から生成される画像であることとしてもよい。

これにより、第１画像生成手段が第１メモリに画像を生成している間、第２画像生成手段は、第１メモリに記憶されている画像、すなわち、表示されていた画像から第２メモリに画像を生成するので、表示されている画像と第２画像生成手段が生成しようとしている画像とのサイズが近い場合には、短時間で画像を生成することができるようになる。

また、前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの１フレーム画像から、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段に生成を開始させた１フレーム画像と前記第１画像生成手段に生成を開始させたときに前記第１メモリに記憶されている画像のうち、画像の大きさが前記第２画像生成手段に生成させる画像の大きさに近い方の画像から生成される画像であることとしてもよい。

これにより、第１画像生成手段が第１メモリに画像を生成している間、第２画像生成手段は、第１メモリに記憶されている画像又はフレーム画像のうち、生成しようとしている画像とサイズが近い方から第２メモリに画像を生成するので、より短時間で画像を生成することができるようになる。

表示装置１００の構成を示す機能ブロック図である。 動画像と静止画像とを同一のディスプレイ上に表示する仕組みを示す図である。 従来の問題点である、ビデオ画像が拡大される場合に生ずる画像のずれを示す図である。 本願発明の、ビデオ画像が拡大される場合を示す図である。 図５（ａ）は、オブジェクト情報１５１０の構成及び内容例を示す図であり、図５（ｂ）は、ビデオ画像配置情報１５２０の構成及び内容例を示す図であり、図５（ｃ）は、変更指示情報２３１０の構成及び内容例を示す図である。 表示画面とオブジェクトの関係の具体例を示す図である。 ビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。 表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。 実施形態２の表示装置７００の構成を示す機能ブロック図である。 実施形態２において、ビデオ画像が拡大される場合を示す図である。 実施形態２においてビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。 実施形態２における、表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。 実施形態３の表示装置８００の構成を示す機能ブロック図である。 実施形態３において、ビデオ画像が拡大される場合を示す図である。 実施形態３においてビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。 実施形態３における、表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。 実施形態３における、疑似ビデオ画像生成処理を表すフローチャートである。

符号の説明

１００ ７００ ８００ 表示装置
２００ ディスプレイ
１０００ ビデオデータ記憶部
１１００ デコード部
１２００ デコード画像記憶部
１３００ スケール部
１４００ ビデオフレーム記憶部
１５００ ７５００ ８５００ 表示制御部
１６００ ビデオ表示制御部
１７００ ７７００ ８７００ 疑似ビデオ生成部
１８００ 合成部
２０００ グラフィックスデータ記憶部
２１００ グラフィックス生成部
２２００ グラフィックスフレーム記憶部
２３００ アプリケーション処理部
８７１０ 画像選択部

＜実施形態１＞
＜概要＞
本発明に係る表示装置は、テレビ映像やビデオ再生映像等の動画像と、文字やイラスト等の静止画像とを同時に同一のディスプレイに表示するものであり、 この表示されている動画像の表示サイズを拡大又は縮小する場合や、動画像の表示位置を変更する場合に、ディスプレイ上に動画像と静止画像とが不具合なく表示されるものである。ここで不具合とは、動画像と静止画像とがずれて表示されたり、動画像が一時的に乱れたりすること等である。

例えば、ディスプレイ上の動画像と静止画像との表示のずれは、動画像の表示領域と静止画像の透明領域とが一致しないことが原因であり、このずれは、動画像のサイズと位置の変更が完了するまでに、静止画像の透明領域を変更してしまうことで生ずるものである。そこで、本願発明では、このずれが生じ得る期間の間だけ、静止画像の一部を透明にする代わりに動画像に相当する疑似画像を静止画像として表示するものである。

本願発明では、疑似画像で動画像を覆い隠すことになるため、表示のずれだけでなく、表示の乱れ等の不具合も解消することができるという利点がある。

以下、図２〜図４を用いて、本願発明の原理を簡単に説明する。

図２を用いて、動画像と静止画像とをディスプレイに表示する仕組みについて説明し、図３を用いて、従来の問題点を説明する。その後、図４を用いて、本願発明の動画像と静止画像とをディスプレイに表示する仕組みについて簡単に説明する。

図２は、動画像と静止画像とを同一のディスプレイ上に表示する仕組みを示す図である。

ビデオフレームは、動画像を表示するフレーム画像を示し、グラフィックスフレームは、静止画像を表示するフレーム画像を示す。以下、動画像を「ビデオ」、静止画像を「グラフィックス」ともいうものとする。

また、合成画像は、ビデオフレームの上にグラフィックスフレームを重ねるように合成した画像であり、実際にディスプレイ上に表示される画像である。尚、ここでは、ビデオは３０ｆｐｓ（Frame Per Second）で表示されるものとする。

例えば、合成画面２が表示される場合は、ビデオフレームには、所定サイズのビデオ画像３００が所定の位置に生成され、グラフィックスフレームには、ビデオ画像３００に該当する部分３０１が透明色であるグラフィックス画像３０２が生成される。ビデオフレームとグラフィックスフレームとが合成され、グラフィックス画像３０２の透明な部分３０１からビデオ画像３００が見えて、表示画像２となる。例えば、録画番組一覧がグラフィックス画像として表示され、その画像に重ねて小さい画像で録画番組の１つである野球の試合が再生されているような画面である。

グラフィックス画像が更新された場合は、新しいグラフィックス画像３０３とビデオ画像が合成され、表示画面５が表示される。

本図の表示画面２〜表示画面６に示すように、ビデオ画像はフレーム毎に更新されて動画像として表示され、グラフィックス画像は静止画像として表示される。

次に、図３は、従来の問題点である、ビデオ画像が拡大される場合に生ずる画像のずれを示す図である。

まず、表示画面１が表示されているときに、ユーザがビデオ画像を拡大する指示を出したとする。

拡大指示を受けて、グラフィックスフレームでは、グラフィックス画像の透明領域３１０を、ビデオ画像が拡大される領域と同じ領域まで拡大する。表示画面３を表示するときに、拡大された透明領域３１１となる。

一方、ビデオフレームでは、表示画面５を表示するときに、初めて拡大されたビデオ画像３１３が表示される。ビデオ画像を拡大等する場合は、一般的にハードウェアでスケーリングやフィルタリングを行うため、表示が遅れることが多く、この例では、グラフィックスフレームより２フレーム分遅れて表示される。

従って、表示画面３と表示画面４のように、グラフィックス画像の透明部分からビデオフレームのビデオ画像以外の部分３１２が見えて、ビデオ画像とグラフィックス画像のずれが生じた表示画面となってしまう。

図４は、本願発明の、ビデオ画像が拡大される場合を示す図である。

表示画面１で、ビデオ画像の拡大指示を受けて、グラフィックスフレームでは、グラフィックス画像の透明領域を拡大する代わりに、ビデオ画像に代わる疑似ビデオ画像３２０をグラフィックスフレームに生成する。この疑似ビデオ画像３２０は、現在のビデオ画像を覆い隠せる大きさの不透明な画像である。本図では、疑似ビデオ画像は、右斜線が引かれている。

表示画面３が表示されるときには、ビデオフレームの上にグラフィックスフレームが重ねて合成されるが、このときのグラフィックスフレームには透明領域の代わりに疑似ビデオ画像３２０が生成されているため、グラフィックスフレームの画像３２１が表示されることになる。

すなわち、図３の表示画面３のように、疑似ビデオ画像とグラフィック画像とがずれなく表示されて、ビデオ画像の拡大処理が迅速に開始されたように見えることになる。

その後、ビデオフレームに拡大されたビデオ画像３２２が表示された段階で、グラフィックスフレームでは、拡大した透明領域３２３を有するグラフィックス画像を生成する。

表示画面５では、グラフィックス画像の透明領域３２３から、透明領域３２３と同じ大きさのビデオ画像３２２が見えて表示される。

このように、ビデオ画像のサイズ等が変更される場合に、ビデオフレームに変更が反映されるまで、グラフィックスフレームに疑似ビデオ画像を生成して表示することで、サイズの変更を迅速にディスプレイ上に反映させ、且つ、ディスプレイ上に画像の不具合を表示させないようにすることができる（図３及び図４の、表示画面３と表示画面４を参照）。

以下、本発明の実施形態における表示装置について、図を用いて説明する。尚、本実施形態では、ビデオ画像を拡大する場合について説明するが、ビデオ画像を縮小する場合、位置を変える場合、また更に、ビデオ画像を拡大等する場合に画像が乱れる場合等であっても同様である。

＜構成＞
図１は、表示装置１００の構成を示す機能ブロック図である。

表示装置１００は、デコード部１１００、デコード画像記憶部１２００、スケール部１３００、ビデオフレーム記憶部１４００、表示制御部１５００、ビデオ表示制御部１６００、疑似ビデオ生成部１７００、合成部１８００、グラフィックスデータ記憶部２０００、グラフィックス生成部２１００、グラフィックスフレーム記憶部２２００及びアプリケーション処理部２３００とで構成される。

また、表示装置１００の外部に、コンテンツ等のビデオデータを記憶するビデオデータ記憶部１０００とディスプレイ２００とを備える。

デコード部１１００は、ビデオデータ記憶部１０００からビデオデータをストリーミングデータとして入力し、入力したストリーミングデータの復号を行ない、デコード画像を生成して、デコード画像記憶部１２００に記憶する機能を有する。

本実施形態では、ビデオデータは、ビデオデータ記憶部１０００から入力することとしているが、ネットワーク等を介して入力することとしてもよく、また、テレビ放送等として受信することとしてもよい。また、本実施形態では、ビデオデータはＭＰＥＧ（Moving Picture Experts Group）−４規格で作成されているものとする。

デコード画像記憶部１２００は、デコード部１１００が復号したデータであるデコード画像を記憶する機能を有する。本実施形態では、記憶されているデコード画像は、ディスプレイに表示する画像よりも大きい、すなわち、解像度が高いものとする。尚、表示する画像よりも小さい、すなわち、解像度が低いものであってもよい。

また、このデコード画像記憶部１２００は、ビデオ表示制御部１６００からの問い合わせに応じて、デコード画像の画像サイズをビデオ表示制御部１６００に通知する機能を有する。このデコード画像のサイズは、一つのビデオデータにおいては、同一とする。

スケール部１３００は、デコード画像に対して、所定のサイズへの縮小、又は、表示位置の変更等の処理（以下、「スケール処理」という。）を行い、ビデオフレーム記憶部１４００にスケール処理後のデコード画像であるビデオ画像を生成する機能を有する。具体的には、ディスプレイに表示するビデオ画像の画素データをビデオフレーム記憶部１４００に描画する。

ビデオフレーム記憶部１４００は、スケール部１３００がスケール処理を施したビデオ画像を、フレーム単位で画素データの集合として記憶する。

次に、表示制御部１５００は、ビデオ画像のサイズ等の変更制御、及び、疑似ビデオ画像とグラフィックス画像の表示制御を行う機能を有する。具体的には、アプリケーション処理部２３００からビデオ画像の拡大等の指示を受けたら、ビデオ表示制御部１６００にビデオ画像のサイズ等の変更を依頼したり、グラフィックスフレームにおける画像の重なり順序の管理等を行う。

ビデオ表示制御部１６００は、表示制御部１５００からの指示を受け、ビデオ画像のスケール処理、及び、疑似ビデオ画像の生成処理を制御する機能を有する。

具体的には、ビデオ表示制御部１６００は、スケール部１３００へのビデオ画像のサイズ等の変更の指示、デコード画像記憶部１２００からデコード画像のサイズを取得して、疑似ビデオ生成部１７００への疑似ビデオ画像の生成の依頼を行う。また、スケール部１３００からのビデオ画像へのスケール処理完了の通知を受け、疑似ビデオ生成部１７００に透明領域を生成するよう指示する。

疑似ビデオ生成部１７００は、ビデオ表示制御部１６００からの指示を受け、疑似ビデオ画像をグラフィックスフレーム記憶部２２００に生成する機能を有する。具体的には、ビデオ画像が生成される基となるデコード画像から、ディスプレイに表示する疑似ビデオ画像を生成し、その画素データをグラフィックスフレーム記憶部２２００に描画する。また、ビデオ表示制御部１６００からの指示により、指定領域を透明色で塗り潰す、すなわち、透明色のみで構成された画像を生成する機能も有する。

本実施形態では、スケール部１３００で用いられている拡大・縮小フィルタのほうが、本疑似ビデオ生成部１７００で用いられている拡大・縮小フィルタよりも高次のフィルタであるものとする。すなわち、スケール部１３００で生成した画像のほうが、本疑似ビデオ生成部１７００で生成した画像より精度が高いといえる。従って、同じ画像に対してスケール処理を施す場合は、本疑似ビデオ生成部１７００の方が処理時間は短いものとする。

グラフィックス生成部２１００は、表示制御部１５００からの指示を受け、グラフィックス画像をグラフィックスフレーム記憶部２２００に生成する機能を有する。具体的には、ディスプレイに表示するグラフィックス画像の画素データをグラフィックスフレーム記憶部２２００に描画する。ここで生成するグラフィックス画像は、グラフィックスデータ記憶部２０００に記憶されているデータから生成するものとする。

グラフィックスデータ記憶部２０００は、グラフィックス生成部２１００が生成するグラフィックス画像の基となるデータが記憶されている。本実施形態では、録画番組一覧やテレビ番組表、文字列等のデータを記憶する。

次に、グラフィックスフレーム記憶部２２００は、疑似ビデオ生成部１７００が生成した疑似ビデオ画像と、グラフィックス生成部２１００が生成したグラフィックス画像とを、フレーム単位で画素データの集合として記憶する。

合成部１８００は、ビデオフレーム記憶部１４００に記憶されている画像と、グラフィックスフレーム記憶部２２００に記憶されている画像とを合成して、ディスプレイ２００に表示する機能を有する。合成は、ビデオフレーム記憶部１４００に記憶されている画像の上に、グラフィックスフレーム記憶部２２００に記憶されている画像をオーバーレイすることにより行われる。

アプリケーション処理部２３００は、本実施形態では、ユーザからの指示を受付けて、録画番組一覧を表示したり、一覧から選択された番組を再生したりする処理を行う。さらに、ユーザから、再生中のビデオ画像のサイズを変更する等の指示を受付けた場合、その旨を表示制御部１５００に通知する機能を有する。

ここで、表示制御部１５００等の各部による各処理の全部または一部は、ＣＰＵ（図示していない。）が各種プログラムを実行することにより実現されるものである。

＜データ＞
以下、本表示装置１００で用いる主なデータについて、図５と図６とを用いて説明する。

図５（ａ）は、オブジェクト情報１５１０の構成及び内容例を示す図であり、図５（ｂ）は、ビデオ画像配置情報１５２０の構成及び内容例を示す図である。これらは、表示制御部１５００が、内部のメモリに記憶している情報である。

また、図５（ｃ）は、変更指示情報２３１０の構成及び内容例を示す図である。この情報は、アプリケーション処理部２３００が表示制御部１５００に対して、ビデオ画像のサイズ等の変更指示を行う際に渡す情報である。

まず、図５（ａ）のオブジェクト情報１５１０を説明する。

ここで、オブジェクトとは、グラフィックスフレーム記憶部２２００に記憶されているグラフィックス画像を構成する要素をいい、具体的には、１つの静止画像を１つのグラフィックスオブジェクトといい、１つの疑似ビデオ画像を１つのビデオオブジェクトというものとする。この静止画像とは、１以上の図形、画像、文字等で構成された画像あり、これらを組み合わせた画像であってもよい。本実施形態では、ビデオオブジェクトは、１つの録画番組の再生画像であるビデオ画像に対応する疑似ビデオ画像をいい、グラフィックスオブジェクトは、録画番組一覧の画像や、文字列などの静止画像である。

オブジェクト情報１５１０は、オブジェクトＩＤ１５１１、属性１５１２、始点１５１３、サイズ１５１４、スタック１５１５及びアドレス１５１６で構成される。

このオブジェクト情報１５１０は、ディスプレイ２００に表示されるオブジェクトを管理するものである。

オブジェクトＩＤ１５１１は、ディスプレイ２００に表示されるオブジェクトの識別子である。例えば、本図では、「ＩＤ１」、「ＩＤ２」、「ＩＤ３」のそれぞれのオブジェクトＩＤが付与されたオブジェクトが３つ表示される。

言い換えれば、これらのオブジェクトＩＤが付与されているオブジェクトが、グラフィックスフレーム記憶部２２００に記憶されている。

属性１５１２は、オブジェクトの属性を示し、「グラフィック」又は「ビデオ」が記載される。「グラフィック」は、グラフィックスオブジェクトであることを示し、「ビデオ」は、ビデオオブジェクトであることを示す。

本図では、「：」以下はコメントであるものとする。例えば、「グラフィック：文字列」は、文字列で構成されたグラフィックスオブジェクトであることを示す。また、「ビデオ：ＭＰＥＧ４」は、ＭＰＥＧ−４規格で符号化されているビデオ画像に対応するビデオオブジェクトであることを示す。

次に、始点１５１３は、表示画面上での、オブジェクトの左上の位置を表し、サイズ１５１４は、オブジェクトの縦と横の大きさを表す。

また、スタック１５１５は、合成するときの重ね合わせる順番を示し、降順に上に重ねて表示される。従って、本図では、一番上に表示されるオブジェクトは、スタック１５１５が「１」となっているオブジェクトＩＤ１５１１が「ＩＤ３」のオブジェクトである。

アドレス１５１６は、オブジェクトの画像データの取得先を示し、本実施形態では、各記憶部のアドレスを示すものとする。例えば、オブジェクトＩＤ１５１１が「ＩＤ１」のオブジェクトは、属性１５１２が「グラフィック」であるので、このオブジェクトの画像データは、グラフィックスデータ記憶部２０００に記憶されており、アドレス１５１６が「ａｄｄｒ１」で示される場所に記憶されている。また、オブジェクトＩＤ１５１１が「ＩＤ３」のオブジェクトは、属性１５１２が「ビデオ」であるので、このオブジェクトの画像データは、デコード画像記憶部１２００に記憶されており、アドレス１５１６が「ａｄｄｒ３」で示される場所に記憶されている。このアドレスは、最新のデコード画像が記憶されているアドレスを指すアドレスとする。

ここで、図６を用いて、グラフィックス画像と、各オブジェクトの始点１５１３、サイズ１５１４及びスタック１５１５との関係を説明する。

図６は、表示画面とオブジェクトの関係の具体例を示す図であり、表示画面５００は、２つのグラフィックスオブジェクト（５１０、５２０）と、１つのビデオオブジェクト５３０から成る。

オブジェクト５１０は、オブジェクトＩＤ１５１１が「ＩＤ１」で示されるオブジェクトを表し、オブジェクト５２０とオブジェクト５３０とは、それぞれ、「ＩＤ２」と「ＩＤ３」で示されるオブジェクトを表す。

各オブジェクトの始点１５１３は、表示画面５００に示された座標系における座標で示され、この座標系によって各オブジェクトが合成部１８００で合成される。

まず、グラフィックスオブジェクトが複数ある場合は、スタックの値が大きい順に生成する。

例えば、図５（ａ）のオブジェクト情報１５１０で管理されるオブジェクトの場合、生成する順は、スタック１５１５が「３」のグラフィックオブジェクト５２０の画像を生成し、その上に、スタック１５１５が「２」のグラフィックオブジェクト５１０を重ね、更に、その上にスタック１５１５が「１」のグラフィックオブジェクト５３０を重ねて作成してグラフィックス画像を生成し、グラフィックスフレーム記憶部２２００に記憶する。

合成部１８００は、ビデオフレーム記憶部１４００に記憶されている画像の上に、グラフィックスフレーム記憶部２２００に生成したグラフィックス画像を重ねて合成し、表示する。本図のビデオオブジェクト５３０は、疑似ビデオ画像であるので合成して表示した場合は、ビデオフレーム記憶部１４００に記憶されているビデオ画像は表示されないが、ビデオオブジェクト５３０を透明色で生成した場合には、合成して表示した画面にはビデオフレーム記憶部１４００に記憶されているビデオ画像が表示される。

尚、本実施形態では、同時に表示できるビデオオブジェクトは、１つであるとする。

次に、図５（ｂ）のビデオ画像配置情報１５２０を説明する。

ビデオ画像配置情報１５２０は、ディスプレイに表示されているビデオ画像とその疑似ビデオ画像との配置情報を管理するものであり、ビデオ画像毎に記憶される。従って、複数のビデオ画像が表示されている場合は、その数分のビデオ画像配置情報１５２０が記憶される。尚、本実施形態では、表示されているビデオ画像は１つとする。

ビデオ画像配置情報１５２０は、画像種別１５２１、始点１５２２、サイズ１５２３及びオブジェクトＩＤ１５２４で構成される。

画像種別１５２１は、ビデオ画像の種別を示し、本実施形態では、「ビデオ画像」と「疑似ビデオ画像」の２つであるとする。

「ビデオ画像」とは、ビデオフレーム記憶部１４００に記憶されているビデオ画像をいい、「疑似ビデオ画像」とは、グラフィックスフレーム記憶部２２００に記憶されている疑似ビデオ画像をいう。

始点１５２２は、画像の左上の位置を表し、サイズ１５２３は、画像の縦と横の大きさを示す。従って、「ビデオ画像」の始点１５２２とサイズ１５２３とには、現在表示されているビデオ画像のサイズ等か記憶されており、サイズの変更や位置の変更の指示を受けて変更が完了したときに、更新される。また、「疑似ビデオ画像」の始点１５２２とサイズ１５２３とには、表示される疑似ビデオ画像のサイズ等が記憶される。

オブジェクトＩＤ１５２４は、オブジェクトを特定する識別子であり、ビデオ画像とその疑似ビデオ画像とは、同じ識別子が付与されているものとする。

次に図５（ｃ）の変更指示情報２３１０を説明する。

変更指示情報２３１０は、時間２３１１、始点２３１２、サイズ２３１３及びオブジェクトＩＤ２３１４で構成される。

時間２３１１は、ビデオ画像の変更処理が終了するまでのおおよその時間を表す。本実施形態ではフレーム数とする。時間２３１１では、疑似ビデオ画像を表示する時間が指定できればよく、秒数などで表してもよい。

始点２３１２及びサイズ２３１３は、最終的なビデオ画像の位置とサイズを示し、それぞれ、ビデオ画像配置情報１５２０の始点１５２２及びサイズ１５２３と同様である。

例えば、時間２３１１が「３」の場合は、３フレーム後に、疑似ビデオ画像の位置とサイズが、始点が始点２３１２で示される「(x20,y20)」で、サイズがサイズ２３１３で示される「(h20,w20)」となっていればよいことになる。

また、オブジェクトＩＤ２３１４は、変更対象のオブジェクトを特定する識別子である。

＜動作＞
以下、本発明に係る表示装置１００の動作について図７と図８とを用いて説明する。

図７は、ビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。

本図において、実線の矩形は、左端に記載した機能部が、処理を行っている時間を表し、点線の矩形は、各記憶部（１２００、１４００、２２００）に記憶されている、又は、生成中の画像データを示す。また、実線矢印は、画像データの送信を示し、点線矢印は、指示や通知を示すものとする。図１１と図１５も同様である。尚、本図では、説明の便宜上、スケール処理（処理４２０）と描画（処理４２１）とを分けて記載しているが、内容的には１つの処理である。

ここでは、表示制御部１５００が、ビデオ画像を拡大する旨の指示をアプリケーション処理部２３００から受けた後の処理のタイミングについて説明する。

表示制御部１５００は、ビデオ画像の拡大指示を受けた際に渡された変更指示情報２３１０と指示を受けた時刻とから、疑似ビデオ画像の位置とサイズを計算する（処理４００）。ここでは、疑似ビデオ画像のサイズは徐々に大きくするとし、最初は、現在のビデオ画像と同じ位置とサイズとする。

表示制御部１５００は、まず、グラフィック生成部２１００に指示し、背景等のグラフィックス画像をグラフィックスフレーム記憶部２２００に描画させる。その後、ビデオ表示制御部１６００を介して、疑似ビデオ生成部１７００に疑似ビデオ画像をグラフィックスフレーム記憶部２２００に描画させる（処理４０１）（画像データ４１０参照）。疑似ビデオ画像は、デコード画像記憶部１２００に記憶されている最新のデコード画像を基に生成する。

この描画により、グラフィックス画像と疑似ビデオ画像とが表示された表示画面となる（図４：表示画面３参照）。

表示制御部１５００は、疑似ビデオ生成部１７００に疑似ビデオ画像の生成を指示したら、次に、ビデオ画像のスケール処理をスケール部１３００に指示する（処理４０２）。

スケール部がスケール処理を行っている間（処理４２０）、表示制御部１５００は、次に表示する疑似ビデオ画像のサイズ等を計算し、ビデオ表示制御部１６００を介して、疑似ビデオ生成部１７００に計算したサイズの疑似ビデオ画像を描画させる（処理４０３）。

この描画で、すこし大きなサイズの疑似ビデオ画像が表示された表示画面となる（図４：表示画面４参照）。

スケール部１３００は、スケール処理（処理４２０）が終わり、最終的な位置とサイズのビデオ画像をビデオフレーム記憶部１４００に描画したら（処理４２１、画像データ４３０参照）、ビデオ表示制御部１６００に変更完了の通知を行う（通知４２２）。

ビデオ画像の変更が完了した通知を受けたビデオ表示制御部１６００は、疑似ビデオ生成部１７００に指示して、ビデオ画像の領域を透明にする（処理４０５）。その後、ビデオ表示制御部１６００は、表示制御部１５００に、変更の完了を通知する。

この時点で、ビデオ画像とグラフィックス画像とが表示された表示画面となる（図４：表示画面５参照）。

表示制御部１５００は、変更の完了通知を受けるか、疑似ビデオ画像が最終的なビデオ画像の位置とサイズになるまで、ビデオ表示制御部１６００を介して、徐々に拡大した疑似ビデオ画像を描画する（処理４０４）。

次に、図８は、表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。

ここで説明する表示制御処理は、表示制御部１５００とビデオ表示制御部１６００と疑似ビデオ生成部１７００とが行う処理であり、変更処理はスケール部１３００が行う処理である。

ユーザは、ディスプレイ２００に録画番組一覧を表示させ、録画番組の１つを選択して、録画番組一覧に重なった小さな画面で再生しているものとする（図２等参照）。

まず、ユーザがビデオ画像を拡大する操作を行い、操作を検知したアプリケーション処理部２３００が、表示制御部１５００にビデオ画像の拡大を指示する。この際、変更指示情報２３１０を渡す。変更の対象はビデオ画像なので、オブジェクト情報１５１０の属性１５１２が「ビデオ」であるオブジェクトＩＤ１５１１が指定される。例えば、変更指示情報２３１０のオブジェクトＩＤ２３１４には、「ID3」が入っている。

ビデオ画像を拡大する指示を取得した表示制御部１５００は（ステップＳ１００）、表示する疑似ビデオ画像の位置とサイズとを算出し、算出した位置とサイズとを、オブジェクトＩＤ１５２４が変更指示情報２３１０のオブジェクトＩＤ２３１４と同じであるビデオ画像配置情報１５２０に記憶する（ステップＳ１１０）。

この擬似ビデオサイズの算出は、現在表示されているビデオ画像のサイズ等と、指定されたビデオ画像のサイズ等とを用いて算出する。現在表示されているビデオ画像のサイズ等とは、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」の始点１５２２とサイズ１５２３とであり、指定されたビデオ画像のサイズ等とは、受け取った変更指示情報２３１０の始点２３１２とサイズ２３１３である。

例えば、現在（時刻T１）のビデオ画像が、位置１５２２（x4, y4）、サイズ１５２３（w4,h4）であり、指示されたビデオ画像が、位置２３１２（x20、y20）、サイズ２３１３（w20,h20）とする。ビデオ画像が拡大指示を受けた時点から時間とともに線形的に大きくなる場合、時刻tとともに疑似ビデオ画像の位置（x, y）、サイズ(w, h)は以下のように変化する。指定された時間２３１１が「３」フレームとする。尚、疑似ビデオ画像は線形的に変化させる必要はなく、どのような関数で定義してもよい。

x(t) = x4+(x20-x4)*(t-T1)/3
y(t) = y4+(y20-y4)*(t-T1)/3
w(t) = w4+(w20-w4)*(t-T1)/3
h(t) = h4+(h20-h4)*(t-T1)/3
疑似ビデオ画像の位置とサイズとを算出した表示制御部１５００は、その後、オブジェクト情報１５１０のスタック１５１５に応じて、グラフィックス画像の生成を行う。

まず、スタック１５１５の値が最も大きな値のオブジェクトを生成する。

その際、そのオブジェクトの属性１５１２が「グラフィック」の場合（ステップＳ１１５：グラフィック）には、表示制御部１５００は、グラフィック生成部２１００に依頼し、グラフィックスオブジェクトを生成する（ステップＳ１２０）。

具体的には、依頼するオブジェクトの始点１５１３とサイズ１５１４とアドレス１５１６とをグラフィック生成部２１００に渡し、画像の生成を依頼する。依頼を受けたグラフィック生成部２１００は、アドレス１５１６から画像データを読出して画像をグラフィックスフレーム記憶部２２００に生成する。

また、オブジェクトの属性１５１２が「ビデオ」の場合（ステップＳ１１５：ビデオ）には、表示制御部１５００は、ビデオ表示制御部１６００に依頼し、疑似ビデオ画像であるビデオオブジェクトを生成する（ステップＳ１３０）。

具体的には、表示制御部１５００は、算出した疑似ビデオ画像の位置とサイズと、変更指示情報２３１０のオブジェクトＩＤ２３１４に該当するアドレス１５１６とをビデオ表示制御部１６００に渡し、画像の生成を依頼する。例えば、ビデオ画像配置情報１５２０の画像種別１５２１が「疑似ビデオ画像」の始点１５２２「（x10、y10）」とサイズ１５２３「（w10,h10）」と、オブジェクトＩＤ１５１１が「ID3」のアドレス１５１６「addr3」を渡す。

ビデオ表示制御部１６００は、デコード画像記憶部１２００からデコード画像のサイズを取得し、取得したサイズと表示制御部１５００から受け取った始点等の情報とを疑似ビデオ生成部１７００に渡して、疑似ビデオ画像を生成するよう依頼する。

依頼を受けた疑似ビデオ生成部１７００は、受け取ったアドレス１５１６をもとに、デコード画像記憶部１２００から読み込んだ画像データから、疑似ビデオ画像をグラフィックスフレーム記憶部２２００に生成する。

オブジェクトの生成を依頼したビデオ表示制御部１６００は、スケール部にビデオ画像のスケール処理を指示していない場合（ステップＳ１４０：ＮＯ）は、指示されたサイズ等に変更する処理を依頼する（ステップＳ１５０）。具体的には、変更指示情報２３１０の始点２３１２とサイズ２３１３とで、オブジェクト情報１５１０のオブジェクトＩＤ１５１１が「ＩＤ３」の始点１５１３とサイズ１５１４とを更新して、オブジェクトＩＤ１５１１が「ＩＤ３」の情報（１５１２〜１５１６）を渡す（ステップＳ１５１）。尚、本実施形態では、ビデオ画像は１つとしており、疑似ビデオ画像は１つであるが、複数ある場合は、疑似ビデオ画像毎に、スケール処理の指示をするか否かを判断することになる。

まだ表示していないオブジェクトがある場合（ステップＳ１５５：ＮＯ）は、次のオブジェクト、すなわち、スタック１５１５の値が次に小さいオブジェクトの生成を開始する（ステップＳ１１５）。

例えば、図５（ａ）のオブジェクト情報１５１０の場合は、まず、オブジェクトＩＤ１５１１が「ＩＤ２」のグラフィックスオブジェクトの番組一覧の画像を生成し、次に、オブジェクトＩＤ１５１１が「ＩＤ１」のグラフィックスオブジェクトの文字列の画像を生成する。その後、オブジェクトＩＤ１５１１が「ＩＤ３」のビデオオブジェクトの疑似ビデオ画像を生成する。

全てのオブジェクトの生成が終了（ステップＳ１５５：ＹＥＳ）しても、スケール部１３００からのスケール処理の完了通知を受けていない場合（ステップＳ１６０：ＮＯ）には、ビデオ表示制御部１６００は、表示制御部１５００にスケール処理が完了していない旨を通知する。

スケール処理が完了していない旨の通知を受けた表示制御部１５００は、次に表示するための疑似ビデオ画像の位置とサイズを算出し（ステップＳ１１０）、ステップＳ１６０までの処理を繰り返す。但し、既にスケール部１３００のスケール処理の依頼をしていることから（ステップＳ１４０：ＹＥＳ）、ステップＳ１５０の処理は行わないことになる。

スケール部１３００からのスケール処理の完了通知を受けていた場合（ステップＳ１６０：ＹＥＳ）には、ビデオ表示制御部１６００は、その旨を、表示制御部１５００に通知する。但し、この場合、擬似ビデオ画像を段階的に大きくしていく場合は、擬似ビデオ画像の位置とサイズとが指定された位置とサイズとなっていなくても、スケール処理が終了した時に、表示制御部１５００に通知されることになる。尚、擬似ビデオ画像を段階的に大きくしていく場合は、指定された位置とサイズの擬似ビデオ画像が表示され、且つ、スケール処理の完了通知を受けた場合に、ビデオ表示制御部１６００は、スケール処理が完了した旨を、表示制御部１５００に通知することとしてもよい。

また、ビデオ表示制御部１６００は、疑似ビデオ生成部１７００に、ビデオ画像に対応する部分を透明色にするよう依頼する。具体的には、ビデオ表示制御部１６００がスケール部１３００にスケール処理を依頼したとき（ステップＳ１５０参照）の位置とサイズとを疑似ビデオ生成部１７００に渡して依頼する。

透明にするよう依頼を受けた疑似ビデオ生成部１７００は、グラフィックスフレーム記憶部２２００に記憶されている画像のうち、受け取った始点１５１３とサイズ１５１４で現される矩形部分を透明にする（ステップＳ１７０）。

スケール処理が完了していることを通知された表示制御部１５００は、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」の始点１５２２とサイズ１５２３とを、変更指示情報２３１０の始点２３１２とサイズ２３１３とで更新し、ビデオ画像の変更処理を終了する。

一方、スケール処理を依頼されたスケール部１３００は、オブジェクト情報１５１０のオブジェクトＩＤ１５１１が「ＩＤ３」の情報、すなわち、始点１５１３とサイズ１５１４とアドレス１５１６とを取得し（ステップＳ２００）、デコード画像記憶部１２００からアドレス１５１６をもとに最新のデコード画像を読み込んでスケール処理を行い（ステップＳ２１０）、受け取った始点１５１３とサイズ１５１４のビデオ画像を生成する（ステップＳ２２０）。

スケール部１３００は、依頼された位置とサイズのビデオ画像をビデオフレーム記憶部１４００に生成したら、スケール処理の完了通知をビデオ表示制御部１６００に送信する（ステップＳ２３０、ステップＳ２３１）。

図５（ａ）のオブジェクト情報１５１０では、ビデオオブジェクトが最も上に生成されることになるが、その上にグラフィックスオブジェクトが生成されてもよく、この場合は、このグラフィックスオブジェクトのスタック１５１５の値は、ビデオオブジェクトのスタック１５１５の値より小さな値となる。同様に、疑似ビデオ画像が複数ある場合は、ビデオオブジェクトが重なってもよい。

尚、本実施形態では、オブジェクト情報１５１０で管理されているオブジェクトの全てを、疑似ビデオのサイズ等を変更する（ステップＳ１１０参照）毎に表示することとしているが、疑似ビデオのサイズ等の変更により露出してしまうオブジェクト、すなわち、本来表示されるべき画像が欠けてしまうオブジェクトのみを、グラフィックスデータ記憶部２０００から読み出して生成することとしてもよい。

例えば、図５（ａ）のオブジェクト情報１５１０の場合、オブジェクトＩＤ１５１１が「ＩＤ３」の疑似ビデオ画像が、現在表示されている疑似ビデオ画像より小さく表示される場合は、疑似ビデオ画像より下に表示されるオブジェクトが欠けるか否かを判断する。このオブジェクトのスタック１５１５が「１」なので、スタックが「２」と「３」のオブジェクトの始点１５１３とサイズ１５１４とから、各オブジェクトが欠けるか否かを判断し、欠けてしまうと判断したオブジェクトを表示する。
＜実施形態２＞
＜概要＞
実施形態１では、疑似ビデオ画像は、動画像のストリームデータを復号したデコード画像を基に生成していたが、本実施形態では、ビデオフレーム記憶部１４００に記憶されているビデオ画像を基に生成する点が異なる。

実施形態１では、疑似ビデオ画像はデコード画像を拡大・縮小して生成するが、この際、疑似ビデオ画像のサイズとデコード画像のサイズとの差が大きい場合には、デコード画像の読み込みに時間がかかる場合がある。また、拡大・縮小フィルタの次数が小さい場合には、画像の劣化を防止するために複数回に分けて拡大・縮小する場合があり、この場合には疑似ビデオ画像を生成するのに時間がかかる場合が生じ得る。

そこで、本実施形態では、サイズがより近いビデオ画像を基に、疑似ビデオ画像を生成するものである。

＜構成＞
図９は、本実施形態に係る表示装置７００の構成を示す機能ブロック図である。

表示装置７００は、デコード部１１００、デコード画像記憶部１２００、スケール部１３００、ビデオフレーム記憶部１４００、表示制御部７５００、ビデオ表示制御部１６００、疑似ビデオ生成部７７００、合成部１８００、グラフィックスデータ記憶部２０００、グラフィックス生成部２１００、グラフィックスフレーム記憶部２２００及びアプリケーション処理部２３００とで構成される。

表示装置７００は、実施形態１に係る表示装置１００（図１参照）の構成とほぼ同じであり、異なる機能部は、表示制御部７５００と疑似ビデオ生成部７７００のみである。他の機能部は、表示装置１００の同じ符号の付いた機能部と同様である。

表示制御部７５００は、実施形態１では、ビデオ表示制御部１６００に画像の生成を依頼する際に、疑似ビデオ画像の基となるデコード画像のアドレスを渡すが、本実施形態では、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」の始点１５２２とサイズ１５２３を渡す点が異なる。すなわち、ビデオフレームにおけるビデオ画像の位置と大きさを渡す。

また、疑似ビデオ生成部７７００は、実施形態１の疑似ビデオ生成部１７００がデコード画像記憶部１２００から基となる画像データを読み出したのに対し、本実施形態では、ビデオフレーム記憶部１４００から基となる画像データを読み出す点が異なる。

＜データ＞
表示装置７００で用いる主なデータについては、実施形態１の表示装置１００が用いる図５に示すデータと同じである。

＜動作＞
図１０は、本実施形態の、ビデオ画像が拡大される場合を示す図である。

図４で示した実施形態１の場合と、疑似ビデオ画像を生成して表示する点は同じであるが、実施形態１では、疑似ビデオ画像３２０はデコード画像から生成されているが、疑似ビデオ画像７１０はビデオ画像から生成されている点が異なる。実施形態１と同様に、拡大されたビデオ画像７１１が生成されたときに、グラフィックス画像に透明領域７１２を生成してビデオ画像が表示される。尚、本図では、疑似ビデオ画像は、右斜線が引かれている。

以下、本発明に係る表示装置７００の動作について図１１と図１２とを用いて説明する。

図１１は、ビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。

本タイミングチャートは、実施形態１のタイミングチャート（図７参照）とほほ同じであり、異なる点は、疑似ビデオ生成部７７００がビデオフレーム記憶部１４００から画像データを読み出している点である（画像データの送信７２０）。

次に、図１２は、表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。

本フローチャートは、実施形態１のフローチャート（図８参照）とほほ同じであり、異なる点は、ステップＳ７００において、疑似ビデオ生成部７７００がビデオフレーム記憶部１４００から画像データを読み出している点のみである。

以下、図８の実施形態１のフローチャートと異なる点を中心に、表示制御部７５００とビデオ表示制御部１６００と疑似ビデオ生成部１７００とが行う表示制御処理と、スケール部１３００が行う変更処理とを説明する。

ユーザがビデオ画像を拡大する操作を行い、操作を検知したアプリケーション処理部２３００が、表示制御部７５００にビデオ画像の拡大を指示し、ビデオ画像を拡大する指示を取得した表示制御部７５００は（ステップＳ１００）、表示する疑似ビデオ画像の位置とサイズとを算出する（ステップＳ１１０）。

疑似ビデオ画像の位置とサイズとを算出した表示制御部７５００は、その後、オブジェクト情報１５１０の種別１５１２とスタック１５１５に応じて、全てのオブジェクトを生成する（ステップS１１５〜ステップＳ１５５）。

グラフィックス画像を生成する場合（ステップＳ１１５：グラフィック）、表示制御部７５００は、グラフィック生成部２１００に依頼し、グラフィックスオブジェクトを生成する（ステップＳ１２０）。

また、疑似ビデオ画像を生成する場合（ステップＳ１１５：ビデオ）、表示制御部７５００は、算出した疑似ビデオ画像の位置とサイズと、ビデオ画像の始点とサイズとをビデオ表示制御部１６００に渡し、画像の生成を依頼する。ビデオ画像の始点とサイズとは、具体的には、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」の始点１５２２とサイズ１５２３である。

ビデオ表示制御部１６００は、表示制御部７５００から受け取った始点等の情報とを疑似ビデオ生成部７７００に渡して、ビデオフレーム記憶部１４００から疑似ビデオ画像の基となる画像を読み出して疑似ビデオ画像を生成するよう依頼する。

依頼を受けた疑似ビデオ生成部７７００は、ビデオフレーム記憶部１４００からビデオ画像を読み出し、読み出したビデオ画像から疑似ビデオ画像をグラフィックスフレーム記憶部２２００に生成する（ステップＳ７００）。

オブジェクトの生成を依頼したビデオ表示制御部１６００は、スケール部にビデオ画像のスケール処理を指示していない場合（ステップＳ１４０：ＮＯ）は、指示されたサイズ等に変更する処理を依頼する（ステップＳ１５０）。

まだ表示していないオブジェクトがある場合（ステップＳ１５５：ＮＯ）は、次のオブジェクト、すなわち、スタック１５１５の値が次に小さいオブジェクトの生成を開始する（ステップＳ１１５）。

全てのオブジェクトの生成が終了（ステップＳ１５５：ＹＥＳ）しても、スケール部１３００からのスケール処理の完了通知を受けていない場合（ステップＳ１６０：ＮＯ）には、ビデオ表示制御部１６００は、表示制御部７５００にスケール処理が完了していない旨を通知し、通知を受けた表示制御部７５００は、次に表示するための疑似ビデオ画像の位置とサイズを算出し（ステップＳ１１０）、ステップＳ１６０までの処理を繰り返す。

スケール部１３００からのスケール処理の完了通知を受けていた場合（ステップＳ１６０：ＹＥＳ）、ビデオ表示制御部１６００は、その旨を、表示制御部７５００に通知し、疑似ビデオ生成部７７００に、ビデオ画像に対応する部分を透明色にするよう依頼する。

依頼を受けた疑似ビデオ生成部７７００は、該当部分を透明にし（ステップＳ１７０）、スケール処理が完了していることを通知された表示制御部７５００は、ビデオ画像の変更処理を終了する。

一方、スケール処理を依頼されたスケール部１３００は、位置とサイズとアドレスとを取得し（ステップＳ２００）、デコード画像記憶部１２００からアドレス１５１６に記憶されているデコード画像を読み込んでスケール処理を行い（ステップＳ２１０）、ビデオ画像を生成する（ステップＳ２２０）。スケール部１３００は、ビデオ画像を生成したら、スケール処理の完了通知をビデオ表示制御分１６００に送信する（ステップＳ２３０、ステップＳ２３１）。
＜実施形態３＞
＜概要＞
実施形態１は、疑似ビデオ画像は、動画像のストリームデータを復号したデコード画像を基に生成し、実施形態２では、ビデオフレーム記憶部１４００に記憶されているビデオ画像を基に生成していたが、本実施形態では、デコード画像かビデオ画像かを選択して、選択した画像を基に生成する点が異なる。

本実施形態では、画像データの読み込みにかかる時間や、縮小処理の時間がより短くなるように、デコード画像とビデオ画像のうち、サイズが疑似ビデオ画像により近いほうの画像を基に、疑似ビデオ画像を生成するものである。

例えば、デコード画像のサイズがビデオデータによって異なる場合には、デコード画像のサイズに応じて基となる画像を選択できるので、疑似ビデオ画像の生成時間を短縮できるという効果がある。

＜構成＞
図１３は、本実施形態に係る表示装置８００の構成を示す機能ブロック図である。

表示装置８００は、デコード部１１００、デコード画像記憶部１２００、スケール部１３００、ビデオフレーム記憶部１４００、表示制御部８５００、ビデオ表示制御部１６００、疑似ビデオ生成部８７００、画像選択部８７１０、合成部１８００、グラフィックスデータ記憶部２０００、グラフィックス生成部２１００、グラフィックスフレーム記憶部２２００及びアプリケーション処理部２３００とで構成される。

表示装置８００は、実施形態１に係る表示装置１００（図１参照）の構成とほぼ同じであり、異なる機能部は、表示制御部８５００、疑似ビデオ生成部８７００、画像選択部８７１０である。他の機能部は、表示装置１００の同じ符号の付いた機能部と同様である。

表示制御部８５００は、実施形態１の表示制御部１５００の有する機能に加え、拡大指示をアプリケーション処理部２３００から受けた際に、画像選択部８７１０に、現在のビデオ画像のサイズを通知する機能を有する。具体的には、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」のサイズ１５２３を通知する。

また、疑似ビデオ生成部８７００は、実施形態１の疑似ビデオ生成部１７００がデコード画像記憶部１２００から基となる画像データを読み出したのに対し、本実施形態では、画像選択部８７１０に疑似ビデオ画像のサイズを渡して、画像データを受け取る点が異なる。

画像選択部８７１０は、疑似ビデオ生成部８７００から疑似ビデオ画像のサイズを受け取り、現在のビデオ画像のサイズとデコード画像のサイズとから、サイズが近いほうの画像を選択する。現在のビデオ画像のサイズは、表示制御部８５００から通知され、デコード画像のサイズは、疑似ビデオ生成部８７００から疑似ビデオ画像のサイズと供に受け取るものである。

画像選択部８７１０は、選択した方の画像データを読み出し、疑似ビデオ生成部８７００に渡す機能を有する。

＜データ＞
表示装置７００で用いる主なデータについては、実施形態１の表示装置１００が用いる図５に示すデータと同じである。

＜動作＞
図１４は、本実施形態の、ビデオ画像が拡大される場合を示す図である。

本図では、デコード画像から生成した疑似ビデオ画像には横斜線が引かれており、ビデオ画像から生成した疑似ビデオ画像には右斜線が引かれている。

すなわち、疑似ビデオ画像８１０は、ビデオ画像から生成され、疑似ビデオ画像８１１は、デコード画像から生成されている。

以下、本発明に係る表示装置８００の動作について図１５〜図１７とを用いて説明する。

図１５は、ビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。

本タイミングチャートは、実施形態１のタイミングチャート（図７参照）とほほ同じであり、異なる点は、疑似ビデオ生成部８７００がデコード画像記憶部１２００又はビデオフレーム記憶部１４００から画像データを読み出している点である（画像データの送信８２０、８２１）。

次に、図１６は、表示装置８００の表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートであり、図１７は、疑似ビデオ生成処理を表すフローチャートである。

図１６のフローチャートは、実施形態１のフローチャート（図８参照）とほほ同じであり、異なる点は、ステップＳ８００において、表示制御部８５００が、画像選択部８７１０に、現在のビデオ画像のサイズを通知する点と、ステップＳ８１０で、画像選択部８７００が疑似ビデオ画像の基となる画像を選択して、選択した画像から疑似ビデオ画像を生成する点である。ステップＳ８１０の処理は、図１７を用いて、後で説明する。

以下、図８の実施形態１のフローチャートと異なる点を中心に、図１６を用いて、表示制御部８５００とビデオ表示制御部１６００と疑似ビデオ生成部８７００とが行う表示処理と、スケール部１３００が行う変更処理とを説明する。

ユーザがビデオ画像を拡大する操作を行い、操作を検知したアプリケーション処理部２３００が、表示制御部８５００にビデオ画像の拡大を指示し、ビデオ画像を拡大する指示を取得した表示制御部８５００は（ステップＳ１００）、表示する疑似ビデオ画像の位置とサイズとを算出する（ステップＳ１１０）。

また、表示制御部８５００は、画像選択部８７１０に、現在のビデオ画像のサイズを通知する（ステップＳ８００）。通知を受けた画像選択部８７１０は、内部のメモリに現在のビデオ画像のサイズを記憶する。

疑似ビデオ画像の位置とサイズとを算出した表示制御部８５００は、その後、オブジェクト情報１５１０の種別１５１２とスタック１５１５に応じて、全てのオブジェクトを生成する（ステップS １１５〜ステップＳ１５５）。

グラフィックス画像を生成する場合（ステップＳ１１５：グラフィック）、表示制御部８５００は、グラフィック生成部２１００に依頼し、グラフィックスオブジェクトを生成する（ステップＳ１２０）。

また、疑似ビデオ画像を生成する場合（ステップＳ１１５：ビデオ）、表示制御部８５００は、表示制御部８５００は、算出した疑似ビデオ画像の位置とサイズとデコード画像のアドレスとをビデオ表示制御部１６００に渡し、画像の生成を依頼する。ビデオ表示制御部１６００は、デコード画像記憶部１２００からデコード画像のサイズを取得し、取得したサイズと表示制御部８５００から受け取った始点等の疑似ビデオの情報とを疑似ビデオ生成部８７００に渡して、疑似ビデオ画像を生成するよう依頼する。

依頼を受けた疑似ビデオ生成部８７００は、疑似ビデオ画像をグラフィックスフレーム記憶部２２００に生成する。

オブジェクトの生成を依頼したビデオ表示制御部１６００は、スケール部にビデオ画像のスケール処理を指示していない場合（ステップＳ１４０：ＮＯ）は、指示されたサイズ等に変更する処理を依頼する（ステップＳ１５０）。

まだ表示していないオブジェクトがある場合（ステップＳ１５５：ＮＯ）には、次のオブジェクト、すなわち、スタック１５１５の値が次に小さいオブジェクトの生成を開始する（ステップＳ１１５）。

全てのオブジェクトの生成が終了し（ステップＳ１５５：ＹＥＳ）、スケール部１３００からのスケール処理の完了通知を受けていない場合（ステップＳ１６０：ＮＯ）には、ビデオ表示制御部１６００は、表示制御部８５００にスケール処理が完了していない旨を通知し、スケール処理が完了していない旨の通知を受けた表示制御部８５００は、次に表示するための疑似ビデオ画像の位置とサイズを算出し（ステップＳ１１０）、ステップＳ１６０までの処理を繰り返す。

スケール部１３００からのスケール処理の完了通知を受けていた場合（ステップＳ１６０：ＹＥＳ）、ビデオ表示制御部１６００は、その旨を、表示制御部８５００に通知し、疑似ビデオ生成部８７００に、ビデオ画像に対応する部分を透明色にするよう依頼する。

依頼を受けた疑似ビデオ生成部８７００は、該当部分を透明にし（ステップＳ１７０）、スケール処理が完了していることを通知された表示制御部８５００は、ビデオ画像の変更処理を終了する。

一方、スケール処理を依頼されたスケール部１３００は、位置とサイズとアドレスとを取得し（ステップＳ２００）、デコード画像記憶部１２００からアドレス１５１６に記憶されているデコード画像を読み込んでスケール処理を行い（ステップＳ２１０）、ビデオ画像を生成する（ステップＳ２２０）。スケール部１３００は、ビデオ画像を生成したら、スケール処理の完了通知をビデオ表示制御分１６００に送信する（ステップＳ２３０、ステップＳ２３１）。

次に、図１７を用いて、表示装置８００の疑似ビデオ生成（ステップＳ８１０）の処理を説明する。

依頼を受けた疑似ビデオ生成部８７００は、ビデオ表示制御部１６００から受け取ったデコード画像のサイズ及びアドレスと、疑似ビデオ画像のサイズとを画像選択部８７１０に渡し、画像データの読み込みを依頼する。

依頼を受けた画像選択部８７１０は（ステップＳ８５０）、表示制御部８５００から通知された現在のビデオ画像のサイズと、疑似ビデオ生成部８７００から受け取ったデコード画像のサイズとから、疑似ビデオ画像に近いサイズの画像を判定する（ステップＳ８６０）。

デコード画像の方が近いと判断した場合は（ステップＳ８６０：デコード画像）、デコード画像記憶部１２００からデコード画像を読み込み、疑似ビデオ生成部８７００に返す。

また、ビデオ画像の方が近いと判断した場合は（ステップＳ８６０：ビデオ画像）、ビデオフレーム記憶部からビデオ画像を読み込み、疑似ビデオ生成部８７００に返す。

画像選択部８７１０から画像データを受け取った疑似ビデオ生成部８７００は、受け取った画像から疑似ビデオ画像を生成する（ステップＳ８９０）。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）実施形態では、スケール部１３００からのスケール処理の完了通知を受信したら、グラフィックス画像の一部を透明色としているが、一定時間が経過したら透明色とすることとしてもよい。この場合、スケール処理の時間よりも長く設定しておく必要がある。
（２）実施形態では、ビデオ画像を拡大する例を説明したが、ビデオ画像を縮小したり、移動したりする場合であってももちろんよい。例えば、縮小する場合は、背景等のグラフィックス画像を描画し、段階的に小さくなるビデオ画像を生成して表示する。
（３）実施形態では、疑似ビデオ画像は、ビデオ画像と同様の内容の画像、すなわち、ビデオ画像そのものやビデオ画像の基であるデコード画像から生成した画像としているが、ビデオ画像に表示される画像を変形した画像であっても、また、まったく違う内容の画像であってもよい。

また、矩形以外の形状であってもよく、例えば、円や楕円等であってもよい。

例えば、疑似ビデオ画像を表示する際に、３次元グラフィックス技術を使用して、画像の矩形領域を回転させて表示したり等、様々な表示効果を付加した画像を擬似ビデオ画像として表示するなどである。
（４）実施形態では、ビデオ画像を生成するのに用いられる拡大・縮小フィルタの方が、疑似ビデオ画像を生成するのに用いられる拡大・縮小フィルタよりも高次のフィルタであるとしているが、同じ特性のフィルタであってもよい。

同じ特性のフィルタの場合は、例えば、ビデオフレーム記憶部１４００に記憶する画像の解像度よりも、グラフィックスフレーム記憶部２２００に記憶する画像の解像度の方が低い必要がある。すなわち、解像度が低い分、処理時間が短くて済むからであり、ビデオ画像を拡大・縮小している間に、疑似ビデオ画像を生成することが可能となるからである。

また、グラフィックスフレーム記憶部２２００に記憶する画像の解像度の方が低い場合は、グラフィックス画像を拡大してビデオ画像と合成して表示することとなる。この場合、疑似ビデオ画像からビデオ画像に切り替わったとき、すなわち、グラフィックス画像の一部が透明となりビデオ画像が表示されたときには、解像度の差が目立ってしまう場合がある。解像度の差が目立つ場合には、グラフィックス画像のビデオ画像部分の透明度を徐々に上げることで、目立たなくすることとしてもよい。この場合、ビデオ画像が描画中である場合は必ず不透明としておくなど、ビデオ画像の状態を考慮して、透明度を変える必要がある。

また、解像度の大小に係らず、疑似ビデオ画像からビデオ画像に切り替わる場合には、ビデオ画像とグラフィックス画像のピクセル毎の合成比を段階的に変えることで、スムーズな切り替わりを実現することとしてもよい。
（５）実施形態では、疑似ビデオ画像は、ビデオ画像のスケール処理を行っている間、表示することとしているが、ビデオ画像のスケール処理の前や後にも表示してもよい。例えば、ビデオ画像の拡大・縮小がディスプレイ上でスムーズに見えるように、大きさが段階的に変化する疑似ビデオ画像を表示して、拡大されたビデオ画像を表示するなどである。
（６）表示装置は、図１、図９、図１３の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。
（７）表示装置は、図１、図９、図１３の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。コンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。

本発明は、同一ディスプレイに表示されている動画像と静止画像との表示形態を変更する場合に適用することができる。

本発明は、動画像と、文字等の静止画像とを合成して表示する表示装置に関し、特に、動画像の表示領域を拡大等する場合の、動画像と静止画像とを表示する技術に関する。

従来から、動画像と静止画像とを一つのディスプレイに表示することが行われている。いわゆるＯＳＤ（OnScreen Display）といわれるもので、例えば、輝度等を設定する場合に、設定値をディスプレイの一部に表示しながら設定を行うものである。
近年では、ディジタル放送受信機においては、放送番組である動画像と、放送局から送信されてくる番組表などの静止画像とを合成して表示することが行われており、他にも、ビデオレコーダやビデオプレイヤ、携帯電話機、デジタルカメラなど、様々な機器で、動画像と静止画像とを合成してディスプレイに表示することが行われている。

動画像と静止画像の合成方法としては、動画像と静止画像とをそれぞれ別のメモリに記憶し、動画像の上に静止画像を重ねて表示する方法がある。
この方法では、静止画像の一部分、すなわち、動画像と同じ部分を透明にして下の動画像が見えるようにして合成する。従って、動画像の表示サイズや位置が変更された場合には、静止画像の透明にする部分を、動画像の表示サイズや位置に合わせて変更することになる。

また、動画像は、所定のフレームレートで画像が更新されることから、更新が行われる都度、動画像と静止画像とを合成して表示することになるが、動画像のサイズ等の変更のタイミングと、静止画像の透明化のタイミングとが合わない場合には、動画像と静止画像とがディスプレイ上でずれて表示されてしまうこととなる。すなわち、動画像と静止画像との境に、意図しない画像が表示されてしまう。

そこで、静止画像を透明化するタイミングを、動画像の変更のタイミングに合わせることで、ディスプレイ上でずれて表示されないようにする技術がある（特許文献１）。
特開２００４−３０２３６１号公報

しかし、この技術では、静止画像の透明化を指示する命令や、透明部分を変更した静止画像を表示のタイミングまで記憶しておく必要がある。また、このタイミング合わせはソフトウェアで行うことから、他のアプリケーション等の実行状況によっては、必要な時間分ＣＰＵを確保することができずに、タイミングを正確には合わせることができない場合も発生する。

そこで、本発明は、メモリを余分に必要とせずに、動画像と静止画像とがディスプレイ上でずれて表示されることのない表示装置の提供を目的とする。

上記目的を達成するために、本発明に係る表示装置は、画像を記憶する第１メモリと第２メモリと、前記第１メモリに記憶されている画像と前記第２メモリに記憶されている画像とを、前記第２メモリに記憶されている画像が前面になるように合成した画像をディスプレイに表示する表示手段と、画像を前記第１メモリに生成する第１画像生成手段と、画像を前記第２メモリに生成する第２画像生成手段と、前記第１メモリに記憶する画像の表示サイズ又は表示位置を取得する取得手段と、前記取得手段で表示サイズ又は表示位置を取得した場合は、前記第１画像生成手段に当該表示サイズ又は表示位置の画像の生成を開始させ、当該生成が終了するまでの間、前記第２画像生成手段に、前記第１画像生成手段が生成している画像を覆う大きさの不透明な画像を生成させて前記表示手段で表示し、前記第１画像生成手段の画像の生成が終了したら、前記第２画像生成手段に、前記第１画像生成手段が生成した画像の前面となる部分が透明である画像を生成させて前記表示手段で表示する表示制御手段とを備えることを特徴とする。

上記構成の表示装置は、第１メモリに画像を生成している間、生成している画像を覆う大きさの画像を第２メモリに生成して第１メモリに生成している画像をディスプレイに表示しないようにしているので、第１メモリに画像が生成されたタイミングでディスプレイに表示することができるようになる。具体的には、第１メモリに画像が生成されてから、第２メモリに記憶されている画像の一部を透明にする。

従って、第１メモリに画像が生成されたタイミングと同時に、第２メモリの画像を透明にするのが理想ではあるが、このタイミングが正確にあわせることが難しい場合であっても、本発明では、タイミングが正確にあわされたようにディスプレイには表示することができる。
例えば、第１メモリには、ビデオ画像等の動画像を記憶し、第２メモリには、録画番組一覧のような静止画像を記憶しておき、動画像のサイズが変わったら、静止画像の一部を動画像のサイズに合わせて透明にするなどである。

また、第１メモリに画像を生成している間、表示されている第１メモリの画像が乱れるような仕様の表示装置であったとしても、本発明の表示装置では、乱れた画像が表示されること無く、第１メモリへの画像の生成が終了したタイミングでディスプレイに表示することができる。
また、前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの１フレーム画像に基づいて、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段により生成を開始させた前記１フレーム画像から生成される画像であることとしてもよい。

これにより、第１メモリに生成する画像と第２メモリに生成する画像とは、同じフレーム画像から生成するので、第１メモリに生成された表示サイズ又は表示位置が変更された画像をディスプレイに表示するよりも早く、サイズの変更等が反映された画像をディスプレイに表示することが可能となり、第１メモリに生成された画像にスムーズに移行することが可能となる。

また、前記第２画像生成手段は、前記第1画像生成手段による画像の生成よりも短い時間で、第１動画像生成手段が生成する画像よりも精度の低い画像を第２メモリに生成することとしてもよい。
これにより、第２画像生成手段が画像を生成する時間は、第１画像生成手段が画像を生成する時間より短いので、同じフレーム画像から画像を生成したとしても、第１メモリに画像を生成している間に、第２メモリに画像を生成することができるようになる。

また、前記第２画像生成手段は、前記１フレーム画像から生成する画像以外に、他の画像を前記第２メモリに生成し、前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段による画像の生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、当該表示サイズ又は表示位置の画像と前記他の画像であり、前記第１画像生成手段の画像の生成が終了後に前記第２画像生成手段に生成させる画像は、前記他の画像であることとしてもよい。

これにより、第２メモリには、第１メモリに生成している画像と同じフレーム画像から生成する画像以外の他の画像も生成できるので、第１メモリに画像が生成されたら、生成された画像と当該他の画像とを表示することができるようになる。
また、前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの各１フレーム画像から、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段に生成を開始させたときに前記第１メモリに記憶されている画像から生成される画像であることとしてもよい。

これにより、第１画像生成手段が第１メモリに画像を生成している間、第２画像生成手段は、第１メモリに記憶されている画像、すなわち、表示されていた画像から第２メモリに画像を生成するので、表示されている画像と第２画像生成手段が生成しようとしている画像とのサイズが近い場合には、短時間で画像を生成することができるようになる。
また、前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの１フレーム画像から、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段に生成を開始させた１フレーム画像と前記第１画像生成手段に生成を開始させたときに前記第１メモリに記憶されている画像のうち、画像の大きさが前記第２画像生成手段に生成させる画像の大きさに近い方の画像から生成される画像であることとしてもよい。

これにより、第１画像生成手段が第１メモリに画像を生成している間、第２画像生成手段は、第１メモリに記憶されている画像又はフレーム画像のうち、生成しようとしている画像とサイズが近い方から第２メモリに画像を生成するので、より短時間で画像を生成することができるようになる。

＜実施形態１＞
＜概要＞
本発明に係る表示装置は、テレビ映像やビデオ再生映像等の動画像と、文字やイラスト等の静止画像とを同時に同一のディスプレイに表示するものであり、 この表示されている動画像の表示サイズを拡大又は縮小する場合や、動画像の表示位置を変更する場合に、ディスプレイ上に動画像と静止画像とが不具合なく表示されるものである。ここで不具合とは、動画像と静止画像とがずれて表示されたり、動画像が一時的に乱れたりすること等である。

例えば、ディスプレイ上の動画像と静止画像との表示のずれは、動画像の表示領域と静止画像の透明領域とが一致しないことが原因であり、このずれは、動画像のサイズと位置の変更が完了するまでに、静止画像の透明領域を変更してしまうことで生ずるものである。そこで、本願発明では、このずれが生じ得る期間の間だけ、静止画像の一部を透明にする代わりに動画像に相当する疑似画像を静止画像として表示するものである。

本願発明では、疑似画像で動画像を覆い隠すことになるため、表示のずれだけでなく、表示の乱れ等の不具合も解消することができるという利点がある。
以下、図２〜図４を用いて、本願発明の原理を簡単に説明する。
図２を用いて、動画像と静止画像とをディスプレイに表示する仕組みについて説明し、図３を用いて、従来の問題点を説明する。その後、図４を用いて、本願発明の動画像と静止画像とをディスプレイに表示する仕組みについて簡単に説明する。

図２は、動画像と静止画像とを同一のディスプレイ上に表示する仕組みを示す図である。
ビデオフレームは、動画像を表示するフレーム画像を示し、グラフィックスフレームは、静止画像を表示するフレーム画像を示す。以下、動画像を「ビデオ」、静止画像を「グラフィックス」ともいうものとする。

また、合成画像は、ビデオフレームの上にグラフィックスフレームを重ねるように合成した画像であり、実際にディスプレイ上に表示される画像である。尚、ここでは、ビデオは３０ｆｐｓ（Frame Per Second）で表示されるものとする。
例えば、合成画面２が表示される場合は、ビデオフレームには、所定サイズのビデオ画像３００が所定の位置に生成され、グラフィックスフレームには、ビデオ画像３００に該当する部分３０１が透明色であるグラフィックス画像３０２が生成される。ビデオフレームとグラフィックスフレームとが合成され、グラフィックス画像３０２の透明な部分３０１からビデオ画像３００が見えて、表示画像２となる。例えば、録画番組一覧がグラフィックス画像として表示され、その画像に重ねて小さい画像で録画番組の１つである野球の試合が再生されているような画面である。

グラフィックス画像が更新された場合は、新しいグラフィックス画像３０３とビデオ画像が合成され、表示画面５が表示される。
本図の表示画面２〜表示画面６に示すように、ビデオ画像はフレーム毎に更新されて動画像として表示され、グラフィックス画像は静止画像として表示される。
次に、図３は、従来の問題点である、ビデオ画像が拡大される場合に生ずる画像のずれを示す図である。

まず、表示画面１が表示されているときに、ユーザがビデオ画像を拡大する指示を出したとする。
拡大指示を受けて、グラフィックスフレームでは、グラフィックス画像の透明領域３１０を、ビデオ画像が拡大される領域と同じ領域まで拡大する。表示画面３を表示するときに、拡大された透明領域３１１となる。

一方、ビデオフレームでは、表示画面５を表示するときに、初めて拡大されたビデオ画像３１３が表示される。ビデオ画像を拡大等する場合は、一般的にハードウェアでスケーリングやフィルタリングを行うため、表示が遅れることが多く、この例では、グラフィックスフレームより２フレーム分遅れて表示される。
従って、表示画面３と表示画面４のように、グラフィックス画像の透明部分からビデオフレームのビデオ画像以外の部分３１２が見えて、ビデオ画像とグラフィックス画像のずれが生じた表示画面となってしまう。

図４は、本願発明の、ビデオ画像が拡大される場合を示す図である。
表示画面１で、ビデオ画像の拡大指示を受けて、グラフィックスフレームでは、グラフィックス画像の透明領域を拡大する代わりに、ビデオ画像に代わる疑似ビデオ画像３２０をグラフィックスフレームに生成する。この疑似ビデオ画像３２０は、現在のビデオ画像を覆い隠せる大きさの不透明な画像である。本図では、疑似ビデオ画像は、右斜線が引かれている。

表示画面３が表示されるときには、ビデオフレームの上にグラフィックスフレームが重ねて合成されるが、このときのグラフィックスフレームには透明領域の代わりに疑似ビデオ画像３２０が生成されているため、グラフィックスフレームの画像３２１が表示されることになる。
すなわち、図３の表示画面３のように、疑似ビデオ画像とグラフィック画像とがずれなく表示されて、ビデオ画像の拡大処理が迅速に開始されたように見えることになる。

その後、ビデオフレームに拡大されたビデオ画像３２２が表示された段階で、グラフィックスフレームでは、拡大した透明領域３２３を有するグラフィックス画像を生成する。
表示画面５では、グラフィックス画像の透明領域３２３から、透明領域３２３と同じ大きさのビデオ画像３２２が見えて表示される。
このように、ビデオ画像のサイズ等が変更される場合に、ビデオフレームに変更が反映されるまで、グラフィックスフレームに疑似ビデオ画像を生成して表示することで、サイズの変更を迅速にディスプレイ上に反映させ、且つ、ディスプレイ上に画像の不具合を表示させないようにすることができる（図３及び図４の、表示画面３と表示画面４を参照）。

以下、本発明の実施形態における表示装置について、図を用いて説明する。尚、本実施形態では、ビデオ画像を拡大する場合について説明するが、ビデオ画像を縮小する場合、位置を変える場合、また更に、ビデオ画像を拡大等する場合に画像が乱れる場合等であっても同様である。
＜構成＞
図１は、表示装置１００の構成を示す機能ブロック図である。

表示装置１００は、デコード部１１００、デコード画像記憶部１２００、スケール部１３００、ビデオフレーム記憶部１４００、表示制御部１５００、ビデオ表示制御部１６００、疑似ビデオ生成部１７００、合成部１８００、グラフィックスデータ記憶部２０００、グラフィックス生成部２１００、グラフィックスフレーム記憶部２２００及びアプリケーション処理部２３００とで構成される。

また、表示装置１００の外部に、コンテンツ等のビデオデータを記憶するビデオデータ記憶部１０００とディスプレイ２００とを備える。
デコード部１１００は、ビデオデータ記憶部１０００からビデオデータをストリーミングデータとして入力し、入力したストリーミングデータの復号を行ない、デコード画像を生成して、デコード画像記憶部１２００に記憶する機能を有する。

本実施形態では、ビデオデータは、ビデオデータ記憶部１０００から入力することとしているが、ネットワーク等を介して入力することとしてもよく、また、テレビ放送等として受信することとしてもよい。また、本実施形態では、ビデオデータはＭＰＥＧ（Moving Picture Experts Group）−４規格で作成されているものとする。
デコード画像記憶部１２００は、デコード部１１００が復号したデータであるデコード画像を記憶する機能を有する。本実施形態では、記憶されているデコード画像は、ディスプレイに表示する画像よりも大きい、すなわち、解像度が高いものとする。尚、表示する画像よりも小さい、すなわち、解像度が低いものであってもよい。

また、このデコード画像記憶部１２００は、ビデオ表示制御部１６００からの問い合わせに応じて、デコード画像の画像サイズをビデオ表示制御部１６００に通知する機能を有する。このデコード画像のサイズは、一つのビデオデータにおいては、同一とする。
スケール部１３００は、デコード画像に対して、所定のサイズへの縮小、又は、表示位置の変更等の処理（以下、「スケール処理」という。）を行い、ビデオフレーム記憶部１４００にスケール処理後のデコード画像であるビデオ画像を生成する機能を有する。具体的には、ディスプレイに表示するビデオ画像の画素データをビデオフレーム記憶部１４００に描画する。

ビデオフレーム記憶部１４００は、スケール部１３００がスケール処理を施したビデオ画像を、フレーム単位で画素データの集合として記憶する。
次に、表示制御部１５００は、ビデオ画像のサイズ等の変更制御、及び、疑似ビデオ画像とグラフィックス画像の表示制御を行う機能を有する。具体的には、アプリケーション処理部２３００からビデオ画像の拡大等の指示を受けたら、ビデオ表示制御部１６００にビデオ画像のサイズ等の変更を依頼したり、グラフィックスフレームにおける画像の重なり順序の管理等を行う。

ビデオ表示制御部１６００は、表示制御部１５００からの指示を受け、ビデオ画像のスケール処理、及び、疑似ビデオ画像の生成処理を制御する機能を有する。
具体的には、ビデオ表示制御部１６００は、スケール部１３００へのビデオ画像のサイズ等の変更の指示、デコード画像記憶部１２００からデコード画像のサイズを取得して、疑似ビデオ生成部１７００への疑似ビデオ画像の生成の依頼を行う。また、スケール部１３００からのビデオ画像へのスケール処理完了の通知を受け、疑似ビデオ生成部１７００に透明領域を生成するよう指示する。

疑似ビデオ生成部１７００は、ビデオ表示制御部１６００からの指示を受け、疑似ビデオ画像をグラフィックスフレーム記憶部２２００に生成する機能を有する。具体的には、ビデオ画像が生成される基となるデコード画像から、ディスプレイに表示する疑似ビデオ画像を生成し、その画素データをグラフィックスフレーム記憶部２２００に描画する。また、ビデオ表示制御部１６００からの指示により、指定領域を透明色で塗り潰す、すなわち、透明色のみで構成された画像を生成する機能も有する。

本実施形態では、スケール部１３００で用いられている拡大・縮小フィルタのほうが、本疑似ビデオ生成部１７００で用いられている拡大・縮小フィルタよりも高次のフィルタであるものとする。すなわち、スケール部１３００で生成した画像のほうが、本疑似ビデオ生成部１７００で生成した画像より精度が高いといえる。従って、同じ画像に対してスケール処理を施す場合は、本疑似ビデオ生成部１７００の方が処理時間は短いものとする。

グラフィックス生成部２１００は、表示制御部１５００からの指示を受け、グラフィックス画像をグラフィックスフレーム記憶部２２００に生成する機能を有する。具体的には、ディスプレイに表示するグラフィックス画像の画素データをグラフィックスフレーム記憶部２２００に描画する。ここで生成するグラフィックス画像は、グラフィックスデータ記憶部２０００に記憶されているデータから生成するものとする。

グラフィックスデータ記憶部２０００は、グラフィックス生成部２１００が生成するグラフィックス画像の基となるデータが記憶されている。本実施形態では、録画番組一覧やテレビ番組表、文字列等のデータを記憶する。
次に、グラフィックスフレーム記憶部２２００は、疑似ビデオ生成部１７００が生成した疑似ビデオ画像と、グラフィックス生成部２１００が生成したグラフィックス画像とを、フレーム単位で画素データの集合として記憶する。

合成部１８００は、ビデオフレーム記憶部１４００に記憶されている画像と、グラフィックスフレーム記憶部２２００に記憶されている画像とを合成して、ディスプレイ２００に表示する機能を有する。合成は、ビデオフレーム記憶部１４００に記憶されている画像の上に、グラフィックスフレーム記憶部２２００に記憶されている画像をオーバーレイすることにより行われる。

アプリケーション処理部２３００は、本実施形態では、ユーザからの指示を受付けて、録画番組一覧を表示したり、一覧から選択された番組を再生したりする処理を行う。さらに、ユーザから、再生中のビデオ画像のサイズを変更する等の指示を受付けた場合、その旨を表示制御部１５００に通知する機能を有する。
ここで、表示制御部１５００等の各部による各処理の全部または一部は、ＣＰＵ（図示していない。）が各種プログラムを実行することにより実現されるものである。

＜データ＞
以下、本表示装置１００で用いる主なデータについて、図５と図６とを用いて説明する。
図５（ａ）は、オブジェクト情報１５１０の構成及び内容例を示す図であり、図５（ｂ）は、ビデオ画像配置情報１５２０の構成及び内容例を示す図である。これらは、表示制御部１５００が、内部のメモリに記憶している情報である。

また、図５（ｃ）は、変更指示情報２３１０の構成及び内容例を示す図である。この情報は、アプリケーション処理部２３００が表示制御部１５００に対して、ビデオ画像のサイズ等の変更指示を行う際に渡す情報である。
まず、図５（ａ）のオブジェクト情報１５１０を説明する。
ここで、オブジェクトとは、グラフィックスフレーム記憶部２２００に記憶されているグラフィックス画像を構成する要素をいい、具体的には、１つの静止画像を１つのグラフィックスオブジェクトといい、１つの疑似ビデオ画像を１つのビデオオブジェクトというものとする。この静止画像とは、１以上の図形、画像、文字等で構成された画像あり、これらを組み合わせた画像であってもよい。本実施形態では、ビデオオブジェクトは、１つの録画番組の再生画像であるビデオ画像に対応する疑似ビデオ画像をいい、グラフィックスオブジェクトは、録画番組一覧の画像や、文字列などの静止画像である。

オブジェクト情報１５１０は、オブジェクトＩＤ１５１１、属性１５１２、始点１５１３、サイズ１５１４、スタック１５１５及びアドレス１５１６で構成される。
このオブジェクト情報１５１０は、ディスプレイ２００に表示されるオブジェクトを管理するものである。
オブジェクトＩＤ１５１１は、ディスプレイ２００に表示されるオブジェクトの識別子である。例えば、本図では、「ＩＤ１」、「ＩＤ２」、「ＩＤ３」のそれぞれのオブジェクトＩＤが付与されたオブジェクトが３つ表示される。

言い換えれば、これらのオブジェクトＩＤが付与されているオブジェクトが、グラフィックスフレーム記憶部２２００に記憶されている。
属性１５１２は、オブジェクトの属性を示し、「グラフィック」又は「ビデオ」が記載される。「グラフィック」は、グラフィックスオブジェクトであることを示し、「ビデオ」は、ビデオオブジェクトであることを示す。

本図では、「：」以下はコメントであるものとする。例えば、「グラフィック：文字列」は、文字列で構成されたグラフィックスオブジェクトであることを示す。また、「ビデオ：ＭＰＥＧ４」は、ＭＰＥＧ−４規格で符号化されているビデオ画像に対応するビデオオブジェクトであることを示す。
次に、始点１５１３は、表示画面上での、オブジェクトの左上の位置を表し、サイズ１５１４は、オブジェクトの縦と横の大きさを表す。

また、スタック１５１５は、合成するときの重ね合わせる順番を示し、降順に上に重ねて表示される。従って、本図では、一番上に表示されるオブジェクトは、スタック１５１５が「１」となっているオブジェクトＩＤ１５１１が「ＩＤ３」のオブジェクトである。
アドレス１５１６は、オブジェクトの画像データの取得先を示し、本実施形態では、各記憶部のアドレスを示すものとする。例えば、オブジェクトＩＤ１５１１が「ＩＤ１」のオブジェクトは、属性１５１２が「グラフィック」であるので、このオブジェクトの画像データは、グラフィックスデータ記憶部２０００に記憶されており、アドレス１５１６が「ａｄｄｒ１」で示される場所に記憶されている。また、オブジェクトＩＤ１５１１が「ＩＤ３」のオブジェクトは、属性１５１２が「ビデオ」であるので、このオブジェクトの画像データは、デコード画像記憶部１２００に記憶されており、アドレス１５１６が「ａｄｄｒ３」で示される場所に記憶されている。このアドレスは、最新のデコード画像が記憶されているアドレスを指すアドレスとする。

ここで、図６を用いて、グラフィックス画像と、各オブジェクトの始点１５１３、サイズ１５１４及びスタック１５１５との関係を説明する。
図６は、表示画面とオブジェクトの関係の具体例を示す図であり、表示画面５００は、２つのグラフィックスオブジェクト（５１０、５２０）と、１つのビデオオブジェクト５３０から成る。

オブジェクト５１０は、オブジェクトＩＤ１５１１が「ＩＤ１」で示されるオブジェクトを表し、オブジェクト５２０とオブジェクト５３０とは、それぞれ、「ＩＤ２」と「ＩＤ３」で示されるオブジェクトを表す。
各オブジェクトの始点１５１３は、表示画面５００に示された座標系における座標で示され、この座標系によって各オブジェクトが合成部１８００で合成される。

まず、グラフィックスオブジェクトが複数ある場合は、スタックの値が大きい順に生成する。
例えば、図５（ａ）のオブジェクト情報１５１０で管理されるオブジェクトの場合、生成する順は、スタック１５１５が「３」のグラフィックオブジェクト５２０の画像を生成し、その上に、スタック１５１５が「２」のグラフィックオブジェクト５１０を重ね、更に、その上にスタック１５１５が「１」のグラフィックオブジェクト５３０を重ねて作成してグラフィックス画像を生成し、グラフィックスフレーム記憶部２２００に記憶する。

合成部１８００は、ビデオフレーム記憶部１４００に記憶されている画像の上に、グラフィックスフレーム記憶部２２００に生成したグラフィックス画像を重ねて合成し、表示する。本図のビデオオブジェクト５３０は、疑似ビデオ画像であるので合成して表示した場合は、ビデオフレーム記憶部１４００に記憶されているビデオ画像は表示されないが、ビデオオブジェクト５３０を透明色で生成した場合には、合成して表示した画面にはビデオフレーム記憶部１４００に記憶されているビデオ画像が表示される。

尚、本実施形態では、同時に表示できるビデオオブジェクトは、１つであるとする。
次に、図５（ｂ）のビデオ画像配置情報１５２０を説明する。
ビデオ画像配置情報１５２０は、ディスプレイに表示されているビデオ画像とその疑似ビデオ画像との配置情報を管理するものであり、ビデオ画像毎に記憶される。従って、複数のビデオ画像が表示されている場合は、その数分のビデオ画像配置情報１５２０が記憶される。尚、本実施形態では、表示されているビデオ画像は１つとする。

ビデオ画像配置情報１５２０は、画像種別１５２１、始点１５２２、サイズ１５２３及びオブジェクトＩＤ１５２４で構成される。
画像種別１５２１は、ビデオ画像の種別を示し、本実施形態では、「ビデオ画像」と「疑似ビデオ画像」の２つであるとする。
「ビデオ画像」とは、ビデオフレーム記憶部１４００に記憶されているビデオ画像をいい、「疑似ビデオ画像」とは、グラフィックスフレーム記憶部２２００に記憶されている疑似ビデオ画像をいう。

始点１５２２は、画像の左上の位置を表し、サイズ１５２３は、画像の縦と横の大きさを示す。従って、「ビデオ画像」の始点１５２２とサイズ１５２３とには、現在表示されているビデオ画像のサイズ等か記憶されており、サイズの変更や位置の変更の指示を受けて変更が完了したときに、更新される。また、「疑似ビデオ画像」の始点１５２２とサイズ１５２３とには、表示される疑似ビデオ画像のサイズ等が記憶される。

オブジェクトＩＤ１５２４は、オブジェクトを特定する識別子であり、ビデオ画像とその疑似ビデオ画像とは、同じ識別子が付与されているものとする。
次に図５（ｃ）の変更指示情報２３１０を説明する。
変更指示情報２３１０は、時間２３１１、始点２３１２、サイズ２３１３及びオブジェクトＩＤ２３１４で構成される。

時間２３１１は、ビデオ画像の変更処理が終了するまでのおおよその時間を表す。本実施形態ではフレーム数とする。時間２３１１では、疑似ビデオ画像を表示する時間が指定できればよく、秒数などで表してもよい。
始点２３１２及びサイズ２３１３は、最終的なビデオ画像の位置とサイズを示し、それぞれ、ビデオ画像配置情報１５２０の始点１５２２及びサイズ１５２３と同様である。

例えば、時間２３１１が「３」の場合は、３フレーム後に、疑似ビデオ画像の位置とサイズが、始点が始点２３１２で示される「(x20,y20)」で、サイズがサイズ２３１３で示される「(h20,w20)」となっていればよいことになる。
また、オブジェクトＩＤ２３１４は、変更対象のオブジェクトを特定する識別子である。

＜動作＞
以下、本発明に係る表示装置１００の動作について図７と図８とを用いて説明する。
図７は、ビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。
本図において、実線の矩形は、左端に記載した機能部が、処理を行っている時間を表し、点線の矩形は、各記憶部（１２００、１４００、２２００）に記憶されている、又は、生成中の画像データを示す。また、実線矢印は、画像データの送信を示し、点線矢印は、指示や通知を示すものとする。図１１と図１５も同様である。尚、本図では、説明の便宜上、スケール処理（処理４２０）と描画（処理４２１）とを分けて記載しているが、内容的には１つの処理である。

ここでは、表示制御部１５００が、ビデオ画像を拡大する旨の指示をアプリケーション処理部２３００から受けた後の処理のタイミングについて説明する。
表示制御部１５００は、ビデオ画像の拡大指示を受けた際に渡された変更指示情報２３１０と指示を受けた時刻とから、疑似ビデオ画像の位置とサイズを計算する（処理４００）。ここでは、疑似ビデオ画像のサイズは徐々に大きくするとし、最初は、現在のビデオ画像と同じ位置とサイズとする。

表示制御部１５００は、まず、グラフィック生成部２１００に指示し、背景等のグラフィックス画像をグラフィックスフレーム記憶部２２００に描画させる。その後、ビデオ表示制御部１６００を介して、疑似ビデオ生成部１７００に疑似ビデオ画像をグラフィックスフレーム記憶部２２００に描画させる（処理４０１）（画像データ４１０参照）。疑似ビデオ画像は、デコード画像記憶部１２００に記憶されている最新のデコード画像を基に生成する。

この描画により、グラフィックス画像と疑似ビデオ画像とが表示された表示画面となる（図４：表示画面３参照）。
表示制御部１５００は、疑似ビデオ生成部１７００に疑似ビデオ画像の生成を指示したら、次に、ビデオ画像のスケール処理をスケール部１３００に指示する（処理４０２）。
スケール部がスケール処理を行っている間（処理４２０）、表示制御部１５００は、次に表示する疑似ビデオ画像のサイズ等を計算し、ビデオ表示制御部１６００を介して、疑似ビデオ生成部１７００に計算したサイズの疑似ビデオ画像を描画させる（処理４０３）。

この描画で、すこし大きなサイズの疑似ビデオ画像が表示された表示画面となる（図４：表示画面４参照）。
スケール部１３００は、スケール処理（処理４２０）が終わり、最終的な位置とサイズのビデオ画像をビデオフレーム記憶部１４００に描画したら（処理４２１、画像データ４３０参照）、ビデオ表示制御部１６００に変更完了の通知を行う（通知４２２）。

ビデオ画像の変更が完了した通知を受けたビデオ表示制御部１６００は、疑似ビデオ生成部１７００に指示して、ビデオ画像の領域を透明にする（処理４０５）。その後、ビデオ表示制御部１６００は、表示制御部１５００に、変更の完了を通知する。
この時点で、ビデオ画像とグラフィックス画像とが表示された表示画面となる（図４：表示画面５参照）。

表示制御部１５００は、変更の完了通知を受けるか、疑似ビデオ画像が最終的なビデオ画像の位置とサイズになるまで、ビデオ表示制御部１６００を介して、徐々に拡大した疑似ビデオ画像を描画する（処理４０４）。
次に、図８は、表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。

ここで説明する表示制御処理は、表示制御部１５００とビデオ表示制御部１６００と疑似ビデオ生成部１７００とが行う処理であり、変更処理はスケール部１３００が行う処理である。
ユーザは、ディスプレイ２００に録画番組一覧を表示させ、録画番組の１つを選択して、録画番組一覧に重なった小さな画面で再生しているものとする（図２等参照）。

まず、ユーザがビデオ画像を拡大する操作を行い、操作を検知したアプリケーション処理部２３００が、表示制御部１５００にビデオ画像の拡大を指示する。この際、変更指示情報２３１０を渡す。変更の対象はビデオ画像なので、オブジェクト情報１５１０の属性１５１２が「ビデオ」であるオブジェクトＩＤ１５１１が指定される。例えば、変更指示情報２３１０のオブジェクトＩＤ２３１４には、「ID3」が入っている。

ビデオ画像を拡大する指示を取得した表示制御部１５００は（ステップＳ１００）、表示する疑似ビデオ画像の位置とサイズとを算出し、算出した位置とサイズとを、オブジェクトＩＤ１５２４が変更指示情報２３１０のオブジェクトＩＤ２３１４と同じであるビデオ画像配置情報１５２０に記憶する（ステップＳ１１０）。
この擬似ビデオサイズの算出は、現在表示されているビデオ画像のサイズ等と、指定されたビデオ画像のサイズ等とを用いて算出する。現在表示されているビデオ画像のサイズ等とは、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」の始点１５２２とサイズ１５２３とであり、指定されたビデオ画像のサイズ等とは、受け取った変更指示情報２３１０の始点２３１２とサイズ２３１３である。

例えば、現在（時刻T１）のビデオ画像が、位置１５２２（x4,y4）、サイズ１５２３（w4,h4）であり、指示されたビデオ画像が、位置２３１２（x20、y20）、サイズ２３１３（w20,h20）とする。ビデオ画像が拡大指示を受けた時点から時間とともに線形的に大きくなる場合、時刻tとともに疑似ビデオ画像の位置（x, y）、サイズ(w, h)は以下のように変化する。指定された時間２３１１が「３」フレームとする。尚、疑似ビデオ画像は線形的に変化させる必要はなく、どのような関数で定義してもよい。
x(t) = x4+(x20-x4)*(t-T1)/3
y(t) = y4+(y20-y4)*(t-T1)/3
w(t) = w4+(w20-w4)*(t-T1)/3
h(t) = h4+(h20-h4)*(t-T1)/3
疑似ビデオ画像の位置とサイズとを算出した表示制御部１５００は、その後、オブジェクト情報１５１０のスタック１５１５に応じて、グラフィックス画像の生成を行う。

まず、スタック１５１５の値が最も大きな値のオブジェクトを生成する。
その際、そのオブジェクトの属性１５１２が「グラフィック」の場合（ステップＳ１１５：グラフィック）には、表示制御部１５００は、グラフィック生成部２１００に依頼し、グラフィックスオブジェクトを生成する（ステップＳ１２０）。
具体的には、依頼するオブジェクトの始点１５１３とサイズ１５１４とアドレス１５１６とをグラフィック生成部２１００に渡し、画像の生成を依頼する。依頼を受けたグラフィック生成部２１００は、アドレス１５１６から画像データを読出して画像をグラフィックスフレーム記憶部２２００に生成する。

また、オブジェクトの属性１５１２が「ビデオ」の場合（ステップＳ１１５：ビデオ）には、表示制御部１５００は、ビデオ表示制御部１６００に依頼し、疑似ビデオ画像であるビデオオブジェクトを生成する（ステップＳ１３０）。
具体的には、表示制御部１５００は、算出した疑似ビデオ画像の位置とサイズと、変更指示情報２３１０のオブジェクトＩＤ２３１４に該当するアドレス１５１６とをビデオ表示制御部１６００に渡し、画像の生成を依頼する。例えば、ビデオ画像配置情報１５２０の画像種別１５２１が「疑似ビデオ画像」の始点１５２２「（x10、y10）」とサイズ１５２３「（w10,h10）」と、オブジェクトＩＤ１５１１が「ID3」のアドレス１５１６「addr3」を渡す。

ビデオ表示制御部１６００は、デコード画像記憶部１２００からデコード画像のサイズを取得し、取得したサイズと表示制御部１５００から受け取った始点等の情報とを疑似ビデオ生成部１７００に渡して、疑似ビデオ画像を生成するよう依頼する。
依頼を受けた疑似ビデオ生成部１７００は、受け取ったアドレス１５１６をもとに、デコード画像記憶部１２００から読み込んだ画像データから、疑似ビデオ画像をグラフィックスフレーム記憶部２２００に生成する。

オブジェクトの生成を依頼したビデオ表示制御部１６００は、スケール部にビデオ画像のスケール処理を指示していない場合（ステップＳ１４０：ＮＯ）は、指示されたサイズ等に変更する処理を依頼する（ステップＳ１５０）。具体的には、変更指示情報２３１０の始点２３１２とサイズ２３１３とで、オブジェクト情報１５１０のオブジェクトＩＤ１５１１が「ＩＤ３」の始点１５１３とサイズ１５１４とを更新して、オブジェクトＩＤ１５１１が「ＩＤ３」の情報（１５１２〜１５１６）を渡す（ステップＳ１５１）。尚、本実施形態では、ビデオ画像は１つとしており、疑似ビデオ画像は１つであるが、複数ある場合は、疑似ビデオ画像毎に、スケール処理の指示をするか否かを判断することになる。

まだ表示していないオブジェクトがある場合（ステップＳ１５５：ＮＯ）は、次のオブジェクト、すなわち、スタック１５１５の値が次に小さいオブジェクトの生成を開始する（ステップＳ１１５）。
例えば、図５（ａ）のオブジェクト情報１５１０の場合は、まず、オブジェクトＩＤ１５１１が「ＩＤ２」のグラフィックスオブジェクトの番組一覧の画像を生成し、次に、オブジェクトＩＤ１５１１が「ＩＤ１」のグラフィックスオブジェクトの文字列の画像を生成する。その後、オブジェクトＩＤ１５１１が「ＩＤ３」のビデオオブジェクトの疑似ビデオ画像を生成する。

全てのオブジェクトの生成が終了（ステップＳ１５５：ＹＥＳ）しても、スケール部１３００からのスケール処理の完了通知を受けていない場合（ステップＳ１６０：ＮＯ）には、ビデオ表示制御部１６００は、表示制御部１５００にスケール処理が完了していない旨を通知する。
スケール処理が完了していない旨の通知を受けた表示制御部１５００は、次に表示するための疑似ビデオ画像の位置とサイズを算出し（ステップＳ１１０）、ステップＳ１６０までの処理を繰り返す。但し、既にスケール部１３００のスケール処理の依頼をしていることから（ステップＳ１４０：ＹＥＳ）、ステップＳ１５０の処理は行わないことになる。

スケール部１３００からのスケール処理の完了通知を受けていた場合（ステップＳ１６０：ＹＥＳ）には、ビデオ表示制御部１６００は、その旨を、表示制御部１５００に通知する。但し、この場合、擬似ビデオ画像を段階的に大きくしていく場合は、擬似ビデオ画像の位置とサイズとが指定された位置とサイズとなっていなくても、スケール処理が終了した時に、表示制御部１５００に通知されることになる。尚、擬似ビデオ画像を段階的に大きくしていく場合は、指定された位置とサイズの擬似ビデオ画像が表示され、且つ、スケール処理の完了通知を受けた場合に、ビデオ表示制御部１６００は、スケール処理が完了した旨を、表示制御部１５００に通知することとしてもよい。

また、ビデオ表示制御部１６００は、疑似ビデオ生成部１７００に、ビデオ画像に対応する部分を透明色にするよう依頼する。具体的には、ビデオ表示制御部１６００がスケール部１３００にスケール処理を依頼したとき（ステップＳ１５０参照）の位置とサイズとを疑似ビデオ生成部１７００に渡して依頼する。
透明にするよう依頼を受けた疑似ビデオ生成部１７００は、グラフィックスフレーム記憶部２２００に記憶されている画像のうち、受け取った始点１５１３とサイズ１５１４で現される矩形部分を透明にする（ステップＳ１７０）。

スケール処理が完了していることを通知された表示制御部１５００は、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」の始点１５２２とサイズ１５２３とを、変更指示情報２３１０の始点２３１２とサイズ２３１３とで更新し、ビデオ画像の変更処理を終了する。
一方、スケール処理を依頼されたスケール部１３００は、オブジェクト情報１５１０のオブジェクトＩＤ１５１１が「ＩＤ３」の情報、すなわち、始点１５１３とサイズ１５１４とアドレス１５１６とを取得し（ステップＳ２００）、デコード画像記憶部１２００からアドレス１５１６をもとに最新のデコード画像を読み込んでスケール処理を行い（ステップＳ２１０）、受け取った始点１５１３とサイズ１５１４のビデオ画像を生成する（ステップＳ２２０）。

スケール部１３００は、依頼された位置とサイズのビデオ画像をビデオフレーム記憶部１４００に生成したら、スケール処理の完了通知をビデオ表示制御部１６００に送信する（ステップＳ２３０、ステップＳ２３１）。
図５（ａ）のオブジェクト情報１５１０では、ビデオオブジェクトが最も上に生成されることになるが、その上にグラフィックスオブジェクトが生成されてもよく、この場合は、このグラフィックスオブジェクトのスタック１５１５の値は、ビデオオブジェクトのスタック１５１５の値より小さな値となる。同様に、疑似ビデオ画像が複数ある場合は、ビデオオブジェクトが重なってもよい。

尚、本実施形態では、オブジェクト情報１５１０で管理されているオブジェクトの全てを、疑似ビデオのサイズ等を変更する（ステップＳ１１０参照）毎に表示することとしているが、疑似ビデオのサイズ等の変更により露出してしまうオブジェクト、すなわち、本来表示されるべき画像が欠けてしまうオブジェクトのみを、グラフィックスデータ記憶部２０００から読み出して生成することとしてもよい。

例えば、図５（ａ）のオブジェクト情報１５１０の場合、オブジェクトＩＤ１５１１が「ＩＤ３」の疑似ビデオ画像が、現在表示されている疑似ビデオ画像より小さく表示される場合は、疑似ビデオ画像より下に表示されるオブジェクトが欠けるか否かを判断する。このオブジェクトのスタック１５１５が「１」なので、スタックが「２」と「３」のオブジェクトの始点１５１３とサイズ１５１４とから、各オブジェクトが欠けるか否かを判断し、欠けてしまうと判断したオブジェクトを表示する。
＜実施形態２＞
＜概要＞
実施形態１では、疑似ビデオ画像は、動画像のストリームデータを復号したデコード画像を基に生成していたが、本実施形態では、ビデオフレーム記憶部１４００に記憶されているビデオ画像を基に生成する点が異なる。

実施形態１では、疑似ビデオ画像はデコード画像を拡大・縮小して生成するが、この際、疑似ビデオ画像のサイズとデコード画像のサイズとの差が大きい場合には、デコード画像の読み込みに時間がかかる場合がある。また、拡大・縮小フィルタの次数が小さい場合には、画像の劣化を防止するために複数回に分けて拡大・縮小する場合があり、この場合には疑似ビデオ画像を生成するのに時間がかかる場合が生じ得る。

そこで、本実施形態では、サイズがより近いビデオ画像を基に、疑似ビデオ画像を生成するものである。
＜構成＞
図９は、本実施形態に係る表示装置７００の構成を示す機能ブロック図である。
表示装置７００は、デコード部１１００、デコード画像記憶部１２００、スケール部１３００、ビデオフレーム記憶部１４００、表示制御部７５００、ビデオ表示制御部１６００、疑似ビデオ生成部７７００、合成部１８００、グラフィックスデータ記憶部２０００、グラフィックス生成部２１００、グラフィックスフレーム記憶部２２００及びアプリケーション処理部２３００とで構成される。

表示装置７００は、実施形態１に係る表示装置１００（図１参照）の構成とほぼ同じであり、異なる機能部は、表示制御部７５００と疑似ビデオ生成部７７００のみである。他の機能部は、表示装置１００の同じ符号の付いた機能部と同様である。
表示制御部７５００は、実施形態１では、ビデオ表示制御部１６００に画像の生成を依頼する際に、疑似ビデオ画像の基となるデコード画像のアドレスを渡すが、本実施形態では、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」の始点１５２２とサイズ１５２３を渡す点が異なる。すなわち、ビデオフレームにおけるビデオ画像の位置と大きさを渡す。

また、疑似ビデオ生成部７７００は、実施形態１の疑似ビデオ生成部１７００がデコード画像記憶部１２００から基となる画像データを読み出したのに対し、本実施形態では、ビデオフレーム記憶部１４００から基となる画像データを読み出す点が異なる。
＜データ＞
表示装置７００で用いる主なデータについては、実施形態１の表示装置１００が用いる図５に示すデータと同じである。

＜動作＞
図１０は、本実施形態の、ビデオ画像が拡大される場合を示す図である。
図４で示した実施形態１の場合と、疑似ビデオ画像を生成して表示する点は同じであるが、実施形態１では、疑似ビデオ画像３２０はデコード画像から生成されているが、疑似ビデオ画像７１０はビデオ画像から生成されている点が異なる。実施形態１と同様に、拡大されたビデオ画像７１１が生成されたときに、グラフィックス画像に透明領域７１２を生成してビデオ画像が表示される。尚、本図では、疑似ビデオ画像は、右斜線が引かれている。

以下、本発明に係る表示装置７００の動作について図１１と図１２とを用いて説明する。
図１１は、ビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。
本タイミングチャートは、実施形態１のタイミングチャート（図７参照）とほほ同じであり、異なる点は、疑似ビデオ生成部７７００がビデオフレーム記憶部１４００から画像データを読み出している点である（画像データの送信７２０）。

次に、図１２は、表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。
本フローチャートは、実施形態１のフローチャート（図８参照）とほほ同じであり、異なる点は、ステップＳ７００において、疑似ビデオ生成部７７００がビデオフレーム記憶部１４００から画像データを読み出している点のみである。

以下、図８の実施形態１のフローチャートと異なる点を中心に、表示制御部７５００とビデオ表示制御部１６００と疑似ビデオ生成部１７００とが行う表示制御処理と、スケール部１３００が行う変更処理とを説明する。
ユーザがビデオ画像を拡大する操作を行い、操作を検知したアプリケーション処理部２３００が、表示制御部７５００にビデオ画像の拡大を指示し、ビデオ画像を拡大する指示を取得した表示制御部７５００は（ステップＳ１００）、表示する疑似ビデオ画像の位置とサイズとを算出する（ステップＳ１１０）。

疑似ビデオ画像の位置とサイズとを算出した表示制御部７５００は、その後、オブジェクト情報１５１０の種別１５１２とスタック１５１５に応じて、全てのオブジェクトを生成する（ステップS１１５〜ステップＳ１５５）。
グラフィックス画像を生成する場合（ステップＳ１１５：グラフィック）、表示制御部７５００は、グラフィック生成部２１００に依頼し、グラフィックスオブジェクトを生成する（ステップＳ１２０）。

また、疑似ビデオ画像を生成する場合（ステップＳ１１５：ビデオ）、表示制御部７５００は、算出した疑似ビデオ画像の位置とサイズと、ビデオ画像の始点とサイズとをビデオ表示制御部１６００に渡し、画像の生成を依頼する。ビデオ画像の始点とサイズとは、具体的には、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」の始点１５２２とサイズ１５２３である。

ビデオ表示制御部１６００は、表示制御部７５００から受け取った始点等の情報とを疑似ビデオ生成部７７００に渡して、ビデオフレーム記憶部１４００から疑似ビデオ画像の基となる画像を読み出して疑似ビデオ画像を生成するよう依頼する。
依頼を受けた疑似ビデオ生成部７７００は、ビデオフレーム記憶部１４００からビデオ画像を読み出し、読み出したビデオ画像から疑似ビデオ画像をグラフィックスフレーム記憶部２２００に生成する（ステップＳ７００）。

オブジェクトの生成を依頼したビデオ表示制御部１６００は、スケール部にビデオ画像のスケール処理を指示していない場合（ステップＳ１４０：ＮＯ）は、指示されたサイズ等に変更する処理を依頼する（ステップＳ１５０）。
まだ表示していないオブジェクトがある場合（ステップＳ１５５：ＮＯ）は、次のオブジェクト、すなわち、スタック１５１５の値が次に小さいオブジェクトの生成を開始する（ステップＳ１１５）。

全てのオブジェクトの生成が終了（ステップＳ１５５：ＹＥＳ）しても、スケール部１３００からのスケール処理の完了通知を受けていない場合（ステップＳ１６０：ＮＯ）には、ビデオ表示制御部１６００は、表示制御部７５００にスケール処理が完了していない旨を通知し、通知を受けた表示制御部７５００は、次に表示するための疑似ビデオ画像の位置とサイズを算出し（ステップＳ１１０）、ステップＳ１６０までの処理を繰り返す。

スケール部１３００からのスケール処理の完了通知を受けていた場合（ステップＳ１６０：ＹＥＳ）、ビデオ表示制御部１６００は、その旨を、表示制御部７５００に通知し、疑似ビデオ生成部７７００に、ビデオ画像に対応する部分を透明色にするよう依頼する。
依頼を受けた疑似ビデオ生成部７７００は、該当部分を透明にし（ステップＳ１７０）、スケール処理が完了していることを通知された表示制御部７５００は、ビデオ画像の変更処理を終了する。

一方、スケール処理を依頼されたスケール部１３００は、位置とサイズとアドレスとを取得し（ステップＳ２００）、デコード画像記憶部１２００からアドレス１５１６に記憶されているデコード画像を読み込んでスケール処理を行い（ステップＳ２１０）、ビデオ画像を生成する（ステップＳ２２０）。スケール部１３００は、ビデオ画像を生成したら、スケール処理の完了通知をビデオ表示制御分１６００に送信する（ステップＳ２３０、ステップＳ２３１）。
＜実施形態３＞
＜概要＞
実施形態１は、疑似ビデオ画像は、動画像のストリームデータを復号したデコード画像を基に生成し、実施形態２では、ビデオフレーム記憶部１４００に記憶されているビデオ画像を基に生成していたが、本実施形態では、デコード画像かビデオ画像かを選択して、選択した画像を基に生成する点が異なる。

本実施形態では、画像データの読み込みにかかる時間や、縮小処理の時間がより短くなるように、デコード画像とビデオ画像のうち、サイズが疑似ビデオ画像により近いほうの画像を基に、疑似ビデオ画像を生成するものである。
例えば、デコード画像のサイズがビデオデータによって異なる場合には、デコード画像のサイズに応じて基となる画像を選択できるので、疑似ビデオ画像の生成時間を短縮できるという効果がある。

＜構成＞
図１３は、本実施形態に係る表示装置８００の構成を示す機能ブロック図である。
表示装置８００は、デコード部１１００、デコード画像記憶部１２００、スケール部１３００、ビデオフレーム記憶部１４００、表示制御部８５００、ビデオ表示制御部１６００、疑似ビデオ生成部８７００、画像選択部８７１０、合成部１８００、グラフィックスデータ記憶部２０００、グラフィックス生成部２１００、グラフィックスフレーム記憶部２２００及びアプリケーション処理部２３００とで構成される。

表示装置８００は、実施形態１に係る表示装置１００（図１参照）の構成とほぼ同じであり、異なる機能部は、表示制御部８５００、疑似ビデオ生成部８７００、画像選択部８７１０である。他の機能部は、表示装置１００の同じ符号の付いた機能部と同様である。
表示制御部８５００は、実施形態１の表示制御部１５００の有する機能に加え、拡大指示をアプリケーション処理部２３００から受けた際に、画像選択部８７１０に、現在のビデオ画像のサイズを通知する機能を有する。具体的には、ビデオ画像配置情報１５２０の画像種別１５２１が「ビデオ画像」のサイズ１５２３を通知する。

また、疑似ビデオ生成部８７００は、実施形態１の疑似ビデオ生成部１７００がデコード画像記憶部１２００から基となる画像データを読み出したのに対し、本実施形態では、画像選択部８７１０に疑似ビデオ画像のサイズを渡して、画像データを受け取る点が異なる。
画像選択部８７１０は、疑似ビデオ生成部８７００から疑似ビデオ画像のサイズを受け取り、現在のビデオ画像のサイズとデコード画像のサイズとから、サイズが近いほうの画像を選択する。現在のビデオ画像のサイズは、表示制御部８５００から通知され、デコード画像のサイズは、疑似ビデオ生成部８７００から疑似ビデオ画像のサイズと供に受け取るものである。

画像選択部８７１０は、選択した方の画像データを読み出し、疑似ビデオ生成部８７００に渡す機能を有する。
＜データ＞
表示装置７００で用いる主なデータについては、実施形態１の表示装置１００が用いる図５に示すデータと同じである。

＜動作＞
図１４は、本実施形態の、ビデオ画像が拡大される場合を示す図である。
本図では、デコード画像から生成した疑似ビデオ画像には横斜線が引かれており、ビデオ画像から生成した疑似ビデオ画像には右斜線が引かれている。
すなわち、疑似ビデオ画像８１０は、ビデオ画像から生成され、疑似ビデオ画像８１１は、デコード画像から生成されている。

以下、本発明に係る表示装置８００の動作について図１５〜図１７とを用いて説明する。
図１５は、ビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。
本タイミングチャートは、実施形態１のタイミングチャート（図７参照）とほほ同じであり、異なる点は、疑似ビデオ生成部８７００がデコード画像記憶部１２００又はビデオフレーム記憶部１４００から画像データを読み出している点である（画像データの送信８２０、８２１）。

次に、図１６は、表示装置８００の表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートであり、図１７は、疑似ビデオ生成処理を表すフローチャートである。
図１６のフローチャートは、実施形態１のフローチャート（図８参照）とほほ同じであり、異なる点は、ステップＳ８００において、表示制御部８５００が、画像選択部８７１０に、現在のビデオ画像のサイズを通知する点と、ステップＳ８１０で、画像選択部８７００が疑似ビデオ画像の基となる画像を選択して、選択した画像から疑似ビデオ画像を生成する点である。ステップＳ８１０の処理は、図１７を用いて、後で説明する。

以下、図８の実施形態１のフローチャートと異なる点を中心に、図１６を用いて、表示制御部８５００とビデオ表示制御部１６００と疑似ビデオ生成部８７００とが行う表示処理と、スケール部１３００が行う変更処理とを説明する。
ユーザがビデオ画像を拡大する操作を行い、操作を検知したアプリケーション処理部２３００が、表示制御部８５００にビデオ画像の拡大を指示し、ビデオ画像を拡大する指示を取得した表示制御部８５００は（ステップＳ１００）、表示する疑似ビデオ画像の位置とサイズとを算出する（ステップＳ１１０）。

また、表示制御部８５００は、画像選択部８７１０に、現在のビデオ画像のサイズを通知する（ステップＳ８００）。通知を受けた画像選択部８７１０は、内部のメモリに現在のビデオ画像のサイズを記憶する。
疑似ビデオ画像の位置とサイズとを算出した表示制御部８５００は、その後、オブジェクト情報１５１０の種別１５１２とスタック１５１５に応じて、全てのオブジェクトを生成する（ステップS １１５〜ステップＳ１５５）。

グラフィックス画像を生成する場合（ステップＳ１１５：グラフィック）、表示制御部８５００は、グラフィック生成部２１００に依頼し、グラフィックスオブジェクトを生成する（ステップＳ１２０）。
また、疑似ビデオ画像を生成する場合（ステップＳ１１５：ビデオ）、表示制御部８５００は、表示制御部８５００は、算出した疑似ビデオ画像の位置とサイズとデコード画像のアドレスとをビデオ表示制御部１６００に渡し、画像の生成を依頼する。ビデオ表示制御部１６００は、デコード画像記憶部１２００からデコード画像のサイズを取得し、取得したサイズと表示制御部８５００から受け取った始点等の疑似ビデオの情報とを疑似ビデオ生成部８７００に渡して、疑似ビデオ画像を生成するよう依頼する。

依頼を受けた疑似ビデオ生成部８７００は、疑似ビデオ画像をグラフィックスフレーム記憶部２２００に生成する。
オブジェクトの生成を依頼したビデオ表示制御部１６００は、スケール部にビデオ画像のスケール処理を指示していない場合（ステップＳ１４０：ＮＯ）は、指示されたサイズ等に変更する処理を依頼する（ステップＳ１５０）。

まだ表示していないオブジェクトがある場合（ステップＳ１５５：ＮＯ）には、次のオブジェクト、すなわち、スタック１５１５の値が次に小さいオブジェクトの生成を開始する（ステップＳ１１５）。
全てのオブジェクトの生成が終了し（ステップＳ１５５：ＹＥＳ）、スケール部１３００からのスケール処理の完了通知を受けていない場合（ステップＳ１６０：ＮＯ）には、ビデオ表示制御部１６００は、表示制御部８５００にスケール処理が完了していない旨を通知し、スケール処理が完了していない旨の通知を受けた表示制御部８５００は、次に表示するための疑似ビデオ画像の位置とサイズを算出し（ステップＳ１１０）、ステップＳ１６０までの処理を繰り返す。

スケール部１３００からのスケール処理の完了通知を受けていた場合（ステップＳ１６０：ＹＥＳ）、ビデオ表示制御部１６００は、その旨を、表示制御部８５００に通知し、疑似ビデオ生成部８７００に、ビデオ画像に対応する部分を透明色にするよう依頼する。
依頼を受けた疑似ビデオ生成部８７００は、該当部分を透明にし（ステップＳ１７０）、スケール処理が完了していることを通知された表示制御部８５００は、ビデオ画像の変更処理を終了する。

一方、スケール処理を依頼されたスケール部１３００は、位置とサイズとアドレスとを取得し（ステップＳ２００）、デコード画像記憶部１２００からアドレス１５１６に記憶されているデコード画像を読み込んでスケール処理を行い（ステップＳ２１０）、ビデオ画像を生成する（ステップＳ２２０）。スケール部１３００は、ビデオ画像を生成したら、スケール処理の完了通知をビデオ表示制御分１６００に送信する（ステップＳ２３０、ステップＳ２３１）。

次に、図１７を用いて、表示装置８００の疑似ビデオ生成（ステップＳ８１０）の処理を説明する。
依頼を受けた疑似ビデオ生成部８７００は、ビデオ表示制御部１６００から受け取ったデコード画像のサイズ及びアドレスと、疑似ビデオ画像のサイズとを画像選択部８７１０に渡し、画像データの読み込みを依頼する。

依頼を受けた画像選択部８７１０は（ステップＳ８５０）、表示制御部８５００から通知された現在のビデオ画像のサイズと、疑似ビデオ生成部８７００から受け取ったデコード画像のサイズとから、疑似ビデオ画像に近いサイズの画像を判定する（ステップＳ８６０）。
デコード画像の方が近いと判断した場合は（ステップＳ８６０：デコード画像）、デコード画像記憶部１２００からデコード画像を読み込み、疑似ビデオ生成部８７００に返す。

また、ビデオ画像の方が近いと判断した場合は（ステップＳ８６０：ビデオ画像）、ビデオフレーム記憶部からビデオ画像を読み込み、疑似ビデオ生成部８７００に返す。
画像選択部８７１０から画像データを受け取った疑似ビデオ生成部８７００は、受け取った画像から疑似ビデオ画像を生成する（ステップＳ８９０）。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）実施形態では、スケール部１３００からのスケール処理の完了通知を受信したら、グラフィックス画像の一部を透明色としているが、一定時間が経過したら透明色とすることとしてもよい。この場合、スケール処理の時間よりも長く設定しておく必要がある。
（２）実施形態では、ビデオ画像を拡大する例を説明したが、ビデオ画像を縮小したり、移動したりする場合であってももちろんよい。例えば、縮小する場合は、背景等のグラフィックス画像を描画し、段階的に小さくなるビデオ画像を生成して表示する。
（３）実施形態では、疑似ビデオ画像は、ビデオ画像と同様の内容の画像、すなわち、ビデオ画像そのものやビデオ画像の基であるデコード画像から生成した画像としているが、ビデオ画像に表示される画像を変形した画像であっても、また、まったく違う内容の画像であってもよい。

また、矩形以外の形状であってもよく、例えば、円や楕円等であってもよい。
例えば、疑似ビデオ画像を表示する際に、３次元グラフィックス技術を使用して、画像の矩形領域を回転させて表示したり等、様々な表示効果を付加した画像を擬似ビデオ画像として表示するなどである。
（４）実施形態では、ビデオ画像を生成するのに用いられる拡大・縮小フィルタの方が、疑似ビデオ画像を生成するのに用いられる拡大・縮小フィルタよりも高次のフィルタであるとしているが、同じ特性のフィルタであってもよい。

同じ特性のフィルタの場合は、例えば、ビデオフレーム記憶部１４００に記憶する画像の解像度よりも、グラフィックスフレーム記憶部２２００に記憶する画像の解像度の方が低い必要がある。すなわち、解像度が低い分、処理時間が短くて済むからであり、ビデオ画像を拡大・縮小している間に、疑似ビデオ画像を生成することが可能となるからである。

また、グラフィックスフレーム記憶部２２００に記憶する画像の解像度の方が低い場合は、グラフィックス画像を拡大してビデオ画像と合成して表示することとなる。この場合、疑似ビデオ画像からビデオ画像に切り替わったとき、すなわち、グラフィックス画像の一部が透明となりビデオ画像が表示されたときには、解像度の差が目立ってしまう場合がある。解像度の差が目立つ場合には、グラフィックス画像のビデオ画像部分の透明度を徐々に上げることで、目立たなくすることとしてもよい。この場合、ビデオ画像が描画中である場合は必ず不透明としておくなど、ビデオ画像の状態を考慮して、透明度を変える必要がある。

また、解像度の大小に係らず、疑似ビデオ画像からビデオ画像に切り替わる場合には、ビデオ画像とグラフィックス画像のピクセル毎の合成比を段階的に変えることで、スムーズな切り替わりを実現することとしてもよい。
（５）実施形態では、疑似ビデオ画像は、ビデオ画像のスケール処理を行っている間、表示することとしているが、ビデオ画像のスケール処理の前や後にも表示してもよい。例えば、ビデオ画像の拡大・縮小がディスプレイ上でスムーズに見えるように、大きさが段階的に変化する疑似ビデオ画像を表示して、拡大されたビデオ画像を表示するなどである。
（６）表示装置は、図１、図９、図１３の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。
（７）表示装置は、図１、図９、図１３の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。コンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。

本発明は、同一ディスプレイに表示されている動画像と静止画像との表示形態を変更する場合に適用することができる。

表示装置１００の構成を示す機能ブロック図である。 動画像と静止画像とを同一のディスプレイ上に表示する仕組みを示す図である。 従来の問題点である、ビデオ画像が拡大される場合に生ずる画像のずれを示す図である。 本願発明の、ビデオ画像が拡大される場合を示す図である。 図５（ａ）は、オブジェクト情報１５１０の構成及び内容例を示す図であり、図５（ｂ）は、ビデオ画像配置情報１５２０の構成及び内容例を示す図であり、図５（ｃ）は、変更指示情報２３１０の構成及び内容例を示す図である。 表示画面とオブジェクトの関係の具体例を示す図である。 ビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。 表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。 実施形態２の表示装置７００の構成を示す機能ブロック図である。 実施形態２において、ビデオ画像が拡大される場合を示す図である。 実施形態２においてビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。 実施形態２における、表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。 実施形態３の表示装置８００の構成を示す機能ブロック図である。 実施形態３において、ビデオ画像が拡大される場合を示す図である。 実施形態３においてビデオ画像を拡大する処理を行う場合の、各機能部の処理のタイミングチャートである。 実施形態３における、表示制御処理と、ビデオ画像のサイズ等の変更処理を表すフローチャートである。 実施形態３における、疑似ビデオ画像生成処理を表すフローチャートである。

符号の説明

１００ ７００ ８００ 表示装置
２００ ディスプレイ
１０００ ビデオデータ記憶部
１１００ デコード部
１２００ デコード画像記憶部
１３００ スケール部
１４００ ビデオフレーム記憶部
１５００ ７５００ ８５００ 表示制御部
１６００ ビデオ表示制御部
１７００ ７７００ ８７００ 疑似ビデオ生成部
１８００ 合成部
２０００ グラフィックスデータ記憶部
２１００ グラフィックス生成部
２２００ グラフィックスフレーム記憶部
２３００ アプリケーション処理部
８７１０ 画像選択部

Claims (7)

1. 画像を記憶する第１メモリと第２メモリと、
   前記第１メモリに記憶されている画像と前記第２メモリに記憶されている画像とを、前記第２メモリに記憶されている画像が前面になるように合成した画像をディスプレイに表示する表示手段と、
   画像を前記第１メモリに生成する第１画像生成手段と、
   画像を前記第２メモリに生成する第２画像生成手段と、
   前記第１メモリに記憶する画像の表示サイズ又は表示位置を取得する取得手段と、
   前記取得手段で表示サイズ又は表示位置を取得した場合は、前記第１画像生成手段に当該表示サイズ又は表示位置の画像の生成を開始させ、当該生成が終了するまでの間、前記第２画像生成手段に、前記第１画像生成手段が生成している画像を覆う大きさの不透明な画像を生成させて前記表示手段で表示し、前記第１画像生成手段の画像の生成が終了したら、前記第２画像生成手段に、前記第１画像生成手段が生成した画像の前面となる部分が透明である画像を生成させて前記表示手段で表示する表示制御手段と
   を備えることを特徴とする表示装置。
2. 前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの１フレーム画像に基づいて、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、
   前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段により生成を開始させた前記１フレーム画像から生成される画像である
   ことを特徴とする請求項１記載の表示装置。
3. 前記第２画像生成手段は、前記第1画像生成手段による画像の生成よりも短い時間で、第１動画像生成手段が生成する画像よりも精度の低い画像を第２メモリに生成する
   ことを特徴とする請求項２記載の表示装置。
4. 前記第２画像生成手段は、前記１フレーム画像から生成する画像以外に、他の画像を前記第２メモリに生成し、
   前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段による画像の生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、当該表示サイズ又は表示位置の画像と前記他の画像であり、前記第１画像生成手段の画像の生成が終了後に前記第２画像生成手段に生成させる画像は、前記他の画像である
   ことを特徴とする請求項２記載の表示装置。
5. 前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの各１フレーム画像から、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、
   前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段に生成を開始させたときに前記第１メモリに記憶されている画像から生成される画像である
   ことを特徴とする請求項１記載の表示装置。
6. 前記第１画像生成手段は、動画像を構成する複数フレーム画像のうちの１フレーム画像から、所定の表示サイズ及び所定の表示位置の画像を前記第1メモリに生成し、
   前記表示制御手段が、前記取得手段で表示サイズ又は表示位置を取得した場合に、前記第１画像生成手段に生成を開始させる画像は、前記１フレーム画像から生成される画像であり、当該生成が終了するまでの間、前記第２画像生成手段に生成させる画像は、前記第１画像生成手段に生成を開始させた１フレーム画像と前記第１画像生成手段に生成を開始させたときに前記第１メモリに記憶されている画像のうち、画像の大きさが前記第２画像生成手段に生成させる画像の大きさに近い方の画像から生成される画像である
   ことを特徴とする請求項２記載の表示装置。
7. 画像を記憶する第１メモリと第２メモリとディスプレイとを備える表示装置で用いられる画像表示方法であって、
   前記第１メモリに記憶されている画像と前記第２メモリに記憶されている画像とを、前記第２メモリに記憶されている画像が前面になるように合成した画像を前記ディスプレイに表示する表示ステップと、
   画像を前記第１メモリに生成する第１画像生成ステップと、
   画像を前記第２メモリに生成する第２画像生成ステップと、
   前記第１メモリに記憶する画像の表示サイズ又は表示位置を取得する取得ステップと、
   前記取得ステップで表示サイズ又は表示位置を取得した場合は、前記第１画像生成ステップで当該表示サイズ又は表示位置の画像の生成を開始させ、当該生成が終了するまでの間、前記第２画像生成ステップで、前記第１画像生成ステップで生成している画像を覆う大きさの不透明な画像を生成させて前記表示ステップで表示し、前記第１画像生成ステップで画像の生成が終了したら、前記第２画像生成ステップで、前記第１画像生成ステップで生成した画像の前面となる部分が透明である画像を生成させて前記表示ステップで表示する表示制御ステップと
   を備えることを特徴とする画像表示方法。

Images