JP5335368B2 - 画像表示装置、携帯端末 - Google Patents

Description

本発明は、表示画面上で映像の表示位置を自由に変更できる画像表示装置に関するものである。

任意の画像を表示している表示画面上に、該表示画面の表示面積よりも小さい表示面積の映像を上記画像に重ねて表示する画像表示装置が広く知られている。例えば、パーソナルコンピュータのモニタ上に表示されている実行中のアプリケーション画面に、当該アプリケーション画面の表示面積よりも小さい表示面積のテレビ映像を重ねて表示する場合を挙げることができる。

このように、映像の表示面積が、表示画面の表示面積よりも小さい場合、一般に、映像の表示位置及び表示サイズの変更が可能となっている。例えば特許文献１には、画面に表示中の映像を所望する位置に移動させる技術が開示されている。
特開２００４−２５４０５３（２００４年９月９日公開）

ところで、表示画面上で表示中の映像を任意の位置に移動させる場合、少なくとも以下の２つの処理を同時に行う必要がる。すなわち、映像の表示位置を任意の表示位置まで移動させる移動処理、映像を表示させる表示処理とを同時に行う必要がある。これらの処理をストレス無く行うためには、処理対象データを一時的に格納するためのメモリ容量を大きくし、且つ、ＣＰＵの性能を高くする必要がある。特に、映像が動画像である場合には、上記の処理の負荷は大きくなる。

一般に、上記のような処理の負荷が大きくなった場合、メモリ容量を大きくし、且つ、ＣＰＵの性能を高めれば問題を解消できるものの、ＣＰＵの高性能化に伴って消費電力、発熱量が増大する。パーソナルコンピュータ等の据え置き型の情報処理装置の場合には、消費電力の問題はあまり気にせず、また、冷却装置も自由に設置できるので発熱量もあまり問題とならないが、ノートパソコン、ＰＤＡ（Personal Digital Assistant）、携帯電話機などの携帯端末装置の場合にはＣＰＵの高性能化は容易ではない。つまり、携帯端末装置の場合、消費電力はできるだけ少なくしなければ、駆動時間が短くなるので、できるだけ消費電力の少ないＣＰＵを使用することが望まれる。このように、消費電力が少ないＣＰＵは、一般的に処理能力が低く、上述したような動画を移動させるような高負荷な処理には適さない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、表示画面上で表示中の映像を任意の位置に移動させたり、拡大させたりする際の処理負荷を大幅に低減し得る画像表示装置を提供することにある。

本発明に係る画像表示装置は、上記課題を解決するために、複数のレイヤに表示された画像を重ねた合成画像を表示する画像表示装置において、第１レイヤに動画を表示させる動画表示制御手段と、第２レイヤに背景画を表示させる背景画表示制御手段と、第３レイヤに静止画を表示させる静止画表示制御手段と、各レイヤに表示された画像を重ねて合成画像を生成する合成画像生成手段と、上記合成画像生成手段により生成された合成画像が、上記動画表示制御手段により第１レイヤに表示された動画と、上記背景画表示制御手段により第２レイヤに表示された背景画とを重ねた合成画像であるときに、表示されている合成画像から動画を指定する動画指定手段と、上記動画指定手段によって指定された動画から静止画を取得する静止画取得手段とを備え、上記静止画表示制御手段は、上記静止画取得手段によって取得された静止画を上記第３レイヤに表示させ、上記動画表示制御手段は、上記静止画取得手段による静止画取得のタイミングで第１レイヤに表示されている動画の表示を停止させ、上記合成画像生成手段は、上記第１レイヤに表示された動画、上記第２レイヤに表示された背景画に加えて、上記第３レイヤに表示された静止画を重ねて合成画像を生成することを特徴としている。

上記の構成によれば、動画表示するための第１レイヤに表示されている動画が上記動画指定手段によって指定されたときに、上記静止画取得手段により指定された動画から静止画を取得し、上記静止画表示制御手段は、上記静止画取得手段によって取得された静止画を上記第３レイヤに表示させている。そして、上記動画表示制御手段は、上記静止画取得手段による静止画取得のタイミングで第１レイヤに表示されている動画の表示を停止させ、上記合成画像生成手段は、上記第１レイヤに表示された動画、上記第２レイヤに表示された背景画に加えて、上記第３レイヤに表示された静止画を重ねて合成画像を生成する。

これにより、合成画像は、第３レイヤに、第１レイヤに表示されていた動画に対応する静止画が表示されることになるので、この第３レイヤ上の静止画を移動させたり拡大させたりする処理を行うことになる。

従って、上記構成の場合、対象画像（ユーザが指定した動画）の移動処理及び拡大処理は、上記第３レイヤ上の静止画に対して行われるだけので、第１レイヤに表示されている動画を直接操作して表示位置や拡大処理を行う場合に比べて、処理量を大幅に低減することができる。つまり、表示画面上で表示中の映像を任意の位置に移動させたり、拡大させたりする際にの処理負荷を大幅に低減することができる。

このため、上記構成を利用すれば、処理能力の低い、低消費電力、低発熱量のＣＰＵを使用することができるので、携帯電話等の低消費電力、低発熱量が必要とされる携帯端末に有効に利用できるという効果を奏する。

上記静止画表示制御手段により上記第３レイヤに表示されている静止画に対して移動処理及び拡大処理を行う移動拡大制御手段をさらに備え、上記動画表示制御手段は、上記移動拡大制御手段による、静止画の移動処理及び拡大処理の終了が検知されたときに、当該静止画に対して処理された移動位置及び拡大率で、上記第１レイヤに表示されている動画の表示を再開させるようにするのが好ましい。

上記構成によれば、上記動画表示制御手段が、上記移動拡大制御手段による、静止画の移動処理及び拡大処理の終了が検知されたときに、当該静止画に対して処理された移動位置及び拡大率で、上記第１レイヤに表示されている動画の表示を再開させることで、最初に第１レイヤに表示されていた動画を所望する位置に移動させると共に、所望する拡大率で表示させることができる。

上記第１レイヤに、少なくとも２つの異なる動画が表示されているとき、上記動画指定手段は、表示されている合成画像から一つの動画を指定することにより、指定された動画を少ない処理量で移動拡大することが可能となる。

上記移動拡大制御手段は、上記第３レイヤに表示されている静止画に対して半透過処理を施すようにしてもよい。

この場合、移動拡大処理の対象となる静止画が半透過になるので、ユーザは、静止画に重なっている背景画を把握することができる。

これにより、所望した拡大率で拡大された静止画を所望する位置に的確に配置させることができるので、ユーザによる操作性の向上を図ることができる。

上記合成画像を表示する表示手段と、上記表示手段の表示面に対応するように、該表示面上に積層されたタッチパネルとを有し、上記動画指定手段は、上記タッチパネルをタッチしたことにより出力される検出信号から、上記表示手段に表示されている動画の表示位置を示す座標情報を求めて、この座標情報により動画を指定するようにしてもよい。

上記の構成によれば、動画指定手段として、タッチパネルを使用することができるので、ユーザは所望する動画に対する指定、移動、拡大等の処理を感覚的に行うことができる。

以上のような構成の画像表示装置は、上述したように、処理量及び発熱量を抑えたものであるので、携帯端末に好適である。

本発明の画像表示装置は、複数のレイヤに表示された画像を重ねた合成画像を表示する画像表示装置において、第１レイヤに動画を表示させる動画表示制御手段と、第２レイヤに背景画を表示させる背景画表示制御手段と、第３レイヤに静止画を表示させる静止画表示制御手段と、各レイヤに表示された画像を重ねて合成画像を生成する合成画像生成手段と、上記合成画像生成手段により生成された合成画像が、上記動画表示制御手段により第１レイヤに表示された動画と、上記背景画表示制御手段により第２レイヤに表示された背景画とを重ねた合成画像であるときに、表示されている合成画像から動画を指定する動画指定手段と、上記動画指定手段によって指定された動画から静止画を取得する静止画取得手段と、上記合成画像を表示する表示手段とを備え、上記動画表示制御手段は、上記第１レイヤに、異なる２つの動画を表示させているときに、上記動画指定手段によって、上記第１レイヤに表示されている何れか一方の動画が指定されたことを検出した場合に、上記の動画の表示位置を入れ替えて表示させることを特徴としている。

上記の構成によれば、上記動画表示制御手段は、上記第１レイヤに、異なる２つの動画を表示させているときに、上記動画指定手段によって、上記第１レイヤに表示されている何れか一方の動画が指定されたことを検出した場合に、上記の動画の表示位置を入れ替えて表示させることで、簡単に動画の表示位置を入れ替えることができる。

上記合成画像を表示する表示手段と、上記表示手段の表示面に対応するように、該表示面上に積層されたタッチパネルとを有し、上記動画表示制御手段は、上記動画指定手段が、上記タッチパネルをタッチしたことにより出力される検出信号から、上記表示手段に表示されている動画の表示位置を示す座標情報を求めて、この座標情報により動画を指定したときに、指定された動画と指定されていない動画との表示位置を入れ替えるようにしてもよい。

この場合、ユーザは、タッチパネルをタッチするだけで、動画の表示位置を簡単に入れ替えることができる。

本発明に係る画像表示装置は、以上のように、複数のレイヤに表示された画像を重ねた合成画像を表示する画像表示装置において、第１レイヤに動画を表示させる動画表示制御手段と、第２レイヤに背景画を表示させる背景画表示制御手段と、第３レイヤに静止画を表示させる静止画表示制御手段と、各レイヤに表示された画像を重ねて合成画像を生成する合成画像生成手段と、上記合成画像生成手段により生成された合成画像が、上記動画表示制御手段により第１レイヤに表示された動画と、上記背景画表示制御手段により第２レイヤに表示された背景画とを重ねた合成画像であるときに、表示されている合成画像から動画を指定する動画指定手段と、上記動画指定手段によって指定された動画から静止画を取得する静止画取得手段とを備え、上記静止画表示制御手段は、上記静止画取得手段によって取得された静止画を上記第３レイヤに表示させ、上記動画表示制御手段は、上記静止画取得手段による静止画取得のタイミングで第１レイヤに表示されている動画の表示を停止させ、上記合成画像生成手段は、上記第１レイヤに表示された動画、上記第２レイヤに表示された背景画に加えて、上記第３レイヤに表示された静止画を重ねて合成画像を生成することで、表示画面上で表示中の映像を任意の位置に移動させたり、拡大させたりする際の処理負荷を大幅に低減することができるという効果を奏する。

通常、レイヤは、そのレイヤに表示された画像をどの位置で合成するを示す位置情報を格納する位置情報格納部と、そのレイヤに表示された画像を半透過として合成するか否かを示す半透過情報を格納する半透過情報格納部と、実際の画像データが格納されるフレームバッファとから成る。

フレームバッファの画像データの書き換えには多くの処理量が必要であるが、レイヤに表示されている静止画を移動させるだけの場合、単に位置情報を書き換えるだけよい。

従って、上記のように、動画を表示するための第１レイヤではフレームバッファへの画像データの書き換えを頻繁にする必要があるので、処理量が多くなるが、静止画を表示するための第３レイヤでは位置情報格納部における位置情報を書き換えるだけでよいので、第１レイヤにおける処理量よりも少ない処理量となる。

本発明の一実施の形態について説明すれば、以下の通りである。なお、本実施の形態では、画像表示装置を携帯電話に搭載した場合の例について説明する。

図４（ａ）（ｂ）は、上記構成の画像表示装置を備えた携帯電話１の概観を示す図である。

上記携帯電話１は、図４（ａ）（ｂ）に示すように、第１筐体１０と第２筐体２０とが矢印ＸＹ方向に互いにスライド可能に設けられたスライド方式の携帯電話である。この携帯電話１は、通常の電話機能、メール送受信機能の他に、ワンセグ受信機能、動画再生機能、音楽再生機能、テレビ電話機能等の様々のマルチメディア機能を搭載しているものとする。

ここで、上記携帯電話１において、図４（ａ）に示す状態、すなわち、第１筐体１０と第２筐体２０とが完全に重なった状態を第１状態とし、図４（ｂ）に示すように、第１筐体１０と第２筐体２０とがスライド移動した状態を第２状態とする。

例えば、上記携帯電話１の電話機能、メール送受信機能を利用する場合には、図４（ａ）に示す第１状態が待ち受け状態、図４（ｂ）に示す第２状態が通話（メール操作）状態となる。また、ワンセグ受信機能等のマルチメディア機能を利用する場合には、主に、図４（ａ）に示す第１状態での利用となる。

上記第１筐体１０は、携帯電話本体となる本体部を構成するものであり、図４（ｂ）に示すように、上記第２筐体２０に対してスライド移動したときに、露出した面を操作面１０ａとしている。

この操作面１０ａには、電話機能、メール送受信機能等の携帯電話１の機能を実現する際に必要な操作キー群が配置されている。これら操作キー群が入力インターフェースとして機能する。

また、上記第２筐体２０は、携帯電話１において表示可能な情報（電話番号、動画、静止画、ワンセグ映像等）を表示する画像表示部を構成するものであり、さらに、第２筐体２０の表示面２０ａはユーザが直接指などでタッチして各種操作が行えるタッチパネルを用いた操作面を構成している。

このように、上記携帯電話１では、第１筐体１０の操作面１０ａに配置された操作キー群以外の入力インターフェースとして、第２筐体２０の表示面２０ａにタッチパネルを採用している。これにより、携帯電話１を、図４（ａ）に示す第１状態でもユーザが操作できるようになっている。なお、この第２筐体２０の表示面２０ａを操作面として使用する場合、主に、図４（ａ）に示すように、第１筐体１０に第２筐体２０を完全に重ね合わせた状態で使用するが、これに限定されるものではない。

以下に本携帯電話１においてテレビ電話機能を利用した場合の表示例について説明する。ここで、上記テレビ電話機能においては、通常表示モードと移動拡大表示モードの２つの表示モードを実行することができるようになっている。

一般に、テレビ電話では、相手の映像が表示画面上に表示され、さらに、相手にどのような自分の映像が映し出されているのかを確認するための自分の映像も表示画面上に表示される。このような場合を前提として、上記の通常表示モードとは、テレビ電話用の映像（自分と相手との映像）の大きさや表示位置を予め設定した状態で表示するモードである。また、移動拡大表示モードとは、本願発明の独自のモードであり、現在表示されている２つの映像（相手映像と自分映像）の何れか一方をユーザが指定して、表示画面上の所望する位置に移動、及び所望する大きさにして表示するモードである。

以下に、これら２つの表示モードについて説明する。

なお、上記の表示モードを説明する前に、本実施形態に係る携帯電話１においては、第２筐体２０に搭載された画像表示装置がどのようにして表示するのかを簡単に説明する。上記画像表示装置は、複数のレイヤに表示された画像を合成して表示するマルチレイヤ表示を行うことが可能に構成されている。本実施の形態では、動画用レイヤ、背景用レイヤ、移動用レイヤの３つのレイヤに表示されている画像を合成するものとする。

この点を前提として、上記の２つの表示モードについて説明する。

ここで、本実施形態において、テレビ電話機能では、図４（ａ）及び図５（ａ）に示すように、レイヤ−０（動画用レイヤ）、レイヤ−１（移動用レイヤ）、レイヤ−３（背景用レイヤ）の３つの画像レイヤを使用するものとする。

図５（ａ）（ｂ）は、テレビ電話機能の通常表示モードにおけるレイヤ合成を説明する図である。

通常表示モードでは、図５（ａ）に示すように、レイヤ−０には第１映像３１（自分映像）と第２映像３２（相手映像）とが表示され、レイヤ−１には何も表示されず、レイヤ−３には背景画３３が表示され、これら各レイヤを合成して、図５（ｂ）に示す合成画像３４として、携帯電話１の第２筐体２０の表示面２０ａに表示される。この通常表示モードの場合、レイヤ−３、レイヤ−１、レイヤ−０の順番で合成される。

図６（ａ）（ｂ）は、テレビ電話機能の移動拡大表示モードにおけるレイヤ合成を説明する図である。

移動拡大表示モードでは、図６（ａ）に示すように、レイヤ−０には第１映像３１（自分映像）のみが表示され、レイヤ−１には第２画像をキャプチャして得られた静止画３２ａが移動拡大表示され、レイヤ−３には背景画３３が表示され、これら各レイヤを合成して、図６（ｂ）に示す合成画像３５として、携帯電話１の第２筐体２０の表示面２０ａに表示される。この移動拡大表示モードの場合、レイヤ−３、レイヤ−０、レイヤ−１の順番で合成される。

この移動拡大表示モードは、ユーザが静止画３２ａをタッチして移動（拡大）させている間実行される一時的な表示モードである。具体的には、移動拡大表示モードは、ユーザが所望する位置にタッチした状態で静止画３２ａを移動させ、所望する拡大率に拡大させたと判断して、当該静止画３２ａのタッチを解除するまでの間実行される。

上記移動拡大表示モードの実行が終了した場合、移動、拡大された静止画３２ａは、移動用レイヤであるレイヤ−０に移り、当該静止画３２ａに対応する動画を第２映像３２として表示する。

上記の処理の概要を説明すると以下のようになる。

（１）複数のレイヤを用意する。本実施の形態では、動画用レイヤ、背景用レイヤ、移動用レイヤの３つのレイヤが用意されている。

（２）ドラッグなどで移動させたい動画について、動画のフレーム（静止画）を未使用であるレイヤ−１へコピーをする。

（３）レイヤ−０（動画用レイヤ）とレイヤ−３（背景用レイヤ）はそのまま表示させ、レイヤ−１（移動用レイヤ）を最上位へ移す。

（４）ドラッグなどの移動の処理は、レイヤ−１（移動用レイヤ）に対してだけ行う。

（５）移動が完了（タッチ動作完了）したら、レイヤ−１の静止画を削除し、レイヤ−０の同じ座標に対して動画を再生させる。

以下に、上記の処理を実現するためのハードウェア構成について説明する。

携帯電話１に備えられた本実施の形態に係る画像表示装置は、図１に示すように、表示部１００、表示データ生成部２００、データ供給部３００を含んだ構成である。この画像表示装置は、複数のレイヤに表示された画像を合成して表示するマルチレイヤ表示を行うことが可能となっている。

上記表示部１００は、上記表示データ生成部２００によって生成された表示データを表示する表示パネル１０１、上記表示パネル１０１上に積層され、ユーザの操作入力のために機能するタッチパネル１０２を含んでいる。

上記表示パネル１０１は、液晶表示パネル、有機ＥＬ（electro-luminescence）パネル等の薄型パネルで構成されるのが好ましい。

さらに、図示しないが、表示パネル１０１内には、表示データ生成部２００から受け取った表示データを当該表示パネル１０１に表示可能なデータに変換して出力する表示制御部が設けられている。

また、上記タッチパネル１０２は、静電容量方式、抵抗膜方式の何れであっても適用可能であるが、静電容量方式の方が好ましい。これは、静電容量方式は、抵抗膜方式と比べて光透過率が高いこと、そして、多点検出が出来ること等の利点を有しているためである。

上記タッチパネル１０２には、ユーザがタッチしたことによって得られた情報（表示画面上のタッチにより指定された位置情報等）を、ユーザのタッチ動作に連動した画像表示となる表示データとして上記表示データ生成部２００に送るためのタッチパネル制御部（図示せず）が設けられている。

上記表示データ生成部２００は、表示制御部２０１、マルチメディアエンジン（動画表示制御手段）２０２、入力制御部２０３、動画用レイヤ２０４、背景用レイヤ２０５、移動用レイヤ２０６、合成処理部２０７を含んでいる。

上記表示制御部２０１は、上記データ供給部３００からデータを取得し、取得したデータを上記各部に対して適切な状態で出力制御を行うようになっている。

すなわち、表示制御部２０１は、取得したデータが、マルチメディア用の表示データであれば、上記マルチメディアエンジン２０２へ転送し、背景用のデータであれば、上記背景用レイヤ２０５に転送し、移動用のデータであれば、上記移動用レイヤ２０６に転送する。この表示制御部２０１の詳細について後述する。

上記マルチメディアエンジン２０２は、上記表示制御部２０１から出力されたデータからマルチメディア用の表示データの一種である動画用データを生成し、後段の動画用レイヤ２０４にて表示させるようになっている。

上記入力制御部２０３は、表示部１００のタッチパネル１０２から検出信号を受け取って、制御信号として表示制御部２０１に転送するようになっている。この入力制御部２０３が取得する検出信号は、例えば、表示部１００の表示パネル１０１に表示されている画像を、タッチパネル１０２を介してユーザがタッチした場合に取得される当該画像の表示位置及び移動量を検出した情報を含んだ信号である。そして、入力制御部２０３が表示制御部２０１に出力する制御信号には、タッチした当該画像のキャプチャ（静止画を一時的に取り込むこと）を指示するための制御信号（キャプチャ指示制御信号）が含まれる。

上記動画用レイヤ２０４、背景用レイヤ２０５、移動用レイヤ２０６は、それぞれに対応する画像（静止画、動画）を表示させるための仮想的な表示パネルであり、これらレイヤに表示される画像は、上記合成処理部２０７によって重ねあわされ、合成画像データとして表示部１００に送られる。

上記データ供給部３００は、例えば、画像表示装置に備えられたハードディスクドライブ（ＨＤＤ）等の記憶装置に記憶されたデータ、インターネット等の通信ネットワークを経由して得られるデータ等を、上記表示データ生成部２００に供給するようになっている。

上記の動画用レイヤ２０４、背景用レイヤ２０５、移動用レイヤ２０６について、図２を参照しながら、以下に説明する。なお、動画用レイヤ２０４、背景用レイヤ２０５、移動用レイヤ２０６は、基本的に同じ構成であるので、まとめて説明する。

上記の各レイヤは、図２に示すように、当該レイヤに表示される画像をどの位置に合成するかを示す位置情報を格納する位置情報格納部４０１と、当該レイヤ４００に表示される画像を半透過として合成するか否かを示す半透過情報を格納する半透過情報格納部４０２と、実際の画像データが格納されるフレームバッファ４０３とで構成されている。

すなわち、各レイヤでは、フレームバッファ４０３に格納された画像データに対して、位置情報格納部４０１に格納された位置情報、半透過情報格納部４０２に格納された半透過情報に基づいた処理を行い、当該レイヤに表示される画像の合成位置、半透過か否かを示した画像データを後段の画像合成部２０７へ出力するようになっている。

上記マルチメディアエンジン２０２は、一定時間内に動画用レイヤ２０４のフレームバッファ４０３を複数回書き換えることにより、動画の表示を行う。

また、上記表示制御部２０１は、例えば通話時間を更新するなど書き換える必要が生じたときのみ背景レイヤ２０５のフレームバッファ４０３を変更する。

さらに、上記表示制御部２０１は、通常表示モードで移動開始指令を受けた場合、もしくは移動拡大表示モードで拡大縮小指令を受けた場合のみ、移動用レイヤ２０６のフレームバッファ４０３を書き換える。また、上記表示制御部２０１は、移動拡大表示モードで移動指令を受けた場合、移動用レイヤ２０６の位置情報格納部４０１の位置情報を書き換える。

ここで、上記のフレームバッファ４０３の書き換えには多くの処理量が必要になる。これに対して、静止画を移動させる場合には、フレームバッファ４０３に書き込んだ画像データを書き換えずに、位置情報格納部４０１に格納された位置情報を単に書き換えるだけである。これにより、静止画は、合成画像上で移動しているように見える。この場合の処理量は、画像データよりも容量の少ない位置情報の書き換えだけなので、フレームバッファ４０３に書き込んだ画像データを書き換える場合に比べて少なくなる。

ここで、上記表示制御部２０１の構成について詳細に説明する。

上記表示制御部２０１は、図３に示すように、データ取得部２１１、データ種別判定部２１２、背景データ生成部（背景画表示制御手段）２１３、キャプチャ部（静止画取得手段）２１４、移動データ生成部（静止画表示制御手段）２１５、移動拡大制御部（移動拡大制御手段）２１６を含んでいる。

上記データ取得部２１１は、データ供給部３００からのデータを取得するところであり、取得したデータを後段のデータ種別判定部２１２に転送するようになっている。

上記データ種別判定部２１２は、データ取得部２１１から転送されたデータの種別を判定して、判定結果に応じてデータを後段の適当な部に転送する。つまり、データ種別判定部２１２は、取得したデータが、例えば動画像等のマルチメディア用のデータであると判定した場合には、マルチメディアエンジン２０２にそのデータを転送し、背景用のデータであると判定した場合には、後段の背景データ生成部２１３に転送する。ここでのデータの判別は、例えば、各データに付与された識別コードを用いて行う。

上記背景データ生成部２１３は、データ種別判定部２１２から転送された背景用のデータから、背景用レイヤ２０５にて表示するための背景データを生成して、当該背景用レイヤ２０５に転送する。

また、上記表示制御部２０１は、上記データ取得部２１１からの流れではなく、現在、表示部１００において表示されている動画像をキャプチャして移動用のデータとして取得する機能を有している。この機能を実現するために、表示制御部２０１は、上記のキャプチャ部２１４、移動データ生成部２１５及び移動拡大制御部２１６を備えている。

上記キャプチャ部２１４は、表示パネル１０１に表示されている合成画像から、タッチパネル１０２をユーザがタッチする等の操作により指定された動画から、タッチされたタイミングのフレーム画像（静止画）をキャプチャするようになっている。具体的には、上記キャプチャ部２１４は、上記マルチメディアエンジン２０２から動画用レイヤ２０４へ転送される動画用のデータが転送されており、上述の入力制御部２０３からキャプチャ指示制御信号を受け取ると、現在、マルチメディアエンジン２０２から送られている動画用のデータから動画をキャプチャして静止画用のデータを得て、そのデータを移動データ生成部２１５に転送する。

なお、上記のマルチメディアエンジン２０２は、複数の動画を同時に表示させる能力を有しているが、上記キャプチャ部２１４いよるキャプチャ動作が行われている間、指定された動画の表示を一時停止し、キャプチャ動作から移動拡大処理が完了した時点で、一時停止した動画を再表示させるようになっている。

上記移動データ生成部２１５は、転送されたデータから移動用レイヤ２０６へ転送するための移動データを生成するようになっている。なお、移動データ生成部２１５は、移動拡大対象となる静止画の移動量及び拡大率（縮小率も含む）を決めた上で静止画を移動用レイヤ２０６に貼り付けるようになっている。この制御を行うのが、上記の移動拡大制御部２１６である。

上記移動拡大制御部２１６は、表示部１００のタッチパネル１０２に対するユーザのタッチ動作の結果得られる検出信号を受け取った入力制御部２０３が移動対象となる静止画の移動量及び拡大率を判断した結果、上記入力制御部２０３から得られた制御信号を上記移動データ生成部２１５に送るようになっている。

また、上記移動拡大制御部２１６は、処理対象となる静止画を半透過状態にするようにしてもよい。この場合には、ユーザは、背景画を確認しながら静止画を移動させて、拡大させることができるので、表示領域の適切な位置に且つ適切な拡大率で静止画を配置させることができる。これにより、所望する位置において所望する拡大率の動画を表示させることが可能となる。

以下に、上記構成の携帯電話１における表示モードの処理の流れについて説明する。

図７は、通常表示モードで動作している状態から、図６（ａ）（ｂ）に示した移動拡大表示モードに移行したときの処理の流れを示すフローチャートである。なお、この処理は、図３に示す表示制御部２０１により実行されるものとする。

まず、キャプチャ部２１４は、移動開始指令（キャプチャ指示）の有無を判定する（ステップＳ１１）。ここで、キャプチャ部２１４が受け取るキャプチャ指示は、図１に示す入力制御部２０３から送られる制御信号に含まれている。つまり、ユーザが表示部１００のタッチパネル１０２をタッチすることにより得られる検出信号が、入力制御部２０３に送られ、該入力制御部２０３においてキャプチャ指示を含む場合、上記検出信号を、キャプチャ指示を含む制御信号としてキャプチャ部２１４に送る。

ステップＳ１１において、キャプチャ部２１４がキャプチャ指示ありと判定した場合、ステップＳ１２に移行して、当該キャプチャ部２１４が移動用の静止画を取得する。ここでは、キャプチャ部２１４は、マルチメディアエンジン２０２から転送される映像から静止画を取得し、取得した静止画を移動データ生成部２１５に転送する。

次に、移動データ生成部２１５は、取得した静止画を移動用レイヤ２０６に貼り付け（ステップＳ１３）、移動用レイヤ２０６の表示をＯＮする（ステップＳ１４）。ここで、移動用レイヤ２０６は、貼り付けられた静止画が表示された状態となり、携帯電話１は、移動拡大表示モードとなる。

移動拡大表示モードにおいて、移動拡大制御部２１６は、移動指令の有無を判定する（ステップＳ１５）。ここで、移動指令とは、移動用レイヤ２０６に貼り付けられた静止画の移動及び拡大を行うための動作を、ユーザが表示部１００のタッチパネル１０２をタッチ操作することで行うときに該タッチパネル１０２からの検出信号を取得した入力制御部２０３が移動拡大制御部２１６に対して送る制御信号であり、移動対象の静止画の移動量及び拡大率（縮小率も含む）の情報を含んでいる。

ステップＳ１５において、移動拡大制御部２１６が移動指示ありと判定した場合、移動指示を含む制御信号を移動データ生成部２１５に送り、静止画の移動・拡大を行わせる（ステップＳ１６）。この動作は、ステップＳ１５において移動指示が無くなるまで行われる。そして、移動指示が無くなったとき、移動拡大制御部２１６は、移動終了指令の有無を判定する（ステップＳ１７）。ここで、移動終了指令とは、ユーザの表示パネル１０１のタッチパネル１０２からのタッチ動作解除から所定の時間を経過している場合を示す指令である。つまり、ユーザが一度タッチ動作を解除しても、所定の時間内に、再度タッチ動作を開始すれば、移動終了と判定されない。

ステップＳ１７において、移動拡大制御部２１６は、移動終了指令が有ると判定すれば、移動データ生成部２１５に対して移動用レイヤ２０６における表示をＯＦＦにするように指示をする（ステップＳ１８）。これにより、移動拡大表示モードが終了し、通常表示モードに移行する。

以上のように、上記構成の携帯電話１では、動画用レイヤ２０４に動画を表示させるマルチメディアエンジン２０２と、背景用レイヤ２０５に背景画を表示させる背景データ生成部２１３と、移動用レイヤ２０６に静止画を表示させる移動データ生成部２１５と、各レイヤに表示された画像を重ねて合成画像を生成する合成処理部２０７と、上記合成処理部２０７により生成された合成画像が、上記マルチメディアエンジン２０２により動画用レイヤ２０４に表示された動画と、上記背景データ生成部２１３により背景用レイヤ２０５に表示された背景画とを重ねた合成画像であるときに、表示されている合成画像から動画を指定するタッチパネル１０２と、上記タッチパネル１０２によって指定された動画から静止画をキャプチャするキャプチャ部２１４とを備えている。

そして、上記移動データ生成部２１５は、上記キャプチャ部２１４によってキャプチャされた静止画を上記移動用レイヤ２０６に表示させ、上記マルチメディアエンジン２０２は、上記キャプチャ部２１４によるキャプチャのタイミングで動画用レイヤ２０４に表示されている動画の表示を停止させ、上記合成処理部２０７は、上記動画用レイヤ２０４、上記背景用レイヤ２０５に加えて、上記移動用レイヤ２０６を重ねて合成画像を生成するようになっているので、合成画像は、移動用レイヤ２０６に、動画用レイヤ２０４に表示されていた動画に対応する静止画が表示されることになるので、この移動用レイヤ２０６上の静止画を移動させたり拡大させたりする処理を行うことになる。

従って、上記構成の場合、対象画像（ユーザが指定した動画）の移動処理及び拡大処理は、上記移動用レイヤ２０６上の静止画に対して行われるだけので、動画用レイヤ２０４に表示されている動画を直接操作して表示位置や拡大処理を行う場合に比べて、処理量を大幅に低減することができる。つまり、表示画面上で表示中の映像を任意の位置に移動させたり、拡大させたりする際にの処理負荷を大幅に低減することができる。

このため、上記構成を利用すれば、処理能力の低い、低消費電力、低発熱量のＣＰＵを使用することができるので、携帯電話１等の低消費電力、低発熱量が必要とされる携帯端末に有効に利用できるという効果を奏する。

上記の実施形態では、携帯電話１の表示画面において表示されている動画を移動させるためには、動画をタッチした状態でドラッグする必要がある。これは、所望する移動位置がユーザによって異なるような場合には、自由に移動位置が決定できるので、便利である。しかしながら、単純に、２つの動画を入れ替えたいときには、一方の動画を取り敢えず、移動させておいて、他方の動画を先ほどまで表示されていた動画の位置まで移動させる。そして、一方の動画を他方の動画が表示されていた表示位置に移動させる。このように、上記の実施形態に開示した構成では、処理工程が多くる。

ところが、以下のように構成することで、動画を２つ表示させた場合に、何れか一方の動画をタッチすることにより、簡単に、各動画の表示位置を入れ替えることができるようになる。

すなわち、本発明の画像表示装置は、図１〜図３に示す携帯電話１と同じように、動画用レイヤ２０４に動画を表示させるマルチメディアエンジン２０２と、背景用レイヤ２０５に背景画を表示させる背景データ生成部２１３と、移動用レイヤ２０６に静止画を表示させる移動データ生成部２１５と、各レイヤに表示された画像を重ねて合成画像を生成する合成処理部２０７と、上記合成処理部２０７により生成された合成画像が、上記マルチメディアエンジン２０２により動画用レイヤ２０４に表示された動画と、上記背景データ生成部２１３により背景用レイヤ２０５に表示された背景画とを重ねた合成画像であるときに、表示されている合成画像から動画を指定するタッチパネル１０２と、上記タッチパネル１０２によって指定された動画から静止画をキャプチャするキャプチャ部２１４とを備えている。

そして、上記移動データ生成部２１５は、上記キャプチャ部２１４によってキャプチャされた静止画を上記移動用レイヤ２０６に表示させ、上記マルチメディアエンジン２０２は、上記キャプチャ部２１４によるキャプチャのタイミングで動画用レイヤ２０４に表示されている動画の表示を停止させ、上記合成処理部２０７は、上記動画用レイヤ２０４、上記背景用レイヤ２０５に加えて、上記移動用レイヤ２０６を重ねて合成画像を生成するようになっているので、合成画像は、移動用レイヤ２０６に、動画用レイヤ２０４に表示されていた動画に対応する静止画が表示されることになるので、この移動用レイヤ２０６上の静止画を移動させたり拡大させたりする処理を行うことになる。

そして、異なるのは、上記マルチメディアエンジン２０２による動作制御である。

すなわち、上記マルチメディアエンジン２０２は、上記動画用レイヤ２０４に、異なる２つの動画を表示させているときに、上記タッチパネル１０２によって、上記動画用レイヤ２０４に表示されている何れか一方の動画が指定されたことを検出した場合に、上記の動画の表示位置（表示座標）を入れ替えて表示させるようになっている。

なお、上記の例では、動画の指定をタッチパネル１０２によるタッチ動作により行う例を示したが、これに限定されるものではなく、例えば、カーソルを表示させてマウスでクリックすることで動画を指定するようにして動画の表示位置の入れ替えを行うようにしてもよい。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、携帯電話１の表示データ生成部２００の各ブロック、特に表示制御部２０１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、表示制御部２０１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表示制御部２０１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記表示制御部２０１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、表示制御部２０１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

表示されている動画を移動させる必要のある機器であって、比較的処理能力の低いＣＰＵを利用せざえるを得ない機器に有効に適用できる。

本発明の実施形態を示すものであり、画像表示装置の要部構成を示すブロック図である。 レイヤの概略構成を示すブロック図である。 図１に示す画像表示装置に備えられた表示制御部の要部構成を示すブロック図である。 （ａ）（ｂ）は、図１に示す画像表示装置を備えた携帯電話の概観を示す斜視図である。 （ａ）は、図１に示す画像表示装置における通常表示モード時の各レイヤの状態を示す図であり、（ｂ）は、同図（ａ）に示した各レイヤを合成した場合の合成画像を示す図である。 （ａ）は、図１に示す画像表示装置における移動拡大表示モード時の各レイヤの状態を示す図であり、（ｂ）は、同図（ａ）に示した各レイヤを合成した場合の合成画像を示す図である。 移動拡大表示モード時の処理の流れを示すフローチャートである。

符号の説明

１ 携帯電話
１０ 第１筐体
１０ａ 操作面
２０ 第２筐体
２０ａ 表示面
３１ 第１映像
３２ 第２映像
３２ａ 静止画
３３ 背景画
３４ 合成画像
３５ 合成画像
１００ 表示部
１０１ 表示パネル
１０２ タッチパネル（動画指定手段）
２００ 表示データ生成部
２０１ 表示制御部
２０２ マルチメディアエンジン（動画表示制御手段）
２０３ 入力制御部
２０４ 動画用レイヤ（第１レイヤ）
２０５ 背景用レイヤ（第２レイヤ）
２０６ 移動用レイヤ（第３レイヤ）
２０７ 合成処理部（合成処理手段）
２１１ データ取得部
２１２ データ種別判定部
２１３ 背景データ生成部（背景画表示制御手段）
２１４ キャプチャ部（静止画取得手段）
２１５ 移動データ生成部（移動画表示制御手段）
２１６ 移動拡大制御部（移動拡大処理手段）
３００ データ供給部

Claims (5)

1. 複数のレイヤに表示された画像を重ねた合成画像を表示する画像表示装置において、
   第１レイヤに動画を表示させる動画表示制御手段と、
   第２レイヤに背景画を表示させる背景画表示制御手段と、
   第３レイヤに静止画を表示させる静止画表示制御手段と、
   各レイヤに表示された画像を重ねて合成画像を生成する合成画像生成手段と、
   上記合成画像生成手段により生成された合成画像が、上記動画表示制御手段により第１レイヤに表示された動画と、上記背景画表示制御手段により第２レイヤに表示された背景画とを重ねた合成画像であるときに、表示されている合成画像から動画を指定する動画指定手段と、
   上記動画指定手段によって指定された動画から静止画を取得する静止画取得手段と、
   上記静止画表示制御手段により上記第３レイヤに表示されている静止画に対して移動処理及び拡大処理を行う移動拡大制御手段とを備え、
   上記合成画像生成手段は、
   上記静止画表示制御手段が、上記静止画取得手段によって取得された静止画を上記第３レイヤに表示させると共に、上記動画表示制御手段が、上記静止画取得手段による静止画取得のタイミングで第１レイヤに表示されている動画の表示を停止させたとき、上記第３レイヤに表示された静止画を、上記第１レイヤに表示された動画、上記第２レイヤに表示された背景画に重ねて合成画像を生成し、
   上記動画表示制御手段は、
   上記移動拡大制御手段による、上記合成画像における第３レイヤに表示された静止画の移動処理及び拡大処理の終了が検知されたときに、当該合成画像における第１レイヤに表示されている動画の表示の再開を、当該静止画に対して処理された移動位置で、且つ当該静止画に対して処理された拡大率で上記動画を拡大させてから実行することを特徴とする画像表示装置。
2. 上記第１レイヤに、少なくとも２つの異なる動画が表示されているとき、
   上記動画指定手段は、表示されている合成画像から一方の動画を指定することを特徴とする請求項１に記載の画像表示装置。
3. 上記移動拡大制御手段は、上記第３レイヤに表示されている静止画に対して半透過処理を施すことを特徴とする請求項１または２に記載の画像表示装置。
4. 上記合成画像を表示する表示手段と、
   上記表示手段の表示面に対応するように、該表示面上に積層されたタッチパネルとを有し、
   上記動画指定手段は、上記タッチパネルをタッチしたことにより出力される検出信号から、上記表示手段に表示されている動画の表示位置を示す座標情報を求めて、この座標情報により動画を指定することを特徴とする請求項１〜３の何れか１項に記載の画像表示装置。
5. 請求項１〜４の何れか１項に記載の画像表示装置を備えたことを特徴とする携帯端末。

Images