JP4070778B2 - 画像処理システム - Google Patents

Description

本発明は、マルチプロセッサによる情報処理技術、特に、マルチプロセッサシステムにおいて画像処理を実行するための画像処理システムに関する。

近年のコンピュータゲームやデジタル放送などの分野に利用されるコンピュータグラフィックス技術や画像処理技術の著しい進歩に伴い、コンピュータ、ゲーム機器、テレビなどの情報処理装置は、より高精細の画像データをより高速に処理する能力を求められている。これらの情報処理装置において高性能な演算処理を実現するためには、複数のプロセッサを備えた情報処理装置において、それぞれのプロセッサにタスクを割り当ることにより、複数のタスクを並列処理する方法が有効である。複数のプロセッサが協働して複数のタスクを実行するためには、各プロセッサの状態に応じて効率的にタスクを割り当てる必要がある。

しかし、一般に、複数のコンテンツに対し、複数のプロセッサを並列して効率的にタスクを実行することは難しい。

本発明はこうした状況に鑑みてなされたものであり、その目的は、より効率的に複数のコンテンツを処理できる画像処理装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理システムは、画像に関するデータに対して所定の処理を行う複数のサブプロセッサと、バスを介して複数のサブプロセッサと接続され、所定のアプリケーションソフトウェアを実行して、複数のサブプロセッサの制御を行うメインプロセッサと、バスを介して、メインプロセッサと複数のサブプロセッサに画像に関するデータを供給するデータ供給部と、複数のサブプロセッサによって処理された画像を表示装置に出力するための処理を行う表示制御部と、を有し、アプリケーションソフトウェアは、複数のサブプロセッサのそれぞれの役割分担を示す情報と、複数のサブプロセッサによって処理された各々の画像の表示装置における表示位置と当該画像の表示効果とを示す情報と、を含むよう記述され、複数のサブプロセッサは、アプリケーションソフトウェアによって指示された役割分担を示す情報、および、表示効果を示す情報にしたがって、データ供給部より供給された画像に関するデータを順次処理し、かつ、処理された画像を表示装置の表示位置に表示させる。

また、複数のサブプロセッサは、少なくとも第１乃至第４のサブプロセッサを含んでもよい。第１のサブプロセッサは、データ供給部から供給されたデータに対して、バンドパスフィルタ処理を行い、第２のサブプロセッサは、バンドパスフィルタ処理が施されたデータに対して、復調処理を行い、第３のサブプロセッサは、復調処理が施されたデータに対して、ＭＰＥＧデコード処理を行い、第４のサブプロセッサは、ＭＰＥＧデコード処理施されたデータに対して、表示効果を奏する画像処理を施して、表示位置に表示させる処理を行ってもよい。

また、メインプロセッサは時間の経過を監視して複数のサブプロセッサに通知し、複数のサブプロセッサは、時間の経過とともに、表示装置に表示させる画像を変化させてもよい。また、アプリケーションソフトウェアは、時間が経過するごとに表示位置が変化する旨の情報が設定されていてもよい。
また、アプリケーションソフトウェアは、時間が経過するごとに画像の表示サイズが変化する旨の情報が設定されていてもよい。表示効果として、時間が経過するごとに画像の色彩、もしくは、色彩の強度を変化させる旨の情報が設定されていてもよい。
また、複数のサブプロセッサが、アプリケーションソフトウェアによって指示された役割分担を示す情報、および、表示効果を示す情報にしたがって、データ供給部より供給された画像に関するデータを順次処理した後、表示制御部が処理された画像を表示装置の表示位置に表示させてもよい。

この態様によると、アプリケーションソフトウェアによって、複数のサブプロセッサを役割分担して画像の処理を実行させることより効率的に、かつ柔軟に複数のコンテンツを処理できる。

ここで、「画像に関するデータ」とは、画像データに限らず、音声データ、画像／音声データのレート情報、符号化形式などを含んでもよい。「アプリケーションソフトウェア」とは、なんらかの目的を達成するためのプログラムを指し、ここでは少なくとも画像の表示態様を複数のプロセッサとの関係で示す記述を含むものとする。「アプリケーションソフトウェア」は、ヘッダ情報、表示位置を示す情報、表示効果を示す情報、メインプロセッサにおけるプログラム、およびそのプログラム実行手順、サブプロセッサにおけるプログラム、およびプログラム実行手順、その他データなどを含んでもよい。「データ供給部」とは、例えば、データを記憶し、指示に応じてデータの保存、読み出しを行うメモリであってもよく、または、無線／有線信号によりテレビ画像、その他コンテンツを供給する装置などであってもよい。「表示制御部」は、例えば、画像に所定の処理を施して表示装置に出力するグラフィックプロセッサであってもよく、また、表示装置とサブプロセッサとの入出力制御を行う制御装置であってもよい。また、複数のサブプロセッサのうちの一のサブプロセッサが表示制御部としての役割を担ってもよい。

「役割分担」の例は、各々のサブプロセッサの処理能力、もしくは残余処理能力に応じ、そのサブプロセッサにおける処理開始時間、処理内容、処理手順、処理対象などを各々分担させることなどである。なお、各々のサブプロセッサは、当該サブプロセッサの処理能力、および／または、残余処理能力をメインプロセッサに報告してもよい。「表示効果」の例は、画像を表示させる際に音声もあわせて再生させる効果、または、時間により画像／音声が変化する効果、または、ユーザの指示による画像／音声の変化、または、画像が強調して表示される効果、または、音量が増大する効果などである。「色彩の強度」とは、色の濃淡、色の輝度などである。「色彩の強度を変化させる」の例は、画像の色の濃淡、または輝度を変化させること、または画像を点滅させることなどである。

なお、本発明を方法、装置、システム、記録媒体、コンピュータプログラムにより表現したものもまた、本発明の態様として有効である。

本発明によれば、マルチプロセッサにおける画像処理を好適に実行できる。

（実施形態）
本発明の実施形態を具体的に説明する前に、まず本実施形態にかかる画像処理システムについて概要を述べる。本実施形態にかかる画像処理システムは、メインプロセッサと複数のサブプロセッサを含むマルチプロセッサと、テレビジョンチューナ（以下、「ＴＶチューナ」と略称する。）、ネットワークインタフェイス、ハードディスク、ディジタルビデオディスクドライバ（以下、「ＤＶＤドライバ」と略称する。）等を備え、様々な映像コンテンツを受信、再生、記録することが可能である。また、強力なＣＰＵをマルチプロセッサ内に有することにより、従来は困難であったハイビジョン等の重い画像データを複数、同時並行して処理できることを特徴とする。さらに、複数のサブプロセッサにおける残余処理能力を考慮して、画像データの復調処理などのタスク処理を役割分担させるため、効率的にコンテンツ再生を実行することができる。また、役割分担により、画像、音声など、異なる複数のコンテンツを同時に処理し、所望のタイミングで表示、もしくは再生することができる。この表示、再生は、予め設定された表示効果、表示位置を設定することにより、処理された画像データをディスプレイ等に視覚的に容易に認識できる画像を表示し、また聴覚的に容易に認識できる音声を再生することができる。詳細は後述する。

図１は、本発明の実施形態にかかる画像処理システム１００の構成例を示す図である。画像処理システム１００は、メインプロセッサ１０と、サブプロセッサ１２で代表される第１サブプロセッサ１２Ａと第２サブプロセッサ１２Ｂと第３サブプロセッサ１２Ｃと第４サブプロセッサ１２Ｄと第５サブプロセッサ１２Ｅと第６サブプロセッサ１２Ｆと第７サブプロセッサ１２Ｇと第８サブプロセッサ１２Ｈと、メモリ制御部１４と、メインメモリ１６と、第１インタフェイス１８と、グラフィックカード２０と、モニタ部２２と、第２インタフェイス２４と、ネットワークインタフェイス２６（以下、「ネットワークＩＦ」と略称する。）と、ハードディスク２８と、ＤＶＤドライバ３０と、ユニバーサルシリアルバス３２（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ。以下、「ＵＳＢ３２」と略称する。）と、コントローラ３４と、アナログデジタル変換器３６（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｏｒ。以下、「ＡＤＣ３６」と略称する。）と、無線周波数処理部３８（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ処理部。以下、「ＲＦ処理部３８」と略称する。）と、アンテナ４０と、を含む。

画像処理システム１００は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ。以下、「ＣＰＵ」と略称する。）としてマルチコアプロセッサ１１を備える。マルチコアプロセッサ１１は、１個のメインプロセッサ１０と、複数のサブプロセッサ１２と、メモリ制御部１４と第１インタフェイス１８で構成される。図１においては、例として、サブプロセッサ１２が８個ある構成を示した。メインプロセッサ１０は、バスを介して複数のサブプロセッサ１２と接続され、後述するアプリケーションソフトウェア５４にしたがって、それぞれのサブプロセッサ１２によるスレッド実行のスケジュール管理と、マルチコアプロセッサ１１の全般的な管理とを行う。サブプロセッサ１２は、バスを介してメモリ制御部１４より送られた画像に関するデータに対して所定の処理を行う。メモリ制御部１４は、メインメモリ１６に記憶されたデータ、アプリケーションソフトウェア５４の読み書き処理を行う。第１インタフェイス１８は、ＡＤＣ３６、第２インタフェイス２４、グラフィックカード２０から送られたデータを受け、バスに出力する。

表示制御部であるグラフィックカード２０は、第１インタフェイス１８を介して送られた画像データに対し、画像データの表示位置、表示効果を考慮してモニタ部２２に送出する。モニタ部２２は、送出された画像データをディスプレイなどの表示装置に表示する。グラフィックカード２０は、さらに、サブプロセッサ１２の指示にしたがって、音声に関するデータ、音量を図示しないスピーカに送出してもよい。また、グラフィックカード２０内にはフレームメモリ２１があってもよく、マルチコアプロセッサ１１はフレームメモリ２１に画像データを書き込むことにより、任意の動画像、静止画像をモニタ部２２に表示させることができる。ここで、モニタ部２２における画像の表示位置は、当該画像が書き込まれたフレームメモリ２１のアドレスによって決定される。

第２インタフェイス２４は、マルチコアプロセッサ１１と、各種デバイスとのインタフェイス部である。各種デバイスとは、家庭内ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ。以下、「家庭内ＬＡＮ」と略称する。）、インターネットなどとのインタフェイスであるネットワークインタフェイス２６、または、ハードディスク２８、または、ＤＶＤドライバ３０、または、外部からユーザの指示を受け付けるコントローラ３４と接続するための入出力端子であるＵＳＢ３２などを指す。

アンテナ４０はＴＶ放送波を受信する。ここで、ＴＶ放送波とはアナログ地上波であってもよく、また、デジタル地上波、衛星放送波などであってもよい。また、ハイビジョン放送波であってもよい。また、ＴＶ放送波は複数チャネルを含んでいてもよい。ＴＶ放送波はＲＦ処理部３８に含まれるダウンコンバータによりダウンコンバートされた後に、ＡＤＣ３６によりＡ／Ｄ変換される。すなわち、ダウンコンバートされた、複数チャネルを含むデジタルＴＶ放送波がマルチコアプロセッサ１１に入力されることとなる。

図２は、図１のメインプロセッサ１０の構成例を示す図である。メインプロセッサ１０は、メインプロセッサ制御装置４２と、内部メモリ４４と、直接メモリアクセス制御部４６（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ。以下、「ＤＭＡＣ４６」と略称する。）と、を含む。メインプロセッサ制御装置４２は、バスを介してメインメモリ１６から読み出したアプリケーションソフトウェア５４をもとに、マルチコアプロセッサ１１の制御を行う。具体的には、それぞれのサブプロセッサ１２に対し、処理対象となる画像データ、処理手順を指示する。詳細は後述する。内部メモリ４４は、メインプロセッサ制御装置４２の処理に際し、中間データを一時的に保持するために用いられる。外部のメモリを用いずに内部メモリ４４を用いることによって、高速な読み書き動作が可能となる。ＤＭＡＣ４６は、各サブプロセッサ１２またはメインメモリ１６との間でＤＭＡ方式により高速なデータ転送を行う。ＤＭＡ方式とは、ＣＰＵを介さずにメインメモリ１６と周辺装置、または周辺機器同士間で直接データのやり取りができる機能をいう。この場合、ＣＰＵに負荷がかからないので、高速に大量のデータを転送できることとなる。

図３は、図１のサブプロセッサ１２の構成例を示す図である。サブプロセッサ１２は、サブプロセッサ制御装置４８と、サブプロセッサ用内部メモリ５０と、サブプロセッサ用直接メモリアクセス制御部５２（以下、「サブプロセッサ用ＤＭＡＣ５２」と略称する。）と、を含む。サブプロセッサ制御装置４８は、メインプロセッサ１０の制御によって並列的かつ独立にスレッドを実行し、データを処理する。スレッドとは、複数のプログラム、もしくは、複数のプログラムの実行手順、およびプログラムの実行に必要な制御データなどである。また、メインプロセッサ１０内のスレッドが各サブプロセッサ１２内のスレッドと連携して動作するように構成してもよい。サブプロセッサ用内部メモリ５０は、サブプロセッサ１２における処理に際し、中間データを一時的に保持するために用いられる。サブプロセッサ用ＤＭＡＣ５２は、メインプロセッサ１０、もしくは他のサブプロセッサ１２またはメインメモリ１６との間でＤＭＡ方式により高速なデータ転送を行う。

サブプロセッサ１２は、個々の処理能力、もしくは、残余処理能力に応じ、役割分担された処理をそれぞれ実行する。後述の具体例においては、すべてのサブプロセッサ１２の処理能力は均等で、かつ、具体例に示す処理以外の処理は行わないことを前提として説明する。処理能力とは、サブプロセッサ１２が同時に処理することのできるデータのサイズ、または、プログラムの大きさ、などを指す。ここでは、表示画面の大きさにより、１つのサブプロセッサ１２が処理できる数が決まることなる。後述の例においては、１つのサブプロセッサ１２あたりＭＰＥＧデコード処理を２つ行えるとした。表示画面の大きさが小さくなると、２以上のＭＰＥＧデコード処理を行うことができる。また、表示画面の大きさがさらに大きくなると１つのＭＰＥＧデコード処理しか行えないことになる。なお、複数のサブプロセッサ１２において、１つのＭＰＥＧデコード処理を分担しておこなってもよい。

図４は、図１のメインメモリ１６に内蔵されたアプリケーションソフトウェア５４の構成例を示す図である。アプリケーションソフトウェア５４は前述のメインプロセッサ１０が各サブプロセッサ１２と正確に連携動作するようにプログラミングされている。本実施形態においては、図４は画像処理用の構成であるが、他の用途のアプリケーションであっても同様の構成である。アプリケーションソフトウェア５４はヘッダ５６、表示レイアウト情報５８、メインプロセッサ用スレッド６０、サブプロセッサ用第１スレッド６２、サブプロセッサ用第２スレッド６４、サブプロセッサ用第３スレッド６５、サブプロセッサ用第４スレッド６６、データ６８の各ユニットを含んで構成される。アプリケーションソフトウェア５４は、電源オフの状態においては、ハードディスク２８等の不揮発性メモリ内に保存されている。電源オンの状態において読み出され、メインメモリ１６に保存される。その後、必要に応じて必要なユニットがマルチコアプロセッサ１１内のメインプロセッサ１０または各サブプロセッサ１２にダウンロードされ、実行される。

ヘッダ５６には、アプリケーションソフトウェア５４を実行するために必要なサブプロセッサ１２の個数、メインメモリ１６の容量などが含まれている。表示レイアウト情報５８は、当該アプリケーションソフトウェア５４を実行しモニタ部２２に表示する際の表示位置を示す座標データと、モニタ部２２に表示する際の表示効果などを含む。

ここで、表示効果とは、画像をモニタ部２２に表示させる際に音声もあわせて再生させる効果、または、時間により画像／音声が変化する効果、または、ユーザのコントローラ３４への指示による画像／音声の変化、または、画像が強調して表示される効果、または、音量が増大する効果画像の色彩の強度を変化させる効果などである。「色彩の強度を変化させる」とは、画像の色の濃淡、または輝度を変化させること、または画像を点滅させることなどである。これらの表示効果は、サブプロセッサ１２が表示レイアウト情報５８を参照し、所定の処理を施した画像をフレームメモリ２１に書き込むことによって実現される。

たとえば、フレームメモリ２１のアドレスＡ０は、モニタ部２２の表示画面にかかる座標（ｘ０、ｙ０）に対応し、また、アドレスＡ１は、モニタ部２２の表示画面にかかる座標（ｘ１、ｙ１）に対応していると仮定する。ここで、ある画像を時間ｔ０においてＡ０に書き込み、時間ｔ１においてＡ１に書き込んだ場合、モニタ部２２には、時間ｔ０において、当該画像が座標（ｘ０、ｙ０）に表示され、また、時間ｔ１において、当該画像が座標（ｘ１、ｙ１）に表示される。いいかえると、画面を視聴しているユーザに対し、時間ｔ０からｔ１において、画像が画面の中で動いたような効果を与えることができる。これらは、サブプロセッサ１２が、後述するアプリケーションソフトウェア５４に定義された表示効果にしたがって、画像を処理し、フレームメモリ２１に順次書き込むことによって実現される。このような態様をとることにより、任意の動画像、静止画像を任意の位置にモニタ部２２に表示させることができる。また、動的に画像が動くような効果をもたせることができる。

メインプロセッサ用スレッド６０は、メインプロセッサ１０で実行されるスレッドであり、どのサブプロセッサ１２にどの処理を行わせるかを示す役割分担情報などを含む。サブプロセッサ用第１スレッド６２は、サブプロセッサ１２で実行されるバンドパスフィルタ処理を行うためのスレッドである。サブプロセッサ用第２スレッド６４は、サブプロセッサ１２で実行される復調処理を行うためのスレッドである。サブプロセッサ用第４スレッド６６は、サブプロセッサ１２で実行されるＭＰＥＧデコード処理するためのスレッドである。データ６８は、当該アプリケーションソフトウェア５４を実行する際に必要となる各種データである。

ここで、図５に示す複数のコンテンツにかかる画像をモニタ部２２に表示させる場合について、図６〜図１３を用いて、図１に示す各装置の動作シーケンスを説明する。ここでは、例として、６チャネルのＴＶ放送（第１コンテンツ）、２チャネルのネット放送（第２コンテンツ）、ハードディスク２８に格納されている第３コンテンツ、ＤＶＤドライバ３０に収納されたＤＶＤに格納されている第４コンテンツを表示する場合について説明する。

図５は、図１のモニタ部２２における第１の表示画面の例を示す図である。図５は、マルチメディア再生装置により生成されるメニュー画面の構成を示す。表示画面２００において、水平方向に複数のメディアアイコンが並んだメディアアイコン配列７０と、垂直方向に複数のコンテンツアイコンが並んだコンテンツアイコン配列７２とが交差する十字型の二次元配列が表示される。メディアアイコン配列７０には、画像処理システム１００が再生可能なメディアの種類を示すマークとして、ＴＶ放送アイコン７４と、ＤＶＤアイコン７８と、ネット放送アイコン８０と、ハードディスクアイコン８２が含まれる。コンテンツアイコン配列７２には、メインメモリ１６に格納された複数のコンテンツのサムネイルなどのアイコンが含まれる。メディアアイコン配列７０およびコンテンツアイコン配列７２で構成されるメニュー画面はオンスクリーン表示であり、コンテンツ映像の前面に重ね合わされて表示される。ＴＶ放送アイコン７４に現在再生中のコンテンツ映像が表示される場合、エフェクト処理によってメディアアイコン配列７０とコンテンツアイコン配列７２の領域全体に、ＴＶ放送アイコン７４との外観上の区別を容易にするための彩色を施してもよく、またコンテンツ映像の明るさを調整するなどの方法により外観上の区別を容易にしてもよい。たとえば、ＴＶ放送アイコン７４のコンテンツ映像の輝度、もしくは濃淡を、他のコンテンツに比べ高く設定するなどしてもよい。

メディアアイコン配列７０とコンテンツアイコン配列７２が交差する領域に位置するメディアアイコンは、ＴＶ放送アイコン７４として図示するように他のメディアアイコンと異なる色彩にて拡大表示される。交差領域７６は、表示画面２００の略中央に位置したままその位置が据え置かれ、コントローラ３４を介したユーザの左右方向の指示に応じてメディアアイコンの配列全体が左右方向に移動し、交差領域７６に位置したメディアアイコンの色彩とアイコンサイズが変化する。したがって、ユーザは左右の方向指示をするだけでメディアを選択でき、パーソナルコンピュータ上で行われるマウスのクリック操作といった決定指示は不要となる。

図６は、図１のサブプロセッサ１２の役割分担の例を示す図である。図６に示すように、各サブプロセッサ１２は、処理内容、処理対象が異なる。第１サブプロセッサ１２Ａは、全てのコンテンツのデジタル信号に対して、バンドパスフィルタ処理（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒｉｎｇ。以下、「ＢＰＦ処理」と略称する。）を順次行う。第２サブプロセッサ１２Ｂは、ＢＰＦ処理されたデジタル信号に対して、復調処理を行う。第３サブプロセッサ１２Ｃは、ＢＰＦ処理、復調処理、ＭＰＥＧデコード処理が完了し、ＲＧＢデータとしてメインメモリ１６に保存されている各画像データを読み出し、表示レイアウト情報を参照することにより、各画像について表示サイズ・表示位置を演算し、フレームメモリ２１へ書き込む。第４サブプロセッサ１２Ｄ〜第８サブプロセッサ１２Ｈ、それぞれ与えられた２つのコンテンツに対し、ＭＰＥＧデコード処理を行う。ここで、ＭＰＥＧデコード処理は、色彩フォーマットの変換を含んでもよい。色彩フォーマットとは、輝度信号(Ｙ)と、輝度信号と青色成分の差(Ｕ)、輝度信号と赤色成分の差(Ｖ)の3つの情報で色を表す形式（ＹＵＶ形式）、または、赤色信号（Ｒ）と緑色信号（Ｇ）と青色信号（Ｂ）の３つの情報で色を表す形式（ＲＧＢ形式）などである。

図７は、本発明の実施形態における全体の処理シーケンスの例を示す図である。まず、ユーザがコントローラ３４に指示を与えることにより、メインプロセッサ１０が起動される。ついで、メインプロセッサ１０は、メインメモリ１６に対し、ヘッダ５６を送るよう要求する。メインプロセッサ１０は、ヘッダ５６を受信した後、メインプロセッサ１０用のスレッドを起動する（Ｓ１０）。具体的には、アンテナ４０によるＴＶ放送の受信、ＲＦ処理部３８に含まれるダウンコンバータによるダウンコンバート処理、ＡＤＣ３６によるＡ／Ｄ変換処理などを開始する指示を伝える。さらに、メインプロセッサ１０は、ヘッダ内に記された当該アプリの実行に必要な数のサブプロセッサ１２およびメインメモリ１６の容量を確保する。例えば、各サブプロセッサ１２およびメインメモリ１６内の各領域には、０：未使用、１：使用中、２：予約のようなフラグが付加されているとすると、フラグの値が０となっているサブプロセッサ１２およびメインメモリ１６の領域をサーチし、値を2に更新することにより、処理に要するマルチコアプロセッサ１１およびメインメモリ１６の容量を必要な分だけ確保する。必要な分だけ確保できない場合は、ユーザにアプリ実行が不可である旨をモニタ部２２などを通じて通知する。

ついで、アンテナ４０は、メインプロセッサ１０の指示にしたがい、第１コンテンツである全ＴＶ放送の受信を開始する（Ｓ１２）。受信した全ＴＶ放送の電波は、ＲＦ処理部３８に送られる。ＲＦ処理部３８に含まれるダウンコンバータは、メインプロセッサ１０の指示にしたがい、アンテナ４０から送られた全ＴＶ放送の電波のダウンコンバート処理を行う（Ｓ１４）。具体的には、高周波帯の信号をベースバンド帯に変調し、また、誤り訂正などの復調処理などを行う。さらに、ＲＦ処理部３８は、ダウンコンバート処理した全ＴＶ放送波をＡＤＣ３６に送る。ついで、メインプロセッサ１０は、メインメモリ１６とサブプロセッサ１２を起動する（Ｓ１８）。詳細は後述する。

ＡＤＣ３６は、メインプロセッサ１０の指示にしたがい、全ＴＶ放送波をＡ／Ｄ変換し、第１インタフェイス１８、バス、メモリ制御部１４を介して、メインメモリ１６に送る。メインメモリ１６は、ＡＤＣ３６より送られた全ＴＶ放送データを記憶する。記憶されたＴＶ放送波は、後述するサブプロセッサ１２における信号処理シーケンス（Ｓ２６）にて用いられる。詳細は後述する。

さらに、メインプロセッサ１０は、ネットワークインタフェイス２６に対し、第２コンテンツである全ネットデータを要求する。ネットワークインタフェイス２６は、全ネット放送の受信を開始し（Ｓ２０）、メインプロセッサ１０で指定されたバッファサイズ分のデータをメインメモリ１６に蓄える。また、メインプロセッサ１０は、ハードディスク２８に対し、ハードディスク２８に記憶されている第３コンテンツを要求する。ハードディスク２８は、第３コンテンツを読み出し（Ｓ２２）、メインプロセッサ１０で指定されたバッファサイズ分のデータをメインメモリ１６に蓄える。また、メインプロセッサ１０は、ＤＶＤドライバ３０に対し、ＤＶＤドライバ３０に記憶されている第４コンテンツを要求する。ＤＶＤドライバ３０は、第４コンテンツを読み出し（Ｓ２４）、メインプロセッサ１０で指定されたバッファサイズ分のデータをメインメモリ１６に蓄える。

ここで、ネットワークインタフェイス２６、ハードディスク２８、ＤＶＤドライバ３０にそれぞれ要求され、メインメモリ１６に蓄えられるデータは、メインプロセッサ１０で指定されたバッファサイズ分のみである。ソースとなるデータの圧縮率は固定ではないが、ＭＰＥＧ２等のコーデックで保証するバッファサイズが規定されており、それを満たすサイズが使用される。後述するサブプロセッサ１２等における信号処理シーケンス（Ｓ２６）における処理は１フレーム分ずつであり、データ書込処理とデータ読出処理は非同期に処理される。１フレーム分処理された後は、次のフレームをメインメモリ１６に送り、同様の処理が繰り返されることとなる。

図８は、図７の起動シーケンスＳ１８の例を示す図である。まず、メインプロセッサ１０は、第１サブプロセッサ１２Ａに対し、サブプロセッサ用第１スレッド６２をダウンロードさせるための要求を伝える。ついで、第１サブプロセッサ１２Ａは、メインメモリ１６に対し、サブプロセッサ用第１スレッド６２を要求する。ついで、メインメモリ１６は、記憶されているサブプロセッサ用第１スレッド６２を読み出し（Ｓ２８）、第１サブプロセッサ１２Ａにサブプロセッサ用第１スレッド６２を送る。第１サブプロセッサ１２Ａは、ダウンロードしたサブプロセッサ用第１スレッド６２を第１サブプロセッサ１２Ａ内のサブプロセッサ用内部メモリ５０に記憶する（Ｓ３０）。

同様に、メインプロセッサ１０は、第２サブプロセッサ１２Ｂ、第３サブプロセッサ１２Ｃ、および、第４サブプロセッサ１２Ｄ〜第８サブプロセッサ１２Ｈに対し、メインメモリ１６から、それぞれ役割分担にしたがって、必要なスレッドをダウンロードさせる。具体的には、第２サブプロセッサ１２Ｂに対しては、サブプロセッサ用第２スレッド６４をダウンロードするように要求する。また、第３サブプロセッサ１２Ｃに対しては、表示レイアウト情報５８とサブプロセッサ用第３スレッド６５をダウンロードするように要求する。さらに、第４サブプロセッサ１２Ｄ〜第８サブプロセッサ１２Ｈに対しては、サブプロセッサ用第４スレッド６６をダウンロードするように要求する。いずれの場合においても、それぞれのサブプロセッサ１２は、それぞれのサブプロセッサ用内部メモリ５０にダウンロードしたスレッドを記憶する（Ｓ３４，Ｓ３８，Ｓ４２）。

図９〜１２は、図７の信号処理シーケンスＳ２６の詳細な処理シーケンスの例を示す図である。まず、図９、図１０において、ＴＶ放送データのＢＰＦ処理、復調処理、ＭＰＥＧデコード処理についての処理シーケンスを説明する。次に、図１１を用いて、ネット放送データ、ＤＶＤ、ハードディスクのデータのＢＰＦ処理、復調処理、ＭＰＥＧデコード処理について説明する。最後に、図１２を用いて、各種処理が終了した後の画像データをメインメモリ１６に表示させる際の処理について説明する。

図９は、図７の信号処理シーケンスＳ２６における第１の処理シーケンスの例を示す図である。第１の処理シーケンスにおいては、まず、第１サブプロセッサ１２Ａがサブプロセッサ用第１スレッド６２を起動する（Ｓ４４）とともに、メインメモリ１６から第１コンテンツである全ＴＶ放送データのうち１フレーム分を読み出して（Ｓ４８）、第１のチャネルのＢＰＦ処理を行い（Ｓ５０）、第２サブプロセッサ１２ＢにＢＰＦ処理されたＴＶ放送データを渡す。ついで、第２サブプロセッサ１２ＢがＢＰＦ処理されたＴＶ放送の復調処理を行い（Ｓ５２）、第４サブプロセッサ１２Ｄに渡す。さらに、第４サブプロセッサ１２Ｄが復調されたＴＶ放送のＭＰＥＧデコードを行って（Ｓ５４）、メインメモリ１６に保存する（Ｓ５６）。第１サブプロセッサ１２Ａは、第１のチャネルのＢＰＦ処理が終了しだい、第２のチャネルのＢＰＦ処理を開始する。また、第２サブプロセッサ１２Ｂは、第１のチャネルの復調処理が終了しだい、第２のチャネルの復調処理を開始する。また、第４サブプロセッサ１２Ｄは、第１のチャネルのＭＰＥＧデコード処理が終了しだい、第２のチャネルのＭＰＥＧデコード処理を行う。このように、パイプライン処理を行うことによって、高速な画像処理を行うことができる。

図１０は、図７の信号処理シーケンスＳ２６における第２の処理シーケンスの例を示す図である。第１サブプロセッサ１２Ａと第２サブプロセッサ１２Ｂは、図９に図示した第１の処理シーケンスと同様に、第１のコンテンツであるＴＶ放送データのＢＰＦ処理と復調処理をチャネルごとに行う。処理対象となるチャネルは、第３のチャネル〜第６のチャネルである。また、第５サブプロセッサ１２Ｅと第６サブプロセッサ１２Ｆは、図９に図示した第４サブプロセッサ１２Ｄと同様に、１つのサブプロセッサ１２あたり２つのチャネルのＭＰＥＧデコード処理を行って、メインメモリ１６にそれぞれ書き込む処理を行う。また、図９と同様に、第１サブプロセッサ１２Ａ、第２サブプロセッサ１２Ｂ、第５サブプロセッサ１２Ｅ、第６サブプロセッサ１２Ｆは、それぞれパイプライン処理を行って画像処理の高速化を図っている。

図１１は、図７の信号処理シーケンスにおける第３の処理シーケンスの例を示す図である。第７サブプロセッサ１２Ｇは、メインメモリ１６に記憶されている第２コンテンツとして全ネット放送データを１フレーム分読み出す（Ｓ５８）。ここで、読み出す全ネット放送データは２チャネルとし、それぞれ第２コンテンツＡ、第２コンテンツＢとする。さらに、第２コンテンツＡ、第２コンテンツＢに対し、それぞれＭＰＥＧデコード処理を行って（Ｓ６０、Ｓ６４）、メインメモリ１６に記憶する（Ｓ６２、Ｓ６６）。ついで、第８サブプロセッサ１２Ｈは、メインメモリ１６に記憶されている第３コンテンツを読み出し（Ｓ６８）、ＭＰＥＧデコードを行って（Ｓ７０）、メインメモリ１６に記憶する（Ｓ７２）。同様に、第８サブプロセッサ１２Ｈは、メインメモリ１６に記憶されている第４コンテンツを読み出し（Ｓ７４）、ＭＰＥＧデコードを行って（Ｓ７６）、メインメモリ１６に記憶する（Ｓ７８）。

図１２は、図７の信号処理シーケンスにおける第４の処理シーケンスの例を示す図である。第３サブプロセッサ１２Ｃは、メインメモリ１６に記憶されている第１コンテンツとしての６チャネル分のＴＶ放送データと、第２コンテンツとしての２チャネル分のネット放送データと、第３コンテンツと、第４コンテンツを順次読み出す処理を行う（Ｓ８０、Ｓ８６）。また、第３サブプロセッサ１２Ｃは、１つのコンテンツを読み出すごとに、表示レイアウト情報より、表示サイズを参照して表示効果を奏するための画像処理を当該画像に施す。ここでの表示効果は、図５における交差領域７６に表示される画像の輝度を高くする、または、画像の色彩の濃度を高くする、または、画像を点滅させることなどである。また、第３サブプロセッサ１２Ｃは、１つのコンテンツを読み出すごとに、表示レイアウト情報より、書き込み先のアドレスを計算する（Ｓ８２、Ｓ８８）。ついで、第３サブプロセッサ１２Ｃは、当該コンテンツのデータをフレームメモリ２１に対して、計算した書き込み先のアドレスに書き込む処理を行う（Ｓ８４、Ｓ９０）。当該コンテンツは、フレームメモリ２１のアドレス位置にしたがって、モニタ部２２に表示される。

具体的には、図５に示すような十字型の横軸のメディアアイコン配列７０にコンテンツの名称、縦軸のコンテンツアイコン配列７２にコンテンツの内容が表示される。また、横軸と縦軸の交点示す交差領域７６に表示される画像は、第３サブプロセッサ１２Ｃによって表示効果を奏するように表示される。このような態様をとることにより、モニタ部２２を視聴しているユーザに対し、感得しやすい画像を提供することができる。

このような態様をとることにより、図５に示す表示画面２００をモニタ部２２に表示させることができる。また、フレームごとに表示位置を替えることにより、動的な表示効果をもたせることができる。また、フレームごとにサイズを変えることにより、動的な表示効果をもたせることができる。その場合、表示レイアウト情報５８に、表示効果を奏させたいコンテンツを処理するサブプロセッサ１２について、該当する表示効果を奏するように定義すればよい。

図１３は、図１のメインメモリ１６の構成例を示す図である。図１３に示すメインメモリ１６の構成は、図７のシーケンス後のメインメモリ１６における記憶状態を示す図である。図１３に示すように、メインメモリ１６のメモリマップは、アプリケーションソフトウェア５４、ＢＰＦ処理前の１フレーム分の各種コンテンツデータ、ＭＰＥＧデコード後のＩピクチャ、Ｐピクチャそれぞれの１フレーム分の各種コンテンツデータ、およびモニタ部２２に各種コンテンツの画像を表示させるためのバッファとして、３つの表示準備画像保持領域を含んでもよい。

各コンテンツの画像データについて「ＭＰＥＧデコード時の参照用Ｉピクチャ、Ｐピクチャ」のメモリ領域が確保されているのは以下の理由からである。ＭＰＥＧデータはＩピクチャ、Ｐピクチャ、Ｂピクチャから構成される。その中でＰピクチャ、Ｂピクチャは、単独ではデコード不可であり、時間的に前後に存在する参照画像としてのＩピクチャ、Ｐピクチャがデコード時に必要となる。したがって、Ｉピクチャ、Ｐピクチャのデコード処理が終了したとしても、Ｉピクチャ、Ｐピクチャを廃棄せず、保持しておく必要がある。すなわち、この「ＭＰＥＧデコード時の参照用Ｉピクチャ、Ｐピクチャ」のメモリ領域とは、それらＩ、Ｐピクチャを保持しておくための領域となる。表示準備画像１は、第１サブプロセッサ１２Ａ、第２サブプロセッサ１２Ｂ、第４サブプロセッサ１２Ｄ〜第８サブプロセッサ１２ＨによってＢＰＦ処理、復調処理、ＭＰＥＧデコード処理が完了し、かつ第３サブプロセッサ１２Ｃによりフレームメモリ２１に書き込まれる前段階のＲＧＢデータとしての画像データを記憶するメモリ領域である。表示準備画像１の中に第１コンテンツとしてのＴＶ放送データ６チャネル分、第２コンテンツ〜第４コンテンツの１フレーム分のデータが全て含まれる。表示準備画像２、表示準備画像３も表示準備画像１と同様の構成であり、１フレーム毎に表示準備画像１→表示準備画像２→表示準備画像３→表示準備画像１→表示準備画像２→・・・と巡回して使用される。３個の表示準備画像が必要な理由は、ＭＰＥＧデータをデコードする際には、デコードする対象がＩ、Ｐ、Ｂピクチャのいずれであるかによって、デコードに要する時間にバラツキが発生する。そのバラツキを少しでも均一化し、吸収するために表示準備画像用のメモリ領域として３つの領域を用意する必要がある。

本実施形態によれば、予め表示効果、サブプロセッサ１２の役割分担を示す情報を設定することにより、効率的に画像処理が実行でき、また、所望の表示効果を奏する画像を画面に表示することができる。また、ユーザに対し、容易に認識できる画面を提供することができる。また、メインプロセッサ１０内のスレッドが各サブプロセッサ１２内のスレッドと連携して動作するように構成することもできる。また、ＤＭＡ方式を用いることによって、ＣＰＵを介さずにメインメモリ１６と周辺装置、または周辺機器同士間で直接データのやり取りができる。パイプライン処理を行うことによって、高速な画像処理を行うことができる。また、マルチコアプロセッサ１１はフレームメモリに画像データを書き込むことにより、任意の動画像、静止画像をモニタ部２２に表示させることができる。また、ハイビジョン等の重い画像データを複数、同時並行して処理できる。また、複数のサブプロセッサにおける残余処理能力を考慮して、画像データの復調処理などのタスク処理を役割分担させるため、効率的にコンテンツ再生を実行することができる。また、役割分担により、画像、音声など、異なる複数のコンテンツを同時に処理し、所望のタイミングで表示、もしくは再生することができる。この表示、再生は、予め設定された表示効果、表示位置を設定することにより、処理された画像データをディスプレイ等に視覚的に容易に認識できる画像を表示し、また聴覚的に容易に認識できる音声を再生することができる。また、数のサブプロセッサを役割分担して画像の処理を実行させることより効率的に、かつ柔軟に複数のコンテンツを処理できる。また、効率的に複数のコンテンツを処理できる画像処理装置することができる。

本発明の実施形態においては、図５に示す十字型に各コンテンツを配置して表示するとして説明した。しかしながらこれにかぎらず、図１４Ａに示すような配置であってもよく、また、図１４Ｂ、図１４Ｃ、図１５Ａ，図１５Ｂ、図１５Ｃ、図１５Ｄのそれぞれに示すように各コンテンツを配置して表示させてもよい。図１４Ａ、図１４Ｂ、図１４Ｃは、それぞれ、本発明の実施形態にかかる第２乃至第４の表示画面の例を示す図である。図１４Ａは、マトリックス型に各コンテンツを配置して表示する例を示す図である。図１４Ｂは、略円形状に各コンテンツを配置して表示する例を示す図である。図１４Ｃは、あるコンテンツを背景画像として表示し、その画面に重ねて、図１４Ｂと同様に略円形状に各コンテンツを配置して表示する例を示す図である。

前述の通り第３サブプロセッサ１２Ｃは、表示準備画像と表示レイアウト情報から、各画像について表示サイズ・表示位置を演算し、フレームメモリ２１へ書き込む。図１４Ａ、もしくは、図１４Ｂのような表示画面を表示させる場合は、表示レイアウト情報５８の設定において、表示位置を各画像ごとに定義しておけばよい。ユーザは図１４Ａを見ながら、コントローラ３４を操作して選局を行うことになる。また、図１４Ｂのように、略円形状にコンテンツを配置して表示させてもよい。また、図１４Ｃにおいて、略円形状に配置されたコンテンツのうち、いずれかのコンテンツにかかる画像をユーザが選択することによって、背面に表示する画像として表示させることもできる。
図１０においては、第６サブプロセッサ１２Ｆは第５のチャネルと第６のチャネルのＭＰＥＧデコード処理を行っているが、ここで第５のチャネルおよび第６のチャネルの放送自体が行われていない場合を考える。放送が行われていないとは、例えば深夜の時間帯である場合等である。そのような時には第６サブプロセッサ１２Ｆを動作していない状態にすることが通常であるが、第５のチャネルと第６のチャネルのＭＰＥＧデコード処理の代わりに他の処理を行わせることも可能である。ここで、図１１のＳ５８にて読み出す全ネット放送データは先ほどは２チャネルとしたが、ここでは４チャネルとする。新たに加わった２つのチャネルを第２コンテンツＣ、第２コンテンツＤとする。第７サブプロセッサ１２Ｇだけでは４つのチャネルのＭＰＥＧデコード処理は不可能なので、第２コンテンツＣ、第２コンテンツＤのＭＰＥＧデコード処理を第６サブプロセッサ１２Ｆに割り当てることができる。第５のチャネルおよび第６のチャネルの放送が行われている、いないの判断はユーザが行い、コントローラ３４を用いて処理の切り替えを行うことも当然可能である。さらに、放送が行われている、いないの判断をＴＶ放送波に含まれるＥＰＧ情報により行うこともできる。すなわちＥＰＧ情報を解析することにより、放送が行われていないチャネルを特定し、当該チャネルのＢＰＦ処理、復調処理、ＭＰＥＧデコード処理、表示処理を行っていたサブプロセッサの処理能力の一部または全部を他の処理に割り当て、効率的な動作を実現できる。

図１５Ａ乃至図１５Ｄは、それぞれ、本発明の実施形態にかかる第５乃至第８の表示画面の例をディスプレイ上に表示した中間調画像の写真である。図１５Ａは、数万の画像を点状に縮小し、銀河系状に配置して表示した画面例をディスプレイ上に表示した中間調画像の写真である。図１５Ｂは、図１５Ａの銀河系状に配置して表示された画像のうち、地球に相当する部分を拡大して表示した画面例をディスプレイ上に表示した中間調画像の写真である。図１５Ｃは、図１５Ｂの地球状に配置して表示された画像のうち、一部を拡大して表示した画面例をディスプレイ上に表示した中間調画像の写真である。図１５Ｄは、図１５Ｃのように表示された複数の画像の一部をさらに拡大して表示した画面例をディスプレイ上に表示した中間調画像の写真である。

図１５Ａに示す画面の状態では、ユーザは画像を認識することはできないが、図１５Ｂ、図１５Ｃ、図１５Ｄと順に拡大されるにしたがって、認識することができるようになる。ユーザが認識できる状態、たとえば、図１５Ｄの状態に画面が表示された時に、ユーザがコントローラ３４によりいずれかの画面を選択し、拡大表示させるようにしてもよい。図１５Ａから図１５Ｄまでの拡大処理は、時間の経過とともに順に拡大されてもよく、ユーザがコントローラ３４に指示を与えることを契機として拡大してもよい。また、ユーザは、任意の個所を拡大することができてもよい。いずれの場合も表示レイアウト情報５８に予め表示位置、画像サイズを定義しておけばよい。また、時間の経過の管理、または、ユーザのコントローラ３４への指示に対する処理はメインプロセッサ１０が行ってもよく、また、いずれかのサブプロセッサ１２が行ってもよく、また、メインプロセッサ１０とサブプロセッサ１２が協同して制御し、または、処理を行ってもよい。このような態様をとることにより、図１５Ａ〜図１５Ｄに示すような画面を動的に変化させて表示することができる。

また、他の配置方法として、最初はモニタ上の中心部に小さくマルチ画像が表示されているのが、時間の経過とともにモニタ部２２全体に大きくマルチ画像が表示されてもよい。そうすると、画面の奥から手前へとマルチ画像が迫ってくる表示効果を奏することができる。この場合、表示レイアウト情報５８として、単に２次元的な座標データでなく、時間の経過とともに変化する座標データを全て用意しておけばよい。また、１つのコンテンツ、例えばＤＶＤに記録された映画の時間的に異なる箇所をいくつか選択し、マルチ表示させてもよい。これにより例えば、２時間の映画の中から１０箇所の映像データを読み出し、表示させることによりインデックス動画を実現し、ユーザが視聴したい箇所を即座に発見し、再生開始することができる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、実施形態相互の組み合わせ、または、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本発明の実施の形態にかかる画像処理システムに関する構成例を示す図である。 図１のメインプロセッサの構成例を示す図である。 図１のサブプロセッサの構成例を示す図である。 図１のメインメモリに記憶されたアプリケーションソフトウェアの構成例を示す図である。 図１のモニタの第１の表示画面の例を示す図である。 図１のサブプロセッサの役割分担の例を示す図である。 本発明の実施形態における全体の処理シーケンスの例を示す図である。 図７の起動シーケンスの例を示す図である。 図７の信号処理シーケンスにおける第１の処理シーケンスの例を示す図である。 図７の信号処理シーケンスにおける第２の処理シーケンスの例を示す図である。 図７の信号処理シーケンスにおける第３の処理シーケンスの例を示す図である。 図７の信号処理シーケンスにおける第４の処理シーケンスの例を示す図である。 図１のメインメモリの構成例を示す図である。 図１のモニタの第２の表示画面の例を示す図である。 図１のモニタの第３の表示画面の例を示す図である。 図１のモニタの第４の表示画面の例を示す図である。 図１のモニタの第５の表示画面の例をディスプレイ上に表示した中間調画像の写真である。 図１のモニタの第６の表示画面の例をディスプレイ上に表示した中間調画像の写真である。 図１のモニタの第７の表示画面の例をディスプレイ上に表示した中間調画像の写真である。 図１のモニタの第８の表示画面の例をディスプレイ上に表示した中間調画像の写真である。

符号の説明

１０ メインプロセッサ、 １２ サブプロセッサ、 ５４ アプリケーションソフトウェア、 １００ 画像処理システム。

Claims (9)

1. 画像に関するデータに対して所定の処理を行う複数のサブプロセッサと、
   バスを介して前記複数のサブプロセッサと接続され、所定のアプリケーションソフトウェアを実行して、前記複数のサブプロセッサの制御を行うメインプロセッサと、
   前記バスを介して、前記メインプロセッサと前記複数のサブプロセッサに前記画像に関するデータを供給するデータ供給部と、
   前記複数のサブプロセッサによって処理された画像を表示装置に出力するための処理を行う表示制御部と、
   を有し、
   前記アプリケーションソフトウェアは、
   前記複数のサブプロセッサのそれぞれの役割分担を示す情報と、
   前記複数のサブプロセッサによって処理された各々の画像の前記表示装置における表示位置を示す情報と、
   を含むよう記述され、
   前記複数のサブプロセッサは、
   前記アプリケーションソフトウェアによって指示された役割分担を示す情報、および、表示位置を示す情報にしたがって、前記データ供給部より供給された画像に関するデータを順次処理し、かつ、処理された画像を前記表示装置の前記表示位置に表示させることを特徴とする画像処理システム。
2. 前記アプリケーションソフトウェアはさらに、
   前記複数のサブプロセッサによって処理される各々の画像の表示効果を示す情報を含むよう記述され、
   前記複数のサブプロセッサは、
   前記データ供給部より供給された画像に関するデータを順次処理するときに、前記表示効果を示す情報にもしたがうことを特徴とする請求項１に記載の画像処理システム。
3. 前記表示装置には、
   水平方向においては各々のメディアに対応する複数のメディア画像が表示されるとともに、
   垂直方向においては選択されているメディアに属する複数の画像が表示されるように各画像の表示位置が設定されることを特徴とする請求項１に記載の画像処理システム。
4. 前記表示装置に表示される各々の画像の集合が、全体として所定の物体の輪郭を形成するように各画像の表示位置が設定されることを特徴とする請求項１に記載の画像処理システム。
5. 前記複数のサブプロセッサは、
   前記データ供給部から供給されたデータに対して、バンドパスフィルタ処理を実行する第１のサブプロセッサと、
   バンドパスフィルタ処理が施されたデータに対して、復調処理を実行する第２のサブプロセッサと、
   復調処理が施されたデータに対して、ＭＰＥＧデコード処理を実行する第３のサブプロセッサと、
   を含むことを特徴とする請求項１に記載の画像処理システム。
6. 前記メインプロセッサは時間の経過を監視して複数のサブプロセッサに通知し、
   前記複数のサブプロセッサは、時間の経過とともに、前記表示装置に表示させる画像を変化させることを特徴とする請求項１に記載の画像処理システム。
7. 前記アプリケーションソフトウェアは、時間が経過するごとに表示位置が変化する旨の情報が設定されるように記述されていることを特徴とする請求項１に記載の画像処理システム。
8. 前記アプリケーションソフトウェアは、時間が経過するごとに画像の表示サイズが変化する旨の情報が設定されるように記述されていることを特徴とする請求項１に記載の画像処理システム。
9. 前記アプリケーションソフトウェアによって記述された表示効果は、時間が経過するごとに画像の色彩、もしくは、色彩の強度を変化させる旨の情報が設定されていることを特徴とする請求項２に記載の画像処理システム。