WO2006120821A1

WO2006120821A1 - 画像処理システム

Info

Publication number: WO2006120821A1
Application number: PCT/JP2006/307322
Authority: WO
Inventors: Masahiro Yasue; Eiji Iwata; Munetaka Tsuda; Ryuji Yamamoto; Shigeru Enomoto; Hiroyuki Nagai
Original assignee: Sony Computer Entertainment Inc.
Priority date: 2005-05-13
Filing date: 2006-04-06
Publication date: 2006-11-16
Also published as: US20090066706A1; JP2006318281A; JP4070778B2

Abstract

　本マルチプロセサシステムは、画像処理を好適に実行する。たとえば、様々な映像コンテンツを受信、再生、記録することが可能である。また、強力なＣＰＵをマルチプロセッサ内に有することにより、従来は困難であったハイビジョン等の重い画像データを複数、同時並行して処理できる。さらに、複数のサブプロセッサにおける残余処理能力を考慮して、画像データの復調処理などのタスク処理を役割分担させるため、効率的にコンテンツ再生を実行することができる。また、役割分担により、画像、音声など、異なる複数のコンテンツを同時に処理し、所望のタイミングで表示、もしくは再生することができる。

Description

明細書

画像処理システム

技術分野

[0001] 本発明は、マルチプロセッサによる情報処理技術、特に、マルチプロセッサシステムにおいて画像処理を実行するための画像処理システムに関する。

背景技術

[0002] 近年のコンピュータゲームやデジタル放送などの分野に利用されるコンピュータグラフィックス技術や画像処理技術の著しい進歩に伴い、コンピュータ、ゲーム機器、テレビなどの情報処理装置は、より高精細の画像データをより高速に処理する能力を求められている。これらの情報処理装置において高性能な演算処理を実現するためには、複数のプロセッサを備えた情報処理装置において、それぞれのプロセッサにタスクを割り当ることにより、複数のタスクを並列処理する方法が有効である。複数のプ口セッサが協働して複数のタスクを実行するためには、各プロセッサの状態に応じて効率的にタスクを割り当てる必要がある。

発明の開示

発明が解決しょうとする課題

[0003] しかし、一般に、複数のコンテンツに対し、複数のプロセッサを並列して効率的にタスクを実行することは難しい。

[0004] 本発明はこうした状況に鑑みてなされたものであり、その総括的な目的（a general p urpose)は、より効率的に複数のコンテンツを処理できる画像処理装置を提供することにある。

課題を解決するための手段

[0005] 上記課題を解決するために、本発明のある態様の画像処理システムは、画像に関するデータに対して所定の処理を行う複数のサブプロセッサと、バスを介して複数のサブプロセッサと接続され、所定のアプリケーションソフトウェアを実行して、複数のサブプロセッサの制御を行うメインプロセッサと、バスを介して、メインプロセッサと複数のサブプロセッサに画像に関するデータを供給するデータ供給部と、複数のサブプ口セッサによって処理された画像を表示装置に出力するための処理を行う表示制御部と、を有し、アプリケーションソフトウェアは、複数のサブプロセッサのそれぞれの役割分担を示す情報と、複数のサブプロセッサによって処理された各々の画像の表示装置における表示位置と当該画像の表示効果とを示す情報と、を含むよう記述され、複数のサブプロセッサは、アプリケーションソフトウェアによって指示された役割分担を示す情報、および、表示効果を示す情報にしたがって、データ供給部より供給された画像に関するデータを順次処理し、かつ、処理された画像を表示装置の表示位置に表示させる。

[0006] なお、本発明を方法、装置、システム、記録媒体、コンピュータプログラムにより表現したものもまた、本発明の態様として有効である。

発明の効果

[0007] 本発明によれば、マルチプロセッサにおける画像処理を好適に実行できる。

図面の簡単な説明

[0008] [図 1]本発明の実施の形態にカゝかる画像処理システムに関する構成例を示す図である。

[図 2]図 1のメインプロセッサの構成例を示す図である。

[図 3]図 1のサブプロセッサの構成例を示す図である。

[図 4]図 1のメインメモリに記憶されたアプリケーションソフトウェアの構成例を示す図である。

[図 5]図 1のモニタの第 1の表示画面の例を示す図である。

[図 6]図 1のサブプロセッサの役割分担の例を示す図である。

[図 7]本発明の実施形態における全体の処理シーケンスの例を示す図である。

[図 8]図 7の起動シーケンスの例を示す図である。

[図 9]図 7の信号処理シーケンスにおける第 1の処理シーケンスの例を示す図である [図 10]図 7の信号処理シーケンスにおける第 2の処理シーケンスの例を示す図である [図 11]図 7の信号処理シーケンスにおける第 3の処理シーケンスの例を示す図である [図 12]図 7の信号処理シーケンスにおける第 4の処理シーケンスの例を示す図である

[図 13]図 1のメインメモリの構成例を示す図である。

[図 14A]図 1のモニタの第 2の表示画面の例を示す図である。

[図 14B]図 1のモニタの第 3の表示画面の例を示す図である。

[図 14C]図 1のモニタの第 4の表示画面の例を示す図である。

[図 15A]図 1のモニタの第 5の表示画面の例をディスプレイ上に表示した中間調画像の写真である。

[図 15B]図 1のモニタの第 6の表示画面の例をディスプレイ上に表示した中間調画像の写真である。

[図 15C]図 1のモニタの第 7の表示画面の例をディスプレイ上に表示した中間調画像の写真である。

[図 15D]図 1のモニタの第 8の表示画面の例をディスプレイ上に表示した中間調画像の写真である。

符号の説明

[0009] 10 メインプロセッサ、 12 サブプロセッサ、 54 アプリケーションソフトウェア、 100 画像処理システム。

発明を実施するための最良の形態

[0010] (実施形態）

本発明の実施形態を具体的に説明する前に、まず本実施形態にかかる画像処理システムについて概要を述べる。本実施形態に力かる画像処理システムは、メインプ口セッサと複数のサブプロセッサを含むマルチプロセッサと、テレビジョンチューナ（以下、「τνチューナ」と略称する。）、ネットワークインタフェイス、ハードディスク、デイジタルビデオディスクドライノ（以下、「DVDドライバ」と略称する。）等を備え、様々な映像コンテンツを受信、再生、記録することが可能である。また、強力な CPUをマルチプロセッサ内に有することにより、従来は困難であったノヽイビジョン等の重い画像データを複数、同時並行して処理できることを特徴とする。さらに、複数のサブプロセッサにおける残余処理能力を考慮して、画像データの復調処理などのタスク処理を役割分担させるため、効率的にコンテンツ再生を実行することができる。また、役割分担により、画像、音声など、異なる複数のコンテンツを同時に処理し、所望のタイミングで表示、もしくは再生することができる。この表示、再生は、予め設定された表示効果、表示位置を設定することにより、処理された画像データをディスプレイ等に視覚的に容易に認識できる画像を表示し、また聴覚的に容易に認識できる音声を再生することができる。詳細は後述する。

[0011] 図 1は、本発明の実施形態にカゝかる画像処理システム 100の構成例を示す図である。画像処理システム 100は、メインプロセッサ 10と、サブプロセッサ 12で代表される第 1サブプロセッサ 12Aと第 2サブプロセッサ 12Bと第 3サブプロセッサ 12Cと第 4サブプロセッサ 12Dと第 5サブプロセッサ 12Eと第 6サブプロセッサ 12Fと第 7サブプロセッサ 12Gと第 8サブプロセッサ 12Hと、メモリ制御部 14と、メインメモリ 16と、第 1インタフェイス 18と、グラフィックカード 20と、モニタ言と、第 2インタフェイス 24と、ネットワークインタフェイス 26 (以下、「ネットワーク IF」と略称する。）と、ハードディスク 28と、 DVDドライバ 30と、ユニバーサルシリアルバス 32 (Universal Serial Bus。以下、「USB32」と略称する。）と、コントローラ 34と、アナログデジタル変^^ 36 (Analog Digital Convertor₀以下、「ADC36」と略称する。）と、無線周波数処理部 38 (R adio Frequency処理部。以下、「RF処理部 38」と略称する。）と、アンテナ 40と、を含む。

[0012] 画像処理システム 100は、中央処理装置（Central Processing Unit。以下、「C PU」と略称する。）としてマルチコアプロセッサ 11を備える。マルチコアプロセッサ 11 は、 1個のメインプロセッサ 10と、複数のサブプロセッサ 12と、メモリ制御部 14と第 1ィンタフェイス 18で構成される。図 1においては、例として、サブプロセッサ 12が 8個ある構成を示した。メインプロセッサ 10は、バスを介して複数のサブプロセッサ 12と接続され、後述するアプリケーションソフトウェア 54にしたがって、それぞれのサブプロセッサ 12によるスレッド実行のスケジュール管理と、マルチコアプロセッサ 11の全般的な管理とを行う。サブプロセッサ 12は、ノスを介してメモリ制御部 14より送られた画像に関するデータに対して所定の処理を行う。メモリ制御部 14は、メインメモリ 16に記憶されたデータ、アプリケーションソフトウェア 54の読み書き処理を行う。第 1インタフェイス 18は、 ADC36、第 2インタフェイス 24、グラフィックカード 20から送られたデータを受け、バスに出力する。

[0013] 表示制御部であるグラフィックカード 20は、第 1インタフェイス 18を介して送られた画像データに対し、画像データの表示位置、表示効果を考慮してモニタ部 22に送出する。モニタ部 22は、送出された画像データをディスプレイなどの表示装置に表示する。グラフィックカード 20は、さらに、サブプロセッサ 12の指示にしたがって、音声に関するデータ、音量を図示しないスピーカに送出してもよい。また、グラフィックカード 20内にはフレームメモリ 21があってもよぐマルチコアプロセッサ 11はフレームメモリ 21に画像データを書き込むことにより、任意の動画像、静止画像をモニタ部 22に表示させることができる。ここで、モニタ部 22における画像の表示位置は、当該画像が書き込まれたフレームメモリ 21のアドレスによって決定される。

[0014] 第 2インタフェイス 24は、マルチコアプロセッサ 11と、各種デバイスとのインタフェイス部である。各種デバイスとは、家庭内ローカルエリアネットワーク（Local Area N etwork₀以下、「家庭内 LAN」と略称する。）、インターネットなどとのインタフェイスであるネットワークインタフェイス 26、または、ハードディスク 28、または、 DVDドライバ 3 0、または、外部力ユーザの指示を受け付けるコントローラ 34と接続するための入出力端子である USB32などを指す。

[0015] アンテナ 40は TV放送波を受信する。ここで、 TV放送波とはアナログ地上波であつてもよく、また、デジタル地上波、衛星放送波などであってもよい。また、ノ、イビジョン放送波であってもよい。また、 TV放送波は複数チャネルを含んでいてもよい。 TV放送波は RF処理部 38に含まれるダウンコンバータによりダウンコンバートされた後に、 ADC36により AZD変換される。すなわち、ダウンコンバートされた、複数チャネルを含むデジタル TV放送波がマルチコアプロセッサ 11に入力されることとなる。

[0016] 図 2は、図 1のメインプロセッサ 10の構成例を示す図である。メインプロセッサ 10は、メインプロセッサ制御装置 42と、内部メモリ 44と、直接メモリアクセス制御部 46 (Dir ect Memory Access Controller。以下、「DMAC46」と略称する。）と、を含む。メインプロセッサ制御装置 42は、ノスを介してメインメモリ 16から読み出したアプリケーシヨンソフトウェア 54をもとに、マルチコアプロセッサ 11の制御を行う。具体的には、それぞれのサブプロセッサ 12に対し、処理対象となる画像データ、処理手順を指示する。詳細は後述する。内部メモリ 44は、メインプロセッサ制御装置 42の処理に際し、中間データを一時的に保持するために用いられる。外部のメモリを用いずに内部メモリ 44を用いることによって、高速な読み書き動作が可能となる。 DMAC46は、各サブプロセッサ 12またはメインメモリ 16との間で DMA方式により高速なデータ転送を行う。 DMA方式とは、 CPUを介さずにメインメモリ 16と周辺装置、または周辺機器同士間で直接データのやり取りができる機能をいう。この場合、 CPUに負荷がかからな!/、ので、高速に大量のデータを転送できることとなる。

[0017] 図 3は、図 1のサブプロセッサ 12の構成例を示す図である。サブプロセッサ 12は、サブプロセッサ制御装置 48と、サブプロセッサ用内部メモリ 50と、サブプロセッサ用直接メモリアクセス制御部 52 (以下、「サブプロセッサ用 DMAC52」と略称する。）と、を含む。サブプロセッサ制御装置 48は、メインプロセッサ 10の制御によって並列的かつ独立にスレッドを実行し、データを処理する。スレッドとは、複数のプログラム、もしくは、複数のプログラムの実行手順、およびプログラムの実行に必要な制御データなどである。また、メインプロセッサ 10内のスレッドが各サブプロセッサ 12内のスレッドと連携して動作するように構成してもよい。サブプロセッサ用内部メモリ 50は、サブプロセッサ 12における処理に際し、中間データを一時的に保持するために用いられる。サブプロセッサ用 DMAC52は、メインプロセッサ 10、もしくは他のサブプロセッサ 12またはメインメモリ 16との間で DMA方式により高速なデータ転送を行う。

[0018] サブプロセッサ 12は、個々の処理能力、もしくは、残余処理能力に応じ、役割分担された処理をそれぞれ実行する。後述の具体例においては、すべてのサブプロセッサ 12の処理能力は均等で、かつ、具体例に示す処理以外の処理は行わないことを前提として説明する。処理能力とは、サブプロセッサ 12が同時に処理することのできるデータのサイズ、または、プログラムの大きさ、などを指す。ここでは、表示画面の大きさにより、 1つのサブプロセッサ 12が処理できる数が決まることなる。後述の例においては、 1つのサブプロセッサ 12あたり MPEGデコード処理を 2つ行えるとした。表示画面の大きさが小さくなると、 2以上の MPEGデコード処理を行うことができる。また、表示画面の大きさがさらに大きくなると 1つの MPEGデコード処理しか行えないことになる。なお、複数のサブプロセッサ 12において、 1つの MPEGデコード処理を分担しておこなってもよい。

[0019] 図 4は、図 1のメインメモリ 16に内蔵されたアプリケーションソフトウェア 54の構成例を示す図である。アプリケーションソフトウェア 54は前述のメインプロセッサ 10が各サブプロセッサ 12と正確に連携動作するようにプログラミングされて、る。本実施形態においては、図 4は画像処理用の構成であるが、他の用途のアプリケーションであつても同様の構成である。アプリケーションソフトウェア 54はヘッダ 56、表示レイアウト情報 58、メインプロセッサ用スレッド 60、サブプロセッサ用第 1スレッド 62、サブプロセッサ用第 2スレッド 64、サブプロセッサ用第 3スレッド 65、サブプロセッサ用第 4スレッド 66、データ 68の各ユニットを含んで構成される。アプリケーションソフトウェア 54は、電源オフの状態においては、ハードディスク 28等の不揮発性メモリ内に保存されている。電源オンの状態において読み出され、メインメモリ 16に保存される。その後、必要に応じて必要なユニットがマルチコアプロセッサ 11内のメインプロセッサ 10または各サブプロセッサ 12にダウンロードされ、実行される。

[0020] ヘッダ 56には、アプリケーションソフトウェア 54を実行するために必要なサブプロセッサ 12の個数、メインメモリ 16の容量などが含まれている。表示レイアウト情報 58は、当該アプリケーションソフトウェア 54を実行しモニタ部 22に表示する際の表示位置を示す座標データと、モニタ部 22に表示する際の表示効果などを含む。

[0021] ここで、表示効果とは、画像をモニタ部 22に表示させる際に音声もあわせて再生させる効果、または、時間により画像 Z音声が変化する効果、または、ユーザのコント口ーラ 34への指示による画像 Z音声の変化、または、画像が強調して表示される効果、または、音量が増大する効果画像の色彩の強度を変化させる効果などである。「色彩の強度を変化させる」とは、画像の色の濃淡、または輝度を変化させること、または画像を点滅させることなどである。これらの表示効果は、サブプロセッサ 12が表示レィアウト情報 58を参照し、所定の処理を施した画像をフレームメモリ 21に書き込むことによって実現される。

[0022] たとえば、フレームメモリ 21のアドレス AOは、モニタ部 22の表示画面に力かる座標 (x0、 yO)に対応し、また、アドレス Alは、モニタ部 22の表示画面に力かる座標（xl、 yl)に対応していると仮定する。ここで、ある画像を時間 tOにおいて AOに書き込み、時間 tlにおいて A1に書き込んだ場合、モニタ部 22には、時間 tOにおいて、当該画像が座標 (x0、 yO)に表示され、また、時間 tlにおいて、当該画像が座標 (xl、 yl) に表示される。いいかえると、画面を視聴しているユーザに対し、時間 tO力 tlにおいて、画像が画面の中で動いたような効果を与えることができる。これらは、サブプロセッサ 12が、後述するアプリケーションソフトウェア 54に定義された表示効果にしたがって、画像を処理し、フレームメモリ 21に順次書き込むことによって実現される。このような態様をとることにより、任意の動画像、静止画像を任意の位置にモニタ部 22 に表示させることができる。また、動的に画像が動くような効果をもたせることができる

[0023] メインプロセッサ用スレッド 60は、メインプロセッサ 10で実行されるスレッドであり、どのサブプロセッサ 12にどの処理を行わせるかを示す役割分担情報などを含む。サブプロセッサ用第 1スレッド 62は、サブプロセッサ 12で実行されるバンドパスフィルタ処理を行うためのスレッドである。サブプロセッサ用第 2スレッド 64は、サブプロセッサ 1 2で実行される復調処理を行うためのスレッドである。サブプロセッサ用第 4スレッド 66 は、サブプロセッサ 12で実行される MPEGデコード処理するためのスレッドである。データ 68は、当該アプリケーションソフトウェア 54を実行する際に必要となる各種データである。

[0024] ここで、図 5に示す複数のコンテンツにかかる画像をモニタ部 22に表示させる場合について、図 6〜図 13を用いて、図 1に示す各装置の動作シーケンスを説明する。ここでは、例として、 6チャネルの TV放送 (第 1コンテンツ）、 2チャネルのネット放送 (第 2コンテンツ）、ハードディスク 28に格納されている第 3コンテンツ、 DVDドライバ 30に収納された DVDに格納されている第 4コンテンツを表示する場合について説明する

[0025] 図 5は、図 1のモニタ部 22における第 1の表示画面の例を示す図である。図 5は、マルチメディア再生装置により生成されるメニュー画面の構成を示す。表示画面 200〖こおいて、水平方向に複数のメディアアイコンが並んだメディアアイコン配列 70と、垂直方向に複数のコンテンツァイコンが並んだコンテンツァイコン配列 72とが交差する十字型の二次元配列が表示される。メディアアイコン配列 70には、画像処理システム 100が再生可能なメディアの種類を示すマークとして、 TV放送アイコン 74と、 DVD アイコン 78と、ネット放送アイコン 80と、ハードディスクアイコン 82が含まれる。コンテンッアイコン配列 72には、メインメモリ 16に格納された複数のコンテンツのサムネイルなどのアイコンが含まれる。メディアアイコン配列 70およびコンテンツアイコン配列 72 で構成されるメニュー画面はオンスクリーン表示であり、コンテンツ映像の前面に重ね合わされて表示される。 TV放送アイコン 74に現在再生中のコンテンツ映像が表示される場合、エフェクト処理によってメディアアイコン配列 70とコンテンツアイコン配列 7 2の領域全体に、 TV放送アイコン 74との外観上の区別を容易にするための彩色を施してもよぐまたコンテンツ映像の明るさを調整するなどの方法により外観上の区別を容易にしてもよい。たとえば、 TV放送アイコン 74のコンテンツ映像の輝度、もしくは濃淡を、他のコンテンツに比べ高く設定するなどしてもよい。

[0026] メディアアイコン配列 70とコンテンツアイコン配列 72が交差する領域に位置するメディアアイコンは、 TV放送アイコン 74として図示するように他のメディアアイコンと異なる色彩にて拡大表示される。交差領域 76は、表示画面 200の略中央に位置したままその位置が据え置かれ、コントローラ 34を介したユーザの左右方向の指示に応じてメディアアイコンの配列全体が左右方向に移動し、交差領域 76に位置したメディアアイコンの色彩とアイコンサイズが変化する。したがって、ユーザは左右の方向指示をするだけでメディアを選択でき、パーソナルコンピュータ上で行われるマウスのクリツク操作と、つた決定指示は不要となる。

[0027] 図 6は、図 1のサブプロセッサ 12の役割分担の例を示す図である。図 6に示すように、各サブプロセッサ 12は、処理内容、処理対象が異なる。第 1サブプロセッサ 12Aは、全てのコンテンツのデジタル信号に対して、バンドパスフィルタ処理（Band Pass Filtering。以下、「BPF処理」と略称する。）を順次行う。第 2サブプロセッサ 12Bは、 BPF処理されたデジタル信号に対して、復調処理を行う。第 3サブプロセッサ 12Cは、 BPF処理、復調処理、 MPEGデコード処理が完了し、 RGBデータとしてメインメモリ 16に保存されている各画像データを読み出し、表示レイアウト情報を参照することにより、各画像について表示サイズ'表示位置を演算し、フレームメモリ 21へ書き込む。第 4サブプロセッサ 12D〜第 8サブプロセッサ 12H、それぞれ与えられた 2つのコンテンツに対し、 MPEGデコード処理を行う。ここで、 MPEGデコード処理は、色彩フォーマットの変換を含んでもよい。色彩フォーマットとは、輝度信号 (Y)と、輝度信号と青色成分の差 (U)、輝度信号と赤色成分の差 (V)の 3つの情報で色を表す形式 (Y UV形式)、または、赤色信号 (R)と緑色信号 (G)と青色信号 (B)の 3つの情報で色を表す形式 (RGB形式)などである。

[0028] 図 7は、本発明の実施形態における全体の処理シーケンスの例を示す図である。まず、ユーザがコントローラ 34に指示を与えることにより、メインプロセッサ 10が起動される。ついで、メインプロセッサ 10は、メインメモリ 16に対し、ヘッダ 56を送るよう要求する。メインプロセッサ 10は、ヘッダ 56を受信した後、メインプロセッサ 10用のスレツドを起動する（S10)。具体的には、アンテナ 40による TV放送の受信、 RF処理部 38 に含まれるダウンコンバータによるダウンコンバート処理、 ADC36による AZD変換処理などを開始する指示を伝える。さらに、メインプロセッサ 10は、ヘッダ内に記された当該アプリの実行に必要な数のサブプロセッサ 12およびメインメモリ 16の容量を確保する。例えば、各サブプロセッサ 12およびメインメモリ 16内の各領域には、 0 :未使用、 1 :使用中、 2 :予約のようなフラグが付加されているとすると、フラグの値が 0となつて、るサブプロセッサ 12およびメインメモリ 16の領域をサーチし、値を 2に更新することにより、処理に要するマルチコアプロセッサ 11およびメインメモリ 16の容量を必要な分だけ確保する。必要な分だけ確保できない場合は、ユーザにアプリ実行が不可である旨をモニタ部 22などを通じて通知する。

[0029] ついで、アンテナ 40は、メインプロセッサ 10の指示にした力^、、第 1コンテンツである全 TV放送の受信を開始する（S 12)。受信した全 TV放送の電波は、 RF処理部 38 に送られる。 RF処理部 38に含まれるダウンコンバータは、メインプロセッサ 10の指示にしたがい、アンテナ 40から送られた全 TV放送の電波のダウンコンバート処理を行う（S14)。具体的には、高周波帯の信号をベースバンド帯に変調し、また、誤り訂正などの復調処理などを行う。さらに、 RF処理部 38は、ダウンコンバート処理した全 TV 放送波を ADC36に送る。ついで、メインプロセッサ 10は、メインメモリ 16とサブプロセッサ 12を起動する（SI 8)。詳細は後述する。

[0030] ADC36は、メインプロセッサ 10の指示にした力^、、全 TV放送波を A/D変換し、第 1インタフェイス 18、バス、メモリ制御部 14を介して、メインメモリ 16に送る。メインメモリ 16は、 ADC36より送られた全 TV放送データを記憶する。記憶された TV放送波は、後述するサブプロセッサ 12における信号処理シーケンス（S26)にて用いられる。詳細は後述する。

[0031] さらに、メインプロセッサ 10は、ネットワークインタフェイス 26に対し、第 2コンテンツである全ネットデータを要求する。ネットワークインタフェイス 26は、全ネット放送の受信を開始し (S20)、メインプロセッサ 10で指定されたバッファサイズ分のデータをメインメモリ 16に蓄える。また、メインプロセッサ 10は、ハードディスク 28に対し、ハードデイスク 28に記憶されている第 3コンテンツを要求する。ハードディスク 28は、第 3コンテンッを読み出し (S22)、メインプロセッサ 10で指定されたバッファサイズ分のデータをメインメモリ 16に蓄える。また、メインプロセッサ 10は、 DVDドライバ 30に対し、 D VDドライバ 30に記憶されている第 4コンテンツを要求する。 DVDドライバ 30は、第 4 コンテンツを読み出し (S24)、メインプロセッサ 10で指定されたバッファサイズ分のデータをメインメモリ 16に蓄える。

[0032] ここで、ネットワークインタフェイス 26、ハードディスク 28、 DVDドライバ 30にそれぞれ要求され、メインメモリ 16に蓄えられるデータは、メインプロセッサ 10で指定されたバッファサイズ分のみである。ソースとなるデータの圧縮率は固定ではないが、 MPE G2等のコーデックで保証するバッファサイズが規定されており、それを満たすサイズが使用される。後述するサブプロセッサ 12等における信号処理シーケンス（S26)における処理は 1フレーム分ずつであり、データ書込処理とデータ読出処理は非同期に処理される。 1フレーム分処理された後は、次のフレームをメインメモリ 16に送り、同様の処理が繰り返されることとなる。

[0033] 図 8は、図 7の起動シーケンス S 18の例を示す図である。まず、メインプロセッサ 10 は、第 1サブプロセッサ 12Aに対し、サブプロセッサ用第 1スレッド 62をダウンロードさせるための要求を伝える。ついで、第 1サブプロセッサ 12Aは、メインメモリ 16に対し、サブプロセッサ用第 1スレッド 62を要求する。ついで、メインメモリ 16は、記憶されているサブプロセッサ用第 1スレッド 62を読み出し（S28)、第 1サブプロセッサ 12Aにサブプロセッサ用第 1スレッド 62を送る。第 1サブプロセッサ 12Aは、ダウンロードしたサブプロセッサ用第 1スレッド 62を第 1サブプロセッサ 12A内のサブプロセッサ用内部メモリ 50に記憶する（S30)。

[0034] 同様に、メインプロセッサ 10は、第 2サブプロセッサ 12B、第 3サブプロセッサ 12C、および、第 4サブプロセッサ 12D〜第 8サブプロセッサ 12Hに対し、メインメモリ 16力ら、それぞれ役割分担にしたがって、必要なスレッドをダウンロードさせる。具体的には、第 2サブプロセッサ 12Bに対しては、サブプロセッサ用第 2スレッド 64をダウン口ードするように要求する。また、第 3サブプロセッサ 12Cに対しては、表示レイアウト情報 58とサブプロセッサ用第 3スレッド 65をダウンロードするように要求する。さらに、第 4サブプロセッサ 12D〜第 8サブプロセッサ 12Hに対しては、サブプロセッサ用第 4スレッド 66をダウンロードするように要求する。いずれの場合においても、それぞれのサブプロセッサ 12は、それぞれのサブプロセッサ用内部メモリ 50にダウンロードしたスレッドを記憶する（S34, S38, S42)。

[0035] 図 9〜12は、図 7の信号処理シーケンス S26の詳細な処理シーケンスの例を示す図である。まず、図 9、図 10において、 TV放送データの BPF処理、復調処理、 MPE Gデコード処理についての処理シーケンスを説明する。次に、図 11を用いて、ネット放送データ、 DVD、ハードディスクのデータの BPF処理、復調処理、 MPEGデコード処理について説明する。最後に、図 12を用いて、各種処理が終了した後の画像データをメインメモリ 16に表示させる際の処理にっ、て説明する。

[0036] 図 9は、図 7の信号処理シーケンス S26における第 1の処理シーケンスの例を示す図である。第 1の処理シーケンスにおいては、まず、第 1サブプロセッサ 12Aがサブプ口セッサ用第 1スレッド 62を起動する（S44)とともに、メインメモリ 16から第 1コンテンッである全 TV放送データのうち 1フレーム分を読み出して (S48)、第 1のチャネルの BPF処理を行い（S50)、第 2サブプロセッサ 12Bに BPF処理された TV放送データを渡す。ついで、第 2サブプロセッサ 12Bが BPF処理された TV放送の復調処理を行い（S52)、第 4サブプロセッサ 12Dに渡す。さらに、第 4サブプロセッサ 12Dが復調された TV放送の MPEGデコードを行って（S54)、メインメモリ 16に保存する（S56)。第 1サブプロセッサ 12Aは、第 1のチャネルの BPF処理が終了しだい、第 2のチヤネルの BPF処理を開始する。また、第 2サブプロセッサ 12Bは、第 1のチャネルの復調処理が終了しだい、第 2のチャネルの復調処理を開始する。また、第 4サブプロセッサ 12Dは、第 1のチャネルの MPEGデコード処理が終了しだい、第 2のチャネルの MPEGデコード処理を行う。このように、パイプライン処理を行うことによって、高速な画像処理を行うことができる。

[0037] 図 10は、図 7の信号処理シーケンス S26における第 2の処理シーケンスの例を示す図である。第 1サブプロセッサ 12Aと第 2サブプロセッサ 12Bは、図 9に図示した第 1の処理シーケンスと同様に、第 1のコンテンツである TV放送データの BPF処理と復調処理をチャネルごとに行う。処理対象となるチャネルは、第 3のチャネル〜第 6のチャネルである。また、第 5サブプロセッサ 12Eと第 6サブプロセッサ 12Fは、図 9に図示した第 4サブプロセッサ 12Dと同様に、 1つのサブプロセッサ 12あたり 2つのチャネルの MPEGデコード処理を行って、メインメモリ 16にそれぞれ書き込む処理を行う。また、図 9と同様に、第 1サブプロセッサ 12A、第 2サブプロセッサ 12B、第 5サブプロセッサ 12E、第 6サブプロセッサ 12Fは、それぞれパイプライン処理を行って画像処理の高速化を図っている。

[0038] 図 11は、図 7の信号処理シーケンスにおける第 3の処理シーケンスの例を示す図である。第 7サブプロセッサ 12Gは、メインメモリ 16に記憶されている第 2コンテンツとして全ネット放送データを 1フレーム分読み出す (S58)。ここで、読み出す全ネット放送データは 2チャネルとし、それぞれ第 2コンテンツ A、第 2コンテンツ Bとする。さらに、第 2コンテンツ A、第 2コンテンツ Bに対し、それぞれ MPEGデコード処理を行って（ S60、 S64)、メインメモリ 16に記 '慮する（S62、 S66)。つ、で、第 8サブプロセッサ 1 2Hは、メインメモリ 16に記憶されている第 3コンテンツを読み出し（S68)、 MPEGデコードを行って（S70)、メインメモリ 16に記憶する（S72)。同様に、第 8サブプロセッサ 12Hは、メインメモリ 16に記憶されている第 4コンテンツを読み出し（S74)、 MPE Gデコードを行って（S76)、メインメモリ 16に記憶する（S78)。

[0039] 図 12は、図 7の信号処理シーケンスにおける第 4の処理シーケンスの例を示す図である。第 3サブプロセッサ 12Cは、メインメモリ 16に記憶されている第 1コンテンツとしての 6チャネル分の TV放送データと、第 2コンテンツとしての 2チャネル分のネット放送データと、第 3コンテンツと、第 4コンテンツを順次読み出す処理を行う（S80、 S 86)。また、第 3サブプロセッサ 12Cは、 1つのコンテンツを読み出すごとに、表示レイアウト情報より、表示サイズを参照して表示効果を奏するための画像処理を当該画像に施す。ここでの表示効果は、図 5における交差領域 76に表示される画像の輝度を高くする、または、画像の色彩の濃度を高くする、または、画像を点滅させることなどである。また、第 3サブプロセッサ 12Cは、 1つのコンテンツを読み出すごとに、表示レィアウト情報より、書き込み先のアドレスを計算する（S82、 S88)。ついで、第 3サブプロセッサ 12Cは、当該コンテンツのデータをフレームメモリ 21に対して、計算した書き込み先のアドレスに書き込む処理を行う（S84、 S90)。当該コンテンツは、フレームメモリ 21のアドレス位置にしたがって、モニタ部 22に表示される。

[0040] 具体的には、図 5に示すような十字型の横軸のメディアアイコン配列 70にコンテンッの名称、縦軸のコンテンツアイコン配列 72にコンテンツの内容が表示される。また、横軸と縦軸の交点示す交差領域 76に表示される画像は、第 3サブプロセッサ 12Cによって表示効果を奏するように表示される。このような態様をとることにより、モニタ部 2 2を視聴して、るユーザに対し、感得しやす!/、画像を提供することができる。

[0041] このような態様をとることにより、図 5に示す表示画面 200をモニタ部 22に表示させることができる。また、フレームごとに表示位置を替えることにより、動的な表示効果をもたせることができる。また、フレームごとにサイズを変えることにより、動的な表示効果をもたせることができる。その場合、表示レイアウト情報 58に、表示効果を奏させたいコンテンツを処理するサブプロセッサ 12について、該当する表示効果を奏するように定義すればよい。

[0042] 図 13は、図 1のメインメモリ 16の構成例を示す図である。図 13に示すメインメモリ 16 の構成は、図 7のシーケンス後のメインメモリ 16における記憶状態を示す図である。図 13に示すように、メインメモリ 16のメモリマップは、アプリケーションソフトウェア 54、 BPF処理前の 1フレーム分の各種コンテンツデータ、 MPEGデコード後の Iピクチャ、 Pピクチャそれぞれの 1フレーム分の各種コンテンツデータ、およびモニタ部 22に各種コンテンツの画像を表示させるためのノッファとして、 3つの表示準備画像保持領域を含んでもよい。

[0043] 各コンテンツの画像データについて「MPEGデコード時の参照用 Iピクチャ、 Pピクチヤ」のメモリ領域が確保されているのは以下の理由からである。 MPEGデータは Iピクチャ、 Pピクチャ、 Bピクチャ力も構成される。その中で Pピクチャ、 Bピクチャは、単独ではデコード不可であり、時間的に前後に存在する参照画像としての Iピクチャ、 P ピクチャがデコード時に必要となる。したがって、 Iピクチャ、 Pピクチャのデコード処理が終了したとしても、 Iピクチャ、 Pピクチャを廃棄せず、保持しておく必要がある。すなわち、この「MPEGデコード時の参照用 Iピクチャ、 Pピクチャ」のメモリ領域とは、それら I、 Pピクチャを保持しておくための領域となる。表示準備画像 1は、第 1サブプロセッサ 12A、第 2サブプロセッサ 12B、第 4サブプロセッサ 12D〜第 8サブプロセッサ 12 Hによって BPF処理、復調処理、 MPEGデコード処理が完了し、かつ第 3サブプロセッサ 12Cによりフレームメモリ 21に書き込まれる前段階の RGBデータとしての画像データを記憶するメモリ領域である。表示準備画像 1の中に第 1コンテンツとしての T V放送データ 6チャネル分、第 2コンテンツ〜第 4コンテンツの 1フレーム分のデータが全て含まれる。表示準備画像 2、表示準備画像 3も表示準備画像 1と同様の構成であり、 1フレーム毎に表示準備画像 1→表示準備画像 2→表示準備画像 3→表示準備画像 1→表示準備画像 2→· · ·と巡回して使用される。 3個の表示準備画像が必要な理由は、 MPEGデータをデコードする際には、デコードする対象が I、 P、 Bピクチヤのいずれであるかによって、デコードに要する時間にバラツキが発生する。そのノラツキを少しでも均一化し、吸収するために表示準備画像用のメモリ領域として 3 つの領域を用意する必要がある。

[0044] 本実施形態によれば、予め表示効果、サブプロセッサ 12の役割分担を示す情報を設定することにより、効率的に画像処理が実行でき、また、所望の表示効果を奏する画像を画面に表示することができる。また、ユーザに対し、容易に認識できる画面を提供することができる。また、メインプロセッサ 10内のスレッドが各サブプロセッサ 12 内のスレッドと連携して動作するように構成することもできる。また、 DMA方式を用いることによって、 CPUを介さずにメインメモリ 16と周辺装置、または周辺機器同士間で直接データのやり取りができる。パイプライン処理を行うことによって、高速な画像処理を行うことができる。また、マルチコアプロセッサ 11はフレームメモリに画像データを書き込むことにより、任意の動画像、静止画像をモニタ部 22に表示させることができる。また、ハイビジョン等の重い画像データを複数、同時並行して処理できる。また、複数のサブプロセッサにおける残余処理能力を考慮して、画像データの復調処理などのタスク処理を役割分担させるため、効率的にコンテンツ再生を実行することができる。また、役割分担により、画像、音声など、異なる複数のコンテンツを同時に処理し、所望のタイミングで表示、もしくは再生することができる。この表示、再生は、予め設定された表示効果、表示位置を設定することにより、処理された画像データをディスプレイ等に視覚的に容易に認識できる画像を表示し、また聴覚的に容易に認識できる音声を再生することができる。また、数のサブプロセッサを役割分担して画像の処理を実行させることより効率的に、かつ柔軟に複数のコンテンツを処理できる。また、効率的に複数のコンテンツを処理できる画像処理装置することができる。

[0045] 本発明の実施形態においては、図 5に示す十字型に各コンテンツを配置して表示するとして説明した。しかしながらこれにかぎらず、図 14Aに示すような配置であってもよく、また、図 14B、図 14C、図 15A,図 15B、図 15C、図 15Dのそれぞれに示すように各コンテンツを配置して表示させてもよい。図 14A、図 14B、図 14Cは、それぞれ、本発明の実施形態に力かる第 2乃至第 4の表示画面の例を示す図である。図 14 Aは、マトリックス型に各コンテンツを配置して表示する例を示す図である。図 14Bは、略円形状に各コンテンツを配置して表示する例を示す図である。図 14Cは、あるコンテンッを背景画像として表示し、その画面に重ねて、図 14Bと同様に略円形状に各コンテンツを配置して表示する例を示す図である。

[0046] 前述の通り第 3サブプロセッサ 12Cは、表示準備画像と表示レイアウト情報から、各画像について表示サイズ'表示位置を演算し、フレームメモリ 21へ書き込む。図 14A 、もしくは、図 14Bのような表示画面を表示させる場合は、表示レイアウト情報 58の設定において、表示位置を各画像ごとに定義しておけばよい。ユーザは図 14Aを見ながら、コントローラ 34を操作して選局を行うことになる。また、図 14Bのように、略円形状にコンテンツを配置して表示させてもよい。また、図 14Cにおいて、略円形状に配置されたコンテンツのうち、いずれかのコンテンツにかかる画像をユーザが選択することによって、背面に表示する画像として表示させることもできる。

図 10においては、第 6サブプロセッサ 12Fは第 5のチャネルと第 6のチャネルの MP EGデコード処理を行って!/、るが、ここで第 5のチャネルおよび第 6のチャネルの放送自体が行われていない場合を考える。放送が行われていないとは、例えば深夜の時間帯である場合等である。そのような時には第 6サブプロセッサ 12Fを動作していない状態にすることが通常である力第 5のチャネルと第 6のチャネルの MPEGデコード処理の代わりに他の処理を行わせることも可能である。ここで、図 11の S58にて読み出す全ネット放送データは先ほどは 2チャネルとした力ここでは 4チャネルとする。新たに加わった 2つのチャネルを第 2コンテンツ C、第 2コンテンツ Dとする。第 7サブプロセッサ 12Gだけでは 4つのチャネルの MPEGデコード処理は不可能なので、第 2コンテンツ C、第 2コンテンツ Dの MPEGデコード処理を第 6サブプロセッサ 12Fに割り当てることができる。第 5のチャネルおよび第 6のチャネルの放送が行われて、る、いないの判断はユーザが行い、コントローラ 34を用いて処理の切り替えを行うことも当然可能である。さらに、放送が行われている、いないの判断を TV放送波に含まれる EPG情報により行うこともできる。すなわち EPG情報を解析することにより、放送が行われていないチャネルを特定し、当該チャネルの BPF処理、復調処理、 MPEGデコード処理、表示処理を行って!/、たサブプロセッサの処理能力の一部または全部を他の処理に割り当て、効率的な動作を実現できる。

[0047] 図 15A乃至図 15Dは、それぞれ、本発明の実施形態に力かる第 5乃至第 8の表示画面の例をディスプレイ上に表示した中間調画像の写真である。図 15Aは、数万の画像を点状に縮小し、銀河系状に配置して表示した画面例をディスプレイ上に表示した中間調画像の写真である。図 15Bは、図 15Aの銀河系状に配置して表示された画像のうち、地球に相当する部分を拡大して表示した画面例をディスプレイ上に表示した中間調画像の写真である。図 15Cは、図 15Bの地球状に配置して表示された画像のうち、一部を拡大して表示した画面例をディスプレイ上に表示した中間調画像の写真である。図 15Dは、図 15Cのように表示された複数の画像の一部をさらに拡大して表示した画面例をディスプレイ上に表示した中間調画像の写真である。

[0048] 図 15Aに示す画面の状態では、ユーザは画像を認識することはできないが、図 15 B、図 15C、図 15Dと順に拡大されるにしたがって、認識することができるよう〖こなる。ユーザが認識できる状態、たとえば、図 15Dの状態に画面が表示された時に、ユーザがコントローラ 34により、ずれかの画面を選択し、拡大表示させるようにしてもよ!ヽ。図 15Aから図 15Dまでの拡大処理は、時間の経過とともに順に拡大されてもよぐユーザがコントローラ 34に指示を与えることを契機として拡大してもよい。また、ユーザは、任意の個所を拡大することができてもよい。いずれの場合も表示レイアウト情報 58に予め表示位置、画像サイズを定義しておけばよい。また、時間の経過の管理、または、ユーザのコントローラ 34への指示に対する処理はメインプロセッサ 10が行つてもよく、また、いずれかのサブプロセッサ 12が行ってもよぐまた、メインプロセッサ 1 0とサブプロセッサ 12が協同して制御し、または、処理を行ってもよい。このような態様をとることにより、図 15A〜図 15Dに示すような画面を動的に変化させて表示することができる。

[0049] また、他の配置方法として、最初はモニタ上の中心部に小さくマルチ画像が表示されているの力時間の経過とともにモニタ部 22全体に大きくマルチ画像が表示されてもよい。そうすると、画面の奥から手前へとマルチ画像が迫ってくる表示効果を奏することができる。この場合、表示レイアウト情報 58として、単に 2次元的な座標データでなぐ時間の経過とともに変化する座標データを全て用意しておけばよい。また、 1つのコンテンツ、例えば DVDに記録された映画の時間的に異なる箇所をいくつか選択し、マルチ表示させてもよい。これにより例えば、 2時間の映画の中から 10箇所の映像データを読み出し、表示させることによりインデックス動画を実現し、ユーザが視聴した!/、箇所を即座に発見し、再生開始することができる。

[0050] また、本発明は、以下の項目により実現されてもよい。

(項目 1)

複数のサブプロセッサは、少なくとも第 1乃至第 4のサブプロセッサを含んでもよい。第 1のサブプロセッサは、データ供給部から供給されたデータに対して、バンドパスフィルタ処理を行い、第 2のサブプロセッサは、バンドパスフィルタ処理が施されたデータに対して、復調処理を行い、第 3のサブプロセッサは、復調処理が施されたデータに対して、 MPEGデコード処理を行い、第 4のサブプロセッサは、 MPEGデコード処理施されたデータに対して、表示効果を奏する画像処理を施して、表示位置に表示させる処理を行ってもよ！、。

(項目 2)

メインプロセッサは時間の経過を監視して複数のサブプロセッサに通知し、複数のサブプロセッサは、時間の経過とともに、表示装置に表示させる画像を変化させてもよい。また、アプリケーションソフトウェアは、時間が経過するごとに表示位置が変化する旨の情報が設定されて、てもよ、。

(項目 3)

アプリケーションソフトウェアは、時間が経過するごとに画像の表示サイズが変化する旨の情報が設定されていてもよい。表示効果として、時間が経過するごとに画像の色彩、もしくは、色彩の強度を変化させる旨の情報が設定されていてもよい。

(項目 4)

また、複数のサブプロセッサが、アプリケーションソフトウェアによって指示された役割分担を示す情報、および、表示効果を示す情報にしたがって、データ供給部より供給された画像に関するデータを順次処理した後、表示制御部が処理された画像を表示装置の表示位置に表示させてもよい。

[0051] これらの項目によると、アプリケーションソフトウェアによって、複数のサブプロセッサを役割分担して画像の処理を実行させることより効率的に、かつ柔軟に複数のコンテンッを処理できる。

[0052] ここで、「画像に関するデータ」とは、画像データに限らず、音声データ、画像 Z音声データのレート情報、符号ィ匕形式などを含んでもよい。「アプリケーションソフトゥェァ」とは、なんらかの目的を達成するためのプログラムを指し、ここでは少なくとも画像の表示態様を複数のプロセッサとの関係で示す記述を含むものとする。「アプリケーシヨンソフトウェア」は、ヘッダ情報、表示位置を示す情報、表示効果を示す情報、メインプロセッサにおけるプログラム、およびそのプログラム実行手順、サブプロセッサにおけるプログラム、およびプログラム実行手順、その他データなどを含んでもよい。「データ供給部」とは、例えば、データを記憶し、指示に応じてデータの保存、読み出しを行うメモリであってもよぐまたは、無線/有線信号によりテレビ画像、その他コンテンッを供給する装置などであってもよい。「表示制御部」は、例えば、画像に所定の処理を施して表示装置に出力するグラフィックプロセッサであってもよぐまた、表示装置とサブプロセッサとの入出力制御を行う制御装置であってもよい。また、複数のサブプロセッサのうちの一のサブプロセッサが表示制御部としての役割を担ってもよい。

[0053] 「役割分担」の例は、各々のサブプロセッサの処理能力、もしくは残余処理能力に応じ、そのサブプロセッサにおける処理開始時間、処理内容、処理手順、処理対象などを各々分担させることなどである。なお、各々のサブプロセッサは、当該サブプロセッサの処理能力、および Zまたは、残余処理能力をメインプロセッサに報告してもよい。「表示効果」の例は、画像を表示させる際に音声もあわせて再生させる効果、または、時間により画像 Z音声が変化する効果、または、ユーザの指示による画像 Z 音声の変化、または、画像が強調して表示される効果、または、音量が増大する効果などである。「色彩の強度」とは、色の濃淡、色の輝度などである。「色彩の強度を変化させる」の例は、画像の色の濃淡、または輝度を変化させること、または画像を点滅させることなどである。

[0054] 以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、実施形態相互の組み合わせ、または、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

産業上の利用可能性

[0055] 本発明によれば、マルチプロセッサにおける画像処理を好適に実行できる。

Claims

請求の範囲

[1] 画像に関するデータに対して所定の処理を行う複数のサブプロセッサと、

ノスを介して前記複数のサブプロセッサと接続され、所定のアプリケーションソフトゥエアを実行して、前記複数のサブプロセッサの制御を行うメインプロセッサと、前記バスを介して、前記メインプロセッサと前記複数のサブプロセッサに前記画像に関するデータを供給するデータ供給部と、

前記複数のサブプロセッサによって処理された画像を表示装置に出力するための処理を行う表示制御部と、

を有し、

前記アプリケーションソフトウェアは、

前記複数のサブプロセッサのそれぞれの役割分担を示す情報と、

前記複数のサブプロセッサによって処理された各々の画像の前記表示装置における表示位置と当該画像の表示効果とを示す情報と、

を含むよう記述され、

前記複数のサブプロセッサは、

前記アプリケーションソフトウェアによって指示された役割分担を示す情報、および、表示位置と表示効果を示す情報にしたがって、前記データ供給部より供給された画像に関するデータを前記表示効果を奏するように順次処理し、かつ、処理された画像を前記表示装置の前記表示位置に表示させることを特徴とする画像処理システム。

[2] 前記複数のサブプロセッサは、

前記データ供給部力も供給されたデータに対して、バンドパスフィルタ処理を実行する第 1のサブプロセッサと、

バンドパスフィルタ処理が施されたデータに対して、復調処理を実行する第 2のサブプロセッサと、

復調処理が施されたデータに対して、 MPEGデコード処理を実行する第 3のサブプロセッサと、

MPEGデコード処理が施されたデータに対して、前記表示効果を奏するように画像処理を施して、前記表示位置に表示させる処理を実行する第 4のサブプロセッサとを含むことを特徴とする請求項 1に記載の画像処理システム。

[3] 前記メインプロセッサは時間の経過を監視して複数のサブプロセッサに通知し、前記複数のサブプロセッサは、時間の経過とともに、前記表示装置に表示させる画像を変化させることを特徴とする請求項 1に記載の画像処理システム。

[4] 前記アプリケーションソフトウェアは、時間が経過するごとに表示位置が変化する旨の情報が設定されるように記述されて、ることを特徴とする請求項 1に記載の画像処理システム。

[5] 前記アプリケーションソフトウェアは、時間が経過するごとに画像の表示サイズが変化する旨の情報が設定されるように記述されて、ることを特徴とする請求項 1に記載の画像処理システム。

[6] 前記アプリケーションソフトウェアによって記述された表示効果は、時間が経過するごとに画像の色彩、もしくは、色彩の強度を変化させる旨の情報が設定されていることを特徴とする請求項 1に記載の画像処理システム。

[7] 前記複数のサブプロセッサは、前記アプリケーションソフトウェアによって指示された役割分担を示す情報、および、表示効果を示す情報にしたがって、前記データ供給部より供給された画像に関するデータを順次処理した後、表示制御部が処理された画像を表示装置の表示位置に表示させることを特徴とする請求項 1に記載の画像処理システム。