JP6249692B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は、画像データを分割した各分割画像データに合成させるグラフィックデータを複数のグラフィック生成手段により生成させる技術に関するものである。

現在、デジタルテレビでは、ＦｕｌｌＨＤ（１９２０ｘ１０８０）が一般的な解像度となっている。しかし、４Ｋ２Ｋ（４０９６ｘ２１６０）やスーパーハイビジョン（７６８０ｘ４３２０）といった、より高解像度な画像データの規格化が進み、それらの高解像度画像データを表示することが可能なデバイスが提供され始めている。

高解像度画像データの受信処理、画像処理及び表示デバイスへの出力処理には、より広帯域な画像入出力インタフェースやメモリインタフェースが必要とされ、演算量も増大することから、１つの画像処理ＬＳＩチップでは処理しきれない場合がある。そこで、高解像度画像データの受信処理、画像処理及び出力処理を行うために、高解像度画像データを空間で分割し、分割した画像データ単位で画像処理を行う方法がよく用いられている。例えば、高解像度画像データを左右半分に分割し、分割された各画像データの画像処理を２つの画像処理ＬＳＩチップで並列に行うことがある。

また、画像処理ＬＳＩチップが処理するのは画像データだけではない。即ち、画像処理ＬＳＩチップは、表示されている画像データに係る情報、設定メニュー、Ｗｅｂ画面及び写真等のグラフィックデータを生成し、画像データに重畳して出力する機能も備えている。画像データの高解像度化に伴い、重畳させるグラフィックデータも高解像度になり、グラフィックデータ生成処理における演算量が増大する。そのため、高解像度画像データの画像処理と同様に、複数の画像処理ＬＳＩチップが備えるグラフィック生成部を用いてグラフィックデータを生成している。

特許文献１では、グラフィックデータを矩形に分割した画像ブロックの画像形成に係る処理負荷を推定し、処理負荷が均一になるように、複数の処理ユニットに処理を分散させることにより、分散処理の高速化を図る技術が開示されている。

特開２０１０―１６２７４５号公報

しかしながら、高解像度画像データとは異なり、重畳されるグラフィックデータは表示領域が一定でない。即ち、グラフィックデータが全面に表示される場合や、左半分にグラフィックデータの多くが偏っている場合や、左半分だけにグラフィックデータが表示される場合等、様々である。さらに、グラフィックデータ生成処理の負荷もグラフィックデータ全体で一定でない。例えば、グラフィックデータ内において、写真等の複雑な画像データで構成される領域と文字データだけで構成される領域との双方が存在する場合、文字データだけで構成される領域に比べ、画像データで構成される領域のグラフィックデータ生成処理の負荷が大きくなる。従って、高解像度画像データを分割した境界でグラフィックデータ生成処理も分割すると、一方の画像処理チップのグラフィック生成部に負荷が集中してしまうことがある。この場合、複数のグラフィック生成部を用いているにも関わらず、処理負荷を均一化することができず、グラフィックデータの生成効率が低下することになる。これは、グラフィックデータの表示スピードの低下を意味する。

また、特許文献１に開示された技術では、グラフィックデータの処理負荷を推定する処理が必要となる。さらに、特許文献１に開示された技術では、その推定結果だけでなく、グラフィックデータの表示領域も加味して、グラフィックデータ生成処理を割り当てる処理も必要となる。従って、グラフィックデータ生成処理の割り当てを決定するための処理負荷が大きくなってしまい、グラフィックデータの表示スピードを低下させてしまうという問題がある。

そこで、本発明の目的は、グラフィックデータの表示スピードを向上させることにある。

本発明の画像処理装置は、画像処理装置であって、全体画像の分割に基づく第１の分割入力画像から第１の分割表示画像を生成する画像処理手段と、前記第１の分割表示画像の表示領域に表示されるべき所定画像の部分画像と、前記全体画像の分割に基づく第２の分割入力画像から他の画像処理装置により生成される第２の分割表示画像の表示領域に表示されるべき前記所定画像の部分画像を生成する生成手段と、前記画像処理手段により生成された前記第１の分割表示画像を、前記第１の分割表示画像の表示領域上に表示されるべき前記所定画像の部分画像と共に表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、グラフィックデータの表示スピードを向上させることが可能となる。

本発明の実施形態に係る画像処理システムの構成を示す図である。 本発明の実施形態に係る画像処理システムの処理の流れを示す図である。 ２つの画像処理チップを用いた場合におけるグラフィックデータの生成順番の決定方法を説明するための図である。 ２つの画像処理チップを用いた場合におけるグラフィックデータの生成順番の決定方法を説明するための図である。 ３つの画像処理チップを用いた場合におけるグラフィックデータの生成順番の決定方法を説明するための図である。 ４つの画像処理チップを用いた場合におけるグラフィックデータの生成順番の決定方法を説明するための図である。 ９つの画像処理チップを用いた場合におけるグラフィックデータの生成順番の決定方法を説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る画像処理システムの構成を示す図である。第１の実施形態に係る画像処理システムは、高解像度画像データを２つの画像データ（分割画像データ）に分割し、分割された各画像データの画像処理を２つの画像処理チップで並列に行うものである。

図１において、画像処理チップＡ１０１は、画像処理及びグラフィック生成処理を実行し、画像データにグラフィックデータを重畳した後、表示デバイスに出力する機能を有する。図１に示すように、画像処理チップＡ１０１は、画像データを受信する受信部１０２、画像データに対して所定の処理を施す画像処理部１０３、グラフィックデータ生成処理を制御するプロセッサ１０７、グラフィックデータ生成処理を行うグラフィック生成部１０６、画像データにグラフィックデータを重畳する合成部１０４、及び、表示デバイスに対して画像データを出力する出力部１０５を備える。メモリ１０８は、画像処理チップＡ１０１に対応するメモリである。また、プロセッサ１０７は、グラフィック分割部１１０、順番決定部１１１及び生成中止指示部１１２を備える。グラフィック生成部１０６は、生成完了通知部１０９を備える。

本実施形態に係る画像処理システムは、高解像度画像データを処理するため、画像処理チップＡ１０１と、画像処理チップＡ１０１と同等の画像処理チップＢ１２１との２つのチップを備える。画像処理チップＡ１０１は、表示デバイスの左半分の表示領域を担当する。即ち、画像処理チップＡ１０１は、表示デバイスの左半分の表示領域に表示される画像データ（以下、左側画像データと称す）１３０に対して画像処理を施し、画像処理後の左側画像データ１３１とグラフィックデータとを合成した後、表示デバイスに対して出力する。より具体的には、受信部１０２は、左側画像データ１３０を受信すると、左側画像データ１３０を画像処理部１０３に出力する。画像処理部１０３は、左側画像データ１３０に対して、ＩＰ（インタレース・プログレッシブ）変換やエッジ強調等の画像処理を施し、画像処理後の左側画像データ１３１を合成部１０４に出力する。合成部１０４は、メモリ１０８からグラフィックデータを読み出し、画像処理後の左側画像データ１３０に重畳することにより、左側表示画像データ１３８を生成する。そして、合成部１０４は、左側表示画像データ１３８を出力部１０５に出力する。出力部１０５は、表示デバイスに左側表示画像データ１３８を出力することにより、左側表示画像データ１３８を表示させる。図１において、左側表示画像データ１３８における領域Ｃ、領域Ｄ及び領域Ｅは、画像処理後の左側画像データ１３１に対して重畳するように合成されたグラフィックデータである。

同様に、画像処理チップＢ１２１は、表示デバイスの右半分の表示領域を担当する。即ち、画像処理チップＢ１２１は、表示デバイスの右半分の表示領域に表示される画像データ（以下、右側画像データと称す）１３２の画像処理を施す。そして、画像処理チップＢ１２１は、画像処理後の右側画像データ１３３とグラフィックデータとを合成した後、右側表示画像データ１３９として表示デバイスに対して出力する。図１において、右側表示画像データ１３９における領域Ｆは、画像処理後の右側画像データ１３３に対して重畳するように合成されたグラフィックデータである。

メモリ１２４は、画像処理チップＢ１２１に対応するメモリである。つまり、画像処理後の右側画像データ１３３に合成されるグラフィックデータは、メモリ１２４から読み出されたグラフィックデータである。なお、画像処理チップＢ１２１における受信部１０２、画像処理部１０３、合成部１０４及び出力部１０５は夫々、画像処理チップＡ１０１における受信部１０２、画像処理部１０３、合成部１０４及び出力部１０５と同様の構成である。グラフィック生成部１２２は、生成完了通知部１２５を備える。

表示デバイスは、左側表示画像データ１３８と右側表示画像データ１３９とを合わせて、１つの高解像度画像データとして表示する。本実施形態では、説明の便宜上、メモリ１０８及び１２４は、グラフィックデータを格納するためのメモリであるとしているが、実際には、画像処理チップＡ１０１及び画像処理チップＢ１２１の画像処理部１０３が画像データを格納するためのフレームメモリとしても使用される。

リモコンやキーボード等を介して入力されるユーザ指示１４０が画像処理チップＡ１０１のプロセッサ１０７に入力される。グラフィックデータとしては、表示されている画像データに関する情報、設定メニュー、Ｗｅｂ画面及び写真等が挙げられ、表示サイズや表示位置は様々である。グラフィックデータは、高解像度画像データを分割した両方の境界をまたいで表示される場合もあれば、片側の領域のみに表示される場合もある。

プロセッサ１０７は、ユーザ指示１４０から生成するグラフィックデータを確定し、グラフィック生成部１０６及び１２２が解釈可能なグラフィック生成命令に変換する。グラフィック生成命令としては、例えば、連続する同一記号の列を記号列の長さを示す数字で置き換えるランレングス命令等が一例として挙げられる。グラフィックデータの特性、例えば、図形であるのか、文字であるのか、又は、写真であるのかに応じて、部分毎に適切な命令フォーマットに切り替えながらグラフィック生成命令に変換するということも、効率的なグラフィックデータ生成のために一般的に行われている。また、グラフィックデータをいくつかに分割し、分割単位毎にグラフィック生成命令を生成する方法も公知であるため、ここでは詳細に説明しない。

グラフィック生成部１０６及び１２２は、グラフィック生成命令を入力し、ビットマップデータ等のグラフィックデータを生成する。グラフィック生成部１０６及び１２２は、グラフィック生成命令の仕様変更に柔軟に対応するために、プロセッサとファームウエアで構成される場合もあれば、高速なグラフィックデータ生成を至上命題とし、フルハードで構成される場合もある。

画像処理チップＡ１０１のプロセッサ１０７は、画像処理システム全体のグラフィックデータ生成処理を制御する。即ち、画像処理チップＡ１０１のプロセッサ１０７は、画像処理チップＡ１０１のグラフィック生成部１０６、及び、画像処理チップＢ１２１のグラフィック生成部１２２を制御することにより、グラフィックデータを生成する。

グラフィック生成部１０６及び１２２は夫々、生成したグラフィックデータを一旦、自らが属している画像処理チップに対応するメモリに格納する。その後、グラフィック生成部１０６及び１２２は夫々、生成したグラフィックデータを合成する画像データの領域が他の画像処理チップが担当する領域である場合、当該グラフィックデータを他の画像処理チップに対応するメモリに転送する。例えば、画像処理チップＢ１２１のグラフィック生成部１２２は、領域Ｅ１３６及び領域Ｆ１３７のグラフィックデータを生成し、メモリ１２４に格納した場合、領域Ｅ１３６のグラフィックデータは、画像処理後の左側画像データ１３１に合成されるグラフィックデータである。そのため、領域Ｅ１３６のグラフィックデータは、画像処理チップＢ１２１のメモリ１２４から画像処理チップＡ１０１のメモリ１０８に転送されることになる。

画像処理チップＡ１０１のプロセッサ１０７と画像処理チップＢ１２１のグラフィック生成部１２２との通信は、ＰＣＩバスやシリアル通信等、複数チップで並列処理を行う場合の一般的な通信用ルートが用いられる。同様に、画像処理チップＡ１０１と画像処理チップＢ１２１とは、画像処理等で相手側にあるデータを参照する等の理由で、一般的にＰＣＩＥｘｐｒｅｓｓ等の高速なデータ転送用バスで接続されており、相手側のメモリにアクセスすることができる。即ち、画像処理チップＡ１０１は、画像処理チップＢ１２１に対応するメモリ１２４にアクセスすることができる。同様に、画像処理チップＢ１２１は、画像処理チップＡ１０１に対応するメモリ１０８にアクセスすることができる。領域Ｅ１３６のグラフィックデータのメモリ１２４からメモリ１０８への転送は、上記ルートを用いて行われる。

グラフィック分割部１１０、順番決定部１１１及び生成中止指示部１１２は、プロセッサ１０７内部にハードウエアとして実装してもよいし、プロセッサ１０７上で動作するソフトウェアとして実装してもよい。グラフィック分割部１１０は、生成されたグラフィックデータを、グラフィック生成部１０６及び１２２が生成する単位となる領域に分割する。グラフィックデータの分割の際、分割されたグラフィックデータの領域が、分割された画像データの境界をまたぐ場合、少なくともその境界でグラフィックデータを分割するようにする。例えば、図１に示すように、グラフィックデータが領域Ｃ、領域Ｄ、領域Ｅ及び領域Ｆに分割される際、領域Ｅ及び領域Ｆについては、左側表示画像データ１３８及び右側表示画像データ１３９の境界に基づいて分割される。
画像データの境界は、画像データ端の一例である。

順番決定部１１１は、グラフィック分割部１１０により分割が決定された領域Ｃ、領域Ｄ、領域Ｅ及び領域Ｆをどの順番でグラフィック生成部１０６及び１２５に生成させるかを決定する。即ち、順番決定部１１１は、画像処理チップＡ１０１については、左側表示画像データ１３８から、左側表示画像データ１３８と右側表示画像データ１３９との境界への方向に、グラフィックデータを生成するように生成順番を決定する。一方、画像処理チップＢ１２１については、右側表示画像データ１３９から、左側表示画像データ１３８と右側表示画像データ１３９との境界への方向に、グラフィックデータを生成するように生成順番を決定する。より具体的には、画像処理チップＡ１０１については、順番決定部１１１は、領域Ｃ、領域Ｄ、領域Ｅ、領域Ｆの順番でグラフィックデータを生成するように決定される。一方、画像処理チップＢ１２１については、領域Ｆ、領域Ｅ、領域Ｄ、領域Ｃの順番でグラフィックデータを生成するように決定される。

プロセッサ１０７は、グラフィック分割部１１０により決定されたグラフィックデータの分割方法に基づいて、グラフィック生成命令１４１を領域毎に生成する。そして、グラフィック分割部１１０は、順番決定部１１１で決定された順番で各領域のグラフィックデータを生成するよう、グラフィック生成命令１４１及び１４２をグラフィック生成部１０６及び１２２に対して通知する。即ち、プロセッサ１０７は、順番決定部１１１で決定された順番に従って、各領域に対応するグラフィック生成命令１４１をグラフィック生成部１０６に対して出力する。同様に、プロセッサ１０７は、順番決定部１１１で決定された順番に従って、各領域に対応するグラフィック生成命令１４２をグラフィック生成部１２２に対して出力する。

グラフィック生成部１０６及び１２２は、グラフィック生成命令を入力すると、グラフィック生成命令の入力順番に従ってグラフィックデータを生成し、当該グラフィック生成部が属する画像処理チップに対応するメモリに格納する。グラフィック生成部１０６及び１２２（生成完了通知部１０９及び１２５）は、各領域のグラフィックデータの生成処理及びメモリへの格納処理が終了する度に、グラフィック生成完了通知１４３及び１４４をプロセッサ１０７に対して出力する。

プロセッサ１０７は、グラフィック生成部１０６及び１２２から、全ての領域のグラフィックデータのグラフィック生成完了通知１４３及び１４４を入力すると、生成中止指示部１１２は、グラフィック生成部１０６及び１２２に対して、グラフィック生成中止命令１４５及び１４６を出力する。そして、プロセッサ１０７は、メモリ１０８に格納されたグラフィックデータを左側画像データ１３１に重畳させることを、画像処理チップＡ１０１の合成部１０４に指示する。また、プロセッサ１０７は、メモリ１２４に格納されたグラフィックデータを右側画像データ１３３に重畳させることを、画像処理チップＢ１２１の合成部１０４に指示する。

次に、図２を参照しながら、本実施形態に係る画像処理システムの処理の流れについて説明する。なお、図２に示す処理は、プロセッサ１０７内においてＣＰＵがＲＯＭ等の記録媒体から必要なプログラム及びデータを読み込んで実行することにより実現する処理である。

先ず、画像処理チップＡ１０１のプロセッサ１０７は、メニュー画面を表示させるためのユーザ指示１４０を入力する。ステップＳ１０１において、グラフィック分割部１１０は、ユーザ指示１４０に基づいて、グラフィックデータの分割方法を決定する。

ステップＳ１０２において、順番決定部１１１は、グラフィック分割部１１０により決定された分割方法に基づいて、各領域のグラフィックデータの生成順番を決定する。なお、グラフィックデータの生成順番は、グラフィック生成部１０６及び１２２夫々について決定される。ステップＳ１０３において、プロセッサ１０７は、順番決定部１１１により決定された生成順番に従って、各領域のグラフィックデータに対応するグラフィク生成命令を生成する。

ステップＳ１０４において、プロセッサ１０７は、グラフィック生成部１０６に対して、領域Ｃ、領域Ｄ、領域Ｅ、領域Ｆの順番でグラフィックデータを生成するよう、各領域のグラフィックデータに対応するグラフィック生成命令１４１を出力する。また、プロセッサ１０７は、グラフィック生成部１２２に対して、領域Ｆ、領域Ｅ、領域Ｄ、領域Ｃの順番でグラフィックデータを生成するよう、各領域のグラフィックデータに対応するグラフィック生成命令１４２を出力する。ステップＳ１０５において、プロセッサ１０７は、グラフィック生成部１０６及び１２２に対して、グラフィックデータの生成開始を指示する。これにより、グラフィック生成部１０６及び１２２は独立にグラフィックデータの生成処理を開始する。

ステップＳ２０１において、グラフィック生成部１０６は、領域Ｃ１３４のグラフィックデータの生成を開始する。ステップＳ２０２において、グラフィック生成部１０６は、領域Ｃ１３４のグラフィックデータの生成を完了し、メモリ１０８に格納すると、グラフィック生成完了通知１４３をプロセッサ１０７に出力する。ステップＳ２０３において、グラフィック生成部１０６は、領域Ｄ１３５のグラフィックデータの生成を開始する。ステップＳ２０４において、グラフィック生成部１０６は、領域Ｄ１３５のグラフィックデータの生成を完了し、メモリ１０８に格納すると、グラフィック生成完了通知１４３をプロセッサ１０７に出力する。ステップＳ２０５において、グラフィック生成部１０６は、領域Ｅ１３６のグラフィックデータの生成を開始する。

ステップＳ３０１において、グラフィック生成部１２２は、領域Ｆ１３７のグラフィックデータの生成を開始する。ステップＳ３０２において、グラフィック生成部１２２は、領域Ｆ１３７のグラフィックデータの生成を完了し、メモリ１２４に格納すると、グラフィック生成完了通知１４４をプロセッサ１０７に出力する。

ステップＳ３０３において、グラフィック生成部１２２は、領域Ｅ１３６のグラフィックデータの生成を開始する。ステップＳ３０４において、グラフィック生成部１２２は、領域Ｅ１３６のグラフィックデータの生成を完了し、メモリ１２４に格納する。領域Ｅ１３６のグラフィックデータは、画像処理チップＡ１０１が担当する領域であるから、ステップＳ３０４において、グラフィック生成部１２２は、領域Ｅ１３６のグラフィックデータをメモリ１２４からメモリ１０８に転送する。

ステップＳ３０５において、グラフィック生成部１２２は、領域Ｅ１３６のグラフィックデータをメモリ１０８に格納すると、グラフィック生成完了通知１４４をプロセッサ１０７に出力する。ステップＳ３０６において、グラフィック生成部１２２は、領域Ｄ１３５のグラフィックデータの生成を開始する。

ステップＳ１０６において、プロセッサ１０７は、領域Ｃ、領域Ｄ、領域Ｅ及び領域Ｆの全てのグラフィックデータについてグラフィック生成完了通知を入力することにより、全ての領域のグラフィックデータを生成したと判定する。ステップＳ１０７において、生成中止指示部１１２は、グラフィック生成部１０６及び１２２に対して、グラフィック生成中止命令１４５及び１４６を出力する。グラフィック生成部１０６は、グラフィック生成中止命令１４５を入力すると、ステップＳ３０６で開始した領域Ｅ１３６のグラフィックデータの生成処理を中止する。グラフィック生成部１２２は、グラフィック生成中止命令１４６を入力すると、ステップＳ２０５で開始した領域Ｄ１３５のグラフィックデータの生成処理を中止する。ステップＳ１０８において、プロセッサ１０７は、画像データとグラフィックデータとの合成処理の開始を、画像処理チップＡ１０１及び画像処理チップＢ１２１の合成部１０４に対して指示する。なお、上述した処理において、プロセッサ１０７がグラフィック生成完了通知を入力する処理は、受付手段の処理例である。

ここで、図３及び図４を参照しながら、本実施形態における順番決定部１１１によるグラフィックデータの生成順番の決定方法について具体的に説明する。図３は、本実施形態におけるグラフィックデータの生成順番の決定方法の第１の例を示す図である。

図３に示すように、第１の例では、左側表示画像データ３０１（図１の左側表示画像データ１３８に相当）については、矢印３０１１のように、左から右への方向の順番で各領域のグラフィックデータを生成することが決定されている。一方、右側表示画像データ３０２（図１の右側表示画像データ１３９に相当）については、矢印３０２１のように、右から左への方向の順番で各領域のグラフィックデータを生成することが決定されている。従って、左側表示画像データ３０１の処理を担当する画像処理チップＡ１０１のグラフィック生成部１０６は、領域Ｃ、領域Ｄ、領域Ｅの順番でグラフィックデータを生成する。一方、右側領域３０２の処理を担当する画像処理チップＢ１２１のグラフィック生成部１２２は、領域Ｅ、領域Ｄ、領域Ｃの順番でグラフィックデータを生成する。

図４は、本実施形態におけるグラフィックデータの生成順番の決定方法の第２の例を示す図である。図４に示すように、第２の例では、左側表示画像データ４０１（図１の左側表示画像データ１３８に相当）については、矢印４０１１のように、左から右への方向の順番で各領域のグラフィックデータを生成することが決定されている。一方、右側表示画像データ４０２（図１の右側表示画像データ１３９に相当）については、矢印４０２１のように、右から左への方向の順番で各領域のグラフィックデータを生成することが決定されている。従って、左側表示画像データ４０１の処理を担当する画像処理チップＡ１０１のグラフィック生成部１０６は、領域Ｃ、領域Ｄ、領域Ｅ、領域Ｆ、領域Ｇの順番でグラフィックデータを生成する。一方、右側表示画像データ４０２の処理を担当する画像処理チップＢ１２１のグラフィック生成部１２２は、領域Ｇ、領域Ｆ、領域Ｅ、領域Ｄ、領域Ｃの順番でグラフィックデータを生成する。

上述した実施形態では、高解像度画像データを空間で左右２つの領域に分割し、分割された各画像データの処理を２つの画像処理チップで並列に行う場合を例に挙げた。これに対し、次に、高解像度画像データを空間で３つの画像データに分割し、分割された３つの画像データの処理を３つの画像処理チップで並列に行う場合について説明する。即ち、ここでは、図１に示した構成に画像処理チップＢ１２１と同等のチップを１つ追加した画像処理システムにて、上記分割された３つの画像データの処理を行う場合について説明する。

図５は、３つの画像処理チップを用いた場合におけるグラフィックデータの生成順番の決定方法の例を示す図である。ここでは、図５に示すように、左側表示画像データ５０１、中央表示画像データ５０２及び右側表示画像データ５０３のように、高解像度画像データを縦に分割した場合について考える。

左側表示画像データ５０１については、矢印５０１１のように、左から右への方向の順番で各領域のグラフィックデータを生成することが決定されている。中央表示画像データ５０２については、矢印５０２１のように、中心から左右への方向の順番で各領域のグラフィックデータを生成することが決定されている。右側表示画像データ５０３については、矢印５０３１のように、右から左への方向の順番で各領域のグラフィックデータを生成することが決定されている。

従って、左側表示画像データ５０１の処理を担当する画像処理チップのグラフィック生成部は、領域Ｄ、領域Ｅ、領域Ｆ、領域Ｇ、領域Ｈ、領域Ｉの順番でグラフィックデータを生成する。また、中央表示画像データ５０２の処理を担当する画像処理チップのグラフィック生成部は、領域Ｇ、領域Ｆ、領域Ｈ、領域Ｅ、領域Ｉ、領域Ｄの順番でグラフィックデータを生成する。また、右側表示画像データ５０３の処理を担当する画像処理チップのグラフィック生成部は、領域Ｉ、領域Ｈ、領域Ｇ、領域Ｆ、領域Ｅ、領域Ｄの順番でグラフィックデータを生成する。

次に、高解像度画像データを空間で４つの画像データに分割し、分割された４つの画像データの処理を４つの画像処理チップで並列に行う場合について説明する。即ち、ここでは、図１に示した構成に画像処理チップＢ１２１と同等のチップを２つ追加した画像処理システムにて、上記分割された４つの画像データの処理を行う場合について説明する。

図６は、４つの画像処理チップを用いた場合におけるグラフィックデータの生成順番の決定方法の例を示す図である。ここでは、図６に示すように、左上表示画像データ６０１、右上表示画像データ６０２、左下表示画像データ６０３及び右下表示画像データ６０４のように、田の字型に高解像度画像データを分割した場合について考える。

左上表示画像データ６０１については、矢印６０１１のように、左上から中心への方向の順番で各領域のグラフィックデータを生成することが決定されている。右上表示画像データ６０２については、矢印６０２１のように、右上から中心への方向の順番で各領域のグラフィックデータを生成することが決定されている。左下表示画像データ６０３については、矢印６０３１のように、左下から中心への方向の順番で各領域のグラフィックデータを生成することが決定されている。右下表示画像データ６０４については、矢印６０４１のように、右下から中心への方向の順番で各領域のグラフィックデータを生成することが決定されている。

従って、左上画像データ６０１の処理を担当する画像処理チップのグラフィック生成部は、領域Ｅ、領域Ｆ、領域Ｇ、領域Ｊ、領域Ｋ、領域Ｈ、領域Ｌ、領域Ｍ、領域Ｏ、領域Ｐ、領域Ｉ、領域Ｑ、領域Ｎ、領域Ｒ、領域Ｓの順番でグラフィックデータを生成する。また、右上画像データ６０２の処理を担当する画像処理チップのグラフィック生成部は、領域Ｉ、領域Ｎ、領域Ｈ、領域Ｍ、領域Ｓ、領域Ｒ、領域Ｇ、領域Ｌ、領域Ｑ、領域Ｆ、領域Ｋ、領域Ｐ、領域Ｅ、領域Ｊ、領域Ｏの順番でグラフィックデータを生成する。また、左下画像データ６０３の処理を担当する画像処理チップのグラフィック生成部は、領域Ｏ、領域Ｐ、領域Ｑ、領域Ｒ、領域Ｊ、領域Ｋ、領域Ｌ、領域Ｓ、領域Ｍ、領域Ｎ、領域Ｅ、領域Ｆ、領域Ｇ、領域Ｈ、領域Ｉの順番でグラフィックデータを生成する。さらに、右下表示画像データ６０４の処理を担当する画像処理チップのグラフィック生成部は、領域Ｓ、領域Ｎ、領域Ｒ、領域Ｉ、領域Ｍ、領域Ｑ、領域Ｈ、領域Ｌ、領域Ｐ、領域Ｇ、領域Ｋ、領域Ｏ、領域Ｆ、領域Ｊ、領域Ｅの順番でグラフィックデータを生成する。
次に、高解像度画像データを空間で９つの画像データに分割し、分割された９つの画像データの処理を９つの画像処理チップで平行に行う場合について説明する。
図７は、９つの画像処理チップを用いた場合におけるグラフィックデータの生成順番の決定方法の例を示す図である。
図７において、分割した画像データ７０１，７０２，７０３，７０４，７０６，７０７，７０８及び７０９は、画像データの境界及び分割境界の両方を持つ。従って、生成の順番は、画像データの境界から分割境界の方向になるよう、それぞれ矢印７０１１，７０２１，７０３１，７０４１，７０６１，７０７１，７０８１及び７０９１の方向になる。しかし、画像データ７０５は、画像データの境界を持たない。その場合は、生成順番は、画像データの中心から、分割境界の方向、即ち、矢印７０５１の方向となる。
従って、画像データ７０１の処理を担当する画像処理チップのグラフィック生成部は、領域Ｅ、領域Ｆ、領域Ｈ、領域Ｉ、領域Ｇ、領域Ｋ、領域Ｊ、領域Ｌ、領域Ｍの順番でグラフィックデータを生成する。画像データ７０２の処理を担当する画像処理チップのグラフィック生成部は、領域Ｇ、領域Ｆ、領域Ｊ、領域Ｉ、領域Ｅ、領域Ｈ、領域Ｍ、領域Ｌ、領域Ｋの順番でグラフィックデータを生成する。画像データ７０３の処理を担当する画像処理チップのグラフィック生成部は、領域Ｇ、領域Ｊ、領域Ｆ、領域Ｉ、領域Ｅ、領域Ｍ、領域Ｌ、領域Ｈ、領域Ｋの順番でグラフィックデータを生成する。画像データ７０４の処理を担当する画像処理チップのグラフィック生成部は、領域Ｋ、領域Ｈ、領域Ｅ、領域Ｌ、領域Ｉ、領域Ｆ、領域Ｍ、領域Ｊ、領域Ｇの順番でグラフィックデータを生成する。画像データ７０５の処理を担当する画像処理チップのグラフィック生成部は、領域Ｍ、領域Ｊ、領域Ｌ、領域Ｉ、領域Ｇ、領域Ｋ、領域Ｆ、領域Ｈ、領域Ｅの順番でグラフィックデータを生成する。画像データ７０６の処理を担当する画像処理チップのグラフィック生成部は、領域Ｍ、領域Ｊ、領域Ｇ、領域Ｌ、領域Ｉ、領域Ｆ、領域Ｋ、領域Ｈ、領域Ｅの順番でグラフィックデータを生成する。画像データ７０７の処理を担当する画像処理チップのグラフィック生成部は、領域Ｋ、領域Ｌ、領域Ｈ、領域Ｉ、領域Ｍ、領域Ｅ、領域Ｊ、領域Ｆ、領域Ｇの順番でグラフィックデータを生成する。画像データ７０８の処理を担当する画像処理チップのグラフィック生成部は、領域Ｍ、領域Ｌ、領域Ｋ、領域Ｊ、領域Ｉ、領域Ｈ、領域Ｇ、領域Ｆ、領域Ｅの順番でグラフィックデータを生成する。
画像データ７０９の処理を担当する画像処理チップのグラフィック生成部は、領域Ｍ、領域Ｊ、領域Ｌ、領域Ｉ、領域Ｇ、領域Ｋ、領域Ｆ、領域Ｈ、領域Ｅの順番でグラフィックデータを生成する。

上述した実施形態においては、複数の画像処理チップのグラフィック生成部間で、グラフィック生成負荷を均一にできるとともに、他方への画像処理チップへのグラフィック転送も減らすことが可能となる。従って、グラフィックデータ生成の指示を受けてから、実際にグラフィックデータを重畳した画像データを出力するまでの時間を短くすることが可能となる。また、アニメーション等を表示する場合は、グラフィックデータの表示スピード、即ち更新レートを可能な限り速くすることが可能となる。

なお、グラフィックデータの分割単位に関して、グラフィックデータの大きさ、グラフィック生成部の処理能力、グラフィック生成部とプロセッサ間の通信のオーバーヘッド、メモリ転送時の帯域及びレイテンシ等の様々な要因によって、最適な分割単位は変化する。従って、本発明は、グラフィックデータの分割単位に関して、特に限定をかけるものではない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：画像処理チップＡ、１０２：受信部、１０３：画像処理部、１０４：合成部、１０５：出力部、１０６，１２２：グラフィック生成部、１０７：プロセッサ、１０８、１２４：メモリ、１０９、１２５：生成完了通知部、１１０：グラフィック分割部、１１１：順番決定部、１１２：生成中心指示部

Claims (12)

1. 画像処理装置であって、
   全体画像の分割に基づく第１の分割入力画像から第１の分割表示画像を生成する画像処理手段と、
   前記第１の分割表示画像の表示領域に表示されるべき所定画像の部分画像と、前記全体画像の分割に基づく第２の分割入力画像から他の画像処理装置により生成される第２の分割表示画像の表示領域に表示されるべき前記所定画像の部分画像を生成する生成手段と、
   前記画像処理手段により生成された前記第１の分割表示画像を、前記第１の分割表示画像の表示領域上に表示されるべき前記所定画像の部分画像と共に表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記第２の分割表示画像の表示領域に表示されるべき前記所定画像の部分画像を、前記所定画像の表示位置に応じて生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段により生成された前記第２の分割表示画像の表示領域に表示されるべき部分画像を、前記他の画像処理装置へ出力する出力手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像処理手段により生成された前記第１の分割表示画像と、前記第１の分割表示画像の表示領域に表示されるべき前記所定画像の部分画像とを合成する合成手段を更に有し、
   前記表示制御手段は、前記合成手段により合成された画像を表示させることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記所定画像を分割する分割手段を更に有し、
   前記生成手段は、前記分割手段により所定画像が分割されることで得られる複数の所定分割画像の生成順序が、他の画像処理装置による生成順序とは異なるように、前記所定分割画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記生成手段は、前記複数の所定分割画像のうち、前記画像処理手段により生成される前記第１の分割表示画像の表示領域に表示されるべき所定分割画像を、他の所定分割画像よりも先に生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記所定画像は、ユーザ操作に応じて表示される画像であって、表示画像に関する情報、設定メニュー、Ｗｅｂ画面、写真のうちの少なくとも１つであることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記所定分割画像の生成に応じて前記生成手段から発行される生成完了通知に基づいて、前記所定画像の全体の生成が完了したか否かを判定する判定手段を更に有し、
   前記生成手段は、前記判定手段による判定結果に基づいて、前記所定画像の生成を終了することを特徴とする請求項５又は６に記載の画像処理装置。
9. 画像処理装置が実行する画像処理装置の制御方法であって、
   全体画像の分割に基づく第１の分割入力画像から第１の分割表示画像を生成する画像処理工程と、
   前記第１の分割表示画像の表示領域に表示されるべき所定画像の部分画像と、前記全体画像の分割に基づく第２の分割入力画像から他の画像処理装置により生成される第２の分割表示画像の表示領域に表示されるべき前記所定画像の部分画像を生成する生成工程と、
   前記画像処理工程で生成された前記第１の分割表示画像を、前記第１の分割表示画像の表示領域上に表示されるべき前記所定画像の部分画像と共に表示させる表示制御工程と、
   を含むことを特徴とする画像処理装置の制御方法。
10. 前記生成工程では、前記第２の分割表示画像の表示領域に表示されるべき前記所定画像の部分画像を、前記所定画像の表示位置に応じて生成することを特徴とする請求項９に記載の画像処理装置の制御方法。
11. 前記画像処理工程で生成された前記第１の分割表示画像と、前記第１の分割表示画像の表示領域に表示されるべき前記所定画像の部分画像とを合成する合成工程を更に含み、
    前記表示制御工程では、前記合成工程で合成された画像を表示させることを特徴とする請求項９又は１０に記載の画像処理装置の制御方法。
12. コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として、機能させるためのプログラム。

Images