JP4060294B2 - 画像処理装置、画像処理システム、画像処理方法、コンピュータプログラム、半導体デバイス - Google Patents

Description

本発明は、画像処理に用いるメモリの記憶容量を極力増やすことなく、レイテンシを上げるようにした画像処理装置及びその画像処理装置により実行される画像処理方法、画像処理システム、コンピュータプログラムに関する。

画像処理の分野では、フレームメモリに描画された描画像を一旦表示用メモリに退避させておき、描画像を、表示用メモリからＮＴＳＣ方式などの規格に準拠したビデオ出力信号に変換してディスプレイ装置などに出力することがある。フレームメモリから描画像を退避させることで、ビデオ出力信号を出力中でも、次のフレームの画像の描画をフレームメモリに対して行うことが可能になる。

フレームメモリから表示用メモリへの描画像の退避は、前フレームの表示が終了してから行われる。フレームメモリから表示用メモリへの退避は、垂直帰線区間（ＶＢＩ：Vertical Blank Interval）中に行われる。表示用メモリへ退避した後の描画像に対して、変換処理が行われることもある。この場合は、変換処理までを含めて、ＶＢＩ中に行う必要がある。ＶＢＩ中に実行できる退避、変換処理には限度があるので、これにより、表示できる画像の大きさ、精細さなどが決まってしまうこともある。また、フレームメモリへの描画は、退避が終了した後でなければ行うことが出来ない。そのために、フレームメモリへの描画を出力と非同期に行うことが出来ない。

これらの問題を解決する一つの方策として、表示用メモリをダブルバッファにすることが行われている。表示用メモリをダブルバッファにすることで、一方の表示用メモリからの画像をディスプレイ装置に表示中に、他方の表示用メモリへの描画像の退避、変換処理が可能となり、ＶＢＩ中に退避、変換処理が終了する必要はなくなる。また、フレームメモリへの描画は退避終了後にすぐ行えるようになるので、描画と出力を非同期に行えることができるようになる。

しかし、表示用メモリをダブルバッファにすると、表示用メモリの記憶容量を少なくともフレームバッファの２倍必要とするために、経済的ではない。また、レイテンシが大きくなるという問題も発生する。

本発明は、上記のような問題を解決するものであり、表示用メモリの増加量を可能な限り少なくしつつ、レイテンシを従来のダブルバッファを用いる方式よりも短くし、退避、変換処理をＶＢＩの区間を超えても可能にして、描画と出力を非同期に行うことを可能にする画像処理技術を提供することを課題とする。

以上の課題を解決する本発明の画像処理装置は、動画像のフレーム毎に所定の画像処理を行い、この画像処理の結果に応じた画像を表すフレームデータを所定の描画用メモリに記憶させる画像処理手段と、前記描画用メモリに記憶された前記フレームデータを、当該フレームデータを等分割した分割データ単位で、所定の表示用メモリに退避させる退避処理手段と、前記表示用メモリに退避された前記フレームデータを、前記分割データ単位でビデオ出力信号に変換して外部に出力する出力インタフェースとを備えている。

フレームデータが複数に分割された分割データとして、表示用メモリに退避される。表示用メモリからは、フレームデータが一度に出力されることはなく、分割データ単位で出力される。分割データを用いることでフレームデータをすべて退避させる前に出力が可能となるので、レイテンシが、従来の表示用メモリにダブルバッファを用いる場合よりも短くなる。
分割データは表示用メモリから出力されるタイミングまでに退避されていればよい。例えば、ＶＢＩの区間の直後に出力される分割データが退避されていればよいので、フレームデータの退避処理がＶＢＩの区間を超えても可能になる。また、退避した分割データについて変換処理を行う場合には、ＶＢＩの区間の直後に出力される分割データの退避、変換処理が行われていれば、他の分割データについては、ＶＢＩの区間を超えても、実際の出力のタイミングまでに退避、変換処理が終了していればよい。また、表示用メモリを用いることで、フレームデータが描画用メモリから表示用メモリに退避されれば描画用メモリへの描画が可能となるので、描画と出力とが非同期に行える。

前記表示用メモリが、例えば複数のバッファ領域を有している場合には、前記退避処理手段が、前記描画用メモリに記憶された前記フレームデータを前記表示用メモリのバッファ領域の数以下の数で且つバッファ領域に記憶可能なデータサイズに等分割して得られる分割データを、この分割データの数と同数の前記バッファ領域に記憶させるように構成される。
バッファ領域とは、メモリ装置に論理的に形成された記憶領域であってもよく、物理的に複数のメモリ装置により形成された記憶領域であってもよい。また、物理的に複数のメモリ装置により、論理的に形成されていてもよい。

前記表示用メモリには、例えば、１フレーム以上２フレーム未満のフレームデータを記憶可能な数の前記バッファ領域が設けられる。このように構成すると、表示用メモリにダブルバッファを用いるよりも、表示用メモリに用いるメモリの記憶容量を少なくすることができる。
また、前記退避処理手段は、例えば、前記描画用メモリから前記表示用メモリへの分割データの退避状況、及び前記表示用メモリに記憶される分割データの出力状況を確認できるようになっており、前記表示用メモリからの分割データの出力状況に応じて、前記描画用メモリから前記表示用メモリへ分割データを退避するように構成される。

このような画像処理装置は、以下のような退避、変換処理を行う構成とすることができる。
例えば、前記表示用メモリがｎ個（ｎは２以上の整数）の前記バッファ領域を備え、各バッファ領域には、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されている場合には、前記退避処理手段を、前記表示用メモリからｍ個（１≦ｍ≦（ｎ−１）の整数）の前記分割データが出力されると、前記描画用メモリに記憶された次のフレームのフレームデータをｎ個に等分割したうちのｍ個の分割データを、前記分割データが出力された前記表示用メモリのバッファ領域に退避させ、続いて前記表示用バッファから先に出力された分割データと同じフレームデータの残りの分割データが出力されると、前記描画用メモリから残りの分割データを前記表示用メモリのバッファ領域に退避させるように構成する。

また、前記表示用メモリが（ｎ＋１）個（ｎは２以上の整数）の前記バッファ領域を備えて、ｎ個のバッファ領域に、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されている場合には、前記退避処理手段を、前記表示用メモリから（ｎ−１）個の分割データが出力されると、前記描画用メモリに記憶されたフレームデータをｎ個の分割データに等分割して前記表示用メモリに退避させるように構成する。
これらの場合、前記表示用メモリの前記バッファ領域に退避された分割データに対して所定の変換処理を行い、その結果を当該分割データが記憶された当該バッファ領域に記憶させる画像変換処理手段を更に備えるようにしてもよい。

また、例えば、前記表示用メモリに退避された分割データに対して所定の変換処理を行う画像変換処理手段を更に備えるようにして、前記表示用メモリが（ｎ＋２）個（ｎは２以上の整数）の前記バッファ領域を備えて、ｎ個のバッファ領域に、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されている場合には、前記退避処理手段を、前記表示用メモリからｍ個（１≦ｍ≦（ｎ−１）の整数）の分割データが出力されると、前記描画用メモリから前記表示用メモリにｎ個に等分割された次のフレームデータからｍ個の分割データを退避させ、続いて前記表示用バッファから先に出力された分割データと同じフレームデータの残りの分割データが出力されると、前記描画用メモリから残りの分割データを前記表示用メモリのバッファ領域に退避させるように構成し、前記画像変換処理手段を、前記バッファ領域に退避された分割データに対して前記所定の変換処理を行い、その結果を、当該分割データが退避されたバッファ領域及び当該分割データと同じフレームデータから分割された分割データが退避されたバッファ領域を除くバッファ領域に記憶させるように構成してもよい。

また、例えば、前記表示用メモリに退避された分割データに対して所定の変換処理を行う画像変換処理手段を更に備えるようにして、前記表示用メモリが（ｎ＋３）個（ｎは２以上の整数）の前記バッファ領域を備えて、ｎ個のバッファ領域に、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されている場合には、前記退避処理手段を、前記表示用メモリからｍ（１≦ｍ≦（ｎ−１）の整数）個の分割データが出力されると、前記描画用メモリから前記表示用メモリに分割データを退避させ、続いて前記表示用バッファから先に出力された分割データと同じフレームデータの残りの分割データが出力されると、前記描画用メモリから残りの分割データを前記表示用メモリのバッファ領域に退避させるように構成し、前記画像変換処理手段は、前記バッファ領域に退避された１又は複数の分割データに対して前記所定の変換処理を行い、その結果を、当該処理に用いた分割データが退避されたバッファ領域及び当該分割データと同じフレームデータから分割された分割データが退避されたバッファ領域を除く他のバッファ領域に記憶させるように構成してもよい。

また、例えば、前記出力インタフェースが、異なるリフレッシュレートでｋ（ｋは２以上の整数）個のビデオ出力信号を出力するように構成され、前記表示用メモリが（ｎ＋２ｋ−１）個（ｎは、ｎ＞２ｋ−１を満たす整数）の前記バッファ領域を備えて、ｎ個のバッファ領域に、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されている場合には、前記退避処理手段を、最も速いリフレッシュレートで（ｎ−１）個の分割データの出力が終了すると、他のリフレッシュレートで出力されている分割データ、及び各リフレッシュレートで次に出力されるべき分割データを記憶しているバッファ領域を除くバッファ領域に、前記描画用メモリから次のフレームのフレームデータの分割データを退避するように構成してもよい。

本発明の他の画像処理装置は、動画像のフレーム毎に所定の画像処理を行い、この画像処理の結果に応じた画像を表すフレームデータを所定の描画用メモリに記憶させる画像処理手段と、（ｎ＋１）個（ｎは２以上の整数）の表示バッファ領域が設けられており、前記フレームデータが各バッファ領域に分割して記憶される表示用メモリと、前記表示バッファ領域よりも大きな記憶容量の出力バッファ領域が、（ｎ−１）個設けられる出力用メモリと、前記描画用メモリに記憶されている前記フレームデータをｎ個に等分割した分割データを、ｎ個の前記表示バッファ領域の各々に、１個ずつ退避させる退避処理手段と、前記表示用メモリに退避された分割データに対して所定の変換処理を行い、当該分割データよりもデータサイズの大きい処理結果を前記出力バッファに記憶させる画像変換処理手段と、前記出力用メモリに記憶された前記処理結果を、ビデオ出力信号に変換して外部に出力する出力インタフェースとを備えており、前記退避処理手段は、前記表示用メモリから、（ｎ−１）個の分割データが前記画像変換処理手段により前記変換処理され出力されると、前記描画用メモリからｎ個の分割データを前記表示用メモリに退避させるように構成されている。

本発明の画像処理システムは、動画像のフレーム毎に所定の画像処理を行い、この画像処理の結果に応じた画像を表すフレームデータを所定の描画用メモリに記憶させる画像処理手段と、複数のバッファ領域が設けられており、前記フレームデータが各バッファ領域に分割して記憶される表示用メモリと、前記描画用メモリに記憶された前記フレームデータを前記表示用メモリに退避させる退避処理手段と、前記表示用メモリに退避された前記フレームデータを、ビデオ出力信号に変換して外部に出力する出力インタフェースとを備えており、前記退避処理手段は、前記描画用メモリに記憶された前記フレームデータを前記表示用メモリのバッファ領域の数以下の数で且つバッファ領域に記憶可能なデータサイズをもつ複数の分割データに等分割して、この分割データの数と同数の前記バッファ領域に記憶させるように構成されており、前記描画用メモリと前記表示用メモリとが、ネットワークを介して接続された異なる装置に設けてある。

本発明の画像処理方法は、動画像のフレーム毎に行われる所定の画像処理の結果に応じた画像を表すフレームデータが記憶された描画用メモリから、所定の表示用メモリに前記フレームデータを退避させる退避処理手段を有しており、前記表示用メモリに退避されたフレームデータをビデオ出力信号に変換して所定のディスプレイ装置に表示させる装置において実行される方法であって、前記退避処理手段が、前記描画用メモリから、前記フレームデータを等分割した分割データを前記表示用メモリに分割データ単位で退避させるとともに、前記表示用メモリに退避されたフレームデータを前記分割データ単位で出力させる段階を含む。
このような画像処理方法で、例えば、前記表示用メモリが複数のバッファ領域を備えている場合には、前記退避処理手段が、前記描画用メモリに記憶された前記フレームデータを前記表示用メモリのバッファ領域の数以下の数で且つバッファ領域に記憶可能なデータサイズに等分割して前記分割データを生成し、この分割データの数と同数の前記バッファ領域に退避させる。

本発明のコンピュータプログラムは、動画像のフレーム毎に行われる所定の画像処理の結果に応じた画像を表すフレームデータが記憶された描画用メモリから、所定の表示用メモリに前記フレームデータを退避させておき、前記表示用メモリに退避されたフレームデータをビデオ出力信号に変換して所定のディスプレイ装置に表示させるコンピュータに、前記描画用メモリから、前記フレームデータを等分割した分割データを前記表示用メモリに分割データ単位で退避させるとともに、前記表示用メモリに退避されたフレームデータを前記分割データ単位で出力させる処理、を実行させるためコンピュータプログラムである。

本発明の半導体デバイスは、動画像のフレーム毎に所定の画像処理を行い、この画像処理の結果に応じた画像を所定のディスプレイ装置に表示させる装置に搭載可能であり、前記画像処理の結果に応じた画像を表すフレームデータを記憶する描画用メモリ、前記フレームデータが等分割されて記憶される表示用メモリ、前記描画用メモリに記憶された前記フレームデータを、等分割した分割データ毎に表示用メモリに退避させる退避処理手段、前記表示用メモリに退避された前記フレームデータを、前記分割データ毎にビデオ出力信号に変換して前記ディスプレイ装置に出力する出力インタフェース、を備える、半導体デバイスである。

以下、本発明の実施形態を詳細に説明する。
図１は、本発明の画像処理装置のハードウェア構成図である。
この画像処理装置１は、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭなどのメディア１４１に記録されたプログラム及びデータを読み込んで処理することにより、図外のディスプレイ装置に画像を表示させるとともに、スピーカ等から音声を出力させるようにしたものである。このような画像処理装置１は、例えば、画像処理機能を有する汎用のコンピュータ、ビデオゲーム装置、エンタテインメント装置等により実現される。

画像処理装置１は、ＣＰＵ（Central Processing Unit）１０と、ＲＡＭで構成されるメインメモリ１１と、ＤＭＡＣ（Direct Memory Access Controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、メディア１４１を装着するためのメディアドライブ１４と、入力部１５と、ＢＩＯＳなどのプログラムが記録されているＲＯＭ１６と、サウンドメモリ１７１に蓄積された音データを読み出してオーディオ出力信号として出力する音声処理装置（Sound Processing Unit、以下、「ＳＰＵ」）１７と、フレームメモリ１９を有する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）１８と、ＧＰＵ１８により画像が描画されるフレームメモリ１９と、ビデオ出力信号を生成するＣＲＴＣ（CRT Controller）２０とを含んで構成される。これらは、バスＢを介して接続される。
ビデオ出力信号は、ＮＴＳＣ（National Television Standards Committee）やＰＡＬ（Phase Alternation by Line）などの規格に準拠して生成され、ＣＲＴＣ２０からディスプレイ装置に出力されるようになっている。

ＣＰＵ１０は、画像処理装置１の起動時に、ＲＯＭ１６から起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる半導体デバイスである。また、ＣＰＵ１０は、メディアドライブ１４を制御して、メディアドライブ１４に装着されたメディア１４１からアプリケーションプログラムを読み出してメインメモリ１１に記憶させるとともに、メディア１４１から複数の基本図形（ポリゴン）で構成された３次元図形データ（ポリゴンの頂点の座標値など）、テクスチャデータ等の画像を生成するために必要なデータを読み出して、これを補助記憶装置１９に記憶させる機能を有する。３次元図形データは、３次元画像内の物体画像を表す。

ＣＰＵ１０は、３次元図形データに対して、座標変換処理や透視変換処理などのジオメトリ処理を行い、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの頂点及び重心についての、位置、色、テクスチャ座標、フォグカラー等の指定）、をその内容に含むディスプレイリストを生成する機能も有している。

ＧＰＵ１８は、ディスプレイリストを用いてレンダリング処理を行い、フレームメモリ１９にポリゴンを描画して描画像を生成する機能を有する半導体デバイスである。ＧＰＵ１８は、ディスプレイリストにより指定された３次元図形データ及びテクスチャデータによりレンダリング処理を行う。
この実施形態では、ＣＰＵ１０及びＧＰＵ１８を別のハードウエアとして備えるが、これらの機能を同時に備えたプロセッサ装置を用いるようにしてもよい。

ＳＰＵ１７は、サウンドメモリ１７１から読み出した音データを合成してオーディオ出力信号を生成する半導体デバイスである。ＤＭＡＣ１２は、バスＢに接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ１３は、ＣＰＵ１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。

入力部１５は、操作装置１５１からの入力信号が入力される接続端子１５ａを備えている。操作装置１５１には、複数の操作ボタンが設けられており、操作者がこれらの操作ボタンを種々多様に操作することにより、ディスプレイ装置に表示される物体画像を移動、変形させることができるようになっている。操作装置１５１には、例えば、キーボード、マウス、ビデオゲーム装置のコントローラ等を用いることができる。

このような画像処理装置１において、フレームメモリ１９に描画された描画像は、等分割されてメインメモリ１１に退避される。フレームメモリ１９に描画される描画像についてのデータを、この明細書ではフレームデータという。１フレーム目のフレームデータを第１フレームデータ、２フレーム目のフレームデータを第２フレームデータ、ｎフレーム目のフレームデータを第ｎフレームデータ、と表す。フレームデータが等分割されて生成されるデータを、この明細書では分割データという。例えば４分割の場合、第１フレームデータの分割データを分割データ１−１、１−２、１−３、１−４と表す。第ｎフレームデータの分割データを分割データｎ−１、ｎ−２、ｎ−３、ｎ−４と表す。

退避は分割データ毎に行われる。退避された分割データは、分割データ毎に、ＣＲＴＣ２０によりビデオ出力信号に変換されて出力される。そのために画像処理装置１には、ＣＰＵ１０、ＧＰＵ１８等により、図２に示すような機能ブロックが形成される。各機能ブロックは、ＣＰＵ１０、ＧＰＵ１８がＲＯＭ１６、メディア１４１等に記録されたプログラムを実行することにより形成される。

画像処理装置１には、画像処理部２１、画像描画部２２、退避処理部２３、描画用メモリ２４、表示用メモリ２５、画像変換処理部２６、及び出力インタフェース２７が形成される。画像処理部２１はＣＰＵ１０により形成され、画像描画部２２はＧＰＵ１８により形成される。退避処理部２３は、ＣＰＵ１０、ＧＰＵ１８、ＣＲＴＣ２０のいずか、或いは協働により形成される。描画用メモリ２４はフレームメモリ１９に形成され、表示用メモリ２５はメインメモリ１１に形成される。出力インタフェース２７は、ＣＲＴＣ２０により形成される。画像変換処理部２６は、ＣＰＵ１０及びＧＰＵ１８のいずれか、或いは協働により形成される。
なおこの実施形態では、画像処理部２１と画像描画部２２とを別の機能ブロックとして表しているが、これらの機能を同時に備えた機能ブロックを形成して備えるようにしてもよい。

画像処理部２１は、動画像のフレーム毎にジオメトリ処理を行ってディスプレイリストを生成し、生成したディスプレイリストを画像描画部２２へ送るようになっている。画像処理部２１は、１フレームの画像についてのディスプレイリストを画像描画部２２に出力すると、次のフレームの画像についてのジオメトリ処理を実行可能な状態になる。次のフレームの画像についてのジオメトリ処理は、例えば、画像描画部２２による描画用メモリ２４への画像の描画が終了するまでに、当該フレームのディスプレイリストが生成されるように実行される。

画像描画部２２は、画像処理部２１から送られたディスプレイリストに基づいて描画用メモリ２４にポリゴンを描画し、そのフレームにおける描画像を生成する。これにより描画用メモリ２４には、フレームデータが記憶される。画像描画部２２は、退避処理部２３から、描画用メモリ２４から表示用メモリ２５への描画像の退避が終了した旨の通知を受け取ると、次のフレームの画像についての描画を実行可能な状態になる。

描画用メモリ２４は、少なくとも１フレーム分のフレームデータを記憶できるだけの記憶容量を備えている。描画用メモリ２４から表示用メモリ２５に描画像（フレームデータ）が退避されるときには、分割データ単位に退避されることになるが、描画用メモリ２４に記憶されている間は、分割されずに記憶されている。

表示用メモリ２５には、分割データを１個だけ記憶可能な記憶容量を持つバッファ領域が、１フレーム以上且つ２フレーム未満のフレームデータを記憶できる数だけ設けられている。画像が４つに分割されている場合には、４〜７個のバッファ領域が設けられる。表示用メモリ２５から分割データがビデオ出力信号として出力される場合には、分割データ毎に出力されるようになっている。各バッファ領域は、物理的に別のメモリにより構成されてもよいが、この実施形態では、メインメモリ１１内に、論理的に分割されて形成される。

この実施形態では、発明が理解されやすいように、表示用メモリ２５に各々バッファ領域が設けられる形態で説明するが、バッファ領域が設けられていなくても、表示用メモリ２５に、フレームデータが分割データ単位で記憶されるようになっていればよい。つまり、表示用メモリ２５には１以上２フレーム未満の、フレームデータの分割データが記憶できるだけの記憶容量が用意されていればよい。

退避処理部２３は、描画用メモリ２４に記憶されたフレームデータを等分割して分割データを生成し、フレームデータを分割データ単位で表示用メモリ２５に退避させるとともに、表示用メモリ２５からフレームデータを分割データ単位で出力させるように構成されている。そのために退避処理部２３は、描画用メモリ２４への描画像の描画状況、描画用メモリ２４から表示用メモリ２５へのフレームデータの退避状況、及び表示用メモリ２５からの出力状況を確認できるようになっている。なお、分割データの退避、出力は、基本的に１個ずつ行うが、連続して複数の分割データを退避、出力させる場合には、一度に必要な数の分割データを退避、出力させるようにしてもよい。
退避処理部２３は、例えば、表示用メモリ２５内のどのバッファ領域から分割データが出力されているかを知ることで、描画用メモリ２４から表示用メモリ２５へのフレームデータの退避状況、及び表示用メモリ２５からの出力状況を確認する。つまり、退避処理部２３は、表示用メモリ２５へのデータの入出力を管理して、これによりフレームデータの退避状況、出力状況を確認するようになっている。

画像変換処理部２６は、表示用メモリ２５に退避された描画像に対して変換処理を行うものである。変換処理には、例えば、描画像の拡大、縮小などがある。１つの分割データに対して、描画像の拡大、縮小のための処理を実行することができる。

図３は、このような画像処理装置１により実行される、フレームデータの退避、出力処理の流れを表す図である。図３は、１フレーム分の画像処理についての流れのみを表しており、次のフレームについては表してないが、実際に動画像を表示する場合には、図３に表す処理が、動画像の終了まで繰り返されることになる。

動画像の表示が指示されると、画像処理部２１は、表示すべき画像について必要なジオメトリ処理を行う（ステップＳ１０）。画像処理部２１は、ジオメトリ処理によりディスプレイリストを生成し、これを画像描画部２２へ送る。画像描画部２２は、送られてきたディスプレイリストにもとづいて、描画用メモリ２４にポリゴンを描画して描画像を生成する（ステップＳ２０）。これによりフレームデータが描画用メモリ２４に記憶される。

描画用メモリ２４への描画処理が終了すると、退避処理部２３は、表示用メモリ２５の出力状況に応じて、描画用メモリ２４に書き込まれたフレームデータを表示用メモリ２５に退避させる（ステップＳ３０）。退避処理部２３は、描画用メモリ２４に書き込まれたフレームデータを等分割して分割データを生成し、分割データ毎に退避を行う。分割データが書き込まれていないバッファ領域が表示用メモリ２５に１つでも有れば、退避処理部２３は、分割データの退避を行うことができる。例えば、表示用メモリ２５から分割データが１個出力されれば、その分のバッファ領域が空くことになるので、描画用メモリから１個の分割データを表示用メモリに退避させることができる。また、表示用メモリ２５から複数の分割データが出力された後に、描画用メモリから複数の分割データを表示用メモリに退避させるようにしてもよい。

画像変換部２６は、表示用メモリ２５に退避された分割データについて、変換処理を行う必要が有るか否かを判断し、必要であれば変換処理を行う（ステップＳ４０：有、ステップＳ５０）。変換処理後の分割データは、再び表示用メモリ２５に記憶される。変換処理が終了すると、或いは変換処理が不要の場合には（ステップＳ４０：無）、出力インタフェース２７を介して、表示用メモリ２５から分割データが出力される（ステップＳ６０）。画像変換部２６は、変換処理を行う必要が有るか否かを、予め指示されている。例えば、この画像処理装置１に接続されるディスプレイ装置の解像度に応じて、画像の拡大、縮小が必要なときには、変換処理が必要であることが指示される。

画像処理装置１により実行されるフレームデータの退避、出力処理の具体的な動作について、図４〜図１２を用いて、以下に説明する。図４〜図１２は、それぞれ、描画像についてのフレームデータの退避、出力処理の際の描画用メモリ２４及び表示用メモリ２５に記憶されるフレームデータの流れを表す例示図である。図４〜図１２において、図面の上から下へ状態が遷移する。なお図４以降の説明では、描画用メモリ２４が分割されているように表されているが、これは説明を容易にするためのものであり、描画用メモリ２４が、物理的、論理的に分割されて形成されていることを表すものではない。

図４（ａ）〜（ｄ）では、表示用メモリ２５は４個のバッファ領域を備え、分割データを４個（フレームデータを１個）記憶できるようになっている。

図４（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５に、４分割された第１フレームデータが、退避されて記憶されている。表示用メモリ２５から分割データ１−１〜１−３が出力インタフェース２７を介して順次出力されると（図４（ｂ））、退避処理部２３は、分割データ１−３の出力終了を確認後に、第２フレームデータを等分割して得られる分割データ２−１〜２−３を、描画用メモリ２４から表示用メモリ２５へ退避させる。分割データ２−１〜２−３を退避中、表示用メモリ２５からは分割データ１−３の出力に引き続いて分割データ１−４が出力インタフェース２７を介して出力される（図４（ｃ））。分割データ１−４の出力が終了すると、分割データ２−４が描画用メモリから表示用メモリへ退避される（図４（ｄ））。分割データ２−４の退避が終了すると、描画用メモリ２４には、次のフレームの描画像となる第３フレームデータの描画が開始される。

最も簡単な退避、出力処理の実施例である。表示用メモリ２５は、フレームデータ１個分の記憶容量を備えていればよい。また、退避されたフレームデータはすぐに出力されるので、ダブルバッファを用いる従来方式よりもレイテンシが短くなる。分割データ毎にフレームデータが出力されるので、ＶＢＩの区間を超えても、実際に当該分割データが出力されるまでに退避されていればよい。

図５（ａ）〜（ｃ）では、表示用メモリ２５は５個のバッファ領域を備え、分割データを５個記憶できるようになっている。

図５（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５に４分割された第１フレームデータが退避されて記憶されている。表示用メモリ２５から分割データ１−１〜１−３が出力インタフェース２７を介して順次出力されると（図５（ｂ））、退避処理部２３は、分割データ１−３の出力終了を確認後に、第２フレームデータを等分割して得られる分割データ２−１〜２−４を、描画用メモリ２４から表示用メモリ２５へ退避させる。また、同時に分割データ１−４を出力させる（図５（ｃ））。表示用メモリ２５は、分割データを５個記憶できるために、分割データ１−４が出力中であっても、それとは無関係に第２フレームデータのすべてを一度に退避可能である。

分割データ２−１〜２−４を退避し終えると、描画処理部２２は、表示用メモリ２５からの出力とは無関係に、次のフレームの描画像となる第３フレームデータの描画を開始することができるようになる。つまり分割データ１−４が出力中であろうと、それに無関係に、描画用メモリ２４に第３フレームデータの描画が行われる。

退避されたフレームデータはすぐに出力されるので、ダブルバッファを用いる従来方式よりもレイテンシが短くなる。フレームデータは分割データ毎に出力されるので、ＶＢＩの区間を超えても、実際に分割データが出力されるまでに退避されていればよい。
表示用メモリ２５が分割データ１個分余計にデータを記憶可能となっていることで、表示用メモリ２５に退避されたすべての分割データが出力されていなくとも、描画用メモリ２４から次のフレームのすべての分割データを退避可能である。そのために、表示用メモリ２５からの出力と、描画用メモリ２４への描画とを非同期にすることができる。

図６（ａ）〜（ｄ）では、表示用メモリ２５は５個のバッファ領域を備え、分割データを５個記憶できるようになっている。表示用メモリ２５はインプレース変換処理が可能なメモリであり、変換前の分割データが記憶されるバッファ領域と同じバッファ領域に、変換処理後の分割データを書き込めるようになっている。

図６（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５に４分割された第１フレームデータが、退避、変換されて記憶されている。表示用メモリ２５から分割データ１−１〜１−３が出力インタフェース２７を介して順次出力されると（図６（ｂ））、退避処理部２３は、分割データ１−３の出力終了を確認後に、第２フレームデータを等分割して得られる分割データ２−１raw〜２−４rawを、描画用メモリ２４から表示用メモリ２５へ退避させる。また、同時に分割データ１−４を出力させる（図６（ｃ））。
次いで、画像変換処理部２６は、表示用メモリ２５に退避された分割データ２−１raw〜２−４rawのインプレース変換処理を行う。これにより表示用メモリ２５には変換処理後の分割データ２−１〜２−４が記憶される（図６（ｄ））。

実施例２と同じ効果を持ちつつ、表示用メモリ２５のインプレース変換が可能であるために、退避後に変換処理を行う場合でも表示用メモリ２５は５個のバッファ領域で済む。

図７（ａ）〜（ｆ）では、表示用メモリ２５は６個のバッファ領域を備え、分割データを６個記憶できるようになっている。表示用メモリ２５はインプレース変換処理が不可能なメモリであり、変換前の分割データが記憶されるバッファ領域と同じバッファ領域に、変換処理後の分割データを書き込むことができない。

図７（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５に４分割された第１フレームデータが、退避、変換されて記憶されている。表示用メモリ２５から分割データ１−１〜１−３が順次出力されると、退避処理部２３は、分割データ１−３の出力終了を確認後に、第２フレームデータを等分割して得られる分割データ２−１rawを、描画用メモリ２４から表示用メモリ２５へ退避させる（図７（ｂ））。次いで画像変換処理部２６が行う分割データ２−１rawの変換処理に並行して、退避処理部２３は分割データ２−２rawを描画用メモリ２４から表示用メモリ２５に退避させる。また、同時に分割データ１−４を出力させる（図７（ｃ））。画像変換処理部２６は、分割データ２−１rawの変換処理を行い、その結果得られる分割データ２−１を、分割データ２−１rawが記憶されていたバッファ領域とは異なるバッファ領域に記憶させる。

次いで、画像変換処理部２６が行う分割データ２−２rawの変換処理に並行して、退避処理部２３は分割データ２−３rawを描画用メモリ２４から表示用メモリ２５に退避させる（図７（ｄ））。次いで、画像変換処理部２６が行う分割データ２−３rawの変換処理に並行して、退避処理部２３は分割データ２−４rawを描画用メモリ２４から表示用メモリ２５に退避させる（図７（ｅ））。次いで、画像変換処理部２６は分割データ２−４rawの変換処理を行う（図７（ｆ））。変換処理後の分割データ２−２、２−３、２−４も、分割データ２−２raw、２−３raw、２−４rawが退避されていたバッファ領域とは異なるバッファ領域に記憶される。分割データ２−４rawの退避が終了すると、描画処理部２２は、表示用メモリ２５からの出力とは無関係に、次のフレームの描画像となる第３フレームデータの描画を開始する。つまり、図７（ｅ）で第２フレームデータの退避が終了すると、次のフレームの描画が開始される。

実施例４では、実施例３と同じ効果が得られる。この実施例では表示用メモリ２５によるインプレース変換が不可能であっても、実施例３よりも表示用メモリ２５の記憶容量を分割データ１個分多く備えることで、退避後の変換処理を行うことができる。

図８（ａ）〜（ｊ）では、表示用メモリ２５は６個のバッファ領域を備え、分割データを６個記憶できるようになっている。変換処理には、上下の分割データを用いる。例えば、分割データ２−２を変換処理により生成するには、分割データ２−２rawの他に、分割データ２−１raw、２−３rawを必要とする。

図８（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５には、４分割された第１フレームデータが、退避されて記憶されている。表示用メモリ２５から分割データ１−１〜１−３が順次出力されると、退避処理部２３は、分割データ１−３の出力終了を確認後に、第２フレームデータを等分割して得られる分割データ２−１rawを、描画用メモリ２４から表示用メモリ２５へ退避させる（図８（ｂ））。次いで画像変換処理部２６は分割データ２−１rawにより、分割データ２−１の上半分（分割データ２−１(top)）を変換処理する。変換処理に並行して、退避処理部２３は、分割データ２−２rawを描画用メモリ２４から表示用メモリ２５に退避させる。また、同時に分割データ１−４を出力させる（図８（ｃ））。変換処理後の分割データ２−１(top)は、分割データ２−１rawが退避されていたバッファ領域とは異なるバッファ領域に記憶される。

次いで、画像変換処理部２６は、分割データ２−１raw、２−２rawにより、分割データ２−１の下半分を変換処理する。これにより、分割データ２−１の変換処理が終了する。変換処理に並行して、退避処理部２３は、分割データ２−３rawを描画用メモリ２４から表示用メモリ２５に退避させる（図８（ｄ））。

次いで、画像変換処理部２６は、分割データ２−１raw、２−２rawにより、分割データ２−２の上半分（分割データ２−２(top)）を変換処理する。変換処理に並行して、退避処理部２３は、分割データ２−４rawを描画用メモリ２４から表示用メモリ２５に退避させる（図８（ｅ））。変換処理後の分割データ２−２(top)は、分割データ２−１rawが退避されていたバッファ領域に記憶される。次いで、画像変換処理部２５は、分割データ２−２raw、２−３rawにより、分割データ２−２の下半分を変換処理する（図８（ｆ））。これにより、分割データ２−２の変換処理が終了する。なお、図８（ｅ）までに第２フレームデータの退避が終了しているので、この段階で、画像描画部２２は、描画用メモリ２４に対して、次のフレームの描画を開始してもよい。

次いで、画像変換処理部２６は、分割データ２−２raw、２−３rawにより、分割データ２−３の上半分（分割データ２−３(top)）を変換処理する（図８（ｇ））。変換処理後の分割データ２−３(top)は、分割データ２−２rawが退避されていたバッファ領域に記憶される。次いで、画像変換処理部２６は、分割データ２−３raw、２−４rawにより、分割データ２−３の下半分を変換処理する（図８（ｈ））。これにより、分割データ２−３の変換処理が終了する。

次いで、画像変換処理部２６は、分割データ２−３raw、２−４rawにより、分割データ２−４の上半分（分割データ２−４(top)）を変換処理する（図８（ｉ））。変換処理後の分割データ２−４(top)は、分割データ２−３rawが退避されていたバッファ領域に記憶される。次いで、画像変換処理部２６は、分割データ２−４rawにより、分割データ２−４の下半分を変換処理する（図８（ｊ））。これにより、分割データ２−４の変換処理が終了する。

実施例５では、分割データの変換処理の際に上下の分割データを用いる。そのために、分割データの境界部分の画像について、色や形状が不連続になる等の問題を解消することができる。

図９（ａ）〜（ｇ）では、表示用メモリ２５は７個のバッファ領域を備え、分割データを７個記憶できるようになっている。

図９（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５には、４分割された第１フレームデータが、退避されて記憶されている。表示用メモリ２５から分割データ１−１〜１−３が順次出力されると、退避処理部２３は、分割データ１−３の出力終了を確認後に、第２フレームデータを等分割して得られる分割データ２−１rawを、描画用メモリ２４から表示用メモリ２５へ退避させる（図９（ｂ））。次いで分割データ２−２rawを描画用メモリ２４から表示用メモリ２５に退避させる。また、同時に分割データ１−４を出力させる（図９（ｃ））。

次いで、画像変換処理部２６は、分割データ２−１raw、２−２rawを変換処理して、分割データ２−１を生成する。生成された分割データ２−１は、表示用メモリ２５の空いているバッファ領域に記憶される。ここでは、分割データ１−４が記憶されていたバッファ領域の次のバッファ領域に記憶される。変換処理に並行して、退避処理部２３は、分割データ２−３rawを描画用メモリ２４から表示用メモリ２５に退避させる（図９（ｄ））。

次いで、画像変換処理部２６は、分割データ２−１raw、２−２raw、及び２−３rawを変換処理して、分割データ２−２を生成する。変換処理に並行して、退避処理部２３は、分割データ２−４rawを描画用メモリ２４から表示用メモリ２５に退避させる（図９（ｅ））。生成された分割データ２−２は、表示用メモリ２５の空いているバッファ領域、ここでは、分割データ２−１が記憶されたバッファ領域の次のバッファ領域に記憶される。

次いで、画像変換処理部２６は、分割データ２−２raw、２−３raw、及び２−４rawを変換処理して、分割データ２−３を生成する（図９（ｆ））。生成された分割データ２−３は、表示用メモリ２５の空いているバッファ領域、ここでは、分割データ２−２が記憶されたバッファ領域の次のバッファ領域に記憶される。なお、図９（ｅ）までに第２フレームデータの退避が終了しているので、この段階で、画像描画部２２は、描画用メモリ２４に対して、次のフレームの描画を開始してもよい。

次いで、画像変換処理部２６は、分割データ２−３raw、２−４rawを変換処理して、分割データ２−４を生成する（図９（ｇ））。生成された分割データ２−４は、表示用メモリ２５の空いているバッファ領域、ここでは、分割データ２−３が記憶されたバッファ領域の次のバッファ領域に記憶される。

表示用メモリ２５に残される分割データ２−３raw、２−４rawは、削除してもよいが、残していても、次のフレームの退避、変換処理により上書きされるようにしておけば、敢えて削除する必要はない。

実施例６では、変換処理に上下の分割データを用いるが、実施例５とは異なり、分割データをさらに上半分、下半分に分けることはない。そのために、すべての分割データの変換処理を、実施例５の場合と同様の効果を保ちつつ高速に行うことができる。

図１０（ａ）〜（ｃ）では、フレームデータが８分割される。表示用メモリ２５は１１個のバッファ領域を備え、分割データを１１個記憶できるようになっている。表示用メモリ２５を構成する各バッファ領域は、分割データのデータサイズに合わせた記憶容量であるため、フレームデータが８分割されている場合には、４分割されている場合の記憶容量の半分になる。
実施例７は、リフレッシュレートの異なる第１及び第２出力装置に対してビデオ出力信号を出力する例であり、出力インタフェース２７から２つのビデオ出力信号が異なるリフレッシュレートで出力される。ここでは、第１出力装置のリフレッシュレートが相対的に高く、第２出力装置のリフレッシュレートが相対的に低いものとする。

図１０（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５には、８分割された第１フレームデータが、退避されて記憶されている。表示用メモリ２５から第１出力装置へ分割データ１−１〜１−７が順次出力されると、第２出力装置への分割データの出力がまだ分割データ１−８に達していなくとも、退避処理部２３は、第２フレームデータを等分割して得られる分割データ２−１〜２−８を、描画用メモリ２４から表示用メモリ２５へ一度に退避させる（図１０（ｂ））。図１０（ｂ）では、第２出力装置へ分割データ１−３を出力中に第２フレームデータが退避される。
次いで、第１出力装置には、分割データ１−８出力後に、分割データ２−１が出力される。これは通常の順序による出力である。第２出力装置には、分割データ１−４出力後に分割データ２−５が出力される。そのために第２出力装置には、第１フレームデータと第２フレームデータとが混成された画像が表示される。

第１出力装置への出力と第２出力装置への出力とは非同期に行われるので、退避中に分割領域を超えて出力する可能性がある。そのために、第２出力装置へ出力するためのバッファ領域を２つあけて退避を行っている。
出力先が３つ以上であっても同様に退避、出力を行うことができる。出力先の数をｋ（ｋは２以上の整数）、フレームデータの分割数をｎ（ｎは、ｎ＞２ｋ−１を満たす整数）とすると、表示用メモリが必要とするバッファ領域の数は、（ｎ＋２ｋ−１）の式で表される。

図１１（ａ）〜（ｆ）では、フレームデータが４分割される。表示用メモリ２５は６個のバッファ領域を備え、分割データを６個記憶できるようになっている。

実施例８では、画像が縮小されるように、退避後のフレームデータに対して画像変換処理部２６により変換処理を行う。この例では、４個の分割データに基づいて３個の分割データからなるフレームデータを生成する。これにより例えば、表示用メモリ２５に退避された分割データは、画像変換処理部２６により３／４倍の大きさの画像となるように変換される。

図１１（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５には、縮小されて３分割となった第１フレームデータが、退避されて記憶されている。表示用メモリ２５に記憶された第１フレームデータのデータサイズは、描画用メモリ２４に記憶された第２フレームデータのデータサイズの３／４である。
表示用メモリ２５から分割データ１−１、１−２が順次出力されると、退避処理部２３は、分割データ１−２の出力終了を確認後に、第２フレームデータを等分割して得られる分割データ２−１rawを、描画用メモリ２４から表示用メモリ２５へ退避させる（図１１（ｂ））。次いで退避処理部２３は、分割データ２−２rawを描画用メモリ２４から表示用メモリ２５に退避させる。また、同時に分割データ１−３を出力させる（図９（ｃ））。

次いで、画像変換処理部２６が分割データ２−１raw、２−２rawから分割データ２−１を生成するとともに、退避処理部２３が描画用メモリ２４から分割データ２−３rawを退避させる（図１１（ｄ））。次いで、画像変換処理部２６が分割データ２−２raw、２−３rawから分割データ２−２を生成するとともに、退避処理部２３が描画用メモリ２４から分割データ２−４rawを退避させる（図１１（ｅ））。次いで、画像変換処理部２６が分割データ２−３raw、２−４rawから分割データ２−３を生成する（図１１（ｆ））。以上のようにして、画像が３／４の大きさに縮小された第２フレームデータが生成される。

２つの分割データに対して変換処理を行って１つの分割データを生成する。そのために、変換後のフレームデータの分割数は、変換前のフレームデータの分割数よりも一つ少なくなり、その分画像が縮小される。

図１２（ａ）〜（ｈ）では、フレームデータが４分割される。表示用メモリ２５は７個のバッファ領域を備え、分割データを７個記憶できるようになっている。

実施例９では、画像が拡大されるように、退避後のフレームデータに対して画像変換処理部２６により変換処理を行う。この例では、４個の分割データに基づいて５個の分割データからなるフレームデータを生成する。つまり表示用メモリ２５に退避された分割データは、画像変換処理部２６により５／４倍の大きさの画像となるように変換される。

図１２（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５には、分割データ５個分となった第１フレームデータが、退避、変換処理されて記憶されている。変換処理後の分割データ１−１〜１−４の出力が終了すると（図１２（ｂ））、退避処理部２３は、第２フレームデータを等分割して得られる分割データ２−１raw、２−２rawを、描画用メモリ２４から表示用メモリ２５へ退避させる。また、同時に分割データ１−５を出力させる（図１２（ｃ））。

次いで、退避処理部２３により、分割データ２−３rawが描画用メモリ２４から表示用メモリ２５へ退避されるとともに、画像変換処理部２６が分割データ２−１rawを変換して分割データ２−１を生成する（図１２（ｄ））。次いで、退避処理部２３により分割データ２−４rawが描画用メモリ２４から表示用メモリ２５へ退避されるとともに、画像変換処理部２６により分割データ２−１raw、２−２rawが変換されて分割データ２−２が生成される（図１２（ｅ））。

次いで、画像変換処理部２６により分割データ２−２raw、２−３rawが変換されて分割データ２−３が生成される（図１２（ｆ））。次いで、画像変換処理部２６により分割データ２−３raw、２−４rawが変換されて分割データ２−４が生成される（図１２（ｇ））。次いで、画像変換処理部２６により分割データ２−４rawが変換されて分割データ２−５が生成される（図１２（ｈ））。

分割データ２−１raw、２−４rawに対して変換処理を行って、各々１つずつ分割データを生成するとともに、２つの分割データに変換処理を行って１つの分割データを生成する。そのために、変換後のフレームデータの分割数は、変換前のフレームデータの分割数よりも一つ多くなり、その分画像が拡大される。なお第３フレームデータは、描画用メモリ２４から表示用メモリ２５へのフレームデータの退避が終了後であれば、いつでも描画を開始されてもよい。

実施例１０は、上記の実施例１〜９に用いられる画像処理装置１とは構成が異なる画像処理装置２により実行される、退避、出力処理についての例である。実施例１０では、変換処理後の分割データのデータサイズを、変換処理前の分割データのデータサイズよりも大きくなるようにする。そのために、変換処理後の分割データを表示用メモリ２５の各バッファ領域に記憶させようとするとバッファ領域がオーバーフローを起こしてしまう。そこでこの実施例では、変換処理後の分割データを記憶するための出力用ＦＩＦＯ（First-In First-Out）に記憶させるようにする。

図１３は、このような処理を実現するための画像処理装置２の機能ブロック図である。図２と同じ構成要素については、同じ符号を付けてある。図２と比較して、出力用ＦＩＦＯ２８が追加された部分が異なる。出力用ＦＩＦＯ２８は、メインメモリ１１により構成してもよく、また別に専用のメモリを用意してもよい。出力用ＦＩＦＯ２８には、変換処理後の分割データが１つ記憶可能なバッファ領域が３個備えられている。表示用メモリ２５に備えられるバッファ領域の記憶容量よりも、出力用ＦＩＦＯ２８に備えるバッファ領域の記憶容量の方が大きい。

図１４（ａ）〜（ｅ）は、図１３に示す画像処理装置２による処理を説明するための図である。図１４（ａ）〜（ｅ）では、フレームデータが４分割される。表示用メモリ２５は５個のバッファ領域を備え、分割データを５個記憶できるようになっている。

描画用メモリ２４に記憶されたフレームデータは、表示用メモリ２５に退避された後に画像変換処理部２６により変換処理されて出力用ＦＩＦＯ２８に書き込まれる。出力インターフェース２７は、出力用ＦＩＦＯ２８から変換処理後のフレームデータを出力する。

図１４（ａ）では、描画用メモリ２４に第２フレームデータが記憶されており、表示用メモリ２５には、４分割された第１フレームデータが、退避されて記憶されている。表示用メモリ２５からは、分割データ１−１raw〜１−３rawが順次、画像変換処理部２６により変換処理されて出力用ＦＩＦＯ２８に送られ、分割データ１−１、１−２、１−３の順に出力される（図１４（ｂ））。
次いで、分割データ１−４rawが画像変換処理部２６により変換処理されて出力用ＦＩＦＯ２８に送られ、出力される。これに並行して退避処理部２３は、第２フレームデータを等分割して得られる分割データ２−１raw〜２−４rawを、描画用メモリ２４から表示用メモリ２５へ退避させる（図１４（ｃ））。

分割データ２−１raw〜２−４rawの退避が終了すると、表示用メモリ２５から退避された分割データ２−１raw〜２−３rawが順次、画像変換処理部２６により変換処理されて出力用ＦＩＦＯ２８に送られ、分割データ２−１、２−２、２−３の順に出力される（図１４（ｄ））。次いで、分割データ２−４rawが画像変換処理部２６により変換処理されて出力用ＦＩＦＯ２８に送られ、出力される（図１４（ｅ））。第３フレームデータは、描画用メモリ２４から第２フレームデータがすべて退避される図１４（ｄ）以降に、描画用メモリ２４に書き込まれる。
この実施形態では、変換処理により分割データのデータサイズが大きくなるので、より大きな画像や、より高精細な画像が得られるようになる。

以上の画像処理装置１では、表示用メモリ２５を１つの装置内に設けた構成としていたが、表示用メモリ２５を画像処理装置１の装置外に設けるようにしてもよい。例えば、画像処理装置１に接続されるディスプレイ装置に設けておき、描画用メモリ２４からＣＲＴＣ２０等を介さずに直接フレームデータを送信するようにしてもよい。この場合、フレームデータはディスプレイ装置内でビデオ出力信号に変換されることになる。

また、ネットワークを介して別の装置内に表示用メモリ２５を設けるようにしてもよい。図１５は、ネットワークを利用した画像処理装置の例示図である。表示用メモリ２５、画像変換処理部２６、及び出力インタフェース２７を図２の画像処理装置１から分離させて、ネットワークＬ上に設けている。描画用メモリ２４に描画されたフレームデータは、ネットワークＬを介して表示用メモリ２５に退避される。さらに、表示用メモリ２５からネットワークを介してディスプレイ装置３にビデオ出力信号として送られる。なお、ディスプレイ装置３が、表示用メモリ２５、画像変換処理部２６、及び出力インタフェース２７を備えるようにしてもよい。

本実施形態による画像処理装置の全体構成図。 本実施形態による画像処理装置に形成される機能ブロック図。 本実施形態の画像処理装置による処理の流れを表す図。 本発明の退避処理の例示図。 本発明の退避処理の例示図。 本発明の退避処理の例示図。 本発明の退避処理の例示図。 本発明の退避処理の例示図。 本発明の退避処理の例示図。 本発明の退避処理の例示図。 本発明の退避処理の例示図。 本発明の退避処理の例示図。 本実施形態による画像処理装置に形成される他の機能ブロック図。 本発明の退避処理の例示図。 ネットワークを利用した画像処理装置の例示図。

符号の説明

１、２ 画像処理装置
１０ ＣＰＵ
１１ メインメモリ
１２ ＤＭＡＣ
１３ ＭＤＥＣ
１４ メディアドライブ
１４１ メディア
１５ 入力部
１５１ 操作装置
１６ ＲＯＭ
１７ ＳＰＵ
１７１ サウンドメモリ
１８ ＧＰＵ
１９ フレームメモリ
２０ ＣＲＴＣ
２１ 画像処理部
２２ 画像描画部
２３ 退避処理部
２４ 描画用メモリ
２５ 表示用メモリ
２６ 画像変換処理部
２７ 出力インタフェース
２８ 出力用ＦＩＦＯ
３ ディスプレイ装置
Ｌ ネットワーク

Claims (13)

1. 動画像のフレーム毎に所定の画像処理を行い、この画像処理の結果に応じた画像を表すフレームデータを所定の描画用メモリに記憶させる画像処理手段と、
   複数のバッファ領域を有する表示用メモリに、前記描画用メモリに記憶された前記フレームデータを前記表示用メモリのバッファ領域の数以下の数で且つバッファ領域に記憶可能なデータサイズに等分割して得られる分割データを、この分割データの数と同数の前記バッファ領域に分割データ単位に退避させる退避処理手段と、
   前記表示用メモリに退避された前記フレームデータを、前記分割データ単位でビデオ出力信号に変換して外部に出力する出力インタフェースとを備えており、
   前記退避処理手段は、前記表示用メモリに記憶される前記分割データの出力状況を確認できるようになっており、確認した前記出力状況に応じて、前記描画用メモリから前記表示用メモリへ分割データを退避させるように構成されている、
   画像処理装置。
2. 前記表示用メモリには、１フレーム以上２フレーム未満のフレームデータを記憶可能な数の前記バッファ領域が設けられている、
   請求項１記載の画像処理装置。
3. 前記表示用メモリはｎ個（ｎは２以上の整数）の前記バッファ領域を備え、各バッファ領域には、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されており、
   前記退避処理手段は、前記表示用メモリからｍ個（１≦ｍ≦（ｎ−１）の整数）の前記分割データが出力されると、前記描画用メモリに記憶された次のフレームのフレームデータをｎ個に等分割したうちのｍ個の分割データを、前記分割データが出力された前記表示用メモリのバッファ領域に退避させ、続いて前記表示用バッファから先に出力された分割データと同じフレームデータの残りの分割データが出力されると、前記描画用メモリから残りの分割データを前記表示用メモリのバッファ領域に退避させるように構成されている、
   請求項２記載の画像処理装置。
4. 前記表示用メモリは（ｎ＋１）個（ｎは２以上の整数）の前記バッファ領域を備えて、ｎ個のバッファ領域に、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されており、
   前記退避処理手段は、前記表示用メモリから（ｎ−１）個の分割データが出力されると、前記描画用メモリに記憶されたフレームデータをｎ個の分割データに等分割して前記表示用メモリに退避させるように構成されている、
   請求項２記載の画像処理装置。
5. 前記表示用メモリの前記バッファ領域に退避された分割データに対して所定の変換処理を行い、その結果を当該分割データが記憶された当該バッファ領域に記憶させる画像変換処理手段を更に備えている、
   請求項３または４記載の画像処理装置。
6. 前記表示用メモリに退避された分割データに対して所定の変換処理を行う画像変換処理手段を更に備えており、
   前記表示用メモリは（ｎ＋２）個（ｎは２以上の整数）の前記バッファ領域を備えて、ｎ個のバッファ領域に、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されており、
   前記退避処理手段は、前記表示用メモリからｍ個（１≦ｍ≦（ｎ−１）の整数）の分割データが出力されると、前記描画用メモリから前記表示用メモリにｎ個に等分割された次のフレームデータからｍ個の分割データを退避させ、続いて前記表示用バッファから先に出力された分割データと同じフレームデータの残りの分割データが出力されると、前記描画用メモリから残りの分割データを前記表示用メモリのバッファ領域に退避させるように構成されており、
   前記画像変換処理手段は、前記バッファ領域に退避された分割データに対して前記所定の変換処理を行い、その結果を、当該分割データが退避されたバッファ領域及び当該分割データと同じフレームデータから分割された分割データが退避されたバッファ領域を除くバッファ領域に記憶させるように構成されている、
   請求項２記載の画像処理装置。
7. 前記表示用メモリに退避された分割データに対して所定の変換処理を行う画像変換処理手段を更に備えており、
   前記表示用メモリは（ｎ＋３）個（ｎは２以上の整数）の前記バッファ領域を備えて、ｎ個のバッファ領域に、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されており、
   前記退避処理手段は、前記表示用メモリからｍ（１≦ｍ≦（ｎ−１）の整数）個の分割データが出力されると、前記描画用メモリから前記表示用メモリに分割データを退避させ、続いて前記表示用バッファから先に出力された分割データと同じフレームデータの残りの分割データが出力されると、前記描画用メモリから残りの分割データを前記表示用メモリのバッファ領域に退避させるように構成されており、
   前記画像変換処理手段は、前記バッファ領域に退避された１又は複数の分割データに対して前記所定の変換処理を行い、その結果を、当該処理に用いた分割データが退避されたバッファ領域及び当該分割データと同じフレームデータから分割された分割データが退避されたバッファ領域を除く他のバッファ領域に記憶させるように構成されている、
   請求項２記載の画像処理装置。
8. 前記出力インタフェースは、異なるリフレッシュレートでｋ（ｋは２以上の整数）個のビデオ出力信号を出力するように構成されており、
   前記表示用メモリは（ｎ＋２ｋ−１）個（ｎは、ｎ＞２ｋ−１を満たす整数）の前記バッファ領域を備えて、ｎ個のバッファ領域に、フレームデータが前記退避処理手段によりｎ個に等分割された分割データが、記憶されており、
   前記退避処理手段は、最も速いリフレッシュレートで（ｎ−１）個の分割データの出力が終了すると、他のリフレッシュレートで出力されている分割データ、及び各リフレッシュレートで次に出力されるべき分割データを記憶しているバッファ領域を除くバッファ領域に、前記描画用メモリから次のフレームのフレームデータの分割データを退避するように構成されている、
   請求項２記載の画像処理装置。
9. 動画像のフレーム毎に所定の画像処理を行い、この画像処理の結果に応じた画像を表すフレームデータを所定の描画用メモリに記憶させる画像処理手段と、
   （ｎ＋１）個（ｎは２以上の整数）の表示バッファ領域が設けられており、前記フレームデータが各バッファ領域に分割して記憶される表示用メモリと、
   前記表示バッファ領域よりも大きな記憶容量の出力バッファ領域が、（ｎ−１）個設けられる出力用メモリと、
   前記描画用メモリに記憶されている前記フレームデータをｎ個に等分割した分割データを、ｎ個の前記表示バッファ領域の各々に、１個ずつ退避させる退避処理手段と、
   前記表示用メモリに退避された分割データに対して所定の変換処理を行い、当該分割データよりもデータサイズの大きい処理結果を前記出力バッファに記憶させる画像変換処理手段と、
   前記出力用メモリに記憶された前記処理結果を、ビデオ出力信号に変換して外部に出力する出力インタフェースとを備えており、
   前記退避処理手段は、前記表示用メモリから、（ｎ−１）個の分割データが前記画像変換処理手段により前記変換処理され出力されると、前記描画用メモリからｎ個の分割データを前記表示用メモリに退避させるように構成されている、
   画像処理装置。
10. 動画像のフレーム毎に所定の画像処理を行い、この画像処理の結果に応じた画像を表すフレームデータを所定の描画用メモリに記憶させる画像処理手段と、
    複数のバッファ領域が設けられており、前記フレームデータが各バッファ領域に分割して記憶される表示用メモリと、
    前記描画用メモリに記憶された前記フレームデータを前記表示用メモリに退避させる退避処理手段と、
    前記表示用メモリに退避された前記フレームデータを、ビデオ出力信号に変換して外部に出力する出力インタフェースとを備えており、
    前記退避処理手段は、前記描画用メモリに記憶された前記フレームデータを前記表示用メモリのバッファ領域の数以下の数で且つバッファ領域に記憶可能なデータサイズをもつ複数の分割データに等分割して、この分割データの数と同数の前記バッファ領域に記憶させるように構成されており、
    前記描画用メモリと前記表示用メモリとが、ネットワークを介して接続された異なる装置に設けてある、
    画像処理システム。
11. 動画像のフレーム毎に行われる所定の画像処理の結果に応じた画像を表すフレームデータが記憶された描画用メモリから、複数のバッファ領域を有する表示用メモリに、前記フレームデータを前記表示用メモリのバッファ領域の数以下の数で且つバッファ領域に記憶可能なデータサイズに等分割して得られる分割データを、この分割データの数と同数の前記バッファ領域に退避させる退避処理手段を有しており、前記表示用メモリに退避されたフレームデータをビデオ出力信号に変換して所定のディスプレイ装置に表示させる装置において実行される方法であって、
    前記退避処理手段が、
    前記表示用メモリに記憶される前記分割データの出力状況を確認する段階と、
    確認した前記出力状況に応じて、前記描画用メモリから前記表示用メモリに分割データ単位で退避させるとともに、前記表示用メモリに退避されたフレームデータを前記分割データ単位で出力させる段階と、を含む、
    画像処理方法。
12. 動画像のフレーム毎に行われる所定の画像処理の結果に応じた画像を表すフレームデータが記憶された描画用メモリから、複数のバッファ領域を有する表示用メモリに、前記フレームデータを前記表示用メモリのバッファ領域の数以下の数で且つバッファ領域に記憶可能なデータサイズに等分割して得られる分割データを、この分割データの数と同数の前記バッファ領域に退避させておき、前記表示用メモリに退避されたフレームデータをビデオ出力信号に変換して所定のディスプレイ装置に表示させるコンピュータに、
    前記表示用メモリに記憶される分割データの出力状況を確認する処理、
    確認した前記出力状況に応じて、前記描画用メモリから前記表示用メモリに分割データ単位で退避させるとともに、前記表示用メモリに退避されたフレームデータを前記分割データ単位で出力させる処理、
    を実行させるためコンピュータプログラム。
13. 動画像のフレーム毎に所定の画像処理を行い、この画像処理の結果に応じた画像を所定のディスプレイ装置に表示させる装置に搭載可能であり、
    前記画像処理の結果に応じた画像を表すフレームデータを記憶する描画用メモリ、
    複数のバッファ領域を有し、前記フレームデータが等分割されて記憶される表示用メモリ、
    前記描画用メモリから前記表示用メモリに、前記フレームデータを前記表示用メモリのバッファ領域の数以下の数で且つバッファ領域に記憶可能なデータサイズに等分割して得られる分割データを、この分割データの数と同数の前記バッファ領域に分割データ毎に退避させる退避処理手段、
    前記表示用メモリに退避された前記フレームデータを、前記分割データ毎にビデオ出力信号に変換して前記ディスプレイ装置に出力する出力インタフェース、を備え、
    前記退避処理手段は、前記表示用メモリに記憶される分割データの出力状況を確認できるようになっており、確認した前記出力状況に応じて、前記描画用メモリから前記表示用メモリへ分割データを退避させるように構成されている、
    半導体デバイス。

Images