JP3914066B2

JP3914066B2 - Image processing apparatus having image data code data control function

Info

Publication number: JP3914066B2
Application number: JP2002056280A
Authority: JP
Inventors: 敬一岩崎
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-03-01
Filing date: 2002-03-01
Publication date: 2007-05-16
Anticipated expiration: 2022-03-01
Also published as: JP2003259130A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に、圧縮伸張技術に限定されない、符号復号化部とメモリ制御部間の画像データ、符号データの入出力インターフェース制御機能を有する画像処理装置に関するものである。
【０００２】
【従来の技術】
従来のＪＰＥＧでは８画素ｘ８画素のブロック単位で画像データの圧縮伸張を行っていたが、最近規格化されたＪＰＥＧ２０００では、処理単位であるブロック（タイルともいう）のサイズは、水平方向及び垂直方向のサイズが８の整数倍である数種類のサイズが規定されている。また、処理する画面のサイズは、必ずしも基本のブロックサイズの整数倍でなくとも、８の整数倍であれば任意のサイズでよい。ＪＰＥＧ２０００による圧縮伸張技術によれば、従来のＪＰＥＧの２倍程度の圧縮性能を実現し、画質や解像度の階層化というデータ取り扱いの自由度も向上しており、今後の符号復号化方式のひとつとして期待されている。
【０００３】
また、ＮＴＳＣ等のテレビ信号のようにラスタースキャンされる画像データを入力し、その画像を圧縮したり、圧縮された画像データを伸張し、ラスタースキャンの画像として出力する画像処理装置では、画像データを圧縮するための画像入力および伸張された画像出力はラスタースキャンが用いられる。しかし、上記したＪＰＥＧ２０００による圧縮伸張技術のように、ブロック単位で行われることもある。例えば、圧縮伸張技術がＪＰＥＧの場合は８画素×８画素のブロック単位であり、ＪＰＥＧ２０００の場合は、例えば１２８画素×１２８画素のブロック（タイル）単位で画像圧縮や伸張が行われる。
【０００４】
【発明が解決しようとする課題】
画像処理装置を、画像データの圧縮伸張を行うＬＳＩ（以下、符号復号ＬＳＩという）と、ビデオ入出力からフレームバッファのリードライトおよび符号データの入出力を行うＬＳＩ（以下、メモリ制御ＬＳＩという）とで構成する場合に、メモリ制御ＬＳＩと符号復号ＬＳＩとの間で、特に、画像データ、符号データをインターフェースする制御信号および制御方法を、圧縮伸張技術にかかわらず共通化できれば、ＪＰＥＧ、ＪＰＥＧ２０００、或いはその他の技術を使用しても、大きな設計変更をせずにメモリ制御ＬＳＩの開発を進めることが可能であり、開発期間を短縮することができる。
【０００５】
また、監視カメラのようなアプリケーションに使用する場合、ラスタースキャンされる画像の入力出力が複数個必要とされる。例えば、ラスタースキャンされる画像のサイズが７２０画素×４８０画素のサイズであり、ＹＣｂＣｒ４：２：２、コンポーネント（色成分）当たり１画素８ビットの画像データの場合、１フレーム当たり６７５Ｋバイトのデータサイズとなる。
【０００６】
この画像の入出力が４チャネル必要とされる場合、メモリ制御ＬＳＩを４個使用するのではなく、メモリ制御ＬＳＩを画像入出力４チャネルとし、ＳＤＲＡＭ等の６４Mビットの大容量メモリを使用すれば、６７５Ｋバイト×８ビット×８フレーム＝４３．２Ｍビットであるので、各チャネル当たり２面のフレームバッファを扱うことができ、１個のメモリ制御ＬＳＩで４チャネルの画像入出力を制御することによりフレームバッファ用メモリの個数を抑えることができ、使用ＬＳＩの個数を抑えることが可能となる。
【０００７】
この場合、４個の符号復号ＬＳＩを１個のメモリ制御ＬＳＩで駆動することになり、メモリ制御ＬＳＩと符号復号ＬＳＩ間の画像データおよび符号データのバスおよび制御信号は４チャネル分必要となるが、符号データバスは圧縮率が１／１０であるとすると、画像バスに対し１／１０のトラフィックで済んでしまう。したがって、この構成では符号データバスを共通化すれば、メモリ制御ＬＳＩの信号端子数を少なくすることができ、メモリ制御ＬＳＩのコスト低減に有用である。
【０００８】
さらに、ＮＴＳＣ等のテレビ信号をリアルタイム（３０フレーム／秒）の画像の圧縮伸張が可能な符号復号ＬＳＩの場合、ＨＤサイズ（横１９２０画素、縦１０８０画素）の画像をリアルタイムで圧縮伸張するためには、８個の符号復号ＬＳＩをフレーム単位で振り分けて各々圧縮伸張を行わせる必要がある。この場合においても、メモリ制御ＬＳＩが複数の符号復号ＬＳＩを駆動することができ、データの転送速度を損なわずに、また、入出力に必要となる信号線の総数を少なくすることができる符号データバスのインターフェースを持っていれば装置のコスト削減に効果的である。
【０００９】
そこで、本発明は、上記問題点に鑑みてなされたものであり、符号復号ＬＳＩと画像メモリ間の画像データのインターフェースや、符号復号ＬＳＩとメモリ制御ＬＳＩ間の符号データのインターフェースを制御する制御信号及び制御方法を、圧縮伸張技術にかかわらず、共通化できる画像処理装置を提供することを目的とする。
【００１０】
本発明の他の目的は、画像データと符号データのインターフェースを制御する制御信号及び制御方法を共通化することでメモリ制御ＬＳＩの設計開発期間を短縮できる画像処理装置を提供することである。
【００１１】
本発明のさらに他の目的は、大容量の画像メモリに対し複数の符号復号ＬＳＩを設ける場合にも、メモリ制御ＬＳＩが各符号復号ＬＳＩの性能を損なわずに駆動できる画像処理装置を提供することである。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、請求項１に記載された発明は、少なくとも一画面分の画像データを保存する画像メモリと、該画像メモリから画像データの読み出しを行うメモリ制御部と、画像データを符号化する符号化部を備える画像処理装置であって、前記メモリ制御部と前記符号化部が、一画面分の画像データを転送する転送期間を示す第１の画像データ制御信号と、前記メモリ制御部が有効な画像データを出力していることを示す第２の画像データ制御信号と、前記符号化部が符号データを取得可能であることを示す第３の画像データ制御信号により接続されると共に、前記符号化部が、前記第１の画像データ制御信号に応じて画像データの圧縮動作を開始することを特徴とする。
【００１３】
請求項２に記載された発明は、請求項１の画像処理装置が、符号データをＣＰＵバス上のメモリに転送するＤＭＡ制御部を備え、前記ＤＭＡ制御部と前記符号化部が、符号データの一画面分の転送期間を示す第１の符号データ制御信号と、前記ＤＭＡ制御部が符号データを取得可能であることを示す第２の符号データ制御信号と、前記符号化部が有効な符号データを出力していることを示す第３の符号データ制御信号により接続されることを特徴とする。
【００１４】
請求項３に記載された発明は、請求項２に記載の画像処理装置において、前記ＤＭＡ制御部が、前記第１の符号データ制御信号に応じて符号データを前記メモリへ転送する動作を開始することを特徴とする。
【００１５】
請求項４に記載された発明は、請求項２に記載の画像処理装置に前記符号化部が複数個並列に接続されており、前記画像メモリが複数画面の画像データを保存可能であり、各符号化部と前記メモリ制御部がそれぞれ前記第１、第２及び第３の画像データ制御信号により接続され、かつ、各符号化部と前記ＤＭＡ制御部がそれぞれ前記第１、第２及び第３の符号データ制御信号により接続されることを特徴とする。
【００１６】
請求項５に記載された発明は、請求項２に記載の画像処理装置において、前記符号化部が、前記第２の符号データ制御信号に応じて、符号データを符号データバスへ出力する動作を開始又は停止することを特徴とする。
【００１７】
また、上記の課題を解決するため、請求項６に記載された発明は、少なくとも一画面分の画像データを保存する画像メモリと、前記画像メモリへ画像データの書込みを行うメモリ制御部と、符号データを伸張し画像データに復号化する復号化部を備える画像処理装置であって、前記メモリ制御部と前記復号化部が、伸張された一画面分の画像データを転送する転送期間を示す第１の画像データ制御信号と、前記メモリ制御部が画像データを取得可能であることを示す第２の画像データ制御信号と、前記復号化部が有効な画像データを出力していること示す第３の画像データ制御信号により接続されると共に、前記メモリ制御部が、前記第１の画像データ制御信号に応じて画像データを前記画像メモリへ書込む動作を開始することを特徴とする。
【００１８】
請求項７に記載された発明は、請求項６に記載の画像処理装置が、符号データをＣＰＵバス上のメモリから受信するＤＭＡ制御部を備え、前記ＤＭＡ制御部と前記復号化部が、一画面分の符号データを転送する転送期間を示す第１の符号データ制御信号と、前記ＤＭＡ制御部が有効な符号データを出力していることを示す第２の符号データ制御信号と、前記復号化部が符号データを取得可能であることを示す第３の符号データ制御信号により接続されることを特徴とする。
【００１９】
請求項８に記載された発明は、請求項７に記載の画像処理装置において、前記復号化部が、前記第１の符号データ制御信号に応じて、符号データを伸張し画像データに復号化する伸張動作を開始することを特徴とする。
【００２０】
請求項９に記載された発明は、請求項７に記載の画像処理装置に前記復号化部が複数個並列に接続されており、前記画像メモリが複数画面の画像データを保存可能であり、各復号化部と前記メモリ制御部がそれぞれ前記第１、第２及び第３の画像データ制御信号により接続され、かつ、各復号化部と前記ＤＭＡ制御部がそれぞれ前記第１、第２及び第３の符号データ制御信号により接続されることを特徴とする。
【００２１】
請求項１０に記載された発明は、請求項６に記載の画像処理装置において、前記復号化部が、前記第２の画像データ制御信号に応じて、画像データを画像データバスへ出力する動作を開始又は停止することを特徴とする。
【００２２】
【発明の効果】
本発明によれば、メモリ制御ＬＳＩの画像インターフェース部と符号インターフェース部は、同一のモジュールであり、モード信号の切り替えによりその制御が変わるだけである。また、符号復号ＬＳＩの画像インターフェース部と符号インターフェース部も、メモリ制御ＬＳＩのものと同一のモジュールを利用できる。したがって、画像処理装置を構成するにあたって、これらのインターフェース部の制御は、圧縮伸張技術がＪＰＥＧ、ＪＰＥＧ２０００、またはそれ以外の技術であっても良いため、設計開発期間の短縮を図ることができる。
【００２３】
また、本発明によれば、画像データバスは各符号復号ＬＳＩにそれぞれ独立して設けてもよいし、共通の画像データバスにして、符号データバスと同じ制御方法で対応できるよう構成してもよい。例えば、ラスタースキャンでフレームバッファに対する一画面分の画像データの書込みまたは読出しに必要な期間よりも、符号復号ＬＳＩが一画面分の画像を圧縮または伸張する期間が十分に短かければ、符号バスの制御と同様な制御方法を選択でき、画像データバスを共通化することができる。これにより、メモリ制御ＬＳＩに必要な信号線の数を削減できるため、ＬＳＩのコスト削減、メモリ制御ＬＳＩや符号復号ＬＳＩを載せる基板のコスト削減、基板サイズの縮小化のために有用である。また、これらのモジュール化された画像および符号データのインターフェース部は、符号復号ＬＳＩとメモリ制御ＬＳＩを一つのＬＳＩ上にレイアウトする場合にも、利用することができるので、画像処理装置全体の開発期間の短縮に極めて有用である。
【００２４】
【発明の実施の形態】
まず、本発明の実施の形態を説明する前に、本発明の画像処理装置の構成及び特徴をより明確にするため、一般的な画像圧縮伸張機能を有する画像処理装置について図１乃至図５を参照しながら説明する。
【００２５】
図１は、一般的な圧縮伸張機能を有する画像処理装置の動作を示す。図５（Ａ）は、フレームバッファに対する画像データの入出力をラスタースキャンで行う場合、図５（Ｂ）はブロック単位でスキャンする場合を示す。
【００２６】
図１において、点線はラスタースキャンされる画像データを圧縮する際のデータのパスを示す。点線の矢印１−１は、ビデオ制御回路１０から送られたラスタースキャンの画像データをフレームバッファ制御回路１４がフレームバッファ１２へ書込むときのデータパスであり、フレームバッファ１２上には図５（Ａ）に示した順で画像データが書込まれる。点線の矢印１−２と１−３は、フレームバッファ１２上の画像データをＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）制御部１５がブロック単位で読み出し、符号復号回路１６へ転送するＤＭＡのデータパスを示す。図５（Ｂ）に示した順で画像データはブロック単位で読み出される。点線の矢印１−４と１−５は、符号復号回路１６で圧縮された符号データを記憶装置１３（画像メモリ）へ転送するＤＭＡのデータパスを示す。図１の構成ではＣＰＵ１１のデータバスに負荷がかかる。
【００２７】
ＣＰＵ１１のデータバスにかかる負荷を軽減する目的で、通常、図２の構成が使われる。図２の構成では、フレームバッファ制御回路１４ＡにＤＭＡ制御部の機能を持たせ、フレームバッファ制御装置１４Ａと符号復号回路１６間を専用バスで接続することにより、ＣＰＵ１１のデータバスの負荷を減らすことができる。
【００２８】
すなわち、図２において、点線の矢印２−１は、ビデオ制御回路１０から送られたラスタースキャンの画像データをフレームバッファ制御回路１４Ａがフレームバッファ１２上に書込むときのデータパスを示す。点線の矢印２−２は、フレームバッファ１２上の画像データをフレームバッファ制御回路１４Ａがブロック単位で読み出し、符号復号回路１６へ転送するＤＭＡのデータパスを示す。点線の矢印２−３は、符号復号回路１６で圧縮された符号データをフレームバッファ制御回路１４Ａが記憶装置１３（画像メモリ）へ転送するＤＭＡのデータパスを示す。実線の矢印２−４で示したように、ＣＰＵ１１のデータバスではフレームバッファ制御回路１４Ａ（又は符号復号回路１６）と記憶装置１３間の符号データの授受だけが行われるため、図２の構成では負荷が軽減される。
【００２９】
図２に示した装置構成において、ビデオ制御回路１０とフレームバッファ制御回路１４Ａを１個のＬＳＩ（メモリ制御ＬＳＩという）で、符号復号回路１６を１個のＬＳＩ（符号復号ＬＳＩという）で構成した場合の従来の画像処理装置について説明する。
【００３０】
図３は、上記した画像処理装置の圧縮動作時における入出力信号を示し、図４は、同一の画像処理装置の伸張動作時における入出力信号を示す。
【００３１】
図３、図４に示したように、この従来の画像処理装置は、メモリ制御ＬＳＩ１２０と、符号復号ＬＳＩ１３０と、画像メモリ４０とから構成される。メモリ制御ＬＳＩ１２０は、ビデオ制御回路２１と、メモリ制御回路２２と、ラスターリード／ライト回路２３と、ブロックリード／ライト回路２４と、バッファ回路（ＦＩＦＯ−Ａ１）２５と、ＤＭＡ制御回路２６と、ＣＰＵインターフェース回路２７と、バッファ回路（ＦＩＦＯ−Ａ２）２８を備える。メモリ制御ＬＳＩ１２０の構成は、図３及び図４共に共通である。図３に示した構成で、符号復号ＬＳＩ１３０は、バッファ回路（ＦＩＦＯ−Ｂ１）３１と、バッファ回路（ＦＩＦＯ−Ｂ２）３２と、圧縮回路３３を備える。また、図４に示した構成で、符号復号ＬＳＩ１３０は、バッファ回路（ＦＩＦＯ−Ｂ１）３１と、バッファ回路（ＦＩＦＯ−Ｂ２）３２と、伸張回路３４を備える。
【００３２】
図３に示した圧縮動作時には、メモリ制御ＬＳＩ側のバッファ回路２５に格納された画像データが、画像データバスＩＭＤを介して符号復号ＬＳＩ側のバッファ回路３１に送出される。圧縮回路３３で生成された符号データは、バッファ回路３２にいったん格納される。この符号データが、符号データバスＣＯＤを介してメモリ制御ＬＳＩ側のバッファ回路２８に送出される。
逆に、図４に示した伸張動作時には、メモリ制御ＬＳＩ側のバッファ回路２８に格納されたコードデータが、コードデータバスＣＯＤを介して符号復号ＬＳＩ側のバッファ回路３２に送出される。伸張回路３４で生成された画像データは、バッファ回路３１にいったん格納される。このバッファ回路３１に格納された画像データが、画像データバスＩＭＤを介してメモリ制御ＬＳＩ側のバッファ回路２５に送出される。
【００３３】
この従来の画像処理装置では、メモリ制御ＬＳＩ１２０と符号復号ＬＳＩ１３０が、制御信号ＳＴＡＲＴ、制御信号ＥＮＤによって接続されている。メモリ制御ＬＳＩ側のバッファ回路２５と符号復号ＬＳＩ側のバッファ回路３１が、画像データ制御信号ＩＲＤＹ＿、画像データ制御信号ＩＷＥ＿（又は画像データ制御信号ＩＲＥ＿）によって接続されている。また、メモリ制御ＬＳＩ側のバッファ回路２８と符号復号ＬＳＩ側のバッファ回路３２が、符号データ制御信号ＣＲＤＹ＿、符号データ制御信号ＣＲＥ＿（又は符号データ制御信号ＣＷＥ＿）によって接続されている。
【００３４】
図３のＩＷＥ＿と図４のＩＲＥ＿は共通の信号で良い。また、図３のＣＲＥ＿と図４のＣＷＥ＿も共通の信号で良い。この従来の画像処理装置では、例えば、符号復号ＬＳＩ１３０がＪＰＥＧの場合、画像データ制御信号ＩＲＤＹ＿がアサートされれば、メモリ制御ＬＳＩ１２０は、これに応じて、１ブロック分の6４画素分の画像データをバッファ回路３１へ書込む動作を開始するべく、画像データ制御信号ＩＷＥ＿をアサートする。すなわち、この従来の制御方法では、画像データ制御信号（又は符号データ制御信号）を個別に制御する仕様を利用していた。
【００３５】
制御信号を制御する方法については、圧縮動作時と伸張動作時は基本的に同じである。圧縮または伸張をスタートする場合、ＳＴＡＲＴ信号をアサートする。圧縮か伸張かの動作はあらかじめ、メモリ制御ＬＳＩ及び符号復号ＬＳＩの両方に設定してあるものとする。ここでは、図３を参照しながら、圧縮動作時の制御方法について詳述し、伸張動作時の制御方法については省略する。
符号復号ＬＳＩ１３０は、画像データを取り込む用意ができると画像データ制御信号ＩＲＤＹ＿をアサートする。この画像データ制御信号ＩＲＤＹ＿のアサートを確認すると、メモリ制御ＬＳＩ１２０は、あらかじめ決められた回数だけ符号データ制御信号ＩＷＥ＿をアサートし、画像データバスＩＭＤに画像データを送出する。一画面分の画像データを全て符号復号ＬＳＩ側に転送するまで、画像データ制御信号ＩＲＤＹ＿及びＩＷＥ＿の制御を繰り返す。
【００３６】
符号復号ＬＳＩ１３０は、圧縮動作を実施して符号データを生成すると、符号データ制御信号ＣＲＤＹ＿をアサートする。このＣＲＤＹ＿のアサートを確認すると、メモリ制御ＬＳＩ１２０は、あらかじめ決められた回数だけ符号データ制御信号ＣＲＥ＿をアサートし、符号復号ＬＳＩ側から符号データバスＣＯＤに送出された符号データを取り込む。この符号データ制御信号ＣＲＤＹ＿及びＣＲＥ＿の制御は、符号復号ＬＳＩ１３０が全ての符号データを出力し終わったことを示す制御信号ＥＮＤがアサートされるまで繰り返される。
【００３７】
上述のように、従来の画像処理装置の場合、圧縮伸張技術が異なる符号復号ＬＳＩに対し、メモリ制御ＬＳＩをそれぞれ別々に設計、開発を行う必要があった。例えば、ＪＰＥＧ、ＪＰＥＧ２０００、或いはその他の技術を使用した符号復号ＬＳＩに適用するために、それぞれ別個のメモリ制御ＬＳＩを開発した場合、開発に要するコストや開発期間が膨大となる。この問題を解消するために、符号復号ＬＳＩとメモリ制御ＬＳＩ間の画像データ、符号データのインターフェースを制御する制御信号や制御方法を、圧縮伸張技術にかかわらず、共通化できるようにしたのが、本発明に係る画像処理装置である。
【００３８】
次に、本発明の実施の形態について、図６乃至図１１を参照しながら説明する。
【００３９】
図６に、本発明の一実施例に係る画像処理装置の画像圧縮時におけるメモリ制御部と符号復号部間の画像データ制御信号、符号データ制御信号を示す。図７に、本発明の一実施例に係る画像処理装置の画像伸張時におけるメモリ制御部と符号復号部間の画像データ制御信号、符号データ制御信号を示す。
【００４０】
図６及び図７に示した実施例は、メモリ制御ＬＳＩを１個と、符号復号ＬＳＩを２個とから構成した画像処理装置の例である。図６の矢印は圧縮時のデータ方向を示す。図７の矢印は伸張時のデータ方向を示す。符号復号ＬＳＩとメモリ制御ＬＳＩをインターフェースする信号のうち、画像データ制御信号ＩＭ＿ＦＲＭ１＿、ＩＭ＿ＦＲＭ２＿、画像データ信号ＩＭＤ１、ＩＭＤ２、符号データ信号ＣＯＤは、双方向の信号である。
【００４１】
この実施例の画像処理装置が、図３及び図４の従来例と異なるのは、メモリ制御ＬＳＩ２０が画像インターフェース部５５と、符号インターフェース部５６と、スイッチＳＷ１及びＳＷ２を備える点、及び符号復号ＬＳＩ３０が、画像インターフェース部３５と、符号インターフェース部３６を備える点である。他の構成は、図３及び図４の対応する回路と同一である。また、メモリ制御ＬＳＩ側の画像インターフェース部５５と符号復号ＬＳＩ側の画像インターフェース部３５とは、画像データ制御信号ＩＭ＿ＦＲＭ＊＿、ＩＭ＿ＭＲＤＹ＊＿、ＩＭ＿ＣＲＤＹ＊＿により接続されている。さらに、メモリ制御ＬＳＩ側の符号インターフェース部５６と符号復号ＬＳＩ側の符号インターフェース部３６とは、符号データ制御信号ＣＯ＿ＦＲＭ＊＿、ＣＯ＿ＭＲＤＹ＊＿、ＣＯ＿ＣＲＤＹ＊＿により接続されている。
【００４２】
ここで、各制御信号に付されている＊は、複数の符号復号ＬＳＩのうちどのＬＳＩであるかを識別するための番号である。図６及び図７の実施例の場合、＊＝１、２である。
【００４３】
図８は、画像圧縮時における、図６のメモリ制御部と符号復号部の画像データの制御方法を説明するためのタイミング図を示す。
Ｔ１のタイミングでは、図５（Ａ）のようにラスターリード／ライト回路２３によりフレームバッファ（図６の画像メモリ４０）に描画された一画面分の画像データを、ブロックリード／ライト回路２４が図５（Ｂ）のようにブロック単位で読み出してバッファ回路２５に書込み、バッファ回路２５に画像データが格納されていると仮定する。Ｔ１のタイミングで、バッファ回路２５に画像データが格納されていると、メモリ制御ＬＳＩは、画像データ制御信号ＩＭ＿ＦＲＭ＊＿をアサートする。
【００４４】
ここで、画像データ制御信号ＩＭ＿ＦＲＭ＊＿は、データを出力する側がアサ―トする。圧縮動作の場合は、メモリ制御ＬＳＩがこの制御信号をアサートする。この画像データ制御信号ＩＭ＿ＦＲＭ＊＿のアサートは、画像データ出力の用意ができたことを符号復号ＬＳＩに通知するとともに、符号復号ＬＳＩによる圧縮動作の開始を促す。
【００４５】
Ｔ２のタイミングでは、符号復号ＬＳＩは、１サイクルの期間、画像データ制御信号ＩＭ＿ＣＲＤＹ＊＿をアサートすることにより、メモリ制御ＬＳＩに対し画像データを画像データバスＩＭＤ上に送出可能であることを許可する。また、画像データ制御信号ＩＭ＿ＦＲＭ＊＿がメモリ制御ＬＳＩによってアサ―トされたことは、圧縮動作の開始を意味するから、符号復号ＬＳＩは、仮にその内部設定が伸張動作モードとなっていれば、メモリ制御ＬＳＩの動作意図と異なることが判定できるため、その場合は、Ｔ２で画像データ制御信号ＩＭ＿ＣＲＤＹ＊＿をアサートすることがない。これにより、両者の動作設定が異なっている場合、お互いが画像データバスＩＭＤに画像データを送出してデータが衝突することを回避できる。
【００４６】
また、もし、符号復号ＬＳＩが、Ｔ２の時点で、それ以前にメモリ制御ＬＳＩから転送された一画面分の画像データの圧縮動作を実行中であれば、画像データ制御信号ＩＭ＿ＣＲＤＹ＊＿をアサートしない。実行中の圧縮動作が終了し、次の一画面分の圧縮動作を開始できる状態になればアサートすれば良い。このことは、メモリ制御ＬＳＩから見れば、符号復号ＬＳＩが圧縮動作を実行中か否かにかかわらず、また自身のＤＭＡ制御が実行している符号データのＣＰＵバスへの転送状態にかかわらず、画像データの転送を開始することができる。
【００４７】
Ｔ３のタイミングでは、符号復号ＬＳＩから画像データバスＩＭＤへの画像データの送出を許可されたため、メモリ制御ＬＳＩは、画像データの送出を開始する。このサイクルは、メモリ制御ＬＳＩが完全に画像データを送出するための準備のためのサイクルである。メモリ制御ＬＳＩの画像データが確定するまでの時間がサイクルに対して、十分早い場合はこのサイクルは必要ない。
【００４８】
Ｔ４のタイミングでは、メモリ制御ＬＳＩは、画像データをドライブすると共に、画像データが送出されていることを示す画像データ制御信号ＩＭ＿ＭＲＤＹ＊＿をアサートする。符号復号ＬＳＩは、画像データを受け取ることが出きる場合は画像データ制御信号ＩＭ＿ＣＲＤＹ＊＿をアサートする。画像データ制御信号ＩＭ＿ＭＲＤＹ＊＿及びＩＭ＿ＣＲＤＹ＊＿が共にアサートされている場合、メモリ制御ＬＳＩは、画像データを符号復号ＬＳＩが取得可能であると判断し、このサイクル以降に次の画像データを送出することを許可されたことになる。
【００４９】
Ｔ５のタイミングでは、メモリ制御ＬＳＩは、新たな画像データを転送する準備ができていない場合、画像データ制御信号ＩＭ＿ＭＲＤＹ＊＿をネゲートする。この場合、符号復号ＬＳＩは画像データを受け取ることが可能であるにもかかわらず、メモリ制御ＬＳＩが画像データを準備できていないと判断する。
【００５０】
Ｔ６のタイミングは、Ｔ５と逆で、メモリ制御ＬＳＩは画像データを転送しているが、符号復号ＬＳＩは受け取る準備が出来てないことを示す。
【００５１】
Ｔ７のタイミングでは、メモリ制御ＬＳＩは、最後の画像データの転送が終了すれば、このサイクル以降で画像データ制御信号ＩＭ＿ＭＲＤＹ＊＿をネゲートする。同様に、画像データ制御信号ＩＭ＿ＦＲＭ＊＿をネゲートする。
【００５２】
Ｔ８のタイミングでは、画像データ制御信号ＩＭ＿ＦＲＭ＊＿がネゲートされたので、符号復号ＬＳＩは一画面分の画像データが転送されたと判断する。
【００５３】
次に、符号データの制御方向について、図９、図１０を参照しながら説明する。
【００５４】
図９は、画像圧縮時における、図６のメモリ制御部と符号復号部の符号データの制御方法を説明するためのタイミング図である。図１０は、画像圧縮時における、図６のメモリ制御部と符号復号部の符号データの制御方法を説明するためのタイミング図である。
【００５５】
図９のタイミング図は、図８と基本的には同じ動作であり、画像データバスＩＭＤが符号データバスＣＯＤに、各画像データ制御信号が対応する符号データ制御信号（ＣＯ＿ＦＲＭ１＿、ＣＯ＿ＭＲＤＹ１＿、ＣＯ＿ＣＲＤＹ１＿）に、各制御信号を制御する制御部がメモリ制御ＬＳＩから符号復号ＬＳＩに変更されるだけである。
【００５６】
また、図８のＴ１、Ｔ２、Ｔ７、Ｔ８と対応する図９のＴ１、Ｔ２、Ｔ７、Ｔ８の各タイミングにおける制御の方法は、上記したものと同一である。
【００５７】
Ｔ４のタイミングにおいて、符号データ制御信号ＣＯ＿ＭＲＤＹ１＿のネゲートは、図８と異なり、メモリ制御ＬＳＩが符号データを受け取ることが出来ないことを符号復号ＬＳＩに通知する。同時に、符号復号ＬＳＩに対し符号データバスＣＯＤにデータを送出することを禁止することも通知する。この理由については、図１０で後述する。
Ｔ３のタイミングにおいて、前のサイクルが符号データ制御信号ＣＯ＿ＭＲＤＹ１＿のネゲートであった場合、符号復号ＬＳＩは符号データバスＣＯＤに符号データを送出することを禁止されていたため、このサイクルで符号データの送出を開始する。図８のＴ３と同様に、データ確定するまでの時間がサイクルに対し十分早い場合はこのサイクルは必要ない。
【００５８】
図１０のタイミング図は、図６の実施例のように２個の符号復号ＬＳＩに接続される符号データバスＣＯＤが共通である場合の制御方法である。すなわち、図１０では、同時に２個の符号復号ＬＳＩが符号データを符号データバスＣＯＤに転送している様子を示している。上側の符号復号ＬＳＩ−１の符号データ制御信号ＣＯ＿ＭＲＤＹ１＿のネゲート期間に、下側の符号復号ＬＳＩ−２のＣＯ＿ＭＲＤＹ２＿をアサートすることにより、２個の符号復号ＬＳＩが符号データを同時に符号データバスＣＯＤに送出することを防止している。
【００５９】
図１１は、画像伸張時における、図７のメモリ制御部と符号復号部の符号データの制御方法を説明するためのタイミング図である。
【００６０】
符号動作の開始や、一画面分の符号データを符号復号ＬＳＩ３０へ送信し終了したことを符号復号ＬＳＩ３０へ通知する制御は、符号データ制御信号ＣＯ＿ＦＲＭ１＿、符号データ制御信号ＣＯ＿ＦＲＭ２＿を用いて行い、図８乃至図１０で説明してきたものと同様である。
【００６１】
圧縮動作時の符号データの制御は、図６に示すように符号データを送出する符号復号ＬＳＩ３０が２個であるため、符号データバスＣＯＤ上でデータが衝突するのを防止するため、どのＬＳＩもデータを送出しない期間、すなわち図１０のＴ３の期間が必要であった。
【００６２】
しかし伸張動作時は、符号データを送出するのはメモリ制御ＬＳＩ２０のみである。したがって図１０のＴ３の期間は必要ない。また、メモリ制御ＬＳＩは、データバス上にデータを常にドライブするため、図１０のＴ４の期間のように、データ送出をしていない状態からデータ送出を開始するために時間がかかるための準備期間を設けなくとも良い。したがって、符号動作時は、図１１のような動作で良い。
【００６３】
図１１において、Ｔ１は、符号復号ＬＳＩ−１（上側の符号復号ＬＳＩ）へ符号データ（Ｄ１０〜Ｄ１６）を転送している期間を示し、Ｔ２は、符号復号ＬＳＩ−２（下側の符号復号ＬＳＩ）へ符号データ（Ｄ２０〜Ｄ２７）を転送している期間を示す。
【００６４】
以上に説明してきたように、上記の実施例における画像インターフェース部と符号インターフェース部の制御方法は、データバスを共有するか否かの違いでしかない。したがって、図６及び図７に示したように、データバスの共有か、符号復号ＬＳＩ毎に個別にするかをスイッチＳＷ１、ＳＷ２で切りかえるようにすれば、画像インターフェース部と符号インターフェース部を一つのモジュールとして構築することができる。図６及び図７の画像インターフェース部５５、５７と符号インターフェース部５６、５８に入力されるモード信号（ｍｏｄｅ）がその選択信号である。図６及び図７の例では、画像インターフェース部５５、５７はデータバスが非共有、符号インターフェース部５６、５８はデータバスが共有であることを示している。また、符号復号ＬＳＩにおける画像インターフェース部と符号インターフェース部もメモリ制御ＬＳＩのものと同じモジュールで実現できる。
【００６５】
図６の画像インターフェース部５５に入力されるモード信号はＬｏｗに設定されている。すなわち、スイッチＳＷ１をオフにする。この設定は、画像インターフェース部５５に図８の制御を行わせるためである。また、図６の符号インターフェース部５６に入力されるモード信号はＨｉｇｈに設定されている。すなわち、スイッチＳＷ２をオンにする。この設定は、符号インターフェース部５６に、図９又は図１０の制御を行わせるためである。
【００６６】
図７の画像インターフェース部５７および符号インターフェース部５８は、共にＬｏｗに設定されている。すなわち、スイッチＳＷ１及びＳＷ２を共にオフとする。この設定は、図１１又は図８の制御を行わせるためである。
【００６７】
図６及び図７のブロックリード／ライト回路２４は、図５（Ｂ）に示したブロックのサイズ（ｍ、ｎ）の設定を変更可能である。ＪＰＥＧの場合は、ｍ＝８、ｎ＝８が設定される。ＪＰＥＧ２０００の場合は、８画素の単位で自由に設定可能な構成である。
【００７１】
【図面の簡単な説明】
【図１】一般的な画像圧縮伸張機能を有する画像処理装置の動作を説明するための図である。
【図２】図１の構成でフレームバッファ制御回路にＤＭＡ機能をもたせた場合の画像処理装置の動作を説明するための図である。
【図３】メモリ制御部と符号復号部から構成される従来の画像処理装置の画像圧縮動作時の入出力信号を示すブロック図である。
【図４】メモリ制御部と符号復号部から構成される従来の画像処理装置の画像伸張動作時の入出力信号を示すブロック図である。
【図５】フレームバッファに対する画像データの入出力をラスタースキャンで行う場合とブロック単位でスキャンする場合を示す説明図である。
【図６】本発明の一実施例に係る画像処理装置の画像圧縮時におけるメモリ制御部と符号復号部間の画像データ制御信号、符号データ制御信号を示す図である。
【図７】本発明の一実施例に係る画像処理装置の画像伸張時におけるメモリ制御部と符号復号部間の画像データ制御信号、符号データ制御信号を示す図である。
【図８】画像圧縮時における、図６のメモリ制御部と符号復号部の画像データの制御方法を説明するためのタイミング図である。
【図９】画像圧縮時における、図６のメモリ制御部と符号復号部の符号データの制御方法を説明するためのタイミング図である。
【図１０】画像圧縮時における、図６のメモリ制御部と符号復号部の符号データの制御方法を説明するためのタイミング図である。
【図１１】画像伸張時における、図７のメモリ制御部と符号復号部の符号データの制御方法を説明するためのタイミング図である。
【符号の説明】
１０ビデオ制御回路
１１ＣＰＵ
１２フレームバッファ
１３記憶装置
１４フレームバッファ制御回路
１５ＤＭＡ制御部
１６符号復号回路
２０メモリ制御ＬＳＩ
２２メモリ制御回路
２６ＤＭＡ制御回路
３０符号復号ＬＳＩ
３５画像インターフェース部（符号復号部側）
３６符号インターフェース部（符号復号部側）
３７画像インターフェース部（符号復号部側）
３８符号インターフェース部（符号復号部側）
４０画像メモリ
５５画像インターフェース部（メモリ制御部側）
５６符号インターフェース部（メモリ制御部側）
５７画像インターフェース部（メモリ制御部側）
５８符号インターフェース部（メモリ制御部側）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus having an input / output interface control function for image data and code data between a code decoding unit and a memory control unit, not limited to compression / decompression technology.
[0002]
[Prior art]
In conventional JPEG, image data is compressed / expanded in units of blocks of 8 pixels × 8 pixels, but in recently standardized JPEG 2000, the size of blocks (also referred to as tiles) as processing units is in the horizontal and vertical directions. Several types of sizes are defined in which the size is an integer multiple of 8. Further, the size of the screen to be processed is not necessarily an integral multiple of the basic block size, but may be any size as long as it is an integral multiple of 8. According to JPEG2000 compression / decompression technology, it achieves about twice the compression performance of conventional JPEG and improves the degree of freedom of data handling such as image quality and resolution hierarchies. Expected.
[0003]
In an image processing apparatus that inputs image data to be raster scanned like a television signal such as NTSC and compresses the image, or decompresses the compressed image data and outputs it as a raster scan image, the image data Raster scanning is used for the image input for compressing and the decompressed image output. However, it may be performed in units of blocks like the compression / decompression technique based on JPEG2000 described above. For example, when the compression / decompression technique is JPEG, image compression or expansion is performed in units of blocks of 8 pixels × 8 pixels, and in the case of JPEG 2000, image compression or expansion is performed in units of blocks (tiles) of 128 pixels × 128 pixels, for example.
[0004]
[Problems to be solved by the invention]
An image processing apparatus includes an LSI that compresses and decompresses image data (hereinafter referred to as a code decoding LSI), and an LSI that performs read / write of a frame buffer and input / output of code data from a video input / output (hereinafter referred to as a memory control LSI). If the control signal and the control method for interfacing image data and code data can be made common between the memory control LSI and the code decoding LSI, regardless of the compression / decompression technology, the JPEG, JPEG2000, or Even if other technologies are used, it is possible to proceed with the development of the memory control LSI without making a major design change, and the development period can be shortened.
[0005]
In addition, when used for an application such as a surveillance camera, a plurality of input / output images for raster scanning are required. For example, when the size of the raster scanned image is 720 pixels × 480 pixels, YCbCr4: 2: 2, image data of 8 bits per pixel per component (color component), a data size of 675 Kbytes per frame It becomes.
[0006]
When four channels of image input / output are required, instead of using four memory control LSIs, if the memory control LSI has four image input / output channels and a large capacity memory of 64 Mbits such as SDRAM is used. 675 Kbytes × 8 bits × 8 frames = 43.2 Mbits, it is possible to handle two frame buffers for each channel, and by controlling image input / output of four channels with one memory control LSI. The number of frame buffer memories can be reduced, and the number of LSIs used can be reduced.
[0007]
In this case, four code decoding LSIs are driven by one memory control LSI, and image data and code data buses and control signals between the memory control LSI and the code decoding LSI are required for four channels. If the compression rate of the code data bus is 1/10, the traffic of the image bus is 1/10. Therefore, in this configuration, if the code data bus is shared, the number of signal terminals of the memory control LSI can be reduced, which is useful for reducing the cost of the memory control LSI.
[0008]
Furthermore, in the case of a coding / decoding LSI capable of compressing / decompressing NTSC and other television signals in real time (30 frames / second), in order to compress / decompress HD size (horizontal 1920 pixels, vertical 1080 pixels) images in real time. Needs to distribute 8 code decoding LSIs in units of frames and perform compression / decompression. Even in this case, the memory control LSI can drive a plurality of encoding / decoding LSIs, and the encoded data can reduce the total number of signal lines required for input / output without impairing the data transfer speed. Having a bus interface is effective in reducing the cost of the device.
[0009]
Therefore, the present invention has been made in view of the above problems, and a control signal for controlling an interface of image data between the code decoding LSI and the image memory and an interface of code data between the code decoding LSI and the memory control LSI. An object of the present invention is to provide an image processing apparatus capable of sharing a control method regardless of compression / decompression technology.
[0010]
Another object of the present invention is to provide an image processing apparatus that can shorten the design and development period of a memory control LSI by sharing a control signal and a control method for controlling an interface between image data and code data.
[0011]
Still another object of the present invention is to provide an image processing apparatus in which a memory control LSI can be driven without impairing the performance of each code decoding LSI even when a plurality of code decoding LSIs are provided for a large-capacity image memory. It is.
[0012]
[Means for Solving the Problems]
In order to solve the above problems, the invention described in claim 1 is directed to an image memory for storing image data for at least one screen, a memory control unit for reading image data from the image memory, and image data. An image processing apparatus including an encoding unit for encoding, wherein the memory control unit and the encoding unit transfer a first image data control signal indicating a transfer period for transferring image data for one screen, and the memory Connected by a second image data control signal indicating that the control unit is outputting valid image data and a third image data control signal indicating that the encoding unit can acquire the code data. At the same time, the encoding unit starts an image data compression operation in response to the first image data control signal.
[0013]
According to a second aspect of the present invention, the image processing apparatus according to the first aspect includes a DMA control unit that transfers code data to a memory on a CPU bus, and the DMA control unit and the encoding unit are configured to store the code data. A first code data control signal indicating a transfer period for one screen, a second code data control signal indicating that the DMA control unit can acquire code data, and code data for which the encoding unit is effective Is connected by a third code data control signal indicating that the signal is output.
[0014]
According to a third aspect of the present invention, in the image processing device according to the second aspect, the DMA control unit starts an operation of transferring code data to the memory in response to the first code data control signal. It is characterized by that.
[0015]
According to a fourth aspect of the present invention, a plurality of the encoding units are connected in parallel to the image processing apparatus according to the second aspect, and the image memory can store a plurality of screen image data. The encoding unit and the memory control unit are connected by the first, second, and third image data control signals, respectively, and each encoding unit and the DMA control unit are the first, second, and third, respectively. It is connected by the code data control signal.
[0016]
According to a fifth aspect of the present invention, in the image processing device according to the second aspect, the encoding unit performs an operation of outputting the code data to the code data bus according to the second code data control signal. It is characterized by starting or stopping.
[0017]
In order to solve the above problem, an invention described in claim 6 includes an image memory for storing image data for at least one screen, a memory control unit for writing image data to the image memory, a code An image processing apparatus including a decoding unit that decompresses data and decodes the image data, wherein the memory control unit and the decoding unit indicate a transfer period during which the decompressed image data for one screen is transferred. 1 image data control signal and the memory control unit image The memory control and the second image data control signal indicating that data can be acquired and the third image data control signal indicating that the decoding unit is outputting valid image data. The unit starts an operation of writing image data into the image memory in response to the first image data control signal.
[0018]
According to a seventh aspect of the present invention, the image processing apparatus according to the sixth aspect includes a DMA control unit that receives code data from a memory on a CPU bus, and the DMA control unit and the decoding unit A first code data control signal indicating a transfer period for transferring code data for a screen; a second code data control signal indicating that the DMA control unit is outputting valid code data; and the decoding The units are connected by a third code data control signal indicating that code data can be acquired.
[0019]
According to an eighth aspect of the present invention, in the image processing device according to the seventh aspect, the decoding unit decompresses the code data and decodes the image data in accordance with the first code data control signal. A decompression operation is started.
[0020]
According to a ninth aspect of the present invention, a plurality of the decoding units are connected in parallel to the image processing device according to the seventh aspect, and the image memory can store a plurality of screen image data. The decoding unit and the memory control unit are connected by the first, second, and third image data control signals, respectively, and each decoding unit and the DMA control unit are the first, second, and third, respectively. It is connected by the code data control signal.
[0021]
According to a tenth aspect of the present invention, in the image processing device according to the sixth aspect, the decoding unit performs an operation of outputting image data to an image data bus in accordance with the second image data control signal. It is characterized by starting or stopping.
[0022]
【The invention's effect】
According to the present invention, the image interface unit and the code interface unit of the memory control LSI are the same module, and only their control is changed by switching the mode signal. Further, the same module as that of the memory control LSI can be used for the image interface unit and the code interface unit of the code decoding LSI. Therefore, when configuring the image processing apparatus, the control of these interface units may be JPEG, JPEG2000, or other techniques for the compression / decompression technique, so that the design and development period can be shortened.
[0023]
Further, according to the present invention, the image data bus may be provided independently for each code decoding LSI, or may be configured so that it can be handled by the same control method as the code data bus by using a common image data bus. Good. For example, if the period during which the decoding / decoding LSI compresses or decompresses the image for one screen is sufficiently shorter than the period required for writing or reading the image data for one screen to the frame buffer in the raster scan, the code bus A control method similar to the control can be selected, and the image data bus can be shared. As a result, the number of signal lines required for the memory control LSI can be reduced, which is useful for reducing the cost of the LSI, reducing the cost of the board on which the memory control LSI and the code decoding LSI are mounted, and reducing the board size. Also, these modularized image and code data interface units can be used even when the code decoding LSI and the memory control LSI are laid out on a single LSI, so the development period of the entire image processing apparatus It is extremely useful for shortening.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
First, before describing embodiments of the present invention, in order to clarify the configuration and characteristics of the image processing apparatus of the present invention, FIGS. 1 to 5 will be described with respect to an image processing apparatus having a general image compression / decompression function. The description will be given with reference.
[0025]
FIG. 1 shows the operation of an image processing apparatus having a general compression / decompression function. FIG. 5A shows a case where image data is input / output to / from the frame buffer by raster scanning, and FIG. 5B shows a case where scanning is performed in block units.
[0026]
In FIG. 1, a dotted line indicates a data path when compressing raster scanned image data. A dotted arrow 1-1 is a data path when the frame buffer control circuit 14 writes raster scan image data sent from the video control circuit 10 to the frame buffer 12, and the frame buffer 12 has a data path shown in FIG. Image data is written in the order shown in A). Dotted arrows 1-2 and 1-3 indicate DMA data paths in which image data on the frame buffer 12 is read by the DMA (Direct Memory Access) control unit 15 in units of blocks and transferred to the code decoding circuit 16. Image data is read in block units in the order shown in FIG. Dotted arrows 1-4 and 1-5 indicate DMA data paths for transferring the code data compressed by the code decoding circuit 16 to the storage device 13 (image memory). In the configuration of FIG. 1, a load is applied to the data bus of the CPU 11.
[0027]
In order to reduce the load on the data bus of the CPU 11, the configuration of FIG. 2 is usually used. In the configuration of FIG. 2, the frame buffer control circuit 14A has the function of a DMA control unit, and the frame buffer control device 14A and the code decoding circuit 16 are connected by a dedicated bus, thereby reducing the load on the data bus of the CPU 11. Can do.
[0028]
That is, in FIG. 2, a dotted arrow 2-1 indicates a data path when the frame buffer control circuit 14A writes the raster scan image data sent from the video control circuit 10 onto the frame buffer 12. A dotted arrow 2-2 indicates a DMA data path in which the frame buffer control circuit 14A reads the image data on the frame buffer 12 in units of blocks and transfers it to the code decoding circuit 16. A dotted arrow 2-3 indicates a DMA data path through which the frame buffer control circuit 14A transfers the code data compressed by the code decoding circuit 16 to the storage device 13 (image memory). As indicated by the solid arrow 2-4, the CPU 11 data bus only exchanges code data between the frame buffer control circuit 14A (or the code decoding circuit 16) and the storage device 13, so that the configuration of FIG. The load is reduced.
[0029]
In the apparatus configuration shown in FIG. 2, the video control circuit 10 and the frame buffer control circuit 14A are configured by one LSI (referred to as a memory control LSI), and the code decoding circuit 16 is configured as a single LSI (referred to as a code decoding LSI). A conventional image processing apparatus will be described.
[0030]
FIG. 3 shows input / output signals during the compression operation of the image processing apparatus described above, and FIG. 4 shows input / output signals during the expansion operation of the same image processing apparatus.
[0031]
As shown in FIGS. 3 and 4, this conventional image processing apparatus includes a memory control LSI 120, a code decoding LSI 130, and an image memory 40. The memory control LSI 120 includes a video control circuit 21, a memory control circuit 22, a raster read / write circuit 23, a block read / write circuit 24, a buffer circuit (FIFO-A1) 25, a DMA control circuit 26, and a CPU. An interface circuit 27 and a buffer circuit (FIFO-A2) 28 are provided. The configuration of the memory control LSI 120 is common to both FIG. 3 and FIG. In the configuration shown in FIG. 3, the code decoding LSI 130 includes a buffer circuit (FIFO-B1) 31, a buffer circuit (FIFO-B2) 32, and a compression circuit 33. 4, the code decoding LSI 130 includes a buffer circuit (FIFO-B1) 31, a buffer circuit (FIFO-B2) 32, and a decompression circuit 34.
[0032]
In the compression operation shown in FIG. 3, the image data stored in the buffer circuit 25 on the memory control LSI side is sent to the buffer circuit 31 on the coding / decoding LSI side via the image data bus IMD. The code data generated by the compression circuit 33 is temporarily stored in the buffer circuit 32. This code data is sent to the buffer circuit 28 on the memory control LSI side via the code data bus COD.
On the other hand, during the decompression operation shown in FIG. 4, the code data stored in the buffer circuit 28 on the memory control LSI side is sent to the buffer circuit 32 on the code decoding LSI side via the code data bus COD. The image data generated by the decompression circuit 34 is temporarily stored in the buffer circuit 31. The image data stored in the buffer circuit 31 is sent to the buffer circuit 25 on the memory control LSI side via the image data bus IMD.
[0033]
In this conventional image processing apparatus, the memory control LSI 120 and the code decoding LSI 130 are connected by a control signal START and a control signal END. The buffer circuit 25 on the memory control LSI side and the buffer circuit 31 on the code decoding LSI side are connected by an image data control signal IRDY_ and an image data control signal IWE_ (or an image data control signal IRE_). Further, the buffer circuit 28 on the memory control LSI side and the buffer circuit 32 on the code decoding LSI side are connected by the code data control signal CRDY_ and the code data control signal CRE_ (or the code data control signal CWE_).
[0034]
The IWE_ in FIG. 3 and the IRE_ in FIG. 4 may be a common signal. Also, CRE_ in FIG. 3 and CWE_ in FIG. 4 may be a common signal. In this conventional image processing apparatus, for example, when the encoding / decoding LSI 130 is JPEG, if the image data control signal IRDY_ is asserted, the memory control LSI 120 accordingly outputs image data for 64 pixels for one block. In order to start the operation of writing to the buffer circuit 31, the image data control signal IWE_ is asserted. That is, in this conventional control method, a specification for individually controlling the image data control signal (or code data control signal) is used.
[0035]
The method for controlling the control signal is basically the same during the compression operation and the expansion operation. When starting compression or expansion, the START signal is asserted. It is assumed that the operation of compression or decompression is set in advance in both the memory control LSI and the code decoding LSI. Here, the control method during the compression operation will be described in detail with reference to FIG. 3, and the control method during the decompression operation will be omitted.
The code decoding LSI 130 asserts the image data control signal IRDY_ when it is ready to capture image data. When the assertion of the image data control signal IRDY_ is confirmed, the memory control LSI 120 asserts the code data control signal IWE_ a predetermined number of times and sends the image data to the image data bus IMD. The control of the image data control signals IRDY_ and IWE_ is repeated until all the image data for one screen is transferred to the code decoding LSI side.
[0036]
The code decoding LSI 130 asserts the code data control signal CRDY_ when the code data is generated by performing the compression operation. When the assertion of CRDY_ is confirmed, the memory control LSI 120 asserts the code data control signal CRE_ a predetermined number of times, and takes in the code data sent from the code decoding LSI side to the code data bus COD. The control of the code data control signals CRDY_ and CRE_ is repeated until the control signal END indicating that the code decoding LSI 130 has finished outputting all the code data is asserted.
[0037]
As described above, in the case of a conventional image processing apparatus, it is necessary to separately design and develop a memory control LSI for a code decoding LSI having different compression / decompression techniques. For example, if separate memory control LSIs are developed for application to code decoding LSIs using JPEG, JPEG2000, or other technologies, the cost and development time required for development become enormous. In order to solve this problem, the image data between the code decoding LSI and the memory control LSI, and the control signal and the control method for controlling the interface of the code data can be shared regardless of the compression / decompression technology. 1 is an image processing apparatus according to the present invention.
[0038]
Next, an embodiment of the present invention will be described with reference to FIGS.
[0039]
FIG. 6 shows image data control signals and code data control signals between the memory control unit and the code decoding unit during image compression of the image processing apparatus according to the embodiment of the present invention. FIG. 7 shows an image data control signal and a code data control signal between the memory control unit and the code decoding unit at the time of image expansion of the image processing apparatus according to the embodiment of the present invention.
[0040]
The embodiment shown in FIGS. 6 and 7 is an example of an image processing apparatus configured with one memory control LSI and two code decoding LSIs. The arrows in FIG. 6 indicate the data direction during compression. The arrows in FIG. 7 indicate the data direction during decompression. Of the signals that interface the code decoding LSI and the memory control LSI, the image data control signals IM_FRM1_, IM_FRM2_, the image data signals IMD1, IMD2, and the code data signal COD are bidirectional signals.
[0041]
The image processing apparatus of this embodiment is different from the conventional example of FIGS. 3 and 4 in that the memory control LSI 20 includes an image interface unit 55, a code interface unit 56, switches SW1 and SW2, and a code decoding LSI 30. However, the image interface unit 35 and the code interface unit 36 are provided. Other configurations are the same as the corresponding circuits in FIGS. 3 and 4. The image interface unit 55 on the memory control LSI side and the image interface unit 35 on the code decoding LSI side are connected by image data control signals IM_FRM * _, IM_MRDY * _, and IM_CRDY * _. Further, the code interface unit 56 on the memory control LSI side and the code interface unit 36 on the code decoding LSI side are connected by code data control signals CO_FRM * _, CO_MRDY * _, and CO_CRDY * _.
[0042]
Here, * attached to each control signal is a number for identifying which LSI among a plurality of code decoding LSIs. In the case of the embodiment of FIGS. 6 and 7, * = 1,2.
[0043]
FIG. 8 is a timing chart for explaining the image data control method of the memory control unit and the code decoding unit in FIG. 6 during image compression.
At the timing of T1, the block read / write circuit 24 displays the image data for one screen drawn in the frame buffer (image memory 40 in FIG. 6) by the raster read / write circuit 23 as shown in FIG. Assume that the data is read out in units of blocks and written into the buffer circuit 25 as shown in 5 (B), and the image data is stored in the buffer circuit 25. When image data is stored in the buffer circuit 25 at the timing of T1, the memory control LSI asserts the image data control signal IM_FRM * _.
[0044]
Here, the image data control signal IM_FRM * _ is asserted by the data output side. In the case of the compression operation, the memory control LSI asserts this control signal. The assertion of the image data control signal IM_FRM * _ notifies the code decoding LSI that the image data output is ready, and prompts the compression decoding LSI to start a compression operation.
[0045]
At the timing of T2, the code decoding LSI asserts the image data control signal IM_CRDY * _ for one cycle period, thereby permitting the memory control LSI to send the image data onto the image data bus IMD. . Further, the fact that the image data control signal IM_FRM * _ is asserted by the memory control LSI means the start of the compression operation. Therefore, if the internal setting of the code decoding LSI is in the expansion operation mode, Since it can be determined that it is different from the operation intention of the memory control LSI, in this case, the image data control signal IM_CRDY * _ is not asserted at T2. As a result, when the operation settings of the two are different, it is possible to prevent the data from colliding by sending image data to the image data bus IMD.
[0046]
Also, if the code decoding LSI is executing a compression operation of image data for one screen transferred from the memory control LSI before T2, the image data control signal IM_CRDY * _ is not asserted. . It may be asserted when the compression operation being executed is completed and the compression operation for the next one screen can be started. From the viewpoint of the memory control LSI, regardless of whether the code decoding LSI is executing a compression operation, and regardless of whether the code data being executed by its own DMA control is being transferred to the CPU bus, Transfer of image data can be started.
[0047]
At the timing of T3, since transmission of image data from the encoding / decoding LSI to the image data bus IMD is permitted, the memory control LSI starts transmission of image data. This cycle is a cycle for preparation for the memory control LSI to completely transmit image data. If the time until the image data of the memory control LSI is determined is sufficiently early with respect to the cycle, this cycle is not necessary.
[0048]
At the timing T4, the memory control LSI drives the image data and asserts an image data control signal IM_MRDY * _ indicating that the image data is being transmitted. The code decoding LSI asserts an image data control signal IM_CRDY * _ when it can receive image data. When the image data control signals IM_MRDY * _ and IM_CRDY * _ are both asserted, the memory control LSI determines that the image decoding LSI can acquire the image data, and transmits the next image data after this cycle. I was allowed to do that.
[0049]
At the timing of T5, the memory control LSI negates the image data control signal IM_MRDY * _ when it is not ready to transfer new image data. In this case, although the code decoding LSI can receive the image data, the memory control LSI determines that the image data is not ready.
[0050]
The timing of T6 is opposite to T5, indicating that the memory control LSI is transferring image data, but the code decoding LSI is not ready to receive.
[0051]
At the timing of T7, when the transfer of the last image data is completed, the memory control LSI negates the image data control signal IM_MRDY * _ after this cycle. Similarly, the image data control signal IM_FRM * _ is negated.
[0052]
Since the image data control signal IM_FRM * _ is negated at the timing of T8, the code decoding LSI determines that the image data for one screen has been transferred.
[0053]
Next, the control direction of the code data will be described with reference to FIGS.
[0054]
FIG. 9 is a timing chart for explaining a code data control method of the memory control unit and the code decoding unit in FIG. 6 during image compression. FIG. 10 is a timing chart for explaining a code data control method of the memory control unit and the code decoding unit in FIG. 6 during image compression.
[0055]
The timing chart of FIG. 9 is basically the same operation as FIG. 8, and the image data bus IMD is changed to the code data bus COD, and the code data control signals (CO_FRM1_, CO_MRDY1_, CO_CRDY1_) corresponding to the respective image data control signals. The control unit that controls each control signal is merely changed from the memory control LSI to the code decoding LSI.
[0056]
Further, the control method at the timings T1, T2, T7, and T8 in FIG. 9 corresponding to T1, T2, T7, and T8 in FIG. 8 is the same as that described above.
[0057]
At timing T4, the negation of the code data control signal CO_MRDY1_ notifies the code decoding LSI that the memory control LSI cannot receive the code data, unlike FIG. At the same time, it notifies the encoding / decoding LSI that the sending of data to the code data bus COD is prohibited. The reason for this will be described later with reference to FIG.
If the previous cycle is a negation of the code data control signal CO_MRDY1_ at the timing of T3, the code decoding LSI is prohibited from sending code data to the code data bus COD. Start. Similar to T3 in FIG. 8, this cycle is not necessary if the time until the data is determined is sufficiently early with respect to the cycle.
[0058]
The timing chart of FIG. 10 is a control method in the case where the code data bus COD connected to the two code decoding LSIs is common as in the embodiment of FIG. That is, FIG. 10 shows a state where two code decoding LSIs simultaneously transfer code data to the code data bus COD. By asserting CO_MRDY2_ of the lower code decoding LSI-2 during the negation period of the code data control signal CO_MRDY1_ of the upper code decoding LSI-1, the two code decoding LSIs simultaneously transmit the code data to the code data bus COD. Prevents sending.
[0059]
FIG. 11 is a timing chart for explaining a code data control method of the memory control unit and the code decoding unit in FIG.
[0060]
Control of starting the code operation or notifying the code decoding LSI 30 that the code data for one screen has been transmitted to the code decoding LSI 30 is performed using the code data control signal CO_FRM1_ and the code data control signal CO_FRM2_. Thru | or it is the same as that of what was demonstrated in FIG.
[0061]
As shown in FIG. 6, the control of the code data during the compression operation includes two code decoding LSIs 30 for sending the code data. Therefore, in order to prevent data from colliding on the code data bus COD, any LSI can be controlled. A period during which data is not transmitted, that is, a period T3 in FIG. 10 is necessary.
[0062]
However, during the decompression operation, only the memory control LSI 20 sends code data. Therefore, the period T3 in FIG. 10 is not necessary. Further, since the memory control LSI always drives data on the data bus, a preparation period for taking time to start data transmission from a state in which data transmission is not performed, such as the period T4 in FIG. Is not required. Therefore, the operation as shown in FIG.
[0063]
In FIG. 11, T1 indicates a period during which code data (D10 to D16) is transferred to the code decoding LSI-1 (upper code decoding LSI), and T2 indicates the code decoding LSI-2 (lower code decoding). The period during which the code data (D20 to D27) is transferred to the LSI.
[0064]
As described above, the control method of the image interface unit and the code interface unit in the above-described embodiment is merely the difference whether or not the data bus is shared. Therefore, as shown in FIGS. 6 and 7, if the switches SW1 and SW2 are used to switch between data bus sharing and individual coding / decoding LSI, the image interface unit and the code interface unit are combined into one. Can be built as a module. The mode signal (mode) input to the image interface units 55 and 57 and the code interface units 56 and 58 in FIGS. 6 and 7 is the selection signal. In the example of FIGS. 6 and 7, the image interface units 55 and 57 indicate that the data bus is not shared, and the code interface units 56 and 58 indicate that the data bus is shared. Also, the image interface unit and the code interface unit in the code decoding LSI can be realized by the same module as that of the memory control LSI.
[0065]
The mode signal input to the image interface unit 55 in FIG. 6 is set to Low. That is, the switch SW1 is turned off. This setting is for causing the image interface unit 55 to perform the control of FIG. The mode signal input to the code interface unit 56 in FIG. 6 is set to High. That is, the switch SW2 is turned on. This setting is for causing the code interface unit 56 to perform the control of FIG. 9 or FIG.
[0066]
Both the image interface unit 57 and the code interface unit 58 in FIG. 7 are set to Low. That is, both the switches SW1 and SW2 are turned off. This setting is for causing the control of FIG. 11 or FIG. 8 to be performed.
[0067]
The block read / write circuit 24 shown in FIGS. 6 and 7 can change the setting of the block size (m, n) shown in FIG. In the case of JPEG, m = 8 and n = 8 are set. In the case of JPEG2000, the configuration can be freely set in units of 8 pixels.
[0071]
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the operation of an image processing apparatus having a general image compression / decompression function.
2 is a diagram for explaining the operation of the image processing apparatus when the frame buffer control circuit is provided with a DMA function in the configuration of FIG. 1;
FIG. 3 is a block diagram illustrating input / output signals during an image compression operation of a conventional image processing apparatus including a memory control unit and an encoding / decoding unit.
FIG. 4 is a block diagram illustrating input / output signals during an image expansion operation of a conventional image processing apparatus including a memory control unit and a code decoding unit.
FIG. 5 is an explanatory diagram illustrating a case where image data is input / output to / from the frame buffer by raster scanning and a case where scanning is performed in units of blocks.
FIG. 6 is a diagram illustrating an image data control signal and a code data control signal between a memory control unit and a code decoding unit during image compression of the image processing apparatus according to the embodiment of the present invention.
FIG. 7 is a diagram showing an image data control signal and a code data control signal between a memory control unit and a code decoding unit when an image is expanded in the image processing apparatus according to the embodiment of the present invention.
FIG. 8 is a timing chart for explaining a method of controlling image data in the memory control unit and the code decoding unit in FIG. 6 during image compression.
FIG. 9 is a timing chart for explaining a method of controlling code data in the memory control unit and the code decoding unit in FIG. 6 during image compression.
10 is a timing chart for explaining a method for controlling code data in the memory control unit and the code decoding unit in FIG. 6 during image compression. FIG.
11 is a timing chart for explaining a method of controlling code data in the memory control unit and the code decoding unit in FIG. 7 during image decompression. FIG.
[Explanation of symbols]
10 Video control circuit
11 CPU
12 frame buffer
13 Storage device
14 Frame buffer control circuit
15 DMA controller
16 Code decoding circuit
20 Memory control LSI
22 Memory control circuit
26 DMA control circuit
30 Code decoding LSI
35 Image interface (encoder / decoder side)
36 Code interface unit (code decoding unit side)
37 Image interface part (encoding / decoding part side)
38 Code interface unit (code decoding unit side)
40 Image memory
55 Image interface unit (memory control unit side)
56 Code interface part (memory control part side)
57 Image interface part (memory control part side)
58 Code interface part (memory control part side)

Claims

An image processing apparatus comprising: an image memory that stores image data for at least one screen; a memory control unit that reads image data from the image memory; and an encoding unit that encodes image data. A first image data control signal indicating a transfer period for transferring image data for one screen, and a second indicating that the memory control unit outputs valid image data. The image data control signal is connected to the third image data control signal indicating that the encoding unit can acquire the code data, and the encoding unit responds to the first image data control signal. An image processing apparatus characterized by starting an image data compression operation .

The image processing apparatus includes a DMA control unit that transfers code data to a memory on a CPU bus, and the DMA control unit and the encoding unit include first code data indicating a transfer period of one screen of code data. A control signal, a second code data control signal indicating that the DMA control unit can acquire code data, and a third code data indicating that the encoding unit outputs valid code data. The image processing apparatus according to claim 1, wherein the image processing apparatus is connected by a control signal.

The image processing apparatus according to claim 2, wherein the DMA control unit starts an operation of transferring code data to the memory in response to the first code data control signal.

A plurality of the encoding units are connected in parallel to the image processing device, the image memory can store a plurality of screen image data, and each of the encoding units and the memory control unit has the first, It is connected by the second and third image data control signals, and each encoding unit and the DMA control unit are connected by the first, second and third code data control signals, respectively. The image processing apparatus according to claim 2.

The image processing apparatus according to claim 2, wherein the encoding unit starts or stops an operation of outputting code data to a code data bus according to the second code data control signal.

An image processing apparatus comprising: an image memory that stores image data for at least one screen; a memory control unit that writes image data to the image memory; and a decoding unit that decompresses code data and decodes the image data. The memory control unit and the decoding unit can acquire a first image data control signal indicating a transfer period in which the image data for one expanded screen is transferred, and the memory control unit can acquire the image data. And a second image data control signal indicating that the decoding unit is outputting valid image data, and the memory control unit is connected to the first image data control signal indicating that the decoding unit is outputting valid image data . An image processing apparatus which starts an operation of writing image data into the image memory in response to the image data control signal .

The image processing apparatus includes a DMA control unit that receives code data from a memory on a CPU bus, and the DMA control unit and the decoding unit indicate a transfer period in which code data for one screen is transferred. A code data control signal; a second code data control signal indicating that the DMA control unit is outputting valid code data; and a third code data indicating that the decoding unit is capable of acquiring code data. 7. The image processing apparatus according to claim 6 , wherein the image processing apparatus is connected by a code data control signal.

The image processing apparatus according to claim 7 , wherein the decoding unit starts an expansion operation for expanding the code data and decoding the image data in accordance with the first code data control signal.

A plurality of the decoding units are connected in parallel to the image processing device, the image memory can store a plurality of screen image data, and each decoding unit and the memory control unit are respectively configured as the first, The decoding unit and the DMA control unit are connected by the first, second, and third code data control signals, respectively, and are connected by the second and third image data control signals. the image processing apparatus according to claim 7 wherein.

The image processing apparatus according to claim 6 , wherein the decoding unit starts or stops an operation of outputting image data to an image data bus according to the second image data control signal.