JP4244619B2 - 画像データ処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データに対する画像処理に使用される複数回ウィンドウ処理に適用して有効な画像データ処理装置に関するものである。
【０００２】
【従来の技術】
従来、入力手段より入力された画像データは、メモリ・コントロール部を通り記憶手段に格納され、ウィンドウ処理を行うために画像処理部から呼び出され、メモリ・コントロール部を介して転送されていた。
【０００３】
このような構成で、入力手段から入力される画像データに対し、３×３画素のウィンドウ処理を用いた画像処理を２回行う場合のウィンドウ処理においては、入力画像データを３×３画素取り込んでウィンドウ処理を行い、処理結果として１画素のデータを受け取り、処理結果として受け取ったデータを再び入力データとみなし、前記と同様の手法により２回目のウィンドウ処理を行うことで、画像データに対する２回のウィンドウ処理が行われていた。
【０００４】
以上のような画像処理を行う場合に、ウィンドウ処理に必要なデータをメモリ上に取り込む必要がある。そして、ＤＲＡＭを用いた場合、入力画像データは入力された画像画素配置のままメモリ上に格納され、ウィンドウ処理時に必要なデータにアクセスする場合、複数のＲｏｗ Ａｄｄｒｅｓｓを指定してアクセスを行う配置となっている。また、二次側ウィンドウ処理を行うために必要なデータについても、入力画像データとはＲｏｗ Ａｄｄｒｅｓｓが異なるメモリ領域に配置されていて、二次側ウィンドウ処理に必要なデータにアクセスする場合についても、複数のＲｏｗ Ａｄｄｒｅｓｓを指定して行う配置となっている。
【０００５】
その他の従来の技術としては、ウィンドウ処理専用のＳＲＡＭを設け、入力画像データを前記ＳＲＡＭに格納し、画像処理部が専用メモリ・コントロール部を通じてデータ転送を行い画像処理を行うものがある（例えば、特開昭６３−２０４３２０号公報参照）。
【０００６】
【特許文献１】
特開昭６３−２０４３２０号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記のような従来の技術において、ウィンドウ処理に使用するデータをメモリに配置する際、メモリがＤＲＡＭである場合には、ウィンドウ処理に必要な入力画像データがＤＲＡＭ上でＲｏｗ Ａｄｄｒｅｓｓを跨ぐ形で配置されている。そして、ＤＲＡＭのデータにアクセスする際には、ＲＡＳ信号、ＣＡＳ信号を用いてメモリアドレスを指定してデータをリード・ライトするため、特にデータがＲｏｗ Ａｄｄｒｅｓｓを跨ぐ形で配置されている場合には、ＲＡＳ信号の送信回数が増えるために、メモリアクセス時のオーバーヘッドが増大し、高速処理を行う際のメモリデータの読み込みのアクセススピードが遅くなる。
【０００８】
また、ＳＲＡＭは高速処理に適したメモリではあるが、専用にＳＲＡＭメモリを構成する必要があるので、コストの面での課題があった。
【０００９】
そこで、本発明は、複数回のウィンドウ処理を安価にかつ高速に行うことのできる技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この課題を解決するために、本発明の画像データ処理装置は、データを入力する入力手段と、入力されたデータを格納する記憶手段と、データに対するウィンドウ処理を行う画像処理部と、記憶手段内におけるデータの格納順序を制御する制御部とを有し、制御部は、データに対して複数回のウィンドウ処理を行うときには、当該ウィンドウ処理に先立って、各回に処理されるデータを交互に記憶手段に格納するものである。
【００１１】
これにより、各回のウィンドウ処理が並列に行われ、且つ記憶手段へのデータアクセスタイムが短くなるので、複数回のウィンドウ処理を安価でかつ高速に行うことが可能になる。
【００１２】
【発明の実施の形態】
本発明の請求項１に記載の発明は、データを入力する入力手段と、入力されたデータを格納する記憶手段と、データに対するウィンドウ処理を行う画像処理部と、記憶手段内におけるデータの格納順序を制御する制御部とを有し、制御部は、データに対して複数回のウィンドウ処理を行うときには、当該ウィンドウ処理に先立って、各回に処理されるデータを交互に記憶手段に格納する画像データ処理装置であり、各回のウィンドウ処理が並列に行われ、且つ記憶手段へのデータアクセスタイムが短くなるので、複数回のウィンドウ処理を安価でかつ高速に行うことが可能になるという作用を有する。
【００１３】
本発明の請求項２に記載の発明は、請求項１記載の発明において、ウィンドウ処理は、ｎ×ｎのウィンドウ処理である画像データ処理装置であり、複数回のウィンドウ処理を安価でかつ高速に行うことが可能になるという作用を有する。
【００１４】
本発明の請求項３に記載の発明は、請求項１記載の発明において、ウィンドウ処理は、各画素がｎ個のチャネルを持ち、画素ごとにｎ個のデータを持っている場合のウィンドウ処理である画像データ処理装置であり、複数回のウィンドウ処理を安価でかつ高速に行うことが可能になるという作用を有する。
【００１５】
以下、本発明の実施の形態について、図１から図２１を用いて説明する。なお、これらの図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。
【００１６】
図１は本発明の一実施の形態におけるウィンドウ処理用の画像データ処理装置を示すブロック図、図２は図１の画像データ処理装置におけるメモリ・コントロール部の構成を示すブロック図、図３は図１の画像データ処理装置における画像処理部の構成を示すブロック図である。
【００１７】
図１において、画像データ処理装置は、画像データの入力手段として画像入力手段１００、入力された画像データのメモリ上でのアドレスを管理したりメモリへのコマンドを発行するメモリ・コントロール部２００、ＲＡＳ（行）信号およびＣＡＳ（列）信号を使用することにより、入力された画像データをメモリ・コントロール部２００の指示に従い記憶する記憶手段３００、入力された画像データのウィンドウ処理を行う画像処理部４００、画像処理や周辺ロジックの制御を行うＣＰＵ（制御部）５００、周辺機器へのデータの出力などを行う周辺ロジック６００で構成されている。
【００１８】
メモリ・コントロール部３００は、図２に示すように、画像データに対するウィンドウ処理を行う際のメモリアクセス時に記憶手段３００に対してバーストアクセスを実行できるようなメモリ配置となるように画像データにメモリＡｄｄｒｅｓｓを振り分ける第１のＡｄｄｒｅｓｓ発生器２０１、画像入力手段１００からの画像データを受け付ける画像入力手段インターフェース部２０２、画像処理部４００より送られてきた処理済みの画像データに対して記憶手段３００上でのＡｄｄｒｅｓｓを付加する第２のＡｄｄｒｅｓｓ発生器２０３、画像処理部４００との間で画像データの転送を行う画像インターフェース部２０４、画像入力手段インターフェース部２０２、画像処理インターフェース部２０４、ＣＰＵ５００および周辺ロジック６００からのバス要求を調停するＢｕｓ Ａｒｂｉｔｅｒ２０５、記憶手段３００へのメモリ制御信号を発生するＭｅｍｏｒｙ制御信号発生器２０６、ウィンドウサイズ、ウィンドウ処理回数、１画素当たりのレイヤー数等の情報を設定するＲｅｇｉｓｔｅｒ群２０７を有している。なお、１画素当たり複数のレイヤーをもつ画像例としては、カラー画像などが上げられる。また、記憶手段３００には、ＤＲＡＭ等の行列成分で表現できる構造を持ったメモリを使用することができる。
【００１９】
図３に画像処理部４００の詳細を示す。
【００２０】
図３に示すように、画像処理部４００は、メモリ・コントロール部２００より画像データを受け取る画像入力インタフェース部４０１、画像データの処理結果をメモリ・コントロール部２００に返す画像出力インターフェース部４０２、ウィンドウ処理に必要なデータをシフトしていくｓｈｉｆｔｅｒ回路４０３、一次ウィンドウ画像処理を行う一次ウィンドウ演算回路部４０４、および二次ウィンドウ画像処理を行う二次ウィンドウ演算回路部４０５から構成されている。
【００２１】
図４は図１の画像データ処理装置における記憶手段のメモリ・マップを示す説明図である。
【００２２】
記憶手段３００は各種処理を行うためＳｙｓｔｅｍが利用するＳｙｓｔｅｍ領域、一次および二次ウィンドウ処理用のデータを保存する入力画像データ・バッファ領域、および全てのウィンドウ処理が終了した画像データを保存する出力画像データ・バッファ領域から構成されている。
【００２３】
ここで、入力画像を格納する記憶手段３００についての従来の技術を図５、図６および図７を用いて説明する。図５は画像データの画素配置を概念的に示す説明図、図６は画像入力手段とメモリ・コントロール部と間の画像画素データ転送順序を示す説明図、図７は従来の画像データ処理装置における記憶手段での入力画像配置を概念的に示す説明図である。
【００２４】
図５で示す画像データは画像入力手段１００より入力され、行成分のデータが図６に示すように画像入力手段１００より入力されるため、図７に示すように記憶手段３００上に配置されていた。
【００２５】
図８は３×３のウィンドウ処理イメージを示す説明図、図９は図８のウィンドウ処理に続く３×３のウィンドウ処理イメージを示す説明図、図１０従来の技術におけるウィンドウ画像処理データ取り込み時の記憶手段への発行コマンドを示す説明図、図１１は図１の画像データ処理装置における記憶手段内のウィンドウ処理用データの配列イメージを示す説明図である。
【００２６】
図８のように画像上に３×３のウィンドウを想定し、このウィンドウに収まる９個の画素データにＹ＝ｆ（Ｘ）の処理を行い、その処理結果である１画素を一次ウィンドウ処理済み画素として一次ウィンドウ処理済み画像を構成していく。
【００２７】
ウィンドウ処理のためのウィンドウは、図９に示すように、右方向に逐次移動していくため、新規取り込みデータは、画像データの行成分を複数もつデータとなる。
【００２８】
このように行成分を複数もつ場合には、画像処理部４００が記憶手段３００にアクセスする際には、図７に示すようにウィンドウ処理に使用する画像データがＲｏｗ Ａｄｄｒｅｓｓ方向に複数行にわたり配置されているため、メモリに対してバーストアクセスを行うことができず、図１０に示すように、ＮＯＰ→Ｐｃｈａｒｇｅ→ＩＤＬＥ→ＡＣＴＶ→ＮＯＰ→ＲＥＡＤの複数の信号を送ることで始めて１画素のデータが読み込まれる。
【００２９】
このようにデータアクセス時にオーバーヘッドが大きくなりすぎていたのを改善するために、本発明では、画像データ（図５）が図６に示すように行データとして流れてくるときに、第１のＡｄｄｒｅｓｓ発生器２０１は、図１１で示すように、Ｒｏｗ Ａｄｄｒｅｓｓを跨がないようなメモリアドレスを付与して記憶手段３００上に配置することとし、ウィンドウ処理に必要な新規取り込みデータをＣｏｌｕｍｎ方向（列方向）に配置する。
【００３０】
ここで、図１１は本発明のウィンドウ処理が所定時間にわたって行われた後の状態を示しており、行データの５行目を読み込んだ時点の記憶手段３００の状態を示している。図５の５行目の画像データは、図１１に示すように、第１のＡｄｄｒｅｓｓ発生器２０１により同一のＲｏｗ Ａｄｄｒｅｓｓ上の飛び飛びのアドレスに配置されていく。
【００３１】
図１２は３×３ウィンドウ処理を２回行う場合の画像イメージを示す説明図、図１３はウィンドウ画像処理データ取り込み時の記憶手段への発行コマンドを示す説明図、図１４は図３の画像処理部におけるｓｈｉｆｔｅｒ回路の詳細を示す説明図である。二次ウィンドウ処理を考え、図１２ｎ示すように、一次ウィンドウ処理用データの３０、４０、５０が新規取り込みデータとして画像処理部４００に読み込まれるときに、一次ウィンドウ処理が終了した結果の画像データである二次ウィンドウ処理用データの１１’、２１’、３１’も同時に画像処理部４００に一回のデータアクセスで読み込むことができるように、一次ウィンドウ処理データ３０、４０、５０の後に続けて二次ウィンドウ処理用データ１１’、２１’、３１’を配置するように第２のＡｄｄｒｅｓｓ発生器２０３が図１１に示す様にメモリアドレスを付与していく。
【００３２】
図１１に示すように、当該ウィンドウ処理に先立って、一次ウィンドウ処理用データ、二次ウィンドウ処理用データを交互に配置していくことにより、つまり、各回に処理されるデータを交互に記憶手段３００に格納することにより、Ｒｏｗ Ａｄｄｒｅｓｓをまたがないようなメモリアクセスとし同時に一次ウィンドウ処理用データ、二次ウィンドウ処理用データを取り込み、図１２に示すように、一次ウィンドウ処理に対してはＹ＝ｆ（Ｘ）、二次ウィンドウ処理に対してはＹ＝ｚ（Ｘ）の処理を行うことができる。そして、Ｒｏｗ Ａｄｄｒｅｓｓを跨がないようなメモリアクセスで、且つデータが連続して配置されているので、図１３に示すように画像処理部４００は記憶手段３００のデータをバーストアクセスで取り込むことができる。
【００３３】
一方、画像処理部４００内のｓｈｉｆｔｅｒ回路４０３ではバーストアクセスで送られてきたウィンドウ処理に使用するデータを格納し、次バーストアクセスでデータが送られてくると、前に保持していたデータを図１４の矢印方向にシフトし、ウィンドウ処理に必要なデータを常に保持している状態とする。最終段に入っていたデータはシフトされることで破棄される。このｓｈｉｆｔｅｒ回路４０３のレジスタの値をウィンドウ処理に利用することになる。
【００３４】
ここで、ｓｈｉｆｔｅｒ回路４０３のレジスタには、一次ウィンドウ処理用データと二次ウィンドウ処理用データが同時に入ってくるが、一次ウィンドウ演算回路部４０４と二次ウィンドウ演算回路部４０５を設けていることにより、並列して一次ウィンドウ処理と二次ウィンドウ処理が可能になる。
【００３５】
図１５は図１の画像データ処理装置の記憶手段におけるリング・バッファ的なデータ書き換えを示す説明図である。図１５に示すように、ウィンドウ処理用のウィンドウが右方向に移動していき、右端まで走査が完了した場合、ウィンドウは再び左端まで戻り、走査が完了した行より１行下にずれた所からウィンドウ処理を行っていく。これにより、新しい行データが必要になるが、一次ウィンドウ処理では、そのデータは第１のＡｄｄｒｅｓｓ発生器２０１によって図１５に示すように記憶手段３００のデータ配置のウィンドウ処理に必要がなくなった行成分の所に配置され、記憶手段３００の入力画像データ・バッファはリングバッファ的に使用していく。このリングバッファ的な入力画像データ・バッファの使用方法については、一次ウィンドウ処理、二次ウィンドウ処理のどちらにも同様に使用されるものであり、二次ウィンドウ処理用データに関しては画像処理部４００より出力された一次ウィンドウ処理済みデータを第２のＡｄｄｒｅｓｓ発生器２０３が図１５に示すように、メモリアドレスを発生させ、二次ウィンドウ処理に使用しなくなった行成分の所に配置していく。
【００３６】
以上動作を繰り返すことにより、一次ウィンドウ処理および二次ウィンドウ処理が並列に行われ、且つ記憶手段３００へのデータアクセスが、一次および二次ウィンドウ処理に必要なデータを取得するのに、バーストアクセスで可能となるので、２回のウィンドウ処理を安価でかつ高速に行うことができる。
【００３７】
以上の説明においては、ウィンドウ処理を、一次と二次の２回行う場合について説明したが、３回以上行う場合についても適用することができる。
【００３８】
つまり、ｎ（複数）回のウィンドウ処理に対応する場合の画像処理部４００の構成を図１６に示す。図１６はｎ回のウィンドウ処理に対応する場合の画像処理部の構成を示すブロック図である。
【００３９】
ここで、３×３ウィンドウ処理をｎ次ウィンドウ処理まで行うため、図１６に示すように、ｓｈｉｆｔｅｒ回路４０３のもつ段数は３段であるが、一段当たりがもつレジスタの個数が３×ｎ個となっている。また、ウィンドウ演算回路部についてもｎ個を有する構成となる。
【００４０】
次に、記憶手段３００でのデータの配置について説明する。図１７は図１６の記憶手段内におけるウィンドウ処理用データの配列イメージ（ｎ次ウィンドウ処理）を示す説明図、図１８はｎ×ｎウィンドウ処理に対応する場合の画像処理部の構成を示すブロック図、図１９は図１８の記憶手段内におけるウィンドウ処理用データの配列イメージ（ｎ×ｎウィンドウ処理）を示す説明図、図２０はｎチャネルを持つウィンドウ処理に対応する場合の画像処理部の構成を示すブロック図、図２１は図２０の記憶手段内におけるウィンドウ処理用データの配列イメージ（ｎチャネルを持つウィンドウ処理）を示す説明図である。
【００４１】
図１７にｎ回ウィンドウ処理を行う場合の記憶手段３００内のデータ配列イメージを示す。なお、ウィンドウ処理データの記憶手段３００への配置の手法に関しては前述したものと同じであるため、重複した説明は省略する。
【００４２】
図１７に示すように、一次ウィンドウ処理データに続き、二次ウィンドウ処理データ、その後ｎ次ウィンドウ処理データまで続けて配置を行う。
【００４３】
そして、前述のようにｎ回のウィンドウ処理における各回のデータに記憶手段３００に配置し、ｎ回ウィンドウ処理用のデータをバーストアクセスで一度に読み込むことにより、ｎ回のウィンドウ処理を安価でかつ高速に行うことができる。
【００４４】
次に、ｎ×ｎウィンドウ処理への対応について説明する。
【００４５】
ここでは、画像処理部４００は、図１８に示すように、ｎ×ｎウィンドウ処理を二次ウィンドウ処理まで行うため、ｓｈｉｆｔｅｒ回路４０３のもつ段数がｎ段となり、一段当たりが持つレジスタの個数が２×ｎ個となっている。
【００４６】
記憶手段３００でのデータの配置を図１９に示す。なお、ウィンドウ処理データの記憶手段３００への配置の手法に関しては前述したものと同じであるため、重複した説明は省略する。図１９に示すように、ｎ×ｎウィンドウ処理に必要であるｎ行１列分のデータをＣｏｌｕｍｎ方向に配置する。
【００４７】
そして、前述のようにｎ×ｎウィンドウ処理における各回のデータを記憶手段３００に配置し、これをバーストアクセスで一度に読み込むことにより、ｎ×ｎウィンドウ処理を安価で勝つ高速に行うことができる。
【００４８】
次に、各画素がｎ個のチャネルを持ち、画素ごとにｎ個のデータを持っている場合のウィンドウ処理への対応について説明する。なお、画素ごとにｎ個のデータを持つようなデータの具体例としては、ＲＧＢ系のカラー画像、ＣＭＹＫ系のカラー画像などがある。
【００４９】
ここでは、画像処理部４００は、図２０に示すように、ｓｈｉｆｔｅｒ回路４０３の一段当たりが持つレジスタの個数は（３×ｎ）×２個であり、一次ウィンドウ処理用データおよび二次ウィンドウ処理用データに対して、それぞれｎチャネル分のデータを配置した構成となっている。
【００５０】
記憶手段３００でのデータの配列を図２１に示す。ここで、ウィンドウ処理用データは、一次ウィンドウ処理および二次ウィンドウ処理に対して、それぞれｎチャネル分のデータが必要となるため、図２１に示すように、一次ウィンドウ処理に対してｎチャネル、二次ウィンドウに対してｎチャネルのデータ配列をＣｏｌｕｍｎ方向に配置する。
【００５１】
このように記憶手段３００にデータを配置し、ｎチャネルを持つウィンドウ処理データをバーストアクセスで一度に読み込むことにより、ｎチャネルを持つウィンドウ処理を安価で勝つ高速に行うことができる。
【００５２】
【発明の効果】
以上のように、本発明によれば、各回のウィンドウ処理が並列に行われ、且つ記憶手段へのデータアクセスタイムが短くなるので、複数回のウィンドウ処理を安価でかつ高速に行うことが可能になるという有効な効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態におけるウィンドウ処理用の画像データ処理装置を示すブロック図
【図２】図１の画像データ処理装置におけるメモリ・コントロール部の構成を示すブロック図
【図３】図１の画像データ処理装置における画像処理部の構成を示すブロック図
【図４】図１の画像データ処理装置における記憶手段のメモリ・マップを示す説明図
【図５】画像データの画素配置を概念的に示す説明図
【図６】画像入力手段とメモリ・コントロール部と間の画像画素データ転送順序を示す説明図
【図７】従来の画像データ処理装置における記憶手段での入力画像配置を概念的に示す説明図
【図８】３×３のウィンドウ処理イメージを示す説明図
【図９】図８のウィンドウ処理に続く３×３のウィンドウ処理イメージを示す説明図
【図１０】従来の技術におけるウィンドウ画像処理データ取り込み時の記憶手段への発行コマンドを示す説明図
【図１１】図１の画像データ処理装置における記憶手段内のウィンドウ処理用データの配列イメージを示す説明図
【図１２】３×３ウィンドウ処理を２回行う場合の画像イメージを示す説明図
【図１３】ウィンドウ画像処理データ取り込み時の記憶手段への発行コマンドを示す説明図
【図１４】図３の画像処理部におけるｓｈｉｆｔｅｒ回路の詳細を示す説明図
【図１５】図１の画像データ処理装置の記憶手段におけるリング・バッファ的なデータ書き換えを示す説明図
【図１６】ｎ回のウィンドウ処理に対応する場合の画像処理部の構成を示すブロック図
【図１７】図１６の記憶手段内におけるウィンドウ処理用データの配列イメージ（ｎ次ウィンドウ処理）を示す説明図
【図１８】ｎ×ｎウィンドウ処理に対応する場合の画像処理部の構成を示すブロック図
【図１９】図１８の記憶手段内におけるウィンドウ処理用データの配列イメージ（ｎ×ｎウィンドウ処理）を示す説明図
【図２０】ｎチャネルを持つウィンドウ処理に対応する場合の画像処理部の構成を示すブロック図
【図２１】図２０の記憶手段内におけるウィンドウ処理用データの配列イメージ（ｎチャネルを持つウィンドウ処理）を示す説明図
【符号の説明】
１００ 画像入力手段（入力手段）
３００ 記憶手段
４００ 画像処理部
５００ ＣＰＵ（制御部）

Claims (3)

1. データを入力する入力手段と、
   入力された前記データを格納する記憶手段と、
   前記データに対するウィンドウ処理を行う画像処理部と、
   前記記憶手段内における前記データの格納順序を制御する制御部とを有し、
   前記制御部は、前記データに対して複数回のウィンドウ処理を行うときには、当該ウィンドウ処理に先立って、各回に処理される前記データを交互に前記記憶手段に格納することを特徴とする画像データ処理装置。
2. 前記ウィンドウ処理は、ｎ×ｎのウィンドウ処理であることを特徴とする請求項１記載の画像データ処理装置。
3. 前記ウィンドウ処理は、各画素がｎ個のチャネルを持ち、画素ごとにｎ個のデータを持っている場合のウィンドウ処理であることを特徴とする請求項１記載の画像データ処理装置。

Images