JP3630169B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3630169B2 JP3630169B2 JP26632593A JP26632593A JP3630169B2 JP 3630169 B2 JP3630169 B2 JP 3630169B2 JP 26632593 A JP26632593 A JP 26632593A JP 26632593 A JP26632593 A JP 26632593A JP 3630169 B2 JP3630169 B2 JP 3630169B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- dimensional
- spatial filter
- spatial
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Complex Calculations (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は画像処理方法及び装置に関し、更に詳しくは空間フィルタを用いた画像処理方法及び装置に関する。
【０００２】
【従来の技術】
画像処理をディジタル的に行なう画像処理装置においては、入力された画像の輪郭強調，ノイズ除去，ボケの解消等を行なうためにディジタルフィルタが用いられる。
【０００３】
各方向に対して設計した１次元フィルタを合成し２次元フィルタとする方法、及び２次元フィルタの縦続構成について次の従来技術が知られている（「２次元フィルタによるぼけ画像の復元」，谷萩隆嗣，野口孝樹，電子情報通信学会論文誌（Ｄ），Ｊ６４−Ｄ，２，Ｐ１５６〜Ｐ１６３）。この従来技術の内容は、以下のようなものである。
▲１▼与えられた２次元平面上のＰＳＦ（画像のぼけの原因となる点像分布関数）を、各放射方向の１次元直線上に分割する。
▲２▼１次元直線上の特性を補正する各方向の１次元フィルタを個別に設計する。
▲３▼全体の特性が与えられた２次元平面上の特性を補正するように各方向の１次元フィルタを合成し、２次元フィルタとする。
▲４▼更にこの２次元フィルタを多段にして、前段で補正できない部分を次段で補う。
【０００４】
また、ｚ変換で表される１次元フィルタを縦続構成にする方法として、次の技術が知られている（「画像のディジタル信号処理」，吹抜敬彦，日刊工業新聞社，Ｐ９６〜Ｐ９７）。その内容は、以下のようなものである。
▲１▼与えられた伝達関数を因数分解する。
▲２▼１次の項の積と２次の項の積に分けて縦続構成を作る。
【０００５】
図２３は従来装置の概念図である。図で１０は９×９の空間フィルタである。１１は１行分のデータを保持するラインメモリである。このラインメモリ１１は８個（空間フィルタ１０の全行数−１）設けられている。ラインメモリ１１により順次遅延された画像データが空間フィルタ１０に入るようになっている。
【０００６】
このように構成された装置において、図２４に示すような入力画像データを処理する場合を示す。画像データの横方向のデータＸ１１からＸ１ ｍが順次入力され、入力されたデータはラインメモリ１１に送られる。横方向１ラインの入力が終わると、次は２ライン目のデータＸ２１からＸ２ ｍが入力される。４ライン目までは、空間フィルタ１０にデータが入力されないで、ラインメモリ１１に順次送られる。そして、５ライン目のデータが入力されると、ラインメモリ１１のデータが空間フィルタ１０に入力され、フィルタリング（周波数処理のこと）が始まる。
【０００７】
空間フィルタ１０は、入力の画像データとラインメモリ１１からの出力データを受けて畳み込み演算（コンボルューション）を行なう。ここで、空間フィルタ１０の内部構成は図２５に示すようになっている。図２５において、２１は各行列要素の画像データを保持するフリップフロップ、２２は係数データを保持するレジスタ、２３はフリップフロップ２１からの画像データとレジスタ２２からの係数データを乗算する乗算器である。空間フィルタ１０内には、フリップフロップ２１，レジスタ２２及び乗算器２３よりなる演算ユニットが必要な数だけマトリクス状に設けられている。
【０００８】
２４は各乗算器２３の出力を全て受けて、その加算演算を行なう加算器である。このような空間フィルタの構成は、空間フィルタによる畳み込み演算が、離散時間領域における画像データとフィルタ係数との積の加算で得られることに基づくものである。ここで、レジスタ２２の係数は外部から変えることができ、フィルタの特性に応じて係数を変えることが可能である。
【０００９】
入力画像の９×９の領域の演算が終了したら、１列シフトした次の９×９領域に移動し、その領域の演算が行われる。このような操作を順次繰り返すことにより、図２４に示す全体の画像のフィルタリングされた結果が出力画像として得られる。
【００１０】
【発明が解決しようとする課題】
前述した従来の技術では、２次元空間フィルタの次数が高次になると演算量が多くなる。例えば、図２３の９×９空間フィルタの乗算回数は８１である。一般に、Ｎ×Ｎの２次元空間フィルタでは、Ｎ×Ｎ回の乗算（畳み込み演算に相当する乗算）を行なう必要がある。このため、回路規模が大きくなると共に、演算量が増え、処理時間が長くなってしまう。
【００１１】
本発明はこのような課題に鑑みてなされたものであって、演算量を低減させて処理の高速化を図ると共に、回路規模を縮小することができる画像処理方法及び装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
前記した課題を解決する本発明は、各方向の高次の零位相１次元フィルタを設計して伝達関数として与える伝達関数入力部と、該伝達関数入力部から入力される伝達関数を因数分解して低次の１次元フィルタに分割するフィルタ分割部と、該フィルタ分割部の出力を受けて、ある方向の前記低次の１次元フィルタと、それと異なる方向の低次の１次元フィルタから２次元の空間フィルタを合成するフィルタ合成部と、該フィルタ合成部により合成された２次元の空間フィルタの縦続構成により、入力画像のフィルタリングを行なう空間フィルタを具備し、該空間フィルタでの畳み込み演算を整数演算で行なう場合に、前記２次元空間フィルタの構成として、空間フィルタ間の画像データ転送を入力画像の１．５倍以上のデータ語長（ビットサイズ）で行なうことを特徴としている。
【００１３】
【作用】
フィルタ分割部で高次の１次元フィルタを低次の１次元フィルタに分割し、分割された低次の１次元フィルタをフィルタ合成部で合成して２次元フィルタを得るようにする。そして、得られた２次元空間フィルタを縦続構成とする。これにより、演算量が減るため、処理時間の高速化が図れ、かつ回路規模も縮小することができる。なお、ここで高次と低次と言っているのは、あくまで相対的なものであり、何次以上が高次であり、何次以下が低次と定義できるような性質のものではない。
【００１４】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
図１は本発明方法の原理を示すフローチャート、図２は本発明装置の一実施例を示す構成ブロック図である。図２において、１は高次の１次元フィルタを設計して、伝達関数として与える伝達関数入力部、２は該伝達関数入力部１から入力される伝達関数を低次の１次元フィルタに分割するフィルタ分割部、３は該フィルタ分割部２の出力を受けて、２次元の空間フィルタを合成するフィルタ合成部、４は該フィルタ合成部３により合成された２次元の空間フィルタ４Ａの縦続構成よりなり、入力画像のフィルタリングを行なう空間フィルタである。ここで、伝達関数とは、フィルタのインパルス応答のｚ変換をいう。このように構成された装置の動作を説明すれば、以下のとおりである。
【００１５】
図３は伝達関数入力部１から入力される８次の零位相１次元フィルタの係数の構成例を示す図である。この係数により実現され、図４に示すような振幅周波数特性を持つ１次元フィルタは、ｚ変換により次式で表される。
【００１６】
【数１】
【００１７】
図４に示す特性は、１次元フィルタの空間周波数特性例を示す図である。横軸は正規化された周波数［ｃｙｃｌｅｓ／ｍｍ］、縦軸は振幅である。伝達関数入力部１は、フィルタ分割部２に対して（１）式で表される高次の１次元フィルタの伝達関数を入力する。この時の伝達関数の決定方法としては、例えば人間の眼の分解能や画像の空間周波数特性を重み係数に用いた重み付き最小２乗法を用いることができる。
【００１８】
フィルタ分割部２は、以下のようにして入力された高次の１次元フィルタを低次の１次元フィルタに分割する。フィルタ分割部２は、（１）式で表される伝達関数を４次対象形の伝達関数に因数分解する。その結果は、次式のようになる。
【００１９】
【数２】
【００２０】
この伝達関数で表されるフィルタを水平方向，垂直方向に対して動作させるため、水平方向，垂直方向に対する１次元の伝達関数をＨ（ｚ），Ｖ（ｚ）として、フィルタ分割部２は１次元フィルタの伝達関数Ｈ（ｚ），Ｖ（ｚ）を以下に示すように与える。
【００２１】
【数３】
【００２２】
【数４】
【００２３】
この実施例では、水平方向及び垂直方向の特性が同じになっている。このようにして分割されたフィルタの伝達関数は、フィルタ合成部３に通知される。フィルタ合成部３では、分割された１次元フィルタを合成し、画像の水平方向及び垂直方向に対する２次元空間フィルタを合成する。
【００２４】
具体的には、（３）式のＦ１部と（４）式のＦ１部の係数を乗算して、図５の（ａ）に示すような５×５の係数マトリクスを得る。また、（３）式のＦ２部と（４）式のＦ２部の係数を乗算して、図５の（ｂ）に示すような５×５の係数マトリクスを得る。
【００２５】
これら係数マトリクスにそれぞれの係数の実際の値を代入すれば、２次元空間フィルタの構成は図６に示すようなものとなる。同図の（ａ）は図５の（ａ）に対応しており、（ｂ）は図５の（ｂ）に対応している。（ａ）に示す２次元フィルタを前段に、（ｂ）に示す２次元フィルタを後段に用い（或いはその逆も可能）、これらを縦続接続すれば、図７に示すような縦続構成の２次元空間フィルタが得られる。
【００２６】
このようにして、低次の２次元空間フィルタの縦続構成が実現されると、図２に示す空間フィルタ４が実現できる。この空間フィルタ４に入力された入力画像は、フィルタリングされ、所望の目的の特性を持つ出力画像が得られる。
【００２７】
次に、フィルタ分割部２におけるフィルタの分割方法について説明する。伝達関数入力部１より（１）式の伝達関数が入力された時、（１）式の文字を置き換えて、
【００２８】
【数５】
【００２９】
とする。ここで、高次の１次元フィルタが４Ｋ（Ｋ＝２，３…）次の零位相フィルタの時、フィルタ分割部２は、これを４次の零位相フィルタに分割する。フィルタ分割部２の動作は以下のとおりである。ここで、（５）式の伝達関数の零点を求めて伝達関数を因数分解する。伝達関数の零点は、（５）式をｆ（ｘ）＝０とした時の解である。ここで、ｆ（ｘ）＝０の解を
ｘ１ ，ｘ２ ，ｘ３ ，ｘ４ ，ｘ５ ，ｘ６ ，ｘ７ ，ｘ８ とおき、（５）式を
【００３０】
【数６】
【００３１】
のようにｘの１次の項に因数分解する。更に、解が
ｘ１ ＝−１．３８１８８８ｅ＋００
ｘ２ ＝−２．４１２５６０ｅ＋０１
ｘ３ ＝２．８６２１５１ｅ＋００＋ｊ２．８２８２２７ｅ＋００
ｘ４ ＝２．８６２１５１ｅ＋００−ｊ２．８２８２２７ｅ＋００
ｘ５ ＝１．７６７７６７ｅ−０１＋ｊ１．７４６８１４ｅ−０１
ｘ６ ＝１．７６７７６７ｅ−０１−ｊ１．７４６８１４ｅ−０１
ｘ７ ＝−４．１４４９７５ｅ−０２
ｘ８ ＝−７．２３６４７８ｅ−０１
のように求まると、（６）式は複素共役となる解を組み合わせて、
【００３２】
【数７】
【００３３】
とｘの２次の項で表わす。更に、２次の項を係数が対称形になるように組み合わせて
【００３４】
【数８】
【００３５】
のように対称形の４次の項にする。ここで、（１）式の伝達関数はａ４ を因数の中に入れ込んで、
【００３６】
【数９】
【００３７】
とする。ここで、４次の偶対称形とは、例えば、
ａ２ ａ１ ａ０ ａ１ ａ２
のように、フィルタ係数の中央の値ａ０ を中心として、係数が左右対称の形をしたものをいう。このように、同じ次数（４次）の零位相フィルタに分割できる。後は、フィルタ合成部３が、（３）式，（４）式に示すようにこの（９）式を水平方向，垂直方向の伝達関数として４次の零位相１次元フィルタを組み合わせて、２次元の空間フィルタとすることができる。
【００３８】
次に、４次の零位相フィルタの他の作成方法（ベアストウ法）について説明する。ベアストウ法は、（５）式をｘの２次の項に因数分解し、その因数分解されたｘの２次の項から解を求める手法である。（５）式を
【００３９】
【数１０】
【００４０】
とｘの２次の項に分割する。そして、Ｒ＝Ｓ＝０となる実数ｐ，ｑ，ｒを求める。ここで、実数ｐ，ｑ，ｒが求まると、次は、（１０）式の一部である
【００４１】
【数１１】
【００４２】
に注目し、更にこれをｘの２次の項に分割する。このような操作を繰り返すことにより、（５）式はｘの２次の項に因数分解され、
【００４３】
【数１２】
【００４４】
となる。ここで、係数が偶対称形となるようにｘの２次の項を組み合わせて（９）式の伝達関数を求めると、（９）式の係数は、それぞれ以下のようになる。
ｂ０ ＝４．９２２７１３ｅ−０１
ｂ１ ＝２．４４５５６０ｅ−０１
ｂ２ ＝９．３０８４１２ｅ−０３
ｃ０ ＝２．２５０６００ｅ＋００
ｃ１ ＝７．４８４４２４ｅ−０１
ｃ２ ＝１．２３１４２５ｅ−０１
フィルタ合成部３は、このようにして実現された低次の１次元フィルタを水平方向及び垂直方向のそれぞれに対して、組み合わせて２次元の空間フィルタを実現する。
【００４５】
次に、従来の技術による２次元フィルタと縦続構成の２次元フィルタの演算量について比較する。図８は演算量の比較を示す図である。それぞれ従来技術と本発明のそれぞれについて、乗算回数と加算回数を示している。図において、Ｍは対象画像の縦横１ラインの画素数、Ｎは縦続構成の各フィルタの縦横１ラインの係数の数、Ｋは縦続の段数である。ここで、例えば、Ｍ＝１２８，Ｎ＝３，Ｋ＝３とすると、具体的な乗算回数と加算回数は図９に示すようなものとなる。本発明によれば従来の約５５％で演算が可能となることが分かる。更に、高次の１次元フィルタを低次の１次元フィルタに分割し、同じ次数の２次元フィルタで縦続構成することにより、回路構成が簡単になり、乗算回数も減り、高速の処理が可能となる。
【００４６】
なお、（３）式，（４）式の１次元フィルタの合成は、組み合わせる伝達関数を変えて、図１０に示すようにすることもできる。この場合は、（３）式のＦ１と（４）式のＦ２、（３）式のＦ２と（４）式のＦ１とを組み合わせたものである。
【００４７】
前述した、画像の各方向に対して設計した１次元フィルタの合成法は、各方向の１次元フィルタを空間周波数上で組み合わせ、空間周波数特性が決まらない領域は、補間により求めるようにすることもできる。例えば、図１１に示すように、水平方向，垂直方向及び斜め方向の空間周波数特性が決まっている時（図の斜線部分）、その他の領域（図の白部分）の特性は補間により求める。
【００４８】
画像の全ての方向に対して同じ１次元フィルタを動作させたい場合には、設計した高次の１次元フィルタを因数分解により低次の１次元フィルタに分割して、分割された１次元フィルタをそれぞれマクレラン変換により２次元空間フィルタに拡張し、縦続構成にすることができる（マクレラン変換については、「ディジタルフィルタの設計」，式部幹，東海大学出版会，Ｐ２１０〜Ｐ２３１に記載されている）。
【００４９】
なお、図２の空間フィルタの構成としては、図７に示す構成に加えて、中央値フィルタ，シグマフィルタ等の非線形フィルタを組み合わせるようにしてもよい。図１２に示す実施例は、２次元空間フィルタの縦続構成に中央値フィルタを縦続接続した例を示している。
【００５０】
次に、縦続構成による２次元空間フィルタの畳み込み演算を整数演算で行なう場合のデータ語長をどのようにして決定すればよいか検討する。入力画像は、２次元空間フィルタにより処理（畳み込み演算）されると、画像データのダイナミックレンジが拡大する。このため、２次元空間フィルタ間の受け渡し語長は十分大きくとっておかなければならない。しかしながら、次段の２次元空間フィルタに入力できる画像データの語長も制限されるため、受け渡し語長も制限が必要となる。ここで、視覚的に影響がないように受け渡し語長を確保するとして、次段の入力画像のデータ語長は、実験した結果、前段のそれの１．５倍以上の語長にすればよいことが分かった。
【００５１】
以下、その実験について説明する。例として、図７に示すような２次元空間フィルタの縦続構成の場合について考えるものとする。図７に示すシステムで、整数型で語長制限を行った出力画像と、浮動小数点の３２ビットで計算した出力画像の比較を行なう。前者を語長制限あり、後者を語長制限なしと呼ぶことにする。
【００５２】
語長制限ありは、２次元空間フィルタの内部演算を整数型３２ビット、受け渡し語長とフィルタ係数語長を整数型で図１３に示すように決める。図に示すように、ここでは受け渡し語長とフィルタ係数語長として５組を用いた。これに対して、語長制限なしは、内部演算・受け渡し・フィルタ係数を浮動小数点３２ビットとする。また、入力画像を整数型の８ビットとし、縦続構成の２次元空間フィルタの振幅周波数特性を図４に示すローパス特性とする。
【００５３】
縦続の各フィルタの振幅周波数特性は、図４の特性を図１４に示すように２つの特性ｆ１とｆ２に分解し、前段を振幅周波数特性の高いフィルタ、後段を振幅周波数特性の低いフィルタとする。図において、ｆ１が振幅周波数特性の高いフィルタ、ｆ２が振幅周波数特性の低いフィルタである。これらｆ１とｆ２を乗算すると、図４に示す周波数特性のフィルタとなる。
【００５４】
この縦続構成の空間フィルタに一般的な画像を入力し、語長制限なしと語長制限ありの出力画像で誤差を計算する。そして、誤差画像をノイズとしてＳＮ比で表わすと、図１５に示すような実験データが得られた。図１５において、横軸はフィルタ係数語長［ビット］、縦軸はＳＮ比を示すＳＮＲ［ｄＢ］である。ここで、ＳＮＲは
【００５５】
【数１３】
【００５６】
で表される。図１５より明らかなように、語長制限ありの出力画像は、受け渡し語長８，９ビットの時に著しく画像が劣化することが分かる。これより、受け渡し語長は、１２ビット以上とするのが妥当である。つまり、入力画像８ビットに対して１２ビットの語長であるから、後段の空間フィルタの語長は、前段の空間フィルタの語長の少なくとも１．５倍以上あればよいことになる。このように空間フィルタを設計すれば、語長制限による画像の劣化を軽減することができる。
【００５７】
また、語長制限によるフィルタの劣化を防ぐ方法として、異なる方向（例えば水平方向と垂直方向）の分割された低次の１次元フィルタの合成において、それぞれのフィルタ係数の２乗和を調べ、その値が近いもの同士を組み合わせる。その理由は、フィルタ係数の２乗和が小さいフィルタは、語長制限による特性の劣化が大きいため、劣化が大きいもの同士で組み合わせた方が全体としての結果はよくなるためである。
【００５８】
ここで、２次元空間フィルタの配置について説明する。縦続構成の２次元フィルタの配置は、各フィルタの直流成分を１に正規化し、フィルタ係数の２乗和が大きいものを入力側へ、小さいものを出力側へ配置する。その理由は、前段でオーバフロさせて方が後段でオーバフローさせるよりも結果がよくなるからである。
【００５９】
もう少し、詳しく説明する。フィルタ係数の２乗和が小さいものを前段に持ってくると、フィルタ係数のビット落ちにより、出力画像データが０かそれに近い値となり、画像情報が失われてしまう。それに対して、２乗和が大きいフィルタでは、オーバフローは起こるが、画像情報は失われることはないので、処理結果がよくなる。例えば、空間フィルタ１の２乗和が０．１３１１となる時、空間フィルタ２の２乗和は３８．６３６９となる。これより、空間フィルタ２を縦続構成の前段に、空間フィルタ１を後段に配置する。
【００６０】
次に、図７に示すような空間フィルタの縦続構成を、１個の空間フィルタで実現する構成について説明する。前述したように、本発明は、図２３に示す９×９の空間フィルタを、これと等価な５×５の２個のフィルタに分割し、計算量を減らすものである。５×５の空間フィルタの縦続構成は、図１６に示す通りである。それぞれの５×５空間フィルタ３０は、その前段に４個のラインメモリ３１を持ち、これらが縦続接続されている。この構成では、乗算器の数が８１から５０に減少している。
【００６１】
図１７は本発明に係わる空間フィルタの一実施例を示す構成ブロック図である。図に示す実施例は、図１６に示す空間フィルタと等価な回路である。図１６と同一のものは、同一の符号を付して示す。図において、３０は本発明により実現された５×５の空間フィルタである。この空間フィルタ３０内には、前段の空間フィルタとして動作する時の係数と、後段のフィルタとして動作する時の係数が内蔵されている。３１は該空間フィルタ３０の前段に設けられたラインメモリである。ＳＷ１は、ラインメモリ３１と空間フィルタ３０の間に設けられた入力切り替え用のスイッチである。該ＳＷ１は、その一方の接点がラインメモリ３１と接続され、他方の接点がフィードバック線と接続されている。
【００６２】
３２は空間フィルタ３０の後段に設けられたラインメモリである。その構成は、前段のラインメモリ３１と同様である。ＳＷ２は、空間フィルタ３０とラインメモリ３２の間に設けられた切り替えスイッチである。該スイッチＳＷ２の一方の接点はラインメモリ３２と接続され、他方の接点は出力線と接続されている。このように構成されたフィルタの動作を説明すれば、以下のとおりである。
【００６３】
この回路は、画像データが１ライン入力される毎にスイッチＳＷ１，ＳＷ２が切り替わるようになっている。先ず、画像データが入力されると、図に示すように、スイッチＳＷ１，ＳＷ２は全てその接点が上向きになる。この結果、空間フィルタ３０の入力部では、ＳＷ１は入力画像データ及び各ラインメモリ３１の出力を空間フィルタ３０に与える。一方、空間フィルタ３０の出力部では、ＳＷ２はその出力を空間フィルタ３０に与える。この状態では、前段のフィルタ係数で畳み込み演算が行われ、その出力データが出力側のラインメモリ３２に保持される。
【００６４】
次に、１ラインの画像データが入力し終わると、ＳＷ１，ＳＷ２は全てその接点が下向きになり、図１８のようになる。この状態では、後段のフィルタ係数で畳み込み演算が行われ、その結果が回路の出力となる。ここで、フィルタ係数の切り替えは、スイッチＳＷ１，ＳＷ２の切り替えと同時に行われる。
【００６５】
ここで、係数の設定について説明する。前述したように、空間フィルタ３０の内部に２組のレジスタ２２（図２５参照）を用意しておき、これをＳＷ１，ＳＷ２の切り替えに同期させて切り替えるようにする。或いは、ＳＷ１，ＳＷ２の切り替えに同期させて、レジスタ２２に与える係数を外部から書き替えるようにしてもよい。
【００６６】
なお、一般にＫ段の縦続接続を行なう場合は、図１９に示すように、出力側のラインメモリ３２を（Ｋ−１）組設け、空間フィルタ３０の前後にＫ：１のスイッチＳＷ１，ＳＷ２を配置すればよい。なお、ラインメモリ３１，３２としては、ＦＩＦＯ（ファーストイン・ファーストアウト）形式のバッファが用いられる。なお、図の太い実線は、ラインメモリの出力を省略したことを表している。
【００６７】
上述した空間フィルタは、５×５の空間フィルタ３０を１個で済ます構成であった。ラインメモリの構成を工夫すれば、ラインメモリも前段と後段にそれぞれ設ける必要はなく、１組で済ますことができる。
【００６８】
図２０は空間フィルタの他の実施例を示す構成ブロック図である。図１７と同一のものは、同一の符号を付して示す。図において、３０は５×５の空間フィルタである。その内部には、前段用と後段用のフィルタ係数を保持するレジスタが内蔵されているものとする。３５は空間フィルタ３０の入力部に設けられたラインメモリである。このラインメモリでは、初段のラインメモリの容量が２段目から５段目までのラインメモリの容量の半分になっている。ＳＷ３は、入力信号とフィードバック信号の切り替えを行なうスイッチである。スイッチＳＷ３の一方の入力には、入力画像データが入力され、他方の入力には空間フィルタ３０の出力が入力されている。このように構成された回路の動作を説明すれば以下のとおりである。
【００６９】
ここで、画像データの横方向の１ラインをｘｉで表わし、縦続構成の前段の空間フィルタの出力をｙｉ，回路の出力をｚｉで表わす。また、図２０の回路のラインメモリ３５を上から順にラインメモリ１，２，３，４，５と呼ぶことにする。この回路は、ラインメモリ２，３，４，５がラインメモリ１の２倍の容量を持ち、図１７の回路の出力側のラインメモリを兼用している。スイッチＳＷ３は、画像１ライン分の処理が終わる毎に切り替わる。
【００７０】
先ず、初期設定として、図２１の（ａ）に示すように画像データの３ライン（ｘ１ ，ｘ２ ，ｘ３ ）を入力する。この時、スイッチＳＷ３は上側に接続されている。従って、入力画像データがラインメモリ３５に入ることになる。３ラインの入力が終わると、次はスイッチＳＷ３は下側に接続されラインメモリ３５のデータを空間フィルタ３０に入力する。空間フィルタ３０の出力段に接続されたスイッチＳＷ４は、そのまま出力として出すか、入力にフィードバックするかを切り替えるものである。
【００７１】
空間フィルタ３０の出力はラインメモリ１に入力される。そして、１ライン分の処理が終わると、図２１の（ｂ）に示すように縦続構成の前段に相当するフィルタの出力ｙ１ がラインメモリ１に入力される。
【００７２】
次に、スイッチＳＷ３は上側に接続され、画像データがラインメモリ３５に入力される。この時、空間フィルタ３０には前段の出力ｙ１ が入力され、フィルタ係数は縦続構成の後段のものに切り替わる。このような操作を順次繰り返すと、図２１の（ｃ）に示すように、ｙ１ がラインメモリ３にきた時、この回路の１ライン目の出力ｚ１ が出力される（図２１の（ｄ））。ラインメモリ３５を空間フィルタ３０の入力段のＦＩＦＯとしても、また出力段のＦＩＦＯとしても用いるため、そのラインメモリ３５内のデータは、画像入力データｘｉと前段の出力ｙｉとが図に示すように縦方向に揃っている必要がある。
【００７３】
以上の動作を一般的に表わすと、ｉライン目の回路の出力は図２１の（ｅ）に示すようになる。前段と後段のフィルタ係数の切り替えは、スイッチＳＷ３の切り替えと同時に行われ、スイッチＳＷ３が上側に接続されている時は、前段のフィルタ係数、下側に接続されている時は後段のフィルタ係数が使用される。
【００７４】
図２２は空間フィルタの一般的な構成例を示す図である。一般に、Ｋ段の縦続接続を行なう場合、図に示すようにラインメモリ１を（Ｋ−１）ライン分の長さとし、他のラインメモリ２〜５はＫライン分の長さとすればよい。
【００７５】
前述の実施例では、９×９の２次元空間フィルタを５×５の低次の２次元空間フィルタに分割する場合について説明した。しかしながら、本発明はこれに限るものではなく、高次の２次元フィルタの構成は９×９に限るものではなく、任意の数ＭのＭ×Ｍのマトリクスであってよい。また、この高次の２次元フィルタから分割される低次の２次元フィルタの大きさは、５×５に限るものではない。
【００７６】
更に、図２２に示した空間フィルタは、ハードウェアで実現する他に、コンピュータのバッファやＤＳＰ（ディジタル・シグナル・プロセッサ）を用いることにより、ソフトウェアでも実現することができる。
【００７７】
【発明の効果】
以上、詳細に説明したように、本発明によれば高次の２次元空間フィルタを低次の２次元空間フィルタに分割することにより、演算量を低減させて処理の高速化を図ると共に、回路規模を縮小することができる画像処理方法及び装置を提供することができ、実用上の効果が大きい。
【図面の簡単な説明】
【図１】本発明方法の原理を示すフローチャートである。
【図２】本発明装置の一実施例を示す構成ブロック図である。
【図３】本発明で用いる８次の零位相フィルタの係数の構成例を示す図である。
【図４】１次元フィルタの空間周波数特性例を示す図である。
【図５】２次元空間フィルタのマトリクス構成例を示す図である。
【図６】２次元空間フィルタの係数の具体的構成例を示す図である。
【図７】２次元フィルタの縦続構成を示す図である。
【図８】演算量の比較を示す図である。
【図９】具体的な演算量の比較を示す図である。
【図１０】２次元空間フィルタのマトリクスの他の構成例を示す図である。
【図１１】空間周波数特性の補間の説明図である。
【図１２】空間フィルタの縦続構成の他の例を示す図である。
【図１３】受け渡し語長と係数語長の関係を示す図である。
【図１４】振幅周波数特性の分解の様子を示す図である。
【図１５】出力画像の誤差を示す図である。
【図１６】５×５空間フィルタの縦続構成を示す図である。
【図１７】本発明に係わる空間フィルタの一実施例を示す構成ブロック図である。
【図１８】本発明の動作説明図である。
【図１９】一般的な空間フィルタの構成例を示す図である。
【図２０】空間フィルタの他の実施例を示す構成ブロック図である。
【図２１】空間フィルタの動作を示す図である。
【図２２】空間フィルタの一般的な構成例を示す図である。
【図２３】従来装置の概念図である。
【図２４】入力画像データ例を示す図である。
【図２５】空間フィルタの内部構成例を示す図である。
【符号の説明】
１ 伝達関数入力部
２ フィルタ分割部
３ フィルタ合成部
４ ２次元空間フィルタ
【産業上の利用分野】
本発明は画像処理方法及び装置に関し、更に詳しくは空間フィルタを用いた画像処理方法及び装置に関する。
【０００２】
【従来の技術】
画像処理をディジタル的に行なう画像処理装置においては、入力された画像の輪郭強調，ノイズ除去，ボケの解消等を行なうためにディジタルフィルタが用いられる。
【０００３】
各方向に対して設計した１次元フィルタを合成し２次元フィルタとする方法、及び２次元フィルタの縦続構成について次の従来技術が知られている（「２次元フィルタによるぼけ画像の復元」，谷萩隆嗣，野口孝樹，電子情報通信学会論文誌（Ｄ），Ｊ６４−Ｄ，２，Ｐ１５６〜Ｐ１６３）。この従来技術の内容は、以下のようなものである。
▲１▼与えられた２次元平面上のＰＳＦ（画像のぼけの原因となる点像分布関数）を、各放射方向の１次元直線上に分割する。
▲２▼１次元直線上の特性を補正する各方向の１次元フィルタを個別に設計する。
▲３▼全体の特性が与えられた２次元平面上の特性を補正するように各方向の１次元フィルタを合成し、２次元フィルタとする。
▲４▼更にこの２次元フィルタを多段にして、前段で補正できない部分を次段で補う。
【０００４】
また、ｚ変換で表される１次元フィルタを縦続構成にする方法として、次の技術が知られている（「画像のディジタル信号処理」，吹抜敬彦，日刊工業新聞社，Ｐ９６〜Ｐ９７）。その内容は、以下のようなものである。
▲１▼与えられた伝達関数を因数分解する。
▲２▼１次の項の積と２次の項の積に分けて縦続構成を作る。
【０００５】
図２３は従来装置の概念図である。図で１０は９×９の空間フィルタである。１１は１行分のデータを保持するラインメモリである。このラインメモリ１１は８個（空間フィルタ１０の全行数−１）設けられている。ラインメモリ１１により順次遅延された画像データが空間フィルタ１０に入るようになっている。
【０００６】
このように構成された装置において、図２４に示すような入力画像データを処理する場合を示す。画像データの横方向のデータＸ１１からＸ１ ｍが順次入力され、入力されたデータはラインメモリ１１に送られる。横方向１ラインの入力が終わると、次は２ライン目のデータＸ２１からＸ２ ｍが入力される。４ライン目までは、空間フィルタ１０にデータが入力されないで、ラインメモリ１１に順次送られる。そして、５ライン目のデータが入力されると、ラインメモリ１１のデータが空間フィルタ１０に入力され、フィルタリング（周波数処理のこと）が始まる。
【０００７】
空間フィルタ１０は、入力の画像データとラインメモリ１１からの出力データを受けて畳み込み演算（コンボルューション）を行なう。ここで、空間フィルタ１０の内部構成は図２５に示すようになっている。図２５において、２１は各行列要素の画像データを保持するフリップフロップ、２２は係数データを保持するレジスタ、２３はフリップフロップ２１からの画像データとレジスタ２２からの係数データを乗算する乗算器である。空間フィルタ１０内には、フリップフロップ２１，レジスタ２２及び乗算器２３よりなる演算ユニットが必要な数だけマトリクス状に設けられている。
【０００８】
２４は各乗算器２３の出力を全て受けて、その加算演算を行なう加算器である。このような空間フィルタの構成は、空間フィルタによる畳み込み演算が、離散時間領域における画像データとフィルタ係数との積の加算で得られることに基づくものである。ここで、レジスタ２２の係数は外部から変えることができ、フィルタの特性に応じて係数を変えることが可能である。
【０００９】
入力画像の９×９の領域の演算が終了したら、１列シフトした次の９×９領域に移動し、その領域の演算が行われる。このような操作を順次繰り返すことにより、図２４に示す全体の画像のフィルタリングされた結果が出力画像として得られる。
【００１０】
【発明が解決しようとする課題】
前述した従来の技術では、２次元空間フィルタの次数が高次になると演算量が多くなる。例えば、図２３の９×９空間フィルタの乗算回数は８１である。一般に、Ｎ×Ｎの２次元空間フィルタでは、Ｎ×Ｎ回の乗算（畳み込み演算に相当する乗算）を行なう必要がある。このため、回路規模が大きくなると共に、演算量が増え、処理時間が長くなってしまう。
【００１１】
本発明はこのような課題に鑑みてなされたものであって、演算量を低減させて処理の高速化を図ると共に、回路規模を縮小することができる画像処理方法及び装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
前記した課題を解決する本発明は、各方向の高次の零位相１次元フィルタを設計して伝達関数として与える伝達関数入力部と、該伝達関数入力部から入力される伝達関数を因数分解して低次の１次元フィルタに分割するフィルタ分割部と、該フィルタ分割部の出力を受けて、ある方向の前記低次の１次元フィルタと、それと異なる方向の低次の１次元フィルタから２次元の空間フィルタを合成するフィルタ合成部と、該フィルタ合成部により合成された２次元の空間フィルタの縦続構成により、入力画像のフィルタリングを行なう空間フィルタを具備し、該空間フィルタでの畳み込み演算を整数演算で行なう場合に、前記２次元空間フィルタの構成として、空間フィルタ間の画像データ転送を入力画像の１．５倍以上のデータ語長（ビットサイズ）で行なうことを特徴としている。
【００１３】
【作用】
フィルタ分割部で高次の１次元フィルタを低次の１次元フィルタに分割し、分割された低次の１次元フィルタをフィルタ合成部で合成して２次元フィルタを得るようにする。そして、得られた２次元空間フィルタを縦続構成とする。これにより、演算量が減るため、処理時間の高速化が図れ、かつ回路規模も縮小することができる。なお、ここで高次と低次と言っているのは、あくまで相対的なものであり、何次以上が高次であり、何次以下が低次と定義できるような性質のものではない。
【００１４】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
図１は本発明方法の原理を示すフローチャート、図２は本発明装置の一実施例を示す構成ブロック図である。図２において、１は高次の１次元フィルタを設計して、伝達関数として与える伝達関数入力部、２は該伝達関数入力部１から入力される伝達関数を低次の１次元フィルタに分割するフィルタ分割部、３は該フィルタ分割部２の出力を受けて、２次元の空間フィルタを合成するフィルタ合成部、４は該フィルタ合成部３により合成された２次元の空間フィルタ４Ａの縦続構成よりなり、入力画像のフィルタリングを行なう空間フィルタである。ここで、伝達関数とは、フィルタのインパルス応答のｚ変換をいう。このように構成された装置の動作を説明すれば、以下のとおりである。
【００１５】
図３は伝達関数入力部１から入力される８次の零位相１次元フィルタの係数の構成例を示す図である。この係数により実現され、図４に示すような振幅周波数特性を持つ１次元フィルタは、ｚ変換により次式で表される。
【００１６】
【数１】
図４に示す特性は、１次元フィルタの空間周波数特性例を示す図である。横軸は正規化された周波数［ｃｙｃｌｅｓ／ｍｍ］、縦軸は振幅である。伝達関数入力部１は、フィルタ分割部２に対して（１）式で表される高次の１次元フィルタの伝達関数を入力する。この時の伝達関数の決定方法としては、例えば人間の眼の分解能や画像の空間周波数特性を重み係数に用いた重み付き最小２乗法を用いることができる。
【００１８】
フィルタ分割部２は、以下のようにして入力された高次の１次元フィルタを低次の１次元フィルタに分割する。フィルタ分割部２は、（１）式で表される伝達関数を４次対象形の伝達関数に因数分解する。その結果は、次式のようになる。
【００１９】
【数２】
この伝達関数で表されるフィルタを水平方向，垂直方向に対して動作させるため、水平方向，垂直方向に対する１次元の伝達関数をＨ（ｚ），Ｖ（ｚ）として、フィルタ分割部２は１次元フィルタの伝達関数Ｈ（ｚ），Ｖ（ｚ）を以下に示すように与える。
【００２１】
【数３】
【数４】
この実施例では、水平方向及び垂直方向の特性が同じになっている。このようにして分割されたフィルタの伝達関数は、フィルタ合成部３に通知される。フィルタ合成部３では、分割された１次元フィルタを合成し、画像の水平方向及び垂直方向に対する２次元空間フィルタを合成する。
【００２４】
具体的には、（３）式のＦ１部と（４）式のＦ１部の係数を乗算して、図５の（ａ）に示すような５×５の係数マトリクスを得る。また、（３）式のＦ２部と（４）式のＦ２部の係数を乗算して、図５の（ｂ）に示すような５×５の係数マトリクスを得る。
【００２５】
これら係数マトリクスにそれぞれの係数の実際の値を代入すれば、２次元空間フィルタの構成は図６に示すようなものとなる。同図の（ａ）は図５の（ａ）に対応しており、（ｂ）は図５の（ｂ）に対応している。（ａ）に示す２次元フィルタを前段に、（ｂ）に示す２次元フィルタを後段に用い（或いはその逆も可能）、これらを縦続接続すれば、図７に示すような縦続構成の２次元空間フィルタが得られる。
【００２６】
このようにして、低次の２次元空間フィルタの縦続構成が実現されると、図２に示す空間フィルタ４が実現できる。この空間フィルタ４に入力された入力画像は、フィルタリングされ、所望の目的の特性を持つ出力画像が得られる。
【００２７】
次に、フィルタ分割部２におけるフィルタの分割方法について説明する。伝達関数入力部１より（１）式の伝達関数が入力された時、（１）式の文字を置き換えて、
【００２８】
【数５】
とする。ここで、高次の１次元フィルタが４Ｋ（Ｋ＝２，３…）次の零位相フィルタの時、フィルタ分割部２は、これを４次の零位相フィルタに分割する。フィルタ分割部２の動作は以下のとおりである。ここで、（５）式の伝達関数の零点を求めて伝達関数を因数分解する。伝達関数の零点は、（５）式をｆ（ｘ）＝０とした時の解である。ここで、ｆ（ｘ）＝０の解を
ｘ１ ，ｘ２ ，ｘ３ ，ｘ４ ，ｘ５ ，ｘ６ ，ｘ７ ，ｘ８ とおき、（５）式を
【００３０】
【数６】
のようにｘの１次の項に因数分解する。更に、解が
ｘ１ ＝−１．３８１８８８ｅ＋００
ｘ２ ＝−２．４１２５６０ｅ＋０１
ｘ３ ＝２．８６２１５１ｅ＋００＋ｊ２．８２８２２７ｅ＋００
ｘ４ ＝２．８６２１５１ｅ＋００−ｊ２．８２８２２７ｅ＋００
ｘ５ ＝１．７６７７６７ｅ−０１＋ｊ１．７４６８１４ｅ−０１
ｘ６ ＝１．７６７７６７ｅ−０１−ｊ１．７４６８１４ｅ−０１
ｘ７ ＝−４．１４４９７５ｅ−０２
ｘ８ ＝−７．２３６４７８ｅ−０１
のように求まると、（６）式は複素共役となる解を組み合わせて、
【００３２】
【数７】
とｘの２次の項で表わす。更に、２次の項を係数が対称形になるように組み合わせて
【００３４】
【数８】
のように対称形の４次の項にする。ここで、（１）式の伝達関数はａ４ を因数の中に入れ込んで、
【００３６】
【数９】
とする。ここで、４次の偶対称形とは、例えば、
ａ２ ａ１ ａ０ ａ１ ａ２
のように、フィルタ係数の中央の値ａ０ を中心として、係数が左右対称の形をしたものをいう。このように、同じ次数（４次）の零位相フィルタに分割できる。後は、フィルタ合成部３が、（３）式，（４）式に示すようにこの（９）式を水平方向，垂直方向の伝達関数として４次の零位相１次元フィルタを組み合わせて、２次元の空間フィルタとすることができる。
【００３８】
次に、４次の零位相フィルタの他の作成方法（ベアストウ法）について説明する。ベアストウ法は、（５）式をｘの２次の項に因数分解し、その因数分解されたｘの２次の項から解を求める手法である。（５）式を
【００３９】
【数１０】
とｘの２次の項に分割する。そして、Ｒ＝Ｓ＝０となる実数ｐ，ｑ，ｒを求める。ここで、実数ｐ，ｑ，ｒが求まると、次は、（１０）式の一部である
【００４１】
【数１１】
に注目し、更にこれをｘの２次の項に分割する。このような操作を繰り返すことにより、（５）式はｘの２次の項に因数分解され、
【００４３】
【数１２】
となる。ここで、係数が偶対称形となるようにｘの２次の項を組み合わせて（９）式の伝達関数を求めると、（９）式の係数は、それぞれ以下のようになる。
ｂ０ ＝４．９２２７１３ｅ−０１
ｂ１ ＝２．４４５５６０ｅ−０１
ｂ２ ＝９．３０８４１２ｅ−０３
ｃ０ ＝２．２５０６００ｅ＋００
ｃ１ ＝７．４８４４２４ｅ−０１
ｃ２ ＝１．２３１４２５ｅ−０１
フィルタ合成部３は、このようにして実現された低次の１次元フィルタを水平方向及び垂直方向のそれぞれに対して、組み合わせて２次元の空間フィルタを実現する。
【００４５】
次に、従来の技術による２次元フィルタと縦続構成の２次元フィルタの演算量について比較する。図８は演算量の比較を示す図である。それぞれ従来技術と本発明のそれぞれについて、乗算回数と加算回数を示している。図において、Ｍは対象画像の縦横１ラインの画素数、Ｎは縦続構成の各フィルタの縦横１ラインの係数の数、Ｋは縦続の段数である。ここで、例えば、Ｍ＝１２８，Ｎ＝３，Ｋ＝３とすると、具体的な乗算回数と加算回数は図９に示すようなものとなる。本発明によれば従来の約５５％で演算が可能となることが分かる。更に、高次の１次元フィルタを低次の１次元フィルタに分割し、同じ次数の２次元フィルタで縦続構成することにより、回路構成が簡単になり、乗算回数も減り、高速の処理が可能となる。
【００４６】
なお、（３）式，（４）式の１次元フィルタの合成は、組み合わせる伝達関数を変えて、図１０に示すようにすることもできる。この場合は、（３）式のＦ１と（４）式のＦ２、（３）式のＦ２と（４）式のＦ１とを組み合わせたものである。
【００４７】
前述した、画像の各方向に対して設計した１次元フィルタの合成法は、各方向の１次元フィルタを空間周波数上で組み合わせ、空間周波数特性が決まらない領域は、補間により求めるようにすることもできる。例えば、図１１に示すように、水平方向，垂直方向及び斜め方向の空間周波数特性が決まっている時（図の斜線部分）、その他の領域（図の白部分）の特性は補間により求める。
【００４８】
画像の全ての方向に対して同じ１次元フィルタを動作させたい場合には、設計した高次の１次元フィルタを因数分解により低次の１次元フィルタに分割して、分割された１次元フィルタをそれぞれマクレラン変換により２次元空間フィルタに拡張し、縦続構成にすることができる（マクレラン変換については、「ディジタルフィルタの設計」，式部幹，東海大学出版会，Ｐ２１０〜Ｐ２３１に記載されている）。
【００４９】
なお、図２の空間フィルタの構成としては、図７に示す構成に加えて、中央値フィルタ，シグマフィルタ等の非線形フィルタを組み合わせるようにしてもよい。図１２に示す実施例は、２次元空間フィルタの縦続構成に中央値フィルタを縦続接続した例を示している。
【００５０】
次に、縦続構成による２次元空間フィルタの畳み込み演算を整数演算で行なう場合のデータ語長をどのようにして決定すればよいか検討する。入力画像は、２次元空間フィルタにより処理（畳み込み演算）されると、画像データのダイナミックレンジが拡大する。このため、２次元空間フィルタ間の受け渡し語長は十分大きくとっておかなければならない。しかしながら、次段の２次元空間フィルタに入力できる画像データの語長も制限されるため、受け渡し語長も制限が必要となる。ここで、視覚的に影響がないように受け渡し語長を確保するとして、次段の入力画像のデータ語長は、実験した結果、前段のそれの１．５倍以上の語長にすればよいことが分かった。
【００５１】
以下、その実験について説明する。例として、図７に示すような２次元空間フィルタの縦続構成の場合について考えるものとする。図７に示すシステムで、整数型で語長制限を行った出力画像と、浮動小数点の３２ビットで計算した出力画像の比較を行なう。前者を語長制限あり、後者を語長制限なしと呼ぶことにする。
【００５２】
語長制限ありは、２次元空間フィルタの内部演算を整数型３２ビット、受け渡し語長とフィルタ係数語長を整数型で図１３に示すように決める。図に示すように、ここでは受け渡し語長とフィルタ係数語長として５組を用いた。これに対して、語長制限なしは、内部演算・受け渡し・フィルタ係数を浮動小数点３２ビットとする。また、入力画像を整数型の８ビットとし、縦続構成の２次元空間フィルタの振幅周波数特性を図４に示すローパス特性とする。
【００５３】
縦続の各フィルタの振幅周波数特性は、図４の特性を図１４に示すように２つの特性ｆ１とｆ２に分解し、前段を振幅周波数特性の高いフィルタ、後段を振幅周波数特性の低いフィルタとする。図において、ｆ１が振幅周波数特性の高いフィルタ、ｆ２が振幅周波数特性の低いフィルタである。これらｆ１とｆ２を乗算すると、図４に示す周波数特性のフィルタとなる。
【００５４】
この縦続構成の空間フィルタに一般的な画像を入力し、語長制限なしと語長制限ありの出力画像で誤差を計算する。そして、誤差画像をノイズとしてＳＮ比で表わすと、図１５に示すような実験データが得られた。図１５において、横軸はフィルタ係数語長［ビット］、縦軸はＳＮ比を示すＳＮＲ［ｄＢ］である。ここで、ＳＮＲは
【００５５】
【数１３】
で表される。図１５より明らかなように、語長制限ありの出力画像は、受け渡し語長８，９ビットの時に著しく画像が劣化することが分かる。これより、受け渡し語長は、１２ビット以上とするのが妥当である。つまり、入力画像８ビットに対して１２ビットの語長であるから、後段の空間フィルタの語長は、前段の空間フィルタの語長の少なくとも１．５倍以上あればよいことになる。このように空間フィルタを設計すれば、語長制限による画像の劣化を軽減することができる。
【００５７】
また、語長制限によるフィルタの劣化を防ぐ方法として、異なる方向（例えば水平方向と垂直方向）の分割された低次の１次元フィルタの合成において、それぞれのフィルタ係数の２乗和を調べ、その値が近いもの同士を組み合わせる。その理由は、フィルタ係数の２乗和が小さいフィルタは、語長制限による特性の劣化が大きいため、劣化が大きいもの同士で組み合わせた方が全体としての結果はよくなるためである。
【００５８】
ここで、２次元空間フィルタの配置について説明する。縦続構成の２次元フィルタの配置は、各フィルタの直流成分を１に正規化し、フィルタ係数の２乗和が大きいものを入力側へ、小さいものを出力側へ配置する。その理由は、前段でオーバフロさせて方が後段でオーバフローさせるよりも結果がよくなるからである。
【００５９】
もう少し、詳しく説明する。フィルタ係数の２乗和が小さいものを前段に持ってくると、フィルタ係数のビット落ちにより、出力画像データが０かそれに近い値となり、画像情報が失われてしまう。それに対して、２乗和が大きいフィルタでは、オーバフローは起こるが、画像情報は失われることはないので、処理結果がよくなる。例えば、空間フィルタ１の２乗和が０．１３１１となる時、空間フィルタ２の２乗和は３８．６３６９となる。これより、空間フィルタ２を縦続構成の前段に、空間フィルタ１を後段に配置する。
【００６０】
次に、図７に示すような空間フィルタの縦続構成を、１個の空間フィルタで実現する構成について説明する。前述したように、本発明は、図２３に示す９×９の空間フィルタを、これと等価な５×５の２個のフィルタに分割し、計算量を減らすものである。５×５の空間フィルタの縦続構成は、図１６に示す通りである。それぞれの５×５空間フィルタ３０は、その前段に４個のラインメモリ３１を持ち、これらが縦続接続されている。この構成では、乗算器の数が８１から５０に減少している。
【００６１】
図１７は本発明に係わる空間フィルタの一実施例を示す構成ブロック図である。図に示す実施例は、図１６に示す空間フィルタと等価な回路である。図１６と同一のものは、同一の符号を付して示す。図において、３０は本発明により実現された５×５の空間フィルタである。この空間フィルタ３０内には、前段の空間フィルタとして動作する時の係数と、後段のフィルタとして動作する時の係数が内蔵されている。３１は該空間フィルタ３０の前段に設けられたラインメモリである。ＳＷ１は、ラインメモリ３１と空間フィルタ３０の間に設けられた入力切り替え用のスイッチである。該ＳＷ１は、その一方の接点がラインメモリ３１と接続され、他方の接点がフィードバック線と接続されている。
【００６２】
３２は空間フィルタ３０の後段に設けられたラインメモリである。その構成は、前段のラインメモリ３１と同様である。ＳＷ２は、空間フィルタ３０とラインメモリ３２の間に設けられた切り替えスイッチである。該スイッチＳＷ２の一方の接点はラインメモリ３２と接続され、他方の接点は出力線と接続されている。このように構成されたフィルタの動作を説明すれば、以下のとおりである。
【００６３】
この回路は、画像データが１ライン入力される毎にスイッチＳＷ１，ＳＷ２が切り替わるようになっている。先ず、画像データが入力されると、図に示すように、スイッチＳＷ１，ＳＷ２は全てその接点が上向きになる。この結果、空間フィルタ３０の入力部では、ＳＷ１は入力画像データ及び各ラインメモリ３１の出力を空間フィルタ３０に与える。一方、空間フィルタ３０の出力部では、ＳＷ２はその出力を空間フィルタ３０に与える。この状態では、前段のフィルタ係数で畳み込み演算が行われ、その出力データが出力側のラインメモリ３２に保持される。
【００６４】
次に、１ラインの画像データが入力し終わると、ＳＷ１，ＳＷ２は全てその接点が下向きになり、図１８のようになる。この状態では、後段のフィルタ係数で畳み込み演算が行われ、その結果が回路の出力となる。ここで、フィルタ係数の切り替えは、スイッチＳＷ１，ＳＷ２の切り替えと同時に行われる。
【００６５】
ここで、係数の設定について説明する。前述したように、空間フィルタ３０の内部に２組のレジスタ２２（図２５参照）を用意しておき、これをＳＷ１，ＳＷ２の切り替えに同期させて切り替えるようにする。或いは、ＳＷ１，ＳＷ２の切り替えに同期させて、レジスタ２２に与える係数を外部から書き替えるようにしてもよい。
【００６６】
なお、一般にＫ段の縦続接続を行なう場合は、図１９に示すように、出力側のラインメモリ３２を（Ｋ−１）組設け、空間フィルタ３０の前後にＫ：１のスイッチＳＷ１，ＳＷ２を配置すればよい。なお、ラインメモリ３１，３２としては、ＦＩＦＯ（ファーストイン・ファーストアウト）形式のバッファが用いられる。なお、図の太い実線は、ラインメモリの出力を省略したことを表している。
【００６７】
上述した空間フィルタは、５×５の空間フィルタ３０を１個で済ます構成であった。ラインメモリの構成を工夫すれば、ラインメモリも前段と後段にそれぞれ設ける必要はなく、１組で済ますことができる。
【００６８】
図２０は空間フィルタの他の実施例を示す構成ブロック図である。図１７と同一のものは、同一の符号を付して示す。図において、３０は５×５の空間フィルタである。その内部には、前段用と後段用のフィルタ係数を保持するレジスタが内蔵されているものとする。３５は空間フィルタ３０の入力部に設けられたラインメモリである。このラインメモリでは、初段のラインメモリの容量が２段目から５段目までのラインメモリの容量の半分になっている。ＳＷ３は、入力信号とフィードバック信号の切り替えを行なうスイッチである。スイッチＳＷ３の一方の入力には、入力画像データが入力され、他方の入力には空間フィルタ３０の出力が入力されている。このように構成された回路の動作を説明すれば以下のとおりである。
【００６９】
ここで、画像データの横方向の１ラインをｘｉで表わし、縦続構成の前段の空間フィルタの出力をｙｉ，回路の出力をｚｉで表わす。また、図２０の回路のラインメモリ３５を上から順にラインメモリ１，２，３，４，５と呼ぶことにする。この回路は、ラインメモリ２，３，４，５がラインメモリ１の２倍の容量を持ち、図１７の回路の出力側のラインメモリを兼用している。スイッチＳＷ３は、画像１ライン分の処理が終わる毎に切り替わる。
【００７０】
先ず、初期設定として、図２１の（ａ）に示すように画像データの３ライン（ｘ１ ，ｘ２ ，ｘ３ ）を入力する。この時、スイッチＳＷ３は上側に接続されている。従って、入力画像データがラインメモリ３５に入ることになる。３ラインの入力が終わると、次はスイッチＳＷ３は下側に接続されラインメモリ３５のデータを空間フィルタ３０に入力する。空間フィルタ３０の出力段に接続されたスイッチＳＷ４は、そのまま出力として出すか、入力にフィードバックするかを切り替えるものである。
【００７１】
空間フィルタ３０の出力はラインメモリ１に入力される。そして、１ライン分の処理が終わると、図２１の（ｂ）に示すように縦続構成の前段に相当するフィルタの出力ｙ１ がラインメモリ１に入力される。
【００７２】
次に、スイッチＳＷ３は上側に接続され、画像データがラインメモリ３５に入力される。この時、空間フィルタ３０には前段の出力ｙ１ が入力され、フィルタ係数は縦続構成の後段のものに切り替わる。このような操作を順次繰り返すと、図２１の（ｃ）に示すように、ｙ１ がラインメモリ３にきた時、この回路の１ライン目の出力ｚ１ が出力される（図２１の（ｄ））。ラインメモリ３５を空間フィルタ３０の入力段のＦＩＦＯとしても、また出力段のＦＩＦＯとしても用いるため、そのラインメモリ３５内のデータは、画像入力データｘｉと前段の出力ｙｉとが図に示すように縦方向に揃っている必要がある。
【００７３】
以上の動作を一般的に表わすと、ｉライン目の回路の出力は図２１の（ｅ）に示すようになる。前段と後段のフィルタ係数の切り替えは、スイッチＳＷ３の切り替えと同時に行われ、スイッチＳＷ３が上側に接続されている時は、前段のフィルタ係数、下側に接続されている時は後段のフィルタ係数が使用される。
【００７４】
図２２は空間フィルタの一般的な構成例を示す図である。一般に、Ｋ段の縦続接続を行なう場合、図に示すようにラインメモリ１を（Ｋ−１）ライン分の長さとし、他のラインメモリ２〜５はＫライン分の長さとすればよい。
【００７５】
前述の実施例では、９×９の２次元空間フィルタを５×５の低次の２次元空間フィルタに分割する場合について説明した。しかしながら、本発明はこれに限るものではなく、高次の２次元フィルタの構成は９×９に限るものではなく、任意の数ＭのＭ×Ｍのマトリクスであってよい。また、この高次の２次元フィルタから分割される低次の２次元フィルタの大きさは、５×５に限るものではない。
【００７６】
更に、図２２に示した空間フィルタは、ハードウェアで実現する他に、コンピュータのバッファやＤＳＰ（ディジタル・シグナル・プロセッサ）を用いることにより、ソフトウェアでも実現することができる。
【００７７】
【発明の効果】
以上、詳細に説明したように、本発明によれば高次の２次元空間フィルタを低次の２次元空間フィルタに分割することにより、演算量を低減させて処理の高速化を図ると共に、回路規模を縮小することができる画像処理方法及び装置を提供することができ、実用上の効果が大きい。
【図面の簡単な説明】
【図１】本発明方法の原理を示すフローチャートである。
【図２】本発明装置の一実施例を示す構成ブロック図である。
【図３】本発明で用いる８次の零位相フィルタの係数の構成例を示す図である。
【図４】１次元フィルタの空間周波数特性例を示す図である。
【図５】２次元空間フィルタのマトリクス構成例を示す図である。
【図６】２次元空間フィルタの係数の具体的構成例を示す図である。
【図７】２次元フィルタの縦続構成を示す図である。
【図８】演算量の比較を示す図である。
【図９】具体的な演算量の比較を示す図である。
【図１０】２次元空間フィルタのマトリクスの他の構成例を示す図である。
【図１１】空間周波数特性の補間の説明図である。
【図１２】空間フィルタの縦続構成の他の例を示す図である。
【図１３】受け渡し語長と係数語長の関係を示す図である。
【図１４】振幅周波数特性の分解の様子を示す図である。
【図１５】出力画像の誤差を示す図である。
【図１６】５×５空間フィルタの縦続構成を示す図である。
【図１７】本発明に係わる空間フィルタの一実施例を示す構成ブロック図である。
【図１８】本発明の動作説明図である。
【図１９】一般的な空間フィルタの構成例を示す図である。
【図２０】空間フィルタの他の実施例を示す構成ブロック図である。
【図２１】空間フィルタの動作を示す図である。
【図２２】空間フィルタの一般的な構成例を示す図である。
【図２３】従来装置の概念図である。
【図２４】入力画像データ例を示す図である。
【図２５】空間フィルタの内部構成例を示す図である。
【符号の説明】
１ 伝達関数入力部
２ フィルタ分割部
３ フィルタ合成部
４ ２次元空間フィルタ
Claims (5)
- 各方向の高次の零位相１次元フィルタを設計して伝達関数として与える伝達関数入力部と、
該伝達関数入力部から入力される伝達関数を因数分解して低次の１次元フィルタに分割するフィルタ分割部と、
該フィルタ分割部の出力を受けて、ある方向の前記低次の１次元フィルタと、それと異なる方向の低次の１次元フィルタから２次元の空間フィルタを合成するフィルタ合成部と、
該フィルタ合成部により合成された２次元の空間フィルタの縦続構成により、入力画像のフィルタリングを行なう空間フィルタを具備し、
該空間フィルタでの畳み込み演算を整数演算で行なう場合に、前記２次元空間フィルタの構成として、空間フィルタ間の画像データ転送を入力画像の１．５倍以上のデータ語長（ビットサイズ）で行なうことを特徴とする画像処理装置。 - 前記空間フィルタでの畳み込み演算を整数演算で行なう場合に、前記空間フィルタの設計で各方向の低次の１次元フィルタの組み合わせ方は、各フィルタの係数の２乗和が近い値をとるフィルタ同士を組み合わせるようにしたことを特徴とする請求項１記載の画像処理装置。
- 前記空間フィルタでの畳み込み演算を整数演算で行なう場合に、各フィルタの直流成分を１に正規化し、フィルタ係数の２乗和が大きいものを入力側へ、小さいものを出力側に配置するようにしたことを特徴とする請求項１記載の画像処理装置。
- 前記２次元フィルタとして１個の空間フィルタを用い、該空間フィルタの前後にそれぞれスイッチとラインメモリを設け、これらスイッチを連動して切り替えることにより空間フィルタを循環動作させ、等価的に継続構成を実現したことを特徴とする請求項１記載の画像処理装置。
- 前記２次元フィルタとして１個の空間フィルタを用い、該空間フィルタの入力部にラインメモリを、該ラインメモリの入力段に入力画像と空間フィルタ出力を切り替えて入力するスイッチとをそれぞれ設け、前記スイッチの切り替え制御により空間フィルタを循環動作させ、等価的に縦続構成を実現したことを特徴とする請求項１記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26632593A JP3630169B2 (ja) | 1993-10-25 | 1993-10-25 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26632593A JP3630169B2 (ja) | 1993-10-25 | 1993-10-25 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07121705A JPH07121705A (ja) | 1995-05-12 |
| JP3630169B2 true JP3630169B2 (ja) | 2005-03-16 |
Family
ID=17429361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26632593A Expired - Lifetime JP3630169B2 (ja) | 1993-10-25 | 1993-10-25 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3630169B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7366746B2 (en) * | 2004-02-12 | 2008-04-29 | Xerox Corporation | Finite impulse response filter method and apparatus |
| US7835586B2 (en) * | 2007-08-01 | 2010-11-16 | Mitsubishi Electric Research Laboratories, Inc. | Method for filtering images with bilateral filters |
| JP5454348B2 (ja) * | 2010-05-12 | 2014-03-26 | ソニー株式会社 | 撮像装置および画像処理装置 |
| JP5846048B2 (ja) * | 2012-06-05 | 2016-01-20 | 株式会社Ｊｖｃケンウッド | 画像処理装置および撮像装置 |
-
1993
- 1993-10-25 JP JP26632593A patent/JP3630169B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07121705A (ja) | 1995-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5359674A (en) | Pyramid processor integrated circuit | |
| US5500811A (en) | Finite impulse response filter | |
| KR20030045017A (ko) | 다중 필터링 모드를 갖는 재구성 가능한 디지털 필터 | |
| US4984286A (en) | Spatial filter system | |
| JPH04128982A (ja) | プロセッサエレメント、プロセッシングユニット、プロセッサ、及びその演算処理方法 | |
| US5559905A (en) | Digital image resizing apparatus | |
| US5729483A (en) | Implementation of a digital interpolation filter and method | |
| US5031132A (en) | Circuit for convolving a set of digital data | |
| JP2002522939A (ja) | 乗算器を用いないデジタルフィルタリング | |
| JP3630169B2 (ja) | 画像処理装置 | |
| JPH01269183A (ja) | 空間フィルタ画像処理装置 | |
| US5912828A (en) | Equalizer filter configuration for processing real-valued and complex-valued signal samples | |
| KR100550676B1 (ko) | 2-차원 피라미드 필터 구조 | |
| Venetsanopoulos et al. | High-speed architectures for digital image processing | |
| JPWO2006134688A1 (ja) | 補間処理回路 | |
| KR20040005904A (ko) | 2-차원 피라미드 필터 구조 | |
| Singh et al. | High performance VLSI architecture for wave digital filtering | |
| US5479454A (en) | Digital filter with improved numerical precision | |
| KR20040007483A (ko) | 2-차원 피라미드 필터 구조 | |
| JP3243831B2 (ja) | Ｆｉｒ型フィルタ | |
| EP1272939B1 (en) | Elementary cell of a linear filter for image processing | |
| Bilal et al. | Low Complexity Parallel FIR Filter Circuit Design by Exploiting Signal Correlation in Multimedia Applications | |
| Games et al. | VLSI design of an algebraic-integer signal processor | |
| KR20040028731A (ko) | 2-차원 피라미드 필터 구조 | |
| Karthic | Implementation of High-Performance Image Scaling Processor using VLSI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040316 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040407 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040618 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041208 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |