JPH11185033A

JPH11185033A - 画像処理方法及び装置

Info

Publication number: JPH11185033A
Application number: JP9353772A
Authority: JP
Inventors: Masaaki Imaizumi; 昌明今泉; Toshiaki Nobumiya; 利昭信宮; Yuji Inoue; 裕司井上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-12-22
Filing date: 1997-12-22
Publication date: 1999-07-09

Abstract

(57)【要約】【課題】セルラーニューラルネット画像処理をリアル
タイムで実現することを目的とし、ニューラルネットを
デジタル回路で構成することにより、汎用性、制御容易
性、集積化容易性を向上させた画像処理方法及び装置を
提供する。【解決手段】セルラーニューラルネットに基づき、入
力画像データを処理する画像処理部において、各プロセ
ッサエレメント５１〜６０に、所定領域内の複数画素の
入力画像データと入力重み値との積和をデジタル演算処
理する第１の積和演算部と、所定領域内の複数画素の出
力画像データと出力重み値との積和をデジタル演算処理
する第２の積和演算部と、第１及び第２の積和演算部か
らの演算結果と非線形特性パラメータとに従って出力画
像データを決定する非線形作用部とを有し、各プロセッ
サエレメント５１〜６０を空間的に並列にパイプライン
接続し、演算処理する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、離散時間型セルラ
ーニューラルネット（ＤＴＣＮＮ）を基本とし、デジタ
ルのセルラーニューラルネット（ＣＮＮ）を構成し、入
力画像データに対して様々な画像処理を実時間内（リア
ルタイム）に処理可能な画像処理方法及び装置に関す
る。

【０００２】

【従来の技術】自然画像のようなアナログ信号からデジ
タル中間調画像のようなデジタル信号への変換は、通
常、時間方向(sampling)と大きさ方向(quantization)の
離散化により行なわれている。これらの処理において情
報が失われることがあるが、自然画像は低域周波数成分
を多く含み、時空間の近傍で相関が強いことに着目すれ
ば、低ビット量子化画像処理により自然画像に近いデジ
タル中間調画像を形成することができる。

【０００３】低ビット量子化画像処理は、アナログ自然
画像又はアナログ自然画像の各濃淡値を独立に高ビット
ＡＤ変換器によりＡＤ変換し、得られる高ビット量子化
画像から時空間の近傍領域の情報を利用して、より低い
ビットで表現されるデジタル中間調画像を形成する処理
である。

【０００４】擬似的なデジタル中間調画像を形成するた
めに面積階調法が従来から使われている。この面積階調
法は、黒白の２値表示のプリンタやディスプレイで濃淡
画像を再現するために、近傍画像内の黒の割合を変化さ
せて階調を再現させる方法であり、原画像の濃淡ｕ(x,
y)を一定の規則によって算出された閾値Ｔと比較するデ
ィザ法、入力濃淡画像値と出力中間調画像との誤差を走
査されていない画素に拡散する誤差拡散法（一般的な誤
差拡散法）などが実用的に使用されている。

【０００５】今、画素のそれぞれの位置で、その画素を
中心とする近傍画素の各々の濃淡値に適当な重み値を掛
け、近傍領域における加重和を出力するフィルタリング
操作において、その重み値を要素とする行列を空間フィ
ルタという。ここで、画像の点(i,j)近傍点Ｎ_r(i,j)に
属する点(k,l)の処理部Ｎ(k,l)（以後、セルという）に
ある画像入力ｕkl(ｔ)によってもたらされる点(i,j)の
反応は、

【０００６】

【数１】

【０００７】と表現される。これはｕ_kl(ｔ)によるｗ
(i,j;k,l)のたたみ込み或いは近傍画像領域における重
み値ｗと変数ｕとの積和演算といい、Ｒ_ij(ｔ)＝（ｗ*ｕ）_ij と略記する。

【０００８】ディザ法は、単位関数Ｕ

【０００９】

【数２】

【００１０】で表現される。

【００１１】一方、誤差拡散法は、ラスタ走査の(i,j)
番目における入力ｕ_ij(ｔ)と、出力ｙ(ｔ)＝Ｓ_ij(ｔ)に
対する非線形な再帰的システムで、その方程式は次のよ
うに与えられる。

【００１２】

【数３】

【００１３】ここで、条件としてｋ≦ｉ，ｊ＜ｉｆｏ
ｒｋ＝ｉがある。また、ｇ(ｘ)＝Ｓ(ｘ)−ｘであり、
ｙ＝Ｓ(ｘ)は、２値化の場合には、符号関数、

【００１４】

【数４】

【００１５】となる。

【００１６】また、重みｗ_kは重み値で、以降の量子化
に影響を与えるパラメータであって量子化誤差の伝播或
いは拡散の仕方を決定している。重みｗ_kは負で、その
総和が−１でなければならない。

【００１７】このように、濃度パターン法やディザ法で
は、アナログ自然画像に近い中間調画像を得るために
は、画素当たりのビット数をかなり多くしなくてはなら
ない、という問題があった。一方、デジタル画像の２値
化における誤差拡散法は、密にサンプリングされた文字
画像など、細かいエッジを含む画像にぼけが生じる、と
いう問題があり、更に画素当たりのビット数を増やす
と、ある近傍のみ全く変化のない擬似輪郭が生じるとい
う問題があった。この問題は、誤差拡散法が一方向に走
査されることによるものである。

【００１８】画像の量子化処理は、サンプリングレー
ト、量子化ステップサイズ、量子化歪みとのトレードオ
フの関係であり、そのため、デジタル中間調画像が入力
の濃淡画像に近くなるように量子化する一種の最適化問
題であることに注目し、この最適化問題を解くパラレル
アナログニューラルネットが提案されている。

【００１９】その一つが、アナログ対称誤差拡散ニュー
ラルネットである。この非線形なダイナミクスは、ｋ≦
ｉ，ｊ＜ｉｆｏｒｋ＝ｉという条件を除去すれば、
同じ式により記述され、ハードウェアは、アナログニュ
ーラルネットで構成されている。この場合、各画素の量
子化誤差は、周りの２次元の近傍系にアナログ的に拡散
されている。

【００２０】

【数５】

【００２１】また、セルラーニューラルネット(Cellula
r Neural Network(CNN))と呼ばれるアナログ方式も提案
されている。これは、セルと呼ばれるセルが規則正しく
局所的に接続された非線形なアナログ回路を用いる方法
である。各セルは、コンデンサ、抵抗及び区分線形セル
から構成される。セルラーニューラルネットは、連続時
間で並列にアナログ処理するため、デジタル処理では難
しいとされるリアルタイム信号処理系を実現できる可能
性がある。更に、アナログ処理においては高度なＡＤ変
換器の逐次動作を使用せずに、複数セルのダイナミック
な量子化動作でデジタル情報に並列に変換し、並列に記
憶又は伝送する技術を確立することができる。セルラー
ニューラルネットによるアナログ処理の利点は、センサ
との結合性がよいこと、電圧や電流の分布が高速であ
り、全体の情報を即座に得ることができること、積和の
演算は、電流和で並列処理的に簡単に形成できることで
ある。

【００２２】セルラーニューラルネット内のセルは、近
傍セルとのみ接続しているが、直接、相互に接続してい
ないセルとも、ダイナミクスによる伝搬の影響のために
間接的には相互に影響を及ぼし合うことになる。

【００２３】一般に、Ｍ×Ｎのセルラーニューラルネッ
トは、Ｍ行Ｎ列に配列されたＭ×Ｎ個のセルを持ってい
る。ｉ行ｊ列目のセルをＣ(i,j)とする。セルＣ(i,j)の
ｒ−近傍系を次式で定義する。

【００２４】

【数６】

【００２５】ここで、ｒは正の整数である。一般に、ｒ
＝１の近傍系を“３×３近傍系”といい、ｒ＝２のもの
を“５×５近傍系”、ｒ＝３のものを“７×７近傍系”
という。この近傍系は対称性により、すべてのＣ(i,j)
とＣ(k,l)では、Ｃ(i,j)∈Ｎ_r(k,l)ならば、Ｃ(k,l)∈
Ｎ_r(i,j)となっている。各セルは、コンデンサ、抵抗及
び区分線形な非線形素子から構成される。

【００２６】セルＣ(i,j)の状態方程式は、状態変数ｘ
_ij、入力変数ｕ_kl、出力変数ｙ_ij、オフセットｌ、コン
デンサＣ、抵抗Ｒx、そして、画像１≦ｉ≦Ｍ；１≦ｊ
≦Ｎに対して、次のように表現される。

【００２７】状態方程式：

【００２８】

【数７】

【００２９】セルラーニューラルネット内のすべてのセ
ルは、同じ回路構造と要素値を持っている。近傍のセル
の数は（２ｒ＋１）＾２である。

【００３０】セルラーニューラルネットのダイナミクス
は、出力フィードバックと入力フィードフォワードの両
方のメカニズムを持っている。

【００３１】前者はＡ−テンプレートＡ(i,j；k,l)に依
存し、後者はＢ−テンプレートＢ(i,j；k,l)に依存す
る。これらのテンプレートはプログラム可能なパラメー
タである。

【００３２】セルラーニューラルネットでは、セルのす
べての定常状態の出力を±１と一定にするために、次の
定理が使われる。

【００３３】Ａ−テンプレートの中心の回路パラメータ
Ａ(i,j；k,l)が、

【００３４】

【数８】

【００３５】を満足するならば、セルは１つの安定した
平衡点に収束する。そして、次式が成立する。

【００３６】

【数９】

【００３７】この定理は、画像の２値化を可能とする。
これがアナログによる誤差最小化ダイナミクス法であ
る。

【００３８】

【発明が解決しようとする課題】従来のアナログ対称誤
差拡散ニューラルネットとアナログセルラーニューラル
ネットの問題は、アナログの原理と理論が論文として先
行しているだけで、大きな画像処理を行なうアナログチ
ップを構成できないという問題があった。

【００３９】セルラーニューラルネットがたとえ近傍接
続を前提としていても、セルを画素の数だけ配置し、画
像全体で複数の近傍接続を行なうことになり、配線がチ
ップのシリコン領域の殆どの面積を占めることになる。

【００４０】しかし、現実では、画素のすべてにセルが
配置された大規模なアナログニューラルネットはＬＳＩ
として構成できず、できたとしても、コストが高くな
り、実用的でないという問題があった。

【００４１】一方、セルラーニューラルネットに基づき
入力画像データを処理するデジタル画像処理プロセッサ
であっても、強誘電性液晶ディスプレイ（ＦＬＣＤ）の
ような表示デバイスに応用した場合、前述の高解像度デ
ィスプレイは一般に、１２８０＊１０２４＝１３１０７
２０画素オーダーの画素解像度を持ち、６０Ｈzのリフ
レッシュ・レートを持っている。各画素はその色値に関
して２４ビットを持つことができる。従って、画素の何
れかの処理が行われる際でも、それを高速で行なうため
には、画素の入力レートが高いことが必要である。

【００４２】上述の例では、表示入力データを処理する
ためには、システムの扱うトータルな処理能力が画素拡
散方法のような１パスの画像処理であっても２３５メガ
バイト／秒以上であることが必要である。

【００４３】セルラーニューラルネット画像処理は、所
定領域内の複数の入力画像データと入力重み値との第１
の積和演算を行ない、更に複数画素の出力画像データと
出力重み値との第２の積和演算を行い、上述した第１、
第２の積和演算結果の非線形パラメータに従って出力画
像データを決定するため、リアルタイム処理を行なう場
合、上述した誤差拡散方式に比べ、更に莫大な演算量が
必要である。

【００４４】セルラーニューラルネットがたとえ近傍接
続を前提としていても、セルを画素の数だけ配置して画
像全体で複数の近傍接続を行なうことにすると上述した
ディスプレイに応用した場合、１３１０７２０個のプロ
セッサが必要となる。

【００４５】現実では、画素のすべてにセルが配置され
た大規模なデジタルニューラルネットはＬＳＩとして構
成できず、できたとしても、コストが高くなり、実用的
でないという問題があった。

【００４６】本発明は、上述の課題を解決するためにな
されたもので、セルラーニューラルネット画像処理をリ
アルタイムで実現することを目的とし、ニューラルネッ
トをデジタル回路で構成することにより、汎用性、制御
容易性、集積化容易性を向上させた画像処理方法及び装
置を提供することを目的とする。

【００４７】また、ニューラルネットを空間的に並列化
することができ、パイプライン処理により、高画質化画
像処理を高速に実現できる画像処理方法及び装置を提供
することを目的とする。

【００４８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、セルラーニューラルネットに基づき、入
力画像データを処理する画像処理装置であって、所定領
域内の複数画素の入力画像データと入力重み値との積和
をデジタル演算処理する第１の積和演算手段と、所定領
域内の複数画素の出力画像データと出力重み値との積和
をデジタル演算処理する第２の積和演算手段と、前記第
１及び第２の積和演算手段からの演算結果と非線形特性
パラメータとに従って出力画像データを決定する非線形
作用手段とを有する複数の画像処理手段を備え、前記複
数の画像処理手段はそれぞれパイプライン接続され、演
算処理を行なうことを特徴とする。

【００４９】また上記目的を達成するために、本発明
は、セルラーニューラルネットに基づき、入力画像デー
タを処理する画像処理方法であって、所定領域内の複数
画素の入力画像データと入力重み値との積和をデジタル
演算処理する第１の積和演算工程と、所定領域内の複数
画素の出力画像データと出力重み値との積和をデジタル
演算処理する第２の積和演算工程と、前記第１及び第２
の積和演算工程による演算結果と非線形特性パラメータ
とに従って出力画像データを決定する非線形作用工程と
を有する複数の画像処理工程を有し、前記複数の画像処
理工程はそれぞれパイプライン接続により演算処理を行
なうことを特徴とする。

【００５０】

【発明の実施の形態】以下、図面を参照しながら本発明
に係る実施の形態を詳細に説明する。

【００５１】先ず、本実施形態における原理について説
明を行なう。濃淡画像の２値化は、２値表示プリンタや
ディスプレイでは、極めて重要な処理である。入力濃淡
画素を閾値と単純に比較する単純２値化では文字画像や
エッジ画像を表現する場合には適するが、自然画像を表
現するには適さない。

【００５２】そのため、自然画像では、時空間の近傍で
相関が強いことを利用して近傍画像内の黒の割合を変化
させ、階調を再現する誤差拡散法などの面積階調法が使
われてきたが、これらは、ラスタスキャン走査に従って
各画素の出力低ビット中間調画像が決定される画像処理
であり、高速な単純動作となる特徴がある反面エッジの
保存性が悪いなどの画質問題も指摘されている。そこ
で、従来の面積階調法に代わる新しい量子化処理法を見
い出すことも重要視されている。ここで言う画像処理と
は従来よりディザ法、誤差拡散法の如く、入力データに
対して一度の閾値処理で出力データを決定する処理であ
る。

【００５３】一般に、アナログ信号からデジタル信号へ
の変換は、通常、時間方向(sampling)と大きさ方向(qua
ntization)の離散化により行なわれる。これらの両方の
処理により情報はかなり失われる。時間方向の離散化は
サンプリングにより行なわれ、ナイキスト周波数を越え
る周波数成分の消失を生じる。また、大きさ方向の離散
化は、各サンプルｘの大きさを無記憶な非線形関数ｙ＝ｆ(ｘ) を用いて行われる。

【００５４】この非線型関数ｙ＝ｆ(ｘ)は、２値以上の
多値化であれば、量子化レベル数だけのレベルが段階上
になっている。量子化レベル数が低ければ、一般に階調
情報が消失する。従って、デジタル中間調表現の正確さ
は、連続値と離散値との間の誤差（歪み）により評価し
なくてはならない。画像信号の量子化処理は、１つの最
適化問題であると考えるべきである。今、画像の大きさ
を簡単のため、一次元とする。

【００５５】サンプリングされたアナログ信号ｕ_i，ｉ
＝１，…，Ｎは不連続値の信号ｙ_i，ｉ＝１，…，Ｎに
近似される。ｕとｙは、それぞれ入力と出力の信号を表
すＮ次元のベクトルである。信号ｕが与えられた時、あ
らかじめ与えられた量子化レベルの中から歪み関数ｄ
(ｕ，ｙ)が最小化されるようにレベル選択されなければ
ならない。

【００５６】量子化ステップサイズΔがΔ→０とすれ
ば、完全な復号（ｙ→ｕ）が可能となるが、なるべく、
誤差が少なく、しかも、大きな量子化ステップサイズΔ
が得られることが望まれる。もし歪み関数を平均自乗誤
差(mean squared error:MSE)であるとすると、

【００５７】

【数１０】

【００５８】となる。最適な量子化を行なうためには、
平均自乗誤差を最小化し、各サンプルｕ_iに最も近い量
子化レベルで、しかも、できるだけレベル数が小さくな
るように設計しなければならない。しかし、一般的に
は、最適な量子化信号ｙ_iは歪み関数ｄ(ｕ，ｙ)の選択
に依存する。しかも、量子化は必然的に歪みを生じるの
で、歪み関数ｄ(ｕ，ｙ)の選択は、人間の視覚の機能に
合わせる必要がある。

【００５９】即ち、低ビット中間調画像を得る量子化処
理は、人間の知覚フィルタを通った多値画像と原画像と
の誤差が最小化されるように行なわれる。知覚フィルタ
は、人間の視覚における周波数伝達特性（ＭＴＦ）から
求められる。

【００６０】人間の視覚における感度は、時間的或いは
空間的に高い周波数に近づくに従って漸近的に“０”に
近づくことを表現している。周波数伝達特性については
次のような近似式で与えられる。

【００６１】

【数１１】

【００６２】また、図９は、周波数伝達特性を示す図で
ある。周波数伝達特性は視野角１度につき８周期の時ピ
ークとなる帯域通過フィルタである。周波数伝達特性に
おける低周波数特性のゲインをある程度見込めば、人間
の知覚フィルタはガウス分布に非常に似通っていること
がわかる。そこで、フィルタの扱いやすさを考えて、本
実施形態では、人間の知覚フィルタをガウス分布と仮定
する。

【００６３】現在、ＣＲＴに代わる画像表示装置として
液晶ディスプレイが広く普及している。液晶ディスプレ
イは、ＣＲＴに比べ、薄くすることができ、消費電力を
少なくすることができる。その中で、最近研究が進めら
れている手法としては、強誘電性液晶ディスプレイ（Ｆ
ＬＣＤ）が注目されている。ＦＬＣＤは応答が早く、大
面積のパネルを安く作れることなどの優れた特徴があ
る。ＦＬＣＤは原理的に２つの分子配向により、明暗の
２状態のみを使って各出力画素を構成する。これにより
カラー階調を表現するためにはＲＧＢビットのそれぞれ
の面積率で各出力画素値を再現する必要がある。従っ
て、表示可能な色数が限定される。

【００６４】この場合、ディスプレイに表現できる限定
色は、ＲＧＢ色空間を均等分割した代表値となる。この
ようなＦＬＣＤに画像を表示する際には、原画像の各画
素値を単純量子化してしまうと、ディスプレイの表示能
力数が少ないために、表示される画像が悪くなる。その
ため、原画像に対して、このディスプレイに表示するの
に適した量子化変換を行う必要がある。この量子化変換
は、ある近傍領域内での量子化された画素値の割合を変
化させ、階調を表現するものである。

【００６５】つまり、ある近傍内での量子化された画素
値の重み付き総和が原画像の画素値に等しくなるように
すれば、これを限定色表示ディスプレイに表示しても、
人間の視覚フィルタにより原画像に近い画像を人間が知
覚することができる。この量子化変化を行なうのに、従
来、ディザ法や、誤差拡散法が用いられてきた。

【００６６】図１は、本実施形態における離散時間型セ
ルラーニューラルネット（ＤＴＣＮＮ）を用いた画像処
理（２値又は多値化処理）の概念を説明するための図で
ある。尚、本実施形態においては、静止画像を対象とし
たＤＴＣＮＮによる画像処理について説明する。

【００６７】図１においては、入力画像の３×３近傍画
像処理領域における入力濃淡画像と入力重み値との積和
ΣＢ_ijmnｕ_mnと、出力低ビット画像値と出力重み値との
積和ΣＡ_ijmnＹ_mnを加算し、これを非線形出力関数ｆ
(ｘ)により、出力データに変換する。入力画像は、例え
ば画素８ビット以上の高ビット濃淡画像とする。

【００６８】図１は、本実施形態の基本的な概念を示し
たものであるが、本実施形態では最終的には以下に示す
式１２〜式１３（数式１３は２値化の際用いられるも
の）に従って画像処理を実行する。

【００６９】画像が１０２４×７６８ピクセルの画像か
ら構成されている時、本実施形態の実際のハードウェア
では、ＰＥ（プロセッサエレメント）の個数は、２０個
程度の画素数よりかなり少ないプロセッサ数で実現でき
る。そして、仮想的に配置される各セルは次の式に従っ
て動作する。

【００７０】また、画像が１０２４×７６８ピクセルの
画像から構成されている時、本実施形態の実際のハード
ウェアでは、セルの個数は、１又は画素数よりかなり少
ない数で時分割処理するが、仮想的に配置される。そし
て、その仮想的な各セルは次の式に従って動作する。

【００７１】

【数１２】

【００７２】ここで、ｘ_ijはセルＣ(i,j)の状態変数、
ｕ_ijはセルＣ(i,j)の入力変数、ｙ_ijはセルＣ(i,j)の出
力変数、Ｔ_ijはセルＣ(i,j)の閾値定数である。非線形
出力関数ｆ(ｘ)は、一般には多値化関数であるが、画素
の２値化では、次のような符号関数で表現できる。

【００７３】

【数１３】

【００７４】ここで、上記の式１２は、近傍画像領域に
おける入力重み値と入力濃淡画像との積和とオフセット
との和

【００７５】

【数１４】

【００７６】を入力又は計算する第１の積和演算部と、
近傍画像領域における出力重み値と時空間的にすでに決
められている出力低ビット中間調画像値との積和

【００７７】

【数１５】

【００７８】の演算を実行する第２の積和演算部と、近
傍画像領域における状態重み値と時空間的にすでに決め
られている前状態値との積和

【００７９】

【数１６】

【００８０】を計算する第３の積和演算と、第１の積和
演算部、第２の積和演算部、第３の積和演算部に接続さ
れ、前記各積和演算部の積和を加えることによって現状
状態ｘ _ij(ｔ＋１)を計算する状態計算部とを表してい
る。上記の式１３は状態計算部に接続され、現状態値に
非線形を作用している各画素の現出力低ビット中間調画
像値を決定する非線形作用部ｆ(ｘ)を表している。これ
らの式において、近傍画像領域における入力重み値、出
力重み値、及び、非線形作用部の非線形特性のパラメー
タ選択によって希望した一連の画像処理を選択的に実行
することもできる。即ち、近傍画像領域におけるテンプ
レートＡ(i,j；k,l)，Ｂ(i,j；k,l)，Ｃ(i,j；k,l)とオ
フセットＴ_ijのパラメータを選択する極めて簡単な処理
により、ラスタスキャン走査に従って各画素の出力低ビ
ット中間調画像を決定する画像処理と、各画素の出力低
ビット中間調画像が初期値からダイナミックに変化し、
ある値になった時の出力低ビット中間調画像を決定する
画像処理との両方をユニバーサルに選択できる。

【００８１】ここで述べる中間調画像処理とは、従来よ
り一般的に知られているディザ法、誤差拡散の如く、入
力データに対し一度の閾値処理で出力データと決定する
処理である。また、セルラーニューラルネット（ＣＮ
Ｎ）画像処理とは出力低ビット中間調画像の値を変化さ
せる都度、上記の式１２〜式１３に基づく演算を行なう
処理を理想的な画像が得られるまで、即ち、入力濃淡画
像に比較的忠実な低ビット中間調画像が得られるまで繰
り返し実行する処理である。

【００８２】更に、本実施形態では、ＣＮＮ画像処理を
実行する場合、汎用デジタル画像処理プロセッサ内部で
最新に更新した出力低ビット中間調画像を隣接する他の
汎用デジタル画像処理プロセッサに伝送し、その汎用デ
ジタル画像処理プロセッサの注目画素処理部（セル）が
受信した更新出力低ビット中間調画像を近接領域からの
情報と見なし、それと出力重み値との積和演算を実行す
るパイプライン手段で内挿的画像処理を高速化する。

【００８３】先ず、Ｃ(i,j；k,l)を使うことなく、Ａ
(i,j；k,l)，Ｂ(i,j；k,l)を使って低出力ビット量子化
画像処理を実行する例を説明する。この場合、仮想的な
各セルの動作を簡単に次式で表現する。

【００８４】

【数１７】

【００８５】ここでＡ(i,j；k,l)，Ｂ(i,j；k,l)は目的
とする画像処理によってプログラムが可能な(k,l)から
(i,j)への重みである。またｙ_ij，ｕ_ijは、セル(i,j)の
出力及び入力である。

【００８６】上記の式１７の離散時間型セルラーニュー
ラルネット（ＤＴＣＮＮ）は、近傍画像領域における入
力重み値と入力濃淡画像との積和のＢ(i,j；k,l)ｕ_klを
少なくとも入力又は計算する第１の積和演算部と、近傍
画像領域における入力重み値と時空間的にすでに決めら
れている出力低ビット中間調画像との積和Ａ(i,j；k,l)
ｙ_kl(ｔ)の演算をする第２の積和演算部、第１と第２の
積和演算部に接続され、各画素の現時刻の出力低ビット
中間調画像値を決定する非線形作用部ｆ(ｘ_ij)とを含み
画像処理を実行できるものである。

【００８７】このＤＴＣＮＮでは、セルの出力の非線形
関数に符号関数、或いは、単位関数を使えば、出力値は
２値に限定され、この場合には、Ａ(i,j；k,l)ｙ_kl(ｔ)
とＢ(i,j；k,l)ｕ_klを比較する比較器を基本として構成
される。

【００８８】また、安定化のための自己フィードバック
が零、即ち、要素Ａ(i,j；i,j)＝０として、しかも各セ
ルは非同期に動作させる方が良いが、これは必ずしも必
須な条件ではなく、時には、零でないＡ(i,j；i,j)を使
ったり、全てのセルを同期で動かすことにしても良い。

【００８９】次に、本実施形態の具体的な構成を説明す
る。図２は、本実施形態のデジタル画像処理プロセッサ
を内蔵した表示システムの構成を示すブロック図であ
る。

【００９０】図２において、１は１画素複数ビットから
なる濃淡画像を入力する画像入力部である。これは、例
えばカメラ、スキャナ、コンピュータによって構成され
る。２は入力フレームバッファであり、入力画像データ
を一時格納する。３は画像処理部であり、１画素複数ビ
ットからなる多値レベルの濃淡画像データをそれよりも
少ないレベル（ビット）数の画像データに量子化処理す
る。この画像処理部３では前述したテンプレート、積和
演算器の選択によって複数の画像処理の中から所望の画
像処理を選択することができる。

【００９１】４は出力フレームバッファであり、量子化
処理された出力データを格納する。５は強誘電性液晶表
示器（ＦＬＣＤ）である。６は上述の入力フレームバッ
ファ２、画像処理部３、出力フレームバッファ４に接続
され、データ転送のアドレス制御、画像処理の制御を行
なうＣＰＵである。このＣＰＵ６には制御プログラムを
格納したＲＯＭ、ワークエリアとしてのＲＡＭが備えら
れている。７は上述の画像処理部３で実行される画像処
理をオペレータが任意に選択する画像処理選択部で、こ
の選択部７からの選択に応じて、ＣＰＵ６は画像処理部
３で用いられる画像処理内容を画像処理部３へ指示す
る。

【００９２】図３は、図２に示す画像処理部３の詳細な
構成を示す図であり、画像処理部３はプロセッサエレメ
ントＰＥ５１〜６０、ゲートウェイプロセッサＧＥ５０
より構成されている。ＰＥ５１〜ＰＥ６０はそれぞれ同
一の構成のプロセッサであり、それぞれの入力画像の異
なる位置を処理する。

【００９３】図４は、図３に示すプロセッサエレメント
ＰＥの詳細な構成を示すブロック図であり、ＰＥ５１〜
ＰＥ６０はそれぞれ図４のハードウェアで構成されてい
る。ここでは１つのＰＥを符号１００として示してい
る。ＰＥ１００は入力フレームバッファ２から送られて
きた複数画素によって構成される近接画像領域における
濃淡画像を格納する入力画像値メモリ３０と、近接画像
領域における各重み値に応じて積和演算回路を選択する
選択回路（入力重み値メモリ）２８と、近接画像領域に
おける出力低ビット中間調画像を格納する出力画像値メ
モリ３１と、出力の重み値に応じて積和演算回路を選択
する選択回路（出力重み値メモリ）２９と、これらのメ
モリ２８，２９、３０，３１をアクセスするアドレス値
を計算するアドレス計算部４１とを含む。また、アドレ
ス計算部４１はＡＬＵ４２、ＮＰＣレジスタ４３、ＰＣ
レジスタ４４からなり、ＮＰＣレジスタ４３とＰＣレジ
スタ４４からアドレスを計算するユニットである。

【００９４】尚、ここでは、各メモリ２８，２９，３
０，３１はプロセッサの内部にあるが、外部としても良
い。また、メモリ２８，２９にはそれぞれ複数の重み値
が格納されており、ＣＰＵ６からの画像処理の種類の状
態を示すコマンドに従って重み値が選択される。

【００９５】更に、ＰＥ１００は近傍画像領域における
入力重み値を格納する入力重み値メモリ２８内のデータ
と入力濃淡画像を格納する入力画像値メモリ３０内のデ
ータとの積和Ｂ(i,j；k,l)ｕ_klを計算する第１の積和演
算部１１を備える。この第１の積和演算部１１は、掛け
算器１３と累算器１４、レジスタ１５，１６より構成さ
れる。レジスタ１５，１６はそれぞれメモリ２８，３０
からフェッチされた入力濃淡画像ｕ_klと重み値Ｂ(i,j；
k,l)をそれぞれラッチする。また、累算器１４は足し算
器１７、ＡＣＣレジスタ１８より構成される。

【００９６】更に、ＰＥ１００は出力重み値を格納する
出力重み値メモリ２９内のデータと出力画像値メモリ３
１内の出力中間調画像値との積和Ａ(i,j；k,l)ｙ_kl(ｔ)
を実行する第２の積和演算器１２を備える。この第２の
積和演算器１２は、掛け算器１９と累算器２０、レジス
タ２１，２２によって構成される。各レジスタ２１，２
２は、それぞれメモリ２９，３１からフェッチされた出
力中間調画像ｙkl(ｔ)と重み値Ａ(i,j；k,l)をそれぞれ
ラッチする。また、累算器２０は足し算器２３とＡＣＣ
レジスタ２４より構成される。

【００９７】尚、上述のメモリ２８，２９は、それぞれ
複数の重み値に応じた積和演算回路を選択するものであ
り、ＣＰＵ６からの画像処理の種類の状態を示すコマン
ドに従って、積和演算回路を選択する。

【００９８】更に、ＰＥ１００の内部には、レジスタと
して、レジスタ４３，４４，４５，２７があり、各レジ
スタの役割は次のようになる。

【００９９】ＰＣレジスタ４４は対象処理ピクセルのア
ドレスを格納する。そして、ＮＰＣレジスタ４３は近傍
系の画像位置を格納する。レジスタ４５は次のプロセッ
サエレメントに処理対象ピクセルのアドレスを送るため
のレジスタである。レジスタ２７は次のプロセッサエレ
メントに出力画像値を送るためのレジスタである。

【０１００】レジスタ２７とレジスタ４５は後述するパ
イプライン処理に必要となるものであり、プロセッサエ
レメント間でデータのやり取りを可能とする。即ち、そ
れらは最後に計算を行った出力値を保持するレジスタ２
７と、その結果を書き込んだ時に使用されるアドレスを
保持するレジスタ４５である。

【０１０１】更に、ＰＥ１００は、第１の積和演算部１
１からの演算結果と第２の積和演算１２からの演算結果
を比較し、比較結果に基づいて出力低ビット中間調画像
値を決定する非線形作用部２６を備える。

【０１０２】第１の積和演算部１１より、積和演算Ｂ
(i,j；k,l)ｕ_klを計算し、第２の積和演算部１２より積
和演算Ａ(i,j；k,l)ｙ_klを計算する。そして、各画素の
現時刻の出力低ビット中間調画像値を決定する非線形作
用部２６は、出力を１ビット等に固定する場合は比較器
を基本として構成される。

【０１０３】一台のプロセッサエレメントの逐次動作に
より、ダイナミックなデジタル処理を実行すると、出力
中間調画像が最適値に収束するまでに多数の反復計算を
必要とし、多大な計算量及び時間を要する。

【０１０４】そこで、本実施形態では、リアルタイム処
理を行なうために、各々プロセッサエレメントをパイプ
ライン接続し、更に並列処理させる構成をとる。この構
成により、プロセッサエレメント間で独立動作を行なわ
せることが可能となる。図３は、パイプライン接続並列
処理のアーキテクチャーを示す図である。ここでは、５
段のパイプライン接続について説明する。

【０１０５】８００画素×６００画素図３において、ＰＥ１：５１，ＰＥ２：５２，ＰＥ３：
５３，ＰＥ４：５４，ＰＥ５：５５，ＰＥ６：５６，Ｐ
Ｅ７：５７，ＰＥ８：５８，ＰＥ９：５９，ＰＥ１０：
６０は、本実施形態の汎用画像処理プロセッサ１００と
同じものであり、ここではプロセッサエレメントとい
う。ＧＥ（ゲートウェイプロセッサ）５０は各ＰＥ５１
〜ＰＥ６０に様々な指示や入力画像の配布などの管理を
行うハードウェアである。各ＰＥ５１〜ＰＥ６０は、図
４における入力画像値メモリ３０や出力画像値メモリ３
１をローカルに持っている。そして、各々が入力画像に
対して積和演算と非線形作用を基本とする画像処理を行
う。ここで、各前段ＰＥは、最新に更新した出力中間調
画像値ｙ_klを蓄えるレジスタ２７及びその画素位置を示
すアドレスを専用のレジスタ４５にストアする。このス
トアされたその値を、その後段に接続されたＰＥに送
り、その後段ＰＥがそのアドレス値を使って自分のメモ
リの指定されたアドレスに最新に更新した出力中間値画
像値ｙklを書き込む。

【０１０６】次に、図５を参照して本実施形態における
並列化について説明を行う。同図において、６１は画像
の１フレームを模式的に表したものである。この画像６
１を、横に２分割とする。これらの画像をそれぞれ図３
に示すＰＥ１からＰＥ１０に割り当て処理する。割り当
て方の一例を図６に示す。ここでは、簡単のために、上
記の式５のｒ＝１、即ち、テンプレートの大きさを３×
３として説明する。

【０１０７】図６に示すように、ＰＥ１の中心座標を
（２，２）とした時、ＰＥ２，ＰＥ３，ＰＥ４，ＰＥ５
の中心座標をそれぞれ（３，２），（４，２），（５，
２）（６，２）とする。同様にＰＥ６，ＰＥ７，ＰＥ
８，ＰＥ９，ＰＥ１０の中心座標をそれぞれ（２，
７），（３，７），（４，７）（５，７）（６，７）と
する。尚、ここでは説明を簡単にするために２分割した
が、実際はプロセッサの動作スピードにより分割数を決
めることが必要である。

【０１０８】図８は、１０２４×７６０画素のカラー画
像をセルラーニューラルネットにより処理した場合の収
束までの繰り返し回数とパイプラインプロセッサの段数
との関係を示す図である。図８に示すように、パイプラ
インプロセッサの段数を５段とすると、３回の繰り返し
で収束させることができる。

【０１０９】このことにより、リアルタイム処理化が可
能となる。ここでは、プロセッサの段数を５段として説
明しているが、これは画像の分割数とプロセッサの速度
とによって決定されるものである。

【０１１０】また、実施形態における画像処理におい
て、分割する画像の大きさ（サイズ）を最低で３２画素
以上にすると、ブロックに分割した時の歪みが人間に知
覚できない。そのため、セルラーニューラルネット画像
処理時において分割する画像の最小単位を３２画素以上
とする。

【０１１１】次に、図４に示す構成において、パラメー
タＡ，Ｂの選択に応じたプロセッサエレメント１００の
動作制御について説明する。図７は、本実施形態の処理
手順を示すフローチャートである。また、図７のフロー
チャートの制御はＣＰＵ６によって実行される。

【０１１２】まず、ステップＳ２０１において、図２に
示す選択部７からの選択に応じて、ＣＰＵ６は画像処理
部３で用いられるテンプレートの値Ａ，Ｂ、及び非線形
関数ｆ(ｘij)を画像処理部３へ指示する。そして、ステ
ップＳ２０２において、出力フレームバッファ４に初期
値を設定する。ここではランダムな２値データを出力フ
レームバッファ４に設定する。また、ステップＳ２０２
では、１画面の全画素入力データに対して積和演算を実
行するに際し、その演算順序を設定する。ここで、演算
順序はランダムにすべての画素を走査するような順とす
る。

【０１１３】次に、ステップＳ２０３において、ステッ
プＳ２０２で決定した順番に基づきプロセッサエレメン
ト１００に指令を出し、上記の式１７の演算を実行し出
力値を求める。この結果は、出力フレームバッファ４に
送られ、既に格納されている値と異なる場合は、値を書
き換える。そして、ステップＳ２０４において、入力し
た全ての画素に対する処理が終了したか否かを判断し、
終了していない場合はステップＳ２０３に戻り、ステッ
プＳ２０２でランダムに設定された演算画素順序に基づ
き対象とする画素を変更し、積和演算を実行する。

【０１１４】また、ステップＳ２０４において、全ての
画素に対する処理を終了したと判断するとステップＳ２
０５に進み、出力フレームバッファ４で書き換えられた
画素数をカウントする。そして、ステップＳ２０６にお
いて、カウントした変化画素数が所定値以下か否かを判
別し、所定値より大きい場合はステップＳ２０３に戻
り、上述の処理を繰り返す。また、所定値以下の場合は
ステップＳ２０７に進み、ニューラルネットに基づく演
算が収束したと判断し、出力フレームバッファ４の一画
面のデータをＦＬＣディスプレイに送る。

【０１１５】このように、実施形態によれば、ニューラ
ルネットの積和演算をデジタル回路で構成し、並列化す
ることにより、リアルタイム処理の画像処理装置を提供
することができる。

【０１１６】また、複数の重み値を持った積和演算回路
を１つのニューラルネット回路上に実現できることによ
り、汎用性に優れた画像処理装置を提供することができ
ると共に、１つのニューラルネット回路で複数の画像処
理を実現できる。

【０１１７】尚、本発明は複数の機器（例えば、ホスト
コンピュータ，インタフェイス機器，リーダ，プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機，ファクシミリ装置な
ど）に適用してもよい。

【０１１８】また、本発明の目的は前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体を、システム或いは装置に供給し、そのシ
ステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰ
Ｕ）が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、達成されることは言うまでも
ない。

【０１１９】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【０１２０】プログラムコードを供給するための記憶媒
体としては、例えばフロッピーディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【０１２１】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部又は全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。

【０１２２】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部又は全部を行い、その処
理によって前述した実施形態の機能が実現される場合も
含まれることは言うまでもない。

【０１２３】

【発明の効果】以上説明したように、本発明によれば、
セルラーニューラルネット画像処理をリアルタイムで実
現でき、汎用性、制御容易性、集積化容易性を向上させ
ることができる。また、ニューラルネットを空間的に並
列化することができ、高画質化画像処理を高速に実現で
きる。

【０１２４】

【図面の簡単な説明】

【図１】本実施形態における離散時間型セルラーニュー
ラルネット（ＤＴＣＮＮ）を用いた画像処理の概念を説
明するための図である。

【図２】本実施形態のデジタル画像処理プロセッサを内
蔵した表示システムの構成を示すブロック図である。

【図３】図２に示す画像処理部３の詳細な構成を示す図
である。

【図４】図３に示すプロセッサエレメントＰＥの詳細な
構成を示すブロック図である。

【図５】画像の分割を説明するための模式図である。

【図６】プロセッサエレメントＰＥの配置例を示す図で
ある。

【図７】プロセッサエレメントの処理手順を示すフロー
チャートである。

【図８】パイプラインの段数と収束までの繰り返し回数
の関係を示す図である。

【図９】周波数伝達特性を示す図である。

Claims

【特許請求の範囲】

【請求項１】セルラーニューラルネットに基づき、入
力画像データを処理する画像処理装置であって、所定領域内の複数画素の入力画像データと入力重み値と
の積和をデジタル演算処理する第１の積和演算手段と、所定領域内の複数画素の出力画像データと出力重み値と
の積和をデジタル演算処理する第２の積和演算手段と、前記第１及び第２の積和演算手段からの演算結果と非線
形特性パラメータとに従って出力画像データを決定する
非線形作用手段とを有する複数の画像処理手段を備え、前記複数の画像処理手段はそれぞれパイプライン接続さ
れ、演算処理を行なうことを特徴とする画像処理装置。
【請求項２】前記パイプライン接続は、空間的に並列
に配置されることを特徴とする請求項１記載の画像処理
装置。
【請求項３】セルラーニューラルネットに基づき、入
力画像データを処理する画像処理方法であって、所定領域内の複数画素の入力画像データと入力重み値と
の積和をデジタル演算処理する第１の積和演算工程と、所定領域内の複数画素の出力画像データと出力重み値と
の積和をデジタル演算処理する第２の積和演算工程と、前記第１及び第２の積和演算工程による演算結果と非線
形特性パラメータとに従って出力画像データを決定する
非線形作用工程とを有する複数の画像処理工程を有し、前記複数の画像処理工程はそれぞれパイプライン接続に
より演算処理を行なうことを特徴とする画像処理方法。
【請求項４】前記パイプライン接続は、空間的に並列
に配置されることを特徴とする請求項３記載の画像処理
方法。