JP3524250B2 - デジタル画像処理プロセッサ - Google Patents

デジタル画像処理プロセッサ

Info

Publication number
JP3524250B2
JP3524250B2 JP00568696A JP568696A JP3524250B2 JP 3524250 B2 JP3524250 B2 JP 3524250B2 JP 00568696 A JP00568696 A JP 00568696A JP 568696 A JP568696 A JP 568696A JP 3524250 B2 JP3524250 B2 JP 3524250B2
Authority
JP
Japan
Prior art keywords
image
output
value
sum
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00568696A
Other languages
English (en)
Other versions
JPH09212477A (ja
Inventor
衞 田中
昌明 今泉
利昭 信宮
裕司 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP00568696A priority Critical patent/JP3524250B2/ja
Priority to US08/755,140 priority patent/US6148101A/en
Priority to EP00201763A priority patent/EP1039415B1/en
Priority to EP96308545A priority patent/EP0775972B1/en
Priority to DE69631559T priority patent/DE69631559D1/de
Priority to DE69622004T priority patent/DE69622004T2/de
Priority to KR1019960058154A priority patent/KR100270268B1/ko
Publication of JPH09212477A publication Critical patent/JPH09212477A/ja
Application granted granted Critical
Publication of JP3524250B2 publication Critical patent/JP3524250B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は入力画像データに対
しデジタル画像処理を実行するデジタル画像処理プロセ
ッサに関し、特に離散時間型セルラーニューラルネット
(DTCNN)を基本とし、デジタルのセルラーニュー
ラルネット(CNN)を構成し、入力画像データに対し
種々の画像処理を実行可能なデジタル画像処理プロセッ
サに関する。
【0002】
【従来の技術】自然画像のようなアナログ信号からデジ
タル中間調画像のようなデジタル信号への変換は、通
常、時間方向(sampling)と、大きさ方向(q
uan−tization)の離散化により行なわれ、
これらの処理により、情報が失われる。しかし、自然画
像は低域周波数成分を多く含み、時空間の近傍で相関が
強いことに着目すれば、低ビット量子化画像処理により
自然画像に近いデジタル中間画像を形成することができ
る。低ビット量子化画像処理は、アナログ自然画像また
はアナログ自然画像の各濃淡値を独立に高ビットAD変
換器でAD変換して得られる高ビット量子化画像から、
時空間の近傍領域の情報を利用して、より低いビットで
表現されるデジタル中間調画像を形成する処理である。
【0003】疑似的なデジタル中間調画像を形成するた
めに面積階調法が従来から使われてきた。面積階調法
は、黒白の2値表示のプリンタやディスプレイで濃淡画
像を再現するために、近傍画像内の黒の割合を変化させ
て階調を再現させる方法で、原画像の濃淡u(x,y)
を一定の規則により算出された閾値Tと比較するディザ
法、入力濃淡画像値と出力中間調画像との誤差を走査さ
れていない画素に拡散する外挿的誤差拡散法(一般的な
誤差拡散法)などが実用的に使用されている。
【0004】今、画素のそれぞれの位置で、その画素を
中心とする近傍画素の各濃淡値に適当な重み値を掛け
て、近傍領域における加重和を出力するフィルタリング
操作において、その重み値を要素とする行列を空間フィ
ルタという。画素の点(i,j)の近傍Nr (i,j)
に属する点(k,l)の処理部N(k,l)(以後、セ
ルという)にある画像入力ukl(t)によってもたらさ
れる点(i,j)の反応は、
【0005】
【外1】 と表現される。これは、ukl(t)によるw(i,j;
k,l)のたたみ込みあるいは、近傍画像領域における
重み値wと変数uとの積和演算といい、Rij(t)=
(w*u)ijと略記する。
【0006】ディザ法は、単位関数U
【0007】
【外2】 で表現される。
【0008】外挿的誤差拡散法は、ラスタ走査の(i,
j)番目における入力uij(t)、出力y(t)=Sij
(t)に対する非線形な再帰的システムでその方程式
は、次のように与えられる。
【0009】
【外3】 ここで、外挿条件としてki,j<i for k=
iがある。また、g(x)=S(x)−xであり、y=
S(x)は、2値化の場合には、符号関数、
【0010】
【外4】 となる。また、重みwk は、重み値であり、以降の量子
化に影響を与えるパラメータであって、量子化誤差の伝
播、あるいは、拡散の仕方を決定している。重みwk
は、負で、その総和が−1でなければならない。
【0011】濃度パターン法やディザ法では、アナログ
自然画像に近い中間調画像を得るためには、画素あたり
のビット数をかなり多くしなくてはならないという問題
があった。一方、デジタル画像の2値化における誤差拡
散法は、密にサンプリングされた文字画像など、細かい
エッジを含む画像にぼけが生じるという問題があり、さ
らに、画素あたりのビット数を増やすと、ある近傍のみ
全く変化のない疑似輪郭が生じるという問題があった。
この問題は、誤差拡散法が一方向に走査されることによ
るものである。
【0012】画像の量子化処理は、サンプリングレー
ト、量子化ステップサイズ、量子化歪みとのトレードオ
フの関係であり、そのため、デジタル中間調画像が入力
の濃淡画像に近くなるように量子化する一種の最適化問
題であることに注目して、この最適化問題を解くパラレ
ルアナログニューラルネットが提案されている。
【0013】その一つが、アナログ対称誤差拡散ニュー
ラルネットである。この非線形なダイナミクスは、k
i,j<i for k=iという外挿条件を除去すれ
ば、後述する数34と同じ式により記述され、ハードウ
ェアは、アナログニューラルネットで構成されている。
この場合、各画素の量子化誤差は、周りの2次元の近傍
系にアナログ的に拡散される。
【0014】また、セルラーニューラルネット(Cel
lular Neural Network(CN
N))と呼ばれるアナログ方式も提案されている。これ
は、セルと呼ばれるセルが規則正しく局所的に接続され
た非線形なアナログ回路を用いる方法である。各セル
は、コンデンサ、抵抗および区分線形セルから構成され
る。CNNは、連続時間で並列にアナログ処理するた
め、デジタル処理ではむつかしいとされるリアルタイム
信号処理系を実現できる可能性がある。更に、アナログ
処理においては高度なAD変換器の逐次動作を使用せず
に、複数セルのダイナミックな量子化動作でデジタル情
報に並列に変換し、並列に記憶または伝送する技術を確
立することができる。CNNによるアナログ処理の利点
は、センサーとの結合性がよいこと、電圧や電流の分布
が高速であり、全体の情報を即座に得ることができるこ
と、積和の演算は、電流和で並列処理的に簡単に形成で
きることである。CNN内のセルは、近傍セルとのみ接
続しているが、直接、相互に接続していないセルとも、
ダイナミクスによる伝搬の影響のために間接的には相互
に影響を及ぼし合うことになる。一般に、M×NのCN
Nは、M行N列に配列されたM×N個のセルをもってい
る。i行j列目のセルをC(i,j)とする。セルC
(i,j)のr−近傍系を次式で定義する。
【0015】 Nr(i,j)={C(k,l)|max{|k−i|;|l−j|} r,1M;1N} 数5 ここで、rは、正の整数である。一般に、r=1の近傍
系を”3×3近傍系”といい、r=2のものを、”5×
5近傍系”、r=3のものを、”7×7近傍系”とい
う。この近傍系は、対称性により、すべてのC(i,
j)とC(k,l)では、C(i,j)∈Nr (k,
l)ならば、C(k,l)∈Nr (i,j)となってい
る。各セルは、コンデンサ、抵抗および区分線形な非線
形素子から構成される。セルC(i,j)の状態方程式
は、状態変数xij、入力変数ukl、出力変数yij、オフ
セットI、コンデンサC、抵抗Rx 、そして、画像1
M;1Nに対して、次のように表現される。
状態方程式
【0016】
【外5】 出力
【0017】
【外6】 |xij(0)|1, 数8 |uij1, 数9 パラメータを以下のように仮定する A(i,j;k,l)=A(k,l;i,j), 数10 C>0,Rx >0. 数11 CNN内のすべてのセルは、同じ回路構造と要素値を持
っている。近傍のセルの数は(2r+1)2 である。C
NNのダイナミクスは、出力フィードバックと入力フィ
ードフォワードの両方のメカニズムを持っている。前者
はA−テンプレートA(i,j;k,l)に依存し、後
者はB−のテンプレートB(i,j;k,l)に依存す
る。これらのテンプレートはプログラム可能なパラメー
タである。CNNでは、セルのすべての定常状態の出力
が±1と一定とするために、次の定理が使われる。
【0018】A−テンプレートの中心の回路パラメータ
A(i,j;i,j)が、 A(i,j;i,j)>1/Rx 数12 満足するならば、セルは1つの安定した平衡点に収束す
る。そして、次式が成立する。
【0019】
【外7】 この定理は、画像の2値化を可能とする。これがアナロ
グによる誤差最小化ダイナミクス法である。
【0020】
【発明が解決しようとする課題】従来のアナログ対称誤
差拡散ニューラルネットとアナログCNNの問題は、ア
ナログの原理と理論が論文として先行しているだけで、
大きな画像処理を行なうアナログチップを構成できない
という問題があった。CNNがたとえ近傍接続を前提と
していても、セルを画素の数だけセルを配置して画像全
体で複数の近傍接続を行なうことになり、配線がチップ
のシリコン領域のほとんどの面積を占めることになる。
しかし、現実では、画素のすべてにセルが配置された大
規模なアナログニューラルネットはLSIとして構成で
きず、できたとしても、コストが高くなり、実用的でな
いという問題があった。
【0021】又、前述したテンプレートの値を変更する
場合には回路を設計し直さなければならず、汎用性に欠
ける欠点があった。
【0022】また、CNNによる画像処理技術を強誘電
性液晶ディスプレイ(FLCD)のような表示デバイス
に応用した場合、すなわち、CNNで2値化又は多値化
し処理された動画像をこのようなFLCDに表示する場
合には、動画像の静止領域においては、多値化により出
力される画素レベルが常に変化すると、ディスプレイに
ちらつき(フリッカ)が生じるという問題があった。
【0023】本発明は上述した従来技術の欠点を除去す
るものであり、ニューラルネットをデジタル回路で構成
したことにより、汎用性、制御容易性、集積化容易性に
優れたデジタル画像処理プロセッサの提供を目的とす
る。又、テンプレートの選択によって、1つのニューラ
ルネット回路で複数の画像処理を実行できるデジタル画
像処理プロセッサの提供を目的とする。又、ニューラル
ネットのパイプライン処理化を実現でき、高画質高画像
を高速に得ることができる。デジタル画像処理プロセッ
サの提供を目的とする。又、ニューラルネットの演算に
状態値と状態重み値との積和を考慮することにより、入
力画像にほぼ忠実な低ビット量子化画像を得ることがで
きる。デジタル画像処理プロセッサの提供を目的とす
る。又、ニューラルネットの演算に1フレーム前の画像
出力値と状態重み値との積和を考慮することにより、入
力動画像に忠実な低ビット量子化動画像を得ることがで
きるとともに、動画の背景にちらつきの無い高画質な動
画像を得ることができるデジタル画像処理プロセッサの
提供を目的とする。
【0024】
【課題を解決するための手段】上述した目的を達成する
ため、本発明は、入力画像データを処理する画像処理プ
ロセッサであって、所定領域内の複数画素の入力データ
と入力重み値との積和をデジタル演算する第1の積和演
算手段と、所定領域内の複数画素の出力画像データと第
1の出力重み値との積和をデジタル演算する第2の積和
演算手段と、前フレーム画像の出力値データと第2の出
力重み値との積和をデジタル演算する第3の積和演算手
段と、前記第1、第2及び第3の積和演算手段からの演
算結果と非線形特性パラメータに従って出力画像データ
を決定する非線形作用手段と、を有し、前記入力重み
値、前記第1の出力重み値、前記第2の出力重み値及び
非線形特性パラメータは、処理後の画像を評価するため
の歪み関数と、ニューラルネットワークのエネルギー関
数との間で係数を比較することにより決定された値であ
ることを特徴とする。
【0025】
【0026】
【0027】
【0028】
【発明の実施の形態】以下、本発明の実施の形態を詳細
に説明する。まず、本実施の形態における原理説明を行
なう。
【0029】濃淡画像の二値化は、2値表示のプリンタ
やディスプレイでは、極めて重要な処理であり、入力濃
淡画素値を閾値と単純に比較する単純2値化では、文字
画像やエッジ画像を表現する場合には適するが、自然画
像を表現するには適さない。そのため、自然画像では、
時空間の近傍で相関が強いことを利用して、近傍画像内
の黒の割合を変化させて階調を再現する誤差拡散法など
の面積階調法が使われてきたが、これらは、ラスタスキ
ャン走査に従って各画素の出力低ビット中間調画像が陽
的に決定される外挿的画像処理であって、高速な単純動
作となる特徴がある反面エッジの保存性が悪い等との画
質問題も指摘されている。そのため、従来の面積階調法
に代わる新しい量子化処理法を見い出すことも重要視さ
れている。ここで陽的な外挿的画像処理とは従来よりデ
ィサ法、誤差拡散法の如く入力データに対し一度の閾値
処理で出力データを決定する処理である。
【0030】一般に、アナログ信号からデジタル信号へ
の変換は、通常、時間方向(sampling)と大き
さ方向(quantization)の離散化により行
なわれる。これら両方の処理により、情報はかなり失わ
れる。時間方向の離散化は、サンプリングにより行なわ
れ、ナイキスト周波数を越える周波数成分の消失を生じ
る。また、大きさ方向の離散化は、各サンプルxの大き
さを無記憶な非線形関数y=f(x)を用いて行なわれ
る。y=f(x)は、2値以上の多値化であれば、量子
化レベル数だけのレベルが階段上になっている。量子化
レベル数が低ければ、一般に、階調情報が消失する。従
って、デジタル中間調表現の正確さは、連続値と離散値
との間の誤差(歪み)により評価しなくてはならない。
【0031】画像信号の量子化処理は、一つの最適化問
題であると考えるべきである。今、画像の大きさを、簡
単のため、一次元とする。サンプリングされたアナログ
信号ui,i=1,…,Nは、不連続値の信号yi,i=
1,…,Nに近似される。uとyは、それぞれ入力と出
力の信号を表すN次元のベクトルである。信号uが与え
られた時、あらかじめ与えられた量子化レベルの中から
歪関数d(u,y)が最小化されようにレベル選択され
なくてはならない。
【0032】量子化ステップサイズΔがΔ→0とすれ
ば、完全な復号(y→u)が可能となるが、なるべく、
誤差が小さく、しかも、大きな量子化ステップサイズΔ
が得られることが望まれる。もし、歪関数を平均自乗誤
差(mean squarederror MSE)で
あるとすると、
【0033】
【外8】 となる。最適な量子化を行なうためには、平均自乗誤差
を最小化し、各サンプルuiに最も近い量子化レベル
で、しかも、できるかぎりレベル数が小さくなるように
設計しなくてはならない。しかし、一般的には、最適な
量子化信号yiは、歪関数d(u,y)の選択に依存す
る。しかも、量子化は必然的に歪みを生じるので、歪関
数d(u,y)の選択は、人間の視覚の機構に合わせる
必要がある。すなわち、低ビット中間調画像を得る量子
化処理は、人間の知覚フィルタを通った多値化画像と原
画像の間の誤差が最小化されるように行なわれる。知覚
フィルタは、人間の視覚における周波数伝達特性(MT
F)から求められる。人間の視覚における感度は、時間
的あるいは、空間的に高い周波数に近づくくにしたがっ
て、漸近的に0に近づくことを表現している。MTFに
ついては次のような近似式で与えられる。
【0034】
【外9】 MTFは視野角1度につ8周期の時ピークとなる帯域通
過フィルタである。MTFにおける低域周波数特性のゲ
インをある程度見込めば、人間の知覚フィルタはガウス
分布に非常に似通っていることがわかる。そこで、フィ
ルタの扱い易さを考えて、本実施の形態では、人間の知
覚フィルタをガウス分布と仮定する。
【0035】現在、CRTにかわる画像表示装置とし
て、液晶ディスプレイが広く普及している。液晶ディス
プレイは、CRTに比べて、薄くすることができ、消費
電力を少なくすることができる。その中で、最近研究が
進められている手法としては、強誘電性液晶ディスプレ
イ(FLCD)が注目されている。FLCDは応答が早
く、大面積のパネルを安く作れることなどの優れた特徴
がある。FLCDは、原理的に2つの分子配向により、
明暗の2状態のみを使って、各出力画素を構成する。こ
れにより、カラー階調を表現するためにはRGBビット
のそれぞれの面積率で各出力画素値を再現する必要があ
る。したがって、表示可能な色数が限定される。この場
合、ディスプレイに表現できる限定色は、RGB色空間
を均等分割した代表色となる。このようなFLCDに画
像を表示する際には、原画像の各画素値を単純量子化し
てしまうと、ディスプレイの表示可能色数が少ないため
に、表示される画像が悪くなる。そのため、原画像に対
して、このディスプレイに表示するのに適した量子化変
換を行なう必要がある。この量子化変換は、ある近傍領
域内での量子化された画素値の割合を変化させて、階調
を表現するものである。つまり、ある近傍内での量子化
された画素値の重み付き総和が原画像の画素値に等しく
なるようにすれば、これを限定色表示ディスプレイに表
示しても、人間の視覚フィルタにより原画像に近い画像
を人間が知覚することができる。この量子化変換を行な
うのに、従来、ディザ法や、誤差拡散法が用いられてき
た。
【0036】〔第1の実施の形態〕図1は本第1の実施
の形態におけるDTCNNを用いた画像処理(2値or
多値化処理)の概念を説明するための図である。第1の
実施の形態においては静止画像を対象としDTCNNに
よる画像処理を説明する。
【0037】図1においては、入力画像の3×3近傍画
像領域における入力濃淡画像と人力重み値との積和ΣB
ijmnUmnと出力画像の3×3近傍画像領域におけ
る出力低ビット画像値と出力重み値との積和ΣAijm
nYmnを加算し、これを非線形出力関数f(x)によ
り、出力データに変換する。
【0038】入力画像は、例えば、画素8ビット以上の
高ビット濃淡画像とする。
【0039】図1は本実施の形態の基本的な概念を示し
たものであるが、本実施の形態では最終的には以下に示
す数17,18,19(数19は2値化の際用いられる
もの)に示す式に従って画像処理を実行する。
【0040】画像がM×Nの画素から構成されていると
き、本実施の形態の実際のハードウェアでは、セルの個
数は、1または、画素数よりかなり少ない数で時分割処
理するが、仮想的には、M×N個のセルがあり、それら
によってグリッド平面上に仮想的に配置される。そして
その仮想的な各セルは次の式にしたがって動作する。
【0041】
【外10】 ij(t+1)=f(Xij(t+1)) 数18
【0042】ここで、XijはセルC(i,j)の状態変
数、UijはセルC(i,j)の入力変数、YijはセルC
(i,j)の出力変数、TijはセルC(i,j)の閾値
定数である。非線形出力関数f(x)は、一般には、多
値化関数であるが、画像の2値化では、次のような符号
関数で表現される。
【0043】
【外11】
【0044】ここで数17は、近傍画像領域における入
力重み値と入力濃淡画像との積和とオフセットとの和
【0045】
【外12】 を入力または計算する第1の積和演算部と、近傍画像領
域における出力重み値と時空的にすでに決められている
出力低ビット中間調画像値との積和
【0046】
【外13】 の演算を実行する第2の積和演算部と、近傍画像領域に
おける状態重み値と時空的にすでに決められている前状
態値との積和
【0047】
【外14】 を計算する第3の積和演算部と、第1の積和演算部、第
2の積和演算部、第3の積和演算部に接続され、前記各
積和演算部の積和を加えることによって現状態値x
ij(t+1)を計算する状態計算部とを表わしている。
数19は前記状態計算部に接続され、現状態値に非線形
を作用して各画素の現出力低ビット中間調画像値を決定
する非線形作用部f(x)を表わしている。これら式に
おいて、近傍画像領域における入力重み値、出力重み
値、オフセット、状態重み値、および非線形作用部の非
線形特性のパラメータ選択によって希望した一連の画像
処理を選択的に実行することもできる。すなわち、近傍
画像領域におけるテンプレートA(i,j;k,l),
B(i,j;k,l),C(i,j;k,l)とオフセ
ットTijのパラメータを選択する極めて簡単な処理によ
って、ラスタスキャン走査に従って各画素の出力低ビッ
ト中間調画像を陽的に決定する外挿的画像処理と、各画
素の出力低ビット中間調画像が初期値からダイナミック
に変化し、ある値になったときの出力低ビット中間調画
像を陰的に決定する内挿的画像処理との両方をユニバー
サルに選択できる。
【0048】ここで陽的な外挿的画像処理とは従来より
一般的に知られているディザ法、誤差拡散法の如く、入
力データに対し一度の閾値処理で出力データと決定する
処理である。又、陰的な内挿的画像処理とは出力低ビッ
ト中間調画像の値を変化させ、その都度数17,18,
19に基づく演算を行なう処理を理想的な画像が得られ
るまで、即ち、入力濃淡画像に比較的忠実な低ビット中
間調画像が得られるまで繰り返し実行する処理である。
【0049】従って、内挿的誤差拡散法による処理結果
は従来の外挿的な誤差拡散法で問題となっていた独特な
縞パターン及び疑似輪郭、更には画像のハイライト部に
おける粒状性のノイズの発生を防止でき、入力画像に忠
実な出力画像を得ることができる。
【0050】そして、本実施の形態においては、外挿的
画像処理と内挿的画像処理とテンプレートの選択によっ
てセレクトできる。
【0051】特に、外挿的画像処理におけるディザ法で
は、テンプレートA(i,j;k,l)=0,C(i,
j;k,l)=0でB(i,j;k,l)のみを使い、
外挿的誤差拡散法では、テンプレートA(i,j;k,
l),B(i,j;k,l),C(i,j;k,l)=
−A(i,j;k,l)と設定する。この場合、テンプ
レートには、ラスタスキャン走査に従って各画素の出力
低ビット中間調画像が陽的に決定されるように走査され
た部分に対応する要素のみを含むようにする。また、内
挿的誤差拡散法を決めるテンプレートA(i,j;k,
l),B(i,j;k,l),C(i,j;k,l)=
−A(i,j;k,l)には、各画素の出力低ビット中
間調画像が陰的に決定されるように、まだ、走査されて
いない(まだ出力値を決定していない)部分に対応する
要素も含むようにする。また、誤差最少化ダイナミクス
法による低ビット量子化画像処理をおこなう場合には、
C(i,j;k,l)=0としA(i,j;k,l),
B(i,j;k,l)を使い、テンプレートA(i,
j;k,l)には、各画素の出力低ビット中間調画像が
陰的に決定されるように、まだ、走査されていない(ま
だ出力値を決定していない)部分に対応する要素も含む
ようにする。
【0052】さらに、本実施の形態では、陰的に決定す
る内挿的画像処理を実行する場合、汎用デジタル画像処
理プロセッサ内部で最新に更新した出力低ビット中間調
画像を隣接する他の汎用デジタル画像処理プロセッサに
伝送し、その汎用デジタル画像処理プロセッサの注目画
素処理部(セル)が受信した更新出力低ビット中間調画
像を近接領域からの情報と見なし、それと出力重み値と
の積和演算を実行するパイプライン手段で内挿的画像処
理を高速化する。
【0053】まず、C(i,j;k,l)を用いること
なく、A(i,j;k,l),B(i,j;k,l)を
使って低ビット量子化画像処理を実行する例を説明す
る。この場合、仮想的な各セルの動作を簡単に次式で表
現する。
【0054】
【外15】
【0055】ここで、A(i,j;k,l),B(i,
j;k,l)は目的とする画像処理によってプログラム
可能な(k,l)から(i,j)への重みである。ま
た、yij,uijはセル(i,j)の出力および入力であ
る。この数20のDTCNNは、近傍画像領域における
入力重み値と入力濃淡画像との積和のB(i,j;k,
l)uklを少なくとも入力または計算する第1の積和演
算部と、近傍画像領域における入力重み値と時空的にす
でに決められている出力低ビット中間調画像値との積和
A(i,j;k,l)ykl(t)の演算を実行する第2
の積和演算部、第1と第2の積和演算部に接続され、各
画素の現時刻の出力低ビット中間調画像値を決定する非
線形作用部f(xij)とを含み、近傍画像領域における
前記入力重み値、出力重み値、および前記非線形作用部
の非線形特性のパラメータ選択によって希望した一連の
画像処理を選択的に実行することができる。このDTC
NNでは、セルの出力の非線形関数に符号関数、あるい
は、単位関数を使えば、出力は2値に限定され、この場
合には、A(i,j;k,l)ykl(t)とB(i,
j;k,l)uklを比較する比較器を基本として構成さ
れる。一般的には、非線形作用部は、出力関数を階段状
関数に拡張することで、出力を多値にすることで可能
で、量子化ステップサイズを可変的に変更できるよう
に、非線形特性を格納するRAM、ROMまたPLAを
基本として構成される。また、安定化のため自己フィー
ドバックが零、すなわち、要素A(i,j:i,j)=
0として、しかも各セルは非同期に動作させるほうがよ
いが、これは、必ずしも必須な条件ではなく、時には、
零でないA(i,j:i,j)を使ったり、すべてのセ
ルを。同期で動かすことにしてもよい。
【0056】次に、図面を参照し、本第1の実施の形態
の具体的な構成を説明する。
【0057】図2は、本実施の形態のデジタル画像処理
プロセッサを内蔵した表示システムの構成を示したブロ
ック図である。
【0058】図2においては、1は1画素複数ビットか
らなる濃淡画像を入力する画像入力部である。これは例
えばカメラ、スキャナ、コンピュータによって構成され
る。2は入力フレームバッファで少なくとも複数ライン
分の画像データを一時格納する。3は画像処理部で1画
素複数ビットからなる多値レベルの濃淡画像データを、
それよりも小さいレベル(ビット)数の画像データに量
子化処理する。この画像処理部では前述したテンプレー
ト、非線形特性の選択によって、複数の画像処理の中か
ら所望の画像処理を選択することができる。4は、量子
化処理された出力データを格納する出力フレームバッフ
ァである。5は強誘電性液晶表示器(FLCD)であ
る。6は入力フレームバッファ2、画像処理部3、出力
フレームバッファに接続され、データ転送のアドレス制
御、画像処理の制御を行なうCPUである。CPU6に
は制御プログラムを格納したROM、ワークエリアとし
てのRAMが備えられている。7は画像処理部3で実行
される画像処理をオペレータが任意に選択する画像処理
選択部で、この選択部7からの選択に応じて、CPU6
は画像処理部3で用いられるテンプレート非線形特性を
画像処理部3へ指示する。又、後述する図10のプロセ
ッサエレントではオフセットの選択も可能であり、この
場合、選択部7はオフセット値も選択可能である。
【0059】図3は画像処理部3を詳細に示したもの
で、画像処理部3はプロセッサエレエント(PE)51
〜53、ゲートウェイプロセッサ(GE)より構成され
ている。PE51、52、53はそれぞれ同一の構成の
プロセッサでパイプライン接続されており、それぞれ入
力画像の異なる位置を処理する。
【0060】図4は、プロセッサエレメントPEの詳細
を示したブロック図であり、PE51、52、53はそ
れぞれ図4のハードウェアで構成されている。ここでは
1つのPEを100として示した。PE100は入力フ
レームバッファから送られてきた複数画素によって構成
される近傍画像領域における濃淡画像を格納するメモリ
30、近傍画像領域における各重み値を格納するメモリ
28、近傍画像領域における出力低ビット中間調画像を
格納するメモリ31及び出力特性を格納するメモリ29
と、そのメモリ28、29、30、31をアクセスする
アドレス値を計算するアドレス計算部41がある。アド
レス計算部41はALU42、NPCレジスタ43、P
Cレジスタ44から成る。
【0061】ここでは、各メモリ28、29、30、3
1は、プロセッサの内部にあるが、外部にしてもよい。
【0062】メモリ28、29にはそれぞれ複数の重み
値が格納されており、CPU6からの画像処理の種類の
異常を示すコマンドに従って、重み値を選択する。
【0063】更にプロセッサ100は近傍画像領域にお
ける入力重み値を格納するメモリ28内のデータと入力
濃淡画像を格納するメモリ30との内のデータとの積和
B(i,j;k,l)uklを計算する第1の積和演算部
11を備え、この第1の積和演算部11はかけ算器13
と累算器14レジスタ15、16より構成される。レジ
スタ15、16はそれぞれメモリ28、30からフェッ
チされた入力濃淡画像Uklと重み値B(i,j;k,
l)をそれぞれラッチする又、累積器14は足し算器1
7、ACCレジスタ18より構成される。
【0064】更にプロセッサ100は出力重み値を格納
するメモリ29内のデータとメモリ31内の出力中間調
画像値との積和A(i,j;k,l)ykl(t)を実
行する第2の積和演算器12を備え、この第2の積和演
算器12はかけ算器19と累算器20、レジスタ21,
22によって構成される。
【0065】レジスタ22、レジスタ21の各レジスタ
は、それぞれメモリ31、メモリ29からフェッチされ
た出力中間調画像Ykl(t)と重み値A(i,j;k,
l)をそれぞれラッチするためレジスタである。また、
累積器20は足し算器23とACCレジスタ24より構
成される。
【0066】また、プロセッサ100の内部には、レジ
スタとしてレジスタ18、24、27、43、44があ
り、各レジスタの役割は次のようになる。
【0067】PCレジスタ44は処理対象ピクセルのア
ドレスを格納する。そして、NPCレジスタ43は近傍
系の画像位置を格納する。
【0068】このNPC43に格納される値は、例え
ば、処理に用いる近傍系を最大で7×7のサイズを想定
すれば、図7のように、(−3,−3)から(3,3)
間の値を格納し、そのために、それらの値を更新できる
ようなインクリメンタを内蔵している。
【0069】近傍系における重み値と低ビット出力中間
調画像との積和演算を行なう際に、このNPCレジスタ
43とPCレジスタ44の値から近傍画素のアドレスを
計算しその画素値をフェッチする。
【0070】ACCレジスタ18は、第1の積和演算部
における、注目画素及びその近傍系の積和演算結果を累
算するレジスタである。
【0071】また、ACCレジスタ24は、第2の積和
演算部門における注目画素の近傍系に関する積和演算結
果をアキュームレート(累算)するレジスタである。
【0072】セル動作の積和演算はこれらのレジスタ1
5、16、18、21、22、24、43、44の値を
用いて行なわれる。
【0073】よって、積和演算の段階ではデータフェッ
チと積和演算の2段のパイプラインステージを形成す
る。
【0074】レジスタ27とN−ADRSレジスタ45
は後述するパイプライン処理に必要となるもので、プロ
セッサ間でのデータのやりとりを可能にする。すなわ
ち、それらは、最後に計算を行なった出力値(P−RE
G)を保持するレジスタ27、および、その結果をメモ
リに書き込んだときに使用されたアドレス(N−ADR
Sを保持するレジスタ45である。
【0075】例えば、出力低ビット中間調画像値の出力
低ビットが2ビットとする場合には、重みが7ビット+
符号1ビット、出力は符号なし2ビットとすればよい。
このとき、乗数が2ビットであるため、加算器のアレイ
を構成して積和演算を行なうこともできる。
【0076】アドレス計算部41はNPCレジスタ43
とPCレジスタ44からアドレスを計算するユニットで
ある。
【0077】実行する命令は以下の通りである。
【0078】NPCで指定された近傍のアドレスを求め
る:neigh 対象ピクセルの値をx方向にインクリメントする:li
neinc 同様にy方向にインクリメントする:colinc 又、プロセッサ100は第1の積和演算部11からの演
算結果と第2の積和演算部12からの演算結果を足し算
する足し算器25、足し算器25からの結果に基づき出
力低ビット中間調画像値を決定する非線形作用部26を
備える。
【0079】第1の積和演算部11より積和演算B
(i,j;k,l)uklを計算し第2の積和演算部12
により積和演算A(i,j;k,l)yklを計算し足し
算器25によりのB(i,j;k,l)uklとA(i,
j;k,l)yklとの和を求める。そして各画素の現時
刻の出力低ビット中間調画像値を決定する非線形作用部
26は、非線形特性をプログラマブルに格納するRA
M,ROMまたPLAを基本として構成されるが、出力
を2ビット等に固定する場合には比較器を基本として構
成される。
【0080】この場合、積和演算結果が正か負かを最上
位ビットによって区別し、その値が非線形関数のx軸の
どの位置にあるかを判断することになる。
【0081】図5は非線形作用部26で用いられる非線
形関数の一例を示したもので、出力を2ビットとしたも
のである。
【0082】ここでは、足し算器25の結果をx軸と
し、それによって決まるf(x)の値を出力低ビット中
間調画像値として決定する。この非線形作用部26で用
いられる非線形関数も、画像処理選択部7からの指示に
応じてCPU6が選択することができる。この関数の選
択で、出力ビット数を選択することができる。
【0083】二つで一台のプロセッサで逐次動作で、ダ
イナミックなデジタル処理を実行すると、出力中間調画
像が最適値に収束するまでに、多数の反復計算を必要と
し多大な計算量・時間を要する。
【0084】そこで、本実施の形態では、DTCNNの
出力の収束を加速するために各々プロセッサに1方向の
データパスを持たせ、リング構造のプロセッサネットワ
ークを構成する。この構成によってプロセッサ間でパイ
プライン動作を行なわせることが可能となる。ネットワ
ークのアーキテクチャを図3に示す。
【0085】図3において、PE1:51、PE2:5
2、PE3:53は、本実施の形態の汎用画像処理プロ
セッサ100と同じもので、ここでは、プロセッサエレ
メントという。GE(ゲートウェイプロセッサ)50は
各PE51、52、53にさまざまな指示や入力画像の
配布などの管理を行なうハードウェアである。各PE5
1、52、53は図4における入力濃淡画像メモリ30
や出力中間調画像メモリ31、および、処理に必要とな
る出力重みA(i,j;k,l)のパラメータを格納す
るメモリ29、入力重みB(i,j;k,l)のパラメ
ータを格納するメモリ28をローカルに持っている。そ
して各々が入力濃淡画像に対して、積和演算と非線形作
用を基本とする画像処理を行なう。ここで、各前段PE
は、最新に更新した出力中間調画像値yklを蓄えるレジ
スタ27および、その画素位置を示すアドレスを専用の
レジスタ45にストアする。このストアされた値をその
後段に接続されたPEに送り、その後段PEがこのアド
レス値を使って、自分のメモリの指定されたアドレスに
最新に更新した出力中間調画像値yklを書き込む.この
動作をリング上に接続された各プロセッサが行なうこと
によって出力中間調画像の収束を加速させることが可能
である。
【0086】例えば、図6の5×5の小さな画像をPE
1,PE2でパイプラインを実行する場合、各PEは、
次のような順序で、画素(i,j)を中心とする3×3
の画像近傍領域の処理を行なうことになる。
【0087】PE1:(1,1),(1,2),…
(1,5),(2,1),(2,2),…,(5,5) PE2:(2,3),(2,4),(2,5),(3,
1),(3,2),…,(5,5),(1,1),
(1,2)…(2,2)
【0088】
【表1】
【0089】表1は、このパイプライン処理の概念を示
すものである。PE1はPE2で最新に更新された出力
低ビット中間画像値を“Receive”し、これを近
傍からの出力低ビット中間調画像値として積和演算と非
線形処理を実行する。
【0090】このネットワークでは各プロセッサにつき
1方向のデータパスを用意するだけで済むため、データ
通信のためのハードウェアのコストを少なく押さえるこ
とが可能である。そしてより多くのプロセッサを集めて
チップ化することも可能となる。汎用画像処理プロセッ
サ(PE)の計算アルゴリズムは次のようになる。ここ
では図8も参照して処理を説明する。図8は1つのPE
でのデータ処理のタイムチャートを主として示してい
る。
【0091】図8においてPE1とPE2はパイプライ
ン接続されている。
【0092】1.起道・初期設定 外部から制御起道をかけられPEは起動する。この時、
次のような指示が与えられる。まず、処理における近傍
系の広さの指示及び対象となる入力画像の大きさの指
示、及び各種テンプレートの指示が与えられる。また、
レジスタの初期化が行なわれる。初期化では、PCに処
理を始めるアドレスが与えられる。またNPCには処理
を行なう近傍系の広さに合わせた値が与えられる。
【0093】またACCレジスタは0へと初期化され
る。
【0094】2.データ伝送ステージ プロセッサアレイにおいて、前段PEから値yklを読み
込み、その値を自分のメモリに書き込むステージであ
る。最新の出力中間調画像値yklとそれに対応するアド
レス値を受けとり、値yklをそのアドレス値の番地に書
き込む。これは図8ののサイクルにあたる。
【0095】3.データフェッチ・積和演算ステージ PCとNPCの値から必要な近傍のアドレスを計算し、
そのアドレスの画像の出力中間調画像値をメモリ31か
ら読み込み、レジスタ22にラッチする。また、その近
傍に対応する重みの値A(i,j;k,l)をメモリ2
9から読み込み、レジスタ21にラッチする。又、入力
画像値をメモリ30から読み込みレジスタ16にラッチ
する。又、重歪みをメモリ28から読み込みレジスタ1
5にラッチする。これは図8ののサイクルにあたる。
そして現在のアキュムレータの内容Pに対する積和演算
P+A(i,j;k,l)ykl(t)とP+B(i,
j;k,l)uklは、ACCレジスタ24にラッチされ
た値に対して、次のクロックサイクル(図8ののサイ
クル)で行なわれる。
【0096】このデータフェッチと積和演算はパイプラ
イン動作で行なわれる。
【0097】4.出力ステージ 積和演算ΣA(i,j;k,l)ykl(t)の結果と、
積和演算ΣB(i,j;k,l)uklの結果から新規に
更新する出力値yijを求め、その値をメモリに書き込
む。(図8ののサイクル) 次に、図4においてパラメータA,Bの選択に応じたプ
ロセッサ100の動作制御フローチャートを図9に示
し、その制御を説明する。図9のフローチャートはCP
U6によって実行される。
【0098】ステップ200(S200) 動作をスタートする。
【0099】ステップ201(S201) 図2の選択部7からの選択に応じてCPU6は画像処理
部3で用いられるテンプレートの値A,B,非線形関数
f(xi,j)を画像処理部3へ指示する。
【0100】ステップ202(S202) ここでは指示されたテンプレートの値に基づき画像処理
方式(外挿/内挿方式)を判別する。A=0のときは外
挿的画像処理と判別する。(例えばディザ)、A、Bと
もに用いる場合は内挿的処理であると判別する。
【0101】ステップ203(S203) プロセッサ100に指令を出し数20に基づく演算を行
なう。その時のykl(t)を出力値とする。ここでは
外挿的画像処理を実行するので、一度の処理で出力値を
決定する。
【0102】ステップ204(S204) ステップS204では、出力フレームバッファ4に初期
値を設定する。ここではランダムな2値データを出力フ
レームバッファに設定する。又、ステップS204では
1画面の全画素入力データに対し、積和演算を実行する
に際し、その演算順序を設定する。ここで、演算順序は
ランダムに、全ての画素を走査するような順とする。
【0103】ステップ205(S205) ステップS205ではステップS204で決定した順番
に基づきプロセッサエレメント100に指令を出し、数
20の演算を実行し、出力値を求める。
【0104】この結果は、出力フレームバッファ6に送
られ、既に格納されている値と異なる場合、値が書き換
えられる。
【0105】ステップ206(S206) ステップS206では入力した全ての画素に対する処理
が終了したか否かを判断し、終了していない場合はステ
ップS205に進み、ステップS204でランダムに設
定された演算画素順序に基づき対象とする画素を変更
し、積和演算を実行する。
【0106】ステップ207(S207) ステップS206で全ての画素に対する処理が終了した
と判断すると、ステップS207に進み出力フレームバ
ッファ4で書き換えられた画素数を判別する。
【0107】ステップ208(S208),ステップ2
09(S209) ステップS208ではステップS207で判別した画素
数が所定値以下か否かを判別し、所定値以下の場合はニ
ューラルネットに基づく演算が収束したと判別し、ステ
ップS209に進み、出力フレームバッファ4の一画面
分のデータをFLCディスプレイへ送る。又、ステップ
S208でステップS207で判別した画素数が所定値
より大きい場合はステップS205〜ステップS207
を繰り返す。
【0108】なお、本フローではテンプレートの値によ
り画像処理方式を判別していたが、ステップS201で
テンプレートの値とは別に画像処理方式を選択できるよ
うにしてもよい。
【0109】次に、近傍画像領域における重み値および
非線形特性のパラメータ選択に関する最適化設計方法に
ついて述べる。
【0110】まず初めに原理を説明する。
【0111】入力画像の大きさをM×Nとする。本実施
形態のDTCNNにおいて、一つのセルに複数の等間隔
な出力レベルを与えることにより、直接、離散値を表現
させることができる。このDTCNNでは、各セルが複
数レベルの出力を持つので、このセルを多値化セルと呼
ぶ。多値化セルの場合の非線形出力関数f(x)はxを
n個の離散値レベルに変換する非線形関数で
【0112】
【外16】 となる。関数g(x)はΔを量子化ステップとする一様
(直線)量子化関数である。
【0113】
【外17】 ここで、〔 〕はガウス記号である。前述した図5がn
=4の場合のf(x)を示す。したがって、多値化セル
の出力yは、〔−1,1〕の区間内の等間隔なn(
2)レベルの離散値となる。
【0114】
【外18】 例えば、n=4の時yは図5に示した如く次のようにな
る。
【0115】
【外19】
【0116】ここで、多値化セルを含むDTCNNのエ
ネルギー関数E(t)を次のように定義する。なお、S
はニューロンの閾値定数である。
【0117】
【外20】
【0118】多値化セルを含むDTCNNを最適化問題
に適用する場合、DTCNNのエネルギー関数と歪み関
数との間で、係数を比較することにより、ネットワーク
のパラメータを決定することができる。
【0119】画像量子化処理における歪み関数は、一般
に次式で定義される。
【0120】 dist(y,u)=(Q′y−R′u)T (Q′y−R′u) 数26 ここで、Q′=〔Q(i,j;k,l)〕,R′=〔R
(i,j;k,l)〕は適当に与えられた係数行列(フ
ィルタ)で、ともに対称であるとする。入力uを定数と
すると、dist(y,u)の最小化すべき量は次のよ
うになる。
【0121】
【外21】 また、数25のDTCNNのエネルギー関数を同様に行
列を用いて表記すると、
【0122】
【外22】 となる。ここで、行列S′はSを要素とするベクトルで
ある。
【0123】数27と数28を比較することによりネッ
トワークの各パラメータを次のように決定できる。
【0124】
【外23】 ここで、δは行列Q′T Q′の対角成分の値である。出
力を2値に限定したDTCNNでは、行列A′の対角成
分を強制的に0とするだけで、歪み関数は常に単調減少
となるが、多値化セルを含むDTCNNでは、さらに、
コスト関数dist(y,u)におけるyij 2 の係数が
1になるように正規化する必要がある。この時、エネル
ギー関数E(t)と歪み関数dist(y,u)は同値
となり、ネットワークが安定状態に収束した時、歪み関
数dist(y,u)の極小解を得ることができる。
【0125】特に、出力低ビット中間調画像を出力する
ことを目的とする場合には、人間の視覚フィルタに近い
ガウスフィルタH′を用いるので、DTCNNのパラメ
ータを決定するためにコスト関数dist(y,u)は
次式で定義される。
【0126】
【外24】 ここで、H′は人間の視覚フィルタ、yは中間調処理さ
れた出力多値画像は、u′は入力原画像、また、C1
(y,u)は、人間が知覚した出力多値化画像y′が入
力画像u′に近くなるようにする項である。また、C2
(y,u)は、多値化した際のセルの出力レベルが原画
像の画素レベルに近くなるようにする制約項である。こ
の制約項がないと多値化画像を人間が知覚した時ノイジ
ーに感じられる。また、この制約項が強くしすぎると、
疑似輪郭があらわれる。2値化する場合には、この項は
必要ないのでβ=0とする。
【0127】数30が意味するものは、C1 (y,u)
は出力画像データyklにフィルタH′を掛けた値と入力
画像データuijとの差を示しており、又C2 (y,u)
は出力画像データと入力画像データとの差を示してい
る。
【0128】そして本実施の形態では、前記、C1
(y,u)及びC2 (y,u)が共に小さくなる様にテ
ンプレートを設計する。
【0129】多値化セルを用いたDTCNNの場合、コ
スト関数dist(y,u)におけるyij 2 の係数が1
になるように正規化する必要がある。行列H′T H′の
対角成分の値をδとすると、コスト関数dist(y,
u)においてyij 2 の係数になりうる値はC1 (y,
u)項ではαδ,C2 (y,u)項ではβであるから、 αδ+β=1 数31 である。したがって、
【0130】
【外25】
【0131】コスト関数dist(y,u)とDTCN
Nのエネルギー関数を比較することにより次のようにネ
ットワークのパラメータを決定する。
【0132】
【外26】 入力画像がカラーであるならば、RGBなどの直交座標
系に分解して、それぞれのプレーンを独立に多値化す
る。収束後、それぞれのプレーンの多値化画像を合成す
る。
【0133】β=0とすると、多値化画像を人間が知覚
した時ノイジーに感じられ、βを大きくとりすぎると、
疑似輪郭があらわれる。例えば、β=0.15の時に、
最も良い多値化画像が得られる。
【0134】画質評価は、最終的には人間の視覚による
客観的な評価を必要とするが、処理の一様性により、デ
ィザ法で見られるディザマトリクスの大きさに対応した
テクスチャは生じない。また、誤差拡散法と比べると文
字領域などの強度変化の大きな部分での特徴が保存され
ている。
【0135】次に、数17に示した状態重み値と状態値
との積和をDTCNNの演算に取り入れた例を説明す
る。
【0136】各画素の出力低ビット中間調画像が初期値
からダイナミックに変化し、変化しなくなったときの出
力低ビット中間調画像を陰的に決定する内挿的誤差拡散
方式のダイナミクスでは、ラスタ走査の(i,j)番目
における入力uij(t),出力y(t)=Suj(t)に
対する非線形方程式
【0137】
【外27】 を離散化した
【0138】
【外28】 を使うことになる。
【0139】この数35DTCNNをデジタル画像処理
回路で構成したものが図10で、後に詳細に説明する。
【0140】数35においてはテンプレートA,B,
C,オフセットT,及び非線形関数f(xi,j (t+
1))の選択が可能である。
【0141】この数35では、前述の数20に、更に状
態値xklと状態歪み値C(i,j;k,l)の積和の
項、及びオフセットTが加えられる。
【0142】ここで、状態値とは、非線形関数を用い
て、量子化する前の値つまり、2値データに量子化する
のであれば、2値化する前の多値データの値となり、こ
の状態値と状態歪み値の積和を取り入れることで、更に
入力画像に忠実な出力画像を決定することができる。
【0143】又、オフセットTは、特に、テンプレート
A,Cを0とし入力画像に対するテンプレートBのみを
用いるディザ処理の場合に、その値Tを選択すること
で、ディザマトリクスの種々の閾値構成を選択すること
ができる。
【0144】このように本実施の形態では、近傍画像領
域におけるテンプレートA(i,j;k,l),B
(i,j;k,l),C(i,j;k,l)と呼ばれる
パラメータ選択によって、ラスタスキャン走査に従って
各画素の出力低ビット中間調画像を陽的も決定する外挿
的画像処理と、各画素の出力低ビット中間調画像が初期
値からダイナミックに変化し、ある値(ダイナミクスの
途中または収束値)になったときの出力低ビット中間調
画像を陰的に決定する内挿的画像処理との両方をユニバ
ーサルに選択できる。特に、外挿的画像処理としてのデ
ィザー法ではテンプレートA(i,j;k,l)=0,
C(i,j;k,l)=0で、B(i,j;k,l)の
みを用いる。
【0145】ここで、オフセットTの選択で、ディザマ
トリクスの選択、更に、非線形関数の選択で、出力レベ
ルの選択が可能となる。
【0146】外挿的誤差拡散法では、テンプレートA
(i,j;k,l),B(i,j;k,l),C(i,
j;k,l)=−A(i,j;k,l)と設定する。こ
の場合、テンプレートには、ラスタスキャン走査に従っ
て各画素の出力低ビット中間調画像が陽的に決定される
ように走査された部分に対応する要素のみを含むように
する。また、内挿的誤差拡散法を決めるテンプレートA
(i,j;k,l),B(i,j;k,l),C(i,
j;k,l)=−A(i,j;k,l)には、各画素の
出力低ビット中間調画像が陰的に決定されるように、ま
だ、走査されていない部分に対応する要素も含むように
する。また、誤差最小ダイナミクス法による低ビット量
子化画像処理をおこなう場合には、A(i,j;k,
l),B(i,j;k,l)のみを用いC(i,j;
k,l)=0を使い、テンプレートA(i,j;k,
l)には、各画素の出力低ビット中間調画像が陰的に決
定されるように、まだ、走査されていない部分に対応す
る要素も含むようにする。
【0147】これらいずれの場合も、非線形関数の選択
により、出力ビット数を選択することができる。図10
は、数35のDTCNNを演算するためのデジタル画像
処理装置の構成を示したブロック図である。
【0148】図10に示したプロセッサ300は、図4
に示したプロセッサ100と同様に、図3に示したPE
51、52、53の1つを示しており、プロセッサ30
0をPE51、52、53にそれぞれパイプラインに格
納し設けるものである。なお、図10において、図4と
同一の構成及び処理を行なうブロックについては同一番
号を付加している。
【0149】図10はプロセッサエレメントPEの詳細
を示したブロック図であり、PE51、52、53はそ
れぞれ図10のハードウェアで構成されている。ここで
は1つのプロセッサエレメント(PE)を300として
示した。PE300は入力フレームバッファ2(図2)
から送られてきた複数画素によって構成される近傍画像
領域における濃淡画像を格納するメモリ30、近傍画像
領域における各重み値を格納するメモリ28、近傍画像
領域における出力低ビット中間調画像を格納するメモリ
出力重み値を格納するメモリ29と、状態の重み値を格
納するメモリ39と状態値を格納するメモリ40、それ
らのメモリ28、29、30、31、39、40をアク
セスするアドレス値を計算するアドレス計算部41があ
る。アドレス計算部41はALU42、NPCレジスタ
43、PCレジスタ44から成る。ここでは、各メモリ
28、29、30、31、39、40は、プロセッサの
内部にあるが、外部にしてもよい。
【0150】メモリ28、29、39にはそれぞれ複数
の重みが格納されており、CPU6からの画像処理の種
類の選択を示すコマンドに従って重み値を選択する。
【0151】さらにプロセッサ300は近傍画像領域に
おける入力重み値を格納するメモリ28内のデータと入
力濃淡画像を格納するメモリ30内のデータとの積和B
(i,j;k,l)uklを計算する第1の積和演算部1
1を備え、この第1の積和演算部11は掛け算器13と
累算器14、レジスタ15、16より構成される。レジ
スタ15、16はそれぞれメモリ28、30からフェッ
チされた入力濃淡画像uklと重み値B(i,j;k,
l)をそれぞれラッチする。また累算器14は足し算器
17とACCレジスタ18より構成される。
【0152】更にプロセッサ300は出力重み値を格納
するメモリ29内のデータとメモリ31内の出力中間調
画像値との積和A(i,j;k,l)ykl(t)を実
行する第2の積和演算機12を備え、この第2の積和演
算器12は、かけ算器19と累算器20、レジスタ2
1、22によって構成される。レジスタ22、レジスタ
21の各レジスタは、それぞれメモリ31、メモリ29
からフェッチされた出力中間調画像ykl(t)と重み値
A(i,j;k,l)をそれぞれラッチするためのレジ
スタである。また累算器20は足し算器23とACCレ
ジスタ24より構成される。
【0153】更にプロセッサ300は、状態重み値を格
納するメモリ39内のデータとメモリ40内の状態値と
の積和C(i,j;k,l)xkl(t)を実行する第
3の積和演算器32を備え、この第3の積和演算器32
は、かけ算器33と累算器34、レジスタ35、36に
よって構成される。レジスタ35、レジスタ36の各レ
ジスタは、それぞれメモリ39、メモリ40からフェッ
チされた状態重み値C(i,j;k,l)と状態x
kl(t)とをそれぞれラッチするためのレジスタであ
る。また累積器34は足し算器37とACCレジスタ3
8より構成される。
【0154】また、プロセッサ300の内部には、レジ
スタとして18、24、38、43、44、27、4
5、50があり、各レジスタの役割は次のようになる。
【0155】PCレジスタ44は処理対象のピクセルの
アドレスを格納する。そして、NPCレジスタ43は近
傍系の画像位置を格納する。このNPC43に格納され
る値は、例えば、処理に用いる近傍系を最大で7×7の
サイズを想定すれば、図7のように、(−3、−3)か
ら(3、3)間の値を格納し、そのために、それらの値
を更新できるようなインクリメントを内蔵している。
【0156】近傍系における重み値と低ビット出力中間
調画像との積和演算を行なう際に、このNPCレジスタ
43とPCレジスタ44の値から近傍画素のアドレスを
計算しその画素値をフェッチする。
【0157】ACCレジスタ18は、第一の積和演算部
における、注目画素及びその近傍系の積和演算を累算す
るレジスタである。
【0158】また、ACCレジスタ24は、第二の積和
演算部における、注目画素及びその近傍系の積和演算を
累算するレジスタである。
【0159】また、ACCレジスタ38は、第三の積和
演算部における、注目画素及びその近傍系の積和演算を
累算するレジスタである。
【0160】セル動作の積和演算はこれらのレジスタ1
5、16、18、21、22、24、35、36、3
8、43、44の値を用いて行なわれる。
【0161】よって、積和演算の段階では、データフェ
ッチと積和演算の2段のパイプラインステージを形成す
る。
【0162】レジスタ27とレジスタ45とレジスタ5
0は後述するパイプライン処理に必要となるもので、プ
ロセッサ間でのデータのやりとりを可能にする。すなわ
ち、それらは、最後の計算を行なった出力値を保持する
レジスタ27、最後に計算を行なった状態値を保持する
レジスタ50および、その結果をメモリに書き込んだと
きに使用されたアドレスを保持するレジスタ45であ
る。
【0163】例えば、出力低ビット中間調画像値の出力
低ビットが2ビットとする場合には、重みが7ビット+
符号1ビット、出力は符号なし2ビットとすればよい。
このとき、乗数が2ビットであるため、加算器のアレイ
を構成して積和演算を行なうこともできる。アドレス計
算部41はPCレジスタ43とPCレジスタ44からア
ドレスを計算するユニットである。実行する命令は以下
の通りである。
【0164】NPCで指定された近傍のアドレスを求め
る:neigh 対象ピクセルの値をx方向にインクリメントする:li
neinc 同様にy方向にインクリメントする:colinc である。
【0165】また、プロセッサ300は第一の積和演算
部11からの演算結果と第2の積和演算部12からの演
算結果と第3からの積和演算部32の演算結果とオフセ
ットT46とを足し算する足し算器25からの結果に基
づき出力低ビット中間調画像値を決定する非線形作用部
26を備える。オフセットT46はCPU6により画像
処理方式により設定される。
【0166】第1の積和演算部11により積和演算B
(i,j;k,l)uklを計算し第2の積和演算部12
により積和演算A(i,j;k,l)yklを計算し第3
の積和演算部32により積和演算C(i,j;k,l)
klを計算しオフセットT46の値を足し算器25によ
り、その和B(i,j;k,l)ukl+A(i,j;
k,l)ykl+C(i,j;k,l)xkl+Tklを求め
る。そして各画素の現時刻の出力低ビット中間調画像値
を決定する非線形作用部26は、非線形特性をプログラ
マブルに格納するRAM,ROMまたPLAを基本とし
て構成されるが、出力を2ビット等に固定する場合には
比較器を基本として構成される。この場合、積和演算結
果が正か負かを最上位ビットによって区別し、その値が
非線形関数のx軸のどの位置にあるかを判断することに
なる。
【0167】図5は非線形作用部26で用いられる非線
形関数の一例を示したもので、出力を2ビットとしたも
のである。ここでは、足し算器25の結果をx軸とし、
それによって決まるf(x)の値を出力低ビット中間調
画像値として決定する。この非線形作用部26で用いら
れる非線形関数も画像処理選択部7からの指示に応じて
CPU6が選択できる。この関数の選択で出力ビット数
を選択できる。ここで、前述のプロセッサ100と同様
にプロセッサ300も一台のプロセッサの逐次動作で、
ダイナミクスなデジタル処理を実行すると、出力中間調
画像が最適値に収束するまでに、多数の反復計算を必要
とし、多大な計算量・時間を要する。
【0168】そこで、本実施の形態では、DTCNNの
出力の周速を加速するために各々プロセッサに1方向の
データバスを持たせ、リング構造のプロセッサネットワ
ークを構成する。この構成によってプロセッサ間でパイ
プライン動作を行なわせることが可能となる。ネットワ
ークのアーキテクチャは図3に示したものと同一であ
る。
【0169】又、図6、図8における説明もプロセッサ
100の場合と同じであるので説明は省略する。
【0170】図11は、パラメータA,B,C,T,非
線形関数の選択に応じたプロセッサ300動作フローチ
ャートである。
【0171】ステップ300(S300) 動作をスタートする。
【0172】ステップ301(S301) 図2の選択部7からの選択に応じてCPU6は画像処理
部3で用いられるテンプレートの値A,B,C及びオフ
セットの定数T、非線形関数f(xi,j (t+1))を
画像処理部3へ指示する。
【0173】ステップ302(S302) ここではテンプレートの値に基づき画像処理方式(外挿
/内挿方式)を判別する。A=C=0の時は外挿的なデ
ィザ処理A=B=C=−Aの場合は外挿的な誤差拡散法
となる。又、C=0、でA,Bを用いると、内挿的処理
である誤差最小化ダイナミクス法になる。
【0174】ステップ303(S303) プロセッサ300に指令を出し、数35に基づく演算を
行なう。その時のykl(t)を出力値とする。ここで
は外挿的画像処理を実行するので一度の処理で出力値を
決定する。
【0175】ステップ304(S304) ステップS304では、出力フレームバッファ4に初期
値を設定する。ここではランダムな2値データを出力フ
レームバッファに設定する。又、ステップS304では
1画面の全画素入力データに対し、積和演算を実行する
に際し、その演算順序を設定する。ここで、演算順序は
ランダムに、全ての画素を走査するような順とする。
【0176】ステップ305(S305) ステップS305ではステップS304で決定した順番
に基づきプロセッサエレメント300に指令を出し、数
30の演算を実行し、出力値を求める。
【0177】この結果は、出力フレームバッファ6に送
られ、既に格納されている値と異なる場合、値が書き換
えられる。
【0178】ステップ306(S306) ステップS306では入力した全ての画素に対する処理
が終了したか否かを判断し、終了していない場合はステ
ップS305に進み、ステップS304でランダムに設
定された演算画素順序に基づき対象とする画素を変更
し、積和演算を実行する。
【0179】ステップ307(S307) ステップS306で全ての画素に対する処理が終了した
と判断すると、ステップS307に進み出力フレームバ
ッファ4で書き換えられた画素数を判別する。
【0180】ステップ308(S308),ステップ3
09(S309) ステップS308ではステップS307で判別した画素
数が所定値以下か否かを判別し、所定値以下の場合はニ
ューラルネットに基づく演算が収束したと判別し、ステ
ップS309に進み、出力フレームバッファ4の一画面
分のデータをFLCディスプレイへ送る。又、ステップ
S308でステップS307で判別した画素数が所定値
より大きい場合はステップS305〜ステップS307
を繰り返す。
【0181】なお、本フローでは、テンプレートの値に
より画像処理方式を判別したが、ステップS301でテ
ンプレートの値とは別に画像処理方式を選択できるよう
にしてもよい。
【0182】以上説明した如く本第1の実施の形態によ
れば、離散時間型セルラーニューラルネット(DTCN
N)を基本としたデジタルのCNNを構成することによ
って、デジタル処理の特徴である汎用性、記憶性、制御
容易性、集積化容易性、そして、パイプライン容易性を
保ち、しかも、CNNで可能な時空間ダイナミクスによ
る画像処理をほとんど実行できる汎用デジタル画像処理
プロセッサを提供できる。特に、非ダイナミクスな処理
である従来のディザー法や外挿的誤差拡散法による低ビ
ット量子化画像処理ばかりでなく、周りの2次元近傍系
に誤差を離散拡散する内挿的誤差拡散法や誤差最小化ダ
イナミクス法をパイプライン動作で実行でき、しかも、
テンプレートの設定のみで種々の画像処理を可能とする
ユニバーサルなデジタル画像処理プロセッサを提供でき
る。
【0183】なお本第1の実施の形態では、FLCDを
出力装置とした例を説明したが、本発明はFLCDに限
ることなく、他の表示装置やインクジェット方式、電子
写真方式のプリンタに用いることもできる。
【0184】〔第2の実施の形態〕次にDTCNNによ
る画像処理(2値化又は多値化処理)を入力動画像に対
し実行する例を第2の実施の形態として説明する。
【0185】先ず、図12は本発明の第2の実施の形態
におけるDTCNNを用いた画像処理の概念を説明する
ための図である。
【0186】図12においては、入力画像の3×3近傍
画像領域における入力濃淡画像と入力重み値との積和Σ
B(i,j;k,l)uklと出力画像の3×3近傍画像
領域における出力画像と出力重み値との積和ΣA(i,
j;k,l)yklと1フレーム前の出力画像の3×3近
傍画像領域における前フレーム出力画像と出力重み値と
の積和ΣAτ(i,j;k,l)yklτを加算しこれを
非線形出力関数f(x)により、出力データに変換す
る。
【0187】入力画像は例えば画素8ビット以上の高ビ
ット濃淡画像とする。
【0188】以下に、本第2実施の形態における原理説
明を行う。
【0189】DTCNNで2値又は多値データに量子化
した動画像をFLCディスプレイに表示する場合には、
動画像の静止領域において、量子化により画素レベルが
常に変化すると、時間的な高周波成分があらわれ、ディ
スプレイにちらつき(フリッカ)が生じる。
【0190】そこで、静止領域においては前フレームと
同じ画素レベルをとるようにすることで、このちらつき
を抑えることができる。
【0191】そのために、前フレームと同じ画素レベル
をとるような制約項をコスト関数に加えて、それにした
がってDTCNNの各パラメータを決め、さらに、量子
化の際、前のフレームの量子化画像を初期値として与え
ることにする。
【0192】フレーム間で非常に相関のある領域(静止
領域)では、前のフレームの量子化画像が局所解となり
うる。
【0193】したがって、前フレームの量子化画像をセ
ルの初期値として与え、DTCNNを動作させると、静
止領域において、前のフレームの量子化画像が局所解と
なり、これにトラップされることで、ある程度、前のフ
レームと同じ画素構成をとるようにすることができる。
この時、初期値が局所解に近いため、収束が非常に速
い。
【0194】しかし、静止領域において前フレームと同
じ画素レベルをとるようにするためにはこれだけでは十
分ではなく、さらに、そのための制約項をコスト関数に
くわえる必要がある。
【0195】この場合のコスト関数は
【0196】
【外29】
【0197】また、C1(y,u)式は、量子化が像y
を人間が知覚した画像が原画像uに近くなるようにする
項、、C2(y,u)は、量子化した際にセルの出力レ
ベルが原画像の画素レベルに近くなるようにする制約
項、、C3(y,u)式は、前フレームの量子化画像と
できるだけ同じ出力レベルをとるようにする制約項であ
る。
【0198】静止領域では制約項C3(y,u)を強く
し、動き領域では制約項C3(y,u)を抑えるように
γijを決める。
【0199】逆にβijは、制約項C3(y,u)が強い
ところでは、前のフレームと同じ出力レベルをとろうと
するので制約項C2(y,u)は必要ない。
【0200】このようにすることにより、静止領域にお
いてのみ前フレームと同じ出力レベルをとるようにな
り、動き領域やシーンなどの切り替わりなどのほとんど
フレーム間に相関がない場合に、前のフレームの量子化
画像の影響を伝わりにくくすることができる。
【0201】まず、前のフレームからの動きによる画素
変化dijをここでは、フレーム間の画素変化の絶対値に
より次式より求める。
【0202】
【外30】 ここで、G(i,j;k,l)はノイズを除去するため
の低域フィルタである。
【0203】また、γij,βijは次の式により決定す
る。
【0204】
【外31】 ここで、T,γ,βは正の定数である。
【0205】γijは、指数関数を用いて、前フレームか
らの動きによる画素変化dに依存して減衰するようにし
ている。逆に、βijはijに依存して増加するようにし
た。減衰定数Tは動画像におけるノイズの大きさを考慮
して決める。
【0206】セルの動作は時間遅れのテンプレートがあ
る点で第1の実施の形態のDTCNNとは異なる。
【0207】このように時間遅れのセルの出力を次のダ
イナミクスの入力とするようなテンプレートAτを時間
遅れのテンプレートと呼ぶ。
【0208】元画像がM×Nの大きさである時、M×N
個のセルを画素と同様に2次元の格子状に配置し、元画
像の各画素値と前フレームの量子化画像を、〔−1,
1〕の区間内の対応する値に正規化して、それぞれセル
の入力u,yτに与える。
【0209】セルの通常の入力をuij(0≦i<M;0
≦j<N),時間遅れの入力をyij τ(0≦i<M;0
≦j<N)、出力をyij(0≦i<M;0≦j<N)と
すると、この場合のセルの動作は、次式のように定義さ
れる。
【0210】
【外32】 ここで、A(i,j;k,l)とAτ(i,j;k,
l)とB(i,j;k,l)はセル(k,l)からセル
(i,j)への接続にかかる重みをあらわす。
【0211】行列HτHの対角成分の値をδとすると、
コスト関数のdist(y,u)においてyij 2の係数
になりうる値はC1(y,u)項ではαijδ、C2(y,
u)項ではβij、C3(y,u)項ではγijであるか
ら、 αijδ+βij+γij=1 数40 となる。
【0212】したがって、
【0213】
【外33】 となる。
【0214】ネットワークのパラメータは、コスト関数
dist(y,u)とDTCNNのエネルギー関数を比
較することにより決定する。
【0215】
【外34】 ここで、Φ(ファイ)は対角成分がαij,非対角成分が
0の行列、Θ(Theta)は対角成分がγij,非対角
成分が0の行列である。
【0216】次に、本発明の第2の実施の形態の具体的
構成を図面を参照して説明する。
【0217】図13は第2の実施の形態のデジタル画像
処理プロセッサを内蔵した表示システムの構成を示した
ブロック図である。
【0218】図13において、101は1画素複数ビッ
トからなる濃淡画像を入力する画像入力部である。これ
は、例えば、カメラ、スキャナー、コンピュータによっ
て構成される。1102は入力フレームバッファで少な
くとも複数ライン分の画像データを一時格納する。20
2は1フレーム前の入力画像を蓄えておくフレームバッ
ファである。103は画像処理部で1画素複数ビットか
らなる多値レベルの濃淡画像データをそれよりも小さい
レベル(ビット)数の画像データに量子化処理する。こ
の画像処理部では前述したテンプレート、非線形特性の
選択によって、複数の画像処理の中から所望の画像処理
を選択することができる。104は、量子化処理された
出力データを格納する出力フレームバッファである。2
04は1フレーム前の出力画像を保持しているフレーム
バッファである。105は強誘電性液晶表示器(FLC
D)である。108はフレームバッファ102のデータ
とフレームバッファ202のデータを比較することによ
り動き領域を検出する動き検知部である。
【0219】106は入力フレームバッファ102,2
02、画像処理部103、出力フレームバッファ10
4、1フレーム前の出力画像を保持しているフレームバ
ッファ204及び動き検知部108に接続され、データ
転送のアドレス制御、画像処理の制御を行うCPUであ
る。CPU106には制御プログラムを内蔵したRO
M、ワークエリアとしてのRAMが備えられている。1
07は画像処理部103で実行される画像処理を選択す
る画像処理選択部である。
【0220】図14は、画像処理部103を詳細に示し
たもので、画像処理部103は図15に示すプロセッサ
エレメント(PE)151〜153、ゲートウェイプロ
セッサ(GE)150より構成されている。PE15
1,152,153はそれぞれ同一の構成のプロセッサ
でパイプライン接続されており、それぞれ入力画像の異
なる位置を処理する。
【0221】図15は、プロセッサエレメントPEの詳
細を示したブロック図であり、PE151,152,1
53はそれぞれ図15のハードウェアで構成されてい
る。ここでは1つのPEを500として示した。PE5
00は入力フレームバッファ102から送られてきた複
数画素によって構成される近傍画像領域における濃淡画
像を格納するメモリ130、近傍画像領域における各重
み値を格納するメモリ128、近傍画像領域における出
力低ビット中間調画像を格納するメモリ131及び出力
重み値を格納するメモリ129、1フレーム前の出力画
像値を格納するメモリ140及び1フレーム前の出力重
み値を格納するメモリ139と、そのメモリ128,1
29,130,131,139,140をアクセスする
アドレスを計算するアドレス計算部141からなる。
【0222】ここで各メモリ128,129,130,
131,139,140は、プロセッサの内部にあるが
外部にしても良い。
【0223】メモリ128,129,139にはそれぞ
れ複数の重み値が格納されており、CPU106からの
画像処理の種類を示すコマンドに従って、重み値を選択
する。
【0224】更にプロセッサ500は近傍画像領域にお
ける入力重み値を格納するメモリ128内のデータと入
力濃淡画像を格納するメモリ130とのデータとの積和
B(i,j;k,l)uklを計算する第1の積和演算部
111を備え、この第1の積和演算部111は掛け算器
113と累積器114とレジスタ115,116より構
成される。レジスタ115,116は夫々メモリ12
8,130からフェッチされた入力濃淡画像uklと重み
値B(i,j;k,l)をラッチする。また、累積器1
14は足し算器117、ACCレジスタ118より構成
される。
【0225】更にプロセッサ500は出力重み値を格納
するメモリ129内のデータとメモリ131内の出力中
間調画像値との積和A(i,j;k,l)ykl(t)を
実行する第2の積和演算器112を備え、この第2の積
和演算器112は掛け算器119と累算器120、レジ
スタ121、122によって構成されている。
【0226】レジスタ136、レジスタ135の各レジ
スタはそれぞれメモリ140、メモリ139からフェッ
チされた1フレーム前の出力中間調画像yklτと重み値
Aτ(i,j;k,l)をそれぞれラッチするためのレ
ジスタである。また累算器134は足し算器137とA
CCレジスタ138より構成される。
【0227】また、プロセッサ500の内部には、レジ
スタとしてレジスタ118、124、138、127、
143、144、145があり、各レジスタの役割は次
のようになる。
【0228】PCレジスタ144は処理対象ピクセルの
アドレスを格納する。そしてNPCレジスタ143は近
傍系の画像位置を格納する。
【0229】このNPCレジスタ143に格納される値
は、例えば処理に用いる近傍系を最大7×7のサイズを
想定すれば、前述の図7のように(−3,−3)から
(3,3)までの間の値を格納し、そのために、それら
の値を更新できるようなインクリメンタを内蔵してい
る。近傍系における重み値と低ビット出力中間調画像と
の積和演算を行う際に、このNPCレジスタ143とP
Cレジスタ144の値から近傍画素のアドレスを計算し
その画素値をフェッチする。
【0230】ACCレジスタ118は、第一の積和演算
部における、注目画素の近傍系に関する積和演算結果を
累算するレジスタである。
【0231】ACCレジスタ124は、第二の積和演算
部における、注目画素の近傍系に関する積和演算結果を
累算するレジスタである。
【0232】ACCレジスタ138は、第三の積和演算
部における、注目画素の近傍系に関する積和演算結果を
累算するレジスタである。
【0233】セル動作の積和演算はこれらのレジスタ1
15、116、121、122、135、136、11
8、124、138の値を用いて行われる。
【0234】よって積和演算の段階ではデータフェッチ
と積和演算の2段のパイプラインステージを形成する。
【0235】レジスタ127、とレジスタ145は後述
するパイプライン処理に必要となるもので、プロセッサ
間でデータのやり取りを可能にする。すなわち、それら
は、最後に計算を行った出力値(P−REG)を保持す
るレジスタ127、およびその結果をメモリに書き込ん
だ時に使用されたアドレス(N−ADRS)を保持する
レジスタ145である。
【0236】例えば、出力低ビット中間調画像値の出力
低ビットが2ビットとするばあいには、重みが7ビット
+符号1ビット、出力は符号無し2ビットとすれば良
い。このとき定数が2ビットであるため、加算器のアレ
イを構成して積和演算を行うこともできる。
【0237】アドレス計算部141はNPCレジスタ1
43とPCレジスタ144からアドレスを計算するユニ
ットである。
【0238】また、プロセッサ500は第1の積和演算
部111からの演算結果と第2の積和演算部112から
の演算結果と第3の積和演算部132からの演算結果を
足し算する足し算器125からの結果に基づき出力低ビ
ット中間調画像値を決定する非線形作用部126を備え
る。
【0239】第1の積和演算部111より積和演算B
(i,j;k,l)uklを計算し、第2の積和演算部1
12により積和演算A(i,j;k,l)yklを計算
し、第3の積和演算部132より積和演算Aτ(i,
j;k,l)yklτを計算し、足し算する足し算器12
5によりA(i,j;k,l)yklとB(i,j;k,
l)uklとAτ(i,j;k,l)yklτとの和を求め
る。
【0240】そして各画素の現時刻の出力低ビット中間
調画像を決定する非線形作用部126は、非線形特性を
プログラムに格納するRAM,ROMまたはPLAを基
本として構成されるが、出力を2ビット等に固定する場
合には比較器を基本として構成される。
【0241】この場合、積和演算結果が正か負かを最上
位ビットによって区別し、その値が非線形関数のx軸の
どの位置にあるかを判断することになる。
【0242】非線形作用部126で用いられる非線形関
数は例えば図5に示したものと同一のものを用いること
ができる。この場合出力は2ビットとなる。
【0243】ここでは、足し算器125の結果をx軸と
し、それによって決まるf(x)の値を低出力ビット中
間調画像とする。この非線形作用部126で用いられる
非線形関数も、画像処理選択部107からの指示に応じ
てCPU106が選択することができる。この関数の選
択により、出力ビット数を選択することができる。
【0244】なお本第2の実施の形態においても、画像
の異なるエリアを処理するプロセッサエレメントを複数
設け、これをパイプライン接続して処理しているので、
第1の実施の形態同様高速処理が可能となる。図6、図
8に基づく説明は第2の実施の形態においても同様であ
る。
【0245】次にプロセッサ500の動作制御フローチ
ャートを図16に示し、その制御を説明する。図16の
フローチャートはCPU106によって実行される。
【0246】ステップ400(S400) 動作をスタートする。
【0247】ステップ401(S401) 図13の選択部107からの選択に応じてCPU106
は画像処理部103で用いられる入力画像uを入力フレ
ームバッファから画像処理部103へ読み込む。
【0248】ステップ402(S402) 図13の選択部107からの選択に応じてCPU106
は画像処理部103で用いられる1フレーム前の出力画
像yτを出力フレームバッファ204から画像処理部1
03へ読み込む。
【0249】ステップ403(S403) ステップ403では、出力フレームバッファ104に初
期値を設定する。ここではランダムな出力データを出力
フレームバッファに設定する。またステップ403では
1画面の全画素入力データに対して、積和演算を実行す
るに際し、その演算順序を設定する。ここで、演算順序
はランダムに、全ての画素を走査するようにする。
【0250】また、数38のT,γ,βの値を設定す
る。一例としてT=300,γ=0.30,β=0.1
5とする。
【0251】ステップ404(S404) ステップ404では図13の動き検知部108により入
力フレームバッファ104のデータと1フレーム前の入
力フレームバッファ204のデータとを比較することに
よりフレーム間の画素変化数式37のdijを求める。
【0252】ステップ405(S405) ステップ405ではステップ404で求めたdijに基づ
き数式38、40、41、42より数式39のA,A
τ,Bを決定する。
【0253】ステップ406(S406) ステップ406ではステップ403で決定した順番に基
づき、ステップ405で決定したパラメータA,Aτ,
Bの値を用い数式39を実行し、出力値を求める。この
結果は出力フレームバッファ104に送られ既に格納さ
れている値と異なる場合は、その値を書き換える。
【0254】ステップ407(S407) ステップ406では入力した全ての画素に対する処理が
終了したか否かを判断し、終了していない場合にはステ
ップ404に戻り、動き検知を行い、dijを求め、ステ
ップ405、406、を再度実行する。
【0255】ステップ408(S408) ステップ407で全ての画素に対する処理が終了したと
判断した場合には、ステップ408に進み、出力フレー
ムバッファ104で書き換えられた画素数を判別する。
【0256】ステップ409(S409) ステップ409ではステップ408で判別した画素数が
所定の数以下か否か判別する。所定の数以下の場合はニ
ューラルネットに基づく演算が収束したものと判別し、
ステップ410に進み出力フレームバッファ104の一
画面分のデータをFLCディスプレイに送る。
【0257】また、ステップS409でステップ408
で判別した画素数が所定値より大きい場合はステップ4
04〜ステップ408を繰り返す。
【0258】また、予めS408までの回数を定めてお
きその回数に達した場合には収束しなくてもステップ4
10に進むようにしてもよい。
【0259】この様に、本発明の第2の実施の形態によ
れば、高画質な2値又は多値画像を高速に得ることがで
きるニューラルネットに基づくデジタル画像処理プロセ
ッサを動画像に応用することで、高画質な動画像を得る
ことができ、特にニューラルネットの演算に1フレーム
前の画像出力状態値と状態重み値との積和を考慮するこ
とにより、入力動画像に忠実な低ビット量子化動画像を
得ることができるとともに動画の背景にちらつきの無い
高画質な動画像を得ることができる。
【0260】
【発明の効果】以上説明した如く本発明によれば、ニュ
ーラルネットをデジタル回路で構成したことにより、汎
用性、制御容易性、集積化容易性に優れた画像処理装置
を提供することができる。
【0261】又、テンプレートの選択によって、1つの
ニューラルネット回路で複数の画像処理を実行できる。
【0262】
【0263】
【0264】
【図面の簡単な説明】
【図1】本第1の実施の形態におけるDTCNNを用い
た画像処理の概念を説明するための図。
【図2】本第1の実施の形態のデジタル画像処理プロセ
ッサを内蔵した表示システムの構成を示したブロック
図。
【図3】図2の画像処理部3を詳細に示したもので複数
のプロセッサエレメントをパイプライン接続した図。
【図4】プロセッサエレメントの詳細を示したブロック
図。
【図5】非線形関数の一例を示した図。
【図6】処理画像の一例を示した図。
【図7】処理画像の近傍系を説明するための図。
【図8】プロセッサエレメントの処理タイムチャート
図。
【図9】プロセッサエレメントの処理フローチャート
図。
【図10】プロセッサエレメントの詳細を示したブロッ
ク図。
【図11】図10のプロセッサエレメントの処理フロー
チャート図。
【図12】本第2の実施の形態におけるDTCNNを用
いた画像処理の概念を説明するための図。
【図13】本第2の実施の形態のデジタル画像処理プロ
セッサを内蔵した表示システムの構成を示したブロック
図。
【図14】図13の画像処理部103を詳細に示したも
ので複数のプロセッサエレメントをパイプライン接続し
た図。
【図15】第2の実施の形態におけるプロセッサエレメ
ントの詳細を示したブロック図。
【図16】第2の実施の形態におけるプロセッサエレメ
ントの処理フローチャート図。
【符号の説明】
6 CPU 11 第1の積和演算部 12 第2の積和演算部 25 足し算器 26 非線形作用部 28 入力歪み値メモリ 29 出力歪み値メモリ 30 入力画像値メモリ 31 出力画像値メモリ 41 アドレス計算部 100 プロセッサエレメント
フロントページの続き (72)発明者 井上 裕司 東京都大田区下丸子3丁目30番2号キヤ ノン株式会社内 (56)参考文献 特開 平7−282237(JP,A) 特開 平5−242065(JP,A) 特開 平4−232562(JP,A) 池上宗光・他,「離散時間型セルラニ ューラルネットワークによる静止画像の 低ビット表現とその誤差評価」,電子情 報通信学会論文誌A,日本,社団法人電 子情報通信学会,1994年 7月25日,V ol.J77−A,No.7,pp.954 −964,JST資料番号:S0621A 呉民愛・他,「セルラーニューラルネ ットワークによる濃淡画像の2値化およ び復元」,電子情報通信学会技術研究報 告,日本,社団法人電子情報通信学会, 1992年 3月 7日,Vol.91, N o.507,pp.1−7 松岡輝彦・他,「多階調画像と2値画 像の相互変換」,情報処理学会研究報 告,日本,社団法人情報処理学会,1992 年 3月16日,Vol.92, No. 25,pp.1−9 Mamoru Tanaka・他," Template Synthesis of Cellular Neura l Networks for Inf ormation Coding an d Decoding”,1993年電子情 報通信学会春季大会講演論文集,日本, 社団法人電子情報通信学会,1993年 3 月15日,分冊6,pp.263−264,JS T資料番号:G0508A 鈴木良次・他,「ニューロ・ファジ ィ・AIハンドブック」,日本,株式会 社オーム社,1994年 5月25日,初版, pp.574−586,ISBN:4−274− 03446−1 Crounse,K.R. and Chua,L.O.,”Methods for image process ing and pattern fo rmation in Cellula r Neural Networks: a tutorial”,IEEE Trans. on Cirsuits and Systems I,1995年 10月,Vol.42, No.10,pp. 583−601,ISSN:1057−7122 Shi,B.E. Roska, T.; Chua,L.O.,”Des ign of linear cell ular neural networ ks for motion sens itive filtering”,I EEE Trans. on Circ uits and Systems I I,1993年 5月,Vol.40, N o.5,pp.320−331,ISSN: 1057−7130 (58)調査した分野(Int.Cl.7,DB名) G06N 1/00 - 7/08 G06G 7/60 G06T 1/00 - 5/50 G06T 7/00 - 7/60 G06T 9/00 - 9/40 H04N 1/40 JICSTファイル(JOIS) CSDB(日本国特許庁)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 セルラーニューラルネットワークを用い
    入力画像データを処理する画像処理プロセッサであっ
    て、所定領域内の複数画素の入力データと入力重み値と
    の積和をデジタル演算する第1の積和演算手段と、 所定領域内の複数画素の出力画像データと第1の出力重
    み値との積和をデジタル演算する第2の積和演算手段
    と、 前フレーム画像の出力値データと第2の出力重み値との
    積和をデジタル演算する第3の積和演算手段と、 前記第1、第2及び第3の積和演算手段からの演算結果
    と非線形特性パラメータに従って出力画像データを決定
    する非線形作用手段と、を有し、 前記入力重み値、前記第1の出力重み値、前記第2の出
    力重み値及び非線形特性パラメータは、前記セルラーニ
    ューラルネットワークのパラメータであり、処理後の画
    像を評価するための歪み関数と、ニューラルネットワー
    クのエネルギー関数との間で係数を比較することにより
    決定された値である ことを特徴とするデジタル画像処理
    プロセッサ。
  2. 【請求項2】 所定領域内の前画面と現画面の画素変化
    状態を検出する検出手段と、前記検出手段によって検出
    された画素変化状態に応じて、前記入力重み値、前記第
    1の出力重み値及び前記第2の出力重み値を設定する設
    定手段とを更に有することを特徴とする請求項1記載の
    デジタル画像処理プロセッサ。
JP00568696A 1995-11-27 1996-01-17 デジタル画像処理プロセッサ Expired - Fee Related JP3524250B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP00568696A JP3524250B2 (ja) 1995-11-27 1996-01-17 デジタル画像処理プロセッサ
US08/755,140 US6148101A (en) 1995-11-27 1996-11-22 Digital image processor
EP96308545A EP0775972B1 (en) 1995-11-27 1996-11-26 Digital image processor comprising a neural network
DE69631559T DE69631559D1 (de) 1995-11-27 1996-11-26 Digitaler Bildprozessor mit neuronalem Netzwerk
EP00201763A EP1039415B1 (en) 1995-11-27 1996-11-26 Digital image processor comprising a neural network
DE69622004T DE69622004T2 (de) 1995-11-27 1996-11-26 Digitaler Bildprozessor mit neuronalem Netzwerk
KR1019960058154A KR100270268B1 (ko) 1995-11-27 1996-11-27 디지탈 화상프로세서 및 디지탈 화상처리 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP30730595 1995-11-27
JP7-307305 1995-11-27
JP00568696A JP3524250B2 (ja) 1995-11-27 1996-01-17 デジタル画像処理プロセッサ

Publications (2)

Publication Number Publication Date
JPH09212477A JPH09212477A (ja) 1997-08-15
JP3524250B2 true JP3524250B2 (ja) 2004-05-10

Family

ID=26339665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00568696A Expired - Fee Related JP3524250B2 (ja) 1995-11-27 1996-01-17 デジタル画像処理プロセッサ

Country Status (5)

Country Link
US (1) US6148101A (ja)
EP (2) EP0775972B1 (ja)
JP (1) JP3524250B2 (ja)
KR (1) KR100270268B1 (ja)
DE (2) DE69622004T2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282323B1 (en) * 1996-12-04 2001-08-28 Canon Kabushiki Kaisha Image processing method and apparatus
JP4124861B2 (ja) * 1998-06-19 2008-07-23 株式会社東芝 移動量検出装置及びその方法
US6292814B1 (en) * 1998-06-26 2001-09-18 Hitachi America, Ltd. Methods and apparatus for implementing a sign function
EP1085426B1 (en) * 1999-09-13 2006-01-11 Nippon Telegraph and Telephone Corporation Parallel-processing apparatus and method
FI20010901A (fi) * 2001-04-30 2002-10-31 Ari Paasio Rinnakkaisprosessoriverkko, prosessori ja menetelmä differentiaaliyhtälöiden ratkaisemiseksi rinnakkaisprosessoriverkossa
US20050157791A1 (en) * 2004-01-20 2005-07-21 Eastman Kodak Company System and method for video tone scale reduction
HUP0500482A2 (en) * 2005-05-11 2006-12-28 Mta Szamitastech Autom Kutato System and method for sensing and processing electromagnetic signals
US8559688B2 (en) * 2010-06-30 2013-10-15 General Electric Company System and method for processing data signals
JP5885719B2 (ja) 2013-09-09 2016-03-15 株式会社東芝 識別装置および演算装置
CN103544406B (zh) * 2013-11-08 2016-03-23 电子科技大学 一种用一维细胞神经网络检测dna序列相似度的方法
EP3754962B1 (en) * 2014-07-01 2022-12-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, printing medium and storage medium
JP6700712B2 (ja) * 2015-10-21 2020-05-27 キヤノン株式会社 畳み込み演算装置
CN105787867B (zh) * 2016-04-21 2019-03-05 华为技术有限公司 基于神经网络算法的处理视频图像的方法和装置
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
CN106878586B (zh) * 2017-01-09 2019-12-06 中国科学院自动化研究所 可重构的并行图像细节增强方法和装置
JP6815926B2 (ja) * 2017-04-27 2021-01-20 キヤノン株式会社 撮像装置、撮像システム、移動体、チップ
CN107992821B (zh) * 2017-11-30 2021-12-03 宁夏恒信荣网络科技有限公司 一种图像识别方法及系统
JP6836529B2 (ja) 2018-02-23 2021-03-03 株式会社東芝 計算装置、計算プログラム、記録媒体及び計算方法
WO2020046642A1 (en) 2018-08-31 2020-03-05 Flex Logix Technologies, Inc. Multiplier-accumulator circuit, logic tile architecture for multiply-accumulate and ic including logic tile array
US11615307B2 (en) * 2018-12-06 2023-03-28 MIPS Tech, LLC Neural network data computation using mixed-precision
US11194585B2 (en) 2019-03-25 2021-12-07 Flex Logix Technologies, Inc. Multiplier-accumulator circuitry having processing pipelines and methods of operating same
US11314504B2 (en) 2019-04-09 2022-04-26 Flex Logix Technologies, Inc. Multiplier-accumulator processing pipelines and processing component, and methods of operating same
US11288076B2 (en) 2019-09-13 2022-03-29 Flex Logix Technologies, Inc. IC including logic tile, having reconfigurable MAC pipeline, and reconfigurable memory
US11455368B2 (en) 2019-10-02 2022-09-27 Flex Logix Technologies, Inc. MAC processing pipeline having conversion circuitry, and methods of operating same
DE102019129760A1 (de) 2019-11-05 2021-05-06 Eyyes Gmbh Verfahren zur Verarbeitung von Eingangsdaten
US11693625B2 (en) 2019-12-04 2023-07-04 Flex Logix Technologies, Inc. Logarithmic addition-accumulator circuitry, processing pipeline including same, and methods of operation
US11960856B1 (en) 2020-01-15 2024-04-16 Flex Logix Technologies, Inc. Multiplier-accumulator processing pipeline using filter weights having gaussian floating point data format
US11442881B2 (en) 2020-04-18 2022-09-13 Flex Logix Technologies, Inc. MAC processing pipelines, circuitry to control and configure same, and methods of operating same
CN111582451B (zh) * 2020-05-08 2022-09-06 中国科学技术大学 图像识别层间并行流水线型二值化卷积神经网络阵列架构
WO2022020164A1 (en) 2020-07-22 2022-01-27 Flex Logix Technologies, Inc. Mac processing pipelines having programmable granularity, and methods of operating same
CN115330756B (zh) * 2022-10-11 2023-02-28 天津恒宇医疗科技有限公司 基于光影特征的oct图像中导丝识别方法及识别系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0349820B1 (de) * 1988-07-05 1995-04-19 Siemens Aktiengesellschaft Netzwerk -Baustein und Architektur für die programmierbare Emulation künstlicher neuronaler Netze mit digitaler Arbeitsweise
US5140670A (en) * 1989-10-05 1992-08-18 Regents Of The University Of California Cellular neural network
US5065339A (en) * 1990-05-22 1991-11-12 International Business Machines Corporation Orthogonal row-column neural processor
WO1991019267A1 (en) * 1990-06-06 1991-12-12 Hughes Aircraft Company Neural network processor
EP0474246A2 (en) * 1990-09-06 1992-03-11 Matsushita Electric Industrial Co., Ltd. Image signal processor
JPH05242065A (ja) * 1992-02-28 1993-09-21 Hitachi Ltd 情報処理装置及びシステム
US5598509A (en) * 1992-08-28 1997-01-28 Hitachi, Ltd. Method of configuring a neural network and a diagnosis/recognition system using the same
US5355528A (en) * 1992-10-13 1994-10-11 The Regents Of The University Of California Reprogrammable CNN and supercomputer
US5519791A (en) * 1993-01-11 1996-05-21 Canon, Inc. Block parallel error diffusion method and apparatus
WO1995006288A2 (en) * 1993-08-26 1995-03-02 The Regents Of The University Of California Cnn bionic eye or other topographic sensory organs or combinations of same
JP3251421B2 (ja) * 1994-04-11 2002-01-28 株式会社日立製作所 半導体集積回路
IT1276221B1 (it) * 1995-10-12 1997-10-27 Univ Roma Rete neurale cellulare optoelettronica progammabile otticamente
JPH09163162A (ja) * 1995-12-08 1997-06-20 Canon Inc 画像処理方法及び装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Crounse,K.R. and Chua,L.O.,"Methods for image processing and pattern formation in Cellular Neural Networks: a tutorial",IEEE Trans. on Cirsuits and Systems I,1995年10月,Vol.42, No.10,pp.583−601,ISSN:1057−7122
Mamoru Tanaka・他,"Template Synthesis of Cellular Neural Networks for Information Coding and Decoding",1993年電子情報通信学会春季大会講演論文集,日本,社団法人電子情報通信学会,1993年 3月15日,分冊6,pp.263−264,JST資料番号:G0508A
Shi,B.E. Roska,T.; Chua,L.O.,"Design of linear cellular neural networks for motion sensitive filtering",IEEE Trans. on Circuits and Systems II,1993年 5月,Vol.40, No.5,pp.320−331,ISSN:1057−7130
呉民愛・他,「セルラーニューラルネットワークによる濃淡画像の2値化および復元」,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1992年 3月 7日,Vol.91, No.507,pp.1−7
松岡輝彦・他,「多階調画像と2値画像の相互変換」,情報処理学会研究報告,日本,社団法人情報処理学会,1992年 3月16日,Vol.92, No.25,pp.1−9
池上宗光・他,「離散時間型セルラニューラルネットワークによる静止画像の低ビット表現とその誤差評価」,電子情報通信学会論文誌A,日本,社団法人電子情報通信学会,1994年 7月25日,Vol.J77−A,No.7,pp.954−964,JST資料番号:S0621A
鈴木良次・他,「ニューロ・ファジィ・AIハンドブック」,日本,株式会社オーム社,1994年 5月25日,初版,pp.574−586,ISBN:4−274−03446−1

Also Published As

Publication number Publication date
KR100270268B1 (ko) 2000-10-16
DE69622004T2 (de) 2002-11-07
KR970029177A (ko) 1997-06-26
EP0775972A2 (en) 1997-05-28
DE69631559D1 (de) 2004-03-18
EP0775972B1 (en) 2002-06-26
EP0775972A3 (en) 1998-05-06
JPH09212477A (ja) 1997-08-15
DE69622004D1 (de) 2002-08-01
EP1039415B1 (en) 2004-02-11
US6148101A (en) 2000-11-14
EP1039415A2 (en) 2000-09-27
EP1039415A3 (en) 2000-10-04

Similar Documents

Publication Publication Date Title
JP3524250B2 (ja) デジタル画像処理プロセッサ
Crounse et al. Image halftoning with cellular neural networks
EP0778696B1 (en) Method and apparatus for providing halftoning processing of color images by means of a neural network
JP3830561B2 (ja) 誤差拡散方法、誤差拡散システム及び誤差生成方法
EP0757331B1 (en) Image processing method and apparatus
JPH09294204A (ja) 画像処理装置及びその方法
JP5013805B2 (ja) プロセッサ読取可能記憶媒体
JPH11184841A (ja) 画像処理方法及び装置
US7627188B2 (en) Error diffusion method and hardware architecture
JPH0793531A (ja) 画像処理装置
JPH11185033A (ja) 画像処理方法及び装置
KR100345441B1 (ko) 열상장비의 영상 불균일 보정 방법 및 장치
JPH0698157A (ja) 中間調画像形成装置
JPH11177808A (ja) 画像処理プロセッサ
US6282323B1 (en) Image processing method and apparatus
JPH10224620A (ja) 画像処理方法および装置
JPH0668250A (ja) 画像処理装置
Váša et al. Improved super-resolution method and its acceleration
JP2001297324A (ja) 画像処理装置、方法及び記録媒体
JP2978363B2 (ja) 中間調画像推定装置
Chatterjee et al. A temporal memory-based ordered dithering using recurrent neural network
JP2002262068A (ja) 画像処理装置
JPH04107067A (ja) 連続階調画像を疑似中間調画像に変換する方式
JP2000067234A (ja) 画像処理方法及び装置
JPH04192879A (ja) 画像処理装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040212

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees