JP3890099B2 - パターン認識装置及びその方法、及びそのプログラムを記憶した記憶媒体 - Google Patents
パターン認識装置及びその方法、及びそのプログラムを記憶した記憶媒体 Download PDFInfo
- Publication number
- JP3890099B2 JP3890099B2 JP25874396A JP25874396A JP3890099B2 JP 3890099 B2 JP3890099 B2 JP 3890099B2 JP 25874396 A JP25874396 A JP 25874396A JP 25874396 A JP25874396 A JP 25874396A JP 3890099 B2 JP3890099 B2 JP 3890099B2
- Authority
- JP
- Japan
- Prior art keywords
- probability distribution
- cell
- resolution
- input
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Description
【０００１】
【発明の属する技術分野】
本発明は、パターン認識装置に関するものであり、特に、パターン認識装置に含まれる入力装置が、ある種の制約を受け、その制約をパラメタによって変化させることが可能であるようなときに、効率的にパターンを認識するためにパラメタを制御するパターン認識装置に関する。
【０００２】
【従来の技術】
例えば、３次元空間を移動するロボットに設けられた画像認識装置では、認識すべき画像信号が周囲のどの方位に存在するかが予め分かっていないので、できるだけ広い範囲の信号を入力することが要求される。しかし同時に、あるパターンを認識するために十分なだけの空間解像度をも備えていなければならない。これらを同時に満足するような画像入力装置として、人間の網膜特性を参考にして、光軸の中心付近が高解像度で、光軸から離れるに従って低解像度になるような非一様サンプリングが考案された。
【０００３】
このような非一様サンプリングでは、周辺の低解像度でサンプリングされたパターンを正確に認識するためには、そのパターンが光軸付近の高解像度領域でサンプリングされるように光軸を変更しなければならない。即ち、非一様サンプリングは光軸制御を伴って初めて効果的な入力方式となる。
【０００４】
そのための光軸制御方式としては、非一様サンプリングによって入力された入力画像の特徴量に基づいて制御するものが考案されている。この特徴量としては、例えば画像強度の傾きの絶対値、ある２次元フィルタを施したあとの出力値、等が用いられている。また、知識データベースに基づく光軸制御方式も考案されている。この知識データベース方式では、システムが遂行すべきタスクや、認識対象の画像或いはパターンの集合を、ベイズネットワークで表現し、この確率構造に基づいて、与えれたタスクを効率よく遂行するために次に行うべき動作を決定している。
【０００５】
【発明が解決しようとする課題】
上述したように、従来における光軸制御の殆どは、画像信号に基づく方式であり、従ってエッジ強度が強い個所やフィルタ出力の強い個所という画像の幾何学的性質のみで光軸が制御されてしまう。このような制御方式では、タスクに必要でない個所でも、傾きの絶対値が大きければそこに光軸を移動させてしまう。
【０００６】
また、上述の知識データベース方式では、ベイズネットワークを用いているために、表現できるデータの構造が限定されてしまう。
【０００７】
【課題を解決するための手段】
上記の課題を解決するために、本発明によれば、パターン認識装置に、認識対象のパターンを表わす２次元画像信号を入力する入力手段と、該入力手段より入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング手段と、該サンプリング手段のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出手段と、該確率分布算出手段により算出された確率分布に基づいて、前記２次元画像信号の表わすパターンを認識する認識手段と、前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出手段と、前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更手段とを備える。
【０００８】
また、本発明の他の態様によれば、パターン認識方法に、認識対象のパターンを表わす２次元画像信号を入力する入力工程と、該入力工程により入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング工程と、該サンプリング工程のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出工程と、該確率分布算出工程により算出された確率分布に基づいて、前記第１の信号の表わすパターンを認識する認識工程と、前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出工程と、前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更工程とを備える。
【０００９】
また、本発明の他の態様によれば、コンピュータに、認識対象のパターンを表わす２次元画像信号を入力する入力手順と、該入力工程により入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング手順と、該サンプリング工程のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出手順と、該確率分布算出手順により算出された確率分布に基づいて、前記第１の信号の表わすパターンを認識する認識手順と、前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出手順と、前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更手順とを実行させるためのパターン認識プログラムをコンピュータ読み取り可能な記憶媒体に記録したことを特徴とする。
【００１０】
【発明の実施の形態】
（実施形態１）
図１は、本発明の１実施形態であるパターン認識装置の機能構成を表す図である。実施形態1は、オフラインパターン認識への応用例である。装置の各部は、以下に説明する機能を実現するものであれば、それぞれが専用のプログラムメモリやプロセッサを含む機器であってもよいし、複数の機能部を、同一のＣＰＵがＲＯＭやディスクメモリ等に記憶された各機能プログラムを実行することにより、あるいは各機能に対応する特定のハードウェアを制御する制御プログラムを実行することにより実現してもよい。
【００１１】
ここで、以下の記述を簡単にするため次のような記述を採用する。
【００１２】
まず、インデクスにうちの１つに*が現れたときには、その全てのインデクスに対する値を要素とするベクトルを表し、２つに*が現れたときには、それら全てのインデクスに対する値を要素とする行列を表すものとする。
【００１３】
例えば：
A(l,m,n,*) = (A(l,m,n,1), A(l,m,n,2), ... ,A(l,m,n,W))T (1)
【００１４】
【外１】
【００１５】
更に、インデクスに~が現れたときには、その全てのインデクスに渡る値の集合を表すものとする。例えば：
A(l,m,n,〜) = { A(l,m,n,1), A(l,m,n,2), ... , A(l,m,n,W) } (3)
なお、〜は複数個のインデクスに現れてもよい。
【００１６】
また確率理論に基づいて説明を行うので、有限個の非負の要素で構成される有限次元ベクトル( z(1), z(2) , ... , z(N))T に対して、総和が１になるように正規化したベクトルを出力する関数λを次式で定義する：
【００１７】
【外２】
ただし、Zはベクトルの要素の総和である：
【００１８】
【外３】
【００１９】
以下に、図１のパターン認識装置の各部を説明する。
【００２０】
＜入出力装置１０１＞
入出力装置１０１は、認識の対象とする信号を受信し、それを信号処理装置１０２に送信する。また、信号処理装置１０２による処理により得られた認識結果を外部装置に対して送信する。
【００２１】
外部装置から入力される信号は、認識対象としての信号であり、この信号は、音声信号のような1次元信号でも、画像のような2次元信号でもよい。本実施形態では、入力信号を2次元信号I(*,*)とする。
【００２２】
＜信号処理装置１０２＞
信号処理装置１０２は、通常のモードでは、入出力装置１０１から送信された2次元信号を認識し、学習モードのときには、入出力装置１０１から送信された2次元信号と教師信号とを基に、認識のための知識データを、後述する量子化コードブックなどの形式で記憶装置１０３に格納する。
【００２３】
図２に、信号処理装置１０２の処理のフローチャートを示す。
【００２４】
ステップＳ２０１では、入出力装置１０１から入力があったかどうかを検査する。入力がなければ、ステップＳ２０１を繰り返し、入力があった場合には、ステップＳ２０２に進む。ステップＳ２０２では、学習モードかどうかを検査し、学習モードであればステップＳ２０４へ、そうでなければステップＳ２０３へ進む。
【００２５】
ステップＳ２０３では、認識処理を実行する。この認識処理は図３及び図４につき後述する。ステップＳ２０４では、教師信号が入力されたかどうかを検査し、入力されたならばステップＳ２０５へ進み、学習処理を行なう。入力されなければステップＳ２０４の処理を繰り返す。ステップＳ２０５で実行される学習処理は図２６につき後述する。
【００２６】
次に、上述したステップＳ２０３で実行される認識処理の流れを、図３〜４のフローチャートに沿って説明する。
【００２７】
まず、ステップＳ３０１で確率セルオートマトンＡを初期化する。ここで、確率セルオートマトンＡは、セル空間Zd、各セルの状態の集合Ωの上に定義された確率空間Q、近傍系X、写像φの４つ組で表される：
A = { Zd, Q, X,φ} (6)
【００２８】
本実施形態では階層構造を考えているので、セル空間Zdは、d=3、即ち (l,m,n) ∈ Z3 、ここで、lは階層レベル、(m,n)は2次元画像に対応する2次元空間位置を表している。セルの状態の集合は、状態値が可算個の場合には、一般に自然数の集合と考えてよい。更に状態値を有限個に制限すれば、その上の確率分布Pは状態値１に対する確率、２に対する確率、…というように与えられ、これらを１まとまりにして、有限次元ベクトルとして表現できる。
【００２９】
また、セル空間での座標(l,m,n)に位置するセルに対する近傍系X(l,m,n)は、例えば
のように定義する。例えば、座標(2,1,1)のセル８０３に対する近傍系X(2,1,1)は、
となる。
【００３０】
写像φは、セル空間上で(l,m,n)に位置するセルの状態値μがvとなる確率Pl,m,n(μ=v)、(7)式で定義されている近傍系に含まれるセル(i,j,k)の状態値ωi,j, kがwとなる確率Pi,j,k(ω=w)、及びこれらの間の条件付き確率πi,j,k(μ=v|ω=w)を用いて次式で与えられる：
【００３１】
【外４】
【００３２】
図８に、l={1,2,3}、m={-1,0,1}、n={-1,0,1}の場合の確率セルオートマトンAの構造を示す。図中、鉛直上向きに階層レベルl、水平右方向に空間座標m、右斜め上方に空間座標nが取られている。図中、セル８０１のセル空間での座標は(3,1,1)、セル８０２の座標は(2,1,0)である。また近傍系は実線で示しており、例えばセル(3,0,0)の近傍系X(3,0,0)は
である。
【００３３】
以下の説明では、解像度レベルl、2次元空間位置m及びn、更にそれぞれのセルの状態値ωに対するインデクスwの範囲をそれぞれ
とする。
【００３４】
(11)式のインデクスを用いれば、階層レベルl、2次元空間位置(m,n)に位置するセルの状態値ωがwを取る確率Pl,m,n(ω=w)は
Pl,m,n(ω=w) = A(l,m,n,w) (12)
【００３５】
更に、セル(l,m,n)の状態値の確率分布は、W次元ベクトルA(l,m,n,*)として記述できる。また写像φは次のように定義し直せる：
A(l,m,n,*) = λ( (A(l,m,n,1),A(l,m,n,2),...,A(l,m,n,W))T ),
【００３６】
【外５】
ここで、＜a｜b＞はベクトルaとbの内積、ψ(l,m,n,w|i,j,k,*)は次式
で定義されるＷ次元ベクトルである。ここで、ψ(l,m,n,w|i,j,k,v)は、セル(i,j,k)の状態値がvのときにセル(l,m,n)の状態値がwとなる条件付き確率である。
【００３７】
図２０に、写像ψ(l,m,n,w|l-1,j,k,v)の例を示す。図中、縦横それぞれ３個のマス目で表現されているのが、セル(l,m,n)に対する近傍系X(l,m,n)である。それぞれのマス目の下に書かれているのが、セル(l,m,n)の状態値wである。それぞれのマス目の中の数字が、近傍系X(l,m,n)に含まれるそれぞれのセルの状態値vを示している。例えば１１という数字の上に位置するマス目は、セル(l,m,n)の状態値１１に対応する近傍系の状態値の空間的配置であり、左上のセルの状態値が８であることを要求する。
【００３８】
ここで、左上のセルの座標を(l-1,1,1)とすれば、(13)式中のψ(l,m,n,w|l-1,1,1,*)は、８番目の要素のみが１でそれ以外が０であるＷ次元ベクトル：
ψ(l,m,n,w|l-1,1,1,*) = (0,0,0,0,0,0,0,1,0,0,...,0)T (15)
となる。マス目のインデクスを通常の行列の表記に従えば、(13)式は実際に以下のように計算できる：
【００３９】
図３に戻り、ステップＳ３０２で、入力画像Ｉにおける注視点座標g=(gx,gy)をgint=(gxint,gyint)に初期化する。
【００４０】
ここで、注視点とは、入力画像Ｉから後述する多重解像度画像Dを抽出する窓の中心点である。注視点は、多重解像度画像と対応付けるため、多重解像度表現で表される。本実施形態で用いる多重解像度画像は、スケールが３のべき乗で変化するようになっているので、注視点の座標も３のべき乗、即ち3進数で記述する：
【００４１】
【外６】
【００４２】
ここで、 gxj及びgyjの取り得る値は {1,2,3} 或いは {-1,0 1}である。多重解像度画像のスケール変換が２のべき乗に基づいている場合には、注視点の座標は２進数で記述することになる。図２５に、(17)式による記述と、入力画像上の座標との関係を示す。
【００４３】
次に、ステップＳ３０３では、入力画像から注視点座標近傍の多重解像度画像Dを抽出する。この処理は、図５から図７につき後述する。多重解像度画像Dの要素は、解像度レベルを表す添え字lと、注視点座標に対して相対的な空間位置を表す２つの添え字(m,n)を用いてD(l,m,n)と表される。図９の黒く塗られた部分が、l={0,1,2}、m={-1,0,1}、n={-1,0,1}のときの多重解像度画像Dの例である。以下の説明では、確率セルオートマトンの場合と同様、解像度レベルl、2次元空間位置m及びnの範囲をそれぞれ、
l = {0,1, ... , L-1}
m = { -MD, -MD+1, ... , 0 , ... , MD-1 , MD} n = { -ND, -ND+1, ... , 0 , ... , ND-1 , ND} (18)とする。
【００４４】
上式及び図９からわかるように、本実施形態で述べている多重解像度画像は、通常の多重解像度画像の部分画像となっている。図中、９０１が解像度レベル２に属する画像、９０２が解像度レベル１に属する画像、９０３が解像度レベル０に属する画像である。またレベルlの９画素から成る画像の占める空間領域と、レベルl+1の画像のうち中心に位置する画素の占める空間領域とは一致する。
【００４５】
多重解像度画像の構成方法はいくつかあって、例えば、入力画像に対して各画素の占める空間領域に渡る平均値を画素値とするもの、ウェーブレット変換のように空間スケールの異なる積分核を用いて得られた積分変換係数を画素値とするもの等を利用することができる。図９では、積分核９０４及び９０５を用いる。
【００４６】
ステップＳ３０４では、多重解像度データＢ及びＣを初期化する。ここでＢ及びＣの要素は上記Dと同様、 B(l,m,n)及びC(l,m,n)のように３つの添え字で表され、添え字の範囲はそれぞれ、
l = {1, ... , L-1}
m = { -MB, -MB+1, ... , 0 , ... , MB-1 , MB} n = { -NB, -NB+1, ... , 0 , ... , NB-1 , NB} (19)
である。以下、場合によって、MD及びNDを１、またMB 及びNBを２として説明する。
【００４７】
次に、ステップＳ３０５で、lを１に設定する。
【００４８】
ステップＳ３０６では、確率セルオートマトンAのセルのうち、レベルがlに属するセルA(l,〜,〜,〜)（本実施形態では9個）の状態値の確率分布(W次元ベクトル)A(l,〜,〜,*)を更新する。この確率分布A(l,〜,〜,*)の更新処理は図１０から図１２につき後述する。
【００４９】
ステップＳ３０７では、確率セルオートマトンＡのレベルlのセルとレベルl+1のセルの間の相互情報量を算出しＢに格納する。相互情報量算出処理は図１４から図１６につき後述する。
【００５０】
ステップＳ３０８では、lをl+1に更新する。ステップＳ３０９では、レベルlがＬを超えたかどうかを検査し、超えていたらステップＳ３１０に進む。そうでなければステップＳ３０５に進む。
【００５１】
ステップＳ３１０では、認識したいセルの状態値ωの確率分布のエントロピεを以下の式により算出する。
【００５２】
【外７】
【００５３】
ステップＳ３１１では、(20)式で計算したεが予め定めた値εCより小さいかどうかを検査し、小さくなければステップＳ３１２へ進む。小さければ認識処理を終了し、この時の状態値の確率分布から、認識したいセルの状態値を確率が最大となる状態値に決定する。この状態値から、後述する対応表または量子化コードブックの対応関係を参照して、対応する画像を認識結果として出力する。
【００５４】
ステップＳ３１２では、多重解像度データＢを用いて抽出画像の入力画像における注視点座標を更新する。この処理は図１８につき後述する。
【００５５】
次に、ステップＳ３０３で実行する処理を図５から図７に沿って説明する。
【００５６】
まず、ステップＳ５０１でlを１に設定する。
【００５７】
続いて、ステップＳ５０２では、注視点g=(gx,gy)における解像度レベルlの画像
D(l,m,n), −MD≦m≦MD , −ND≦n≦ND
を入力画像から抽出する。この処理は図６及び図７につき後述する。
【００５８】
ステップＳ５０３ではlをl+1に更新する。ステップＳ５０４でlがＬを超えたかどうかを検査し、超えていれば処理を終了し、そうでなければステップＳ５０２に戻る。
【００５９】
以上により、注視点における解像度レベルｌから解像度レベルＬまでの画像を入力画像から抽出する。
【００６０】
次に、ステップＳ５０２で実行する、入力画像から注視点における解像度レベルｌの画像を抽出する処理を図６及び図７に沿って説明する。
【００６１】
ステップＳ６０１で、解像度レベルの値から、抽出画像の1画素D(l,m,n)に対する入力画像Iにおける受容野の大きさを算出する。
【００６２】
ここで受容野とは、抽出画像の1画素の値を計算するために利用する入力画像の画素の範囲のことであり、本実施形態では縦横3l画素の正方格子を用いている。即ち、レベルl=0のときは縦横1画素、レベルl=1のときには縦横3画素というようになる。以下、受容野の範囲を縦横それぞれ、−ΔxからΔx、−ΔyからΔyと書く。
【００６３】
ステップＳ６０２でyを−NDに設定する。ステップＳ６０３でxを−MDに設定する。
【００６４】
ステップＳ６０４で、抽出画像のレベルl、2次元格子位置が(x,y)の1画素の値を次式で算出する：
【００６５】
【外８】
上式は受容野に渡る重み付き平均値の計算式である。
【００６６】
ステップＳ６０５でxをx+1に更新する。ステップＳ６０６でxがMDを超えたかどうかを検査し、超えていればステップＳ６０７へ進み、そうでなければステップＳ６０４へ戻る。
【００６７】
ステップＳ６０７でyをy+1に更新する。ステップＳ６０８でyがNDを超えたかどうかを検査し、超えていれば処理を終了し、そうでなければステップＳ６０３へ戻る。
【００６８】
ステップＳ３０６での確率分布の更新処理を、図１０から図１２のフローチャート、及び図１３に沿って説明する。
【００６９】
図１３で、１３０１が入力画像I、１３０２が多重解像度画像D、１３０３が確率セルオートマトンAである。図は簡単のために1次元的に表現している。
【００７０】
多重解像度画像Dは解像度レベルが下から０、１、２、それぞれの解像度レベルに縦横３画素、合計9画素よりなる画像がある。
【００７１】
確率セルオートマトンAの階層レベルは、１、２、３の３階層であり、それぞれの階層レベルに縦横3個、合計9個のセルが存在する。多重解像度画像Dは、注視点を中心として入力画像から抽出される。解像度レベル０の9個の画素値は入力画像と一致する。解像度レベル１に属する９個の画素値は、入力画像の縦横3個、合計9個の画素を適当な積分核１３０４、例えば図９の９０５を施して、積分変換することによって得られる。同様に、解像度レベル２に属する9個の画素値は、入力画像の縦横９個、合計８１個の画素を適当な積分核１３０５、例えば図９の９０４を施して、積分変換することによって得られる。
【００７２】
次に、確率分布の更新処理手順を説明する。
【００７３】
まず、ステップＳ１００１で、階層レベルlが０かどうかを検査し、そうであればステップＳ１００２に、そうでなければステップＳ１００５へ進む。
【００７４】
ステップＳ１００２では、解像度レベル０の画像D(0,*,*)１３０２と第1の対応関係１３０８を用いて、次式によりαを算出する：
α = λ(( α1, α2, ... , αW )T) (22)
【００７５】
第1の対応関係１３０８がベクトル量子化のコードブックのときには、入力画像D(0,*,*)と、コードブックに格納されている代表ベクトルとの内積を計算し、符号語jに対する内積の値をαjとする。
【００７６】
ステップＳ１００３では、αの要素に最大値が存在するかどうかを検査し、存在すればステップＳ１００４へ、存在しなければステップＳ１００６へ進む。
【００７７】
ステップＳ１００４では、αの要素のうち最大値を取る要素をkmaxとすると、次式で確率セルオートマトンの状態値の確率分布を更新する：
A(l,gxl,gyl,kmax) = 1, (23)
A(l,gxl,gyl,k) = 0, k ≠ kmax (24)
【００７８】
ステップＳ１００５で、後述する確率分布ベクトルβの値を階層レベルlの注視点に対応するセルの状態値の確率分布として代入する：
A(l,gxl,gyl,*) = β (25)
【００７９】
ステップＳ１００６でmを−MDに設定する。ステップＳ１００７でnを−NDに設定する。
【００８０】
ステップＳ１００８では、次式により、多重解像度画像D(l,gxl+m,gyl+n)の値に対する条件付き確率分布ベクトルdPを算出する：
dP = (dP1, dP2, .. , dPW)T (26)
D(l, gxl+m,gyl+n)が離散値 {1,2,...,N} を取るとき、上式は変換行列Fを用いて次のように書き直せる：
【００８１】
【外９】
ただし、Pr(D(l, gxl+m,gyl+n)=N)は、D(l, gxl+m,gyl+n)がNである確率である。従って、 D(l, gxl+m,gyl+n)が２のときには、dPは(f(1,2),f(2,2),...,f(W,2))Tとなる。
【００８２】
ステップＳ１００９で、上記dPを用いてセルの確率分布ベクトルを以下のように修正する：
ANEW(l, gxl+m,gyl+n,*) = λ((ANEW(1), ANEW(2),..., ANEW(W))T),
ANEW(j) = AOLD(l,gxl+m,gyl+n,j) dPj, ∀j∈ { 1,2,...,W} (27)
【００８３】
ステップＳ１０１０でnをn+1に更新する。ステップＳ１０１１でｎがNDを超えているかどうかを検査し、超えていればステップＳ１０１２へ、そうでなければステップＳ１００８へ進む。
【００８４】
ステップＳ１０１２ではmをm+1に更新する。ステップＳ１０１３でmがMDを超えているかどうかを検査し、超えていれば処理を終了し、そうでなければステップＳ１００７へ戻る。
【００８５】
次に、図４のステップＳ３０７で実行される相互情報量の算出処理を、図１４から図１６のフローチャートを参照しながら説明する。また、図１７に、この処理における各データ間の関係を図示する。
【００８６】
まず、ステップＳ１４０１で、確率分布ベクトルβを零ベクトルに初期化する。この確率分布ベクトルβは、例えば図１７の中で、確率セルオートマトンの階層レベル１のセル１７０５に対して、階層レベル２のセル１７０７の状態値の確率分布を表している。
【００８７】
更に、ステップＳ１４０２でmを−dMに初期化する。ここでdM = MB−ＭDである。そして、ステップＳ１４０３でnを−dNに初期化する。ここでdN = NB−NDである。
【００８８】
これらm及びnは、図１７中のセル１７０７を構成する階層レベル１のセルの集合として、１７０４、１７０５、及び１７０６のように、現在の注視点を中心にして、縦横それぞれに沿って1セル分ずつの平行移動を考慮するために設けられた操作である。
【００８９】
ステップＳ１４０４では、セル空間で以下の位置にあるセル、即ち図１７において１７０４、１７０５、或いは１７０６で示されているセル、即ち以下の近傍
に属するセルの確率分布ベクトルA(l,j,k,*)を用いて、次式で算出されるγ(v|w)を要素とするW次元ベクトルγ=λ(γ(1|w),γ(2|w),...,γ(W|w))T) を計算する：
【００９０】
【外１０】
ただし、wはセル(l,j,k)の状態値の一つであり、右辺の乗積は近傍系X(l+1,gxl+m,gyl+n)に属するセルのうち、(l,j,k)以外のセルに渡って計算される。
【００９１】
ステップＳ１４０５では、セル(l+1, gxl+m,gyl+n)と、その近傍系X(l+1,gxl+m,gyl+n)に属するセル(l,j,k)との間の相互情報量σ(l,j,k)を次式で算出する：
【００９２】
【外１１】
【００９３】
ステップＳ１４０６では、上記相互情報量を用いてＢを更新する：
B(l,j,k) = B(l,j,k) +σ(l,j,k) (31)
【００９４】
ステップＳ１４０７では、(30)式で計算した相互情報量σ(l,j,k) , (l,j,k)∈X(l+1,gxl+m,gyl+n)のうち、零でないものが存在するかどうかを検査し、存在すればステップＳ１４０８へ、そうでなければステップＳ１４１０へ進む。
【００９５】
ステップＳ１４０８では、βをγで更新する：
β = β + γ (32)
【００９６】
ステップＳ１４０９で、Cの値を更新する：
C(l,j,k) = C(l,j,k) + 1, (l,j,k) ∈ X(l+1,m,n) (33)
ステップＳ１４１０では、nをn+1に更新する。ステップＳ１４１１では、nがdNを超えたかどうかを検査し、超えていればステップＳ１４１２へ進み、超えていなければステップＳ１４０４へ戻る。
【００９７】
ステップＳ１４１２では、mをm+1に更新する。ステップＳ１４１３では、mがdMを超えたかどうかを検査し、超えていればステップＳ１４１４へ進み、超えていなければステップＳ１４０３へ戻る。
【００９８】
ステップＳ１４１４では、多重解像度データCを用いて多重解像度データBを更新する：
【００９９】
ステップＳ１４１５では、関数λを用いて確率分布ベクトルβを正規化する。
【０１００】
次に、ステップＳ３１１で実行される注視点座標の更新処理を、図１８に沿って説明する。
【０１０１】
まず、ステップＳ１８０１では、lを１に設定する。
【０１０２】
ステップＳ１８０２では、注視点移動量を計算する。この処理を、図１９のフローチャートに沿って説明する。
【０１０３】
ステップＳ１９０１では、lがLを超えるかどうかを検査し、超えていれば処理を終了し、そうでなければステップＳ１９０２へ進む。
【０１０４】
ステップＳ１９０２では、B(l,〜,〜)のなかに最大値を取る零でない要素が存在するかどうかを検査し、存在すればステップＳ１９０３へ、そうでなければステップＳ１９０７へ進む。
【０１０５】
ステップＳ１９０３では、最大値に対応するインデクスをもとにして注視点位置を変更する。最大値を取る要素の、2次元空間に対応する２つのインデクスをmmax及びnmaxとすると、(17)式によって3進数で記述されている注視点位置のうち、レベルlに対応する要素のみが次式で変更される：
gxl = gxl + mmax, gyl = gyl + nmax, (35)
【０１０６】
ステップＳ１９０４では、lが１かどうかを検査し、１でなければステップＳ１９０５へ進み、１であれば処理を終了する。
【０１０７】
ステップＳ１９０５では、mmax及びnmaxをもとに、階層レベルl-1に属する確率セルオートマトンのセルのセル空間における位置を平行移動させる。即ち、
A(l, m, n, *) = A(l, m-mmax, n-nmax, *) (36)
【０１０８】
ステップＳ１９０６では、(gxl-1 ,gyl-1)を(0,0)にリセットする。
【０１０９】
ステップＳ１９０７は、ステップＳ１９０２においてB(l,〜,〜)の中に最大値を取る零でない要素が存在しなかった場合に実行され、lをl+1に更新する。
【０１１０】
ステップＳ１９０８では、図１８のステップＳ１８０２の注視点移動量の計算を実行する。このように図１９で説明されている処理は再帰的である。
【０１１１】
上記認識処理のソフトウェアによる実現例を図２８から図４１に示す。これらはMATLABという高級言語で書かれている。
【０１１２】
図４１は、このソフトウェアを実行するためのハードウェア構成の一例を示す図である。
【０１１３】
同図において、４１０１は、入力部であり、認識対象となる画像信号を外部から受信するためのインターフェースや、ユーザが命令等を入力するためのキーボードやマウスを備えている。４１０２は、装置各部を制御し、プログラムの処理を実行するＣＰＵである。４１０３は、出力部であり、認識結果を表示あるいは印刷したり、外部装置に対して、認識結果や制御信号を送信する。
【０１１４】
４１０４は、ＲＯＭであり、固定データやプログラムを記憶する。４１０５は、ＲＡＭであり、多重解像度画像や確率オートマトンのセルの状態値の確率分布、量子化コードブックなど、認識処理に必要なデータを記憶するためのワークエリアを有し、補助記憶装置４１０６からロードされるプログラムを記憶するためのプログラムエリアを有する。４１０６は、補助記憶装置であり、フロッピーディスクやハードディスクなどの記憶媒体を用いてプログラムやデータを記憶する。
【０１１５】
図２８から図３６はsaccade6(・)という名称の主プログラムであり、与えられた2次元デジタル画像を認識する機能を持つ。確率オートマトンの構造そのものは予め与えられている。セル空間の構造は図８、多重解像度部分画像は図９に示すとおりである。
【０１１６】
図２０はコードブック及びセル間の状態値の対応表を示している。
【０１１７】
同図において、縦横３個のマスで書かれているのが代表ベクトル、或いはセルの状態値の空間的配置、その下に書かれている番号が、それぞれ代表ベクトルに対応する符号語、或いは対応するセルの状態値である。
【０１１８】
図１３の１３１０で示されるコードブックが、図２０の２から９までの番号を割り当てられている縦横３画素のパターンに対応する。また図１７の１７０７で示されているセル間の写像は、図２０の１０から１５の番号が割り当てられているパターンに対応する。
【０１１９】
図２１は、図２０で番号１０から１３が割り当てられている状態ベクトルを2次元画像として表現したものである。また図２２は同様に１４と１５が割り当てられている状態ベクトルを2次元画像として表現したものである。
【０１２０】
図３７から図３８にはsaccade6(・)で呼び出されているサブルーチン、mutinf(・)である。mutinf(・)は相互情報量を計算するプログラムである。
【０１２１】
図３９に示されているextract2(・)と図４０に示されているsubsampl(・)は、入力画像から多重解像度部分画像を抽出するサブルーチンである。
【０１２２】
図２２の状態ベクトル１５を入力画像とし、画像の左上の画素の座標を(1,1)として縦の座標系を下方向に、横の座標系を右方向に取って、注視点を(2,2)で初期化してsaccade6(・)を実行すると、図２３に示すように、注視点の位置は(2,2)から(20,20)へ移動して停止する。
【０１２３】
これら注視点に対して、状態値１４及び１５に対する確率Pr(14)及びPr(15)は、注視点(2,2)のときにはPr(14)=0.5,、Pr(15)=0.5であり、注視点が(20,20)に移動すると、Pr(14)=0.0058、Pr(15)=0.9942となる。このように、一度の注視点移動で認識が完了したことになる。
【０１２４】
本実施形態による注視点移動方式のかわりに画像の特徴量のみに基づく方式を用いたとすれば、少なくとも１０回の注視点移動が必要となる。
【０１２５】
図２のステップＳ２０５で実行される学習処理について、図２４、図２５及び図２６に沿って説明する。図２４に示すように、学習処理はステップＳ２４０１の符号化処理とステップＳ２４０２の対応付け処理の2段階より構成される。
【０１２６】
図２５は符号化処理の流れ図である。
【０１２７】
まず、ステップＳ２５０１では入力画像Iを多重解像度画像に変換する。ただし入力画像Iの縦横の画素数は、３の(L+1)乗であるとする。
【０１２８】
ステップＳ２５０２では、lを０に設定する。
【０１２９】
ステップＳ２５０３では、多重解像度画像のうちの解像度レベルlの画像を部分画像に分割する。本実施例では、縦横３画素で互いに重なり合わない部分画像に分割する。
【０１３０】
以下、部分画像を、行列の表記に従い、2次元のインデクス(m,n)で表現する。
【０１３１】
ステップＳ２５０４では、nを１に設定する。ステップＳ２５０５では、mを１に設定する。
【０１３２】
ステップＳ２５０６では、部分画像(m,n)がベクトル量子化のコードブックに代表ベクトルとして登録されているかどうかを検査し、登録されていればステップＳ２５０８へ、未登録ならばステップＳ２５０７へ進む。
【０１３３】
ステップＳ２５０７では、上記部分画像に適当な符号語を割り当ててコードブックに登録する。
【０１３４】
ステップＳ２５０８では、それぞれの部分画像を、対応する符号語で置き換える。この置き換え操作によって部分画像の画素数は、縦横それぞれ1/3に縮小する。
【０１３５】
ステップＳ２５０９では、mをm+1に更新する。ステップＳ２５１０では、mが３を超えているかどうかを検査し、超えていればステップＳ２７１１へ、そうでなければステップＳ２５０６へ進む。
【０１３６】
ステップＳ２５１１では、nをn+1に更新する。ステップＳ２５１２では、nが３を超えているかどうかを検査し、超えていればステップＳ２５１３へ、そうでなければステップＳ２５０５へ進む。
【０１３７】
ステップＳ２５１３では、lをl+1に更新する。ステップＳ２５１４では、lがLを超えていないかを検査し、超えていれば終了し、そうでなければステップＳ２５０３へ戻る。
【０１３８】
以上の処理によって、多重解像度画像は、各解像度レベルでの画素数が縦横それぞれ1/3に縮小された多重解像度符号語データに変換される。
【０１３９】
また、コードブックに登録されていない代表ベクトルを登録することによって、新しいデータに対応することができる。
【０１４０】
上記処理で得られるコードブックは、前述した本実施形態の認識処理において利用される。
【０１４１】
図２６は、上記多重解像度符号語データを用いて、レベル間の対応関係の抽出と登録を行う処理のフローチャートである。
【０１４２】
以下、多重解像度符号語データを解像度レベルl、2次元離散座標(m,n)の３つのインデクスを用いて、Y(l,m,n)で表現する。
【０１４３】
ステップＳ２６０１では、lを１に設定する。ステップＳ２６０２では、nを１に設定する。ステップＳ２６０３では、mを１に設定する。
【０１４４】
ステップＳ２６０４では、符号語Y(l,m,n)と、以下の符号語の組：
{Y(l-1,3m-1,3n-1), Y(l-1,3m-1,3n), Y(l-1,3m-1,3n+1)
Y(l-1,3m,3n-1), Y(l-1,3m,3n), Y(l-1,3m,3n+1) Y(l-1,3m+1,3n-1), Y(l-1,3m+1,3n), Y(l-1,3m+1,3n+1)}との対応関係を抽出する。
【０１４５】
ステップＳ２６０５では、上記対応関係が、コードブック或いは対応表に登録されているかどうかを検査し、登録されていればステップＳ２６０７へ、そうでなければステップＳ２６０６へ進む。
【０１４６】
ステップＳ２６０６では、対応表に、上記対応関係を登録する。
【０１４７】
ステップＳ２６０７では、mをm+1に更新する。ステップＳ２６０８では、mが３を超えているかどうかを検査し、超えていればステップＳ２６０９へ、そうでなければステップＳ２６０４へ進む。
【０１４８】
ステップＳ２６０９では、nをn+1に更新する。ステップＳ２６１０では、nが３を超えているかどうかを検査し、超えていればステップＳ２６１１へ、そうでなければステップＳ２６０３へ進む。
【０１４９】
ステップＳ２６１１では、lをl+1に更新する。ステップＳ２６１２では、lがLを超えていないかを検査し、超えていれば終了し、そうでなければステップＳ２６０２へ戻る。
【０１５０】
上記処理によって得られる対応表は、前述した本実施形態の認識処理において利用される。
【０１５１】
（実施形態２）
図２７に実施形態２の構成図を示す。
【０１５２】
実施形態２は、監視システム、ロボットの画像入力システム等への本発明の応用例であり、図中、２７０１は信号処理装置、２７０２は記憶装置、２７０３は出力装置、２７０４は光学系、２７０５は２次元アレイセンサ、２７０６は第１の筐体、２７０７は第２の筐体、２７０８は移動装置である。
【０１５３】
信号処理装置２７０１は、光学系２７０４を経て、２次元アレイセンサ２７０５でサンプリングされた入力信号を受信し、記憶装置２７０２に格納されたデータを用いて入力信号を処理し、所望の出力を出力装置２７０３へ送信し、光学系２７０４の入力パラメタ(光軸の方位や位置など)を制御するための信号を移動装置２７０８に送信する。
【０１５４】
実施形態２で想定している応用例では、入力すべき画像が入力システムのどの方向に存在するかは、予め与えられていない。従って、システムが遂行すべきタスクに必要な情報が存在する方位を推定し、その方向に入力装置の光軸を一致させ、その情報を取得するために必要な解像度で撮像するように、入力パラメタを制御することが要求される。
【０１５５】
また、撮像系に対しては、高解像度で信号を取得し、更に広範囲な領域をも見渡せることが要求される。限られたセンサ数で、この相反する仕様を満足するために、撮像系の空間解像度は非一様とする。実施形態１で説明した多重解像度部分画像Dは、このような非一様サンプリングによって得られる入力画像の１例である。
【０１５６】
実施形態2は、このような入力装置を想定するものである。
【０１５７】
＜光学系２７０４＞
光学系２７０４は、外部から入射してくる光線を屈折させて、後述の2次元アレイセンサ２７０５上に結像させるためのものである。高解像度と広範囲を両立させるレンズとして、例えば魚眼レンズがある。魚眼レンズは、その写像関数によって4種類に分類される。
【０１５８】
＜2次元アレイセンサ２７０５＞
2次元アレイセンサ２７０５は、前記光学系２７０４によって結像した画像を2次元デジタル画像としてサンプリングする。ここで、2次元デジタル画像とは、2次元空間座標を離散化し、更にそれぞれのサンプリング点での画素値を量子化したものをいう。
【０１５９】
光学系２７０４として魚眼レンズを採用し、その像を2次元アレイセンサでサンプリングして得られたデジタル画像は、擬似的に多重解像度部分画像になる。そこで、以下の説明では、このデジタル画像を実施形態１での記述と同様にDと書く。Dは解像度レベルl、2次元離散空間座標(m,n)の３つのインデクスで画素位置を表す。例えば解像度レベルl、2次元離散空間座標(m,n)に位置する画素値はD(l,m,n)と書く。
【０１６０】
＜第1の筐体２７０６＞
第1の筐体２７０６は前記光学系２７０４と前記2次元アレイセンサ２７０５とを固定する。
【０１６１】
<第2の筐体２７０７＞
第2の筐体２７０７は、後述の移動装置２７０８を介して、第1の筐体２７０６を支持するものである。
【０１６２】
＜移動装置２７０８＞
移動装置２７０８は、第1の筐体２７０６を、第2の筐体２７０７に対して2次元的に相対移動させるものである。2次元移動量は、後述の信号処理装置２７０１からの制御信号で制御される。
【０１６３】
＜記憶装置２７０２＞
記憶装置２７０２は、後述する信号処理装置２７０１の処理に利用される信号を記憶しておく装置であり、信号処理装置２７０１によって信号が書き込まれ、或いは読み出される。
【０１６４】
＜出力装置２７０３＞
出力装置２７０３は、後述する信号処理装置２７０１からの出力を表示或いは印刷するものである。
【０１６５】
＜原稿置き台２７０９＞
原稿置き台２７０９は、後述する信号処理装置２７０１で認識する画像或いはパターンが描かれている原稿２７１０を支持するための台である。原稿に描かれている画像或いはパターンが、原稿置き台２７０９を通して光学系に入力される配置になっているときには、原稿置き台２７０９は透明でなければならない。
【０１６６】
＜原稿２７１０＞
後述する信号処理装置２７０１で認識される対象となる画像或いはパターンが描かれている原稿である。
【０１６７】
＜信号処理装置２７０１＞
信号処理装置２７０１は、2次元アレイセンサ２７０５から送信されてきたデジタル画像を認識する装置であり、認識処理を実行するために記憶装置２７０２に格納された信号を読み出し、或いは信号を書き込み、また移動装置２７０８に2次元移動量を制御するための制御信号を送信する。また認識結果や、何らかのエラーが発生した場合のメッセージを出力装置２７０３に出力する。
【０１６８】
信号処理装置２７０１の処理は、実施形態１で説明した全ての処理を含み、実施形態１の説明文中の注視点位置が、実施形態２における光学系の光軸に相当する。また、実施形態１の説明文中の入力画像Iは、実施形態２における原稿２７１０に相当する。
【０１６９】
【発明の効果】
以上説明したように、本発明によれば、非一様サンプリングによりサンプリングした信号を用いてパターン認識を行なう際に、パターンをより正確に認識するために、サンプリング位置を高速に修正することができる。
【０１７０】
また、本発明によれば、認識対象パターンの存在する方位が不明な場合でも、パターンを高速に捕捉することができるので、移動物体に設置するために好適なパターン認識装置を容易に構成することができる。
【０１７１】
また、本発明によれば、従来の装置に比べて、比較にならないほど少ないセンサ数で構成されたアレイセンサで、パターン認識処理が達成できる。例えば、実施形態１で説明した例では、従来方式で３2L個のセンサが必要なのに対して、実施形態１では、(３L)2個のセンサで十分である。
【図面の簡単な説明】
【図１】実施形態１のパターン認識装置のブロック構成図である。
【図２】信号処理装置の処理のフローチャートである。
【図３】認識処理のフローチャートである。
【図４】認識処理のフローチャートである。
【図５】多重解像度部分画像の抽出処理のフローチャートである。
【図６】解像度レベルlの画像の抽出処理のフローチャートである。
【図７】解像度レベルlの画像の抽出処理のフローチャートである。
【図８】確率セルオートマトンのセル空間の説明図である。
【図９】多重解像度部分画像の説明図である。
【図１０】確率分布の更新処理のフローチャートである。
【図１１】確率分布の更新処理のフローチャートである。
【図１２】確率分布の更新処理のフローチャートである。
【図１３】確率分布の更新処理の説明図である。
【図１４】相互情報量の算出処理のフローチャートである。
【図１５】相互情報量の算出処理のフローチャートである。
【図１６】相互情報量の算出処理のフローチャートである。
【図１７】相互情報量の算出処理におけるデータ間の関係を示す図である。
【図１８】注視点座標の更新処理のフローチャートである。
【図１９】注視点移動の計算処理のフローチャートである。
【図２０】符号化処理のコードブック及びセルの状態間の写像関係の例を示す図である。
【図２１】代表ベクトルに対する２次元画像である。
【図２２】代表ベクトルに対する２次元画像である。
【図２３】注視点移動を示した図である。
【図２４】コードブックやセル間写像の学習のフローチャートである。
【図２５】符号化処理のフローチャートである。
【図２６】対応づけ処理のフローチャートである。
【図２７】実施形態２のブロック構成図である。
【図２８】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図２９】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３０】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３１】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３２】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３３】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３４】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３５】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３６】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３７】相互情報量を計算するプログラムを表わす図である。
【図３８】相互情報量を計算するプログラムを表わす図である。
【図３９】多重解像度部分画像を抽出するプログラムを表わす図である。
【図４０】多重解像度部分画像を抽出するプログラムを表わす図である。
【図４１】ハードウエア構成の例を示す図である。
【符号の説明】
１０１ 入出力装置
１０２、２７０１ 信号処理装置
１０３、２７０２ 記憶装置
２７０３ 出力装置
２７０４ 光学系
２７０５ ２次元アレイセンサ
２７０６ 第１の筐体
２７０７ 第２の筐体
２７０８ 移動装置
２７０９ 原稿置き台
２７１０ 原稿
４１０１ 入力部
４１０２ ＣＰＵ
４１０３ 出力部
４１０４ ＲＯＭ
４１０５ ＲＡＭ
４１０６ 補助記憶装置
【発明の属する技術分野】
本発明は、パターン認識装置に関するものであり、特に、パターン認識装置に含まれる入力装置が、ある種の制約を受け、その制約をパラメタによって変化させることが可能であるようなときに、効率的にパターンを認識するためにパラメタを制御するパターン認識装置に関する。
【０００２】
【従来の技術】
例えば、３次元空間を移動するロボットに設けられた画像認識装置では、認識すべき画像信号が周囲のどの方位に存在するかが予め分かっていないので、できるだけ広い範囲の信号を入力することが要求される。しかし同時に、あるパターンを認識するために十分なだけの空間解像度をも備えていなければならない。これらを同時に満足するような画像入力装置として、人間の網膜特性を参考にして、光軸の中心付近が高解像度で、光軸から離れるに従って低解像度になるような非一様サンプリングが考案された。
【０００３】
このような非一様サンプリングでは、周辺の低解像度でサンプリングされたパターンを正確に認識するためには、そのパターンが光軸付近の高解像度領域でサンプリングされるように光軸を変更しなければならない。即ち、非一様サンプリングは光軸制御を伴って初めて効果的な入力方式となる。
【０００４】
そのための光軸制御方式としては、非一様サンプリングによって入力された入力画像の特徴量に基づいて制御するものが考案されている。この特徴量としては、例えば画像強度の傾きの絶対値、ある２次元フィルタを施したあとの出力値、等が用いられている。また、知識データベースに基づく光軸制御方式も考案されている。この知識データベース方式では、システムが遂行すべきタスクや、認識対象の画像或いはパターンの集合を、ベイズネットワークで表現し、この確率構造に基づいて、与えれたタスクを効率よく遂行するために次に行うべき動作を決定している。
【０００５】
【発明が解決しようとする課題】
上述したように、従来における光軸制御の殆どは、画像信号に基づく方式であり、従ってエッジ強度が強い個所やフィルタ出力の強い個所という画像の幾何学的性質のみで光軸が制御されてしまう。このような制御方式では、タスクに必要でない個所でも、傾きの絶対値が大きければそこに光軸を移動させてしまう。
【０００６】
また、上述の知識データベース方式では、ベイズネットワークを用いているために、表現できるデータの構造が限定されてしまう。
【０００７】
【課題を解決するための手段】
上記の課題を解決するために、本発明によれば、パターン認識装置に、認識対象のパターンを表わす２次元画像信号を入力する入力手段と、該入力手段より入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング手段と、該サンプリング手段のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出手段と、該確率分布算出手段により算出された確率分布に基づいて、前記２次元画像信号の表わすパターンを認識する認識手段と、前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出手段と、前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更手段とを備える。
【０００８】
また、本発明の他の態様によれば、パターン認識方法に、認識対象のパターンを表わす２次元画像信号を入力する入力工程と、該入力工程により入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング工程と、該サンプリング工程のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出工程と、該確率分布算出工程により算出された確率分布に基づいて、前記第１の信号の表わすパターンを認識する認識工程と、前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出工程と、前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更工程とを備える。
【０００９】
また、本発明の他の態様によれば、コンピュータに、認識対象のパターンを表わす２次元画像信号を入力する入力手順と、該入力工程により入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング手順と、該サンプリング工程のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出手順と、該確率分布算出手順により算出された確率分布に基づいて、前記第１の信号の表わすパターンを認識する認識手順と、前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出手順と、前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更手順とを実行させるためのパターン認識プログラムをコンピュータ読み取り可能な記憶媒体に記録したことを特徴とする。
【００１０】
【発明の実施の形態】
（実施形態１）
図１は、本発明の１実施形態であるパターン認識装置の機能構成を表す図である。実施形態1は、オフラインパターン認識への応用例である。装置の各部は、以下に説明する機能を実現するものであれば、それぞれが専用のプログラムメモリやプロセッサを含む機器であってもよいし、複数の機能部を、同一のＣＰＵがＲＯＭやディスクメモリ等に記憶された各機能プログラムを実行することにより、あるいは各機能に対応する特定のハードウェアを制御する制御プログラムを実行することにより実現してもよい。
【００１１】
ここで、以下の記述を簡単にするため次のような記述を採用する。
【００１２】
まず、インデクスにうちの１つに*が現れたときには、その全てのインデクスに対する値を要素とするベクトルを表し、２つに*が現れたときには、それら全てのインデクスに対する値を要素とする行列を表すものとする。
【００１３】
例えば：
A(l,m,n,*) = (A(l,m,n,1), A(l,m,n,2), ... ,A(l,m,n,W))T (1)
【００１４】
【外１】
更に、インデクスに~が現れたときには、その全てのインデクスに渡る値の集合を表すものとする。例えば：
A(l,m,n,〜) = { A(l,m,n,1), A(l,m,n,2), ... , A(l,m,n,W) } (3)
なお、〜は複数個のインデクスに現れてもよい。
【００１６】
また確率理論に基づいて説明を行うので、有限個の非負の要素で構成される有限次元ベクトル( z(1), z(2) , ... , z(N))T に対して、総和が１になるように正規化したベクトルを出力する関数λを次式で定義する：
【００１７】
【外２】
【００１８】
【外３】
以下に、図１のパターン認識装置の各部を説明する。
【００２０】
＜入出力装置１０１＞
入出力装置１０１は、認識の対象とする信号を受信し、それを信号処理装置１０２に送信する。また、信号処理装置１０２による処理により得られた認識結果を外部装置に対して送信する。
【００２１】
外部装置から入力される信号は、認識対象としての信号であり、この信号は、音声信号のような1次元信号でも、画像のような2次元信号でもよい。本実施形態では、入力信号を2次元信号I(*,*)とする。
【００２２】
＜信号処理装置１０２＞
信号処理装置１０２は、通常のモードでは、入出力装置１０１から送信された2次元信号を認識し、学習モードのときには、入出力装置１０１から送信された2次元信号と教師信号とを基に、認識のための知識データを、後述する量子化コードブックなどの形式で記憶装置１０３に格納する。
【００２３】
図２に、信号処理装置１０２の処理のフローチャートを示す。
【００２４】
ステップＳ２０１では、入出力装置１０１から入力があったかどうかを検査する。入力がなければ、ステップＳ２０１を繰り返し、入力があった場合には、ステップＳ２０２に進む。ステップＳ２０２では、学習モードかどうかを検査し、学習モードであればステップＳ２０４へ、そうでなければステップＳ２０３へ進む。
【００２５】
ステップＳ２０３では、認識処理を実行する。この認識処理は図３及び図４につき後述する。ステップＳ２０４では、教師信号が入力されたかどうかを検査し、入力されたならばステップＳ２０５へ進み、学習処理を行なう。入力されなければステップＳ２０４の処理を繰り返す。ステップＳ２０５で実行される学習処理は図２６につき後述する。
【００２６】
次に、上述したステップＳ２０３で実行される認識処理の流れを、図３〜４のフローチャートに沿って説明する。
【００２７】
まず、ステップＳ３０１で確率セルオートマトンＡを初期化する。ここで、確率セルオートマトンＡは、セル空間Zd、各セルの状態の集合Ωの上に定義された確率空間Q、近傍系X、写像φの４つ組で表される：
A = { Zd, Q, X,φ} (6)
【００２８】
本実施形態では階層構造を考えているので、セル空間Zdは、d=3、即ち (l,m,n) ∈ Z3 、ここで、lは階層レベル、(m,n)は2次元画像に対応する2次元空間位置を表している。セルの状態の集合は、状態値が可算個の場合には、一般に自然数の集合と考えてよい。更に状態値を有限個に制限すれば、その上の確率分布Pは状態値１に対する確率、２に対する確率、…というように与えられ、これらを１まとまりにして、有限次元ベクトルとして表現できる。
【００２９】
また、セル空間での座標(l,m,n)に位置するセルに対する近傍系X(l,m,n)は、例えば
【００３０】
写像φは、セル空間上で(l,m,n)に位置するセルの状態値μがvとなる確率Pl,m,n(μ=v)、(7)式で定義されている近傍系に含まれるセル(i,j,k)の状態値ωi,j, kがwとなる確率Pi,j,k(ω=w)、及びこれらの間の条件付き確率πi,j,k(μ=v|ω=w)を用いて次式で与えられる：
【００３１】
【外４】
図８に、l={1,2,3}、m={-1,0,1}、n={-1,0,1}の場合の確率セルオートマトンAの構造を示す。図中、鉛直上向きに階層レベルl、水平右方向に空間座標m、右斜め上方に空間座標nが取られている。図中、セル８０１のセル空間での座標は(3,1,1)、セル８０２の座標は(2,1,0)である。また近傍系は実線で示しており、例えばセル(3,0,0)の近傍系X(3,0,0)は
【００３３】
以下の説明では、解像度レベルl、2次元空間位置m及びn、更にそれぞれのセルの状態値ωに対するインデクスwの範囲をそれぞれ
【００３４】
(11)式のインデクスを用いれば、階層レベルl、2次元空間位置(m,n)に位置するセルの状態値ωがwを取る確率Pl,m,n(ω=w)は
Pl,m,n(ω=w) = A(l,m,n,w) (12)
【００３５】
更に、セル(l,m,n)の状態値の確率分布は、W次元ベクトルA(l,m,n,*)として記述できる。また写像φは次のように定義し直せる：
A(l,m,n,*) = λ( (A(l,m,n,1),A(l,m,n,2),...,A(l,m,n,W))T ),
【００３６】
【外５】
【００３７】
図２０に、写像ψ(l,m,n,w|l-1,j,k,v)の例を示す。図中、縦横それぞれ３個のマス目で表現されているのが、セル(l,m,n)に対する近傍系X(l,m,n)である。それぞれのマス目の下に書かれているのが、セル(l,m,n)の状態値wである。それぞれのマス目の中の数字が、近傍系X(l,m,n)に含まれるそれぞれのセルの状態値vを示している。例えば１１という数字の上に位置するマス目は、セル(l,m,n)の状態値１１に対応する近傍系の状態値の空間的配置であり、左上のセルの状態値が８であることを要求する。
【００３８】
ここで、左上のセルの座標を(l-1,1,1)とすれば、(13)式中のψ(l,m,n,w|l-1,1,1,*)は、８番目の要素のみが１でそれ以外が０であるＷ次元ベクトル：
ψ(l,m,n,w|l-1,1,1,*) = (0,0,0,0,0,0,0,1,0,0,...,0)T (15)
となる。マス目のインデクスを通常の行列の表記に従えば、(13)式は実際に以下のように計算できる：
図３に戻り、ステップＳ３０２で、入力画像Ｉにおける注視点座標g=(gx,gy)をgint=(gxint,gyint)に初期化する。
【００４０】
ここで、注視点とは、入力画像Ｉから後述する多重解像度画像Dを抽出する窓の中心点である。注視点は、多重解像度画像と対応付けるため、多重解像度表現で表される。本実施形態で用いる多重解像度画像は、スケールが３のべき乗で変化するようになっているので、注視点の座標も３のべき乗、即ち3進数で記述する：
【００４１】
【外６】
ここで、 gxj及びgyjの取り得る値は {1,2,3} 或いは {-1,0 1}である。多重解像度画像のスケール変換が２のべき乗に基づいている場合には、注視点の座標は２進数で記述することになる。図２５に、(17)式による記述と、入力画像上の座標との関係を示す。
【００４３】
次に、ステップＳ３０３では、入力画像から注視点座標近傍の多重解像度画像Dを抽出する。この処理は、図５から図７につき後述する。多重解像度画像Dの要素は、解像度レベルを表す添え字lと、注視点座標に対して相対的な空間位置を表す２つの添え字(m,n)を用いてD(l,m,n)と表される。図９の黒く塗られた部分が、l={0,1,2}、m={-1,0,1}、n={-1,0,1}のときの多重解像度画像Dの例である。以下の説明では、確率セルオートマトンの場合と同様、解像度レベルl、2次元空間位置m及びnの範囲をそれぞれ、
l = {0,1, ... , L-1}
m = { -MD, -MD+1, ... , 0 , ... , MD-1 , MD} n = { -ND, -ND+1, ... , 0 , ... , ND-1 , ND} (18)とする。
【００４４】
上式及び図９からわかるように、本実施形態で述べている多重解像度画像は、通常の多重解像度画像の部分画像となっている。図中、９０１が解像度レベル２に属する画像、９０２が解像度レベル１に属する画像、９０３が解像度レベル０に属する画像である。またレベルlの９画素から成る画像の占める空間領域と、レベルl+1の画像のうち中心に位置する画素の占める空間領域とは一致する。
【００４５】
多重解像度画像の構成方法はいくつかあって、例えば、入力画像に対して各画素の占める空間領域に渡る平均値を画素値とするもの、ウェーブレット変換のように空間スケールの異なる積分核を用いて得られた積分変換係数を画素値とするもの等を利用することができる。図９では、積分核９０４及び９０５を用いる。
【００４６】
ステップＳ３０４では、多重解像度データＢ及びＣを初期化する。ここでＢ及びＣの要素は上記Dと同様、 B(l,m,n)及びC(l,m,n)のように３つの添え字で表され、添え字の範囲はそれぞれ、
l = {1, ... , L-1}
m = { -MB, -MB+1, ... , 0 , ... , MB-1 , MB} n = { -NB, -NB+1, ... , 0 , ... , NB-1 , NB} (19)
である。以下、場合によって、MD及びNDを１、またMB 及びNBを２として説明する。
【００４７】
次に、ステップＳ３０５で、lを１に設定する。
【００４８】
ステップＳ３０６では、確率セルオートマトンAのセルのうち、レベルがlに属するセルA(l,〜,〜,〜)（本実施形態では9個）の状態値の確率分布(W次元ベクトル)A(l,〜,〜,*)を更新する。この確率分布A(l,〜,〜,*)の更新処理は図１０から図１２につき後述する。
【００４９】
ステップＳ３０７では、確率セルオートマトンＡのレベルlのセルとレベルl+1のセルの間の相互情報量を算出しＢに格納する。相互情報量算出処理は図１４から図１６につき後述する。
【００５０】
ステップＳ３０８では、lをl+1に更新する。ステップＳ３０９では、レベルlがＬを超えたかどうかを検査し、超えていたらステップＳ３１０に進む。そうでなければステップＳ３０５に進む。
【００５１】
ステップＳ３１０では、認識したいセルの状態値ωの確率分布のエントロピεを以下の式により算出する。
【００５２】
【外７】
ステップＳ３１１では、(20)式で計算したεが予め定めた値εCより小さいかどうかを検査し、小さくなければステップＳ３１２へ進む。小さければ認識処理を終了し、この時の状態値の確率分布から、認識したいセルの状態値を確率が最大となる状態値に決定する。この状態値から、後述する対応表または量子化コードブックの対応関係を参照して、対応する画像を認識結果として出力する。
【００５４】
ステップＳ３１２では、多重解像度データＢを用いて抽出画像の入力画像における注視点座標を更新する。この処理は図１８につき後述する。
【００５５】
次に、ステップＳ３０３で実行する処理を図５から図７に沿って説明する。
【００５６】
まず、ステップＳ５０１でlを１に設定する。
【００５７】
続いて、ステップＳ５０２では、注視点g=(gx,gy)における解像度レベルlの画像
D(l,m,n), −MD≦m≦MD , −ND≦n≦ND
を入力画像から抽出する。この処理は図６及び図７につき後述する。
【００５８】
ステップＳ５０３ではlをl+1に更新する。ステップＳ５０４でlがＬを超えたかどうかを検査し、超えていれば処理を終了し、そうでなければステップＳ５０２に戻る。
【００５９】
以上により、注視点における解像度レベルｌから解像度レベルＬまでの画像を入力画像から抽出する。
【００６０】
次に、ステップＳ５０２で実行する、入力画像から注視点における解像度レベルｌの画像を抽出する処理を図６及び図７に沿って説明する。
【００６１】
ステップＳ６０１で、解像度レベルの値から、抽出画像の1画素D(l,m,n)に対する入力画像Iにおける受容野の大きさを算出する。
【００６２】
ここで受容野とは、抽出画像の1画素の値を計算するために利用する入力画像の画素の範囲のことであり、本実施形態では縦横3l画素の正方格子を用いている。即ち、レベルl=0のときは縦横1画素、レベルl=1のときには縦横3画素というようになる。以下、受容野の範囲を縦横それぞれ、−ΔxからΔx、−ΔyからΔyと書く。
【００６３】
ステップＳ６０２でyを−NDに設定する。ステップＳ６０３でxを−MDに設定する。
【００６４】
ステップＳ６０４で、抽出画像のレベルl、2次元格子位置が(x,y)の1画素の値を次式で算出する：
【００６５】
【外８】
【００６６】
ステップＳ６０５でxをx+1に更新する。ステップＳ６０６でxがMDを超えたかどうかを検査し、超えていればステップＳ６０７へ進み、そうでなければステップＳ６０４へ戻る。
【００６７】
ステップＳ６０７でyをy+1に更新する。ステップＳ６０８でyがNDを超えたかどうかを検査し、超えていれば処理を終了し、そうでなければステップＳ６０３へ戻る。
【００６８】
ステップＳ３０６での確率分布の更新処理を、図１０から図１２のフローチャート、及び図１３に沿って説明する。
【００６９】
図１３で、１３０１が入力画像I、１３０２が多重解像度画像D、１３０３が確率セルオートマトンAである。図は簡単のために1次元的に表現している。
【００７０】
多重解像度画像Dは解像度レベルが下から０、１、２、それぞれの解像度レベルに縦横３画素、合計9画素よりなる画像がある。
【００７１】
確率セルオートマトンAの階層レベルは、１、２、３の３階層であり、それぞれの階層レベルに縦横3個、合計9個のセルが存在する。多重解像度画像Dは、注視点を中心として入力画像から抽出される。解像度レベル０の9個の画素値は入力画像と一致する。解像度レベル１に属する９個の画素値は、入力画像の縦横3個、合計9個の画素を適当な積分核１３０４、例えば図９の９０５を施して、積分変換することによって得られる。同様に、解像度レベル２に属する9個の画素値は、入力画像の縦横９個、合計８１個の画素を適当な積分核１３０５、例えば図９の９０４を施して、積分変換することによって得られる。
【００７２】
次に、確率分布の更新処理手順を説明する。
【００７３】
まず、ステップＳ１００１で、階層レベルlが０かどうかを検査し、そうであればステップＳ１００２に、そうでなければステップＳ１００５へ進む。
【００７４】
ステップＳ１００２では、解像度レベル０の画像D(0,*,*)１３０２と第1の対応関係１３０８を用いて、次式によりαを算出する：
α = λ(( α1, α2, ... , αW )T) (22)
【００７５】
第1の対応関係１３０８がベクトル量子化のコードブックのときには、入力画像D(0,*,*)と、コードブックに格納されている代表ベクトルとの内積を計算し、符号語jに対する内積の値をαjとする。
【００７６】
ステップＳ１００３では、αの要素に最大値が存在するかどうかを検査し、存在すればステップＳ１００４へ、存在しなければステップＳ１００６へ進む。
【００７７】
ステップＳ１００４では、αの要素のうち最大値を取る要素をkmaxとすると、次式で確率セルオートマトンの状態値の確率分布を更新する：
A(l,gxl,gyl,kmax) = 1, (23)
A(l,gxl,gyl,k) = 0, k ≠ kmax (24)
【００７８】
ステップＳ１００５で、後述する確率分布ベクトルβの値を階層レベルlの注視点に対応するセルの状態値の確率分布として代入する：
A(l,gxl,gyl,*) = β (25)
【００７９】
ステップＳ１００６でmを−MDに設定する。ステップＳ１００７でnを−NDに設定する。
【００８０】
ステップＳ１００８では、次式により、多重解像度画像D(l,gxl+m,gyl+n)の値に対する条件付き確率分布ベクトルdPを算出する：
dP = (dP1, dP2, .. , dPW)T (26)
D(l, gxl+m,gyl+n)が離散値 {1,2,...,N} を取るとき、上式は変換行列Fを用いて次のように書き直せる：
【００８１】
【外９】
【００８２】
ステップＳ１００９で、上記dPを用いてセルの確率分布ベクトルを以下のように修正する：
ANEW(l, gxl+m,gyl+n,*) = λ((ANEW(1), ANEW(2),..., ANEW(W))T),
ANEW(j) = AOLD(l,gxl+m,gyl+n,j) dPj, ∀j∈ { 1,2,...,W} (27)
【００８３】
ステップＳ１０１０でnをn+1に更新する。ステップＳ１０１１でｎがNDを超えているかどうかを検査し、超えていればステップＳ１０１２へ、そうでなければステップＳ１００８へ進む。
【００８４】
ステップＳ１０１２ではmをm+1に更新する。ステップＳ１０１３でmがMDを超えているかどうかを検査し、超えていれば処理を終了し、そうでなければステップＳ１００７へ戻る。
【００８５】
次に、図４のステップＳ３０７で実行される相互情報量の算出処理を、図１４から図１６のフローチャートを参照しながら説明する。また、図１７に、この処理における各データ間の関係を図示する。
【００８６】
まず、ステップＳ１４０１で、確率分布ベクトルβを零ベクトルに初期化する。この確率分布ベクトルβは、例えば図１７の中で、確率セルオートマトンの階層レベル１のセル１７０５に対して、階層レベル２のセル１７０７の状態値の確率分布を表している。
【００８７】
更に、ステップＳ１４０２でmを−dMに初期化する。ここでdM = MB−ＭDである。そして、ステップＳ１４０３でnを−dNに初期化する。ここでdN = NB−NDである。
【００８８】
これらm及びnは、図１７中のセル１７０７を構成する階層レベル１のセルの集合として、１７０４、１７０５、及び１７０６のように、現在の注視点を中心にして、縦横それぞれに沿って1セル分ずつの平行移動を考慮するために設けられた操作である。
【００８９】
ステップＳ１４０４では、セル空間で以下の位置にあるセル、即ち図１７において１７０４、１７０５、或いは１７０６で示されているセル、即ち以下の近傍
【００９０】
【外１０】
【００９１】
ステップＳ１４０５では、セル(l+1, gxl+m,gyl+n)と、その近傍系X(l+1,gxl+m,gyl+n)に属するセル(l,j,k)との間の相互情報量σ(l,j,k)を次式で算出する：
【００９２】
【外１１】
ステップＳ１４０６では、上記相互情報量を用いてＢを更新する：
B(l,j,k) = B(l,j,k) +σ(l,j,k) (31)
【００９４】
ステップＳ１４０７では、(30)式で計算した相互情報量σ(l,j,k) , (l,j,k)∈X(l+1,gxl+m,gyl+n)のうち、零でないものが存在するかどうかを検査し、存在すればステップＳ１４０８へ、そうでなければステップＳ１４１０へ進む。
【００９５】
ステップＳ１４０８では、βをγで更新する：
β = β + γ (32)
【００９６】
ステップＳ１４０９で、Cの値を更新する：
C(l,j,k) = C(l,j,k) + 1, (l,j,k) ∈ X(l+1,m,n) (33)
ステップＳ１４１０では、nをn+1に更新する。ステップＳ１４１１では、nがdNを超えたかどうかを検査し、超えていればステップＳ１４１２へ進み、超えていなければステップＳ１４０４へ戻る。
【００９７】
ステップＳ１４１２では、mをm+1に更新する。ステップＳ１４１３では、mがdMを超えたかどうかを検査し、超えていればステップＳ１４１４へ進み、超えていなければステップＳ１４０３へ戻る。
【００９８】
ステップＳ１４１４では、多重解像度データCを用いて多重解像度データBを更新する：
ステップＳ１４１５では、関数λを用いて確率分布ベクトルβを正規化する。
【０１００】
次に、ステップＳ３１１で実行される注視点座標の更新処理を、図１８に沿って説明する。
【０１０１】
まず、ステップＳ１８０１では、lを１に設定する。
【０１０２】
ステップＳ１８０２では、注視点移動量を計算する。この処理を、図１９のフローチャートに沿って説明する。
【０１０３】
ステップＳ１９０１では、lがLを超えるかどうかを検査し、超えていれば処理を終了し、そうでなければステップＳ１９０２へ進む。
【０１０４】
ステップＳ１９０２では、B(l,〜,〜)のなかに最大値を取る零でない要素が存在するかどうかを検査し、存在すればステップＳ１９０３へ、そうでなければステップＳ１９０７へ進む。
【０１０５】
ステップＳ１９０３では、最大値に対応するインデクスをもとにして注視点位置を変更する。最大値を取る要素の、2次元空間に対応する２つのインデクスをmmax及びnmaxとすると、(17)式によって3進数で記述されている注視点位置のうち、レベルlに対応する要素のみが次式で変更される：
gxl = gxl + mmax, gyl = gyl + nmax, (35)
【０１０６】
ステップＳ１９０４では、lが１かどうかを検査し、１でなければステップＳ１９０５へ進み、１であれば処理を終了する。
【０１０７】
ステップＳ１９０５では、mmax及びnmaxをもとに、階層レベルl-1に属する確率セルオートマトンのセルのセル空間における位置を平行移動させる。即ち、
A(l, m, n, *) = A(l, m-mmax, n-nmax, *) (36)
【０１０８】
ステップＳ１９０６では、(gxl-1 ,gyl-1)を(0,0)にリセットする。
【０１０９】
ステップＳ１９０７は、ステップＳ１９０２においてB(l,〜,〜)の中に最大値を取る零でない要素が存在しなかった場合に実行され、lをl+1に更新する。
【０１１０】
ステップＳ１９０８では、図１８のステップＳ１８０２の注視点移動量の計算を実行する。このように図１９で説明されている処理は再帰的である。
【０１１１】
上記認識処理のソフトウェアによる実現例を図２８から図４１に示す。これらはMATLABという高級言語で書かれている。
【０１１２】
図４１は、このソフトウェアを実行するためのハードウェア構成の一例を示す図である。
【０１１３】
同図において、４１０１は、入力部であり、認識対象となる画像信号を外部から受信するためのインターフェースや、ユーザが命令等を入力するためのキーボードやマウスを備えている。４１０２は、装置各部を制御し、プログラムの処理を実行するＣＰＵである。４１０３は、出力部であり、認識結果を表示あるいは印刷したり、外部装置に対して、認識結果や制御信号を送信する。
【０１１４】
４１０４は、ＲＯＭであり、固定データやプログラムを記憶する。４１０５は、ＲＡＭであり、多重解像度画像や確率オートマトンのセルの状態値の確率分布、量子化コードブックなど、認識処理に必要なデータを記憶するためのワークエリアを有し、補助記憶装置４１０６からロードされるプログラムを記憶するためのプログラムエリアを有する。４１０６は、補助記憶装置であり、フロッピーディスクやハードディスクなどの記憶媒体を用いてプログラムやデータを記憶する。
【０１１５】
図２８から図３６はsaccade6(・)という名称の主プログラムであり、与えられた2次元デジタル画像を認識する機能を持つ。確率オートマトンの構造そのものは予め与えられている。セル空間の構造は図８、多重解像度部分画像は図９に示すとおりである。
【０１１６】
図２０はコードブック及びセル間の状態値の対応表を示している。
【０１１７】
同図において、縦横３個のマスで書かれているのが代表ベクトル、或いはセルの状態値の空間的配置、その下に書かれている番号が、それぞれ代表ベクトルに対応する符号語、或いは対応するセルの状態値である。
【０１１８】
図１３の１３１０で示されるコードブックが、図２０の２から９までの番号を割り当てられている縦横３画素のパターンに対応する。また図１７の１７０７で示されているセル間の写像は、図２０の１０から１５の番号が割り当てられているパターンに対応する。
【０１１９】
図２１は、図２０で番号１０から１３が割り当てられている状態ベクトルを2次元画像として表現したものである。また図２２は同様に１４と１５が割り当てられている状態ベクトルを2次元画像として表現したものである。
【０１２０】
図３７から図３８にはsaccade6(・)で呼び出されているサブルーチン、mutinf(・)である。mutinf(・)は相互情報量を計算するプログラムである。
【０１２１】
図３９に示されているextract2(・)と図４０に示されているsubsampl(・)は、入力画像から多重解像度部分画像を抽出するサブルーチンである。
【０１２２】
図２２の状態ベクトル１５を入力画像とし、画像の左上の画素の座標を(1,1)として縦の座標系を下方向に、横の座標系を右方向に取って、注視点を(2,2)で初期化してsaccade6(・)を実行すると、図２３に示すように、注視点の位置は(2,2)から(20,20)へ移動して停止する。
【０１２３】
これら注視点に対して、状態値１４及び１５に対する確率Pr(14)及びPr(15)は、注視点(2,2)のときにはPr(14)=0.5,、Pr(15)=0.5であり、注視点が(20,20)に移動すると、Pr(14)=0.0058、Pr(15)=0.9942となる。このように、一度の注視点移動で認識が完了したことになる。
【０１２４】
本実施形態による注視点移動方式のかわりに画像の特徴量のみに基づく方式を用いたとすれば、少なくとも１０回の注視点移動が必要となる。
【０１２５】
図２のステップＳ２０５で実行される学習処理について、図２４、図２５及び図２６に沿って説明する。図２４に示すように、学習処理はステップＳ２４０１の符号化処理とステップＳ２４０２の対応付け処理の2段階より構成される。
【０１２６】
図２５は符号化処理の流れ図である。
【０１２７】
まず、ステップＳ２５０１では入力画像Iを多重解像度画像に変換する。ただし入力画像Iの縦横の画素数は、３の(L+1)乗であるとする。
【０１２８】
ステップＳ２５０２では、lを０に設定する。
【０１２９】
ステップＳ２５０３では、多重解像度画像のうちの解像度レベルlの画像を部分画像に分割する。本実施例では、縦横３画素で互いに重なり合わない部分画像に分割する。
【０１３０】
以下、部分画像を、行列の表記に従い、2次元のインデクス(m,n)で表現する。
【０１３１】
ステップＳ２５０４では、nを１に設定する。ステップＳ２５０５では、mを１に設定する。
【０１３２】
ステップＳ２５０６では、部分画像(m,n)がベクトル量子化のコードブックに代表ベクトルとして登録されているかどうかを検査し、登録されていればステップＳ２５０８へ、未登録ならばステップＳ２５０７へ進む。
【０１３３】
ステップＳ２５０７では、上記部分画像に適当な符号語を割り当ててコードブックに登録する。
【０１３４】
ステップＳ２５０８では、それぞれの部分画像を、対応する符号語で置き換える。この置き換え操作によって部分画像の画素数は、縦横それぞれ1/3に縮小する。
【０１３５】
ステップＳ２５０９では、mをm+1に更新する。ステップＳ２５１０では、mが３を超えているかどうかを検査し、超えていればステップＳ２７１１へ、そうでなければステップＳ２５０６へ進む。
【０１３６】
ステップＳ２５１１では、nをn+1に更新する。ステップＳ２５１２では、nが３を超えているかどうかを検査し、超えていればステップＳ２５１３へ、そうでなければステップＳ２５０５へ進む。
【０１３７】
ステップＳ２５１３では、lをl+1に更新する。ステップＳ２５１４では、lがLを超えていないかを検査し、超えていれば終了し、そうでなければステップＳ２５０３へ戻る。
【０１３８】
以上の処理によって、多重解像度画像は、各解像度レベルでの画素数が縦横それぞれ1/3に縮小された多重解像度符号語データに変換される。
【０１３９】
また、コードブックに登録されていない代表ベクトルを登録することによって、新しいデータに対応することができる。
【０１４０】
上記処理で得られるコードブックは、前述した本実施形態の認識処理において利用される。
【０１４１】
図２６は、上記多重解像度符号語データを用いて、レベル間の対応関係の抽出と登録を行う処理のフローチャートである。
【０１４２】
以下、多重解像度符号語データを解像度レベルl、2次元離散座標(m,n)の３つのインデクスを用いて、Y(l,m,n)で表現する。
【０１４３】
ステップＳ２６０１では、lを１に設定する。ステップＳ２６０２では、nを１に設定する。ステップＳ２６０３では、mを１に設定する。
【０１４４】
ステップＳ２６０４では、符号語Y(l,m,n)と、以下の符号語の組：
{Y(l-1,3m-1,3n-1), Y(l-1,3m-1,3n), Y(l-1,3m-1,3n+1)
Y(l-1,3m,3n-1), Y(l-1,3m,3n), Y(l-1,3m,3n+1) Y(l-1,3m+1,3n-1), Y(l-1,3m+1,3n), Y(l-1,3m+1,3n+1)}との対応関係を抽出する。
【０１４５】
ステップＳ２６０５では、上記対応関係が、コードブック或いは対応表に登録されているかどうかを検査し、登録されていればステップＳ２６０７へ、そうでなければステップＳ２６０６へ進む。
【０１４６】
ステップＳ２６０６では、対応表に、上記対応関係を登録する。
【０１４７】
ステップＳ２６０７では、mをm+1に更新する。ステップＳ２６０８では、mが３を超えているかどうかを検査し、超えていればステップＳ２６０９へ、そうでなければステップＳ２６０４へ進む。
【０１４８】
ステップＳ２６０９では、nをn+1に更新する。ステップＳ２６１０では、nが３を超えているかどうかを検査し、超えていればステップＳ２６１１へ、そうでなければステップＳ２６０３へ進む。
【０１４９】
ステップＳ２６１１では、lをl+1に更新する。ステップＳ２６１２では、lがLを超えていないかを検査し、超えていれば終了し、そうでなければステップＳ２６０２へ戻る。
【０１５０】
上記処理によって得られる対応表は、前述した本実施形態の認識処理において利用される。
【０１５１】
（実施形態２）
図２７に実施形態２の構成図を示す。
【０１５２】
実施形態２は、監視システム、ロボットの画像入力システム等への本発明の応用例であり、図中、２７０１は信号処理装置、２７０２は記憶装置、２７０３は出力装置、２７０４は光学系、２７０５は２次元アレイセンサ、２７０６は第１の筐体、２７０７は第２の筐体、２７０８は移動装置である。
【０１５３】
信号処理装置２７０１は、光学系２７０４を経て、２次元アレイセンサ２７０５でサンプリングされた入力信号を受信し、記憶装置２７０２に格納されたデータを用いて入力信号を処理し、所望の出力を出力装置２７０３へ送信し、光学系２７０４の入力パラメタ(光軸の方位や位置など)を制御するための信号を移動装置２７０８に送信する。
【０１５４】
実施形態２で想定している応用例では、入力すべき画像が入力システムのどの方向に存在するかは、予め与えられていない。従って、システムが遂行すべきタスクに必要な情報が存在する方位を推定し、その方向に入力装置の光軸を一致させ、その情報を取得するために必要な解像度で撮像するように、入力パラメタを制御することが要求される。
【０１５５】
また、撮像系に対しては、高解像度で信号を取得し、更に広範囲な領域をも見渡せることが要求される。限られたセンサ数で、この相反する仕様を満足するために、撮像系の空間解像度は非一様とする。実施形態１で説明した多重解像度部分画像Dは、このような非一様サンプリングによって得られる入力画像の１例である。
【０１５６】
実施形態2は、このような入力装置を想定するものである。
【０１５７】
＜光学系２７０４＞
光学系２７０４は、外部から入射してくる光線を屈折させて、後述の2次元アレイセンサ２７０５上に結像させるためのものである。高解像度と広範囲を両立させるレンズとして、例えば魚眼レンズがある。魚眼レンズは、その写像関数によって4種類に分類される。
【０１５８】
＜2次元アレイセンサ２７０５＞
2次元アレイセンサ２７０５は、前記光学系２７０４によって結像した画像を2次元デジタル画像としてサンプリングする。ここで、2次元デジタル画像とは、2次元空間座標を離散化し、更にそれぞれのサンプリング点での画素値を量子化したものをいう。
【０１５９】
光学系２７０４として魚眼レンズを採用し、その像を2次元アレイセンサでサンプリングして得られたデジタル画像は、擬似的に多重解像度部分画像になる。そこで、以下の説明では、このデジタル画像を実施形態１での記述と同様にDと書く。Dは解像度レベルl、2次元離散空間座標(m,n)の３つのインデクスで画素位置を表す。例えば解像度レベルl、2次元離散空間座標(m,n)に位置する画素値はD(l,m,n)と書く。
【０１６０】
＜第1の筐体２７０６＞
第1の筐体２７０６は前記光学系２７０４と前記2次元アレイセンサ２７０５とを固定する。
【０１６１】
<第2の筐体２７０７＞
第2の筐体２７０７は、後述の移動装置２７０８を介して、第1の筐体２７０６を支持するものである。
【０１６２】
＜移動装置２７０８＞
移動装置２７０８は、第1の筐体２７０６を、第2の筐体２７０７に対して2次元的に相対移動させるものである。2次元移動量は、後述の信号処理装置２７０１からの制御信号で制御される。
【０１６３】
＜記憶装置２７０２＞
記憶装置２７０２は、後述する信号処理装置２７０１の処理に利用される信号を記憶しておく装置であり、信号処理装置２７０１によって信号が書き込まれ、或いは読み出される。
【０１６４】
＜出力装置２７０３＞
出力装置２７０３は、後述する信号処理装置２７０１からの出力を表示或いは印刷するものである。
【０１６５】
＜原稿置き台２７０９＞
原稿置き台２７０９は、後述する信号処理装置２７０１で認識する画像或いはパターンが描かれている原稿２７１０を支持するための台である。原稿に描かれている画像或いはパターンが、原稿置き台２７０９を通して光学系に入力される配置になっているときには、原稿置き台２７０９は透明でなければならない。
【０１６６】
＜原稿２７１０＞
後述する信号処理装置２７０１で認識される対象となる画像或いはパターンが描かれている原稿である。
【０１６７】
＜信号処理装置２７０１＞
信号処理装置２７０１は、2次元アレイセンサ２７０５から送信されてきたデジタル画像を認識する装置であり、認識処理を実行するために記憶装置２７０２に格納された信号を読み出し、或いは信号を書き込み、また移動装置２７０８に2次元移動量を制御するための制御信号を送信する。また認識結果や、何らかのエラーが発生した場合のメッセージを出力装置２７０３に出力する。
【０１６８】
信号処理装置２７０１の処理は、実施形態１で説明した全ての処理を含み、実施形態１の説明文中の注視点位置が、実施形態２における光学系の光軸に相当する。また、実施形態１の説明文中の入力画像Iは、実施形態２における原稿２７１０に相当する。
【０１６９】
【発明の効果】
以上説明したように、本発明によれば、非一様サンプリングによりサンプリングした信号を用いてパターン認識を行なう際に、パターンをより正確に認識するために、サンプリング位置を高速に修正することができる。
【０１７０】
また、本発明によれば、認識対象パターンの存在する方位が不明な場合でも、パターンを高速に捕捉することができるので、移動物体に設置するために好適なパターン認識装置を容易に構成することができる。
【０１７１】
また、本発明によれば、従来の装置に比べて、比較にならないほど少ないセンサ数で構成されたアレイセンサで、パターン認識処理が達成できる。例えば、実施形態１で説明した例では、従来方式で３2L個のセンサが必要なのに対して、実施形態１では、(３L)2個のセンサで十分である。
【図面の簡単な説明】
【図１】実施形態１のパターン認識装置のブロック構成図である。
【図２】信号処理装置の処理のフローチャートである。
【図３】認識処理のフローチャートである。
【図４】認識処理のフローチャートである。
【図５】多重解像度部分画像の抽出処理のフローチャートである。
【図６】解像度レベルlの画像の抽出処理のフローチャートである。
【図７】解像度レベルlの画像の抽出処理のフローチャートである。
【図８】確率セルオートマトンのセル空間の説明図である。
【図９】多重解像度部分画像の説明図である。
【図１０】確率分布の更新処理のフローチャートである。
【図１１】確率分布の更新処理のフローチャートである。
【図１２】確率分布の更新処理のフローチャートである。
【図１３】確率分布の更新処理の説明図である。
【図１４】相互情報量の算出処理のフローチャートである。
【図１５】相互情報量の算出処理のフローチャートである。
【図１６】相互情報量の算出処理のフローチャートである。
【図１７】相互情報量の算出処理におけるデータ間の関係を示す図である。
【図１８】注視点座標の更新処理のフローチャートである。
【図１９】注視点移動の計算処理のフローチャートである。
【図２０】符号化処理のコードブック及びセルの状態間の写像関係の例を示す図である。
【図２１】代表ベクトルに対する２次元画像である。
【図２２】代表ベクトルに対する２次元画像である。
【図２３】注視点移動を示した図である。
【図２４】コードブックやセル間写像の学習のフローチャートである。
【図２５】符号化処理のフローチャートである。
【図２６】対応づけ処理のフローチャートである。
【図２７】実施形態２のブロック構成図である。
【図２８】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図２９】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３０】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３１】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３２】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３３】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３４】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３５】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３６】２次元デジタル画像認識処理ソフトウェアの主プログラムを表わす図である。
【図３７】相互情報量を計算するプログラムを表わす図である。
【図３８】相互情報量を計算するプログラムを表わす図である。
【図３９】多重解像度部分画像を抽出するプログラムを表わす図である。
【図４０】多重解像度部分画像を抽出するプログラムを表わす図である。
【図４１】ハードウエア構成の例を示す図である。
【符号の説明】
１０１ 入出力装置
１０２、２７０１ 信号処理装置
１０３、２７０２ 記憶装置
２７０３ 出力装置
２７０４ 光学系
２７０５ ２次元アレイセンサ
２７０６ 第１の筐体
２７０７ 第２の筐体
２７０８ 移動装置
２７０９ 原稿置き台
２７１０ 原稿
４１０１ 入力部
４１０２ ＣＰＵ
４１０３ 出力部
４１０４ ＲＯＭ
４１０５ ＲＡＭ
４１０６ 補助記憶装置
Claims (17)
- 認識対象のパターンを表わす２次元画像信号を入力する入力手段と、
該入力手段より入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング手段と、
該サンプリング手段のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出手段と、
該確率分布算出手段により算出された確率分布に基づいて、前記２次元画像信号の表わすパターンを認識する認識手段と、
前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出手段と、
前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更手段とを有することを特徴とするパターン認識装置。 - 前記サンプリング手段は、前記多重解像度画像の各解像度の各画素の値を、各解像度に対応した大きさの範囲の入力画像を用いて算出することを特徴とする請求項１に記載のパターン認識装置。
- 前記サンプリング手段において、前記範囲の大きさを高解像度ほど大きな範囲とすることを特徴とする請求項２に記載のパターン認識装置。
- 前記確率分布算出手段は、前記確率セルオートマトンにおける注目するセルの状態値の確率分布を、該注目するセルより低解像度の近傍のセルの状態値の確率分布に基づいて算出することを特徴とする請求項１に記載のパターン認識装置。
- 複数のセルの状態値の空間的配置に符号語を対応づけたコードブックを記憶するコードブック記憶手段を具え、当該コードブックを参照して前記認識手段がパターンを認識することを特徴とする請求項１に記載のパターン認識装置。
- 前記コードブック記憶手段に対して、複数のセルの状態値の空間的配置に符号語を割り当てて登録する学習手段を備えることを特徴とする請求項５に記載のパターン認識装置。
- 注目するセルの状態値の確率分布のエントロピーを算出するエントロピー算出手段を備え、
該エントロピー算出手段により算出されたエントロピーが所定の条件を満たした場合に前記認識手段による処理を実行することを特徴とする請求項１に記載のパターン認識装置。 - 前記入力手段が画像信号を光学的に入力する光学的入力手段を備え、前記変更手段が当該光学的入力手段の光軸を移動させる移動手段を備えることを特徴とする請求項１に記載のパターン認識装置。
- 認識対象のパターンを表わす２次元画像信号を入力する入力工程と、
該入力工程により入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング工程と、
該サンプリング工程のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出工程と、
該確率分布算出工程により算出された確率分布に基づいて、前記第１の信号の表わすパターンを認識する認識工程と、
前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出工程と、
前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更工程とを有することを特徴とするパターン認識方法。 - 前記サンプリング工程は、前記多重解像度画像の各解像度の各画素の値を、各解像度に対応した大きさの範囲の入力画像を用いて算出することを特徴とする請求項９に記載のパターン認識方法。
- 前記サンプリング工程において、前記範囲の大きさを高解像度ほど大きな範囲とすることを特徴とする請求項９に記載のパターン認識方法。
- 前記確率分布算出工程では、前記確率セルオートマトンにおける注目するセルの状態値の確率分布を、該注目するセルより低解像度の近傍のセルの状態値の確率分布に基づいて算出することを特徴とする請求項９に記載のパターン認識方法。
- 前記認識工程では、複数のセルの状態値の空間的配置に符号語を対応づけたコードブックメモリを参照して、パターンを認識することを特徴とする請求項９に記載のパターン認識方法。
- 前記コードブックメモリに対して、複数のセルの状態値の空間的配置に符号語を割り当てて登録する学習工程を備えることを特徴とする請求項１３に記載のパターン認識方法。
- 注目するセルの状態値の確率分布のエントロピーを算出するエントロピー算出工程を備え、
該エントロピー算出工程により算出されたエントロピーが所定の条件を満たした場合に前記同定工程の処理を実行することを特徴とする請求項９に記載のパターン認識方法。 - 前記入力工程では、光学的入力部を用いて画像信号を光学的に入力し、前記変更工程が当該光学的入力部の光軸を移動させる移動工程を備えることを特徴とする請求項９に記載のパターン認識方法。
- コンピュータに、
認識対象のパターンを表わす２次元画像信号を入力する入力手順と、
該入力工程により入力された２次元画像信号を非一様にサンプリングして、ある注視点近傍の多重解像度画像を抽出するサンプリング手順と、
該サンプリング工程のサンプリングによって得られた多重解像度画像に対応する確率セルオートマトンにおいて、各セルの状態値の確率分布を算出する確率分布算出手順と、
該確率分布算出手順により算出された確率分布に基づいて、前記第１の信号の表わすパターンを認識する認識手順と、
前記多重解像度画像に対応する確率セルオートマトンにおいて、注目する解像度レベルのセルの状態値の確率分布と該注目する解像度レベルより上位レベルのセルの状態値の確率分布との相互情報量を算出する相互情報量算出手順と、
前記相互情報量の最大値を与えるセルの位置に基づいて前記注視点の位置を変更する変更手順とを実行させるためのパターン認識プログラムを記録したコンピュータ読み取り可能な記憶媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25874396A JP3890099B2 (ja) | 1996-09-30 | 1996-09-30 | パターン認識装置及びその方法、及びそのプログラムを記憶した記憶媒体 |
| US08/938,789 US6198847B1 (en) | 1996-09-30 | 1997-09-26 | Apparatus and method for recognizing a nonuniformly sampled pattern |
| DE69720630T DE69720630T2 (de) | 1996-09-30 | 1997-09-29 | Gerät und Verfahren zur Erkennung eines ungleichmässig abgetasten Musters |
| CA002216883A CA2216883C (en) | 1996-09-30 | 1997-09-29 | Apparatus and method for recognizing a nonuniformly sampled pattern |
| EP97307628A EP0833275B1 (en) | 1996-09-30 | 1997-09-29 | Apparatus and method for recognizing a nonuniformly sampled pattern |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25874396A JP3890099B2 (ja) | 1996-09-30 | 1996-09-30 | パターン認識装置及びその方法、及びそのプログラムを記憶した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10105208A JPH10105208A (ja) | 1998-04-24 |
| JP3890099B2 true JP3890099B2 (ja) | 2007-03-07 |
Family
ID=17324474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25874396A Expired - Fee Related JP3890099B2 (ja) | 1996-09-30 | 1996-09-30 | パターン認識装置及びその方法、及びそのプログラムを記憶した記憶媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6198847B1 (ja) |
| EP (1) | EP0833275B1 (ja) |
| JP (1) | JP3890099B2 (ja) |
| CA (1) | CA2216883C (ja) |
| DE (1) | DE69720630T2 (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6750848B1 (en) * | 1998-11-09 | 2004-06-15 | Timothy R. Pryor | More useful man machine interfaces and applications |
| US9006175B2 (en) | 1999-06-29 | 2015-04-14 | Mannkind Corporation | Potentiation of glucose elimination |
| US20030067476A1 (en) * | 2001-10-04 | 2003-04-10 | Eastman Kodak Company | Method and system for displaying an image |
| EP1494732B1 (en) * | 2002-03-20 | 2008-01-30 | MannKind Corporation | Inhalation apparatus |
| JP4612280B2 (ja) | 2003-02-25 | 2011-01-12 | 本田技研工業株式会社 | 自動作業装置及び自動作業装置制御プログラム |
| CN1930587B (zh) * | 2004-03-15 | 2011-05-25 | 皇家飞利浦电子股份有限公司 | 图像可视化 |
| DK1786784T3 (da) | 2004-08-20 | 2011-02-14 | Mannkind Corp | Katalyse af diketopiperazinsyntese |
| PL2322180T3 (pl) | 2004-08-23 | 2015-10-30 | Mannkind Corp | Sole diketopiperazyny do dostarczania leków |
| CN104324366B (zh) | 2005-09-14 | 2016-10-05 | 曼金德公司 | 以提高活性试剂对结晶微粒表面的亲和力为基础的药物配制方法 |
| MX360812B (es) | 2006-02-22 | 2018-11-16 | Mannkind Corp | Un método para mejorar las propiedades farmacéuticas de micropartículas que contienen dicetopiperazina y un agente activo. |
| US7873220B2 (en) * | 2007-01-03 | 2011-01-18 | Collins Dennis G | Algorithm to measure symmetry and positional entropy of a data set |
| JP4516592B2 (ja) * | 2007-12-06 | 2010-08-04 | 本田技研工業株式会社 | 移動型ロボット |
| DE202009018480U1 (de) | 2008-06-13 | 2012-01-26 | Mannkind Corp. | Trockenpulverinhalator und System zur Medikamentenabgabe |
| US8485180B2 (en) | 2008-06-13 | 2013-07-16 | Mannkind Corporation | Dry powder drug delivery system |
| MX2010014240A (es) | 2008-06-20 | 2011-03-25 | Mankind Corp | Un metodo y aparato interactivo para perfilar en tiempo real esfuerzos de inhalacion. |
| TWI532497B (zh) | 2008-08-11 | 2016-05-11 | 曼凱公司 | 超快起作用胰島素之用途 |
| US8314106B2 (en) | 2008-12-29 | 2012-11-20 | Mannkind Corporation | Substituted diketopiperazine analogs for use as drug delivery agents |
| US8538707B2 (en) | 2009-03-11 | 2013-09-17 | Mannkind Corporation | Apparatus, system and method for measuring resistance of an inhaler |
| KR101875969B1 (ko) | 2009-06-12 | 2018-07-06 | 맨카인드 코포레이션 | 한정된 비표면적을 갖는 디케토피페라진 마이크로입자 |
| CA2778698A1 (en) | 2009-11-03 | 2011-05-12 | Mannkind Corporation | An apparatus and method for simulating inhalation efforts |
| RU2571331C1 (ru) | 2010-06-21 | 2015-12-20 | Маннкайнд Корпорейшн | Системы и способы доставки сухих порошковых лекарств |
| BR122020008875B8 (pt) | 2011-04-01 | 2022-12-06 | Mannkind Corp | Embalagem de bolha e método de fabricação de uma embalagem de bolhas |
| WO2012174472A1 (en) | 2011-06-17 | 2012-12-20 | Mannkind Corporation | High capacity diketopiperazine microparticles |
| CA2852536A1 (en) | 2011-10-24 | 2013-05-02 | Mannkind Corporation | Methods and compositions for treating pain |
| KR102264177B1 (ko) | 2012-07-12 | 2021-06-11 | 맨카인드 코포레이션 | 건조 분말 약물 전달 시스템 및 방법 |
| US10159644B2 (en) | 2012-10-26 | 2018-12-25 | Mannkind Corporation | Inhalable vaccine compositions and methods |
| BR112015023168B1 (pt) | 2013-03-15 | 2021-08-10 | Mannkind Corporation | Composição de 3,6-bis(n-fumaril-4-aminobutil)-2,5-dicetopiperazina cristalina, método de produção de partículas de 3,6-bis(n-fumaril-4-aminobutil)-2,5-dicetopiperazina e uso de uma composição de dicetopiperazina cristalina |
| CN114848614A (zh) | 2013-07-18 | 2022-08-05 | 曼金德公司 | 热稳定性干粉药物组合物和方法 |
| EP3030294B1 (en) | 2013-08-05 | 2020-10-07 | MannKind Corporation | Insufflation apparatus |
| US10307464B2 (en) | 2014-03-28 | 2019-06-04 | Mannkind Corporation | Use of ultrarapid acting insulin |
| US10561806B2 (en) | 2014-10-02 | 2020-02-18 | Mannkind Corporation | Mouthpiece cover for an inhaler |
| US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
| US11055590B2 (en) * | 2019-09-17 | 2021-07-06 | International Business Machines Corporation | Multiresolution optical code |
| CN114675380A (zh) * | 2021-12-23 | 2022-06-28 | 国网江西省电力有限公司信息通信分公司 | 一种能信共传光纤的激光供能方法及其系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
| US5555102A (en) * | 1995-01-30 | 1996-09-10 | Apple Computer, Inc. | System and method for generating images with improved visual quality using local correlation, ordered dither |
| US5649021A (en) * | 1995-06-07 | 1997-07-15 | David Sarnoff Research Center, Inc. | Method and system for object detection for instrument control |
-
1996
- 1996-09-30 JP JP25874396A patent/JP3890099B2/ja not_active Expired - Fee Related
-
1997
- 1997-09-26 US US08/938,789 patent/US6198847B1/en not_active Expired - Lifetime
- 1997-09-29 CA CA002216883A patent/CA2216883C/en not_active Expired - Fee Related
- 1997-09-29 DE DE69720630T patent/DE69720630T2/de not_active Expired - Lifetime
- 1997-09-29 EP EP97307628A patent/EP0833275B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69720630D1 (de) | 2003-05-15 |
| JPH10105208A (ja) | 1998-04-24 |
| EP0833275B1 (en) | 2003-04-09 |
| DE69720630T2 (de) | 2003-11-27 |
| EP0833275A2 (en) | 1998-04-01 |
| US6198847B1 (en) | 2001-03-06 |
| CA2216883C (en) | 2001-11-27 |
| EP0833275A3 (en) | 1998-04-08 |
| CA2216883A1 (en) | 1998-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3890099B2 (ja) | パターン認識装置及びその方法、及びそのプログラムを記憶した記憶媒体 | |
| EP3340106B1 (en) | Method and system for assigning particular classes of interest within measurement data | |
| CN108009559B (zh) | 一种基于空谱联合信息的高光谱数据分类方法 | |
| US8780195B1 (en) | Fusion of multi-sensor information with operator-learned behavior for automatic and efficient recognition of objects and control of remote vehicles | |
| Yu et al. | Vehicle detection from high-resolution remote sensing imagery using convolutional capsule networks | |
| CN113435253B (zh) | 一种多源影像联合城区地表覆盖分类方法 | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN111833353B (zh) | 一种基于图像分割的高光谱目标检测方法 | |
| JPH05290221A (ja) | オンライン手書文字認識装置 | |
| CN113705331A (zh) | 一种基于四元特征金字塔网络的sar船只检测方法 | |
| CN113139979A (zh) | 一种基于深度学习的边缘识别方法 | |
| US6151414A (en) | Method for signal encoding and feature extraction | |
| CN111242228A (zh) | 高光谱图像分类方法、装置、设备及存储介质 | |
| CN111291712B (zh) | 基于插值的cn和胶囊网络的森林火灾识别方法及装置 | |
| CN116561536B (zh) | 一种滑坡隐患的识别方法、终端设备及介质 | |
| CN116663388A (zh) | 粮堆温度预测方法、装置、设备及存储介质 | |
| CN114445716B (zh) | 关键点检测方法、装置、计算机设备、介质及程序产品 | |
| CN115856874A (zh) | 毫米波雷达点云降噪方法、装置、设备及存储介质 | |
| CN115984886A (zh) | 表格信息抽取方法、装置、设备及存储介质 | |
| CN108629733B (zh) | 获取高分辨率图像的方法与装置 | |
| Hui et al. | Robust deflated canonical correlation analysis via feature factoring for multi-view image classification | |
| CN114862952A (zh) | 无人机检测与防御方法及系统 | |
| CN114140664A (zh) | 图像处理模型的训练方法、图像相似度确定方法和装置 | |
| JP7077998B2 (ja) | 情報処理装置 | |
| CN112883898A (zh) | 一种基于sar影像的地物分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131208 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |