JP3847832B2 - 画像情報処理方法及びその装置、並びにその制御方法 - Google Patents
画像情報処理方法及びその装置、並びにその制御方法 Download PDFInfo
- Publication number
- JP3847832B2 JP3847832B2 JP07876396A JP7876396A JP3847832B2 JP 3847832 B2 JP3847832 B2 JP 3847832B2 JP 07876396 A JP07876396 A JP 07876396A JP 7876396 A JP7876396 A JP 7876396A JP 3847832 B2 JP3847832 B2 JP 3847832B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- input
- unit
- optical axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、視覚情報を適切に処理し、例えば、入力装置、画像符号化復号装置、画像認識装置、画像復元装置、監視装置、自律走行車、あるいは自律作業ロボットへの応用が考えられる画像情報処理方法及びその装置、並びのその制御方法に関するものである。
【０００２】
【従来の技術】
生物は、自分を取り巻く環境を、有限個の処理装置で必要なだけ正確に認識し、それに対処する機能を持っている。環境を認識するために必要とされる信号のダイナミックレンジは、あらゆる状況を想定すると非常に広い。例として視覚情報を考えてみると、生物が有する視覚センサは勿論有限個であるが、環境は全方位に広がる。従って、移動手段を持たない生物が自分を取り巻く環境を認識するためには、全方位について必要なだけの解像度で信号を入力しなければならない。しかし、生物が移動手段、即ちセンサにおける観測パラメータを変更するための手段を有するなら、生物の視覚認識系への負荷は遥かに軽くなる。何故なら、認識するために重要と思われる場所だけを認識に十分な解像度で入力し、そうでない場合は入力しなくてもいいからである。
【０００３】
従来の画像入力装置は、ＣＣＤカメラやスキャナ等に見られるように、対象とする画像を均一にサンプリングするものであった。このような画像入力装置から得られるのは、ある解像度で得られた有限な領域の画像データである。画像を環境の視覚情報の一部と考えると、このようにして得られた２次元の画像から３次元の視覚情報を推定するというのが、視覚情報処理の本質的問題である。このような問題に対して、以下の２種類のアプローチが取られている。
【０００４】
まず、１９８０年代に盛んに行われた生物の視覚系に対する研究のうち、数理モデルによる研究の殆どは、Marrのアイデア(D. Marr: "Vision" W.H.Freeman and Co.NY(1982)) に端を発するといっても過言ではない。これらの研究は視覚の計算論と呼ばれ、正則化理論からMarkov確率場、ライン過程、そして繰り込み変換群の応用と、統計物理学のアイデアにより研究を発展させてきている。しかし、これらの議論では、視覚情報は有限個の画像データとして既に与えられるものだけを対象とし、それら２次元の画像集合から３次元の構造を推定することを取り扱う。これは、例えば写真や絵を見て、その３次元世界を推定することに対応する。手持ちの情報だけで３次元の構造を推定しようとすると、一般に、問題は解が不定となるという意味で不良設定となってしまうので、彼らは知識を利用することで対処している。
【０００５】
一方、視覚入力系そのものを制御することによって認識に十分な情報を用意し、そのうえで環境を認識しようという方法論が、同時期に提案された。Ballard によるAnimate Visionである(D.H. Ballard: "Behavioural constraints on animate vision",image and vision computing, Vol.7, No.1, pp.3-9 (1989))。この方法論は、最初に入力された視覚情報に存在する不良設定性を、別の観測パラメータによる入力データで解消しようというものである。観測パラメータとしては、光学系の光軸方向やズーミング等があるが、この技術で最も重要なことは、“次に何を探すのか”“次にどこを観測するのか”を決定すること、即ち観測パラメータの制御方法である。
【０００６】
１．Ballard らによる方法(D.H. Ballard and C.M. Brown: "Principles of Animate Vision",CVGIP: IMAGE UNDERSTANDING,Vol.156, No.1, pp.3-21 (Aug.1992))
Ballard らが構築した視覚環境認識システムでは、画像入力装置は、高解像度で光軸付近の狭い領域をサンプリングする中心窩観察(foveal vision) と、低解像度で光軸から離れた広い領域をサンプリングする周辺観察(peripheral vision) との、２種類の画像入力形態を備えている。物体は、foeval vision で捕えられれば必ず認識できるとしている。知識データを、IS-A木やpart-of 木等の木構造で表現し、オブジェクト間の関係に確率構造を導入した。この木構造と確率構造とに基づいて、ある動作を遂行したときに得られる情報量とそれに費やされるエネルギーとで動作の有効関数(utility function)を定義し、このutility functionを用いて、次の動作を決定するという戦略を採用している。このような戦略によって、ある環境をより短時間で認識することができる。
【０００７】
２．上記Ballard らのシステムでは、次に探したい物体を直接探索するという方式を採っていた。Wixsonらは、目的とする物体を探索するための観測点制御法として、間接探索法を提案している(L.E. Wixon and DH. Ballard: "Using intermediate objects to improve the efficiency of visual search",Int'l. J. Computer Vision, 12:2/3 ,pp.209-230(1994)) 。間接探索法では、観測によって同定した物体と目的とする物体との間の空間的位置関係によって探索を行なう。例えば、目的とする物体がコーヒーカップで、同定した物体が机，椅子，黒板だとすると、コーヒーカップと最も空間的位置関係が強い机が存在する位置を、更に高解像度で観測するように入力系が制御される。
【０００８】
また、Brooks等のシステム(R.A. Brooks: "New Approaches to Robotics",Science,Vol.25,pp.1227-1232(1991)) は、センサ入力とアクチュエータ出力とを結ぶいくつもの基本的処理プログラムを備えている。谷等は、時系列信号ベクトルとしてのセンサ入力に存在する規則を学習によって獲得し、その規則を行動計画に利用するシステムを提案している（特開平６−２７４２２４号）。この方法によれば、未知の環境に適応するシステムを構築することができる。また、複数の可能な行動が存在する場合でも、その中からひとつを選択するようなメカニズムを提供している。
【０００９】
以上、従来の代表的な理論を紹介したが、その他にも以下のような提案がある。
【００１０】
R. Rimey and C.M. Brown: "Task-Oriented Vision with Multiple Bayes Nets", in "Active Vision", A. Blake and A. Yuille(Eds.) MIT press(1992)
S. Geman and D. Geman: "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Image", IEEE Trans. on Pattern Anal. Machine Intell., Vol.6, No.6,pp721-741(Nov.1984)
B. Gidas: "A Renormalization Group Approach to Image Processing Problems", IEEE Trans. on Pattern Anal. Machine Intell., Vol.11, No.2, pp.164-180(Feb.1989)
Kawato and Inui: "Computational Theory of the Visual Cortical Areas", IEICE Trans., Vol.J73-D-II, No.8,pp.1111-1121(Aug.1990)
D.V. Lindley: "On a measure of the infomation providedby an experiment", Ann. Math. Stat.,vol.27,pp.986-1005(1956)
K.J. Bradshaw, P.F. McLauchlan, I.D. Reid and D.W. Murray: "Saccade and pursuit on an active head/eye platform", Image and Vision Computing,Vol.12, no.3, pp.155-163 (Apr.1994)
J.G. Lee and H. Chung: "Global path planning for mobile robot with grid-type world model", Robotics and Computer-Integrated Manufacturing, Vol.11,no.1,pp.13-21(1994)
【００１１】
【発明が解決しようとしている課題】
しかしながら、上記のような計算理論の多くは、与えられた画像（の組）だけから得られる情報を議論しているため、得られる結果はあくまで推定値である。また観測者中心座標系を用いて世界を記述しているので、移動物体等の扱いが複雑である。
【００１２】
一方、Animate Visionでは、物体中心座標系を用いて世界を記述しているので、移動物体等の扱いは比較的簡単になるが、その際に最も重要となる観測点制御には、以下のいくつかの問題点が存在する。
【００１３】
１．知識を構成する物体の最小単位の認識方法を議論していない。即ち、これら最小単位の認識は容易であることを前提として議論を展開している。
【００１４】
２．知識は知識エンジニアによって記述されるとしている。即ち、人間が知らない環境に対する知識は与えられない。
【００１５】
又、特開平６−２７４２２４号等のシステムでは、知識は学習によって獲得されるが、入出力データやニューラルネットの構造が一般的であるので、知識の階層構造が得られるという保証はないし、知識の 階層構造を獲得する能力がニューラルネットにあったとしても、膨大な時間を要することが予想される。
【００１６】
そこで、本発明は、高速に必要な画像情報を獲得できる画像情報処理方法と装置を提供することを目的とする。
【００１７】
また、本発明は、画像情報処理方法及びその装置を有効に適用した各種システムを提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明によれば、画像情報処理装置の制御方法において、画像情報処理装置の画像入力部より画像を光学的に入力し、入力された画像を２次元フィルタにより多重解像度展開し、多重解像度展開された画像より特徴点を検出し、検出された各特徴点について、その特徴点における正規化された前記２次元フィルタの出力値と、各特徴点の位置座標及び多重解像度展開された局所パターンに対するその特徴点の相互情報量と、その特徴点と前記画像入力部の光軸との距離とに基づいて評価値を算出し、前記評価値が最大となる特徴点に前記光軸を一致させるように、前記画像入力部を制御する。
【００２０】
また、本発明の他の態様によれば、画像情報処理装置に、画像を光学的に入力する画像入力手段と、前記画像入力手段から入力された画像を多重解像度展開する２次元フィルタと、前記２次元フィルタにより多重解像度展開された画像より特徴点を検出する検出手段と、前記検出手段により検出された各特徴点について、その特徴点における正規化された前記２次元フィルタの出力値と、各特徴点の位置座標及び多重解像度展開された局所パターンに対するその特徴点の相互情報量と、その特徴点と前記画像入力手段の光軸との距離とに基づいて評価値を算出する算出手段と、前記算出手段により算出された評価値が最大となる特徴点に前記光軸を一致させるように、前記画像入力手段を制御する制御手段とを備える。
【００２３】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明に係る好適な１実施形態を詳細に説明する。
【００２４】
〔実施形態１〕
図１は、本実施形態の視覚情報処理装置の構成例を表すブロック図である。以下、順に構成要素の動作を説明する。
【００２５】
＜レンズ系(lens system) １＞
ここで、レンズ系１は、広角レンズ(wide view lens)（魚眼レンズ(fish eye lens) を含む）を備え、画像を光学的に入力するためのレンズ系であり、更に通常レンズを設けてもよい。
【００２６】
図２に、レンズ系１の広角レンズによる座標変換例を示す。図中、ｘが入力系の正面に位置する画像面上での極座標系の動径、ｔが広角レンズで変換された後の極座標系の動径である。本光学系は、この極座標系の角度（紙面に垂直な面上での極座標系の角度θ）を保存するので、図２及び以下の説明は全て動径方向に限って行う。
【００２７】
ｘ，ｔは、光軸に対する入射角度φ，焦点距離ξを用いて、
ｔ＝２ξ tan（φ／２） （１）
ｘ＝ξ tan（φ） （２）
と書ける。これらより、ｘはｔの関数として次式で表わせる：
ｘ＝ｔ／｛１−（ｔ／２ξ)2｝ （３）
これが広角レンズにおける座標変換である。
【００２８】
画像平面全域に広がる動径方向周波数ｆ（０）のパターンをレンズ系１によってアレイセンサ２の平面上に投射したとき、アレイセンサ２の平面上で光軸１０から距離ｔの位置での局所的な動径方向周波数は、式（４）で表せる。
【００２９】
f(t)＝f(0)・{(１−（ｔ／２ξ)2)2／｛１＋（ｔ／２ξ )2} （４）
実際には、極座標系（ｔ，θ）を用いて、２次元画像ｆ（ｔ，θ）が出力される。もちろん、３次元の実空間に存在する任意の物体を対象とする場合には、入射角度φとｔとの関係のみを知ればいいから、
ｔ＝２ξ tan（φ／２） （５）
が座標変換となる。
【００３０】
なお、広角レンズには、上記以外の座標変換規則に従うものがいくつかあり、上記広角レンズに代えて、それらの広角レンズをレンズ系１に使用してもよい。
【００３１】
＜アレイセンサ(array sensor)２＞
アレイセンサ２は、レンズ系１によって座標変換を受けた２次元画像ｆ（ｔ，θ）を、２次元アレイ状に並べられたセンサでサンプリングし、離散２次元画像を得る。アレイセンサ２の左上のセンサ番号を（１，１）とし、横方向にｍ番目、縦方向にｎ番目のセンサ番号を（ｍ，ｎ）と記述する。センサ番号（ｍ，ｎ）のセンサの出力ｇm,n は、積分核をψm,n (x) として、
【００３２】
【外１】
となる。これにより、｛ｇm,n ｝m,n が離散２次元画像を構成する。
【００３３】
＜２次元フィルタ(2D filter) ３＞
２次元フィルタ３は、アレイセンサ２の出力信号、即ち離散２次元画像
｛ｇm,n ｝m,n を入力として受取り、以下のようなマスク処理を施して、多重解像度展開する。
【００３４】
【外２】
このマスクは例えば、▽2Ｇの作用素：
【００３５】
【外３】
を用いる。
【００３６】
また、以下のような作用素集合も有効である。
【００３７】
（ａ）空間定数の異なる複数の▽2 Ｇ作用素：等方性バンドパスフィルタの集合を構成することができる。
【００３８】
（ｂ）空間定数と方向の異なる複数のGabor 作用素：方向に依存するバンドパスフィルタの集合を構成することができる。
【００３９】
図３は、レンズ系１，アレイセンサ２，２次元フィルタ３を組み合わせたシステム（以下、広角レンズ入力装置と呼ぶ）で検出される動径方向周波数帯域と光軸１０からの距離との関係を図式的に表している。同図は、２次元フィルタ３におけるマスク作用素が▽2 Ｇで、場所に拠らず一定の場合である。光軸から離れるに従って高周波成分検出に寄与する積分核を削除していくように構成された画像フィルタと近似的に等しい。図３より、光軸の方向を変えることによって、周波数空間の全領域を覆うことができることがわかる。
【００４０】
上記考察は、図４に示すシミュレーション結果によって検証される。同図から、広角レンズ入力装置が検出する中心周波数は、光軸からの変位とともに、単調に減少すること、装置が検出できる最大周波数以下の成分を全て検出することが確認できる。
【００４１】
＜特徴点検出部(feature extractor) ４＞
特徴点検出部４では、２次元フィルタ３の出力画像から極大点を抽出して特徴点とし、それらの座標を出力する。これら特徴点の座標は、入力パラメータ制御部８に送られ、入力パラメータ制御量の決定のために用いられる。
【００４２】
２次元フィルタ３、および特徴点検出部４は、偏角の原理を応用して次のように構成することもできる。２次元フィルタでは、まず画像｛ｇm,n ｝m,n にグラジエント(gradient)▽を作用させてベクトル場｛ωm,n ｝m,n を生成する：
ωm,n ＝▽ｇm,n
＝{(ｇm,n-ｇm-1,n)／△ｘ｝e1＋{(ｇm,n-ｇm,n-1)／△ｙ} e2 (9)
ただし、ｅ１、ｅ２は基底ベクトル、△ｘ、△ｙは横方向、および縦方向のグリッド間隔である。次に各点（ｍ，ｎ）におけるベクトルの方向を求める：
arg(ωm,n)＝arctan〔{(gm,n-gm,n-1) ／△y}/{(gm,n-gm,n-1) ／△x}〕 (10)ベクトル場を複素関数で表現すれば、上記方向は複素数の偏角である。これに、偏角の原理を応用して、零点や極が検出できる。
【００４３】
偏角の原理とは、関数ｆ（ｚ）は単連結領域Ｄで有理形、ＣはＤ内の正の向きの単純閉曲線で、Ｃの上にはｆ（ｚ）の零点も極も存在しないものとする。Ｃの内部において、ｆ（ｚ）はａj （ｊ＝１，２，…，ｍ）にそれぞれ位数λj の零点、ｂk （ｋ＝１，２，…，ｎ）にそれぞれ位数μk の極をもつとする。このとき、Ｃ上の１点ｚ0 から出発してＣを一周してｚ0 へ戻ったときのｆ（ｚ）の偏角の増加量△c arg ｆ（ｚ）は、Ｃ内部にある零点及び極の個数（位数も考慮した）を
【００４４】
【外４】
と書けば、次式で与えられる：
△c arg ｆ（ｚ）＝２π（Ｎz(ｆ）−Ｎp(ｆ）） （１１）
上記偏角の原理を用いてベクトル場｛ωm,n ｝m,n の特徴点を検出する方法を以下で説明する。
【００４５】
Ｓｔｅｐ１ ｎ＝１とする。
【００４６】
Ｓｔｅｐ２ ｍ＝１とする。
【００４７】
Ｓｔｅｐ３ （ｍ，ｎ）を中心に適当な近傍を考える。例えば８近傍：
{(m-1,n-1),(m,n-1),(m+1,n-1),(m-1,n),(m+1,n),(m-1,n+1),(m,n+1),
(m+1,n+1)} （１２）
を選ぶ。
【００４８】
Ｓｔｅｐ５ 偏角の原理により、上記近傍に囲まれる領域内に存在する零点及び極の、位数を考慮した個数が次のように与えられる：
Ｎz （ω）−Ｎp （ω）＝（△c arg ωm,n ）／２π （１３）
△cargω m,nは以下のように計算する：
△cargω m,n
≒Υ（ωm+1,n+1 ，ωm+1,n)＋Υ（ωm,n+1 ，ωm+1,n+1)
＋Υ（ωm-1,n+1 ，ωm,n+1)＋Υ（ωm-1,n ，ωm-1,n+1)
＋Υ（ωm-1,n-1 ，ωm-1,n)＋Υ（ωm,n-1 ，ωm-1,n-1)
＋Υ（ωm+1,n-1 ，ωm,n-1)＋Υ（ωm+1,n ，ωm+1,n-1) (14)
ここで、Υ（ｘ，ｙ）＝argx−argy if argx−argy≦π
argy−argx otherwise (15)
【００４９】
Ｓｔｅｐ６ ｍ＝ｍ＋１とする。
【００５０】
Ｓｔｅｐ７ ｍが画像の範囲を越えたかどうかを判断し、越えたらＳｔｅｐ８に進み、そうでなければ、Ｓｔｅｐ２からの処理を繰り返す。
【００５１】
Ｓｔｅｐ８ ｎ＝ｎ＋１とする。
【００５２】
Ｓｔｅｐ９ ｎが画像の範囲を越えたかどうかを判断し、越えたら処理を終了し、そうでなければ、Ｓｔｅｐ３からの処理を繰り返す。
【００５３】
特徴検出装置では、上記偏角の原理より得られた個数Ｎz(ω）−Ｎp(ω）が負になる点を検出する。これにより、零点より極の方が多い領域が検出され、十分小さな領域では極が存在する点を検出することになる。
【００５４】
＜変換符号化部(transform encoder) ５＞
変換符号化部５は、２次元フィルタ３によって多重解像度空間上に写像された画像データを、局所パターン空間へ変換して出力する機能を有する。
【００５５】
まず、多重解像度空間での座標｛ｓf(＝２k)，ｂf}に対する深さｄまでの近傍の集合Ｎd(ｓf,ｂf)というものを、
ｓ＝２p ；ｐ＝｛k, k-1, …，Max(0, k-d) ｝ (16)
ｂ＝ｂf ±{(m-1/2)2p△x, (n-1/2)2p△y)} ;m,n ＝{1, …,2k-p} (17)
と定義する。ただし、ｓf ，ｂf は特徴点検出部４で検出された特徴点のスケール（空間周波数の逆数と考えてよい）と座標であり、△ｘ，△ｙはアレイセンサ２のｘ方向，ｙ方向のセンサ間の距離である。
【００５６】
図５にはＮ2(ｓf ，ｂf ）５１が示されている。Ｎ2(ｓf ，ｂf ）５１は、多重解像度空間に於ける位置（ｓf ，ｂf ）が異なれば、５２や５３で示すように、局所パターンが覆う領域、即ち実空間領域（ｂの幅）及びスケール領域（ｓの幅で周波数領域に相当）が異なることがわかる。すなわち、Ｎ2(ｓ53，ｂ53）が覆う領域は、実空間領域５５とスケール領域５７となり、Ｎ2(ｓ52，ｂ52）が覆う領域は、実空間領域５４とスケール領域５６となる。特に、深さ“０”の近傍は特徴点位置の画素そのものを表す。
【００５７】
このようにＮd(ｓf ，ｂf ）は多重解像度空間での座標（ｓf ，ｂf ）をルートとする４分木（図では２分木）に等しい。多重解像度空間の座標（ｓf ，ｂf ）における深さｄの局所パターンＰd(ｓf ，ｂf ）とは、Ｎd(ｓf ，ｂf ）の各ノードに強度を対応させたものをいい、深さｄの局所パターン空間とは、上記４分木の集合に有限次元ベクトルに対する内積を定義することによって張られる関数空間をいう。多重解像度空間における局所パターンを考えることによって、３次元物体のある種の運動に対する不変量が得られる。ただし、その深さ（例えばどのくらいのスケールの範囲に亙っているか）は物体によって異なる。
【００５８】
変換符号化部５から出力されるデータ形式は、例えば深さ２の局所パターンのみを採用した場合の、ｓ＝{s0,s1,s2}，ｂ＝{b0,b1… , bj,…, bJ }の離散多重解像度空間に対しては、
{(b0,(P2(s0,b0), P2(s1,b0), P2(s2,b0))),
(b1,(P2(s0,b1), P2(s1,b1), P2(s2,b1))),
…
(bJ,(P2(s0,bJ), P2(s1,bJ), P2(s2,bJ)))} (18)
となる。
【００５９】
＜量子化部(quantizer)6＞
図６に量子化部６の詳細な構成図を示す。量子化部６は、変換符号化部５から例えば以下の形式のデータを受ける。
【００６０】
{(b0,(P2(s0,b0), P2(s1,b0), P2(s2,b0))),
(b1,(P2(s0,b1), P2(s1,b1), P2(s2,b1))),
…
(bJ,(P2(s0,bJ), P2(s1,bJ), P2(s2,bJ)))} (19)
量子化部６は、上記データの例えば局所パターンを量子化して、符号語
Ｓ2(ｓf ，ｂf ）∈Ｚに変換する：
{(b0,(S2(s0,b0), S2(s1,b0), S2(s2,b0))),
(b1,(S2(s0,b1), S2(s1,b1), S2(s2,b1))),
…
(bJ,(S2(s0,bJ), S2(s1,bJ), S2(s2,bJ)))} (20)
以下、量子化部６における処理手順を簡単に説明する。
【００６１】
（ａ）ｊ＝０とする。
【００６２】
（ｂ）量子化部６に特徴点ｂｊ に関するデータ、最初の場合、
(b0,(P2(s0,b0), P2(s1,b0), P2(s2,b0))) (21)が入力される。
【００６３】
（ｃ）P2(s0,b0), P2(s1,b0), P2(s2,b0) のそれぞれが量子化器６１，６２，６３に入力され、対応する符号語S2(s0,b0), S2(s1,b0), S2(s2,b0) が出力される。このとき、量子化器６１，６２，６３ともコードブック６４を用いる。
【００６４】
（ｄ）(b0,(S2(s0,b0), S2(s1,b0), S2(s2,b0)))を出力する。
【００６５】
（ｅ）ｊ←ｊ＋１として（ｂ）に戻る。
【００６６】
量子化部６には、代表ベクトルを獲得するための学習モードと、入力信号を符号化するための実行モードがあるが、これらは通常のベクトル量子化技術で実現できる。
【００６７】
ここで、コードブック６４は、各ノード位置における成分強度の組として表現された上記局所パターンに番号（符号語）付けを行うものであり、例えば、以下の実施例２で説明するような学習ベクトル量子化で作成されてもよい。又、出現する全ての局所パターンに順番に番号を割り付けてもよい。
【００６８】
すなわち、与えられた画像は、特徴点の位置座標と局所パターンの符号語との組として符号化される。しかし、このような符号化は、空間的に隣接する局所パターン間に強い相関が存在するという意味でかなり冗長性を含んでいる。量子化部６の代表ベクトルには、このような冗長性が含まれていていないことが望ましい。これら冗長性は、それぞれの代表ベクトル間の同時出現確率を用いて削減することができる。
【００６９】
＜確率オートマトン(stochastic automaton)7>
上記量子化部６から出力された特徴点の位置座標と局所パターンの符号語との組が、確率オートマトン７の各セルに入力される。
【００７０】
図７に確率オートマトン７の構成例を示す。図中、７１は、画像入力データの幾何学的特徴及び時間的相関に基づいて構築されるパターンオートマトンであり、７２は、上記パターンネットの結果と他の入力信号、例えば人間によるキーボードからの知識データや他のセンサ信号等とによって構築されるシンボルオートマトンである。７３はセルであり、有限個の状態を取ることができる。状態値の集合上に確率構造が定義されている。確率オートマトン７は形式的に階層構造をしているが、一般的にはブロック化されているという。ｑ層に属するｒ番目のセルの状態の集合をΩr (q)、その上の確率分布を｛ｐ（ωu)｝；ωu ∈Ωr (q)、（ｑ＋１）層に属するｖ番目のセルの状態の集合をΩv (q+1)、その上の確率分布を｛ｐ（ωz)｝；ωz ∈Ωv (q+1)と書く。このとき、これら確率分布は、以下のように条件付き確率によって関係付けられているとする。
【００７１】
【外５】
ここで、ｐ（ωu ）はｑ層に属するｒ番目のセルがωu である確率を表現し、p(ωz|ωu)は、ｑ層に属するｒ番目のあるセルがωu であった時に、（ｑ＋１）層に属するｖ番目のセルがωz である確率（条件付き確率）を表している。
【００７２】
パターンオートマトン７１に属するセルは、多重解像度空間を分割したときの各々の部分領域に対して１対１に割当てている。従って、セルの状態値は、多重解像度空間の部分領域における符号語に当たる。条件付き確率を要素とする状態遷移行列は、量子化器６のコードブック６４を学習するときに、同時に計算する。
【００７３】
一方、シンボルオートマトン７２に属するセルは、物体或いは事象と１対１に対応する。これらの間の条件付き確率は、知識エンジニアによって与えられてもいいし、画像入力データの時間的空間的相関によって計算してもよい。
【００７４】
例えば、変換符号化部５による多重解像度表現をしない場合の３レベルの階層表現の例を、図８に示す。それぞれのレベルにおける配位空間は、１つ下のレベルの配位空間の（３×３）の空間的配置により構成される。つまり、Ω(0) は実数値を取る画素を（３×３）に並べてできるパターンの全体、Ω(1) はΩ(0) のパターンに付けられた番号の全体を整数としたときに、この整数を（３×３）に並べてできるパターンの全体、…という具合である。従って、各層間の条件付き確率がモデルとして存在し、Ω(0) に属する１８個のパターンに対する事前確率が与えられれば、Ω(1) ，Ω(2) に属するパターンの確率分布が計算できる。
【００７５】
尚、実施例１の確率オートマトン７及び実施例２の相互結合型ニューラルネット２０７等を、まとめて知識獲得部とも総称する。
【００７６】
＜入力パラメータ制御部(input parameter controller)８＞
上記特徴点検出部４からの特徴点の座標及び確率オートマトン７からのパターンの確率分布に基づいて、レンズの光軸方向やズーミング等の入力パラメータ制御信号を上記広角レンズ入力装置に出力する構成要素であり、例えば光軸方向に関しては、以下のような処理を行う。
【００７７】
光軸制御法は、特徴点検出部４で検出された特徴点の集合のうちのどの特徴点を選択するかで決まる。例えば、この選択の評価基準を次式で定義する。
【００７８】
Ｌbr＝Ｌ（ｗbr，Ｔ（ｂr,Ωv (q+1)），ρ（ｂr)） (23)
ここで、ｗbrは特徴点ｂr における正規化された２次元フィルタ３の出力値、右辺第２項はΩv (q+1)に対する特徴点ｂr の相互情報量、ρ（ｂr)は現在の光軸からｂr までの距離である。Ｌbrの最も簡単な例としては、それぞれの変数の線形結合が考えられる。
【００７９】
Ｌbr＝α0 ｗbr＋α1 Ｔ（ｂr,Ωv (q+1)）＋α2 ρ（ｂr) (24)
先ずΩv (q+1)に対するΩr (q)の相互情報量Ｔ（Ωr (q)，Ωv (q+1)）を次式(25)で定義し、これを用いて、Ｔ（ｂr,Ωv (q+1)）＝Ｔ（Ωr (0)，Ωv (q+1)）を計算する。
【００８０】
【外６】
【００８１】
上式（２３）あるいは（２４）を最大にする空間座標に光軸を一致させるように、光軸の修正量を決定する。パターンオートマトン７１の各セルは、実空間座標とスケール座標との両方をもっている。従って、相互情報量が最大の（観測）位置に光軸を一致させるということは、相互情報量が最大のセルを見つけることと同じである。各セルは符号語とそれに対する出現確率を記憶しており、さらに各セル間の関係は条件付き確率で結び付いているので、これらを用いて、ある特性のセルの状態を決定する（これはその特定のセルの符号語の出現確率に対するエントロピを下げることと同じ）ために、最も有効なセル、即ち相互情報量が最大となるセルを決定することができる。これを、式（２３）から式（２５）を使って計算する。
【００８２】
尚、上記式（２３）から式（２５）は、多重解像度空間あるいはその局所パターンに適用すれば、ズーム制御の評価値ともなる。本発明の評価値の計算及び評価は式（２３）から式（２５）に限定されない。
【００８３】
＜本実施例の具体例＞
以下では、上記本理論を簡単な例に適用することによって、その有効性を示す。尚、本具体例では説明を簡単にするために、（３×３）のアレイセンサを使用し、広角レンズや変換符号化部の作用による多重解像度表現をしない例で説明する。本例で式（２４）の第１項は画素データの変化量（黒／白）と考えられる。
【００８４】
入力装置は一度に（３×３）画素の範囲が見えるものとし、図８のようなモデルを知識として持っているものとする。ここでは、パターンオートマトンのみを利用して、２次元パターンを認識する例を示す。図よりレベル（０）パターンの台は３×３画素、レベル（１）パターンの台は９×９画素、レベル（２）パターンの台は２７×２７画素であることがわかる。従って、システムは一度の観測でレベル（０）のパターンを認識することができる。また、レベル（１）及びレベル（２）のパターン中に現れる数字は、それぞれレベル（０）及びレベル（１）パターンの符号語である。また、それぞれのレベルのパターンに対する出現確率は等しいとする。以下、レベル（１）パターンを認識する操作を、レベル（１）観測と書くことにする。
【００８５】
視覚環境として図９に示すパターンが与えられたとして、レベル（２）パターンを認識する問題を考える。ただし、図中、左上を原点（０，０）、右にｉ番目、下にｊ番目の画素の座標を（ｉ，ｊ）と記す。システムは２つのレベル（２）パターンしか知らないので、与えられた画像中のパターンがこのどちらかを特定すればいい。
【００８６】
図９は本装置に入力される入力画像で、この画像が、変換符号化部５及び量子化部６を経て、式（１３）の形式になる（ただし冗長な部分は削除される）。
【００８７】
図７のパターンオートマトン７１の一番上のそのセルには、図８のΩ(0) に含まれる１８個の符号語に対する出現確率を記憶するバッファがあり、パターンオートマトン７１の上から１層目の各セルは、自分が受け持つ空間領域にある部分画像（入力画像の部分画像）（本例では３×３の部分画像）と図８のΩ(0) に含まれる１８個の局所パターンとのマッチングを取り、それに対応する符号語とそれぞれの出現確率を記憶する。１層目のあるセルに対応する部分画像が得られていない時には、１層目のセルは、全ての符号語に対して同じ出現確率“１／１８”を割り当てる。また、部分画像が局所パターンの“１”か“２”であることがわかったときは、符号語１と符号語２の出現確率として“１／２”を、その他の符号語の出現確率として“０”を記憶する。
【００８８】
パターンオートマトン７１の各セルは、図８のΩ(1) に含まれる４つのパターンに対する符号語とその出現確率を記憶する。ここでいうパターンとは、１層目のセルの符号語の空間的配置を言う。即ち、１層目のセルの符号語の局所的配置を、“１”から“４”までの数字で代表させる。２層目のセルの受け持つ部分空間で１層目の符号語が“１”から“４”までのどの配置をしているかは、式（２２）を用いて計算される。式（２２）の乗算は、本例では３×３個のパターンについて行う。３層目のセルについても同様に、２つの符号語に対する出現確率を式（２２）を用いて計算する。
【００８９】
さて、初期のレベル（０）観測が座標（１０，１０）の位置で行われたとし、引き続く処理を順を追って説明する。座標（１０，１０）は特徴点検出部により検出されたものとしてもよい。
【００９０】
（ステップＳ１）
座標（１０，１０）のレベル（０）観測によって得られた情報は、レベル（０）パターンが“１８”であるということであり、この情報が“０”であることは容易にわかる。システムは現在自分が観測している位置とレベル（２）パターンの相対的位置との対応を付けるために、先ず現在の観測点付近でのレベル（１）パターンを特定する必要がある。
【００９１】
レベル（２）の観測を終了させるためには、Ω(2) でのエントロピーを最小にしなければならない。即ち、Ｔ（Ω(i,j) (1)，Ω(10,10) (2)）を最大にするような観測点（ｉ，ｊ）を選択する。観測点の候補としては、｛（１６，１０），（１３，１３），（１０，１６），（１６，１６）｝の４点が選ばれる。それぞれの点を観測したときの情報量の期待値は、
Ｔ（Ω(16,10) (1)，Ω(10,10) (2)）＝0. 219，
Ｔ（Ω(13,13) (1)，Ω(10,10) (2)）＝0. 354，
Ｔ（Ω(10,16) (1)，Ω(10,10) (2)）＝0. 219，
Ｔ（Ω(16,16) (1)，Ω(10,10) (2)）＝0. 354． (26)
となる。これより、距離の近い観測点を選ぶものとすれば、次の観測点として
（１３，１３）を選択する。距離に関する条件はこれに限定はされない。
【００９２】
（ステップＳ２）
座標（１３，１３）でのレベル（０）観測を行う。その結果レベル（０）パターン“１４”を得る。これではまだ座標（１３，１３）を中心とするレベル（１）パターンは特定されない。そこで、ステップＳ１と同様にして、座標（１６，１６）でのレベル（０） 観測を行う。その結果レベル（０）パターン“１０”を得、これより、座標（１３，１３）を中心とするレベル（１）パターンは“１”に特定される。再びレベル（２）のそれぞれの観測点における情報量を計算する。観測点の候補はレベル（１）の座標（２２，２２）の１点である。即ち座標（２２，２２）でのレベル（２）パターンが“２”か“３”かを特定する。そのための、レベル（０）の観測点候補の点を観測したときの情報量の期待値は、
Ｔ（Ω(19,19) (1)，Ω(16,16) (2)）＝0. 171，
Ｔ（Ω(25,19) (1)，Ω(16,16) (2)）＝0. 171，
Ｔ（Ω(22,22) (1)，Ω(16,16) (2)）＝0. 585，
Ｔ（Ω(19,25) (1)，Ω(16,16) (2)）＝0. 171，
Ｔ（Ω(25,25) (1)，Ω(16,16) (2)）＝0. 585，
これより次の観測点として距離の近い（２２，２２）を選択する。
【００９３】
（ステップＳ３）
座標（２２，２２）の観測によって、レベル（０）パターン“１７”が得られる。これより、この位置でのレベル（１）パターンが“３”か“４”かであることがわかり、結局、与えられた入力信号は、レベル（２）パターンの“２”であることが認識できる。
【００９４】
尚、上記具体例では、簡略化のために多重解像度空間やその局所パターンを考慮していないが、多重解像度空間やその局所パターンを考慮に入れても、処理が複雑になるのみで同様の処理が可能である。多重解像度空間やその局所パターンを考慮に入れることにより、光軸の制御に他にズーム制御等も可能となる。
【００９５】
〔実施形態２〕
実施形態２では、実施形態１の確率オートマトン７を相互結合型ニューラルネット（Hopfield-type ＮＮ）で実現した例を示す。これによって、入力パラメータ制御部２０８における処理も変わる。
【００９６】
図１０は、本実施形態の視覚情報処理装置の構成例を表すブロック図であり、レンズ系２０１，アレイセンサ２０２，２次元フィルタ２０３，特徴点検出部２０４，変換符号化部２０５は、それぞれ、実施形態１のレンズ系１，アレイセンサ２，２次元フィルタ３，特徴点検出部４，変換符号化部５と同様である。
【００９７】
＜量子化部２０６＞
図１１に量子化部２０６の構成を示す。量子化部２０６には、代表ベクトルを獲得するための学習モードと、入力信号を符号化するための実行モードとがある。学習モードでの代表ベクトルの獲得には、相関行列を用いる方法と、Kohonen によって提案されている学習ベクトル量子化器を用いる方法がある。以下では、Kohonen の学習ベクトル量子化器によって、深さｍの量子化器を構成する方法を説明する。
【００９８】
（ａ）代表ベクトルの個数分のウェイトベクトルＷn mを用意し、それぞれを小さい乱数によって初期化する。
【００９９】
（ｂ）局所パターンＸm とＷn mとの内積を出力する、ウェイトベクトルＷn mと同数の演算素子（processing element）ＰＥn mを用意する。各ＰＥ間には２次元距離が導入されており、ＰＥの近傍半径Ｒを適当に設定する。
【０１００】
（ｃ）入力される局所パターンＸm に対して、最大値を出力するＰＥn m MAX を見つけ出し、ＰＥn m MAX との距離がＲより小さいＰＥに対するウェイトベクトルＷn mを次式で修正する。
【０１０１】
Ｗn m←Ｗn m＋ηW ( Ｘm −Ｗn m MAX ）
ここでηW は定数である。ウェイトベクトルの修正とともにＰＥ近傍半径Ｒを徐々に小さくしていく。
【０１０２】
このようにして、出現確率の高い局所パターンは、ウェイトベクトルとして学習ベクトル量子化器に記憶される。局所パターンの符号化は、最大値を出力するＰＥのインデックスとして与えられる。
【０１０３】
量子化部２０６の実行モードでは、各特徴点近傍の特徴ベクトルを、上記学習ベクトル量子化器に入力し、そのときの｛ＰＥn m｝n のうち、出力が最大となる演算素子のインデックスを符号語とする。この処理によって、全ての特徴点に適当な符号語の組が対応づけられる。
【０１０４】
このようにして、与えられた画像は、特徴点の位置座標と局所パターンの符号語との組として符号化される。しかし、このような符号化は、空間的に隣接する局所パターン間に強い相関が存在するという意味でかなりの冗長性を含んでいる。量子化部２０６の代表ベクトルには、このような冗長性が含まれていないことが望ましい。これら冗長性は、それぞれの代表ベクトル間の同時出現確率を用いて削減することができる。
【０１０５】
＜相互結合型ニューラルネット（Hopfield-type neural network）２０７＞
図１２に相互結合型ニューラルネット２０７の構成を示す。図１２中、パターンネット１２１は、画像入力データの幾何学的特徴及び時間的相関に基づいて構築されるネットワークであり、概念ネット１２２は、上記パターンネットの結果と他の入力信号、例えば人間によるキーボードからの知識データや他のセンサ信号等によって構築されるネットワークである。
【０１０６】
ニューロン１２３は、多入力１出力の演算素子であり、入力ベクトルｘと出力値ｙとは、ウェイトベクトルｗを用いて、
ｙ＝ｓｇｍ（ｗT ｘ） （２８）
という関係で結び付けられる。ただし、ｓｇｍ（・）はシグモイド関数である。ニューロンの出力値は、ニューロンに対応するパターン或いは概念の出現確率を表している。
【０１０７】
１２４は互いに競合するニューロンの集合としてのニューロン群であり、１２５はニューロンｊとニューロンｋとを結ぶウエイトＷj,k である。ニューロン群は形式的に階層構造をしており、更に各階層で複数のブロックを形成している。（ｑ）層ｒブロックのニューロン群をΩ(q):r 、（ｑ＋１）層ｖブロックのニューロン群をΩ(q+1):v と書く。パターンネット１２１に属するニューロン群は、多重解像度空間の対応する座標に於ける局所パターン空間を表現している。パターンネット１２１には、初期状態として量子化部２０６からのデータが設定される。
【０１０８】
上記構成のニューラルネット２０７の運動は、次式で定義されるエネルギ関数に支配される。即ち、各ブロックに属するニューロンの出力値をＶm ∈Ω(q):r ，Ｖn ∈Ω(q+1):v と書けば、以下のように定義できる：
【０１０９】
【外７】
【０１１０】
パターンネット１２１のウエイトは、学習ベクトル量子化器に於けるウエイトと対応するので、学習ベクトル量子化によるウエイトの値を利用することができるが、以下の方法でも獲得できる。
【０１１１】
パターンネット１２１及び概念ネット１２２のウエイトは以下のように獲得することができる。即ち、式（２９）を学習ポテンシャル関数と見做すことによって、ウエイトの修正量は、
【０１１２】
【外８】
となる。
【０１１３】
＜入力パラメータ制御部２０８＞
実施形態１で説明した相互情報量は、相互結合型ニューラルネットに対応させて、以下のように算出する。
【０１１４】
（ａ）相互結合型ニューラルネットの（ｑ）層ｒブロックのニューロンの集合Ｖm ∈Ω(q):r と（ｑ＋１）層ｖブロックのニューロンの集合Ｖn ∈Ω(q+1):v とを結ぶコネクションの集合Ｗm nに関するエントロピーε(q):r (q+1):vを、
【０１１５】
【外９】
により計算する。ここで、
【０１１６】
【外１０】
は、学習モードで計算される値なので、入力パラメータ算出過程では既知として扱ってよい。
【０１１７】
（ｂ）相互結合型ニューラルネットの、（ｑ）層ｒブロックのニューロンの集合Ｖm ∈Ω(q):r に対して、エントロピーε(q):r を、
【０１１８】
【外１０】
により計算する。
【０１１９】
（ｃ）ε(q):r (q+1):vとε(q):r より、以下のように式（２５）と同様の値を得る。
【０１２０】
Ｔ（ε(q),T+1,p(ω；ＡT (q+1)))＝−ε(q):r (q+1):v＋ε(q):r （３３）
【０１２１】
〔実施形態３〕
実施形態３では、本実施形態の視覚情報処理装置の監視装置への応用例を示す。
【０１２２】
図１３は、本実施形態の監視装置の構成例を表すブロック図であり、レンズ系３０１，アレイセンサ３０２，２次元フィルタ３０３は、実施形態１のレンズ系１，アレイセンサ２，２次元フィルタ３と同様である。
【０１２３】
＜特徴点検出部３０４＞
特徴点検出部３０４では、２次元フィルタ３０３による空間的配置に関する特徴点のみならず、画像データの時間的変化の極値も特徴点として検出する。監視装置は、店内やオフィス内等のように、通常動くものが殆ど存在しない場所に設置される。異変が無ければ画像データは変化しないので、変化する場所だけを詳しく観測すればよい。これによって、監視情報の録画時間が大幅に長くできる。
【０１２４】
このような意味から、画像データの時間変化は重要な特徴である。運動する物体を捕捉するためには、フィードバック制御の時間遅れをできるだけ小さくしたい。特徴点検出部３０４には、検出した特徴点位置に光軸を向ける光軸制御量を計算し、入力パラメータ制御部３０８に送る機能も有する。このような機能によって、運動物体のセンサ上での像は静止画像として処理できる。
【０１２５】
＜変換符号化部３０５＞
捕捉した運動物体に関する画像データを符号化する。この符号化データは、通信回線或いはバスライン等を通じて、外部記憶装置３０９に記憶される。
【０１２６】
＜量子化部３０６＞
捕捉した物体の符号化データは、即座に適当な符号語に割り当てられる。従って、以後これらの物体が画像上に現れたときには、それらは位置と、対応する符号語とで表現される。
【０１２７】
＜確率オートマトン３０７＞
捕捉した物体の符号化データは、即座に確率オートマトン３０７の状態遷移確率行列に反映される。ある限定された周波数領域の強度を知ることによって、その周波数強度関数を含む物体を推定することができる。これによって、一度捕捉した物体の位置は、光軸を合わせた高解像度のデータは必要なく広角レンズの任意の部分で観測すればよい。即ち光軸を制御する必要がない。監視領域に複数の物体が現れた場合でも、それらを１度だけ順々に観測すれば良い。
【０１２８】
＜入力パラメータ制御部３０８＞
特徴点選択の評価基準としては、特徴点における２次元フィルタ出力値と、時間変化量、そして、相互情報量の線型結合を採用する。
【０１２９】
運動する物体に対しては、それが現れた時刻に光軸中心で観測することとし、あとはその物体を光軸中心で捕捉することはしないという基準を設ければ、より効率的な監視装置が可能になる。
【０１３０】
＜外部記憶部３０９＞
各種データを記憶する。監視装置は、最初に正常な状態の画像データを記憶する。以後は、時間的に変化した部分だけを記憶する。記憶されるデータは、捕捉した物体の符号化データと捕捉した時刻、それらの位置の時間変化（軌跡）である。このような記憶形態によって、記憶するデータ量を大幅に減少させられるため、長時間の録画が可能となる。
【０１３１】
＜監視装置の動作例＞
上記のように構成される監視装置の実際の動きを、図１４のフローチャートに従って説明する。
【０１３２】
まず、ステップＳ１１で、設置された場所の初期画像を記憶部３０９に記憶する。
【０１３３】
次に、ステップＳ１２で、式（２４）によって特徴点の評価を行う。式（２４）から明らかなように、評価値が大きくなる特徴点とは、その近傍の画素値の時間変化量が大きいか、得られる情報が大きいかである。上記２つの項目の評価値が等しい特徴点が複数存在した場合でも、それらのうち、光軸に最も近いものが選ばれるように、式（２４）は定義されている。
【０１３４】
ステップＳ１３では、特徴点のうち、評価値があるしきい値αより大きいものが存在する場合は、ステップＳ１６へ行く。
【０１３５】
ステップＳ１４で、全ての特徴点の時間変化量があるしきい値βより小さい場合には、ステップＳ１２へ戻る。
【０１３６】
ステップＳ１５では、特徴点のうち、時間変化量があるしきい値βを越えるものは、その特徴点に対応する符号語ベクトル（不完全でよい）をもとに、後述の物体に関する完全な記述を用いてそこに存在する物体を同定し、現在の時刻と特徴点の座標と物体に対応する符号語とを組にして、記憶部３０９に記憶し、ステップＳ１２へ戻る。
【０１３７】
ステップＳ１６では、選択された特徴点に光軸を一致させる。
【０１３８】
ステップＳ１７において、特徴点近傍に存在する物体の完全な記述（符号語の組）を獲得し、適当な番号を割当てる。物体に割り立てられた番号と、符号語の組と、時刻と、特徴点座標とを組にして記憶部３０９に記憶する。ステップＳ１２に戻る。
【０１３９】
前記ステップＳ１５への移行は、特徴点付近の測定データをもとに、それが高い信頼性をもって以前に観測し詳細なデータを記憶したデータであると推定できる場合に相当する。従って、本実施形態の監視装置は、誰かが店内に入ってきた時だけ詳細な観測を行ない（Ｓ１６，Ｓ１７）、それ以降はその人の位置情報のみを記憶するという処理を行う（Ｓ１５）。
【０１４０】
このような監視装置を用いれば、動画像をそのまま記憶するよりはるかに少ない容量の記憶装置で、長時間の監視が可能となる。例えば１枚の画像が２６０Ｋバイト（５１２×５１２画素で１画素が１バイト）のとき、１０８，０００枚の画像列（３０枚／秒で１時間）を記憶するためには、２８Ｇバイトが必要になる。本実施形態によれば、例えば運動物体（店内であれば客）が常時１００個あったとして、それぞれの物体の完全な記述に１画面分（２６０Ｋバイト）を要したとしても、１時間の記憶に必要な容量は、初期画像の記憶に０． ２６Ｍバイト、物体の記述に２６Ｍバイト、物体の軌跡に１． ７２８Ｍバイト（ただし特徴点の位置を倍精度の２次元座標で記述して）の和、即ち２８Ｍバイトで済む。実際には、店内に常時１００人もいるような状況は考えにくいし、物体の記述で使う容量も画像全体を記憶する容量よりは小さい。例えば店内にいる物体が１０個に減っただけでも、１時間の記憶に要する容量は３Ｍバイトまで激減する。
【０１４１】
〔実施形態４〕
実施形態４では、実施形態１の量子化部６を学習局所ベクトル量子化器で、確率オートマトン７を対称結合型ニューラルネット群で、それぞれ実現するとともに、外部から信号を入力する信号入力部と、外部へ信号を出力する信号出力部とを設けた例を示す。これによって、入力パラメータ制御部における処理も変わる。
【０１４２】
図１５は、本実施形態の視覚情報処理装置の構成例を表すブロック図であり、画像入力部４０１は、実施形態１のレンズ系１及びアレイセンサ２と同様のレンズ系及びアレイセンサを備えている。２次元フィルタ４０３，特徴点検出部４０４，変換符号化部４０５は、それぞれ、実施形態１の２次元フィルタ３，特徴点検出部４，変換符号化部５と同様である。
【０１４３】
＜量子化部４０６＞
図１６に、量子化部４０６となる学習局所ベクトル量子化器（ＬＬＶＱ）の構成を示す。ＬＬＶＱには、代表ベクトルを獲得するための学習モードと、入力信号を符号化するための実行モードとがある。学習モードでの代表ベクトルの獲得には、相関行列を用いる方法と、Kohonen によって提案されている学習ベクトル量子化器を用いる方法がある。以下では、Kohonen の学習ベクトル量子化器によって、深さｍの量子化器を構成する方法を説明する。
【０１４４】
（ａ）ウェイト記憶部１６２は予め定められた個数だけ用意されており、あるカテゴリｎに属する代表ベクトルＷn を記憶する。図１６は、代表ベクトルが２個の場合を示している。
【０１４５】
（ｂ）ウェイト更新部１６３は、ウェイト記憶部１６２毎に設けられており、２値化部１６４から送信される信号が１の時に限り、ウェイト記憶部１６２に記憶されたウェイトの値を次式(34)に従って更新する。
【０１４６】
Ｗn m←Ｗn m＋ηW(Ｗn m−Ｘm) (34)
【０１４７】
（ｃ）内積計算部１６１は、入力信号ＸとＷn との内積を計算して２値化部１６４に送信する。
【０１４８】
（ｄ）２値化部１６４は、複数の内積計算部１６１の出力信号を受け取り、それらの内で最大値を取る出力値を１に、他を０に変換する。変換された信号（２値信号）は、それぞれ対応するウェイト記憶更新部１６３に送信される。また、これらの２値信号の組が対称結合型ニューラルネット群４０６に送信される。
【０１４９】
このようにして、与えられた画像は、特徴点の位置座標と局所パターンの符号語との組として符号化される。しかし、このような符号化は、空間的に隣接する局所パターン間に強い相関が存在するという意味でかなりの冗長性を含んでいる。量子化部４０５の代表ベクトルには、このような冗長性が含まれていないことが望ましい。これら冗長性は、それぞれの代表ベクトル間の同時出現確率を用いて削減することができる。
【０１５０】
＜対称結合型ニューラルネット群４０６＞
図１７に対称結合型ニューラルネット群４０６の構成を示す。対称結合型ニューラルネット群４０６は、互いに信号を送信し合う複数の対称結合型ニューラルネットにより構成され、各対称結合型ニューラルネットは、他の対称結合型ニューラルネット、量子化部４０５、あるいは信号入力部４０８から信号を受け取り、他の対称結合型ニューラルネット、入力パラメータ制御部４０７、あるいは信号出力部４０９へ入力信号の処理結果を出力する。
【０１５１】
図１８に１つの対称結合型ニューラルネットの構成を示す。図１８中、対象結合型ニューラルネット状態更新部１７１は、多入力１出力で非線形入出力関数としてシグモイド関数を持つニューロンが、ウェイトを介して互いに対象に結合している。ニューロンは少なくとも２つのブロックを形成しており、そのうちの１つは出力ブロック、残りはすべて入力ブロックである。出力ブロックのニューロンの出力値の組は出力信号（ベクトル）となり、入力ブロックに属するニューロンは、他の対称結合型ニューラルネット、量子化部４０５、あるいは信号入力部４０８から信号を受け取る。
【０１５２】
上記構成のニューラルネット２０７の運動は、次式で定義されるエネルギ関数に支配される。即ち、各出力ブロックに属するニューロンの出力値をＶn 、任意の１つの入力ブロックに属するニューロンの出力値をＶm 、入力値をＩm 、これらのニューロン間のウェイトをＷm,n と書けば、これらに対するエネルギー関数Ｈを次式(35)のように定義できる：
【０１５３】
【外１２】
【０１５４】
ウエイト更新部１７２は、例えば、次式(30)のウエイト更新規則に基づいて、ニューラルネットのウェイトを更新する。
【０１５５】
【外１３】
ウェイト記憶部１７３は、ウエイト更新部１７２で更新されたウェイトを記憶する。
【０１５６】
第１情報量計算部１７４は、出力ブロックに属するニューロンの出力値Ｖn に基づく第１情報量ε1 を以下のように計算する。
【０１５７】
【外１４】
第２情報量計算部１７５は、出力ブロックに属するニューロンの出力値Ｖn 、入力ブロックに属するニューロンの出力値Ｖm 、これらのニューロン間のウェイトをＷm,n に基づく第２情報量ε2 を以下のように計算する。
【０１５８】
【外１５】
ここで、
【０１５９】
【外１６】
は学習モードで計算される値なので、入力パラメータ算出過程では、既知の値として扱ってよい。
【０１６０】
第３情報量計算部１７６は、第１情報量ε1 及び第２情報量ε2 から第３情報量Ｔを以下のように計算する。
【０１６１】
Ｔ＝−ε2 ＋ε1 (39)
【０１６２】
＜入力パラメータ制御部４０７＞
入力パラメータ制御部４０７は、特徴点検出部４０３からの特徴点の座標及び対称結合型ニューラルネット群４０６の状態値に基づいて、画像入力部４０１に対して、レンズの光軸方向やズーミング等のための入力パラメータ制御信号を出力する。
【０１６３】
例えば、光軸方向の制御は、特徴点検出部４０３で検出された特徴点の集合のうちのどの特徴点を選択するかで決まる。この選択基準を、例えば次式(40)で定義する。
【０１６４】
Ｌj ＝Ｌ（ωj,Ｔj,ρj) (40)
ここで、ωj はｊ番目の特徴点近傍における正規化された２次元フィルタの出力値、Ｔj はｊ番目の特徴点近傍の第３情報量、ρj は現在の光軸からｊ番目の特徴点までの距離である。
【０１６５】
また、信号入力部４０８は、他の装置などからの入力信号、例えば人間によるキーボードからの知識データや他のセンサ信号等を入力する。信号出力部４０９は、対称結合型ニューラルネット群４０６の出力信号を、視覚情報処理装置の入力パラメータ制御部４０７以外の他のユニット、あるいは他の装置に出力する。
【０１６６】
このように、更に他の装置と組み合わせることによって、上記本実施形態の視覚情報処理装置は、種々の特徴ある使用が可能である。
【０１６７】
例えば、無線信号装置や有線信号装置と組み合わせて、人間の顔を観測しているときに、有線信号あるいは無線信号によってその人の名前を入力すれば、顔の画像データと名前とを関連付けて記憶することができる。これは、画像にタグをつけるという意味では、人間の顔に限らない。さらに、音声信号入力装置と組み合わせて、音声信号と関連づけることによって、画像の認識精度が向上する。
【０１６８】
音声信号入力装置や音声信号処理装置は、特に人間の音声に限るものではなく超音波であっても構わない。この場合には、超音波センサによって周囲の物体までの距離情報が得られるので、視覚情報と距離情報とを用いて自律走行ロボットを構成することができる。
【０１６９】
無線信号装置や無線信号処理装置は、複数の自律走行ロボット、あるいは複数の監視装置間の通信に利用することができる。例えば、建物の内部が１台の監視装置では監視できないような場合を考える。監視装置ｊが移動物体を検出し、その詳細な観測を行ったとする。この移動物体が、監視装置ｊの観測可能領域を出て今まさに監視装置ｋの観測可能領域に進入しようとしている時、監視装置ｊが監視装置ｋに、“今、監視装置ｊの観測可能領域から監視装置ｋの観測可能領域に進入した移動物体の詳細なデータは、監視装置ｊが獲得している”という情報を監視装置ｋに送信すれば、監視装置ｋでは、この移動物体の詳細な観測を行わなくて済む。これは、記憶データ量及び監視装置の仕事量の軽減に有効である。
【０１７０】
更に、例えば工場内で部品などを運搬する走行ロボットと組み合わせれば、環境に柔軟に対応する走行ロボットが実現できる。又、音声信号出力装置との組み合わせもできる。
【０１７１】
以上説明した実施形態によれば、高速に最適な視覚情報を獲得できる画像情報処理方法及びその装置、並びにその制御方法を提供でき、その装置を有効に適用した各種装置をも提供できる。
【０１７２】
更に詳細には、
１．何らかの原因で、引き続く画像入力が困難になった場合でも、もっとも出現確率の高い結果を得ることができる。更にこれらを並列処理で行なうことができるため、処理時間が大幅に短縮できる。更に、相互結合型ニューラルネットワークによって実現しているため、状態遷移規則が単純になり、処理時間の更なる向上が見込める。
【０１７３】
２．画像の特徴点集合は有限個の点の集合であることが望ましい。しかし、従来の技術で特徴量として広く用いられているエッジは連続的であり、これをもとに有限個の点集合を得るためには、何らかの後処理、例えばエッジの強度に対する２値化処理が必要となる。本発明によれば、孤立点として特異点を得ることができる。また、変換符号化部と量子化部と知識獲得部とによって、センサ入力と知識データとを統一的に取り扱うことができ、これによって、複雑な視覚パターンで構成される環境の認識に応用することができる。
【０１７４】
３．２次元フィルタとしてＬａｐｌａｃｉａｎ−Ｇｕｓｓｉａｎ フィルタを用いることによって、環境の視覚情報を、多重解像度空間の部分領域上の変換が近似的に実現できる。光軸の方向を適当に制御すれば、画像、或いは環境の部分領域に対する多重解像度空間での記述を近似的に得ることができる。２次元フィルタとして単なる平均化処理を用いれば、画像或いは環境の部分領域に対する多重解像度近似での記述を得ることができる。このように、２次元フィルタの核として多重解像度空間で用いられるものを利用すれば、それに対応した多重解像空間が得られる。これは、環境の視覚情報が多重解像度空間の部分領域を覆うような場合に、有効なセンシング方法である。
【０１７５】
４．フィードフォワード型ニューラルネットによって、相互結合型ニューラルネットより高速なフィードフォワード制御が可能となる。
【０１７６】
５．特徴量空間として多重解像度空間を採用し、そこでの局所パターンに着目することによって、環境内に存在する物体の特定の運動に対する不変量を得ることができる。例えば、光軸に沿う運動は、物体の特徴量をスケール軸に沿って平行移動させるだけである。
【０１７７】
６．音声信号入力装置と音声信号処理装置と組み合せることによって、音声による人間からのコマンドの送信、或いは音による障害物の同定等が可能になり、無線信号通信装置と無線信号処理装置、或いは有線信号通信装置と有線信号処理装置と組み合せることによって、他のコンピュータとのコマンドの送受信、或いは他の視覚情報処理装置との情報の送受信が可能となり、知識獲得部によって、該音声信号，該無線信号及び該有線信号をもとに入力パラメータ制御を行うことができ、単一の信号だけでは認識できなかった物体が認識できるようになる。また、他の視覚情報処理装置の知識データを受信することによって、学習モードに要する時間を短縮することができる。
【０１７８】
７．作業用工具と該作業用工具制御装置と組み合せることによって、外界の状態に適応した作業を行うことができ、作業の遂行の仕方が環境に大きく依存するような場合に有効に動作する自律作業ロボットによる共同作業が可能となる。
【０１７９】
８．音声信号出力装置と組み合せることによって、周囲の人間に自分の状態を知らせることができ、人間との共同作業にも対応するような自律作業ロボットを構成できる。
【０１８０】
以上説明した本発明は、複数の機器から構成されるシステムに適用しても、システム内の特定の機器に適用しても良い。また、本発明は、この機器がプログラムを実行することによって達成される場合に適用でき、このプログラムは外部の記憶媒体から供給してもよく、このプログラムを記憶する記憶媒体も、本発明の範囲にある。
【０１８１】
【発明の効果】
以上説明したように、本発明によれば、高速に最適な視覚情報を獲得できる画像情報処理方法及びその装置、並びにその制御方法を提供できる。
【図面の簡単な説明】
【図１】実施形態１の視覚情報処理装置のブロック構成を示す図である。
【図２】広角レンズによる座標変換を説明するための図である。
【図３】広角レンズの周波数特性を説明するための図である。
【図４】センサの検出する空間周波数を説明するための図である。
【図５】多重解像度空間上の局所パターンの例を説明するための図である。
【図６】実施形態１で使用される量子化部の構成例を説明する図である。
【図７】実施形態１の確率オートマトンの例を説明する図である。
【図８】具体例で使用される階層表現の例を示す図である。
【図９】具体例で使用される視覚環境の例を示す図である。
【図１０】実施形態２の視覚情報処理装置の構成例を示すブロック図である。
【図１１】実施形態２の量子化部の構成例を説明する図である。
【図１２】相互結合型ニューラルネットワークの例を説明する図である。
【図１３】実施形態３の監視装置の構成例を示すブロック図である。
【図１４】実施形態３の監視装置の動作例を示すフローチャートである。
【図１５】実施形態４の視覚情報処理装置の構成例を示すブロック図である。
【図１６】実施形態４の量子化部の構成例を説明する図である。
【図１７】対称結合型ニューラルネットワーク群の構成例を示す図である。
【図１８】対称結合型ニューラルネットワークの構成例を示す図である。
【符号の説明】
１、２０１、３０１ レンズ系
２、２０２、３０２ アレイセンサ
３、２０３、３０３、４０２ ２次元フィルタ
４、２０４、３０４、４０３ 特徴点検出部
５、２０５、３０５、４０４ 変換符号化部
６、２０６、３０６ 量子化部
７、３０７ 確率オートマトン
８、２０８、３０８、４０７ 入力パラメータ制御部
１０ 光軸
６１、６２、６３ 量子化器
６４ コードブック
７１ パターンオートマトン
７２ シンボルオートマトン
７３ セル
１２１ パターンネットワーク
１２２ 概念ネット
１２３ ニューロン
１２４ ニューロン群
１２５ ウェイト
１６１ 内積計算部
１６２、１７３ ウェイト記憶部
１６３、１７２ ウェイト更新部
１６４ ２値化部
１７１ 対称結合型ニューラルネット更新部
１７４ 第１情報量計算部
１７５ 第２情報量計算部
１７６ 第３情報量計算部
２０７ 相互結合型ニューラルネット
３０９ 記憶部
４０１ 画像入力部
４０６ 対称結合型ニューラルネット群
４０８ 信号入力部
【発明の属する技術分野】
本発明は、視覚情報を適切に処理し、例えば、入力装置、画像符号化復号装置、画像認識装置、画像復元装置、監視装置、自律走行車、あるいは自律作業ロボットへの応用が考えられる画像情報処理方法及びその装置、並びのその制御方法に関するものである。
【０００２】
【従来の技術】
生物は、自分を取り巻く環境を、有限個の処理装置で必要なだけ正確に認識し、それに対処する機能を持っている。環境を認識するために必要とされる信号のダイナミックレンジは、あらゆる状況を想定すると非常に広い。例として視覚情報を考えてみると、生物が有する視覚センサは勿論有限個であるが、環境は全方位に広がる。従って、移動手段を持たない生物が自分を取り巻く環境を認識するためには、全方位について必要なだけの解像度で信号を入力しなければならない。しかし、生物が移動手段、即ちセンサにおける観測パラメータを変更するための手段を有するなら、生物の視覚認識系への負荷は遥かに軽くなる。何故なら、認識するために重要と思われる場所だけを認識に十分な解像度で入力し、そうでない場合は入力しなくてもいいからである。
【０００３】
従来の画像入力装置は、ＣＣＤカメラやスキャナ等に見られるように、対象とする画像を均一にサンプリングするものであった。このような画像入力装置から得られるのは、ある解像度で得られた有限な領域の画像データである。画像を環境の視覚情報の一部と考えると、このようにして得られた２次元の画像から３次元の視覚情報を推定するというのが、視覚情報処理の本質的問題である。このような問題に対して、以下の２種類のアプローチが取られている。
【０００４】
まず、１９８０年代に盛んに行われた生物の視覚系に対する研究のうち、数理モデルによる研究の殆どは、Marrのアイデア(D. Marr: "Vision" W.H.Freeman and Co.NY(1982)) に端を発するといっても過言ではない。これらの研究は視覚の計算論と呼ばれ、正則化理論からMarkov確率場、ライン過程、そして繰り込み変換群の応用と、統計物理学のアイデアにより研究を発展させてきている。しかし、これらの議論では、視覚情報は有限個の画像データとして既に与えられるものだけを対象とし、それら２次元の画像集合から３次元の構造を推定することを取り扱う。これは、例えば写真や絵を見て、その３次元世界を推定することに対応する。手持ちの情報だけで３次元の構造を推定しようとすると、一般に、問題は解が不定となるという意味で不良設定となってしまうので、彼らは知識を利用することで対処している。
【０００５】
一方、視覚入力系そのものを制御することによって認識に十分な情報を用意し、そのうえで環境を認識しようという方法論が、同時期に提案された。Ballard によるAnimate Visionである(D.H. Ballard: "Behavioural constraints on animate vision",image and vision computing, Vol.7, No.1, pp.3-9 (1989))。この方法論は、最初に入力された視覚情報に存在する不良設定性を、別の観測パラメータによる入力データで解消しようというものである。観測パラメータとしては、光学系の光軸方向やズーミング等があるが、この技術で最も重要なことは、“次に何を探すのか”“次にどこを観測するのか”を決定すること、即ち観測パラメータの制御方法である。
【０００６】
１．Ballard らによる方法(D.H. Ballard and C.M. Brown: "Principles of Animate Vision",CVGIP: IMAGE UNDERSTANDING,Vol.156, No.1, pp.3-21 (Aug.1992))
Ballard らが構築した視覚環境認識システムでは、画像入力装置は、高解像度で光軸付近の狭い領域をサンプリングする中心窩観察(foveal vision) と、低解像度で光軸から離れた広い領域をサンプリングする周辺観察(peripheral vision) との、２種類の画像入力形態を備えている。物体は、foeval vision で捕えられれば必ず認識できるとしている。知識データを、IS-A木やpart-of 木等の木構造で表現し、オブジェクト間の関係に確率構造を導入した。この木構造と確率構造とに基づいて、ある動作を遂行したときに得られる情報量とそれに費やされるエネルギーとで動作の有効関数(utility function)を定義し、このutility functionを用いて、次の動作を決定するという戦略を採用している。このような戦略によって、ある環境をより短時間で認識することができる。
【０００７】
２．上記Ballard らのシステムでは、次に探したい物体を直接探索するという方式を採っていた。Wixsonらは、目的とする物体を探索するための観測点制御法として、間接探索法を提案している(L.E. Wixon and DH. Ballard: "Using intermediate objects to improve the efficiency of visual search",Int'l. J. Computer Vision, 12:2/3 ,pp.209-230(1994)) 。間接探索法では、観測によって同定した物体と目的とする物体との間の空間的位置関係によって探索を行なう。例えば、目的とする物体がコーヒーカップで、同定した物体が机，椅子，黒板だとすると、コーヒーカップと最も空間的位置関係が強い机が存在する位置を、更に高解像度で観測するように入力系が制御される。
【０００８】
また、Brooks等のシステム(R.A. Brooks: "New Approaches to Robotics",Science,Vol.25,pp.1227-1232(1991)) は、センサ入力とアクチュエータ出力とを結ぶいくつもの基本的処理プログラムを備えている。谷等は、時系列信号ベクトルとしてのセンサ入力に存在する規則を学習によって獲得し、その規則を行動計画に利用するシステムを提案している（特開平６−２７４２２４号）。この方法によれば、未知の環境に適応するシステムを構築することができる。また、複数の可能な行動が存在する場合でも、その中からひとつを選択するようなメカニズムを提供している。
【０００９】
以上、従来の代表的な理論を紹介したが、その他にも以下のような提案がある。
【００１０】
R. Rimey and C.M. Brown: "Task-Oriented Vision with Multiple Bayes Nets", in "Active Vision", A. Blake and A. Yuille(Eds.) MIT press(1992)
S. Geman and D. Geman: "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Image", IEEE Trans. on Pattern Anal. Machine Intell., Vol.6, No.6,pp721-741(Nov.1984)
B. Gidas: "A Renormalization Group Approach to Image Processing Problems", IEEE Trans. on Pattern Anal. Machine Intell., Vol.11, No.2, pp.164-180(Feb.1989)
Kawato and Inui: "Computational Theory of the Visual Cortical Areas", IEICE Trans., Vol.J73-D-II, No.8,pp.1111-1121(Aug.1990)
D.V. Lindley: "On a measure of the infomation providedby an experiment", Ann. Math. Stat.,vol.27,pp.986-1005(1956)
K.J. Bradshaw, P.F. McLauchlan, I.D. Reid and D.W. Murray: "Saccade and pursuit on an active head/eye platform", Image and Vision Computing,Vol.12, no.3, pp.155-163 (Apr.1994)
J.G. Lee and H. Chung: "Global path planning for mobile robot with grid-type world model", Robotics and Computer-Integrated Manufacturing, Vol.11,no.1,pp.13-21(1994)
【００１１】
【発明が解決しようとしている課題】
しかしながら、上記のような計算理論の多くは、与えられた画像（の組）だけから得られる情報を議論しているため、得られる結果はあくまで推定値である。また観測者中心座標系を用いて世界を記述しているので、移動物体等の扱いが複雑である。
【００１２】
一方、Animate Visionでは、物体中心座標系を用いて世界を記述しているので、移動物体等の扱いは比較的簡単になるが、その際に最も重要となる観測点制御には、以下のいくつかの問題点が存在する。
【００１３】
１．知識を構成する物体の最小単位の認識方法を議論していない。即ち、これら最小単位の認識は容易であることを前提として議論を展開している。
【００１４】
２．知識は知識エンジニアによって記述されるとしている。即ち、人間が知らない環境に対する知識は与えられない。
【００１５】
又、特開平６−２７４２２４号等のシステムでは、知識は学習によって獲得されるが、入出力データやニューラルネットの構造が一般的であるので、知識の階層構造が得られるという保証はないし、知識の 階層構造を獲得する能力がニューラルネットにあったとしても、膨大な時間を要することが予想される。
【００１６】
そこで、本発明は、高速に必要な画像情報を獲得できる画像情報処理方法と装置を提供することを目的とする。
【００１７】
また、本発明は、画像情報処理方法及びその装置を有効に適用した各種システムを提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明によれば、画像情報処理装置の制御方法において、画像情報処理装置の画像入力部より画像を光学的に入力し、入力された画像を２次元フィルタにより多重解像度展開し、多重解像度展開された画像より特徴点を検出し、検出された各特徴点について、その特徴点における正規化された前記２次元フィルタの出力値と、各特徴点の位置座標及び多重解像度展開された局所パターンに対するその特徴点の相互情報量と、その特徴点と前記画像入力部の光軸との距離とに基づいて評価値を算出し、前記評価値が最大となる特徴点に前記光軸を一致させるように、前記画像入力部を制御する。
【００２０】
また、本発明の他の態様によれば、画像情報処理装置に、画像を光学的に入力する画像入力手段と、前記画像入力手段から入力された画像を多重解像度展開する２次元フィルタと、前記２次元フィルタにより多重解像度展開された画像より特徴点を検出する検出手段と、前記検出手段により検出された各特徴点について、その特徴点における正規化された前記２次元フィルタの出力値と、各特徴点の位置座標及び多重解像度展開された局所パターンに対するその特徴点の相互情報量と、その特徴点と前記画像入力手段の光軸との距離とに基づいて評価値を算出する算出手段と、前記算出手段により算出された評価値が最大となる特徴点に前記光軸を一致させるように、前記画像入力手段を制御する制御手段とを備える。
【００２３】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明に係る好適な１実施形態を詳細に説明する。
【００２４】
〔実施形態１〕
図１は、本実施形態の視覚情報処理装置の構成例を表すブロック図である。以下、順に構成要素の動作を説明する。
【００２５】
＜レンズ系(lens system) １＞
ここで、レンズ系１は、広角レンズ(wide view lens)（魚眼レンズ(fish eye lens) を含む）を備え、画像を光学的に入力するためのレンズ系であり、更に通常レンズを設けてもよい。
【００２６】
図２に、レンズ系１の広角レンズによる座標変換例を示す。図中、ｘが入力系の正面に位置する画像面上での極座標系の動径、ｔが広角レンズで変換された後の極座標系の動径である。本光学系は、この極座標系の角度（紙面に垂直な面上での極座標系の角度θ）を保存するので、図２及び以下の説明は全て動径方向に限って行う。
【００２７】
ｘ，ｔは、光軸に対する入射角度φ，焦点距離ξを用いて、
ｔ＝２ξ tan（φ／２） （１）
ｘ＝ξ tan（φ） （２）
と書ける。これらより、ｘはｔの関数として次式で表わせる：
ｘ＝ｔ／｛１−（ｔ／２ξ)2｝ （３）
これが広角レンズにおける座標変換である。
【００２８】
画像平面全域に広がる動径方向周波数ｆ（０）のパターンをレンズ系１によってアレイセンサ２の平面上に投射したとき、アレイセンサ２の平面上で光軸１０から距離ｔの位置での局所的な動径方向周波数は、式（４）で表せる。
【００２９】
f(t)＝f(0)・{(１−（ｔ／２ξ)2)2／｛１＋（ｔ／２ξ )2} （４）
実際には、極座標系（ｔ，θ）を用いて、２次元画像ｆ（ｔ，θ）が出力される。もちろん、３次元の実空間に存在する任意の物体を対象とする場合には、入射角度φとｔとの関係のみを知ればいいから、
ｔ＝２ξ tan（φ／２） （５）
が座標変換となる。
【００３０】
なお、広角レンズには、上記以外の座標変換規則に従うものがいくつかあり、上記広角レンズに代えて、それらの広角レンズをレンズ系１に使用してもよい。
【００３１】
＜アレイセンサ(array sensor)２＞
アレイセンサ２は、レンズ系１によって座標変換を受けた２次元画像ｆ（ｔ，θ）を、２次元アレイ状に並べられたセンサでサンプリングし、離散２次元画像を得る。アレイセンサ２の左上のセンサ番号を（１，１）とし、横方向にｍ番目、縦方向にｎ番目のセンサ番号を（ｍ，ｎ）と記述する。センサ番号（ｍ，ｎ）のセンサの出力ｇm,n は、積分核をψm,n (x) として、
【００３２】
【外１】
【００３３】
＜２次元フィルタ(2D filter) ３＞
２次元フィルタ３は、アレイセンサ２の出力信号、即ち離散２次元画像
｛ｇm,n ｝m,n を入力として受取り、以下のようなマスク処理を施して、多重解像度展開する。
【００３４】
【外２】
【００３５】
【外３】
【００３６】
また、以下のような作用素集合も有効である。
【００３７】
（ａ）空間定数の異なる複数の▽2 Ｇ作用素：等方性バンドパスフィルタの集合を構成することができる。
【００３８】
（ｂ）空間定数と方向の異なる複数のGabor 作用素：方向に依存するバンドパスフィルタの集合を構成することができる。
【００３９】
図３は、レンズ系１，アレイセンサ２，２次元フィルタ３を組み合わせたシステム（以下、広角レンズ入力装置と呼ぶ）で検出される動径方向周波数帯域と光軸１０からの距離との関係を図式的に表している。同図は、２次元フィルタ３におけるマスク作用素が▽2 Ｇで、場所に拠らず一定の場合である。光軸から離れるに従って高周波成分検出に寄与する積分核を削除していくように構成された画像フィルタと近似的に等しい。図３より、光軸の方向を変えることによって、周波数空間の全領域を覆うことができることがわかる。
【００４０】
上記考察は、図４に示すシミュレーション結果によって検証される。同図から、広角レンズ入力装置が検出する中心周波数は、光軸からの変位とともに、単調に減少すること、装置が検出できる最大周波数以下の成分を全て検出することが確認できる。
【００４１】
＜特徴点検出部(feature extractor) ４＞
特徴点検出部４では、２次元フィルタ３の出力画像から極大点を抽出して特徴点とし、それらの座標を出力する。これら特徴点の座標は、入力パラメータ制御部８に送られ、入力パラメータ制御量の決定のために用いられる。
【００４２】
２次元フィルタ３、および特徴点検出部４は、偏角の原理を応用して次のように構成することもできる。２次元フィルタでは、まず画像｛ｇm,n ｝m,n にグラジエント(gradient)▽を作用させてベクトル場｛ωm,n ｝m,n を生成する：
ωm,n ＝▽ｇm,n
＝{(ｇm,n-ｇm-1,n)／△ｘ｝e1＋{(ｇm,n-ｇm,n-1)／△ｙ} e2 (9)
ただし、ｅ１、ｅ２は基底ベクトル、△ｘ、△ｙは横方向、および縦方向のグリッド間隔である。次に各点（ｍ，ｎ）におけるベクトルの方向を求める：
arg(ωm,n)＝arctan〔{(gm,n-gm,n-1) ／△y}/{(gm,n-gm,n-1) ／△x}〕 (10)ベクトル場を複素関数で表現すれば、上記方向は複素数の偏角である。これに、偏角の原理を応用して、零点や極が検出できる。
【００４３】
偏角の原理とは、関数ｆ（ｚ）は単連結領域Ｄで有理形、ＣはＤ内の正の向きの単純閉曲線で、Ｃの上にはｆ（ｚ）の零点も極も存在しないものとする。Ｃの内部において、ｆ（ｚ）はａj （ｊ＝１，２，…，ｍ）にそれぞれ位数λj の零点、ｂk （ｋ＝１，２，…，ｎ）にそれぞれ位数μk の極をもつとする。このとき、Ｃ上の１点ｚ0 から出発してＣを一周してｚ0 へ戻ったときのｆ（ｚ）の偏角の増加量△c arg ｆ（ｚ）は、Ｃ内部にある零点及び極の個数（位数も考慮した）を
【００４４】
【外４】
△c arg ｆ（ｚ）＝２π（Ｎz(ｆ）−Ｎp(ｆ）） （１１）
上記偏角の原理を用いてベクトル場｛ωm,n ｝m,n の特徴点を検出する方法を以下で説明する。
【００４５】
Ｓｔｅｐ１ ｎ＝１とする。
【００４６】
Ｓｔｅｐ２ ｍ＝１とする。
【００４７】
Ｓｔｅｐ３ （ｍ，ｎ）を中心に適当な近傍を考える。例えば８近傍：
{(m-1,n-1),(m,n-1),(m+1,n-1),(m-1,n),(m+1,n),(m-1,n+1),(m,n+1),
(m+1,n+1)} （１２）
を選ぶ。
【００４８】
Ｓｔｅｐ５ 偏角の原理により、上記近傍に囲まれる領域内に存在する零点及び極の、位数を考慮した個数が次のように与えられる：
Ｎz （ω）−Ｎp （ω）＝（△c arg ωm,n ）／２π （１３）
△cargω m,nは以下のように計算する：
△cargω m,n
≒Υ（ωm+1,n+1 ，ωm+1,n)＋Υ（ωm,n+1 ，ωm+1,n+1)
＋Υ（ωm-1,n+1 ，ωm,n+1)＋Υ（ωm-1,n ，ωm-1,n+1)
＋Υ（ωm-1,n-1 ，ωm-1,n)＋Υ（ωm,n-1 ，ωm-1,n-1)
＋Υ（ωm+1,n-1 ，ωm,n-1)＋Υ（ωm+1,n ，ωm+1,n-1) (14)
ここで、Υ（ｘ，ｙ）＝argx−argy if argx−argy≦π
argy−argx otherwise (15)
【００４９】
Ｓｔｅｐ６ ｍ＝ｍ＋１とする。
【００５０】
Ｓｔｅｐ７ ｍが画像の範囲を越えたかどうかを判断し、越えたらＳｔｅｐ８に進み、そうでなければ、Ｓｔｅｐ２からの処理を繰り返す。
【００５１】
Ｓｔｅｐ８ ｎ＝ｎ＋１とする。
【００５２】
Ｓｔｅｐ９ ｎが画像の範囲を越えたかどうかを判断し、越えたら処理を終了し、そうでなければ、Ｓｔｅｐ３からの処理を繰り返す。
【００５３】
特徴検出装置では、上記偏角の原理より得られた個数Ｎz(ω）−Ｎp(ω）が負になる点を検出する。これにより、零点より極の方が多い領域が検出され、十分小さな領域では極が存在する点を検出することになる。
【００５４】
＜変換符号化部(transform encoder) ５＞
変換符号化部５は、２次元フィルタ３によって多重解像度空間上に写像された画像データを、局所パターン空間へ変換して出力する機能を有する。
【００５５】
まず、多重解像度空間での座標｛ｓf(＝２k)，ｂf}に対する深さｄまでの近傍の集合Ｎd(ｓf,ｂf)というものを、
ｓ＝２p ；ｐ＝｛k, k-1, …，Max(0, k-d) ｝ (16)
ｂ＝ｂf ±{(m-1/2)2p△x, (n-1/2)2p△y)} ;m,n ＝{1, …,2k-p} (17)
と定義する。ただし、ｓf ，ｂf は特徴点検出部４で検出された特徴点のスケール（空間周波数の逆数と考えてよい）と座標であり、△ｘ，△ｙはアレイセンサ２のｘ方向，ｙ方向のセンサ間の距離である。
【００５６】
図５にはＮ2(ｓf ，ｂf ）５１が示されている。Ｎ2(ｓf ，ｂf ）５１は、多重解像度空間に於ける位置（ｓf ，ｂf ）が異なれば、５２や５３で示すように、局所パターンが覆う領域、即ち実空間領域（ｂの幅）及びスケール領域（ｓの幅で周波数領域に相当）が異なることがわかる。すなわち、Ｎ2(ｓ53，ｂ53）が覆う領域は、実空間領域５５とスケール領域５７となり、Ｎ2(ｓ52，ｂ52）が覆う領域は、実空間領域５４とスケール領域５６となる。特に、深さ“０”の近傍は特徴点位置の画素そのものを表す。
【００５７】
このようにＮd(ｓf ，ｂf ）は多重解像度空間での座標（ｓf ，ｂf ）をルートとする４分木（図では２分木）に等しい。多重解像度空間の座標（ｓf ，ｂf ）における深さｄの局所パターンＰd(ｓf ，ｂf ）とは、Ｎd(ｓf ，ｂf ）の各ノードに強度を対応させたものをいい、深さｄの局所パターン空間とは、上記４分木の集合に有限次元ベクトルに対する内積を定義することによって張られる関数空間をいう。多重解像度空間における局所パターンを考えることによって、３次元物体のある種の運動に対する不変量が得られる。ただし、その深さ（例えばどのくらいのスケールの範囲に亙っているか）は物体によって異なる。
【００５８】
変換符号化部５から出力されるデータ形式は、例えば深さ２の局所パターンのみを採用した場合の、ｓ＝{s0,s1,s2}，ｂ＝{b0,b1… , bj,…, bJ }の離散多重解像度空間に対しては、
{(b0,(P2(s0,b0), P2(s1,b0), P2(s2,b0))),
(b1,(P2(s0,b1), P2(s1,b1), P2(s2,b1))),
…
(bJ,(P2(s0,bJ), P2(s1,bJ), P2(s2,bJ)))} (18)
となる。
【００５９】
＜量子化部(quantizer)6＞
図６に量子化部６の詳細な構成図を示す。量子化部６は、変換符号化部５から例えば以下の形式のデータを受ける。
【００６０】
{(b0,(P2(s0,b0), P2(s1,b0), P2(s2,b0))),
(b1,(P2(s0,b1), P2(s1,b1), P2(s2,b1))),
…
(bJ,(P2(s0,bJ), P2(s1,bJ), P2(s2,bJ)))} (19)
量子化部６は、上記データの例えば局所パターンを量子化して、符号語
Ｓ2(ｓf ，ｂf ）∈Ｚに変換する：
{(b0,(S2(s0,b0), S2(s1,b0), S2(s2,b0))),
(b1,(S2(s0,b1), S2(s1,b1), S2(s2,b1))),
…
(bJ,(S2(s0,bJ), S2(s1,bJ), S2(s2,bJ)))} (20)
以下、量子化部６における処理手順を簡単に説明する。
【００６１】
（ａ）ｊ＝０とする。
【００６２】
（ｂ）量子化部６に特徴点ｂｊ に関するデータ、最初の場合、
(b0,(P2(s0,b0), P2(s1,b0), P2(s2,b0))) (21)が入力される。
【００６３】
（ｃ）P2(s0,b0), P2(s1,b0), P2(s2,b0) のそれぞれが量子化器６１，６２，６３に入力され、対応する符号語S2(s0,b0), S2(s1,b0), S2(s2,b0) が出力される。このとき、量子化器６１，６２，６３ともコードブック６４を用いる。
【００６４】
（ｄ）(b0,(S2(s0,b0), S2(s1,b0), S2(s2,b0)))を出力する。
【００６５】
（ｅ）ｊ←ｊ＋１として（ｂ）に戻る。
【００６６】
量子化部６には、代表ベクトルを獲得するための学習モードと、入力信号を符号化するための実行モードがあるが、これらは通常のベクトル量子化技術で実現できる。
【００６７】
ここで、コードブック６４は、各ノード位置における成分強度の組として表現された上記局所パターンに番号（符号語）付けを行うものであり、例えば、以下の実施例２で説明するような学習ベクトル量子化で作成されてもよい。又、出現する全ての局所パターンに順番に番号を割り付けてもよい。
【００６８】
すなわち、与えられた画像は、特徴点の位置座標と局所パターンの符号語との組として符号化される。しかし、このような符号化は、空間的に隣接する局所パターン間に強い相関が存在するという意味でかなり冗長性を含んでいる。量子化部６の代表ベクトルには、このような冗長性が含まれていていないことが望ましい。これら冗長性は、それぞれの代表ベクトル間の同時出現確率を用いて削減することができる。
【００６９】
＜確率オートマトン(stochastic automaton)7>
上記量子化部６から出力された特徴点の位置座標と局所パターンの符号語との組が、確率オートマトン７の各セルに入力される。
【００７０】
図７に確率オートマトン７の構成例を示す。図中、７１は、画像入力データの幾何学的特徴及び時間的相関に基づいて構築されるパターンオートマトンであり、７２は、上記パターンネットの結果と他の入力信号、例えば人間によるキーボードからの知識データや他のセンサ信号等とによって構築されるシンボルオートマトンである。７３はセルであり、有限個の状態を取ることができる。状態値の集合上に確率構造が定義されている。確率オートマトン７は形式的に階層構造をしているが、一般的にはブロック化されているという。ｑ層に属するｒ番目のセルの状態の集合をΩr (q)、その上の確率分布を｛ｐ（ωu)｝；ωu ∈Ωr (q)、（ｑ＋１）層に属するｖ番目のセルの状態の集合をΩv (q+1)、その上の確率分布を｛ｐ（ωz)｝；ωz ∈Ωv (q+1)と書く。このとき、これら確率分布は、以下のように条件付き確率によって関係付けられているとする。
【００７１】
【外５】
【００７２】
パターンオートマトン７１に属するセルは、多重解像度空間を分割したときの各々の部分領域に対して１対１に割当てている。従って、セルの状態値は、多重解像度空間の部分領域における符号語に当たる。条件付き確率を要素とする状態遷移行列は、量子化器６のコードブック６４を学習するときに、同時に計算する。
【００７３】
一方、シンボルオートマトン７２に属するセルは、物体或いは事象と１対１に対応する。これらの間の条件付き確率は、知識エンジニアによって与えられてもいいし、画像入力データの時間的空間的相関によって計算してもよい。
【００７４】
例えば、変換符号化部５による多重解像度表現をしない場合の３レベルの階層表現の例を、図８に示す。それぞれのレベルにおける配位空間は、１つ下のレベルの配位空間の（３×３）の空間的配置により構成される。つまり、Ω(0) は実数値を取る画素を（３×３）に並べてできるパターンの全体、Ω(1) はΩ(0) のパターンに付けられた番号の全体を整数としたときに、この整数を（３×３）に並べてできるパターンの全体、…という具合である。従って、各層間の条件付き確率がモデルとして存在し、Ω(0) に属する１８個のパターンに対する事前確率が与えられれば、Ω(1) ，Ω(2) に属するパターンの確率分布が計算できる。
【００７５】
尚、実施例１の確率オートマトン７及び実施例２の相互結合型ニューラルネット２０７等を、まとめて知識獲得部とも総称する。
【００７６】
＜入力パラメータ制御部(input parameter controller)８＞
上記特徴点検出部４からの特徴点の座標及び確率オートマトン７からのパターンの確率分布に基づいて、レンズの光軸方向やズーミング等の入力パラメータ制御信号を上記広角レンズ入力装置に出力する構成要素であり、例えば光軸方向に関しては、以下のような処理を行う。
【００７７】
光軸制御法は、特徴点検出部４で検出された特徴点の集合のうちのどの特徴点を選択するかで決まる。例えば、この選択の評価基準を次式で定義する。
【００７８】
Ｌbr＝Ｌ（ｗbr，Ｔ（ｂr,Ωv (q+1)），ρ（ｂr)） (23)
ここで、ｗbrは特徴点ｂr における正規化された２次元フィルタ３の出力値、右辺第２項はΩv (q+1)に対する特徴点ｂr の相互情報量、ρ（ｂr)は現在の光軸からｂr までの距離である。Ｌbrの最も簡単な例としては、それぞれの変数の線形結合が考えられる。
【００７９】
Ｌbr＝α0 ｗbr＋α1 Ｔ（ｂr,Ωv (q+1)）＋α2 ρ（ｂr) (24)
先ずΩv (q+1)に対するΩr (q)の相互情報量Ｔ（Ωr (q)，Ωv (q+1)）を次式(25)で定義し、これを用いて、Ｔ（ｂr,Ωv (q+1)）＝Ｔ（Ωr (0)，Ωv (q+1)）を計算する。
【００８０】
【外６】
上式（２３）あるいは（２４）を最大にする空間座標に光軸を一致させるように、光軸の修正量を決定する。パターンオートマトン７１の各セルは、実空間座標とスケール座標との両方をもっている。従って、相互情報量が最大の（観測）位置に光軸を一致させるということは、相互情報量が最大のセルを見つけることと同じである。各セルは符号語とそれに対する出現確率を記憶しており、さらに各セル間の関係は条件付き確率で結び付いているので、これらを用いて、ある特性のセルの状態を決定する（これはその特定のセルの符号語の出現確率に対するエントロピを下げることと同じ）ために、最も有効なセル、即ち相互情報量が最大となるセルを決定することができる。これを、式（２３）から式（２５）を使って計算する。
【００８２】
尚、上記式（２３）から式（２５）は、多重解像度空間あるいはその局所パターンに適用すれば、ズーム制御の評価値ともなる。本発明の評価値の計算及び評価は式（２３）から式（２５）に限定されない。
【００８３】
＜本実施例の具体例＞
以下では、上記本理論を簡単な例に適用することによって、その有効性を示す。尚、本具体例では説明を簡単にするために、（３×３）のアレイセンサを使用し、広角レンズや変換符号化部の作用による多重解像度表現をしない例で説明する。本例で式（２４）の第１項は画素データの変化量（黒／白）と考えられる。
【００８４】
入力装置は一度に（３×３）画素の範囲が見えるものとし、図８のようなモデルを知識として持っているものとする。ここでは、パターンオートマトンのみを利用して、２次元パターンを認識する例を示す。図よりレベル（０）パターンの台は３×３画素、レベル（１）パターンの台は９×９画素、レベル（２）パターンの台は２７×２７画素であることがわかる。従って、システムは一度の観測でレベル（０）のパターンを認識することができる。また、レベル（１）及びレベル（２）のパターン中に現れる数字は、それぞれレベル（０）及びレベル（１）パターンの符号語である。また、それぞれのレベルのパターンに対する出現確率は等しいとする。以下、レベル（１）パターンを認識する操作を、レベル（１）観測と書くことにする。
【００８５】
視覚環境として図９に示すパターンが与えられたとして、レベル（２）パターンを認識する問題を考える。ただし、図中、左上を原点（０，０）、右にｉ番目、下にｊ番目の画素の座標を（ｉ，ｊ）と記す。システムは２つのレベル（２）パターンしか知らないので、与えられた画像中のパターンがこのどちらかを特定すればいい。
【００８６】
図９は本装置に入力される入力画像で、この画像が、変換符号化部５及び量子化部６を経て、式（１３）の形式になる（ただし冗長な部分は削除される）。
【００８７】
図７のパターンオートマトン７１の一番上のそのセルには、図８のΩ(0) に含まれる１８個の符号語に対する出現確率を記憶するバッファがあり、パターンオートマトン７１の上から１層目の各セルは、自分が受け持つ空間領域にある部分画像（入力画像の部分画像）（本例では３×３の部分画像）と図８のΩ(0) に含まれる１８個の局所パターンとのマッチングを取り、それに対応する符号語とそれぞれの出現確率を記憶する。１層目のあるセルに対応する部分画像が得られていない時には、１層目のセルは、全ての符号語に対して同じ出現確率“１／１８”を割り当てる。また、部分画像が局所パターンの“１”か“２”であることがわかったときは、符号語１と符号語２の出現確率として“１／２”を、その他の符号語の出現確率として“０”を記憶する。
【００８８】
パターンオートマトン７１の各セルは、図８のΩ(1) に含まれる４つのパターンに対する符号語とその出現確率を記憶する。ここでいうパターンとは、１層目のセルの符号語の空間的配置を言う。即ち、１層目のセルの符号語の局所的配置を、“１”から“４”までの数字で代表させる。２層目のセルの受け持つ部分空間で１層目の符号語が“１”から“４”までのどの配置をしているかは、式（２２）を用いて計算される。式（２２）の乗算は、本例では３×３個のパターンについて行う。３層目のセルについても同様に、２つの符号語に対する出現確率を式（２２）を用いて計算する。
【００８９】
さて、初期のレベル（０）観測が座標（１０，１０）の位置で行われたとし、引き続く処理を順を追って説明する。座標（１０，１０）は特徴点検出部により検出されたものとしてもよい。
【００９０】
（ステップＳ１）
座標（１０，１０）のレベル（０）観測によって得られた情報は、レベル（０）パターンが“１８”であるということであり、この情報が“０”であることは容易にわかる。システムは現在自分が観測している位置とレベル（２）パターンの相対的位置との対応を付けるために、先ず現在の観測点付近でのレベル（１）パターンを特定する必要がある。
【００９１】
レベル（２）の観測を終了させるためには、Ω(2) でのエントロピーを最小にしなければならない。即ち、Ｔ（Ω(i,j) (1)，Ω(10,10) (2)）を最大にするような観測点（ｉ，ｊ）を選択する。観測点の候補としては、｛（１６，１０），（１３，１３），（１０，１６），（１６，１６）｝の４点が選ばれる。それぞれの点を観測したときの情報量の期待値は、
Ｔ（Ω(16,10) (1)，Ω(10,10) (2)）＝0. 219，
Ｔ（Ω(13,13) (1)，Ω(10,10) (2)）＝0. 354，
Ｔ（Ω(10,16) (1)，Ω(10,10) (2)）＝0. 219，
Ｔ（Ω(16,16) (1)，Ω(10,10) (2)）＝0. 354． (26)
となる。これより、距離の近い観測点を選ぶものとすれば、次の観測点として
（１３，１３）を選択する。距離に関する条件はこれに限定はされない。
【００９２】
（ステップＳ２）
座標（１３，１３）でのレベル（０）観測を行う。その結果レベル（０）パターン“１４”を得る。これではまだ座標（１３，１３）を中心とするレベル（１）パターンは特定されない。そこで、ステップＳ１と同様にして、座標（１６，１６）でのレベル（０） 観測を行う。その結果レベル（０）パターン“１０”を得、これより、座標（１３，１３）を中心とするレベル（１）パターンは“１”に特定される。再びレベル（２）のそれぞれの観測点における情報量を計算する。観測点の候補はレベル（１）の座標（２２，２２）の１点である。即ち座標（２２，２２）でのレベル（２）パターンが“２”か“３”かを特定する。そのための、レベル（０）の観測点候補の点を観測したときの情報量の期待値は、
Ｔ（Ω(19,19) (1)，Ω(16,16) (2)）＝0. 171，
Ｔ（Ω(25,19) (1)，Ω(16,16) (2)）＝0. 171，
Ｔ（Ω(22,22) (1)，Ω(16,16) (2)）＝0. 585，
Ｔ（Ω(19,25) (1)，Ω(16,16) (2)）＝0. 171，
Ｔ（Ω(25,25) (1)，Ω(16,16) (2)）＝0. 585，
これより次の観測点として距離の近い（２２，２２）を選択する。
【００９３】
（ステップＳ３）
座標（２２，２２）の観測によって、レベル（０）パターン“１７”が得られる。これより、この位置でのレベル（１）パターンが“３”か“４”かであることがわかり、結局、与えられた入力信号は、レベル（２）パターンの“２”であることが認識できる。
【００９４】
尚、上記具体例では、簡略化のために多重解像度空間やその局所パターンを考慮していないが、多重解像度空間やその局所パターンを考慮に入れても、処理が複雑になるのみで同様の処理が可能である。多重解像度空間やその局所パターンを考慮に入れることにより、光軸の制御に他にズーム制御等も可能となる。
【００９５】
〔実施形態２〕
実施形態２では、実施形態１の確率オートマトン７を相互結合型ニューラルネット（Hopfield-type ＮＮ）で実現した例を示す。これによって、入力パラメータ制御部２０８における処理も変わる。
【００９６】
図１０は、本実施形態の視覚情報処理装置の構成例を表すブロック図であり、レンズ系２０１，アレイセンサ２０２，２次元フィルタ２０３，特徴点検出部２０４，変換符号化部２０５は、それぞれ、実施形態１のレンズ系１，アレイセンサ２，２次元フィルタ３，特徴点検出部４，変換符号化部５と同様である。
【００９７】
＜量子化部２０６＞
図１１に量子化部２０６の構成を示す。量子化部２０６には、代表ベクトルを獲得するための学習モードと、入力信号を符号化するための実行モードとがある。学習モードでの代表ベクトルの獲得には、相関行列を用いる方法と、Kohonen によって提案されている学習ベクトル量子化器を用いる方法がある。以下では、Kohonen の学習ベクトル量子化器によって、深さｍの量子化器を構成する方法を説明する。
【００９８】
（ａ）代表ベクトルの個数分のウェイトベクトルＷn mを用意し、それぞれを小さい乱数によって初期化する。
【００９９】
（ｂ）局所パターンＸm とＷn mとの内積を出力する、ウェイトベクトルＷn mと同数の演算素子（processing element）ＰＥn mを用意する。各ＰＥ間には２次元距離が導入されており、ＰＥの近傍半径Ｒを適当に設定する。
【０１００】
（ｃ）入力される局所パターンＸm に対して、最大値を出力するＰＥn m MAX を見つけ出し、ＰＥn m MAX との距離がＲより小さいＰＥに対するウェイトベクトルＷn mを次式で修正する。
【０１０１】
Ｗn m←Ｗn m＋ηW ( Ｘm −Ｗn m MAX ）
ここでηW は定数である。ウェイトベクトルの修正とともにＰＥ近傍半径Ｒを徐々に小さくしていく。
【０１０２】
このようにして、出現確率の高い局所パターンは、ウェイトベクトルとして学習ベクトル量子化器に記憶される。局所パターンの符号化は、最大値を出力するＰＥのインデックスとして与えられる。
【０１０３】
量子化部２０６の実行モードでは、各特徴点近傍の特徴ベクトルを、上記学習ベクトル量子化器に入力し、そのときの｛ＰＥn m｝n のうち、出力が最大となる演算素子のインデックスを符号語とする。この処理によって、全ての特徴点に適当な符号語の組が対応づけられる。
【０１０４】
このようにして、与えられた画像は、特徴点の位置座標と局所パターンの符号語との組として符号化される。しかし、このような符号化は、空間的に隣接する局所パターン間に強い相関が存在するという意味でかなりの冗長性を含んでいる。量子化部２０６の代表ベクトルには、このような冗長性が含まれていないことが望ましい。これら冗長性は、それぞれの代表ベクトル間の同時出現確率を用いて削減することができる。
【０１０５】
＜相互結合型ニューラルネット（Hopfield-type neural network）２０７＞
図１２に相互結合型ニューラルネット２０７の構成を示す。図１２中、パターンネット１２１は、画像入力データの幾何学的特徴及び時間的相関に基づいて構築されるネットワークであり、概念ネット１２２は、上記パターンネットの結果と他の入力信号、例えば人間によるキーボードからの知識データや他のセンサ信号等によって構築されるネットワークである。
【０１０６】
ニューロン１２３は、多入力１出力の演算素子であり、入力ベクトルｘと出力値ｙとは、ウェイトベクトルｗを用いて、
ｙ＝ｓｇｍ（ｗT ｘ） （２８）
という関係で結び付けられる。ただし、ｓｇｍ（・）はシグモイド関数である。ニューロンの出力値は、ニューロンに対応するパターン或いは概念の出現確率を表している。
【０１０７】
１２４は互いに競合するニューロンの集合としてのニューロン群であり、１２５はニューロンｊとニューロンｋとを結ぶウエイトＷj,k である。ニューロン群は形式的に階層構造をしており、更に各階層で複数のブロックを形成している。（ｑ）層ｒブロックのニューロン群をΩ(q):r 、（ｑ＋１）層ｖブロックのニューロン群をΩ(q+1):v と書く。パターンネット１２１に属するニューロン群は、多重解像度空間の対応する座標に於ける局所パターン空間を表現している。パターンネット１２１には、初期状態として量子化部２０６からのデータが設定される。
【０１０８】
上記構成のニューラルネット２０７の運動は、次式で定義されるエネルギ関数に支配される。即ち、各ブロックに属するニューロンの出力値をＶm ∈Ω(q):r ，Ｖn ∈Ω(q+1):v と書けば、以下のように定義できる：
【０１０９】
【外７】
パターンネット１２１のウエイトは、学習ベクトル量子化器に於けるウエイトと対応するので、学習ベクトル量子化によるウエイトの値を利用することができるが、以下の方法でも獲得できる。
【０１１１】
パターンネット１２１及び概念ネット１２２のウエイトは以下のように獲得することができる。即ち、式（２９）を学習ポテンシャル関数と見做すことによって、ウエイトの修正量は、
【０１１２】
【外８】
【０１１３】
＜入力パラメータ制御部２０８＞
実施形態１で説明した相互情報量は、相互結合型ニューラルネットに対応させて、以下のように算出する。
【０１１４】
（ａ）相互結合型ニューラルネットの（ｑ）層ｒブロックのニューロンの集合Ｖm ∈Ω(q):r と（ｑ＋１）層ｖブロックのニューロンの集合Ｖn ∈Ω(q+1):v とを結ぶコネクションの集合Ｗm nに関するエントロピーε(q):r (q+1):vを、
【０１１５】
【外９】
【０１１６】
【外１０】
【０１１７】
（ｂ）相互結合型ニューラルネットの、（ｑ）層ｒブロックのニューロンの集合Ｖm ∈Ω(q):r に対して、エントロピーε(q):r を、
【０１１８】
【外１０】
【０１１９】
（ｃ）ε(q):r (q+1):vとε(q):r より、以下のように式（２５）と同様の値を得る。
【０１２０】
Ｔ（ε(q),T+1,p(ω；ＡT (q+1)))＝−ε(q):r (q+1):v＋ε(q):r （３３）
【０１２１】
〔実施形態３〕
実施形態３では、本実施形態の視覚情報処理装置の監視装置への応用例を示す。
【０１２２】
図１３は、本実施形態の監視装置の構成例を表すブロック図であり、レンズ系３０１，アレイセンサ３０２，２次元フィルタ３０３は、実施形態１のレンズ系１，アレイセンサ２，２次元フィルタ３と同様である。
【０１２３】
＜特徴点検出部３０４＞
特徴点検出部３０４では、２次元フィルタ３０３による空間的配置に関する特徴点のみならず、画像データの時間的変化の極値も特徴点として検出する。監視装置は、店内やオフィス内等のように、通常動くものが殆ど存在しない場所に設置される。異変が無ければ画像データは変化しないので、変化する場所だけを詳しく観測すればよい。これによって、監視情報の録画時間が大幅に長くできる。
【０１２４】
このような意味から、画像データの時間変化は重要な特徴である。運動する物体を捕捉するためには、フィードバック制御の時間遅れをできるだけ小さくしたい。特徴点検出部３０４には、検出した特徴点位置に光軸を向ける光軸制御量を計算し、入力パラメータ制御部３０８に送る機能も有する。このような機能によって、運動物体のセンサ上での像は静止画像として処理できる。
【０１２５】
＜変換符号化部３０５＞
捕捉した運動物体に関する画像データを符号化する。この符号化データは、通信回線或いはバスライン等を通じて、外部記憶装置３０９に記憶される。
【０１２６】
＜量子化部３０６＞
捕捉した物体の符号化データは、即座に適当な符号語に割り当てられる。従って、以後これらの物体が画像上に現れたときには、それらは位置と、対応する符号語とで表現される。
【０１２７】
＜確率オートマトン３０７＞
捕捉した物体の符号化データは、即座に確率オートマトン３０７の状態遷移確率行列に反映される。ある限定された周波数領域の強度を知ることによって、その周波数強度関数を含む物体を推定することができる。これによって、一度捕捉した物体の位置は、光軸を合わせた高解像度のデータは必要なく広角レンズの任意の部分で観測すればよい。即ち光軸を制御する必要がない。監視領域に複数の物体が現れた場合でも、それらを１度だけ順々に観測すれば良い。
【０１２８】
＜入力パラメータ制御部３０８＞
特徴点選択の評価基準としては、特徴点における２次元フィルタ出力値と、時間変化量、そして、相互情報量の線型結合を採用する。
【０１２９】
運動する物体に対しては、それが現れた時刻に光軸中心で観測することとし、あとはその物体を光軸中心で捕捉することはしないという基準を設ければ、より効率的な監視装置が可能になる。
【０１３０】
＜外部記憶部３０９＞
各種データを記憶する。監視装置は、最初に正常な状態の画像データを記憶する。以後は、時間的に変化した部分だけを記憶する。記憶されるデータは、捕捉した物体の符号化データと捕捉した時刻、それらの位置の時間変化（軌跡）である。このような記憶形態によって、記憶するデータ量を大幅に減少させられるため、長時間の録画が可能となる。
【０１３１】
＜監視装置の動作例＞
上記のように構成される監視装置の実際の動きを、図１４のフローチャートに従って説明する。
【０１３２】
まず、ステップＳ１１で、設置された場所の初期画像を記憶部３０９に記憶する。
【０１３３】
次に、ステップＳ１２で、式（２４）によって特徴点の評価を行う。式（２４）から明らかなように、評価値が大きくなる特徴点とは、その近傍の画素値の時間変化量が大きいか、得られる情報が大きいかである。上記２つの項目の評価値が等しい特徴点が複数存在した場合でも、それらのうち、光軸に最も近いものが選ばれるように、式（２４）は定義されている。
【０１３４】
ステップＳ１３では、特徴点のうち、評価値があるしきい値αより大きいものが存在する場合は、ステップＳ１６へ行く。
【０１３５】
ステップＳ１４で、全ての特徴点の時間変化量があるしきい値βより小さい場合には、ステップＳ１２へ戻る。
【０１３６】
ステップＳ１５では、特徴点のうち、時間変化量があるしきい値βを越えるものは、その特徴点に対応する符号語ベクトル（不完全でよい）をもとに、後述の物体に関する完全な記述を用いてそこに存在する物体を同定し、現在の時刻と特徴点の座標と物体に対応する符号語とを組にして、記憶部３０９に記憶し、ステップＳ１２へ戻る。
【０１３７】
ステップＳ１６では、選択された特徴点に光軸を一致させる。
【０１３８】
ステップＳ１７において、特徴点近傍に存在する物体の完全な記述（符号語の組）を獲得し、適当な番号を割当てる。物体に割り立てられた番号と、符号語の組と、時刻と、特徴点座標とを組にして記憶部３０９に記憶する。ステップＳ１２に戻る。
【０１３９】
前記ステップＳ１５への移行は、特徴点付近の測定データをもとに、それが高い信頼性をもって以前に観測し詳細なデータを記憶したデータであると推定できる場合に相当する。従って、本実施形態の監視装置は、誰かが店内に入ってきた時だけ詳細な観測を行ない（Ｓ１６，Ｓ１７）、それ以降はその人の位置情報のみを記憶するという処理を行う（Ｓ１５）。
【０１４０】
このような監視装置を用いれば、動画像をそのまま記憶するよりはるかに少ない容量の記憶装置で、長時間の監視が可能となる。例えば１枚の画像が２６０Ｋバイト（５１２×５１２画素で１画素が１バイト）のとき、１０８，０００枚の画像列（３０枚／秒で１時間）を記憶するためには、２８Ｇバイトが必要になる。本実施形態によれば、例えば運動物体（店内であれば客）が常時１００個あったとして、それぞれの物体の完全な記述に１画面分（２６０Ｋバイト）を要したとしても、１時間の記憶に必要な容量は、初期画像の記憶に０． ２６Ｍバイト、物体の記述に２６Ｍバイト、物体の軌跡に１． ７２８Ｍバイト（ただし特徴点の位置を倍精度の２次元座標で記述して）の和、即ち２８Ｍバイトで済む。実際には、店内に常時１００人もいるような状況は考えにくいし、物体の記述で使う容量も画像全体を記憶する容量よりは小さい。例えば店内にいる物体が１０個に減っただけでも、１時間の記憶に要する容量は３Ｍバイトまで激減する。
【０１４１】
〔実施形態４〕
実施形態４では、実施形態１の量子化部６を学習局所ベクトル量子化器で、確率オートマトン７を対称結合型ニューラルネット群で、それぞれ実現するとともに、外部から信号を入力する信号入力部と、外部へ信号を出力する信号出力部とを設けた例を示す。これによって、入力パラメータ制御部における処理も変わる。
【０１４２】
図１５は、本実施形態の視覚情報処理装置の構成例を表すブロック図であり、画像入力部４０１は、実施形態１のレンズ系１及びアレイセンサ２と同様のレンズ系及びアレイセンサを備えている。２次元フィルタ４０３，特徴点検出部４０４，変換符号化部４０５は、それぞれ、実施形態１の２次元フィルタ３，特徴点検出部４，変換符号化部５と同様である。
【０１４３】
＜量子化部４０６＞
図１６に、量子化部４０６となる学習局所ベクトル量子化器（ＬＬＶＱ）の構成を示す。ＬＬＶＱには、代表ベクトルを獲得するための学習モードと、入力信号を符号化するための実行モードとがある。学習モードでの代表ベクトルの獲得には、相関行列を用いる方法と、Kohonen によって提案されている学習ベクトル量子化器を用いる方法がある。以下では、Kohonen の学習ベクトル量子化器によって、深さｍの量子化器を構成する方法を説明する。
【０１４４】
（ａ）ウェイト記憶部１６２は予め定められた個数だけ用意されており、あるカテゴリｎに属する代表ベクトルＷn を記憶する。図１６は、代表ベクトルが２個の場合を示している。
【０１４５】
（ｂ）ウェイト更新部１６３は、ウェイト記憶部１６２毎に設けられており、２値化部１６４から送信される信号が１の時に限り、ウェイト記憶部１６２に記憶されたウェイトの値を次式(34)に従って更新する。
【０１４６】
Ｗn m←Ｗn m＋ηW(Ｗn m−Ｘm) (34)
【０１４７】
（ｃ）内積計算部１６１は、入力信号ＸとＷn との内積を計算して２値化部１６４に送信する。
【０１４８】
（ｄ）２値化部１６４は、複数の内積計算部１６１の出力信号を受け取り、それらの内で最大値を取る出力値を１に、他を０に変換する。変換された信号（２値信号）は、それぞれ対応するウェイト記憶更新部１６３に送信される。また、これらの２値信号の組が対称結合型ニューラルネット群４０６に送信される。
【０１４９】
このようにして、与えられた画像は、特徴点の位置座標と局所パターンの符号語との組として符号化される。しかし、このような符号化は、空間的に隣接する局所パターン間に強い相関が存在するという意味でかなりの冗長性を含んでいる。量子化部４０５の代表ベクトルには、このような冗長性が含まれていないことが望ましい。これら冗長性は、それぞれの代表ベクトル間の同時出現確率を用いて削減することができる。
【０１５０】
＜対称結合型ニューラルネット群４０６＞
図１７に対称結合型ニューラルネット群４０６の構成を示す。対称結合型ニューラルネット群４０６は、互いに信号を送信し合う複数の対称結合型ニューラルネットにより構成され、各対称結合型ニューラルネットは、他の対称結合型ニューラルネット、量子化部４０５、あるいは信号入力部４０８から信号を受け取り、他の対称結合型ニューラルネット、入力パラメータ制御部４０７、あるいは信号出力部４０９へ入力信号の処理結果を出力する。
【０１５１】
図１８に１つの対称結合型ニューラルネットの構成を示す。図１８中、対象結合型ニューラルネット状態更新部１７１は、多入力１出力で非線形入出力関数としてシグモイド関数を持つニューロンが、ウェイトを介して互いに対象に結合している。ニューロンは少なくとも２つのブロックを形成しており、そのうちの１つは出力ブロック、残りはすべて入力ブロックである。出力ブロックのニューロンの出力値の組は出力信号（ベクトル）となり、入力ブロックに属するニューロンは、他の対称結合型ニューラルネット、量子化部４０５、あるいは信号入力部４０８から信号を受け取る。
【０１５２】
上記構成のニューラルネット２０７の運動は、次式で定義されるエネルギ関数に支配される。即ち、各出力ブロックに属するニューロンの出力値をＶn 、任意の１つの入力ブロックに属するニューロンの出力値をＶm 、入力値をＩm 、これらのニューロン間のウェイトをＷm,n と書けば、これらに対するエネルギー関数Ｈを次式(35)のように定義できる：
【０１５３】
【外１２】
ウエイト更新部１７２は、例えば、次式(30)のウエイト更新規則に基づいて、ニューラルネットのウェイトを更新する。
【０１５５】
【外１３】
【０１５６】
第１情報量計算部１７４は、出力ブロックに属するニューロンの出力値Ｖn に基づく第１情報量ε1 を以下のように計算する。
【０１５７】
【外１４】
【０１５８】
【外１５】
【０１５９】
【外１６】
【０１６０】
第３情報量計算部１７６は、第１情報量ε1 及び第２情報量ε2 から第３情報量Ｔを以下のように計算する。
【０１６１】
Ｔ＝−ε2 ＋ε1 (39)
【０１６２】
＜入力パラメータ制御部４０７＞
入力パラメータ制御部４０７は、特徴点検出部４０３からの特徴点の座標及び対称結合型ニューラルネット群４０６の状態値に基づいて、画像入力部４０１に対して、レンズの光軸方向やズーミング等のための入力パラメータ制御信号を出力する。
【０１６３】
例えば、光軸方向の制御は、特徴点検出部４０３で検出された特徴点の集合のうちのどの特徴点を選択するかで決まる。この選択基準を、例えば次式(40)で定義する。
【０１６４】
Ｌj ＝Ｌ（ωj,Ｔj,ρj) (40)
ここで、ωj はｊ番目の特徴点近傍における正規化された２次元フィルタの出力値、Ｔj はｊ番目の特徴点近傍の第３情報量、ρj は現在の光軸からｊ番目の特徴点までの距離である。
【０１６５】
また、信号入力部４０８は、他の装置などからの入力信号、例えば人間によるキーボードからの知識データや他のセンサ信号等を入力する。信号出力部４０９は、対称結合型ニューラルネット群４０６の出力信号を、視覚情報処理装置の入力パラメータ制御部４０７以外の他のユニット、あるいは他の装置に出力する。
【０１６６】
このように、更に他の装置と組み合わせることによって、上記本実施形態の視覚情報処理装置は、種々の特徴ある使用が可能である。
【０１６７】
例えば、無線信号装置や有線信号装置と組み合わせて、人間の顔を観測しているときに、有線信号あるいは無線信号によってその人の名前を入力すれば、顔の画像データと名前とを関連付けて記憶することができる。これは、画像にタグをつけるという意味では、人間の顔に限らない。さらに、音声信号入力装置と組み合わせて、音声信号と関連づけることによって、画像の認識精度が向上する。
【０１６８】
音声信号入力装置や音声信号処理装置は、特に人間の音声に限るものではなく超音波であっても構わない。この場合には、超音波センサによって周囲の物体までの距離情報が得られるので、視覚情報と距離情報とを用いて自律走行ロボットを構成することができる。
【０１６９】
無線信号装置や無線信号処理装置は、複数の自律走行ロボット、あるいは複数の監視装置間の通信に利用することができる。例えば、建物の内部が１台の監視装置では監視できないような場合を考える。監視装置ｊが移動物体を検出し、その詳細な観測を行ったとする。この移動物体が、監視装置ｊの観測可能領域を出て今まさに監視装置ｋの観測可能領域に進入しようとしている時、監視装置ｊが監視装置ｋに、“今、監視装置ｊの観測可能領域から監視装置ｋの観測可能領域に進入した移動物体の詳細なデータは、監視装置ｊが獲得している”という情報を監視装置ｋに送信すれば、監視装置ｋでは、この移動物体の詳細な観測を行わなくて済む。これは、記憶データ量及び監視装置の仕事量の軽減に有効である。
【０１７０】
更に、例えば工場内で部品などを運搬する走行ロボットと組み合わせれば、環境に柔軟に対応する走行ロボットが実現できる。又、音声信号出力装置との組み合わせもできる。
【０１７１】
以上説明した実施形態によれば、高速に最適な視覚情報を獲得できる画像情報処理方法及びその装置、並びにその制御方法を提供でき、その装置を有効に適用した各種装置をも提供できる。
【０１７２】
更に詳細には、
１．何らかの原因で、引き続く画像入力が困難になった場合でも、もっとも出現確率の高い結果を得ることができる。更にこれらを並列処理で行なうことができるため、処理時間が大幅に短縮できる。更に、相互結合型ニューラルネットワークによって実現しているため、状態遷移規則が単純になり、処理時間の更なる向上が見込める。
【０１７３】
２．画像の特徴点集合は有限個の点の集合であることが望ましい。しかし、従来の技術で特徴量として広く用いられているエッジは連続的であり、これをもとに有限個の点集合を得るためには、何らかの後処理、例えばエッジの強度に対する２値化処理が必要となる。本発明によれば、孤立点として特異点を得ることができる。また、変換符号化部と量子化部と知識獲得部とによって、センサ入力と知識データとを統一的に取り扱うことができ、これによって、複雑な視覚パターンで構成される環境の認識に応用することができる。
【０１７４】
３．２次元フィルタとしてＬａｐｌａｃｉａｎ−Ｇｕｓｓｉａｎ フィルタを用いることによって、環境の視覚情報を、多重解像度空間の部分領域上の変換が近似的に実現できる。光軸の方向を適当に制御すれば、画像、或いは環境の部分領域に対する多重解像度空間での記述を近似的に得ることができる。２次元フィルタとして単なる平均化処理を用いれば、画像或いは環境の部分領域に対する多重解像度近似での記述を得ることができる。このように、２次元フィルタの核として多重解像度空間で用いられるものを利用すれば、それに対応した多重解像空間が得られる。これは、環境の視覚情報が多重解像度空間の部分領域を覆うような場合に、有効なセンシング方法である。
【０１７５】
４．フィードフォワード型ニューラルネットによって、相互結合型ニューラルネットより高速なフィードフォワード制御が可能となる。
【０１７６】
５．特徴量空間として多重解像度空間を採用し、そこでの局所パターンに着目することによって、環境内に存在する物体の特定の運動に対する不変量を得ることができる。例えば、光軸に沿う運動は、物体の特徴量をスケール軸に沿って平行移動させるだけである。
【０１７７】
６．音声信号入力装置と音声信号処理装置と組み合せることによって、音声による人間からのコマンドの送信、或いは音による障害物の同定等が可能になり、無線信号通信装置と無線信号処理装置、或いは有線信号通信装置と有線信号処理装置と組み合せることによって、他のコンピュータとのコマンドの送受信、或いは他の視覚情報処理装置との情報の送受信が可能となり、知識獲得部によって、該音声信号，該無線信号及び該有線信号をもとに入力パラメータ制御を行うことができ、単一の信号だけでは認識できなかった物体が認識できるようになる。また、他の視覚情報処理装置の知識データを受信することによって、学習モードに要する時間を短縮することができる。
【０１７８】
７．作業用工具と該作業用工具制御装置と組み合せることによって、外界の状態に適応した作業を行うことができ、作業の遂行の仕方が環境に大きく依存するような場合に有効に動作する自律作業ロボットによる共同作業が可能となる。
【０１７９】
８．音声信号出力装置と組み合せることによって、周囲の人間に自分の状態を知らせることができ、人間との共同作業にも対応するような自律作業ロボットを構成できる。
【０１８０】
以上説明した本発明は、複数の機器から構成されるシステムに適用しても、システム内の特定の機器に適用しても良い。また、本発明は、この機器がプログラムを実行することによって達成される場合に適用でき、このプログラムは外部の記憶媒体から供給してもよく、このプログラムを記憶する記憶媒体も、本発明の範囲にある。
【０１８１】
【発明の効果】
以上説明したように、本発明によれば、高速に最適な視覚情報を獲得できる画像情報処理方法及びその装置、並びにその制御方法を提供できる。
【図面の簡単な説明】
【図１】実施形態１の視覚情報処理装置のブロック構成を示す図である。
【図２】広角レンズによる座標変換を説明するための図である。
【図３】広角レンズの周波数特性を説明するための図である。
【図４】センサの検出する空間周波数を説明するための図である。
【図５】多重解像度空間上の局所パターンの例を説明するための図である。
【図６】実施形態１で使用される量子化部の構成例を説明する図である。
【図７】実施形態１の確率オートマトンの例を説明する図である。
【図８】具体例で使用される階層表現の例を示す図である。
【図９】具体例で使用される視覚環境の例を示す図である。
【図１０】実施形態２の視覚情報処理装置の構成例を示すブロック図である。
【図１１】実施形態２の量子化部の構成例を説明する図である。
【図１２】相互結合型ニューラルネットワークの例を説明する図である。
【図１３】実施形態３の監視装置の構成例を示すブロック図である。
【図１４】実施形態３の監視装置の動作例を示すフローチャートである。
【図１５】実施形態４の視覚情報処理装置の構成例を示すブロック図である。
【図１６】実施形態４の量子化部の構成例を説明する図である。
【図１７】対称結合型ニューラルネットワーク群の構成例を示す図である。
【図１８】対称結合型ニューラルネットワークの構成例を示す図である。
【符号の説明】
１、２０１、３０１ レンズ系
２、２０２、３０２ アレイセンサ
３、２０３、３０３、４０２ ２次元フィルタ
４、２０４、３０４、４０３ 特徴点検出部
５、２０５、３０５、４０４ 変換符号化部
６、２０６、３０６ 量子化部
７、３０７ 確率オートマトン
８、２０８、３０８、４０７ 入力パラメータ制御部
１０ 光軸
６１、６２、６３ 量子化器
６４ コードブック
７１ パターンオートマトン
７２ シンボルオートマトン
７３ セル
１２１ パターンネットワーク
１２２ 概念ネット
１２３ ニューロン
１２４ ニューロン群
１２５ ウェイト
１６１ 内積計算部
１６２、１７３ ウェイト記憶部
１６３、１７２ ウェイト更新部
１６４ ２値化部
１７１ 対称結合型ニューラルネット更新部
１７４ 第１情報量計算部
１７５ 第２情報量計算部
１７６ 第３情報量計算部
２０７ 相互結合型ニューラルネット
３０９ 記憶部
４０１ 画像入力部
４０６ 対称結合型ニューラルネット群
４０８ 信号入力部
Claims (7)
- 画像情報処理装置の画像入力部より画像を光学的に入力し、
入力された画像を２次元フィルタにより多重解像度展開し、
多重解像度展開された画像より特徴点を検出し、
検出された各特徴点について、その特徴点における正規化された前記２次元フィルタの出力値と、各特徴点の位置座標及び多重解像度展開された局所パターンに対するその特徴点の相互情報量と、その特徴点と前記画像入力部の光軸との距離とに基づいて評価値を算出し、
前記評価値が最大となる特徴点に前記光軸を一致させるように、前記画像入力部を制御することを特徴とする画像情報処理装置の制御方法。 - 前記画像入力部の制御は、画像のズームを含むことを特徴とする請求項１に記載の制御方法。
- 前記相互情報量は、階層化された複数のセルを含み、各セルの状態値が多重解像度空間の部分領域に対応し、前層のセルの状態に対する各層のセルの状態の条件付き確率を状態遷移行列の要素とする確率オートマンにおいて、異なるセル間の相互情報量に基づいて算出されることを特徴とする請求項１に記載の制御方法。
- 前記確率オートマンを前記セルに対応するニューロン群を有する相互結合型ニューラルネットワークにより構成し、前記相互情報量をニューロンの集合間のコネクションに関するエントロピーに基づいて算出することを特徴とする請求項３に記載の制御方法。
- 前記画像を入力するステップは、広角レンズを用いて、入力された画像を該広角レンズと垂直な方向について座標変換するステップを含むことを特徴とする請求項１に記載の制御方法。
- 前記特徴点を検出するステップは、入力画像を表す関数からベクトル場を生成するステップと、該ベクトル場を複素関数で表現し、偏角の原理を用いて、特異点として当該特徴点を検出するステップを備えることを特徴とする請求項１に記載の制御方法。
- 画像を光学的に入力する画像入力手段と、
前記画像入力手段から入力された画像を多重解像度展開する２次元フィルタと、
前記２次元フィルタにより多重解像度展開された画像より特徴点を検出する検出手段と、
前記検出手段により検出された各特徴点について、その特徴点における正規化された前記２次元フィルタの出力値と、各特徴点の位置座標及び多重解像度展開された局所パターンに対するその特徴点の相互情報量と、その特徴点と前記画像入力手段の光軸との距離とに基づいて評価値を算出する算出手段と、
前記算出手段により算出された評価値が最大となる特徴点に前記光軸を一致させるように、前記画像入力手段を制御する制御手段とを具えたことを特徴とする画像情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07876396A JP3847832B2 (ja) | 1995-03-31 | 1996-04-01 | 画像情報処理方法及びその装置、並びにその制御方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7-76583 | 1995-03-31 | ||
| JP7658395 | 1995-03-31 | ||
| JP07876396A JP3847832B2 (ja) | 1995-03-31 | 1996-04-01 | 画像情報処理方法及びその装置、並びにその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08329033A JPH08329033A (ja) | 1996-12-13 |
| JP3847832B2 true JP3847832B2 (ja) | 2006-11-22 |
Family
ID=26417720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07876396A Expired - Fee Related JP3847832B2 (ja) | 1995-03-31 | 1996-04-01 | 画像情報処理方法及びその装置、並びにその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3847832B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2407932B1 (en) * | 2009-03-13 | 2019-11-27 | Nec Corporation | Image identifier extraction device |
| KR101335902B1 (ko) * | 2009-03-13 | 2013-12-02 | 닛본 덴끼 가부시끼가이샤 | 화상 식별자 추출 장치 |
-
1996
- 1996-04-01 JP JP07876396A patent/JP3847832B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08329033A (ja) | 1996-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0737938B1 (en) | Method and apparatus for processing visual information | |
| Budiharto et al. | Fast object detection for quadcopter drone using deep learning | |
| CN108764107B (zh) | 基于人体骨架序列的行为与身份联合识别方法及装置 | |
| Gottipati et al. | Deep active localization | |
| Liu et al. | Extreme trust region policy optimization for active object recognition | |
| KR20180004898A (ko) | 딥러닝 기반의 이미지 처리 기술 및 그 방법 | |
| EP2690582B1 (en) | System for controlling an automated device | |
| Zaki et al. | Convolutional hypercube pyramid for accurate RGB-D object category and instance recognition | |
| CN114638954B (zh) | 点云分割模型的训练方法、点云数据分割方法及相关装置 | |
| KR20210152404A (ko) | 멀티스케일 딥 평형 모델들을 위한 시스템 및 방법 | |
| Chin et al. | Episodic memory multimodal learning for robot sensorimotor map building and navigation | |
| JP3847832B2 (ja) | 画像情報処理方法及びその装置、並びにその制御方法 | |
| Micarelli et al. | A case-based approach to image recognition | |
| Itano et al. | Human actions recognition in video scenes from multiple camera viewpoints | |
| Yan et al. | Multiple binocular cameras-based indoor localization technique using deep learning and multimodal fusion | |
| Pratihar et al. | A review on applications of soft computing in design and development of intelligent autonomous robots | |
| Bodyanskiy et al. | Fast training of neural networks for image compression | |
| Zheng | Augmented deep representations for unconstrained still/video-based face recognition | |
| Heikkonen et al. | Self-organizing maps for visually guided collision-free navigation | |
| Reily et al. | Simultaneous view and feature selection for collaborative multi-robot perception | |
| Wang et al. | Hybrid frame-event solution for vision-based grasp and pose detection of objects | |
| WO2024014199A1 (ja) | 画像識別方法、画像識別プログラムおよび画像識別装置 | |
| Nicolai | Augmented Deep Learning Techniques for Robotic State Estimation | |
| Vij et al. | An Experience with Multi-sensor Robot for Adaptive Human Sensing | |
| Do | Predictive models for robotics and biomedical applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060824 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |