JPH11328311A

JPH11328311A - 画像内のパターン抽出方法、画像内のパターン認識方法及び画像異常判定方法並びに記憶媒体

Info

Publication number: JPH11328311A
Application number: JP10220793A
Authority: JP
Inventors: 裕子 ▲高▼橋; Hiroko Takahashi; Akio Shio; 昭夫塩; Sakuichi Otsuka; 作一大塚
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-08-06
Filing date: 1998-08-04
Publication date: 1999-11-30

Abstract

(57)【要約】【課題】入力画像中にノイズ、影があっても、あるい
は入力画像中の抽出しようとするパターンが部分的に遮
蔽されていても、入力画像中から目的とするパターンを
安定に抽出することが可能な画像内のパターン抽出方法
を提供する。【解決手段】プログラムされたコンピュータによって
撮影された入力画像内から予め決められたパターンを抽
出する画像内のパターン抽出方法において、抽出しよう
とする代表パターンを蓄積するステップと、入力画像を
蓄積するステップと、前記蓄積された代表パターンと前
記蓄積された入力画像に対して、それぞれフィルタ処理
を施すステップと、前記代表パターンに対するフィルタ
処理結果と、前記入力画像に対するフィルタ処理結果と
を統合するステップと、前記統合された結果から前記代
表パターンを抽出するとともに、その位置を特定するス
テップとを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像内のパターン
抽出方法およびパターン認識方法に係わり、特に、特定
のパターンを画像内から抽出し、パターンの認識とその
位置決定を同時に行う方法、例えば、画像中のナンバー
プレート上の文字を自動的に認識する方法、および画像
の変化を検出する画像異常判定方法に関する。

【０００２】

【従来の技術】情報処理装置を使用して、画像データ
（以下、画像と称する。）内から特徴（例えば、文字な
どの特定のパターン）を抽出する方法は、例えば、下記
文献（イ）等に記載されているように数多く存在する。（イ）「影の中の文字抽出」，情報処理学会ＣＶ研究
会，１９９０／０７／１

【０００３】また、従来のパターン認識、特に、ナンバ
ープレート認識はほとんどの場合、前処理として２値化
処理を行ってパターンマッチングを行う方法がとられて
来た。この方法では、十分な解像度で画像が鮮明に撮影
されている場合には文字が独立した２値化が得られ、結
果として認識に成功する。しかし、画像の分解能が不十
分であったり、認識対象が不鮮明であったり、部分的に
接触、遮蔽、スミア等が存在する場合には、認識が難し
くなったり不可能になる問題があった。

【０００４】さらに、従来、２値化を行わずに行うパタ
ーンマッチングには相関値を用いた方法もある。この方
法は、部分的な接触、遮蔽などへの対応はできるが、照
明変動からの影響を除去するには十分ではなかった。し
かし、パターンの比較方法として１次微分処理を行った
結果を比較する方法がある（特願平９−２１２１０４号
明細書参照）。この方法を用いれば、照明変動の影響が
緩和できる。

【０００５】また、上述したパターン抽出およびパター
ン認識を利用し、監視を目的としたカメラからの画像を
用いた画像異常検出においては、この画像において変化
する領域を異常として判断している。この画像における
変化の判定は、一般にカメラからの画像と比較する画像
との差の存在が計測されることで行われる。

【０００６】

【発明が解決しようとする課題】しかしながら、前記文
献（イ）に記載されているような影の影響は受けない文
字抽出方法は知られているが、画像内のパターン抽出方
法においては、一般的に、画像内にノイズ、影がある場
合、あるいは画像中の抽出すべきパターンが部分的に遮
蔽されているような場合、あるいは対象が文字でない場
合には、正確にパターンを抽出することができないとい
う問題点があった。

【０００７】また、画像異常検出において、カメラから
の画像の中に判定を妨害する画像、例えば建物の影が存
在すると、従来の方法ではその影を画像異常と判定し、
異常信号を過剰に出力してしまう問題があった。加え
て、実際に画像異常が存在するとき、この画像異常に建
物の影等の影響が存在すると、画像において見かけ上に
生じた領域と実際に画像異常が発生した領域とが一致し
ないため、画像異常が生じた領域の面積を正確に求めら
れない欠点がある。

【０００８】本発明は、前記従来技術の間題点を解決す
るためになされたものであり、本発明の目的は、画像内
のパターン抽出方法において、入力画像中にノイズ、影
があっても、あるいは入力画像内の抽出しようとするパ
ターンが部分的に遮蔽されていても、入力画像中から目
的とするパターンを安定に抽出し、画像の認識におい
て、画像撮影時の照明条件などの撮影条件を緩和するこ
とおよび撮影時の物体の部分遮蔽の影響を減らすことが
可能な技術を提供することにある。

【０００９】また、本発明の他の目的は、情報処理装置
に前記画像内のパターン抽出方法を実行させるための画
像内のパターン抽出プログラムを記憶した記憶媒体を提
供することにある。

【００１０】さらに、本発明の他の目的は、建物などの
影の影響によって生じた変化と実際の画像の変化との区
別が行える画像異常判断方法を提供する。

【００１１】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００１２】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。

【００１３】プログラムされたコンピュータによって撮
影された入力画像内から予め決められたパターンを抽出
する画像内のパターン抽出方法において、抽出しようと
する代表パターンを蓄積するステップと、入力画像を蓄
積するステップと、前記蓄積された代表パターンと前記
蓄積された入力画像に対して、それぞれフィルタ処理を
施すステップと、前記代表パターンに対するフィルタ処
理結果と、前記入力画像に対するフィルタ処理結果とを
統合するステップと、前記統合された結果から前記代表
パターンを抽出するとともに、その位置を特定するステ
ップとを有することを特徴とする。

【００１４】前記フィルタ処理を施すステップは、画像
に対する前処理と、畳み込み処理あるいは一次微分処理
の少なくとも一方の処理を行うステップであることを特
徴とする。

【００１５】前記フィルタ処理結果を統合するステップ
は、前記代表パターンと入力画像との各々のフィルタ処
理結果に対する内積を用いた畳み込み処理、または前記
代表パターンと入力画像との各々のフィルタ処理結果に
対する外積を用いた畳み込み処理、あるいは前記代表パ
ターンと入力画像との各々のフィルタ処理結果に対する
差を用いた畳み込み処理を行うステップであることを特
徴とする。

【００１６】前記フィルタ処理結果を統合するステップ
は、各点の寄与度を示す重みづけを与えるステップを合
むことを特徴とする。

【００１７】即ち、本発明は、予め定めたフィルタ処理
により、入力画像、代表パターンの双方の局所的特徴を
抽出し、その結果を一種の投票という方法で大局的に統
合することを特徴とする。ここで局所的特徴とは、代表
パターンの領域の真に部分的な領域の情報を用いて計算
できる画像の特徴を示している。一方、大局的特徴と
は、この局所的特徴に基づき代表パターン全体で行われ
る計算を言う。

【００１８】また、本発明は、蓄積された入力画像内か
ら予め蓄積した複数の代表パターンに類似するパターン
とその位置を決定するパターン認識方法において、入力
画像の中から暫定的な認識対象となる領域を決定する認
識対象切り出し処理手順と、前記認識対象と蓄積された
各代表パターンとに対して、局所的な演算処理を行い中
間データを求める前処理、および方向性微分処理を施し
た上で比較してパターン同士の類似度を計算する類似度
計算処理手順と、前記類似度計算の結果から各認識対象
が類似するパターンを決定する局所パターン抽出処理手
順と、各局所パターン抽出結果を元の入力画像との位置
関係の照合を行う領域復元処理手順と、各領域毎に属す
るパターンを決定する比較処理手順と、前記比較処理の
結果からパターン認識結果及びそのパターンの位置を決
定する認識結果位置情報出力処理手順とを有する。

【００１９】前記入力画像の認識対象は、ナンバープレ
ート上の文字であり日本の場合、認識代表パターンは数
字、ドット、漢字、平仮名、アルファベットなどを含
む。

【００２０】さらに、本発明は、入力画像の中から暫定
的な認識対象となる領域を決定する認識対象切り出し処
理手順と、前記認識対象と蓄積された各代表パターンと
に対して、局所的な演算処理を行い中間データを求める
前処理、および方向性微分処理を施した上で比較してパ
ターン同士の類似度を計算する類似度計算処理手順と、
前記類似度計算の結果から各認識対象が類似するパター
ンを決定する局所パターン抽出処理手順と、各局所パタ
ーン抽出結果を元の入力画像との位置関係の照合を行う
領域復元処理手順と、各領域毎に属するパターンを決定
する比較処理手順と、前記比較処理の結果からパターン
認識結果及びそのパターンの位置を決定する認識結果／
位置情報出力処理手順とをコンピュータに実行させるプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体である。

【００２１】本発明によれば、代表パターンと入力画像
との濃淡値に対して、局所的な演算処理を行い中間デー
タを求める前処理、および方向性微分処理を用いた類似
度計算処理と、抽出パターンの重なりを類似度に応じて
考慮する処理を有することにより、照明変動の局所的な
変化への対応のみならず、認識対象の部分的遮蔽やスミ
アの存在にも関わらず代表パターンと類似するパターン
を画像中から選び出すパターン抽出が可能となる。さら
に、２値化処理のように情報量を落とさないため解像度
が低い場合にも、正確なパターン抽出が可能となる。従
って、特に認識する画像が屋外で撮影された場合には、
これまでの手法と比較して高い認識率を得ることができ
る。

【００２２】かつ、本発明は、参照される参照画像と比
較される比較画像とを比較して変化が生じた場所を検出
する画像異常検出方法において、前記参照画像を蓄積す
る参照画像蓄積工程と、前記比較画像を検出する比較画
像蓄積工程と、前記比較画像および前記参照画像におけ
る異常を判定する判定領域を指定する判定領域指定工程
と、前記参照画像と前記比較画像とに、それぞれ画像に
対して局所的な演算処理を行い中間データを求める前処
理、および畳み込み処理あるいは一次微分処理の少なく
とも一方の処理を行うフィルタ処理を施すフィルタ処理
工程と、前記参照画像に対するフィルタ処理結果と前記
比較画像に対するフィルタ処理結果との間の内積、外積
および相関のいずれかの演算を行う類似度計算方法を用
いて上記判定領域の類似度を計算する類似度計算工程
と、前記類似度が所定の値に対して小さいと確認された
場合を異常とし、確認結果として異常信号を出力する異
常判定工程とを有することを特徴とする。

【００２３】また、本発明は、参照される参照画像を蓄
積する参照画像蓄積工程と、前記参照画像と比較される
比較画像を検出する比較画像蓄積工程と、前記比較画像
および前記参照画像における異常を判定する判定領域を
指定する判定領域指定工程と、前記参照画像と前記比較
画像とに、それぞれ画像に対して局所的な演算処理を行
い中間データを求める前処理、および畳み込み処理ある
いは一次微分処理の少なくとも一方の処理を行うフィル
タ処理を施すフィルタ処理工程と、前記参照画像に対す
るフィルタ処理結果と前記比較画像に対するフィルタ処
理結果との間の内積、外積または相関のいずれかの演算
を行う類似度計算方法を用いて上記判定領域の類似度を
計算する類似度計算工程と、前記類似度が所定の値に対
して小さいと確認された場合を異常とし、確認結果とし
て異常信号を出力する異常判定工程とをコンピュータに
実行させるプログラムを記録したコンピュータ読み取り
可能な記録媒体である。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明にお
ける画像内のパターン抽出の実施形態を詳細に説明す
る。なお、実施形態を説明するための全図において、同
一機能を有するものは同一符号を付け、その繰り返しの
説明は省略する。

【００２５】図１は、画像内のパターン抽出方法の一実
施形態のパターン抽出を実施するための情報処理装置の
概略構成を示すブロック図である。

【００２６】図１に示す情報処理装置（コンピュータ）
は、ＣＰＵ（中央処理装置）１０を有し、このＣＰＵ１
０には、バスライン１６を介して、主記憶装置１１、表
示手段１２、キーボード等の入力手段１３、画像入力手
段１４および記憶装置１５が接続される。ここで、画像
入力手段１４は、例えば、ＣＣＤカメラ等の画像撮影装
置である。また、記憶装置１５内には、代表パターン蓄
積部２４と、入力画像蓄積部２５とが設けられる。

【００２７】ＣＰＵ１０は、主記憶装置１１に格納され
た画像内のパターン抽出プログラムを実行することによ
り、本実施形態による画像内のパターン抽出方法を実行
する。なお、図１において、２１はフィルタ処理部、２
２は結果統合部、２３は抽出・位置特定処理部である。
このフィルタ処理部２１、結果統合部２２および抽出・
位置特定処理部２３は、ＣＰＵ１０が本実施形態の画像
内のパターン抽出方法を実行する際に、主記憶装置１１
に格納された画像内のパターン抽出プログラムにより具
現化される機能手段である。

【００２８】図２は、一実施形態によるパターン抽出の
処理手順を示すフローチャートである。以下、図２を用
いて、本実施形態による画像内のパターン抽出方法の処
理手順を説明する。

【００２９】始めに、画像入力手段１４を用いて、代表
パターンを記憶装置１５内の代表パターン蓄積部２４に
蓄積する（ステップ１０１）。この代表パターン蓄積部
２４には、抽出しようとする画像のパターンが蓄積され
る。

【００３０】同様に、画像入力手段１４を用いて、入力
画像を記憶装置１５内の入力画像蓄積部２５に蓄積する
（ステップｌ０２）。

【００３１】次に、フィルタ処理部２１で、代表パター
ン蓄積部２４に蓄積された代表パターンと、入力画像蓄
積部２５に蓄積された入力画像とに対して、それぞれ予
め定めたフィルタ処理を施す（ステップ１０３）。

【００３２】次に、結果統合部２２で、ステップ１０３
での代表パターンに対するフィルタ処理結果と、ステッ
プ１０３での入力画像のフィルタ処理結果とを統合する
（ステップ１０４）。

【００３３】次に、抽出・位置特定処理部２３で、ステ
ップ１０４で得られた統合結果から、実際のパターン抽
出を行い、その位置を特定して出力する（ステップｌ０
５）。

【００３４】フィルタ処理部２１でのフィルタ処理は、
予め定めたフィルタ処理を行う。ここでのフィルタ処理
としては、一次微分処理、２次微分処理など様々な画像
フィルタ処理が想定される。また、このフィルタ処理
は、１つのフィルタ処理である必要はなく、複数のフィ
ルタ処理を組み合わせてもよい。

【００３５】ここでは、下記（１）式に示す一次微分処
理を用いて説明する。この一次微分処理は、数学におい
てはｇｒａｄｉｅｎｔと呼ばれる。

【００３６】 ∇＝(∂/∂ｘ，∂／∂ｙ) ‥‥‥（１）なお、前記（１）式は、２次元ガウス関数のｇｒａｄｉ
ｅｎｔ（１次微分）をフィルタとした畳み込み処理とし
て記述できる．この結果は、ベクトルになるので、２つ
のフィルタ処理を施したと考えることも可能である。

【００３７】また、２次元ガウス関数Ｇの定義は、Ｇ(ｘ,ｙ)＝ｃexp(-(ｘ²＋ｙ²)／(２σ_x ²σ_y ²)) ‥‥‥（２）と示される。ここで、ｃ＝(２π)^-1σ_xσ_yである。前記
σ_xおよびσ_yは、それぞれｘ方向およびｙ方向の標準偏
差である。

【００３８】画像を２次平面上の関数と考えると、この
微分は２次平面上のベクトルとなり、各点のベクトルの
方向は、最も急激に画素値が増化する方向を示し、ベク
トルの大きさは関数の変化の大小を表す。

【００３９】したがって、画像が「９」あるいは「５」
の文字であるとすると、その一次微分処理の結果によ
り、図３および図４に示すようなベクトル（図３および
図４に示す矢印）場が得られる。なお、図３および図４
では、矢印の方向がベクトルの方向を、矢印の長さがベ
クトルの大きさを表している（長さ「０」は表示してい
ない）。

【００４０】例えば、図３に示す「９」あるいは図４に
示す「５」の文字では、一次微分処理で得られるベクト
ルは、下半分は非常に類似しているが、上半分では異な
っている。したがって、「９」を「５」の代表パターン
により比較すると、ある程度は類似するが、「９」で比
較するほど高い値（高い値が類似を示す場合）は示さな
い。この場合に、全く異なるパターン同志を比較する
と、低い値となる。

【００４１】結果統合部２２での結果統合処理では、各
代表パターンＱ_j(_j＝１,２,・・・ｎ：ｎは代表パター
ンの数、以下、ｊは各代表パターンを示す）について、
その代表パターンＱ_jのフィルタ処理結果と、入力画像
ｆのフィルタ処理結果とを比較して統合する。

【００４２】この統合方法として、下記（３）式を考え
る。Ｆ_j(ｘ,ｙ)＝∬Ｍ_j(ｕ,ｖ)Ｈ{Ｑ_j,ｆ}(ｘ,ｙ,ｕ,ｖ)ｄｕｄｙ ‥‥‥（３）

【００４３】なお、Ｆ_j(ｘ,ｙ)は各代表パターンでの統
合結果、(ｘ,ｙ)は入力画像ｆの座標、(ｕ,ｖ)は代表パ
ターンの座標を示し、また、ｆは入力画像、Ｑ_jは代表
パターン、Ｍ_jは各代表パターンについて、点(ｕ,ｖ)の
寄与度を示す関数である。

【００４４】この寄与度Ｍ_jは、一般的には最も単純な
Ｍ_j(ｕ,ｖ)≡１で十分である。しかしながら、寄与度Ｍ
_jは、複数の代表パターンを用いてパターンを抽出する
場合、類似する代表パターンの間の相違点を強調する時
に有効となる。例えば、画像「５」と「９」とを示すパ
ターンは、比較的類似しているが、画像の上部右半分が
大きく相違する。

【００４５】そして、画像「５」と「９」とを示すパタ
ーンを区別するとき、この相違を明確とするため、この
相違する画像における上部右半分の領域の寄与度Ｍｊを
高くするように設定することで、抽出結果の精度を向上
させることができる。

【００４６】ここで、関数Ｈの例として、下記（４）式
を考える。Ｈ{Ｑ_j、ｆ}(ｘ,ｙ,ｕ,ｖ) ＝Ｃ{∇Ｑ_j(ｕ,ｖ)・∇ｆ(ｘ＋ｙ,ｕ＋ｖ)} ‥‥‥（４）

【００４７】ここで、・はベクトルの内積、∇(＝(∂／
∂ｘ,∂／∂ｙ))は分解フィルタ、Ｃは非線形であり、
かつ狭義単調増加および非減少の（単調増加も含む）奇
数関数で、予め定められた一定値以上の値をとらないも
のである。または、Ｃは恒等関数でも良い。

【００４８】前記（３）式は、関数Ｍ_j(ｕ，ｖ)が一定
値をとる場合は内積を用いた畳み込み処理に近いが、Ｃ
が一定値以上の値をとらない場合は、（４）式に示す様
に非線形関数Ｃを用いて極端に大きな値が発生するのを
抑えている。

【００４９】ここで、関数Ｃは、下記（５）式に示すも
の、あるいは下記（６）式に示すＣ１，Ｃ２を定数とし
たガウス関数の積分が考えられる。

【００５０】

【数１】

【００５１】

【数２】

【００５２】関数Ｍ_j(ｕ,ｖ)は、パターン抽出に不要な
部分を除去するために使用される。この関数Ｍ_j(ｕ,ｖ)
が大きな値をとる点は、その点が各統合結果Ｆ_j(ｘ,ｙ)
に与える影響が大きく、小さい場合は、例えば、極端な
場合「０（ゼロ）」をとれば、この点(ｕ,ｖ)は各統合
結果Ｆ_j(ｘ,ｙ)に全く影響を与えない。関数Ｍ_j(ｕ,ｖ)
が一定値をとる場合は、すべての点が同等に各統合結果
Ｆ_j(ｘ,ｙ)に寄与することになる。実際には、カテゴリ
ーに合わせて作為的に予め関数Ｍ_j(ｕ,ｖ)の値を決定し
ておくことになる。

【００５３】さらに、画像の変形を考慮した場合、各統
合結果Ｆ＝(ｘ,ｙ)は下記（７）式のように表される。

【００５４】Ｆ_j(ｘ,ｙ)＝∬Ｍ_j(ｕ,ｖ)Ｈ{Ｑ_jοＡ,ｆ}(ｘ,ｙ,ｕ,ｖ)ｄｕｄｙ ‥‥‥（７）

【００５５】ここで、Ａは拡大、縮小、回転などの２次
元から２次元への変換関数、οはＱ _jοＡ(ｕ,ｖ)＝Ｑ
_j(Ａ(ｕ,ｖ))のように合成関数を表す。

【００５６】したがって、前記（４）式に示す関数Ｈ
は、下記（８）式のように表される。Ｈ{Ｑ_jοＡ,ｆ}(ｘ,ｙ,ｕ,ｖ) ＝Ｃ{∇Ｑ_j(Ａ(ｕ,ｖ))∇Ａ(ｕ,ｖ)・∇ｆ(ｘ＋ｙ,ｕ＋ｖ)} ‥‥‥（８）

【００５７】ここで、Ａは２次元から２次元への変換関
数であるので、∇Ａ(ｕ,ｖ)は２×２次元の行列とな
る。例えば、Ａ(ｕ,ｖ)が線形変換であれば∇Ａ(ｕ,ｖ)
＝Ａである（線形変形を行列で表現した場合、その微分
はその行列自身にすべての点で一致する）。

【００５８】以下、考慮する変形を変換関数Ａ_i(ｕ,ｖ)
で示し、インデックスとしてｉ（ｉ＝１、２、……、
ｍ）用いる。したがって、統合結果群Ｆ_ij(ｘ,ｙ)は、
変換関数Ａ_i、代表パターンＱ_jを用いたことを表してい
る。

【００５９】このようにして、各入力画像ｆにつき、Ｆ
_ij(ｘ,ｙ)（_i＝ｌ,２,・・・ｍ，_j＝１,２,・・・ｎ）
の統合結果群が得られる。

【００６０】抽出・位置特定処理部２３での抽出・位置
特定処理では、前記の統合結果群Ｆ _ij(ｘ,ｙ)から、実
際のパターンを抽出し、その位置を計算して出力する。

【００６１】前述したように、各入力画像ｆに対し、Ｆ
_ij(ｘ,ｙ)で表される統合結果群が生成される。これら
の統合結果は、入力画像ｆ内に、抽出しようとする代表
パターンに類似したパターンが存在する位置で、局所的
に高い値を示す。

【００６２】なお、パターンが反転している場合は、内
積を用いた本実施の形態では、局所的にマイナスの強い
ピークを示す。したがって、前記した説明において、
「局所的に高い値」を「局所的に小さい値」と読み変え
ることにより、反転パターンを抽出することが可能であ
る。

【００６３】すべての統合結果について、各点でどの代
表パターンが最も確からしいかを判定すれば、その点に
おいてのパターンが決定できる。この結果、抽出したい
パターンと、このパターンの位置が決定できる。

【００６４】この一手法について、図５〜図９に示す本
実施形態における実際のパターン抽出例（画像処理例）
を用いて説明する。なお、ここでは、統合結果からの抽
出パターンの決定方法も合わせて説明する。

【００６５】図８および図９は、ナンバープレートの文
字を用い、フィルタ処理として一次微分処理を行い、前
記（８）式に示す関数Ｈを用いて、統合結果Ｆを計算し
た結果を示すものである。

【００６６】なお、変形処理を行う場合、１代表パター
ンにつき、用意した変形の数だけの処理結果が出力され
るが、ここでは、変形処理は行わない例での結果を示
す。この場合に、１枚の入力画像につき、代表パターン
の数だけの処理の統合結果が存在することになる。

【００６７】以下、例えば、「９」を代表パターンとし
た場合の統合結果を「フィルタ「９」での統合結果」と
呼ぶ。

【００６８】図５は、原画像２０１であり、図６は
「９」を示す代表パターン２０２である。また、図７は
「５」を示す代表パターン２０３であり、図８は原画像
に対するフィルタ「９」での統合結果２０４であり、図
９は原画像に対するフィルタ「５」での統合結果２０５
である。

【００６９】「９」を示す代表パターン２０２、および
「５」を示す代表パターン２０３は、原画像２０１とは
別の画像から切り取ったパターンである．また、図８に
示すフィルタ「９」での統合結果２０４、および図９に
示すフィルタ「５」での統合結果２０５は、ピークを強
調するためにトーン（濃度）を変更した画像で示してい
る。

【００７０】図８に示すフィルタ「９」での統合結果２
０４では、原画像２０１の「９」を示す位置Ｐ１に結果
のピークが存在する。図９に示すフィルタ「５」での統
合結果２０５では、原画像２０１の「５」を示す位置Ｐ
２に結果のピークが存在する。これらの位置Ｐ１〜Ｐ６
は、図５のナンバープレートＮＰにフィルタをかけたと
きの代表パターンそれぞれの位置座標を示している。

【００７１】この場合に、フィルタ「９」においての統
合結果２０４では、「５」や「０」を示す位置Ｐ３およ
び位置Ｐ４でも比較的高い値を示すが、これは、
「９」、「５」、「０」が互いに似たパターンであるた
めである。ピークが高いほど位置を示す点の大きさが大
きくなる。

【００７２】しかしながら、ピークの値は「９」の位置
Ｐ１での統合結果のピークの方が高い。同様に、図９に
示すフィルタ「５」での統合結果２０５でも、「９」、
「５」、「０」が互いに似たパターンであるため、
「９」や「０」を示す位置Ｐ５および位置Ｐ６でも比較
的高い値を示すが、ピークの値は「５」の位置Ｐ２での
統合結果の方が高い。

【００７３】したがって、ピークの高さを比較すれば、
どのフィルタにその画像のその位置が最も対応するかを
求めることができ、結果的にフィルタにおいて代表され
るパターンの抽出が実現できる。

【００７４】すなわち、前記ピークは、図８および図９
にそれぞれ示された統合結果２０４および統合結果２０
５において、画像「９」、「５」および「０」に代表パ
ターンの画像を重ね合わせるときの画像座標に表示され
る。統合結果２０４においては、画像「９」のピークが
他の画像「５」および画像「０」よりも大きく、また統
合結果２０５においては、画像「５」のピークが他の画
像「９」および画像「０」よりも大きく表示される。

【００７５】なお、図８および図９においては、「９」
と「５」とを代表パターンとした場合の統合結果を示し
たが、実際には抽出しようとするパターンをすべて用意
する。例えば、日本の車のナンバープレートでは、
「０」から「９」と「・」との１１個のパターンを用意
すれば数字の認識を行うことができる。

【００７６】式を用いてより具体的に統合結果を示せ
ば、Ｍ_j(ｕ,ｖ)≡１Ｃ(ｘ)＝ｘであり、最終的には、Ｆ_j(ｘ,ｙ)＝∬∇Ｑ_j(ｕ,ｖ)・∇ｆ(ｘ＋ｕ,ｙ＋ｖ)ｄｕｄｙ＝∬{(∂／∂ｘ)Ｑ_j(ｕ,ｖ)(∂／∂ｘ)ｆ(ｘ＋ｕ,ｙ＋ｖ) ＋(∂／∂ｙ)Ｑ_j(ｕ,ｖ)(∂／∂ｙ)ｆ(ｘ＋ｕ,ｙ＋ｖ)}ｄｕｄｙ ‥‥‥（９）となる。

【００７７】なお、本実施の形態において、フィルタ処
理および統合方法は、前記説明したフィルタ処理および
統合方法以外の方法であってもよい。

【００７８】例えば、フィルタ処理として一次微分処理
を用い、統合方法として外積を用いてもよい。その場
合、関数Ｈ｛Ｑ_j,ｆ｝は、下記（１０）式のようにな
る。

【００７９】Ｈ{Ｑ_j,ｆ}(ｘ,ｙ,ｕ,ｖ)＝∇Ｑ_j(ｕ,ｖ)×∇ｆ(ｘ＋ｕ,ｙ＋ｖ) ‥‥（10）ベクトルの外積は、そのベクトルで生成される平行四辺
形の面積を表すことから、外積はできるだけ小さい方が
２つのベクトルが一致していることが分かる。したがっ
て、統合時に行う外積の結果ができるだけ小さい所が、
抽出したい点となる。

【００８０】また、下記（９）式に示すフィルタ処理後
の差を考慮する方法も考えられる。Ｈ{Ｑ_j,ｆ}(ｘ,ｙ,ｕ,ｖ) ＝｜∇Ｑ_j(ｕ,ｖ)−∇ｆ(ｘ＋ｕ,ｙ＋ｖ)｜ ‥‥‥（11）Ｈ{Ｑ_j,ｆ}(ｘ,ｙ,ｕ,ｖ) ＝｜∇Ｑ_j(ｕ,ｖ)−∇ｆ(ｘ＋ｕ,ｙ＋ｖ)｜² ‥‥‥（11'）

【００８１】ここで｜｜は、ベクトルの長さを示す。式
（11）は誤差、式（11'）は二乗誤差を示す。これら誤
差および二乗誤差の場合は、「０（ゼロ）」に近い小さ
い値が出力された所が、抽出したい点となる。

【００８２】また、一次微分処理として、画像処理で一
般的に使用されているＳｏｂｅｌ微分処理を、予め定め
るフィルタ処理とする方法も考えられる。このＳｏｂｅ
ｌ微分処理の結果は、上述してきたような２次元のベク
トルではなく、単に微分された部分の濃淡に基づく濃淡
の勾配の強度、すなわち１次元の値として求められる。

【００８３】このように、入力画像と代表パターンとに
Ｓｏｂｅｌ微分処理を施し、これらの位置をずらしなが
ら、かつ、非線形関数Ｃを用いて極端に大きな値が発生
するのを抑え（カットオフ処理）ながら、または恒等関
数の場合はそのまま積分する（この場合は、ベクトル処
理ではなくスカラー計算となる）。以上のパターンの抽
出方法をフィルタ処理および統合処理を用いたパターン
抽出処理とする。

【００８４】これにより、フィルタ処理および統合処理
を用いたパターン抽出処理における統合結果を得ること
ができ、これは、統合して値の高い（または低い）所
が、目的パターン抽出の結果である。

【００８５】これらの例それぞれにおいて、ｆおよびＱ
_jに対して対数変換による前処理（ｆ→logｆ）を行う方
法が考えられる。

【００８６】∇（logｆ）＝∇ｆ／ｆであり、この値
は、画像の明るさの変化の影響を受けにくい値となるた
め、画像内のパターン抽出方法には有効な処理である。

【００８７】この場合の画像内のパターン抽出方法は、
フィルタ処理の部分に前処理を組み込んだ方法である。

【００８８】この画像内のパターン抽出方法では、例え
ば、Ｈ{Ｑ_joＡ_i,ｆ}(ｘ,ｙ,ｕ,ｖ) ＝｜∇Ｑ_j(Ａ_i(ｕ,ｖ))∇Ａ_i(ｕ,ｖ)−∇ｆ(ｘ＋ｙ,ｕ＋ｖ)｜は、＝｜∇Ｑ_j(Ａ_i(ｕ,ｖ))∇Ａ_i(ｕ,ｖ)／Ｑ_j(Ａ_i(ｕ,ｖ)) −∇ｆ(ｘ＋ｙ,ｕ＋ｖ)／ｆ(ｘ＋ｙ,ｕ＋ｖ)｜ ‥‥‥（12）となる。

【００８９】なお、前処理として、画像の値に対して行
われる対数変換は、カメラとＡ／Ｄ変換との特性を補正
するものである。一般に、対数変換は、画像の画素値が
物体（被写体）の表面反射率（Ｒ）と照度（Ｉ）との積
に比例しており、この表面反射率と照度とを分離するた
めに行われる。すなわち、画素値（ｇ）は、ｇ＝ＫＩＲ ‥‥‥（13）と求められる。ここで、Ｋは定数である。

【００９０】そして、（１０）式に対して対数変換を行
うと、 logｇ＝log Ｋ＋ logＩ＋logＲ ‥‥‥（14）となり、照度と表面反射率とが分離できる。この（13）
式を微分することにより、 ∇logｇ＝∇logＩ＋∇logＲ ‥‥‥（15）これにより、画素値に対する対数変換は、対象となる物
体に影がかかっている場合に、画素値における物体にか
かる影の影響を減少させる顕著な効果が得られる。

【００９１】これは微分処理は一種の差の計算であり、
対数変換によって２点の画素値の差を明るさの比に比例
させるように変換するものである。なお、以上の説明
は、ｇがＩＲ（すなわち画素に対応する情景中の点のみ
かけの明るさ）に比例するとして説明したが、カメラと
Ａ／Ｄ変換などの入力系の設計や設定次第で、ｇがＩＲ
のγ乗（γ固定値）に比例する場合や、オフセットが加
わる場合がある。この場合には、この関係を数式化し
て、ある２点の画素値の差がみかけの明るさに比例する
ようにテーブルによる変換または計算式による変換を行
う。これにより、以下の議論はそのまま成り立つ。

【００９２】上述した対数変換の効果について、図１０
〜図１７を用いて説明する。図１０は代表パターンの画
像を示し、図１１は抽出する対象の上半分に影がかかっ
ている場合の画像を示す。たとえば、図１６に示すナン
バープレートに図１７に示す様に、建物などの影がかか
った場合を示す。また、図１２〜図１５は、図１０の画
像と図１１との対応する座標における画素値およびこの
画素値に演算処理を行った結果の相関係数を求めるた
め、各々の画素値をプロットした図である。図１２にお
いて、横軸（ｘ軸）は図１０の代表パターンの画素値を
示し、縦軸（ｙ軸）は図１１の抽出する対象の画素値を
示している。

【００９３】例えば、図１０の座標Ｓの画素値が「１５
０」であり、図１１における図１０の座標Ｓに対応する
座標の画素値が「５０」である場合、プロットは図１２
において座標（１５０，５０）に行われる。この結果、
図１２には、２つのグループが存在することが読みとれ
る。

【００９４】すなわち、図１２において、ｙ＝ｘの直線
近傍に散在する点は、図１１の画像の影の無い下半分に
対応しており、相関値「０.９９」を示している。一
方、図１２において、ｙ＝０.４ｘの直線近傍に散在す
る点は、図１１の画像の影のある上半分に対応してお
り、相関値「０.８」を示している。従って、全体とし
てのプロットは、相関値「０.６２」を示している。

【００９５】図１３は、図１０および図１１の画像に対
して対数変換を行った後に、対応する座標毎に対数変換
後の画素値をプロットした図である。横軸（ｘ軸）は代
表パターンの画素値を対数変換した値を示しており、横
軸（ｙ軸）は抽出する対象の画素値を対数変換した値を
示している。図１２におけるプロットと同様に２つのグ
ループが存在するがグループごとの傾きは、ほぼ等しく
なる。

【００９６】図１４は、図１０および図１１の画像に対
してそれぞれ微分処理を行った後に、対応する座標毎に
この微分変換後の画素値をプロットさせた図である。実
際には、微分変換の値は２次元になるが、図１４におい
ては、図１０および図１１の画像における微分変換のｘ
軸およびｙ軸方向のそれぞれの結果の値を重ねて、図１
４の横軸および縦軸に示してある。この図において、横
軸（ｘ軸）は代表パターンの画素値が微分変換された結
果のを示しており、横軸（ｙ軸）は抽出する対象の画素
値が微分変換された結果の値を示している。図１４にお
いても図１２のプロットと同様に２つのグループが存在
することが読みとれる。このときの相関係数は「０.８
４」である。

【００９７】図１５は、対数変換を行った後の図１０お
よび図１１の画像に対してそれぞれ微分変換を行った結
果を、対応する座標毎にこの微分変換された画素値をプ
ロットした図である。この図において、横軸（ｘ軸）は
代表パターンの対数変換された画素値が微分変換された
結果の値を示しており、横軸（ｙ軸）は抽出する対象の
対数変換された画素値が微分変換された結果の値を示し
ている。

【００９８】図１５に示される様に１つのグループに集
約され、相関係数は全体で「０.９１」となっている。
この相関値の結果からこの後に行う統合処理の如何によ
らず、対数変換を行った後の微分変換によって、対数変
換を行わない場合に比して良い判定結果が得られる。

【００９９】また、前処理として、ここでは対数変換お
よびテーブル変換処理が用いられているが、メディアン
フィルタ、ガウス関数による畳み込みなどの平滑化処
理、局所的Ｆｏｕｒｉｅｒ変換、Ｗａｖｅｌｅｔ変換、
エッジ強調処理、さらに前処理自体に１次微分処理、お
よび前述した処理を組み合わせて利用することも考えら
れる。

【０１００】さらに、寄与度の重み関数Ｍ_jを作為的に
用いることにより、本実施の形態のような文字の抽出で
は、複数の文字を１カテゴリーで抽出することも可能で
ある。以下、その方法について説明する。

【０１０１】まず、「０」、「２」、「３」、「５」、
「６」、「８」、「９」の各数字の形に注目する。これ
らの数字は、大局的には「０」のような縦長の楕円の中
に含まれる。例えば、代表パターンＱ_jは「０」とし、
関数Ｍ_jの値を数字の輪郭にあたる楕円の部分で大き
く、楕円の内部で小さく設定することとする。

【０１０２】これにより、このカテゴリーは、「０」ば
かりでなく、前記楕円形状を持つ数字に対しても強い出
力が得られることになる。例えば、図８の「９」のフィ
ルタ処理の統合結果２０４では、「９」のフィルタ処理
を行ったにも関わらず、「０」および「５」の位置で比
較的高い値を示している。これは、関数Ｍ_jの値を前記
した方法で輪郭部分を強調することにより、所望の結果
が得られることを示している。

【０１０３】このように、本実施形態の画像内のパター
ン抽出方法では、代表パターンおよび入力画像のそれぞ
れに対して、フィルタ処理（微分処理）を施すようにし
たので、画像内の影に代表される大局的な照明の影響
は、このフィルタ処理で除去することができる。

【０１０４】一方、入力画像内の局所的なノイズはフィ
ルタ処理により強調されるが、ノイズの影響は局所的で
あるため、代表パターンおよび入力画像に対するフィル
タ処理結果の大局的統合処理を行うことにより、入力画
像の中から代表パターンの大局的特徴を抽出することが
でき、局所的なノイズの影響は受けにくくなる。また、
入力画像内の抽出対象のパターンに部分的な遮蔽やスミ
アが存在する場合でも、遮蔽やスミアの影響を受けない
部分が充分大きい場合には、ノイズの場合と同様に大局
的には代表パターンの抽出が可能となる。

【０１０５】次に、図１８を参照して、本発明における
パターン認識方法の実施形態を説明する。図１８は本発
明のパターン認識方法の一実施形態によるパターン認識
方法を説明するための図であり、５０１は入力画像蓄積
部、５０２は代表パターン蓄積部、５０３は認識対象切
りだし処理手順、５０４は類似度計算処理手順、５０５
は局所パターン抽出処理手順、５０６はパターン抽出処
理手順、５０７は領域復元処理手順、５０８は比較処理
手順、５０９は認識結果／位置情報出力処理手順、５１
０は認識結果出力処理手順である。これらの手順は、供
給可能な媒体に記憶されたプログラムに従い、ＣＰＵお
よびメモリ等で構成されたコンピュータがそれぞれの処
理を実行する。

【０１０６】入力画像蓄積部５０１は、カメラなどで撮
影された画像が蓄積されており、この画像が認識処理さ
れる対象である。この画像は、２値、多値の濃淡または
カラ一画像など種類は一定しているとする。

【０１０７】代表パターン蓄積部５０２は、画像内から
パターンを抽出／認識するための代表パターンを蓄積し
ている。画像としては、入力画像と同等の種類である．
代表パターンは複数存在すると仮定する。抽出されるパ
ターンと代表パターンは１対１に対応しており、この結
果が認識結果と直結する。

【０１０８】認識対象切り出し処理手順５０３は、入力
画像蓄積部５０１の中から認識対象となる領域を切り出
す処理である。続く類似度計算処理手順５０４の方式に
も依存するが、認識対象となる領域は、代表パターンと
直接比較できるように切り出す。例えば、代表パターン
と認識対象との相関値を類似度として利用する場合に
は、代表パターンと認識対象とは画像の形と大ささ（形
状）が一致しなければならない。方向性微分処理を用い
る本実施形態の認識対象切り出し方法でも、代表パター
ンと認識対象の形状が一致しなければならない点は同等
である。

【０１０９】最も単純な認識対象の切り出し方法は、代
表パターンの形状に一致する画像のすべての領域を１つ
づつ切り出す方法であり、これは一般にずらしマッチン
グと呼ばれる。何らかの前処理により比較すべき領域が
限定されるなら、すべての領域を切り出す必要はない。
なお、一連の処理が代表パターンの大きさ、形の変形な
どを含む場合には、当然、その形状の変形に応じた認識
対象の切り出しが行われることになる。

【０１１０】類似度計算処理手順５０４は、認識対象切
り出し処理手順５０３で切り出された領域と、代表パタ
ーンとを比較する処理である。類似度の計算方法につい
ては、別途説明する。但し、この処理の条件は、認識対
象と各代表パターンとの類似度を計算した結果につい
て、次の局所パターン抽出処理手順５０５にて認識対象
と最も類似すると判断される代表パターンを決定できる
ことである。

【０１１１】局所パターン抽出処理手順５０５は、認識
対象を固定した時の、類似度計算処理５０４で計算され
た各代表パターンと認識対象との類似度を比較し、この
認識対象が最も類似するパターンを決定する。

【０１１２】パターン抽出処理手順５０６は、手順５０
３〜５０５を含む処理である。認識対象が予め定まって
いる場合のように１つである場合、認識結果はこのパタ
ーンに対応する代表パターンとなる。しかし、一般的に
入力画像の中には複数の認識対象が存在し、実際にはパ
ターンの位置の決定までを行う必要がある。これは、手
順５０７〜５０９を含む認識結果出力処理手順５１０が
担う。

【０１１３】領域復元処理手順５０７は、認識対象のパ
ターン抽出結果、すなわちパターン抽出処理手順５０６
の結果を抽出したパターンの位置情報と形状を入力画像
と同じ大きさのパターンに対応させる処理である。

【０１１４】比較処理手順５０８は、戻されたパターン
抽出結果の領域、その類似度を認識対象の領域を単位と
して比較する処理である。

【０１１５】認識結果／位置情報出力処理手順５０９
は、認識結果としての代表パターンとその位置情報を提
示する処理である。

【０１１６】なお、領域復元処理手順５０７、比較処理
手順５０８及び認識結果／位置情報出力処理手順５０９
の実現方法例は、別途、改めて説明する。

【０１１７】認識結果出力処理手順５１０は、元来認識
したい対象に基づくパターン抽出結果の拘束条件を用い
て、認識結果を出力する処理である。

【０１１８】類似度計算処理手順５０４の類似度の計算
方法について、さらに詳しく説明する。類似度の計算に
利用できる方法は種々存在する。

【０１１９】例えば２値画像であればパターン同士を正
規化（大きさをそろえて）重ね合せ、そのうち一致しな
いビットの数を計算する方法がある。この場合、不一致
ビット数が少ないほどパターン同士は類似するとする。

【０１２０】２値化を行わない画像、すなわち多値の画
像をそのまま扱う場合、例えば相関係数を利用する場合
もある。このうち、ここでは、本実施形態の方向性一次
微分を用いた類似度の計算方法について簡単に説明す
る。ここでの説明は、前述した画像内のパターン抽出方
法の実施形態のパターン抽出統合処理記述をベースにし
ている。

【０１２１】次に計算方法を示すため、数式を導入す
る。Ｑ_jは代表パターンの１つ、ｆは認識対象領域とす
る。これらは(ｘ,ｙ)で表現される２次元で定義された
関数であり、認識対象と代表パターンであるため、それ
ぞれの関数の定義域は同じとみなすことができる。グラ
ジエント（方向性微分）は、（１）式に示す「∇＝（∂
／∂ｘ，∂／∂ｙ）」とする。

【０１２２】すなわち、∇ｆ(ｘ,ｙ)＝(∂ｆ／∂ｘ,∂ｆ／∂ｙ)(ｘ,ｙ) ‥‥‥（16）である。ここでは一般的な数学表現である２次元関数の
方向性を持つ一次微分（グラジエント）∇ｆと、それぞ
れｘ，ｙ方向の偏微分∂／∂ｘ，∂／∂ｙを用いてい
る。

【０１２３】これらの数式表現を用いて、本実施形態の
類似度の計算方法例について説明する。まず、基本は
∇Ｑ_jと∇ｆを比較することである。この比較方法に
は、様々なものが考えられる。前述した本発明のパター
ン抽出法では、内積をベースとして利用しているが、そ
の他にも、∇Ｑ_j，と∇ｆとの差の合計や相関係数を計
算する方法、∇Ｑ_j／Ｑ_jと∇ｆ／ｆとの差の合計や相関
係数を計算する方法が考えられる。なお、本発明のパタ
ーン抽出法では代表パターンの変形、代表パターンの領
域毎の重みづけも考慮しているが、当然本実施形態でも
同じ考慮は可能である。

【０１２４】前記の方法により相関係数などを計算すれ
ば、各認識対象領域には、各代表パターン毎に１つの類
似度が数値で決定される。これが前述した類似度計算処
理手順５０４での条件を満たしていることは明らかであ
る。

【０１２５】相関係数の計算を行う場合には、微分値を
利用する場合２次元であるため、一般的な相関係数計算
の積（スカラー積）の部分に、通常、内積が使用され
る。これを式で示すと、Ｆ_j(ｘ,ｙ)＝∬∇Ｑ_j(ｕ,ｖ)・∇ｆ(ｘ＋ｕ,ｙ＋ｖ)ｄｕｄｙ／(‖∇Ｑ_j‖²‖∇ｆ(ｘ＋・,ｙ＋・)‖²) ‥‥‥（17）となる。

【０１２６】但し、（１５）式において、 ‖∇Ｑ_j‖²＝∬∇Ｑ_j(ｕ,ｖ)・∇Ｑ_j(ｕ,ｖ)ｄｕｄｙ ‥‥‥（18） ‖∇ｆ(ｘ＋・,ｙ＋・)‖²＝ ∬∇ｆ(ｘ＋ｕ,ｙ＋ｖ)・∇ｆ(ｘ＋ｕ,ｙ＋ｖ)ｄｕｄｙ ‥‥‥（19）である。

【０１２７】当然ながら、∇Ｑ_jとｆとの代わりに、対
数変換の結果を用いることも可能である。このとき、上
記の式の全てのＱ_jの代わりにlogＱ_jが、また全てのｆ
の代わりにlogｆが用いられることになる。さらに、変
形処理および寄与度も同様に追加可能である。

【０１２８】次に、領域復元処理手順５０７、比較処理
手順５０８、認識結果／位置情報出力処理手順５０９で
構成される認識結果出力処理手順５１０の実現方法をさ
らに詳しく説明する。

【０１２９】予め認識対象の場所と大きさが特定される
ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅａ
ｄｅｒ）のように、抽出（認識）したいパターンが入力
画像に１つのみの場合、全代表パターン、全領域の中か
ら最も類似するパターンに対応する代表パターンがその
認識結果になることは明らかである。しかし、入力画像
内で複数のパターンを認識しようとする場合、そのパタ
ーンの抽出には、パターン同士の重複を考慮することが
必要となる。

【０１３０】領域復元処理手順５０７は、認識対象のパ
ターン抽出結果を、抽出したパターンの領域の入力画像
と同じ大きさのパターンに対応させる処理である。対応
させるデータは、位置情報と認識した結果である代表パ
ターンの形状情報を同時に含む。

【０１３１】この実現方法例を述べる。（以下、類似度
が高いとは、代表パターンと抽出結果がより似ていると
判断される場合をさす。）まず、入力画像と同じ大ささ
の領域を用意する。この領域の各点か入力画像の各点に
対応するとする。この中に、認識された緒果を、その認
識結果が得られたことを示すために認識位置に対応して
「張り付け」て行く。

【０１３２】この張り付ける内容は、例えば認識結果と
その認識場所が含まれていれば十分である。張り付けが
行われる点は、入力画像において前記の認識結果のパタ
ーンが抽出されたとされる領域である。この時、複数の
認識結果の「張り付け」順位を類似度に基づいて決定す
るのが比較処理手順５０８であり、局所パターン抽出処
理手順５０５で得られた値が、その類似度が最も高い順
に「張り付け」領域を確保する。

【０１３３】類似度が高いパターンの領域に重なる類似
度が低い別パターンは、この比較処理手順５０８では無
視される。

【０１３４】図１９から図２２は、図１８の認識結果出
力処理手順５１０の実現方法の説明を補足するものであ
る。

【０１３５】図１９において、入力画像３０１はナンバ
ープレートを例として使用した、この時、４桁目の数字
「９」の上の領域３１０に略半円状のナンバープレート
の文字に近い太さのノイズが入っている。

【０１３６】図２０において、解釈３０２は、数字代表
パターンを用いた認識解釈の１例である．ここでは、
「１」「２」「６」「９」の解釈とそれぞれの代表パタ
ーンで表現すべき領域が重ねて表示してある。３０４は
４桁目の数字「９」に対する認識結果有効領域である。

【０１３７】図２１において、解釈３０３は、領域３１
０にあるノイズの影響により、本来「９」となるべき所
から上方向にずれた所で「６」と解釈されている。３０
５はこの「６」に対する認識結果有効領域である。

【０１３８】図２２において、認識結果３０６は画像の
状態に依存するが、４桁目の数字に対する「９」と
「６」とに対する解釈は、「９」の方が類似度が高いと
する。この場合、認識結果有効領域３０４と認識結果有
効領域３０５とには重なりがあるが、認識結果有効領域
３０４の方が類似度が高いとみなされるため、認識結果
有効領域３０５の方の領域の解釈は無視されることにな
る。

【０１３９】このようにして、代表パターンに対応する
領域が復元され、矛盾のない解釈が可能となる。

【０１４０】最終的には、各認識結果「ｌ」「２」
「６」「９」の並び方をチェツクして、トータルとして
の認識結果を出力することになる。

【０１４１】別の実現方法として、前述の例とは逆に類
似度が低い順にパターンの張り付けを上書きを許しなが
ら行うことが考えられる。これにより、比較処理手順５
０８と同等の結果を得ることも可能である。

【０１４２】さらに、同じ結果は、例えば、認識した結
果の類似度が高い順に、認識した位置のまわりにその認
識代表パターンの領域に対応する不介入領域を作ってい
くことでも得られる。

【０１４３】認識結果／位置情報出力処理手順５０９
は、以上から得られた結果のうち、残った認識結果を再
集約する処理である。周りの領域と比較して類似度が高
いと判断された点の近くでは、別の認識結果が得られる
ことがなく、認識結果は必ず分離して重複なく得られ
る。

【０１４４】一般的に文字認識のように、位置情報に互
いに関連がある場合は、さらに、これを考慮した認識結
果を得る処理を追加する。例えば、本実施形態のナンバ
ープレート上の文字の認識や、道路標識などでは、例え
ば日本では予め定める代表パターンは漢字、ひらがな、
数字、アルファベットなどに限定されており、かつ各々
の文字の位置、配置なども定まっている。このため、位
置情報が認識対象の配置に合致した場合のみ、最終的な
認識結果を返す。

【０１４５】次に、本発明における画像異常判断方法の
実施形態を図を用いて説明する。一実施形態による画像
異常判断の処理を図２３および図２４を用いて説明す
る。これらの手順は、供給可能な媒体に記憶されたプロ
グラムに従い、ＣＰＵおよびメモリ等で構成されたコン
ピュータがそれぞれの処理を実行する。図２３は、参照
画像Ａ１を示し、図２４は、比較画像示Ｂ１を示してい
る。図２３における領域Ａ２は、参照画像Ａ１の判定領
域を示しており、図２４における領域Ｂ２は、比較画像
示Ｂ１の判定領域を示している。この図２３に示す参照
画像および図２４に示す比較画像は、それぞれ一般的な
方法、例えばテレビカメラで撮影された入力画像であ
る。

【０１４６】比較画像Ｂ１の判定領域Ｂ２と参照画像Ａ
１の判定領域Ａ２とは、絶対的な位置座標が同一であ
り、かつ同じ大きさおよび同形状である。参照画像Ａ１
と比較画像Ｂ１とが同じカメラで同じ位置および倍率に
おいてテレビカメラにより撮影された画像であれば、こ
れらの判定領域Ａ２と判定領域Ｂ２とは、全く同じ領域
を得ることができる。また、判定領域Ａ２および判定領
域Ｂ２は、それぞれ参照画像Ａ１と比較画像Ｂ１との部
分領域である。しかしながら、判定領域Ａ２と判定領域
Ｂ２とは、それぞれ参照画像Ａ１、参照画像Ｂ１に一致
させることも可能である。

【０１４７】類似度計算処理では、参照画像Ａ１の判定
領域Ａ２と参照画像Ｂ１の判定領域Ｂ２との２枚の画像
の類似度が計算される。この類似度の計算方法は、様々
存在するが、前述した画像内のパターン抽出方法の一実
施形態に示す判定に用いられたフィルタ処理および統合
処理を用いたパターン抽出処理を用いる。例えば、ここ
では、フィルタ処理および統合処理を用いたパターン抽
出処理における類似度計算方法の一例として、画像を対
数変換した結果を１次微分する処理を用いる。そして、
１次微分された結果の内積を計算することで相関係数を
求める相間法を利用し、異常判定が行われる。また、対
応する計算式によって、異常判定に用いられる式も同様
に変化可能である。

【０１４８】以下の計算において、予め定めたパターン
Ｑ_jに類似する領域を、画像ｆの中から探し出すことが
目的である。Ｆ_ij(ｘ,ｙ)＝∬∇logＱ_j(ｕ,ｖ)∇logｆ(ｘ＋ｕ,ｙ＋ｖ)ｄｕｄｙ／(‖∇logＱ_j‖²‖∇logｆ(ｘ＋・,ｙ＋・)‖²) ‥‥‥（20）

【０１４９】式（20）における「‖∇logＱ_j‖²」およ
び「‖∇logｆ(ｘ＋・,ｙ＋・)‖²」は、それぞれ式（2
1）と式（22）とに示す関数である。 ‖∇logＱ_j‖²＝∬∇logＱ_j(ｕ,ｖ)・∇logＱ_j(ｕ,ｖ)ｄｕｄｙ ‥‥‥（21） ‖∇logｆ(ｘ＋・,ｙ＋・)‖²＝∬∇logｆ(ｘ＋ｕ,ｙ＋ｖ) ・∇logｆ(ｘ＋ｕ,ｙ＋ｖ)ｄｕｄｙ ‥‥‥（22）

【０１５０】この場合、参照画像Ａ１および比較画像Ｂ
１における類似度の計算は以下のとおりとなる。

【数３】

【０１５１】ここで、

【数４】および

【数５】は、それぞれ以下に示す関数である。

【数６】

【数７】

【０１５２】この（23）式〜（25）式において、ｇおよ
びｆは、それぞれ参照画像Ａ１および比較画像Ｂ１を示
す。また、同様にlogｇおよびlogｆは、それぞれ参照画
像Ａ１、比較画像Ｂ１の対数変換画像を示す。さらに、
「Ω」は、判定領域Ａ２と判定領域Ｂ２とを示し、
「{(ｘ＋ｕ,ｙ＋ｖ)｜(ｕ,ｖ)∈Ω}」である。そして、
Ｆ(ｘ,ｙ)は、「{(ｘ＋ｕ,ｙ＋ｖ)｜(ｕ,ｖ)∈Ω}」で
示される判定対象の判定領域Ａ２と判定領域Ｂ２との類
似度を示す。

【０１５３】以上の計算式を用いた場合、Ｆ(ｘ，ｙ)の
値は、参照画像Ａ１と比較画像Ｂ１とが類似する場合は
「１」に近い値となる。一方、類似しない場合、Ｆ
(ｘ，ｙ)の値は、「０」や「−（負の値）」の値を示
す。このとき、「−１」に近い結果は、パターン抽出に
おいては画像の反転を示す。しかしながら、異常判定に
おいては類似していないと決論付けるのが妥当である。
実際の異常監視においては、画像全体で異常を検出する
場合と、画像の一部で異常を検出する場合がある。

【０１５４】上述したように、カメラなどの画像におい
て、照明の変動や建物などの影の存在を大きく受けず
に、画像の判定領域Ａ１と判定領域Ｂ１との類似度から
異常領域を正常に判定できるため、見かけの変化が建物
の影などによって発生している場合に類似度は高く検出
され、物体の進入などにより実際の変化が生じた場合の
み、類似度が低く検出され、影などの影響を受けにくい
異常検出が可能となる。

【０１５５】以上、本発明者によってなされた発明を、
前記実施の形態に基づき具体的に説明したが、本発明
は、前記実施の形態に限定されるものではなく、その要
旨を逸脱しない範囲において種々変更可能であることは
勿論である。

【０１５６】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。

【０１５７】（１）本発明のパターン抽出方法によれ
ば、入力画像中にノイズ、影があっても、あるいは入力
画像中の抽出しようとするパターンが部分的に遮蔽され
ていても、入力画像中から目的とする文字等のパターン
を安定に抽出することが可能となる。

【０１５８】（２）本発明のパターン認識方法によれ
ば、照明条件の局所的変動、ノイズ、スミア、遮蔽、接
触に強い方法を用いたパターン認識が実現できる。特
に、屋外で撮影された画像を使用したパターン認識に効
果を示す。（３）本発明のパターン認識方法によれば、画像の分
解能の条件が緩和されるため、高い認識率を得る効果が
ある。

【０１５９】（４）本発明の画像異常判定方法によれ
ば、カメラなどの画像を用いた監視において、照明の変
動や建物などの影の存在を大きく受けずに、画像におけ
る異常領域を正常に判定できるため、見かけの変化が前
記影によって発生する場合に類似度は高く検出され、物
体の進入などにより実際の変化が生じた場合のみ、類似
度が低く検出され、影などの影響を受けにくい異常検出
が可能となる。

【図面の簡単な説明】

【図１】本発明の画像内のパターン抽出方法による一
実施形態の情報処理装置の概略構成を示すブロツク図で
ある。

【図２】本発明の画像内のパターン抽出方法による一
実施形態の処理手順を示すフローチヤートである。

【図３】本発明の画像内のパターン抽出方法による一
実施形態のフィルタ処理を説明するための図である。

【図４】本発明の画像内のパターン抽出方法による一
実施形態のフィルタ処理を説明するための図である。

【図５】車のナンバープレートの文字を示す概念図で
ある。

【図６】「９」の画像の代表パターンを示す図であ
る。

【図７】「５」の画像の代表パターンを示す図であ
る。

【図８】本発明の画像内のパターン抽出方法における
統合結果のピークを示す図である。

【図９】本発明の画像内のパターン抽出方法における
統合結果のピークを示す図である。

【図１０】「５」の代表パターンの画像を示す図であ
る。

【図１１】抽出する対象の画像「５」の上半分に影が
かかっている場合を示す図である。

【図１２】代表パターンと抽出する対象の画像との画
素値の関係を示す図である。

【図１３】代表パターンと抽出する対象の画像との対
数変換を行った画素値の関係を示す図である。

【図１４】代表パターンと抽出する対象の画像との画
素値にそれぞれ微分処理を行った結果の値の関係を示す
図である。

【図１５】対数変換を行った代表パターンの画素値
と、対数変換を行った抽出する対象の画像の画素値とに
それぞれ微分処理を行った結果の関係を示す図である。

【図１６】ナンバープレートを示す図である。

【図１７】上半分に影がかかったナンバープレートを
示す図である。

【図１８】本発明のパターン認識方法による一実施形
態の処理方法を示す図である。

【図１９】図１８の認識結果出力処理手順５１０の実
現方法の説明を補足するための図である。

【図２０】図１８の認識結果出力処理手順５１０の実
現方法の説明を補足するための図である。

【図２１】図１８の認識結果出力処理手順５１０の実
現方法の説明を補足するための図である。

【図２２】図１８の認識結果出力処理手順５１０の実
現方法の説明を補足するための図である。

【図２３】本発明の画像異常判断方法の一実施形態に
用いられる参照画像Ａ１を示す図である。

【図２４】本発明の画像異常判断方法の一実施形態に
用いられる比較画像Ｂ１を示す図である。

【符号の説明】

１０…ＣＰＵ、１１…主記憶装置、１２…ディスプレイ
（表示手段）、１３…キーボード等の入力手段、１４…
画像入力手段、１５…記憶装置、１６…バスライン、２
１…フィルタ処理部、２２…結果統合部、２３…抽出・
位置特定処理部、２４…代表パターン蓄積部、２５一入
力画像蓄積部、５０１…入力画像蓄積部、５０２…代表
パターン蓄積部、５０３…認識対象切りだし処理手順、
５０４…類似度計算処理手順、５０５…局所パターン抽
出処理手順、５０６…パターン抽出処理手順、５０７…
領域復元処理手順、５０８…比較処理手順、５０９…認
識結果／位置情報出力処理手順、５１０…認識結果出力
処理手順。

Claims

【特許請求の範囲】

【請求項１】プログラムされたコンピュータによって
撮影された入力画像内から予め決められたパターンを抽
出する画像内のパターン抽出方法において、抽出しようとする代表パターンを蓄積するステップと、入力画像を蓄積するステップと、前記蓄積された代表パターンと前記蓄積された入力画像
に対して、それぞれフィルタ処理を施すステップと、前記代表パターンに対するフィルタ処理結果と前記入力
画像に対するフィルタ処理結果とを統合するステップ
と、前記統合された結果から前記代表パターンを抽出すると
ともにその位置を特定するステップとを有することを特
徴とする画像内のパターン抽出方法。
【請求項２】前記フィルタ処理を施すステップは、画
像に対して局所的な演算処理を行い中間データを求める
前処理と、畳込み処理あるいは一次微分処理の少なくと
も一方の処理とが行われるステップであることを特徴と
する請求項１に記載された画像内のパターン抽出方法。
【請求項３】前記前処理が画素値の対数変換であるこ
とを特徴とする請求項２記載の画像内のパターン抽出方
法。
【請求項４】前記前処理がカメラの入力系の特性に従
い画素値をテーブル変換することを特徴とする請求項２
記載の画像内のパターン抽出方法。
【請求項５】前記フィルタ処理結果を統合するステッ
プは、前記代表パターンと入力画像との各々のフィルタ
処理結果に対する内積を用いた畳み込み処理を行うステ
ップであることを特徴とする請求項１ないし請求項４の
いずれかに記載された画像内のパターン抽出方法。
【請求項６】前記フィルタ処理結果を統合するステッ
プは、前記代表パターンと入力画像との各々のフィルタ
処理結果に対する外積を用いた畳み込み処理を行うステ
ップであることを特徴とする請求項１ないし請求項４の
いずれかに記載された画像内のパターン抽出方法。
【請求項７】前記フィルタ処理結果を統合するステッ
プは、前記代表パターンと入力画像との各々のフィルタ
処理結果に対する差を用いた畳み込み処理を行うステッ
プであることを特徴とする請求項１ないし請求項４のい
ずれかに記載された画像内のパターン抽出方法。
【請求項８】前記フィルタ処理結果を統合するステッ
プは、各点の寄与度を示す重みづけを与えるステップを
含むことを特徴とする請求項１ないし請求項７のいずれ
かに記載された画像内のパターン抽出方法。
【請求項９】前記各点の寄与度を示す重みづけは、複
数の代表パターンの共通形状に対応しており、かつ、前
記統合された結果からの代表パターンを抽出する際に、
複数の代表パターンを１カテゴリーとして抽出すること
を特徴とする請求項８に記載された画像内のパターン抽
出方法。
【請求項１０】コンピュータによって撮影された入力
画像内から予め決められたパターンを抽出するための画
像内のパターン抽出プログラムを記憶した記憶媒体であ
って、当該画像内のパターン抽出プログラムは、コンピュータ
に抽出しようとする代表パターンを蓄積させ、入力画像
を蓄積させ、前記蓄積された代表パターンと前記蓄積さ
れた入力画像に対してそれぞれフィルタ処理をさせ、前
記代表パターンに対するフィルタ処理結果と前記入力画
像に対するフィルタ処理結果とを統合させ、前記統合さ
れた結果から前記代表パターンを抽出させるとともにそ
の位置を特定させることを特徴とする画像内のパターン
抽出プログラムを記憶した記憶媒体。
【請求項１１】画像に対する前処理と、畳み込み処理
あるいは一次微分処理の少なくとも一方の処理を行わせ
ることにより、前記蓄積された代表パターンと前記蓄積
された入力画像とに対して、それぞれフィルタ処理を行
わせることを特徴とする請求項１０に記載された画像内
のパターン抽出プログラムを記憶した記憶媒体。
【請求項１２】前記前処理が画素値の対数変換である
ことを特徴とする請求項１１に記載された画像内のパタ
ーン抽出プログラムを記憶した記憶媒体。
【請求項１３】前記前処理がカメラの入力系の特性に
従い画素値をテーブル変換することを特徴とする請求項
１１に記載された画像内のパターン抽出プログラムを記
憶した記憶媒体。
【請求項１４】前記代表パターンと入力画像との各々
のフィルタ処理結果に対する内積を用いた畳み込み処理
を行わせることにより、前記代表パターンに対するフィ
ルタ処理結果と、前記入力画像に対するフィルタ処理結
果とを統合させることを特徴とする請求項１０ないし請
求項１３のいずれかに記載された画像内のパターン抽出
プログラムを記憶した記憶媒体。
【請求項１５】前記代表パターンと入力画像との各々
のフィルタ処理結果に対する外積を用いた畳み込み処理
を行わせることにより、前記代表パターンに対するフィ
ルタ処理結果と、前記入力画像に対するフィルタ処理結
果とを統合させることを特徴とする請求項１０ないし請
求項１３のいずれかに記載された画像内のパターン抽出
プログラムを記憶した記憶媒体。
【請求項１６】前記代表パターンと入力画像との各々
のフィルタ処理結果に対する差を用いた畳み込み処理を
行わせることにより、前記代表パターンに対するフィル
タ処理結果と、前記入力画像に対するフィルタ処理結果
とを統合させることを特徴とする請求項１０ないし請求
項１３にいずれかに記載された画像内のパターン抽出プ
ログラムを記憶した記憶媒体。
【請求項１７】各点の寄与度を示す重みづけを与え
て、前記代表パターンに対するフィルタ処理結果と、前
記入力画像に対するフィルタ処理結果とを統合させるこ
とを特徴とする請求項１０ないし請求項１６のいずれか
に記載された画像内のパターン抽出プログラムを記憶し
た記憶媒体。
【請求項１８】前記各点の寄与度を示す重みづけを、
複数の代表パターンの共通形状に対応させ、かつ、前記
統合された結果からの代表パターンを抽出する際に、複
数の代表パターンを１カテゴリーとして抽出させること
を特徴とする請求項１７に記載された画像内のパターン
抽出プログラムを記憶した記憶媒体。
【請求項１９】蓄積された入力画像内から予め蓄積し
た複数の代表パターンに類似するパターンとその位置を
決定するパターン認識方法において、入力画像の中から
暫定的な認識対象となる領域を決定する認識対象切り出
し処理手順と、前記認識対象と蓄積された各代表パター
ンとに対して、局所的な演算処理を行い中間データを求
める前処理、および方向性微分処理を施した上で比較し
てパターン同士の類似度を計算する類似度計算処理手順
と、前記類似度計算の結果から各認識対象が類似するパ
ターンを決定する局所パターン抽出処理手順と、各局所
パターン抽出結果を元の入力画像との位置関係の照合を
行う領域復元処理手順と、各領域毎に属するパターンを
決定する比較処理手順と、前記比較処理の結果からパタ
ーン認識結果及びそのパターンの位置を決定する認識結
果／位置情報出力処理手順とを有することを特徴とする
パターン認識方法。
【請求項２０】前記入力画像の認識対象は、ナンバー
プレート上の文字であり、認識代表パターンは数字、ド
ット、漢字、平仮名、アルファベットなどを含むことを
特徴とする請求項１９に記載のパターン認識方法。
【請求項２１】入力画像の中から暫定的な認識対象と
なる領域を決定する認識対象切り出し処理手順と、前記
認識対象と蓄積された各代表パターンとに対して、局所
的な演算処理を行い中間データを求める前処理、および
方向性微分処理を施した上で比較してパターン同士の類
似度を計算する類似度計算処理手順と、前記類似度計算
の結果から各認識対象が類似するパターンを決定する局
所パターン抽出処理手順と、各局所パターン抽出結果を
元の入力画像との位置関係の照合を行う領域復元処理手
順と、各領域毎に属するパターンを決定する比較処理手
順と、前記比較処理の結果からパターン認識結果及びそ
のパターンの位置を決定する認識結果／位置情報出力処
理手順とをコンピュータに実行させるプログラムを記録
したコンピュータ読み取り可能な記録媒体。
【請求項２２】参照される参照画像と比較される比較
画像とを比較して変化が生じた場所を検出する画像異常
検出方法において、前記参照画像を蓄積する参照画像蓄積工程と、前記比較画像を検出する比較画像蓄積工程前記比較画像
および前記参照画像における異常を判定する判定領域を
指定する判定領域指定工程と、前記参照画像と前記比較画像とに、それぞれ画像に対し
て局所的な演算処理を行い中間データを求める前処理、
および畳み込み処理あるいは一次微分処理の少なくとも
一方の処理を行うフィルタ処理を施すフィルタ処理工程
と、前記参照画像に対するフィルタ処理結果と前記比較画像
に対するフィルタ処理結果との間の内積、外積または相
関のいずれかの演算を行う類似度計算方法を用いて上記
判定領域の類似度を計算する類似度計算工程と、前記類似度が所定の値に対して小さいと確認された場合
を異常とし、確認結果として異常信号を出力する異常判
定工程とを有することを特徴とする画像異常検出方法。
【請求項２３】参照される参照画像を蓄積する参照画
像蓄積工程と、前記参照画像と比較される比較画像を検出する比較画像
蓄積工程と、前記比較画像および前記参照画像における異常を判定す
る判定領域を指定する判定領域指定工程と、前記参照画像と前記比較画像とに、それぞれ画像に対し
て局所的な演算処理を行い中間データを求める前処理、
および畳み込み処理あるいは一次微分処理の少なくとも
一方の処理を行うフィルタ処理を施すフィルタ処理工程
と、前記参照画像に対するフィルタ処理結果と前記比較画像
に対するフィルタ処理結果との間の内積、外積または相
関のいずれかの演算を行う類似度計算方法を用いて上記
判定領域の類似度を計算する類似度計算工程と、前記類似度が所定の値に対して小さいと確認された場合
を異常とし、確認結果として異常信号を出力する異常判
定工程とをコンピュータに実行させるプログラムを記録
したコンピュータ読み取り可能な記録媒体。