JP4800259B2

JP4800259B2 - パターン認識装置，パターン認識方法，その方法を実装したパターン認識プログラム，そのプログラムを記録した記録媒体

Info

Publication number: JP4800259B2
Application number: JP2007134296A
Authority: JP
Inventors: 慎吾安藤; 裕子高橋; 章鈴木; 貴之安野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-05-21
Filing date: 2007-05-21
Publication date: 2011-10-26
Anticipated expiration: 2027-05-21
Also published as: JP2008287652A

Description

本発明は、画像データにおけるパターン認識技術に関するものである。

近年、携帯電話にカメラ機能が搭載され、いつでも手軽に画像データを取得し、保存できるようになった。このカメラ機能をさらに活用する手段として、取得した画像データから該画像に写る物体を認識し、その物体に関連したデータを提供するというサービスが考えられる。携帯電話のネットワーク接続機能によって、画像データをサーバに転送すれば、携帯電話上では実現できないようなパターン認識処理もサーバ上で代行できる。

対象となる物体をカメラで撮影する場合、撮影方向等によって画像上での見え方が異なってくる。そのため、さまざまな方向からの撮影画像を予め登録しておく必要がある。しかし、全ての画像をそのまま登録し、マッチングにより識別すると、膨大なメモリ量と処理時間が必要になってくる。そのため、一般的に、部分空間法等のデータ圧縮及び照合法によって、メモリ量と処理時間を削減する方法（例えば、非特許文献１参照）が知られている。

また、近年、より高速かつ省メモリ化可能な方法として、確率的増分符号相関法（例えば、非特許文献２参照）が提案された。この方法は、物体の個体差や撮影方向の変化等に対し、確率に基づく照合評価値を定義することによって、高速に精度良く認識できるようにしたものであって、照明変動やノイズ、オクルージョンにも比較的ロバストである点が特徴である。この確率的増分符号相関法では、隣り合う２画素での明度値の増減を符号として用いる。画像上の位置とその場所で観測される符号の生起確率を利用して、あらかじめ登録された物体の画像パターンとの類似度を算出する。

なお、上述のようなパターン認識における関連技術として、モフォロジ処理の一種であるＴｏｐｈａｔ変換（例えば、非特許文献３参照）が知られている。
石井健一郎，上田修功，前田英作，村瀬洋、「わかりやすいパターン認識」、第１版、オーム社、平成１０（１９９８）年８月２０日。三田雄志，金子敏充，堀修、「個体差のある対象の画像照合に適した確率的増分符号相関」、電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８、平成１７（２００５）年８月、ｐｐ．１６１４−１６２３。西村敏博，椿井正義，玉木康博，「マンモグラフィ像からの乳腺組織領域の自動抽出法の検討」、日本エム・イー学会誌生体医工学，ｖｏｌ．４２，ｓｕｐｐｌ．２、平成１６年１１月（Ｎｏｖ．２００４）、ｐ．１９０。

しかし、上述の確率的増分符号相関法では、画像上の各位置における生起確率は全て独立とみなしているため、類似した画像パターンの識別があまり得意でないといった問題が知られている。

本発明は、前記問題点に基づいてなされたものであって、画像パターンの類似した物体を高精度かつ高速に認識できるパターン認識装置，パターン認識方法，その方法を実装したパターン認識プログラム，そのプログラムを記録した記録媒体を提供することにある。

請求項１記載の発明は、データ入力するデータ入力手段と、データを記憶し管理する記憶手段と、を備え、該データ入力手段を用いて入力された入力画像データに含まれる物体を識別するパターン認識装置であって、画像データを４ｐｉｘｅｌ以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素対の画素値の大小関係を特定の符号化法に基づいて符号化し、該ブロックにおける複数の画素対の符号の組み合わせを作成する符号化手段と、撮像装置で撮像された学習画像データを前記データ入力手段を用いて入力する学習画像データ入力手段と、前記学習画像データを前記符号化手段を用いて、該学習画像におけるブロックを構成する複数の画素対の符号の組み合わせを作成する学習画像符号化手段と、前記各ブロックの符号の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記各ブロックの符号の組み合わせに応じた確率テーブルを作成する確率テーブル作成手段と、前記作成された確率テーブルを予め備えられた記憶手段に保存する確率テーブル記憶手段と、前記入力画像データを前記データ入力手段を用いて入力する対象画像データ入力手段と、前記入力画像データを前記符号化手段を用いて、該入力画像におけるブロックを構成する複数の画素対の符号の組み合わせを作成する対象画像符号化手段と、前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する類似度算出手段と、前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする識別手段と、前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する出力手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、周波数領域に基づくフィルタリングを含むノイズ除去を前記学習画像データに対して行う学習画像周波数処理手段と、周波数領域に基づくフィルタリングを含むノイズ除去を前記入力画像データに対して行う入力画像周波数処理手段と、を備えることを特徴とする。

請求項３記載の発明は、請求項１記載の発明において、Ｔｏｐｈａｔ変換に基づく前処理を前記学習画像データに対して行う学習画像Ｔｏｐｈａｔ変換処理手段と、Ｔｏｐｈａｔ変換に基づく前処理を前記入力画像データに対して行う入力画像Ｔｏｐｈａｔ変換処理手段と、を備えることを特徴とする。

請求項４記載の発明は、請求項１乃至３のいずれかに記載の発明において、前記確率テーブル作成手段が、前記確率テーブルを参照する順番を前記物体ごとに最適な順番に変更する手段、を備え、前記確率テーブル記憶手段が、前記確率テーブルを参照する順番を示す順番情報を保存する手段、を備え、前記類似度算出手段が、前記順番情報に基づき前記確率テーブルを参照しつつ類似度を算出する手段と、算出中の類似度が特定のしきい値以下になることが確定した場合、類似度算出処理を打ち切る類似度算出処理打ち切り手段と、を備えることを特徴とする。

請求項５記載の発明は、請求項４記載の発明において、前記類似度算出処理打ち切り手段が、類似度計算済みのブロックに応じた類似度と類似度未計算のブロックに応じて算出した類似度に基づいて、予測類似度を算出し、該予測類似度が特定のしきい値以下になった場合、類似度算出処理を打ち切る手段、を備えることを特徴とする。

請求項６記載の発明は、請求項４または５に記載の発明において、前記確率テーブル作成手段が、前記確率テーブルを参照する順番を、確率テーブルにおける確率分布のエントロピーの小さい順に変更する手段、を備えることを特徴とする。

請求項７記載の発明は、データ入力するデータ入力手段と、データを記憶し管理する記憶手段と、を備え、該データ入力手段を用いて入力された入力画像データに含まれる物体を識別する装置に使用するパターン認識方法であって、撮像装置で撮像された学習画像データを前記データ入力手段を用いて入力する学習画像データ入力ステップと、前記学習画像データを４ｐｉｘｅｌ以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素対の画素値の大小関係を特定の符号化法に基づいて符号化し、該ブロックにおける複数の画素対の符号の組み合わせを作成する学習画像符号化ステップと、前記各ブロックの符号の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記各ブロックの符号の組み合わせに応じた確率テーブルを作成する確率テーブル作成ステップと、前記作成された確率テーブルを予め備えられた記憶手段に保存する確率テーブル記憶ステップと、前記入力画像データを入力する前記データ入力手段を用いて対象画像データ入力ステップと、前記入力画像データを４ｐｉｘｅｌ以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素対の画素値の大小関係を特定の符号化法に基づいて符号化し、該ブロックにおける複数の画素対の符号の組み合わせを作成する対象画像符号化ステップと、前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する類似度算出ステップと、前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする識別ステップと、前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する出力ステップと、を有することを特徴とする。

請求項８記載の発明は、請求項７記載の発明において、前記学習画像データ入力ステップより後、かつ、前記学習画像符号化ステップより前に、周波数領域に基づくフィルタリングを含むノイズ除去を前記学習画像データに対して行う学習画像周波数処理ステップを有し、前記対象画像データ入力ステップより後、かつ、前記対象画像符号化ステップより前に、周波数領域に基づくフィルタリングを含むノイズ除去を前記入力画像データに対して行う入力画像周波数処理ステップを有する、ことを特徴とする。

請求項９記載の発明は、請求項７記載の発明において、前記学習画像データ入力ステップより後、かつ、前記学習画像符号化ステップより前に、Ｔｏｐｈａｔ変換に基づく前処理を前記学習画像データに対して行う学習画像Ｔｏｐｈａｔ変換処理ステップを有し、前記対象画像データ入力ステップより後、かつ、前記対象画像符号化ステップより前に、Ｔｏｐｈａｔ変換に基づく前処理を前記入力画像データに対して行う入力画像Ｔｏｐｈａｔ変換処理ステップを有する、ことを特徴とする。

請求項１０記載の発明は、請求項７乃至９のいずれかに記載の発明において、前記確率テーブル作成ステップが、前記確率テーブルを参照する順番を前記物体ごとに最適な順番に変更するステップ、を有し、前記確率テーブル記憶ステップが、前記確率テーブルを参照する順番を示す順番情報を保存するステップ、を有し、前記類似度算出ステップが、前記順番情報に基づき前記確率テーブルを参照しつつ類似度を算出するステップと、算出中の類似度が特定のしきい値以下になることが確定した場合、類似度算出処理を打ち切る類似度算出処理打ち切りステップと、を有することを特徴とする。

請求項１１記載の発明は、請求項１０記載の発明において、前記類似度算出処理打ち切りステップが、類似度計算済みのブロックに応じた類似度と類似度未計算のブロックに応じて算出した類似度に基づいて、予測類似度を算出し、該予測類似度が特定のしきい値以下になった場合、類似度算出処理を打ち切るステップ、を有することを特徴とする。

請求項１２記載の発明は、請求項１０または１１に記載の発明において、前記確率テーブル作成ステップが、前記確率テーブルを参照する順番を、確率テーブルにおける確率分布のエントロピーの小さい順に変更するステップ、を有することを特徴とする。

請求項１３記載の発明は、パターン認識プログラムであって、請求項７乃至１２のいずれかに記載のパターン認識方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。

請求項１４記載の発明は、記録媒体であって、請求項７乃至１２のいずれかに記載のパターン認識方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする。

前記請求項１，７に記載の発明は、ブロック内の符号を組み合わせた同時生起確率を算出し、それらを用いた類似度（照合評価値）を算出できる。

前記請求項２，８に記載の発明は、照明の照り返し等、低周波に属すると想定されるノイズを除去できる。

前記請求項３，９に記載の発明は、部分的な影を原因と想定されるノイズを除去できる。

前記請求項４，１０に記載の発明は、物体ごとに決定された確率テーブルを参照する順番で類似度を算出する。

前記請求項５，１１に記載の発明は、未類似度計算のブロックに応じて算出した類似度に基づいた予測類似度を算出できる。

前記請求項６，１２に記載の発明は、より早期の類似度計算を打ち切ることができる。

前記請求項１３に記載の発明は、請求項７乃至１２のいずれかに記載のパターン認識方法をコンピュータプログラムとして記載できる。

前記請求項１４に記載の発明は、請求項７乃至１２のいずれかに記載のパターン認識方法を実装したコンピュータプログラムを記録媒体に記録できる。

以上示したように請求項１，７の発明によれば、類似度に基づいたブロック内の符号同士の相関情報が利用でき、結果として、より高精度に物体を認識できる。

請求項２，８の発明によれば、照明の照り返し等、低周波に属すると想定されるノイズに起因する認識率低下を抑制できる。

請求項３，９の発明によれば、部分的な影を原因と想定されるノイズに起因する認識率低下を抑制できる。

請求項４，１０の発明によれば、入力画像における物体を、精度を落とすことなく高速に認識できる。

請求項５，１１の発明によれば、予測類似度がしきい値を超えることを確認した時点でその後の類似度計算を打ち切ることができる。

請求項６，１２の発明によれば、入力画像における物体を高速に認識できる。

請求項１３の発明によれば、パターン認識方法を実装したコンピュータプログラムを提供できる。

請求項１４の発明によれば、パターン認識方法を実装したコンピュータプログラムを記録した記録媒体を提供できる。

これらを以って画像認識技術分野に貢献できる。

以下、本発明の実施形態を図面等に基づいて詳細に説明する。

本発明におけるパターン認識方法では、画像（デジタル画像データ；以下、画像はデジタル画像データを示す）全体を２ｐｉｘｅｌ以上の大きさのブロックに分割し、ブロック内の複数の符号を組み合わせた同時生起確率を算出し、それらを用いた類似度を求める（もしくは、照合評価値を定義する）。

具体的には、まず、登録過程において、例えば、図４のように２×（かける）２ｐｉｘｅｌの大きさのブロック（例えば、ブロックｂ）で学習（登録用）画像Ｌ（画像Ｌを画素で表現した画像Ｂ１）を空間分割（例えば、ブロック群Ｂ２に空間分割）する。

次に、そのブロック内で図５のような４種類の画素対で符号（「−」，「０（ゼロ）」，「＋」のいずれかの記号値をとる符号（記号）であって、特許図面上の符号ではない）を算出し、それらの符号（記号）の全組み合わせ（全パターン）の生起確率（同時生起確率；組み合わせの生起確率）を算出する。なお、以下の説明では、特許図面上の符号と区別するために、前記符号（記号）の具体例を表現する場合は、識別番号をダブルクォーテーションで囲って（例えば、符号“ＸＸ”（ＸＸは識別番号））と表現する。

図５に基づいて、画素と符号の関係を説明する。図５中のブロックｂの左上の画素Ｐｘ１（印○が付与された画素）の明度（画素値の一種）から右上の画素Ｐｘ２（印×が付与された画素）の明度を減算した値が０の場合は、符号“ｃ１”は「０」になる。その減算した値が負の値であった場合は、符号“ｃ１”は「−」となる。その減算した値が正の値であった場合は、符号“ｃ１”は「＋」となる。同様に、画素Ｐｘ１と画素Ｐｘ３、画素Ｐｘ１と画素Ｐｘ４、画素Ｐｘ２と画素Ｐｘ３の符号を各々算出する。

そして、全ての位置（ブロック）における同時生起確率を対数変換してテーブル化し確率テーブルを生成し、記憶部（例えば、メモリ）に蓄積する。

また、認識過程においては、入力された画像上の位置とその場所で観測された符号組み合わせ（符号パターン）よって、その組み合わせ（パターン）の同時生起確率を前記確率テーブルから参照し、全ての位置（ブロック）の参照結果の和を求めて類似度とする。この類似度が最も大きく算出される登録物体（予め登録されたオブジェクト）を識別結果とする。

上述の方法では、ブロック内の複数の符号の生起確率をそれぞれ独立とはみなさず、符号同士の相関を追加情報として利用する。より直感的に説明すると、図４、図５のような符号のまとめ方をする場合、その位置における勾配方向の相異がより厳しく評価されることになる。そのため、従来の確率的増分符号相関法では認識誤りを起こしてしまうような類似した物体同士でも比較的正しく識別できる。また、複雑な背景のある画像を入力した場合でも、背景から誤抽出されることは少なくなる。

表面反射率の高い物体の場合、上述の確率的増分符号相関法は、照明等の照り返しによって物体の見え方が大きく変化し、認識精度が低下する問題も発生する。

さらに、照明条件の非常に厳しい状況下において、部分的な影が認識精度低下を引き起こすことも問題とされる。

その照明等の照り返しによる認識精度低下を防止する対応するために、前処理としてＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）変換もしくはＦＦＴ逆変換を用いた低周波除去処理を併用することによって、照明等の照り返しの影響を抑制できる。

また、部分的な影による認識精度防止に対応するために、前処理としてモフォロジ処理の一種であるＴｏｐｈａｔ変換（非特許文献３参照）を用いることにより、部分的にかかった影の影響を抑えることもできる。

登録過程において、前記確率テーブルを参照する順番をオブジェクト（認識対象）ごとに決定し、認識過程においては、その順番で参照しつつ、その先の類似度上限値（予測類似度）を予測する。その予測された予測類似度がしきい値を超えることを確認した時点（タイミング）でその後の類似度計算を打ち切る。このタイミングの類似度計算打ち切りによって、認識過程の計算時間を削減することができる。なお、前記確率テーブルを参照する順番を、確率分布のエントロピーの小さい順番とすることによって、より早期の類似度計算打ち切りを実現できる。この早期の類似度計算打ち切りは、エントロピーの小さいものほど、登録オブジェクトか否かを判別しやすいと考えられるためである。

なお、図４では、２×（かける）２ｐｉｘｅｌの正方形のブロックを採用しているが、２ｐｉｘｅｌ以上で構成されるブロックであれば、矩形でなくても良い。また、図５では、４種類の符号（符号“ｃ１”〜“ｃ４”）を算出したが、４種類に限らずに複数種類の符号を算出すればよい。

図１は、本実施形態におけるパターン認識装置の構成を示すブロック図である。図２は、本実施形態におけるパターン認識方法を示すフローチャートである。

図１中のパターン認識装置は、学習画像データ（以下、単に学習画像という）を入力する学習画像データ入力部１０１，入力された学習画像からノイズを除去する周波数処理部１０２，異なった照明条件に応じた画像に変換するＴｏｐｈａｔ変換処理部１０３，画像をブロック分割し各ブロックを符号化する符号化部１０４，ブロック位置における符号の生起確率を算出し確率テーブルを生成する確率テーブル作成部１０５，前記生成された確率テーブルを記憶する確率テーブル記憶部１０６，入力画像（データ）を入力する対象画像データ入力部１０７，入力画像からノイズを除去する周波数処理部１０８，Ｔｏｐｈａｔ変換処理部１０９，符号化部１１０，登録されたオブジェクトの確率テーブルと入力画像を符号化したデータに基づいて類似度を算出する類似度算出部１１１，前記算出された類似度に基づいて識別結果を算出する識別部１１２，前記識別結果を出力する出力部１１３を備える。なお、前記確率テーブル記憶部１０６は、予め備えられた記憶部の所定領域に確保する記憶領域を使って確率テーブルなどの情報を記憶し管理しても良い。

前記パターン認識装置は、該パターン認識装置を構成する各部を制御する制御部（ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ））を備えていても良い。また、前記パターン認識装置は、情報やデータを汎用的に記憶し管理する記憶部（例えば、メモリやハードディスク）を備えていても良い。

学習画像データ入力部１０１は、認識対象の登録に用いるため、さまざまな方向からデジタルカメラ等の撮像装置で撮像された複数の学習画像（即ち、自然画像データ）を一般的なデータ入力手段（回線や記憶部からデータ入力する手段）を用いて入力し、周波数処理部１０２に伝送する。なお、オブジェクトに対応する学習画像は、記憶部に予め格納され、その記憶部からデータ入力手段を介して順次に読み出して入力して処理しても良いし、一度に全ての学習画像を読み出して入力し処理しても良い。

周波数処理部１０２は、次のようにノイズ除去のための周波数処理（周波数領域によるフィルタリング処理）を行う。各々の学習画像をＦＦＴで周波数領域に変換する。そして、周波数がしきい値より小さい成分は全て値「０」に置き換える。最後に、ＩＦＦＴ（ＩｎｖｅｒｓｅＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）によって画像に戻す。この周波数処理によって、照明の照り返し等、低周波に属すると想定されるノイズを除去できる。なお、照明の照り返しが元々少ない物体を対象とする場合は、この処理を省略（パス）しても良い。しかし、その場合には、認識処理においても同様に省略（パス）する必要がある。また、画像のコントラストを高める目的で、高周波領域に一定の係数（即ち、１より大きい係数）を乗算しても良い。

Ｔｏｐｈａｔ変換処理部１０３は、周波数処理部１０２から伝送された画像にＴｏｐｈａｔ変換を施す。このＴｏｐｈａｔ変換によって、部分的な影により発生するエッジが除去され、異なった照明条件に対し安定した画像を得ることができる。この変換も、影が発生することがあまり想定されない場合は省略（パス）して良いが、認識処理でも同様に省略（パス）する必要がある。

符号化部１０４は、Ｔｏｐｈａｔ変換処理部１０３より伝送された画像を基に、各ブロックで符号化処理を行う。符号化手法はさまざまなものが考えられるが、例えば、図５で示されたような、２×（かける）２ブロック内の４種類の差分値における正負符号（値「０」も別符号として定義された正負符号）の組み合わせを用いる方法が考えられる。この正負符号の組み合わせを用いる場合は、各ブロックで表現される符号の組み合わせは３⁴（＝８１）通り考えられるので、８１通りの組み合せを有する符号がブロックごとに与えられる。無論、ブロック内の符号の組み合わせ方法に関してはこれに限るものではない。また、上述したように、ブロックの大きさは２×（かける）２ｐｉｘｅｌから成るブロックに限らない。

確率テーブル作成部１０５は、前記各学習画像（もしくは、周波数処理後，Ｔｏｐｈａｔ変換処理後の画像）の該当するブロック位置において、どの符号がどれだけ生起したかを確率で求める。例えば、図３中のブロック群Ｂ２に基づいて生起確率テーブルＴを求める。さらに、ブロック位置（ｘ，ｙ）における符号ｋの生起確率をＰ^k _(x,y)とするとき、それらの対数をとった以下の式で表現される参照テーブル（確率テーブル）を算出する。なお、以下の説明において、前記生起確率の数学記号のように、説明文（式中を除き）中における数学記号で上付き文字と下付き文字を併記する場合は、上付き文字を先に記載し、下付き文字を後に記載する。

確率テーブル記憶部１０６は、確率テーブル作成部１０５で算出された全ての確率要素ｒ^k _(x,y)（即ち、確率テーブル）を予め備えられた記憶部に保存（登録）する。

対象画像データ入力部１０７は、認識する物体を撮像した画像データ（以下、単に入力画像という）を一般的なデータ入力手段（回線や記憶部からデータ入力する手段）を用いて入力し、周波数処理部１０８に伝送する。なお、前記入力画像は、記憶部に予め格納され、その記憶部から読み出して入力して処理しても良い。

周波数処理部１０８，Ｔｏｐｈａｔ変換処理部１０９，符号化部１１０は、処理対象を入力画像として、前述の周波数処理部１０２，Ｔｏｐｈａｔ変換処理部１０３，符号化部１０４と各々同じ処理を行うため、動作説明を省略する。なお、周波数処理部１０２と周波数処理部１０８間、Ｔｏｐｈａｔ変換処理部１０３とＴｏｐｈａｔ変換処理部１０９間、符号化部１０４と符号化部１０８間で各々の共通部を括り出して備え、各々の部から呼び出して処理を行っても良い。例えば、符号化部１０４と符号化部１１０の共通部として、任意の２ｐｉｘｅｌ以上の画像データを２ｐｉｘｅｌ以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素の画素値を特定の符号化法に基づいて符号化し、該ブロックにおける画素の符号の組み合わせを作成する符号化部を括り出して備え、符号化部１０４と符号化部１１０から該符号化部を使って処理しても良い。

類似度算出部１１１は、あらかじめ登録したオブジェクト（登録オブジェクト）Ｃ（以下、単に、オブジェクトＣという）の確率テーブルｒ^k _C,(x,y)と入力画像を符号化したデータｇ（ｘ，ｙ）を用いて、以下のような式で類似度Ｓ_Cを算出する。

ここで、Ｘ、Ｙは入力画像（もしくは学習画像）の横方向のブロック数、縦方向のブロック数を各々表す。Ｓ_Cは負の実数であり、値が大きいほどオブジェクトＣによく類似していると考えられる。もし、以下の式を満たす場合、オブジェクトＣではないと判断する。以下の式で、Ｔ_CはオブジェクトＣであるか否かを判断するためのしきい値である。

さらに、この類似度算出計算は、しきい値との関係を常に監視していれば、全ての総和を求めなくても途中でオブジェクトＣでないことが分かるので、その時点で類似度算出計算を打ち切ることができる。具体的には、いまＳ_Cの足し込み計算をしている途中で計算途中類似度Ｓ^cur _Cである時、残りのブロックで全て最も大きな値が選ばれた場合の残り分の総和（残り類似度）Ｓ^rem _Cを足した値（予測類似度）が以下の式を満たす場合には、類似度算出処理を打ち切って、オブジェクトＣではないと判断すればよい。

前記打ち切りは、足し込み計算の初期で行われる方が、より高速化に寄与できる。したがって、この足し込みの順番を、確率分布のエントロピーの小さいものから順番にして実行することによって、より高速な処理が実現できる。

なぜなら、エントロピーが小さいものほど、オブジェクトＣである場合とオブジェクトＣでない場合のｒ^g(x,y) _C,(x,y)の差が大きいと考えられるため、エントロピーが小さい順に式（２）を計算することによって、より早期に打ち切りを決定できるようになる。この早期打ち切りを実際に行う場合、確率テーブル記憶部１０６において、登録されたオブジェクトの確率テーブルを保存すると同時に、参照する確率テーブルの順番を示すデータ（順番データ）をオブジェクトごとに保存する必要がある。また、認識時には、前記順番データに基づいて式（２）を計算していくことになる。

識別部１１２は、全ての登録オブジェクトの類似度Ｓ_Cを比較し、最も値が大きいもの（最大の類似度に応じた登録オブジェクト）を識別結果とする。もし、この時点で全ての登録オブジェクトが不等式（３）を満たしていた場合は、「該当なし」という結果を出力部１１３に渡す。

出力部１１３では、前記識別結果（例えば、識別された登録オブジェクトを示す名前）をディスプレイ等などの表示装置に出力する。

なお、対象画像データ入力部１０７〜識別部１１２は、入力画像が学習画像と同じ大きさであるという想定で説明したが、入力画像が学習画像より大きく、入力画像の一部に登録オブジェクトが存在するような場合も存在する。この場合は、学習画像と同じ大きさの探索窓を用意し、入力画像の上をスキャンすることで対応できる。同様に、登録オブジェクトが入力画像にどのような大きさで入っているか分からない場合も、入力画像を多重解像度化し、各解像度画像上をスキャンすればよい。

本実施形態におけるパターン認識方法を図２に基づいて説明する。なお、図２Ａは、前記パターン認識における学習処理手順を示すフローチャートである。図２Ｂは、前記パターン認識における認識処理手順を示すフローチャートである。

図２Ａに基づいて、学習処理手順を以下に説明する。

まず、学習画像（データ）を入力する（Ｓ１０１：学習画像データ入力部１０１）。

次に、入力された学習画像をＦＦＴで周波数領域に変換し、特定のしきい値より小さい成分を全て値「０」に置き換える。そして、前記変換もしくは置換された値をＩＦＦＴによって画像に再変換する（Ｓ１０２：周波数処理部１０２）。

次に、ステップＳ１０２で処理された画像に対してＴｏｐｈａｔ変換を施す（Ｓ１０３：Ｔｏｐｈａｔ変換処理部１０３）。

次に、ステップＳ１０３で処理された画像をブロックに分割し、該ブロックに対して符号化処理を行う（Ｓ１０４：符号化部１０４）。

次に、前記各学習画像（もしくは、周波数処理後，Ｔｏｐｈａｔ変換処理後の画像）の該当する位置において、どの符号がどれだけ生起したかを確率で求め、式（１）で表現される確率テーブルを作成する（Ｓ１０５：確率テーブル作成部１０５）。

次に、ステップＳ１０５で作成された確率テーブルを構成する値を予め備えられた記憶部に保存する（Ｓ１０６：確率テーブル記憶部１０６）。

そして、全てのカテゴリ（オブジェクト）の学習画像に対して確率テーブルを生成したか否かをチェックする（Ｓ１０６１）。生成した場合は、当該処理を終了する。生成していない場合は、ステップＳ１０１へ戻る。

図２Ｂに基づいて認識処理手順を以下に説明する。

まず、入力画像（データ）を入力する（Ｓ１０７：対象画像データ入力部１０７）。

ステップＳ１０８（周波数処理部１０８），Ｓ１０９（Ｔｏｐｈａｔ変換処理部１０９），Ｓ１１０（符号化部１１０）は、処理対象を入力画像として、ステップＳ１０２，Ｓ１０３，Ｓ１０４を実行する処理と同じ処理であるため、説明を省略する。

次に、登録オブジェクトの確率テーブルと入力画像を符号化したデータを用いて、類似度を算出する（Ｓ１１１：類似度算出部１１１）。なお、より具体的な処理は、前記類似度算出部１１１の説明を参照のこと。

次に、全てのカテゴリの類似度を算出したか否かをチェックする（Ｓ１１１１）。算出した場合は、ステップＳ１１２へ進む。算出していない場合は、ステップＳ１１１に戻る。

ステップＳ１１２では、全ての登録オブジェクトの類似度を比較し、最も値が大きいものを識別結果とする。

そして、前記識別結果をディスプレイ等などの表示装置に出力する（Ｓ１１３：出力部１１３）。

なお、本実施形態におけるパターン認識装置の機能を実現するソフトウェアのプログラムコードもしくは本実施形態におけるパターン認識方法を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（あるいはＭＰＵ（ＭｉｃｒｏｐｒｏｃｅｓｓｉｎｇＵｎｉｔ））が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＣＤ−Ｒ（ＣｏｍｐａｃｔＤｉｓｋＲｅｃｏｒｄａｂｌｅ）、ＣＤ−ＲＷ（ＣｏｍｐａｃｔＤｉｓｋＲｅＷｒｉｔａｂｌｅ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等は本発明を構成する。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

さらに、上述の本実施形態におけるパターン認識装置に関する方法を記述したコンピュータプログラムを、その方法に必要とされる入出力データを格納したメモリや外部記憶部等にアクセスするように実装してもよい。

以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。

例えば、本実施形態の変形として、周波数処理部１０８，Ｔｏｐｈａｔ変換処理部１０９，符号化部１１０は、処理対象が異なる画像データであるだけで、それぞれ周波数処理部１０２，Ｔｏｐｈａｔ変換処理部１０３，符号化部１０４と各々同じ処理を行うため、は共通化した部として構成してもよい。

本実施形態におけるパターン認識装置の構成図。本実施形態におけるパターン認識方法を示す図（（Ａ）学習処理、（Ｂ）認識処理）。ブロック群と生起確率テーブルの関係を示す図。学習用画像をブロック群に変換する様子を示す図。ブロックから符号を算出する様子を示す図。

符号の説明

１０１…学習画像データ入力部
１０２…周波数処理部
１０３…Ｔｏｐｈａｔ変換処理部
１０４…符号化部
１０５…確率テーブル作成部
１０６…確率テーブル記憶部
１０７…対象画像データ入力部
１０８…周波数処理部
１０９…Ｔｏｐｈａｔ変換処理部
１１０…符号化部
１１１…類似度算出部
１１２…識別部
１１３…出力部
Ｌ…学習（登録用）画像
Ｂ１…画素で表現した画像
Ｂ２…ブロック群
Ｐｘ１〜Ｐｘ４…画素
Ｔ…生起確率テーブル
ｂ…ブロック

Claims

データ入力するデータ入力手段と、
データを記憶し管理する記憶手段と、を備え、
該データ入力手段を用いて入力された入力画像データに含まれる物体を識別するパターン認識装置であって、
画像データを４ｐｉｘｅｌ以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素対の画素値の大小関係を特定の符号化法に基づいて符号化し、該ブロックにおける複数の画素対の符号の組み合わせを作成する符号化手段と、
撮像装置で撮像された学習画像データを前記データ入力手段を用いて入力する学習画像データ入力手段と、
前記学習画像データを前記符号化手段を用いて、該学習画像におけるブロックを構成する複数の画素対の符号の組み合わせを作成する学習画像符号化手段と、
前記各ブロックの符号の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記各ブロックの符号の組み合わせに応じた確率テーブルを作成する確率テーブル作成手段と、
前記作成された確率テーブルを予め備えられた記憶手段に保存する確率テーブル記憶手段と、
前記入力画像データを前記データ入力手段を用いて入力する対象画像データ入力手段と、
前記入力画像データを前記符号化手段を用いて、該入力画像におけるブロックを構成する複数の画素対の符号の組み合わせを作成する対象画像符号化手段と、
前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する類似度算出手段と、
前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする識別手段と、
前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する出力手段と、
を備えることを特徴とするパターン認識装置。
請求項１に記載のパターン認識装置において、
周波数領域に基づくフィルタリングを含むノイズ除去を前記学習画像データに対して行う学習画像周波数処理手段と、
周波数領域に基づくフィルタリングを含むノイズ除去を前記入力画像データに対して行う入力画像周波数処理手段と、
を備えることを特徴とするパターン認識装置。
請求項１に記載のパターン認識装置において、
Ｔｏｐｈａｔ変換に基づく前処理を前記学習画像データに対して行う学習画像Ｔｏｐｈａｔ変換処理手段と、
Ｔｏｐｈａｔ変換に基づく前処理を前記入力画像データに対して行う入力画像Ｔｏｐｈａｔ変換処理手段と、
を備えることを特徴とするパターン認識装置。
請求項１乃至３のいずれかに記載のパターン認識装置において、
前記確率テーブル作成手段が、
前記確率テーブルを参照する順番を前記物体ごとに最適な順番に変更する手段、
を備え、
前記確率テーブル記憶手段が、
前記確率テーブルを参照する順番を示す順番情報を保存する手段、
を備え、
前記類似度算出手段が、
前記順番情報に基づき前記確率テーブルを参照しつつ類似度を算出する手段と、
算出中の類似度が特定のしきい値以下になることが確定した場合、類似度算出処理を打ち切る類似度算出処理打ち切り手段と、
を備える
ことを特徴とするパターン認識装置。
請求項４に記載のパターン認識装置において、
前記類似度算出処理打ち切り手段が、
類似度計算済みのブロックに応じた類似度と類似度未計算のブロックに応じて算出した類似度に基づいて、予測類似度を算出し、該予測類似度が特定のしきい値以下になった場合、類似度算出処理を打ち切る手段、
を備える
ことを特徴とするパターン認識装置。
請求項４または５に記載のパターン認識装置において、
前記確率テーブル作成手段が、
前記確率テーブルを参照する順番を、確率テーブルにおける確率分布のエントロピーの小さい順に変更する手段、
を備える
ことを特徴とするパターン認識装置。
データ入力するデータ入力手段と、
データを記憶し管理する記憶手段と、を備え、
該データ入力手段を用いて入力された入力画像データに含まれる物体を識別する装置に使用する
パターン認識方法であって、
撮像装置で撮像された学習画像データを前記データ入力手段を用いて入力する学習画像データ入力ステップと、
前記学習画像データを４ｐｉｘｅｌ以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素対の画素値の大小関係を特定の符号化法に基づいて符号化し、該ブロックにおける複数の画素対の符号の組み合わせを作成する学習画像符号化ステップと、
前記各ブロックの符号の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記各ブロックの符号の組み合わせに応じた確率テーブルを作成する確率テーブル作成ステップと、
前記作成された確率テーブルを予め備えられた記憶手段に保存する確率テーブル記憶ステップと、
前記入力画像データを入力する前記データ入力手段を用いて対象画像データ入力ステップと、
前記入力画像データを４ｐｉｘｅｌ以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素対の画素値の大小関係を特定の符号化法に基づいて符号化し、該ブロックにおける複数の画素対の符号の組み合わせを作成する対象画像符号化ステップと、
前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する類似度算出ステップと、
前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする識別ステップと、
前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する出力ステップと、
を有することを特徴とするパターン認識方法。
請求項７に記載のパターン認識方法において、
前記学習画像データ入力ステップより後、かつ、前記学習画像符号化ステップより前に、
周波数領域に基づくフィルタリングを含むノイズ除去を前記学習画像データに対して行う学習画像周波数処理ステップを有し、
前記対象画像データ入力ステップより後、かつ、前記対象画像符号化ステップより前に、
周波数領域に基づくフィルタリングを含むノイズ除去を前記入力画像データに対して行う入力画像周波数処理ステップを有する、
ことを特徴とするパターン認識方法。
請求項７に記載のパターン認識方法において、
前記学習画像データ入力ステップより後、かつ、前記学習画像符号化ステップより前に、
Ｔｏｐｈａｔ変換に基づく前処理を前記学習画像データに対して行う学習画像Ｔｏｐｈａｔ変換処理ステップを有し、
前記対象画像データ入力ステップより後、かつ、前記対象画像符号化ステップより前に、
Ｔｏｐｈａｔ変換に基づく前処理を前記入力画像データに対して行う入力画像Ｔｏｐｈａｔ変換処理ステップを有する、
ことを特徴とするパターン認識方法。
請求項７乃至９のいずれかに記載のパターン認識方法において、
前記確率テーブル作成ステップが、
前記確率テーブルを参照する順番を前記物体ごとに最適な順番に変更するステップ、
を有し、
前記確率テーブル記憶ステップが、
前記確率テーブルを参照する順番を示す順番情報を保存するステップ、
を有し、
前記類似度算出ステップが、
前記順番情報に基づき前記確率テーブルを参照しつつ類似度を算出するステップと、
算出中の類似度が特定のしきい値以下になることが確定した場合、類似度算出処理を打ち切る類似度算出処理打ち切りステップと、
を有する
ことを特徴とするパターン認識方法。
請求項１０に記載のパターン認識方法において、
前記類似度算出処理打ち切りステップが、
類似度計算済みのブロックに応じた類似度と類似度未計算のブロックに応じて算出した類似度に基づいて、予測類似度を算出し、該予測類似度が特定のしきい値以下になった場合、類似度算出処理を打ち切るステップ、
を有する
ことを特徴とするパターン認識方法。
請求項１０または１１に記載のパターン認識方法において、
前記確率テーブル作成ステップが、
前記確率テーブルを参照する順番を、確率テーブルにおける確率分布のエントロピーの小さい順に変更するステップ、
を有する
ことを特徴とするパターン認識方法。
請求項７乃至１２のいずれかに記載のパターン認識方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とするパターン認識プログラム。
請求項７乃至１２のいずれかに記載のパターン認識方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。