JPWO2015136714A1 - 画像識別装置、画像センサ、画像識別方法 - Google Patents

Abstract

画像識別装置は、複数のモデル画像のそれぞれについて特徴点が登録されている記憶部と、入力画像から特徴点を抽出する特徴点抽出部と、前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第１の類似度を算出し、当該第１の類似度に基づいて前記入力画像を識別する識別部と、を有する。前記識別部は、前記第１の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコアを足し合わせることにより前記第１の類似度を算出する。前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である。

Description

本発明は、画像の特徴点に基づいて画像を識別する技術に関する。

ＦＡ（Factory Automation）分野においては、ラインを流れる計測対象物（以下、「ワーク」とも呼ぶ）を計測・監視するために、画像センサ（視覚センサ）と呼ばれるセンサデバイスが広く用いられている。画像センサは、カメラと画像処理装置から構成され、予め登録された教師物体（以下、「モデル」または「パターン」とも呼ぶ）とのマッチング処理によって画像内のワークを検出し、必要な情報の抽出・計測などを行う機能を有している。画像センサの出力は、例えば、ワークの識別、検査、仕分けなどの様々な用途に利用される。

ところで、ＦＡ分野における最近の傾向として、一つのラインに複数種類のワークを混在して流し、種類別に異なる処理を適用する、という生産形態が増えている。例えば、アソート商品の箱詰めラインにおいては、コンベヤ上に異なる種類のワークをランダムに流し、ピックアップロボットで種類別にピックアップし正しい位置に箱詰めするという作業を行う。また、多品種少量生産のラインでは、形、色、サイズなどの仕様が少しずつ異なるシリーズ商品が同一のラインで製造され、仕様ごとに加工方法や検査内容などを違える場合がある。

このように複数種類のワークが混在するライン（以下、「混流ライン」とも呼ぶ）において、ワークの種類別に異なる処理を実施するには、その前提として、画像センサでワークの種類を正確に判別することが要求される。テンプレートマッチングを用いてワークの種別を判別する場合は、複数種類のモデル画像を予め画像センサに登録しておき、ワーク画像と最も良く合致するモデル画像を求めることで、ワークの種類を推定する。

ここで、形状や色などがよく似た複数種類のモデルを用いた画像識別の問題点について説明する。テンプレートマッチングでは、モデル画像の特徴点が入力画像の特徴点とどれだけマッチするかによって類似度が算出される。図１２のように、６種類のサイコロの画像を用いた物体識別を考える。「５」の画像を入力画像として識別を行った場合、各モデルにおいて算出される類似度は図中に示すように、複数のモデル画像について１００点（満点）となり、識別結果は入力画像におけるノイズ等によって決定されてしまう。このように類似度に差がつかないのは、互いに包含関係にあるモデル画像が存在したり、共通部分が多いモデル画像が存在したりするためである。すなわち、類似するモデル画像が多く存在する場合には、従来の類似度を用いたテンプレートマッチングでは正しい識別を行うことが困難である。

特許文献１では、類似したモデル画像に対して互いに相関値を算出して、相関の低い特徴点位置を記憶しておき、そのような特徴点のみを用いて類似度を算出することを提案している。このように、相関の低い特徴点のみを用いて類似度を算出することで、類似したモデル画像が存在する場合であっても、正しい識別が可能となる。

しかしながら、特許文献１の手法では、類似したモデル画像同士の全ての組合せについて相関演算が必要となり、類似したモデル画像が多い場合には組合せ数が増加し（Ｏ（ｎ^２））、処理時間および記憶容量の点で課題が残る。さらに、識別時には、１対１の識別処理を階層的に行う必要があり、この処理も類似したモデル数が多い場合には階層数が深くなり、処理時間が増加する（Ｏ（ｎｌｏｇｎ））。

特開２００９−１１６３８５号公報

本発明は、上記実情に鑑みてなされたものであり、類似するモデル画像を含む場合であっても、処理負荷が低く、かつ、精度の良い識別が可能な画像識別技術を提供することを目的とする。

上記目的を達成するために本発明では、特徴点ごとにモデル画像における顕著性に基づいた重みを設定し、この重みを考慮した類似度を算出する、という構成を採用する。

具体的には、本発明に係る画像識別装置は、複数のモデル画像のそれぞれについて特徴点が登録されている記憶部と、入力画像から特徴点を抽出する特徴点抽出部と、前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第１の類似度（以下、重み付き類似度とも称する）を算出し、当該第１の類似度に基づいて前記入力画像を識別する識別部と、を有し、前記識別部は、前記第１の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコア（以下、重みスコアとも称する）を足し合わせることにより前記第１の類似度を算出するものであり、前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、ことを特徴とする。

一致するモデル画像が少ない特徴点は、画像識別における顕著性が高く他のモデルとの識別性能が高いと考えられる。一方、一致するモデルが多い特徴点は、画像識別における顕著性が低く識別にあまり役立たないと考えられる。したがって、本発明に係る画像識別装置は、顕著性の高い特徴点ほど重みスコアを高く設定し、この重みスコアを足し合わせた第１の類似度に基づいて画像識別を行う。これにより、類似するモデル画像が多く存在する場合であっても、精度良く識別が可能となる。

本発明において、入力画像に含まれる特徴点を対象として画像識別時に重みスコアを求めてもよいし、モデル画像に含まれる特徴点を対象としてモデル画像登録時に重みスコアを予め求めて記憶しておいてもよい。

画像識別時に重みスコアを求める場合は、入力画像の特徴点ごとに、その特徴点と一致するモデル画像の数を求め、当該数に応じて重みスコアを算出すればよい。モデル画像登録時に重みスコアを求める場合は、全てのモデル画像の特徴点について、その特徴点と一致するモデル画像の数を求め、当該数に応じて重みスコアを予め算出すればよい。なお、重みスコアは、モデル画像の一致数が少ないほど大きくなるように算出されれば、具体的な算出方法は任意であってよい。例えば、一致数の逆数に応じた値を重みスコアとしてもよいし、全モデル画像数と一致数の差に応じた値を重みスコアとしてもよい。

また、本発明において、上記第１の類似度とは異なる基準により算出される類似度も考慮して画像識別を行うことも好ましい。例えば、前記識別部は、前記複数のモデル画像のそれぞれについて、当該モデル画像の特徴点が前記入力画像の特徴点に含まれる割合に応じた第２の類似度（以下、単純類似度とも称する）も算出し、前記第１の類似度および前記第２の類似度に基づいて、前記入力画像と最も良く合致するモデル画像を決定する、ことも好ましい。

第１の類似度と第２の類似度を用いた具体的な識別方法は、種々の方法が考えられる。例えば、第１の類似度と前記第２の類似度の単純和または重み付け和が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定することが考えられる。あるいは、前記第２の類似度が大きいモデル画像のうち、前記第１の類似度が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定することも考えられる。なお、第２の類似度が大きいモデル画像とは、第２の類似度が上位所定数個のモデル画像であってもよいし、最大値から所定の閾値以内の第２の類似度を有するモデル画像であってもよい。

このように、第１の類似度および第２の類似度に基づいて識別を行うことにより、いずれか一方の類似度に基づいた場合には正しい識別が行えない場合であっても、正しい識別が行えるようになる。

なお、本発明は、上記構成の少なくとも一部を有する画像識別装置や物体判別装置として捉えることができる。また、本発明は、物体を撮影するカメラと、物体判別装置もしくは画像処理装置とを有する画像センサとして捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む画像識別方法あるいは物体判別方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、類似するモデル画像を含む場合であっても、処理負荷が低く、かつ、精度の良い識別することができる。

画像センサの全体構成を示す図。 画像センサのハードウェア構成を示す図。 画像識別装置の種類判別にかかわる機能構成を示す図。 種類判別処理の流れを示すフローチャート。 （Ａ）取り込まれた画像、（Ｂ）ワークの検出結果、（Ｃ）種類判別結果の一例を示す図。 種類判別処理の詳細な流れを示すフローチャート。 種類判別処理の詳細な流れを示すフローチャート。 種類判別処理における特徴点ごとの重みスコアを説明する図。 種類判別処理による識別スコアの算出例を示す図。 種類判別処理による識別スコアの算出例を示す図。 種類判別処理による識別スコアの算出例を示す図。 従来技術による課題を説明する図。

本発明は、入力画像が与えられたときに、テンプレートマッチングによって、予め登録された複数の登録画像（モデル画像）のなかから入力画像に最もよく合致するものを抽出する、画像識別技術に関するものである。この技術は、ＦＡ用の画像センサ、コンピュータビジョン、マシンビジョンなどにおける物体判別や、画像データベース内の画像群のなかからクエリ画像に類似する画像を検出する類似画像検索などに応用することができる。以下に述べる実施形態では、本発明の好ましい応用例の一つとして、複数種類のワークが混在して流れる混流ラインにおいて各ワークの検出および種類判別を行うＦＡ用の画像センサに本発明を実装した例を説明する。

（画像センサ）
図１を参照して、本発明の実施形態に係る画像センサの全体構成および適用場面について説明する。
画像センサ１は、生産ラインなどに設置され、製造物（ワーク２）を撮像することで得られる入力画像を用いてワーク２の種類判別などを行うシステムである。なお、画像センサ１には、種類判別のほかにも、エッジ検出、キズ・汚れ検出、面積・長さ・重心の計測など、必要に応じて様々な画像処理機能を実装可能である。

図１に示すように、コンベヤ３上には複数種類のワーク２が混在して流れている。画像センサ１は、カメラ１１から定期的に、またはＰＬＣ４から送られるトリガー信号のタイミングで画像を取り込み、画像処理装置（画像識別装置）１０によって画像に含まれる各ワーク２の検出、種類判別などの処理を実行し、その結果をディスプレイ１２に表示したり、外部装置（ＰＬＣ４など）へと出力する。ＰＬＣ（Programmable Logic Controller）４は、画像センサ１、コンベヤ３、ロボット等の製造装置（不図示）の制御を司るデバイスである。

（画像センサのハードウェア構成）
図２を参照して、画像センサ１のハードウェア構成を説明する。画像センサ１は、概略、カメラ１１と画像処理装置１０から構成される。

カメラ１１は、ワーク２の画像を画像処理装置１０に取り込むためのデバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。入力画像の形式（解像度、カラー／モノクロ、静止画像／動画、階調、データ形式など）は任意であり、ワーク２の種類やセンシングの目的に合わせて適宜選択すればよい。可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたカメラを用いてもよい。

画像処理装置１０は、ＣＰＵ（中央演算処理装置）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。

カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１とのあいだのデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部（マウス１３、キーボード、タッチパネル、ジョグコントローラなど）とのあいだのデータ伝送を仲介する。表示コントローラ１２０は、液晶モニタなどのディスプレイ１２に接続され、当該ディスプレイ１２での表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４のあいだのデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとのあいだのデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記憶媒体であるメモリカード１４との間のデータ伝送を仲介する。

画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４またはメモリカード１４に格納されたプログラム（命令コード）を読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード１４や光ディスクなどのコンピュータ読取可能な記録媒体に格納された状態で流通する。

汎用的なパーソナルコンピュータを画像処理装置１０として利用する場合には、本実施形態で述べる物体判別機能を提供するためのアプリケーションプログラムに加えて、コンピュータの基本的な機能を提供するためのＯＳ（オペレーション・システム）がインストールされていてもよい。この場合には、本実施形態に係るプログラムは、ＯＳが提供するプログラムモジュールを利用することで、目的とする機能を実現してもよい。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部または全部が専用のロジック回路で代替されてもよい。

（画像処理装置の機能構成）
図３に、画像処理装置が提供する種類判別（物体判別）にかかわる機能構成を示す。画像処理装置１０は、種類判別にかかわる機能として、画像入力部１３０、検出部１３１、特徴点抽出部１３２、識別部１３３、記憶部１３４、出力部１３５を有している。これらの機能ブロックは、画像処理装置１０のＣＰＵ１１０がコンピュータプログラムを実行することにより実現される。

記憶部１３４には、モデルの画像から抽出した特徴点（モデル画像特徴点１３４ａ）が、複数のモデルについて登録される。本実施形態においては、特徴点として、画像中において濃淡値の変化が大きい点や領域、例えば、エッジやコーナーなどを採用する。特徴点としては、この他にも、色や形状に基づいた特徴点を採用してもよい。例えば、青・黄・赤を特徴点としたり、直線の個数や円の個数などを特徴点として採用することができる。また濃淡値の変化が大きい特徴点と色の特徴点を併用することもできる。モデル画像特徴点１３４ａは、画像処理装置１０がモデル画像を受け取って、受け取ったモデル画像から抽出することができる。あるいは、別の装置によって抽出されたモデル画像特徴点に関するデータを、画像処理装置１０が受け取って記憶部１３４に格納してもよい。

（画像処理装置の動作）
画像処理装置１０は、コンベヤ３上を流れるワーク２の画像を取り込み、ワーク２の検出や種類判別などの処理を実行する。図４は、画像処理装置１０が実行する画像識別処理の全体の流れを示すフローチャートである。以下、図４のフローチャートに沿って、画像識別処理における各機能ブロックの動作、および、種類判別処理の全体の流れについて説明する。

ＰＬＣ４からのトリガー信号が入力されると、画像入力部１３０がカメラ１１から画像を取り込む（ステップＳ１００）。図５（Ａ）は取り込まれた画像の一例であり、コンベヤ上に５種類の物体（例：アソートチョコレート）が混在している状態を示している。

次に、検出部１３１が、入力画像から個々のワーク２を検出する（ステップＳ１０１）。検出処理にはどのようなアルゴリズムを用いてもよい。例えば、２値化により背景をカットした後、所定の面積よりも大きい領域（ピクセル群）をワーク２として検出する方法、パターンマッチングによりワークらしい領域を探索する方法などを利用することができる。なお、検出部１３１は、必要に応じて入力画像に対し平滑化やノイズ除去などの前処理を行うとよい。図５（Ｂ）は検出結果の一例であり、画像から検出された個々のワークの領域を点線矩形で示している。

次に、特徴点抽出部１３２が、検出されたワークの画像（以下、ワーク画像と称する）を解析して、特徴点を抽出する（ステップＳ１０２）。特徴点は、画像中において濃淡値の変化が大きい点や領域などであり、例えば、エッジやコーナーなどを特徴点として抽出することができる。

続いて、識別部１３３が、ワークの特徴点と、記憶部１３４に登録されている複数のモデル画像のそれぞれの特徴点とを比較して、ワークの種類を判別する（ステップＳ１０３）。ステップＳ１０１で検出されたすべてのワークに対し、ステップＳ１０２およびＳ１０３の処理を繰り返すことで、各ワークの種類を判別することができる。図５（Ｃ）は判別結果の一例であり、個々のワークの判別結果（種類）を１〜５の数字で示している。この判別結果は、出力部１３５によってディスプレイ１２またはＰＬＣ４に出力される（ステップＳ１０４）。

図６および図７は、ステップＳ１０３の処理の詳細を示している。この処理では、ワーク画像の特徴点とモデル画像の特徴点の単純な一致数に基づく単純類似スコアＳ１（第２の類似度）と、特徴点ごとの顕著性に応じた重みスコアを考慮した重み付き類似スコアＳ２（第１の類似度）とを求め、これら２つの類似スコアを用いてワークの判別を行う。

まず、ステップＳ２０１〜Ｓ２０５のループ処理において、各モデル画像について、当該モデル画像に含まれる特徴点がどの程度ワーク画像に含まれるかが判断され、単純類似スコアＳ１が算出される。

識別部１３３の単純類似スコア算出部１３３ａは、新しいモデル画像の処理を開始すると、特徴点の一致数を表す変数ｎを０に初期化する（ステップＳ２０１）。単純類似スコア算出部１３３ａは、モデル画像内の各特徴点について、対応する特徴点がワーク画像中に存在するかどうか判断し（ステップＳ２０２）、存在する場合は、一致数ｎをインクリメントする（ステップＳ２０３）。単純類似スコア算出部１３３ａは、全ての特徴点について上記の処理を繰り返し、対応する特徴点がワーク画像に存在する特徴点の数ｎの、モデル画像内の全特徴点の数Ｎに対する割合を、単純類似スコアＳ１として算出する（Ｓ２０５）。

図９に示すように、６種類のサイコロの画像をモデルとして用いた物体識別を行う場合を例として考える。簡単のために、サイコロの目の黒丸１つずつを特徴点とし、輪郭の正方形は画像特徴として考慮しないこととする。ここでは、「５」の目のサイコロがワーク画像であるとする。このワーク画像からは５つの特徴点が抽出される。

モデル画像「１」には１つの特徴点が存在し、その全てがワーク画像中にも存在するので、モデル画像「１」に対する単純類似スコアＳ１は「１００」（ｎ／Ｎを１００倍して１００点満点としている）となる。同様に、モデル画像「２」〜「５」についても単純類似スコアＳ１は「１００」となる。モデル画像「６」については、６個の特徴点のうち４個のみがワーク画像に存在することから、単純類似スコアＳ１は「６７」となる。

上記の各モデル画像の特徴点に対応する特徴点がワーク画像に存在するか否か照合する際に、単純類似スコア算出部１３３ａは、ワーク画像中の各特徴点が各モデル画像内に含まれるかどうかという対応関係を記憶する（ステップＳ２０４）。図８を参照して、具体的に説明する。「５」の目のサイコロがワーク画像であった場合、ワーク画像からは５つの特徴点が抽出される。図８の列３００に黒丸で示すように、それぞれの特徴点を特徴点１〜５とする（例えば、特徴点１は左上の目（ドット）である）。このワーク画像と「３」の目のモデル画像とを照合した場合、「５」の目の特徴点１，３，５について対応する特徴点がモデル画像中にも存在する。したがって、ステップＳ２０４では、図８に示すように、ワーク画像の特徴点１，３，５はモデル画像「３」に含まれ、特徴点２，４はモデル画像「３」に含まれないことが記憶される。なお、図８では対応する特徴点が存在することを丸印で表し、存在しないことを×印で表している。全てのモデル画像について、このような対応関係を記憶することで、ステップＳ２０１〜Ｓ２０５のループ処理を終了した時点で、図８に示すようなワーク画像の特徴点とモデル画像の特徴点との対応関係３０１が全て求められる。

ステップＳ２０１〜Ｓ２０５のループ処理が終了すると、識別部１３３の重み付き類似スコア算出部１３３ｂは、ワーク画像のそれぞれの特徴点について対応するモデル画像の数に応じた重みスコアを算出する（図７のステップＳ２０６）。図８に示すように、重み付き類似スコア算出部１３３ｂは、ワーク画像の各特徴点について、当該特徴点を含むモデル画像の個数３０２を求め、その個数３０２の逆数に応じた重みスコア３０３を算出する。例えば、「５」の目のモデル画像の特徴点１は、「２」「３」「４」「５」「６」の５個のモデル画像に含まれるので、特徴点１の重みスコアとして「２０（＝１００／５）」が算出される。特徴点２は、「４」「５」「６」の３個のモデル画像に含まれるので、特徴点２の重みスコアは「３３（＝１００／３）」となる。このようにして、ワーク画像の全ての特徴点について重みスコア３０２が求められる。なお、ここでは対応するモデル画像数の逆数に応じた値を重みスコアとしているが、モデル画像数が少ないほど重みスコアが大きい値となるようにすれば、その決定方法は任意であってよい。特徴点の重みスコアは、当該特徴点を含むモデル画像数を変数とする単調減少関数によって決定すればよい。例えば、全モデル画像数と特徴点を含むモデル画像数の差に基づいた値（差自体や全体数に対する差の割合など）を重みスコアとすることもできる。図８の例では、特徴点１の重みスコアは６−５＝１や、（６−５）／６×１００＝１６としてもよい。

多くのモデル画像で共通使用している特徴点は顕著性が低く、画像識別に対する貢献は小さいといえる。逆に、共通して使用されているモデル画像が少ない特徴点は顕著性が高く、画像識別に対する貢献が大きいといえる。したがって、上述のように、使用されているモデル画像が少ない特徴点ほど重みスコアを大きく設定することで、特徴点の顕著性を考慮した類似度を算出することができる。

次に、重み付き類似スコア算出部１３３ｂは、上記の重みスコアを利用して、ワーク画像と各モデル画像との間の重み付き類似スコアＳ２を算出する。具体的には、モデル画像中の特徴点のうちワーク画像に存在する特徴点の重みスコアの和を、重み付き類似スコアＳ２として算出する（Ｓ２０７）。図８に示すように、モデル画像「１」については、特徴点３のみが一致し、特徴点３の重みスコアは「３３」なので、「３３」がワーク画像（「５」の目のサイコロ）とモデル画像「１」との間の重み付き類似スコアＳ２となる。モデル画像「２」については、特徴点１，５が一致し、それぞれの重みスコアは「２０」なので、その合計である「４０」がワーク画像とモデル画像「２」との間の重み付き類似スコアＳ２となる。同様にして、全てのモデル画像との間の重み付き類似スコアが求められる。

識別部１３３は、ステップＳ２０５で求められた単純類似スコアＳ１と、ステップＳ２０７で求められた重み付き類似スコアＳ２とに基づいて、ワーク画像と各モデル画像との間の類似度（識別スコア）を算出する（Ｓ２０８）。ここでは、重み付き類似スコアＳ２を最大値が１００となるように正規化し、正規化後の重み付き類似スコアＳ２と単純類似スコアＳ１との和を、識別スコアとする。

図９に、ワーク画像がサイコロの「５」である場合の、各モデル画像との間の単純類似スコアＳ１、重み付き類似スコアＳ２、および識別スコアを示す。重み付き類似スコアＳ２については、正規化後のスコアを括弧無しで示し、ステップＳ２０７で求めた値を括弧内に示してある。

識別部１３３は、識別スコアが最も高いモデル画像を、ワーク画像と最も良く合致すると判断して、ワークの種別を特定する（Ｓ２０９）。図９の例では、モデル画像「５」についての識別スコアが最大であるので、ワーク画像はモデル画像「５」（サイコロの「５」の目の画像）であると判別される。

サイコロの「１」〜「４」および「６」の目を入力画像とした場合の単純類似スコア、重み付き類似スコア、および識別スコアの算出結果を、図１０（Ａ）〜（Ｃ）、図１１（Ａ）〜（Ｂ）にそれぞれ示す。図１０（Ｃ）、図１１（Ａ）、（Ｂ）に示すように、「３」、「４」、および「６」の目のサイコロが入力画像の場合は、単純類似スコアだけでは差がつかずに正しい識別ができないが、重み付き類似スコアを考慮した識別スコアを用いることで正しい識別可能となる。また、「１」および「２」の目では、重み付き類似スコアが複数のモデル画像について同じとなるが、単純類似スコアについて差が大きいので十分に識別が可能である。この例に示すように、単純類似スコアや重み付き類似スコアのいずれか一方のみを利用すると識別ができない場合も存在するが、これらの類似スコアを組み合わせることで正しい識別が可能となる。

以上の手法により、図１２に示すような単純類似スコアのみに基づくテンプレートマッチング手法では正確な識別が行えないような場合でも、正確な識別が可能となる。これは、図９、図１０（Ａ）〜（Ｃ）、および図１１（Ａ）〜（Ｂ）に示すように、最も高い識別スコアと２番目に高い識別スコアの差が十分に大きくなるからである。正解モデルについては単純類似スコアおよび重み付き類似スコアの両方で高い値が得られ、正解モデル以外については単純類似スコアと重み付き類似スコアの少なくとも一方については低い値が得られる。したがって、正解モデルと正解モデル以外について上述の識別スコアの差が十分大きくなる。このように、正解モデルとそれ以外について識別スコアの差が大きくなるので、入力画像にノイズや歪みがある場合であっても正しい識別が可能となる。

また、本手法を採用するにあたり、従来のテンプレートマッチング手法に加えて、モデル画像特徴点と入力画像特徴点の対応関係の記憶と、この対応関係に基づく重みスコアの算出および重み付き類似スコアの算出を行えばよいだけなので、処理負荷はそれほど増加しない。類似するモデル画像が多く含まれる場合であっても、処理時間や記憶容量は、特許文献１のように爆発的に増加することはなく、従来手法（単純類似スコアのみを算出する手法）とほとんど変わらない。

（変形例）
上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば上記実施形態では、本発明を物体判別装置に適用した例を説明したが、本発明の適用範囲はこれに限らず、類似画像検索装置などへ適用することも好ましい。

上記の実施形態の説明では、単純類似スコアと重み付き類似スコアの単純和を識別スコアとして求めているが、これら２つの類似スコアを所定の割合で足し合わせた値（重み付き和）を識別スコアとして用いても構わない。この場合の重みの割合は、予め定められた値であってもよいし、ユーザが設定した値であってもよい。

また、識別スコアを求めずに、単純類似スコアと重み付き類似スコアをそれぞれ用いて物体種類の判別を行ってもよい。例えば、まず、単純類似スコアが大きいモデル画像を所定数個選択し、これらの中から重み付き類似スコアが最も高いモデル画像を、入力画像と合致すると判断することができる。ここで、単純類似スコアが大きい所定数個のモデル画像とは、単純類似スコアの上位所定数個のモデル画像であってもよいし、単純類似スコアの最大値から所定の閾値以内の単純類似スコアを有するモデル画像であってもよい。この場合の閾値は、スコアの絶対値で指定されてもよいし、最大値に対する割合で指定されてもよい。

また、上記の実施形態の説明では、単純類似スコアと重み付き類似スコアの両方に基づいて判別を行っているが、重み付き類似スコアのみに基づいて判別を行ってもよい。上述のように、重み付き類似スコアのみを用いる場合には正しい判別が行えないこともあるが、単純類似スコアに十分な差がつかなかった画像が入力される場合には正しい判別が可能である。

また、上記の実施形態の説明では、入力画像の照合を行う際に、特徴点ごとの重みスコアを算出しているが、重みスコアの算出はモデル画像の登録時に行ってもよい。すなわち、各モデル画像を入力画像として上記と同様の重みスコア算出処理を行うことで、特徴点ごとの重みスコアを求めることができる。画像識別時には、入力画像の特徴点とモデル画像の特徴点が一致した場合に、その特徴点の重みスコアを足しあわせて重み付き類似スコアを算出することも上記と同様にして行える。このようにしても、上記実施形態と同様の効果が得られる。

また、上記の実施形態の説明では、２次元画像（平面画像）を対象として画像識別を行う例を示しているが、本発明は、奥行き方向の情報が付加された３次元画像（立体画像）を対象とした画像識別にも適用可能である。この場合、モデル画像および入力画像のいずれもステレオカメラなどの測距機能付きの撮像装置を用いて撮影された画像を用いて、上記と同様の処理を行えばよい。また、本発明による特徴点の顕著性を考慮した識別処理は、静止画像だけでなく、動画像や音声データなどの時系列データに対しても同様に適用可能である。

１：画像センサ、２：ワーク、３：コンベヤ、４：ＰＬＣ
１０：画像処理装置、１１：カメラ、１２：ディスプレイ
１３０：画像入力部、１３１：検出部、１３２：特徴点抽出部、１３３：識別部、１３４：記憶部、１３５：出力部

Claims (10)

1. 複数のモデル画像のそれぞれについて特徴点が登録されている記憶部と、
   入力画像から特徴点を抽出する特徴点抽出部と、
   前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第１の類似度を算出し、当該第１の類似度に基づいて前記入力画像を識別する識別部と、
   を有し、
   前記識別部は、前記第１の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコアを足し合わせることにより前記第１の類似度を算出するものであり、
   前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、
   ことを特徴とする画像識別装置。
2. 前記識別部は、前記入力画像の特徴点ごとに、当該特徴点と一致するモデル画像の数を求め、当該数に基づいて前記特徴点に応じたスコアを算出する、
   ことを特徴とする請求項１に記載の画像識別装置。
3. 前記識別部は、前記複数のモデル画像の特徴点ごとに、当該特徴点と一致するモデル画像の数を求め、当該数に基づいて前記特徴点に応じたスコアをあらかじめ算出しておく、
   ことを特徴とする請求項１に記載の画像識別装置。
4. 前記識別部は、前記複数のモデル画像のそれぞれについて、当該モデル画像の特徴点が前記入力画像の特徴点に含まれる割合に応じた第２の類似度も算出し、前記第１の類似度および前記第２の類似度に基づいて、前記入力画像と最も良く合致するモデル画像を決定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像識別装置。
5. 前記識別部は、前記第１の類似度と前記第２の類似度の単純和または重み付き和が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定する、
   ことを特徴とする請求項４に記載の画像識別装置。
6. 前記識別部は、前記第２の類似度が大きいモデル画像のうち、前記第１の類似度が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定する、
   ことを特徴とする請求項４に記載の画像識別装置。
7. 物体を撮影するカメラと、
   前記カメラから入力された画像から前記物体の種類を判別し、その結果を出力する、請求項１〜６のうちいずれか１項に記載の画像識別装置と、を有する
   ことを特徴とする画像センサ。
8. 入力画像と合致するモデル画像を識別する画像識別方法であって、
   複数のモデル画像のそれぞれについて特徴点が登録されている記憶部を有するコンピュータが、
   入力画像から特徴点を抽出する特徴点抽出ステップと、
   前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第１の類似度を算出し、当該第１の類似度に基づいて前記入力画像を識別する識別ステップと、
   を実行し、
   前記識別ステップでは、前記第１の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコアを足し合わせることにより前記第１の類似度を算出し、
   前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、
   ことを特徴とする画像識別方法。
9. 請求項８に記載の画像識別方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを非一時的に記憶することを特徴とするコンピュータ読み取り可能な記憶媒体。

Images