JP3251840B2 - 画像認識装置 - Google Patents
画像認識装置Info
- Publication number
- JP3251840B2 JP3251840B2 JP05626296A JP5626296A JP3251840B2 JP 3251840 B2 JP3251840 B2 JP 3251840B2 JP 05626296 A JP05626296 A JP 05626296A JP 5626296 A JP5626296 A JP 5626296A JP 3251840 B2 JP3251840 B2 JP 3251840B2
- Authority
- JP
- Japan
- Prior art keywords
- matching
- pixel
- image
- pixels
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は可視ＴＶカメラ、
赤外線カメラ等の画像センサより認識対象物の濃淡画像
を入力し、この濃淡画像に基づき、対象物の種類が予め
想定した複数の種類のうちのいずれであるかを判定する
画像認識装置に係わるものである。
赤外線カメラ等の画像センサより認識対象物の濃淡画像
を入力し、この濃淡画像に基づき、対象物の種類が予め
想定した複数の種類のうちのいずれであるかを判定する
画像認識装置に係わるものである。
【０００２】例えば、道路上を走行する車両を対象物と
し、その車両の種類が乗用車、バス、トラック等のいず
れであるのかを認識する場合や、工場の生産ライン上を
流れる部品を対象物とし、その部品の種類が何であるの
かを認識する場合など、この発明の応用分野は極めて広
い。
し、その車両の種類が乗用車、バス、トラック等のいず
れであるのかを認識する場合や、工場の生産ライン上を
流れる部品を対象物とし、その部品の種類が何であるの
かを認識する場合など、この発明の応用分野は極めて広
い。
【０００３】
【従来の技術】例えば、図１５は、パターンマッチング
手法の一つとして、文字認識等の分野で広く応用されて
いるテンプレートマッチングを採用した場合の従来の画
像認識装置の構成図、図１６はその処理フロー図であ
る。以下、図１５、図１６にしたがい従来の画像認識装
置について説明する。
手法の一つとして、文字認識等の分野で広く応用されて
いるテンプレートマッチングを採用した場合の従来の画
像認識装置の構成図、図１６はその処理フロー図であ
る。以下、図１５、図１６にしたがい従来の画像認識装
置について説明する。
【０００４】なお、ここでは、画像の横方向サイズをＸ
画素、縦方向サイズをＹ画素とし、図１７に示すように
座標原点を画像左上にとって、各画素の座標を（ｘ、
ｙ）（ｘ＝１，・・・，Ｘ，ｙ＝１，・・・，Ｙ）と表
すこととする。
画素、縦方向サイズをＹ画素とし、図１７に示すように
座標原点を画像左上にとって、各画素の座標を（ｘ、
ｙ）（ｘ＝１，・・・，Ｘ，ｙ＝１，・・・，Ｙ）と表
すこととする。
【０００５】まず、図１６においてステップ１０１は画
像の入力ステップであり、画像センサ１により観測され
た対象物の濃淡画像を入力し、第１の画像メモリ２に格
納する。
像の入力ステップであり、画像センサ１により観測され
た対象物の濃淡画像を入力し、第１の画像メモリ２に格
納する。
【０００６】ステップ１０２、ステップ１０５、ステッ
プ５０１は画像の前処理を行うためのステップである。
まず、ステップ１０２の対象物領域の検出ステップで
は、領域検出装置３において、第１の画像メモリ２から
入力画像を読みだし、二値化等の領域検出手段により、
図１８に示すように画像内における対象物領域Ｓを検出
する。検出結果は、対象物領域内の画素の濃度値を”
１”、背景領域の画素の濃度値を”０”とする二値画像
として、第２の画像メモリ４に格納する。次に、ステッ
プ１０５の重心／主軸の検出ステップでは、重心／主軸
検出装置８において、第２の画像メモリ４より上記二値
画像を読みだし、図１９に示す対象物領域Ｓの重心座標
（ｘg ，ｙg ）および主軸（領域の最大の伸長方向を示
す軸）の方向角度φを算出する。ステップ５０１の座標
変換ステップでは、座標変換装置９において、重心／主
軸検出装置８より対象物領域の重心座標（ｘg ，ｙg ）
および主軸の方向角度φを入力し、また第１の画像メモ
リ２より原画像を入力し、対象物領域の重心が画像の中
央に位置するようにするための平行移動および対象物領
域の主軸方向が画像の横軸方向と一致するようにするた
めの回転による座標変換を行う。座標変換後の画像の様
子は図２０に示す通りである。座標変換後の画像データ
は再び第１の画像メモリ２に格納する。
プ５０１は画像の前処理を行うためのステップである。
まず、ステップ１０２の対象物領域の検出ステップで
は、領域検出装置３において、第１の画像メモリ２から
入力画像を読みだし、二値化等の領域検出手段により、
図１８に示すように画像内における対象物領域Ｓを検出
する。検出結果は、対象物領域内の画素の濃度値を”
１”、背景領域の画素の濃度値を”０”とする二値画像
として、第２の画像メモリ４に格納する。次に、ステッ
プ１０５の重心／主軸の検出ステップでは、重心／主軸
検出装置８において、第２の画像メモリ４より上記二値
画像を読みだし、図１９に示す対象物領域Ｓの重心座標
（ｘg ，ｙg ）および主軸（領域の最大の伸長方向を示
す軸）の方向角度φを算出する。ステップ５０１の座標
変換ステップでは、座標変換装置９において、重心／主
軸検出装置８より対象物領域の重心座標（ｘg ，ｙg ）
および主軸の方向角度φを入力し、また第１の画像メモ
リ２より原画像を入力し、対象物領域の重心が画像の中
央に位置するようにするための平行移動および対象物領
域の主軸方向が画像の横軸方向と一致するようにするた
めの回転による座標変換を行う。座標変換後の画像の様
子は図２０に示す通りである。座標変換後の画像データ
は再び第１の画像メモリ２に格納する。
【０００７】次にステップ５０２、ステップ５０３、ス
テップ１０９は、予め用意した各参照画像とのテンプレ
ートマッチング計算を行うためのステップである。ステ
ップ５０２の参照画像データの読み込みステップでは、
プロセッサ１７において、データベース装置１０より参
照画像一枚分のデータを読み込む。なお、データベース
装置１０に格納されているデータは、予め想定されるい
くつかの種類の対象物について、その標準的な画像に対
し、ステップ１０２の対象物領域の検出、ステップ１０
５の重心／主軸の検出、ステップ５０１の座標変換の処
理を事前に施して得られた画像データである。次に、ス
テップ５０３のテンプレートマッチング計算ステップで
は、プロセッサ１７において、第１の画像メモリ２より
上記座標変換後の入力画像を読みだし、この入力画像と
上記データベース装置１０より読み込んだ参照画像を図
２１に示すように重ね合わせ、両画像の同一の座標位置
にある画素どうしの濃度値の誤差を、各画素毎に順次に
計算したのち、これを参照画像側の対象物領域Ｓ内の全
画素について総和する。すなわち式（１）のＥM を計算
する。ここで、総和を対象物領域Ｓ内に限って計算する
のは入力画像と参照画像とでは濃度値に差のある背景領
域の影響を排除するためである。
テップ１０９は、予め用意した各参照画像とのテンプレ
ートマッチング計算を行うためのステップである。ステ
ップ５０２の参照画像データの読み込みステップでは、
プロセッサ１７において、データベース装置１０より参
照画像一枚分のデータを読み込む。なお、データベース
装置１０に格納されているデータは、予め想定されるい
くつかの種類の対象物について、その標準的な画像に対
し、ステップ１０２の対象物領域の検出、ステップ１０
５の重心／主軸の検出、ステップ５０１の座標変換の処
理を事前に施して得られた画像データである。次に、ス
テップ５０３のテンプレートマッチング計算ステップで
は、プロセッサ１７において、第１の画像メモリ２より
上記座標変換後の入力画像を読みだし、この入力画像と
上記データベース装置１０より読み込んだ参照画像を図
２１に示すように重ね合わせ、両画像の同一の座標位置
にある画素どうしの濃度値の誤差を、各画素毎に順次に
計算したのち、これを参照画像側の対象物領域Ｓ内の全
画素について総和する。すなわち式（１）のＥM を計算
する。ここで、総和を対象物領域Ｓ内に限って計算する
のは入力画像と参照画像とでは濃度値に差のある背景領
域の影響を排除するためである。
【０００８】
【数１】
【０００９】なお、算出した総和値ＥM は当該参照画像
のマッチング誤差と定義してＲＡＭ１２に格納する。ス
テップ５０２、ステップ５０３は、ステップ１０９にお
いて全ての参照画像について処理が終了するまで繰り返
し実行される。
のマッチング誤差と定義してＲＡＭ１２に格納する。ス
テップ５０２、ステップ５０３は、ステップ１０９にお
いて全ての参照画像について処理が終了するまで繰り返
し実行される。
【００１０】最後に、ステップ１１０の対象物種類の決
定ステップでは、プロセッサ１７において、ＲＡＭ１２
より改めて全ての参照画像のマッチング誤差を読みだ
し、マッチング誤差が最小の参照画像を選択することに
より、入力画像の対象物種類を決定して処理を終了す
る。
定ステップでは、プロセッサ１７において、ＲＡＭ１２
より改めて全ての参照画像のマッチング誤差を読みだ
し、マッチング誤差が最小の参照画像を選択することに
より、入力画像の対象物種類を決定して処理を終了す
る。
【００１１】
【発明が解決しようとする課題】従来の画像認識装置は
以上の様に構成されていたため次のような課題があっ
た。
以上の様に構成されていたため次のような課題があっ
た。
【００１２】第一に、従来の画像認識装置ではパターン
マッチング計算を行うための画像の特徴量として、各画
素の濃度値を用いているため、画像センサのノイズの影
響を受けやすいことに加え、例えば、撮影時の気象条件
の違いや昼夜の違い等によって入力画像と参照画像では
濃度レベルが異なる場合があるなどして、十分な認識性
能が得られないという問題があった。
マッチング計算を行うための画像の特徴量として、各画
素の濃度値を用いているため、画像センサのノイズの影
響を受けやすいことに加え、例えば、撮影時の気象条件
の違いや昼夜の違い等によって入力画像と参照画像では
濃度レベルが異なる場合があるなどして、十分な認識性
能が得られないという問題があった。
【００１３】第二に、従来の画像認識装置では、パター
ンマッチング計算において、入力画像と参照画像との各
画素間の濃度の誤差を評価するにあたり、両画像の同一
座標位置の画素どうしを対応づけて誤差をとっているた
め、両画像における対象物領域の位置、向き、大きさ、
形状等がずれていると、十分な認識性能が得られないと
いう問題があった。
ンマッチング計算において、入力画像と参照画像との各
画素間の濃度の誤差を評価するにあたり、両画像の同一
座標位置の画素どうしを対応づけて誤差をとっているた
め、両画像における対象物領域の位置、向き、大きさ、
形状等がずれていると、十分な認識性能が得られないと
いう問題があった。
【００１４】実際、従来の画像認識装置では、入力画像
と参照画像の間の対象物領域の位置や向きのズレを補正
するために、ステップ１０２〜ステップ５０１の一連の
前処理が設けられている。しかし、特に屋外で運用して
対象物が複雑な背景の中にある場合等には、ステップ１
０２の対象物領域の検出が不正確なものとなり、例えば
輪郭の崩れたあいまいな領域が検出される。このため、
ステップ１０５で算出されるの対象物領域の重心座標や
主軸の方向角度が誤った値となって、ステップ５０１の
座標変換の効果が現われず、結果的に認識性能が劣化す
るという問題があった。
と参照画像の間の対象物領域の位置や向きのズレを補正
するために、ステップ１０２〜ステップ５０１の一連の
前処理が設けられている。しかし、特に屋外で運用して
対象物が複雑な背景の中にある場合等には、ステップ１
０２の対象物領域の検出が不正確なものとなり、例えば
輪郭の崩れたあいまいな領域が検出される。このため、
ステップ１０５で算出されるの対象物領域の重心座標や
主軸の方向角度が誤った値となって、ステップ５０１の
座標変換の効果が現われず、結果的に認識性能が劣化す
るという問題があった。
【００１５】また、パターンマッチングにより画像認識
を行う場合、参照画像として、対象物を様々な距離や方
向から撮影した画像を用意するのが一般的であるが、従
来の方法では、入力画像と参照画像で撮影距離や方向が
多少とも異なると、対象物領域の大きさや形状が一致せ
ず、認識性能が劣化するという問題があった。
を行う場合、参照画像として、対象物を様々な距離や方
向から撮影した画像を用意するのが一般的であるが、従
来の方法では、入力画像と参照画像で撮影距離や方向が
多少とも異なると、対象物領域の大きさや形状が一致せ
ず、認識性能が劣化するという問題があった。
【００１６】さらに、このような対象物領域の不一致の
問題を解消するための方法として、同一座標位置の画素
どうしを対応づける代わりに、例えば、参照画像上の各
画素毎にその画素と濃度値が最も近い入力画像上の画素
を探索し、対応づけてゆく方法が考えられるが、このよ
うに濃度値の情報だけに基づいて各画素について個々に
対応画素を決定する方法においては、上記第一の課題で
述べた濃度値の精度の悪さ等に起因して、本来対応すべ
きでない画素が対応画素として選択される可能性があ
る。その結果、画素間のつながりすなわち、参照画像内
で互いに近傍にある画素については、その対応画素も入
力画像内で近傍にあるという性質を評価できないという
問題が生じる。
問題を解消するための方法として、同一座標位置の画素
どうしを対応づける代わりに、例えば、参照画像上の各
画素毎にその画素と濃度値が最も近い入力画像上の画素
を探索し、対応づけてゆく方法が考えられるが、このよ
うに濃度値の情報だけに基づいて各画素について個々に
対応画素を決定する方法においては、上記第一の課題で
述べた濃度値の精度の悪さ等に起因して、本来対応すべ
きでない画素が対応画素として選択される可能性があ
る。その結果、画素間のつながりすなわち、参照画像内
で互いに近傍にある画素については、その対応画素も入
力画像内で近傍にあるという性質を評価できないという
問題が生じる。
【００１７】
【課題を解決するための手段】上記のような課題を解決
するため、この発明では、画像の濃度変換装置を設け、
対象物領域の平均濃度値および対象物領域周辺の背景領
域の平均濃度値を計算し、これらの値に基づく濃度の変
換関数を定義し、この変換関数にしたがって各画素の濃
度の変換を行っている。この濃度変換手段により、撮影
条件により異なる画像の濃度レベルを補正するととも
に、背景領域に比べ対象物領域の濃度を強調し、画像に
おける濃淡のパターンを際立たせるようにしている。
するため、この発明では、画像の濃度変換装置を設け、
対象物領域の平均濃度値および対象物領域周辺の背景領
域の平均濃度値を計算し、これらの値に基づく濃度の変
換関数を定義し、この変換関数にしたがって各画素の濃
度の変換を行っている。この濃度変換手段により、撮影
条件により異なる画像の濃度レベルを補正するととも
に、背景領域に比べ対象物領域の濃度を強調し、画像に
おける濃淡のパターンを際立たせるようにしている。
【００１８】また、特徴量抽出装置を設け、画像の各画
素毎に定義され、各画素の位置を中心とする部分像にお
ける濃淡の縞模様パターンの成分、すなわち空間周波数
成分に相当する特徴量を抽出している。この特徴量抽出
装置により、各画素の濃度値を特徴量として使用する場
合に比べて、画像センサのノイズの影響を受けにくく、
また、抽出する縞模様の方向や空間周波数に種々の値を
設定することにより、情報量の豊富な特徴量を得てい
る。
素毎に定義され、各画素の位置を中心とする部分像にお
ける濃淡の縞模様パターンの成分、すなわち空間周波数
成分に相当する特徴量を抽出している。この特徴量抽出
装置により、各画素の濃度値を特徴量として使用する場
合に比べて、画像センサのノイズの影響を受けにくく、
また、抽出する縞模様の方向や空間周波数に種々の値を
設定することにより、情報量の豊富な特徴量を得てい
る。
【００１９】また、この発明のパターンマッチング計算
では、まず参照画像上の画素の中から、例えば対象物領
域のエッジ部分の画素や対象物領域の内部の画素等、い
くつかの画素をパターンマッチング処理で扱う画素（本
明細書では、このような画素をマッチング画素とよぶ）
としてを選択し、このマッチング画素の各々に対して入
力画像上の対応画素を探索し決定する方法を用いてい
る。この時、各マッチング画素に対する対応画素の決定
条件として、上記特徴量の値が近いことに加え、マッチ
ング画素から対応画素への座標変位が、マッチング画素
の全体について平滑化されることを条件としている。こ
の条件により、参照画像内で互いに近傍にあるマッチン
グ画素については、その対応画素も入力画像内で、でき
るだけ近傍にあるように決定される。
では、まず参照画像上の画素の中から、例えば対象物領
域のエッジ部分の画素や対象物領域の内部の画素等、い
くつかの画素をパターンマッチング処理で扱う画素（本
明細書では、このような画素をマッチング画素とよぶ）
としてを選択し、このマッチング画素の各々に対して入
力画像上の対応画素を探索し決定する方法を用いてい
る。この時、各マッチング画素に対する対応画素の決定
条件として、上記特徴量の値が近いことに加え、マッチ
ング画素から対応画素への座標変位が、マッチング画素
の全体について平滑化されることを条件としている。こ
の条件により、参照画像内で互いに近傍にあるマッチン
グ画素については、その対応画素も入力画像内で、でき
るだけ近傍にあるように決定される。
【００２０】また、この発明の画像認識装置は、上記の
パターンマッチング計算を実時間で高速に処理するため
に、複数の並列プロセッサを設け、並列処理によりこれ
を実行するように構成されている。
パターンマッチング計算を実時間で高速に処理するため
に、複数の並列プロセッサを設け、並列処理によりこれ
を実行するように構成されている。
【００２１】さらに、この発明の画像認識装置では、上
記並列処理を効率的に実行するため、マッチング画素を
複数の並列プロセッサに分割して割り当てるための割り
当て方法として、まず、参照画像の対象物領域を囲む最
小の矩形領域を格子状に分割して複数の小矩形領域に分
割し、各々の小矩形領域内のマッチング画素を各並列プ
ロセッサに割り当てることによって、この状態を割り当
ての初期状態とし、次に、まずマッチング画素の数がゼ
ロの小矩形領域が存在するかどうかを調べ、これが存在
する場合には、マッチング画素の数が最大の小矩形領域
を検出して、この小矩形領域をその長辺側を２等分する
ことによりさらに二つの小矩形領域に分割し、その一方
を前記マッチング画素数がゼロの小矩形領域の並列プロ
セッサに割り当て、他方を前記マッチング画素数が最大
の小矩形領域の並列プロセッサに割り当てることによっ
て割り当ての状態を更新し、この一連の割り当て更新を
マッチング画素数がゼロの小矩形領域が存在しなくなる
まで繰り返す方法を用いている。
記並列処理を効率的に実行するため、マッチング画素を
複数の並列プロセッサに分割して割り当てるための割り
当て方法として、まず、参照画像の対象物領域を囲む最
小の矩形領域を格子状に分割して複数の小矩形領域に分
割し、各々の小矩形領域内のマッチング画素を各並列プ
ロセッサに割り当てることによって、この状態を割り当
ての初期状態とし、次に、まずマッチング画素の数がゼ
ロの小矩形領域が存在するかどうかを調べ、これが存在
する場合には、マッチング画素の数が最大の小矩形領域
を検出して、この小矩形領域をその長辺側を２等分する
ことによりさらに二つの小矩形領域に分割し、その一方
を前記マッチング画素数がゼロの小矩形領域の並列プロ
セッサに割り当て、他方を前記マッチング画素数が最大
の小矩形領域の並列プロセッサに割り当てることによっ
て割り当ての状態を更新し、この一連の割り当て更新を
マッチング画素数がゼロの小矩形領域が存在しなくなる
まで繰り返す方法を用いている。
【００２２】
実施の形態１．以下、本発明の実施の形態を図を用いて
説明する。図１はこの発明の画像認識装置の構成図、図
２は本発明の画像認識装置の概略処理フロー図、図３は
図２の概略処理フローにおけるパターンマッチング計算
ステップの詳細処理フロー図、図４は図３のパターンマ
ッチング計算における画素移動量の平滑化ステップのさ
らに詳細な処理フロー図である。また、図５は参照画像
上に設定された複数のマッチング画素を複数の並列プロ
セッサに分割して割り当てるための割り当て方法の処理
フロー図、図６は、その割り当て方法の説明図である。
説明する。図１はこの発明の画像認識装置の構成図、図
２は本発明の画像認識装置の概略処理フロー図、図３は
図２の概略処理フローにおけるパターンマッチング計算
ステップの詳細処理フロー図、図４は図３のパターンマ
ッチング計算における画素移動量の平滑化ステップのさ
らに詳細な処理フロー図である。また、図５は参照画像
上に設定された複数のマッチング画素を複数の並列プロ
セッサに分割して割り当てるための割り当て方法の処理
フロー図、図６は、その割り当て方法の説明図である。
【００２３】まず、図１、図２に従ってこの発明の画像
認識装置処理の流れの概要を説明した後、各処理ステッ
プの詳細な処理内容を順に説明していく。
認識装置処理の流れの概要を説明した後、各処理ステッ
プの詳細な処理内容を順に説明していく。
【００２４】図１、図２において、ステップ１０１は画
像入力ステップであり、画像センサ１により観測された
対象物の濃淡画像が第１の画像メモリ２に格納される。
ステップ１０２、ステップ１０３は画像の前処理を行う
ためのステップである。ステップ１０２は対象物領域の
検出ステップであり、領域検出装置３において、第１の
画像メモリ２から対象物の原画像を読み出し、領域検出
装置３により画像内の対象物の領域を検出する。検出結
果は、対象物領域の濃度値を”１”、背景領域の濃度値
を”０”とする二値画像として第２の画像メモリ４に格
納する。ステップ１０３は濃度変換ステップであり、濃
度変換装置５において、上記領域検出結果の二値画像を
第２の画像メモリ４より読みだし、また原画像を第１の
画像メモリ２より読みだし、対象物領域の平均濃度値と
対象物周辺の背景領域の平均濃度値を計算した後、これ
らの値に基づき原画像の濃度値を変換する。変換結果は
再び第１の画像メモリ２に格納する。
像入力ステップであり、画像センサ１により観測された
対象物の濃淡画像が第１の画像メモリ２に格納される。
ステップ１０２、ステップ１０３は画像の前処理を行う
ためのステップである。ステップ１０２は対象物領域の
検出ステップであり、領域検出装置３において、第１の
画像メモリ２から対象物の原画像を読み出し、領域検出
装置３により画像内の対象物の領域を検出する。検出結
果は、対象物領域の濃度値を”１”、背景領域の濃度値
を”０”とする二値画像として第２の画像メモリ４に格
納する。ステップ１０３は濃度変換ステップであり、濃
度変換装置５において、上記領域検出結果の二値画像を
第２の画像メモリ４より読みだし、また原画像を第１の
画像メモリ２より読みだし、対象物領域の平均濃度値と
対象物周辺の背景領域の平均濃度値を計算した後、これ
らの値に基づき原画像の濃度値を変換する。変換結果は
再び第１の画像メモリ２に格納する。
【００２５】次にステップ１０４は特徴量抽出ステップ
であり、特徴量抽出装置６において、第１の画像メモリ
２より上記濃度変換後の画像データを読みだし、画像の
各画素毎に計算される特徴量を抽出した後、抽出結果を
特徴量画像として第３の画像メモリ７に格納する。次に
ステップ１０５、ステップ１０６は特徴量画像の座標変
換を行うためのステップである。ステップ１０５は対象
物領域の重心／主軸検出ステップであり、重心／主軸検
出装置８において、第２の画像メモリ４より二値画像を
読みだし、対象物領域の画像内における重心および主軸
の方向角度を算出する。ステップ１０６は特徴量画像の
座標変換ステップであり、第３の画像メモリ７より上記
特徴量画像を読みだし、また重心／主軸検出装置８より
対象物領域の重心、主軸の方向角度を入力し、特徴量画
像の座標変換を行った後、変換結果を再び第３の画像メ
モリ７に格納する。
であり、特徴量抽出装置６において、第１の画像メモリ
２より上記濃度変換後の画像データを読みだし、画像の
各画素毎に計算される特徴量を抽出した後、抽出結果を
特徴量画像として第３の画像メモリ７に格納する。次に
ステップ１０５、ステップ１０６は特徴量画像の座標変
換を行うためのステップである。ステップ１０５は対象
物領域の重心／主軸検出ステップであり、重心／主軸検
出装置８において、第２の画像メモリ４より二値画像を
読みだし、対象物領域の画像内における重心および主軸
の方向角度を算出する。ステップ１０６は特徴量画像の
座標変換ステップであり、第３の画像メモリ７より上記
特徴量画像を読みだし、また重心／主軸検出装置８より
対象物領域の重心、主軸の方向角度を入力し、特徴量画
像の座標変換を行った後、変換結果を再び第３の画像メ
モリ７に格納する。
【００２６】次に、ステップ１０７〜ステップ１０９は
各参照画像とのパターンマッチングを行うためのステッ
プである。ステップ１０７では、主プロセッサ１３がデ
ータベース装置１０より参照画像１枚分の特徴量データ
を読み込み、このデータを複数の各並列プロセッサ１１
に分割して送信する。ステップ１０８はパターンマッチ
ング計算ステップであり、まず主プロセッサ１３によ
り、上記座標変換後の特徴量画像を第３の画像メモリ７
より読みだして複数の並列プロセッサ１１に転送した
後、複数の並列プロセッサ１１において、相互にデータ
通信を行いながらパターンマッチング計算を並列に実行
する。このステップ１０８により、入力画像と参照画像
の間のマッチング誤差値が計算され、その値は主プロセ
ッサ１３を通してＲＡＭ１２に格納される。ステップ１
０９においてステップ１０７、ステップ１０８はすべて
の参照画像についての処理が終了するまで繰り返され
る。
各参照画像とのパターンマッチングを行うためのステッ
プである。ステップ１０７では、主プロセッサ１３がデ
ータベース装置１０より参照画像１枚分の特徴量データ
を読み込み、このデータを複数の各並列プロセッサ１１
に分割して送信する。ステップ１０８はパターンマッチ
ング計算ステップであり、まず主プロセッサ１３によ
り、上記座標変換後の特徴量画像を第３の画像メモリ７
より読みだして複数の並列プロセッサ１１に転送した
後、複数の並列プロセッサ１１において、相互にデータ
通信を行いながらパターンマッチング計算を並列に実行
する。このステップ１０８により、入力画像と参照画像
の間のマッチング誤差値が計算され、その値は主プロセ
ッサ１３を通してＲＡＭ１２に格納される。ステップ１
０９においてステップ１０７、ステップ１０８はすべて
の参照画像についての処理が終了するまで繰り返され
る。
【００２７】次に、ステップ１１０は対象物種類の決定
ステップである。すべての参照画像についてのパターン
マッチングが終了すると、主プロセッサ１３は、改めて
ＲＡＭ１２より全参照画像のマッチング誤差値を読みだ
し、これらの値に基づき入力画像の対象物種類を決定し
て、処理を終了する。
ステップである。すべての参照画像についてのパターン
マッチングが終了すると、主プロセッサ１３は、改めて
ＲＡＭ１２より全参照画像のマッチング誤差値を読みだ
し、これらの値に基づき入力画像の対象物種類を決定し
て、処理を終了する。
【００２８】以下にステップ１０１〜ステップ１１０の
各ステップにおける処理内容を詳細に説明する。
各ステップにおける処理内容を詳細に説明する。
【００２９】まず、画像入力ステップ１０１において画
像センサ１から対象物の濃淡画像が第１の画像メモリ２
に入力される。入力された原画像の濃度値をＩr （ｘ，
ｙ）と表す。濃度値Ｉr （ｘ，ｙ）は第１の画像メモリ
２に格納される。
像センサ１から対象物の濃淡画像が第１の画像メモリ２
に入力される。入力された原画像の濃度値をＩr （ｘ，
ｙ）と表す。濃度値Ｉr （ｘ，ｙ）は第１の画像メモリ
２に格納される。
【００３０】対象物領域の検出ステップ１０２の処理内
容は、前述した従来の技術の場合と同様である。二値化
等の領域検出手段により、図１８に示す対象物領域Ｓを
検出する。検出結果は、対象物領域Ｓ内の画素の濃度値
を”１”、他の画素の濃度値を”０”とする二値画像と
して、第２の画像メモリ４に格納する。この二値画像の
濃度値をＩb （ｘ，ｙ）で表す。
容は、前述した従来の技術の場合と同様である。二値化
等の領域検出手段により、図１８に示す対象物領域Ｓを
検出する。検出結果は、対象物領域Ｓ内の画素の濃度値
を”１”、他の画素の濃度値を”０”とする二値画像と
して、第２の画像メモリ４に格納する。この二値画像の
濃度値をＩb （ｘ，ｙ）で表す。
【００３１】濃度変換ステップ１０３では、まず、濃度
変換装置５において、第１の画像メモリ２より原画像Ｉ
r （ｘ，ｙ）を読みだし、また第２の画像メモリ４より
二値画像Ｉb （ｘ，ｙ）を読みだし、式（２）により対
象物領域Ｓ内における原画像の平均濃度値ＩA （Ｓ）を
求める。また、対象物領域のごく周辺の背景領域を定め
るため、図７に示すように、対象物領域の縦方向、横方
向の長さを少し拡大した長さを二辺とする矩形領域をと
り、この矩形領域内で対象物領域Ｓ以外の領域を背景領
域Ｓ’と定義する。背景領域Ｓ’における原画像の濃度
平均値ＩA （Ｓ’）を式（３）により求める。次に、濃
度変換の変換関数をＩA （Ｓ）、ＩA （Ｓ’）を基づき
式（４）で定義する。Ｃはパラメータである。また、式
（４）の変換関数は、その概略形状が図８（Ｃ＝１の場
合）に示すようなＳ字型関数である。次に、原画像の各
画素について式（５）にしたがい濃度値の変換を行う。
濃度変換後の画像Ｉe （ｘ，ｙ）は再び第１の画像メモ
リ２に格納する。
変換装置５において、第１の画像メモリ２より原画像Ｉ
r （ｘ，ｙ）を読みだし、また第２の画像メモリ４より
二値画像Ｉb （ｘ，ｙ）を読みだし、式（２）により対
象物領域Ｓ内における原画像の平均濃度値ＩA （Ｓ）を
求める。また、対象物領域のごく周辺の背景領域を定め
るため、図７に示すように、対象物領域の縦方向、横方
向の長さを少し拡大した長さを二辺とする矩形領域をと
り、この矩形領域内で対象物領域Ｓ以外の領域を背景領
域Ｓ’と定義する。背景領域Ｓ’における原画像の濃度
平均値ＩA （Ｓ’）を式（３）により求める。次に、濃
度変換の変換関数をＩA （Ｓ）、ＩA （Ｓ’）を基づき
式（４）で定義する。Ｃはパラメータである。また、式
（４）の変換関数は、その概略形状が図８（Ｃ＝１の場
合）に示すようなＳ字型関数である。次に、原画像の各
画素について式（５）にしたがい濃度値の変換を行う。
濃度変換後の画像Ｉe （ｘ，ｙ）は再び第１の画像メモ
リ２に格納する。
【００３２】
【数２】
【００３３】特徴量抽出ステップ１０４では、特徴量抽
出装置６において第１の画像メモリ２から濃度変換後の
画像Ｉe （ｘ，ｙ）を読みだし、式（６）に示す通り、
座標（ｘ，ｙ）の各画素において、式（７）で与えられ
る関数ｇの値を用いた画像濃度値の畳み込み積分を行う
ことによって特徴量Ｇ（ｘ，ｙ）を抽出する。抽出結果
Ｇ（ｘ，ｙ）は各画素（ｘ，ｙ）について定義される量
であり、本明細書ではこのデータを特徴量画像と呼ぶ。
特徴量画像Ｇ（ｘ，ｙ）は第３の画像メモリ７に格納す
る。
出装置６において第１の画像メモリ２から濃度変換後の
画像Ｉe （ｘ，ｙ）を読みだし、式（６）に示す通り、
座標（ｘ，ｙ）の各画素において、式（７）で与えられ
る関数ｇの値を用いた画像濃度値の畳み込み積分を行う
ことによって特徴量Ｇ（ｘ，ｙ）を抽出する。抽出結果
Ｇ（ｘ，ｙ）は各画素（ｘ，ｙ）について定義される量
であり、本明細書ではこのデータを特徴量画像と呼ぶ。
特徴量画像Ｇ（ｘ，ｙ）は第３の画像メモリ７に格納す
る。
【００３４】式（６）においてＤは畳み込み積分の計算
打切り距離である。また、式（７）で定義される関数ｇ
は、複素三角関数とガウス関数の積で与えられる複素関
数であり、θおよびｆはそれぞれ複素三角関数の方向角
度と空間周波数を、またσはガウス関数の標準偏差を表
し、いずれもパラメータである。式（６）の特徴量抽出
式において、特徴量Ｇ（ｘ，ｙ）は実数部、虚数部の二
つの値が得られる他、方向角度θ、空間周波数ｆを変化
させることすることにより複数の値を得ることができ
る。特徴量Ｇ（ｘ，ｙ）は、これらの複数の値をもつベ
クトル特徴量である。なお、式（６）は、座標（ｘ，
ｙ）の位置を中心としガウス関数を窓関数として切り出
された部分像の２次元フーリエ変換を表しており、特徴
量Ｇ（ｘ，ｙ）は、図９に示す様な、部分像における方
向角度θ、空間周波数ｆの濃淡の縞模様パターンの成
分、すなわち空間周波数成分を抽出していることに相当
する。
打切り距離である。また、式（７）で定義される関数ｇ
は、複素三角関数とガウス関数の積で与えられる複素関
数であり、θおよびｆはそれぞれ複素三角関数の方向角
度と空間周波数を、またσはガウス関数の標準偏差を表
し、いずれもパラメータである。式（６）の特徴量抽出
式において、特徴量Ｇ（ｘ，ｙ）は実数部、虚数部の二
つの値が得られる他、方向角度θ、空間周波数ｆを変化
させることすることにより複数の値を得ることができ
る。特徴量Ｇ（ｘ，ｙ）は、これらの複数の値をもつベ
クトル特徴量である。なお、式（６）は、座標（ｘ，
ｙ）の位置を中心としガウス関数を窓関数として切り出
された部分像の２次元フーリエ変換を表しており、特徴
量Ｇ（ｘ，ｙ）は、図９に示す様な、部分像における方
向角度θ、空間周波数ｆの濃淡の縞模様パターンの成
分、すなわち空間周波数成分を抽出していることに相当
する。
【００３５】
【数３】
【００３６】次に、重心／主軸検出ステップ１０５の処
理内容は前述の従来の技術の場合と同様である。すなわ
ち、重心／主軸検出装置８において第２の画像メモリ４
より二値画像Ｉb （ｘ，ｙ）を読みだし、図１９に示す
対象物領域Ｓの重心座標（ｘg ，ｙg ）および主軸の方
向角度φを算出する。
理内容は前述の従来の技術の場合と同様である。すなわ
ち、重心／主軸検出装置８において第２の画像メモリ４
より二値画像Ｉb （ｘ，ｙ）を読みだし、図１９に示す
対象物領域Ｓの重心座標（ｘg ，ｙg ）および主軸の方
向角度φを算出する。
【００３７】また、ステップ１０６の特徴量画像の座標
変換ステップもその処理内容は従来の技術の場合の座標
変換ステップ５０１と同様であり、第３の画像メモリ７
より特徴量画像Ｇ（ｘ，ｙ）を読みだし、また、重心／
主軸検出装置８より対象物領域の重心（ｘg ，ｙg ）お
よび主軸の方向角度φを入力し、図２０に示すように、
対象物領域の重心が画像の中央に位置するようにするた
めの平行移動および対象物領域の主軸方向が画像の横軸
方向と一致するようにするための回転による座標変換を
行う。従来の技術の場合の座標変換ステップ５０１が原
画像のデータに対して座標変換を行っているのに対し
て、ここでの特徴量画像の座標変換ステップ１０６では
特徴量画像のデータＧ（ｘ，ｙ）に対して座標変換を行
っている点だけが異なっている。
変換ステップもその処理内容は従来の技術の場合の座標
変換ステップ５０１と同様であり、第３の画像メモリ７
より特徴量画像Ｇ（ｘ，ｙ）を読みだし、また、重心／
主軸検出装置８より対象物領域の重心（ｘg ，ｙg ）お
よび主軸の方向角度φを入力し、図２０に示すように、
対象物領域の重心が画像の中央に位置するようにするた
めの平行移動および対象物領域の主軸方向が画像の横軸
方向と一致するようにするための回転による座標変換を
行う。従来の技術の場合の座標変換ステップ５０１が原
画像のデータに対して座標変換を行っているのに対し
て、ここでの特徴量画像の座標変換ステップ１０６では
特徴量画像のデータＧ（ｘ，ｙ）に対して座標変換を行
っている点だけが異なっている。
【００３８】次に、参照画像の特徴量の読み込みステッ
プ１０７の処理内容について説明する。この発明の画像
認識装置では、データベース装置１０に、各種類の対象
物の参照画像についての特徴量のデータを保存してお
く。この特徴量データは各参照画像に対して事前にステ
ップ１０２〜ステップ１０６の一連の処理を施して得ら
れたデータである。また、このとき、全ての画素の特徴
量データを保存するのではなく、各参照画像毎に、予め
パターンマッチング処理に使用する画素としていくつか
選択しておいたマッチング画素についてのみの特徴量デ
ータを保存しておく。
プ１０７の処理内容について説明する。この発明の画像
認識装置では、データベース装置１０に、各種類の対象
物の参照画像についての特徴量のデータを保存してお
く。この特徴量データは各参照画像に対して事前にステ
ップ１０２〜ステップ１０６の一連の処理を施して得ら
れたデータである。また、このとき、全ての画素の特徴
量データを保存するのではなく、各参照画像毎に、予め
パターンマッチング処理に使用する画素としていくつか
選択しておいたマッチング画素についてのみの特徴量デ
ータを保存しておく。
【００３９】なお、マッチング画素の設定は、画像認識
装置を運用する用途に応じ、対象物の種類を判別する上
で特徴的と考えられる画素を選択し、設定するものであ
る。具体的な設定方法として、例えば、図１０（ａ）に
示す様に対象物領域のエッジ部分の画素を設定する方法
や、図１０（ｂ）に示す様に対象物領域の内部を適当な
間隔でサンプリングした画素を設定する方法が考えられ
る。エッジ部分の画素を設定する方法は、種類を判別す
る上での対象物の特徴が、主にその画像上での輪郭形状
にある様な場合に有効であり、また、領域内部のサンプ
リング画素を設定する方法は、種類を判別する上での対
象物の特徴が、主にその画像上での濃度分布にある様な
場合に有効である。なお、図１０（ｂ）の方法で、画素
をサンプリングするのは、後述するパターンマッチング
計算の演算量を軽減するのが目的であり、プロセッサの
演算性能が許せば、対象物領域内部の全ての画素をマッ
チング画素として設定することも可能である。
装置を運用する用途に応じ、対象物の種類を判別する上
で特徴的と考えられる画素を選択し、設定するものであ
る。具体的な設定方法として、例えば、図１０（ａ）に
示す様に対象物領域のエッジ部分の画素を設定する方法
や、図１０（ｂ）に示す様に対象物領域の内部を適当な
間隔でサンプリングした画素を設定する方法が考えられ
る。エッジ部分の画素を設定する方法は、種類を判別す
る上での対象物の特徴が、主にその画像上での輪郭形状
にある様な場合に有効であり、また、領域内部のサンプ
リング画素を設定する方法は、種類を判別する上での対
象物の特徴が、主にその画像上での濃度分布にある様な
場合に有効である。なお、図１０（ｂ）の方法で、画素
をサンプリングするのは、後述するパターンマッチング
計算の演算量を軽減するのが目的であり、プロセッサの
演算性能が許せば、対象物領域内部の全ての画素をマッ
チング画素として設定することも可能である。
【００４０】図１１はデータベース装置１０に保存され
ている参照画像一枚分のデータの形式である。データベ
ース装置１０には、各参照画像毎に、複数のマッチング
画素を複数の並列プロセッサでどのように分担するかと
いう情報と、個々のマッチング画素についての座標デー
タ、特徴量データの情報が保存されている。図１１にお
いて、１４は並列プロセッサ番号であり、並列プロセッ
サの総数をＮPNとすると１からＮPNまでの整数で与えら
れる。１５、１６は１４で与えられる番号の並列プロセ
ッサが担当するマッチング画素について、それぞれ、画
像内での座標データおよび特徴量データである。１５、
１６のデータは１４の並列プロセッサが担当するマッチ
ング画素の数だけ並んでいる。さらに、１４〜１６のデ
ータは並列プロセッサの数だけ繰り返される。
ている参照画像一枚分のデータの形式である。データベ
ース装置１０には、各参照画像毎に、複数のマッチング
画素を複数の並列プロセッサでどのように分担するかと
いう情報と、個々のマッチング画素についての座標デー
タ、特徴量データの情報が保存されている。図１１にお
いて、１４は並列プロセッサ番号であり、並列プロセッ
サの総数をＮPNとすると１からＮPNまでの整数で与えら
れる。１５、１６は１４で与えられる番号の並列プロセ
ッサが担当するマッチング画素について、それぞれ、画
像内での座標データおよび特徴量データである。１５、
１６のデータは１４の並列プロセッサが担当するマッチ
ング画素の数だけ並んでいる。さらに、１４〜１６のデ
ータは並列プロセッサの数だけ繰り返される。
【００４１】ステップ１０７では、主プロセッサ１３が
データベース装置１０より上記形式の参照画像一枚分の
データを読みだし、図１１の１４の並列プロセッサ番号
に応じて、その並列プロセッサが担当するマッチング画
素の座標データ１５、特徴量データ１６を各並列プロセ
ッサに転送する。
データベース装置１０より上記形式の参照画像一枚分の
データを読みだし、図１１の１４の並列プロセッサ番号
に応じて、その並列プロセッサが担当するマッチング画
素の座標データ１５、特徴量データ１６を各並列プロセ
ッサに転送する。
【００４２】次に、パターンマッチング計算ステップ１
０８では、複数の並列プロセッサ１１において、後述す
るパターンマッチング計算処理を並列に実行する。各並
列プロセッサは、それぞれに割り当てられた複数のマッ
チング画素に対し順次処理を行い、処理結果は当該参照
画像のマッチング誤差ＥM としてまとめられ、主プロセ
ッサ１３を介してＲＡＭ１２に格納される。パターンマ
ッチング計算の具体的な処理内容は後に詳しく説明する
が、算出されるマッチング誤差ＥM は、値が小さいほど
その参照画像と入力画像がより近い画像であることを示
す。
０８では、複数の並列プロセッサ１１において、後述す
るパターンマッチング計算処理を並列に実行する。各並
列プロセッサは、それぞれに割り当てられた複数のマッ
チング画素に対し順次処理を行い、処理結果は当該参照
画像のマッチング誤差ＥM としてまとめられ、主プロセ
ッサ１３を介してＲＡＭ１２に格納される。パターンマ
ッチング計算の具体的な処理内容は後に詳しく説明する
が、算出されるマッチング誤差ＥM は、値が小さいほど
その参照画像と入力画像がより近い画像であることを示
す。
【００４３】対象物種類の決定ステップ１１０では、主
プロセッサ１３において、上記各参照画像のマッチング
誤差を全てＲＡＭ１２より読みだし、マッチング誤差が
最小の参照画像を選択し、その参照画像の相当する種類
を入力画像の対象物種類と決定する。
プロセッサ１３において、上記各参照画像のマッチング
誤差を全てＲＡＭ１２より読みだし、マッチング誤差が
最小の参照画像を選択し、その参照画像の相当する種類
を入力画像の対象物種類と決定する。
【００４４】次に、図２のパターンマッチング計算ステ
ップ１０８の処理内容について、図３、図４に沿い、詳
しく説明する。
ップ１０８の処理内容について、図３、図４に沿い、詳
しく説明する。
【００４５】この発明におけるパターンマッチング計算
の目的は、参照画像内の各マッチング画素に対して、個
々に入力画像内の対応画素を、座標の変位を許して、探
索し決定することである。以下では、図１２に示すよう
に、参照画像内の座標（ｘ，ｙ）のマッチング画素に対
し、その対応画素が入力画像内の座標（ｘ＋μ，ｙ＋
η）の画素である場合、座標変位（μ，η）をそのマッ
チング画素に対する画素移動量と呼ぶこととする。各マ
ッチング画素に対し対応画素を決定することは、各マッ
チング画素に対し画素移動量（μ，η）を決定すること
と同等であり、ステップ１０８のパターンマッチング計
算では、各並列プロセッサ１１において、その並列プロ
セッサが担当するマッチング画素の各々に対して、画素
移動量（μ，η）を決定する処理を実行する。
の目的は、参照画像内の各マッチング画素に対して、個
々に入力画像内の対応画素を、座標の変位を許して、探
索し決定することである。以下では、図１２に示すよう
に、参照画像内の座標（ｘ，ｙ）のマッチング画素に対
し、その対応画素が入力画像内の座標（ｘ＋μ，ｙ＋
η）の画素である場合、座標変位（μ，η）をそのマッ
チング画素に対する画素移動量と呼ぶこととする。各マ
ッチング画素に対し対応画素を決定することは、各マッ
チング画素に対し画素移動量（μ，η）を決定すること
と同等であり、ステップ１０８のパターンマッチング計
算では、各並列プロセッサ１１において、その並列プロ
セッサが担当するマッチング画素の各々に対して、画素
移動量（μ，η）を決定する処理を実行する。
【００４６】まず、この発明のパターンマッチング計算
における画素移動量の決定方法の概要を説明する。画素
移動量（μ，η）は、式（８）に示す評価関数Ｊを最小
化することにより決定を行う。式（８）においてＡはパ
ラメータであり、また、Ｍは当該参照画像のマッチング
画素全体の集合で、座標（ｘ，ｙ）についてのΣは参照
画像内の全マッチング画素について和をとることを意味
する。また、ＧM （ｘ，ｙ）、ＧI （ｘ，ｙ）はそれぞ
れマッチング画素の特徴量および入力画像の特徴量、μ
（ｘ，ｙ）、η（ｘ，ｙ）は座標（ｘ，ｙ）にあるマッ
チング画素の画素移動量である。Ωはマッチング画素の
近傍画素の範囲を表す集合で、例えば図１３に示すよう
に上下左右に近傍２画素までを評価する場合、Ω＝｛−
２，−１，１，２｝のように定義する。Ｗt はｔ∈Ωに
ついて定義されるパラメータであり、近傍画素に対する
評価の重みを表す。また、δは式（９）で定義される。
式（８）において、Ｊ1 は各マッチング画素とその対応
画素との特徴量の誤差が小さいことを評価する項、Ｊ2
は各マッチング画素とその近傍範囲にあるマッチング画
素との画素移動量の誤差が小さいことを評価する項であ
る。特に、Ｊ2 は各マッチング画素の画素移動量が、参
照画像内のすべてのマッチング画素について滑らかにつ
ながることを評価しており、これは画素間のつながりに
配慮し、参照画像内で互いに近傍にあるマッチング画素
については、その対応画素も入力画像内で互いに近傍に
あるべきことを意味している。並列プロセッサ１１にお
けるパターンマッチング計算の具体的な処理は、まず、
評価項Ｊ1 だけに着目し、これを最小化するよう画素移
動量の値を初期化する。この段階では、画素移動量は図
１４（ａ）のようにばらついている。次に評価項Ｊ2 を
加味し、参照画像内のすべてのマッチング画素について
平滑された画素移動量の値を収束計算により決定する。
これにより、画素移動量は図１４（ｂ）のように、参照
画像全体について滑らかにそろえられる。
における画素移動量の決定方法の概要を説明する。画素
移動量（μ，η）は、式（８）に示す評価関数Ｊを最小
化することにより決定を行う。式（８）においてＡはパ
ラメータであり、また、Ｍは当該参照画像のマッチング
画素全体の集合で、座標（ｘ，ｙ）についてのΣは参照
画像内の全マッチング画素について和をとることを意味
する。また、ＧM （ｘ，ｙ）、ＧI （ｘ，ｙ）はそれぞ
れマッチング画素の特徴量および入力画像の特徴量、μ
（ｘ，ｙ）、η（ｘ，ｙ）は座標（ｘ，ｙ）にあるマッ
チング画素の画素移動量である。Ωはマッチング画素の
近傍画素の範囲を表す集合で、例えば図１３に示すよう
に上下左右に近傍２画素までを評価する場合、Ω＝｛−
２，−１，１，２｝のように定義する。Ｗt はｔ∈Ωに
ついて定義されるパラメータであり、近傍画素に対する
評価の重みを表す。また、δは式（９）で定義される。
式（８）において、Ｊ1 は各マッチング画素とその対応
画素との特徴量の誤差が小さいことを評価する項、Ｊ2
は各マッチング画素とその近傍範囲にあるマッチング画
素との画素移動量の誤差が小さいことを評価する項であ
る。特に、Ｊ2 は各マッチング画素の画素移動量が、参
照画像内のすべてのマッチング画素について滑らかにつ
ながることを評価しており、これは画素間のつながりに
配慮し、参照画像内で互いに近傍にあるマッチング画素
については、その対応画素も入力画像内で互いに近傍に
あるべきことを意味している。並列プロセッサ１１にお
けるパターンマッチング計算の具体的な処理は、まず、
評価項Ｊ1 だけに着目し、これを最小化するよう画素移
動量の値を初期化する。この段階では、画素移動量は図
１４（ａ）のようにばらついている。次に評価項Ｊ2 を
加味し、参照画像内のすべてのマッチング画素について
平滑された画素移動量の値を収束計算により決定する。
これにより、画素移動量は図１４（ｂ）のように、参照
画像全体について滑らかにそろえられる。
【００４７】
【数４】
【００４８】図３に沿いパターンマッチング計算の処理
フローを説明する。図３の処理フローは、ＮPN個の並列
プロセッサで並列に実行されるものである。図３におい
て、ステップ２０１は画素移動量の初期化ステップ、ス
テップ２０２は各並列プロセッサで計算された画素移動
量を相互にデータ交換する画素移動量の通信ステップで
ある。ステップ２０３〜ステップ２０６は画素移動量平
滑のための収束計算のループである。ステップ２０３は
画素移動量の平滑化計算ステップであり、このステップ
において画素移動量の値が更新される。更新値は再び画
素移動量の通信ステップ２０２において、並列プロセッ
サ相互間でデータ交換される。評価関数の計算ステップ
２０４では、各並列プロセッサにおいて、そのプロセッ
サが担当するマッチング画素による評価関数値が計算さ
れる。この計算値は評価関数の総和ステップ２０５にお
いて、全ての並列プロセッサについて総和される。ステ
ップ２０３〜ステップ２０５はステップ２０６におい
て、評価関数値が収束するまで繰り返される。ステップ
２０７はマッチング誤差の計算ステップであり、評価関
数が収束したときの画素移動量値に基づき、各並列プロ
セッサにおけるマッチング誤差値が計算される。この計
算値はマッチング誤差の総和ステップ２０８において、
全ての並列プロセッサについて総和される。
フローを説明する。図３の処理フローは、ＮPN個の並列
プロセッサで並列に実行されるものである。図３におい
て、ステップ２０１は画素移動量の初期化ステップ、ス
テップ２０２は各並列プロセッサで計算された画素移動
量を相互にデータ交換する画素移動量の通信ステップで
ある。ステップ２０３〜ステップ２０６は画素移動量平
滑のための収束計算のループである。ステップ２０３は
画素移動量の平滑化計算ステップであり、このステップ
において画素移動量の値が更新される。更新値は再び画
素移動量の通信ステップ２０２において、並列プロセッ
サ相互間でデータ交換される。評価関数の計算ステップ
２０４では、各並列プロセッサにおいて、そのプロセッ
サが担当するマッチング画素による評価関数値が計算さ
れる。この計算値は評価関数の総和ステップ２０５にお
いて、全ての並列プロセッサについて総和される。ステ
ップ２０３〜ステップ２０５はステップ２０６におい
て、評価関数値が収束するまで繰り返される。ステップ
２０７はマッチング誤差の計算ステップであり、評価関
数が収束したときの画素移動量値に基づき、各並列プロ
セッサにおけるマッチング誤差値が計算される。この計
算値はマッチング誤差の総和ステップ２０８において、
全ての並列プロセッサについて総和される。
【００４９】以下に、各ステップの処理内容を順に説明
する。なお、ここでは簡単のため、各マッチング画素に
対する対応画素の探索範囲を限定し、画素移動量値を−
Ｋ≦μ≦Ｋ、−Ｋ≦η≦Ｋの範囲内で決定するものとす
る。Ｋはパラメータであり、例えば、前記座標変換ステ
ップにおける対象物領域の位置、向きの補正処理の精度
などを勘案して決定するものである。
する。なお、ここでは簡単のため、各マッチング画素に
対する対応画素の探索範囲を限定し、画素移動量値を−
Ｋ≦μ≦Ｋ、−Ｋ≦η≦Ｋの範囲内で決定するものとす
る。Ｋはパラメータであり、例えば、前記座標変換ステ
ップにおける対象物領域の位置、向きの補正処理の精度
などを勘案して決定するものである。
【００５０】まず、ステップ２０１では、各マッチング
画素に対して、上記探索範囲内で、式（１０）に
画素に対して、上記探索範囲内で、式（１０）に
【００５１】
【数５】
【００５２】示す特徴量の誤差のベクトルノルムが最小
となる対応画素を検出し、その時の座標変位（μ，η）
で画素移動量の初期値を設定する。ステップ２０２で
は、各並列プロセッサにおいて計算された画素移動量
（μ，η）を他の並列プロセッサに送信するとともに、
他の並列プロセッサにおいて計算された画素移動量
（μ，η）を受信することにより、相互にデータ交換を
行う。次に、ステップ２０３の画素移動量の平滑化計算
ステップの処理内容について、図４にしたがい説明す
る。図４の処理フローは近傍画素の範囲を上下左右に２
画素と設定した場合の例であり、また、処理内容はマッ
チング画素ひとつあたりのものであって、実際は、各並
列プロセッサが、割り当てられた複数のマッチング画素
の各々について順次この処理を実行する。図４におい
て、μ（ｘ，ｙ）、η（ｘ，ｙ）は更新前のマッチング
画素の画素移動量の値を表す。また、Ｕは探索領域内の
画素移動（μ０，η０）（μ０＝−Ｋ，・・・，Ｋ，η
０＝−Ｋ，・・・，Ｋ）の各々について定義される内部
変数であり、処理フロー前半でこの内部変数Ｕの計算を
行っている。次に、ステップ３０１において内部変数Ｕ
を最大とする画素移動（μ０，η０）を、このマッチン
グ画素の画素移動量の更新値の候補として選択し、これ
を（μ１，η１）とする。さらに、ステップ３０２〜ス
テップ３０４において、この候補値で更新を行った場合
の評価関数値Ｊの変化量ΔＪを計算し、変化量ΔＪが負
となる場合に限り、ステップ３０５で画素移動量、μ
（ｘ，ｙ）、η（ｘ，ｙ）をμ１，η１で更新し、平滑
化計算を終了する。なお、図４の処理フローの前半にお
いて、当該マッチング画素の上下左右２画素の近傍範囲
にある他のマッチング画素の画素移動量値を使用する
が、これらは前記ステップ２０２の画素移動量の通信ス
テップにおいて、必要に応じ他の並列プロセッサから受
け取っている。
となる対応画素を検出し、その時の座標変位（μ，η）
で画素移動量の初期値を設定する。ステップ２０２で
は、各並列プロセッサにおいて計算された画素移動量
（μ，η）を他の並列プロセッサに送信するとともに、
他の並列プロセッサにおいて計算された画素移動量
（μ，η）を受信することにより、相互にデータ交換を
行う。次に、ステップ２０３の画素移動量の平滑化計算
ステップの処理内容について、図４にしたがい説明す
る。図４の処理フローは近傍画素の範囲を上下左右に２
画素と設定した場合の例であり、また、処理内容はマッ
チング画素ひとつあたりのものであって、実際は、各並
列プロセッサが、割り当てられた複数のマッチング画素
の各々について順次この処理を実行する。図４におい
て、μ（ｘ，ｙ）、η（ｘ，ｙ）は更新前のマッチング
画素の画素移動量の値を表す。また、Ｕは探索領域内の
画素移動（μ０，η０）（μ０＝−Ｋ，・・・，Ｋ，η
０＝−Ｋ，・・・，Ｋ）の各々について定義される内部
変数であり、処理フロー前半でこの内部変数Ｕの計算を
行っている。次に、ステップ３０１において内部変数Ｕ
を最大とする画素移動（μ０，η０）を、このマッチン
グ画素の画素移動量の更新値の候補として選択し、これ
を（μ１，η１）とする。さらに、ステップ３０２〜ス
テップ３０４において、この候補値で更新を行った場合
の評価関数値Ｊの変化量ΔＪを計算し、変化量ΔＪが負
となる場合に限り、ステップ３０５で画素移動量、μ
（ｘ，ｙ）、η（ｘ，ｙ）をμ１，η１で更新し、平滑
化計算を終了する。なお、図４の処理フローの前半にお
いて、当該マッチング画素の上下左右２画素の近傍範囲
にある他のマッチング画素の画素移動量値を使用する
が、これらは前記ステップ２０２の画素移動量の通信ス
テップにおいて、必要に応じ他の並列プロセッサから受
け取っている。
【００５３】次に、図３のステップ２０４の評価関数の
計算ステップの処理内容を説明する。ステップ２０４で
は各並列プロセッサにおいて、式（８）の評価関数値Ｊ
を求めるための計算を行う。ただし、式（８）では、Ｊ
1 ，Ｊ2 の算出にマッチング画素全体の集合Ｍについて
のΣの計算を必要とするのに対し、各並列プロセッサは
マッチング画素全体を分割して割り当てられている。こ
のため、ステップ２０４では、まずこれらのΣの計算に
おける、各並列プロセッサが担当するマッチング画素の
寄与分による部分和を計算しておく。次に、ステップ２
０５において、この部分和を並列プロセッサ間相互でデ
ータ交換し、これを各並列プロセッサにおいて総和する
ことにより最終的な評価関数値Ｊを算出する。
計算ステップの処理内容を説明する。ステップ２０４で
は各並列プロセッサにおいて、式（８）の評価関数値Ｊ
を求めるための計算を行う。ただし、式（８）では、Ｊ
1 ，Ｊ2 の算出にマッチング画素全体の集合Ｍについて
のΣの計算を必要とするのに対し、各並列プロセッサは
マッチング画素全体を分割して割り当てられている。こ
のため、ステップ２０４では、まずこれらのΣの計算に
おける、各並列プロセッサが担当するマッチング画素の
寄与分による部分和を計算しておく。次に、ステップ２
０５において、この部分和を並列プロセッサ間相互でデ
ータ交換し、これを各並列プロセッサにおいて総和する
ことにより最終的な評価関数値Ｊを算出する。
【００５４】各並列プロセッサはステップ２０６におい
て、上記算出された評価関数値Ｊと収束計算ループにお
ける前回のこの値を比較し、その変化がある一定範囲内
となった場合に評価関数値Ｊは収束したものと判定し、
ステップ２０７に移る。ステップ２０７では、各並列プ
ロセッサにおいて、評価関数値Ｊが収束したときの画素
移動量μ（ｘ，ｙ）、η（ｘ，ｙ）を用い、改めて、式
（８）のうちのＪ1 のΣの計算における、その並列プロ
セッサが担当するマッチング画素の寄与分による部分和
を計算する。最後に、ステップ２０８では、いずれか一
つの並列プロセッサにおいて、この部分和を並列プロセ
ッサ間の通信により集計することにより式（８）のＪ1
の値を算出する。このＪ1 の値を当該参照画像のマッチ
ング誤差ＥM としてパターンマッチング計算の処理を終
了する。
て、上記算出された評価関数値Ｊと収束計算ループにお
ける前回のこの値を比較し、その変化がある一定範囲内
となった場合に評価関数値Ｊは収束したものと判定し、
ステップ２０７に移る。ステップ２０７では、各並列プ
ロセッサにおいて、評価関数値Ｊが収束したときの画素
移動量μ（ｘ，ｙ）、η（ｘ，ｙ）を用い、改めて、式
（８）のうちのＪ1 のΣの計算における、その並列プロ
セッサが担当するマッチング画素の寄与分による部分和
を計算する。最後に、ステップ２０８では、いずれか一
つの並列プロセッサにおいて、この部分和を並列プロセ
ッサ間の通信により集計することにより式（８）のＪ1
の値を算出する。このＪ1 の値を当該参照画像のマッチ
ング誤差ＥM としてパターンマッチング計算の処理を終
了する。
【００５５】最後に、図５、図６にしたがい、参照画像
上のマッチング画素を複数の並列プロセッサに分割して
割り当てるための割り当て方法を説明する。図５は割り
当て方法の処理フロー図であり、図６は、マッチング画
素として対象物領域のエッジ部分の画素を設定し、これ
を１６個の並列プロセッサに割り当てる場合を例とし
て、マッチング画素の分割の様子を示した図である。な
お、図６における数字は並列プロセッサの番号を表して
いる。
上のマッチング画素を複数の並列プロセッサに分割して
割り当てるための割り当て方法を説明する。図５は割り
当て方法の処理フロー図であり、図６は、マッチング画
素として対象物領域のエッジ部分の画素を設定し、これ
を１６個の並列プロセッサに割り当てる場合を例とし
て、マッチング画素の分割の様子を示した図である。な
お、図６における数字は並列プロセッサの番号を表して
いる。
【００５６】図５において、まずステップ４０１では参
照画像の対象物領域を囲む最小の矩形領域を求める（図
６（ａ））。次に、ステップ４０２でこの矩形領域を縦
方向にＮR 、横方向にＮC に等分割して格子状に分割す
ることにより、総計ＮR ×ＮC 個の小矩形領域に分割す
る。そして、各小矩形領域をＮR ×ＮC 個の各並列プロ
セッサに順次対応させ、各小矩形領域内に含まれるマッ
チング画素をそれぞれの並列プロセッサに割り当てるこ
とにより、これを割り当ての初期状態とする（図６
（ｂ））。図６の例では、ＮR ＝ＮC ＝４としている。
次に、ステップ４０３において、マッチング画素の数が
ゼロの小矩形領域が存在するか否かを判定し、これが存
在する場合にはステップ４０４において、全ての小矩形
領域の中でマッチング画素数が最大の小矩形領域を検出
する。ステップ４０５において、そのマッチング画素数
が最大の小矩形領域を、その長辺側を２等分することに
より二つの小矩形領域に分割し、一方を前記マッチング
画素数がゼロの小矩形領域の並列プロセッサに割り当
て、他方を前記マッチング画素数が最大の小矩形領域の
並列プロセッサに割り当てることによって、割り当ての
状態を更新する（図６（ｃ））。図６（ｂ）では、３番
の並列プロセッサの領域がマッチング画素数ゼロ、２番
の並列プロセッサの領域がマッチング画素数最大であ
り、これが図６（ｃ）に更新されている。ステップ４０
４およびステップ４０５はステップ４０３においてマッ
チング画数がゼロの小矩形領域が存在しなくなるまで繰
り返し、割り当てを終了する（図６（ｄ））。
照画像の対象物領域を囲む最小の矩形領域を求める（図
６（ａ））。次に、ステップ４０２でこの矩形領域を縦
方向にＮR 、横方向にＮC に等分割して格子状に分割す
ることにより、総計ＮR ×ＮC 個の小矩形領域に分割す
る。そして、各小矩形領域をＮR ×ＮC 個の各並列プロ
セッサに順次対応させ、各小矩形領域内に含まれるマッ
チング画素をそれぞれの並列プロセッサに割り当てるこ
とにより、これを割り当ての初期状態とする（図６
（ｂ））。図６の例では、ＮR ＝ＮC ＝４としている。
次に、ステップ４０３において、マッチング画素の数が
ゼロの小矩形領域が存在するか否かを判定し、これが存
在する場合にはステップ４０４において、全ての小矩形
領域の中でマッチング画素数が最大の小矩形領域を検出
する。ステップ４０５において、そのマッチング画素数
が最大の小矩形領域を、その長辺側を２等分することに
より二つの小矩形領域に分割し、一方を前記マッチング
画素数がゼロの小矩形領域の並列プロセッサに割り当
て、他方を前記マッチング画素数が最大の小矩形領域の
並列プロセッサに割り当てることによって、割り当ての
状態を更新する（図６（ｃ））。図６（ｂ）では、３番
の並列プロセッサの領域がマッチング画素数ゼロ、２番
の並列プロセッサの領域がマッチング画素数最大であ
り、これが図６（ｃ）に更新されている。ステップ４０
４およびステップ４０５はステップ４０３においてマッ
チング画数がゼロの小矩形領域が存在しなくなるまで繰
り返し、割り当てを終了する（図６（ｄ））。
【００５７】
【発明の効果】この発明による画像認識装置は、特徴量
として、画像センサのノイズの影響を受けにくく情報量
の豊富な量を採用し、また、パターンマッチング計算に
おいては、参照画像上の各マッチング画素に対して、座
標の変位を許しながら、個々に入力画像上の対応画素を
探索する方法を用いており、さらにその対応画素の決定
に際しては、上記特徴量を手掛かりとするとともに、各
マッチング画素から対応画素への座標変位がマッチング
画素全体について滑らかにつながることを条件としてい
る。このため、入力画像と参照画像と間で、対象物領域
の位置や向き、大きさ、形状などが一致していないよう
な状況に対しもロバストな性質を有し、高い認識性能を
得ることができる。
として、画像センサのノイズの影響を受けにくく情報量
の豊富な量を採用し、また、パターンマッチング計算に
おいては、参照画像上の各マッチング画素に対して、座
標の変位を許しながら、個々に入力画像上の対応画素を
探索する方法を用いており、さらにその対応画素の決定
に際しては、上記特徴量を手掛かりとするとともに、各
マッチング画素から対応画素への座標変位がマッチング
画素全体について滑らかにつながることを条件としてい
る。このため、入力画像と参照画像と間で、対象物領域
の位置や向き、大きさ、形状などが一致していないよう
な状況に対しもロバストな性質を有し、高い認識性能を
得ることができる。
【００５８】特に、マッチング画素として対象物領域の
エッジ部分の画素を設定する画像認識装置では、種類を
判定するための対象物の特徴が、対象物の画像上での輪
郭形状にあるような場合に有効であり、また、マッチン
グ画素として対象物領域の内部の画素を設定する画像認
識装置では、種類を判定するための対象物の特徴が、対
象物領域の内部の濃度分布にあるような場合に有効であ
る。
エッジ部分の画素を設定する画像認識装置では、種類を
判定するための対象物の特徴が、対象物の画像上での輪
郭形状にあるような場合に有効であり、また、マッチン
グ画素として対象物領域の内部の画素を設定する画像認
識装置では、種類を判定するための対象物の特徴が、対
象物領域の内部の濃度分布にあるような場合に有効であ
る。
【００５９】この発明の濃度変換手段では、撮影条件に
より異なる画像の濃度レベルを補正し、特に背景領域に
比べ対象物領域の濃度を強調するとともに、画像におけ
る縞模様の特徴を際だたせるように各画素の濃度を変換
するため、本発明の画像認識装置における特徴量をより
効果的なものとし、認識性能を向上させるのに有効であ
る。
より異なる画像の濃度レベルを補正し、特に背景領域に
比べ対象物領域の濃度を強調するとともに、画像におけ
る縞模様の特徴を際だたせるように各画素の濃度を変換
するため、本発明の画像認識装置における特徴量をより
効果的なものとし、認識性能を向上させるのに有効であ
る。
【００６０】この発明によるマッチング画素の複数のプ
ロセッサへの割り当て方法は、各プロセッサにほぼ均等
な数のマッチング画素が割り当てることができる。さら
に、この発明の画像認識装置におけるパターンマッチン
グ計算では、各マッチング画素に対して対応画素を決定
する計算に際して、そのマッチング画素の上下、左右方
向の近傍画素の計算結果を必要とし、この必要データを
並列プロセッサ間の通信によりデータ授受する。このた
め、この発明の割り当て方法の、参照画像を矩形型の領
域によって分割してゆく方法によれば、各並列プロセッ
サが通信先として必要になる他の並列プロセッサの数を
最小限に抑さえることが可能であり、プロセッサ間の通
信の負荷が軽減するため、本発明の画像認識装置におけ
るパターンマッチング計算を高速に実行するのに有効で
ある。
ロセッサへの割り当て方法は、各プロセッサにほぼ均等
な数のマッチング画素が割り当てることができる。さら
に、この発明の画像認識装置におけるパターンマッチン
グ計算では、各マッチング画素に対して対応画素を決定
する計算に際して、そのマッチング画素の上下、左右方
向の近傍画素の計算結果を必要とし、この必要データを
並列プロセッサ間の通信によりデータ授受する。このた
め、この発明の割り当て方法の、参照画像を矩形型の領
域によって分割してゆく方法によれば、各並列プロセッ
サが通信先として必要になる他の並列プロセッサの数を
最小限に抑さえることが可能であり、プロセッサ間の通
信の負荷が軽減するため、本発明の画像認識装置におけ
るパターンマッチング計算を高速に実行するのに有効で
ある。
【図１】 この発明による画像認識装置の実施の形態１
の構成を示す図である。
の構成を示す図である。
【図２】 この発明による画像認識装置の実施の形態１
の処理フローを示す図である。
の処理フローを示す図である。
【図３】 この発明による画像認識装置の実施の形態１
における、パターンマッチング計算の処理フローを示す
図である。
における、パターンマッチング計算の処理フローを示す
図である。
【図４】 この発明による画像認識装置の実施の形態１
における、パターンマッチング計算の平滑化計算ステッ
プの詳細処理フローを示す図である。
における、パターンマッチング計算の平滑化計算ステッ
プの詳細処理フローを示す図である。
【図５】 この発明による画像認識装置の実施の形態１
における、マッチング画素の並列プロセッサへの割り当
て方法の処理フローを示す図である。
における、マッチング画素の並列プロセッサへの割り当
て方法の処理フローを示す図である。
【図６】 この発明による画像認識装置の実施の形態１
における、マッチング画素の並列プロセッサへの割り当
て方法の説明図である。
における、マッチング画素の並列プロセッサへの割り当
て方法の説明図である。
【図７】 この発明による画像認識装置の実施の形態１
における、対象物領域の周辺の背景領域の定義を説明す
る図である。
における、対象物領域の周辺の背景領域の定義を説明す
る図である。
【図８】 この発明による画像認識装置の実施の形態１
における、濃度変換関数の形状を示す図である。
における、濃度変換関数の形状を示す図である。
【図９】 この発明による画像認識装置の実施の形態１
における、特徴量の意味を説明する図である。
における、特徴量の意味を説明する図である。
【図１０】 この発明による画像認識装置の実施の形態
１における、マッチング画素の設定方法を示す図であ
る。
１における、マッチング画素の設定方法を示す図であ
る。
【図１１】 この発明による画像認識装置の実施の形態
１における、データベース装置に保存されているデータ
の形式を示す図である。
１における、データベース装置に保存されているデータ
の形式を示す図である。
【図１２】 この発明による画像認識装置の実施の形態
１における、画素移動量の定義を説明する図である。
１における、画素移動量の定義を説明する図である。
【図１３】 この発明による画像認識装置の実施の形態
１における、マッチング画素の近傍範囲の設定例を説明
する図である。
１における、マッチング画素の近傍範囲の設定例を説明
する図である。
【図１４】 この発明による画像認識装置の実施の形態
１における、画素移動量の初期設定と平滑化の様子を説
明する図である。
１における、画素移動量の初期設定と平滑化の様子を説
明する図である。
【図１５】 従来の技術による画像認識装置の構成を示
す図である。
す図である。
【図１６】 従来の技術による画像認識装置の処理フロ
ーを示す図である。
ーを示す図である。
【図１７】 画像の座標系の定義を説明する図である。
【図１８】 対象物領域の検出結果を説明する図であ
る。
る。
【図１９】 対象物領域の重心座標、主軸の方向角度を
説明する図である。
説明する図である。
【図２０】 座標変換後の画像の様子を示す図である。
【図２１】 従来の技術による画像認識装置におけるテ
ンプレートマッチングの計算方法を説明する図である。
ンプレートマッチングの計算方法を説明する図である。
フロントページの続き (72)発明者 古川 敏雄 東京都千代田区丸の内二丁目２番３号 三菱電機株式会社内 (56)参考文献 特開 平２−58182（ＪＰ，Ａ) 特開 昭61−45676（ＪＰ，Ａ) 特開 平８−54222（ＪＰ，Ａ) 特開 平６−215108（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60
Claims (7)
- 【請求項１】 画像センサより認識対象物の濃淡画像を
入力し、この入力画像と、予め対象物の様々な種類につ
いて用意した参照画像とのパターンマッチングを行うこ
とによって、対象物の種類を認識する画像認識装置にお
いて、入力画像内の対象物の領域を検出する領域検出手
段と、上記対象物領域の濃度が強調されるように画像の
濃度を変換する濃度変換手段と、上記領域検出手段で検
出された対象物領域における各画素毎にその周辺の濃度
パターンを特徴量として抽出する特徴量抽出手段と、上
記領域検出手段で検出された対象物領域の重心と主軸の
方向に基づいて、上記特徴量抽出手段で抽出された特徴
量の座標変換を行う座標変換手段と、各参照画像毎に、
予めパターンマッチング処理の対象として扱うマッチン
グ画素をいくつか選択し、これらの画素についてその周
辺の濃度パターンを事前に特徴量データとして保存して
おく特徴量データ保存手段と、参照画像上に選択された
各マッチング画素毎に個々に入力画像上の対応画素を探
索し、各マッチング画素と対応画素との特徴量の誤差、
及び各マッチング画素とその近傍範囲にある他のマッチ
ング画素との間におけるマッチング画素から対応画素へ
の座標変位のばらつきに基づいて、参照画像と入力画像
とのマッチング誤差値を並列処理により算出するパター
ンマッチング演算手段と、全参照画像の中でこのマッチ
ング誤差が最適となる参照画像を選択することによって
入力画像の対象物種類を判定する対象物種類判定手段と
を具備することを特徴とする画像認識装置。 - 【請求項２】 請求項１記載の画像認識装置において、
上記参照画像上のマッチング画素として対象物領域のエ
ッジ部分の画素を選択することを特徴とする画像認識装
置。 - 【請求項３】 請求項１記載の画像認識装置において、
上記参照画像上のマッチング画素として対象物領域の内
部を適当な間隔でサンプリングした画素を選択すること
を特徴とする画像認識装置。 - 【請求項４】 請求項１記載の画像認識装置において、
上記パターンマッチング演算手段は、参照画像上のマッ
チング画素の各々に対して入力画像上の対応画素を決定
するための決定条件として、各マッチング画素とその対
応画素との特徴量の誤差が小さいことを評価する第一項
と、各マッチング画素とその近傍範囲にある他のマッチ
ング画素との間で、マッチング画素から対応画素への座
標変位に対応する画素移動量のバラツキが小さいことを
評価する第二項の重み付け和で計算される評価関数を定
義し、この評価関数を最小化することを条件として対応
画素を決定する方法を用い、その処理手順として、上記
評価関数第一項だけを最小化する様に画素移動量の初期
化を行い、この画素移動量を並列プロセッサ間で通信し
た後、上記評価関数を最小化するための収束計算ループ
に入り、評価関数値を減少させるための画素移動量の平
滑化処理、並列プロセッサ間の画素移動量の通信処理、
各並列プロセッサにおける評価関数値の計算処理、全並
列プロセッサの評価関数値を総和する処理の一連の処理
を評価関数値が収束するまで繰り返して、収束計算ルー
プを終了し、次に各並列プロセッサにおける、参照画像
と入力画像間のマッチング誤差値を計算し、最後にこの
マッチング誤差を全並列プロセッサについて総和するこ
とにより、最終的なマッチング誤差値を算出することを
特徴とする画像認識装置。 - 【請求項５】 請求項１記載の画像認識装置において、 上記濃度変換手段は、上記領域検出手段で検出された対
象物領域内における上記入力画像の平均濃度値および当
該対象物領域周辺の背景領域における平均濃度値に基づ
いて定義されるＳ字型関数を濃度の変換関数として、上
記入力画像の濃度変換を行い、 上記特徴量抽出手段は、上記濃度変換手段で濃度変換さ
れた画像から、対象物領域における各画素毎にその周辺
の濃度パターンを特徴量として抽出することを特徴とす
る画像認識装置。 - 【請求項６】 請求項１記載の画像認識装置において、
各参照画像のパターンマッチング処理を複数のプロセッ
サで並列処理するために、マッチング画素を複数の並列
プロセッサに分割して割り当てる割り当ては、まず、参
照画像内の対象物領域を囲む矩形領域を求め、この矩形
領域を縦方向にＮR 個、横方向にＮc個に格子状に分割
することにより総計ＮR ×Ｎc 個の小矩形領域に分割
し、各小矩形領域をＮR×Ｎc 個の並列プロセッサに順
に対応させて、各々の小矩形領域に含まれるマッチング
画素を対応させた並列プロセッサに割り当てた状態を割
り当ての初期状態とし、次に各小矩形領域に含まれるマ
ッチング画素の個数を数え、マッチング画素数がゼロの
小矩形領域が存在する場合には、全小矩形領域のうちマ
ッチング画素数が最大の小矩形領域を検出し、このマッ
チング画素数が最大の小矩形領域をその長辺側を２等分
することによりさらに二つの小矩形領域に分割し、一方
を前記マッチング画素数がゼロの小矩形領域を担当する
並列プロセッサに割り当て、他方を前記マッチング画素
数が最大の小矩形領域を担当する並列プロセッサに割り
当てることによって割り当ての状態更新を行い、この一
連の割り当て更新をマッチング画素数がゼロの小矩形領
域が存在しなくなるまで繰り返して割り当てを決定する
ことを特徴とする画像認識装置。 - 【請求項７】 請求項１から３のいずれかに記載の画像
認識装置において、上記パターンマッチング演算手段
は、各マッチング画素と対応画素との特徴量の誤差が小
さくなること、及び各マッチング画素とその近傍範囲に
ある他のマッチング画素との間におけるマッチング画素
から対応画素への座標変位のばらつきが小さくなること
を条件に、上記各マッチング画素毎の対応画素を決定す
ることにより、参照画像と入力画像とのマッチング誤差
値を算出し、上記対象物種類判定手段は、全参照画像の
中でこのマッチング誤差が最小となる参照画像を選択す
ることによって入力画像の対象物種類を判定することを
特徴とする画像認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05626296A JP3251840B2 (ja) | 1996-03-13 | 1996-03-13 | 画像認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05626296A JP3251840B2 (ja) | 1996-03-13 | 1996-03-13 | 画像認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09245168A JPH09245168A (ja) | 1997-09-19 |
| JP3251840B2 true JP3251840B2 (ja) | 2002-01-28 |
Family
ID=13022172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05626296A Expired - Lifetime JP3251840B2 (ja) | 1996-03-13 | 1996-03-13 | 画像認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3251840B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004235711A (ja) * | 2003-01-28 | 2004-08-19 | Nissan Motor Co Ltd | 対象物追跡システムおよび対象物追跡方法 |
| JP2006293632A (ja) * | 2005-04-08 | 2006-10-26 | Toshiba Corp | 半導体集積回路装置、画像処理システム、及び画像処理方法 |
| EP2126810A4 (en) | 2007-02-21 | 2011-10-26 | Advanced Custom Engineered Systems & Equipment Co | SYSTEM FOR MONITORING A CONTAINER AND THE OBJECTS THEREIN |
| US8146798B2 (en) | 2008-11-07 | 2012-04-03 | Advanced Custom Engineered Systems & Equipment Co. | Method and apparatus for monitoring waste removal and administration |
| RU2567213C2 (ru) * | 2009-10-22 | 2015-11-10 | Конинклейке Филипс Электроникс Н.В. | Выравнивание упорядоченного стека изображений образца |
| US9251388B2 (en) | 2013-05-15 | 2016-02-02 | Advanced Custom Engineered Systems & Equipment, Co. | Method for deploying large numbers of waste containers in a waste collection system |
| JP2015176272A (ja) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| US11727363B2 (en) | 2016-03-31 | 2023-08-15 | Advanced Custom Engineered Systems & Equipment Company | Systems and method for interrogating, publishing and analyzing information related to a waste hauling vehicle |
| CN116686000A (zh) * | 2020-12-28 | 2023-09-01 | 三菱电机株式会社 | 图像处理装置、程序和图像处理方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6145676A (ja) * | 1984-08-09 | 1986-03-05 | Fuji Xerox Co Ltd | デイジタル複写機 |
| JPS63305477A (ja) * | 1987-06-06 | 1988-12-13 | Hitachi Ltd | 移動物体像抽出方式 |
| JP2827222B2 (ja) * | 1988-08-24 | 1998-11-25 | 日本電気株式会社 | パタン識別装置 |
| JPH04188284A (ja) * | 1990-11-22 | 1992-07-06 | Fujitsu Ltd | 画像追尾装置 |
| JPH04209074A (ja) * | 1990-12-05 | 1992-07-30 | Ricoh Co Ltd | 動領域抽出方式 |
| JPH06215108A (ja) * | 1992-11-27 | 1994-08-05 | Fuji Photo Film Co Ltd | 放射線画像の位置合せ方法 |
| JPH0757094A (ja) * | 1993-08-10 | 1995-03-03 | Ricoh Co Ltd | ニューラルネットワークによる画像認識装置 |
| JP3453861B2 (ja) * | 1994-08-12 | 2003-10-06 | 松下電工株式会社 | 画像処理による変位検出方法 |
-
1996
- 1996-03-13 JP JP05626296A patent/JP3251840B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09245168A (ja) | 1997-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685152B (zh) | 一种基于dc-spp-yolo的图像目标检测方法 | |
| CN108256446B (zh) | 用于确定道路中的车道线的方法、装置和设备 | |
| CN110097093B (zh) | 一种异源图像精确匹配方法 | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| CN111640157B (zh) | 一种基于神经网络的棋盘格角点检测方法及其应用 | |
| CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN110135438B (zh) | 一种基于梯度幅值预运算的改进surf算法 | |
| CN113706581B (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
| CN112164117A (zh) | 一种基于Kinect相机的V-SLAM位姿估算方法 | |
| CN111461113B (zh) | 一种基于变形平面物体检测网络的大角度车牌检测方法 | |
| CN111368769A (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
| JP3251840B2 (ja) | 画像認識装置 | |
| CN113435240A (zh) | 一种端到端的表格检测和结构识别方法及系统 | |
| CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
| CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN115187786A (zh) | 一种基于旋转的CenterNet2目标检测方法 | |
| CN115641367A (zh) | 一种基于多级特征匹配的红外和可见光图像配准方法 | |
| CN110472640B (zh) | 一种目标检测模型预测框处理方法及装置 | |
| CN110348307B (zh) | 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 | |
| CN114119749A (zh) | 一种基于密集关联的单目3d车辆检测方法 | |
| CN116310837B (zh) | 一种sar舰船目标旋转检测方法及系统 | |
| CN110084203B (zh) | 基于上下文关联的全卷积网络飞机层级检测方法 | |
| CN113793371B (zh) | 目标分割追踪方法、装置、电子设备和存储介质 | |
| CN115511853A (zh) | 基于方向可变特征的遥感船舶检测与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081116 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081116 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091116 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091116 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |