JP5990229B2

JP5990229B2 - 位置変化検出装置

Info

Publication number: JP5990229B2
Application number: JP2014166403A
Authority: JP
Inventors: 健嗣多谷
Original assignee: Iwasaki Electric Manufacturing Co Ltd
Current assignee: Iwasaki Electric Manufacturing Co Ltd
Priority date: 2014-08-19
Filing date: 2014-08-19
Publication date: 2016-09-07
Anticipated expiration: 2034-08-19
Also published as: JP2016042328A

Description

本発明は、位置変化検出装置に関する。

特許文献１は監視方法を開示する。この監視方法は、監視すべき被写体の状態を監視するための方法である。この監視方法は、動画像処理工程と、領域分割工程と、同時生起行列を求める工程と、特徴量抽出工程と、異常の有無を判断する工程とを備える。動画像処理工程において、短時間の輝度データの差分をとることで画像中の変化領域の有無が判断される。領域分割工程において、上述された変化領域がない場合は取り込んだ画像全体の中から監視すべき被写体の部分が抽出される。同時生起行列を求める工程において、抽出した被写体の領域が複数のブロックに分割され、分割された各ブロックが複数の画素によって構成されて、これら各ブロック内の隣の画素間の輝度の組み合わせの同時生起行列が求められる。特徴量抽出工程において、この同時生起行列に基づき求めた画像の２次元面のテクスチャ特徴量である不均一性、コントラスト、一様性のうちの２つ以上がブロックごとに算出される。異常の有無を判断する工程において、上述されたテクスチャ特徴量ごとに主成分分析が行われ、これより求められた主成分得点が正常時に求めておいた主成分得点と比較され、正常時との差異の大小に基づき被写体における異常の有無が判断される。特許文献１に記載されている監視方法によれば、画像処理による監視対象物の状態監視において、照度条件などの環境変化に対する手法を抜本的に改良できる。特許文献１に記載されている監視方法によれば、異常データの存在しない状況下で監視アルゴリズムを設計できる。

特開平０９−０３７２３１号公報

しかしながら、特許文献１に開示された監視方法には、目印を有するものの位置変化を検出するためには工程が複雑すぎるという問題がある。複雑な工程はその自動的な実施を困難にする。

本発明は、このような問題を解消するためになされたものである。その目的は、目印を有するものの角度変化の検出を簡素化できる位置変化検出装置を提供することにある。

図面を参照して本発明の位置変化検出装置を説明する。なお、この欄で図中の符号を使用したのは、発明の内容の理解を助けるためであって、内容を図示した範囲に限定する意図ではない。

上記課題を解決するために、本発明のある局面に従うと、位置変化検出装置１６は、画像取得部７０と、記憶部７２と、画像処理部７４と、出力部８０とを備える。画像取得部７０は、少なくとも３種類の画像データを取得する。これらの画像データは生成時期が互いに異なる。これらの画像データは共通する座標系に基づいて画像を表す。記憶部７２は、少なくとも３種類の画像データ及びそれら少なくとも３種類の画像データそれぞれに対して所定の規則に従って加工が施された画像データの少なくとも一方を記憶する。画像処理部７４は、記憶部７２が記憶した画像データに基づいて所定の要件を満たす画素の位置変化量を算出する。出力部８０は、画像処理部７４が算出した位置変化量を示す情報を出力する。記憶部７２が記憶した画像データは、複数の画素それぞれの色特性数及び複数の画素それぞれの座標を示す情報をそれぞれ含む。「色特性数」とは、画素が示す色の特性を定量的に示す数を言う。定量的に示され得るものである限り、この「色の特性」の具体的内容は特に限定されない。画像処理部７４が、差分画像データ生成部９２と、総和算出部９４と、座標値特定部９６と、位置変化量算出部９８とを有する。差分画像データ生成部９２は、少なくとも３種類の画像データのうち所定の画像データと所定の画像データ以外のいずれかの画像データとの対から差分画像データを生成する。差分画像データは、複数の画素それぞれについての対の間の同一座標の画素の色特性数の差及び複数の画素それぞれの座標を示す情報を含む。総和算出部９４は、差分画像データが含む色特性数の差それぞれに対して座標軸と座標とに応じ予め定められている所定の数値を乗じることにより１個の色特性数の差から座標軸の数と同じ個数の積を求める。総和算出部９４は、座標軸それぞれについて座標軸からの距離が同一である画素の集合ごとの積の総和を算出する。座標値特定部９６は画素の集合ごとの総和の最大値及び最小値の少なくとも一方を座標軸それぞれについて特定する。これにより、積が最大の画素の座標値及び積が最小の画素の座標値の少なくとも一方が座標軸ごとに特定される。位置変化量算出部９８は、予め定められた座標を中心座標とする場合の、積が最大となる画素及び積が最小となる画素の少なくとも一方の、角度変化量を算出する。この角度変化量は、差分画像データから座標値特定部９６が特定した座標値と予め定められた座標とに基づいて算出される。この差分画像データは所定の画像データを対の一方として生成されたものである。

総和算出部９４が上述した総和を算出すると、一対の画像のうち同一座標の画素間で色の変化が大きかった箇所が明らかになる。その箇所に基づいて算出された積の総和とその箇所に基づかずに算出された積の総和との間に数値差が生じるためである。色の変化が大きかった箇所が移動した目印の位置を示す。目印はその周りとの色の差が大きいため、目印の移動に伴い色の大きな変化が生じるためである。生成時期が互いに異なる画像データに基づきそのような総和を算出することにより、目印の位置変化を特定できる。そのような総和は、差分画像データに含まれる色特性数の差それぞれに対する乗算と加算とにより算出できる。差分画像データは、所定の画像データとそれ以外のいずれかの画像データとの対から複数の画素それぞれについて同一座標の画素の色特性数の差を算出することにより生成できる。色特性数の差の算出とその差それぞれに対する乗算と加算とにより移動した目印の位置を特定できるので、その特定のための情報処理を簡素化できる。その結果、目印を有するものの角度変化の検出を簡素化できる。

また、上述した色特性数が、色の属性を定量的に示す値であることが望ましい。

もしくは、上述した色の属性を定量的に示す値が、色の明度を示す値の関数であることが望ましい。

本発明にかかる位置変化検出装置によれば、目印を有するものの角度変化の検出を簡素化できる。

本発明の第１実施形態にかかる自動検査システムの構成を示す概念図である。本発明の一実施形態にかかる位置変化検出装置のハードウェア構成を示す概念図である。本発明の一実施形態にかかる位置変化検出装置の機能ブロック図である。本発明の一実施形態にかかるツマミの目印の位置変化検出処理の制御の手順を示す第１のフローチャートである。本発明の一実施形態にかかるツマミの目印の位置変化検出処理の制御の手順を示す第２のフローチャートである。本発明の一実施形態にかかるツマミの目印の位置変化検出処理の制御の手順を示す第３のフローチャートである。本発明の一実施形態にかかる第１の表示画像の例を示す図である。本発明の一実施形態にかかる第２の表示画像の例を示す図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰返さない。

［自動検査システムの構成の説明］
以下、本発明の一実施形態について説明する。図１は、本実施形態にかかる自動検査システムの構成を示す概念図である。図１に基づいて、本実施形態にかかる自動検査システムの構成が説明される。本実施形態にかかる自動検査システムは、画像取得装置１０と、走行レール１２と、シーケンサ１４と、位置変化検出装置１６と、図示しない操作装置とを備える。画像取得装置１０は、検体２０のツマミ２２の画像を取得する。画像取得装置１０は、自らが取得した画像を画像データに変換して位置変化検出装置１６に送信する。走行レール１２は、画像取得装置１０の走行路となる。シーケンサ１４は、画像取得装置１０を制御する。位置変化検出装置１６は、画像取得装置１０から受信した画像データに基づいて、検体２０が備えるツマミ２２の目印の位置変化を検出する。操作装置は、シーケンサ１４の制御を受けて、検体２０が備えるツマミ２２を操作する。

画像取得装置１０は、カメラ５０と、昇降装置５２と、支柱５４と、走行装置５６とを備える。カメラ５０は、検体２０が備えるツマミ２２の画像を記録する。カメラ５０は、図示されない周知の撮像素子を内蔵する。この撮像素子は、検体２０が備えるツマミ２２の像を電気信号に変換する。このようなカメラ５０の具体的な構成は周知なので、ここではその説明は繰り返されない。昇降装置５２は、カメラ５０を上下方向に移動させる。支柱５４は、昇降装置５２の上下方向への移動路となる。支柱５４は、カメラ５０および昇降装置５２を支える。走行装置５６は走行レール１２に沿ってカメラ５０と昇降装置５２と支柱５４とを移動させる。走行装置５６は、走行レール１２上を走行する。走行装置５６の具体的な構成は周知なので、ここではその説明は繰り返されない。

［位置変化検出装置のハードウェア構成の説明］
図２は、位置変化検出装置１６のハードウェア構成を示す概念図である。図１に基づいて、位置変化検出装置１６のハードウェア構成が説明される。本実施形態にかかる位置変化検出装置１６は、ＣＰＵ（Central Processing Unit）３０と、メモリ３２と、固定ディスク３４と、入力装置３６と、表示装置３８と、通信Ｉ／Ｏ（Input/Output）４０と、コネクタ４２と、画像Ｉ／Ｏ４４とを有する。ＣＰＵ３０は、メモリ３２から読出したプログラムを実行することにより、予め定められた規則に従って位置変化検出装置１６を構成する各装置を制御する。ＣＰＵ３０は、メモリ３２から読出したプログラムを実行することにより、予め定められた規則に従って画像データに基づき所定の値を算出する。メモリ３２は、プログラムとデータとを記憶する。そのデータの例には画像データがある。固定ディスク３４は、プログラムと画像データとを記録する。入力装置３６は、オペレータの入力に応じて信号を生成する。これにより、位置変化検出装置１６に情報が入力される。表示装置３８は、情報を画像として表示する。通信Ｉ／Ｏ４０は、シーケンサ１４と通信する。画像Ｉ／Ｏ４４は、カメラ５０が出力した信号を受信する。コネクタ４２にはＵＳＢ（Universal Serial Bus）メモリ６２が接続される。すなわち、本実施形態の場合、位置変化検出装置１６のハードウェア構成は、周知のコンピュータと同一である。

［位置変化検出装置の機能の説明］
図３は、位置変化検出装置１６の機能ブロック図である。図３に基づいて、本実施形態にかかる位置変化検出装置１６の機能が説明される。ＣＰＵ３０と、メモリ３２と、固定ディスク３４と、入力装置３６と、表示装置３８と、通信Ｉ／Ｏ４０と、コネクタ４２と、画像Ｉ／Ｏ４４とは、画像取得部７０と、記憶部７２と、画像処理部７４と、識別判定部７６と、通信制御部７８と、表示部８０とを構成する。画像取得部７０は、カメラ５０との通信により、少なくとも３種類の画像データを取得する。これら少なくとも３種類の画像データの具体的内容は後述される。記憶部７２は、少なくとも３種類の画像データ及びそれら少なくとも３種類の画像データそれぞれに対して所定の規則に従って加工が施された画像データの少なくとも一方を記憶する。記憶部７２は、自らが記憶した画像データを画像処理部７４に与える。画像処理部７４は、記憶部７２が記憶した画像データに基づいて所定の要件を満たす画素の位置変化量を算出する。識別判定部７６は画像処理部７４が実施中の手順を進行させるか否かを判定する。通信制御部７８は、シーケンサ１４に信号を送信する。通信制御部７８は、シーケンサ１４から信号を受信する。通信制御部７８は、シーケンサ１４から信号を受信すると、その信号が示す情報を識別判定部７６に与える。表示部８０は、情報を画像として表示する。これにより、その情報が出力されることとなる。

画像処理部７４が、加工部９０と、差分画像データ生成部９２と、総和算出部９４と、座標値特定部９６と、位置変化量算出部９８とを有する。加工部９０は、画像取得部７０が取得した画像データ及び記憶部７２が記憶した画像データを所定の規則に従って加工する。差分画像データ生成部９２は、少なくとも３種類の画像データのうち所定の画像データと所定の画像データ以外のいずれかの画像データとの対から差分画像データを生成する。差分画像データは、複数の画素それぞれについての対の間の同一座標の画素の色の明度を示す値の差及び複数の画素それぞれの座標を示す情報を含む。総和算出部９４は、差分画像データが含む色の明度を示す値の差それぞれに対して座標軸と座標とに応じ予め定められている所定の数値を乗じることにより色の明度を示す値の差１個から座標軸の数と同じ個数の積を求める。総和算出部９４は、座標軸それぞれについて座標軸からの距離が同一である画素の集合ごとの積の総和を算出する。座標値特定部９６は画素の集合ごとの総和の最大値及び最大値の少なくとも一方を座標軸それぞれについて特定する。これにより、積が最大の画素の座標値及び積が最小の画素の座標値の少なくとも一方が座標軸ごとに特定される。位置変化量算出部９８は、積が最大となる画素及び積が最小となる画素の少なくとも一方の位置変化量を算出する。この位置変化量は、複数の差分画像データそれぞれから座標値特定部９６が特定した座標値に基づいて算出される。これら複数の差分画像データはいずれも所定の画像データを対の一方として生成されたものである。

［プログラムの説明］
これらの構成は、ＣＰＵ３０がメモリ３２から読出したプログラムを実行することにより実現される。一般的にこうしたプログラムは、ＵＳＢメモリ６２などの記録媒体に記録された状態で流通する。こうしたプログラムはインターネットを介して流通することもある。こうしたプログラムは、固定ディスク３４に記録される。ＣＰＵ３０が実行するプログラムは、その固定ディスク３４に記録されたプログラムをメモリ３２が記憶したものである。したがって、本発明の最も本質的な部分は、ＵＳＢメモリ６２などの記録媒体に記録されたソフトウェアである。

［フローチャートの説明］
図４ないし図６は、本実施形態にかかる位置変化検出装置１６のＣＰＵ３０が実行するプログラムのフローチャートである。図４ないし図６に示されるように、ＣＰＵ３０で実行されるプログラムは、ツマミ２２の目印の位置変化検出に関し、以下の制御を実行する。

ステップＳ１００にて、画像取得部７０は、カメラ５０から画像データを取得する。この画像データは、複数の画素それぞれの色特性数及び複数の画素それぞれの座標を示す情報を含む。本実施形態の場合、この画像データは、ＲＧＢカラーモデルに基づいて表される色特性数を含む。表示部８０は、画像取得部７０が取得した画像データに基づき、その画像データが示す画像を表示する。加工部９０は、画像取得部７０が取得した画像データから、予め定められている複数の座標それぞれについて、その座標における画素の情報を読み取る。読み取られた情報は順次記憶部７２が記憶する。予め定められている複数の座標すべてについて画素の情報が記憶されたら、加工部９０は、それらの画素の情報をひとまとまりの画像データにする。画素の情報をひとまとまりの画像データにするための具体的手順は周知なのでここではその詳細な説明は繰り返されない。これにより、ある画像データの一部からなる新たな画像データが生成される。本実施形態では、このようにして新たな画像データを生成することが「画像トリミング」と称される。画像トリミングが完了すると、加工部９０は、その新たな画像データから、すべての座標それぞれについて、その座標における画素の情報を読み取る。加工部９０は、読み取られた情報が示す画素の色に基づき、その色と同一明度の無彩色を示す情報を生成する。生成された情報は順次記憶部７２が記憶する。すべての座標について無彩色を示す情報が記憶されたら、加工部９０は、それらの無彩色を示す情報をひとまとまりの画像データにする。これにより、画像トリミングの結果生成された画像データから新たな画像データが生成される。本実施形態では、このようにして新たな画像データを生成することが「グレースケール変換」と称される。本実施形態においては、本ステップにて画像トリミングとグレースケール変換とを経て新たに生成された画像データが「基本画像データ」である。加工部９０は、基本画像データを記憶部７２に記憶させる。

ステップＳ１０２にて、画像取得部７０は、カメラ５０から画像データを取得する。表示部８０は、画像取得部７０が取得した画像データに基づき、その画像データが示す画像を表示する。

ステップＳ１０４にて、加工部９０は、ステップＳ１０２にて取得された画像データに基づき画像トリミングを行う。本ステップにて画像トリミングにより新たに生成された画像データは記憶部７２が記憶する。この画像データが示す画像のサイズは、基本画像データが示す画像のサイズと同一である。

ステップＳ１０６にて、加工部９０は、ステップＳ１０４にて生成された画像データに基づき、グレースケール変換を実施する。

ステップＳ１０８にて、差分画像データ生成部９２は、基本画像データとステップＳ１０６にて生成された画像データとに基づき、次に述べられる処理を行う。この処理において、差分画像データ生成部９２は、基本画像データが示す画像とステップＳ１０６にて生成された画像データが示す画像とにおける、同一座標についての画素の色を示す情報を基にして、それらの画素の明度の差を数値として示す情報を生成する。生成された情報は順次記憶部７２が記憶する。この情報は、ステップＳ１０６にて生成された画像データが示す画像のすべての画素について生成される。すべての画素について明度の差を数値として示す情報が記憶されたら、差分画像データ生成部９２は、それらの情報をひとまとまりの画像データにする。これにより、２種類の画像データから新たな画像データが生成される。本実施形態では、このようにして新たな画像データを生成することが「差分処理」と称される。本実施形態においては、差分処理によって新たに生成された画像データが「差分画像データ」である。画像処理部７４は、差分画像データを記憶部７２に記憶させる。

ステップＳ１１０にて、総和算出部９４は、明度の差を示す数値（ステップＳ１０８にて生成された差分画像データに含まれる）それぞれに対して座標軸と座標とに応じ予め定められている所定の数値を乗じることにより明度の差を示す１個の数値から座標軸の数（本実施形態の場合、座標軸はＸ軸とＹ軸との２種類である。したがって座標軸の数は「２」である）と同じ個数（すなわち２個）の積を求める。次に、総和算出部９４は、座標軸それぞれについて座標軸からの距離が同一である画素の集合ごとの上述された積の総和を算出する。なお、本実施形態の場合、総和算出部９４によって明度の差を示す数値に乗算される値はいずれも「１」である。それらの総和は、総和算出部９４によって座標軸からの距離に対応づけられる。対応付けられた総和は記憶部７２が記憶する。その後、座標値特定部９６は、Ｘ軸からの距離に対応づけられた総和の中からその最大値を特定する。座標値特定部９６は、Ｙ軸からの距離に対応づけられた総和の中からその最大値を特定する。これにより、基本画像データが示す画像とステップＳ１０６にて生成された画像データが示す画像との間で最も明度の差が大きい画素の座標が特定される。この処理は、数式に基づいて以下のように説明され得る。すなわち、総和算出部９４は、以下の式で示される第１の射影ベクトルＰxを算出する。以下の式におけるｐ_１１，ｐ_１２，ｐ_１３，・・・・ｐ_ｙｘは、各画素の明度の差を示す数値である。以下の式におけるｂ_１，ｂ_２，ｂ_３・・・ｂ_ｘは、Ｘ軸とＸ座標とに応じて予め定められている所定の数値である。ただし、本実施形態の場合、これらの数値はいずれも「１」である。

次に、総和算出部９４は、以下の式で示される第２の射影ベクトルＰyを算出する。なお、以下の式におけるｃ_１，ｃ_２，ｃ_３・・・ｃ_ｙは、Ｙ軸とＹ座標とに応じて予め定められている所定の数値である。ただし、本実施形態の場合、これらの数値はいずれも「１」である。

第１の射影ベクトルＰxと第２の射影ベクトルＰyとが算出されると、座標値特定部９６は、第１の射影ベクトルＰxを構成する数値の中から最大値を特定する。座標値特定部９６は、第１の射影ベクトルＰxのなかにおけるその最大値の順番に基づき、差分画像データが示す画素の中で最も大きな明度の差を示す画素のｘ座標値を特定する。座標値特定部９６は、第２の射影ベクトルＰyを構成する数値の中からも最大値を特定する。座標値特定部９６は、第２の射影ベクトルＰyのなかにおけるその最大値の順番に基づき、差分画像データが示す画素の中で最も大きな明度の差を示す画素のｙ座標値を特定する。差分画像データが示す画素の中で最も大きな明度の差を示す画素のｘ座標値とｙ座標値とが特定されることにより、その画素の座標が特定される。

ステップＳ１１２にて、座標値特定部９６は、明度の差を示す数値（差分画像データに含まれる）のうち明度抽出処理によって特定された座標に対応付けられているものの値が所定の閾値を越えているか否かを判定する。その値が所定の閾値を越えている場合、基本画像データが示す画像とステップＳ１０６にて生成された画像データが示す画像との間に、不一致が生じている。基本画像データが示す画像とステップＳ１０６にて生成された画像データが示す画像とが一致していると判定された場合（ステップＳ１１２にてＹＥＳ）、処理はステップＳ１１４へと移される。そうでない場合（ステップＳ１１２にてＮＯ）、処理はステップＳ１１６へ移される。

ステップＳ１１４にて、記憶部７２は、ステップＳ１０６にて生成された画像データを再生可能となるよう（ＣＰＵ３０による読み取りが随時可能となるよう）記憶する。本実施形態においては、本ステップにて記憶部７２に記憶された画像データが「１枚目画像データ」である。

ステップＳ１１６にて、通信制御部７８は、シーケンサ１４に対し、カメラ５０を動作させるための信号を送信する。シーケンサ１４は、その信号を受信すると、カメラ５０の位置を移動させる。本実施形態の場合、カメラ５０の移動幅は予め定められている。

ステップＳ１１８にて、通信制御部７８は、シーケンサ１４から所定の信号を受信する。シーケンサ１４は、この信号を送信するまでに、ツマミ２２を操作するよう図示しない操作装置を制御している。通信制御部７８がその信号を受信すると、識別判定部７６は加工部９０に対して所定の信号を送信する。加工部９０がその信号を受信すると、加工部９０は、記憶部７２に記憶されていた１枚目画像データを読み出す。

ステップＳ１２０にて、画像取得部７０は、カメラ５０から画像データを取得する。表示部８０は、画像取得部７０が取得した画像データに基づき、その画像データが示す画像を表示する。図７は、このようにして表示される画像の一例である。

ステップＳ１２２にて、加工部９０は、ステップＳ１２０にて取得された画像データに基づき画像トリミングを行う。本ステップにて画像トリミングにより新たに生成された画像データは記憶部７２が記憶する。この画像データが示す画像のサイズは、基本画像データが示す画像のサイズと同一である。

ステップＳ１２４にて、加工部９０は、ステップＳ１２２にて生成された画像データに基づき、グレースケール変換を実施する。

ステップＳ１２６にて、差分画像データ生成部９２は、１枚目画像データとステップＳ１２４にて生成された画像データとに基づき、差分処理を行う。表示部８０は、差分画像データ生成部９２が生成した差分画像データが示す画像を表示する。図８は、このようにして表示される画像の一例である。通常、ツマミ２２の色は目立つ明るい色である。これにより、差分画像データが示す画像において、ツマミ２２操作前の目印を示す画素は明度の差が低く（例えば、画素の色が暗く）なり、ツマミ２２操作後の目印位置の画素は明度の差が大きく（例えば、画素の色が明るく）なる。多くの場合、これらの明度の差を示す数値は、符号のプラスマイナスが互いに逆でそれらの絶対値が同一であることが多い。

ステップＳ１２８にて、総和算出部９４は、ステップＳ１１０と同様の手順により、ステップＳ１２６にて生成された差分画像データに基づき、座標軸それぞれについて座標軸からの距離が同一である画素の集合ごとの積の総和を算出する。次に、座標値特定部９６は、Ｘ軸からの距離に対応づけられたそれらの総和の中からその最大値を特定する。座標値特定部９６は、Ｙ軸からの距離に対応づけられたそれらの総和の中からその最大値を特定する。次に、座標値特定部９６は、Ｘ軸からの距離に対応づけられたそれらの総和の中からその最小値を特定する。座標値特定部９６は、Ｙ軸からの距離に対応づけられたそれらの総和の中からその最小値を特定する。

ステップＳ１３０にて、位置変化量算出部９８は、次に述べられる３つの座標に基づいて、ツマミ２２の目印の角度変化量を算出する。１つめの座標は、１枚目画像データが示す画像とステップＳ１２８にて生成された画像データが示す画像との間で最も明度の差が大きい座標である。本ステップでは、この座標を「最大明度座標」と称する。２つめの座標は、予め定められた仮想上の中心座標である。本ステップでは、この座標を「回転中心座標」と称する。３つめの座標は、１枚目画像データが示す画像とステップＳ１２８にて生成された画像データが示す画像との間で最も明度の差が小さい座標である。本ステップでは、この座標を「最小明度座標」と称する。ツマミ２２の目印の角度変化量の算出手順は以下の通りである。まず、「回転中心座標を始点とし最大明度座標を終点とするベクトル」と「回転中心座標を始点とし最小明度座標を終点とするベクトル」との内積と外積とが算出される。次に、余弦定理に基づいて、これらのベクトルがなす角（直角又は鋭角）が算出される。本段落では、この角度を「内積に基づいて算出された角度」と称する。次に、これらのベクトルの大きさと外積とに基づいて、これらのベクトルがなす角（直角又は鋭角）が算出される。本段落では、この角度を「外積に基づいて算出された角度」と称する。内積に基づいて算出された角度と外積に基づいて算出された角度とが一致しており、かつ、外積が正の数である場合、内積に基づいて算出された角度がツマミ２２の目印の角度変化量である。内積に基づいて算出された角度と外積に基づいて算出された角度とが異なっており、かつ、外積が正の数である場合、内積に基づいて算出された角度がツマミ２２の目印の角度変化量である。内積に基づいて算出された角度と外積に基づいて算出された角度とが異なっており、かつ、外積が負の数である場合、π［ラジアン］と外積に基づいて算出された角度との和がツマミ２２の目印の角度変化量である。内積に基づいて算出された角度と外積に基づいて算出された角度とが一致しており、かつ、外積が負の数である場合、２π［ラジアン］と内積に基づいて算出された角度との差がツマミ２２の目印の角度変化量である。表示部８０は、位置変化量算出部９８が算出した角度変化量を示す画像を表示する。

ステップＳ１３２にて、通信制御部７８は、シーケンサ１４から所定の信号を受信する。シーケンサ１４は、この信号を送信するまでに、ツマミ２２を操作するよう図示しない操作装置を制御している。通信制御部７８がその信号を受信すると、識別判定部７６は差分画像データ生成部９２に対して所定の信号を送信する。差分画像データ生成部９２がその信号を受信すると、差分画像データ生成部９２は、記憶部７２に記憶されていた１枚目画像データを読み出す。

ステップＳ１３４にて、画像取得部７０は、カメラ５０から画像データを取得する。表示部８０は、画像取得部７０が取得した画像データに基づき、その画像データが示す画像を表示する。

ステップＳ１３６にて、加工部９０は、ステップＳ１３４にて取得された画像データに基づき画像トリミングを行う。本ステップにて画像トリミングにより新たに生成された画像データは記憶部７２が記憶する。この画像データが示す画像のサイズは、基本画像データが示す画像のサイズと同一である。

ステップＳ１３８にて、加工部９０は、ステップＳ１３６にて生成された画像データに基づき、グレースケール変換を実施する。

ステップＳ１４０にて、差分画像データ生成部９２は、１枚目画像データとステップＳ１３８にて生成された画像データとに基づき、差分処理を行う。

ステップＳ１４２にて、総和算出部９４は、ステップＳ１４０にて生成された差分画像データに基づき、座標軸それぞれについて座標軸からの距離が同一である画素の集合ごとの積の総和を算出する。次に、座標値特定部９６は、Ｘ軸からの距離に対応づけられたそれらの総和の中からその最大値を特定する。座標値特定部９６は、Ｙ軸からの距離に対応づけられたそれらの総和の中からその最大値を特定する。次に、座標値特定部９６は、Ｘ軸からの距離に対応づけられたそれらの総和の中からその最小値を特定する。座標値特定部９６は、Ｙ軸からの距離に対応づけられたそれらの総和の中からその最小値を特定する。

ステップＳ１４４にて、位置変化量算出部９８は、次に述べられる３つの座標に基づいて、ツマミ２２の目印の角度変化量を算出する。１つめの座標は、１枚目画像データが示す画像とステップＳ１４２にて生成された画像データが示す画像との間で最も明度の差が大きい座標である。本ステップでは、この座標を「最大明度座標」と称する。２つめの座標は、ステップＳ１３０に言う回転中心座標である。３つめの座標は、１枚目画像データが示す画像とステップＳ１４２にて生成された画像データが示す画像との間で最も明度の差が小さい座標である。本ステップでは、この座標を「最小明度座標」と称する。ツマミ２２の目印の角度変化量の算出手順はステップＳ１３０と同様である。表示部８０は、位置変化量算出部９８が算出した角度変化量を示す画像を表示する。

ステップＳ１４６にて、位置変化量算出部９８は、ステップＳ１４４にて算出されたツマミ２２の目印の角度変化量に基づき、ツマミ２２の目印の位置を判定する。表示部８０は、位置変化量算出部９８が判定したツマミ２２の目印の位置を示す画像を表示する。

ステップＳ１４８にて、通信制御部７８は、シーケンサ１４から所定の信号を受信する。通信制御部７８がその信号を受信すると、識別判定部７６は差分画像データ生成部９２に対して所定の信号を送信する。差分画像データ生成部９２がその信号を受信すると、差分画像データ生成部９２は、ツマミ２２の目印の位置変化検出処理を終了するか否か判断する。終了すると判断した場合（ステップＳ１４８にてＹＥＳ）、処理は終了する。そうでない場合（ステップＳ１４８にてＮＯ）、処理はステップＳ１３２へ移される。

［効果の説明］
本実施形態にかかる位置変化検出装置１６は、２枚の画像の間で最も明度の差が大きい座標とその差が最も小さい座標とに基づいて、ツマミ２２の目印の角度変化量を算出する。そのような算出は、差分画像データに含まれる色特性数の差それぞれに対する乗算と加算とにより可能である。差分画像データは、所定の画像データとそれ以外のいずれかの画像データとの対から複数の画素それぞれについて同一座標の画素の色特性数の差を算出することにより生成できる。色特性数の差の算出とその差それぞれに対する乗算と加算とにより移動した目印の位置を特定できるので、その特定のための情報処理を簡素化できる。その結果、目印を有するものの位置変化の検出を簡素化できる。

今回開示された実施形態はすべての点で例示である。本発明の範囲は上述した実施形態に基づいて制限されるものではない。もちろん、本発明の趣旨を逸脱しない範囲で種々の設計変更をしてもよい。

例えば、差分画像データに含まれる値は、明度の差を示す数値に限定されない。明度の差を示す数値に代えて、画素が示す色の特性を定量的に示す他の数が含まれていてもよい。ただし、彩度など、色の属性を定量的に示す値であることが望ましい。

また、総和算出部９４は、差分画像データが含む明度の差を示す数値それぞれに対して乗算される値は「１」に限定されない。この値は座標軸と座標とに応じ適宜定め得る。これにより、画像内の任意の領域について位置変化検出の感度を任意に設定できる。

本発明にかかる位置変化検出装置は、上述された自動検査システムの一部でなくてもよい。上述された自動検査システムとは異なるシステムに組み込まれてもよいし、単独で使用されてもよい。また、検出の対象となるものはツマミ２２の目印に限られない。

また、画像処理部７４は加工部９０を有していなくてもよい。この場合、画像トリミングもグレースケール変換もされていない画像データに基づいて目印を有するものの位置変化が検出されることとなる。

また、位置変化量を示す情報を出力するための具体的な手段は上述した表示部８０に限定されない。例えば、そのような手段は、位置変化量を示す情報を周知の通信装置へ送信する情報送信部であってもよい。

１０…画像取得装置、
１２…走行レール、
１４…シーケンサ、
１６…位置変化検出装置、
２０…検体、
２２…ツマミ、
３０…ＣＰＵ、
３２…メモリ、
３４…固定ディスク、
３６…入力装置、
３８…表示装置、
４０…通信Ｉ／Ｏ、
４２…コネクタ、
４４…画像Ｉ／Ｏ、
５０…カメラ、
５２…昇降装置、
５４…支柱、
５６…走行装置、
７０…画像取得部、
７２…記憶部、
７４…画像処理部、
７６…識別判定部、
７８…通信制御部、
８０…表示部、
９０…加工部、
９２…差分画像データ生成部、
９４…総和算出部、
９６…座標値特定部、
９８…位置変化量算出部、

Claims

生成時期が互いに異なり共通する座標系に基づいて画像を表す少なくとも３種類の画像データを取得する画像取得部と、
前記少なくとも３種類の画像データ及び前記少なくとも３種類の画像データそれぞれに対して所定の規則に従って加工が施された画像データの少なくとも一方を記憶する記憶部と、
前記記憶部が記憶した前記画像データに基づいて所定の要件を満たす画素の位置変化量を算出する画像処理部と、
前記画像処理部が算出した前記位置変化量を示す情報を出力する出力部とを備える位置変化検出装置であって、
前記記憶部が記憶した前記画像データが、複数の画素それぞれの特性を定量的に示す色特性数及び前記複数の画素それぞれの座標を示す情報をそれぞれ含み、
前記画像処理部が、
前記少なくとも３種類の画像データのうち所定の画像データと前記所定の画像データ以外のいずれかの画像データとの対から、前記複数の画素それぞれについての前記対の間の同一座標の画素の前記色特性数の差及び前記複数の画素それぞれの座標を示す情報を含む差分画像データを生成する差分画像データ生成部と、
前記差分画像データが含む前記色特性数の差それぞれに対して座標軸と座標とに応じ予め定められている所定の数値を乗じることにより１個の前記色特性数の差から前記座標軸の数と同じ個数の積を求め、かつ、前記座標軸それぞれについて前記座標軸からの距離が同一である前記画素の集合ごとの前記積の総和を算出する総和算出部と、
前記画素の集合ごとの前記積の総和の最大値及び最小値の少なくとも一方を前記座標軸それぞれについて特定することにより、前記積が最大の前記画素の座標値及び前記積が最小の前記画素の座標値の少なくとも一方を前記座標軸ごとに特定する座標値特定部と、
前記所定の画像データを前記対の一方として生成された前記差分画像データから前記座標値特定部が特定した座標値と予め定められた座標とに基づいて、前記予め定められた座標を中心座標とする場合の、前記積が最大となる前記画素及び前記積が最小となる前記画素の少なくとも一方の、角度変化量を算出する位置変化量算出部とを有することを特徴とする位置変化検出装置。
前記色特性数が、色の属性を定量的に示す値であることを特徴とする請求項１に記載の位置変化検出装置。
前記色の属性を定量的に示す値が、前記色の明度を示す値の関数であることを特徴とする請求項２に記載の位置変化検出装置。