JP7136152B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。

従来、コンベアチェーン等の移動する物体を撮像し、画像解析により当該物体の不具合や異常を検出する技術が知られている。この種の技術を開示するものとして例えば特許文献１がある。

特許文献１には、走行するコンベアチェーンを撮像するタイミングを制御し、内リンクと外リンクを接続するピンの位置が定位置に来る画像を逐次取得し、当該画像を解析してチェーンの形状変化を検出する技術が開示されている。

特開２００６－３１７３５９号公報

画像解析の技術を利用すれば、人がノギス等の工具を使用してチェーンの結合部分の形状変化を計測することなく、チェーンの経年劣化や不具合を検出することができ、時間やコストを削減できる。しかしながら、画像解析では、ピンの個体差やチェーンに塗布される潤滑剤に付着する塵やゴミが検出精度低下の原因になる。検出精度の向上という点で従来技術には改善の余地があった。

本発明は、複数の被写体が所定の方向に配列された物体における被写体間の距離を精度良く計測できるようにすることを目的とする。

本発明の一態様の画像処理装置は、個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得手段と、前記画像取得手段によって取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成する生成手段と、予め記憶手段に記憶されているテンプレート画像と前記生成手段により生成された情報画像の類似度が所定の基準を満たすか否かを被写体毎に判別する判別手段と、前記判別手段により前記テンプレート画像との類似度が所定の基準を満たすと判別された情報画像に対応する被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御手段と、を備えることを特徴とする。
また、本発明の一態様の画像処理方法は、個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得ステップと、前記画像取得ステップによって取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成する生成ステップと、予め記憶手段に記憶されているテンプレート画像と前記生成ステップにより生成された情報画像の類似度が所定の基準を満たすか否かを被写体毎に判別する判別ステップと、前記判別ステップにより前記テンプレート画像との類似度が所定の基準を満たすと判別された情報画像に対応する被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御ステップと、を含むことを特徴とする。
また、本発明の一態様のプログラムは、コンピュータを、個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得手段、前記画像取得手段によって取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成する生成手段、予め記憶手段に記憶されているテンプレート画像と前記生成手段により生成された情報画像の類似度が所定の基準を満たすか否かを被写体毎に判別する判別手段、前記判別手段により前記テンプレート画像との類似度が所定の基準を満たすと判別された情報画像に対応する被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御手段、として機能させることを特徴とする。

本発明によれば、複数の被写体が所定の方向に配列された物体における被写体間の距離を精度良く計測できる。

本発明の一実施形態に係る画像処理装置を含む画像処理システムの構成を示すシステム構成図である。 本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置の機能的構成のうち、画像処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置のテンプレート画像データ作成処理の流れを示すフローチャートである。 本発明の一実施形態に係る画像処理装置のテンプレート画像データ蓄積処理の流れを示すフローチャートである。 本発明の一実施形態に係る画像処理装置１のテンプレート画像蓄積処理におけるマッチング処理を説明する模式図である。 本発明の一実施形態に係る画像処理装置のターゲット画像の選別処理を説明する模式図である。 本発明の一実施形態に係る画像処理装置のピン間計測処理の流れを示すフローチャートである。 本発明の一実施形態に係る画像処理装置のピン間距離の計測処理を説明する模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る画像処理装置１を含む画像処理システムＳの構成を示すシステム構成図である。図１に示す画像処理システムＳは、コンベアチェーン２１の異常を画像解析により検出する。

［計測対象］
まず、計測対象となるコンベアチェーン２１について説明する。コンベアチェーン２１は、コンベア装置のスプロケット（図示省略）に懸架される無端状部材である。コンベアチェーン２１は、スプロケット等の伝達手段を介してチェーン駆動部２２の駆動力が伝達され、所定の速度で所定のルートを周回移動する。なお、コンベアチェーン２１は、移動させる対象の用途に適応して移動速度を段階的に切り替えることができるように構成されている。

本実施形態のコンベアチェーン２１は、一対の外リンク２３が内リンク２４を両側から挟み込んだ状態でピン２５により結合されて構成される。なお、図１中の破線の円弧は、内リンク２４の外形の一部を示している。

ピン２５は、外リンク２３と内リンク２４の結合部分毎に設けられており、本実施形態の画像処理装置１によって個別に特定される計測対象である。ピン２５は、コンベアチェーン２１の移動方向に並んでいる。なお、移動方向は図１の矢印の方向である。

コンベアチェーン２１が有するピン２５の数をｎ個とする。上述の通り、コンベアチェーン２１は無端状部材であるため、ｎ個目のピン２５－ｎの次は１番目のピン２５－１となる。本実施形態では、後述する画像処理の際に１番目のピン２５－１を認識させるために、当該ピン２５－１にマーキング２６が施されている。マーキング２６は、周回するコンベアチェーン２１の始端位置を特定するために便宜的に設けられる目印である。マーキング２６は、例えば、１番目のピン２５－１又は当該ピン２５－１が連結する外リンク２３や内リンク２４等に付される。マーキング２６は、色、模様、形状、又はこれらの組み合わせ等により、画像処理で１番目のピン２５－１であるか否かを識別できるように構成される。例えば、点検者による色付けによってマーキング２６がコンベアチェーン２１に施される。

以下の説明において、ピン２５を区別して説明する必要がある場合には、便宜的に１番目をピン２５－１とし、以降順番にピン２５－２、ピン２５－３、ピン２５－４、ピン２５－５、ピン２５－６、ピン２５－７・・・ピン２５－ｎとする。また、一番目のピン２５－１の中心と２番目のピン２５－２の中心とを結ぶ直線の距離をピン間距離Ｌ１とし、以降順番にピン間距離Ｌ２、ピン間距離Ｌ３・・・ピン間距離Ｌｎ－1とする。

［システム構成］
本実施形態の画像処理システムＳの全体構成について説明する。画像処理システムＳは、撮像部１６と、照明部１７と、画像処理装置１と、を備える。

撮像部１６は、周回するコンベアチェーン２１を一定のフレームレートで動画撮影し、画像解析のための映像を取得する撮像手段である。撮像部１６の撮像位置は、コンベアチェーン２１の構成や点検作業の作業性を考慮して適宜設定される。

本実施形態の撮像部１６は、光学レンズ部１６１と、イメージセンサ１６２と、を主要な構成として備える。光学レンズ部１６１は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。イメージセンサ１６２はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。画像処理装置１は、撮像部１６から出力される信号からフレーム（画像）を生成する。撮像部１６から出力される信号を、以下、「フレーム」と呼ぶ。フレームデータは、画像処理装置１に適宜供給される。

照明部１７は、撮像部１６の被写体であるコンベアチェーン２１を照明する照明手段である。照明部１７が、照度や色成分を調整してコンベアチェーン２１を照らすことにより、撮像部１６の撮像環境を一定のものにすることができる。照明部１７の照度は、外光以上であることが好ましい。照明部１７の照度を外光以上の支配的な光とすることで、後述する画像解析による異常検出をより正確なものとすることができる。

画像処理装置１は、撮像部１６から出力されるフレームデータに基づいて画像解析処理を行ってコンベアチェーン２１の異常を検出する。画像処理装置１が検出した情報は、外部機器５に送信可能となっている。

［ハードウェア構成］
本実施形態の画像処理装置１のハードウェア構成について説明する。図２は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。

画像処理装置１は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等で構成されるプログラムメモリ１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されるワークメモリ１３と、バス１４と、入出力インタフェース１５と、通信部１８と、入力部１９と、出力部２０と、記憶部３０と、を備える。

ＣＰＵ１１は、プログラムメモリ１２に記録されているプログラム、又は、プログラムメモリ１２からワークメモリ１３にロードされたプログラムに従って各種の処理を実行する。ワークメモリ１３には、ＣＰＵ１１が画像処理を含む各種の処理を実行する上において必要なデータ等も適宜記憶される。入出力インタフェース１５には、通信部１８、入力部１９が接続されている。また、入出力インタフェース１５には、撮像部１６及び照明部１７が有線又は無線により接続されている。

通信部１８は、インターネットを含むネットワークを介して外部機器５や他の装置（図示せず）との間で行う。通信部１８は、有線又は無線のインタフェースを介して外部機器５と通信し、撮像したフレームデータや検出結果を外部機器５に送信する。

入力部１９は、各種釦等で構成され、ユーザの指示操作を受け付け、受け付けた指示操作に応じて各種情報を入力する。出力部２０は、画像を表示するディスプレイや音声を拡声するスピーカ等を含む。尚、入力部１９にタッチパネルが含まれる場合は入力部１９と出力部２０とを一体にしてもよい。

記憶部３０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。記憶部３０には、画像処理に関する各種のデータや、検出結果を示す情報等が格納される。

［機能的構成］
図３は、本発明の一実施形態に係る画像処理装置１の機能的構成のうち、画像処理を実行するための機能的構成を示す機能ブロック図である。図３に示すように、制御部としてのＣＰＵ１１において、画像処理を実行する部分として、画像取得部３１と、記憶制御部３２と、特定部３３と、出力制御部３４と、判定部３５と、が機能する。

画像取得部３１は、撮像部１６から出力されるコンベアチェーン２１を被写体として含むフレームデータ（撮像画像）を連続的に取得する。詳細には５フレームのフレームデータを１単位としたピンを含むフレームデータを取得するようにフレームレート（画像取得タイミング）を制御する。

また、画像取得部３１は、画像解析により、マーキング２６が施されたピン２５－１を、それ以外のピン２５－２～２５－ｎと区別し、ピン２５－１を便宜的に先頭位置として周回するコンベアチェーン２１の撮影画像を取得する。例えば、ピン２５－１が認識されてから再び認識されるまでを１周とし、２周分の動画を取得する。

記憶制御部３２は、コンベアチェーン２１を構成する複数のピン２５（ピン２５－１～２５－ｎ）の夫々を区別して記憶部３０に記憶する処理を実行する。そして、記憶制御部３２は、複数のピン２５（ピン２５－１～２５－ｎ）の夫々に対し、マッチング処理を行うためのテンプレート画像（情報画像）データを対応付けて記憶部３０に記憶させる処理を実行する更に、記憶制御部３２は、ピン間距離Ｌ（ピン間距離Ｌ１～Ｌｎ－１）についても、複数のピン２５（ピン２５－１～２５－ｎ）の位置関係とともに記憶部３０に記憶する処理を実行する。

なお、記憶部３０に記憶されるテンプレート画像データとは、ピン２５を画像の中心を基準として切り出された矩形領域の画像データに対してＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴を計算した結果を示す画像データである。ＬＢＰ特徴は、中心画素値と周辺画素値とを比較することにより得られる特徴である。

特定部３３は、記憶部３０に記憶されているテンプレート画像データから抽出される特徴量と、撮像されて新たに取得されるフレームデータから抽出される特徴量と、を照合して類似度を取得する処理、すなわち、マッチング処理を実行する。上述の通り、本実施形態では、複数のピン２５－１～２５－ｎの夫々のテンプレート画像データが記憶部３０に記憶されているので、ピン２５－１～２５－ｎ毎にマッチング処理に用いられるテンプレート画像データは一つ一つが固有の特徴量を有することになる。

出力制御部３４は、特定部３３によって特定された計測対象となるピン間距離Ｌを算出する。そして、記憶部３０に記憶される過去に取得されたピン間距離Ｌと比較し、比較結果を出力する。比較結果は、例えば、前回の測定時からの伸び量として出力される。なお、出力制御部３４によるピン間距離の算出には、フレーム数、フレームレート及びフレームデータ中のピン２５とピン２５の間の距離等を利用することができる。

判定部３５は、連続撮像した画像に対してピン２５を特定する特定処理を実行するか否かを判定する。判定部３５の使用する画像か否かを判定する基準については後述する。

次に、本実施形態の画像処理装置１による画像処理についてフローチャートを参照しながら説明する。なお、以下の説明において、各ステップは、ＣＰＵ１１がプログラムメモリ１２に記憶された制御プログラムをワークメモリ１３上にロードして実行することで実現される。

［テンプレート画像データ作成処理］
まず、テンプレート画像データの作成処理について説明する。図４は、本発明の一実施形態に係る画像処理装置１のテンプレート画像データ作成処理の流れを示すフローチャートである。

まず、画像取得部３１により、ピン２５の位置がフレーム（画像）の中心にあるフレームデータが取得される（ステップＳ１）。本実施形態では、後述するマッチング処理の精度を向上させるため、取得タイミングが夫々異なる、ピンの位置がフレームの中心にあるフレームデータが２つ取得される。

次に取得したフレームデータから、特定部３３がピン２５の位置が中心にある画像領域のデータを抽出するトリミング処理を実行する（ステップＳ２）。このトリミング処理では、ピン２５の位置がそのフレームの中心となる矩形の画像領域のデータが切り取られる。以下トリミング処理された画像領域のデータをトリミング画像データとして説明する。

次に、特定部３３が取得された２枚のトリミング画像データの夫々に対してＬＢＰ計算処理が実行される。

次に、記憶制御部３２が、ＬＢＰ計算処理が実行された結果としてのテンプレート画像（情報画像）データを記憶部３０に記憶する（ステップＳ４）。本実施形態の場合、２枚のテンプレート画像データが記憶部３０に記憶される。

［動画撮影された複数のピンのテンプレート画像データの蓄積処理］
次に図４の処理の後に実行される、複数のピン２５－１～２５－ｎのテンプレート画像データの蓄積処理について説明する。図５は、本発明の一実施形態に係る画像処理装置のテンプレート画像データ蓄積処理の流れを示すフローチャートである。図６は、本発明の一実施形態に係る画像処理装置１のテンプレート画像蓄積処理におけるマッチング処理を説明する模式図である。図６で例示する計測対象のピン２５は、１番目のピン２５－１である。

処理が開始されると、画像取得部３１がコンベアチェーン２１におけるピン２５を含むフレームデータを取得する（ステップＳ１１）。この処理では特定の番号のピン２５を含むフレームデータが取得される。例えば、マーキング２６が施されているピン２５が最初に取得するべき対象に設定されている場合は、そのピンを含むフレームデータが取得される。

次に、特定部３３は、ピン２５を含むフレームデータからピン２５の位置が中心となる画像領域のデータを抽出するようトリミング処理し（ステップＳ１２）、当該トリミング処理された画像領域のデータに対しＬＢＰ計算処理を実行して図６に例示する対象画像６３を生成する（ステップＳ１３）。

次に、特定部３３は、対象画像６３に対して図４の処理で取得したテンプレート画像を記憶部３０から読み出し、類似度を取得する処理、すなわち、マッチング処理を実行する（ステップＳ１４）。図６の場合、テンプレート画像６１のピン２５ａとテンプレート画像６１のピン２５ｂとは異なるピン２５である。マッチング処理では、テンプレート画像６１から抽出される特徴量と対象画像６３から抽出される特徴量との比較が行われてピン２５ａとピン２５－１の類似度が取得される。同様に、テンプレート画像６１から抽出される特徴量と対象画像６３から抽出される特徴量との比較が行われてピン２５ｂとピン２５－１の類似度が取得される。

次に、特定部３３は、マッチング処理の結果に基づいて、今回トリミング処理された画像領域に含まれるピンが、記憶部３０に記憶されたその位置のテンプレート画像データで示されるピンと同じか否かを判定する（ステップＳ１５）。この判定処理では、類似度が予め設定される基準値以上の場合にＹｅｓと判定されて処理がステップＳ１６に進み、類似度が基準値を下回っている場合にＮｏと判定されて処理がステップＳ１９に進む。

本実施形態では、１個の計測対象について２回のマッチング処理が行われることになる。ピン２５の検出を厳密に判断する場合は、ピン２５ａとピン２５－１の類似度及びピン２５ｂとピン２５－１の類似度の両方が基準値を上回る場合にＹｅｓと判定されるように判定基準を設定することができる。

今回トリミング処理された画像領域に含まれるピンが記憶部３０に記憶されたその位置のテンプレート画像データで示されるピンと同じと判定された場合（ステップＳ１５；Ｙｅｓ）、特定部３３は、図６に示すように、対象画像６３に対してピン２５－１及びその近傍を予め設定される領域をトリミング処理してテンプレート画像６４に対応するテンプレート画像データを生成する（ステップＳ１６）。そして、記憶制御部３２が、ピンの番号に対応付けてそのテンプレート画像データを記憶部３０に記憶・蓄積する処理を実行する（ステップＳ１７）。

次に、特定部３３は、記憶部３０を参照し、全てのピン２５－１～２５－ｎのテンプレート画像データの蓄積が完了したか否かを判定する（ステップＳ１８）。全てのテンプレートの画像データの蓄積が完了したと判定した場合はＹｅｓと判定され、本処理は完了する。

また、今回トリミング処理された画像領域に含まれるピンが、記憶部３０に記憶されたその位置のテンプレート画像データで示されるピンと同じでないと判定された場合（ステップＳ１５；Ｎｏ）又は全てのピンについてテンプレート画像データの蓄積が完了していないと判定された場合（ステップＳ１８；Ｎｏ）は、次に取得するべき順番のピンが特定され、処理はステップＳ１１に戻る（ステップＳ１９）。例えば、ピン２５－１に対してマッチング処理が行われた場合は、次の位置にあるピン２５－２が特定される。なお、一周目で全てのピンについてテンプレート画像データが蓄積されず欠落したピンがある場合は次の周、つまり二周目を動画撮影した時にそのピンについてテンプレート画像データの蓄積が行われることになる。

以上説明した一連の処理により、コンベアチェーン２１の全てのピン２５のテンプレート画像データが記憶部３０に蓄積されることになる。蓄積されたテンプレート画像データは、コンベアチェーン２１の形状の変化を検出するための処理に用いられる。

なお、テンプレート画像データは、コンベアチェーン２１に付着した潤滑剤や埃、または、経年劣化による錆の等、ピン表面が変化することを考慮すると、１つのピンに対して複数取得することが好ましい。

［ターゲット画像の選別処理］
次に、判定部３５が実行する、ピン間距離の変化を検出するときに用いられるターゲット画像７０（情報画像）の選別処理について説明する。図７は、本発明の一実施形態に係る画像処理装置のターゲット画像７０の選別処理を説明する模式図である。

図７に示される一連のターゲット画像７０は、ピン間距離を取得するために、２本のピン２５を含む画像を取得することを目的として撮像部１６により順次撮像され取得されたフレーム（画像）である。図７において、紙面上側のターゲット画像７０が最も過去のものであり、紙面下側に進むにつれて新しいターゲット画像７０である。フレームには左側に設定される検出枠７１ａと右側に設定される検出枠７１ｂが夫々設定され、判定部３５は、フレームにおける２本のピン２５の画像がこれらの検出枠７１ａ、７１ｂで検出できたか否かを判定することで、２本のピン２５の画像がターゲット画像７０中に入っているか否かが判定される。

図７において、グループＡに含まれるターゲット画像７０は、何れも検出枠７１ａ内にピン２５－１の画像が収まるとともに、検出枠７１ｂ内にピン２５－２の画像が収まっている状態である。即ち、２本のピン２５－１、２５－２の画像が１枚のターゲット画像７０に含まれており、マッチング処理やピン間距離の計測に用いることができるフレームである。従って、判定部３５は、グループＡに含まれるターゲット画像７０がマッチング処理やピン間距離Ｌを測定するために使用できる画像と判定する。

一方、グループＢに含まれるターゲット画像７０は、検出枠７１ａにピン２５－１の画像が存在しない状態となっている。したがって、判定部３５は、グループＢに含まれるターゲット画像７０は、マッチング処理やピン間距離を測定するために使用できない画像と判定する。なお、検出枠７１ａは、ピン２５－１の画像を検出できなくなると次のピン２５－２の画像を検出するために予め設定された位置に移動する。また、検出枠７１ｂは、グループＢの最新のターゲット画像７０に示されるように、所定の基準位置（例えば、中央付近）まで左側に移動する。

グループＣに含まれるターゲット画像７０は、更に時間が経過することにより、何れも検出枠７１ａ内にピン２５－２の画像が収まるとともに、検出枠７１ｂ内にピン２５－３の画像が収まっている状態である。即ち、２本のピン２５－２、２５－３の画像が１枚のターゲット画像７０に含まれており、ピン間距離の計測に用いることができるフレームである。従って、判定部３５は、グループＣに含まれるターゲット画像７０がマッチング処理やピン間距離Ｌを測定するために使用できる画像と判定する。

判定部３５がターゲット画像７０に２本のピン２５が含まれると判定すると、記憶制御部３２がこのターゲット画像に対応する画像データを記憶部３０に記憶する。また、記憶制御部３２は、予め設定される基準値に基づいて検出対象とするピンの画像が切り替わったか否かを判定し、ターゲット画像７０の画像データに対応させて、このターゲット画像７０に含まれるピン２５が１番目からＮ番目の何れの組なのかを特定する情報を記憶部３０に記憶する。具体的にはフレーム単位（コマ）でＯＫ１０回続いた後（グループＡ）にＮＧが４回続き（グループＢ）、再びＯＫが４回以上続いた場合に、計測対象が次のピン２５に入れ替わったと判定する。

［ピン間計測処理］
次に、本実施形態の画像処理装置１によるピン間距離の測定処理について説明する。図８は、本発明の一実施形態に係る画像処理装置１のピン間計測処理の流れを示すフローチャートである。図９は、本発明の一実施形態に係る画像処理装置１のピン間距離Ｌの計測処理を説明する模式図である。以下の説明において、ターゲット画像７０に含まれる２本のピン２５が、１番目のピン２５－１と２番目のピン２５－２である場合を例として説明する。

まず、画像取得部３１が、撮像部１６によるコンベアチェーン２１の動画撮影を開始し、撮影された動画に含まれる各フレームを解析し２本のピン２５を含むターゲット画像７０を取得する（ステップＳ３１）。ターゲット画像７０は、２本のピン２５を含む範囲をトリミング処理したものであってもよい。ターゲット画像７０の取得処理では、ターゲット画像７０中のピン２５の番号（１～Ｎ）も取得される。

次に、特定部３３がターゲット画像７０に対して前処理としてＬＢＰ計算処理を実行する（ステップＳ３２）。次に、図９に示すように、特定部３３は、ターゲット画像７０の左側に位置するピン２５－１と当該ピン２５－１に対応するテンプレート画像６４－１中のピン２５－１との類似度を取得するマッチング処理を実行する（ステップＳ３３）。同様に、特定部３３は、ターゲット画像７０の右側に位置するピン２５－２と当該ピン２５－２に対応するテンプレート画像６４－２中のピン２５－２との類似度を取得するマッチング処理を実行する（ステップＳ３３）。

なお、１つのピン２５に対してテンプレート画像６４が複数存在する場合は、複数のテンプレート画像６４の夫々と対象のピン２５との間で複数回マッチング処理を行ってもよい。

特定部３３は、ターゲット画像７０の左側のピン２５－１と右側のピン２５－２に行ったマッチング処理の結果、ピン２５－１、２５－２の検出が成功したか否かを判定する（ステップＳ３５）。

左側のピン２５－１と右側のピン２５－２の両方が適正に検出された場合、処理はステップＳ３６に進む（ステップＳ３５；Ｙｅｓ）。一方、左側のピン２５－１と右側のピン２５－２の少なくとも何れか一方が検出されなかった場合、処理はステップＳ３９に進む（ステップＳ３５；Ｎｏ）。

ステップＳ３６では、特定部３３によるピン間距離Ｌが算出される（ステップＳ３６）。次に、特定部３３は、ピン間距離Ｌが基準距離の誤差範囲内か否かを判定する（ステップＳ３７）。算出されたピン間距離Ｌが基準距離の誤差範囲から外れている場合、また、ステップＳ３５で出力制御部３４が出力する類似度が基準値未満である場合はステップＳ３９へ移行する。

ピン間距離Ｌが予め設定された基準距離の誤差範囲内であると判定された場合（ステップＳ３７；Ｙｅｓ）、記憶制御部３２が、ステップＳ３８で算出されたピン間距離Ｌをピン２５－１とピン２５－２のピン間距離Ｌ１として記憶部３０に記憶する処理を実行する（ステップＳ３８）。ピン間距離Ｌが基準距離の誤差範囲内でないと判定された場合（ステップＳ３７；Ｎｏ）、処理はステップＳ３８を経ることなく、ステップＳ３９に進む。

ステップＳ３９では、特定部３３が、次のピン間を特定する（ステップＳ３９）。図９の例では、ピン２５－２とピン２５－３の間のピン間距離Ｌ２が計測対象のピン間距離として特定される。ステップＳ３９の後、処理はステップＳ３１にリターンし、ステップＳ３１以降の処理が次の計測対象のピン間に実行される。

以上、一連の処理により、全てのピン２５－１～２５－２に対するピン間距離Ｌ１～Ｌｎ－１が取得される。なお、テンプレート画像６４は、適宜のタイミングで更新される。

［ピン間距離の比較処理］
本実施形態の出力制御部３４は、取得されたピン間距離Ｌ１～Ｌｎ－１と予め設定された上述の基準距離と比較して比較結果を出力する。より具体的には、記憶部３０には、予め設定されている基準距離を記憶されており、出力制御部３４は取得したピン間距離Ｌ１～Ｌｎ－１の夫々に対し、基準距離から所定距離以上伸びたか否かを判定し、所定距離以上伸びたと判定した場合はコンベアチェーン２１に伸びが発生していることを示す比較結果を出力部２０又は外部機器５に送信する。この際、伸びが発生している場所を特定して表示することもできる。

本実施形態の画像処理装置１による効果について説明する。
本実施形態の画像処理装置１は、個別に特定が可能な複数のピン２５－１～２５－ｎ（被写体）が所定の方向に配列されたコンベアチェーン２１（物体）の、少なくとも２つのピン２５(例えば、ピン２５－１、２５－２)が含まれる画像を取得する画像取得部３１(画像取得手段)と、画像取得部３１によって取得された画像に含まれるピン２５について、そのピン２５の特徴量を含む情報画像（例えば、ターゲット画像７０）を夫々生成し、予め記憶部３０（記憶手段）に記憶されている情報画像（例えば、テンプレート画像６４－１、６４－２）と照合することによりピン２５（例えば、ピン２５－１、２５－２）を夫々特定する特定部３３（特定手段）と、特定部３３によって夫々特定された被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御部３４（出力制御手段）と、を備える。

これにより、複数のピン２５－１～２５－ｎが所定の方向に配列されたコンベアチェーン２１における各ピン２５間の距離を精度良く計測できる画像処理装置１を実現できる。

また、本実施形態の画像処理装置１は、特定部３３は、生成された情報画像における特徴量と予め記憶部３０に記憶されている情報画像の特徴量とを照合することにより、取得された画像におけるピン２５と記憶されている情報画像の特徴量で特定されるピン２５との類似度を取得し、複数のピン２５－１～２５－ｎを夫々特定する。

これにより、類似度を基準としてピン２５－１～２５－ｎが特定できたか否かを判定できるので、類似度が基準より低く誤検出の可能性がある状態でピン間距離が計測される事態の発生を抑制でき、検出精度をより向上させることができる。

また、本実施形態の画像処理装置１は、特定部３３によって生成された情報画像をピン２５に対応する新たな情報画像として記憶部３０に記憶させるよう制御する(記憶制御部３２）記憶制御手段を更に備える。

これにより、特定するときの基準となる情報画像（例えば、テンプレート画像６４）を新しく取得された画像に基づいて更新できるので、実際のピン２５の状況に合わせて検出精度をより向上させることができる。

また、本実施形態の画像処理装置１は、特定部３３は、画像取得部３１によって取得された画像からピン２５を検出し、検出されたピン２５を含む所定の範囲の画像領域を切り出してテンプレート画像６４やテンプレート画像６１、６２を生成する。

これにより、ピン２５を特定するために必要な領域のみをテンプレート画像６４とすることができるので、画像処理の効率をより一層向上させることができる。

また、上述の通り、本実施形態の物体は、コンベアチェーン２１であるとともに、被写体はコンベアチェーン２１のピン２５である。

これにより、移動するコンベアチェーン２１のピン２５とピン２５との間のピン間距離Ｌを精度よく測定することができ、画像解析によりピン２５間の伸び状態等を正確に評価できる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、スマートフォン、タブレット等の各種電子装置に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。

また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。

コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のプログラムメモリ１２や、図示しないハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成し、予め記憶手段に記憶されている情報画像と照合することにより前記被写体を夫々特定する特定手段と、
前記特定手段によって夫々特定された被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記特定手段は、生成された情報画像における特徴量と予め記憶手段に記憶されている情報画像の特徴量とを照合することにより、前記取得された画像における被写体と前記記憶されている情報画像の特徴量で特定される被写体との類似度を取得し、前記複数の被写体を夫々特定することを特徴とする付記１記載の画像処理装置。
［付記３］
前記特定手段によって生成された情報画像を前記被写体に対応する新たな情報画像として前記記憶手段に記憶させるよう制御する記憶制御手段を更に備えることを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記特定手段は、前記画像取得手段によって取得された画像から前記被写体を検出し、検出された被写体を含む所定の範囲の画像領域を切り出して前記情報画像を生成することを特徴とする付記１乃至３のいずれかに記載の画像処理装置。
［付記５］
前記物体はチェーンであるとともに、前記被写体は前記チェーンのピンであることを特徴とする付記１乃至４の何れかに記載の画像処理装置。
［付記６］
個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得ステップと、
前記画像取得ステップにて取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成し、予め記憶手段に記憶されている情報画像と照合することにより前記被写体を夫々特定する特定ステップと、
前記特定ステップにて夫々特定された被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
コンピュータを、
個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得手段、
前記画像取得手段によって取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成し、予め記憶手段に記憶されている情報画像と照合することにより前記被写体を夫々特定する特定手段、
前記特定手段によって夫々特定された被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御手段、
として機能させることを特徴とするプログラム。

１ 画像処理装置
１６ 撮像部
２１ コンベアチェーン（物体）
２５ ピン（被写体）
３０ 記憶部（記憶手段）
３１ 画像取得部（画像取得手段）
３２ 記憶制御部（記憶制御手段）
３３ 特定部（特定手段）
３４ 出力制御部（出力制御手段）
３５ 判定部（判定手段）

Claims (8)

1. 個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成する生成手段と、
   予め記憶手段に記憶されているテンプレート画像と前記生成手段により生成された情報画像の類似度が所定の基準を満たすか否かを被写体毎に判別する判別手段と、
   前記判別手段により前記テンプレート画像との類似度が所定の基準を満たすと判別された情報画像に対応する被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段によって生成された情報画像を前記被写体に対応する新たなテンプレート画像として前記記憶手段に記憶させるよう制御する記憶制御手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記画像取得手段によって取得された画像から前記被写体を検出し、検出された被写体を含む所定の範囲の画像領域を切り出して前記情報画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記物体はチェーンであるとともに、前記被写体は前記チェーンのピンであることを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記画像取得手段は、前記被写体に対応付けて設けられたマーキングの画像を取得し、
   前記マーキングに基づいて前記画像に含まれる被写体を識別する識別手段を更に備え、
   前記判別手段は、前記識別手段により識別された被写体と対応付けて前記記憶手段に記憶されたテンプレート画像と前記生成手段により生成された前記情報画像の類似度が所定の基準を満たすか否かを被写体毎に判別することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記判別手段は、前記画像における一端側に偏った位置に設けられた第１の検出枠に含まれる被写体と、前記画像における他端側に偏った位置に設けられた第２の検出枠に含まれる被写体と、のそれぞれについて生成された情報画像と前記テンプレート画像との類似度が所定の基準を満たすか否かを判別することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得ステップと、
   前記画像取得ステップによって取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成する生成ステップと、
   予め記憶手段に記憶されているテンプレート画像と前記生成ステップにより生成された情報画像の類似度が所定の基準を満たすか否かを被写体毎に判別する判別ステップと、
   前記判別ステップにより前記テンプレート画像との類似度が所定の基準を満たすと判別された情報画像に対応する被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御ステップと、
   を含むことを特徴とする画像処理方法。
8. コンピュータを、
   個別に特定が可能な複数の被写体が所定の方向に配列された物体の、少なくとも２つの前記被写体が含まれる画像を取得する画像取得手段、
   前記画像取得手段によって取得された画像に含まれる被写体について、その被写体の特徴量を含む情報画像を夫々生成する生成手段、
   予め記憶手段に記憶されているテンプレート画像と前記生成手段により生成された情報画像の類似度が所定の基準を満たすか否かを被写体毎に判別する判別手段、
   前記判別手段により前記テンプレート画像との類似度が所定の基準を満たすと判別された情報画像に対応する被写体同士の距離を計測し、計測結果を出力するよう制御する出力制御手段、
   として機能させることを特徴とするプログラム。

Images