JP7374388B1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

位置特定部（１４）は、カメラ（１３）によって撮影領域が撮影されて得られた対象物（１７）の画像データを対象画像として、対象画像から、複数のテンプレート画像から選択されたテンプレート画像である対象テンプレートに対応する位置を特定する。ずれ量計算部（１５）は、過去に特定された位置から、次に得られる対象物（１７）の画像データである次データの基準位置が想定位置に対してずれる想定ずれ量を計算する。位置特定部（１４）は、想定ずれ量に応じて、複数のテンプレート画像から、次データを対象画像とする場合における対象テンプレートを選択する。

Description

本開示は、画像処理により対象物の位置を特定する技術に関する。

工作機械等において、対象物の位置に機器の位置を合わせる位置合わせが行われる。この位置合わせには、カメラによって得られた対象物の画像データが用いられる。この際、対象物の画像データの特徴点の位置を特定することにより、位置合わせが行われる。この方法では、特徴点にゴミ等が写り込んでしまった場合には、位置合わせができなくなってしまう。

複数の特徴点を用いて位置合わせをする方法が提案されている（特許文献１及び特許文献２参照）。これにより、一部の特徴点にゴミ等が写り込んでしまった場合にも、他の特徴点を用いて位置合わせを行うことが可能になる。

国際公開第２０１８／０４２５８０号 特開２００３－１８７２２５号公報

従来の複数の特徴点を用いて位置合わせをする方法では、ある特徴点による位置合わせが失敗すると、他の特徴点により位置合わせを再度行うことが繰り返される。あるいは、複数の特徴点を同時に用いて位置合わせが行われる。そのため、位置合わせに時間がかかってしまう可能性がある。その結果、位置合わせに関して時間的な要求がある場合には、要求を満たせなくなる可能性がある。
本開示は、位置合わせにかかる時間が長くなることを防止可能にすることを目的とする。

本開示に係る画像処理装置は、
カメラによって撮影領域が撮影されて得られた対象物の画像データを対象画像として、前記対象画像から、複数のテンプレート画像から選択されたテンプレート画像である対象テンプレートに対応する位置を特定する位置特定部と、
前記位置特定部によって過去に特定された位置から、次に得られる前記対象物の画像データである次データの基準位置が想定位置に対してずれる想定ずれ量を計算するずれ量計算部と
を備え、
前記位置特定部は、前記ずれ量計算部によって計算された前記想定ずれ量に応じて、前記複数のテンプレート画像から、前記次データを前記対象画像とする場合における前記対象テンプレートを選択する。

本開示では、想定ずれ量に応じたテンプレート画像を用いて位置を特定する。これにより、１つのテンプレート画像により、１度の処理で位置合わせができる可能性が高くなる。その結果、位置合わせにかかる時間が長くなることが防止される。

実施の形態１に係る画像処理装置１０の構成図。 実施の形態１に係る位置特定部１４のハードウェア構成図。 実施の形態１に係るずれ量計算部１５及びモーションコントロール部１６のハードウェア構成図。 実施の形態１に係る対象物１７の例の説明図。 実施の形態１に係るテンプレート画像１８の説明図。 実施の形態１に係るテンプレート選択情報２０の説明図。 実施の形態１に係る対象物１７の画像データ５１の説明図。 実施の形態１に係る対象物１７の画像データ５１の説明図。 実施の形態１に係る画像処理装置１０の全体的な処理のフローチャート。 実施の形態１に係る位置特定部１４の処理のフローチャート。 実施の形態１に係るずれ量計算部１５の処理のフローチャート。 実施の形態２に係る対象物１７の画像データ５１の説明図。 実施の形態２に係る位置特定部１４の処理のフローチャート。 実施の形態３に係る位置特定部１４の処理のフローチャート。 実施の形態３に係るずれ量計算部１５の処理のフローチャート。 実施の形態３に係る位置履歴情報６１の説明図。 実施の形態４に係る位置特定部１４の処理のフローチャート。 実施の形態４に係る補完処理の説明図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る画像処理装置１０の構成を説明する。
画像処理装置１０は、ＸＹステージ１１と、モータ１２と、カメラ１３と、位置特定部１４と、ずれ量計算部１５と、モーションコントロール部１６とを備える。
ＸＹステージ１１は、対象物１７を設置するための装置である。モータ１２は、ＸＹステージ１１の位置を移動させる装置である。カメラ１３は、ＸＹステージ１１に設置された対象物１７を撮影する装置である。位置特定部１４は、対象物１７の位置を特定するコンピュータである。ずれ量計算部１５は、想定位置からの対象物１７の位置のずれ量を計算するコンピュータである。モーションコントロール部１６は、ずれ量に基づきモータ１２を制御するコンピュータである。

図２を参照して、実施の形態１に係る位置特定部１４のハードウェア構成を説明する。
位置特定部１４は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、ストレージ２４と、カメラＩＦ２５と、外部ＩＦ２６とを備える。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＩＦは、ＩｎｔｅｒＦａｃｅの略である。

図３を参照して、実施の形態１に係るずれ量計算部１５及びモーションコントロール部１６のハードウェア構成を説明する。
ずれ量計算部１５及びモーションコントロール部１６は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、ストレージ２４と、外部ＩＦ２６とを備える。

ストレージ２４は、ＨＤＤ等の記憶装置である。ストレージ２４は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。

カメラＩＦ２５は、カメラ１３を接続するためのインタフェースである。カメラＩＦ２５は、具体例としては、ＵＳＢのポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。

外部ＩＦ２６は、他の装置を接続するためのインタフェースである。外部ＩＦ２６は、具体例としては、ＵＳＢ又はＥｔｈｅｒｎｅｔ（登録商標）のポートである。

図１では、位置特定部１４とずれ量計算部１５とモーションコントロール部１６とが別の装置とされた。しかし、位置特定部１４とずれ量計算部１５とモーションコントロール部１６とのうち２つ以上を１つの装置により実現することも可能である。位置特定部１４とずれ量計算部１５とモーションコントロール部１６とのうちの少なくともいずれかを、さらに分離して複数の装置として実現することも可能である。

＊＊＊動作の説明＊＊＊
図４から図１１を参照して、実施の形態１に係る画像処理装置１０の動作を説明する。
実施の形態１に係る画像処理装置１０の動作手順は、実施の形態１に係る画像処理方法に相当する。また、実施の形態１に係る画像処理装置１０の動作を実現するプログラムは、実施の形態１に係る画像処理プログラムに相当する。

図４を参照して、実施の形態１に係る対象物１７の例を説明する。
実施の形態１では、対象物１７の例として、図４に示すようにプリント基板を用いる。対象物１７には、複数の特徴がある。図４では、特徴として、穴３１と、実装済みの小チップ３２と、実装済みの大チップ３３と、未実装パターン３４と、シルク印刷文字３５とが示されている。

図５を参照して、実施の形態１に係るテンプレート画像１８を説明する。
図５に示すテンプレート画像１８は、図４に示す対象物１７に対応している。テンプレート画像１８は、対象物１７における複数の特徴それぞれに対応して設けられる。なお、テンプレート画像１８は、対象物１７における全ての特徴に対応して設けられる必要はない。テンプレート画像１８は、特徴を表す画像データである。例えば、テンプレート画像１８は、対象物１７を撮影して得られた画像データにおける特徴付近の部分画像である。
図５では、テンプレート画像１８Ａからテンプレート画像１８Ｄの４つのテンプレート画像が示されている。テンプレート画像１８Ａは、穴３１に対応する。テンプレート画像１８Ｂは、大チップ３３に対応する。テンプレート画像１８Ｃは、未実装パターン３４に対応する。テンプレート画像１８Ｄは、シルク印刷文字３５に対応する。

テンプレート画像１８は、対象物１７における対応位置１９が設定されている。対応位置１９は、対象物１７の基準位置４１が想定位置４２にある場合における、テンプレート画像１８の指定位置の座標値である。実施の形態１では、指定位置は、テンプレート画像１８の左下の位置である。
図５では、テンプレート画像１８Ａには、対応位置１９Ａが設定されている。テンプレート画像１８Ｂには、対応位置１９Ｂが設定されている。テンプレート画像１８Ｃには、対応位置１９Ｃが設定されている。テンプレート画像１８Ｄには、対応位置１９Ｄが設定されている。

図６を参照して、実施の形態１に係るテンプレート選択情報２０を説明する。
テンプレート選択情報２０は、複数のテンプレート画像１８から使用するテンプレート画像１８を選択する際に使用される情報である。テンプレート選択情報２０は、位置特定部１４に記憶される。
テンプレート選択情報２０は、テンプレート画像１８毎に、対応位置１９を示す座標値と、選択優先度とを含む。選択優先度は、選択候補として複数のテンプレート画像１８が存在する場合に、どのテンプレート画像１８を優先して選択するかを示す。なお、図６では、選択優先度の値が大きいほど、優先して選択されるものとする。

図７及び図８を参照して、実施の形態１に係る対象物１７の画像データ５１を説明する。
画像データ５１は、ＸＹステージ１１に設置された対象物１７をカメラ１３によって撮影されて得られる。ＸＹステージ１１に対象物１７が設置された位置と、ＸＹステージ１１の配置とによって、対象物１７が撮影される領域が変化する。
図７は、基準位置４１が想定位置４２にある場合に得られた画像データ５１を示す。基準位置４１が想定位置４２にある場合に得られた画像データ５１は、対象物１７全体が撮影されている。
図８は、基準位置４１が想定位置４２からずれた場合に得られた画像データ５１を示す。図８では、基準位置４１が想定位置４２からずれたずれ位置４３にある。基準位置４１が想定位置４２からずれたため、画像データ５１には対象物１７の一部５２が撮影されていない。図８では、画像データ５１には、対象物１７における一部の特徴が写っていない状態である。具体的には、画像データ５１には、穴３１と小チップ３２と大チップ３３とは写っているが、未実装パターン３４とシルク印刷文字３５とが写っていない状態である。

図９を参照して、実施の形態１に係る画像処理装置１０の全体的な処理を説明する。
（ステップＳ１０１：ワーク判定処理）
ＸＹステージ１１は、対象物１７が設置されたか否かを判定する。ＸＹステージ１１に対象物１７が設置されたか否かは、ＸＹステージ１１に設けられたセンサ等を用いて判定される。
ＸＹステージ１１は、対象物１７が設置された場合には、処理をステップＳ１０２に進める。一方、位置特定部１４は、対象物１７が設置されていない場合には、一定時間経過後、再びステップＳ１０１の処理を実行する。

（ステップＳ１０２：撮影処理）
カメラ１３は、撮影領域を撮影することにより、ＸＹステージ１１に設置された対象物１７の画像データ５１を得る。

（ステップＳ１０３：画像送信処理）
カメラ１３は、ステップＳ１０２で得られた対象物１７の画像データ５１を、撮影時刻とともに、位置特定部１４に送信する。実施の形態１では、カメラ１３は、通し番号を付与した複数のＵＤＰデータグラムにより、画像データ５１を位置特定部１４に送信する。ＵＤＰは、Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌの略である。

（ステップＳ１０４：位置特定処理）
位置特定部１４は、ステップＳ１０３で送信された対象物１７の画像データ５１を対象画像に設定する。位置特定部１４は、対象画像から、複数のテンプレート画像１８から選択されたテンプレート画像１８である対象テンプレートに対応する位置を特定する。
ここで、位置特定部１４は、後述するステップＳ１０７が前回実行された際に送信された想定ずれ量に応じて、複数のテンプレート画像から、対象画像についての対象テンプレートを選択する。

（ステップＳ１０５：位置送信処理）
位置特定部１４は、ステップＳ１０４で特定された位置を、ステップＳ１０３で送信された撮影時刻とともに、ずれ量計算部１５に送信する。

（ステップＳ１０６：ずれ量計算処理）
ずれ量計算部１５は、ステップＳ１０５で送信された位置から、基準位置４１が想定位置４２に対してずれている現在ずれ量を計算する。また、ずれ量計算部１５は、次にステップＳ１０２で得られる対象物１７の画像データ５１である次データの基準位置４１が想定位置４２に対してずれると想定される想定ずれ量を計算する。

（ステップＳ１０７：ずれ量送信処理）
ずれ量計算部１５は、ステップＳ１０６で計算された現在ずれ量を、ＸＹステージ１１の位置を補正する補正量として、モーションコントロール部１６に送信する。また、ずれ量計算部１５は、ステップＳ１０６で計算された想定ずれ量を、次の撮影時刻とともに、位置特定部１４に送信する。

（ステップＳ１０８：補正処理）
モーションコントロール部１６は、ステップＳ１０７で送信された現在ずれ量に基づきモータ１２を操作して、ＸＹステージ１１の位置を補正する。つまり、モーションコントロール部１６は、撮影時刻において基準位置４１が想定位置４２からずれていた分だけ、基準位置４１が想定位置４２に近づくようにＸＹステージ１１を移動させる。

（ステップＳ１０９：終了判定処理）
ＸＹステージ１１は、現在の対象物１７に対する処理が終了したか否かを判定する。例えば、対象物１７が取り除かれたことがセンサにより検知された場合に、処理が終了したと判定する。
ＸＹステージ１１は、現在の対象物１７に対する処理が終了した場合には、処理をステップＳ１０１に戻す。一方、ＸＹステージ１１は、現在の対象物１７に対する処理が終了していない場合には、処理をステップＳ１０２に戻す。

図１０を参照して、実施の形態１に係る位置特定部１４の処理を説明する。
位置特定部１４の処理は、図９のステップＳ１０４及びステップＳ１０５の処理である。

（ステップＳ２０１：画像受信判定処理）
位置特定部１４は、画像データ５１及び撮影時刻をカメラ１３から受信したか否かを判定する。
位置特定部１４は、受信した場合には、処理をステップＳ２０２に進める。一方、位置特定部１４は、受信していない場合には、一定時間経過後、再びステップＳ２０１を実行する。

（ステップＳ２０２：ずれ量受信判定処理）
位置特定部１４は、受信した撮影時刻に対応する想定ずれ量をずれ量計算部１５から受信したか否かを判定する。
位置特定部１４は、受信した場合には、処理をステップＳ２０３に進める。一方、位置特定部１４は、受信していない場合には、処理をステップＳ２０４に進める。

（ステップＳ２０３：第１選択処理）
位置特定部１４は、画像データ５１の撮影時刻に対応する想定ずれ量に応じて、複数のテンプレート画像１８から、受信した画像データ５１を対象画像とする場合における対象テンプレートを選択する。
具体的には、位置特定部１４は、複数のテンプレート画像１８のうち、想定ずれ量だけ対象画像の基準位置が想定位置に対してずれた場合に、対象画像に写る特徴に対応する１つ以上のテンプレート画像を選択候補に設定する。この際、位置特定部１４は、想定ずれ量から対象物１７における対象画像に写る範囲を計算する。そして、位置特定部１４は、各テンプレート画像１８について、そのテンプレート画像１８の対応位置１９が写る範囲に含まれる場合には、そのテンプレート画像１８に対応する特徴が対象画像に写ると判定して、そのテンプレート画像１８を選択候補に設定する。言い換えると、位置特定部１４は、対象画像に写る座標値の範囲を計算する。そして、位置特定部１４は、対象画像に写る座標値の範囲にテンプレート選択情報２０における座標値が含まれるテンプレート画像１８を選択候補に設定する。
位置特定部１４は、選択候補のうち、テンプレート選択情報２０における選択優先度が最も高いテンプレート画像１８を、対象画像についての対象テンプレートとして選択する。

例えば、図８の例では、画像データ５１には、穴３１と小チップ３２と大チップ３３とは写っているが、未実装パターン３４とシルク印刷文字３５とが写っていない状態である。つまり、画像データ５１には、穴３１に対応する対応位置１９Ａと、大チップ３３に対応する対応位置１９Ｂとは含まれる。しかし、画像データ５１には、未実装パターン３４に対応する対応位置１９Ｃと、シルク印刷文字３５に対応する対応位置１９Ｄとは含まれない。
そのため、位置特定部１４は、穴３１に対応するテンプレート画像１８Ａと、大チップ３３に対応するテンプレート画像１８Ｂとを選択候補に設定する。そして、位置特定部１４は、優先度が最も高い、穴３１に対応するテンプレート画像１８Ａを対象テンプレートとして選択する。

（ステップＳ２０４：第２選択処理）
位置特定部１４は、全てのテンプレート画像１８を選択候補に設定する。そして、位置特定部１４は、選択候補のうち、テンプレート選択情報２０における選択優先度が最も高いテンプレート画像１８を、対象画像についての対象テンプレートとして選択する。

（ステップＳ２０５：マッチング処理）
位置特定部１４は、対象画像から、ステップＳ２０３又はステップＳ２０４の処理で選択された対象テンプレートに対応する位置を特定する。
具体的には、位置特定部１４は、テンプレートマッチングを行うことにより、対象画像における対象テンプレートに対応する領域を特定する。そして、位置特定部１４は、特定された領域の指定位置を、対象テンプレートに対応する位置として特定する。実施の形態１では、位置特定部１４は、特定された領域の左下の位置を、対象テンプレートに対応する位置として特定する。

（ステップＳ２０６：位置送信処理）
位置特定部１４は、ステップＳ２０５で特定された位置を、ステップＳ１０３で送信された撮影時刻とともに、ずれ量計算部１５に送信する。

（ステップＳ２０７：終了判定処理）
位置特定部１４は、終了の指示がなければ、処理をステップＳ２０１に戻して次の画像データ５１の受信を待つ。一方、位置特定部１４は、終了の指示があった場合には、処理を終了する。

図１１を参照して、実施の形態１に係るずれ量計算部１５の処理を説明する。
ずれ量計算部１５の処理は、図９のステップＳ１０６及びステップＳ１０７の処理である。

（ステップＳ３０１：位置受信判定処理）
ずれ量計算部１５は、位置及び撮影時刻を位置特定部１４から受信したか否かを判定する。
ずれ量計算部１５は、受信した場合には、処理をステップＳ３０２に進める。一方、ずれ量計算部１５は、受信していない場合には、一定時間経過後、再びステップＳ３０１を実行する。

（ステップＳ３０２：現在ずれ量計算処理）
ずれ量計算部１５は、ステップＳ１０５で送信された位置から、基準位置４１が想定位置４２に対してずれている現在ずれ量を計算する。
具体的には、ずれ量計算部１５は、対象テンプレートの対応位置１９に対するステップＳ１０５で送信された位置のずれ量を現在ずれ量として計算する。つまり、対象テンプレートの対応位置１９の座標から、ステップＳ１０５で送信された位置の座標へのベクトルが現在ずれ量である。

（ステップＳ３０３：想定ずれ量計算処理）
ずれ量計算部１５は、次にステップＳ１０２で得られる対象物１７の画像データ５１である次データの基準位置４１が想定位置４２に対してずれると想定される想定ずれ量を計算する。ステップＳ１０２が一定時間毎に実行されて新たに撮影が行われるのであれば、一定時間後に想定されるずれ量が想定ずれ量である。
具体的には、ずれ量計算部１５は、位置特定部１４によって過去に特定された位置から想定ずれ量を計算する。より正確には、ずれ量計算部１５は、過去に特定された位置に基づきステップＳ３０２で計算された現在ずれ量から、想定ずれ量を計算する。例えば、ずれ量計算部１５は、過去に計算された現在ずれ量から減衰振動モデルを作成して、想定ずれ量を計算する。

（ステップＳ３０４：ずれ量送信処理）
ずれ量計算部１５は、ステップＳ３０２で計算された現在ずれ量を、ＸＹステージ１１の位置を補正する補正量として、モーションコントロール部１６に送信する。また、ずれ量計算部１５は、ステップＳ３０３で計算された想定ずれ量を、次の撮影時刻とともに、位置特定部１４に送信する。

（ステップＳ３０５：終了判定処理）
ずれ量計算部１５は、終了の指示がなければ、処理をステップＳ３０１に戻して次の位置の受信を待つ。一方、ずれ量計算部１５は、終了の指示があった場合には、処理を終了する。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る画像処理装置１０は、画像データ５１において位置特定に有効なテンプレート画像を選択可能になる。そのため、テンプレートマッチングを行う際に、テンプレート画像に相当する部分画像が画像データ５１に存在しないことによる位置特定の失敗を防止できる。これにより、テンプレートマッチングを行う回数を１回にできる可能性が高くなる。つまり、１つのテンプレート画像により、１度の処理で位置合わせができる可能性が高くなる。その結果、位置合わせにかかる時間が長くなることが防止される。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、図９のステップＳ１０３でカメラ１３は、画像データ５１とともに撮影時刻を送信した。しかし、カメラ１３は、撮影時刻に代えて、撮影のタイミングを判断可能な他の情報を送信してもよい。例えば、カメラ１３は、撮影時刻に代えて、画像データ５１に順に割り振られるシーケンス番号を送信してもよい。

＜変形例２＞
実施の形態１では、図１１のステップＳ３０３で、図９のステップＳ１０２の処理が一定時間毎に実行されて新たに撮影が行われるとした。しかし、ステップＳ１０２の処理は、一定時間毎に実行されることに限らない。例えば、ステップＳ１０２の処理は、予め指定された任意のタイミングで実行されてもよい。この場合には、次回のステップＳ１０２の処理の実行タイミングを示す情報を取得できるようにしておけばよい。

＜変形例３＞
実施の形態１では、図９のステップＳ１０９で現在の対象物１７に対する処理が終了していない場合には、処理がステップＳ１０２に戻され、次の撮影が行われた。しかし、図９のステップＳ１０９が終わる前に次の撮影が行われてもよい。つまり、ある画像データ５１Ｘについての処理途中で、次の撮影が行われて新たな画像データ５１Ｙが得られるようにしてもよい。この場合には、図１１のステップＳ３０３でずれ量計算部１５は、図９のステップＳ１０８での画像データ５１Ｘに基づく補正量を考慮して、想定ずれ量を計算する必要がある。

＜変形例４＞
実施の形態１では、図１０のステップＳ２０５においてテンプレートマッチングを行うことにより、位置が特定された。しかし、テンプレートマッチングに限らず、対象画像における対象テンプレートに対応する領域を特定する他のアルゴリズムを用いて、位置が特定されてもよい。

＜変形例５＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例５として、各機能構成要素はハードウェアで実現されてもよい。この変形例５について、実施の形態１と異なる点を説明する。

各機能構成要素がハードウェアで実現される場合には、位置特定部１４とずれ量計算部１５とモーションコントロール部１６とは、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、ストレージ２４とに代えて、電子回路を備える。電子回路は、各機能構成要素と、ＲＯＭ２２と、ＲＡＭ２３と、ストレージ２４との機能とを実現する専用の回路である。

電子回路としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。

＜変形例６＞
変形例６として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

ＣＰＵ２１とＲＯＭ２２とＲＡＭ２３とストレージ２４と電子回路とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、画像データ５１におけるデータの欠損を考慮して対象テンプレートを選択する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

図１２を参照して、実施の形態２に係る対象物１７の画像データ５１を説明する。
図１２に示す画像データ５１は、データの一部が欠損している欠損領域４４がある点が図８に示す画像データ５１と異なる。
実施の形態１と同様に、カメラ１３は、通し番号を付与した複数のＵＤＰデータグラムにより画像データ５１を位置特定部１４に送信する。ＵＤＰは通信エラー発生時の再送制御がない。そのため、外部のノイズ等の影響によりデータが欠損する場合がある。通し番号により欠損したデータを特定することができ、欠損領域４４を特定することができる。

図１３を参照して、実施の形態２に係る位置特定部１４の処理を説明する。
ステップＳ４０１の処理は、図１０のステップＳ２０１の処理と同じである。ステップＳ４０４の処理は、図１０のステップＳ２０２の処理と同じである。ステップＳ４０７からステップＳ４０９の処理は、図１０のステップＳ２０５からステップＳ２０７の処理と同じである。

（ステップＳ４０２：欠損判定処理）
位置特定部１４は、画像データ５１に欠損領域４４があるか否かを判定する。
位置特定部１４は、欠損領域４４がある場合には、処理をステップＳ４０３に進める。一方、位置特定部１４は、欠損領域４４がない場合には、処理をステップ４０４に進める。

（ステップＳ４０３：欠損領域特定処理）
位置特定部１４は、欠損領域４４を特定する。
具体的には、位置特定部１４は、ＵＤＰデータグラムにおける通し番号により、欠落したデータを特定する。これにより、位置特定部１４は、欠落したデータに対応する部分の領域が欠損領域４４であると特定する。

（ステップＳ４０５：第１選択処理）
位置特定部１４は、図１０のステップＳ２０３と同様に選択候補を設定する。そして、位置特定部１４は、欠損領域４４に写ると想定される特徴に対応するテンプレート画像１８を選択候補から除外する。位置特定部１４は、選択候補のうち、テンプレート選択情報２０における選択優先度が最も高いテンプレート画像１８を、対象画像についての対象テンプレートとして選択する。

例えば、図１２の例では、穴３１が欠損領域４４に含まれており、画像データ５１には、小チップ３２と大チップ３３とだけが写っている状態である。そのため、位置特定部１４は、大チップ３３に対応するテンプレート画像１８Ｂを選択候補に設定する。そして、位置特定部１４は、テンプレート画像１８Ｂを対象テンプレートとして選択する。

（ステップＳ４０６：第２選択処理）
位置特定部１４は、欠損領域４４に写ると想定される特徴に対応するテンプレート画像１８以外の１つ以上のテンプレート画像を選択候補に設定する。位置特定部１４は、選択候補のうち、テンプレート選択情報２０における選択優先度が最も高いテンプレート画像１８を、対象画像についての対象テンプレートとして選択する。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る画像処理装置１０は、画像データ５１における欠損領域４４を考慮して対象テンプレートを選択する。これにより、画像データ５１において位置特定に有効なテンプレート画像をより正確に選択可能になる。

実施の形態３．
実施の形態３は、画像データ５１に欠損領域４４がある場合に、画像データ５１の再送をカメラ１３に対して要求して、画像データ５１の現在ずれ量を特定し直す点が実施の形態２と異なる。実施の形態３では、この異なる点を説明して、同一の点については説明を省略する。

図１４を参照して、実施の形態３に係る位置特定部１４の処理を説明する。
ステップＳ５０１からステップＳ５０２の処理は、図１３のステップＳ４０１からステップＳ４０２の処理と同じである。ステップＳ５０４からステップＳ５１０の処理は、図１２のステップＳ４０３からステップＳ４０９の処理と同じである。

（ステップＳ５０３：再送要求処理）
位置特定部１４は、欠損領域４４があった画像データ５１の再送をカメラ１３に対して要求する。
すると、カメラ１３から画像データ５１が再送される。この際、画像データ５１とともに送信される撮影時刻は、現在処理中の画像データ５１と同じ時刻であり、現在処理中の画像データ５１と再送された画像データ５１とが同じタイミングで得られた画像データ５１であることが特定可能になっている。再送された画像データ５１については、別途図１４に示す処理が実行される。一方、現在処理中の画像データ５１については、このまま処理が継続される。

図１５を参照して、実施の形態３に係るずれ量計算部１５の処理を説明する。
ステップＳ６０１の処理は、図１１のステップＳ３０１の処理と同じである。ステップＳ６０４からステップＳ６０６の処理は、図１１のステップＳ３０３からステップＳ３０５の処理と同じである。

（ステップＳ６０２：過去情報判定処理）
ずれ量計算部１５は、ステップＳ６０１で受信した位置及び撮影時刻が、過去に処理済の画像データ５１に対応する情報であるか否かを判定する。つまり、ずれ量計算部１５は、ステップＳ６０１で受信した位置が、再送された画像データ５１に基づき特定された位置であるか否かを判定する。この判定は、撮影時刻に基づき行うことができる。変形例１のように、撮影時刻に代えてシーケンス番号を用いた場合には、この判定は、シーケンス番号に基づき行うことができる。
ずれ量計算部１５は、過去に処理済の情報、つまり再送された画像データ５１に基づき特定された位置等でない場合には、処理をステップＳ６０３に進める。一方、ずれ量計算部１５は、過去に処理済の情報である場合には、処理をステップＳ６０７に進める。

（ステップＳ６０３：現在ずれ量計算処理）
ずれ量計算部１５は、ステップＳ１０５で送信された位置から、基準位置４１が想定位置４２に対してずれている現在ずれ量を計算する。ずれ量計算部１５は、現在ずれ量を、位置履歴情報６１に書き込む。図１６に示すように、位置履歴情報６１は、想定位置４２が現在ずれ量だけずれた位置の座標である。

（ステップＳ６０７：情報更新処理）
ずれ量計算部１５は、ステップＳ１０５で送信された位置から、基準位置４１が想定位置４２に対してずれている現在ずれ量を計算する。そして、ずれ量計算部１５は、現在ずれ量を、位置履歴情報６１に書き込む。この際、ずれ量計算部１５は、同じ撮影時刻が設定されたレコードの座標を、上書きする。

なお、ステップＳ６０４では、ずれ量計算部１５は、位置履歴情報６１を参照して、想定ずれ量を計算する。例えば、ずれ量計算部１５は、位置履歴情報６１が示す現在ずれ量を示す座標から減衰振動モデルを作成して、想定ずれ量を計算する。

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る画像処理装置１０は、画像データ５１に欠損領域４４がある場合に、画像データ５１の再送をカメラ１３に対して要求して、画像データ５１の現在ずれ量を特定し直す。欠損領域４４がある場合には、選択優先度が高いテンプレート画像１８を選択できず、現在ずれ量の特定精度が低くなる可能性がある。画像データ５１を再送させ、現在ずれ量を特定し直すことにより、精度よく現在ずれ量を特定できる。その結果、精度よく想定ずれ量を計算可能になる。

実施の形態４．
実施の形態４は、欠損領域４４を過去の画像データ５１に基づき補完する点が実施の形態２と異なる。実施の形態４では、この異なる点を説明して、同一の点については説明を省略する。

図１７を参照して、実施の形態４に係る位置特定部１４の処理を説明する。
ステップＳ７０１からステップＳ７０４の処理は、図１３のステップＳ４０１からステップＳ４０４の処理と同じである。ステップＳ７０６からステップＳ７１０の処理は、図１３のステップＳ４０５からステップＳ４０９の処理と同じである。

（ステップＳ７０５：補完処理）
ずれ量計算部１５は、画像データ５１に欠損領域４４がある場合には、過去の画像データ５１を用いて欠損領域４４を補完する。例えば、図１８に示すように、欠損領域４４のうち、対象物１７部分を過去の画像データ５１を用いて補完する。補完アルゴリズムについては既存の技術を用いればよい。

なお、ステップＳ７０６で位置特定部１４は、欠損領域４４を考慮せずに対象テンプレートを選択してもよい。つまり、位置特定部１４は、欠損領域４４に写ると想定される特徴に対応するテンプレート画像１８を選択候補から除外する処理を行わなくてもよい。

＊＊＊実施の形態４の効果＊＊＊
以上のように、実施の形態４に係る画像処理装置１０は、欠損領域４４を過去の画像データ５１に基づき補完する。これにより、テンプレートマッチングを精度よく行うことが可能になる。また、選択優先度が高いテンプレート画像１８を対象テンプレートとして選択可能になる。

なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１０ 画像処理装置、１１ ＸＹステージ、１２ モータ、１３ カメラ、１４ 位置特定部、１５ ずれ量計算部、１６ モーションコントロール部、１７ 対象物、１８ テンプレート画像、１９ 対応位置、２０ テンプレート選択情報、２１ ＣＰＵ、２２ ＲＯＭ、２３ ＲＡＭ、２４ ストレージ、２５ カメラＩＦ、２６ 外部ＩＦ、３１ 穴、３２ 小チップ、３３ 大チップ、３４ 未実装パターン、３５ シルク印刷文字、４１ 基準位置、４２ 想定位置、４３ ずれ位置、４４ 欠損領域、５１ 画像データ、６１ 位置履歴情報。

Claims (7)

1. カメラによって撮影領域が撮影されて得られた対象物の画像データを対象画像として、前記対象画像から、それぞれ前記対象物の特徴に対応した複数のテンプレート画像から選択されたテンプレート画像である対象テンプレートに対応する位置を特定する位置特定部と、
   前記位置特定部によって過去に特定された位置から、次に得られる前記対象物の画像データである次データの基準位置が想定位置に対してずれると想定される想定ずれ量を計算するずれ量計算部と
   を備え、
   前記位置特定部は、前記ずれ量計算部によって計算された前記想定ずれ量に応じて前記複数のテンプレート画像から前記次データを前記対象画像とする場合における前記対象テンプレートを選択するとともに、前記次データが得られると、前記次データにおいて欠損している欠損領域を特定し、前記欠損領域に写ると想定される特徴に対応する前記対象物についてのテンプレート画像を除外したテンプレート画像から、前記次データを前記対象画像とする場合における前記対象テンプレートを選択する画像処理装置。
2. 前記位置特定部は、前記欠損領域が特定された場合には、前記次データの再送を前記カメラに対して要求し、前記欠損領域が特定された再送前の前記次データに加えて、再送された前記次データである再送データを前記対象画像として位置を特定し、
   前記ずれ量計算部は、前記次データが撮影された時点における位置として、前記再送デ
   ータを前記対象画像として特定された位置を用いて、前記想定ずれ量を計算する
   請求項１に記載の画像処理装置。
3. カメラによって撮影領域が撮影されて得られた対象物の画像データを対象画像として、前記対象画像から、それぞれ前記対象物の特徴に対応した複数のテンプレート画像から選択されたテンプレート画像である対象テンプレートに対応する位置を特定する位置特定部と、
   前記位置特定部によって過去に特定された位置から、次に得られる前記対象物の画像データである次データの基準位置が想定位置に対してずれると想定される想定ずれ量を計算するずれ量計算部と
   を備え、
   前記位置特定部は、前記次データが得られると、前記次データにおいて欠損している欠損領域を特定し、前記欠損領域を過去に得られた前記対象物の画像データにより補完するとともに、前記複数のテンプレート画像のうち、前記ずれ量計算部によって計算された前記想定ずれ量だけ前記次データの前記基準位置が前記想定位置に対してずれた場合に前記次データに写る特徴に対応するテンプレート画像から、前記次データを前記対象画像とする場合における前記対象テンプレートを選択する画像処理装置。
4. コンピュータが、カメラによって撮影領域が撮影されて得られた対象物の画像データを対象画像として、前記対象画像から、それぞれ前記対象物の特徴に対応した複数のテンプレート画像から選択されたテンプレート画像である対象テンプレートに対応する位置を特定し、
   コンピュータが、過去に特定された位置から、次に得られる前記対象物の画像データである次データの基準位置が想定位置に対してずれると想定される想定ずれ量を計算し、
   コンピュータが、前記想定ずれ量に応じて前記複数のテンプレート画像から前記次データを前記対象画像とする場合における前記対象テンプレートを選択するとともに、前記次データが得られると、前記次データにおいて欠損している欠損領域を特定し、前記欠損領域に写ると想定される特徴に対応する前記対象物についてのテンプレート画像を除外したテンプレート画像から、前記次データを前記対象画像とする場合における前記対象テンプレートを選択する画像処理方法。
5. コンピュータが、カメラによって撮影領域が撮影されて得られた対象物の画像データを対象画像として、前記対象画像から、それぞれ前記対象物の特徴に対応した複数のテンプレート画像から選択されたテンプレート画像である対象テンプレートに対応する位置を特定し、
   コンピュータが、過去に特定された位置から、次に得られる前記対象物の画像データである次データの基準位置が想定位置に対してずれると想定される想定ずれ量を計算し、
   コンピュータが、前記次データが得られると、前記次データにおいて欠損している欠損領域を特定し、前記欠損領域を過去に得られた前記対象物の画像データにより補完するとともに、前記複数のテンプレート画像のうち、前記想定ずれ量だけ前記次データの前記基準位置が前記想定位置に対してずれた場合に前記次データに写る特徴に対応するテンプレート画像から、前記次データを前記対象画像とする場合における前記対象テンプレートを選択する画像処理方法。
6. カメラによって撮影領域が撮影されて得られた対象物の画像データを対象画像として、前記対象画像から、それぞれ前記対象物の特徴に対応した複数のテンプレート画像から選択されたテンプレート画像である対象テンプレートに対応する位置を特定する位置特定処理と、
   前記位置特定処理によって過去に特定された位置から、次に得られる前記対象物の画像データである次データの基準位置が想定位置に対してずれると想定される想定ずれ量を計算するずれ量計算処理と
   を行う画像処理装置としてコンピュータを機能させ、
   前記位置特定処理では、前記ずれ量計算処理によって計算された前記想定ずれ量に応じて前記複数のテンプレート画像から前記次データを前記対象画像とする場合における前記対象テンプレートを選択するとともに、前記次データが得られると、前記次データにおいて欠損している欠損領域を特定し、前記欠損領域に写ると想定される特徴に対応する前記対象物についてのテンプレート画像を除外したテンプレート画像から、前記次データを前記対象画像とする場合における前記対象テンプレートを選択する画像処理プログラム。
7. カメラによって撮影領域が撮影されて得られた対象物の画像データを対象画像として、前記対象画像から、それぞれ前記対象物の特徴に対応した複数のテンプレート画像から選択されたテンプレート画像である対象テンプレートに対応する位置を特定する位置特定処理と、
   前記位置特定処理によって過去に特定された位置から、次に得られる前記対象物の画像データである次データの基準位置が想定位置に対してずれると想定される想定ずれ量を計算するずれ量計算処理と
   を行う画像処理装置としてコンピュータを機能させ、
   前記位置特定処理では、前記次データが得られると、前記次データにおいて欠損している欠損領域を特定し、前記欠損領域を過去に得られた前記対象物の画像データにより補完するとともに、前記複数のテンプレート画像のうち、前記ずれ量計算処理によって計算された前記想定ずれ量だけ前記次データの前記基準位置が前記想定位置に対してずれた場合に前記次データに写る特徴に対応するテンプレート画像から、前記次データを前記対象画像とする場合における前記対象テンプレートを選択する画像処理プログラム。

Images