JP7367251B1 - 把握方法 - Google Patents

Abstract

【課題】複数のカメラの相対的な関係を高精度に把握することができる把握方法、画像処理方法、画像処理プログラム、画像処理装置、及び基準部材を提供する。【解決手段】対象物２の異なる部分を撮像するために設置された複数のカメラ１の相対的な関係を把握するための把握方法であって、用意ステップと、取得ステップと、算出ステップと、を備える。前記用意ステップは、複数のマークとして、２行２列に配列された４つの貫通孔を少なくとも含むマーク群が同一の主面上の２ヶ所以上に形成された基準部材を用意する。前記取得ステップは、前記基準部材の異なる前記マーク群を前記複数のカメラ１により撮像して、前記４つの貫通孔の画像を少なくともそれぞれ含む複数の撮像画像Ｄを取得する。前記算出ステップは、前記複数の撮像画像Ｄ、及び前記複数のマークに関する情報に基づき、前記複数のカメラの相対的な関係を示す情報を算出する。【選択図】図１

Description

この発明は、把握方法に関する。

従来、対象物の異なる部分を撮像するために設置された複数のカメラの相対的な関係を把握する方法として、例えば特許文献１のカメラ設置位置検出装置等が提案されている。

特許文献１では、複数のＣＣＤカメラの設置位置を検出するための検出用治具、検出用治具に設けられた検出用マーク、検出用マークがＣＣＤカメラの視野に収まる範囲内で、検出用治具の位置を変位させるテーブル、テーブルより検出用治具を変位させることにより、複数の異なる位置でＣＣＤカメラが撮像した検出用マークに基づいて、ＣＣＤカメラの位置を算出するカメラ位置算出部を有するカメラ設置位置検出装置が開示されている。

特開２０１０－２８２１００号公報

ここで、特許文献１では、各ＣＣＤカメラに対して１つの検出用マークを用いて、ＣＣＤカメラの位置を算出することを前提としている。このため、特許文献１の開示技術では、複数のＣＣＤカメラの相対的な関係を高精度に把握することが難しい。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、複数のカメラの相対的な関係を高精度に把握することができる把握方法を提供することにある。

第１発明に係る把握方法は、水平に載置される対象物の異なる部分を上方から撮像するために前記対象物が載置される領域の上方に設置された複数のカメラ間の相対的な関係を把握する把握方法であって、複数のマークとして、２行２列に配列された４つの貫通孔を少なくとも含むマーク群が同一の主面上の２ヶ所以上に形成された基準部材を、前記複数のカメラの各撮像範囲に異なる前記マーク群が収まるように、前記領域に載置する用意ステップと、前記領域に載置された前記基準部材の異なる前記マーク群を前記複数のカメラにより撮像して、前記４つの貫通孔の画像を少なくともそれぞれ含む複数の撮像画像を取得する取得ステップと、前記複数の撮像画像、及び前記複数のマークに関する情報に基づき、前記複数のカメラ間の相対的な関係を示す情報を算出する算出ステップと、を備える。

第２発明に係る把握方法は、第１発明において、前記複数のカメラの撮像範囲が、前記基準部材を基準とするグローバル座標上で把握される。
第３発明に係る把握方法は、第１発明又は第２発明において、前記領域に対象物を載置するステップと、前記領域に載置された前記対象物の異なる部分を前記複数のカメラにより撮像して、複数の撮像画像を取得するステップと、をさらに備える。
第４発明に係る把握方法は、第１発明又は第２発明において、前記マークに関する情報は、前記基準部材上の前記マークの位置を示す位置情報を含み、前記相対的な関係を示す情報は、前記主面に沿う第１方向における、前記カメラの撮像範囲の位置を示す第１位置情報と、前記第１方向に交わり、前記主面に沿う第２方向における前記撮像範囲の位置を示す第２位置情報と、前記第１方向、及び前記第２方向に交わる第３方向の中心軸に対し、前記撮像範囲の回転角を示す第３回転情報と、を含み、前記算出ステップは、前記撮像画像に含まれる前記複数のマークに対応する前記位置情報を特定し、前記撮像画像毎に特定された前記位置情報に基づき、前記第１位置情報、前記第２位置情報、及び前記第３回転情報を、それぞれ前記撮像画像毎に算出する。

第５発明に係る把握方法は、第１発明又は第２発明において、前記マークに関する情報は、前記基準部材上の前記複数のマークの位置関係を示す形状情報を含み、前記相対的な位置関係を示す情報は、前記主面に沿う第１方向の中心軸に対し、前記カメラの撮像範囲の回転角を示す第１回転情報と、前記第１方向に交わり、前記主面に沿う第２方向の中心軸に対し、前記撮像範囲の回転角を示す第２回転情報と、を含み、前記算出ステップは、前記撮像画像に含まれる前記複数のマークに対応する前記形状情報を特定し、前記撮像画像毎に特定された前記形状情報に基づき、前記第１回転情報、及び前記第２回転情報を、それぞれ前記撮像画像毎に算出する。

第６発明に係る把握方法は、第１発明又は第２発明において、前記マークに関する情報は、前記基準部材上の互いに近接する前記マーク間の距離を示す距離情報を含み、前記相対的な位置関係を示す情報は、前記カメラの縮尺を示す縮尺情報を含み、前記算出ステップは、前記撮像画像に含まれる前記複数のマークに対応する前記距離情報を特定し、前記撮像画像毎に特定された前記距離情報に基づき、前記カメラ毎に前記縮尺情報を算出する。

第７発明に係る把握方法は、第３発明において、前記対象物の前記複数の撮像画像、及び前記相対的な関係を示す情報に基づき、前記対象物における２点間の距離を計測する計測ステップをさらに備える。

第８発明に係る把握方法は、第１発明又は第２発明において、前記基準部材の形状は、平棒状を示し、前記基準部材は、２つの前記マーク群を両端に有し、前記取得ステップは、２つの前記カメラにより異なる前記マーク群を撮像して得られる２つの前記撮像画像を取得する。
第９発明に係る把握方法は、第８発明において、前記２つのカメラの一方のカメラの撮像範囲と更に他のカメラの撮像範囲に、異なる前記マーク群が収まるように、前記一方のカメラと前記更に他のカメラの下方に平棒状の他の前記基準部材を載置するステップと、前記一方のカメラおよび前記更に他のカメラにより前記他の基準部材の異なるマーク群を撮像して、２つの撮像画像を取得するステップと、をさらに備える。

第１０発明に係る把握方法は、第１発明又は第２発明において、前記基準部材の形状は、平板状を示し、前記基準部材は、４つの前記マーク群を四隅に有し、前記取得ステップは、４つの前記カメラにより異なる前記マーク群を撮像して得られる４つの前記撮像画像を取得する。

第１発明～第１０発明によれば、取得ステップは、基準部材の異なるマーク群を複数のカメラにより撮像した複数の撮像画像を取得する。また、算出ステップは、複数の撮像画像、及び複数のマークに関する情報に基づき、複数のカメラの相対的な関係を示す情報を算出する。即ち、マーク群に含まれる複数のマークを用いて、複数のカメラの相対的な関係を示す情報を算出することができる。このため、１つのマークのみを用いた算出方法に比べて、相対的な関係を示す情報を算出する際のパラメータを増やすことができる。これにより、複数のカメラの相対的な関係を高精度に把握することが可能となる。

また、第１発明～第１０発明によれば、撮像画像には、２行２列に配列された４つの貫通孔の画像が少なくとも含まれる。このため、貫通孔が１列のみに配列された場合に比べて、基準部材を基準として複数のカメラの相対的な関係を示す情報を算出し易くすることができる。これにより、複数のカメラの相対的な関係をさらに高精度に把握することが可能となる。

特に、第４発明によれば、算出ステップは、撮像画像毎に特定された位置情報に基づき、第１位置情報、第２位置情報、及び第３回転情報を、それぞれ撮像画像毎に算出する。このため、複数のカメラにおける撮像範囲の相対的な位置・姿勢（第１方向及び第２方向におけるカメラの位置、第３方向の軸周りのカメラの傾き）を、容易に把握することができる。これにより、複数のカメラの相対的な関係をさらに高精度に把握することが可能となる。

特に、第５発明によれば、算出ステップは、撮像画像毎に特定された形状情報に基づき、第１回転情報、及び第２回転情報を、それぞれ撮像画像毎に算出する。このため、複数のカメラにおける撮像範囲の相対的な形状（第１方向及び第２方向の軸周りのカメラの傾き）を、容易に把握することができる。これにより、複数のカメラの相対的な関係をさらに高精度に把握することが可能となる。

特に、第６発明によれば、算出ステップは、撮像画像毎に特定された距離情報に基づき、カメラ毎に縮尺情報を算出する。このため、複数のカメラにおける相対的な縮尺を、容易に把握することができる。これにより、複数のカメラの相対的な関係をさらに高精度に把握することが可能となる。

特に、第７発明によれば、計測ステップは、対象物の複数の撮像画像、及び相対的な関係を示す情報に基づき、対象物における２点間の距離を計測する。このため、カメラ毎の僅かな位置補正や角度補正を実施せずに、対象物における２点間の距離を計測することができる。これにより、カメラの微調整に必要な工数を削減することが可能となる。

特に、第８発明によれば、取得ステップは、２つのカメラにより異なるマーク群を撮像して得られる２つの撮像画像を取得する。このため、平棒状の基準部材を用いて、相対的な関係を示す情報を算出することができる。これにより、基準部材を準備する工数を削減することが可能となる。

特に、第１０発明によれば、取得ステップは、４つのカメラにより異なるマーク群を撮像して得られる４つの撮像画像を取得する。このため、１つの基準部材により４つのカメラの相対的な関係を示す情報を算出することができる。

図１（ａ）及び図１（ｂ）は、第１実施形態における把握方法の一例を示す模式図である。 図２は、基準部材の一例を示す模式図である。 図３は、第１実施形態における把握方法の一例を示すフローチャートである。 図４（ａ）は、第１実施形態における取得ステップの一例を示す模式図であり、図４（ｂ）は、第１実施形態における算出ステップの一例を示す模式図である。 図５（ａ）及び図５（ｂ）は、第１実施形態における算出ステップの他の例を示す模式図である。 図６は、第１実施形態における全相対関係特定ステップの一例を示す模式図である。 図７は、第１実施形態における把握方法の変形例を示す模式図である。 図８は、参考例における把握方法の一例を示す模式図である。

以下、本発明の実施形態としての把握方法、画像処理方法、画像処理プログラム、画像処理装置、及び基準部材の一例について、図面を参照しながら説明する。なお、以下では、基準部材の設置に基づく座標（ワールド座標）、及びカメラの設置に基づく座標（カメラ座標）を用いて説明する。

ワールド座標は、基準部材の主面に沿って互いに交わる方向を第１方向Ｘｗ及び第２方向Ｙｗとし、第１方向Ｘｗ及び第２方向Ｙｗに交わる方向を第３方向Ｚｗとした座標を示し、各方向Ｘｗ、Ｙｗ、Ｚｗは互いに直交してもよい。また、第１方向Ｘｗを中心軸とした回転を示す第１回転角θｘ、第２方向Ｙｗを中心軸とした回転を示す第２回転角θｙ、及び第３方向Ｚｗを中心軸とした回転を示す第３回転角θｚを用いて説明する。また、各方向Ｘｗ、Ｙｗ、Ｚｗは、例えば基準部材の重心を基準点としてもよい。また、第３方向Ｚｗは、例えばカメラから基準部材の向きを正とし、右手系又は左手系の何れかは任意である。

カメラ座標は、撮像画像における撮像平面に沿って互いに直交する方向を第１画像方向ｘ、第２画像方向ｙとし、第１画像方向ｘ及び第２画像方向ｙに直交し、カメラの光軸方向に一致する方向を第３画像方向ｚとした座標を示す。また、第１画像方向ｘを中心軸とした回転を示す第１画像回転角α、第２画像方向ｙを中心軸とした回転を示す第２画像回転角β、及び第３画像方向ｚを中心軸とした回転を示す第３画像回転角γを用いて説明する。また、第３画像方向ｚは、例えばカメラから基準部材の向きを正とし、右手系又は左手系の何れかは任意である。

（第１実施形態：把握方法）
図１（ａ）及び図１（ｂ）は、第１実施形態における把握方法の一例を示す模式図である。図１（ａ）に示すように、本実施形態では、水平に載置される対象物２の上方に、複数のカメラ１１、１２（以下、「カメラ１」と称する）が設置されている。本実施形態における把握方法は、対象物２の異なる部分を撮像するために設置された複数のカメラ１の相対的な関係を把握するために用いられる。把握方法を実施することで、例えばカメラ１毎の配置を微調整することなく、対象物２における任意の２点２ａ、２ｂ間の距離ｄａｂを計測することが可能となる。上記に加え、把握方法を実施することで、対象物２の寸法や、位置姿勢情報（水平面内における基準位置に対する位置ずれや傾き）を取得することができる。また、把握方法により算出された相対的な関係を示す情報は、対象物２の搬送等に用いるロボット座標系と関連付けることができるため、例えばビジュアルフィードバックによるロボットのハンド位置補正等のような、ロボットの制御に用いることができる。

相対的な関係は、例えば複数のカメラ１における撮像範囲Ｉの相対的な位置や形状（傾き）のほか、複数のカメラ１における相対的な縮尺等を示す。相対的な関係は、ワールド座標に基づき表現されるほか、例えば特定のカメラ１におけるカメラ座標や、カメラ座標に紐づく画像座標に基づき表現されてもよい。

対象物２は、例えばプリント基板のような絶縁体基材や、鋼板等の公知の平板状部材を示し、用途に応じて任意に設定できる。カメラ１は、ＣＣＤカメラ等の公知の撮像装置を用いることができる。カメラ１は、対象物２の全体を撮像する従来の撮像装置に比べ、安価で低解像度の撮像装置が用いられ得る。

＜基準部材Ｓ＞
把握方法は、例えば図２に示すような基準部材Ｓを用いて、複数のカメラ１の相対的な関係を示す情報を算出する。基準部材Ｓは、例えば主面を有する平板状の部材を示す。基準部材Ｓとして、例えば長辺と短辺を有する平棒状の部材が用いられる。基準部材Ｓの大きさは任意であり、例えば対象物２と同等の大きさを示す。なお、基準部材Ｓの重心Ｇは、例えばグローバル座標系の基準点として設定される。

＜＜マーク群Ｆ＞＞
基準部材Ｓは、複数のマークｆを含むマーク群Ｆを有する。マーク群Ｆは、基準部材Ｓにおける同一の主面上の２ヶ所以上に形成される（図２では２つのマーク群Ｆ１、Ｆ２）。マーク群Ｆに含まれる複数のマークｆは、例えば距離Ｐの間隔で配列される。マーク群Ｆは、例えば基準部材Ｓの両端、又は角Ｃ近傍に形成される。

マーク群Ｆは、例えば２行２列に配列された４つのマークｆを少なくとも含む。ここで、「２行２列に配列」とは、例えば第１方向Ｘｗに沿って形成された２つのマークｆの組が、第２方向Ｙｗに沿って２組形成された状態を示す。

なお、マークｆの配列は、図２のように格子状に配列されるほか、例えば千鳥格子状等に配列されてもよく、用途に応じて任意に設定することができる。そのため、近接するマークｆ間の距離Ｐは、第１方向Ｘｗに沿った距離、及び第２方向Ｙｗに沿った距離を示すほか、第１方向Ｘｗ及び第２方向Ｙｗに交わる方向に沿った距離を示してもよい。また、距離Ｐは、近接するマークｆ毎に異なってもよく、用途に応じて任意に設定することができる。

マークｆは、例えば直径ｄの貫通孔であるほか、溝（貫通していない穴）、凸部、印刷画像、シール画像等のように、撮像時に認識できる形態であれば任意である。特に、マークｆとして貫通孔が用いられる場合、基準部材Ｓに対して高精度な貫通孔を加工することができるため、検出精度を向上させることが可能となる。

把握方法は、例えば図３に示すように、用意ステップＳ１１０と、取得ステップＳ１２０と、算出ステップＳ１３０とを備え、例えば全相対関係特定ステップＳ１４０を備えてもよいほか、撮像ステップＳ１５０及び計測ステップＳ１６０を備えてもよい。

＜用意ステップＳ１１０＞
用意ステップＳ１１０は、基準部材Ｓを用意する。用意ステップＳ１１０は、例えば予め設置された複数のカメラ１の想定される撮像範囲Ｉに、基準部材Ｓのマーク群Ｆを設置する。なお、基準部材Ｓは水平に設置される。

＜取得ステップＳ１２０＞
取得ステップＳ１２０は、基準部材Ｓの異なるマーク群Ｆを複数のカメラ１により撮像して、複数の撮像画像Ｄを取得する。例えば図４（ａ）に示すように、取得ステップＳ１２０は、２つのカメラ１により撮像して得られた第１撮像画像Ｄ１、及び第２撮像画像Ｄ２を取得する。第１撮像画像Ｄ１には、基準部材Ｓの一方の端部に形成された第１マーク群Ｆ１の画像が含まれる。第２撮像画像Ｄ２には、基準部材Ｓの他方の端部に形成された第２マーク群Ｆ２の画像が含まれる。なお、「撮像画像Ｄ」は、カメラ１を用いて撮像された画像のデジタルデータ（画像データ）を示す。

＜算出ステップＳ１３０＞
算出ステップＳ１３０は、複数の撮像画像Ｄ、及び複数のマークｆに関する情報に基づき、複数のカメラ１の相対的な関係を示す情報を算出する。算出ステップＳ１３０は、例えばＯｐｅｎＣＶ（Open Source Computer Vision）ライブラリに実装される公知の関数を利用することで、実現することができる。

算出ステップＳ１３０では、例えばマークｆに関する情報として、基準部材Ｓの重心Ｇを基準点としたワールド座標におけるマークｆの位置が用いられる。この場合、算出ステップＳ１３０は、撮像画像Ｄに撮像された複数のマークｆに対し、カメラ座標に紐づく画像座標における位置を導出する。そして、算出ステップＳ１３０は、ワールド座標におけるマークｆの位置、及び画像座標におけるマークｆの位置に基づき、カメラ１毎に対応するカメラ行列を求める。なお、上述したカメラ行列の求め方として、公知の方法を用いることができる。

算出ステップＳ１３０は、上述した複数のカメラ１に対応するカメラ行列を比較し、相対的な関係を示す情報として算出するほか、例えばカメラ行列を用いて、下記の少なくとも何れかを、相対的な関係を示す情報として算出してもよい。

＜＜第１位置情報、第２位置情報、第３回転情報＞＞
例えばマークｆに関する情報は、基準部材Ｓ上のマークｆの位置を示す位置情報を含む。位置情報は、互いに隣接するマークｆ間の距離Ｐ（後述する距離情報）、及びマークｆの数を含む。位置情報は、例えば基準部材Ｓの重心Ｇを基準点としたマークｆの位置、基準部材Ｓの長辺、及び基準部材Ｓの短辺の少なくとも何れかを含んでもよい。

マークｆに関する情報が位置情報を含む場合、算出ステップＳ１３０は、第１位置情報、第２位置情報、及び第３回転情報の少なくとも何れかを、複数のカメラ１の相対的な関係を示す情報として算出することができる。これにより、例えば図４（ｂ）に示すように、基準部材Ｓを基準とした複数の撮像範囲Ｉの相対的な位置を、容易に把握することができる。

第１位置情報は、第１方向Ｘｗにおける撮像範囲Ｉの位置を示す。第２位置情報は、第２方向Ｙｗにおける撮像範囲Ｉの位置を示す。第３回転情報は、撮像範囲Ｉの第３回転角θｚの大きさを示す。なお、第１位置情報、及び第２位置情報は、撮像範囲Ｉの中心位置を示すほか、例えば撮像範囲Ｉの対象となる範囲を示してもよい。

例えば図４（ｂ）に示す撮像範囲Ｉ１、Ｉ２を算出する場合、算出ステップＳ１３０は、撮像画像Ｄ１、Ｄ２に含まれる複数のマークｆに対応する位置情報を特定する。そして、算出ステップＳ１３０は、撮像画像Ｄ１、Ｄ２毎に特定された位置情報に基づき、第１位置情報、第２位置情報、及び第３回転情報を、それぞれ撮像画像Ｄ１、Ｄ２毎に算出する。これにより、撮像画像Ｄ１、Ｄ２に対応する撮像範囲Ｉ１、Ｉ２と、基準部材Ｓとの位置関係を示すための情報を算出することができ、例えば図４（ｂ）に示すように、基準部材Ｓの重心Ｇを基準点としたグローバル座標上に、撮像画像Ｄ１、Ｄ２に対応する撮像範囲Ｉ１、Ｉ２の相対的な位置を表現することができる。なお、図４（ｂ）の相対関係を導く際の位置情報の一例は、下記の通りである。
基準部材Ｓの長辺：３００ｍｍ
基準部材Ｓの短辺：３０ｍｍ
マークｆ間の距離Ｐ：１５ｍｍ
マークｆの数：１６（４行２列のマーク群Ｆが２つ）
横軸（第１方向Ｘｗ）、縦軸（第２方向Ｙｗ）の単位：ｍｍ

＜＜第１回転情報、第２回転情報＞＞
例えばマークｆに関する情報は、基準部材Ｓ上の複数のマークｆの位置関係を示す形状情報を含む。形状情報は、例えば複数のマークｆを頂点と見做した形（例えば長方形、正方形、三角形等）を示し、例えば複数のマークｆの位置情報より算出され得る。形状情報は、例えばマークｆ毎の形（例えば孔状、円形状、矩形状等）を示してもよい。形状情報として、公知の画像認識技術により認識できる程度のであれば任意である。

マークｆに関する情報が形状情報を含む場合、算出ステップＳ１３０は、第１回転情報、及び第２回転情報の少なくとも何れかを、複数のカメラ１の相対的な関係を示す情報として算出することができる。これにより、複数のカメラ１における撮像範囲Ｉの相対的な形状（つまり、第１方向Ｘｗ周り及び第２方向Ｙｗ周りのカメラ１の傾き）を、容易に把握することができる。

第１回転情報は、撮像範囲Ｉの第１回転角θｘの大きさを示す。第２回転情報は、撮像範囲Ｉの第２回転角θｙの大きさを示す。

例えば算出ステップＳ１３０は、撮像画像Ｄに含まれる複数のマークｆに対応する形状情報を特定する。そして、算出ステップＳ１３０は、撮像画像Ｄ毎に特定された形状情報に基づき、第１回転情報、及び第２回転情報を、それぞれ撮像画像Ｄ毎に算出する。これにより、撮像画像Ｄに対応する撮像範囲Ｉの相対的な形状（カメラ１の傾き）を示すための情報を算出することができる。

例えば形状情報として、２行２列に配列された４つのマークｆが正方形をなす情報が用いられる場合、撮像画像Ｄに含まれる４つのマークｆが正方形をなしていれば、カメラ１が第１方向Ｘｗ及び第２方向Ｙｗ周りに傾いていないと推定することができる。他方、撮像画像Ｄに含まれる４つのマークｆが正方形以外（例えば台形）をなしていれば、カメラ１が第１方向Ｘｗ及び第２方向Ｙｗ周りの少なくとも何れかに傾いており、撮像範囲Ｉの形状が理想的な形状とは異なると推定することができる。なお、撮像範囲Ｉの形状の導出は、例えばホモグラフィー変換等の公知の座標変換方法を用いることができる。

なお、マークｆに関する情報として、形状情報に加えて位置情報を用いた場合、例えば図５（ａ）に示すように、基準部材Ｓの重心Ｇを基準としたグローバル座標上に、撮像画像Ｄ１、Ｄ２に対応する撮像範囲Ｉ１、Ｉ２の相対的な位置及び形状を表現することができる。

＜＜縮尺情報＞＞
例えばマークｆに関する情報は、基準部材Ｓ上の互いに近接するマークｆ間の距離Ｐを示す距離情報を含む。マークｆに関する情報が距離情報を含む場合、算出ステップＳ１３０は、カメラ１の縮尺を示す縮尺情報を、複数のカメラ１の相対的な関係を示す情報として算出することができる。これにより、複数のカメラ１における相対的な縮尺を、容易に把握することができる。

縮尺情報は、例えばカメラ１の作動距離（ＷＤ：Working Distance）、焦点距離、及び画素ピッチに関する情報を含む。

例えば算出ステップＳ１３０は、撮像画像Ｄに含まれる複数のマークｆに対応する距離情報を特定する。そして、算出ステップＳ１３０は、撮像画像Ｄ毎に特定された距離情報に基づき、カメラ１毎に縮尺情報を算出する。これにより、撮像画像Ｄに対応するカメラ１の相対的な縮尺を示すための情報を算出することができる。

なお、マークｆに関する情報として、距離情報に加えて位置情報及び形状情報を用いた場合、例えば図５（ｂ）に示すように、基準部材Ｓの重心Ｇを基準としたグローバル座標上に、撮像画像Ｄ１、Ｄ２に対応する撮像範囲Ｉ１、Ｉ２の相対的な位置、形状及び大きさを表現することができる。図５（ｂ）では、撮像範囲Ｉ１に対応するカメラ１の作動距離が、撮像範囲Ｉ２に対応するカメラ１の作動距離よりも短い点が反映されており、撮像範囲Ｉ１の面積は、撮像範囲Ｉ２の面積よりも小さい。

＜全相対関係特定ステップＳ１４０＞
例えば全相対関係特定ステップＳ１４０は、相対的な関係を示す情報が算出されたカメラ１を用いて、他の基準部材Ｓを撮像し、他の基準部材Ｓの配置状態を特定する。全相対関係特定ステップＳ１４０では、例えば図６に示すように、用意ステップＳ１１０、取得ステップＳ１２０及び算出ステップＳ１３０で用いた基準部材Ｓ（第１基準部材Ｓ１）の重心Ｇ１を基準点としたワールド座標において、他の基準部材Ｓ（第２基準部材Ｓ２）の位置を特定することができる。基準部材Ｓ２は、相対的な関係を示す情報が算出されたカメラ１に対応する撮像範囲Ｉ２と、相対的な関係を示す情報が算出されていないカメラ１に対応する撮像範囲Ｉ３との間に設置される。

全相対関係特定ステップＳ１４０は、撮像範囲Ｉ２に含まれる複数のマークｆ（例えばｆ２１、ｆ２２）を撮像し、撮像画像Ｄを取得する。この際、撮像範囲Ｉ２に対応するカメラ１の相対的な関係を示す情報は、算出ステップＳ１３０において算出済みである。

そして、全相対関係特定ステップＳ１４０は、撮像されたマークｆ２１、ｆ２２に対し、カメラ座標に紐づく画像座標における位置を導出する。そして、全相対関係特定ステップＳ１４０は、例えばカメラ行列に基づき、マークｆ２１、ｆ２２の画像座標における位置を、ワールド座標における位置に変換する。この際、予め設定されたマークｆ２１と、第２基準部材Ｓ２の重心Ｇ２との位置関係に基づき、重心Ｇ２のワールド座標における位置を導出することができる。そして、全相対関係特定ステップＳ１４０は、例えばマークｆ２１からマークｆ２２までのベクトルに基づき、基準部材Ｓ１に対して基準部材Ｓ２の設置された第３回転角θｚを特定する。

なお、全相対関係特定ステップＳ１４０のあと、例えば基準部材Ｓ２を用いて取得ステップＳ１２０及び算出ステップＳ１３０を実施することで、撮像範囲Ｉ２、Ｉ３に対応するカメラ１の相対的な関係を示す情報を算出することができる。これにより、撮像範囲Ｉ１～Ｉ３に対応するカメラ１の相対的な関係を示す情報を算出することができる。この際、第１基準部材Ｓ１の重心Ｇ１を基準点としたワールド座標を用いるほか、第２基準部材Ｓ２の重心Ｇ２を基準点としたワールド座標を用いて、カメラ１の相対的な関係を示す情報を算出してもよい。

また、第３基準部材Ｓ３又は第４基準部材Ｓ４を用いて、全相対関係特定ステップＳ１４０、取得ステップＳ１２０、及び算出ステップＳ１３０を実施することで、撮像範囲Ｉ１～Ｉ４に対応するカメラ１の相対的な関係を示す情報を算出することができる。なお、第３基準部材Ｓ３を使用する場合（第１基準部材Ｓ１→撮像範囲Ｉ１→撮像範囲Ｉ２→第２基準部材Ｓ２→撮像範囲Ｉ３→第３基準部材Ｓ３→撮像範囲Ｉ４）と比較して、第４基準部材Ｓ４を使用する場合（第１基準部材Ｓ１→撮像範囲Ｉ２→第２基準部材Ｓ２→撮像範囲Ｉ３、第１基準部材Ｓ１→撮像範囲Ｉ１→第４基準部材Ｓ４→撮像範囲Ｉ４）の方が、誤差が少なく好ましい。

＜撮像ステップＳ１５０、計測ステップＳ１６０＞
例えば算出ステップＳ１３０で求めた相対的な関係を示す情報に基づき、撮像ステップＳ１５０及び計測ステップＳ１６０を実施し、対象物２における２点間の距離を計測してもよい。この場合、例えば図１（ａ）及び図１（ｂ）に示すように、計測対象とする計測位置２ａ、２ｂが撮像範囲Ｉに含まれることで、容易に計測を実施することが可能となる。

撮像ステップＳ１５０は、複数のカメラ１により対象物２の異なる部分を撮像して、複数の撮像画像Ｄを取得する。例えば図１（ａ）及び図１（ｂ）では、対象物２の異なる部分として、２つの計測位置２ａ、２ｂを示す。

計測ステップＳ１６０は、対象物２の複数の撮像画像Ｄ、及び相対的な関係を示す情報に基づき、対象物２における２点間の距離を計測する。例えば相対的な関係を示す情報として、図１（ａ）に示す撮像範囲Ｉ１、Ｉ２の相対的な位置を示す情報が用いられた場合、計測ステップＳ１６０では、撮像範囲Ｉ１、Ｉ２に含まれる計測位置２ａ、２ｂのワールド座標における位置を特定することができる。これにより、計測ステップＳ１６０では、計測位置２ａ、２ｂの間の距離ｄａｂを求めることができる。

上述した各ステップＳ１１０～Ｓ１６０を経て、把握方法が終了する。なお、画像処理方法では、上述した各ステップＳ１１０～Ｓ１６０の実施回数や、実施するタイミングは、任意に設定することができる。

本実施形態によれば、取得ステップＳ１２０は、基準部材Ｓの異なるマーク群Ｆを複数のカメラ１により撮像した複数の撮像画像Ｄを取得する。また、算出ステップＳ１３０は、複数の撮像画像Ｄ、及び複数のマークｆに関する情報に基づき、複数のカメラ１の相対的な関係を示す情報を算出する。即ち、マーク群Ｆに含まれる複数のマークｆを用いて、複数のカメラ１の相対的な関係を示す情報を算出することができる。このため、１つのマークのみを用いた算出方法に比べて、相対的な関係を示す情報を算出する際のパラメータを増やすことができる。これにより、複数のカメラ１の相対的な関係を高精度に把握することが可能となる。

また、本実施形態によれば、撮像画像Ｄには、２行２列に配列された４つのマークｆの画像が少なくとも含まれる。このため、マークが１列のみに配列された場合に比べて、基準部材Ｓを基準として複数のカメラ１の相対的な関係を示す情報を算出し易くすることができる。これにより、複数のカメラ１の相対的な関係をさらに高精度に把握することが可能となる。

また、本実施形態によれば、算出ステップＳ１３０は、撮像画像Ｄ毎に特定された位置情報に基づき、第１位置情報、第２位置情報、及び第３回転情報を、それぞれ撮像画像Ｄ毎に算出する。このため、複数のカメラ１における撮像範囲Ｉの相対的な位置・姿勢（第１方向Ｘｗ及び第２方向Ｙｗにおけるカメラ１の位置、第３方向Ｚｗの軸周りのカメラ１の傾き）を、容易に把握することができる。これにより、複数のカメラ１の相対的な関係をさらに高精度に把握することが可能となる。

また、本実施形態によれば、算出ステップＳ１３０は、撮像画像Ｄ毎に特定された形状情報に基づき、第１回転情報、及び第２回転情報を、それぞれ撮像画像Ｄ毎に算出する。このため、複数のカメラ１における撮像範囲Ｉの相対的な形状（第１方向Ｘｗ及び第２方向Ｙｗの軸周りのカメラ１の傾き）を、容易に把握することができる。これにより、複数のカメラ１の相対的な関係をさらに高精度に把握することが可能となる。

また、本実施形態によれば、算出ステップＳ１３０は、撮像画像Ｄ毎に特定された距離情報に基づき、カメラ１毎に縮尺情報を算出する。このため、複数のカメラ１における相対的な縮尺を、容易に把握することができる。これにより、複数のカメラ１の相対的な関係をさらに高精度に把握することが可能となる。

また、本実施形態によれば、全相対関係特定ステップＳ１４０は、相対的な関係を示す情報が算出されたカメラ１を用いて、他の基準部材Ｓを撮像し、他の基準部材Ｓの配置状態を特定する。このため、カメラ１毎の僅かな位置補正や角度補正を実施せずに、他の基準部材Ｓの配置状態を特定することができる。これにより、カメラ１の微調整に必要な工数を削減することが可能となる。

また、本実施形態によれば、計測ステップＳ１６０は、対象物２の複数の撮像画像Ｄ、及び相対的な関係を示す情報に基づき、対象物２における２点間の距離を計測する。このため、カメラ１毎の僅かな位置補正や角度補正を実施せずに、対象物２における２点間の距離を計測することができる。これにより、カメラ１の微調整に必要な工数を削減することが可能となる。

また、本実施形態によれば、取得ステップＳ１２０は、２つのカメラ１により異なるマーク群Ｆを撮像して得られる２つの撮像画像Ｄを取得する。このため、平棒状の基準部材Ｓを用いて、相対的な関係を示す情報を算出することができる。これにより、基準部材Ｓを準備する工数を削減することが可能となる。

（第１実施形態：把握方法の変形例）
次に、本実施形態における把握方法の変形例について説明する。上述した実施形態と、変形例との違いは、１つの基準部材Ｓにより４つのカメラ１の関係を把握する点である。なお、上述した実施形態と同様の内容については、説明を省略する。

本変形例における把握方法では、例えば図７に示すように、平板状の基準部材Ｓが用いられる。基準部材Ｓは、４つのマーク群Ｆ１～Ｆ４を四隅（例えば４つの角Ｃ１～Ｃ４近傍）に有し、各マーク群Ｆ１～Ｆ４は、３行３列に配列された９個のマークｆをそれぞれ有する。基準部材Ｓの主面は、例えば撮像範囲Ｉよりも大きい面積を有する。なお、「角Ｃ近傍」とは、重心Ｇよりも角Ｃに近い位置を示す。

取得ステップＳ１２０は、４つのカメラ１により異なるマーク群Ｆを撮像して得られる４つの撮像画像Ｄを取得する。例えば図７に示すように、４つのマーク群Ｆ１～Ｆ４は、それぞれ異なる撮像範囲Ｉ１～Ｉ４に含まれる。この場合、例えば角Ｃが、撮像範囲Ｉに含まれてもよい。また、各撮像範囲Ｉ１～Ｉ４は、例えば理想とする撮像範囲Ｅ１～Ｅ４とは異なる範囲を示してもよい。

そして、算出ステップＳ１３０は、４つの撮像画像Ｄ、及びマークｆに関する情報に基づき、４つのカメラ１の相対的な関係を示す情報を算出する。算出ステップＳ１３０は、上述した内容と同様の方法を用いることができる。

本変形例によれば、取得ステップＳ１２０は、４つのカメラ１により異なるマーク群Ｆを撮像して得られる４つの撮像画像Ｄを取得する。このため、１つの基準部材Ｓにより４つのカメラ１の相対的な関係を示す情報を算出することができる。

（実施形態：画像処理方法）
本実施形態における画像処理方法は、上述した取得ステップＳ１２０と、算出ステップＳ１３０とを備え、例えば全相対関係特定ステップＳ１４０を備えてもよく、例えば撮像ステップＳ１５０、及び計測ステップＳ１６０を備えてもよい。

本実施形態における画像処理方法よれば、上述した把握方法と同様に、１つのマークのみを用いた算出方法に比べて、相対的な関係を示す情報を算出する際のパラメータを増やすことができる。これにより、複数のカメラ１の相対的な関係を高精度に把握することが可能となる。

（実施形態：画像処理装置）
本実施形態における画像処理装置は、取得部と、算出部とを備え、例えば全相対関係特定部、及び計測部の少なくとも何れかを備えてもよい。取得部は、上述した実施形態における取得ステップＳ１２０を実施することができる。算出部は、上述した実施形態における算出ステップＳ１３０を実施することができる。全相対関係特定部は、上述した実施形態における全相対関係特定ステップＳ１４０を実施することができる。計測部は、上述した実施形態における撮像ステップＳ１５０及び計測ステップＳ１６０を実施することができる。

画像処理装置は、例えばパーソナルコンピュータや、携帯端末等の公知の電子機器を示し、例えばユーザの操作に基づき、通信網を介して通信可能な電子機器を示す。画像処理装置は、例えばＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、記憶部とを含む。ＣＰＵは、画像処理装置全体を制御する。ＲＯＭは、ＣＰＵの動作コードを格納する。ＲＡＭは、ＣＰＵの動作時に使用される作業領域である。記憶部には、複数のマークｆに関する情報や関数等の各種情報が記憶される。記憶部として、例えばＨＤＤ（Hard Disk Drive）のほか、ＳＳＤ（Solid State Drive）等のデータ保存装置が用いられる。取得部及び算出部は、例えばＣＰＵが、ＲＡＭを作業領域として、保存部等に記憶されたプログラムを実行することにより実現される。

本実施形態における画像処理装置よれば、上述した把握方法と同様に、取得部は、基準部材Ｓの異なるマーク群Ｆを複数のカメラ１により撮像した複数の撮像画像Ｄを取得する。また、算出部は、複数の撮像画像Ｄ、及び複数のマークｆに関する情報に基づき、複数のカメラ１の相対的な関係を示す情報を算出する。即ち、マーク群Ｆに含まれる複数のマークｆを用いて、複数のカメラ１の相対的な関係を示す情報を算出することができる。このため、１つのマークのみを用いた算出方法に比べて、相対的な関係を示す情報を算出する際のパラメータを増やすことができる。これにより、複数のカメラ１の相対的な関係を高精度に把握することが可能となる。

（実施形態：画像処理プログラム）
本実施形態における画像処理プログラムは、上述した取得ステップＳ１２０、及び算出ステップＳ１３０等を、コンピュータに実行させるためのプログラムを示す。画像処理プログラムは、例えば上述した画像処理装置の記憶部等に記憶される。

本実施形態における画像処理プログラムによれば、上述した把握方法と同様に、１つのマークのみを用いた算出方法に比べて、相対的な関係を示す情報を算出する際のパラメータを増やすことができる。これにより、複数のカメラ１の相対的な関係を高精度に把握することが可能となる。

（実施形態：基準部材Ｓ）
本実施形態における基準部材Ｓは、対象物２の異なる部分を撮像するために設置された複数のカメラ１の相対的な関係を把握するために用いられる。基準部材Ｓは、複数のマークｆからなるマーク群Ｆが同一の主面上の２ヶ所以上に形成されている。基準部材Ｓは、上述した把握方法、画像処理方法、画像処理装置、及び画像処理プログラムの少なくとも何れかに用いることができる。

本実施形態によれば、基準部材Ｓは、複数のマークｆからなるマーク群Ｆが同一の主面上の２ヶ所以上に形成されている。即ち、マーク群Ｆに含まれる複数のマークｆを用いて、複数のカメラ１の相対的な関係を示す情報を算出することができる。このため、１つのマークのみを用いた算出方法に比べて、相対的な関係を示す情報を算出する際のパラメータを増やすことができる。これにより、複数のカメラ１の相対的な関係を高精度に把握することが可能となる。

（参考例：把握方法）
次に、参考例における把握方法の一例について説明する。上述した実施形態と、参考例との違いは、基準部材Ｓの角Ｃの変動度合に基づき、相対的な関係を示す情報を算出する点である。なお、参考例の基準部材Ｓは、不図示の移動機構により水平面内（第１方向Ｘｗ及び第２方向Ｙｗ）で移動可能に構成されており、基準部材Ｓにはマークが設けられていない。上述した実施形態と同様の内容については、説明を省略する。

取得ステップＳ１２０は、例えば図８に示すように、予め設定された移動量Ｔに基づく移動前における基準部材Ｓｆの角Ｃｆ、及び移動後における基準部材Ｓｓの角Ｃｓを撮像対象として、複数のカメラ１を用いて撮像した複数の撮像画像Ｄを取得する。例えば４つのカメラ１を用いて取得ステップＳ１２０を実施した場合、撮像範囲Ｉ１～Ｉ４には、それぞれ異なる移動前の角Ｃｆ１～Ｃｆ４、及び移動後の角Ｃｓ１～Ｃｓ４が含まれるように、用意ステップＳ１１０において基準部材Ｓを設置する。これにより、撮像範囲Ｉ１～Ｉ４において撮像された複数の撮像画像Ｄを用いて、基準部材Ｓの移動前後における配置の違いを認識させることができる。

移動量Ｔは、例えば移動前後における第１方向Ｘｗ及び第２方向Ｙｗの変化量を示すほか、例えば移動前における角Ｃｆの位置、及び移動後における角Ｃｓの位置を示してもよい。移動量Ｔは、例えば角Ｃの移動軌跡を示してもよい。なお、移動量Ｔは、例えば角Ｃ毎に異なる場合もあり、任意に設定することができる。

取得ステップＳ１２０は、例えば複数回実施してもよい。即ち、基準部材Ｓの移動と角Ｃｓの撮像とが繰り返されることにより、１つの撮像範囲Ｉにおいて、３つ以上の撮像画像Ｄが撮像されてもよい。これにより、算出ステップＳ１３０において算出される相対的な関係を示す情報の精度を向上させることが可能となる。

算出ステップＳ１３０は、複数の撮像画像Ｄ、及び移動量Ｔに関する移動情報に基づき、複数のカメラ１の相対的な関係を示す情報を算出する。算出ステップＳ１３０は、例えば上記と同様に、ＯｐｅｎＣＶライブラリに実装される公知の関数を利用することで、実現することができる。

参考例によれば、取得ステップＳ１２０は、移動量Ｔに基づく移動前における基準部材Ｓｆの角Ｃｆ、及び移動後における基準部材Ｓｓの角Ｃｓを撮像対象として、複数のカメラ１を用いて撮像した複数の撮像画像Ｄを取得する。また、算出ステップＳ１３０は、複数の撮像画像Ｄ、及び移動量Ｔに基づき、複数のカメラ１の相対的な関係を示す情報を算出する。このため、撮像画像Ｄに含まれる移動前後の角Ｃｆ、Ｃｓにおける位置関係、及び移動量Ｔを用いて、複数のカメラ１の相対的な関係を示す情報を算出することができる。これにより、複数のカメラ１の相対的な関係を高精度に把握することが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、１１、１２：カメラ
２ ：対象物
Ｃ ：角
Ｄ ：撮像画像
Ｅ ：理想とする撮像範囲
Ｆ ：マーク群
Ｇ ：重心
Ｉ ：撮像範囲
Ｐ ：距離
Ｓ ：基準部材
Ｓ１１０ ：用意ステップ
Ｓ１２０ ：取得ステップ
Ｓ１３０ ：算出ステップ
Ｓ１４０ ：全相対関係特定ステップ
Ｓ１５０ ：撮像ステップ
Ｓ１６０ ：計測ステップ
Ｔ ：移動量
Ｘｗ ：第１方向
Ｙｗ ：第２方向
Ｚｗ ：第３方向
θｘ ：第１回転角
θｙ ：第２回転角
θｚ ：第３回転角
ｄａｂ ：距離
ｆ ：マーク
ｘ ：第１画像方向
ｙ ：第２画像方向
ｚ ：第３画像方向
α ：第１画像回転角
β ：第２画像回転角
γ ：第３画像回転角

Claims (10)

1. 水平に載置される対象物の異なる部分を上方から撮像するために前記対象物が載置される領域の上方に設置された複数のカメラ間の相対的な関係を把握する把握方法であって、
   複数のマークとして、２行２列に配列された４つの貫通孔を少なくとも含むマーク群が同一の主面上の２ヶ所以上に形成された基準部材を、前記複数のカメラの各撮像範囲に異なる前記マーク群が収まるように、前記領域に載置する用意ステップと、
   前記領域に載置された前記基準部材の異なる前記マーク群を前記複数のカメラにより撮像して、前記４つの貫通孔の画像を少なくともそれぞれ含む複数の撮像画像を取得する取得ステップと、
   前記複数の撮像画像、及び前記複数のマークに関する情報に基づき、前記複数のカメラ間の相対的な関係を示す情報を算出する算出ステップと、
   を備える把握方法。
2. 前記複数のカメラの撮像範囲が、前記基準部材を基準とするグローバル座標上で把握される、請求項１に記載の把握方法。
3. 前記領域に対象物を載置するステップと、
   前記領域に載置された前記対象物の異なる部分を前記複数のカメラにより撮像して、複数の撮像画像を取得するステップと、
   をさらに備える、
   請求項１又は２に記載の把握方法。
4. 前記マークに関する情報は、前記基準部材上の前記マークの位置を示す位置情報を含み、
   前記相対的な関係を示す情報は、
   前記主面に沿う第１方向における、前記カメラの撮像範囲の位置を示す第１位置情報と、
   前記第１方向に交わり、前記主面に沿う第２方向における前記撮像範囲の位置を示す第２位置情報と、
   前記第１方向、及び前記第２方向に交わる第３方向の中心軸に対し、前記撮像範囲の回転角を示す第３回転情報と、
   を含み、
   前記算出ステップは、
   前記撮像画像に含まれる前記複数のマークに対応する前記位置情報を特定し、
   前記撮像画像毎に特定された前記位置情報に基づき、前記第１位置情報、前記第２位置情報、及び前記第３回転情報を、それぞれ前記撮像画像毎に算出する、
   請求項１又は２に記載の把握方法。
5. 前記マークに関する情報は、前記基準部材上の前記複数のマークの位置関係を示す形状情報を含み、
   前記相対的な位置関係を示す情報は、
   前記主面に沿う第１方向の中心軸に対し、前記カメラの撮像範囲の回転角を示す第１回転情報と、
   前記第１方向に交わり、前記主面に沿う第２方向の中心軸に対し、前記撮像範囲の回転角を示す第２回転情報と、
   を含み、
   前記算出ステップは、
   前記撮像画像に含まれる前記複数のマークに対応する前記形状情報を特定し、
   前記撮像画像毎に特定された前記形状情報に基づき、前記第１回転情報、及び前記第２回転情報を、それぞれ前記撮像画像毎に算出する、
   請求項１又は２に記載の把握方法。
6. 前記マークに関する情報は、前記基準部材上の互いに近接する前記マーク間の距離を示す距離情報を含み、
   前記相対的な位置関係を示す情報は、前記カメラの縮尺を示す縮尺情報を含み、
   前記算出ステップは、
   前記撮像画像に含まれる前記複数のマークに対応する前記距離情報を特定し、
   前記撮像画像毎に特定された前記距離情報に基づき、前記カメラ毎に前記縮尺情報を算出する、
   請求項１又は２に記載の把握方法。
7. 前記対象物の前記複数の撮像画像、及び前記相対的な関係を示す情報に基づき、前記対象物における２点間の距離を計測する計測ステップをさらに備える、
   請求項３記載の把握方法。
8. 前記基準部材の形状は、平棒状を示し、
   前記基準部材は、２つの前記マーク群を両端に有し、
   前記取得ステップは、２つの前記カメラにより異なる前記マーク群を撮像して得られる２つの前記撮像画像を取得する、
   請求項１又は２に記載の把握方法。
9. 前記２つのカメラの一方のカメラの撮像範囲と更に他のカメラの撮像範囲に、異なる前記マーク群が収まるように、前記一方のカメラと前記更に他のカメラの下方に平棒状の他の前記基準部材を載置するステップと、
   前記一方のカメラおよび前記更に他のカメラにより前記他の基準部材の異なるマーク群を撮像して、２つの撮像画像を取得するステップと、
   をさらに備える、
   請求項８に記載の把握方法。
10. 前記基準部材の形状は、平板状を示し、
    前記基準部材は、４つの前記マーク群を四隅に有し、
    前記取得ステップは、４つの前記カメラにより異なる前記マーク群を撮像して得られる４つの前記撮像画像を取得する、
    請求項１又は２に記載の把握方法。

Images