JPWO2016047808A1 - 撮像装置の校正システム、作業機械及び撮像装置の校正方法 - Google Patents

Abstract

撮像装置の校正システムは、少なくとも２個の撮像装置と、少なくとも２個の前記撮像装置のうち、第１の撮像装置と第２の撮像装置との距離を一定として前記第２の撮像装置の姿勢を規定するパラメータを変化させて、前記第１の撮像装置及び前記第２の撮像装置によって得られた一対の画像間で対応する部分を探索し、探索した結果に基づいて、前記パラメータを求める処理装置と、を含む。

Description

本発明は、作業機械が備える撮像装置を校正するための、撮像装置の校正システム、作業機械及び撮像装置の校正方法に関する。

撮像装置を有する作業機械がある（例えば、特許文献１）。このような作業機械は、撮像装置によって対象を撮像し、撮像結果に基づいて自身の動作を制御したり、撮像した対象の情報を管理装置に送ったりする。

特開２０１２−２３３３５３号公報

特許文献１には、撮像装置を用いて作業機を校正する技術が記載されている。しかし、特許文献１には、作業機械が有する撮像装置を校正することについては記載も示唆もされていない。

本発明は、作業機械が有する撮像装置を校正することを目的とする。

本発明は、少なくとも２個の撮像装置と、少なくとも２個の前記撮像装置のうち、第１の撮像装置と第２の撮像装置との距離を一定として前記第２の撮像装置の姿勢を規定するパラメータを変化させて、前記第１の撮像装置及び前記第２の撮像装置によって得られた一対の画像間で対応する部分を探索し、探索した結果に基づいて、前記パラメータを求める処理装置と、を含む、撮像装置の校正システムである。

前記処理装置は、少なくとも２個の前記撮像装置のうち、第１の撮像装置と第２の撮像装置との距離を一定として前記第２の撮像装置の姿勢を規定するパラメータを変化させて、前記第１の撮像装置及び前記第２の撮像装置によって得られた一対の画像間で対応する部分を探索する探索部と、前記探索部が探索した結果に基づいて、前記撮像装置の姿勢を規定する姿勢パラメータを求める決定部とを有することが好ましい。

前記パラメータは、前記第２の撮像装置の回転を規定するものであることが好ましい。

前記パラメータは、前記第１の撮像装置を中心として前記第２の撮像装置を回転させる第１のパラメータと、前記第２の撮像装置の中心の周りに前記第２の撮像装置を回転させる第２のパラメータとを含むことが好ましい。

前記処理装置は、少なくとも２個の前記撮像装置のうち一対の前記撮像装置によって得られた一対の画像間で対応する部分を探索した結果に基づいて、前記パラメータを求める必要がある前記第１の撮像装置及び前記第２の撮像装置を決定することが好ましい。

前記処理装置は、複数対の前記撮像装置がある場合、探索の成功率が閾値未満である一対の前記撮像装置は前記パラメータを求めることが好ましい。

本発明は、前述した撮像装置の校正システムと、複数の前記撮像装置と、を含む、作業機械である。

本発明は、少なくとも２つの撮像装置で対象を撮像して複数の画像を得て、複数の前記撮像装置のうち一対の撮像装置によって得られた一対の画像間で対応する部分を探索した結果に基づいて一対の前記撮像装置のいずれか一方の姿勢を規定するパラメータを求めるか否かを決定し、前記パラメータを求める場合、一対の前記撮像装置である第１の撮像装置と第２の撮像装置との距離を一定として、前記第２の撮像装置の姿勢を規定するパラメータを変化させて、前記第１の撮像装置及び前記第２の撮像装置によって得られた一対の画像間の対応する部分を探索し、探索した結果に基づいて前記撮像装置の姿勢を規定する姿勢パラメータを求める、撮像装置の校正方法である。

本発明は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することができる。

図１は、実施形態に係る撮像装置の校正システムを備えた油圧ショベルの斜視図である。 図２は、実施形態に係る油圧ショベルの運転席付近を示す斜視図である。 図３は、実施形態に係る油圧ショベルが有する作業機の寸法及び油圧ショベルの座標系を示す図である。 図４は、複数の撮像装置が対象を撮像することによって得られた画像の一例を示す図である。 図５は、複数の撮像装置が撮像する対象の一例を示す図である。 図６は、実施形態に係る撮像装置の校正システムを示す図である。 図７は、一対の撮像装置を用いてバケットの刃の刃先を三次元計測する例を説明する図である。 図８は、一対の撮像装置によって得られた一対の画像を示す図である。 図９は、一対の撮像装置によって得られた一対の画像を示す図である。 図１０は、一対の撮像装置の位置関係を示す斜視図である。 図１１は、撮像装置に対する撮像装置のずれの説明図である。 図１２は、一対の撮像装置によって得られた一対の画像を示す図である。 図１３は、一対の撮像装置によって得られた一対の画像を示す図である。 図１４は、実施形態に係る校正システムが実施形態に係る校正方法を実行する際の処理を示すフローチャートである。 図１５は、姿勢パラメータを求める撮像装置を決定する手法を説明するための図である。 図１６は、姿勢パラメータを求める撮像装置を決定するためのテーブルの一例を示す図である。 図１７は、姿勢パラメータを説明するための図である。 図１８は、姿勢パラメータを説明するための図である。 図１９は、姿勢パラメータを説明するための図である。 図２０は、姿勢パラメータを説明するための図である。 図２１は、姿勢パラメータを説明するための図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。

＜油圧ショベルの全体構成＞
図１は、実施形態に係る撮像装置の校正システムを備えた油圧ショベル１００の斜視図である。図２は、実施形態に係る油圧ショベル１００の運転席付近を示す斜視図である。図３は、実施形態に係る油圧ショベルが有する作業機２の寸法及び油圧ショベル１００の座標系を示す図である。

作業機械である油圧ショベル１００は、車体１及び作業機２を有する。車体１は、旋回体３、運転室４及び走行体５を有する。旋回体３は、走行体５に旋回可能に取り付けられている。旋回体３は、図示しない油圧ポンプ及びエンジン等の装置を収容している。運転室４は旋回体３の前部に配置されている。運転室４内には、図２に示される操作装置２５が配置される。走行体５は履帯５ａ，５ｂを有しており、履帯５ａ，５ｂが回ることにより油圧ショベル１００が走行する。

作業機２は、車体１の前部に取り付けられており、ブーム６、アーム７、作業具としてのバケット８、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２を有する。実施形態において、車体１の前方は、図２に示される運転席４Ｓの背もたれ４ＳＳから操作装置２５に向かう方向側である。車体１の後方は、操作装置２５から運転席４Ｓの背もたれ４ＳＳに向かう方向側である。車体１の前部は、車体１の前方側の部分であり、車体１のカウンタウエイトＷＴとは反対側の部分である。操作装置２５は、作業機２及び旋回体３を操作するための装置であり、右側レバー２５Ｒ及び左側レバー２５Ｌを有する。

ブーム６の基端部は、ブームピン１３を介して車体１の前部に回動可能に取り付けられている。ブームピン１３は、ブーム６の旋回体３に対する回動中心に相当する。アーム７の基端部は、アームピン１４を介してブーム６の先端部に回動可能に取り付けられている。アームピン１４は、アーム７のブーム６に対する回動中心に相当する。アーム７の先端部には、バケットピン１５を介してバケット８が回動可能に取り付けられている。バケットピン１５は、バケット８のアーム７に対する回動中心に相当する。

図３に示されるように、ブーム６の長さ、すなわちブームピン１３とアームピン１４との間の長さはＬ１である。アーム７の長さ、すなわち、アームピン１４とバケットピン１５との間の長さはＬ２である。バケット８の長さ、すなわち、バケットピン１５とバケット８の刃９の先端である刃先Ｐ３との間の長さは、Ｌ３である。

図１に示されるブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２は、それぞれ油圧によって駆動される油圧シリンダである。ブームシリンダ１０の基端部は、ブームシリンダフートピン１０ａを介して旋回体３に回動可能に取り付けられている。ブームシリンダ１０の先端部は、ブームシリンダトップピン１０ｂを介してブーム６に回動可能に取り付けられている。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を駆動する。

アームシリンダ１１の基端部は、アームシリンダフートピン１１ａを介してブーム６に回動可能に取り付けられている。アームシリンダ１１の先端部は、アームシリンダトップピン１１ｂを介してアーム７に回動可能に取り付けられている。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を駆動する。

バケットシリンダ１２の基端部は、バケットシリンダフートピン１２ａを介してアーム７に回動可能に取り付けられている。バケットシリンダ１２の先端部は、バケットシリンダトップピン１２ｂを介して第１リンク部材４７の一端及び第２リンク部材４８の一端に回動可能に取り付けられている。第１リンク部材４７の他端は、第１リンクピン４７ａを介してアーム７の先端部に回動可能に取り付けられている。第２リンク部材４８の他端は、第２リンクピン４８ａを介してバケット８に回動可能に取り付けられている。バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を駆動する。

図３に示されるように、ブーム６とアーム７とバケット８とには、それぞれ第１角度検出部１８Ａと、第２角度検出部１８Ｂと、第３角度検出部１８Ｃとが設けられている。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、例えばストロークセンサである。これらは、それぞれが、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２のストローク長さを検出することにより、車体１に対するブーム６の回動角と、ブーム６に対するアーム７の回動角と、アーム７に対するバケット８の回動角とを間接的に検出する。

実施形態では、第１角度検出部１８Ａは、ブームシリンダ１０のストローク長さを検出する。後述する処理装置２０は、第１角度検出部１８Ａが検出したブームシリンダ１０のストローク長さから、図３に示される油圧ショベル１００の座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸に対するブーム６の回動角δ１を演算する。以下において、油圧ショベル１００の座標系を適宜、車体座標系と称する。図２に示されるように、例えば、車体座標系の原点は、ブームピン１３の中心である。ブームピン１３の中央とは、ブームピン１３が伸びる方向と直交する平面でブームピン１３を切ったときの断面の中心、かつブームピン１３が伸びる方向における中心である。車体座標系は、実施形態の例には限定されず、例えば、旋回体３の旋回中心をＺｍ軸とし、ブームピン１３が延びる方向と平行な軸線をＹｍ軸とし、Ｚｍ軸及びＹｍ軸と直交する軸線をＸｍ軸とするものであってもよい。

第２角度検出部１８Ｂは、アームシリンダ１１のストローク長さを検出する。処理装置２０は、第２角度検出部１８Ｂが検出したアームシリンダ１１のストローク長さから、ブーム６に対するアーム７の回動角δ２を演算する。第３角度検出部１８Ｃは、バケットシリンダ１２のストローク長さを検出する。処理装置２０は、第３角度検出部１８Ｃが検出したバケットシリンダ１２のストローク長さから、アーム７に対するバケット８の回動角δ３を演算する。

＜撮像装置＞
図２に示されるように、油圧ショベル１００は、例えば運転室４内に、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを有する。以下において、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを区別しない場合は適宜、撮像装置３０と称する。撮像装置３０ａ及び撮像装置３０ｃは、作業機２側に配置される。撮像装置３０の種類は限定されないが、実施形態では、例えば、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えた撮像装置が用いられる。

図２に示されるように、撮像装置３０ａと撮像装置３０ｂとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室４内に配置される。撮像装置３０ｃと撮像装置３０ｄとは所定の間隔をおいて同じ方向又は異なる方向を向いて、例えば運転室４内に配置される。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、２個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置３０ａ，３０ｂの組合せと、撮像装置３０ｃ，３０ｄの組合せとでステレオカメラが構成される。実施形態において、撮像装置３０ａ及び撮像装置３０ｂは上方を向いており、撮像装置３０ｃ及び撮像装置３０ｄは下方を向いている。少なくとも撮像装置３０ａ及び撮像装置３０ｃは、油圧ショベル１００、実施形態では旋回体３の正面を向いている。撮像装置３０ｂ及び撮像装置３０ｄは、作業機２の方に若干向けて、すなわち撮像装置３０ａ及び撮像装置３０ｃ側の方に若干向けて配置されることもある。

実施形態において、油圧ショベル１００は、４個の撮像装置３０を有するが、油圧ショベル１００が有する撮像装置３０の数は少なくとも２個であればよく、４個に限定されない。油圧ショベル１００は、少なくとも一対の撮像装置３０でステレオカメラを構成して、対象をステレオ撮影するからである。

複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、運転室４内の前方かつ上方に配置される。上方とは、油圧ショベル１００が有する履帯５ａ，５ｂの接地面と直交し、かつ接地面から離れる方向である。履帯５ａ，５ｂの接地面は、履帯５ａ，５ｂのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも３点で規定される平面である。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１００の車体１の前方に存在する対象をステレオ撮影する。対象は、例えば、作業機２が掘削する対象である。図１及び図２に示される処理装置２０は、少なくとも一対の撮像装置３０によるステレオ撮影の結果を用いて、対象を三次元計測する。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが配置される場所は、運転室４内の前方かつ上方に限定されるものではない。

図４は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが対象を撮像することによって得られた画像の一例を示す図である。図５は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像する対象ＯＪの一例を示す図である。図４に示される画像ＰＩａ，ＰＩｂ，ＰＩｃ，ＰＩｄは、例えば、図５に示される複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが対象ＯＪを撮像することによって得られる。この例では、対象ＯＪは、第１部分ＯＪａと、第２部分ＯＪｂと、第３部分ＯＪｃとを有する。

画像ＰＩａは撮像装置３０ａによって撮像されたものであり、画像ＰＩｂは撮像装置３０ｂによって撮像されたものであり、画像ＰＩｃは撮像装置３０ｃによって撮像されたものであり、画像ＰＩｄは撮像装置３０ｄによって撮像されたものである。一対の撮像装置３０ａ，３０ｂは、油圧ショベル１００の上方を向いて配置されているので、画像ＰＩａ，ＰＩｂには対象ＯＪの上方が写っている。一対の撮像装置３０ｃ，３０ｄは、油圧ショベル１００の下方を向いて配置されているので、画像ＰＩｃ，ＰＩｄには対象ＯＪの下方が写っている。

図４から分かるように、一対の撮像装置３０ａ，３０ｂによって撮像された画像ＰＩａ，ＰＩｂと、一対の撮像装置３０ｃ，３０ｄによって撮像された画像ＰＩｃ，ＰＩｄとには、対象ＯＪの領域の一部、この例では第２部分ＯＪｂが重複して写っている。すなわち、上方を向いている一対の撮像装置３０ａ，３０ｂの撮像領域と、下方を向いている一対の撮像装置３０ｃ，３０ｄの撮像領域とは、重複する部分を有している。

処理装置２０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像した同一の対象ＯＪの画像ＰＩａ，ＰＩｂ，ＰＩｃ，ＰＩｄにステレオ方式による画像処理を施す場合、一対の撮像装置３０ａ，３０ｂによって撮像された画像ＰＩａ，ＰＩｂから第１の視差画像を得る。また、処理装置２０は、一対の撮像装置３０ｃ，３０ｄによって撮像された画像ＰＩｃ，ＰＩｄから第２の視差画像を得る。その後、処理装置２０は、第１の視差画像と第２の視差画像とを合わせて、１つの視差画像を得る。処理装置２０は、得られた視差画像を用いて対象を三次元計測する。このように、処理装置２０及び複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、一回の撮像で対象ＯＪの所定の領域全体を三次元計測する。

実施形態において、４個の複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、例えば、撮像装置３０ｃをこれらの基準とする。４個の複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、それぞれ座標系を有する。これらの座標系を適宜、撮像装置座標系と称する。図２では、基準となる撮像装置３０ｃの座標系（Ｘｓ，Ｙｓ，Ｚｓ）のみを示している。撮像装置座標系の原点は、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの中心である。

＜撮像装置の校正システム＞
図６は、実施形態に係る撮像装置の校正システム５０を示す図である。撮像装置の校正システム５０（以下、適宜、校正システム５０と称する）は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、処理装置２０とを含む。これらは、図１及び図２に示されるように、油圧ショベル１００の車体１に備えられている。処理装置２０は、処理部２１と、記憶部２２と、入出力部２３とを有する。処理部２１は、例えば、ＣＰＵ（Central Processing Unit）のようなプロセッサ及びメモリによって実現される。処理部２１は、探索部２１Ａ及び決定部２１Ｂを有する。処理装置２０は、実施形態に係る撮像装置の校正方法（以下適宜、校正方法と称する）を実現する。この場合、処理部２１は、記憶部２２に記憶されたコンピュータプログラムを読み込んで実行する。このコンピュータプログラムは、実施形態に係る校正方法を処理部２１に実行させるためのものである。

実施形態に係る校正方法は、何らかの要因によって撮像装置３０が動いてしまった場合に、少なくとも一対の撮像装置３０によるステレオ撮影の結果を用いた三次元計測が実現できるように、撮像装置３０の位置ずれを修正するものである。４個の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、撮像装置３０ｃと撮像装置３０ｄとの間に位置ずれが発生した場合を考える。この場合、処理装置２０の処理部２１は、実施形態に係る校正方法を実行する。実施形態に係る校正方法が実行される撮像装置３０ｃ及び撮像装置３０ｄを、それぞれ第１の撮像装置３０ｃ及び第２の撮像装置３０ｄと称する。

処理部２１は、実施形態に係る校正方法を実行するにあたり、少なくとも２個、実施形態では４個の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、第１の撮像装置３０ｃと第２の撮像装置３０ｄとの距離を一定として、第２の撮像装置３０ｄの姿勢を規定するパラメータを変化させる。そして、処理部２１は、第１の撮像装置３０ｃ及び第２の撮像装置３０ｄによって得られた一対の画像を画像処理、実施形態ではステレオ方式における画像処理のうち、一対の画像間で対応する部分を探索した結果に基づいて、前述のパラメータを求める。処理部２１の探索部２１Ａは、前述のパラメータの変更及び探索を実行する。処理部２１の決定部２１Ａは、探索した結果に基づいて、前述のパラメータを求める。ステレオ方式における画像処理とは、同一の対象を２つの異なる撮像装置３０から観測して得られる２つの画像から、その対象までの距離を得る手法である。対象までの距離は、例えば、対象までの距離情報を濃淡により可視化した距離画像として表現される。

処理装置２０は、実施形態に係る校正方法を実行する際に、一対の撮像装置３０によって撮像された一対の画像をステレオ方式における画像処理を実行することにより、対象の位置、具体的には三次元座標系における対象の座標を求める。このように、処理装置２０は、同一の対象を少なくとも一対の撮像装置３０で撮像することによって得られた一対の画像を用いて、対象を三次元計測することができる。すなわち、少なくとも一対の撮像装置３０及び処理装置２０は、ステレオ方式により対象を三次元計測するものである。

記憶部２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Random Access Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Random Access Memory）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。記憶部２２は、実施形態に係る校正方法を処理部２１に実行させるためのコンピュータプログラムを記憶している。記憶部２２は、処理部２１が実施形態に係る校正方法を実行する際に使用される情報を記憶する。この情報は、例えば、各撮像装置３０の内部校正データ、各撮像装置３０の姿勢、撮像装置３０同士の位置関係、及び作業機２の姿勢から作業機２の一部の位置を求めるために必要な情報を含む。

入出力部２３は、処理装置２０と機器類とを接続するためのインターフェース回路である。入出力部２３には、ハブ５１、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃが接続される。ハブ５１は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが接続されている。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果は、ハブ５１を介して入出力部２３に入力される。処理部２１は、ハブ５１及び入出力部２３を介して、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像した結果を取得する。処理装置２０は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携して処理装置２０の機能を実現するものであってもよい。

＜三次元計測＞
図７は、一対の撮像装置３０Ｌ，３０Ｒを用いてバケット８の刃９の刃先Ｐ３を三次元計測する例を説明する図である。図８及び図９は、一対の撮像装置３０Ｌ，３０Ｒによって得られた一対の画像３２Ｌ，３２Ｒを示す図である。実施形態において、図６に示される処理装置２０は、一対の撮像装置３０によって撮像された一対の画像にステレオ方式による画像処理を施すことにより、対象の位置を求める。図７において、刃先Ｐ３を撮像する一対の撮像装置３０を、撮像装置３０Ｌ及び撮像装置３０Ｒと称する。一対の撮像装置３０Ｌ，３０Ｒは、図２に示される油圧ショベル１００が有する撮像装置３０である。図７は、何らかの外的要因により撮像装置３０Ｌの位置が動いた状態を、二点鎖線の撮像装置３０Ｌ’として示している。

撮像装置３０Ｌは、撮像素子３１Ｌを有する。撮像装置３０Ｌの撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）の原点、すなわち撮像装置３０Ｌの中心を光学中心ＯＣＬとしてある。撮像装置３０ＬのＺｓ軸は、撮像装置３０Ｌの光軸であり、光学中心ＯＣＬを通る。撮像装置３０Ｌが対象を撮像することにより、対象を含む画像３２Ｌが得られる。撮像装置３０Ｒは、撮像素子３１Ｒを有する。撮像装置３０Ｒの撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）の原点、すなわち撮像装置３０Ｒの中心を光学中心ＯＣＲとしてある。撮像装置３０ＲのＺｓ軸は、撮像装置３０Ｒの光軸であり、光学中心ＯＣＲを通る。撮像装置３０Ｒが対象を撮像することにより、対象を含む画像３２Ｒが得られる。

実施形態において、ステレオ方式により位置を求める対象は、図７に示されるバケット８の刃先Ｐ３である。撮像装置３０Ｌ及び撮像装置３０Ｒがバケット８を撮像することにより、図８に示されるような一対の画像３２Ｌ及び３２Ｒが得られる。撮像装置３０Ｌは、バケット８に向かって左側に配置され、撮像装置３０Ｒはバケット８に向かって右側に、かつ撮像装置３０Ｌと所定の距離Ｂだけ離れて配置される。図８に示されるように、撮像装置３０Ｌによって撮像された画像３２Ｌ中におけるバケット８の刃先Ｐ３の位置と、撮像装置３０Ｒによって撮像された画像３２Ｒ中におけるバケット８の刃先Ｐ３の位置とは、撮像装置３０Ｌと撮像装置３０Ｒとが並ぶ方向において異なっている。このように、撮像装置３０Ｌと撮像装置３０Ｒとは所定の距離だけ離れて配置されているので、対象の観測地点の位置の違いにより対象の見える方向が異なる。

処理装置２０は、撮像装置３０Ｌによって撮像されたバケット８の刃先Ｐ３の画像３２Ｌと、撮像装置３０Ｒによって撮像されたバケット８の刃先Ｐ３の画像３２Ｒとにステレオ方式による画像処理を施す。ステレオ方式による画像処理によって、同一の対象であるバケット８の刃先Ｐ３の位置が三次元計測される。ステレオ方式による画像処理は、一対の画像３２Ｌ，３２Ｒから視差画像３３を生成する工程と、視差画像３３に含まれる視差の情報に基づいて、撮像装置３０Ｌ，３０Ｒの撮像範囲の空間を三次元計測する工程とを含む。

処理装置２０は、視差画像３３を生成する工程において、図９に示されるように、一対の画像３２Ｌ，３２Ｒ間で対応する部分、実施形態では刃先Ｐ３に対応する画素ＰＸｌ，ＰＸｒを探索し、対応する画素ＰＸｌ，ＰＸｒの探索結果から視差を求める。視差は、刃先Ｐ３に対応する画素ＰＸｌ，ＰＸｒ同士が物理的にどれだけ離れているか、例えば、どの程度の画素数分離れているかという情報である。視差画像３３は、視差を２次元配列で表現した画像である。

なお、視差は、一般には、ある計測対象となる基準点において、一対の撮像装置３０の視線がなす角度の変化量として定義される。一対の撮像装置３０を平行に並べた場合、基準となる一方の撮像装置の画像における、計測点の投影点に対し、もう一方の撮像装置３０の画像における同じ計測点の投影点が、撮像された画像内でどの程度の画素分ずれているかが視差になる。

視差画像３３は、対応する画素の探索に失敗した場合には、探索に失敗した画素ＰＸｓに０、探索に成功した場合には、探索に成功した画素ＰＸｓに０よりも大きい数値が格納される。視差画像３３では、０が格納された画素ＰＸｓは黒であり、０よりも大きい数値が格納された画素ＰＸｓはグレースケールとなる。したがって、ステレオ方式による画像処理が成功したか否かを確認するには、０以外の数値が格納された画素ＰＸｓが、視差画像３３中に占める割合を用いればよい。例えば、グレースケールの画素ＰＸｓ、すなわち０以外の数値が格納された画素ＰＸｓの視差画像３３中に占める割合が閾値以上であれば、ステレオ方式による画像処理は成功したと判定される。閾値は、例えば８０％から９０％とすることができるが、この範囲の値に限定されるものではない。

処理装置２０は、三次元計測する工程において、三角測量を用いて対象までの距離を求める。図７に示されるように、撮像装置３０Ｌの光学中心ＯＣＬを原点とした三次元座標系（Ｘ，Ｙ，Ｚ）を設定する。撮像装置３０Ｌと撮像装置３０Ｒとは、平行に配置されているものとする。すなわち、撮像装置３０Ｌと撮像装置３０Ｒとの間で、画像３２Ｌ，３２Ｒの画像面が同一面、かつＸ軸方向における位置が同一であるとする。撮像装置３０Ｌの光学中心ＯＣＬと撮像装置３０Ｒの光学中心ＯＣＲとの距離をＢ、撮像装置３０Ｌによって撮像された画像３２Ｌ中の刃先Ｐ３、すなわち画素ＰＸｌのＹ座標をＹＬ、撮像装置３０Ｒによって撮像された画像３２Ｒ中の刃先Ｐ３、すなわち画素ＰＸｒのＹ座標をＹＲ、刃先Ｐ３のＺ座標をＺＰとする。ＹＬ，ＹＲ，ＺＰは、いずれも三次元座標系（Ｘ，Ｙ，Ｚ）における座標である。Ｙ軸と画像３２Ｌ，３２Ｒの画像面との距離は、撮像装置３０Ｌ，３０Ｒの焦点距離ｆである。

この場合、撮像装置３０Ｌ，３０Ｒから刃先Ｐ３までの距離は、三次元座標系（Ｘ，Ｙ，Ｚ）における刃先Ｐ３のＺ座標であるＺＰとなる。視差をｄ＝ＹＬ−（ＹＲ−Ｂ）とすると、ＺＰは、Ｂ×ｆ／ｄで求められる。

図９に示される視差画像３３の各画素ＰＸｓには、探索の成功の有無を示す情報と、探索に成功した場合には視差ｄとが格納される。処理装置２０は、画像３２Ｌ，３２Ｒ中の探索に成功した各画素間の視差ｄと、画像３２Ｌ，３２Ｒ中の探索に成功した各画素の座標と、撮像装置３０Ｌ，３０Ｒの焦点距離ｆとから、対象までの距離を求めることができる。

図９に示される例において、処理装置２０は、一対の画像３２Ｌ，３２Ｒ間で対応する画素を探索し、視差画像３３を生成する。次に、処理装置２０は、距離を求める対象である刃先Ｐ３に対応する画素ＰＸｌ，ＰＸｒを探索する。一対の画像３２Ｌ，３２Ｒ間において、刃先Ｐ３に対応する画素ＰＸｌ，ＰＸｒが探索されたら、処理装置２０は、探索された画素ＰＸｌ，ＰＸｒのＹ座標であるＹＬ，ＹＲを求める。処理装置２０は、得られたＹＬ，ＹＲ及び距離Ｂを視差ｄの式ｄ＝ＹＬ−（ＹＲ−Ｂ）に与えて、視差ｄを求める。処理装置２０は、得られた視差ｄ、距離Ｂ及び焦点距離ｆを用いて、撮像装置３０Ｌ，３０Ｒから刃先Ｐ３までの距離ＺＰを、前述した式に与えることにより求める。

図１０は、一対の撮像装置３０Ｌ，３０Ｒの位置関係を示す斜視図である。一対の撮像装置３０Ｌ，３０Ｒは、ステレオカメラを構成する。一対の撮像装置３０Ｌ、３０Ｒを用いて対象を三次元計測する場合、便宜上、一方の撮像装置３０Ｒを基準機、他方の撮像装置３０Ｌを参照機とする。撮像装置３０Ｒの光学中心ＯＣＲと、撮像装置３０Ｌの光学中心ＯＣＬとを結んだ直線は、ベースラインＢＬである。ベースラインＢＬの長さはＢである。

撮像装置３０Ｌが撮像装置３０Ｒに対して平行に配置されていない場合、一対の画像３２Ｌ，３２Ｒ間で対応する画素を探索できないことがある。このため、撮像装置３０Ｌと撮像装置３０Ｒとの相対的な位置関係を予め求めておく。そして、得られた相対的な位置関係から得られた撮像装置３０Ｌと撮像装置３０Ｒとのずれに基づいて画像３２Ｌ，３２Ｒの少なくとも一方を補正することで、ステレオ方式による画像処理及び三次元計測を可能にする。

撮像装置３０Ｌと撮像装置３０Ｒとのずれは、基準機に対する参照機のずれ、すなわち撮像装置３０Ｒに対する撮像装置３０Ｌのずれで表すことができる。このずれは、撮像装置３０ＬのＸｓ軸周りにおける回転ＲＴｘ、撮像装置３０ＬのＹｓ軸周りにおける回転ＲＴｙ、撮像装置３０ＬのＺｓ軸周りにおける回転ＲＴｚ、撮像装置３０ＬのＸｓ軸方向のずれ、撮像装置３０ＬのＹｓ軸方向のずれ及び撮像装置３０ＬのＺｓ軸方向のずれの計６方向のずれがある。

図１１は、撮像装置３０Ｌに対する撮像装置３０Ｒのずれの説明図である。図１１に示されるように、例えば、撮像装置３０Ｌに、撮像装置３０ＬのＺｓ軸周りにおける回転ＲＴｚが発生した場合、ずれがある場合における撮像装置３０Ｌの姿勢から得られた画像３２Ｌｒを、回転Ｒｔｙによるずれの分だけＺｓ軸周りに回転させることで、ずれがない場合における撮像装置３０Ｌの画像３２Ｌに補正することができる。

回転ＲＴｚによるずれは、Ｚｓ軸周りにおける角度γで表すことができる。このため、撮像装置３０Ｌの画像３２Ｌｒのｘｓ−ｙｓ平面における位置（ｘｓ、ｙｓ）を、式（１）を用いてＺｓ軸周りに回転させることにより、ずれがない場合における撮像装置３０Ｌの画像３２Ｌの、Ｘｓ−Ｙｓ平面における位置（Ｘｓ，Ｙｓ）に変換することができる。

Ｚｓ軸周りにおける回転ＲＴｚと同様に、Ｘｓ軸周りにおける回転ＲＴｘによるずれは式（２）で、Ｙｓ軸周りにおける回転ＲＴｙによるずれは式（３）で補正される。式（２）中の角度αは、回転ＲＴｘによるずれを表し、式（３）中の角度βは、回転ＲＴｙによるずれを表す。角度α，β，γは、撮像装置３０Ｌの撮像装置座標系における軸周りの回転方向のずれを補正する量である。以下において、角度α，β，γを適宜、回転方向補正量α，β，γ又は単に回転方向補正量と称する。

撮像装置３０ＲのＸｓ軸方向に発生した撮像装置３０Ｌのずれは、撮像装置３０Ｌによって撮像された画像３２Ｌｒの位置を、撮像装置３０ＲのＸｓ軸方向と平行に、ずれを打ち消す量ΔＸだけ移動させることにより補正される。撮像装置３０ＲのＹｓ軸方向及びＺｓ軸方向に発生した撮像装置３０Ｌのずれも、Ｘｓ軸方向に発生した撮像装置３０Ｌのずれを打ち消す量ΔＸと同様に補正される。すなわち、これらのずれを打ち消す量ΔＹ，ΔＺだけ、撮像装置３０Ｌによって撮像された画像３２Ｌｒの位置を、それぞれ撮像装置３０ＲのＹｓ軸方向及びＺｓ軸方向と平行に移動させる。ずれを打ち消す量ΔＸ，ΔＹ，ΔＺは、一対の撮像装置３０の並進方向におけるずれを補正するための量である。ずれを打ち消す量ΔＸ，ΔＹ，ΔＺを、以下においては適宜、並進方向補正量ΔＸ，ΔＹ，ΔＺ又は単に並進方向補正量と称する。

ステレオカメラを構成する一対の撮像装置３０Ｒと撮像装置３０Ｌとのずれを補正するための回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺを求めることを、外部校正と称する。外部校正は、例えば、油圧ショベル１００の工場出荷時に行われる。外部校正において求められる、回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺは、撮像装置３０の姿勢を規定するパラメータである。以下において、これらのパラメータを適宜、姿勢パラメータと称する。姿勢パラメータは、６次元のパラメータである。外部校正で求められた姿勢パラメータは、図６に示される処理装置２０の記憶部２２に記憶される。処理装置２０は、記憶部２２に記憶された姿勢パラメータを用いて、少なくとも一対の撮像装置３０によって撮像された画像にステレオ方式による画像処理を施し、撮像された対象を三次元計測する。

図２に示される油圧ショベル１００が有する少なくとも一対の撮像装置３０は、油圧ショベル１００に取り付けられた後、互いの相対的な位置関係のずれを前述した手法により補正される。何らかの外的要因により、油圧ショベル１００に取り付けられた後に補正された撮像装置３０が物理的に動いてしまった場合、撮像装置３０が動く前の姿勢パラメータと、撮像装置３０の実際の姿勢とが対応していない可能性がある。

図１２及び図１３は、一対の撮像装置３０Ｌ，３０Ｒによって得られた一対の画像３２Ｌ，３２Ｒを示す図である。図１２及び図１３は、図７に示される撮像装置３０Ｒ及び外的要因により動いた撮像装置３０Ｌ’に撮像された一対の画像３２Ｌ’，３２Ｒを示している。図７に示される撮像装置３０Ｌ’は、撮像装置３０Ｒと平行に配置された撮像装置３０Ｌが、例えば、その撮像装置座標系のＸｓ軸周りに、撮像素子３１Ｌ’の撮像面が撮像装置３０Ｒに向く方向に回転したものである。

この状態の撮像装置３０Ｌ’によって撮像された画像３２Ｌ’は、図１２及び図１３に示されるように、外的要因により動く前の撮像装置３０Ｌによって撮像された画像３２Ｌと比較して、バケット８の刃先Ｐ３の位置が矢印Ｌｔで示す方向、すなわち画像３２Ｌの左側に移動している。この状態で、処理装置２０が一対の画像３２Ｌ’，３２Ｒ間で刃先Ｐ３に対応する画素ＰＸｌ’と画素ＰＸｒとを探索しても、探索できない。したがって、図１３に示されるように、一対の画像３２Ｌ’，３２Ｒ間の探索によって得られた視差画像３３’は、対応する画素の探索に失敗したことを示す０の占める割合が多くなる。結果として、視差画像３３’は、画像全体中において、グレースケールの画素が占める割合が低く、黒の画素ＰＸｓが占める割合が高くなり、ステレオ方式による三次元計測は実現できない。

撮像装置３０が外的要因によって動いた場合、外部校正によって姿勢パラメータを求め直してもよいが、外部校正のための設備構築及び外部校正の作業に時間及び手間を要する。図６に示される校正システム５０は、撮像装置３０の姿勢が変化した場合、実施形態に係る校正方法を実行して姿勢パラメータを求め直すことにより、複数の撮像装置３０間のずれを自動で修正し、ステレオ方式による三次元計測を復活させる。以下において、この処理を適宜、自動校正と称する。

図１４は、実施形態に係る校正システム５０が実施形態に係る校正方法を実行する際の処理を示すフローチャートである。図１５は、姿勢パラメータを求める撮像装置を決定する手法を説明するための図である。図１６は、姿勢パラメータを求める撮像装置を決定するためのテーブルの一例を示す図である。ステップＳ１０１において、処理装置２０は、図２に示される複数の撮像装置３０のすべてに、対象を撮像させる。対象は、バケット８とすることができるが、これに限定されるものではない。

ステップＳ１０２において、処理装置２０は、ステップＳ１０１で撮像された画像にステレオ方式による画像処理を施す。具体的には、ステレオカメラを構成する一対の撮像装置３０によって撮像された画像にステレオ方式による画像処理を施す。この画像処理は、一対の画像から視差画像を生成する処理である。ステップＳ１０２において、処理装置２０は、油圧ショベル１００が有する複数の撮像装置３０のうち、ステレオカメラを構成することができるすべての組合せによって得られたすべての一対の画像から、視差画像を生成する。

実施形態において、油圧ショベル１００は４個の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを有する。図１５に示される例において、処理装置２０は、下記の６通りの組合せＲ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６から得られる６通りの一対の画像から、それぞれ視差画像を生成する。
Ｒ１：撮像装置３０ａ及び撮像装置３０ｂ
Ｒ２：撮像装置３０ａ及び撮像装置３０ｃ
Ｒ３：撮像装置３０ａ及び撮像装置３０ｄ
Ｒ４：撮像装置３０ｂ及び撮像装置３０ｃ
Ｒ５：撮像装置３０ｂ及び撮像装置３０ｄ
Ｒ６：撮像装置３０ｃ及び撮像装置３０ｄ

前述した６通りの組合せで視差画像が生成されると、それぞれの撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、３回ずつ視差画像が生成されることになる。実施形態において、視差画像中に占めるグレースケールの画素の割合が閾値以上であった場合、その視差画像は正常であると判定されるものとする。閾値の大きさは、前述した通りである。

６通りの組合せＲ１からＲ６において、１度でも正常な視差画像が生成された組合せを構成する一対の撮像装置３０は、いずれもずれが発生していない。６通りの組合せＲ１からＲ６によって得られる６個の視差画像から、姿勢パラメータを求める撮像装置３０を決定するため、処理装置２０は、例えば、図１６に示される判定テーブルＴＢを用いる。判定テーブルＴＢは、処理装置２０の記憶部２２に記憶されている。

判定テーブルＴＢは、正常な視差画像が生成された組合せに対応する撮像装置３０には１が書き込まれ、正常な視差画像が生成されなかった組合せに対応する撮像装置３０には０が書き込まれるようになっている。そして、判定テーブルＴＢは、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの１が書き込まれた回数の合計が、合計欄に書き込まれるようになっている。このように、判定テーブルＴＢは、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが、正常な視差画像を生成した回数が分かるようになっている。処理部２１は、判定テーブルＴＢに値を書き込む。

判定テーブルＴＢには、下記の規則にしたがって１又は０が書き込まれる。
（１）組合せＲ１によって生成された視差画像が正常である場合、撮像装置３０ａ，３０ｂに１が書き込まれる
（２）組合せＲ２によって生成された視差画像が正常である場合、撮像装置３０ａ，３０ｃに１が書き込まれる
（３）組合せＲ３によって生成された視差画像が正常である場合、撮像装置３０ａ，３０ｄに１が書き込まれる
（４）組合せＲ４によって生成された視差画像が正常である場合、撮像装置３０ｂ，３０ｃに１が書き込まれる
（５）組合せＲ５によって生成された視差画像が正常である場合、撮像装置３０ｂ，３０ｄに１が書き込まれる
（６）組合せＲ６によって生成された視差画像が正常である場合、撮像装置３０ｃ，３０ｄに１が書き込まれる

図１６に示される判定テーブルＴＢは、組合せＲ２，Ｒ３，Ｒ６によって生成された視差画像が正常であり、組合せＲ１，Ｒ４，Ｒ５によって生成された視差画像が正常でない場合を示している。この場合、撮像装置３０ａ，３０ｃ，３０ｄに１が書き込まれた回数は、判定テーブルＴＢの合計欄に記載されているようにそれぞれ２回であり、撮像装置３０ｂに１が書き込まれた回数は０回である。撮像装置３０ｂは、撮像装置３０ａ，３０ｃ，３０ｄに対して許容できないずれが発生しているため、１回も正常な視差画像が生成された組合せを作らなかったと判定される。このため、撮像装置３０ｂは、姿勢パラメータを求める対象となる。このように、判定テーブルＴＢは、１が書き込まれた回数、すなわち撮像装置３０の撮像結果から正常な視差画像が生成された回数を用いて、姿勢パラメータを求める撮像装置３０を決定する。すなわち、処理装置２０は、少なくとも２個の撮像装置３０のうち一対の撮像装置３０によって得られた一対の画像間で対応する部分を探索した結果である視差画像に基づいて、姿勢パラメータを求めるための一対の撮像装置３０を決定する。実施形態で説明された姿勢パラメータを求めるための一対の撮像装置３０を決定する前述の手法は一例であり、これに限定されるものではない。

ステップＳ１０３において、処理装置２０は、判定テーブルＴＢを用いて正常である視差画像が生成された回数を、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄ毎に計数する。ステップＳ１０４において、処理装置２０は、正常である視差画像が生成された回数に基づいて、ずれが発生しているために姿勢パラメータを再度求める撮像装置３０を決定する。このように、処理装置２０は、複数対の撮像装置３０がある場合、探索の成功率が閾値未満、すなわち正常である視差画像が生成された一対の撮像装置３０の少なくとも一方は、姿勢パラメータを再度求めることとする。

姿勢パラメータを再度求める撮像装置３０が決定されたら、処理装置２０は、姿勢パラメータを求める処理を実行する。ステップＳ１０５において、処理装置２０、本実施形態では処理部２１の探索部２１Ａは、姿勢パラメータを変更する。そして、ステップＳ１０６において、処理装置２０の探索部２１Ａは、変更した姿勢パラメータを用いて、姿勢パラメータを再度求める撮像装置３０及びこれと対になる撮像装置３０によって撮像された一対の画像に、ステレオ方式による画像処理を施す。ステレオ方式による画像処理が施される一対の画像は、ステップＳ１０１において撮像された画像である。ステレオ方式による画像処理は、具体的には一対の画像から視差画像を生成する処理である。

ステップＳ１０６が終了したら、処理装置２０、本実施形態では処理部２１の決定部２１Ｂは、ステップＳ１０７において、ステップＳ１０６で生成した視差画像に占めるグレースケールの画素、すなわち０以外の数値が格納された画素の割合であるグレースケール比率ＳＲと、閾値ＳＲｃとを比較する。ステップＳ１０７は、ステレオ方式による画像処理の成功率を判定する処理である。閾値ＳＲｃの大きさは、前述したように、例えば８０％から９０％とすることができるが、この範囲の値に限定されるものではない。ステップＳ１０７において、グレースケール比率ＳＲが閾値ＳＲｃよりも小さい場合（ステップＳ１０７，Ｎｏ）、処理装置２０の決定部２１Ｂは、ステップＳ１０５に戻り、グレースケール比率ＳＲが閾値ＳＲｃ以上になるまで、ステップＳ１０５からステップＳ１０７を繰り返す。

ステップＳ１０７において、視差画像のグレースケール比率ＳＲが閾値ＳＲｃ以上である場合（ステップＳ１０７，Ｙｅｓ）、処理装置２０の決定部２１Ｂは、ステップＳ１０８において、そのときの姿勢パラメータを、新たな姿勢パラメータとして決定する。以後は、ステップＳ１０８で決定された姿勢パラメータにより、ステレオ方式による画像処理が実行される。

実施形態において、処理装置２０は、姿勢パラメータを変更する対象である一対の撮像装置３０のうち、一方の姿勢パラメータを変更し、他方の姿勢パラメータを変更しないで、これらによって撮像された一対の画像に、ステレオ画像処理を施す。一対の撮像装置３０のうち、一方の姿勢パラメータのみを変更することで、双方の姿勢パラメータが変更される場合と比較して、一対の撮像装置３０の相対的な位置関係をずれが発生する前の状態に速やかに近づけることができる。その結果、処理装置は、新たな姿勢パラメータを求める時間を短縮することができる。

姿勢パラメータを変更する対象である一対の撮像装置３０のうち、姿勢パラメータが変更されない方を第１の撮像装置と称し、姿勢パラメータが変更される方を第２の撮像装置と称する。この例では、姿勢パラメータを変更する対象が、図２に示される撮像装置３０ｃ及び撮像装置３０ｄであり、撮像装置３０ｄの姿勢パラメータが変更される。したがって、撮像装置３０ｃが第１の撮像装置であり、撮像装置３０ｄが第２の撮像装置である。以下において、撮像装置３０ｃを適宜、第１の撮像装置３０ｃと称し、撮像装置３０ｄを適宜、第２の撮像装置３０ｄと称する。

図１７から図２１は、姿勢パラメータを説明するための図である。姿勢パラメータは、前述したように、回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺである。処理装置２０は、新たな姿勢パラメータを求めるにあたり、第１の撮像装置３０ｃと第２の撮像装置３０ｄとの並進方向における位置関係を規定する第１のパラメータと、第２の撮像装置３０ｄの撮像装置座標系における姿勢を規定する第２のパラメータとを変更する。第１のパラメータ及び第２のパラメータ、すなわち第２の撮像装置３０ｄの姿勢を規定するパラメータは、第２の撮像装置３０ｄの回転を表すものである。処理装置２０は、第１のパラメータ及び第２のパラメータを変更することにより、姿勢パラメータである回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺを変更する。

次に説明するように、第２のパラメータは、図１７に示されるように、角度α’，β’，γ’である。角度α’，β’，γ’は、第２の撮像装置３０ｄの撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）の各軸周りにおける、第２の撮像装置３０ｄの回転角度である。第１のパラメータは、図１８及び図１９に示される角度θ、及び図２０及び図２１に示される角度φである。角度θは、ベースラインＢＬと第２の撮像装置３０ｄの撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＺｓ軸とのなす角度である。角度φは、ベースラインＢＬと第２の撮像装置３０ｄの撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸とのなす角度である。

第１のパラメータである角度θ及び角度φを変更すると、第２の撮像装置３０ｄは、第１の撮像装置３０ｃを中心、より具体的には第１の撮像装置３０ｃの撮像装置座標系の原点（この例では光学中心ＯＣｃと一致する）として回転する。すなわち、第１のパラメータは、第１の撮像装置３０ｃを中心として第２の撮像装置３０ｄを回転させる。

第２のパラメータである角度α’，β’，γ’を変更すると、第２の撮像装置３０ｄは、自身の中心、より具体的には第２の撮像装置３０ｄの撮像装置座標系の原点（この例では光学中心ＯＣｄと一致する）の周りを回転する。すなわち、第２のパラメータは、第２の撮像装置３０ｄの中心の周りに第２の撮像装置３０ｄを回転させる。

このように、第１のパラメータ及び第２のパラメータは、いずれも第２の撮像装置３０ｄの姿勢を規定するパラメータである。第２の撮像装置３０ｄの姿勢が規定されることにより、第１の撮像装置３０ｃと第２の撮像装置３０ｄとの相対的な位置関係が規定される。

実施形態において、処理装置２０は、第１の撮像装置３０ｃと第２の撮像装置３０ｄとの距離を一定、すなわち第１の撮像装置３０ｃと第２の撮像装置３０ｄとのベースラインＢＬの長さＢを一定として、第２の撮像装置３０ｄの姿勢を規定するパラメータを変更する。第１の撮像装置３０ｃと第２の撮像装置３０ｄとのベースラインＢＬは、第１の撮像装置３０ｃの光学中心ＯＣｃと、第２の撮像装置３０ｄの光学中心ＯＣｄとを結んだ直線である。

ベースラインＢＬの長さを一定として、第１のパラメータである角度θ及び角度φが変更されると、第１の撮像装置３０ｃを中心として第２の撮像装置３０ｄが回転するので、結果としては、第２の撮像装置３０ｄの回転成分に加えて第２の撮像装置３０ｄの並進成分も変化する。したがって、第１のパラメータ及び第２のパラメータが変更されることにより、姿勢パラメータである回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺが変更される。ベースラインＢＬの長さを一定として、第１のパラメータである角度θ及び角度φが変更されることにより、姿勢パラメータを求める際に変更するパラメータの数を低減できる。その結果、処理装置２０の計算負荷が軽減するので好ましい。

第１のパラメータである角度θ，φ及び第２のパラメータである角度α’，β’，γ’が得られると、第１の撮像装置３０ｃと第２の撮像装置３０ｄとの相対的な位置関係が得られる。処理装置２０は、視差画像のグレースケール比率ＳＲが閾値ＳＲｃ以上となるまで、第１のパラメータ及び第２のパラメータを変更しながら、視差画像を生成する。第１のパラメータ及び第２のパラメータを変更するにあたって、処理装置２０は、変更前の値を基準として、正方向と負方向との両方に、所定の変化量で、所定の大きさになるまで角度θ，φ及び角度α’，β’，γ’を変更する。図１７から図２１は、角度θ，φ及び角度α’，β’，γ’を正方向及び負方向に変化させることを例示的に示している。

処理装置２０は、角度θ，φ及び角度α’，β’，γ’を変更する毎に、変更された角度θ，φ及び角度α’，β’，γ’を用いて、第１の撮像装置３０ｃ及び第２の撮像装置３０ｄによって撮像された一対の画像から視差画像を生成する。具体的には、処理装置２０は、変更された角度θ，φ及び角度α’，β’，γ’を用いて、姿勢パラメータである回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺを求め、得られた姿勢パラメータを用いて視差画像を生成する。処理装置２０は、生成された視差画像のグレースケール比率ＳＲと閾値ＳＲｃとを比較する。

処理装置２０は、視差画像のグレースケール比率ＳＲが閾値ＳＲｃ以上になったときの第１のパラメータ及び第２のパラメータを用いて、姿勢パラメータである回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺを求める。そして、撮像装置３０によって撮像された画像は、新たに求められた回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺを用いてステレオ方式による画像処理が実行され、対象の三次元計測が行われる。

複数の撮像装置３０のうち、３個の撮像装置３０が姿勢パラメータを変更する対象である場合を説明する。図１５に示される３個の撮像装置３０ｂ，３０ｃ，３０ｄが姿勢パラメータを変更する対象である場合、３通りの組合せ、すなわち撮像装置３０ｃと撮像装置３０ｂとの組合せ、撮像装置３０ｃと撮像装置３０ｄとの組合せ、及び撮像装置３０ｄと撮像装置３０ｂとの組合せがある。この場合、３個の撮像装置３０ｂ，３０ｃ，３０ｄのうち１個を第１の撮像装置とし、残りの２個をそれぞれ第２の撮像装置とする。すると、第１の撮像装置を共通とした二対の撮像装置の組合せが成立するので、処理装置２０は、それぞれの組合せに対して新たな姿勢パラメータを求める。

例えば、撮像装置３０ｃを第１の撮像装置として、撮像装置３０ｂ，３０ｄを第２の撮像装置とする。すると、撮像装置３０ｃと撮像装置３０ｂとの組合せ、及び撮像装置３０ｃと撮像装置３０ｄとの組合せが成立する。処理装置２０は、前者の組合せに対しては撮像装置３０ｂの姿勢パラメータを変更し、後者の組合せに対しては撮像装置３０ｄの姿勢パラメータを変更する。

３個の撮像装置３０が姿勢パラメータを変更する対象である場合に姿勢パラメータを求める手法は、前述したものに限定されない。例えば、処理装置２０は、まず撮像装置３０ｃと撮像装置３０ｂとの組合せにおいて撮像装置３０ｂの姿勢パラメータを決定し、次に撮像装置３０ｂを第１の撮像装置、撮像装置３０ｄを第２の撮像装置として撮像装置３０ｄの姿勢パラメータを決定してもよい。

複数の撮像装置３０のうち、４個の撮像装置３０が姿勢パラメータを変更する対象である場合を説明する。図１５に示される４個の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが姿勢パラメータを変更する対象である場合、撮像装置３０ａと撮像装置３０ｂとの組合せ及び撮像装置３０ｃと撮像装置３０ｄとの組合せの２通りの組合せ、又は撮像装置３０ａと撮像装置３０ｃとの組合せ及び撮像装置３０ｂと撮像装置３０ｄとの組合せの２通りの組合せがある。

撮像装置３０ａと撮像装置３０ｂとの組合せである第１組合せ及び撮像装置３０ｃと撮像装置３０ｄとの組合せである第２組合せが成立する場合を考える。この場合、第１組合せにおいてはいずれか一方を第１の撮像装置とし、他方を第２の撮像装置とする。同様に、第２組合せにおいても、いずれか一方を第１の撮像装置とし、他方を第２の撮像装置とする。処理装置２０は、第１組合せ及び第２組合せのそれぞれにおいて、第２の撮像装置の姿勢パラメータを変更することにより、新たな姿勢パラメータを求める。

実施形態に係る校正システム５０及び校正方法は、作業機械である油圧ショベル１００が有する少なくとも２個の撮像装置３０のうち少なくとも１個に、外的要因によって位置のずれが発生した場合、次のように処理する。すなわち、実施形態に係る校正システム５０及び校正方法は、少なくとも２個の撮像装置３０のうち、第１の撮像装置と第２の撮像装置との距離を一定として姿勢パラメータを変化させて、第１の撮像装置及び第２の撮像装置によって得られた一対の画像間で対応する部分を探索した結果である視差画像に基づいて、新たな姿勢パラメータを求める。ここで、第１の撮像装置及び第２の撮像装置の少なくとも一方は、外的要因によって位置のずれが発生した撮像装置である。

このような処理により、実施形態に係る校正システム５０及び校正方法は、作業機械である油圧ショベル１００が有する撮像装置３０を校正することができる。また、実施形態に係る校正システム５０及び校正方法は、校正のための設備構築が不要であるので、油圧ショベル１００のユーザの使用先において発生した撮像装置３０の位置のずれを容易にかつ短時間で修正できる。このように、実施形態に係る校正システム５０及び校正方法は、撮像装置３０を校正する設備がない場所であっても、撮像装置３０の位置ずれの補正ができるので、作業の中断を抑制できるという利点がある。実施形態に係る校正システム５０及び校正方法は、位置ずれが発生した撮像装置３０を動かさず、ソフトウェア上の処理で撮像装置３０の位置のずれを容易にかつ短時間で修正できるという利点もある。

実施形態に係る校正システム５０及び校正方法は、少なくとも２個の撮像装置３０のうち一対の撮像装置３０によって得られた一対の画像間で対応する部分を探索した結果、すなわち視差画像に占めるグレースケールの割合に基づいて、姿勢パラメータを求める必要がある撮像装置３０を決定する。具体的には、正常な視差画像が一回も生成できなかった撮像装置３０が、姿勢パラメータを求める必要がある撮像装置３０、すなわち許容できない位置のずれが発生している撮像装置３０とされる。このため、実施形態に係る校正システム５０及び校正方法は、姿勢パラメータを求める必要がある撮像装置３０を容易に、かつ確実に決定できる。

以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。作業機械は、少なくとも一対の撮像装置を備え、この一対の撮像装置を用いてステレオ方式で対象を三次元計測するものであれば油圧ショベル１００に限定されず、ホイールローダー又はブルドーザのような作業機械であってもよい。姿勢パラメータを求める処理は、油圧ショベル１００の外部の処理装置が実行してもよい。この場合、撮像装置３０によって撮像された画像は、例えば通信によって油圧ショベル１００の外部の処理装置に送られる。

１ 車体
２ 作業機
３ 旋回体
４ 運転室
５ 走行体
５ａ，５ｂ 履帯
６ ブーム
７ アーム
８ バケット
９ 刃
１０ ブームシリンダ
１１ アームシリンダ
１２ バケットシリンダ
１３ ブームピン
１４ アームピン
１５ バケットピン
２０ 処理装置
２１ 処理部
２２ 記憶部
２３ 入出力部
３０，３０ａ，３０ｂ，３０ｃ，３０ｄ，３０Ｌ，３０Ｒ 撮像装置
３１Ｌ，３１Ｒ 撮像素子
３２Ｌ，３２Ｒ，３２Ｌｒ 画像
３３，３３’ 視差画像
５０ 撮像装置の校正システム
１００ 油圧ショベル
ＢＬ ベースライン
ｄ 視差
ｆ 焦点距離
ＯＣＬ，ＯＣＲ，ＯＣｃ，ＯＣｄ 光学中心
Ｐ３ 刃先
ＳＲ グレースケール比率
ＳＲｃ 閾値
ＴＢ 判定テーブル
α，β，γ，θ，φ 角度

Claims (7)

1. 少なくとも２個の撮像装置と、
   少なくとも２個の前記撮像装置のうち、第１の撮像装置と第２の撮像装置との距離を一定として前記第２の撮像装置の姿勢を規定するパラメータを変化させて、前記第１の撮像装置及び前記第２の撮像装置によって得られた一対の画像間で対応する部分を探索し、探索した結果に基づいて、前記パラメータを求める処理装置と、
   を含む、撮像装置の校正システム。
2. 前記パラメータは、
   前記第２の撮像装置の回転を規定するものである、請求項１に記載の撮像装置の校正システム。
3. 前記パラメータは、
   前記第１の撮像装置を中心として前記第２の撮像装置を回転させる第１のパラメータと、前記第２の撮像装置の中心の周りに前記第２の撮像装置を回転させる第２のパラメータとを含む、請求項１又は請求項２に記載の撮像装置の校正システム。
4. 前記処理装置は、
   少なくとも２個の前記撮像装置のうち一対の前記撮像装置によって得られた一対の画像間で対応する部分を探索した結果に基づいて、前記パラメータを求める必要がある前記第１の撮像装置及び前記第２の撮像装置を決定する、請求項１から請求項３のいずれか１項に記載の撮像装置の校正システム。
5. 前記処理装置は、
   複数対の前記撮像装置がある場合、探索の成功率が閾値未満である一対の前記撮像装置は前記パラメータを求める、請求項４に記載の撮像装置の校正システム。
6. 請求項１から請求項５のいずれか１項に記載の撮像装置の校正システムと、
   複数の前記撮像装置と、
   を含む、作業機械。
7. 複数の撮像装置のうち一対の撮像装置によって得られた一対の画像間で対応する部分を探索した結果に基づいて一対の前記撮像装置のいずれか一方の姿勢を規定するパラメータを求めるか否かを決定し、
   前記パラメータを求める場合、一対の前記撮像装置である第１の撮像装置と第２の撮像装置との距離を一定として、前記第２の撮像装置の姿勢を規定するパラメータを変化させて、前記第１の撮像装置及び前記第２の撮像装置によって得られた一対の画像間の対応する部分を探索し、
   探索した結果に基づいて前記撮像装置の姿勢を規定する姿勢パラメータを求める、
   撮像装置の校正方法。

Images