JP6050525B2 - 位置計測システム、作業機械及び位置計測方法 - Google Patents

Description

本発明は、位置計測システム、作業機械及び位置計測方法に関する。

ステレオカメラを有し、このステレオカメラによって対象の位置を検出する作業機械がある。特許文献１には、記憶部に記憶された施工計画データと、ステレオカメラの位置情報に基づき施工計画画像データを作成し、施工計画画像データとステレオカメラで撮像された現況画像データとを重合わせ、重合わせた合成画像を三次元表示装置に三次元表示させる技術が記載されている。

特開２０１３−０３６２４３号公報

ところで、ステレオカメラを構成する撮像装置が対象を撮像する場合、周辺の環境によってステレオカメラによる計測が影響を受けることがある。例えば、撮像装置の周辺の環境が雨又は雪等である場合、ステレオカメラによる計測が実現できなかったり、計測の精度が低下したりする可能性がある。ステレオカメラを構成する撮像装置の撮像時における状況を把握することに関して、特許文献１には記載も示唆もなく、改善の余地がある。

本発明は、ステレオカメラを構成する撮像装置の撮像時における状況を把握することを目的とする。

本発明は、作業機械に取り付けられた、少なくとも一対の撮像装置と、前記作業機械に設けられて、少なくとも一対の前記撮像装置によって撮像された対象の画像の情報を用いてステレオ計測を実行する演算部と、前記ステレオ計測の実行結果に基づいて、前記撮像装置の撮像に関わる状況を判定する判定部と、を含む、位置計測システムである。

前記演算部は、前記画像中の模様がある範囲についてステレオ計測を実行することが好ましい。

前記判定部は、前記実行結果に基づいて、前記撮像装置と、前記撮像装置が撮像する対象との間の状態を判定することが好ましい。

前記判定部は、前記実行結果に基づいて前記撮像装置の姿勢を判定することが好ましい。

少なくとも一対の前記撮像装置は、光軸が上方を向いて設置されることが好ましい。

前記判定部は、前記作業機械の外部の管理装置に設けられており、前記演算部は、前記管理装置に設けられた前記判定部に前記ステレオ計測の実行結果を出力することが好ましい。

前記管理装置は、前記撮像に関わる状況の判定結果に基づいて対応内容を決定することが好ましい。

前記判定部は、前記作業機械に設けられていることが好ましい。

前記作業機械は、前記撮像に関わる状況の判定結果に基づいて対応内容を決定する制御部を有することが好ましい。

本発明は、作業機械に取り付けられた少なくとも一対の撮像装置が対象を撮像し、少なくとも一対の前記撮像装置によって撮像された対象の画像の情報を用いてステレオ計測を実行し、前記ステレオ計測の実行結果に基づいて前記撮像装置の撮像に関わる状況を判定する、位置計測方法である。

前記撮像に関わる状況を判定した後、判定した結果を出力することが好ましい。

前記撮像に関わる状況の判定結果に基づいて対応内容を決定することが好ましい。

本発明は、ステレオカメラを構成する撮像装置の撮像時における状況を把握することができる。

図１は、実施形態に係る撮像装置の制御システムを備えた油圧ショベルを示す斜視図である。 図２は、実施形態に係る油圧ショベルの運転席付近を示す斜視図である。 図３は、実施形態に係る位置計測システムを示す図である。 図４は、一対の撮像装置を用いて対象を三次元計測する例を説明する図である。 図５は、一対の撮像装置によって得られた一対の画像を示す図である。 図６は、一対の撮像装置によって得られた一対の画像を示す図である。 図７は、ステレオ率と撮像装置の周囲の状態との関係を示す図である。 図８は、ステレオ率と撮像装置の周囲の状態との関係を示す図である。 図９は、実施形態に係る位置計測方法の処理例を示すフローチャートである。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。

＜油圧ショベルの全体構成＞
図１は、実施形態に係る撮像装置の制御システムを備えた油圧ショベル１を示す斜視図である。図２は、実施形態に係る油圧ショベル１の運転席付近を示す斜視図である。作業機械である油圧ショベル１は、車体１Ｂ及び作業機２を有する。車体１Ｂは、旋回体３、運転室４及び走行体５を有する。旋回体３は、旋回中心軸Ｚｒを中心として走行体５に旋回可能に取り付けられている。旋回体３は、油圧ポンプ及びエンジン等の装置を収容している。

旋回体３は、作業機２が取り付けられて旋回する。旋回体３の上部には手すり９が取り付けられている。手すり９には、アンテナ２１，２２が取り付けられる。アンテナ２１，２２は、ＲＴＫ−ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう）用のアンテナである。アンテナ２１，２２は、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＹｍ軸の方向に沿って、一定距離だけ離れて配置されている。アンテナ２１，２２は、ＧＮＳＳ電波を受信し、受信したＧＮＳＳ電波に応じた信号を出力する。アンテナ２１，２２は、ＧＰＳ（Global Positioning System）用のアンテナであってもよい。

運転室４は旋回体３の前部に載置されている。走行体５は、履帯５ａ，５ｂを有している。履帯５ａ，５ｂが回転することにより油圧ショベル１が走行する。

作業機２は、車体１Ｂの前部に取り付けられており、ブーム６、アーム７、バケット８、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２を有する。車体１Ｂの前部は、車体１ＢのカウンタウエイトＷＴとは反対側の部分である。実施形態において、車体１Ｂの前方は、図２に示される運転席４Ｓの背もたれ４ＳＳから操作装置３５に向かう方向側である。車体１Ｂの後方は、操作装置３５から運転席４Ｓの背もたれ４ＳＳに向かう方向側である。操作装置３５は、作業機２及び旋回体３を操作するための装置であり、右側レバー３５Ｒ及び左側レバー３５Ｌを有する。

ブーム６の基端部は、ブームピン１３を介して車体１Ｂの前部に回動可能に取り付けられている。すなわち、ブームピン１３は、ブーム６の旋回体３に対する回動中心に相当する。アーム７の基端部は、アームピン１４を介してブーム６の先端部に回動可能に取り付けられている。すなわち、アームピン１４は、アーム７のブーム６に対する回動中心に相当する。アーム７の先端部には、バケットピン１５を介してバケット８が回動可能に取り付けられている。すなわち、バケットピン１５は、バケット８のアーム７に対する回動中心に相当する。

図１に示されるブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２は、それぞれ油圧によって駆動される油圧シリンダである。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を駆動する。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を駆動する。バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を駆動する。

バケット８は、複数の刃８Ｂを有する。複数の刃８Ｂは、バケット８の幅方向に沿って一列に並んでいる。バケット８の幅方向は、バケットピン１５が延びる方向と平行な方向である。刃８Ｂの先端は、刃先８Ｔである。バケット８は、作業具の一例である。作業具は、バケット８に限定されない。作業具は、例えば、単数の刃を有するチルトバケットであってもよいし、法面バケット又は削岩用のチップを備えた削岩用のアタッチメントであってもよいし、これら以外であってもよい。

旋回体３は、位置検出装置２３と、姿勢検出装置の一例であるＩＭＵ（Inertial Measurement Unit：慣性計測装置）２４とを有する。位置検出装置２３は、アンテナ２１，２２からの信号が入力される。位置検出装置２３は、アンテナ２１，２２から取得した信号を用いて、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）におけるアンテナ２１，２２の現在位置及び旋回体３の方位を検出して、出力する。旋回体３の方位は、グローバル座標系における旋回体３の向きを表す。旋回体３の向きは、例えば、グローバル座標系のＺｇ軸周りにおける旋回体３の前後方向の向きで表すことができる。方位角は、旋回体３の前後方向における基準軸の、グローバル座標系のＺｇ軸周りにおける回転角である。方位角によって旋回体３の方位が表される。実施形態において、位置検出装置２３は、２個のアンテナ２１，２２の相対位置から方位角を算出する。

＜撮像装置＞
図２に示されるように、油圧ショベル１は、運転室４内に複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを有する。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、対象の形状を検出する検出装置の一例である。以下において、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを区別しない場合は適宜、撮像装置３０と称する。複数の撮像装置３０のうち撮像装置３０ａ及び撮像装置３０ｃは、作業機２側に配置される。撮像装置３０の種類は限定されないが、実施形態では、例えば、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えた撮像装置が用いられる。

図２に示されるように、撮像装置３０ａと撮像装置３０ｂとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室４内に配置される。撮像装置３０ｃと撮像装置３０ｄとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室４内に配置される。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、２個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置３０ａ，３０ｂの組合せのステレオカメラ、及び撮像装置３０ｃ，３０ｄの組合せのステレオカメラが構成される。実施形態において、撮像装置３０ａ及び撮像装置３０ｂは上方を向いており、撮像装置３０ｃ及び撮像装置３０ｄは下方を向いている。少なくとも撮像装置３０ａ及び撮像装置３０ｃは、油圧ショベル１、実施形態では旋回体３の正面を向いている。撮像装置３０ｂ及び撮像装置３０ｄは、作業機２の方に若干向けられて、すなわち、撮像装置３０ａ及び撮像装置３０ｃ側の方に若干向けられて配置されることもある。

実施形態において、油圧ショベル１は、４個の撮像装置３０を有するが、油圧ショベル１が有する撮像装置３０の数は少なくとも２個であればよく、４個に限定されない。油圧ショベル１は、少なくとも一対の撮像装置３０でステレオカメラを構成して、対象をステレオ撮影するからである。

複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、運転室４内の前方かつ上方に配置される。上方とは、油圧ショベル１が有する履帯５ａ，５ｂの接地面と直交し、かつ接地面から離れる方向側である。履帯５ａ，５ｂの接地面は、履帯５ａ，５ｂのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも３点で規定される平面である。下方は、上方とは反対方向側、すなわち履帯５ａ，５ｂの接地面と直交し、かつ接地面に向かう方向側である。

複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１の車体１Ｂの前方に存在する対象をステレオ撮影する。対象は、例えば、油圧ショベル１、油圧ショベル１以外の作業機械及び施工現場で作業する作業者の少なくとも１つによって施工される施工対象である。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１の所定の位置、実施形態では運転室４内の前方かつ上方から対象を検出する。実施形態において、少なくとも一対の撮像装置３０によるステレオ撮影の結果を用いて、対象が三次元計測される。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが配置される場所は、運転室４内の前方かつ上方に限定されるものではない。

複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、例えば、撮像装置３０ｃをこれらの基準とする。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、それぞれ座標系を有する。これらの座標系を適宜、撮像装置座標系と称する。図２では、基準となる撮像装置３０ｃの座標系（Ｘｓ，Ｙｓ，Ｚｓ）のみを示している。撮像装置座標系の原点は、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの中心である。

実施形態において、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像範囲は、油圧ショベル１の作業機２が施工できる範囲よりも大きい。このようにすることで、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、作業機２が施工できる範囲の対象を確実にステレオ撮影することができる。

前述した車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）は、車体１Ｂ、実施形態では車体１Ｂの一部である旋回体３に固定された原点を基準とする座標系である。実施形態において、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の原点は、例えば、旋回体３のスイングサークルの中心である。スイングサークルの中心は、旋回体３の旋回中心軸Ｚｒ上に存在する。車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸は旋回体３の旋回中心軸Ｚｒとなる軸であり、Ｘｍ軸は旋回体３の前後方向に延び、かつＺｍ軸と直交する軸である。Ｘｍ軸は、旋回体３の前後方向における基準軸である。Ｙｍ軸は、Ｚｍ軸及びＸｍ軸と直交する、旋回体３の幅方向に延びる軸である。前述したグローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）は、ＧＮＳＳによって計測される座標系であり、地球に固定された原点を基準とした座標系である。

車体座標系は、実施形態の例には限定されない。車体座標系は、例えば、ブームピン１３の中心を車体座標系の原点としてもよい。ブームピン１３の中心とは、ブームピン１３が延びる方向と直交する平面でブームピン１３を切った時の断面の中心、かつブームピン１３が延びる方向における中心である。

＜位置計測システム＞
図３は、実施形態に係る位置計測システム４０を示す図である。位置計測システム４０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、検出処理装置５１とを含む。これらは、図１及び図２に示される油圧ショベル１の車体１Ｂに備えられている。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、運転室４内に設置されて、フロントガラス４Ｇを通して運転室４の外部の対象を撮像する。実施形態において、油圧ショベル１は、フロントガラス４Ｇを清掃するためのワイパ４Ｗを有している。

実施形態において、位置計測システム４０は、さらに制御装置４１及び管理施設６０に設けられた管理装置６１を含んでもよい。管理装置６１は、油圧ショベル１の外部の管理施設６０に設けられた装置である。管理装置６１は、例えば、油圧ショベル１が施工する施工現場の施工状況を管理したり、油圧ショベル１の状態を管理したりする。実施形態において、管理装置６１は、プロセッサとメモリとを有するコンピュータであるが、専用のハードウェアで構成されていてもよい。検出処理装置５１と管理装置６１とは、通信回線ＮＴＷを介して通信する。通信回線ＮＴＷは、無線通信でも有線通信でもよい。実施形態では、通信回線ＮＴＷが無線通信であるものとして説明する。

検出処理装置５１は、処理部５１Ｐと、記憶部５１Ｍと、入出力部５１ＩＯとを有する。処理部５１Ｐは、例えば、ＣＰＵ（Central Processing Unit）のようなプロセッサ及びメモリによって実現される。処理部５１Ｐは、演算部５１ＰＡ、判定部５１ＰＢ及び情報生成部５１ＰＣを有する。検出処理装置５１は、少なくとも一対の撮像装置３０によって撮像された対象の画像の情報を用いてステレオ計測を実行する。ステレオ計測により、少なくとも一対の撮像装置３０によって撮像された対象の一対の画像の情報から対象の位置、実施形態では三次元座標系における対象の座標が求められる。このように、検出処理装置５１は、同一の対象を少なくとも一対の撮像装置３０で撮像することによって得られた一対の画像を用いて、対象の位置を三次元計測することができる。なお、処理部５１Ｐが管理装置６１に設けられていてもよい。この場合、少なくとも一対の撮像装置３０によって撮像された一対の画像が通信装置２６を介して管理施設６０に送信される。また、処理部５１Ｐのうち、演算部５１ＰＡ及び判定部５１ＰＢのみ、又は判定部５１ＰＢのみが管理装置６１に設けられていてもよい。

ステレオ計測、すなわちステレオ方式による対象の位置の計測は、同一の対象を２つの異なる撮像装置３０から観測して得られる２つの画像から、その対象の位置、例えば三次元の位置を得るものである。ステレオ計測においては、ステレオ方式における画像処理が実行される。ステレオ方式における画像処理では、同一の対象を２つの異なる撮像装置３０が撮像することによって得られた２つの画像の間で対応する部分が探索されて、探索に成功した対応する部分の視差が求められる。ステレオ計測では、得られた視差を用いて、２個の撮像装置３０を結ぶベースラインから対象までの距離が求められる。対象までの距離は、例えば、対象までの距離情報を濃淡により可視化した距離画像として表現される。以下の説明では、距離画像を視差画像と称することもある。

位置計測システム４０は、実施形態に係る位置計測方法を実現する。実施形態に係る位置計測方法は、油圧ショベル１に取り付けられた少なくとも一対の撮像装置３０が対象を撮像し、検出処理装置５１が少なくとも一対の撮像装置３０によって撮像された対象の画像の情報を用いてステレオ計測を実行し、ステレオ計測の実行結果に基づいて撮像装置３０の撮像に関わる状況（以下においては適宜、撮像状況と称する）を判定する。検出処理装置５１の処理部５１Ｐは、記憶部５１Ｍに記憶されたコンピュータプログラムを読み込んで実行する。このコンピュータプログラムは、実施形態に係る位置計測方法を処理部５１Ｐに実行させるためのものである。

撮像状況は、少なくとも一対の撮像装置３０によるステレオ計測に影響を与える。実施形態において、撮像状況は、撮像装置３０と、撮像装置３０が撮像する対象との間の状態、及び撮像装置３０の姿勢を含む。撮像装置３０と、撮像装置３０が撮像する対象との間の状態は、例えば、撮像装置３０の周囲の気象状態及び撮像装置３０の周囲の環境によって変化する。実施形態において、複数の撮像装置３０は、図２に示されるように運転室４の内部に設置されるので、撮像装置３０と、撮像装置３０が撮像する対象との間には、運転室４のフロントガラス４Ｇが介在する。雨又は雪によってフロントガラス４Ｇに水滴又は雪が付着したり、埃がフロントガラス４Ｇに付着したりすると、ステレオ方式による画像処理において、一対の画像間で対応する部分が探索できず、探索できない部分についてはステレオ計測が実現できないことがある。また、フロントガラス４Ｇに水滴又は雪が付着していなくても、降雪又は降雨の状態で撮像装置３０が対象を撮影した場合も、ステレオ方式による画像処理において、一対の画像間で対応する部分が探索できず、探索できない部分についてはステレオ計測が実現できないことがある。

撮像装置３０の姿勢は、例えば、経時変化によって変化することがある。撮像装置３０の姿勢が変化すると、ステレオカメラを構成する一対の撮像装置３０，３０同士の相対的な位置関係が変化する。すなわち、ステレオカメラを構成する一対の撮像装置３０，３０に位置ずれが発生する。すると、ステレオ方式による画像処理において、一対の画像間で対応する部分が探索できず、探索できない部分についてはステレオ計測が実現できないことがある。

ステレオ計測を実行した場合に、一対の撮像装置３０によって撮像された一対の画像間で対応する部分が探索できないこと、すなわちステレオ計測が実現できないことを利用して、撮像状況を判定することができる。位置計測システム４０及び実施形態に係る位置計測方法は、少なくとも一対の撮像装置３０を用いたステレオ計測の実行結果に基づいて、撮像装置３０の撮像状況を判定する。

例えば、検出処理装置５１は、少なくとも一対の撮像装置３０によって撮像された対象の画像に対してステレオ方式による画像処理を施して画像、例えば距離画像又は視差画像を得る。検出処理装置５１は、得られた画像中に存在する、対応する部分が探索できた箇所、すなわちステレオ計測が成功した箇所と、得られた画像中に存在する模様に相当する箇所とを求める。検出処理装置５１は、得られた画像中に存在する模様に相当する箇所に占める、ステレオ計測が成功した箇所の比率を求め、この比率を用いて撮像状況を判定する。実施形態において、検出処理装置５１の処理部５１Ｐの演算部５１ＰＡがステレオ計測を実行し、判定部５１ＰＢが撮像状況を判定する。実施形態において、撮像装置３０の故障及び動作不良等のように、撮像装置３０自体の不具合に関するものは、撮像装置３０のエラーとして扱われる。実施形態における撮像状況は、検出処理装置５１を用いて判定されるので、撮像装置３０自体の状態は、例えば制御装置４１等の他の装置が判定する。

記憶部５１Ｍは、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Random Access Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Random Access Memory）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。記憶部５１Ｍは、実施形態に係る位置計測方法を処理部５１Ｐに実行させるためのコンピュータプログラムを記憶している。記憶部５１Ｍは、処理部５１Ｐが実施形態に係る位置計測方法を実行する際に使用される情報を記憶する。この情報は、例えば、各撮像装置３０の内部校正データ、各撮像装置３０の姿勢及び撮像装置３０同士の位置関係等を含む。

入出力部５１ＩＯは、検出処理装置５１と他の装置とを接続するためのインターフェース回路である。実施形態において、入出力部５１ＩＯには、ハブ３１、撮像スイッチ３２、ＩＭＵ２４、通信装置２６及び信号線５５が接続される。入出力部５１ＩＯに接続される装置及び信号線は、実施形態のものに限定されない。ハブ３１には、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが接続されている。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果は、ハブ３１を介して入出力部５１ＩＯに入力される。処理部５１Ｐは、ハブ３１及び入出力部５１ＩＯを介して、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像した結果である画像の情報を取得する。ハブ３１を用いずに、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと入出力部５１ＩＯとが、直接接続されるようにしてもよい。

実施形態において、撮像スイッチ３２は、図２に示される運転室４内に設置される。例えば、撮像スイッチ３２は、操作装置３５の近傍に設置されるが、撮像スイッチ３２の設置場所はこれに限定されない。撮像スイッチ３２が操作されると、少なくとも一対の撮像装置３０は対象を撮像する。対象が撮像されると、処理部５１Ｐの演算部５１ＰＡは、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像した結果である画像の情報を取得して、取得した画像の情報を用いてステレオ計測を実行する。判定部５１ＰＢは、演算部５１ＰＡのステレオ計測の実行結果に基づき、撮像状況を判定する。情報生成部５１ＰＣは、例えば、ステレオ計測の結果及び撮像状況の少なくとも一方を、通信装置２６及びアンテナ２６Ａを介して油圧ショベル１の外部に出力したり、信号線５５に出力したりする。信号線５５には、油圧ショベル１が有する他の装置、例えば油圧ショベル１を制御する制御装置４１が接続されている。実施形態において、信号線５５を用いた通信の規格はＣＡＮ（Controller Area Network）であるが、これに限定されない。

ＩＭＵ２４は、自身に作用する加速度及び角速度、すなわち油圧ショベル１に作用する加速度及び角速度を検出して出力する。油圧ショベル１に作用する加速度及び角速度から、油圧ショベル１の姿勢が分かる。油圧ショベル１の姿勢を検出できれば、ＩＭＵ２４以外の装置であってもよい。検出処理装置５１は、ＩＭＵ２４の検出値を取得し、対象をステレオ計測することによって得られた三次元の位置を、例えばグローバル座標系における位置に変換する。

検出処理装置５１は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携して検出処理装置５１の機能、例えば処理部５１Ｐ、記憶部５１Ｍ及び入出力部ＩＯの機能実現するものであってもよい。

＜ステレオ計測＞
図４は、一対の撮像装置３０Ｌ，３０Ｒを用いて対象８０を三次元計測する例を説明する図である。図５及び図６は、一対の撮像装置３０Ｌ，３０Ｒによって得られた一対の画像３２Ｌ，３２Ｒを示す図である。実施形態において、図３に示される検出処理装置５１は、一対の撮像装置３０によって撮像された一対の画像にステレオ方式による画像処理を施すことにより、対象８０の位置を求める。図４において、対象８０を撮像する一対の撮像装置３０を、撮像装置３０Ｌ及び撮像装置３０Ｒと称する。一対の撮像装置３０Ｌ，３０Ｒは、図２に示される油圧ショベル１が有する撮像装置３０である。

撮像装置３０Ｌは、撮像素子３１Ｌを有する。撮像装置３０Ｌの撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）の原点、すなわち撮像装置３０Ｌの中心を光学中心ＯＣＬとしてある。撮像装置３０ＬのＺｓ軸は、撮像装置３０Ｌの光軸であり、光学中心ＯＣＬを通る。撮像装置３０Ｌが対象を撮像することにより、対象を含む画像３２Ｌが得られる。撮像装置３０Ｒは、撮像素子３１Ｒを有する。撮像装置３０Ｒの撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）の原点、すなわち撮像装置３０Ｒの中心を光学中心ＯＣＲとしてある。撮像装置３０ＲのＺｓ軸は、撮像装置３０Ｒの光軸であり、光学中心ＯＣＲを通る。撮像装置３０Ｒが対象を撮像することにより、対象を含む画像３２Ｒが得られる。

実施形態において、ステレオ計測の対象８０は、例えば油圧ショベル１の施工対象である。撮像装置３０Ｌ及び撮像装置３０Ｒが対象８０を撮像することにより、図５に示されるような一対の画像３２Ｌ及び３２Ｒが得られる。撮像装置３０Ｌは、バケット８に向かって左側に配置され、撮像装置３０Ｒはバケット８に向かって右側に、かつ撮像装置３０Ｌと所定の距離Ｂだけ離れて配置される。図５に示されるように、撮像装置３０Ｌによって撮像された画像３２Ｌ中における対象８０の位置と、撮像装置３０Ｒによって撮像された画像３２Ｒ中における対象８０の位置とは、撮像装置３０Ｌと撮像装置３０Ｒとが並ぶ方向において異なっている。このように、撮像装置３０Ｌと撮像装置３０Ｒとは所定の距離だけ離れて配置されているので、対象の観測地点の位置の違いにより対象の見える方向が異なる。

検出処理装置５１は、撮像装置３０Ｌによって撮像された対象８０の画像３２Ｌと、撮像装置３０Ｒによって撮像された対象８０の画像３２Ｒとにステレオ方式による画像処理を施す。ステレオ方式による画像処理によって、同一の対象である対象８０の位置が三次元計測される。ステレオ方式による画像処理は、一対の画像３２Ｌ，３２Ｒから視差画像３３を生成する工程と、視差画像３３に含まれる視差の情報に基づいて、撮像装置３０Ｌ，３０Ｒの撮像範囲の空間を三次元計測する工程とを含む。

検出処理装置５１は、視差画像３３を生成する工程において、図６に示されるように、一対の画像３２Ｌ，３２Ｒ間で対応する部分、例えば図４に示される対象８０の一部８１に対応する画素ＰＸｌ，ＰＸｒを探索し、対応する画素ＰＸｌ，ＰＸｒの探索結果から視差を求める。視差は、対象８０の一部８１に対応する画素ＰＸｌ，ＰＸｒ同士が物理的にどれだけ離れているか、例えば、どの程度の画素数分離れているかという情報である。視差画像３３は、視差を２次元配列で表現した画像である。ステレオ計測においては、視差を用いて対象までの距離を求める。視差の代わりに対象までの距離を２次元配列で表現した画像が距離画像である。

なお、視差は、一般には、ある計測対象となる基準点において、一対の撮像装置３０の視線がなす角度の変化量として定義される。一対の撮像装置３０を平行に並べた場合、基準となる一方の撮像装置の画像における計測点の投影点に対し、もう一方の撮像装置３０の画像における同じ計測点の投影点が、撮像された画像内でどの程度の画素分ずれているかが視差になる。

視差画像３３は、対応する画素の探索に失敗した場合には、探索に失敗した画素ＰＸｓに０、探索に成功した場合には、探索に成功した画素ＰＸｓに０よりも大きい数値が格納される。視差画像３３では、０が格納された画素ＰＸｓは黒であり、０よりも大きい数値が格納された画素ＰＸｓはグレースケールとなる。０以外の数値が格納された画素ＰＸｓは、視差画像３３又は距離画像中においてステレオ計測が成功した箇所である。

撮像された対象全体のステレオ計測が成功したか否かの判定には、０以外の数値が格納された画素ＰＸｓが、視差画像３３中に占める割合を用いることができる。例えば、グレースケールの画素ＰＸｓ、すなわち０以外の数値が格納された画素ＰＸｓの視差画像３３中に占める割合が閾値以上であれば、撮像された対象全体のステレオ計測は成功したと判定される。閾値は、例えば８０％から９５％とすることができるが、この範囲の値に限定されるものではない。

検出処理装置５１は、ステレオ計測する工程において、三角測量を用いて対象８０、この例では対象８０の一部８１までの距離を求める。図４に示されるように、撮像装置３０Ｌの光学中心ＯＣＬを原点とした三次元座標系（Ｘ，Ｙ，Ｚ）が設定される。撮像装置３０Ｌと撮像装置３０Ｒとは、平行に配置されているものとする。すなわち、撮像装置３０Ｌと撮像装置３０Ｒとの間で、画像３２Ｌ，３２Ｒの画像面が同一面、かつＸ軸方向における位置が同一であるとする。撮像装置３０Ｌの光学中心ＯＣＬと撮像装置３０Ｒの光学中心ＯＣＲとの距離をＢ、撮像装置３０Ｌによって撮像された画像３２Ｌ中の対象８０の一部８１、すなわち画素ＰＸｌのＹ座標をＹＬ、撮像装置３０Ｒによって撮像された画像３２Ｒ中の対象８０の一部８１、すなわち画素ＰＸｒのＹ座標をＹＲ、対象８０の一部８１のＺ座標をＺＰとする。ＹＬ，ＹＲ，ＺＰは、いずれも三次元座標系（Ｘ，Ｙ，Ｚ）における座標である。Ｙ軸と画像３２Ｌ，３２Ｒの画像面との距離は、撮像装置３０Ｌ，３０Ｒの焦点距離ｆである。

この場合、撮像装置３０Ｌ，３０Ｒから対象８０の一部８１までの距離は、三次元座標系（Ｘ，Ｙ，Ｚ）における刃先８ＴのＺ座標であるＺＰとなる。視差をｄ＝ＹＬ−（ＹＲ−Ｂ）とすると、ＺＰは、Ｂ×ｆ／ｄで求められる。

図６に示される視差画像３３の各画素ＰＸｓには、探索の成功の有無を示す情報と、探索に成功した場合には視差ｄとが格納される。検出処理装置５１は、画像３２Ｌ，３２Ｒ中の探索に成功した各画素間の視差ｄと、画像３２Ｌ，３２Ｒ中の探索に成功した各画素の座標と、撮像装置３０Ｌ，３０Ｒの焦点距離ｆとから、対象までの距離を求めることができる。

図６に示される例において、検出処理装置５１は、一対の画像３２Ｌ，３２Ｒ間で対応する画素を探索し、視差画像３３を生成する。次に、検出処理装置５１は、距離を求める対象８０の一部８１に対応する画素ＰＸｌ，ＰＸｒを探索する。一対の画像３２Ｌ，３２Ｒ間において、対象８０の一部８１に対応する画素ＰＸｌ，ＰＸｒが探索されたら、検出処理装置５１は、探索された画素ＰＸｌ，ＰＸｒのＹ座標であるＹＬ，ＹＲを求める。検出処理装置５１は、得られたＹＬ，ＹＲ及び距離Ｂを視差ｄの式であるｄ＝ＹＬ−（ＹＲ−Ｂ）に与えて、視差ｄを求める。検出処理装置５１は、得られた視差ｄ、距離Ｂ及び焦点距離ｆを用いて、撮像装置３０Ｌ，３０Ｒから刃先８Ｔまでの距離ＺＰを、前述した式に与えることにより求める。

撮像装置３０Ｌ，３０Ｒは図２に示される運転室４の内部に設置されるので、撮像装置３０Ｌ，３０Ｒとバケット８の刃先８Ｔとの間にはフロントガラス４Ｇが介在する。フロントガラス４Ｇに水滴及び埃等が付着していた場合、一対の画像３２Ｌ，３２Ｒの少なくとも一方には、対象８０が写っていない場合がある。このような場合、対応する画素の探索に失敗するので、視差画像３３は、全体においてグレースケールの画素ＰＸｓが占める割合は低下し、黒の画素が占める割合が高くなる。

このように、撮像装置３０と、撮像装置３０が撮像する対象８０との間の状態、及びステレオカメラを構成する一対の撮像装置３０の姿勢の少なくとも１つに応じて、視差画像又は距離画像中におけるステレオ計測が成功した箇所の割合は変化する。このため、検出処理装置５１は、ステレオ計測の実行結果、例えば視差画像又は距離画像中におけるステレオ計測が成功した箇所の割合を用いることにより、撮像状況を判定できる。

＜雨の影響＞
ステレオ率ＳＴＲは下記の式（１）で求められる。式（１）中のＰＸＳは、ステレオ計測においてステレオ方式による画像処理を実行した結果得られた処理後の画像中におけるステレオ計測が成功した画素の総数である。画素のステレオ計測が成功した場合とは、一対の画像間で対応する画素が探索できた場合である。式（１）中のＰＸＡは、一対の撮像装置３０，３０によって撮像された画像（２つの画像のうち少なくとも一方）中に模様が存在する範囲の画素の総数である。実施形態において、ステレオ率ＳＴＲを求めるにあたって、検出処理装置５１の演算部５１ＰＡは、画像中の模様がある範囲についてステレオ計測を実行する。判定部５１ＰＢによるステレオ率ＳＴＲの判定は、画像中の模様がある範囲について行われる。
ＳＴＲ＝ＰＸＳ／ＰＸＡ・・・（１）

画像中に模様が存在する範囲を求める方法の一例を説明する。実施形態において、検出処理装置５１の演算部５１ＰＡは、一対の撮像装置３０，３０が撮像した画像のうち、一方の画像（以下において、適宜、基準画像と称する）を対象に、模様を検出する。模様の検出において、演算部５１ＰＡは、例えば、基準画像中のある画素に着目する。着目した画素を、以下において着目画素と称する。演算部５１ＰＡは、着目画素の輝度と、着目画素の周囲に存在する画素の輝度とを比較し、着目画素と周囲の各画素との輝度差を求める。基準画像中の画素が碁盤の目状に配置されている場合、着目画素の周囲に存在する画素は８個になる。演算部５１ＰＡは、輝度差のばらつきが閾値以上である場合に着目画素は模様であると判定し、輝度差のばらつきが閾値よりも小さい場合に着目画素は模様ではないと判定する。模様の検出は、ステレオ率ＳＴＲが求められる前であれば、視差画像を求める後であっても前であってもよい。模様が存在する場所を撮像した結果が適切か否かを判断するためには、模様が存在する範囲のステレオ率ＳＴＲを用いると、より好ましい。

実施形態において、演算部５１ＰＢは、模様を検出せず、例えば、ステレオ計測においてステレオ方式による画像処理を実行した結果得られた処理後の画像中におけるステレオ計測が成功した画素の割合を用いてステレオ率ＳＴＲを求めてもよい。

図７及び図８は、ステレオ率ＳＴＲと撮像装置３０の周囲の状態との関係を示す図である。図７及び図８は、いずれも実験結果の一例を示す。図７は、図２に示される一対の撮像装置３０ａ，３０ｂを用いたステレオ計測の結果を示し、図８は、図２に示される一対の撮像装置３０ｃ，３０ｄを用いたステレオ計測の結果を示す。一対の撮像装置３０ａ，３０ｂの光軸は上方を向いて設置され、一対の撮像装置３０ｃ，３０ｄの光軸は下方を向いて設置される。図７及び図８の縦軸は、ステレオ率ＳＴＲであり単位は％である。図７及び図８の縦軸は、横軸と交差する部分は０％ではない。

図７及び図８の状態Ａは雨が降っていない状態であり、状態Ｂは小雨時かつワイパ４Ｗの動作なしの状態であり、状態Ｃは小雨時かつワイパ４Ｗの動作ありの状態であり、状態Ｄは大雨かつワイパ４Ｗの動作なしの状態であり、状態Ｅは大雨かつワイパ４Ｗの動作ありの状態である。つまり、状態Ａはフロントガラス４Ｇは乾いた状態である。一方、状態Ｂ、Ｃ、つまり小雨の場合、図２に示される運転室４のフロントガラス４Ｇに少量の水滴が付着した状態である。さらに、状態Ｄ，Ｅ、つまり大雨の場合、運転室４のフロントガラス４Ｇには小雨の場合よりも多い水滴が付着した状態である。

光軸が上方を向いて設置された一対の撮像装置３０ａ，３０ｂの結果（図７）から、雨の場合は、雨が降っていない場合と比較するとステレオ率ＳＴＲは下がること、小雨よりも大雨の方がステレオ率ＳＴＲは低下すること、及び雨が降っている場合、ワイパ４Ｗが動作するとステレオ率ＳＴＲは改善することが分かる。光軸が下方を向いて設置された一対の撮像装置３０ｃ，３０ｄの結果（図８）から、小雨がステレオ率ＳＴＲに与える影響は小さいこと、大雨の場合、ステレオ率ＳＴＲは急激に低下すること、及び特に雨が降っている場合、ワイパ４Ｗが動作するとステレオ率ＳＴＲは改善することが分かる。

このように、ステレオ計測の実行結果、実施形態ではステレオ率ＳＴＲに基づいて、撮像装置３０の撮像状況を判定することができる。光軸が上方を向いて設置された一対の撮像装置３０ａ，３０ｂによるステレオ率ＳＴＲの方が、光軸が下方を向いて設置された一対の撮像装置３０ｃ，３０ｄよりも雨の影響及びワイパ４Ｗの影響が現れやすい。すなわち、光軸が上方を向いて設置された一対の撮像装置３０ａ，３０ｂの方が、光軸が下方を向いて設置された一対の撮像装置３０ｃ，３０ｄよりも周囲の状況の影響を検出する感度が高い。このため、検出処理装置５１が撮像装置３０の撮像状況を判定する場合、光軸が上方を向いて設置された一対の撮像装置３０ａ，３０ｂが撮像した画像の情報を用いることが好ましい。なお、図７及び図８は、降雨によりフロントガラス４Ｇに水滴が付着する場合の実験結果を示しているが、フロントガラス４Ｇに水滴が付着していないが降雨又は降雪の撮像状況において撮像装置３０が対象を撮像した時のステレオ率ＳＴＲは、晴天時に対象を撮影した時のステレオ率ＳＴＲより低下する。

図９は、実施形態に係る位置計測方法の処理例を示すフローチャートである。この処理例は、撮像装置３０と、撮像装置３０が撮像する対象との間の状態を判定する例であり、例えば撮像装置３０の周辺の環境を判定する例である。ステップＳ１１において、図２及び図３に示される少なくとも一対の撮像装置３０は、対象を撮像する。前述したように、撮像状況の判定においては、光軸が上方を向いて設置された一対の撮像装置３０ａ，３０ｂが用いられることが好ましい。ステップＳ１２において、図３に示される検出処理装置５１の演算部５１ＰＡは、少なくとも一対の撮像装置３０の撮像結果、すなわち少なくとも一対の画像の情報を取得し、ステレオ方式による画像処理を施す。ステップＳ１３において、演算部５１ＰＡは、ステレオ方式による画像処理の結果得られた画像からステレオ率ＳＴＲを求める。ステップＳ１４において、判定部５１ＰＢは、ステレオ率ＳＴＲを用いて、撮像装置３０の撮像状況を判定する。

判定部５１ＰＢは、判定結果を記憶部５１Ｍ及び外部の少なくとも一方に出力してもよい。判定結果が外部に出力される場合、例えば、判定部５１ＰＢは、油圧ショベル１の外部に設置された管理装置６１又は通信機能を有する携帯端末装置６４に判定結果を出力することができる。管理装置６１を使用する管理者は、判定部５１ＰＢから出力された判定結果に基づき、油圧ショベル１に対して必要な対処を実行する。また、判定結果を取得した携帯端末装置６４が油圧ショベル１のオペレータ又は油圧ショベル１の管理者に使用される場合、オペレータ又は管理者は、判定部５１ＰＢから出力された判定結果に基づき、油圧ショベル１に対して必要な対処を実行する。判定結果に基づく、必要な対処については後述する。

撮像装置３０の撮像状況を判定するにあたっては、例えばステレオ率ＳＴＲと撮像状況とを対応付けたテーブルを作成して検出処理装置５１の記憶部５１Ｍに記憶させておく。判定部５１ＰＢは、ステレオ率ＳＴＲを演算部５１ＰＡから取得し、記憶部５１Ｍのテーブルを参照して、取得したステレオ率ＳＴＲに対応する撮像状況をテーブルから読み出す。読み出された撮像状況が、少なくとも一対の撮像装置３０の撮像状況となる。撮像状況は、例えば、ステレオ率ＳＴＲが第１閾値以下の場合は小雨、第１閾値よりも小さい第２閾値以下である場合は大雨というように判定される。

この処理例において、撮像状況は、雨、すなわち撮像装置３０と、撮像装置３０が撮像する対象との間に水滴が存在する場合を例としたが、撮像装置３０と、撮像装置３０が撮像する対象との間に埃が存在したり、雪又は霙等が存在したりする場合が撮像状況とされてもよい。また、撮像装置３０と、撮像装置３０が撮像する対象との間の状態のみならず、撮像装置３０の姿勢が撮像状況とされてもよい。撮像状況は、例えば、ステレオ率ＳＴＲが第１閾値よりも大きい場合は一対の撮像装置３０，３０同士の位置ずれは許容範囲、第１閾値以下である場合は一対の撮像装置３０，３０同士に許容できない位置ずれが発生しているが再校正で修正可能、第１閾値よりも小さい第２閾値以下である場合は撮像装置３０の取付状態の修正要というように判定される。前述のように、撮像装置３０の姿勢が、例えば経時変化により変化した場合、撮像装置３０が対象を撮像した画像から求められるステレオ率ＳＴＲから、撮像状況（取付状態）が不良であるとの判定ができる。

検出処理装置５１の判定部５１ＰＢは、ステレオ率ＳＴＲの時系列の変化に基づいて、撮像状況を判定してもよい。例えば、ステレオ率ＳＴＲが異なるタイミングで取得された結果、ステレオ率ＳＴＲの低下が一時的なものであれば、判定部５１ＰＢは、雨又は雪等のような撮像装置３０の周辺の環境がステレオ率ＳＴＲの低下の原因であると判定する。ステレオ率ＳＴＲが異なるタイミングで取得された結果、ステレオ率ＳＴＲの低下が継続する場合、判定部５１ＰＢは、撮像装置３０の位置ずれ又はフロントガラス４Ｇの汚れ又は撮像装置３０のレンズの汚れ等であると判定する。

検出処理装置５１は、ステレオ率ＳＴＲの低下が継続する場合に、撮像装置３０の姿勢を決定するパラメータを変更して、同一の撮像結果に対してステレオ率ＳＴＲを再計算する。パラメータを変化させてもステレオ率ＳＴＲが変化しない場合、検出処理装置５１の判定部５１ＰＢは、運転室４のフロントガラス４Ｇ又は撮像装置３０のレンズが汚れていると判定する。パラメータを変化させるとステレオ率ＳＴＲが高くなる場合、検出処理装置５１の判定部５１ＰＢは、一対の撮像装置３０，３０同士に位置ずれが発生していると判定し、撮像装置３０の取付状態を修正する必要がある旨を出力する。パラメータを変化させるとステレオ率ＳＴＲが低くなる前と同等になった場合、検出処理装置５１の判定部５１ＰＢは、一対の撮像装置３０，３０同士の位置ずれは修正可能であると判定し、ステレオ率ＳＴＲが最大となったときのパラメータを新たなパラメータに決定する。

撮像装置３０の姿勢を決定するパラメータは、回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺである。回転方向補正量α，β，γは、ステレオカメラを構成する一対の撮像装置３０，３０において、図２に示される撮像装置座標系のＸｓ軸周り、Ｙｓ軸周り、Ｚｓ軸周りの回転方向のずれ量を補正する量である。並進方向補正量ΔＸ，ΔＹ，ΔＺは、ステレオカメラを構成する一対の撮像装置３０，３０において、撮像装置座標系のＸｓ軸、Ｙｓ軸、Ｚｓ軸と平行な方向のずれ量を補正する量である。検出処理装置５１は、一対の撮像装置３０，３０のうち一方の回転方向補正量α，β，γ及び並進方向補正量ΔＸ，ΔＹ，ΔＺを変更してステレオ率ＳＴＲを再計算する。

判定部５１ＰＢが撮像装置３０の撮像状況を判定したら、油圧ショベル１の制御装置４１は、判定結果に基づいて油圧ショベル１の制御内容、すなわち対応内容を決定してもよい。ここで、判定部５１ＰＢが対応内容を決定するようにしてもよい。対応内容は、油圧ショベル１の制御内容及び油圧ショベル１を運用する者への通知の少なくとも一方を含む。この通知は、油圧ショベル１の運用に関する情報である。油圧ショベル１を運用する者は、油圧ショベル１のオペレータ、油圧ショベル１の管理者及びサービスマンの少なくとも１つを含む。実施形態において、制御装置４１は、判定結果に基づいて油圧ショベル１に対する制御内容を決定する制御部に相当する。例えば、撮像状況が雨であった場合、制御装置４１は、油圧ショベル１の制御内容を、運転室４のフロントガラス４Ｇを清掃するワイパ４Ｗを動作させるという制御に決定する。制御装置４１は、決定した制御内容に基づき、ワイパ４Ｗを動作させる。制御装置４１は、油圧ショベル１の運転室４内に設置されたモニタの画面に、ワイパ４Ｗを動作させる指示を表示させてもよい。油圧ショベル１のオペレータは、モニタの画面に表示された指示を視認して、ワイパ４Ｗを動作させる。

例えば、撮像状況が雨であった場合、制御装置４１は、油圧ショベル１の制御内容を、ステレオ計測を実行しないという制御に決定する。制御装置４１は、決定した制御内容に基づき、ステレオ計測を実行しない。例えば、撮像スイッチ３２が操作されて撮像指令が検出処理装置５１に入力された場合でも、検出処理装置５１は撮像装置３０に対象を撮像させない。このとき、制御装置４１は、油圧ショベル１の運転室４内に設置されたモニタの画面に、ステレオ計測を実行しないことを表示してもよい。

例えば、制御装置４１は、撮像装置３０に位置ずれがあると判定した場合、油圧ショベル１の制御内容を、撮像装置３０に位置ずれが発生していることを油圧ショベル１の運転室４内に設置されたモニタに表示させる制御に決定する。制御装置４１は、決定した制御内容に基づき、撮像装置３０に位置ずれが発生していることを前述したモニタに表示させる。モニタの表示を視認した油圧ショベル１のオペレータは、例えば、撮像装置３０の校正を実行したり、サービスマンに撮像装置３０の取付位置の調整を依頼したりする。

実施形態の処理例では、検出処理装置５１がステレオ計測の実行結果に基づいて撮像装置３０の撮像状況を判定するが、このような手法に限定されない。例えば、検出処理装置５１はステレオ計測の実行結果、実施形態ではステレオ率ＳＴＲを油圧ショベル１の外部の装置である管理装置６１に出力し、管理装置６１が撮像装置３０の撮像状況を判定してもよい。この場合、検出処理装置５１が有する処理部５１Ｐの判定部５１ＰＢは、管理装置６１が有することになる。

検出処理装置５１からステレオ計測の実行結果を取得した管理装置６１は、実行結果に基づいて撮像状況を判定する。この判定は、管理装置６１が有する判定部５１ＰＢによって行われる。管理装置６１は、判定結果である撮像状況に基づいて、油圧ショベル１に対する制御内容を決定し、決定した結果を油圧ショベル１に通信装置６２及びアンテナ６２Ａを介して出力してもよい。例えば、撮像状況が雨であった場合、管理装置６１は、油圧ショベル１の制御内容を、ワイパ４Ｗを動作させる制御に決定して、管理装置６１に接続されている通信装置６２を介して油圧ショベル１に出力する。油圧ショベル１又は油圧ショベル１のオペレータは、管理装置６１から通信装置２６を介して取得した制御内容に基づき、ワイパ４Ｗを動作させる。

例えば、撮像状況が雨であった場合、管理装置６１は、油圧ショベル１の制御内容を、ステレオ計測を実行しないという制御に決定して、通信装置６２及びアンテナ６２Ａを介して油圧ショベル１に出力する。油圧ショベル１は、管理装置６１から取得した制御内容に基づき、ステレオ計測を実行しない。例えば、撮像スイッチ３２が操作されて撮像指令が検出処理装置５１に入力された場合でも、検出処理装置５１は撮像装置３０に対象を撮像させない。このとき、油圧ショベル１の運転室４内に設置されたモニタの画面に、ステレオ計測を実行しないことが表示されてもよい。

例えば、管理装置６１は、撮像装置３０に位置ずれがあると判定した場合、油圧ショベル１の制御内容を、撮像装置３０に位置ずれが発生していることを油圧ショベル１の運転室４内に設置されたモニタに表示させる制御に決定する。管理装置６１は、決定した制御内容を油圧ショベル１に対して出力する。油圧ショベル１は、管理装置６１から取得した制御内容に基づき、撮像装置３０に位置ずれが発生していることを前述したモニタに表示させる。モニタの表示を視認した油圧ショベル１のオペレータは、例えば、撮像装置３０の校正を実行したり、サービスマンに撮像装置３０の取付位置の調整を依頼したりする。管理装置６１が撮像装置３０の撮像状況を判定する場合、管理装置６１が行う判定の内容は前述したものに限定されず、検出処理装置５１が判定部５１ＰＢを有する場合と同様の判定を行うことができる。

管理装置６１は、前述したように、判定結果に基づいて油圧ショベル１の制御内容を決定し、通信装置６２を介して油圧ショベル１に送信するが、このとき、管理装置６１は携帯端末装置６４に油圧ショベル１の制御内容を送信してもよい。油圧ショベル１のオペレータは、油圧ショベル１又は携帯端末装置６４に送信された制御内容を確認して、油圧ショベル１を制御することができる。

また、管理装置６１は、判定結果に基づいた対応内容を決定するが、その一例として、オペレータ、管理者又はサービスマンへの通知を行うようにしてもよい。予め、管理装置６１の記憶装置に、オペレータ、管理者又はサービスマン等が保有する、例えば、携帯電話等の携帯端末装置６４のメールアドレスといった識別情報を登録しておく。例えば、撮像状況が雨であった場合、管理装置６１は、通信装置６２及びアンテナ６２Ａを介して、携帯端末装置６４に、天候が悪い時の撮像を控える旨の通知を送信してもよい。判定結果が、撮像装置３０に位置ずれ、フロントガラス４Ｇの汚れ又は撮像装置３０のレンズの汚れ等であった場合、管理装置６１は、通信装置６２及びアンテナ６２Ａを介して、携帯端末装置６４に、撮像装置３０の点検を促す旨の通知又はフロントガラス４Ｇの清掃を促す旨の通知等を送信してもよい。これらの判定結果に基づいた対応内容である通知は、管理装置６１から油圧ショベル１の通信装置２６を介して検出処理装置５１に受信され、油圧ショベル１の図示しない表示装置に表示されるようにしてもよい。

例えば、少なくとも判定部５１ＰＢが管理装置６１に設けられる場合、管理装置６１は、前述した対応内容を油圧ショベル１及び携帯端末装置６４に送信するために、次のような処理を実行する。管理装置６１の判定部５１ＰＢは、油圧ショベル１から送信されるステレオ率ＳＴＲとともに、そのステレオ率ＳＴＲを送信した油圧ショベル１の通信装置２６のＩＰアドレスを受信する。ここで、通信装置２６のＩＰアドレスとともに、あるいはＩＰアドレスに変えて、油圧ショベル１の機体番号といった識別情報が管理装置６１に送信されてもよい。この場合、機体番号は検出処理装置５１の記憶部５１Ｍに予め記憶されており、例えば通信装置２６は記憶部５１Ｍから機体番号を読み出して管理装置６１に送信する。また、油圧ショベル１の通信装置２６は、撮像装置３０が対象を撮像した時にＧＰＳにより測位した位置情報も管理装置６１に送信してもよい。

管理装置６１の記憶装置には、予め油圧ショベル１の通信装置２６のＩＰアドレス、携帯端末装置６４のＩＰアドレス、メールアドレス、及び油圧ショベル１の機体番号等が登録されている。油圧ショベル１のＩＰアドレス（又は機体番号）と携帯端末装置６４のＩＰアドレス及びメールアドレスの少なくとも一方とは紐付がされている。管理装置６１の判定部５１ＰＢは、管理装置６１がステレオ率ＳＴＲとともに受信した油圧ショベル１（通信装置２６）のＩＰアドレスを管理装置６１の記憶装置から探索し、探索されたＩＰアドレスに紐付された携帯端末装置６４のＩＰアドレス又はメールアドレスに対応内容を送信する。なお、例えば、前述したように、油圧ショベル１の表示装置に対応内容を表示させたい場合、管理装置６１がステレオ率ＳＴＲとともに受信したＩＰアドレスに対して対応内容（通知）を送信してもよい。この場合、油圧ショベル１の稼働現場の場所を示す情報が予め管理装置６１の記憶装置に登録されていてもよい。管理装置６１は、油圧ショベル１から送信された位置情報に基づいて、登録されている稼働現場の場所を探索し、該当する稼働現場の管理者等、油圧ショベル１に対応内容を送信してもよい。

油圧ショベル１の検出処理装置５１がステレオ計測の実行結果に基づいて撮像状況を判定し、対応内容を求める。そして、検出処理装置５１が、判定結果及び対応内容の少なくとも一方を、油圧ショベル１が有する図示しない表示装置に表示させてもよい。また、管理装置６１が油圧ショベル１から送信されてきたステレオ計測の実行結果に基づいて撮像状況を判定し、判定結果に基づいて対応内容を求める。そして、管理装置６１は、判定結果及び求めた対応内容の少なくとも一方を、管理施設６０内の図示しない表示装置に表示させたり、管理施設６０内の図示しない印刷装置から出力させたりしてもよい。

以上、実施形態の位置計測システム４０及び位置計測方法は、油圧ショベル１に取り付けられた少なくとも一対の撮像装置３０を用いたステレオ計測の実行結果に基づいて、撮像装置３０の撮像状況を判定する。このため、実施形態の位置計測システム４０及び位置計測方法は、油圧ショベル１が環境観測用の装置を有さない場合であっても撮像装置３０の撮像に影響を与える環境を判定したり、油圧ショベル１の周辺の環境を判定したり、撮像装置３０の姿勢を判定したりすることができる。このように、実施形態の位置計測システム４０及び位置計測方法は、ステレオカメラを構成する撮像装置３０の撮像時における状況を把握することができる。そして、油圧ショベル１のオペレータ又は油圧ショベル１の管理者等は、実施形態の位置計測システム４０及び位置計測方法によって判定された結果を用いることにより、撮像装置３０の撮像状況を把握することができる。

したがって、撮像時における環境が、撮像装置３０の撮像に影響を与える環境であったにも関わらず、オペレータが対象を撮像してしまった場合でも、実施形態の位置計測システム４０及び位置計測方法は、その撮像に基づく三次元計測の結果を排除することができる。また、実施形態の位置計測システム４０及び位置計測方法は、判定結果に基づく必要な対処として、オペレータに対し、撮像時における環境が撮像装置３０の撮像に影響を与える環境の場合、撮像を控えるように注意を促すことができる。判定結果に基づく必要な対処として、撮像装置３０の点検及びフロントガラス４Ｇの清掃といった作業があるが、実施形態の位置計測システム４０及び位置計測方法によれば、そのような作業の必要性を迅速に判断でき、管理者等は、点検や清掃の作業や指示を行うことができる。結果として、管理者等は、撮像装置３０による、適切な三次元計測の結果（地形情報）を得ることができる。

油圧ショベル１のような作業機械は、埃の多い場所で作業することが多く、また振動及び衝撃等を受けやすい。このため、フロントガラス４Ｇに埃が付着したり、振動及び衝撃により撮像装置３０の位置ずれが発生したりしやすい。実施形態の位置計測システム４０及び位置計測方法は、撮像装置３０の撮像環境を判定して、撮像装置３０の撮像状況の改善を図ることができる。撮像状況は、実施形態のものに限定されず、例えば、一対の撮像装置３０，３０のうち一方に作業機２が写り込んだ結果、ステレオ計測ができないような場合も含まれる。

本実施形態では、撮像装置３０が運転室４内に配置される場合を示したが、撮像装置３０が運転室４の外に配置されてもよい。また、油圧ショベル１は、遠隔操作により作業機２、旋回体３及び走行体５を操作可能であるものであってもよい。このような遠隔操作により動作可能な油圧ショベル１の場合、運転室４は有していなくてもよい。遠隔操作により動作可能な油圧ショベル１の場合、撮像スイッチ３２による撮像指令の代わりに遠隔地から撮像指令信号を油圧ショベル１に送信し、通信装置２６を介して油圧ショベル１が受信することで、例えば、処理部５１Ｐが撮像装置３０に撮像を実行させる。

以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。作業機械は、施工対象を施工、例えば掘削及び運搬等を行うことができれば油圧ショベルに限定されず、例えば、ホイールローダー及びブルドーザーのような作業機械であってもよい。

１ 油圧ショベル
１Ｂ 車体
２ 作業機
３ 旋回体
４ 運転室
４Ｇ フロントガラス
４Ｗ ワイパ
５ 走行体
２３ 位置検出装置
２６ 通信装置
３０，０ａ，３０ｂ，３０ｃ，３０ｄ，３０Ｌ，３０Ｒ 撮像装置
３２ 撮像スイッチ
３３ 視差画像
３５ 操作装置
４０ 位置計測システム
４１ 制御装置
５０ 制御システム
５１ 検出処理装置
５１ＩＯ 入出力部
５２Ｍ 記憶部
５１Ｐ 処理部
５１ＰＡ 演算部
５１ＰＢ 判定部
５１ＰＣ 情報生成部
５５ 信号線
６０ 管理施設
６１ 管理装置
６２ 通信装置
６４ 携帯端末装置

Claims (16)

1. 作業機械に取り付けられた、少なくとも一対の撮像装置と、
   前記作業機械に設けられて、少なくとも一対の前記撮像装置によって撮像された対象の画像の情報を用いてステレオ計測を実行して、前記ステレオ計測においてステレオ方式による画像処理を実行した結果得られた処理後の画像中における前記ステレオ計測が成功した画素の割合、又は一対の前記撮像装置によって撮像された前記画像のうち少なくとも一方の前記画像中に模様が存在する範囲の画素数に対する、一対の前記画像間で対応する前記画素が探索できた前記画素数であるステレオ率を求める演算部と、
   前記ステレオ計測の前記ステレオ率に基づいて、前記撮像装置の撮像に関わる状況を判定する判定部と、
   を含む、位置計測システム。
2. 前記判定部は、前記ステレオ率が第１閾値以下である場合は前記撮像装置の校正により修正可能と判定し、前記ステレオ率が前記第１閾値よりも小さい第２閾値以下である場合は前記撮像装置の取付状態の修正が必要と判断する、
   請求項１に記載の位置計測システム。
3. 前記判定部は、前記ステレオ率が経時変化により低下した場合には前記撮像装置の取付状態が不良であると判定する、
   請求項１に記載の位置計測システム。
4. 前記判定部は、前記ステレオ率が一時的に低下した場合には、周辺の環境が原因であると判定する、
   請求項１に記載の位置計測システム。
5. 前記演算部は、
   前記画像中の模様がある範囲について前記ステレオ計測を実行する、請求項１から請求項４のいずれか１項に記載の位置計測システム。
6. 前記判定部は、
   前記ステレオ率に基づいて、前記撮像装置と、前記撮像装置が撮像する対象との間の状態を判定する、請求項１又は請求項５に記載の位置計測システム。
7. 前記判定部は、
   前記ステレオ率に基づいて前記撮像装置の姿勢を判定する、請求項１、請求項５、請求項６のいずれか１項に記載の位置計測システム。
8. 少なくとも一対の前記撮像装置は、
   光軸が上方を向いて設置される、請求項１から請求項７のいずれか１項に記載の位置計測システム。
9. 前記判定部は、前記作業機械の外部の管理装置に設けられており、
   前記演算部は、前記管理装置に設けられた前記判定部に前記ステレオ計測の実行結果を出力する、
   請求項１から請求項８のいずれか１項に記載の位置計測システム。
10. 前記管理装置は、
    前記撮像に関わる状況の判定結果に基づいて対応内容を決定する、請求項９に記載の位置計測システム。
11. 前記判定部は、
    前記作業機械に設けられている、請求項１から請求項１０のいずれか１項に記載の位置計測システム。
12. 前記作業機械は、前記撮像に関わる状況の判定結果に基づいて対応内容を決定する制御部を有する、請求項１１に記載の位置計測システム。
13. 請求項１から請求項１２のいずれか１項に記載の位置計測システムと、
    走行体を有する車体と、
    前記車体に取り付けられる作業機と、を備える作業機械。
14. 作業機械に取り付けられた少なくとも一対の撮像装置が対象を撮像し、
    少なくとも一対の前記撮像装置によって撮像された対象の画像の情報を用いてステレオ計測を実行して、前記ステレオ計測においてステレオ方式による画像処理を実行した結果得られた処理後の画像中における前記ステレオ計測が成功した画素の割合、又は一対の前記撮像装置によって撮像された前記画像のうち少なくとも一方の前記画像中に模様が存在する範囲の画素数に対する、一対の前記画像間で対応する前記画素が探索できた前記画素数であるステレオ率を求め、
    前記ステレオ計測の前記ステレオ率に基づいて前記撮像装置の撮像に関わる状況を判定する、
    位置計測方法。
15. 前記撮像に関わる状況を判定した後、判定した結果を出力する、請求項１４に記載の位置計測方法。
16. 前記撮像に関わる状況の判定結果に基づいて対応内容を決定する、請求項１５に記載の位置計測方法。