JPWO2019044316A1 - 作業機械の計測システム、作業機械、及び作業機械の計測方法 - Google Patents

Abstract

作業機械の計測システムは、作業機械の旋回体に搭載された撮像装置によって旋回体の旋回中に撮影された施工対象の画像を取得する画像取得部と、画像に基づいて施工対象の三次元位置を算出する三次元位置算出部と、旋回体の旋回データを取得する旋回データ取得部と、旋回データが規定の旋回条件を満足するか否かを判定する判定部と、判定部の判定結果に基づいて旋回指示信号を出力する出力部と、を備える。

Description

本発明は、作業機械の計測システム、作業機械、及び作業機械の計測方法に関する。

作業機械に係る技術分野において、特許文献１に開示されているような、撮像装置が搭載された作業機械が知られている。一対の撮像装置で撮影された一対の画像がステレオ処理されることにより、作業機械の周辺の対象の三次元形状が計測される。

国際公開第２０１７／０３３９９１号

旋回体を旋回させながら撮像装置によって作業機械の周辺の対象を連続撮影するとき、ステレオ計測の計測精度を低下させる旋回条件で旋回体が旋回する可能性がある。その結果、対象の三次元形状の計測精度が低下する可能性がある。

本発明の態様は、対象の三次元形状の計測精度の低下を抑制することを目的とする。

本発明の態様に従えば、作業機械の旋回体に搭載された撮像装置によって前記旋回体の旋回中に撮影された施工対象の画像を取得する画像取得部と、前記画像に基づいて前記施工対象の三次元位置を算出する三次元位置算出部と、前記旋回体の旋回データを取得する旋回データ取得部と、前記旋回データが規定の旋回条件を満足するか否かを判定する判定部と、前記判定部の判定結果に基づいて旋回指示信号を出力する出力部と、を備える作業機械の計測システムが提供される。

本発明の態様によれば、対象の三次元形状の計測精度の低下を抑制することができる。

図１は、本実施形態に係る作業機械の一例を示す斜視図である。 図２は、本実施形態に係る作業機械の一部を示す斜視図である。 図３は、本実施形態に係る計測システムの一例を示す機能ブロック図である。 図４は、本実施形態に係る作業機械の動作の一例を模式的に示す図である。 図５は、本実施形態に係る計測システムの動作の一例を模式的に示す図である。 図６は、本実施形態に係る計測システムの処理の一例を説明するための模式図である。 図７は、本実施形態に係る計測システムの処理の一例を説明するための模式図である。 図８は、本実施形態に係る計測システムの処理の一例を説明するための模式図である。 図９は、本実施形態に係る対象の三次元位置の統合の一例を模式的に示す図である。 図１０は、本実施形態に係る入力装置の一例を模式的に示す斜視図である。 図１１は、本実施形態に係る計測方法の一例を示すフローチャートである。 図１２は、本実施形態に係る計測方法のタイミングチャートである。 図１３は、本実施形態に係る表示装置の表示例を示す図である。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

以下の説明においては、三次元の現場座標系（Ｘｇ，Ｙｇ，Ｚｇ）、三次元の車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）、及び三次元の撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）を規定して、各部の位置関係について説明する。

現場座標系は、地球に固定された原点を基準とする座標系である。現場座標系は、ＧＮＳＳ（Global Navigation Satellite System）によって規定される座標系である。ＧＮＳＳとは、全地球航法衛星システムをいう。全地球航法衛星システムの一例として、ＧＰＳ（Global Positioning System）が挙げられる。

現場座標系は、水平面のＸｇ軸と、Ｘｇ軸と直交する水平面のＹｇ軸と、Ｘｇ軸及びＹｇ軸と直交するＺｇ軸とによって規定される。Ｘｇ軸を中心とする回転又は傾斜方向をθＸｇ方向とし、Ｙｇ軸を中心とする回転又は傾斜方向をθＹｇ方向とし、Ｚｇ軸を中心とする回転又は傾斜方向をθＺｇ方向とする。Ｚｇ軸方向は鉛直方向である。

車体座標系は、作業機械の車体に規定された原点を基準とする第１所定面のＸｍ軸と、Ｘｍ軸と直交する第１所定面のＹｍ軸と、Ｘｍ軸及びＹｍ軸と直交するＺｍ軸とによって規定される。Ｘｍ軸を中心とする回転又は傾斜方向をθＸｍ方向とし、Ｙｍ軸を中心とする回転又は傾斜方向をθＹｍ方向とし、Ｚｍ軸を中心とする回転又は傾斜方向をθＺｍ方向とする。Ｘｍ軸方向は作業機械の前後方向であり、Ｙｍ軸方向は作業機械の車幅方向であり、Ｚｍ軸方向は作業機械の上下方向である。

撮像装置座標系は、撮像装置に規定された原点を基準とする第２所定面のＸｓ軸と、Ｘｓ軸と直交する第２所定面のＹｓ軸と、Ｘｓ軸及びＹｓ軸と直交するＺｓ軸とによって規定される。Ｘｓ軸を中心とする回転又は傾斜方向をθＸｓ方向とし、Ｙｓ軸を中心とする回転又は傾斜方向をθＹｓ方向とし、Ｚｓ軸を中心とする回転又は傾斜方向をθＺｓ方向とする。Ｘｓ軸方向は撮像装置の上下方向であり、Ｙｓ軸方向は撮像装置の幅方向であり、Ｚｓ軸方向は撮像装置の前後方向である。Ｚｓ軸方向は撮像装置の光学系の光軸と平行である。

現場座標系における位置と、車体座標系における位置と、撮像装置座標系における位置とは、相互に変換可能である。

［作業機械］
図１は、本実施形態に係る作業機械１の一例を示す斜視図である。本実施形態においては、作業機械１が油圧ショベルである例について説明する。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。

図１に示すように、油圧ショベル１は、車体１Ｂと、作業機２とを有する。車体１Ｂは、旋回体３と、旋回体３を旋回可能に支持する走行体５とを有する。

旋回体３は、運転室４を有する。油圧ポンプ及び内燃機関が旋回体３に配置される。旋回体３は、旋回軸Ｚｒを中心に旋回可能である。旋回軸Ｚｒは、車体座標系のＺｍ軸と平行である。車体座標系の原点は、例えば旋回体３のスイングサークルの中心に規定される。スイングサークルの中心は、旋回体３の旋回軸Ｚｒに位置する。

走行体５は、履帯５Ａ，５Ｂを有する。履帯５Ａ，５Ｂが回転することにより、油圧ショベル１が走行する。車体座標系のＺｍ軸は、履帯５Ａ，５Ｂの接地面と直交する。車体座標系の上方（＋Ｚｍ方向）は、履帯５Ａ，５Ｂの接地面から離れる方向であり、車体座標系の下方（−Ｚｍ方向）は、車体座標系の上方とは反対の方向である。

作業機２は、旋回体３に連結される。車体座標系において、作業機２の少なくとも一部は、旋回体３よりも前方に配置される。車体座標系の前方（＋Ｘｍ方向）は、旋回体３を基準として作業機２が存在する方向であり、車体座標系の後方（−Ｘｍ方向）は、車体座標系の前方とは反対の方向である。

作業機２は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８と、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを有する。ブームシリンダ１０、アームシリンダ１１、及びバケットシリンダ１２はそれぞれ、油圧によって駆動される油圧シリンダである。

また、油圧ショベル１は、旋回体３の位置を検出する位置検出装置２３と、旋回体３の姿勢を検出する姿勢検出装置２４と、制御装置４０とを有する。

位置検出装置２３は、現場座標系における旋回体３の位置を検出する。旋回体３の位置は、Ｘｇ軸方向の座標、Ｙｇ軸方向の座標、及びＺｇ軸方向の座標を含む。位置検出装置２３は、ＧＰＳ受信機を含む。位置検出装置２３は、旋回体３に設けられる。

ＧＰＳアンテナ２１が旋回体３に設けられる。ＧＰＳアンテナ２１は、例えば車体座標系のＹｍ軸方向に２つ配置される。ＧＰＳアンテナ２１は、ＧＰＳ衛星から電波を受信して、受信した電波に基づいて生成した信号を位置検出装置２３に出力する。位置検出装置２３は、ＧＰＳアンテナ２１からの信号に基づいて、現場座標系におけるＧＰＳアンテナ２１の位置を検出する。

位置検出装置２３は、２つのＧＰＳアンテナ２１の位置の少なくとも一方に基づいて演算処理を実施して、旋回体３の位置を算出する。旋回体３の位置は、一方のＧＰＳアンテナ２１の位置でもよいし、一方のＧＰＳアンテナ２１の位置と他方のＧＰＳアンテナ２１の位置との間の位置でもよい。

姿勢検出装置２４は、現場座標系における旋回体３の姿勢を検出する。旋回体３の姿勢は、Ｘｍ軸を中心とする回転方向における旋回体３の傾斜角度を示すロール角と、Ｙｍ軸を中心とする回転方向における旋回体３の傾斜角度を示すピッチ角と、Ｚｍ軸と中心とする回転方向における旋回体３の傾斜角度を示す方位角とを含む。姿勢検出装置２４は、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を含む。姿勢検出装置２４は、旋回体３に設けられる。なお、姿勢検出装置２４としてジャイロセンサが旋回体３に搭載されてもよい。

姿勢検出装置２４は、姿勢検出装置２４に作用する加速度及び角速度を検出する。姿勢検出装置２４に作用する加速度及び角速度が検出されることにより、旋回体３に作用する加速度及び角速度が検出される。姿勢検出装置２４は、旋回体３に作用する加速度及び角速度に基づいて演算処理を実施して、ロール角、ピッチ角、及び方位角を含む旋回体３の姿勢を算出する。

なお、位置検出装置２３の検出データに基づいて方位角が算出されてもよい。位置検出装置２３は、一方のＧＰＳアンテナ２１の位置と他方のＧＰＳアンテナ２１の位置とに基づいて、現場座標系における基準方位に対する旋回体３の方位角を算出することができる。基準方位は、例えば北である。位置検出装置２３は、一方のＧＰＳアンテナ２１の位置と他方のＧＰＳアンテナ２１の位置とを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、基準方位に対する旋回体３の方位角を算出することができる。

油圧ショベル１は、旋回体３を旋回させる動力を発生する旋回モータ３７と、旋回モータ３７の旋回動作を制御する油圧コントローラ３８とを有する。油圧コントローラ３８は、後述する操作装置３５の操作量に基づいて図示しない制御弁を制御することによって、旋回モータ３７に供給される作動油の流量を制御する。

次に、本実施形態に係るステレオカメラ３００について説明する。図２は、本実施形態に係る油圧ショベル１の一部を示す斜視図である。図２に示すように、油圧ショベル１は、ステレオカメラ３００を有する。ステレオカメラ３００とは、施工対象ＳＢを複数の方向から同時に撮影して視差データを生成することにより、施工対象ＳＢまでの距離を計測可能なカメラをいう。

ステレオカメラ３００は、油圧ショベル１の周辺の施工対象ＳＢを撮影する。施工対象ＳＢは、油圧ショベル１の作業機２で掘削される掘削対象を含む。なお、施工対象ＳＢは、油圧ショベル１とは別の作業機械によって施工される施工対象でもよいし、作業者によって施工される施工対象でもよい。また、施工対象ＳＢは、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。

ステレオカメラ３００は、旋回体３に搭載される。ステレオカメラ３００は、運転室４に設けられる。ステレオカメラ３００は、運転室４の前方（＋Ｘｍ方向）かつ上方（＋Ｚｍ方向）に配置される。ステレオカメラ３００は、油圧ショベル１の前方の施工対象ＳＢを撮影する。

ステレオカメラ３００は、複数の撮像装置３０を有する。撮像装置３０は、旋回体３に搭載される。撮像装置３０は、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。本実施形態において、撮像装置３０は、４つの撮像装置３０Ａ，３０Ｂ，３０Ｃ，３０Ｄを含む。

一対の撮像装置３０によってステレオカメラ３００が構成される。ステレオカメラ３００は、一対の撮像装置３０Ａ，３０Ｂによって構成される第１ステレオカメラ３０１と、一対の撮像装置３０Ｃ，３０Ｄによって構成される第２ステレオカメラ３０２とを含む。

撮像装置３０Ａ，３０Ｃは、撮像装置３０Ｂ，３０Ｄよりも＋Ｙｍ側（作業機２側）に配置される。撮像装置３０Ａと撮像装置３０Ｂとは、Ｙｍ軸方向に間隔をあけて配置される。撮像装置３０Ｃと撮像装置３０Ｄとは、Ｙｍ軸方向に間隔をあけて配置される。撮像装置３０Ａ，３０Ｂは、撮像装置３０Ｃ，３０Ｄよりも＋Ｚｍ側に配置される。Ｚｍ軸方向において、撮像装置３０Ａと撮像装置３０Ｂとは、実質的に同一の位置に配置される。Ｚｍ軸方向において、撮像装置３０Ｃと撮像装置３０Ｄとは、実質的に同一の位置に配置される。

撮像装置３０Ａ，３０Ｂは、上方（＋Ｚｍ方向）を向く。撮像装置３０Ｃ，３０Ｄは、下方（−Ｚｍ方向）を向く。また、撮像装置３０Ａ，３０Ｃは、前方（＋Ｘｍ方向）を向く。撮像装置３０Ｂ，３０Ｄは、前方よりも僅かに＋Ｙｍ側（作業機２側）を向く。すなわち、撮像装置３０Ａ，３０Ｃは、旋回体３の正面を向き、撮像装置３０Ｂ，３０Ｄは、撮像装置３０Ａ，３０Ｃ側を向く。なお、撮像装置３０Ｂ，３０Ｄが旋回体３の正面を向き、撮像装置３０Ａ，３０Ｃが撮像装置３０Ｂ，３０Ｄ側を向いてもよい。

撮像装置３０は、旋回体３の前方に存在する施工対象ＳＢを撮影する。一対の撮像装置３０が撮影した一対の画像が制御装置４０においてステレオ処理されることにより、施工対象ＳＢの三次元形状を示す三次元データが算出される。制御装置４０は、撮像装置座標系における施工対象ＳＢの三次元データを現場座標系における施工対象ＳＢの三次元データに変換する。三次元データは、施工対象ＳＢの三次元位置を示す。施工対象ＳＢの三次元位置は、施工対象ＳＢの表面の複数の部位のそれぞれの三次元座標を含む。

複数の撮像装置３０のそれぞれに撮像装置座標系が規定される。撮像装置座標系は、撮像装置３０に固定された原点を基準とする座標系である。撮像装置座標系のＺｓ軸は、撮像装置３０の光学系の光軸と一致する。

なお、本実施形態においては、旋回体３に２組のステレオカメラ（第１ステレオカメラ３０１及び第２ステレオカメラ３０２）が搭載されることとするが、１組のステレオカメラが搭載されてもよいし、３組以上のステレオカメラが搭載されてもよい。

また、図２に示すように、油圧ショベル１は、運転席４Ｓと、入力装置３２と、報知装置３３と、操作装置３５とを有する。運転席４Ｓ、入力装置３２、報知装置３３、及び操作装置３５は、運転室４に配置される。油圧ショベル１の運転者は、運転席４Ｓに着座する。

入力装置３２は、撮像装置３０による撮影の開始又は終了のために運転者に操作される。入力装置３２は、運転席４Ｓの近傍に設けられる。入力装置３２が操作されることにより、撮像装置３０による撮影が開始又は終了する。

報知装置３３は、後述する報知制御部４１９から旋回に関する報知信号を取得し、運転者に報知する。報知には、例えばステレオカメラ３００による計測結果の成否（成功／失敗）の出力、ステレオ計測結果が失敗であった場合には失敗した理由、油圧ショベル１００を操作する操作装置３５の操作条件に関するガイダンスが含まれる。報知の具体的な内容については後述する。報知装置３３は、運転席４Ｓの近傍に設けられる。

操作装置３５は、作業機２の駆動又は駆動停止、旋回体３の旋回又は旋回停止、及び走行体５の走行又は走行停止のために運転者に操作される。操作装置３５は、作業機２及び旋回体３を操作するための右操作レバー３５Ｒ及び左操作レバー３５Ｌを含む。また、操作装置３５は、走行体５を操作するための右走行レバー及び左走行レバー（不図示）を含む。操作装置３５が操作されることにより、作業機２の駆動又は駆動停止、旋回体３の旋回又は旋回停止、及び走行体５の走行又は走行停止が実施される。

［計測システム］
次に、本実施形態に係る計測システム５０について説明する。図３は、本実施形態に係る計測システム５０の一例を示す機能ブロック図である。計測システム５０は、油圧ショベル１に設けられる。

計測システム５０は、制御装置４０と、第１ステレオカメラ３０１及び第２ステレオカメラ３０２を含むステレオカメラ３００と、位置検出装置２３と、姿勢検出装置２４と、操作装置３５の操作量を検出する操作量センサ３６と、入力装置３２と、報知装置３３とを備える。

制御装置４０は、油圧ショベル１の旋回体３に設けられる。制御装置４０は、コンピュータシステムを含む。制御装置４０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置４１と、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置４２と、入出力インターフェース４３とを有する。

演算処理装置４１は、画像取得部４１０と、信号取得部４１１と、共通部分抽出部４１３と、旋回データ取得部４１５と、撮像位置算出部４１６と、三次元位置算出部４１７と、判定部４１８と、報知制御部４１９と、旋回制御部４２０とを有する。

画像取得部４１０は、油圧ショベル１が旋回中において撮像装置３０によって撮影された施工対象ＳＢの複数の画像ＰＣを取得する。また、画像取得部４１０は、油圧ショベル１が動作停止状態、すなわち走行も旋回も停止した状態において撮像装置３０によって撮影された施工対象ＳＢの画像ＰＣを取得する。

信号取得部４１１は、入力装置３２が操作されることにより生成された指令信号を取得する。入力装置３２は、撮像装置３０による撮影の開始又は終了のために操作される。指令信号は、撮影開始指令信号及び撮影終了指令信号を含む。演算処理装置４１は、信号取得部４１１に取得された撮影開始指令信号に基づいて、撮像装置３０に撮影を開始させる制御信号を出力する。また、演算処理装置４１は、信号取得部４１１に取得された撮影終了指令信号に基づいて、撮像装置３０に撮影を終了させる制御信号を出力する。

なお、信号取得部４１１が撮影開始指令信号を取得した時点と撮影終了指令信号を取得した時点との期間に撮影された画像ＰＣが記憶装置４２に記憶され、その記憶装置４２に記憶されている画像ＰＣがステレオ処理に使用されてもよい。

共通部分抽出部４１３は、油圧ショベル１が旋回中において撮像装置３０によって撮影された複数の画像ＰＣの共通部分ＫＳを抽出する。共通部分ＫＳについては後述する。

旋回データ取得部４１５は、旋回中の旋回体３の旋回データを取得する。旋回データとは、旋回体３の旋回状態を示すデータであり、旋回体３の旋回速度Ｖ、旋回角度θ、及び旋回方向ＲＤの少なくとも一つを含む。後述するように、本実施形態において、旋回データは撮像位置算出部４１６によって算出される。旋回データ取得部４１５は、撮像位置算出部４１６から旋回データを取得する。

撮像位置算出部４１６は、撮影時の撮像装置３０の位置Ｐ及び姿勢を算出する。旋回体３が旋回中である場合、撮影時の撮像装置３０の位置Ｐは、旋回方向ＲＤの撮像装置３０の位置を含む。走行体５が走行状態である場合、撮影時の撮像装置３０の位置Ｐは、走行方向ＭＤの撮像装置３０の位置を含む。また、撮像位置算出部４１６は、旋回体３の旋回データを算出する。旋回体３の旋回データは、旋回体３の旋回速度Ｖ、旋回角度θ、及び旋回方向ＲＤの少なくとも一つを含む。

三次元位置算出部４１７は、一対の撮像装置３０によって撮影された一対の画像ＰＣをステレオ処理することにより、撮像装置座標系における施工対象ＳＢの三次元位置を算出する。三次元位置算出部４１７は、撮像位置算出部４１６に算出された撮像装置３０の位置Ｐに基づいて、撮像装置座標系における施工対象ＳＢの三次元位置を現場座標系における施工対象ＳＢの三次元位置に変換する。

判定部４１８は、旋回体３の旋回データが規定の旋回条件を満足するか否かを判定する。旋回条件は、ステレオ計測の計測精度の低下を抑制する条件を含む。旋回条件を満足しない場合、ステレオ計測の計測精度が低下する可能性が高くなる。旋回条件は、記憶装置４２の旋回条件記憶部４２２に記憶されている。旋回条件については後述する。

報知制御部４１９は、判定部４１８の判定結果に基づいて、報知装置３３を制御する。報知制御部４１９は、旋回に関する報知信号を報知装置３３に出力する。報知制御部４１９は、旋回に関する報知信号として、例えばステレオ計測の成否データ、ステレオ計測の失敗理由データ、及びガイダンスデータの少なくも一つを出力する。報知制御部４１９は、判定部４１８の判定結果に基づいて、旋回指示信号の一種である報知信号を出力する出力部として機能する。例えば、旋回データが旋回条件を満足しないと判定部４１８に判定された場合、報知制御部４１９は、第１の報知形態で報知装置３３を作動させる。また、旋回データが旋回条件を満足すると判定部４１８に判定された場合、報知制御部４１９は、第１の報知形態とは異なる第２の報知形態で報知装置３３を作動させてもよいし、報知装置３３を作動させなくてもよい。

旋回制御部４２０は、判定部４１８の判定結果に基づいて、旋回体３を旋回させる油圧コントローラ３８を制御する。旋回体制御部４２０は、旋回体３の旋回動作を制御する制御信号を油圧コントローラ３８に出力する。旋回制御部４２０は、旋回モータ３７を制御する油圧コントローラ３８に制御信号を出力して、旋回中の旋回体３の旋回速度を制御する。油圧コントローラ３８は、旋回制御部４２０からの制御信号に基づいて、旋回速度を遅くする介入制御を実施する。介入制御とは、運転者による操作装置３５の操作量に基づいて駆動する旋回モータ３７に介入して、旋回制御部４２０から出力された制御信号に基づいて旋回モータ３７を制御することをいう。旋回制御部４２０は、判定部４１８の判定結果に基づいて、旋回指示信号の一種である制御信号を出力する出力部として機能する。本実施形態において、旋回制御部４２０は、旋回体３の旋回動作を制限して、旋回速度を遅くする。

記憶装置４２は、旋回条件記憶部４２２と、画像記憶部４２３とを有する。

旋回条件記憶部４２２は、報知装置３３を作動させるための旋回条件を記憶する。画像記憶部４２３は、撮像装置３０によって撮影された複数の画像ＰＣを順次記憶する。

入出力インターフェース４３は、演算処理装置４１及び記憶装置４２と外部機器とを接続するインターフェース回路を含む。入出力インターフェース４３には、ハブ３１、位置検出装置２３、姿勢検出装置２４、操作量センサ３６、入力装置３２、及び報知装置３３が接続される。

複数の撮像装置３０（３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ）は、ハブ３１を介して演算処理装置４１と接続される。撮像装置３０は、信号取得部４１１からの撮影開始指令信号に基づいて、施工対象ＳＢの画像ＰＣを撮影する。撮像装置３０が撮影した施工対象ＳＢの画像ＰＣは、ハブ３１及び入出力インターフェース４３を介して演算処理装置４１及び記憶装置４２のそれぞれに入力される。画像取得部４１０及び画像記憶部４２３のそれぞれは、撮像装置３０が撮影した施工対象ＳＢの画像ＰＣを、ハブ３１及び入出力インターフェース４３を介して取得する。なお、ハブ３１は省略されてもよい。

入力装置３２は、撮像装置３０による撮影の開始又は終了のために操作される。入力装置３２が操作されることにより、撮影開始指令信号又は撮影終了指令信号が生成される。入力装置３２として、操作スイッチ、操作ボタン、タッチパネル、音声入力、及びキーボードの少なくとも一つが例示される。

報知装置３３は、表示装置３３Ａ、発光装置３３Ｂ，及び音出力装置３３Ｃを含む。表示装置３３Ａは、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。発光装置３３Ｂは、発光ダイオード（ＬＥＤ：Light Emitting Diode）のような光源を含む。音出力装置３３Ｃは、警告音を発生可能なサイレン又は音声出力装置を含む。報知装置３３は、表示装置３３Ａに表示される表示データ、発光装置３３Ｂから射出される光、及び音出力装置３３Ｃから出力される音の少なくとも一つを使って、運転者に情報を報知する。

本実施形態において、報知装置３３は、旋回データが旋回条件を満足しないことを運転者に報知する。表示装置３３Ａは、文字又は画像を含む表示データを表示して、旋回データが旋回条件を満足しないことを報知する。発光装置３３Ｂは、光を射出して、旋回データが旋回条件を満足しないことを報知する。音出力装置３３Ｃは、警告音又は音声を出力して、旋回データが旋回条件を満足しないことを報知する。なお、報知装置３３は、旋回データが旋回条件を満足することを報知してもよい。

なお、報知装置３３は、表示装置３３Ａ、発光装置３３Ｂ，及び音出力装置３３Ｃに限定されない。また、表示装置３３Ａ、発光装置３３Ｂ，及び音出力装置３３Ｃの少なくとも一つが省略されてもよい。

［旋回地形計測］
次に、本実施形態に係る油圧ショベル１の動作の一例について説明する。図４は、本実施形態に係る油圧ショベル１の動作の一例を模式的に示す図である。計測システム５０は、旋回体３が旋回中において撮像装置３０によって油圧ショベル１の周辺の施工対象ＳＢの画像ＰＣを連続撮影する。撮像装置３０は、旋回体３が旋回中において、所定の周期で施工対象ＳＢの画像ＰＣを順次撮影する。

撮像装置３０は、旋回体３に搭載されている。旋回体３が旋回することにより、撮像装置３０の撮影領域ＦＭは、旋回方向ＲＤに移動する。旋回体３が旋回中において撮像装置３０が施工対象ＳＢの画像ＰＣを連続撮影することによって、撮像装置３０は、施工対象ＳＢの複数の領域のそれぞれの画像ＰＣを取得することができる。三次元位置算出部４１７は、一対の撮像装置３０で撮影された一対の画像ＰＣをステレオ処理することにより、油圧ショベル１の周辺の施工対象ＳＢの三次元位置を算出することができる。

ステレオ処理により算出された施工対象ＳＢの三次元位置は、撮像装置座標系において規定される。三次元位置算出部４１７は、撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。撮像装置座標系における三次元位置を現場座標系における三次元位置に変換するため、現場座標系における旋回体３の位置及び姿勢が必要となる。現場座標系における旋回体３の位置及び姿勢は、位置検出装置２３及び姿勢検出装置２４によって検出可能である。

油圧ショベル１が旋回中において、油圧ショベル１に搭載されている位置検出装置２３及び姿勢検出装置２４のそれぞれは変位する。動いている状態の位置検出装置２３及び姿勢検出装置２４のそれぞれから出力される検出データは、不安定であったり検出精度が低下したりする可能性がある。

位置検出装置２３は、所定の周期で検出データを出力する。そのため、油圧ショベル１が旋回中において位置検出装置２３による位置の検出と撮像装置３０による撮影とが並行して実施される場合、位置検出装置２３が動いていると、撮像装置３０が画像を撮影するタイミングと位置検出装置２３が位置を検出するタイミングとが同期しない可能性がある。撮影のタイミングとは異なるタイミングで検出された位置検出装置２３の検出データに基づいて施工対象ＳＢの三次元位置が座標変換されると、三次元位置の計測精度が低下する可能性がある。

本実施形態において、計測システム５０は、後述する方法に基づいて、旋回体３が旋回中において撮像装置３０によって画像ＰＣが撮影された時点における旋回体３の位置及び姿勢を高精度に算出する。これにより、計測システム５０は、現場座標系における施工対象ＳＢの三次元位置を高精度に算出することができる。

撮像位置算出部４１６は、油圧ショベル１が動作停止状態において検出された位置検出装置２３及び姿勢検出装置２４のそれぞれの検出データを取得する。油圧ショベル１が動作停止状態において位置検出装置２３及び姿勢検出装置２４によって検出された検出データは安定している可能性が高い。撮像位置算出部４１６は、旋回体３の旋回開始前及び旋回終了後のそれぞれの動作停止状態において検出された検出データを取得する。撮像装置３０は、旋回体３の旋回開始前及び旋回終了後のそれぞれの動作停止状態において施工対象ＳＢの画像ＰＣを撮影する。撮像位置算出部４１６は、油圧ショベル１が動作停止状態において取得された位置検出装置２３及び姿勢検出装置２４のそれぞれの検出データに基づいて、油圧ショベル１が動作停止状態において撮影された画像ＰＣから算出された撮像装置座標系における施工対象ＳＢの三次元位置を現場座標系における三次元位置に変換する。

一方、撮像位置算出部４１６は、旋回体３が旋回中において撮像装置３０によって施工対象ＳＢの画像ＰＣが撮影された場合、後述する方法に基づいて、旋回体３が旋回中において撮像装置３０によって画像ＰＣが撮影した時点における旋回体３の位置及び姿勢を算出する。撮像位置算出部４１６は、算出された旋回体３の位置及び姿勢に基づいて、撮影された画像ＰＣから算出された撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。

図５は、本実施形態に係る計測システム５０の動作の一例を模式的に示す図である。図５は、旋回体３が旋回中において撮像装置３０が施工対象ＳＢを撮影することを説明するための模式図である。

以下の説明においては、走行体５が走行停止状態であることとする。図５に示すように、旋回体３が旋回することにより、旋回体３に搭載されている撮像装置３０及び撮像装置３０の撮影領域ＦＭは、旋回方向ＲＤに移動する。撮像装置３０の撮影領域ＦＭは、撮像装置３０の光学系の視野に基づいて規定される。撮像装置３０は、撮影領域ＦＭに配置される施工対象ＳＢの画像ＰＣを取得する。旋回体３の旋回により、撮像装置３０の撮影領域ＦＭは、旋回体３の旋回方向ＲＤに移動する。撮像装置３０は、移動する撮影領域ＦＭに順次配置される施工対象ＳＢの画像ＰＣを撮影する。

図５は、旋回体３の旋回により、撮影領域ＦＭが旋回方向ＲＤに、撮影領域ＦＭ１、撮影領域ＦＭ２、及び撮影領域ＦＭ３の順に移動する例を示す。撮影領域ＦＭ１は、旋回方向ＲＤにおける第１位置ＰＪ１に規定される。撮影領域ＦＭ２は、旋回方向ＲＤにおける第２位置ＰＪ２に規定される。撮影領域ＦＭ３は、旋回方向ＲＤにおける第３位置ＰＪ３に規定される。第２位置ＰＪ２は、第１位置ＰＪ１から旋回角度Δθ１だけ旋回した位置である。第３位置ＰＪ３は、第２位置ＰＪ２から旋回角度Δθ２だけ旋回した位置である。撮像装置３０は、撮影領域ＦＭ１に配置された施工対象ＳＢの画像ＰＣ１、撮影領域ＦＭ２に配置された施工対象ＳＢの画像ＰＣ２、及び撮影領域ＦＭ３に配置された施工対象ＳＢの画像ＰＣ３のそれぞれを撮影する。画像ＰＣ１、画像ＰＣ２、画像ＰＣ３は、同一の撮像装置３０（図５に示す例では撮像装置３０Ｃ）により撮像された画像である。

撮像装置３０は、隣り合う撮影領域ＦＭに重複領域ＯＢが設けられるように、所定のタイミングで撮影する。図５は、撮影領域ＦＭ１と撮影領域ＦＭ２とに重複領域ＯＢ１が設けられ、撮影領域ＦＭ２と撮影領域ＦＭ３との間に重複領域ＯＢ２が設けられる例を示す。重複領域ＯＢ１は、画像ＰＣ１と画像ＰＣ２の一部とが重複する重複領域ＯＢである。重複領域ＯＢ２は、画像ＰＣ２と画像ＰＣ３の一部とが重複する重複領域ＯＢである。

重複領域ＯＢに画像ＰＣの共通部分ＫＳが存在する。重複領域ＯＢ１に存在する共通部分ＫＳ１は、画像ＰＣ１と画像ＰＣ２との共通部分ＫＳである。重複領域ＯＢ２に存在する共通部分ＫＳ２は、画像ＰＣ２と画像ＰＣ３との共通部分ＫＳである。共通部分抽出部４１３は、撮像装置３０によって撮影された複数の二次元の画像ＰＣの共通部分ＫＳを抽出する。

図６は、本実施形態に係る計測システム５０の処理の一例を説明するための模式図である。図６は、旋回体３が旋回中において撮影された画像ＰＣ（ＰＣ１，ＰＣ２）の一例を示す図である。共通部分抽出部４１３は、画像ＰＣから共通部分ＫＳを抽出する。

図６に示すように、共通部分抽出部４１３は、撮影領域ＦＭ１に配置された施工対象ＳＢの画像ＰＣ１と、撮影領域ＦＭ２に配置された施工対象ＳＢの画像ＰＣ２とから、画像ＰＣ１と画像ＰＣ２との共通部分ＫＳ１を抽出する。撮像位置算出部４１６は、共通部分抽出部４１３で抽出された共通部分ＫＳ１に基づいて、旋回体３の推定角度θｓ（図５においてはΔθ１）を算出する。また、撮像位置算出部４１６は、推定角度θｓに基づいて、撮影時の撮像装置３０の推定位置Ｐｓ（図５においてはＰＪ２）を算出する。

共通部分ＫＳは、画像ＰＣにおける特徴点である。共通部分抽出部４１３は、例えばＯＲＢ（Oriented FAST and Rotated BRIEF）又はHarrisコーナー検出のような既知の特徴点検出アルゴリズムに基づいて、共通部分ＫＳを抽出する。共通部分抽出部４１３は、複数の画像ＰＣのそれぞれから複数の特徴点を抽出し、抽出した複数の特徴点から類似する特徴点を探索することによって、共通部分ＫＳを抽出する。共通部分抽出部４１３は、共通部分ＫＳを複数点抽出してもよい。共通部分抽出部４１３は、例えば画像ＰＣにおける施工対象ＳＢの角部を特徴点として抽出する。

旋回体３の旋回により撮像装置３０の撮影領域ＦＭが旋回方向ＲＤに移動し、撮影領域ＦＭの移動により、画像ＰＣにおける共通部分ＫＳが変位する。図６に示す例では、共通部分ＫＳは、画像ＰＣ１においては画素位置ＰＸ１に存在し、画像ＰＣ２においては画素位置ＰＸ２に存在する。画像ＰＣ１と画像ＰＣ２とにおいて、共通部分ＫＳが存在する位置が異なる。すなわち、共通部分ＫＳ１は、画像ＰＣ１と画像ＰＣ２との間において変位したことになる。撮像位置算出部４１６は、複数の画像ＰＣにおける共通部分ＫＳの位置に基づいて、位置ＰＪ１から位置ＰＪ２までの旋回角度Δθ１を算出することができる。

図７は、本実施形態に係る計測システム５０の処理の一例を説明するための模式図である。図７は、旋回体３が旋回することにより撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）が移動することを説明する図である。図７に示すように、旋回体３は、車体座標系のＸｍ−Ｙｍ平面内において旋回軸Ｚｒを中心に旋回する。旋回体３が旋回軸Ｚｒを中心に旋回角度Δθだけ旋回すると、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）が旋回軸Ｚｒを中心に旋回角度Δθだけ移動する。撮像位置算出部４１６は、旋回体３が旋回軸Ｚｒを中心に旋回することを拘束条件として、旋回前角度θｒａから旋回角度Δθだけ旋回したときの旋回体３の推定角度θｓ及び撮像装置３０の推定位置Ｐｓを算出することができる。

［推定角度の算出］
図８は、本実施形態に係る計測システム５０の処理の一例を説明するための模式図である。図８は、旋回体３の旋回角度θ及び撮像装置３０の位置Ｐを算出する例を示す模式図である。図８は、車体座標系における旋回体３の旋回角度θ及び撮像装置３０の位置Ｐを示す。

図８に示す例において、旋回体３は、旋回前角度θｒａ、第１推定角度θｓ１、第２推定角度θｓ２、第３推定角度θｓ３、及び旋回後角度θｒｂの順に、旋回方向ＲＤに旋回する。撮像装置３０は、旋回体３の旋回により、旋回前位置Ｐｒａ、第１推定位置Ｐｓ１、第２推定位置Ｐｓ２、第３推定位置Ｐｓ３、及び旋回後位置Ｐｒｂの順に移動する。撮像装置３０の撮影領域ＦＭは、旋回方向ＲＤの撮像装置３０の移動により、撮影領域ＦＭｒａ、撮影領域ＦＭｓ１、撮影領域ＦＭｓ２、撮影領域ＦＭｓ３、及び撮影領域ＦＭｒｂの順に移動する。

旋回前角度θｒａ及び旋回後角度θｒｂのとき、旋回体３は旋回停止状態である。旋回前角度θｒａにおいて旋回停止状態の旋回体３は、第１推定角度θｓ１、第２推定角度θｓ２、及び第３推定角度θｓ３を経由して、旋回後角度θｒｂに到達するように、旋回前角度θｒａから旋回後角度θｒｂまで旋回する。

撮像装置３０は、旋回前位置Ｐｒａに配置されている状態で、撮影領域ＦＭｒａに配置される施工対象ＳＢの画像ＰＣｒａを取得する。撮像装置３０は、第１推定位置Ｐｓ１に配置されている状態で、撮影領域ＦＭｓ１に配置される施工対象ＳＢの画像ＰＣｓ１を取得する。撮像装置３０は、第２推定位置Ｐｓ２に配置されている状態で、撮影領域ＦＭｓ２に配置される施工対象ＳＢの画像ＰＣｓ２を取得する。撮像装置３０は、第３推定位置Ｐｓ３に配置されている状態で、撮影領域ＦＭｓ３に配置される施工対象ＳＢの画像ＰＣｓ３を取得する。撮像装置３０は、旋回後位置Ｐｒｂに配置されている状態で、撮影領域ＦＭｒｂに配置される施工対象ＳＢの画像ＰＣｒｂを取得する。

上述のように、撮像位置算出部４１６は、旋回体３が旋回開始前の旋回停止状態において位置検出装置２３及び姿勢検出装置２４によって検出された旋回体３の位置及び姿勢に基づいて、旋回前角度θｒａを算出する。また、撮像位置算出部４１６は、旋回体３が旋回終了後の旋回停止状態において位置検出装置２３及び姿勢検出装置２４によって検出された旋回体３の位置及び姿勢に基づいて、旋回後角度θｒｂを算出する。また、撮像位置算出部４１６は、旋回前角度θｒａに基づいて、旋回前位置Ｐｒａを算出する。また、撮像位置算出部４１６は、旋回後角度θｒｂに基づいて、旋回後位置Ｐｒｂを算出する。

旋回前角度θｒａ、旋回後角度θｒｂ、旋回前位置Ｐｒａ、及び旋回後位置Ｐｒｂは、位置検出装置２３の検出データ及び姿勢検出装置２４の検出データに基づいて、高精度に算出される。

上述のように、撮像位置算出部４１６は、旋回体３が旋回中において撮影された複数の画像ＰＣの共通部分ＫＳに基づいて、推定角度θｓ（第１推定角度θｓ１、第２推定角度θｓ２、及び第３推定角度θｓ３）を算出する。また、撮像位置算出部４１６は、推定角度θｓに基づいて、推定位置Ｐｓ（第１推定位置Ｐｓ１、第２推定位置Ｐｓ２、及び第３推定位置Ｐｓ３）を算出する。

共通部分抽出部４１３は、画像ＰＣｒａと画像ＰＣｓ１との共通部分ＫＳ１を抽出する。撮像位置算出部４１６は、旋回体３が旋回軸Ｚｒを中心に旋回することを拘束条件として、旋回体３の旋回前角度θｒａと、画像ＰＣｒａと画像ＰＣｓ１との共通部分ＫＳ１に基づいて、旋回角度Δθ１を算出する。第１推定角度θｓ１は、旋回前正解角度θｒａと旋回角度Δθ１との和である（θｓ１＝θｒａ＋Δθ１）。

同様に、共通部分抽出部４１３は、旋回角度Δθ２、旋回角度Δθ３、及び旋回角度Δθ４を算出することができ、撮像位置算出部４１６は、第２推定角度θｓ２（θｓ２＝θｒａ＋Δθ１＋Δθ２）、第３推定角度θｓ３（θｓ３＝θｒａ＋Δθ１＋Δθ２＋Δθ３）、第４推定角度θｓ４（θｓ４＝θｒａ＋Δθ１＋Δθ２＋Δθ３＋Δθ４）を算出することができる。

このように、撮像位置算出部４１６は、旋回体３が旋回中において撮像装置３０が撮影時の旋回体３の推定角度θｓ（θｓ１、θｓ２、θｓ３、θｓ４）を段階的に算出することができる。また、旋回体３の推定角度θｓが算出されることにより、撮像位置算出部４１６は、推定角度θｓに基づいて、旋回体３が旋回中における撮像装置３０の推定位置Ｐｓ（Ｐｓ１，Ｐｓ２，Ｐｓ３，Ｐｓ４）を算出することができる。

また、撮像位置算出部４１６は、複数の画像ＰＣ（ＰＣｒａ，ＰＣｓ１，ＰＣｓ２，ＰＣｓ３，ＰＣｓ４，ＰＣｒｂ）のそれぞれが撮影された時点を示す時点データを撮像装置３０から取得する。撮像装置４１６は、複数の画像ＰＣのそれぞれが撮影された時点と、旋回角度Δθ（Δθ１，Δθ２，Δθ３，Δθ４）とに基づいて、旋回速度Ｖを算出することができる。例えば、画像ＰＣｓ１が撮影された時点から画像ＰＣｓ２が撮影された時点までの時間と、画像ＰＣｓ１が撮影されたときの推定角度θｓ１から推定角度θｓ２までの移動量とに基づいて、旋回体３が推定角度θｓ１から推定角度θｓ２まで旋回するときの旋回角度Ｖを算出することができる。また、撮像装置４１６は、複数の画像ＰＣのそれぞれが撮影された時点と旋回角度Δθとに基づいて、旋回方向Ｒを算出することができる。

このように、本実施形態においては、撮像位置算出部４１６は、複数の画像ＰＣの共通部分ＫＳに基づいて、旋回角度θ、旋回速度Ｖ、及び旋回方向Ｒを含む旋回体３の旋回データを算出することができる。

［推定角度の補正］
旋回後角度θｒｂは、位置検出装置２３の検出データ及び姿勢検出装置２４の検出データに基づいて高精度に算出される。一方、推定角度θｓ４は、共通部分ＫＳの変位量に基づいて算出される。共通部分ＫＳを使って算出された推定角度θｓ４及び推定位置Ｐｓ４が正確であれば、推定角度θｓ４と旋回後角度θｒｂとの差は小さく、推定位置Ｐｓ４と旋回後位置Ｐｒｂとの差は小さい。

一方、例えば共通部分ＫＳの変位量の累積誤差などに起因して、共通部分ＫＳを使って算出された推定角度θｓ４及び推定位置Ｐｓ４の誤差が大きくなる可能性がある。推定角度θｓ４及び推定位置Ｐｓ４の誤差が大きいと、推定角度θｓ４と旋回後角度θｒｂとの差は大きくなり、推定位置Ｐｓ４と旋回後位置Ｐｒｂとの差は大きくなる。

撮像位置算出部４１６は、推定角度θｓ４と旋回後角度θｒｂとに差があるとき、旋回停止状態における旋回角度θである角度θｒ（旋回前角度θｒａ及び旋回後角度θｒｂ）に基づいて、旋回中における旋回角度θである推定角度θｓ（第１推定角度θｓ１、第２推定角度θｓ２、第３推定角度θｓ３、及び第４推定角度θｓ４）を補正する。また、撮像位置算出部４１６は、補正後の推定角度θｓに基づいて、推定位置Ｐｓを補正する。

撮像位置算出部４１６は、補正後の推定角度θｓ１’に基づいて、画像ＰＣｓ１を撮影時の撮像装置３０の推定位置Ｐｓ１を精度良く算出することができる。同様に、撮像位置算出部４１６は、補正後の推定角度θｓ２’に基づいて、画像ＰＣｓ２を撮影時の撮像装置３０の推定位置Ｐｓ２を精度良く算出することができ、補正後の推定角度θｓ３’に基づいて、画像ＰＣｓ３を撮影時の撮像装置３０の推定位置Ｐｓ３を高精度に算出することができる。したがって、三次元位置算出部４１７は、高精度に算出された撮影時の撮像装置３０の推定位置Ｐｓとその撮像装置３０に撮影された画像ＰＣｓとに基づいて、現場座標系の施工対象ＳＢの三次元位置を高精度に算出することができる。

［三次元データの統合］
三次元位置算出部４１７は、一対の撮像装置３０によって撮影された一対の画像ＰＣをステレオ処理して、施工対象ＳＢの三次元位置を算出する。なお、三次元データの統合は省略されてもよい。

三次元位置算出部４１７は、旋回体３が旋回開始前の旋回停止状態において、旋回前位置Ｐｒａに配置される一対の撮像装置３０で撮影された一対の画像ＰＣｒａをステレオ処理して、撮影領域ＦＭｒａに配置された施工対象ＳＢの三次元位置を算出する。

また、三次元位置算出部４１７は、旋回体３が旋回中において、推定位置Ｐｓに配置される一対の撮像装置３０で撮影された一対の画像ＰＣｓをステレオ処理して、撮影領域ＦＭｓに配置された施工対象ＳＢの三次元位置を算出する。三次元位置算出部４１７は、走行体５が走行停止状態であり旋回体３が旋回中において、推定位置Ｐｓに配置される一対の撮像装置３０で撮影された一対の画像ＰＣｓをステレオ処理して、撮影領域ＦＭｓに配置された施工対象ＳＢの三次元位置を算出する。

また、三次元位置算出部４１７は、旋回体３が旋回終了後の旋回停止状態において、旋回後位置Ｐｒｂに配置される一対の撮像装置３０で撮影された一対の画像ＰＣｒｂをステレオ処理して、撮影領域ＦＭｒｂに配置された施工対象ＳＢの三次元位置を算出する。

また、三次元位置算出部４１７は、旋回体３が旋回中及び旋回停止状態のそれぞれにおいて撮影された複数の画像ＰＣに基づいて、施工対象ＳＢの三次元位置を算出した後、複数の施工対象ＳＢの三次元位置を統合する。

図９は、本実施形態に係る施工対象ＳＢの三次元位置の統合の一例を模式的に示す図である。旋回体３が旋回開始前の旋回停止状態において取得された三次元データＰＴＤｒａと、旋回体３が旋回中において取得された三次元データＰＴＤｓと、旋回体３が旋回終了後の旋回停止状態において取得された三次元データＰＴＤｒｂとが統合されることにより、油圧ショベル１の周辺の施工対象ＳＢのうち撮像装置３０が画像ＰＣを撮影した範囲の施工対象ＳＢの三次元形状を示す三次元データＰＴＤが生成される。

三次元データＰＴＤｒａは、旋回体３が旋回開始前の旋回停止状態において撮影された画像ＰＣから算出された施工対象ＳＢの三次元位置を含む。三次元データＰＴＤｓは、旋回体３が旋回中において撮影された画像ＰＣから算出された施工対象ＳＢの三次元位置を含む。三次元データＰＴＤｓは、単数でもよいし複数でもよい。三次元データＰＴＤｒｂは、旋回体３が旋回終了後の旋回停止状態において撮影された画像ＰＣから算出された施工対象ＳＢの三次元位置を含む。

三次元位置算出部４１７は、複数の三次元データＰＴＤｒａ，ＰＴＤｓ，ＰＴＤｒｂを統合する。三次元位置算出部４１７は、現場座標系における三次元データＰＴＤｒａ，ＰＴＤｓ，ＰＴＤｒｂの三次元位置のそれぞれのＸｇ座標及びＹｇ座標が一致するように、Ｚｇ座標を結合する。これにより、旋回開始前の旋回停止状態において取得された施工対象ＳＢの三次元位置と、旋回中において取得された施工対象ＳＢの三次元位置と、旋回終了後の旋回停止状態において取得された施工対象ＳＢの三次元位置とが統合される。

複数の三次元データＰＴＤｒａ，ＰＴＤｓ，ＰＴＤｒｂが統合されることにより、油圧ショベル１の周辺の施工対象ＳＢのうち撮像装置３０が画像ＰＣを撮影した範囲の施工対象ＳＢの三次元形状を示す三次元データＰＴＤが生成される。

［旋回条件］
次に、旋回条件について説明する。旋回条件とは、ステレオ計測の計測精度の低下を抑制できる旋回体３の旋回条件をいう。旋回体３が旋回条件を満足せずに旋回した場合、ステレオ計測の計測精度が低下する可能性がある。規定の旋回条件は、予め定められており、記憶装置４２の旋回条件記憶部４２２に記憶されている。

本実施形態において、旋回条件記憶部４２２には、第１の旋回条件として、旋回体３が旋回開始位置から旋回終了位置まで旋回して旋回を停止した後、旋回（再旋回）が行われていないことを示す旋回条件が記憶されている。第１の旋回条件は、旋回体３が旋回を停止し、旋回を停止してから規定時間経過後、再び旋回を開始していないという条件を含む。再旋回するときの旋回方向は、順方向又は逆方向のいずれでもよい。油圧ショベル１の運転者が操作装置３５を中立状態にして旋回を停止させて入力装置３２を操作することにより、旋回及び撮影が終了する。旋回体３を旋回させながら撮像装置３０で画像ＰＣを連続撮影するとき、旋回体３が旋回開始位置から旋回終了位置に到達し旋回体３の旋回が停止し、再び旋回体３が順方向又は逆方向に旋回してしまうと、ステレオ計測の計測精度が低下する可能性がある。

判定部４１３は、旋回体３の旋回データが第１の旋回条件を満足するか否かを判定する。旋回体３が旋回停止及び再旋回することなく旋回を終了と判定されたとき、旋回データは第１の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像ＰＣが撮影されたと判定される。一方、旋回体３が旋回を停止した後、再び旋回を開始したと判定されたとき、旋回データは第１の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性があると判定される。

また、旋回条件記憶部４２２には、第２の旋回条件として、旋回体３の旋回速度Ｖが規定速度未満であることを示す旋回条件が記憶されている。旋回体３を旋回させながら撮像装置３０で画像ＰＣを連続撮影するとき、旋回体３の旋回速度Ｖが速過ぎると、撮影される画像ＰＣがぶれる又は歪む場合がある。その結果、その画像ＰＣを用いてステレオ処理すると、ステレオ計測の計測精度が低下する可能性がある。また、例えば油圧ショベル１が傾斜部に位置付けられている状態で旋回体３が旋回する場合、旋回体３の自重により、意図せずに旋回速度Ｖが速くなる場合がある。その場合においても、ステレオ計測の計測精度が低下する可能性がある。

判定部４１３は、旋回体３の旋回データが第２の旋回条件を満足するか否かを判定する。旋回体３の旋回速度Ｖが規定速度未満である、すなわち旋回速度Ｖは低速であると判定されたとき、旋回データは第２の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像ＰＣが撮影されたと判定される。一方、旋回体３の旋回速度Ｃが規定速度以上である、すなわち旋回速度Ｖが速過ぎると判定されたとき、旋回データは第２の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性があると判定される。

また、旋回条件記憶部４２２には、第３の旋回条件として、旋回開始位置から旋回終了位置までの旋回体３の旋回角度θが第１規定角度よりも大きいことを示す旋回条件、及び旋回角度θ２が第２規定角度未満であることを示す旋回条件の一方又は両方が記憶されている。旋回体３を旋回させながら撮像装置３０で画像ＰＣを連続撮影するとき、旋回角度θが小さ過ぎる場合（第１規定角度以下である場合）、上述の旋回角度の補正が精度よく行えないためステレオ計測の精度が低下する可能性がある。また、旋回角度θが大き過ぎる場合（第２規定角度以上である場合）、算出される推定角度θｓの累積誤差が大きくなりステレオ計測の計測精度が低下する可能性がある。

判定部４１３は、旋回体３の旋回データが第３の旋回条件を満足するか否かを判定する。旋回開始位置から旋回終了位置までの旋回体３の旋回角度θが第１規定角度よりも大きい又は第２規定角度未満であると判定されたとき、旋回データは第３の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像ＰＣが撮影されたと判定される。一方、旋回開始位置から旋回終了位置までの旋回体３の旋回角度θが第１規定角度以下である又は第２規定角度以上であると判定されたとき、旋回データは第３の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性があると判定される。

また、旋回条件記憶部４２２には、第４の旋回条件として、旋回体３の旋回方向Ｒが一方向であることを示す旋回条件が記憶されている。旋回体３を旋回させながら撮像装置３０で画像ＰＣを連続撮影するとき、旋回体３が旋回開始位置から旋回終了位置に旋回するように順方向に旋回している状態で、旋回体３が逆方向に旋回してしまうと、施工対象ＳＢの同一領域が２回撮影されてしまうことになる。施工対象ＳＢの同一領域を撮影した複数の画像ＰＣをステレオ処理すると、ステレオ計測の計測精度が低下する可能性がある。

判定部４１３は、旋回体３の旋回データが第４の旋回条件を満足するか否かを判定する。旋回体３が旋回終了位置に到達する前に旋回方向が順方向から逆方向に切り換わることなく、一方向（順方向）のみに旋回したと判定されたとき、旋回データは第４の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像ＰＣが撮影されたと判定される。一方、旋回体３が旋回終了位置に到達する前に、旋回方向が順方向から逆方向に切り換わったと判定されたとき、旋回データは第４の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性があると判定される。

また、旋回条件記憶部４２２には、第５の旋回条件として、位置検出装置２３及び姿勢検出装置２４によって検出された旋回体３の位置及び姿勢に基づいて算出された旋回終了後の撮像装置３０の旋回後角度θｒｂと、共通部分ＫＳに基づいて算出された旋回終了後の撮像装置３０の推定角度θｓとの差が規定値未満であることを示す旋回条件が記憶されている。旋回後角度θｒｂと推定角度θｓとの差が大きい場合、推定角度θｓが実際の旋回角度θからかけ離れていることを意味する。例えば、複数の画像ＰＣから算出される複数の共通部分ＫＳの累積誤差などに起因して、共通部分ＫＳを使って算出された旋回終了後の旋回体３の推定角度θｓと、位置検出装置２３の検出データ及び姿勢検出装置２４の検出データを使って算出された旋回後角度θｒｂとの差が大きくなる可能性がある。推定角度θｓが不正確であるほど、推定角度θｓと旋回後角度θｒｂとの差は大きくなる。推定角度θｓが不正確である場合、実際の旋回角度θとは異なる位置で施工対象ＳＢを撮影した画像ＰＣをステレオ処理することとなり、ステレオ計測の計測精度が低下する可能性がある。

判定部４１３は、旋回体３の旋回データが第５の旋回条件を満足するか否かを判定する。旋回終了後の旋回後角度θｒｂと旋回終了後の推定角度θｓとの差が規定値未満であると判定されたとき、旋回データは第５の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像ＰＣが撮影されたと判定される。旋回終了後の旋回後角度θｒｂと旋回終了後の推定角度θｓとの差が規定値以上であると判定されたとき、旋回データは第５の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性が高いと判定される。

なお、旋回条件記憶部４２２に、第５の旋回条件として、旋回終了後の旋回後位置Ｐｒｂと、旋回終了後の推定位置Ｐｓとの差が規定値未満であることを示す旋回条件が記憶されてもよい。

報知制御部４１９は、旋回体３の旋回データが旋回条件を満足しないと判定されたとき、報知装置３３を作動させる。これにより、運転者は、ステレオ計測の計測精度が低下しないように操作装置３５の操作を調整したり、撮影をやり直したりすることができる。

旋回データが旋回条件を満足するか否かの判定及び報知装置３３の作動は、任意のタイミングで実施することができる。旋回データが旋回条件を満足するか否かの判定及び報知装置３３の作動は、旋回体３の旋回が開始されてから終了するまでの期間に実施されてもよいし、旋回体３の旋回が終了し撮像装置３０の撮像が終了した後に実施されてもよいし、推定角度θｓの算出が終了した後に実施されてもよい。

本実施形態においては、旋回データが第１の旋回条件を満足するか否かの判定及び報知装置３３の作動は、旋回体３の旋回が開始されてから終了するまでの期間に実施される。旋回データが第２，第３，第４の旋回条件を満足するか否かの判定及び報知装置３３の作動は、旋回体３の旋回が終了し撮像装置３０の撮像が終了した後に実施される。旋回データが第５の旋回条件を満足するか否かの判定及び報知装置３３の作動は、推定角度θｓの算出が終了した後に実施される。

なお、上述の規定の旋回条件は一例であり、上述の例に限定されない。また、旋回データが旋回条件を満足するか否かの判定及び報知装置３３の作動のタイミングも一例であり、上述の例に限定されない。

［入力装置］
図１０は、本実施形態に係る入力装置３２の一例を模式的に示す斜視図である。本実施形態において、計測システム５０は、旋回体３が旋回中において撮像装置３０によって施工対象ＳＢを連続的に撮影する旋回連続撮影モードと、旋回体３が旋回停止状態において撮像装置３０によって施工対象ＳＢを撮影する単画像撮影モードとを実施可能である。入力装置３２は、旋回連続撮影モードの開始を指令する撮影開始指令信号及び旋回連続撮影モードの終了を指令する撮影終了指令信号を生成可能な旋回連続撮影スイッチ３２Ａと、単画像撮影モードの撮影を指令する単画像撮影指令信号を生成可能な単画像撮影スイッチ３２Ｂとを有する。また、旋回連続撮影スイッチ３２Ａの一部に第１発光部３４Ａが設けられ、単画像撮影スイッチ３２Ｂの一部に第２発光部３４Ｂが設けられる。第１発光部３４Ａ及び第２発光部３４Ｂのそれぞれは、発光ダイオードを含む。旋回連続撮影スイッチ３２Ａの操作状態に基づいて、第１発光部３４Ａが点灯、点滅、又は消灯する。単画像撮影スイッチ３２Ｂの操作状態に基づいて、第２発光部３４Ｂが点灯、点滅、又は消灯する。例えば、撮影不可状態から撮影待機状態に遷移したとき、報知制御部４１９は、消灯していた第１発光部３４Ａ及び第２発光部３４Ｂのそれぞれを時点ｔ１において点灯させる。

［計測方法］
図１１は、本実施形態に係る計測方法の一例を示すフローチャートである。図１２は、本実施形態に係る計測方法のタイミングチャートである。

油圧ショベル１の運転者は、撮像装置３０が施工対象ＳＢの計測開始位置を向くように、操作装置３５を操作して旋回体３を旋回させる。旋回体３の旋回を含む油圧ショベル１の動作が停止した時点ｔ０から予め規定された時間が経過して時点ｔ１になったとき、判定部４１８は、位置検出装置２３及び姿勢検出装置２４のそれぞれが検出データを安定して出力できる静定状態であると判定する。

油圧ショベル１が動作停止状態であり、位置検出装置３２及び姿勢検出装置２４が静定状態において、撮影開始指令信号を取得すると、撮像位置算出部４１６は、位置検出装置２３から旋回体３の位置を示す検出データを取得し、姿勢検出装置２４から旋回体３の姿勢を示す検出データを取得する（ステップＳ１０）。

撮像位置算出部４１６は、旋回前角度θｒａ、及び旋回前位置Ｐｒａを取得する。

位置検出装置２３の検出データ及び姿勢検出装置２４の検出データは、一時的に記憶装置４２に記憶される。

旋回連続撮影モードを開始する場合、油圧ショベル１の運転者は、旋回連続撮影スイッチ３２Ａを操作（押下）する。図１８に示す例では、時点ｔ２において旋回連続撮影スイッチ３２Ａが操作される。旋回連続撮影スイッチ３２Ａが操作されることにより生成された撮影開始指令信号は、演算処理装置４１に出力される。信号取得部４１１は、撮影開始指令信号を取得する（ステップＳ２０）。

また、旋回連続撮影スイッチ３２Ａが操作され、撮影開始指令信号を取得すると、演算処理装置４１は、撮像装置３０の撮像を開始する（ステップＳ３０）。画像取得部４１０は、油圧ショベル１が動作開始前の動作停止状態において撮像装置３０によって撮影された施工対象ＳＢの画像ＰＣｒａを取得する。また、画像記憶部４２３は、画像ＰＣｒａを記憶する。

運転者は、操作装置３５を操作して、走行体５の走行を停止した状態で、旋回体３の旋回を開始する（ステップＳ４０）。運転者は、撮像装置３０が施工対象ＳＢの計測開始位置を向いている旋回開始位置から、撮像装置３０が施工対象ＳＢの計測終了位置を踏む旋回終了位置まで旋回するように、操作装置３５を操作して、旋回体３の旋回を開始する。

図１８に示す例では、時点ｔ３において操作装置３５が操作され、旋回体３の旋回が開始される。複数の撮像装置３０（３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ）のそれぞれは、旋回体３が旋回中において間隔をあけて施工対象ＳＢの画像ＰＣｓを複数回撮影する。

画像取得部４１０は、旋回体３が旋回中において撮像装置３０によって撮影された施工対象ＳＢの複数の画像ＰＣｓを順次取得する。また、画像記憶部４２３は、複数の画像ＰＣｓを順次記憶する。

旋回体３が旋回中において、撮像位置算出部４１６は、旋回データを算出する。判定部４１８は、旋回データが旋回データ記憶部４２２に記憶されている旋回条件を満足するか否かを判定する（ステップＳ５０）。また、旋回データは、記憶装置４２に一時的に記憶される。

ステップＳ５０においては、旋回条件として、旋回体３が旋回停止後、再旋回することなく旋回を終了した条件を満足するか否かが判定される（第１の旋回条件）。旋回体３が再旋回することなく旋回を終了と判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体３が旋回を停止し、旋回を停止してから規定時間経過後、再び旋回を開始したと判定されたとき、旋回データは旋回条件を満足していないと判定される。

ステップＳ５０において、旋回データは旋回条件を満足していないと判定されたとき（ステップＳ５０：Ｎｏ）、報知制御部４１９は、報知装置３３を作動して、旋回データが旋回条件を満足していないことを示す情報を運転者に報知する（ステップＳ１８０）。

ステップＳ５０において、旋回データは旋回条件を満足していると判定されたとき（ステップＳ５０：Ｙｅｓ）、報知装置３３は作動しない。なお、ステップＳ５０において、旋回体データは旋回条件を満足していると判定されたとき、報知制御部４１９は、ステップＳ１８０における報知形態とは別の報知形態で報知装置３３を作動して、旋回データが旋回条件を満足していることを示す情報を運転者に報知してもよい。

旋回体３が旋回終了位置に到達すると、運転者は、操作装置３５の操作を解除し、旋回体３の旋回を終了する（ステップＳ６０）。図１２に示す例では、時点ｔ４において操作装置３５の操作が解除され、旋回体３の旋回が終了される。

旋回体３の旋回が停止した時点ｔ４から予め規定された時間が経過して時点ｔ５になったとき、判定部４１８は、位置検出装置２３及び姿勢検出装置２４のそれぞれが検出データを安定して出力できる静定状態であると判定する。

油圧ショベル１が動作停止状態であり、位置検出装置３２及び姿勢検出装置２４が静定状態において、撮影位置算出部４１６は、位置検出装置２３から旋回体３の位置を示す検出データを取得し、姿勢検出装置２４から旋回体３の姿勢を示す検出データを取得する（ステップＳ７０）。

撮像位置算出部４１６は、旋回後角度θｒｂ、及び旋回後位置Ｐｒｂを取得する。

位置検出装置２３の検出データ及び姿勢検出装置２４の検出データは、一時的に記憶装置４２に記憶される。

また、画像取得部４１０は、油圧ショベル１が動作終了後の動作停止状態において撮像装置３０によって撮影された施工対象ＳＢの画像ＰＣｒｂを取得する。また、画像記憶部４２３は、画像ＰＣｒｂを記憶する。

旋回連続撮影モードを終了する場合、油圧ショベル１の運転者は、旋回連続撮影スイッチ３２Ａを操作（押下）する。図１８に示す例では、時点ｔ６において旋回連続撮影スイッチ３２Ａが操作される。旋回連続撮影スイッチ３２Ａが操作されることにより生成された撮影終了指令信号は、演算処理装置４１に出力される。信号取得部４１１は、撮影終了指令信号を取得する（ステップＳ８０）。

撮影終了信号が取得されることにより、撮像装置３０の撮影が終了する（ステップＳ９０）。撮像装置３０は、撮影不可状態に遷移する。

判定部４１８は、旋回体３が旋回中のときの旋回データが旋回データ記憶部４２２に記憶されている旋回条件を満足するか否かを判定する（ステップＳ１００）。

判定部４１８は、ステップＳ１００において、旋回条件として、旋回体３の旋回速度Ｖが規定速度未満である条件を満足するか否かを判定する（第２の旋回条件）。

旋回体３の旋回速度Ｖが規定速度未満であると判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体３の旋回速度Ｖが規定速度以上であると判定されたとき、旋回データは旋回条件を満足していないと判定される。

また、判定部４１８は、ステップＳ１００において、旋回条件として、旋回開始位置から旋回終了位置までの旋回体３の旋回角度θが第１規定角度よりも大きい条件及び第２規定角度未満である条件の一方又は両方を満足するか否かを判定する（第３の旋回条件）。

旋回体３の旋回角度θが第１規定角度よりも大きいと判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体３の旋回角度θが第１規定角度以下であると判定されたとき、旋回データは旋回条件を満足していないと判定される。また、旋回体３の旋回角度θが第２規定角度未満であると判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体３の旋回角度θが第２規定角度以上であると判定されたとき、旋回データは旋回条件を満足していないと判定される。

また、判定部４１８は、ステップＳ１００において、旋回条件として、旋回体３の旋回方向が一方向である条件を満足しているか否かを判定する（第４の旋回条件）。

旋回体３の旋回方向が一方向（順方向）であると判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体３の旋回方向が順方向から逆方向に切り換わったと判定されたとき、旋回データは旋回条件を満足していないと判定される。

ステップＳ１００において、旋回データは旋回条件を満足していないと判定されたとき（ステップＳ１００：Ｎｏ）、報知制御部４１９は、報知装置３３を作動して、旋回データが旋回条件を満足していないことを示す情報を運転者に報知する（ステップＳ１９０）。

ステップＳ１００において、旋回データは旋回条件を満足していると判定されたとき（ステップＳ５０：Ｙｅｓ）、報知装置３３は作動しない。なお、ステップＳ１００において、旋回体データは旋回条件を満足していると判定されたとき、報知制御部４１９は、ステップＳ１９０における報知形態とは別の報知形態で報知装置３３を作動して、旋回データが旋回条件を満足していることを示す情報を運転者に報知してもよい。

共通部分抽出部４１３は、画像記憶部４２３に記憶されている複数の画像ＰＣのそれぞれから共通部分ＫＳを抽出する（ステップＳ１２０）。

共通部分抽出部４１３は、旋回体３が旋回停止中及び旋回中において撮像装置３０によって撮影された少なくとも２つの画像ＰＣからそれら２つの画像ＰＣの共通部分ＫＳを抽出する。共通部分ＫＳの抽出は、旋回体３の旋回方向Ｒにおいて、旋回体３の旋回が開始されてから終了するまでに取得された全ての画像ＰＣについて実施される。

次に、撮像位置算出部４１６は、複数の画像ＰＣの共通部分ＫＳに基づいて、旋回体３の推定角度θｓを推定する（ステップＳ１４０）。撮像位置算出部４１６は、複数の画像ＰＣにおける共通部分ＫＳの位置に基づいて、旋回角度Δθを算出して、推定角度θｓを推定することができる。

判定部４１８は、旋回体３が旋回中のときの旋回データが旋回データ記憶部４２２に記憶されている旋回条件を満足するか否かを判定する（ステップＳ１５０）。

判定部４１８は、ステップＳ１５０において、旋回条件として、位置検出装置２３及び姿勢検出装置２４によって検出された旋回体３の位置及び姿勢に基づいて算出された旋回終了後の撮像装置３０の旋回後角度θｒｂと、共通部分ＫＳに基づいて算出された旋回終了後の撮像装置３０の推定角度θｓとの差が規定値未満である条件を満足するか否かを判定する（第５の旋回条件）。

すなわち、判定部４１８は、旋回終了後の旋回停止状態における旋回後角度θｒｂと、旋回中の推定角度θｓから推定された旋回終了後の推定角度θｓとの差が規定値未満である条件を満足するか否かを判定する。例えば、複数の画像ＰＣから算出される複数の共通部分ＫＳの累積誤差などに起因して、共通部分ＫＳを使って算出された旋回終了後の旋回体３の推定角度θｓと、位置検出装置２３の検出データ及び姿勢検出装置２４の検出データを使って算出された旋回後角度θｒｂとの差が大きくなる可能性がある。推定角度θｓが不正確であるほど、推定角度θｓと旋回後角度θｒｂとの差は大きくなる。判定部４１８は、旋回終了後の推定角度θｓと、旋回後角度θｒｂとの差が規定値未満である条件を満足するか否かを判定する。

旋回終了後の旋回後角度θｒｂと旋回終了後の推定角度θｓとの差が規定値未満であると判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回終了後の旋回後角度θｒｂと旋回終了後の推定角度θｓとの差が規定値以上であると判定されたとき、旋回データは旋回条件を満足していないと判定される。

ステップＳ１５０において、旋回データは旋回条件を満足していないと判定されたとき（ステップＳ１５０：Ｎｏ）、報知制御部４１９は、報知装置３３を作動して、旋回データが旋回条件を満足していないことを示す情報を運転者に報知する（ステップＳ２００）。

ステップＳ１５０において、旋回データは旋回条件を満足していると判定されたとき（ステップＳ１５０：Ｙｅｓ）、報知装置３３は作動しない。なお、ステップＳ１５０において、旋回体データは旋回条件を満足していると判定されたとき、報知制御部４１９は、ステップＳ２００における報知形態とは別の報知形態で報知装置３３を作動して、旋回データが旋回条件を満足していることを示す情報を運転者に報知してもよい。

撮像位置算出部４１６は、旋回終了後の推定角度θｓと旋回後角度θｒｂとの差が規定値未満であるとき、角度θｒ（旋回前角度θｒａ、旋回後角度θｒｂ）に基づいて、旋回中における推定角度θｓを補正する。また、撮像位置算出部４１６は、補正後の推定角度θｓに基づいて、旋回中における撮像装置３０の推定位置Ｐｓを補正する。撮像位置算出部４１６は、上述した手順に基づいて、推定角度θｓの補正を実施することができる。

三次元位置算出部４１７は、撮影時の画像ＰＣをステレオ処理して、複数の施工対象ＳＢの撮像装置座標系における三次元位置を算出する（ステップＳ１６０）。また、三次元位置算出部４１７は、撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。

三次元位置算出部４１７は、ステップＳ１４０で取得された撮影時の撮像装置３０の位置Ｐに基づいて、ステップＳ１３０で算出された複数の施工対象ＳＢの三次元位置を統合する（ステップＳ１７０）。撮影時の撮像装置３０の位置Ｐは、旋回前位置Ｐｒａ、旋回中における複数の推定位置Ｐｓ、及び旋回後位置Ｐｒｂを含む。複数の施工対象ＳＢが統合されることにより、図９を参照して説明したように、施工対象ＳＢの三次元形状を示す三次元データＰＴＤが生成される。なお、三次元位置を統合する処理は、省略されてもよい。

なお、旋回体データが、第１の旋回条件、第２の旋回条件、第３の旋回条件、第４の旋回条件、及び第５の旋回条件の少なくとも一つを満足していないと判定された場合、三次元位置算出部４１７は、ステップＳ３０において取得された、油圧ショベル１が動作開始前の動作停止状態において撮像装置３０によって撮影された施工対象ＳＢの画像ＰＣｒａと、ステップＳ８０において取得された、油圧ショベル１が動作終了後の動作停止状態において撮像装置３０によって撮影された施工対象ＳＢの画像ＰＣｒｂとをステレオ処理して、施工対象ＳＢの撮像装置座標系における三次元位置を算出してもよい。

［報知装置］
ステップＳ１８０、ステップＳ１９０、及びステップＳ２００における報知装置３３の報知は、表示装置３３Ａに表示データを表示すること、発光装置３３Ｂから光を射出すること、及び音出力装置３３Ｃから音を出力することの少なくとも一つを含む。

本実施形態において、旋回データが旋回条件を満足しないと判定されたとき、報知制御部４１９は、油圧ショベル１を操作する操作装置３５の操作条件を指示するガイダンスデータを報知装置３３に出力させる。運転者は、報知装置３３による報知を受け取ることによって、旋回体３が旋回中に取得された画像ＰＣに基づいて実施されたステレオ計測の精度が不足していた、すなわちステレオ計測が失敗したと認識することができ、例えば再度施工対象ＳＢの同じ領域をステレオ計測することができる。その際に、運転者は、報知装置４４による報知の内容に基づいて、撮影時における旋回体３の旋回条件を修正してステレオ計測することで、ステレオ計測の精度の低下を抑制することができる。

図１３は、本実施形態に係る表示装置３３Ａがガイダンスを表示している例を示す図である。なお、表示装置３３Ａはガイダンスに代えて、またはガイダンスとともに、ステレオ計測の成否や、ステレオ計測の失敗理由を表示してもよい。

図１３（Ａ）は、ステップＳ５０において、旋回体３が旋回停止後に再旋回することなく旋回を終了した条件を満足するか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップＳ１８０における表示装置３３Ａの表示例を示す。図１３（Ａ）に示すように、旋回体３が旋回を停止した後に、再び旋回を開始したと判定されたとき、表示装置３３Ａは、ガイダンスとして、「旋回停止後の再旋回の操作は行わないで下さい。」という文字データを出力する。

図１３（Ｂ）は、ステップＳ１００において、旋回体３の旋回速度Ｖが規定速度未満である条件を満足するか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップＳ１９０における表示装置３３Ａの表示例を示す。図１３（Ｂ）に示すように、旋回データが旋回条件を満足してないと判定されたとき、すなわち、旋回体３の旋回速度Ｖが規定速度以上であると判定されたとき、表示装置３３Ａは、ガイダンスとして、「旋回速度を遅くして下さい。」という文字データを出力する。

図１３（Ｃ）は、ステップＳ１００において、旋回体３の旋回速度θが第１規定角度よりも大きい条件及び第２規定角度未満である条件の一方又は両方を満足するか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップＳ１９０における表示装置３３Ａの表示例を示す。図１３（Ｃ）に示すように、旋回データが旋回条件を満足してないと判定されたとき、すなわち、旋回体３の旋回角度θが第２規定角度以上であると判定されたとき、表示装置３３Ａは、ガイダンスとして、「旋回角度を小さくして下さい。」という文字データを出力する。

また、旋回体３の旋回角度θが第１規定角度以下であると判定されたとき、表示装置３３Ａは、ガイダンスとして、「旋回開始時と旋回終了時の旋回角度を大きくして下さい。」という文字データを出力する。

図１３（Ｄ）は、ステップＳ１００において、旋回体３の旋回方向が順方向から逆方向に切り換わらずに一方向である条件を満足しているか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップＳ１９０における表示装置３３Ａの表示例を示す。図１３（Ｄ）に示すように、旋回データが旋回条件を満足してないと判定されたとき、すなわち、旋回体３の旋回方向が順方向から逆方向に切り換わっていると判定されたとき、表示装置３３Ａは、ガイダンスとして、「旋回連続撮影時は必ず一方向に旋回して下さい」という文字データを出力する。

図１３（Ｅ）は、ステップＳ１５０において、旋回終了後の旋回体３の旋回後角度θｒｂと旋回終了後の旋回体３の推定角度θｓとの差が規定値未満である条件を満足するか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップＳ２００における表示装置３３Ａの表示例を示す。図１３（Ｅ）に示すように、旋回データが旋回条件を満足してないと判定されたとき、すなわち、旋回後角度θｒｂと旋回終了後の旋回体３の推定角度θｓとの差が規定値以上であると判定されたとき、表示装置３３Ａは、ガイダンスとして、「車体の位置を変更して下さい。作業機姿勢を確認して下さい。」という文字データを出力する。

旋回後角度θｒｂと推定角度θｓとの差が大きい場合、推定角度θｓが不正確である可能性が高く、推定角度θｓの補正を実施しても、正確な推定角度θｓを取得することが困難である可能性が高い。その場合、報知制御部４１９は、図１３（Ｅ）に示したような、旋回連続撮影の条件の変更を促すガイダンスのような報知信号を出力する。

なお、上述のようなガイダンスや、ステレオ計測の成否や、ステレオ計測の失敗理由は、発光装置３３Ｂの点灯、点滅、及び消灯の組み合わせを含む発光状態によって報知されてもよいし、音出力装置３３Ｃから音声によって出力されてもよい。

また、報知制御部４１９は、その他の理由により三次元位置算出部４１７によるステレオ計測が失敗したときも、報知装置３３を作動して、ステレオ計測が失敗したことを示す情報を報知することができる。

［効果］
以上説明したように、本実施形態によれば、ステレオ計測の計測精度を低下させる旋回条件で旋回体３が旋回した場合、旋回条件が不適切であることを示す情報が運転者に報知される。そのため、運転者は、ステレオ計測の計測精度が低下しないように操作装置３５の操作を調整したり、撮影をやり直したりすることができる。これにより、ステレオ計測に適切な画像ＰＣが取得されるため、施工対象ＳＢの三次元形状の計測精度の低下が抑制される。

なお、上述の実施形態においては、油圧ショベル１が旋回中においては、撮像装置３０の位置が共通部分ＫＳに基づいて算出されることとしたが、その実施形態に限られない。例えば、油圧ショベル１が旋回中における撮像装置３０の位置が、位置検出装置２３の検出データ及び姿勢検出装置２４の検出データに基づいて算出されてもよい。

なお、上述の実施形態において、撮像位置算出部４１６は、旋回軸Ｚｒを拘束条件として、変数を旋回角度θのみとして撮影位置を算出したが、旋回軸Ｚｒを拘束条件とすることなく、撮像装置３０の位置及び姿勢を、Ｘ軸方向の位置、Ｙ軸方向の位置、Ｚ軸方向の位置、ロール角、ピッチ角、及びヨー角の６変数に基づいて算出してもよい。

なお、本実施形態においては、入力装置３２が操作されることにより、撮像装置３０による撮影が開始又は終了することとした。操作装置３５の操作により、撮像装置３０による撮影が開始又は終了してもよい。上述のように、操作装置３５の操作量を検出する操作量センサ３６が設けられている。操作量センサ３６は、操作装置３５が操作された操作状態と、操作装置３５が操作されていない中立状態とを検出可能である。旋回体３の旋回を開始するために操作装置３５が操作状態になったとき、操作状態を検出した操作量センサ３６の検出データに基づいて撮像装置３０による撮影が開始され、旋回体３の旋回を終了するために操作装置３５が中立状態になったとき、中立状態を検出した操作量センサ３６の検出データに基づいて撮像装置３０による撮影が終了してもよい。また、入力装置３２の操作により撮影が開始され、操作装置３５が中立状態になったときに撮影が終了してもよい。また、旋回体３が旋回中か否かの判定は、操作量センサ３６の検出データに基づかずに、任意の旋回検出方法によって実施されてもよい。

また、入力装置３２が操作されることにより、自動的に撮像装置３０による撮影及び旋回体３の旋回が開始され、規定の旋回終了位置まで旋回した後、自動的に撮像装置３０による撮影及び旋回体３の旋回が終了するようにしてもよい。

なお、上述の実施形態において、入力装置３２は、例えば操作装置３５の右操作レバー３５Ｒ及び左操作レバー３５Ｌの少なくとも一方に取り付けられていてもよいし、運転室４に配置されるモニタパネルに設けられていてもよいし、携帯端末装置に設けられてもよい。また、入力装置３２が油圧ショベル１の外部に設けられ、撮像装置３０の撮影の開始又は終了が遠隔操作されてもよい。

上述の実施形態においては、判定部４１８が旋回条件を満足していないと判定したときに、報知制御部４１９が、旋回指示信号として報知信号を報知装置３３に出力する例について説明した。上述の実施形態において、例えば、旋回体３の旋回中に旋回速度Ｖが所定の旋回速度よりも速いと判定されたとき、旋回制御部４２０は、旋回指示信号として油圧コントローラ３８に制御信号を出力して、旋回中の旋回体３の旋回速度Ｖを、旋回条件を満たすように制御してもよい。その場合、油圧コントローラ３８は、運転者の操作装置３５の操作量に応じた旋回モータ３７の駆動制御に対して、旋回制御部４２０からの制御信号に基づいて旋回速度Ｖを減ずるよう介入制御を実施することができる。旋回速度Ｖを遅くする、すなわち旋回動作を制御するために油圧コントローラ３８に出力される制御信号は、旋回指示信号の一例である。また、報知装置３３を制御するために報知装置３３へ出力される旋回に関する報知信号、例えばステレオ計測の成否データ、ステレオ計測の失敗理由データ、ガイダンスデータは、旋回指示信号の一例である。また、報知制御部４１９及び旋回制御部４２０は、旋回指示信号を出力する出力部の一例である。

なお、上述の実施形態において、報知装置３３は、運転室４に配置されるモニタパネルであってもよいし、携帯端末装置であってもよい。また、そのようなモニタパネル及び携帯端末装置が油圧ショベル１の外部に設けられてもよい。また、報知装置３３が油圧ショベル１の外部に設けられ、油圧ショベル１の外部に存在する管理者に報知してもよい。また、操作装置３５、報知装置３３が油圧ショベル１の外部に設けられ、報知装置３３は油圧ショベル１を遠隔操作している運転者に対して報知を行ってもよい。

なお、上述の実施形態において、旋回体３の旋回中において旋回速度Ｖが旋回条件を満足しなくなる程ではないがある程度速い旋回速度Ｖで旋回している場合、報知装置３３は、運転者に対してリアルタイムに旋回速度Ｖを遅くさせることを促すガイダンスを報知してもよい。その際、運転者は旋回操作中であるため、例えば旋回速度Ｖを遅くさせることを促す音によるガイダンスが望ましい。

なお、撮像装置３０で撮影された画像ＰＣが画像記憶部４２３に蓄積される場合、旋回条件として、規定の容量の画像ＰＣのデータが蓄積されないという条件（メモリオーバー条件）、又は画像ＰＣのデータが蓄積される時間が規定時間を超えないという条件（タイムオーバー条件）が設定されてもよい。また、旋回条件として、走行体２が走行していないという条件が設定されてもよい。旋回撮影中に走行体２が走行してしまうとステレオ計測の精度が低下するため、走行体２が走行していないという条件が設定されてもよい。

なお、上述の実施形態においては、撮像位置算出部４１６が共通部分ＫＳに基づいて旋回データを算出し、旋回データ取得部４１５は、撮像位置算出部４１６から旋回データを取得することとした。旋回データ取得部４１５は、旋回データを算出するための検出装置の検出データに基づいて旋回データを算出してもよい。例えば、旋回データ取得部４１５は、位置検出装置２３の検出データまたは姿勢検出装置２４の検出データに基づいて、旋回体３の旋回角度θ、旋回速度Ｖ、及び旋回方向Ｒを含む旋回データを算出してもよいし、操作量センサ３６の検出データに基づいて旋回データを算出してもよいし、旋回体３の旋回データを検出可能な角度センサ、例えばロータリーエンコーダの検出データに基づいて旋回データを算出してもよい。この場合、演算処理装置４１は、角度検出センサの検出値である旋回角度θを角度検出センサから取得するタイミングと、少なくとも一対の撮像装置３０が施工対象ＳＢを撮影するタイミングとを同期させる。このようにして、少なくとも一対の撮像装置３０によって画像ＰＣが撮影されたタイミングと、そのタイミングにおける旋回体３の旋回角度θとが対応付けられる。

なお、上述の実施形態においては、演算処理装置４１が少なくとも一対の撮像装置３０によって撮像された画像ＰＣをステレオ処理して三次元計測を実現したが、このようなものには限定されない。例えば、少なくとも一対の撮像装置３０によって撮像された油圧ショベル１の周囲の掘削対象ＳＢの画像ＰＣと、位置検出装置２３及び姿勢検出装置２４によって求められた油圧ショベル１の静止時における位置及び姿勢とが、例えば油圧ショベル１の外部の管理装置に送信される。そして、外部の管理装置が油圧ショベル１の周囲の掘削対象ＳＢの画像ＰＣをステレオ処理するとともに、旋回体３の旋回時における旋回角度θ、油圧ショベル１の位置及び姿勢を求め、得られた結果を用いて旋回時における油圧ショベル１の周囲の掘削対象ＳＢの三次元位置を求めてもよい。この場合、油圧ショベル１の外部の管理装置が、演算処理装置４１に相当する。

上述の実施形態において、検出装置は少なくとも一対の撮像装置３０を含むステレオカメラである。ステレオカメラで撮影する際には、各カメラの撮影タイミングを同期させる。撮像装置はステレオカメラに限定されない。撮像装置は、例えば、ＴＯＦ（Time Of Flight）カメラのような、画像と三次元データとの両方が得られるセンサであってもよい。撮像装置は一つのカメラにより三次元データが得られる撮像装置であってもよい。撮像装置は、レーザスキャナであってもよい。

なお、上述の実施形態においては、作業機械１が旋回体３を有する油圧ショベル１であることとした。作業機械１は、旋回体を有しない作業機械でもよい。例えば、作業機械は、ブルドーザ、ホイールローダ、ダンプトラック、及びモーターグレーダの少なくとも一つでもよい。

１…油圧ショベル（作業機械）、１Ｂ…車体、２…作業機、３…旋回体、４…運転室、４Ｓ…運転席、５…走行体、５Ａ…履帯、５Ｂ…履帯、６…ブーム、７…アーム、８…バケット、１０…ブームシリンダ、１１…アームシリンダ、１２…バケットシリンダ、２１…ＧＰＳアンテナ、２３…位置検出装置、２４…姿勢検出装置、３０…撮像装置、３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ…撮像装置、３１…ハブ、３２…入力装置、３２Ａ…旋回連続撮影スイッチ、３２Ｂ…単画像撮影スイッチ、３３…報知装置、３３Ａ…表示装置、３３Ｂ…発光装置、３３Ｃ…音出力装置、３４Ａ…第１発光部、３４Ｂ…第２発光部、３５…操作装置、３５Ｌ…左操作レバー、３５Ｒ…右操作レバー、３６…操作量センサ、３７…旋回モータ、３８…油圧コントローラ、４０…制御装置、４１…演算処理装置、４２…記憶装置、４３…入出力インターフェース、５０…計測システム、３００…ステレオカメラ、３０１…第１ステレオカメラ、３０２…第２ステレオカメラ、４１０…画像取得部、４１１…信号取得部、４１３…共通部分抽出部、４１５…旋回データ取得部、４１６…撮像位置算出部、４１７…三次元位置算出部、４１８…判定部、４１９…報知制御部、４２０…旋回制御部、４２２…旋回条件記憶部、４２３…画像記憶部、ＦＭ…撮影領域、ＫＳ…共通部分、ＰＣ…画像、Ｐｒ…位置、Ｐｒａ…旋回前位置、Ｐｒｂ…旋回後位置、Ｐｓ…推定位置、ＲＤ…旋回方向、ＳＢ…施工対象、Ｚｒ…旋回軸、θｒ…角度、θｒａ…旋回前角度、θｒｂ…旋回後角度、θｓ…推定角度。

Claims (10)

1. 作業機械の旋回体に搭載された撮像装置によって前記旋回体の旋回中に撮影された施工対象の画像を取得する画像取得部と、
   前記画像に基づいて前記施工対象の三次元位置を算出する三次元位置算出部と、
   前記旋回体の旋回データを取得する旋回データ取得部と、
   前記旋回データが規定の旋回条件を満足するか否かを判定する判定部と、
   前記判定部の判定結果に基づいて旋回指示信号を出力する出力部と、
   を備える作業機械の計測システム。
2. 前記旋回条件は、前記旋回体の旋回停止後、再旋回が行われない条件を含む、
   請求項１に記載の作業機械の計測システム。
3. 前記旋回データは、前記旋回体の旋回速度を含み、
   前記旋回条件は、前記旋回速度が規定速度未満である条件を含む、
   請求項１又は請求項２に記載の作業機械の計測システム。
4. 前記旋回データは、前記旋回体の旋回角度を含み、
   前記旋回条件は、前記旋回角度が第１規定角度よりも大きい条件及び第２規定角度未満である条件の一方又は両方を含む、
   請求項１から請求項３のいずれか一項に記載の作業機械の計測システム。
5. 前記旋回データは、前記旋回体の旋回方向を含み、
   前記旋回条件は、前記旋回方向が一方向である条件を含む、
   請求項１から請求項４のいずれか一項に記載の作業機械の計測システム。
6. 前記作業機械の運転者に報知する報知装置を備え、
   前記旋回指示信号は、前記旋回に関する報知信号を含み、
   前記出力部は、前記報知信号を前記報知装置に出力する、
   請求項１から請求項５のいずれか一項に記載の作業機械の計測システム。
7. 前記旋回体を旋回させる油圧コントローラを備え、
   前記旋回指示信号は、前記旋回体の旋回動作を制御する制御信号を含み、
   前記出力部は、前記制御信号を前記油圧コントローラに出力する、
   請求項１から請求項６のいずれか一項に記載の作業機械の計測システム。
8. 前記三次元位置算出部は、前記旋回データが前記旋回条件を満足しないと判定された場合、前記旋回体が動作開始前の動作停止状態において撮影された前記画像と、前記旋回体が動作終了後の動作停止状態において撮影された前記画像とに基づいて、前記施工対象の三次元位置を算出する、
   請求項１から請求項７のいずれか一項に記載の作業機械の計測システム。
9. 請求項１から請求項８のいずれか一項に記載の作業機械の計測システムを備える作業機械。
10. 作業機械の旋回体に搭載された撮像装置によって前記旋回体の旋回中に撮影された施工対象の画像を取得することと、
    前記旋回体の旋回データを取得することと、
    前記旋回データが規定の旋回条件を満足するか否かを判定することと、
    判定結果に基づいて旋回指示信号を出力することと、
    を含む作業機械の計測方法。

Images