JP7076114B1 - 作業支援システムおよび、作業支援方法 - Google Patents

Abstract

【課題】
３次元環境における作業車両の位置をより好適に提示することでオペレータを支援する新規の作業支援システムおよび、作業支援方法を提供すること。
【解決手段】
作業車両のオペレータを支援する作業支援システムであって、作業現場周辺において３次元座標位置と関連付けて、点群による３次元地形地物データを格納する記憶部と、前記作業車両における３次元座標位置および姿勢に関する車両位置姿勢データを取得する車両位置姿勢取得部と、前記車両位置姿勢データに基づいて、前記作業車両のモデルデータを、前記３次元地形地物データ上に表示処理し、車両３次元位置姿勢表示画像として提示する提示部と、を備える。
【選択図】図１

Description

本発明は、作業車両のオペレータを支援する作業支援システムおよび、作業支援方法に関する。

従来、豪雪地帯における道路やゲレンデや、土砂を伴う土木建築や災害における現場では、地形地物を含む環境に変化が生じ、雪または土砂の撤去・運搬・ならしなどを行う作業車両の操作には困難性を伴う問題があった。

特許文献１の記載によれば、除雪又は排雪作業時に、除雪車両の位置に応じて当該除雪車両に道路の周辺地物等の存在をオペレータに音声、画像など何らかの手段で教示して注意を喚起することが可能であり、除雪車両又は当該除雪車両のブレードなどの付属機器と、道路の周辺地物との接触を防止するシステムが開示されている。

特許文献２によれば、無積雪時の実写映像に基づき障害物等の構造物と除雪車との位置関係を目視上及び座標計算上で正確に把握することによって、容易に且つ安全に除雪作業を行うことができる除雪支援システムが開示されている。

特開２０１３－０８７４６９号公報 特開２０１３－０３３４２６号公報

しかしながら、特許文献１に記載の技術は、除排雪車両の現在位置を地図上に表示することや周辺画像を表示することでオペレータに注意喚起することができるものであって、作業現場において高度を含む地形の変化が生じた環境における作業車両の位置を正確に把握できるものではなかった。

また、特許文献２に記載の技術は、実写映像の表示フレームＦに、車両の輪郭や像を挿入することができるものの、作業現場における地形の変化が顕著な場合、実写映像と実際の現場環境とのギャップが大きくなり、環境における車両の位置を正確に把握できるものではなかった。

本発明は、上述したような実情に鑑みてなされたものであって、３次元環境における作業車両の位置をより好適に提示することでオペレータを支援する新規の作業支援システム、作業支援方法および、作業車両を提供することを解決すべき課題とする。

上記課題を解決するために、本発明は、作業車両のオペレータを支援する作業支援システムであって、作業現場周辺において３次元座標位置と関連付けて、点群による３次元地形地物データを格納する記憶部と、前記作業車両における３次元座標位置および姿勢に関する車両位置姿勢データを取得する車両位置姿勢取得部と、前記車両位置姿勢データに基づいて、前記作業車両のモデルデータを、前記３次元地形地物データ上に表示処理し、車両３次元位置姿勢表示画像として提示する提示部と、を備える。
このような構成とすることで、作業車両の位置を点群による３次元データ上に表示でき、オペレータは車両位置を正確に把握することができる。

本発明の好ましい形態では、前記提示部は、前記車両３次元位置姿勢表示画像において任意の表示視点を設定し、前記表示視点からの前記３次元地形地物データおよび前記モデルデータを表示処理し、前記車両３次元位置姿勢表示画像を提示する。
このような構成とすることで、作業車両の位置を任意の方向から提示でき、車両位置および周辺環境を正確に把握することができる。

本発明の好ましい形態では、前記提示部は、前記車両３次元位置姿勢表示画像における正面および側面の少なくとも１つを含む車両２次元位置姿勢表示画像を提示する。
このような構成とすることで、環境の変化の違いを任意の視点から客観的に把握することができる。特に、高さ方向の地形の変化を容易に把握することができる。

本発明の好ましい形態では前記提示部は、前記車両３次元位置姿勢表示画像および正面および側面の少なくとも１つを含む前記車両２次元位置姿勢表示画像から選択される２以上の画像を比較可能に提示する。
このような構成とすることで、死角となる視点に係る画像を併せて提示することで、障害物との接触や滑落などの事故を抑制することができる。

本発明の好ましい形態では、前記提示部は、前記作業車両の３次元座標位置およびモデルデータの大きさに基づいて、前記３次元地形地物データに含まれる一部の点群を前記車両２次元位置姿勢表示画像として提示する。
このような構成とすることで、車両２次元位置姿勢表示画像における構造物などの点群を好適に決定し、提示することができる。

本発明の好ましい形態では、前記３次元地形地物データは、道路面の高度を含む道路面データを有し、前記作業車両の３次元座標位置と、前記道路面の高度と、に基づき前記作業現場周辺における積雪量を算出する算出部を備える。
このような構成とすることで、積雪による高さ方向の地形変化を定量的に評価することができる。

本発明の好ましい形態では、前記記憶部は、積雪前の前記作業現場周辺においてデータ収集車両により収集される前記３次元地形地物データと、積雪後の前記作業現場周辺において収集される点群による雪面データと、を格納し、前記提示部は、前記雪面データを、前記３次元地形地物データ上に表示処理し、提示する。
このような構成とすることで、積雪後の作業現場周辺の雪面データを事前に取得し、より正確な環境地図を提示することができる。

本発明の好ましい形態では、前記雪面データは、データ収集ＵＡＶにより収集される。
このような構成とすることで、積雪によりデータ取得が困難な場所であっても、好適にデータ収集が可能となる。

本発明の好ましい形態では、前記雪面データと、３次元地形地物データに含まれる道路面データの高度と、に基づき積雪量を算出する算出部を備える。
このような構成とすることで、雪の積雪量を事前により正確に把握することができる。

本発明の好ましい形態では、前記提示部は、前記３次元地形地物データ上に作業線または作業面を表示処理し、提示する。
このような構成とすることで、作業対象となる位置を容易に把握することができる。

本発明の好ましい形態では、前記道路面データは、道路面の幅を含み、前記３次元地形地物データは、構造物の３次元座標位置を含む構造物データを有し、前記提示部は、前記道路面データと、前記構造物データと、前記作業現場周辺における積雪量と、に基づき前記作業線または前記作業面を表示処理する。
このような構成とすることで、より好適な位置に作業線または作業面を表示させることができる。

本発明の好ましい形態では、前記３次元地形地物データは、構造物種別を含む構造物データを有し、前記提示部は、前記構造物種別に応じて前記３次元地形地物データに含まれる構造物を識別可能に表示処理し、提示する。
このような構成とすることで、構造物種別を容易に把握することができる。

本発明の好ましい形態では、前記構造物データに含まれる前記構造物の３次元座標位置と、前記車両位置姿勢データに含まれる前記作業車両の３次元座標位置と、に基づいて、警告を出力する警告部を備える。
このような構成とすることで、構造物と作業車両の接触などの危険を把握することができる。

本発明の好ましい形態では、前記作業車両は、除雪車または圧雪車である。
山岳道路など数メートルを超える積雪の場合、作業車両が吹き溜まりへ滑落することや斜面により転倒するリスクがあり、それらを防止または抑制することができる。また、吹雪や夜間など視覚的情報が制限される環境下において、特に好適な作業支援を実現することができる。

本発明は、作業車両のオペレータを支援する作業支援システムであって、車両位置姿勢取得部および表示装置を搭載する作業車両と、記憶部および提示部を搭載する作業支援装置と、を備え、前記記憶部は、作業現場周辺において３次元座標位置と関連付けて、点群による３次元地形地物データを格納し、前記車両位置姿勢取得部は、前記作業車両における３次元座標位置および姿勢に関する車両位置姿勢データを取得し、前記提示部は、前記車両位置姿勢取得部により収集された前記車両位置姿勢データの３次元座標位置に基づいて、前記作業車両のモデルデータを、前記３次元地形地物データ上に表示処理し、前記表示装置は、前記表示処理の結果を表示する。
このような構成とすることで、作業車両に搭載するハードウェアのコストを抑え、作業支援装置による各作業車両におけるデータ処理を一元的に制御／管理することができる。

本発明は、作業車両のオペレータを支援する作業支援方法であって、作業現場周辺において３次元座標位置と関連付けて、点群による３次元地形地物データを収集するデータ収集工程と、前記作業車両における３次元座標位置および姿勢を計測する車両位置姿勢データ計測工程と、前記作業車両の３次元座標位置に基づいて、前記作業車両のモデルデータを、前記３次元地形地物データ上に表示処理し、提示する提示工程と、をコンピュータが実行する。

本発明によれば、３次元環境における作業車両の位置をより好適に提示することでオペレータを支援する新規の作業支援システムおよび、作業支援方法を提供することができる。

本発明の一実施形態（以下、「一実施形態」と称す。）を詳細に説明するための図面についての説明は、以下の通りである。
一実施形態に係るハードウェア構成を例示している。 一実施形態に係る機能ブロックを例示している。 一実施形態に係る作業工程に係る処理フローチャートを示す。 一実施形態に係る雪面データ処理工程に係る処理フローチャートを示す。 一実施形態に係る３次元地形地物データの画面表示例を示す。 一実施形態に係る３次元地形地物データの画面表示例を示す。 一実施形態に係る３次元地形地物データの画面表示例を示す。 一実施形態に係るシステム構成図を示す。

本明細書は、一実施形態に係る作業支援システム、作業支援装置および作業支援方法について、図面を交えて、説明する。本発明は、以下の一実施形態に限定するものではなく、様々な構成を採用し得る。

本明細書は、作業支援システムおよび作業支援方法の構成や作用効果等について説明するが、同様の構成の方法、コンピュータのプログラム、当該プログラムを記録したプログラム記録媒体等も同様の作用効果を奏する。プログラム記録媒体を用いれば、既知のコンピュータ装置に当該プログラムをインストールすることができる。以下で説明する一実施形態にかかる一連の処理は、コンピュータで実行可能なプログラムとして提供され、ＣＤ－ＲＯＭやフレキシブルディスクなどの非一過性コンピュータ可読媒体、更には通信回線を経て提供可能である。

作業支援システムの各機能構成部と、作業支援方法の各工程と、は同様の作用効果を実現する。作業支援システム、作業支援プログラムおよびプログラム記録媒体のそれぞれにおける各機能構成部は、ＣＰＵ等の演算装置により実現される。また、作業支援方法の各工程は同様に演算装置により実現される。

本発明は、作業現場において作業を行う作業車両を操作するオペレータを支援することを目的とする。本実施形態において、作業は、雪や土砂を含む堆積物の除去・運搬・ならしなどを含み、作業現場は、豪雪地帯の道路や山間部やゲレンデ、土砂を伴う土木工事の現場や災害の現場などを含み、作業車両は、除雪車・圧雪車・ブルドーザ・ダンプカー・ショベルカー・ホイールローダ・ダンプカー・グレーダなどを含むがこれらに限定されない。なお、以下において、作業車両は、除雪車または圧雪車とし、作業現場は豪雪地帯の道路などとし、作業は、除雪作業または圧雪作業である好適な例について説明する。

図１に示すように、作業支援装置２０は、演算装置２０１と、主記憶装置２０２と、補助記憶装置２０３と、入力装置２０４と、表示装置２０５と、通信装置２０６と、各構成装置を相互接続させるバスインターフェースと、を備える。

補助記憶装置２０３は、オペレーティングシステム（OS: Operating System）と、ＯＳと協働してその機能を発揮する作業支援プログラムと、各種データなどと、を記憶している。作業支援装置２０は、作業支援プログラムが演算装置２０１により実行されることで、後に詳述する機能構成要素（２３―２６）を実現する。

図２に示すように、作業支援システム１は、作業車両２と、データ収集車両３と、を少なくとも備え、好ましくはデータ収集ＵＡＶ４を更に備える。作業車両２は、作業支援装置２０と、位置取得部２１と、姿勢取得部２２と、を備える。作業支援装置２０は、機能構成要素として、車両位置姿勢取得部２３と、算出部２４と、提示部２５と、警告部２６と、を備える。なお、図２において、作業車両２は１つのみを示したが、複数存在してもよい。

＜各種データ＞
記憶部２７は、作業支援装置２０において扱われる少なくとも一部を有するデータベースとして機能する。なお、作業支援装置２０で扱われる各種データのそれぞれは異なるデータベースに格納されてもよい。記憶部２７は、補助記憶装置２０３によりその機能が実現されるか、通信装置２０６を介して接続される外部データベースによりその機能が実現されてもよい。

記憶部２７は、３次元地形地物データＤ１０と、車両位置姿勢データＤ２０と、作業車両を含むモデルデータＤ３０と、を少なくとも格納し、好ましくは雪面データＤ４０を更に格納する。

３次元地形地物データＤ１０は、点群データであって、道路面データＤ１１と、構造物データＤ１２と、を少なくとも有する。３次元地形地物データＤ１０は、積雪などによる地形変化が生じる前に収集され、記憶部２７に格納される。道路面データＤ１１は、道路面の高度と、道路面の幅と、道路面の傾斜と、などを有する。構造物データＤ１２は、構造物種別と、構造物の３次元座標位置と、構造物の大きさと、などを有する。

車両位置姿勢データＤ２０は、作業車両２の位置取得部２１により計測される作業車両２の３次元座標位置を示す位置データＤ２１と、姿勢取得部２２により計測される作業車両２の傾斜などを示す姿勢データＤ２２と、を少なくとも有する。

モデルデータＤ３０は、形状モデルＤ３１と、分類タグＤ３２と、を少なくとも有する。形状モデルＤ３１は、ソリッドモデル、サーフェイスモデルまたはワイヤーフレームモデルなど既知のモデルの態様をとり得る。形状モデルＤ３１は、作業車両２の形状モデルを備え、更に構造物の形状モデルを備えてもよい。形状モデルＤ３１は、幅、奥行、高さによる大きさを少なくとも設定される。形状モデルＤ３１は、より好ましくは車両の各部（タイヤ、車体、アームなど）に対して大きさを設定される。

雪面データＤ４０は、積雪などによる地形変化が生じた後の雪面を示すデータであり、点群データまたは面データなどとして、記憶部２７に格納される。雪面データＤ４０は、点群データの態様である場合、３次元位置座標と、当該座標における積雪量と、などを有する。また、雪面データＤ４０は、積雪に対する作業位置を示す作業線や作業面を含む作業支援データを有してもよい。雪面データＤ４０は、土砂などによる堆積による地形変化が生じた後の堆積面などに関するデータであってもよい。

３次元地形地物データＤ１０と雪面データＤ４０における点群データは、既知の３次元座標を有する点の集合であって、対象物となる３次元計測の結果を示す。本実施形態に係る対象物は、３次元地形地物データＤ１０において、道路面や地面、法面などを含む地形と、ガードレール、標識、センターライン、中央分離帯、樹木、縁石、電柱などを含む構造物（地物）と、を少なくとも含み、雪面データＤ４０において、地形変化後の雪面を少なくとも含む。

＜３次元計測デバイス＞
点群データは、レーザスキャナ、デプスセンサ、イメージセンサ、超音波センサ、赤外線センサ、ＧＮＳＳ（Global Navigation Satellite System）モジュール、ＩＭＵ（Inertial Measurement Unit）の少なくとも一部を含む３次元計測デバイスにより収集される。３次元計測デバイスは、ＭＭＳ（Mobile Mapping System）の態様であってよく、例えば、車両やＵＡＶ（Unmanned Aerial Vehicle）に搭載され、点群データを計測する。３次元計測デバイスは、具体的には、既知の３次元計測技術としてＬｉＤＡＲ（Light Detection And Ranging）またはＬＩＤＡＲ（Laser Imaging Detection and Ranging）を採用でき、計測された点群は、ＧＮＳＳモジュールにより計測される３次元座標位置と、ＩＭＵにより計測される方向や姿勢と、により対応付けされ、記憶部２７に格納される。

データ収集車両３は、上述したような３次元計測デバイスを搭載する自動車などの車両であって、積雪前の作業現場周辺を走行することで、３次元地形地物データＤ１０を収集する。データ収集ＵＡＶ４は、上述したような３次元計測デバイスを搭載するドローンなどの態様であって、積雪後の作業現場周辺を飛行することで、雪面データＤ４０を収集する。なお、雪面データＤ４０は、可搬式または定置式の３次元計測デバイスによって収集されてもよい。また、雪面データＤ４０は、３次元計測デバイスによるデータ収集が困難な場所や気候条件において、想定される積雪量として設定入力を受け付け、当該積雪量に基づいて雪面を生成する構成としてもよい。想定される積雪量は、外部の気象データ提供システムなどから取得されてもよい。

＜３次元地形地物データ収集工程＞
データ収集車両３は、上述したような３次元計測デバイスを搭載し、積雪前の作業現場周辺を走行することで、３次元地形地物データＤ１０を収集する。データ収集車両３は、道路面を走行し、例えば、ガードレールや道路標識などの地物を側面から精度よく計測することができ、好適な３次元地形地物データＤ１０の収集を実現する。なお、３次元地形地物データＤ１０は、積雪前に収集されればよく、ＵＡＶなどに搭載された３次元計測デバイスにより収集されてもよい。

データ収集車両３により収集された３次元地形地物データＤ１０は、点群データに含まれる点のそれぞれが３次元座標と対応し、また、色情報や強度情報と対応していてもよい。データ収集車両３は、対象となる作業現場周辺を走行後、収集した３次元地形地物データＤ１０を記憶部２７に格納する。

３次元地形地物データＤ１０は、解析処理を実行されたデータであってもよい。解析処理は、図示しない点群処理装置などにより実行され、点群データをメッシュ化し、サーフェイスを付与する処理などを含む。解析処理は、３次元地形地物データＤ１０に含まれる地形および／または地物を、点群データの３次元座標や強度情報、色情報に応じて分類する処理を含む。点群データは、例えば、所定の単位点群として分割され、単位点群別に属性を付与するなど既知の手法を用いることで分類される。単位点群は、分類タグＤ３２によって対応付けされてもよい。単位点群は、例えば、３次元座標における所定座標の連続性に基づいて地形地物の形状（平面、垂直面、傾斜面、円柱面、球面など）を推定することができ、更に、当該形状の幅や高さや径に応じて、自動あるいは手動によって分類される。ここで、解析処理は、地形および／または地物の属性によりラベル付けされた点群データを用いて機械学習されたモデルに対して、単位点群を入力することで分類してもよく、点群データの３次元位置や範囲を指定し、属性を付与することで分類してもよく、その手法に制限はない。

解析処理された３次元地形地物データＤ１０は、地形および／または地物に応じて、道路面データＤ１１、構造物データＤ１２などに分類され、記憶部２７に格納される。なお、分類された道路面データＤ１１、構造物データＤ１２は、その構造物種別などに応じて判別可能な色情報を付与される。また、３次元地形地物データＤ１０における各データは、分類に応じて構造物の形状モデルＤ３１を適用されてもよい。

＜雪面データ収集工程＞
一実施形態において、作業支援システム１は、データ収集ＵＡＶ４を用いた雪面データ収集工程を実施する。データ収集ＵＡＶ４は、上述した３次元地形地物データ収集工程のあとに実施され、降雪後の作業現場周辺を飛行することで、雪面データＤ４０を収集する。

データ収集ＵＡＶ４は、３次元地形地物データＤ１０が収集された作業現場周辺を操縦によって、または、自動で飛行することができる。データ収集ＵＡＶ４は、降雪後のようにデータ収集車両３による走行が困難な状況において好適に雪面データＤ４０を収集することができるが、降雪前に３次元地形地物データＤ１０を収集するのに用いられてもよい。

データ収集ＵＡＶ４により収集された雪面データＤ４０は、点群データに含まれる点のそれぞれが３次元座標と対応し、色情報や強度情報と対応してもよい。データ収集ＵＡＶ４は、対象となる作業現場周辺を飛行しデータ収集し、収集した雪面データＤ４０を記憶部２７に格納する。

雪面データＤ４０は、メッシュ化され、サーフェイスを付与され記憶部２７に格納されてもよい。また、雪面データＤ４０は、雪面を示す属性を付与され、３次元地形地物データＤ１０を構成する点群データと判別されるよう、例えば異なる色情報を付与されてもよい。

雪面データ収集工程を実施することで、算出部２４は、雪面データＤ４０に基づき作業線と作業面を含む作業支援データを生成し、雪面データＤ４０に対応付けて記憶部２７に格納することができる。

雪面データＤ４０は、３次元座標位置により３次元地形地物データＤ１０に対して対応付けされ、記憶部２７に格納される。対応付けされた雪面データＤ４０は、３次元地形地物データＤ１０の座標系に適用され、３次元地形地物データＤ１０と併せて表示処理などが可能となる。

＜作業支援工程＞
図３は、作業車両２が搭載する作業支援装置２０による作業支援工程に係る処理フローチャートを示す。作業車両２は、３次元地形地物データＤ１０が収集された作業現場周辺において、オペレータにより操作され、作業を行う。なお、ここで、作業を行う時期は、積雪などにより地形に変化が生じた後を例とするが、積雪などの有無に関わらず作業支援工程を実施できる。

車両位置姿勢取得部２３は、作業車両２における３次元座標位置および姿勢に関する車両位置姿勢データＤ２０を取得する（ステップＳ１１）。
車両位置姿勢取得部２３は、車両位置姿勢データＤ２０の作業車両２の３次元座標位置に基づいて、３次元地形地物データＤ１０において対応する３次元座標位置を中心とした３次元地形地物データＤ１０を取得する（ステップＳ１２）。
作業支援装置２０は、後に詳述する雪面データ処理工程を実行し、雪面データＤ４０を取得する（ステップＳ１３）。
提示部２５は、車両位置姿勢データＤ２０の３次元座標位置および姿勢に基づき、３次元地形地物データＤ１０の対応する３次元座標位置に対して、モデルデータＤ３０における作業車両２の形状モデルＤ３１を適用し、車両３次元位置姿勢表示画像を生成する（ステップＳ１４）。また、提示部２５は、車両３次元位置姿勢表示画像に対応する車両２次元位置姿勢表示画像を生成する。このとき、提示部２５は、ステップＳ１３における処理結果に応じて、更に３次元地形地物データＤ１０に対して、雪面データＤ４０を適用し、車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像を生成することができる。
提示部２５は、生成した車両３次元位置姿勢表示画像を、表示装置２０５を介してオペレータに提示する（ステップＳ１７）。また、提示部２５は、車両３次元位置姿勢表示画像と並列表示または、切替表示によって車両２次元位置姿勢表示画像を提示する。提示部２５は、算出部２４により算出された当該位置における積雪量を更に提示してもよい。
作業支援装置２０は、作業支援を完了するか否かを示すオペレータの意思決定入力を受け付ける（ステップＳ１８）。作業支援装置２０は、作業支援を完了する入力を受け付け、処理を完了し（ステップＳ１８においてＹＥＳ）、作業支援を続行する場合、ステップＳ１１から処理を繰り返す（ステップＳ１８においてＮＯ）。これにより、作業車両２の車両位置姿勢データＤ２０は、リアルタイムで処理され、作業車両２の移動に応じて車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像を提示することができる。

＜雪面データ処理工程＞
図４は、図３におけるステップＳ１３の雪面データ処理工程に係る処理フローチャートを示す。

作業支援装置２０は、雪面データ収集工程が実施され、記憶部２７に雪面データＤ４０が格納されているかを判定する（ステップＳ２１）。
雪面データＤ４０が格納されていない場合（ステップＳ２１でＮＯ）、算出部２４は、車両位置姿勢データＤ２０の３次元座標位置（Ｚ座標含む）と、道路面データＤ１１の高度（Ｚ座標）と、に基づき積雪量を算出し、記憶部２７に格納する（ステップＳ２２）。算出部２４は、積雪量に基づいて雪面を示すサーフェイスを生成し、雪面データＤ４０として格納してもよい。また、算出部２４は、雪面データ収集工程により記憶部２７に格納された雪面データＤ４０の積雪量を、算出した積雪量により更新してもよい。
算出部２４は、雪面データＤ４０に基づき、作業線または作業面を含む作業支援データを生成し、当該雪面データＤ４０に対応付けて記憶部２７に格納する（ステップＳ２３）。
雪面データ処理工程は、雪面データＤ４０を生成し、記憶部２７に格納することで処理を終了する。なお、雪面データ収集工程により雪面データＤ４０が予め記憶部２７に格納されている場合（ステップＳ２１でＹＥＳ）、当該雪面データＤ４０を用いて以降の処理が実行されるが、オペレータの意思決定入力を受け付けることで、ステップＳ２２、Ｓ２３の処理を実行し、雪面データＤ４０を更新してもよい。

図５は、車両３次元位置姿勢表示画像Ｗ１０の画面表示例を示す。図５において車両３次元位置姿勢表示画像は、点群データによる３次元地形地物データＤ１０（図示例において、Ｗ１１以外）に対して、作業車両２の形状モデルＷ１１を適用し、提示されている。ここで、作業車両２の形状モデルＷ１１は、地形変化後の雪面上に表示されるため、地形変化前の路面より上空に位置する場合がある。作業車両２の形状モデルＷ１１は、車両３次元位置姿勢表示画像Ｗ１０において表示／非表示を切替可能であってよい。なお、車両３次元位置姿勢表示画像Ｗ１０は、道路標識やガードレール、センターラインなどの構造物を、その構造物種別に応じて異なる色表示によって、提示する構成とするのが好ましい。また、車両３次元位置姿勢表示画像Ｗ１０は、雪面データＤ４０に基づいて、雪面の表示／非表示を切替可能に構成される。

提示部２５は、車両３次元位置姿勢表示画像Ｗ１０において任意の表示視点を設定し、当該表示視点からの３次元地形地物データＤ１０および形状モデルＷ１１を表示処理し、車両３次元位置姿勢表示画像を提示することができる。これにより、オペレータは、作業車両２を中心とした周辺の地形および地物を正確に把握することができる。

図６は、車両２次元位置姿勢表示画像（Ｗ２１―Ｗ２３）の画面表示例を示す。提示部２５は、３次元地形地物データＤ１０に対して作業車両２の形状モデルＷ１１を適用し、作業車両２を中心とした上面、正面（または背面）、側面の少なくとも１つを含む車両２次元位置姿勢表示画像を比較可能に提示する。車両２次元位置姿勢表示画像のそれぞれは、表示装置２０５において並列表示される構成とするのが好ましい。

図６（ａ）は、車両２次元位置姿勢表示画像の側面図Ｗ２１を示す。側面図Ｗ２１は、作業車両２の形状モデルＷ２１Ａと、路面Ｗ２１Ｂと、構造物Ｗ２１Ｃと、などを表示する。側面図Ｗ２１は、車両位置姿勢データＤ２０の３次元座標位置および姿勢に基づき、例えば、作業車両２の進行方向をＸ座標軸として、３次元地形地物データＤ１０および形状モデルＷ２１Ａが表示処理される。側面図Ｗ２１に表示される構造物Ｗ２１Ｃは、車両位置姿勢データＤ２０のＹ座標位置に応じて表示／非表示が決定される。また、構造物Ｗ２１Ｃは、車両位置姿勢データＤ２０のＹ座標位置と形状モデルＤ３１に設定された幅に応じて表示／非表示が決定される。例えば、車両位置姿勢データＤ２０の３次元座標位置ＸＹＺを（ａ，ｂ，ｃ）としたとき、側面図Ｗ２１は、Ｙ座標（ｂ－σ／２≦Ｙ≦ｂ＋σ／２）の範囲のＸＺ座標の３次元地形地物データＤ１０の点群をすべて表示処理する。ここで、σは、作業車両２の形状モデルＤ３１における車両幅を示す。なお、側面図Ｗ２１におけるＹ座標の範囲は、実際の車両幅σより大きく設定され、作業車両２の進行上において接触する可能性のある構造物を表示可能とする構成としてもよい。また、側面図Ｗ２１は、雪面データＤ４０に基づき雪面Ｗ２１Ｄを表示することができ、雪面Ｗ２１Ｄは表示／非表示を切替可能であってよい。

図６（ｂ）は、車両２次元位置姿勢表示画像の正面図Ｗ２２を示す。正面図Ｗ２２は、作業車両２の形状モデルＷ２２Ａと、路面Ｗ２２Ｂと、構造物Ｗ２２Ｃと、などを表示し、更に雪面Ｗ２２Ｄを表示可能であってもよい。正面図Ｗ２２において、形状モデルＷ２２ＡのＹ座標と構造物Ｗ２２Ｃ１のＹ座標が所定の範囲内（ｂ－σ／２≦Ｙ≦ｂ＋σ／２）となり、側面図Ｗ２１において、構造物Ｗ２１Ｃ１として表示されている。なお、同様に、側面図Ｗ２１において、形状モデルＷ２１ＡのＸ座標と構造物Ｗ２１Ｃ１のＸ座標が所定の範囲内（ａ－Ｌ／２≦Ｘ≦ａ＋Ｌ／２、Ｌ：車両長）となり、正面図Ｗ２２において、構造物Ｗ２２Ｃ１が表示されている。

図６（ｃ）は、車両２次元位置姿勢表示画像の平面図Ｗ２３を示す。平面図Ｗ２３は、作業車両２の形状モデルＷ２３Ａと、路面Ｗ２３Ｂと、構造物Ｗ２３Ｃと、などを表示する。平面図Ｗ２３は、３次元地形地物データＤ１０におけるＸＹ座標の点群のみに基づいて表示処理され、作業車両２の周辺の構造物Ｗ２３Ｃを把握する目的で活用できる。

＜作業線・作業面の生成＞
提示部２５は、車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像において、作業支援データに基づいて作業面または作業線を表示処理し、提示することができる。作業面および作業線とは、例えば、道路面の積雪に対する除去作業における面や線を示す。また、積雪量が多い深雪における除雪作業において、作業面および作業線は、階段状の段切り面や段切りラインを示す。作業面または作業線は、予め車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像における対象となる作業位置に対して設定され、作業支援データとして雪面データＤ４０に対応付けて記憶部２７に格納される。ここで、作業支援データは、点群処理装置などを介して車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像に対して数値や範囲の指定を受け付けることで、設定されてもよく、以下に示す各種データ処理によって生成されてもよい。

算出部２４は、道路面の幅を含む道路面データＤ１１と、構造物の位置および大きさを含む構造物データＤ１２と、積雪量を含む雪面データＤ４０と、に基づき作業面または作業線を算出し、記憶部２７に格納する。具体的には、算出部２４は、道路面の両端（幅）における垂直面または垂直線を算出する。算出部２４は、積雪量に応じて段数を決定する。算出部２４は、段数に応じて道路面の両端の外側に更に垂直面または垂直線を算出する。算出部２４は、算出した垂直面または垂直線に対して高さ方向に均等となるよう水平線を算出する。このとき、算出部２４は、構造物データＤ１２に応じて、作業面または作業線が構造物に接触しないよう水平線を算出する。なお、上述した算出部２４による作業面および／または作業線を算出する処理は、一実施例を示すものであり、構造物に接触しないよう作業面または作業線を算出するアルゴリズムであれば適宜変更されてもよい。

作業支援データは、雪面データ収集工程を実施することで、事前に生成される。算出部２４は、雪面データＤ４０における雪面の高度（Ｚ座標）と、道路面データＤ１１の道路面の高度（Ｚ座標）と、に基づき、当該位置における積雪量を算出し、雪面データＤ４０に対応付けて記憶部２７に格納する。算出部２４は、道路面データＤ１１の道路面の幅と、構造物データの構造物の３次元座標位置と、雪面データＤ４０に基づき予め算出された積雪量と、に基づき作業面または作業線を算出し、３次元地形地物データＤ１０の対象となる位置に関連付けて記憶部２７に格納する。提示部２５は、予め記憶部２７に格納された作業面または作業線を、３次元地形地物データＤ１０に適用し、車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像を提示することができる。このように、データ収集ＵＡＶ４により雪面データＤ４０を収集することで、作業面または作業線を予め３次元地形地物データＤ１０に関連付けることができ、リアルタイム処理に係るハードウェア処理負荷の軽減や処理速度を向上させることができる。

算出部２４は、作業面または作業線と、積雪量と、作業対象とする道路面の距離と、に基づき除雪作業にかかる時間を算出してもよい。

図７は、図６（ｂ）の正面図Ｗ２２において、一点鎖線で示す作業線Ｗ２４Ｅが付与された正面図Ｗ２４の画面表示例を示す。ここで、最も外側の作業線Ｗ２４Ｅは、段切り作業における切り出し線であって、区別可能に表示されるのが好ましい。また、各段において作業線Ｗ２４Ｅが、それぞれ区別可能に表示されてもよい。なお、車両２次元位置姿勢表示画像における側面図Ｗ２１や、車両３次元位置姿勢表示画像においては作業面を表示することができる。

＜警告部＞
警告部２６は、構造物データＤ１２に含まれる構造物の３次元座標位置と、車両位置姿勢データＤ２０に含まれる作業車両２の３次元座標位置と、に基づいて、作業車両２が構造物に対して所定範囲へ接近または侵入することで、警告を出力する。警告は、表示装置２０５を介して警告表示として出力されてもよく、作業支援装置２０が備える図示しないスピーカなどを介して警告音声などとして出力されてもよい。所定範囲は、構造物および作業車両２の大きさによって変更されてよい。警告部２６は、作業支援データとして滑落や吹き溜まりなどによる危険エリアの座標位置を予め設定され、当該危険エリアへの接近または侵入に応じて警告を出力してもよい。

作業支援工程において、記憶部２７は、車両位置姿勢データＤ２０の３次元座標位置の移動軌跡を格納してもよい。移動軌跡は、車両３次元位置姿勢表示画像または車両２次元位置姿勢表示画像において表示でき、これによって作業の進捗状況を管理することができる。

＜異なるシステム構成例＞
図８は、異なる作業支援システム１０の機能ブロック図を示す。作業支援システム１０は、作業車両１１と、データ収集車両１２と、作業支援装置１３と、を少なくとも備え、好ましくはデータ収集ＵＡＶ１４を更に備える。作業車両１１は、データ通信機能を有する端末装置１１０と、位置取得部１１１と、姿勢取得部１１２と、を備える。端末装置１１０は、汎用コンピュータであってよく、例えば、タブレット端末やパーソナルコンピュータ、スマートフォンなどにより構成される。端末装置１１０は、ハードウェア構成要素として、演算装置と、主記憶装置と、各種データを記憶する補助記憶装置と、データ通信可能な通信装置と、入力装置と、ディスプレイなどによる表示装置と、などを備える。作業車両１１は、通信ネットワークＮＷを介して作業支援装置１３とデータ通信可能に構成される。なお、作業支援システム１０において、作業車両１１は、複数存在してよい。

データ収集車両１２は、データ収集車両３と同様の態様をとり、積雪前の３次元地形地物データＤ１０を収集し、記憶部１３０に格納する。

作業支援装置１３は、データ通信機能を有するサーバ装置などとして構成される。作業支援装置１３は、ハードウェア構成要素として、演算装置、主記憶装置、補助記憶装置、通信装置を備える。作業支援装置１３は、機能構成要素として、通信制御部１３１と、算出部１３２と、提示部１３３と、警告部１３４と、を少なくとも備える。なお、作業支援装置１３の各構成部は、作業支援装置２０と同名の構成部と同様の機能を実現する。作業支援装置１３は、更に、記憶部１３０を搭載するが、記憶部１３０は、作業支援装置１３の外部においてデータ通信可能に構成されてもよい。なお、記憶部１３０は、記憶部２７と同様のデータベース構成とする。

作業車両１１は、位置取得部１１１と姿勢取得部１１２による車両位置姿勢取得部により車両位置姿勢データＤ２０を取得し、作業支援装置１３に対してリアルタイムで送信する。作業支援装置１３は、通信制御部を介して車両位置姿勢データＤ２０を取得する。提示部は、車両位置姿勢取得部により取得された車両位置姿勢データの３次元座標位置に基づいて、記憶部１３０に格納される作業車両２の形状モデルを、記憶部１３０に格納される３次元地形地物データＤ１０に適用し、車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像を表示処理することができる。通信制御部は、表示処理結果を端末装置１１０に送信し、端末装置１１０の表示装置は、表示処理結果に基づいて車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像を表示することができる。

このように、作業支援システム１０は、作業支援システム１と同様の作用効果を奏する。作業支援システム１０は、複数の作業車両２における車両位置姿勢データＤ２０を、作業支援装置１３において処理することで、各作業車両２における移動軌跡などを一元管理が容易であり、また、各作業車両２に搭載するコンピュータ装置を端末装置１１０とすることで比較的安価なシステムとして構築される。

１ 作業支援システム
２ 作業車両
２０ 作業支援装置
２０１ 演算装置
２０２ 主記憶装置
２０３ 補助記憶装置
２０４ 入力装置
２０５ 表示装置
２０６ 通信装置
２１ 位置取得部
２２ 姿勢取得部
２３ 車両位置姿勢取得部
２４ 算出部
２５ 提示部
２６ 警告部
３ データ収集車両
４ データ収集ＵＡＶ
１０ 作業支援システム
１１ 作業車両
１２ データ収集車両
１３ 作業支援装置
１４ データ収集ＵＡＶ

Claims (15)

1. 作業車両のオペレータを支援する作業支援システムであって、
   作業現場周辺において３次元座標位置と関連付けて、点群による３次元地形地物データを格納する記憶部と、
   前記作業車両における３次元座標位置および姿勢に関する車両位置姿勢データを取得する車両位置姿勢取得部と、
   前記車両位置姿勢データに基づいて、前記作業車両のモデルデータを、前記３次元地形地物データ上に表示処理し、車両３次元位置姿勢表示画像および／または車両２次元位置姿勢表示画像として提示する提示部と、
   前記作業車両の３次元座標位置と、前記３次元地形地物データが有する道路面データに含まれる道路面の高度と、に基づき前記作業現場周辺における積雪量を算出する算出部と、を備える、作業支援システム。
2. 前記提示部は、前記車両３次元位置姿勢表示画像において任意の表示視点を設定し、前記表示視点からの前記３次元地形地物データおよび前記モデルデータを表示処理し、前記車両３次元位置姿勢表示画像を提示する、請求項１に記載の作業支援システム。
3. 前記提示部は、前記車両３次元位置姿勢表示画像における正面および側面の少なくとも１つを含む車両２次元位置姿勢表示画像を提示する、請求項１または請求項２に記載の作業支援システム。
4. 前記提示部は、前記車両３次元位置姿勢表示画像および正面および側面の少なくとも１つを含む前記車両２次元位置姿勢表示画像から選択される２以上の画像を比較可能に提示する、請求項３に記載の作業支援システム。
5. 前記提示部は、前記作業車両の３次元座標位置に基づいて、前記３次元地形地物データに含まれる一部の点群を前記車両２次元位置姿勢表示画像として提示する、請求項３または請求項４に記載の作業支援システム。
6. 前記記憶部は、積雪前の前記作業現場周辺においてデータ収集車両により収集される前記３次元地形地物データと、積雪後の前記作業現場周辺において収集される点群による雪面データと、を格納し、
   前記提示部は、前記雪面データを、前記３次元地形地物データ上に表示処理し、提示する請求項１～請求項５の何れかに記載の作業支援システム。
7. 前記雪面データは、データ収集ＵＡＶにより収集される、請求項６に記載の作業支援システム。
8. 前記雪面データと、３次元地形地物データに含まれる道路面データの高度と、に基づき積雪量を算出する算出部を備える、請求項６または請求項７に記載の作業支援システム。
9. 前記提示部は、前記３次元地形地物データ上に作業線または作業面を表示処理し、提示する、請求項１～請求項８の何れかに記載の作業支援システム。
10. 前記３次元地形地物データは、道路面の高度および幅を含む道路面データと、構造物の３次元座標位置を含む構造物データを有し、
    前記記憶部は、作業現場周辺における積雪量を含む雪面データを格納し、
    前記提示部は、前記道路面データと、前記構造物データと、前記作業現場周辺における積雪量と、に基づき前記作業線または前記作業面を表示処理する、請求項９に記載の作業支援システム。
11. 前記３次元地形地物データは、構造物種別を含む構造物データを有し、
    前記提示部は、前記構造物種別に応じて前記３次元地形地物データに含まれる構造物を識別可能に表示処理し、提示する、請求項１～請求項１０の何れかに記載の作業支援システム。
12. 前記構造物データに含まれる前記構造物の３次元座標位置と、前記車両位置姿勢データに含まれる前記作業車両の３次元座標位置と、に基づいて、警告を出力する警告部を備える、請求項１１に記載の作業支援システム。
13. 前記作業車両は、除雪車または圧雪車である、請求項１～請求項１２の何れかに記載の作業支援システム。
14. 作業車両のオペレータを支援する作業支援システムであって、
    車両位置姿勢取得部および表示装置を搭載する作業車両と、記憶部および提示部および算出部を搭載する作業支援装置と、を備え、
    前記記憶部は、作業現場周辺において３次元座標位置と関連付けて、点群による３次元地形地物データを格納し、
    前記車両位置姿勢取得部は、前記作業車両における３次元座標位置および姿勢に関する車両位置姿勢データを取得し、
    前記提示部は、前記車両位置姿勢取得部により収集された前記車両位置姿勢データの３次元座標位置に基づいて、前記作業車両のモデルデータを、前記３次元地形地物データ上に表示処理し、
    前記表示装置は、前記表示処理の結果を表示し、
    前記算出部は、前記作業車両の３次元座標位置と、前記３次元地形地物データが有する道路面データに含まれる道路面の高度と、に基づき前記作業現場周辺における積雪量を算出する、作業支援システム。
15. 作業車両のオペレータを支援する作業支援方法であって、
    作業現場周辺において３次元座標位置と関連付けて、点群による３次元地形地物データを収集するデータ収集工程と、
    前記作業車両における３次元座標位置および姿勢を計測する車両位置姿勢データ計測工程と、
    前記作業車両の３次元座標位置に基づいて、前記作業車両のモデルデータを、前記３次元地形地物データ上に表示処理し、提示する提示工程と、
    前記作業車両の３次元座標位置と、前記３次元地形地物データが有する道路面データに含まれる道路面の高度と、に基づき前記作業現場周辺における積雪量を算出する算出工程と、をコンピュータが実行する作業支援方法。
    
    

Images