JP6370686B2

JP6370686B2 - ショベル支援システム、ショベル支援装置及びショベル支援方法

Info

Publication number: JP6370686B2
Application number: JP2014235247A
Authority: JP
Inventors: 崇昭守本
Original assignee: Sumitomo SHI Construction Machinery Co Ltd
Current assignee: Sumitomo SHI Construction Machinery Co Ltd
Priority date: 2014-11-20
Filing date: 2014-11-20
Publication date: 2018-08-08
Anticipated expiration: 2034-11-20
Also published as: JP2016098535A

Description

本発明はショベルによる施工の管理を支援するショベル支援システム及びショベル支援装置に関する。

ショベルの操作を案内する案内画面を表示する表示システムを搭載したショベルが知られている（特許文献１参照。）。案内画面はバケットの刃先と目標施工面との位置関係を示す画像を含む。

特開２０１２−１７２４２５号公報

しかしながら、特許文献１は、ショベルの操作を案内する案内画面をショベルの操作者に対して提示することを開示するのみであり、ショベルによる施工の管理を行う管理者に対して提示する画面については言及していない。

上述に鑑み、ショベルによる施工の管理を視覚的に支援するショベル支援システム及びショベル支援装置の提供が望まれる。

本発明の一実施形態に係るショベル支援システムは、ショベルによる施工の管理を支援するショベル支援システムであって、施工対象の地形に関する情報を取得する地形情報取得部と、前記ショベルの位置及び動きに関する情報を取得するショベル情報取得部と、前記ショベルの動きに関する情報に基づいて前記ショベルが行った作業の内容を判別する作業内容判別部と、前記施工対象の地形を表す地形画像と前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する出力画像生成部と、を有する。

また、本発明の一実施形態に係るショベル支援装置は、施工対象の地形に関する情報から生成される前記施工対象の地形を表す地形画像と、ショベルの動きに関する情報に基づいて判別される前記ショベルが行った作業の内容から生成される前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する出力画像生成部を有する。

上述の手段により、ショベルによる施工の管理を視覚的に支援するショベル支援システム及びショベル支援装置が提供される。

本発明の実施例に係るショベル支援システムの構成例を示す図である。ショベル支援システムを構成する通信端末としてのショベルの構成例を示す図である。ショベル支援システムを構成する各通信端末の構成例を示す機能ブロック図である。ショベルに搭載されるコントローラによる出力画像生成処理の流れを示す図である。出力画像の構成例を示す図である。出力画像の別の構成例を示す図である。出力画像のさらに別の構成例を示す図である。ショベル支援システムを構成する各通信端末の別の構成例を示す機能ブロック図である。

図１は、本発明の実施例に係るショベル支援システム１００の構成例を示す図である。ショベル支援システム１００は、主に、建設機械としてのショベルＰＳ１、ＰＳ２、移動局としての携帯端末ＭＳ１、ＭＳ２、及び、固定局としての情報センタＦＳを含む。ショベルＰＳ１、ＰＳ２、携帯端末ＭＳ１、ＭＳ２、及び情報センタＦＳは、通信ネットワークＣＮを通じて互いに接続される通信端末として機能する。なお、携帯端末ＭＳ１、ＭＳ２は、スマートフォン、タブレットＰＣ、ノートＰＣ等を含む。

図２は、図１のショベル支援システム１００を構成するショベルＰＳ１の構成例を示す図である。ショベルＰＳ１の下部走行体１には旋回機構２を介して上部旋回体３が搭載される。上部旋回体３にはブーム４が取り付けられ、ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。

ブーム４、アーム５、及びバケット６は掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケットリンクにはバケット角度センサＳ３が取り付けられる。また、上部旋回体３には機体傾斜センサＳ４が取り付けられる。

ブーム角度センサＳ１は、ブーム４の回動角度を検出するセンサである。本実施例では、重力加速度を検出することで水平面に対するブーム４の傾斜角を検出し、ひいては上部旋回体３とブーム４とを連結するブームフートピン回りのブーム４の回動角度を検出する加速度センサである。

アーム角度センサＳ２は、アーム５の回動角度を検出するセンサである。本実施例では、重力加速度を検出することで水平面に対するアーム５の傾斜角を検出し、ひいてはブーム４とアーム５とを連結する連結ピン回りのアーム５の回動角度を検出する加速度センサである。

バケット角度センサＳ３は、バケット６の回動角度を検出するセンサである。本実施例では、重力加速度を検出することで水平面に対するバケット６の傾斜角を検出し、ひいてはアーム５とバケット６を連結する連結ピン回りのバケット６の回動角度を検出する加速度センサである。

なお、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３の少なくとも１つは、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。

機体傾斜センサＳ４は、水平面に対する上部旋回体３の傾斜角を検出するセンサである。本実施例では、上部旋回体３の前後軸及び左右軸の水平面に対する傾斜角度を検出する２軸加速度センサである。

旋回角度センサＳ５は、旋回機構２の旋回軸回りの回転角度を検出するセンサである。本実施例では、旋回角度センサＳ５はレゾルバである。なお、旋回角度センサＳ５はロータリエンコーダ等の他の回転角センサであってもよい。

圧力センサＳ６は、ショベルの動きを圧力の形で検出するセンサである。本実施例では、圧力センサＳ６は、油圧ポンプの吐出圧を検出する吐出圧センサ、油圧シリンダのロッド側油室の圧力を検出するロッド圧センサ、油圧シリンダのボトム側油室の圧力を検出するボトム圧センサ等を含む。

パイロット圧センサＳ７は、操作装置が生成するパイロット圧を検出するセンサである。
なお、操作装置は、ブーム操作レバー、アーム操作レバー、バケット操作レバー、旋回操作レバー、走行ペダル等を含む。また、油圧シリンダは、ブームシリンダ７、アームシリンダ８、バケットシリンダ９等を含む。

測位センサＳ８は、ショベルの位置を測定するセンサである。本実施例では測位センサＳ８はショベルの座標（緯度、経度、高度）を検出するＧＮＳＳ受信機である。

通信装置Ｄ１は、ショベルＰＳ１と他の通信端末との間の通信を制御する装置である。本実施例では、通信装置Ｄ１は無線通信を通じたショベルＰＳ１と他の通信端末との間の情報の送受信を制御する。

また、上部旋回体３にはキャビン１０が設けられ、キャビン１０内には入力装置Ｄ２、表示装置Ｄ３、記憶装置Ｄ４、及びコントローラＣＲが搭載される。

入力装置Ｄ２は、ショベルの操作者（管理者）が各種情報を入力するための装置である。本実施例では、入力装置Ｄ２は表示装置Ｄ３の表示画面の周辺に取り付けられるボタンスイッチである。ショベルの操作者は入力装置Ｄ２を通じてコントローラＣＲに各種情報を入力する。なお、入力装置Ｄ２はタッチパネルであってもよい。また、入力装置Ｄ２はＵＳＢメモリであってもよい。この場合、操作者はキャビン１０内に設置されたＵＳＢコネクタにＵＳＢメモリを差し込むことでＵＳＢメモリ内に記憶された情報をコントローラＣＲに入力できる。

表示装置Ｄ３は各種画像情報を出力する装置である。本実施例では、表示装置Ｄ３はキャビン１０内に設置された液晶ディスプレイであり、コントローラＣＲからの表示指令に応じて各種情報を表示する。

記憶装置Ｄ４は各種情報を記憶する装置である。本実施例では、記憶装置Ｄ４は半導体メモリであり、施工対象の地形に関する情報（以下、「地形情報」とする。）、ショベルの位置及び動きに関する情報（以下、「ショベル情報」とする。）等を記憶する。

コントローラＣＲは、ショベル支援装置の一例であり、ショベルの駆動制御を行う。本実施例では、コントローラＣＲは、演算部及び記憶部を含む演算処理装置で構成される。そして、コントローラＣＲの各種機能は演算部が記憶部に格納されたプログラムを実行することで実現される。

次に、図３を参照し、ショベル支援システム１００を構成する各通信端末の構成例について説明する。なお、図３は、ショベル支援システム１００を構成する通信端末としてのショベルＰＳ１、情報センタＦＳ、及び携帯端末ＭＳ１の構成例を示す機能ブロック図である。

本実施例では、ショベルＰＳ１のコントローラＣＲは、機能要素としての地形情報取得部Ｆ１、ショベル情報取得部Ｆ２、作業内容判別部Ｆ３、出力画像生成部Ｆ４、及び出力画像表示部Ｆ５を含む。

地形情報取得部Ｆ１は、施工対象の地形に関する地形情報を取得する機能要素である。本実施例では、地形情報取得部Ｆ１は、入力装置Ｄ２としてのＵＳＢメモリに記憶された地形情報を読み出してその地形情報を取得する。なお、地形情報取得部Ｆ１は通信装置Ｄ１を通じて別のショベルＰＳ２、情報センタＦＳ、携帯端末ＭＳ１、ＭＳ２等に記憶された地形情報を取得してもよい。そして、地形情報取得部Ｆ１は、取得した地形情報を記憶装置Ｄ４に記憶する。

ショベル情報取得部Ｆ２は、ショベルの位置及び動きに関するショベル情報を取得する機能要素である。本実施例では、ショベル情報取得部Ｆ２は、ショベルＰＳ１におけるブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４、旋回角度センサＳ５、圧力センサＳ６、及びパイロット圧センサＳ７の出力に基づいてショベルＰＳ１の動きに関する情報を取得する。また、ショベル情報取得部Ｆ２は、測位センサＳ８の出力に基づいてショベルＰＳ１の位置に関する情報を取得する。なお、ショベル情報はバケット６の先端（爪先）位置に関する情報を含む。

また、ショベル情報取得部Ｆ２は各種センサＳ１〜Ｓ８が出力するデータをショベル情報として記憶装置Ｄ４に時系列的に記憶する。作業内容判別部Ｆ３が参照できるようにするためである。

なお、ショベル情報取得部Ｆ２は、ショベルＰＳ１以外の１又は複数のショベルからショベル情報を受信し、受信したショベル情報をショベル毎に区別できるように記憶装置Ｄ４に時系列的に記憶してもよい。

作業内容判別部Ｆ３は、ショベルが行った作業の内容を判別する機能要素である。本実施例では、作業内容判別部Ｆ３は、ショベル情報取得部Ｆ２が取得するショベルＰＳ１の位置及び動きに関するショベル情報に基づいてショベルＰＳ１が行った作業の内容を判別する。作業の内容は、例えば、掘削、埋め戻し、土羽打ち（転圧）、均し、盛り土、クレーン作業等を含む。

具体的には、作業内容判別部Ｆ３は、ショベル情報取得部Ｆ２が記憶装置Ｄ４に記憶した過去の所定時間に亘る各種センサＳ１〜Ｓ８の出力に基づいてショベルＰＳ１がその所定時間内に行った作業の内容を判別する。なお、作業内容判別部Ｆ３は、ショベルＰＳ１以外の１又は複数のショベルのそれぞれから受信したショベル情報に基づき、ショベルＰＳ１以外の１又は複数のショベルのそれぞれがその所定時間内に行った作業の内容を判別してもよい。

出力画像生成部Ｆ４は、出力画像を生成する機能要素である。本実施例では、出力画像生成部Ｆ４は、地形情報取得部Ｆ１が取得する地形情報から地形画像を生成する。また、出力画像生成部Ｆ４は、作業内容判別部Ｆ３の判別結果からショベルＰＳ１が行った作業の内容を表す作業内容画像を生成する。そして、出力画像生成部Ｆ４は、地形画像と作業内容画像とを合成して出力画像を生成する。なお、出力画像生成部Ｆ４は、ショベルＰＳ１以外の１又は複数のショベルのそれぞれの作業内容の判別結果に基づき、ショベルＰＳ１以外の１又は複数のショベルのそれぞれが行った作業の内容を表す作業内容画像を生成してもよい。

地形画像は、例えば、施工対象の地形を表す３次元メッシュ画像であり、作業内容画像は地形画像上に重畳表示される画像であり、例えば、作業内容の違いを異なる表示方法で表現する画像である。なお、異なる表示方法は、色、模様、輝度等の違いを利用した表示方法を含む。また、地形画像及び作業内容画像の合成画像である出力画像は視点を自由に変更できるように構成される。

そして、出力画像生成部Ｆ４は、生成した出力画像を記憶装置Ｄ４に記憶する。また、出力画像生成部Ｆ４は、通信装置Ｄ１を通じてその出力画像を他のショベルＰＳ２、情報センタＦＳ、携帯端末ＭＳ１、ＭＳ２等に送信する。

出力画像表示部Ｆ５は、出力画像を表示装置上に表示させる機能要素である。本実施例では、出力画像表示部Ｆ５は、出力画像生成部Ｆ４が生成した出力画像をショベルＰＳ１のキャビン１０内に設置された表示装置Ｄ３に表示させる。

具体的には、出力画像表示部Ｆ５は、出力画像生成部Ｆ４が生成した出力画像をショベルＰＳ１のキャビン１０内に設置された表示装置Ｄ３に表示させ、且つ、入力装置Ｄ２を通じた操作者の入力に応じて出力画像を見る視点を変更できるようにする。

また、情報センタＦＳは、図３に示すように、コントローラＣＲＦ、通信装置Ｄ１Ｆ、入力装置Ｄ２Ｆ、表示装置Ｄ３Ｆ、及び記憶装置Ｄ４Ｆを含む。そして、コントローラＣＲＦはショベルＰＳ１のコントローラＣＲにおける出力画像表示部Ｆ５と同様の出力画像表示部Ｆ５Ｆを有する。

具体的には、コントローラＣＲＦは、ショベル支援装置の一例であり、ショベルＰＳ１の出力画像生成部Ｆ４が生成し且つ通信装置Ｄ１を通じて送信する出力画像を通信装置Ｄ１Ｆで受信して記憶装置Ｄ４Ｆに記憶する。また、出力画像表示部Ｆ５Ｆは、記憶装置Ｄ４Ｆに記憶された出力画像を参照し、情報センタＦＳに設置された表示装置Ｄ３Ｆにその出力画像を表示させる。また、出力画像表示部Ｆ５Ｆは、情報センタＦＳにいる管理者による入力装置Ｄ２Ｆを通じた入力に応じて出力画像を見る視点を変更できるようにする。

同様に、携帯端末ＭＳ１は、図３に示すように、コントローラＣＲＭ、通信装置Ｄ１Ｍ、入力装置Ｄ２Ｍ、表示装置Ｄ３Ｍ、及び記憶装置Ｄ４Ｍを含む。そして、コントローラＣＲＭはショベルＰＳ１のコントローラＣＲにおける出力画像表示部Ｆ５と同様の出力画像表示部Ｆ５Ｍを有する。

具体的には、コントローラＣＲＭは、ショベル支援装置の一例であり、ショベルＰＳ１の出力画像生成部Ｆ４が生成し且つ通信装置Ｄ１を通じて送信する出力画像を通信装置Ｄ１Ｍで受信して記憶装置Ｄ４Ｍに記憶する。そして、出力画像表示部Ｆ５Ｍは、記憶装置Ｄ４Ｍに記憶された出力画像を参照し、携帯端末ＭＳ１に搭載された表示装置Ｄ３Ｍにその出力画像を表示させる。また、出力画像表示部Ｆ５Ｍは、携帯端末ＭＳ１を持つ管理者による入力装置Ｄ２Ｍを通じた入力に応じて出力画像を見る視点を変更できるようにする。なお、携帯端末ＭＳ１は、表示装置Ｄ３Ｍに表示される画像をショベルＰＳ１の表示装置Ｄ３に表示させてもよい。

この構成により、ショベル支援システム１００は、作業内容の違いに応じてメッシュの色、背景色、ハッチングパターン等が所々異なる３次元メッシュ画像を出力画像として生成し、操作者（管理者）が任意の視点からその３次元メッシュ画像を視認できるようにする。

次に、図４を参照し、ショベルＰＳ１のコントローラＣＲが出力画像を生成する処理（以下、「出力画像生成処理」とする。）の具体例について説明する。

最初に、コントローラＣＲは、バケット６の姿勢及び位置を導き出す（ステップＳＴ１）。本実施例では、コントローラＣＲのショベル情報取得部Ｆ２は、ショベルＰＳ１におけるブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４、及び旋回角度センサＳ５の出力に基づいてバケット６の先端位置を導出する。そして、導出したバケット６の先端位置を時系列的に記憶装置Ｄ４に記憶する。

また、コントローラＣＲは、ショベルＰＳ１の位置を導き出す（ステップＳＴ２）。本実施例では、コントローラＣＲのショベル情報取得部Ｆ２は、測位センサＳ８の出力に基づいてショベルＰＳ１の中心位置の座標（緯度、経度、高度）を取得する。なお、ショベルＰＳ１の中心位置の座標は、例えば、上部旋回体３における旋回軸上の一点である。また、ショベル情報取得部Ｆ２は、取得したショベルＰＳ１の中心位置の座標と、圧力センサＳ６及びパイロット圧センサＳ７の出力とを、導出したバケット６の先端位置に対応付けて時系列的に記憶装置Ｄ４に記憶する。なお、転圧作業の場合にはバケット６の先端位置ではなくバケット６の背面位置に対応付けて記憶してもよい。また、クレーン作業の場合にはバケット６のフック位置に対応付けて記憶してもよい。

その後、コントローラＣＲは、施工対象の地形の変化を演算する（ステップＳＴ３）。本実施例では、コントローラＣＲの出力画像生成部Ｆ４は、記憶装置Ｄ４に時系列的に記憶されたバケット６の先端位置の推移と、地形情報取得部Ｆ１が記憶装置Ｄ４に記憶した施工前の地形に関する情報とに基づいて現在の地形に関する情報を演算する。すなわち、ショベルによる掘削作業等が行われた後の地形に関する情報を演算する。そして、出力画像生成部Ｆ４は現在の地形に関する情報に基づいて地形画像を生成する。

また、コントローラＣＲは、ショベルＰＳ１の作業内容を判別する（ステップＳＴ４）。本実施例では、コントローラＣＲの作業内容判別部Ｆ３は、記憶装置Ｄ４に時系列的に記憶された各種センサＳ１〜Ｓ８のそれぞれの出力の推移に基づいてショベルＰＳ１の作業内容を判別する。具体的には、作業内容判別部Ｆ３は、施工対象の地形におけるどの領域でどのような作業が行われたかを判別する。そして、出力画像生成部Ｆ４は、その判別結果に基づいて作業内容画像を生成する。

その後、コントローラＣＲは地形画像と作業内容画像とを合成する（ステップＳＴ５）。本実施例では、コントローラＣＲの出力画像生成部Ｆ４は、地形画像と作業内容画像とを合成して出力画像を生成し、生成した出力画像を記憶装置Ｄ４に記憶する。

その後、コントローラＣＲは生成した出力画像を表示装置Ｄ３上に表示させる。本実施例では、コントローラＣＲの出力画像表示部Ｆ５は、記憶装置Ｄ４に記憶された出力画像を参照して表示装置Ｄ３Ｍにその出力画像を表示させ、且つ、管理者による入力装置Ｄ２を通じた入力に応じて出力画像を見る視点を変更できるようにする。

次に、図５を参照し、表示装置Ｄ３上に表示される出力画像の具体例について説明する。なお、図５（Ａ１）、図５（Ｂ１）、及び図５（Ｃ１）は施工対象の地面を真上から見た水平面図であり、出力画像の上方が北方に対応する。また、図５（Ａ２）、図５（Ｂ２）、及び図５（Ｃ２）は施工対象の地面を真横から見た断面図であり、出力画像の上方が鉛直上方に対応する。また、図５（Ａ２）は図５（Ａ１）の線分Ｘ−Ｘにおける断面図を示し、図５（Ｂ２）は図５（Ｂ１）の線分Ｘ−Ｘにおける断面図を示し、図５（Ｃ２）は図５（Ｃ１）の線分Ｘ−Ｘにおける断面図を示す。なお、管理者は入力装置Ｄ２を通じた入力により水平面図と断面図とを切り替えることができる。例えば、管理者は、タッチパネルに対するスワイプ操作により表示画面を切り替えたり表示領域を移動させたりしてもよく、タッチパネルに対するピンチアウト操作、ピンチイン操作により表示領域を変更（拡大・縮小）してもよい。

また、図５（Ａ２）、図５（Ｂ２）、及び図５（Ｃ２）における実線は現在の地面の高さを示し、点線は作業開始前の地面の高さを示し、破線は作業完了後の地面の目標高さを示す。なお、図５は、説明の便宜上、重複を避けるために実線、点線、及び破線の位置を僅かにずらして表示している。

また、図５はショベルＰＳ１による埋め戻し作業の進捗を示す図であり、ドットパターンのハッチングは埋め戻し作業が行われたことを表す作業内容画像である。また、粗いドットパターンのハッチングは埋め戻し作業が行われた領域の地面の高さが目標高さに達していない状態（埋め戻し不足状態）を表し、細かいドットパターンのハッチングは埋め戻し作業が行われた領域の地面の高さが目標高さに達した状態を表す。また、斜線パターンのハッチングは埋め戻し作業が行われた領域の地面の高さが目標高さを超えた状態（埋め戻し過剰状態）を表す。

このように構成される出力画像を視認することで管理者はショベルＰＳ１による埋め戻し作業の進捗状況を容易に把握できる。

次に、図６を参照し、表示装置Ｄ３上に表示される出力画像の別の具体例について説明する。なお、図６（Ａ）、図６（Ｂ１）、及び図６（Ｃ１）は施工対象の地面を真上から見た水平面図であり、出力画像の上方が北方に対応する。また、図６（Ｂ１）及び図６（Ｃ１）は図６（Ａ）の点線矩形で示す領域Ｒの拡大図である。例えば、管理者はタッチパネルに対するピンチアウト操作により図６（Ａ）の領域Ｒを拡大して図６（Ｂ１）、図６（Ｂ２）のように拡大表示させることができる。反対に、管理者はタッチパネルに対するピンチイン操作により図６（Ｂ１）、図６（Ｂ２）の表示領域を縮小して図６（Ａ）のように縮小表示させることができる。

また、図６（Ｂ２）及び図６（Ｃ２）は施工対象の地面を真横から見た断面図であり、出力画像の上方が鉛直上方に対応する。また、図６（Ｂ２）は図６（Ｂ１）の線分Ｘ−Ｘにおける断面図を示し、図６（Ｃ２）は図６（Ｃ１）の線分Ｘ−Ｘにおける断面図を示す。なお、管理者は入力装置Ｄ２を通じた入力により水平面図と断面図とを切り替えることができる。例えば、管理者はタッチパネルに対するスワイプ操作により図６（Ｂ１）と図６（Ｂ２）とを切り替えることができ、或いは、図６（Ｃ１）と図６（Ｃ２）とを切り替えることができる。

また、図６（Ｂ２）及び図６（Ｃ２）における実線は現在の地面の高さを示し、点線は作業開始前の地面の高さを示し、破線は作業完了後の地面の目標高さを示す。なお、図６は、説明の便宜上、重複を避けるために実線、点線、及び破線の位置を僅かにずらして表示している。

また、図６はショベルＰＳ１による掘削・埋め戻し作業の進捗を示す図であり、ドットパターンのハッチングは掘削・埋め戻し作業が行われた領域の地面の高さが目標高さに達した状態を表す。また、クロスパターンのハッチングは掘削作業が行われた領域の地面の高さ（深さ）が目標高さ（深さ）に達していない状態（掘削不足状態）を表し、斜線パターンのハッチングは埋め戻し作業が行われた領域の地面の高さが目標高さを超えた状態（埋め戻し過剰状態）を表す。また、横線パターンのハッチングは転圧作業が行われた領域を表す。なお、掘削作業が行われた領域の地面の高さ（深さ）が目標高さ（深さ）を下回った状態（掘削過剰状態）、埋め戻し作業が行われた領域の地面の高さが目標高さに達し定いない状態（埋め戻し不足状態）等が別のハッチングパターンを用いて表現されてもよい。

このように構成される出力画像を視認することで管理者はショベルＰＳ１による掘削・埋め戻し作業の進捗状況を容易に把握できる。

次に、図７を参照し、表示装置Ｄ３上に表示される出力画像のさらに別の具体例について説明する。なお、図７（Ａ）及び図７（Ｂ）のそれぞれは施工対象の地面を真上から見た水平面図であり図５（Ｂ１）に対応する。また、図７（Ａ）及び図７（Ｂ）のそれぞれは地形画像を３次元メッシュ画像として表示した上で、作業内容画像の違いをハッチングパターンの違いで表す。また、本実施例では３次元メッシュ画像のメッシュ間隔は１メートルに設定されているが、メッシュ間隔は任意の距離に設定され得る。メッシュの表示は、図７（Ａ）に示すように、部分的に省略されてもよい。また、メッシュの属性（例えば、線種、線幅、色等）は、図７（Ｂ）に示すように、対応する作業内容画像の種類毎に異なるものであってもよい。その場合、ハッチングパターンは省略されてもよい。

このように構成される出力画像を視認することで管理者はショベルＰＳ１による各種作業が完了した領域と完了していない領域とを明確に区別できる。

次に、図８を参照し、ショベル支援システム１００を構成する各通信端末の別の構成例について説明する。なお、図８は、ショベル支援システム１００を構成する通信端末としてのショベルＰＳ１、情報センタＦＳ、及び携帯端末ＭＳ１の別の構成例を示す機能ブロック図である。

図８の構成は、ショベルＰＳ１のコントローラＣＲの代わりに、情報センタＦＳのコントローラＣＲＦが地形情報取得部Ｆ１Ｆ、作業内容判別部Ｆ３Ｆ、及び出力画像生成部Ｆ４Ｆを有する点で図３の構成と相違するがその他の点で共通する。そのため、共通部分の説明を省略し、相違部分を詳細に説明する。

本実施例では、ショベルＰＳ１のコントローラＣＲにおけるショベル情報取得部Ｆ２は、各種センサＳ１〜Ｓ８の出力に基づいてショベルＰＳ１の位置及び動きに関するショベル情報を取得する。また、ショベル情報取得部Ｆ２は、各種センサＳ１〜Ｓ８が出力するデータをショベル情報として記憶装置Ｄ４に時系列的に記憶し、且つ、通信装置Ｄ１を通じてそれら記憶したショベル情報を他のショベルＰＳ２、情報センタＦＳ、携帯端末ＭＳ１、ＭＳ２等に送信する。

情報センタＦＳのコントローラＣＲＦにおける地形情報取得部Ｆ１Ｆは、図３のコントローラＣＲにおける地形情報取得部Ｆ１と同様、入力装置Ｄ２Ｆを通じて地形情報を取得する。そして、地形情報取得部Ｆ１Ｆは、取得した地形情報を記憶装置Ｄ４Ｆに記憶する。

また、情報センタＦＳのコントローラＣＲＦにおける作業内容判別部Ｆ３Ｆは、図３のコントローラＣＲにおける作業内容判別部Ｆ３と同様、ショベルＰＳ１の位置及び動きに関するショベル情報に基づいてショベルＰＳ１が行った作業の内容を判別する。具体的には、作業内容判別部Ｆ３Ｆは通信装置Ｄ１Ｆを通じてショベルＰＳ１のショベル情報取得部Ｆ２からのショベル情報を受信して記憶装置Ｄ４Ｆに記憶する。そして、作業内容判別部Ｆ３Ｆは、記憶装置Ｄ４Ｆに記憶した過去の所定時間に亘る各種センサＳ１〜Ｓ８の出力に基づいてショベルＰＳ１がその所定時間内に行った作業の内容を判別する。

また、情報センタＦＳのコントローラＣＲＦにおける出力画像生成部Ｆ４Ｆは、図３のコントローラＣＲにおける出力画像生成部Ｆ４と同様、地形情報取得部Ｆ１Ｆが取得する地形情報から地形画像を生成する。また、出力画像生成部Ｆ４Ｆは、作業内容判別部Ｆ３Ｆの判別結果からショベルＰＳ１が行った作業の内容を表す作業内容画像を生成する。そして、出力画像生成部Ｆ４Ｆは、地形画像と作業内容画像とを合成して出力画像を生成する。

そして、出力画像生成部Ｆ４Ｆは生成した出力画像を記憶装置Ｄ４Ｆに記憶する。また、出力画像生成部Ｆ４Ｆは、通信装置Ｄ１Ｆを通じてその出力画像をショベルＰＳ１、ＰＳ２、携帯端末ＭＳ１、ＭＳ２等に送信する。

出力画像表示部Ｆ５Ｆは、出力画像生成部Ｆ４Ｆが生成した出力画像を情報センタＦＳ内に設置された表示装置Ｄ３Ｆに表示させる。

具体的には、出力画像表示部Ｆ５Ｆは、出力画像生成部Ｆ４Ｆが生成した出力画像を表示装置Ｄ３Ｆに表示させ、且つ、入力装置Ｄ２Ｆを通じた管理者の入力に応じて出力画像を見る視点を変更できるようにする。

この構成により、コントローラＣＲＦは、作業内容の違いに応じてメッシュの色、背景色、ハッチングパターン等が所々異なる３次元メッシュ画像を出力画像として生成し、管理者が任意の視点からその３次元メッシュ画像を視認できるようにする。

例えば、ショベルＰＳ１は、図８に示すように、コントローラＣＲ、通信装置Ｄ１、入力装置Ｄ２、表示装置Ｄ３、及び記憶装置Ｄ４を含む。また、コントローラＣＲは出力画像表示部Ｆ５を有する。

そして、コントローラＣＲは、情報センタＦＳの出力画像生成部Ｆ４Ｆが生成し且つ通信装置Ｄ１Ｆを通じて送信する出力画像を通信装置Ｄ１で受信して記憶装置Ｄ４に記憶する。そして、出力画像表示部Ｆ５は、記憶装置Ｄ４に記憶された出力画像を参照し、ショベルＰＳ１のキャビン１０内に設置された表示装置Ｄ３にその出力画像を表示させる。また、出力画像表示部Ｆ５は、ショベルＰＳ１の操作者による入力装置Ｄ２を通じた入力に応じて出力画像を見る視点を変更できるようにする。

同様に、携帯端末ＭＳ１は、図８に示すように、コントローラＣＲＭ、通信装置Ｄ１Ｍ、入力装置Ｄ２Ｍ、表示装置Ｄ３Ｍ、及び記憶装置Ｄ４Ｍを含む。また、コントローラＣＲＭは出力画像表示部Ｆ５Ｍを有する。

そして、コントローラＣＲＭは、情報センタＦＳの出力画像生成部Ｆ４Ｆが生成し且つ通信装置Ｄ１Ｆを通じて送信する出力画像を通信装置Ｄ１Ｍで受信して記憶装置Ｄ４Ｍに記憶する。そして、出力画像表示部Ｆ５Ｍは、記憶装置Ｄ４Ｍに記憶された出力画像を参照し、携帯端末ＭＳ１に搭載された表示装置Ｄ３Ｍにその出力画像を表示させる。また、出力画像表示部Ｆ５Ｍは、携帯端末ＭＳ１を持つ管理者による入力装置Ｄ２Ｍを通じた入力に応じて出力画像を見る視点を変更できるようにする。

また、情報センタＦＳは、複数のショベルのそれぞれから送信されるショベル情報を受信し、受信したショベル情報をショベル毎に区別できるように記憶装置Ｄ４Ｆに時系列的に記憶してもよい。この場合、情報センタＦＳの作業内容判別部Ｆ３Ｆは、記憶装置Ｄ４Ｆに記憶したショベル情報に基づいて複数のショベルのそれぞれがその所定時間内に行った作業の内容を判別する。そして、情報センタＦＳの出力画像生成部Ｆ４Ｆは、複数のショベルのそれぞれが行った作業の内容を表す作業内容画像を生成する。

この構成により、情報センタＦＳのコントローラＣＲＦは、作業内容の違いに応じてメッシュの色、背景色、ハッチングパターン等が所々異なる３次元メッシュ画像を出力画像として生成し、管理者が任意の視点からその３次元メッシュ画像を視認できるようにする。

また、携帯端末ＭＳ１のコントローラＣＲＭは、情報センタＦＳのコントローラＣＲＦと同様に地形情報取得部、作業内容判別部、及び出力画像生成部を有していてもよい。この場合、コントローラＣＲＭの地形情報取得部は、入力装置Ｄ２Ｍを通じて地形情報を取得する。そして、地形情報取得部は、取得した地形情報を記憶装置Ｄ４Ｍに記憶する。

また、コントローラＣＲＭのショベル情報取得部は、１又は複数のショベルのそれぞれから送信されるショベル情報を受信し、受信したショベル情報をショベル毎に区別できるように記憶装置Ｄ４Ｍに時系列的に記憶する。そして、コントローラＣＲＭの作業内容判別部は、記憶装置Ｄ４Ｍに記憶されたショベル情報に基づいて１又は複数のショベルのそれぞれが行った作業の内容を判別する。また、コントローラＣＲＭの出力画像生成部は、地形情報取得部が取得する地形情報から地形画像を生成する。また、出力画像生成部は、作業内容判別部の判別結果から１又は複数のショベルのそれぞれが行った作業の内容を表す作業内容画像を生成する。そして、出力画像生成部は、地形画像と作業内容画像とを合成して出力画像を生成する。そして、出力画像生成部は、生成した出力画像を記憶装置Ｄ４Ｍに記憶する。また、出力画像生成部は、通信装置Ｄ１Ｆを通じてその出力画像をショベルＰＳ１、ＰＳ２、情報センタＦＳ、携帯端末ＭＳ２等に送信する。また、出力画像表示部Ｆ５Ｍは、出力画像生成部が生成した出力画像を携帯端末ＭＳ１に搭載された表示装置Ｄ３Ｍに表示させる。

この構成により、携帯端末ＭＳ１のコントローラＣＲＭは、１又は複数のショベルに関し、作業内容の違いに応じてメッシュの色、背景色、ハッチングパターン等が所々異なる３次元メッシュ画像を出力画像として生成し、管理者が任意の視点からその３次元メッシュ画像を視認できるようにする。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、ショベル支援システム１００は、現時点における施工対象の地形を表す地形画像と現時点までにショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、ショベル支援システム１００は、過去の特定の時刻における施工対象の地形を表す地形画像とその特定の時刻までにショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成してもよい。この場合、管理者は入力装置Ｄ２Ｆを通じてその特定の時刻を入力すればよい。この構成により、管理者は過去の特定の時刻における施工状況を容易に把握できる。

１・・・下部走行体２・・・旋回機構３・・・上部旋回体４・・・ブーム５・・・アーム６・・・バケット７・・・ブームシリンダ８・・・アームシリンダ９・・・バケットシリンダ１０・・・キャビン１００・・・ショベル支援システムＣＮ・・・通信ネットワークＣＲ、ＣＲＦ、ＣＲＭ・・・コントローラＤ１、Ｄ１Ｆ、Ｄ１Ｍ・・・通信装置Ｄ２、Ｄ２Ｆ、Ｄ２Ｍ・・・入力装置Ｄ３、Ｄ３Ｆ、Ｄ３Ｍ・・・表示装置Ｄ４、Ｄ４Ｆ、Ｄ４Ｍ・・・記憶装置Ｆ１、Ｆ１Ｆ・・・地形情報取得部Ｆ２・・・ショベル情報取得部Ｆ３、Ｆ３Ｆ・・・作業内容判別部Ｆ４、Ｆ４Ｆ・・・出力画像生成部Ｆ５、Ｆ５Ｆ、Ｆ５Ｍ・・・出力画像表示部ＦＳ・・・情報センタＭＳ１、ＭＳ２・・・携帯端末ＰＳ１、ＰＳ２・・・ショベルＳ１・・・ブーム角度センサＳ２・・・アーム角度センサＳ３・・・バケット角度センサＳ４・・・機体傾斜センサＳ５・・・旋回角度センサＳ６・・・圧力センサＳ７・・・パイロット圧センサＳ８・・・測位センサ

Claims

ショベルによる施工の管理を支援するショベル支援システムであって、
施工対象の地形に関する情報を取得する地形情報取得部と、
ブーム角度センサ、アーム角度センサ、エンドアタッチメント角度センサ、及び、圧力センサを含む複数のセンサの検出値に基づいて前記ショベルの位置及び動きに関する情報を取得するショベル情報取得部と、
前記ショベルの動きに関する情報に基づいて前記ショベルが行った作業の内容を判別する作業内容判別部と、
前記施工対象の地形を表す地形画像と前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する出力画像生成部と、
を有するショベル支援システム。
前記出力画像生成部は、前記ショベルが行った作業の内容毎に前記作業内容画像の色を変えて前記地形画像に合成する、
請求項１に記載のショベル支援システム。
前記出力画像生成部は、複数のショベルのそれぞれが行った作業の内容を表す複数の作業内容画像を前記地形画像に合成する、
請求項１又は２に記載のショベル支援システム。
前記ショベルに搭載される請求項１乃至３の何れか一項に記載のショベル支援システム。
前記ショベルの外部にある請求項１乃至３の何れか一項に記載のショベル支援システム。
前記出力画像は、水平面の画像を含む、
請求項１乃至５の何れかに記載のショベル支援システム。
エンドアタッチメントの位置は、座標に対応付けられ且つ記憶される、
請求項１乃至６の何れかに記載のショベル支援システム。
前記ブーム角度センサ、前記アーム角度センサ及び前記エンドアタッチメント角度センサの少なくとも１つは加速度センサである、
請求項１乃至７の何れかに記載のショベル支援システム。
前記出力画像には、作業の進捗が表示される、
請求項１乃至８の何れかに記載のショベル支援システム。
施工対象の地形に関する情報から生成される前記施工対象の地形を表す地形画像と、ブーム角度センサ、アーム角度センサ、エンドアタッチメント角度センサ、及び、圧力センサを含む複数のセンサにより取得されるショベルの動きに関する情報に基づいて判別される前記ショベルが行った作業の内容から生成される前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する出力画像生成部を有するショベル支援装置。
ショベルによる施工の管理を支援するショベル支援方法であって、
施工対象の地形に関する情報を取得するステップと、
ブーム角度センサ、アーム角度センサ、エンドアタッチメント角度センサ、及び、圧力センサを含む複数のセンサの検出値に基づいて前記ショベルの位置及び動きに関する情報を取得するステップと、
前記ショベルの動きに関する情報に基づいて前記ショベルが行った作業の内容を判別するステップと、
前記施工対象の地形を表す地形画像と前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成するステップと、を有する、
ショベル支援方法。