WO2021019951A1 - 建設機械の作業情報生成システム及び作業情報生成方法 - Google Patents

Abstract

作業情報生成システムは、建設機械（１００）が行う作業の作業内容を判定するための時系列の作業データと当該作業が行われるときの前記建設機械（１００）の状況及び前記建設機械（１００）の周囲の状況の少なくとも一方を含む付帯状況を表す付帯状況データとを取得するデータ取得部（４０）と、前記時系列の作業データに基づいて前記作業内容を判定する作業内容判定部（７３）と、当該作業内容に対して前記付帯状況が反映された情報である反映情報を前記作業内容と前記付帯状況データとに基づいて生成する反映情報生成部（７６）と、を備える。

Description

建設機械の作業情報生成システム及び作業情報生成方法

　本発明は、作業現場における建設機械の作業内容に関する情報を生成するための作業情報生成システムに関するものである。

　建設機械の作業内容に関する情報を生成する技術として、特許文献１は、ショベルの処理装置を開示している。この処理装置は、作業機械（ショベル）から受信した運転変数の時間変化に基づいて、運転変数が検出されたときの作業内容を判定する（特許文献１の段落００１２）。前記処理装置により判定される前記作業内容には、例えば単純掘削作業、旋回地ならし作業、積み込み作業などが含まれる（特許文献１の段落００１５）。

　ところで、建設機械の作業内容に関する情報は、その作業中や作業後に種々の目的で活用され得る。従って、前記作業現場の作業を発注する発注者、前記作業現場の作業を管理する管理者、前記作業現場において建設機械を操作するオペレータ、前記作業現場において現場作業を行う作業者などの作業関係者は、前記建設機械の作業内容に関して詳細な情報を得ることができれば、その詳細な情報を前記種々の目的で有効に活用しやすくなる。

　しかしながら、特許文献１の前記処理装置により判定される前記作業内容は、単純掘削作業、旋回地ならし作業、積み込み作業などのおおまかな作業内容のみであるため、前記作業関係者は、得られた作業内容を必ずしも有効に活用することができない。

特開２０１８－１５９２６８号公報

　本発明は、上記課題を解決するためになされたもので、前記作業関係者が作業現場における建設機械の作業内容について詳細な情報を得ることができる作業情報生成システム及び作業情報生成方法を提供することを目的とするものである。

　本発明の一態様に係る作業情報生成システムは、作業現場における建設機械の作業情報を生成する作業情報生成システムであって、前記建設機械が行う作業の作業内容を判定するための時系列の作業データと当該作業が行われるときの前記建設機械の状況及び前記建設機械の周囲の状況の少なくとも一方を含む付帯状況を表す付帯状況データとを取得するデータ取得部と、前記時系列の作業データに基づいて前記作業内容を判定する作業内容判定部と、当該作業内容に対して前記付帯状況が反映された情報である反映情報を前記作業内容と前記付帯状況データとに基づいて生成する反映情報生成部と、を備える。

実施の形態に係る作業情報生成システムの構成を示すブロック図である。 建設機械の一例を示す側面図である。 前記建設機械の複数の特徴点の一例を示す斜視図である。 前記作業情報生成システムにおいて前記建設機械の姿勢を推定する処理について説明するための図である。 前記作業情報生成システムにおいて前記複数の物体のそれぞれを抽出する処理について説明するための図である。 前記作業情報生成システムにおいて前記建設機械の姿勢の時系列の変化（前記姿勢の時系列データ）を示す図である。 前記作業情報生成システムにおいて前記建設機械の姿勢の時系列データから前記作業内容を判定する処理について説明するための図である。 前記作業情報生成システムの演算処理を示すフローチャートである。 前記作業現場における前記建設機械の平面図である。 前記作業現場における前記建設機械と建設資材と作業者との位置関係を示す図である。 前記作業現場における前記建設機械の平面図である。 複数の積み込み作業と待機時間とを示すグラフである。 前記建設機械の目標動作と実動作とを説明するための側面図である。 前記建設機械の作業効率を比較したグラフである。

　以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

　図１は、本実施の形態に係る作業情報生成システム２０の構成を示すブロック図である。図２は、当該作業情報生成システム２０による作業情報の生成対象である建設機械１００を示す側面図である。前記作業情報生成システム２０は、作業現場における建設機械１００の作業情報を生成するためのシステムである。図１に示す具体例では、作業現場に複数の建設機械１００が配置されており、前記作業情報生成システム２０は、前記複数の建設機械１００のうちの少なくとも一つの建設機械１００の作業情報を生成する。

　図１に示す具体例では、前記作業現場に配置される前記複数の建設機械１００は、第１の油圧ショベル１００Ａと第２の油圧ショベル１００Ｂとにより構成される。図２に示すように、前記油圧ショベル１００Ａ，１００Ｂのそれぞれは、クローラ式の下部走行体１０１と、その走行面に対して垂直な旋回中心軸まわりに旋回可能となるように下部走行体１０１の上に搭載される上部旋回体１０２と、この上部旋回体１０２に起伏可能に搭載されるアタッチメント１０３と、を備える。

　前記上部旋回体１０２は、当該上部旋回体１０２の前部（本体前部）を構成するキャブ１０２Ａと、前記上部旋回体１０２の後部（本体後部）を構成するカウンタウエイト１０２Ｂと、を有する。当該アタッチメント１０３は、前記上部旋回体１０２に起伏可能に支持されるブーム１０４と、当該ブーム１０４の先端に回動可能に連結されるアーム１０５と、当該アーム１０５の先端に回動可能に連結されるバケット１０６（先端アタッチメント）と、を含む。

　前記油圧ショベル１００Ａ，１００Ｂのそれぞれは、前記上部旋回体１０２に対して前記ブーム１０４を起伏動作させるように作動するブームシリンダ１０７と、当該ブーム１０４に対して前記アーム１０５を回動動作させるように作動するアームシリンダ１０８と、当該アーム１０５に対して前記先端アタッチメント１０６を回動動作させるように作動する先端アタッチメントシリンダ１０９と、を含む。

　前記建設機械１００の前記作業現場における作業は、例えば、積み込み作業、持ち上げ作業、掘削作業、整地作業、法面整形作業、走行（走行作業）、休車などを含む。前記積み込み作業は、前記バケット１０６に保持された土砂等の保持対象物を別の場所に積み込むための作業である。前記持ち上げ作業は、前記バケット１０６に支持された建設資材（例えばパイプ）などの支持対象物を持ち上げるための作業である。前記掘削作業は、前記バケット１０６により地面の土砂を掘削するための作業である。前記整地作業は、前記バケット１０６により地面を整地するための作業である。前記法面整形作業は、切土又は盛土により作られる人工的な斜面である法面を整形するための作業である。前記走行作業は、前記作業現場において、前記建設機械１００を次の作業場所に移動させるための作業である。前記休車は、前記積み込み作業、前記持ち上げ作業、前記掘削作業、前記整地作業、前記法面整形作業、前記走行作業などの実際の作業が行われずに、前記建設機械１００を停止させた状態のことをいう。

　図１に示すように、前記建設機械１００は、表示装置５６をさらに備える。当該表示装置５６は、例えば、前記建設機械１００のキャブ１０２Ａにおいて運転席に座るオペレータが当該表示装置５６に表示される情報を視認することができる位置に配置される。前記表示装置５６は、後述する反映情報生成部７６が出力する前記建設機械１００の作業内容の反映情報を表示する。これにより、前記オペレータは、前記作業現場における前記建設機械１００の前記作業内容に付帯状況が反映された反映情報を視覚的に得ることができる。

　本実施の形態に係る作業情報生成方法は、前記建設機械１００が行う作業の作業内容を判定するための時系列の作業データと当該作業が行われるときの前記建設機械１００の状況及び前記建設機械１００の周囲の状況の少なくとも一方を含む付帯状況を表す付帯状況データとを取得することと、前記時系列の作業データに基づいて前記作業内容を判定することと、当該作業内容に対して前記付帯状況が反映された情報である反映情報を前記作業内容と前記付帯状況データとに基づいて生成することと、を含む。

　前記付帯状況のうち、前記建設機械１００の状況は、例えば、前記作業内容に係る作業と同時に当該作業とは別の作業（付帯作業）が行われているという状況、前記建設機械１００のアタッチメント１０３に対して作用する負荷の状況、前記建設機械１００の前記バケット１０６に積載された積載物の状況、前記建設機械１００が作業を行うときの当該建設機械１００の動作の目標として予め設定された目標動作と当該建設機械１００が実際に前記作業を行うときの建設機械１００の動作である実動作との差に関する状況などを含む。また、前記付帯状況のうち、前記建設機械１００の周囲の状況は、例えば、前記作業現場において前記建設機械１００の周囲に存在する物体の状況などを含む。

　前記物体の具体例としては、前記作業現場における前記建設機械１００とは異なる他の建設機械、前記作業現場におけるダンプカーなどの車両、前記作業現場において現場作業を行う作業者などの作業関係者、前記作業現場におけるパイプなどの建設資材、前記作業現場における建物などの構造物などを挙げることができる。

　前記作業内容の前記反映情報は、例えば、当該作業の効率を判定するための指標、当該作業を行ったオペレータのスキルを判定するための指標、当該作業の安全性を評価するための指標などの種々の指標として用いられる。前記作業関係者は、得られた前記反映情報に基づいて、前記作業の効率の判定、前記スキルの判定、前記安全性の評価などをより正確に行うことができる。

　図１に示すように、前記作業情報生成システム２０は、データ取得部４０と、機械コントローラ５０と、カメラコントローラ６０と、サーバ７０と、を備える。前記機械コントローラ５０、カメラコントローラ６０及びサーバ７０のそれぞれは、ＣＰＵ等のプロセッサとメモリとを備えるコンピュータにより構成される。

　前記機械コントローラ５０は、機械側通信部５２を有し、前記カメラコントローラ６０は、カメラ側通信部６２を有し、前記サーバ７０は、サーバ側通信部８０を有する。当該サーバ７０の前記サーバ側通信部８０は、ネットワークを介して前記機械側通信部５２との間でデータを送受信可能なように当該機械側通信部５２と接続されている。また、前記サーバ７０の前記サーバ側通信部８０は、ネットワークを介して前記カメラ側通信部６２との間でデータを送受信可能なように当該カメラ側通信部６２と接続されている。また、前記サーバ７０の前記サーバ側通信部８０は、ネットワークを介して端末９１との間でデータを送受信可能なように当該端末９１と接続されている。当該端末９１は、例えば図１に示すように前記管理者９０などの作業関係者が使用する携帯端末機などのコンピュータにより構成される。

　前記ネットワークは、例えば、インターネット、携帯電話通信網等の長距離情報通信網により構成されていてもよい。また、前記ネットワークは、例えば、特定省電力無線、ブルーツース（登録商標）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ　Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などのように、前記通信部同士を数十ｍ～数百ｍ程度の距離で無線通信させることが可能な通信網により構成されていてもよい。また、前記ネットワークは、例えば有線通信網であってもよい。

　前記データ取得部４０は、時系列の作業データと、付帯状況データと、を取得する。前記時系列の作業データは、前記建設機械１００が行う作業の作業内容を判定するためのデータである。前記付帯状況データは、当該作業が行われるときの前記建設機械１００の状況及び前記建設機械１００の周囲の状況の少なくとも一方を含む付帯状況を表すデータである。

　本実施の形態では、前記データ取得部４０は、撮像装置４１と、複数のセンサ４２，４３，４４と、を含む。

　前記撮像装置４１は、前記作業現場の画像である現場画像を時系列で取得する。当該現場画像は、前記作業情報の生成対象である前記建設機械１００（例えば一方の建設機械１００Ａ）の画像と、複数の物体の画像と、を含む。当該複数の物体のそれぞれは、前記作業現場に存在する物体のうち前記建設機械１００とは異なる物体である。図１に示す具体例では、前記複数の物体は、前記作業情報の生成対象である前記建設機械１００Ａとは異なる建設機械１００Ｂと、車両（ダンプカー）９２と、作業者９３とにより構成されるが、例えば、前記作業現場における建設資材、前記作業現場における構造物などを含んでいてもよい。

　前記時系列の作業データは、前記撮像装置４１が時系列で取得する前記現場画像により構成される。前記付帯状況データの少なくとも一部は、前記複数の物体の画像を含む前記現場画像により構成される。

　前記複数のセンサ４２，４３，４４は、前記建設機械１００に設けられている。当該複数のセンサは、圧力センサ４２と、圧力センサ４３と、圧力センサ４４とにより構成される。

　前記圧力センサ４２は、前記建設機械１００に設けられた走行操作装置５５が走行操作を受けたことを示す圧力データを取得するためのセンサである。前記走行操作装置５５は、前記走行操作を受ける走行操作レバー５５Ａと、リモコン弁５５Ｂと、を有する。当該リモコン弁５５Ｂは、前記走行操作レバー５５Ａが受ける前記走行操作に対応した方向に当該走行操作に対応する速度で図略の走行モータが回転するように、図略のコントロールバルブを作動させる。前記リモコン弁５５Ｂは一対の出力ポートを有し、前記コントロールバルブは一対のパイロットポートを有する。前記リモコン弁５５Ｂは、前記操作レバー５５Ａが中立位置に配置されているときにはパイロット圧を出力しない。これにより、前記コントロールバルブは中立位置に保持される。一方、前記リモコン弁５５Ｂは、前記操作レバー５５Ａが中立位置から左右いずれかの方向に操作されると、その操作された方向に対応する出力ポートから前記コントロールバルブの対応するパイロットポートに対して当該操作レバー５５Ａの操作量に対応した大きさのパイロット圧を供給する。これにより、当該コントロールバルブは中立位置から前記パイロット圧に相当するストロークだけ作動する。前記圧力センサ４２は、前記リモコン弁５５Ｂから出力される前記パイロット圧を検出し、当該パイロット圧に相当する電気信号である検出結果を出力する。出力された検出結果は、前記機械コントローラ５０に入力される。

　前記圧力センサ４３は、前記アタッチメント１０３にかかる負荷を検出するためのセンサである。当該圧力センサ４３の具体的な態様は特に限定されないが、前記圧力センサ４３は、例えば、前記ブームシリンダ１０７の圧力を検出する圧力センサ、前記アームシリンダ１０８の圧力を検出する圧力センサ、及び前記バケットシリンダ１０９の圧力を検出する圧力センサの少なくとも一つにより構成されていてもよい。前記圧力センサ４３は、前記アタッチメント１０３にかかる負荷に相当する電気信号である検出結果を出力する。出力された検出結果は、前記機械コントローラ５０に入力される。

　前記圧力センサ４４は、前記バケット１０６に積載された積載物の積載量を検出するためのセンサである。当該圧力センサ４４の具体的な態様は特に限定されないが、前記圧力センサ４３は、例えば、前記バケットシリンダ１０９の圧力を検出する圧力センサにより構成されていてもよい。前記圧力センサ４４は、前記バケット１０６に積載された積載物の積載量に相当する電気信号である検出結果を出力する。出力された検出結果は、前記機械コントローラ５０に入力される。

　前記機械コントローラ５０は、タイムスタンプ部５１と、機械側通信部５２と、図略の機械制御部と、を含む。当該機械制御部は、前記建設機械１００の全体的な動作を制御する。前記タイムスタンプ部５１は、前記複数のセンサ４２，４３，４４のそれぞれから入力される前記検出結果に対して、入力された時刻に対応する時刻情報を付与する。前記機械側通信部５２は、前記時刻情報が付与された前記検出結果を前記サーバ７０に送信する。また、前記機械側通信部５２は、前記サーバ７０から送信される前記建設機械１００の作業内容の反映情報を受信し、前記機械コントローラ５０の前記機械制御部は、前記表示装置５６に前記反映情報を表示させる。

　前記カメラコントローラ６０は、タイムスタンプ部６１と、カメラ側通信部６２と、図略のカメラ制御部と、を含む。当該カメラ制御部は、前記撮像装置４１の全体的な動作を制御する。前記タイムスタンプ部６１は、前記撮像装置４１から入力される前記現場画像に対して、入力された時刻に対応する時刻情報を付与する。前記カメラ側通信部６２は、前記時刻情報が付与された前記現場画像を前記サーバ７０に送信する。

　前記サーバ７０は、画像処理部と、作業内容判定部７３と、距離演算部７４と、座標演算部７５と、反映情報生成部７６と、反映情報記憶部７７と、データベースと、サーバ側通信部８０と、を含む。

　前記画像処理部は、前記撮像装置４１が取得した前記現場画像を画像処理することにより、当該現場画像に含まれる前記建設機械１００の画像（機械画像）に基づいて前記建設機械１００の姿勢を推定するとともに、前記現場画像に含まれる前記複数の物体の画像に基づいて前記複数の物体を抽出する。具体的には次の通りである。

　前記画像処理部は、機械姿勢推定部７１と、物体抽出部７２と、を含む。

　前記機械姿勢推定部７１は、前記現場画像に含まれる前記機械画像に基づいて前記建設機械１００の姿勢を推定する。本実施の形態では、前記機械姿勢推定部７１は、前記機械画像に基づいて、前記ブーム１０４の姿勢、前記アーム１０５の姿勢、前記先端アタッチメント１０６（前記バケット１０６）の姿勢、前記下部走行体１０１の姿勢、及び前記上部旋回体１０２の姿勢を推定する。前記機械姿勢推定部７１により推定された姿勢に関するデータ（姿勢情報）は、前記作業内容判定部７３に入力される。

　具体的に、前記機械姿勢推定部７１は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、畳み込みニューラルネットワーク）に前記現場画像を入力することにより、当該現場画像に含まれる前記機械画像における前記建設機械１００の複数の特徴点を抽出する。すなわち、前記ニューラルネットワークは、建設機械１００の特徴点に関するデータを用いて予め学習した姿勢推定アルゴリズムである。前記機械姿勢推定部７１が参照する前記ニューラルネットワークは、例えば、前記建設機械１００（油圧ショベル）の画像と、当該画像中における前記特徴点の座標との対応関係を示す教師データによる学習処理により学習する。

　図３は、当該建設機械１００の複数の特徴点の一例を示している。本実施の形態における前記ニューラルネットワークでは、前記建設機械１００（油圧ショベル）の複数の特徴点は、アタッチ先端（１）、アタッチ底（２）、アタッチ関節（３）、アーム関節（４）、ブーム関節１（５）、ブーム関節２（６）、本体前部（７）、本体右側部（８）、本体後部（９）、本体左側部（１０）、クローラ右前（１１）、クローラ右後（１２）、クローラ左前（１３）、及びクローラ左後（１４）を含む。なお、前記アタッチ先端（１）、前記アタッチ底（２）、及び前記アタッチ関節（３）は、前記バケット１０６の先端、前記バケット１０６の底、及び前記バケット１０６の関節をそれぞれ示す。また、図３において、前記本体左側部（１０）は図示されていない。

　図４は、前記作業情報生成システム２０において前記建設機械１００の姿勢を推定する処理について説明するための図である。図４に示すように、前記ニューラルネットワーク（姿勢推定アルゴリズム）は、入力される前記建設機械１００の画像に基づいて、上記の複数の特徴点のそれぞれの座標を抽出して出力する。そして、前記機械姿勢推定部７１は、前記ニューラルネットワークから出力された前記複数の特徴点の座標に基づいて、前記建設機械１００の姿勢、具体的には、前記ブーム１０４の姿勢、前記アーム１０５の姿勢、前記先端アタッチメント１０６の姿勢、前記下部走行体１０１の姿勢、及び前記上部旋回体１０２の姿勢を推定する。

　前記ブーム１０４の姿勢は、例えば図２に示すように、前記上部旋回体１０２に対する前記ブーム１０４の角度（ブーム角度）により特定される。前記アーム１０５の姿勢は、例えば、前記ブーム１０４に対する前記アーム１０５の角度（アーム角度）により特定される。前記先端アタッチメント１０６の姿勢は、例えば、前記アーム１０５に対する前記バケット１０６の角度（バケット角度）により特定される。前記下部走行体１０１の姿勢及び前記上部旋回体１０２の姿勢は、例えば前記下部走行体１０１に対する前記上部旋回体１０２の角度（旋回角度）により特定される。前記機械姿勢推定部７１により推定された姿勢に関するデータ（姿勢情報）は、前記作業内容判定部７３に入力される。

　なお、前記機械姿勢推定部７１は、例えばＯｐｅｎｐｏｓｅ（登録商標）などの技術を用い、前記撮像装置により取得される前記画像に基づいて前記建設機械の姿勢を推定してもよい。

　前記物体抽出部７２は、前記現場画像に基づいて前記複数の物体のそれぞれを抽出する。具体的に、前記物体抽出部７２は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、畳み込みニューラルネットワーク）に前記現場画像を入力することにより、当該現場画像に含まれる複数の物体のそれぞれの画像（物体画像）における当該物体の複数の特徴点を抽出する。すなわち、前記ニューラルネットワークは、前記複数の物体のそれぞれの特徴点に関するデータを用いて予め学習した物体抽出アルゴリズムである。前記物体抽出部７２が参照する前記ニューラルネットワークは、例えば、前記複数の物体のそれぞれの画像と、当該画像中における前記特徴点の座標との対応関係を示す教師データによる学習処理により学習する。

　図５は、前記作業情報生成システム２０において前記複数の物体のそれぞれを抽出する処理について説明するための図である。図５に示すように、前記ニューラルネットワーク（物体抽出アルゴリズム）は、入力される前記複数の物体を含む現場画像に基づいて、前記複数の物体のそれぞれを抽出する。前記物体抽出部７２は、抽出された前記複数の物体のそれぞれを矩形状の枠で囲む。

　なお、前記物体抽出部７２は、例えばＯｐｅｎｐｏｓｅ（登録商標）などの技術を用い、前記撮像装置により取得される前記現場画像に基づいて前記複数の物体のそれぞれを抽出してもよい。

　前記作業内容判定部７３は、前記機械姿勢推定部７１により推定された前記建設機械１００の前記姿勢の時系列の変化（前記姿勢の時系列データ）に基づいて前記作業内容を判定する。

　具体的に、前記作業内容判定部７３は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、リカレントニューラルネットワーク）に前記姿勢の時系列データを入力することにより、当該姿勢の時系列データに含まれる特徴を抽出する。すなわち、前記ニューラルネットワークは、前記建設機械１００の特徴点の動きに関する時系列データを用いて予め学習した作業分類アルゴリズムである。前記作業内容判定部７３が参照する前記ニューラルネットワークは、例えば、予め定義された複数の作業内容候補と、前記建設機械１００のタグ付けされた前記姿勢の時系列データとの対応関係を示す教師データによる学習処理により学習する。前記予め定義された前記複数の作業内容候補は、例えば、掘削作業、整地作業、法面整形作業、積み込み作業、及び持ち上げ作業を含む。

　図６は、前記作業情報生成システム２０において前記建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）を示す図である。図６に示す具体例では、ブーム角度、アーム角度、バケット角度及び旋回角度に関する時系列データ（姿勢の時系列データ）が示されている。

　図６に示す具体例は、前記掘削作業が行われているときの前記建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）と、この掘削作業の後に行われる積み込み作業が行われているときの建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）と、を示している。これらの作業のそれぞれは、当該建設機械１００の姿勢の点において、特有の時系列の変化を伴いながら行われる。従って、前記建設機械１００の姿勢の時系列の変化は、前記建設機械１００の前記作業内容との関連性があり、当該作業内容の判定の指標となる。具体的には次の通りである。

　前記掘削作業は旋回動作を伴わないので、前記掘削作業では、図６に示すように旋回角度は一定である。前記ブーム角度及び前記アーム角度は、当該掘削作業の序盤から終盤にかけて次第に増加する。前記バケット角度は、当該掘削作業の序盤から中盤にかけて次第に増加し、終盤において大きく増加する。

　前記積み込み作業は旋回動作を伴うので、前記掘削作業から前記積み込み作業に切り換わるときに、前記旋回角度が増加し始める。前記旋回角度及び前記ブーム角度は、当該積み込み作業の序盤から中盤にかけて次第に増加し、前記アーム角度及び前記バケット角度は、当該積み込み作業の序盤から中盤にかけて一定である。一方、前記旋回角度及び前記ブーム角度は、当該積み込み作業の終盤において一定であり、前記アーム角度及び前記バケット角度は、当該積み込み作業の終盤において次第に減少する。

　図７は、前記作業情報生成システム２０において前記建設機械１００の姿勢の時系列データから前記作業内容を判定する処理について説明するための図である。図７に示すように、前記ニューラルネットワーク（作業分類アルゴリズム）の出力層は、例えばソフトマックス関数による演算を実行し、前記複数の作業内容候補ごとのスコアを出力する。前記作業内容判定部７３は、前記ニューラルネットワークの出力層から出力された前記複数の作業内容候補ごとのスコアに基づいて、スコアの最も高い前記作業内容候補を前記作業内容として決定する。図７の具体例では、前記作業内容判定部７３は、前記複数の作業内容候補のうち、スコアの最も高い「掘削作業」を前記作業内容として判定する。前記作業内容判定部７３により判定された前記作業内容は、前記反映情報生成部７６に入力される。

　前記距離演算部７４は、前記現場画像に含まれる前記機械画像及び前記物体画像に基づいて前記建設機械１００と前記複数の物体のそれぞれとの相対距離を演算する。

　前記座標演算部７５は、前記建設機械１００の予め設定された特定の部位の座標を演算する。前記特定の部位は、例えば、前記バケット１０６の先端部に設定されることができるが、これに限られない。

　前記反映情報生成部７６は、当該作業内容に対して前記付帯状況が反映された情報である前記作業内容の反映情報を前記作業内容と前記付帯状況データとに基づいて生成する。

　前記反映情報記憶部７７は、前記反映情報を履歴として記憶する。当該反映情報記憶部７７に記憶された前記反映情報は、例えば、前記管理者９０などの作業関係者が前記端末９１から前記サーバ７０に対して前記反映情報を問い合わせる問い合わせ要求を行うことにより、前記端末９１に送信される。これにより、前記管理者９０は、前記作業現場におけるオペレータや作業員に対して、作業の指示や改善を伝えることができる。この場合、前記端末９１は、前記作業現場における前記建設機械１００の機械コントローラ３０や、前記作業者が有する図略の携帯端末と前記ネットワークを介して通信可能に構成されていることが好ましい。

　前記データベースは、前記反映情報生成部７６が前記建設機械１００の前記反映情報を生成するときに必要な種々のデータを予め記憶している。前記データベースは、禁止作業記憶部７８と、目標動作記憶部７９と、を含む。

　前記禁止作業記憶部７８は、前記建設機械１００の前記作業と当該建設機械１００によって当該作業と同時に行われることが予め禁止されている別の作業である付帯作業との組み合わせを記憶する。具体的に、前記禁止作業記憶部７８は、例えば、前記掘削作業と、前記走行作業との組み合わせを、禁止作業として記憶している。

　前記目標動作記憶部７９は、前記建設機械が前記作業を行うときの当該建設機械の動作の目標として予め設定された目標動作を記憶する。具体的に、前記目標動作記憶部７９は、例えば、前記掘削作業における前記バケット１０６の先端部の目標軌跡を記憶している。

　図８は、前記作業情報生成システム２０の演算処理を示すフローチャートである。図８に示すように、前記サーバ７０のサーバ側通信部８０は、前記時系列の作業データ及び付帯状況データを受信する（ステップＳ１）。前記時系列の作業データは、前記撮像装置４１により時系列で取得される前記現場画像により構成される。前記付帯状況データは、前記撮像装置４１により取得される前記現場画像と前記センサ４２，４３，４４により取得されるデータとにより構成される。

　次に、前記作業内容判定部７３は、前記時系列の作業データに基づいて前記作業内容を判定し（ステップＳ２）、前記反映情報生成部７６は、前記作業内容と前記付帯状況データとに基づいて、当該作業内容に対して前記付帯状況が反映された情報である反映情報を生成する（ステップＳ３）。前記反映情報生成部７６から出力された前記反映情報は、前記反映情報記憶部７７に記憶される（ステップＳ４）。

　次に、前記作業内容と前記付帯状況データとの組み合わせとして以下の第１～第９の組み合わせを例示して前記反映情報の生成について説明する。

　（１）第１の組み合わせ
　第１の組み合わせでは、前記作業内容は、前記積み込み作業に設定され、前記付帯状況データは、前記建設機械１００とその周囲に存在するダンプカー９２との距離に設定されている。

　図９は、前記作業現場における前記建設機械１００の平面図である。図９に示すように、前記建設機械１００の上部旋回体１０２は、前記下部走行体１０１に対して旋回中心軸Ｃまわりに旋回可能に構成される。従って、前記上部旋回体１０２が旋回するときに前記バケット１０６の先端部が描く軌跡は、図９における二点鎖線Ｓ１により示される。図９における二点鎖線Ｓ２は、前記二点鎖線Ｓ１よりも径の大きな円である。

　前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記距離演算部７４から入力される距離、すなわち、前記建設機械１００と前記ダンプカー９２との距離、とに基づいて、前記作業内容の反映情報を生成する。当該反映情報は、前記建設機械１００の前記作業内容が前記ダンプカー９２への積載物（土砂など）の積み込み作業であるという情報である。

　前記反映情報生成部７６は、例えば、前記ダンプカー９２において予め設定された基準位置と予め設定された基準範囲とを比較し、前記基準位置が前記基準範囲に含まれる場合に、前記建設機械１００の前記作業内容が、前記ダンプカー９２への積載物の積み込み作業であるという反映情報を生成し、当該反映情報を出力する。出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　前記ダンプカー９２の前記基準位置は、特に限定されるものではなく、任意に設定することができる。具体的に、前記基準位置は、例えば、前記ダンプカー９２の荷台の後端であって車幅方向の中央の位置に設定することができる。前記基準範囲は、前記積み込み作業が前記ダンプカー９２への積み込み作業であることを特定できる範囲であればよく、特に限定されない。具体的に、前記基準範囲は、例えば、図９に示す二点鎖線Ｓ１により示される前記バケット１０６の先端部が描く円の軌跡よりも内側に設定することができる。また、前記基準範囲は、例えば、図９に示す二点鎖線Ｓ２により示される円よりも内側に設定することもできる。なお、前記基準範囲は、前記反映情報生成部７６が前記基準位置と前記基準範囲との比較する時点における前記バケット１０６の先端部の位置を基準に設定されてもよく、また、前記バケット１０６の先端部が前記旋回中心軸Ｃから最も離れたときの位置を基準に設定されてもよい。

　（２）第２の組み合わせ
　第２の組み合わせでは、前記作業内容は、前記持ち上げ作業に設定され、前記付帯状況データは、前記建設機械１００とその周囲に存在するパイプなどの建設資材９４及び作業者９３との距離に設定されている。

　図１０は、前記作業現場における前記建設機械１００と前記建設資材９４と前記作業者９３との位置関係を示す図である。図１０に示すように、当該持ち上げ作業では、前記建設機械１００の周囲に前記建設資材９４と前記作業者９３とが存在する。

　前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記距離演算部７４から入力される距離、すなわち、前記建設機械１００と前記建設資材９４との距離及び前記建設機械１００と前記作業者９３との距離、とに基づいて、前記作業内容の反映情報を生成する。当該反映情報は、前記建設機械１００の前記作業内容が前記パイプを吊り上げる吊り荷作業であるという情報である。

　前記反映情報生成部７６は、例えば、前記建設資材９４及び前記作業者９３のそれぞれにおいて予め設定された基準位置と予め設定された基準範囲とを比較し、前記基準位置が前記基準範囲に含まれる場合に、前記建設機械１００の前記作業内容が、前記パイプを吊り上げる吊り荷作業であるという反映情報を生成し、当該反映情報を出力する。出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　前記建設資材９４及び前記前記作業者９３のそれぞれの前記基準位置は、特に限定されるものではなく、任意に設定することができる。具体的に、前記基準位置は、例えば、前記建設資材９４の中央位置及び前記作業者９３の中央位置（例えば腹部付近の位置）に設定することができる。前記基準範囲は、例えば、図９に示す二点鎖線Ｓ１により示される前記バケット１０６の先端部が描く円の軌跡よりも内側に設定することができる。

　（３）第３の組み合わせ
　第３の組み合わせでは、前記作業内容は、前記掘削作業に設定され、前記付帯状況データは、前記建設機械１００とその周囲に存在する作業者９３との距離に設定されている。

　図１１は、前記作業現場における前記建設機械１００の平面図である。図１１には、図９において説明したものと同様の２つの二点鎖線Ｓ１，Ｓ２が描かれている。

　前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記距離演算部７４から入力される距離、すなわち、前記建設機械１００と前記作業者９３との距離、とに基づいて、前記作業内容の反映情報を生成する。当該反映情報は、前記建設機械１００の作業範囲内に作業者９３が存在するイレギュラーな掘削作業であるという情報である。

　前記反映情報生成部７６は、例えば、前記作業者９３において予め設定された基準位置と予め設定された基準範囲とを比較し、前記基準位置が前記基準範囲に含まれる場合に、前記建設機械１００の前記作業内容が、前記イレギュラーな掘削作業であるという反映情報を生成し、当該反映情報を出力する。出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　前記前記作業者９３の前記基準位置は、特に限定されるものではなく、任意に設定することができる。具体的に、前記基準位置は、例えば、前記作業者９３の中央位置（例えば腹部付近の位置）に設定することができる。前記基準範囲は、例えば、図１１に示す二点鎖線Ｓ１により示される前記バケット１０６の先端部が描く円の軌跡よりも内側に設定することができる。また、前記基準範囲は、例えば、図１１に示す二点鎖線Ｓ２により示される円よりも内側に設定することもできる。なお、前記基準範囲は、前記反映情報生成部７６が前記基準位置と前記基準範囲との比較する時点における前記バケット１０６の先端部の位置を基準に設定されてもよく、また、前記バケット１０６の先端部が前記旋回中心軸Ｃから最も離れたときの位置を基準に設定されてもよい。

　（４）第４の組み合わせ
　第４の組み合わせでは、前記作業内容は、前記掘削作業に設定され、前記付帯状況データは、前記走行操作装置５５が前記走行操作を受けたことを示す圧力データに設定されている。

　前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記圧力センサ４２から出力された検出結果とに基づいて、前記作業内容の反映情報を生成し、出力する。当該反映情報は、前記掘削作業と前記走行作業（付帯作業）とが同時に行われる禁止作業が行われているという情報である。前記掘削作業と前記走行作業との組み合わせは、前記禁止作業記憶部に予め記憶されている。出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　（５）第５の組み合わせ
　第５の組み合わせでは、前記作業内容は、前記積み込み作業に設定され、前記付帯状況データは、複数の積み込み作業のそれぞれに要した時間と、積み込み作業と次の積み込み作業との間の待機時間と、を比較したデータである。

　図１２は、前記複数の積み込み作業と前記待機時間とを示すグラフである。前記反映情報生成部７６は、上述した第１の組み合わせで説明したように前記複数の積み込み作業の反映情報を生成し、前記反映情報記憶部７７は、前記複数の積み込み作業のそれぞれの反映情報とともに各積み込み作業に要した時間を記憶する。また、前記反映情報生成部７６は、積み込み作業と次の積み込み作業との間の前記待機時間を計測し、前記反映情報記憶部７７は、前記反映情報生成部７６から出力された前記待機時間を記憶する。前記反映情報生成部７６は、前記反映情報記憶部７７に記憶された前記積み込み作業に要した時間と前記待機時間とを比較し、これらの作業の効率に関する判定を行い、当該判定結果を出力する。図１２に示す具体例では、前記積み込み時間よりも前記待機時間の方が長いので、前記反映情報生成部７６から出力される前記反映情報は、効率が低い積み込み作業であるという情報である。出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　（６）第６の組み合わせ
　第６の組み合わせでは、前記作業内容は、前記掘削作業及び前記整地作業に設定され、前記付帯状況データは、前記アタッチメント１０３にかかる負荷を示す圧力データに設定されている。前記掘削作業と前記整地作業は、何れも、前記バケット１０６が地面付近で類似した動作を行うため、前記作業内容判定部７３は、前記建設機械１００の作業内容が前記掘削作業及び前記整地作業の何れか一方であるという不確定な判定を行う場合がある。

　かかる場合、前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記圧力センサ４３から出力された検出結果とに基づいて、前記作業内容の反映情報を生成し、出力する。前記検出結果が予め設定された閾値以上である場合、当該反映情報は、前記掘削作業及び前記整地作業のうち、前記掘削作業であるという情報（確定情報）である。一方、前記検出結果が予め設定された閾値未満である場合、当該反映情報は、前記掘削作業及び前記整地作業のうち、前記整地作業であるという情報（確定情報）である。出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　（７）第７の組み合わせ
　第７の組み合わせでは、前記作業内容は、前記積み込み作業に設定され、前記付帯状況データは、前記バケット１０６に積載された積載物の積載量を示す圧力データに設定されている。前記積み込み作業では、前記バケット１０６に土砂などの積載物が積載された状態で前記上部旋回体１０２が旋回する動作（積み込み旋回動作）と、当該積載物が前記バケット１０６から前記ダンプカー９２の荷台に移された後、掘削位置まで復帰する動作（復帰旋回動作）と、が行われる。前記積み込み旋回動作と前記復帰旋回動作とは、何れも前記バケット１０６が前記旋回中心軸Ｃを中心とする円弧軌道を描く動作であるため、前記作業内容判定部７３は、何れの動作の場合であっても、前記建設機械１００の作業内容が前記積み込み作業であると判定する。

　前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記圧力センサ４４から出力された検出結果とに基づいて、前記作業内容の反映情報を生成し、出力する。前記検出結果が予め設定された閾値以上である場合、当該反映情報は、前記積み込み作業の前記積み込み旋回動作であるという情報である。一方、前記検出結果が予め設定された閾値未満である場合、当該反映情報は、前記積み込み作業の前記復帰旋回動作であるという情報である。出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　（８）第８の組み合わせ
　第８の組み合わせでは、前記作業内容は、前記掘削作業に設定され、前記付帯状況データは、前記目標動作と前記建設機械が実際に前記作業を行うときの当該建設機械の動作である実動作との差に関するデータに設定されている。

　図１３は、前記目標動作と前記実動作とを説明するための側面図である。図１３に示す具体例では、前記目標動作は、前記掘削作業が熟練のオペレータにより行われたときの前記バケット１０６の先端部の軌跡であり、当該軌跡は、前記データベースの前記目標動作記憶部７９に予め記憶されている。

　前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記座標演算部７５から入力される前記バケット１０６の先端部の座標の時系列データとに基づいて、前記作業内容の反映情報を生成し、出力する。前記反映情報生成部７６は、例えば、前記目標動作と前記実動作との隔たりが大きいほど、効率の低い掘削作業であるという反映情報を生成する。また、前記反映情報生成部７６は、例えば、前記実動作の軌跡が前記目標動作の軌跡ように滑らかな曲線ではなく、図１３に示すように直線的な動きの組み合わせであるほど、効率の低い掘削作業であるという反映情報を生成してもよい。前記反映情報生成部７６から出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　（９）第９の組み合わせ
　第９の組み合わせでは、前記作業内容は、前記掘削作業に設定され、前記付帯状況データは、前記バケット１０６に積載された積載物の積載量を示す圧力データに設定されている。

　前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記圧力センサ４４から出力された検出結果とに基づいて、前記作業内容の反映情報を生成し、出力する。

　図１４は、前記建設機械１００の前記掘削作業における作業効率を比較したグラフである。前記目標動作記憶部７９は、１回の掘削作業で前記バケット１０６に積載される土量の目標値として、前記掘削作業が熟練のオペレータにより行われたときの土量を予め記憶している。

　前記反映情報生成部７６は、前記目標値を基準に、作業効率とオペレータのスキルを評価した結果を含む反映情報を生成し、出力する。出力された前記反映情報は、前記反映情報記憶部７７が記憶する。

　なお、前記作業内容と前記付帯状況データとの組み合わせとして上記の第１～第９の組み合わせを例示したが、これらに限られず、他の種々の組み合わせに基づいて前記反映情報が生成され得る。例えば、前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容（例えば掘削作業）と、前記アタッチメント１０３のシリンダ（例えばブームシリンダ）がストロークエンドに達する動作を行ったことを検知するセンサから出力された検出結果とに基づいて、前記作業内容の反映情報を生成することができる。この場合、当該反映情報は、前記シリンダがストロークエンドに達した掘削作業であるという情報である。

　［変形例］
　本発明は、以上説明した実施の形態に限定されない。本発明は、例えば次のような態様を含むことが可能である。

　（Ａ）データ取得部について
　前記データ取得部は、前記作業内容を判定するための前記時系列の作業データを取得する手段として前記撮像装置４１を含むものであったが、これに限られない。前記データ取得部は、前記時系列の作業データを取得する手段として、例えば、前記アタッチメントを構成するブーム、アーム及びバケットのそれぞれの角度を検出する角度センサを含むものであってもよい。また、前記データ取得部は、前記時系列の作業データを取得する手段として、例えば、前記アタッチメントを構成するブーム、アーム及びバケットのそれぞれの位置を検出するＧＰＳセンサ、ＧＮＳＳセンサなどの測位センサを含むものであってもよい。

　（Ｂ）センサについて
　前記実施の形態における前記複数のセンサ４２，４３，４４の少なくとも一つは省略可能である。

　（Ｃ）撮像装置について
　前記実施の形態では、前記撮像装置４１が１台のカメラにより構成されているが、前記撮像装置は、例えば、第１のカメラと第２のカメラとを含むステレオカメラにより構成されていてもよい。かかる場合、前記距離演算部７４は、前記ステレオカメラにより取得されるステレオ画像に基づいて、より正確な距離を演算することができ、また、前記座標演算部７５は、前記ステレオ画像に基づいて、より正確な座標を演算することができる。また、前記データ取得部は、前記撮像装置と、距離カメラとの組み合わせにより構成されていてもよい。また、前記撮像装置４１は、３台以上の複数のカメラで構成されていてもよい。

　（Ｄ）カメラコントローラ及びサーバについて
　前記サーバ７０の機能は、前記カメラコントローラ６０に設けられていてもよい。この場合、前記サーバ７０を省略することができる。

　（Ｅ）建設機械について
　前記先端アタッチメントは、バケットに限られず、例えばグラップル、圧砕機、ブレーカ、フォークなどの他の先端アタッチメントであってもよい。また、前記建設機械は、前記油圧ショベルに限られず、他の建設機械であってもよい。また、前記実施の形態では、前記建設機械は、走行可能な下部走行体１０１を備えるが、本発明はこれに限られない。本発明では、前記建設機械は、特定の場所に設置された基台に上部旋回体１０２が支持される構造を有するものであってもよい。

　（Ｆ）距離演算部について
　前記距離演算部７４は、必須のものではなく省略可能である。前記距離演算部７４が省略される場合、前記反映情報生成部７６が前記ダンプカー９２への積載物の積み込み作業であるという反映情報を生成するために、前記撮像装置４１は、前記作業現場において、前記建設機械１００と前記ダンプカー９２とが含まれる比較的狭い範囲の視野で前記現場画像を取得する。これにより、前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容と、前記物体抽出部７２から入力される前記物体に関する情報とに基づいて、前記反映情報を生成することができる。

　また、前記距離演算部７４が省略される場合、前記反映情報生成部７６が前記パイプなどの建設資材９４を吊り上げる吊り荷作業であるという反映情報を生成するために、前記撮像装置４１は、前記作業現場において、前記建設機械１００と前記建設資材９４と前記作業者９３とが含まれる比較的狭い範囲の視野で前記現場画像を取得する。これにより、前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容（前記持ち上げ作業）と、前記物体抽出部７２から入力される前記物体に関する情報とに基づいて、前記反映情報を生成することができる。

　また、前記距離演算部７４が省略される場合、前記反映情報生成部７６が、前記建設機械１００の作業範囲内に作業者９３が存在するイレギュラーな掘削作業であるという反映情報を生成するために、前記撮像装置４１は、前記作業現場において、前記建設機械１００と前記作業者９３とが含まれる比較的狭い範囲の視野で前記現場画像を取得する。これにより、前記反映情報生成部７６は、前記作業内容判定部７３から入力される前記建設機械１００の前記作業内容（前記掘削作業）と、前記物体抽出部７２から入力される前記物体に関する情報とに基づいて、前記反映情報を生成することができる。

　（Ｇ）座標演算部について
　前記座標演算部７５は、必須のものではなく省略可能である。

　（Ｈ）画像に基づく建設機械の姿勢の推定について
　前記実施の形態では、前記機械姿勢推定部７１による前記現場画像に基づく前記建設機械１００の姿勢の推定が、予め機械学習したニューラルネットワーク（姿勢推定アルゴリズム）を用いて行われるが、本発明はこれに限られない。本発明では、前記建設機械の姿勢の推定は、前記ニューラルネットワークを用いた手法以外の他の手法により行われるものであってもよい。前記他の手法としては、例えば、前記ニューラルネットワークを用いた手法以外の機械学習を用いた手法、時系列アルゴリズムなどを例示できる。

　上述した実施の形態の特徴をまとめると次のとおりである。
　本発明の一態様に係る作業情報生成システムは、作業現場における建設機械の作業情報を生成する作業情報生成システムであって、前記建設機械が行う作業の作業内容を判定するための時系列の作業データと当該作業が行われるときの前記建設機械の状況及び前記建設機械の周囲の状況の少なくとも一方を含む付帯状況を表す付帯状況データとを取得するデータ取得部と、前記時系列の作業データに基づいて前記作業内容を判定する作業内容判定部と、当該作業内容に対して前記付帯状況が反映された情報である反映情報を前記作業内容と前記付帯状況データとに基づいて生成する反映情報生成部と、を備える。

　この態様では、前記作業関係者は、前記作業現場における前記建設機械の前記作業内容に前記付帯状況が反映された前記反映情報を得ることができるので、得られた前記反映情報を前記種々の目的で有効に活用することができる。

　ここで、前記作業内容を判定するための前記時系列の作業データは、例えば、前記アタッチメントを構成するブーム、アーム及びバケットのそれぞれの角度を検出する角度センサにより得ることができる。また、前記時系列の作業データは、例えば、前記アタッチメントを構成するブーム、アーム及びバケットのそれぞれの位置を検出するＧＰＳセンサ、ＧＮＳＳセンサなどの測位センサにより得ることもできる。ただし、これらの態様では、前記建設機械に複数の角度センサや複数の測位センサを搭載する必要がある。一方、前記時系列の作業データが前記建設機械を含む時系列の画像により構成される場合には、前記建設機械に前記複数の角度センサや前記複数の測位センサを搭載する必要がない。具体的には次の通りである。

　上記態様において、前記データ取得部は、前記作業現場における前記建設機械の画像を含む現場画像を取得する撮像装置を含み、前記時系列の作業データは、前記撮像装置が時系列で取得する前記現場画像により構成されることが好ましい。

　この態様では、前記撮像装置により取得される時系列の前記現場画像に基づいて前記作業内容が判定される。これにより、前記建設機械の作業内容を判定するための前記複数の角度センサや前記複数の測位センサを当該建設機械に新たに搭載しなくても、前記建設機械の作業内容を判定することができる。

　上記態様において、前記作業情報生成システムは、前記現場画像に基づいて前記建設機械の姿勢を推定する機械姿勢推定部をさらに備え、前記作業内容判定部は、前記機械姿勢推定部により推定される前記姿勢の時系列の変化に基づいて前記作業内容を判定してもよい。

　この態様では、前記建設機械の前記作業内容を前記建設機械の姿勢の動的な変化に基づいて判定することができる。具体的に、前記建設機械の作業は、例えば、上記したような前記積み込み作業、前記持ち上げ作業、前記掘削作業、前記整地作業などを含み、これらの作業のそれぞれは、当該建設機械の姿勢の点において、特有の時系列の変化を伴いながら行われる。従って、前記建設機械の前記姿勢の時系列の変化は、前記建設機械の前記作業内容との関連性があり、当該作業内容の判定の指標となる。

　上記態様において、前記現場画像は、前記作業現場に存在する物体のうち前記建設機械とは異なる物体の画像をさらに含み、前記付帯状況データの少なくとも一部は、前記物体の画像を含む前記現場画像により構成され、前記作業情報生成システムは、前記物体の画像を含む前記現場画像に基づいて前記物体を抽出する物体抽出部をさらに備え、前記反映情報生成部は、前記現場画像に基づいて判定された前記作業内容と、前記物体抽出部により抽出された前記物体に関する情報に基づいて、前記反映情報を生成することが好ましい。

　この態様は、前記物体を検出するためのセンサが前記作業現場に設けられていなくても、前記現場画像に基づいて判定された前記作業内容と、前記物体抽出部により抽出された前記物体に関する情報に基づいて、前記反映情報を生成することができる。

　上記態様において、前記作業情報生成システムは、前記現場画像に基づいて前記建設機械と前記物体との相対距離を演算する距離演算部をさらに備え、前記物体に関する情報は、前記建設機械と前記物体との相対距離を含むことが好ましい。

　前記作業現場における前記建設機械と前記物体との前記相対距離は、当該作業現場における互いの関係性の深さを示す重要な指標となる。従って、この態様は、前記建設機械と前記物体との前記相対距離を特定するためのセンサが前記作業現場に設けられていなくても、前記距離演算部により演算された前記相対距離と前記作業内容とに基づいて、より正確な前記反映情報を生成することができる。

　上記態様において、前記建設機械は、第１の建設機械であり、前記現場画像は、前記第１の建設機械の画像と、当該第１の建設機械とは異なる第２の建設機械の画像と、を含み、前記作業内容判定部は、前記撮像装置が時系列で取得する前記現場画像に基づいて、前記第１の建設機械及び前記第２の建設機械のそれぞれの作業内容を判定してもよい。

　この態様では、前記撮像装置により取得される前記現場画像に基づいて複数の建設機械の作業内容を判定することができる。

　上記態様において、前記作業情報生成システムは、前記建設機械の前記作業と当該建設機械によって当該作業と同時に行われることが予め禁止されている別の作業である付帯作業との組み合わせを記憶する禁止作業記憶部をさらに備え、前記データ取得部は、前記付帯状況データの少なくとも一部を構成する前記付帯作業に関するデータを取得することができるように構成され、前記反映情報生成部は、前記作業内容と前記付帯作業に関するデータとに基づいて、前記作業と前記付帯作業とが同時に行われているか否かについての情報を含む前記反映情報を生成してもよい。

　この態様では、前記作業関係者は、前記作業と前記付帯作業とが同時に行われているか否かについての情報（禁止作業情報）を含む前記反映情報に基づいて、前記作業内容の評価、前記オペレータの評価などをより正確に行うことができる。

　上記態様において、前記建設機械は、前記付帯作業を行うための操作を受ける操作装置を備え、前記データ取得部は、前記操作装置が前記操作を受けたことを示す圧力データを前記付帯作業に関するデータとして取得する圧力センサを含んでいてもよい。

　この態様では、前記付帯作業が行われたことは、前記操作装置が前記操作を受けたことを示す前記圧力データに基づいて正確に検知される。これにより、前記作業関係者は、より正確な前記禁止作業情報を得ることができる。

　上記態様において、前記作業情報生成システムは、前記建設機械が前記作業を行うときの当該建設機械の動作の目標として予め設定された目標動作を記憶する目標動作記憶部をさらに備え、前記データ取得部は、前記付帯状況データの少なくとも一部を構成するデータであって前記目標動作と前記建設機械が実際に前記作業を行うときの当該建設機械の動作である実動作との差に関するデータを取得することができるように構成され、前記反映情報生成部は、前記作業内容と前記差に関するデータとに基づいて、前記建設機械の前記作業のレベルについての情報を含む前記反映情報を生成してもよい。

　この態様では、前記作業のレベルについての情報（作業レベル情報）を含む前記反映情報に基づいて、前記作業関係者は、前記作業内容の評価、前記オペレータの評価などをより正確に行うことができる。

　上記態様において、前記作業情報生成システムは、前記反映情報を履歴として記憶する反映情報記憶部をさらに備えることが好ましい。

　この態様では、前記作業関係者は、前記反映情報記憶部に履歴として記憶された前記反映情報を任意のタイミングで確認することができる。

　上記態様において、前記反映情報記憶部は、サーバに設けられ、前記サーバは、ネットワークを介して端末と通信可能に接続され、当該端末からの前記反映情報を問い合わせる問い合わせ要求に対して前記反映情報を前記端末に送信するように構成されることが好ましい。

　この態様では、前記作業関係者は、前記サーバに対して前記ネットワークを介して通信可能に接続された前記端末を用いて前記反映情報を確認することができる。

　また、本発明の一態様に係る作業情報生成方法は、作業現場における建設機械の作業情報を生成する方法であって、前記建設機械が行う作業の作業内容を判定するための時系列の作業データと当該作業が行われるときの前記建設機械の状況及び前記建設機械の周囲の状況の少なくとも一方を含む付帯状況を表す付帯状況データとを取得することと、前記時系列の作業データに基づいて前記作業内容を判定することと、当該作業内容に対して前記付帯状況が反映された情報である前記作業内容の反映情報を前記作業内容と前記付帯状況データとに基づいて生成することと、を含む。

　この態様では、前記作業関係者は、前記作業現場における前記建設機械の前記作業内容に前記付帯状況が反映された前記反映情報を得ることができるので、得られた前記反映情報を前記種々の目的で有効に活用することができる。

Claims (12)

1. 　作業現場における建設機械の作業情報を生成する作業情報生成システムであって、
   　前記建設機械が行う作業の作業内容を判定するための時系列の作業データと当該作業が行われるときの前記建設機械の状況及び前記建設機械の周囲の状況の少なくとも一方を含む付帯状況を表す付帯状況データとを取得するデータ取得部と、
   　前記時系列の作業データに基づいて前記作業内容を判定する作業内容判定部と、
   　当該作業内容に対して前記付帯状況が反映された情報である反映情報を前記作業内容と前記付帯状況データとに基づいて生成する反映情報生成部と、を備える作業情報生成システム。
2. 　請求項１に記載の作業情報生成システムであって、
   　前記データ取得部は、前記作業現場における前記建設機械の画像を含む現場画像を取得する撮像装置を含み、
   　前記時系列の作業データは、前記撮像装置が時系列で取得する前記現場画像により構成される、作業情報生成システム。
3. 　請求項２に記載の作業情報生成システムであって、
   　前記現場画像に基づいて前記建設機械の姿勢を推定する機械姿勢推定部をさらに備え、
   　前記作業内容判定部は、前記機械姿勢推定部により推定される前記姿勢の時系列の変化に基づいて前記作業内容を判定する、作業情報生成システム。
4. 　請求項２又は３に記載の作業情報生成システムであって、
   　前記現場画像は、前記作業現場に存在する物体のうち前記建設機械とは異なる物体の画像をさらに含み、
   　前記付帯状況データの少なくとも一部は、前記物体の画像を含む前記現場画像により構成され、
   　前記作業情報生成システムは、前記物体の画像を含む前記現場画像に基づいて前記物体を抽出する物体抽出部をさらに備え、
   　前記反映情報生成部は、前記現場画像に基づいて判定された前記作業内容と、前記物体抽出部により抽出された前記物体に関する情報に基づいて、前記反映情報を生成する、作業情報生成システム。
5. 　請求項４に記載の作業情報生成システムであって、
   　前記現場画像に基づいて前記建設機械と前記物体との相対距離を演算する距離演算部をさらに備え、
   　前記物体に関する情報は、前記建設機械と前記物体との相対距離を含む、作業情報生成システム。
6. 　請求項２～５の何れか１項に記載の作業情報生成システムであって、
   　前記建設機械は、第１の建設機械であり、
   　前記現場画像は、前記第１の建設機械の画像と、当該第１の建設機械とは異なる第２の建設機械の画像と、を含み、
   　前記作業内容判定部は、前記撮像装置が時系列で取得する前記現場画像に基づいて、前記第１の建設機械及び前記第２の建設機械のそれぞれの作業内容を判定する、作業情報生成システム。
7. 　請求項１～６の何れか１項に記載の作業情報生成システムであって、
   　前記建設機械の前記作業と当該建設機械によって当該作業と同時に行われることが予め禁止されている別の作業である付帯作業との組み合わせを記憶する禁止作業記憶部をさらに備え、
   　前記データ取得部は、前記付帯状況データの少なくとも一部を構成する前記付帯作業に関するデータを取得することができるように構成され、
   　前記反映情報生成部は、前記作業内容と前記付帯作業に関するデータとに基づいて、前記作業と前記付帯作業とが同時に行われているか否かについての情報を含む前記反映情報を生成する、作業情報生成システム。
8. 　請求項７に記載の作業情報生成システムであって、
   　前記建設機械は、前記付帯作業を行うための操作を受ける操作装置を備え、
   　前記データ取得部は、前記操作装置が前記操作を受けたことを示す圧力データを前記付帯作業に関するデータとして取得する圧力センサを含む、作業情報生成システム。
9. 　請求項１～８の何れか１項に記載の作業情報生成システムであって、
   　前記建設機械が前記作業を行うときの当該建設機械の動作の目標として予め設定された目標動作を記憶する目標動作記憶部をさらに備え、
   　前記データ取得部は、前記付帯状況データの少なくとも一部を構成するデータであって前記目標動作と前記建設機械が実際に前記作業を行うときの当該建設機械の動作である実動作との差に関するデータを取得することができるように構成され、
   　前記反映情報生成部は、前記作業内容と前記差に関するデータとに基づいて、前記建設機械の前記作業のレベルについての情報を含む前記反映情報を生成する、作業情報生成システム。
10. 　請求項１～９の何れか１項に記載の作業情報生成システムであって、
    　前記反映情報を履歴として記憶する反映情報記憶部をさらに備える、作業情報生成システム。
11. 　請求項１０に記載の作業情報生成システムであって、
    　前記反映情報記憶部は、サーバに設けられ、
    　前記サーバは、ネットワークを介して端末と通信可能に接続され、当該端末からの前記反映情報を問い合わせる問い合わせ要求に対して前記反映情報を前記端末に送信するように構成される、作業情報生成システム。
12. 　作業現場における建設機械の作業情報を生成する作業情報生成方法であって、
    　前記建設機械が行う作業の作業内容を判定するための時系列の作業データと当該作業が行われるときの前記建設機械の状況及び前記建設機械の周囲の状況の少なくとも一方を含む付帯状況を表す付帯状況データとを取得することと、
    　前記時系列の作業データに基づいて前記作業内容を判定することと、
    　当該作業内容に対して前記付帯状況が反映された情報である反映情報を前記作業内容と前記付帯状況データとに基づいて生成することと、を含む作業情報生成方法。

Images