JP7483935B2 - 作業機械の情報表示システム - Google Patents

作業機械の情報表示システム Download PDF

Info

Publication number
JP7483935B2
JP7483935B2 JP2022565374A JP2022565374A JP7483935B2 JP 7483935 B2 JP7483935 B2 JP 7483935B2 JP 2022565374 A JP2022565374 A JP 2022565374A JP 2022565374 A JP2022565374 A JP 2022565374A JP 7483935 B2 JP7483935 B2 JP 7483935B2
Authority
JP
Japan
Prior art keywords
work machine
icon
diagram
work
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022565374A
Other languages
English (en)
Other versions
JPWO2022114005A1 (ja
Inventor
和也 関根
昌輝 日暮
芳明 堤
進也 井村
雅嗣 荒井
和吉 花川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of JPWO2022114005A1 publication Critical patent/JPWO2022114005A1/ja
Application granted granted Critical
Publication of JP7483935B2 publication Critical patent/JP7483935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)

Description

本発明は、所定事象発生時の作業機械の状況を示す情報を表示する情報表示システムに関する。
事故やヒヤリハット等の所定事象が発生した時の車両の状況を示す情報をドライブレコーダに記録し、記録された情報をサーバ装置等に集約して、事故の再現や安全運転の指導に役立てるシステムが知られている(例えば、特許文献1)。多様な属性を有する現場作業者が混在する作業現場においても、このようなシステムを適用して、作業機械の安全運転の指導に役立て、現場作業者の安全意識を向上させることが望まれている。
特許文献1には、車載器である事象情報収集装置にて収集された各種情報を、サーバ装置である事象情報集約装置によって集約し、所定事象発生時の映像と、発生場所を含む地図情報とを1つの画面に表示し、第三者に公開するシステムが記載されている。
特許第4674187号公報
しかしながら、特許文献1に記載のシステムは、所定事象発生時の車両の動作状況を、単に文字形式として表示するか、動作計測値のグラフとして表示するかに過ぎない。加えて、特許文献1に記載のシステムでは、所定事象発生時の車両の動作状況を、車両の周囲に存在する物体との関連性も不明なまま表示する。よって、特許文献1に記載のシステムは、作業現場に適用されても、多様な属性を有する現場作業者の間において所定事象発生時の作業機械の動作状況を共有させることが難しく、現場作業者の安全意識を向上させることが難しい。
上記事情に鑑みて、本発明は、現場作業者の安全意識を向上させることが可能な作業機械の情報表示システムを提供することを目的とする。
上記課題を解決するために、本発明の作業機械の情報表示システムは、作業機械の車載器からの情報が入力されるサーバ装置と前記サーバ装置により作成された情報を表示する端末装置とを備え、所定事象発生時の作業機械の状況を示す情報を表示する作業機械の情報表示システムであって、前記サーバ装置は、前記所定事象発生時の前記作業機械の動作を計測して得られた動作計測値に基づいて、前記作業機械の動作内容を示す動作アイコンを特定する動作アイコン特定部と、前記所定事象発生時の前記作業機械の周囲に存在する物体を検知する物体検知装置の検知結果に基づいて、前記作業機械に対する前記物体の相対位置を示す物体アイコンを特定する物体アイコン特定部と、前記動作アイコンと前記物体アイコンとを用いて、前記所定事象発生時の前記作業機械の動作状況を示す動作状況図を作成する動作状況図作成部と、を備え、前記端末装置は、前記動作状況図を表示することを特徴とする。
本発明によれば、現場作業者の安全意識を向上させることが可能な作業機械の情報表示システムを提供することができる。
本実施形態の情報表示システムの構成を示す図。 図1に示す車載器及びその周辺装置の構成を示す図。 図2に示す制御部の処理内容を説明する図。 図1に示すサーバ装置のハードウェア構成及び端末装置の構成を示す図。 図4に示す制御ユニットの機能的構成を示す図。 作業機械アイコンを説明する図。 動作アイコンの種類を説明する図。 動作アイコンの形状を説明する図。 図9(a)は、作業機械の動作方向が前後方向に関する場合の動作アイコンの方向を説明する図であり、図9(b)は、作業機械の動作方向が左右方向に関する場合の動作アイコンの方向を説明する図。 物体アイコンを説明する図。 報告書を説明する図。
以下、本発明の実施形態について図面を用いて説明する。各実施形態において同一の符号を付された構成は、特に言及しない限り、各実施形態において同様の機能を有するので、その説明を省略する。
図1は、本実施形態の情報表示システム1の構成を示す図である。
情報表示システム1は、事故やヒヤリハット等の所定事象が発生した時の作業機械2の状況を示す情報を表示するシステムである。作業機械2の状況とは、作業機械2の動作状況、作業機械2の作業場所の状況、作業機械2の周囲の状況等である。情報表示システム1は、作業機械2の管理者や現場作業者が把握し易いよう、作業機械2の状況を可視化し、報告書として表示する。作業機械2は、例えば、作業現場において稼働する油圧ショベル、ホイールローダ又はダンプトラック等である。作業機械2の台数及び種類は特に限定されない。
情報表示システム1は、作業機械2の車載器3からの情報が入力されるサーバ装置4と、サーバ装置4により作成された情報を表示する端末装置7とを備え、所定事象発生時の作業機械2の状況を示す情報を表示するシステムである。具体的には、情報表示システム1は、作業機械2に搭載され各種情報を記録する車載器3と、車載器3により記録された各種情報を収集して処理するサーバ装置4と、サーバ装置4により処理された情報を管理者等に表示する端末装置7とを備える。
情報表示システム1では、車載器3とサーバ装置4と端末装置7とが通信ネットワークNを介して有線又は無線接続されている。通信ネットワークNは、インターネット等のWAN(Wide Area Network)であってもよいし、専用のLAN(Local Area Network)であってもよい。
図2は、図1に示す車載器3及びその周辺装置の構成を示す図である。
作業機械2に搭載され車載器3の入力側に設けられた周辺装置は、カメラ20と、GNSS(Global Navigation Satellite System)受信機21と、IMU(Inertial Measurement Unit)22と、車速センサ23とを含む。更に、当該周辺装置は、物体検知装置24と、操舵角センサ25と、操作圧センサ26と、機体情報送信部27と、記録指令信号送信部28とを含む。
カメラ20は、作業機械2の周囲を撮影し、作業機械2の周囲に存在する障害物や現場作業者等の物体の映像を取得する。カメラ20は、少なくとも1台以上の撮像装置によって構成される。GNSS受信機21は、作業機械2が位置する緯度及び経度等の位置情報、並びに、時刻情報を取得する。GNSS受信機21は、GPS(Global Positioning System)やGLONASS(英語表記でGlobal Navigation Satellite System)等の受信機によって構成される。IMU22は、作業機械2の前後方向、左右方向及び上下方向における3次元的な角速度及び加速度を計測する。IMU22の計測値は、例えば、作業機械2の動作方向を示す情報として用いられる。車速センサ23は、作業機械2の走行速度を計測する。
物体検知装置24は、作業機械2の周囲に存在する物体を検知し、検知された物体の作業機械2からの距離を計測する装置である。物体検知装置24は、例えば、単眼カメラ、ステレオカメラ、ミリ波レーダ、LiDAR(Light Detection and Ranging)、超音波ソナー、RFID(Radio Frequency Identifier)等によって構成される。物体検知装置24は、これらの装置を1又は複数台用いて構成されてもよいし、これらの装置のうちで異なる検知形式の装置を組み合わせて構成されてもよい。物体検知装置24の検知結果は、作業機械2の周囲に存在する物体の有無と、作業機械2に対する物体の相対位置とを含む。物体検知装置24の検知結果は、更に、検知された物体の認識結果を含んでもよい。
操舵角センサ25は、例えば、作業機械2がホイールローダ等のアーティキュレート式の作業機械である場合、車両前部と車両後部との屈曲角を計測する。操舵角センサ25は、例えば、作業機械2が油圧ショベル等の旋回動作を行う作業機械である場合、下部走行体に対する上部旋回体の旋回量を示す旋回角を計測する。操作圧センサ26は、操作レバーの操作量に応じて変化する操作圧を計測する。例えば、操作圧センサ26は、作業機械2が旋回動作を行う時の操作圧である旋回操作圧を計測する。
機体情報送信部27は、作業機械2の機体情報を送信する機能である。機体情報は、機体番号や属性情報等の作業機械2の種類を特定する情報である。機体情報送信部27は、作業機械2の各構成要素を統括的に制御するメインコントローラの一部によって構成される。機体情報送信部27は、CAN(Controller Area Network)等の通信プロトコルに準拠したバスを介して、機体情報を車載器3へ送信する。記録指令信号送信部28は、記録指令信号を送信する機能である。記録指令信号は、所定事象発生時における映像及び車体情報を抽出して記録するよう車載器3に指令する信号である。記録指令信号送信部28は、機体情報送信部27と同様に、作業機械2のメインコントローラの一部によって構成される。記録指令信号送信部28は、CAN等の通信プロトコルに準拠したバスを介して、記録指令信号を車載器3へ送信する。
車載器3は、常時映像記録部31と、常時車体情報記録部32と、制御部33と、抽出映像記録部34と、抽出車体情報記録部35と、通信部36とを備える。
常時映像記録部31は、カメラ20により撮影された映像を常時記録する記録装置である。常時車体情報記録部32は、作業機械2の車体情報を常時記録する記録装置である。作業機械2の車体情報は、GNSS受信機21により取得された作業機械2の位置情報と、機体情報送信部27により送信された作業機械2の機体情報と、物体検知装置24の検知結果と、作業機械2の動作を計測して得られた動作計測値とを含む。動作計測値は、IMU22により計測された角速度及び加速度と、車速センサ23により計測された走行速度と、操舵角センサ25により計測された屈曲角や旋回角と、操作圧センサ26により計測された操作圧とを含む。常時映像記録部31及び常時車体情報記録部32のそれぞれは、記録方式が循環方式であり、記録領域の容量の空きが無くなると、古い映像又は古い車体情報から順に削除する。
制御部33は、常時映像記録部31及び常時車体情報記録部32に記憶された映像及び車体情報から、所定事象発生時の映像及び車体情報を抽出し、抽出映像記録部34及び抽出車体情報記録部35に記録させる。抽出映像記録部34及び抽出車体情報記録部35のそれぞれは、記録方式が循環方式であり、記録領域の容量の空きが無くなると、古い映像又は古い車体情報から順に削除する。通信部36は、抽出映像記録部34及び抽出車体情報記録部35に記録された映像及び車体情報を、通信ネットワークNを介して、サーバ装置4へ送信する通信モジュールである。通信部36は、車載器3とは別個に設けられていてもよい。なお、抽出映像記録部34は、本発明の映像記録部の一例に該当する。
図3は、図2に示す制御部33の処理内容を説明する図である。
制御部33は、常時映像記録部31及び常時車体情報記録部32に記録された映像及び車体情報から、記録指令信号を受信した時点前後の所定時間分の映像及び車体情報を抽出する。制御部33は、抽出された映像及び車体情報を、抽出映像記録部34及び抽出車体情報記録部35に記録させる。映像及び車体情報が抽出される所定時間が短過ぎると作業機械2の状況を把握するのに十分な時間が確保できず、長過ぎると作業機械2の状況を把握するのに不要な情報が含まれてしまう。映像及び車体情報が抽出される所定時間は、所定事象が発生した時点の直前における作業機械2の状況と、所定事象が発生した時点の直後における作業機械2の状況とを把握するために必要十分な時間である。本実施形態では、所定事象発生時とは、所定事象が発生した時点だけでなく、所定事象が発生した時点前後の所定時間を含むものとする。制御部33は、映像及び車体情報が抽出される所定時間は、任意に変更することが可能である。
なお、映像及び車体情報が抽出される契機となる記録指令信号は、物体検知装置24により検知された物体と作業機械2との距離が予め危険と判断された閾値以下であり、且つ、作業機械2の操作レバーが操作された場合に、記録指令信号送信部28から送信される。或いは、記録指令信号は、物体検知装置24により検知された物体と作業機械2との距離が予め危険と判断された閾値以下であり、且つ、作業機械2のゲートロックレバー等が解除されて作業機械2が動作可能な状態にある場合に、記録指令信号送信部28から送信される。
図4は、図1に示すサーバ装置4のハードウェア構成及び端末装置7の構成を示す図である。
サーバ装置4は、通信ユニット41と、制御ユニット42と、記憶ユニット43とを備える。通信ユニット41は、通信ネットワークNを介して、車載器3及び端末装置7のそれぞれとの通信を制御する装置である。通信ユニット41は、車載器3から送信された映像及び車体情報を受信し、制御ユニット42へ送信する。通信ユニット41は、記憶ユニット43に記憶された報告書を端末装置7へ送信する。制御ユニット42は、CPU(central processing unit)等のプロセッサ及びメモリを含んで構成される。制御ユニット42は、車載器3から通信ユニット41を介して送信された映像及び車体情報に基づいて、所定事象発生時の作業機械2の状況を可視化した報告書を作成し、記憶ユニット43に記憶する。
端末装置7は、通信機能を備えたパーソナルコンピュータ、又は、通信機能を備えたタブレットやスマートフォン等の携帯端末等によって構成される。端末装置7は、サーバ装置4の通信ユニット41から送信された報告書を受信し、表示部71によって表示する。端末装置7の表示部71は、ディスプレイによって構成される。
図5は、図4に示す制御ユニット42の機能的構成を示す図である。図6は、作業機械アイコンを説明する図である。図7は、動作アイコンの種類を説明する図である。図8は、動作アイコンの形状を説明する図である。図9は、動作アイコンの方向を説明する図である。図9(a)は、作業機械2の動作方向が前後方向に関する場合の動作アイコンの方向を説明する図である。図9(b)は、作業機械2の動作方向が左右方向に関する場合の動作アイコンの方向を説明する図である。図10は、物体アイコンを説明する図である。図11は、報告書を説明する図である。
制御ユニット42は、作業機械アイコン特定部51と、作業機械アイコンデータベース52と、動作アイコン種類特定部53と、動作アイコン種類データベース54とを備える。更に、制御ユニット42は、動作アイコン形状特定部55と、動作アイコン方向特定部56と、動作アイコン特定部57と、物体位置特定部58と、物体アイコン特定部59とを備える。更に、制御ユニット42は、動作状況図作成部60と、動作推移図作成部61と、作業場所図作成部62と、地図情報データベース63と、報告書作成部64とを備える。
作業機械アイコン特定部51は、情報表示システム1の表示対象となる後述の動作状況図の作成に用いられる作業機械アイコンを特定する。作業機械アイコンは、作業機械2の種類を示す図形又は記号である。図6には、油圧ショベル、ホイールローダ又はダンプトラックを示す作業機械アイコンの例が示されている。作業機械アイコン特定部51は、車載器3から送信された車体情報に含まれる機体情報に基づいて、作業機械アイコンデータベース52に予め記憶された複数の作業機械アイコンのうちから、動作状況図の作成に用いられる作業機械アイコンを特定する。
動作アイコン種類特定部53は、動作状況図の作成に用いられる動作アイコンの種類を特定する。動作アイコンは、所定事象発生時における作業機械2の動作内容を示す図形又は記号である。動作アイコンの種類は、所定事象発生時における作業機械2の動作内容の種類を示す。作業機械2の動作内容の種類としては、例えば、走行動作や旋回動作が挙げられる。図7には、動作内容の種類が走行動作であれば動作アイコンを直線状の矢印とし、動作内容の種類が旋回動作であれば動作アイコンを円弧状の矢印とする例が示されている。本実施形態では、走行動作を示す動作アイコンを「走行動作アイコン」とも称し、旋回動作を示す動作アイコンを「旋回動作アイコン」とも称する。
作業機械2の動作内容の種類は、作業機械2の種類に応じて異なる。例えば、油圧ショベルは、下部走行体によって走行する走行動作の他に、上部旋回体が下部走行体の旋回サークルの中心を旋回中心として旋回する旋回動作を行う。例えば、ホイールローダは、車両前部と車両後部との屈曲角に応じた回転半径にて回転する。この回転動作は、回転中心が車両外部に存在することから、旋回動作とは異なる動作であり、走行動作の範疇である。すなわち、作業機械2の種類が油圧ショベルであれば、動作内容の種類は走行動作及び旋回動作を含む。作業機械2の種類がホイールローダ又はダンプトラックであれば、動作内容の種類は走行動作を含むが、旋回動作を含まない。
動作アイコン種類特定部53は、車載器3から送信された車体情報に含まれる機体情報と動作計測値とに基づいて、動作アイコン種類データベース54に予め記憶された複数の動作アイコンのうちから、動作状況図の作成に用いられる動作アイコンの種類を特定する。
動作アイコン形状特定部55は、動作状況図の作成に用いられる動作アイコンの形状を特定する。動作アイコンの形状は、所定事象発生時における作業機械2の動作速度を示す。作業機械2の動作速度としては、例えば、走行速度や旋回角速度が挙げられる。図8には、動作速度が低速であれば短い形状の矢印とし、動作速度が高速であれば長い形状の矢印とする例が示されている。作業機械2の動作が停止していれば、動作アイコンは表示されない。
動作アイコン形状特定部55は、車載器3から送信された車体情報に含まれる動作計測値に基づいて、動作状況図の作成に用いられる動作アイコンの形状を特定する。動作アイコンの形状を特定する基になる動作計測値は、動作内容の種類に応じて異なる。例えば、動作アイコン形状特定部55は、動作計測値の1つである車速センサ23により計測された走行速度に基づいて、走行速度を示す走行動作アイコンの形状を特定する。例えば、動作アイコン形状特定部55は、動作計測値の1つであるIMU22により計測された旋回角速度に基づいて、旋回角速度を示す旋回動作アイコンの形状を特定する。
なお、動作アイコンの形状は、図8のように、停止、低速、高速の3段階に変化するのではなく、動作速度に応じて無段階に変化するように予め定められていてもよい。動作アイコンの形状は、所定事象発生時における作業機械2の動作速度に限定されず、作業機械2の動作加速度や操作圧等の他の動作計測値を示すように予め定められていてもよい。
動作アイコン方向特定部56は、動作状況図の作成に用いられる動作アイコンの方向を特定する。動作アイコンの方向は、所定事象発生時における作業機械2の動作方向を示す。作業機械2の動作方向としては、例えば、前後方向、左右方向又は上下方向が挙げられる。図9(a)には、走行動作の動作方向が前進方向であれば紙面において上向きの矢印とし、走行動作の動作方向が後進方向であれば紙面において下向きの矢印とする例が示されている。図9(b)には、油圧ショベルにおいて、旋回動作の動作方向が右旋回方向であれば紙面において時計回りの矢印とし、旋回動作の動作方向が左旋回方向であれば紙面において反時計回りの矢印とする例が示されている。図9(b)には、ホイールローダやダンプトラックにおいて、走行動作の動作方向が右操舵方向であれば紙面において右傾斜の矢印とし、走行動作の動作方向が左操舵方向であれば紙面において左傾斜の矢印とする例が示されている。
動作アイコン方向特定部56は、車載器3から送信された車体情報に含まれる動作計測値に基づいて、動作状況図の作成に用いられる動作アイコンの方向を特定する。動作アイコンの方向を特定する基になる動作計測値は、動作内容の種類に応じて異なる。例えば、動作アイコン方向特定部56は、動作計測値の1つであるIMU22により計測された前後方向の加速度に基づいて、走行方向を示す走行動作アイコンの方向を特定する。例えば、動作アイコン方向特定部56は、作業機械2の種類が油圧ショベルであれば、動作計測値の1つであるIMU22により計測された旋回角速度の向きに基づいて、旋回方向を示す旋回動作アイコンの方向を特定する。例えば、動作アイコン方向特定部56は、作業機械2の種類がホイールローダ又はダンプトラックであれば、動作計測値の1つである操舵角センサ25により計測された操舵角の正負に基づいて、操舵方向を示す走行動作アイコンの方向を特定する。この際、動作アイコン方向特定部56は、操舵角センサ25に計測された操舵角の大きさに基づいて、走行動作アイコンの傾斜度合を変化させる。
動作アイコン特定部57は、動作アイコン種類特定部53、動作アイコン形状特定部55、及び、動作アイコン方向特定部56により特定された動作アイコンの種類、形状及び方向に基づいて、動作状況図の作成に用いられる動作アイコンを特定する。動作アイコン種類特定部53、動作アイコン形状特定部55、及び、動作アイコン方向特定部56は、何れも、車載器3により送信された動作計測値に基づいて動作アイコンの種類、形状及び方向を特定する。動作アイコンの種類、形状及び方向は、動作アイコンの形態の1つである。すなわち、動作アイコン特定部57は、動作計測値に基づいた形態を有する動作アイコンを特定する。
物体位置特定部58は、車載器3から送信された車体情報に含まれる物体検知装置24の検知結果に基づいて、物体検知装置24により検知された物体の作業機械2に対する相対位置を特定する。物体位置特定部58は、作業機械2に対する物体の相対位置として、作業機械2から物体までの距離と、作業機械2から物体へ向かう方向とを特定してもよい。
物体アイコン特定部59は、動作状況図の作成に用いられる物体アイコンを特定する。物体アイコンは、所定事象発生時における作業機械2に対する物体の相対位置を示す図形又は記号である。物体アイコン特定部59は、物体検知装置24の検知結果に基づいて、動作状況図の作成に用いられる物体アイコンを特定する。具体的には、物体アイコン特定部59は、物体位置特定部58により特定された作業機械2から物体までの距離と、作業機械2から物体へ向かう方向とに応じて、物体アイコンを特定する。
図10の黒丸は、検知された物体を示す。図10には、作業機械2から物体までの距離が短ければ作業機械2に近い位置に物体アイコンを配置し、作業機械2から物体までの距離が長ければ作業機械2から遠い位置に物体アイコンを配置した例が示されている。図10には、作業機械2から物体へ向かう方向が前方向であれば作業機械アイコンより上の位置、作業機械2から物体へ向かう方向が後方向であれば作業機械アイコンより下の位置に物体アイコンを配置した例が示されている。図10には、作業機械2から物体へ向かう方向が右方向であれば作業機械アイコンより右の位置、作業機械2から物体へ向かう方向が左方向であれば作業機械アイコンより左の位置に物体アイコンを配置した例が示されている。
動作状況図作成部60は、情報表示システム1の表示対象となる動作状況図を作成する。動作状況図は、所定事象発生時の作業機械2の動作状況を示す図である。動作状況図作成部60は、作業機械アイコン特定部51により特定された作業機械アイコンと、動作アイコン特定部57により特定された動作アイコンと、物体アイコン特定部59により特定された物体アイコンとを用いて、動作状況図を作成する。具体的には、動作状況図作成部60は、作業機械アイコンと、動作アイコンと、物体アイコンとを同時に描いた図を、動作状況図として作成する。
図11には、動作状況図が符号111として示されている。図11に示す動作状況図111は、作業機械アイコン111aと、動作アイコン111bと、物体アイコン111cとが同時に描かれている。図11に示す動作状況図111は、物体が油圧ショベルの左側方の近傍に接近していた時、油圧ショベルが高速域の旋回角速度によって右旋回方向に旋回動作を行っていた、という動作状況を示している。
動作推移図作成部61は、情報表示システム1の表示対象となる動作推移図を作成する。動作推移図は、所定事象発生時の作業機械2の動作を計測して得られた動作計測値の推移を示す図である。すなわち、動作推移図は、動作計測値の時系列データを示す図である。動作推移図作成部61は、動作状況図作成部60により作成された動作状況図に用いられた動作アイコンを特定する基になった動作計測値の推移を示す動作推移図を作成する。更に、動作推移図作成部61は、この動作計測値に関連する動作計測値の推移を示す動作推移図を作成してもよい。
図11には、動作推移図が符号112として示されている。図11に示す動作推移図112は、動作状況図111に用いられた動作アイコン111bを特定する基になった動作計測値である旋回角速度の推移を示す動作推移図112aと、この旋回角速度に関連する動作計測値である旋回操作圧の推移を示す動作推移図112bとを含んでいる。図11に示す動作推移図112は、旋回操作に基づいて旋回角速度が増加した作業機械2の動作状況を示している。すなわち、動作推移図112は、現場作業者の操作状況と作業機械2の動作状況との関連性を示している。また、図11に示す動作推移図112は、作業機械2が動作状況図111に描かれた動作状況を示した時点(すなわち所定事象発生時)を、マーカ112cとして示している。
作業場所図作成部62は、情報表示システム1の表示対象となる作業場所図を作成する。作業場所図は、所定事象発生時の作業機械2の作業場所を示す図である。作業場所図作成部62は、車載器3から送信された車体情報に含まれるGNSS受信機21により取得された位置情報と、地図情報データベース63に予め記憶された地図情報とに基づいて、作業場所図を作成する。なお、地図情報データベース63は、通信ネットワークNに接続されたサーバ装置4の外部に設けられていてもよいし、SDカード等の外部記憶媒体に設けられていてもよい。
図11には、作業場所図が符号113として示されている。図11に示す作業場所図113は、GNSS受信機21により取得された作業機械2の位置情報が示す地点を、マーカ113aとして示している。
報告書作成部64は、所定事象発生時の作業機械2の状況を可視化した報告書を作成する。報告書作成部64は、動作状況図作成部60により作成された動作状況図を含む報告書を作成する。好適には、報告書作成部64は、動作状況図作成部60により作成された動作状況図と、動作推移図作成部61により作成された動作推移図と併せて記載した報告書を作成する。更に好適には、報告書作成部64は、動作状況図作成部60により作成された動作状況図と、動作推移図作成部61により作成された動作推移図と、作業場所図作成部62により作成された作業場所図とを併せて記載した報告書を作成する。更に好適には、報告書作成部64は、動作状況図作成部60により作成された動作状況図と、動作推移図作成部61により作成された動作推移図と、作業場所図作成部62により作成された作業場所図と、車載器3から送信された映像とを併せて記載した報告書を作成する。
車載器3から送信された映像は、所定事象発生時の作業機械2の周囲の映像である。報告書に記載される映像は、表示部71がディスプレイである場合には、当該映像そのもの(動画像)であってもよいし、当該映像を構成するフレーム(静止画像)であってもよい。
図11には、所定事象発生時の作業機械2の周囲の映像が符号114として示され、報告書作成部64により作成された報告書が符号110として示されている。図11に示す報告書110は、所定領域内に収まるよう、動作状況図111と動作推移図112と作業場所図113と映像114とを併せて記載している。この所定領域の大きさは、ディスプレイや印刷用紙として普及している定形の大きさであってもよい。また、報告書110は、所定事象が発生した時点の日時115や、報告書110の内容を説明するテキスト116を、動作状況図111、動作推移図112、作業場所図113及び映像114と併せて所定領域内に記載してもよい。
報告書作成部64は、作成された報告書を記憶ユニット43に記憶させる。通信ユニット41は、記憶ユニット43に記憶された報告書を端末装置7へ送信する。端末装置7は、サーバ装置4の通信ユニット41から送信された報告書を受信し、表示部71によって表示する。表示部71は、動作状況図を表示する。好適には、表示部71は、動作状況図と動作推移図とを併せて表示する。更に好適には、表示部71は、動作状況図と動作推移図と作業場所図とを併せて表示する。更に好適には、表示部71は、動作状況図と動作推移図と作業場所図と映像とを併せて表示する。
なお、上記の報告書作成部64は、サーバ装置4の制御ユニット42ではなく、端末装置7や作業機械2に設けられていてもよい。制御ユニット42が備える報告書作成部64以外の他の機能についても、同様である。
以上のように、情報表示システム1は、作業機械2の車載器3からの情報が入力されるサーバ装置4と、サーバ装置4により作成された情報を表示する端末装置7とを備え、所定事象発生時の作業機械2の状況を示す情報を報告書として表示する作業機械2の情報表示システムである。サーバ装置4は、所定事象発生時の作業機械2の動作を計測して得られた動作計測値に基づいて、作業機械2の動作内容を示す動作アイコンを特定する動作アイコン特定部57を備える。サーバ装置4は、所定事象発生時の作業機械2の周囲に存在する物体の検知結果に基づいて、作業機械2に対する物体の相対位置を示す物体アイコンを特定する物体アイコン特定部59を備える。サーバ装置4は、動作アイコンと物体アイコンとを用いて、所定事象発生時の作業機械2の動作状況を示す動作状況図を作成する動作状況図作成部60を備える。端末装置7は、動作状況図を表示する。
すなわち、情報表示システム1は、所定事象発生時の作業機械2の動作内容を、動作アイコンといった誰もが把握し易い形式で表す。情報表示システム1は、所定事象発生時の作業機械2に対する物体の相対位置を、物体アイコンといった誰もが把握し易い形式で表す。情報表示システム1は、所定事象発生時の作業機械2の動作状況を、動作アイコンと物体アイコンとを用いて図示する。
これにより、情報表示システム1は、所定事象発生時の作業機械2の動作状況を、作業機械2に対する物体の相対位置と関連付け、現場作業者の誰もが把握し易い形式として可視化して自動的に表示することができる。情報表示システム1は、所定事象発生時の作業機械2の動作状況を、現場作業者に対して的確且つ迅速に把握させることができる。情報表示システム1は、所定事象発生時の作業機械2の動作状況を現場作業者に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム1は、従来よりも現場作業者の安全意識を向上させることができる。
従来のシステムは、車両の動作状況を、単に文字形式として表示するか、動作計測値のグラフとして表示するかに過ぎない。加えて、従来のシステムは、車両の周囲に存在する物体との関連性も不明なまま、車両の動作状況を表示するに過ぎない。作業現場には、作業の元請業者、下請業者、資材搬入業者及び警備業者等の異なる組織に属する多数の現場作業者が混在している。現場作業者の国籍も様々である。従来のシステムは、多様な属性を有する現場作業者が混在する作業現場に適用されても、所定事象発生時の作業機械2の動作状況を、現場作業者の誰もが把握し易い形式として表示するシステムではなかった。
更に、作業現場の通信環境は整備されていない場合が多く、ドライブレコーダに記録された映像を作業現場において再生することは難しい。作業現場の通信環境が整備されていた場合であっても、現場作業者は異なる組織に属する者が多数混在しているので、ドライブレコーダに記録された映像をクラウドサーバ等に保存し現場作業者が自由に再生可能とすることは、情報セキュリティの観点からも難しい。現場作業者には、端末装置に不慣れな者も存在する。
上記のような作業現場の事情から、作業現場の現場監督者は、ドライブレコーダに記録された映像を構成する静止画像を紙媒体に印刷し、例えば、作業開始前の朝礼において現場作業者に配布する等して、情報共有を図ることがある。しかしながら、紙媒体に印刷された画像には、作業機械の周囲に存在する物体が、作業機械との位置関係が明確に分かるように映っているとは限らない。更に、ドライブレコーダに記録された映像だけでは、所定事象発生時の作業機械の動作状況を把握することはできないし、作業場所の状況を把握することもできない。作業現場の現場監督者が、限られた時間内に、多様な属性を有する現場作業者に的確に情報伝達することは難しい。
このようなことから、従来のシステムでは、多様な属性を有する現場作業者に対して所定事象発生時の作業機械の動作状況を共有させることが難しく、現場作業者の安全意識を向上させることは難しい。
これに対し、本実施形態の情報表示システム1は、所定事象発生時の作業機械2の動作状況を、作業機械2に対する物体の相対位置と関連付けて、誰もが把握し易い形式で可視化して自動的に表示することができる。情報表示システム1は、所定事象発生時の作業機械2の動作状況を現場作業者に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム1は、従来よりも現場作業者の安全意識を向上させることができる。しかも、情報表示システム1は、所定事象発生時の作業機械2の動作状況を示す動作状況図を紙媒体に印刷すると、当該紙媒体を配布するだけで現場作業者に情報共有を図ることができる。よって、情報表示システム1は、作業現場の通信環境や現場作業者の属性に関わらず、従来よりも現場作業者の安全意識を向上させることができる。
更に、情報表示システム1は、サーバ装置4が、動作アイコンを特定する基となった動作計測値の推移を示す動作推移図を作成する動作推移図作成部61を更に備える。情報表示システム1は、端末装置7が、動作状況図と動作推移図とを併せて表示する。
これにより、情報表示システム1は、所定事象発生時の作業機械2の動作状況をその時系列的な変化と併せて詳細に可視化することができるので、所定事象発生時の作業機械2の動作状況を現場作業者に対して更に的確に把握させることができる。加えて、情報表示システム1は、関連する操作圧等の動作計測値の推移を示す動作推移図を併せて作成すれば、現場作業者の操作状況と作業機械2の動作状況との関連性を可視化することができる。情報表示システム1は、所定事象発生時の作業機械2の動作状況を現場作業者に更に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム1は、従来よりも現場作業者の安全意識を更に向上させることができる。
更に、情報表示システム1は、サーバ装置4が、所定事象発生時の作業機械2の作業場所を示す作業場所図を作成する作業場所図作成部62を更に備える。情報表示システム1は、端末装置7が、動作状況図と動作推移図と作業場所図とを併せて表示する。
これにより、情報表示システム1は、所定事象発生時の作業機械2の動作状況を作業場所の状況に関連付けて可視化することができるので、所定事象発生時の作業機械2の動作状況を現場作業者に対して更に的確に把握させることができる。情報表示システム1は、所定事象発生時の作業機械2の動作状況を現場作業者に更に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム1は、従来よりも現場作業者の安全意識を更に向上させることができる。
更に、情報表示システム1は、サーバ装置4が、所定事象発生時の作業機械2の周囲の映像を記録する抽出映像記録部34を更に備える。情報表示システム1は、端末装置7が、動作状況図と動作推移図と作業場所図と映像とを併せて表示する。
これにより、情報表示システム1は、所定事象発生時の作業機械2の動作状況を作業機械2の周囲の詳細な状況に関連付けて可視化することができるので、所定事象発生時の作業機械2の動作状況を現場作業者に対して更に的確に把握させることができる。情報表示システム1は、所定事象発生時の作業機械2の動作状況を現場作業者に更に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム1は、従来よりも現場作業者の安全意識を更に向上させることができる。
更に、情報表示システム1は、動作アイコン特定部57が、動作計測値に基づいた形態を有する動作アイコンを特定する。
これにより、情報表示システム1は、所定事象発生時の作業機械2の動作状況を更に分かり易く可視化することができるので、所定事象発生時の作業機械2の動作状況を現場作業者に対して更に的確に把握させることができる。情報表示システム1は、所定事象発生時の作業機械2の動作状況を現場作業者に更に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム1は、従来よりも現場作業者の安全意識を更に向上させることができる。
以上、本発明の実施形態について詳述したが、本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。
1…情報表示システム、2…作業機械、4…サーバ装置、7…端末装置、24…物体検知装置、34…抽出映像記録部(映像記録部)、57…動作アイコン特定部、59…物体アイコン特定部、60…動作状況図作成部、61…動作推移図作成部、62…作業場所図作成部

Claims (4)

  1. 作業機械の車載器から送信される情報に基づいて、過去の所定事象発生時の前記作業機械の状況を示す報告書を作成するサーバ装置と、前記サーバ装置により作成された前記報告書を表示する端末装置と、を備える情報表示システムであって、
    前記サーバ装置は、
    前記車載器から送信された前記作業機械の種類を特定するための情報と前記所定事象発生時の前記作業機械の動作を計測して得られた動作計測値とに基づいて、当該情報により特定された前記作業機械の種類に応じた前記作業機械の動作内容の種類と、前記作業機械の動作内容の種類に応じた前記作業機械の動作速度を示す形状と、前記作業機械の動作内容の種類に応じた前記作業機械の動作方向を示す方向と、を特定し、特定された前記動作内容の種類、前記動作速度を示す形状、及び、前記動作方向を示す方向に基づいて、前記所定事象発生時の前記作業機械の動作内容を示す動作アイコンを特定する動作アイコン特定部と、
    前記所定事象発生時の前記作業機械の周囲に存在する物体を検知する物体検知装置の検知結果に基づいて、前記所定事象発生時の前記作業機械に対する前記物体の相対位置を示す物体アイコンを特定する物体アイコン特定部と、
    前記車載器から送信された前記作業機械の種類を特定するための前記情報により特定された前記作業機械の種類を示す図形又は記号からなる作業機械アイコンと、前記動作アイコン特定部により特定された前記動作アイコンと、前記物体アイコン特定部により特定された前記物体アイコンと、が同時に描かれた、前記所定事象発生時の前記作業機械の動作状況を示す動作状況図を作成する動作状況図作成部と、
    前記動作状況図を含む前記報告書を作成する報告書作成部と、を備える
    ことを特徴とする作業機械の情報表示システム。
  2. 前記サーバ装置は、前記動作アイコンを特定する基となった前記動作計測値の推移を示す動作推移図を作成する動作推移図作成部を更に備え、
    前記報告書作成部は、前記動作状況図と前記動作推移図とを含む前記報告書を作成する
    ことを特徴とする請求項1に記載の作業機械の情報表示システム。
  3. 前記サーバ装置は、前記所定事象発生時の前記作業機械の作業場所を示す作業場所図を作成する作業場所図作成部を更に備え、
    前記報告書作成部は、前記動作状況図と前記動作推移図と前記作業場所図とを含む前記報告書を作成する
    ことを特徴とする請求項2に記載の作業機械の情報表示システム。
  4. 前記車載器から前記サーバ装置には、前記所定事象発生時の前記作業機械の周囲の映像が更に送信され、
    前記報告書作成部は、前記動作状況図と前記動作推移図と前記作業場所図と前記映像とを含む前記報告書を作成する
    ことを特徴とする請求項3に記載の作業機械の情報表示システム。
JP2022565374A 2020-11-27 2021-11-24 作業機械の情報表示システム Active JP7483935B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020197502 2020-11-27
JP2020197502 2020-11-27
PCT/JP2021/042999 WO2022114005A1 (ja) 2020-11-27 2021-11-24 作業機械の情報表示システム

Publications (2)

Publication Number Publication Date
JPWO2022114005A1 JPWO2022114005A1 (ja) 2022-06-02
JP7483935B2 true JP7483935B2 (ja) 2024-05-15

Family

ID=81755556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022565374A Active JP7483935B2 (ja) 2020-11-27 2021-11-24 作業機械の情報表示システム

Country Status (2)

Country Link
JP (1) JP7483935B2 (ja)
WO (1) WO2022114005A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202589A (ja) 2000-01-19 2001-07-27 Ohbayashi Corp 広域作業管理システム
JP2010204821A (ja) 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2014074319A (ja) 2012-10-05 2014-04-24 Komatsu Ltd 掘削機械の表示システム、掘削機械及び掘削機械の表示用コンピュータプログラム
WO2015087430A1 (ja) 2013-12-12 2015-06-18 日立建機株式会社 車両走行システム及び車両走行制御方法
JP2017212941A (ja) 2016-06-01 2017-12-07 井関農機株式会社 作業車両の管理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202589A (ja) 2000-01-19 2001-07-27 Ohbayashi Corp 広域作業管理システム
JP2010204821A (ja) 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2014074319A (ja) 2012-10-05 2014-04-24 Komatsu Ltd 掘削機械の表示システム、掘削機械及び掘削機械の表示用コンピュータプログラム
WO2015087430A1 (ja) 2013-12-12 2015-06-18 日立建機株式会社 車両走行システム及び車両走行制御方法
JP2017212941A (ja) 2016-06-01 2017-12-07 井関農機株式会社 作業車両の管理システム

Also Published As

Publication number Publication date
JPWO2022114005A1 (ja) 2022-06-02
WO2022114005A1 (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
KR102504579B1 (ko) 차량 혼합 현실의 조건부 가용성
US10168710B1 (en) User interface for displaying object-based indications in an autonomous driving system
US11676346B2 (en) Augmented reality vehicle interfacing
US11827274B2 (en) Turn path visualization to improve spatial and situational awareness in turn maneuvers
US9494935B2 (en) Remote operation of autonomous vehicle in unexpected environment
JP6635428B2 (ja) 自動車周辺情報表示システム
US20190220678A1 (en) Localizing Traffic Situation Using Multi-Vehicle Collaboration
DE102018104801A1 (de) Unterstützen von fahrern bei fahrbahnspurwechseln
US20160039285A1 (en) Scene awareness system for a vehicle
DE102018109459A1 (de) Navigationsgestützte kollisionsvermeidung an kreuzungen
US10747221B2 (en) Moving body, moving body control system, and moving body control method
TW201333896A (zh) 使用視訊雷達的遠距交通管理系統
JP6630521B2 (ja) 危険判定方法、危険判定装置、危険出力装置及び危険判定システム
JP6451959B2 (ja) 運行管理システム
DE112014001056T5 (de) Kommunikationseinheit und Verfahren zur Kommunikation mit einem autonomen Fahrzeug
JP6142338B2 (ja) 運行管理システム
CN114729803A (zh) 更新地图数据
DE112016007074T5 (de) Verfahren und einrichtung zum darstellen von erwarteten fahrzeugmanövern für einen fahrgast
DE112017003418T5 (de) Fahrassistenzverfahren und dieses benutzende Fahrassistenzvorrichtung, Fahrassistenzsystem, automatische Fahrsteuerungsvorrichtung, Fahrzeug und Programm
US20190213876A1 (en) Image distribution device, image distribution method, and storage medium storing image distribution program
CN114096996A (zh) 在交通中使用增强现实的方法和装置
JP7483935B2 (ja) 作業機械の情報表示システム
US11899909B1 (en) System on board an on-road vehicle for identifying, tagging and reporting hazardous drivers in the vicinity of a host vehicle
CN109559503B (zh) 信息提供系统、车载装置和信息提供方法
CN113401071B (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240501

R150 Certificate of patent or registration of utility model

Ref document number: 7483935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150