JP7283070B2 - 作業機械用周辺監視装置 - Google Patents

作業機械用周辺監視装置 Download PDF

Info

Publication number
JP7283070B2
JP7283070B2 JP2018237009A JP2018237009A JP7283070B2 JP 7283070 B2 JP7283070 B2 JP 7283070B2 JP 2018237009 A JP2018237009 A JP 2018237009A JP 2018237009 A JP2018237009 A JP 2018237009A JP 7283070 B2 JP7283070 B2 JP 7283070B2
Authority
JP
Japan
Prior art keywords
output
work machine
operating
detected
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018237009A
Other languages
English (en)
Other versions
JP2020097866A (ja
Inventor
均 佐々木
洋一郎 山▲崎▼
誠司 佐伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2018237009A priority Critical patent/JP7283070B2/ja
Priority to US17/292,849 priority patent/US20210395981A1/en
Priority to PCT/JP2019/048892 priority patent/WO2020129832A1/ja
Priority to EP19897745.6A priority patent/EP3858676B1/en
Priority to CN201980072633.4A priority patent/CN113039094B/zh
Publication of JP2020097866A publication Critical patent/JP2020097866A/ja
Application granted granted Critical
Publication of JP7283070B2 publication Critical patent/JP7283070B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、作業機械の周辺を監視するための装置に関する。
従来、この種の技術としては、例えば特許文献1に見られるものが知られている。特許文献1には、作業機械の周囲に存在する人の位置を作業機械の操作者が直感的に把握できるようにするため、一の監視空間(例えば作業機械の右側)に人が存在すると判定された場合に当該一の監視空間に対応する一の警報出力部(例えばキャブ内の右側警報出力部)から警報を出力させ、他の監視空間(例えば作業機械の後方)に人が存在すると判定された場合に当該他の監視空間に対応する他の警報出力部(例えばキャブ内の後側警報出力部)から警報を出力させる技術が提案されている。
特開2018-093501号公報
しかし、警報の出力タイミングが不適当であると作業機械の操作者に煩わしさを感じさせ、操作に対する集中を削ぐことにもなりかねない。
そこで、本発明は、作業機械の操作者に対して、その集中を削ぐ事態を回避する観点から適当なタイミングで、当該作業機械の周辺における状況を認識させることができる装置を提供することを目的とする。
まず、本発明の概要を説明する。本発明の本発明の作業機械用周辺監視装置は、操作者による作業機械を動作させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体の有無を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、
前記操作状態検出器により前記作業機械を始動させるための初期操作状態が前記操作装置の操作状態として検知されたことに応じて、前記周辺物体検知部による検知結果を示す音声を前記出力装置に出力させる制御要素と、を備えていることを特徴とする。
本発明の作業機械用周辺監視装置によれば、作業機械の操作装置の操作状態として、作業機械の動作を開始させるための初期操作状態が検知されたことに応じて、周辺物体検知部による検知結果を示す音声が出力装置から出力される。
例えば、作業機械の動作を開始させるための初期操作状態が検知され、かつ、当該作業機械の周辺の対象空間に物体が存在することが検知された場合には、当該検知に応じて、当該物体が対象空間に存在する旨の音声が出力装置から出力され得る。これにより、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在することをオペレータにその聴覚を通じて認識させることができる。
また、例えば、作業機械の動作を開始させるための初期操作状態が検知され、かつ、当該作業機械の周辺の対象空間に物体が存在しないことが検知された場合には、当該検知に応じて、当該物体が対象空間に存在しない旨の音声が出力装置から出力され得る。これにより、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在することをオペレータにその聴覚を通じて認識させることができる。
なお、本発明において、「作業機械の動作」とは、作業機械の全体的な動作のほか、その一部である部分の動作をも包含する概念である。また、本発明において、周辺物体検知部による検知結果を示す音声を出力装置に出力させることは、当該物体が対象空間に存在することが検知された場合と、当該物体が対象空間に存在しないことが検知された場合とのいずれか一方の場合だけで実行してもよい。
本発明では、前記制御要素は、前記操作状態検出器により前記作業機械を始動させるための初期操作状態が前記操作装置の操作状態として検知されたことに応じて、前記周辺物体検知部による検知結果を表す前記作業機械及びその周辺の鳥瞰画像又は俯瞰画像を前記出力装置にさらに出力させることを採用し得る。
これによれば、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在する場合に、出力装置により出力される鳥瞰画像又は俯瞰画像に応じて、作業機械の周囲の対象空間に物体が存在することをオペレータにその視覚を通じて認識させることができる。
また、本発明では、前記制御要素は、前記操作状態検出器により前記作業機械を始動させるための初期操作状態が前記操作装置の操作状態として検知され、且つ、前記周辺物体検知部により前記対象空間に前記物体が存在することが検知されたことに応じて、その後の前記作業機械の操作の注意事項に関する音声を前記出力装置にさらに出力させることを採用し得る。
これによれば、作業機械の操作装置の操作状態として、作業機械の動作を開始させるための初期操作状態が検知され、かつ、当該作業機械の周辺の対象空間に物体が存在することが検知されたことに応じて、その後の作業機械の操作の注意事項に関する音声が出力装置から出力される。これにより、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在する場合に、該物体が存在することに加えて、その状況に応じたその後の作業機械の操作の注意事項をオペレータにその聴覚を通じて認識させることができる。
また、本発明では、前記制御要素は、前記周辺物体検知部により前記対象空間に前記物体が存在することが検知された後、前記周辺物体検知部により前記対象空間に前記物体が存在しないことが検知されたことに応じて、前記対象空間から前記物体が外れた旨の音声を前記出力装置にさらに出力させるという態様をを採用し得る。
当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在することをオペレータにその聴覚を通じて認識させた後、オペレータによる操作装置を通じた作業機械の操作等に応じた状況変化によって、対象空間から当該物体がいなくなったことをオペレータにその聴覚を通じて認識させることができる。
次に、本発明のより具体的な態様を説明する。
本発明の第1の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記作業機械による作業を開始するための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しないを前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記対象空間に物体が存在するを前記出力装置に出力させ
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第2の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記対象空間における物体の相対的な位置又は方位を示す情報を前記出力装置に出力させ
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第3の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記操作装置の操作に関して注意すべき注意事項を前記出力装置に出力させ
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第4の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記作業機械を移動させる方向と距離を指令する情報を前記出力装置に出力させ
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第5の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記操作装置の操作に関して実行すべきでない処理を示す情報を前記出力装置に出力させ
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第6の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者が着座するシートの周囲の複数個所に配置され、前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記周辺物体検知部により検知された物体が存在している相対的な位置又は相対的な方位を示す情報を取得し、前記シートに対する位置関係が当該相対的な位置又は当該相対的な方位に整合している前記出力装置に前記周辺物体検知部による物体の検知結果を示す音声を出力させる、又は前記シートに対する位置関係が当該相対的な位置又は当該相対的な方位に整合している前記出力装置の音量を他の前記出力装置よりも大きくして前記周辺物体検知部による物体の検知結果を示す音声を出力させ
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
また、前記第1~第6の態様では、前記周辺物体検知部が前記作業機械の周囲の対象空間に前記物体を検知した場合に、前記作業機械及びその周辺の鳥瞰画像又は俯瞰画像を前記出力装置にさらに出力させるという態様(第7の態様)を採用し得る。
また、前記第1~第7の態様では、前記周辺物体検知部が前記作業機械の周囲の対象空間に前記物体を検知した後に当該対象空間に前記物体が検知されなくなった場合に、前記対象空間から前記物体が外れた旨の情報を前記出力装置にさらに出力させるという態様(第8の態様)を採用し得る。
本発明の一実施形態を適用した作業機械の遠隔操作システムの全体構成を示す図。 実施形態の遠隔操作システムの制御に関する構成を示すブロック図。 作業機械の周囲に設定された対象空間を例示する図。 実施形態の遠隔操作システムの遠隔操作装置の構成を示す図。 実施形態の遠隔操作システムの作動に関するフローチャート。
本発明の一実施形態を図1~図5を参照して以下に説明する。本実施形態は、例えば、作業機械10を、オペレータ(操作者)3が遠隔操作装置40によって遠隔操作し得るように構成された遠隔操作システム1に適用した実施形態である。
作業機械10は、例えば油圧ショベルであり、アタッチメント11、アーム12、ブーム13、旋回体14及び走行体15を備えている。走行体15は、図示例ではクローラ式の走行体であり、図示しない走行用油圧モータにより駆動される。なお、走行体15は車輪型の走行体であってもよい。
旋回体14は、走行体15の上側に配置され、図示しない旋回用油圧モータにより走行体15に対してヨー軸周りに旋回し得るように構成されている。この旋回体14の後部には、図示しない油圧機器(油圧ポンプ、方向切換弁、作動油タンク等)と、油圧ポンプ等の動力源たる図示しないエンジンとが収容された機械室14bが備えられている。
また、作業機械10は、運転者が搭乗して操縦することも可能な作業機械であり、旋回体14の前部には、運転室14aが備えられている。運転室14aには、作業機械10の操縦用の操作装置17(図2に示す)が配置されている。該操作装置17は、図示しない操作レバー、操作ペダル、操作スイッチ等を含む。
ブーム13は、油圧シリンダ13aにより旋回体14に対して揺動し得るように旋回体14の前部に取付けられ、アーム12は、油圧シリンダ12aによりブーム13に対して揺動し得るようにブーム13の先端部に取付けられ、アタッチメント11は、油圧シリンダ11aによりアーム12に対して揺動し得るようにアーム12の先端部に取付けられている。なお、図1では、アタッチメント11として、バケットを例示しているが、アタッチメント11は、他の種類のアタッチメント(破砕機、ブレーカ、マグネット等)であってもよい。
なお、作業機械10は、上記の走行用油圧モータ、旋回用油圧モータ、及び油圧シリンダ11a,12a,13a以外のアクチュエータ(例えば、ドーザの駆動用の油圧アクチュエータ、破砕機等のアタッチメントに含まれる油圧アクチュエータ等)をさらに含み得る。また、作業機械10の一部のアクチュエータ(例えば旋回用アクチュエータ)は、電動アクチュエータであってもよい。
上記構成の作業機械10では、エンジンを作動させた状態で操作装置17の操作レバー又は操作ペダルを操作することで、走行用油圧モータ、旋回用油圧モータ、油圧シリンダ11a,12a,13a等の各アクチュエータを各々作動させ、ひいては、作業機械10を操縦することができる。この場合、操作装置17の操作に応じた各アクチュエータの作動は、例えば公知の作業機械と同様に行い得る。
そして、本実施形態では、作業機械10の遠隔操作を可能とするために、図2に示すように、操作装置17を駆動する電動式の操作駆動装置21が作業機械10に搭載されている。この操作駆動装置21は、複数の電動モータ(図示せず)を有し、運転室14aに設置されている。そして、操作駆動装置21は、操作装置17に含まれる各操作レバー又は操作ペダルのそれぞれを電動モータにより駆動し得るように操作装置17に接続されている。なお、操作駆動装置21は、作業機械10の遠隔操作を行わない場合には、作業機械10から取り外し可能に構成されていてもよい。
作業機械10にはさらに、図2に示すように、作業機械10の動作状態を検出するための動作状態検出器22と、作業機械10の周囲の所定の領域を撮影するカメラ23と、作業機械10の周囲に存在する物体を検知するための外界センサ24と、種々の制御処理を実行可能な作業機側制御装置25と、遠隔操作装置40側と通信を行うための無線通信装置26とが搭載されている。
動作状態検出器22は、詳細な図示は省略するが、例えば、アタッチメント11、アーム12、及びブーム13のそれぞれの揺動動作の回転角(又は、油圧シリンダ11a,12a,13aのストローク長)を検出する検出器、旋回体14の旋回角度を検出する検出器、及び、走行体15の駆動速度を検出する検出器を含む。なお、動作状態検出器22は、例えば、旋回体14又は走行体15の傾斜角を検出する検出器、旋回体14の角速度又は加速度を検出する慣性センサ等をさらに含み得る。
カメラ23は、例えば、旋回体14の前方領域を撮影し得るように、運転室14aの天井部等に搭載されている。なお、作業機械10の周囲の複数の領域を撮影し得るように複数のカメラ23が作業機械10に搭載されていてもよい。
外界センサ24は、本実施形態における作業機械用周辺監視装置の構成要素である。この外界センサ24は、例えばカメラ、測距センサ、レーダ等により構成され、旋回体14の周囲に存在する物体を検出し得るように旋回体14の周縁部等の複数の箇所に設置されている。なお、上記カメラ23を外界センサ24として利用することも可能である。
作業機側制御装置25は、例えば、マイクロコンピュータ、メモリ、インターフェース回路等を含む1つ以上の電子回路ユニットにより構成され、カメラ23の撮影映像信号や、外界センサ24及び動作状態検出器22のそれぞれの検出信号を適宜、取得し得る。また、作業機側制御装置25は、無線通信装置26を介して遠隔操作装置40側と適宜、通信を行うことが可能である。
そして、作業機側制御装置25は、実装されたハードウェア構成及びプログラム(ソフトウェア構成)の両方又は一方により実現される機能として、操作装置17の操作に応じて、あるいは、遠隔操作装置40側から無線通信装置26を介して与えられる運転指令に応じて作業機械10の運転制御を行う運転制御部25aとしての機能と、作業機械10の周囲の所定の対象空間AR(図3に示す)に人、設置物等の物体が存在する場合に、該物体を検知する周辺物体検知部25bとしての機能とを有する。
運転制御部25aは、前記操作駆動装置21の作動制御(ひいては、操作装置17の操作制御)を行い得ると共に、エンジンの運転制御を行い得る。
周辺物体検知部25bは、外界センサ24の検出信号に基づいて、作業機械10の周囲の所定の対象空間ARに存在する物体を検知する。この場合、物体の検知を行う対象空間ARは、例えば、図3に示すように、旋回体14の周囲に設定(定義)された領域である。この対象空間ARは、そこに物体が存在する状態で、作業機械10を動作させると、該物体と作業機械との接触が生じる虞がある領域として設定される。そして、周辺物体検知部25は、対象空間ARに図3の例示する如く人等の物体Pが存在する場合に、該物体Pをその存在位置(作業機械10に対する相対位置)を含めて検知する。なお、対象空間ARのサイズもしくは形状は、作業機械10の動作状態に応じて可変的に設定され得る。
次に、遠隔操作装置40について説明する。遠隔操作装置40は、図4に示すように、オペレータ(図示せず)が着座するシート41と、作業機械10の遠隔操作のためにオペレータが操作する操作装置42と、音響情報(聴覚的情報)の出力装置としてのスピーカ43、表示情報(視覚的情報)の出力装置としてのディスプレイ44とを遠隔操作室2内に備える。
また、図2に示すように、遠隔操作装置40は、作業機械10側と無線通信を行うための無線通信装置45と、操作装置42の操作状態を検出するための操作状態検出器46と、種々の制御処理を実行可能なマスタ側制御装置47とを備える。なお、無線通信装置45及びマスタ側制御装置47は、遠隔操作室2の内部及び外部のいずれに配置されていてもよい。
操作装置42は、例えば、作業機械10の操作装置17と同様もしくは類似の構成のものを採用し得る。例えば図4に例示する操作装置42は、シート41に着座したオペレータが操作し得るようにシート41の前側に設置された操作ペダル42ap付きの操作レバー42a、及び、シート41の左右のコンソール41bに各々搭載された操作レバー42b等を含む。ただし、操作装置42は、作業機械10の操作装置17と異なる構成のものであってもよい。例えば操作装置42は、ジョイスティック、操作ボタン等を有する携帯型の操作装置であってもよい。
操作状態検出器46は、例えば、操作装置42に組み込まれたポテンショメータ、接点スイッチ等を含み、操作装置42の各操作部(操作レバー42a,42b、操作ペダル42ap等)の操作状態を示す検出信号を出力するように構成されている。
スピーカ43は、例えば、遠隔操作室2の周囲の複数個所、例えば、遠隔操作室2の前部、後部及び左右の両側に配置されている。ディスプレイ44は、例えば液晶ディスプレイ、ヘッドアップディスプレイ等により構成され、シート41に着座したオペレータが視認し得るように、シート41の前方側に配置されている。なお、本実施形態では、スピーカ43及びディスプレイ44が本発明における出力装置に相当する。
マスタ側制御装置47は、例えば、マイクロコンピュータ、メモリ、インターフェース回路等を含む1つ以上の電子回路ユニットにより構成され、操作状態検出器46の検出信号を適宜、取得し得る。また、マスタ側制御装置47は、無線通信装置45及び作業機械10の無線通信装置26を介して作業機側制御装置25と適宜、通信を行うことが可能である。この通信より、マスタ側制御装置47は、操作状態検出器46で検出された操作装置42の操作状態により規定される作業機械10の運転指令を作業機側制御装置25に送信したり、あるいは、作業機械10側の種々の情報(カメラ23による撮影映像、作業機械10の周囲の物体の検知情報、作業機械10の動作状態の検出情報等)を、作業機側制御装置25から受信することが可能である。
そして、マスタ側制御装置47は、実装されたハードウェア構成及びプログラム(ソフトウェア構成)の両方又は一方により実現される機能として、スピーカ43及びディスプレイ44を制御する出力情報制御部47aとしての機能を有する。該出力情報制御部47aは、本発明における制御要素に相当する。
次に、本実施形態の遠隔操作システム1の作動を具体的に説明する。遠隔操作室2内のシート41に着座したオペレータが作業機械10による作業を開始するために、所定の始動操作(例えば、操作装置42の図示しない始動スイッチのオン操作、あるいは、音声入力操作)を行うと、これに応じてマスタ側制御装置47は、作業機側制御装置25に対して無線通信装置45,26を介して始動指令送信する。
このとき、作業機側制御装置25は、上記始動指令の受信に応じて作業機械10のエンジンを始動する制御処理を運転制御部25aにより実行する。そして、作業機側制御装置25は、エンジンの始動が完了すると、エンジンが始動したことを示すエンジン始動完了情報を無線通信装置26,45を介してマスタ側制御装置47に送信する。また、作業機側制御装置25は、周辺物体検知部25bにより作業機械10の周囲の対象空間ARに、人等の物体が存在するか否かを、外界センサ24の検出信号に基づいて検知する処理を開始する。
マスタ側制御装置47は、上記エンジン始動完了情報を受信すると、作業機械10のエンジンが始動した旨を示す音声情報をスピーカ43から出力させ、あるいは、エンジンが始動した旨を示す表示情報をディスプレイ44に表示させる。これにより、オペレータは、作業機械10のエンジンが始動したことを認識することができる。
さらに、マスタ側制御装置47は、作業機械10のカメラ23による撮影映像(旋回体14の前方側の撮影映像を含む)を、作業機側制御装置25との通信により逐次取得(受信)する。そして、マスタ側制御装置47は、取得した撮影映像をディスプレイ44に表示させつつ、図5のフローチャートに示す初期監視処理を作業機側制御装置25との協働で実行する。
STEP1で、マスタ側制御装置47は、操作状態検出器46の出力(検出信号)に基づいて、作業機械10による作業を開始するための初期操作がなされたか否かを逐次判断する。このSTEP1では、マスタ側制御装置47は、例えば、操作装置42において、作業機械10のいずれかのアクチュエータの作動用の操作レバー42a又は操作ペダル42bが所定の不感帯域を超える操作量まで操作されたこと、あるいは、該不感帯を超える直前の操作量まで操作されたことが、操作状態検出器46の出力に基づいて検知された場合に、初期操作がなされたことを検知する。
あるいは、STEP1では、マスタ側制御装置47は、例えば、作業機械10に搭載された乗降遮断レバー(図示せず)を下げるための操作を、オペレータが操作装置42で実行したことが操作状態検出器46を介して検出された場合に、初期操作がなされたことを検知してもよい。
具体的には、例えば、遠隔操作装置40の操作装置42にも、作業機械10の乗降遮断レバーと同様に上下動操作可能な乗降遮断レバーを備えておき、オペレータが操作装置42の乗降遮断レバーを下げる操作を行うことに応じて、作業機械10でのレバー操作ロック(作業機械10の各アクチュエータへの作動油の供給が遮断される状態)が解除されるように、作業機械10の操作駆動装置21等を構成しておく。この場合、オペレータが作業機械10による作業を開始するときには、レバー操作ロックを解除するために、遠隔操作装置40の乗降遮断レバーを下げる操作を行うので、その操作を初期操作とみなすことができる。
あるいは、例えば、操作装置42において、旋回体14の旋回動作のロックを解除する操作なされたことが、操作状態検出器46の出力に基づいて検知された場合に、初期操作がなされたことを検知するようにしてもよい。
なお、STEP1では、例えば、操作装置42でのエンジンの始動操作を初期操作として検知するようにしてもよい。
マスタ側制御装置47は、STEP1の判断結果が否定的である場合には、STEP1の判断処理を逐次繰り返す。また、STEP1の判断結果が肯定的になった場合(初期操作の実行が検知された場合)には、マスタ側制御装置47は、STEP2の処理を実行する。このSTEP2では、マスタ側制御装置47は、作業機械10の周囲の対象空間ARに人等の物体が存在するか否かを判断する。
具体的には、マスタ側制御装置47は、作業機側制御装置25の周辺物体検知部25bによる物体の検知情報(現在の検知情報)を作業機側制御装置25と通信により取得し、該検知情報に基づいて、対象空間ARに人等の物体が存在するか否かを判断する。
この場合、マスタ側制御装置47は、作業機側制御装置25の周辺物体検知部25bにより対象空間ARに物体が存在することが検知された場合には、そのことを示す検知情報(作業機械10に対して物体が存在する相対的な位置又は相対的な方位を示す情報を含む)を作業機側制御装置25から受信し、ひいては、STEP2の判断結果が肯定的になる。
また、マスタ側制御装置47は、作業機側制御装置25の周辺物体検知部25bにより対象空間ARに物体が存在することが検知されていない場合には、そのことを示す検知情報を作業機側制御装置25から受信し、ひいては、STEP2の判断結果が否定的になる。
そして、STEP2の判断結果が否定的である場合には、マスタ側制御装置47は、STEP4の処理を実行し、図5のフローチャートの処理(初期監視処理)を終了する。STEP4では、マスタ側制御装置47は、作業機械10の周囲の対象空間ARに物体が存在しないことを示す音声情報をスピーカ43から出力させる。例えば、「周囲に障害物は存在しません。」という内容の音声情報が、遠隔操作室2のいずれかの(又は全ての)スピーカ43から出力される。
これによりオペレータは、作業機械10による作業を支障なく開始できることを容易に認識することができる。また、オペレータは、当該情報を、視線の動きを必要とせずに、音声による聴覚的な情報として認識できるので、ディスプレイ44に表示されている撮影映像を見ながら作業を開始することを速やかに実行することができる。
STEP2の判断結果が肯定的である場合には、マスタ側制御装置47は、STEP3からの処理を実行する。STEP3では、マスタ側制御装置47は、作業機械10の周囲の対象空間ARに物体が存在することを示す音声情報をスピーカ43から出力させる。この場合、該音声情報には、対象空間ARに存在する物体の、作業機械10に対する相対的な位置又は方位を示す情報が含まれる。例えば、「右側斜め後方に(又は右側斜め後方の1m以内の位置に)物体が存在します。注意してください。」というような内容の音声情報が、遠隔操作室2のいずれかの(又は全ての)スピーカ43から出力される。これにより、オペレータは、ディスプレイ44に表示されている撮影映像に物体が写っていなかったり、あるいは、撮影映像に写っている物体の存在を見落としていても、作業機械10の周囲の対象空間ARに物体が存在し、また、該物体が、作業機械10に対してどのあたりの位置あるいは方向に存在するのかを容易に認識するこができる。
なお、対象空間ARに存在する物体の種類(人、設置物等)を特定できる場合には、上記音声情報に物体の種類を示す情報を含ませてもよい。
また、上記音声情報をスピーカ43から出力させる処理では、遠隔操作室2に配置された複数のスピーカ43のうちのどのスピーカ43から音声情報を出力させるか、あるいは、音声情報を出力させる各スピーカ43の音量を、対象空間ARにおける物体の存在位置又は存在方向に応じて変化させるようにしてもよい。
例えば、対象空間ARに存在することが検知された物体が作業機械10に近いほど、スピーカ43から出力させる音声情報の音量を大きくするようにしてもよい。これによりオペレータは、該音声情報の音量に基づいて、作業機械10に対する物体の近さの程度を認識することができる。
また、例えば、オペレータの周囲のスピーカ43のうち、オペレータとの位置関係が、対象空間ARにおける物体の存在位置又は存在方向に整合するスピーカ43だけから音声情報を出力させ、あるいは、当該整合するスピーカ43の音量を他のスピーカ43の音量よりも大きくするようにしてもよい。具体的には、例えば、対象空間ARのうち、作業機械10の旋回体14の右側斜め後方に物体が存在することが検知された場合には、遠隔操作室2内の前後左右のスピーカ43のうち、右側及び後側のスピーカ43だけから音声情報を出力させ、あるいは、右側及び後側のスピーカ43から出力させる音声情報の音量を、左側及び前側のスピーカ43から出力させる音声情報の音量よりも大きくする。このようにすることで、オペレータは、音声情報が聞こえる方向、もしくは聞こえやすい方向に基づいて、物体が作業機械10に対してどの方向に存在しているのかを認識することができる。
マスタ側制御装置47は、STEP3ではさらに、ディスプレイ44の一部の領域に、作業機械10の周囲状況を示す俯瞰画像を表示させる。例えば、図3に例示する如く、作業機械10の俯瞰画像と、その周囲の対象空間ARを示す画像とがディスプレイ44に表示されると共に、対象空間ARの画像のうちの物体の存在位置に相当する箇所に、該物体Pを示すマーカ画像(又は該物体の撮影画像)が表示される。これにより、オペレータは、対象空間ARのうちのどの位置に物体が存在しているのかを、ディスプレイ44に表示される視覚的な情報により明示的に認識することができる。
なお、作業機械10の俯瞰画像は、STEP3の処理の実行時に作業機械10の動作状態検出器22により検出された該作業機械10の実際の動作状態に合わせて作成してもよい。例えば、作業機械10の俯瞰画像における旋回体14からアタッチメント11までの距離を、動作状態検出器22の検出信号に基づいて推定される実際の前後方向距離にほぼ比例させるように俯瞰画像を生成してもよい。また、作業機械10の俯瞰画像の代わりに、又は該俯瞰画像に加えて、例えば、作業機械10の鳥瞰画像と、これに対応する対象空間ARの画像と、該対象空間ARで検知された物体の画像とをディスプレイ44に表示させるようにしてもよい。例えば、図3に例示する如く、対象空間ARに存在する人等の物体Pが作業機側制御装置25の周辺物体検知部25bにより検出された場合に、同図に例示する如き態様で、作業機械10、対象空間AR及び物体Pの画像をディスプレイ44に表示させるようにしてもよい。
マスタ側制御装置47は、STEP3ではさらに、対象空間ARに物体が存在することを示す音声情報をスピーカ43から出力させた後に、あるいは、該音声情報に連続させて、オペレータが操作装置42の操作に関して注意すべき注意事項を示す音声情報をスピーカ43から出力させる。具体的には、マスタ側制御装置47は、物体の検知に応じてオペレータが実行すべき対応処理を示す音声情報を、上記注意事項を示す情報としてスピーカ43から出力させる。これに応じてオペレータは適切な対応処理を行うことができる。
例えば、「周囲の対象空間から物体を退避(又は除去)した上で、作業を開始してください。」という内容の音声情報が、上記対応処理を示す情報として出力される。このとき、オペレータは、操作装置42において、作業機械10の周囲に警報出力を発生させるための所定の操作を行う。
これに応じて、マスタ側制御装置47は、当該警報出力の発生指令を作業機側制御装置25に送信する。そして、該発生指令を受信した作業機側制御装置25は、作業機械10に備えられた図示しないスピーカから、物体を対象空間ARから退避(又は除去)させるための警報音又は警報音声を出力させる。なお、当該警報出力は、警報音又は警報音声等の聴覚的な警報出力に限らず、作業機械10の周囲への投光等による視覚的(光学的)な警報出力であってもよい。
また、例えば、対象空間ARに存在する物体が、固定物等、動かすことが困難な物体である場合には、「作業機械を○○の方向に、○○m程度移動させてください。」というような内容の音声情報をスピーカ43から出力させるようにしてもよい。この場合、オペレータは、作業機械10を、音声情報に従って、移動させるように操作装置42を操作する。このとき、マスタ側制御装置47は、当該指令に応じた移動指令を作業機側制御装置25に送信する。そして、該移動指令を受信した作業機側制御装置25は、運転制御部25aにより操作駆動装置21を制御することで、操作装置17を操作する。こにより、作業機械10が上記移動指令に従って移動する。
なお、STEP3において、オペレータが実施すべき対応処理を示す音声情報の代わりに、あるいは、該音声情報に加えて、オペレータが実行すべきでない処理を示す音声情報を、注意事項を示す情報としてスピーカ43から出力させてもよい。例えば、作業機械10の旋回体14の右側後方物体が存在する場合に、「旋回体を左側に(反時計周り側に)旋回させないでください。」という音声情報をスピーカ43から出力させたり、作業機械10の真後ろに物体が存在する場合に、「走行体を後退させないでください。」という内容の音声情報をスピーカ43から出力させるようにしてもよい
上記の如き、STEP3の処理を実行した後、マスタ側制御装置47は、次に、STEP5において、対象空間ARから物体が離脱したか否かを逐次判断する。具体的には、マスタ側制御装置47は、作業機側制御装置25の周辺物体検知部25bによる物体の検知情報を作業機側制御装置25と通信により取得し、該検知情報に基づいて、対象空間ARに人等の物体が存在するか否かを逐次判断する。
この場合、マスタ側制御装置47は、作業機側制御装置25の周辺物体検知部25bにより対象空間ARに物体が存在することが検知されている場合には、そのことを示す検知情報を作業機側制御装置25から受信し、ひいては、STEP5の判断結果が否定的になる。この場合には、マスタ側制御装置47は、STEP5の判断処理を繰り返す。なお、この場合、STEP3と同様の音声情報をスピーカ43から出力させることを間欠的に繰り返すようにしてもよい。また、STEP3と同様にディスプレイ44に作業機械10の俯瞰画像等を表示することを継続してもよい。この場合、対象空間AR内の物体の移動に応じてディスプレイ44に表示させる該物体の画像を移動させるようにしてもよい。
一方、マスタ側制御装置47は、作業機側制御装置25の周辺物体検知部25bにより対象空間ARに物体が存在することが検知されなくなった場合には、そのことを示す検知情報を作業機側制御装置25から受信し、ひいては、STEP5の判断結果が否定的になる。この場合には、マスタ側制御装置47は、STEP6の処理を実行した上で、図5のフローチャートの処理(初期監視処理)を終了する。
STEP6では、マスタ側制御装置47は、対象空間ARから物体が離脱したことを示す音声情報をスピーカ43から出力させる。例えば、「物体が対象空間の外に出ました。」という内容の音声情報がスピーカ43から出力される。これにより、オペレータは、作業を支障なく開始できる状態になったことを、視線の動きを必要とせずに、音声による聴覚的な情報として認識できるので、ディスプレイ44に表示される撮影映像を見ながら作業を開始することを速やかに実行することができる。
以上の如く、本実施形態によれば、オペレータは、作業機械10による作業を開始しようとしたときに、作業機械10の周囲の対象空間ARに物体が存在するのか否かを、スピーカ43から出力される音声情報により容易に認識することができる。従って、オペレータは、作業機械10の周囲の状況に対する配慮を行うことの必要性が高い状況で、ディスプレイ44に表示される作業機械10の周囲の撮影映像を注意深く観察することを必要とせずに、作業機械10の周囲の状況(対象空間ARに物体が存在するか否か)を容易に認識することができる。
さらに、対象空間ARに物体が存在する場合には、作業機械10とその周囲の俯瞰画像(又は鳥瞰画像)が物体の画像と共にディスプレイ44に表示されるので、オペレータは、物体が作業機械10に対してどのような位置又は方向に存在するのかを容易に認識することができる。
また、対象空間ARに物体が存在する場合に、適切な対応処理を示す音声情報がオペレータに対して出力されるので、オペレータは、適切な対応処理をスムーズに実施できる。さらに、対象空間ARに物体が存在しなくなった場合には、そのことを示す音声情報がオペレータに対して出力されるので、オペレータは、スムーズに作業機械10による作業を開始することができる。
なお、本発明は以上説明した実施形態に限定されるものではなく、他の実施形態を採用することもできる。以下に他の実施形態をいくつか例示する。
前記実施形態では、オペレータによる操作装置42の初期操作がなされた場合に、作業機械10の周囲の対象空間ARに物体が存在することが検知された場合と、物体の存在が検知されない場合とのいずれの場合でも、当該検知結果を示す音声情報を出力するようにした。ただし、例えば、対象空間ARに物体が存在することが検知された場合にだけ、そのことを示す音声情報を出力する(物体が存在することが検知されない場合には、音声情報を出力しない)ようにしてもよい。すなわち、図5のSTEP4の処理を省略してもよい。
また、物体が対象空間ARに存在することが検知された場合のSTEP3の処理で、作業機械10の周囲状況を示す俯瞰画像(又は鳥瞰画像)をディスプレイ44に表示すること、あるいは、対応処理を示す音声情報を出力することを省略してもよい。また、STEP5,6の処理(物体が対象空間ARから離脱した場合に、その旨を示す音声情報を出力する処理)を省略してもよい。
また、前記実施形態では、初期操作として、作業機械10の作業開始時における操作装置42の操作レバーの操作、エンジンの始動操作、あるいは、レバー操作ロックの解除操作等を例示したが、これらの操作の組み合わせにより初期操作を検知してもよい。例えば、作業の開始時には、エンジンの始動操作と、レバー操作ロックの解除操作が行われるで、これらの両方の操作を検出することで、初期操作を検出するようにしてもよい。また、作業開始後には、作業機械10のアクチュエータの作動用の操作レバーの操作の初期段階を検出することで、初期操作を検出するようにしてもよい。
また、前記実施形態では、作業機械10による作業の途中で遠隔操作装置40の操作装置42の操作が一時的に中立状態(無操作状態)になった場合、あるいは、作業機械10の走行や旋回体14の旋回の操作後に間をおいてアタッチメント11の操作に移行する場合等において、その都度、初期操作が検知されて、物体の有無が検知される。ただし、操作装置42での操作入力が無い時間が所定の短時間である場合には、操作装置42の操作が継続しているものとみなし、所定の短時間内に再び操作入力があっても、当該操作を初期操作と判断しないようにしてもよい。
また、前記実施形態では、作業機械10として油圧ショベルを例示したが、本発明における作業機械は、クレーン、林業機械等の作業機械であってもよい。また、作業機械10は、遠隔操作専用の作業機械であってもよい。
また、前記実施形態では、作業機械10の遠隔操作システム1を例示したが、本発明は、オペレータが搭乗で操縦する作業機械についても適用することができる。この場合、作業機械の操作装置による初期操作を、例えば、該操作装置の操作に応じて発生するパイロット圧の検出値に基づいて検知するようにしてもよい。
10…作業機械、25b…周辺物体検知部、42…操作装置、43…スピーカ(出力装置)、44…ディスプレイ(出力装置)、46…操作状態検出

Claims (8)

  1. 操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
    前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
    前記操作者に対して報知情報を出力する出力装置と、を備え、
    前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記作業機械による作業を開始するための初期操作がなされたか否かを逐次判断する判断処理を実行し、
    前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
    前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しないを前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記対象空間に物体が存在するを前記出力装置に出力させ
    前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。
  2. 操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
    前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
    前記操作者に対して報知情報を出力する出力装置と、を備え、
    前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
    前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
    前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記対象空間における物体の相対的な位置又は方位を示す情報を前記出力装置に出力させ
    前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。
  3. 操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
    前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
    前記操作者に対して報知情報を出力する出力装置と、を備え、
    前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
    前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
    前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記操作装置の操作に関して注意すべき注意事項を前記出力装置に出力させ
    前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。
  4. 操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
    前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
    前記操作者に対して報知情報を出力する出力装置と、を備え、
    前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
    前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
    前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記作業機械を移動させる方向と距離を指令する情報を前記出力装置に出力させ
    前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。
  5. 操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
    前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
    前記操作者に対して報知情報を出力する出力装置と、を備え、
    前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
    前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
    前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記操作装置の操作に関して実行すべきでない処理を示す情報を前記出力装置に出力させ
    前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。
  6. 操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
    前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
    前記操作者が着座するシートの周囲の複数個所に配置され、前記操作者に対して報知情報を出力する出力装置と、を備え、
    前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
    前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
    前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記周辺物体検知部により検知された物体が存在している相対的な位置又は相対的な方位を示す情報を取得し、前記シートに対する位置関係が当該相対的な位置又は当該相対的な方位に整合している前記出力装置に前記周辺物体検知部による物体の検知結果を示す音声を出力させる、又は前記シートに対する位置関係が当該相対的な位置又は当該相対的な方位に整合している前記出力装置の音量を他の前記出力装置よりも大きくして前記周辺物体検知部による物体の検知結果を示す音声を出力させ
    前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。
  7. 請求項1~6のいずれか1項に記載の作業機械用周辺監視装置において、
    前記周辺物体検知部が前記作業機械の周囲の対象空間に前記物体を検知した場合に、前記作業機械及びその周辺の鳥瞰画像又は俯瞰画像を前記出力装置にさらに出力させることを特徴とする作業機械用周辺監視装置。
  8. 請求項1~7のいずれか1項に記載の作業機械用周辺監視装置において、
    前記周辺物体検知部が前記作業機械の周囲の対象空間に前記物体を検知した後に当該対象空間に前記物体が検知されなくなった場合に、前記対象空間から前記物体が外れた旨の情報を前記出力装置にさらに出力させることを特徴とする作業機械用周辺監視装置。
JP2018237009A 2018-12-19 2018-12-19 作業機械用周辺監視装置 Active JP7283070B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018237009A JP7283070B2 (ja) 2018-12-19 2018-12-19 作業機械用周辺監視装置
US17/292,849 US20210395981A1 (en) 2018-12-19 2019-12-13 Surrounding monitoring apparatus for work machine
PCT/JP2019/048892 WO2020129832A1 (ja) 2018-12-19 2019-12-13 作業機械用周辺監視装置
EP19897745.6A EP3858676B1 (en) 2018-12-19 2019-12-13 Surrounding monitoring apparatus for work machine
CN201980072633.4A CN113039094B (zh) 2018-12-19 2019-12-13 工程机械用周边监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018237009A JP7283070B2 (ja) 2018-12-19 2018-12-19 作業機械用周辺監視装置

Publications (2)

Publication Number Publication Date
JP2020097866A JP2020097866A (ja) 2020-06-25
JP7283070B2 true JP7283070B2 (ja) 2023-05-30

Family

ID=71101288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018237009A Active JP7283070B2 (ja) 2018-12-19 2018-12-19 作業機械用周辺監視装置

Country Status (5)

Country Link
US (1) US20210395981A1 (ja)
EP (1) EP3858676B1 (ja)
JP (1) JP7283070B2 (ja)
CN (1) CN113039094B (ja)
WO (1) WO2020129832A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022121138A (ja) * 2021-02-08 2022-08-19 コベルコ建機株式会社 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム
JPWO2023190323A1 (ja) * 2022-03-29 2023-10-05

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064144A (ja) 2012-09-20 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
JP5755576B2 (ja) 2012-01-25 2015-07-29 住友重機械工業株式会社 運転補助装置
JP2017102606A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
WO2018008504A1 (ja) 2016-07-04 2018-01-11 住友建機株式会社 ショベル
JP2018111981A (ja) 2017-01-11 2018-07-19 住友建機株式会社 作業機械用周辺監視システム
JP2018197493A (ja) 2018-08-23 2018-12-13 住友重機械工業株式会社 ショベル

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2362465C3 (de) * 1973-12-15 1978-04-06 Thyssen Plastik Anger Kg, 8000 Muenchen Verfahren zur Herstellung von starren Rohrbogen aus Kunststoff und Vorrichtung zur Durchführung des Verfahrens
JPH0640066U (ja) * 1992-10-27 1994-05-27 住友建機株式会社 建設機械の作業安全装置
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5767793A (en) * 1995-04-21 1998-06-16 Trw Inc. Compact vehicle based rear and side obstacle detection system including multiple antennae
US20040217851A1 (en) * 2003-04-29 2004-11-04 Reinhart James W. Obstacle detection and alerting system
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置
US9110454B2 (en) * 2013-02-14 2015-08-18 Caterpillar Inc. Machine detection system
US9836059B2 (en) * 2014-03-26 2017-12-05 Yanmar Co., Ltd. Autonomous travel working vehicle
EP3125060A1 (en) * 2014-03-28 2017-02-01 Yanmar Co., Ltd. Autonomously traveling work vehicle
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
WO2018084161A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用安全管理システム、管理装置、安全管理方法
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system
JP6290497B2 (ja) * 2017-06-16 2018-03-07 住友重機械工業株式会社 ショベル
JP6678142B2 (ja) * 2017-09-26 2020-04-08 日立建機株式会社 作業員接近通知システム
CN111344460B (zh) * 2017-12-04 2022-04-26 住友重机械工业株式会社 周边监视装置
US11401696B2 (en) * 2017-12-14 2022-08-02 Hitachi Construction Machinery Co., Ltd. Work machine
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
JP6740259B2 (ja) 2018-01-04 2020-08-12 住友重機械工業株式会社 作業機械
WO2020067303A1 (ja) * 2018-09-27 2020-04-02 住友重機械工業株式会社 ショベル、情報処理装置
JP2020063566A (ja) * 2018-10-15 2020-04-23 日立建機株式会社 油圧ショベル
JP7472034B2 (ja) * 2018-10-31 2024-04-22 住友建機株式会社 ショベル、ショベル支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5755576B2 (ja) 2012-01-25 2015-07-29 住友重機械工業株式会社 運転補助装置
JP2014064144A (ja) 2012-09-20 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
JP2017102606A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
WO2018008504A1 (ja) 2016-07-04 2018-01-11 住友建機株式会社 ショベル
JP2018111981A (ja) 2017-01-11 2018-07-19 住友建機株式会社 作業機械用周辺監視システム
JP2018197493A (ja) 2018-08-23 2018-12-13 住友重機械工業株式会社 ショベル

Also Published As

Publication number Publication date
US20210395981A1 (en) 2021-12-23
WO2020129832A1 (ja) 2020-06-25
CN113039094A (zh) 2021-06-25
EP3858676A1 (en) 2021-08-04
JP2020097866A (ja) 2020-06-25
CN113039094B (zh) 2024-05-14
EP3858676B1 (en) 2024-03-06
EP3858676A4 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
JP7012643B2 (ja) ショベル
JP4776491B2 (ja) 作業機械の周囲監視装置
JP4996928B2 (ja) 作業機械の周囲監視装置
JP2010112100A (ja) 作業機械の監視装置
EP3754120B1 (en) Remote control system and main control device
EP3960938A1 (en) Excavator
JP2010059653A (ja) 作業機械の視野補助装置
EP3751845B1 (en) Working machine control device
JP7511547B2 (ja) 表示装置、ショベル、情報処理装置
JP7358070B2 (ja) ショベル
EP3960937A1 (en) Shovel, and safety equipment confirmation system for worksite
JP7009063B2 (ja) 作業機械用周辺監視システム
JP7283070B2 (ja) 作業機械用周辺監視装置
EP3733982B1 (en) Shovel and output device of shovel
JP2020183623A (ja) ショベル
US12031297B2 (en) Work machine
JP2022157923A (ja) ショベル
EP3904607A1 (en) Operating mechanism for work machine and work machine equipped with same
US11821171B2 (en) Work machine
CN114867921B (zh) 工程机械的远程操纵系统
WO2020080294A1 (ja) 油圧ショベル
WO2023132321A1 (ja) 周辺監視システム、作業機械
JP2024006225A (ja) 作業機械用監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230501

R150 Certificate of patent or registration of utility model

Ref document number: 7283070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150