JP7447531B2 - 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 Download PDF

Info

Publication number
JP7447531B2
JP7447531B2 JP2020025723A JP2020025723A JP7447531B2 JP 7447531 B2 JP7447531 B2 JP 7447531B2 JP 2020025723 A JP2020025723 A JP 2020025723A JP 2020025723 A JP2020025723 A JP 2020025723A JP 7447531 B2 JP7447531 B2 JP 7447531B2
Authority
JP
Japan
Prior art keywords
remote control
condition
remote
control device
work machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020025723A
Other languages
English (en)
Other versions
JP2021132266A (ja
Inventor
龍一 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020025723A priority Critical patent/JP7447531B2/ja
Priority to EP21756623.1A priority patent/EP4071311B1/en
Priority to US17/791,746 priority patent/US20230031436A1/en
Priority to CN202180013659.9A priority patent/CN115066910A/zh
Priority to PCT/JP2021/000414 priority patent/WO2021166477A1/ja
Publication of JP2021132266A publication Critical patent/JP2021132266A/ja
Application granted granted Critical
Publication of JP7447531B2 publication Critical patent/JP7447531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/003—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2058—Electric or electro-mechanical or mechanical control devices of vehicle sub-units
    • E02F9/2062—Control of propulsion units
    • E02F9/2066—Control of propulsion units of the type combustion engines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/40—Force or pressure sensors
    • B60N2210/42—Strain gauges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00—Communication or electronic aspects
    • B60N2230/20—Wireless data transmission
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • E02F9/268—Diagnosing or detecting failure of vehicles with failure correction follow-up actions

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための技術に関する。
油圧ショベル等の作業機械において、ゲートロックレバーが操作されて作動停止装置による遮断が解除された後における誤動作を防止することができる作業機械の操作回路が提案されている（例えば、特許文献１参照）。
非常停止時にも機械の状況把握および非常停止か否かを判断できる建設機械の非常停止システムが提案されている（例えば、特許文献２参照）。このシステムによれば、イグニッションスイッチが閉状態であれば各電子機器に電力が供給される。また、第２の電子機器は、各電子機器に電力が供給されたままの状態で、作業機停止手段に作業機の動作を停止させる作業機停止指令および第１の電子機器にエンジンを停止させるエンジン停止指令を行うことができる。
通信手段に異常が発生した場合、その異常発生箇所を迅速かつ容易に特定できる新規な作業機械の遠隔操縦システムが提案されている（例えば、特許文献３参照）。このシステムによれば、異常が発生したと診断された機器が油圧システムおよびエンジンシステムの動作に影響を与えない機器である場合、作業機械を待機状態に制御する。このため、当該機器が映像音声機器である場合、映像を見ることができない状態でオペレータが作業機械を操作するような事態が回避される。さらに、待機状態が所定時間経過した場合、作業機械のエンジンが停止されため、待機状態が長期間にわたり継続する可能性がある状況で不測の事態が発生することが回避される。
特開２００６－２３３６１５号公報 特開２００８－２４８６２７号公報 特開２０１５－１９２１６３号公報
しかし、オペレータが作業機械の遠隔操作を継続する意思があるにもかかわらず、予期せぬ理由でエンジン停止指令があり、作業機械のエンジンが停止された場合、オペレータがエンジンを再始動させる必要があり、その分だけ作業効率が低下する可能性がある。
そこで、本発明は、遠隔操作装置を通じてオペレータにより遠隔操作される作業機械の作業効率の向上を図りうる技術を提供することを目的とする。
本発明の遠隔操作支援サーバは、作業機械を遠隔操作するための遠隔操作装置との通信に基づき、前記遠隔操作装置の入力インターフェースを通じて前記作業機械のエンジン停止指令があったという第１条件、および、前記遠隔操作装置のオペレータの前記作業機械のエンジンを停止させる意思が前記エンジン停止指令に反映されている蓋然性が低いという第２条件の充足性を認識する第１支援処理要素と、前記第１支援処理要素により前記第１条件および前記第２条件が満たされていると認識された場合、前記作業機械との通信に基づき、前記作業機械のエンジンの動作を停止させずに作業機構の動作を停止させるための第１停止処理を実行する一方、前記第１支援処理要素により前記第１条件が満たされている一方で第２条件が満たされていないと認識された場合、前記作業機械との通信に基づき、前記作業機械の作業機構およびエンジンのそれぞれの動作を停止させるための第２停止処理を実行する第２支援処理要素と、を備えていることを特徴とする。
当該構成の遠隔操作支援サーバによれば、第１条件が満たされている場合、すなわち、遠隔操作装置の入力インターフェースを通じて前記作業機械のエンジン停止指令があった場合、原則的にはエンジンの動作が停止されるものの、例外的にエンジンの動作は停止されない。
具体的には、第２条件が満たされていない場合、すなわち、当該オペレータによりエンジンを停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が高い場合、エンジン停止指令にしたがってエンジンの動作が停止される。この観点から、前記第２条件は、
（ａ）オペレータが前記遠隔操作装置を操作する際の指定箇所に存在していないこと、
（ｂ）前記遠隔操作装置に設けられた非常停止スイッチが操作されたこと、
（ｃ）前記遠隔操作装置または前記遠隔操作支援サーバまたは前記作業機械において動作の異常が発生したこと、および、
（ｄ）前記遠隔操作装置または前記遠隔操作支援サーバまたは前記作業機械において通信の途絶が発生したこと、のうち少なくともいずれか１つであることが好ましい。これにより、オペレータ以外の第三者により誤って作業機構の動作停止状態が解除され、作業機械による作業が再開される事態が確実に回避される。
その一方、第２条件が満たされている場合、すなわち、当該オペレータによりエンジンを停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が低い場合、エンジン停止指令があったにもかかわらず、エンジンの動作が停止されずに継続される。これにより、その状態でオペレータにより作業機構の動作停止状態が解除され、作業機械による作業が迅速に再開されうるので、作業機械を用いた作業効率の向上が図られる。
本発明の遠隔操作支援サーバにおいて、前記第１支援処理要素が、前記遠隔操作装置において前記指定箇所に設けられた指定構造物に前記オペレータが接触しているまたは荷重をかけていることを検知するためのセンサからの出力信号に基づき、前記遠隔操作装置においてオペレータが前記遠隔操作装置を操作する際の指定箇所に存在していないという前記第２条件の充足性を認識することが好ましい。
当該構成の遠隔操作支援サーバによれば、遠隔操作装置においてオペレータが遠隔操作機構を操作する際の指定箇所に設けられた指定構造物に接触しているまたは荷重をかけている場合、当該オペレータによりエンジンを停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が低い。よって、この場合、エンジン停止指令があったにもかかわらず、エンジンの動作が停止されずに継続されることにより、その状態でオペレータにより作業機構の動作停止状態が解除され、作業機械による作業が迅速に再開されうるので、作業機械を用いた作業効率の向上が図られる。
本発明の遠隔操作支援サーバにおいて、前記第１支援処理要素が、前記指定構造物としてのシートに前記オペレータが着座して荷重をかけていることを検知するための前記センサからの出力信号に基づき、前記第２条件の充足性を認識することが好ましい。本発明の遠隔操作支援サーバにおいて、前記第１支援処理要素が、前記遠隔操作装置において前記指定箇所に設けられたシートに着座した人間の顔または表情を認識するための撮像センサからの出力信号に基づき、前記遠隔操作装置においてオペレータが前記遠隔操作装置を操作する際の指定箇所に存在していないという前記第２条件の充足性を認識することが好ましい。
当該構成の遠隔操作支援サーバによれば、遠隔操作装置においてオペレータがシートに着座していない場合、当該オペレータによりエンジンを停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が低い。よって、この場合、エンジン停止指令があったにもかかわらず、エンジンの動作が停止されずに継続されることにより、その状態でオペレータにより作業機構の動作停止状態が解除され、作業機械による作業が迅速に再開されうるので、作業機械を用いた作業効率の向上が図られる。
本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの第１機能に関する説明図。 遠隔操作支援システムの第２機能に関する説明図。 作業環境画像に関する説明図。
（遠隔操作支援システムの構成）
図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０と、により構成されている。作業機械４０を遠隔操作するための遠隔操作装置２０（クライアント）が遠隔操作支援システムの構成要素であってもよい。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。遠隔操作支援サーバ１０が、遠隔操作装置２０により構成されていてもよい。この場合、遠隔制御装置２００が、第１支援処理要素１２１および第２支援処理要素１２２を備えている。
（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔操作装置２０は、「第１クライアント」および「第２クライアント」のうち少なくとも一方として機能する。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１と、オペレータ状態センサ２１２と、を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。
遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
シートＳｔの左側フレームの前方において左側操作レバー２１１１の下方に設けられている遮断レバー２１１３は、上げられた場合に各操作レバー２１１０、２１１１、２１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた場合に当該ロックを解除するための操作レバーとして機能する。
オペレータ状態センサ２１２は、本実施形態では、シートＳｔの一部（例えば、着座部、ひじ掛けもしくは背もたれ）またはシートＳｔの支持部材に設けられた荷重センサ（例えば、ひずみゲージ）により構成されている。当該荷重センサにより検知される荷重の大小または有無に応じてオペレータがシートＳｔに着席しているか離席しているかが判定されうる。そのほか、遠隔操作機構２１１を構成する各操作レバーのうち少なくとも一部に設けられた接触センサまたは荷重センサによりオペレータ状態センサ２１２が構成されていてもよい。シートＳｔに着座した人間の顔または表情を認識するための撮像センサによりオペレータ状態センサ２１２が構成されていてもよい。
画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。
（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、エンジン４６０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。
実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。
実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
エンジン４６０がＯＮである状態で、メインポンプから複数の方向制御弁に対して作動油が供給され、かつ、パイロットポンプから一次圧油が実機操作機構４１１に供給されうる。実機操作機構４１１の遠隔操作指令に応じた動きに応じて二次圧油が方向制御弁に対して供給され、当該方向制御弁の動作に応じた油圧シリンダに対して作動油が供給されることにより、旋回機構４３０および作業機構４４０が動作する。
（第１機能）
前記構成の遠隔操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
遠隔操作装置２０において、オペレータによる遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、処理は終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。
遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１１０）。
作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４１０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４１２）。
遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。
遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。
これにより、例えば、図６に示されているように、作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる環境画像が画像出力装置２２１に出力される。
遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。
遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１１２）。
作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて遠隔操作指令が受信された場合（図４／Ｃ４１２）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。これにより、作業機械４０の遠隔操作が開始される。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
（第２機能）
前記構成の遠隔操作支援システムの第２機能について図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
遠隔操作装置２０において、オペレータによる遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図５／ＳＴＥＰ２２１）。「第１指定操作」は、例えば、ＩＧＮスイッチをＯＦＦからＯＮに切り替えるなど、作業機械４０のエンジン４６０を始動させるための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図５／ＳＴＥＰ２２１‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２１‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対してエンジン動作指令が送信される（図５／ＳＴＥＰ２２２）。当該エンジン動作指令には、遠隔入力インターフェース２１０を通じて指定された作業機械４０を識別するための作業機械識別子が含まれている。
遠隔操作支援サーバ１０において、エンジン動作指令が受信された場合、第１支援処理要素１２１により当該作業機械識別子により識別される作業機械４０に対してエンジン動作指令が送信される（図５／Ｃ１２０）。
作業機械４０において、実機無線通信機器４２２を通じてエンジン動作指令が受信された場合（図５／Ｃ４２０）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮからＯＦＦに切り替えられ、かつ、作業機構４４０が動作指令に応じて動作不可能なロック状態から動作可能なロック解除状態に切り替えられる（図５／ＳＴＥＰ４２０）。これにより、例えば、パイロットポンプから供給される一次圧油が、遠隔操作指令に応じて（実機操作機構４１１の操作態様がアクチュエータにより調節されることにより）二次圧油として方向制御弁に供給されうるので、前記のように作業機構４４０が動作可能な状態になる（図４／ＳＴＥＰ２１６→ＳＴＥＰ２１８→‥→ＳＴＥＰ４１２および図６参照）。
遠隔操作装置２０において、オペレータによる遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２２３）。「第２指定操作」は、例えば、ＩＧＮスイッチをＯＮからＯＦＦに切り替えるなど、作業機械４０のエンジン４６０の動作を停止させるための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図５／ＳＴＥＰ２２３‥ＮＯ）、第２指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２３‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対してエンジン停止指令が送信される（図５／ＳＴＥＰ２２４）。当該エンジン停止指令には、遠隔入力インターフェース２１０を通じて指定された作業機械４０を識別するための作業機械識別子が含まれている。
遠隔操作支援サーバ１０において、エンジン停止指令が受信された場合（図５／Ｃ１２１）、第１支援処理要素１２１により遠隔操作装置２０に対してオペレータ状態要求が送信される（図５／ＳＴＥＰ１２１）。エンジン停止指令が受信されたことは、第１条件が満たされていることと同義である。
遠隔操作装置２０において、遠隔無線通信機器２２２を通じてオペレータ状態要求が受信された場合（図５／Ｃ２２１）、遠隔制御装置２００により、オペレータ状態センサ２１２の出力信号に基づき、オペレータ状態が検知される（図５／ＳＴＥＰ２２５）。例えば、オペレータがシートＳｔに着座しているか否か等、オペレータが遠隔操作機構２１１を操作する際に存在すべき指定箇所に存在しているか否かがオペレータ状態として検知される。そして、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して検知されたオペレータ状態が送信される（図５／ＳＴＥＰ２２６）。
第２指定操作があったと判定された場合（図５／ＳＴＥＰ２２３‥ＹＥＳ）、オペレータ状態要求がなくても、遠隔制御装置２００により、オペレータ状態センサ２１２の出力信号に基づき、オペレータ状態が検知され（図５／ＳＴＥＰ２２５）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して検知されたオペレータ状態が、エンジン停止指令とともに送信されてもよい（図５／ＳＴＥＰ２２６）
遠隔操作支援サーバ１０において、オペレータ状態が受信された場合（図５／Ｃ１２２）、当該オペレータ状態に基づき、第１支援処理要素１２１により第２条件が満たされているか否かが判定される（図５／ＳＴＥＰ１２２）。すなわち、オペレータが遠隔操作機構２１１を操作する際に存在すべき指定箇所に存在していないか否かが判定される。
当該判定結果が肯定的である場合、すなわち、第１条件および第２条件が満たされている場合（図５／ＳＴＥＰ１２２‥ＹＥＳ）、第２支援処理要素１２２により、第１停止指令が作業機械４０に対して送信される（図５／ＳＴＥＰ１２４）。
作業機械４０において、実機無線通信機器４２２を通じて第１停止指令が受信された場合（図５／Ｃ４２１）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮに維持される一方、作業機構４４０がロック解除状態からロック状態に切り替えられる（図５／ＳＴＥＰ４２１）。これにより、パイロットポンプから一次圧油が実機操作機構４１１に対して供給されることが該当する油圧回路の遮断によって禁止されるので、遠隔操作指令があったとしても作業機構４４０が動作不可能な状態になる。
当該判定結果が否定的である場合、すなわち、第１条件が満たされている一方で第２条件が満たされていない場合（図５／ＳＴＥＰ１２２‥ＮＯ）、第２支援処理要素１２２により、第１停止指令が作業機械４０に対して送信される（図５／ＳＴＥＰ１２６）。
作業機械４０において、実機無線通信機器４２２を通じて第２停止指令が受信された場合（図５／Ｃ４２２）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮからＯＦＦに切り替えられ、かつ、作業機構４４０がロック解除状態からロック状態に切り替えられる（図５／ＳＴＥＰ４２２）。これにより、パイロットポンプから一次圧油が実機操作機構４１１に対して供給されなくなり、遠隔操作指令に応じて実機操作機構４１１が動かされたとしても作業機構４４０（および旋回機構４３０）が動作不可能な状態になる。
（効果）
当該構成の遠隔操作支援サーバ１０によれば、第１条件が満たされている場合、すなわち、遠隔操作装置２０の遠隔入力インターフェース２１０を通じて作業機械４０のエンジン停止指令があった場合、原則的にはエンジン４６０の動作が停止されるものの、例外的にエンジン４６０の動作は停止されない。
具体的には、第２条件が満たされていない場合、すなわち、遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在している場合、当該オペレータによりエンジン４６０を停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が高い。よって、この場合、エンジン停止指令にしたがってエンジン４６０の動作が停止されることにより、オペレータ以外の第三者により誤って作業機構４４０（旋回機構４３０を含む。）の動作停止状態が解除され、作業機械４０による作業が再開される事態が確実に回避される（図５／ＳＴＥＰ１２２‥ＮＯ→ＳＴＥＰ１２６→‥ＳＴＥＰ４２２参照）。
その一方、第２条件が満たされている場合、すなわち、遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在していない場合、当該オペレータによりエンジン４６０を停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が低い。よって、この場合、エンジン停止指令があったにもかかわらず、エンジン４６０の動作が停止されずに継続されることにより、その状態でオペレータにより作業機械４０の動作停止状態が解除され、作業機械４０による作業が迅速に再開されうるので、作業機械４０を用いた作業効率の向上が図られる（図５／ＳＴＥＰ１２２‥ＹＥＳ→ＳＴＥＰ１２４→‥ＳＴＥＰ４２１参照）。
（本発明の他の実施形態）
前記実施形態では、（ａ）遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在していないことが第２条件として定義されていたが、他の実施形態として、（ｂ）代替的または付加的に、遠隔操作装置２０に設けられた非常停止スイッチが操作されたこと、（ｃ）遠隔操作装置２０または遠隔操作支援サーバ１０または作業機械４０において動作の異常が発生したこと、および、（ｄ）遠隔操作装置２０または遠隔操作支援サーバ１０または作業機械４０において通信の途絶が発生したことのうち少なくとも１つが第２条件として定義されていてもよい。
１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、４１‥実機入力インターフェース、４２‥実機出力インターフェース、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２１２‥オペレータ状態センサ、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１０‥下部走行体、４２０‥上部旋回体、４２４‥キャブ（運転室）、４４０‥作業機構（作業アタッチメント）、４４５‥バケット（作業部）、４６０‥エンジン。

Claims (7)

  1. 作業機械を遠隔操作するための遠隔操作装置との通信に基づき、前記遠隔操作装置の入力インターフェースを通じて前記作業機械のエンジン停止指令があったという第１条件、および、前記遠隔操作装置のオペレータの前記作業機械のエンジンを停止させる意思が前記エンジン停止指令に反映されている蓋然性が低いという第２条件の充足性を認識する第１支援処理要素と、
    前記第１支援処理要素により前記第１条件および前記第２条件が満たされていると認識された場合、前記作業機械との通信に基づき、前記作業機械のエンジンの動作を停止させずに作業機構の動作を停止させるための第１停止処理を実行する一方、前記第１支援処理要素により前記第１条件が満たされている一方で第２条件が満たされていないと認識された場合、前記作業機械との通信に基づき、前記作業機械の作業機構およびエンジンのそれぞれの動作を停止させるための第２停止処理を実行する第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
  2. 請求項１記載の遠隔操作支援サーバにおいて、
    前記第２条件は、
    （ａ）オペレータが前記遠隔操作装置を操作する際の指定箇所に存在していないこと、
    （ｂ）前記遠隔操作装置に設けられた非常停止スイッチが操作されたこと、
    （ｃ）前記遠隔操作装置または前記遠隔操作支援サーバまたは前記作業機械において動作の異常が発生したこと、および、
    （ｄ）前記遠隔操作装置または前記遠隔操作支援サーバまたは前記作業機械において通信の途絶が発生したこと、のうち少なくともいずれか１つであることを特徴とする遠隔支援サーバ。
  3. 請求項２記載の遠隔操作支援サーバにおいて、
    前記第１支援処理要素が、前記遠隔操作装置において前記指定箇所に設けられた指定構造物に前記オペレータが接触しているまたは荷重をかけていることを検知するためのセンサからの出力信号に基づき、（ａ）前記遠隔操作装置においてオペレータが前記遠隔操作装置を操作する際の指定箇所に存在していないという前記第２条件の充足性を認識することを特徴とする遠隔操作支援サーバ。
  4. 請求項３記載の遠隔操作支援サーバにおいて、
    前記第１支援処理要素が、前記指定構造物としてのシートに前記オペレータが着座して荷重をかけていることを検知するための前記センサからの出力信号に基づき、前記第２条件の充足性を認識することを特徴とする遠隔操作支援サーバ。
  5. 請求項２記載の遠隔操作支援サーバにおいて、
    前記第１支援処理要素が、前記遠隔操作装置において前記指定箇所に設けられたシートに着座した人間の顔または表情を認識するための撮像センサからの出力信号に基づき、（ａ）前記遠隔操作装置においてオペレータが前記遠隔操作装置を操作する際の指定箇所に存在していないという前記第２条件の充足性を認識することを特徴とする遠隔操作支援サーバ。
  6. 請求項１～５のうちいずれか１項に記載の遠隔操作支援サーバと、前記作業機械と、により構成されている遠隔操作支援システム。
  7. 作業機械を遠隔操作するための遠隔操作装置との通信に基づき、前記遠隔操作装置の入力インターフェースを通じて前記作業機械のエンジン停止指令があったという第１条件、および、前記遠隔操作装置のオペレータの前記作業機械のエンジンを停止させる意思が前記エンジン停止指令に反映されている蓋然性が低いという第２条件の充足性を認識する第１支援処理と、
    前記第１支援処理の実行により前記第１条件および第２条件が満たされていると認識された場合、前記作業機械との通信に基づき、前記作業機械のエンジンの動作を停止させずに作業機構の動作を停止させるための第１停止処理を実行する一方、前記第１支援処理の実行により前記第１条件が満たされている一方で第２条件が満たされていないと認識された場合、前記作業機械との通信に基づき、前記作業機械の作業機構およびエンジンのそれぞれの動作を停止させるための第２停止処理を実行する第２支援処理と、を実行することを特徴とする遠隔操作支援方法。
JP2020025723A 2020-02-18 2020-02-18 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 Active JP7447531B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020025723A JP7447531B2 (ja) 2020-02-18 2020-02-18 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
EP21756623.1A EP4071311B1 (en) 2020-02-18 2021-01-07 Remote operation assistance server, remote operation assistance system, and remote operation assistance method
US17/791,746 US20230031436A1 (en) 2020-02-18 2021-01-07 Remote operation assistance server, remote operation assistance system, and remote operation assistance method
CN202180013659.9A CN115066910A (zh) 2020-02-18 2021-01-07 远程操作支援服务器、远程操作支援系统及远程操作支援方法
PCT/JP2021/000414 WO2021166477A1 (ja) 2020-02-18 2021-01-07 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020025723A JP7447531B2 (ja) 2020-02-18 2020-02-18 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Publications (2)

Publication Number Publication Date
JP2021132266A JP2021132266A (ja) 2021-09-09
JP7447531B2 true JP7447531B2 (ja) 2024-03-12

Family

ID=77390729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020025723A Active JP7447531B2 (ja) 2020-02-18 2020-02-18 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Country Status (5)

Country Link
US (1) US20230031436A1 (ja)
EP (1) EP4071311B1 (ja)
JP (1) JP7447531B2 (ja)
CN (1) CN115066910A (ja)
WO (1) WO2021166477A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2579075B (en) * 2018-11-19 2021-06-16 Caterpillar Inc Work machine with sensor enabled user control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011208568A (ja) 2010-03-30 2011-10-20 Kobelco Cranes Co Ltd 作業機械のエンジン制御装置
JP2013064332A (ja) 2011-09-15 2013-04-11 Denso Corp 車両用制御装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6923285B1 (en) * 2000-02-01 2005-08-02 Clark Equipment Company Attachment control device
JP2004224133A (ja) * 2003-01-21 2004-08-12 Kobelco Contstruction Machinery Ltd 建設機械の動力制御装置
JP2004239165A (ja) * 2003-02-06 2004-08-26 Kobelco Contstruction Machinery Ltd 建設機械のエンジン制御装置
JP4673599B2 (ja) * 2004-10-26 2011-04-20 川崎重工業株式会社 作業支援装置およびその作業支援方法
JP2006233615A (ja) 2005-02-25 2006-09-07 Hitachi Constr Mach Co Ltd 作業機械の操作回路
JP5103028B2 (ja) * 2007-01-29 2012-12-19 トヨタ紡織株式会社 車両用シート
JP4750067B2 (ja) 2007-03-30 2011-08-17 株式会社小松製作所 建設機械の非常停止システムおよび建設機械
JP2010059887A (ja) * 2008-09-04 2010-03-18 Denso Corp エンジン制御システム
JP5779973B2 (ja) * 2011-05-16 2015-09-16 コベルコ建機株式会社 ハイブリッド作業機械
JP5620434B2 (ja) * 2012-05-02 2014-11-05 株式会社オプティム オペレータシステム、オペレータサーバ、リモートサポート方法、オペレータサーバ用プログラム、サポート対象電化製品、及び、サポート作業画面表示装置
CN105074174B (zh) * 2013-03-26 2018-11-02 株式会社电装 跨座式车辆的发动机控制装置
JP6027996B2 (ja) 2014-03-27 2016-11-16 日立建機株式会社 作業機械の遠隔操縦システム
JP2016069963A (ja) * 2014-09-30 2016-05-09 日立建機株式会社 建設機械
KR20170048493A (ko) * 2014-10-06 2017-05-08 히다찌 겐끼 가부시키가이샤 작업 기계
JP6654258B2 (ja) * 2017-02-08 2020-02-26 アルプスアルパイン株式会社 認証システム、携帯機、登録方法、およびプログラム
US20180272978A1 (en) * 2017-03-27 2018-09-27 GM Global Technology Operations LLC Apparatus and method for occupant sensing
US10407877B2 (en) * 2017-05-17 2019-09-10 Caterpillar Inc. Method and system for controlling a machine operating at a worksite
US10922903B2 (en) * 2017-07-11 2021-02-16 Waymo Llc Methods and systems for providing remote assistance to a stopped vehicle
JP7175680B2 (ja) * 2018-08-31 2022-11-21 株式会社小松製作所 表示制御装置、表示制御システム、および表示制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011208568A (ja) 2010-03-30 2011-10-20 Kobelco Cranes Co Ltd 作業機械のエンジン制御装置
JP2013064332A (ja) 2011-09-15 2013-04-11 Denso Corp 車両用制御装置

Also Published As

Publication number Publication date
EP4071311A1 (en) 2022-10-12
EP4071311B1 (en) 2024-09-18
EP4071311A4 (en) 2023-08-23
US20230031436A1 (en) 2023-02-02
JP2021132266A (ja) 2021-09-09
WO2021166477A1 (ja) 2021-08-26
CN115066910A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
JP5665652B2 (ja) 建設機械の情報管理装置
JP4699869B2 (ja) 建設機械
JP7247769B2 (ja) 遠隔操作システム
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP6775602B2 (ja) 作業車両および作業車両の制御システム
KR20190000383A (ko) 작업 기계
JP7447531B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
KR20210152559A (ko) 작업 기계
WO2021049409A1 (ja) 建設機械
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP7528539B2 (ja) 遠隔操作支援システム
JP7510895B2 (ja) 作業機械の表示システム
EP3896233B1 (en) Work machine
WO2021186517A1 (ja) 作業機械
JP7363627B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP2022144495A (ja) 遠隔操作支援システムおよび遠隔操作支援方法
WO2024090225A1 (ja) 操作状態切替装置、作業機械および操作状態切替システム
JP2020056300A (ja) ショベル
JPH08218415A (ja) 油圧ショベル用の運転室干渉防止装置及び油圧ショベル
US20220303472A1 (en) Image capturing function control system and image capturing function control method
WO2024202271A1 (ja) 作業機械
JP7529092B2 (ja) 作業機械
JP7441699B2 (ja) 作業機械
WO2024201617A1 (ja) 作業機械用情報入力システム
WO2021054415A1 (ja) ショベル

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R150 Certificate of patent or registration of utility model

Ref document number: 7447531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150