JP7000957B2 - 作業機械操縦装置 - Google Patents

作業機械操縦装置 Download PDF

Info

Publication number
JP7000957B2
JP7000957B2 JP2018064142A JP2018064142A JP7000957B2 JP 7000957 B2 JP7000957 B2 JP 7000957B2 JP 2018064142 A JP2018064142 A JP 2018064142A JP 2018064142 A JP2018064142 A JP 2018064142A JP 7000957 B2 JP7000957 B2 JP 7000957B2
Authority
JP
Japan
Prior art keywords
work machine
lower traveling
traveling body
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018064142A
Other languages
English (en)
Other versions
JP2019173444A (ja
Inventor
員弘 上田
誠司 佐伯
英喜 ▲吉▼原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2018064142A priority Critical patent/JP7000957B2/ja
Priority to CN201980021196.3A priority patent/CN111903122B/zh
Priority to US16/981,590 priority patent/US11970837B2/en
Priority to EP19775627.3A priority patent/EP3751845B1/en
Priority to PCT/JP2019/002234 priority patent/WO2019187560A1/ja
Publication of JP2019173444A publication Critical patent/JP2019173444A/ja
Application granted granted Critical
Publication of JP7000957B2 publication Critical patent/JP7000957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08Superstructures; Supports for superstructures
    • E02F9/10Supports for movable superstructures mounted on travelling or walking gears or on other superstructures
    • E02F9/12Slewing or traversing gears
    • E02F9/121Turntables, i.e. structure rotatable about 360°
    • E02F9/123Drives or control devices specially adapted therefor
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Description

本発明は、作業機械を遠隔操縦可能な作業機械操縦装置に関する。
例えば特許文献1などに、作業機械(同文献では油圧ショベル)が記載されている。同文献に記載の技術では、作業機械の操作者は、キャブ内で操縦を行う。そのため、操作者は、下部走行体を直接目視できる。
特開2007-198040号公報
一方、作業機械が遠隔操縦される場合がある。遠隔操縦が行われる場合、キャブ内で操縦が行われる場合に比べ、操作者が得ることができる視覚情報が制限される。そのため、操作者は、下部走行体に対する上部旋回体の旋回角度を、目標とする旋回角度に合わせることが困難な場合がある。
そこで、本発明は、下部走行体に対する上部旋回体の旋回角度を、目標とする旋回角度に容易に合わせることができる、作業機械操縦装置を提供することを目的とする。
本発明の作業機械操縦装置は、作業機械を遠隔操縦可能である。前記作業機械は、下部走行体と、上部旋回体と、を備える。前記上部旋回体は、前記下部走行体の一部である特定部位を撮影するカメラを備える。前記上部旋回体は、前記下部走行体に対して旋回する。前記作業機械操縦装置は、前記作業機械の外部に設けられ、情報を表示する表示部を備える。前記表示部は、カメラ撮影画像と、下部走行体目標画像と、を表示可能である。
前記カメラ撮影画像は、前記カメラが撮影した画像である。前記下部走行体目標画像は、前記カメラ撮影画像に重ね合わせて表示される。前記カメラ撮影画像中の前記下部走行体目標画像の表示位置は、前記下部走行体に対する前記上部旋回体の旋回角度が前記目標旋回角度になったときに前記カメラ撮影画像中に前記特定部位が表示されるべき位置である。
上記構成により、下部走行体に対する上部旋回体の旋回角度を、目標とする旋回角度に容易に合わせることができる。
作業機械1および作業機械操縦装置40を示すブロック図である。 図1に示す作業機械1を上から見た図である。 図2に示す下部走行体10に対して上部旋回体20が旋回した状態を示す図1相当図である。 図3に示す表示部50に表示された画像を示す図であり、キャブ内カメラ27aに撮影された画像などを示す図である。 図3に示す表示部50に表示された画像を示す図であり、右側方カメラ27cに撮影された画像などを示す図である。 作業機械1の変形例を示す、図1相当図である。 表示部50に表示された画像の変形例を示す図4相当図である。
図1~図5を参照して、図1に示す作業機械操縦装置40、および、作業機械操縦装置40が用いられる作業機械1について説明する。
作業機械1は、作業を行う機械であり、例えば建設作業を行う建設機械であり、例えばショベル(遠隔ショベル)などである。作業機械1は、下部走行体10と、上部旋回体20と、アタッチメント31と、機械側コントローラ35と、を備える。
下部走行体10は、作業機械1の下部に設けられ、走行可能である。図2に示すように、下部走行体10は、下部フレーム11と、クローラ13と、を備える。クローラ13は、下部走行体10を(作業機械1を)走行させる。クローラ13は、下部フレーム11の左右に取り付けられる。左右のクローラ13・13のそれぞれは、下部走行体10の前後方向に延びる。下部走行体10の前後方向の一方側を前側X10とする。前側X10は、下部走行体10が前進する側(向き)である。
上部旋回体20は、図1に示す下部走行体10よりも上に設けられ、下部走行体10に対して旋回する。上部旋回体20は、キャブ21と、ガード23と、カウンタウエイト25と、図2に示すカメラ27と、を備える。上部旋回体20には、アタッチメント31が取り付けられる。ここで、下部走行体10に対する上部旋回体20の旋回の中心を旋回中心Oとする。カウンタウエイト25からアタッチメント31に向かう側を、上部旋回体20の前後方向の前側X20とする。キャブ21は、操作者が作業機械1を操縦するための運転室である。本実施形態では、操作者は、作業機械1を遠隔操縦するので、キャブ21で作業機械1を操縦する必要はない。ガード23は、エンジンおよびポンプなどの機器を覆う。カウンタウエイト25は、上部旋回体20の後側部分に配置される、おもりである。
カメラ27は、作業機械1を遠隔操縦する操作者が、視覚情報を得るために設けられる。カメラ27は、作業機械1の周囲を撮影する。カメラ27は、下部走行体10の特定部位S(後述)を撮影する。カメラ27は、1つのみ設けられてもよく、複数設けられてもよい。例えば、カメラ27には、キャブ内カメラ27aと、左側方カメラ27bと、右側方カメラ27cと、後方カメラ27dと、がある。キャブ内カメラ27aは、キャブ21の内部に配置され、キャブ21、および上部旋回体20の(キャブ21の)前方を撮影する。左側方カメラ27bは、上部旋回体20の左側方を撮影する。右側方カメラ27cは、上部旋回体20の右側方を撮影する。左側方カメラ27bおよび右側方カメラ27cは、例えば上部旋回体20の左右の端などに配置され、例えばガード23の上面などに取り付けられる。後方カメラ27dは、上部旋回体20の後方を撮影する。後方カメラ27dは、例えば上部旋回体20の後部に配置され、例えばカウンタウエイト25の上面などに取り付けられる。なお、カメラ27には、例えば上部旋回体20の斜め前方(側方かつ前方)を撮影するカメラ27があってもよく、例えば上部旋回体20の斜め後方(側方かつ後方)を撮影するカメラ27があってもよい。
アタッチメント31は、作業を行う部分である。図1に示すように、アタッチメント31は、上部旋回体20に取り付けられ、上部旋回体20から前側X20に突出する。
機械側コントローラ35は、信号(情報)の入出力などを行う。機械側コントローラ35は、作業機械1に搭載される。作業機械1が遠隔操縦される場合、機械側コントローラ35は、作業機械操縦装置40から入力された指令に応じて、作業機械1を作動させる。
作業機械操縦装置40は、作業機械1の外部に設けられ、作業機械1を遠隔操縦する装置である。作業機械操縦装置40は、操作者による旋回操作を補助する装置である。作業機械操縦装置40は、座席41と、旋回操作レバー43と、表示部50と、コントローラ60と、を備える。
座席41は、操作者が座る席である。旋回操作レバー43は、下部走行体10に対する上部旋回体20の旋回を操作(旋回操作)するための操作レバーである。旋回操作レバー43は、操作者が遠隔操縦により旋回操作するための操作レバーである。旋回操作レバー43は、座席41の横に配置される。旋回操作レバー43の操作量が、所定の閾値(第1閾値とする)よりも大きい場合に、下部走行体10に対して上部旋回体20が旋回し、第1閾値以下の場合に、下部走行体10に対する上部旋回体20の旋回が停止する。
表示部50は、画像を表示し、各種情報を表示する。表示部50は、ディスプレイ(モニター)である。表示部50は、座席41の正面などに配置される。図4に示すように、表示部50に表示される画像には、カメラ撮影画像51と、下部走行体目標画像53と、がある。
カメラ撮影画像51は、カメラ27(図2参照)が撮影した画像である。カメラ撮影画像51には、下部走行体10が含まれ(映り)、例えばクローラ13が含まれる。なお、旋回角度θ(図2、3参照、後述)によっては、カメラ撮影画像51に下部走行体10が映らない場合があってもよい。例えば、図4に示すように、キャブ内カメラ27a(図2参照)が撮影したカメラ撮影画像51には、キャブ21の内部、および、キャブ21の内部から見たキャブ21外部が映る。例えば、図5に示すように、右側方カメラ27c(図2参照)が撮影したカメラ撮影画像51には、ガード23の右側方が映り、ガード23が映ってもよい。例えば、後方カメラ27dが撮影したカメラ撮影画像51には、カウンタウエイト25の後方が映り、カウンタウエイト25が映ってもよい。カメラ27が複数設けられる場合、カメラ撮影画像51は、カメラ27ごとに切り換えられてもよい。
下部走行体目標画像53は、図4に示すように、下部走行体10の目標位置を示す画像である(詳細は後述)。下部走行体目標画像53は、表示部50に表示可能であり、表示部50に表示されない場合があってもよい(詳細は後述)。
コントローラ60は、図1に示すように、信号(情報)の入出力、演算(判定など)などを行う。コントローラ60は、表示部50の表示を制御する。コントローラ60には、旋回操作レバー43の操作量を示す信号が入力される。コントローラ60は、機械側コントローラ35との間で、無線により情報を送受信する。コントローラ60は、作業機械1を作動させるための指令を、機械側コントローラ35に送信する。コントローラ60は、カメラ27が撮影した画像情報を、機械側コントローラ35から受信する。コントローラ60は、画像認識判定部61と、一致通知部63と、表示切換部65と、を備える(それぞれ後述)。
(作動)
作業機械操縦装置40は、図3に示す旋回角度θを、目標とする旋回角度θ(目標旋回角度)にするための、操作者による旋回操作を補助する。
旋回角度θは、下部走行体10に対する上部旋回体20の角度である。さらに詳しくは、旋回角度θは、作業機械1を上から見て、旋回中心Oを中心とし、下部走行体10の前側X10を基準としたときの、上部旋回体20の前側X20の角度(例えば左回りの角度)である。以下、旋回角度θについては図2、3を参照して説明する。
目標旋回角度は、任意の角度に設定されてもよい。例えば、目標旋回角度は、0°、90°、180°、および270°の少なくともいずれかである。目標旋回角度は、コントローラ60(図1参照)に設定される。例えば、目標旋回角度は、コントローラ60に予め設定されてもよく、操作者に入力されてもよい。
ここで、図4に示すように、カメラ27に撮影される下部走行体10の一部を、特定部位Sとする。例えば、特定部位Sは、クローラ13の一部である。例えば、特定部位Sは、排土板115(図7参照)などでもよい。
(下部走行体目標画像53)
表示部50は、下部走行体目標画像53を表示する。下部走行体目標画像53は、カメラ撮影画像51に重ね合わせて表示される(重畳表示される)。下部走行体目標画像53は、特定部位Sの目標位置を示す画像(目印)である。操作者は、カメラ撮影画像51として表示された特定部位Sを、下部走行体目標画像53に合わせるように、旋回操作を行う。すると、旋回角度θが、目標旋回角度に合わせられる(一致または略一致させられる)。
カメラ撮影画像51中の下部走行体目標画像53の表示位置は、旋回角度θが目標旋回角度になったときにカメラ撮影画像51中に特定部位Sが表示されるべき位置(以下、「特定部位Sの目標表示位置」ともいう)である。特定部位Sの目標表示位置は、配置や寸法などの情報に基づいて、予め算出されてもよい。具体的には例えば、特定部位Sの目標表示位置は、図2に示す上部旋回体20におけるカメラ27の位置、上部旋回体20の寸法、下部走行体10の寸法、下部走行体10における特定部位Sの位置、および目標旋回角度などに基づいて、予め算出されてもよい。また、旋回角度θを目標旋回角度として、図4に示すカメラ撮影画像51をカメラ27で取得し、カメラ撮影画像51中に表示された特定部位Sの位置を、特定部位Sの目標表示位置としてもよい。
下部走行体目標画像53の形状は、特定部位Sの目標位置を示すような形状である。例えば、下部走行体目標画像53の形状は、特定部位Sのシルエットの形状でもよく、特定部位Sの輪郭の形状でもよい。下部走行体目標画像53の形状は、特定部位Sが表示され得る範囲(詳細は後述する変形例を参照)を示す形状でもよく、この範囲の輪郭の形状でもよい。
(旋回角度θの一致度の判定、画像認識判定部61)
図1に示すコントローラ60は、旋回角度θと、目標旋回角度と、の一致度(以下「旋回角度θの一致度」ともいう)を判定する。この判定のために、画像認識判定部61は、図4に示すカメラ撮影画像51に表示された特定部位Sと、下部走行体目標画像53と、の表示の一致度(以下、単に「表示の一致度」ともいう)を、カメラ撮影画像51の画像認識に基づいて判定する。コントローラ60(図1参照)は、この表示の一致度が高いほど、旋回角度θの一致度が高いと判定する。画像認識判定部61(図1参照)は、例えば次のように表示の一致度を判定する。なお、以下では、画像認識判定部61については図1を参照して説明する。
画像認識判定部61は、図4に示す特定部位Sのうち、画像認識しやすい部位を認識する。例えば、画像認識判定部61は、特定部位Sの輪郭を認識してもよく、特定部位Sの輪郭の角(頂点)を認識してもよく、特定部位Sの輪郭の直線状部分を認識してもよい。そして、画像認識判定部61は、認識した特定部位Sと、下部走行体目標画像53と、の表示の一致度を判定する。画像認識判定部61は、例えば次のように表示の一致度を判定する。例えば、画像認識判定部61は、認識した特定部位Sと、下部走行体目標画像53と、が重なっている部分の面積が広いほど、表示の一致度が高いと判定してもよい。例えば、画像認識判定部61は、特定部位Sの輪郭と、下部走行体目標画像53の輪郭と、が近い位置(画像において近い位置)にあるほど、表示の一致度が高いと判定してもよい。例えば、画像認識判定部61は、特定部位Sの一部(例えば角部分、例えば直線部分)と、この一部に対応する下部走行体目標画像53の輪郭の一部(例えば角部分、例えば直線部分)と、が近い位置にあるほど、表示の一致度が高いと判定してもよい。例えば、画像認識判定部61は、特定部位Sの輪郭の直線部分の方向(画像における延びる方向)と、この直線部分に対応する下部走行体目標画像53の輪郭の直線部分の方向と、が近いほど、表示の一致度が高いと判定してもよい。
(旋回角度θの一致度に応じた通知、一致通知部63)
図1に示す一致通知部63は、旋回角度θの一致度に応じて、通知を出力させる。図1に示す一致通知部63が出力させる通知(以下「一致通知部63の通知」ともいう)は、例えば、光(映像を含む)、音、および振動の、少なくともいずれかによる通知などである。一致通知部63は、旋回角度θの一致度に応じて、通知を行うか否かを切り換える。一致通知部63は、旋回角度θの一致度に応じて、通知の内容を変化させてもよい。
[例A]一致通知部63の通知が、光(映像を含む)による通知を含む場合の例は次の通りである。[例A1]一致通知部63は、旋回角度θの一致度に応じた通知を、表示部50に表示させてもよい。[例A1-1]表示部50は、旋回角度θの一致度に応じて、下部走行体目標画像53(図4参照)を変化させてもよい。例えば、表示部50は、旋回角度θの一致度に応じて、下部走行体目標画像53の、形状を変化させてもよく、色彩を変化させてもよく、明度を変化させてもよい(下記[例A1-2][例A2]も同様)。この場合、操作者は、旋回操作時に、下部走行体目標画像53の表示位置から他の位置に視線を移さなくても、旋回角度θの一致度を確認できる。[例A1-2]表示部50は、旋回角度θの一致度に応じて、下部走行体目標画像53とは別の表示を変化させてもよい。[例A2]一致通知部63は、表示部50以外の装置(発光体やディスプレイなど)に通知を出力させてもよい。
[例B]一致通知部63の通知が音による通知を含む場合の例は次の通りである。一致通知部63は、旋回角度θの一致度に応じて、図示しない音声出力部に音を出力させてもよい。例えば、一致通知部63は、旋回角度θの一致度の高さに応じて、音声出力部に出力させる音の大きさや種類などを変化させてもよい。[例C]一致通知部63の通知が振動による通知を含む場合の例は次の通りである。[例C1]一致通知部63は、旋回角度θの一致度に応じて、旋回操作レバー43を振動させてもよい。この場合、一致通知部63は、旋回角度θの一致度に応じて、振動の強さや振動のパターン(時間的変化)を変化させてもよい(下記[例C2]も同様)。この振動は、旋回操作レバー43の操作に影響を与えにくい方向の振動でもよい。[例C2]一致通知部63は、旋回角度θの一致度に応じて、座席41などを振動させてもよい。
なお、旋回角度θを検出する旋回角度センサ(エンコーダなど)が作業機械1に設けられる場合は、一致通知部63は、旋回角度センサが検出した旋回角度θと、目標旋回角度と、の一致度に基づいて通知を出力させてもよい。この場合、コントローラ60は、画像認識を行う必要がない(画像認識判定部61がなくてもよい)ので、コントローラ60の処理の負荷を軽減できる。
(下部走行体目標画像53の表示の切り換え、表示切換部65)
例えば、旋回角度θを目標旋回角度に合わせる必要がない場合など、操作者が、下部走行体目標画像53を見る必要がない場合がある。この場合、例えば、操作者がカメラ撮影画像51を見る際に、下部走行体目標画像53が邪魔になる場合がある。そこで、表示切換部65は、図4に示す下部走行体目標画像53を表示部50に表示させるか否かを切り換える。
図1に示す表示切換部65は、例えば、旋回操作レバー43の操作量が所定量(第2閾値とする)以上のときに、図4に示す下部走行体目標画像53を表示部50に表示させる。図1に示す表示切換部65は、旋回操作レバー43の操作量が第2閾値未満のときに、図4に示す下部走行体目標画像53を表示部50に表示させない。ここで、上記のように、旋回操作レバー43の操作量の閾値であって、下部走行体10に対して上部旋回体20が旋回するか否かの閾値を第1閾値とする。
第2閾値は、第1閾値と同じ値(同じ操作量)でもよい。第2閾値と第1閾値とが同じ操作量である場合は、上部旋回体20(図1参照)が旋回するときに、下部走行体目標画像53を表示部50に表示させることができる。第2閾値は、0(中立位置)よりも大きく、第1閾値未満でもよい。この場合、操作者が旋回操作レバー43(図1参照)をわずかに操作し、上部旋回体20(図1参照)が旋回しない状態で、下部走行体目標画像53を表示部50に表示させることができる。
なお、図1に示す表示切換部65は、旋回操作レバー43の操作量以外の条件(例えば操作、例えばスイッチやボタンの操作など)に基づいて、図4に示す下部走行体目標画像53を表示部50に表示させるか否かを切り換えてもよい。
(遠隔操縦時の課題の例)
図2に示すように、作業機械1を直進させる場合は、通常、特に制約がなければ、上部旋回体20の前側X20に作業機械1を走行させる。この場合、旋回角度θを0°として、下部走行体10を前側X10に直進させる。また、旋回角度θを180°として、下部走行体10を後側(前側X10とは反対側)に直進させてもよい。また、図3に示すように、上部旋回体20の左右方向に作業機械1を走行させながら作業が行われる場合などには、旋回角度θを90°または270°として、下部走行体10を前側X10または後側に直進させる場合もある。
ここで、作業機械1のキャブ21内で操作者が作業機械1を操縦する場合、操作者は、実際の旋回角度θを、目標とする旋回角度θに視覚情報に基づいて合わせる。例えば、目標とする旋回角度θが0°、90°、180°、または270°の場合、操作者は、キャブ21のフレームの直線状部分と、下部走行体10の直線状部分(クローラ13の輪郭、シューなど)と、の平行度や直角度を確認しながら、旋回操作を行う。このとき、操作者は、様々な角度からキャブ21および下部走行体10の平行度や直角度を確認し得る。なお、目標とする旋回角度θは、0°、90°、180°、270°でなくてもよい。
一方、操作者が作業機械1を遠隔操縦する場合は、キャブ21内の操作者が作業機械1を操縦する場合に比べ、操作者が得られる視覚情報が制限される。そのため、例えば、操作者は、上記の平行度や直角度を精度よく把握するのが困難となる。例えば、キャブ内カメラ27aがキャブ21に固定されていれば、上記の平行度や直角度を様々な角度から確認することはできない。[課題の例1]このように、操作者が得られる視覚情報が制限されるため、実際の旋回角度θを、目標とする旋回角度θに合わせるのに、時間や手間がかかるおそれがある。[課題の例2]また、操作者が得られる視覚情報が制限されるため、操作者は、目標とする旋回角度θに対して実際の旋回角度θがわずかにずれていても、このずれに気づきにくい。そのため、操作者の意図した方向とは異なる方向に、作業機械1が走行するおそれがある。
一方、下記のように、本実施形態の作業機械操縦装置40では、操作者は、旋回角度θを目標旋回角度に容易に合わせることができる。なお、作業機械操縦装置40では、上記の課題の一部のみが解決されてもよい。
(効果)
図1に示す作業機械操縦装置40による効果は次の通りである。
(第1の発明の効果)
作業機械操縦装置40は、作業機械1を遠隔操縦可能である。作業機械1は、下部走行体10と、下部走行体10に対して旋回する上部旋回体20と、を備える。図2に示すように、上部旋回体20は、下部走行体10の一部である特定部位Sを撮影するカメラ27を備える。図1に示すように、作業機械操縦装置40は、表示部50を備える。表示部50は、作業機械1の外部に設けられ、情報を表示する。
[構成1]図4に示すように、表示部50は、カメラ撮影画像51と、下部走行体目標画像53と、を表示可能である。カメラ撮影画像51は、カメラ27が撮影した画像である。下部走行体目標画像53は、カメラ撮影画像51に重ね合わせて表示される。カメラ撮影画像51中の下部走行体目標画像53の表示位置は、図2に示す下部走行体10に対する上部旋回体20の旋回角度θが目標旋回角度になったときに図4に示すカメラ撮影画像51中に特定部位Sが表示されるべき位置である。
上記[構成1]では、下部走行体目標画像53が表示されている位置に、特定部位Sが表示されるように、操作者が旋回操作すると、旋回角度θが目標旋回角度に合う。よって、操作者は、図2に示す作業機械1を遠隔操縦するにもかかわらず、旋回角度θを目標旋回角度に容易に合わせる(一致させる、または、略一致させる)ことができる。
(第2の発明の効果)
[構成2]図1に示すように、作業機械操縦装置40は、一致通知部63を備える。一致通知部63は、図2に示す下部走行体10に対する上部旋回体20の旋回角度θと、目標旋回角度と、の一致度(旋回角度θの一致度)に応じて通知を出力させる。
上記[構成2]により、図1に示す一致通知部63が出力させた通知により、操作者は、旋回角度θと目標旋回角度との一致度を把握できる。その結果、操作者は、旋回角度θを目標旋回角度に、より容易に合わせることができる。
(第3の発明の効果)
[構成3]作業機械操縦装置40は、画像認識判定部61を備える。画像認識判定部61は、図4に示すカメラ撮影画像51に表示された特定部位Sと、下部走行体目標画像53と、の表示の一致度を、カメラ撮影画像51の画像認識に基づいて判定する。
上記[構成3]により、図1に示す画像認識判定部61が表示の一致度を判定することで、旋回角度θと目標旋回角度との一致度(旋回角度θの一致度)を判定できる。よって、旋回角度θの一致度を判定するために、旋回角度θを検出する必要がない。よって、旋回角度θを検出する旋回角度センサ(エンコーダなど)を、作業機械1に設ける必要がない。
(第4の発明の効果)
[構成4]作業機械操縦装置40は、表示切換部65を備える。表示切換部65は、図4に示す下部走行体目標画像53を表示部50に表示させるか否かを切り換える。
上記[構成4]により、表示部50に下部走行体目標画像53を表示させないようにできる。よって、操作者が下部走行体目標画像53を見る必要がない場合に、表示部50に下部走行体目標画像53を表示させないようにした場合、下部走行体目標画像53が邪魔になることがない。
(第5の発明の効果)
図1に示すように、作業機械操縦装置40は、下部走行体10に対する上部旋回体20の旋回を遠隔操作する旋回操作レバー43を備える。
[構成5]表示切換部65は、旋回操作レバー43の操作量が所定量以上のときに、図4に示す下部走行体目標画像53を表示部50に表示させる。図1に示す表示切換部65は、旋回操作レバー43の操作量が所定量未満のときに、図4に示す下部走行体目標画像53を表示部50に表示させない。
上記[構成5]により、操作者が旋回角度θを目標旋回角度に合わせようとする操作をしているか否かによって、下部走行体目標画像53を表示部50に表示させるか否かを切り換えることができる。さらに詳しくは、操作者が旋回角度θを目標旋回角度に合わせようとするときには、旋回操作レバー43(図1参照)が操作される。そこで、上記[構成5]では、旋回操作レバー43(図1参照)の操作量が所定量以上のときに、下部走行体目標画像53を表示部50に表示させる。よって、操作者が旋回角度θを目標旋回角度に合わせようとするときに、下部走行体目標画像53を表示部50に表示させることができる。また、操作者が旋回角度θを目標旋回角度に合わせようとする操作をしていないときには、旋回操作レバー43(図1参照)は操作されていない(中立位置である)。そこで、上記[構成5]では、旋回操作レバー43(図1参照)の操作量が所定量未満のときに、下部走行体目標画像53を表示部50に表示させない。よって、操作者が旋回角度θを目標旋回角度に合わせようとする操作を行っていないときに、表示部50に下部走行体目標画像53を表示させないようにできる。
(第6の発明の効果)
[構成6]目標旋回角度は、0°、90°、180°、および270°の少なくともいずれかである。
上記[構成6]により、次の効果が得られる。目標旋回角度が0°の場合、操作者は、旋回角度θを0°に容易に合わせることができる。その結果、図1に示す作業機械1を、上部旋回体20の前側X10(下部走行体10を前進させた場合)または後側(後進させた場合)に正確に走行させやすい。目標旋回角度が90°の場合、操作者は、旋回角度θを90°に容易に合わせることができる。その結果、作業機械1を、上部旋回体20の左側(下部走行体10を前進させた場合)または右側(後進させた場合)に正確に走行させやすい。同様に、目標旋回角度が180°の場合、作業機械1を、上部旋回体20の後側(下部走行体10を前進させた場合)または前側X20(後進させた場合)に正確に走行させやすい。目標旋回角度が270°の場合、作業機械1を、上部旋回体20の右側(下部走行体10を前進させた場合)または左側(後進させた場合)に正確に走行させやすい。
(変形例)
図6および図7を参照して、作業機械操縦装置40(図1参照)の変形例について説明する。図6に示すように、下部走行体10は、排土板115(ドーザ)を備えてもよい。排土板115は、下部フレーム11に上下方向に移動可能に取り付けられる。排土板115は、下部フレーム11に対して左右方向(下部走行体10の左右方向)には移動不可能である。例えば、排土板115は、クローラ13よりも、下部走行体10の前側X10に配置される。排土板115は、下部走行体10の左右方向に長い略板状である。
特定部位Sは、図4に示す例ではクローラ13であったが、図7に示すように排土板115でもよい。図4に示すように、特定部位Sがクローラ13の場合、旋回角度θが目標旋回角度になったときに、カメラ撮影画像51中にクローラ13が表示されるべき位置(特定部位Sの目標表示位置)は、1か所に定まる。一方、図7に示す排土板115は、上下方向に移動可能である。そのため、特定部位Sが排土板115の場合、旋回角度θが目標旋回角度になったときに、カメラ撮影画像51中に排土板115が表示されるべき位置は、1か所には定まらず、所定の範囲内の位置となる。上記「所定の範囲」は、旋回角度θを目標旋回角度とし、排土板115を上下方向に移動させたときに、排土板115が表示され得る範囲(領域、軌跡)である。
この場合、下部走行体目標画像153の形状は、排土板115が表示され得る範囲を表す形状である。下部走行体目標画像153の形状は、例えばこの範囲全体を示すシルエットの形状でもよく、例えばこの範囲の輪郭の形状でもよく、例えばこの範囲の一部分(例えば左右方向の端部など)を示す形状でもよい。
画像認識判定部61(図1参照)は、上記実施形態と同様に、カメラ撮影画像51に表示された排土板115と、下部走行体目標画像153と、の表示の一致度を判定する。ただし、表示の一致度の判定は、排土板115が上下方向に移動可能であることが考慮されて行われることが好ましい。例えば、画像認識判定部61(図1参照)は、カメラ撮影画像51中に表示された排土板115の輪郭に対する、下部走行体目標画像153の輪郭の、上下方向の近さは、表示の一致度の判定に用いられないことが好ましい。
(他の変形例)
上記実施形態および変形例は様々に変形されてもよい。上記実施形態の構成要素の少なくとも一部と、上記変形例の構成要素の少なくとも一部と、が組み合わされてもよい。例えば、各構成要素の配置や形状が変更されてもよい。
例えば、特定部位Sは、図4に示す例ではクローラ13であり、図7に示す例では排土板115であったが、クローラ13および排土板115の両方でもよい。
1 作業機械
10 下部走行体
20 上部旋回体
27 カメラ
40 作業機械操縦装置
43 旋回操作レバー
50 表示部
51 カメラ撮影画像
53、153 下部走行体目標画像
61 画像認識判定部
63 一致通知部
65 表示切換部
S 特定部位
θ 旋回角度

Claims (6)

  1. 下部走行体と、
    前記下部走行体の一部である特定部位を撮影するカメラを備え、前記下部走行体に対して旋回する上部旋回体と、
    を備える作業機械を遠隔操縦可能な作業機械操縦装置であって、
    前記作業機械の外部に設けられ、情報を表示する表示部を備え、
    前記表示部は、
    前記カメラが撮影した画像であるカメラ撮影画像と、
    前記カメラ撮影画像に重ね合わせて表示される下部走行体目標画像と、
    を表示可能であり、
    前記カメラ撮影画像中の前記下部走行体目標画像の表示位置は、前記下部走行体に対する前記上部旋回体の旋回角度が目標旋回角度になったときに前記カメラ撮影画像中に前記特定部位が表示されるべき位置である、
    作業機械操縦装置。
  2. 請求項1に記載の作業機械操縦装置であって、
    前記下部走行体に対する前記上部旋回体の旋回角度と、前記目標旋回角度と、の一致度に応じて通知を出力させる一致通知部を備える、
    作業機械操縦装置。
  3. 請求項2に記載の作業機械操縦装置であって、
    前記カメラ撮影画像に表示された前記特定部位と、前記下部走行体目標画像と、の表示の一致度を、前記カメラ撮影画像の画像認識に基づいて判定する画像認識判定部を備える、
    作業機械操縦装置。
  4. 請求項1~3のいずれか1項に記載の作業機械操縦装置であって、
    前記下部走行体目標画像を前記表示部に表示させるか否かを切り換える表示切換部を備える、
    作業機械操縦装置。
  5. 請求項4に記載の作業機械操縦装置であって、
    前記下部走行体に対する前記上部旋回体の旋回を遠隔操作する旋回操作レバーを備え、
    前記表示切換部は、前記旋回操作レバーの操作量が所定量以上のときに前記下部走行体目標画像を前記表示部に表示させ、前記旋回操作レバーの操作量が前記所定量未満のときに前記下部走行体目標画像を前記表示部に表示させない、
    作業機械操縦装置。
  6. 請求項1~5のいずれか1項に記載の作業機械操縦装置であって、
    前記目標旋回角度は、0°、90°、180°、および270°の少なくともいずれかである、
    作業機械操縦装置。
JP2018064142A 2018-03-29 2018-03-29 作業機械操縦装置 Active JP7000957B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018064142A JP7000957B2 (ja) 2018-03-29 2018-03-29 作業機械操縦装置
CN201980021196.3A CN111903122B (zh) 2018-03-29 2019-01-24 工程机械操纵装置
US16/981,590 US11970837B2 (en) 2018-03-29 2019-01-24 Working machine control device
EP19775627.3A EP3751845B1 (en) 2018-03-29 2019-01-24 Working machine control device
PCT/JP2019/002234 WO2019187560A1 (ja) 2018-03-29 2019-01-24 作業機械操縦装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018064142A JP7000957B2 (ja) 2018-03-29 2018-03-29 作業機械操縦装置

Publications (2)

Publication Number Publication Date
JP2019173444A JP2019173444A (ja) 2019-10-10
JP7000957B2 true JP7000957B2 (ja) 2022-01-19

Family

ID=68058766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018064142A Active JP7000957B2 (ja) 2018-03-29 2018-03-29 作業機械操縦装置

Country Status (5)

Country Link
US (1) US11970837B2 (ja)
EP (1) EP3751845B1 (ja)
JP (1) JP7000957B2 (ja)
CN (1) CN111903122B (ja)
WO (1) WO2019187560A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7310637B2 (ja) * 2020-02-18 2023-07-19 コベルコ建機株式会社 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
CN113296542B (zh) * 2021-07-27 2021-10-01 成都睿铂科技有限责任公司 一种航拍拍摄点获取方法及系统
WO2023026568A1 (ja) * 2021-08-27 2023-03-02 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作複合システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008751A1 (ja) 2013-07-17 2015-01-22 日立建機株式会社 作業機械の周囲監視装置
WO2015155845A1 (ja) 2014-04-09 2015-10-15 株式会社日立製作所 作業機械の遠隔操縦システム
WO2017047826A1 (ja) 2016-09-30 2017-03-23 株式会社小松製作所 作業機械の表示システム及び作業機械
WO2017115810A1 (ja) 2015-12-28 2017-07-06 住友建機株式会社 ショベル
JP2017194381A (ja) 2016-04-21 2017-10-26 株式会社加藤製作所 建設機械の傾斜検出装置
JP2017201114A (ja) 2016-04-28 2017-11-09 コベルコ建機株式会社 建設機械

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007198040A (ja) 2006-01-27 2007-08-09 Shin Caterpillar Mitsubishi Ltd 建設機械における走行方向表示装置
JP5775283B2 (ja) * 2010-10-08 2015-09-09 住友建機株式会社 作業機械のモニタ装置
US9451049B2 (en) * 2010-12-13 2016-09-20 Google Technology Holdings LLC Sharing media among remote access clients in a universal plug and play environment
JP5941663B2 (ja) * 2011-11-30 2016-06-29 住友建機株式会社 建設機械用モニタシステム
CN108130933A (zh) * 2011-12-26 2018-06-08 住友重机械工业株式会社 挖土机、挖土机的图像显示方法以及装置
CN111754750B (zh) 2014-11-17 2022-03-01 洋马动力科技有限公司 远程控制作业机用显示设备、显示系统以及作业机
JP6734260B2 (ja) * 2015-03-31 2020-08-05 株式会社小松製作所 作業機械
JP5956693B2 (ja) 2015-07-31 2016-07-27 株式会社小松製作所 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法
JP6013655B2 (ja) * 2015-09-30 2016-10-25 株式会社小松製作所 クローラ式作業機械の周辺監視装置
JP6456806B2 (ja) * 2015-11-17 2019-01-23 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム
CN106787449B (zh) 2017-03-24 2024-04-19 东莞市伺鑫机械科技有限公司 一种高效散热伺服马达主轴及其制造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008751A1 (ja) 2013-07-17 2015-01-22 日立建機株式会社 作業機械の周囲監視装置
WO2015155845A1 (ja) 2014-04-09 2015-10-15 株式会社日立製作所 作業機械の遠隔操縦システム
WO2017115810A1 (ja) 2015-12-28 2017-07-06 住友建機株式会社 ショベル
JP2017194381A (ja) 2016-04-21 2017-10-26 株式会社加藤製作所 建設機械の傾斜検出装置
JP2017201114A (ja) 2016-04-28 2017-11-09 コベルコ建機株式会社 建設機械
WO2017047826A1 (ja) 2016-09-30 2017-03-23 株式会社小松製作所 作業機械の表示システム及び作業機械

Also Published As

Publication number Publication date
EP3751845A1 (en) 2020-12-16
US11970837B2 (en) 2024-04-30
CN111903122A (zh) 2020-11-06
US20210054597A1 (en) 2021-02-25
CN111903122B (zh) 2022-07-08
WO2019187560A1 (ja) 2019-10-03
JP2019173444A (ja) 2019-10-10
EP3751845B1 (en) 2022-10-26
EP3751845A4 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
JP5775283B2 (ja) 作業機械のモニタ装置
JP7000957B2 (ja) 作業機械操縦装置
KR102575201B1 (ko) 쇼벨
JP4740890B2 (ja) 建設機械および建設機械の後進移動ガイダンス方法
US11732439B2 (en) Remote control system and main control device
US20140293051A1 (en) Device for displaying rearward field of view of hydraulic shovel
JP7474192B2 (ja) ショベル
WO2020196877A1 (ja) ショベル及び施工システム
JP2011162993A (ja) 作業機械のモニタ装置
KR102570492B1 (ko) 쇼벨
WO2021200458A1 (ja) 作業機械の周囲検知装置
EP3858676B1 (en) Surrounding monitoring apparatus for work machine
JP2017053092A (ja) 脇見検出装置
US20220170237A1 (en) Operating mechanism for work machine and work machine equipped with same
JPH0874296A (ja) 建設機械におけるカメラ自動追尾制御装置
JP2013002101A (ja) 作業機械の視野補助装置
JP2018178878A (ja) 産業車両
KR20090116496A (ko) 건설장비의 후방 감시 시스템
WO2021090678A1 (ja) 作業機械の周囲監視装置
US12031297B2 (en) Work machine
JP2024030384A (ja) 作業機械の安全装置
WO2021200448A1 (ja) 作業機械の周囲検知装置
US20220145588A1 (en) Work machine
JP2019014584A (ja) クレーン車
JP2024030383A (ja) 作業機械の安全装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R150 Certificate of patent or registration of utility model

Ref document number: 7000957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150