JP6775602B2 - 作業車両および作業車両の制御システム - Google Patents

作業車両および作業車両の制御システム Download PDF

Info

Publication number
JP6775602B2
JP6775602B2 JP2018558596A JP2018558596A JP6775602B2 JP 6775602 B2 JP6775602 B2 JP 6775602B2 JP 2018558596 A JP2018558596 A JP 2018558596A JP 2018558596 A JP2018558596 A JP 2018558596A JP 6775602 B2 JP6775602 B2 JP 6775602B2
Authority
JP
Japan
Prior art keywords
bird
display unit
eye view
display
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018558596A
Other languages
English (en)
Other versions
JPWO2018123001A1 (ja
Inventor
水野 浩之
浩之 水野
悟 井手
悟 井手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of JPWO2018123001A1 publication Critical patent/JPWO2018123001A1/ja
Application granted granted Critical
Publication of JP6775602B2 publication Critical patent/JP6775602B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Operation Control Of Excavators (AREA)

Description

本発明は、作業車両および作業車両の制御システムに関する。
従来、油圧ショベルの旋回体の後部に2台のカメラを設け、2台のカメラの映像の一方を選択してモニタ部に表示させるコントローラを設け、旋回体の旋回時に旋回方向の上流側の映像を自動的にモニタ部に映し出す技術が提案されている(たとえば、特開2001−295321号公報(特許文献1)参照)。
また従来、油圧ショベルの旋回体に複数のカメラを設置し、複数のカメラが映したそれぞれの映像をモニタ画面の一つの画面上に表示し、操作レバーの操作時には、操作レバーの操作方向とは反対側の方向を映すカメラ映像を拡大して表示する技術が提案されている(たとえば、特開2007−278025号公報(特許文献2)参照)。
特開2001−295321号公報 特開2007−278025号公報
作業車両を動作させるときには、オペレータが周囲の状況を確認した上で動作させるのが望ましい。
本発明の目的は、動作時に周囲の状況を確認できるようにする、作業車両を提供することである。
本発明の作業車両は、作業車両の動作のために操作される操作装置と、作業車両の周辺の俯瞰画像を生成する生成手段と、俯瞰画像を表示可能な表示部と、表示部の表示内容を制御するコントローラとを備えている。コントローラは、表示部が俯瞰画像を表示している場合、操作装置の操作を検知すると俯瞰画像の表示を継続し、表示部が俯瞰画像を表示していない場合、操作装置の操作を検知すると表示部に俯瞰画像を表示させる。
本発明によると、作業車両の動作時に、モニタに周辺画像を表示させることができる。
実施形態に基づく油圧ショベルの外観を説明する図である。 油圧ショベルのシステム構成を表したブロック図である。 モニタ装置の構成を示す模式図である。 表示部の表示内容に基づく油圧ショベルの動作の流れを示すフローチャートである。 表示部に表示された周辺画像の一例を示す模式図である。 表示部に表示された周辺画像の一例を示す模式図である。 表示部に表示された車体情報の一例を示す模式図である。 表示部に表示された車体情報の一例を示す模式図である。 制御システムの構成の概略を表した図である。
以下、実施形態について図に基づいて説明する。以下の説明では、同一部品には、同一の符号を付している。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
実施形態における構成を適宜組み合わせて用いることは当初から予定されていることである。また、一部の構成要素を用いない場合もある。
[作業車両の全体構成]
まず、作業車両の一例として、油圧ショベル100の構成について説明する。図1は、実施形態に基づく油圧ショベル100の外観を説明する図である。
図1に示されるように、油圧ショベル100は、走行体1と、旋回体3と、作業機4とを主に有している。油圧ショベル本体は、走行体1と旋回体3とにより構成されている。走行体1は、左右1対の履帯を有している。旋回体3は、走行体1の上部の旋回機構を介して、旋回可能に走行体1に装着されている。旋回体3は、運転室8を有している。
作業機4は、旋回体3において、上下方向に作動可能に軸支されており、土砂の掘削などの作業を行う。作業機4は、油圧ポンプ(図2参照)から供給される作動油によって動作する。作業機4は、ブーム5と、アーム6と、バケット7とを含んでいる。ブーム5の基端部は、旋回体3に連結されている。アーム6は、ブーム5の先端部に連結されている。バケット7は、アーム6の先端部に連結されている。ブーム5、アーム6およびバケット7の各々が油圧シリンダによって駆動されることにより、作業機4は駆動可能である。
油圧ショベル100は、カメラ10を備えている。カメラ10は、油圧ショベル100の周辺を撮像して、油圧ショベル100の周辺の画像を取得するための撮像装置である。カメラ10は、油圧ショベル100の周辺の現況地形を取得可能であり、また油圧ショベル100の周辺の障害物の存在を認識可能なように、構成されている。
カメラ10は、右前方カメラ11と、右後方カメラ12と、後方カメラ13と、左方カメラ14とを含んでいる。右前方カメラ11と右後方カメラ12とは、旋回体3の上面の右側縁部に配置されている。右前方カメラ11は、右後方カメラ12よりも前方に配置されている。右前方カメラ11は、前後方向における旋回体3の中央部付近に配置されている。右後方カメラ12は、前後方向における旋回体3の後端部付近に配置されている。
なお本実施形態においては、作業機4を基準として、油圧ショベル100の各部の位置関係について説明する。
作業機4のブーム5は、旋回体3に対して、ブーム5の基端部に設けられたブームピンを中心に回動する。旋回体3に対して回動するブーム5の特定の部分、たとえばブーム5の先端部が移動する軌跡は円弧状であり、その円弧を含む平面が特定される。油圧ショベル100を平面視した場合に、当該平面は直線として表される。この直線の延びる方向が、油圧ショベル本体の前後方向、または旋回体3の前後方向であり、以下では単に前後方向ともいう。油圧ショベル本体の左右方向(車幅方向)、または旋回体3の左右方向とは、平面視において前後方向と直交する方向であり、以下では単に左右方向ともいう。
前後方向において、油圧ショベル本体から作業機4が突き出している側が前方向であり、前方向と反対方向が後方向である。前方向を視て左右方向の右側、左側がそれぞれ右方向、左方向である。
前後方向とは、運転室8内の運転席に着座したオペレータの前後方向である。運転席に着座したオペレータに正対する方向が前方向であり、運転席に着座したオペレータの背後方向が後方向である。左右方向とは、運転席に着座したオペレータの左右方向である。運転席に着座したオペレータが正面に正対したときの右側、左側がそれぞれ右方向、左方向である。
後方カメラ13は、前後方向において旋回体3の後端部に配置されており、左右方向において旋回体3の中央部に配置されている。旋回体3の後端部には、採掘時などにおいて車体のバランスをとるためのカウンタウェイトが設置されている。後方カメラ13は、カウンタウェイトの上面に配置されている。左方カメラ14は、運転室8の上面に配置されている。運転室8は、旋回体3の前方左側に配置されている。
[システム構成]
図2は、油圧ショベル100のシステム構成を表したブロック図である。図2に示されるように、油圧ショベル100は、モニタ装置20と、車体コントローラ30と、操作装置40と、油圧ポンプ51からアクチュエータ56に至る油圧回路とを備えている。図2中の実線矢印は油圧回路を示す。
モニタ装置20は、モニタコントローラ21と、表示部22とを含んで構成されている。表示部22は、カメラ10を用いて生成された油圧ショベル100の周辺画像を表示する。油圧ショベル100の周辺画像は、右前方カメラ11、右後方カメラ12、後方カメラ13または左方カメラ14のいずれか1つのカメラによって撮像された画像から生成された、単画像を含む。また油圧ショベル100の周辺画像は、右前方カメラ11、右後方カメラ12、後方カメラ13および左方カメラ14の各々によって撮像された複数の画像を合成して生成された、俯瞰画像を含む。
表示部22はまた、油圧ショベル100の車体情報を表示する。油圧ショベル100の車体情報は、たとえば、油圧ショベル100の作業モード、燃料計により示される燃料残量、温度計により示される冷却水の温度または作動油の温度、エアコンの稼働状況などを含む。表示部22は、周辺画像と車体情報との少なくともいずれか一方を表示可能である。
モニタコントローラ21は、表示部22の表示内容を制御する。モニタコントローラ21が表示部22に指令することにより、表示部22は、周辺画像を表示したり、車体情報を表示したり、周辺画像と車体情報とを同時に表示したりする。表示部22はタッチパネルであってもよく、この場合、オペレータが表示部22の一部に触れることにより、モニタコントローラ21が操作される。
車体コントローラ30は、油圧ショベル100全体の動作を制御するコントローラであり、CPU(Central Processing Unit)、不揮発性メモリ、タイマなどにより構成されている。モニタ装置20は、車体コントローラ30と通信可能に構成されている。図2中の破線矢印は電気回路を示す。なお図2には、実施形態の油圧ショベル100を構成する電気回路の一部のみを図示している。
実施形態における「コントローラ」とは、モニタコントローラ21と車体コントローラ30との両方を含む概念である。複数の単画像を合成した俯瞰画像は、モニタコントローラ21が生成してもよく、車体コントローラ30が生成してもよい。実施形態の、単画像を撮像する撮像装置(カメラ)と、モニタコントローラ21および/または車体コントローラ30とは、俯瞰画像を生成する生成手段としての機能を有している。
操作装置40は、油圧ショベル100の動作のために操作される。操作装置40は、たとえば、作業機4を操作するための操作レバー、走行体1を操作するためのペダルなどを含んで構成されている。
油圧ポンプ51は、エンジンの動力が伝達されて駆動し、圧油を吐出する。油圧ポンプ51は、作動油圧源と、パイロット油圧源とを含んでいる。油圧ポンプ51から吐出される圧油は、アクチュエータ56に供給される作動油と、メインバルブ55のスプールを移動するためのパイロット油とを含んでいる。油圧ポンプ51は、アクチュエータ56の駆動に用いる油圧を発生させる。アクチュエータ56は、油圧ポンプ51から供給された作動油によって作動する。
図2に示す油圧回路は、油圧遮断バルブ52、比例制御弁53、圧力センサ54およびメインバルブ55を含んでいる。油圧ポンプ51から吐出されるパイロット油は、油圧遮断バルブ52、比例制御弁53および圧力センサ54を順に経由して、メインバルブ55へ供給される。油圧ポンプ51からメインバルブ55へ向かうパイロット油の流れの上流から下流へ、油圧遮断バルブ52、比例制御弁53および圧力センサ54が、この順に接続されている。
油圧遮断バルブ52は、車体コントローラ30からの指令信号を受けて、開状態と閉状態とに切り換えられる。油圧遮断バルブ52が開状態に切り換えられると、比例制御弁53に油圧ポンプ51からのパイロット油が供給され、操作装置40の操作が有効になって、油圧ポンプ51からアクチュエータ56へ作動油が供給される。油圧遮断バルブ52が閉状態に切り換えられると、油圧回路が遮断されて、油圧ポンプ51からアクチュエータ56へ作動油が供給されなくなる。油圧遮断バルブ52は、閉状態において、油圧ポンプ51から比例制御弁53へのパイロット油の供給を遮断する。
比例制御弁53は、操作装置40の操作により、機械的に動く。操作装置40の機械的動きが、比例制御弁53の動作を介して、パイロット油の油圧の変動に変換される。操作装置40の操作に対応して、比例制御弁53の開度が変動する。図2中に示す白抜き矢印は、操作装置40と比例制御弁53との間の機械的な連結を示す。比例制御弁53は、操作装置40の操作に従って動作するが、操作装置40の操作が油圧または電気によって比例制御弁53に伝わるのではなく、操作装置40と比例制御弁53との間に上述した油圧回路または電気回路は介在していない。
圧力センサ54は、比例制御弁53の下流に配置されており、比例制御弁53を通過した後のパイロット油の圧力を検出する。圧力センサ54は、操作装置40の操作によるパイロット油の圧力変動を検出する。圧力センサ54は、パイロット油に圧力が発生したことを検出して操作装置40が操作されたことを検知する圧力スイッチであってもよい。
メインバルブ55は、スプールを有している。メインバルブ55は、パイロット油の圧力に従ってスプールを移動させることにより、油圧ポンプ51からアクチュエータ56へ供給される作動油の量を調整する。
アクチュエータ56はたとえば、ブーム5、アーム6もしくはバケット7を駆動する油圧シリンダであってもよく、または旋回体3を旋回させる旋回モータであってもよい。
図3は、モニタ装置20の構成を示す模式図である。モニタ装置20は、上述した通り、表示部22を含んでいる。表示部22は、液晶画面などを用いて実現されている。図3中に示す、表示部22の一部領域である領域22Aには、各カメラによって撮像された複数の単画像を合成して生成された、俯瞰画像が表示されている。図3中に示す、表示部22の一部領域である領域22Bには、車体情報が表示されている。具体的には、領域22Bには、燃料残量を示す燃料計、冷却水の温度および作動油の温度を示す温度計が表示されている。図3に示す表示部22には、周辺画像と車体情報との両方が表示されている。
表示部22は、図3に示すように、モニタ装置20の上部に配置されている。表示部22の下方に、ガイダンスアイコン23が設けられている。ガイダンスアイコン23の下方に、ファンクションスイッチ24が設けられている。ガイダンスアイコン23は、ファンクションスイッチ24の各々に対応するアイコンである。たとえば、ファンクションスイッチ24の操作によって表示部22の表示内容が切り替えられるように構成されている場合、ガイダンスアイコン23は、表示部22の表示内容を切り替えることを意味するアイコンを含んでいる。
ファンクションスイッチ24の下方に、基本操作スイッチ25が設けられている。基本操作スイッチ25は、オートデセルスイッチ、作業モード選択スイッチ、走行速度選択スイッチ、ブザーキャンセルスイッチ、ワイパスイッチ、ウィンドウォッシャスイッチ、エアコンスイッチなどを有している。
オートデセルスイッチは、操作装置40が中立位置に戻ってから所定時間後にエンジンの回転数を低下させるデセル制御を実行させるスイッチである。「中立位置」とは、操作装置40が操作されていない位置(ニュートラル位置)であることを意味する。作業モード選択スイッチは、油圧ショベル100の作業モードを複数のモードから選択するスイッチである。走行速度選択スイッチは、油圧ショベル100の走行速度段を複数の速度段から選択するスイッチである。ブザーキャンセルスイッチは、所定の警告状態になると発生するブザー音をキャンセルするスイッチである。
ワイパスイッチは、油圧ショベル100の運転室8(図1)のフロントガラスに設けられる図示しないワイパを動作させるスイッチである。ウィンドウォッシャスイッチは、フロントガラスへ洗浄水を噴射する図示しないウォッシャを作動するスイッチである。エアコンスイッチは、運転室8内のエアコンの各種機能を操作するスイッチである。
オペレータによるファンクションスイッチ24および基本操作スイッチ25の操作は、モニタコントローラ21に入力される。
[動作]
図4は、表示部22の表示内容に基づく油圧ショベル100の動作の流れを示すフローチャートである。図4に示すように、油圧ショベル100を動作させていないときには、油圧ショベル100の動作のために操作される操作装置40が操作されていない中立位置の状態である(ステップS10)。このときモニタコントローラ21は、表示部22に、油圧ショベル100の周辺画像を表示する(ステップS20)。
図5,6は、表示部22に表示された周辺画像の一例を示す模式図である。上述した通り、油圧ショベル100の周辺画像は、右前方カメラ11、右後方カメラ12、後方カメラ13または左方カメラ14のいずれかによって撮像された画像から生成された単画像と、単画像を合成して生成された俯瞰画像とを含む。図5中に示す、表示部22内の一部領域である領域22Aには、俯瞰画像が表示されている。図5中に示す、表示部22内の一部領域である領域22Bには、後方カメラ13で撮像された画像から生成された単画像が表示されている。図5に示す表示部22には、俯瞰画像と単画像との両方が表示されている。
図6中に示す領域22Aには、図5と同様に、俯瞰画像が図示されている。図6中に示す領域23Bには、右後方カメラ12で撮像された画像から生成された単画像が表示されている。図6に示す表示部22には、俯瞰画像と単画像との両方が表示されている。
図4に戻って、実施形態の油圧ショベル100は、図3に示すファンクションスイッチ24をオペレータが操作することにより、表示部22の表示内容をオペレータが手動で切り替え可能に構成されている。操作装置40を操作していない間は、表示部22の表示内容を、俯瞰画像を含む表示と、俯瞰画像を含まない表示(たとえば、車体情報のみを含む表示)とに、切り替え可能である。ステップS30において、表示部22の表示内容を手動で切り替えるか否かを判断する。
表示部22の表示内容を車体情報を含むものに切り替える場合(ステップS30においてYES)、ステップS40に進み、モニタコントローラ21は、表示部22に車体情報を表示する。
図7,8は、表示部22に表示された車体情報の一例を示す模式図である。図7には、車体情報の一例として、油圧ショベル100の複数の作業モードのうち、現在選択されている作業モードを示す画面が図示されている。図8には、エアコンの稼働状況を示す画面が図示されている。
図4に戻って、ステップS50において、オペレータが操作装置40の操作を開始する。オペレータが操作装置40を操作したことは、図2に示す圧力センサ54がパイロット油の圧力変動を検出し、その圧力変動を示す信号が車体コントローラ30に入力されることにより、検知される。操作装置40の操作を検知すると、続いてステップS60において、表示部22の現在の表示内容が俯瞰画像を含むか否かが判断される。
ステップS60の判断において、表示部22の現在の表示内容が俯瞰画像を含む場合(ステップS60においてYES)、モニタコントローラ21は表示部22への俯瞰画像の表示を継続する(ステップS70)。続いてステップS100において、車体コントローラ30が、操作装置40の操作に従った油圧ショベル100の動作を開始する。
ステップS70における、表示部22への周辺画像の表示の継続とは、操作装置40の操作を開始する前に表示されていた俯瞰画像の表示をそのまま維持することを意味する。表示部22に俯瞰画像とさらに別の画像とが表示されている場合、俯瞰画像を維持して、別の画像を単画像に切り替えてもよい。この場合の別の画像とは、車体情報であってもよく、異なるカメラ10で撮像した単画像であってもよい。たとえば、操作装置40の操作を開始する前に、表示部22の領域22Aに俯瞰画像が表示されており、後方カメラ13で撮像された単画像が領域22Bに表示されている場合において、操作装置40の操作によって旋回体3を右旋回する場合、領域22Bの表示が右後方カメラ12で撮像された単画像に切り替えられてもよい。
ステップS60の判断において、表示部22の現在の表示内容が俯瞰画像を含まない場合(ステップS60においてNO)、ステップS80に進み、モニタコントローラ21が表示部22の表示内容を切り替えて、表示部22に俯瞰画像を表示させる。このステップS80において表示部22に表示される周辺画像は、操作装置40の操作に対応する画像を含んでいてもよい。たとえば、油圧ショベル100を前進走行させる場合、表示部22の領域22Aに俯瞰画像を表示させ、領域22Bに後方カメラ13で撮像された画像から生成された単画像を表示してもよい。またたとえば、旋回体3を右旋回させる場合、領域22Aに俯瞰画像を表示させ、領域22Bに右後方カメラ12で撮像された画像から生成された単画像を表示してもよい。
続いてステップS90において、所定時間が経過したか否かが判断される。所定時間が経過していなければ(ステップS90においてNO)、ステップS90の判断が繰り返される。表示部22に俯瞰画像が表示されてから所定時間経過後に、ステップS100に進み、車体コントローラ30が操作装置40の操作に従った油圧ショベル100の動作を開始する。
次に、ステップS110において、表示部22の表示内容を手動で切り替えるか否かを判断する。ステップS110の判断は、上述したステップS30の判断と同じ判断であるが、ステップS30では操作装置40を操作していないのに対して、ステップS110では操作装置40を操作している。この場合、表示部22の表示内容を手動で切り替えようとしても(ステップS110においてYES)、表示が切り換えられず、俯瞰画像の表示が継続される(ステップS120)。モニタコントローラ21は、操作装置40を操作している間、表示部22の表示内容の手動での切り替えを不可にしている。
ステップS120における処理は、たとえば、操作装置40を操作している間、表示部22の表示内容を切り替えるためのファンクションスイッチ24を操作しても操作を無効にすることで、行なわれる。表示部22がタッチパネルであり、表示部22に画面切替用のアイコンが表示される場合、操作装置40を操作している間、表示部22に画面切替用のアイコンが表示されない仕様としてもよい。
その後、操作装置40を中立位置の状態にする(ステップS130)。操作装置40が中立位置に戻されたことは、図2に示す圧力センサ54がパイロット油の圧力変動を検出し、その圧力変動を示す信号が車体コントローラ30に入力されることにより、検知される。操作装置40が中立位置になったことを検知すると、油圧ショベル100は動作を停止する(ステップS140)。モニタコントローラ21は、操作装置40が中立位置になるときに、俯瞰画像を含む表示部22の表示内容を継続する(ステップS150)。そして、処理を終了する(エンド)。
[作用効果]
上述した油圧ショベル100の特徴的な構成および作用効果についてまとめて記載すると、以下の通りである。
油圧ショベル100は、図2に示すように、表示部22を備えている。表示部22は、カメラ10により取得された油圧ショベル100の周辺の画像から生成された単画像を合成した俯瞰画像を、表示可能である。油圧ショベル100はさらに、表示部22の表示内容を制御するモニタコントローラ21を備えている。図4に示すように、表示部22が俯瞰画像を表示している場合、操作装置40の操作を検知すると、俯瞰画像の表示が継続される。表示部22が俯瞰画像を表示していない場合、操作装置40の操作を検知すると、表示部22の表示内容を切り替えて表示部22に俯瞰画像を表示させる。
油圧ショベル100では、車体情報と、周辺監視のためカメラで撮影した周辺画像との両方を、表示部22に表示させる必要がある。車体情報を表示するモニタと周辺画像を表示するモニタとを別々に設置すると、モニタ2台分のスペースが必要になる。省スペース化のため、1つの表示部22に車体情報と周辺画像とを切り替えて表示している。
油圧ショベル100を動作させるときには、周囲監視のため、俯瞰画像の表示が必要である。油圧ショベル100の動作のために操作装置40の操作を開始するときに、表示部22に俯瞰画像が表示されていれば、そのまま俯瞰画像の表示を継続し、表示部22に俯瞰画像が表示されていなければ、表示内容を切り替えて俯瞰画像を表示させる。油圧ショベル100の動作時に表示部22に俯瞰画像が表示されているので、表示部22に表示された俯瞰画像を確認することで、オペレータは油圧ショベル100の周囲の状況を確認することができる。
また図4に示すように、操作装置40が中立位置になったことを検知すると、俯瞰画像の表示が継続される。このようにすれば、操作装置40の操作中と操作停止中とで表示部22の表示内容が頻繁に切り替わることがない。また、オペレータの手動での切り替えによってのみ、車体情報のみを含む画面への切り替えが行われるので、俯瞰画像が意図せずに表示部22から表示されなくなることがない。したがって、オペレータは継続して油圧ショベル100の周囲の状況を確認することができる。
また図4に示すように、操作装置40を操作していない間、表示部22の表示内容を手動で切り替え可能である。操作装置40を操作している間、表示部22の表示内容の手動での切り替えが不可にされる。表示部22の表示内容の切り替えを制限することで、オペレータが手動で表示部22の表示を周辺画像を含まない画面に切り替えることが防止されるので、オペレータは継続して油圧ショベル100の周囲の状況を確認することができる。
また図4に示すように、表示部22の現在の表示内容が俯瞰画像を含まない場合、表示部22に俯瞰画像が表示されてから所定時間経過後に、油圧ショベル100の動作が開始される。このようにすれば、表示部22に俯瞰画像が表示された後、オペレータが油圧ショベル100の周囲の状況を確認する時間が確保できるので、油圧ショベル100の周囲の状況をオペレータが確実に確認した上で油圧ショベル100の動作を開始することができる。
上述した操作装置40は、機械的に比例制御弁53に連結されて、比例制御弁53を通過した後のパイロット油の圧力変動を検出することで操作装置40の操作を検出可能な仕様であるが、この構成に限られず、操作装置40は電子式の装置であってもよい。たとえば操作装置40は、操作レバーと、操作レバーの操作量を検出する操作検出器とを含み、操作レバーが操作されるとき、操作レバーの操作方向および操作量に応じた電気信号を操作検出器が車体コントローラ30に出力するように、構成されてもよい。
[制御システム]
図9は、制御システムの構成の概略を表した図である。これまでの実施形態においては、図2に示すように、油圧ショベル100が操作装置40、表示部22、モニタコントローラ21および車体コントローラ30を備えている例について説明した。油圧ショベル100は、運転室8にオペレータが搭乗して操作する仕様に限られず、遠隔操作される仕様であってもよい。
図9に示すように、制御システムは、リモートコントローラ200を備えている。リモートコントローラ200は、油圧ショベル100の外部に設置されており、油圧ショベル100に搭載されたコントローラとの間で信号の送受信が可能とされている。
リモートコントローラ200には、油圧ショベル100の動作のために操作される操作装置と、油圧ショベル100の周辺の俯瞰画像を表示可能な表示部とが接続されている。リモートコントローラ200は、オペレータによる操作装置の操作に応じた電気信号の入力を受ける。リモートコントローラ200は、表示部の表示内容を制御する。
油圧ショベル100に設けられた複数の撮像装置が各々撮像した画像から、単画像が生成される。単画像を合成することにより、油圧ショベル100の俯瞰画像が生成される。油圧ショベル100に搭載されたコントローラが俯瞰画像を生成してリモートコントローラ200に俯瞰画像を送信してもよい。または、撮像装置が撮像した画像もしくは単画像を受信したリモートコントローラ200が、俯瞰画像を生成してもよい。
以上、本発明の実施形態について説明したが、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
1 走行体、3 旋回体、4 作業機、5 ブーム、6 アーム、7 バケット、8 運転室、10 カメラ、11 右前方カメラ、12 右後方カメラ、13 後方カメラ、14 左方カメラ、20 モニタ装置、21 コントローラ、22 表示部、22A,22B,22C,23B 領域、30 車体コントローラ、40 操作装置、51 油圧ポンプ、52 油圧遮断バルブ、53 比例制御弁、54 圧力センサ、55 メインバルブ、56 アクチュエータ、100 油圧ショベル。

Claims (4)

  1. 作業機と走行体とを有する作業車両であって、
    前記作業車両の動作のために操作され、前記作業機を操作するための操作レバーと前記走行体を操作するためのペダルとを含む、操作装置と、
    前記作業車両の周辺の俯瞰画像を生成する生成手段と、
    前記俯瞰画像を表示可能な表示部と、
    前記表示部の表示内容を制御するコントローラとを備え、
    前記コントローラは、前記表示部が前記俯瞰画像を表示している場合、前記操作装置の操作を検知すると前記俯瞰画像の表示を継続し、前記表示部が前記俯瞰画像を表示していない場合、前記操作装置の操作を検知すると前記表示部に前記俯瞰画像を表示させ
    前記操作装置を操作していない間、前記表示部の表示内容を、前記俯瞰画像と前記作業車両の車体情報とに手動で切り替え可能であり、前記コントローラは、前記操作装置を操作している間、前記表示内容の手動での切り替えを不可にする、作業車両。
  2. 前記コントローラは、前記操作装置が中立位置になったことを検知すると、前記俯瞰画像の表示を継続する、請求項1に記載の作業車両。
  3. 作業車両であって、
    前記作業車両の動作のために操作される操作装置と、
    前記作業車両の周辺の俯瞰画像を生成する生成手段と、
    前記俯瞰画像を表示可能な表示部と、
    前記表示部の表示内容を制御するコントローラとを備え、
    前記コントローラは、前記表示部が前記俯瞰画像を表示している場合、前記操作装置の操作を検知すると前記俯瞰画像の表示を継続し、前記表示部が前記俯瞰画像を表示していない場合、前記操作装置の操作を検知すると前記表示部に前記俯瞰画像を表示させ、
    前記コントローラは、前記作業車両の動作を制御し、
    前記コントローラは、前記表示部が前記俯瞰画像を表示していない場合、前記表示部に前記俯瞰画像が表示されてから所定時間経過後に、前記作業車両を動作可能にする、作業車両。
  4. 作業機と走行体とを有する作業車両の制御システムであって、
    前記作業車両の動作のために操作され、前記作業機を操作するための操作レバーと前記走行体を操作するためのペダルとを含む、操作装置と、
    前記作業車両の周辺の俯瞰画像を生成する生成手段と、
    前記俯瞰画像を表示可能な表示部とを備え、
    前記表示部が前記俯瞰画像を表示している場合、前記操作装置の操作を検知すると前記俯瞰画像の表示を継続し、前記表示部が前記俯瞰画像を表示していない場合、前記操作装置の操作を検知すると前記表示部に前記俯瞰画像を表示させ
    前記操作装置を操作していない間、前記表示部の表示内容を、前記俯瞰画像と前記作業車両の車体情報とに手動で切り替え可能であり、前記操作装置を操作している間、前記表示内容の手動での切り替えを不可にする、作業車両の制御システム。
JP2018558596A 2016-12-28 2016-12-28 作業車両および作業車両の制御システム Active JP6775602B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/089059 WO2018123001A1 (ja) 2016-12-28 2016-12-28 作業車両および作業車両の制御システム

Publications (2)

Publication Number Publication Date
JPWO2018123001A1 JPWO2018123001A1 (ja) 2019-10-31
JP6775602B2 true JP6775602B2 (ja) 2020-10-28

Family

ID=62710997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018558596A Active JP6775602B2 (ja) 2016-12-28 2016-12-28 作業車両および作業車両の制御システム

Country Status (6)

Country Link
US (1) US11549237B2 (ja)
JP (1) JP6775602B2 (ja)
KR (1) KR20190033606A (ja)
CN (1) CN109644250A (ja)
DE (1) DE112016007308T5 (ja)
WO (1) WO2018123001A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092688B2 (ja) * 2017-02-17 2022-06-28 住友重機械工業株式会社 作業機械用周辺監視システム
JP2020045714A (ja) * 2018-09-20 2020-03-26 日立建機株式会社 作業機械
JPWO2020203291A1 (ja) * 2019-03-29 2020-10-08
US20220316179A1 (en) * 2019-09-17 2022-10-06 Komatsu Ltd. Work vehicle, lever unit, and actuator automatic control method
JP7153627B2 (ja) * 2019-10-31 2022-10-14 日立建機株式会社 作業機械および周囲監視システム
DE102020214291B3 (de) * 2020-11-13 2022-03-17 Tadano Faun Gmbh Kran, insbesondere Mobilkran

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001295321A (ja) 2000-04-17 2001-10-26 Hitachi Constr Mach Co Ltd 建設機械のモニタ装置
JP4079113B2 (ja) * 2004-04-19 2008-04-23 日立建機株式会社 建設機械の表示装置
JP5054294B2 (ja) 2005-08-05 2012-10-24 株式会社小松製作所 作業用車両に搭載される表示装置、及び同表示装置の表示方法
JP5020528B2 (ja) 2006-04-11 2012-09-05 株式会社小松製作所 建設機械の監視装置
JP4885833B2 (ja) * 2007-12-10 2012-02-29 日立建機株式会社 建設機械
JP5269026B2 (ja) 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US20160023602A1 (en) * 2014-07-28 2016-01-28 Honda Motor Co., Ltd. System and method for controling the operation of a wearable computing device based on one or more transmission modes of a vehicle
WO2015125979A1 (ja) * 2015-04-28 2015-08-27 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
US10019053B2 (en) * 2016-09-23 2018-07-10 Toyota Motor Sales, U.S.A, Inc. Vehicle technology and telematics passenger control enabler

Also Published As

Publication number Publication date
DE112016007308T5 (de) 2019-07-04
WO2018123001A1 (ja) 2018-07-05
US20190249397A1 (en) 2019-08-15
JPWO2018123001A1 (ja) 2019-10-31
CN109644250A (zh) 2019-04-16
US11549237B2 (en) 2023-01-10
KR20190033606A (ko) 2019-03-29

Similar Documents

Publication Publication Date Title
JP6775602B2 (ja) 作業車両および作業車両の制御システム
JP7366867B2 (ja) ショベル
JP7081019B2 (ja) 作業車両および作業車両の制御システム
JP7289232B2 (ja) 作業機械および作業機械の制御システム
JP5020528B2 (ja) 建設機械の監視装置
JP7474192B2 (ja) ショベル
JPWO2017047654A1 (ja) ショベル
WO2021010250A1 (ja) 作業機械
JP4535277B2 (ja) 建設機械の表示装置
JP2011168163A (ja) 建設機械の後方視界表示システムおよび方法
CN113544337B (zh) 作业机械用操作机构以及具备该操作机构的作业机械
US20220145588A1 (en) Work machine
JP2002294762A (ja) 建設機械の監視カメラ装置
US11821171B2 (en) Work machine
JP2001295321A (ja) 建設機械のモニタ装置
WO2023223842A1 (ja) 作業機械の安全装置
JP2008008122A (ja) 建設機械のモニタ
JP2024030384A (ja) 作業機械の安全装置
JP2022146687A (ja) ショベル
JP2023129871A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201006

R150 Certificate of patent or registration of utility model

Ref document number: 6775602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250