JPWO2016013686A1 - 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法 - Google Patents

作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法 Download PDF

Info

Publication number
JPWO2016013686A1
JPWO2016013686A1 JP2015542088A JP2015542088A JPWO2016013686A1 JP WO2016013686 A1 JPWO2016013686 A1 JP WO2016013686A1 JP 2015542088 A JP2015542088 A JP 2015542088A JP 2015542088 A JP2015542088 A JP 2015542088A JP WO2016013686 A1 JPWO2016013686 A1 JP WO2016013686A1
Authority
JP
Japan
Prior art keywords
work machine
screen
monitor
display
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015542088A
Other languages
English (en)
Other versions
JP5956693B2 (ja
Inventor
陽介 奥村
陽介 奥村
剛宏 柴田
剛宏 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Application granted granted Critical
Publication of JP5956693B2 publication Critical patent/JP5956693B2/ja
Publication of JPWO2016013686A1 publication Critical patent/JPWO2016013686A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instrument Panels (AREA)

Abstract

本発明は、作業機械の周囲状況を取得する複数のカメラＣ１〜Ｃ４と、複数のカメラＣ１〜Ｃ４が撮像した画像に対して画像処理を施した周辺監視画像あるいは周辺監視制御部４０の調整処理に対する所定の調整処理画面９０を生成し、それぞれ映像信号Ｓ１として出力する周辺監視制御部４０と、周辺監視制御部４０から出力された映像信号Ｓ１をもとに前記周辺監視画像あるいは所定の調整処理画面９０を表示画面上に表示する表示部１６と、標準画面を生成して表示部１６に該標準画面を表示するとともに、操作部１７から所定の調整処理画面９０の出力指示を受けた場合、周辺監視制御部４０に、所定の調整処理画面９０の出力指示を行うモニタ制御部４３と、所定の調整処理画面９０が表示部１６に表示された状態で前記標準画面に遷移させるＥＸＩＴアイコンと、を備える。

Description

本発明は、簡易な構成で、各種調整処理を行うための画像を生成する場合に、その調整処理画像を生成する制御部の処理異常が発生して調整入力を行えない状態であっても、当該制御部とは別の制御部において生成する画面に迅速に遷移することができる作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法に関する。
油圧ショベルなどの作業機械の分野では、車体の周辺に存在する障害物をオペレータが視認できるように、車体後方や車体側方に複数台のカメラを設置し、カメラが撮像した画像を単カメラ画像として作業機械の運転室内のモニタに映し出しているものがある。さらに、特許文献１のように、車体の周囲を同時に監視できるように、各カメラの画像を上方視点に変換した上で各カメラの画像を合成することにより俯瞰画像を生成してモニタに表示するものがある。
また、モニタ等の表示装置には、表示される画像等をキャリブレーション（調整処理）するための機能が用意されているものもある。例えば、特許文献２には、タッチパネルのキャリブレーションに関する文献であり、誤った基準ポイントを設定した場合や、タッチパネルの抵抗値が大きく変化して表示画面の位置とタッチパネル入力位置とが大きくずれて、操作ボタンのタッチが検出できなくなった場合でも、タッチパネルを備えた電子機器への電源投入、または、リセット操作から一定時間内の所定回数のタッチパネルへのタッチを検出した場合、キャリブレーションモードを実施することができるものが記載されている。
特開２０１３−２５３４０２号公報 特開２０１１−６５３０１号公報
ところで、俯瞰画像を生成するといった画像処理は、負荷の大きい作業となるため、一般にモニタ等の表示部に機械ゲージ情報（エンジン水温や燃料の残量など）を表示させるためのモニタ制御部による処理では困難を伴う。そのため、モニタとは別体の汎用画像処理アクセラレータをもつ画像処理コントローラ（周辺監視制御部）によって処理される。
また、正確な上方視点画像（俯瞰画像）を生成するためには、予め作業機械に設置される複数台のカメラの設置位置や向き等を画像処理コントローラに入力すると共に、表示部に表示される画像が正しい上方視点画像になっているか確認しながら各種キャリブレーションを行っておく必要がある。キャリブレーションを行うために専用の画面（調整処理画面）が用意され、当該画面において現在の俯瞰画像が表示された状態で各種キャリブレーションを行う。そのため、キャリブレーションを行うための調整処理画面は画像処理コントローラ側で生成しなければならない。
しかし、キャリブレーション作業中に、画像処理コントローラに何らかの不具合が発生した場合、調整処理画面が表示されたまま入力を受け付けなくなってしまう可能性がある。この場合、オペレータはひとまず調整処理画面から、燃料残量やエンジン水温などが表示される標準画面に遷移しようと試みるが、調整処理画面自体が入力を受け付けない場合、標準画面に遷移することができない。そのため、画像処理コントローラに不具合が発生した場合に、俯瞰画像を生成できないのみならず作業機械を動作することさえできなくなってしまう可能性がある。
本発明は、上記に鑑みてなされたものであって、簡易な構成で、キャリブレーションなどを行う調整処理画面を周辺監視制御部側で生成する場合に周辺監視制御部側の処理異常が発生して調整作業を行えない状態であっても迅速にモニタ側が生成する画面に遷移することができる作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる作業機械の表示システムは、表示部を備えたモニタと、前記モニタに接続され、作業機械の各種情報を表示させるための画面を生成し、前記モニタに信号出力する第１モニタ制御部と、前記モニタに接続され、作業機械の特殊情報を表示させるための画面を生成し、前記モニタに信号出力する第２モニタ制御部と、戻りスイッチと、を備え、前記モニタは、前記第１モニタ制御部から出力された信号に基づき前記作業機械の各種情報を前記表示部に表示すると共に、前記第２モニタ制御部から出力された信号に基づき前記作業機械の特殊情報を前記表示部に表示するものであり、前記戻りスイッチは、前記表示部に表示された前記作業機械の特殊情報の表示画面から、作業機械の各種情報の表示画面に遷移させるためのスイッチであることを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記作業機械の周囲状況を取得する複数のカメラを有し、前記第２モニタ制御部は、前記複数のカメラに接続され、前記複数のカメラの単カメラ画像、前記複数のカメラが撮像した画像に基づいて生成される俯瞰画像、及び俯瞰画像の調整処理を行う調整処理画面を生成する周辺監視制御部であり、前記作業機械の前記特殊情報は、前記調整処理画面を含み、前記周辺監視制御部は、前記調整処理画面を生成して前記モニタに信号出力し、前記戻りスイッチは、前記モニタの表示部が前記調整処理画面を表示する状態から前記作業機械の各種情報の表示画面に遷移させるためのスイッチであることを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記戻りスイッチは、前記モニタに表示される、もしくは前記モニタに設けられたスイッチであることを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記戻りスイッチは、モニタとは別体に設けられたスイッチであることを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記調整処理画面は、前記俯瞰画像、及び／又は単カメラ画像を含む画面であることを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記作業機械の各種情報とは、機械情報、警告情報、メニュー画面、及び／又はメンテナンス画面であることを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記作業機械の特殊情報とは、単カメラ画像、俯瞰画像、調整処理画面、作業機械周囲の障害物に関する情報、作業現場全体の地形情報、作業機械の操作を補助・ガイダンスするための作業機械周辺の地形情報、及び／又は遠隔操作に用いる作業機械周囲の画像情報であることを特徴とする。
また、本発明にかかる作業機械の表示装置は、表示部を備えたモニタと、前記モニタに接続され、作業機械の各種情報を表示させるための画面を生成し、前記モニタに信号出力する第１モニタ制御部と、前記モニタに接続され、作業機械の特殊情報を表示させるための画面を生成し、前記モニタに信号出力する第２モニタ制御部と、戻りスイッチと、を備え、前記モニタは、前記第１モニタ制御部から出力された信号に基づき前記作業機械の各種情報を前記表示部に表示すると共に、前記第２モニタ制御部から出力された信号に基づき前記作業機械の特殊情報を前記表示部に表示するものであり、前記戻りスイッチは、前記表示部に表示された前記作業機械の特殊情報の表示画面から、前記作業機械の各種情報の表示画面に遷移させるためのスイッチであることを特徴とする。
また、本発明にかかる作業機械の表示方法は、表示部を備えたモニタと、戻りスイッチと、を備え、作業機械の各種情報を表示させるための画面を生成し、前記モニタに信号出力する第１モニタステップと、作業機械の特殊情報を表示させるための画面を生成し、前記モニタに信号出力する第２モニタステップと、前記第１モニタステップから出力された信号に基づき前記作業機械の各種情報を前記表示部に表示する第１表示ステップと、前記第２モニタステップから出力された信号に基づき前記作業機械の特殊情報を前記表示部に表示する第２表示ステップと、第２表示ステップにより前記表示部に前記作業機械の特殊情報が表示された状態から、の表示画面から、前記戻りスイッチの操作により、第１表示ステップによる前記作業機械の各種情報が前記表示部に表示されることを特徴とする。
本発明によれば、第２モニタ制御部が生成した作業機械の特殊情報の表示画面から第１モニタ制御部が生成した画面に遷移させるための戻りスイッチを設けているので、簡易な構成で、作業機械の特殊情報の表示画面、例えばキャリブレーションなどを行う調整処理画面を生成する第２モニタ制御部側、例えば周辺監視制御部側に何らかの不具合が発生して調整処理を行えない状態であっても、迅速にモニタ側が生成する画面、例えば標準画面に遷移することができ、例えばエンジン水温や燃料残量などの基本情報を確実に確認することができる。
図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す斜視図である。 図２は、運転室の内部配置を示す図である。 図３は、カメラの配置を示す平面図である。 図４は、油圧ショベルの制御系全体および周辺監視制御部の詳細な構成を示すブロック図である。 図５は、俯瞰画像生成部による俯瞰画像の生成処理を説明する説明図である。 図６は、モニタの表示部に標準画面が表示された状態を示す図である。 図７は、標準画面と調整処理画面との間の画面遷移を説明する図である。 図８は、調整処理画面であるメイン設定選択画面の一例を示す図である。 図９は、調整処理画面であるカメラ設定メニュー画面の一例を示す図である。
以下、添付図面を参照して本発明を実施するための形態について説明する。
［油圧ショベルの全体構成］
まず、図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す斜視図である。この油圧ショベル１は、作業機械の一例として示した油圧ショベルである。油圧ショベル１は、自走可能な下部走行体２と、下部走行体２上に旋回自在に設置された上部旋回体３と、上部旋回体３の前部中央に屈曲起伏自在に動作する作業機４とを備える。
作業機４は、ブーム４ａ、アーム４ｂ、バケット４ｃ、ブームシリンダ４ｄ，アームシリンダ４ｅ、及びバケットシリンダ４ｆを有する。
上部旋回体３の前部左側部分には、運転室６が設置される。上部旋回体３の後部には、パワーコンテナ７が搭載される。パワーコンテナ７内には、エンジン、油圧ポンプ、ラジエータ、オイルクーラなどが収容されている。上部旋回体３の後端部には、カウンタウェイト８が装着される。
［運転室］
図２は、運転室６の内部配置を示す図である。図２に示すように、操作レバー１１，１２は、例えば運転室６内のオペレータシート１０の左右に配置される。操作レバー１１は上部旋回体３の旋回動作とアーム４ｂの動作に対応しており、操作レバー１２はブーム４ａの動作とバケット４ｃの動作に対応している。尚、操作レバー１１，１２の操作とどの作業機が動作するかの組み合わせは、本実施形態のものには限られない。
走行レバー１３および走行レバー１４は、操作に応じて下部走行体２の左側および右側の履帯の前進後進を行うことができる。
また、運転室６の右前には、モニタ１５が配置される。モニタ１５は、表示部１６と操作部１７とを有する。表示部１６は、液晶ディスプレイなどの表示装置であり、作業機械の各種情報、例えば、エンジン水温、油温、燃料の残量等の機械情報、機器の異常などを示す警告情報、メニュー画面やメンテナンス画面などを表示することができる。
また、モニタ１５には、後述するカメラで撮影された画像（単カメラ画像）や、複数のカメラ画像を上方視点に変換した上で合成することにより生成される画像（俯瞰画像）を表示することができる。
操作部１７は、表示部１６の表示内容に対応して複数の機能を持たせたファンクションスイッチや、作業モード、走行モード、エアコンなどの各種設定を行うためのスイッチを含む。なお、モニタ１５は、表示部１６と操作部１７とを一体化したタッチパネルで構成してもよい。また、操作部１７を表示部１６と別体とし、操作部１７を運転室内の他の場所に設けてもよい。
［カメラの構成］
カメラＣ１〜Ｃ４は、上部旋回体３に取り付けられる。図３に示すように、カメラＣ１は、上部旋回体３の後方に取り付けられて上部旋回体３の後方を撮像する。また、カメラＣ２は、上部旋回体３の右側方に取り付けられて上部旋回体３の右後方を撮像する。また、カメラＣ３は、上部旋回体３の右側方に取り付けられて上部旋回体３の右前方を撮像する。また、カメラＣ４は、上部旋回体３の左側方に取り付けられて上部旋回体３の左側方を撮像する。なお、例えば、各カメラＣ１〜Ｃ４は、左右方向および高さ方向において所定角度の視野範囲を有する。カメラとしてＣＣＤ（Charge-Coupled Device）カメラを用いることができる。また、各カメラＣ１〜Ｃ４は、ワイドダイナミックレンジ（Wide Dynamic Range）機能を有してもよい。
［制御系の全体構成］
図４は、油圧ショベル１の制御系全体の構成を示すブロック図である。図４に示すように、周辺監視制御部４０（第２モニタ制御部）、通信制御部４２、モニタ制御部４３（第１モニタ制御部）、エンジン制御部４４、ポンプ制御部４５等が、車内ネットワークの一つであるＣＡＮ４１に接続される。
モニタ制御部４３（第１モニタ制御部）は、モニタ１５に接続され、モニタ１５の表示制御部として機能する。モニタ制御部４３は、ＣＡＮ４１を介して各種センサから送信された情報や、モニタ１５に設けられたスイッチを介して入力された情報といった作業機械の各種情報の入出力制御を行う。そして、モニタ１５に、エンジン水温、油温、燃料の残量等の機械情報、機器の異常などを示す警告情報、メニュー画面やメンテナンス画面などを表示する制御を行うことができる。
モニタ制御部４３は、標準画面生成部４６、調整処理画面生成指示部４７、及びアイコン生成部４８を有する。標準画面生成部４６は、モニタ１５の表示部１６に表示される標準画面を生成する。一例として、図６におけるモニタ１５の表示部１６に表示された画面が標準画面８３である。図示されているように、エンジン水温ゲージＧ１や燃料残量ゲージＧ３等の各種情報や、俯瞰画像６１と単カメラ画像６２といった特殊情報が一画面に表示されている。
調整処理画面生成指示部４７は、オペレータの操作によってモニタ１５の操作部１７から調整処理画面の生成指示を受けた場合、周辺監視制御部４０に、ＣＡＮ４１を介して調整処理画面の生成指示を出力する。そして、当該生成指示を受け取った周辺監視制御部４０内の調整処理画面生成部５５が調整処理画面を生成する。調整処理画面は、正しい俯瞰画像を生成するために予め複数台のカメラの設置位置や向き等を周辺監視制御部４０に入力すると共に、表示される画像が正しい俯瞰画像になるよう各種キャリブレーションを行うための専用画面である。一例として、図８において図示された画面が調整処理画面である。画面右側に図示された調整処理用の項目と、画面左側に図示された俯瞰画像が一画面に表示されている。
また、モニタ制御部４３内のアイコン生成部４８は、調整処理画面が表示部１６に表示される場合に、モニタ制御部４３がアイコンを、周辺監視制御部４０が生成する調整処理画面の領域外、具体的には例えば画面下方の領域に生成する。アイコンの一例として、図８において画面下方（アイコン領域）に図示されたアイコンＩＢ，Ｉ６〜Ｉ９がアイコン生成部４８によって生成されたアイコンである。
図８における画面下部に表示されているアイコンＩ６〜Ｉ９に対応するファンクションスイッチＦ３〜Ｆ６を押下すると、調整処理画面において、各種メニューの選択・決定をすることができる。その際、ファンクションスイッチを有する操作部１７が操作されることにより、その信号をモニタ制御部４３、ＣＡＮ４１を介して周辺監視制御部４０内の調整処理画面生成部５５に出力する。そして、調整処理画面生成部５５は、受け取った信号に応じた新たな調整処理画面を生成し、映像信号Ｓ１としてモニタに出力する。
一方、後述する「ＥＸＩＴ」と書かれたアイコンＩＢに対応するファンクションスイッチＦ１が押下されると、ファンクションスイッチを有する操作部１７がモニタ制御部４３に信号を出力する。そしてモニタ制御部４３は、内部の標準画面生成部４６が受け取った信号に応じた標準画面を生成し、モニタ１５に出力する。そうすることにより、調整処理作業中において、周辺監視制御部４０の不具合などにより周辺監視制御部４０が操作部１７からの信号を受け付けない状態となった場合であっても、モニタ制御部４３が生成する画面である画面、例えば標準画面に迅速に戻ることができる。
周辺監視制御部４０（第２モニタ制御部）は、複数のカメラＣ１〜Ｃ４からなるカメラ群Ｃ、及び、モニタ１５と接続しており、後述するように、複数のカメラの内のいずれかの単カメラ画像と俯瞰画像とを合成した画像をモニタに出力する。
また、周辺監視制御部４０は、画像処理部５１、及び表示制御部５３を有する。さらに画像処理部５１は、俯瞰画像生成部５４、単カメラ画像生成部５８、調整処理画面生成部５５、及び、画像合成部５６を有する。
俯瞰画像生成部５４は、各カメラＣ１〜Ｃ４から得られた画像をもとに俯瞰画像６１を生成する。図５に示すように、俯瞰画像生成部５４は、各カメラＣ１〜Ｃ４から得られた画像Ｐ１〜Ｐ４を上方視点画像に変換する。すなわち、俯瞰画像生成部５４は、油圧ショベル１の上方に位置する所定の仮想視点から見た画像に変換する。
具体的に、俯瞰画像生成部５４は、油圧ショベル１の上方の仮想視点から地表面レベルに対応する所定の仮想投影面に投影する画像変換を行う。その後、俯瞰画像生成部５４は、俯瞰画像を表示するフレームの各領域Ｅ１〜Ｅ４に対応する変換画像Ｐ１１〜Ｐ１４を切り出し、各変換画像Ｐ１１〜Ｐ１４をフレーム内で合成する。俯瞰画像生成部５４が生成する俯瞰画像には、油圧ショベル１との位置関係が明確になるよう油圧ショベル１を上方視した画像Ｐが予め貼り付けられている。
この俯瞰画像６１の情報は、画像合成部５６に入力される。なお、領域Ｅ０は、運転室６から視認できるため、俯瞰画像は生成されない。また、本実施の形態では、４つのカメラＣ１〜Ｃ４を用いているが、カメラの数はいくつでもよく、例えば３つのカメラＣ１，Ｃ２，Ｃ４を用いてもよい。この場合、カメラＣ２は、カメラＣ４と同様に右側方を撮像する。
単カメラ画像生成部５８は、モニタ制御部４３の標準画面生成部４６からの要求に応じて、各カメラＣ１〜Ｃ４が撮像した画像の内いずれかのカメラの単カメラ画像６２を、画像合成部５６に出力する。具体的には、オペレータによって単カメラ画像６２を切り替える操作が操作部１７によってなされた場合、その信号がモニタ制御部４３およびＣＡＮ４１を介して単カメラ画像生成部５８に伝送され、単カメラ画像生成部５８は指令を受けた該当するカメラの単カメラ画像６２を画像合成部５６に出力する。
調整処理画面生成部５５は、調整処理画面生成指示部４７からの生成指示によって、指示された調整処理画面９０を生成し、画像合成部５６に出力する。
画像合成部５６は、モニタ制御部４３の標準画面生成部４６から要求があれば、図６における標準画面８３に表示された俯瞰画像６１と単カメラ画像６２のように、俯瞰画像生成部５４から出力された俯瞰画像６１と、単カメラ画像生成部５８から出力された単カメラ画像６２を合成し、合成された画像は、表示制御部５３を介して表示部１６に映像信号Ｓ１として出力される。
また、画像合成部５６は、モニタ制御部４３の調整処理画面生成指示部４７から要求があれば、図８における画面のように、調整処理画面９０の一画面である周辺監視調整画面０１（９１）に俯瞰画像６１が合成させた画面を生成し、合成された画像は、表示制御部５３を介して表示部１６に映像信号Ｓ１として出力される。なお、本発明では、周辺監視制御部４０にて生成する俯瞰画像６１、単カメラ画像６２および調整処理画面９０を特殊情報として定義している。
［モニタの標準画面］
図６は、モニタ１５の表示部１６に標準画面８３の一例が表示された状態を示す図である。標準画面８３は、キースイッチオン後、一定時間経過した状態で表示される初期画面である。一般的な標準画面には、作業機械の各種情報、例えば、エンジン水温、油温、燃料の残量等の機械情報、機器の異常などを示す警告情報、メニュー画面やメンテナンス画面などを表示する。
図６の標準画面８３の一例では、上記作業機機械の各種情報に加えて、特殊情報として表示部１６の中央左には、俯瞰画像６１が表示され、中央右には、単カメラ画像６２が表示される。図６の単カメラ画像６２は、上部旋回体３の後方に設けられたカメラＣ１による後方を撮像した画像である。俯瞰画像６１及び単カメラ画像６２には、旋回中心からの距離や方向の目安を示す目安線Ｄが表示されている。
単カメラ画像６２の右上には、単カメラ画像位置アイコン７０が表示される。単カメラ画像位置アイコン７０は、表示部１６に表示されている単カメラ画像６２がどの位置を撮影するカメラの画像であるかを示している。図６では、単カメラ画像６２がカメラＣ１によって撮像された画像であることを示している。なお、図６では俯瞰画像６１が左側に、単カメラ画像６２が右側に表示されているが、両者の表示位置が反対であってもよい。
表示部１６の下部には、左から、エンジンの冷却水の水温を示すエンジン水温ゲージＧ１、油圧回路内の作動油の油温を示す作動油温ゲージＧ２、および燃料の残量のレベルを示す燃料レベルゲージＧ３が表示される。また、作動油温ゲージＧ２は非表示であってもよい。
なお、ファンクションスイッチＦ１〜Ｆ６は、各スイッチの直上で表示部１６が表示するアイコンに対応した信号を入力するためのスイッチである。図６では、ファンクションスイッチＦ３の上部には、単カメラ画像６２を全画面表示に切り替えるアイコンＩ１が表示されている。また、ファンクションスイッチＦ４の上部には、単カメラ画像６２のカメラを切り替える（例えばカメラＣ１の画像からカメラＣ２の画像への切り替え）アイコンＩ２が表示されている。ファンクションスイッチＦ６の上部には、メニュー画面へ切り替えるアイコンＩ３が表示されている。メニュー画面とは、作業機械の各種設定や状況を確認する際に用いる画面である。
なお、ファンクションスイッチに対応するアイコンＩ１〜Ｉ３を表示せず、対応するスイッチを別の操作部などに設けてもよい。アイコンＩ４は、サービスメータの値を表示する。また、アイコンＩ５は、作業モードの設定状態を表示する。
［標準画面と調整処理画面との間の画面遷移］
図７は、標準画面８３と調整処理画面９０との間の画面遷移を説明する図である。初期画面として、図６に図示された標準画面８３が表示される。この標準画面８３から周辺監視制御部４０のキャリブレーションを行うための調整処理画面９０に遷移する場合、標準画面８３においてファンクションスイッチＦ６を押下し上述したメニュー画面に遷移する。
メニュー画面には複数の各種設定項目が並んでいるが、その中から「サービス選択」メニューを選択・決定することにより図示しないサービス選択画面８４に遷移する。同様にサービス選択画面８４においても複数の項目が並んでいるが、その中から図示しない「調整選択」メニューを選択・決定し、調整選択画面８５に遷移する。さらに調整選択画面８５においてもその中から「メイン設定選択」メニューを選択・決定し、メイン設定選択画面９１に遷移する。
その結果、俯瞰画像の調整処理を行うための調整処理画面９０としての周辺監視調整画面０１（９１）が表示される。調整処理画面９０は、階層構造となっており、ある項目を「決定」する毎に、１つ下の階層に遷移し、「１階層戻る」ボタンを押下すると、１つ上の階層に遷移する。
図７に図示された標準画面８３、サービス選択画面８４、調整選択画面８５は、モニタ制御部４３における標準画面生成部４６が生成する画面である。また、周辺監視調整画面０１（９１）やカメラ設定メニュー画面１０２といった調整処理画面９０は、モニタ制御部４３における調整処理画面生成指示部４７からの指示に基づいて周辺監視制御部４０における調整処理画面生成部５５が生成する画面である。
そのため、例えば、標準画面８３からサービス選択画面８４へ遷移する場合には、モニタ１５が有する操作部１７において「サービス選択」の項目が「選択・決定」されることにより、その信号がモニタ制御部４３に出力され、モニタ制御部４３における標準画面生成部４６がサービス選択画面８４を生成し、表示部１６に出力して表示される、という信号の入出力が行われている。
一方、周辺監視調整画面０１（９１）から周辺監視調整画面０２（９２）へ遷移する場合には、モニタ１５が有する操作部１７において「１つ下の項目を選択」スイッチが押下されることにより、その信号がモニタ制御部４３を介して周辺監視制御部４０に出力され、周辺監視制御部における調整処理画面生成部５５が周辺監視調整画面０２（９２）を生成し、映像信号Ｓ１として表示部１６に出力して表示される、という信号の入出力が行われている。
図８は、周辺監視調整画面０１（９１）を示しており、この画面の左側に俯瞰画像６１が表示され、右側に選択項目が表示される。この状態では、最も上の色が付いている項目である「０１ メイン設定」が選択されていることになる。図８における画面上中部の領域は周辺監視制御部４０において生成される調整処理画面領域であり、画面下部のアイコンが並んでいる領域はモニタ制御部４３におけるアイコン生成部４８が生成するアイコン領域である。
ファンクションスイッチＦ３に対応するアイコンＩ４は「１つ下の項目を選択」を、ファンクションスイッチＦ４に対応するアイコンＩ５は「１つ上の項目を選択」を、ファンクションスイッチＦ５に対応するアイコンＩ６は「１階層戻る」を、ファンクションスイッチＦ６に対応するアイコンＩ７は「決定」を意味している。また、図８の画面左下方に位置する「ＥＸＩＴ」と書かれたアイコンはＥＸＩＴアイコンＩＢ（戻りスイッチ）である。
図７にもあるように、周辺監視調整画面０１（９１）などの調整処理画面９０には、すべてＥＸＩＴアイコンＩＢが表示されるようになっている。そして、ＥＸＩＴアイコンＩＢに対応するファンクションスイッチＦ１（戻りスイッチ）が押下されると、いずれの画面からであっても、モニタ制御部４３が生成する画面である標準画面８３に遷移する。
その場合、ファンクションスイッチＦ１を有する操作部１７から信号がモニタ制御部４３に出力され、その信号を受け取ったモニタ制御部４３は、標準画面生成部４６によって標準画面８３を生成し、表示部１６に出力するという信号の入出力が行われる。
図８の周辺監視調整画面０１（９１）の状態からファンクションスイッチＦ３（１つ下の項目を選択）を押下することによって、１つ下部の項目である「０２ カメラ設定」が選択された状態である周辺監視調整画面０２（９２）に遷移する。（図示していない）。
ここで、「０２ カメラ設定」が選択された状態（周辺監視調整画面０２（９２））で、ファンクションスイッチＦ６（決定）を押下すると、図９に示すカメラ設定メニュー画面１０２に遷移する。
ここで周辺監視制御部４０が正常に稼働している状態であれば、例えばカメラ設定メニュー画面１０２が表示されている状態で「１階層戻る」スイッチ（ファンクションスイッチＦ５）を押下すると、その信号が周辺監視制御部４０に送られ、周辺監視制御部４０にて周辺監視調整画面０２（９２）を生成し、表示部１６に出力するという動作がなされる。
一方、ここで周辺監視制御部４０に何らかの不具合が発生し信号を受け付けなくなった場合、操作部１７からの「１階層戻る」という信号を受け付けることができず、周辺監視調整画面０２（９２）に遷移することなくカメラ設定メニュー画面１０２が表示されたままになってしまう。そのような場合、同様に「決定」スイッチ（ファンクションスイッチＦ６）や「１つ下の項目を選択」スイッチ（ファンクションスイッチＦ３）を押下したとしても画面を遷移することができない。
しかし、そのような場合であっても、モニタ制御部４３が生成する画面に遷移させるための信号を出力するための戻りスイッチを押下すれば、信号を受け付けなくなった周辺監視制御部４０を介することなく、スイッチを操作した信号がモニタ制御部４３に送られ、モニタ制御部４３において標準画面８３を生成し表示部１６に表示する、すなわち、即座に標準画面８３に戻ることができる。
したがって、俯瞰画像のキャリブレーションを行っている最中に周辺監視制御部側に何らかの不具合が発生して調整処理を行えない状態であっても、迅速にモニタ制御部４３が生成する画面、例えば標準画面に遷移することができ、オペレータがエンジン水温や燃料残量などの基本情報を確実に確認することができる。
上記実施形態では、戻りスイッチを押下した場合に標準画面に戻れる構成としたが、この実施形態に限られず、例えばタッチパネルディスプレイを用いて画面上に表示されるＥＸＩＴアイコンをタップするだけでもよいし、戻りスイッチを操作部１７内に専用のスイッチとして設けてもよい。また、モニタ以外の場所に別体の戻りスイッチを設けるようにしてもよい。
前記実施形態では、戻りスイッチを押下した場合に標準画面８３に戻る構成としたが、モニタ制御部４３が生成する画面であればいずれの画面に戻る構成としても構わない。
前記実施形態では、単カメラ画像や俯瞰画像、調整処理画面などを生成する周辺監視制御部を用いた例で説明したが、それ以外の制御部で、高度な情報処理を行う等により外部制御部自身で生成した作業機械の特殊情報（例えば、作業機械周囲の障害物に関する情報や、作業現場全体の地形情報、作業機械の操作を補助・ガイダンスするための作業機械周辺の地形情報、遠隔操作に用いる作業機械周囲の画像情報など）を表示するための画像をモニタに出力し、モニタに当該特殊情報を表示させる制御部であればどのようなものを用いても構わない。なお、単カメラ画像や俯瞰画像、調整処理画面なども作業機械の特殊情報に含まれている。
また前記実施形態では、周辺監視制御部４０とモニタ制御部４０とがＣＡＮ４１で接続される構成であったが、その形態に限らず、例えば同一基板内や同一チップ内にそれぞれ設けられる構成であってもよい。
前記実施形態では、標準画面に俯瞰画像６１と単カメラ画像６２を同時に表示させる構成としていたが、本発明はこれに限られず、俯瞰画像のみや単カメラ画像のみを表示、もしくはいずれも標準画面に表示しないような構成としてもよい。また、調整処理画面に俯瞰画像６１を表示させる構成としていたが、俯瞰画像を表示させない構成であってもよい。
なお、上記実施形態では油圧ショベルを用いて説明したが、作業機械であれば、ダンプトラック、ブルドーザー、ホイールローダー等の作業機械に本発明を適用してもよい。
また、上記実施形態では作業機械の運転室６にモニタ１５を設けた構成で説明したが、その他の場所、例えば作業機械の遠隔操作を行うための遠隔操作室や、建設現場内にある複数の作業機械を全体的に管理・統制する管制室に表示部を設けた構成であってもよい。モニタ１５が携帯端末として構成され（例えば取り外し可能であってもよい）、オペレータが携帯端末における表示部に表示された俯瞰画像を見られる構成であってもよい。
遠隔操作室や管制室に表示部を設けた場合、戻りスイッチは、同様に遠隔操作室内や管制室内に設けるのが好ましい。また、モニタが携帯端末として構成される場合には、戻りスイッチを携帯端末に設けてもよいし、携帯端末とは別の装置に設けてもよい。
ここで、遠隔操作室や管制室において表示部に俯瞰画像を表示する場合や携帯端末に表示部を設ける場合には、作業機械と、操作室・管制室・携帯端末等のそれぞれに何らかの通信手段を設け、俯瞰画像等の情報の送受信を行う構成であってもよい。
１ 油圧ショベル
２ 下部走行体
３ 上部旋回体
４ 作業機
４ａ ブーム
４ｂ アーム
４ｃ バケット
４ｄ ブームシリンダ
４ｅ アームシリンダ
４ｆ バケットシリンダ
６ 運転室
７ パワーコンテナ
８ カウンタウェイト
１０ オペレータシート
１１，１２ 操作レバー
１３，１４ 走行レバー
１５ モニタ
１６ 表示部
１７ 操作部
４０ 周辺監視制御部（第２モニタ制御部）
４２ 通信制御部
４３ モニタ制御部（第１モニタ制御部）
４４ エンジン制御部
４５ ポンプ制御部
４６ 標準画面生成部
４７ 調整処理画面生成指示部
４８ アイコン生成部
５１ 画像処理部
５３ 表示制御部
５４ 俯瞰画像生成部
５５ 調整処理画面生成部
５６ 画像合成部
５８ 単カメラ画像生成部
６１ 俯瞰画像
６２ 単カメラ画像
７０ 単カメラ画像位置アイコン
８３ 標準画面
８４ サービス選択画面
８５ 調整選択画面
９０ 調整処理画面
９１ 周辺監視調整画面０１
９２ 周辺監視調整画面０２
１０２ カメラ設定メニュー画面
２１１ 後方カメラ設定画面
Ｃ カメラ群
Ｃ１〜Ｃ４ カメラ
Ｄ 目安線
Ｆ１〜Ｆ６ ファンクションスイッチ
Ｇ１ エンジン水温ゲージ
Ｇ２ 作動油温ゲージ
Ｇ３ 燃料レベルゲージ
Ｉ１〜Ｉ９，ＩＢ アイコン
Ｓ１ 映像信号

Claims (9)

  1. 表示部を備えたモニタと、
    前記モニタに接続され、作業機械の各種情報を表示させるための画面を生成し、前記モニタに信号出力する第１モニタ制御部と、
    前記モニタに接続され、作業機械の特殊情報を表示させるための画面を生成し、前記モニタに信号出力する第２モニタ制御部と、
    戻りスイッチと、を備え、
    前記モニタは、前記第１モニタ制御部から出力された信号に基づき前記作業機械の各種情報を前記表示部に表示すると共に、前記第２モニタ制御部から出力された信号に基づき前記作業機械の特殊情報を前記表示部に表示するものであり、
    前記戻りスイッチは、前記表示部に表示された前記作業機械の特殊情報の表示画面から、作業機械の各種情報の表示画面に遷移させるためのスイッチであることを特徴とする作業機械の表示システム。
  2. 前記作業機械の周囲状況を取得する複数のカメラを有し、
    前記第２モニタ制御部は、前記複数のカメラに接続され、前記複数のカメラの単カメラ画像、前記複数のカメラが撮像した画像に基づいて生成される俯瞰画像、及び俯瞰画像の調整処理を行う調整処理画面を生成する周辺監視制御部であり、
    前記作業機械の前記特殊情報は、前記調整処理画面を含み、
    前記周辺監視制御部は、前記調整処理画面を生成して前記モニタに信号出力し、
    前記戻りスイッチは、前記モニタの表示部が前記調整処理画面を表示する状態から前記作業機械の各種情報の表示画面に遷移させるためのスイッチであることを特徴とする請求項１記載の作業機械の表示システム。
  3. 前記戻りスイッチは、前記モニタに表示される、もしくは前記モニタに設けられたスイッチであることを特徴とする請求項１または２に記載の作業機械の表示システム。
  4. 前記戻りスイッチは、モニタとは別体に設けられたスイッチであることを特徴とする請求項１または２に記載の作業機械の表示システム。
  5. 前記調整処理画面は、前記俯瞰画像、及び／又は単カメラ画像を含む画面であることを特徴とする請求項１〜４のいずれか一つに記載の作業機械の表示システム。
  6. 前記作業機械の各種情報とは、機械情報、警告情報、メニュー画面、及び／又はメンテナンス画面であることを特徴とする請求項１〜５のいずれか一つに記載の作業機械の表示システム。
  7. 前記作業機械の特殊情報とは、単カメラ画像、俯瞰画像、調整処理画面、作業機械周囲の障害物に関する情報、作業現場全体の地形情報、作業機械の操作を補助・ガイダンスするための作業機械周辺の地形情報、及び／又は遠隔操作に用いる作業機械周囲の画像情報であることを特徴とする請求項１〜６のいずれか一つに記載の作業機械の表示システム。
  8. 表示部を備えたモニタと、
    前記モニタに接続され、作業機械の各種情報を表示させるための画面を生成し、前記モニタに信号出力する第１モニタ制御部と、
    前記モニタに接続され、作業機械の特殊情報を表示させるための画面を生成し、前記モニタに信号出力する第２モニタ制御部と、
    戻りスイッチと、を備え、
    前記モニタは、前記第１モニタ制御部から出力された信号に基づき前記作業機械の各種情報を前記表示部に表示すると共に、前記第２モニタ制御部から出力された信号に基づき前記作業機械の特殊情報を前記表示部に表示するものであり、
    前記戻りスイッチは、前記表示部に表示された前記作業機械の特殊情報の表示画面から、前記作業機械の各種情報の表示画面に遷移させるためのスイッチであることを特徴とする作業機械の表示装置。
  9. 表示部を備えたモニタと、
    戻りスイッチと、を備え、
    作業機械の各種情報を表示させるための画面を生成し、前記モニタに信号出力する第１モニタステップと、
    作業機械の特殊情報を表示させるための画面を生成し、前記モニタに信号出力する第２モニタステップと、
    前記第１モニタステップから出力された信号に基づき前記作業機械の各種情報を前記表示部に表示する第１表示ステップと、
    前記第２モニタステップから出力された信号に基づき前記作業機械の特殊情報を前記表示部に表示する第２表示ステップと、
    第２表示ステップにより前記表示部に前記作業機械の特殊情報が表示された状態から、の表示画面から、前記戻りスイッチの操作により、第１表示ステップによる前記作業機械の各種情報が前記表示部に表示されることを特徴とする作業機械の表示方法。
JP2015542088A 2015-07-31 2015-07-31 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法 Active JP5956693B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/071885 WO2016013686A1 (ja) 2015-07-31 2015-07-31 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法

Publications (2)

Publication Number Publication Date
JP5956693B2 JP5956693B2 (ja) 2016-07-27
JPWO2016013686A1 true JPWO2016013686A1 (ja) 2017-04-27

Family

ID=55163206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015542088A Active JP5956693B2 (ja) 2015-07-31 2015-07-31 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法

Country Status (6)

Country Link
US (1) US10337174B2 (ja)
JP (1) JP5956693B2 (ja)
KR (1) KR101856890B1 (ja)
CN (1) CN105934945B (ja)
DE (1) DE112015000292B4 (ja)
WO (1) WO2016013686A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015088048A1 (ja) * 2014-12-26 2015-06-18 株式会社小松製作所 作業機械の状態情報表示装置、作業機械の警告表示方法、及び作業機械の警告表示プログラム
JP6665412B2 (ja) * 2015-03-23 2020-03-13 株式会社タダノ 作業機械の調整装置
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
EP3385457A4 (en) * 2015-11-30 2019-03-13 Sumitomo Heavy Industries, Ltd. PERIPHERAL MONITORING SYSTEM FOR A WORK MACHINE
JP6732578B2 (ja) * 2016-07-14 2020-07-29 株式会社加藤製作所 建設機械
JP7092688B2 (ja) * 2017-02-17 2022-06-28 住友重機械工業株式会社 作業機械用周辺監視システム
US10844579B2 (en) 2017-02-20 2020-11-24 Doosan Infracore Co., Ltd. Screen display system and screen display method of construction equipment
CN107171143B (zh) * 2017-06-15 2023-04-18 安徽交欣科技股份有限公司 一种公交车监视器连接结构
DE112017000082T5 (de) * 2017-06-28 2018-04-19 Komatsu Ltd. Anzeigevorrichtung und Anzeigesystem einer Arbeitsmaschine
CN110462142A (zh) * 2017-08-14 2019-11-15 住友建机株式会社 挖土机及与挖土机协同工作的支援装置
JP6960802B2 (ja) * 2017-08-24 2021-11-05 日立建機株式会社 作業機械の周囲監視装置
JP7127313B2 (ja) * 2018-03-19 2022-08-30 コベルコ建機株式会社 建設機械
JP7000957B2 (ja) * 2018-03-29 2022-01-19 コベルコ建機株式会社 作業機械操縦装置
CN111601935A (zh) * 2018-03-30 2020-08-28 住友建机株式会社 挖土机
CN112449662A (zh) 2018-07-19 2021-03-05 克拉克设备公司 用于具有升降门的驾驶室的显示器位置
JP7158216B2 (ja) * 2018-09-03 2022-10-21 株式会社小松製作所 作業機械のための表示システム
US10882468B1 (en) * 2019-10-29 2021-01-05 Deere & Company Work vehicle composite panoramic vision systems
EP4317602A1 (en) * 2021-03-29 2024-02-07 Sumitomo Construction Machinery Co., Ltd. Excavator display device and excavator
DE102021109330A1 (de) * 2021-04-14 2022-10-20 Deere & Company Verfahren zur Wahrnehmung einer erweiterten Realität für ein landwirtschaftliches Nutzfahrzeug
DE102021112052A1 (de) * 2021-05-07 2022-11-10 abaut GmbH System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148059A (ja) * 2006-12-11 2008-06-26 Denso Corp 車両周辺監視装置
JP2014125865A (ja) * 2012-12-27 2014-07-07 Hitachi Constr Mach Co Ltd 作業機械の車体周囲表示装置
JP2014225819A (ja) * 2013-05-17 2014-12-04 京セラ株式会社 較正処理装置、カメラ較正装置、およびカメラ較正方法
JP2015075426A (ja) * 2013-10-10 2015-04-20 株式会社フジタ 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3008024A (en) * 1959-01-12 1961-11-07 Illinois Tool Works Toggle switch mechanism
JP4093915B2 (ja) * 2003-05-23 2008-06-04 住友建機製造株式会社 建設機械のモニタ装置
JP2005163370A (ja) * 2003-12-02 2005-06-23 Hitachi Constr Mach Co Ltd 建設機械の画像表示装置
JP4332027B2 (ja) 2003-12-25 2009-09-16 キャタピラージャパン株式会社 表示器制御システム
JP2010180636A (ja) 2009-02-06 2010-08-19 Hitachi Constr Mach Co Ltd 建設機械の故障情報表示装置
JP2011065301A (ja) 2009-09-16 2011-03-31 Fujitsu General Ltd タッチパネルを備えた電子機器
JP5367665B2 (ja) * 2010-09-17 2013-12-11 日立建機株式会社 作業機械の表示システム
JP5341044B2 (ja) 2010-09-29 2013-11-13 日立建機株式会社 作業機械の表示システム
CA2808461C (en) * 2011-06-07 2015-12-08 Komatsu Ltd. Perimeter monitoring device for work vehicle
JP2013253402A (ja) 2012-06-06 2013-12-19 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148059A (ja) * 2006-12-11 2008-06-26 Denso Corp 車両周辺監視装置
JP2014125865A (ja) * 2012-12-27 2014-07-07 Hitachi Constr Mach Co Ltd 作業機械の車体周囲表示装置
JP2014225819A (ja) * 2013-05-17 2014-12-04 京セラ株式会社 較正処理装置、カメラ較正装置、およびカメラ較正方法
JP2015075426A (ja) * 2013-10-10 2015-04-20 株式会社フジタ 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置

Also Published As

Publication number Publication date
US20170030054A1 (en) 2017-02-02
US10337174B2 (en) 2019-07-02
DE112015000292B4 (de) 2021-02-11
DE112015000292T5 (de) 2016-11-17
CN105934945A (zh) 2016-09-07
WO2016013686A1 (ja) 2016-01-28
KR20170015854A (ko) 2017-02-09
JP5956693B2 (ja) 2016-07-27
CN105934945B (zh) 2019-07-05
KR101856890B1 (ko) 2018-05-10

Similar Documents

Publication Publication Date Title
JP5956693B2 (ja) 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6901605B2 (ja) 油圧ショベル
JP6568228B2 (ja) 作業機械の表示装置及び表示システム
JP6577034B2 (ja) 作業機械の表示システム、および作業機械の表示方法
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
JP2005163370A (ja) 建設機械の画像表示装置
JP2018105064A (ja) 作業車両および作業車両の制御システム
JP7092714B2 (ja) 作業機械の制御装置及び作業機械の制御方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160616

R150 Certificate of patent or registration of utility model

Ref document number: 5956693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150