JP4746000B2

JP4746000B2 - Fuel saving driving support method and fuel saving driving support system for construction machinery

Info

Publication number: JP4746000B2
Application number: JP2007082506A
Authority: JP
Inventors: 昌也田中; 健治土井下
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2011-08-10
Anticipated expiration: 2027-03-27
Also published as: JP2008240361A

Description

本発明は、油圧ショベル等の建設機械の省燃費運転支援方法および省燃費運転支援システムに関するものである。 The present invention relates to a fuel-saving driving support method and a fuel-saving driving support system for a construction machine such as a hydraulic excavator.

油圧ショベル等の建設機械にあっては、エンジン駆動の油圧ポンプにより作業機の油圧アクチュエータを駆動させることで所望の作業を行うものであり、自動車等の場合と同様に、省燃費運転が要望される。そして、省燃費運転を支援するためには、作業機の運転状況の評価が必要となる。 A construction machine such as a hydraulic excavator performs a desired work by driving a hydraulic actuator of a work machine by an engine-driven hydraulic pump. As in the case of an automobile or the like, fuel-saving operation is required. The In order to support fuel-saving driving, it is necessary to evaluate the operating status of the work machine.

この種の建設機械の省燃費運転のための運転状況の評価に関しては、平均燃費をモニタにガイダンス出力する提案例がある（例えば、特許文献１参照）。また、油圧などの各種センシングパラメータを自己組織化マップにすることにより、各パラメータ間のニューロン距離を計算して作業機の作業内容を特定するようにした提案例がある（例えば、特許文献２参照）。さらには、レバー操作などの解析によって、作業機の作業内容を把握しようとする試みもある。 Regarding the evaluation of the driving situation for fuel-saving driving of this type of construction machine, there is a proposed example in which guidance output of average fuel consumption is made on a monitor (for example, see Patent Document 1). Further, there is a proposal example in which various sensing parameters such as hydraulic pressure are made into a self-organizing map to calculate the neuron distance between each parameter and specify the work content of the work implement (for example, see Patent Document 2). ). Furthermore, there is an attempt to grasp the work content of the work machine by analyzing the lever operation or the like.

また、油圧ショベルのような建設機械に関しては、該建設機械の周囲の状況をカメラで撮影し、機械の操作に応じてモニタに周辺画像を表示することで、視野を確保したり、作業範囲内に侵入した物体をカメラ画像から検出して警告を発するようにした提案例がある（例えば、特許文献３参照）。 For construction machines such as hydraulic excavators, the situation around the construction machine is photographed with a camera, and a peripheral image is displayed on the monitor according to the operation of the machine, so that a field of view can be secured and the working range can be maintained. There is a proposed example in which an object that has entered the camera is detected from a camera image and a warning is issued (see, for example, Patent Document 3).

特開２００５−１６３４７０号公報JP 2005-163470 A 特開２００５−２５３５１号公報JP 2005-25351 A 特開平１０−７２８５１号公報JP-A-10-72851

建設機械にあっては、作業機の作業内容によって負荷が異なり、同じ作業内容でも運転状況で燃料の消費の仕方が異なるので、作業内容を認識し、作業内容別に燃費を推定することが、実体に即した的確な運転評価となる。しかしながら、特許文献１に記載のものは、単純に時間当りの平均燃費を算出しているだけであり、作業機の作業内容別の燃費は加味されておらず、実体に即した的確な運転評価とはならない。また、特許文献１のものでは、作業モードを選択できるものの、その選択操作はオペレータ自身が行わなければならない。ここで、作業内容をオペレータが入力設定すれば作業内容の特定は正確であるが、作業中にオペレータが逐一作業モードを入力するという面倒な操作を行うことは現実的でない。 In construction machinery, the load varies depending on the work content of the work equipment, and even in the same work content, the way of consuming fuel varies depending on the operating conditions. Therefore, it is actually necessary to recognize the work content and estimate the fuel consumption by work content. Accurate driving evaluation in line with However, the one described in Patent Document 1 simply calculates the average fuel consumption per hour, does not take into account the fuel consumption by work content of the work implement, and accurate driving evaluation in line with the substance. It will not be. Moreover, in the thing of patent document 1, although an operation mode can be selected, the selection operation must be performed by the operator himself. Here, if the operator inputs and sets the work content, the work content is specified accurately. However, it is not realistic for the operator to input the work mode one by one during the work.

また、特許文献２等に示される作業機の作業内容の認識方法では、間接的な認識方法であり、実際の作業機の動きを見ておらず、作業内容の認識が不正確となってしまう。この結果、作業内容別の燃費評価も不正確となり、省燃費運転の適正な支援とはならない。 In addition, the work content recognition method of the work machine disclosed in Patent Document 2 is an indirect recognition method, and does not look at the actual work machine movement, so the work content is not recognized correctly. . As a result, the fuel consumption evaluation for each work content becomes inaccurate and does not provide appropriate support for fuel-saving driving.

一方、特許文献３等に示されるように油圧ショベル等の建設機械にカメラを搭載する技術は周知であるが、後方や周囲の安全性の確保を目的としているにすぎない。 On the other hand, as shown in Patent Document 3 and the like, a technique for mounting a camera on a construction machine such as a hydraulic excavator is well known, but it is only intended to ensure safety in the rear and surroundings.

本発明は、上記に鑑みてなされたものであって、作業機の作業内容を正確に認識して作業内容毎に省燃費運転のための評価を的確に行うことができる建設機械の省燃費運転支援方法および省燃費運転支援システムを提供することを目的とする。 The present invention has been made in view of the above, and is capable of accurately recognizing the work content of the work machine and accurately evaluating the fuel-saving operation for each work content. An object is to provide a support method and a fuel-saving driving support system.

上述した課題を解決し、目的を達成するために、本発明にかかる建設機械の省燃費運転支援方法は、建設機械に搭載されたカメラで作業機の作業状況を順次撮影する工程と、順次撮影されたカメラ画像と前記作業機の作業状況に応じて予め記憶されたテンプレート画像とを順次パターンマッチングし時系列で得られるパターンマッチング結果による前記作業機の動きから前記作業機の作業内容を認識する工程と、順次認識された作業内容別に作業回数と使用燃料量とを累積する工程と、所定のタイミングで、累積された作業回数と使用燃料量とに基づき算出された作業内容毎の燃費を作業内容毎に予め設定された目標燃費と比較して作業内容毎の燃料使用状態の良否を表示する工程と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, a construction machine fuel-saving driving support method according to the present invention includes a step of sequentially photographing a work state of a work machine with a camera mounted on the construction machine, and a sequential photographing. Pattern matching is sequentially performed on the captured camera image and a template image stored in advance according to the work status of the work machine, and the work content of the work machine is recognized from the movement of the work machine based on the pattern matching result obtained in time series. Work, the process of accumulating the number of operations and the amount of fuel used for each recognized work content, and the fuel consumption for each work content calculated based on the accumulated number of operations and the amount of fuel used at a predetermined timing And a step of displaying the quality of the fuel usage state for each work content as compared with a target fuel consumption preset for each content.

また、本発明にかかる建設機械の省燃費運転支援方法は、上記発明において、前記認識する工程では、撮影された前記作業機の各部位毎のカメラ画像と、前記作業機の作業状況に応じて予め記憶された各部位毎のテンプレート画像とを用いることを特徴とする。 In the fuel-saving driving support method for a construction machine according to the present invention, in the above-described invention, in the step of recognizing, the camera image of each part of the work implement photographed and the work status of the work implement are used. A template image for each part stored in advance is used.

また、本発明にかかる建設機械の省燃費運転支援方法は、上記発明において、前記累積する工程では、作業内容別に作業時間をさらに累積することを特徴とする。 Further, the fuel-saving driving support method for a construction machine according to the present invention is characterized in that, in the above-mentioned invention, the accumulation time further accumulates work time for each work content.

また、本発明にかかる建設機械の省燃費運転支援システムは、建設機械に搭載されて作業機の作業状況を順次撮影するカメラと、前記作業機の作業状況に応じたテンプレート画像を予め記憶したテンプレート画像メモリと、前記カメラで順次撮影されたカメラ画像と前記テンプレート画像メモリに予め記憶されたテンプレート画像とを順次パターンマッチングし時系列で得られるパターンマッチング結果による前記作業機の動きから前記作業機の作業内容を認識する作業内容認識手段と、該作業内容認識手段で順次認識された作業内容別に作業回数と使用燃料量とを作業内容テーブルに累積する累積手段と、所定のタイミングで、前記作業内容テーブルに累積された作業回数と使用燃料量とに基づき作業内容毎の燃費を算出する燃費算出手段と、該燃費算出手段で算出された作業内容毎の燃費を作業内容毎に予め設定された目標燃費と比較して作業内容毎の燃料使用状態の良否を表示する表示手段と、を備えたことを特徴とする。 In addition, a fuel-saving driving support system for a construction machine according to the present invention includes a camera that is mounted on a construction machine and sequentially captures a work state of a work machine, and a template that stores in advance a template image corresponding to the work state of the work machine. An image memory, a camera image sequentially captured by the camera, and a template image stored in advance in the template image memory are sequentially subjected to pattern matching, and from the movement of the working machine according to a pattern matching result obtained in time series, the working machine Work content recognizing means for recognizing work contents, accumulation means for accumulating the number of operations and the amount of fuel used for each work content sequentially recognized by the work content recognition means, and the work content at a predetermined timing. Fuel consumption calculation means for calculating the fuel consumption for each work based on the number of operations accumulated in the table and the amount of fuel used A display means for comparing the fuel consumption for each work content calculated by the fuel consumption calculation means with a target fuel consumption preset for each work content, and for displaying the quality of the fuel usage state for each work content. Features.

また、本発明にかかる建設機械の省燃費運転支援システムは、上記発明において、前記テンプレート画像メモリは、前記作業機の作業状況に応じた各部位毎のテンプレート画像を予め記憶し、前記作業内容認識手段は、撮影された前記作業機の各部位毎のカメラ画像を用いることを特徴とする。 In the fuel-saving driving support system for a construction machine according to the present invention as set forth in the invention described above, the template image memory stores in advance a template image for each part corresponding to the work status of the work implement, and recognizes the work content. The means uses a photographed camera image of each part of the working machine.

また、本発明にかかる建設機械の省燃費運転支援システムは、上記発明において、前記累積手段は、作業内容別に作業時間をさらに累積することを特徴とする。 Moreover, the fuel-saving driving support system for a construction machine according to the present invention is characterized in that, in the above invention, the accumulating means further accumulates work time for each work content.

本発明にかかる建設機械の省燃費運転支援方法および省燃費運転支援システムは、建設機械に搭載されたカメラで作業機の作業状況を順次撮影し、順次撮影されたカメラ画像と作業機の作業状況に応じて予め記憶されたテンプレート画像とを順次パターンマッチングし時系列で得られるパターンマッチング結果による作業機の動きから作業機の作業内容を認識するので、実際の作業機の動きをカメラによって撮影した結果に基づく直接的な認識であり、作業内容認識の正確性を増すことができ、このような認識された作業内容別に作業回数と使用燃料量とを累積し作業内容毎に算出された燃費を作業内容毎の目標燃費と比較して運転状況を評価するので、省燃費運転のための評価を作業内容別に的確に行うことができるという効果を奏する。 The fuel-saving driving support method and the fuel-saving driving support system for a construction machine according to the present invention sequentially photograph the work situation of a work machine with a camera mounted on the construction machine, and sequentially photographed camera images and the work situation of the work machine. The work contents of the work implement are recognized from the movement of the work implement based on the pattern matching results obtained in a time series by sequentially pattern matching with the template image stored in advance according to the actual image of the work implement movement. It is a direct recognition based on the results, which can increase the accuracy of the work content recognition, and accumulate the number of work and the amount of fuel used for each recognized work content to obtain the fuel efficiency calculated for each work content. Since the driving situation is evaluated in comparison with the target fuel consumption for each work content, there is an effect that the evaluation for fuel-saving driving can be accurately performed for each work content.

以下、本発明の実施の形態について図面を参照して説明する。なお、本実施の形態は、建設機械として油圧ショベルへの適用例を示す。本発明は、実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The present embodiment shows an application example to a hydraulic excavator as a construction machine. The present invention is not limited to the embodiment, and various modifications can be made without departing from the spirit of the present invention.

図１は、本実施の形態の省燃費運転支援方法が適用される油圧ショベルの構成例を示す概略側面図であり、図２は、油圧ショベルの省燃費運転支援システムの構成例を示す概略ブロック図である。本実施の形態の油圧ショベル１は、下部走行体をなす履帯２上に操縦室３ａ等を含む上部旋回体３を備え、上部旋回体３の車体部分には、ブーム４、アーム５およびバケット６の各部位からなる作業機７が取り付けられている。ブーム４、アーム５およびバケット６は、図１では図示しないが、各々ブーム用、アーム用、バケット用の油圧シリンダ等の油圧アクチュエータ８（図２参照）が駆動することにより作動し、掘削、法面仕上、平面仕上等の所望の作業を実行する。 FIG. 1 is a schematic side view showing a configuration example of a hydraulic excavator to which the fuel-saving driving support method of the present embodiment is applied, and FIG. 2 is a schematic block diagram showing a configuration example of a fuel-saving driving support system of the hydraulic excavator. FIG. The hydraulic excavator 1 according to the present embodiment includes an upper swing body 3 including a cockpit 3a and the like on a crawler belt 2 forming a lower traveling body. A boom 4, an arm 5, and a bucket 6 are provided on a vehicle body portion of the upper swing body 3. A work machine 7 composed of each part is attached. Although not shown in FIG. 1, the boom 4, the arm 5, and the bucket 6 are operated by driving hydraulic actuators 8 (see FIG. 2) such as hydraulic cylinders for booms, arms, and buckets. A desired work such as surface finishing or surface finishing is executed.

ここで、本実施の形態の油圧ショベル１は、例えば操縦室３ａ上にカメラ９を備える。このカメラ９は、ＣＣＤ、ＣＭＯＳセンサ等の固体撮像素子を用いて被写体を撮影するもので、本実施の形態では、作業機７（ブーム４、アーム５およびバケット６）の作業状況を撮影し得るように設置されている。 Here, the excavator 1 of the present embodiment includes a camera 9 on the cockpit 3a, for example. The camera 9 photographs a subject using a solid-state imaging device such as a CCD or CMOS sensor. In this embodiment, the camera 9 can photograph the working status of the work machine 7 (the boom 4, the arm 5 and the bucket 6). It is installed as follows.

また、本実施の形態の油圧ショベル１の省燃費運転支援システムは、図２に示すように、制御系として、制御コントローラ１０と車体コントローラ２０と画像処理コントローラ３０とを備える。車体コントローラ２０は、油圧ショベル１の大半の制御を司るもので、例えばエンジン２１の回転数を燃料噴射指令値によって制御することで、エンジン駆動の油圧ポンプ２２を制御し、操作弁２３を介して油圧シリンダ、油圧モータ等の油圧アクチュエータ８を駆動制御し、所望の作業を行わせる。また、車体コントローラ２０は、操作弁２３をパイロット油圧で制御して対応する油圧アクチュエータ８を駆動させるための操作レバー２４の操作レバー信号を取り込み、操作レバー２４の操作量に応じた燃料噴射指令値を算出する。 Further, the fuel-saving driving support system of the hydraulic excavator 1 according to the present embodiment includes a control controller 10, a vehicle body controller 20, and an image processing controller 30 as a control system, as shown in FIG. The vehicle body controller 20 controls most of the hydraulic excavator 1. For example, the vehicle body controller 20 controls the engine-driven hydraulic pump 22 by controlling the rotational speed of the engine 21 with the fuel injection command value, and via the operation valve 23. The hydraulic actuator 8 such as a hydraulic cylinder and a hydraulic motor is driven and controlled to perform a desired operation. The vehicle body controller 20 takes in an operation lever signal of the operation lever 24 for driving the corresponding hydraulic actuator 8 by controlling the operation valve 23 with the pilot hydraulic pressure, and a fuel injection command value corresponding to the operation amount of the operation lever 24. Is calculated.

また、画像処理コントローラ３０は、カメラ９で順次撮影された作業機７の作業状況のカメラ画像情報を取り込んで作業内容を認識する処理を行うためのものであり、パターンマッチング処理部３１と作業内容認識部３２とを備える。また、画像処理コントローラ３０には、作業機７の作業状況に応じてカメラ９で撮影されて画像抽出、マスキング等の所定の画像処理が施されたテンプレート画像を予め記憶したテンプレート画像メモリ３３が接続されている。パターンマッチング処理部３１は、カメラ９で順次撮影されたカメラ画像とテンプレート画像メモリ３３に予め記憶されたテンプレート画像とを比較するパターンマッチング処理を実行し、カメラ画像が一致するテンプレート画像を確定することで、作業機７の姿勢（作業状況）を特定する。作業内容認識部３２は、順次撮影されるカメラ画像のそれぞれについてパターンマッチング処理部３１によってパターンマッチング処理され、時系列で得られるパターンマッチング結果（順次確定されるテンプレート画像の情報）をメモリに保存し、時系列で解析して作業機７の動きパターンを特定することで、該動きパターンに相当する作業内容（例えば、掘削／積込作業）を認識する処理を行い、認識された作業内容情報を制御コントローラ１０に出力する。 In addition, the image processing controller 30 is for performing processing for recognizing the work content by capturing the camera image information of the work status of the work machine 7 sequentially photographed by the camera 9, and the pattern matching processing unit 31 and the work content. A recognition unit 32. Also connected to the image processing controller 30 is a template image memory 33 that stores in advance a template image that has been photographed by the camera 9 in accordance with the work status of the work machine 7 and has undergone predetermined image processing such as image extraction and masking. Has been. The pattern matching processing unit 31 executes a pattern matching process that compares a camera image sequentially captured by the camera 9 with a template image stored in advance in the template image memory 33 to determine a template image that matches the camera image. Thus, the posture (working situation) of the work machine 7 is specified. The work content recognition unit 32 performs pattern matching processing on each of the sequentially captured camera images by the pattern matching processing unit 31, and stores the pattern matching results (sequentially determined template image information) obtained in time series in a memory. Then, by analyzing the time series and specifying the movement pattern of the work implement 7, processing for recognizing the work content (for example, excavation / loading work) corresponding to the movement pattern is performed, and the recognized work content information is obtained. Output to the controller 10.

また、制御コントローラ１０は、画像処理コントローラ２０で認識された作業内容を加味して油圧ショベル１の運転状況を作業内容毎に評価するためのもので、累積部１１と燃費算出部１２と評価部１３を備えるとともに、評価結果を表示するためのモニタ１４が接続されている。また、制御コントローラ１０には、作業内容テーブル１５や作業内容別目標燃費テーブル１６を有するメモリ１７や、評価情報表示を指示するための評価表示ボタン１８が接続されている。ここで、累積部１１は、作業内容認識部３２で順次認識された作業内容別に作業回数と使用燃料量と作業時間とを作業内容テーブル１５に累積する処理を行うためのものである。また、燃費算出部１２は、例えば評価表示ボタン１８が押下される等の所定のタイミングで、作業テーブル１５に累積された作業回数と使用燃料量と作業回数とに基づき作業内容毎の燃費に関する情報を算出する処理を行うためのものである。評価部１３は、燃費算出部１２で算出された作業内容毎の燃費を作業内容毎に予め作業内容別目標燃費テーブル１６に設定された目標燃費と比較して作業内容毎の燃料使用状態の良否をモニタ１４上に表示させる処理を行うためのものである。 The controller 10 is for evaluating the operation status of the hydraulic excavator 1 for each work content in consideration of the work content recognized by the image processing controller 20. The accumulator 11, the fuel consumption calculator 12, and the evaluation unit 13 and a monitor 14 for displaying the evaluation result is connected. The controller 10 is connected to a memory 17 having a work content table 15 and a target fuel efficiency table 16 for each work content, and an evaluation display button 18 for instructing display of evaluation information. Here, the accumulating unit 11 is for performing processing for accumulating the number of operations, the amount of fuel used, and the operation time for each operation content sequentially recognized by the operation content recognition unit 32 in the operation content table 15. Further, the fuel consumption calculation unit 12 is information on fuel consumption for each work content based on the number of operations, the amount of fuel used, and the number of operations accumulated in the work table 15 at a predetermined timing, for example, when the evaluation display button 18 is pressed. This is for performing the process of calculating. The evaluation unit 13 compares the fuel consumption for each work content calculated by the fuel consumption calculation unit 12 with the target fuel consumption set in the target fuel consumption table 16 for each work content in advance for each work content. Is to be displayed on the monitor 14.

ここで、まず本実施の形態で用いるテンプレート画像およびパターンマッチング処理について、図３〜図７を参照して説明する。本実施の形態では、作業機７の姿勢（作業状況）に応じて、その各部位であるブーム４、アーム５およびバケット６がそれぞれカメラ９からどのように見えるかを示す作業状況に応じた各部位毎のテンプレート画像を、カメラ９で撮影してテンプレート画像メモリ３３に予め記憶させておくものである。ここで、ブーム４、アーム５およびバケット６の変位状況については、例えば図３に示すような基本姿勢をベースとして、それぞれ反時計方向の角度θ₁，θ₂，θ₃で表すものとする。また、本実施の形態では、図４〜図６に示すように、１°ずつテンプレート画像を用意しているが、必要な分解能に応じて、１°よりも粗く、或いは、細かく分類したテンプレート画像を用意してもよい。 Here, template images and pattern matching processing used in the present embodiment will be described with reference to FIGS. In the present embodiment, according to the posture (working situation) of the work implement 7, each part corresponding to the working situation indicating how the boom 4, the arm 5, and the bucket 6, which are the respective parts, are viewed from the camera 9. A template image for each part is photographed by the camera 9 and stored in the template image memory 33 in advance. Here, the displacement state of the boom 4, the arm 5, and the bucket 6 is represented by angles θ ₁ , θ ₂ , and θ ₃ in the counterclockwise direction based on the basic posture as shown in FIG. 3, for example. In this embodiment, as shown in FIGS. 4 to 6, template images are prepared in increments of 1 °. However, template images that are coarser than 1 ° or finely classified according to the required resolution. May be prepared.

まず、図４は、作業機７の基部側に位置するブーム４のテンプレート画像の例を示す説明である。テンプレート画像中、ハッチング部はブーム４の背景の影響を避けるため、マスクするものとし、パターンマッチングには使用しないようにする。ここで、後述するパターンマッチング処理において、例えばカメラ９で撮影されたブーム４部分のカメラ画像がθ₁＝１°のテンプレート画像に一致すれば、そのときのブーム４の作業角度θ₁は１°ということになる。 First, FIG. 4 is an explanation showing an example of a template image of the boom 4 located on the base side of the work machine 7. In the template image, the hatched portion is masked to avoid the influence of the background of the boom 4 and is not used for pattern matching. Here, in the pattern matching process described later, for example, if the camera image of the boom 4 portion taken by the camera 9 matches the template image of θ ₁ = 1 °, the working angle θ ₁ of the boom 4 at that time is 1 °. It turns out that.

図５は、作業機７においてブーム４に支持されたアーム５のテンプレート画像の例を示す説明図である。アーム５の姿勢（作業状況）は、基部側に位置するブーム４の角度θ₁に依存するため、ブーム４の角度θ₁毎に自身の角度θ₂を変化させたテンプレート画像が用意される。 FIG. 5 is an explanatory diagram illustrating an example of a template image of the arm 5 supported by the boom 4 in the work machine 7. Since the posture (working situation) of the arm 5 depends on the angle θ ₁ of the boom 4 located on the base side, a template image in which the angle θ ₂ of the boom 5 is changed for each angle θ _{1 of the} boom 4 is prepared.

図６は、作業機７においてアーム５に支持されたバケット６のテンプレート画像の例を示す説明図である。バケット６の姿勢（作業状況）は、基部側に位置するブーム４およびアームの角度θ₁，θ₂に依存するため、ブーム４およびアーム５の角度θ₁，θ₂毎に自身の角度θ₃を変化させたテンプレート画像が用意される。 FIG. 6 is an explanatory diagram illustrating an example of a template image of the bucket 6 supported by the arm 5 in the work machine 7. Since the posture (working situation) of the bucket 6 depends on the angles θ ₁ and θ ₂ of the boom 4 and the arm positioned on the base side, the angle θ _{3 of the} boom 4 and the arm 5 is set for each of the angles θ ₁ and θ _2. A template image in which is changed is prepared.

なお、本実施の形態では、アーム５のテンプレート画像は角度θ₁毎に、バケット６のテンプレート画像は角度θ₁，θ₂毎に用意するようにしたが、それぞれθ₁＝０、θ₂＝０の場合のテンプレート画像を基準として、演算や拡大・縮小処理により作成するようにしてもよい。 In this embodiment, the template image of the arm 5 in each angle theta _1, the template image is an angle theta ₁ of the bucket 6 has been so prepared for each theta _2, respectively θ ₁ = 0, θ ₂ = A template image in the case of 0 may be used as a reference and created by calculation or enlargement / reduction processing.

次に、このような各部位毎のテンプレート画像が格納されたテンプレート画像メモリ３３を用いたパターンマッチング処理部３１によるパターンマッチング処理例について、図７に示す概略フローチャートを参照して説明する。パターンマッチング処理部３１は、カメラ９で作業機７を撮影したカメラ画像が入力画像として入力されると、ブーム、アーム、バケットの順に処理を進める。まず、ブーム４の角度θ₁に関する変数ｉを０にセットし（ステップＳ１０１）、入力画像中に含まれるブーム画像がθ₁＝ｉのテンプレート画像と一致するか否かを比較する（ステップＳ１０２）。一致するか否かの判定には、例えばパターンマッチング処理において周知の正規化相関を利用すればよい（以下の処理でも同様）。比較の結果、入力画像中に含まれるブーム画像が該テンプレート画像に一致しなかった場合には（ステップＳ１０３；Ｎｏ）、変数ｉを＋１にインクリメントし（ステップＳ１０４）、次のθ₁＝ｉのテンプレート画像と一致するか否かを比較する（ステップＳ１０２）。このような比較処理を、一致する結果が得られるまで繰り返し（ステップＳ１０３）、一致したら（ステップＳ１０３；Ｙｅｓ）、カメラ９で撮影されたブーム４の作業状況（姿勢）としては、当該角度θ₁のテンプレート画像の状態であると確定する（ステップＳ１０５）。ここで、確定した角度θ₁をΘ₁とする。 Next, an example of pattern matching processing by the pattern matching processing unit 31 using the template image memory 33 in which the template image for each part is stored will be described with reference to a schematic flowchart shown in FIG. When a camera image obtained by photographing the work implement 7 with the camera 9 is input as an input image, the pattern matching processing unit 31 proceeds with the process in the order of a boom, an arm, and a bucket. First, the variable i related to the angle θ ₁ of the boom 4 is set to 0 (step S101), and it is compared whether or not the boom image included in the input image matches the template image of θ ₁ = i (step S102). . To determine whether or not they match, for example, a well-known normalized correlation may be used in the pattern matching process (the same applies to the following processes). As a result of the comparison, if the boom image included in the input image does not match the template image (step S103; No), the variable i is incremented by +1 (step S104), and the next θ ₁ = i It is compared whether or not it matches the template image (step S102). Such comparison processing is repeated until a matching result is obtained (step S103). If the matching results are obtained (step S103; Yes), the working state (posture) of the boom 4 photographed by the camera 9 is the angle θ _1. The template image is determined to be in the state (step S105). Here, the determined angle θ ₁ is defined as Θ ₁ .

引き続き、アーム５の角度θ₂に関する変数ｊを０にセットし（ステップＳ１０６）、入力画像に含まれるアーム画像が、θ₁＝Θ₁の場合のθ₂＝ｊのテンプレート画像と一致するか否かを比較する（ステップＳ１０７）。比較の結果、入力画像に含まれるアーム画像が該テンプレート画像に一致しなかった場合には（ステップＳ１０８；Ｎｏ）、変数ｊを＋１にインクリメントし（ステップＳ１０９）、次のθ₂＝ｊのテンプレート画像と一致するか否かを比較する（ステップＳ１０７）。このような比較処理を、一致する結果が得られるまで繰り返し（ステップＳ１０８）、一致したら（ステップＳ１０８；Ｙｅｓ）、カメラ９で撮影されたアーム５の作業状況（姿勢）としては、θ₁＝Θ₁の場合の当該角度θ₂のテンプレート画像の状態であると確定する（ステップＳ１１０）。ここで、確定した角度θ₂をΘ₂とする。 Subsequently, the variable j related to the angle θ ₂ of the arm 5 is set to 0 (step S106), and whether or not the arm image included in the input image matches the template image of θ ₂ = j when θ ₁ = Θ ₁ is satisfied. These are compared (step S107). If the arm image included in the input image does not match the template image as a result of the comparison (step S108; No), the variable j is incremented to +1 (step S109), and the next template with θ ₂ = j It is compared whether or not it matches the image (step S107). Such comparison processing is repeated until a matching result is obtained (step S108). If the matching results are obtained (step S108; Yes), the work status (posture) of the arm 5 photographed by the camera 9 is θ ₁ = Θ _In the case of ₁ , it is determined that the template image is at the angle θ ₂ (step S110). Here, the determined angle θ ₂ is defined as Θ ₂ .

さらに、バケット６の角度θ₃に関する変数ｋを０にセットし（ステップＳ１１１）、入力画像に含まれるバケット画像が、θ₁＝Θ₁，θ₂＝Θ₂の場合のθ₃＝ｋのテンプレート画像と一致するか否かを比較する（ステップＳ１１２）。比較の結果、入力画像に含まれるバケット画像が該テンプレート画像に一致しなかった場合には（ステップＳ１１３；Ｎｏ）、変数ｋを＋１にインクリメントし（ステップＳ１１４）、次のθ₃＝ｋのテンプレート画像と一致するか否かを比較する（ステップＳ１１２）。このような比較処理を、一致する結果が得られるまで繰り返し（ステップＳ１１３）、一致したら（ステップＳ１１３；Ｙｅｓ）、カメラ９で撮影されたバケット６の作業状況（姿勢）としては、θ₁＝Θ₁，θ₂＝Θ₂の場合の当該角度θ₃のテンプレート画像の状態であると確定する（ステップＳ１１５）。ここで、確定した角度θ₃をΘ₃とする。これにより、ある時点においてカメラ９で撮影されたブーム４、アーム５およびバケット６の作業状況（姿勢）の特定が可能となる。 Further, a variable k related to the angle θ ₃ of the bucket 6 is set to 0 (step S111), and the bucket image included in the input image is a template of θ ₃ = k when θ ₁ = Θ ₁ and θ ₂ = Θ _2. It is compared whether or not it matches the image (step S112). If the bucket image included in the input image does not match the template image as a result of the comparison (step S113; No), the variable k is incremented to +1 (step S114), and the next template with θ ₃ = k It is compared whether or not it matches the image (step S112). Such a comparison process is repeated until a matching result is obtained (step S113). If the matching results are obtained (step S113; Yes), the work status (posture) of the bucket 6 photographed by the camera 9 is θ ₁ = Θ It is determined that the template image is at the angle θ ₃ when ₁ and θ ₂ = Θ ₂ (step S115). Here, the determined angle θ ₃ is defined as Θ ₃ . Thereby, it becomes possible to specify the work status (posture) of the boom 4, the arm 5, and the bucket 6 captured by the camera 9 at a certain time.

パターンマッチング処理部３１は、カメラ９によって順次撮影される作業機７の画像について、このようなパターンマッチング処理を順次行い、その都度、ブーム４、アーム５およびバケット６のテンプレート画像を確定する。 The pattern matching processing unit 31 sequentially performs such pattern matching processing on the images of the work machine 7 sequentially photographed by the camera 9, and determines the template images of the boom 4, the arm 5, and the bucket 6 each time.

作業内容認識部３２は、パターンマッチング処理部３１から時系列で得られるパターンマッチング結果（順次確定されたテンプレート画像の角度情報）をメモリに保存し、保存されたパターンマッチング結果（順次確定されたテンプレート画像の角度情報）、すなわちブーム４、アーム５およびバケット６の作業状況（姿勢）の変化の様子を時系列で解析することで作業機７の動きパターンを特定する。ここで、作業機７は作業内容によってブーム４、アーム５およびバケット６が独自の動きパターンをとるため、作業内容毎に予め動きパターンを記憶させておき、作業内容の認識が可能となる状態まで作業機７の動きパターンが特定された時点で、作業内容認識部３２は、特定された作業機７の動きパターンに相当する作業内容を認識する。例えば、作業機７の動きパターンが、バケット６で土を掘削してすくいあげるようなパターンの場合であれば、作業内容は掘削／積込作業である如く認識する。 The work content recognition unit 32 stores the pattern matching results (angle information of the template images that are sequentially determined) obtained in time series from the pattern matching processing unit 31 in the memory, and stores the pattern matching results (the templates that are sequentially determined). The motion pattern of the work implement 7 is specified by analyzing the change of the work status (posture) of the boom 4, the arm 5 and the bucket 6 in time series. Here, since the boom 4, the arm 5, and the bucket 6 have their own movement patterns depending on the work contents, the work machine 7 stores the movement patterns for each work contents in advance and can recognize the work contents. When the movement pattern of the work machine 7 is specified, the work content recognition unit 32 recognizes the work content corresponding to the specified movement pattern of the work machine 7. For example, when the movement pattern of the work machine 7 is a pattern in which soil is excavated by the bucket 6, the work content is recognized as being excavation / loading work.

つづいて、制御コントローラ１０による処理について説明する。まず、累積部１１が使用する作業内容テーブル１５について説明する。作業内容テーブル１５は、図８に示すように、例えば「掘削／積込」「法面仕上」「平面仕上」「走行」「子割」「クレーン」のような作業ＩＤで特定される作業内容毎に、作業中フラグ欄１５ａ、サイクル回数（作業回数）欄１５ｂ、燃料消費量（使用燃料量）欄１５ｃ、作業時間欄１５ｄ、１サイクル当り燃費欄１５ｅ、１サイクル当り作業時間欄１５ｆを有する。 Next, processing by the controller 10 will be described. First, the work content table 15 used by the accumulating unit 11 will be described. As shown in FIG. 8, the work content table 15 includes work IDs identified by work IDs such as “excavation / loading”, “slope finish”, “planar finish”, “travel”, “child split”, and “crane”. Each has a working flag column 15a, a cycle number (work number) column 15b, a fuel consumption (used fuel amount) column 15c, a work time column 15d, a fuel consumption column 15e per cycle, and a work time column 15f per cycle. .

また、評価部１３が使用する作業内容別目標燃費テーブル１６について説明する。作業内容別目標燃費テーブル１６は、図９に示すように、例えば、「掘削／積込」「法面仕上」「平面仕上」「走行」「子割」「クレーン」のような作業ＩＤで特定される作業内容毎に、１サイクル当り目標燃費欄１６ａを有し、それぞれの目標燃費の値は予め設定されている。なお、図８および図９中に示す数値例は、必ずしも現実的な数値例を示すものではない。 Also, the target fuel consumption table 16 by work content used by the evaluation unit 13 will be described. As shown in FIG. 9, the target fuel consumption table 16 by work content is specified by work IDs such as “excavation / loading”, “slope finish”, “planar finish”, “travel”, “child split”, and “crane”. Each work content has a target fuel consumption column 16a per cycle, and the value of each target fuel consumption is set in advance. Note that the numerical examples shown in FIGS. 8 and 9 do not necessarily represent realistic numerical examples.

累積部１１は、油圧ショベル１のエンジン２１がオンされると、図１０のフローチャートに示すように、画像処理コントローラ２０による前述の処理と並行して、作業内容別のデータの収集・累積処理を行う。まず、エンジン２１をオンさせた場合、その日の最初のエンジン起動であるか否かを判定し（ステップＳ２０１）、最初のエンジン起動であれば（ステップＳ２０１；Ｙｅｓ）、作業内容テーブル１５の各欄の記憶内容をクリアする（ステップＳ２０２）。最初のエンジン起動でない場合には（ステップＳ２０１；Ｎｏ）、ステップＳ２０２の処理をジャンプする。 When the engine 21 of the excavator 1 is turned on, the accumulating unit 11 performs data collection / accumulation processing for each work content in parallel with the above-described processing by the image processing controller 20, as shown in the flowchart of FIG. Do. First, when the engine 21 is turned on, it is determined whether or not it is the first engine start of the day (step S201). If it is the first engine start (step S201; Yes), each column of the work content table 15 is determined. Is stored (step S202). If it is not the first engine start (step S201; No), the process of step S202 is jumped.

その後、画像処理コントローラ２０の作業内容識別部３２から作業内容情報の入力があるか否かをチェックする（ステップＳ２０３）。作業内容識別部３２で現在の作業内容が識別され、識別された作業内容情報が入力されると（ステップＳ２０３；Ｙｅｓ）、作業中フラグをオンにし（作業内容テーブル１５中の該当する作業内容の作業中フラグ欄１５ａに“１”を立てる）、かつ、開始時刻を記憶する（ステップＳ２０４）。さらに、車体コントローラ３０から得られる燃料噴射指令値を積分していくことで、当該作業内容のためのエンジン２１の燃料使用量を累積する（ステップＳ２０５）。そして、エンジンオフや評価表示ボタン１８の押下による作業終了指示があるか否かをチェックする（ステップＳ２０６）。 Thereafter, it is checked whether or not work content information is input from the work content identification unit 32 of the image processing controller 20 (step S203). When the current work content is identified by the work content identification unit 32 and the identified work content information is input (step S203; Yes), the work flag is turned on (for the corresponding work content in the work content table 15). “1” is set in the working flag column 15a), and the start time is stored (step S204). Further, by integrating the fuel injection command value obtained from the vehicle body controller 30, the fuel usage amount of the engine 21 for the work content is accumulated (step S205). Then, it is checked whether or not there is a work end instruction when the engine is turned off or the evaluation display button 18 is pressed (step S206).

ここで、作業終了指示がなければ（ステップＳ２０６；Ｎｏ）、作業内容識別部３２から次の作業内容情報の入力があるか否かをチェックする（ステップＳ２０７）。作業内容情報の入力がなければ（ステップＳ２０７；Ｎｏ）、今回の作業内容が継続しているものとして燃料噴射指令値の積分を継続する（ステップＳ２０５）。 If there is no work end instruction (step S206; No), it is checked whether or not the next work content information is input from the work content identification unit 32 (step S207). If the work content information is not input (step S207; No), the integration of the fuel injection command value is continued assuming that the current work content is continued (step S205).

一方、作業機７による作業の進行に伴い、次の作業内容情報の入力があった場合には（ステップＳ２０７；Ｙｅｓ）、入力された作業内容が前回の作業内容と同じであるか否かを判定する（ステップＳ２０８）。前回の作業内容と同じでない場合には（ステップＳ２０８；Ｎｏ）、前回作業内容の作業中フラグをオフにするとともに、その終了時刻を記憶することで、前述の開始時刻との差から前回作業内容の作業時間を算出し、この作業時間を作業内容テーブル１５中の該当する作業内容の作業時間欄１５ｄに加算し、さらに、燃料噴射指令値の積分値を作業内容テーブル１５中の該当する作業内容の燃料消費量欄１５ｃに加算する（ステップＳ２０９）。引き続き、今回作業内容の作業中フラグをオンにし、かつ、開始時刻を記憶する（ステップＳ２１０）。さらに、車体コントローラ３０から得られる燃料噴射指令値を積分していくことで、今回作業内容のためのエンジン２１の燃料使用量を累積する（ステップＳ２１１）。そして、エンジンオフや評価表示ボタン１８の押下による作業終了指示があるか否かをチェックする（ステップＳ２１２）。 On the other hand, when the next work content information is input with the progress of the work by the work machine 7 (step S207; Yes), it is determined whether or not the input work content is the same as the previous work content. Determination is made (step S208). If it is not the same as the previous work content (step S208; No), the previous work content is turned off from the difference from the above-mentioned start time by turning off the working flag of the previous work content and storing the end time. The work time is calculated, the work time is added to the work time column 15d of the corresponding work content in the work content table 15, and the integrated value of the fuel injection command value is added to the corresponding work content in the work content table 15. Is added to the fuel consumption amount column 15c (step S209). Subsequently, the in-work flag of the current work content is turned on and the start time is stored (step S210). Further, by integrating the fuel injection command value obtained from the vehicle body controller 30, the fuel usage amount of the engine 21 for the current work content is accumulated (step S211). Then, it is checked whether or not there is a work end instruction by turning off the engine or pressing the evaluation display button 18 (step S212).

また、前回の作業内容と同じ場合には（ステップＳ２０８；Ｙｅｓ）、作業内容テーブル１５の前回の作業内容のサイクル回数欄１５ｂにサイクル回数を＋１して加算する処理を行い（ステップＳ２１３）、今回も前回の作業内容が継続しているものとして燃料噴射指令値の積分を継続する（ステップＳ２０５）。 If it is the same as the previous work content (step S208; Yes), the cycle number field 15b of the previous work content in the work content table 15 is incremented by 1 and added (step S213). Also, the integration of the fuel injection command value is continued on the assumption that the previous work content is continued (step S205).

このような処理を、次の作業内容情報が入力される度に繰り返すことにより、作業内容テーブル１５には、作業内容別にサイクル回数と燃料消費量と作業時間とが順次累積されることとなる。 By repeating such processing every time the next work content information is input, the number of cycles, fuel consumption, and work time are sequentially accumulated in the work content table 15 for each work content.

そして、最終的に、エンジンオフや評価表示ボタン１８の押下による作業終了指示があった場合には（ステップＳ２０６；Ｙｅｓ、またはステップＳ２１２；Ｙｅｓ）、現在の作業中フラグをオフにするとともに、その終了時刻を記憶することで、前述の開始時刻との差から当該作業内容の作業時間を算出し、この作業時間を作業内容テーブル１５中の該当する作業内容の作業時間欄１５ｄに加算し、さらに、燃料噴射指令値の積分値を作業内容テーブル１５中の該当する作業内容の燃料消費量欄１５ｃに加算する（ステップＳ２１４）。 Finally, when there is a work end instruction by turning off the engine or pressing the evaluation display button 18 (step S206; Yes, or step S212; Yes), the current work flag is turned off, By storing the end time, the work time of the work content is calculated from the difference from the start time described above, and this work time is added to the work time column 15d of the corresponding work content in the work content table 15, and Then, the integrated value of the fuel injection command value is added to the fuel consumption amount column 15c of the corresponding work content in the work content table 15 (step S214).

燃費算出部１２および評価部１３は、評価表示ボタン１８を押すなどの特定の省燃費診断表示要求のイベントがあったタイミングで起動し、図１１に示すような処理・制御を行う。まず、燃費算出部１２は、特定の省燃費診断表示要求のイベントがあると、作業内容テーブル１５中に累積されたサイクル回数、燃料消費量の情報を用いて、作業内容毎に１サイクル当り燃費Ｆ［Ｌ／ｃｙｃｌｅ］を算出し、１サイクル当り燃費欄１５ｅに記憶する（ステップＳ３０１）。すなわち、燃料消費量は、１サイクル当りの平均燃費として算出する。この際、サイクル回数、作業時間の情報を用いて、作業内容毎に１サイクル当り作業時間［ｈ／ｃｙｃｌｅ］を算出し、１サイクル当り作業時間欄１５ｆに記憶する。 The fuel consumption calculation unit 12 and the evaluation unit 13 are activated at a timing when a specific fuel saving diagnosis display request event such as pressing the evaluation display button 18 occurs, and performs processing and control as shown in FIG. First, when there is a specific fuel saving diagnosis display request event, the fuel consumption calculation unit 12 uses information on the number of cycles and fuel consumption accumulated in the work content table 15 to calculate the fuel consumption per cycle for each work content. F [L / cycle] is calculated and stored in the fuel consumption column 15e per cycle (step S301). That is, the fuel consumption is calculated as an average fuel consumption per cycle. At this time, using the information on the number of cycles and the work time, the work time [h / cycle] per cycle is calculated for each work content and stored in the work time column 15f per cycle.

評価部１３は、作業内容毎の燃費Ｆの計算が終了すると、作業内容別目標燃費テーブル１６から、作業内容毎の１サイクル当り目標燃費Ｆｔの情報を読み込む（ステップＳ３０２）。そして、作業内容毎に算出された燃費Ｆと目標燃費Ｆｔとを比較する（ステップＳ３０３）。比較の結果、Ｆ≧Ｆｔでなければ（Ｆ＜Ｆｔであれば）（ステップＳ３０３；Ｎｏ）、当該作業内容については目標燃費をクリアしているので、当該作業内容の燃料使用状態として省燃費運転は「良」評価である旨をモニタ１４に表示させる（ステップＳ３０４）。一方、比較の結果、Ｆ≧Ｆｔであれば（ステップＳ３０３；Ｙｅｓ）、当該作業内容については目標燃費をクリアしていないので、当該作業内容の燃料使用状態として省燃費運転は「不良」評価である旨をモニタ１４に表示させる（ステップＳ３０５）。 When the calculation of the fuel consumption F for each work content is completed, the evaluation unit 13 reads information on the target fuel consumption Ft per cycle for each work content from the target fuel consumption table 16 for each work content (step S302). Then, the fuel efficiency F calculated for each work content is compared with the target fuel efficiency Ft (step S303). As a result of the comparison, if F ≧ Ft is not satisfied (if F <Ft) (step S303; No), the target fuel consumption is cleared for the work content, and thus the fuel-saving operation is performed as the fuel usage state of the work content. Displays “good” evaluation on the monitor 14 (step S304). On the other hand, if F ≧ Ft as a result of the comparison (step S303; Yes), the target fuel consumption is not cleared for the work content, so the fuel-saving operation is evaluated as “bad” as the fuel usage state of the work content. A message to that effect is displayed on the monitor 14 (step S305).

なお、比較の結果、Ｆ≧Ｆｔの場合（ステップＳ３０３；Ｙｅｓ）において、目標燃費Ｆｔに対する燃費Ｆの乖離度合いを示すレベル判定を行い、その乖離度合いに示すレベルに応じて、「やや不良」「不良」「不可」の如く、段階的な省燃費運転評価の表示を行わせるようにしてもよい。 As a result of the comparison, when F ≧ Ft (step S303; Yes), a level determination indicating the degree of deviation of the fuel consumption F from the target fuel consumption Ft is performed, and “slightly bad” “ You may make it display the step-wise fuel-saving driving evaluation like "bad" and "impossible".

また、作業内容毎に１サイクル当り目標作業時間を作業内容別目標燃費テーブル１６に予め設定しておき、Ｆ≧Ｆｔでない場合において（ステップＳ３０３；Ｎｏ）、作業内容毎に算出された１サイクル当り作業時間と１サイクル当り目標作業時間とを比較する工程を付加することで、作業時間を加味して作業内容毎の省燃費運転の良否評価を行うようにしてもよい。Ｆ≧Ｆｔである場合においても（ステップＳ３０３；Ｙｅｓ）、作業内容毎に算出された１サイクル当り作業時間と１サイクル当り目標作業時間とを比較する工程を付加することで、作業時間が燃費の悪い要因となっているかを判断するようにしてもよい。 In addition, when a target work time per cycle for each work content is set in advance in the target fuel efficiency table 16 for each work content and F ≧ Ft is not satisfied (step S303; No), per cycle calculated for each work content. By adding a step of comparing the work time with the target work time per cycle, the quality of the fuel-saving driving for each work content may be evaluated in consideration of the work time. Even in the case of F ≧ Ft (step S303; Yes), by adding a step of comparing the work time per cycle calculated for each work content with the target work time per cycle, the work time can be improved. You may make it judge whether it is a bad factor.

また、本実施の形態では、上部旋回体３の操縦室３ａ上にカメラ９を設置するようにしたが、作業機７の作業状況を撮影し得る箇所であれば、適宜箇所に設置してもよい。例えば、ブーム４に設置して、アーム５、バケット６および上部旋回体３を撮影可能とし、ブーム４に対するアーム５やバケット６の状態を把握するとともに、上部旋回体３に対するブーム４の状態を把握して、作業機７の姿勢を特定するようにしてもよい。 Moreover, in this Embodiment, although the camera 9 was installed on the cockpit 3a of the upper turning body 3, if it is a location which can image | photograph the working condition of the working machine 7, it may install in an appropriate location. Good. For example, the arm 5, the bucket 6, and the upper swing body 3 can be photographed by being installed on the boom 4, the state of the arm 5 and the bucket 6 with respect to the boom 4 is grasped, and the state of the boom 4 with respect to the upper swing body 3 is grasped. Then, the posture of the work machine 7 may be specified.

本発明の実施の形態の省燃費運転支援方法が適用される油圧ショベルの構成例を示す概略側面図である。1 is a schematic side view showing a configuration example of a hydraulic excavator to which a fuel-saving driving support method according to an embodiment of the present invention is applied. 油圧ショベルの省燃費運転支援システムの構成例を示す概略ブロック図である。It is a schematic block diagram which shows the structural example of the fuel-saving driving | operation assistance system of a hydraulic excavator. 作業機の変位状況を示す角度につての説明図である。It is explanatory drawing about the angle which shows the displacement condition of a working machine. ブームのテンプレート画像の例を示す説明図である。It is explanatory drawing which shows the example of the template image of a boom. アームのテンプレート画像の例を示す説明図である。It is explanatory drawing which shows the example of the template image of an arm. バケットのテンプレート画像の例を示す説明図である。It is explanatory drawing which shows the example of the template image of a bucket. パターンマッチング処理例を示す概略フローチャートである。It is a schematic flowchart which shows the example of a pattern matching process. 作業内容テーブルを示す説明図である。It is explanatory drawing which shows a work content table. 作業内容別目標燃費テーブルを示す説明図である。It is explanatory drawing which shows the target fuel consumption table according to work content. 累積部による処理例を示す概略フローチャートである。It is a schematic flowchart which shows the process example by an accumulation part. 燃費算出部および評価部による処理例を示す概略フローチャートである。It is a schematic flowchart which shows the process example by a fuel consumption calculation part and an evaluation part.

Explanation of symbols

４ブーム
５アーム
６バケット
７作業機
９カメラ
１１累積部
１２燃費算出部
１３評価部
１４モニタ
１５作業内容テーブル
３１パターンマッチング処理部
３２作業内容認識部
３３テンプレート画像メモリ 4 Boom 5 Arm 6 Bucket 7 Working machine 9 Camera 11 Accumulation unit 12 Fuel consumption calculation unit 13 Evaluation unit 14 Monitor 15 Work content table 31 Pattern matching processing unit 32 Work content recognition unit 33 Template image memory

Claims

A process of sequentially photographing the work status of the work machine with a camera mounted on the construction machine,
The work content of the work implement is determined from the movement of the work implement according to the pattern matching results obtained in time series by sequentially pattern matching the sequentially captured camera image and the template image stored in advance according to the work status of the work implement. The process of recognizing;
A process of accumulating the number of operations and the amount of fuel used for each of the recognized work details;
Comparing the fuel consumption for each work content calculated based on the accumulated number of operations and the amount of fuel used at a predetermined timing with the target fuel consumption preset for each work content, the quality of fuel usage for each work content is determined. A process of displaying;
A fuel-saving driving support method for a construction machine, comprising:

The step of recognizing uses a photographed camera image for each part of the work implement and a template image for each part stored in advance according to the work situation of the work implement. 2. A fuel-saving driving support method for a construction machine according to 1.

3. The fuel-saving driving support method for a construction machine according to claim 1, wherein in the step of accumulating, the work time is further accumulated for each work content.

A camera that is mounted on a construction machine and sequentially captures the work status of the work implement;
A template image memory pre-stored with a template image corresponding to the work status of the work implement;
Recognizing the work content of the work implement from the movement of the work implement according to the pattern matching result obtained in time series by sequentially pattern matching the camera image sequentially taken by the camera and the template image stored in the template image memory in advance. Work content recognition means to
Accumulating means for accumulating the number of operations and the amount of fuel used for each work content sequentially recognized by the work content recognition means in a work content table;
A fuel consumption calculating means for calculating a fuel consumption for each work content based on the number of operations accumulated in the work content table and the amount of fuel used at a predetermined timing;
Display means for comparing the fuel consumption for each work content calculated by the fuel consumption calculation means with a target fuel consumption set in advance for each work content and displaying the quality of the fuel usage state for each work content;
A fuel-saving driving support system for construction machinery, characterized by comprising:

The template image memory stores in advance a template image for each part according to the work status of the work implement,
The said work content recognition means uses the camera image for every part of the said working machine image | photographed, The fuel-saving driving | operation assistance system of the construction machine of Claim 4 characterized by the above-mentioned.

6. The fuel-saving driving support system for a construction machine according to claim 4, wherein the accumulating unit further accumulates the work time for each work content.