WO2012157379A1 - 作業機械の周囲監視装置 - Google Patents

作業機械の周囲監視装置 Download PDF

Info

Publication number
WO2012157379A1
WO2012157379A1 PCT/JP2012/060104 JP2012060104W WO2012157379A1 WO 2012157379 A1 WO2012157379 A1 WO 2012157379A1 JP 2012060104 W JP2012060104 W JP 2012060104W WO 2012157379 A1 WO2012157379 A1 WO 2012157379A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
monitor
camera
front part
Prior art date
Application number
PCT/JP2012/060104
Other languages
English (en)
French (fr)
Inventor
石本　英史
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to US14/116,884 priority Critical patent/US20140088824A1/en
Priority to KR1020137032343A priority patent/KR20140043374A/ko
Priority to AU2012257053A priority patent/AU2012257053A1/en
Priority to JP2013515049A priority patent/JP5779244B2/ja
Priority to EP20120785367 priority patent/EP2712969A4/en
Priority to CN201280022215.2A priority patent/CN103547747A/zh
Publication of WO2012157379A1 publication Critical patent/WO2012157379A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E02F9/0841—Articulated frame, i.e. having at least one pivot point between two travelling gear units
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to a work machine surrounding monitoring device provided for ensuring the safety of work by a machine in a work machine including an articulated vehicle bent by a joint.
  • a surrounding monitoring device is configured by mounting a camera on a vehicle body and installing a monitor in a cab in front of a driver's seat where an operator is seated. The image taken with the camera is displayed on the monitor as a video image, and it is confirmed from this monitor image whether there are workers etc. around the vehicle and whether there are structures or trees around the vehicle. can do.
  • Patent Document 1 discloses an apparatus that monitors surroundings by displaying an overhead image in a work machine.
  • cameras are mounted at predetermined positions on the rear side and the left side of a hydraulic excavator as a work machine, the optical axes of these cameras are directed obliquely downward, and a wide field of view is provided on the rear and side.
  • the periphery monitoring screen is acquired by acquiring an image and displaying an overhead image obtained by converting the viewpoint so as to be the upper viewpoint on the monitor.
  • the bird's-eye view image is displayed on the monitor in this way, the distance and direction from the work machine to the human material obstacle can be accurately grasped. Therefore, when operating the work machine, the surrounding safety can be confirmed by the image of the monitor.
  • a self-propelled work machine there is a self-propelled work machine composed of articulated vehicles.
  • articulated wheel loaders, articulated dump trucks, etc. have joints that can bend between the front and rear of the vehicle. That is, in the articulated wheel loader, a loader bucket and its drive mechanism are provided at the front of the vehicle, and a cab or the like is provided at the rear of the vehicle.
  • a loader bucket and its drive mechanism are provided at the front of the vehicle, and a cab or the like is provided at the rear of the vehicle.
  • the front part of the vehicle is a driver's cab and a cargo bed is provided at the rear part of the vehicle.
  • the present invention has been made in view of the above points, and the object of the present invention is to provide each part of the vehicle together with an image of an articulating work machine that can bend between the front and the rear of the vehicle.
  • the display image is optimal for the operator to monitor the surroundings of the work machine.
  • the present invention provides a work machine surrounding monitoring device provided in an articulated work machine in which a vehicle front part and a vehicle rear part are connected to each other so as to be bent right and left by a connecting shaft.
  • One or a plurality of cameras installed in the vehicle; one or a plurality of cameras including a camera installed in the rear part of the vehicle and having a rear view of the vehicle as a field of view; and a monitor for displaying a surrounding monitoring image of the work machine;
  • a camera position calculation unit that calculates a position of each camera based on a bending angle between the vehicle front part and the vehicle rear part with the connection axis as a center, and a camera image acquired by each camera as an upper viewpoint
  • the image conversion means for converting the viewpoint so as to obtain an overhead image, and each individual overhead image captured by each camera is calculated by the camera position calculation unit.
  • Image composition means for generating a combined overhead image that is synthesized so as to be in a positional relationship, and displaying the synthesized overhead image on the monitor; and the synthesized overhead image, the vehicle front part or the vehicle rear part Display image generation that is displayed on the monitor together with a vehicle image in which either one of the fixed character image is fixed and the other is a movable character image that rotates relative to the fixed character image based on the bending angle. Means.
  • Typical examples of the articulate work machine include a wheel loader and a dump truck, but even in other cases, the front part of the vehicle and the rear part of the vehicle are connected so as to be bendable.
  • the driver seat is installed in either one of them, and the other is applicable to those equipped with working means.
  • the vehicle of the work machine is imaged in a flat state, positioned in the center of the screen of the monitor, and both the rear and left and right sides, and, if necessary, the front image are synthesized around the vehicle image.
  • the vehicle image may be an image of the vehicle itself, but it is desirable in terms of easiness to use a character image in which the vehicle is symbolized. Since the vehicle front portion and the vehicle rear portion are bent left and right with respect to each other, one of them is a fixed character image, and the other is a movable character image bent with respect to the fixed character image. Which is used as the fixed character image is determined from the viewpoint of surrounding monitoring.
  • the side on which the driver's seat is provided be a fixed character image.
  • the rear of the vehicle be a fixed character image and the front of the vehicle be a movable character image.
  • the field-of-view range of each camera provided is set so that at least the fields of view of two adjacent cameras partially overlap. Then, one of the images is displayed for the overlapping part of the camera field of view, and the image of the overlapping part of the other image is not displayed.
  • the front of the vehicle is in a bending relationship when an overhead image is generated from the images of cameras provided at various locations and displayed on a monitor.
  • the rear part of the vehicle by displaying a vehicle body image of the actual bending posture, and by combining and displaying a composite bird's-eye view image obtained by combining a bird's-eye view image based on each camera in accordance with the position of the camera.
  • a monitor image that is optimal for the operator to monitor the surroundings of the work machine can be displayed on the monitor.
  • FIG. 1 It is a front view of an articulate wheel loader as an example of an articulate work machine. It is a top view of FIG. It is explanatory drawing which shows the principle for the conversion from a camera image to a bird's-eye view image. It is explanatory drawing which shows a camera image and the bird's-eye view image converted from this camera image. It is explanatory drawing which shows the image displayed on the monitor of an articulate wheel loader. It is a top view of the articulate wheel loader which shows the state where the vehicle front part and the vehicle rear part were bent. It is explanatory drawing which shows the image displayed on the monitor of the articulate wheel loader made into the bending state of FIG. It is explanatory drawing which shows the coordinate system set to the articulate wheel loader made into the bending state.
  • FIG. 13 is a plan view of FIG. 12. It is a top view of the articulated dump truck which shows the state where the vehicle front part and the vehicle rear part were bent.
  • FIG. 15 is an explanatory diagram showing a monitor display in the bent state of FIG. 14 when the articulated dump truck moves backward.
  • or FIG. 3 shows the structure of the articulate wheel loader as an example of the articulate work machine.
  • reference numeral 1 denotes a vehicle front portion
  • 2 denotes a vehicle rear portion
  • the vehicle front portion 1 has wheels 1a
  • a loader bucket 3 as a working means is attached to the front portion.
  • the loader bucket 3 is connected to the tip of the arm 4 via a connecting pin 5, and can be rotated in the vertical direction about the connecting pin 5 by a bucket cylinder 6.
  • An arm cylinder 7 is connected to the arm 4, and when the arm cylinder 7 is operated, the loader bucket 3 moves up and down.
  • the vehicle rear part 2 has wheels 2a.
  • the vehicle rear part 2 is provided with a driver's cab 8 provided with a driver's seat and various operation means.
  • a building 9 in which machinery such as a hydraulic pump is stored is provided.
  • the vehicle front portion 1 and the vehicle rear portion 2 are connected by a connecting shaft 10, and the vehicle front portion 1 and the vehicle rear portion 2 are rotatable relative to each other about the connecting shaft 10 in the horizontal direction. Yes.
  • a steering wheel (not shown) is provided in the cab 8 as operating means. By operating the steering wheel, the front of the vehicle is centered on the connecting shaft 10 according to the amount of operation. The portion 1 and the vehicle rear portion 2 are bent.
  • FIG. 2 shows an example of an arrangement layout of a plurality of cameras.
  • a front left camera 11a and a front right camera 11b are provided at the rear side of the vehicle front portion 1 and on both left and right sides.
  • a rear camera 11c, a rear left camera 11d, and a rear right camera 11e are provided in the vehicle rear portion 2.
  • Each of these cameras 11a to 11e is mounted on a vehicle body, and its visual field direction is obliquely downward. Then, the camera images photographed by the cameras 11a to 11e are converted into overhead images in the field angle ranges of the cameras 11a to 11e.
  • a camera image P is obtained. From the camera image P having this angle ⁇ , as shown by a virtual line in the figure, an image obtained by coordinate conversion from the virtual viewpoint VF so that the optical axis VA is perpendicular to the camera image P is created. As a result, a camera image from obliquely above with an angle ⁇ can be converted into an overhead image. For example, when the camera image (image after image correction such as distortion correction) shown in FIG. 4A is coordinate-converted, an overhead image as shown in FIG. 4B is obtained.
  • the overhead image converted in this way is displayed on the monitor 12 provided in the cab 8 together with the body image of the articulate wheel loader.
  • 1C is a front character image that characterizes the vehicle body image of the vehicle front portion 1
  • 2C is a rear character image that characterizes the vehicle body image of the vehicle rear portion 2.
  • 11A to 11E are individual overhead images obtained by coordinate conversion of the camera images acquired by the cameras 11a to 11e, respectively, and are displayed on the monitor 12 together with the vehicle image as a synthesized overhead image.
  • L is a caution range guideline set around the vehicle image VC, and this caution range guideline L is located when a human-physical obstacle consisting of a person or a structure is located inside. It is the boundary of the area set as dangerous.
  • the vehicle front portion 1 and the vehicle rear portion 2 are connected by a connecting shaft 10 (see FIG. 1), and as shown in FIG. A space between the vehicle rear portion 2 and the vehicle rear portion 2 can be bent left and right around the connecting shaft 10. Accordingly, when the articulate wheel loader is in a bent posture during running or working of the vehicle, the vehicle image display on the monitor 12 is also in the bent state shown in FIG.
  • the fixed character image 2C in which the vehicle rear part 2 is fixed at a predetermined position on the monitor 12 is used.
  • the part 1 is displayed as a movable character image 1C that is bent with respect to the fixed character image 2C.
  • the individual overhead images 11A to 11E the individual overhead images 11C to 11E based on the cameras 11c, 11d, and 11e attached to the vehicle rear portion 2 are fixedly displayed and displayed on the cameras 11a and 11b attached to the vehicle front portion 1.
  • the individual overhead view images 11A and 11B based thereon are displayed so as to change according to the bending angle.
  • the coordinate system ⁇ is centered on the connecting shaft 10 between the vehicle rear portion 2 and the vehicle front portion 1, and the coordinate systems of the vehicle front portion 1 and the vehicle rear portion 2 are also used.
  • ⁇ f and ⁇ g are set on the monitor screen.
  • the coordinate axis ⁇ g of the vehicle rear portion 2 is fixed.
  • the angle between the vehicle front portion 1 and the vehicle rear portion 2 changes. That is, the coordinate system ⁇ and the coordinate system ⁇ f are rotated by the steering angle ⁇ .
  • the bent state shown in FIG. 7 is based on the dimensions for displaying the vehicle front portion 1 and the vehicle rear portion 2 and the steering angle ⁇ .
  • Vehicle image VC is generated and displayed on the monitor 12 together with the synthesized overhead image.
  • the individual overhead view images 11A to 11E are always partially overlapped.
  • the positions and angles of view of the cameras 11a to 11e are set. The same applies to the non-bent state shown in FIG. 9 and the maximum bent state when the bent state is shown in FIG. Therefore, in FIGS. 9 and 10, the actual visual field ranges of these individual overhead images 11A to 11E are FA to FE.
  • one of the images is given priority for the part where the individual bird's-eye view image is superimposed, and the other image is partially hidden.
  • the vehicle rear portion 2 is a fixed character image 2C on the monitor 12, and the vehicle front portion 1 is a movable character image 1C. Therefore, in the present embodiment, the display area on the monitor 12 is not fixed for the individual overhead view images 11C to 11E on the fixed character image 2C side, and the movable character image 1C is individually displayed.
  • the display areas of the overhead images 11A and 11B are set to change. For this reason, if steering is performed from the non-bent state of FIG. 9 toward the bent state of FIG. 10, the combined overhead view image from the state shown in FIG.
  • the display area of the overhead image 11A decreases, and the display area of the right individual overhead image 11B increases. As a result, regardless of the bending, the monitoring image is displayed around the articulate wheel loader except for the front visual field visible to the operator.
  • the control device 20 having the circuit configuration shown in FIG. 11 is provided.
  • the control device 20 receives camera image signals acquired by the cameras 11a to 11e, and these camera image signals are subjected to necessary image correction such as distortion correction by the image correction means 21. It has become.
  • An image conversion unit 22 is connected to the image correction unit 21, and each camera image signal is converted by the image conversion unit 22 into a bird's-eye view image signal whose coordinates have been converted so that the optical axis is vertical.
  • the individual overhead images 11A to 11E are generated, and the individual overhead images 11A to 11E are subjected to signal processing by the image synthesis means 23 so as to be displayed in the respective display areas.
  • the articulated wheel loader can be bent at the vehicle front portion 1 and the vehicle rear portion 2, the individual overhead view images 11A to 11E are based on the positions of the cameras 11a to 11e and the attitude state of the articulate wheel loader.
  • a display area is allocated.
  • the camera position calculation means 24 is provided in the control device 20. Further, the control device 20 receives information on the steering angle ⁇ via the vehicle body information transmission means 25 of the articulate wheel loader, and this information is taken into the camera position calculation means 24, and the camera position storage means.
  • the relative positional relationship between the front character image 1C of the vehicle front portion 1 and the rear character image 2C of the vehicle rear portion 2 changes in bending, and therefore, when the vehicle image VC is displayed on the monitor 12.
  • the vehicle image generation means 27 takes in the bending angle between the vehicle front part 1 and the vehicle rear part 2 obtained based on the information about the steering angle from the vehicle body information transmission means 25, and the vehicle image VC is generated. Then, the above-described composite bird's-eye view image and vehicle image VC are input to the display image generation unit 28, and the surrounding monitoring image is displayed on the monitor 12 based on the image signal transmitted from the display image generation unit 28. Become.
  • the human eye such as a person or an obstacle is observed around the monitor 12 especially when traveling. It can be confirmed whether there is a physical obstacle. Since the synthesized bird's-eye view image is shown around the vehicle image VC and the attention range guideline L is displayed in the synthesized bird's-eye view image, the direction of the human-physical obstacle and the human-physical obstacle are visually recognized by the monitor 12. This makes it possible to accurately grasp the distance up to, thereby ensuring work safety and improving work efficiency.
  • the display on the monitor 12 needs to reflect this bent state. Since the operator is located in the cab 8 of the vehicle rear portion 2 and the work mechanism is provided in the vehicle front portion 1, the vehicle front portion 1 and the loader bucket 3 constituting the work mechanism are provided from the inside of the cab 8. Since it can be visually observed, the work executed by driving the vehicle forward and the work mechanism can be performed safely and efficiently without specially looking at the monitor 12.
  • FIG. 12 a front view of an articulated dump truck is shown in FIG. 12, and a plan view is shown in FIG. Further, FIG. 14 is a plan view in a bent state.
  • the vehicle front portion 30 includes a driver's cab 31, and the vehicle rear portion 32 is provided with a loading platform 33.
  • the loading platform 33 can be tilted backward by a hydraulic cylinder 34.
  • the vehicle front portion 30 is provided with a set of wheels 35, and the vehicle rear portion 32 is provided with two sets of wheels 36.
  • the vehicle front portion 30 and the frame 37 constituting the vehicle rear portion 32 are connected by a connecting shaft 38 and can be displaced between a non-bent state shown in FIG. 13 and a bent state shown in FIG. ing.
  • Cameras 39a and 39b are attached to the left and right side portions in the vicinity of the connecting portion to the vehicle rear portion 32 by the connecting shaft 38 of the vehicle front portion 30.
  • cameras 39c, 39d, and 39e are provided at the rear portion of the frame 37 and the left and right positions between the front and rear wheels 36 and 36, respectively.
  • the camera images taken by these cameras 39a to 39e are converted into individual overhead images 39A to 39E by performing coordinate conversion so as to become the upper viewpoint as in the first embodiment.
  • a combined overhead image obtained by synthesizing these individual overhead images 39A to 39E is displayed on the monitor 40 together with the vehicle body image of the articulated dump truck as shown in FIG.
  • FIG. 15 shows the bent state of the articulated dump truck.
  • the vehicle front portion 30 is a fixed character image
  • the vehicle rear portion 32 is a movable character image.
  • the vehicle rear portion 32 is used as a fixed character image on the monitor 40 during reverse travel. It can also be configured to display.
  • the vehicle rear portion 32 is shown as a fixed character image 32C
  • the vehicle front portion 30 is shown as a movable character image 30C.
  • a vehicle body information transmission unit 25 is connected to the vehicle image generation unit 27 and the camera position calculation unit 24.
  • the vehicle body information transmission unit 25 not only provides information related to the steering angle but also various types of information. Since the information on whether the vehicle is moving forward or backward is acquired from the vehicle body information transmission means 25, the display mode of the monitor 40 is changed based on this signal. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】車両の前部と後部との間が屈曲可能なアーティキュレート作業機械に俯瞰画像を取得して、モニタに車両の画像と共に表示する際に、オペレータにとって作業機械の周囲を監視するのに最適となる表示画像とする。 【解決手段】車両前部１と車両後部２とに設けたカメラ１１ａ～１１ｅで得たカメラ画像をモニタ１２に表示するに当って、運転室８が設けられている車両後部２を固定キャラクタ像２Ｃとし、この固定キャラクタ像２Ｃに対して屈曲する車両前部１を可動キャラクタ像１Ｃとして、このようにして表示される車両画像ＶＣの周囲にカメラ画像を上方視点となるように座標変換した個別俯瞰画像を合成した合成俯瞰画像を表示するようになし、車両前部１と車両後部２とが連結軸１０を中心として屈曲したときには、車両前部１に設けたカメラ１１ａ，１１ｂから得た個別俯瞰画像１１Ａ，１１Ｂの表示範囲を変化させる。

Description

作業機械の周囲監視装置
　本発明は、関節部により屈曲するアーティキュレート車両からなる作業機械において、機械による作業の安全確保等のために設けられる作業機械の周囲監視装置に関するものである。
　一般に、自走式作業機械における作業の安全を確保し、また作業機械の操作性の向上を図るために、車両の周囲監視装置を設けたものは、従来から知られている。従来技術による周囲監視装置は、車体にカメラを装着すると共に、運転室において、オペレータが着座する運転席の前方位置にモニタを設置することにより構成される。カメラで撮影した画像は動画状態の映像としてモニタに表示され、このモニタの画像から車両の周囲に作業者等が立ち入っているか否か、また周囲に構築物や樹木等が存在するか否かを確認することができる。
　ところで、単なるカメラ画像では距離感を正確に把握するのが困難な場合がある。また、場合によっては、方向性を把握するのが困難となることもある。モニタ上では、作業機械の近傍に作業者等が立ち入っていたり、構築物等の障害物が作業機械の近傍に存在していたりしている場合、つまり作業機械の近傍位置に人的物的障害が存在する場合において、作業機械の一部がこれらと接触するおそれがあるのか否か、回避動作を取らなければならないのか、回避動作としてどの程度の動きが必要なのか、さらに回避は不可能であり、作業機械の作動を停止させなければならないのか等は、モニタを目視するだけでは正確に判断できない場合がある。つまり、モニタに表示されるカメラ画像からは作業機械と人的物的障害との正確な距離や方向性が認識できないことがある。
　ところで、カメラをある高さから斜め下方向に視野を向けて撮影し、このカメラ画像を画像変換処理すると、仮想視点からの画像に変換することができる。仮想視点画像として、視点を上方位置とした上方視点画像は俯瞰状態の画像となる。この俯瞰画像をモニタに表示すると、人的物的障害までの距離やその方向を正確に把握することができる。作業機械において、俯瞰画像を表示することにより周囲の監視を行う装置が、例えば特許文献１に開示されている。この特許文献１では、作業機械としての油圧ショベルの後方と、左側方との所定の位置にカメラを装着して、これらのカメラの光軸を斜め下方に向け、後方及び側方に広い視野を持った画像を取得して上方視点となるように視点変換した俯瞰画像をモニタに表示することによって、周辺監視画面を取得するようにしている。
　このように俯瞰画像をモニタに表示すると、作業機械から人的物的障害までの距離及び方向を正確に把握できることになる。従って、作業機械を作動させる際に、このモニタの映像によって周囲の安全を確認することができる。
国際公開ＷＯ２００６/１０６６８５号パンフレット
　自走式作業機械として、アーティキュレート車両からなる自走式作業機械がある。例えば、アーティキュレートホイールローダやアーティキュレートダンプトラック等は、車両の前部と後部との間が屈曲可能な関節を有するものである。即ち、アーティキュレートホイールローダでは、車両前部にローダバケット及びその駆動機構が設けられ、車両後部に運転室等が設置されている。また、アーティキュレートダンプトラックの場合には、車両前部が運転室となり、車両後部に荷台が設けられている。
　以上のようなアーティキュレート作業機械にあっては、特許文献１に示されている油圧ショベルとは異なり、車両前部と車両後部との間が屈曲することから、アーティキュレート作業機械に俯瞰画像を取得して、モニタに表示する場合には、カメラをどのように配置するか、またカメラで取得した俯瞰画像をどのようにして表示するのか等について、解決しなければならない課題が存在する。
　本発明は以上の点に鑑みてなされたものであって、その目的とするところは、車両の前部と後部との間が屈曲可能なアーティキュレート作業機械の画像と共にこの車両の各部に設けたカメラ画像からの俯瞰画像をモニタに表示する際に、オペレータにとって作業機械の周囲を監視するのに最適となる表示画像とする。
　前述した目的を達成するために、本発明は、車両前部と車両後部とを連結軸により左右に屈曲可能に連結したアーティキュレート作業機械に設けられる作業機械の周囲監視装置において、前記車両前部に設置した１または複数のカメラと、前記車両後部に設置され、車両の後方位置を視野とするカメラを含む１または複数のカメラと、前記作業機械の周囲監視画像を表示するためのモニタと、前記連結軸を中心とした前記車両前部と前記車両後部との間の屈曲角度に基づいて、前記各カメラの位置を算出するカメラ位置算出部と、前記各カメラで取得したカメラ画像を上方視点となるように視点変換して、それぞれ俯瞰画像とする画像変換手段と、前記各カメラにより撮影した各個別俯瞰画像を、前記カメラ位置算出部により算出されたそれぞれの位置関係となるように合成した合成俯瞰画像を生成して、前記モニタにこの合成俯瞰画像を表示するための画像合成手段と、前記合成俯瞰画像を、前記車両前部または前記車両後部のいずれか一方を固定した固定側キャラクタ像とし、他方を前記屈曲角度に基づいて前記固定側キャラクタ像に対して相対回動する可動側キャラクタ像とした車両画像と共に前記モニタに表示する表示画像生成手段と、を備えたことを特徴とするものである。
　アーティキュレート作業機械の代表的なものとしては、ホイールローダやダンプトラックがあるが、これら以外であっても、車両前部と車両後部とが屈曲可能に連結されており、車両前部または車両後部のいずれか一方に運転席が設置され、他方には作業手段を装着したものに適用可能である。
　作業機械の周囲を監視するという場合、車両の後方の監視は必須のものとして、左右両側部も監視領域に含めることになる。車両前部に運転席がある場合、オペレータにとって前方視野が得られることから、必ずしも車両の前方を視野とするカメラを設置する必要はない。ただし、車両後部に運転席がある場合には、前方カメラがあった方が良いこともある。
　モニタへの表示態様としては、作業機械の車両を平面状態で画像化して、モニタの画面中央に位置させ、後方及び左右の両側、さらに必要に応じて前方の画像を車両画像の周囲に合成して表示する。ここで、車両画像としては、車両そのものを実写した画像であっても良いが、車両をシンボル化したキャラクタ画像とする方が、見易さという点で望ましい。車両前部と車両後部とは、相互に左右に屈曲するものであることから、いずれか一方を固定側キャラクタ像とし、他方をこの固定側キャラクタ像に対して屈曲する可動側キャラクタ像とする。いずれを固定側キャラクタ像とするかについては、周囲監視の観点から決定される。一般的には、運転席が設けられている側を固定側キャラクタ像とすることが望ましい。特に車両後部に運転席が位置している場合には、車両後部を固定側キャラクタ像として、車両前部を可動側キャラクタ像とするのが望ましい。また、車両前部に運転席がある場合には、原則として車両前部を固定側キャラクタ像とするのが望ましいが、例えばアーティキュレートダンプトラックの場合にあっては、車両を後進させる際には、むしろ車両後部を固定側キャラクタ像とするのが望ましいこともある。従って、運転作動モードを検出して、前進時には車両前部を固定側キャラクタ像として表示し、後進時には車両後部を固定側キャラクタ像とすることもできる。
　モニタに表示されている車両画像には、人や構築物等の人的物的障害が位置していると危険である領域を設定して、オペレータに注意を促すようにすると、周囲監視のために有利である。このために、車両車体像の周囲に注意範囲ガイドラインを併せて表示することができる。この場合、車両前部と車両後部とが屈曲することから、この注意範囲ガイドラインも可動側キャラクタ像の屈曲角度に応じて変化させるようにする。
　車両前部と車両後部とが屈曲可能となっているので、その間が最大屈曲角度となったときでも、モニタに表示されている合成俯瞰画像に欠落部が生じないようにしなければならない。このためには、複数設けられている各カメラの視野範囲は、少なくとも相隣合う２個のカメラの視野が一部重なり合うように設定する。そして、カメラの視野の重なり合った部位はいずれか一方の画像が表示され、他方の画像のうち、重なり合う部位の画像は表示されないように設定する。
　車両の前部と後部との間が屈曲可能なアーティキュレート作業機械において、各所に設けたカメラの画像から俯瞰画像を生成して、モニタに表示するに当って、屈曲する関係にある車両前部と車両後部とを、実際の屈曲姿勢を車体像表示して、この車体像表示に各カメラに基づく俯瞰画像をカメラの位置に応じるように合成した合成俯瞰画像を合成して表示することによって、オペレータにとって作業機械の周囲を監視するのに最適な監視画像をモニタに表示することができる。
アーティキュレート作業機械の一例としてのアーティキュレートホイールローダの正面図である。 図１の平面図である。 カメラ画像から俯瞰画像への変換のための原理を示す説明図である。 カメラ画像とこのカメラ画像から変換した俯瞰画像を示す説明図である。 アーティキュレートホイールローダのモニタに表示される画像を示す説明図である。 車両前部と車両後部とを屈曲させた状態を示すアーティキュレートホイールローダの平面図である。 図６の屈曲状態にしたアーティキュレートホイールローダのモニタに表示される画像を示す説明図である。 屈曲状態にしたアーティキュレートホイールローダに設定される座標系を示す説明図である。 非屈曲状態にしたアーティキュレートホイールローダの各個別俯瞰画像を合成する前の視野範囲を示す説明図である。 屈曲状態にしたアーティキュレートホイールローダの各個別俯瞰画像を合成する前の視野範囲を示す説明図である。 モニタに車両画像と合成俯瞰画像を表示するための制御装置の構成を示すブロック図である。 アーティキュレート作業機械の他の一例としてのアーティキュレートダンプトラックの正面図である。 図１２の平面図である。 車両前部と車両後部とを屈曲させた状態を示すアーティキュレートダンプトラックの平面図である。 図１４の屈曲状態であって、アーティキュレートダンプトラックの後進時におけるモニタの表示を示す説明図である。
　以下、図面に基づいて本発明の実施の形態について説明する。まず、図１乃至図３にアーティキュレート作業機械の一例としてのアーティキュレートホイールローダの構成を示す。
　図１及び図２において、１は車両前部、２は車両後部であって、車両前部１は車輪１aを有し、その前部に作業手段としてのローダバケット３が装着されており、このローダバケット３はアーム４の先端に連結ピン５を介して連結されており、バケットシリンダ６により連結ピン５を中心として上下方向に回動可能となっている。また、アーム４にはアームシリンダ７が連結されており、このアームシリンダ７を作動させると、ローダバケット３が上下動することになる。車両後部２は車輪２aを有するものであり、この車両後部２には内部に運転席と各種の操作手段とを設けた運転室８が設置されており、運転室８の後部位置にはエンジンや油圧ポンプ等の機械類が収納されている建屋９が設けられている。
　これら車両前部１と車両後部２との間は連結軸１０により連結されており、この連結軸１０を中心として、車両前部１と車両後部２とは水平方向に相対回動可能となっている。そして、運転室８内には操作手段としてのステアリングホイール（図示せず）が設けられており、このステアリングホイールを操作することによって、しかもその操作量に応じて、連結軸１０を中心として車両前部１と車両後部２との間が屈曲することになる。
　アーティキュレートホイールローダには、周囲を監視するために、複数のカメラが設置されている。図２に複数のカメラの配置レイアウトの一例を示す。図示したものにあっては、車両前部１の後方の位置であって、左右両側部に前部左側カメラ１１ａと前部右側カメラ１１ｂとが設けられている。また、車両後部２には、後方カメラ１１ｃと、後部左側カメラ１１ｄ及び後部右側カメラ１１ｅが設けられている。これら各カメラ１１ａ～１１ｅは、それぞれ車体に装着されており、その視野方向は斜め下方となっている。そして、カメラ１１ａ～１１ｅにより撮影したカメラ画像から、各カメラ１１ａ～１１ｅの画角範囲の俯瞰画像に変換されることになる。
　即ち、図３に示したように、所定の高さ位置にカメラ１１を配置して、角度αをもって斜め下方に対物レンズの光軸ＣＡを向けた状態で撮影すると、カメラ画像Ｐが得られる。この角度θを持ったカメラ画像Ｐから、同図に仮想線で示したように、仮想視点ＶＦからカメラ画像Ｐに対して光軸ＶＡが垂直になるように座標変換した画像を作成する。これによって、角度αをもった斜め上方からのカメラ画像を俯瞰画像に変換することができる。例えば、図４（ａ）に示したカメラ画像（歪み補正等の画像補正を行った後の画像）を座標変換すると、図４（ｂ）に示したような俯瞰画像が得られることになる。
　このようにして変換された俯瞰画像は、アーティキュレートホイールローダの車体像画像と共に、運転室８内に設けたモニタ１２に表示される。このモニタ１２の表示の一態様を図５に示す。図中において、１Ｃは車両前部１の車体像をキャラクタ化した前部のキャラクタ像であり、２Ｃは車両後部２の車体像をキャラクタ化した後部のキャラクタ像であって、これらによって車両画像ＶＣが構成される。そして、１１Ａ～１１Ｅは、それぞれカメラ１１ａ～１１ｅで取得したカメラ画像を座標変換して得られた個別俯瞰画像であって、これらを合成した合成俯瞰画像として、車両画像と共にモニタ１２に表示される。さらに、図中においてＬは車両画像ＶＣの周囲に設定される注意範囲ガイドラインであって、この注意範囲ガイドラインＬは、内部に人や構築物等からなる人的物的障害が位置していると、危険であるとして設定された領域の境界部である。
　ところで、アーティキュレートホイールローダにあっては、車両前部１と車両後部２との間は連結軸１０で連結されており（図１参照）、図６に示したように、車両前部１と車両後部２との間が連結軸１０を中心として左右に屈曲可能となっている。従って、車両の走行時や作業時において、アーティキュレートホイールローダが屈曲姿勢を取っていると、モニタ１２の車両画像表示もこれに合わせて、図７に示した屈曲状態とする。
　ここで、アーティキュレートホイールローダにあっては、運転室８は車両後部２側に位置しているので、モニタ１２上では、車両後部２を所定位置に固定した固定側キャラクタ像２Ｃとし、車両前部１をこの固定側キャラクタ像２Ｃに対して屈曲する可動側キャラクタ像１Ｃとして表示される。そして、個別俯瞰画像１１Ａ～１１Ｅのうち、車両後部２に装着したカメラ１１ｃ，１１ｄ及び１１ｅに基づく個別俯瞰画像１１Ｃ～１１Ｅが固定的に表示され、車両前部１に装着したカメラ１１ａ，１１ｂに基づく個別俯瞰画像１１Ａ，１１Ｂを屈曲角度に応じて変化させるようにして表示する。
　このためには、図８に示したように、車両後部２と車両前部１との間の連結軸１０を中心とした座標系Σとし、また車両前部１及び車両後部２の座標系もΣｆ，Σｇとしてそれぞれモニタの画面上に設定する。ここで、車両後部２は固定側キャラクタ像２Ｃとして表示されるので、車両後部２の座標軸Σｇは固定される。角度θ分だけステアリング操作が行われると、車両前部１と車両後部２との間の角度が変化する。つまり、座標系Σと座標系Σｆとがステアリング角度θだけ回転することになる。従って、モニタ１２に車両画像ＶＣを表示するに当って、これら車両前部１と車両後部２とを表示する際の寸法と、ステアリング角度θとに基づいて、図７に示されている屈曲状態の車両画像ＶＣが生成されて、合成俯瞰画像と共にモニタ１２に表示される。
　カメラ１１ａ～１１ｅを搭載した車両前部１と車両後部２とからなるアーティキュレートホイールローダがモニタ１２に表示される際には、各個別俯瞰画像１１Ａ～１１Ｅが必ず部分的に重畳するように、カメラ１１ａ～１１ｅの位置と画角とが設定されている。このことは、図９に示した非屈曲状態であっても、また図１０に示した屈曲状態としたときの最大屈曲状態であっても、同様とする。従って、図９及び図１０には、これら各個別俯瞰画像１１Ａ～１１Ｅの実際の視野範囲をＦＡ～ＦＥとなる。そして、合成俯瞰画像を作成するには、画像信号の処理に当って、個別俯瞰画像の重畳する部位については、いずれかの画像を優先し、他方の画像は部分的に非表示状態とする。
　車両後部２はモニタ１２上では固定側キャラクタ像２Ｃとなり、車両前部１では可動側キャラクタ像１Ｃとなっている。従って、本実施の形態では、モニタ１２上での表示エリアは、固定側キャラクタ像２Ｃ側である個別俯瞰画像１１Ｃ～１１Ｅの各表示エリアは固定的なものとなし、可動側キャラクタ像１Ｃの個別俯瞰画像１１Ａ，１１Ｂの各表示エリアは変化するように設定している。このために、図９の非屈曲状態から図１０の屈曲状態に向けてステアリングを行ったとすると、合成俯瞰画像としては、図５に示した状態から、図７に示したように、左側の個別俯瞰画像１１Ａの表示エリアは減少し、右側の個別俯瞰画像１１Ｂは表示エリアが増大するようになる。その結果、屈曲の如何を問わず、アーティキュレートホイールローダの周囲は、オペレータが視認可能な前方視野を除いた全体に監視画像が表示される。
　以上のように、モニタ１２に車両画像ＶＣと合成俯瞰画像とを合成するようにして表示させるために、図１１に示した回路構成の制御装置２０が設けられる。この制御装置２０には、カメラ１１ａ～１１ｅで取得したカメラ画像信号が取り込まれるようになっており、これらのカメラ画像信号は、画像補正手段２１により歪補正等の必要な画像補正を行うようになっている。そして、画像補正手段２１には画像変換手段２２が接続されており、各カメラ画像信号は、この画像変換手段２２によって、光軸が垂直になるように座標変換した俯瞰画像信号に変換される。
　このようにして個別俯瞰画像１１Ａ～１１Ｅが生成されるが、これら個別俯瞰画像１１Ａ～１１Ｅは、画像合成手段２３によって、それぞれの表示エリアに表示されるように信号処理が行われる。アーティキュレートホイールローダは車両前部１と車両後部２とは屈曲可能なものであるから、各カメラ１１ａ～１１ｅの位置とアーティキュレートホイールローダの姿勢状態に基づいて、各個別俯瞰画像１１Ａ～１１Ｅの表示エリアが割り当てられる。このために、制御装置２０にはカメラ位置算出手段２４が設けられている。また、制御装置２０には、アーティキュレートホイールローダの車体情報伝達手段２５を介してステアリング角度θに関する情報が入力されて、このカメラ位置算出手段２４にこの情報が取り込まれて、またカメラ位置記憶手段２６からの非屈曲状態時における各カメラ１１ａ～１１ｅの位置に関する情報が得られるようになっており、これら各カメラ１１ａ～１１ｅの原点位置と車両前部１と車両後部２との間の屈曲角度とに基づいて、モニタ１２に表示する際において、各個別俯瞰画像１１Ａ～１１Ｅに割り当てられる表示エリアが決定されることになり、これによって合成俯瞰画像が生成されることになる。
　また、モニタ１２上において、車両前部１の前部キャラクタ画像１Ｃと車両後部２の後部キャラクタ画像２Ｃとの相対位置関係は、屈曲変化することから、車両画像ＶＣをモニタ１２に表示する際には、車体情報伝達手段２５からのステアリング角度に関する情報に基づいて得られた車両前部１と車両後部２との屈曲角度が車両画像生成手段２７に取り込まれて、車両画像ＶＣが生成される。そして、前述した合成俯瞰画像と車両画像ＶＣとが表示画像生成手段２８に入力されて、この表示画像生成手段２８から送信される画像信号に基づいてモニタ１２に周辺監視画像が表示されることになる。
　以上のように、アーティキュレートホイールローダにおいて、車両後部２の運転室８内でオペレータが機械の操作を行う際、特に走行時にモニタ１２を視認することによって、周囲に人や障害物等といった人的物的障害が存在するか否かを確認することができる。車両画像ＶＣの周囲に合成俯瞰画像が示され、しかもこの合成俯瞰画像に注意範囲ガイドラインＬが表示されていることから、モニタ１２の視認により人的物的障害の方向や、人的物的障害までの距離を正確に把握できることになり、作業の安全確保や作業の効率向上等が図られる。
　ここで、ホイールローダはアーティキュレートのものであり、車両前部１と車両後部２とは屈曲可能に連結されているから、モニタ１２における表示もこの屈曲状態を反映させる必要がある。オペレータは車両後部２の運転室８内に位置しており、作業機構は車両前部１に備えていることから、車両前部１及び作業機構を構成するローダバケット３は運転室８の内部から目視できるので、モニタ１２を格別見なくても、車両の前進及び作業機構を駆動することにより実行される作業については、安全で効率良く行うことができる。
　一方、アーティキュレートホイールローダを屈曲操作する際や、後進させる際には、さらに作業者等が車両に近付く方向に移動していたりすると、後方及び側方の安全確認を行う必要がある。このときには、オペレータが操作を行っている運転室８が設けられている車両後部２を固定側キャラクタ像２Ｃ としているので、車両の後進時における後方の安全確認及び屈曲操作時における周囲の安全確認を円滑に行うことができ、オペレータが状況を的確に把握することができ、モニタ１２を目視する上で違和感が生じるようなことはない。
　次に、アーティキュレート作業機械の他の例として、アーティキュレートダンプトラックの正面図を図１２に、また平面図を図１３に示す。さらに、図１４は屈曲状態の平面図である。
　これらの図から明らかなように、車両前部３０は運転室３１を含むものであり、車両後部３２には荷台３３が設けられている。この荷台３３は油圧シリンダ３４により後方に向けて傾動可能となっている。車両前部３０には１組の車輪３５が設けられ、車両後部３２には２組の車輪３６が設けられている。車両前部３０と、車両後部３２を構成するフレーム３７との間は連結軸３８により連結されており、図１３に示した非屈曲状態と、図１４に示した屈曲状態とに変位可能となっている。
　車両前部３０の連結軸３８による車両後部３２への連結部の近傍位置における左右両側部には、カメラ３９ａ，３９ｂが取り付けられている。また、車両後部３２については、フレーム３７の後部位置と、前後の車輪３６，３６間の左右両側位置とに、それぞれカメラ３９ｃ，３９ｄ，３９ｅが設けられている。そして、これら各カメラ３９ａ～３９ｅにより撮影したカメラ画像は、前述した第１の実施の形態と同様、上方視点となるように座標変換して、個別俯瞰画像３９Ａ～３９Ｅに変換される。そして、これらの個別俯瞰画像３９Ａ～３９Ｅを合成した合成俯瞰画像が、図１５に示したように、アーティキュレートダンプトラックの車体像画像と共にモニタ４０に表示されることになる。なお、図１５には、アーティキュレートダンプトラックの屈曲状態が示されている。
　モニタ４０においては、相互に屈曲する車両前部３０と車両後部３２とのいずれを固定側キャラクタ像とし、いずれを可動側キャラクタ像とするかについては、運転室３１を基準とする場合には、車両前部３０を固定側キャラクタ像とし、車両後部３２を可動側キャラクタ像とする。ただし、車両後部３２は車両前部３０より長尺のものであり、しかも運転室３１からは後方視野は実質的に得られないことから、後進時には車両後部３２を固定側キャラクタ像としてモニタ４０に表示するように構成することもできる。図１５においては、車両後部３２を固定側キャラクタ像３２Ｃ、車両前部３０を可動側キャラクタ像３０Ｃとして示している。
　アーティキュレートダンプトラックが後進する際には、屈曲状態であれ、非屈曲状態であれ、車両後部３２の後方位置に向けて移動することになるので、この車両後部３２の後方位置を固定的に表示することによって、後方視野内において、人や障害物等といった人的物的障害が存在するか否かの確認を正確に行えるようになる。ただし、アーティキュレートダンプトラックの前進時には、運転室３１が設けられている車両前部３０が固定側キャラクタ像として表示するのが望ましい。従って、アーティキュレートダンプトラックの前進時と後進時との間で、つまり運転作動モードに応じて、固定側キャラクタ像を変えるようにしても良い。図１１に示したように、車両画像生成手段２７及びカメラ位置算出手段２４には、車体情報伝達手段２５が接続されており、この車体情報伝達手段２５からはステアリング角度に関する情報だけでなく、各種の情報も取得できるようになっているので、車両が前進しているか、後進しているかについての情報を車体情報伝達手段２５から取得して、この信号に基づいてモニタ４０の表示態様を変化させることができる。
１，３０　車両前部
２、３２　車両後部
３　ローダバケット
８　運転室
１０，３８　連結軸
１１ａ～１１ｅ，３９ａ～３９ｅ　カメラ
１２，４０　モニタ
２０　制御装置
２１　画像補正手段
２２　画像変換手段
２３　画像合成手段
２４　カメラ位置算出手段
２５　車体情報伝達手段
２７　車両画像生成手段
２８　表示画像生成手段
３３　荷台
１Ｃ，２Ｃ，３０Ｃ，３２Ｃ　キャラクタ画像
１１Ａ～１１Ｅ，３９Ａ～３９Ｅ　個別俯瞰画像

Claims (5)

  1. 車両前部と車両後部とを連結軸により左右に屈曲可能に連結したアーティキュレート作業機械に設けられる作業機械の周囲監視装置において、
    　前記車両前部に設置した１または複数のカメラと、
    　前記車両後部に設置され、車両の後方位置を視野とするカメラを含む１または複数のカメラと、
    　前記作業機械の周囲監視画像を表示するためのモニタと、
    　前記連結軸を中心とした前記車両前部と前記車両後部との間の屈曲角度に基づいて、前記各カメラの位置を算出するカメラ位置算出部と、
    　前記各カメラで取得したカメラ画像を上方視点となるように視点変換して、それぞれ俯瞰画像とする画像変換手段と、
    　前記各カメラにより撮影した各個別俯瞰画像を、前記カメラ位置算出部により算出されたそれぞれの位置関係となるように合成した合成俯瞰画像を生成して、前記モニタにこの合成俯瞰画像を表示するための画像合成手段と、
    　前記合成俯瞰画像を、前記車両前部または前記車両後部のいずれか一方を固定した固定側キャラクタ像とし、他方を前記屈曲角度に基づいて前記固定側キャラクタ像に対して相対回動する可動側キャラクタ像とした車両画像と共に前記モニタに表示する表示画像生成手段と、
    　を備えたことを特徴とする作業機械の周囲監視装置。
  2. 前記車両前部と前記車両後部とのうち、前記運転席が設けられている方を前記固定側キャラクタ像として前記モニタ画面に表示させる構成としたことを特徴とする請求項１記載の作業機械の周囲監視装置。
  3. 前記作業機械は前記運転席が前記車両前部に設けられ、この作業機械の前進時には、前記固定側キャラクタ像は前記車両前部とし、前記作業機械の後進時には、前記固定側キャラクタ像は前記車両後部とするように、運転作動モードにより表示を変化させるようにしたことを特徴とする請求項１記載の作業機械の周囲監視装置。
  4. 前記モニタには、車両画像の周囲に注意範囲ガイドラインを表示するようになし、前記屈曲角度が変化したときに、この注意範囲ガイドラインを屈曲角度に相応する角度分だけ変化させる構成としたことを特徴とする請求項１乃至請求項３のいずれかに記載の作業機械の周囲監視装置。
  5. 前記車両前部及び前記車両後部に設けた各カメラは、それぞれの視野が前記屈曲角度の全範囲にわたって少なくとも２個のカメラの視野が部分的に重なり合う位置に配置する構成としたことを特徴とする請求項１乃至請求項３のいずれかに記載の作業機械の周囲監視装置。
PCT/JP2012/060104 2011-05-13 2012-04-13 作業機械の周囲監視装置 WO2012157379A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/116,884 US20140088824A1 (en) 2011-05-13 2012-04-13 Device for Monitoring Area Around Working Machine
KR1020137032343A KR20140043374A (ko) 2011-05-13 2012-04-13 작업 기계의 주위 감시 장치
AU2012257053A AU2012257053A1 (en) 2011-05-13 2012-04-13 Device for monitoring area around working machine
JP2013515049A JP5779244B2 (ja) 2011-05-13 2012-04-13 作業機械の周囲監視装置
EP20120785367 EP2712969A4 (en) 2011-05-13 2012-04-13 DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
CN201280022215.2A CN103547747A (zh) 2011-05-13 2012-04-13 作业机械的周围监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-107815 2011-05-13
JP2011107815 2011-05-13

Publications (1)

Publication Number Publication Date
WO2012157379A1 true WO2012157379A1 (ja) 2012-11-22

Family

ID=47176719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/060104 WO2012157379A1 (ja) 2011-05-13 2012-04-13 作業機械の周囲監視装置

Country Status (7)

Country Link
US (1) US20140088824A1 (ja)
EP (1) EP2712969A4 (ja)
JP (1) JP5779244B2 (ja)
KR (1) KR20140043374A (ja)
CN (1) CN103547747A (ja)
AU (1) AU2012257053A1 (ja)
WO (1) WO2012157379A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017077723A1 (ja) 2016-03-29 2017-05-11 株式会社小松製作所 作業車両
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
WO2017131243A1 (ja) 2017-02-09 2017-08-03 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
EP3110142A4 (en) * 2014-02-17 2017-11-29 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine
JP2019003606A (ja) * 2017-06-09 2019-01-10 株式会社デンソー 地図変化点検出装置
WO2019150602A1 (ja) * 2018-01-31 2019-08-08 株式会社小松製作所 作業機械
JP2019216380A (ja) * 2018-06-14 2019-12-19 クラリオン株式会社 運転支援装置及び運転支援システム
JP2020092445A (ja) * 2020-02-13 2020-06-11 株式会社クボタ 作業車
JP2020165230A (ja) * 2019-03-29 2020-10-08 日立建機株式会社 ホイールローダ
JP2020173524A (ja) * 2019-04-09 2020-10-22 清水建設株式会社 監視システム
JP2021143579A (ja) * 2020-03-13 2021-09-24 株式会社小松製作所 モータグレーダおよび表示制御方法
WO2023135916A1 (ja) * 2022-01-12 2023-07-20 株式会社小松製作所 作業機械、作業機械を制御するための方法、及びシステム

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
KR101797261B1 (ko) * 2010-06-18 2017-11-13 히다찌 겐끼 가부시키가이샤 작업 기계의 주위 감시 장치
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9513103B2 (en) 2011-04-19 2016-12-06 Ford Global Technologies, Llc Hitch angle sensor assembly
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9555832B2 (en) 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9374562B2 (en) 2011-04-19 2016-06-21 Ford Global Technologies, Llc System and method for calculating a horizontal camera to target distance
US9500497B2 (en) 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9506774B2 (en) 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US10196088B2 (en) 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9434414B2 (en) 2011-04-19 2016-09-06 Ford Global Technologies, Llc System and method for determining a hitch angle offset
US9373044B2 (en) 2011-07-25 2016-06-21 Ford Global Technologies, Llc Trailer lane departure warning system
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
US9592851B2 (en) 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system
US9511799B2 (en) 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
US9517668B2 (en) 2014-07-28 2016-12-13 Ford Global Technologies, Llc Hitch angle warning system and method
US9963004B2 (en) 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US9437055B2 (en) * 2014-08-13 2016-09-06 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
US10161746B2 (en) 2014-08-18 2018-12-25 Trimble Navigation Limited Systems and methods for cargo management
US9714037B2 (en) 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
WO2016028816A1 (en) 2014-08-18 2016-02-25 Trimble Navigation Limited System and method for modifying onboard event detection and/or image capture strategy using external source data
EP3020868B1 (en) * 2014-11-14 2020-11-04 Caterpillar Inc. Machine of a kind comprising a body and an implement movable relative to the body with a system for assisting a user of the machine
US9522677B2 (en) 2014-12-05 2016-12-20 Ford Global Technologies, Llc Mitigation of input device failure and mode management
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
US9667875B2 (en) 2015-01-21 2017-05-30 Caterpillar Inc. Vision system and method of monitoring surroundings of machine
US9522699B2 (en) 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9616923B2 (en) 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
DE102015002692A1 (de) * 2015-03-04 2016-09-08 Dynapac Gmbh Straßenbaumaschine und Verfahren zum Betreiben einer selbstfahrenden Straßenbaumaschine
US9804022B2 (en) 2015-03-24 2017-10-31 Ford Global Technologies, Llc System and method for hitch angle detection
WO2016174754A1 (ja) 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
US10204159B2 (en) 2015-08-21 2019-02-12 Trimble Navigation Limited On-demand system and method for retrieving video from a commercial vehicle
US10850770B2 (en) * 2015-09-02 2020-12-01 Volvo Truck Corporation Device and a method for reversing an articulated vehicle combination
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
US10611407B2 (en) 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
JP2017081238A (ja) * 2015-10-23 2017-05-18 株式会社小松製作所 表示システムおよび作業車両
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10017115B2 (en) 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US9827818B2 (en) 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
US9796228B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US10155478B2 (en) 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US9610975B1 (en) 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9798953B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US10005492B2 (en) 2016-02-18 2018-06-26 Ford Global Technologies, Llc Trailer length and hitch angle bias estimation
WO2016137017A1 (ja) * 2016-03-28 2016-09-01 株式会社小松製作所 評価装置及び評価方法
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
US10106193B2 (en) 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
JP6886258B2 (ja) * 2016-08-31 2021-06-16 株式会社小松製作所 ホイールローダおよびホイールローダの制御方法
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
US10222804B2 (en) 2016-10-21 2019-03-05 Ford Global Technologies, Llc Inertial reference for TBA speed limiting
US10594934B2 (en) 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
DE102016223389A1 (de) * 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Bildverarbeitungssystem und bildverarbeitungsverfahren
WO2018105527A1 (ja) * 2016-12-06 2018-06-14 住友建機株式会社 建設機械
JP6662762B2 (ja) * 2016-12-19 2020-03-11 株式会社クボタ 作業車
US20180201132A1 (en) * 2017-01-13 2018-07-19 Deere & Company Mobile machine-user protocol system and method
US10668854B2 (en) 2017-02-09 2020-06-02 Komatsu Ltd. Work vehicle and display device
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
US10883256B2 (en) * 2018-05-25 2021-01-05 Deere & Company Object responsive control system for a work machine
JP7197315B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 ホイールローダの表示システムおよびその制御方法
US11077795B2 (en) 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US11592813B2 (en) * 2018-12-17 2023-02-28 Robert Bosch Gmbh Method and controller for the situational transmission of surroundings information of a vehicle
JP7160701B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
US10829046B2 (en) 2019-03-06 2020-11-10 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US10949685B2 (en) 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information
WO2021131761A1 (ja) * 2019-12-27 2021-07-01 日立建機株式会社 建設機械
JP7428052B2 (ja) * 2020-03-31 2024-02-06 コベルコ建機株式会社 作業機械の周囲検知装置
KR102362953B1 (ko) * 2020-06-04 2022-02-16 (주)에이치브레인 Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템
US11575810B2 (en) * 2020-09-09 2023-02-07 Deere & Company Auto-positioning camera for drawn implements
US11653587B2 (en) * 2020-09-17 2023-05-23 Deere & Company System and method for presenting the surroundings of an agricultural implement
KR20220102804A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법
JP2023144981A (ja) * 2022-03-28 2023-10-11 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
KR20240056273A (ko) * 2022-10-21 2024-04-30 에이치디현대인프라코어 주식회사 건설기계의 제어 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235036A (ja) * 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
WO2009031400A1 (ja) * 2007-09-03 2009-03-12 Sanyo Electric Co., Ltd. 運転支援システム及び連結車両
JP2009107602A (ja) * 2007-11-01 2009-05-21 Komatsu Ltd アーティキュレート式建設機械

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
JP4332027B2 (ja) * 2003-12-25 2009-09-16 キャタピラージャパン株式会社 表示器制御システム
JP2006256544A (ja) * 2005-03-18 2006-09-28 Aisin Seiki Co Ltd 後退運転支援装置
JP5054294B2 (ja) * 2005-08-05 2012-10-24 株式会社小松製作所 作業用車両に搭載される表示装置、及び同表示装置の表示方法
DE102006037600B4 (de) * 2006-08-10 2010-03-04 Daimler Ag Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
JP4996928B2 (ja) * 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
JP4847913B2 (ja) * 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
KR101078341B1 (ko) * 2009-02-12 2011-11-01 볼보 컨스트럭션 이큅먼트 에이비 후방 감시수단이 구비된 건설장비
JP5124672B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
CN103080990B (zh) * 2011-06-07 2015-04-01 株式会社小松制作所 作业车辆的周边监视装置
JP5781978B2 (ja) * 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235036A (ja) * 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
WO2009031400A1 (ja) * 2007-09-03 2009-03-12 Sanyo Electric Co., Ltd. 運転支援システム及び連結車両
JP2009107602A (ja) * 2007-11-01 2009-05-21 Komatsu Ltd アーティキュレート式建設機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2712969A4 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3110142A4 (en) * 2014-02-17 2017-11-29 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine
US10650251B2 (en) 2014-02-17 2020-05-12 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
JPWO2017122294A1 (ja) * 2016-01-13 2018-11-08 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
US10721442B2 (en) 2016-01-13 2020-07-21 Socionext Inc. Surround view monitor apparatus
US10590629B2 (en) 2016-03-29 2020-03-17 Komatsu Ltd. Working vehicle
WO2017077723A1 (ja) 2016-03-29 2017-05-11 株式会社小松製作所 作業車両
WO2017131243A1 (ja) 2017-02-09 2017-08-03 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
JP6251453B1 (ja) * 2017-02-09 2017-12-20 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
US10421400B2 (en) 2017-02-09 2019-09-24 Komatsu Ltd. Surroundings monitoring system for work vehicle, work vehicle, and surroundings monitoring method for work vehicle
JP2019003606A (ja) * 2017-06-09 2019-01-10 株式会社デンソー 地図変化点検出装置
US11560692B2 (en) 2018-01-31 2023-01-24 Komatsu Ltd. Work machine
JP2019132068A (ja) * 2018-01-31 2019-08-08 株式会社小松製作所 作業機械
JP7103796B2 (ja) 2018-01-31 2022-07-20 株式会社小松製作所 作業機械
WO2019150602A1 (ja) * 2018-01-31 2019-08-08 株式会社小松製作所 作業機械
JP2019216380A (ja) * 2018-06-14 2019-12-19 クラリオン株式会社 運転支援装置及び運転支援システム
JP7220027B2 (ja) 2018-06-14 2023-02-09 フォルシアクラリオン・エレクトロニクス株式会社 運転支援装置
JP2020165230A (ja) * 2019-03-29 2020-10-08 日立建機株式会社 ホイールローダ
JP7280089B2 (ja) 2019-03-29 2023-05-23 日立建機株式会社 ホイールローダ
JP2020173524A (ja) * 2019-04-09 2020-10-22 清水建設株式会社 監視システム
JP7055158B2 (ja) 2020-02-13 2022-04-15 株式会社クボタ 作業車
JP2020092445A (ja) * 2020-02-13 2020-06-11 株式会社クボタ 作業車
JP2021143579A (ja) * 2020-03-13 2021-09-24 株式会社小松製作所 モータグレーダおよび表示制御方法
JP7437195B2 (ja) 2020-03-13 2024-02-22 株式会社小松製作所 モータグレーダおよび表示制御方法
WO2023135916A1 (ja) * 2022-01-12 2023-07-20 株式会社小松製作所 作業機械、作業機械を制御するための方法、及びシステム

Also Published As

Publication number Publication date
JPWO2012157379A1 (ja) 2014-07-31
EP2712969A1 (en) 2014-04-02
AU2012257053A1 (en) 2013-11-21
US20140088824A1 (en) 2014-03-27
CN103547747A (zh) 2014-01-29
JP5779244B2 (ja) 2015-09-16
EP2712969A4 (en) 2015-04-29
KR20140043374A (ko) 2014-04-09

Similar Documents

Publication Publication Date Title
JP5779244B2 (ja) 作業機械の周囲監視装置
WO2012164712A1 (ja) 作業機械の周囲監視装置
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
US9956915B2 (en) Dump truck periphery monitoring apparatus
JP5269026B2 (ja) 作業機械の周囲監視装置
JP6071786B2 (ja) 作業機械の周囲監視装置
JP5546427B2 (ja) 作業機械の周囲監視装置
JP5775283B2 (ja) 作業機械のモニタ装置
WO2015122245A1 (ja) 産業機械の監視画像表示装置
JP5113586B2 (ja) 作業車両
WO2014045456A1 (ja) 作業車両用周辺監視システム及び作業車両
WO2013172172A1 (ja) 自走式産業機械の表示装置
EP3512194B1 (en) Bird's-eye view image system, bird's-eye view image display method and program
JP2008312004A (ja) カメラシステム及び機械装置
JP2012252675A (ja) ダンプトラック
CN113152552A (zh) 工程机械的控制系统及方法
WO2016140016A1 (ja) 車両の周囲監視装置
EP3788205A1 (en) System and method for selectively displaying image data in a working machine
JP6012680B2 (ja) ダンプトラック
US20240052602A1 (en) Work machine surroundings monitoring system, work machine, and work machine surroundings monitoring method
WO2020080294A1 (ja) 油圧ショベル
JP6188858B2 (ja) 作業機械の周囲監視装置
JP6224770B2 (ja) ダンプトラックの表示装置
WO2022195988A1 (ja) 遠隔操作支援サーバおよび遠隔操作支援システム
JP7145137B2 (ja) 作業機械の制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12785367

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013515049

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14116884

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2012257053

Country of ref document: AU

Date of ref document: 20120413

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20137032343

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012785367

Country of ref document: EP