WO2014119711A1 - 運搬機械の位置調整システム - Google Patents

運搬機械の位置調整システム Download PDF

Info

Publication number
WO2014119711A1
WO2014119711A1 PCT/JP2014/052216 JP2014052216W WO2014119711A1 WO 2014119711 A1 WO2014119711 A1 WO 2014119711A1 JP 2014052216 W JP2014052216 W JP 2014052216W WO 2014119711 A1 WO2014119711 A1 WO 2014119711A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dump truck
camera
superimposed
machine
Prior art date
Application number
PCT/JP2014/052216
Other languages
English (en)
French (fr)
Inventor
菅原　一宏
石本　英史
田中　克明
小倉　弘
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Publication of WO2014119711A1 publication Critical patent/WO2014119711A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • the present invention relates to a position adjustment system for a transport machine that assists in guiding relative positioning between a loading machine and a transport machine so as to be in an optimum position and direction.
  • a drilling machine as a loading machine having excavation means such as earth and sand and a transport machine such as a dump truck that transports the excavated material of this excavating machine are operated at the excavation site.
  • a dump truck as a transporting machine and transported from the mining site.
  • the excavating machine uses a large hydraulic excavator having a bucket capacity of 3 m 3 to 40 m 3 or more.
  • a large dump truck is used, but the vessel is filled with the excavated material from the bucket once or several times. Accordingly, a plurality of dump trucks are kept waiting for one hydraulic excavator, and the dump trucks are sequentially fed to the hydraulic excavator side.
  • Patent Document 1 a monitoring station wirelessly communicates a traveling route of a dump truck to an excavating machine, and guides a course to be traveled from the excavating machine to the dump truck. When the excavating machine moves, it broadcasts a change in the traveling course.
  • an object of the present invention is to guide the transporting machine so that the positioning is performed in a short time when the relative positioning is performed so that the transporting machine is in the optimum position and direction relative to the loading machine.
  • the present invention is provided in a loading machine, a camera provided in the loading machine acquires a camera image including a stop target position of a transport machine, and the stop target is included in the camera image.
  • a video processing unit that creates a superimposed video for displaying the position information in a superimposed manner; a wireless communication unit that wirelessly communicates the superimposed video processed by the video processing unit from the loading machine to the transporting machine; and the transporting machine And a display device that displays the superimposed video communicated by the wireless communication unit.
  • the wireless communication unit can wirelessly communicate the superimposed image to the transport machine that enters the target stop position for loading by the loading machine.
  • the loading machine includes at least information on the target stop position, and includes a plurality of cameras having an optical axis obliquely below so as to photograph the periphery of the loading machine, and a camera image captured by each camera.
  • a viewpoint conversion unit that generates an individual overhead view image that is converted to an upper viewpoint
  • an image synthesis unit that generates a synthesized overhead image by synthesizing the individual overhead image
  • a superimposition processing unit that superimposes position information, and wirelessly communicates from the loading machine to the transporting machine as a superimposed image of a target position superimposed synthesized overhead image on which the stop target position information is superimposed.
  • the loading machine includes a traveling body mounted with a swiveling body, the superimposed image immediately before the swiveling operation of the revolving body is performed is acquired as a still image, and the still image is used as the superimposed image.
  • Wireless communication can be performed from the loading machine to the transporting machine.
  • the superimposed image can be transmitted to all the transport machines, and based on the request of the transport machine, the product is only applied to the transport machine that has made this request.
  • Wireless communication of the superimposed image may be performed from an embedded machine.
  • the present invention superimposes information on the target stop position on the camera image and displays it on the display device of the transport machine, so that the situation near the stop target position can be clearly recognized. Relative positioning can be optimally performed in a short time.
  • FIG. 6A is a diagram showing an example of a screen displayed on the display.
  • FIG. 6A shows a state in which the rear end portion of the dump truck enters the visual field range of the camera image, and FIG. It is the figure which showed the state which entered the grade.
  • FIG. 7A shows an example of a screen displayed on the display at the time of turning.
  • FIG. 7A shows the state immediately before the turning
  • FIG. 7B shows the position of the guideline changed (rotated) on the display after the turning.
  • FIG. 7 (c) further turns from the state of FIG. 7 (b), the guideline position exceeds the visual field limit
  • FIG. 7 (d) further turns from the state of FIG. 7 (c).
  • the guideline is a diagram showing a state where the limit of the visual field range is completely exceeded. It is a figure which shows an example of arrangement
  • a hydraulic excavator is applied as the loading machine, and a dump truck is applied as the transporting machine.
  • a loading machine other than a hydraulic excavator may be used, and a transportation machine other than a dump truck may be used.
  • this embodiment is not limited to the mining of a mine.
  • Figure 1 shows an example of a mine work site.
  • A is an ore excavation area
  • B is an earth and sand discharge area
  • C is an ore treatment plant in which crushers and the like are arranged to process and process the mined ore.
  • D is a management center that centrally manages the operation of various machines in the mine.
  • A a plurality of hydraulic excavators 1 are arranged at different locations, and excavation area A is excavated by the excavator 1.
  • a plurality of dump trucks 2 are also in operation, and the work flow of one unit is to transport excavated material from the excavator 1 to the discharge region B or the ore treatment site C in the excavation region A, and load the excavated material at those predetermined locations. Lower and return to the position to receive loading from the excavator 1. This operation is repeated.
  • the dump truck 2 In the initial stage of excavation in the excavation area A, since the top soil is excavated by the hydraulic excavator 1, the dump truck 2 is loaded with earth and sand not containing ore. For this reason, the loaded earth and sand are unloaded in the discharge area B.
  • the dump truck 2 moves to the ore processing station C in which the excavated ore processing device is installed, and loads and unloads the excavated ore.
  • a crusher or the like is used to perform processing such as crushing the ore.
  • the management center D collects location information of each dump truck 2 via a wireless network. Then, the management center D instructs the destination for each of the dump trucks 2 to improve the production efficiency of the mine.
  • FIG. 2 schematically shows a state in which excavated material is being transferred between the excavator 1 and the dump truck 2.
  • the hydraulic excavator 1 has a crawler type (or wheel type) traveling body 10, and a revolving body 11 is provided above the traveling body 10.
  • a front mechanism 12 is attached to the swing body 11, and a bucket 13 is provided on the front end side of the front mechanism 12. Since the excavator 1 includes the traveling body 10, it can travel, but does not travel frequently and is basically stationary or has a limited range of motion. Excavation by the bucket 13 is performed within a range of 12 reach.
  • the region W is a region where excavation can be performed without moving the excavator 1.
  • the hydraulic excavator 1 operates by excavating with the bucket 13, turning with the revolving body 11, and putting the excavated material excavated with the bucket 13 into the dump truck 2.
  • the camera is provided on the left or right side of the front of the excavator 1 in the traveling direction (left side as viewed from above).
  • the camera 14 is provided on the left side, but the camera may be provided on the right side.
  • the camera 14 is attached to the revolving unit 11 and is arranged so that the optical axis of the camera 14 faces obliquely downward.
  • the camera 14 may be attached at an arbitrary position as long as a stop target position described later can be included in the field of view.
  • the camera 14 is basically attached to the revolving unit 11, but may be attached to the traveling unit 10 if possible.
  • the dump truck 2 is provided with a vessel 21 at the rear position of the cab 20, and the excavated material from the bucket 13 of the excavator 1 is put into the vessel 21.
  • the dump truck 2 is positioned below the position where the excavated material is loaded by the bucket 13.
  • the front mechanism 12 is driven to rotate the revolving structure 11. It is convenient for work that the position where the excavated material is charged is as constant as possible, and it does not change frequently.
  • the traveling body 10 of the excavator 1 is caused to travel, the position of the dump truck 2 changes, but normally the dump truck 2 is fixedly held at a predetermined position.
  • the dump truck 1 enters a position close to the excavator 1 for loading the excavated material by the dump truck 2.
  • the stop position of the dump truck 2 is an optimal position for receiving excavated material from the bucket 13 of the excavator 1.
  • This position is a target position where the dump truck 2 should stop, that is, a loading target position.
  • This loading target position is, for example, the closest position in a direction substantially parallel to the traveling body 10 of the excavator 1, and is convenient for loading the excavated material of the bucket 13 by turning the excavator 1.
  • the loading platform 21 is arranged at the position. However, the condition is that there is no interference when the revolving unit 11 turns.
  • the dump truck 2 heads for the stop target position it moves backward, and the direction is the direction indicated by the arrow T in FIG.
  • the position adjustment system for a transporting machine is a system for guiding the dump truck 2 to smoothly and reliably move to the target stop position of the dump truck 2.
  • FIG. 3 shows a system configuration for adjusting the relative position between the excavator 1 and the dump truck 2.
  • the excavator 1 includes two GPS antennas 21A and 21B, a GPS receiver 22, a video processing unit 23, a first display 24, a first wireless communication device 25, a first wireless antenna 26, and an operation unit 27, and further described above.
  • the camera 14 is provided.
  • a plurality of GPS satellites 28 constituting the global positioning satellite system are included.
  • the two GPS antennas 21A and 21B receive GPS signals from the GPS satellite 28, and detect the position and direction of the excavator 1. That is, the GPS antennas 21A and 21B exhibit not only a position detection function but also a direction detection function for detecting the direction of the excavator 1. Since the GPS antennas 21 ⁇ / b> A and 21 ⁇ / b> B are provided on the swing body 11, the direction of the swing body 11 in the excavator 1 is detected. Here, the direction is detected by the GPS antennas 21A and 21B, but the direction of the excavator 1 may be detected by using other means.
  • the direction may be detected by using a gyro sensor, or the direction may be detected by detecting the turning angle of the turning body 11 using an angle sensor such as a potentiometer. Moreover, you may detect a direction using a geomagnetic sensor. However, a GPS antenna is used for detecting the position of the excavator 1.
  • the GPS antennas 21 ⁇ / b> A and 21 ⁇ / b> B receive GPS signals from the GPS satellites 28 and output the GPS signals to the GPS receiver 22.
  • the GPS receiver 22 detects the position and direction of the swing body 11 of the excavator 1. These are output to the video processing unit 23 as position information and direction information.
  • the video processing unit 23 receives video captured by the camera 14 as camera video.
  • the video processing unit 23 superimposes information on the stop target position on the camera video.
  • the information on the stop target position is the guideline G surrounded by the rectangular dotted line, but the information on the stop target position may be superimposed by a method other than the rectangular dotted line.
  • the stop target position may be blinked.
  • the guideline G indicates the optimum position of the dump truck 2 when performing the loading operation.
  • the stop target position When loading excavated material from the hydraulic excavator 1 to the dump truck 2, it is necessary to stop the dump truck 2 at the optimum position, that is, the stop target position.
  • the camera 14 is attached so that the stop target position is in the field of view based on the direction of the revolving unit 11. Since the mounting angle of the camera 14 is known in advance, the stop target position can be recognized. For example, in the GPS coordinate system, the coordinates of the field of view range of the camera 14 are associated with the position information (vehicle body coordinate value) of the excavator 1 (calibration). And since the direction information of the hydraulic excavator 1 is acquired, the coordinate value (mine coordinate value) of the stop target position can be recognized in the camera image.
  • a guideline G is superimposed based on the coordinate values, and an image in which the camera image and the stop target position information are superimposed is a superimposed image.
  • the coordinate value of the target stop position is calculated based on the type (vehicle grade) of the excavator 1, the vehicle body information such as the dimensions of the front mechanism 12, and the type (vehicle grade) of the dump truck 2.
  • the vehicle body information of the hydraulic excavator 1 is preset in a storage device (not shown), and the set value is used. The grasping of the type of the dump truck 2 will be described later.
  • the video processing unit 23 performs image processing for superimposing the guideline G on the camera video of the camera 14, and outputs the camera video on which the guideline G is superimposed to the first display 24.
  • a superimposed image is displayed on the first display 24.
  • the video processing unit 23 outputs a superimposed video that is a camera video on which the guideline G is superimposed to the first wireless communication device 25.
  • the first wireless communication device 25 wirelessly communicates the superimposed image to the dump truck 2 using the first wireless antenna 26.
  • the operation unit 27 is provided in the hydraulic excavator 1 and can be operated arbitrarily. By operating the operation unit 27, the camera image can be displayed on the first display 24. When adjusting the position of the guideline G, the operation unit 27 is used. Thereby, the position of the guide line G can be adjusted, and the position of the guide line G displayed on the first display 24 can be changed.
  • the dump truck 2 includes a second wireless antenna 31, a second wireless communication device 32, a control unit 33, a second display 34, and an input device 35.
  • the second wireless antenna 31 performs wireless communication with the first wireless antenna 26.
  • the superimposed image communicated by the first wireless communication device 25 is input from the second wireless antenna 31 to the second wireless communication device 32.
  • the second wireless communication device 32 outputs the received superimposed video to the control unit 33.
  • the control unit 33 outputs the superimposed video to the second display 34.
  • the first wireless communication device 25, the first wireless antenna 26, the second wireless antenna 31, and the second wireless communication device 32 constitute a wireless communication unit.
  • the wireless communication is bidirectional, and bidirectional communication of information is performed by wireless communication from the excavator 1 to the dump truck 2 and from the dump truck 2 to the hydraulic excavator 1.
  • the input device 35 is used to perform an operation for requesting information related to the superimposed image to the excavator 1.
  • An operator boarding the dump truck 2 operates the input device 35 to acquire superimposed video information from the excavator 1 by the wireless communication unit, and displays the acquired superimposed video on the second display 34.
  • the dump truck 2 is often provided with a camera for assisting a visual field that is a blind spot behind. Normally, the video of the camera provided on the dump truck 2 is displayed on the second display 34.
  • the display of the second display 34 is displayed on the superimposed video communicated from the excavator 1. Switch.
  • the excavator 1 can be moved by the traveling body 10, but basically, the excavator 1 is stationary at a predetermined position and performs operations such as excavation and loading of excavated material on the dump truck 2. This operation is repeated a plurality of times. Therefore, the stop target position does not change while the excavator 1 is stationary.
  • the excavator 1 loads the excavated material onto the loading platform 21 of the dump truck 2 while the dump truck 2 is stopped at the target stop position. If this is repeated a plurality of times, the loading platform 21 of the dump truck 2 becomes full. Therefore, the dump truck 2 moves away from the target stop position. Then, the next dump truck 2 waiting is stopped at the stop target position, and the excavator 1 loads the excavated material on the loading platform 21 of the dump truck 2. When it is full, the next dump truck 2 is replaced. This is sequentially repeated. Accordingly, the region where the excavator 1 can be excavated at the same position, that is, without moving, is the region W shown in FIG. 2, and as long as excavation is performed within the region W, the target stop position is It becomes the same position.
  • the procedure for stopping the dump truck 2 at the stop target position will be described with reference to FIGS.
  • the excavator 1 is arranged at a predetermined excavation work position, and is arranged at a position where excavation work can be started by moving from one excavation work position to another excavation work position (step S1).
  • the hydraulic excavator 1 basically does not move from that position and maintains that position. Then, the camera 14 provided on the revolving structure 11 takes a picture and acquires a camera image (step S2).
  • the camera 14 provided on the revolving structure 11 faces in a direction including the stop target position in the field of view. Therefore, a camera image including the stop target position is acquired as a superimposed image. Information regarding the superimposed video is output to the video processing unit 23.
  • the dump truck 2 enters the stop target position the dump truck 2 to be loaded next moves toward the stop target position displayed near the excavator 1 in order to stop at the stop target position. Indicates.
  • the GPS antennas 21 ⁇ / b> A and 21 ⁇ / b> B provided on the excavator 1 receive GPS signals from the GPS satellites 28. This GPS signal is output to the GPS receiver 22. Since the two GPS antennas 21A and 21B are provided, not only the position information of the swing body 11 of the excavator 1 but also the direction information is acquired (step S3). These position information and direction information are output to the video processing unit 23. By recognizing the position information and the direction information, the coordinates of the excavator 1 in the GPS coordinate system can be recognized. Further, since the mounting angle of the camera 14 is known, the coordinates of the stop target position can also be recognized. Thereby, information on the stop target position can be set (step S4). The video processing unit 23 recognizes information on the target stop position as a guideline G. Then, the video processing unit 23 performs image processing for superimposing the guideline G on the camera video acquired from the camera 14 (step S5).
  • the camera 14 is installed with the optical axis directed obliquely downward. This is converted into a virtual viewpoint from above.
  • the image is set from a virtual camera arranged at a position where the optical axis direction is vertical.
  • the camera image is converted into an image looking down on the ground from a virtual viewpoint position.
  • This is an overhead image converted into a viewpoint from above. Details of this overhead view image will be described later.
  • the guideline G to be superimposed on the camera video is also a range in which coordinates are converted corresponding to the overhead image.
  • a camera image on which the guideline G is superimposed that is, a superimposed image can be obtained.
  • the excavator 1 transmits a request for movement to the stop target position to the dump truck 2 (step S6).
  • a large number of dump trucks 2 are operated at the mine work site, and the operation management is performed by the management center D. Therefore, when the management center D receives the movement request, one of the dump trucks 2 moves toward the target stop position. In many cases, the management center D issues an instruction to move toward the dump truck 2 closest to the excavator 1.
  • the video processing unit 23 of the excavator 1 generates a superimposed video that is a camera video on which the guideline G is superimposed (step S11). Based on the movement request from the hydraulic excavator 1, one dump truck 2 moves toward the hydraulic excavator 1, that is, enters the stop target position. The operator of the dump truck 2 operates to stop the dump truck 2 at the stop target position.
  • the operator of the dump truck 2 uses the input device 35 to perform an operation for requesting display switching (step S12).
  • This request is wirelessly communicated as a request from the control unit 33 toward the hydraulic excavator 1 from the second wireless antenna 31 by the second wireless communication device 32 (step S13). Since the excavator 1 and the dump truck 2 are located at a short distance, the request wirelessly communicated from the second wireless antenna 31 is received by the first wireless antenna 26 (step S14).
  • the excavator 1 can identify the requested dump truck 2 and make a request.
  • Superimposed video can be sent only to the dump truck 2.
  • wireless communication such as a superimposed image is not sent to a plurality of other excavators 1 and dump trucks 2, so that the work efficiency of the entire work site can be improved. The same applies to modified examples 1 to 5 described later.
  • the video processing unit 23 is controlled to acquire the superimposed video.
  • the camera image is converted into a superimposed image by performing image processing for overlaying the guideline G. Therefore, the guideline G is included in the superimposed video.
  • the first wireless communication device 25 wirelessly communicates the superimposed image from the first wireless antenna 26 (step S15).
  • a superimposed image is displayed on the first display 24 together with or before or after this (step S16).
  • the superimposed image wirelessly communicated from the first wireless antenna 26 is received by the second wireless antenna 31 of the dump truck 2 and input to the second wireless communication device 32 (step S17).
  • the control unit 33 When the superimposed video is input from the second wireless communication device 32 to the control unit 33, the control unit 33 outputs the superimposed video to the second display 34. Thereby, a superimposed image is displayed on the second display 34 (step S18).
  • This superposed image is the same as the image that the image processing unit 23 of the excavator 1 performs image processing, and is the same as the image displayed on the first display 24 of the excavator 1. That is, the superimposed image includes the guideline G.
  • the camera 14 provided on the revolving structure 11 of the excavator 1 acquires a visual field range image at a predetermined imaging cycle. By wirelessly communicating a camera image including the guideline G for each imaging cycle, the superimposed image can be displayed on the second display 34 as a moving image.
  • the superimposed image is displayed on the second display 34 of the dump truck 2 in real time.
  • the operator of the dump truck 2 can recognize the state near the stop target position by viewing the superimposed image displayed on the second display 34. For example, it can be recognized from an actual superimposed image whether or not a dynamic or static obstacle such as a worker exists at the target stop position.
  • the guideline G is superimposed on this video.
  • the operator of the dump truck 2 uses the guideline G superimposed on the camera image as an index to travel (reverse) the dump truck 2 and performs an operation so that the dump truck 2 matches the target stop position.
  • the dump truck 2 enters the visual field range of the camera 14, the dump truck 2 is displayed on the second display 34 of the dump truck 2 and the first display 24 of the excavator 1.
  • FIG. 6A shows a case where the rear end portion of the dump truck 2 enters the visual field range of the camera image
  • FIG. 6B shows a case where about half of the dump truck 2 enters the guide line G.
  • the operator of the dump truck 2 can quickly and easily stop the dump truck 2 at the target stop position without performing multiple turnovers.
  • the target stop position is an optimal position for loading the excavated material excavated by the hydraulic excavator 1 onto the loading platform 21 of the dump truck 2. Accordingly, the dump truck 2 can be quickly stopped at the stop target position, so that no wasteful time is required until the excavator 1 loads the excavated material.
  • the relative positioning of the dump truck 2 with respect to the hydraulic excavator 1 can be performed in a short time, and the working efficiency can be greatly improved.
  • the guideline G is superimposed on the camera image, it is desirable that the shape of the guideline G matches the shape of the dump truck 2 displayed on the second display 34 or the first display 24. That is, it is desirable to stop the dump truck 2 at an optimum position for transferring the excavated material from the excavator 1 to the loading platform 21 of the dump truck 2, and this is the stop target position. Therefore, it is desirable that the stop target position and the dump truck 2 coincide.
  • the shape of the dump truck 2 is different for each type. If the shape of the dump truck 2 is different, the optimum position for transferring the excavation is also different, that is, the stop target position is also different. Therefore, the video processing unit 23 can generate the guideline G corresponding to the type of the dump truck 2 by wirelessly communicating the information of the type of the dump truck 2 from the dump truck 2 to the hydraulic excavator 1. Thereby, according to the kind of dump truck 2, guideline G which shows a stop target position can be superimposed on a camera picture.
  • the guideline G displayed on the first display 24 and the second display 34 is shown as a rectangular dotted area.
  • the stop target position is a rectangular dotted line area.
  • the stop target position is not a rectangular area but a three-dimensional range corresponding to the outer shape of the dump truck 2.
  • the stop target position may be non-rectangular and superimposed on the camera image. Even in the case of a bird's-eye view image, when moving to a distant place, in order to display in a limited display area, only the distant position is processed differently from normal. Also in this case, the distant position is overlapped with a non-rectangular shape.
  • the camera image is wirelessly communicated as a moving image from the excavator 1 to the dump truck 2, it may be a still image.
  • moving images are wirelessly communicated, the amount of communication increases and communication may be delayed.
  • the processing speed of image processing by the video processing unit 23 may not be able to keep up. Therefore, the amount of data can be reduced by using a still image as a camera image. Accordingly, it is possible to avoid a situation in which communication is delayed or the processing speed of the image processing by the video processing unit 23 cannot be handled.
  • the excavator 1 has a revolving body 11, and a camera 14 is attached to the revolving body 11. Since the turning body 11 is turnable with respect to the traveling body 10, the field of view of the camera 14 also turns accordingly.
  • FIGS. 7 a) to 7 d) show a state in which the field of view of the camera 14 is turning due to the turning of the turning body 11. Note that V in the figure indicates the limit of the visual field range (that is, the image of the excavator 1 side from V is not displayed).
  • the guideline G is a target stop position, and the target stop position does not change unless the position of the excavator 1 changes.
  • FIG. 6A shows a state immediately before turning, and the guideline G is displayed on the camera image. And the turning body 11 starts turning from this state.
  • FIG. 7B the guideline G is displayed on the second display 34, but its position is changed (rotated).
  • the guideline G exceeds the limit V of the visual field range and almost disappears as shown in FIG. If further turning is performed from this state, the guide line G completely exceeds the limit V of the visual field range as shown in FIG.
  • the hydraulic excavator 1 is provided with various operation means, and is provided with a turning operation unit that performs an operation of turning the turning body 11. Therefore, when it is detected that the turning operation unit has been operated, that is, when the turning of the turning body 11 is detected, the video processing unit 23 stores the camera image taken by the camera 14 as a still image. That is, the camera image near the stop target position immediately before the turn as shown in FIG. 7a) is stored as a still image.
  • the excavator 1 wirelessly communicates the still image stored by the video processing unit 23 to the dump truck 2. To do. As a result, a still camera image is displayed on the second display 34 of the dump truck 2. This still image is an image near the stop target position immediately before the turn, and the dump truck 2 is not displayed on the second display 34.
  • a still image near the stop target position immediately before the turn is displayed on the second display 34 of the dump truck 2. Therefore, the operator of the dump truck 2 can recognize the situation near the stop target position from the second display 34.
  • the guideline G is superimposed on the still image together with the landscape.
  • the field of view of the front of the cab of the dump truck 2 is good, and the operator of the dump truck 2 compares the field of view of the front of the cab viewed with the naked eye with a still image. Since the guideline G is superimposed on the still image, the dump truck 2 can be positioned using the front field of view, the still image scenery, and the guideline G as indices.
  • the still image is wirelessly communicated as a superimposed image
  • the data amount can be reduced as in the case described above.
  • the traveling of the hydraulic excavator 1 is normally stopped, the movement is the turning operation of the turning body 11.
  • the stop target position does not change during the turning operation.
  • a moving image is a series of still images.
  • the amount of communication can be reduced by performing image processing that extracts the difference between still images that are temporally continuous. Can also be planned.
  • the turning motion of the swing body 11 of the excavator 1 is large, the difference between still images that are temporally continuous becomes large.
  • the amount of communication communicated from the hydraulic excavator 1 to the dump truck 2 becomes very large, and communication is delayed. Further, the speed of the image processing by the video processing unit 23 cannot catch up with the turning operation.
  • the dump truck is quickly positioned at the stop target position by wirelessly communicating a still image near the stop target position immediately before the turn. be able to.
  • the still image may be switched to the moving image.
  • the means for detecting the start and stop of turning may be detected not only by the operation means but also by other means. For example, turning may be detected by a gyro sensor, or turning may be detected by image processing of the video processing unit 23.
  • the still image is stored with the turning of the revolving body 11 as a trigger.
  • the present invention is not limited to this, and the image is taken when the stop target position is included in the field of view of the camera 14.
  • the camera video may be saved as a still image.
  • the camera 14 is provided so as to photograph the four sides of the revolving structure 11. That is, there are a total of four cameras: a front camera 14F having a field of view in front of the excavator 1, a rear camera 14B having a field of view behind, a left camera 14L having a field of view on the left, and a right camera 14R having a field of view on the right.
  • a camera 14 is provided.
  • four cameras 14 are provided, but at least the front camera 14F and the rear camera 14B may be provided. That is, two cameras having a field of view opposite to each other are arranged.
  • the excavator 1 loads excavated items alternately on the dump trucks 2A and 2B.
  • the dump trucks 2A and 2B each enter the stop target position.
  • the front camera 14F includes the dump truck 2A and its stop target position in the visual field range.
  • the rear camera 14B includes the dump truck 2B and its stop target position in the visual field range.
  • the dump trucks 2A and 2B each have the configuration shown in FIG. Therefore, the excavator 1 superimposes the guideline G on the camera images of the front camera 14F and the rear camera 14B, and performs wireless communication with each of the dump trucks 2A and 2B entering the stop target position. Thereby, the superimposed image of the front camera 14F on which the guideline G is superimposed is displayed on the second display 34 of the dump truck 2A. In addition, the second display 34 of the dump truck 2B displays a superimposed image of the rear camera 14B on which the guideline G is superimposed.
  • Each operator of the dump trucks 2A and 2B stops the dump trucks 2A and 2B at the stop target position using the guideline G of the superimposed image as an index.
  • the excavator 1 alternately transfers the excavated material in the bucket 13 onto the loading platform 21 of the dump trucks 2A and 2B. Therefore, positioning of the two dump trucks 2A and 2B entering the stop target position to the stop target position can be performed in parallel. Thereby, the time for positioning can be shortened and the working efficiency can be improved. Further, since wireless communication such as a superimposed image is not sent to the other plurality of hydraulic excavators 1 and dump trucks 2, the work efficiency of the entire work site can be improved.
  • FIG. 9 shows the video processing unit 23 in the third modification.
  • the video processing unit 23 includes an image correction unit 41, a viewpoint conversion unit 42, an image synthesis unit 43, a superimposition processing unit 44, and a camera video output unit 45.
  • the image correction unit 41 camera images captured by the front camera 14F, the rear camera 14B, the right camera 14R, and the left camera 14L are input. Various image corrections such as aberration correction, contrast correction, and color tone correction are performed based on camera optical system parameters and the like. Thereby, the image quality of each input image is improved.
  • the camera video corrected by the image correction unit 41 is output to the viewpoint conversion unit 42.
  • the viewpoint conversion unit 42 performs viewpoint conversion processing on each camera video input from the image correction unit 41 to generate an overhead image (virtual viewpoint image).
  • each camera 14 has the optical axis direction obliquely below, and converts this into a virtual viewpoint from above.
  • the optical axis X of the objective lens of the camera 14 front camera 14F, rear camera 14B, right camera 14R, left camera 14L
  • the optical axis of the camera 14 has a predetermined angle ⁇ with respect to the ground surface L.
  • the optical axis of the camera 14 is obliquely downward.
  • the viewpoint conversion unit 42 virtually sets the viewpoint at a height H of the virtual camera 14V in which the optical axis direction is the vertical direction, and the virtual camera 14V performs coordinate conversion into a camera image overlooking the ground surface L.
  • the image converted into the viewpoint from above is a virtual plane image (overhead image).
  • the viewpoint conversion unit 42 converts viewpoints of the camera images of the front, rear, left, and right cameras 14 and generates respective overhead images. These are designated as individual overhead images.
  • the four individual overhead images are output to the image composition unit 43.
  • the image composition unit 43 generates a composite overhead image as shown in FIG.
  • the composite overhead view image shown in the figure has four individual overhead images arranged around a symbol image 51 in which the excavator 1 is symbolized (characterized).
  • the symbol image is an image that reproduces the excavator 1, and when the reproducibility is enhanced, the shape of the excavator 1 can be accurately recognized. However, the reproducibility may not be faithful, and a simple figure or the like may be used as a symbol image.
  • the image compositing unit 43 has a front overhead image 52F obtained by converting the viewpoint of the front camera 14F, a rear overhead image 52B obtained by converting the viewpoint of the rear camera 14B, a right overhead image 52R obtained by converting the viewpoint of the right camera 14R, and a viewpoint of the left camera 14L.
  • Four of the converted left overhead image 52L are arranged around the symbol image 51. This is a composite overhead image.
  • the image composition unit 43 generates a composite overhead image.
  • the guideline G indicating the stop target position is superimposed on the synthesized overhead image. This is performed by the superimposition processing unit 44.
  • the stop target positions exist on both sides of the excavator 1, and the guidelines G1 and G2 exist. Of course, there may be one stop target position, or only one guideline G may be superimposed.
  • the line segments constituting the guideline G1 and G2 are color-coded, one is a straight line, the other is a dotted line, etc. May be added and added.
  • the superimposed overhead image in which the guidelines G 1 and G 2 are superimposed on the synthesized overhead image generated by the image synthesis unit 43 is output to the camera video output unit 45.
  • the camera video output unit 45 outputs the superimposed bird's-eye view image to the first display 24, so that the synthesized bird's-eye view image as shown in FIG.
  • the superimposed synthesized overhead image is also output to the first wireless communication device 25. Accordingly, the signals are input to the second wireless communication devices 32 of the dump trucks 2A and 2B, and the superimposed composite overhead image as shown in FIG.
  • the same superimposed synthesized overhead image is displayed as a superimposed video on the second displays 34 of the dump trucks 2A and 2B. Therefore, the same effect as that of the second modification can be obtained.
  • the camera image wirelessly communicated with the dump truck 2A and the camera image wirelessly communicated with the dump truck 2B are different images. That is, the stop target position of the dump truck 2A is included in the camera image from the front camera 14F, and the stop target position of the dump truck 2B is included in the camera image from the rear camera 14B. Accordingly, different camera images from the excavator 1 are wirelessly communicated to the dump trucks 2A and 2B.
  • the same superimposed synthesized overhead image is wirelessly communicated to the dump truck 2A and 2B. Accordingly, since the same superimposed synthesized overhead image is wirelessly communicated, it is possible to reduce the communication amount and the wireless communication processing. Further, when the superimposed synthesized overhead image is displayed on the second display 34 as a superimposed video, it is also possible to recognize a wide range of situations other than the vicinity of the stop target position. Thereby, the operators of the dump trucks 2A and 2B can recognize a lot of information.
  • the guideline G is always displayed by displaying the superimposed composite overhead image on the second display 34.
  • the guideline G disappears from the second display 34 when the revolving structure 11 is revolving.
  • the superimposed synthesized overhead image is displayed as a superimposed video. Since the superimposed synthesized bird's-eye view shows the situation around the hydraulic excavator 1, even if the turning body 11 turns, the guideline G does not disappear from the display. Thereby, the dump truck 2 can always be positioned using the guideline G as an index regardless of the turning of the turning body 11 of the excavator 1.
  • the synthesized overhead image displayed on the first display 24 of the excavator 1 and the synthesized overhead image displayed on the second display 34 of the dump truck 2 have a wider range of the synthesized overhead image on the second display 34. It is desirable. This can also be realized by making the display size of the second display 34 of the dump truck 2 larger than the first display 24 of the excavator 1, and even if the display size is the same, the second display 34 than the first display 24. This can also be realized by increasing the scale ratio. By displaying a wide range of combined overhead images on the second display 34 of the dump truck 2, it becomes easy to recognize the positional relationship between the dump truck 2 and the stop target position.
  • the central management of the excavator 1 and the dump truck 2 is performed at the management center D shown in FIG.
  • the excavator 1 excavates ore and loads it on the dump truck 2 as well as excavates and loads earth and sand that do not contain ore.
  • the management center D performs centralized management of the excavator 1 and the dump truck 2.
  • the management center D manages the destination of each dump truck 2, and each dump truck 2 performs optimal scheduling for transferring excavated material from the excavator 1 and loading and unloading.
  • each dump truck 2 performs optimal scheduling for transferring excavated material from the excavator 1 and loading and unloading.
  • the management center D determines which dump truck 2 is to be waited.
  • a GPS antenna 35 and a GPS receiver 36 are also mounted on the dump truck 2.
  • the position of the dump truck 2 can be recognized by receiving a GPS signal from the GPS satellite 36.
  • the GPS receiver 22 of the excavator 1 is for detecting the position and direction
  • the GPS satellite 36 of the dump truck 2 does not need to detect the direction. Therefore, the direction detection function is unnecessary, and there is only one GPS antenna. That is, the GPS receiver 35 of the dump truck 2 can have a lower performance than the GPS receiver 22 of the excavator 1.
  • the acquired position of the dump truck 2 is communicated to the management center D by wireless communication.
  • the management center D basically issues a command to the dump truck 2 to stand by as the next dump truck 2 by wireless communication with respect to the dump truck 2 closest to the excavator 1.
  • the operator of the dump truck 2 stands by at a standby position close to the excavator 1, and after completion of the current transfer of the dump truck 2, positioning is performed using the guideline G as an index.
  • useless waiting time can be reduced and work efficiency can be improved.
  • the camera image is wirelessly communicated from the excavator 1 to the dump truck 2 by transmitting a request from the dump truck 2 to the excavator 1.
  • a system sharing a radio of the same frequency such as a wireless LAN (Local Area Network)
  • a wireless LAN Local Area Network
  • the operator of the dump truck 2 needs to perform a display switching request operation. Therefore, when the dump truck 2 enters the range where the wireless communication including the stop target position can be performed from the hydraulic excavator 1, the camera image is automatically wirelessly communicated between the dump truck 2 and the hydraulic excavator 1. You may do it. As described above, this improves work efficiency by shortening the time for positioning, and does not send wireless communication such as superimposed images to other hydraulic excavators 1 and dump trucks 2. Not only can the overall work efficiency be improved, but the operator of the dump truck 2 does not need to perform any special operation, and a superimposed image including the guideline G is automatically displayed on the second display 34.
  • the dump truck 2 since the operation of the dump truck 2 is managed by the management center D, the dump truck 2 does not approach the hydraulic excavator 1 meaninglessly. Accordingly, the camera image is automatically displayed on the second display 34 only on the dump truck 2 that needs to display the camera image. Even when a request request is transmitted from the management center D to the excavator 1, the operator of the dump truck 2 does not need any special operation, and the superimposed image is automatically displayed on the second display 34.
  • the management center D performs remote control of the dump truck. Therefore, the camera image of the excavator 1 is transmitted to the management center D directly or via the dump truck 2, You may display on the 2nd display with which the management center D was equipped.
  • Modifications 2 to 5 not only the camera image is wirelessly communicated as a moving image, but also a still image may be wirelessly communicated as in Modification 1 when it is necessary to consider an increase in communication amount.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　運搬機械を積込機械に対して最適な位置および方向となるように相対位置決めを行う際に短時間で位置決めを行うように支援することを目的とする。　本発明の運搬機械の位置調整システムは、油圧ショベル１に設けられ、この油圧ショベル１に設けられたカメラ１４がダンプトラック２の停止目標位置を含むカメラ映像を取得し、このカメラ映像にガイドラインＧを重畳する映像処理部２３と、油圧ショベル１からダンプトラック２に映像処理部２３が処理したカメラ映像を無線通信する無線通信部と、ダンプトラック２に設けられ、無線通信部より通信されたガイドラインを含むカメラ映像からなる重畳映像を表示する第２ディスプレイ３４と、を備えている。

Description

運搬機械の位置調整システム
　本発明は、積込機械と運搬機械との間の相対位置決めを最適な位置および方向となるようにガイドする支援を行う運搬機械の位置調整システムに関するものである。
　例えば、鉱山で鉱石等を採掘する際には、土砂等の掘削手段を有する積込機械としての掘削機械と、この掘削機械の掘削物を搬送するダンプトラック等の運搬機械とが掘削現場で稼働させる。採掘した鉱石は運搬機械としてのダンプトラックに積み込んで採掘現場から搬出される。鉱山においては、掘削機械はバケット容量が３ｍ３～４０ｍ３、またはそれ以上といった大型の油圧ショベルが用いられる。また、ダンプトラックは大型のものが用いられるが、バケットからの掘削物を１回乃至複数回程度投入した状態でベッセルが満杯になる。従って、１台の油圧ショベルに対して複数台のダンプトラックを待機させておき、ダンプトラックを油圧ショベル側に順次送り込むようにする。
　このため、鉱山においては、多数のダンプトラックが走行をしており、管理センタでその運行管理がされている。この種の技術が特許文献１に開示されている。特許文献１の技術では、監視局が掘削機械にダンプトラックの走行ルートを無線通信し、掘削機械からダンプトラックに対して走行すべきコースをガイドしている。また、掘削機械が移動したときには、走行コースの変更をブロードキャストしている。
特開２０００－３３９０２８号公報
　ところで、油圧ショベルからダンプトラックに鉱石等の掘削物を積み込む際には、油圧ショベルとダンプトラックとが相対的に適正な位置関係となるように配置しなければ、積込作業に時間の無駄が生じる結果、作業効率が低下する。また、ベッセルを満杯にしたダンプトラックが積込位置から退出した後に、入れ替わりに新たなダンプトラックが進入する。このダンプトラックを入れ替えている間は油圧ショベルによる採掘作業は停止することになる。
　また、新たなダンプトラックが適正な位置まで進行する際に、適正な位置に配置されるまでに、度々切り返し等が行われる。このために、ダンプトラックが適正な位置に配置されるまでに多大な時間を要すると、やはり作業効率が低下する。従って、特許文献１の技術のように、単にダンプトラックのコースの案内をしているだけでは、ダンプトラックを適正な位置に配置するまでに多くの時間を要することになり、作業効率が低下する。
　そこで、本発明は、運搬機械を積込機械に対して最適な位置および方向となるように相対位置決めを行う際に短時間で位置決めを行うようにガイドすることを目的とする。
　以上の課題を解決するため、本発明は、積込機械に設けられ、この積込機械に設けられたカメラが運搬機械の停止目標位置を含むカメラ映像を取得し、このカメラ映像に前記停止目標位置の情報を重ね合わせて表示する重畳映像を作成する映像処理部と、前記積込機械から前記運搬機械に前記映像処理部が処理した前記重畳映像を無線通信する無線通信部と、前記運搬機械に設けられ、前記無線通信部より通信された前記重畳映像を表示する表示装置と、を備えている。
　また、前記無線通信部は、前記積込機械による積込みのために前記停止目標位置に進入する前記運搬機械に、前記重畳画像を無線通信することができる。
　さらに、前記積込機械は、少なくとも前記停止目標位置の情報を含み、前記積込機械の周辺を撮影するように、斜め下方を光軸とした複数のカメラと、各カメラが撮影したカメラ映像に対してそれぞれ上方視点となるように視点変換した個別俯瞰画像を生成する視点変換部と、前記個別俯瞰画像を合成して合成俯瞰画像を生成する画像合成部と、前記合成俯瞰画像に前記停止目標位置の情報を重畳する重畳処理部と、を備え、前記停止目標位置の情報が重畳された目標位置重畳合成俯瞰画像を前記重畳映像として前記積込機械から前記運搬機械に無線通信することができる。
　さらにまた、前記積込機械は走行体上に旋回体を装着したものからなり、この旋回体の旋回操作が行なわれる直前の前記重畳映像を静止画として取得し、この静止画を前記重畳映像として前記積込機械から前記運搬機械に無線通信することができる。
　しかも、複数の運搬機械が稼働している現場では、前記重畳映像は、全ての運搬機械に送信することができ、また運搬機械の要求に基づいて、この要求のあった運搬機械にのみ前記積込機械から前記重畳映像の無線通信を行うようにしてもよい。
　本発明は、カメラ映像に停止目標位置の情報を重畳して、運搬機械の表示装置に表示することで、停止目標位置近傍の状況を明瞭に認識することができ、積込機械と運搬機械との間の相対位置決めを短時間で最適に行うことができる。
鉱山における鉱石の採掘を行う現場を示す説明図である。 油圧ショベルとダンプトラックとの配置の一例を示す図である。 油圧ショベルおよびダンプトラックのブロック図である。 ダンプトラックの移動要求を出すまでの油圧ショベルの処理を示すフローチャートである。 油圧ショベルおよびダンプトラックの処理の手順を示すフローチャートである。 ディスプレイに表示される画面の一例を示す図で、図６（ａ）はカメラ映像の視野範囲にダンプトラックの後端部分が入った状態を示し、図６（ｂ）はガイドラインにダンプトラックの半分程度が入った状態を示した図ある。 旋回時におけるディスプレイに表示される画面の一例を示す図で、図７（ａ）は旋回直前の状態、図７（ｂ）は、旋回後、ガイドラインの位置がディスプレイ上で変化（回転）している状態、図７（ｃ）は、図７（ｂ）の状態からさらに旋回し、ガイドラインの位置が視野限界を超過した状態、図７（ｄ）は、図７（ｃ）の状態からさらに旋回し、ガイドラインは視野範囲の限界を完全に越えた状態、を各々示した図である。 変形例２における油圧ショベルとダンプトラックとの配置の一例を示す図である。 変形例３における映像処理部のブロック図である。 視点変換処理の原理を説明した図である。 ディスプレイに表示される俯瞰画像の一例を示した図である。 変形例４において、ダンプトラックにＧＰＳ受信機を設置した場合の一例を示す図である。
　以下、図面を参照して、本発明の実施形態について説明する。以下において、積込機械としては油圧ショベルを適用し、運搬機械としてはダンプトラックを適用している。ただし、これらには限定されない。積込機械として油圧ショベル以外を使用してもよいし、運搬機械としてダンプトラック以外を使用してもよい。また、鉱山を作業現場として、作業現場から鉱石の採掘を行う例について説明するが、本実施形態は鉱山の採掘に限定されるものではない。
　図１は鉱山の作業現場の一例を示している。図中のＡは鉱石の掘削領域であり、Ｂは土砂の排出領域、Ｃは採掘した鉱石を処理や加工を行うために、クラッシャ等を配置した鉱石処理場である。Ｄは鉱山での各種の機械等の稼動を集中管理する管理センタである。掘削領域Ａには、それぞれ場所を違えて複数の油圧ショベル１が配置されており、油圧ショベル１で掘削領域Ａの掘削が行われる。ダンプトラック２も複数稼働し、１台の作業の流れは、掘削領域Ａで油圧ショベル１による掘削物を排出領域Ｂまたは鉱石処理場Ｃにまで搬送して、それらの所定箇所で掘削物を積み降ろし、油圧ショベル１から積み込みを受ける位置に戻る。この動作は繰り返し行われる。
　掘削領域Ａでの掘削の初期の段階では、油圧ショベル１で表土を掘削するので、ダンプトラック２には鉱石を含まない土砂が積載される。このため、積載した土砂は排出領域Ｂで積み降ろす。また、鉱石が採掘され始めると、ダンプトラック２は掘削された鉱石の処理装置を設置した鉱石処理場Ｃに移動して、掘削した鉱石を積み降ろす。そして、鉱石処理場Ｃでは例えばクラッシャ等を用いて鉱石を破砕する等の処理が行われる。
　大規模な鉱山では、管理センタＤにより、各ダンプトラック２の位置情報が無線ネットワークで収集される。そして、管理センタＤは各ダンプトラック２のそれぞれについて走行先を指示するようになし、もって鉱山の生産効率の向上を図っている。
　図２は、油圧ショベル１とダンプトラック２との間で掘削物の受け渡しを行っている状態を模式的に示している。図２において、油圧ショベル１はクローラ式（ホイール式でもよい）の走行体１０を有し、走行体１０の上部に旋回体１１を設けている。旋回体１１にはフロント機構１２が装着されており、フロント機構１２の先端側にはバケット１３が設けられている。油圧ショベル１は走行体１０を備えているため、走行は可能であるが、頻繁に走行することはなく、基本的に静止しているか、若しくは動きの範囲は制限的なものであり、フロント機構１２のリーチの範囲内でバケット１３による掘削が行われる。ここで、領域Ｗが油圧ショベル１を移動させることなく掘削を行うことができる領域である。この油圧ショベル１の動作は、バケット１３で掘削を行い、旋回体１１により旋回し、バケット１３により掘削された掘削物をダンプトラック２に投入することになる。
　油圧ショベル１の走行方向の前方（図２を上から見て左方）に対して、左方または右方にカメラが設けられる。ここでは、左方にカメラ１４が設けられるものとするが、右方にカメラを設けるものであってもよい。カメラ１４は旋回体１１に取り付けられており、カメラ１４の光軸が斜め下方を向くように配置されている。カメラ１４は後述する停止目標位置を視野に含めることができれば、任意の位置に取り付けてよい。カメラ１４は基本的に旋回体１１に取り付けられているが、可能であれば、走行体１０に取り付けてもよい。
　ダンプトラック２は運転室２０の後部位置にベッセル２１が設けられており、油圧ショベル１のバケット１３からの掘削物はベッセル２１に投入される。このために、ダンプトラック２はバケット１３による掘削物の投入位置の下部位置に位置させる。掘削物の積込作業中には、フロント機構１２を駆動して、旋回体１１を旋回させることになる。掘削物の投入位置はできるだけ一定であることが作業を行う上で都合が良く、頻繁に変化するようなことはない。油圧ショベル１の走行体１０を走行させると、ダンプトラック２の位置が変化するが、通常、ダンプトラック２は所定の位置に固定的に保持される。
　ダンプトラック２による掘削物の積み込みのために、ダンプトラック１は油圧ショベル１に近接した位置に進入する。このとき、通常は、ダンプトラック２の進入は後進しておこなわれる。ダンプトラック２の停止位置は、油圧ショベル１のバケット１３から掘削物を受け取る最適の位置とする。この位置が、ダンプトラック２が停止すべき目標位置、つまり積込目標位置である。この積込目標位置は、例えば、油圧ショベル１の走行体１０とほぼ平行な方向に向けて、最も近接した位置とし、油圧ショベル１の旋回によりバケット１３の掘削物を投入するのに都合の良い位置に荷台２１を配置する。ただし、旋回体１１の旋回時に干渉しないことを条件とする。ダンプトラック２が停止目標位置に向かう際には、後進するが、その方向は図２に矢印Ｔで示した方向である。
　積込作業が行われる作業現場は鉱山であるので、ダンプトラック２の停止目標位置を探る手掛かりとなる目標や目印等といったものは存在しない。しかも、一般的にダンプトラック２は後進することにより停止目標位置に向けて進行する。このために、正確に停止目標位置に配置するのは困難であり、車両を頻繁に切り返す等の操作が必要となる。これにより、停止目標位置にダンプトラック２を停止させて、油圧ショベル１とダンプトラック２とを停止目標位置となるようにダンプトラック２を正確に位置決めする操作に多大な時間を要する可能性がある。本発明の運搬機械の位置調整システムは、ダンプトラック２の停止目標位置に円滑且つ確実に移動させるためにガイドするシステムである。
　図３は、油圧ショベル１とダンプトラック２との相対位置を調整するためのシステム構成を示している。まず、油圧ショベル１について説明する。油圧ショベル１は、２つのＧＰＳアンテナ２１Ａ、２１ＢとＧＰＳ受信機２２と映像処理部２３と第１ディスプレイ２４と第１無線通信機２５と第１無線アンテナ２６と操作部２７とを備え、さらに前述したカメラ１４を備えている。図中には、全地球測位衛星システムを構成する複数のＧＰＳ衛星２８が含まれる。
　２つのＧＰＳアンテナ２１Ａ、２１Ｂは、ＧＰＳ衛星２８からＧＰＳ信号を受信して、油圧ショベル１の位置および方向を検出する。つまり、ＧＰＳアンテナ２１Ａ、２１Ｂには位置検出機能だけでなく、油圧ショベル１の方向を検出する方向検出機能も発揮する。ＧＰＳアンテナ２１Ａ、２１Ｂは旋回体１１に設けられているため、油圧ショベル１のうち旋回体１１の方向が検出される。ここでは、ＧＰＳアンテナ２１Ａ、２１Ｂにより方向検出を行っているが、他の手段を用いて油圧ショベル１の方向検出を行ってもよい。例えば、ジャイロセンサを用いて方向を検出してもよいし、ポテンショメータのような角度センサで旋回体１１の旋回角度を検出することで方向検出を行ってもよい。また、地磁気センサを用いて方向を検出してもよい。ただし、油圧ショベル１の位置検出についてはＧＰＳアンテナを用いる。
　ＧＰＳアンテナ２１Ａ、２１Ｂは、ＧＰＳ衛星２８からＧＰＳ信号を受信して、ＧＰＳ受信機２２にＧＰＳ信号を出力する。ＧＰＳ受信機２２は油圧ショベル１の旋回体１１の位置および方向を検出する。これらは、位置情報および方向情報として映像処理部２３に出力される。
　映像処理部２３はカメラ１４が撮影している映像をカメラ映像として入力される。映像処理部２３は、このカメラ映像に対して停止目標位置の情報を重畳する。ここでは、停止目標位置の情報を矩形の点線により囲まれたガイドラインＧとするが、矩形の点線以外の手法により停止目標位置の情報を重畳してもよい。例えば、停止目標位置を点滅させるようにしてもよい。ガイドラインＧは、積込作業を行うときのダンプトラック２の最適な位置を示している。
　油圧ショベル１からダンプトラック２に掘削物の積み込みを行うときに、ダンプトラック２を最適な位置、即ち停止目標位置に停止させる必要がある。カメラ１４は、旋回体１１の方向に基づいて停止目標位置が視野に入るように取り付けられている。カメラ１４の取り付け角度等は予め既知であるから、停止目標位置は認識できる。例えば、ＧＰＳの座標系において、油圧ショベル１の位置情報（車体座標値）にカメラ１４の視野範囲の座標は関連付けが行われている（キャリブレーション）。そして、油圧ショベル１の方向情報を取得していることから、カメラ映像の中で停止目標位置の座標値（鉱山座標値）を認識することができる。この座標値に基づいてガイドラインＧが重畳しており、カメラ映像と停止目標位置情報とを重畳させた映像が重畳映像である。なお、停止目標位置の座標値は、油圧ショベル１の種類（車格）、さらにフロント機構１２の寸法などの車体情報と、ダンプトラック２の種類（車格）とを基に算出される。油圧ショベル１の車体情報は図示しない記憶装置に予め設定され、その設定された値を用いる。またダンプトラック２の種類の把握については後述する。
　図３にも示すように、映像処理部２３はカメラ１４のカメラ映像に対してガイドラインＧを重畳する画像処理を行い、ガイドラインＧが重畳されたカメラ映像を第１ディスプレイ２４に出力する。この第１ディスプレイ２４に重畳映像が表示される。映像処理部２３はガイドラインＧが重畳されたカメラ映像である重畳映像を第１無線通信機２５に出力する。第１無線通信機２５は第１無線アンテナ２６を用いて、重畳映像をダンプトラック２に無線通信する。
　操作部２７は油圧ショベル１に設けられており、任意に操作をすることができる。操作部２７を操作することにより、第１ディスプレイ２４にカメラ映像を表示させることができる。また、ガイドラインＧの位置を調整する場合には、操作部２７を用いる。これにより、ガイドラインＧの位置を調整することができ、第１ディスプレイ２４に表示されるガイドラインＧの位置を変化させることができる。
　次に、ダンプトラック２について説明する。ダンプトラック２は、第２無線アンテナ３１と第２無線通信機３２とコントロールユニット３３と第２ディスプレイ３４と入力装置３５とを備えている。第２無線アンテナ３１は第１無線アンテナ２６と無線通信を行う。これにより、第１無線通信機２５が通信した重畳映像は、第２無線アンテナ３１から第２無線通信機３２に入力される。第２無線通信機３２は受信した重畳映像をコントロールユニット３３に出力する。コントロールユニット３３は第２ディスプレイ３４に重畳映像を出力する。
　従って、これら、第１無線通信機２５と第１無線アンテナ２６と第２無線アンテナ３１と第２無線通信機３２とにより無線通信部が構成される。無線通信は双方向であり、油圧ショベル１からダンプトラック２およびダンプトラック２から油圧ショベル１に無線通信により情報の双方向通信が行われる。
　入力装置３５は油圧ショベル１に対して重畳映像に関する情報を要求する操作をするために用いられる。ダンプトラック２に搭乗しているオペレータは、入力装置３５を操作することで、無線通信部により油圧ショベル１から重畳映像情報を取得して、取得した重畳映像を第２ディスプレイ３４に表示する。ダンプトラック２は後方の死角となっている視野を補助するためのカメラを設けていることが多い。常時には、第２ディスプレイ３４にはダンプトラック２に設けたカメラの映像が表示されるが、入力装置３５を操作することにより、油圧ショベル１から通信される重畳映像に第２ディスプレイ３４の表示を切り替える。
　次に、油圧ショベル１とダンプトラック２との相対位置をガイドするシステムの動作について説明する。前述したように、油圧ショベル１は走行体１０により移動可能になっているが、基本的には所定の位置に静止して、掘削およびダンプトラック２への掘削物の積載といった作業を行う。この作業は複数回繰り返して行われる。従って、油圧ショベル１が静止している間は、停止目標位置が変化することはない。
　ダンプトラック２が停止目標位置で停止した状態で、油圧ショベル１は掘削物をダンプトラック２の荷台２１に積み込む。これを複数回繰り返すと、ダンプトラック２の荷台２１は満杯になる。よって、このダンプトラック２は停止目標位置から退去する。そして、待機している次のダンプトラック２を停止目標位置で停止させて、油圧ショベル１は掘削物をダンプトラック２の荷台２１に積み込む。そして、満杯になると、次のダンプトラック２と入れ替わる。これを順次繰り返して行う。従って、油圧ショベル１が同一の位置で、つまり移動せずに掘削できる領域は、図２に示した領域Ｗであり、この領域Ｗの範囲内で掘削をしている限りは、停止目標位置は同一位置となる。
　図４および図５を用いて、ダンプトラック２を停止目標位置に停止させる手順について説明する。まず、図４を用いて、カメラ映像にガイドラインを重畳する処理について説明する。油圧ショベル１は所定の掘削作業位置に配置され、またある掘削作業位置から他の掘削作業位置に移動して掘削作業が開始できる位置に配置される（ステップＳ１）。
　油圧ショベル１の配置が完了すると、基本的に油圧ショベル１はその位置から移動せず、その位置を維持する。そして、旋回体１１に設けたカメラ１４が撮影してカメラ映像を取得する（ステップＳ２）。ダンプトラック２が停止目標位置に進入するときには、旋回体１１に設けたカメラ１４は停止目標位置を視野に含む方向に向いている。従って、停止目標位置を含むカメラ映像が重畳映像として取得される。この重畳映像に関する情報は映像処理部２３に出力される。なお、ダンプトラック２が停止目標位置に進入するとは、次に積込み予定のダンプトラック２が、停止目標位置に停止するために油圧ショベル１近傍に表示される停止目標位置付近に向かって移動することを示す。
　次に、油圧ショベル１に設けたＧＰＳアンテナ２１Ａ、２１ＢはＧＰＳ衛星２８からＧＰＳ信号を受信する。このＧＰＳ信号がＧＰＳ受信機２２に出力される。ＧＰＳアンテナ２１Ａおよび２１Ｂの２つを設けているため、油圧ショベル１の旋回体１１の位置情報だけでなく、方向情報も取得される（ステップＳ３）。これら位置情報および方向情報は映像処理部２３に出力される。位置情報および方向情報を認識することにより、ＧＰＳの座標系における油圧ショベル１の座標を認識できる。また、カメラ１４の取り付け角度等は既知であることから、停止目標位置の座標も認識することができる。これにより、停止目標位置の情報を設定することができる（ステップＳ４）。映像処理部２３は停止目標位置の情報をガイドラインＧとして認識する。そして、映像処理部２３はカメラ１４から取得したカメラ映像にガイドラインＧを重畳する画像処理が行なわれる（ステップＳ５）。
　ところで、カメラ１４は光軸を斜め下方に向けて設置している。これを上方からの仮想的な視点に変換する。つまり、カメラ１４の光軸を斜め下方に向けることにより、光軸方向が垂直方向となるような位置に配置した仮想的なカメラから映像となるように設定されている。これにより、カメラ映像は仮想的な視点位置から地面を見下ろした画像に変換される。これは、上方からの視点に変換した俯瞰画像となる。この俯瞰画像の詳細については後述する。
　従って、カメラ映像に重畳するガイドラインＧも俯瞰画像に対応して座標変換した範囲となる。これにより、ガイドラインＧを重畳したカメラ映像、即ち重畳映像を得ることができる。そして、油圧ショベル１はダンプトラック２に対して停止目標位置への移動要求を送信する（ステップＳ６）。鉱山の作業現場では多数のダンプトラック２が運用されており、その運用管理は管理センタＤが行っている。したがって、管理センタＤが移動要求を受信したときに、各ダンプトラック２のうち１台のダンプトラック２が停止目標位置に向けて移動する。多くの場合、管理センタＤが油圧ショベル１に最も近いダンプトラック２に向けて移動を行う指示を出す。
　次に、図５を参照して、ダンプトラック２の位置調整について説明する。まず、図４に示した処理により、油圧ショベル１の映像処理部２３は、ガイドラインＧを重畳したカメラ映像である重畳映像を生成する（ステップＳ１１）。油圧ショベル１からの移動要求に基づいて１台のダンプトラック２が油圧ショベル１に向けて移動する、すなわち停止目標位置に進入する。ダンプトラック２のオペレータは、停止目標位置にダンプトラック２を停止させるように操作を行う。
　このときに、ダンプトラック２のオペレータは入力装置３５を用いて、表示切替を要求する操作を行う（ステップＳ１２）。この要求は、コントロールユニット３３からリクエストとして、第２無線通信機３２により第２無線アンテナ３１から油圧ショベル１に向けて無線通信される（ステップＳ１３）。油圧ショベル１とダンプトラック２とは近距離に位置しているため、第２無線アンテナ３１から無線通信されたリクエストは第１無線アンテナ２６で受信される（ステップＳ１４）。また、油圧ショベル１、ダンプトラック２からの各無線信号に油圧ショベル１、ダンプトラック２を識別する識別コードを加えて通信することで、油圧ショベル１はリクエストしたダンプトラック２を識別でき、リクエストしたダンプトラック２にのみ重畳映像を送付できる。この結果、他の複数の油圧ショベル１やダンプトラック２に重畳映像等の無線通信を送付することがないため、作業現場全体の作業効率を向上することができる。なお、後述の変形例１乃至５においても同様である。
　そして、第１無線アンテナ２６によりリクエストが取得されると、映像処理部２３に対して重畳映像を取得する制御が行われる。カメラ映像はガイドラインＧを重ね合わせる画像処理を行って重畳映像になる。従って、重畳映像にはガイドラインＧが含まれている。第１無線通信機２５は第１無線アンテナ２６から重畳映像を無線通信する（ステップＳ１５）。これと共に、またはこれに前後して第１ディスプレイ２４に重畳映像が表示される（ステップＳ１６）。
　第１無線アンテナ２６から無線通信された重畳映像は、ダンプトラック２の第２無線アンテナ３１で受信されて、第２無線通信機３２に入力される（ステップＳ１７）。そして、第２無線通信機３２からコントロールユニット３３に重畳映像が入力されると、コントロールユニット３３は第２ディスプレイ３４にこの重畳映像を出力する。これにより、第２ディスプレイ３４に重畳映像が表示される（ステップＳ１８）。
　この重畳映像は油圧ショベル１の映像処理部２３が画像処理を行った映像と同一であり、油圧ショベル１の第１ディスプレイ２４に表示される映像と同一である。すなわち、ガイドラインＧが含まれている重畳映像である。油圧ショベル１の旋回体１１に設けたカメラ１４は所定の撮像周期で視野範囲の映像を取得する。この撮像周期ごとにガイドラインＧを含むカメラ映像を無線通信することで、第２ディスプレイ３４に重畳映像を動画として表示することができる。
　従って、重畳映像がリアルタイムにダンプトラック２の第２ディスプレイ３４に表示される。ダンプトラック２のオペレータは第２ディスプレイ３４に表示されている重畳映像を視認することで、停止目標位置付近の状態を認識することができる。例えば、停止目標位置に作業員等の動的または静的な障害物が存在しているか否かを実際の重畳映像から認識することができる。
　そして、この映像にはガイドラインＧが重畳されている。ダンプトラック２のオペレータはカメラ映像に重畳されているガイドラインＧを指標として、ダンプトラック２を走行（後進）させて、ダンプトラック２が停止目標位置と一致するように操作を行う。このとき、ダンプトラック２がカメラ１４の視野範囲内に入ると、ダンプトラック２の第２ディスプレイ３４および油圧ショベル１の第１ディスプレイ２４にダンプトラック２が表示される。
　前述したように、カメラ１４の光軸は斜め下方を向いており、仮想的に上方に視点を置いた俯瞰画像がカメラ映像として生成されるため、ダンプトラック２の形状も歪んで見える。図６（ａ）はカメラ映像の視野範囲にダンプトラック２の後端部分が入った場合、同図（ｂ）はガイドラインＧにダンプトラック２の半分程度が入った場合を示している。このように、カメラ映像に映し出されるダンプトラック２とガイドラインＧとが一致するようにダンプトラック２の後進操作を行うことで、簡単にダンプトラック２をガイドラインＧと一致させることができる。
　従って、ダンプトラック２のオペレータは切り返しを複数回行うことなく、迅速且つ簡単にダンプトラック２を停止目標位置に停止させることができる。前述したように、停止目標位置は、油圧ショベル１が掘削した掘削物をダンプトラック２の荷台２１に積み込むための最適な位置である。従って、迅速にダンプトラック２を停止目標位置に停止させることが可能になるため、油圧ショベル１が掘削した掘削物を積載するまでに無駄な時間を要することがなくなる。これにより、ダンプトラック２を油圧ショベル１に対して最適な位置および方向となるように相対位置決めを行う際に短時間で行うことができ、作業効率を大幅に向上させることができる。また、停止目標位置に進入するダンプトラック２に対し、重畳映像を送るため、他の複数の油圧ショベル１やダンプトラック２に重畳映像等の無線通信を送付することがなく、作業現場全体の作業効率も向上できる。
　ここで、カメラ映像にはガイドラインＧが重畳されるが、ガイドラインＧの形状は第２ディスプレイ３４や第１ディスプレイ２４に表示されるダンプトラック２の形状と一致させることが望ましい。つまり、油圧ショベル１からダンプトラック２の荷台２１に掘削物を移載するための最適な位置にダンプトラック２を停止させることが望ましく、これが停止目標位置となる。従って、停止目標位置とダンプトラック２とは一致していることが望ましい。
　ダンプトラック２は１つの種類だけでなく、複数の種類がある。従って、種類ごとにダンプトラック２の形状が異なる。ダンプトラック２の形状が異なれば、掘削物を移載するための最適な位置も異なり、つまり停止目標位置も異なる。そこで、ダンプトラック２から油圧ショベル１に向けてダンプトラック２の種類の情報を無線通信することで、映像処理部２３はダンプトラック２の種類に応じたガイドラインＧを生成することができる。これにより、ダンプトラック２の種類に応じて、停止目標位置を示すガイドラインＧをカメラ映像に重畳させることができる。
　また、第１ディスプレイ２４および第２ディスプレイ３４に表示されるガイドラインＧは矩形の点線の領域として示されている。カメラ１４の視点を仮想的に上方視点としたときには停止目標位置は矩形の点線の領域となる。視点変換する前のカメラ１４が直接的に撮影する映像がカメラ映像となる場合には、停止目標位置は矩形の領域とはならず、ダンプトラック２の外形に応じた３次元的な範囲となる。このために、停止目標位置は非矩形でカメラ映像に重畳させるようにしてもよい。なお、俯瞰画像の場合においても遠方まで移動する場合は、限られたディスプレイの表示領域に表示するため、遠方位置のみ通常と異なる処理を行う。この場合も遠方位置は非矩形で重畳させる。
　また、油圧ショベル１からダンプトラック２にカメラ映像が動画として無線通信されるが、これを静止画としてもよい。動画を無線通信すると通信量が大きくなり、通信に遅れを生じることがある。また、データ量も多くなるため、映像処理部２３による画像処理の処理速度が追いつかないことがある。そこで、静止画をカメラ映像とすることで、データ量を小さくすることができる。これにより、通信に遅れを生じ、または映像処理部２３による画像処理の処理速度が対応できなくなる状況を回避することができる。ただし、静止画の場合は、画像を適宜更新して、最新の静止画を通信することが望ましい。
　次に、変形例１について説明する。油圧ショベル１は旋回体１１を有しており、旋回体１１にカメラ１４が取り付けられている。旋回体１１は走行体１０に対して旋回可能になっているため、これに応じてカメラ１４の視野も旋回する。図７ａ）～ｄ）は旋回体１１の旋回によりカメラ１４の視野が旋回している状態を示している。なお、図中のＶは視野範囲の限界を示している（つまり、Ｖより油圧ショベル１側の映像は表示されない）。ガイドラインＧは停止目標位置であり、油圧ショベル１の位置が変化しない限りは、停止目標位置が変化することはない。
　ただし、旋回体１１が旋回すると、カメラ１４も旋回を行うため、カメラ１４の視野から停止目標位置が外れていく。同図ａ）は旋回直前の状態であり、ガイドラインＧはカメラ映像に表示されている。そして、この状態から旋回体１１が旋回を開始する。これにより、同図ｂ）に示すように、ガイドラインＧは第２ディスプレイ３４に表示されているものの、その位置が変化（回転）している。さらに旋回すると、同図ｃ）に示すように、ガイドラインＧは視野範囲の限界Ｖを超過して、殆どが消失する。この状態からさらに旋回を行うと、同図ｄ）に示すように、ガイドラインＧは視野範囲の限界Ｖを完全に越えて、表示されなくなる。
　同図ｂ）、ｃ）、ｄ）の状態のカメラ映像をダンプトラック２に無線通信して、第２ディスプレイ３４に表示させると、ダンプトラック２のオペレータは停止目標位置を示すガイドラインＧを正常に認識できなくなる。従って、ガイドラインＧを指標としてダンプトラック２を停止目標位置に停止させることはできない。
　油圧ショベル１には各種の操作手段が設けられており、旋回体１１を旋回させる操作を行う旋回操作部が設けられている。そこで、旋回操作部が操作されたことを検出したとき、つまり旋回体１１の旋回が検出されたときには、映像処理部２３ではカメラ１４が撮影しているカメラ映像を静止画として保存する。つまり、図７ａ）に示すような旋回直前の停止目標位置付近のカメラ映像が静止画として保存される。
　そして、ダンプトラック２が停止目標位置に進入し、ダンプトラック２から重畳映像を通信するようにリクエストがあったときには、油圧ショベル１は映像処理部２３が保存した静止画をダンプトラック２に無線通信する。これにより、ダンプトラック２の第２ディスプレイ３４には静止画のカメラ映像が表示される。この静止画は、旋回直前の停止目標位置付近の映像であり、第２ディスプレイ３４にはダンプトラック２は表示されない。
　ただし、ダンプトラック２の第２ディスプレイ３４には、旋回直前の停止目標位置付近の静止画が表示される。従って、ダンプトラック２のオペレータは停止目標位置付近の状況を第２ディスプレイ３４から認識することができる。そして、この静止画には風景と共にガイドラインＧが重畳されている。ダンプトラック２の運転室の前方の視界は良好であり、ダンプトラック２のオペレータは肉眼で視認する運転室の前方の視界と静止画とを見比べる。そして、静止画にはガイドラインＧが重畳されているため、前方の視界と静止画の風景とガイドラインＧとを指標にして、ダンプトラック２の位置決めをすることが可能になる。
　この場合、静止画を重畳映像として無線通信するため、前述した場合と同様に、データ量の削減を図ることができる。作業中では、通常、油圧ショベル１の走行は停止していることから、動きは旋回体１１の旋回動作である。ただし、旋回動作中でも停止目標位置は変化することはない。動画は静止画を連続させたものであり、油圧ショベル１からダンプトラック２に動画を通信する場合において、時間的に連続した静止画の差分を抽出する画像処理を行うことで、通信量の削減を図ることもできる。ただし、油圧ショベル１の旋回体１１の旋回動作は大きいことから、時間的に連続する静止画の差分は大きくなる。これにより、油圧ショベル１からダンプトラック２に通信される通信量は非常に大きくなり、通信に遅れを生じるようになる。また、映像処理部２３による画像処理のスピードも旋回動作に追いつかなくなる。
　変形例１では、旋回直前の１枚の静止画が油圧ショベル１からダンプトラック２に無線通信されるため、通信に遅れを生じることや画像処理のスピードが追いつかない等といった事態を生じることがない。これは、無線通信される通信量（データ量）が少ないためである。
　従って、変形例１では、油圧ショベル１の旋回体１１が旋回を行ったとしても、旋回直前の停止目標位置付近の静止画を無線通信することで、迅速にダンプトラックを停止目標位置に位置決めすることができる。なお、油圧ショベル１の旋回操作手段による旋回が停止したことを検出したときに、静止画から動画に切り替えるようにしてもよい。旋回の開始や停止を検出する手段は、操作手段だけでなく、他の手段で検出してもよい。例えば、ジャイロセンサで旋回を検出してもよいし、映像処理部２３の画像処理により旋回を検出するようにしてもよい。
　また、変形例１では、旋回体１１の旋回をトリガーとして静止画を保存するようにしているが、これに限定されず、カメラ１４の視野に停止目標位置が含まれているときに、撮影したカメラ映像を静止画として保存してもよい。ただし、旋回時には、旋回直前のカメラ映像が最新の映像になるため、旋回直前のカメラ映像を静止画として無線通信することが望ましい。
　次に、図８を参照して、変形例２について説明する。変形例２は、油圧ショベル１の両サイドにそれぞれ１台ずつ合計２台のダンプトラック２Ａ、２Ｂが停止目標位置に進入する場合について説明する。この変形例２においては、カメラ１４は旋回体１１の四方を撮影するように設けられている。つまり、油圧ショベル１の前方を視野とする前方カメラ１４Ｆ、後方を視野とする後方カメラ１４Ｂ、左方を視野とする左方カメラ１４Ｌ、右方を視野とする右方カメラ１４Ｒの合計４台のカメラ１４が設けられている。なお、ここでは、４台のカメラ１４を設けるようにしているが、少なくとも前方カメラ１４Ｆ、後方カメラ１４Ｂが設けられていればよい。つまり、相互に反対方向を視野とするカメラが２台配置されている。
　変形例２では、油圧ショベル１がダンプトラック２Ａ、２Ｂに対して交互に掘削物の積載を行う。ダンプトラック２Ａ、２Ｂはそれぞれ停止目標位置に進入する。このとき、図８から明らかなように、前方カメラ１４Ｆはダンプトラック２Ａおよびその停止目標位置を視野範囲に含ませる。同様に、後方カメラ１４Ｂはダンプトラック２Ｂおよびその停止目標位置を視野範囲に含んでいる。
　ダンプトラック２Ａ、２Ｂはそれぞれ図３で示した構成を有している。よって、油圧ショベル１は前方カメラ１４Ｆおよび後方カメラ１４Ｂのカメラ映像にガイドラインＧを重畳して、停止目標位置に進入するダンプトラック２Ａ、２Ｂそれぞれに対して無線通信を行う。これにより、ダンプトラック２Ａの第２ディスプレイ３４にはガイドラインＧが重畳された前方カメラ１４Ｆの重畳映像が表示される。また、ダンプトラック２Ｂの第２ディスプレイ３４にはガイドラインＧが重畳された後方カメラ１４Ｂの重畳映像が表示される。
　ダンプトラック２Ａ、２Ｂのそれぞれのオペレータは重畳映像のガイドラインＧを指標にしてダンプトラック２Ａ、２Ｂを停止目標位置に停止させる。ダンプトラック２Ａ、２Ｂが停止目標位置に停止された後には、油圧ショベル１はバケット１３の掘削物をダンプトラック２Ａ、２Ｂの荷台２１に交互に移載する。従って、停止目標位置に進入する２台のダンプトラック２Ａ、２Ｂの停止目標位置への位置決めを並行して行うことができる。これにより、位置決めを行うための時間を短縮することができ、作業効率の向上を図ることができる。また、他の複数の油圧ショベル１やダンプトラック２に重畳映像等の無線通信を送付することがないため、作業現場全体の作業効率を向上できる。
　次に、変形例３について説明する。変形例３は変形例２と同様、停止目標位置に進入するダンプトラック２Ａ、２Ｂが油圧ショベル１の両サイドにそれぞれ１台ずつ停止する場合を例示している。変形例３のカメラ画像は、油圧ショベル１の周囲を上方視点から見下ろした俯瞰画像とする。図９は、変形例３における映像処理部２３を示している。映像処理部２３は画像補正部４１と視点変換部４２と画像合成部４３と重畳処理部４４とカメラ映像出力部４５とを備えて構成している。
　画像補正部４１には、前方カメラ１４Ｆ、後方カメラ１４Ｂ、右方カメラ１４Ｒ、左方カメラ１４Ｌが撮影しているカメラ映像が入力される。そして、カメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の各種の画像補正を行う。これにより、入力した各画像の画質を向上させる。画像補正部４１が補正したカメラ映像は視点変換部４２に出力される。
　視点変換部４２は、画像補正部４１から入力した各カメラ映像に対して視点変換処理を行って、俯瞰画像（仮想視点画像）を生成する。前述したように、各カメラ１４は斜め下方を光軸方向としており、これを上方からの仮想的な視点に変換する。図１０に示すように、カメラ１４（前方カメラ１４Ｆ、後方カメラ１４Ｂ、右方カメラ１４Ｒ、左方カメラ１４Ｌ）の対物レンズの光軸Ｘは、地表Ｌに対して所定角度αを有しており、これにより、カメラ１４の光軸は斜め下方になっている。視点変換部４２では、光軸方向が垂直方向となるような仮想カメラ１４Ｖを高さＨに視点を仮想的に設定し、この仮想カメラ１４Ｖが地表Ｌを見下ろしたカメラ映像に座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像（俯瞰画像）となる。
　視点変換部４２は、前方、後方、左方、右方の各カメラ１４のカメラ映像を視点変換して、それぞれの俯瞰画像を生成する。これらを個別俯瞰画像とする。４つの個別俯瞰画像は画像合成部４３に出力される。画像合成部４３は、図１１に示すような合成俯瞰画像を生成する。同図に示す合成俯瞰画像は、油圧ショベル１をシンボル化（キャラクタ化）したシンボル画像５１の周囲に４つの個別俯瞰画像を配置している。シンボル画像は油圧ショベル１を再現した画像であり、その再現性を高くすると、油圧ショベル１の形状を正確に認識することができる。ただし、その再現性は忠実でなくてもよく、単なる図形等をシンボル画像としてもよい。
　画像合成部４３は、前方カメラ１４Ｆを視点変換した前方俯瞰画像５２Ｆ、後方カメラ１４Ｂを視点変換した後方俯瞰画像５２Ｂ、右方カメラ１４Ｒを視点変換した右方俯瞰画像５２Ｒ、左方カメラ１４Ｌを視点変換した左方俯瞰画像５２Ｌ、の４つをシンボル画像５１の周囲に配置する。これが合成俯瞰画像となる。
　画像合成部４３は合成俯瞰画像を生成する。また、停止目標位置を示すガイドラインＧをこの合成俯瞰画像に重畳する。これを重畳処理部４４が行う。ここでは、変形例２で説明したように、油圧ショベル１の両サイドに停止目標位置が存在しているものとし、ガイドラインＧ１、Ｇ２が存在している。勿論、停止目標位置は１つでもよく、１つのガイドラインＧのみが重畳されていてもよい。また、ダンプトラック２のオペレータに停止位置をより明確に把握させるためにガイドラインＧ１、Ｇ２を区別するよう、ガイドラインＧ１、Ｇ２を構成する線分を色分けしたり、一方が直線、他方を点線するなどの区別情報を加えて重畳してもよい。
　画像合成部４３が生成した合成俯瞰画像にガイドラインＧ１、Ｇ２が重畳された重畳俯瞰画像はカメラ映像出力部４５に出力される。カメラ映像出力部４５は重畳俯瞰画像を第１ディスプレイ２４に出力することで、第１ディスプレイ２４に図１１に示すような合成俯瞰画像が表示される。一方、重畳合成俯瞰画像は第１無線通信機２５にも出力される。よって、ダンプトラック２Ａ、２Ｂの第２無線通信機３２に入力されて、第２ディスプレイ３４に図１１に示すような重畳合成俯瞰画像が表示される。
　従って、ダンプトラック２Ａおよび２Ｂの第２ディスプレイ３４に同じ重畳合成俯瞰画像が重畳映像として表示される。したがって変形例２と同様の効果が得られる。ところで、変形例２では、ダンプトラック２Ａに無線通信するカメラ映像とダンプトラック２Ｂに無線通信するカメラ映像とは異なる映像になっている。つまり、ダンプトラック２Ａの停止目標位置は前方カメラ１４Ｆからのカメラ映像に含まれており、ダンプトラック２Ｂの停止目標位置は後方カメラ１４Ｂからのカメラ映像に含まれる。従って、油圧ショベル１から異なるカメラ映像がダンプトラック２Ａと２Ｂとに無線通信されることになる。
　一方、変形例３では、同じ重畳合成俯瞰画像がダンプトラック２Ａにも２Ｂにも無線通信される。従って、同一の重畳合成俯瞰画像が無線通信されるため、通信量の削減および無線通信処理の低減を図ることができる。また、重畳合成俯瞰画像を重畳映像として第２ディスプレイ３４に表示すると、停止目標位置近傍以外の広範囲の状況を認識することも可能になる。これにより、ダンプトラック２Ａ、２Ｂのオペレータは多くの情報を認識させることができる。
　そして、第２ディスプレイ３４に重畳合成俯瞰画像を表示することで、常にガイドラインＧが表示される。前述した実施形態では、図６に示したように、旋回体１１の旋回時にはガイドラインＧは第２ディスプレイ３４から消失する。この点、本変形例３では、重畳合成俯瞰画像を重畳映像として表示している。重畳合成俯瞰画像は油圧ショベル１の周囲の状況を示しているため、旋回体１１が旋回したとしても、ガイドラインＧはディスプレイから消失することはない。これにより、油圧ショベル１の旋回体１１の旋回にかかわらず、常にガイドラインＧを指標として、ダンプトラック２の位置決めを行うことができる。
　ところで、油圧ショベル１の第１ディスプレイ２４に表示される合成俯瞰画像とダンプトラック２の第２ディスプレイ３４に表示される合成俯瞰画像とでは、第２ディスプレイ３４の合成俯瞰画像の方を広範囲にすることが望ましい。油圧ショベル１の第１ディスプレイ２４よりもダンプトラック２の第２ディスプレイ３４のディスプレイサイズを大きくすることによっても実現することができ、またディスプレイサイズは同じでも、第１ディスプレイ２４よりも第２ディスプレイ３４の縮尺率を大きくすることによっても実現できる。ダンプトラック２の第２ディスプレイ３４に広範囲の合成俯瞰画像を表示することで、ダンプトラック２と停止目標位置との位置関係を認識しやすくなる。
　次に、変形例４について説明する。図１に示す管理センタＤで油圧ショベル１やダンプトラック２の集中管理を行っていることを既に述べたとおりである。鉱山の現場では、油圧ショベル１は鉱石を掘削して、ダンプトラック２に積み込むだけでなく、鉱石を含まない土砂も掘削し、積み込みを行う。規模が大きな鉱山現場では、複数の油圧ショベル１が稼動しており、その数倍の数のダンプトラック２が稼動している。管理センタＤでは、これら油圧ショベル１やダンプトラック２の集中管理を行っている。
　管理センタＤは各ダンプトラック２の行き先を管理しており、各ダンプトラック２が油圧ショベル１から掘削物を移載して、積み降ろしを行うための最適なスケジューリングを行っている。油圧ショベル１からダンプトラック２の掘削物の移載を完了すると、次のダンプトラック２を待機させる必要があるが、何れのダンプトラック２を待機させるかは管理センタＤが決定する。このために、図１２に示すように、ダンプトラック２にもＧＰＳアンテナ３５およびＧＰＳ受信機３６を搭載する。そして、ＧＰＳ衛星３６からＧＰＳ信号を受信することで、ダンプトラック２の位置を認識できる。
　ただし、油圧ショベル１のＧＰＳ受信機２２は位置および方向を検出するためのものであったが、ダンプトラック２のＧＰＳ衛星３６は方向を検出する必要はない。従って、方向検出機能は不要であり、ＧＰＳアンテナは１本になる。つまり、ダンプトラック２のＧＰＳ受信機３５は油圧ショベル１のＧＰＳ受信機２２よりも低い性能のものを用いることができる。そして、取得したダンプトラック２の位置は無線通信により管理センタＤに通信される。
　管理センタＤでは、基本的に、油圧ショベル１に最も近い位置にあるダンプトラック２に対して無線通信により、次のダンプトラック２として待機するように、当該ダンプトラック２に指令を出す。これにより、ダンプトラック２のオペレータは油圧ショベル１に近い待機位置で待機を行い、現在のダンプトラック２の移載完了後に、ガイドラインＧを指標として位置決めを行う。その結果、無駄な待機時間を低減させて、作業効率を向上させることができる。
　次に、変形例５について説明する。前述した実施形態では、図５に示したように、ダンプトラック２から油圧ショベル１にリクエストを送信することで、カメラ映像を油圧ショベル１からダンプトラック２に無線通信していた。これにより、リクエストがあったダンプトラック２にのみカメラ映像を無線通信すればよいため、無線通信の通信量の削減を図ることができる。多くの機械が運用される鉱山現場では、無線ＬＡＮ（Local Area Network）のように同じ周波数の無線を共用するシステムが導入される。このようなシステムでは、無線通信の通信量の削減を図ることで、通信負荷の低減を図ることができる。
　ただし、ダンプトラック２からリクエストを要求するためには、ダンプトラック２のオペレータが表示切替要求の操作を行う必要がある。そこで、油圧ショベル１から停止目標位置を含む無線通信を行うことができる範囲内にダンプトラック２が進入したときに、ダンプトラック２と油圧ショベル１との間でカメラ映像を自動的に無線通信するようにしてもよい。これにより、前述と同様、位置決めを行うための時間を短縮による作業効率の向上や、他の複数の油圧ショベル１やダンプトラック２に重畳映像等の無線通信を送付することがないことによる作業現場全体の作業効率の向上が図れるばかりでなく、ダンプトラック２のオペレータは格別の操作を行う必要がなく、自動的にガイドラインＧを含む重畳映像が第２ディスプレイ３４に表示される。
　なお、ダンプトラック２の運行は管理センタＤにより管理がされているため、油圧ショベル１に無意味にダンプトラック２が接近することはない。従って、カメラ映像を表示することが必要なダンプトラック２にのみ自動的にカメラ映像が第２ディスプレイ３４に表示されるようになる。また、リクエスト要求を管理センタＤから油圧ショベル１に送信した場合でも、ダンプトラック２のオペレータが格別の操作を必要とせず、自動的に重畳画像が第２ディスプレイ３４に表示される。
　さらに、管理センタＤは、ダンプトラック２を無人化した場合には、ダンプトラックの遠隔操作を行うため、油圧ショベル１のカメラ映像は直接あるいはダンプトラック２を中継して管理センタＤに送信され、管理センタＤに備えた第２ディスプレイに表示しても良い。
　なお、変形例２から５では、カメラ映像が動画として無線通信するばかりでなく、通信量の増大を考慮する必要がある場合は、変形例１のように静止画を無線通信してもよい。
１　　油圧ショベル
２　　ダンプトラック
１０　　走行体
１１　　旋回体
１４　　カメラ
２２　　ＧＰＳ受信機
２３　　映像処理部
２４　　第１ディスプレイ
２４　　映像処理部
２５　　第１無線通信機
２６　　第１無線アンテナ
３１　　第２無線アンテナ
３２　　無線通信機
３３　　コントロールユニット
３４　　第２ディスプレイ
３５　　入力装置
３６　　ＧＰＳ受信機
４１　　画像補正部
４２　　視点変換部
４３　　画像合成部
４４　　重畳処理部
４５　　カメラ映像出力部

Claims (5)

  1. 　積込機械（１）に設けられ、この積込機械（１）に設けられたカメラ（１４）が運搬機械（２）の停止目標位置を含むカメラ映像を取得し、このカメラ映像に前記停止目標位置の情報を重ね合わせて表示する重畳映像を作成する映像処理部（２３）と、
    　前記積込機械（１）から前記運搬機械（２）に前記映像処理部（２３）が処理した前記重畳映像を無線通信する無線通信部（２５，３２）と、
    　前記運搬機械（２）に設けられ、前記無線通信部（２５，３２）より通信された前記重畳映像を表示する表示装置（２４，３４）と、
    　を備えた運搬機械の位置調整システム。
  2. 　前記無線通信部（２５，３２）は、前記停止目標位置に進入する前記運搬機械（２）に、前記重畳画像を無線通信する
    　請求項１記載の運搬機械の位置調整システム。
  3. 　前記積込機械（１）は、
    　少なくとも前記停止目標位置の情報を含み、前記積込機械（１）の周辺を撮影する斜め下方を光軸とした複数のカメラ（１４）と、
    　前記各カメラ（１４）が撮影したカメラ映像に対してそれぞれ上方視点となるように視点変換した個別俯瞰画像を生成する視点変換部（４２）と、
    　前記個別俯瞰画像を合成して合成俯瞰画像を生成する画像合成部（４３）と、
    　前記合成俯瞰画像に前記停止目標位置の情報を重畳する重畳処理部（４４）と、
    　を備え、
    　前記停止目標位置の情報が重畳された前記合成俯瞰画像を重畳映像として前記積込機械（１）から前記運搬機械（２）に無線通信する
    　請求項２記載の運搬機械の位置調整システム。
  4. 　前記積込機械（１）の旋回操作が行なわれる直前の前記重畳映像を静止画として取得し、前記無線通信部（２５，３２）はこの静止画を前記重畳映像として前記積込機械（１）から前記運搬機械（２）に無線通信する
    　請求項２記載の運搬機械の位置調整システム。
  5. 　複数の前記運搬機械（２）のうち前記カメラ映像の取得を要求した運搬機械（２）にのみ前記積込機械（１）から前記重畳映像の無線通信を行う
    　請求項２乃至４のうち何れか１項に記載の運搬機械の位置調整システム。
PCT/JP2014/052216 2013-01-31 2014-01-31 運搬機械の位置調整システム WO2014119711A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-016465 2013-01-31
JP2013016465 2013-01-31

Publications (1)

Publication Number Publication Date
WO2014119711A1 true WO2014119711A1 (ja) 2014-08-07

Family

ID=51262408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/052216 WO2014119711A1 (ja) 2013-01-31 2014-01-31 運搬機械の位置調整システム

Country Status (1)

Country Link
WO (1) WO2014119711A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289112B2 (en) 2016-12-16 2019-05-14 Caterpillar Inc. Method and system for positioning a truck for loading
US10480157B2 (en) 2016-09-07 2019-11-19 Caterpillar Inc. Control system for a machine
WO2020075458A1 (ja) * 2018-10-10 2020-04-16 株式会社小松製作所 運搬車両と運搬車両に素材を積み込む作業機械とを含むシステム、方法、及び作業機械
JP2021155937A (ja) * 2020-03-25 2021-10-07 住友建機株式会社 施工支援システム
WO2022107682A1 (ja) * 2020-11-17 2022-05-27 日立建機株式会社 ダンプトラックの制御システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012112108A (ja) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2012133410A1 (ja) * 2011-03-31 2012-10-04 日立建機株式会社 運搬機械の位置調整支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012112108A (ja) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2012133410A1 (ja) * 2011-03-31 2012-10-04 日立建機株式会社 運搬機械の位置調整支援システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10480157B2 (en) 2016-09-07 2019-11-19 Caterpillar Inc. Control system for a machine
US10289112B2 (en) 2016-12-16 2019-05-14 Caterpillar Inc. Method and system for positioning a truck for loading
WO2020075458A1 (ja) * 2018-10-10 2020-04-16 株式会社小松製作所 運搬車両と運搬車両に素材を積み込む作業機械とを含むシステム、方法、及び作業機械
US11914380B2 (en) 2018-10-10 2024-02-27 Komatsu Ltd. System including conveyance vehicle and work machine that loads materials onto conveyance vehicle, method and work machine
JP2021155937A (ja) * 2020-03-25 2021-10-07 住友建機株式会社 施工支援システム
WO2022107682A1 (ja) * 2020-11-17 2022-05-27 日立建機株式会社 ダンプトラックの制御システム
JP7346754B2 (ja) 2020-11-17 2023-09-19 日立建機株式会社 ダンプトラックの制御システム

Similar Documents

Publication Publication Date Title
JP6243926B2 (ja) 車両走行システム、搬送車の停車姿勢設定装置が実行する方法、及び搬送車の停車姿勢設定装置
WO2014119711A1 (ja) 運搬機械の位置調整システム
JP6794193B2 (ja) 作業機械の画像表示システム
WO2012133410A1 (ja) 運搬機械の位置調整支援システム
JP6173358B2 (ja) 旋回式作業機械の周囲監視装置
AU2018333191B2 (en) Display system, display method, and display apparatus
WO2015151359A1 (ja) 車両走行管制システム及び管制サーバ
JP6674177B2 (ja) 遠隔操縦用画像取得装置と方法および遠隔操縦装置
US11099018B2 (en) Route planner for work machines
JP4934535B2 (ja) 中継器ユニット
EP3831766B1 (en) Crane
US20230019162A1 (en) Crane, crane body, and non-transitory computer readable medium storing program
US20220219949A1 (en) Remote operation terminal and mobile crane provided with remote operation terminal
JP2022133929A (ja) 設置位置表示システムおよび作業車両
JP7167464B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
WO2020256101A1 (ja) 画像システムおよび画像システムを備える作業車両
JP6923144B2 (ja) 作業機械の画像表示システム
WO2021020292A1 (ja) 表示システム、遠隔操作システム、及び表示方法
US11981548B2 (en) Crane and path generation system
EP4317585A1 (en) Asphalt finisher and asphalt finisher construction assistance system
US20230266754A1 (en) Work area overlay on operator display
WO2022210612A1 (ja) アスファルトフィニッシャ、及びアスファルトフィニッシャの施工支援システム
US20150232125A1 (en) Parking assistance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14745767

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14745767

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP