WO2017022262A1 - 作業機械の周囲監視装置 - Google Patents

作業機械の周囲監視装置 Download PDF

Info

Publication number
WO2017022262A1
WO2017022262A1 PCT/JP2016/057145 JP2016057145W WO2017022262A1 WO 2017022262 A1 WO2017022262 A1 WO 2017022262A1 JP 2016057145 W JP2016057145 W JP 2016057145W WO 2017022262 A1 WO2017022262 A1 WO 2017022262A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
unit
stationary
moving body
image
Prior art date
Application number
PCT/JP2016/057145
Other languages
English (en)
French (fr)
Inventor
川股　幸博
守飛 太田
古渡　陽一
善文 福田
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Publication of WO2017022262A1 publication Critical patent/WO2017022262A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a surrounding monitoring device for a work machine.
  • Non-Patent Document 1 an image around a vehicle is acquired by a camera, a moving object in the image is detected, a marker indicating the presence of the moving object is displayed on the display unit, and a warning sound is generated. I am doing so.
  • marker display and warning sound are generated for the moving body, but they stop when the moving body stops. Therefore, since the marker display and the warning sound are stopped even though the stationary moving body is displayed on the display unit, the driver may be mistaken for the failure of the apparatus.
  • the surrounding monitoring device of the work machine generates an overhead image based on the acquisition unit that acquires imaging information from the imaging device that images the surroundings of the working machine, and the imaging information acquired by the acquisition unit.
  • An image generation unit a first detection unit for detecting a moving body around the work machine, a second detection unit for detecting that the moving body detected by the first detection unit is stationary, and a first detection unit.
  • Display image generation for generating a display image in which at least one of the first detection marker indicating the position of the moving object or the second detection marker indicating the position of the moving object detected by the second detection unit is superimposed on the overhead image
  • the display image generation unit superimposes and displays a first detection marker indicating the position of the moving body on the overhead image when the moving body is detected by the first detection unit, and the second detection unit moves the moving body.
  • the driver since the second detection marker is displayed when the moving body is stationary, the driver can be prevented from misunderstanding that the apparatus is faulty, and the obstacle recognition performance can be improved.
  • FIG. 1 is a diagram showing a mine dump truck equipped with a surrounding monitoring apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an overall configuration of a detection system that detects an obstacle around the work machine.
  • FIG. 3 is a flowchart illustrating an example of the obstacle detection process.
  • FIG. 4 is a flowchart illustrating an example of a stationary object detection process.
  • FIG. 5 is a diagram illustrating an example of a display image when a moving object enters the detection area.
  • FIG. 6 is a diagram illustrating a display image when the moving body is stationary.
  • FIG. 7 is a diagram illustrating an example of a display image when a stationary moving body is detected as a stationary object.
  • FIG. 1 is a diagram showing a mine dump truck equipped with a surrounding monitoring apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an overall configuration of a detection system that detects an obstacle around the work machine.
  • FIG. 3 is
  • FIG. 8 is a diagram illustrating an example of a display image when the stationary moving body starts moving again.
  • FIG. 9 is a diagram illustrating an example of a display image when the moving body that has started moving again escapes from the detection area.
  • FIG. 10 is a diagram illustrating an example of an overhead image display processing flow.
  • FIG. 11 is a diagram illustrating generation of a bird's-eye view image.
  • FIG. 12 is a diagram illustrating an example of another display form of the detection marker.
  • FIG. 13 is a diagram illustrating erroneous detection of a stationary object.
  • a mine dump used for work in a mine will be described as an example.
  • “left” refers to the left direction as viewed from the cab of the mine dump
  • “right” refers to the right direction as viewed from the cab of the mine dump.
  • FIG. 1 is a diagram showing a mine dump 200 equipped with a surrounding monitoring device according to an embodiment of the present invention.
  • a front camera 105 that captures the front of the mine dump 200 is provided in front of the cab 210 of the mine dump 200.
  • a left camera 120 that captures the left side of the mine dump 200 is provided above the front wheel 205.
  • 1 is a view of the mine dump 200 viewed from the left, and is not shown in FIG. 1, but a right camera 115 that captures the right side of the mine dump 200 is shown on the right side of the mine dump 200. (See FIG. 2 described later).
  • a rear camera 110 that captures the rear of the mine dump 200 is provided at the rear of the mine dump 200 and below the loading platform 215.
  • a surrounding monitoring device is provided in the cab of the mine dump 200.
  • the front camera 105, the rear camera 110, the right camera 115, and the left camera 120 each have a wide-angle lens such as a fisheye lens, and are installed with a predetermined depression angle to mainly photograph the ground surface. ing.
  • Video data output from the front camera 105, the rear camera 110, the right camera 115, and the left camera 120 is input to a surrounding monitoring device provided in the cab 210.
  • four cameras are used to capture the image around the mine dump 200.
  • the number is not limited to four, and the number of cameras is set as appropriate according to the work machine.
  • FIG. 2 is a block diagram showing the overall configuration of a detection system that detects obstacles around the work machine.
  • the detection system includes a front camera 105, a rear camera 110, a right camera 115 and a left camera 120, a surrounding monitoring device 100, and a display device 145.
  • the surrounding monitoring device 100 includes a video acquisition unit 125, a video buffer 130, a display image generation unit 135, an input / output interface 140, a control unit 150, an overhead image generation unit 155, a moving object detection unit 160, a stationary object detection unit 165, a stationary position.
  • a calculation unit 170, a stationary object movement detection unit 175, a stop time detection unit 180, and a stationary object detection release unit 185 are provided.
  • the display device 145 includes a display unit 1451 and an input unit 1452. As the display device 145, for example, a liquid crystal display device is used.
  • a composite signal such as NTSC of the original image is input to the video acquisition unit 125.
  • the video acquisition unit 125 performs A / D conversion on these composite signals and decodes them into RGB signals.
  • the video data processed by the video acquisition unit 125 is temporarily stored in the video buffer 130.
  • the overhead image generation unit 155 converts the camera image into an image viewed from above the mine dump, based on the video data temporarily stored in the video buffer 130, and generates an overhead image.
  • the moving body detection unit 160 detects a moving object from the video data using an optical flow or the like. This optical flow is a method of calculating a motion vector in a video using successive video frames. In the present embodiment, an object having a size or speed that seems to be an obstacle is extracted from the motion vectors in the video, and is detected as a moving obstacle.
  • the stationary object detection unit 165 detects a stationary object in the video data image by performing matching based on the image feature amount such as the shape, brightness, hue, edge number, and node number of the detection target.
  • the stationary position calculation unit 170 determines whether or not the moving body detected by the moving body detection unit 160 is stationary, and calculates a stationary position when the moving body is stationary and a predetermined region including the stationary position. Hereinafter, this predetermined area is referred to as a stationary object detection area.
  • the stationary position calculation unit 170 determines that the object is stationary.
  • the display image generation unit 135 generates a display image to be displayed on the display unit 1451 of the display device 145.
  • the display image is detected by the detection marker (moving body marker) displayed at the position of the moving object detected by the moving object detection unit 160 or the stationary position calculation unit 170 on the overhead image formed by the overhead image generation unit 155. It is the image which superimposed and displayed the detection marker (stationary object marker) displayed on the made stationary position. Of course, when no moving object or stationary object is detected, the detection marker is not displayed.
  • the stationary object movement detection unit 175 detects whether or not the stationary moving object detected by the stationary object detection unit 165 has moved again. Whether or not the moving object detected by the stationary object detection unit 165 is moving is determined by taking a difference between frames. When the stationary object movement detection unit 175 detects the re-movement of the stationary moving object, the stationary object detection unit 165 stops detecting the stationary object.
  • the stop time detection unit 180 determines whether or not the stationary state of the stationary object detected by the stationary object detection unit 165 continues for a certain time or more.
  • the stationary object detection canceling unit 185 performs a stationary object detection canceling process described later.
  • the display unit 1451 displays the display image generated by the display image generation unit 135.
  • the control unit 150 controls the entire surroundings monitoring apparatus 100.
  • step S300 an initial setting process for confirming activation states of the surrounding monitoring device 100, the front camera 105, the rear camera 110, the right camera 115, the left camera 120, and the like is performed.
  • step S305 the video acquisition unit 125 acquires video data from the front camera 105, the rear camera 110, the right camera 115, and the left camera 120. Then, the acquired video data is temporarily stored in the video buffer 130.
  • step S310 the moving body detection unit 160 detects a moving body. In the detection of the moving object, as described above, the moving object is detected using an optical flow or the like based on the video data temporarily stored in the video buffer 130.
  • step S315 the display image generation unit 135 generates a display image in which a detection marker indicating a moving body detection position is superimposed on the overhead image. That is, the detection marker is superimposed and displayed on the moving body image of the overhead view image. Note that the overhead image displayed on the display unit 1451 will be described later.
  • step S320 it is determined whether or not the mobile object detected in step S310 is stationary. This determination is performed in the stationary position calculation unit 170 in FIG. 2 as described above. If it is determined in step S320 that the moving body is stationary, the process proceeds to step S325. If it is not determined that the moving object is stationary, the process proceeds to step S330.
  • step S325 the stationary object detection process shown in FIG. 4 is started.
  • the process of FIG. 4 is performed in parallel with the process of FIG. Details of the stationary object detection process will be described later.
  • step S330 the control unit 150 determines whether there is an end request. If there is no termination request, the process proceeds from step S330 to step S305. If there is a termination request, the process proceeds to step S335, and the obstacle detection process in the surrounding monitoring device 100 is terminated.
  • the termination request for example, there is a termination command by an operator via the input unit 1452, a termination process when the engine of the mine dump 200 is stopped, or the like.
  • step S310 If no moving object is detected in step S310, the detection marker display process in step S315 is not performed, and it is determined in step S320 that the moving object is not stationary, and the process proceeds to step S330.
  • FIG. 5 shows an example of a display image 500 displayed on the display unit 1451 when a moving body such as a vehicle enters the detection area around the host vehicle.
  • a host vehicle icon 530 indicating the host vehicle (mine dump 200) is displayed.
  • An overhead image 501 is displayed around the host vehicle icon 530.
  • the region of the displayed overhead image 501 and the detection area are set to be the same.
  • the moving body has entered the detection area from the upper left direction, and a moving body image 505 showing the moving body that has entered the detection area is drawn in the overhead image 501.
  • An arrow 502 indicates the moving direction of the moving object on the overhead image.
  • a detection marker 515 is displayed at the detection position of the moving object. When the moving body image 505 moves in the display image 500, the detection marker 515 is also moved and displayed in the same manner.
  • FIG. 4 is a flowchart showing an example of the stationary object detection process started in step S325 described above.
  • step S500 the detection marker of the stationary moving object is deleted.
  • FIG. 6 shows a display image 500 when the moving object indicated by the moving object image 505 in FIG. 5 stops in the detection area.
  • the moving body image 505 is displayed near the upper part of the own vehicle icon (near the front of the own vehicle).
  • the detection marker 515 that has been displayed until just before it is stopped is deleted when the moving body is stopped.
  • the erased detection marker 515 is indicated by a dotted line, indicating that it is not actually displayed.
  • the stationary position calculation unit 170 calculates the stationary position where the moving body is stationary and a predetermined area including the stationary position as the stationary object detection area described above.
  • the predetermined area is an area corresponding to the area of the moving object image 505.
  • the predetermined area is set to be approximately the same (slightly larger) area of the moving body recognized by the moving body detection so as to be an area including the moving body.
  • the rectangular area indicated by the alternate long and short dash line is the stationary object detection area 517.
  • step S510 the video acquisition unit 125 acquires video data from the front camera 105, the rear camera 110, the right camera 115, and the left camera 120. Then, the acquired video data is temporarily stored in the video buffer 130.
  • step S515 the video in the stationary object detection area 517 calculated in step S505 is extracted from the video data temporarily stored in the video buffer 130. Then, matching is performed based on the image feature amount from the extracted video, and a stationary object in the stationary object detection area 517 is detected. Video extraction and stationary object detection are performed in the stationary object detection unit 165 of FIG.
  • the image feature amount is a feature on the image of the detection target such as the shape, brightness, hue, number of edges, and number of nodes of the detection target.
  • the vehicle is detected from the video using its properties.
  • step S520 the display image generation unit 135 superimposes and displays the detection marker on the stationary position calculated by the stationary position calculation unit 170.
  • a warning sound may be generated together with the display of the detection marker.
  • the moving object in a stationary state (corresponding to the moving object image 505 in FIG. 7) is detected as a stationary object in step S515, and a triangular detection marker 520 is displayed.
  • the display form of the detection marker displayed on a stationary position it may differ from the detection marker displayed on the detection position of a mobile body, and may be the same.
  • the color of the detection marker may be different so that it can be distinguished from the detection marker of the moving object.
  • step S525 the stationary object movement detection unit 175 determines whether or not the stationary object detected in step S515 has moved. If it is determined in step S525 that the stationary object has moved, the process proceeds to step S545. If it is not determined to move (non-moving), the process proceeds to step S530.
  • step S530 the display image generation unit 135 presents a cancellation input that prompts the operator to determine whether to cancel the stationary object detection result.
  • a cancel input display is displayed on the display unit 1451.
  • the cancellation of the stationary object detection result is to erase the detection marker displayed at the stationary position in the process of step S520.
  • step S535 the stationary object detection cancellation unit 185 proceeds to step S540 until a cancellation signal is received from the input unit 1452 by an input operation of the operator, and proceeds to step S545 when the cancellation signal is received.
  • step S540 the stop time detection unit 180 determines whether the stationary state of the stationary object detected in step S515 has reached a predetermined duration or longer. If it is determined in step S540 that the stationary state is longer than the predetermined duration, the process proceeds to step S545. On the other hand, if it is determined in step S540 that the stationary state is less than the predetermined duration, the process returns to step S510.
  • step S545 a process of canceling the stationary object detection by the stationary object detection canceling unit 185 is performed. That is, the stationary object detection canceling unit 185 outputs a command to delete the stationary position detection marker displayed in step S520 to the display image generating unit 135. Upon receiving the command from the stationary object detection cancellation unit 185, the display image generation unit 135 deletes the display of the detection marker at the stationary position. The stationary object detection process ends by the process of step S545.
  • the obstacle detection process shown in FIGS. 3 and 4 is characterized in that the stationary object detection process shown in FIG. 4 is performed when the moving body is stationary.
  • changes in the display form from when a moving object enters the detection area and stops, moves, and escapes from the detection area are described below with reference to the drawings.
  • a detection marker 515 is displayed on the moving body image 505 as shown in FIG. 5 (S315). Then, when the moving object indicated by the moving object image 505 stops in the detection area, the detection marker 515 is deleted as shown in FIG. 6 (S500). Thereafter, as shown in FIG. 7, the detection marker 520 indicating the position of the stationary object is displayed at the position of the stationary moving body (that is, the position of the moving body image 505) (S520).
  • a display 522 that prompts whether or not to delete the displayed detection marker 520 is displayed on the display unit 1451 as shown in FIG. 7 (S530).
  • the detection marker 520 is erased (S535 ⁇ S545), and the stationary state as shown in FIG. Only the moving body image 505 indicating the moving body is displayed.
  • the cancellation of the stationary object detection result by the operator for example, if the display screen of the display unit 1451 is a touch panel display screen, the detection marker 520 is touched to detect the detection marker. 520 is erased and the stationary object detection process is interrupted. Also, all of the plurality of detection markers 520 may be erased by a single operation.
  • the detection marker 520 is displayed until the predetermined duration has elapsed (S535 ⁇ S540 ⁇ S510 ⁇ S515 ⁇ S520). Then, when a predetermined duration elapses without performing the operation of canceling the stationary object detection result, the detection marker 520 is deleted (S545).
  • FIG. 9 is a display image showing a state in which the moving body that has resumed movement has escaped from the detection area.
  • a detection marker 515 is displayed on the moving object image 505.
  • the detection marker 520 indicating that the moving body is stationary is displayed instead of the detection marker 515 indicating the moving body.
  • the detection marker attached to the moving object does not disappear suddenly when stationary, the operator does not feel uncomfortable and does not mistakenly think that the device has failed as in the conventional case.
  • the detection marker 520 is displayed at the position of the stationary moving body, when the operator returns his / her line of sight to the display unit 1451, there is no stationary before the line of sight is removed. It is possible to easily recognize that the number of obstacles has increased. Further, since the detection marker 520 is newly displayed, there is an effect of prompting visual confirmation of a new obstacle.
  • the detection marker 520 is erased, and the stationary object detection in the stationary object detection area 517 set to include the stationary moving body is interrupted. It will not remain carelessly.
  • the stationary object detection in the stationary object detection area 517 If the size of the stationary object detection area 517 is too large for the stationary moving object, in the stationary object detection in the stationary object detection area 517, an object other than the stationary moving object is erroneously detected as a stationary object. There is a risk. In such a case, even after the moving body moves again and exits from the stationary object detection area 517, the detection marker 520 remains displayed on what is erroneously detected as a stationary object.
  • the puddle 700 is erroneously detected as a stationary object.
  • the possibility of erroneous detection increases.
  • the re-movement detection of the stationary moving body is performed based on the image of the puddle 700, and the puddle 700 remains stationary even when the actual moving body moves out of the stationary object detection area 517a. It continues to be detected as an object. As a result, the detection marker 520 remains displayed.
  • such a detection error occurs by setting the detection area to be approximately the same size as the moving object as in the stationary object detection area 517 of FIG. Is reduced.
  • step S535 even if something other than the stationary moving object is erroneously detected as a stationary object as in the case of FIG. 13, the stationary object detection can be manually canceled.
  • the operator can confirm whether or not the stationary obstacle on which the detection marker 520 is displayed is actually a moving body that is stationary or is simply erroneous detection by visually confirming. And if it turns out that it is a false detection, what is necessary is just to delete the detection marker 520 manually. By doing so, it can prevent that the detection marker 520 erroneously detected on the display screen continues to be displayed.
  • step S540 even if there is no release operation by the operator, the detection marker 520 is automatically deleted if the display of the detection marker 520 by the stationary object detection continues for a predetermined duration.
  • the predetermined duration may be about 2 minutes, for example.
  • FIG. 10 is a diagram showing an example of the overhead image display processing flow.
  • the bird's-eye view image display process is a process of generating a bird's-eye view image by converting the images of the front camera 105, the rear camera 110, the right camera 115, and the left camera 120 into an image viewed from above the mine dump.
  • the overhead image display process is performed in parallel with the obstacle detection process.
  • step S400 of FIG. 10 an initial setting process for confirming activation states of the surrounding monitoring device 100, the front camera 105, the rear camera 110, the right camera 115, the left camera 120, and the like is performed.
  • the video acquisition unit 125 acquires video data from the front camera 105, the rear camera 110, the right camera 115, and the left camera 120. Then, the acquired video data is temporarily stored in the video buffer 130.
  • step S410 the overhead image generation unit 155 views the images of the front camera 105, the rear camera 110, the right camera 115, and the left camera 120 temporarily stored in the video buffer 130 from the viewpoint above the mine dump.
  • Each of the images is converted into an upper viewpoint image and the images are connected to generate an overhead image.
  • an overhead view image 501 displayed around the host vehicle icon 530 includes an upper viewpoint image 501a based on the image of the front camera 105, an upper viewpoint image 501b based on the image of the rear camera 110, and the right side.
  • the upper viewpoint image 501c based on the image of the camera 115 and the upper viewpoint image 501d based on the image of the left camera 120 are connected.
  • step S415 the display image generation unit 135 generates a display image in which the host vehicle icon 530 is superimposed on the overhead image 501 and displays the display image on the display unit 1451.
  • step S420 the control unit 150 determines the end, that is, the presence / absence of an end request. If it is determined that the end (end request is present) is determined, the process proceeds to step S425. Return to S405. As an end request in the end determination, for example, there are an end command by an operator via the input unit 1452, an end process associated with the engine stop of the mine dump 200, and the like. In step S425, the control unit 150 performs end processing. With this termination process, a series of processes is terminated.
  • circle (FIGS. 5 and 11) or triangle (FIG. 7) detection markers are superimposed and displayed as detection marker display modes.
  • a display form as shown in FIG. 12 may be used.
  • a detection area is set for each of the upper viewpoint images 501a to 501d.
  • the detection area frame which shows the detection area where the detected moving body and stationary object exist is displayed.
  • the shape of the detection area frame is the same as the edge shape of the upper viewpoint images 501a to 501d.
  • the detection area frame 605 in which the edge of the upper viewpoint image 501a is displayed in color is displayed in color.
  • the detection area frame 605 By displaying the detection area frame 605 in this way, the positional relationship between the detection target existing in the display image 500 and the host vehicle can be easily grasped.
  • the detection marker 515 is superimposed and displayed on the moving body image 505 as shown in FIG. 11, the accurate position of the detection target can be grasped.
  • the detection area frame 605 in the process of deleting the detection marker, the detection area frame is deleted only when there is no other moving object in the detection area where the moving object determined to be stationary exists. To do.
  • the surrounding monitoring apparatus of the present embodiment has the following operational effects.
  • the display image generation unit 135 included in the surroundings monitoring device 100 displays a detection marker 515 indicating the position of the moving object in the overhead image 501.
  • the detection marker 520 indicating the stationary position is superimposed and displayed on the overhead image 501.
  • the detection marker 520 is displayed on the moving body, so that the operator does not feel discomfort in the display state, and there is no possibility of misunderstanding that the apparatus is faulty. Further, even when the moving object enters the detection area and stops while the operator removes his / her line of sight from the display unit 1451, the detection marker 520 is displayed for the stationary moving object, so that the stationary movement It is possible to prevent the operator from overlooking the body.
  • a stationary object detection unit that is a third detection unit that detects a stationary object in the stationary object detection region 517 including the position of the moving object when the stationary object detection unit 160 (first detection unit) detects the stationary state.
  • a stationary object movement detection unit 175 that is a fourth detection unit that detects that the stationary object detected by the stationary object detection unit 165 (third detection unit) has moved.
  • the display of the detection marker 520 is continued even after the stationary moving body moves, but as described above, When the movement of the moving body is detected, the detection marker 520 is deleted, and such a problem does not occur.
  • the stationary object movement detection unit 175 (fourth detection unit) is not performed even after a predetermined time has elapsed since the detection by the stationary position calculation unit 170 (second detection unit), the stationary object It is preferable that the detection unit 165 (third detection unit) interrupts detection of a stationary object, and the display image generation unit 135 deletes the detection marker 520. By doing in this way, it can prevent reliably that detection marker 520 continues being displayed by stationary object false detection.
  • an input unit 1452 for manually inputting an erasure command for the detection marker 520 is provided.
  • the stationary object detection unit 165 (third detection unit) is a stationary object.
  • the display image generation unit 135 may delete the detection marker 520. Thereby, when it is confirmed by visual observation that the stationary object is erroneously detected, the detection marker 520 can be immediately deleted.
  • moving objects and stationary objects are detected using the images captured by the cameras 105 to 120, but vehicle peripheral information (three-dimensional point cloud data) obtained by a laser range finder or a millimeter radar. You may detect a moving body and a stationary object using.
  • DESCRIPTION OF SYMBOLS 100 Perimeter monitoring apparatus, 105 ... Front camera (imaging apparatus), 110 ... Back camera (imaging apparatus), 115 ... Right camera (imaging apparatus), 120 ... Left camera (imaging apparatus), 125 ... Image acquisition part ( Acquisition unit), 135 ... display image generation unit, 145 ... display device, 150 ... control unit, 155 ... overhead image generation unit, 160 ... moving body detection unit (first detection unit), 165 ... stationary object detection unit (third) (Detection unit), 170 ... stationary position calculation unit (second detection unit), 175 ... stationary object movement detection unit (fourth detection unit), 180 ... stop time detection unit, 185 ... stationary object detection release unit, 200 ... mine dump (Work machine), 501 ... overhead image, 505 ... moving body image, 515 ... detection marker (first detection marker), 517 ... stationary object detection region (predetermined region), 520 ... detection marker (second detection marker), 1451 ... Display unit, 1 52 ... input section

Abstract

作業機械の周囲監視装置は、作業機械周囲を撮像する撮像装置から撮像情報を取得する取得部と、取得部で取得された撮像情報に基づいて俯瞰画像を生成する俯瞰画像生成部と、作業機械周囲の移動体を検知する第１検知部と、第１検知部により検知された移動体が静止したことを検知する第２検知部と、第１検知部により検知された移動体の位置を示す第１検知マーカまたは第２検知部により検知された移動体の位置を示す第２検知マーカの少なくとも一方が、俯瞰画像に重畳表示された表示画像を生成する表示画像生成部と、を備え、表示画像生成部は、第１検知部により移動体が検知されると、移動体の位置を示す第１検知マーカを俯瞰画像に重畳表示し、第２検知部により移動体の静止が検知されると、静止位置を示す第２検知マーカを俯瞰画像に重畳表示する。

Description

作業機械の周囲監視装置
　本発明は、作業機械の周囲監視装置に関する。
　建設機械、鉱山機械などの大型作業機械は、車両が大きいことから運転者から周囲を見たときに死角が多い。そのため、車両周囲にカメラを搭載し、周囲状況を映像で監視する周囲監視装置が知られている。例えば、非特許文献１に記載の装置では、カメラで車両周囲の映像を取得し、その映像内の移動体を検知して移動体の存在を示すマーカを表示部に表示し警告音を発生するようにしている。
"移動物検知"、［online］、日産自動車株式会社、［２０１５年６月５日検索］、インターネット＜URL:http://www.nissan- global.com/JP/TECHNOLOGY/OVERVIEW/mod.html＞
　しかしながら、移動体に対してはマーカ表示や警告音発生が行われるが、移動体が静止するとそれらが停止する。そのため、静止した移動体が表示部に表示されているにも拘わらずマーカ表示や警告音が停止するので、運転者は装置の故障と勘違いするおそれがあった。
　本発明の態様によると、作業機械の周囲監視装置は、作業機械周囲を撮像する撮像装置から撮像情報を取得する取得部と、取得部で取得された撮像情報に基づいて俯瞰画像を生成する俯瞰画像生成部と、作業機械周囲の移動体を検知する第１検知部と、第１検知部により検知された移動体が静止したことを検知する第２検知部と、第１検知部により検知された移動体の位置を示す第１検知マーカまたは第２検知部により検知された移動体の位置を示す第２検知マーカの少なくとも一方が、俯瞰画像に重畳表示された表示画像を生成する表示画像生成部と、を備え、表示画像生成部は、第１検知部により移動体が検知されると、移動体の位置を示す第１検知マーカを俯瞰画像に重畳表示し、第２検知部により移動体の静止が検知されると、静止位置を示す第２検知マーカを俯瞰画像に重畳表示する。
　本発明によれば、移動体が静止した場合には第２検知マーカが表示されるので、運転者は装置の故障と勘違いするのを防止でき、障害物認識性能の向上を図ることができる。
図１は、本発明の一実施の形態による周囲監視装置を搭載する鉱山ダンプを示す図である。 図２は、作業機械周囲の障害物を検知する検知システムの全体構成を示すブロック図である。 図３は、障害物検知処理の一例を示すフローチャートである。 図４は、静止物検知処理の一例を示すフローチャートである。 図５は、移動体が検知エリアに侵入した場合の、表示画像の一例を示す図である。 図６は、移動体が静止した場合の、表示画像を示す図である。 図７は、静止した移動体が静止物として検知された場合の、表示画像の一例を示す図である。 図８は、静止していた移動体が再び動き出した場合の、表示画像の一例を示す図である。 図９は、再び動き出した移動体が検知エリアから脱出する場合の、表示画像の一例を示す図である。 図１０は、俯瞰画像表示処理フローの一例を示す図である。 図１１は、俯瞰画像の生成を説明する図である。 図１２は、検知マーカの他の表示形態の一例を示す図である。 図１３は、静止物の誤検知を説明する図である。
　以下、図面を参照して本発明の一実施の形態による作業機械の周囲監視装置について詳細に説明する。本実施の形態では、作業機械の一例として、鉱山での作業等に用いられる鉱山ダンプを例に説明する。なお、以下において、「左方」とは鉱山ダンプの運転室から見た左方向であり、「右方」とは鉱山ダンプの運転室から見た右方向である。
　図１は、本発明の一実施の形態による周囲監視装置を搭載する鉱山ダンプ２００を示す図である。鉱山ダンプ２００の運転室２１０の前方には、鉱山ダンプ２００の前方を撮影する前方カメラ１０５が設けられている。鉱山ダンプ２００の左側面には、例えば、前輪２０５の上方には、鉱山ダンプ２００の左方を撮影する左方カメラ１２０が設けられている。また、図１は鉱山ダンプ２００を左方から見た図であるため、図１では示されていないが、鉱山ダンプ２００の右側面には、鉱山ダンプ２００の右方を撮影する右方カメラ１１５（後述する図２参照）が設けられている。鉱山ダンプ２００の後部であって、荷台２１５の下には、鉱山ダンプ２００の後方を撮影する後方カメラ１１０が設けられている。鉱山ダンプ２００の運転室内には周囲監視装置が設けられている。
　前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０は、それぞれ魚眼レンズのような広画角のレンズを有し、地表面を主に撮影するために所定の俯角をつけて設置されている。前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０から出力された映像データは、運転室２１０内に設けられた周囲監視装置に入力される。なお、本実施形態では４つのカメラを用いて鉱山ダンプ２００の周囲の画像を撮影するようにしたが４つに限らず、作業機械に応じてカメラの数を適宜設定する。
　図２は、作業機械周囲の障害物を検知する検知システムの全体構成を示すブロック図である。検知システムは、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０と、周囲監視装置１００と、表示装置１４５とから構成される。周囲監視装置１００は、映像獲得部１２５、映像バッファ１３０、表示画像生成部１３５、入出力インタフェース１４０、制御部１５０、俯瞰画像生成部１５５、移動体検知部１６０、静止物検知部１６５、静止位置算出部１７０、静止物移動検知部１７５、停止時間検知部１８０および静止物検知解除部１８５を備えている。表示装置１４５は、表示部１４５１および入力部１４５２を備えている。表示装置１４５には、例えば、液晶表示装置が用いられる。
　各カメラ１０５，１１０，１１５，１２０からは、それぞれ原画像のＮＴＳＣなどのコンポジット信号が映像獲得部１２５に入力される。映像獲得部１２５は、これら各コンポジット信号をＡ／Ｄ変換してＲＧＢ信号にデコードする。映像獲得部１２５で処理された映像データは、映像バッファ１３０に一時的に記憶される。
　俯瞰画像生成部１５５は、映像バッファ１３０に一時的に記憶された映像データに基づいて、カメラの映像を鉱山ダンプの上方の視点から見た画像に変換し、俯瞰画像を生成する。移動体検知部１６０は、映像データの映像の中からオプティカルフロー等を利用して移動している物体を検知する。このオプティカルフローは、連続する映像のフレームを用いて映像内の動きベクトルを計算する手法である。本実施の形態では、この映像内の動きベクトルの中から、障害物らしい大きさや速度を持つ対象を抽出し、それを移動する障害物として検知する。
　静止物検知部１６５は、検知対象の形状、輝度、色合い、エッジ数およびノード数等の画像特徴量に基づきマッチングを行うことで、映像データの映像中の静止している物体を検知する。静止位置算出部１７０は、移動体検知部１６０で検知した移動体が静止したか否かを判定し、移動体が静止した場合の静止位置や、その静止位置を含む所定領域を算出する。以下では、この所定領域を静止物検知領域と呼ぶことにする。移動体が静止すると、オプティカルフローの動きベクトルがゼロまたは微小になるため、移動体検知部１６０は移動体として検知できなくなる。その場合に、静止位置算出部１７０は静止と判定する。
　表示画像生成部１３５は、表示装置１４５の表示部１４５１に表示するための表示画像を生成する。表示画像は、俯瞰画像生成部１５５で形成された俯瞰画像に、移動体検知部１６０で検知された移動体の位置に表示される検知マーカ（移動体マーカ）や、静止位置算出部１７０で検知された静止位置に表示される検知マーカ（静止物マーカ）を重畳表示した画像である。もちろん、移動体や静止物体が検知されなかった場合には、検知マーカは表示されない。
　静止物移動検知部１７５は、静止物検知部１６５で検知された静止している移動体が、再び移動したか否かを検知する。静止物検知部１６５が検知している移動物が移動しているか否かは、フレーム間の差分を取ることにより判別する。静止物移動検知部１７５により静止した移動体の再移動が検知されると、静止物検知部１６５による静止物体の検知は停止する。
　停止時間検知部１８０は、静止物検知部１６５で検知された静止物体の静止状態が一定時間以上継続しているか否かを判定する。静止物検知解除部１８５は、オペレータが入力部１４５２を操作することにより、入力部１４５２から静止物体の検知を解除する解除指令が入力されると、後述する静止物検知解除処理を行う。
　表示部１４５１は、表示画像生成部１３５で生成された表示画像を表示する。制御部１５０は、周囲監視装置１００の全体を制御する。
　次に、周囲監視装置１００における障害物検知処理の一例を、図３および４のフローチャートを用いて説明する。図３および４に示す処理は、鉱山トラックのイグニッションキー操作により、周囲監視装置１００に通電されるとスタートする。ステップＳ３００では、周囲監視装置１００、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５、左方カメラ１２０等の起動状態を確認する初期設定処理を行う。
　ステップＳ３０５では、映像獲得部１２５において、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０からの映像データを獲得する。そして、獲得された映像データを映像バッファ１３０に一時的に記憶する。ステップＳ３１０では、移動体検知部１６０において移動体を検知する。移動体の検知では、上述したように、映像バッファ１３０に一時的に記憶されている映像データに基づいて、オプティカルフローなどを利用して移動している物体を検知する。
　ステップＳ３１５では、表示画像生成部１３５は、俯瞰画像に移動体検知位置を示す検知マーカを重畳表示した表示画像を生成する。すなわち、俯瞰画像の移動体の画像上に検知マーカが重畳表示される。なお、表示部１４５１に表示される俯瞰画像の表示処理については後述する。
　ステップＳ３２０では、ステップＳ３１０で検知された移動体が静止したか否かを判定する。この判定は、上述したように図２の静止位置算出部１７０において行われる。ステップＳ３２０において移動体が静止したと判定されるとステップＳ３２５へ進み、静止と判定されない場合にはステップＳ３３０へ進む。
　ステップＳ３２５では、図４に示す静止物検知処理を開始する。図４の処理は、図３の処理と並行して行われる。なお、静止物検知処理の詳細は後述する。ステップＳ３３０では、制御部１５０において、終了要求が有るか否かを判定する。終了要求が無い場合にはステップＳ３３０からステップＳ３０５へ進み、終了要求があった場合には、ステップＳ３３５へ進んで、周囲監視装置１００における障害物検知処理を終了する。終了要求としては、例えば、入力部１４５２を介したオペレータによる終了指令や、鉱山ダンプ２００のエンジン停止に伴う終了処理などがある。
　なお、ステップＳ３１０で移動体が検知されない場合には、ステップＳ３１５における検知マーカの表示処理が行われず、ステップＳ３２０で非静止と判定されてステップＳ３３０へ進む。
　図５は、自車周囲の検知エリア内に車両などの移動体が侵入した場合の表示部１４５１に表示される表示画像５００の一例を示したものである。表示画像５００の中央には、自車両（鉱山ダンプ２００）を示す自車両アイコン５３０が表示されている。自車両アイコン５３０の周囲には俯瞰画像５０１が表示されている。図５に示す例では、表示された俯瞰画像５０１の領域と検知エリアとが同一に設定されている。
　移動体は左斜め上方向から検知エリアに侵入しており、検知エリア内に侵入した移動体を示す移動体画像５０５が俯瞰画像５０１に描画されている。矢印５０２は俯瞰画像上における移動体の移動方向を示している。移動体の検知位置には検知マーカ５１５が表示されている。移動体画像５０５が表示画像５００内を移動すると、検知マーカ５１５も同様に移動表示される。
　図４は、上述したステップＳ３２５で開始される静止物検知処理の一例を示すフローチャートである。ステップＳ５００では、静止した移動体の検知マーカを消去する。図６は、図５の移動体画像５０５で示す移動体が検知エリア内で静止した場合の表示画像５００を示す。移動体画像５０５は自車両アイコンの上方近傍（自車両の前方近傍）に表示されている。静止直前まで表示されていた検知マーカ５１５は、移動体の静止とともに消去される。図６では、消去された検知マーカ５１５を点線で示し、実際には表示されていないことを表している。
　図４のステップＳ５０５では、静止位置算出部１７０において、移動体が静止した静止位置、および、その静止位置を含む所定領域を上述した静止物検知領域として算出する。ここで、所定領域とは、移動体画像５０５の領域に対応する領域である。移動体検知では、必ずしも移動体画像５０５と同一の領域を移動体と認識できるわけではなく、映像の状態に応じて誤差が生じる。そのため、所定領域は、移動体を含む領域となるように、移動体検知で認識された移動体の領域ほぼ同程度（若干大きめ）に設定される。図６では、一点鎖線で示す矩形領域が静止物検知領域５１７である。
　ステップＳ５１０では、映像獲得部１２５において、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０からの映像データを獲得する。そして、獲得された映像データを映像バッファ１３０に一時的に記憶する。ステップＳ５１５では、映像バッファ１３０に一時的に記憶された映像データから、ステップＳ５０５で算出した静止物検知領域内５１７の映像を抽出する。そして、抽出した映像の中から画像特徴量に基づきマッチングを行い、静止物検知領域５１７内の静止物を検知する。映像の抽出および静止物の検知は、図２の静止物検知部１６５において行われる。
　前述したように、画像特徴量とは、検知対象の形状、輝度、色合い、エッジ数およびノード数等の検知対象が有する画像上での特徴のことである。例えば、車両を検知する場合には、車両の構造上、エンジンやノードが多く含まれるため、その性質を利用して映像の中から車両を検知する。
　ステップＳ５２０では、表示画像生成部１３５は、静止位置算出部１７０で算出された静止位置に検知マーカを重畳表示する。なお、検知マーカの表示とともに警告音を発生するようにしても良い。図７に示す例では、静止状態の移動体（図７の移動体画像５０５が対応する）が、ステップＳ５１５において静止物として検知され、三角形の検知マーカ５２０が表示されている。静止位置に表示する検知マーカの表示形態については、移動体の検知位置に表示される検知マーカと異なっていても良いし、同一であっても良い。例えば、移動体の検知マーカと判別ができるように、検知マーカの色を異ならせても良い。
　ステップＳ５２５では、静止物移動検知部１７５において、ステップＳ５１５で検知した静止物が移動したか否かを判定する。ステップＳ５２５において静止物が移動したと判定された場合にはステップＳ５４５に進み、移動と判定されない場合（非移動）にはステップＳ５３０に進む。
　ステップＳ５３０では、表示画像生成部１３５において、静止物検知結果の解除の判断をオペレータに促す解除入力提示を行う。例えば、解除入力表示を表示部１４５１に表示する。ここで、静止物検知結果の解除とは、ステップＳ５２０の処理で静止位置に表示された検知マーカを消去することである。
　ステップＳ５３５では、静止物検知解除部１８５は、オペレータの入力操作によって入力部１４５２からの解除信号を受信するまではステップＳ５４０へ進み、解除信号を受信するとステップＳ５４５に進む。ステップＳ５４０では、停止時間検知部１８０において、ステップＳ５１５で検知した静止物の静止状態が所定継続時間以上となったか否かを判定する。ステップＳ５４０において静止状態が所定継続時間以上と判定されると、ステップＳ５４５へ進む。一方、ステップＳ５４０で静止状態が所定継続時間未満と判定されると、ステップＳ５１０へ戻る。
　ステップＳ５４５では、静止物検知解除部１８５による静止物検知を解除する処理が行われる。すなわち、静止物検知解除部１８５は、ステップＳ５２０において表示された静止位置の検知マーカを消去する指令を表示画像生成部１３５に出力する。表示画像生成部１３５は、静止物検知解除部１８５からの指令を受信すると、静止位置の検知マーカの表示を消去する。ステップＳ５４５の処理により、静止物検知処理は終了する。
　図３，４に示す障害物検知処理では、移動体が静止したときに図４に示す静止物検知処理を行う点に特徴がある。例えば、移動体が検知エリア内に侵入し、静止→移動→検知エリアからの脱出までの表示形態の変化を、図を用いて説明すると以下のようになる。
　まず、検知エリア内に移動体が侵入すると、図５のように移動体画像５０５に検知マーカ５１５が表示される（Ｓ３１５）。そして、移動体画像５０５で示す移動体が検知エリア内で静止すると、図６のように検知マーカ５１５は消去される（Ｓ５００）。その後、図７に示すように静止した移動体の位置（すなわち移動体画像５０５の位置）に、静止物の位置を示す検知マーカ５２０が表示される（Ｓ５２０）。
　次いで、表示された検知マーカ５２０を消去するか否かを促す表示５２２が、図７のように表示部１４５１に表示される（Ｓ５３０）。ここで、オペレータが入力部１４５２を操作して静止物検知結果の解除、すなわち検知マーカ５２０の消去を指令すると、検知マーカ５２０が消去され（Ｓ５３５→Ｓ５４５）、図６に示すように静止状態の移動体を示す移動体画像５０５のみが表示された状態となる。オペレータによる静止物検知結果の解除の具体的操作例としては、例えば、表示部１４５１の表示画面がタッチパネル式の表示画面であれば、表示されている検知マーカ５２０をタッチ操作することで、検知マーカ５２０が消去され、静止物検知処理が中断される。また、一回の操作で、複数の検知マーカ５２０の全てを消去するようにしても良い。
　一方、オペレータが静止物検知結果の解除操作を行わないと、所定継続時間が経過するまでは検知マーカ５２０が表示された状態となる（Ｓ５３５→Ｓ５４０→Ｓ５１０→Ｓ５１５→Ｓ５２０）。そして、静止物検知結果の解除操作を行わないまま所定継続時間が経過すると、検知マーカ５２０は消去される（Ｓ５４５）。
　ただし、解除操作を行わない場合であっても、所定継続時間が経過する前に静止していた移動体が再び動き出すと、図８のように検知マーカ５２０は消去される（Ｓ５２５→Ｓ５４５）。図９は、移動を再開した移動体が検知エリアから脱出している状態を示す表示画像である。移動体画像５０５上には検知マーカ５１５が表示されている。
　以上のように、本実施の形態では、移動体が静止すると、移動体を示す検知マーカ５１５に代えて、移動体が静止していることを示す検知マーカ５２０を表示するようにした。このように移動体に付けられていた検知マーカが静止と共に突然消えることが無いので、オペレータは違和感を覚えることがなく、従来のように装置が故障したのではないかと勘違いすることもない。
　ところで、移動体が検知領域に侵入して停止した場合、静止障害物が一つ増加することになる。しかし、そのような移動体の侵入および停止が、オペレータが表示部１４５１から視線を外した際に発生した場合、従来のように移動体に付いていた検知マーカを停止と共に消去する装置構成では、表示部１４５１に視線を戻したときに、新たに静止障害物が増えたことに気づかないおそれがある。
　一方、本実施の形態の場合には、静止している移動体の位置に検知マーカ５２０を表示するので、オペレータが表示部１４５１に視線を戻したときに、視線を外す前には無かった静止障害物が新たに増えたことを容易に認識することができる。また、検知マーカ５２０が新たに表示されたことにより、新たな障害物に対する目視による確認を促す効果がある。
　また、静止した移動体が再び移動すると検知マーカ５２０を消去すると共に、静止した移動体を含むように設定された静止物検知領域５１７内での静止物検知が中断されるので、検知マーカ５２０が不用意に残ることがない。
　なお、静止物検知領域５１７の大きさが静止した移動体に対して大き過ぎると、静止物検知領域５１７内での静止物検知において、静止している移動体以外のものを静止物として誤検知するおそれがある。そのような場合には、移動体が再び移動して静止物検知領域５１７から出て行った後でも、静止物と誤検知したものに検知マーカ５２０が表示されたままとなってしまう。
　例えば、図１３に示すように移動体が水たまり７００の領域に停車した場合、移動体を示す移動体画像５０５に対して大き過ぎる静止物検知領域５１７ａを設定すると、水たまり７００を静止物と誤検知する可能性がある。特に、水たまり７００の画像特徴が移動体の画像特徴と似ている場合には、誤検知の可能性が高くなる。そのような場合、この水たまり７００の映像に基づいて静止した移動体の再移動検知が行われてしまい、実際の移動体が静止物検知領域５１７ａの領域外に移動した場合でも、水たまり７００が静止物として検知され続ける。その結果、検知マーカ５２０が表示されたままとなってしまう。
　それに対して、本実施の形態では、図７の静止物検知領域５１７のように、検知領域を移動体とほぼ同程度の大きさと同程度の大きさとすることで、このような誤検知の発生が低減される。
　また、ステップＳ５３５の処理を設けたので、仮に、図１３の場合のように静止した移動体以外のものが静止物と誤検知された場合でも、手動で静止物検知を解除することができる。オペレータは、実際に目視確認することで、検知マーカ５２０が表示された静止障害物が実際に静止した移動体か、単なる誤検知かを確認することができる。そして、誤検知であると分かったならば、手動にて検知マーカ５２０を消去すればよい。そうすることで、表示画面上に誤検知された検知マーカ５２０が表示され続けることを、防止することができる。
　さらに、ステップＳ５４０の処理を設けることによって、オペレータによる解除操作が無かった場合でも、静止物検知による検知マーカ５２０の表示が所定継続時間続いたならば、自動的に検知マーカ５２０が消去される。この処理により、表示画像５００上に検知マーカ５２０が表示され続けてしまうのを防止できる。車両発進時の障害物検知を想定した場合、所定継続時間としては、例えば、２分程度が考えられる。
　図１０は、俯瞰画像表示処理フローの一例を示す図である。俯瞰画像表示処理は、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０の映像を鉱山ダンプの上方の視点から見た画像に変換し、俯瞰画像を生成する処理である。俯瞰画像表示処理は障害物検知処理と並列に処理が行われる。
　図１０のステップＳ４００では、周囲監視装置１００、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０などの起動状態を確認する初期設定処理を行う。ステップＳ４０５では、映像獲得部１２５において、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０からの映像データを獲得する。そして、獲得された映像データを映像バッファ１３０に一時的に記憶する。
　ステップＳ４１０では、俯瞰画像生成部１５５において、映像バッファ１３０に一時的に記憶された前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０の映像を、鉱山ダンプの上方の視点から見た上方視点画像にそれぞれ変換し、それらの画像を繋ぎ合わせることで、俯瞰画像を生成する。図１１に示すように、自車両アイコン５３０の周囲に表示された俯瞰画像５０１は、前方カメラ１０５の映像に基づく上方視点画像５０１ａと、後方カメラ１１０の映像に基づく上方視点画像５０１ｂと、右方カメラ１１５の映像に基づく上方視点画像５０１ｃと、左方カメラ１２０の映像に基づく上方視点画像５０１ｄとを繋ぎ合わせたものである。
　ステップＳ４１５では、表示画像生成部１３５において、俯瞰画像５０１に自車両アイコン５３０を重畳表示した表示画像を生成し、その表示画像を表示部１４５１に表示させる。ステップＳ４２０では、制御部１５０において終了判定、すなわち終了要求の有無の判定を行い、終了（終了要求有り）と判定されるとステップＳ４２５に進み、非終了（終了要求無し）と判定されるとステップＳ４０５に戻る。終了判定における終了要求としては、例えば、入力部１４５２を介したオペレータによる終了指令や、鉱山ダンプ２００のエンジン停止に伴う終了処理などがある。ステップＳ４２５では、制御部１５０において終了処理を行う。この終了処理により、一連の処理を終了する。
　（検知マーカの他の例）
　上述した実施の形態では、検知マーカの表示形態として、丸（図５や図１１）や三角（図７）の検知マーカを重畳表示した。このように移動体や静止物の画像上に検知マーカを重畳表示する表示形態の他に、図１２に示すような表示形態でも良い。図１２に示す検知マーカの表示形態では、上方視点画像５０１ａ～５０１ｄのそれぞれの領域毎に検知エリアを設定する。そして、検知された移動体や静止物が存在する検知エリアを示す、検知エリア枠を表示する。検知エリア枠の形状は、上方視点画像５０１ａ～５０１ｄの縁の形状と同一である。図１２に示す例では、移動体画像５０５で示す移動体が上方視点画像５０１ａの検知エリアに存在するので、上方視点画像５０１ａの縁を彩色表示した検知エリア枠６０５が彩色表示されている。
　このように検知エリア枠６０５を表示することで、表示画像５００内に存在する検知対象と自車両との位置関係を容易に把握することができる。一方、図１１のように検知マーカ５１５を移動体画像５０５に重畳表示する形態では、検知対象の正確な位置を把握することができる。なお、検知エリア枠６０５を表示する形態では、検知マーカを消去する処理においては、静止と判定された移動体が存在する検知エリアに他の移動体が存在しない場合にのみ、検知エリア枠を消去する。
　以上説明したように、本実施の形態の周囲監視装置は以下のような作用効果を奏する。
（１）周囲監視装置１００が備える表示画像生成部１３５は、第１検知部である移動体検知部１６０により移動体が検知されると、移動体の位置を示す検知マーカ５１５を俯瞰画像５０１に重畳表示し、第２検知部である静止位置算出部１７０により移動体の静止が検知されると、静止位置を示す検知マーカ５２０を俯瞰画像５０１に重畳表示する。
　これにより、移動体が静止した場合でも移動体に検知マーカ５２０が表示されるので、オペレータは表示状況に違和感を覚えず、装置故障と勘違いするおそれがない。また、オペレータが表示部１４５１から視線を外している間に、移動体が検知エリアに侵入して静止した場合でも、静止した移動体に対して検知マーカ５２０が表示されているので、静止した移動体をオペレータが見逃すのを防止することができる。
（２）さらに、移動体検知部１６０（第１検知部）で静止を検知したときの移動体の位置を含む静止物検知領域５１７において静止物を検知する第３検知部である静止物検知部１６５と、静止物検知部１６５（第３検知部）で検知された静止物が移動したことを検知する第４検知部である静止物移動検知部１７５と、を備え、静止物移動検知部１７５（第４検知部）により移動が検知されると、検知マーカ５２０を消去して検知マーカ５１５を俯瞰画像５０１に重畳表示するのが好ましい。静止物検知部１６５（第３検知部）に誤検知が生じた場合には、静止した移動体が移動した後も検知マーカ５２０の表示が継続されてしまうことになるが、上述のように静止していた移動体の移動が検知されると検知マーカ５２０を消去することで、そのような問題が生じない。
（３）さらに、静止位置算出部１７０（第２検知部）の検知から所定時間経過しても静止物移動検知部１７５（第４検知部）による検知が行われなかった場合には、静止物検知部１６５（第３検知部）は静止物の検知を中断し、表示画像生成部１３５は検知マーカ５２０を消去するのが好ましい。このようにすることにより、静止物誤検知によって検知マーカ５２０が表示され続けてしまうのを、確実に防止することができる。
（４）また、検知マーカ５２０の消去指令を手動入力するための入力部１４５２を備え、入力部１４５２に消去指令が手動入力されると、静止物検知部１６５（第３検知部）は静止物の検知を中断し、表示画像生成部１３５は検知マーカ５２０を消去するようにしても良い。これにより、目視により静止物誤検知であることを確認した場合に、直ちに検知マーカ５２０を消去することができる。
　なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。例えば、上述した実施形態では、カメラ１０５～１２０で撮影した映像を利用して移動体や静止物の検知を行ったが、レーザレンジファインダやミリレーダにより得られる車両周辺情報（三次元点群データ）を利用して移動体や静止物の検知を行っても良い。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１５年第１５５６９０号（２０１５年８月６日出願）
　１００…周囲監視装置、１０５…前方カメラ（撮像装置）、１１０…後方カメラ（撮像装置）、１１５…右方カメラ（撮像装置）、１２０…左方カメラ（撮像装置）、１２５…映像獲得部（取得部）、１３５…表示画像生成部、１４５…表示装置、１５０…制御部、１５５…俯瞰画像生成部、１６０…移動体検知部（第１検知部）、１６５…静止物検知部（第３検知部）、１７０…静止位置算出部（第２検知部）、１７５…静止物移動検知部（第４検知部）、１８０…停止時間検知部、１８５…静止物検知解除部、２００…鉱山ダンプ（作業機械）、５０１…俯瞰画像、５０５…移動体画像、５１５…検知マーカ（第１検知マーカ）、５１７…静止物検知領域（所定領域）、５２０…検知マーカ（第２検知マーカ）、１４５１…表示部、１４５２…入力部

Claims (4)

  1. 　作業機械周囲を撮像する撮像装置から撮像情報を取得する取得部と、
    　前記取得部で取得された撮像情報に基づいて俯瞰画像を生成する俯瞰画像生成部と、
    　作業機械周囲の移動体を検知する第１検知部と、
    　前記第１検知部により検知された移動体が静止したことを検知する第２検知部と、
    　前記第１検知部により検知された移動体の位置を示す第１検知マーカまたは前記第２検知部により検知された移動体の位置を示す第２検知マーカの少なくとも一方が、前記俯瞰画像に重畳表示された表示画像を生成する表示画像生成部と、を備え、
    　前記表示画像生成部は、前記第１検知部により移動体が検知されると、移動体の位置を示す第１検知マーカを前記俯瞰画像に重畳表示し、前記第２検知部により移動体の静止が検知されると、静止位置を示す第２検知マーカを前記俯瞰画像に重畳表示する、作業機械の周囲監視装置。
  2. 　請求項１に記載の作業機械の周囲監視装置において、
    　前記第２検知部で静止を検知したときの移動体の位置を含む所定領域において静止物を検知する第３検知部と、
    　前記第３検知部で検知された静止物が移動したことを検知する第４検知部と、を備え、
    　前記表示画像生成部は、前記第４検知部により移動が検知されると、前記第２検知マーカを消去して前記第１検知マーカを前記俯瞰画像に重畳表示する、作業機械の周囲監視装置。
  3. 　請求項２に記載の作業機械の周囲監視装置において、
    　前記第２検知部の検知から所定時間経過しても前記第４検知部による検知が行われなかった場合には、
    　前記第３検知部は静止物の検知を中断し、
    　前記表示画像生成部は前記第２検知マーカを消去する、作業機械の周囲監視装置。
  4. 　請求項２に記載の作業機械の周囲監視装置において、
    　前記第２検知マーカの消去指令を手動入力するための入力部を備え、
    　前記入力部に前記消去指令が手動入力されると、前記第３検知部は静止物の検知を中断し、前記表示画像生成部は前記第２検知マーカを消去する、作業機械の周囲監視装置。
PCT/JP2016/057145 2015-08-06 2016-03-08 作業機械の周囲監視装置 WO2017022262A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-155690 2015-08-06
JP2015155690A JP2017030688A (ja) 2015-08-06 2015-08-06 作業機械の周囲監視装置

Publications (1)

Publication Number Publication Date
WO2017022262A1 true WO2017022262A1 (ja) 2017-02-09

Family

ID=57942629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/057145 WO2017022262A1 (ja) 2015-08-06 2016-03-08 作業機械の周囲監視装置

Country Status (2)

Country Link
JP (1) JP2017030688A (ja)
WO (1) WO2017022262A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300828A (zh) * 2017-02-20 2019-10-01 斗山英维高株式会社 工程设备的画面显示系统及画面显示方法
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6909752B2 (ja) * 2018-03-30 2021-07-28 日立建機株式会社 作業機械の後退支援装置
JP7399836B2 (ja) * 2020-10-12 2023-12-18 ヤンマーホールディングス株式会社 作業車両

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000177513A (ja) * 1998-12-16 2000-06-27 Toyota Autom Loom Works Ltd 車両における後退支援装置及び車両
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2012112108A (ja) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2013183674A1 (ja) * 2012-06-07 2013-12-12 日立建機株式会社 自走式産業機械の表示装置
WO2014073571A1 (ja) * 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5722127B2 (ja) * 2011-06-07 2015-05-20 株式会社小松製作所 作業車両の周辺監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000177513A (ja) * 1998-12-16 2000-06-27 Toyota Autom Loom Works Ltd 車両における後退支援装置及び車両
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2012112108A (ja) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2013183674A1 (ja) * 2012-06-07 2013-12-12 日立建機株式会社 自走式産業機械の表示装置
WO2014073571A1 (ja) * 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300828A (zh) * 2017-02-20 2019-10-01 斗山英维高株式会社 工程设备的画面显示系统及画面显示方法
EP3572591A4 (en) * 2017-02-20 2020-12-16 Doosan Infracore Co., Ltd. SCREEN DISPLAY SYSTEM AND METHOD FOR CONSTRUCTION MACHINERY
CN110300828B (zh) * 2017-02-20 2021-07-20 斗山英维高株式会社 工程设备的画面显示系统及画面显示方法
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Also Published As

Publication number Publication date
JP2017030688A (ja) 2017-02-09

Similar Documents

Publication Publication Date Title
JP5124351B2 (ja) 車両操作システム
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP5099451B2 (ja) 車両周辺確認装置
JP2015210649A (ja) 車体近傍障害物報知システム
US10974735B2 (en) Parking assistance device
US11479238B2 (en) Parking assist system
EP2660104A2 (en) Apparatus and method for displaying a blind spot
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP5093611B2 (ja) 車両周辺確認装置
JP5471141B2 (ja) 駐車支援装置及び駐車支援方法
JP2008227646A (ja) 障害物検知装置
JP5495071B2 (ja) 車両周辺監視装置
CN110831818B (zh) 泊车辅助方法以及泊车辅助装置
WO2017022262A1 (ja) 作業機械の周囲監視装置
WO2010070920A1 (ja) 車両周囲画像生成装置
JP2007142545A (ja) 車両周辺画像処理装置及びプログラム。
WO2017038123A1 (ja) 車両の周囲監視装置
US20190236343A1 (en) Gesture detection device
CN112124092B (zh) 驻车辅助系统
JP2016175549A (ja) 安全確認支援装置、安全確認支援方法
JP2007249814A (ja) 画像処理装置及び画像処理プログラム
JP2020077251A (ja) 周辺監視装置
KR101295618B1 (ko) 사각 지대 표시 장치 및 방법
CN112977426A (zh) 驻车辅助系统
KR101566963B1 (ko) 작업 차량 상태를 고려하여 개체를 인식할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16832542

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC. EPO FORM 1205A DATED 06.06.18.

122 Ep: pct application non-entry in european phase

Ref document number: 16832542

Country of ref document: EP

Kind code of ref document: A1