WO2013153863A1 - 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 - Google Patents

自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 Download PDF

Info

Publication number
WO2013153863A1
WO2013153863A1 PCT/JP2013/055161 JP2013055161W WO2013153863A1 WO 2013153863 A1 WO2013153863 A1 WO 2013153863A1 JP 2013055161 W JP2013055161 W JP 2013055161W WO 2013153863 A1 WO2013153863 A1 WO 2013153863A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
dust
obstacle
pixel
image data
Prior art date
Application number
PCT/JP2013/055161
Other languages
English (en)
French (fr)
Inventor
守飛 太田
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Publication of WO2013153863A1 publication Critical patent/WO2013153863A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present invention relates to an image processing apparatus for a self-propelled industrial machine and an image processing method for the self-propelled industrial machine that perform predetermined image processing on image data captured by a photographing unit provided in the self-propelled industrial machine. is there.
  • a dump truck as a self-propelled industrial machine has a loading platform (vessel) that can be raised and lowered on a frame of a vehicle body.
  • a transport object such as earth and sand excavated by a work machine such as a hydraulic excavator is loaded on a vessel of a dump truck. After the object to be transported is loaded on the vessel, the dump truck travels by the traveling operation of the dump truck operator. Then, after traveling the dump truck to a predetermined dump, the vessel transport object is discharged.
  • a camera is mounted on the dump truck, and the video from the camera is output to a monitor provided in the cab of the dump truck.
  • An operator boarding the driver's cab can confirm the safety around the dump truck in more detail by viewing the image displayed on the monitor. That is, the image displayed on the monitor serves to assist the operator in recognizing surrounding safety.
  • Patent Document 1 a camera is mounted on the hydraulic excavator, and the hydraulic excavator It is detected whether or not an intruding mobile object is in the work range. Then, by performing predetermined image processing, the distance of the intruding mobile body and the reliability as a human body are evaluated.
  • the image captured by the camera also includes dust. For this reason, image data including dust is displayed on the monitor provided in the cab of the dump truck. If the image data includes dust, the image data becomes abnormal image data. In particular, dust may be misrecognized as noise in image data, and by visually observing the monitor, the operator cannot accurately grasp the situation around the dump truck.
  • the present invention allows the operator to properly recognize the surrounding situation even when dust is generated when confirming the safety of the surroundings based on the image data taken by the photographing unit mounted on the self-propelled industrial machine. Objective.
  • the image processing apparatus for a self-propelled industrial machine uses, as image data, an image captured by a photographing unit provided in the self-propelled industrial machine, and from among each pixel of the image data.
  • a non-edge pixel detection unit that detects a central pixel as a non-edge pixel whose value difference is lower than a luminance value difference detected as a ground edge, and an overlap between the high-luminance pixel and the non-edge pixel
  • An overlapping pixel detection unit that detects pixels and an area formed by the overlapping pixels as an overlapping pixel area, and when the overlapping pixel area is larger than an area for identifying the dust, It includes a dust area generation unit for generating a region, and a screen creation
  • a predetermined area or more among the overlapping pixels where the high-luminance pixels and the non-edge pixels overlap is set as the dust area.
  • Only high-luminance pixels may cause erroneous detection of dust due to changes in sunlight conditions, etc., and non-edge pixels alone cannot detect dust when there is no edge on the ground. Therefore, the dust region can be accurately identified by extracting the overlapping pixel region of both. Thereby, the operator can recognize the dust region generated around the self-propelled industrial machine, and the operator can appropriately recognize the surrounding situation.
  • non-edge pixel detection unit detects the non-edge pixel
  • a sharpening process is performed on all the pixels of the image data to emphasize the difference in luminance value between the center pixel and the peripheral pixels.
  • a conversion processing unit may be further provided.
  • the sharpening process makes the ground edge stand out more. Thereby, since the edge of the ground can be detected accurately, the detection accuracy of the non-edge pixel detection unit is improved, and as a result, the accuracy of specifying the dust region is also improved.
  • a moving body area detecting section that detects a moving body area based on a difference between image data stored in the image data storage section that stores the image data, and the dust area from the moving body area; When the size of the dust area removing unit to be removed and the moving body area from which the dust area has been removed are larger than a predetermined area set in advance to determine that the obstacle candidate is an obstacle.
  • an obstacle determination unit that determines the obstacle candidate as the obstacle may be further included.
  • the moving body region detection unit detects the dust as a moving body region. At this time, when the obstacle candidate area excluding the dust area from the moving body area is equal to or larger than the predetermined area, the obstacle can be identified. Thereby, obstacles other than the dust area can be detected.
  • a dust region scanning unit that detects pixels whose luminance value difference between the central pixel and the peripheral pixels is higher than a luminance value difference detected as an obstacle boundary for all pixels inside the dust region.
  • the area formed by the pixels detected by the dust area scanning unit is an obstacle candidate, and the obstacle candidate is larger than a predetermined area set in advance to determine that the obstacle candidate is an obstacle.
  • An obstacle determination unit that determines the obstacle candidate as the obstacle may be further included.
  • a moving body region detecting unit that detects a region of the moving body based on a difference between the image data stored in the image data storage unit that stores the image data, and the dust region from the moving body region; A pixel in which the difference in luminance value between the central pixel and the peripheral pixel is higher than the difference in luminance value detected as an obstacle boundary for all the pixels inside the dust region; A dust region scanning unit for detecting the dust region, the moving body region from which the dust region has been removed as an obstacle candidate outside the dust region, and a region formed by the pixels detected by the dust region scanning unit as an obstacle candidate within the dust region
  • Communicating And the obstacle determining unit that determines an area as the obstacle may further comprise a.
  • the obstacle candidate in the dust region and the obstacle candidate outside the dust region do not have an area that can be determined as an obstacle, and thus are not determined as an obstacle. Therefore, when the continuous area where both are continuous is equal to or greater than the predetermined area, it can be determined as an obstacle.
  • An obstacle movement recognition unit may be further provided that recognizes that the obstacle is moving when inside the other surrounding pixel.
  • Obstacles are usually moving, and when the surrounding pixels of the obstacle pixels that overlap in time are partially overlapping, or all the surrounding pixels of one of the surrounding pixels are the other When the pixel is inside the surrounding pixels, the possibility that the worker is walking increases. Thereby, an obstacle can be recognized as a worker, and it can be recognized that a worker is present around the self-propelled industrial machine.
  • the screen creation unit may draw an outline of the dust area when the dust area is generated, and may draw an outline of the obstacle when the obstacle is generated.
  • the operator can clearly recognize the dust region and the obstacle based on the displayed image data.
  • drawing the outline of the dust region and the outline of the obstacle in different modes it is possible to intuitively distinguish between the two.
  • the image processing method for a self-propelled industrial machine inputs a video taken by a photographing unit provided in the self-propelled industrial machine as image data, and specifies dust from each pixel of the image data.
  • a pixel having a luminance value higher than the luminance value to detect is detected as a high-luminance pixel, and a difference in luminance value from the surrounding pixels is detected as one edge of the image data as a central pixel, as an edge of the ground
  • a center pixel lower than the difference in brightness value is detected as a non-edge pixel, an overlapping pixel in which the high-intensity pixel and the non-edge pixel overlap is detected, and an area formed by the overlapping pixel is overlapped
  • the overlapping pixel area is generated as a dust area, and is drawn so as to specify the dust area for the image data.
  • a predetermined region or more is defined as a dust region.
  • Only high-luminance pixels may cause erroneous detection of dust due to changes in sunlight conditions, etc., and non-edge pixels alone cannot detect dust when there is no edge on the ground. Therefore, the dust region can be accurately identified by extracting the overlapping pixel region of both. Thereby, the operator can recognize the dust region generated around the self-propelled industrial machine, and the operator can appropriately recognize the surrounding situation.
  • a dump truck as a transport vehicle is applied as a self-propelled industrial machine.
  • self-propelled industrial machines are not limited to dump trucks.
  • a self-propelled construction machine having a lower traveling body may be applied as a self-propelled industrial machine.
  • the image processing apparatus of this embodiment can be applied to any self-propelled industrial machine that performs a predetermined work (transportation, excavation, etc.).
  • “left” is the left side when viewed from the cab
  • “right” is the right side when viewed from the cab.
  • the “dust” in the present embodiment includes airborne floating materials such as dirt, mist, smoke, and dust. When this dust is generated, the visibility is not good. There are cases where dust is generated when the dust on the ground (road surface) naturally rises in the air, and when the dust rises in the air due to the wind pressure when other vehicles travel. is there.
  • FIG. 1 shows an example of a dump truck 1 according to the present embodiment.
  • the dump truck 1 includes a body frame 2, a front wheel 3 (3L and 3R), a rear wheel 4 (4L and 4R), a vessel 5, a camera 6, a cab 7, an image processing device 8, and a monitor 9. Yes.
  • the body frame 2 forms the main body of the dump truck 1, and a front wheel 3 is provided in front of the body frame 2 and a rear wheel 4 is provided in the rear.
  • the front wheel 3R is the right front wheel 3, and the front wheel 3L is the left front wheel 3.
  • the rear wheel 4R is the right rear wheel 4, and the rear wheel 4L is the left rear wheel 4.
  • the vessel 5 is a loading platform on which earth and sand, minerals, and the like are loaded.
  • the vessel 5 is configured to be undulating.
  • the dump truck 1 can be provided with a camera 6 as an imaging unit at an arbitrary position.
  • FIG. 2 shows a side view of the dump truck 1, and the camera 6 is attached in front of the cab 7. And the camera 6 is imaging
  • FIG. The video imaged by the camera 6 is output to the image processing device 8 as image data.
  • the field-of-view range AR of the camera 6 is not limited to the diagonally lower front of the dump truck 1. For example, you may make it image
  • the operator's cab 7 is provided with various operation means for operating the dump truck 1 by boarding an operator.
  • a shift lever or the like for moving the dump truck 1 forward or backward is provided as the operation means.
  • the cab 7 is provided with an image processing device 8 and a monitor 9, and image data generated when the camera 6 takes an image is subjected to predetermined image processing by the image processing device 8.
  • the image data that has undergone image processing is displayed on the monitor 9.
  • the monitor 9 is a display device. Basically, the monitor 9 displays an image captured by the camera 6.
  • the field-of-view range AR is a diagonally lower area in front of the dump truck 1, in which a dust area DA and a worker M are present.
  • the visual field range AR includes the front structure 10.
  • the front structure 10 is a structure in front of the vehicle body frame 2 of the dump truck 1, and the front structure 10 is included in a part of the visual field range AR.
  • the visual field range AR illustrated in FIG. 2 is an example, and other work machines, service cars, and the like may be included in the visual field range AR.
  • FIG. 3 shows the configuration of the image processing apparatus 8.
  • the image processing device 8 is an image processing controller that performs image processing on image data captured by the camera 6. Then, the image data subjected to the image processing is displayed on the monitor 9.
  • the image processing apparatus 8 includes an image data storage unit 21, a high luminance pixel detection unit 22, a sharpening processing unit 23, a non-edge pixel detection unit 24, an overlapping pixel detection unit 25, a dust region generation unit 26, and a moving body region detection unit 27.
  • a dust region removing unit 28 a dust region scanning unit 29, an obstacle determination unit 30, an obstacle movement recognition unit 31, and a screen creation unit 32.
  • the image data storage unit 21 stores video captured by the camera 6 as image data.
  • the camera 6 outputs image data to the image data storage unit 21 at a predetermined imaging cycle. Accordingly, the image data storage unit 21 stores the oldest image data in order from the latest image data. When the amount of image data stored in the image data storage unit 21 increases, the oldest image data is deleted.
  • the camera 6 generates image data at a predetermined imaging cycle (cycle), but the timing of generating the image data may be aperiodic.
  • the high luminance pixel detection unit 22 detects high luminance pixels from the latest image data stored in the image data storage unit 21.
  • the image data is composed of a predetermined number of pixels in the X direction (horizontal direction) and the Y direction (vertical direction).
  • the high luminance pixel detection unit 22 determines whether or not all the pixels of the image data are high luminance pixels.
  • the threshold value at this time can be set to a luminance value that identifies dust. Since the brightness value of dust is relatively high, a pixel having a brightness value higher than the brightness value of dust is defined as a high brightness pixel.
  • the threshold value specified as dust can be set arbitrarily.
  • the sharpening processing unit 23 performs a sharpening process on all the pixels of the latest image data.
  • the sharpening process is a process for emphasizing the difference in luminance value between the central pixel and the peripheral pixels for a total of nine pixels with one pixel as the central pixel and the surrounding eight pixels as the peripheral pixels. Therefore, any process can be applied as long as the process emphasizes the difference in luminance value.
  • a filtering process is performed using a sharpening filter, which will be described later, to emphasize differences between the central pixel and the peripheral pixels.
  • the non-edge pixel detection unit 24 detects non-edge pixels for all the pixels of the image data subjected to the sharpening process.
  • the ground on which the dump truck 1 travels has uneven edges.
  • a relatively large difference is generated in the luminance value between adjacent pixels in the edge portion in the image data. Therefore, when the difference between the luminance values of the central pixel and the peripheral pixels is less than a predetermined threshold, it is detected that there is no edge.
  • a predetermined threshold when the difference in luminance value is equal to or greater than a predetermined threshold, an edge is present.
  • the threshold when the non-edge pixel detection unit 24 detects a non-edge pixel can be based on the difference in the brightness value detected when the uneven edge is present on the ground.
  • the threshold at this time is arbitrary Can be set to
  • the non-edge pixel detection unit 24 performs sharpening processing in order to detect non-edge pixels. That is, by performing the sharpening process, the difference in luminance value is emphasized, so that the non-edge pixel detection unit 24 can easily detect the non-edge pixel. Therefore, if the non-edge pixel detection unit 24 can detect non-edge pixels, the sharpening processing unit 23 can be omitted, but it is desirable to provide the sharpening processing unit 23 in order to reliably detect non-edge pixels.
  • the overlapping pixel detection unit 25 detects a pixel in which the high luminance pixel detected by the high luminance pixel detection unit 22 and the non-edge pixel detected by the non-edge pixel detection unit 24 overlap as an overlapping pixel. For pixels corresponding to image data, only pixels that are high-intensity pixels and non-edge pixels are extracted as overlapping pixels. Information about whether or not each pixel in the image data is an overlapping pixel is output to the dust region generating unit 26.
  • the dust region generation unit 26 specifies a dust region in the image data based on the overlapping pixels.
  • the area is set as an overlapping pixel area.
  • the overlapping pixel region is equal to or larger than a predetermined region (area)
  • the overlapping pixel region is specified as a dust region.
  • the predetermined area is based on an area that can be specified as dust. Since the normal dust region is a region having a certain size, the dust region can be specified when the overlapping pixel region is a predetermined region or more. Of course, this predetermined area can be set to an arbitrary value. However, the dust area is larger than at least the worker. Whether or not the overlapping pixel area is a dust area may be based on the number of pixels, but may be specified using a circumscribed rectangle as will be described later.
  • the moving body area detection unit 27 detects a moving body area in the image data.
  • the moving body area forms a certain area, and when the time-difference image data are compared, the moving body area is detected as the moving body area when moving to a different position.
  • Any method can be used to detect the moving object region.
  • block matching of the optical flow detection method is used.
  • any block can be used as long as it can detect that a predetermined area is moving based on image data at different times. Techniques can be used.
  • a gradient method may be used that detects using the relationship between the spatial gradient of brightness and temporal gradient in each pixel of image data, or image data when there is no moving object region and the latest image data.
  • Any method may be used such as a background difference method for detecting a difference between a frame and a frame difference method for generating two difference images using three pieces of image data at different times to detect a moving body region. it can.
  • the dust area removing unit 28 inputs the moving body area from the moving body area detecting unit 27 and inputs the dust area from the dust area generating unit 26.
  • An obstacle such as an operator in the image data is also a moving body, and the dust area is also a moving body. Therefore, the dust area removing unit 28 performs a process of removing the dust area from the moving body.
  • the moving body area from which the dust area has been removed is output to the obstacle determination unit 30. Then, the obstacle determination unit 30 determines whether the moving body area from which the dust area has been removed is an obstacle as an obstacle candidate. This obstacle candidate is an obstacle candidate outside the dust region.
  • the dust area scanning unit 29 detects whether or not an obstacle candidate exists inside the dust area.
  • the dust region scanning unit 29 receives the dust region from the dust region generation unit 26, and determines whether or not an obstacle candidate exists in the dust region.
  • the dust region scanning unit 29 determines whether or not the difference in luminance value between the central pixel and the peripheral pixels is greater than or equal to a predetermined threshold value for all the pixels inside the dust region.
  • the threshold value at this time is set as a difference in luminance value that can detect the boundary of the obstacle in the dust area.
  • this threshold value can be set to an arbitrary value.
  • the dust region scanning unit 29 outputs the detected boundary information of the obstacle to the obstacle determination unit 30. Then, the obstacle determination unit 30 determines whether the region formed by the boundary of the obstacle is an obstacle as an obstacle candidate. This obstacle candidate is an obstacle candidate in the dust region.
  • the obstacle determination unit 30 determines an obstacle based on an obstacle candidate outside the dust area, an obstacle candidate in the dust area, or both obstacle candidates.
  • the obstacle candidate forms a predetermined area, and the obstacle candidate is determined as an obstacle when the area of the obstacle candidate is equal to or greater than a predetermined threshold.
  • the threshold value at this time can be an area when a normal person is located at the farthest place in the visual field range AR. Of course, this threshold value can be set arbitrarily. Thereby, a worker can be detected as an obstacle, and other self-propelled industrial machines or service cars larger than the worker can also be detected as an obstacle.
  • the obstacle candidate when the obstacle candidate is located at the boundary of the dust region, a part of the obstacle candidate is located outside the dust region, and the rest is located in the dust region. Therefore, it is not determined as an obstacle only by an obstacle candidate outside the dust region. Further, an obstacle candidate alone is not determined as an obstacle in the dust region. Therefore, when the obstacle candidate outside the dust area and the obstacle candidate in the dust area are continuous, it is determined whether the continuous area is equal to or more than the above-described threshold value by setting the continuous area as a continuous area. To do. If it is equal to or greater than the threshold value, the continuous area is determined as an obstacle. Thereby, the obstacle is determined when the obstacle candidate is located at the boundary of the dust region.
  • the obstacle movement recognition unit 31 recognizes whether or not the obstacle is moving. That is, it is determined whether or not the position of the obstacle is moving in the image data. Any method can be used to detect whether or not the obstacle is moving. Since the image data is periodically acquired, if the position of the obstacle detected in the image data is changed in the image data, it is recognized that the obstacle is moving.
  • the obstacle movement recognition unit 31 mainly detects workers. That is, an obstacle moving at a speed at which a normal person walks is recognized. Here, a pixel is formed around the obstacle, and this is used as the surrounding pixel.
  • the obstacle movement recognition unit 31 detects the movement of the obstacle by two methods. In the first method, the movement of the obstacle is detected when the pixels around the obstacle pixel (surrounding pixels) partially overlap in the image data that changes in time. Further, in the second method, the movement of the obstacle is detected when all of the surrounding pixels of one of the surrounding image data are inside the surrounding pixels of the other.
  • the obstacle movement recognition unit 31 may have a function of performing only one of the first method and the second method, or may have a function of performing both. Thereby, it can be detected that the worker is moving by walking.
  • the screen creation unit 32 creates a screen for displaying the latest image data stored in the image data storage unit 21 on the monitor 9.
  • the screen creation unit 32 receives the dust region from the dust region generation unit 26 and the obstacle from the obstacle determination unit 30.
  • the screen creation unit 32 performs image processing for drawing to specify a dust region or an obstacle on the image data.
  • the screen creation unit 32 performs a process of drawing an outline on a dust region or an obstacle.
  • the image data subjected to this image processing is created as a display screen and output to the monitor 9.
  • the monitor 9 displays the input display screen. Note that the screen creation unit 32 may draw an outline only in one of the dust region and the obstacle.
  • the camera 6 captures an image with an area below the dump truck 1 obliquely below the visual field range AR.
  • the camera 6 has a predetermined imaging cycle (frame / second), and outputs image data for one frame to the image data storage unit 21 for each imaging cycle. Therefore, the image data is stored in the image data storage unit 21 from the camera 6 at a transfer cycle that depends on the imaging cycle.
  • image data captured by the camera 6 may be directly input to the high luminance pixel detection unit 22, the sharpening processing unit 23, and the screen creation unit 32. That is, based on the image data directly input from the camera 6, the high-luminance pixel detection unit 22, the sharpening processing unit 23, and the screen creation unit 32 can perform their respective processes.
  • the moving body region detection unit 27 detects the moving body region. At this time, if the imaging period of the camera 6 is high, even if the moving body region is moving, it is recognized as hardly moving. For this reason, it is no longer detected as a moving body region. On the contrary, when the imaging cycle is low, it is recognized that the moving body region is moving at high speed. Also in this case, it is no longer detected as a moving body region. Therefore, when the imaging cycle is high, the latest image data and the image data before a plurality of cycles are used, and when the imaging cycle is low, the latest image data and the image data before one cycle are used. Process. This ensures time-series connections.
  • FIG. 5 shows an example of image data (referred to as PD). Dust is generated around the dump truck 1, and the dust area DA is included in the image data PD. However, at this time, the dust area DA is not specified to be dust.
  • the image data PD includes uneven edges EG on the ground, and the front structure 10 of the dump truck 1 is displayed.
  • the reason why the front structure 10 is displayed in the image data PD is that the camera 6 is taking a bird's-eye view of an obliquely downward front and a part of the front structure 10 is included in the visual field range AR. is there.
  • the latest image data PD is stored in the image data storage unit 21, and the high luminance pixel detection unit 22 acquires the latest image data PD (step S1). Note that the high luminance pixel detection unit 22 may be made to input the image data PD directly from the camera 6.
  • the high luminance pixel detection unit 22 detects pixels having a luminance value higher than a luminance value that can be identified as dust for all the pixels of the image data (step S2).
  • FIG. 6 shows high luminance image data in which high luminance pixels are detected from the image data PD. Black portions in the high luminance image data in FIG. 6 are pixels detected as high luminance pixels. This high luminance image data is input to the overlapping pixel detection unit 25.
  • a certain area is formed in the high brightness image data shown in FIG. This is a high luminance area.
  • This high luminance area is an area close to the dust area DA shown in FIG. This is because the dust area DA is detected as a high brightness area because the brightness value is high.
  • the dust area DA is detected as a high brightness area because the brightness value is high.
  • the dust area DA is not specified only by the high brightness area.
  • the sharpening processing unit 23 reads the image data PD from the image data storage unit 21.
  • the sharpening processor 23 performs a sharpening process on all the pixels of the image data PD (step S3).
  • the sharpening processing performed by the sharpening processing unit 23 is performed using a sharpening filter shown in FIG.
  • the sharpening filter is composed of a central pixel and eight peripheral pixels around it.
  • the central pixel has a value of + K (K is an integer of 1 or more), and the peripheral pixels have a value of ⁇ L (L is an integer of 1 or more).
  • a sharpening filter is used to perform pixel filtering on all of the latest image data PD.
  • the luminance value of the central pixel of the image data PD is multiplied by a value of + K, and pixels corresponding to the eight neighboring pixels are multiplied by a value of ⁇ L.
  • the luminance value of the peripheral pixel after multiplication is added to the luminance value of the central pixel after multiplication.
  • the result of this addition is the sharpening value.
  • This sharpening value indicates the luminance value of the center pixel.
  • the sharpened image data is image data obtained by performing a sharpening process on the image data PD, and emphasizes a difference in luminance value between adjacent pixels. For this reason, as shown in FIG. 8, the boundary of the dust area DA and the edge EG are enhanced image data.
  • the sharpening process is a process for enhancing the edge EG of the ground.
  • a portion where the uneven edge EG of the ground has a certain difference in luminance value in the image data PD. Therefore, by performing the sharpening process, the edge EG of the ground is more emphasized and detected. Accordingly, the filter coefficients K and L of the sharpening filter are set to values such that the edge EG appears with emphasis in the image data PD.
  • the sharpened image data is output to the non-edge pixel detection unit 24.
  • the non-edge pixel detection unit 24 detects non-edge pixels for all the pixels of the sharpened image data (step S4).
  • the sharpened image data is an image in which the edge EG is emphasized. Therefore, the non-edge pixel detection unit 24 generates an image excluding the edge EG as non-edge image data.
  • FIG. 9 shows non-edge image data. In the non-edge image data of FIG. 9, black pixels are pixels detected as non-edge pixels.
  • the non-edge pixel detection unit 24 detects a pixel whose luminance value difference between adjacent pixels is less than a predetermined threshold as a non-edge pixel in order to generate an image excluding the edge EG.
  • the threshold value at this time can be based on the difference in luminance value when there is an edge EG as described above. Therefore, in FIG. 8, the portion where the edge EG exists is not detected as a non-edge pixel, and the portion where the edge EG does not exist is detected as a non-edge pixel. This is the non-edge image data shown in FIG.
  • the luminance value of the central pixel is differentiated by the average value of the luminance values of the peripheral pixels of the eight pixels, and when the differential value is smaller than a predetermined threshold, the central pixel is determined as a non-edge. Judge as a pixel.
  • the threshold value at this time can be based on the differential value when there is an edge EG.
  • a non-edge pixel can be detected based on a difference in luminance value between adjacent pixels.
  • any method can be used as long as it is a method for detecting pixels that are not edges based on the difference in luminance values.
  • the non-edge image data is generated by the sharpening process based on the sharpened image data in which the edge EG is emphasized in the image data PD. Therefore, since the difference in the luminance value of the edge EG portion is clear, the accuracy of detecting the non-edge pixel is dramatically improved. Thereby, as shown in FIG. 9, non-edge image data excluding the edge EG can be generated. Note that, as shown in the non-edge image data in the figure, the boundary portion of the dust region DA is not detected as a non-edge pixel because of a large difference in luminance value.
  • the overlapping pixel detection unit 25 receives high luminance image data from the high luminance pixel detection unit 22 and non-edge image data from the non-edge pixel detection unit 24. Both high luminance image data and non-edge image data are created based on the image data PD. Therefore, the high-luminance image data and the non-edge image data have the same number of pixels, and each pixel corresponds.
  • the overlapping pixel detection unit 25 sets a pixel in which the high luminance pixel and the non-edge pixel overlap as an overlapping pixel (step S5). That is, the overlapping pixel is a high-luminance pixel and a non-edge pixel.
  • FIG. 10 shows duplicate pixel detection processing. Pixels in which the high-luminance pixels (black pixels) shown in FIG. 6 overlap with the non-edge pixels (black pixels) shown in FIG. 9 are detected as overlapping pixels. As shown in FIG. 10, a certain area is formed by overlapping pixels. This area is defined as an overlapping pixel area. The overlapping pixel area has a shape almost similar to that of the high luminance area. Overlapping image data including this overlapping pixel area is input to the dust area generation unit 26.
  • the dust area generation unit 26 identifies the dust area DA based on the overlapping pixel area. For this reason, when the overlapping pixel area is equal to or larger than the predetermined area, the overlapping pixel area is determined as the dust area DA (step S6). Since the dust area DA has a certain size, the small area is not determined as the dust area DA. At least an area having the same size as the worker is not determined as the dust area DA. Thereby, the dust area DA can be specified from the overlapping pixel area.
  • the image data in which the dust area DA is specified is defined as dust area image data.
  • any method can be used for determining the area of the overlapping pixel region.
  • the number of pixels may be compared. That is, when the number of pixels in the overlapping pixel area is equal to or larger than the predetermined number of pixels, the overlapping pixel area can be specified as the dust area DA.
  • the predetermined number of pixels at this time can be the number of pixels having an area for specifying the dust region DA.
  • a determination may be made using a circumscribed rectangle.
  • a circumscribed rectangle (broken line in the figure) may be formed in the overlapping pixel area, and an overlapping pixel area having a circumscribed rectangle of a predetermined threshold value or more may be used as the dust area DA.
  • the threshold value may be based on the number of pixels (the number of obstacle pixels) when a normal-sized person is located at the farthest place in the visual field range AR.
  • the number of obstacle pixels is determined based on the maximum distance at which an obstacle can be detected, the mounting height and depression angle of the camera 6, and the number of pixels of the camera 6 and the angle of view. The number of pixels when existing at the position of.
  • the dust area DA is at least larger than a human being, an overlapping pixel area having a larger number of pixels than the number of obstacle pixels can be used as the dust area DA.
  • the image data in which the circumscribed rectangle is formed is used as circumscribed rectangular image data, and the image data specifying the dust region DA on the basis of the number of obstacle pixels is the dust region image data.
  • the overlapping pixel area is basically an area close to the high luminance area, and is an area where the high luminance pixel and the non-edge pixel overlap. Since dust has a high luminance, it is detected as a high luminance pixel. For this reason, as described above, the high luminance area is an area close to the dust area DA. However, the dust area DA cannot be accurately detected depending on the sunshine conditions and the illumination conditions. Therefore, the dust area DA is not specified only by the high brightness area.
  • the non-edge pixel detection unit 24 detects the non-edge pixels, sets the pixels where the high-luminance pixels and the non-edge pixels overlap (common) as the overlapping pixels, and dusts only the overlapping pixel region formed by the overlapping pixels.
  • the dust area DA is generated in the field-of-view range AR of the camera 6, the ground is covered with dust, and the ground can hardly be recognized. For this reason, the uneven edge EG of the ground is not detected in the dust area DA.
  • the overlapping pixel region is a region where the high luminance pixel and the non-edge pixel overlap.
  • the dust area DA is required to satisfy not only high-luminance pixels but also non-edge pixels. In other words, since only pixels that satisfy both conditions of high-luminance pixels and non-edge pixels are used as overlapping pixels, the dust area DA can be accurately detected.
  • the dust area DA is not a narrow area but a relatively wide area. Therefore, the detection accuracy of the dust area DA is further improved by setting the overlapping pixel area that is larger than the area that can be specified as the dust area DA as the dust area DA.
  • the dust area generation unit 26 generates the dust area DA in the image data PD.
  • the dust area image data specifying the dust area DA is output to the screen creation unit 32.
  • the latest image data PD is input from the image data storage unit 21 to the screen creation unit 32. That is, the image data PD photographed by the camera 6 is input to the screen creation unit 32. Dust region image data is input to the screen creation unit 32. Since the dust area image data is originally generated based on the image data PD, it corresponds to the image data PD. Therefore, the boundary portion of the dust area DA of the dust area image data is drawn on the image data PD.
  • FIG. 12 depicts the boundary portion of the dust area DA as an outline in the image data PD.
  • This outer shell becomes a dust outer shell 41. That is, the area surrounded by the dust outline 41 is the dust area DA.
  • the screen creation unit 32 creates a screen in which the dust outline 41 is drawn on the image data PD (step S7). Then, the screen created on the monitor 9 is output. The monitor 9 displays the input screen (step S8).
  • An operator boarding the cab 7 visually recognizes the dust area DA surrounded by the dust outline 41 in the image data PD displayed on the monitor 9, and the area surrounded by the dust outline 41 is the dust area DA. You can grasp this at a glance. As a result, the operator can recognize that the dust area DA is generated in front of the dump truck 1. Since the operator's field of view is not good in the dust area DA, the operator can be alerted that the dust area DA is generated. Thereby, the situation around the dump truck 1 can be recognized accurately.
  • the dust area DA moves in a fluid manner, the dust area DA surrounded by the dust outline 41 moves every moment.
  • the dust area DA is clearly recognized as a dust area, the dust area DA is not recognized as other obstacles (for example, workers, work machines, service cars, etc.). Therefore, the dust area DA and the obstacle can be clearly distinguished.
  • the dust area DA When detecting a moving body area by image processing and detecting an obstacle, the dust area DA is also detected as an obstacle. Therefore, when the moving object region is detected as an obstacle by performing image processing, the obstacle region cannot be accurately detected because the dust region is also included in the moving object region. Therefore, by clearly specifying the dust area DA, the obstacle and the dust area DA can be distinguished, and the obstacle can be detected accurately by image processing.
  • image data including dust is displayed on the monitor 9.
  • Image data including dust is easily misrecognized as noise and becomes abnormal image data.
  • the operator may see that the image data includes the dust area DA and is not abnormal image data that causes noise. Can be grasped.
  • the visual field range AR of the camera 6 is set so that the image data PD includes a part of the front structure 10 of the dump truck 1. Thereby, the front structure 10 is displayed in the image data PD, and the dust outline 41 of the dust area DA is also drawn. Therefore, the operator can recognize the distance between the front structure 10 and the dust area DA by visually recognizing the monitor 9.
  • an obstacle is included in the image data PD and the obstacle is specified.
  • a worker is mainly assumed, but other work machines, service cars, and the like are also obstacles. Obstacles are detected when the obstacle is located outside the dust area DA, when the obstacle is located inside the dust area DA, and when located at the boundary of the dust area DA. Is different. Hereinafter, each case will be described separately.
  • FIG. 13 shows image data PD taken by the camera 6.
  • the worker M is located in a region outside the dust region DA.
  • the moving body region detection unit 27 detects the moving body region.
  • the moving body region detecting unit 27 detects the moving body region, thereby detecting the worker M. Any method can be used to detect the moving object region in the image data PD. Here, a case where block matching of the optical flow detection method is used will be described. However, if the moving body region can be detected based on two or more pieces of image data PD having different times, the moving body region detection unit 27 is optional. The moving object region can be detected using the above method.
  • the moving body region detection unit 27 reads the image data PD one cycle before or a plurality of cycles before (here, the image data PD one cycle before) and the latest image data PD according to the imaging cycle of the camera 6.
  • an attention area NA having a predetermined number of pixels in the image data PD is set.
  • an area of 16 pixels in total of 4 pixels in the X direction and 4 pixels in the Y direction is set as the attention area NA.
  • the number of pixels in the attention area NA can be arbitrarily set.
  • an area larger than the attention area NA in the vertical and horizontal directions with the attention area NA as the center is set as the search area SA.
  • an area of 8 pixels in each of the X direction and the Y direction and a total of 64 pixels is set as the search area SA.
  • the moving body area detection unit 27 searches the search area SA with an area having the same size as the attention area NA (referred to as a comparison area CA). That is, the comparison area CA and the attention area NA are areas of the same size, which is a total of 16 pixels of 4 pixels ⁇ 4 pixels.
  • the comparison area CA is shifted pixel by pixel in the X direction from the upper left of the search area SA, and the search in the X direction is performed.
  • a search is performed in the X direction by shifting one pixel in the Y direction and again by shifting one pixel in the X direction. As a result, the entire search area SA can be searched (scanned).
  • the moving body area detection unit 27 detects whether or not the attention area NA is moving in the search area SA. For this purpose, a difference in luminance value between corresponding pixels in the attention area NA of the image data PD one transfer cycle before and the comparison area CA of the latest image data PD is calculated.
  • FIG. 16 shows a comparison between the attention area NA and the comparison area CA.
  • the attention area NA and the comparison area CA are a total of 16 pixels of 4 pixels ⁇ 4 pixels, and one pixel in the attention area NA corresponds to one pixel in the comparison area CA.
  • a difference value is obtained for each pixel by calculating a difference in luminance value between corresponding pixels.
  • the moving body region detection unit 27 performs an operation of squaring each of the 16 difference values, and performs an operation of summing the values obtained by squaring the difference values. If the total value at this time is small, it is determined that the attention area NA and the comparison area CA are the same.
  • the threshold for determining whether or not the total value is small can be based on whether or not the attention area NA and the comparison area CA can be regarded as the same obstacle. Of course, the threshold value at this time can be set arbitrarily.
  • the attention area NA can be detected as a moving body area. If the position does not change, it is not detected as a moving body region. As described above, the moving body region detection unit 27 can detect the moving body region.
  • the search area SA can be set arbitrarily, but the amount of movement when a person walks at a normal speed during one period of the imaging period of the camera 6 (or a plurality of periods when the imaging period of the camera 6 is high). Can be set based on limits. Thereby, the worker M can be detected as a moving body.
  • the dust area DA also moves in a fluid manner. Therefore, the dust area DA may also be detected as a moving body area. Therefore, the moving body area detected by the moving body area detecting unit 27 is output to the dust area removing unit 28, and the dust area removing unit 28 removes the dust area DA from the moving body area.
  • the dust area removing unit 28 receives the dust area DA from the dust area generating unit 26, and removes the dust area DA from the moving body area. As a result, the moving body area does not include the dust area DA.
  • the moving object area not including the dust area DA is input to the obstacle determination unit 30.
  • This moving body region becomes an obstacle candidate.
  • the obstacle determination unit 30 determines the size of the obstacle candidate region input from the dust region removal unit 28. As described above, if the number of obstacle candidates is equal to or greater than the number of obstacle pixels, based on the number of pixels (the number of obstacle pixels) when a normal person is present at the farthest position in the visual field range AR, It is determined as an obstacle, otherwise it is not determined as an obstacle. Thereby, the worker M is detected as an obstacle, and similarly, a working machine or a service car larger than the worker M is recognized as an obstacle. The recognized obstacle is output to the screen creation unit 32.
  • the screen creation unit 32 draws an obstacle outline 42 around the obstacle.
  • the obstacle outline 42 is displayed as a circumscribed rectangle, but the obstacle outline 42 may not be rectangular.
  • the screen creation unit 32 draws the dust outline 41 on the boundary of the dust area DA and draws the obstacle outline 42 around the worker M as an obstacle. Thereby, image data PD as shown in FIG. 17 is created.
  • the operator can not only grasp the dust area DA, but also draw the obstacle outline 42, so that the presence of the worker M can be seen at a glance. I can grasp it.
  • the dust outline 41 and the obstacle outline 42 as outlines having different display modes, it is possible to intuitively recognize the dust area or the obstacle. For example, by using different line types for the dust outline 41 and the obstacle outline 42, the difference between them can be clearly grasped. In the example of FIG. 17, a broken line is used for the dust outline 41 and a solid line is used for the obstacle outline 42.
  • the operator can recognize the dust area and the obstacle (worker M). Thereby, by displaying the image data PD on the monitor 9, the situation around the dump truck 1 can be reliably recognized.
  • FIG. 18 shows the image data PD in a state where the worker M is located inside the dust area DA. Since the field of view inside the dust area DA is not good, the worker M is not clearly displayed in the image data PD. Therefore, the worker M inside the dust area DA is detected.
  • the dust area generation unit 26 generates a dust area DA in the latest image data PD. Thereby, the dust area DA in the PD of the image data is specified. As described above, since the inside of the dust area DA is covered with the edge EG of the ground, the edge EG is not detected. Therefore, since the edge EG of the ground is not detected inside the dust area DA, the boundary portion of the obstacle stands out.
  • the dust area DA generated by the dust area generation unit 26 is output to the dust area scanning unit 29.
  • the dust area scanning unit 29 scans the inside of the dust area DA. This scanning is performed based on whether or not the difference in luminance value between the central pixel and the peripheral pixels of the surrounding eight pixels is large. If the difference in luminance value is large, it is identified as an obstacle, otherwise it is not identified as an obstacle.
  • the dust area scanning unit 29 differentiates the luminance value of the central pixel by the average value of the luminance values of the peripheral pixels. If the differential value at this time is equal to or greater than a predetermined threshold, the boundary of the obstacle is detected, and otherwise, the boundary of the obstacle is not detected.
  • the threshold value is set to a difference in luminance value for detecting an obstacle boundary. This process is performed for all the pixels in the dust area DA. As a result, pixels at the boundary of the obstacle are detected.
  • an area (obstacle boundary area) formed by the boundary of the obstacle is output to the obstacle determination unit 30 as an obstacle candidate.
  • the obstacle determination unit 30 determines an obstacle based on whether or not the number of obstacle candidates is equal to or greater than the number of obstacle pixels described above. When the obstacle candidate is equal to or greater than the number of obstacle pixels, it is determined as an obstacle. Thereby, the worker M inside the dust area DA is detected as an obstacle, and the work machine, the service car, and the like are also detected as an obstacle.
  • the obstacle determined by the obstacle determination unit 30 is output to the screen creation unit 32. Thereby, as shown in FIG. 19, the dust outline 41 of the dust area DA is drawn, and the obstacle outline 42 is drawn in the dust area DA. By displaying the image data PD at this time on the monitor 9, the operator can recognize that an obstacle (worker M) exists in the dust area DA.
  • the dust area scanning unit 29 detects the boundary of the obstacle in the dust area DA based on the difference in luminance value for each pixel of the dust area DA. For this reason, the center pixel is differentiated by the average value of the surrounding pixels, but the boundary of the obstacle may be detected by other methods. For example, a corner detection method for detecting an obstacle corner as a feature point or a straight line extraction method for extracting a straight line as a feature point may be used. These may be used alone or in combination. In short, any technique can be used as long as it can detect the boundary of the obstacle inside the dust area DA.
  • FIG. 20 shows image data PD taken by the camera 6.
  • the worker M is located at the boundary of the dust area DA.
  • the upper body is inside the dust area DA and the lower body is outside the dust area DA. Note that the worker M is moving.
  • the dust area scanning unit 29 causes the portion of the worker M inside the dust area DA to be an obstacle candidate, but this obstacle candidate does not have an area set for determining an obstacle. Therefore, the worker M cannot be recognized as an obstacle.
  • a part outside the dust area DA of the worker M becomes an obstacle candidate by the dust area removing unit 28, but this obstacle candidate does not have an area that can be determined as an obstacle. Therefore, the worker M cannot be recognized as an obstacle.
  • the obstacle determination unit 30 determines whether or not the moving body region input from the dust region removing unit 28 and the obstacle boundary region input from the dust region scanning unit 29 are continuous. A region where the moving body region and the obstacle boundary region are continuous is determined as a continuous region. Image processing when the worker M is located at the boundary of the dust area DA will be described with reference to FIGS.
  • the moving body region detecting unit 27 detects the moving body region based on the image data PD of the previous cycle and the latest image data PD.
  • the black part in the figure is the moving body region.
  • a part of the dust area DA is also detected as the moving body area in FIG.
  • the worker M since the worker M is also moving, it is detected as a moving body region.
  • “M” indicates a moving body region of the worker M. An image in which the moving body area is detected is set as moving body area image data.
  • the dust area removing unit 28 inputs the dust area image data from the dust area generating unit 26 and the moving body area image data from the moving body area detecting unit 27. And as shown in FIG. 22, the dust area
  • An image generated by the dust region removing unit 28 is assumed to be dust region removed image data. Note that the dust area removal image data includes not only the worker M (a part thereof) but also other areas excluding the dust area DA from the moving body area.
  • the dust area scanning unit 29 scans the inside of the dust area DA.
  • FIG. 23 shows the inside of the dust area DA in order to input the dust area image data and the latest image data PD, specify the dust area DA in detail, and detect the boundary of the obstacle inside the dust area DA. Detect obstacle boundaries.
  • the image data in which the boundary of the obstacle is detected is used as dust area scanning image data. It should be noted that the boundary is detected in the dust region scanning image data other than part of the worker M.
  • the obstacle determination unit 30 inputs the dust region removal image data from the dust region removal unit 28, and inputs the dust region scanning data from the dust region scanning unit 29. Then, as shown in the figure, the obstacle determination unit 30 combines the two image data. That is, obstacle candidate area image data in which the moving body area and the obstacle boundary area constitute obstacle candidates is generated. The obstacle determination unit 30 determines that the moving body region and the obstacle boundary region are continuous regions when they are continuous. Here, the portion indicated by “M” is a continuous region. The continuous area, the moving body area, and the obstacle boundary area become obstacle candidates, and a circumscribed rectangle is formed on each obstacle candidate. This is the circumscribed rectangle forming image data.
  • the obstacle determination unit 30 performs a circumscribed rectangular area determination process. That is, when the circumscribed rectangle region (area) of the obstacle candidate has an area to be determined as an obstacle, it is determined as an obstacle. In FIG. 24, only the continuous area is determined as an obstacle. This continuous area is the worker M as an obstacle. Thereby, when the worker M is located at the boundary of the dust area DA, the worker M can be detected.
  • the image data from which the worker M has been detected is obstacle image data.
  • the obstacle determination unit 30 performs the area determination process using the circumscribed rectangle, as described above, when the number of pixels of the obstacle candidate is equal to or larger than the number of pixels that can be determined as the obstacle, the obstacle candidate May be determined as an obstacle. That is, the continuous area can be determined as an obstacle when the number of pixels in the continuous area is equal to or greater than the number of pixels that can be determined as an obstacle.
  • the screen creation unit 32 draws the dust outline 41 of the dust area DA and draws the obstacle outline 42 of the worker M determined by the obstacle determination unit 30. Thereby, as shown in FIG. 25, the dust area DA is specified, and the worker M located at the boundary of the dust area DA is also specified.
  • the worker M is normally moved by walking at the work site, and the obstacle is the worker M when the obstacle determined by the obstacle determination unit 30 is moving.
  • Any method can be used as a method for detecting whether or not the obstacle is moving. That is, any method can be used as long as it can be detected whether or not the area in the image data PD recognized as an obstacle is moving.
  • the obstacle movement recognition unit 31 detects the movement of the obstacle.
  • the obstacle movement recognition unit 31 detects the movement of the obstacle using the first method or the second method.
  • FIG. 26 illustrates a state in which the movement of an obstacle is detected by the first method.
  • the camera 6 performs imaging at a predetermined imaging cycle, and the old image data PD is stored in the image data storage unit 21 in order from the latest image data PD.
  • the obstacle determination unit 30 detects whether or not the obstacle is moving based on a plurality of image data PD having different times including the latest image data. As shown in FIG. 26, when an obstacle is detected in the latest image data PD, surrounding pixels are formed around the obstacle. In FIG. 26, surrounding pixels are also formed on the obstacles one cycle before and two cycles before. The obstacle movement recognition unit 31 determines whether or not surrounding pixels partially overlap in order from the latest image data PD.
  • the obstacle can be recognized as the worker M.
  • the worker M determines with the obstruction not moving. If the surrounding pixels are separated from each other, the worker M is not recognized.
  • the camera 6 has a fixed imaging cycle, and if the normal worker M is walking, the amount of movement that can be moved during the imaging cycle is also limited. Therefore, when the surrounding pixels are separated from each other, the obstacle is moving at a high speed, and this is not detected by the worker M.
  • the obstacle is moving only when surrounding pixels are partially overlapped by the imaging period of the camera 6, and the obstacle is recognized as the worker M.
  • the precision which can recognize the worker M can be improved. It is the worker M who needs to pay the most attention around the dump truck 1. By detecting this worker M, safety when starting the dump truck 1 can be ensured.
  • image data in which the dust area DA is generated is obtained by drawing the obstacle outline 42 shown in FIG. 25 and the like so as to identify the worker M (for example, by changing the line type).
  • the obstacle is not a simple obstacle but a worker M.
  • FIG. 27 shows an example.
  • FIG. 3A shows the obstacle pixel and its surrounding pixels two cycles before.
  • the pixel shown with the broken line has shown the surrounding pixel before the next 1 period.
  • FIG. 5B shows the obstacle pixel and its surrounding pixels one cycle before.
  • the pixel shown with the broken line has shown the newest surrounding pixel.
  • FIG. 5C shows the latest obstacle pixel and surrounding pixels.
  • FIGS. 5A to 5C when an obstacle is moving on the optical axis of the camera 6.
  • FIGS. 2A and 2B the surrounding pixels that move back and forth in time do not overlap.
  • the obstacle movement recognition unit 31 recognizes the movement of the obstacle if the obstacle is moving on the optical axis of the camera 6 even if surrounding pixels that are temporally adjacent do not overlap.
  • the obstacle movement recognition unit 31 detects the movement of the obstacle when all of the surrounding pixels that are temporally adjacent are inside the other surrounding pixels. To do. All the surrounding pixels in the previous two cycles in FIG. 9A are inside the area of the surrounding pixels in the previous cycle. Further, the latest surroundings of all the surrounding pixels in the previous period of FIG. That is, the surrounding pixels that move in time are not overlapping, but the obstacle is moving.
  • FIGS. 9A to 9C show a state in which an obstacle gradually approaches the dump truck 1 along the optical axis of the camera 6, but the obstacle moves away from the dump truck 1 ( The same applies to the case of separation.
  • the obstacle movement recognition unit 31 detects the movement of the obstacle by the second method, the obstacle is recognized as the worker M. Thereby, the point which can improve the accuracy which can recognize worker M is the same as that of the 1st method. In the second method, it can be recognized that the worker M is gradually approaching the dump truck 1. Thereby, the safety
  • the obstacle movement detection unit 31 may have only a function of performing the first method, or may have only a function of performing the second method. However, the foreign object movement detection unit 31 has a function of performing both the first method and the second method, and the movement of the obstacle is performed using either the first method or the second method. It is desirable to detect.
  • the second method not only when the obstacle moves in a direction completely coincident with the optical axis of the camera 6, but also when the obstacle moves in a direction slightly deviated from the optical axis. Can be detected. Even in this case, the movement of the obstacle is detected when all the pixels of one surrounding pixel among the surrounding pixels moving back and forth in time are inside the other surrounding pixel.
  • FIG. 28 shows a flow of processing performed by the screen creation unit 32.
  • the dust area generator 26 generates the dust area DA.
  • the dust area generation unit 26 determines whether or not the dust area DA exists (step S11). If the dust area DA exists, the screen creation unit 32 draws the dust outline 41 on the image data PD (step S12). On the other hand, if the dust area DA does not exist, the dust outline 41 is not drawn.
  • the obstacle determination unit 30 determines whether an obstacle exists based on the obstacle candidate (step S13). When the obstacle determination unit 30 determines that there is an obstacle, the screen creation unit 32 draws the obstacle outline 42 on the image data PD (step S14). On the other hand, if no obstacle exists, the obstacle outline 42 is not drawn.
  • the high luminance pixel detection unit 22 detects high luminance pixels.
  • a pixel in which a high-luminance pixel and a non-edge pixel overlap is used as an overlapping pixel, and an overlapping pixel region is formed when the overlapping pixel forms a certain region.
  • the dust area DA is specified.
  • a target pixel area of P (P is an integer of 1 or more) pixels in the X direction and Q (Q is an integer of 1 or more) pixels in the Y direction is set.
  • the number of pixels in the target pixel area can be set to the number of obstacle pixels described above, for example.
  • the peripheral pixel region is a pixel region obtained by increasing R (R is an integer of 1 or more) pixels vertically and horizontally with the pixel region of interest at the center.
  • the high luminance pixel detection unit 22 calculates the average value of the luminance values of the pixels in the target pixel region (in the case of one pixel, the luminance value of the pixel), and averages the luminance values of the pixels in the peripheral pixel region. Is calculated.
  • the high luminance pixel detection unit 22 can determine that the target pixel region is a high luminance pixel region.
  • the high luminance pixel detection unit 22 scans the target pixel region over the entire region of the image data PD, and compares the average luminance value. When a certain area is formed by the target pixel area determined as the area of the high luminance pixel, the area can be recognized as the high luminance area.
  • the high luminance pixel detection unit 22 can recognize the boundary portion of the high luminance region in detail.
  • the boundary of the high luminance region is recognized as a high luminance pixel. Therefore, when a high luminance pixel is detected and recognized as a certain high luminance region, the inside of the region formed by the high luminance pixel is recognized as a high luminance region.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　自走式産業機械に搭載した撮影部により撮影した画像データにより周囲の安全を確認するときに、塵埃が発生したとしても、周囲の状況を適切にオペレータに認識させることを目的とする。　画像データＰＤの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出し、画像データＰＤの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い前記中心画素を非エッジ画素として検出し、高輝度画素と非エッジ画素とが重複している重複画素を検出し、重複画素により形成される領域を重複画素領域として、重複画素領域が塵埃と特定するための領域以上の大きさのときに重複画素領域を塵埃領域ＤＡとして生成し、画像データＰＤに対して塵埃領域ＤＡを特定するように描画した画面を作成する。

Description

自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
　本発明は、自走式産業機械に設けた撮影部が撮影する画像データに対して所定の画像処理を行う自走式産業機械の画像処理装置および自走式産業機械の画像処理方法に関するものである。
　自走式産業機械としてのダンプトラックは、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えている。油圧ショベル等の作業機械が掘削した土砂等の運搬対象物はダンプトラックのベッセルに積載される。ベッセルに運搬対象物が積載された後に、ダンプトラックのオペレータが走行操作を行うことで、ダンプトラックが走行する。そして、所定の集積場までダンプトラックを走行した後に、ベッセルの運搬対象物の排土を行う。
　ダンプトラックが停止中には格別に周囲の安全性を確認する必要はない。しかし、ダンプトラックを発進する直前には周囲の安全性を確認した後に、ダンプトラックを発進させる必要がある。特に、ダンプトラックが停止中には、作業員やサービスカーがダンプトラックに接近することがあるため、ダンプトラックの発進直前には周囲の安全性について、より高度な注意が必要になる。
　このために、ダンプトラックにカメラを搭載し、カメラの映像をダンプトラックの運転室に設けたモニタに出力する。運転室に搭乗するオペレータはモニタに表示される画像を視認することにより、ダンプトラックの周囲の安全性をより詳細に確認することができる。つまり、モニタに表示される画像はオペレータによる周囲の安全性の認識をアシストする役割を果たす。
　周囲の安全性を確認するのは、下部走行体を有する油圧ショベル等の建設機械においても同様であり、特許文献１では油圧ショベルにカメラを装着して、カメラの映像に基づいて、油圧ショベルの作業範囲に侵入移動体が入っているか否かを検出している。そして、所定の画像処理を行うことで、侵入移動体の距離や人体としての確信度の評価を行っている。
特開平１０－７２８５１号公報
　ダンプトラックは、鉱山や建設現場等の極めて過酷な環境下で運用されるため、ダンプトラックの運転室に搭乗するオペレータの視認性を低下させる種々の要因が存在する。特に、ダンプトラックが走行する作業現場には、土煙や霧、煙、粉塵その他の塵埃が発生する場合が多い。この塵埃がオペレータの視認性を低下させる要因となる。
　塵埃が発生したときには、カメラが撮影する映像にも塵埃が含まれる。このため、ダンプトラックの運転室に配備したモニタには塵埃が含まれた画像データが表示される。画像データに塵埃が含まれると、画像データは異常な画像データになる。特に、塵埃は画像データのノイズとして誤認識される可能性があり、モニタを視認することによっては、オペレータはダンプトラックの周囲の状況を性格に把握することができなくなる。
　また、前述した特許文献１のように、画像データに対して所定の画像処理を行うことにより移動体を検出する場合に、移動体の検出が正確に行われなくなる。塵埃は空中の浮遊物であり、流動的に移動する。これにより、現場周辺の状況によっては、塵埃領域が流動的に移動し、この塵埃領域を障害物として誤検出することがある。これにより、塵埃領域が発生すると、正確に障害物を認識することができなくなり、ダンプトラックの周囲の状況を正確に把握することができなくなる。
　そこで、本発明は、自走式産業機械に搭載した撮影部により撮影した画像データにより周囲の安全を確認するときに、塵埃が発生したとしても、周囲の状況を適切にオペレータに認識させることを目的とする。
　以上の課題を解決するため、本発明の自走式産業機械の画像処理装置は、自走式産業機械に設けた撮影部が撮影した映像を画像データとして、この画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出する高輝度画素検出部と、前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出する非エッジ画素検出部と、前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出する重複画素検出部と、前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成する塵埃領域生成部と、前記画像データに対して前記塵埃領域を特定するように描画した画面を作成する画面作成部と、を備えている。
　この自走式産業機械の画像処理装置によれば、高輝度画素と非エッジ画素とが重複している重複画素のうち所定の領域以上を塵埃領域としている。高輝度画素だけでは日照条件の変化等により塵埃の誤検出を行うことがあり、非エッジ画素だけでは地面にエッジがない場合に塵埃を検出できない。そこで、両者の重複画素領域を抽出することで、正確に塵埃領域を特定できる。これにより、自走式産業機械の周囲に発生している塵埃領域をオペレータに認識させることができ、周囲の状況を適切にオペレータに認識させることができる。
　また、前記非エッジ画素検出部が前記非エッジ画素を検出する前に、前記画像データの全ての画素に対して、中心画素と周辺画素との輝度値の差異を強調する鮮鋭化処理を行う鮮鋭化処理部をさらに備えてもよい。
　鮮鋭化処理を行うことで、地面のエッジがさらに際立つようになる。これにより、地面のエッジを正確に検出できるため、非エッジ画素検出部の検出精度が向上し、その結果塵埃領域を特定する精度も向上する。
　また、前記画像データを記憶する画像データ記憶部に記憶され、時間的に前後する画像データの差分に基づいて移動体領域を検出する移動体領域検出部と、前記移動体領域から前記塵埃領域を除去する塵埃領域除去部と、前記塵埃領域を除去した前記移動体領域を障害物候補として、この障害物候補が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記障害物候補を前記障害物として判定する障害物判定部と、をさらに備えてもよい。
　塵埃は流動的に移動するため、移動体領域検出部が塵埃を移動体領域として検出する。このとき、移動体領域から塵埃領域を除外した障害物候補の領域が所定領域以上であるときに、障害物と特定することができる。これにより、塵埃領域以外の障害物を検出することができる。
　また、前記塵埃領域の内側の全ての画素に対して、中心画素と周辺画素との輝度値の差異が障害物の境界として検出される輝度値の差異よりも高い画素を検出する塵埃領域走査部と、前記塵埃領域走査部が検出した画素により形成される領域を障害物候補として、この障害物候補が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記障害物候補を前記障害物として判定する障害物判定部と、をさらに備えてもよい。
　塵埃領域内は塵埃により地面のエッジを判別することが困難になるため、塵埃領域内に障害物が存在する場合には、その境界を容易に検出することができる。これにより、塵埃領域内における障害物の存在を容易に認識することが可能になる。
　また、前記画像データを記憶する画像データ記憶部に記憶され、時間的に前後する画像データの差分に基づいて移動体の領域を検出する移動体領域検出部と、前記移動体領域から前記塵埃領域を除去する塵埃領域除去部と、前記塵埃領域の内側の全ての画素に対して、中心画素と周辺画素との輝度値の差異が障害物の境界として検出される輝度値の差異よりも高い画素を検出する塵埃領域走査部と、前記塵埃領域を除去した前記移動体領域を塵埃領域外障害物候補として、且つ前記塵埃領域走査部が検出した画素により形成される領域を塵埃領域内障害物候補として、前記塵埃領域外障害物候補と前記塵埃領域内障害物候補とが連続している連続領域が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記連続領域を前記障害物として判定する障害物判定部と、をさらに備えてもよい。
　塵埃領域の境界に障害物が存在しているとき、障害物の一部が塵埃領域内に存在し、残部が塵埃領域外に存在する。これにより、塵埃領域内の障害物候補および塵埃領域外の障害物候補は障害物と判定できる領域以上を有していないため、障害物として判定されない。そこで、両者が連続している連続領域が所定領域以上であるときに、障害物と判定することができる。
　また、時間的に前後する前記障害物の画素の周囲画素が部分的に重複しているとき、または時間的に前後する前記障害物の画素の周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、前記障害物が移動していることを認識する障害物移動認識部をさらに備えてもよい。
　障害物は通常移動していることが多く、時間的に前後する障害物の画素の周囲の画素が部分的に重複しているとき、または周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、作業員が歩行をしていること可能性が高くなる。これにより、障害物を作業員として認識することができ、自走式産業機械の周囲に作業員が存在していることを認識することができる。
　また、前記画面作成部は、前記塵埃領域が発生しているときに前記塵埃領域の外郭を描画し、前記障害物が発生しているときに前記障害物の外郭を描画してもよい。
　塵埃領域および障害物の外郭を画像データに重畳表示することで、表示された画像データに基づいて、オペレータは塵埃領域と障害物とを明確に認識することができる。塵埃領域の外郭と障害物の外郭とを異なる態様で描画することで、両者の区別を直感的に行うことができる。
　また、本発明の自走式産業機械の画像処理方法は、自走式産業機械に設けた撮影部が撮影した映像を画像データとして入力して、前記画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出し、前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出し、前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出し、前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成し、前記画像データに対して前記塵埃領域を特定するように描画した画面を作成している。
　本発明は、高輝度画素と非エッジ画素とが重複している画素のうち所定の領域以上を塵埃領域としている。高輝度画素だけでは日照条件の変化等により塵埃の誤検出を行うことがあり、非エッジ画素だけでは地面にエッジがない場合に塵埃を検出できない。そこで、両者の重複画素領域を抽出することで、正確に塵埃領域を特定できる。これにより、自走式産業機械の周囲に発生している塵埃領域をオペレータに認識させることができ、周囲の状況を適切にオペレータに認識させることができる。
ダンプトラックの上面図である。 ダンプトラックの側面図である。 画像処理装置の構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 塵埃領域が含まれる画像データを示す図である。 高輝度画像データを示す図である。 鮮鋭化処理を説明するための図である。 鮮鋭化画像データを示す図である。 非エッジ画像データを示す図である。 重複画像データの生成を説明する図である。 塵埃領域画像データを示す図である。 塵埃外郭を画像データに描画した図である。 作業員が塵埃領域の外側にいるときの画像データを示す図である。 移動体領域の検出を説明する図である。 検索領域内を注目領域で検索する手法を説明する図である。 注目領域と比較領域との画素間の比較を説明する図である。 図１３の画像データに障害物外郭を描画した画像データを示す図である。 作業員が塵埃領域の内側にいるときの画像データを示す図である。 図１８の画像データに障害物外郭を描画した画像データを示す図である。 作業員が塵埃領域の境界にいるときの画像データを示す図である。 移動体領域画像データの生成を説明する図である。 塵埃領域除去画像データの生成を説明する図である。 塵埃領域走査画像データの生成を説明する図である。 障害物画像データの生成を説明する図である。 図２０の画像データに障害物外郭を描画した画像データを示す図である。 障害物の移動を認識する第１の手法を説明する図である。 障害物の移動を認識する第２の手法を説明する図である。 画面作成部のフローを説明する図である。 高輝度領域を検出する他の例を説明する図である。
　以下、図面を参照して、本発明の実施形態について説明する。ここでは、運搬車両としてのダンプトラックを自走式産業機械として適用している。ただし、自走式産業機械はダンプトラックには限定されない。例えば、下部走行体を有する自走式の建設機械を自走式産業機械として適用してもよい。ダンプトラックとしてはリジットタイプとアーティキュレートタイプとがあるが、何れを適用してもよい。要は、所定の作業（運搬や掘削等）を行う任意の自走式産業機械に本実施形態の画像処理装置を適用することができる。なお、以下において、「左」とは運転室から見たときの左方であり、「右」とは運転室から見たときの右方である。
　また、本実施形態における「塵埃」には、土煙や霧、煙、粉塵等のような空中の浮遊物が含まれる。この塵埃が発生すると、視界が良好でなくなる。塵埃が発生する要因としては、地面（路面）の土埃が自然的に空中に舞い上がることにより発生する場合もあり、他の車両が走行したときの風圧により土埃が空中に舞い上がることにより発生する場合もある。
　図１は、本実施形態のダンプトラック１の一例を示している。ダンプトラック１は、車体フレーム２と前輪３（３Ｌおよび３Ｒ）と後輪４（４Ｌおよび４Ｒ）とベッセル５とカメラ６と運転室７と画像処理装置８とモニタ９とを備えて構成している。車体フレーム２はダンプトラック１の本体を形成するものであり、車体フレーム２の前方に前輪３、後方に後輪４を設けている。なお、前輪３Ｒは右方の前輪３であり、前輪３Ｌは左方の前輪３である。また、後輪４Ｒは右方の後輪４であり、後輪４Ｌは左方の後輪４である。ベッセル５は荷台であり、土砂や鉱物等を積載する。ベッセル５は起伏可能に構成されている。
　ダンプトラック１には任意の位置に撮像部としてのカメラ６を設置することができる。図２はダンプトラック１の側面図を示しており、カメラ６は運転室７の前方に取り付けられている。そして、カメラ６はダンプトラック１の前方の斜め下方を俯瞰するような視野範囲ＡＲ（図中の破線の範囲）で撮影を行っている。カメラ６が撮影した映像は画像データとして画像処理装置８に出力される。なお、カメラ６の視野範囲ＡＲはダンプトラック１の前方の斜め下方には限定されない。例えば、ダンプトラック１の後方の斜め下方を撮影するようにしてもよい。これにより、ダンプトラック１を後進させるときに、後方の状況をモニタ９に表示することができる。
　運転室７はオペレータが搭乗してダンプトラック１を操作する各種の操作手段が設けられている。例えば、ダンプトラック１を前進または後進させるシフトレバー等が操作手段として設けられている。運転室７には画像処理装置８とモニタ９とが設けられており、カメラ６が撮影することにより生成される画像データは画像処理装置８で所定の画像処理が行われる。画像処理が行われた画像データはモニタ９に表示される。モニタ９は表示装置であり、基本的にモニタ９にはカメラ６が撮影する映像が表示されている。
　図２においては、視野範囲ＡＲはダンプトラック１の前方の斜め下方の領域となっており、この中に塵埃領域ＤＡと作業員Ｍとが存在している。また、視野範囲ＡＲには前方構造物１０が含まれている。前方構造物１０はダンプトラック１の車体フレーム２の前方の構造物であり、視野範囲ＡＲの一部に前方構造物１０が含まれるようになっている。なお、図２に示した視野範囲ＡＲは一例であり、他の作業機械やサービスカー等が視野範囲ＡＲに含まれることもある。
　図３は画像処理装置８の構成を示している。画像処理装置８はカメラ６が撮影した画像データに対して画像処理を行う画像処理コントローラである。そして、画像処理を行った画像データをモニタ９に表示する。画像処理装置８は、画像データ記憶部２１と高輝度画素検出部２２と鮮鋭化処理部２３と非エッジ画素検出部２４と重複画素検出部２５と塵埃領域生成部２６と移動体領域検出部２７と塵埃領域除去部２８と塵埃領域走査部２９と障害物判定部３０と障害物移動認識部３１と画面作成部３２とを備えて構成している。
　画像データ記憶部２１はカメラ６が撮影した映像を画像データとして記憶する。カメラ６は所定の撮像周期で画像データを画像データ記憶部２１に出力している。従って、画像データ記憶部２１には、最新の画像データから順番に時間的に古い画像データが記憶される。画像データ記憶部２１に記憶される画像データの量が多くなったときには、最も古い画像データから削除される。カメラ６は所定の撮像周期（周期）で画像データを生成するが、画像データを生成するタイミングは非周期的であってもよい。
　高輝度画素検出部２２は画像データ記憶部２１に記憶されている最新の画像データの中から高輝度の画素を検出する。画像データはＸ方向（横方向）およびＹ方向（縦方向）に所定の画素数から構成されている。高輝度画素検出部２２は画像データの全ての画素について高輝度画素であるか否かを判定する。判定する対象の画素の輝度値が所定の閾値以上のときに当該画素は高輝度画素として判定される。このときの閾値は、塵埃と特定する輝度値に設定することができる。塵埃の輝度値は比較的高いため、塵埃の輝度値よりも高い輝度値の画素を高輝度画素とする。なお、塵埃と特定する閾値は任意に設定することができる。
　鮮鋭化処理部２３は、最新の画像データの全ての画素について鮮鋭化処理を行う。鮮鋭化処理は１つの画素を中心画素として、その周囲の８画素を周辺画素とした合計９画素について、中心画素と周辺画素との輝度値の差異を強調する処理である。従って、輝度値の差異を強調する処理であれば任意の処理を適用できる。ここでは、後述する鮮鋭化フィルタを用いてフィルタリング処理を行い、中心画素と周辺画素との差異を強調している。
　非エッジ画素検出部２４は、鮮鋭化処理された画像データの全ての画素について非エッジ画素の検出を行う。ダンプトラック１が走行する地面には凹凸のエッジが存在している。当該エッジを含む画像を撮影すると、画像データ中のエッジ部分における隣接する画素間の輝度値に比較的大きな差異を生じる。そこで、中心画素と周辺画素の輝度値の差異が所定の閾値未満のときに、エッジがないものとして検出する。逆に、輝度値の差異が所定の閾値以上のときには、エッジが存在していることになる。
　非エッジ画素検出部２４が非エッジ画素を検出するときの閾値は、地面に凹凸エッジが存在しているときに検出される輝度値の差異を基準とすることができ、このときの閾値は任意に設定することができる。非エッジ画素検出部２４が非エッジ画素を検出するために、鮮鋭化処理を行っている。つまり、鮮鋭化処理を行うことで、輝度値の差異が強調されるため、非エッジ画素検出部２４が非エッジ画素を検出しやすくなる。よって、非エッジ画素検出部２４が非エッジ画素を検出できれば、鮮鋭化処理部２３は省略できるが、確実に非エッジ画素を検出するために、鮮鋭化処理部２３を設けることが望ましい。
　重複画素検出部２５は高輝度画素検出部２２で検出された高輝度画素と非エッジ画素検出部２４で検出された非エッジ画素とが重複している画素を重複画素として検出する。画像データの対応する画素について、高輝度画素であり且つ非エッジ画素である画素のみを重複画素として抽出する。画像データの中の各画素が重複画素であるか否かの情報が塵埃領域生成部２６に出力される。
　塵埃領域生成部２６は重複画素に基づいて、画像データ中の塵埃領域を特定する。重複画素により一定の領域が形成されるときに、当該領域を重複画素領域とする。この重複画素領域が所定の領域（面積）以上のときに、当該重複画素領域を塵埃領域として特定する。前記の所定の領域は塵埃として特定できる領域が基準となる。通常の塵埃領域はある程度の大きさの領域となっているため、重複画素領域が所定の領域以上のときに、塵埃領域を特定することができる。勿論、この所定の領域は任意の値に設定することができる。ただし、塵埃領域は少なくとも作業員よりは大きな領域とする。重複画素領域が塵埃領域であるか否かは画素数を基準としてもよいが、後述するように外接矩形を使用して特定してもよい。
　移動体領域検出部２７は画像データの中の移動体領域を検出する。移動体領域は一定の領域を形成しており、時間的に異なる画像データを比較したときに、移動体領域が異なる位置に移動しているときに、当該領域を移動体領域として検出する。移動体領域の検出には任意の手法を用いることができる。本実施形態では、オプティカルフロー検出手法のブロックマッチングを用いているが、異なる時間の画像データに基づいて、所定の領域が移動していることを移動体領域として検出できるものであれば、任意の手法を用いることができる。
　例えば、画像データの各画素における明るさの空間的勾配と時間的勾配の間の関係を用いて検出する勾配法を用いてもよいし、移動体領域がないときの画像データと最新の画像データとの差分を検出する背景差分法、或いは時間の異なる３枚の画像データを用いて２枚の差分画像を生成して移動体領域を検出するフレーム間差分法等の任意の手法を用いることができる。
　塵埃領域除去部２８は、移動体領域検出部２７から移動体領域を入力し、塵埃領域生成部２６から塵埃領域を入力する。画像データの中で作業員のような障害物も移動体であり、塵埃領域も移動体である。そこで、塵埃領域除去部２８は移動体から塵埃領域を除去する処理を行う。塵埃領域を除去した移動体領域は障害物判定部３０に出力される。そして、障害物判定部３０において、塵埃領域を除去した移動体領域を障害物候補として障害物であるか否かが判定される。なお、この障害物候補は塵埃領域外の障害物候補となる。
　塵埃領域走査部２９は、塵埃領域の内側に障害物候補が存在しているか否かを検出する。塵埃領域走査部２９は塵埃領域生成部２６より塵埃領域を入力しており、この塵埃領域の中に障害物候補が存在しているか否かを判定する。塵埃が発生すると、地面の凹凸エッジは塵埃領域に覆われる。このため、地面のエッジをほぼ判別不能となる。そのため、障害物の境界を検出しやすくなる。そこで、塵埃領域走査部２９は塵埃領域の内側の全ての画素について、中心画素と周辺画素との輝度値の差異が所定の閾値以上であるか否かを判定する。
　このときの閾値は塵埃領域内の障害物の境界を検出できる輝度値の差異として設定する。勿論、この閾値は任意の値に設定できる。塵埃領域走査部２９は検出した障害物の境界の情報を障害物判定部３０に出力する。そして、障害物判定部３０において、障害物の境界により形成される領域が障害物候補として障害物であるか否かが判定される。なお、この障害物候補は塵埃領域内の障害物候補となる。
　障害物判定部３０は、塵埃領域外の障害物候補、塵埃領域内の障害物候補またはその両方の障害物候補に基づいて、障害物を判定する。障害物候補は所定の領域を形成しており、障害物候補の領域が所定の閾値以上のときに障害物候補は障害物として判定される。このときの閾値は、視野範囲ＡＲのうち最も遠い場所に通常の人間が位置しているときの領域とすることができる。勿論、この閾値は任意に設定することができる。これにより、作業員を障害物として検出でき、また作業員よりも大きい他の自走式産業機械やサービスカー等も障害物として検出できる。
　一方、障害物候補が塵埃領域の境界に位置しているときには、障害物候補の一部が塵埃領域外に位置しており、残部が塵埃領域内に位置している。従って、塵埃領域外の障害物候補のみでは障害物として判定されない。また、塵埃領域内の障害物候補のみでは障害物として判定されない。そこで、塵埃領域外の障害物候補と塵埃領域内の障害物候補とが連続しているときには、連続している領域を連続領域として、この連続領域が前述した閾値以上であるか否かを判定する。閾値以上であれば、当該連続領域は障害物として判定される。これにより、障害物候補が塵埃領域の境界に位置しているときの障害物の判定が行われる。
　障害物移動認識部３１は、障害物が移動しているか否かを認識する。つまり、画像データの中で障害物の位置が移動しているか否かを判定する。障害物が移動しているか否かの検出は任意の手法を用いることができる。画像データは周期的に取得されることから、画像データの中で検出された障害物の位置が画像データの中で変化していれば、障害物が移動していることを認識する。
　障害物移動認識部３１は主に作業員を検出する。つまり、通常の人間が歩行する速度で移動する障害物を認識する。ここでは、障害物の周囲に画素を形成して、これを周囲画素とする。障害物移動認識部３１は、２つの手法により障害物の移動を検出する。第１の手法では、時間的に前後する画像データの中で障害物の画素の周囲の画素（周囲画素）が部分的に重複しているときに、障害物の移動を検出する。また、第２の手法では、時間的に前後する画像データのうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、障害物の移動を検出する。障害物移動認識部３１は、第１の手法と第２の手法との何れか一方のみを行う機能を有していてもよいし、両者を行う機能を有していてもよい。これにより、作業員が歩行により移動していることを検出することができる。
　画面作成部３２は、画像データ記憶部２１に記憶されている最新の画像データをモニタ９に表示する画面を作成する。画面作成部３２には塵埃領域生成部２６から塵埃領域が入力され、障害物判定部３０から障害物が入力される。画面作成部３２は、画像データに塵埃領域や障害物を特定する描画する画像処理を行う。ここでは、画面作成部３２は塵埃領域や障害物に外郭を描画する処理を行う。この画像処理を行った画像データを表示画面として作成し、モニタ９に出力する。モニタ９は入力した表示画面を表示する。なお、画面作成部３２は、塵埃領域と障害物との何れか一方のみに外郭を描画してもよい。
　以上が構成である。次に、動作について説明する。カメラ６はダンプトラック１の前方の斜め下方を視野範囲ＡＲとして撮影を行っている。カメラ６には所定の撮像周期（フレーム／秒）が存在し、撮像周期ごとに１フレーム分の画像データを画像データ記憶部２１に出力する。従って、カメラ６からは、撮像周期に依存した転送周期で画像データが画像データ記憶部２１に記憶される。なお、カメラ６が撮影した画像データは直接的に高輝度画素検出部２２と鮮鋭化処理部２３と画面作成部３２とに入力してもよい。つまり、カメラ６から直接的に入力した画像データに基づいて、高輝度画素検出部２２と鮮鋭化処理部２３と画面作成部３２とは、それぞれの処理を行うことが可能である。
　前述したように、移動体領域検出部２７は移動体領域を検出する。このとき、カメラ６の撮像周期が高速であると、移動体領域が移動しているとしても、殆ど移動していないように認識される。このため、移動体領域として検出されなくなる。逆に、撮像周期が低速であると、移動体領域が高速に移動しているように認識される。この場合も、移動体領域として検出されなくなる。そこで、撮像周期が高速の場合には、最新の画像データと複数周期前の画像データとを用い、撮像周期が低速の場合には、最新の画像データと１周期前の画像データとを用いて処理を行う。これにより、時系列の繋がりを確保する。
　最初に、画像データの中の塵埃領域を特定する処理について、図４のフローチャートを参照して説明する。カメラ６は所定の撮像周期で画像データを画像データ記憶部２１に出力しており、画像データ記憶部２１は最新の画像データを記憶する。図５は画像データ（ＰＤとする）の一例を示している。ダンプトラック１の周辺には塵埃が発生しており、画像データＰＤの中に塵埃領域ＤＡが含まれている。ただし、この時点では、塵埃領域ＤＡが塵埃であるとは特定されていない。
　画像データＰＤには、他に地面の凹凸のエッジＥＧが含まれており、またダンプトラック１の前方構造物１０が映し出されている。前方構造物１０が画像データＰＤに映し出されているのは、カメラ６が前方の斜め下方を俯瞰的に撮影しており、視野範囲ＡＲに前方構造物１０の一部が含まれているためである。画像データ記憶部２１には最新の画像データＰＤが記憶されており、高輝度画素検出部２２は最新の画像データＰＤを取得する（ステップＳ１）。なお、高輝度画素検出部２２にはカメラ６から直接的に画像データＰＤを入力させるようにしてもよい。
　高輝度画素検出部２２は、画像データの全ての画素に対して塵埃と特定できる輝度値よりも高い輝度値を持つ画素を検出する（ステップＳ２）。図６は画像データＰＤから高輝度画素を検出した高輝度画像データを示している。図６の高輝度画像データのうち黒い部分は高輝度画素として検出された画素である。この高輝度画像データは重複画素検出部２５に入力される。
　図６に示す高輝度画像データには一定の領域が形成される。これを高輝度領域とする。この高輝度領域は図５に示した塵埃領域ＤＡに近い領域となっている。これは、塵埃領域ＤＡの輝度値が高いため、高輝度領域として検出されるためである。ただし、高輝度領域だけでは、日照条件や照明条件等により、塵埃領域ＤＡ以外を高輝度領域として検出する可能性がある。また、本来は高輝度画素として検出される画素が検出されなくなる可能性がある。従って、高輝度領域のみによって、塵埃領域ＤＡを特定しない。
　次に、鮮鋭化処理部２３は画像データ記憶部２１から画像データＰＤを読み出す。鮮鋭化処理部２３は画像データＰＤの全ての画素に対して鮮鋭化処理を行う（ステップＳ３）。鮮鋭化処理部２３が行う鮮鋭化処理は、図７に示す鮮鋭化フィルタを用いて行う。同図に示すように、鮮鋭化フィルタは中心画素とその周囲の８画素の周辺画素とにより構成されている。中心画素は＋Ｋ（Ｋは１以上の整数）、周辺画素は－Ｌ（Ｌは１以上の整数）の値となっている。
　鮮鋭化フィルタを用いて最新の画像データＰＤの全てに画素についてフィルタリング処理を行う。このフィルタリング処理を行うことで、画像データＰＤの中心画素の輝度値に＋Ｋの値が乗算され、周辺画素の８画素にそれぞれ対応する画素に－Ｌの値が乗算される。そして、乗算後の中心画素の輝度値に乗算後の周辺画素の輝度値を加算する。この加算した結果が鮮鋭化値となる。この鮮鋭化値は中心画素の輝度値を示している。
　これにより、図８に示すような鮮鋭化画像データが得られる。鮮鋭化画像データは画像データＰＤに対して鮮鋭化処理を行った画像データであり、隣接する画素間に輝度値の差異を強調している。このため、図８に示すように、塵埃領域ＤＡの境界とエッジＥＧとが強調された画像データになっている。
　鮮鋭化処理は地面のエッジＥＧを強調するための処理である。地面の凹凸のエッジＥＧがある部分は画像データＰＤの中で輝度値にある程度の差異を生じる。そこで、鮮鋭化処理を行うことで、地面のエッジＥＧがより強調されて検出される。従って、鮮鋭化フィルタのフィルタ係数ＫおよびＬはエッジＥＧが画像データＰＤの中で強調して出現されるような値に設定する。この鮮鋭化画像データが非エッジ画素検出部２４に出力される。
　非エッジ画素検出部２４は鮮鋭化画像データの全ての画素について非エッジ画素の検出を行う（ステップＳ４）。鮮鋭化画像データはエッジＥＧが強調された画像になっている。そこで、非エッジ画素検出部２４はエッジＥＧを除外した画像を非エッジ画像データとして生成する。図９は非エッジ画像データを示している。図９の非エッジ画像データのうち、黒い画素が非エッジ画素として検出された画素である。
　非エッジ画素検出部２４は、エッジＥＧを除外した画像を生成するために、隣接する画素間の輝度値の差異が所定の閾値未満の画素を非エッジ画素として検出する。このときの閾値は、前述したようにエッジＥＧがあるときの輝度値の差異を基準とすることができる。従って、図８ではエッジＥＧが存在していた部分は非エッジ画素としては検出されず、エッジＥＧが存在していない部分が非エッジ画素として検出される。これが、図９に示す非エッジ画像データである。
　ここでは、エッジＥＧを判定するために、中心画素の輝度値を８画素の周辺画素の輝度値の平均値で微分を行い、微分値が所定の閾値よりも小さい場合に、中心画素を非エッジ画素として判定する。このときの閾値はエッジＥＧがあるときの微分値を基準とすることができる。これにより、隣接する画素間の輝度値の差異に基づいて、非エッジ画素を検出することができる。勿論、輝度値の差異に基づいてエッジでない画素を検出する手法であれば任意の手法を用いることができる。
　前述したように、鮮鋭化処理により、画像データＰＤの中でエッジＥＧが強調された鮮鋭化画像データに基づいて、非エッジ画像データを生成している。従って、エッジＥＧの部分の輝度値の差異は明確になっているため、非エッジ画素を検出する精度が飛躍的に向上する。これにより、図９のように、エッジＥＧを除外した非エッジ画像データを生成することができる。なお、同図の非エッジ画像データに示すように、塵埃領域ＤＡの境界部分についても、輝度値の差異が大きいため、非エッジ画素としては検出されていない。
　重複画素検出部２５は、高輝度画素検出部２２から高輝度画像データを入力し、非エッジ画素検出部２４から非エッジ画像データを入力する。高輝度画像データも非エッジ画像データも画像データＰＤに基づいて作成されている。よって、高輝度画像データと非エッジ画像データとは同じ画素数を有しており、各画素が対応している。重複画素検出部２５は高輝度画素と非エッジ画素とが重複している画素を重複画素としている（ステップＳ５）。つまり、重複画素は高輝度画素であり、且つ非エッジ画素の画素となる。
　図１０は、重複画素検出処理を示している。図６に示した高輝度画素（黒い画素）と図９に示した非エッジ画素（黒い画素）とが重複している画素を重複画素として検出している。図１０に示すように、重複画素により一定の領域が形成される。この領域を重複画素領域とする。重複画素領域は高輝度領域とほぼ近い形状をしている。この重複画素領域を含む重複画像データが塵埃領域生成部２６に入力される。
　塵埃領域生成部２６は、重複画素領域に基づいて塵埃領域ＤＡを特定する。このために、重複画素領域が所定の領域以上のときに、当該重複画素領域を塵埃領域ＤＡとして判定する（ステップＳ６）。塵埃領域ＤＡはある程度の大きさを有しているため、小さい領域は塵埃領域ＤＡとは判定しない。少なくとも、作業員と同程度の大きさの領域は塵埃領域ＤＡとして判定しない。これにより、重複画素領域から塵埃領域ＤＡを特定することができる。塵埃領域ＤＡが特定された画像データを塵埃領域画像データとする。
　重複画素領域の面積の判定の手法は任意の手法を用いることができる。単純に、画素数の比較を行ってもよい。つまり、重複画素領域の画素数が所定の画素数以上のときに、当該重複画素領域を塵埃領域ＤＡとして特定することができる。このときの所定の画素数は塵埃領域ＤＡを特定する面積の画素数とすることができる。
　また、図１１に示すように、外接矩形を用いて判定を行ってもよい。重複画素領域に外接矩形（図中の破線）を形成し、外接矩形が所定の閾値以上の重複画素領域を塵埃領域ＤＡとしてもよい。前記の閾値としては、視野範囲ＡＲの最も遠い場所に通常の大きさの人間が位置しているときの画素数（障害物画素数）を基準とすることができる。この障害物画素数は、障害物を検出できる最大距離、カメラ６の取り付け高さ・俯角、カメラ６の画素数と画角との情報に基づいて、画像データＰＤの障害物が前記の最大距離の位置に存在するときの画素数とすることができる。
　塵埃領域ＤＡは少なくとも人間よりもサイズが大きいため、障害物画素数よりも画素数が大きな重複画素領域を塵埃領域ＤＡとすることができる。外接矩形を形成した画像データを外接矩形画像データとして、障害物画素数を基準として塵埃領域ＤＡを特定した画像データが塵埃領域画像データとなる。
　ところで、重複画素領域は基本的には高輝度領域に近い領域であり、高輝度画素と非エッジ画素とが重複している領域となっている。塵埃は輝度が高いため、高輝度画素として検出される。このため、前述したように、高輝度領域は塵埃領域ＤＡと近い領域になっている。ただし、日照条件や照明条件等によっては、塵埃領域ＤＡを正確に検出することができない。従って、高輝度領域のみによっては塵埃領域ＤＡを特定しない。
　そこで、非エッジ画素検出部２４で非エッジ画素を検出し、高輝度画素と非エッジ画素とが重複（共通）している画素を重複画素として、重複画素により形成される重複画素領域のみを塵埃領域の候補としている。カメラ６の視野範囲ＡＲに塵埃領域ＤＡが発生すると、地面は塵埃に覆われ、地面を認識することが殆どできなくなる。このため、塵埃領域ＤＡでは地面の凹凸のエッジＥＧは検出されなくなる。その性質を利用して、重複画素領域は高輝度画素と非エッジ画素とが重複している領域としている。
　従って、塵埃領域ＤＡは、高輝度画素だけでなく、非エッジ画素を満たすことを条件としている。つまり、高輝度画素と非エッジ画素との両方の条件を具備した画素のみを重複画素としているため、正確に塵埃領域ＤＡを検出することができる。そして、塵埃領域ＤＡは狭小な領域ではなく、比較的広範な領域となる。従って、塵埃領域ＤＡとして特定できる領域以上の重複画素領域を塵埃領域ＤＡとすることで、塵埃領域ＤＡの検出精度はさらに向上する。以上により、塵埃領域生成部２６は画像データＰＤの中で塵埃領域ＤＡを生成する。塵埃領域ＤＡを特定した塵埃領域画像データは画面作成部３２に出力される。
　画面作成部３２には画像データ記憶部２１から最新の画像データＰＤが入力されている。つまり、カメラ６が撮影した画像データＰＤが画面作成部３２に入力される。画面作成部３２には塵埃領域画像データが入力されている。この塵埃領域画像データはもともと画像データＰＤに基づいて生成されたものであるから、画像データＰＤと対応している。そこで、塵埃領域画像データの塵埃領域ＤＡの境界部分を画像データＰＤに描画する。
　図１２は画像データＰＤ中に塵埃領域ＤＡの境界部分を外郭として描画している。この外郭は塵埃外郭４１となる。つまり、塵埃外郭４１で囲まれた領域が塵埃領域ＤＡとなる。画面作成部３２は画像データＰＤに塵埃外郭４１を描画した画面を作成する（ステップＳ７）。そして、モニタ９に作成された画面を出力する。モニタ９は入力した画面を表示する（ステップＳ８）。
　運転室７に搭乗するオペレータは、モニタ９に表示されている画像データＰＤに塵埃外郭４１で囲まれた塵埃領域ＤＡを視認することで、塵埃外郭４１で囲まれた領域は塵埃領域ＤＡであることを一見して把握することができる。これにより、ダンプトラック１の前方に塵埃領域ＤＡが発生していることをオペレータに認識させることができる。塵埃領域ＤＡの中ではオペレータの視界は良好でなくなるため、オペレータに塵埃領域ＤＡが発生していることの注意喚起を行うことができる。これにより、ダンプトラック１の周囲の状況を正確に認識することができる。
　塵埃領域ＤＡは流動的に移動するため、塵埃外郭４１で囲まれた塵埃領域ＤＡは刻々と移動する。ただし、塵埃領域ＤＡは塵埃の領域であることが明確に認識されるため、塵埃領域ＤＡが他の障害物（例えば、作業員や作業機械、サービスカー等）と認識されることはない。従って、塵埃領域ＤＡと障害物とを明確に区別することができる。
　画像処理により移動体領域を検出して障害物を検出する場合には、塵埃領域ＤＡも障害物として検出される。従って、画像処理を行うことにより移動体領域を障害物として検出する場合には、塵埃領域も移動体領域に含まれることから、正確に障害物を検出できなくなる。そこで、塵埃領域ＤＡを明確に特定することで、障害物と塵埃領域ＤＡとを区別することができ、画像処理により正確な障害物の検出を行うことができる。
　また、塵埃が発生している場合には、モニタ９に塵埃を含んだ画像データが表示される。塵埃を含んだ画像データはノイズとして誤認識されやすく、異常な画像データとなる。しかし、塵埃領域ＤＡを特定して塵埃外郭４１で囲うように描画することで、画像データには塵埃領域ＤＡが含まれており、ノイズを生じた異常な画像データでないことを、オペレータは一見して把握することができる。
　なお、図２の例では、画像データＰＤにダンプトラック１の前方構造物１０の一部が含まれるようにカメラ６の視野範囲ＡＲを設定している。これにより、画像データＰＤには前方構造物１０が表示され、且つ塵埃領域ＤＡの塵埃外郭４１も描画されている。従って、オペレータはモニタ９を視認することで、前方構造物１０と塵埃領域ＤＡとの距離感を認識することができる。
　次に、画像データＰＤの中に障害物が含まれており、障害物を特定する例について説明する。障害物としては主に作業員が想定されるが、他の作業機械やサービスカー等も障害物となる。障害物の検出は、障害物が塵埃領域ＤＡの外側に位置している場合と、塵埃領域ＤＡの内側に位置している場合と、塵埃領域ＤＡの境界に位置している場合と、で検出の態様が異なる。以下、それぞれの場合に分けて説明する。
　最初に、障害物を作業員Ｍとして、作業員Ｍが塵埃領域ＤＡの外側の領域に存在している場合について説明する。図１３は、カメラ６が撮影した画像データＰＤを示している。この図に示すように、作業員Ｍは塵埃領域ＤＡの外側の領域に位置している。作業員Ｍを検出するために、移動体領域検出部２７は移動体領域を検出する。
　作業現場において、通常は、作業員Ｍは移動している。そこで、移動体領域検出部２７が移動体領域を検出することで、作業員Ｍを検出する。画像データＰＤの中で移動体領域を検出するために任意の手法を用いることができる。ここでは、オプティカルフロー検出手法のブロックマッチングを用いた場合を説明するが、時間の異なる２つ以上の画像データＰＤに基づいて移動体領域を検出することができれば、移動体領域検出部２７は任意の手法を用いて、移動体領域の検出を行うことができる。
　移動体領域検出部２７は、カメラ６の撮像周期によって１周期前または複数周期前の画像データＰＤ（ここでは、１周期前の画像データＰＤ）と最新の画像データＰＤとを読み出す。オプティカルフロー検出手法では、画像データＰＤのうち所定の画素数からなる注目領域ＮＡを設定する。図１４の例では、Ｘ方向に４画素、Ｙ方向に４画素の合計１６画素の領域を注目領域ＮＡとしている。勿論、注目領域ＮＡの画素数は任意に設定することができる。そして、注目領域ＮＡを中心として、注目領域ＮＡよりも縦横に大きな領域を検索領域ＳＡとする。図１４の例では、Ｘ方向およびＹ方向にそれぞれ８画素、合計６４画素の領域を検索領域ＳＡとしている。
　移動体領域検出部２７は、検索領域ＳＡの中を注目領域ＮＡと同じ大きさの領域（比較領域ＣＡとする）で検索を行う。つまり、比較領域ＣＡと注目領域ＮＡとは同じ大きさの領域であり、４画素×４画素の合計１６画素となっている。図１５の例では、比較領域ＣＡを検索領域ＳＡの左上からＸ方向に１画素ずつずらして、Ｘ方向の検索を行う。次に、Ｙ方向に１画素ずらして、再びＸ方向に１画素ずらしてＸ方向の検索を行う。これにより、検索領域ＳＡの全体を検索（スキャン）することができる。
　移動体領域検出部２７は注目領域ＮＡが検索領域ＳＡの中で移動しているか否かを検出する。このために、１転送周期前の画像データＰＤの注目領域ＮＡと最新の画像データＰＤの比較領域ＣＡとの対応する画素間の輝度値の差分を演算する。図１６は注目領域ＮＡと比較領域ＣＡとの比較を示している。注目領域ＮＡと比較領域ＣＡとは４画素×４画素の合計１６画素であり、注目領域ＮＡの１画素と比較領域ＣＡの１画素とは対応している。
　そこで、対応している画素間の輝度値の差分を演算することで、画素ごとに差分値が得られる。移動体領域検出部２７は１６個の差分値をそれぞれ二乗する演算を行い、差分値を二乗した値を合計する演算を行う。このときの合計値が小さければ、注目領域ＮＡと比較領域ＣＡとは同じであると判定する。合計値が小さいか否かを判断する閾値は、注目領域ＮＡと比較領域ＣＡとが同一の障害物とみなせるか否かを基準とすることができる。勿論、このときの閾値は任意に設定することができる。
　検索領域ＳＡの全領域を検索して、注目領域ＮＡと比較領域ＣＡとの位置に変化が生じていれば、注目領域ＮＡを移動体領域として検出することができる。位置に変化を生じていなければ、移動体領域として検出されない。以上により、移動体領域検出部２７は移動体領域の検出を行うことができる。検索領域ＳＡは任意に設定できるが、カメラ６の撮像周期の１周期の間（カメラ６の撮像周期が高速な場合は複数周期の間）に人間が通常の速度で歩行したときの移動量の限界に基づいて設定することができる。これにより、作業員Ｍを移動体として検出することができる。
　ところで、塵埃領域ＤＡも流動的に移動する。従って、塵埃領域ＤＡも移動体領域として検出されることがある。そこで、移動体領域検出部２７が検出した移動体領域は塵埃領域除去部２８に出力され、塵埃領域除去部２８で塵埃領域ＤＡが移動体領域から除去される。塵埃領域除去部２８には塵埃領域生成部２６から塵埃領域ＤＡを入力しており、この塵埃領域ＤＡを移動体領域から除去する。これにより、移動体領域は塵埃領域ＤＡを含まなくなる。
　障害物判定部３０には塵埃領域ＤＡを含んでいない移動体領域が入力される。この移動体領域が障害物候補となる。障害物判定部３０では塵埃領域除去部２８から入力した障害物候補の領域の大きさを判定する。前述したように、視野範囲ＡＲの最も遠い位置に通常の大きさの人間が存在しているときの画素数（障害物画素数）を基準として、障害物候補が障害物画素数以上であれば、障害物として判定し、それ以外の場合は障害物として判定しない。これにより、作業員Ｍが障害物と検出され、同様に作業員Ｍよりも大きな作業機械やサービスカー等も障害物として認識される。認識された障害物は画面作成部３２に出力される。
　画面作成部３２は、障害物の周囲に障害物外郭４２を描画する。ここでは、障害物外郭４２は外接矩形として表示しているが、障害物外郭４２は矩形でなくてもよい。画面作成部３２は塵埃領域ＤＡの境界に塵埃外郭４１を描画し、且つ障害物としての作業員Ｍの周囲に障害物外郭４２を描画する。これにより、図１７のような画像データＰＤが作成される。
　従って、画像データＰＤの中に塵埃外郭４１を描画することで、オペレータは塵埃領域ＤＡを把握することができるだけでなく、障害物外郭４２を描画することで、作業員Ｍの存在を一見して把握することができる。塵埃外郭４１と障害物外郭４２とを異なる表示態様の外郭で表示することにより、塵埃領域と障害物との何れであるかを直感的に認識することができる。例えば、塵埃外郭４１と障害物外郭４２とで異なる線種を用いることで、両者の違いを明確に把握することができる。図１７の例では、塵埃外郭４１に破線を用い、障害物外郭４２に実線を用いている。
　以上により、塵埃領域ＤＡの外側に障害物が存在している場合、塵埃領域と障害物（作業員Ｍ）とをオペレータに認識させることができる。これにより、画像データＰＤをモニタ９に表示することで、ダンプトラック１の周囲の状況を確実に認識することができる。
　次に、塵埃領域ＤＡの内側に障害物（作業員Ｍ）が存在している場合について説明する。図１８は塵埃領域ＤＡの内側に作業員Ｍが位置している状態の画像データＰＤを示している。塵埃領域ＤＡの内側の視界は良好でないため、画像データＰＤの中で作業員Ｍは鮮明に表示されていない。そこで、この塵埃領域ＤＡの内側の作業員Ｍを検出する。
　塵埃領域生成部２６により最新の画像データＰＤの中で塵埃領域ＤＡが生成される。これにより、画像データのＰＤの中の塵埃領域ＤＡが特定される。前述したように、塵埃領域ＤＡの内側は、地面のエッジＥＧが覆われているため、エッジＥＧは検出されない。よって、塵埃領域ＤＡの内側においては、地面のエッジＥＧは検出されないため、障害物の境界部が際立つことになる。
　塵埃領域生成部２６が生成した塵埃領域ＤＡは塵埃領域走査部２９に出力される。塵埃領域走査部２９は塵埃領域ＤＡの内側を走査する。この走査は中心画素とその周囲の８画素の周辺画素との間の輝度値の差異が大きいか否かに基づいて行われる。輝度値の差異が大きければ障害物と特定され、それ以外の場合は障害物とは特定されない。
　ここでは、塵埃領域走査部２９は、中心画素の輝度値を周辺画素の輝度値の平均値で微分する。このときの微分値が所定の閾値以上であれば、障害物の境界を検出し、それ以外の場合は障害物の境界を検出しない。ここでは、前記の閾値を障害物の境界を検出する輝度値の差異に設定する。この処理を塵埃領域ＤＡの全ての画素について行う。これにより、障害物の境界の画素が検出される。
　塵埃領域走査部２９が走査をした結果、障害物の境界により形成される領域（障害物境界領域）を障害物候補として障害物判定部３０に出力する。障害物判定部３０は、障害物候補が前述した障害物画素数以上であるか否かによって障害物を判定する。障害物候補が障害物画素数以上のときに、障害物として判定する。これにより、塵埃領域ＤＡの内側の作業員Ｍが障害物として検出され、作業機械やサービスカー等も障害物として検出される。
　障害物判定部３０が判定した障害物は画面作成部３２に出力される。これにより、図１９に示すように、塵埃領域ＤＡの塵埃外郭４１が描画され、塵埃領域ＤＡの中に障害物外郭４２が描画される。このときの画像データＰＤをモニタ９に表示することで、オペレータは塵埃領域ＤＡの中に障害物（作業員Ｍ）が存在していることを認識することができる。
　塵埃領域走査部２９は、塵埃領域ＤＡの各画素について輝度値の差異に基づいて、塵埃領域ＤＡの中の障害物の境界を検出していた。このために、中心画素を周辺画素の平均値で微分していたが、他の手法により障害物の境界を検出してもよい。例えば、障害物のコーナーを特徴点として検出するコーナー検出法や直線を特徴点として抽出する直線抽出手法を用いてもよい。これらは単独で用いてもよいし、併用してもよい。要は、塵埃領域ＤＡの内側の障害物の境界を検出できる手法であれば任意の手法を用いることができる。
　次に、障害物が塵埃領域ＤＡの境界に位置している場合について説明する。図２０はカメラ６が撮影した画像データＰＤである。この画像データＰＤでは、作業員Ｍは塵埃領域ＤＡの境界に位置している。このため、上半身が塵埃領域ＤＡの内側にあり、下半身が塵埃領域ＤＡの外側にある。なお、作業員Ｍは移動しているものとする。
　従って、塵埃領域走査部２９により作業員Ｍのうち塵埃領域ＤＡの内側の部分が障害物候補となるが、この障害物候補は障害物と判定するために設定した領域を有していない。従って、作業員Ｍを障害物として認識することができない。同様に、塵埃領域除去部２８により作業員Ｍのうち塵埃領域ＤＡの外側の部分が障害物候補となるが、この障害物候補は障害物と判定できる領域を有していない。従って、作業員Ｍを障害物として認識することができない。
　そこで、障害物判定部３０は、塵埃領域除去部２８から入力する移動体領域と塵埃領域走査部２９から入力する障害物境界領域とが連続しているか否かを判定し、連続しているときには移動体領域と障害物境界領域とが連続している領域を連続領域として判定する。塵埃領域ＤＡの境界に作業員Ｍが位置している場合の画像処理について図２１乃至図２４を用いて説明する。
　図２１に示すように、移動体領域検出部２７は、１周期前の画像データＰＤと最新の画像データＰＤとに基づいて、移動体領域を検出している。図中の黒い部分が移動体領域となる。前述したように、塵埃領域ＤＡも移動体領域として検出されるため、図２１では塵埃領域ＤＡの一部も移動体領域として検出されている。また、作業員Ｍも移動しているため、移動体領域として検出されている。図２１のうち「Ｍ」で示しているが、作業員Ｍの移動体領域となる。移動体領域を検出した画像を移動体領域画像データとする。
　塵埃領域除去部２８は、塵埃領域生成部２６から塵埃領域画像データを入力し、移動体領域検出部２７から移動体領域画像データを入力する。そして、図２２に示すように、塵埃領域除去部２８は、移動体領域から塵埃領域ＤＡを除去する。これにより、塵埃を除外した移動体の領域を得ることができる。塵埃領域除去部２８が生成する画像を塵埃領域除去画像データとする。なお、塵埃領域除去画像データには、作業員Ｍ（の一部）だけでなく、移動体領域から塵埃領域ＤＡを除外した他の領域も含まれている。
　次に、塵埃領域走査部２９は塵埃領域ＤＡの内側を走査する。図２３は、塵埃領域画像データと最新画像データＰＤとを入力して、塵埃領域ＤＡを詳細に特定して、塵埃領域ＤＡの内側の障害物の境界を検出するために、塵埃領域ＤＡの内側の障害物の境界を検出する。障害物の境界を検出した画像データを塵埃領域走査画像データとする。なお、塵埃領域走査画像データには、作業員Ｍの一部以外も境界が検出されている。
　図２４に示すように、障害物判定部３０は、塵埃領域除去部２８から塵埃領域除去画像データを入力し、塵埃領域走査部２９から塵埃領域走査データを入力する。そして、同図に示すように、障害物判定部３０は２つの画像データを合成する。つまり、移動体領域と障害物境界領域とがそれぞれ障害物候補を構成する障害物候補領域画像データを生成する。障害物判定部３０は移動体領域と障害物境界領域とが連続しているときには、連続領域として判定する。ここでは、「Ｍ」で示す部分が連続領域となる。そして、この連続領域、移動体領域および障害物境界領域が障害物候補となり、各障害物候補に外接矩形を形成する。これを、外接矩形形成画像データとする。
　障害物判定部３０は形成した外接矩形の領域判定処理を行う。つまり、障害物候補の外接矩形の領域（面積）が障害物として判定する面積を有している場合には、障害物として判定する。図２４では、連続領域のみが障害物として判定されている。この連続領域は障害物としての作業員Ｍである。これにより、塵埃領域ＤＡの境界に作業員Ｍが位置しているときに、作業員Ｍの検出を行うことができる。この作業員Ｍの検出を行った画像データが障害物画像データである。
　なお、障害物判定部３０は外接矩形を用いて面積判定処理を行っているが、前述したように、障害物候補の画素数が障害物と判定できる画素数以上のときに、当該障害物候補を障害物として判定してもよい。つまり、連続領域の画素数が障害物と判定できる画素数以上のときに、連続領域を障害物と判定することができる。
　従って、塵埃領域ＤＡの境界に位置している作業員Ｍを特定することができる。画面作成部３２は、塵埃領域ＤＡの塵埃外郭４１を描画すると共に、障害物判定部３０で判定された作業員Ｍの障害物外郭４２を描画する。これにより、図２５に示すように、塵埃領域ＤＡが特定され、且つ塵埃領域ＤＡの境界に位置している作業員Ｍも特定される。
　ところで、作業員Ｍは、通常は作業現場で歩行により移動しているものであり、障害物判定部３０により判定された障害物が移動している場合に、障害物が作業員Ｍであることを特定することができる。障害物が移動しているか否かの検出の手法は任意の手法を用いることができる。つまり、障害物として認識された画像データＰＤの中の領域が移動しているか否かを検出することができれば任意の手法を用いることができる。障害物移動認識部３１が障害物の移動を検出するが、ここでは障害物移動認識部３１は第１の手法または第２の手法を用いて、障害物の移動を検出する。
　まず、第１の手法について説明する。図２６は、第１の手法による障害物の移動を検出している状態を説明している。カメラ６は所定の撮像周期で撮像を行っており、画像データ記憶部２１に最新の画像データＰＤから順番に古い画像データＰＤが記憶されている。
　そこで、障害物判定部３０は、最新の画像データを含む時間の異なる複数の画像データＰＤに基づいて、障害物が移動しているか否かを検出する。図２６に示すように、最新の画像データＰＤの中で障害物を検出したときに、当該障害物の周囲に周囲画素を形成する。そして、図２６では、１周期前および２周期前の障害物にも周囲画素を形成している。障害物移動認識部３１は最新の画像データＰＤから順番に周囲画素が部分的に重複しているか否かを判定する。
　周囲画素が部分的に重複していれば、障害物が移動していることが認識される。これにより、障害物は作業員Ｍとして認識することができる。一方、完全に重複している場合には、移動していないため、障害物は移動していないと判定する。そして、周囲画素が離間している場合には、やはり作業員Ｍとは認識しない。カメラ６には一定の撮像周期があり、通常の作業員Ｍの歩行であれば、撮像周期の間に移動できる移動量も限られている。そこで、周囲画素が離間しているような場合には、障害物が高速で移動しているため、これも作業員Ｍとしては検出しない。
　従って、カメラ６の撮像周期によって、周囲画素が部分的に重複している場合のみ、障害物が移動していると判定し、当該障害物を作業員Ｍとして認識する。これにより、作業員Ｍを認識できる精度を向上させることができる。ダンプトラック１の周囲で最も注意を払う必要があるのは作業員Ｍであり、この作業員Ｍを検出することで、ダンプトラック１を発進するときの安全性を確保することができる。
　このときに、図２５等で示した障害物外郭４２を、作業員Ｍと特定できるような描画を行うことで（例えば、線種を変えることで）、塵埃領域ＤＡが発生している画像データＰＤの中で障害物が単なる障害物ではなく、作業員Ｍであることを直感的に認識することができる。
　次に、障害物移動検出部３１が行う第２の手法について説明する。第１の手法では、周囲画素が部分的に重複しているときに障害物が移動していると判定しているが、第２の手法では、周囲画素が重複していない場合であっても障害物の移動を検出している。図２７は、その一例を示している。同図（Ａ）は２周期前の障害物の画素とその周囲画素とを示している。なお、破線で示した画素は次の１周期前の周囲画素を示している。同図（Ｂ）は１周期前の障害物の画素とその周囲画素とを示している。なお、破線で示した画素は最新の周囲画素を示している。同図（Ｃ）は最新の障害物の画素とその周囲画素を示している。
　２周期前の障害物は画素数が少ないが、最新の障害物は画素数が多い。これは、カメラ６の光軸上を障害物が移動しているときに同図（Ａ）～（Ｃ）のようになる。すなわち、障害物がカメラ６の光軸上をダンプトラック１に対して近接する移動を行っているときに、障害物の画素は同図（Ａ）～（Ｃ）のように変化する。同図（Ａ）および（Ｂ）に示すように、時間的に前後する周囲画素は重複していない。しかし、時間的に前後する周囲画素が重複していなくても、障害物がカメラ６の光軸上を移動している場合には、障害物移動認識部３１は障害物の移動を認識する。
　第２の手法においては、障害物移動認識部３１は、時間的に前後する周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、障害物の移動を検出する。同図（Ａ）の２周期前の周囲画素の全ての画素は１周期前の周囲画素の領域の内側にある。また、同図（Ｂ）の１周期前の周囲画素の全ての画素は最新の周囲がその領域の内側にある。つまり、時間的に前後する周囲画素は重複していないが、障害物は移動している。同図（Ａ）～（Ｃ）では、カメラ６の光軸上に沿って、徐々に障害物がダンプトラック１に近づいている状態を示しているが、障害物がダンプトラック１から遠ざかる場合（離間する場合）も同様である。
　従って、第２の手法により障害物移動認識部３１が障害物の移動を検出すると、当該障害物を作業員Ｍとして認識する。これにより、作業員Ｍを認識できる精度を向上させることができる点は第１の手法と同様である。第２の手法では、作業員Ｍが徐々にダンプトラック１に接近していることを認識することができる。これにより、ダンプトラック１を発進するときの安全性をさらに確保することができる。
　障害物移動検出部３１は第１の手法を行う機能だけを有してもよいし、第２の手法を行う機能だけを有していてもよい。ただし、所が異物移動検出部３１は第１の手法と第２の手法との両者を行う機能を具備し、第１の手法または第２の手法の何れかの手法を用いて障害物の移動を検出することが望ましい。
　なお、第２の手法において、障害物がカメラ６の光軸と完全に一致した方向に移動している場合だけでなく、光軸から僅かにずれた方向に移動している場合でも、障害物の移動検出を行うことができる。この場合でも、時間的に前後する周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側に入っているときに、障害物の移動が検出される。
　図２８は、画面作成部３２が行う処理のフローを示している。前述したように、塵埃領域生成部２６が塵埃領域ＤＡを生成する。このとき、塵埃領域生成部２６は塵埃領域ＤＡが存在しているか否かを判定する（ステップＳ１１）。画面作成部３２は、塵埃領域ＤＡが存在していれば、塵埃外郭４１を画像データＰＤに描画する（ステップＳ１２）。一方、塵埃領域ＤＡが存在していなければ塵埃外郭４１を描画しない。
　また、障害物判定部３０は障害物候補に基づいて障害物が存在しているか否かを判定する（ステップＳ１３）。障害物判定部３０により障害物が存在していると判定されたときには、画面作成部３２は障害物外郭４２を画像データＰＤに描画する（ステップＳ１４）。一方、障害物が存在していなければ障害物外郭４２を描画しない。
　ところで、高輝度画素検出部２２は高輝度画素を検出している。そして、高輝度画素と非エッジ画素とが重複している画素を重複画素として、重複画素が一定の領域を形成しているときに重複画素領域としている。この重複画素領域が所定領域以上のときに、塵埃領域ＤＡを特定している。
　このとき、塵埃領域ＤＡの境界部分をより高精度に検出したい場合には、高輝度画素の検出に別の手法を用いることができる。図２９を参照して、説明する。最新の画像データＰＤのうち、Ｘ方向にＰ（Ｐは１以上の整数）画素、Ｙ方向にＱ（Ｑは１以上の整数）画素の注目画素領域を設定する。この注目画素領域の画素数は、例えば前述した障害物画素数とすることができる。
　そして、注目画素領域を中心として、注目画素領域よりも大きな画素領域を周辺画素領域とする。ここでは、周辺画素領域は、注目画素領域を中心として、上下左右にＲ（Ｒは１以上の整数）画素の分を大きくした画素領域になる。そして、高輝度画素検出部２２は注目画素領域の各画素の輝度値の平均値（１画素の場合は、その画素の輝度値）を算出し、周辺画素領域の各画素の輝度値の平均値を算出する。
　このときに、注目画素領域の輝度値の平均値が周辺画素領域の輝度値の平均値よりも高ければ、高輝度画素検出部２２は、注目画素領域は高輝度画素の領域として判定できる。高輝度画素検出部２２は画像データＰＤの全領域に注目画素領域を走査させて、輝度値の平均値の比較を行う。そして、高輝度画素の領域として判定された注目画素領域により一定の領域が形成されたときには、その領域を高輝度領域として認識することができる。
　この手法を用いることにより、高輝度画素検出部２２は高輝度領域の境界部分を詳細に認識することができる。なお、この手法では、高輝度領域の境界が高輝度画素として認識される。よって、高輝度画素を検出して、一定の高輝度領域として認識するときには、高輝度画素により形成される領域の内側を高輝度領域として認識する。
１　　ダンプトラック
７　　運転室
８　　画像処理装置
９　　モニタ
１０　　前方構造物
２１　　画像データ記憶部
２２　　高輝度画素検出部
２３　　鮮鋭化処理部
２４　　非エッジ画素検出部
２５　　重複画素検出部
２６　　塵埃領域生成部
２７　　移動体領域検出部
２８　　塵埃領域除去部
２９　　塵埃領域走査部
３０　　障害物判定部
３１　　障害物移動認識部
３２　　画面作成部
４１　　塵埃外郭
４２　　障害物外郭
ＡＲ　　視野範囲
ＣＡ　　比較領域
ＤＡ　　塵埃領域
ＥＧ　　エッジ
Ｍ　　作業員
ＰＤ　　画像データ

Claims (8)

  1. 　自走式産業機械に設けた撮影部が撮影した映像を画像データとして、この画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出する高輝度画素検出部と、
    　前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出する非エッジ画素検出部と、
    　前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出する重複画素検出部と、
    　前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成する塵埃領域生成部と、
    　前記画像データに対して前記塵埃領域を特定するように描画した画面を作成する画面作成部と、
    　を備えた自走式産業機械の画像処理装置。
  2. 　前記非エッジ画素検出部が前記非エッジ画素を検出する前に、前記画像データの全ての画素に対して、中心画素と周辺画素との輝度値の差異を強調する鮮鋭化処理を行う鮮鋭化処理部
    　をさらに備えた請求項１記載の自走式産業機械の画像処理装置。
  3. 　前記画像データを記憶する画像データ記憶部に記憶され、時間的に前後する画像データの差分に基づいて移動体領域を検出する移動体領域検出部と、
    　前記移動体領域から前記塵埃領域を除去する塵埃領域除去部と、
    　前記塵埃領域を除去した前記移動体領域を障害物候補として、この障害物候補が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記障害物候補を前記障害物として判定する障害物判定部と、
    　をさらに備えた請求項１または２記載の自走式産業機械の画像処理装置。
  4. 　前記塵埃領域の内側の全ての画素に対して、中心画素と周辺画素との輝度値の差異が障害物の境界として検出される輝度値の差異よりも高い画素を検出する塵埃領域走査部と、
    　前記塵埃領域走査部が検出した画素により形成される領域を障害物候補として、この障害物候補が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記障害物候補を前記障害物として判定する障害物判定部と、
    　をさらに備えた請求項１または２記載の自走式産業機械の画像処理装置。
  5. 　前記画像データを記憶する画像データ記憶部に記憶され、時間的に前後する画像データの差分に基づいて移動体の領域を検出する移動体領域検出部と、
    　前記移動体領域から前記塵埃領域を除去する塵埃領域除去部と、
    　前記塵埃領域の内側の全ての画素に対して、中心画素と周辺画素との輝度値の差異が障害物の境界として検出される輝度値の差異よりも高い画素を検出する塵埃領域走査部と、
    　前記塵埃領域を除去した前記移動体領域を塵埃領域外障害物候補として、且つ前記塵埃領域走査部が検出した画素により形成される領域を塵埃領域内障害物候補として、前記塵埃領域外障害物候補と前記塵埃領域内障害物候補とが連続している連続領域が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記連続領域を前記障害物として判定する障害物判定部と、
    　をさらに備えた請求項１または２記載の自走式産業機械の画像処理装置。
  6. 　時間的に前後する前記障害物の画素の周囲画素が部分的に重複しているとき、または時間的に前後する前記障害物の画素の周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、前記障害物が移動していることを認識する障害物移動認識部
    　をさらに備えた請求項３乃至５のうち何れか１項に記載の自走式産業機械の画像処理装置。
  7. 　前記画面作成部は、前記塵埃領域が発生しているときに前記塵埃領域の外郭を描画し、前記障害物が発生しているときに前記障害物の外郭を描画する
    　請求項３乃至５のうち何れか１項に記載の自走式産業機械の画像処理装置。
  8. 　自走式産業機械に設けた撮影部が撮影した映像を画像データとして入力して、前記画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出し、
    　前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出し、
    　前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出し、
    　前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成し、
    　前記画像データに対して前記塵埃領域を特定するように描画した画面を作成する
    　自走式産業機械の画像処理方法。
PCT/JP2013/055161 2012-04-13 2013-02-27 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 WO2013153863A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012092037A JP5902990B2 (ja) 2012-04-13 2012-04-13 自走式産業機械の画像処理装置
JP2012-092037 2012-04-13

Publications (1)

Publication Number Publication Date
WO2013153863A1 true WO2013153863A1 (ja) 2013-10-17

Family

ID=49327442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/055161 WO2013153863A1 (ja) 2012-04-13 2013-02-27 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Country Status (2)

Country Link
JP (1) JP5902990B2 (ja)
WO (1) WO2013153863A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020084431A (ja) * 2018-11-16 2020-06-04 日立建機株式会社 路面管理システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5995899B2 (ja) * 2014-03-24 2016-09-21 日立建機株式会社 自走式産業機械の画像処理装置
JP2016013890A (ja) * 2014-07-01 2016-01-28 株式会社タダノ クレーン車の障害物報知システム
JP6507501B2 (ja) * 2014-07-01 2019-05-08 株式会社タダノ クレーン車の障害物報知システム
JP6787749B2 (ja) * 2016-10-26 2020-11-18 株式会社フジタ 帯電水粒子散布装置
JP6878221B2 (ja) * 2017-09-12 2021-05-26 日立建機株式会社 作業機械の障害物検知システム
CN108845536B (zh) * 2018-04-20 2020-11-03 燕山大学 一种基于视频技术的堆场扬尘实时检测和智能洒水降尘装置及方法
JP7173872B2 (ja) * 2019-01-11 2022-11-16 株式会社神戸製鋼所 測距装置および測距方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090471A (ja) * 2000-09-21 2002-03-27 Kokusai Kogyo Co Ltd 噴煙等の観測システム
JP2006003995A (ja) * 2004-06-15 2006-01-05 Calsonic Kansei Corp 先行車両水しぶき認識装置
JP2010238032A (ja) * 2009-03-31 2010-10-21 Nohmi Bosai Ltd 煙検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090471A (ja) * 2000-09-21 2002-03-27 Kokusai Kogyo Co Ltd 噴煙等の観測システム
JP2006003995A (ja) * 2004-06-15 2006-01-05 Calsonic Kansei Corp 先行車両水しぶき認識装置
JP2010238032A (ja) * 2009-03-31 2010-10-21 Nohmi Bosai Ltd 煙検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020084431A (ja) * 2018-11-16 2020-06-04 日立建機株式会社 路面管理システム
JP7187280B2 (ja) 2018-11-16 2022-12-12 日立建機株式会社 路面管理システム

Also Published As

Publication number Publication date
JP5902990B2 (ja) 2016-04-13
JP2013222254A (ja) 2013-10-28

Similar Documents

Publication Publication Date Title
JP5902990B2 (ja) 自走式産業機械の画像処理装置
JP5995899B2 (ja) 自走式産業機械の画像処理装置
JP6072064B2 (ja) 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
JP6178280B2 (ja) 作業機械の周囲監視装置
EP2937811B1 (en) Vehicle peripheral obstacle notification system
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN206279433U (zh) 机动建筑机械
JP2014197378A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
US20090052742A1 (en) Image processing apparatus and method thereof
JP2008165765A (ja) 車両側面画像取得方法及び装置、車灯誤識別検出方法及び安全運転予測方法
EP2642364B1 (en) Method for warning the driver of a motor vehicle about the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle
CN111971682A (zh) 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法
CN106797452A (zh) 车辆的周围监视装置
JP2008262333A (ja) 路面判別装置および路面判別方法
JP2011100174A (ja) 車線内車両検出装置及び車線内車両検出方法
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
JP6088944B2 (ja) 作業機械の周囲監視装置
KR100355993B1 (ko) 차선 이탈 경보장치 및 방법
JP4615536B2 (ja) 表示装置
JP6420657B2 (ja) 作業機械およびその周囲監視装置
CN110945866B (zh) 车辆周边图像显示装置及车辆周边图像显示方法
JP4106163B2 (ja) 障害物検出装置及びその方法
KR101531313B1 (ko) 차량 하부의 물체 탐지장치 및 방법
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP6868996B2 (ja) 障害物検知システム及び建設機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13775005

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13775005

Country of ref document: EP

Kind code of ref document: A1