WO2016121741A1 - 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム - Google Patents

障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム Download PDF

Info

Publication number
WO2016121741A1
WO2016121741A1 PCT/JP2016/052142 JP2016052142W WO2016121741A1 WO 2016121741 A1 WO2016121741 A1 WO 2016121741A1 JP 2016052142 W JP2016052142 W JP 2016052142W WO 2016121741 A1 WO2016121741 A1 WO 2016121741A1
Authority
WO
WIPO (PCT)
Prior art keywords
rain
detection
obstacle
image
determination
Prior art date
Application number
PCT/JP2016/052142
Other languages
English (en)
French (fr)
Inventor
大平 雅和
大輔 谷
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201680007959.5A priority Critical patent/CN107209268A/zh
Priority to US15/546,016 priority patent/US10921429B2/en
Publication of WO2016121741A1 publication Critical patent/WO2016121741A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present invention relates to an obstacle detection device and a moving body provided with a distance measuring sensor that measures a distance to an object to be detected, and an obstacle detection method and an obstacle detection program thereof.
  • the vehicle contact avoidance assistance device described in Patent Document 1 detects a distance to an obstacle ahead of the vehicle by a front obstacle sensor, calculates a target speed of the vehicle according to the distance to the obstacle, The braking force is controlled based on the speed, and the vehicle speed is reduced by automatic braking. Therefore, in the contact avoidance support device, the target speed is corrected according to the operation state of the vehicle by the driver, and the driver avoids a sense of incongruity by assisting the driver's spontaneous contact avoidance operation. To avoid contact with
  • the mobile robot described in Patent Document 2 includes a detection unit that detects an obstacle ahead of the movement direction, calculates the distance to the obstacle, and is instructed by the monitoring center about the direction and speed of movement.
  • the mobile robot detects a front obstacle in the autonomous movement mode, the mobile robot transmits an abnormal signal to the monitoring center.
  • remote control of the mobile robot is performed by the controller.
  • the mobile robot moves at a traveling speed that can be stopped before it touches the obstacle in accordance with an instruction from the monitoring center.
  • the moving speed is set in consideration of obstacle avoidance so that the instruction delay due to the transmission delay can be dealt with.
  • Patent Document 1 and Patent Document 2 described above do not consider misdetecting an obstacle due to raindrops or the like, and there is a problem that it is not possible to distinguish between an obstacle that should avoid contact and a raindrop that does not prevent movement. is there.
  • a process for removing noise from the detection result has been proposed so that raindrops and the like are not erroneously detected as an obstacle, but if such a process is performed during normal times, a small obstacle may be overlooked. .
  • the present invention has been made in order to solve the above-described problem, and during rainfall, an obstacle detection device, a moving body, an obstacle detection method capable of avoiding erroneous detection of raindrops as an obstacle, And to provide an obstacle detection program.
  • An obstacle detection device includes a distance measuring sensor that transmits a detection wave to an object to be detected, receives a reflected wave from the object to be detected, and measures a detection distance to the object to be detected; A detection image generation unit that generates a detection image indicating the presence or absence of the detection object in the detection range in which the detection wave is transmitted based on the distance measurement result of the distance measurement sensor; and the object in the detection image.
  • a rain determining unit that determines whether or not the detection range is in a rain state based on the presence or absence of discrete points that are discretely located among the detected objects, and a rain that removes the isolated points from the detected image
  • a rain removal processing unit that performs a removal process, and an obstacle determination unit that determines whether the detected object is an obstacle based on the detected image, and the obstacle determination unit includes: When it is determined by the rain determination unit that the rain state is present, Based on the rain removing processed sensed image by removing unit, which comprises carrying out the obstacle determining.
  • the detection range is a three-dimensional space
  • the detection image generation unit generates a three-dimensional image corresponding to the detection range that is a three-dimensional space as the detection image.
  • the rain determination unit may perform the rain determination on the three-dimensional image.
  • the rain determination unit may calculate a variance value of the detected object in the detection image at the time of the rain determination.
  • the rain determination unit may calculate a difference in the detection distance from the surroundings of the detection object in the detection image at the time of the rain determination.
  • the detection image generation unit may periodically generate the detection image every preset generation period.
  • the rain removal processing unit may perform the rain removal processing using a median filter.
  • the rain determination unit compares the detection image with a median-processed image obtained by removing the isolated points using a median filter with respect to the detection image, and performs the rain determination. It is good also as a structure to perform.
  • the rain determination unit may perform the rain determination by comparing two detection images generated in different generation cycles.
  • the rain determination unit may perform the rain determination for each of the plurality of generation cycles.
  • the rain determination unit performs the rain determination at a plurality of the generation periods, and outputs the result of the rain determination when the same determination is made a plurality of times in succession. Also good.
  • the rain removal processing unit may be configured to remove the isolated points by comparing the detection distances for each of the plurality of generation periods with respect to the detection image.
  • a moving body according to the present invention includes the obstacle detection device according to the present invention and travels on a traveling surface.
  • the mobile body according to the present invention includes a travel control unit that controls a travel speed that travels on the travel surface, and the travel control unit, when the rain determination unit determines that the rain state is present, the travel speed It is good also as a structure which controls to decelerate.
  • the obstacle detection method includes a distance measuring sensor that transmits a detection wave to an object to be detected, receives a reflected wave from the object to be detected, and measures a detection distance to the object to be detected.
  • An obstacle detection method in an obstacle detection apparatus provided, wherein the presence or absence of the detection object in a detection range in which the detection wave is transmitted to a detection image generation unit based on a distance measurement result of the distance measurement sensor
  • the detection range is generated in a rainy state based on the presence or absence of isolated points discretely located among the detected objects in the detection image.
  • a rain determining step for determining whether there is a rain a rain removing processing step for causing a rain removing processing unit to perform a rain removing process for removing the isolated point from the detected image, and an obstacle judging unit for detecting the detection Based on the image, the detected object is An obstacle determination step for making an obstacle determination as to whether or not the object is a harmful object.
  • the rain removal processing step The obstacle determination is performed based on the detection image subjected to the rain removal process.
  • the obstacle detection program according to the present invention causes a computer to execute each step of the obstacle detection method according to the present invention.
  • the present invention it is possible to obtain a detection image showing only an obstacle by performing rain removal processing on the detection image during the rain, and it is possible to avoid erroneous detection of raindrops as an obstacle.
  • generated by the detection image generation part It is explanatory drawing which shows the 1st detection image produced
  • FIG. 1 is an external view of a moving body according to the first embodiment of the present invention
  • FIG. 2 is a configuration diagram of the moving body shown in FIG.
  • the moving body 1 transmits a detection wave to the detected object 50, receives a reflected wave from the detected object 50, and sets a detection distance KL to the detected object 50.
  • the vehicle includes an obstacle detection device 10 provided with a distance measuring sensor 11 to be measured, and travels on a traveling surface 100.
  • the moving body 1 is a four-wheeled vehicle that moves along a preset route, and includes a distance measuring sensor 11, a drive unit 20, and a CPU 30.
  • the drive unit 20 includes four wheels and a drive source such as a motor.
  • the drive unit 20 is not limited to this, and the number of wheels may be changed, a belt or the like may be used, and the driving unit 20 may be configured to travel and adjust the traveling speed as appropriate. That's fine.
  • the drive unit 20 is controlled in speed and direction of travel by the travel control unit 30e.
  • the distance measuring sensor 11 is an optical sensor using LIDAR (Light Detection and Ranging) and irradiates a laser beam as a detection wave over a wide range and receives reflected light (reflected wave) from an object. Thereby, the distance measuring sensor 11 detects the position of the detected object 50 and the distance to the detected object 50.
  • LIDAR Light Detection and Ranging
  • the detection result of the distance measuring sensor 11 will be described in detail with reference to FIGS. 3A to 3C described later.
  • the CPU 30 stores the detected image generation unit 30a, the rain determination unit 30b, the rain removal processing unit 30c, the obstacle determination unit 30d, and the travel control unit 30e as preinstalled programs, and executes the stored program. Thus, the processing described later is executed.
  • the CPU 30 is used in common by the moving body 1 and the obstacle detection device 10. Although omitted in FIG. 2, the moving body 1 may be provided with a storage device for storing the detection result of the distance measuring sensor 11 and various settings such as the traveling speed.
  • FIG. 1 shows the moving body 1 that is running in the raining state where it is raining.
  • the distance measuring sensor 11 has a detection range KH set along the traveling direction of the moving body 1, and detects the raindrop 52 as the detected object 50 in addition to the obstacle 51 in the detection range KH.
  • FIG. 3A is an explanatory diagram illustrating a first detection image generated by the detection image generation unit
  • FIG. 3B is an explanatory diagram illustrating a second detection image generated by the detection image generation unit
  • FIG. These are explanatory drawings which show the 3rd detection image produced
  • the distance measuring sensor 11 is configured to output the position of the detected object 50 in the detection range KH, and the detection image generating unit 30a is detected in the detection range KH based on the distance measurement result of the distance measuring sensor 11.
  • a detection image (for example, first detection image GZ1) indicating the presence or absence of the object 50 is generated.
  • the detected image is an image in which the presence / absence of the detected object 50 in the detection range KH is associated with the position of the detected object 50.
  • the detected image shows a plane orthogonal to the traveling direction of the moving body 1 and has a rectangular shape.
  • the detected object 50 is arranged as a reflection point at coordinates (pixels) corresponding to the position, the pixel (reflective point) where the detected object 50 exists is “1”, and the pixel without the detected object 50 is “ 0 ”, which is regarded as binarized image data.
  • the horizontal direction is indicated as the horizontal direction X
  • the direction perpendicular to the horizontal direction X is indicated as the vertical direction Y.
  • a blank point a pixel without the object 50 (a pixel that is not a reflection point) is referred to as a blank point.
  • the detection image generation unit 30a is configured to periodically generate a detection image for each preset generation cycle SC (see FIG. 12 described later). That is, the detected image generation unit 30a generates a detected image every time when a time set in advance as the generation cycle SC elapses. Since the rain condition changes with the passage of time outdoors, detection images are periodically generated to determine whether it is raining. Note that the timing at which the distance measuring sensor 11 transmits the detection wave is not particularly limited, and the detection wave may always be transmitted, or may be periodically transmitted according to the generation cycle SC. It is good also as a structure which performs ranging.
  • the time set as the generation cycle SC may be referred to as a frame.
  • the two cycles before the generation cycle SC that generated the detected image may be referred to as two frames before.
  • FIG. 3A shows a first detection image GZ1 in which raindrops 52 are detected in a rainy state, and the number of reflection points HK1 is “11”.
  • the reflection points HK1 are discretely located in the first detection image GZ1, and are independent from each other. That is, during the rain, a large number of raindrops 52 exist within the detection range KH, and each of the many raindrops 52 has a small size, and is represented by one pixel.
  • FIG. 3B shows the second detection image GZ2 in which the elongated obstacle 51 is detected, and the number of reflection points HK2 is “11”. Since the second detection image GZ2 is not in a rainy state, there are no reflection points due to the raindrops 52. The reflection points HK2 are located side by side in the vertical direction Y, and all the coordinates in the horizontal direction X are the same. In the second detection image GZ2, the rod-shaped obstacle 51 is detected by the distance measuring sensor 11. A block having a large size such as the obstacle 51 is indicated by a plurality of continuous pixels.
  • FIG. 3C shows a third detection image GZ3 in which raindrops 52 and obstacles 51 are detected in a rainy state, and the total number of reflection points is “26”.
  • the number of reflection points HK3 corresponding to the raindrops 52 is “12”, and the reflection point HK4 corresponding to the obstacle 51 is “14”.
  • the reflection points HK3 corresponding to the raindrops 52 are discretely located in the third detection image GZ3, and the reflection points HK4 corresponding to the obstacle 51 are located in the center of the third detection image GZ3. ing.
  • the reflection point HK4 is indicated by a thick line, but both are treated as “1” in the image data, and the difference between the two is the difference. There is no.
  • the obstacle determination unit 30d determines whether or not the detected object 50 is an obstacle 51 based on the detected image. Specifically, an obstacle threshold value related to the number of reflection points is set in advance, and the obstacle determination unit 30d determines that the detected object 50 is detected when the number of reflection points in the detection image exceeds the obstacle threshold value. It is determined that the obstacle 51 is present.
  • the reflection point threshold is set to “10”
  • the first detection image GZ1 only the small raindrops 52 are detected, and it is not preferable to determine that the obstacle 51 is the same as the second detection image GZ2 and the third detection image GZ3. . Therefore, in the obstacle detection device 10, the rain removal processing unit 30c removes the reflection points due to the raindrops 52 from the detected image, thereby avoiding erroneous detection of rain.
  • the rain removal processing unit 30c performs rain removal processing for removing isolated points from the detected image.
  • the rain removal processing uses a median filter (median processing).
  • the median processing is processing for replacing the value of each pixel with the median value of surrounding pixels. Thereby, the isolated point can be reliably removed from the detected image.
  • the median process will be described with reference to a detection image obtained by performing the median process on the first detection image GZ1 to the third detection image GZ3.
  • FIG. 4A is an explanatory diagram illustrating a fourth detection image that has been subjected to rain removal processing by the rain removal processing unit
  • FIG. 4B is an explanatory diagram illustrating a fifth detection image that has been subjected to rain removal processing by the rain removal processing unit.
  • FIG. 4A shows a fourth detection image GZ4 obtained by performing median processing on the first detection image GZ1 and the second detection image GZ2, and the number of reflection points is “0”.
  • the reflection points HK1 are independent of each other and are surrounded by blank points, so that all the reflection points HK1 are replaced with blank points.
  • the first detection image GZ1 is a fourth detection image GZ4 in which no reflection point exists.
  • the reflection points HK2 are continuous, but there are many blank points around the reflection point HK2, and when the median processing is performed, the reflection point HK2 Is replaced with a blank point.
  • the second detection image GZ2 is a fourth detection image GZ4 that does not have a reflection point, like the first detection image GZ1.
  • FIG. 4B shows a fifth detection image GZ5 obtained by performing median processing on the third detection image GZ3, and the number of reflection points HK4 is “14”.
  • the third detection image GZ3 see FIG. 3C
  • the reflection point HK3 corresponding to the raindrop 52 is the first point.
  • the reflection point HK4 corresponding to the obstacle 51 is concentrated in position (coordinates), and there are many reflection points HK4 in the surroundings. Therefore, even if median processing is performed, the reflection point HK4 is not replaced with a blank point.
  • the third detection image GZ3 is a fifth detection image GZ5 in which only the reflection point HK3 corresponding to the raindrop 52 is removed and only the reflection point HK4 corresponding to the obstacle 51 is present.
  • the second detection image GZ2 is an image obtained by detecting the elongated obstacle 51, it is desirable that the detected object 50 is determined to be the obstacle 51.
  • the second detection image GZ2 is the fourth detection image GZ4.
  • the obstacle determination is performed on the fourth detection image GZ4, there is no reflection point.
  • the object 50 is not determined to be the obstacle 51. Therefore, it is desirable to perform rain removal processing to remove the raindrops 52 during rainfall, but it is desirable not to perform rain removal processing when it is not raining, and to perform rain removal processing depending on the situation. It is desirable to select whether or not. Therefore, in the obstacle detection device 10, the rain determination unit 30b determines whether or not it is a rain state, and instructs whether or not rain removal processing is necessary according to the state.
  • the rain determination unit 30b determines whether or not the detection range KH is in a rain state based on the presence or absence of discretely located isolated points in the detected object 50 in the detection image. ing.
  • the configuration is such that the variance value of the detected object 50 in the detected image is calculated at the time of rainfall determination.
  • a difference image is generated by calculating the difference between the first detection image GZ1 and the median processed image.
  • the difference from the first detection image GZ1 is substantially the same as that of the first detection image GZ1. That is, the difference image in the first detection image GZ1 corresponds to the first detection image GZ1, and the drawing is omitted.
  • a variance value in each of the horizontal direction X and the vertical direction Y is calculated for the difference image.
  • a dispersion threshold regarding the number of dispersion values is set in advance, and the rain determination unit 30b determines that the rain state is present when the calculated dispersion value exceeds the dispersion threshold.
  • a horizontal dispersion threshold value Thx in the horizontal direction X is set for the horizontal dispersion value Vx in the horizontal direction X
  • the vertical direction is set for the vertical dispersion value Vy in the vertical direction Y.
  • a Y vertical dispersion threshold Thy is set. Furthermore, in the rain determination, if “Vx> Thx” and “Vy> Thy”, it is determined that the vehicle is in a rain state. That is, when the variance value in either the horizontal direction X or the vertical direction Y does not exceed the corresponding variance threshold value, it is determined that the rain state is not present (normal state).
  • the dispersion value becomes a large value exceeding the dispersion threshold. Therefore, it is determined that the first detection image GZ1 is in a rainy state.
  • the rain determination unit 30b compares the detected image with the median-processed image from which the isolated points are removed using the median filter with respect to the detected image, and performs the rain determination. Therefore, even when both the obstacle 51 and the raindrop 52 are detected, the raindrop 52 can be extracted using the median filter, and only the raindrop 52 can be the target of the rain determination.
  • the difference image in the second detection image GZ2 is substantially the same as the second detection image GZ2.
  • the dispersion value in the second detection image GZ2 is calculated, the reflection points HK2 are arranged in the vertical direction Y, and the vertical dispersion value Vy is large because the coordinates in the vertical direction Y are different at each reflection point HK2. Value.
  • the lateral dispersion value Vx is smaller than the lateral dispersion threshold Thx. As a result, it is determined that the second detection image GZ2 is not in a rain state.
  • the detected object 50 is an isolated point discretely located by calculating the dispersion value and grasping the variation of the reflection point.
  • FIG. 5 is a flowchart showing a processing flow of the obstacle detection method of the obstacle detection device according to the first embodiment of the present invention.
  • the moving body 1 is in a state of traveling on the traveling surface 100 at a preset traveling speed at the start of processing.
  • a detection image is generated by the detection image generation unit 30a.
  • the detected image may be temporarily stored in a storage device or the like, and a plurality of frames of detected images may be accumulated.
  • step S102 a rain determination process (see FIG. 6) described later is performed by the rain determination unit 30b.
  • step S103 it is determined whether or not the rain determination unit 30b determines that it is in a rain state. That is, it is determined whether or not the result output from the rain determination unit 30b is in a rain state. As a result, when it is determined that it is raining (step S103: Yes), the process proceeds to step S104. On the other hand, when it is determined that it is not raining (step S103: No), the process proceeds to step S106.
  • step S104 the traveling control unit 30e switches to slow traveling. That is, the traveling control unit 30e instructs the driving unit 20 to reduce the traveling speed.
  • a slow speed corresponding to slow travel may be set in advance, or may be a travel speed obtained by subtracting a predetermined value from the normal travel speed. Note that if the vehicle has already been decelerated by slow travel, there is no need to change the setting.
  • step S105 a rain removal process (see FIG. 7) described later is performed by the rain removal processing unit 30c, and the process proceeds to step S108.
  • step S106 the travel control unit 30e switches to normal travel. That is, when the traveling speed of the moving body 1 is decelerated like the slow speed, it returns to the traveling speed at the start of the process. Moreover, when it is set as normal driving
  • step S107 the rain removal processing unit 30c stops the rain removal processing. That is, if rain removal processing has been performed in the previous frame, the rain removal processing is stopped, and the detection image generated in step S101 is output without performing rain removal processing.
  • step S108 the obstacle determination unit 30d performs an obstacle determination process.
  • the obstacle determination is performed on the detected image.
  • the rain removal process is performed in step S105, the obstacle determination is performed on the processed image subjected to the rain removal process.
  • step S109 it is determined whether or not the obstacle determination unit 30d determines that there is an obstacle 51. That is, the determination is made based on whether or not the detected object 50 in the detected image is the obstacle 51. As a result, when it is determined that there is no obstacle 51 (step S109: No), the process proceeds to step S110. On the other hand, if it is determined that there is an obstacle 51 (step S109: Yes), the process proceeds to step S111.
  • step S110 the detected image generation unit 30a waits until the next generation cycle, and then returns to step S101. That is, the obstacle detection device 10 waits for one frame to elapse and repeats the processes shown in steps S101 to S109. Note that the moving body 1 continues to travel without waiting while one frame elapses. Therefore, the obstacle detection device 10 periodically detects an obstacle while the moving body 1 is traveling. In addition, when the traveling speed is changed during the process, the changed speed is maintained until it is changed again.
  • step S111 traveling is stopped by the traveling control unit 30e, and the process is terminated. That is, when it is determined that the obstacle 51 is within the detection range KH, the moving body 1 stops and waits for an instruction.
  • the rain determination process in step S102 will be described in detail.
  • a plurality of methods can be used as rain determination and rain removal processing. Therefore, in order to distinguish between a plurality of rain determination processes and rain removal processes, the rain determination process and the rain removal process in the first embodiment of the present invention are referred to as a rain determination process 1 and a rain removal process 1.
  • FIG. 6 is a flowchart showing a process flow of the rain determination process 1 in the first embodiment of the present invention.
  • step S201 a median processed image is generated by the rain determining unit 30b. That is, the median process is performed on the detected image generated in step S101 to obtain a median processed image.
  • step S202 the rain determination unit 30b generates a difference image comparing the detected image and the median processed image.
  • step S203 the rain determining unit 30b determines whether or not the variance value of the difference image exceeds the variance threshold. That is, the lateral dispersion value Vx and the longitudinal dispersion value Vy in the difference image are calculated and compared with the lateral dispersion threshold Thx and the longitudinal dispersion threshold Thy. As a result, when the variance value exceeds the variance threshold (step S203: Yes), the process proceeds to step S204. On the other hand, if the variance value does not exceed the variance threshold (step S203: No), the process proceeds to step S205.
  • the process may proceed to step S205 regardless of the variance value. That is, if the number of reflection points is small, the accuracy of the dispersion value is low, and it is difficult to determine whether the reflection points actually vary. Moreover, if there are few reflection points, even if it is raining, it can be estimated that it is not heavy rain that requires rain removal processing.
  • step S204 it is determined by the rain determination unit 30b that it is in a rain state, and the rain determination process 1 ends.
  • step S205 the rain determination unit 30b determines that it is not in a rain state, and the rain determination process 1 ends.
  • FIG. 7 is a flowchart showing a processing flow of rain removal processing 1 in the first embodiment of the present invention.
  • step S301 the rain removal processing unit 30c performs median processing on the detected image. Note that if a median-processed image is generated in the above-described rainfall determination process (for example, step S201), it can be used, and it is not necessary to generate a new image, so that the processing time can be shortened. it can.
  • step S302 the rain removal processing unit 30c designates the detected image that has undergone the median process as a processed image, and the process ends. That is, the above-described obstacle determination is performed on the processed image designated here.
  • step S101 the above-described processing is performed, and hereinafter, the case where the first detection image GZ1 to the third detection image GZ3 are generated in step S101 will be described as specific examples.
  • the moving body 1 is set to travel slowly, and rain removal processing (step 105 in FIG. 5) is performed on the first detection image GZ1.
  • the first detection image GZ1 is the fourth detection image GZ4 from which the reflection point HK1 has been removed, and obstacle determination is performed on the fourth detection image GZ4. Since it is determined that the fourth detected image GZ4 has no obstacle 51, the process proceeds to step S110. Thereafter, the moving body 1 travels slowly, and a detection image is generated again, and the obstacle 51 is detected.
  • the moving body 1 When the second detection image GZ2 is generated, it is determined in the rain determination process that the rain state is not present (step 205 in FIG. 6). As a result, the moving body 1 is in a normal travel, and no rain removal process is performed. In the obstacle determination, it is determined that there is an obstacle 51 for the second detection image GZ2 (step S111 in FIG. 5). Then, the moving body 1 stops traveling.
  • the third detection image GZ3 When the third detection image GZ3 is generated, it is determined that it is raining in the rain determination process.
  • the third detection image GZ3 is subjected to rain removal processing, and the obstacle determination target is the fifth detection image GZ5.
  • the obstacle determination In the obstacle determination, it is determined that there is an obstacle 51 and the moving body 1 is stopped.
  • both the raindrop 52 and the obstacle 51 are regarded as the detected object 50, and cannot be distinguished from each other. Therefore, by performing rain removal processing on the detection image during the rain, a detection image showing only the obstacle 51 can be obtained, and erroneous detection of the raindrop 52 as the obstacle 51 can be avoided.
  • the traveling control unit 30e is configured to control to reduce the traveling speed when it is determined by the rainfall determining unit 30b that the vehicle is in a raining state. Accordingly, in consideration of the fact that the time required for the processing becomes longer due to the rain removal processing or the like during the rain, the moving body 1 is decelerated to increase the time until it approaches the obstacle 51 and the like. Collision with 51 etc. can be avoided. For example, when a slender obstacle 51 as shown in FIG. 3B exists in a rainy state, the obstacle 51 may be removed by the rain removal process. Obstacle determination is performed again before approaching 51. As a result, by detecting after approaching, the area occupied by the obstacle 51 in the detection image becomes large, and it can be determined that the obstacle 51 is not removed by the rain removal process and the obstacle 51 is present.
  • the obstacle detection method transmits a detection wave to the detected object 50, receives a reflected wave from the detected object 50, and measures a detection distance KL to the detected object 50.
  • a rain determination step for determining whether or not KH is in a rain state a rain removal processing step for causing the rain removal processing unit 30c to perform a rain removal process for removing isolated points from the detected image, and an obstacle determination unit 30d, detection image Based on, and a obstacle determining step of the obstacle determines whether the detection object 50 is an obstacle 51.
  • the obstacle determination step when it is determined in the rain determination step that the vehicle is in the rain state, the obstacle determination is performed based on the detected image subjected to the rain removal process in the rain removal processing step.
  • FIG. 8 is an explanatory diagram illustrating a sixth detection image generated by the detection image generation unit according to the second embodiment of the present invention.
  • the second embodiment differs from the first embodiment in the format of the detection image generated by the detection image generation unit 30a.
  • the detected image is a two-dimensional planar image in the first embodiment, whereas in the second embodiment, the detected image is a three-dimensional stereoscopic image.
  • the detection image generation unit 30a generates a three-dimensional image (for example, the sixth detection image GZ6) corresponding to the detection range that is a three-dimensional space as the detection image.
  • FIG. 8 is the sixth detection image GZ6 generated in the second embodiment, and is an image in which the reflection point HK5 is arranged in a three-dimensional space.
  • the sixth detection image GZ6 in addition to the horizontal direction X and the vertical direction Y, a depth direction Z orthogonal to both is shown.
  • the position in the depth direction Z may be determined based on the detection distance KL of the detection object 50.
  • the sixth detection image GZ6 shows the raindrop 52 detected during the rain as the reflection point HK5, and the reflection point HK5 is separated in the horizontal direction X and the vertical direction Y, respectively, in addition to the depth direction Z. But it is far away.
  • the same obstacle detection method as that in the first embodiment is implemented.
  • the variance value is calculated in the depth direction Z along with the horizontal direction X and the vertical direction Y with respect to the sixth detection image GZ6. If the calculated dispersion value does not exceed the corresponding dispersion threshold value in any one of the horizontal direction X, the vertical direction Y, and the depth direction Z, it is determined that the rain state is not present (normal state). Is done. Therefore, it is possible to determine whether or not it is raining more reliably by performing the process of detecting rain on the three-dimensional space. That is, even when a plurality of reflection points HK5 are adjacent to each other and have a shape like a large obstacle 51, it is grasped that they are separated from each other by comparing the distances to the respective reflection points HK5. it can.
  • the detection image generation unit 30a may generate not only a three-dimensional image but also an image (for example, the first detection image GZ1) showing the detection result on a plane.
  • the rain removal process and the obstacle determination are performed on a planar detection image, thereby simplifying the image process and shortening the processing time.
  • an obstacle is determined for a three-dimensional image, the shape of the detected object 50 can be grasped more accurately, so that the determination accuracy can be improved.
  • FIG. 9 is an explanatory diagram illustrating a seventh detection image generated by the detection image generation unit according to the third embodiment of the present invention
  • FIG. 10 illustrates a difference between the first detection image and the seventh detection image. It is explanatory drawing which shows an image.
  • the third embodiment differs from the first embodiment in the method used for rainfall determination.
  • the difference between the detected image and the median-processed image obtained by performing the median process is calculated.
  • the rainfall determination unit 30b is generated at different generation cycles SC. It is set as the structure which compares two detection images and performs rain judgment.
  • FIG. 9 shows a seventh detection image GZ7 in which raindrops 52 are detected in a rainy state, and the number of reflection points HK6 is “10”.
  • the reflection points HK6 are discretely located in the seventh detection image GZ7 and are independent from each other.
  • the seventh detection image GZ7 is a detection image generated one frame before the first detection image GZ1. That is, since the installed obstacle 51 does not move, the position does not change even if time elapses. However, since the raindrop 52 moves as time elapses, the position in the detection range KH changes. Therefore, the seventh detection image GZ7 is different from the first detection image GZ1 in the arrangement of the reflection points HK6 (raindrops 52).
  • the reflection point HK6 is indicated by a broken line, but both are treated as “1” in the image data. There is no difference between the two.
  • FIG. 10 shows an eighth detection image GZ8 (difference image) obtained by calculating the difference between the first detection image GZ1 and the seventh detection image GZ7.
  • the reflection point HK6 is shown.
  • the difference image the overlapping reflection points are removed.
  • the rain determination is performed on the eighth detection image GZ8, and it is determined whether it is raining based on the variance value in the eighth detection image GZ8.
  • image processing or the like is not performed on the detected image, it is possible to perform rainfall determination without removing a small obstacle or the like.
  • the rain determination process is different from the first embodiment, but the other processes are the same. That is, in the third embodiment, the above-described process flow shown in FIG. 5 is performed, and the rain determination process 2 shown below is performed in step S102.
  • FIG. 11 is a flowchart showing a process flow of the rain determination process 2 in the third embodiment of the present invention.
  • step S401 the rain detection unit 30b designates a detection image generated in the previous generation cycle as a comparative detection image. That is, the detection image generated in step S101 one frame before is set as a comparative detection image.
  • step S402 the rain determination unit 30b generates a difference image that compares the detected image with the comparatively detected image. That is, when the first detection image GZ1 is a detection image and the seventh detection image GZ7 is a comparison detection image, an eighth detection image GZ8 is generated as a difference image.
  • step S403 to step S405 Since the processing from step S403 to step S405 is the same as that from step S203 to step S205 described above, description thereof will be omitted.
  • FIG. 12 is an explanatory diagram showing the relationship between the generation period and the rain determination period in the fourth embodiment of the present invention.
  • the fourth embodiment differs from the first embodiment in the period for performing rainfall determination.
  • the rain determination is performed for each generation cycle SC in which the detection image is generated.
  • the rain determination is performed for each of the plurality of generation cycles SC.
  • FIG. 12 shows the timing for performing the rain judgment as time elapses.
  • time T1 to time T11 indicate the time when the detected image is generated.
  • the interval between time T1 and time T2 corresponds to one generation cycle SC (one frame).
  • a detection image is generated, and rainfall determination is performed.
  • a detection image is generated, but rain determination is not performed.
  • the rain detection is made while the detection image is generated.
  • the rain determination is performed only at time T7 and time T10, and is not performed in other frames.
  • the rain determination unit 30b performs the rain determination for each of the plurality of generation cycles SC, and the interval for performing the rain determination is set in advance as the rain determination cycle KC.
  • the rain determination period KC is set to 3 frames.
  • the present invention is not limited to this, and the rain determination interval may be changed as appropriate.
  • the generation cycle SC is set to be short so that the obstacle 51 can be quickly dealt with, but the change in weather is gentle compared to the obstacle 51 and the like. For this reason, the frequency of rain determination may be lowered to suppress excessive processing.
  • FIG. 13 is a flowchart showing a processing flow of the obstacle detection method of the obstacle detection device according to the fourth embodiment of the present invention.
  • the moving body 1 is in a state of traveling on the traveling surface 100 at the traveling speed at the start of processing.
  • step S501 a detection image is generated by the detection image generation unit 30a as in the first embodiment.
  • step S502 the rain determination unit 30b determines whether or not the rain determination period KC has been reached. Here, it is determined whether or not the time set as the rainfall determination period KC has elapsed since the previous rain determination was performed. As a result, when the rainfall determination period KC is reached (step S502: Yes), the process proceeds to step S503. On the other hand, if the rainfall determination period KC has not been reached (step S502: No), the process proceeds to step S509.
  • step S503 to step S512 Since the processing from step S503 to step S512 is the same as that from step S102 to step S111 described above, a detailed description thereof will be omitted. That is, when the rainfall determination period KC is reached, the rain determination process is performed in step S503 corresponding to step S102. On the other hand, if the rainfall determination period KC has not been reached, an obstacle determination process is performed in step S509 corresponding to step S108. Therefore, whether or not the rain determination is necessary is determined depending on whether or not the rain determination cycle KC has been reached. In the rain determination process in step S503, the rain determination process 1 shown in FIG. 6 may be applied, or the rain determination process 2 shown in FIG. 11 may be applied.
  • FIG. 14 is an explanatory diagram showing a relationship between repetition of rainfall determination and output of determination results in the fifth embodiment of the present invention.
  • the fifth embodiment differs from the fourth embodiment in that the determination result is output after the rain determination is repeated. In the fourth embodiment, the determination result of the rain determination is immediately output. In the fifth embodiment, the determination result is output when the same determination result is continued.
  • FIG. 14 shows the timing for performing the rain determination as time elapses, as in FIG.
  • the rain determination is performed every three frames, and the rain determination is performed at time T ⁇ b> 1, time T ⁇ b> 4, time T ⁇ b> 7, and time T ⁇ b> 10.
  • the determination result is output when the same determination is repeated three times.
  • the determination result indicating that it is in a rainy state is output.
  • FIG. 15 is a flowchart showing a process flow of the obstacle detection method of the obstacle detection apparatus according to the fifth embodiment of the present invention
  • FIG. 16 is a process of the continuous determination process in the fifth embodiment of the present invention. It is a flowchart which shows a flow.
  • Steps S601 to S603 are the same as steps S501 to S503 described above, and steps S605 to S613 are similar to steps S504 to S512 described above. Is omitted. That is, the fifth embodiment is different from the fourth embodiment in that the continuous determination process shown in FIG. 16 is performed as step S604 after step S603. Therefore, the continuous determination process will be described with reference to FIG.
  • step S701 the rain determination unit 30b determines whether the determination result in the rain determination process (step S603) is the same as the determination result in the previous rain determination process. For example, if it is rain determination at time T4 in FIG. 14, the determination result is compared with the rain determination at time T1. As a result, when the determination result is the same as the previous time (step S701: Yes), the process proceeds to step S702. On the other hand, if the determination result is different from the previous time (step S701: No), the process proceeds to step S703.
  • step S702 the number of determinations is increased by 1 by the rain determination unit 30b.
  • the result of rain determination is counted and stored as the number of determinations. For example, when the number of determinations is stored as one, it is stored as two through step S702.
  • step S703 the number of determinations is reset by the rain determination unit 30b.
  • the number of determinations is stored as one.
  • step S704 the rain determination unit 30b determines whether the number of determinations exceeds a specified value.
  • the specified value is set to 3 times in advance, and when the number of determinations is 3, it is determined that the specified value has been exceeded.
  • step S704: Yes when the number of determinations exceeds the specified value (step S704: Yes), the process proceeds to step S705.
  • step S704: No when the number of determinations does not exceed the specified value (step S704: No), the process proceeds to step S706.
  • the specified value is set to 3 times, but the specified value may be set as appropriate.
  • step S705 the rain determination unit 30b outputs the determination result in the current generation cycle SC, and the process ends.
  • step S706 the rain judgment unit 30b outputs the judgment result output last time, and the process ends.
  • step S605 the rain determination unit 30b determines whether or not the output determination result is a rain state. In other words, in step S605, the same processing as in step S504 is performed. If it is raining, the process proceeds to step S606, and measures such as slow running of the moving body 1 are taken. On the other hand, if it is not raining, the process proceeds to step S608, and the moving body 1 is caused to travel normally.
  • step S702 since it is determined that it is not raining and the determination result is the same as the previous time, the number of determinations is increased by one (step S702). And the determination result that the frequency
  • step S703 the number of determinations is reset. Then, since the number of times of determination is one and does not exceed the specified value, the same determination result (not in the rain state) as the time T1 is output (step S706).
  • step S705 the determination result at time T10 (in a rainy state) is output (step S705).
  • the rain determination is performed for each of a plurality of frames.
  • the present invention is not limited to this, and the rain determination may be performed for each frame as in the first embodiment.
  • FIG. 17A is an explanatory diagram of the first distance data indicating the detection distance
  • FIG. 17B is an explanatory diagram of the second distance data indicating the detection distance.
  • hatching is performed to emphasize a part.
  • the rain determination unit 30b is configured to calculate the difference in the detection distance KL from the surroundings of the detected object 50 in the detection image at the time of the rain determination.
  • a measurement point (pixel) having a large difference in the detection distance KL from the surroundings is set as an isolated point, and it is determined whether it is raining based on the number of isolated points.
  • the distance data indicating the detection distance KL for each coordinate is generated.
  • the first distance data DT1 and the second distance data DT2 shown in FIGS. 17A and 17B are specific examples in which a part of the generated distance data is enlarged.
  • coordinates are indicated by a matrix, and the coordinates and the detection distance KL are associated with each other.
  • the first distance data DT1 and the second distance data DT2 are “3 ⁇ 3” matrices. In the horizontal direction X, “1 column”, “2 columns”, and “3 columns” are arranged, and in the vertical direction Y, “A row”, “B row”, and “C row” are arranged.
  • first distance data DT1 and the second distance data DT2 are enlarged views of a part of the distance data, and the distance data is composed of more rows and columns than “3 ⁇ 3”. Also good.
  • “B2” is 1 m (meters), and other coordinates are 10 to 13 m.
  • a distance threshold relating to the difference in the detection distance KL is set in advance, and in this embodiment, the distance threshold is 5 m. Then, when the detection distance KL between “B2” and the surrounding coordinates is compared, the difference between the detection distances KL exceeds the distance threshold value, so that “B2” is determined to be an isolated point.
  • the detection distance KL in the second distance data DT2 shown in FIG. 17B As for the detection distance KL in the second distance data DT2 shown in FIG. 17B, “B2” is 1 m, the detection distance KL of “B1” adjacent to “B2” is 4 m, and the other coordinates are 10 to 13 m. It is. In the second distance data DT2, since the difference in the detection distance KL between “B2” and “B1” does not exceed the distance threshold, “B2” and “B1” are determined not to be isolated points.
  • FIG. 18A is an explanatory diagram illustrating a ninth detection image generated by the detection image generation unit
  • FIG. 18B is an explanatory diagram illustrating a tenth detection image generated by the detection image generation unit.
  • the detection image generation unit 30a generates a detection image showing the isolated points described above as reflection points. That is, in the image data, the pixel corresponding to the isolated point is indicated as “1”, and the other pixels are indicated as “0”. Specifically, in the ninth detection image GZ9 shown in FIG. 18A, the reflection points HK7 are discretely located in the ninth detection image GZ9, and the number is “13”. In the tenth detection image GZ10 shown in FIG. 18B, the reflection points HK8 are discretely located in the tenth detection image GZ10, and the number is “4”. In the rain determination, an isolated point threshold relating to the number of isolated points is set in advance, and in this embodiment, the isolated point threshold is set to “10”.
  • the ninth detection image GZ9 is determined to be in a rain state, and the tenth detection image GZ10 has the number of reflection points HK8 isolated. Since the point threshold value is not exceeded, it is determined that it is not raining. Note that the distance threshold and the isolated point threshold may be set as appropriate.
  • the rain determination process is different from the first embodiment, but the other processes are the same. That is, in the sixth embodiment, the above-described process flow shown in FIG. 5 is performed, and the rain determination process 3 shown below is performed in step S102.
  • FIG. 19 is a flowchart showing the process flow of the rain determination process 3 in the third embodiment of the present invention.
  • step S801 the detection image generation unit 30a generates distance data (for example, first distance data DT1 and second distance data DT2) indicating the detection distance KL for each detected object 50.
  • distance data for example, first distance data DT1 and second distance data DT2
  • step S802 the rain determining unit 30b counts the number of isolated points in the distance data.
  • An isolated point is determined based on a distance threshold.
  • the isolated points in the distance data may be counted, or the reflection points of the detected image corresponding to the distance data may be counted.
  • step S803 the rain determination unit 30b determines whether the number of isolated points exceeds the isolated point threshold. As a result, when the number of isolated points exceeds the isolated point threshold (step S803: Yes), the process proceeds to step S804. On the other hand, if the number of isolated points does not exceed the isolated point threshold (step S803: No), the process proceeds to step S805.
  • step S804 the rain determination unit 30b determines that it is in a rain state, and the rain determination process 3 is terminated.
  • step S805 the rain determination unit 30b determines that the rain state is not present, and the rain determination process 3 is terminated.
  • the raindrops 52 are discretely located by making a comparison based on the detection distance KL. Further, even when the detected object 50 is locally concentrated due to the presence of the obstacle 51, the difference in the detection distance KL can be grasped without being affected by the statistical bias.
  • FIG. 20A is an explanatory diagram illustrating third distance data in the first frame
  • FIG. 20B is an explanatory diagram illustrating fourth distance data in the second frame
  • FIG. 20C is a diagram illustrating the third frame
  • FIG. 20D is an explanatory diagram illustrating the sixth distance data obtained from the maximum detected distance. In FIGS. 20A to 20D, hatching is performed to emphasize a part.
  • the seventh embodiment is different from the first embodiment in the method used for the rain removal process.
  • the rain removal process part 30c is set as the structure which compares the detection distance KL for every some production
  • the detection distance KL is compared with three frames including the previous frame and the previous two frames with respect to the frame in which the detection image is generated.
  • three consecutive frames are referred to as a first frame, a second frame, and a third frame over time.
  • the third distance data DT3, the fourth distance data DT4, and the fifth distance data DT5 are part of the distance data corresponding to the detected images in the first frame, the second frame, and the third frame, respectively. Similar to the first distance data DT1, it is a “3 ⁇ 3” matrix.
  • the third distance data DT3, the fourth distance data DT4, and the fifth distance data DT5 indicate the same coordinates in the detection range KH.
  • the detection distance KL of the third distance data DT3 is “A1” is 2 m, “A2” is 10 m, “A3” is 9 m, “B1” is 13 m, “B2” is 10 m, “B3” is 2 m, “C1”. Is 12 m, “C2” is 4 m, and “C3” is 9 m.
  • the detection distance KL of the fourth distance data DT4 is 8m for "A1", 1m for “A2”, 6m for “A3”, 4m for "B1", 2m for “B2”, 2m for “B3”, "C1” Is 13 m, “C2” is 6 m, and “C3” is 3 m.
  • the detection distance KL of the fifth distance data DT5 is “A1” 7 m, “A2” 15 m, “A3” 3 m, “B1” 4 m, “B2” 10 m, “B3” 2 m, “C1”. Is 8 m, “C2” is 11 m, and “C3” is 5 m.
  • the maximum detection distance KL at each measurement point is acquired, and maximum value data indicating the maximum value for each measurement point is generated. For example, in the case of “A1”, 8 m of the fourth distance data DT4 is acquired as the maximum value. Similarly, the maximum value is acquired for the other coordinates, and the sixth distance data DT6 shown in FIG. 20D is generated as the maximum value data of the third distance data DT3, the fourth distance data DT4, and the fifth distance data DT5.
  • the detection distance KL of the sixth distance data DT6 is 8m for "A1", 15m for “A2”, 9m for “A3", 13m for “B1”, 10m for “B2", 2m for “B3”, "C1” Is 13 m, “C2” is 11 m, and “C3” is 9 m.
  • the detection distance of the third distance data DT3 to the fifth distance data DT5 coordinates other than “B3” are present, and there are coordinates smaller than the threshold value, and it is not possible to determine either the obstacle 51 or the raindrop 52.
  • the detection distance KL varies compared to other frames.
  • “B3” it is 2 m in any frame, and the detection distance KL does not change.
  • the noise that hinders obstacle detection can be removed by obtaining the maximum value of the detection distance KL.
  • the processing speed can be increased.
  • the rain removal determination process is different from the first embodiment, but the other processes are the same. That is, in the seventh embodiment, the above-described processing flow shown in FIG. 5 is performed, and in step S105, the rain removal processing 2 shown below is performed.
  • FIG. 21 is a flowchart showing the process flow of the rain removal process 2 in the seventh embodiment of the present invention.
  • step S901 the detection image generation unit 30a generates distance data (for example, third distance data DT3 to fifth distance data DT5) indicating the detection distance KL for each detected object 50.
  • distance data for example, third distance data DT3 to fifth distance data DT5
  • step S902 the rain removal processing unit 30c acquires the maximum value for each measurement point among the distance data in the plurality of generation cycles SC.
  • the maximum value in three frames is obtained.
  • the present invention is not limited to this, and the number of frames to be compared may be set as appropriate.
  • step S903 the rain removal processing unit 30c generates maximum value data (for example, sixth distance data DT6) indicating the maximum value for each measurement point, and ends the process. Subsequent obstacle determination is performed on the maximum value data.
  • maximum value data for example, sixth distance data DT6
  • the processing flow shown in FIG. 5 is implemented.
  • the present invention is not limited to this, and the processing flow shown in FIG. It is good also as a structure which performs determination.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

 障害物検知装置(10)は、被検知物までの検知距離を測定する測距センサ(11)と、測距センサ(11)の測距結果に基づいて、検知範囲における被検知物の有無を示す検知画像を生成する検知画像生成部(30a)と、検知範囲が降雨状態であるか否かの降雨判定をする降雨判定部(30b)と、検知画像から孤立点を除去する雨除去処理を行う雨除去処理部(30c)と、被検知物が障害物であるか否かの障害物判定をする障害物判定部(30d)とを備える。障害物判定部(30d)は、降雨判定部(30b)によって降雨状態であると判定された場合、雨除去処理部(30c)によって雨除去処理された検知画像に基づいて、障害物判定を実施する。

Description

障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム
 本発明は、被検知物までの距離を測定する測距センサを備えた障害物検知装置および移動体、並びに、その障害物検知方法および障害物検知プログラムに関する。
 従来、走行面を自律走行するシステムでは、センサなどで障害物を検知して、動作を制御していた。例えば、自動車などの車両においては、運転者を補佐するシステムとして、障害物との接触回避を支援する車両の接触回避支援装置が開発されている(例えば、特許文献1参照。)。
 また、移動ロボットでは、遠隔操作によって指示した方向へ移動させ、センサによって検知した障害物との距離に基づいて、移動速度を算出させることで、障害物との接触を防止する方法が提案されている(例えば、特許文献2参照。)。
特開2008-49932号公報 特開2006-285548号公報
 特許文献1に記載の車両の接触回避支援装置は、前方障害物センサによって車両前方の障害物までの距離を検知しており、障害物までの距離に応じて車両の目標速度を算出し、目標速度に基づいて制動力を制御して、車速を自動制動により減速している。従って、接触回避支援装置では、運転者による車両の操作状態に応じて目標速度を補正し、運転者の自発的な接触回避操作を支援することで、運転者に違和感を与えずに、障害物との接触回避を促している。
 また、特許文献2に記載の移動ロボットは、移動方向前方の障害物を検出する検出部を備え、障害物までの距離を算出しており、監視センタから通信によって移動する方向や速度が指示される。移動ロボットは、自律移動モードにおいて、前方の障害物を検出した際に、異常信号を監視センタに送信する。監視センタでは、管制員によって移動ロボットに対する遠隔操作が行われる。そして、移動ロボットは、遠隔操作モードにおいて、監視センタからの指示に応じて、障害物に接触する前に停止可能な走行速度で移動する。このように遠隔操作を用いた移動ロボットでは、伝送遅延による指示の遅れに対応できるように、障害物の回避を考慮した移動速度とされている。
 ところで、移動ロボットや車両などの自律走行を用いたシステムは、屋内に留まらず、屋外でも使用されており、様々な環境に対応することが求められている。屋外においては天候の変化が考慮され、降雨の際の雨粒などを障害物として誤検知してしまう問題がある。上述した特許文献1および特許文献2には、雨粒などによって障害物を誤検知することが考慮されておらず、接触を回避すべき障害物と移動を妨げない雨粒等とを区別できないという課題がある。また、雨粒などを障害物と誤検知しないように、検知結果に対してノイズなどを取り除く処理が提案されているが、このような処理を通常時に実施すると、小さい障害物などを見落とす虞がある。
 本発明は、上記の課題を解決するためになされたものであり、降雨中には、雨粒を障害物として誤検知することを避けることができる障害物検知装置、移動体、障害物検知方法、および障害物検知プログラムを提供することを目的とする。
 本発明に係る障害物検知装置は、被検知物に対する検知波を送波し、該被検知物からの反射波を受波して、該被検知物までの検知距離を測定する測距センサと、前記測距センサの測距結果に基づいて、前記検知波が送波された検知範囲における前記被検知物の有無を示す検知画像を生成する検知画像生成部と、前記検知画像内の前記被検知物のうち、離散的に位置する孤立点の有無に基づいて、前記検知範囲が降雨状態であるか否かの降雨判定をする降雨判定部と、前記検知画像から前記孤立点を除去する雨除去処理を行う雨除去処理部と、前記検知画像に基づいて、前記被検知物が障害物であるか否かの障害物判定をする障害物判定部とを備え、前記障害物判定部は、前記降雨判定部によって前記降雨状態であると判定された場合、前記雨除去処理部によって前記雨除去処理された検知画像に基づいて、前記障害物判定を実施することを特徴とする。
 本発明に係る障害物検知装置では、前記検知範囲は、立体空間とされており、前記検知画像生成部は、前記検知画像として、立体空間とされた検知範囲に対応する3次元画像を生成し、前記降雨判定部は、前記3次元画像に対して、前記降雨判定を行う構成としてもよい。
 本発明に係る障害物検知装置では、前記降雨判定部は、前記降雨判定の際に、前記検知画像における前記被検知物の分散値を算出する構成としてもよい。
 本発明に係る障害物検知装置では、前記降雨判定部は、前記降雨判定の際に、前記検知画像における前記被検知物の周囲との前記検知距離の差を算出する構成としてもよい。
 本発明に係る障害物検知装置では、前記検知画像生成部は、予め設定された生成周期毎に前記検知画像を周期的に生成する構成としてもよい。
 本発明に係る障害物検知装置では、前記雨除去処理部は、メディアンフィルタを用いて前記雨除去処理を行う構成としてもよい。
 本発明に係る障害物検知装置では、前記降雨判定部は、前記検知画像と、該検知画像に対しメディアンフィルタを用いて前記孤立点を除去したメディアン処理画像とを比較して、前記降雨判定を行う構成としてもよい。
 本発明に係る障害物検知装置では、前記降雨判定部は、それぞれ異なる生成周期において生成された2つの検知画像を比較して、前記降雨判定を行う構成としてもよい。
 本発明に係る障害物検知装置では、前記降雨判定部は、複数の前記生成周期毎に前記降雨判定を行う構成としてもよい。
 本発明に係る障害物検知装置では、前記降雨判定部は、複数の前記生成周期で前記降雨判定を行い、複数回連続して同じ判定をした際に、該降雨判定の結果を出力する構成としてもよい。
 本発明に係る障害物検知装置では、前記雨除去処理部は、前記検知画像に対し、複数の前記生成周期毎の前記検知距離を比較して、前記孤立点を除去する構成としてもよい。
 本発明に係る移動体は、本発明に係る障害物検知装置を備え、走行面を走行することを特徴とする。
 本発明に係る移動体では、前記走行面で走行する走行速度を制御する走行制御部を備え、前記走行制御部は、前記降雨判定部によって前記降雨状態であると判定された場合、前記走行速度を減速させる制御をする構成としてもよい。
 本発明に係る障害物検知方法は、被検知物に対する検知波を送波し、該被検知物からの反射波を受波して、該被検知物までの検知距離を測定する測距センサを備えた障害物検知装置における障害物検知方法であって、検知画像生成部に、前記測距センサの測距結果に基づいて、前記検知波が送波された検知範囲における前記被検知物の有無を示す検知画像を生成させる検知画像生成ステップと、降雨判定部に、前記検知画像内の前記被検知物のうち、離散的に位置する孤立点の有無に基づいて、前記検知範囲が降雨状態であるか否かの降雨判定をさせる降雨判定ステップと、雨除去処理部に、前記検知画像から前記孤立点を除去する雨除去処理を行わせる雨除去処理ステップと、障害物判定部に、前記検知画像に基づいて、前記被検知物が障害物であるか否かの障害物判定をさせる障害物判定ステップとを含み、前記障害物判定ステップは、前記降雨判定ステップで前記降雨状態であると判定された場合、前記雨除去処理ステップで前記雨除去処理された検知画像に基づいて、前記障害物判定を実施することを特徴とする。
 本発明に係る障害物検知プログラムは、本発明に係る障害物検知方法の各ステップをコンピュータに実行させることを特徴とする。
 本発明によると、降雨中には、検知画像に雨除去処理を施すことで、障害物だけを示す検知画像とすることができ、雨粒を障害物として誤検知することを避けることができる。
本発明の第1実施形態に係る移動体の外観図である。 図1に示す移動体の構成図である。 検知画像生成部によって生成された第1検知画像を示す説明図である。 検知画像生成部によって生成された第2検知画像を示す説明図である。 検知画像生成部によって生成された第3検知画像を示す説明図である。 雨除去処理部によって雨除去処理された第4検知画像を示す説明図である。 雨除去処理部によって雨除去処理された第5検知画像を示す説明図である。 本発明の第1実施形態に係る障害物検知装置の障害物検知方法の処理フローを示すフロー図である。 本発明の第1実施形態における降雨判定処理1の処理フローを示すフロー図である。 本発明の第1実施形態における雨除去処理1の処理フローを示すフロー図である。 本発明の第2実施形態における検知画像生成部で生成された第6検知画像を示す説明図である。 本発明の第3実施形態における検知画像生成部で生成された第7検知画像を示す説明図である。 第1検知画像と第7検知画像とを比較した差分画像を示す説明図である。 本発明の第3実施形態における降雨判定処理2の処理フローを示すフロー図である。 本発明の第4実施形態における生成周期と降雨判定周期との関係を示す説明図である。 本発明の第4実施形態に係る障害物検知装置の障害物検知方法の処理フローを示すフロー図である。 本発明の第5実施形態における降雨判定の繰り返しと判定結果の出力との関係を示す説明図である。 本発明の第5実施形態に係る障害物検知装置の障害物検知方法の処理フローを示すフロー図である。 本発明の第5実施形態における連続判定処理の処理フローを示すフロー図である。 検知距離を示す第1距離データの説明図である。 検知距離を示す第2距離データの説明図である。 検知画像生成部によって生成された第9検知画像を示す説明図である。 検知画像生成部によって生成された第10検知画像を示す説明図である。 本発明の第3実施形態における降雨判定処理3の処理フローを示すフロー図である。 第1フレームでの第3距離データを示す説明図である。 第2フレームでの第4距離データを示す説明図である。 第3フレームでの第5距離データを示す説明図である。 検知距離の最大値を取得した第6距離データを示す説明図である。 本発明の第7実施形態における雨除去処理2の処理フローを示すフロー図である。
 (第1実施形態)
 以下、本発明の第1実施形態に係る障害物検知装置および移動体について、図面を参照して説明する。
 図1は、本発明の第1実施形態に係る移動体の外観図であって、図2は、図1に示す移動体の構成図である。
 本発明の第1実施形態に係る移動体1は、被検知物50に対する検知波を送波し、被検知物50からの反射波を受波して、被検知物50までの検知距離KLを測定する測距センサ11が設けられた障害物検知装置10を備え、走行面100を走行する。具体的に、移動体1は、予め設定された経路に沿って移動する四輪の車両であって、測距センサ11、駆動部20、およびCPU30を備えた構成とされている。
 駆動部20は、4つの車輪とモータ等の駆動源とによって構成されている。なお、駆動部20は、これに限定されず、車輪の数を変更したり、ベルト等を用いたりしてもよく、移動体1を走行させ、適宜走行する速度を調整できる構成とされていればよい。駆動部20は、走行制御部30eによって、走行する速度や方向が制御される。
 測距センサ11は、LIDAR(Light Detection and Ranging)を用いた光学センサであって、検知波であるレーザ光を広範囲に照射し、物体からの反射光(反射波)を受光している。それによって、測距センサ11は、被検知物50の位置や被検知物50までの距離を検知している。なお、測距センサ11の検知結果については、後述する図3Aないし図3Cを参照して、詳細に説明する。
 CPU30は、検知画像生成部30a、降雨判定部30b、雨除去処理部30c、障害物判定部30d、および走行制御部30eを予め組み込まれたプログラムとして記憶しており、記憶したプログラムを実行することにより、後述する処理を実行する。なお、CPU30は、移動体1と障害物検知装置10とで共通に用いられている。また、図2では、省略されているが、移動体1には、測距センサ11の検知結果や、走行速度等の各種設定を記憶させるための記憶装置が設けられていてもよい。
 図1では、雨が降っている降雨状態において、走行している移動体1を示している。測距センサ11は、移動体1の進行方向に沿って検知範囲KHが設定されており、検知範囲KH内の障害物51に加えて、雨粒52も被検知物50として検知する。
 図3Aは、検知画像生成部によって生成された第1検知画像を示す説明図であって、図3Bは、検知画像生成部によって生成された第2検知画像を示す説明図であって、図3Cは、検知画像生成部によって生成された第3検知画像を示す説明図である。
 測距センサ11は、検知範囲KHにおける被検知物50の位置を出力する構成とされており、検知画像生成部30aは、測距センサ11の測距結果に基づいて、検知範囲KHにおける被検知物50の有無を示す検知画像(例えば、第1検知画像GZ1)を生成する。検知画像は、検知範囲KHにおける被検知物50の有無と、被検知物50の位置とを関連付けた画像とされている。本実施の形態において、検知画像は、移動体1の進行方向に対し直交する平面を示し、矩形状とされている。検知画像では、被検知物50が位置に応じた座標(画素)に反射点として配置され、被検知物50が有る画素(反射点)を「1」とし、被検知物50が無い画素を「0」として示しており、2値化された画像データとみなされる。なお、以下に示す検知画像(第1検知画像GZ1ないし第10検知画像GZ10)では、水平な方向を横方向Xとし、横方向Xに対して垂直な方向を縦方向Yとして示している。また、以下では説明の簡略化のため、被検知物50が無い画素(反射点では無い画素)を空白点と呼ぶ。
 検知画像生成部30aは、予め設定された生成周期SC(後述する図12参照)毎に検知画像を周期的に生成する構成とされている。つまり、検知画像生成部30aは、生成周期SCとして予め設定された時間が経過するたびに、検知画像を生成している。屋外においては、時間の経過によって降雨状態が変化するため、周期的に検知画像を生成して、雨が降っているかどうかを判定している。なお、測距センサ11が検知波を送波するタイミングについては、特に限定されておらず、常に検知波を送波してもよいし、生成周期SCに応じて、定期的に送波して測距を行う構成としてもよい。以下では説明のために、生成周期SCとして設定された時間をフレームと呼ぶことがある。例えば、検知画像を生成した生成周期SCに対して2つ前の周期を、2フレーム前とのように呼ぶことがある。
 図3Aは、降雨状態で雨粒52が検知された第1検知画像GZ1を示しており、反射点HK1の数は「11」である。反射点HK1は、第1検知画像GZ1内に離散的に位置しており、それぞれ独立している。つまり、降雨中には、検知範囲KH内に多数の雨粒52が存在しており、多数の雨粒52は、それぞれサイズが小さいため、1つの画素で示されている。
 図3Bは、細長い障害物51が検知された第2検知画像GZ2を示しており、反射点HK2の数は「11」である。なお、第2検知画像GZ2は、降雨状態ではないため、雨粒52による反射点は存在しない。反射点HK2は、縦方向Yに並んで位置しており、横方向Xでの座標が全て同じである。第2検知画像GZ2では、測距センサ11によって棒状の障害物51が検知されている。障害物51のようにサイズが大きい塊は、複数の連続した画素で示される。
 図3Cは、降雨状態で雨粒52と障害物51とが検知された第3検知画像GZ3を示しており、反射点の総数は「26」である。なお、第3検知画像GZ3に示された反射点のうち、雨粒52に対応する反射点HK3の数は「12」であって、障害物51に対応する反射点HK4は「14」である。そして、雨粒52に対応する反射点HK3は、第3検知画像GZ3内に離散的に位置しており、障害物51に対応する反射点HK4は、第3検知画像GZ3の中央に集まって位置している。なお、図3Cでは、実線で示した反射点HK3との違いを明確にするために、反射点HK4を太線で示しているが、いずれも画像データでは、「1」として扱われ、両者に違いは無い。
 障害物判定部30dは、検知画像に基づいて、被検知物50が障害物51であるか否かの障害物判定をする。具体的には、予め反射点の数に関する障害物閾値が設定されており、障害物判定部30dは、検知画像内の反射点の数が障害物閾値を超えていると、被検知物50が障害物51であると判定する。
 例えば、反射点閾値が「10」に設定されていた場合、第1検知画像GZ1ないし第3検知画像GZ3は、全て被検知物50が障害物51であると判定される。しかしながら、第1検知画像GZ1では、小さな雨粒52が検知されているだけであって、第2検知画像GZ2および第3検知画像GZ3と同様に、障害物51であると判定されるのは好ましくない。そこで、障害物検知装置10では、雨除去処理部30cによって、検知画像に対し雨粒52による反射点を除去して、雨を誤検知することを回避している。
 具体的に、雨除去処理部30cは、検知画像から孤立点を除去する雨除去処理を行っており、本実施の形態において、雨除去処理では、メディアンフィルタ(メディアン処理)を用いている。一般的に、メディアン処理は、各画素の値を周辺画素の中央値に置き換える処理である。これによって、確実に孤立点を検知画像から除去することができる。以下では、第1検知画像GZ1ないし第3検知画像GZ3に対して、メディアン処理を行った検知画像を参照して、メディアン処理を説明する。
 図4Aは、雨除去処理部によって雨除去処理された第4検知画像を示す説明図であって、図4Bは、雨除去処理部によって雨除去処理された第5検知画像を示す説明図である。
 図4Aは、第1検知画像GZ1および第2検知画像GZ2に対して、メディアン処理を行った第4検知画像GZ4を示しており、反射点の数は「0」である。
 先ず、第1検知画像GZ1(図3A参照)において、反射点HK1は、それぞれ独立しており、周囲を空白点に囲まれているので、全ての反射点HK1が、空白点に置き換えられる。その結果、第1検知画像GZ1は、反射点が存在しない第4検知画像GZ4とされる。
 次に、第2検知画像GZ2(図3B参照)では、反射点HK2が連続しているが、反射点HK2の周囲には、空白点が多く存在しており、メディアン処理を行うと、反射点HK2が空白点に置き換えられる。その結果、第2検知画像GZ2は、第1検知画像GZ1と同様に、反射点が存在しない第4検知画像GZ4とされる。
 図4Bは、第3検知画像GZ3に対して、メディアン処理を行った第5検知画像GZ5を示しており、反射点HK4の数は「14」である。第3検知画像GZ3(図3C参照)では、雨粒52に対応する反射点HK3と障害物51に対応する反射点HK4とが存在していたが、雨粒52に対応する反射点HK3は、第1検知画像GZ1と同様にして、全て空白点に置き換えられる。これに対し、障害物51に対応する反射点HK4は、位置(座標)が集中しており、周囲に多くの反射点HK4が存在するため、メディアン処理を行っても、空白点に置き換えられず、反射点HK4として残る。その結果、第3検知画像GZ3は、雨粒52に対応する反射点HK3だけが除去されて、障害物51に対応する反射点HK4だけが存在する第5検知画像GZ5とされる。
 ところで、第2検知画像GZ2については、細長い障害物51を検知した画像であるため、被検知物50が障害物51であると判定されることが望ましい。しかしながら、第2検知画像GZ2は、メディアン処理が行われると、第4検知画像GZ4とされるが、第4検知画像GZ4を対象として障害物判定を行うと、反射点が存在しないため、被検知物50が障害物51であると判定されない。従って、降雨中には、雨粒52を除去するために雨除去処理を行うことが望ましいが、降雨していないときには、雨除去処理を行わないことが望ましく、状況に応じて、雨除去処理を行うか否かを選択することが望ましい。そこで、障害物検知装置10では、降雨判定部30bによって、降雨状態であるか否かを判定し、状態に応じて、雨除去処理の要否を指示している。
 具体的に、降雨判定部30bは、検知画像内の被検知物50のうち、離散的に位置する孤立点の有無に基づいて、検知範囲KHが降雨状態であるか否かの降雨判定をしている。本実施の形態では、降雨判定の際に、検知画像における被検知物50の分散値を算出する構成とされている。
 例えば、第1検知画像GZ1に対して、降雨判定を行う場合、先ず、第1検知画像GZ1にメディアン処理が行われ、上述した第4検知画像GZ4(メディアン処理画像)が生成される。
 次に、第1検知画像GZ1とメディアン処理画像との差分を算出した差分画像が生成される。ここで、第4検知画像GZ4は、全て空白点であるため、第1検知画像GZ1との差分は、第1検知画像GZ1と略同じとなる。つまり、第1検知画像GZ1における差分画像は、第1検知画像GZ1に相当し、図面を省略する。
 そして、差分画像に対して、横方向Xと縦方向Yとのそれぞれでの分散値が算出される。降雨判定では、予め分散値の数に関する分散閾値が設定されており、降雨判定部30bは、算出した分散値が分散閾値を超えていると、降雨状態であると判定する。なお、本実施の形態では、横方向Xでの横分散値Vxに対して、横方向Xの横分散閾値Thxが設定されており、縦方向Yでの縦分散値Vyに対して、縦方向Yの縦分散閾値Thyが設定されている。さらに、降雨判定において、「Vx>Thx」、且つ「Vy>Thy」である場合に、降雨状態であると判定される。つまり、横方向Xと縦方向Yとのいずれかの分散値が、対応する分散閾値を超えていない場合には、降雨状態ではない(通常状態である)と判定される。
 第1検知画像GZ1の場合には、反射点HK1がそれぞれ独立しており、1箇所に集まらずにばらついているため、分散値は分散閾値を超えるような大きな値となる。従って、第1検知画像GZ1は、降雨状態であると判定される。
 上述したように、降雨判定部30bは、検知画像と、検知画像に対しメディアンフィルタを用いて孤立点を除去したメディアン処理画像とを比較して、降雨判定を行っている。従って、障害物51と雨粒52との両方が検知された場合であっても、メディアンフィルタを用いて雨粒52を抽出し、雨粒52だけを降雨判定の対象とすることができる。
 ところで、第2検知画像GZ2に対して降雨判定を行うと、第2検知画像GZ2における差分画像は、第2検知画像GZ2と略同じとなる。そして、第2検知画像GZ2での分散値を算出した場合、反射点HK2は、縦方向Yに並んでおり、それぞれの反射点HK2で縦方向Yの座標が異なるため、縦分散値Vyは大きな値となる。これに対し、横方向Xでは、反射点HK2の座標が同じであるため、横分散値Vxが横分散閾値Thxより小さい値となる。その結果、第2検知画像GZ2は、降雨状態ではないと判定される。
 上述したように、分散値を算出して、反射点のばらつきを把握することで、被検知物50が離散的に位置する孤立点であるかどうかを判別することができる。
 次に、障害物検知装置10(移動体1)における障害物検知方法の処理フローについて、図面を参照して説明する。
 図5は、本発明の第1実施形態に係る障害物検知装置の障害物検知方法の処理フローを示すフロー図である。
 移動体1は、処理開始時において、予め設定された走行速度で走行面100を走行している状態とされている。
 ステップS101では、検知画像生成部30aによって、検知画像が生成される。検知画像は、例えば、記憶装置などに一次保存しておく構成とし、複数フレームの検知画像を蓄積させてもよい。
 ステップS102では、降雨判定部30bによって、後述する降雨判定処理(図6参照)が行われる。
 ステップS103では、降雨判定部30bによって、降雨状態であると判定されたかどうかが判断される。つまり、降雨判定部30bから出力された結果が、降雨状態であるか否かで判断される。その結果、降雨状態であると判定された場合(ステップS103:Yes)には、ステップS104へ進む。一方、降雨状態ではないと判定された場合(ステップS103:No)には、ステップS106へ進む。
 ステップS104では、走行制御部30eによって、徐行走行へ切り換えられる。つまり、走行制御部30eは、駆動部20に対し、走行速度を減速させる指示をする。走行制御部30eでは、予め徐行走行に対応する徐行速度が設定されていてもよいし、通常時の走行速度に対して、所定の数値だけ減算した走行速度としてもよい。なお、既に、徐行走行にして減速されている場合には、設定を変更する必要は無い。
 ステップS105では、雨除去処理部30cによって、後述する雨除去処理(図7参照)が行われ、ステップS108へ進む。
 ステップS106では、走行制御部30eによって、通常走行へ切り換えられる。つまり、移動体1の走行速度が、徐行速度のように減速されている場合には、処理開始時の走行速度へ戻す。また、通常走行とされており、初期の走行速度とされている場合には、設定を変更する必要は無い。
 ステップS107では、雨除去処理部30cによって、雨除去処理が停止される。つまり、前のフレームで雨除去処理を行っていた場合には、雨除去処理を停止し、ステップS101で生成した検知画像に対して、雨除去処理を行わずに出力する。
 ステップS108では、障害物判定部30dによって、障害物判定処理が行われる。障害物判定処理では、検知画像に対して障害物判定が行われるが、ステップS105で雨除去処理を行った場合には、雨除去処理された処理済画像に対して障害物判定を行う。
 ステップS109では、障害物判定部30dによって、障害物51があると判定されたかどうかが判断される。つまり、検知画像内の被検知物50が障害物51であるかどうかによって判断される。その結果、障害物51がないと判定された場合(ステップS109:No)には、ステップS110へ進む。一方、障害物51があると判定された場合(ステップS109:Yes)には、ステップS111へ進む。
 ステップS110では、検知画像生成部30aによって、次の生成周期まで待機した後、ステップS101へ戻る。つまり、障害物検知装置10は、1フレーム経過するのを待ち、ステップS101ないしステップS109に示す処理を繰り返す。なお、移動体1は、1フレーム経過する間、待機せずに走行し続けている。従って、移動体1が走行している状態で、障害物検知装置10は、周期的に障害物の検知を行っている。また、処理の途中で走行速度を変更した場合には、変更された速度を、再度変更されるまで維持する。
 ステップS111では、走行制御部30eによって、走行が停止され、処理を終了する。つまり、検知範囲KH内に障害物51があると判定された場合、移動体1は、停止して指示を待つ。
 次に、ステップS102における降雨判定処理について、詳細に説明する。なお、本発明では、降雨判定および雨除去処理として複数の方法を用いることができる。そこで、複数の降雨判定処理および雨除去処理を区別するため、本発明の第1実施形態における降雨判定処理および雨除去処理を、降雨判定処理1および雨除去処理1と呼ぶ。
 図6は、本発明の第1実施形態における降雨判定処理1の処理フローを示すフロー図である。
 ステップS201では、降雨判定部30bによって、メディアン処理画像が生成される。つまり、ステップS101で生成された検知画像に対して、メディアン処理を施し、メディアン処理画像とする。
 ステップS202では、降雨判定部30bによって、検知画像とメディアン処理画像とを比較した差分画像が生成される。
 ステップS203では、降雨判定部30bによって、差分画像の分散値が分散閾値を超えているかどうかが判断される。つまり、差分画像における横分散値Vxおよび縦分散値Vyを算出して、横分散閾値Thxおよび縦分散閾値Thyと比較する。その結果、分散値が分散閾値を超えている場合(ステップS203:Yes)には、ステップS204へ進む。一方、分散値が分散閾値を超えていない場合(ステップS203:No)には、ステップS205へ進む。
 なお、分散値と分散閾値とを比較する前に、差分画像における反射点の数に対して、予め設定された反射点閾値と比較して、反射点の数が反射点閾値を超えていない場合には、分散値に拘わらず、ステップS205へ進んでもよい。つまり、反射点が少ないと、分散値の精度が低くなり、実際に反射点がばらついているかどうかを判断するのが困難なためである。また、反射点が少なければ、雨が降っていたとしても、雨除去処理を要する程度の大雨では無いと推測できるためである。
 ステップS204では、降雨判定部30bによって、降雨状態であると判定され、降雨判定処理1を終了する。
 ステップS205では、降雨判定部30bによって、降雨状態ではないと判定され、降雨判定処理1を終了する。
 図7は、本発明の第1実施形態における雨除去処理1の処理フローを示すフロー図である。
 ステップS301では、雨除去処理部30cによって、検知画像にメディアン処理をする。なお、上述した降雨判定処理(例えば、ステップS201)において、メディアン処理画像が生成されていれば、これを用いることができ、新たな画像を生成する必要は無いため、処理時間を短縮することができる。
 ステップS302では、雨除去処理部30cによって、メディアン処理した検知画像を処理済画像に指定し、処理を終了する。つまり、上述した障害物判定は、ここで指定された処理済画像に対して行われる。
 本実施の形態では、上述した処理をしており、以下では、具体例として、ステップS101で第1検知画像GZ1ないし第3検知画像GZ3が生成された場合について、それぞれ説明する。
 第1検知画像GZ1が生成された場合、ステップS102の降雨判定処理では、降雨状態であると判定される(図6のステップ204)。その結果、移動体1は、徐行走行とされ、第1検知画像GZ1に対して雨除去処理(図5のステップ105)が行われる。雨除去処理の結果、第1検知画像GZ1は、反射点HK1が除去された第4検知画像GZ4とされ、第4検知画像GZ4に対して障害物判定が行われる。第4検知画像GZ4は、障害物51がないと判定されるので、ステップS110へ進む。その後、移動体1は、徐行走行した状態で、再度、検知画像が生成され、障害物51の検知が行われる。
 第2検知画像GZ2が生成された場合、降雨判定処理では、降雨状態ではないと判定される(図6のステップ205)。その結果、移動体1は、通常走行とされ、雨除去処理は実施されない。障害物判定では、第2検知画像GZ2を対象とし、障害物51があると判定される(図5のステップS111)。そして、移動体1は、走行を停止する。
 第3検知画像GZ3が生成された場合、降雨判定処理では、降雨状態であると判定される。そして、第3検知画像GZ3は、雨除去処理がされ、障害物判定の対象が第5検知画像GZ5とされる。障害物判定では、障害物51があると判定され、移動体1を停止させる。
 上述したように、測距センサ11の測距結果では、雨粒52と障害物51とがいずれも被検知物50とみなされてしまい、両者を区別することができない。そこで、降雨中には、検知画像に雨除去処理を施すことで、障害物51だけを示す検知画像とすることができ、雨粒52を障害物51として誤検知することを避けることができる。
 また、走行制御部30eは、降雨判定部30bによって降雨状態であると判定された場合、走行速度を減速させる制御をする構成とされている。従って、降雨中には、雨除去処理などによって処理に要する時間が長くなることを考慮し、移動体1を減速させることで、障害物51等に近接するまでの時間を長くして、障害物51等との衝突を回避することができる。例えば、降雨状態において、図3Bに示すような細長い障害物51が存在する場合、雨除去処理によって、障害物51が除去される可能性があるが、移動体1を減速させることで、障害物51に近接するまでに、再度、障害物判定が行われる。その結果、近接してから検知することで、検知画像内で障害物51が占める範囲が大きくなり、雨除去処理によって障害物51が除去されず、障害物51があると判定できる。
 本発明に係る障害物検知方法は、被検知物50に対する検知波を送波し、被検知物50からの反射波を受波して、被検知物50までの検知距離KLを測定する測距センサ11を備えた障害物検知装置10における障害物検知方法であって、検知画像生成部30aに、測距センサ11の測距結果に基づいて、検知波が送波された検知範囲KHにおける被検知物50の有無を示す検知画像を生成させる検知画像生成ステップと、降雨判定部30bに、検知画像内の被検知物50のうち、離散的に位置する孤立点の有無に基づいて、検知範囲KHが降雨状態であるか否かの降雨判定をさせる降雨判定ステップと、雨除去処理部30cに、検知画像から孤立点を除去する雨除去処理を行わせる雨除去処理ステップと、障害物判定部30dに、検知画像に基づいて、被検知物50が障害物51であるか否かの障害物判定をさせる障害物判定ステップとを含んでいる。障害物判定ステップは、降雨判定ステップで降雨状態であると判定された場合、雨除去処理ステップで雨除去処理された検知画像に基づいて、障害物判定を実施する。
 (第2実施形態)
 次に、本発明の第2実施形態に係る障害物検知装置および移動体について、図面を参照して説明する。なお、第2実施形態は、第1実施形態に対して、略同様の形状とされているので、外観図や構成図を省略し、第1実施形態と機能が実質的に等しい構成要素については、同一の符号を付して説明を省略する。
 図8は、本発明の第2実施形態における検知画像生成部で生成された第6検知画像を示す説明図である。
 第2実施形態は、第1実施形態に対して、検知画像生成部30aで生成される検知画像の形式が異なる。具体的に、検知画像は、第1実施形態において、2次元で示された平面的な画像であったのに対し、第2実施形態では、3次元で示された立体的な画像とされている。つまり、検知画像生成部30aは、検知画像として、立体空間とされた検知範囲に対応する3次元画像(例えば、第6検知画像GZ6)を生成する。
 図8は、第2実施形態において生成された第6検知画像GZ6であって、立体的な空間に反射点HK5を配置した画像とされている。第6検知画像GZ6は、横方向Xおよび縦方向Yに加えて、両者と直交する奥行方向Zが示されている。反射点HK5を配置する際には、被検知物50の検知距離KLに基づいて、奥行方向Zでの位置を決めればよい。第6検知画像GZ6は、降雨中に検知された雨粒52を反射点HK5として示しており、反射点HK5は、横方向Xおよび縦方向Yでそれぞれ離間しているのに加えて、奥行方向Zでも離間している。
 第2実施形態では、第1実施形態と同様の障害物検知方法が実施される。降雨判定では、第6検知画像GZ6に対し、横方向Xおよび縦方向Yと伴に、奥行方向Zでも分散値が算出される。算出された分散値において、横方向X、縦方向Y、および奥行方向Zのうちのいずれかで、対応する分散閾値を超えていない場合には、降雨状態ではない(通常状態である)と判定される。従って、立体空間に対して雨を検知する処理を行うことで、より確実に雨が降っているかどうかを判定することができる。つまり、複数の反射点HK5が隣接して大きな障害物51のような形状となっている場合でも、それぞれの反射点HK5までの距離を比較することで、互いに離間した位置関係であることが把握できる。
 検知画像生成部30aは、第6検知画像GZ6を生成する際、3次元画像だけでなく、検知結果を平面に示した画像(例えば、第1検知画像GZ1)を生成してもよい。雨除去処理や障害物判定は、平面的な検知画像を対象として実施することで、画像処理を簡略化し、処理時間を短縮することができる。また、3次元画像を対象として、障害物判定などをした場合では、被検知物50の形状をより正確に把握できるので、判定の精度を向上させることができる。
 (第3実施形態)
 次に、本発明の第3実施形態に係る障害物検知装置および移動体について、図面を参照して説明する。なお、第3実施形態は、第1実施形態と略同様であるので、外観図や構成図を省略し、第1実施形態および第2実施形態と機能が実質的に等しい構成要素については、同一の符号を付して説明を省略する。
 図9は、本発明の第3実施形態における検知画像生成部で生成された第7検知画像を示す説明図であって、図10は、第1検知画像と第7検知画像とを比較した差分画像を示す説明図である。
 第3実施形態は、第1実施形態に対して、降雨判定に用いられている方法が異なる。第1実施形態では、検知画像に対してメディアン処理をしたメディアン処理画像との差分を算出していたが、第3実施形態において、降雨判定部30bは、それぞれ異なる生成周期SCにおいて生成された2つの検知画像を比較して、降雨判定を行う構成とされている。
 図9は、降雨状態で雨粒52が検知された第7検知画像GZ7を示しており、反射点HK6の数は「10」である。反射点HK6は、第7検知画像GZ7内に離散的に位置しており、それぞれ独立している。また、第7検知画像GZ7は、第1検知画像GZ1の1フレーム前に生成された検知画像とされている。つまり、設置された障害物51は、移動しないため、時間が経過しても位置が変わらないが、雨粒52は、時間の経過によって移動するため、検知範囲KH内での位置が変化する。そのため、第7検知画像GZ7は、第1検知画像GZ1に対して、反射点HK6(雨粒52)の配置が異なっている。なお、図9および図10では、実線で示した反射点HK1との違いを明確にするために、反射点HK6を破線で示しているが、いずれも画像データでは、「1」として扱われ、両者に違いは無い。
 図10は、第1検知画像GZ1と第7検知画像GZ7との差分を算出した第8検知画像GZ8(差分画像)を示しており、第1検知画像GZ1の反射点HK1と第7検知画像GZ7の反射点HK6とが示されている。なお、差分画像において、重複した反射点は除去される。第3実施形態において、降雨判定は、第8検知画像GZ8を対象として実施され、第8検知画像GZ8での分散値に基づいて、降雨しているかどうかが判定される。このように、生成周期SCが異なる検知画像を比較することで、時間の経過によって移動した雨粒を把握できる。また、検知画像に対する画像処理等が行われないので、小さな障害物などを除去することなく、降雨判定を行うことができる。
 次に、第3実施形態での障害物検知方法の処理フローについて、図面を参照して説明する。第3実施形態では、第1実施形態に対して、降雨判定処理が異なっているが、その他は、同様の処理がされる。つまり、第3実施形態では、上述した図5に示す処理フローが実施され、ステップS102において、以下に示す降雨判定処理2が実施される。
 図11は、本発明の第3実施形態における降雨判定処理2の処理フローを示すフロー図である。
 ステップS401では、降雨判定部30bによって、前の生成周期で生成された検知画像が比較検知画像として指定される。つまり、1フレーム前のステップS101で生成された検知画像を比較検知画像とする。
 ステップS402では、降雨判定部30bによって、検知画像と比較検知画像とを比較した差分画像が生成される。つまり、第1検知画像GZ1が検知画像とされ、第7検知画像GZ7が比較検知画像とされた場合は、差分画像として第8検知画像GZ8が生成される。
 ステップS403ないしステップS405の処理については、上述したステップS203ないしステップS205と同様であるので、説明を省略する。
 (第4実施形態)
 次に、本発明の第4実施形態に係る障害物検知装置および移動体について、図面を参照して説明する。なお、第4実施形態は、第1実施形態と略同様であるので、外観図や構成図を省略し、第1実施形態ないし第3実施形態と機能が実質的に等しい構成要素については、同一の符号を付して説明を省略する。
 図12は、本発明の第4実施形態における生成周期と降雨判定周期との関係を示す説明図である。
 第4実施形態は、第1実施形態に対して、降雨判定を行う周期が異なる。第1実施形態では、検知画像を生成した生成周期SC毎に降雨判定を行っていたが、第4実施形態では、複数の生成周期SC毎に降雨判定を行っている。
 図12は、時間の経過に応じて、降雨判定を行うタイミングを示している。図12において、時間T1ないし時間T11は、検知画像を生成した時間を示しており、例えば、時間T1と時間T2との間隔が、1つの生成周期SC(1フレーム)に相当する。
 時間の経過に沿って説明すると、先ず、時間T1において、検知画像を生成し、降雨判定がされる。次に、時間T2および時間T3において、検知画像は生成されるが、降雨判定はされない。そして、時間T4では、検知画像を生成すると伴に、降雨判定がされる。その後、降雨判定は、時間T7および時間T10にのみ実施され、他のフレームでは実施されない。このように、検知画像が毎フレーム生成されるのに対し、降雨判定は、3フレーム毎に実施され、時間T10以降は、同様の処理が繰り返される。
 上述したように、降雨判定部30bは、複数の生成周期SC毎に降雨判定を行っており、降雨判定を行う間隔は、予め降雨判定周期KCとして設定されている。本実施の形態において、降雨判定周期KCは3フレームとされているが、これに限定されず、降雨判定を行う間隔は、適宜変更してもよい。このように、時間をあけて降雨判定を行うことで、降雨判定による処理時間の増加を必要最小限に抑えることができる。つまり、障害物検知装置10では、障害物51に素早く対応できるように、生成周期SCが短く設定されているが、天候の変化は、障害物51等と比較すると緩やかである。そのため、降雨判定の頻度を下げて、過剰な処理を抑制してもよい。
 次に、第4実施形態での障害物検知方法の処理フローについて、図面を参照して説明する。第4実施形態では、第1実施形態と略同様の処理がされるので、異なる点について詳細に説明し、他の点については説明を省略する。
 図13は、本発明の第4実施形態に係る障害物検知装置の障害物検知方法の処理フローを示すフロー図である。
 移動体1は、第1実施形態と同様に、処理開始時に走行速度で走行面100を走行している状態とされている。
 ステップS501では、第1実施形態と同様に、検知画像生成部30aによって、検知画像が生成される。
 ステップS502では、降雨判定部30bによって、降雨判定周期KCに到達したかどうかが判断される。ここでは、前に降雨判定を実施してから、降雨判定周期KCとして設定された時間を経過したかどうかが判断される。その結果、降雨判定周期KCに到達した場合(ステップS502:Yes)には、ステップS503へ進む。一方、降雨判定周期KCに到達していない場合(ステップS502:No)には、ステップS509へ進む。
 ステップS503ないしステップS512の処理については、上述したステップS102ないしステップS111と同様とされているので、具体的な説明は省略する。つまり、降雨判定周期KCに到達した場合には、ステップS102に相当するステップS503において、降雨判定処理が実施される。一方、降雨判定周期KCに到達していない場合には、ステップS108に相当するステップS509において、障害物判定処理が実施される。従って、降雨判定周期KCに到達したかどうかによって、降雨判定の要否が判断される。なお、ステップS503の降雨判定処理では、図6に示す降雨判定処理1を適用してもよいし、図11に示す降雨判定処理2を適用してもよい。
 (第5実施形態)
 次に、本発明の第5実施形態に係る障害物検知装置および移動体について、図面を参照して説明する。なお、第5実施形態は、第1実施形態と略同様であるので、外観図や構成図を省略し、第1実施形態ないし第4実施形態と機能が実質的に等しい構成要素については、同一の符号を付して説明を省略する。
 図14は、本発明の第5実施形態における降雨判定の繰り返しと判定結果の出力との関係を示す説明図である。
 第5実施形態は、第4実施形態に対して、降雨判定を繰り返してから判定結果を出力する点で異なる。第4実施形態では、降雨判定を行った判定結果を直ぐに出力していたが、第5実施形態では、同じ判定結果が連続した際に、判定結果を出力している。
 図14は、図12と同様に、時間の経過に応じて、降雨判定を行うタイミングを示している。図14では、図12と同じように、3フレーム毎に降雨判定が行われており、時間T1、時間T4、時間T7、および時間T10で降雨判定が行われている。降雨判定の結果、時間T1では、降雨していないと判定され、時間T4、時間T7、および時間T10では、降雨していると判定されている。本実施の形態では、同じ判定が3回連続した際に、判定結果を出力する構成とされており、時間T10において、降雨状態であるとの判定結果が出力される。なお、具体的な処理については、図15および図16に示す処理フローと併せて説明する。
 次に、第5実施形態での障害物検知方法の処理フローについて、図面を参照して説明する。第5実施形態では、第4実施形態と略同様の処理がされるので、異なる点について詳細に説明し、他の点については説明を省略する。
 図15は、本発明の第5実施形態に係る障害物検知装置の障害物検知方法の処理フローを示すフロー図であって、図16は、本発明の第5実施形態における連続判定処理の処理フローを示すフロー図である。
 ステップS601ないしステップS603の処理は、上述したステップS501ないしステップS503と同様とされており、ステップS605ないしステップS613の処理は、上述したステップS504ないしステップS512と同様とされており、具体的な説明は省略する。つまり、第5実施形態は、第4実施形態に対し、ステップS603の後、ステップS604として図16に示す連続判定処理を実施する点で異なる。そこで、図16を参照して、連続判定処理について説明する。
 ステップS701では、降雨判定部30bによって、降雨判定処理(ステップS603)での判定結果が、前回の降雨判定処理での判定結果と同じかどうかが判断される。例えば、図14の時間T4での降雨判定であれば、時間T1での降雨判定に対して、判定結果を比較する。その結果、判定結果が前回と同じである場合(ステップS701:Yes)には、ステップS702へ進む。一方、判定結果が前回と異なる場合(ステップS701:No)には、ステップS703へ進む。
 ステップS702では、降雨判定部30bによって、判定回数を1回増加する。本実施の形態では、降雨判定の結果を判定回数として数えて記憶する構成とされている。例えば、判定回数が1回として記憶されている場合には、ステップS702を経ることで、2回として記憶される。
 ステップS703では、降雨判定部30bによって、判定回数をリセットする。ここでは、記憶されている判定回数に拘わらず、判定回数を1回として記憶させる。
 ステップS704では、降雨判定部30bによって、判定回数が規定値を超えたかどうかが判断される。規定値は、予め3回に設定されており、判定回数が3回となったとき、規定値を超えたと判断される。その結果、判定回数が規定値を超えた場合(ステップS704:Yes)には、ステップS705へ進む。一方、判定回数が規定値を超えていない場合(ステップS704:No)には、ステップS706へ進む。なお、本実施の形態では、規定値を3回に設定していたが、規定値は適宜設定すればよい。
 ステップS705では、降雨判定部30bによって、今回の生成周期SCでの判定結果を出力し、処理を終了する。
 ステップS706では、降雨判定部30bによって、前回出力した判定結果を出力し、処理を終了する。
 連続判定処理の後、ステップS605では、降雨判定部30bによって、出力された判定結果が降雨状態であるかどうかが判断される。つまり、ステップS605では、ステップS504と同様の処理がされ、降雨状態であれば、ステップS606へ進み、移動体1の徐行走行等の対処がされる。また、降雨状態でなければ、ステップS608へ進み、移動体1に通常走行をさせる。
 本実施の形態では、上述した処理をしており、以下では、連続判定処理について、図14に示す場合を具体例として説明する。なお、時間T1以前では、降雨状態ではないとの判定結果が連続して出力されていると想定する。
 時間T1では、降雨状態ではないと判定されており、判定結果が前回と同じであるので、判定回数が1回増加される(ステップS702)。そして、判定回数が規定値を超えており、降雨状態ではないとの判定結果が出力される(ステップS705)。
 時間T4では、降雨状態であると判定され、前回の判定結果と異なるので、判定回数がリセットされる(ステップS703)。そして、判定回数は1回となり、規定値を超えていないので、時間T1と同じ判定結果(降雨状態ではない)が出力される(ステップS706)。
 時間T7では、降雨状態であると判定され、判定結果が前回と同じであるので、判定回数は、1回増加されて2回となる。そして、判定回数は、規定値を超えていないので、時間T4と同じ判定結果が出力される。
 時間T10では、降雨状態であると判定され、判定結果が前回と同じであるので、判定回数は、1回増加されて3回となる。その結果、判定回数は、規定値を超え、時間T10での判定結果(降雨状態である)が出力される(ステップS705)。
 上述したように、時間T4において、降雨していると判定されるが、その前の時間T1において、降雨していないと判定されているため、同じ判定が連続しておらず、降雨状態であるとの判定結果は出力されない。そして、時間T7でも降雨していると判定されるが、判定が連続した回数が2回であるため、判定結果は出力されない。さらに、時間T10で降雨していると判定された際、判定が連続した回数が3回となり、降雨状態であるとの判定結果が出力される。降雨判定を繰り返した場合、雨などは、ある程度継続して降るため、同じ結果が連続するが、一時的なノイズであれば異なる結果となる。同じ結果が連続した場合に、雨か否かを判断することで、検知画像のノイズなどを雨粒であると誤検知することを防止することができる。
 なお、第5実施形態では、複数フレーム毎に降雨判定を行う構成としたが、これに限定されず、第1実施形態と同様に、1フレーム毎に降雨判定を行う構成としてもよい。
 (第6実施形態)
 次に、本発明の第6実施形態に係る障害物検知装置および移動体について、図面を参照して説明する。なお、第6実施形態は、第1実施形態と略同様であるので、外観図や構成図を省略し、第1実施形態ないし第5実施形態と機能が実質的に等しい構成要素については、同一の符号を付して説明を省略する。
 図17Aは、検知距離を示す第1距離データの説明図であって、図17Bは、検知距離を示す第2距離データの説明図である。なお、図17Aおよび図17Bでは、一部を強調するために、ハッチングしている。
 第6実施形態において、降雨判定部30bは、降雨判定の際に、検知画像における被検知物50の周囲との検知距離KLの差を算出する構成とされている。そして、降雨判定では、周囲との検知距離KLの差が大きい測定点(画素)を孤立点とし、孤立点の数に基づいて、降雨しているかどうかを判定する。
 本実施の形態では、検知画像を生成する際、座標毎の検知距離KLを示す距離データを生成する構成とされている。図17Aおよび図17Bに示す第1距離データDT1および第2距離データDT2は、生成された距離データの一部を拡大して示した具体例である。距離データは、行列によって座標が示されており、座標と検知距離KLとが関連付けられている。第1距離データDT1および第2距離データDT2は、「3×3」の行列とされている。横方向Xでは、「1列」、「2列」、および「3列」が並んでおり、縦方向Yでは、「A行」、「B行」、および「C行」が並んでいる。以下では、説明の簡略化のため、行と列とを併せて座標を示している。例えば、左上段(1行1列目)の座標であれば、「A1」と呼び、右中段(2行3列目)の座標であれば、「B3」と呼ぶ。なお、第1距離データDT1および第2距離データDT2は、距離データの一部を拡大して示した図面であって、距離データは「3×3」より多い行と列とで構成されていてもよい。
 図17Aに示す第1距離データDT1における検知距離KLは、「B2」が1m(メートル)であって、その他の座標は、10~13mである。具体的には、検知距離KLの差に関する距離閾値が予め設定されており、本実施の形態において、距離閾値は、5mとされている。そして、「B2」と周囲の座標とにおける検知距離KLを比較した際、検知距離KLの差が距離閾値を超えているため、「B2」が孤立点であると判定される。
 図17Bに示す第2距離データDT2における検知距離KLは、「B2」が1mであって、「B2」に隣接する「B1」の検知距離KLが4mであり、その他の座標は、10~13mである。第2距離データDT2において、「B2」と「B1」との検知距離KLの差が距離閾値を超えていないため、「B2」および「B1」は、孤立点ではないと判定される。
 図18Aは、検知画像生成部によって生成された第9検知画像を示す説明図であって、図18Bは、検知画像生成部によって生成された第10検知画像を示す説明図である。
 検知画像生成部30aでは、上述した孤立点を反射点として示した検知画像を生成する。つまり、画像データにおいて、孤立点に対応する画素が「1」として示され、それ以外の画素が「0」として示される。具体的に、図18Aに示す第9検知画像GZ9では、反射点HK7は、第9検知画像GZ9内に離散的に位置しており、数は「13」である。また、図18Bに示す第10検知画像GZ10では、反射点HK8は、第10検知画像GZ10内に離散的に位置しており、数は「4」である。降雨判定において、孤立点の数に関する孤立点閾値が予め設定されており、本実施の形態において、孤立点閾値は、「10」とされている。つまり、第9検知画像GZ9は、反射点HK7(孤立点)の数が孤立点閾値を超えているため、降雨状態であると判定され、第10検知画像GZ10は、反射点HK8の数が孤立点閾値を超えていないため、降雨状態ではないと判定される。なお、距離閾値および孤立点閾値については、適宜設定すればよい。
 次に、第6実施形態での障害物検知方法の処理フローについて、図面を参照して説明する。第6実施形態では、第1実施形態に対して、降雨判定処理が異なっているが、その他は、同様の処理がされる。つまり、第6実施形態では、上述した図5に示す処理フローが実施され、ステップS102において、以下に示す降雨判定処理3が実施される。
 図19は、本発明の第3実施形態における降雨判定処理3の処理フローを示すフロー図である。
 ステップS801では、検知画像生成部30aによって、被検知物50毎の検知距離KLを示した距離データ(例えば、第1距離データDT1および第2距離データDT2)を生成する。
 ステップS802では、降雨判定部30bによって、距離データにおける孤立点の数をカウントする。孤立点については、距離閾値に基づいて判定される。ここで、距離データにおける孤立点を数えてもよいし、距離データに対応する検知画像の反射点を数えてもよい。
 ステップS803では、降雨判定部30bによって、孤立点の数が孤立点閾値を超えているかどうかが判断される。その結果、孤立点の数が孤立点閾値を超えている場合(ステップS803:Yes)には、ステップS804へ進む。一方、孤立点の数が孤立点閾値を超えていない場合(ステップS803:No)には、ステップS805へ進む。
 ステップS804では、降雨判定部30bによって、降雨状態であると判定され、降雨判定処理3を終了する。
 ステップS805では、降雨判定部30bによって、降雨状態ではないと判定され、降雨判定処理3を終了する。
 上述したように、検知距離KLに基づいて比較することで、離散的に位置している雨粒52かどうかを判断することができる。また、障害物51が存在するなどして、被検知物50が局所的に集中している場合でも、統計的な偏りに影響されることなく、検知距離KLの差を把握することができる。
 (第7実施形態)
 次に、本発明の第7実施形態に係る障害物検知装置および移動体について、図面を参照して説明する。なお、第7実施形態は、第1実施形態と略同様であるので、外観図や構成図を省略し、第1実施形態ないし第6実施形態と機能が実質的に等しい構成要素については、同一の符号を付して説明を省略する。
 図20Aは、第1フレームでの第3距離データを示す説明図であって、図20Bは、第2フレームでの第4距離データを示す説明図であって、図20Cは、第3フレームでの第5距離データを示す説明図であって、図20Dは、検知距離の最大値を取得した第6距離データを示す説明図である。なお、図20Aないし図20Dでは、一部を強調するために、ハッチングしている。
 第7実施形態は、第1実施形態に対して、雨除去処理に用いられている方法が異なる。第7実施形態において、雨除去処理部30cは、検知画像に対し、複数の生成周期SC毎の検知距離KLを比較して、孤立点を除去する構成とされている。本実施の形態では、検知画像を生成したフレームに対して、1フレーム前と2フレーム前とを併せた3フレームで、検知距離KLを比較している。なお、以下では説明のため、3つの連続したフレームを時間の経過に沿って、第1フレーム、第2フレーム、および第3フレームと呼ぶ。
 第3距離データDT3、第4距離データDT4、および第5距離データDT5は、それぞれ第1フレーム、第2フレーム、および第3フレームでの検知画像に対応する距離データの一部とされており、第1距離データDT1と同様に、「3×3」の行列とされている。なお、第3距離データDT3、第4距離データDT4、および第5距離データDT5は、検知範囲KHにおいて、同じ座標を示している。
 第3距離データDT3の検知距離KLは、「A1」が2m、「A2」が10m、「A3」が9m、「B1」が13m、「B2」が10m、「B3」が2m、「C1」が12m、「C2」が4m、「C3」が9mである。
 第4距離データDT4の検知距離KLは、「A1」が8m、「A2」が1m、「A3」が6m、「B1」が4m、「B2」が2m、「B3」が2m、「C1」が13m、「C2」が6m、「C3」が3mである。
 第5距離データDT5の検知距離KLは、「A1」が7m、「A2」が15m、「A3」が3m、「B1」が4m、「B2」が10m、「B3」が2m、「C1」が8m、「C2」が11m、「C3」が5mである。
 雨除去処理では、それぞれの測定点において最大となる検知距離KLを取得し、測定点毎の最大値を示す最大値データを生成する。例えば、「A1」の場合には、第4距離データDT4の8mを最大値として取得する。他の座標も同様に最大値が取得され、第3距離データDT3、第4距離データDT4、および第5距離データDT5の最大値データとして、図20Dに示す第6距離データDT6が生成される。
 第6距離データDT6の検知距離KLは、「A1」が8m、「A2」が15m、「A3」が9m、「B1」が13m、「B2」が10m、「B3」が2m、「C1」が13m、「C2」が11m、「C3」が9mである。
 このようにして生成された最大値データに対して、障害物判定を行う場合には、検知距離KLに関して予め設定された閾値を基準として、反射点かどうかを判断すればよい。例えば、閾値が5mとされていた場合、第6距離データDT6では、「B3」が被検知物50に対応する反射点であると判断される。そして、距離データにおける反射点の数と障害物閾値とを比較して、被検知物50が障害物51であると判定される。
 第3距離データDT3ないし第5距離データDT5の検知距離について、「B3」以外では、閾値より小さい座標も存在しており、障害物51と雨粒52とのいずれかを判別できない。しかしながら、他のフレームと比較すると、検知距離KLが変動している。これに対し、「B3」では、いずれのフレームでも2mとなっており、検知距離KLが変わらない。このように、生成周期SC毎の検知距離KLを比較して、同じ箇所に位置しているものと、雨粒52のように高速で動くものとを区別することができる。雨粒52等が存在する座標については、検知距離KLの最大値を取得することで、障害物検知の妨げとなるノイズを除去することができる。また、検知距離KLを比較するといった簡素な演算を用いた処理とされているので、処理の高速化を図ることができる。
 次に、第7実施形態での障害物検知方法の処理フローについて、図面を参照して説明する。第7実施形態では、第1実施形態に対して、雨除去判定処理が異なっているが、その他は、同様の処理がされる。つまり、第7実施形態では、上述した図5に示す処理フローが実施され、ステップS105において、以下に示す雨除去処理2が実施される。
 図21は、本発明の第7実施形態における雨除去処理2の処理フローを示すフロー図である。
 ステップS901では、検知画像生成部30aによって、被検知物50毎の検知距離KLを示した距離データ(例えば、第3距離データDT3ないし第5距離データDT5)を生成する。なお、雨除去処理を実施するフレームでの距離データだけを生成し、生成した距離データを記憶させる構成としてもよい。つまり、前のフレームにおける距離データは、記憶された距離データを参照すればよい。
 ステップS902では、雨除去処理部30cによって、複数の生成周期SCにおける距離データのうち、測定点毎の最大値を取得する。本実施の形態では、3フレームでの最大値を取得する構成としたが、これに限定されず、比較するフレームの数は適宜設定すればよい。
 ステップS903では、雨除去処理部30cによって、測定点毎の最大値を示す最大値データ(例えば、第6距離データDT6)を生成し、処理を終了する。その後の障害物判定は、最大値データを対象として実施される。
 第6実施形態および第7実施形態では、図5に示す処理フローが実施される構成としたが、これに限定されず、図13または図15に示す処理フローを実施し、複数フレーム毎に降雨判定を行う構成としてもよい。
 なお、今回開示した実施の形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。従って、本発明の技術的範囲は、上記した実施の形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。
 なお、この出願は、日本で2015年1月28日に出願された特願2015-014074号に基づく優先権を請求する。その内容はこれに言及することにより、本出願に組み込まれるものである。また、本明細書に引用された文献は、これに言及することにより、その全部が具体的に組み込まれるものである。
 1 移動体
 10 障害物検知装置
 11 測距センサ
 20 駆動部
 30 CPU
 30a 検知画像生成部
 30b 降雨判定部
 30c 雨除去処理部
 30d 障害物判定部
 30e 走行制御部
 50 被検知物
 51 障害物
 52 雨粒
 100 走行面
 KL 検知距離
 KH 検知範囲

Claims (15)

  1.  被検知物に対する検知波を送波し、該被検知物からの反射波を受波して、該被検知物までの検知距離を測定する測距センサと、
     前記測距センサの測距結果に基づいて、前記検知波が送波された検知範囲における前記被検知物の有無を示す検知画像を生成する検知画像生成部と、
     前記検知画像内の前記被検知物のうち、離散的に位置する孤立点の有無に基づいて、前記検知範囲が降雨状態であるか否かの降雨判定をする降雨判定部と、
     前記検知画像から前記孤立点を除去する雨除去処理を行う雨除去処理部と、
     前記検知画像に基づいて、前記被検知物が障害物であるか否かの障害物判定をする障害物判定部とを備え、
     前記障害物判定部は、前記降雨判定部によって前記降雨状態であると判定された場合、前記雨除去処理部によって前記雨除去処理された検知画像に基づいて、前記障害物判定を実施すること
     を特徴とする障害物検知装置。
  2.  請求項1に記載の障害物検知装置であって、
     前記検知範囲は、立体空間とされており、
     前記検知画像生成部は、前記検知画像として、立体空間とされた検知範囲に対応する3次元画像を生成し、
     前記降雨判定部は、前記3次元画像に対して、前記降雨判定を行うこと
     を特徴とする障害物検知装置。
  3.  請求項1に記載の障害物検知装置であって、
     前記降雨判定部は、前記降雨判定の際に、前記検知画像における前記被検知物の分散値を算出すること
     を特徴とする障害物検知装置。
  4.  請求項1に記載の障害物検知装置であって、
     前記降雨判定部は、前記降雨判定の際に、前記検知画像における前記被検知物の周囲との前記検知距離の差を算出すること
     を特徴とする障害物検知装置。
  5.  請求項1に記載の障害物検知装置であって、
     前記検知画像生成部は、予め設定された生成周期毎に前記検知画像を周期的に生成すること
     を特徴とする障害物検知装置。
  6.  請求項1に記載の障害物検知装置であって、
     前記雨除去処理部は、メディアンフィルタを用いて前記雨除去処理を行うこと
     を特徴とする障害物検知装置。
  7.  請求項1に記載の障害物検知装置であって、
     前記降雨判定部は、前記検知画像と、該検知画像に対しメディアンフィルタを用いて前記孤立点を除去したメディアン処理画像とを比較して、前記降雨判定を行うこと
     を特徴とする障害物検知装置。
  8.  請求項5に記載の障害物検知装置であって、
     前記降雨判定部は、それぞれ異なる生成周期において生成された2つの検知画像を比較して、前記降雨判定を行うこと
     を特徴とする障害物検知装置。
  9.  請求項5に記載の障害物検知装置であって、
     前記降雨判定部は、複数の前記生成周期毎に前記降雨判定を行うこと
     を特徴とする障害物検知装置。
  10.  請求項5に記載の障害物検知装置であって、
     前記降雨判定部は、複数の前記生成周期で前記降雨判定を行い、複数回連続して同じ判定をした際に、該降雨判定の結果を出力すること
     を特徴とする障害物検知装置。
  11.  請求項5に記載の障害物検知装置であって、
     前記雨除去処理部は、前記検知画像に対し、複数の前記生成周期毎の前記検知距離を比較して、前記孤立点を除去すること
     を特徴とする障害物検知装置。
  12.  請求項1に記載の障害物検知装置を備え、走行面を走行する移動体。
  13.  請求項12に記載の移動体であって、
     前記走行面で走行する走行速度を制御する走行制御部を備え、
     前記走行制御部は、前記降雨判定部によって前記降雨状態であると判定された場合、前記走行速度を減速させる制御をすること
     を特徴とする移動体。
  14.  被検知物に対する検知波を送波し、該被検知物からの反射波を受波して、該被検知物までの検知距離を測定する測距センサを備えた障害物検知装置における障害物検知方法であって、
     検知画像生成部に、前記測距センサの測距結果に基づいて、前記検知波が送波された検知範囲における前記被検知物の有無を示す検知画像を生成させる検知画像生成ステップと、
     降雨判定部に、前記検知画像内の前記被検知物のうち、離散的に位置する孤立点の有無に基づいて、前記検知範囲が降雨状態であるか否かの降雨判定をさせる降雨判定ステップと、
     雨除去処理部に、前記検知画像から前記孤立点を除去する雨除去処理を行わせる雨除去処理ステップと、
     障害物判定部に、前記検知画像に基づいて、前記被検知物が障害物であるか否かの障害物判定をさせる障害物判定ステップとを含み、
     前記障害物判定ステップは、前記降雨判定ステップで前記降雨状態であると判定された場合、前記雨除去処理ステップで前記雨除去処理された検知画像に基づいて、前記障害物判定を実施すること
     を特徴とする障害物検知方法。
  15.  請求項14に記載の各ステップをコンピュータに実行させるための障害物検知プログラム。
PCT/JP2016/052142 2015-01-28 2016-01-26 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム WO2016121741A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680007959.5A CN107209268A (zh) 2015-01-28 2016-01-26 障碍物检测装置、移动体、障碍物检测方法以及障碍物检测程序
US15/546,016 US10921429B2 (en) 2015-01-28 2016-01-26 Obstacle detection device, moving body, and obstacle detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015014074A JP6418961B2 (ja) 2015-01-28 2015-01-28 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム
JP2015-014074 2015-01-28

Publications (1)

Publication Number Publication Date
WO2016121741A1 true WO2016121741A1 (ja) 2016-08-04

Family

ID=56543352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052142 WO2016121741A1 (ja) 2015-01-28 2016-01-26 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム

Country Status (4)

Country Link
US (1) US10921429B2 (ja)
JP (1) JP6418961B2 (ja)
CN (1) CN107209268A (ja)
WO (1) WO2016121741A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181948A1 (ja) * 2022-03-24 2023-09-28 株式会社デンソー ノイズ除去装置、物体検出装置およびノイズ除去方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6900214B2 (ja) * 2017-03-22 2021-07-07 株式会社Ihiエアロスペース 障害物検出装置と障害物検出方法
JP2019102047A (ja) * 2017-11-28 2019-06-24 Thk株式会社 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法
WO2019163005A1 (ja) * 2018-02-20 2019-08-29 三菱電機株式会社 計測監視装置および計測監視プログラム
JP7160085B2 (ja) 2018-03-19 2022-10-25 ソニーグループ株式会社 画像処理装置、画像処理方法及びプログラム
JP2019163001A (ja) * 2018-03-20 2019-09-26 シャープ株式会社 移動体
DE102018126506A1 (de) * 2018-10-24 2020-04-30 Valeo Schalter Und Sensoren Gmbh Regenerkennung mit einem Umgebungssensor zur punktweisen Erfassung einer Umgebung eines Fahrzeugs, insbesondere mit einem LiDAR-basierten Umgebungssensor
CN110031823B (zh) * 2019-04-22 2020-03-24 上海禾赛光电科技有限公司 可用于激光雷达的噪点识别方法以及激光雷达系统
KR102112585B1 (ko) * 2019-06-20 2020-05-19 인천대학교 산학협력단 장애물 감지를 통해 충돌 방지가 가능한 스마트 유모차 및 그 동작 방법
CN113075933B (zh) * 2021-03-30 2023-08-29 北京布科思科技有限公司 机器人通行控制方法和装置及设备
CN113625261B (zh) * 2021-08-10 2024-04-12 厦门市弘威崇安科技有限公司 一种无人值守的微波雷达-麦克风阵列声波检测器节点

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04291190A (ja) * 1991-03-20 1992-10-15 Toyota Motor Corp 車間距離検出装置
JPH1010233A (ja) * 1996-06-24 1998-01-16 Mitsui Eng & Shipbuild Co Ltd レーザ式障害物検知方法およびセンサ
JP2000046942A (ja) * 1998-07-23 2000-02-18 Eaton Vorad Technol Llc レ―ダ装置において降雨散乱を除く装置および方法
JP2005043201A (ja) * 2003-07-22 2005-02-17 Omron Corp 車両用レーダ装置
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
JP2014202527A (ja) * 2013-04-02 2014-10-27 株式会社神戸製鋼所 列車先頭位置の検出方法及び検出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10142459A1 (de) * 2001-08-31 2003-03-20 Adc Automotive Dist Control Abstandsradar für Kraftfahrzeuge und Verfahren zum Betreiben des Abstandsradars
JP2006285548A (ja) 2005-03-31 2006-10-19 Secom Co Ltd 移動ロボット及び遠隔操作システム
SG139579A1 (en) * 2006-07-20 2008-02-29 Cyclect Electrical Engineering A foreign object detection system
JP4757148B2 (ja) 2006-08-28 2011-08-24 本田技研工業株式会社 車両の接触回避支援装置
CN100494900C (zh) * 2007-07-03 2009-06-03 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN101975951B (zh) * 2010-06-09 2013-03-20 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
CN102540193B (zh) * 2010-12-24 2014-04-30 无锡物联网产业研究院 一种激光雷达监测系统
CN202294308U (zh) * 2011-10-31 2012-07-04 富士重工业株式会社 车辆用行驶控制装置
CN102510482A (zh) * 2011-11-29 2012-06-20 蔡棽 一种提高能见度和可视距离的图像拼接重建及全局监控方法
CN102589515B (zh) * 2012-01-12 2014-12-17 安科智慧城市技术(中国)有限公司 一种雾天距离测量方法及装置、距离预警方法及装置
TWI480810B (zh) * 2012-03-08 2015-04-11 Ind Tech Res Inst 基於單一影像的影像內雨紋去除方法與裝置
CN104508726B (zh) * 2012-07-27 2017-05-03 日产自动车株式会社 三维物体检测装置和三维物体检测方法
MX339745B (es) * 2012-07-27 2016-06-08 Nissan Motor Dispositivo de deteccion de objetos tridimensionales, metodo de deteccion de objetos tridimensionales.
TWI494899B (zh) * 2012-12-19 2015-08-01 Ind Tech Res Inst 影像內週期性雜訊修補方法
KR101683984B1 (ko) * 2014-10-14 2016-12-07 현대자동차주식회사 라이더 데이터 필터링 시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04291190A (ja) * 1991-03-20 1992-10-15 Toyota Motor Corp 車間距離検出装置
JPH1010233A (ja) * 1996-06-24 1998-01-16 Mitsui Eng & Shipbuild Co Ltd レーザ式障害物検知方法およびセンサ
JP2000046942A (ja) * 1998-07-23 2000-02-18 Eaton Vorad Technol Llc レ―ダ装置において降雨散乱を除く装置および方法
JP2005043201A (ja) * 2003-07-22 2005-02-17 Omron Corp 車両用レーダ装置
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
JP2014202527A (ja) * 2013-04-02 2014-10-27 株式会社神戸製鋼所 列車先頭位置の検出方法及び検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SOTA TSUCHIYA ET AL.: "The Rain Noise Removal from a Standstill Video Image", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 39, no. 6, 25 November 2010 (2010-11-25), pages 1112 - 1114, ISSN: 0285-9831 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181948A1 (ja) * 2022-03-24 2023-09-28 株式会社デンソー ノイズ除去装置、物体検出装置およびノイズ除去方法

Also Published As

Publication number Publication date
US20180024229A1 (en) 2018-01-25
US10921429B2 (en) 2021-02-16
JP6418961B2 (ja) 2018-11-07
JP2016138818A (ja) 2016-08-04
CN107209268A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
JP6418961B2 (ja) 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム
JP4721279B2 (ja) 車線追従支援装置
JP5167051B2 (ja) 車両の運転支援装置
JP6222785B2 (ja) 操舵支援装置
EP2957474A1 (en) Parking assist apparatus
US9489847B2 (en) Method and arrangement for determining a trajectory
KR20190006180A (ko) 보행자 보호시 자율적인 제동 실패 관리
JP2009286279A (ja) 車両の運転支援装置
KR102057428B1 (ko) 차량의 주행 제어 방법 및 주행 제어 장치
JP2017027202A (ja) 運転支援システム
GB2541354A (en) Collision avoidance method, computer program product for said collision avoidance method and collision avoidance system
JP2009116790A (ja) 車両用運転支援装置および運転支援方法
CN108216365B (zh) 驾驶支持器
KR20170000569A (ko) 차량의 충돌 감지 방법
JP2014089686A (ja) 車速度推定装置及び方法
CN111474930A (zh) 一种基于视觉定位的循迹控制方法、装置、设备及介质
US11753002B2 (en) Vehicular control system
US11235735B2 (en) Vehicle control apparatus
US9741251B2 (en) Collision avoidance assistance device and collision avoidance assistance method
US8364341B2 (en) Method for controlling a driver assistance system
JP4923766B2 (ja) 車両用制動力制御装置
CN114901535A (zh) 用于预测车辆的轨迹的系统和方法
CN108216209B (zh) 驾驶支持器
WO2014083816A1 (ja) 運転支援装置
TWI723657B (zh) 車輛控制方法與車用控制系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16743344

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15546016

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16743344

Country of ref document: EP

Kind code of ref document: A1