WO2024009803A1 - システム及びプログラム - Google Patents

システム及びプログラム Download PDF

Info

Publication number
WO2024009803A1
WO2024009803A1 PCT/JP2023/023283 JP2023023283W WO2024009803A1 WO 2024009803 A1 WO2024009803 A1 WO 2024009803A1 JP 2023023283 W JP2023023283 W JP 2023023283W WO 2024009803 A1 WO2024009803 A1 WO 2024009803A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
height
detection unit
angle
detects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/023283
Other languages
English (en)
French (fr)
Inventor
颯海 川手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2024532032A priority Critical patent/JPWO2024009803A1/ja
Priority to US18/872,283 priority patent/US20250361698A1/en
Priority to CN202380050758.3A priority patent/CN119487548A/zh
Publication of WO2024009803A1 publication Critical patent/WO2024009803A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/05—Specific applications of the controlled vehicles for soil shifting, building, civil engineering or mining, e.g. excavators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present disclosure relates to a system and a program.
  • a system has been proposed that prevents accidents such as falls when operating equipment such as excavators move at civil engineering construction sites.
  • a crane has been proposed that photographs a work site to generate a three-dimensional map, recognizes the slope angle of the road surface from the three-dimensional map, and compares it with the climbing ability of the work equipment to determine whether or not it is possible to travel. (For example, see Patent Document 1).
  • the dangerous area is determined based on whether or not the excavator's own excavator comes into contact with the road surface, so there is a problem that the fault area cannot be sufficiently detected.
  • the present disclosure proposes a system and program that improves the ability to detect fault areas.
  • the system according to the present disclosure is a system for detecting a running obstruction area that is an area that impedes the running of a working machine, and includes an area angle detection section, an area height detection section, an angle obstruction area detection section, and a height detection section.
  • the vehicle includes a road obstacle area detection section and a running obstacle area detection section.
  • the area angle detection unit detects the angle of the running surface based on a distance image around the working machine.
  • the area height detection unit detects the height of the running surface based on the distance image.
  • the angular failure area detection unit detects an angular failure area that is a failure area based on the detected angle.
  • the height failure area detection unit detects a height failure area that is a failure area based on the detected height.
  • the driving obstruction area detecting section detects the driving obstruction area based on the detected angle obstruction area and the detected height obstruction area.
  • the program of the present disclosure is a program for detecting a running obstacle area that is an area that becomes an obstacle to running of a working machine, and for detecting an angle of a running surface based on a distance image around the working machine.
  • a detection procedure an area height detection procedure for detecting the height of the running surface based on the distance image, an angular obstacle area detection procedure for detecting an angular obstacle area that is an obstacle area based on the detected angle
  • a height obstacle area detection procedure for detecting a height obstacle area that is an obstacle area based on the detected height, and detecting the driving obstacle area based on the detected angle obstacle area and the detected height obstacle area.
  • a driving obstacle area detection procedure for detecting a running obstacle area that is an area that becomes an obstacle to running of a working machine, and for detecting an angle of a running surface based on a distance image around the working machine.
  • FIG. 1 is a diagram showing an example of a travel path of a working device according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a travel path according to an embodiment of the present disclosure.
  • 1 is a diagram illustrating a configuration example of a driving obstacle area detection system according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of data conversion processing according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of angle detection processing according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of adjacent vector generation processing according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of normal vector generation processing according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing an example of a travel path of a working device according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a travel path according to an embodiment of the present disclosure.
  • 1 is
  • FIG. 3 is a diagram illustrating an example of angle calculation processing according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a detection angle according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of angle obstacle area detection processing according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of an angular obstruction region according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of height failure area detection processing according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a height obstacle area according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a driving obstacle area detection unit according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a driving obstacle area detection process according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of an occlusion area according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a driving obstacle area detection process according to an embodiment of the present disclosure.
  • FIGS. 1A and 1B are diagrams illustrating an example of a travel path of a working device according to an embodiment of the present disclosure.
  • FIG. 1A is a diagram illustrating an example of a travel path for the working machine 10.
  • the working machine 10 in the figure is assumed to be an excavator car that runs on caterpillars 11.
  • the work machine 10 performs work of transporting objects such as earth and sand at a civil engineering work site or the like.
  • a travel obstacle area such as a steep slope or a groove formed in the ground, which is an area that becomes an obstacle to travel.
  • an object 21, slopes 22 and 23, and a groove 26 are shown as the travel obstacle area.
  • Object 21 is a cube with sides angled at 90°.
  • the slope 22 is assumed to be a slope with an angle of 25°
  • the slope 23 is assumed to be a slope with an angle of 50°.
  • the groove 26 is assumed to have a width of 2 m and a depth of 1 m. This groove 26 has a bottom surface 25 and a slope 24 having an angle of 90 degrees. Note that the ground 20 in the figure corresponds to a surface with an angle of 0°.
  • the driving disorder area detection system of the present disclosure detects such a driving disorder area.
  • a sensor 12 is arranged on the working machine 10 in the figure. This sensor 12 acquires an image of the surroundings of the work machine 10 and inputs it to the running obstacle area detection system.
  • a distance measuring sensor that generates a distance image can be used as the sensor 12.
  • the distance image is also referred to as a depth map, and is an image in which distance information is reflected for each pixel.
  • FIG. 1B is a diagram schematically representing an image of the traveling path in FIG. 1A.
  • a flat ground 20 In the image 301 of the figure, a flat ground 20, an object 21, slopes 22 and 23, and a slope 24 and a bottom 25 of a groove 26 are arranged.
  • this image 301 as an example of a driving route, the operation of the driving obstacle area detection system of the present disclosure will be described.
  • FIG. 2 is a diagram illustrating a configuration example of a driving obstacle area detection system according to an embodiment of the present disclosure. This figure is a block diagram showing an example of the configuration of the driving obstacle area detection system 100.
  • the driving obstacle area detection system 100 includes a data converter 110, an area angle detector 120, an angle obstacle area detector 140, an area height detector 150, a height obstacle area detector 170, and a threshold generator 130. and 160, and a driving obstacle area detection section 180.
  • the data conversion unit 110 converts a distance image, which is input data, into point cloud data.
  • the point cloud data is output to the area angle detection section 120 and the area height detection section 150.
  • the area angle detection unit 120 detects the angle of the running surface based on point cloud data. The detected angle is output to the angle failure area detection section 140.
  • the angular obstacle area detection unit 140 detects an angular obstacle area that is an obstacle area based on the angle of the running surface.
  • the detected angular obstacle area is output to the driving obstacle area detection section 180.
  • the threshold value generation unit 130 generates a threshold value used for detecting an angular failure area in the angular failure area detection unit 140.
  • the area height detection unit 150 detects the height of the running surface based on point cloud data. The detected height is output to the height fault area detection section 170.
  • the height obstacle area detection unit 170 detects a height obstacle area that is an obstacle area based on the height of the running surface. The detected height obstacle area is output to the driving obstacle area detection section 180.
  • the threshold value generation unit 160 generates a threshold value used for detecting a height failure area in the height failure area detection unit 170.
  • the running obstacle area detection unit 180 detects a running obstacle area based on the angle obstacle area and the height obstacle area.
  • the detected driving obstacle area is output to an external device, for example, a display device.
  • FIG. 3 is a diagram illustrating an example of data conversion processing according to an embodiment of the present disclosure.
  • This figure is a flowchart showing an example of data conversion processing (S110) in the data conversion unit 110.
  • the input distance image is normalized (step S111).
  • This normalization converts the distance image into point cloud data.
  • This point group data is composed of an array of coordinates of each point on the x, y, and z axes.
  • a known method can be applied to convert the distance image into point cloud data.
  • step S112 downsampling is performed on the point cloud data.
  • This downsampling is a process of thinning out row and column data for each of the x, y, and z axis coordinate arrays. This downsampling can reduce the processing amount and noise.
  • step S113 coordinate correction is performed on the point group data after downsampling.
  • This coordinate correction is a process of converting point cloud data into global coordinates.
  • the sensor 12 shown in FIG. 1A is attached to the body of the working machine 10.
  • the point cloud data is corrected according to the mounting height and mounting angle of the sensor 12.
  • FIG. 4 is a diagram illustrating an example of angle detection processing according to the embodiment of the present disclosure.
  • This figure is a flowchart showing an example of the angle detection process (S120) in the area angle detection unit 120.
  • the area angle detection unit 120 selects a point of interest in the point cloud data (step S121).
  • the area angle detection unit 120 generates an adjacent vector for the selected point of interest (step S122). This is a process of generating vectors directed toward two points adjacent to the point of interest in the row and column directions.
  • the area angle detection unit 120 generates a normal vector (step S123). This can be generated by calculating the cross product of two adjacent vectors.
  • the area angle detection unit 120 determines whether normal vectors have been calculated for all points (step S124). If the area angle detection unit 120 has generated normal vectors for all points (step S124, Yes), the process proceeds to step S125, and if there are points for which normal vectors have not been generated (step S124), the area angle detection unit 120 proceeds to step S125. , No) Select another point of interest (step S121).
  • step S125 the area angle detection unit 120 selects a point of interest in the point cloud data (step S125).
  • the area angle detection unit 120 calculates an angle for the selected point of interest (step S126). This can be done by calculating the inner product of the normal and the unit vector in the y-axis direction.
  • the area angle detection unit 120 adjusts the angle sign (step S127). This inverts the sign of the angle when the slope angle is the depression angle. This can be done based on the values of the z-axis array of points. Specifically, the sign of the angle is reversed when the value of the z-axis array is a positive value.
  • the area angle detection unit 120 determines whether angles have been calculated for all points (step S128).
  • the area angle detection unit 120 ends the process when the angle has been calculated for all points (Step S128, Yes), and when there is a point for which the angle has not been calculated (Step S128, No), the area angle detection unit 120 terminates the process.
  • a point of interest is selected (step S125).
  • FIG. 5 is a diagram illustrating an example of adjacent vector generation processing according to an embodiment of the present disclosure.
  • ⁇ x'', ⁇ y'', and ⁇ z'' in the figure represent the coordinate arrays of the x, y, and z axes of the point group, respectively.
  • a point of interest 310 is selected, and a point 311 adjacent to the point of interest 310 in the row direction and a point 312 adjacent to the point of interest in the column direction are selected.
  • a W vector 313 directed from the point of interest 310 to the point 311 and an H vector 314 directed from the point of interest 310 to the point 312 are generated.
  • FIG. 6 is a diagram illustrating an example of normal vector generation processing according to the embodiment of the present disclosure.
  • the normal vector A can be calculated by calculating the cross product A of the W vector and the H vector and normalizing it with the norm "1".
  • FIG. 7 is a diagram illustrating an example of angle calculation processing according to an embodiment of the present disclosure. As shown in the figure, the angle of the slope with respect to the horizontal direction can be calculated by calculating the inner product of the normal vector A and the unit vector "y" in the y-axis direction. The calculated angle is saved in the angle data array.
  • FIG. 8 is a diagram illustrating an example of a detection angle according to an embodiment of the present disclosure.
  • This figure is a diagram in which the angle detected by the area angle detection unit 120 is displayed superimposed on the image 301 of FIG. 1B.
  • angles of 25° and 50° are added to slopes 22 and 23, respectively.
  • an angle of 90° is added to the side surface of the object 21 and the slope 24 of the groove 26. 0° is added to areas other than these.
  • FIG. 9 is a diagram illustrating an example of an angular obstacle area detection process according to an embodiment of the present disclosure. This figure is a flowchart showing an example of the angular fault area detection process S130 in the angular fault area detection unit 140.
  • the angle failure area detection unit 140 calculates an absolute angle (step S131). This can be done by correcting the angle based on the inclination of work machine 10.
  • the angular failure area detection unit 140 detects an angular failure area (step S132).
  • the angular failure area detection unit 140 detects an angular failure area based on the threshold generated by the threshold generation unit 130.
  • the threshold generation unit 130 can output a predetermined value, for example 30°, as the threshold.
  • the angular failure area detection unit 140 can detect an area with an angle higher than this threshold value as an angular failure area.
  • the threshold generation unit 130 can adjust the threshold according to information about the work machine 10.
  • the information on the working machine 10 includes, for example, the weight, size, center of gravity, angle of the working machine 10, direction of movement (handle information), speed, and the like.
  • the threshold generation unit 130 can adjust the threshold according to information about the surrounding environment.
  • This information on the surrounding environment includes, for example, the weather, temperature, humidity, and the geology of the running surface. Note that information on the work machine 10 and information on the surrounding environment can be acquired from an external device, for example, a cloud server.
  • FIG. 10 is a diagram illustrating an example of an angular obstruction region according to an embodiment of the present disclosure. This figure is a diagram in which the angular failure region is superimposed on the image 317 of FIG. 8. The area indicated by the dotted line in the image 321 in the figure corresponds to the angular failure area. As shown in the figure, an angular obstruction area 322 is added to the slope 23 with an angle of 50° and the side of the object 21 with an angle of 90°, and an angular obstruction area 323 is added to the slope 24 with an angle of 90°.
  • FIG. 11 is a diagram illustrating an example of height failure area detection processing according to the embodiment of the present disclosure. This figure is a flowchart showing an example of the height failure area detection process (S140) in the height failure area detection unit 170. Note that the processing in the figure includes region height detection processing in the region height detection section 150.
  • the area height detection unit 150 generates a height map (step S141).
  • This height map is an array representing the height of each area.
  • the y-axis coordinate arrangement described in FIG. 5 can be applied to the height map.
  • the height failure area detection unit 170 detects a high position failure area (step S142). Specifically, the height failure area detection unit 170 detects an area higher than the high position threshold generated by the threshold generation unit 160 as a high position failure area. Further, the height obstacle area detection unit 170 detects a low-position obstacle area (step S143). Specifically, the height failure area detection unit 170 detects an area at a position lower than the low position threshold generated by the threshold value generation unit 160 as a low position failure area.
  • the threshold generation unit 130 can output predetermined values as thresholds, for example, a high position threshold of 0.5 m and a low position threshold of ⁇ 0.5 m.
  • the threshold generation unit 160 can adjust the threshold according to information about the work machine 10.
  • the information on the working machine 10 includes, for example, the size of the working machine 10.
  • FIG. 12 is a diagram illustrating an example of a height obstacle area according to an embodiment of the present disclosure.
  • This figure is a diagram in which the height failure area is displayed superimposed on the image 317 of FIG. 8.
  • the area indicated by the dashed line corresponds to the high-position failure area 332.
  • the area indicated by the two-dot chain line corresponds to the low-position failure area 333.
  • a high-position obstacle region 332 is added to the high-position regions of the slopes 22 and 23 and the upper surface of the object 21.
  • a low-position obstacle area 333 is added to the low-position area of the slope 24 and the bottom surface 25.
  • FIG. 13 is a diagram illustrating a configuration example of a driving obstacle area detection unit according to an embodiment of the present disclosure. This figure is a block diagram showing an example of the configuration of the driving obstacle area detection section 180.
  • the driving obstacle area detection unit 180 includes an exception area detection unit 181, an object detection unit 182, and an occlusion area detection unit 183.
  • the exceptional area detection unit 181 detects an exceptional area among the angle obstruction area and the height obstruction area.
  • the angle obstacle area and the height obstacle area other than the exception area detected by the exception area detection unit 181 become the driving obstacle area.
  • the object detection unit 182 detects an object placed on the running surface.
  • the object detection unit 182 detects objects that may obstruct the running of a person or other work machine 10 or the like.
  • the occlusion area detection unit 183 detects occlusion areas.
  • This occlusion area is an area where the angle and height of the running surface cannot be detected. For example, an area hidden by a cliff or the like corresponds to an occlusion area. By detecting this occlusion area as a failure area, the safety of work machine 10 can be improved.
  • FIG. 14 is a diagram illustrating an example of a driving obstacle area detection process according to an embodiment of the present disclosure.
  • the same figure is a block diagram showing an example of processing in the driving obstacle area detection section 180.
  • the exceptional area detection unit 181 detects an exceptional area of the angular obstruction area (step S151).
  • This exceptional area corresponds to, for example, a slope area with a height lower than a predetermined threshold. This is because even if the slope has a steep angle, it can be climbed over as long as the slope is lower than the height of the caterpillar 11 of the working machine 10. The detected exception area is excluded from the angular failure area.
  • the exceptional area detection unit 181 detects an exceptional area of the height failure area (step S152).
  • This exceptional area corresponds to, for example, an area whose width is narrower than a predetermined threshold. This is because the groove 26 or the like having a relatively narrow width can be overcome. The detected exception area is excluded from the height failure area.
  • the object detection unit 182 detects an object (step S153).
  • the area of the detected object is added to the driving obstacle area.
  • the occlusion area detection unit 183 detects an occlusion area (step S154).
  • the detected occlusion area is added to the driving obstacle area.
  • FIG. 15 is a diagram illustrating an example of an occlusion area according to an embodiment of the present disclosure.
  • This figure is a diagram showing how the sensor 12 of the work machine 10 detects a distance image of the running surface.
  • the dotted line in the figure represents the field of view of the sensor 12.
  • the area hidden by the cliff 31 at the top of the step 29 as seen from the sensor 12 becomes the occlusion area 30.
  • the dashed line in the figure is a line connecting the sensor 12 and the cliff 31. If this one-dot chain line intersects with the ground 20 below the cliff 31 at a position 32, a discontinuous portion will occur in the distance image from the cliff 31 to the position 32.
  • the occlusion area detection unit 183 can detect this area where the distance is discontinuous as the occlusion area 30.
  • FIG. 16 is a diagram illustrating an example of a driving obstacle area detection process according to an embodiment of the present disclosure. This figure is a flowchart representing an example of processing in the driving obstacle area detection system 100.
  • the data conversion unit 110 performs data conversion processing (step S110).
  • the area angle detection unit 120 performs area angle detection processing (step S120).
  • the angular failure area detection unit 140 performs angular failure area detection processing (step S130).
  • the area height detection unit 150 and the height failure area detection unit 170 perform height failure area detection processing (step S140).
  • the driving obstruction area detection unit 180 performs driving obstruction area detection processing (step S150).
  • step S150 driving obstruction area detection processing
  • the driving obstruction area detection system 100 of the present disclosure detects driving obstruction areas based on the angle and height of the driving surface, and thus can improve the ability to detect obstruction areas.
  • the driving obstacle area detection system 100 of the present disclosure is applicable not only to work equipment at civil engineering construction sites, but also to general vehicles, construction machines, agricultural machines, forestry machines, disaster relief machines, nursing care and cleaning applications, for example. It can be applied to household machines, submarine probes, and planetary probes.
  • the driving obstacle area detection system 100 of this embodiment may be realized by a dedicated computer system or a general-purpose computer system.
  • a program for executing the above operations is stored and distributed in a computer-readable recording medium such as an optical disk, semiconductor memory, magnetic tape, or flexible disk. Then, for example, the program is installed on a computer and the control device is configured by executing the above-described processing.
  • the communication program may be stored in a disk device included in a server device on a network such as the Internet, so that it can be downloaded to a computer.
  • the above-mentioned functions may be realized through collaboration between an OS (Operating System) and application software.
  • the parts other than the OS may be stored on a medium and distributed, or the parts other than the OS may be stored in a server device so that they can be downloaded to a computer.
  • each component of each device shown in the drawings is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawings.
  • the specific form of distributing and integrating each device is not limited to what is shown in the diagram, and all or part of the devices can be functionally or physically distributed or integrated in arbitrary units depending on various loads and usage conditions. Can be integrated and configured. Note that this distribution/integration configuration may be performed dynamically.
  • the present embodiment can be applied to any configuration constituting a device or system, such as a processor as a system LSI (Large Scale Integration), a module using multiple processors, a unit using multiple modules, etc. Furthermore, it can also be implemented as a set (that is, a partial configuration of the device) with additional functions.
  • a processor as a system LSI (Large Scale Integration)
  • a module using multiple processors a unit using multiple modules, etc.
  • it can also be implemented as a set (that is, a partial configuration of the device) with additional functions.
  • a system means a collection of multiple components (devices, modules (components), etc.), and it does not matter whether all the components are in the same housing or not. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
  • the present embodiment can take a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and may also be used as a program for causing a computer to execute this series of procedures or a recording medium that stores the program. You can capture it.
  • this recording medium include flexible discs, CD-ROMs (Compact Disc Read Only Memory), MO (Magnet optical) discs, DVDs (Digital Versatile Discs), Blu-ray discs (Blu-ray (registered trademark) Discs), and magnetic discs.
  • a semiconductor memory, a memory card, etc. can be used.
  • a system for detecting a travel obstacle area that is an area that impedes the travel of a working machine comprising: an area angle detection unit that detects an angle of a running surface based on a distance image around the work machine; an area height detection unit that detects the height of the running surface based on the distance image; an angle failure area detection unit that detects an angle failure area that is a failure area based on the detected angle; a height failure area detection unit that detects a height failure area that is a failure area based on the detected height;
  • a system comprising: a driving obstacle area detection unit that detects the driving obstacle area based on the detected angle obstacle area and the detected height obstacle area.
  • (9) further comprising an occlusion area detection unit that detects an occlusion area in which the angle and the height on the running surface cannot be detected;
  • the driving obstruction area detection unit further detects the detected occlusion area as the driving obstruction area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Geometry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

障害領域の検出能力を向上させる。本開示のシステムは、作業機械の走行の障害となる領域である走行障害領域を検出するシステムであって、領域角度検出部と、領域高さ検出部と、角度障害領域検出部と、高さ障害領域検出部と、走行障害領域検出部とを有する。領域角度検出部は、作業機械の周囲の距離画像に基づいて走行面の角度を検出する。領域高さ検出部は、距離画像に基づいて走行面の高さを検出する。角度障害領域検出部は、検出した角度に基づく障害領域である角度障害領域を検出する。高さ障害領域検出部は、検出した高さに基づく障害領域である高さ障害領域を検出する。走行障害領域検出部は、検出された角度障害領域及び検出された高さ障害領域に基づいて走行障害領域を検出する。

Description

システム及びプログラム
　本開示は、システム及びプログラムに関する。
　土木工事現場等においてショベルカー等の作業装置が走行する際の転倒等の事故を防止するシステムが提案されている。例えば、作業現場を撮影して３次元マップを生成し、当該３次元マップから路面の勾配角度を認識して作業装置の登坂能力と比較することにより走行可能か否かを判断するクレーンが提案されている（例えば、特許文献１参照）。
特開２０１８－０９５３６５号公報
　しかしながら、上記の従来技術では、自身のショベルカーと路面とが接触するか否かに基づいて危険領域を判断するため、障害領域を十分に検出できないという問題がある。
　そこで、本開示では、障害領域の検出能力を向上させるシステム及びプログラムを提案する。
　本開示に係るシステムは、作業機械の走行の障害となる領域である走行障害領域を検出するシステムであって、領域角度検出部と、領域高さ検出部と、角度障害領域検出部と、高さ障害領域検出部と、走行障害領域検出部とを有する。領域角度検出部は、上記作業機械の周囲の距離画像に基づいて走行面の角度を検出する。領域高さ検出部は、上記距離画像に基づいて上記走行面の高さを検出する。角度障害領域検出部は、上記検出した角度に基づく障害領域である角度障害領域を検出する。高さ障害領域検出部は、上記検出した高さに基づく障害領域である高さ障害領域を検出する。走行障害領域検出部は、上記検出された角度障害領域及び上記検出された高さ障害領域に基づいて上記走行障害領域を検出する。
　また、本開示のプログラムは、作業機械の走行の障害となる領域である走行障害領域を検出するプログラムであって、上記作業機械の周囲の距離画像に基づいて走行面の角度を検出する領域角度検出手順と、上記距離画像に基づいて上記走行面の高さを検出する領域高さ検出手順と、上記検出した角度に基づく障害領域である角度障害領域を検出する角度障害領域検出手順と、上記検出した高さに基づく障害領域である高さ障害領域を検出する高さ障害領域検出手順と、上記検出された角度障害領域及び上記検出された高さ障害領域に基づいて上記走行障害領域を検出する走行障害領域検出手順とを含む。
本開示の実施形態に係る作業装置の走行路の一例を示す図である。 本開示の実施形態に係る走行路の一例を示す図である。 本開示の実施形態に係る走行障害領域検出システムの構成例を示す図である。 本開示の実施形態に係るデータ変換処理の一例を示す図である。 本開示の実施形態に係る角度検出処理の一例を示す図である。 本開示の実施形態に係る隣接ベクトル生成処理の一例を示す図である。 本開示の実施形態に係る法線ベクトル生成処理の一例を示す図である。 本開示の実施形態に係る角度算出処理の一例を示す図である。 本開示の実施形態に係る検出角度の一例を示す図である。 本開示の実施形態に係る角度障害領域検出処理の一例を示す図である。 本開示の実施形態に係る角度障害領域の一例を示す図である。 本開示の実施形態に係る高さ障害領域検出処理の一例を示す図である。 本開示の実施形態に係る高さ障害領域の一例を示す図である。 本開示の実施形態に係る走行障害領域検出部の構成例を示す図である。 本開示の実施形態に係る走行障害領域検出処理の一例を示す図である。 本開示の実施形態に係るオクルージョン領域の一例を示す図である。 本開示の実施形態に係る走行障害領域検出処理の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　［作業装置の走行路］
　図１Ａ及び１Ｂは、本開示の実施形態に係る作業装置の走行路の一例を示す図である。図１Ａは、作業機械１０の走行路の一例を表す図である。同図の作業機械１０は、キャタピラ１１により走行するショベルカーを想定したものである。作業機械１０は、土木工事現場等において土砂等の物体を運搬する作業を行う。工事現場等には、急勾配の坂や地面に形成された溝等の走行の障害となる領域である走行障害領域が存在する場合がある。この走行障害領域として、同図には、物体２１、坂２２及び２３並びに溝２６を記載した。物体２１は、角度９０°の側面を有する立方体である。坂２２は角度２５°の斜面を想定し、坂２３は角度５０°の斜面を想定したものである。また、溝２６は、幅２ｍ、深さ１ｍの溝を想定したものである。この溝２６は、底面２５及び角度９０°の法面２４を有する。なお、同図の地面２０は、角度０°の面に相当する。
　このような走行障害領域を検出し、使用者に提示することにより、衝突や転倒等の事故の発生を低減することができる。本開示の走行障害領域検出システムは、このような走行障害領域を検出する。同図の作業機械１０にはセンサ１２が配置される。このセンサ１２により作業機械１０の周囲の画像を取得し、走行障害領域検出システムに入力する。センサ１２には、例えば、距離画像を生成する測距センサを使用することができる。ここで、距離画像は、深度マップ（Depth　Map）とも称され、距離の情報が画素毎に反映された画像である。
　図１Ｂは、図１Ａの走行路の画像を模式的に表した図である。同図の画像３０１には、平坦な地面２０、物体２１、坂２２及び２３並びに溝２６の法面２４及び底面２５を配置した。この画像３０１を走行路の例に挙げて、本開示の走行障害領域検出システムの動作を説明する。
　［走行障害領域検出システム］
　図２は、本開示の実施形態に係る走行障害領域検出システムの構成例を示す図である。同図は、走行障害領域検出システム１００の構成例を表すブロック図である。走行障害領域検出システム１００は、データ変換部１１０と、領域角度検出部１２０と、角度障害領域検出部１４０と、領域高さ検出部１５０と、高さ障害領域検出部１７０と、閾値生成部１３０及び１６０と、走行障害領域検出部１８０とを備える。
　データ変換部１１０は、入力データである距離画像を点群データに変換するものである。点群データは、領域角度検出部１２０及び領域高さ検出部１５０に対して出力される。
　領域角度検出部１２０は、点群データに基づいて走行面の角度を検出するものである。検出した角度は、角度障害領域検出部１４０に対して出力される。
　角度障害領域検出部１４０は、走行面の角度に基づく障害領域である角度障害領域を検出するものである。検出した角度障害領域は、走行障害領域検出部１８０に対して出力される。
　閾値生成部１３０は、角度障害領域検出部１４０における角度障害領域の検出に使用する閾値を生成するものである。
　領域高さ検出部１５０は、点群データに基づいて走行面の高さを検出するものである。検出した高さは、高さ障害領域検出部１７０に対して出力される。
　高さ障害領域検出部１７０は、走行面の高さに基づく障害領域である高さ障害領域を検出するものである。検出した高さ障害領域は、走行障害領域検出部１８０に対して出力される。
　閾値生成部１６０は、高さ障害領域検出部１７０における高さ障害領域の検出に使用する閾値を生成するものである。
　走行障害領域検出部１８０は、角度障害領域及び高さ障害領域に基づいて走行障害領域を検出するものである。検出した走行障害領域は、外部の装置、例えば、表示装置に対して出力される。
　以下、各部の処理の詳細について説明する。
　［データ変換処理］
　図３は、本開示の実施形態に係るデータ変換処理の一例を示す図である。同図は、データ変換部１１０におけるデータ変換処理（Ｓ１１０）の一例を表す流れ図である。まず、入力される距離画像の正規化を行う（ステップＳ１１１）。この正規化は、距離画像を点群データに変換するものである。この点群データは、それぞれの点のｘ、ｙ及びｚ軸の座標の配列により構成される。距離画像の点群データへの変換には、公知の方法を適用することができる。
　次に、点群データに対してダウンサンプリングを行う（ステップＳ１１２）。このダウンサンプリングは、ｘ、ｙ及びｚ軸の座標の配列のそれぞれに対して行及び列のデータを間引く処理である。このダウンサンプリングにより処理量低減及びノイズの低減を行うことができる。
　次に、ダウンサンプリング後の点群データに対して座標補正を行う（ステップＳ１１３）。この座標補正は、点群データをグローバル座標に変換する処理である。図１Ａに表したセンサ１２は、作業機械１０の車体に取り付けられる。このセンサ１２の取りつけ高さ及び取り付け角度に応じて点群データの補正を行う。
　［角度検出処理］
　図４は、本開示の実施形態に係る角度検出処理の一例を示す図である。同図は、領域角度検出部１２０における角度検出処理（Ｓ１２０）の一例を表す流れ図である。まず、領域角度検出部１２０は、点群データの注目点を選択する（ステップＳ１２１）。次に、領域角度検出部１２０は、選択した注目点に対して隣接ベクトルを生成する（ステップＳ１２２）。これは、注目点の行方向及び列方向に隣接する２つの点に向かうベクトルを生成する処理である。次に、領域角度検出部１２０は、法線ベクトルを生成する（ステップＳ１２３）。これは、隣接する２つのベクトルの外積を算出することにより生成することができる。次に、領域角度検出部１２０は、全ての点について法線ベクトルを算出したかを判断する（ステップＳ１２４）。領域角度検出部１２０は、全ての点について法線ベクトルを生成した場合には（ステップＳ１２４，Ｙｅｓ）ステップＳ１２５に移行し、法線ベクトルを生成していない点が存在する場合には（ステップＳ１２４，Ｎｏ）他の注目点を選択する（ステップＳ１２１）。
　ステップＳ１２５において、領域角度検出部１２０は、点群データの注目点を選択する（ステップＳ１２５）。次に、領域角度検出部１２０は、選択した注目点に対して角度を算出する（ステップＳ１２６）。これは、法線とｙ軸方向の単位ベクトルの内積を算出することにより行うことができる。次に、領域角度検出部１２０は、角度符号の調整を行う（ステップＳ１２７）。これは、斜面角度が俯角の場合に角度の符号を反転するものである。これは、点のｚ軸配列の値に基づいて行うことができる。具体的には、ｚ軸配列の値が正の値の場合に角度の符号を反転する。次に、領域角度検出部１２０は、全ての点について角度を算出したかを判断する（ステップＳ１２８）。領域角度検出部１２０は、全ての点について角度を算出した場合には（ステップＳ１２８，Ｙｅｓ）処理を終了し、角度を算出していない点が存在する場合には（ステップＳ１２８，Ｎｏ）他の注目点を選択する（ステップＳ１２５）。
　［隣接ベクトル生成処理］
　図５は、本開示の実施形態に係る隣接ベクトル生成処理の一例を示す図である。同図の「ｘ」、「ｙ」及び「ｚ」は、それぞれ点群のｘ、ｙ及びｚ軸の座標の配列を表す。これらうち注目点３１０を選択し、この注目点３１０の行方向に隣接する点３１１及び列方向に隣接する点３１２を選択する。そして注目点３１０から点３１１に向かうＷベクトル３１３及び注目点３１０から点３１２に向かうＨベクトル３１４を生成する。
　［法線ベクトル生成処理］
　図６は、本開示の実施形態に係る法線ベクトル生成処理の一例を示す図である。同図に表したように、Ｗベクトル及びＨベクトルの外積Ａを算出し、ノルム「１」にて規格化することにより、法線ベクトルＡを算出することができる。
　［角度算出処理］
　図７は、本開示の実施形態に係る角度算出処理の一例を示す図である。同図に表したように、法線ベクトルＡとｙ軸方向の単位ベクトル「ｙ」の内積を算出することにより、斜面の水平方向に対する角度を算出することができる。算出した角度は、角度データ配列に保存される。
　[検出角度]
　図８は、本開示の実施形態に係る検出角度の一例を示す図である。同図は、領域角度検出部１２０により検出した角度を図１Ｂの画像３０１に重ね合わせて表示した図である。同図の画像３１７において、坂２２及び２３には、それぞれ２５°及び５０°の角度が付加される。また、物体２１の側面及び溝２６の法面２４には、９０゜の角度が付加される。これら以外の領域には、０°が付加される。
　[角度障害領域検出処理]
　図９は、本開示の実施形態に係る角度障害領域検出処理の一例を示す図である。同図は、角度障害領域検出部１４０における角度障害領域検出処理Ｓ１３０の一例を表す流れ図である。まず、角度障害領域検出部１４０は、絶対角度を算出する（ステップＳ１３１）。これは、作業機械１０の傾きに基づいて角度を補正することにより行うことができる。
　次に、角度障害領域検出部１４０は、角度障害領域を検出する（ステップＳ１３２）。角度障害領域検出部１４０は、閾値生成部１３０により生成された閾値に基づいて角度障害領域を検出する。閾値生成部１３０は、閾値として所定の値、例えば３０°を出力することができる。角度障害領域検出部１４０は、この閾値より高い角度の領域を角度障害領域として検出することができる。
　閾値生成部１３０は、作業機械１０の情報に応じて閾値を調整することができる。この作業機械１０の情報には、例えば、作業機械１０の重量、大きさ、重心、自身の角度、進行方向(ハンドル情報)及び速度等が該当する。また、閾値生成部１３０は、周囲環境の情報に応じて閾値を調整することができる。この周囲環境の情報には、例えば、天候、気温、湿度及び走行面の地質等が該当する。なお、作業機械１０の情報や周囲環境の情報は、外部の装置、例えば、クラウドサーバから取得することができる。
　[角度障害領域]
　図１０は、本開示の実施形態に係る角度障害領域の一例を示す図である。同図は、図８の画像３１７に角度障害領域を重ね合わせて表示した図である。同図の画像３２１において点線により表した領域が角度障害領域に該当する。同図に表したように、角度５０°の坂２３及び角度９０°の物体２１の側面に角度障害領域３２２が付加され、角度９０°の法面２４に角度障害領域３２３が付加される。
　[高さ障害領域検出処理]
　図１１は、本開示の実施形態に係る高さ障害領域検出処理の一例を示す図である。同図は、高さ障害領域検出部１７０における高さ障害領域検出処理（Ｓ１４０）の一例を表す流れ図である。なお、同図の処理には、領域高さ検出部１５０における領域高さ検出処理が含まれる。
　まず、領域高さ検出部１５０は、高さマップを生成する（ステップＳ１４１）。この高さマップは、領域毎の高さを表す配列である。高さマップには、図５において説明したｙ軸の座標の配列を適用することができる。
　次に、高さ障害領域検出部１７０は、高位置障害領域を検出する（ステップＳ１４２）。具体的には、高さ障害領域検出部１７０は、閾値生成部１６０により生成された高位置閾値より高い位置の領域を高位置障害領域として検出する。また、高さ障害領域検出部１７０は、低位置障害領域を検出する（ステップＳ１４３）。具体的には、高さ障害領域検出部１７０は、閾値生成部１６０により生成された低位置閾値より低い位置の領域を低位置障害領域として検出する。閾値生成部１３０は、閾値として所定の値、例えば、高位置閾値０．５ｍ及び低位置閾値－０．５ｍを出力することができる。このように、高位置障害領域及び低位置障害領域を分けて検出することにより、これら高位置障害領域及び低位置障害領域についてそれぞれ異なる処理を行うことができる。
　なお、閾値生成部１６０は、作業機械１０の情報に応じて閾値を調整することができる。この作業機械１０の情報には、例えば、作業機械１０の大きさ等が該当する。
　[高さ障害領域]
　図１２は、本開示の実施形態に係る高さ障害領域の一例を示す図である。同図は、図８の画像３１７に高さ障害領域を重ね合わせて表示した図である。同図の画像３３１において一点鎖線により表した領域が高位置障害領域３３２に該当する。また、同図の画像３３１において二点鎖線により表した領域が低位置障害領域３３３に該当する。同図に表したように、坂２２及び２３の高位置の領域並びに物体２１の上面に高位置障害領域３３２が付加される。また、法面２４の低位置の領域及び底面２５に低位置障害領域３３３が付加される。
　[走行障害領域検出部]
　図１３は、本開示の実施形態に係る走行障害領域検出部の構成例を示す図である。同図は、走行障害領域検出部１８０の構成例を表すブロック図である。走行障害領域検出部１８０は、例外領域検出部１８１と、物体検出部１８２と、オクルージョン領域検出部１８３とを備える。
　例外領域検出部１８１は、角度障害領域及び高さ障害領域のうちの例外領域を検出するものである。この例外領域検出部１８１により検出された例外領域以外の角度障害領域及び高さ障害領域が走行障害領域となる。
　物体検出部１８２は、走行面に載置された物体を検出するものである。物体検出部１８２は、人物や他の作業機械１０等の走行の障害となる物体を検出する。
　オクルージョン領域検出部１８３は、オクルージョン領域を検出するものである。このオクルージョン領域は、走行面における角度及び高さを検出できない領域である。例えば、崖等により隠れた領域がオクルージョン領域に該当する。このオクルージョン領域を障害領域として検出することにより、作業機械１０の安全性を向上させることができる。
　[走行障害領域検出処理]
　図１４は、本開示の実施形態に係る走行障害領域検出処理の一例を示す図である。同図は、走行障害領域検出部１８０における処理の一例を表すブロック図である。まず、例外領域検出部１８１が角度障害領域の例外領域を検出する（ステップＳ１５１）。この例外領域には、例えば、所定の閾値より低い高さの坂の領域が該当する。急峻な角度の斜面であっても、作業機械１０のキャタピラ１１の高さと比較して低い高さの領域であれば乗り越えられるためである。検出された例外領域は、角度障害領域から除外される。
　次に、例外領域検出部１８１が高さ障害領域の例外領域を検出する（ステップＳ１５２）。この例外領域には、例えば、所定の閾値より狭い幅の領域が該当する。比較的狭い幅の溝２６等であれば、乗り越えられるためである。検出された例外領域は、高さ障害領域から除外される。
　次に、物体検出部１８２が物体を検出する（ステップＳ１５３）。検出された物体の領域は、走行障害領域に追加される。
　次に、オクルージョン領域検出部１８３がオクルージョン領域を検出する（ステップＳ１５４）。検出されたオクルージョン領域は、走行障害領域に追加される。
　[オクルージョン領域]
　図１５は、本開示の実施形態に係るオクルージョン領域の一例を示す図である。同図は、作業機械１０のセンサ１２により走行面の距離画像を検出する様子を表した図である。同図の点線は、センサ１２の視野を表す。同図の地面２０には、段差２９が存在する。センサ１２から見た段差２９の上部の崖３１に隠れた領域がオクルージョン領域３０となる。同図の一点鎖線は、センサ１２と崖３１とを結ぶ線である。この一点鎖線が崖３１下の地面２０と交わる位置３２とすると、距離画像において崖３１から位置３２において距離が不連続の部分を生じる。オクルージョン領域検出部１８３は、この距離が不連続の領域をオクルージョン領域３０として検出することができる。
　[走行障害検出処理]
　図１６は、本開示の実施形態に係る走行障害領域検出処理の一例を示す図である。同図は、走行障害領域検出システム１００における処理の一例を表す流れ図である。まず、データ変換部１１０がデータ変換処理（ステップＳ１１０）を行う。次に、領域角度検出部１２０が領域角度検出処理（ステップＳ１２０）を行う。次に、角度障害領域検出部１４０が角度障害領域検出処理（ステップＳ１３０）を行う。次に、領域高さ検出部１５０及び高さ障害領域検出部１７０が高さ障害領域検出処理（ステップＳ１４０）を行う。次に、走行障害領域検出部１８０が、走行障害領域検出処理（ステップＳ１５０）を行う。以上の処理により走行障害領域を検出することができる。検出した走行障害領域は、外部の装置に対して出力される。
　このように、本開示の走行障害領域検出システム１００は、走行面の角度及び高さに基づいて走行障害領域を検出するため、障害領域の検出能力を向上させることができる。
　なお、本開示の走行障害領域検出システム１００は、土木工事現場の作業装置の他に、例えば、一般車両、建築用機械、農業用機械、林業用機械、災害救助用機械、介護や掃除の用途の家庭用機械、海底探査機及び惑星探査機に適用することができる。
　（その他の変形例）
　本実施形態の走行障害領域検出システム１００は、専用のコンピュータシステムにより実現してもよいし、汎用のコンピュータシステムによって実現してもよい。
　例えば、上述の動作を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。
　また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating　System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。
　また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上述の実施形態の流れずに示された各ステップは、適宜順序を変更することが可能である。
　また、例えば、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムＬＳＩ（Large　Scale　Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本実施形態において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。従って、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、本実施形態は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム又はそのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact　Disc　Read　Only　Memory)、ＭＯ(Magnet　optical)ディスク、ＤＶＤ(Digital　Versatile　Disc)、ブルーレイディスク（Blu-ray（登録商標）　Disc）、磁気ディスク、半導体メモリ及びメモリカード等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　作業機械の走行の障害となる領域である走行障害領域を検出するシステムであって、
　前記作業機械の周囲の距離画像に基づいて走行面の角度を検出する領域角度検出部と、
　前記距離画像に基づいて前記走行面の高さを検出する領域高さ検出部と、
　前記検出した角度に基づく障害領域である角度障害領域を検出する角度障害領域検出部と、
　前記検出した高さに基づく障害領域である高さ障害領域を検出する高さ障害領域検出部と、
　前記検出された角度障害領域及び前記検出された高さ障害領域に基づいて前記走行障害領域を検出する走行障害領域検出部と
　を有するシステム。
（２）
　前記角度障害領域検出部は、前記角度の閾値に基づいて前記角度障害領域を検出する前記（１）に記載のシステム。
（３）
　前記角度障害領域検出部は、前記作業機械の情報に応じて調整された前記閾値に基づいて前記角度障害領域を検出する前記（２）に記載のシステム。
（４）
　前記角度障害領域検出部は、周囲環境の情報に応じて調整された前記閾値に基づいて前記角度障害領域を検出する前記（２）に記載のシステム。
（５）
　前記高さ障害領域検出部は、前記高さの閾値に基づいて前記高さ障害領域を検出する前記（１）から（４）の何れかに記載のシステム。
（６）
　前記走行障害領域検出部は、前記検出された角度障害領域のうち所定の高さの領域を除外することにより前記走行障害領域を検出する前記（１）から（５）の何れかに記載のシステム。
（７）
　前記走行障害領域検出部は、前記検出された高さ障害領域のうち所定の幅の領域を除外することにより前記走行障害領域を検出する前記（１）から（６）の何れかに記載のシステム。
（８）
　前記走行面に載置された物体を検出する物体検出部
　を更に有し、
　前記走行障害領域検出部は、前記検出された物体の領域を前記走行障害領域として更に検出する
　前記（１）から（７）の何れかに記載のシステム。
（９）
　前記走行面における前記角度及び前記高さを検出できない領域であるオクルージョン領域を検出するオクルージョン領域検出部を
　更に有し、
　前記走行障害領域検出部は、前記検出されたオクルージョン領域を前記走行障害領域として更に検出する
　前記（１）から（８）の何れかに記載のシステム。
（１０）
　作業機械の走行の障害となる領域である走行障害領域を検出するプログラムであって、
　前記作業機械の周囲の距離画像に基づいて走行面の角度を検出する領域角度検出手順と、
　前記距離画像に基づいて前記走行面の高さを検出する領域高さ検出手順と、
　前記検出した角度に基づく障害領域である角度障害領域を検出する角度障害領域検出手順と、
　前記検出した高さに基づく障害領域である高さ障害領域を検出する高さ障害領域検出手順と、
　前記検出された角度障害領域及び前記検出された高さ障害領域に基づいて前記走行障害領域を検出する走行障害領域検出手順と
　を含むプログラム。
　１０　作業機械
　１２　センサ
　１００　走行障害領域検出システム
　１１０　データ変換部
　１２０　領域角度検出部
　１３０　閾値生成部
　１４０　角度障害領域検出部
　１５０　領域高さ検出部
　１６０　閾値生成部
　１７０　高さ障害領域検出部
　１８０　走行障害領域検出部
　１８１　例外領域検出部
　１８２　物体検出部
　１８３　オクルージョン領域検出部

Claims (10)

  1. 　作業機械の走行の障害となる領域である走行障害領域を検出するシステムであって、
    　前記作業機械の周囲の距離画像に基づいて走行面の角度を検出する領域角度検出部と、
    　前記距離画像に基づいて前記走行面の高さを検出する領域高さ検出部と、
    　前記検出した角度に基づく障害領域である角度障害領域を検出する角度障害領域検出部と、
    　前記検出した高さに基づく障害領域である高さ障害領域を検出する高さ障害領域検出部と、
    　前記検出された角度障害領域及び前記検出された高さ障害領域に基づいて前記走行障害領域を検出する走行障害領域検出部と
    　を有するシステム。
  2. 　前記角度障害領域検出部は、前記角度の閾値に基づいて前記角度障害領域を検出する請求項１に記載のシステム。
  3. 　前記角度障害領域検出部は、前記作業機械の情報に応じて調整された前記閾値に基づいて前記角度障害領域を検出する請求項２に記載のシステム。
  4. 　前記角度障害領域検出部は、周囲環境の情報に応じて調整された前記閾値に基づいて前記角度障害領域を検出する請求項２に記載のシステム。
  5. 　前記高さ障害領域検出部は、前記高さの閾値に基づいて前記高さ障害領域を検出する請求項１に記載のシステム。
  6. 　前記走行障害領域検出部は、前記検出された角度障害領域のうち所定の高さの領域を除外することにより前記走行障害領域を検出する請求項１に記載のシステム。
  7. 　前記走行障害領域検出部は、前記検出された高さ障害領域のうち所定の幅の領域を除外することにより前記走行障害領域を検出する請求項１に記載のシステム。
  8. 　前記走行面に載置された物体を検出する物体検出部
    　を更に有し、
    　前記走行障害領域検出部は、前記検出された物体の領域を前記走行障害領域として更に検出する
    　請求項１に記載のシステム。
  9. 　前記走行面における前記角度及び前記高さを検出できない領域であるオクルージョン領域を検出するオクルージョン領域検出部
    　を更に有し、
    　前記走行障害領域検出部は、前記検出されたオクルージョン領域を前記走行障害領域として更に検出する
    　請求項１に記載のシステム。
  10. 　作業機械の走行の障害となる領域である走行障害領域を検出するプログラムであって、
    　前記作業機械の周囲の距離画像に基づいて走行面の角度を検出する領域角度検出手順と、
    　前記距離画像に基づいて前記走行面の高さを検出する領域高さ検出手順と、
    　前記検出した角度に基づく障害領域である角度障害領域を検出する角度障害領域検出手順と、
    　前記検出した高さに基づく障害領域である高さ障害領域を検出する高さ障害領域検出手順と、
    　前記検出された角度障害領域及び前記検出された高さ障害領域に基づいて前記走行障害領域を検出する走行障害領域検出手順と
    　を含むプログラム。
PCT/JP2023/023283 2022-07-04 2023-06-23 システム及びプログラム Ceased WO2024009803A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024532032A JPWO2024009803A1 (ja) 2022-07-04 2023-06-23
US18/872,283 US20250361698A1 (en) 2022-07-04 2023-06-23 System and program
CN202380050758.3A CN119487548A (zh) 2022-07-04 2023-06-23 系统和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022107769 2022-07-04
JP2022-107769 2022-07-04

Publications (1)

Publication Number Publication Date
WO2024009803A1 true WO2024009803A1 (ja) 2024-01-11

Family

ID=89453278

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/023283 Ceased WO2024009803A1 (ja) 2022-07-04 2023-06-23 システム及びプログラム

Country Status (4)

Country Link
US (1) US20250361698A1 (ja)
JP (1) JPWO2024009803A1 (ja)
CN (1) CN119487548A (ja)
WO (1) WO2024009803A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025117599A (ja) * 2024-01-31 2025-08-13 ヤンマーホールディングス株式会社 作業車両の制御方法、作業車両制御プログラム、作業車両制御システム及び作業車両

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146376A (ja) * 2004-11-17 2006-06-08 Mitsubishi Heavy Ind Ltd 自立移動ロボット及び移動不能領域検出方法
JP2015219802A (ja) * 2014-05-20 2015-12-07 株式会社国際電気通信基礎技術研究所 経路算出装置、経路算出プログラムおよび経路算出方法
JP2021077003A (ja) * 2019-11-07 2021-05-20 本田技研工業株式会社 走破可否判定装置及び移動体の制御装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10809071B2 (en) * 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
DE102015010009A1 (de) * 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
US9928648B2 (en) * 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
JP6677513B2 (ja) * 2016-01-07 2020-04-08 シャープ株式会社 自律走行装置
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US11037320B1 (en) * 2016-03-01 2021-06-15 AI Incorporated Method for estimating distance using point measurement and color depth
TWI652034B (zh) * 2016-05-17 2019-03-01 Ｌｇ電子股份有限公司 清掃機器人
US9880561B2 (en) * 2016-06-09 2018-01-30 X Development Llc Sensor trajectory planning for a vehicle
DE102016118227A1 (de) * 2016-09-27 2018-03-29 Claas Selbstfahrende Erntemaschinen Gmbh Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen
JP6739364B2 (ja) * 2017-01-20 2020-08-12 株式会社クボタ 自動走行作業車
US10037613B1 (en) * 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
JP6928499B2 (ja) * 2017-07-21 2021-09-01 株式会社タダノ ガイド情報表示装置および作業機
JP6871097B2 (ja) * 2017-07-21 2021-05-12 株式会社タダノ ガイド情報表示装置およびこれを備えた作業機およびガイド情報表示方法
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
US11254547B2 (en) * 2018-02-02 2022-02-22 Tulsa Winch, Inc. Work area monitoring system for lifting machines
EP3797339B1 (en) * 2018-05-22 2025-03-12 Starship Technologies OÜ Method and system for automatic autonomous road crossing
US11179850B2 (en) * 2019-04-24 2021-11-23 Intrinsic Innovation Llc Robot motion planning
CN112925351B (zh) * 2019-12-06 2022-08-02 杭州萤石软件有限公司 一种视觉机器光源控制方法、装置
WO2023003867A2 (en) * 2021-07-19 2023-01-26 Clark Equipment Company Systems and methods for obstacle detection for a power machine
JP2023169512A (ja) * 2022-05-17 2023-11-30 キヤノン株式会社 監視システム、監視システムの制御方法およびプログラム
US20250013245A1 (en) * 2023-07-07 2025-01-09 Yanmar Holdings Co., Ltd. Vehicle control method, vehicle control program, and vehicle control system
CN118235999A (zh) * 2024-04-18 2024-06-25 追觅创新科技(苏州)有限公司 清洁机器人的行进控制方法、清洁机器人以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146376A (ja) * 2004-11-17 2006-06-08 Mitsubishi Heavy Ind Ltd 自立移動ロボット及び移動不能領域検出方法
JP2015219802A (ja) * 2014-05-20 2015-12-07 株式会社国際電気通信基礎技術研究所 経路算出装置、経路算出プログラムおよび経路算出方法
JP2021077003A (ja) * 2019-11-07 2021-05-20 本田技研工業株式会社 走破可否判定装置及び移動体の制御装置

Also Published As

Publication number Publication date
US20250361698A1 (en) 2025-11-27
CN119487548A (zh) 2025-02-18
JPWO2024009803A1 (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
US11560690B2 (en) Techniques for kinematic and dynamic behavior estimation in autonomous vehicles
CN109084746B (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
US20220308580A1 (en) Redundant Lateral Velocity Determination and Use in Secondary Vehicle Control Systems
US20100315505A1 (en) Object motion detection system based on combining 3d warping techniques and a proper object motion detection
JP2020118020A (ja) 車両の横転を防止するためのシステムおよび方法
CN121120760A (zh) 计算机视觉系统中的碰撞时间估计
JP2023023659A (ja) 地図作成システムおよび地図作成方法
JP2010134742A (ja) 障害物回避機能を有する移動制御装置
US11971257B2 (en) Method and apparatus with localization
KR101877001B1 (ko) 가상 라인 생성 방법, 역주행 검출 시스템 및 그 방법
WO2018221455A1 (ja) 更新装置、制御方法、プログラム及び記憶媒体
WO2024009803A1 (ja) システム及びプログラム
US10775804B1 (en) Optical array sensor for use with autonomous vehicle control systems
US12535322B2 (en) System and methods of vehicle pose estimation
WO2022232747A1 (en) Systems and methods for producing amodal cuboids
CN117795378A (zh) 用于粒子滤波器跟踪的系统和方法
AU2015200255B2 (en) System and method for estimation of machine position
WO2021106510A1 (ja) 障害物認識装置
US12503135B2 (en) Localization algorithm
Moreno et al. Hypergrid: A Hyper-Fast ROS-Based Framework for Local Map Generation
WO2022124115A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
EP3731130B1 (en) Apparatus for determining an occupancy map
JP7701101B2 (ja) 地図生成装置、地図生成方法、及びプログラム
US11718320B1 (en) Using transmission sensor(s) in localization of an autonomous vehicle
US20230033908A1 (en) Ground plane cancellation for collision avoidance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835337

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024532032

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18872283

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202380050758.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380050758.3

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23835337

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18872283

Country of ref document: US