WO2014132509A1 - 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 - Google Patents

周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 Download PDF

Info

Publication number
WO2014132509A1
WO2014132509A1 PCT/JP2013/082022 JP2013082022W WO2014132509A1 WO 2014132509 A1 WO2014132509 A1 WO 2014132509A1 JP 2013082022 W JP2013082022 W JP 2013082022W WO 2014132509 A1 WO2014132509 A1 WO 2014132509A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
distance
cleaning robot
floor surface
area
Prior art date
Application number
PCT/JP2013/082022
Other languages
English (en)
French (fr)
Inventor
透 花岡
松尾 順向
光平 松尾
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201380073566.0A priority Critical patent/CN105074600B/zh
Priority to US14/655,438 priority patent/US9411338B2/en
Publication of WO2014132509A1 publication Critical patent/WO2014132509A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Definitions

  • the present invention relates to a surrounding environment recognition device for correctly recognizing a floor surface and an area such as an obstacle or a step included in the measurement range from data obtained by measuring a distance of a target surrounding environment, and autonomous movement using the same
  • the present invention relates to a system and a surrounding environment recognition method.
  • LRF laser range finder
  • distance image sensor a distance image sensor
  • the laser range finder is a structure that measures the distance to an object by performing an angle scan while projecting a laser beam on the object to be measured and detecting the reflected light. Although relatively high measurement accuracy can be obtained, since angle scanning is normally performed in one direction, only one-dimensional distance distribution information can be obtained in one measurement. In order to obtain a two-dimensional distance distribution, it is necessary to devise measures such as arranging a plurality of laser range finders in parallel and performing measurement a plurality of times while moving mechanically.
  • distance image sensors such as a pattern light irradiation method, a TOF (Time Of Flight) method, and a stereo method, depending on the distance measurement method. It is characterized by outputting a distance image in which the distance information is expressed by the density of pixels, and two-dimensional distance information can be obtained at a time by one measurement. Therefore, it is suitable for use as a sensor of an ambient environment recognition device that quickly acquires a distance to an object existing in the surroundings and recognizes whether they are an obstacle or a step.
  • a pattern light irradiation method characterized by outputting a distance image in which the distance information is expressed by the density of pixels, and two-dimensional distance information can be obtained at a time by one measurement. Therefore, it is suitable for use as a sensor of an ambient environment recognition device that quickly acquires a distance to an object existing in the surroundings and recognizes whether they are an obstacle or a step.
  • TOF Time Of Flight
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2006-260105
  • a distance image sensor attached so as to have a visual field range in the front lower direction in the traveling direction is used.
  • the presence or absence of a shaped obstacle and a concave step is detected.
  • the distance image is coordinate-transformed, it is binarized with two different threshold values to determine whether the shape of the obstacle and the step is a slope shape or a step shape.
  • the present invention has been made in view of the above-described conventional problems, and is an ambient environment recognition device that improves safety and further improves work efficiency by reliably and accurately detecting a step existing in the ambient environment,
  • An object is to provide an autonomous mobile system and a surrounding environment recognition method using the same.
  • the ambient environment recognition apparatus of the present invention is: A distance sensor; Based on the distance data obtained from the distance sensor, a recess determining unit that determines at least a recessed region lower than the floor surface; An overhead view data creation unit for creating the overhead view data by converting the coordinates of the distance data with respect to the floor surface; In the bird's-eye view data, a correction processing unit that corrects a shift in the position of a boundary between a concave region caused by the blind spot of the distance sensor and a region other than the concave region is provided.
  • the correction processing unit determines whether or not the boundary position deviation can be corrected based on whether or not the data determined by the concave portion determination unit is arranged in a specific order in the overhead view data.
  • the correction processing unit calculates the blind spot size of the distance sensor based on the mounting angle of the distance sensor, the depth information of the concave area, and the distance data of the concave area, and Determine the correction amount.
  • the autonomous mobile system of the present invention It has the above-mentioned surrounding environment recognition device, and moves while recognizing a movable area ahead in the traveling direction.
  • the ambient environment recognition method of the present invention is: The floor surface is measured by a distance sensor arranged diagonally downward in the forward direction to generate three-dimensional coordinate data based on the floor surface, Based on the three-dimensional coordinate data, the floor surface region and the concave region lower than the floor surface are distinguished, labeling of the three-dimensional coordinate data is performed, and overhead view data is created, By scanning the overhead view data and correcting the displacement of the boundary position between the concave area caused by the blind spot of the distance sensor and the area other than the concave area when the labels are arranged in a specific order. It is a feature.
  • the surrounding environment recognition apparatus of the present invention can improve the recognition accuracy of the surrounding environment by reliably and accurately detecting the step even when there is a blind spot.
  • the ambient environment recognition method of the present invention can improve the recognition accuracy of the ambient environment by detecting the step with certainty and accuracy even when there is a blind spot.
  • the cleaning robot which is one Embodiment of the autonomous mobile system using the surrounding environment recognition apparatus in this invention is shown, (a) is an external view, (b) is sectional drawing. It is a block diagram which shows the internal structure of the said cleaning robot. It is a figure which shows the attachment position and coordinate system of a distance image sensor and a laser range finder of the said cleaning robot, (a) is a perspective view, (b) is sectional drawing. It is a flowchart of the arithmetic processing in the said cleaning robot. It is a figure which shows the production
  • . 1 is an external view of a surveillance robot that is an embodiment of an autonomous mobile system using an ambient environment recognition device according to the present invention. BRIEF DESCRIPTION OF THE DRAWINGS It is an external view of the automatic conveyance robot which is one Embodiment of the autonomous mobile system using the surrounding environment recognition apparatus in this invention.
  • the cleaning robot which is one Embodiment of the autonomous movement system using the surrounding environment recognition apparatus in this invention is shown, (a) is an external view, (b) is a figure which shows a laser range finder and its coordinate system. It is a figure which shows the measurement object and measurement data of the laser range finder mounted in the said cleaning robot, (a) The figure which shows the measurement object in the state which made the measurement surface of the laser range finder 101 a cross section, (b) The laser range finder FIG. 10 is a diagram showing measurement data of 101, and (c) is a diagram showing measurement data of a laser range finder 102. It is a block diagram which shows the internal structure of the said cleaning robot.
  • FIG. 4 is a diagram showing a step area obtained by overwriting update.
  • FIGS. 1 A preferred first embodiment of the present invention will be described with reference to FIGS.
  • the external view and sectional drawing of the cleaning robot 1 which is one Embodiment of the autonomous mobile system containing the surrounding environment recognition apparatus of this invention are shown to Fig.1 (a), (b).
  • 1 is a cleaning robot (autonomous movement system)
  • 2 is two drive wheels disposed on the left and right of the bottom of the cleaning robot 1, and 3 is rotated to the bottom of the cleaning robot 1.
  • a freely attached slave wheel 4 is a battery for supplying operation power to the cleaning robot 1.
  • a cleaning liquid tank 5 stores the cleaning liquid
  • a cleaning liquid discharge unit 6 is connected to the cleaning liquid tank 5. The two are connected by a cylindrical pipe to form a cleaning liquid discharge unit.
  • 7 is a waste liquid tank for storing waste liquid (including dust and dirt) sucked into the cleaning robot 1
  • 8 is a suction port for sucking waste liquid provided at the bottom of the cleaning robot 1, which are also connected by pipes.
  • a waste liquid recovery unit is configured.
  • a cleaning brush 9 is provided in the vicinity of the suction port 8 and is driven by a brush motor 10.
  • Reference numeral 11 denotes a housing that covers the whole of these mechanisms, and reference numeral 12 denotes a protective member for preventing the scattering of cleaning liquid and entrapment of foreign matter.
  • an operation panel 13 for setting various modes, switching between automatic travel / manual travel, switching between travel / stop, an emergency stop switch for stopping in an emergency, that is, an emergency stop switch 14, and a travel direction during manual travel
  • a travel control lever 15 for determining the position of the robot, and a handle 16 for the operator to support the cleaning robot body during manual travel.
  • the form of the cleaning robot 1 is not limited to the type of cleaning using the cleaning liquid as described above, but an aspect like a so-called household vacuum cleaner provided with a fan, a dust collection chamber, a suction port, and the like. It may be a cleaning robot.
  • the right direction on the paper is the basic traveling (running) direction.
  • the term “basic” is because there is a possibility of traveling (retreating) in the left direction on the paper surface or moving in the front or back direction on the paper surface depending on the situation or user operation (including remote operation).
  • a basic traveling (traveling) direction is simply referred to as a traveling direction.
  • the cleaning robot 1 is provided with a distance image sensor 20.
  • the distance image sensor 20 is attached to a position where an external state can be grasped from an opening 21 provided in the housing 11.
  • the distance image sensor 20 is an infrared pattern light projection type distance image sensor, and has a projection optical system including an infrared light projection element and an imaging optical system including an infrared light image sensor.
  • An object within the field of view of the imaging optical system by projecting and irradiating infrared light having a predetermined regular or irregular pattern (light and shade pattern) to the outside and photographing the reflected light from the external object with an imaging device Can be measured.
  • the distance measurement result is output as a distance image (depth image, depth image) in which the distance to the object included in the visual field range is expressed as a gray scale value (shading) of pixels on the image.
  • any other method such as a TOF (Time Of Flight) method or a stereo measurement method may be used as long as the sensor can output a distance image.
  • the cleaning robot 1 is equipped with a laser range finder 22 and is attached so that external measurement is possible through a transparent window 21 provided in the front part of the housing 11.
  • an arithmetic unit 30 that controls the operation of the entire cleaning robot 1 is mounted inside the cleaning robot 1.
  • the arithmetic device 30 is electrically connected to the components such as the brush motor 10, the switches 14 and 15, and the distance image sensor 20 described above.
  • FIG. 2 shows a block diagram of the cleaning robot 1.
  • the calculation device 30 includes a distance image calculation block 31, a travel control block 32, a cleaning control block 33, a map information memory 34, and a self-position calculation block 35. Further, in the distance image calculation block 31, there are a three-dimensional coordinate calculation unit 36, a coordinate conversion unit 37, an obstacle / step determination unit 38 as an example of a recess determination unit, an overhead view creation unit 39, and data as a correction processing unit. There is a correction unit 40.
  • the distance image calculation block 31 receives the distance image from the distance image sensor 20, performs processing such as coordinate conversion, extracts obstacle / step information, and transmits it to the self-position calculation block 35.
  • the traveling control block 32 grasps the moving distance and the current direction of the cleaning robot 1 based on information from the gyro sensor and the rotary encoder 43 attached to the drive wheel 2. Information regarding the movement distance and direction (hereinafter referred to as “odometry information”) is sent to the self-position calculation block 35.
  • the self-position calculation block 35 integrates the obstacle / step information output from the distance image calculation block 31 and the obstacle information obtained from the laser range finder 22. Further, the obstacle / step information and the map information on the shape of the surrounding environment stored in advance in the map information memory 34 and the odometry information transmitted from the travel control block 32 are collated, and the cleaning robot 1 itself Calculate the position in the.
  • the distance image sensor 20, the distance image calculation block 31, the laser range finder 22, the map information memory 34, and the self-position calculation block 35 described above have a role as the “ambient environment recognition device” 80 in the present invention.
  • the obstacle / step difference determination unit 38, the overhead view creation unit 39, and the data correction unit 40 existing in the distance image calculation block 31 are the “recess determination unit”, “overhead view data creation unit”, “correction” in the present invention. It corresponds to each “processing section”. Details of operations of the distance image calculation block 31 and the self-position calculation block 35 will be described later.
  • the travel control block 32 receives information on the distance from the self-position on the map to the surrounding obstacles and steps from the self-position calculation block 35, determines a travel route so as to avoid the obstacles and steps, and actually drives The drive wheel motor 44 of the wheel 2 is controlled.
  • signals from control switches such as the operation panel 13, the travel control lever 15 for determining the travel direction during manual travel, and the emergency stop switch 14 as an emergency stop switch for stopping in an emergency are received, Perform necessary operations such as stopping and changing the direction of travel. Information regarding these controls is displayed on the operation panel 13 and updated in real time.
  • the cleaning control block 33 receives a command from the traveling control block 32 and controls parts related to cleaning such as operation start / stop switching of the cleaning brush 9, the waste liquid recovery units 7, 8 and the cleaning liquid discharge units 5, 6.
  • the details of the mounting positions of the distance image sensor 20 and the laser range finder 22 are shown in FIG.
  • the distance image sensor 20 and the laser range finder 22 are disposed at a position perpendicular to the floor surface F (traveling road surface) to be cleaned by the cleaning robot 1 by a predetermined distance.
  • the distance image sensor 20 is attached to the front side in the traveling direction in the upper part of the cleaning robot 1 so as to face downward from the horizontal.
  • the arrangement and the number of the distance image sensor 20 and the laser range finder 22 are not limited to the above, and a plurality of the distance image sensor 20 and the laser range finder 22 may be arranged side by side.
  • the scan range of the laser range finder 22, that is, the measurable range is a semicircular region having a height HL from the floor surface F.
  • the length in the radial direction of the semicircular region is reduced for easy viewing.
  • an obstacle whose height from the floor surface F is lower than HL and a level difference lower than the floor surface F cannot be detected because they are outside the scanning range of the laser beam.
  • the measurable range of the distance image sensor depends on the angle of view of the sensor.
  • the horizontal field angle is about 70 deg and the vertical field angle is about 55 deg.
  • Field of view projected on the floor surface F in the range of trapezoidal A S B S C S D S in FIG. 3 (a) the detectable range itself is narrower than the laser range finder 22, two-dimensional high Since the depth information is acquired, obstacles and steps in the range can be detected without omission. Therefore, by using the two together, it is possible to detect a wide range of obstacles and steps from near to far with a good balance.
  • the distance image sensor 20 outputs a distance image as a measurement result in a coordinate system based on the distance image sensor.
  • the definition of the coordinate system is shown in FIG.
  • the optical center of the range image sensor 20 as the origin O S, X S axis in the lateral direction when facing the traveling direction (the left positive), the vertical Y S axis (upward positive), the front-rear direction, i.e., the sensor taking optical axis direction Z S axis (a depth direction is positive).
  • the laser range finder 22 since the laser range finder 22 has different mounting positions and angles, the sensor reference coordinate systems are also different from each other.
  • the floor surface It is necessary to perform coordinate transformation on the reference coordinate system to integrate the two data of the distance image sensor 20 and the laser range finder 22.
  • an X R Y R Z R coordinate system which is a coordinate system of the main body of the cleaning robot 1 is defined separately from the X S Y S Z S coordinate system based on the distance image sensor 20.
  • the traveling direction that Z R axis, the distance between the Z S axis is the optical axis direction of the image sensor 20, with respect to the left-right direction toward the traveling direction, substantially matches.
  • the distance image sensor 20 is not attached to the floor F in the left-right direction, and the inclination between the floor F and the distance image sensor 20 is only the inclination ⁇ S in the depth direction.
  • an angle shift occurs due to an attachment error, but it is still considered that the tilt angle in the left-right direction is sufficiently smaller than the tilt angle ⁇ S in the depth direction.
  • the cleaning robot 1 performs a process of determining an obstacle or a step from the information by performing coordinate conversion based on the floor surface F on the distance image in the distance image calculation block 31 in the calculation device 30. However, it is characterized in that the error in the measurement position of the step caused by the blind spot is corrected. Details of these operations will be described below.
  • FIG. 4 shows a processing flow in the distance image calculation block 31 and the self-position calculation block 35.
  • the three-dimensional coordinate calculation unit 36 in the distance image calculation block 31 first acquires a distance image output from the distance image sensor 20 (step S101 in FIG. 4, the same applies hereinafter). As shown in FIG. 5A, when a concave region, that is, a step C exists in a part of the floor surface F, the obtained distance image is as shown in FIG. This distance image distance indicates a distance D by shading of pixels measured from the optical center O S of the image sensor 20, the distance is small (close) as white, are displayed in black larger (farther).
  • the three-dimensional coordinate calculation unit 36 calculates the three-dimensional coordinate data (X S , Y S , Z S ) based on the distance image sensor (X S Y S Z S coordinate system) from the distance image data (S102).
  • Z S is the distance D itself included in the distance image
  • X S and Y S are the focal length f of the optical system of the distance image sensor 20, the pixel pitch p, the optical axis and the center of the image sensor. Knowing such as a pixel shift amount c, it can be calculated from Z S by the principle of triangulation.
  • the distance image sensor 20 is calibrated in advance to obtain these parameters.
  • coordinate data (X S , Y S , Z S ) based on the distance image sensor that is, three-dimensional point cloud data (Point Cloud) data can be obtained for all pixels included in the image. it can.
  • the coordinate conversion unit 37 performs coordinate conversion on the three-dimensional point group data based on the distance image sensor 20 by using floor surface information, and represents the three-dimensional data expressed in the X R Y R Z R coordinate system based on the cleaning robot body. Conversion into point cloud data (S111). The reason for converting to the coordinate system based on the cleaning robot body is to make it easy to determine the height from the floor surface F, and also to integrate obstacle data obtained from the laser range finder 22 later.
  • the floor surface information is preset in the distance image calculation block 31 based on the mounting position of the distance image sensor 20. For example, if attached by attachment angle theta S to the height H S of the range image sensor 20 the floor F as shown in FIG. 3 (b), coordinate transformation, the angle - [theta] S around X R axis It is implemented by parallel movement of -H S around the rotation and Y R axis.
  • the positional relationship between the floor surface F and the distance image sensor 20 is temporally and spatially caused by the inclination and undulation of the floor plane, the vibration of the cleaning robot 1 itself, the measurement error of the distance image sensor 20 and the change over time. May fluctuate. In that case, an error occurs in the fixed coordinate conversion as described above. Therefore, the points constituting the floor surface F are extracted from the three-dimensional point cloud data based on the distance image sensor 20, and the height of the floor surface F is calculated therefrom. Processing for obtaining the angle each time, that is, detection processing of the floor surface F is required. Such processing is performed for each frame from which a distance image is acquired, or for every fixed frame interval or for every fixed time interval, and an optimum parameter of the floor surface F at that time is obtained. Convert to. By performing such a detection process of the floor surface F to obtain an optimal rotation angle and translation amount, and then performing coordinate conversion, it can be converted into three-dimensional point group data based on the cleaning robot body.
  • the obstacle / step determination unit 38 as an example of the recess determination unit is provided for each point (X R , Y R , Z R ) constituting the three-dimensional point cloud data. Obstacles and steps are discriminated based on whether they are higher or lower than the floor plane (S121). Specifically, since the Y R is directly represents the height from the floor surface F, FIG.
  • a smoothing filter for removing burst noise is applied to the three-dimensional point cloud data (X R , Y R , Z R ), and then the gradient between two points adjacent to each other in the X R axis direction and the Z R axis direction.
  • the gradient limit value can be determined based on the climbing ability of the cleaning robot body calculated from the drive torque of the drive wheel motor 44 of the cleaning robot 1, the material of the drive wheels 2 and the floor F, and the like.
  • a method of discriminating using both the threshold value related to the height and the gradient limit value may be considered.
  • the above discrimination result is added as label information to each of the 3D point cloud data.
  • “Undetermined” label information is added to an area that is determined to be neither “step”, “obstacle”, or “floor surface” when the coordinate value is an abnormal value.
  • the labels are not limited to the above four types, but are further subdivided and classified according to the height from the floor surface F, and new labels such as “no entry” are added depending on whether the cleaning robot body can pass. You may do it. With this processing, for each pixel in the field of view of the distance image sensor 20, in addition to its three-dimensional coordinates, “step”, “obstacle”, “floor”, “undecided” and other labels are added. Dimension point cloud data is obtained.
  • Overhead view creation unit 39 a 3D point group data label obtained is added by the above process, "step”, "obstacle”, color-coded for each label segment, such as "floor” X R Image data plotted on the ⁇ Z R plane is created (flow S122 in FIG. 4).
  • This image is shown in FIG. Since this corresponds to a view converted into a state in which the floor F direction is looked down from just above the cleaning robot 1, it is hereinafter referred to as an “overhead view”.
  • FIG. 5 (a) it can be seen that the step in front of the main body of the cleaning robot 1, that is, the concave region C is measured by the distance image sensor 20 and displayed in FIG. 5 (d).
  • the area of the “indeterminate” label is an area where measurement data does not originally exist, that is, “measurement missing”, an area where measurement is impossible due to noise at the time of distance image acquisition, or an abnormal measurement value
  • measurement abnormality There are two types of “measurement abnormality”.
  • a point is measured as a point greatly deviating from the true coordinate value of the point due to a measurement abnormality, the point corresponding to the true coordinate value is missing. For this reason, it cannot be determined from the bird's-eye view whether the region of a certain “unconfirmed” label is caused by “measurement missing” or “measurement abnormality”.
  • an overhead view is created as an image that can actually be displayed, but such a configuration is not necessarily required. If it is not necessary to confirm by displaying on the screen, instead of the overhead view image, numerical data equivalent to it, that is, "overhead view data" can be generated by generating inside the arithmetic unit. Even in such a case, the same effect as that of the first embodiment can be obtained by adding a label to each element of the “overhead map data” and performing the same processing as described below. it can.
  • FIGS. 6A1, 6A2 and 6A3 show how the cleaning robot gradually approaches the step C shown in FIG.
  • FIG. 6 (a1) is a diagram showing the positional relationship when the cleaning robot is relatively far from the step C
  • FIG. 6 (b1) shows what the distance image camera 20 looks like at that time.
  • the image shown in FIG. 6 (c1) is an overhead view obtained by plotting the three-dimensional point cloud data to which the level difference / obstacle information is added on the X R -Z R plane as in FIG. 5 (d). is there.
  • FIG. 6 (a2) is a diagram showing the positional relationship when the cleaning robot 1 is slightly closer to the step C
  • FIGS. 6 (b2) and 6 (c2) are FIG.
  • 6 (b1) It is a figure similar to (c1).
  • 6 (a3) is a diagram showing the positional relationship when the cleaning robot 1 is further closer to the step C, and FIGS. 6 (b3) and (c3) are FIGS. 6 (b1) and (c3) in that state. It is the same figure as c1).
  • the coordinate system X R Y R Z R (cleaning robot reference) Apart from the robot moves with the body), it illustrates the coordinate system X M Y M Z M fixing the position O M with the floor surface F as the origin.
  • the distance from the origin O M until the edges at the near side of the cleaning robot 1 of the step C is L.
  • the distance to the edge position of the true step C is (as measured from the origin O M) despite the L, the edge position measured by the influence of the dead angle becomes larger (farther) values than L It can be seen that the value gradually approaches L as it approaches the step C. That is, as the cleaning robot 1 approaches the step C, the edge position gradually approaches as compared to the time when the measurement was first performed.
  • an autonomous mobile robot for example, a cleaning robot
  • the traveling control block can avoid the fall by correcting the moving speed and the moving direction each time.
  • a step appears suddenly in the field of view from the area that was outside the field of view of the distance image sensor until then. May not be in time.
  • the autonomous mobile robot has a double / triple fall prevention measure by providing a floor surface detection sensor etc. separately at the bottom of the housing. Nevertheless, if position measurement errors due to blind spots as described above frequently occur, the possibility that the behavior of the floor detection sensor may become unstable due to excessive reaction or the like cannot be excluded.
  • cleaning may be performed close to the edge close to the edge of the step C, and therefore the detection of the position of the step C is required to be performed particularly accurately. It is done. Therefore, if any position measurement error of the edge of the step C occurs, there is a risk that the main body of the cleaning robot 1 falls to the step C.
  • the position of the step C is corrected by the data correction unit 40 as a correction processing unit arranged at the subsequent stage of the overhead view creation unit 39. (Step S131 in FIG. 4).
  • the correction procedure by the data correction unit 40 is shown in FIGS.
  • the “overhead view” obtained by plotting the three-dimensional point cloud data to which the level difference / obstacle information is added on the X R -Z R plane is shown in FIG. 7A. It is assumed that there is a region U to which an “indeterminate” label is assigned due to blind spots.
  • the scan data correction unit 40 is the distance data in the positive direction of the Z R (far side from the side near the cleaning robot 1, the direction of the dotted arrow), "floor (or obstacle)" - "unconfirmed Search for the part where the labels are arranged in the order of “step”.
  • the point to which the “undetermined” label is added is replaced with the “step” label.
  • FIG. 7B an overhead view as shown in FIG. 7B is obtained. It can be seen that the influence of the blind spot is eliminated and the boundary between the floor surface F and the step C, that is, the edge of the step C is corrected to the correct position.
  • a corrected overhead view as shown in FIG. 7 (d) is also obtained by performing the same processing even in the case of FIG. 7 (c) where the step C exists in an inclined arrangement with respect to the main body of the cleaning robot 1. Is obtained. Even in this case, the edge of the step C is corrected to a substantially correct position.
  • the correction amount for the blind spot is performed as follows by the data correction unit 40 as a correction processing unit.
  • h and tan ⁇ S can be calculated as follows.
  • the floor surface side end point of the front edge of the step is E
  • the intersection point of the straight line O S E and the floor surface is Q. Since E and Q are points that are visible from the distance image sensor (not in the blind spot), the three-dimensional coordinates of the distance image sensor reference (X S Y S Z S coordinate system) can be acquired.
  • the data correction unit 40 refers to the correction amount h ⁇ tan ⁇ S described above, and if the length of the “undecided” label area is longer or shorter than a reasonable length, the “undetermined” It can be determined that the area is not a label area and correction is not performed. As a result, even if there is an “indeterminate” label region due to noise and the like being impossible to measure, the size of the blind spot can be accurately detected and correction can be performed with high accuracy.
  • Patent Document 2 Japanese Patent Laid-Open No. 2010-287029 is known as a technique for correcting a shift in a step position caused by a blind spot by generating an overhead view from three-dimensional information in a moving body.
  • Patent Document 2 an overhead view seen from above the moving body is created based on the three-dimensional information acquired using a stereo camera attached to the moving body.
  • a blind spot exists in a part of the depression (step) in front of the stereo camera, an area where no measurement point is generated due to the blind spot is generated on the overhead view.
  • an area where there is no measurement point corresponding to the undetermined area in the first embodiment is uniformly determined as a dangerous area.
  • a part of the floor surface is temporarily caused by noise or the like.
  • Even in the case of an undetermined area there is a possibility that the area is erroneously determined as a dangerous area and the movement to the area cannot be performed.
  • the correction is performed only when the labels given to the three-dimensional point cloud data are arranged in a specific order according to the procedure described above. And the undetermined region caused by the blind spot can be clearly distinguished, and the edge position of the step can be reliably corrected. Further, since the correction amount of the blind spot portion of the step is calculated based on the information on the depth of the step and the mounting angle of the distance sensor included in the distance data, and the correction is performed accordingly, the correction of the step position is performed in Patent Document 2. It can be performed more accurately than the method.
  • the data correction unit 40 extracts information on steps and obstacles close to the main body of the cleaning robot 1 from the corrected overhead view, and transmits the information to the self-position calculation block 35 as step / obstacle information (FIG. 4). Flow S132).
  • the format of the step / obstacle data can be converted into an arbitrary format so that the traveling control block 32 can easily process later.
  • Coordinate system of the data can either be sent remains X R Y R Z R orthogonal coordinate system of the cleaning robot reference, it can also be converted to polar coordinates (R-theta coordinate system).
  • methods such as data thinning / interpolation, noise removal processing, and extracting only the obstacle / step data closest to the main body of the cleaning robot 1 are also considered. It is done.
  • the self-position calculation block 35 acquires obstacle information from the laser range finder 22 (S141). Thereafter, the obstacle / step information output from the distance image calculation block 31 and the obstacle information obtained from the laser range finder 22 are integrated (S142). For example, when there is another obstacle B measured by the distance image sensor 20 before the obstacle A measured by the laser range finder 22, the data of the obstacle B having a close distance is given priority. Can be integrated.
  • the self-position calculation block 35 acquires odometry information from the travel control block 32 (S143).
  • the self-position calculation block 35 takes out map information related to the shape of the surrounding environment stored in the map information memory 34 (S144).
  • An example of the map information stored in the map information memory 34 is shown in FIG.
  • the floor F, obstacles, steps, and entry prohibition areas are distinguished and registered for the entire area where the cleaning robot 1 performs cleaning.
  • the cleaning robot 1 is controlled by the traveling control block 32 so as to clean only the portion of the floor surface F set in the map information.
  • the self-position calculation block 35 collates the obstacle / step information, map information, and odometry information obtained by the above processing, and calculates where the cleaning robot 1 itself is present in the map (S145). .
  • the self-position calculation block 35 calculates the self-position, as shown in FIG. 8B, the edge (thick solid line) based on the obstacle information detected by the laser range finder 22 and the distance image sensor 20 detect it. Edges (thick dotted lines) based on the obstruction / step information are overwritten and displayed on the map.
  • Self-position estimation is performed using a predetermined algorithm so that the difference between obstacles and step edges registered in advance on the map and the edges actually detected and the differences between the odometry information and the odometry information is minimized. Is called.
  • methods such as a particle filter and an extended Kalman filter are known.
  • the cleaning robot 1 of the first embodiment can obtain the correct step position by performing the above-described step edge correction, the self-position estimation is performed accurately and the efficiency based on the map information is obtained. Good traveling control can be performed.
  • the self-position calculation block 35 transmits the self-position information in the current map obtained as a calculation result to the traveling control block 32 (S146).
  • the traveling control block 32 several predetermined traveling patterns are registered, and one of them is selected. For example, “run along the wall until it makes one round in the area”, “run so as to fill the inner area surrounded by the wall”, “random orientation for a predetermined distance or time” "Run while changing”.
  • the traveling control block 32 collates the self-position information with the set traveling pattern, determines the direction to move and the moving speed, and performs the traveling control of the cleaning robot.
  • the cleaning robot 1 improves the recognition accuracy of the surrounding environment by detecting the step C reliably and accurately even when there is a blind spot, and prevents the fall to the step C. Can be prevented.
  • the size of the blind spot is accurately detected, It can be corrected. Furthermore, by performing travel control using the step position as a mark and self-position recognition on a map, it is possible to improve work efficiency when performing a cleaning operation while autonomously moving.
  • the surveillance robot 101 which is an autonomous mobile robot, has the same configuration and function as the distance image sensor of the infrared pattern light irradiation method (not shown, but the distance image sensor 20 of the first embodiment, as in the first embodiment). .) Using an ambient environment recognition device (having exactly the same configuration and function as the ambient environment recognition device 80 of the first embodiment, although not shown). Functions related to cleaning such as a cleaning brush, a cleaning liquid tank, and a waste liquid tank are omitted. Instead, an indicator light 102 for informing the surroundings of the state, an antenna 103 for wireless data communication with an external terminal, and all directions A camera 104, an illumination lamp 105, and a speaker 106 are provided.
  • the omnidirectional camera 104 constantly records the situation of 360 degrees around the surveillance robot and transmits it wirelessly to a management terminal (not shown) located at a remote location via the antenna 103.
  • the administrator of the management terminal checks the received image data of the omnidirectional camera 104 and checks whether there is any abnormality. When the manager is absent, it is possible to set the mode for automatically monitoring the abnormality by analyzing the image data of the omnidirectional camera 104 inside the monitoring robot 101 main body.
  • the monitoring robot 101 performs monitoring while constantly moving in a preset monitoring area in an office building during a time when no one is present, such as at night. At that time, the passage in the monitoring area is moved while referring to the map information stored in the main body of the monitoring robot 101 in advance. Similar to the first embodiment, self-position recognition and step / obstacle avoidance are performed based on information measured by the distance image sensor.
  • the operator rushes to the site, turns on the illumination lamp 105, captures an image of the site, and transmits it to the administrator wirelessly. If there is a suspicious person, a warning sound can be generated from the speaker 106 or a message prompting the user to leave can be sent.
  • the monitoring robot 101 can be operated safely in an office building, so that it can be monitored safely without human intervention.
  • the surrounding environment recognition device of the present invention even when there is a step near the passage in the monitoring area, it is possible to correctly recognize the edge of the step regardless of the blind spot and prevent the fall. .
  • the recognition accuracy is improved by using the corrected step edge information as a mark for self-position recognition. The efficiency of movement can be improved.
  • an automatic transfer robot 201 that is an example of an autonomous mobile system includes an ambient environment recognition device that uses a distance image sensor of an infrared pattern light irradiation method (first and second embodiments). It has the same configuration and function as the surrounding environment recognition device. Functions related to cleaning, such as a cleaning brush, a cleaning liquid tank, and a waste liquid tank, are omitted, and instead, a baggage loading unit 202 for moving while loading a baggage is provided.
  • a belt conveyor 203 is attached to the bottom surface of the luggage loading unit 202, and has a structure that allows loading and unloading of luggage automatically.
  • an indicator lamp 102 for notifying the surroundings of the state and an antenna 103 for wireless data communication with an external terminal are provided.
  • the automatic transfer robot 201 is always on standby at a collection terminal provided in the factory, and when the package arrives, it is stored in the loading unit 202 using the belt conveyor 203 on the bottom surface. In addition, the contents of the package and information on the delivery destination are transmitted to the main body of the automatic transfer robot 201 from the terminal of the collection terminal.
  • the automatic transfer robot 201 After the loading of all the packages is completed, the automatic transfer robot 201 starts moving and moves through the factory passage while referring to the map information stored in the robot body in advance. Similar to the first embodiment, self-position recognition and step / obstacle avoidance are performed based on information measured by the distance image sensor. Upon arrival at the delivery point, which is a delivery destination, the contents of the package and information about the shipping source are transmitted wirelessly to the terminal of the delivery point. Thereafter, the load is unloaded using the belt conveyor 23 on the bottom surface.
  • the distance image sensor 20 of the infrared pattern light projection method is used as the distance sensor used in the surrounding environment recognition device, but other methods such as a stereo method and a TOF method are used. It is also possible to use a distance image sensor.
  • a stereo distance image sensor parallax is calculated by a method such as corresponding point search for left and right images obtained from stereo left and right cameras. The distance to the object can be obtained from the parallax value by the principle of triangulation.
  • FIG. 11A shows the appearance of the cleaning robot 300 that is the autonomous mobile system in the fourth embodiment.
  • the cleaning robot 300 includes laser range finders (LRF) 301 and 302 as two distance sensors, instead of the distance image sensor 20 in the first embodiment.
  • LRF laser range finders
  • stepped LRF In order to distinguish from the LRF mounted in the horizontal direction, that is, “horizontal LRF” 22, these are hereinafter referred to as “stepped LRF”.
  • the horizontal LRF and the step LRF may be the same model or different models.
  • the step for LRF301 and 302 the left-right direction at a the distance of several tens mm of about 100mm from one another (X R-axis direction in the cleaning robot reference coordinate system), the floor (X R Y R Z R coordinate system of the robot reference X R Z R plane) is mounted obliquely downward with respect to the surface infrared laser light for measurement is formed by being scanned, i.e., the measurement surface, several tens of cm ⁇ number m from the mounting position in It intersects the floor at a distance of. Since the measurement surface of the horizontal LRF 22 is parallel to the floor surface, steps lower than the floor surface and obstacles near the floor surface could not be measured, but the step LRF is attached obliquely downward as described above. It is possible to detect steps lower than the floor and obstacles near the floor.
  • the step LRFs 301 and 302 can measure an object by projecting infrared laser light onto a semicircular area in a range of ⁇ 90 deg to +90 deg in the measurement plane.
  • the center of the measurement range that is, the 0 deg direction is defined as the front of the LRF. Further, as shown in FIG.
  • the emission position of the infrared laser beam that is, the origin of measurement
  • O S1 the emission position of the infrared laser beam
  • the Z S1 axis is ahead
  • the Y S1 axis is perpendicular to the measurement surface
  • an X S2 Y S2 Z S2 coordinate system is defined as a coordinate system based on the LRF 302.
  • the Z S1 axis of the step LRF 301 and the Z S2 axis of 302 are attached in a direction rotated by ⁇ Y [deg] in opposite directions about the Y R axis with respect to the robot traveling direction, that is, the Z R direction. . Therefore, line of intersection between the measurement surface and the floor surface of the step for LRF301 and 302, Z respectively to R-axis ⁇ Y [deg], - ⁇ Y becomes inclined at a straight line [deg].
  • ⁇ Y 45 deg.
  • the present invention is not limited to this. In FIG. 11A, these straight lines are indicated by A 1 B 1 and A 2 B 2 , respectively.
  • Two straight lines is the distance in front of about 1m of the robot body, it intersects at point C 12.
  • These straight lines A 1 B 1 and A 2 B 2 indicate the measurable areas of the stepped LRFs 301 and 302 on the floor surface.
  • LRF cannot measure a two-dimensional area at a time like a distance image sensor because the scanning direction of projection light is one-dimensional, but it combines two LRFs arranged obliquely downward as described above. Thus, a relatively wide range in front of the cleaning robot can be covered as a measurement range.
  • the distance from the main body of the cleaning robot 300 to the measurable areas A 1 B 1 and A 2 B 2 of the step LRFs 301 and 302 can be adjusted to some extent by adjusting the mounting positions and angles of the step LRFs 301 and 302. . If the measurable area is too far from the main body of the cleaning robot 300, there is a possibility that a measurement difference of a step or an obstacle existing near the cleaning robot 300 may occur. On the other hand, if it is too close to the main body of the cleaning robot, even if a step or an obstacle is detected during movement, the avoidance operation is not in time, and there is a risk of collision or falling. In consideration of these matters, it is desirable to set the measurable region as close as possible within the range where the avoidance operation is possible.
  • FIG. 11A there is a step on the floor surface in front of the cleaning robot 300.
  • FIG. 12A is a view cut along the measurement surface of the step LRF 301, that is, the X S1 Z S1 plane.
  • the projection light from the LRF 301 is irradiated onto a line segment connecting A 1 B 1 and the distance of this portion is measured.
  • a 1 from S 1 (floor), P from Q 1 1 (bottom surface of the step), T from P 1 1 (step side of) a distance in the range from T 1 of the B 1 (floor) is measured.
  • the range from R 1 to Q 1 in the bottom surface of the step is not measured because it is a blind spot as viewed from the step LRF 301.
  • the step LRF 301 uses the polar coordinate format, that is, the angle ⁇ in the measurement plane, and the measurement in ⁇ , for the distance information to the measurement object in the measurement plane (X S1 Z S1 plane in the X S1 Y S1 Z S1 coordinate system). As data consisting of a set of distances r from the origin OS1, it is output to the arithmetic device 330 (see FIG. 13) of the cleaning robot 300.
  • FIG. 13 shows a block diagram of the cleaning robot 300 in the fourth embodiment.
  • the calculation device 330 in the cleaning robot 300 includes an LRF data calculation block 310 instead of the distance image calculation block 31 in the cleaning robot 1 of the first embodiment.
  • Other configurations are the same as those in the first embodiment.
  • Reference numeral 380 denotes an ambient environment recognition apparatus.
  • the data acquisition unit 311 existing in the LRF data calculation block 310 converts polar coordinate data acquired from the step LRF 301 into orthogonal coordinates, and creates data plotted on the X S1 Z S1 plane. This is shown in FIG. It corresponds to A 1 to S 1 (floor surface), Q 1 to P 1 (bottom surface of the step), P 1 to T 1 (side surface of the step), and T 1 to B 1 (floor surface) in FIG. While the points are measured, the bottom surfaces R 1 to Q 1 of the steps that become blind spots as viewed from the LRF 301 are not measured, and thus it is understood that there is no data.
  • the coordinate conversion unit 312 existing in the LRF data calculation block 310 performs coordinate conversion processing on the data of the step LRF 301 created by the data acquisition unit 311.
  • the measurement data is obtained from the coordinate values in the coordinate system based on the LRF 301 (X S1 Y S1 Z S1 coordinate system). Conversion into coordinate values in the reference coordinate system (X R Y R Z R coordinate system).
  • the cleaning robot body reference three-dimensional point group data can be obtained from the data of the stepped LRFs 301 and 302.
  • the two data of the step LRFs 301 and 302 are represented as the same three-dimensional point cloud data based on the same main body of the robot 300, and can be integrated into one data.
  • the 3D point cloud data to which the label information is added is sent to an overhead view creation unit 314 serving as an overhead view data creation unit.
  • the overhead view creation unit to plot a 3D point group data to X R Z R plane of the robot main body reference coordinate system, to create a bird's-eye view image looking down from above the robot body.
  • This overhead view image is shown in FIG.
  • points corresponding to A 1 , B 1 , P 1, etc. in FIGS. 12 (b) and 12 (c) before integration are marked with dashes such as A 1 ′, B 1 ′, and P 1 ′, respectively. It expresses.
  • the overhead view image is sent to a data correction unit 315 as a correction processing unit, where the step position is corrected.
  • the data correction unit searches the range from A 1 ′ to B 1 ′ and A 2 ′ to B 2 ′ where the measurement data points exist in the overhead view image.
  • the position of the step is corrected to the side closer to the cleaning robot body by a correction amount L described below.
  • the label remains “step”.
  • This correction processing is equivalent to replacing with the position of the floor surface when it is assumed that a floor surface is present instead of the step at the position of the step.
  • step correction amount The calculation of the step correction amount will be described with reference to FIG. 'For the position of the floor surface on the assumption that the floor rather than a difference in level position exists V 1' stepped point P 1 U 1 on the 'Q 1' When the correction amount L U 1 'V 1 Equivalent to '.
  • the step position correction amount L at that point can be calculated.
  • the data correction unit 315 calculates the correction amount L for all the points having the “step” label that needs to be corrected among the three-dimensional point cloud data included in the overhead view image, and corrected the distance L.
  • a new overhead view image is generated.
  • FIG. 14B shows an overhead view image after the data correction unit 315 performs the correction.
  • the line segments P 1 'Q 1 ' and P 1 'T 1 ' indicating the step are displayed at a distance farther than the line segment A 1 'B 1 ' indicating the floor surface.
  • FIG. 14B it can be seen that the step position S 1 'T 1 ' exists on the same straight line as the floor surface A 1 'B 1 '.
  • the distance to the step edge position in the diagram overhead the distance by the influence of dead to the true step edge position farther than the (O R S 1 'shown in FIG. 14 (a)) ( O R Q 1 ′ in the figure, and as the cleaning robot body approaches the step, its value gradually approaches a true value. In other words, as the cleaning robot approaches the step, the position of the step edge gradually approaches that of the first measurement.
  • An autonomous mobile robot such as a cleaning robot needs to accurately grasp the position of the surrounding steps in order to safely drive in an unattended state. Normally, even if the detected position of the edge of the step changes during movement, the traveling control block can avoid the fall by correcting the moving speed and the moving direction each time. However, when making a sudden turn or sudden start, it is possible that a step appears suddenly in the field of view from the area that was outside the field of view of the distance image sensor until then. May not be in time.
  • the autonomous mobile robot has a double and triple fall prevention measure by providing a floor surface detection sensor or the like separately in the lower part of the housing. Nevertheless, if position measurement errors due to blind spots as described above frequently occur, the possibility that the behavior of the floor detection sensor may become unstable due to excessive reaction or the like cannot be excluded.
  • the edge of the step is always at the correct position (O shown in FIG. 14B). R S 1 ′).
  • the line segment is corrected to S 1 ′′ T 1 ′ instead of S 1 ′ T 1 ′, so that the edge of the step is deviated from the true position.
  • L is calculated only from Y E which is the depth of the step, the mounting angle ⁇ P of the step LRFs 301 and 302, and the measurement angle ⁇ . Even if there is an error in the position of the edge S 1 ′ of the surface, the step data after correction is not affected. That is, by calculating the step correction amount L each time and correcting it by an appropriate amount, an appropriate step edge can be obtained even if there is a slight measurement error in the measured value of the end S 1 ′ of the floor surface. .
  • the measurable area is a linear area on the floor surface.
  • the cleaning robot 300 is stationary, there is no step on the straight line. It cannot be detected.
  • the cleaning robot 300 itself continuously measures while running, the straight line indicating the measurable area moves on the floor surface, so that the entire range on the floor surface can be included in the measurement area as a result. become.
  • the cleaning robot 300 itself is currently mapped from the odometry information and the obstacle / step information acquired by the horizontal LRF 22 using a self-position recognition method similar to that of the first embodiment. Calculate the position in the. Overhead view data including step information obtained from the step LRFs 301 and 302 is displayed superimposed on this map, and updated by overwriting the current view position at that time as the cleaning robot 300 moves. To do. At this time, if the data correction unit 315 correctly corrects the measurement point Q1 ′ of the step edge to the edge position S1 ′, the “floor” label point and the “step” label formed by overwriting update are performed. The set of points at the boundary with the point in FIG.
  • FIG. 16 show comparison of detection results with and without the step position correction.
  • the point indicating the step end on the overhead view is shifted to the back side (the side far from the cleaning robot body) from the true step end, and as the cleaning robot 300 moves, the LRF The amount of deviation changes as the blind spot changes. This is shown in FIG.
  • the step area information obtained by superimposing these data on the map has a shape as shown in FIG. 16B, and the position of the edge closer to the cleaning robot body is shifted from the actual position of the step edge. It will end up.
  • the step position correction is performed, a point indicating the step end on the overhead view is obtained at a correct position as shown in FIG. 16C.
  • FIG. As shown in (d), correct step area information can be obtained. From the above, it can be seen that by correcting the step position and superimposing the results on the map, the region where the step exists and its edge can be detected correctly.
  • the step information extracted as described above is integrated with the obstacle information higher than the floor surface extracted in the same manner, and transmitted to the self-position calculation block 35 as step / obstacle information.
  • the format of the step / obstacle data can be converted into an arbitrary format so that the traveling control block 32 can easily process later. Coordinate system of the data can either be sent remains X R Y R Z R orthogonal coordinate system of the cleaning robot reference, it can also be converted to polar coordinates (R-theta coordinate system).
  • a method of performing data thinning / interpolation, noise removal processing, or extracting only the obstacle / step data closest to the main body of the cleaning robot 300 is also considered. It is done.
  • the structure and operation of other parts of the cleaning robot 300 such as self-position recognition and cleaning are the same as those described in the first embodiment, and a description thereof will be omitted.
  • Patent Document 2 described in the first embodiment, although the overhead view data is created for correcting the step information, it is similar to the present invention, but the stereo camera is used for obtaining the three-dimensional information. Therefore, it is not assumed that the step information is corrected from the one-dimensional measurement data of the step LRFs 301 and 302 as in the fourth embodiment. Further, in Patent Document 2, the information about the edge position of the step is not corrected only by determining the region where the measurement point does not exist as the dangerous region. However, in the fourth embodiment, the step LRF 301 is used as the distance sensor. , 302 can be used to correctly correct the deviation of the edge position of the step caused by the blind spot.
  • the edge position of the correct step can be acquired, and thus the corrected edge information can be used as a clue for self-position recognition. Therefore, the accuracy of self-position recognition on the map is increased, and the traveling reliability based on the map information of the autonomous mobile system can be increased.
  • the step LRFs 301 and 302 are used as the distance sensor of the cleaning robot 300 that is an autonomous mobile system, the deviation of the edge position of the step caused by the blind spot is correctly corrected.
  • the edge of the step By extracting the edge of the step with high accuracy, it is possible to prevent falling to a step and to increase the accuracy of autonomous movement.
  • the ambient environment recognition device of the present invention is used as an independent device for industrial, consumer and other uses, and is incorporated into a part of a general-purpose portable information terminal or the like, or a part or all of an arithmetic circuit is integrated circuit (IC). ) Can also be used.
  • IC integrated circuit
  • the correction process of the step edge position is performed for each measurement, but it is also possible to perform the process after integrating the results of measurement a plurality of times.
  • the measurement results of a plurality of times are integrated, two-dimensional step information is obtained as shown in FIGS. 16A and 16B. Therefore, the correction of the step edge position caused by the blind spot in the process similar to the first embodiment. It can be performed.
  • one distance image sensor 20 is used, and in the fourth embodiment, two stepped LRFs 301 and 302 are used, but other numbers may be used.
  • the present invention can also be applied to a case where a plurality of distance image sensors and LRFs are mounted by combining the first embodiment and the fourth embodiment, and distance information is obtained while using them together. .
  • the obstacle / step difference determining unit 38 as an example of the recessed portion determining unit is a convex region K higher than the floor.
  • the “obstacle” is identified as a concave region C lower than the floor surface F, that is, “step”, and the floor surface region F, ie, “floor surface”, but the concave portion determination unit of the present invention is at least lower than the floor surface. What is necessary is just to be able to discriminate the concave region.
  • the cleaning robot, the monitoring robot, and the automatic transfer robot as one form of the autonomous mobile system have been described.
  • an automatic traveling vehicle, a nursing robot, and a disaster rescue robot It can also be applied to other autonomous mobile systems such as robots, agricultural robots, and entertainment robots.
  • the ambient environment recognition devices 80 and 380 of the present invention are: Distance sensors 20, 301, 302; A recess determination unit (obstacle / step difference determination unit 38, data integration / determination unit 313) that determines at least a concave region C lower than the floor F based on the distance data obtained from the distance sensors 20, 301, 302; , Overhead map data creation units 39 and 314 that coordinate-convert the distance data with respect to the floor F to create overhead map data;
  • the overhead view data includes correction processing units 40 and 315 that correct a shift in the position of the boundary between the concave area caused by the blind spot of the distance sensor 20 and an area other than the concave area.
  • the concave portion determination unit determines at least the concave region C.
  • the overhead view data creation unit 39 converts the distance data into coordinates based on the floor F to create overhead view data, and the correction processing units 40 and 315 include the distance sensors 20, 301, and 302.
  • the shift of the boundary position between the concave area caused by the blind spot and the area other than the concave area is corrected. For example, in the overhead view data representing the concave region C, the region U where no distance data exists due to the blind spots of the distance sensors 20, 301, 302 is corrected as the concave region C.
  • the surrounding environment recognition devices 80 and 380 of the present invention it is possible to improve the recognition accuracy of the surrounding environment by reliably and accurately detecting the step even when there is a blind spot.
  • the correction processing units 40 and 315 determine whether or not the data determined by the recess determination unit (obstacle / step difference determination unit 38, data integration / determination unit 313) is arranged in a specific order. Whether or not to correct the deviation of the boundary position is determined.
  • the recess determination unit based on whether the data determined by the recess determination unit (obstacle / step determination unit 38, data integration / determination unit 313) is arranged in a specific order, Since it determines whether or not correction of position deviation can be corrected and whether or not to correct the above-mentioned data missing area, an undefined area generated due to inability to measure due to noise or the like, and an undefined area generated due to blind spots Even in the case of mixed, it is possible to accurately detect the size of the blind spot.
  • the specific order may be, for example, an order in which the convex area or the floor area, the undetermined area U, and the concave area C are arranged in the order close to the distance sensors 20, 301, and 302.
  • the correction processing unit 40 determines the blind spot of the distance sensor 20 based on the mounting angle ⁇ S of the distance sensor 20, the depth information h of the concave area C, and the distance data L- 2 of the concave area C. Is calculated, and the correction amount h ⁇ tan ⁇ S for the concave region C is determined.
  • the correction amount for the concave region C can be determined easily and accurately.
  • the autonomous mobile systems 1, 101, 201, 300 of the present invention are: It is characterized by comprising the surrounding environment recognizing devices 80, 380, and moving while recognizing a movable region ahead in the traveling direction.
  • the surrounding environment recognition devices 80, 380 can accurately and reliably detect the concave region, that is, the edge of the step C, so that the fall to the step C is prevented. can do.
  • the autonomous mobile system 1, 101, 201, 300 of one embodiment It possesses updatable map data and moves while estimating its own position on the map data based on data from the surrounding environment recognition devices 80 and 380.
  • the ambient environment recognition method of the present invention is:
  • the floor surface F is measured by the distance sensors 20, 301, 302 arranged obliquely downward in the forward direction to generate the three-dimensional coordinate data based on the floor surface,
  • the floor area and the concave area C lower than the floor surface F are discriminated, the three-dimensional coordinate data is labeled, and overhead view data is created. Scanning the overhead view data, and correcting the shift of the boundary position between the concave area caused by the blind spot of the distance sensor 20 and the area other than the concave area when the labels are arranged in a specific order It is characterized by.
  • the concave region C can be detected reliably and accurately even when there is a blind spot, the recognition accuracy of the ambient environment can be improved.
  • the present invention relates to a surrounding environment recognition device for detecting an obstacle or a step included in image data to be measured and an autonomous mobile system using the same, and the surrounding environment recognition device itself is an independent device. Used for industrial, consumer, and other uses such as cleaning, monitoring, and automatic conveyance, and can be used by incorporating it into a part of other equipment, or using part or all of the equipment as an integrated circuit (IC). It is also possible to do.
  • IC integrated circuit

Abstract

 自律移動システムである清掃ロボット(1)は、前方斜め下向きに配置した距離画像センサ(20)で計測して得た3次元座標データを座標変換し、床面基準の3次元座標データを生成する。このデータに床面(F)からの高さによって段差や障害物などを判別してラベル付けを行い、清掃ロボット本体の真上から見た俯瞰図画像データを作成する。俯瞰図画像データを走査して、ラベルが特定の順序で並んでいる場合に限り、未確定領域を段差として置き換える処理を施す。これにより、死角によって発生する段差のエッジの位置ずれを補正し、段差位置を正確に把握することができる。

Description

周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
 本発明は、対象となる周囲環境の距離を計測したデータから、その計測範囲に含まれる床面および障害物や段差などの領域を正しく認識するための周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法に関するものである。
 ロボットや無人搬送車などの自律移動システムにおいては、移動時に前方にある障害物や段差を検出し、衝突や転落を防止する必要がある。このような障害物や段差の検出のために、センサを用いた周囲環境認識装置の開発が進んでいる。
 このような用途に用いられるセンサには、レーザレンジファインダ(LRF)や距離画像センサが存在する。
 レーザレンジファインダは、計測対象物にレーザ光を投射しながら角度スキャンを行い、その反射光を検出することで対象物までの距離を計測する構造である。比較的高い計測精度が得られるが、角度スキャンは通常1方向であるため、1回の計測で1次元的な距離の分布情報しか得られない。2次元的な距離の分布を得るためには、複数のレーザレンジファインダを並列に配置して計測したり、機械的に動かしながら複数回計測したりするなどの工夫が必要となる。
 距離画像センサには、距離の計測手法によってパターン光照射方式、TOF(Time Of Flight)方式、ステレオ方式などの幾つかの方式が存在するが、いずれも撮像素子の視野範囲内の計測対象物について距離情報を画素の濃淡で表現した距離画像を出力することを特徴としており、1回の計測で2次元的な距離情報を一度に得ることができる。従って、周囲に存在する物体までの距離を迅速に取得し、それらが障害物や段差であるかどうかを認識するような周囲環境認識装置のセンサとして用いるのに適している。
 特許文献1(特開2006-260105号公報)に示される自律移動システムでは、進行方向の前方下方を視野範囲とするよう取付けられた距離画像センサを用いて、前方の走行面上に存在する凸状の障害物および凹状の段差の有無を検出している。さらに、距離画像を座標変換した後に、2つの異なるしきい値で2値化することにより、それらの障害物および段差の形状がスロープ状であるかステップ状であるかを判別している。
特開2006-260105号公報 特開2010-287029号公報
 しかし、特許文献1に示された自律移動システムでは、距離画像センサの配置によって段差の一部に死角が存在する場合に、その段差の境界を正しく検出できないという課題が存在する。そのため、自律移動システムを急旋回もしくは急発進させた時などに、段差の回避動作が間に合わず、自律移動システムが段差に転落する危険がある。また、自律移動システムが段差に向かって移動するにつれて段差と検出される位置が変化するため、段差位置を目印とした走行制御や地図上の自己位置認識を行うことができず、自律移動システムを用いた作業の効率が低下する恐れがある。
 本発明は、上記従来の問題点に鑑みてなされたものであって、周囲環境に存在する段差を確実かつ正確に検出することで安全性を高め、さらに作業効率を向上させる周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法を提供することにある。
 上記課題を解決するために、本発明の周囲環境認識装置は、
 距離センサと、
 上記距離センサから得られた距離データに基づいて、少なくとも床面より低い凹状領域を判別する凹部判別部と、
 上記距離データを、上記床面を基準に座標変換して俯瞰図データを作成する俯瞰図データ作成部と、
 上記俯瞰図データ内において、上記距離センサの死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正する補正処理部と
を備えることを特徴としている。
 1実施形態では、
 上記補正処理部は、上記俯瞰図データにおいて、上記凹部判別部によって判別されたデータが特定の順序に配列されているか否かに基づいて、上記境界の位置のずれの補正の可否を決定する。
 1実施形態では、
 上記補正処理部は、上記距離センサの取付角度と、上記凹状領域の深さ情報と、上記凹状領域の距離データとに基づいて、上記距離センサの死角の大きさを計算して、凹状領域に対する補正量を決定する。
 本発明の自律移動システムは、
 上記周囲環境認識装置を備え、進行方向前方の移動可能な領域を認識しながら移動することを特徴としている。
 本発明の周囲環境認識方法は、
 前方斜め下向きに配置された距離センサによって床面を計測して床面基準の3次元座標データを生成し、
 この3次元座標データに基づいて、床面領域と、上記床面よりも低い凹状領域とを判別して、3次元座標データのラベル付けを行って、俯瞰図データを作成し、
 上記俯瞰図データを走査して、上記ラベルが特定の順序で並んでいるときに、距離センサの死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正することを特徴としている。
 以上のように、本発明の周囲環境認識装置は、死角がある場合でも段差を確実かつ正確に検出することで、周囲環境の認識精度を高めることができる。
 また、本発明の自律移動システムでは、段差を確実に検出することで段差への転落を防止することができる。
 また、本発明の周囲環境認識方法は、死角がある場合でも段差を確実かつ正確に検出することで、周囲環境の認識精度を高めることができる。
本発明における周囲環境認識装置を用いた自律移動システムの1実施形態である清掃ロボットを示し、(a)は外観図、(b)は断面図である。 上記清掃ロボットの内部構造を示すブロック図である。 上記清掃ロボットの、距離画像センサおよびレーザレンジファインダの取り付け位置および座標系を示す図であり、(a)は斜視図、(b)は断面図である。 上記清掃ロボットにおける演算処理のフローチャートである。 上記清掃ロボットの距離画像および俯瞰図の生成を示す図であり、(a)は模式断面図、(b)および(c)は距離画像を示す図、(d)は俯瞰図である。 上記清掃ロボットにおける段差までの距離による見え方の違いと計測誤差の発生を示す図であり、(a1)、(a2)、(a3)は模式断面図、(b1)、(b2)、(b3)は距離画像を示す図、(c1)、(c2)、(c3)は俯瞰図である。 上記清掃ロボットにおける段差エッジの補正方法を示す図であり、(a)、(b)、(c)、(d)は俯瞰図である。 上記清掃ロボットにおけるマップ情報を示す図であり、(a)はマップ情報メモリに記憶されているマップ情報を示す図、(b)は(a)にエッジが上書きされたマップ情報を示す図である。 本発明における周囲環境認識装置を用いた自律移動システムの1実施形態である監視ロボットの外観図である。 本発明における周囲環境認識装置を用いた自律移動システムの1実施形態である自動搬送ロボットの外観図である。 本発明における周囲環境認識装置を用いた自律移動システムの1実施形態である清掃ロボットを示し、(a)は外観図、(b)はレーザレンジファインダとその座標系を示す図である。 上記清掃ロボットに搭載されたレーザレンジファインダの計測対象および計測データを示す図であり、(a)レーザレンジファインダ101の計測面を断面とした状態の計測対象を示す図、(b)レーザレンジファインダ101の計測データを示す図、(c)レーザレンジファインダ102の計測データを示す図である。 上記清掃ロボットの内部構造を示すブロック図である。 上記清掃ロボットの俯瞰図の生成および補正を示す図であり、(a)補正前の俯瞰図、(b)補正後の俯瞰図である。 上記清掃ロボットの俯瞰図における補正量の計算を説明する図である。 上記清掃ロボットの段差領域の抽出を示す図であり、(a),(b)は補正なしの場合の図であり、(a)は俯瞰図データの上書き更新による統合を説明する図、(b)は上書き更新によって得られる段差領域を示す図、(c),(d)は補正ありの場合の図であり、(c)は俯瞰図データの上書き更新による統合を説明する図、(d)は上書き更新によって得られる段差領域を示す図である。
 以下、本発明を図示の実施形態について詳細に説明する。
 (第1の実施形態)
 本発明の好適な第1の実施形態について、図1から図8に基づいて説明する。まず、本発明の周囲環境認識装置を含む自律移動システムの1実施形態である清掃ロボット1の外観図および断面図を図1(a)、(b)に示す。
 図1(a)、(b)において、1は清掃ロボット(自律移動システム)であり、2は清掃ロボット1底部の左右に配置された2つの駆動輪であり、3は清掃ロボット1底部に回転自在に取り付けた従輪であり、4は清掃ロボット1に動作電源を供給するバッテリである。また、5は洗浄液を貯留する洗浄液タンク、6は洗浄液タンク5に連結された洗浄液吐出部であり、両者は円筒形のパイプによって接続されて、洗浄液吐出ユニットを構成している。さらに、7は清掃ロボット1内部に吸い込んだ廃液(塵や埃等を含む)を溜める廃液タンク、8は清掃ロボット1底部に設けられた廃液を吸い込む吸引口であり、これらも同様にパイプによって接続されて、廃液回収ユニットを構成している。9は吸引口8の付近に設けられた清掃ブラシであり、ブラシモータ10によって駆動される。11はこれらの機構全体を覆う筐体であり、12は洗浄液の飛散や異物の巻き込みを防止するための保護部材である。その他、各種モードの設定や自動走行/手動走行の切替、走行/停止の切替などを行なうための操作パネル13、非常時に停止させるための緊急停止スイッチつまり非常停止スイッチ14、手動走行時の走行方向を決定する走行制御レバー15、および手動走行時に作業者が清掃ロボット本体を支持するための把手16等を備える。
 なお、清掃ロボット1の形態は、上記のような洗浄液を使用して洗浄するタイプに限定されるものではなく、ファン、集塵室、吸込口などを備えたいわゆる家庭用掃除機のような態様の清掃ロボットであってもよい。
 ここで、図1(a)、(b)に示す清掃ロボット1は、紙面右方向が基本的な進行(走行)方向である。「基本的」というのは、状況またはユーザーの操作(遠隔操作も含む)によって、紙面左方向への走行(後退)、あるいは、紙面手前または奥方向への移動の可能性があるからである。なお、以降では、基本的な進行(走行)方向を単に進行方向と記載する。
 清掃ロボット1には、距離画像センサ20が配置されている。距離画像センサ20は、筐体11に設けられた開口部21から外部の状態が把握可能な位置に取り付けられている。
 距離画像センサ20は赤外パターン光投射方式の距離画像センサであり、その内部に赤外光の投射素子を含む投射光学系と、赤外光の撮像素子を含む撮像光学系を有する。所定の規則的もしくは不規則なパターン(濃淡模様)を有する赤外光を外部に投影照射し、外部物体からの反射光を撮像素子で撮影することで、撮像光学系の視野範囲内にある物体までの距離を計測することができる。距離計測結果は、視野範囲に含まれる物体までの距離を画像上の画素のグレースケール値(濃淡)として表現した距離画像(深度画像、デプス画像)として出力される。なお、上記のような赤外パターン光投射方式以外でも、距離画像が出力できるセンサであれば、TOF(Time Of Flight)方式やステレオ計測方式など他の方式であっても構わない。
 また、清掃ロボット1にはレーザレンジファインダ22が搭載されており、筺体11前部に設けられた透明な窓21から外部の計測が可能となるよう取り付けられている。
 さらに、清掃ロボット1の内部には、清掃ロボット1全体の動作を制御する演算装置30が搭載されている。演算装置30は、上述のブラシモータ10、スイッチ14,15類、距離画像センサ20などの各部品と電気的に接続されている。
 清掃ロボット1のブロック図を図2に示す。演算装置30は、距離画像演算ブロック31、走行制御ブロック32、清掃制御ブロック33、マップ情報メモリ34および自己位置演算ブロック35からなる。さらに、距離画像演算ブロック31内部には、3次元座標演算部36、座標変換部37、凹部判別部の一例としての障害物・段差判別部38、俯瞰図作成部39、補正処理部としてのデータ補正部40が存在する。
 距離画像演算ブロック31は、距離画像センサ20からの距離画像を受信し、座標変換等の処理を行い、障害物・段差情報を抽出して自己位置演算ブロック35に送信する。
 走行制御ブロック32は、ジャイロセンサや駆動輪2に取り付けられたロータリーエンコーダ43の情報に基づき、清掃ロボット1の移動距離および現在の向きを把握する。この移動距離および向きに関する情報(以下では「オドメトリ情報」と呼ぶ)は、自己位置演算ブロック35に送られる。
 自己位置演算ブロック35は、距離画像演算ブロック31から出力された障害物・段差情報とレーザレンジファインダ22から得られた障害物情報とを統合する。さらに、これらの障害物・段差情報と予めマップ情報メモリ34に記憶されている周囲環境の形状に関するマップ情報、および走行制御ブロック32から送信されたオドメトリ情報を照合し、清掃ロボット1自身が現在マップ内のどの位置に存在するかを計算する。
 以上で述べた距離画像センサ20、距離画像演算ブロック31、レーザレンジファインダ22、マップ情報メモリ34および自己位置演算ブロック35は、本発明における「周囲環境認識装置」80としての役割を有している。さらに、距離画像演算ブロック31内部に存在する障害物・段差判別部38、俯瞰図作成部39、データ補正部40が、本発明における「凹部判別部」、「俯瞰図データ作成部」、「補正処理部」にそれぞれ対応する。なお、距離画像演算ブロック31および自己位置演算ブロック35の動作の詳細については後ほど説明する。
 走行制御ブロック32は、自己位置演算ブロック35からマップ上の自己位置と周囲の障害物や段差までの距離に関する情報を受け取り、障害物や段差を回避するように走行経路を決定し、実際に駆動輪2の駆動輪モータ44を制御する。また、操作パネル13、手動走行時の走行方向を決定する走行制御レバー15および非常時に停止させるための非常停止スイッチとしての緊急停止スイッチ14などの制御スイッチからの信号を受信すると、それに応じて非常停止や走行方向の変更など必要な動作を行う。これらの制御に関する情報は操作パネル13に表示され、リアルタイムに更新される。
 清掃制御ブロック33は、走行制御ブロック32からのコマンドを受けて、清掃ブラシ9、廃液回収ユニット7,8および洗浄液吐出ユニット5,6の動作開始/停止切替など清掃に関する部分の制御を行う。
 距離画像センサ20およびレーザレンジファインダ22の取付位置の詳細を図3(a)に示す。これらの距離画像センサ20およびレーザレンジファインダ22は、清掃ロボット1が清掃対象とする床面F(走行路面)から垂直に所定距離離間した位置に配設されている。具体的には、距離画像センサ20は、清掃ロボット1の上部における進行方向の前側に、水平よりも下向きに取り付けられている。本第1の実施形態では、距離画像センサ20は、図3(b)に示すように、床面Fからの高さH=980[mm]の位置に、鉛直軸に対する角度θ=20[deg]で進行方向前方の斜め下向きに取り付けられている。また、レーザレンジファインダ22は、床面Fからの高さH=350[mm]の位置に、床面Fと平行に、つまり、水平になるよう取り付けられている。実際には、取付位置は組立誤差等により多少変動する。なお、距離画像センサ20やレーザレンジファインダ22の配置や個数は上記に限定されず、複数個を並べて配置することも可能である。
 レーザレンジファインダ22のスキャン範囲即ち計測可能範囲は、図3(a)、(b)に示すように、床面Fから高さHの半円状の領域である。但し、図3(a)では見やすくするため,半円状の領域の半径方向の長さを縮小して表示している。実際には、レーザ投射光が遮られず到達する限りかなりの遠距離(5~10m)まで計測可能である。しかし、床面Fからの高さがHよりも低い高さの障害物や床面Fより低い段差については、レーザ光のスキャン範囲外であるため検出することができない。一方、距離画像センサの計測可能範囲はセンサの画角に依存する。本第1の実施形態に用いている距離画像センサ20の場合、水平方向の画角は70deg、垂直方向の画角は55deg程度である。床面F上に投影した視野範囲は図3(a)の台形Aの範囲であり、検出可能な範囲自体はレーザレンジファインダ22よりも狭いが、2次元的に高さ情報を取得するため、範囲内にある障害物や段差を漏れなく検出することができる。従って、この2者の併用により、近傍から遠方までの広い範囲の障害物および段差をバランス良く検出することができる。
 距離画像センサ20は、計測結果である距離画像を、距離画像センサ基準の座標系で出力する。座標系の定義を図3(a)に示す。距離画像センサ20の光学中心を原点Oとし、進行方向を向いたときに左右方向をX軸(左向きを正)、上下方向をY軸(上向きを正)、前後方向、即ちセンサの光軸方向をZ軸(奥行き方向を正)にとる。これに対し、レーザレンジファインダ22は取付位置および角度が異なるため、センサ基準の座標系も互いに異なっている。これらの座標系で表した距離と、清掃ロボット1本体から床面Fに沿って計測した距離との間にはズレが存在するため、対象物までの正確な距離を求めるためには、床面基準の座標系に座標変換を行って、距離画像センサ20とレーザレンジファインダ22との2つのデータを統合する必要がある。
 そのため、距離画像センサ20基準のX座標系とは別に、清掃ロボット1本体の座標系であるX座標系を定義する。清掃ロボット1本体先端から床面Fに下ろした垂線の足を原点Oとし、清掃ロボット1の進行方向をZ軸、床面Fの法線方向をY軸、Z軸およびY軸に垂直な方向をX軸(進行方向に向かって左向きを正)とする。
 なお、本第1の実施形態では、進行方向即ちZ軸と、距離画像センサ20の光軸方向であるZ軸とは、進行方向にむかって左右方向に関して、ほぼ一致している。これは即ち距離画像センサ20が床面Fに対して左右方向に傾いて取り付けられてはおらず、床面Fと距離画像センサ20との傾きは奥行き方向の傾きθだけであるということを意味する。厳密には取り付け誤差による角度ずれが発生するが、それでも左右方向の傾き角は奥行き方向の傾き角θに比べて十分小さいと考えられる。
 本第1の実施形態における清掃ロボット1は、演算装置30内の距離画像演算ブロック31において、距離画像に床面F基準の座標変換を施し、その情報から障害物や段差を判別する処理を行うが、その際に死角によって生じる段差の計測位置の誤差を補正することを特徴としている。これらの演算の詳細について以下で説明する。図4に、距離画像演算ブロック31および自己位置演算ブロック35での処理のフローを示す。
 距離画像演算ブロック31内の3次元座標演算部36は、まず、距離画像センサ20から出力される距離画像を取得する(図4のステップS101、以下同じ)。図5(a)に示すように、床面Fの一部に凹状領域つまり段差Cが存在する場合、得られる距離画像は図5(b)のようになる。この距離画像は、距離画像センサ20の光学中心Oから計測した距離Dを画素の濃淡で示しており、距離が小さい(近い)程白く、大きい(遠い)ほど黒く表示されている。
 3次元座標演算部36は、この距離画像データから距離画像センサ基準(X座標系)の3次元座標データ(X,Y,Z)を算出する(S102)。座標データのうち、Zは距離画像に含まれる距離Dそのものであり、XおよびYは、距離画像センサ20の光学系の焦点距離f、画素ピッチp、光軸と撮像素子中心との画素ズレ量cなどが分かれば、三角測量の原理によりZから計算することができる。本第1の実施形態では、事前に距離画像センサ20に対しキャリブレーションを行い、これらのパラメータを求めておく。これにより、距離画像が得られれば、その画像に含まれる全画素について距離画像センサ基準の座標データ(X,Y,Z)、即ち3次元点群(Point Cloud)データを得ることができる。
 座標変換部37では、距離画像センサ20基準の3次元点群データに対して、床面情報を用いて座標変換を行い、清掃ロボット本体基準のX座標系で表した3次元点群データに変換する(S111)。清掃ロボット本体基準の座標系に変換するのは、床面Fからの高さを判別しやすくするためであり、また後でレーザレンジファインダ22から得られた障害物データを統合するためでもある。
 床面情報は、距離画像センサ20の取付位置に基づいて距離画像演算ブロック31内部に予め設定されている。例えば、図3(b)に示すように距離画像センサ20が床面Fからの高さHに取付角度θで取付けられている場合、座標変換は、X軸周りの角度-θの回転とY軸周りの-Hの平行移動で実現される。
 但し、床平面の傾きやうねり、清掃ロボット1自体の振動、距離画像センサ20の計測誤差や経時変化などの原因により、床面Fと距離画像センサ20との位置関係が時間的・空間的に変動することがある。その場合は、上記のような固定的な座標変換では誤差が生じるため、距離画像センサ20基準の3次元点群データから床面Fを構成する点を抽出し、そこから床面Fの高さや角度を都度求める処理、即ち床面Fの検出処理が必要となる。このような処理を、距離画像を取得するフレームごと、もしくは一定フレーム間隔または一定時間間隔ごとに行い、その時点での最適な床面Fのパラメータを求め、これを上記の回転角度および並進移動量に換算する。このような床面Fの検出処理を行って、最適な回転角度および並進移動量を求めてから座標変換を行うことで、清掃ロボット本体基準の3次元点群データに変換することができる。
 このようにして得られた清掃ロボット本体基準の3次元点群データ(X,Y,Z)は、Yがそのまま床面Fからの高さを表しているので、Yの値の大小をグレースケール階調で表すと図5(c)のような距離画像が得られる。この距離画像では、床面Fが一定の高さであるためほぼ一様なグレースケール階調となっており、床面Fより低い段差の部分はそれよりも暗い階調で表されていることが分かる。
 座標変換部37で行われた上記処理の後、凹部判別部の一例としての障害物・段差判別部38は、3次元点群データを構成する各点(X,Y,Z)について、床平面より高いか低いかによって障害物および段差を判別する(S121)。具体的には、Yがそのまま床面Fからの高さを表していることから、図3(a),(b)に示すように、床面Fよりも高い第1基準面を表すしきい値tを設けて、Yがtよりも大きければ床よりも高い凸状領域Kつまり「障害物」、床面Fよりも低い第2基準面を表すしきい値-tよりも小さければ床面より低い凹状領域Cつまり「段差」、tと-tの間にあれば床面領域つまり「床面」と判別する。しきい値tは、床平面の凹凸の大きさや、距離画像センサ20の計測誤差などを考慮して予め決定しておく。本第1の実施形態では、t=10mmとしている。なお、第1基準面および第2基準面を表すしきい値の絶対値は、異なっていてもよい。
 なお、「段差」、「障害物」および「床面」を判別する手法としては、上記のような床面Fからの高さYに対するしきい値を用いる方法以外に、下記のような勾配を用いる方法も考えられる。
 3次元点群データ(X,Y,Z)に対し、まずバーストノイズ除去のための平滑化フィルタを適用した後、X軸方向およびZ軸方向に隣接した2点間の勾配を計算する。
 勾配の絶対値  
  ((ΔY/ΔX+(ΔY/ΔZ1/2
が所定の勾配限界値以上で、かつ奥行き方向の勾配
  ΔY/ΔZ
が正である場合、清掃ロボット1が乗り越えられない上り勾配であると見なし、その先、即ち清掃ロボット1から遠い側の点を「障害物」であると判別する。また、勾配の絶対値が所定の勾配限界値以上で、かつ奥行き方向の勾配が負であれば、乗り越えられない下り勾配であると見なし、その先、即ち清掃ロボット1から遠い側の点を「段差」であると判別する。上記勾配限界値は、清掃ロボット1の駆動輪モータ44の駆動トルク、駆動輪2および床面Fの材質などから、清掃ロボット本体の登坂能力を算出して、それに基づいて決定することができる。
 また、上記高さに関するしきい値と勾配限界値の両方を用いて判別する方法なども考えられる。
 上記の判別結果は、3次元点群データの各々にラベル情報として付加される。座標値が異常値である場合などで「段差」、「障害物」、「床面」いずれでもないと判別された領域は「未確定」のラベル情報が付加される。なお、ラベルは上記4種類に限るものではなく、床面Fからの高さによってさらに細分化して分類したり、清掃ロボット本体が通行できる大きさかどうかによって「進入不可」などの新たなラベルを付加したりしても良い。この処理により、距離画像センサ20の視野範囲内の各画素について、その3次元座標に加えて「段差」、「障害物」、「床面」、「未確定」その他のラベルが付加された3次元点群データが得られる。
 俯瞰図作成部39は、上記の処理によって得られたラベルが付加された3次元点群データを、「段差」、「障害物」、「床面」などのラベル区分ごとに色分けしてX-Z平面にプロットした画像データを作成する(図4のフローS122)。この画像を図5(d)に示す。これは丁度清掃ロボット1の真上から床面F方向を見下ろした状態に変換した図に相当するため、以下では「俯瞰図」と呼ぶ。図5(a)で清掃ロボット1本体の前方にある段差つまり凹状領域Cが距離画像センサ20によって計測され、図5(d)で表示されていることが見て取れる。しかし、図5(a)で段差の底面に存在するP・Q・R点のうち、清掃ロボット1の距離画像センサ20から見てP-Q間は見えるものの、Q-R間は死角になっているため距離が計測できていない。そのため、図5(d)ではP-Q間に相当する部分は正しく「段差」ラベル色で表示されているが、Q-R間に相当する部分は計測データが存在しないため「未確定」ラベル色として表示されている。
 なお、「未確定」ラベルの領域には、計測データが元々存在しない領域、即ち「計測抜け」と、距離画像取得時のノイズ等に起因して計測不能もしくは計測異常値となった領域、即ち「計測異常」との2種類が存在する。しかし、例えばある点が計測異常によってその点の真の座標値から大きく外れた点として計測された場合、真の座標値に相当する点は計測抜けとなる。そのため、ある「未確定」ラベルの領域が「計測抜け」と「計測異常」のいずれの原因で生じたものであるかは、俯瞰図からは判別できない。
 本第1の実施形態では、説明を容易にするため、実際に表示することが可能な画像として俯瞰図を作成しているが、必ずしもこのような構成とする必要はない。画面に表示して確認する必要がなければ、俯瞰図画像ではなくそれに等価な数値データ、即ち「俯瞰図データ」を演算装置内部で生成することでこれに代えることができる。そのような場合でも、該「俯瞰図データ」の各要素にラベルの付加を行い、さらに以下で説明するのと同様の処理を行えば、本第1の実施形態と同等の効果を得ることができる。
 ここで、図5(a)に示す段差Cに対して清掃ロボットが徐々に近づいていったときの様子を図6(a1)、(a2)、(a3)に示す。まず、図6(a1)は清掃ロボットが段差Cから比較的離れている状態の位置関係を示す図であり、図6(b1)はその時距離画像カメラ20を視点とするとどのように見えるかを示す画像、図6(c1)は図5(d)と同様に段差・障害物情報が付加された3次元点群データをX-Z平面に色分けしてプロットして得た俯瞰図である。次に、図6(a2)は、清掃ロボット1が段差Cに少し近づいた状態の位置関係を示す図であり、図6(b2)、(c2)はその状態での図6(b1)、(c1)と同様の図である。そして、図6(a3)は、清掃ロボット1が段差Cにさらに近づいた状態の位置関係を示す図であり、図6(b3)、(c3)はその状態での図6(b1)、(c1)と同様の図である。
 これらの図6(a1)、(a2)、(a3)、(c1)、(c2)、(c3)には、分かりやすいように、清掃ロボット本体基準の座標系X(清掃ロボット本体とともに移動する)とは別に、床面Fのある位置Oを原点として固定した座標系Xを示している。この固定座標系で、原点Oから段差Cの清掃ロボット1に近い側のエッジまでの距離はLである。
 清掃ロボット1本体が図6(a1)から(a2)、さらに(a3)と段差Cに近づくにつれて、距離画像センサ20と段差Cの位置関係が変化するため、距離画像センサ20から見た段差Cの死角も変化する。これは図6(b1)、(b2)、(b3)の変化の様子を示す画像からも明らかである。その結果、俯瞰図は、図6(c1)、(c2)、(c3)のように変化する。この俯瞰図上で、床面固定座標系Xの原点Oから段差領域Cの前端エッジまでの距離は、図6(c1)ではL、図6(c2)ではL、図6(c3)ではLとなり、清掃ロボット1が段差Cに近づくにつれて変化することが分かる。これは、距離画像センサ20が認識する段差Cのエッジ位置が、清掃ロボット1の移動につれて変化することを意味している。
 以上の考察から、真の段差Cのエッジ位置までの距離が(原点Oから測って)Lであるにもかかわらず、死角の影響によって計測したエッジ位置はLよりも大きな(遠い)値となり、段差Cに近づくにつれその値がLに漸近することが分かる。つまり、清掃ロボット1が段差Cに近づくにつれて、最初に計測した時よりもエッジ位置が徐々に近づいてくることになる。
 自律移動システムの例としての自律移動ロボット(例えば、清掃ロボット等)では、無人の状態で安全に走行するために、周囲の段差の位置を正確に把握する必要がある。通常は、検出した段差のエッジの位置が移動中に変動したとしても、走行制御ブロックが移動速度および移動方向を都度修正することで転落を回避することが可能である。しかし、急旋回や急発進を行う場合などで、それまで距離画像センサの視野範囲外であった領域から視野範囲の中に段差が突然現れるようなことが考えられ、そのような場合に回避動作が間に合わなくなる恐れがある。自律移動ロボットには、距離画像センサのような周囲環境検出装置以外に、筐体の下部に個別に床面検出センサ等を設けるなどして2重3重の転落防止策を講じているが、それでも上記のような死角による位置計測誤差が頻繁に発生すると、床面検出センサが過剰に反応するなどして挙動が不安定になる恐れを排除できない。
 特に、本第1の実施形態のような清掃ロボット1では、段差Cのエッジに近いぎりぎりの位置まで寄って清掃を行う場合があるため、段差Cの位置の検出はとりわけ精度良く行うことが求められる。従って、段差Cのエッジの位置計測誤差が少しでも生じると、清掃ロボット1本体が段差Cに転落する危険が発生する。
 本第1の実施形態の清掃ロボット1では、上記のような不具合を防止するために、俯瞰図作成部39の後段に配置された補正処理部としてのデータ補正部40によって段差Cの位置の補正を行うことを特徴とする(図4のフローS131)。データ補正部40による補正の手順を図7(a)、(b)、(c)、(d)に示す。
 図5(d)と同様に段差・障害物情報が付加された3次元点群データをX-Z平面に色分けしてプロットして得た「俯瞰図」が図7(a)のようになっており、死角による「未確定」ラベルが付与された領域Uが存在するとする。このとき、データ補正部40は距離データをZの正の方向(清掃ロボット1に近い側から遠い側、点線矢印の方向)にスキャンし、「床面(または障害物)」-「未確定」-「段差」の順にラベルが並んでいる部分を探索する。そのような部分が見つかったら、「未確定」のラベルが付加された点を「段差」のラベルに置き換える。これにより図7(b)のような俯瞰図が得られる。死角による影響が排除され、床面Fと段差Cとの境界、即ち段差Cのエッジが正しい位置に補正されていることが分かる。
 なお、段差Cが清掃ロボット1本体に対して傾いた配置で存在する図7(c)のような場合にも、同様の処理を行うことで図7(d)のような補正済みの俯瞰図が得られる。この場合でも、段差Cのエッジはほぼ正しい位置に補正されている。
 なお、先に述べたように、「未確定」ラベル領域には、死角が原因となって発生するもの以外に計測ノイズなどが原因となって発生するものが存在する。そのため、例えば俯瞰図内の「未確定」ラベル領域を一律に「段差」ラベル領域に置き換えただけでは、段差でない領域を段差と誤判別する事象が発生すると考えられる。これに対し、本第1の実施形態の清掃ロボット1では、ラベルが上記所定の順序で並んでいる場合に限り補正を行うので、ノイズ等で計測不能になることによる未確定領域が存在する場合であっても、それらと死角によって生じる未確定領域とを明確に区別して、死角部分の補正を確実に行うことができる。
 この死角部に対する補正量は、補正処理部としてのデータ補正部40によって、次のようにして行われる。図6(a2)を参照して、具体的に説明する。図6(a2)に示すように、距離センサとしての画像距離センサ20の走査時の振れ角も含む取付角度(鉛直面に対する傾斜角)θ、凹状領域としての段差Cの深さ情報h、原点Oから段差C迄の見かけの距離データL、原点Oから段差Cのエッジ迄の真の距離Lとすると、
  L-L=h・tanθ
となるから、補正量はh・tanθとなって、段差C迄の見かけの距離データLから補正量h・tanθを減算して、原点Oから段差Cのエッジ迄の真の距離Lは、
  L=L-h・tanθ
として算出される。
 ここで、hおよびtanθは、以下のようにして計算することができる。
図6(a2)において、段差の手前側エッジの床面側端点をE、直線OEと床面との交点をQとする。EおよびQは距離画像センサから見えている(死角にはない)点であるので、その距離画像センサ基準(X座標系)の3次元座標を取得することができる。このE、Q、および距離画像センサの原点Oの3次元座標をロボット本体基準(X座標系)に変換して得た3次元座標値を、それぞれ(X,Y,Z)、(X,Y,Z)、(XOS,YOS,ZOS)とする。このとき、hおよびtanθ
  h=Y-Y
  tanθ=(Z-ZOS)/(Y-YOS
として求められる。これにより、補正量h・tanθが計算できる。
 ある特定の段差Cに対して、h即ち段差の深さは不変であるが、tanθは清掃ロボットが移動するにつれて変化する。そのため、補正量h・tanθはその都度計算しなおす必要がある。
 さらに、データ補正部40は、上述の補正量h・tanθを参照して、上記「未確定」ラベル領域の長さが妥当な長さよりも長いもしくは短い場合は、死角によって発生する「未確定」ラベル領域ではないと判断して補正を行わないことができる。これにより、ノイズ等で計測不能になることによる「未確定」ラベル領域が存在する場合であっても、死角の大きさを正確に検出し、補正を精度良く行うことができる。
 なお、移動体において3次元情報から俯瞰図を生成することで死角によって生じる段差位置のずれの補正を行う手法としては、特許文献2(特開2010-287029号公報)が知られている。
 特許文献2では、移動体に取り付けたステレオカメラを用いて取得した3次元情報に基づき、移動体の上方から見た俯瞰図を作成する。ステレオカメラから見て、前方の窪み(段差)の一部に死角が存在する場合、俯瞰図上では死角によって生じる計測点が存在しない領域が発生するため、この計測点が存在しない領域を危険領域と判定している(同文献の図14および図15参照)。
 しかし、特許文献2では、本第1の実施形態での未確定領域に相当する計測点が存在しない領域を一律に危険領域と判定するため、例えば床面の一部がノイズ等によって一時的に未確定領域となっている場合にも、その領域を危険領域として誤判定して、その領域への移動ができなくなってしまう恐れがある。
 これに対し、本第1の実施形態では、先に述べた手順により、3次元点群データに付与したラベルが特定の順序で並んでいる場合にのみ補正を行うため、ノイズ等による未確定領域と死角によって生じる未確定領域とを明確に区別し、段差のエッジ位置の補正を確実に行うことができる。また、距離データに含まれる段差の深さおよび距離センサの取付角度の情報に基づき、段差の死角部分の補正量を計算してその分だけ補正を行うため、段差位置の補正を特許文献2の手法よりも精度よく行うことができる。
 また、特許文献2では、計測点が存在しない領域を危険領域と判定するだけで、段差のエッジ位置についての情報は補正されていないが、本第1の実施形態では、段差のエッジ位置についても補正を行うことで、正しい段差のエッジ位置を得ることができる。これにより、補正後のエッジ情報を自己位置認識の手がかりとして用いることができるので、マップ上での自己位置認識の精度が高まり、自律移動システムのマップ情報に基づく走行の信頼性を高めることができる。
 データ補正部40は、この補正された俯瞰図から、清掃ロボット1本体に近い段差および障害物の情報を抽出して、これを段差・障害物情報として自己位置演算ブロック35に送信する(図4のフローS132)。
 段差・障害物データの形式は、後で走行制御ブロック32が処理しやすいように任意の形式に変換することができる。データの座標系は、清掃ロボット基準のX直交座標系のまま送ることもできるし、極座標(R-θ座標系)に変換することもできる。検出した全ての障害物・段差をデータ化する手法以外に、データの間引き・補間、ノイズ除去処理を行ったり、清掃ロボット1本体に最も近い障害物・段差データのみを抽出したりする手法も考えられる。
 先に述べたように、自己位置演算ブロック35は、レーザレンジファインダ22から障害物情報を取得する(S141)。その後、距離画像演算ブロック31から出力された障害物・段差情報とレーザレンジファインダ22から得られた障害物情報とを統合する(S142)。例えば、レーザレンジファインダ22で計測された障害物Aの前に、距離画像センサ20で計測された別の障害物Bがある場合、距離の近い障害物Bのデータが優先するようにしてデータを統合することができる。
 その後、自己位置演算ブロック35は、走行制御ブロック32からオドメトリ情報を取得する(S143)。
 さらに、自己位置演算ブロック35は、マップ情報メモリ34に記憶されている周囲環境の形状に関するマップ情報を取り出す(S144)。マップ情報メモリ34に記憶されているマップ情報の一例を図8(a)に示す。図8(a)に示すように、清掃ロボット1が清掃を行うエリア全体について、床面F、障害物、段差および進入禁止領域が区別されて登録されている。清掃ロボット1は、このマップ情報に設定されている床面Fの部分のみを清掃するように、走行制御ブロック32によって制御される。
 自己位置演算ブロック35は、上記の処理で得た障害物・段差情報、マップ情報、およびオドメトリ情報を照合し、清掃ロボット1自身が現在マップ内のどの位置に存在するかを計算する(S145)。自己位置演算ブロック35が自己位置の演算を行う際には、図8(b)に示すように、レーザレンジファインダ22が検出した障害物情報に基づくエッジ(太実線)および距離画像センサ20が検出した障害物・段差情報に基づくエッジ(太点線)がマップ上に上書き表示される。マップ上に予め登録された障害物や段差のエッジと実際に検出したエッジとの齟齬をなるべく小さくし、かつオドメトリ情報との差異がなるべく小さくなるように、所定のアルゴリズムで自己位置の推定が行われる。このような自己位置推定のアルゴリズムとしては、パーティクルフィルタ、拡張カルマンフィルタなどの手法が知られている。
 この自己位置推定処理の際に、距離画像センサ20の死角による段差エッジ計測誤差が存在すると、自己位置推定値に誤差が生じ、マップ情報に沿って精度良く走行することができなくなってしまう。これに対し、本第1の実施形態の清掃ロボット1は、上述の段差エッジの補正を行うことで、正しい段差位置を得ることができるため、自己位置推定を正確に行い、マップ情報に基づく効率よい走行制御を行うことが可能になる。
 自己位置演算ブロック35は、計算結果として得られる現在マップ内の自己位置情報を走行制御ブロック32に送信する(S146)。走行制御ブロック32には、予め定められた幾つかの走行パターンが登録されており、そのうちの一つが選択されている。走行パターンには、例えば「壁に沿ってエリア内を1周するまで走行する」、「壁に囲まれた内側の領域を塗りつぶすように走行する」、「所定の距離もしくは時間だけランダムに向きを変えながら走行する」などが存在する。走行制御ブロック32は、自己位置情報と設定された走行パターンとを照合して、移動すべき方向および移動速度を決定し、清掃ロボットの走行制御を行う。
 以上で述べたように、本第1の実施形態の清掃ロボット1は、死角がある場合でも段差Cを確実かつ正確に検出することで、周囲環境の認識精度を高め、段差Cへの転落を防止することができる。
 また、距離画像計測時にノイズ等で計測不能になることによって発生する未確定領域が存在し、死角によって発生する未確定領域と混在する場合であっても、死角の大きさを正確に検出し、補正することができる。さらに、段差位置を目印とした走行制御や地図上の自己位置認識を行うことで、自律移動しながら清掃作業を行う際の作業効率を向上させることができる。
 (第2の実施形態)
 次に、本発明の周囲環境認識装置を自律移動システムの一例としての監視用ロボットに適用した第2の実施形態について、図9を用いて説明する。第1の実施形態と同様の部分については同じ記号を付し、説明は省略する。
 自律移動ロボットである監視ロボット101は、第1の実施形態と同様、赤外パターン光照射方式の距離画像センサ(図示しないが第1の実施形態の距離画像センサ20と全く同じ構成、機能を有する。)を用いた周囲環境認識装置(図示しないが第1の実施形態の周囲環境認識装置80と全く同じ構成、機能を有する。)を搭載している。清掃ブラシ、洗浄液タンク、廃液タンクなど清掃に関係する機能は省かれており、代わりに状態を周囲に知らせるための表示灯102、外部の端末と無線によるデータ通信を行うためのアンテナ103、全方位カメラ104、照明灯105、スピーカ106が設けられている。全方位カメラ104は、監視ロボットの周囲360度の状況を常時録画し、アンテナ103を経由して遠隔地に存在する管理用端末(図示せず)に無線で送信する。管理用端末の管理者は、受信した全方位カメラ104の画像データを確認し、異常がないかどうかチェックを行う。管理者が不在の場合は、監視ロボット101本体内部で全方位カメラ104の画像データを解析することにより自動で異常監視を行うモードに設定することも可能となっている。
 監視ロボット101は、夜間など人が不在となる時間帯に、オフィスビル内の予め設定された監視エリアを常時移動しながら監視を行う。その際、予め監視ロボット101本体に記憶されているマップ情報を参照しながら監視エリア内の通路を移動する。第1の実施形態と同様に、距離画像センサで計測した情報に基づいて自己位置認識と段差・障害物の回避を行う。
 何らかの異常が発見された場合には、現場へ急行して照明灯105を点灯させて現場の画像を撮影し、管理者に無線で送信する。不審な人間が存在する場合は、スピーカ106から警告音を発生させたり、退出を促すメッセージを流したりすることができる。
 以上のように、本第2の実施形態では、監視ロボット101をオフィスビル内で運用することで、人手によらず安全に監視を行うことができる。本発明の周囲環境認識装置を用いることで、監視エリア内の通路近辺に段差等が存在する場合であっても、その段差のエッジを死角にかかわらず正しく認識し、転落を防止することができる。また、監視エリア内をマップ情報に基づいて自己位置を認識しながら走行する場合に、自己位置認識の目印として補正後の段差のエッジ情報を使用することで認識精度を高め、監視エリア内での移動の効率を向上させることができる。
 (第3の実施形態)
 続いて、本発明の周囲環境認識装置を工場用の自動搬送ロボットに搭載した第3の実施形態について、図10を用いて説明する。第1および第2の実施形態と同様の部分については同じ記号を付し、説明は省略する。
 自律移動システムの一例である自動搬送ロボット201は、第1および第2の実施形態と同様、赤外パターン光照射方式の距離画像センサを用いた周囲環境認識装置(第1および第2の実施形態の周囲環境認識装置と全く同じ構成、機能を有する。)を搭載している。清掃ブラシ、洗浄液タンク、廃液タンクなど清掃に関係する機能は省かれており、代わりに荷物を搭載ながら移動するための荷物積載部202を有する。荷物積載部202の底面にはベルトコンベヤ203が取り付けられており、自動で荷物の積み込みおよび積み下ろしが可能な構造となっている。また、第2の実施形態と同様、状態を周囲に知らせるための表示灯102および外部の端末と無線によるデータ通信を行うためのアンテナ103が設けられている。
 自動搬送ロボット201は、工場内に設けられた集荷ターミナルに常時待機しており、荷物が到着すると底面のベルトコンベヤ203を用いて積載部202に格納する。あわせて集荷ターミナルの端末から無線で荷物の内容および配送先についての情報が自動搬送ロボット201本体に送信される。
 全ての荷物の積み込みが完了した後、自動搬送ロボット201は移動を開始し、予めロボット本体に記憶されているマップ情報を参照しながら工場内の通路を移動する。第1の実施形態と同様に、距離画像センサで計測した情報に基づいて自己位置認識と段差・障害物の回避を行う。配送目的地である配荷ポイントに到着すると、配荷ポイントの端末に無線で荷物の内容および発送元についての情報を送信する。その後、底面のベルトコンベヤ23を用いて荷物の積み下ろしを行う。
 積み下ろしが完了すると、次の荷物の配送目的地への移動を開始する。このようにして全ての荷物の目的地への積み下ろしが完了すると、マップ情報を参照しながら元の集荷ターミナルに戻る。
 このような自動搬送ロボット201を工場内で複数台運用することで、大量の荷物を人手によらず安全に工場内で搬送することができる。本発明の周囲環境認識装置を用いることで、工場内の通路近辺に段差等が存在する場合であっても、その段差のエッジを死角にかかわらず正しく認識し、転落を防止することができる。また、工場内をマップ情報に基づいて自己位置を認識しながら走行する場合に、自己位置認識の目印として補正後の段差のエッジ情報を使用することで認識精度を高め、工場内での移動の効率を向上させることができる。
 なお、上記の第1~第3の実施形態では、周囲環境認識装置に用いる距離センサとして赤外パターン光投射方式の距離画像センサ20を用いていたが、ステレオ方式やTOF方式など、他方式の距離画像センサを用いることも可能である。ステレオ方式の距離画像センサの場合、ステレオ配置された左右カメラから得られる左右画像に対し、対応点探索などの手法によって視差を計算する。視差の値から三角測量の原理によって対象物までの距離を求めることができる。
 (第4の実施形態)
 続いて、赤外パターン光照射方式距離画像センサの代わりにレーザレンジファインダ(LRF)を距離センサとして使用した第4の実施形態について、図11から図16を用いて説明する。第1の実施形態と同様の部分については同じ記号を付し、説明は省略する。
 本第4の実施形態における自律移動システムである清掃ロボット300の外観を図11(a)に示す。本清掃ロボット300は、第1の実施形態における距離画像センサ20の代わりに、2台の距離センサとしてのレーザレンジファインダ(LRF)301および302を搭載している。水平方向に取付けられたLRF、即ち「水平LRF」22と区別するために、以下ではこれらを「段差用LRF」と呼ぶ。水平LRFと段差用LRFは同じ機種であっても良いし、異なる機種であっても良い。
 上記段差用LRF301および302は、左右方向(清掃ロボット基準座標系におけるX軸方向)に互いに数十mmから100mm程度の距離を隔てて、床面(ロボット基準のX座標系においてX平面)に対して斜め下向きに取付けられており、計測用の赤外レーザ光が走査されることによって形成される面、即ち計測面が、取付位置から数十cm~数mの距離において床面と交差するようになっている。水平LRF22の計測面は床面と平行であるため、床面より低い段差や床面付近の障害物は計測できなかったが、段差用LRFは上記のように斜め下向きに取り付けられているため、床面より低い段差や床面付近の障害物を検出することが可能になっている。
 上記段差用LRF301および302は、それぞれ計測面内において-90degから+90degの範囲の半円状のエリアに赤外レーザ光を投射し、物体の計測を行うことができる。ここで、計測範囲の中央即ち0deg方向をLRFの前方と定義する。また、図11(b)に示すように、LRF301基準の座標系として、赤外レーザ光の出射位置即ち計測の原点をOS1、前方にZS1軸、計測面に垂直な方向にYS1軸、ZS1軸およびYS1軸に垂直な方向にXS1軸を取ったXS1S1S1座標系を定義する。同様に、LRF302基準の座標系としてXS2S2S2座標系を定義する。
 上記段差用LRF301のZS1軸および302のZS2軸は、ロボットの進行方向即ちZ方向に対し、Y軸中心に互いに反対方向にθ[deg]だけ回転した向きに取付けられている。そのため、段差用LRF301および302の計測面と床面との交線は、Z軸に対しそれぞれθ[deg]、-θ[deg]だけ傾いた直線となる。なお、本第4の実施形態においてはθ=45degであるが、これに限るものではない。図11(a)では、これらの直線をそれぞれA、Aで示している。2つの直線は、ロボット本体の前方約1mの距離で、点C12において交わっている。これらの直線A、Aは、床面上における段差用LRF301および302の計測可能領域を示すものである。LRFは投射光の走査方向が1次元であるため距離画像センサのように2次元状のエリアを一度に計測することはできないが、上記のように斜め下向きに配置した2個のLRFを組み合わせることで、清掃ロボット前方の比較的広い範囲を計測範囲としてカバーすることができる。
 上記清掃ロボット300本体から段差用LRF301,302の計測可能領域A、Aまでの距離は、段差用LRF301,302の取付位置および角度を調整することによってある程度調整することができる。計測可能領域が清掃ロボット300本体よりも遠すぎると、それよりも近くに存在する段差や障害物の計測漏れが発生する恐れがある。逆に清掃ロボット本体に近すぎると、移動中に段差や障害物を検出しても回避動作が間に合わず、衝突や転落の恐れがある。これらの事を考慮して、計測可能領域は回避動作が可能な範囲でなるべく近い距離に設定することが望ましい。
 図11(a)では、清掃ロボット300の前方の床面上に段差が存在する。このような場合に段差用LRF301の計測で得られるデータがどのようになるかを、図12(a)を用いて説明する。図12(a)は、段差用LRF301の計測面、即ちXS1S1平面で切断した図である。段差が存在せず床面だけの場合、LRF301からの投射光はAを結ぶ線分上に照射され、この部分の距離が計測されるが、段差が存在する場合には、AからS(床面)、QからP(段差の底面)、PからT(段差の側面)、TからB(床面)の範囲の距離が計測される。段差の底面のうちRからQの範囲は、段差用LRF301から見て死角になるため計測されていない。
 上記段差用LRF301は、計測面(XS1S1S1座標系におけるXS1S1平面)内の計測対象物までの距離情報を、極座標形式、即ち計測面内の角度θと、θにおける計測原点OS1からの距離rのセットからなるデータとして、清掃ロボット300の演算装置330(図13を参照)に出力する。
 本第4の実施形態における清掃ロボット300のブロック図を図13に示す。清掃ロボット300内の演算装置330は、第1の実施形態の清掃ロボット1における距離画像演算ブロック31に代わり、LRFデータ演算ブロック310を備えている。それ以外の構成は第1の実施形態と同様である。なお、380は、周囲環境認識装置を示している。
 上記LRFデータ演算ブロック310内に存在するデータ取得部311は、段差用LRF301から取得した極座標データを直交座標に変換して、XS1S1平面上にプロットしたデータを作成する。これを図12(b)に示す。図12(a)のAからS(床面)、QからP(段差の底面)、PからT(段差の側面)、TからB(床面)に対応する点が計測されているのに対し、LRF301から見て死角になる段差の底面RからQは計測されていないため、データが存在しないことが分かる。同様に、段差用LRF302から受信した計測データを直交座標に変換し、XS2S2S2座標系(図11(b)において、OS1,S1,S1,S1をOS2,S2,S2,S2に置き換えた座標系)におけるXS2S22平面上にプロットしたデータが作成される。これを図12(c)に示す。
 次に、LRFデータ演算ブロック310内に存在する座標変換部312は、データ取得部311で作成された段差用LRF301のデータに対し、座標変換処理を施す。予め記憶されているロボット300本体に対する段差用LRF301の取付位置および角度のパラメータを用いて、計測データをLRF301基準の座標系(XS1S1S1座標系)での座標値から、ロボット300本体基準の座標系(X座標系)での座標値に変換する。同様に、段差用LRF302のデータについても、LRF302基準の座標系(XS2S2S2座標系)での座標値から、ロボット本体基準の座標系(X座標系)での座標値に変換する座標変換処理を施す。これにより、段差用LRF301および302のデータから清掃ロボット本体基準の3次元点群データを得ることができる。
 その後、これらのデータは凹部判定部としてのデータ統合・判定部313に送られる。前段の座標変換処理により、段差用LRF301および302の2つのデータが同一のロボット300本体基準の3次元点群データとして表されたことになるので、これを1つのデータに統合することができる。さらに、データ統合・判定部313では、第1の実施形態と同様に、3次元点群データを構成する各点に対し、ロボット本体座標系におけるY即ち床面からの高さの値によって「段差」、「障害物」、「床面」、「未確定」などのラベル情報を付加する。
 ラベル情報を付加した3次元点群データは、俯瞰図データ作成部としての俯瞰図作成部314に送られる。俯瞰図作成部では、3次元点群データをロボット本体基準座標系のX平面にプロットすることで、ロボット本体の上方から見下ろした俯瞰図画像を作成する。この俯瞰図画像を図14(a)に示す。本図では、統合前の図12(b)および(c)におけるA,B,P等に対応する点を、それぞれA’,B’,P’のようにダッシュを付けて表している。
 俯瞰図画像は補正処理部としてのデータ補正部315に送られ、ここで段差位置の補正が行われる。データ補正部は、俯瞰図画像において計測データ点の存在するA’からB’およびA’からB’の範囲を探索する。計測データ点のラベル情報が「段差」である場合は、その段差の位置を、以下で説明する補正量Lだけ清掃ロボット本体に近い側に補正する。その際に、ラベルは「段差」のままとする。この補正処理は、その段差の位置に段差ではなく床面が存在すると仮定した場合の床面の位置に置き換えることに相当する。
 段差補正量の算出について、図15を用いて説明する。段差P’Q’上の点U’について、その位置に段差ではなく床面が存在すると仮定した場合の床面の位置をV’とすると、補正量LはU’V’に相当する。
 Lは、段差の深さ(3次元点群データのY座標値に相当する)Yと図15に示すθを用いると
  L=Y/tanθ
で表される。θは、LRF301の取付角度θ、およびLRF301の計測面内においてOS1’がZS1軸となす角度θにより
  sinθ=cosθ・cosθ
によって表されるので、
  L=Y/tan(sin-1(cosθ・cosθ))
となる。
 上式により、段差上の任意の点について、Y、θおよびその点についてのθが与えられると、その点での段差位置補正量Lを計算することができる。
 データ補正部315は、俯瞰図画像に含まれる3次元点群データのうち、補正が必要な「段差」ラベルを有する点すべてについて上記の補正量Lを計算し、その距離Lの補正を行った俯瞰図画像を新たに生成する。データ補正部315において補正を行った後の俯瞰図画像を図14(b)に示す。図14(a)では段差を示すP’Q’およびP’T’の線分が、床面を示す線分A’B’よりも遠い距離に表示されているが、図14(b)では段差位置S’T’は床面A’B’と同一直線上に存在することが分かる。
 補正を行わない場合、俯瞰図上での段差エッジ位置までの距離は、死角の影響によって真の段差エッジ位置までの距離(図14(a)に示すO’)よりも遠い値(同図のO’)となり、清掃ロボット本体が段差に近づくにつれその値が真の値に漸近する。つまり、清掃ロボットが段差に近づくにつれて、最初に計測した時よりも段差エッジの位置が徐々に近づいてくることになる。
 清掃ロボットのような自律移動ロボットでは、無人の状態で安全に走行するために、周囲の段差の位置を正確に把握する必要がある。通常は、検出した段差のエッジの位置が移動中に変動したとしても、走行制御ブロックが移動速度および移動方向を都度修正することで転落を回避することが可能である。しかし、急旋回や急発進を行う場合などで、それまで距離画像センサの視野範囲外であった領域から視野範囲の中に段差が突然現れるようなことが考えられ、そのような場合に回避動作が間に合わなくなる恐れがある。自律移動ロボットには、段差用LRFのような周囲環境検出装置以外に、筐体の下部に個別に床面検出センサ等を設けるなどして2重3重の転落防止策を講じているが、それでも上記のような死角による位置計測誤差が頻繁に発生すると、床面検出センサが過剰に反応するなどして挙動が不安定になる恐れを排除できない。
 これに対し、本第4の実施形態の清掃ロボットでは、データ補正部315によって上記のような段差位置の補正が施されるので、段差のエッジは常に正しい位置(図14(b)に示すO’)となる。
 なお、上記のような段差位置補正量Lの計算とそれに基づく補正を行わなくても、機械的な置き換え処理だけで同等の効果を得ることは可能である。例えば、図14(a)に示す「段差」ラベルが付与されたP’Q’およびP’T’の線分が存在する場合に、これを機械的にS’T’の線分に置き換えるような処理が考えられる。しかし、この場合、例えば、床面の端であるS’が表面の反射率やノイズ等の問題がある計測となり、S’から離れた位置S”(図示せず)として計測されてしまった場合、線分がS’T’ではなくS”T’に補正されるため、段差のエッジが真の位置から外れてしまうことになる。これに対し、上述の段差位置補正量Lの計算においては、Lはあくまで段差の深さであるYと段差用LRF301,302の取付角θおよび計測角度θだけから計算されるので、床面の端S’の位置に誤差があっても補正後の段差データには影響は及ばない。つまり、段差補正量Lをその都度計算して適切な量だけ補正を行うことで、床面の端S’の計測値に多少計測誤差があっても適切な段差のエッジを求めることができる。
 LRF301,302は、距離画像センサと異なり1次元の走査しか行えないので、計測可能な領域は床面上の直線状の領域となり、清掃ロボット300が静止した状態では、この直線上にない段差は検出することができない。しかし、清掃ロボット300本体が走行しながら連続して計測を行うことで、計測可能領域を示す直線が床面上を移動するため、結果として床面上の全範囲を計測領域に含めることが可能になる。
 本第4の実施形態の清掃ロボット300では、オドメトリ情報および水平LRF22が取得した障害物・段差情報から、第1の実施形態と同様の自己位置認識手法を用いて、清掃ロボット300自身が現在マップ内のどの位置に存在するかを計算する。段差用LRF301,302から得られた段差情報が含まれる俯瞰図データをこのマップ上に重ね合わせて表示し、清掃ロボット300の移動に合わせて俯瞰図データをその時点の現在位置に上書きして更新する。このとき、データ補正部315において、段差端の計測点Q1’がエッジの位置S1’に正しく補正されていれば、上書き更新することで形成される「床面」ラベルの点と「段差」ラベルの点との境界の点の集合は、段差のエッジを正しく表すことになる。
 図16の(a)~(d)に、段差位置補正を行う場合と行わない場合の検出結果の比較を示す。段差位置補正を行わない場合、俯瞰図上での段差端を示す点が真の段差端よりも奥側(清掃ロボット本体から遠い側)にずれており、しかも清掃ロボット300が移動するにつれてLRFの死角が変化することでずれ量が変化する。この様子を図16(a)に示す。これらのデータをマップ上で重ね合わせて得られる段差領域の情報は図16(b)のような形状になり、清掃ロボット本体に近い方のエッジの位置が、実際の段差エッジの位置からずれてしまうことになる。これに対し、段差位置補正を行う場合、図16(c)のように俯瞰図上での段差端を示す点が正しい位置で得られるため、このデータをマップ上で重ね合わせることにより、図16(d)のように正しい段差領域の情報が得られることになる。以上のことから、段差位置補正を行い、その結果をマップ上で重ね合わせることで、段差が存在する領域およびそのエッジを正しく検出できることが分かる。
 以上のようにして抽出された段差情報は、同様に抽出された床面より高い障害物の情報と統合され、段差・障害物情報として自己位置演算ブロック35に送信される。段差・障害物データの形式は、後で走行制御ブロック32が処理しやすいように任意の形式に変換することができる。データの座標系は、清掃ロボット基準のX直交座標系のまま送ることもできるし、極座標(R-θ座標系)に変換することもできる。検出した全ての障害物・段差をデータ化する手法以外に、データの間引き・補間、ノイズ除去処理を行ったり、清掃ロボット300本体に最も近い障害物・段差データのみを抽出したりする手法も考えられる。
 自己位置認識や清掃など、清掃ロボット300のその他の部分の構造や動作については、第1の実施形態で説明したものと同様であり、説明は省略する。
 なお、先の第1の実施形態で述べた特許文献2では、段差情報の補正のために俯瞰図データを作成する点については本発明と類似しているものの、3次元情報の取得にステレオカメラを用いているので、本第4の実施形態のように段差用LRF301,302の1次元的な計測データからの段差情報の補正を行うことは想定されていない。また、特許文献2では、計測点が存在しない領域を危険領域と判定するだけで、段差のエッジ位置についての情報は補正されていないが、本第4の実施形態では、距離センサとして段差用LRF301,302を用いる場合であっても、死角によって生じる段差のエッジ位置のずれを正しく補正することができる。さらに、段差のエッジ位置について補正を行うことで、正しい段差のエッジ位置を取得でき、これにより、補正後のエッジ情報を自己位置認識の手がかりとして用いることができる。従って、マップ上での自己位置認識の精度が高まり、自律移動システムのマップ情報に基づく走行の信頼性を高めることができる。
 以上のとおり、本第4の実施形態では、自律移動システムである清掃ロボット300の距離センサとして段差用LRF301,302を用いる場合であっても、死角によって生じる段差のエッジ位置のずれを正しく補正し、段差のエッジを精度よく抽出することで、段差への転落を防止し、自律移動の精度を高めることができる。
 また、本第4の実施形態と第2の実施形態もしくは第3の実施形態とを組み合わせることで、段差用LRFを搭載した監視ロボットや段差用LRFを搭載した自動搬送ロボットを実現することができる。
 (その他の実施形態)
 本発明の周囲環境認識装置は、独立した装置として産業用、民生用その他用途に用いる他、汎用的な携帯情報端末などの一部に組み込んだり、演算回路の一部または全部を集積回路(IC)化して利用したりすることもできる。
 第4の実施形態においては、段差エッジ位置の補正処理を1回の計測ごとに行っているが、複数回計測した結果を統合した後に行うことも可能である。複数回の計測結果を統合すると、図16(a)および(b)に示すとおり2次元的な段差情報が得られるので、第1の実施形態と類似の処理で死角によって生じる段差エッジ位置の補正を行うことができる。
 第1の実施形態においては距離画像センサ20を1台、第4の実施形態においては段差用LRF301,302を2台用いているが、それぞれ他の台数であっても構わない。また、第1の実施形態と第4の実施形態を組み合わせて、距離画像センサやLRFを複数個搭載し、それらを併用しながら距離情報を得るような場合にも、本発明は適用可能である。
 上記第1~第4の実施形態では、凹部判別部の一例としての障害物・段差判別部38は、図3(a),(b)に示すように、床よりも高い凸状領域Kつまり「障害物」と、床面Fよりも低い凹状領域Cつまり「段差」と、床面領域Fつまり「床面」と判別するが、本発明の凹部判別部は、少なくとも、床面よりも低い凹状領域を判別できればよい。
 上記の第1~第4の実施形態では、自律移動システムの一形態としての清掃ロボット、監視ロボットおよび自動搬送ロボットについて説明したが、その他にも、例えば自動走行車、介護用ロボット、災害救助用ロボット、農作業用ロボット、エンターテイメント用ロボットなど他の自律移動システムにも適用可能である。
 本発明および実施形態を纏めると、次のようになる。
 本発明の周囲環境認識装置80,380は、
 距離センサ20,301,302と、
 上記距離センサ20,301,302から得られた距離データに基づいて、少なくとも床面Fより低い凹状領域Cを判別する凹部判別部(障害物・段差判別部38、データ統合・判定部313)と、
 上記距離データを、上記床面Fを基準に座標変換して俯瞰図データを作成する俯瞰図データ作成部39,314と、
 上記俯瞰図データ内において、上記距離センサ20の死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正する補正処理部40,315と
を備えることを特徴としている。
 上記構成において、上記距離センサ20,301,302から得られた距離データに基づいて、凹部判別部(障害物・段差判別部38、データ統合・判定部313)は、少なくとも凹状領域Cを判別し、上記俯瞰図データ作成部39は、上記距離データを、上記床面Fを基準に座標変換して俯瞰図データを作成し、補正処理部40,315は、上記距離センサ20,301,302の死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正する。例えば、上記凹状領域Cが表された俯瞰図データ内において、上記距離センサ20,301,302の死角によって生じる距離データの存在しない領域Uを、凹状領域Cとして補正する。
 従って、本発明の周囲環境認識装置80,380によれば、死角がある場合でも段差を確実かつ正確に検出することで、周囲環境の認識精度を高めることができる。
 1実施形態では、
 上記補正処理部40,315は、上記俯瞰図データにおいて、上記凹部判別部(障害物・段差判別部38、データ統合・判定部313)によって判別されたデータが特定の順序に配列されているか否かに基づいて、上記境界の位置のずれの補正の可否を決定する。
 上記実施形態によれば、上記凹部判別部(障害物・段差判別部38、データ統合・判定部313)によって判別されたデータが特定の順序に配列されているか否かに基づいて、上記境界の位置のずれの補正の可否、上記データの欠落している領域の補正の可否を決定するので、ノイズ等で計測不能が原因となって発生する未確定領域と、死角によって発生する未確定領域とが混在する場合であっても、死角の大きさを正確に検出することができる。
 上記特定の順序は、例えば、距離センサ20,301,302に近い順に、凸状領域または床面領域、未確定領域U、凹状領域Cと並んでいる順序とすることができる。
 1実施形態では、
 上記補正処理部40は、上記距離センサ20の取付角度θと、上記凹状領域Cの深さ情報hと、上記凹状領域Cの距離データL-とに基づいて、上記距離センサ20の死角の大きさを計算して、凹状領域Cに対する補正量h・tanθを決定する。
 上記実施形態によれば、簡単、正確に凹状領域Cに対する補正量を決定することができる。
 本発明の自律移動システム1,101,201,300は、
 上記周囲環境認識装置80,380を備え、進行方向前方の移動可能な領域を認識しながら移動することを特徴としている。
 本発明の自律移動システム1,101,201,300は、上記周囲環境認識装置80,380によって凹状領域つまり段差Cのエッジを正確かつ確実に検出することができるので、段差Cへの転落を防止することができる。
 1実施形態の自律移動システム1,101,201,300は、
 更新可能な地図データを保有し、上記周囲環境認識装置80,380からのデータに基づいて、上記地図データ上の自己位置の推定を行いながら移動する。
 上記実施形態によれば、上記周囲環境認識装置で補正後の凹状領域Cのエッジを目印として、地図データ上の自己位置の推定を正確にできて、移動の効率を向上することができる。
 本発明の周囲環境認識方法は、
 前方斜め下向きに配置された距離センサ20,301,302によって床面Fを計測して床面基準の3次元座標データを生成し、
 この3次元座標データに基づいて、床面領域と、上記床面Fよりも低い凹状領域Cとを判別して、3次元座標データのラベル付けを行って、俯瞰図データを作成し、
 上記俯瞰図データを走査して、上記ラベルが特定の順序で並んでいるときに、距離センサ20の死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正することを特徴としている。
 本発明の周囲環境認識方法によれば、死角がある場合でも凹状領域Cを確実かつ正確に検出できるので、周囲環境の認識精度を高めることができる。
 その他、本発明の趣旨を損なわない範囲で種々の変更を加えることが可能である。
 本発明は、計測対象となる画像データに含まれる障害物や段差などを検出するための周囲環境認識装置およびそれを用いた自律移動システムに関するものであり、周囲環境認識装置自体を独立した装置として清掃、監視、自動搬送を始めとする産業用、民生用その他用途に用いる他、他の装置の一部に組み込んで利用したり、装置の一部または全部を集積回路(IC)化して利用したりすることも可能である。
 1、101,300   清掃ロボット(自律移動システム)
 2   駆動輪
 3   従輪
 4   バッテリ
 5   洗浄液タンク
 6   洗浄液吐出部
 7   廃液タンク
 8   廃液吸引口
 9   清掃ブラシ
 10  モータ
 11  筐体
 12  保護部材
 13  操作パネル
 20  距離画像センサ
 21  窓
 22  レーザレンジファインダ(LRF)
 30,330  演算装置
 31  距離画像演算ブロック
 32  走行制御ブロック
 33  清掃制御ブロック
 34  マップ情報メモリ
 35  自己位置演算ブロック
 36  3次元座標演算部
 37  座標変換部
 38  障害物・段差判別部(凹部判別部)
 39  俯瞰図作成部
 301,302   段差用レーザレンジファインダ(LRF)
 310 LRFデータ演算ブロック

Claims (5)

  1.  距離センサ(20,301,302)と、
     上記距離センサ(20,301,302)から得られた距離データに基づいて、少なくとも床面(F)より低い凹状領域(C)を判別する凹部判別部(38,313)と、
     上記距離データを、上記床面(F)を基準に座標変換して俯瞰図データを作成する俯瞰図データ作成部(39,314)と、
     上記俯瞰図データ内において、上記距離センサ(20)の死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正する補正処理部(40,315)と
    を備えることを特徴とする周囲環境認識装置。
  2.  上記補正処理部(40,315)は、上記俯瞰図データにおいて、上記凹部判別部(38,313)によって判別されたデータが特定の順序に配列されているか否かに基づいて、上記境界の位置のずれの補正の可否を決定することを特徴する請求項1に記載の周囲環境認識装置。
  3.  上記補正処理部(40)は、上記距離センサ(20)の取付角度(θ)と、上記凹状領域(C)の深さ情報(h)と、上記凹状領域(C)の距離データ(L-)とに基づいて、上記距離センサ(20)の死角の大きさを計算して、凹状領域(C)に対する補正量(h・tanθ)を決定することを特徴する請求項1に記載の周囲環境認識装置。
  4.  請求項1から3のいずれか1つに記載の周囲環境認識装置(80,380)を備え、進行方向前方の移動可能な領域を認識しながら移動することを特徴とする自律移動システム。
  5.  前方斜め下向きに配置された距離センサ(20,301,302)によって床面(F)を計測して床面基準の3次元座標データを生成し、
     この3次元座標データに基づいて、床面領域と、上記床面(F)よりも低い凹状領域(C)とを判別して、3次元座標データのラベル付けを行って、俯瞰図データを作成し、
     上記俯瞰図データを走査して、上記ラベルが特定の順序で並んでいるときに、距離センサ(20)の死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正することを特徴とする周囲環境認識方法。
PCT/JP2013/082022 2013-02-27 2013-11-28 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 WO2014132509A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380073566.0A CN105074600B (zh) 2013-02-27 2013-11-28 周围环境识别装置、使用其的自主移动系统以及周围环境识别方法
US14/655,438 US9411338B2 (en) 2013-02-27 2013-11-28 Surrounding environment recognition device, autonomous mobile system using same, and surrounding environment recognition method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-037823 2013-02-27
JP2013037823 2013-02-27
JP2013110883A JP6132659B2 (ja) 2013-02-27 2013-05-27 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP2013-110883 2013-05-27

Publications (1)

Publication Number Publication Date
WO2014132509A1 true WO2014132509A1 (ja) 2014-09-04

Family

ID=51427797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/082022 WO2014132509A1 (ja) 2013-02-27 2013-11-28 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法

Country Status (4)

Country Link
US (1) US9411338B2 (ja)
JP (1) JP6132659B2 (ja)
CN (1) CN105074600B (ja)
WO (1) WO2014132509A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016070665A (ja) * 2014-09-26 2016-05-09 Idec株式会社 移動体、計測装置及び計測方法
WO2016157428A1 (ja) * 2015-03-31 2016-10-06 パイオニア株式会社 計測装置、計測方法、及び、プログラム
WO2017061375A1 (ja) * 2015-10-08 2017-04-13 東芝ライフスタイル株式会社 電気掃除機
CN107105956A (zh) * 2014-12-25 2017-08-29 东芝生活电器株式会社 电动吸尘器
CN107703951A (zh) * 2017-07-27 2018-02-16 上海拓攻机器人有限公司 一种基于双目视觉的无人机避障方法及系统
JP2018185204A (ja) * 2017-04-25 2018-11-22 トヨタ自動車株式会社 移動ロボット
CN109940612A (zh) * 2019-03-04 2019-06-28 东北师范大学 基于一字线激光的智能避障机器人及其避障方法
WO2019215997A1 (ja) * 2018-05-10 2019-11-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び床面モデリングシステム
US10794999B2 (en) 2017-03-28 2020-10-06 Honda Motor Co., Ltd. Method for detecting edge of object by laser ranging device
US10794696B2 (en) 2017-03-22 2020-10-06 Honda Motor Co., Ltd. Method for identifying noise data of laser ranging device
JP2020173847A (ja) * 2014-11-26 2020-10-22 アイロボット・コーポレーション 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム及び方法
US10976418B2 (en) 2017-03-14 2021-04-13 Honda Motor Co., Ltd. Method for identifying noise data of laser ranging device
CN113325428A (zh) * 2021-04-29 2021-08-31 中国科学院沈阳自动化研究所 一种基于激光雷达的距离与航向测量方法
CN114747982A (zh) * 2022-04-18 2022-07-15 麦岩智能科技(北京)有限公司 一种k型的清洁机器人摄像头排布方法
US11537131B2 (en) 2017-11-20 2022-12-27 Sony Corporation Control device, control method, and mobile body
WO2023145529A1 (ja) * 2022-01-31 2023-08-03 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10809071B2 (en) * 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
US11835343B1 (en) 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
US8169596B2 (en) * 2009-08-17 2012-05-01 Seegrid Corporation System and method using a multi-plane curtain
KR102061511B1 (ko) * 2013-04-26 2020-01-02 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
WO2015008874A1 (ko) * 2013-07-15 2015-01-22 엘지전자 주식회사 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
KR20160048492A (ko) * 2014-10-24 2016-05-04 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
CN104571511B (zh) * 2014-12-30 2018-04-27 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法
JP6476945B2 (ja) * 2015-02-09 2019-03-06 サクサ株式会社 画像処理装置
KR102314637B1 (ko) * 2015-03-23 2021-10-18 엘지전자 주식회사 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
CN111273690A (zh) 2015-03-31 2020-06-12 深圳市大疆创新科技有限公司 移动平台操作系统及方法
DE102015105211A1 (de) * 2015-04-07 2016-10-13 Vorwerk & Co. Interholding Gmbh Verfahren zur Bearbeitung eines Bodens
JP6320542B2 (ja) * 2015-05-23 2018-05-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 初期構成を有する複数のセンサを有する可動物体に対する1または複数の外部パラメータを推定する方法、システム、及びプログラム
JP6505506B2 (ja) * 2015-05-29 2019-04-24 シャープ株式会社 光センサおよび電子機器
US10012733B2 (en) * 2015-06-07 2018-07-03 Geoffrey Louis Barrows Localization method and apparatus
US11181923B2 (en) * 2015-06-23 2021-11-23 Nec Corporation Detection system, detection method, and program
US9919425B2 (en) * 2015-07-01 2018-03-20 Irobot Corporation Robot navigational sensor system
JP2017015601A (ja) * 2015-07-02 2017-01-19 シャープ株式会社 路面検知装置、移動体、路面検知方法、および路面検知プログラム
US9886035B1 (en) * 2015-08-17 2018-02-06 X Development Llc Ground plane detection to verify depth sensor status for robot navigation
US9746852B1 (en) * 2015-08-17 2017-08-29 X Development Llc Using laser sensors to augment stereo sensor readings for robotic devices
US20170090456A1 (en) * 2015-09-25 2017-03-30 Multimedia Image Solution Limited Autonomous cleaning robot
EP3356765A1 (en) * 2015-09-28 2018-08-08 NextNav, LLC Altitude-based indoor or outdoor detection
JP6705636B2 (ja) * 2015-10-14 2020-06-03 東芝ライフスタイル株式会社 電気掃除機
US10444758B2 (en) * 2015-12-01 2019-10-15 Ricoh Company, Ltd. Autonomous traveling device
US9946259B2 (en) * 2015-12-18 2018-04-17 Raytheon Company Negative obstacle detector
JP6685755B2 (ja) * 2016-02-16 2020-04-22 東芝ライフスタイル株式会社 自律走行体
JP7058067B2 (ja) * 2016-02-16 2022-04-21 東芝ライフスタイル株式会社 自律走行体
CN105824313A (zh) * 2016-03-15 2016-08-03 深圳市华讯方舟科技有限公司 障碍物躲避方法及装置
US10789730B2 (en) 2016-03-18 2020-09-29 Teknologian Tutkimuskeskus Vtt Oy Method and apparatus for monitoring a position
CN105796002B (zh) * 2016-03-31 2018-09-18 北京小米移动软件有限公司 清洁机器人室内清洁处理方法、清洁机器人及移动终端
US20170329347A1 (en) * 2016-05-11 2017-11-16 Brain Corporation Systems and methods for training a robot to autonomously travel a route
US10241514B2 (en) 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
US10245730B2 (en) * 2016-05-24 2019-04-02 Asustek Computer Inc. Autonomous mobile robot and control method thereof
KR101795270B1 (ko) * 2016-06-09 2017-11-07 현대자동차주식회사 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치
US9987752B2 (en) 2016-06-10 2018-06-05 Brain Corporation Systems and methods for automatic detection of spills
US10282849B2 (en) 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
JP6822788B2 (ja) * 2016-06-24 2021-01-27 大成建設株式会社 清掃ロボット
US10016896B2 (en) 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
JP6786922B2 (ja) * 2016-07-12 2020-11-18 株式会社リコー 情報処理装置、情報処理方法及び情報処理プログラム
US10265856B2 (en) * 2016-07-21 2019-04-23 X Development Llc Reorienting a distance sensor using an adjustable leveler
CN106203419B (zh) * 2016-07-25 2019-05-07 上海肇观电子科技有限公司 一种确定包络面的方法和装置
CN106156751B (zh) * 2016-07-25 2019-05-07 上海肇观电子科技有限公司 一种向目标对象播放音频信息的方法及装置
CN107334609B (zh) * 2016-07-25 2019-08-27 上海肇观电子科技有限公司 一种向目标对象播放音频信息的系统和方法
KR101997531B1 (ko) * 2016-08-01 2019-07-08 한국기계연구원 개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법
US10845817B1 (en) * 2016-08-11 2020-11-24 Ali Ebrahimi Afrouzi System and method for confining robotic devices
CN107765697B (zh) * 2016-08-23 2023-11-03 苏州宝时得电动工具有限公司 自移动设备以及自移动设备控制方法
US10690757B1 (en) * 2016-08-25 2020-06-23 AI Incorporated Method and apparatus for improving range finding system readings
CN106269624B (zh) * 2016-09-21 2019-03-08 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人
US10274325B2 (en) 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
JP6831210B2 (ja) 2016-11-02 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
JP6831213B2 (ja) * 2016-11-09 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
EP3549726B1 (en) * 2016-11-30 2023-01-11 Yujin Robot Co., Ltd. Robotic vacuum cleaner, cleaning function control apparatus equipped in robotic vacuum cleaner, and multi-channel lidar-based obstacle detection apparatus equipped in robotic vacuum cleaner
WO2018101631A2 (ko) * 2016-11-30 2018-06-07 (주)유진로봇 청소 로봇, 청소 로봇에 구비되는 청소 기능 제어 장치, 및 청소 로봇에 구비되는 다채널 라이더 기반 장애물 검출 장치
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
CN106527449A (zh) * 2016-12-23 2017-03-22 上海木爷机器人技术有限公司 避障系统
JP6740552B2 (ja) * 2016-12-28 2020-08-19 株式会社三井E&Sマシナリー 障害物検知システムおよび障害物検知方法
WO2018131163A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
JP6809913B2 (ja) * 2017-01-26 2021-01-06 パナソニック株式会社 ロボット、ロボットの制御方法、および地図の生成方法
US10852730B2 (en) 2017-02-08 2020-12-01 Brain Corporation Systems and methods for robotic mobile platforms
US11181618B2 (en) * 2017-02-20 2021-11-23 Mitsubishi Electric Corporation Sensor data integration device, sensor data integration method and computer readable medium
JP6603253B2 (ja) * 2017-03-02 2019-11-06 本田技研工業株式会社 移動体制御システム、および移動体制御方法
JP6927630B2 (ja) * 2017-03-21 2021-09-01 株式会社Ihiエアロスペース 凹型障害物検出装置と方法
JP2018163614A (ja) 2017-03-27 2018-10-18 カシオ計算機株式会社 自律移動装置、自律移動方法およびプログラム
JP6874489B2 (ja) * 2017-04-13 2021-05-19 三菱電機株式会社 自走式布団掃除機
US10742494B2 (en) * 2017-04-27 2020-08-11 Veoneer Us, Inc. System and method for configuring at least one sensor system of a vehicle
KR20200013657A (ko) * 2017-06-02 2020-02-07 에이비 엘렉트로룩스 로봇 청소 장치 전방의 표면의 레벨차를 검출하는 방법
CN107167141B (zh) * 2017-06-15 2020-08-14 同济大学 基于双一线激光雷达的机器人自主导航系统
CN107030733B (zh) * 2017-06-19 2023-08-04 合肥虹慧达科技有限公司 一种轮式机器人
JP7089954B2 (ja) * 2017-06-30 2022-06-23 酒井重工業株式会社 建設車両の障害物検知装置
CN109215044B (zh) * 2017-06-30 2020-12-15 京东方科技集团股份有限公司 图像处理方法和系统、存储介质和移动系统
KR102448287B1 (ko) * 2017-08-08 2022-09-28 삼성전자주식회사 전자 장치 및 그 동작 방법
DE102017214185A1 (de) * 2017-08-15 2019-02-21 Zf Friedrichshafen Ag Steuerung eines Transportfahrzeugs
CN109425352A (zh) * 2017-08-25 2019-03-05 科沃斯机器人股份有限公司 自移动机器人路径规划方法
US11579298B2 (en) 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
CN107544534A (zh) * 2017-10-16 2018-01-05 中国矿业大学 一种基于bds、ins的植保无人机自动精细作业及避障方法
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
CN107553497B (zh) * 2017-10-20 2023-12-22 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人的边缘定位装置及其定位方法
US11474254B2 (en) 2017-11-07 2022-10-18 Piaggio Fast Forward Inc. Multi-axes scanning system from single-axis scanner
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
US10878294B2 (en) * 2018-01-05 2020-12-29 Irobot Corporation Mobile cleaning robot artificial intelligence for situational awareness
CA3088155A1 (en) * 2018-01-10 2019-07-18 Simbe Robotics, Inc Method for detecting and responding to spills and hazards
CN108089200A (zh) * 2018-01-12 2018-05-29 深圳慎始科技有限公司 一种具有线形固态雷达的清扫机器人
CN108189004A (zh) * 2018-02-11 2018-06-22 浙江科聪智能科技有限公司 一种防爆巡检机器人
CN110162030B (zh) * 2018-02-12 2022-11-25 北京欣奕华科技有限公司 一种移动机器人及其障碍物检测方法
US20210072399A1 (en) * 2018-03-16 2021-03-11 Mitsui E&S Machinery Co., Ltd. Obstacle sensing system and obstacle sensing method
JP7351293B2 (ja) * 2018-03-29 2023-09-27 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
US11457788B2 (en) * 2018-05-11 2022-10-04 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
US11110896B2 (en) * 2018-05-16 2021-09-07 Tesla, Inc. Pulsed laser cleaning of debris accumulated on glass articles in vehicles and photovoltaic assemblies
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
CN110531748A (zh) * 2018-05-24 2019-12-03 宝时得科技(中国)有限公司 自动行走设备及其控制方法
US20190384314A1 (en) * 2018-06-15 2019-12-19 Mobile Industrial Robots A/S Detecting objects near an autonomous device
CN108673510A (zh) * 2018-06-20 2018-10-19 北京云迹科技有限公司 机器人安全行进系统及方法
US10872221B2 (en) 2018-06-21 2020-12-22 Amazon Technologies, Inc Non-contact biometric identification system
CN108873900B (zh) * 2018-06-27 2020-11-20 北京航空航天大学 一种机器人行走时越过障碍物的方法
EP3623894B1 (en) 2018-09-13 2022-11-23 Mobile Industrial Robots A/S Agv having dynamic safety zone
US11141863B2 (en) * 2018-10-11 2021-10-12 Pixart Imaging Inc. Cleaning robot capable of detecting 2D depth information and operating method thereof
CN113961005A (zh) * 2018-10-22 2022-01-21 科沃斯机器人股份有限公司 行进控制的方法、表面清洁机器人及存储介质
CN112912808B (zh) * 2018-10-22 2023-12-26 株式会社尼罗沃克 行驶路径生成系统、行驶路径生成方法、计算机可读取记录介质、坐标测量系统以及无人机
JP7163729B2 (ja) * 2018-11-08 2022-11-01 トヨタ自動車株式会社 車両制御装置
CN109637339B (zh) * 2018-11-19 2022-08-09 深圳市海柔创新科技有限公司 地图生成方法、装置、计算机可读存储介质和计算机设备
CN111202470A (zh) * 2018-11-21 2020-05-29 北京石头世纪科技股份有限公司 智能清洁设备、重定位方法及装置、存储介质、电子设备
CN109814564A (zh) * 2019-01-29 2019-05-28 炬星科技(深圳)有限公司 目标对象的检测、避障方法、电子设备及存储介质
US11660758B2 (en) 2019-03-12 2023-05-30 Bear Robotics, Inc. Robots for serving food and/or drinks
US20200302147A1 (en) * 2019-03-20 2020-09-24 Amazon Technologies, Inc. Biometric input device
JP7162218B2 (ja) * 2019-03-25 2022-10-28 国立大学法人 東京大学 俯瞰映像提示システム
JP6918044B2 (ja) * 2019-03-28 2021-08-11 Kddi株式会社 ロボット制御装置及びロボット制御方法
JP7142597B2 (ja) * 2019-04-01 2022-09-27 ヤンマーパワーテクノロジー株式会社 走行領域形状登録システム
JP7195543B2 (ja) * 2019-04-26 2022-12-26 国立大学法人京都大学 収穫機
JP7340350B2 (ja) * 2019-05-07 2023-09-07 東芝テック株式会社 情報処理装置及び情報処理方法
JP7257257B2 (ja) * 2019-05-30 2023-04-13 アルパイン株式会社 路面検出システム、パーソナルモビリティ及び障害物検出方法
JP7301474B2 (ja) 2019-07-16 2023-07-03 アルパイン株式会社 3次元データ分析装置および3次元データ分析方法
US11597104B2 (en) * 2019-07-31 2023-03-07 X Development Llc Mobile robot sensor configuration
CN110794422B (zh) * 2019-10-08 2022-03-29 歌尔光学科技有限公司 一种含有tof成像模组的机器人数据采集系统及方法
US20220398846A1 (en) 2019-10-31 2022-12-15 Siemens Healthcare Diagnostics Inc. Apparatus and methods of identifying tube assembly type
CN110765970B (zh) * 2019-10-31 2022-08-09 北京地平线机器人技术研发有限公司 最近障碍物的确定方法和装置、存储介质、电子设备
CN112773261B (zh) * 2019-11-04 2022-06-21 美智纵横科技有限责任公司 规避障碍物的方法、装置及扫地机器人
CN110989581B (zh) * 2019-11-26 2023-04-07 广东博智林机器人有限公司 搬运系统的控制方法、装置、计算机设备和存储介质
CN110919653B (zh) * 2019-11-29 2021-09-17 深圳市优必选科技股份有限公司 机器人的爬楼控制方法、装置、存储介质和机器人
CN112987716A (zh) * 2019-12-17 2021-06-18 科沃斯机器人股份有限公司 作业控制方法、装置、系统及机器人
CN113138593A (zh) * 2020-01-02 2021-07-20 苏州宝时得电动工具有限公司 自主机器人的地图创建方法、装置、设备及存储介质
JP7243650B2 (ja) * 2020-02-12 2023-03-22 トヨタ自動車株式会社 移動量検出システム及び移動量検出方法
CN111305019B (zh) * 2020-02-14 2021-11-16 北京小马慧行科技有限公司 检测道路质量的方法、装置、存储介质与处理器
JP7393255B2 (ja) 2020-03-05 2023-12-06 東芝テック株式会社 情報処理装置及び情報処理方法
CN116360424A (zh) * 2020-04-09 2023-06-30 北京石头创新科技有限公司 一种图像查看方法、障碍物查看方法、终端及清洁机
CN113296117B (zh) * 2020-04-22 2023-08-08 追觅创新科技(苏州)有限公司 障碍物识别方法、装置及存储介质
JP7417944B2 (ja) * 2020-07-21 2024-01-19 パナソニックIpマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
CN112099504A (zh) * 2020-09-16 2020-12-18 深圳优地科技有限公司 机器人移动方法、装置、设备及存储介质
US20220144609A1 (en) * 2020-11-06 2022-05-12 Kabushiki Kaisha Toshiba Autonomous mobile robot, transporter, autonomous mobile robot control method, and transporter control method
CN112462772A (zh) * 2020-11-26 2021-03-09 深圳优地科技有限公司 机器人行进方法、装置、设备及存储介质
CN112826393B (zh) * 2020-12-30 2022-04-01 北京奇虎科技有限公司 扫地机器人运行管理方法、扫地机器人、设备及存储介质
CN112741562A (zh) * 2020-12-30 2021-05-04 苏州三六零机器人科技有限公司 扫地机控制方法、装置、设备及计算机可读存储介质
CN113077503B (zh) * 2021-03-24 2023-02-07 浙江合众新能源汽车有限公司 盲区视频数据生成方法、系统、设备和计算机可读介质
US11622495B2 (en) * 2021-06-01 2023-04-11 Gint Co., Ltd. Method of automatically combining farm vehicle and work machine and farm vehicle
US20220390952A1 (en) * 2021-06-04 2022-12-08 Boston Dynamics, Inc. Detecting negative obstacles
CN113608524B (zh) * 2021-06-16 2024-04-16 深圳甲壳虫智能有限公司 自动行走装置及其控制方法、控制装置及存储介质
CN113749562B (zh) * 2021-08-13 2022-08-16 珠海格力电器股份有限公司 扫地机器人及其控制方法、装置、设备和存储介质
US20230128651A1 (en) * 2021-10-22 2023-04-27 Mobile Industrial Robots A/S Determining scanner error
US20230177839A1 (en) * 2021-12-02 2023-06-08 Nvidia Corporation Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications
CN114951003B (zh) * 2022-05-06 2023-12-26 苏州嘉诺智能制造有限公司 基于距离检测的分拣方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57141574A (en) * 1981-02-25 1982-09-01 Fujitsu Ten Ltd Warning device for travelling obstacle
JPS60200314A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd 移動ロボット誘導方法
JPH07229727A (ja) * 1994-02-22 1995-08-29 Nikon Corp 路面検出装置
JP2003116758A (ja) * 2001-10-16 2003-04-22 Mitsubishi Electric Corp 自走式掃除機
JP2007193495A (ja) * 2006-01-18 2007-08-02 Matsushita Electric Works Ltd 移動車両

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300341B2 (ja) * 1999-10-12 2002-07-08 松下電器産業株式会社 監視システムおよびカメラ調整方法
JP2004139264A (ja) * 2002-10-16 2004-05-13 Toshiba Tec Corp 自律走行ロボット
JP4241651B2 (ja) 2005-03-16 2009-03-18 パナソニック電工株式会社 移動装置
CN200972604Y (zh) * 2006-11-14 2007-11-07 喻礼琼 一种用于移动平台的台阶检测装置
JP5448429B2 (ja) * 2008-11-28 2014-03-19 綜合警備保障株式会社 移動体検知装置および移動体検知方法
JP2010287029A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 周辺表示装置
KR20100134958A (ko) * 2009-06-16 2010-12-24 웅진코웨이주식회사 이동체 및 이동체의 주행 제어 방법
DK2835973T3 (da) * 2013-08-06 2015-11-30 Sick Ag 3D-kamera og fremgangsmåde til registrering af tredimensionale billededata
US9182605B2 (en) * 2014-01-29 2015-11-10 Emine Goulanian Front-projection autostereoscopic 3D display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57141574A (en) * 1981-02-25 1982-09-01 Fujitsu Ten Ltd Warning device for travelling obstacle
JPS60200314A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd 移動ロボット誘導方法
JPH07229727A (ja) * 1994-02-22 1995-08-29 Nikon Corp 路面検出装置
JP2003116758A (ja) * 2001-10-16 2003-04-22 Mitsubishi Electric Corp 自走式掃除機
JP2007193495A (ja) * 2006-01-18 2007-08-02 Matsushita Electric Works Ltd 移動車両

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016070665A (ja) * 2014-09-26 2016-05-09 Idec株式会社 移動体、計測装置及び計測方法
JP2020173847A (ja) * 2014-11-26 2020-10-22 アイロボット・コーポレーション 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム及び方法
CN107105956B (zh) * 2014-12-25 2019-08-23 东芝生活电器株式会社 电动吸尘器
CN107105956A (zh) * 2014-12-25 2017-08-29 东芝生活电器株式会社 电动吸尘器
EP3238593A4 (en) * 2014-12-25 2018-08-15 Toshiba Lifestyle Products & Services Corporation Electric vacuum cleaner
US10314452B2 (en) 2014-12-25 2019-06-11 Toshiba Lifestyle Products & Services Corporation Vacuum cleaner
WO2016157428A1 (ja) * 2015-03-31 2016-10-06 パイオニア株式会社 計測装置、計測方法、及び、プログラム
WO2017061375A1 (ja) * 2015-10-08 2017-04-13 東芝ライフスタイル株式会社 電気掃除機
JP2017070558A (ja) * 2015-10-08 2017-04-13 東芝ライフスタイル株式会社 電気掃除機
CN107105958A (zh) * 2015-10-08 2017-08-29 东芝生活电器株式会社 电动吸尘器
CN107105958B (zh) * 2015-10-08 2020-08-25 东芝生活电器株式会社 电动吸尘器
US10976418B2 (en) 2017-03-14 2021-04-13 Honda Motor Co., Ltd. Method for identifying noise data of laser ranging device
US10794696B2 (en) 2017-03-22 2020-10-06 Honda Motor Co., Ltd. Method for identifying noise data of laser ranging device
US10794999B2 (en) 2017-03-28 2020-10-06 Honda Motor Co., Ltd. Method for detecting edge of object by laser ranging device
JP2018185204A (ja) * 2017-04-25 2018-11-22 トヨタ自動車株式会社 移動ロボット
CN107703951A (zh) * 2017-07-27 2018-02-16 上海拓攻机器人有限公司 一种基于双目视觉的无人机避障方法及系统
CN107703951B (zh) * 2017-07-27 2019-02-01 上海拓攻机器人有限公司 一种基于双目视觉的无人机避障方法及系统
US11537131B2 (en) 2017-11-20 2022-12-27 Sony Corporation Control device, control method, and mobile body
WO2019215997A1 (ja) * 2018-05-10 2019-11-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び床面モデリングシステム
JPWO2019215997A1 (ja) * 2018-05-10 2021-05-20 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び床面モデリングシステム
US11372475B2 (en) 2018-05-10 2022-06-28 Sony Corporation Information processing apparatus, information processing method, and floor modeling system
CN109940612A (zh) * 2019-03-04 2019-06-28 东北师范大学 基于一字线激光的智能避障机器人及其避障方法
CN113325428A (zh) * 2021-04-29 2021-08-31 中国科学院沈阳自动化研究所 一种基于激光雷达的距离与航向测量方法
WO2023145529A1 (ja) * 2022-01-31 2023-08-03 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN114747982A (zh) * 2022-04-18 2022-07-15 麦岩智能科技(北京)有限公司 一种k型的清洁机器人摄像头排布方法

Also Published As

Publication number Publication date
US20150362921A1 (en) 2015-12-17
JP6132659B2 (ja) 2017-05-24
CN105074600A (zh) 2015-11-18
US9411338B2 (en) 2016-08-09
CN105074600B (zh) 2017-09-19
JP2014194729A (ja) 2014-10-09

Similar Documents

Publication Publication Date Title
JP6132659B2 (ja) 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP6030405B2 (ja) 平面検出装置およびそれを備えた自律移動装置
WO2014064990A1 (ja) 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
US20200333789A1 (en) Information processing apparatus, information processing method, and medium
US11407116B2 (en) Robot and operation method therefor
EP3104194B1 (en) Robot positioning system
US8209074B2 (en) Robot and method for controlling the same
CN110852312B (zh) 悬崖检测方法、移动机器人的控制方法及移动机器人
US7684894B2 (en) Autonomously moving robot
CN111856491B (zh) 用于确定车辆的地理位置和朝向的方法和设备
JP4279703B2 (ja) 自律移動ロボットシステム
CN110031002B (zh) 侦测阻碍物的方法、系统以及其传感器子系统
CN112004645A (zh) 智能清洁机器人
JP5247494B2 (ja) 自律移動装置
CN216454808U (zh) 用于接收移动清洁机器人并为其充电的坞站
JP4539388B2 (ja) 障害物検出装置
JP2007200070A (ja) 移動ロボット
JP2023083305A (ja) 掃除地図表示装置
US11960296B2 (en) Method and apparatus for autonomous mobile device
JP2010176283A (ja) 自律移動装置
Poomarin et al. Automatic docking with obstacle avoidance of a differential wheel mobile robot
CN115195602A (zh) 显示控制系统、显示控制方法以及非临时性存储介质
KR20220050483A (ko) 무인 반송 차량의 위치 인식 장치 및 방법
CN114903374A (zh) 一种扫地机及其控制方法
US20220053988A1 (en) Method and a system of improving a map for a robot

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380073566.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13876349

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14655438

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13876349

Country of ref document: EP

Kind code of ref document: A1