WO2019100404A1 - 视觉扫地机器人及其重定位方法 - Google Patents

视觉扫地机器人及其重定位方法 Download PDF

Info

Publication number
WO2019100404A1
WO2019100404A1 PCT/CN2017/113203 CN2017113203W WO2019100404A1 WO 2019100404 A1 WO2019100404 A1 WO 2019100404A1 CN 2017113203 W CN2017113203 W CN 2017113203W WO 2019100404 A1 WO2019100404 A1 WO 2019100404A1
Authority
WO
WIPO (PCT)
Prior art keywords
magnetic field
fingerprint
visual
image information
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/113203
Other languages
English (en)
French (fr)
Inventor
王声平
张立新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Water World Co Ltd
Original Assignee
Shenzhen Water World Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Water World Co Ltd filed Critical Shenzhen Water World Co Ltd
Priority to PCT/CN2017/113203 priority Critical patent/WO2019100404A1/zh
Publication of WO2019100404A1 publication Critical patent/WO2019100404A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven

Definitions

  • the present invention relates to the field of cleaning robots, and more particularly to a visual cleaning robot and a repositioning method thereof.
  • the sweeping robot may be hijacked during the cleaning process (external factors move the sweeping robot from the travel path to other positions), and the sweeping robot needs to be repositioned in order to determine the cleaned area and the area to be cleaned. Improve the cleaning efficiency of the sweeping robot.
  • a conventional sweeping robot is a visual sweeping robot having a visual positioning system for realizing relocation through a visual map and a current image. However, in the repositioning process, all images in the visual map need to be compared with the current image. , the comparison calculation is large, and the time is longer.
  • a primary object of the present invention is to provide a visual sweeping robot that improves repositioning speed and a method of relocating the same.
  • the present invention provides a positioning method of a visual cleaning robot, wherein the visual cleaning robot stores a magnetic field fingerprint map and a visual map; and the repositioning method includes: [0005] 81. a current magnetic field fingerprint and current image information of a current position of the visual robot;
  • step S3 of extracting the magnetic field fingerprint in the similarity list according to the preset rule includes:
  • S301 sequentially extracting the magnetic field fingerprints from high to low according to an arrangement order of magnetic field fingerprints in the similarity list.
  • step S3 of extracting the magnetic field fingerprint in the similarity list according to the preset rule includes:
  • the reference point is a center point of the specified range.
  • the acquiring the relocation instruction includes:
  • S101 Determine whether the scene image collected by the visual cleaning robot is a continuous scene.
  • the acquiring the relocation instruction includes:
  • the acquiring the relocation instruction includes:
  • the visual cleaning robot is started under a full coverage cleaning strategy, starting with a starting position, the cleaning robot acquires image information once every first specified distance, and acquires position information of the corresponding image information according to the visual positioning system. And storing the image information and the location information in a first database, wherein the plurality of sets of image information in the first database and corresponding location information form the visual map; and ⁇ 0 2019/100404 ⁇ (:17 ⁇ 2017/113203 Starting from the starting position, the sweeping robot collects the magnetic fingerprint every second specified distance, and stores the magnetic fingerprint in association with the position information acquired by the current visual positioning system. In the two databases, the plurality of sets of magnetic field fingerprints in the second database and their associated positional information form the magnetic field map.
  • the present invention also provides a visual sweeping robot, wherein the visual sweeping robot stores a magnetic field fingerprint map and a visual map; the visual sweeping robot includes:
  • An acquiring unit configured to acquire a current magnetic field fingerprint and current image information of a current position of the visual robot
  • a comparison establishing unit configured to compare the current magnetic field fingerprint with the magnetic field fingerprint in the magnetic fingerprint map, respectively, to establish a high-to-low order similarity between the current magnetic fingerprint and the magnetic fingerprint in the magnetic fingerprint map List of similarities;
  • an extracting unit configured to extract a magnetic field fingerprint in the similarity list according to a preset rule
  • a first determining unit configured to determine whether the extracted image information in the visual map and the current image information meet a preset matching requirement
  • a determining unit configured to determine, if the extracted magnetic field fingerprint reaches a preset matching requirement between the corresponding image information and the current image information in the visual map, determining the corresponding image information of the extracted magnetic field fingerprint in the visual map
  • the associated location information is relocated location information; otherwise the control extraction unit continues to extract magnetic field fingerprints.
  • the extracting unit includes:
  • the first extraction module is configured to sequentially extract the magnetic field fingerprints from high to low according to an arrangement order of magnetic field fingerprints in the similarity list.
  • the extracting unit includes:
  • a second extraction module configured to extract a first magnetic field fingerprint with the highest ranking except the extracted magnetic field fingerprint in the similarity list, and extract a second magnetic field within a specified range with the first magnetic fingerprint as a reference point The fingerprint, wherein the second magnetic fingerprint is an unextracted magnetic fingerprint.
  • the reference point is a center point of the specified range.
  • the visual cleaning robot further includes:
  • a second determining unit configured to determine whether the scene image collected by the visual cleaning robot is a continuous scene ⁇ 0 2019/100404 ⁇ (:17 ⁇ 2017/113203
  • determining the hijacking unit configured to determine that the cleaning robot is hijacked if the scene image is not a continuous scene
  • a third determining unit configured to determine whether the hijacking state of the cleaning robot is over
  • the first generating unit is configured to generate a relocation command if it is determined that the cleaning robot is terminated by the hijacking state.
  • the visual cleaning robot further includes:
  • a task judging unit configured to determine whether the previous cleaning task is completed when the visual sweeping robot is powered on again;
  • the second generating unit is configured to generate the relocation command if the previous cleaning task is not completed.
  • the visual cleaning robot further includes:
  • a map establishing unit configured to start the visual sweeping robot under a full coverage cleaning strategy, starting from a starting position, the sweeping robot acquiring image information once every first specified distance, and acquiring corresponding image information according to the visual positioning system
  • the location information, the image information and the location information are associated and stored in the first database, the plurality of sets of image information in the first database and the corresponding location information thereof form the visual map; and, starting from the starting position,
  • the sweeping robot collects the magnetic field fingerprint every second predetermined distance, and stores the magnetic field fingerprint in association with the position information acquired by the current visual positioning system in the second database, and the plurality of sets of magnetic field fingerprints in the second database and their associated position information are formed.
  • the magnetic field map is advantageousous effects of the invention
  • the visual cleaning robot and the repositioning method thereof of the present invention first use the current magnetic fingerprint of the current position to sort the matching degree in the magnetic field fingerprint map, and then extract the magnetic field fingerprints of the magnetic field fingerprint map one by one according to the order of the matching degree, according to The position information corresponding to the extracted magnetic field fingerprint is found in the visual map, and the found image information is compared with the current image information, thereby improving the image information with the matching degree to meet the requirements, thereby improving the speed of the repositioning.
  • the calculation amount is small, so the position corresponding to the current magnetic field fingerprint can be quickly found, and then the image information of the position is compared with the current image information on the visual map, without having to The comparison of the image information in the visual map reduces the amount of calculation of the visual sweeping robot during the repositioning process, and further increases the speed of the repositioning.
  • FIG. 1 is a schematic flow chart of a method for repositioning a visual cleaning robot according to an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of generating a relocation instruction according to an embodiment of the present invention
  • FIG. 3 is a schematic flow chart of determining whether a hijacking state of a cleaning robot is completed according to an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of generating a relocation command according to another embodiment of the present invention.
  • FIG. 5 is a schematic block diagram showing the structure of a visual robot according to an embodiment of the present invention.
  • FIG. 6 is a schematic block diagram showing the structure of an extracting unit according to an embodiment of the present invention.
  • FIG. 7 is a schematic block diagram showing the structure of an extracting unit according to another embodiment of the present invention.
  • FIG. 8 is a schematic block diagram showing the structure of a visual robot according to an embodiment of the present invention.
  • FIG. 9 is a schematic block diagram showing the structure of a third determining unit according to an embodiment of the present invention.
  • FIG. 10 is a schematic block diagram showing the structure of a visual robot according to an embodiment of the present invention.
  • the magnetic field fingerprint map is a collection of magnetic field fingerprints and positional information corresponding to the magnetic field fingerprints.
  • the visual map described above is a collection containing image information and position information corresponding to the image information. The association between the magnetic fingerprint map and the visual map means that the position information in the magnetic fingerprint map is associated with the position information in the visual map, and the image information of the visual map at the position can be found according to the magnetic fingerprint.
  • the foregoing relocation method includes:
  • the relocation instruction is an instruction generated when a condition that needs to be repositioned is triggered. For example, after the visual cleaning robot is hijacked, the relocation instruction is triggered.
  • the current magnetic field fingerprint refers to acquiring the magnetic field strength at a plurality of angles of the current position by using a magnetic field meter on the visual sweeping robot. ⁇ 0 2019/100404 ⁇ (:17 ⁇ 2017/113203 Collection.
  • the magnetic field meter can be set to one or more.
  • the visual sweeping robot will perform the in-situ rotation according to the preset requirements to obtain the magnetic field strength at a specified angle.
  • the current image information described above refers to image information in which information captured by a visual cleaning robot and the orientation of the captured image are combined.
  • the similarity list includes all the magnetic field fingerprints in the magnetic fingerprint map, and the order of the sorting is sorted according to the similarity with the current magnetic fingerprint, and the similarity may be determined according to Comparing the magnetic field strength in each direction included in the current magnetic fingerprint with the magnetic field strength in each direction of each magnetic fingerprint in the magnetic fingerprint map, calculating the difference between the magnetic field strengths in each direction and averaging the average, the smaller the average, the similarity The higher the wait.
  • the preset rule refers to a preset rule algorithm for extracting magnetic field fingerprints in the similarity list, for example, extracting magnetic field fingerprints in the similarity list in descending order, or In the middle of the similarity list, magnetic fingerprints and the like are extracted to both ends in turn.
  • the matching requirement is to set a similarity threshold, such as the similarity between the feature points in the corresponding image information of the extracted magnetic field fingerprint and the feature points in the current image information.
  • a similarity threshold such as the similarity between the feature points in the corresponding image information of the extracted magnetic field fingerprint and the feature points in the current image information.
  • step 5 If the preset matching requirement is reached, determining that the location information associated with the corresponding image information in the visual map is the relocated location information; if the preset matching requirement is not met, Then return to step 3.
  • step 35 because the extracted magnetic field fingerprint reaches a preset matching requirement between the corresponding image information and the current image information in the visual map, the extracted magnetic field fingerprint may be corresponding to the image in the visual map.
  • the position information corresponding to the information is considered to be the position information of the visual sweeping robot, and the repositioning of the visual sweeping robot is completed.
  • the extracted magnetic field fingerprint corresponds to the image letter in the visual map ⁇ 0 2019/100404 ⁇ (:17 ⁇ 2017/113203 If the current image information does not meet the preset matching requirements, you need to continue to search for the picture information that meets the matching requirements, so repeat the steps 33, 34 and 35 above until If the relocation is successful, of course, if all the magnetic field fingerprints in the similarity list are extracted and not relocated successfully, the visual cleaning robot is hijacked to the location area.
  • the step 3 of extracting the magnetic field fingerprint in the similarity list according to the preset rule includes:
  • the magnetic fingerprint with the highest matching degree with the current image information has the highest probability that the corresponding position information in the magnetic field map is the same as the current position information of the visual robot, so according to the magnetic field fingerprint in the similarity list.
  • the magnetic field fingerprints are sequentially extracted from high to low, and the probability that the extracted magnetic field fingerprints reach a preset matching requirement between the corresponding image information and the current image information in the visual map can be improved, thereby improving the speed of relocation.
  • the step 83 of extracting the magnetic field fingerprint in the similarity list according to the preset rule includes:
  • the image information in the visual map corresponds to multiple magnetic field fingerprints in the magnetic fingerprint map.
  • image information is collected once every 1 meter, and magnetic fingerprint is established.
  • a magnetic field fingerprint is recorded every 0.2 meters.
  • the magnetic fingerprint map associates multiple magnetic field fingerprints with corresponding image information to obtain position information associated with the image information. Therefore, when extracting a first magnetic field fingerprint that is not extracted in the similarity list and has the highest similarity with the current magnetic fingerprint, simultaneously extracting the second magnetic fingerprint in the specified range of the first magnetic fingerprint, at this time, Further improving the image information for finding matching requirements with the current image information, thereby improving the speed of relocation.
  • the reference point is a center point of the specified range. In other embodiments, it may also be a center point of a certain segment on a straight line, such as a magnetic field fingerprint corresponding to a plurality of positions on a straight line in a magnetic fingerprint map, centered on a position corresponding to the first magnetic field fingerprint, Both ends ⁇ 0 2019/100404 ⁇ (:17 ⁇ 2017/113203 The magnetic field fingerprint corresponding to the same number of positions is the second magnetic fingerprint.
  • the method before the step 31 of acquiring the current magnetic field fingerprint and the current image information of the current position according to the relocation command, the method includes:
  • the visual sweeping robot continuously collects the scene image during the cleaning process, so the content of the scene image is continuous, if the style or feature of the scene image suddenly changes (normal obstacle avoidance) The change caused by the turn will be removed. It means that the visual sweeping robot is hijacked, and then judge whether the hijacking state is over. If the hijacking state is over, a relocation command is generated to determine the cleaned area and continue the cleaning task.
  • the step 3103 of determining whether the hijacking state of the cleaning robot is ended is as follows:
  • steps 31031 and 31032 after the hijacking state of the visual sweeping robot is over, it will be placed on the cleaning ground, and the moving acceleration will be close to zero, and the deflection angle will not change too much, so by moving The acceleration change value and the deflection angle change value can accurately determine whether the hijacking state is over.
  • the motion system since the cleaning robot is hijacked, the motion system is still working, and can be compared according to the moving direction specified by the motion system of the cleaning robot and the actual moving direction, if the two are the same, and the moving speed and the mileage of the motion system The recorded data matches, and the hijacking state can be considered to be over.
  • the method before the step of acquiring a relocation instruction, acquiring a current magnetic fingerprint and current image information of a current location according to the relocation instruction, the method includes: [0088] sm, the visual sweeping robot is powered on again, and it is determined whether the previous cleaning task is completed;
  • steps S11 and S112 when the cleaning robot does not complete the cleaning task, the cleaning task may be stopped by the user for power failure or other reasons.
  • the previous time is judged. If the cleaning task is completed, if it is not completed, reposition it so that it can find the position where the cleaning was stopped last time, so as to continue cleaning.
  • the time of the previous cleaning is generally determined first. If the length of the current time is greater than the preset time length, it is not necessary to determine whether the previous cleaning task is completed, but directly Start a new cleaning task.
  • the obtaining the relocation command includes:
  • the visual cleaning robot is started under a full coverage cleaning strategy, starting with a starting position, the cleaning robot acquires image information once every first specified distance, and acquires position information of the corresponding image information according to the visual positioning system. And storing the image information and the location information in a first database, wherein the plurality of sets of image information in the first database and their corresponding location information form the visual map; and, starting from a starting position, the sweeping robot travels each time Collecting a magnetic field fingerprint at a second specified distance, and storing the magnetic field fingerprint in association with the position information acquired by the current visual positioning system in a second database, the plurality of sets of magnetic field fingerprints in the second database and their associated position information forming the magnetic field map .
  • step S121 it is a process of establishing a magnetic field fingerprint map and a visual map.
  • the first specified distance is greater than the second specified distance.
  • the first specified distance is an integer multiple of the second specified distance.
  • the visual sweeping robot will establish the magnetic fingerprint map and the visual map in real time under the full coverage cleaning strategy.
  • the magnetic fingerprint in the magnetic fingerprint map is associated with the position in the visual map, and then the corresponding image information can be found according to the magnetic fingerprint.
  • the repositioning method of the visual cleaning robot of the present invention first uses the current magnetic fingerprint of the current position to sort the matching degree in the magnetic fingerprint map, and then extracts the magnetic fingerprint in the magnetic fingerprint map one by one according to the matching degree, according to the extraction.
  • the position information corresponding to the magnetic field fingerprint finds the corresponding image information in the visual map, and compares the found image information with the current image information, thereby improving the finding of the image information with the matching degree to meet the requirements, thereby improving the speed of the repositioning.
  • the calculation amount is small, so you can quickly find the position corresponding to the current magnetic fingerprint, and then use the image information of the position and the current image information on the visual map. In comparison, it is not necessary to compare the image information in the visual map one by one, and the calculation amount of the visual sweeping robot in the repositioning process is reduced, and the speed of the repositioning is further improved.
  • an embodiment of the present invention further provides a visual sweeping robot, wherein the visual sweeping robot stores a magnetic field fingerprint map and a visual map, wherein the magnetic fingerprint map is associated with the visual map.
  • the magnetic field fingerprint map is a collection of magnetic field fingerprints and positional information corresponding to the magnetic field fingerprints.
  • the visual map is a collection of image information and position information corresponding to the image information.
  • the above-mentioned magnetic field fingerprint map is associated with the visual map, and the position information in the magnetic field fingerprint map is associated with the position information in the visual map, and the image information of the visual map at the position can be found according to the magnetic field fingerprint.
  • the visual cleaning robot includes:
  • the obtaining unit 10 is configured to acquire a current magnetic field fingerprint and current image information of a current location of the visual robot.
  • the relocation instruction is an instruction generated when a condition requiring relocation is triggered. For example, after the visual cleaning robot is hijacked, the relocation instruction is triggered.
  • the current magnetic field fingerprint refers to a collection of magnetic field strengths at a plurality of angles of the current position using a magnetic field meter on the visual sweeping robot.
  • the magnetic field meter can be set one or more, and the visual sweeping robot can perform the local rotation or the like according to the preset requirements to obtain the magnetic field strength at a plurality of specified angles.
  • the above-described current image information refers to image information in which information such as an image captured by a visual cleaning robot and an orientation of a captured image are combined.
  • the comparison establishing unit 20 is configured to compare the current magnetic field fingerprint with the magnetic field fingerprint in the magnetic fingerprint map, respectively, and establish a sorting of the similarity between the current magnetic fingerprint and the magnetic fingerprint in the magnetic fingerprint map from high to low. A list of similarities.
  • the similarity list includes all the magnetic field fingerprints in the magnetic fingerprint map, and the order of the sorting is sorted by the similarity with the current magnetic fingerprint, and the similarity is judged.
  • the magnetic field strength in each direction included in the current magnetic fingerprint the magnetic field strength in each direction of the magnetic fingerprint in the magnetic fingerprint map is compared, and the difference between the magnetic field strengths in each direction is calculated and averaged, and the average value is smaller. , the higher the similarity, etc.
  • the extracting unit 30 is configured to extract the magnetic field fingerprint in the similarity list according to a preset rule.
  • the preset rule refers to a preset rule algorithm for extracting magnetic field fingerprints in the similarity list, for example, extracting magnetic field fingerprints in the similarity list in descending order, or According to the middle position from the similarity list, magnetic field fingerprints and the like are sequentially extracted to both ends.
  • the first determining unit 40 is configured to determine whether the extracted image information in the visual map and the current image information meet a preset matching requirement.
  • the matching requirement is to set a similarity threshold, such as the feature point in the corresponding image information in the visual map and the feature in the current image information. If the similarity of the points reaches 99%, and the similarity threshold is 98%, it is determined that the extracted magnetic field fingerprint reaches a preset matching requirement between the corresponding image information and the current image information in the visual map.
  • the determining unit 50 is configured to determine, if the extracted magnetic field fingerprint reaches a preset matching requirement between the corresponding image information and the current image information in the visual map, determine the corresponding image of the extracted magnetic fingerprint in the visual map.
  • the location information associated with the information is the relocated location information; otherwise, the extraction unit 30 is controlled to continue to extract the magnetic field fingerprint.
  • the extracted magnetic field fingerprint may be corresponding to the visual map.
  • the position information corresponding to the image information is considered to be the position information of the visual sweeping robot, and the repositioning of the visual sweeping robot is completed.
  • the extracted magnetic field fingerprint does not reach the preset matching requirement in the corresponding image information and the current image information in the visual map, it is necessary to continue to search for the picture information that meets the matching requirement, so the above-mentioned extracting unit 30 and the first determining unit 40 repeat Work until the decision unit 50 relocates successfully.
  • the visual cleaning robot is hijacked to the location area.
  • the extracting unit 30 includes:
  • the first extraction module 301 is configured to sequentially extract the magnetic field fingerprints from high to low according to an arrangement order of magnetic field fingerprints in the similarity list.
  • the magnetic fingerprint with the highest matching degree with the current image information has the highest probability that the corresponding position information in the magnetic field map is the same as the current position information of the visual robot, so according to the similarity list
  • the magnetic field fingerprints are sequentially extracted from high to low in the order of the magnetic field fingerprints, and the extracted image information and the current image information in the visual map can be improved.
  • ⁇ 0 2019/100404 ⁇ (:17 ⁇ 2017/113203 Preset the probability of matching requirements, which in turn increases the speed of relocation.
  • the foregoing extracting unit 30 includes:
  • the second extraction module 311 is configured to extract a first magnetic field fingerprint with the highest ranking except the extracted magnetic fingerprint in the similarity list, and extract a second within a specified range with the first magnetic fingerprint as a reference point.
  • the image information in the visual map corresponds to multiple magnetic fingerprints in the magnetic fingerprint map.
  • image information is collected once every 1 meter.
  • a magnetic field fingerprint is recorded every 0.2 m.
  • the magnetic fingerprint map associates a plurality of magnetic fingerprints with corresponding image information to obtain position information associated with the image information. Therefore, when extracting a first magnetic field fingerprint that is not extracted in the similarity list and has the highest similarity with the current magnetic fingerprint, simultaneously extracting the second magnetic fingerprint in the specified range of the first magnetic fingerprint, at this time, Further improving the image information for finding matching requirements with the current image information, thereby improving the speed of relocation.
  • the reference point is a center point of the specified range. In other embodiments, it may also be a center point of a certain segment on a straight line, such as a magnetic field fingerprint corresponding to a plurality of positions on a straight line in a magnetic fingerprint map, centered on a position corresponding to the first magnetic field fingerprint, The magnetic field fingerprint corresponding to the same number of positions adjacent to both ends is the second magnetic field fingerprint.
  • the visual cleaning robot further includes:
  • the second determining unit 101 is configured to determine whether the scene image collected by the visual cleaning robot is a continuous scene
  • determining the hijacking unit 102 configured to determine that the sweeping robot is hijacked if the scene image is not a continuous scene
  • the third determining unit 103 is configured to determine whether the hijacked state of the cleaning robot is ended;
  • the first generating unit 104 is configured to generate a repositioning command if it is determined that the cleaning robot is terminated by the hijacking state.
  • the visual sweeping robot continuously collects the scene image during the cleaning process, so the content of the scene image is continuous, and the second judging unit 101 judges whether the style or the feature of the scene image suddenly changes (change caused by the normal obstacle avoidance turn) If the hijacking state is over, then the hijacking unit 102 determines that the visual cleaning robot is hijacked, and then determines whether the hijacking state is over by the third determining unit 103.
  • the first generating unit 104 generates a relocation instruction to determine the cleaned area and continue the cleaning task.
  • the third determining unit 103 includes:
  • the acquiring posture module 1031 is configured to adopt a posture sensor to adopt a movement acceleration change value and a deflection angle change value of the cleaning robot;
  • the hijacking end determination module 1032 is configured to determine that the cleaning robot is hijacked if the moving acceleration change value and the yaw angle change value are respectively less than a preset acceleration threshold and a yaw angle threshold, otherwise, The person who sweeps the robot is in a state of being hijacked.
  • the hijacking state of the visual sweeping robot After the hijacking state of the visual sweeping robot is over, it will be placed on the cleaning ground. At this time, the moving acceleration acquired by the acquiring posture module 1031 will be close to zero, and the deflection angle will not change too much, so the hijacking ends.
  • the determination module 1032 can accurately determine whether the hijacking state is over by moving the acceleration change value and the deflection angle change value. In other embodiments, since the cleaning robot is hijacked, the motion system is still working, and can be compared according to the moving direction specified by the motion system of the cleaning robot and the actual moving direction, if the two are the same, and the moving speed and the mileage of the motion system The recorded data matches, and the hijacking state can be considered to be over.
  • the visual cleaning robot further includes:
  • the task judging unit 111 is configured to determine whether the previous cleaning task is completed when the visual sweeping robot is powered on again;
  • the second generating unit 112 is configured to generate the relocation command if the previous cleaning task is not completed.
  • the cleaning task may be stopped by the user for power failure or other reasons.
  • the task judging unit m judges whether the previous cleaning task is completed. If not completed, the second generation unit 112 generates a relocation instruction to reposition so as to find the position where the cleaning was last stopped, so as to continue the cleaning.
  • the time analysis unit Before determining whether the previous cleaning task is completed, the time analysis unit first determines the time of the previous cleaning end. If the time length from the current time is greater than the preset time length, it is not necessary to determine whether the previous cleaning task is completed or not. It is a direct start of a new cleaning task.
  • the visual cleaning robot further includes: [0128] a map establishing unit, configured to start the visual sweeping robot under a full coverage cleaning strategy, starting with a starting position, the sweeping robot acquiring image information once every first specified distance, and acquiring corresponding image information according to the visual positioning system
  • the location information, the image information and the location information are associated and stored in the first database, the plurality of sets of image information in the first database and the corresponding location information thereof form the visual map; and, starting from the starting position,
  • the sweeping robot collects the magnetic field fingerprint every second predetermined distance, and stores the magnetic field fingerprint in association with the position information acquired by the current visual positioning system in the second database, and the plurality of sets of magnetic field fingerprints in the second database and their associated position information are formed.
  • the magnetic field map is establishing unit, configured to start the visual sweeping robot under a full coverage cleaning strategy, starting with a starting position, the sweeping robot acquiring image information once every first specified distance, and acquiring corresponding image information according to the visual positioning system
  • the map building unit it is a process of establishing a magnetic field fingerprint map and a visual map.
  • the first specified distance is greater than the second specified distance.
  • the first specified distance is an integer multiple of the second specified distance.
  • the visual sweeping robot will establish the magnetic fingerprint map and the visual map in real time under the full coverage cleaning strategy.
  • the magnetic fingerprint in the magnetic fingerprint map is associated with the position in the visual map, and then the corresponding image information can be found according to the magnetic fingerprint.
  • the visual cleaning robot of the present invention first uses the current magnetic fingerprint of the current position to sort the matching degree in the magnetic fingerprint map, and then extracts the magnetic fingerprint in the magnetic fingerprint map one by one according to the matching degree, according to the extracted magnetic fingerprint.
  • the location information is found in the visual map, and the found image information is compared with the current image information to improve the image information that meets the required matching degree, thereby improving the speed of relocation.
  • the calculation amount is small, so the position corresponding to the current magnetic field fingerprint can be quickly found, and then the image information of the position is compared with the current image information on the visual map, without having to The comparison of the image information in the visual map reduces the amount of calculation of the visual sweeping robot during the repositioning process, and further increases the speed of the repositioning.

Landscapes

  • Manipulator (AREA)

Abstract

一种视觉扫地机器人及其重定位方法，先利用当前位置的当前磁场指纹与磁场指纹地图匹配，磁场指纹之间匹配的计算量小，所以可以快速地找到对应当前磁场指纹对应的位置，然后在视觉地图上使用该位置的图像信息与当前图像信息比较，无需逐一地与视觉地图中的图像信息比较，提高重定位的速度。

Description

\¥0 2019/100404 卩（：17 謂17/113203
视觉扫地机器人及其重定位方法
技术领域
[0001] 本发明涉及到扫地机器人领域， 特别是涉及到一种视觉扫地机器人及其重定位 方法。
背景技术
[0002] 扫地机器人在清扫过程中， 可能被劫持 （外部因素将扫地机器人从行进路径上 移动到其他位置） ， 此时扫地机器人需要重新定位， 以便于确定清扫过的区域 和待清扫的区域， 提高扫地机器人的清扫效率等。 现有的一种扫地机器人是视 觉扫地机器人， 其具有视觉定位系统， 通过视觉地图和当前图像实现重定位， 但是， 在重定位过程中， 需要将视觉地图中的全部图像分别与当前图像进行比 较， 对比计算量大， 而且时间较长。
技术问题
[0003] 本发明的主要目的为提供一种提高重定位速度的视觉扫地机器人及其重定位方 法。
问题的解决方案
技术解决方案
[0004] 为了实现上述发明目的， 本发明提出一种视觉扫地机器人的定位方法， 所述视 觉扫地机器人中存储有磁场指纹地图和视觉地图； 所述重定位方法， 包括： [0005] 81、 获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息；
[0006] 2、 将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹 -对比， 建立当 前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低排序的相似度列 表；
[0007] 33、 按照预设规则提取所述相似度列表中的磁场指纹；
[0008] 4、 判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息是 否达到预设的匹配要求；
[0009] 85、 若达到预设的匹配要求， 则判定提取的磁场指纹在所述视觉地图中对应的 图像信息所关联的位置信息为重新定位的位置信息； 若未达到预设的匹配要求 ， 则返回步骤 S3。
[0010] 进一步地， 所述按照预设规则提取所述相似度列表中的磁场指纹的步骤 S3， 包 括：
[0011] S301、 按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹
[0012] 进一步地， 所述按照预设规则提取所述相似度列表中的磁场指纹的步骤 S3， 包 括：
[0013] S311、 提取相似度列表中除已提取过的磁场指纹之外排序最高的第一磁场指纹
， 以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指纹， 其中第二 磁场指纹为未被提取过的磁场指纹。
[0014] 进一步地， 所述参考点为指定范围的中心点。
[0015] 进一步地， 所述获取重定位指令， 根据所述重定位指令采集当前位置的当前磁 场指纹和当前图像信息的步骤 S1之前， 包括：
[0016] S101、 判断所述视觉扫地机器人采集的场景图像是否为连续场景；
[0017] S102、 若所述场景图像不是连续场景， 则判定所述扫地机器人被劫持；
[0018] S103、 判断所述扫地机器人被劫持状态是否结束；
[0019] S104、 若判定所述扫地机器人被劫持状态结束， 则生成重定位指令。
[0020] 进一步地， 所述获取重定位指令， 根据所述重定位指令采集当前位置的当前磁 场指纹和当前图像信息的步骤 S1之前， 包括：
[0021] sm、 视觉扫地机器人重新上电， 判断前一次清扫任务是否完成；
[0022] S112、 若未完成前一次的清扫任务， 则生成所述重定位指令。
[0023] 进一步地， 所述获取重定位指令， 根据所述重定位指令采集当前位置的当前磁 场指纹和当前图像信息的步骤 S1之前， 包括：
[0024] S121、 所述视觉扫地机器人在全覆盖清扫策略下启动， 以起始位置开始， 扫地 机器人每行进第一指定距离采集一次图像信息， 并根据视觉定位系统获取对应 图像信息的位置信息， 将所述图像信息和位置信息关联存储到第一数据库中， 第一数据库中的多组图像信息和其对应的位置信息形成所述视觉地图； 以及， \¥0 2019/100404 卩（：17 \2017/113203 以起始位置开始， 扫地机器人每行进第二指定距离采集一次磁场指纹， 并将磁 场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据库中， 第二数 据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
[0025] 本发明还提供一种视觉扫地机器人， 所述视觉扫地机器人中存储有磁场指纹地 图和视觉地图； 所述视觉扫地机器人， 包括：
[0026] 获取单元， 用于获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息
[0027] 对比建立单元， 用于将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一 一对比， 建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低 排序的相似度列表；
[0028] 提取单元， 用于按照预设规则提取所述相似度列表中的磁场指纹；
[0029] 第一判断单元， 用于判断提取的磁场指纹在所述视觉地图中对应的图像信息与 当前图像信息是否达到预设的匹配要求；
[0030] 判定单元， 用于若提取的磁场指纹在所述视觉地图中对应的图像信息与当前图 像信息达到预设的匹配要求， 则判定提取的磁场指纹在所述视觉地图中对应的 图像信息所关联的位置信息为重新定位的位置信息； 否则控制所述提取单元继 续提取磁场指纹。
[0031] 进一步地， 所述提取单元， 包括：
[0032] 第一提取模块， 用于按照相似度列表中磁场指纹的排列顺序从高到低顺次提取 所述磁场指纹。
[0033] 进一步地， 所述提取单元， 包括：
[0034] 第二提取模块， 用于提取相似度列表中除已提取过的磁场指纹之外排序最高的 第一磁场指纹， 以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指 纹， 其中第二磁场指纹为未被提取过的磁场指纹。
[0035] 进一步地， 所述参考点为指定范围的中心点。
[0036] 进一步地， 所述视觉扫地机器人还包括：
[0037] 第二判断单元， 用于判断所述视觉扫地机器人采集的场景图像是否为连续场景 \¥0 2019/100404 卩（：17 \2017/113203
[0038] 判定劫持单元， 用于若所述场景图像不是连续场景， 则判定所述扫地机器人被 劫持；
[0039] 第三判断单元， 用于判断所述扫地机器人被劫持状态是否结束；
[0040] 第一生成单元， 用于若判定所述扫地机器人被劫持状态结束， 则生成重定位指 令。
[0041] 进一步地， 所述视觉扫地机器人还包括：
[0042] 任务判断单元， 用于视觉扫地机器人重新上电时， 判断前一次清扫任务是否完 成；
[0043] 第二生成单元， 用于若未完成前一次的清扫任务， 则生成所述重定位指令。
[0044] 进一步地， 所述视觉扫地机器人还包括：
[0045] 地图建立单元， 用于所述视觉扫地机器人在全覆盖清扫策略下启动， 以起始位 置开始， 扫地机器人每行进第一指定距离采集一次图像信息， 并根据视觉定位 系统获取对应图像信息的位置信息， 将所述图像信息和位置信息关联存储到第 一数据库中， 第一数据库中的多组图像信息和其对应的位置信息形成所述视觉 地图； 以及， 以起始位置开始， 扫地机器人每行进第二指定距离采集一次磁场 指纹， 并将磁场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据 库中， 第二数据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。 发明的有益效果
有益效果
[0046] 本发明的视觉扫地机器人及其重定位方法， 先利用当前位置的当前磁场指纹在 磁场指纹地图进行匹配度的排序， 然后按照匹配度的高低顺序逐个提取磁场指 纹地图中磁场指纹， 根据提取的磁场指纹对应的位置信息， 在视觉地图中找到 对应的图像信息， 并将找到的图像信息与当前图像信息比较， 提高找到匹配度 达到要求的图像信息， 进而提高重定位的速度。 又因为当前磁场指纹与磁场指 纹地图匹配时， 计算量小， 所以可以快速地找到对应当前磁场指纹对应的位置 ， 然后在视觉地图上使用该位置的图像信息与当前图像信息比较， 无需逐一地 与视觉地图中的图像信息比较， 降低视觉扫地机器人在重定位过程中的计算量 ， 进一步地提高重定位的速度。 \¥0 2019/100404 卩（：17 謂17/113203 对附图的简要说明
附图说明
[0047] 图 1为本发明一实施例的视觉扫地机器人的重定位方法的流程示意图；
[0048] 图 2为本发明一实施例的生成重定位指令的流程示意图；
[0049] 图 3为本发明一实施例的判断扫地机器人被劫持状态是否结束的流程示意图； [0050] 图 4为本发明另一实施例的生成重定位指令的流程示意图；
[0051] 图 5为本发明一实施例的视觉机器人的结构示意框图；
[0052] 图 6为本发明一实施例的提取单元的结构示意框图；
[0053] 图 7为本发明另一实施例的提取单元的结构示意框图；
[0054] 图 8为本发明一实施例的视觉机器人的结构示意框图；
[0055] 图 9为本发明一实施例的第三判断单元的结构示意框图；
[0056] 图 10为本发明一实施例的视觉机器人的结构示意框图。
[0057] 本发明目的的实现、 功能特点及优点将结合实施例， 参照附图做进一步说明。
实施该发明的最佳实施例
本发明的最佳实施方式
[0058] 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并不用于限定本发 明。
[0059] 参照图 1 本发明提供一种视觉扫地机器人的定位方法， 所述视觉扫地机器人 中存储有磁场指纹地图和视觉地图， 其中， 磁场指纹地图与视觉地图关联。 上 述磁场指纹地图是含有磁场指纹以及与所述磁场指纹对应的位置信息的集合。 上述视觉地图是含有图像信息以及与所述图像信息对应的位置信息的集合。 上 述磁场指纹地图与视觉地图关联是指， 磁场指纹地图中位置信息与视觉地图中 的位置信息关联， 根据磁场指纹可以查找到视觉地图在该位置的图像信息等。
[0060] 上述重定位方法， 包括：
[0061] 81、 获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息.
[0062] 在步骤 中， 上述重定位指令是在触发需要重新定位的条件时生成的指令， 比 如， 视觉扫地机器人被劫持结束后， 触发生成重定位指令。 上述当前磁场指纹 是指利用视觉扫地机器人上的磁场计获取当前位置的多个角度上的磁场强度的 \¥0 2019/100404 卩（：17 \2017/113203 集合。 磁场计可以设置一个或多个， 视觉扫地机器人会根据预设的要求进行原 地转动等以获取指定的多个角度上的磁场强度。 上述当前图像信息是指视觉扫 地机器人拍摄的图像以及拍摄图像的朝向等信息组合在一起的图像信息。
[0063] 2、 将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹 -对比， 建立当 前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低排序的相似度列 表。
[0064] 在步骤 32中， 上述相似度列表中包含有磁场指纹地图中的全部的磁场指纹， 其 排列顺序是以与当前磁场指纹的相似度的高低进行排序的， 相似度的判断， 可 以根据将当前磁场指纹中包含的各方向的磁场强度与磁场指纹地图中的每一个 磁场指纹的各方向的磁场强度进行比较， 计算各方向磁场强度的差值并平均处 理， 平均值越小， 相似度越高等。
[0065] 33、 按照预设规则提取所述相似度列表中的磁场指纹。
[0066] 在步骤 33中， 上述预设规则是指预先设置的提取相似度列表中磁场指纹的规则 算法， 比如， 按照从高到低的顺序提取相似度列表中的磁场指纹， 或者， 按照 从相似度列表的中间位置， 依次向两端提取磁场指纹等。
[0067] 4、 判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息是 否达到预设的匹配要求。
[0068] 在步骤 34中， 上述匹配要求即为设定一个相似度阈值， 比如提取的磁场指纹在 所述视觉地图中对应的图像信息中的特征点与当前图像信息中的特征点的相似 度达到 99%， 而相似度阈值为 98%， 则判定提取的磁场指纹在所述视觉地图中对 应的图像信息与当前图像信息达到预设的匹配要求。
[0069] 5、 若达到预设的匹配要求， 则判定提取的磁场指纹在所述视觉地图中对应的 图像信息所关联的位置信息为重新定位的位置信息； 若未达到预设的匹配要求 ， 则返回步骤 3。
[0070] 在步骤 35中， 因为提取的磁场指纹在所述视觉地图中对应的图像信息与当前图 像信息达到预设的匹配要求， 所以可以将提取的磁场指纹在所述视觉地图中对 应的图像信息对应的位置信息认为是视觉扫地机器人所处的位置信息， 完成视 觉扫地机器人的重定位。 因为提取的磁场指纹在所述视觉地图中对应的图像信 \¥0 2019/100404 卩（：17 \2017/113203 息与当前图像信息未达到预设的匹配要求， 则需要继续寻找达到匹配要求的图 片信息， 因此重复上述 33、 34和35的步骤， 直到重定位成功为止。 当然， 如果 将相似度列表中全部磁场指纹全部提取一遍后仍未重定位成功， 则说明视觉扫 地机器人被劫持到位置区域。
[0071] 本实施例中， 上述按照预设规则提取所述相似度列表中的磁场指纹的步骤 3， 包括：
[0072] 3301、 按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹
[0073] 在步骤 8301中， 与当前图像信息匹配度最高的磁场指纹， 其在磁场地图中对应 的位置信息与视觉机器人当前所述位置信息相同的概率最高， 所以按照相似度 列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹， 可以提高提取的 磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要 求的概率， 进而提高重定位的速度。
[0074] 在另一实施例中， 上述按照预设规则提取所述相似度列表中的磁场指纹的步骤 83 , 包括：
[0075] 3311、 提取相似度列表中除已提取过的磁场指纹之外排序最高的第一磁场指纹
， 以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指纹， 其中第二 磁场指纹为未被提取过的磁场指纹。
[0076] 在步骤 3311中， 一般情况下， 视觉地图中的图像信息会对应磁场指纹地图中的 多个磁场指纹， 比如建立视觉地图时， 每行进 1米采集一次图像信息， 而在建立 磁场指纹地图时， 每行进 0.2米记录一个磁场指纹， 此时， 磁场指纹地图会将多 个磁场指纹与对应的图像信息关联， 以得到图像信息关联的位置信息。 所以， 当提取一个位于相似度列表中没有被提取过的、 且与当前磁场指纹相似度最高 的第一磁场指纹时， 同时提取第一磁场指纹指定范围内的第二磁场指纹， 此时 ， 可以进一步地提高查找与当前图像信息达到匹配要求的图像信息， 进而提高 重定位的速度。 本实施例中， 上述参考点为指定范围的中心点。 在其它实施例 中， 也可以是一条直线上的某一段的中心点， 如在磁场指纹地图中在一条直线 上的多个位置对应的磁场指纹， 以第一磁场指纹对应的位置为中心， 其两端相 \¥0 2019/100404 卩（：17 \2017/113203 邻的相同数量的位置对应的磁场指纹为第二磁场指纹。
[0077] 参照图 2， 本实施例中， 上述获取重定位指令， 根据所述重定位指令采集当前 位置的当前磁场指纹和当前图像信息的步骤31之前， 包括：
[0078] 3101、 判断所述视觉扫地机器人采集的场景图像是否为连续场景；
[0079] 8102. 若所述场景图像不是连续场景， 则判定所述扫地机器人被劫持；
[0080] 3103、 判断所述扫地机器人被劫持状态是否结束；
[0081] 8104. 若判定所述扫地机器人被劫持状态结束， 则生成重定位指令。
[0082] 在步骤 3101、 8102. 3103和3104中， 视觉扫地机器人在清扫过程中会连续采集 场景图像， 所以场景图像的内容是连续的， 如果场景图像的风格或特征突然变 化 （正常的避障转弯引起的变化会被剔除） ， 则说明视觉扫地机器人被劫持， 然后判断劫持状态是否结束， 如果劫持状态结束， 则生成重定位指令， 以便于 确定已清扫区域， 继续进行清扫任务。
[0083] 参照图 3， 本实施例中， 上述判断所述扫地机器人被劫持状态是否结束的步骤 3 103， 包括：
[0084] 81031. 利用姿态传感器采所述扫地机器人的移动加速度变化值和偏转角度变 化值；
[0085] 81032. 若所述移动加速度变化值和偏转角度变化值分别小于预设的加速度阈 值和偏转角阈值， 则判定所述扫地机器人被劫持状态结束， 否则， 判定所述扫 地机器人人处于被劫持状态。
[0086] 在步骤 31031和31032中， 视觉扫地机器人劫持状态结束后， 其会被放置在清扫 地面上， 此时移动加速度会接近于零， 偏转角度也不会发生过大的变化， 所以 通过移动加速度变化值和偏转角度变化值即可准确判断出劫持状态是否结束。 在其它实施例中， 因为扫地机器人被劫持， 所以运动系统仍在工作， 可以根据 扫地机器人的运动系统指定的移动方向和实际移动方向进行比较， 如果两者相 同， 且移动速度与运动系统的里程计记录的数据相匹配， 同样可以认为劫持状 态结束。
[0087] 参照图 4, 在另一实施例中， 上述获取重定位指令， 根据所述重定位指令采集 当前位置的当前磁场指纹和当前图像信息的步骤 之前， 包括： [0088] sm、 视觉扫地机器人重新上电， 判断前一次清扫任务是否完成；
[0089] S112、 若未完成前一次的清扫任务， 则生成所述重定位指令。
[0090] 在步骤 Si l l和 S112中， 视觉扫地机器人在未完成清扫任务时， 可能被用户人为 断电或其它原因而停止清扫任务， 当再次上电时， 为了提高清扫效率， 要判断 前一次清扫任务是否完成， 如果没有完成， 则重新定位， 以便于找到上一次停 止清扫的位置， 以便于继续清扫。 在判断前一次清扫任务是否完成的步骤之前 ， 一般还会先判断前一次清扫结束的时间， 如果距离当前时间的时间长度大于 预设时间长度， 则无需判断前一次清扫任务是否完成， 而是直接开始新的清扫 任务。
[0091] 本实施例中， 上述获取重定位指令， 根据所述重定位指令采集当前位置的当前 磁场指纹和当前图像信息的步骤 S1之前， 包括：
[0092] S121、 所述视觉扫地机器人在全覆盖清扫策略下启动， 以起始位置开始， 扫地 机器人每行进第一指定距离采集一次图像信息， 并根据视觉定位系统获取对应 图像信息的位置信息， 将所述图像信息和位置信息关联存储到第一数据库中， 第一数据库中的多组图像信息和其对应的位置信息形成所述视觉地图； 以及， 以起始位置开始， 扫地机器人每行进第二指定距离采集一次磁场指纹， 并将磁 场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据库中， 第二数 据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
[0093] 在步骤 S121中， 即为建立磁场指纹地图和视觉地图的过程。 第一指定距离大于 第二指定距离。 在一具体实施例中， 第一指定距离是第二指定距离的整数倍。 视觉扫地机器人会在全覆盖清扫策略下实时建立磁场指纹地图和视觉地图， 同 时将磁场指纹地图中的磁场指纹与视觉地图中位置相关联， 进而可以根据磁场 指纹找到对应的图像信息。
[0094] 本发明的视觉扫地机器人的重定位方法， 先利用当前位置的当前磁场指纹在磁 场指纹地图进行匹配度的排序， 然后按照匹配度的高低顺序逐个提取磁场指纹 地图中磁场指纹， 根据提取的磁场指纹对应的位置信息， 在视觉地图中找到对 应的图像信息， 并将找到的图像信息与当前图像信息比较， 提高找到匹配度达 到要求的图像信息， 进而提高重定位的速度。 又因为当前磁场指纹与磁场指纹 \¥0 2019/100404 卩（：17 \2017/113203 地图匹配时， 计算量小， 所以可以快速地找到对应当前磁场指纹对应的位置， 然后在视觉地图上使用该位置的图像信息与当前图像信息比较， 无需逐一地与 视觉地图中的图像信息比较， 降低视觉扫地机器人在重定位过程中的计算量， 进一步地提高重定位的速度。
[0095] 参照图 5 , 本发明实施例还提供一种视觉扫地机器人， 所述视觉扫地机器人中 存储有磁场指纹地图和视觉地图， 其中， 磁场指纹地图与视觉地图关联。 上述 磁场指纹地图是含有磁场指纹以及与所述磁场指纹对应的位置信息的集合。 上 述视觉地图是含有图像信息以及与所述图像信息对应的位置信息的集合。 上述 磁场指纹地图与视觉地图关联是指， 磁场指纹地图中位置信息与视觉地图中的 位置信息关联， 根据磁场指纹可以查找到视觉地图在该位置的图像信息等。
[0096] 所述视觉扫地机器人包括：
[0097] 获取单元 10, 用于获取所述视觉机器人当前位置的当前磁场指纹和当前图像信 息。
[0098] 在获取单元 10, 上述重定位指令是在触发需要重新定位的条件时生成的指令， 比如， 视觉扫地机器人被劫持结束后， 触发生成重定位指令。 上述当前磁场指 纹是指利用视觉扫地机器人上的磁场计获取当前位置的多个角度上的磁场强度 的集合。 磁场计可以设置一个或多个， 视觉扫地机器人会根据预设的要求进行 原地转动等以获取指定的多个角度上的磁场强度。 上述当前图像信息是指视觉 扫地机器人拍摄的图像以及拍摄图像的朝向等信息组合在一起的图像信息。
[0099] 对比建立单元 20， 用于将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹 一一对比， 建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到 低排序的相似度列表。
[0100] 在上述对比建立单元 20中， 上述相似度列表中包含有磁场指纹地图中的全部的 磁场指纹， 其排列顺序是以与当前磁场指纹的相似度的高低进行排序的， 相似 度的判断， 可以根据将当前磁场指纹中包含的各方向的磁场强度与磁场指纹地 图中的每一个磁场指纹的各方向的磁场强度进行比较， 计算各方向磁场强度的 差值并平均处理， 平均值越小， 相似度越高等。
[0101] 提取单元 30, 用于按照预设规则提取所述相似度列表中的磁场指纹。 [0102] 在上述提取单元 30中， 上述预设规则是指预先设置的提取相似度列表中磁场指 纹的规则算法， 比如， 按照从高到低的顺序提取相似度列表中的磁场指纹， 或 者， 按照从相似度列表的中间位置， 依次向两端提取磁场指纹等。
[0103] 第一判断单元 40, 用于判断提取的磁场指纹在所述视觉地图中对应的图像信息 与当前图像信息是否达到预设的匹配要求。
[0104] 在上述第一判断单元 40中， 上述匹配要求即为设定一个相似度阈值， 比如提取 的磁场指纹在所述视觉地图中对应的图像信息中的特征点与当前图像信息中的 特征点的相似度达到 99%， 而相似度阈值为 98%， 则判定提取的磁场指纹在所述 视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求。
[0105] 判定单元 50, 用于若提取的磁场指纹在所述视觉地图中对应的图像信息与当前 图像信息达到预设的匹配要求， 则判定提取的磁场指纹在所述视觉地图中对应 的图像信息所关联的位置信息为重新定位的位置信息； 否则控制所述提取单元 3 0继续提取磁场指纹。
[0106] 在上述判定单元 50中， 因为提取的磁场指纹在所述视觉地图中对应的图像信息 与当前图像信息达到预设的匹配要求， 所以可以将提取的磁场指纹在所述视觉 地图中对应的图像信息对应的位置信息认为是视觉扫地机器人所处的位置信息 ， 完成视觉扫地机器人的重定位。 因为提取的磁场指纹在所述视觉地图中对应 的图像信息与当前图像信息未达到预设的匹配要求， 则需要继续寻找达到匹配 要求的图片信息， 因此上述提取单元 30、 第一判断单元 40重复工作， 直到判定 单元 50重定位成功为止。 当然， 如果将相似度列表中全部磁场指纹全部提取一 遍后仍未重定位成功， 则说明视觉扫地机器人被劫持到位置区域。
[0107] 参照图 6， 本实施例中， 上述提取单元 30， 包括：
[0108] 第一提取模块 301， 用于按照相似度列表中磁场指纹的排列顺序从高到低顺次 提取所述磁场指纹。
[0109] 在上述第一提取模块 301中， 与当前图像信息匹配度最高的磁场指纹， 其在磁 场地图中对应的位置信息与视觉机器人当前所述位置信息相同的概率最高， 所 以按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹， 可 以提高提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到 \¥0 2019/100404 卩（：17 \2017/113203 预设的匹配要求的概率， 进而提高重定位的速度。
[0110] 参照图 7， 在另一实施例中， 上述提取单元 30， 包括：
[0111] 第二提取模块 311， 用于提取相似度列表中除已提取过的磁场指纹之外排序最 高的第一磁场指纹， 以及提取以第一磁场指纹为参考点的指定范围内的第二磁 场指纹， 其中第二磁场指纹为未被提取过的磁场指纹。
[0112] 在上述第二提取单元 311中， 一般情况下， 视觉地图中的图像信息会对应磁场 指纹地图中的多个磁场指纹， 比如建立视觉地图时， 每行进 1米采集一次图像信 息， 而在建立磁场指纹地图时， 每行进 0.2米记录一个磁场指纹， 此时， 磁场指 纹地图会将多个磁场指纹与对应的图像信息关联， 以得到图像信息关联的位置 信息。 所以， 当提取一个位于相似度列表中没有被提取过的、 且与当前磁场指 纹相似度最高的第一磁场指纹时， 同时提取第一磁场指纹指定范围内的第二磁 场指纹， 此时， 可以进一步地提高查找与当前图像信息达到匹配要求的图像信 息， 进而提高重定位的速度。 本实施例中， 上述参考点为指定范围的中心点。 在其它实施例中， 也可以是一条直线上的某一段的中心点， 如在磁场指纹地图 中在一条直线上的多个位置对应的磁场指纹， 以第一磁场指纹对应的位置为中 心， 其两端相邻的相同数量的位置对应的磁场指纹为第二磁场指纹。
[0113] 参照图 8， 本实施例中， 上述视觉扫地机器人还包括：
[0114] 第二判断单元 101， 用于判断所述视觉扫地机器人采集的场景图像是否为连续 场景；
[0115] 判定劫持单元 102, 用于若所述场景图像不是连续场景， 则判定所述扫地机器 人被劫持；
[0116] 第三判断单元 103 , 用于判断所述扫地机器人被劫持状态是否结束；
[0117] 第一生成单元 104, 用于若判定所述扫地机器人被劫持状态结束， 则生成重定 位指令。
[0118] 视觉扫地机器人在清扫过程中会连续采集场景图像， 所以场景图像的内容是连 续的， 通过第二判断单元 101判断如果场景图像的风格或特征突然变化 （正常的 避障转弯引起的变化会被剔除） ， 则判定劫持单元 102判定视觉扫地机器人被劫 持， 然后通过第三判断单元 103判断劫持状态是否结束， 如果劫持状态结束， 则 第一生成单元 104生成重定位指令， 以便于确定已清扫区域， 继续进行清扫任务
[0119] 参照图 9， 本实施例中， 上述第三判断单元 103， 包括：
[0120] 获取姿态模块 1031， 用于利用姿态传感器采所述扫地机器人的移动加速度变化 值和偏转角度变化值；
[0121] 劫持结束判定模块 1032, 用于若所述移动加速度变化值和偏转角度变化值分别 小于预设的加速度阈值和偏转角阈值， 则判定所述扫地机器人被劫持状态结束 ， 否则， 判定所述扫地机器人人处于被劫持状态。
[0122] 视觉扫地机器人劫持状态结束后， 其会被放置在清扫地面上， 此时获取姿态模 块 1031获取到的移动加速度会接近于零， 偏转角度也不会发生过大的变化， 所 以劫持结束判定模块 1032通过移动加速度变化值和偏转角度变化值即可准确判 断出劫持状态是否结束。 在其它实施例中， 因为扫地机器人被劫持， 所以运动 系统仍在工作， 可以根据扫地机器人的运动系统指定的移动方向和实际移动方 向进行比较， 如果两者相同， 且移动速度与运动系统的里程计记录的数据相匹 配， 同样可以认为劫持状态结束。
[0123] 参照图 10， 在另一实施例中， 上述视觉扫地机器人还包括：
[0124] 任务判断单元 111， 用于视觉扫地机器人重新上电时， 判断前一次清扫任务是 否完成；
[0125] 第二生成单元 112, 用于若未完成前一次的清扫任务， 则生成所述重定位指令
[0126] 视觉扫地机器人在未完成清扫任务时， 可能被用户人为断电或其它原因而停止 清扫任务， 当再次上电时， 为了提高清扫效率， 任务判断单元 m要判断前一次 清扫任务是否完成， 如果没有完成， 第二生成单元 112生成重定位指令， 以重新 定位， 以便于找到上一次停止清扫的位置， 以便于继续清扫。 在判断前一次清 扫任务是否完成之前， 一般还会通过时间分析单元先判断前一次清扫结束的时 间， 如果距离当前时间的时间长度大于预设时间长度， 则无需判断前一次清扫 任务是否完成， 而是直接开始新的清扫任务。
[0127] 本实施例中， 上述视觉扫地机器人还包括： [0128] 地图建立单元， 用于所述视觉扫地机器人在全覆盖清扫策略下启动， 以起始位 置开始， 扫地机器人每行进第一指定距离采集一次图像信息， 并根据视觉定位 系统获取对应图像信息的位置信息， 将所述图像信息和位置信息关联存储到第 一数据库中， 第一数据库中的多组图像信息和其对应的位置信息形成所述视觉 地图； 以及， 以起始位置开始， 扫地机器人每行进第二指定距离采集一次磁场 指纹， 并将磁场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据 库中， 第二数据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
[0129] 在地图建立单元中， 即为建立磁场指纹地图和视觉地图的过程。 第一指定距离 大于第二指定距离。 在一具体实施例中， 第一指定距离是第二指定距离的整数 倍。 视觉扫地机器人会在全覆盖清扫策略下实时建立磁场指纹地图和视觉地图 ， 同时将磁场指纹地图中的磁场指纹与视觉地图中位置相关联， 进而可以根据 磁场指纹找到对应的图像信息。
[0130] 本发明的视觉扫地机器人， 先利用当前位置的当前磁场指纹在磁场指纹地图进 行匹配度的排序， 然后按照匹配度的高低顺序逐个提取磁场指纹地图中磁场指 纹， 根据提取的磁场指纹对应的位置信息， 在视觉地图中找到对应的图像信息 ， 并将找到的图像信息与当前图像信息比较， 提高找到匹配度达到要求的图像 信息， 进而提高重定位的速度。 又因为当前磁场指纹与磁场指纹地图匹配时， 计算量小， 所以可以快速地找到对应当前磁场指纹对应的位置， 然后在视觉地 图上使用该位置的图像信息与当前图像信息比较， 无需逐一地与视觉地图中的 图像信息比较， 降低视觉扫地机器人在重定位过程中的计算量， 进一步地提高 重定位的速度。
[0131] 以上所述仅为本发明的优选实施例， 并非因此限制本发明的专利范围， 凡是利 用本发明说明书及附图内容所作的等效结构或等效流程变换， 或直接或间接运 用在其他相关的技术领域， 均同理包括在本发明的专利保护范围内。

Claims

\¥0 2019/100404 卩（：17 \2017/113203
权利要求书
[权利要求 1] 一种视觉扫地机器人的定位方法， 其特征在于， 所述视觉扫地机器人 中存储有磁场指纹地图和视觉地图； 所述重定位方法， 包括：
81、 获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息； 2、 将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一一对比 ， 建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到 低排序的相似度列表；
33、 按照预设规则提取所述相似度列表中的磁场指纹；
4、 判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图 像信息是否达到预设的匹配要求；
85、 若达到预设的匹配要求， 则判定提取的磁场指纹在所述视觉地图 中对应的图像信息所关联的位置信息为重新定位的位置信息； 若未达 到预设的匹配要求， 则返回步骤 3。
[权利要求 2] 根据权利要求 1所述的视觉扫地机器人的定位方法， 其特征在于， 所 述按照预设规则提取所述相似度列表中的磁场指纹的步骤33， 包括： 3301、 按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述 磁场指纹。
[权利要求 3] 根据权利要求 1所述的视觉扫地机器人的定位方法， 其特征在于， 所 述按照预设规则提取所述相似度列表中的磁场指纹的步骤33， 包括： 311、 提取相似度列表中除已提取过的磁场指纹之外排序最高的第一 磁场指纹， 以及提取以第一磁场指纹为参考点的指定范围内的第二磁 场指纹， 其中第二磁场指纹为未被提取过的磁场指纹。
[权利要求 4] 根据权利要求 3所述的视觉扫地机器人的定位方法， 其特征在于， 所 述参考点为指定范围的中心点。
[权利要求 5] 根据权利要求 1所述的视觉扫地机器人的重定位方法， 其特征在于， 所述获取重定位指令， 根据所述重定位指令采集当前位置的当前磁场 指纹和当前图像信息的步骤 之前， 包括：
3101、 判断所述视觉扫地机器人采集的场景图像是否为连续场景； \¥0 2019/100404 卩（：17 \2017/113203
8102. 若所述场景图像不是连续场景， 则判定所述扫地机器人被劫持
3103、 判断所述扫地机器人被劫持状态是否结束；
8104. 若判定所述扫地机器人被劫持状态结束， 则生成重定位指令。
[权利要求 6] 根据权利要求 1所述的视觉扫地机器人的重定位方法， 其特征在于， 所述获取重定位指令， 根据所述重定位指令采集当前位置的当前磁场 指纹和当前图像信息的步骤 之前， 包括：
3111、 视觉扫地机器人重新上电， 判断前一次清扫任务是否完成； 8112. 若未完成前一次的清扫任务， 则生成所述重定位指令。
[权利要求 7] 根据权利要求 1所述的视觉扫地机器人的重定位方法， 其特征在于， 所述获取重定位指令， 根据所述重定位指令采集当前位置的当前磁场 指纹和当前图像信息的步骤 之前， 包括：
8121. 所述视觉扫地机器人在全覆盖清扫策略下启动， 以起始位置开 始， 扫地机器人每行进第一指定距离采集一次图像信息， 并根据视觉 定位系统获取对应图像信息的位置信息， 将所述图像信息和位置信息 关联存储到第一数据库中， 第一数据库中的多组图像信息和其对应的 位置信息形成所述视觉地图； 以及， 以起始位置开始， 扫地机器人每 行进第二指定距离采集一次磁场指纹， 并将磁场指纹与当前视觉定位 系统获取的位置信息关联存储在第二数据库中， 第二数据库中的多组 磁场指纹和其关联的位置信息形成所述磁场地图。
[权利要求 8] 一种视觉扫地机器人， 其特征在于， 所述视觉扫地机器人中存储有磁 场指纹地图和视觉地图； 所述视觉扫地机器人， 包括：
获取单元， 用于获取所述视觉机器人当前位置的当前磁场指纹和当前 图像信息；
对比建立单元， 用于将所述当前磁场指纹分别与磁场指纹地图中的磁 场指纹一一对比， 建立当前磁场指纹与所述磁场指纹地图中的磁场指 纹相似度由高到低排序的相似度列表；
提取单元， 用于按照预设规则提取所述相似度列表中的磁场指纹； \¥0 2019/100404 卩（：17 \2017/113203 第一判断单元， 用于判断提取的磁场指纹在所述视觉地图中对应的图 像信息与当前图像信息是否达到预设的匹配要求； 判定单元， 用于若提取的磁场指纹在所述视觉地图中对应的图像信息 与当前图像信息达到预设的匹配要求， 则判定提取的磁场指纹在所述 视觉地图中对应的图像信息所关联的位置信息为重新定位的位置信息 ； 否则控制所述提取单元继续提取磁场指纹。
[权利要求 9] 根据权利要求 8所述的视觉扫地机器人， 其特征在于， 所述提取单元 ， 包括：
第一提取模块， 用于按照相似度列表中磁场指纹的排列顺序从高到低 顺次提取所述磁场指纹。
[权利要求 10] 根据权利要求 8所述的视觉扫地机器人， 其特征在于， 所述提取单元 ， 包括：
第二提取模块， 用于提取相似度列表中除已提取过的磁场指纹之外排 序最高的第一磁场指纹， 以及提取以第一磁场指纹为参考点的指定范 围内的第二磁场指纹， 其中第二磁场指纹为未被提取过的磁场指纹。
[权利要求 11] 根据权利要求 10所述的视觉扫地机器人， 其特征在于， 所述参考点为 指定范围的中心点。
[权利要求 12] 根据权利要求 8所述的视觉扫地机器人， 其特征在于， 还包括：
第二判断单元， 用于判断所述视觉扫地机器人采集的场景图像是否为 连续场景；
判定劫持单元， 用于若所述场景图像不是连续场景， 则判定所述扫地 机器人被劫持；
第三判断单元， 用于判断所述扫地机器人被劫持状态是否结束； 第一生成单元， 用于若判定所述扫地机器人被劫持状态结束， 则生成 重定位指令。
[权利要求 13] 根据权利要求 8所述的视觉扫地机器人， 其特征在于， 还包括：
任务判断单元， 用于视觉扫地机器人重新上电时， 判断前一次清扫任 务是否完成； \¥0 2019/100404 卩（：17 \2017/113203 第二生成单元， 用于若未完成前一次的清扫任务， 则生成所述重定位 指令。
[权利要求 14] 根据权利要求 8所述的视觉扫地机器人， 其特征在于， 还包括：
地图建立单元， 用于所述视觉扫地机器人在全覆盖清扫策略下启动， 以起始位置开始， 扫地机器人每行进第一指定距离采集一次图像信息 ， 并根据视觉定位系统获取对应图像信息的位置信息， 将所述图像信 息和位置信息关联存储到第一数据库中， 第一数据库中的多组图像信 息和其对应的位置信息形成所述视觉地图； 以及， 以起始位置开始， 扫地机器人每行进第二指定距离采集一次磁场指纹， 并将磁场指纹与 当前视觉定位系统获取的位置信息关联存储在第二数据库中， 第二数 据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
PCT/CN2017/113203 2017-11-27 2017-11-27 视觉扫地机器人及其重定位方法 Ceased WO2019100404A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113203 WO2019100404A1 (zh) 2017-11-27 2017-11-27 视觉扫地机器人及其重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113203 WO2019100404A1 (zh) 2017-11-27 2017-11-27 视觉扫地机器人及其重定位方法

Publications (1)

Publication Number Publication Date
WO2019100404A1 true WO2019100404A1 (zh) 2019-05-31

Family

ID=66630815

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/113203 Ceased WO2019100404A1 (zh) 2017-11-27 2017-11-27 视觉扫地机器人及其重定位方法

Country Status (1)

Country Link
WO (1) WO2019100404A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456797A (zh) * 2019-08-19 2019-11-15 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070027579A1 (en) * 2005-06-13 2007-02-01 Kabushiki Kaisha Toshiba Mobile robot and a mobile robot control method
CN105676172A (zh) * 2016-01-11 2016-06-15 无锡知谷网络科技有限公司 簇式磁场定位的方法、装置和系统
CN105722028A (zh) * 2016-01-31 2016-06-29 华南理工大学 基于wifi、磁场两级搜索室内行人定位系统及方法
CN105856229A (zh) * 2016-05-05 2016-08-17 上海慧流云计算科技有限公司 室内定位方法、装置及扫地机器人
CN107363833A (zh) * 2017-07-17 2017-11-21 深圳市微付充科技有限公司 一种移动机器人及其控制方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070027579A1 (en) * 2005-06-13 2007-02-01 Kabushiki Kaisha Toshiba Mobile robot and a mobile robot control method
CN105676172A (zh) * 2016-01-11 2016-06-15 无锡知谷网络科技有限公司 簇式磁场定位的方法、装置和系统
CN105722028A (zh) * 2016-01-31 2016-06-29 华南理工大学 基于wifi、磁场两级搜索室内行人定位系统及方法
CN105856229A (zh) * 2016-05-05 2016-08-17 上海慧流云计算科技有限公司 室内定位方法、装置及扫地机器人
CN107363833A (zh) * 2017-07-17 2017-11-21 深圳市微付充科技有限公司 一种移动机器人及其控制方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456797A (zh) * 2019-08-19 2019-11-15 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN110456797B (zh) * 2019-08-19 2022-06-28 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法

Similar Documents

Publication Publication Date Title
CN107969995B (zh) 视觉扫地机器人及其重定位方法
US10733274B2 (en) Biometric authentication using gesture
US9044858B2 (en) Target object gripping apparatus, method for controlling the same and storage medium
JP6335806B2 (ja) ワーク供給装置およびワーク把持姿勢計算方法
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
CN102598052B (zh) 利用生物体信息的认证系统及认证装置
KR101538775B1 (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
JP6610906B2 (ja) 活動検出方法及びデバイス、並びに本人認証方法及びデバイス
JP3834297B2 (ja) 画像処理装置
JP2022551717A (ja) 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体
JP2019063984A5 (ja) 情報処理装置及び情報処理方法
CN108256574A (zh) 机器人定位方法及装置
US11547261B2 (en) Moving robot and control method thereof
KR20180125010A (ko) 이동 로봇 및 이동 로봇의 제어방법
CN108080289A (zh) 机器人分拣系统、机器人分拣控制方法及装置
JP2011133273A (ja) 推定装置及びその制御方法、プログラム
CN104517100B (zh) 手势预判方法和系统
JP2020027439A5 (zh)
CN110852133A (zh) 自动行走设备、及其控制方法、控制装置及计算机设备
JP2019185465A (ja) 移動装置及びプログラム
JP2018085087A (ja) 動作判定装置
JP2009129237A (ja) 画像処理装置及びその方法
CN115862074A (zh) 人体指向确定、屏幕控制方法、装置及相关设备
JP6644846B1 (ja) ワークの位置姿勢認識装置およびピッキングシステム
CN105872729A (zh) 识别操作事件的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17932808

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17932808

Country of ref document: EP

Kind code of ref document: A1