WO2022135427A1 - 判断完整图标的方法及系统 - Google Patents

判断完整图标的方法及系统 Download PDF

Info

Publication number
WO2022135427A1
WO2022135427A1 PCT/CN2021/140259 CN2021140259W WO2022135427A1 WO 2022135427 A1 WO2022135427 A1 WO 2022135427A1 CN 2021140259 W CN2021140259 W CN 2021140259W WO 2022135427 A1 WO2022135427 A1 WO 2022135427A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
icon
color
pixels
threshold
Prior art date
Application number
PCT/CN2021/140259
Other languages
English (en)
French (fr)
Inventor
高超
刘晨璐
赵家亮
李善俊
Original Assignee
上海布鲁可积木科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海布鲁可积木科技有限公司 filed Critical 上海布鲁可积木科技有限公司
Priority to KR1020237022023A priority Critical patent/KR20230113373A/ko
Priority to US18/268,630 priority patent/US20240046665A1/en
Priority to EP21909423.2A priority patent/EP4261736A4/en
Publication of WO2022135427A1 publication Critical patent/WO2022135427A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Definitions

  • the present invention relates to the technical field of image recognition, and in particular, to a method and system suitable for judging complete icons in a moving state.
  • a mobile robot is a kind of intelligent robot that is programmed to the robot on a preset route, so that the robot can travel along the preset route according to the set rules.
  • Patent document CN 111625003 A discloses a mobile robot toy and a method of using the same. According to the road section, moving on the bearing surface to search and read the instruction card to obtain the corresponding action instruction, and execute the action in any of the following ways; Execute actions according to a single instruction card; execute actions according to a combination of multiple instruction cards; execute actions according to a combination of instruction cards and road sections; - execute actions according to a combination of instruction cards and identification information on the bearing surface.
  • the mobile robot can be controlled by simple and clear operation, which eliminates the complicated programming work and is convenient for children to use.
  • this mobile robot has the following problems in practical implementation:
  • the mobile robot recognizes the icon 1 of the instruction card while moving, which inevitably leads to a long time to recognize the image, and is affected by the speed of the mobile robot and the timing of image recognition.
  • the time is about 100ms, and the premature recognition will cause the situation of missing the instruction card because only part of the icon 1 is within the recognition range 2 in the recognized image.
  • the purpose of the present invention is to provide a method and system for judging a complete icon.
  • Image acquisition step collect a frame of image, and divide the judgment area in the surrounding area of the image;
  • Image scanning step scan and count the number of pixels of the corresponding color of the icon in the whole described image and the number of pixels of the corresponding color of the auxiliary mark of the judgment area;
  • Judging step the number of pixels of the color corresponding to the icon in the image is less than or equal to the first threshold, or the number of pixels of the color corresponding to the auxiliary marks of one or more judgment areas in all judgment areas is less than or equal to the second threshold. In this case, it is determined that the icon of the image is incomplete; the number of pixels of the color corresponding to the icon in the image is greater than the first threshold, and the number of pixels of the color corresponding to the auxiliary mark of each determination area is greater than the second threshold. In this case, it is determined that the icon of the image is complete.
  • the color of the auxiliary logo is different from the color of the icon.
  • the determination area forms a closed-loop rectangular ring structure along the edge of the image
  • the judging step includes:
  • the icon has a first color
  • the auxiliary logo has a second color
  • the area of the second color or the inner envelope of the area of the second color surrounds the area of the first color
  • a system for judging a complete icon provided according to the present invention includes:
  • Image acquisition module collect a frame of image, and divide the judgment area in the surrounding area of the image;
  • Image scanning module scan and count the number of pixels of the color corresponding to the icon in the entire described image and the number of pixels of the corresponding color of the auxiliary mark of the judgment area;
  • the determination area forms a closed-loop annular structure along the edge of the image.
  • the color of the auxiliary logo is different from the color of the icon.
  • the determination area forms a closed-loop rectangular ring structure along the edge of the image
  • the judging module includes:
  • the other two It is determined whether there are straight lines in each determination area, and if the determination result is no, it is determined that the icon of the image is incomplete, and if the determination result is yes, the icon of the image is determined to be complete.
  • the icon has a first color
  • the auxiliary logo has a second color
  • the area of the second color or the inner envelope of the area of the second color surrounds the area of the first color
  • the judging module includes:
  • the present invention has the following beneficial effects:
  • the present invention can ensure that the recognition operation is performed when the image is complete under limited computing resources. For example, if the recognition operation is performed when the image is recognized but the image is not complete, when the trolley moves to the top of the image and the complete image can be collected at the next moment, the recognition operation for the incomplete image is still in progress, resulting in failure to Perform recognition operations on complete images in a timely manner;
  • the present invention can complete the recognition operation at a relatively fast speed, and can improve the recognition efficiency while reducing the hardware configuration requirements.
  • the moving speed of the mobile robot can be increased by one percentage compared with the traditional one. times.
  • Fig. 2 is the schematic diagram of dividing the judgment area
  • Fig. 3 is the working flow chart of embodiment 1;
  • Fig. 5 is the schematic diagram that the icon is placed on the line
  • a method for judging a complete icon includes:
  • Image acquisition step collect a frame of image, and divide the judgment area in the surrounding area of the image.
  • the judgment area forms a closed-loop annular structure along the edge of the image.
  • the purpose is to ensure that there is no icon content in the edge part of the image, or to ensure that the icon content is minimal. It can be a rectangular structure as shown in Figure 2, which is divided into the first judgment area. 3.
  • the second determination area 4, the third determination area 5 and the fourth determination area 6 (corresponding to the four areas a, b, c, and d in FIG. 3 ), of course, can also be a complete circle in other embodiments Rings, or complete, composed polygonal rings.
  • noise filtering may be performed on the collected image, and interference factors in the image may be removed according to preset rules, and then the image scanning step is entered.
  • the method of image denoising can use existing technologies, such as: filter based on spatial domain, wavelet threshold denoising based on wavelet domain, image denoising based on PDE, total variation (TV) image denoising, etc. The invention does not limit this.
  • Image scanning step scan and count the number of pixels of the color corresponding to the icon in the entire image and the number of pixels of the color corresponding to the auxiliary mark of the determination area.
  • the color corresponding to the icon is a black pixel
  • the auxiliary sign corresponds to a white pixel, so as to ensure that the two colors are different for easy identification.
  • the icons can be set to be the first color, the auxiliary signs to the second color, and the first color and the second color can be set.
  • the color of the second color is different, and the area of the second color or the inner envelope of the area of the second color surrounds the area of the first color.
  • the first color is not limited to only one color, but can also be a combination of various colors
  • the second color is not limited to only one color, but can also be limited to a combination of various colors.
  • the method of judging whether the icon is complete or not adopted by the present invention can not miss the icon when the trolley moves fast, can improve the recognition efficiency while reducing the hardware configuration requirements, and the moving speed of the trolley can be doubled.
  • Image acquisition step collect a frame of image, and divide the judgment area in the surrounding area of the image.
  • the judgment area forms a closed-loop annular structure along the edge of the image. The purpose is to ensure that there is no icon content in the edge part of the image, or to ensure that the icon content is minimal. It can be a rectangular structure as shown in Figure 2, which is divided into the first judgment area. 3.
  • the second determination area 4, the third determination area 5, and the fourth determination area 6 may, of course, be a complete ring or a complete, combined polygon ring in other embodiments.
  • Image scanning step scan and count the number of pixels of the color corresponding to the icon in the entire image and the number of pixels of the color corresponding to the auxiliary mark of the determination area.
  • the color corresponding to the icon is a black pixel
  • the auxiliary sign corresponds to a white pixel, so as to ensure that the two colors are different for easy identification.
  • Judgment step the number of pixels of the color corresponding to the icon in the image is less than or equal to the first threshold and there are pixels of the color corresponding to the auxiliary marks of two judgment areas (corresponding to 4 and 6 in Figure 5) that are opposite to each other in a rectangle
  • the number is less than or equal to the second threshold, it is determined that the icon of the image is incomplete; otherwise, it is determined whether there are straight lines in the other two determination areas (corresponding to 3 and 5 in Figure 5), and if the determination result is no, it is determined that The icon of the image is incomplete, and if the judgment result is yes, it is judged that the icon of the image is complete.
  • the system provided by the present invention and its various devices can be implemented by logically programming the method steps. , modules, and units realize the same function in the form of logic gates, switches, application-specific integrated circuits, programmable logic controllers, and embedded microcontrollers. Therefore, the system provided by the present invention and its various devices, modules and units can be regarded as a kind of hardware components, and the devices, modules and units included in it for realizing various functions can also be regarded as hardware components.
  • the device, module and unit for realizing various functions can also be regarded as both a software module for realizing the method and a structure within a hardware component.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种判断完整图标的方法及系统，包括：采集一帧图像，在图像的周边区域划分判定区域；扫描统计整个图像中图标所对应颜色的像素点数量以及判定区域的辅助标识所对应颜色的像素点数量；在图像中图标所对应颜色的像素点数量小于等于第一阈值，或者所有判定区域中有一或多个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定图像的图标不完整；在图像中图标所对应颜色的像素点数量大于第一阈值，且每个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，判定图像的图标完整。本发明可以大大减少在移动过程中因识别不完整的图标而造成的错过指令的现象。

Description

判断完整图标的方法及系统 技术领域
本发明涉及图像识别技术领域，具体地，涉及一种适用于移动状态下判断完整图标的方法及系统。
背景技术
移动机器人是一种在预设的路线上，通过对机器人进行编程，从而实现机器人根据设定的规则沿着预设的路线进行行进的智能机器人。
专利文献CN 111625003 A公开了一种移动机器人玩具及其使用方法，根据所述路段在所述承载面上移动以搜寻读取指令卡得到相应的动作指令，并按照如下任一种方式执行动作；根据单个指令卡执行动作；根据多个指令卡的组合执行动作；根据指令卡与路段的组合执行动作；-根据指令卡与承载面上的标识信息的组合执行动作。实现通过简单明了的操作即可控制移动机器人，免除了复杂的编程工作，便于儿童使用。然而这种移动机器人在实际实现中存在以下问题：
如图1所示，移动机器人一边移动一边识别指令卡的图标1，不可避免的导致识别图像的用时比较长，而且受到移动机器人的速度和图像识别时机的影响，图像识别算法识别一帧图像的时间约为100ms，过早的识别会出现由于识别到的图像中，图标1只有一部分在识别范围2内而导致错过指令卡的情况。
此外，传统的图标只能用于作为指令被识别，且只有在图标全部进入图像中的情况才能被准确识别，对于图标是否全部进入图像中的判断，图标本身并不能提供任何的技术性帮助。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种判断完整图标的方法及系统。
根据本发明提供的一种判断完整图标的方法，包括：
图像采集步骤：采集一帧图像，在图像的周边区域划分判定区域；
图像扫描步骤：扫描统计整个所述图像中图标所对应颜色的像素点数量以及判定区 域的辅助标识所对应颜色的像素点数量；
判断步骤：在所述图像中图标所对应颜色的像素点数量小于等于第一阈值，或者所有判定区域中有一或多个个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定所述图像的图标不完整；在所述图像中图标所对应颜色的像素点数量大于第一阈值，且每个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，判定所述图像的图标完整。
优选地，所述判定区域沿所述图像的边缘构成闭环的环状结构。
优选地，在判定所述图像的图标不完整的情况下，返回采集下一帧图像；在判定所述图像的图标完整的情况下，对图标进行图像识别。
优选地，所述辅助标识的颜色与所述图标的颜色不同。
优选地，所述判定区域沿所述图像的边缘构成闭环的矩形环状结构；
所述判断步骤包括：
在所述图像中图标所对应颜色的像素点数量小于等于第一阈值且存在互为矩形对边的两个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定所述图像的图标不完整；
在所述图像中图标所对应颜色的像素点数量大于第一阈值且存在互为矩形对边的两个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，在另外两个判定区域中判断是否均存在直线，若判断结果为否，则判定所述图像的图标不完整，若判断结果为是则判定所述图像的图标完整。
优选地，所述图标具有第一颜色，所述辅助标识具有第二颜色，所述第二颜色的区域或所述第二颜色的区域的内包络将所述第一颜色的区域包围；
所述判断步骤包括：
在所述图像的边缘存在所述第一颜色的像素点，且所述第一颜色的像素点数量超过第三阈值的情况下，判定所述图像的图标不完整；
在所述图像中存在第一颜色的像素点，且所述图像第一颜色的像素点数量不小于第一阈值,且所述图像的边缘的第二颜色的像素点数量超过第四阈值的情况下，判定所述图像的图标完整。
根据本发明提供的一种判断完整图标的系统，包括：
图像采集模块：采集一帧图像，在图像的周边区域划分判定区域；
图像扫描模块：扫描统计整个所述图像中图标所对应颜色的像素点数量以及判定区 域的辅助标识所对应颜色的像素点数量；
判断模块：在所述图像中图标所对应颜色的像素点数量小于等于第一阈值，或者所有判定区域中有一或多个个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定所述图像的图标不完整；在所述图像中图标所对应颜色的像素点数量大于第一阈值，且每个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，判定所述图像的图标完整。
优选地，所述判定区域沿所述图像的边缘构成闭环的环状结构。
优选地，在判定所述图像的图标不完整的情况下，采集下一帧图像；在判定所述图像的图标完整的情况下，对图标进行图像识别。
优选地，所述辅助标识的颜色与所述图标的颜色不同。
优选地，所述判定区域沿所述图像的边缘构成闭环的矩形环状结构；
所述判断模块包括：
在所述图像中图标所对应颜色的像素点数量小于等于第一阈值且存在互为矩形对边的两个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定所述图像的图标不完整；
在所述图像中图标所对应颜色的像素点数量大于第一阈值且存在互为矩形对边的两个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，在另外两个判定区域中判断是否均存在直线，若判断结果为否，则判定所述图像的图标不完整，若判断结果为是则判定所述图像的图标完整。
优选地，所述图标具有第一颜色，所述辅助标识具有第二颜色，所述第二颜色的区域或所述第二颜色的区域的内包络将所述第一颜色的区域包围；
所述判断模块包括：
在所述图像的边缘存在所述第一颜色的像素点，且所述第一颜色的像素点数量超过第三阈值的情况下，判定所述图像的图标不完整；
在所述图像中存在第一颜色的像素点，且所述图像第一颜色的像素点数量不小于第一阈值,且所述图像的边缘的第二颜色的像素点数量超过第四阈值的情况下，判定所述图像的图标完整。
与现有技术相比，本发明具有如下的有益效果：
1、本发明在有限的计算资源下能够确保在图像完整时再进行识别运算。例如，若在识别到图像但图像还不完整时就进行识别运算，则在下一时刻小车运动到图像 正上方可采集到完整图像时，由于对不完整图像的识别运算还在进行中，导致无法及时地对完整图像进行识别运算；
2、本发明能够以较快的速度完成识别运算，能够在降低对硬件的配置要求的同时提高识别效率，同时将该技术运用在移动机器人上时，移动机器人的移动速度较传统的可提升一倍。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为图标没有完整采集而无法识别的示意图；
图2为划分判定区域的示意图；
图3为实施例1的工作流程图；
图4为实施例2的工作流程图；
图5为图标放置于线路上的示意图；
图6为实施例3的工作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
如图3所示，本实施例提供的一种判断完整图标的方法，包括：
图像采集步骤：采集一帧图像，在图像的周边区域划分判定区域。判定区域沿图像的边缘构成闭环的环状结构，其目的是为了保证图像的边缘部分中没有图标内容，或者保证图标内容最少，其可以是图2所示的矩形结构，分为第一判定区域3、第二判定区域4、第三判定区域5和第四判定区域6(对应图3中的a、b、c、d四个区域)，当然在其他实施例中也可以是一个完全的圆环，或者完整的、组合而成的多边形环。
为了提高识别的准确率，本实施例中可以对采集到的图像进行噪音滤除，根据预设的规则去除图像中的干扰因素，然后再进入图像扫描步骤。图像去除噪音的方法可采用 现有的技术，例如：基于空间域下的滤波器、基于小波域的小波阈值去噪、基于PDE的图像去噪、全变分(TV)图像去噪等，本发明对此不作限制。
图像扫描步骤：扫描统计整个图像中图标所对应颜色的像素点数量以及判定区域的辅助标识所对应颜色的像素点数量。在本实施例中，图标所对应颜色为黑色像素，辅助标识对应白色像素，保证两者颜色不同以便于识别。
判断步骤：在图像中图标所对应颜色的像素点数量小于等于第一阈值，或者所有判定区域中有一或多个个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定图像的图标不完整；在图像中图标所对应颜色的像素点数量大于第一阈值，且每个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，判定图像的图标完整。
在判定图像的图标不完整的情况下，返回采集下一帧图像；在判定图像的图标完整的情况下，对图标进行图像识别。
此外，考虑到采集的图像可能存在拍摄到不完整的图标和辅助标识的情况，在本实施例中，还可以设置图标为第一颜色，辅助标识为第二颜色，第一颜色与第二颜色的色彩不同，第二颜色的区域或第二颜色的区域的内包络将第一颜色的区域包围。在本发明中，第一颜色并不限定只有一种颜色，也可以是各种颜色的组合，第二颜色也不限定只有一种颜色，也可以限定为各种颜色的组合。
判断步骤包括：
在图像的边缘存在第一颜色的像素点，且第一颜色的像素点数量超过第三阈值的情况下，认为图像中的第二颜色没有完全包围第一颜色，判定图像的图标不完整；在图像中存在第一颜色的像素点，且第一颜色的像素点数量不小于第一阈值,且图像的边缘的第二颜色的像素点数量超过第四阈值的情况下，认为图像中的第二颜色完全包围第一颜色，判定图像的图标完整。
本发明采用的判断图标是否完整的方法能够在小车快速前进时不错过图标，能够在降低对硬件的配置要求的同时提高识别效率，小车的移动速度可提升一倍。
实施例2
如图4所示，本实施例是在实施例1的基础上，将辅助标识改为红色像素，其判定的原理仍与实施例1相同。
实施例3
如图5所示，考虑到图标1有可能直接重叠放置在地图中的标识上(包括代表前进路线的直线、三角、四边形、多边形、其他规则或不规则形状等各类辅助图像)的可能，如图6所示，本实施例在实施例1的基础上做了进一步改进：
图像采集步骤：采集一帧图像，在图像的周边区域划分判定区域。判定区域沿图像的边缘构成闭环的环状结构，其目的是为了保证图像的边缘部分中没有图标内容，或者保证图标内容最少，其可以是图2所示的矩形结构，分为第一判定区域3、第二判定区域4、第三判定区域5和第四判定区域6，当然在其他实施例中也可以是一个完全的圆环，或者完整的、组合而成的多边形环。
图像扫描步骤：扫描统计整个图像中图标所对应颜色的像素点数量以及判定区域的辅助标识所对应颜色的像素点数量。在本实施例中，图标所对应颜色为黑色像素，辅助标识对应白色像素，保证两者颜色不同以便于识别。
判断步骤：在图像中图标所对应颜色的像素点数量小于等于第一阈值且存在互为矩形对边的两个判定区域(对应图5中的4、6)的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定图像的图标不完整；反之，在另外两个判定区域(对应图5中的3、5)中判断是否均存在直线，若判断结果为否，则判定图像的图标不完整，若判断结果为是则判定图像的图标完整。
在判定图像的图标不完整的情况下，返回采集下一帧图像；在判定图像的图标完整的情况下，对图标进行图像识别。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的 特征可以任意相互组合。

Claims (10)

  1. 一种判断完整图标的方法，其特征在于，包括：
    图像采集步骤：采集一帧图像，在图像的周边区域划分判定区域；
    图像扫描步骤：扫描统计整个所述图像中图标所对应颜色的像素点数量以及判定区域的辅助标识所对应颜色的像素点数量；
    判断步骤：在所述图像中图标所对应颜色的像素点数量小于等于第一阈值，或者所有判定区域中有一或多个个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定所述图像的图标不完整；在所述图像中图标所对应颜色的像素点数量大于第一阈值，且每个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，判定所述图像的图标完整。
  2. 根据权利要求1所述的判断完整图标的方法，其特征在于，在判定所述图像的图标不完整的情况下，返回采集下一帧图像；在判定所述图像的图标完整的情况下，对图标进行图像识别。
  3. 根据权利要求1所述的判断完整图标的方法，其特征在于，所述辅助标识的颜色与所述图标的颜色不同。
  4. 根据权利要求1所述的判断完整图标的方法，其特征在于，所述判定区域沿所述图像的边缘构成闭环的矩形环状结构；
    所述判断步骤包括：
    在所述图像中图标所对应颜色的像素点数量小于等于第一阈值且存在互为矩形对边的两个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定所述图像的图标不完整；
    在所述图像中图标所对应颜色的像素点数量大于第一阈值且存在互为矩形对边的两个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，在另外两个判定区域中判断是否均存在直线，若判断结果为否，则判定所述图像的图标不完整，若判断结果为是则判定所述图像的图标完整。
  5. 根据权利要求1所述的判断完整图标的方法，其特征在于，所述图标具有第一颜色，所述辅助标识具有第二颜色，所述第二颜色的区域或所述第二颜色的区域的内包络将所述第一颜色的区域包围；
    所述判断步骤包括：
    在所述图像的边缘存在所述第一颜色的像素点，且所述第一颜色的像素点数量超过第三阈值的情况下，判定所述图像的图标不完整；
    在所述图像中存在第一颜色的像素点，且所述图像第一颜色的像素点数量不小于第一阈值,且所述图像的边缘的第二颜色的像素点数量超过第四阈值的情况下，判定所述图像的图标完整。
  6. 一种判断完整图标的系统，其特征在于，包括：
    图像采集模块：采集一帧图像，在图像的周边区域划分判定区域；
    图像扫描模块：扫描统计整个所述图像中图标所对应颜色的像素点数量以及判定区域的辅助标识所对应颜色的像素点数量；
    判断模块：在所述图像中图标所对应颜色的像素点数量小于等于第一阈值，或者所有判定区域中有一或多个个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定所述图像的图标不完整；在所述图像中图标所对应颜色的像素点数量大于第一阈值，且每个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，判定所述图像的图标完整。
  7. 根据权利要求6所述的判断完整图标的系统，其特征在于，在判定所述图像的图标不完整的情况下，采集下一帧图像；在判定所述图像的图标完整的情况下，对图标进行图像识别。
  8. 根据权利要求6所述的判断完整图标的系统，其特征在于，所述辅助标识的颜色与所述图标的颜色不同。
  9. 根据权利要求6所述的判断完整图标的系统，其特征在于，所述判定区域沿所述图像的边缘构成闭环的矩形环状结构；
    所述判断模块：
    在所述图像中图标所对应颜色的像素点数量小于等于第一阈值且存在互为矩形对边的两个判定区域的辅助标识所对应颜色的像素点数量小于等于第二阈值的情况下，判定所述图像的图标不完整；
    在所述图像中图标所对应颜色的像素点数量大于第一阈值且存在互为矩形对边的两个判定区域的辅助标识所对应颜色的像素点数量大于第二阈值的情况下，在另外两个判定区域中判断是否均存在直线，若判断结果为否，则判定所述图像的图标不完整，若判断结果为是则判定所述图像的图标完整。
  10. 根据权利要求6所述的判断完整图标的系统，其特征在于，所述图标具有第 一颜色，所述辅助标识具有第二颜色，所述第二颜色的区域或所述第二颜色的区域的内包络将所述第一颜色的区域包围；
    所述判断模块包括：
    在所述图像的边缘存在所述第一颜色的像素点，且所述第一颜色的像素点数量超过第三阈值的情况下，判定所述图像的图标不完整；
    在所述图像中存在第一颜色的像素点，且所述图像第一颜色的像素点数量不小于第一阈值,且所述图像的边缘的第二颜色的像素点数量超过第四阈值的情况下，判定所述图像的图标完整。
PCT/CN2021/140259 2020-12-23 2021-12-22 判断完整图标的方法及系统 WO2022135427A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020237022023A KR20230113373A (ko) 2020-12-23 2021-12-22 완전한 아이콘을 판단하는 방법 및 시스템
US18/268,630 US20240046665A1 (en) 2020-12-23 2021-12-22 Method and system for determining complete icon
EP21909423.2A EP4261736A4 (en) 2020-12-23 2021-12-22 METHOD AND SYSTEM FOR DETERMINING A COMPLETE ICON

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011539921.7 2020-12-23
CN202011539921.7A CN112597893A (zh) 2020-12-23 2020-12-23 判断完整图标的方法及系统

Publications (1)

Publication Number Publication Date
WO2022135427A1 true WO2022135427A1 (zh) 2022-06-30

Family

ID=75200393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/140259 WO2022135427A1 (zh) 2020-12-23 2021-12-22 判断完整图标的方法及系统

Country Status (5)

Country Link
US (1) US20240046665A1 (zh)
EP (1) EP4261736A4 (zh)
KR (1) KR20230113373A (zh)
CN (1) CN112597893A (zh)
WO (1) WO2022135427A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597893A (zh) * 2020-12-23 2021-04-02 上海布鲁可积木科技有限公司 判断完整图标的方法及系统
CN113689446B (zh) * 2021-09-10 2024-01-26 上海布鲁可积木科技有限公司 图像定位及分割的方法及系统
CN115445218B (zh) * 2022-09-05 2024-07-23 上海布鲁可教育科技有限公司 寻线玩具中的图像处理方法及指令卡结构

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240228A (zh) * 2013-06-24 2014-12-24 阿里巴巴集团控股有限公司 一种应用于网站的特定图片的检测方法及装置
US9131150B1 (en) * 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
CN105607831A (zh) * 2015-12-17 2016-05-25 珠海市君天电子科技有限公司 弹窗的控制方法及装置
CN106971386A (zh) * 2016-01-14 2017-07-21 广州市动景计算机科技有限公司 判断图像完整度及页面加载度的方法、装置和客户端设备
CN110221625A (zh) * 2019-05-27 2019-09-10 北京交通大学 无人机精确位置的自主降落导引方法
CN111625003A (zh) 2020-06-03 2020-09-04 上海布鲁可科技有限公司 移动机器人玩具及其使用方法
CN112597893A (zh) * 2020-12-23 2021-04-02 上海布鲁可积木科技有限公司 判断完整图标的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240228A (zh) * 2013-06-24 2014-12-24 阿里巴巴集团控股有限公司 一种应用于网站的特定图片的检测方法及装置
US9131150B1 (en) * 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
CN105607831A (zh) * 2015-12-17 2016-05-25 珠海市君天电子科技有限公司 弹窗的控制方法及装置
CN106971386A (zh) * 2016-01-14 2017-07-21 广州市动景计算机科技有限公司 判断图像完整度及页面加载度的方法、装置和客户端设备
CN110221625A (zh) * 2019-05-27 2019-09-10 北京交通大学 无人机精确位置的自主降落导引方法
CN111625003A (zh) 2020-06-03 2020-09-04 上海布鲁可科技有限公司 移动机器人玩具及其使用方法
CN112597893A (zh) * 2020-12-23 2021-04-02 上海布鲁可积木科技有限公司 判断完整图标的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4261736A4

Also Published As

Publication number Publication date
KR20230113373A (ko) 2023-07-28
CN112597893A (zh) 2021-04-02
US20240046665A1 (en) 2024-02-08
EP4261736A4 (en) 2024-01-17
EP4261736A1 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
WO2022135427A1 (zh) 判断完整图标的方法及系统
CN102999753B (zh) 车牌定位方法
CN105260693B (zh) 一种激光二维码定位方法
CN103927526B (zh) 一种基于高斯差分多尺度边缘融合的车辆检测方法
CN102693423B (zh) 一种在强光条件下车牌精确定位的方法
CN105453153B (zh) 交通灯检测
CN104700072B (zh) 基于车道线历史帧的识别方法
Li et al. Nighttime lane markings recognition based on Canny detection and Hough transform
CN102819728A (zh) 一种基于分类模板匹配的交通标志检测方法
CN102226907A (zh) 基于多特征的车牌定位方法及装置
CN108805018A (zh) 道路交通标志检测识别方法、电子设备、存储介质及系统
CN102254152A (zh) 基于彩色跳变点和颜色密度的车牌定位方法
CN108256467B (zh) 一种基于视觉注意机制和几何特征的交通标志检测方法
CN102073872B (zh) 基于图像的寄生虫虫卵形状识别方法
CN103279755A (zh) 基于汽车底部阴影特征的快速车牌定位方法
CN107610092A (zh) 基于视频流的路面裂缝动态检测方法
CN105701487A (zh) 一种车标定位的方法
CN107169967A (zh) 一种基于图像处理的金刚石锯片裂纹检测方法
CN104598907A (zh) 一种基于笔画宽度图的图像中文字数据提取方法
CN106780531A (zh) 一种基于色块点特征的图像边缘提取方法
KR20240089263A (ko) 결함 검출 방법, 결함 검출 시스템, 및 결함 검출 프로그램
CN108492306A (zh) 一种基于图像轮廓的x型角点提取方法
CN104239888B (zh) 一种基于水表表盘环形排布钢印字符定位方法
CN103049742B (zh) 一种车牌定位的方法
CN103065145A (zh) 一种车辆运动阴影消除方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21909423

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18268630

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20237022023

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021909423

Country of ref document: EP

Effective date: 20230710

NENP Non-entry into the national phase

Ref country code: DE