WO2023179317A1 - 过敏物种播报方法、系统及可读存储介质 - Google Patents

过敏物种播报方法、系统及可读存储介质 Download PDF

Info

Publication number
WO2023179317A1
WO2023179317A1 PCT/CN2023/078610 CN2023078610W WO2023179317A1 WO 2023179317 A1 WO2023179317 A1 WO 2023179317A1 CN 2023078610 W CN2023078610 W CN 2023078610W WO 2023179317 A1 WO2023179317 A1 WO 2023179317A1
Authority
WO
WIPO (PCT)
Prior art keywords
species
information
allergy
allergic
sensitization
Prior art date
Application number
PCT/CN2023/078610
Other languages
English (en)
French (fr)
Inventor
徐青松
李青
Original Assignee
杭州睿胜软件有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州睿胜软件有限公司 filed Critical 杭州睿胜软件有限公司
Publication of WO2023179317A1 publication Critical patent/WO2023179317A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • Figure 1 shows a schematic diagram of the network environment of the allergic species reporting system provided by a preferred embodiment of the present invention.
  • Figure 2 shows a schematic flow chart of an allergic species reporting method provided by an embodiment of the present invention.
  • the network environment 100 of the allergic species reporting system may include a mobile device 102, a remote server 103, a training device 104 and a database 105, which are coupled to each other via a network 106 by wires or wirelessly.
  • Network 106 may embody a wide area network (such as a mobile phone network, a public switched telephone network, a satellite network, the Internet, etc.), a local area network (such as Wi-Fi, Wi-Max, ZigBeeTM, BluetoothTM, etc.), and/or other forms of networking functionality.
  • the remote server 103 may be configured to analyze images and the like received from the mobile device 102 via the network 106 to determine the type of allergenic species and identify detailed information such as the growth stage of the allergenic species.
  • the remote server 103 may also be configured to create and train the plant recognition model of this embodiment. The specific training process of the plant recognition model will be described below in conjunction with specific embodiments.
  • Training device 104 may be coupled to network 106 to facilitate training of plant recognition models.
  • the training device 104 may have multiple CPUs and/or GPUs to assist in training the plant recognition model.
  • Database 105 may be coupled to network 106 and provide data needed by remote server 103 to perform related calculations.
  • the database 105 may include a sample library that stores a large number of images of plants of different types, as well as a sample library of images of plants in multiple growth stages of the same type.
  • the sample library may include a large number of image samples of different varieties of sycamore trees in different locations, seasons, weather at different times, and different shooting angles.
  • the selected plant photos taken by the user can also be stored in a sample library corresponding to the plant type.
  • the location information, seasonal information, and time information of the plant can also be recorded in the database.
  • growth stage information and morphological information corresponding to one or more of the weather information and shooting angle information.
  • the database can be implemented using various database technologies known in the art.
  • the remote server 103 can access the database 105 as needed to perform related operations.
  • network environment 100 of this article is only an example. Those skilled in the art can add more devices or delete some devices as needed, and can modify the functions and configurations of some devices.
  • FIG 2 shows a schematic flowchart of an allergic species reporting method according to a preferred embodiment of the present invention.
  • This method can be implemented in an application program (app) installed on a smart terminal such as a mobile phone or tablet computer.
  • the method includes:
  • Step S100 Identify the species information and growth stage information of the plants in the picture through the plant recognition model
  • Step S300 Push protection information to relevant users based on the sensitization information and location information of the allergic species.
  • the plant recognition model can be a neural network model, specifically a convolutional neural network model or a residual network model.
  • the convolutional neural network model is a deep feed-forward neural network, which uses convolution kernels to scan species images, extract multiple features to be identified in the species images, and then identify the features to be identified of the species.
  • the original species images can be directly input into the convolutional neural network model without preprocessing the species images.
  • the convolutional neural network model has higher recognition accuracy and recognition efficiency.
  • the residual network model Compared with the convolutional neural network model, the residual network model has more identity mapping layers, which can avoid the The increase in network depth (the number of overlays in the network) causes the accuracy to saturate or even decrease.
  • the identity mapping function of the identity mapping layer in the residual network model needs to satisfy: the sum of the identity mapping function and the input of the residual network model is equal to the output of the residual network model. After the introduction of identity mapping, the changes in the output of the residual network model are more obvious, so the accuracy and efficiency of species feature recognition can be greatly improved.
  • the training ends when the first training accuracy rate is greater than or equal to the first preset accuracy rate, and a trained feature classification model is obtained.
  • the first sample set may include a large number of species images, and each species image is marked with its corresponding multiple features.
  • the feature classification model can also output multiple candidate features, where each candidate feature can have its corresponding feature confidence for further analysis and screening.
  • the trained feature classification model can also be tested, which may include:
  • the first training set and/or the feature classification model are adjusted for retraining.
  • the species images in the first test set and the first training set are not exactly the same, so the first test set can be used to test whether the feature classification model also has a good recognition effect on species images other than the first training set.
  • the first result of the feature classification model is calculated by comparing the output feature information generated based on the species images in the first test set and the annotated feature information. Model accuracy.
  • the calculation method of the first model accuracy may be the same as the calculation method of the first training accuracy. When the accuracy of the first model obtained in the test is less than the second preset accuracy, it indicates that the recognition effect of the feature classification model is not good enough, so the first training set can be adjusted.
  • the features annotated with feature information in the first training set can be added.
  • the second preset accuracy rate may be set equal to the first preset accuracy rate.
  • the plant recognition model may be, for example, a neural network model established through sample training in advance, such as a convolutional neural network model or a residual network model.
  • the same recognition model can be used to identify plant species and growth stages together, or two separate models can be used to identify plant species and growth stages separately.
  • the growth stage may include one of the seed/seedling stage, the vegetative stage (leaf stage), the growth stage, the flowering stage, the fruit stage, the deciduous stage, the dormant stage, and the drying stage. In addition, it may also include picked leaves, fallen flowers or fruits. , and other different growth stages or different shapes and parts, all of the above can be identified by training and establishing a recognition model through labeled samples.
  • the received image may be previously stored by the user or captured in real time by the user.
  • the image may be previously stored by the user in the mobile device 102 or captured in real time by the user using an external camera connected to the mobile device 102 or a camera built into the mobile device 102 .
  • the user can also obtain the image in real time through the network.
  • Allergy and sensitization period for example, the sensitization period of a willow tree is the fruit stage, and then identify whether the growth stage of the willow tree is in the fruit stage to determine whether it is in the sensitization stage.
  • the sensitization period can also be identified without the growth stage. It can also be confirmed whether the allergic species is in the sensitization period at the current time only through time information. For example, the appearance time of catkins is generally April to May every year, so the sensitization of willow trees can be defaulted. The period is from April to May.
  • the sensitization period can also be comprehensively combined with time information based on the growth stage. A comprehensive judgment confirms that the allergens of some plants are produced at specific times in a certain growth state.
  • Allergenic plants that have not yet reached the sensitization period can provide early warning information. Once they enter the sensitization period, warning messages can be pushed to users in the area. If an allergic plant is identified based on its growth status and has not yet entered the sensitization stage, but the actual time has reached the sensitization stage, the allergy plant will be reminded that it may enter the sensitization stage at any time until the next time the allergic plant is photographed again to identify the growth stage and enter the allergy stage. After the expiration date, allergy warning information will be pushed directly to relevant users.
  • sensitization warning information is pushed to users within the set area.
  • the time and place where the user took the photo will be obtained, marked and displayed on the allergy broadcast map, and pushed to users in the corresponding area (for example, within 5 kilometers), or actively shared with specific areas. user or friend.
  • the allergy species reporting system can also obtain the user's location information in real time, and push relevant allergy warning information to the user once there are allergic plants in the area they enter.
  • allergy warning information is pushed to users within the set area. Once the allergic species enters the sensitization period, allergy warning information is pushed to users within the set area. of users push allergy warning messages.
  • the location information and shooting time information of the allergic species are obtained, and marked and displayed on the regional map.
  • the degree of impact on different regional ranges is differentiated and marked.
  • Corresponding colors can be drawn according to the degree of influence of allergic plants in different areas on the map. For example, the area closest to the allergenic plant 50m is marked red, the area within 50-100 meters is marked orange, the area 100-200 meters is marked yellow, and none The allergy information area is marked green to remind users of the affected areas of different allergic plants, and be careful to avoid corresponding areas.
  • parts of different allergic species with overlapping affected areas can be overlaid and displayed with differentiated annotations.
  • the number of types, number of individuals, and distribution density of allergic species (especially wind-borne allergic species) to determine the allergy level (allergy risk index) of the corresponding area and divide it.
  • the distribution density of allergic plants in different areas can be calculated based on the cumulative identification or other user identification reported allergic plant information combined with the areas of different sizes.
  • areas with different allergy levels can also be combined with the interactive method of drawing different levels and different colors. show for household.
  • the differentiated annotation and display of the degree of influence of different regional ranges further includes: obtaining weather information of the current area, and adjusting the influence area and degree of influence of the allergic species according to the weather information.
  • the allergy species reporting system can calculate the risk levels of different areas, the scope of influence of allergic species, etc. by obtaining weather information such as weather, temperature, humidity, wind direction and speed in the current area. For example, sunny days are more risky than rainy days, and risk levels are higher when wind speeds are high. High, the area affected by different wind directions and wind speeds will also be different.
  • the allergy broadcast system can more accurately obtain the current risk levels of different areas, so that users can plan travel routes and avoid corresponding dangerous areas.
  • Information such as weather is obtained based on the user's location information.
  • the warning levels and corresponding scope of influence in different areas can be updated in real time based on the weather information.
  • the allergy species reporting system can also fit the allergy risk index based on the global distribution of allergy species and the user's geographical location, such as allergy species distribution data from global biodiversity information agencies and allergy species obtained from the species identification system. distribution, and calculate the distribution density of allergenic species in different regions around the world. Based on the list of wind-borne allergy species and combined with information such as seasonal climate in the region, the concentration of allergens in each time period is estimated, and the allergy risk is obtained based on the above data. index.
  • the method further includes: if no allergic species is identified at the current location within a set time period, but there is an allergic species in the current location of the historical record, obtaining the sensitization information and sensitization period of the allergic species. information, and push protection information on possible allergic species at the location to relevant users during the sensitization period. Users can click on the allergy report map to view the status of allergenic plants in the corresponding area or all areas. In some areas, there may be location information of non-allergenic plants reported in the current time period (such as this year or this quarter), but there are historical records of allergenic plants at this location.
  • the time of the last allergy period and allergenic species information of the allergenic plant are captured and displayed as the current estimated time and estimated allergenic species information, reminding the user that there may be corresponding allergenic plants at this location and pay attention to the corresponding preventive measures for self-care.
  • Protect Subsequently, if a user arrives at the current location and identifies that the corresponding allergenic plant does not exist in the image taken by the current location, the relevant allergenic plant information database will be updated. For example, the user is guided to take multiple photos (or panoramic photos) covering the entire 360-degree range at the same location, so that the plant recognition model can be used to identify whether there are still historically allergic plants.
  • the sensitization information includes allergen information, allergy transmission methods, protection methods and treatment method information.
  • Users can also click on the mark on the allergy broadcast map to view the locations where allergenic plants appear at the current time, and at the same time display their plant variety information and allergy information, such as allergen information, allergy transmission methods, protection methods and treatment methods, etc.
  • the allergy report map displays a zoom-out icon for photos of allergenic plants taken by users. Click to view multiple full pictures and photos of the current location taken by other users.
  • the zoom-out icon can automatically select pictures containing allergens for display (for example, a willow tree picture can be selected to include catkins) picture of).
  • Pushing protection information to relevant users based on the sensitization information and location information of the allergic species includes: pushing protection information to relevant users within a set area based on allergy information preset by the user. Users can set their own allergy information in advance, and then click to see whether there are allergenic plants involved in the corresponding area, as well as the location information of the allergenic plants.
  • the allergy species reporting system can also choose to push corresponding allergy warnings based on the allergy information set by the user. information.
  • the present invention also provides an allergic species reporting system.
  • the allergy species reporting system 200 can include a processor 210 and a memory 220. Instructions are stored on the memory 220. When the instructions are executed by the processor 210, the steps in the allergy species reporting method described above can be implemented. .
  • the memory 220 stores executable instructions, which are used by the processor 210 to execute the allergic species reporting method described above.
  • Memory 220 may be volatile memory or non-volatile memory, or may include both volatile and non-volatile memory.
  • Non-volatile memory may be read-only memory (ROM), programmable read-only memory (PROM), erasable programmable read-only memory (EPROM), electrically erasable programmable read-only memory (EEPROM), or flash memory.
  • Volatile memory can be random Access memory (RAM), which serves as external cache.
  • RAM Direct Memory Bus Random Access Memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • SDRAM synchronous dynamic random access memory
  • DDRSDRAM double data rate synchronous dynamic Random Access Memory
  • ESDRAM Enhanced Synchronous Dynamic Random Access Memory
  • SLDRAM Synchronous Linked Dynamic Random Access Memory
  • DR RAM Direct Memory Bus Random Access Memory
  • each block of the block diagram and/or flowchart illustration, and combinations of blocks in the block diagram and/or flowchart illustration can be implemented by special purpose hardware-based systems that perform the specified functions or operations. , or can be implemented using a combination of specialized hardware and computer instructions.
  • the various example embodiments of the invention may be implemented in hardware or special purpose circuits, software, firmware, logic, or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software that may be executed by a controller, microprocessor, or other computing device.
  • aspects of embodiments of the invention are illustrated or described as block diagrams, flow diagrams, or using some other diagram When represented graphically, it will be understood that the blocks, devices, systems, techniques or methods described herein may be implemented as non-limiting examples in hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controllers or other computing devices, or implemented in some combinations thereof.

Abstract

本发明提供了一种过敏物种播报方法、系统及可读存储介质，所述过敏物种播报方法包括：通过植物识别模型识别图片中的植物的物种信息和生长阶段信息；若当前植物属于过敏物种时，获取其致敏信息和位置信息；根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息。本发明提供的方案可以通过过敏物种播报地图向用户展示当前区域内的过敏物种的具体物种信息、位置信息、致敏信息和防护信息，同时可以推送相关过敏物种的警告信息或预警信息，提示对应用户避开相应区域，以免出现过敏症状。

Description

过敏物种播报方法、系统及可读存储介质 技术领域
本发明涉及对象识别技术领域，特别涉及一种过敏物种播报方法、系统及可读存储介质。
背景技术
植物是我们赖以生存的环境的创造者，制造氧气、提供食物、能源，杀菌防尘、保水减噪。植物的花开花落、旖旎多姿，装点着我们的美好生活。生活中植物无处不在，人类的生活绝对离不开植物，但是有些植物的某些器官是有毒的或会致人过敏，接触、吸入或食用会造成严重后果，例如花粉过敏、柳絮过敏等不同过敏症状。
以花粉过敏为例，其主要是患者对植物花粉过敏所引起，主要累及眼及上呼吸道。该病症绝大部分由风做传播媒体的花粉诱发。常见的致病花粉有篙属花粉、向日葵、梧桐、蓖麻、苋属植物、葫属植物、杨树、榆树的花粉等。
因此，存在对过敏物种预警信息的需求。
发明内容
本公开的目的之一是提供一种过敏物种播报方法，包括：
通过植物识别模型识别图片中的植物的物种信息和生长阶段信息；
若当前植物属于过敏物种时，获取其致敏信息和位置信息；
根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息。
在一些实施例中，所述根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息包括：
根据所述过敏物种的致敏信息、生长阶段信息和/或当前时间信息判断其是否处于致敏期，并根据判断结果向相关用户推送防护信息。
在一些实施例中，当所述过敏物种处于致敏期时，对设定区域范围内的用户推送致敏警告信息。
在一些实施例中，当所述过敏物种未到致敏期时，对设定区域范围内的用户推送致敏预警信息，一旦所述过敏物种进入致敏期时，再对设定区域范围内的用户推送致敏警告信息。
在一些实施例中，当所述过敏物种处于致敏期时，获取所述过敏物种的位置信息和拍摄时间信息，并在区域地图上进行标注显示。
在一些实施例中，当所述过敏物种处于致敏期时，对其不同区域范围的影响程度进行区分标注显示。
在一些实施例中，对于不同的过敏物种，且其影响区域范围重叠的部分进行叠加并区分标注显示。
在一些实施例中，对于不同的区域范围，计算过敏物种的种类数量、个体数量以及分布密度来确定相应区域的致敏等级并进行划分。
在一些实施例中，所述对不同区域范围的影响程度进行区分标注显示还包括：获取当前区域的天气信息，并根据所述天气信息调整所述过敏物种的影响区域和影响程度。
在一些实施例中，该方法还包括：若当前位置在设定时间段内未识别出过敏物种，但历史记录的当前位置存在过敏物种时，获取所述过敏物种的致敏信息和致敏期，并在致敏期向相关用户推送所述位置可能存在过敏物种的防护信息。
在一些实施例中，所述致敏信息包括致敏源信息、过敏传播方式、防护方式和/或治疗方式信息。
在一些实施例中，所述根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息包括：
根据用户预先设置的过敏信息向设定区域范围内的相关用户推送防护信息。
根据本公开的另一方面，提出了一种可读存储介质，其上存储有程序，所述程序被执行时实现如上所述的过敏物种播报方法。
根据本公开的另一方面，提出了一种过敏物种播报系统，包括处理器和存储器，所述存储器上存储有程序，所述程序被所述处理器执行时，实现如 上所述的过敏物种播报方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得更为清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
图1所示为本发明一较佳实施例提供的过敏物种播报系统的网络环境示意图。
图2所示为本发明一实施例提供的过敏物种播报方法的流程示意图。
图3所示为本发明一实施例提供的过敏物种播报系统的结构示意图。
注意，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在一些情况中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为了便于理解，在附图等中所示的各结构的位置、尺寸及范围等有时不表示实际的位置、尺寸及范围等。因此，本公开并不限于附图等所公开的位置、尺寸及范围等。
具体实施方式
下面将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。也就是说，本文中的结构及方法是以示例性的方式示出，来说明本公开中的结构和方法的不同实施例。然而，本领域技术人员将会理解，它们仅仅说明可以用来实施的本公开的示例性方式，而不是穷尽的方式。此外，附图不必按比例绘制，一些特征可能被放大以示 出具体组件的细节。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
本申请的发明人深入研究了用于过敏物种播报的方法及系统。图1所示为本发明一较佳实施例提供的过敏物种播报系统的网络环境示意图。
过敏物种播报系统的网络环境100可以包括移动设备102、远程服务器103、训练设备104和数据库105，它们通过网络106彼此有线或无线地耦接。网络106可以体现为广域网(诸如移动电话网络、公共交换电话网络、卫星网络、互联网等)、局域网(诸如Wi-Fi、Wi-Max、ZigBeeTM、BluetoothTM等)和/或其它形式的联网功能。
移动设备102可以包括移动电话、平板计算机、膝上型计算机、个人数字助理和/或被配置用于捕获、存储和/或传输诸如数字照片之类的图像的其它计算装置。因此，移动设备102可以包括诸如数字相机之类的图像捕获装置和/或可以被配置为从其它装置接收图像。移动设备102可以包括显示器。显示器可以被配置用于向用户101提供一个或多个用户界面，所述用户界面可以包括多个界面元素，用户101可以与界面元素进行交互等。例如，用户101可以使用移动设备102对某一植物进行拍摄并上传或存储图像。移动设备102可以向用户输出有关该过敏物种的类别信息、位置信息、致敏信息和防护信息等详细介绍等，或者可以向用户展示过敏物种播报地图，以及推送过敏物种警告和预警信息、用户也可以向其它用户或好友分享过敏物种信息等。
远程服务器103可以被配置为对经由网络106从移动设备102接收的图像等进行分析以确定过敏物种的种类，并识别该过敏物种的生长阶段等详细信息。远程服务器103还可以被配置为创建并训练本实施例的植物识别模型。植物识别模型的具体训练过程将在下文结合具体实施例进行描述。
训练设备104可以耦合到网络106以促进植物识别模型的训练。训练设备104可以具有多个CPU和/或GPU以辅助训练植物识别模型。
数据库105可以耦合到网络106并提供远程服务器103进行相关计算所需的数据。例如，数据库105可以包括存储有大量的不同种类的植物的图像的样本库，以及同一种类下的多个生长阶段的植物的图像的样本库。在一个实施例中，以梧桐为例，样本库可以包括大量不同位置、不同季节、不同时间天气和不同拍摄角度下的不同品种的梧桐的图像样本。在一个实施例中，还可以将用户所拍摄的选定植物照片存储到与该植物种类相对应的样本库中，同时，还可以在数据库中记录与该植物的位置信息、季节信息、时间信息、天气信息和拍摄角度信息中的一个或多个相对应的生长阶段信息和形态信息。数据库可以采取本领域中已知的各种数据库技术来实现。远程服务器103可以根据需要访问数据库105以进行相关操作。
应该理解的是，本文的网络环境100仅仅是一个示例。本领域技术人员可以根据需要，增加更多的装置或删减一些装置，并且可以对一些装置的功能和配置进行修改。
图2所示为本发明较佳实施例的过敏物种播报方法的流程示意图，该方法可以在例如手机、平板电脑等智能终端上安装的应用程序(app)中实现。如图1所示，该方法包括：
步骤S100：通过植物识别模型识别图片中的植物的物种信息和生长阶段信息；
步骤S200：若当前植物属于过敏物种时，获取其致敏信息和位置信息；
步骤S300：根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息。
植物识别模型可以是神经网络模型，具体可以是卷积神经网络模型或残差网络模型。卷积神经网络模型为深度前馈神经网络，其利用卷积核扫描物种图像，提取出物种图像中多个待识别的特征，进而对物种待识别的特征进行识别。另外，在对物种图像进行识别的过程中，可以直接将原始的物种图像输入卷积神经网络模型，而无需对物种图像进行预处理。卷积神经网络模型相比于其他的识别模型，具备更高的识别准确率以及识别效率。
残差网络模型相比于卷积神经网络模型多了恒等映射层，可以避免随着 网络深度(网络中叠层的数量)的增加而导致的准确率饱和、甚至下降的现象。残差网络模型中恒等映射层的恒等映射函数需要满足：恒等映射函数与残差网络模型的输入之和等于残差网络模型的输出。引入恒等映射以后，残差网络模型对输出的变化更加明显，因此可以大大提高物种的特征识别准确率和识别效率。
在一些实施例中，训练特征分类模型可以包括：
获取具有预设数量的标注有多个特征信息的物种图像的第一样本集；
从第一样本集中确定一定比例的物种图像作为第一训练集；
利用第一训练集训练特征分类模型；以及
在第一训练准确率大于或者等于第一预设准确率时训练结束，得到训练后的特征分类模型。
具体地，在第一样本集中，可以包括大量的物种图像，并且每幅物种图像都对应标注有其对应的多个特征。将物种图像输入特征分类模型以产生输出的特征信息，然后根据输出的特征信息和标注的特征信息之间的比较结果，可以对特征分类模型中的相关参数进行调节，即对特征分类模型进行训练，直至特征分类模型的第一训练准确率大于或者等于第一预设准确率时训练结束，从而得到训练后的特征分类模型。根据一幅物种图像，特征分类模型也可以输出多个候选特征，其中每个候选特征可以具有其相应的特征置信度，以待进一步的分析筛选。
进一步的，还可以对训练得到的特征分类模型进行测试，具体可以包括：
从第一样本集中确定一定比例的物种图像作为第一测试集；
利用第一测试集确定训练后的特征分类模型的第一模型准确率；以及
在第一模型准确率小于第二预设准确率时，调整第一训练集和/或特征分类模型进行重新训练。
一般情况下，第一测试集和第一训练集中的物种图像并不完全相同，因而可以用第一测试集来测试特征分类模型是否对第一训练集之外的物种图像也有很好的识别效果。在测试过程中，通过比较根据第一测试集中的物种图像所产生的输出的特征信息和标注的特征信息，来计算特征分类模型的第一 模型准确率。在一些示例中，第一模型准确率的计算方法可以与第一训练准确率的计算方法相同。当测试得到的第一模型准确率小于第二预设准确率时，表明特征分类模型的识别效果还不够好，因而可以调整第一训练集，具体例如可以增加第一训练集中的标注有特征信息的物种图像的数量，或者调整特征分类模型本身，或者对上述两者均进行调整，然后重新训练特征分类模型来改善其识别效果。在一些实施例中，第二预设准确率可以被设置为等于第一预设准确率。
植物识别模型例如可以是预先通过样本训练建立的神经网络模型，诸如卷积神经网络模型或残差网络模型等。可以使用同一个识别模型来一起识别植物的物种和生长阶段，也可以使用两个单独的模型来分别识别植物的物种和生长阶段。生长阶段可以包括种子/幼苗期、营养期(叶期)、生长期、花期、果期、落叶期、休眠期、以及干枯期中的一个，此外还可以包括摘下来的叶子、落下的花朵或果实、其他等不同的生长阶段或者不同的形态以及部位，以上都可以通过经过标注的样本进行训练建立识别模型来识别。
接收的图像可以是用户先前存储的或者是用户实时拍摄的。例如，所述图像可以是用户先前存储在移动设备102中或者是用户使用连接到移动设备102的外置摄像头或移动设备102内置的摄像头进行实时拍摄的。在一个实施例中，用户还可以通过网络实时获取所述图像。
在一些实施例中，所述根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息包括：根据所述过敏物种的致敏信息、生长阶段信息和/或当前时间信息判断其是否处于致敏期，并以此决定向相关用户推送防护信息的具体内容。例如柳树在果期会出现柳絮，即柳树的果期为致敏期，判断当前植物是否为致敏植物和有毒物种识别类别，可以通过预存在内容管理数据库中的物种信息来获得当前物种的致敏性及致敏期，例如获得柳树的致敏期为果期，然后识别柳树的生长阶段是否处于果期来判断其是否处于致敏期。致敏期也可以不通过生长阶段识别，仅通过时间信息也能确认当前时间该过敏物种是否为致敏期，比如柳絮的出现时间一般为每年的4-5月份，因此可默认柳树的致敏期为4-5月。同时致敏期还可以通过生长阶段结合时间信息来综 合判断确认，部分植物的致敏期在某一生长状态的特定时间时产生过敏源。未到致敏期的过敏植物可以提供预警信息显示，一旦进入致敏期就可以对区域内的用户推送警告信息。若某一过敏植物根据生长状态识别尚未进入致敏期，但是实际时间已到致敏期，则提醒该过敏植物随时可能进入致敏期，直到下次该过敏植物再次被拍摄识别生长阶段进入过敏期了就直接推送过敏警告信息给相关用户。
当所述过敏物种处于致敏期时，对设定区域范围内的用户推送致敏警告信息。对于处于致敏期的过敏植物，获取用户拍摄照片的时间和地点，并在过敏播报地图上进行标记显示，推送给相应区域内的用户(例如5公里范围内)，也可以主动分享给特定区域的用户或好友。过敏物种播报系统还可以实时获取用户的位置信息，一旦其进入的区域范围内具有过敏植物就推送相关过敏警告信息给用户。
在一些实施例中，当所述过敏物种未到致敏期时，对设定区域范围内的用户推送致敏预警信息，一旦所述过敏物种进入致敏期时，再对设定区域范围内的用户推送致敏警告信息。当所述过敏物种处于致敏期时，获取所述过敏物种的位置信息和拍摄时间信息，并在区域地图上进行标注显示。
当所述过敏物种处于致敏期时，对其不同区域范围的影响程度进行区分标注显示。可以按照过敏植物在地图上不同区域范围内的影响程度来绘制相应颜色，例如最靠近过敏植物50m区域范围内标注红色，50-100米范围以内标注橙色，100-200米范围内标注黄色，无过敏信息区域内标注绿色等来提醒用户不同过敏植物的影响区域范围，注意避开相应区域等。
在一些实施例中，对于不同的过敏物种，且其影响区域范围重叠的部分可以进行叠加并区分标注显示。
对于不同的区域范围，计算过敏物种(特别是风媒过敏物种)的种类数量、个体数量以及分布密度来确定相应区域的致敏等级(过敏风险指数)并进行划分。例如可以根据累计识别或其他用户识别上报的过敏植物信息结合不同大小区域的面积进行计算不同区域的过敏植物的分布密度，同样不同致敏等级的区域也可以结合不同等级不同颜色绘制的交互方式进行展示给用 户。
在一些实施例中，所述对不同区域范围的影响程度进行区分标注显示还包括：获取当前区域的天气信息，并根据所述天气信息调整所述过敏物种的影响区域和影响程度。过敏物种播报系统可以通过获取当前区域的天气、温度、湿度、风向风速等天气信息来计算不同区域的危险等级，过敏物种的影响范围等，例如晴天要比雨天风险大，风速大时风险等级较高，不同风向和风速影响的区域范围也会不同，通过相应的计算过敏播报系统可以较为准确的获取当前不同区域的风险等级，以便用户规划出行路线，绕开相应的危险区域。天气等信息的获取是根据用户的位置信息来获取的，同时可以根据天气信息实时更新不同区域的预警等级和相应的影响范围。
同时，过敏物种播报系统还可以根据过敏物种的全球分布情况,结合用户地理位置,来拟合过敏风险指数，例如结合全球生物多样性资讯机构的过敏物种分布数据和物种识别系统获取到的过敏物种分布情况，推算出全球各个不同区域的过敏物种的分布密度，根据风媒过敏物种清单并结合区域位置的季节气候等信息，预估各个时间段的过敏源浓度情况，从而根据以上数据获取过敏风险指数。
在一些实施例中，该方法还包括：若当前位置在设定时间段内未识别出过敏物种，但历史记录的当前位置存在过敏物种时，获取所述过敏物种的致敏信息和致敏期信息，并在致敏期向相关用户推送所述位置可能存在过敏物种的防护信息。用户点击过敏播报地图可以查看相应区域或全部区域的过敏植物情况，部分区域下可能存在无过敏植物在当前时间段上报的位置信息(例如本年度或者本季度)，但是历史记录的此地点有过敏植物存在时，抓取该过敏植物上一过敏期的时间和过敏物种信息作为当前的预估时间和预估过敏物种信息显示，提醒用户该位置可能存在相应的过敏植物，注意相应的防范措施进行自我保护。后续如果有用户到达当前位置拍摄的图像中识别出确实已经不存在相应过敏植物时，对相关过敏植物信息数据库进行更新。例如在相同位置引导用户拍摄覆盖360度的全范围的多张照片(或全景照片)，以便通过植物识别模型进行识别是否还存在历史过敏植物。
在一些实施例中，所述致敏信息包括致敏源信息，过敏传播方式，防护方式和治疗方式信息。用户也可以点击过敏播报地图上的标记查看当前时间过敏植物出现的地点，同时显示其植物品种信息和过敏信息，例如致敏源信息，过敏传播方式，防护方式和治疗方式信息等。过敏播报地图上显示用户拍摄过敏植物照片的缩小图标，点击可以查看多张全图以及其他用户拍摄的当前地点的照片，缩小图标可以自动选取包含致敏原的图片进行显示(如柳树图片可以选取包含柳絮的图片)。
所述根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息包括：根据用户预先设置的过敏信息向设定区域范围内的相关用户推送防护信息。用户可以预先设置自己的过敏信息，然后点击查看相应区域内是否有涉及的过敏植物，以及过敏植物出现的位置信息，过敏物种播报系统也可以根据用户设置的过敏信息来选择推送相应的致敏警告信息。
基于同一发明构思，本发明还提供了一种过敏物种播报系统。如图3所示，过敏物种播报系统200可以包括处理器210和存储器220，存储器220上存储有指令，当指令被处理器210执行时，可以实现如上文所描述的过敏物种播报方法中的步骤。
其中，处理器210可以根据存储在存储器220中的指令执行各种动作和处理。具体地，处理器210可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是X86架构或者是ARM架构等。
存储器220存储有可执行指令，该指令在被处理器210执行上文所述的过敏物种播报方法。存储器220可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机 存取存储器(RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
基于同一发明构思，本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有指令，当指令被执行时，可以实现上文所描述的过敏物种播报方法中的步骤。
类似地，本发明实施例中的计算机可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。应注意，本文描述的计算机可读存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
需要说明的是，附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
一般而言，本发明的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本发明的实施例的各方面被图示或描述为框图、流程图或使用某些其他图 形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。
需要说明的是，本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统、计算机可读存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (14)

  1. 一种过敏物种播报方法，其特征在于，包括：
    通过植物识别模型识别图片中的植物的物种信息和生长阶段信息；
    若当前植物属于过敏物种时，获取其致敏信息和位置信息；
    根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息。
  2. 根据权利要求1所述的过敏物种播报方法，其特征在于，所述根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息包括：
    根据所述过敏物种的致敏信息、生长阶段信息和/或当前时间信息判断其是否处于致敏期，并根据判断结果向相关用户推送防护信息。
  3. 根据权利要求2所述的过敏物种播报方法，其特征在于，当所述过敏物种处于致敏期时，对设定区域范围内的用户推送致敏警告信息。
  4. 根据权利要求2所述的过敏物种播报方法，其特征在于，当所述过敏物种未到致敏期时，对设定区域范围内的用户推送致敏预警信息，一旦所述过敏物种进入致敏期时，再对设定区域范围内的用户推送致敏警告信息。
  5. 根据权利要求2所述的过敏物种播报方法，其特征在于，当所述过敏物种处于致敏期时，获取所述过敏物种的位置信息和拍摄时间信息，并在区域地图上进行标注显示。
  6. 根据权利要求2所述的过敏物种播报方法，其特征在于，当所述过敏物种处于致敏期时，对其不同区域范围的影响程度进行区分标注显示。
  7. 根据权利要求6所述的过敏物种播报方法，其特征在于，对于不同的过敏物种，且其影响区域范围重叠的部分进行叠加并区分标注显示。
  8. 根据权利要求6所述的过敏物种播报方法，其特征在于，对于不同的区域范围，计算过敏物种的种类数量、个体数量以及分布密度来确定相应区域的致敏等级并进行划分。
  9. 根据权利要求6所述的过敏物种播报方法，其特征在于，所述对不同区域范围的影响程度进行区分标注显示还包括：获取当前区域的天气信息，并根据所述天气信息调整所述过敏物种的影响区域和影响程度。
  10. 根据权利要求1所述的过敏物种播报方法，其特征在于，该方法还包括：若当前位置在设定时间段内未识别出过敏物种，但历史记录的当前位置存在过敏物种时，获取所述过敏物种的致敏信息和致敏期，并在致敏期向相关用户推送所述位置可能存在过敏物种的防护信息。
  11. 根据权利要求1所述的过敏物种播报方法，其特征在于，所述致敏信息包括致敏源信息、过敏传播方式、防护方式和/或治疗方式信息。
  12. 根据权利要求1所述的过敏物种播报方法，其特征在于，所述根据所述过敏物种的致敏信息和位置信息向相关用户推送防护信息包括：
    根据用户预先设置的过敏信息向设定区域范围内的相关用户推送防护信息。
  13. 一种可读存储介质，其上存储有程序，其特征在于，所述程序被执行时实现根据权利要求1～12中任一项所述的过敏物种播报方法。
  14. 一种过敏物种播报系统，其特征在于，包括处理器和存储器，所述存储器上存储有程序，所述程序被所述处理器执行时，实现根据权利要求1～12中任一项所述的过敏物种播报方法。
PCT/CN2023/078610 2022-03-22 2023-02-28 过敏物种播报方法、系统及可读存储介质 WO2023179317A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210289068.0A CN114707585A (zh) 2022-03-22 2022-03-22 过敏物种播报方法、系统及可读存储介质
CN202210289068.0 2022-03-22

Publications (1)

Publication Number Publication Date
WO2023179317A1 true WO2023179317A1 (zh) 2023-09-28

Family

ID=82168433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/078610 WO2023179317A1 (zh) 2022-03-22 2023-02-28 过敏物种播报方法、系统及可读存储介质

Country Status (2)

Country Link
CN (1) CN114707585A (zh)
WO (1) WO2023179317A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707585A (zh) * 2022-03-22 2022-07-05 杭州睿胜软件有限公司 过敏物种播报方法、系统及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447170A (zh) * 2016-08-31 2017-02-22 深圳前海弘稼科技有限公司 一种种植箱信息显示方法、服务器、种植箱以及种植系统
CN111325240A (zh) * 2020-01-23 2020-06-23 杭州睿琪软件有限公司 与杂草相关的计算机可执行的方法和计算机系统
CN112686159A (zh) * 2020-12-30 2021-04-20 北京墨迹风云科技股份有限公司 过敏植物分布统计方法以及装置
US20210166815A1 (en) * 2018-06-07 2021-06-03 Koninklijke Philips N.V. A system and method for determining conditions which risk respiratory attacks
CN114707585A (zh) * 2022-03-22 2022-07-05 杭州睿胜软件有限公司 过敏物种播报方法、系统及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291689B (zh) * 2020-02-14 2024-02-27 杭州睿琪软件有限公司 植物花期播报方法、系统及计算机可读存储介质
CN113469537B (zh) * 2021-07-07 2023-04-07 西南交通大学 基于气象和人口密度的城市绿地孢粉致敏风险值计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447170A (zh) * 2016-08-31 2017-02-22 深圳前海弘稼科技有限公司 一种种植箱信息显示方法、服务器、种植箱以及种植系统
US20210166815A1 (en) * 2018-06-07 2021-06-03 Koninklijke Philips N.V. A system and method for determining conditions which risk respiratory attacks
CN111325240A (zh) * 2020-01-23 2020-06-23 杭州睿琪软件有限公司 与杂草相关的计算机可执行的方法和计算机系统
CN112686159A (zh) * 2020-12-30 2021-04-20 北京墨迹风云科技股份有限公司 过敏植物分布统计方法以及装置
CN114707585A (zh) * 2022-03-22 2022-07-05 杭州睿胜软件有限公司 过敏物种播报方法、系统及可读存储介质

Also Published As

Publication number Publication date
CN114707585A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
US10028452B2 (en) Horticultural monitoring system
Esquerdo et al. Use of NDVI/AVHRR time-series profiles for soybean crop monitoring in Brazil
Biradar et al. A global map of rainfed cropland areas (GMRCA) at the end of last millennium using remote sensing
Zhong et al. A phenology-based approach to map crop types in the San Joaquin Valley, California
WO2021159990A1 (zh) 植物花期播报方法、系统及计算机可读存储介质
WO2021223607A1 (zh) 植物状态评估方法、系统及计算机可读存储介质
WO2021147528A1 (zh) 与杂草相关的计算机可执行的方法和计算机系统
WO2023179317A1 (zh) 过敏物种播报方法、系统及可读存储介质
Tang et al. Mapping forest disturbance across the China–Laos border using annual Landsat time series
Dang et al. Fusarium wilt of radish detection using RGB and near infrared images from Unmanned Aerial Vehicles
WO2021135828A1 (zh) 对象识别方法、装置及设备
Yagci et al. The effect of land-cover change on vegetation greenness-based satellite agricultural drought indicators: a case study in the southwest climate division of Indiana, USA
WO2022262585A1 (zh) 植物图片识别方法、可读存储介质及电子设备
Sierra-Soler et al. Assessing agricultural drought at a regional scale using LULC classification, SPI, and vegetation indices: case study in a rainfed agro-ecosystem in Central Mexico
Petrellis Mobile application for plant disease classification based on symptom signatures
Brendel et al. Assessment of the effectiveness of supervised and unsupervised methods: maximizing land-cover classification accuracy with spectral indices data
CN114596468A (zh) 病虫害识别及模型训练方法、装置、电子设备及存储介质
Mahmud et al. Lychee tree disease classification and prediction using transfer learning
Kumar et al. Herbal plants leaf image classification using deep learning models based on augmentation approach
Lupo et al. Categorization of land‐cover change processes based on phenological indicators extracted from time series of vegetation index data
Wardle et al. Using open data cube on the cloud to investigate food security by means of cropland changes in djibouti
Sakamoto Early classification method for US corn and soybean by incorporating modis-estimated phenological data and historical classification maps in random-forest regression algorithm
Sun et al. Monitoring annual urbanization activities in Guangzhou using Landsat images (1987–2015)
Laskin et al. Evaluating the level of agreement between human and time-lapse camera observations of understory plant phenology at multiple scales
Krauser et al. Shedding light on agricultural transitions, dragon fruit cultivation, and electrification in southern vietnam using mixed methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23773568

Country of ref document: EP

Kind code of ref document: A1