WO2022105227A1 - 一种确定空气质量的方法及装置 - Google Patents

一种确定空气质量的方法及装置 Download PDF

Info

Publication number
WO2022105227A1
WO2022105227A1 PCT/CN2021/101892 CN2021101892W WO2022105227A1 WO 2022105227 A1 WO2022105227 A1 WO 2022105227A1 CN 2021101892 W CN2021101892 W CN 2021101892W WO 2022105227 A1 WO2022105227 A1 WO 2022105227A1
Authority
WO
WIPO (PCT)
Prior art keywords
branch
air quality
sample image
regression
classification
Prior art date
Application number
PCT/CN2021/101892
Other languages
English (en)
French (fr)
Inventor
朱超杰
邹冲
汪飙
侯鑫
殷磊
吴海山
Original Assignee
深圳前海微众银行股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳前海微众银行股份有限公司 filed Critical 深圳前海微众银行股份有限公司
Publication of WO2022105227A1 publication Critical patent/WO2022105227A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种确定空气质量的方法及装置，涉及计算机视觉领域，获取待检测图像；待检测图像是对待检测环境进行拍摄得到的；通过预设多分支网络的特征提取层得到待检测图像的第一特征信息；将第一特征信息输入至预设多分支网络的回归分支确定待检测环境的空气质量；其中，特征提取层和回归分支是通过机器学习训练得到；机器学习的损失函数是根据回归分支对样本图像的第一损失函数和预设多分支网络的分割分支对样本图像的第二损失函数确定的。通过该方式，对于任何的需要确定空气质量的环境，只需要通过对环境进行拍照，并将采集的图像输入特征提取层和回归分支，随时可输出待检测环境的空气质量，减少了对空气质量监测站点的依赖

Description

一种确定空气质量的方法及装置
本申请要求在2020年11月17日提交中国专利局、申请号为202011284618.7、申请名称为“一种确定空气质量的方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及计算机视觉领域，尤其涉及一种确定空气质量的方法及装置。
 背景技术
在此处键入背景技术描述段落。随着城市工业化进程的加快以及交通运输业的迅猛发展，任意排放建筑灰尘、工业废气等有害物质的现象随处可见，导致空气中颗粒物质、一氧化碳、二氧化碳、氮的氧化物、碳氢化合物含量上升，造成空气污染。因此，确定空气质量并向居民发出个人防护提示信息，显得尤为重要。作为空气质量的一种评价方式，如可以通过空气质量指数（Air Quality Index，AQI）进行表示。
目前，主要是通过建立空气质量监测站点，结合化学分析的方式以确定AQI。然而，该方式极大程度地依赖于空气质量监测站点的建设规模，比如对于一些空气质量监测站点稀疏的地带，该方式并不能对AQI进行精确地判定。此外，空气质量监测站点在工作过程中，是周期性地输出AQI，而无法实时输出AQI。
综上，目前亟需一种高效地、实时地确定AQI的方法。
 技术问题
本申请提供一种确定空气质量的方法及装置，用以解决现有技术无法实时地、高效地确定不同环境的AQI的问题。
 技术解决方案
为实现上述目的，本申请实施例提供一种确定空气质量的方法，该方法包括：获取待检测图像；所述待检测图像是对待检测环境进行拍摄得到的；通过预设多分支网络的特征提取层得到所述待检测图像的第一特征信息；将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量；其中，所述特征提取层和所述回归分支是通过机器学习训练得到；所述机器学习的损失函数是根据所述回归分支对样本图像的第一损失函数和所述预设多分支网络的分割分支对所述样本图像的第二损失函数确定的；所述分割分支用于分割所述样本图像中的前景和背景。
在一种可能实现的方法中，所述特征提取层和所述回归分支是通过机器学习训练得到，包括：构建初始多分支网络，所述初始多分支网络包括具有第一初始参数值的特征提取层、具有第二初始参数值的回归分支和具有第三初始参数值的分割分支；通过样本图像对所述初始多分支网络进行机器学习训练，直至满足所述机器学习的损失函数的设定条件，则得到预设多分支网络，所述预设多分支网络包括具有第一参数值的特征提取层、具有第二参数值的回归分支和具有第三参数值的分割分支。
在一种可能实现的方法中，所述通过样本图像对所述初始多分支网络进行机器学习训练，直至满足所述机器学习的损失函数的设定条件，则得到预设多分支网络，包括：针对任一样本图像，通过所述初始多分支网络的特征提取层得到所述样本图像的第二特征信息；将所述第二特征信息通过所述初始多分支网络的回归分支得到所述样本图像对应的样本环境的预测空气质量；根据所述预测空气质量和所述样本环境的真实空气质量，确定所述第一损失函数的第一损失值；将所述第二特征信息通过所述初始多分支网络的分割分支得到所述样本图像对应的预测分割结果；根据所述预测分割结果和所述样本图像的真实分割结果，确定所述第二损失函数的第二损失值；根据所述第一损失值和所述第二损失值，确定所述样本图像的总损失值；在所述总损失值未满足所述设定条件时，对所述特征提取层、所述回归分支和所述分割分支中的至少一项进行参数值调整，直至训练至样本图像的总损失值满足所述设定条件。
在一种可能实现的方法中，所述根据所述预测空气质量和所述样本环境的真实空气质量，确定所述第一损失函数的第一损失值，包括：根据所述预测空气质量和所述样本环境的真实空气质量，确定回归损失函数对应的回归损失值；所述根据所述预测分割结果和所述样本图像的真实分割结果，确定所述第二损失函数的第二损失值，包括：根据所述预测分割结果和所述样本图像的真实分割结果，确定分类损失函数对应的分类损失值；所述根据所述第一损失值和所述第二损失值，确定所述样本图像的总损失值，包括：根据所述回归损失值和所述回归损失函数对应的权重，确定校正后的回归损失值；根据所述分类损失值和所述分类损失函数对应的权重，确定校正后的分类损失值；将所述校正后的回归损失值与所述校正后的分类损失值的和值确定为所述样本图像的总损失值。
在一种可能实现的方法中，所述第一损失函数为交叉熵损失函数，所述第二损失函数为均方误差损失函数。
在一种可能实现的方法中，所述将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量，包括：将所述第一特征信息输入至所述预设多分支网络的回归分支得到所述第一特征信息在空气质量标准的各预设分类的各置信度；将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量。
在一种可能实现的方法中，所述样本图像通过以下方式得到：针对预设的时间范围，对空气质量监测站点在预设空间范围拍摄多种气象条件下的多张样本图像，所述样本图像包括作为前景的天空和作为背景的非天空元素；针对任一样本图像，将所述空气质量监测站点监测的空气质量指数AQI作为所述样本图像的真实空气质量。
在一种可能实现的方法中，针对任一样本图像，将对所述天空和所述非天空元素进行分割的结果作为所述样本图像的真实分割结果。
在一种可能实现的方法中，所述将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量，包括：针对所述各预设分类的分类值中的任一个分类值，确定所述分类值在所述各预设分类的各置信度中相对应的置信度与所述分类值的乘积；将所述各预设分类的分类值对应的各乘积累加，得到所述待检测环境的空气质量。
此外，为实现上述目的，本申请实施例提供一种确定空气质量的装置，该装置包括：图像获取单元，用于获取待检测图像；所述待检测图像是对待检测环境进行拍摄得到的；特征信息获取单元，用于通过预设多分支网络的特征提取层得到所述待检测图像的第一特征信息；空气质量确定单元，用于将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量；其中，所述特征提取层和所述回归分支是通过机器学习训练得到；所述机器学习的损失函数是根据所述回归分支对样本图像的第一损失函数和所述预设多分支网络的分割分支对所述样本图像的第二损失函数确定的；所述分割分支用于分割所述样本图像中的前景和背景。
此外，为实现上述目的，本申请实施例提供了一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如第一方面任一所述的方法。
此外，为实现上述目的，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行如第一方面任一所述的方法。
 有益效果
在本发明实施例中，对于任一个待确定空气质量的环境，首先对该环境进行拍照，并将所拍摄的图像输入预设多分支网络的特征提取层，由特征提取层获取到该图像的第一特征信息，最后通过该预设多分支网络的回归分支对第一特征信息进行数据处理，便可以得到该环境的空气质量。通过该方式，对于任何的需要确定空气质量的环境，只需要通过对环境进行拍照，并将采集的图像输入特征提取层和回归分支，随时可输出待检测环境的空气质量，减少了对空气质量监测站点的依赖。
 附图说明
图1为本申请实施例提供的一种可能的系统架构示意图；
图2为本申请实施例提供一种确定空气质量的方法；
图3为本申请实施例提供一种确定空气质量的装置；
图4为本申请实施例提供的一种计算设备的示意图。
 本发明的最佳实施方式
如图1所示，为本申请实施例提供的一种可能的系统架构示意图，通过该系统架构，可以不受空气质量监测站点分布不均情况的限制，而可以实时地输出一个待检测环境的AQI。该系统包括图像采集单元110和服务器120。可选的，该系统还包括待检测环境130。
其中，图像采集单元110可以是相机、摄像机等设备，用于采集图像，如采集待检测环境130的图像，并将采集到的图像上传至服务器120，由服务器120对图像进行数据处理。
服务器120可以是一台服务器，也可以是多台服务器组合而成的服务器集群。服务器120可用于接收图像采集单元110采集的图像，并对图像进行数据处理，输出数据处理的结果。其中，数据处理的结果包括输出待检测环境130的AQI，以及待检测环境130的图像中前景和背景的数据。
待检测环境130可以是任何地域、任何天气情况的环境，如可以是傍晚时分的沙尘暴天气的西部地区的一条马路，可以是中午时分的艳阳高照的中部地区的一幢写字楼，还可以是清晨时分的结冰天气的东北地区的一个湖面。其中，在确定待检测环境的AQI的过程中，需要对待检测环境进行拍摄，且拍摄得到的图像中须包括前景和背景。其中，前景指的是天空，背景指的是非天空的元素，如建筑物、路面、树木、湖泊等。由于使用图像处理的技术确定待检测环境的AQI的过程，对图像有前景和背景的要求，因此本申请适用于绝大部分时刻下的环境，包括早晨、中午、傍晚等。
基于背景技术的问题和图1所示的系统架构，本申请实施例提供一种确定空气质量的方法，如图2所示，该方法可在服务器或数据处理的装置中执行，可执行：
步骤201，获取待检测图像。
在本步骤中，所述待检测图像是对待检测环境进行拍摄得到的。
步骤202，通过预设多分支网络的特征提取层得到所述待检测图像的第一特征信息。
步骤203，将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量。
在本步骤中，所述特征提取层和所述回归分支是通过机器学习训练得到；所述机器学习的损失函数是根据所述回归分支对样本图像的第一损失函数和所述预设多分支网络的分割分支对所述样本图像的第二损失函数确定的；所述分割分支用于分割所述样本图像中的前景和背景。
基于该方案，对于任一个待确定空气质量的环境，首先对该环境进行拍照，并将所拍摄的图像输入预设多分支网络的特征提取层，由特征提取层获取到该图像的第一特征信息，最后通过该预设多分支网络的回归分支对第一特征信息进行数据处理，便可以得到该环境的空气质量。通过该方式，对于任何的需要确定空气质量的环境，只需要通过对环境进行拍照，并将采集的图像输入特征提取层和回归分支，随时可输出待检测环境的空气质量，减少了对空气质量监测站点的依赖。
需要说明的是，用于评价空气质量的指标可以包括空气质量指数（Air Quality Index，AQI），空气污染指数（Air Pollution Index，API），本申请实施例中以确定环境的AQI作为示例进行说明。
以下将结合示例分别对上述一些步骤进行详细说明。
在上述步骤203的一种实现方法中，构建具有特征提取层、回归分支和分割分支这3个模块的初始多分支网络。其中，在初始多分割网络中，特征提取层的第一初始参数值、回归分支的第二初始参数值以及分割分支的第三初始参数值可以通过预设的方式进行设定。在第一初始参数值、第二初始参数值和第三初始参数值被设定后，可以使用大量的样本图像对初始多分支网络进行机器学习训练，直到对于一个处于训练状态的多分支网络，当将该多分支网络应用于多张样本图像的数据处理时，对于这些样本图像中的任一张样本图像，若该多分支网络对此样本图像的数据处理结果与此样本图像本身具有的真实的数据的差值满足设定的精度条件，则认为该多分支网络满足了机器学习的损失函数的设定条件，此时该多分支网络可以称为预设多分支网络，后续将可以使用该预设多分支网络对其他图像进行处理，并且将该预设多分支网络输出的预测结果作为真实值来使用，如可以将该预设多分支网络输出的AQI作为其他图像所指示的环境的AQI。此时，该预设多分支网络的特征提取层、回归分支和分割分支分别具有的参数值可以分别称为第一参数值、第二参数值和第三参数值。
在上述步骤203的一种实现方法中，通过以下方式训练得到预设多分支网络，包括：
设预设多分支网络的起点为前述的初始多分支网络，则对于由大量样本图像构成的训练集，从中任意选择一张样本图像（不放回），并将其作为对初始多分支网络进行训练的第一张样本图像。其中，在使用第一张样本图像对初始多分支网络进行训练时，输入到初始多分支网络中的内容包括第一张样本图像和该样本图像的标签数据，其中，标签数据可以包括该样本图像的前景区域、背景区域和该样本图像所指示的环境的空气质量，如AQI。然后，对于第一张样本图像，初始多分支网络中的特征提取层将对该样本图像进行特征提取，包括对纹理特征、颜色特征等特征的提取，从而得到该样本图像的第二特征信息。
在得到第二特征信息后，一方面可以将第二特征信息输入到回归分支中，通过回归分支对第二特征信息的数据处理，回归分支可输出该样本图像对应的样本环境的预测空气质量，如输出对应于样本环境的预测AQI，通过比较预测空气质量和样本环境的真实空气质量，可以确定第一损失函数的第一损失值；另一方面可以将第二特征信息输入到分割分支中，通过分割分支对第二特征信息的数据处理，分割分支可输出样本图像对应的预测分割结果，如输出对应于该样本图像的前景区域、背景区域，通过比较预测分割结果和样本图像的真实分割结果，可以确定第二损失函数的第二损失值。根据得到的第一损失值和第二损失值，可以确定该样本图像的总损失值。通过比较该总损失值与机器学习的设定条件，在确定前者不满足后者的条件下，可以根据总损失值对初始多分支网络的特征提取层、分割分支和回归分支中的至少一个模块进行参数值的调整。
假定在对初始多分支网络的参数值进行调整后，得到对应于该初始多分支网络的调整多分支网络，记作多分支网络1。然后，继续从训练集中任意选择一张样本图像，即第二张样本图像，并使用第二张样本图像对多分支网络1进行训练，训练过程可以参考使用第一张样本图像对初始多分支网络进行训练的过程，在此不赘述。根据上述的多分支网络训练过程，直到训练到一多分支网络X，并在多次使用多分支网络X对不同的样本图像进行数据处理时，任一张样本图像的总损失值均满足设定条件，此时，可以将多分支网络X确定为预设多分支网络。
其中，对于训练集中的任一张样本图像，可以通过以下方式得到，包括：
设对于一定区域范围（如国家级别、省级别、市级别或者以其他自定义方式划分的范围）中的任一空气质量监测站点，在该空气质量监测站点预设空间范围内拍摄多种气象条件下的多张样本图像。其中，预设空间范围可以是以空气质量监测站点为圆心，以预设距离为半径而圈出的范围，也可以是一个预设边长的正方形的区域，其中空气质量监测站点是该正方形的区域的中心，或者预设空间范围还可以是其他自定义方式划分的空间范围。在空气质量监测站点附近拍摄图像时，须对天空和非天空的元素一并进行拍摄，其中将天空作为前景、以及将非天空的元素作为背景，如此拍摄得到的图像才可以成为样本图像。因此，对于图像中仅含有天空或者图像中仅含有非天空的元素，则不可以将该些图像作为样本图像。对于在某一空气质量监测站点预设范围拍摄得到的样本图像，则可以将该空气质量监测站点在拍摄时刻监测到的AQI作为该样本图像的真实空气质量。其中，对于样本图像，可以进一步地对其中的前景和背景进行分割，并将分割的结果作为样本图像的真实分割结果，如此，可以得到关于样本图像的标签数据，标签数据可以包括前景、背景和AQI。
在一种实施方式中，回归分支在输出样本图像对应的样本环境的预测空气质量后，设预测空气质量表示为fc_pred，然后结合样本图像对应的样本环境的真实空气质量，设真实空气质量表示为fc_label，将fc_pred和fc_labal输入回归损失函数中，通过回归损失函数的计算，得到回归损失值。
在一种实施方式中，回归损失函数可以包括以下中的一种或多种：交叉熵损失函数、绝对值损失函数、平方损失函数、指数损失函数、Hinge 损失函数。本申请实施例中以交叉熵损失函数（CrossEntropyLoss）作为示例进行说明，如通过将fc_pred和fc_label输入交叉熵损失函数中，得到的回归损失值可以表示为CrossEntropyLoss（fc_label，fc_pred）。
在一种实施方式中，分割分支在输出样本图像对应的预测分割结果后，设预测分割结果表示为mask_pred，然后结合样本图像的真实分割结果，设真实分割结果表示为mask_label，将mask_pred和mask_label输入分割分支损失函数中，通过分割分支损失函数的计算，得到分支损失值。
在一种实施方式中，分割分支损失函数可以包括以下中的一种或多种：均方误差损失函数、log对数损失函数、FocalLoss损失函数。本申请实施例中以均方误差损失函数（MSELoss）作为示例进行说明，如通过将mask_pred和mask_label输入均方误差损失函数中，得到的分类损失值可以表示为MSELoss（mask_label，mask_pred）。
在一种实施方式中，在得到回归损失值和分类损失值后，针对回归损失值进行校正，包括根据回归损失值CrossEntropyLoss（fc_label，fc_pred）和回归损失函数对应的权重，设为A，确定校正后的回归损失值A* CrossEntropyLoss（fc_label，fc_pred）；针对分类损失值进行校正，包括根据分类损失值MSELoss（mask_label，mask_pred）和分割分支损失函数对应的权重，设为B，确定校正后的分类损失值B* MSELoss（mask_label，mask_pred）；然后，将校正后的回归损失值A* CrossEntropyLoss（fc_label，fc_pred）与校正后的分类损失值B* MSELoss（mask_label，mask_pred）的和值确定为样本图像的总损失值，设为Loss，Loss= A* CrossEntropyLoss（fc_label，fc_pred）+ B* MSELoss（mask_label，mask_pred）。
如此，在得到总损失值后，则可以根据总损失值对多分支网络的特征提取层的参数值、回归分支的参数值和分割分支的参数值中的至少一项进行调整，如可以根据总损失值仅对多分支网络的回归分支的参数值进行调整，可以根据总损失值同时对多分支网络的特征提取层的参数值和回归分支的参数值进行调整，还可以根据总损失值同时对多分支网络的特征提取层的参数值、回归分支的参数值和分割分支的参数值均进行调整，本申请不做具体限定。
在上述步骤203的一个实施中，可以通过如下方式得到待检测环境的空气质量，包括：将所述第一特征信息通过回归分支得到所述第一特征信息在空气质量标准的各预设分类的各置信度；将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量。
在本申请的某些实施中，所述将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量，包括：针对所述各预设分类的分类值中的任一个分类值，确定所述分类值在所述各预设分类的各置信度中相对应的置信度与所述分类值的乘积；将所述各预设分类的分类值对应的各乘积累加，得到所述待检测环境的空气质量。
举个例子，根据已知的对AQI的分类，包括1、2、3……500这500个分类，其中，数字越大，表示空气质量越差。对于待检测图像，设由特征提取层获取到的第一特征信息通过回归分支得到的它在1-500分类下的置信度，比如，对于AQI等于的1情况，其对应的置信度为0.01，对于AQI等于2的情况，其对应的置信度为0，对于AQI等于3的情况，其对应的置信度为0.005……对于AQI等于500的情况，其对应的置信度为0.01。如此，通过将分类值与该分类至对应的置信度乘积后累加，便可以得到待检测环境的空气质量，通过计算1*0.01+2*0+3*0.005+……+500*0.01，得到的结果可以用于表示待检测环境的空气质量。
 本发明的实施方式
目前，对空气质量进行监测，并将得到的空气质量的数据向居民进行展示，便于居民根据空气质量的数据及时地采取或调整个人防护措施，保障个人健康。通过设置空气质量监测站点，可获取AQI。然而，空气质量监测站点在全国范围内的设置方式并非均衡，比如在一些偏远地带，空气质量站点或尚未建立、或建立的较为稀疏，如此便不能够惠及一些偏远地带的居民。此外，由于空气质量监测站点仍是采用的周期性输出AQI的方式，因此，并不能实时地输出AQI。
如图1所示，为本申请实施例提供的一种可能的系统架构示意图，通过该系统架构，可以不受空气质量监测站点分布不均情况的限制，而可以实时地输出一个待检测环境的AQI。该系统包括图像采集单元110和服务器120。可选的，该系统还包括待检测环境130。
其中，图像采集单元110可以是相机、摄像机等设备，用于采集图像，如采集待检测环境130的图像，并将采集到的图像上传至服务器120，由服务器120对图像进行数据处理。
服务器120可以是一台服务器，也可以是多台服务器组合而成的服务器集群。服务器120可用于接收图像采集单元110采集的图像，并对图像进行数据处理，输出数据处理的结果。其中，数据处理的结果包括输出待检测环境130的AQI，以及待检测环境130的图像中前景和背景的数据。
待检测环境130可以是任何地域、任何天气情况的环境，如可以是傍晚时分的沙尘暴天气的西部地区的一条马路，可以是中午时分的艳阳高照的中部地区的一幢写字楼，还可以是清晨时分的结冰天气的东北地区的一个湖面。其中，在确定待检测环境的AQI的过程中，需要对待检测环境进行拍摄，且拍摄得到的图像中须包括前景和背景。其中，前景指的是天空，背景指的是非天空的元素，如建筑物、路面、树木、湖泊等。由于使用图像处理的技术确定待检测环境的AQI的过程，对图像有前景和背景的要求，因此本申请适用于绝大部分时刻下的环境，包括早晨、中午、傍晚等。
基于背景技术的问题和图1所示的系统架构，本申请实施例提供一种确定空气质量的方法，如图2所示，该方法可在服务器或数据处理的装置中执行，可执行：
步骤201，获取待检测图像。
在本步骤中，所述待检测图像是对待检测环境进行拍摄得到的。
步骤202，通过预设多分支网络的特征提取层得到所述待检测图像的第一特征信息。
步骤203，将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量。
在本步骤中，所述特征提取层和所述回归分支是通过机器学习训练得到；所述机器学习的损失函数是根据所述回归分支对样本图像的第一损失函数和所述预设多分支网络的分割分支对所述样本图像的第二损失函数确定的；所述分割分支用于分割所述样本图像中的前景和背景。
基于该方案，对于任一个待确定空气质量的环境，首先对该环境进行拍照，并将所拍摄的图像输入预设多分支网络的特征提取层，由特征提取层获取到该图像的第一特征信息，最后通过该预设多分支网络的回归分支对第一特征信息进行数据处理，便可以得到该环境的空气质量。通过该方式，对于任何的需要确定空气质量的环境，只需要通过对环境进行拍照，并将采集的图像输入特征提取层和回归分支，随时可输出待检测环境的空气质量，减少了对空气质量监测站点的依赖。
需要说明的是，用于评价空气质量的指标可以包括空气质量指数（Air Quality Index，AQI），空气污染指数（Air Pollution Index，API），本申请实施例中以确定环境的AQI作为示例进行说明。
以下将结合示例分别对上述一些步骤进行详细说明。
在上述步骤203的一种实现方法中，构建具有特征提取层、回归分支和分割分支这3个模块的初始多分支网络。其中，在初始多分割网络中，特征提取层的第一初始参数值、回归分支的第二初始参数值以及分割分支的第三初始参数值可以通过预设的方式进行设定。在第一初始参数值、第二初始参数值和第三初始参数值被设定后，可以使用大量的样本图像对初始多分支网络进行机器学习训练，直到对于一个处于训练状态的多分支网络，当将该多分支网络应用于多张样本图像的数据处理时，对于这些样本图像中的任一张样本图像，若该多分支网络对此样本图像的数据处理结果与此样本图像本身具有的真实的数据的差值满足设定的精度条件，则认为该多分支网络满足了机器学习的损失函数的设定条件，此时该多分支网络可以称为预设多分支网络，后续将可以使用该预设多分支网络对其他图像进行处理，并且将该预设多分支网络输出的预测结果作为真实值来使用，如可以将该预设多分支网络输出的AQI作为其他图像所指示的环境的AQI。此时，该预设多分支网络的特征提取层、回归分支和分割分支分别具有的参数值可以分别称为第一参数值、第二参数值和第三参数值。
在上述步骤203的一种实现方法中，通过以下方式训练得到预设多分支网络，包括：
设预设多分支网络的起点为前述的初始多分支网络，则对于由大量样本图像构成的训练集，从中任意选择一张样本图像（不放回），并将其作为对初始多分支网络进行训练的第一张样本图像。其中，在使用第一张样本图像对初始多分支网络进行训练时，输入到初始多分支网络中的内容包括第一张样本图像和该样本图像的标签数据，其中，标签数据可以包括该样本图像的前景区域、背景区域和该样本图像所指示的环境的空气质量，如AQI。然后，对于第一张样本图像，初始多分支网络中的特征提取层将对该样本图像进行特征提取，包括对纹理特征、颜色特征等特征的提取，从而得到该样本图像的第二特征信息。
在得到第二特征信息后，一方面可以将第二特征信息输入到回归分支中，通过回归分支对第二特征信息的数据处理，回归分支可输出该样本图像对应的样本环境的预测空气质量，如输出对应于样本环境的预测AQI，通过比较预测空气质量和样本环境的真实空气质量，可以确定第一损失函数的第一损失值；另一方面可以将第二特征信息输入到分割分支中，通过分割分支对第二特征信息的数据处理，分割分支可输出样本图像对应的预测分割结果，如输出对应于该样本图像的前景区域、背景区域，通过比较预测分割结果和样本图像的真实分割结果，可以确定第二损失函数的第二损失值。根据得到的第一损失值和第二损失值，可以确定该样本图像的总损失值。通过比较该总损失值与机器学习的设定条件，在确定前者不满足后者的条件下，可以根据总损失值对初始多分支网络的特征提取层、分割分支和回归分支中的至少一个模块进行参数值的调整。
假定在对初始多分支网络的参数值进行调整后，得到对应于该初始多分支网络的调整多分支网络，记作多分支网络1。然后，继续从训练集中任意选择一张样本图像，即第二张样本图像，并使用第二张样本图像对多分支网络1进行训练，训练过程可以参考使用第一张样本图像对初始多分支网络进行训练的过程，在此不赘述。根据上述的多分支网络训练过程，直到训练到一多分支网络X，并在多次使用多分支网络X对不同的样本图像进行数据处理时，任一张样本图像的总损失值均满足设定条件，此时，可以将多分支网络X确定为预设多分支网络。
其中，对于训练集中的任一张样本图像，可以通过以下方式得到，包括：
设对于一定区域范围（如国家级别、省级别、市级别或者以其他自定义方式划分的范围）中的任一空气质量监测站点，在该空气质量监测站点预设空间范围内拍摄多种气象条件下的多张样本图像。其中，预设空间范围可以是以空气质量监测站点为圆心，以预设距离为半径而圈出的范围，也可以是一个预设边长的正方形的区域，其中空气质量监测站点是该正方形的区域的中心，或者预设空间范围还可以是其他自定义方式划分的空间范围。在空气质量监测站点附近拍摄图像时，须对天空和非天空的元素一并进行拍摄，其中将天空作为前景、以及将非天空的元素作为背景，如此拍摄得到的图像才可以成为样本图像。因此，对于图像中仅含有天空或者图像中仅含有非天空的元素，则不可以将该些图像作为样本图像。对于在某一空气质量监测站点预设范围拍摄得到的样本图像，则可以将该空气质量监测站点在拍摄时刻监测到的AQI作为该样本图像的真实空气质量。其中，对于样本图像，可以进一步地对其中的前景和背景进行分割，并将分割的结果作为样本图像的真实分割结果，如此，可以得到关于样本图像的标签数据，标签数据可以包括前景、背景和AQI。
在一种实施方式中，回归分支在输出样本图像对应的样本环境的预测空气质量后，设预测空气质量表示为fc_pred，然后结合样本图像对应的样本环境的真实空气质量，设真实空气质量表示为fc_label，将fc_pred和fc_labal输入回归损失函数中，通过回归损失函数的计算，得到回归损失值。
在一种实施方式中，回归损失函数可以包括以下中的一种或多种：交叉熵损失函数、绝对值损失函数、平方损失函数、指数损失函数、Hinge 损失函数。本申请实施例中以交叉熵损失函数（CrossEntropyLoss）作为示例进行说明，如通过将fc_pred和fc_label输入交叉熵损失函数中，得到的回归损失值可以表示为CrossEntropyLoss（fc_label，fc_pred）。
在一种实施方式中，分割分支在输出样本图像对应的预测分割结果后，设预测分割结果表示为mask_pred，然后结合样本图像的真实分割结果，设真实分割结果表示为mask_label，将mask_pred和mask_label输入分割分支损失函数中，通过分割分支损失函数的计算，得到分支损失值。
在一种实施方式中，分割分支损失函数可以包括以下中的一种或多种：均方误差损失函数、log对数损失函数、FocalLoss损失函数。本申请实施例中以均方误差损失函数（MSELoss）作为示例进行说明，如通过将mask_pred和mask_label输入均方误差损失函数中，得到的分类损失值可以表示为MSELoss（mask_label，mask_pred）。
在一种实施方式中，在得到回归损失值和分类损失值后，针对回归损失值进行校正，包括根据回归损失值CrossEntropyLoss（fc_label，fc_pred）和回归损失函数对应的权重，设为A，确定校正后的回归损失值A* CrossEntropyLoss（fc_label，fc_pred）；针对分类损失值进行校正，包括根据分类损失值MSELoss（mask_label，mask_pred）和分割分支损失函数对应的权重，设为B，确定校正后的分类损失值B* MSELoss（mask_label，mask_pred）；然后，将校正后的回归损失值A* CrossEntropyLoss（fc_label，fc_pred）与校正后的分类损失值B* MSELoss（mask_label，mask_pred）的和值确定为样本图像的总损失值，设为Loss，Loss= A* CrossEntropyLoss（fc_label，fc_pred）+ B* MSELoss（mask_label，mask_pred）。
如此，在得到总损失值后，则可以根据总损失值对多分支网络的特征提取层的参数值、回归分支的参数值和分割分支的参数值中的至少一项进行调整，如可以根据总损失值仅对多分支网络的回归分支的参数值进行调整，可以根据总损失值同时对多分支网络的特征提取层的参数值和回归分支的参数值进行调整，还可以根据总损失值同时对多分支网络的特征提取层的参数值、回归分支的参数值和分割分支的参数值均进行调整，本申请不做具体限定。
在上述步骤203的一个实施中，可以通过如下方式得到待检测环境的空气质量，包括：将所述第一特征信息通过回归分支得到所述第一特征信息在空气质量标准的各预设分类的各置信度；将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量。
在本申请的某些实施中，所述将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量，包括：针对所述各预设分类的分类值中的任一个分类值，确定所述分类值在所述各预设分类的各置信度中相对应的置信度与所述分类值的乘积；将所述各预设分类的分类值对应的各乘积累加，得到所述待检测环境的空气质量。
举个例子，根据已知的对AQI的分类，包括1、2、3……500这500个分类，其中，数字越大，表示空气质量越差。对于待检测图像，设由特征提取层获取到的第一特征信息通过回归分支得到的它在1-500分类下的置信度，比如，对于AQI等于的1情况，其对应的置信度为0.01，对于AQI等于2的情况，其对应的置信度为0，对于AQI等于3的情况，其对应的置信度为0.005……对于AQI等于500的情况，其对应的置信度为0.01。如此，通过将分类值与该分类至对应的置信度乘积后累加，便可以得到待检测环境的空气质量，通过计算1*0.01+2*0+3*0.005+……+500*0.01，得到的结果可以用于表示待检测环境的空气质量。
基于同样的构思，本申请实施例还提供一种确定空气质量的装置，如图3所示，该装置包括：
图像获取单元301，用于获取待检测图像；所述待检测图像是对待检测环境进行拍摄得到的。
特征信息获取单元302，用于通过预设多分支网络的特征提取层得到所述待检测图像的第一特征信息。
空气质量确定单元303，用于将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量；其中，所述特征提取层和所述回归分支是通过机器学习训练得到；所述机器学习的损失函数是根据所述回归分支对样本图像的第一损失函数和所述预设多分支网络的分割分支对所述样本图像的第二损失函数确定的；所述分割分支用于分割所述样本图像中的前景和背景。
进一步地，对于该装置，还包括构建单元304和训练单元305；构建单元304，用于构建初始多分支网络，所述初始多分支网络包括具有第一初始参数值的特征提取层、具有第二初始参数值的回归分支和具有第三初始参数值的分割分支；训练单元305，用于通过样本图像对所述初始多分支网络进行机器学习训练，直至满足所述机器学习的损失函数的设定条件，则得到预设多分支网络，所述预设多分支网络包括具有第一参数值的特征提取层、具有第二参数值的回归分支和具有第三参数值的分割分支。
进一步地，对于该装置，训练单元305，具体用于针对任一样本图像，通过所述预设多分支网络的特征提取层得到所述样本图像的第二特征信息；将所述第二特征信息通过所述预设多分支网络的回归分支得到所述样本图像对应的样本环境的预测空气质量；根据所述预测空气质量和所述样本环境的真实空气质量，确定所述第一损失函数的第一损失值；将所述第二特征信息通过所述预设多分支网络的分割分支得到所述样本图像对应的预测分割结果；根据所述预测分割结果和所述样本图像的真实分割结果，确定所述第二损失函数的第二损失值；根据所述第一损失值和所述第二损失值，确定所述样本图像的总损失值；在所述总损失值未满足所述设定条件时，对所述特征提取层、所述回归分支和所述分割分支中的至少一项进行参数值调整，直至训练至样本图像的总损失值满足所述设定条件。
进一步地，对于该装置，训练单元305，具体用于根据所述预测空气质量和所述样本环境的真实空气质量，确定回归损失函数对应的回归损失值；根据所述预测分割结果和所述样本图像的真实分割结果，确定分类损失函数对应的分类损失值；根据所述回归损失值和所述回归损失函数对应的权重，确定校正后的回归损失值；根据所述分类损失值和所述分类损失函数对应的权重，确定校正后的分类损失值；将所述校正后的回归损失值与所述校正后的分类损失值的和值确定为所述样本图像的总损失值。
进一步地，对于该装置，所述第一损失函数为交叉熵损失函数，所述第二损失函数为均方误差损失函数。
进一步地，对于该装置，空气质量确定单元303，具体用于将所述第一特征信息输入至所述预设多分支网络的回归分支得到所述第一特征信息在空气质量标准的各预设分类的各置信度；将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量。
进一步地，对于该装置，还包括样本图像得到单元306；样本图像得到单元306，用于针对预设的时间范围，对空气质量监测站点在预设空间范围拍摄多种气象条件下的多张样本图像，所述样本图像包括作为前景的天空和作为背景的非天空元素；针对任一样本图像，将所述空气质量监测站点监测的空气质量指数AQI作为所述样本图像的真实空气质量。
进一步地，对于该装置，样本图像得到单元306，还用于针对任一样本图像，将对所述天空和所述非天空元素进行分割的结果作为所述样本图像的真实分割结果。
进一步地，对于该装置，空气质量确定单元303，具体用于：针对所述各预设分类的分类值中的任一个分类值，确定所述分类值在所述各预设分类的各置信度中相对应的置信度与所述分类值的乘积；将所述各预设分类的分类值对应的各乘积累加，得到所述待检测环境的空气质量。
本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理（Personal Digital Assistant，PDA）等。该计算设备可以包括中央处理器（Center Processing Unit ，CPU）、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器（Liquid Crystal Display， LCD）、阴极射线管（Cathode Ray Tube，CRT）等。
存储器，可以包括只读存储器（ROM）和随机存取存储器（RAM），并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储确定空气质量的方法的程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行确定空气质量的方法。
如图4所示，为本申请实施例提供的一种计算设备的示意图，该计算设备包括：
处理器401、存储器402、收发器403、总线接口404；其中，处理器401、存储器402与收发器403之间通过总线405连接；
所述处理器401，用于读取所述存储器402中的程序，执行上述确定空气质量的方法；
处理器401可以是中央处理器（central processing unit，简称CPU），网络处理器（network processor，简称NP）或者CPU和NP的组合。还可以是硬件芯片。上述硬件芯片可以是专用集成电路（application-specific integrated circuit，简称ASIC），可编程逻辑器件（programmable logic device，简称PLD）或其组合。上述PLD可以是复杂可编程逻辑器件（complex programmable logic device，简称CPLD），现场可编程逻辑门阵列（field-programmable gate array，简称FPGA），通用阵列逻辑（generic array logic, 简称GAL）或其任意组合。
所述存储器402，用于存储一个或多个可执行程序，可以存储所述处理器401在执行操作时所使用的数据。
具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器402可以包括易失性存储器（volatile memory），例如随机存取存储器（random-access memory，简称RAM）；存储器402也可以包括非易失性存储器（non-volatile memory），例如快闪存储器（flash memory），硬盘（hard disk drive，简称HDD）或固态硬盘（solid-state drive，简称SSD）；存储器402还可以包括上述种类的存储器的组合。
存储器402存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：
操作指令：包括各种操作指令，用于实现各种操作。
操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
总线405可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
总线接口404可以为有线通信接入口，无线总线接口或其组合，其中，有线总线接口例如可以为以太网接口。以太网接口可以是光接口，电接口或其组合。无线总线接口可以为WLAN接口。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行确定空气质量的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (20)

  1. 一种确定空气质量的方法，其特征在于，包括：
    获取待检测图像；所述待检测图像是对待检测环境进行拍摄得到的；
    通过预设多分支网络的特征提取层得到所述待检测图像的第一特征信息；
    将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量；其中，所述特征提取层和所述回归分支是通过机器学习训练得到；所述机器学习的损失函数是根据所述回归分支对样本图像的第一损失函数和所述预设多分支网络的分割分支对所述样本图像的第二损失函数确定的；所述分割分支用于分割所述样本图像中的前景和背景。
  2. 如权利要求1所述的方法，其特征在于，所述特征提取层和所述回归分支是通过机器学习训练得到，包括：
    构建初始多分支网络，所述初始多分支网络包括具有第一初始参数值的特征提取层、具有第二初始参数值的回归分支和具有第三初始参数值的分割分支；
    通过样本图像对所述初始多分支网络进行机器学习训练，直至满足所述机器学习的损失函数的设定条件，则得到预设多分支网络，所述预设多分支网络包括具有第一参数值的特征提取层、具有第二参数值的回归分支和具有第三参数值的分割分支。
  3. 如权利要求2所述的方法，其特征在于，所述通过样本图像对所述初始多分支网络进行机器学习训练，直至满足所述机器学习的损失函数的设定条件，则得到预设多分支网络，包括：
    针对任一样本图像，通过所述初始多分支网络的特征提取层得到所述样本图像的第二特征信息；
    将所述第二特征信息通过所述初始多分支网络的回归分支得到所述样本图像对应的样本环境的预测空气质量；根据所述预测空气质量和所述样本环境的真实空气质量，确定所述第一损失函数的第一损失值；
    将所述第二特征信息通过所述初始多分支网络的分割分支得到所述样本图像对应的预测分割结果；根据所述预测分割结果和所述样本图像的真实分割结果，确定所述第二损失函数的第二损失值；
    根据所述第一损失值和所述第二损失值，确定所述样本图像的总损失值；
    在所述总损失值未满足所述设定条件时，对所述特征提取层、所述回归分支和所述分割分支中的至少一项进行参数值调整，直至训练至样本图像的总损失值满足所述设定条件。
  4. 如权利要求3所述的方法，其特征在于，
    所述根据所述预测空气质量和所述样本环境的真实空气质量，确定所述第一损失函数的第一损失值，包括：
    根据所述预测空气质量和所述样本环境的真实空气质量，确定回归损失函数对应的回归损失值；
    所述根据所述预测分割结果和所述样本图像的真实分割结果，确定所述第二损失函数的第二损失值，包括：
    根据所述预测分割结果和所述样本图像的真实分割结果，确定分类损失函数对应的分类损失值；
    所述根据所述第一损失值和所述第二损失值，确定所述样本图像的总损失值，包括：
    根据所述回归损失值和所述回归损失函数对应的权重，确定校正后的回归损失值；
    根据所述分类损失值和所述分类损失函数对应的权重，确定校正后的分类损失值；
    将所述校正后的回归损失值与所述校正后的分类损失值的和值确定为所述样本图像的总损失值。
  5. 如权利要求3所述的方法，其特征在于，所述第一损失函数为交叉熵损失函数，所述第二损失函数为均方误差损失函数。
  6. 如权利要求1至5任一项所述的方法，其特征在于，所述将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量，包括：
    将所述第一特征信息输入至所述预设多分支网络的回归分支得到所述第一特征信息在空气质量标准的各预设分类的各置信度；
    将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量。
  7. 如权利要求6所述的方法，其特征在于，所述样本图像通过以下方式得到：
    针对预设的时间范围，对空气质量监测站点在预设空间范围拍摄多种气象条件下的多张样本图像，所述样本图像包括作为前景的天空和作为背景的非天空元素；
    针对任一样本图像，将所述空气质量监测站点监测的空气质量指数AQI作为所述样本图像的真实空气质量。
  8. 如权利要求7所述的方法，其特征在于，所述方法还包括：
    针对任一样本图像，将对所述天空和所述非天空元素进行分割的结果作为所述样本图像的真实分割结果。
  9. 如权利要求6所述的方法，其特征在于，所述将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量，包括：
    针对所述各预设分类的分类值中的任一个分类值，确定所述分类值在所述各预设分类的各置信度中相对应的置信度与所述分类值的乘积；
    将所述各预设分类的分类值对应的各乘积累加，得到所述待检测环境的空气质量。
  10. 一种确定空气质量的装置，其特征在于，包括：
    图像获取单元，用于获取待检测图像；所述待检测图像是对待检测环境进行拍摄得到的；
    特征信息获取单元，用于通过预设多分支网络的特征提取层得到所述待检测图像的第一特征信息；
    空气质量确定单元，用于将所述第一特征信息输入至所述预设多分支网络的回归分支确定所述待检测环境的空气质量；其中，所述特征提取层和所述回归分支是通过机器学习训练得到；所述机器学习的损失函数是根据所述回归分支对样本图像的第一损失函数和所述预设多分支网络的分割分支对所述样本图像的第二损失函数确定的；所述分割分支用于分割所述样本图像中的前景和背景。
  11. 如权利要求10所述的装置，其特征在于，所述装置还包括构建单元和训练单元；
    所述构建单元，用于构建初始多分支网络，所述初始多分支网络包括具有第一初始参数值的特征提取层、具有第二初始参数值的回归分支和具有第三初始参数值的分割分支；
    所述训练单元，用于通过样本图像对所述初始多分支网络进行机器学习训练，直至满足所述机器学习的损失函数的设定条件，则得到预设多分支网络，所述预设多分支网络包括具有第一参数值的特征提取层、具有第二参数值的回归分支和具有第三参数值的分割分支。
  12. 如权利要求11所述的装置，其特征在于，所述训练单元，具体用于：
    针对任一样本图像，通过所述初始多分支网络的特征提取层得到所述样本图像的第二特征信息；将所述第二特征信息通过所述初始多分支网络的回归分支得到所述样本图像对应的样本环境的预测空气质量；根据所述预测空气质量和所述样本环境的真实空气质量，确定所述第一损失函数的第一损失值；将所述第二特征信息通过所述初始多分支网络的分割分支得到所述样本图像对应的预测分割结果；根据所述预测分割结果和所述样本图像的真实分割结果，确定所述第二损失函数的第二损失值；根据所述第一损失值和所述第二损失值，确定所述样本图像的总损失值；在所述总损失值未满足所述设定条件时，对所述特征提取层、所述回归分支和所述分割分支中的至少一项进行参数值调整，直至训练至样本图像的总损失值满足所述设定条件。
  13. 如权利要求12所述的装置，其特征在于，所述训练单元，具体用于：
    根据所述预测空气质量和所述样本环境的真实空气质量，确定回归损失函数对应的回归损失值；根据所述预测分割结果和所述样本图像的真实分割结果，确定分类损失函数对应的分类损失值；根据所述回归损失值和所述回归损失函数对应的权重，确定校正后的回归损失值；根据所述分类损失值和所述分类损失函数对应的权重，确定校正后的分类损失值；将所述校正后的回归损失值与所述校正后的分类损失值的和值确定为所述样本图像的总损失值。
  14. 如权利要求12所述的装置，其特征在于，所述第一损失函数为交叉熵损失函数，所述第二损失函数为均方误差损失函数。
  15. 如权利要求10-14任一项所述的装置，其特征在于，所述空气质量确定单元，具体用于：
    将所述第一特征信息输入至所述预设多分支网络的回归分支得到所述第一特征信息在空气质量标准的各预设分类的各置信度；将所述各预设分类的各置信度和所述各预设分类的分类值进行累积，得到所述待检测环境的空气质量。
  16. 如权利要求15所述的装置，其特征在于，所述装置还包括样本图像得到单元；
    所述样本图像得到单元，用于针对预设的时间范围，对空气质量监测站点在预设空间范围拍摄多种气象条件下的多张样本图像，所述样本图像包括作为前景的天空和作为背景的非天空元素；针对任一样本图像，将所述空气质量监测站点监测的空气质量指数AQI作为所述样本图像的真实空气质量。
  17. 如权利要求16所述的装置，其特征在于，所述样本图像得到单元，还用于针对任一样本图像，将对所述天空和所述非天空元素进行分割的结果作为所述样本图像的真实分割结果。
  18. 如权利要求15所述的装置，其特征在于，所述空气质量确定单元，具体用于：
    针对所述各预设分类的分类值中的任一个分类值，确定所述分类值在所述各预设分类的各置信度中相对应的置信度与所述分类值的乘积；将所述各预设分类的分类值对应的各乘积累加，得到所述待检测环境的空气质量。
  19. 一种计算机设备，其特征在于，包括：
    存储器，用于存储计算机程序；
    处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如权利要求1-9任一项所述的方法。
  20. 一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，当所述程序在计算机上运行时，使得计算机实现执行如权利要求1-9任一项所述的方法。
PCT/CN2021/101892 2020-11-17 2021-06-23 一种确定空气质量的方法及装置 WO2022105227A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011284618.7 2020-11-17
CN202011284618.7A CN112381299A (zh) 2020-11-17 2020-11-17 一种确定空气质量的方法及装置

Publications (1)

Publication Number Publication Date
WO2022105227A1 true WO2022105227A1 (zh) 2022-05-27

Family

ID=74585563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/101892 WO2022105227A1 (zh) 2020-11-17 2021-06-23 一种确定空气质量的方法及装置

Country Status (2)

Country Link
CN (1) CN112381299A (zh)
WO (1) WO2022105227A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912707A (zh) * 2022-06-01 2022-08-16 中科大数据研究院 一种基于多模态融合的空气质量预测系统及预测方法
CN116663650A (zh) * 2023-06-06 2023-08-29 北京百度网讯科技有限公司 深度学习模型的训练方法、目标对象检测方法及装置
CN117078778A (zh) * 2023-10-16 2023-11-17 四川邕合科技有限公司 基于大数据的智慧园区空气质量检测方法及检测终端

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381299A (zh) * 2020-11-17 2021-02-19 深圳前海微众银行股份有限公司 一种确定空气质量的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985353A (zh) * 2018-06-27 2018-12-11 天津大学 基于图像端对端的空气污染程度分类方法
CN110321932A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于深度多源数据融合的全城市空气质量指数估计方法
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
US10691980B1 (en) * 2019-04-18 2020-06-23 Siemens Healthcare Gmbh Multi-task learning for chest X-ray abnormality classification
CN111340804A (zh) * 2020-04-09 2020-06-26 山东大学 基于无人飞艇的空气质量机器视觉在线监测系统及方法
CN112381299A (zh) * 2020-11-17 2021-02-19 深圳前海微众银行股份有限公司 一种确定空气质量的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144779B2 (en) * 2018-10-16 2021-10-12 International Business Machines Corporation Real-time micro air-quality indexing
CN110766046A (zh) * 2019-09-16 2020-02-07 华北电力大学 一种双通道卷积神经网络集成学习的空气质量测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN108985353A (zh) * 2018-06-27 2018-12-11 天津大学 基于图像端对端的空气污染程度分类方法
US10691980B1 (en) * 2019-04-18 2020-06-23 Siemens Healthcare Gmbh Multi-task learning for chest X-ray abnormality classification
CN110321932A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于深度多源数据融合的全城市空气质量指数估计方法
CN111340804A (zh) * 2020-04-09 2020-06-26 山东大学 基于无人飞艇的空气质量机器视觉在线监测系统及方法
CN112381299A (zh) * 2020-11-17 2021-02-19 深圳前海微众银行股份有限公司 一种确定空气质量的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912707A (zh) * 2022-06-01 2022-08-16 中科大数据研究院 一种基于多模态融合的空气质量预测系统及预测方法
CN116663650A (zh) * 2023-06-06 2023-08-29 北京百度网讯科技有限公司 深度学习模型的训练方法、目标对象检测方法及装置
CN116663650B (zh) * 2023-06-06 2023-12-19 北京百度网讯科技有限公司 深度学习模型的训练方法、目标对象检测方法及装置
CN117078778A (zh) * 2023-10-16 2023-11-17 四川邕合科技有限公司 基于大数据的智慧园区空气质量检测方法及检测终端
CN117078778B (zh) * 2023-10-16 2024-01-26 四川邕合科技有限公司 基于大数据的智慧园区空气质量检测方法及检测终端

Also Published As

Publication number Publication date
CN112381299A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
WO2022105227A1 (zh) 一种确定空气质量的方法及装置
WO2021057848A1 (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
CN110264466B (zh) 一种基于深度卷积神经网络的钢筋检测方法
CN109657564B (zh) 一种人员在岗检测方法、装置、存储介质及终端设备
CN112801164A (zh) 目标检测模型的训练方法、装置、设备及存储介质
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN110991311A (zh) 一种基于密集连接深度网络的目标检测方法
US10725008B2 (en) Automatic siting for air quality monitoring stations
CN110288602B (zh) 滑坡提取方法、滑坡提取系统及终端
US20190318467A1 (en) Automated analysis of petrographic thin section images using advanced machine learning techniques
CN110796048A (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN114235759B (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN109635939B (zh) 一种基于裁剪的卷积神经网络的确定方法及装置
CN111079773A (zh) 一种基于Mask R-CNN网络的砾石参数获取方法、装置、设备及存储介质
CN113592792A (zh) 堆石图像粒径识别方法、装置、电子设备及存储介质
CN116543303A (zh) 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法
CN114565057A (zh) 一种基于机器学习的均压场识别方法、装置、存储介质及终端
CN110633383A (zh) 一种重复房源的识别方法、装置、电子设备及可读介质
CN116311089B (zh) 一种基于图像处理的污水水质数据智能分析方法和系统
CN116630743A (zh) 基于深度学习的天气图像识别方法、装置、设备及介质
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN111444833A (zh) 果实测产方法、装置、计算机设备及存储介质
CN116071651A (zh) 一种均压场识别方法、装置、存储介质及终端
CN111210513A (zh) 信息处理方法、装置、设备和存储介质
CN113283345B (zh) 板书书写行为检测方法、训练方法、装置、介质及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21893381

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18.08.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21893381

Country of ref document: EP

Kind code of ref document: A1