WO2020259416A1 - 图像采集控制方法、装置、电子设备及存储介质 - Google Patents

图像采集控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2020259416A1
WO2020259416A1 PCT/CN2020/097232 CN2020097232W WO2020259416A1 WO 2020259416 A1 WO2020259416 A1 WO 2020259416A1 CN 2020097232 W CN2020097232 W CN 2020097232W WO 2020259416 A1 WO2020259416 A1 WO 2020259416A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
image sample
image
sample
processing result
Prior art date
Application number
PCT/CN2020/097232
Other languages
English (en)
French (fr)
Inventor
马佳彬
何哲琪
王坤
曾星宇
Original Assignee
商汤集团有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 商汤集团有限公司 filed Critical 商汤集团有限公司
Priority to JP2021552212A priority Critical patent/JP2022522375A/ja
Priority to KR1020217028688A priority patent/KR20210119532A/ko
Publication of WO2020259416A1 publication Critical patent/WO2020259416A1/zh
Priority to US17/560,442 priority patent/US20220114396A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

一种图像采集控制方法和装置、电子设备、计算机可读存储介质以及计算机程序，该图像采集控制方法包括：将第一图像样本集提供给第一神经网络（S100）；根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本（S110）；基于所述第一困难样本，确定所述困难样本的采集环境信息（S120）；根据所述采集环境信息，生成图像采集控制信息（S130），所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。

Description

图像采集控制方法、装置、电子设备及存储介质
相关申请的交叉引用
本公开要求在2019年6月28日提交中国专利局、申请号为201910579147.3、申请名称为“图像采集控制方法、装置、介质及设备”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及计算机视觉技术，尤其是涉及一种图像采集控制方法、图像采集控制装置、电子设备、计算机可读存储介质以及计算机程序。
背景技术
困难样本通常是指：在神经网络训练过程中，容易使神经网络出错的图像样本。采集困难样本，并利用困难样本对神经网络进行训练，有利于提升神经网络的性能。
发明内容
根据本公开实施方式其中一个方面，提供了一种图像采集控制方法，包括：将第一图像样本集提供给第一神经网络；根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；基于所述第一困难样本，确定所述第一困难样本的采集环境信息；根据所述采集环境信息，生成图像采集控制信息；所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
在本公开一实施方式中，所述第一图像样本集包括不具有标注信息的第一图像样本。
在本公开又一实施方式中，所述根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本，包括：检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确；根据检测出的与不正确的处理结果对应的第一图像样本，确定所述第一困难样本。
在本公开再一实施方式中，所述第一图像样本集包括时序连续的多个视频帧样本；所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果 是否正确，包括：对所述第一神经网络基于所述多个视频帧样本分别输出的多个目标对象检测结果，进行目标对象连续性检测；将所述多个目标对象检测结果中不满足预设连续性要求的一个或等多个目标对象检测结果，作为所述不正确的处理结果。
在本公开再一实施方式中，所述方法还包括：将所述第一图像样本集提供给第二神经网络；所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确，包括：确定所述第二神经网络针对所述第一图像样本的第二处理结果与所述第一神经网络针对所述第一图像样本的处理第一结果之间的差异；在所述差异不满足预设差异要求的情况下，将所述第一处理结果作为所述不正确的处理结果。
在本公开再一实施方式中，所述根据检测出的与不正确的处理结果对应的第一图像样本，确定所述第一困难样本，包括：获取与所述不正确的处理结果对应的错误类型；将与属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为所述第一困难样本。
在本公开再一实施方式中，所述第一神经网络用于检测所述第一图像样本中的目标对象，所述方法还包括：在与所述不正确的处理结果对应的错误类型表示所述第一神经网络对所述第一图像样本进行检测得到的目标对象检测框不正确的情况下，对所述第一神经网络中包括的用于检测所述目标对象检测框的模块进行调整。
在本公开再一实施方式中，所述方法还包括：在与所述不正确的处理结果对应的错误类型与摄像装置因素相关的情况下，发送更改所述摄像装置的提示信息。
在本公开再一实施方式中，所述采集环境信息包括：路段信息、天气信息、以及光线强度信息中的至少一个。
在本公开再一实施方式中，所述采集环境信息包括路段信息；所述根据所述采集环境信息，生成图像采集控制信息，包括：基于所述路段信息，确定与所述第一困难样本匹配的采集路段；利用确定的所述采集路段，生成数据采集路径，将所述数据采集路径包括在图像采集控制信息中，以指示摄像装置按照所述数据采集路径采集所述第二图像样本集。
在本公开再一实施方式中，所述方法还包括：将所述第一困难样本加入至训练样本集；利用所述训练样本集，对所述第一神经网络进行训练，得到调整后的第一神经网络。
在本公开再一实施方式中，将所述第一困难样本加入至训练样本集，包括：将带有标注信息的第一困难样本加入至所述训练样本集；所述利用所述训练样本集对所述第一 神经网络进行训练，得到调整后的第一神经网络，包括：将所述训练样本集中的带有标注信息的第一困难样本提供给所述第一神经网络；根据所述第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整所述第一神经网络的参数，得到调整后的第一神经网络。
在本公开再一实施方式中，所述方法还包括：获取所述第二图像样本集；将所述第二图像样本集提供给所述调整后的第一神经网络；根据所述调整后的第一神经网络针对所述第二图像样本集中每个第二图像样本的处理结果，从所述第二图像样本集中筛选出所述第二困难样本。
根据本公开实施方式其中再一个方面，提供一种图像采集控制装置，包括：提供模块，用于将第一图像样本集提供给第一神经网络；筛选模块，用于根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；环境确定模块，用于基于所述第一困难样本，确定所述第一困难样本的采集环境信息；采集控制模块，用于根据所述采集环境信息，生成图像采集控制信息；所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
在本公开一实施方式中，所述第一图像样本集包括不具有标注信息的第一图像样本。
在本公开又一实施方式中，所述筛选模块，包括：第一子模块，用于检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确；第二子模块，用于根据检测出的与不正确的处理结果对应的第一图像样本，确定所述第一困难样本。
在本公开再一实施方式中，所述第一图像样本集包括时序连续的多个视频帧样本；所述第一子模块进一步用于：对所述第一神经网络基于所述多个视频帧样本分别输出的多个目标对象检测结果，进行目标对象连续性检测；将所述多个目标对象检测结果中不满足预设连续性要求的一个或多个目标对象检测结果，作为所述不正确的处理结果。
在本公开再一实施方式中，所述提供模块还用于：将所述第一图像样本集提供给第二神经网络；所述第一子模块进一步用于：针对所述第一图像样本集中每个第一图像样本，确定所述第二神经网络针对所述第一图像样本的第二处理结果与所述第一神经网络针对所述第一图像样本的第一处理结果之间的差异；在所述差异不满足预设差异要求的情况下，将所述第一处理结果作为所述不正确的处理结果。
在本公开再一实施方式中，所述第二子模块进一步用于：获取与所述不正确的处理 结果对应的错误类型；将与属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为所述第一困难样本。
在本公开再一实施方式中，在所述第一神经网络用于检测所述第一图像样本中的目标对象的情况下，所述装置还包括：优化模块，用于在与所述不正确的处理结果对应的错误类型标识所述第一神经网络对所述第一图像样本进行检测得到的目标对象检测框不正确的情况下，对所述第一神经网络中包括的用于检测所述目标对象检测框的模块进行调整。
在本公开再一实施方式中，所述第二子模块进一步用于：在与所述不正确的处理结果对应的错误类型与摄像装置因素相关的情况下，发送更改所述摄像装置的提示信息。
在本公开再一实施方式中，所述采集环境信息包括：路段信息、天气信息、以及光线强度信息中的至少一个。
在本公开再一实施方式中，所述采集环境信息包括路段信息；所述采集控制模块进一步用于：基于所述路段信息，确定与所述第一困难样本匹配的采集路段；利用确定的所述采集路段，生成数据采集路径，将所述数据采集路径包括在图像采集控制信息中，以指示摄像装置按照所述数据采集路径采集所述第二图像样本集。
在本公开再一实施方式中，所述装置还包括：训练模块，用于将所述第一困难样本加入至训练样本集；利用所述训练样本集，对所述第一神经网络进行训练，得到调整后的第一神经网络。
在本公开再一实施方式中，所述训练模块进一步用于：将带有标注信息的第一困难样本加入至所述训练样本集；将所述训练样本集中的带有标注信息的第一困难样本提供给所述第一神经网络；根据所述第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整所述第一神经网络的参数，得到调整后的第一神经网络。
在本公开再一实施方式中，所述提供模块还用于：获取所述第二图像样本集；将所述第二图像样本集提供给所述调整后的第一神经网络；所述筛选模块还用于根据所述调整后的第一神经网络针对所述第二图像样本集中每个第二图像样本的处理结果，从所述第二图像样本集中筛选出所述第二困难样本。
根据本公开实施方式再一方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，以实现本公开任一方法实 施方式。
根据本公开实施方式再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序可被处理器执行，以实现本公开任一方法实施方式。
根据本公开实施方式的再一个方面，提供一种计算机程序，包括计算机指令，所述计算机指令可被处理器执行，以实现本公开任一方法实施方式。
基于本公开提供的图像采集控制方法和装置、电子设备、计算机可读存储介质以及计算机程序，本公开通过将第一图像样本集提供给第一神经网络，然后利用第一神经网络对每个第一图像样本的处理结果，筛选出第一图像样本集中的第一困难样本，进而确定第一困难样本的采集环境信息，利用该采集环境信息可以生成图像采集控制信息，在本公开生成的图像采集控制信息的指示下，便可以获得包括第二困难样本的第二图像样本集，通过这种方式，可以基于得到的第一困难样本，进而快速便捷的确定出获得第二困难样本的方式，且获得的第二困难样本与第一困难样本之间存在一定的关联，从而可以提升相关联的困难样本的采集效率，获得更多的困难样本。
另外，通过本公开获得的更多的困难样本可以用于对神经网络进行优化调整，以提升神经网络的处理性能。
另外，本公开中无需对第一图像样本进行标注，也能够基于神经网络针对第一图像样本的处理结果来筛选出第一困难样本，从而也有利于降低人工标注成本，提升确定困难样本的处理效率。
下面通过附图和实施方式，对本公开的一些实施例做进一步的详细描述。
附图说明
通过下面参照附图对本公开的一些实施例的详细描述，可以更加清楚地理解本公开，其中：
图1为根据本公开的实施例的图像采集控制方法的流程图；
图2例示了根据本公开的实施例的错误检测的一视频帧样本；
图3为根据本公开的实施例的神经网络训练方法的流程图；
图4为根据本公开的实施例的图像采集控制装置的框图；
图5为根据本公开的实施例的电子设备的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应当注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其它通用或者专用的计算系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为根据本公开的实施例的图像采集控制方法的流程图。如图1所示，该实施例方法包括步骤：S100、S110、S120以及S130。下面对各步骤进行详细描述。
S100，将第一图像样本集提供给第一神经网络。
其中，本公开中第一图像样本集包括但不限于：利用摄像装置拍摄的多张照片、或 者利用摄像装置拍摄的时序连续的多个视频帧等。例如，设置在可移动的物体上的摄像装置所拍摄的多张照片或者所拍摄的多个视频帧等。上述可移动的物体包括但不限于：车辆、机器人、机械臂或者滑轨等。可选的，本公开中的摄像装置可以包括但不限于：红外线(Infrared，IR)摄像头、或者红绿蓝(Red Green Blue，RGB)摄像头等。可选的，在多个第一图像样本为多个视频帧的情况下，本公开实施例可以将多个第一图像样本，按照各视频帧之间的时序关系输入到第一神经网络中。
在一个可选示例中，本公开中的第一神经网络包括但不限于：用于检测目标对象的第一神经网络。该第一神经网络可以是能够针对输入的第一图像样本集中的第一图像样本，输出目标对象在第一图像样本中的位置信息以及分类信息的神经网络。可选的，该第一神经网络可以为采用残差神经网络以及更快速的带有区域的卷积神经网络(Resnet+FasterRCNN)结构的神经网络，例如，采用Resnet50+FasterRCNN结构的神经网络。上述位置信息用于表示目标对象在第一图像样本中的图像区域。该位置信息包括但不限于：位于目标对象的检测框的对角线上的两个顶点的坐标。上述分类信息用于表示目标对象所属的类别。该类别包括但不限于：行人、车辆、树木、建筑物以及交通标志等等。
在一个可选示例中，本公开中的第一图像样本集可以包括：不具有标注信息的第一图像样本。在第一图像样本不具有标注信息时，本公开的实施例可以从不具有标注信息的多个第一图像样本中挑选出第一困难样本。因此，相较于通过第一神经网络对第一图像样本集中的带有标注信息的第一图像样本进行测试并根据测试结果确定出第一困难样本的实现方式而言，本公开实施例无需对第一图像样本集中的多个第一图像样本分别进行标注，从而有利于降低标注工作量，进而有利于降低获得困难样本的成本，并有利于提高获得困难样本的效率。
S110，根据上述第一神经网络针对第一图像样本集中每个第一图像样本的处理结果，从第一图像样本集中筛选出第一困难样本。
在一个可选示例中，本公开可以检测第一神经网络针对第一图像样本集中每个第一图像样本的处理结果是否正确，从而可以获得与不正确的处理结果对应的第一图像样本，本公开可以根据检测出的与不正确的输出结果对应的第一图像样本，来确定第一困难样本。
例如，本公开可以直接将检测出的与不正确的处理结果对应的第一图像样本，作为第一困难样本。本公开通过直接将检测出的与不正确的处理结果对应的第一图像样本作 为第一困难样本，可以在不需要对各第一图像样本进行标注的情况下，从第一图像样本中挑选出第一困难样本，从而有利于降低获得困难样本的成本。
需要理解的是，本公开中可以将第一困难样本和下文中所述的第二困难样本统称为困难样本。示例性的，困难样本可以理解为是在图像样本采集阶段很难通过随机采集得到的图像样本。在第一神经网络的训练过程中，这类困难样本很容易使得第一神经网络的处理结果出现错误，影响第一神经网络的处理性能，故，在第一神经网络的训练过程中，利用包含一定量的困难样本的训练样本集来训练第一神经网络，有助于提升所训练的第一神经网络的处理性能。
再例如，本公开可以根据检测出的与不正确的处理结果对应的第一图像样本的错误类型，从与多个不正确的处理结果分别对应的各第一图像样本中选取出第一困难样本。本公开通过利用错误类型，从与多个不正确的处理结果分别对应的各第一图像样本中选取出第一困难样本，可以在不需要对各第一图像样本进行标注的情况下，从第一图像样本集中更为精准的挑选出第一困难样本，从而有利于降低获得困难样本的成本，并有利于提高获得困难样本的准确性。
在一个可选方式中，本公开检测第一神经网络针对第一图像样本集中每个第一图像样本的处理结果是否正确的实现方式，可以有多种。下面举两个具体的例子：
一个可选例子，在第一图像样本集包括时序连续的多个视频帧样本的情况下，本公开可以对第一神经网络针对多个视频帧样本输出的目标对象检测结果，进行目标对象连续性检测，并将不满足预设连续性要求的目标对象检测结果，作为不正确的处理结果。之后，可以根据与不正确的处理结果对应的第一图像样本，确定第一困难样本。
本公开中的目标对象连续性检测也可以称为目标对象闪现检测。也就是说，由于多个视频帧样本在时序上是连续的，因此，多个视频帧样本中的目标对象的存在通常也是连续的，例如，一目标对象在时序连续的10个视频帧样本内均存在，其位置可能会发生变化。如果一目标对象仅出现在一视频帧样本中，而未出现在与其相邻的其他视频帧样本中，则可以认为该目标对象在该视频帧样本中闪现，很有可能该视频帧样本中并不存在该目标对象，而由于第一神经网络的错误识别，认为该视频帧样本中存在该目标对象。本公开通过进行目标对象闪现检测，可以快速的从多个视频帧样本中挑选出目标对象闪现的视频帧样本，从而在不需要对多个视频帧样本进行标注的情况下，快速的从多个视频帧样本中拣选出第一困难样本。
另一个可选例子，上述第一神经网络可以部署在计算机、车载设备或者移动电话等设备中，部署的第一神经网络一般网络结构较为简单，例如卷积层、池化层的层数较少。本公开可以另外设置第二神经网络，其中，第二神经网络的网络复杂度高于第一神经网络，例如包括较多深层次的卷积层、池化层等。这种情况下，该第二神经网络针对第一图像样本进行处理的精准度，可以高于第一神经网络针对第一图像样本进行处理的精准度。因此，本公开可以将第一图像样本集中的第一图像样本分别提供给第一神经网络和第二神经网络，由于第二神经网络的精准度高于第一神经网络的精准度，因此，本公开可以以第二神经网络针对第一图像样本的处理结果为标准，来检验第一神经网络针对第一图像样本的处理结果，从而可以获得第二神经网络针对多个第一图像样本的处理结果与第一神经网络针对多个第一图像样本的处理结果之间的差异，进而本公开可以将与不满足预设差异要求的差异对应的处理结果，作为不正确的处理结果。之后，可以根据与不正确的处理结果对应的第一图像样本，确定第一困难样本。
可选的，本公开中处理结果的差异可以包括但不限于：目标对象的数量差异、目标对象的位置差异以及目标对象所属的类别中的至少一个。
第一个例子，针对任一第一图像样本而言，可以获取第二神经网络针对该第一图像样本所检测到的目标对象的数量，并获取第一神经网络针对该第一图像样本所检测到的目标对象的数量，如果这两个数量不相同，则认为该数量差异不满足预设差异要求，可以将该第一图像样本作为与不正确的处理结果对应的第一图像样本。
第二个例子，针对任一第一图像样本而言，可以获取第二神经网络针对该第一图像样本所检测到的各目标对象的位置信息(下述称为第一位置信息)，并获取第一神经网络针对该第一图像样本所检测到的各目标对象的位置信息(下述称为第二位置信息)，针对任一第一位置信息而言，分别计算该第一位置信息与各第二位置信息之间的距离，并从中选择最小距离，如果该最小距离不小于预定最小距离，则认为距离差异不满足预设差异要求，可以将该第一图像样本作为与不正确的处理结果对应的第一图像样本。
第三个例子，针对任一第一图像样本而言，可以获取第二神经网络针对该第一图像样本所检测到的各目标对象所属的类别(下述称为第一类别)，并获取第一神经网络针对该第一图像样本所检测到的各目标对象所属的类别(下述称为第二类别)。针对任一第二类别而言，判断第一类别构成的集合中是否存在与该第二类别相同的类别，如果不存在相同的类别，则认为该类别差异不满足预设差异要求，可以将该第一图像样本作为与不正确的处理结果对应的第一图像样本。示例性的，针对第一图像样本中的集装箱， 第二神经网络可以准确的识别出集装箱对应的检测框的类别为集装箱，而第一神经网络可能会将集装箱对应的检测框的类型识别为卡车，利用上述判别方式可以将该第一图像样本确定为与不正确的处理结果对应的第一图像样本。
例如，针对一视频帧样本，第一神经网络将该视频帧样本中的柱状隔离物体检测为行人，这与第二神经网络所检测出的隔离物体不相符，因此，可以将该视频帧样本作为第一困难样本。
再例如，如图2所示的一视频帧样本，第一神经网络将该视频帧样本中的隧道口检测为卡车，这与第二神经网络所检测出的隧道口不相符，因此，可以将该视频帧样本作为第一困难样本。
可选的，上述三个例子可以任意结合使用。
例如，针对任一第一图像样本而言，可以获取第二神经网络针对该第一图像样本所检测到的目标对象的数量以及各目标对象的第一位置信息，并获取第一神经网络针对该第一图像样本所检测到的目标对象的数量以及各目标对象的第二位置信息。如果这两个数量不相同，则认为该数量差异不满足预设差异要求，本公开可以将该第一图像样本作为与不正确的处理结果对应的第一图像样本。如果这两个数量相同，本公开可以针对任一第一位置信息而言，分别计算该第一位置信息与各第二位置信息之间的距离，并从中选择最小距离，如果该最小距离不小于预定最小距离，则认为距离差异不满足预设差异要求，本公开可以将该第一图像样本作为与不正确的处理结果对应的第一图像样本。
再例如，针对任一第一图像样本而言，可以获取第二神经网络针对该第一图像样本所检测到的目标对象的数量、各目标对象的第一位置信息以及第一类别，并获取第一神经网络针对该第一图像样本所检测到的目标对象的数量、各目标对象的第二位置信息以及第二类别。如果这两个数量不相同，则认为该数量差异不满足预设差异要求，本公开可以将该第一图像样本作为与不正确的处理结果对应的第一图像样本。如果这两个数量相同，本公开可以针对任一第一位置信息而言，分别计算该第一位置信息与各第二位置信息之间的距离，并从中选择最小距离，如果该最小距离不小于预定最小距离，则认为距离差异不满足预设差异要求，本公开可以将该第一图像样本作为与不正确的处理结果对应的第一图像样本。如果该最小距离小于预定最小距离，则本公开可以判断该最小距离关联的第一位置信息和第二位置信息分别对应的目标对象的第一类别与第二类别是否相同，如果不相同，则认为类别差异不满足预设差异要求，本公开可以将该第一图像样本作为与不正确的处理结果对应的第一图像样本。
在此不再对相互结合的例子进行逐一说明。本公开通过以第二神经网络针对第一图像样本的处理结果为标准，来判断第一神经网络针对第一图像样本的处理结果是否正确，有利于快捷准确的从第一图像样本集中挑选出与不正确的处理结果对应的第一图像样本，从而有利于快捷准确的从第一图像样本集中拣选出第一困难样本。另外，在采用第二神经网络的实现方式中，本公开中的第一图像样本集可以包括多张不具有时序关系的图像，也可以包括具有时序关系的多个视频帧样本，从而有利于提高困难样本采集的适用范围。
在一个可选示例中，本公开根据检测出的与不正确的处理结果对应的各第一图像样本的错误类型，从与不正确的处理结果对应的各第一图像样本中选取出第一困难样本的一个例子可以为：
首先，获取与不正确的处理结果对应的错误类型，然后，将与属于神经网络处理错误的错误类型的处理结果对应的第一图像样本作为第一困难样本。本公开中的错误类型除了包括神经网络处理错误这一错误类型之外，还可以包括多种错误类型，例如，第一神经网络对第一图像样本进行检测得到的目标对象检测框不正确、摄像装置因素等。本公开对此不作限制。
可选的，本公开可以在判断出目标对象在第一图像样本中出现位置停滞现象时，认为相应的错误类型为第一神经网络对该第一图像样本进行检测得到的目标对象检测框不正确。位置停滞现象可以是指，目标对象已经离开了摄像装置的视角范围，然而，在相应的第一图像样本中仍检测出存在该目标对象。本公开通过在确定出第一图像样本存在检测框跟踪算法错误时，可以对第一神经网络中包括的用于检测目标对象检测框的模块进行调整，有利于提高第一神经网络的检测框跟踪性能，并有利于避免一些第一图像样本被错误地作为第一困难样本的现象，从而有利于提高获得第一困难样本的准确性。
可选的，本公开在判断第一图像样本存在摄像装置因素的错误类型时，可以发送更改摄像装置的提示信息。一个例子，如果是由于摄像装置的原因，而导致第一图像样本中的目标对象的颜色失真，可以提示更换摄像装置。例如，摄像装置所拍摄的视频帧样本中的红绿灯颜色失真(如红灯像黄灯的颜色等)，可以建议更换摄像装置。本公开可以通过检测视频帧样本中的相应位置处的像素灰度值等方式确定是否存在颜色失真现象。再一个例子，如果是由于外界光线太强烈等原因，而导致第一图像样本中的目标对象的颜色失真(如视频帧样本中的红绿灯颜色失真等，本公开可以通过检测视频帧样本的所有像素的灰度值均值等方式确定是否存在外界光线太强烈等原因)，则可以进一步 完善针对目标对象进行判别的条件，例如，可以根据亮灯的位置判断红绿灯当前亮灯的颜色等。
本公开通过在确定出第一图像样本存在摄像装置因素的错误类型时，执行相应的补救措施，有利于提高神经网络的目标对象检测性能，并有利于避免一些第一图像样本被错误地作为第一困难样本的现象，从而有利于提高获得第一困难样本的准确性。
另外，本公开可以根据第一图像样本中检测出的多个地面标志的一致性来判断该第一图像样本是否存在情况复杂难以判断的错误类型，例如，第一神经网络将一视频帧样本中的地面上的多个不同方向的箭头(如向左方向的箭头、向右方向的箭头以及向前方向的箭头)均错误地检测为向前方向的箭头，因此，可以判断出该视频帧样本存在情况复杂难以判断的错误类型。本公开可以进一步在第一神经网络中增加对第一图像样本的箭头方向的识别处理过程，以应对情况复杂的现象。当然，也可以通过利用类似的第一困难样本对第一神经网络进行反复训练，使第一神经网络可以准确的判断出箭头的方向。
在一个可选示例中，本公开可以将第一困难样本加入至训练样本集，然后利用包含有第一困难样本的训练样本集，对第一神经网络进行训练，得到调整后的第一神经网络。
示例性的，可以对当前获得的第一困难样本进行标注处理，并将标注处理后的第一困难样本添加到训练样本集中，用于优化第一神经网络。
一种实施方式中，可以将训练样本集中的带有标注信息的第一困难样本提供给第一神经网络，然后根据第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整第一神经网络的参数，得到调整后的第一神经网络。
另一种实施方式中，还可以在利用样本数据集中的图像样本对神经网络进行预训练后，再利用训练样本集中的带有标注信息的第一困难样本对第一神经网络进行进一步的训练，以进一步优化第一神经网络的参数。再例如，在对第一神经网络进行预训练的过程中，就采用一定比例的第一困难样本。在预训练结束后，再利用训练样本集中的带有标注信息的第一困难样本对第一神经网络进行进一步的训练，以进一步优化第一神经网络的参数，得到调整后的第一神经网络。
由于本公开中的第一图像样本可以不具有标注信息，因此，本公开可以仅对从第一图像样本集中挑选出的第一困难样本进行标注，从而可以避免对第一图像样本集中每个第一图像样本均进行标注，然后，再将标注后的第一图像样本提供给第一神经网络，并根据第一神经网络输出的处理结果与标注信息，来确定第一图像样本集中的第一困难样 本的现象，因此本公开可以在很大程度上降低为发现困难样本而执行的标注工作量，因此，本公开有利于降低获得困难样本的成本，并有利于提高获得困难样本的效率。
S120，基于第一困难样本，确定第一困难样本的采集环境信息。
在一个可选示例中，本公开中的采集环境信息包括：路段信息、天气信息、以及光线强度信息中的至少一个。其中的路段信息可以是指获取第一困难样本时，摄像装置所在的道路信息。其中的天气信息可以是指摄像装置在获取第一困难样本时的天气状况，例如，晴天、多云、下雨、下雪、季节或者温度等。其中的光线强度信息可以是指拍摄装置在获取第一困难样本时，由于拍摄时间以及拍摄位置等因素而导致的逆光或者强光照射等现象。
在一个可选示例中，本公开可以根据视频的备注信息或者照片的备注信息等，确定第一困难样本的采集环境信息。本公开也可以采用人工识别方式确定第一困难样本的采集环境信息。本公开不限制确定第一困难样本的采集环境信息的具体实现方式。
S130、根据采集环境信息，生成图像采集控制信息，图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
图像采集控制信息中可以包括但不限于基于路段信息生成的数据采集路径、基于天气信息生成的数据采集天气环境、基于光照强度信息生成的数据采集光照环境中的至少一种。
在一个可选示例中，在采集环境信息包括路段信息的情况下，本公开可以先根据第一困难样本所属的路段信息，进行数据采集路径的规划操作，从而形成数据采集路径，如果第一困难样本的数量为多个，则本公开所形成的数据采集路径通常会包括多个第一困难样本所属的路段。例如，本公开可以将第一困难样本所属的路段均作为输入提供给地图导航应用，从而可以根据地图导航应用输出一条路径，该路径包括多个第一困难样本所属的路段。该路径即为数据采集路径。
可选的，本公开可以利用带有摄像装置的数据采集车沿该数据采集路径行驶，并在行驶过程中进行拍摄，如拍摄照片或者拍摄视频等，以执行数据采集操作。另外，在执行数据采集操作时，可以考虑第一困难样本的采集环境信息中的天气以及光线强度等，从而决定执行数据采集操作的天气环境、光线环境等。例如，在晴天的早上，使数据采集车沿数据采集路径行驶，并进行拍摄，从而可以获得迎着照射角度较低的阳光进行拍摄的该街景的多张照片或者视频。再例如，在阴天的傍晚，使数据采集车沿数据采集路 径行驶，并进行拍摄，从而可以获得光线昏暗的该街景的多张照片或者视频。
在一个可选示例中，本公开中可以获取通过图像采集控制信息而采集到的第二图像样本集(如多张照片或者视频等)。一种实施方式中，在获取第二图像样本集之后，可以将第二图像样本集提供给调整后的第一神经网络，进而根据调整后的第一神经网络针对第二图像样本集中每个第二图像样本的处理结果，从第二图像样本集中筛选出第二困难样本。
本公开可以利用本次获得的第二困难样本，再次执行上述S100-S130，其中，执行S100-S130的过程中所使用的第一神经网络可以是利用包含当前获得的第一困难样本的训练样本集进行训练后得到的调整后的第一神经网络。本公开提供的方法可以迭代执行，从而可以从第二图像样本集中获得第二困难样本，进而又一次获得第三图像样本集中获得第三困难样本，以此类推。在多次重复上述S100-S130之后(即多次迭代本公开的方法之后)，本公开可以实现困难样本的快速积累。
由于本公开根据当前获得的第一困难样本的采集环境信息确定的图像采集控制信息，来执行数据采集操作(如根据第一困难样本所属的路段规划数据采集路径等)，因此，本公开获得与第一困难样本类似的照片或者视频帧的机会更多，也就是说，所获得的第二图像样本集包含第二困难样本的几率更高，即本公开可以再现类似的困难样本；从而本公开有利于快速积累困难样本，进而本公开有利于降低获得困难样本的成本，并有利于提高获得困难样本的效率。
图3为本公开的神经网络训练方法一个实施例的流程图。神经网络以第一神经网络为例。如图3所示，该实施例方法包括：S300以及S310。下面对各步骤进行详细描述。
S300，将训练样本集中的带有标注信息的第一困难样本提供给第一神经网络。
可选的，本公开中的训练样本集中的第一困难样本包括：利用上述方法实施方式所记载的步骤，所获得的第一困难样本。训练样本集中的第一困难样本均具有标注信息。
可选的，本公开中的第一神经网络可以为进行预训练后的神经网络。另外，该第一神经网络可以为用于检测目标对象的神经网络，例如，用于检测目标对象的位置以及类别的神经网络。
S310，根据第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整第一神经网络的参数，得到调整后的第一神经网络。
可选的，本公开可以根据第一神经网络针对多个困难样本的输出以及多个第一 困难样本的标注信息，确定出损失，并根据该损失来调整第一神经网络的参数。本本公开中的参数可以包括但不限于：卷积核参数和/或矩阵权重等。
在一个可选示例中，在针对第一神经网络的训练达到预定迭代条件时，本次训练过程结束。本公开中的预定迭代条件可以包括：第一神经网络针对第一困难样本的输出与第一困难样本的标注信息之间的差异满足预定差异要求。在该差异满足预定差异要求的情况下，本次对第一神经网络成功训练完成。本公开中的预定迭代条件也可以包括：对第一神经网络进行训练，所使用的第一困难样本的数量达到预定数量要求等。成功训练完成的第一神经网络可以用于检测目标对象。
图4为本公开图像采集控制装置一个实施例的结构示意图。图4所示的装置包括：提供模块400、筛选模块410、环境确定模块420以及采集控制模块430。可选的，该装置还可以包括：优化模块440以及训练模块450。下面对各模块分别进行详细描述。
提供模块400用于将第一图像样本集提供给第一神经网络。其中的第一图像样本集可以包括不具有标注信息的第一图像样本。提供模块400具体执行的操作可以参见上述方法实施方式中针对S100的描述。
筛选模块410用于根据第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从第一图像样本集中筛选出第一困难样本。可选的，筛选模块410可以包括：第一子模块和第二子模块。其中的第一子模块用于检测第一神经网络针对第一图像样本集中每个第一图像样本的处理结果是否正确。例如，第一子模块可以用于：在第一图像样本集包括时序连续的多个视频帧样本的情况下，对第一神经网络基于所述多个视频帧样本输出的目标对象检测结果，进行目标对象连续性检测；第一子模块将不满足预设连续性要求的目标对象检测结果，作为不正确的处理结果。再例如，在提供模块400将第一图像样本提供给第二神经网络的情况下，第一子模块可以确定第二神经网络针对第一图像样本的处理结果与第一神经网络针对第一图像样本的处理结果之间的差异；第一子模块将与不满足预设差异要求的差异对应的处理结果，作为不正确的处理结果。其中的第二子模块用于根据检测出的与不正确的处理结果对应的第一图像样本，确定第一困难样本。例如，第二子模块可以获取与不正确的处理结果对应的错误类型；第二子模块将与属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为第一困难样本。筛选模块410以及其包括的子模块具体执行的操作可以参见上述方法实施方式中针对S110的描述。
环境确定模块420用于基于第一困难样本，确定第一困难样本的采集环境信息。 其中的采集环境信息包括：路段信息、天气信息、以及光线强度信息中的至少一个。环境确定模块420具体执行的操作可以参见上述方法实施方式中针对S120的描述。
采集控制模块430用于根据采集环境信息，生成图像采集控制信息；图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。可选的，采集控制模块430可以在采集环境信息包括路段信息的情况下，基于采集环境信息中包括的路段信息，确定与第一困难样本匹配的采集路段；采集控制模块430利用确定的采集路段，生成数据采集路径，数据采集路径用于指示摄像装置按照数据采集路径采集第二图像样本集。
在第一神经网络用于检测第一图像样本中的目标对象的情况下，优化模块440用于在与不正确的处理结果对应的错误类型为第一神经网络对第一图像样本进行检测得到的目标对象检测框不正确的情况下，对第一神经网络中包括的用于检测目标对象检测框的模块进行调整。此时，第二子模块可以在不正确的处理结果对应的错误类型为摄像装置因素的情况下，发送更改摄像装置的提示信息。优化模块440具体执行的操作可以参见上述方法实施方式中的相关描述。
训练模块450用于将第一困难样本加入至训练样本集；并利用包含有第一困难样本的训练样本集，对第一神经网络进行训练，得到调整后的第一神经网络。另外，训练模块450还可以对第一困难样本进行标注处理，将带有标注信息的第一困难样本加入至训练样本集；训练模块450将训练样本集中的带有标注信息的第一困难样本提供给第一神经网络；训练模块450根据第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整第一神经网络的参数，得到调整后的第一神经网络。训练模块450具体执行的操作可以参见上述方法实施方式中针对图3的相关描述。
本公开中的提供模块400还可以获取第二图像样本集，并将第二图像样本集提供给调整后的第一神经网络。筛选模块410还可以根据调整后的第一神经网络针对第二图像样本集中每个第二图像样本的处理结果，从第二图像样本集中筛选出第二困难样本。采集控制模块430具体执行的操作可以参见上述方法实施方式中针对S130的描述。
图5示出了适于实现本公开的示例性电子设备500。电子设备500可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图5中，电子设备500包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)501，和/或，一个或者多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载 到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信部512可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过总线504与通信部512相连、并经通信部512与其他目标设备通信，从而完成本公开中的相应步骤。
上述各指令所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。此外，在RAM 503中，还可以存储有装置操作所需的各种程序以及数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。
在有RAM 503的情况下，ROM 502为可选模块。RAM 503存储可执行指令，或在运行时向ROM 502中写入可执行指令，可执行指令使中央处理单元501执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装在存储部分508中。
需要特别说明的是，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU 513和CPU 501可分离设置，再如理，可将GPU 513集成在CPU 501上，通信部可分离设置，也可集成设置在CPU 501或GPU 513上等。这些可替换的实施方式均落入本公开的保护范围。
特别地，根据本公开的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本公开实施方式包括一种计算机程序产品，其包含有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本公开提供的方法中的步骤对应的指令。
在这样的实施方式中，该计算机程序可以通过通信部分509从网络上被下载及安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本公开中记载的实现上述相应步骤的指令。
在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任意实施例中所述的图像采集控制方法或者神经网络训练方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在一个或多个可选实施方式中，本公开实施例还提供了另一种图像采集控制方法和神经网络训练方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中的方法包括：第一装置向第二装置发送图像采集控制的指示或者神经网络训练的指示，该指示使得第二装置执行上述任一可能的实施例中的图像采集控制方法或者神经网络训练方法；第一装置接收第二装置发送的图像采集控制的处理结果或者神经网络训练的结果。
在一些实施例中，该图像采集控制的指示或者神经网络训练的指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像采集控制操作或者神经网络训练的操作，相应地，响应于接收到调用指令，第二装置可以执行上述图像采集控制方法或者神经网络训练方法中的任意实施例中的步骤和/或流程。
应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本公开的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了 进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述，是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言，是显然的。选择和描述实施方式是为了更好说明本公开的原理以及实际应用，并且使本领域的普通技术人员能够理解本公开实施例可以从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (29)

  1. 一种图像采集控制方法，包括：
    将第一图像样本集提供给第一神经网络；
    根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；
    基于所述第一困难样本，确定所述第一困难样本的采集环境信息；
    根据所述采集环境信息，生成图像采集控制信息，所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
  2. 根据权利要求1所述的方法，其中，所述第一图像样本集包括不具有标注信息的第一图像样本。
  3. 根据权利要求2所述的方法，其中，所述根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本，包括：
    检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确；
    根据检测出的与不正确的处理结果对应的第一图像样本，确定所述第一困难样本。
  4. 根据权利要求3所述的方法，其中，
    所述第一图像样本集包括时序连续的多个视频帧样本；
    所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确，包括：
    对所述第一神经网络基于所述多个视频帧样本分别输出的多个目标对象检测结果，进行目标对象连续性检测；
    将所述多个目标对象检测结果中不满足预设连续性要求的一个或多个目标对象检测结果，作为所述不正确的处理结果。
  5. 根据权利要求3所述的方法，所述方法还包括：
    将所述第一图像样本集提供给第二神经网络，
    其中，所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确，包括：
    确定所述第二神经网络针对该第一图像样本的第二处理结果与所述第一神经网络针对该第一图像样本的第一处理结果之间的差异；
    在所述差异不满足预设差异要求的情况下，将所述第一处理结果作为所述不正确的 处理结果。
  6. 根据权利要求3至5中任一项所述的方法，其中，所述根据检测出的与不正确的处理结果对应的第一图像样本，确定所述第一困难样本，包括：
    获取与所述不正确的处理结果对应的错误类型；
    将与属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为所述第一困难样本。
  7. 根据权利要求6所述的方法，其中，所述第一神经网络用于检测所述第一图像样本中的目标对象，
    所述方法还包括：在与所述不正确的处理结果对应的错误类型表示所述第一神经网络对所述第一图像样本进行检测得到的目标对象检测框不正确的情况下，对所述第一神经网络中包括的用于检测所述目标对象检测框的模块进行调整。
  8. 根据权利要求6所述的方法，所述方法还包括：
    在与所述不正确的处理结果对应的错误类型与摄像装置因素相关的情况下，发送更改所述摄像装置的提示信息。
  9. 根据权利要求1至8中任一项所述的方法，其中，所述采集环境信息包括路段信息、天气信息、以及光线强度信息中的至少一个。
  10. 根据权利要求9所述的方法，其中，
    所述采集环境信息包括路段信息；
    所述根据所述采集环境信息，生成图像采集控制信息，包括：
    基于所述路段信息，确定与所述第一困难样本匹配的采集路段；
    利用确定的所述采集路段，生成数据采集路径，将所述数据采集路径包括在图像采集控制信息中，以指示摄像装置按照所述数据采集路径采集所述第二图像样本集。
  11. 根据权利要求1至10中任一所述的方法，所述方法还包括：
    将所述第一困难样本加入至训练样本集；
    利用所述训练样本集对所述第一神经网络进行训练，得到调整后的第一神经网络。
  12. 根据权利要求11所述的方法，其中，将所述第一困难样本加入至训练样本集，包括：
    将带有标注信息的第一困难样本加入至所述训练样本集；
    所述利用所述训练样本集对所述第一神经网络进行训练，得到调整后的第一神经网络，包括：
    将所述训练样本集中的带有标注信息的第一困难样本提供给所述第一神经网络；
    根据所述第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整所述第一神经网络的参数，得到调整后的第一神经网络。
  13. 根据权利要求11或12所述的方法，所述方法还包括：
    获取所述第二图像样本集；
    将所述第二图像样本集提供给所述调整后的第一神经网络；
    根据所述调整后的第一神经网络针对所述第二图像样本集中每个第二图像样本的处理结果，从所述第二图像样本集中筛选出所述第二困难样本。
  14. 一种图像采集控制装置，包括：
    提供模块，用于将第一图像样本集提供给第一神经网络；
    筛选模块，用于根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；
    环境确定模块，用于基于所述第一困难样本，确定所述第一困难样本的采集环境信息；
    采集控制模块，用于根据所述采集环境信息，生成图像采集控制信息，所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
  15. 根据权利要求14所述的装置，其中，所述第一图像样本集包括不具有标注信息的第一图像样本。
  16. 根据权利要求15所述的装置，其中，所述筛选模块包括：
    第一子模块，用于检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确；
    第二子模块，用于根据检测出的与不正确的处理结果对应的第一图像样本，确定所述第一困难样本。
  17. 根据权利要求16所述的装置，其中，
    所述第一图像样本集包括时序连续的多个视频帧样本；
    所述第一子模块用于：
    对所述第一神经网络基于所述多个视频帧样本分别输出的多个目标对象检测结果，进行目标对象连续性检测；
    将所述多个目标对象检测结果中不满足预设连续性要求的一个或多个目标对象检测结果，作为所述不正确的处理结果。
  18. 根据权利要求16所述的装置，其中，所述提供模块还用于：将所述第一图像 样本集提供给第二神经网络；
    所述第一子模块用于：针对所述第一图像样本集中每个第一图像样本，
    确定所述第二神经网络针对该第一图像样本的第二处理结果与所述第一神经网络针对该第一图像样本的第一处理结果之间的差异；
    在所述差异不满足预设差异要求的情况下，将所述第一处理结果作为所述不正确的处理结果。
  19. 根据权利要求16至18中任一项所述的装置，其中，所述第二子模块用于：
    获取与所述不正确的处理结果对应的错误类型；
    将与属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为所述第一困难样本。
  20. 根据权利要求19所述的装置，其中，所述第一神经网络用于检测所述第一图像样本中的目标对象；
    所述装置还包括：优化模块，用于在与所述不正确的处理结果对应的错误类型表示所述第一神经网络对所述第一图像样本进行检测得到的目标对象检测框不正确的情况下，对所述第一神经网络中包括的用于检测所述目标对象检测框的模块进行调整。
  21. 根据权利要求19所述的装置，其中，所述第二子模块进一步用于：
    在与所述不正确的处理结果对应的错误类型与摄像装置因素相关的情况下，发送更改所述摄像装置的提示信息。
  22. 根据权利要求14至21中任一项所述的装置，其中，所述采集环境信息包括路段信息、天气信息、以及光线强度信息中的至少一个。
  23. 根据权利要求22所述的装置，其中，
    所述采集环境信息包括路段信息；
    所述采集控制模块用于：
    基于所述路段信息，确定与所述第一困难样本匹配的采集路段；
    利用确定的所述采集路段，生成数据采集路径，将所述数据采集路径包括在图像采集控制信息中，以指示摄像装置按照所述数据采集路径采集所述第二图像样本集。
  24. 根据权利要求14至23中任一所述的装置，所述装置还包括：
    训练模块，用于：
    将所述第一困难样本加入至训练样本集；
    利用所述训练样本集对所述第一神经网络进行训练，得到调整后的第一神经网 络。
  25. 根据权利要求24所述的装置，其中，所述训练模块用于：
    将带有标注信息的第一困难样本加入至所述训练样本集；
    将所述训练样本集中的带有标注信息的第一困难样本提供给所述第一神经网络；
    根据所述第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整所述第一神经网络的参数，得到调整后的第一神经网络。
  26. 根据权利要求24或25所述的装置，其中，所述提供模块还用于：获取所述第二图像样本集；将所述第二图像样本集提供给所述调整后的第一神经网络；
    所述筛选模块还用于：根据所述调整后的第一神经网络针对所述第二图像样本集中每个第二图像样本的处理结果，从所述第二图像样本集中筛选出所述第二困难样本。
  27. 一种电子设备，包括：
    存储器，用于存储计算机程序；
    处理器，用于执行所述存储器中存储的计算机程序，以实现根据权利要求1-13中任一项所述的图像采集控制方法。
  28. 一种计算机可读存储介质，其上存储有计算机程序，该计算机程序可被处理器执行，以实现根据权利要求1-13中任一项所述的图像采集控制方法。
  29. 一种计算机程序，包括计算机指令，所述计算机指令可被处理器执行，以实现根据权利要求1-13中任一项所述的图像采集控制方法。
PCT/CN2020/097232 2019-06-28 2020-06-19 图像采集控制方法、装置、电子设备及存储介质 WO2020259416A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021552212A JP2022522375A (ja) 2019-06-28 2020-06-19 画像収集制御方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム
KR1020217028688A KR20210119532A (ko) 2019-06-28 2020-06-19 화상 수집 제어 방법, 장치, 전자 디바이스 및 기억 매체
US17/560,442 US20220114396A1 (en) 2019-06-28 2021-12-23 Methods, apparatuses, electronic devices and storage media for controlling image acquisition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910579147.3A CN112149707A (zh) 2019-06-28 2019-06-28 图像采集控制方法、装置、介质及设备
CN201910579147.3 2019-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/560,442 Continuation US20220114396A1 (en) 2019-06-28 2021-12-23 Methods, apparatuses, electronic devices and storage media for controlling image acquisition

Publications (1)

Publication Number Publication Date
WO2020259416A1 true WO2020259416A1 (zh) 2020-12-30

Family

ID=73891383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/097232 WO2020259416A1 (zh) 2019-06-28 2020-06-19 图像采集控制方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20220114396A1 (zh)
JP (1) JP2022522375A (zh)
KR (1) KR20210119532A (zh)
CN (1) CN112149707A (zh)
WO (1) WO2020259416A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733666A (zh) * 2020-12-31 2021-04-30 湖北亿咖通科技有限公司 一种难例图像的搜集、及模型训练方法、设备及存储介质
CN113688975A (zh) * 2021-08-24 2021-11-23 北京市商汤科技开发有限公司 神经网络的训练方法、装置、电子设备及存储介质
CN114418021A (zh) * 2022-01-25 2022-04-29 腾讯科技（深圳）有限公司 模型优化方法、装置及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355871A1 (en) * 2012-06-15 2014-12-04 Vufind, Inc. System and method for structuring a large scale object recognition engine to maximize recognition accuracy and emulate human visual cortex
CN104361366A (zh) * 2014-12-08 2015-02-18 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及车牌识别设备
CN105184226A (zh) * 2015-08-11 2015-12-23 北京新晨阳光科技有限公司 数字识别方法和装置及神经网络训练方法和装置
CN107220618A (zh) * 2017-05-25 2017-09-29 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
WO2018105122A1 (ja) * 2016-12-09 2018-06-14 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法
JP6922447B2 (ja) * 2017-06-06 2021-08-18 株式会社デンソー 情報処理システム、サーバおよび通信方法
JP6936957B2 (ja) * 2017-11-07 2021-09-22 オムロン株式会社 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355871A1 (en) * 2012-06-15 2014-12-04 Vufind, Inc. System and method for structuring a large scale object recognition engine to maximize recognition accuracy and emulate human visual cortex
CN104361366A (zh) * 2014-12-08 2015-02-18 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及车牌识别设备
CN105184226A (zh) * 2015-08-11 2015-12-23 北京新晨阳光科技有限公司 数字识别方法和装置及神经网络训练方法和装置
CN107220618A (zh) * 2017-05-25 2017-09-29 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733666A (zh) * 2020-12-31 2021-04-30 湖北亿咖通科技有限公司 一种难例图像的搜集、及模型训练方法、设备及存储介质
CN113688975A (zh) * 2021-08-24 2021-11-23 北京市商汤科技开发有限公司 神经网络的训练方法、装置、电子设备及存储介质
CN114418021A (zh) * 2022-01-25 2022-04-29 腾讯科技（深圳）有限公司 模型优化方法、装置及计算机程序产品
CN114418021B (zh) * 2022-01-25 2024-03-26 腾讯科技（深圳）有限公司 模型优化方法、装置及计算机程序产品

Also Published As

Publication number Publication date
CN112149707A (zh) 2020-12-29
JP2022522375A (ja) 2022-04-18
US20220114396A1 (en) 2022-04-14
KR20210119532A (ko) 2021-10-05

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
EP3777122B1 (en) Image processing method and apparatus
Neumann et al. Nightowls: A pedestrians at night dataset
WO2020259416A1 (zh) 图像采集控制方法、装置、电子设备及存储介质
US9740967B2 (en) Method and apparatus of determining air quality
EP3579148A1 (en) Method and apparatus for training, classification model, mobile terminal, and readable storage medium
WO2020206850A1 (zh) 基于高维图像的图像标注方法和装置
Mihail et al. Sky segmentation in the wild: An empirical study
CN113159043B (zh) 基于语义信息的特征点匹配方法及系统
CN112801158A (zh) 基于级联融合和注意力机制的深度学习小目标检测方法及装置
CN111832578A (zh) 兴趣点信息处理方法、装置、电子设备和存储介质
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN111274988B (zh) 一种基于多光谱的车辆重识别方法及装置
CN112991218A (zh) 图像处理的方法、装置、设备以及存储介质
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN110334768B (zh) 一种冰柜陈列检测方法、系统及电子设备
CN116452573A (zh) 变电站设备缺陷检测方法、模型训练方法、装置和设备
CN107347125B (zh) 视频图像的处理方法、装置和终端设备
CN115115973A (zh) 一种基于多感受野与深度特征的弱小目标检测方法
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN113272855A (zh) 用于重叠多图像应用的响应归一化
EP3877951A1 (en) Automatic co-registration of thermal and visible image pairs
CN109934045B (zh) 行人检测方法和装置
CN112348823A (zh) 一种面向对象的高分辨率遥感影像分割算法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20833634

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021552212

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217028688

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 18.02.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20833634

Country of ref document: EP

Kind code of ref document: A1