WO2020220289A1 - 观测视野的调整方法、装置与系统、存储介质与移动装置 - Google Patents

观测视野的调整方法、装置与系统、存储介质与移动装置 Download PDF

Info

Publication number
WO2020220289A1
WO2020220289A1 PCT/CN2019/085261 CN2019085261W WO2020220289A1 WO 2020220289 A1 WO2020220289 A1 WO 2020220289A1 CN 2019085261 W CN2019085261 W CN 2019085261W WO 2020220289 A1 WO2020220289 A1 WO 2020220289A1
Authority
WO
WIPO (PCT)
Prior art keywords
field
view
current
target
observation
Prior art date
Application number
PCT/CN2019/085261
Other languages
English (en)
French (fr)
Inventor
封旭阳
张李亮
夏志强
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/085261 priority Critical patent/WO2020220289A1/zh
Priority to EP19926907.7A priority patent/EP3817374A1/en
Priority to CN201980012196.7A priority patent/CN111712827A/zh
Publication of WO2020220289A1 publication Critical patent/WO2020220289A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present invention relates to the field of intelligent transportation technology, in particular to a method, device and system, storage medium and mobile device for adjusting the observation field of view.
  • the target detection technology in automatic driving or unmanned driving is related to whether the obstacles in the traveling direction of the vehicle can be accurately detected, which directly affects the safety of the vehicle driving, and has become a technical issue that is focused on in this field.
  • the target within the sacrificed field of view cannot be captured by the vehicle imaging system, and this part of the target that cannot be captured by the imaging system is likely to be near the vehicle Therefore, only relying on the method of adjusting the view of the lens for target detection will cause safety hazards during the driving process to a certain extent.
  • the embodiment of the present invention provides a method, a device and a system, a storage medium and a mobile device for adjusting the field of view of observation, in order to solve the problem of safety and application limitation in the process of target observation.
  • the computer program is stored in the memory and configured to be executed by the processor to implement the method according to the first aspect.
  • An automatic driving control device is used to control the mobile device to automatically drive according to the target field of view.
  • FIG. 1 is a schematic flowchart of a method for adjusting an observation field of view provided by an embodiment of the present invention
  • FIG. 4 is a schematic flowchart of another method for adjusting the observation field of view provided by an embodiment of the present invention.
  • the embodiment of the present invention provides a method for adjusting the observation field of view, and the method can be specifically used in an automatic driving system of a vehicle. Specifically, please refer to Figure 1.
  • the method includes the following steps:
  • the executive body of the method for adjusting the observation field can be integrated with a speed measuring device to directly obtain the movement information of the mobile device; Alternatively, it may also interact with a mobile device controller, such as a main controller or a controller for controlling driving, to obtain the motion information collected by the mobile device controller.
  • a mobile device controller such as a main controller or a controller for controlling driving
  • the observation field can be adjusted from the current field of view gear to the target field of view corresponding to the target field of view when performing this step. .
  • the dynamic adjustment of the target field of view is realized, which can reduce the degree of field sacrifice during the observation process, thereby reducing the safety risk caused by the field of view being sacrificed, and to a certain extent solve the existing target observation process
  • Existing safety issues compared to the implementation solution that maintains a wider field of view while identifying distant target objects, the dynamic field of view adjustment solution provided by the embodiments of the present invention has lower requirements on the hardware and software of the automatic driving system , which is more conducive to the wide application of actual products, and to a certain extent solves the problem of limited application in the existing target observation process.
  • S1066 Determine a target adjustment condition according to the first field of view range, the object detection result, and a preset field of view adjustment condition.
  • the target adjustment conditions are determined.
  • Table 1 refers to the relationship between A and B, and is identified as “greater than”, “less than”, or “equal to”. Specifically, taking the "greater than” relationship as an example, it means that A is greater than B. Other size relationship identification methods are similar here, and will not be described in detail later. And, “-" in Table 1 is used to indicate that the judgment does not need to be executed or the judgment result has no influence on the result of visual field adjustment.
  • the specified field of view involved in the embodiment of the present invention refers to a field of view larger than the current field of view.
  • the visual field gears gradually increasing with the decrease of FOV it can be the visual field gear one gear (or multiple gears) lower than the current visual field gear; or, the visual field gear increases with the FOV.
  • the larger and gradually increasing correspondence is the visual field gear one gear (or more gears) higher than the current visual field gear.
  • the conditions for reducing the field of view may include but are not limited to the following two situations:
  • the current field of view is larger than the first field of view, and no object of interest is detected in the current field of view image.
  • the current FOV is relatively large and no obstacles are detected in the current FOV. At this time, it is more necessary to pay attention to the obstacles near the mobile device. Therefore, the FOV can be appropriately reduced to meet the needs of close observation.
  • the current field of view is larger than the first field of view, and an object of interest is detected in the current field of view image, and the size of the area where the largest object of interest is located is less than a preset safe size.
  • the field of view at that time already corresponds to the minimum FOV that the movement information of the mobile device can correspond to, and at this time, there is no object of interest within a long enough distance. Therefore, there is no need to adjust the field of view, and keep The current field of view is fine.
  • the current field of view is greater than or equal to the minimum FOV corresponding to the motion information of the mobile device, indicating that the object of interest is far enough from the mobile device, but the size of the detected area of the largest object of interest is equal to the preset safe size.
  • Real-time processing scheme That is, the first visual field range and the object detection result are used to obtain the visual field adjustment condition satisfied by the current visual field range as the target adjustment condition.
  • This adjustment scheme is conducive to real-time adjustment of the field of view, thereby ensuring that the adjusted field of view is truly in line with the motion state and observation state of the mobile device, and has high observation accuracy and real-time performance.
  • N is an integer greater than 1
  • the number of times the visual field adjustment condition that meets the most number of times appears is enough ( Is greater than or equal to the preset ratio threshold), it is determined as the target adjustment condition, and subsequent adjustments are performed.
  • S309 Determine the target visual field gear according to the current visual field gear and the visual field adjustment condition that has been met the most frequently.
  • FIG. 4 shows a schematic flowchart of another method for adjusting the observation field of view provided by an embodiment of the present invention.
  • the corresponding relationship between the field of view gear and the increasing order of the FOV is preset.
  • the method includes:
  • the adjustment module 64 is configured to adjust the observation field of view to the target field of view.
  • the determining module 63 is specifically used for:
  • the conditions for expanding the field of view include:
  • the current field of view is larger than the first field of view, and no object of interest is detected in the current field of view image
  • the observation field of view is switched from the current field of view to the target field of view.
  • the number of memories 610 in the device 600 for adjusting the field of view of observation may be one or more, and instructions or intermediate data are stored on the memory 610, and the instructions may be executed on the processor 620 so that all The adjustment device 600 for the observation field of view executes the method described in the foregoing method embodiment.
  • the memory 610 may also store other related data.
  • the processor 620 may also store instructions and/or data. The processor 620 and the memory 610 may be provided separately or integrated together.
  • the memory 610, the processor 620, and the transceiver 630 are connected and communicate via a bus.
  • an embodiment of the present invention provides an automatic driving system. Please refer to FIG. 9.
  • the automatic driving system 900 includes:
  • the adjustment device 600 for the observation field of view is configured to execute the method described in any implementation manner in the first embodiment
  • first, second, etc. may be used in the embodiments of the present invention to describe various elements, these elements should not be affected by these Term limitation. These terms are only used to distinguish one element from another element.
  • the first element can be called the second element, and likewise, the second element can be called the first element, as long as all occurrences of the "first element” are renamed consistently and all occurrences "Second component” can be renamed consistently.
  • the first element and the second element are both elements, but they may not be the same element.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种观测视野的调整方法、装置与系统、存储介质与移动装置，其中，该方法用于移动装置的自动驾驶系统，包括：获取所述移动装置的运动信息与初始观测图像(102)，然后，利用当前视野范围对所述初始观测图像进行裁剪处理，得到当前视野图像(104)，从而，根据所述移动装置的运动信息与所述当前视野图像，确定目标视野范围(106)，进而，将观测视野调整至所述目标视野范围(108)。本发明实施例提供的技术方案能够在一定程度上解决目标观测过程中存在的安全问题与应用受限问题。

Description

观测视野的调整方法、装置与系统、存储介质与移动装置 技术领域
本发明涉及智能交通技术领域，尤其涉及一种观测视野的调整方法、装置与系统、存储介质与移动装置。
背景技术
自动驾驶或无人驾驶中的目标检测技术关系到能否准确检测到车辆行进方向上的障碍物，其直接影响车辆行驶的安全性，成为本领域重点关注的技术问题。
传统的基于视觉图像的目标检测技术在具体应用中，难以高效准确地及时处理既包含近处目标又包含远处目标的检测任务。例如，在对远距离物体进行目标检测时，一般是使车辆成像系统中的相机保持在图像分辨率不变的情况下直接减少镜头视角，由此能够采集到较远距离物体的图像，并且该较远距离物体还能保持较多像素的成像，便于给此车辆做进一步的目标检测分析。但采用上述策略进行目标检测会牺牲掉部分视野范围，在被牺牲掉的视野范围内的目标无法被车辆成像系统采集到，而这部分无法被成像系统采集到的目标很有可能是车辆近处的障碍物，因此，仅靠调节镜头视野的方法来进行目标检测在一定程度上会造成车辆行驶过程中的安全隐患。
如果要保持较宽视野范围同时又要识别到远处的目标物体，则需要增加自动驾驶系统的运算量和算法复杂程度，这对自动驾驶系统的硬件和软件都有更高的要求，采用此策略进行目标检测难以在实际产品中得到广泛应用。
发明内容
本发明实施例提供了一种观测视野的调整方法、装置与系统、存储介质与移动装置，以期解决目标观测过程中存在的安全问题与应用受限问题。
第一方面，本发明实施例提供了一种观测视野的调整方法，用于移动装置的自动驾驶系统，包括：
获取所述移动装置的运动信息与初始观测图像；
利用当前视野范围对所述初始观测图像进行裁剪处理，得到当前视野图像；
根据所述移动装置的运动信息与所述当前视野图像，确定目标视野范围；
将观测视野调整至所述目标视野范围。
第二方面，本发明实施例提供了一种观测视野的调整装置，用于移动装置的自动驾驶系统，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
第三方面，本发明实施例提供了一种观测视野的调整系统，包括：
图像采集装置，用于采集初始观测图像；
观测视野的调整装置，用于执行如第一方面所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，
所述计算机程序被处理器执行以实现如第一方面所述的方法。
第五方面，本发明实施例提供了一种自动驾驶系统，包括：
图像采集装置，用于采集初始观测图像；
观测视野的调整装置，用于执行如第一方面所述的方法；
自动驾驶控制装置，用于根据所述目标视野范围控制所述移动装置自动驾驶。
第六方面，本发明实施例提供了一种移动装置，包括：
移动装置主体；
如第五方面所述的自动驾驶系统。
本发明实施例提供的技术方案中，初始观测图像中包含当前所能观测到的所有对象，而视野图像是利用视野范围对初始观测图像进行裁剪处理得到的，结合当前视野图像与移动装置的运动信息，能够根据移动装置的实际运动情况与当前观测结果实现对视野范围的及时确定与调整，如此，实现了对目标视野范围的动态调整，这既能够降低观测过程中的视野牺牲程度，从而 降低由于视野被牺牲而造成的安全风险，在一定程度上解决了现有目标观测过程中存在的安全问题；而且，相对于保持较宽视野范围同时又要识别到远处的目标物体的实现方案，本发明实施例提供的视野动态调整方案对自动驾驶系统的硬件和软件的要求较低，更有利于实际产品的广泛应用，在一定程度上解决了现有目标观测过程中存在的应用受限问题。
附图说明
图1为本发明实施例所提供的一种观测视野的调整方法的流程示意图；
图2为本发明实施例所提供的另一种观测视野的调整方法的流程示意图；
图3为本发明实施例所提供的另一种观测视野的调整方法的流程示意图；
图4为本发明实施例所提供的另一种观测视野的调整方法的流程示意图；
图5为本发明实施例所提供的另一种观测视野的调整方法的流程示意图；
图6为本发明实施例所提供的一种观测视野的调整装置的功能方块图；
图7为本发明实施例所提供的一种观测视野的调整装置的实体结构示意图；
图8为本发明实施例所提供的一种观测视野的调整系统的架构示意图；
图9为本发明实施例所提供的一种自动驾驶系统的架构示意图；
图10为本发明实施例所提供的一种移动装置的架构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明的移动装置可以是车辆、船舶或无人飞行器。本实施例具体的应用场景为车辆在行驶或停车过程中的目标检测场景，更进一步的，可以具体为无人驾驶车辆的行驶或避障等场景中的目标检测场景。
目标检测技术是自动驾驶、无人机系统感知外界环境的重要技术。真实世界中，物体距离相机越远，其成像就越小。而基于视觉图像的目标检测技 术所能检测到的物体像素大小往往是有限的，也就是其能看到的距离是有限的。而为了能够看得更远，也就是实现远处目标的观测，常用的方法是增加检测算法模型复杂度，或者，在不改变图像分辨率的情况下减少镜头视野。但是，增加检测算法模型复杂度的方法会增加算法计算量与复杂度，对软硬件设备的要求较高，且无法满足目标检测的实时性需求，导致应用受限；而减少镜头视野的方案则导致部分视野被牺牲，使得移动装置行驶过程中无法采集到牺牲部分的障碍物，存在较大的安全隐患。
本发明提供的技术方案，旨在解决现有技术的如上技术问题，并提出如下解决思路：提供一种动态视野切换的目标检测方案，具体而言，通过对移动装置的运动信息、当前视野范围的检测结果，来确认并自动调整图像视野，实现对图像视野的自适应切换。
下面以具体地实施例对本发明的技术方案以及本发明实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例一
本发明实施例提供了一种观测视野的调整方法，该方法可具体用于辆的自动驾驶系统。具体的，请参考图1，该方法包括如下步骤：
S102，获取所述移动装置的运动信息与初始观测图像。
一方面，移动装置的运动信息用于描述移动装置的运动情况，在具体实现时，其可以包括但不限于：所述移动装置的行驶速度、所述移动装置的加速度。
在具体获取移动装置的运动信息时，可以由该观测视野的调整方法的执行主体(为了便于说明，以下均简称观测视野的调整装置)中集成测速装置，以直接获取到移动装置的运动信息；或者，也可以与移动装置控制器，如主控制器或用于控制行驶的控制器，进行交互，以获取到移动装置控制器采集得到的运动信息。
另一方面，初始观测图像中包含有移动装置当前图像采集设备所能采集到的完整图像，该图像实际可作为全视野范围图像。
在具体实现本方案时，用于采集初始观测图像的图像采集装置可以利用 现有的硬件设备实现。更具体的，图像采集装置可以采用具备较高分辨率的硬件设备实现，以便于后续在不同的视野范围内仍能具备一定的分辨率。
一种可能的设计中，所述图像采集装置的成像视野可以为120DFOV。和/或，一种可能的设计中，所述图像采集装置的成像大小为3840*2160。
S104，利用当前视野范围对所述初始观测图像进行裁剪处理，得到当前视野图像。
本发明实施例中设计多个不同的视野范围，任一视野范围对应于唯一的视场角(field of vision，FOV)，换言之，任意两个视野范围的FOV也不相同。
而观测图像是利用视野范围对初始观测图像进行裁剪处理得到的，也就是，利用视野范围对应的FOV来对初始观测图像进行裁剪处理。可知，利用多个不同的视野范围各自对初始观测图像进行裁剪处理得到的视野图像也各不相同。
在一种具体的实现过程中，还可以在此基础上设计视野档位，并建立视野档位-FOV之间的对应关系，从而，一个视野档位对应于唯一的FOV，以及对应唯一的视野范围及视野图像。具体的，可以建立视野档位随FOV的降低而逐步增大的对应关系；或者，也可以建立视野档位随FOV的降低而降低(或随FOV的增大而增大)的对应关系。
这种视野档位的设计，使得后续针对目标视野档位的调整可映射到对已预设好FOV值的视野档位的调整上，实现方式更加便捷，有利于提高该观测调整方案的及时性，满足移动装置行驶过程中各功能或方案对观测时效性的需求。
S106，根据所述移动装置的运动信息与所述当前视野图像，确定目标视野范围。
具体而言，根据移动装置的运动信息，可以获取到所述移动装置的运动信息所能对应的第一视野范围，而针对当前视野图像，则可以获取到当前视野图像的对象检测结果，以便于根据第一视野范围与对象检测结果，来确定目标视野范围。
其中，第一视野范围可具体用于描述所述移动装置的运动信息所能对应的最小视野范围。当然，在具体的应用场景中，其可以具化为最小视野范围。 一种可能的设计中，若预先建立视野档位随FOV的降低而逐步增大的对应关系，则此时，即可以获取所述移动装置的运动信息所对应的最大档位；反之，若预先建立视野档位随FOV的降低而逐步降低的对应关系，则此时，即可以获取所述移动装置的运动信息所对应的最小档位。
而任意图像的对象检测结果用于检测该图像中是否包含对象，是否包含感兴趣对象，以及，感兴趣对象的大小。
其中，何种对象为感兴趣对象可以提前预设，感兴趣对象的数目及种类可以为至少一种，本发明实施例对此无特别限定。在一种具体的无人驾驶场景中，以车辆为例，感兴趣对象可以为行驶前方的车辆或车道上的障碍物。
而感兴趣对象的大小则可以具体表现为在图像中感兴趣对象所在区域的尺寸。一种可能的设计中，若感兴趣对象所在区域以矩形框的方式框出，则感兴趣对象所在区域的尺寸可以具体表现为该矩形框的宽度(或长度、对角线长度等可用于表征矩形框尺寸的数据)。另一种可能的设计中，若感兴趣对象所在区域以圆形框的方式框出，则感兴趣对象所在区域的尺寸可以具体表现为该圆形框的直径(或半径)。
换言之，该步骤所获取到的当前视野图像的所述对象检测结果可以包括但不限于：当前视野图像中是否包含感兴趣对象、感兴趣对象所在区域的尺寸。
此外，需要说明的是，本发明实施例中，此处获取到的当前视野图像的对象检测结果，可以是本发明实施例所提供观测视野的调整方法的执行主体(为了便于说明，以下均简称观测视野的调整装置)执行对象检测实现；或者，也可以是与其他对象检测装置进行交互，以获取到其他对象检测装置针对当前视野图像的检测结果。其中，前述交互可以包括：主动获取或被动接收。
S108，将观测视野调整至所述目标视野范围。
具体而言，也就是，将视野范围由当前的FOV调整为目标视野范围所对应的FOV，并以调整后的FOV执行后续观测或其他处理。
一种可能的设计中，若预先建立视野档位与FOV之间的对应关系，则执行该步骤时，可将观测视野由当前视野档位调整至目标视野范围所对应的目标视野档位即可。
更具体地，在执行该步骤时，既可以将观测视野由当前视野范围逐步调整至所述目标视野范围，或者，也可以将观测视野由当前视野范围切换为所述目标视野范围。
通过前述方案，实现了对目标视野范围的动态调整，这既能够降低观测过程中的视野牺牲程度，从而降低由于视野被牺牲而造成的安全风险，在一定程度上解决了现有目标观测过程中存在的安全问题；而且，相对于保持较宽视野范围同时又要识别到远处的目标物体的实现方案，本发明实施例提供的视野动态调整方案对自动驾驶系统的硬件和软件的要求较低，更有利于实际产品的广泛应用，在一定程度上解决了现有目标观测过程中存在的应用受限问题。
以下，对前述方案中S106步骤的具体实现方式作进一步说明。具体的，可以参考如图2所示的实现流程：
S1062，获取所述移动装置的运动信息所对应的第一视野范围。
自动驾驶车辆行驶过程中最重要的安全指标之一的是前视道路上最近物体的碰撞时间。车辆在行驶过程中，当车速一定的情况下，可以获取到该车速所对应的平均刹车距离。而目标检测算法所能检测到的最远距离的对象，在图像上只有有限的像素数目。对于同等分辨率成像系统，图像中对象的成像像素数目和视野范围(或视野档位、FOV)具有正相关关系。由此，将该距离所需要观测到的最远目标所在区域的最小尺寸换算成最小FOV，即可得到第一视野范围。
除利用前述流程实时执行之外，另一种实现方式中，可以基于前述算法，提前建立各视野范围(或视野档位)与移动装置的运动信息范围(如车速范围)之间的对应关系，从而，在执行该步骤时，仅需要确定移动装置的运动信息落入哪一个运动信息范围，就可以将该运动信息范围所对应的视野范围确定为第一视野范围。这种实现方式由于提前建立了对应关系，相较于实时处理方案，极大地简化了数据量和处理步骤，更有利于提高数据处理的实时性，有利于满足观测过程的及时性需求。
S1064，获取所述当前视野图像的对象检测结果。
一种实现方式中，针对当前视野图像的对象检测，可以针对所有对象进行，此时，当确定包含有对象时，还需要进一步识别这些对象是否包含感兴 趣对象，以及，感兴趣对象所在区域的尺寸。其中，识别对象是否为感兴趣对象可以利用图像识别等技术来实现；或者，也可以输出给用户端，并采取用户端的操作信息，进而，以操作信息指示的对象作为感兴趣对象。
另一种实现方式中，针对当前视野图像的对象检测，可以仅针对感兴趣对象进行，此时，得到的对象检测结果可以包括但不限于：当前视野图像中是否包含感兴趣对象、感兴趣对象所在区域的尺寸。也就是，根据预先设置好的感兴趣对象来直接实现对象检测，无需在检测完成后二次识别，更有利于简化处理步骤，提高处理的及时性。
此外，除前述检测内容之外，对象检测结果种可能还包括：对象在图像中的位置、对象类别与类别置信度中的至少一种。
S1066，根据所述第一视野范围、所述对象检测结果与预设的视野调整条件，确定目标调整条件。
该步骤目的在于，利用预设的视野调整条件与第一视野范围、所述对象检测结果进行比对，以确定第一视野范围和所述对象检测结果所能满足的视野调整条件，从而，据此确定出目标调整条件。
本发明实施例所涉及到的视野调整条件可以包括：视野扩大条件、视野缩小条件与视野保持条件。其中，视野扩大条件是指增大FOV的条件，视野缩小条件是指缩小FOV的条件，视野保持条件是指保持FOV不变的条件。
一种可能的设计中，若预先建立视野档位随FOV的降低而逐步增大的对应关系，则此时，视野扩大条件也即档位减少条件，视野缩小条件也即档位增加条件，视野保持条件也即档位保持条件。反之，另一种设计中，若预先建立视野档位随FOV的降低而逐步降低的对应关系，则视野扩大条件也即档位增加条件，视野缩小条件也即档位减少条件，视野保持条件也即档位保持条件。
在该步骤确定目标调整条件时，可具体包含两个子步骤：
首先，根据当前视野图像与第一视野范围，确定当前所能满足的视野调整条件；
然后，根据当前所能满足的视野调整条件，确定目标调整条件。
具体的，本发明实施例还进一步给出前述各视野调整条件的具体实现方式，详见表1。
表1
Figure PCTCN2019085261-appb-000001
需要说明的是，表1中涉及A与B之间的关系，并以“大于”、“小于”或“等于”等方式进行标识，具体以“大于”关系为例，是指A大于B，其他大小关系标识方式于此类似，后续不赘述。以及，表1中“-”用于标识无需执行判别或该判别结果对视野调整结果无影响。
其中，最大感兴趣对象所在区域的尺寸投射到指定视野范围中的尺寸，是指利用指定视野范围处理初始观测图像得到指定视野图像，并将最大感兴趣对象投射到该处理后的指定视野图像中时，最大感兴趣对象在该指定视野图像中的尺寸。
而本发明实施例所涉及到的指定视野范围是指大于所述当前视野范围的一种视野范围。以前述预先建立视野档位随FOV的降低而逐步增大的对应关系为例，则可以是当前视野档位低一档(或多档)的视野档位；或者，视野档位随FOV的增大而逐步增大的对应关系，则为当前视野档位高一档(或多档)的视野档位。
其中，预设安全尺寸用于指示移动装置行驶过程中的最小安全距离，该最小安全距离可以为预设的固定距离，而预设安全尺寸则是该最小安全距离投射到当前视野图像上的尺寸。
具体的，如表1所示，视野扩大条件至少可以包括但不限于如下两种情况：
1.1)所述当前视野范围小于所述第一视野范围。
此时，当前的视野范围太小，已经不能适应移动装置当前运动信息对视野范围的需求，因此，需要将视野扩大，以适应移动装置运动情况。
1.2)所述当前视野范围大于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域投射到指定视野范围中的尺寸大于预设安全尺寸；其中，所述指定视野范围大于所述当前视野范围。
此时，当前视野范围能够满足移动装置运动对FOV的最小需求，但是，感兴趣对象较大，而且，继续增大FOV后，感兴趣对象的尺寸变小后仍然能够满足预设安全尺寸，能够满足对感兴趣对象的障碍物分析需求，因此，可以将FOV扩大，以适应障碍物检测需求。
具体的，如表1所示，视野缩小条件至少可以包括但不限于如下两种情况：
2.1)所述当前视野范围大于所述第一视野范围，并且，所述当前视野图像中未检测到感兴趣对象。
此时，当前FOV比较大且并未在当前FOV中检测到障碍物，此时，更需要优先关注移动装置近处的障碍物，因此，可以将FOV适当缩小，以满足近处观测需求。
2.2)所述当前视野范围大于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸小于预设安 全尺寸。
此时，感兴趣对象在当前FOV图像中对应的尺寸已经小于预设安全尺寸，能够满足障碍物观测需求，而当前FOV比较大，还有继续缩小的空间，因此，可以缩小FOV，以满足障碍物的远处观测需求。
具体的，如表1所示，视野保持条件至少可以包括但不限于如下三种情况：
3.1)所述当前视野范围等于所述第一视野范围，并且，所述当前视野图像中未检测到感兴趣对象。
此时，当时视野范围已经对应于移动装置的运动信息所能对应的最小FOV，并且，此时在足够远的距离内也并没有出现任何感兴趣对象，如此，无需对视野范围进行调整，保持当前视野范围即可。
3.2)所述当前视野范围大于或等于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸大于预设安全尺寸，以及，所述最大感兴趣对象所在区域的尺寸投射到指定视野范围中的尺寸小于预设安全尺寸；其中，所述指定视野范围大于所述当前视野范围。
此时，表明移动装置的近处有感兴趣对象，而且，该感兴趣对象采用当前的FOV处理后感兴趣对象的尺寸大于预设安全尺寸，但继续增大FOV会导致感兴趣对象变小至不利于进行障碍物分析的尺寸，因此，现有的视野范围是合适的，不适宜再进行调节，保持当前视野范围即可。
3.3)所述当前视野范围大于或等于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸等于预设安全尺寸。
此时，当前视野范围大于或者等于移动装置的运动信息所能对应的最小FOV，说明感兴趣对象距离移动装置已经足够远，但是检测到的最大感兴趣对象所在区域的尺寸等于预设安全尺寸，再继续降低FOV已经不能满足移动装置运动对FOV的最低需求，因此，无需对视野范围进行调整，保持即可。
基于当前视野图像与第一视野档位与前述各视野调整条件的比对，可以确定当前运动及观测情况所满足的视野调整条件。具体而言，前述比对，可以依据如表1所述的各条件逐一进行判断，并据此与各视野调整条件比对， 从而确定所满足的视野调整条件；或者，也可以按照一定的顺序对逐个视野调整条件进行比对，如先对视野扩大条件进行比对，若满足，则不再进行后续比对；反之，若不满足，再比对视野缩小条件；其他视野调整条件依次判断即可。
在确定目标调整条件时，至少可以采取如下两种方式来确定最终的目标调整条件：
实时处理方案。也就是，将前述第一视野范围与所述对象检测结果，获取当前视野范围所满足的视野调整条件，以作为所述目标调整条件。这种调整方案有利于实现视野范围的实时调整，从而，保证了调整后的视野范围是真正契合移动装置的运动状态与观测状态的，具备较高的观测准确率与实时性。
或者，
延时处理方案。也就是：根据所述第一视野范围与所述对象检测结果，获取当前视野范围所满足的视野调整条件，以及，获取当前帧前至少一帧所满足的视野调整条件，从而，统计各视野调整条件的满足次数，进而，获取满足次数最高的视野调整条件在各视野调整条件中所占的比例，那么，若所述比例大于或者等于预设的比例阈值，将满足次数最高的视野调整条件确定为所述目标调整条件。
其中，比例阈值可以根据实际需要自定义设置，例如，可以预设为50％。在具体实现本方案时，针对每一帧执行前述比对确定，并基于确定出的视野调整条件为各视野调整条件的满足次数进行计数。例如，若满足视野扩大条件，则视野扩大条件的满足次数加一，其他视野调整条件也类似处理。那么，在每一帧，可以获取包含当前帧在内的之前N-1帧(N为大于1的整数)，那么，在这N帧中将满足次数最多的视野调整条件出现的次数足够多(大于或者等于预设比例阈值)，则将其确定为目标调整条件，并执行后续调整。
相较于前述实时处理方案，这种处理方案给了观测调整过程一个缓冲时间，并通过多帧的观测识别来实现FOV的确定及后续切换，避免了调整次数过多而导致的资源占用等问题，且具备更高的准确性。
S1068，根据所述当前视野范围与所述目标调整条件，确定所述目标视野范围。
该步骤中，可以根据预设的调整步进来确定目标视野范围。
一种可能的实现场景中，在预设了视野档位与FOV的增序相反的对应关系的场景中，可以将一个档位(或多个，不赘述)作为一个调整步进，从而，若确定了目标调整条件为视野扩大条件，则在当前视野范围对应的当前视野档位的基础上降低一个档位，以作为目标视野档位；或者，若目标调整条件为视野缩小条件，则在当前视野范围对应的当前视野档位的基础上增加一个档位，以作为目标视野档位；或者，视野扩大条件，则将当前视野范围对应的当前视野档位确定为目标视野档位。可知，在预设了视野档位与FOV的增序相同的对应关系的场景中，该方案亦适用，只是在进行目标视野档位的确定时与前述增减方式相反，不再赘述。
另一种可能的实现场景中，则可直接与预设的角度，在当前视野范围对应的FOV角度上进行增加或减少或保持，以得到目标FOV。
为了便于理解前述方案，本发明实施例给出前述设计的两种可能的实现方式，请参考图3与图4。其中，图3与图4以移动装置为车辆为例进行说明。
图3示出了本发明实施例提供的另一种观测视野的调整方法的流程示意图。如图3所示，该方法包括：
S301，获取当前帧采集到的初始观测图像。
S302，利用车辆的当前速度，获取当前速度对应的最大视野档位。
也就是，当前车速对应的最小FOV，也即，第一视野范围。
S303，利用当前视野档位，对初始观测图像进行裁剪处理，得到当前视野图像。
S304，对当前视野图像进行对象检测，得到对象检测结果。
S305，根据对象检测结果与最大视野档位，确定当前帧运动及观测情况所满足的视野调整条件。
S306，获取当前帧之前的连续N-1帧各自满足的视野调整条件。
S307，根据连续N帧各自满足的视野调整条件，确定满足次数最高的视野调整条件。
S308，根据满足次数最高的视野调整条件判断是否满足切换条件。
也就是，判断满足次数最高的视野调整条件在各视野调整条件中所占的 比例是否大于或者等于预设的比例阈值，若是，则满足切换条件，执行S309；若否，则不满足切换条件，则回到S301继续下一帧处理。
S309，根据当前视野档位与满足次数最高的视野调整条件，确定目标还视野档位。
S310，将观测视野由当前视野档位调整至目标视野档位。
图4示出了本发明实施例提供的另一种观测视野的调整方法的流程示意图。其中，在如图4所示场景中，预设了视野档位与FOV的增序相反的对应关系。具体的，如图4所示，该方法包括：
S401，获取当前车速对应的最大视野档位、当前视野档位，以及当前视野图像的对象检测结果。
具体实现方式如前所述，此处不再赘述。
S402，判断当前视野档位是否小于最大视野档位；若是，执行S403；若否，执行S411。
S403，判断对象检测结果中是否有感兴趣对象；若是，执行S404；若否，执行S405。
S404，判断最大感兴趣对象所在区域尺寸是否小于预设安全尺寸；若是，执行S405；若否，执行S406。
S405，判断当前视野档位是否大于最大视野档位；若是，执行S412；若否，执行S413。
S406，判断最大感兴趣对象所在区域投射到指定视野范围中的尺寸是否大于预设安全尺寸；若是，执行S411；若否，执行S413。
S411，在当前视野档位基础上加一，得到目标视野档位。
也就是，满足视野扩大条件，FOV缩小，则档位加一。
S412，在当前视野档位基础上减一，得到目标视野档位。
也就是，满足视野扩大条件，FOV缩小，则档位减一。
S413，将当前视野档位确定为目标视野档位。
S414，将观测视野由当前视野档位调整至目标视野档位。
通过前述方案，可以实现对观测视野的实时调整。基于对观测视野的调整，本发明实施例还进一步给出了前述方案的应用场景。请参考图5所示流程，该方法还可以包括如下步骤：
S110，利用所述目标视野范围对所述初始观测图像进行裁剪处理，得到目标视野图像。
S112，对所述目标视野图像进行对象检测，得到所述目标视野图像的对象检测结果。
也就是，通过对观测视野的实时调整，能够在当前帧确定下一帧的目标视野范围，进而，能够在下一帧采用更符合移动装置运动及观测需求的视野范围进行对象观测，这有利于提高移动装置行驶过程中对障碍物的检测准确度，进而，也有利于提高移动装置行驶过程的安全性。
可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本发明实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
实施例二
基于上述实施例一所提供的观测视野的调整方法，本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
本发明实施例提供了一种观测视野的调整装置，请参考图6，该观测视野的调整装置600，包括：
获取模块61，用于获取所述移动装置的运动信息与初始观测图像；
裁剪模块62，用于利用当前视野范围对所述初始观测图像进行裁剪处理，得到当前视野图像；
确定模块63，用于根据所述移动装置的运动信息与所述当前视野图像，确定目标视野范围；
调整模块64，用于将观测视野调整至所述目标视野范围。
一种可能的设计中，确定模块63，具体用于：
获取所述移动装置的运动信息所对应的最大视野范围第一视野范围；
获取所述当前视野图像的对象检测结果，所述对象检测结果包括：当前视野图像中是否包含感兴趣对象、感兴趣对象所在区域的尺寸；
根据所述第一视野范围与所述对象检测结果，确定所述目标视野范围。
其中，确定模块63，具体用于：
根据所述第一视野范围、所述对象检测结果与预设的视野调整条件，确定目标调整条件；
根据所述当前视野范围与所述目标调整条件，确定所述目标视野范围。
本发明实施例所涉及到的所述视野调整条件可以包括：视野扩大条件、视野缩小条件与视野保持条件。
其中，所述视野扩大条件，包括：
所述当前视野范围小于所述第一视野范围；
或者，
所述当前视野范围大于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域投射到指定视野范围中的尺寸大于预设安全尺寸；其中，所述指定视野范围大于所述当前视野范围。
其中，所述视野缩小条件，包括：
所述当前视野范围大于所述第一视野范围，并且，所述当前视野图像中未检测到感兴趣对象；
或者，
所述当前视野范围大于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸小于预设安全尺寸。
其中，所述视野保持条件，包括：
所述当前视野范围等于所述第一视野范围，并且，所述当前视野图像中未检测到感兴趣对象；
或者，
所述当前视野范围大于或等于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸大于预设安全尺寸，以及，所述最大感兴趣对象所在区域的尺寸投射到指定视野范围中的尺寸小于预设安全尺寸；其中，所述指定视野范围大于所述当前视野范围；
或者，
所述当前视野范围大于或等于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸小于或等 于预设安全尺寸。
基于前述设计，一种可能的实现方式中，确定模块63，具体用于：
根据所述第一视野范围与所述对象检测结果，获取当前视野范围所满足的视野调整条件，以作为所述目标调整条件。
另一种可能的实现方式中，确定模块63，具体用于：
根据所述第一视野范围与所述对象检测结果，获取当前视野范围所满足的视野调整条件；
获取当前帧前至少一帧所满足的视野调整条件；
统计各视野调整条件的满足次数；
获取满足次数最高的视野调整条件在各视野调整条件中所占的比例；
若所述比例大于或者等于预设的比例阈值，将满足次数最高的视野调整条件确定为所述目标调整条件。
另一种可能的设计中，调整模块64，具体用于：
将观测视野由当前视野范围逐步调整至所述目标视野范围，或者，
将观测视野由当前视野范围切换为所述目标视野范围。
本发明实施例所涉及到的所述移动装置的运动信息包括：所述移动装置的行驶速度、所述移动装置的加速度。
本发明实施例中，任一视野范围对应于唯一的视场角FOV。
此外，本发明式实施例中，裁剪模块62，还用于利用所述目标视野范围对所述初始观测图像进行裁剪处理，得到目标视野图像；
检测模块(图6未示出)还用于：对所述目标视野图像进行对象检测，得到所述目标视野图像的对象检测结果。
图6所示实施例的观测视野的调整装置600可用于执行上述方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述，可选的，该观测视野的调整装置600可以为移动装置中的处理器或者为云端服务器或终端设备。
应理解以上图6所示观测视野的调整装置600的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调 用的形式实现，部分模块通过硬件的形式实现。例如，调整模块64可以为单独设立的处理元件，也可以集成在观测视野的调整装置600中，例如终端的某一个芯片中实现，此外，也可以以程序的形式存储于观测视野的调整装置600的存储器中，由观测视野的调整装置600的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
并且，本发明实施例提供了一种观测视野的调整装置，请参考图7，该观测视野的调整装置600，包括：
存储器610；
处理器620；以及
计算机程序；
其中，计算机程序存储在存储器610中，并被配置为由处理器620执行以实现如上述实施例中任一实现方式所述的方法。
其中，观测视野的调整装置600中处理器620的数目可以为一个或多个，处理器620也可以称为处理单元，可以实现一定的控制功能。所述处理器620可以是通用处理器或者专用处理器等。在一种可选地设计中，处理器620也可以存有指令，所述指令可以被所述处理器620运行，使得所述观测视野的调整装置600执行上述方法实施例中描述的方法。
在又一种可能的设计中，观测视野的调整装置600可以包括电路，所述电路可以实现前述方法实施例中发送或接收或者通信的功能。
可选地，所述观测视野的调整装置600中存储器610的数目可以为一个或多个，存储器610上存有指令或者中间数据，所述指令可在所述处理器620上被运行，使得所述观测视野的调整装置600执行上述方法实施例中描述的方法。可选地，所述存储器610中还可以存储有其他相关数据。可选地处理器620中也可以存储指令和/或数据。所述处理器620和存储器610可以单独设置，也可以集成在一起。
此外，如图7所示，在该观测视野的调整装置600中还设置有收发器630，其中，所述收发器630可以称为收发单元、收发机、收发电路、或者收发器等，用于与测试设备或其他终端设备进行数据传输或通信，在此不再赘述。
如图7所示，存储器610、处理器620与收发器630通过总线连接并通信。
若该观测视野的调整装置600用于实现对应于图2中的方法时，例如，可以由收发器630向各测试终端发布被测包体，收发器630还可以用于接收各测试终端反馈的测试运行数据。而处理器620用于完成相应的确定或者控制操作，可选的，还可以在存储器610中存储相应的指令。各个部件的具体的处理方式可以参考前述实施例的相关描述。
此外，本发明实施例提供了一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行以实现如实施例一中任一实现方式所述的方法。
以及，本发明实施例提供了一种观测视野的调整系统，请参考图8，该观测视野的调整系统800包括：
图像采集装置810，用于采集初始观测图像；
观测视野的调整装置600，用于执行如实施例一中任一实现方式所述的方法。
此外，本发明实施例提供了一种自动驾驶系统，请参考图9，该自动驾驶系统900包括：
图像采集装置810，用于采集初始观测图像；
观测视野的调整装置600，用于执行如实施例一中任一实现方式所述的方法；
自动驾驶控制装置910，用于根据所述目标视野范围控制所述移动装置自动驾驶。
此外，本发明实施例提供了一种移动装置，请参考图10，该移动装置1000包括：
移动装置主体1010；
自动驾驶系统900。
由于本实施例中的各模块能够执行实施例一所示的方法，本实施例未详细描述的部分，可参考对实施例一的相关说明。
此外，需要说明的是，当用于本发明实施例中时，虽然术语“第一”、“第二”等可能会在本发明实施例中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。
本发明实施例中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本发明实施例中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本发明实施例中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。
上述技术描述可参照附图，这些附图形成了本发明实施例的一部分，并且通过描述在附图中示出了依照所描述的实施例的实施方式。虽然这些实施例描述的足够详细以使本领域技术人员能够实现这些实施例，但这些实施例是非限制性的；这样就可以使用其它的实施例，并且在不脱离所描述的实施例的范围的情况下还可以做出变化。比如，流程图中所描述的操作顺序是非限制性的，因此在流程图中阐释并且根据流程图描述的两个或两个以上操作的顺序可以根据若干实施例进行改变。作为另一个例子，在若干实施例中， 在流程图中阐释并且根据流程图描述的一个或一个以上操作是可选的，或是可删除的。另外，某些步骤或功能可以添加到所公开的实施例中，或两个以上的步骤顺序被置换。所有这些变化被认为包含在所公开的实施例以及权利要求中。
另外，上述技术描述中使用术语以提供所描述的实施例的透彻理解。然而，并不需要过于详细的细节以实现所描述的实施例。因此，实施例的上述描述是为了阐释和描述而呈现的。上述描述中所呈现的实施例以及根据这些实施例所公开的例子是单独提供的，以添加上下文并有助于理解所描述的实施例。上述说明书不用于做到无遗漏或将所描述的实施例限制到本发明实施例的精确形式。根据上述教导，若干修改、选择适用以及变化是可行的。在某些情况下，没有详细描述为人所熟知的处理步骤以避免不必要地影响所描述的实施例。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

  1. 一种观测视野的调整方法，其特征在于，用于移动装置的自动驾驶系统，包括：
    获取所述移动装置的运动信息与初始观测图像；
    利用当前视野范围对所述初始观测图像进行裁剪处理，得到当前视野图像；
    根据所述移动装置的运动信息与所述当前视野图像，确定目标视野范围；
    将观测视野调整至所述目标视野范围。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述移动装置的运动信息与所述当前视野图像，确定目标视野范围，包括：
    获取所述移动装置的运动信息所对应的第一视野范围；
    获取所述当前视野图像的对象检测结果，所述对象检测结果包括：当前视野图像中是否包含感兴趣对象、感兴趣对象所在区域的尺寸；
    根据所述第一视野范围与所述对象检测结果，确定所述目标视野范围。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述第一视野范围与所述对象检测结果，确定所述目标视野范围，包括：
    根据所述第一视野范围、所述对象检测结果与预设的视野调整条件，确定目标调整条件；
    根据所述当前视野范围与所述目标调整条件，确定所述目标视野范围。
  4. 根据权利要求3所述的方法，其特征在于，所述视野调整条件包括：视野扩大条件、视野缩小条件与视野保持条件。
  5. 根据权利要求4所述的方法，其特征在于，所述视野扩大条件，包括：
    所述当前视野范围小于所述第一视野范围；
    或者，
    所述当前视野范围大于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域投射到指定视野范围中的尺寸大于预设安全尺寸；其中，所述指定视野范围大于所述当前视野范围。
  6. 根据权利要求4所述的方法，其特征在于，所述视野缩小条件，包括：
    所述当前视野范围大于所述第一视野范围，并且，所述当前视野图像中 未检测到感兴趣对象；
    或者，
    所述当前视野范围大于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸小于预设安全尺寸。
  7. 根据权利要求4所述的方法，其特征在于，所述视野保持条件，包括：
    所述当前视野范围等于所述第一视野范围，并且，所述当前视野图像中未检测到感兴趣对象；
    或者，
    所述当前视野范围大于或等于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸大于预设安全尺寸，以及，所述最大感兴趣对象所在区域的尺寸投射到指定视野范围中的尺寸小于预设安全尺寸；其中，所述指定视野范围大于所述当前视野范围；
    或者，
    所述当前视野范围大于或等于所述第一视野范围，以及，所述当前视野图像中检测到感兴趣对象，并且，最大感兴趣对象所在区域的尺寸小于或等于预设安全尺寸。
  8. 根据权利要求3-7任一项所述的方法，其特征在于，所述根据所述第一视野范围、所述对象检测结果与预设的视野调整条件，确定目标调整条件，包括：
    根据所述第一视野范围与所述对象检测结果，获取当前视野范围所满足的视野调整条件，以作为所述目标调整条件。
  9. 根据权利要求3-7任一项所述的方法，其特征在于，所述根据所述第一视野范围、所述对象检测结果与预设的视野调整条件，确定目标调整条件，包括：
    根据所述第一视野范围与所述对象检测结果，获取当前视野范围所满足的视野调整条件；
    获取当前帧前至少一帧所满足的视野调整条件；
    统计各视野调整条件的满足次数；
    获取满足次数最高的视野调整条件在各视野调整条件中所占的比例；
    若所述比例大于或者等于预设的比例阈值，将满足次数最高的视野调整条件确定为所述目标调整条件。
  10. 根据权利要求1-7任一项所述的方法，其特征在于，所述将观测视野调整至所述目标视野范围，包括：
    将观测视野由当前视野范围逐步调整至所述目标视野范围，或者，
    将观测视野由当前视野范围切换为所述目标视野范围。
  11. 根据权利要求1-7任一项所述的方法，其特征在于，所述移动装置的运动信息包括：所述移动装置的行驶速度、所述移动装置的加速度。
  12. 根据权利要求1-7任一项所述的方法，其特征在于，任一视野范围对应于唯一的视场角FOV。
  13. 根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
    利用所述目标视野范围对所述初始观测图像进行裁剪处理，得到目标视野图像；
    对所述目标视野图像进行对象检测，得到所述目标视野图像的对象检测结果。
  14. 一种观测视野的调整装置，其特征在于，用于移动装置的自动驾驶系统，包括：
    存储器，用于存储计算机程序；
    处理器；
    其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-13任一项所述的方法。
  15. 一种观测视野的调整系统，其特征在于，包括：
    图像采集装置，用于采集初始观测图像；
    观测视野的调整装置，用于执行权利要求1-13任一项所述的方法。
  16. 根据权利要求15所述的系统，其特征在于，所述图像采集装置的成像视野为120DFOV。
  17. 一种计算机可读存储介质，其特征在于，其上存储有计算机程序，
    所述计算机程序被处理器执行以实现如权利要求1-13任一项所述的方法。
  18. 一种自动驾驶系统，其特征在于，包括：
    图像采集装置，用于采集初始观测图像；
    观测视野的调整装置，用于执行权利要求1-13任一项所述的方法；
    自动驾驶控制装置，用于根据所述目标视野范围控制所述移动装置自动驾驶。
  19. 一种移动装置，其特征在于，包括：
    移动装置主体；
    如权利要求18所述的自动驾驶系统。
  20. 如权利要求19所述的移动装置，所述移动装置包括车辆、船舶或无人飞行器中的其中至少一个。
PCT/CN2019/085261 2019-04-30 2019-04-30 观测视野的调整方法、装置与系统、存储介质与移动装置 WO2020220289A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2019/085261 WO2020220289A1 (zh) 2019-04-30 2019-04-30 观测视野的调整方法、装置与系统、存储介质与移动装置
EP19926907.7A EP3817374A1 (en) 2019-04-30 2019-04-30 Method, apparatus and system for adjusting field of view of observation, and storage medium and mobile apparatus
CN201980012196.7A CN111712827A (zh) 2019-04-30 2019-04-30 观测视野的调整方法、装置与系统、存储介质与移动装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/085261 WO2020220289A1 (zh) 2019-04-30 2019-04-30 观测视野的调整方法、装置与系统、存储介质与移动装置

Publications (1)

Publication Number Publication Date
WO2020220289A1 true WO2020220289A1 (zh) 2020-11-05

Family

ID=72536811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/085261 WO2020220289A1 (zh) 2019-04-30 2019-04-30 观测视野的调整方法、装置与系统、存储介质与移动装置

Country Status (3)

Country Link
EP (1) EP3817374A1 (zh)
CN (1) CN111712827A (zh)
WO (1) WO2020220289A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907617A (zh) * 2021-01-29 2021-06-04 深圳壹秘科技有限公司 一种视频处理方法及其装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140214271A1 (en) * 2013-01-31 2014-07-31 Electronics And Telecommunications Research Institute Apparatus and method for detecting obstacle adaptively to vehicle speed
US20140277940A1 (en) * 2013-03-15 2014-09-18 Gentex Corporation Display system and method thereof
CN108140318A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 显示控制方法及显示控制装置
CN108476288A (zh) * 2017-05-24 2018-08-31 深圳市大疆创新科技有限公司 拍摄控制方法及装置
CN109389073A (zh) * 2018-09-29 2019-02-26 北京工业大学 通过车载摄像头确定检测行人区域的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765490B (zh) * 2018-04-04 2021-04-30 科大讯飞股份有限公司 全景图的视野调整方法及装置、存储介质、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140214271A1 (en) * 2013-01-31 2014-07-31 Electronics And Telecommunications Research Institute Apparatus and method for detecting obstacle adaptively to vehicle speed
US20140277940A1 (en) * 2013-03-15 2014-09-18 Gentex Corporation Display system and method thereof
CN108140318A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 显示控制方法及显示控制装置
CN108476288A (zh) * 2017-05-24 2018-08-31 深圳市大疆创新科技有限公司 拍摄控制方法及装置
CN109389073A (zh) * 2018-09-29 2019-02-26 北京工业大学 通过车载摄像头确定检测行人区域的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907617A (zh) * 2021-01-29 2021-06-04 深圳壹秘科技有限公司 一种视频处理方法及其装置
WO2022160748A1 (zh) * 2021-01-29 2022-08-04 深圳壹秘科技有限公司 一种视频处理方法及其装置
CN112907617B (zh) * 2021-01-29 2024-02-20 深圳壹秘科技有限公司 一种视频处理方法及其装置

Also Published As

Publication number Publication date
CN111712827A (zh) 2020-09-25
EP3817374A1 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
WO2020108647A1 (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及系统
US20200137302A1 (en) Image processing method, apparatus, and device
JP7338637B2 (ja) 交通支援システム、サーバ及び方法、車載装置及びその動作方法、コンピュータプログラム、記録媒体、コンピュータ、並びに半導体集積回路
CN113196007B (zh) 一种应用于车辆的相机系统
WO2019037088A1 (zh) 一种曝光的控制方法、装置以及无人机
US9734415B2 (en) Object detection system
JP2017526199A (ja) かすみ検出のためのシステムおよび方法
CN109615659A (zh) 一种车载多摄像机环视系统的摄像机参数获得方法及装置
US20180137629A1 (en) Processing apparatus, imaging apparatus and automatic control system
WO2020237565A1 (zh) 一种目标追踪方法、装置、可移动平台及存储介质
TWI530409B (zh) 自動追蹤防撞警示系統及其方法
US11450029B2 (en) Vehicle image processing device, vehicle image processing method, program and storage medium
US10623618B2 (en) Imaging device, display system, and imaging system
WO2021018093A1 (zh) 立体匹配方法、图像处理芯片及移动载具
JPWO2018016150A1 (ja) 画像処理装置と画像処理方法
JPWO2018016151A1 (ja) 画像処理装置と画像処理方法
WO2020220289A1 (zh) 观测视野的调整方法、装置与系统、存储介质与移动装置
CN108833797B (zh) 一种提高车载双目视觉系统性能的装置及其使用方法
WO2021232222A1 (zh) 用于测距的方法和装置
US11425355B2 (en) Depth image obtaining method, image capture device, and terminal
WO2020215865A1 (zh) 目标跟踪系统及方法
US11856284B2 (en) Method of controlling a portable device and a portable device
US11350043B2 (en) Image processing method and terminal
US11694420B2 (en) Image stitching device and image stitching method
CN113126072A (zh) 深度相机及控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19926907

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019926907

Country of ref document: EP

Effective date: 20201111

NENP Non-entry into the national phase

Ref country code: DE