WO2023138556A1 - 基于车载多摄像头的视频生成方法、装置及车载设备 - Google Patents

基于车载多摄像头的视频生成方法、装置及车载设备 Download PDF

Info

Publication number
WO2023138556A1
WO2023138556A1 PCT/CN2023/072528 CN2023072528W WO2023138556A1 WO 2023138556 A1 WO2023138556 A1 WO 2023138556A1 CN 2023072528 W CN2023072528 W CN 2023072528W WO 2023138556 A1 WO2023138556 A1 WO 2023138556A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
vehicle
target
segment
camera
Prior art date
Application number
PCT/CN2023/072528
Other languages
English (en)
French (fr)
Inventor
罗远庆
陈现岭
赵龙
涂慧勋
颉毅
王光甫
叶年进
Original Assignee
长城汽车股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 长城汽车股份有限公司 filed Critical 长城汽车股份有限公司
Publication of WO2023138556A1 publication Critical patent/WO2023138556A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Definitions

  • FIG. 2 is a schematic diagram of a video generation method based on a vehicle-mounted multi-camera provided in an embodiment of the present application;
  • FIG. 3 it is a schematic diagram of a processing flow of a video generation method based on a vehicle-mounted multi-camera provided in an embodiment of the present application.
  • the input video in this method is the video data in different directions of the car obtained by the vehicle-mounted device from each vehicle-mounted camera.
  • the in-vehicle device can use the same method as in the prior art. For example, classify scenes involved in a video, complete aesthetic evaluation, detect salient regions, discover highlights, and more. Then, the vehicle-mounted device can process the video data collected by multiple vehicle-mounted cameras, and extract key frames or highlights in each video data as a video sequence to be processed.
  • the vehicle-mounted device can determine the vehicle-mounted camera 602 as the current main camera. then, wait When the car is driving to the position point C, the key position point S is located at the right rear of the car. At this time, the video data captured by the on-board camera 603 installed at the right rear of the car may include the relevant content of the key location point S. Therefore, the vehicle-mounted device can determine the vehicle-mounted camera 603 as the current main camera. In this way, by dynamically determining the main camera, it can be ensured that the video data collected by the main camera are all video data obtained by shooting at key positions.
  • the vehicle-mounted device can also extract video sequences with the same time information from the video data collected by other cameras.
  • the secondary video sequence matching the main video sequence can be quickly and accurately extracted from the video data collected by other vehicle-mounted cameras, ensuring the time synchronization of each frame of the target video formed by one-click filming, and enhancing the authenticity of the target video.
  • the original sample image and the pre-processed sample image are processed by using an edge detection algorithm to obtain a first operator corresponding to the original sample image and a second operator corresponding to the pre-processed sample image.
  • Lsobel Y_sobel - Predict_sobel
  • Lsobel represents the above loss function
  • Predict_sobel represents the first operator corresponding to the above original sample image
  • Y_sobel represents the second operator corresponding to the above preprocessed sample image
  • the video sequence extraction module 1102 can be specifically configured to: determine the main camera among the plurality of vehicle-mounted cameras in different orientations; extract one or more main video sequences from the video data collected by the main camera; wherein, each of the main video sequences has corresponding time information; extract one or more sub-video sequences with the time information from the video data collected by each of the other vehicle-mounted cameras except the main camera, wherein the video sequences include the main video sequence and the secondary video sequence.
  • the video sequence extraction module 1102 may be further configured to: according to the time information, respectively determine the time stamps of the start video frame and the end video frame of each segment of the main video sequence to obtain a time stamp sequence; mark the time stamp sequence in the video data collected by each of the vehicle-mounted cameras except the main camera; from the video data marked with the time stamp sequence, sequentially determine the video sequence to be extracted and extract the video sequence to be extracted to obtain one or more sub video sequences with the time information.
  • the video data acquisition module is used to obtain the video data collected respectively by a plurality of vehicle-mounted cameras installed in different orientations of the automobile; wherein, each of the vehicle-mounted cameras is used to collect video data of a corresponding orientation;

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开一种基于车载多摄像头的视频生成方法、装置及车载设备，该方法包括：获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；确定每个方位的所述视频数据在待生成的目标视频中的显示区域；基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。采用上述方法，可以对多个车载摄像头采集的视频数据进行处理，实现一键成片技术在车载场景的应用。

Description

基于车载多摄像头的视频生成方法、装置及车载设备
本申请要求于2022年1月18日在中国专利局提交的、申请号为202210055793.1、发明名称为“基于车载多摄像头的视频生成方法、装置及车载设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及智能汽车技术领域，具体涉及一种基于车载多摄像头的视频生成方法、装置及车载设备。
背景技术
在智能汽车领域，汽车上安装的摄像头可以实现视频采集功能，这就为一键成片技术在智能汽车领域的应用提供了可能。但是，现有技术中的一键成片主要是针对单个摄像头采集的视频数据来进行的，而汽车上可能安装有多个摄像头，每个摄像头均可以采集到不同的视频数据。因此，现有技术中的一键成片并不适用于车载场景。
技术问题
本申请实施例的目的之一在于：提供一种基于车载多摄像头的视频生成方法、装置及车载设备，用以对多个车载摄像头采集的视频数据进行处理，生成新的视频，实现一键成片技术在车载场景的应用。
技术解决方案
本申请实施例采用的技术方案是：
第一方面，提供了一种基于车载多摄像头的视频生成方法，包括：
获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
第二方面，提供了一种基于车载多摄像头的视频生成装置，包括：
视频数据获取模块，用于获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
视频序列提取模块，用于分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
显示区域确定模块，用于确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
目标视频生成模块，用于基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
第三方面，提供一种车载设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于车载多摄像头的视频生成方法。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于车载多摄像头的视频生成方法。
第五方面，提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面所述的基于车载多摄像头的视频生成方法。
有益效果
本申请实施例提供的基于车载多摄像头的视频生成方法的有益效果在于：车载设备通过获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据，可以分别从每个方位的视频数据中提取待处理的一段或多段视频序列。在确定每个方位的视频数据在待生成的目标视频中的显示区域后，车载设备可以基于上述显示区域对多个方位的多段视频序列进 行组合，以生成目标视频。本申请实施例基于车载摄像头的位置关系，可以将多个车载摄像头采集的视频数据组合成一个新的目标视频，解决了现有的一键成片技术无法应用于车载多摄像头场景的问题，实现了车载场景下的多个车载摄像头的视频数据的一键成片。同时，基于多个车载摄像头的不同方位，最终生成的目标视频可以具有更多的视角，可以形成更多的组合方案以及特效，能够让一键成片得到的目标视频更具吸引力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或示范性技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是现有技术中的一种一键成片的处理流程示意图；
图2是本申请实施例提供的一种基于车载多摄像头的视频生成方法的示意图；
图3是本申请实施例提供的一种基于车载多摄像头的视频生成方法的处理流程示意图；
图4是本申请实施例提供的一种基于车载多摄像头的视频生成方法中S202的一种实现方式的示意图；
图5是本申请实施例提供的一种基于车载多摄像头的视频生成方法中S2021的一种实现方式的示意图；
图6是本申请实施例提供的一种确定主摄像头的示意图；
图7是本申请实施例提供的一种主视频序列的示意图；
图8是本申请实施例提供的一种基于车载多摄像头的视频生成方法中S2023的一种实现方式的示意图；
图9是本申请实施例提供的一种标记有时间戳序列的视频数据的示意图；
图10是本申请实施例提供的一种视频模板的示意图；
图11是本申请实施例提供的一种基于车载多摄像头的视频生成装置的示意图；
图12是本申请实施例提供的一种车载设备的示意图。
本发明的实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本申请。
需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。术语“第一”、“第二”仅用于便于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
一键成片是指将待剪辑的视频或图片一键导入，由算法根据预先设定的模板提取视频中的关键帧或选取关键图片，并结合特效、转场、滤镜、音乐等条件合成新视频的一种技术。一键成片无需用户操作，可以自动完成视频或图片的剪辑包装，极大地节省了视频及图片的剪辑时间。
如图1所示，是现有技术中的一种一键成片的处理流程示意图。按照图1所示的处理流程，对于输入视频，车机主要采用视觉算法来实现内容理解，从而提取视频中的关键帧。例如，对视频中涉及的场景进行分类、完成美学评价、对显著区域进行检测、发现精彩片段并提取等等。在此基础上，通过贴纸素材、风格迁移、天空替换等处理实现特效添加，并生成最终的新视频。但是，上述方法并不适用于安装有多个摄像头的汽车。因此，本申 请实施例提供了一种基于车载多摄像头的视频生成方法，可以针对多个车载摄像头分别采集到的视频数据执行一键成片操作，提高视频生成的效率。
下面通过具体实施例来说明本申请的技术方案。
参照图2，示出了本申请实施例提供的一种基于车载多摄像头的视频生成方法的示意图，该方法具体可以包括如下步骤：
S201、获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据。
本方法可以应用于车载设备，该车载设备可以是配备于各种类型或型号的汽车上、能够实现对视频数据进行处理的电子设备。例如，车载设备可以是车载计算机、车载视频处理装置等等，本申请实施例对车载设备的具体类型不作限定。
在本申请实施例中，汽车上可以安装有多个车载摄像头，每个车载摄像头可以安装于汽车的不同方位。每个车载摄像头可以对该方位进行视频拍摄，得到汽车行驶过程中该方位上的视频数据。具体地，多个车载摄像头可以包括安装于汽车外部的车载摄像头，也可以包括安装于汽车内部的车载摄像头。其中，安装于汽车外部的车载摄像头可以对行驶过程中汽车外部的景象进行拍摄；安装于汽车内部的车载摄像头可以对汽车中的驾乘人员进行拍摄，得到相应的视频数据。
示例性地，多个车载摄像头可以分别安装于汽车的正前方、左前方、右前方、正后方、左后方、右后方、左侧、右侧等方位。其中，安装于汽车正前方的车载摄像头可以拍摄得到行驶过程中汽车前方的视频，该视频可以是与驾乘人员实际看到的景象相同的视频；安装于汽车右侧的车载摄像头可以拍摄得到行驶过程中汽车右侧的视频，该视频可以是与驾乘人员向右看到的景象相同的视频。
在本申请实施例中，汽车在行驶过程中，各个方位的车载摄像头均可以处于工作状态，对相应方位的景象进行视频拍摄，得到该方位上的视频数据。车载设备在将多个车载摄像头分别采集得到的视频数据处理成一段视频时，可以首先从这些车载摄像头获取到相应的视频数据。
S202、分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列。
在本申请实施例中，车载设备将多个车载摄像头拍摄得到的视频数据处理成一段视频时，可以仅保留各个方位上的视频数据中较为关键的视频内容，这些视频内容可以是由该方位上的关键视频帧组合而成的。因此，车载设备获取到各个方位的视频数据后，可以从每个方位的视频数据中提取出视频序列，这些视频序列即是待处理成一段新视频的视频序列。
需要说明的是，对于每个方位上的车载摄像头采集到的视频数据，车载设备在从中提取视频序列时，可以仅从该视频数据中提取一段视频序列，也可以从该视频数据中提取多段视频序列；并且，车载设备从各个方位上的车载摄像头采集的视频数据中提取出的视频序列的段数可以是相等的，也可以是不等的，本申请实施例对此均不作限定。
在本申请实施例的一种可能的实现方式中，S202中车载设备分别从每个方位的视频数据中提取待处理的一段或多段视频序列时，可以首先对视频数据进行内容理解。
如图3所示，是本申请实施例提供的一种基于车载多摄像头的视频生成方法的处理流程示意图。相较于图1中所示的现有技术中一键成片的处理流程，本方法中的输入视频即是车载设备从各个车载摄像头获取到的汽车不同方位上的视频数据。对于输入视频的内容理解，车载设备可以采用于现有技术中相同的方式来进行。例如，对视频中涉及的场景进行分类、完成美学评价、对显著区域进行检测、发现精彩片段等等。然后，车载设备可以对多个车载摄像头采集的视频数据进行处理，提取各个视频数据中的关键帧或精彩片段，作为待处理的视频序列。
在本申请实施例的另一种可能的实现方式中，如图4所示，S202中车载设备分别从每 个方位的视频数据中提取待处理的一段或多段视频序列可以包括如下子步骤S2021-S2023：
S2021、确定不同方位的多个所述车载摄像头中的主摄像头。
在本申请实施例中，车载设备从多个车载摄像头中确定主摄像头可以是基于驾乘人员的选择来确定的。示例性地，驾乘人员可以在车载设备中进行操作，预先选定安装于汽车正前方的车载摄像头作为主摄像头。这样，车载设备可以基于驾乘人员的选择操作，对应地将正前方的车载摄像头作为主摄像头。
或者，车载设备也可以基于各个车载摄像头实际拍摄得到的视频内容，动态地确定主摄像头。通过动态地确定主摄像头，使得在一段连续的时间内，主摄像头可以是车载摄像头中的不同摄像头。由于各个车载摄像头拍摄视频的方位不同，从主摄像头采集到的视频数据中提取出的主视频序列也将是不同方位上的视频内容。这样，进一步地增加了一键成片最终生成的目标视频的多样性，提升了目标视频的趣味性。
在本申请实施例的一种可能的实现方式中，如图5所示，S2021中车载设备确定不同方位的多个车载摄像头中的主摄像头具体可以包括如下子步骤S211-S213：
S211、获取所述汽车在行驶过程中的地图导航信息。
在本申请实施例中，地图导航信息可以是汽车在行驶过程中用于指示该汽车的行驶路径和方向的信息。
S212、根据所述地图导航信息，识别所述行驶过程中途径的关键位置点。
通常，地图导航信息中除了包括汽车的行驶路径和方向等信息外，还可以包括在行驶路径中途径的多个关键位置点。车载设备可以根据地图导航信息，识别出上述各种类型的关键位置点。
在本申请实施例中，上述关键位置点可以是著名景点、商圈、标志性建筑物的所在位置。在这些关键位置点及其附近，车载摄像头可以对该关键位置点进行拍摄，得到一些精彩的视频片段。
S213、基于所述汽车的行驶方向和所述关键位置点，从多个所述车载摄像头中确定所述主摄像头；其中，所述主摄像头采集的视频数据为所述主摄像头针对所述关键位置点进行拍摄得到的视频数据。
如图3所示，车载设备可以利用多个车载摄像头的位置关系以及地图导航信息来对多个车载摄像头采集的视频数据进行处理。示例性地，车载设备可以基于汽车的行驶方向和根据地图导航信息识别出的关键位置点，从多个车载摄像头中确定出主摄像头。由于地图导航信息中可以标示有关键位置点，结合地图导航信息确定主摄像头，可以提高确定主摄像头的准确性，最大可能地保证主摄像头采集到的视频数据是与关键位置点相关的视频数据，有助于最终生成的目标视频能够最大限度地保留汽车行驶过程中有趣的内容，增强目标视频的可观赏性。
如图6所示，是本申请实施例提供的一种确定主摄像头的示意图。图6中汽车上安装的车载摄像头可以包括车载摄像头601、车载摄像头602和车载摄像头603；其中，车载摄像头601安装于汽车的右前方，车载摄像头602安装于汽车的右侧，车载摄像头603安装于汽车的右后方。该汽车在道路上行驶，将依次经过图6中的A、B、C三个位置点，即汽车的行驶方向为由位置点A向位置点C行驶。图6中的位置点S为某一关键位置点。例如，位置点S为某著名景点所在位置。
车载设备可以基于汽车的行驶方向和关键位置点S，动态地从多个车载摄像头中确定主摄像头。示例性地，当汽车行驶于位置点A时，车载设备可以根据地图导航信息识别出前方的关键位置点S。此时，安装于汽车的右前方的车载摄像头601拍摄到的视频数据中可以包括关键位置点S的相关内容。因此，车载设备可以将车载摄像头601确定为当前的主摄像头。随着汽车继续的行驶，汽车在行驶至位置点B时，关键位置点S位于汽车的右侧。此时，安装于汽车的右侧的车载摄像头602拍摄到的视频数据中可以包括关键位置点S的相关内容。因此，车载设备可以将车载摄像头602确定为当前的主摄像头。然后，待 汽车在行驶至位置点C时，关键位置点S位于汽车的右后方。此时，安装于汽车的右后方的车载摄像头603拍摄到的视频数据中可以包括关键位置点S的相关内容。因此，车载设备可以将车载摄像头603确定为当前的主摄像头。这样，通过动态地确定主摄像头，可以保证主摄像头采集的视频数据均是针对关键位置点进行拍摄得到的视频数据。
S2022、从所述主摄像头采集的视频数据中提取一段或多段主视频序列；其中，每段所述主视频序列具有相应的时间信息。
在确定出主摄像头后，可以通过识别主摄像头采集的视频数据中的精彩片段，从主摄像头的视频数据中提取出一段或多段主视频序列。每段主视频序列可以具有相应的时间信息。
如图7所示，是本申请实施例提供的一种主视频序列的示意图。图7中所示的视频数据可以是主摄像头采集的视频数据，该段视频数据的时长为60分钟(min)，即3600秒(s)。其中，第0-5s、13-27s、……、3527-3600s为该段视频数据中的精彩片段。这些精彩片段共同组成了主摄像头采集的视频数据的多段主视频序列。视频数据中的精彩片段可以作为后续一键成片所生成的目标视频中的片段。主摄像头采集到的视频数据中的精彩片段可以是多段时间上不连续的视频序列，通过提取精彩片段对应的这些视频序列，可以减少非精彩片段在目标视频中存在的比例，降低目标视频的数据量，减少存储目标视频所需的存储空间，有助于对目标视频进行传播、分享。
S2023、分别从除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中提取出具有所述时间信息的一段或多段从视频序列。
其中，视频序列包括主视频序列和从视频序列。
对于除主摄像头外的其他各个车载摄像头，车载设备可以从其他各个车载摄像头中提取出具有上述图7中的时间信息的一段或多段从视频序列。
通常，在汽车行驶过程中，各个车载摄像头均同时开始工作，每个车载摄像头采集得到的视频数据的时长应当是相等或大致相等的。例如，包括主摄像头在内的各个车载摄像头采集的视频数据的时长均为60min。
这样，在从主摄像头采集的视频数据中提取一段或多段具有时间信息的主视频序列后，对于其他各个摄像头采集的视频数据，车载设备也可以从中提取出具有相同的时间信息的视频序列。根据主视频序列的时间信息，可以快速、准确地从其他车载摄像头采集到的视频数据中提取出与主视频序列相匹配的从视频序列，保证一键成片所形成的目标视频的每一帧图像的时间同步，增强目标视频的真实性。
在本申请实施例的一种可能的实现方式中，如图8所示，S2023中分别从除主摄像头外的其他各个车载摄像头采集的视频数据中提取出具有该时间信息的一段或多段视频序列具体可以包括如下子步骤S231-S233：
S231、根据所述时间信息，分别确定每段所述主视频序列的开始视频帧以及结束视频帧的时间戳，得到时间戳序列。
在本申请实施例中，可以根据主视频序列的时间信息，确定每段主视频序列的开始视频帧以及结束视频帧的时间戳。例如，可以首先处理图7中所示的第0-5s对应的一段主视频序列，其开始视频帧为0s处的一帧视频帧，假设该视频帧对应的时间戳为Time1；该段主视频序列的结束视频帧为5s处的一帧视频帧，假设该视频帧对应的时间戳为Time2。然后，车载设备可以处理图7中所示的第13-27s对应的一段主视频序列，其开始视频帧为13s处的一帧视频帧，假设该视频帧对应的时间戳为Time3；该段主视频序列的结束视频帧为27s处的一帧视频帧，假设该视频帧对应的时间戳为Time4。通过对全部各段主视频序列的处理，可以得到时间戳序列，即：{Time1、Time2、Time3、Time4、……、TimeN}。
S232、在除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中标记出所述时间戳序列。
然后，可以在其他各个车载摄像头采集的视频数据中标记出上述时间戳序列，即，在 其他各个车载摄像头采集的视频数据中对时间戳序列{Time1、Time2、Time3、Time4、……、TimeN}中各个时间戳对应的视频帧进行标记。
S233、从被标记有所述时间戳序列的视频数据中，依次确定待提取视频序列并对所述待提取视频序列进行提取，得到具有所述时间信息的一段或多段从视频序列。
如图9所示，是本申请实施例提供的一种标记有时间戳序列的视频数据的示意图。其中，Time1与Time2各自对应的视频帧之间的各个视频帧所组成的视频序列的时间信息与图7中所示的第0-5s的主视频序列的时间信息相同；Time3与Time4各自对应的视频帧之间的各个视频帧所组成的视频序列的时间信息与图7中所示的第13-27s的主视频序列的时间信息相同。因此，在从图9所示的视频数据中提取出视频序列时，可以依次提取Time1与Time2各自对应的视频帧之间的各个视频帧所组成的视频序列，提取Time3与Time4各自对应的视频帧之间的各个视频帧所组成的视频序列，直到从该视频数据中提取出全部的视频序列。由于时间戳序列是根据主视频序列的时间信息生成的，本申请实施例按照时间戳序列依次对其他车载摄像头采集的视频数据进行视频序列的提取，可以保证所提取出的视频序列与主视频序列在时间上的一致性。并且，车载设备可以直接按照提取视频序列的顺序对其进行存储，降低了存储这些视频序列的处理难度。
S203、确定每个方位的所述视频数据在待生成的目标视频中的显示区域。
在本申请实施例中，待生成的目标视频可以是指一键成片所最终生成的视频。确定每个方位的视频数据在待生成的目标视频中的显示区域即是确定从各个车载摄像头的视频数据中提取出的视频序列，应当在目标视频画面中哪个位置进行播放。
在本申请实施例的一种可能的实现方式中，可以根据视频模板来确定每个方位的视频数据在待生成的目标视频中的显示区域。具体地，车载设备可以接收针对待生成的目标视频选定的视频模板。即，驾乘人员可以根据实际需求或偏好从多个视频模板中选定任意一个视频模板。每个视频模板中均可以包括多个模板区域，任一模板区域与汽车不同方位的车载摄像头具有绑定关系。车载设备可以根据每个方位的车载摄像头与模板区域之间的绑定关系，确定每个方位的视频数据在待生成的目标视频中的显示区域。
示例性地，如图10所示，是本申请实施例提供的一种视频模板的示意图。驾乘人员选定的该视频模板可以包括区域一、区域二、区域三和区域四共四个模板区域。其中，区域一可以与汽车左侧车载摄像头具有绑定关系；区域二可以与汽车右侧车载摄像头具有绑定关系；区域三可以与汽车正前方的车载摄像头具有绑定关系；区域四可以与汽车正后方的车载摄像头具有绑定关系。这样，在选定图10所示的视频模板后，在最终一键成片生成的新视频中，也将包括有四个显示区域，这四个显示区域与图10中的视频模板中的四个模板区域的位置相同。每个显示区域分别用于显示具有绑定关系的车载摄像头所拍摄的视频数据。
S204、基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
在本申请实施例中，车载设备可以对从不同方位的车载摄像头采集的视频数据中所提取出的视频序列进行组合，从而生成目标视频。具体地，车载设备可以在各个显示区域中，分别播放从对应方位的车载摄像头采集的视频数据中提取的一段或多段视频序列，从而生成目标视频。该目标视频在播放时，即可在一个视频画面中向驾乘人员或其他用户呈现多个不同方位的车载摄像头所采集的视频数据，实现对车载场景中的多个车载摄像头采集的视频数据的一键成片。
在本申请实施例的一种可能的实现方式中，车载设备在执行一键成片时，还可以在目标视频中添加视频特效。示例性地，在目标视频中添加背景音乐、变换视频风格、添加贴纸素材、对视频图像进行滤镜处理、进行天气替换等等，本申请实施例对如何添加视频特效不作限定。
在本申请实施例中，车载设备通过获取安装于汽车不同方位的多个车载摄像头分别采 集的视频数据，可以分别从每个方位的视频数据中提取待处理的一段或多段视频序列。在确定每个方位的视频数据在待生成的目标视频中的显示区域后，车载设备可以基于上述显示区域对多个方位的多段视频序列进行组合，以生成目标视频。本申请实施例基于车载摄像头的位置关系，可以将多个车载摄像头采集的视频数据组合成一个新的目标视频，解决了现有的一键成片技术无法应用于车载多摄像头场景的问题，实现了车载场景下的多个车载摄像头的视频数据的一键成片。同时，基于多个车载摄像头的不同方位，最终生成的目标视频可以具有更多的视角，可以形成更多的组合方案以及特效，能够让一键成片得到的目标视频更具吸引力。
在上述实施例中对多段视频进行组合展示的基础上，还可以对多段展示视频的清晰度进行调整，确保展示给用户的是清晰度高的视频。具体过程如下：
在利用时间戳信息获取到相同时间内的待显示的视频序列后，可以对选中的多段视频序列的视频清晰度进行识别比对，然后依据识别比对结果，结合特定车辆信息对视频序列进行去模糊处理，确保待显示视频的视频清晰度满足要求。其中，该特定车辆信息会对车载摄像头拍摄的视频清晰度产生影响，本申请实施例对该特定车辆信息的具体参数种类不作限定，可根据车型不同，车辆行驶状态不同等原因进行调整。例如，特定车辆信息可以包括：车速信息、车辆位置信息和/或用于播放目标视频的车机或终端设备的界面显示大小等。
其中，将选中的多段视频序列的每一段视频(每一段视频均可以记作一个目标段视频)与预设清晰度的视频进行清晰度比对，若选中的某段视频的清晰度小于用于进行比对的视频的预设清晰度，此时可以判断影响视频清晰度的原因。若确定影响视频清晰度的原因包括车速信息、车辆位置信息等，此时可以将车速信息、车辆位置信息以及清晰度比对结果作为输入，利用预先训练的去模糊模型对待显示视频进行去模糊处理，当待显示视频的视频清晰度与上述用于进行比对的视频的预设清晰度之间的差值保持在第一预设范围内时，停止去模糊处理，得到满足清晰度要求的待显示视频。
此种方式中，将待显示视频与预设清晰度的视频进行清晰度比对，将不满足清晰度要求的待显示视频结合影响清晰度的原因，利用去模糊模型进行去模糊处理，以此确保待显示视频的视频清晰度能够满足预设要求，确保为用户展示高清视频，提高视频清晰度及用户观看体验。
更进一步地，对待显示视频进行清晰度比对时，在将每一段待显示视频与预设清晰度的视频进行清晰度比对时，还可以对不同显示区域内的待显示视频之间的视频清晰度进行比对。具体如下：
选取不同显示区域，相同时间戳序列的多个视频段，对多个视频段之间的视频清晰度进行一一比对，然后将一一比对后的比对结果及特定车辆信息作为输入，利用预先训练的去模糊模型进行去模糊处理，当去模糊处理的视频之间的清晰度保持在第二预设范围内时，停止去模糊处理，得到满足视频间清晰度要求的待显示视频。
此处在进行视频显示前，在将待显示视频的视频清晰度与预设清晰度的视频进行清晰度比对处理后，对选取的每个显示区域内的待显示视频之间的视频清晰度进行比对，利用去模糊模型将每一个显示区域内的待显示视频的视频清晰度进行一致性调整，使不同显示区域内的显示视频处于同一清晰度，确保最终展示给用户的整体视频处于相同的清晰度，以此能确保显示屏播放的视频的清晰度的一致性，进而确保播放的视频的稳定性。
为了更详细介绍本申请中视频去模糊处理过程，现以特定车辆信息包括：车速信息、车辆位置信息和界面显示大小为例，对视频去模糊过程进行介绍。
本申请实施例中，车机可以预先存储有不同车速、不同车辆位置信息、不同界面显示大小与不同视频去模糊模型之间的匹配关系。因此，车机在获取到待处理图像在拍摄时对应摄像头的目标移动速度、不同车辆位置信息、不同界面显示大小之后，可以根据该目标移动速度以及预先存储的不同移动速度与不同视频去模糊模型之间的匹配关系，不同位置 信息与不同视频去模糊模型之间的匹配关系，界面显示大小以及预先存储的不同界面显示大小与不同视频去模糊模型之间的匹配关系，得到与该车速、车辆位置信息及界面显示大小匹配的目标视频去模糊模型。
在本申请的一个实施例中，车机可以预先构建一个用于存储多个视频去模糊模型的模型库，且每个视频去模糊模型都有其对应的预设速度范围区间、预设位置区域区间及界面显示大小区间。因此，车机可以在该预先构建的模型库中查找与待处理图像在拍摄时对应摄像头的目标移动速度、位置信息及界面显示大小匹配的目标视频去模糊模型。其中，预设速度范围区间可以根据实际需要设置，此处不作限制。示例性的，预设速度范围区间可以设置为：(0，30)、[30，40]、(40，50]、(50，60]、(60，70]、(70，80]、(80，90]及(90，+∞)等，上述速度范围区间中的任一速度的单位均为km/h。预设位置区域区间可以以城市街道为单位，也可以以城市景点为单位设置，例如A城市中的a街道，或是A城市内的景点b。界面显示大小可根据当前车内显示屏的尺寸大小进行设置。
具体地，车机可以根据上述目标移动速度确定其所处的目标速度范围区间，再根据该目标速度范围区间从预先构建的模型库中查找待处理视频对应的第一目标视频去模糊模型。然后再根据车辆位置信息确定其所处的预设位置区域区间，再根据该预设位置区域区间从预先构建的模型库中查找待处理视频对应的第二目标视频去模糊模型。最后车机可以根据界面显示大小确定其所处的界面显示大小区间，再根据该界面显示大小区间从预先构建的模型库中查找待处理视频对应的第三目标视频去模糊模型。然后分别利用第一目标视频去模糊模型、第二目标视频去模糊模型和第三目标视频去模糊模型对待显示视频进行去模糊处理，分别得到三种处理后的视频，再对该三种处理后的视频间进行清晰度比对，选取清晰度最高的视频作为最终的待显示视频。
或者，根据预先训练的预设速度范围区间、预设位置区域区间及界面显示大小区间之间的对应关系，选取视频去模糊模型。具体的：
根据当前的车辆位置信息，结合当前车速，确定目标车速-位置对应区间，再根据该车速-位置对应区间从预先构建的模型库中查找待处理视频对应的初级去模糊模型，在初级去模糊模型的基础上查找对应界面显示大小对应的目标显示缩放比例，依据初级去模糊模型和目标显示缩放比例从预先构建的模型库中查找目标视频去模糊模型。然后利用该目标视频去模糊模型对待显示视频进行去模糊处理，得到最终的清晰视频。
此实施例中利用训练好的视频去模糊模型结合车速信息、车辆位置信息和界面显示大小对待显示视频进行去模糊处理，以此针对不同车速，不同位置及不同显示大小的情况进行视频去模糊处理。可对多种不同车况下的视频进行显示，提高了视频去模糊处理的适用性。
为了更详细地介绍本实施例中视频去模糊模型的训练过程，现以车速为训练参数，对视频去模糊模型的训练过程进行论述。本实施例中采用基于图像的视频去模糊方案。
本实施例提供的视频去模糊的方法中，针对每个预设速度范围区间，车机具体可以通过以下操作得到该预设速度范围区间对应的视频去模糊模型，详述如下：
获取预设速度范围区间对应的原始样本视频的每帧图像作为原始样本图像。
将所述原始样本图像输入预设的原始图像去模糊模型进行处理，得到预处理样本图像。
使用边缘检测算法对所述原始样本图像以及所述预处理样本图像进行处理，得到所述原始样本图像对应的第一算子以及所述预处理样本图像对应的第二算子。
根据所述第一算子和所述第二算子计算其对应的原始样本图像的损失函数。
基于所述损失函数对所述原始图像去模糊模型进行参数优化处理，得到与所述预设速度范围区间对应的图像去模糊模型。
本实施例中，针对每个预设速度范围区间，终端设备可以将与该预设速度范围区间对应的原始样本图像输入预设的原始图像去模糊模型进行处理，得到该原始样本图像对应的预处理样本图像。其中，原始图像去模糊模型可以是预先构建的深度学习模型，如生成对 抗网络(DeblurGAN)模型。
终端设备在得到预处理样本图像之后，可以使用边缘检测算法分别对上述原始样本图像和上述预处理样本图像进行处理，从而得到该原始样本图像对应的第一算子和该预处理样本图像对应的第二算子。其中，对应边缘检测算法包括但不限于索贝尔(Sobel)边缘检测算法、Canny边缘检测算法或拉普拉斯(Laplacian)边缘检测算法。
在本申请的一个实施例中，以边缘检测算法为Sobel边缘检测算法为例，终端设备具体可以根据以下公式计算得到损失函数：
Lsobel＝Y_sobel-Predict_sobel；
其中，Lsobel表示上述损失函数，Predict_sobel表示上述原始样本图像对应的第一算子，Y_sobel表示上述预处理样本图像对应的第二算子。
本实施例中，终端设备在得到损失函数后，可以将该损失函数作为反向传播误差，以对原始图像去模糊模型中的网络权重进行更新，即，根据该损失函数对原始图像去模糊模型进行参数优化处理，从而得到上述预设速度范围区间对应的图像去模糊模型。
以上可以看出，本实施例提供的图像去模糊的方法，在对每个预设速度范围区间对应的原始图像去模糊模型进行训练时，都是通过将其对应的原始样本图像输入预设的原始图像去模糊模型进行处理，得到预处理样本图像，之后可以根据边缘检测算法分别对预处理样本图像和原始样本图像进行处理，从而得到原始样本图像对应的第一算子和预处理样本图像对应的第二算子，并根据第一算子和第二算子得到损失函数，并将该损失函数作为反向传播误差原始图像去模糊模型进行参数优化处理，达到原始去模糊模型对原始样本图像中的边缘部分的强化的目的，从而得到已训练的图像去模糊模型。通过上述方法得到的图像去模糊模型可以让图像清晰度更高，进一步提高去模糊图像的图像质量。需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
参照图11，示出了本申请实施例提供的一种基于车载多摄像头的视频生成装置的示意图，该装置具体可以包括视频数据获取模块1101、视频序列提取模块1102、显示区域确定模块1103和目标视频生成模块1104，其中：
视频数据获取模块1101，用于获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
视频序列提取模块1102，用于分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
显示区域确定模块1103，用于确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
目标视频生成模块1104，用于基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
在本申请实施例中，所述视频序列提取模块1102具体可以用于：确定不同方位的多个所述车载摄像头中的主摄像头；从所述主摄像头采集的视频数据中提取一段或多段主视频序列；其中，每段所述主视频序列具有相应的时间信息；分别从除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中提取出具有所述时间信息的一段或多段从视频序列，其中，视频序列包括所述主视频序列和从视频序列。
在本申请实施例中，所述视频序列提取模块1102还可以用于：获取所述汽车在行驶过程中的地图导航信息；根据所述地图导航信息，识别所述行驶过程中途径的关键位置点；基于所述汽车的行驶方向和所述关键位置点，从多个所述车载摄像头中确定所述主摄像头； 其中，所述主摄像头采集的视频数据为所述主摄像头针对所述关键位置点进行拍摄得到的视频数据。
在本申请实施例中，所述视频序列提取模块1102还可以用于：根据所述时间信息，分别确定每段所述主视频序列的开始视频帧以及结束视频帧的时间戳，得到时间戳序列；在除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中标记出所述时间戳序列；从被标记有所述时间戳序列的视频数据中，依次确定待提取视频序列并对所述待提取视频序列进行提取，得到具有所述时间信息的一段或多段从视频序列。
在本申请实施例中，所述显示区域确定模块1103具体可以用于：接收针对待生成的所述目标视频选定的视频模板；其中，所述视频模板中包括多个模板区域，任一所述模板区域与所述汽车不同方位的所述车载摄像头具有绑定关系；根据每个方位的所述车载摄像头与所述模板区域之间的绑定关系，确定每个方位的所述视频数据在待生成的所述目标视频中的显示区域。
在本申请实施例中，所述目标视频生成模块1104具体可以用于：在各个所述显示区域中，分别播放从对应方位的所述车载摄像头采集的视频数据中提取的一段或多段视频序列，以生成所述目标视频。
在本申请实施例中，所述装置还包括视频特效添加模块，所述视频特效添加模块具体可以用于：在所述目标视频中添加视频特效；其中，所述视频特效包括如下处理方式中的至少一种：
添加背景音乐、变换视频风格、添加贴纸素材、对视频图像进行滤镜处理、天气替换。
在本申请实施例中，所述装置还包括视频清晰度处理模块，所述视频清晰度处理模块具体可以用于：对多段所述视频序列的视频清晰度进行识别比对；依据识别比对结果，结合特定车辆信息对所述视频序列进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件。
在本申请实施例中，所述视频清晰度处理模块具体还可以用于：将目标段视频与预设清晰度的视频进行清晰度比对，得到识别比对结果，其中，所述目标段视频为多段视频序列的任一段视频，所述识别比对结果包括所述目标段视频的清晰度与所述预设清晰度之间的关系；若所述目标段视频的清晰度小于所述预设清晰度，判断影响所述目标段视频的清晰度的因素；
相应的，若影响所述目标段视频的清晰度的因素为所述特定车辆信息，依据识别比对结果，结合特定车辆信息对所述视频序列进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件。
在本申请实施例中，所述视频清晰度处理模块具体还可以用于：将目标段视频与预设清晰度的视频进行清晰度比对，得到第一比对结果，其中，所述目标段视频为多段视频序列的任一段视频，所述第一比对结果包括所述目标段视频的清晰度与所述预设清晰度之间的关系；选取不同显示区域、且具有相同时间戳序列的多个目标视频段；对选取的所述多个目标视频段中任意两个目标视频段的视频清晰度进行比对，得到每两个视频段之间的第二比对结果，其中，所述第二比对结果包括两个视频段之间的视频清晰度的关系，所述识别比对结果包括所述第一比对结果和所述第二比对结果。
在本申请实施例中，所述特定的车辆信息包括车速、车辆位置信息和界面显示大小；所述视频清晰度处理模块具体还可以用于：基于采集所述目标段视频时所述汽车的车速、车辆位置信息和所述目标段视频对应的显示区域的界面显示大小，得到所述视频去模糊模型，其中，预先存储不同的车速、不同的车辆位置信息、不同的界面显示大小和不同的视频去模糊模型之间的对应关系；
将所述识别比对结果和所述特定车辆信息输入至预先训练好的视频去模糊模型对所述视频序列中的所述目标段视频进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件。
在本申请实施例中，所述特定的车辆信息包括车速、车辆位置信息和界面显示大小；所述视频清晰度处理模块具体还可以用于：针对多段所述视频序列中的每个目标段视频进行以下操作：基于采集所述目标段视频时所述汽车的车速，确定所述车速对应的第一视频去模糊模型，并利用所述第一视频去模糊模型对所述目标段视频进行去模糊处理，得到第一段视频，其中，预先存储不同的车速与不同的视频去模糊模型之间的关系；基于采集所述目标段视频时所述汽车的车辆位置信息，确定所述车辆位置信息对应的第二视频去模糊模型，并利用所述第二视频去模糊模型对所述目标段视频进行去模糊处理，得到第二段视频，其中，预先存储不同的车辆位置信息与不同的视频去模糊模型之间的关系；基于目标段视频对应的显示区域的界面显示大小，确定所述界面显示大小对应的第三视频去模糊模型，并利用所述第三视频去模糊模型对所述目标段视频进行去模糊处理，得到第三段视频，其中，预先存储不同的界面显示大小与不同的视频去模糊模型之间的关系；确定所述第一段视频、所述第二段视频和所述第三段视频中清晰度最高的段视频，清晰度最高的段视频为所述目标段视频对应的满足预设条件的段视频。
在本申请实施例中，所述视频序列提取模块1102具体可以用于：基于各个车载摄像头实际拍摄得到的视频内容，确定多个所述车载摄像头中的主摄像头。
在本申请实施例中，所述视频序列提取模块1102还可以用于：基于所述汽车的行驶方向和所述关键位置点，将各个车载摄像头中能拍摄到所述关键位置点的车载摄像头作为所述汽车在当前位置时的主摄像头。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。
参照图12，示出了本申请实施例提供的一种车载设备的示意图。如图12所示，本申请实施例中的车载设备1200包括：处理器1210、存储器1220以及存储在所述存储器1220中并可在所述处理器1210上运行的计算机程序1221。所述处理器1210执行所述计算机程序1221时实现上述基于车载多摄像头的视频生成方法各个实施例中的步骤，例如图2所示的步骤S201至S204。或者，所述处理器1210执行所述计算机程序1221时实现上述各装置实施例中各模块/单元的功能，例如图11所示模块1101至1104的功能。
示例性的，所述计算机程序1221可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器1220中，并由所述处理器1210执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段可以用于描述所述计算机程序1221在所述车载设备1200中的执行过程。例如，所述计算机程序1221可以被分割成视频数据获取模块、视频序列提取模块、显示区域确定模块和目标视频生成模块，各模块具体功能如下：
视频数据获取模块，用于获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
视频序列提取模块，用于分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
显示区域确定模块，用于确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
目标视频生成模块，用于基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
所述车载设备1200可以是前述各个实施例中的车载计算机、车载视频处理装置等设备。所述车载设备1200可包括，但不仅限于，处理器1210、存储器1220。本领域技术人员可以理解，图12仅仅是车载设备1200的一种示例，并不构成对车载设备1200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车载设备1200还可以包括输入输出设备、网络接入设备、总线等。
所述处理器1210可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器1220可以是所述车载设备1200的内部存储单元，例如车载设备1200的硬盘或内存。所述存储器1220也可以是所述车载设备1200的外部存储设备，例如所述车载设备1200上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等等。进一步地，所述存储器1220还可以既包括所述车载设备1200的内部存储单元也包括外部存储设备。所述存储器1220用于存储所述计算机程序1221以及所述车载设备1200所需的其他程序和数据。所述存储器1220还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还公开了一种车载设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述各个实施例所述的基于车载多摄像头的视频生成方法。
本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述各个实施例所述的基于车载多摄像头的视频生成方法。
本申请实施例还公开了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行前述各个实施例所述的基于车载多摄像头的视频生成方法。
本申请实施例中车载设备所实现的各项功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述方法实施例中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到基于车载多摄像头的视频生成装置/车载设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/车载设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/车载设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络 单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (18)

  1. 一种基于车载多摄像头的视频生成方法，其特征在于，包括：
    获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
    分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
    确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
    基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
  2. 根据权利要求1所述的方法，其特征在于，所述分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列，包括：
    确定不同方位的多个所述车载摄像头中的主摄像头；
    从所述主摄像头采集的视频数据中提取一段或多段主视频序列；其中，每段所述主视频序列具有相应的时间信息；
    分别从除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中提取出具有所述时间信息的一段或多段从视频序列，其中，视频序列包括所述主视频序列和从视频序列。
  3. 根据权利要求2所述的方法，其特征在于，所述确定不同方位的多个所述车载摄像头中的主摄像头，包括：
    获取所述汽车在行驶过程中的地图导航信息；
    根据所述地图导航信息，识别所述行驶过程中途径的关键位置点；
    基于所述汽车的行驶方向和所述关键位置点，从多个所述车载摄像头中确定所述主摄像头；其中，所述主摄像头采集的视频数据为所述主摄像头针对所述关键位置点进行拍摄得到的视频数据。
  4. 根据权利要求2所述的方法，其特征在于，所述分别从除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中提取出具有所述时间信息的一段或多段从视频序列，包括：
    根据所述时间信息，分别确定每段所述主视频序列的开始视频帧以及结束视频帧的时间戳，得到时间戳序列；
    在除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中标记出所述时间戳序列；
    从被标记有所述时间戳序列的视频数据中，依次确定待提取视频序列并对所述待提取视频序列进行提取，得到具有所述时间信息的一段或多段从视频序列。
  5. 根据权利要求1至4任一项所述的方法，其特征在于，所述确定每个方位的所述视频数据在待生成的目标视频中的显示区域，包括：
    接收针对待生成的所述目标视频选定的视频模板；其中，所述视频模板中包括多个模板区域，任一所述模板区域与所述汽车不同方位的所述车载摄像头具有绑定关系；
    根据每个方位的所述车载摄像头与所述模板区域之间的绑定关系，确定每个方位的所述视频数据在待生成的所述目标视频中的显示区域。
  6. 根据权利要求5所述的方法，其特征在于，所述基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频，包括：
    在各个所述显示区域中，分别播放从对应方位的所述车载摄像头采集的视频数据中提取的一段或多段视频序列，以生成所述目标视频。
  7. 根据权利要求1-4或6任一项所述的方法，其特征在于，在基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频之后，所述方法还包括：
    在所述目标视频中添加视频特效；
    其中，所述视频特效包括如下处理方式中的至少一种：
    添加背景音乐、变换视频风格、添加贴纸素材、对视频图像进行滤镜处理、天气替换。
  8. 根据权利要求1所述的方法，其特征在于，在基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频之前，所述方法还包括：
    对多段所述视频序列的视频清晰度进行识别比对；
    依据识别比对结果，结合特定车辆信息对所述视频序列进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件。
  9. 根据权利要求8所述的方法，其特征在于，所述对多段所述视频序列的视频清晰度进行识别比对，包括：
    将目标段视频与预设清晰度的视频进行清晰度比对，得到识别比对结果，其中，所述目标段视频为多段视频序列的任一段视频，所述识别比对结果包括所述目标段视频的清晰度与所述预设清晰度之间的关系；
    若所述目标段视频的清晰度小于所述预设清晰度，判断影响所述目标段视频的清晰度的因素；
    相应的，若影响所述目标段视频的清晰度的因素为所述特定车辆信息，依据识别比对结果，结合特定车辆信息对所述视频序列进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件。
  10. 根据权利要求8所述的方法，其特征在于，所述对多段所述视频序列的视频清晰度进行识别比对，包括：
    将目标段视频与预设清晰度的视频进行清晰度比对，得到第一比对结果，其中，所述目标段视频为多段视频序列的任一段视频，所述第一比对结果包括所述目标段视频的清晰度与所述预设清晰度之间的关系；
    选取不同显示区域、且具有相同时间戳序列的多个目标视频段；
    对选取的所述多个目标视频段中任意两个目标视频段的视频清晰度进行比对，得到每两个视频段之间的第二比对结果，其中，所述第二比对结果包括两个视频段之间的视频清晰度的关系，所述识别比对结果包括所述第一比对结果和所述第二比对结果。
  11. 根据权利要求9所述的方法，其特征在于，所述特定的车辆信息包括车速、车辆位置信息和界面显示大小；
    所述依据识别比对结果，结合特定车辆信息对所述视频序列进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件，包括：
    基于采集所述目标段视频时所述汽车的车速、车辆位置信息和所述目标段视频对应的显示区域的界面显示大小，得到所述视频去模糊模型，其中，预先存储不同的车速、不同的车辆位置信息、不同的界面显示大小和不同的视频去模糊模型之间的对应关系；
    将所述识别比对结果和所述特定车辆信息输入至预先训练好的视频去模糊模型对所述视频序列中的所述目标段视频进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件。
  12. 根据权利要求9所述的方法，其特征在于，所述特定的车辆信息包括车速、车辆位置信息和界面显示大小；
    所述依据识别比对结果，结合特定车辆信息对所述视频序列进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件，包括：
    针对多段所述视频序列中的每个目标段视频进行以下操作：基于采集所述目标段视频时所述汽车的车速，确定所述车速对应的第一视频去模糊模型，并利用所述第一视频去模糊模型对所述目标段视频进行去模糊处理，得到第一段视频，其中，预先存储不同的车速与不同的视频去模糊模型之间的关系；
    基于采集所述目标段视频时所述汽车的车辆位置信息，确定所述车辆位置信息对应的第二视频去模糊模型，并利用所述第二视频去模糊模型对所述目标段视频进行去模糊处理，得到第二段视频，其中，预先存储不同的车辆位置信息与不同的视频去模糊模型之间的关系；
    基于目标段视频对应的显示区域的界面显示大小，确定所述界面显示大小对应的第三视频去模糊模型，并利用所述第三视频去模糊模型对所述目标段视频进行去模糊处理，得到第三段视频，其中，预先存储不同的界面显示大小与不同的视频去模糊模型之间的关系；
    确定所述第一段视频、所述第二段视频和所述第三段视频中清晰度最高的段视频，清晰度最高的段视频为所述目标段视频对应的满足预设条件的段视频。
  13. 根据权利要求2所述的方法，其特征在于，所述确定不同方位的多个所述车载摄像头中的主摄像头，包括：
    基于各个车载摄像头实际拍摄得到的视频内容，确定多个所述车载摄像头中的主摄像头。
  14. 根据权利要求3所述的方法，其特征在于，所述基于所述汽车的行驶方向和所述关键位置点，从多个所述车载摄像头中确定所述主摄像头，包括：
    基于所述汽车的行驶方向和所述关键位置点，将各个车载摄像头中能拍摄到所述关键位置点的车载摄像头作为所述汽车在当前位置时的主摄像头。
  15. 一种基于车载多摄像头的视频生成装置，其特征在于，包括：
    视频数据获取模块，用于获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
    视频序列提取模块，用于分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
    显示区域确定模块，用于确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
    目标视频生成模块，用于基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
  16. 一种车载设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至14任一项所述的基于车载多摄像头的视频生成方法。
  17. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至14任一项所述的基于车载多摄像头的视频生成方法。
  18. 一种计算机程序产品，其特征在于，当计算机程序产品在车载设备上运行时，使得车载设备执行如权利要求1至14任一项所述的基于车载多摄像头的视频生成方法。
PCT/CN2023/072528 2022-01-18 2023-01-17 基于车载多摄像头的视频生成方法、装置及车载设备 WO2023138556A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210055793.1A CN115119045A (zh) 2022-01-18 2022-01-18 基于车载多摄像头的视频生成方法、装置及车载设备
CN202210055793.1 2022-01-18

Publications (1)

Publication Number Publication Date
WO2023138556A1 true WO2023138556A1 (zh) 2023-07-27

Family

ID=83325348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/072528 WO2023138556A1 (zh) 2022-01-18 2023-01-17 基于车载多摄像头的视频生成方法、装置及车载设备

Country Status (2)

Country Link
CN (1) CN115119045A (zh)
WO (1) WO2023138556A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117201748A (zh) * 2023-11-06 2023-12-08 博泰车联网(南京)有限公司 视频流显示方法、装置、设备及存储介质
CN117274781A (zh) * 2023-11-21 2023-12-22 成都合能创越软件有限公司 基于双管道信息交错车载实时检测方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115119045A (zh) * 2022-01-18 2022-09-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014033469A (ja) * 2013-11-01 2014-02-20 Aisin Seiki Co Ltd 車両周辺監視装置
CN103986918A (zh) * 2014-06-06 2014-08-13 深圳市众鸿科技股份有限公司 车载视频监控系统及其监视画面输出方法
CN105163085A (zh) * 2015-09-14 2015-12-16 北京远特科技股份有限公司 一种视频监控方法、控制装置和移动终端
CN107197207A (zh) * 2017-06-26 2017-09-22 上海赫千电子科技有限公司 一种车载多摄像头系统及其拍摄方法
CN110060215A (zh) * 2019-04-16 2019-07-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110493542A (zh) * 2019-08-20 2019-11-22 深圳市瑞联高科通讯有限公司 一种可多角度长距离布线的模数转换车载监控系统
CN113727073A (zh) * 2021-08-31 2021-11-30 深圳市同进视讯技术有限公司 一种基于云计算实现车载视频监控的方法及系统
CN115119045A (zh) * 2022-01-18 2022-09-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484573A (ja) * 1990-07-27 1992-03-17 Toshiba Corp 移動物体観察装置
CN108028873B (zh) * 2015-09-14 2019-09-17 科布拉电子有限公司 交通工具摄像机系统
JP7028609B2 (ja) * 2017-11-08 2022-03-02 フォルシアクラリオン・エレクトロニクス株式会社 画像表示装置、及び画像表示システム
WO2019111307A1 (ja) * 2017-12-05 2019-06-13 三菱電機株式会社 表示制御装置及び表示制御方法
CN109461131A (zh) * 2018-11-20 2019-03-12 中山大学深圳研究院 一种基于神经网络算法的智能内后视镜实时去模糊方法
US11127119B1 (en) * 2020-03-17 2021-09-21 GM Global Technology Operations LLC Systems and methods for image deblurring in a vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014033469A (ja) * 2013-11-01 2014-02-20 Aisin Seiki Co Ltd 車両周辺監視装置
CN103986918A (zh) * 2014-06-06 2014-08-13 深圳市众鸿科技股份有限公司 车载视频监控系统及其监视画面输出方法
CN105163085A (zh) * 2015-09-14 2015-12-16 北京远特科技股份有限公司 一种视频监控方法、控制装置和移动终端
CN107197207A (zh) * 2017-06-26 2017-09-22 上海赫千电子科技有限公司 一种车载多摄像头系统及其拍摄方法
CN110060215A (zh) * 2019-04-16 2019-07-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110493542A (zh) * 2019-08-20 2019-11-22 深圳市瑞联高科通讯有限公司 一种可多角度长距离布线的模数转换车载监控系统
CN113727073A (zh) * 2021-08-31 2021-11-30 深圳市同进视讯技术有限公司 一种基于云计算实现车载视频监控的方法及系统
CN115119045A (zh) * 2022-01-18 2022-09-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117201748A (zh) * 2023-11-06 2023-12-08 博泰车联网(南京)有限公司 视频流显示方法、装置、设备及存储介质
CN117201748B (zh) * 2023-11-06 2024-01-26 博泰车联网(南京)有限公司 视频流显示方法、装置、设备及存储介质
CN117274781A (zh) * 2023-11-21 2023-12-22 成都合能创越软件有限公司 基于双管道信息交错车载实时检测方法及系统
CN117274781B (zh) * 2023-11-21 2024-04-16 成都合能创越软件有限公司 基于双管道信息交错车载实时检测方法及系统

Also Published As

Publication number Publication date
CN115119045A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
WO2023138556A1 (zh) 基于车载多摄像头的视频生成方法、装置及车载设备
Neumann et al. Nightowls: A pedestrians at night dataset
WO2020151172A1 (zh) 运动目标检测方法、装置、计算机设备及存储介质
CN108495089A (zh) 车辆监控方法、装置、系统以及计算机可读存储介质
CN110188482B (zh) 一种基于智能驾驶的测试场景创建方法及装置
CN108860045B (zh) 驾驶辅助方法、驾驶辅助装置及存储介质
WO2013170797A1 (zh) 一种实景地图的制作方法和装置
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN110781823B (zh) 录屏检测方法、装置、可读介质及电子设备
CN111193961B (zh) 视频编辑设备和方法
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
JP2022140530A (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
Madhavan et al. The bdd-nexar collective: A large-scale, crowsourced, dataset of driving scenes
WO2023159822A1 (zh) 一种图像处理方法、装置、介质、设备及驾驶系统
WO2024067732A1 (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN114897684A (zh) 车辆图像的拼接方法、装置、计算机设备和存储介质
JP2021174346A (ja) 道路形状判定方法及び道路形状判定プログラム
CN110827340B (zh) 地图的更新方法、装置及存储介质
CN114584839A (zh) 拍摄车载视频的剪辑方法、装置、电子设备及存储介质
CN113542847B (zh) 图像显示方法、装置、设备及存储介质
US20230175854A1 (en) Explicit Signage Visibility Cues in Driving Navigation
CN112184605A (zh) 一种车辆驾驶视野增强方法、设备及系统
JP2019174989A (ja) 画像圧縮方法及び画像圧縮装置
JP2019200776A (ja) 車両認識装置および車両認識方法
CN117177004B (zh) 内容帧的提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23742871

Country of ref document: EP

Kind code of ref document: A1