WO2020224117A1 - 基于历史视频的导航方法、装置、计算机设备及存储介质 - Google Patents

基于历史视频的导航方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020224117A1
WO2020224117A1 PCT/CN2019/103329 CN2019103329W WO2020224117A1 WO 2020224117 A1 WO2020224117 A1 WO 2020224117A1 CN 2019103329 W CN2019103329 W CN 2019103329W WO 2020224117 A1 WO2020224117 A1 WO 2020224117A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
condition
picture
road condition
weather
Prior art date
Application number
PCT/CN2019/103329
Other languages
English (en)
French (fr)
Inventor
吴壮伟
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020224117A1 publication Critical patent/WO2020224117A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical

Definitions

  • This application relates to the technical field of neural networks, and in particular to a navigation method, device, computer equipment and storage medium based on historical video.
  • navigation software has been widely used.
  • a simple two-dimensional flat map combined with a real road map is generally used to navigate the user's route, and it is unable to perform auxiliary navigation in severe weather.
  • the embodiments of this application provide a navigation method, device, computer equipment, and storage medium based on historical video, aiming to solve the problem that the navigation software in the prior art is generally a simple two-dimensional plane map combined with a real road map when navigating.
  • an embodiment of the present application provides a navigation method based on historical video, which includes:
  • the actual road condition real picture corresponding to the geographic location coordinates is replaced with the real road condition picture under non-severe weather conditions.
  • an embodiment of the present application provides a navigation device based on historical video, which includes:
  • the current video collection unit is configured to obtain the road condition video data of the road at the current time corresponding to the preset geographic location coordinates if the time interval between the current time and the previous video collection time is equal to the preset collection period;
  • the current video decomposition unit is configured to perform video decomposition of the road condition video data to obtain multiple frames of road condition pictures corresponding to the road condition video data;
  • a random selection unit configured to randomly obtain one frame of pictures from the multiple frames of road condition pictures corresponding to the road condition video data, as the actual road condition picture corresponding to the road condition video data;
  • a weather condition recognition unit configured to use the actual road condition picture as an input of a pre-trained road weather condition recognition model to obtain a road weather condition recognition result corresponding to the actual road condition picture;
  • the result judgment unit is configured to, if the road weather condition recognition result is greater than the preset severe weather warning value, obtain the corresponding actual road condition picture and the geographical location coordinates corresponding to the actual road condition picture;
  • the picture replacement unit is used to replace the actual road condition real picture corresponding to the geographic location coordinates with the real road condition picture under non-severe weather conditions.
  • an embodiment of the present application provides a computer device, which includes a memory, a processor, and a computer program stored on the memory and running on the processor, and the processor executes the computer
  • the program implements the historical video-based navigation method described in the first aspect.
  • the embodiments of the present application also provide a computer-readable storage medium, wherein the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor executes the above-mentioned On the one hand, the navigation method based on historical video.
  • FIG. 1 is a schematic diagram of an application scenario of a navigation method based on historical video provided by an embodiment of the application;
  • FIG. 2 is a schematic flowchart of a navigation method based on historical video provided by an embodiment of the application
  • FIG. 3 is a schematic diagram of a sub-flow of the historical video-based navigation method provided by an embodiment of the application
  • FIG. 4 is a schematic block diagram of a navigation device based on historical video provided by an embodiment of the application.
  • FIG. 5 is a schematic block diagram of subunits of a historical video-based navigation device provided by an embodiment of this application.
  • Fig. 6 is a schematic block diagram of a computer device provided by an embodiment of the application.
  • Figure 1 is a schematic diagram of the application scenario of the historical video-based navigation method provided by an embodiment of the application
  • Figure 2 is a schematic flowchart of the historical video-based navigation method provided by an embodiment of the application.
  • the video navigation method is applied to the server, and the method is executed by application software installed in the server.
  • the method includes steps S110 to S160.
  • a collection period is set for a front-end collection device (such as a high-definition camera) installed at a road intersection in order to periodically record the road condition video of each monitored road.
  • the collection period (for example, set the collection period)
  • the length of the collected road condition video data is also the same (for example, 5 seconds), and the collected road condition video data can be processed to obtain the latest road condition navigation picture.
  • S120 Perform video decomposition on the road condition video data to obtain multiple frames of road condition pictures corresponding to the road condition video data.
  • the video is composed of multiple frames of pictures, for example, every second of the video can be converted into 24-30 pictures.
  • video decomposition tools such as Adobe Premiere, in Adobe Premiere, edit the clips that need to output the sequence bitmap, and output the sequence bitmap from the file menu
  • the video decomposition tools such as Adobe Premiere, in Adobe Premiere, edit the clips that need to output the sequence bitmap, and output the sequence bitmap from the file menu
  • the road condition video data of the preset duration (5 seconds) is collected at the current moment, and after the video is decomposed, 120-150 road condition pictures are obtained. At this time, one of them can be randomly selected as The road condition picture at the current moment, so that only one picture is retained as the real road condition picture for each road section and every interval collection period to collect the road condition video data.
  • step S130 the method further includes:
  • the road condition video data collected in the collection period at each interval is video decomposed and a frame of pictures is randomly selected, and only one real road condition picture is retained.
  • the monitored road has multiple real road condition pictures accumulated during multiple road condition video collection cycles. For example, if the video collection period of road conditions is set to 30 minutes, for each monitored road, there are 48 real road conditions pictures saved in a day.
  • S140 Use the actual road condition picture as an input of a pre-trained road weather condition recognition model, and obtain a road weather condition recognition result that matches the actual road condition picture.
  • the method before step S140, the method further includes:
  • each training data of the multiple training data corresponds to the road condition picture
  • the image feature vector of is used as the input of the road weather condition recognition model to be trained, and the road weather condition recognition result is used as the output of the road weather condition recognition model to be trained; wherein, the road conditions corresponding to each training data in the multiple training data
  • the difference between the collection time of the picture and the current time is less than or equal to the preset time interval threshold; the road weather condition recognition result corresponding to each training data is the pre-labeled weather condition recognition result.
  • a road weather condition recognition model when pre-training a road weather condition recognition model, you can select multiple real road conditions pictures taken under the current road weather conditions, such as rainy, snowy, hazy, sunny, and cloudy days. Real-life pictures of road conditions under 5 weather conditions, and then set the recognition result of road weather conditions corresponding to sunny days to 1, the recognition results of road weather conditions corresponding to cloudy days to 2, and the recognition results of road weather conditions corresponding to rainy days to 3, and snowy days The corresponding road weather condition recognition result is 4, and the road weather condition recognition result corresponding to haze days is 5.
  • the deep neural network is trained to obtain a road weather condition recognition model.
  • the deep neural network used is DNN (Deep Neural Networks, DNN for short), which can be understood as a neural network with many hidden layers.
  • the neural network layers inside DNN can be divided into three categories, input layer, hidden layer and output layer. Generally speaking, the first layer is the input layer, the last layer is the output layer, and the number of layers in the middle is all hidden layers. The layers are fully connected, that is to say, any neuron in the i-th layer must be connected to any neuron in the i+1th layer.
  • step S140 using the actual road condition picture as the input of the pre-trained road weather condition recognition model includes:
  • S142 Use the pixel matrix as the input of the input layer in the convolutional neural network model to obtain multiple feature maps correspondingly;
  • S143 Input multiple feature maps to the pooling layer of the convolutional neural network model, and obtain a one-dimensional row vector corresponding to the maximum value corresponding to each feature map;
  • S144 Input the one-dimensional row vector corresponding to the maximum value corresponding to each feature map to the fully connected layer of the convolutional neural network model to obtain a picture feature vector corresponding to the actual road condition picture;
  • each frame of real road images can be converted into a pixel matrix (such as a 256*256 pixel matrix).
  • pixel matrix such as a 256*256 pixel matrix
  • the input layer is convolved
  • the operation obtains several Feature Maps (Feature Maps can be understood as feature maps).
  • Feature Maps can be understood as feature maps.
  • the largest value proposed from the previous one-dimensional Feature Map can be used.
  • This pooling method ie pooling method
  • This pooling method can solve the input problem of variable image pixel size (because no matter how many values are in the Feature Map, only the maximum value needs to be extracted), and the final output of the pooling layer is each
  • the maximum value of Feature Map is a one-dimensional vector.
  • the one-dimensional row vector corresponding to the maximum value corresponding to each feature map is input to the fully connected layer of the convolutional neural network model to obtain the picture feature vector corresponding to the actual road condition picture, and then the picture feature The vector is used as the input of the pre-trained road weather condition recognition model.
  • the road weather condition recognition model when the actual road condition picture is recognized by the road weather condition recognition model, if the road weather condition recognition result corresponding to the road condition picture collected at the current moment is 3, which exceeds the preset The severe weather warning value of 2 indicates that the real road condition picture of the current road at this moment is not suitable for the road real navigation picture.
  • non-severe weather conditions such as sunny weather
  • the method before step S160, the method further includes:
  • the non-severe weather condition is sunny or cloudy, and the road surface is still clearly visible in these two weather conditions, so the real road conditions of the road in non-severe weather conditions are replaced with roads in non-severe weather conditions.
  • the real road condition picture can effectively use the road real picture on the road in non-severe weather conditions as a navigation picture.
  • the real-life picture obtained from the closest collection to the current system time is preferred for replacement; for example, the closest collection to the current system time is 30 minutes ago, and 30 minutes ago is If the weather is not bad, you can get the real road condition pictures collected 30 minutes ago as the navigation picture; the latest collection from the current system time is 30 minutes ago, and 30 minutes ago is bad weather, you can get 1 hour at this time
  • the previously collected real-life pictures of road conditions again determine whether it is severe weather, and the real-life pictures of road conditions collected at a certain moment of pushing forward correspond to non-severe weather.
  • step S160 the method further includes:
  • the prompt message for prompting to detour the current road is sent to the target user terminal whose distance from the geographic location coordinates is within a preset distance threshold .
  • the server in addition to judging the weather state of the current road, it can be determined whether to replace the actual road condition real picture corresponding to the geographic location coordinates with the real road condition picture under non-severe weather conditions. It is also possible that after the user terminal receives the real-life picture of road conditions in non-severe weather conditions corresponding to the geographic location coordinates sent by the server, if the user determines that the road status corresponding to the geographic location coordinates is a maintenance state (for example, by visually observing the The actual road conditions corresponding to the geographic location coordinates can be obtained), at this time, which target user terminals are near the road, for example, the distance between the user terminal and the geographic location coordinates is within a preset distance threshold, It can be regarded as the target client. At this time, the server sends prompt information for prompting to detour the current road to each target client terminal, for prompting the detour of vehicles that have not yet arrived.
  • a maintenance state for example, by visually observing the The actual road conditions corresponding to the geographic location coordinates
  • This method realizes the periodic acquisition of road condition pictures and timely updates to the electronic map. Based on real-time road condition data, it can be effectively navigated under complex road conditions.
  • the embodiment of the present application also provides a navigation device based on historical video, which is used to execute any embodiment of the aforementioned navigation method based on historical video.
  • FIG. 4 is a schematic block diagram of a historical video-based navigation device provided by an embodiment of the present application.
  • the navigation device 100 based on historical videos can be configured in a server.
  • the navigation device 100 based on historical video includes a current video acquisition unit 110, a current video decomposition unit 120, a random selection unit 130, a weather condition recognition unit 140, a result judgment unit 150, and a picture replacement unit 160.
  • the current video collection unit 110 is configured to obtain road condition video data of the road at the current time corresponding to the preset geographic location coordinates if the time interval between the current time and the previous video collection time is equal to the preset collection period.
  • a collection period is set for a front-end collection device (such as a high-definition camera) installed at a road intersection in order to periodically record the road condition video of each monitored road.
  • the collection period (for example, set the collection period)
  • the length of the collected road condition video data is also the same (for example, 5 seconds), and the collected road condition video data can be processed to obtain the latest road condition navigation picture.
  • the current video decomposition unit 120 is configured to perform video decomposition of the road condition video data to obtain multiple frames of road condition pictures corresponding to the road condition video data.
  • the video is composed of multiple frames of pictures, for example, every second of the video can be converted into 24-30 pictures.
  • video decomposition tools such as Adobe Premiere, in Adobe Premiere, edit the clips that need to output the sequence bitmap, and output the sequence bitmap from the file menu
  • the video decomposition tools such as Adobe Premiere, in Adobe Premiere, edit the clips that need to output the sequence bitmap, and output the sequence bitmap from the file menu
  • the random selection unit 130 is configured to randomly obtain a frame of picture from the multiple frames of road condition pictures corresponding to the road condition video data to serve as the actual road condition real picture corresponding to the road condition video data.
  • the road condition video data of the preset duration (5 seconds) is collected at the current moment, and after the video is decomposed, 120-150 road condition pictures are obtained. At this time, one of them can be randomly selected as The road condition picture at the current moment, so that only one picture is retained as the real road condition picture for each road section and every interval collection period to collect the road condition video data.
  • the navigation device 100 based on historical video further includes:
  • the picture timing storage unit is used to store the actual road conditions at the current moment and the corresponding collection time.
  • the road condition video data collected in the collection period at each interval is video decomposed and a frame of pictures is randomly selected, and only one real road condition picture is retained.
  • the monitored road has multiple real road condition pictures accumulated during multiple road condition video collection cycles. For example, if the video collection period of road conditions is set to 30 minutes, for each monitored road, there are 48 real road conditions pictures saved in a day.
  • the weather condition recognition unit 140 is configured to use the actual road condition picture as an input of a pre-trained road weather condition recognition model to obtain a road weather condition recognition result with the actual road condition picture.
  • the navigation device 100 based on historical video further includes:
  • the model training unit is used to obtain multiple training data to train the road weather condition recognition model to be trained to obtain the road weather condition recognition model used to recognize the road weather condition recognition result; wherein, each training data in the multiple training data The data uses the image feature vector corresponding to the road condition picture as the input of the road weather condition recognition model to be trained, and uses the road weather condition recognition result as the output of the road weather condition recognition model to be trained; wherein, each of the multiple training data The difference between the collection time of the road condition picture corresponding to the training data and the current time is less than or equal to the preset time interval threshold; the road weather condition recognition result corresponding to each training data is the pre-labeled weather condition recognition result.
  • a road weather condition recognition model when pre-training a road weather condition recognition model, you can select multiple real road conditions pictures taken under the current road weather conditions, such as rainy, snowy, hazy, sunny, and cloudy days. Real-life pictures of road conditions under 5 weather conditions, and then set the recognition result of road weather conditions corresponding to sunny days to 1, the recognition results of road weather conditions corresponding to cloudy days to 2, and the recognition results of road weather conditions corresponding to rainy days to 3, and snowy days The corresponding road weather condition recognition result is 4, and the road weather condition recognition result corresponding to haze days is 5.
  • the deep neural network is trained to obtain a road weather condition recognition model.
  • the deep neural network used is DNN (Deep Neural Networks, DNN for short), which can be understood as a neural network with many hidden layers.
  • the neural network layers inside DNN can be divided into three categories, input layer, hidden layer and output layer. Generally speaking, the first layer is the input layer, the last layer is the output layer, and the number of layers in the middle is all hidden layers. The layers are fully connected, that is to say, any neuron in the i-th layer must be connected to any neuron in the i+1th layer.
  • the weather condition identification unit 140 includes:
  • the pixel matrix obtaining unit 141 is configured to obtain a pixel matrix corresponding to the actual road condition picture
  • the convolution unit 142 is configured to use the pixel matrix as the input of the input layer in the convolutional neural network model to correspondingly obtain multiple feature maps;
  • the pooling unit 143 is configured to input multiple feature maps to the pooling layer of the convolutional neural network model to obtain a one-dimensional row vector corresponding to the maximum value corresponding to each feature map;
  • the fully connected unit 144 is configured to input the one-dimensional row vector corresponding to the maximum value corresponding to each feature map to the fully connected layer of the convolutional neural network model to obtain the picture feature vector corresponding to the actual road condition picture;
  • the input vector obtaining unit 145 is configured to use the picture feature vector as an input of a pre-trained road weather condition recognition model.
  • each frame of real road images can be converted into a pixel matrix (such as a 256*256 pixel matrix).
  • pixel matrix such as a 256*256 pixel matrix
  • the input layer is convolved
  • the operation obtains several Feature Maps (Feature Maps can be understood as feature maps).
  • Feature Maps can be understood as feature maps.
  • the largest value proposed from the previous one-dimensional Feature Map can be used.
  • This pooling method ie pooling method
  • the one-dimensional row vector corresponding to the maximum value corresponding to each feature map is input to the fully connected layer of the convolutional neural network model to obtain the picture feature vector corresponding to the actual road condition picture, and then the picture feature The vector is used as the input of the pre-trained road weather condition recognition model.
  • the result judging unit 150 is configured to, if the road weather condition recognition result is greater than the preset severe weather warning value, obtain the corresponding actual road condition picture and the geographic location coordinates corresponding to the actual road condition picture.
  • the road weather condition recognition model when the actual road condition picture is recognized by the road weather condition recognition model, if the road weather condition recognition result corresponding to the road condition picture collected at the current moment is 3, which exceeds the preset The severe weather warning value of 2 indicates that the real road condition picture of the current road at this moment is not suitable for the road real navigation picture.
  • non-severe weather conditions such as sunny weather
  • the picture replacement unit 160 is configured to replace the actual road condition real picture corresponding to the geographic location coordinates with the real road condition picture under non-severe weather conditions.
  • the navigation device 100 for historical video further includes:
  • the historical road condition real picture acquiring unit is configured to acquire multiple historical road condition real pictures corresponding to the geographic location coordinates, and acquire the collection time of each historical road condition real picture;
  • the picture screening unit is used to obtain the historical road condition real pictures where the time interval between the collection time and the current time corresponding to the multiple historical road condition real pictures is the smallest time interval, and the corresponding road weather condition recognition result is non-severe weather conditions.
  • the non-severe weather condition is sunny or cloudy, and the road surface is still clearly visible in these two weather conditions, so the real road conditions of the road in non-severe weather conditions are replaced with roads in non-severe weather conditions.
  • the real road condition picture can effectively use the road condition real picture of the road in non-severe weather conditions as a navigation picture.
  • the real-life picture obtained from the closest collection to the current system time is preferred for replacement; for example, the closest collection to the current system time is 30 minutes ago, and 30 minutes ago is If the weather is not bad, you can get the real road condition pictures collected 30 minutes ago as the navigation picture; the latest collection from the current system time is 30 minutes ago, and 30 minutes ago is bad weather, you can get 1 hour at this time
  • the previously collected real-life pictures of road conditions again judge whether it is severe weather, and the real-life pictures of road conditions collected at a certain moment of pushing forward correspond to non-severe weather.
  • the device realizes the periodic acquisition of road condition pictures and timely updates to the electronic map. Based on real-time road condition data, it can effectively navigate under complex road conditions.
  • the above-mentioned historical video-based navigation device can be implemented in the form of a computer program, and the computer program can be run on a computer device as shown in FIG. 6.
  • FIG. 6 is a schematic block diagram of a computer device according to an embodiment of the present application.
  • the computer device 500 is a server, and the server may be an independent server or a server cluster composed of multiple servers.
  • the computer device 500 includes a processor 502, a memory, and a network interface 505 connected through a system bus 501, where the memory may include a non-volatile storage medium 503 and an internal memory 504.
  • the non-volatile storage medium 503 can store an operating system 5031 and a computer program 5032.
  • the processor 502 can execute the navigation method based on historical video.
  • the processor 502 is used to provide calculation and control capabilities, and support the operation of the entire computer device 500.
  • the internal memory 504 provides an environment for the running of the computer program 5032 in the non-volatile storage medium 503.
  • the processor 502 can execute the navigation method based on historical video.
  • the network interface 505 is used for network communication, such as providing data information transmission.
  • the structure shown in FIG. 6 is only a block diagram of part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device 500 to which the solution of the present application is applied.
  • the specific computer device 500 may include more or fewer components than shown in the figure, or combine certain components, or have a different component arrangement.
  • the processor 502 is configured to run a computer program 5032 stored in a memory to implement the historical video-based navigation method in the embodiment of the present application.
  • the embodiment of the computer device shown in FIG. 6 does not constitute a limitation on the specific configuration of the computer device.
  • the computer device may include more or less components than those shown in the figure. Or combine certain components, or different component arrangements.
  • the computer device may only include a memory and a processor. In such embodiments, the structures and functions of the memory and the processor are the same as those of the embodiment shown in FIG. 6, which will not be repeated here.
  • the processor 502 may be a central processing unit (Central Processing Unit, CPU), and the processor 502 may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSPs), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
  • a computer-readable storage medium may be a non-volatile computer-readable storage medium.
  • the computer-readable storage medium stores a computer program, where the computer program is executed by a processor to implement the historical video-based navigation method of the embodiment of the present application.
  • the storage medium is a physical, non-transitory storage medium, such as a U disk, a mobile hard disk, a read-only memory (Read-Only Memory, ROM), a magnetic disk, or an optical disk that can store program codes. medium.
  • a physical, non-transitory storage medium such as a U disk, a mobile hard disk, a read-only memory (Read-Only Memory, ROM), a magnetic disk, or an optical disk that can store program codes. medium.

Abstract

基于历史视频的导航方法、装置（100）、计算机设备（500）及存储介质（503），通过将实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到实际道路路况实景图片的道路天气状况识别结果（S140）；若道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及实际道路路况实景图片对应的地理位置坐标（S150）；以及将地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片（S160）。

Description

基于历史视频的导航方法、装置、计算机设备及存储介质
本申请要求于2019年5月6日提交中国专利局、申请号为201910371108.4、申请名称为“基于历史视频的导航方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及神经网络技术领域，尤其涉及一种基于历史视频的导航方法、装置、计算机设备及存储介质。
背景技术
目前，因城市交通路线越来越错综复杂，导航软件得到了越来越广泛的应用。现有的导航软件在进行导航时，一般是简单的二维平面地图结合道路实景图来对用户进行路线导航，无法进行恶劣天气情况下的辅助导航。
申请内容
本申请实施例提供了一种基于历史视频的导航方法、装置、计算机设备及存储介质，旨在解决现有技术中导航软件在进行导航时，一般是简单的二维平面地图结合道路实景图来对用户进行路线导航，无法进行恶劣天气情况下的辅助导航的问题。
第一方面，本申请实施例提供了一种基于历史视频的导航方法，其包括：
若当前时刻与前一视频采集时刻的时间间隔等于预设的采集周期，获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据；
将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片；
在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片；
将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到与所述实际道路路况实景图片的道路天气状况识别结果；
若所述道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及所述实际道路路况实景图片对应的地理位置坐标；以及
将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。
第二方面，本申请实施例提供了一种基于历史视频的导航装置，其包括：
当前视频采集单元，用于若当前时刻与前一视频采集时刻的时间间隔等于预设的采集周期，获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据；
当前视频分解单元，用于将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片；
随机选取单元，用于在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片；
天气状况识别单元，用于将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到与所述实际道路路况实景图片的道路天气状况识别结果；
结果判断单元，用于若所述道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及所述实际道路路况实景图片对应的地理位置坐标；以及
图片替换单元，用于将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。
第三方面，本申请实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于历史视频的导航方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于历史视频的导航方法。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
图1为本申请实施例提供的基于历史视频的导航方法的应用场景示意图；
图2为本申请实施例提供的基于历史视频的导航方法的流程示意图；
图3为本申请实施例提供的基于历史视频的导航方法的子流程示意图；
图4为本申请实施例提供的基于历史视频的导航装置的示意性框图；
图5为本申请实施例提供的基于历史视频的导航装置的子单元示意性框图；
图6为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本申请实施例提供的基于历史视频的导航方法的应用场景示意图，图2为本申请实施例提供的基于历史视频的导航方法的流程示意图，该基于历史视频的导航方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S160。
S110、若当前时刻与前一视频采集时刻的时间间隔等于预设的采集周期，获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据。
在本实施例中，对设置在道路路口的前端采集装置(如高清摄像头)设置一个采集周期，是为了周期性的对各被监控的道路进行路况视频记录，每间隔采集周期(例如设置采集周期为30分钟)所采集的道路路况视频数据的时长也是相同的(例如5秒钟)，并可以对所采集的道路路况视频数据进行处理后，得到最新路况的导航图片。
S120、将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片。
在本实施例中，由视频的形成过程可知，视频是由多帧图片组成，例如每一秒的视频能转化成24-30张图片。通过视频分解工具(如Adobe Premiere，在Adobe Premiere中剪辑出需要输出序列位图的片段，从文件菜单里输出成序列位图即可)即可将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片。
S130、在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片。
在本实施例中，在当前时刻所采集预设时长(5秒钟)的道路路况视频数据，进行视频分解后，得到了120-150张道路路况图片，此时可以在其中随机选择一张作为当前时刻的道路路况图片，这样针对每一路段每间隔采集周期采集到道路路况视频数据仅保留一张图片作为道路路况实景图片。
在一实施例中，步骤S130之后还包括：
将当前时刻的实际道路路况实景图片及对应的采集时间进行存储。
在具体实施时，针对每一个被监控的道路，在每间隔所述采集周期所采集的道路路况视频数据经视频分解和随机挑选一帧图片后仅保留一张道路路况实景图片，则每一被监控的道路在多个道路路况视频采集周期所积累下来有多张道路路况实景图片。例如道路路况视频采集周期设置为30分钟，则针对每一被监控的道路一天有48张道路路况实景图片进行保存。一旦该道路的状态发生改变，均可及时的上传提供导航服务的服务器，由服务器及时的更新各被监控的道路的道路路况实景图片。
通过这种周期性更新道路的路况实景图片，能较为及时的提醒使用导航服务的用户每一道路的实际道路情况。例如，某一时刻当前道路进入临时维护状态，此时刻对应获取的该道路的道路路况实景图片中能及时体现该道路进入了 维修状态，可能导致拥堵，提示司机及时规划其他路线绕行。
S140、将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到与所述实际道路路况实景图片的道路天气状况识别结果。
在一实施例中，步骤S140之前还包括：
获取多个训练数据，以对待训练的道路天气状况识别模型进行训练，得到用于识别道路天气状况识别结果的道路天气状况识别模型；其中，多个训练数据中每一训练数据以道路路况图片对应的图片特征向量作为待训练的道路天气状况识别模型的输入，并以道路天气状况识别结果作为待训练的道路天气状况识别模型的输出；其中，多个训练数据中每一训练数据对应的道路路况图片的采集时刻与当前时刻之差小于或等于预设的时间间隔阈值；每一训练数据对应的道路天气状况识别结果为预先标注的天气状况识别结果。
在本实施例中，预先训练一个道路天气状况识别模型时，可以选定当前道路多张天气状况下所拍摄的道路路况实景图片，如在雨天、下雪天、雾霾天、晴天、阴天5种天气状况下的道路路况实景图片，然后设置晴天对应的道路天气状况识别结果为1，阴天对应的道路天气状况识别结果为2，雨天对应的道路天气状况识别结果为3，下雪天对应的道路天气状况识别结果为4，雾霾天对应的道路天气状况识别结果为5。通过大量的各种天气状况下的道路路况实景图片对应的图片特征向量作为输入，且将对应设置的道路天气状况识别结果作为输出，对深度神经网络进训练得到道路天气状况识别模型。
所采用的深度神经网络即DNN(Deep Neural Networks，简称DNN)，DNN可以理解为有很多隐藏层的神经网络。DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
在一实施例中，如图3所示，步骤S140中将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，包括：
S141、获取与所述实际道路路况实景图片对应的像素矩阵；
S142、将所述像素矩阵作为卷积神经网络模型中输入层的输入，对应得到多个特征图；
S143、将多个特征图输入至卷积神经网络模型的池化层，得到每一特征图 对应的最大值所对应一维行向量；
S144、将每一特征图对应的最大值所对应一维行向量输入至卷积神经网络模型的全连接层，得到与所述实际道路路况实景图片对应的图片特征向量；
S145、将所述图片特征向量作为预先训练的道路天气状况识别模型的输入。
在本实施例中，每一帧道路路况实景图片均可以转化为像素矩阵(如256*256的像素矩阵)，将像素矩阵作为卷积神经网络模型中输入层的输入时，输入层通过卷积操作得到若干个Feature Map(Feature Map可以理解为特征图)，在设置好卷积窗口的大小后，通过卷积窗口对像素矩阵进行卷积将得到若干个列数为1的Feature Map。
在池化层中，可采用从之前一维的Feature Map中提出最大的值。通过这种Pooling方式(即池化的方式)可以解决可变图片像素大小的输入问题(因为不管Feature Map中有多少个值，只需要提取其中的最大值)，最终池化层的输出为各个Feature Map的最大值，即一个一维的向量。
最后将每一特征图对应的最大值所对应一维行向量输入至卷积神经网络模型的全连接层，得到与所述实际道路路况实景图片对应的图片特征向量，即可将所述图片特征向量作为预先训练的道路天气状况识别模型的输入。
S150、若所述道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及所述实际道路路况实景图片对应的地理位置坐标。
在本实施例中，当通过道路天气状况识别模型对所述实际道路路况实景图片进行识别时，若当前时刻所采集的道路路况实景图片对应的道路天气状况识别结果为3，超出了预设的恶劣天气预警值2，则表示当前道路此时刻的道路路况实景图片不适宜作为道路的实景导航图片。此时需定位存在道路天气状况识别结果大于预设的恶劣天气预警值所对应道路的地理位置坐标以判断是哪条道路的实景导航图片需要替换为非恶劣天气状况下道路路况实景图片(如晴天或阴天下的道路路况实景图片)，一般选择与当前时间间隔最近的非恶劣天气状况下道路路况实景图片进行替换。
S160、将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。
在一实施例中，步骤S160之前还包括：
获取与所述地理位置坐标对应的多张历史路况实景图片，并获取每一历史路况实景图片的采集时间；
获取多张历史路况实景图片对应的采集时间与当前时刻的时间间距为最小时间间隔、且对应的道路天气状况识别结果为非恶劣天气状况的历史路况实景图片。
其中，非恶劣天气状况是晴天或阴天，在这两种天气情况下路面还是清晰可见的，故道路在非恶劣天气状况下的道路路况实景图片替换为该道路在非恶劣天气状况下的道路路况实景图片，能有效通过该道路在非恶劣天气状况下的道路路况实景图片来作为导航图片。
若该地理位置的实景图片有多种时，优先选择距离当前系统时间最近的一次采集所得到的实景图片进行替换；例如，距离当前系统时间最近的一次采集为30分钟之前，而且30分钟之前为非恶劣天气，此时可以获取30分钟之前采集的道路路况实景图片来作为导航图片；距离当前系统时间最近的一次采集为30分钟之前，而且30分钟之前为恶劣天气，此时可以获取1个小时之前采集的道路路况实景图片再次判断是否为恶劣天气，直至向前推的某一时刻所采集的道路路况实景图片对应为非恶劣天气。
在一实施例中，步骤S160之后还包括：
若检测到所述地理位置坐标对应的道路状态为维修状态，将用于提示绕行当前道路的提示信息发送至与所述地理位置坐标之间距离在预设的距离阈值之内的目标用户端。
在本实施例中，除了可以对当前道路的天气状态进行判断，从而确定是否将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。还可以在用户端接收到了服务器发送的所述地理位置坐标对应的非恶劣天气状况下的道路路况实景图片之后，若用户判断所述地理位置坐标对应的道路状态为维修状态(例如通过肉眼观察所述地理位置坐标对应的实际道路路况实景图片可得到)，此时获取有哪些目标用户端在该道路附近，例如有用户端与所述地理位置坐标之间距离在预设的距离阈值之内，则可视为目标用户端。此时服务器向各目标用户端发送用于提示绕行当前道路的提示信息，用于提示还未到达的车辆绕行。
该方法实现了按周期获取道路路况图片，并且及时更新到电子地图上，基 于实时路况数据，在复杂路面情况下时可有效导航。
本申请实施例还提供一种基于历史视频的导航装置，该基于历史视频的导航装置用于执行前述基于历史视频的导航方法的任一实施例。具体地，请参阅图4，图4是本申请实施例提供的基于历史视频的导航装置的示意性框图。该基于历史视频的导航装置100可以配置于服务器中。
如图4所示，基于历史视频的导航装置100包括当前视频采集单元110、当前视频分解单元120、随机选取单元130、天气状况识别单元140、结果判断单元150、图片替换单元160。
当前视频采集单元110，用于若当前时刻与前一视频采集时刻的时间间隔等于预设的采集周期，获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据。
在本实施例中，对设置在道路路口的前端采集装置(如高清摄像头)设置一个采集周期，是为了周期性的对各被监控的道路进行路况视频记录，每间隔采集周期(例如设置采集周期为30分钟)所采集的道路路况视频数据的时长也是相同的(例如5秒钟)，并可以对所采集的道路路况视频数据进行处理后，得到最新路况的导航图片。
当前视频分解单元120，用于将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片。
在本实施例中，由视频的形成过程可知，视频是由多帧图片组成，例如每一秒的视频能转化成24-30张图片。通过视频分解工具(如Adobe Premiere，在Adobe Premiere中剪辑出需要输出序列位图的片段，从文件菜单里输出成序列位图即可)即可将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片。
随机选取单元130，用于在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片。
在本实施例中，在当前时刻所采集预设时长(5秒钟)的道路路况视频数据，进行视频分解后，得到了120-150张道路路况图片，此时可以在其中随机选择一张作为当前时刻的道路路况图片，这样针对每一路段每间隔采集周期采集到道路路况视频数据仅保留一张图片作为道路路况实景图片。
在一实施例中，基于历史视频的导航装置100还包括：
图片定时存储单元，用于将当前时刻的实际道路路况实景图片及对应的采集时间进行存储。
在具体实施时，针对每一个被监控的道路，在每间隔所述采集周期所采集的道路路况视频数据经视频分解和随机挑选一帧图片后仅保留一张道路路况实景图片，则每一被监控的道路在多个道路路况视频采集周期所积累下来有多张道路路况实景图片。例如道路路况视频采集周期设置为30分钟，则针对每一被监控的道路一天有48张道路路况实景图片进行保存。一旦该道路的状态发生改变，均可及时的上传提供导航服务的服务器，由服务器及时的更新各被监控的道路的道路路况实景图片。
通过这种周期性更新道路的路况实景图片，能较为及时的提醒使用导航服务的用户每一道路的实际道路情况。例如，某一时刻当前道路进入临时维护状态，此时刻对应获取的该道路的道路路况实景图片中能及时体现该道路进入了维修状态，可能导致拥堵，提示司机及时规划其他路线绕行。
天气状况识别单元140，用于将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到与所述实际道路路况实景图片的道路天气状况识别结果。
在一实施例中，基于历史视频的导航装置100还包括：
模型训练单元，用于获取多个训练数据，以对待训练的道路天气状况识别模型进行训练，得到用于识别道路天气状况识别结果的道路天气状况识别模型；其中，多个训练数据中每一训练数据以道路路况图片对应的图片特征向量作为待训练的道路天气状况识别模型的输入，并以道路天气状况识别结果作为待训练的道路天气状况识别模型的输出；其中，多个训练数据中每一训练数据对应的道路路况图片的采集时刻与当前时刻之差小于或等于预设的时间间隔阈值；每一训练数据对应的道路天气状况识别结果为预先标注的天气状况识别结果。
在本实施例中，预先训练一个道路天气状况识别模型时，可以选定当前道路多张天气状况下所拍摄的道路路况实景图片，如在雨天、下雪天、雾霾天、晴天、阴天5种天气状况下的道路路况实景图片，然后设置晴天对应的道路天气状况识别结果为1，阴天对应的道路天气状况识别结果为2，雨天对应的道路天气状况识别结果为3，下雪天对应的道路天气状况识别结果为4，雾霾天对应 的道路天气状况识别结果为5。通过大量的各种天气状况下的道路路况实景图片对应的图片特征向量作为输入，且将对应设置的道路天气状况识别结果作为输出，对深度神经网络进训练得到道路天气状况识别模型。
所采用的深度神经网络即DNN(Deep Neural Networks，简称DNN)，DNN可以理解为有很多隐藏层的神经网络。DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
在一实施例中，如图5所示，天气状况识别单元140包括：
像素矩阵获取单元141，用于获取与所述实际道路路况实景图片对应的像素矩阵；
卷积单元142，用于将所述像素矩阵作为卷积神经网络模型中输入层的输入，对应得到多个特征图；
池化单元143，用于将多个特征图输入至卷积神经网络模型的池化层，得到每一特征图对应的最大值所对应一维行向量；
全连接单元144，用于将每一特征图对应的最大值所对应一维行向量输入至卷积神经网络模型的全连接层，得到与所述实际道路路况实景图片对应的图片特征向量；
输入向量获取单元145，用于将所述图片特征向量作为预先训练的道路天气状况识别模型的输入。
在本实施例中，每一帧道路路况实景图片均可以转化为像素矩阵(如256*256的像素矩阵)，将像素矩阵作为卷积神经网络模型中输入层的输入时，输入层通过卷积操作得到若干个Feature Map(Feature Map可以理解为特征图)，在设置好卷积窗口的大小后，通过卷积窗口对像素矩阵进行卷积将得到若干个列数为1的Feature Map。
在池化层中，可采用从之前一维的Feature Map中提出最大的值。通过这种Pooling方式(即池化的方式)可以解决可变图片像素大小的输入问题(因为不管Feature Map中有多少个值，只需要提取其中的最大值)，最终池化层的输出为各个Feature Map的最大值，即一个一维的向量。
最后将每一特征图对应的最大值所对应一维行向量输入至卷积神经网络模 型的全连接层，得到与所述实际道路路况实景图片对应的图片特征向量，即可将所述图片特征向量作为预先训练的道路天气状况识别模型的输入。
结果判断单元150，用于若所述道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及所述实际道路路况实景图片对应的地理位置坐标。
在本实施例中，当通过道路天气状况识别模型对所述实际道路路况实景图片进行识别时，若当前时刻所采集的道路路况实景图片对应的道路天气状况识别结果为3，超出了预设的恶劣天气预警值2，则表示当前道路此时刻的道路路况实景图片不适宜作为道路的实景导航图片。此时需定位存在道路天气状况识别结果大于预设的恶劣天气预警值所对应道路的地理位置坐标以判断是哪条道路的实景导航图片需要替换为非恶劣天气状况下道路路况实景图片(如晴天或阴天下的道路路况实景图片)，一般选择与当前时间间隔最近的非恶劣天气状况下道路路况实景图片进行替换。
图片替换单元160，用于将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。
在一实施例中，于历史视频的导航装置100还包括：
历史路况实景图片获取单元，用于获取与所述地理位置坐标对应的多张历史路况实景图片，并获取每一历史路况实景图片的采集时间；
图片筛选单元，用于获取多张历史路况实景图片对应的采集时间与当前时刻的时间间距为最小时间间隔、且对应的道路天气状况识别结果为非恶劣天气状况的历史路况实景图片。
其中，非恶劣天气状况是晴天或阴天，在这两种天气情况下路面还是清晰可见的，故道路在非恶劣天气状况下的道路路况实景图片替换为该道路在非恶劣天气状况下的道路路况实景图片，能有效通过该道路在非恶劣天气状况下的道路路况实景图片来作为导航图片。
若该地理位置的实景图片有多种时，优先选择距离当前系统时间最近的一次采集所得到的实景图片进行替换；例如，距离当前系统时间最近的一次采集为30分钟之前，而且30分钟之前为非恶劣天气，此时可以获取30分钟之前采集的道路路况实景图片来作为导航图片；距离当前系统时间最近的一次采集为30分钟之前，而且30分钟之前为恶劣天气，此时可以获取1个小时之前采集的 道路路况实景图片再次判断是否为恶劣天气，直至向前推的某一时刻所采集的道路路况实景图片对应为非恶劣天气。
该装置实现了按周期获取道路路况图片，并且及时更新到电子地图上，基于实时路况数据，在复杂路面情况下时可有效导航。
上述基于历史视频的导航装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于历史视频的导航方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于历史视频的导航方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本申请实施例的基于历史视频的导航方法。
本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(Central Processing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本申请实施例的基于历史视频的导航方法。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种基于历史视频的导航方法，包括：
    若当前时刻与前一视频采集时刻的时间间隔等于预设的采集周期，获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据；
    将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片；
    在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片；
    将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到与所述实际道路路况实景图片的道路天气状况识别结果；
    若所述道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及所述实际道路路况实景图片对应的地理位置坐标；以及
    将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。
  2. 根据权利要求1所述的基于历史视频的导航方法，其中，所述获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据之前，还包括：
    获取多个训练数据，以对待训练的道路天气状况识别模型进行训练，得到用于识别道路天气状况识别结果的道路天气状况识别模型；其中，多个训练数据中每一训练数据以道路路况图片对应的图片特征向量作为待训练的道路天气状况识别模型的输入，并以道路天气状况识别结果作为待训练的道路天气状况识别模型的输出；其中，多个训练数据中每一训练数据对应的道路路况图片的采集时刻与当前时刻之差小于或等于预设的时间间隔阈值；每一训练数据对应的道路天气状况识别结果为预先标注的天气状况识别结果。
  3. 根据权利要求1所述的基于历史视频的导航方法，其中，所述将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，包括：
    获取与所述实际道路路况实景图片对应的像素矩阵；
    将所述像素矩阵作为卷积神经网络模型中输入层的输入，对应得到多个特征图；
    将多个特征图输入至卷积神经网络模型的池化层，得到每一特征图对应的最大值所对应一维行向量；
    将每一特征图对应的最大值所对应一维行向量输入至卷积神经网络模型的全连接层，得到与所述实际道路路况实景图片对应的图片特征向量；
    将所述图片特征向量作为预先训练的道路天气状况识别模型的输入。
  4. 根据权利要求1所述的基于历史视频的导航方法，其中，所述将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片之前，还包括：
    获取与所述地理位置坐标对应的多张历史路况实景图片，并获取每一历史路况实景图片的采集时间；
    获取多张历史路况实景图片对应的采集时间与当前时刻的时间间距为最小时间间隔、且对应的道路天气状况识别结果为非恶劣天气状况的历史路况实景图片。
  5. 根据权利要求1所述的基于历史视频的导航方法，其中，所述在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片之后，包括：
    将当前时刻的实际道路路况实景图片及对应的采集时间进行存储。
  6. 根据权利要求2所述的基于历史视频的导航方法，其中，所述获取多个训练数据，包括：
    获取当前道路在雨天、下雪天、雾霾天、晴天、阴天的天气状况下所拍摄的道路路况实景图片，将晴天对应的道路天气状况识别结果为1，阴天对应的道路天气状况识别结果为2，雨天对应的道路天气状况识别结果为3，下雪天对应的道路天气状况识别结果为4，雾霾天对应的道路天气状况识别结果为5。
  7. 根据权利要求4所述的基于历史视频的导航方法，其中，所述非恶劣天气状况是晴天或阴天；
    所述将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片，包括：
    若所述地理位置坐标对应的实际道路路况实景图片有多种时，选择距离当前系统时间最近的一次采集所得到的实景图片进行替换。
  8. 根据权利要求1所述的基于历史视频的导航方法，其中，所述将所述地 理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片之后，还包括：
    若检测到所述地理位置坐标对应的道路状态为维修状态，将用于提示绕行当前道路的提示信息发送至与所述地理位置坐标之间距离在预设的距离阈值之内的目标用户端。
  9. 一种基于历史视频的导航装置，包括：
    当前视频采集单元，用于若当前时刻与前一视频采集时刻的时间间隔等于预设的采集周期，获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据；
    当前视频分解单元，用于将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片；
    随机选取单元，用于在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片；
    天气状况识别单元，用于将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到与所述实际道路路况实景图片的道路天气状况识别结果；
    结果判断单元，用于若所述道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及所述实际道路路况实景图片对应的地理位置坐标；以及
    图片替换单元，用于将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。
  10. 根据权利要求9所述的基于历史视频的导航装置，其中，还包括：
    模型训练单元，用于获取多个训练数据，以对待训练的道路天气状况识别模型进行训练，得到用于识别道路天气状况识别结果的道路天气状况识别模型；其中，多个训练数据中每一训练数据以道路路况图片对应的图片特征向量作为待训练的道路天气状况识别模型的输入，并以道路天气状况识别结果作为待训练的道路天气状况识别模型的输出；其中，多个训练数据中每一训练数据对应的道路路况图片的采集时刻与当前时刻之差小于或等于预设的时间间隔阈值；每一训练数据对应的道路天气状况识别结果为预先标注的天气状况识别结果。
  11. 一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
    若当前时刻与前一视频采集时刻的时间间隔等于预设的采集周期，获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据；
    将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片；
    在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片；
    将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到与所述实际道路路况实景图片的道路天气状况识别结果；
    若所述道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及所述实际道路路况实景图片对应的地理位置坐标；以及
    将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。
  12. 根据权利要求11所述的计算机设备，其中，所述获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据之前，还包括：
    获取多个训练数据，以对待训练的道路天气状况识别模型进行训练，得到用于识别道路天气状况识别结果的道路天气状况识别模型；其中，多个训练数据中每一训练数据以道路路况图片对应的图片特征向量作为待训练的道路天气状况识别模型的输入，并以道路天气状况识别结果作为待训练的道路天气状况识别模型的输出；其中，多个训练数据中每一训练数据对应的道路路况图片的采集时刻与当前时刻之差小于或等于预设的时间间隔阈值；每一训练数据对应的道路天气状况识别结果为预先标注的天气状况识别结果。
  13. 根据权利要求11所述的计算机设备，其中，所述将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，包括：
    获取与所述实际道路路况实景图片对应的像素矩阵；
    将所述像素矩阵作为卷积神经网络模型中输入层的输入，对应得到多个特征图；
    将多个特征图输入至卷积神经网络模型的池化层，得到每一特征图对应的最大值所对应一维行向量；
    将每一特征图对应的最大值所对应一维行向量输入至卷积神经网络模型的全连接层，得到与所述实际道路路况实景图片对应的图片特征向量；
    将所述图片特征向量作为预先训练的道路天气状况识别模型的输入。
  14. 根据权利要求11所述的计算机设备，其中，所述将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片之前，还包括：
    获取与所述地理位置坐标对应的多张历史路况实景图片，并获取每一历史路况实景图片的采集时间；
    获取多张历史路况实景图片对应的采集时间与当前时刻的时间间距为最小时间间隔、且对应的道路天气状况识别结果为非恶劣天气状况的历史路况实景图片。
  15. 根据权利要求11所述的计算机设备，其中，所述在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片之后，包括：
    将当前时刻的实际道路路况实景图片及对应的采集时间进行存储。
  16. 根据权利要求12所述的计算机设备，其中，所述获取多个训练数据，包括：
    获取当前道路在雨天、下雪天、雾霾天、晴天、阴天的天气状况下所拍摄的道路路况实景图片，将晴天对应的道路天气状况识别结果为1，阴天对应的道路天气状况识别结果为2，雨天对应的道路天气状况识别结果为3，下雪天对应的道路天气状况识别结果为4，雾霾天对应的道路天气状况识别结果为5。
  17. 根据权利要求14所述的计算机设备，其中，所述非恶劣天气状况是晴天或阴天；
    所述将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片，包括：
    若所述地理位置坐标对应的实际道路路况实景图片有多种时，选择距离当前系统时间最近的一次采集所得到的实景图片进行替换。
  18. 根据权利要求11所述的计算机设备，其中，所述将所述地理位置坐标 对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片之后，还包括：
    若检测到所述地理位置坐标对应的道路状态为维修状态，将用于提示绕行当前道路的提示信息发送至用户端。
  19. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行以下操作：
    若当前时刻与前一视频采集时刻的时间间隔等于预设的采集周期，获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据；
    将所述道路路况视频数据进行视频分解，得到与所述道路路况视频数据对应的多帧道路路况图片；
    在与所述道路路况视频数据对应的多帧道路路况图片中随机获取一帧图片，以作为与所述道路路况视频数据对应的实际道路路况实景图片；
    将所述实际道路路况实景图片作为预先训练的道路天气状况识别模型的输入，得到与所述实际道路路况实景图片的道路天气状况识别结果；
    若所述道路天气状况识别结果大于预设的恶劣天气预警值，获取对应的实际道路路况实景图片，及所述实际道路路况实景图片对应的地理位置坐标；以及
    将所述地理位置坐标对应的实际道路路况实景图片替换为非恶劣天气状况下的道路路况实景图片。
  20. 根据权利要求19所述的计算机可读存储介质，其中，所述获取预设的地理位置坐标所对应的道路在当前时刻的道路路况视频数据之前，还包括：
    获取多个训练数据，以对待训练的道路天气状况识别模型进行训练，得到用于识别道路天气状况识别结果的道路天气状况识别模型；其中，多个训练数据中每一训练数据以道路路况图片对应的图片特征向量作为待训练的道路天气状况识别模型的输入，并以道路天气状况识别结果作为待训练的道路天气状况识别模型的输出；其中，多个训练数据中每一训练数据对应的道路路况图片的采集时刻与当前时刻之差小于或等于预设的时间间隔阈值；每一训练数据对应的道路天气状况识别结果为预先标注的天气状况识别结果。
PCT/CN2019/103329 2019-05-06 2019-08-29 基于历史视频的导航方法、装置、计算机设备及存储介质 WO2020224117A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910371108.4A CN110186471A (zh) 2019-05-06 2019-05-06 基于历史视频的导航方法、装置、计算机设备及存储介质
CN201910371108.4 2019-05-06

Publications (1)

Publication Number Publication Date
WO2020224117A1 true WO2020224117A1 (zh) 2020-11-12

Family

ID=67715601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103329 WO2020224117A1 (zh) 2019-05-06 2019-08-29 基于历史视频的导航方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110186471A (zh)
WO (1) WO2020224117A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807549A (zh) * 2019-10-29 2020-02-18 国网电力科学研究院武汉南瑞有限责任公司 一种气象预测模型的生成方法、生成装置、生成系统及电子设备
CN115148040A (zh) * 2022-06-28 2022-10-04 东莞中科云计算研究院 面向封闭道路环境的无人驾驶车辆控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105628034A (zh) * 2016-02-04 2016-06-01 杰发科技（合肥）有限公司 导航地图更新方法及设备
CN108196285A (zh) * 2017-11-30 2018-06-22 中山大学 一种基于多传感器融合的精确定位系统
CN108282635A (zh) * 2018-02-11 2018-07-13 中国联合网络通信集团有限公司 全景图像生成方法及系统、车联网大数据服务平台
CN108875593A (zh) * 2018-05-28 2018-11-23 上海交通大学 基于卷积神经网络的可见光图像天气识别方法
WO2018225446A1 (ja) * 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
US20190019330A1 (en) * 2017-07-13 2019-01-17 Toyota Jidosha Kabushiki Kaisha Dynamic map update device, dynamic map update method, and non-transitory computer readable medium recording dynamic map update program

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821685B2 (ja) * 2007-04-03 2011-11-24 株式会社デンソー 車両用運転支援装置
JP5223768B2 (ja) * 2009-04-24 2013-06-26 株式会社デンソー 車両用表示装置
CN104834912B (zh) * 2015-05-14 2017-12-22 北京邮电大学 一种基于图像信息检测的天气识别方法及装置
CN105575119B (zh) * 2015-12-29 2018-06-19 大连楼兰科技股份有限公司 路况气候深度学习及识别方法和装置
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN106611162B (zh) * 2016-12-20 2019-06-18 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
EP3361412B1 (en) * 2017-02-10 2023-09-06 Fujitsu Limited Black ice detection system, program, and method
CN107238874B (zh) * 2017-05-25 2019-12-06 苏州工业职业技术学院 基于时景照片的实时天气探测方法及系统
DE102017217072B4 (de) * 2017-09-26 2023-08-31 Volkswagen Aktiengesellschaft Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
WO2019183751A1 (zh) * 2018-03-26 2019-10-03 深圳市锐明技术股份有限公司 一种车前积雪与结冰的检测报警方法、存储介质和服务器
CN108701396B (zh) * 2018-03-26 2020-06-16 深圳市锐明技术股份有限公司 一种车前积雪与结冰的检测报警方法、存储介质和服务器
CN108921013B (zh) * 2018-05-16 2020-08-18 浙江零跑科技有限公司 一种基于深度神经网络的视觉场景识别系统及方法
CN108805198B (zh) * 2018-06-08 2021-08-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109447018B (zh) * 2018-11-08 2021-08-03 天津理工大学 一种基于改进Faster R-CNN的道路环境视觉感知方法
CN109525901B (zh) * 2018-11-27 2020-08-25 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105628034A (zh) * 2016-02-04 2016-06-01 杰发科技（合肥）有限公司 导航地图更新方法及设备
WO2018225446A1 (ja) * 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
US20190019330A1 (en) * 2017-07-13 2019-01-17 Toyota Jidosha Kabushiki Kaisha Dynamic map update device, dynamic map update method, and non-transitory computer readable medium recording dynamic map update program
CN108196285A (zh) * 2017-11-30 2018-06-22 中山大学 一种基于多传感器融合的精确定位系统
CN108282635A (zh) * 2018-02-11 2018-07-13 中国联合网络通信集团有限公司 全景图像生成方法及系统、车联网大数据服务平台
CN108875593A (zh) * 2018-05-28 2018-11-23 上海交通大学 基于卷积神经网络的可见光图像天气识别方法

Also Published As

Publication number Publication date
CN110186471A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
US10628690B2 (en) Systems and methods for automated detection of trailer properties
KR102373430B1 (ko) 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
WO2022166625A1 (zh) 一种车辆行驶场景中信息推送的方法以及相关装置
CN109558901B (zh) 一种语义分割训练方法及装置、电子设备、存储介质
WO2020224117A1 (zh) 基于历史视频的导航方法、装置、计算机设备及存储介质
CN109584299B (zh) 一种定位方法、定位装置、终端及存储介质
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN115540894B (zh) 车辆轨迹规划方法、装置、电子设备和计算机可读介质
CN114926766A (zh) 识别方法及装置、设备、计算机可读存储介质
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN114399737A (zh) 一种道路检测方法、装置、存储介质及电子设备
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
EP2174268B1 (fr) Procede, dispositif et systeme pour la fusion d'informations provenant de plusieurs capteurs
US20220244068A1 (en) Dynamic map generation with focus on construction and localization field of technology
CN115439692A (zh) 一种图像处理方法、装置、电子设备及介质
CN114419018A (zh) 图像采样方法、系统、设备及介质
CN115439815A (zh) 行驶工况识别方法、装置、设备、介质及车辆
CN114581664A (zh) 一种道路场景分割方法、装置、电子设备及存储介质
CN112102134A (zh) 事件处理方法、系统、装置、计算机可读存储介质及设备
CN117037502B (zh) 车辆处理信息生成方法、装置、设备和计算机可读介质
EP3989031A1 (en) Systems and methods for fusing road friction data to enhance vehicle maneuvering
US11938943B1 (en) Slice-based dynamic neural networks
CN115049895B (zh) 一种图像属性识别方法、属性识别模型训练方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19928066

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19928066

Country of ref document: EP

Kind code of ref document: A1