KR20210087005A - 도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법, 대응되는 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품 - Google Patents

도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법, 대응되는 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR20210087005A
KR20210087005A KR1020210080407A KR20210080407A KR20210087005A KR 20210087005 A KR20210087005 A KR 20210087005A KR 1020210080407 A KR1020210080407 A KR 1020210080407A KR 20210080407 A KR20210080407 A KR 20210080407A KR 20210087005 A KR20210087005 A KR 20210087005A
Authority
KR
South Korea
Prior art keywords
road
image
sequence
zone
trajectory
Prior art date
Application number
KR1020210080407A
Other languages
English (en)
Other versions
KR102618445B1 (ko
Inventor
지조우 황
후이 자오
데구오 시아
하이펑 왕
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20210087005A publication Critical patent/KR20210087005A/ko
Application granted granted Critical
Publication of KR102618445B1 publication Critical patent/KR102618445B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00624—
    • G06K9/00718—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)

Abstract

본 출원은 도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법 및 대응 장치를 개시하며, 빅 데이터 기술분야 및 스마트 교통 기술 분야와 관련된다. 구체적인 구현방식은, 제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스 및 도로 이미지 시퀀스를 획득하며; 상기 사용자 궤적 시퀀스 중에서 상기 도로의 궤적 관련 특징을 추출하고, 상기 도로 이미지 시퀀스 중에서 상기 도로의 이미지 관련 특징을 추출하며; 상기 도로의 궤적 관련 특징 및 이미지 관련 특징을 사전 훈련으로 획득한 도로 상황 예측모델에 입력하고, 상기 도로 상황 예측 모델의 예측 결과를 이용하여 상기 도로의 상기 제1 시점 이후의 미리 설정된 제2 시간대 내 내에 있는 도로 상황 정보를 획득한다. 본 출원을 통하여 도로 상황에 대한 예측을 구현할 수 있다.

Description

도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법, 대응되는 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품{METHOD AND APPARATUS OF ESTIMATING ROAD CONDITION, AND METHOD AND APPARATUS OF ESTABLISHING ROAD CONDITION ESTIMATION MODEL}
본 출원은 출원일이 2020년 12월 3일이고, 출원번호가 CN 202011410518.4인 중국 특허 출원의 우선권을 주장한다.
본 출원은 컴퓨터 응용 기술 분야, 특히 빅 데이터 기술 및 스마트 교통기술에 있는 도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법 및 대응되는 장치에 관한 것이다.
도시 교통 수요의 급속한 증가에 따라 교통 정체 문제는 점점 더 심각해지고 있다. 교통 정체는 사람들의 통근시간을 증가시키고 연료를 낭비하며 오염을 증가시킨다. 그리고 이러한 상황에서 교통사고가 발생하기 쉽기 때문에 비교적 큰 안전위험을 가지고 있다.
지도 유형의 제품 중에서 도로 상황에 대한 예측을 구현할 수 있다면, 사용자에게 신속한 참고를 제공하여 적절한 경로를 선택하게 할 수 있으며, 도로 상황 예측 상황에 기반하여 사용자를 위해 더욱 좋은 경로계획, 경로추천 등 후속 서비스를 제공할 수 있게 된다.
이를 감안하여, 본 출원은 도로 상황 예측방법, 도로 상황 예측 모델을 구축하는 방법 및 대응되는 장치를 제공하여 도로 상황 예측을 구현할 수 있도록 한다.
첫 번째 측면으로, 본 출원은 도로 상황 예측 방법을 제공하며, 상기 방법은,
제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스 및 도로 이미지 시퀀스를 획득하는 것;
상기 사용자 궤적 시퀀스 중에서 상기 도로의 궤적 관련 특징을 추출하고, 상기 도로 이미지 시퀀스 중에서 상기 도로의 이미지 관련 특징을 추출하는 것; 및
상기 도로의 궤적 관련 특징 및 이미지 관련 특징을 사전에 훈련하여 획득한 도로 상황 예측 모델에 입력하고, 상기 도로 상황 예측 모델의 예측 결과를 이용하여 상기 제1 시점 이후의 미리 설정된 제2 시간대 내에 있는 상기 도로의 도로 상황 정보를 획득하는 것을 포함한다.
두 번째 측면으로, 본 출원은 도로 상황 예측 모델을 구축하는 방법을 제공하며, 상기 방밥은,
제2 시점 전의 미리 설정된 제1 시간대 내에 있는 샘플 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스, 및 상기 샘플 도로에 대하여 라벨링한 상기 제2 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 라벨을 포함하는 훈련데이터를 획득하는 것;
상기 사용자 궤적 시퀀스 중에서 상기 샘플 도로의 궤적 관련 특징을 추출하고, 상기 도로 이미지 시퀀스 중에서 상기 샘플 도로의 이미지 관련 특징을 추출하는 것; 및
상기 샘플도로의 궤적 관련 특징과 이미지 관련 특징을 분류 모델의 입력으로 하고, 상기 샘플 도로에 대하여 라벨링한 도로 상황 라벨을 상기 분류 모델의 목표 출력으로 하여, 상기 분류 모델을 훈련하여 상기 도로 상황 예측 모델을 획득하는 것을 포함한다.
세 번째 측면으로, 본 출원은 도로 상황 예측 장치를 제공하며, 상기 상황 예측 장치는,
제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하기 위한 시퀀스 획득 유닛;
상기 사용자 궤적 시퀀스 중에서 상기 도로의 궤적 관련 특징을 추출하고, 상기 도로 이미지 시퀀스 중에서 상기 도로의 이미지 관련 특징을 추출하기 위한 특징 추출 유닛; 및
상기 도로의 궤적 관련 특징과 이미지 관련 특징을 사전에 훈련하여 획득한 도로 상황 예측 모델에 입력하여, 상기 도로 상황 예측 모델의 예측 결과를 이용하여, 상기 제1 시점 이후의 미리 설정된 제2 시간대 내에 있는 상기 도로의 도로 상황 정보를 획득하기 위한 도로 상황 예측 유닛을 포함한다.
네 번째 측면으로, 본 출원은 도로 상황 예측 모델을 구축하는 장치를 제공하며,
제2 시점 이전에 미리 설정된 제1 시간대 내에 있는 샘플 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스 및 상기 샘플 도로에 대하여 라벨링하는 상기 제2 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 라벨을 포함하는 훈련 데이터를 획득하기 위한 샘플 획득 유닛;
상기 사용자 궤적 시퀀스 중에서 상기 샘플 도로의 궤적 관련 특징을 추출하고, 상기 도로 이미지 시퀀스 중에서 상기 샘플 도로의 이미지 관련 특징을 추출하기 위한 특징 추출 유닛; 및
상기 샘플 도로의 궤적 관련 특징과 이미지 관련 특징을 분류 모델의 입력으로 하고, 상기 샘플 도로에 대하여 라벨링한 도로 상황 라벨을 상기 분류 모델의 목표 출력으로 하여, 상기 분류 모델을 훈련하여 상기 도로 상황 예측 모델을 획득하기 위한 모델 훈련 유닛을 포함한다.
다섯 번째 측면으로, 본 출원은,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신가능하게 연결된 메모리를 포함하는 전자 기기를 제공하며,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행할수 있는 명령어가 저장되어 있고, 상기 명령어는 적어도 하나의 프로세서에 의해 실행하여, 상기 적어도 하나의 프로세서로 하여금 상기 방법을 실행할 수 있게 한다.
여섯 번째 측면으로, 본 출원은 컴퓨터 명령어가 저장되어 있는 비휘발성 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 명령어는 상기 컴퓨터로 하여금 상기 방법을 실행하게 하기 위한 것이다.
상술한 기술 방안으로부터 본 출원은 제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스에 기반하여,제1 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 정보를 예측하여, 도로 상황에 대한 예측을 구현할 수 있는 것을 알 수 있다.
상술한 선택 가능한 방식이 갖고 있는 기타 효과는 아래에서 구체적인 실시예와 결합하여 설명하기로 한다.
도면은 본 방안을 보다 잘 이해 하는데 사용되며, 본 출원에 대한 한정이 되지 않는다. 그 중에,
도 1은 본 출원의 일 실시예를 적용할 수 있는 시스템 아키텍처의 개략도이며,
도 2는 본 출원의 일 실시예에 따른 도로 상황 예측의 주요 방법의 흐름도이며,
도 3은 본 출원의 일 실시예에 따른 이미지 관련 특징 추출 방법의 흐름도이며,
도 4는 본 출원의 일 실시예에 따른 하나의 도로 이미지의 실례도이며,
도 5는 본 출원의 일 실시예에 따른 도로 상황 예측 모델을 구축하는 방법의 흐름도이며,
도 6은 본 출원의 일 실시예에 따른 도로 상황 예측 장치의 구조도이며,
도 7은 본 출원의 일 실시예에 따른 도로 상황 예측 모델을 구축하는 장치의 구조도이며,
도 8은 본 출원의 실시예를 구현하기 위한 전자 기기의 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 예시적인 실시예를 상세히 설명하기로 한다. 이해를 돕기 위하여 그 중에는 본 출원의 실시예의 다양한 세부사항이 포함되어 있으며, 이들을 단지 예시적인 것으로 간주해야 한다. 따라서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 출원의 범위 및 사상을 벗어나는 것이 없이 여기서 설명된 실시예에 대해 다양한 변경 및 수정을 진행할 수 있음을 인식해야 한다. 마찬가지로, 명확하고 간결하기 위하여, 아래 설명 중에는 공지 기능 혹은 구성에 대한 설명은 생략하도록 한다.
현재 도로 상황 예측의 주요 방법은 사용자 궤적의 마이닝을 기반으로 한다. 즉 다량의 과거의 궤적 및 과거의 도로 상황의 정보를 통하여 미래의 도로 상황을 예측한다. 하지만 이러한 사용자 궤적의 마이닝을 기반으로 하는 방법은 주로 아래와 같은 문제점이 존재한다.
1) 도로의 궤적량이 드물 시에 도로 상황 예측의 정확도에 심각한 영향을 끼친다.
2) 복잡한 도로 상황에서, 예을 들면, 터널, 고가 도로, 건설현장, 도시 협곡 등은 궤적의 위치 추적을 심각히 방해하며, 도로 상황 예측이 불정확하게 된다.
3) 도로에 정체가 발생했을 시, 운전자는 종종 지도 유형의 애플리케이션을 닫아 버리기 때문에, 사용자 궤적을 획득할 수 없게 되며, 도로 상황 예측이 불정확하게 된다.
이를 감안하여, 본 출원은 사용자 궤적과 도로 이미지를 결합한 도로 상황 예측 방법을 제공하며, 아래 실시예들과 결합하여 본 방법에 대하여 상세히 설명한다.
전체 시스템 아키텍처에 대한 이해를 돕기 위하여, 도 1은 본 출원의 실시예를 적용할 수 있는 시스템 아키텍처의 개략도를 나타냈다. 도 1에 도시된 바와 같이, 본 시스템 아키텍처는 단말 기기(101,102), 네트워크(103)와 서버(104)를 포함할 수 있다. 네트워크(103)는 단말 기기(101, 102)와 서버(104) 사이의 통신 링크를 제공하기 위한 매체이다. 네트워크(103)는 유선, 무선 통신 링크 또는 광섬유 케이블 등등과 같은 다양한 연결 유형을 포함할 수 있다.
사용자는 단말 기기(101, 102)를 사용하여 네트워크(103)를 통해 서버(104)와 인터랙션할 수 있다. 단말 기기(101, 102)에는 다양한 애플리케이션, 예를 들면, 지도 유형의 애플리케이션, 음성 인터랙션 유형의 애플리케이션, 웹 브라우저 애플리케이션 및 통신 유형의 애플리케이션 등이 설치될 수 있다.
단말 기기(101, 102)는 스마트 폰, 태블릿 컴퓨터, 스마트 웨어러블 디바이스, 크라우드 소싱 수집 장치 등을 포함하는 지도 유형의 애플리케이션을 지원하고 표시할 수 있는 다양한 전자 기기일 수 있으며, 이에 한정되지 않는다. 본 발명에서 제공하는 장치는 상술한 서버(104)중에 설치 및 실행될 수 있다. 이는 다수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산 서비스 제공에 사용)로 구현되거나 단일 소프트웨어 또는 소프트웨어 모듈로 구현될수 있으며, 여기에서 구체적인 제한을 하지 않는다.
예를 들어, 도로 상황 예측 장치는 상기 서버(104)중에 설치 및 실행된다. 한편, 상기 단말 기기(101, 102)는 사용자 궤적 데이터, 도로 이미지 데이터 등을 수집하는 수집 장치로서 역할을 할 수 있다. 서버(104)는 각 단말 기기(101, 102)등이 보고한 사용자 궤적 데이터, 도로 이미지 데이터 등을 획득하여 저장할 수 있다. 물론, 전용적인 수집 장치에 의해 사용자 궤적 데이터, 도로 이미지 데이터 등을 수집될 수도 있다. 도로 상황 예측 장치는 본 발명의 실시예에서 제공하는 방법을 이용하여 도로의 도로 상황에 대하여 예측하고, 도로의 도로 상황 정보를 각 단말 기기(101 또는 102)에 자발적으로 또는 요청에 응답하여 전송한다.
다른 예로서, 도로 상황 예측 모델을 구축하는 장치는 상기 서버(104)에 설치 및 실행된다. 서버(104)는 훈련 데이터를 이용하여 훈련하여 도로 상황 예측 모델을 획득하고 서버측에 저장하며, 이 도로 상황 예측 모델을 이용하여 도로의 도로 상황 예측을 진행하는데 사용할 수 있다.
서버(104)는 단일 서버일 수도 있고, 다수의 서버로 구성된 서버 그룹 일 수도 있다. 도 1의 단말 기기, 네트워크 및 서버의 수량은 단지 예시적인 것임을 이해해야 한다. 구현의 수요에 따라 임의의 수량의 단말 기기, 네트워크와 서버를 구비할 수 있다.
도 2는 본 출원의 실시예에 따른 도로 상황 예측의 주요 방법의 흐름도이며, 도 2에 도시된 바와 같이, 본 방법은 이하의 스텝을 포함할 수 있다.
201에서, 제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득한다.
사용자 궤적 시퀀스는 위치 추적 기능를 가지고 있는 수집 단말(즉, 도 1에 도시한 단말 기기에 대응됨)가 보고한 연속 시점에 대응되는 궤적점으로 구성된 시퀀스일 수 있다. 도로 이미지 시퀀스는 이미지 수집 기능를 가지고 있는 수집 단말이 수집한 도로 이미지로 구성된 시퀀스일 수 있다. 그 중에서, 도로 이미지는 사용자가 사용하는 스마트 단말 기기가 수집한 이미지, 동영상 등일 수도 있고, 자동차상 도로 크라우드 소싱(crowdsourcing) 수집 장치 등이 수집한 이미지, 동영상 등 일 수도 있다. 서버측은 수집 단말이 업로드한 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 저장한다.
본 실시예에서 제1 시점은 현재 시점일 수 있다. 즉, 현재 시점 이전의 제1 시간대의 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 이용하여 향후 제2 시간대 내의 도로 상황 정보를 예측한다. 그외, 과거의 어떤 미리 설정된 시간대, 예를 들면, 과거의 어떤 시점으로부터 제2 시간대 내의 도로 정보를 예측하려고 할 경우에도, 과거 시점 이전의 제1 시간대 내의 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득할 수 있다. 하지만 일반적으로 사용하는 시나리오는 전자이다.
202에서, 사용자 궤적 시퀀스 중에서 도로의 궤적 관련 특징을 추출하고, 도로 이미지 시퀀스 중에서 도로의 이미지 관련 특징을 추출한다.
본 실시예에서, 궤적 관련 특징은 주로 속도 특징을 포함한다. 왜냐하면 속도 특징이 도로의 정체 상황을 가장 잘 반영하기 때문이다. 일반적으로, 비교적 빠른 속도가 지속되면 도로의 도로 상황이 보통 비교적 좋으며, 느린 속도가 지속되면 도로의 도로 상황이 비교적 나쁘다.
속도 특징 외에, 사용자 궤적 시퀀스에서 기타 특징을 추출하여 궤적 관련 특징으로 할 수 있다. 예를 들어, 궤적이 도로 중심선에서 벗어나는 상황 등이다.
이미지 관련 특징은 도로 혼잡도 특징, 교통 흐름 특징, 건물 특징 중 적어도 한 종류를 포함할 수 있다. 이러한 특징들은 도로에 발생할 수 있는 도로 상황을 어느 정도 반영 할 수 있다. 이러한 특징의 상세한 추출 방식은 후속 실시예에서 상세하게 설명하기로 한다.
203에서, 도로의 궤적 관련 특징과 이미지 관련 특징을 사전 훈련으로 획득한 도로 상황 예측 모델에 입력하고, 도로 상황 예측 모델의 예측 결과를 이용하여 도로의 제1 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 정보를 특정한다.
도로 상황 모델은 실제로 사전 훈련으로 획득한 분류 모델이며, 제1 시점 이전의 제1 시간대 내에 있는 도로 궤적 관련 특징과 도로 관련 특징에 근거하여, 제1 시점 이후의 제2 시간대 내에 있는 도로 상황 정보를 예측해낼 수 있다. 예측해낸 도로 상황 정보는 몇 가지 종류의 도로 상황 유형을 포함할 수 있다. 예를 들면 원활, 서행, 정체이다. 또 다른 예를 들면 원활, 서행, 정체, 심각한 정체이다.
도로 상황 예측 모델의 훈련 방식에 관해서는 후속 실시예에서 상세하게 설명하기로 한다.
상술한 실시예에서 보여준 흐름을 통해, 본 출원은 제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스에 기반하여 제1 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 정보를 예측하여 획득함으로써, 도로의 도로 상황에 대한 예측을 구현할 수 있음을 알 수 있다.
아래 실시예와 결합하여 상기 스텝 201 중의 “도로의 제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득한다”의 구현 방식에 대하여 설명한다.
본 출원에서 언급한 도로는 여러 가지 방식을 적용하여 특정된 도로 상황예측이 필요한 도로일 수 있으며, 아래 몇 가지 방식을 포함하되 이에 한정되지 않는다.
첫 번째 방식: 미리 설정된 목표 도로이다. 예를 들면 지정된 중요한 도로 등일 수 있다.
두 번째 방식: 도로 상황 전자 울타리 중의 도로이다. 이러한 방식에서, 사전에 하나의 구역 범위를 설치할 수 있다. 이 구역 범위는 가상의 울타리로 보고, "도로 상황 전자 울타리"라고 부를 수 있다. 수집 단말은 실시간으로 서버측에 궤적점을 보고하고, 이러한 궤적점이 도로 상황 전자 울타리를 한번 트리거링하면, 예를 들어 궤적점이 이미 도로 상황 전자 울타리 구역에 진입했음을 표시하면 수집 단말을 지시하여 해당 도로 상황 전자 울타리 중의 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 수집하도록 할 수 있다.
세 번째 방식: 궤적점이 미리 설정된 도로 상황 예측 트리거 조건을 만족하는 도로이다.
수집 단말의 경우, 실시간으로 사용자 궤적을 보고하기 때문에, 서버측에서는 각 종류의 사용자 궤적에 따라 도로의 궤적점 수량과 속도 등을 특정할 수 있다. 예를 들면, 도로상의 궤적점 수량이 일정한 수량을 초과하거나 도로상의 궤적점 속도가 일정한 기간 내에서 항상 일정한 속도 한계치보다 낮을 경우, 해당 도로상의 도로 상황이 좋지 않음을 설명하고, 해당 도로가 도로 상황 예측이 필요한 도로임을 특정할 수 있다.
그 중의 한 가지 구현 방식으로서, 서버측은 도로 정보를 수집 단말 기기에 전송하며, 수집 단말 기기는 해당 도로 정보를 접수한 후에 해당 도로상의 도로 이미지 또는 동영상을 수집하여 서버측에 업로드하는 것을 담당할 수 있다.
다른 한 가지 구현방식으로서, 서버측은 상기 도로상에 위치한 수집 단말 기기에 수집 명령을 전송하며, 수집 단말 기기는 해당 수집 명령을 접수한 후에 해당 도로상의 도로 이미지 또는 동영상을 수집하여 서버측에 업로드할 수도 있다.
도로
Figure pat00001
의 경우, 수집 단말이 해당 도로상에서 수집한 도로 이미지 시퀀스는 <
Figure pat00002
,
Figure pat00003
,…,
Figure pat00004
,
Figure pat00005
>，즉 시점
Figure pat00006
이전의
Figure pat00007
개의 시점에 의해 구성된 이미지 시퀀스로 표시할 수 있다. 이에 대응하여, 수집 단말은 실시간으로 사용자의 궤적점을 보고하고, 궤적점과 이미지 시퀀스 중의 각 이미지를 시점에 근거하여 일일이 대응시킨 후에, 사용자 궤적 시퀀스는 <
Figure pat00008
,
Figure pat00009
,…,
Figure pat00010
,
Figure pat00011
>로 표시할 수 있다. 사용자 궤적 시퀀스 중의 각 궤적점은 경위도 좌표와 같은 방식을 적용하여 표시할 수 있다.
여기서, 만약 수집 단말이 업로드한 것이 도로 동영상일 경우, 도로 이미지 시퀀스 중의 각 도로 이미지를 사용자 궤적 시퀀스 중의 각 궤적점과 시간적으로 대응되게 하기 위하여, 도로 동영상에 대하여 프레임 추출을 진행하여, 추출한 이미지 프레임이 시간적으로 사용자 궤적 시퀀스 중의 각 궤적점과 시간적으로 대응되게 하며, 추출한 이미지 프레임으로 도로 이미지 시퀀스를 구성한다.
아래 실시예와 결합하여 상기 스텝 202 중의 "사용자 궤적 시퀀스 중에서 도로의 궤적 관련 특징을 추출하고, 도로 이미지 시퀀스 중에서 도로의 이미지 관련 특징을 추출한다"의 구현방식에 대하여 설명한다.
사용자 궤적 시퀀스 중에서 추출한 도로의 궤적 관련 특징은 주로 속도 특징을 포함한다. 도로상의 순간 속도는 도로 상황을 반영할 수 있다. 궤적점의 순간 속도는 두 개의 인접한 궤적점 간의 거리 차이와 시간 차이의 비율을 이용하여 획득할 수 있다.
바람직한 한 가지 실시 방식으로서, 사용자 궤적 시퀀스에서 사용되는 속도 특징은 시퀀스 레벨의 속도 특징으로 구현할 수 있으며, 사용자 궤적 시퀀스의 각 궤적점의 속도 평균치 및 속도 분산 등을 포함하지만 이에 한정되지 않는다.
도로 이미지 시퀀스 중에서 추출한 도로의 이미지 관련 특징은 도로 혼잡도 특징과 교통 흐름 특징 및 건물 특징중의 적어도 한 종류를 포함하지만 이에 한정되지 않는다.
이미지 관련 특징의 추출방식에 관해서 여기서 일종의 바람직한 실시 방식을 제공한다. 도3을 참조하면, 하기 스텝을 포함할 수 있다.
301에서, 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별한다.
이미지 시맨틱 분할 모델은 이미지 처리 분야에서 비교적 널리 사용하는 모델이며, 픽셀 레벨에 따라 이미지 중의 각 픽셀을 어느 하나의 구체적인 유형에 분류한다. 본 실시예에서, 이미지 시맨틱 분할 모델을 이용하여, 도로 이미지 중의 각 픽셀을 도로 교통중에서 흔히 볼 수 있는 대상 구역, 예를 들면, 주행구역, 차량, 건물, 가로등, 하늘, 장애물, 2중 황색선, 분리대, 주차선 등 유형으로 분류한다.
도 4는 본 출원의 실시예가 제공하는 수집 단말의 도로 이미지 시퀀스 중의 한장의 도로 이미지이다. 이미지 시맨틱 분할 모델의 식별을 거친후, 해당 이미지 중의 주행 구역에 속하는 각 픽셀, 차량에 속하는 각 픽셀, 건물에 속하는 각 픽셀, 하늘에 속하는 각 픽셀, 도로 가장 자리에 속하는 각 픽셀, 2중 황색선에 속하는 각 픽셀 등을 식별할 수 있다.
이미지 시맨틱 분할 모델을 사전에 훈련할 경우, 적용하는 훈련 데이터는 각종 도로 이미지 샘플 및 도로 이미지 샘플중의 각 구역 유형에 대한 라벨을 포함할 수 있고, 훈련 데이터에 기반하여 이미지 시맨틱 분할 모델을 훈련하여, 이미지 시맨틱 분할 모델의 입력을 도로 이미지 샘플로 하고, 목표 출력은 각 픽셀에 대한 분류 결과가 도로 이미지 샘플중의 각 구역 유형에 대한 라벨과 일치하도록 한다.
여기서, 이미지 시맨틱 분할 모델은 DeepLabV3, RefineNet 등을 적용할 수 있다.
본 스텝에서, 이미지 시맨틱 분할 모델을 이용하여 각 도로 이미지에 대하여 각 픽셀에 대응되는 구역 유형을 각각 식별한 후, 도로 이미지 중의 주행 구역과 적어도 한 종류의 도로 환경 구역을 특정할 수 있다. 여기서 도로 환경 구역은 도로 환경중의 대상에 속하는 환경, 예를 들면 장애물, 2중 황색선, 분리대, 도로 가장자리 등일 수 있다. 이러한 도로 환경 구역을 이용하여, 도로 이미지 중의 주요 주행 구역을 획득할 수 있다. 이른바 주요 주행 구역은 해당 도로의 이미지를 수집하는 수집 단말이 주행할 수 있는 주행 구역을 말한다. 이미지 시맨틱 분할 모델이 식별한 주행 구역에는 현재 수집 단말의 주행 방향과 일치하지 않은 기타 차선을 포함할 수 있다. 예를 들면, 2중 황색선 이외의 반대방향 차선, 또 예를 들면, 입체식 도로의 교차 방향의 차선, 또 예를 들면, 도로 공사가 있는 차선 등이다. 이러한 차선은 모두 현재 수집 단말이 주행할 수 없는 주행 구역이며, 이들을 배제하여 수집 단말이 주행할 수 있는 주행 구역만을 특정할 필요가 있다. 주요 주행 구역은 하나의 차선을 포함할 수 있고, 같은 방향의 여러 차선을 포함할 수도 있다(여러 차선이 존재할 시, 수집 단말은 차선을 변경하면서 주행할 수 있기 때문임).
보다 구체적으로, 일반적으로 수집 단말이 주행할 수 있는 구역에는 도로 가장자리, 2중 황색선, 분리대, 장애물 등의 제한이 존재한다. 예를 들면, 도 4에 도시된 바와 같이, 수집 단말이 촬영한 도로 이미지 중에 도로 가장자리와 2중 황색선 사이는 수집 단말이 현재 주행 가능한 구역이다. 또 예를 들면,수집 단말이 촬영한 도로 이미지 중에 도로 가장자리와 장애물 사이는 수집 단말이 현재 주행 가능한 구역이다. 등등. 따라서, 본 출원의 실시예에서 장애물, 2중 황색선, 분리대, 도로 가장자리 등과 같은 도로 환경 구역에 대하여 선형 피팅(Linear Fitting) 처리를 진행할 수 있다. 선형 피팅 처리 후, 이러한 도로 환경 구역으로 둘러싸인 도로 구역이 바로 주요 주행 구역이거나, 선형 피팅 처리 후, 이러한 도로 환경 구역으로 둘러싸인 도로 구역에서 가장 큰 것이 바로 주요 주행 구역이다.
302에서, 각 도로 이미지 중에서 주요 주행 구역의 도로 혼잡도 및/또는 차량 흐름 정보를 추출한다.
그 중의 한 가지 바람직한 구현방식으로서, 주요 주행 구역의 도로 혼잡도의 추출방식은 하기의 스텝을 포함할 수 있다.
스텝 S11에서, 주요 주행 구역 내에서 노면의 최대 내접 직사각형을 특정한다.
스텝 S12에서, 최대 내접 직사각형의 면적과 주요 주행 구역의 면접의 비율, 최대 내접 직사각형의 폭과 주요 주행 구역의 폭의 비율, 최대 내접 직사각형의 높이와 주요 주행 구역의 높이의 비율 중의 적어도 한 종류를 주요 주행 구역의 도로 혼잡도의 지표로 한다.
물론 상술한 실시 방식 외에도 기타 도로의 혼잡도의 추출방식, 예를 들면, 주요 주행 구역 내의 노면에 속하는 픽셀이 주요 주행 구역에 속하는 픽셀에 차지하는 비율을 특정하여 이 것을 주요 주행 구역의 도로 혼잡도의 지표로 하는 것 등을 적용할 수 있다.
그 중의 한 가지 바람직한 실시 방식으로서, 주요 주행 구역의 교통 흐름의 추출방식은 하기 스텝을 포함할 수 있다.
스텝 S21에서, 대상 감지 알고리즘을 이용하여 도로 이미지 중의 각 차량의 유형, 소재 구역 및 신뢰도에 대한 정보를 추출한다.
여기서 대상 감지 알고리즘은 Faster-RCNN 혹은 YoloV3 등을 적용할 수 있다. 대상 감지 알고리즘을 통하여 도로 이미지 중의 각 유형의 차량을 추출할 수 있다. 이러한 차량의 픽셀을 통하여 차량이 있는 구역을 특정할 수 있으며, 여기의 구역은 상술한 이미지 시맨틱 분할 모델을 통하여 획득한 구역을 말한다. 대상 감지 알고리즘을 통하여 각 차량의 신뢰도, 즉 해당 차량이 출력된 유형에 속하는 신뢰도를 출력할 수 있다.
스텝 S22에서, 도로 이미지 중의 차량에 대하여, 주행 구역 내에 있지 않는 차량을 여과하고, 미리 설정된 유형에 속하지 않는 차량을 여과하고, 신뢰도가 미리 설정된 신뢰도 한계치보다 낮은 차량을 여과하는 여과를 한다.
상술한 여과가 전부 실시되면, 실제로 주요 주행 구역 내에 미리 설정된 유형에 속하며 신뢰도가 일정한 신뢰도 요구를 만족하는 차량을 선별한 것으로 간주할 수 있다. 예를 들면 주요 주행 구역 내의 자동차를 선별한다.
스텝 S23에서, 여과 처리 후에 획득한 차량 수량과 여과 처리 후에 획득한 차량 면적이 주요 주행 구역 면적에서 차지하는 비율 중의 적어도 한 종류를 주요 주행 구역의 교통 흐름의 지표로 한다.
상술한 과정 중에 언급된 면적에 관한 비율은 모두 해당 구역의 픽셀 수량의 비율을 통하여 특정할 수 있다. 예를 들면, 차량면적이 주요 주행 구역 면적에서 차지하는 비율은 해당 차량의 픽셀이 해당 주요 주행 구역의 픽셀 수량에서 차지하는 비율일 수 있다. 기타 기하 방식의 알고리즘을 적용할 수도 있다.
이미지 중의 다른 위치의 내용이 실제 상황에 대한 영향은 다르다. 예를 들면, 이미지의 중간 위치에 자주 나타나고 이미지 심도가 비교적 가까운 위치에 나타나는 차량의 영향이 비교적 크고, 양측 그리고 이미지 심도가 비교적 먼 위치에 나타나는 차량의 영향이 비교적 작다. 때문에, 일종의 바람직한 실시 방식으로서, 미리 설정한 가중치 행렬에 따라 도로 혼잡도와 차량 흐름 정보 등에 대하여 가중처리를 진행할 수 있다. 여기서 가중치 행렬은 도로 이미지 중의 각 위치에 대응되고, 위치와 이미지 심도 등에 근거하여 사전에 설치된다.
303에서, 각 도로 이미지 중의 주요 주행 구역의 도로 혼잡도 및/또는 차량정보를 이용하여, 도로 혼잡도 특징 및/또는 차량 흐름 특징을 획득한다.
도로 이미지 시퀀스 중에 다수의 도로 이미지를 포함되기 때문에, 본 실시예에서 이미지 시퀀스 중의 각 도로 이미지의 도로 혼잡도 평균치 및/또는 분산을 도로 혼잡도 특징으로 하고, 이미지 시퀀스 중의 각 도로 이미지의 차량흐름 평균치 및/또는 분산을 도로 차량 흐름 특징으로 할 수 있다.
또한, 상기 도로 혼잡도 특징과 차량 흐름 특징이외에 더 나아가서 도로 이미지 중에서 건물 특징을 추출할 수 있다. 이미지 시맨틱 분할 모델이 각 도로 이미지 중의 각 픽셀에 대한 식별 결과 중에는 건물 구역을 포함하며, 도로 이미지 시퀀스 중에 인접한 도로 이미지의 건물 구역의 유사도 평균치 및/또는 분산을 도로의 건축 특징으로 한다.
한 가지 바람직한 실시 방식으로서, 도로 이미지 중의 건물 구역에 대하여 SIFT(Scale-invariant feature transform，척도 불변 특징 변환）알고리즘의 처리를 진행한 후에 건물 특징을 획득한다. 도로 이미지 시퀀스의 경우, 인접한 도로 이미지 중의 건물 특징의 유사도를 둘둘씩 계산하고, 다음에 평균치 및/또는 분산을 계산하고, 획득한 유사도 평균치 및/또는 분산을 도로의 건물 특징으로 할 수 있다.
건물 특징을 적용하는 것은, 도로 교통에 정체가 발생 시에 차량의 주행이 느리고, 수집 단말이 수집한 도로 이미지 시퀀스 중에서 각 도로 이미지 중의 건물의 변화가 아주 작은 것, 즉 유사도가 비교적 높은 것을 고려하기 때문이다. 도로 이미지 중의 건물 특징의 유사도 평균치가 높을 수록 차량 정체가 더욱 심각함을 반영한다.
아래 실시예와 결합하여 상술한 스텝 203, 즉 "도로의 궤적 관련 특징과 이미지 관련 특징을 사전 훈련으로 획득한 도로 상황 예측 모델에 입력하고, 도로 상황 예측 모델의 예측 결과를 이용하여 도로의 제1 시점이후의 미리 설정된 제2 시간대 내에 있는 도로 정보를 특정한다"는 것에 대하여 상세하게 설명한다.
본 출원의 실시예 중에서, 도로 상황 예측 모델은 실질적으로 분류 모델일 수 있다. 예를 들면, GBDT（Gradient Boosting Decison Tree，그레이디언트 부스팅 결정 트리), DNN（Deep Neural Networks，딥 뉴런 네트워크), LR（Logistic Regression，로지스틱 회귀), SVM（support vector machines，서포트 벡터 머신)등 모델을 적용할 수 있다.
한 도로의 경우, 해당 도로의 궤적 관련 특징과 이미지 관련 특징을 도로 상황 모델에 입력한 후, 도로 상황 예측 모델은 해당 도로의 도로 상황 정보를 출력할 수 있으며, 해당 도로 상황 정보는 미리 설정된 몇 종류의 도로 상황 유형일 수 있다. 예를 들면, 정체, 원활 두 종류일 수 있다. 정체, 서행, 원활 세 종류일 수도 있다. 심각한 정체, 정체, 서행, 원활 네 종류 일 수도 있다. 등등.
또한, 상술한 스텝 202에서 추출한 도로의 궤적 관련 특징과 이미지 관련 특징 외에, 더 나아가서 제1 시점 이전의 미리 설정된 제1 시간대에 대응되는 시간특징, 도로의 속성 특징 등을 도로 상황 예측 모델에 입력할 수 있다.
여기서, 시간 특징은 휴일인지, 근무일인지, 출근시간인지, 퇴근시간인지 등등중의 적어도 한 종류를 포함할 수 있다. 시간 특징을 도입하는 것은 도로 상황이 일반적으로 시간적으로 일정한 규칙이 있기 때문이다. 근무일인지, 출퇴근시간인지 등은 모두 도로 상황에 비교적 큰 영향을 미치게 된다.
도로의 속성특징은 차선 수량, 양방향 통행 도로인지, 도로 레벨 등등 중의 적어도 한 종류를 포함할 수 있다. 도로의 속성 특징을 도입하는 것은 도로가 다른 속성을 가지면 일반적으로 다른 도로 용량에 대응되며, 다른 도로 용량은 도로 상황에 비교적 직접적인 영향을 미치기 때문이다.
도 5는 본 출원의 실시예에서 제공하는 도로 상황 예측 모델을 구축하는 방법의 흐름도이다. 도 5에 도시된 바와 같이, 본 방법은 아래와 같은 스텝을 포함할 수 있다.
501에서, 제2 시점 전의 미리 설정된 제1 시간대 내에 있는 샘플 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스, 및 샘플 도로에 대하여 라벨링한 제2 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 라벨을 포함하는 훈련 데이터를 획득한다.
훈련 데이터는 수집 단말의 과거 데이터 중에서 획득할 수 있으며, 상기 제2 시점은 하나의 과거 시점이고, 서버측은 수집 단말이 해당 과거 시점 이전의 미리 설정된 제1 시간대 내에 수집한 샘플 도로에 대한 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득할 수 있으며, 제2 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황도 마찬가지로 과거 데이터이며, 인력으로 라벨링하는 방식을 통하여 각 샘플 도로에 대하여 도로 상황 라벨을 라벨링할 수 있다.
상기 샘플 도로는 수집 단말이 수집한 궤적 데이터와 도로 이미지 데이터가 비교적 완전하고 도로 상황이 비교적 분명한 도로일 수 있다. 기타 기준을 적용하여 선택한 도로일 수도 있다.
502에서, 사용자 궤적 시퀀스 중에서 샘플 도로의 궤적 관련 특징을 추출하고, 도로 이미지 시퀀스 중에서 샘플 도로의 도로 관련 특징을 추출한다.
샘플 도로의 궤적 관련 특징과 이미지 관련 특징의 추출 방식은, 도 2에 도시된 실시예 스텝 202에서 적용한 궤적 관련 특징과 이미지 관련 특징의 추출 방식과 동일한 것이므로, 여기서 반복하여 서술하지 않으며, 상술한 실시예 중의 관련 기재를 참조할 수 있다.
503에서, 샘플 도로의 궤적 관련 이미지와 이미지 관련 특징을 분류 모델의 입력으로 하고, 샘플 도로에 대하여 라벨링한 도로 상황 라벨을 분류 모델의 목표 출력으로 하고, 분류 모델을 훈련하여 상기 도로 상황 모델을 획득한다.
여기서 적용한 분류모델은 GBDT（Gradient Boosting Decison Tree, 그레이디언트 부스팅 결정 트리), DNN（Deep Neural Networks, 딥 뉴런 네트워), LR（Logistic Regression, 로지스틱 회귀), SVM（support vector machine, 서포트 벡터 머신)등 모델일 수 있다.
도로 상황 라벨은 예를 들면 정체, 원활 두 종류로 나눌 수 있다. 도로 상활 라벨은 예를 들면 정체, 서행, 원활 세 종류로 나눌 수도 있다. 심각한 정체, 정체, 서행, 원활 네 종류로 나눌 수도 있다. 등등.
더 나아가서, 분류 모델의 특징의 입력은 샘플 도로의 궤적 이미지 특징과 이미지 관련 특징 외에, 제2 시점 이전의 미리 설정된 제1 시간대에 대응되는 시간특징 및/또는 샘플 도로의 속성 특징을 입력할 수도 있다.
여기서, 시간 특징은 휴일인지, 근무일인지, 출근시간인지, 퇴근시간인지 등등 중의 적어도 한 종류를 포함할 수 있다. 시간 특징을 도입하는 것은 도로 상황이 일반적으로 시간적으로 일정한 규칙이 있기 때문이다. 근무일인지, 출퇴근시간인지 등은 모두 도로 상황에 비교적 큰 영향을 미치게 된다.
도로의 속성 특징은 차선수량, 양방향 통행 도로인지, 도로 레벨 등 중의 적어도 한 종류를 포함할 수 있다. 도로의 속성 특징을 도입하는 것은 도로가 다른 속성을 가지면 일반적으로 다른 도로용량에 대응되며, 다른 도로 용량은 도로 상황에 비교적 직접적인 영향을 미치기 때문이다.
훈련 과정 중에서, 분류 모델의 출력과 목표 출력 사이의 차이를 이용하여 손실함수를 구성할 수 있으며, 손실함수의 값을 이용하여 역전파(Back Propagation)를 진행하여 훈련정지 조건에 도달할 때까지 분류 모델의 파라미터를 업데이트한다. 여기서 훈련 정지 조건은 손실함수의 값이 미리 설정된 손실함수 한계치보다 작거나 같고, 반복 회수가 미리 설정된 회수 한계치에 도달 등등일 수 있다.
여기서 훈련 과정 중에 k-folds（k겹 교차검증）의 방식을 적용하여 훈련을 진행할 수 있다. 즉, 훈련 데이터를 k부분으로 나누며, k는 1보다 큰 자연수이다. 각 부분 중에서 하나를 선택하여 테스트 데이터로 하며, 기타 k-1 개를 훈련 데이터로 한다. 각 훈련 데이터를 이용하여 분류 모델을 각각 훈련하고, 테스트데이터를 이용하여 테스트하면, k개의 분류 모델 및 이 k개의 분류모델이 테스트 데이터상에서의 오차율을 획득할 수 있다. 그 중에서 평균 오차율이 가작 작은 분류 모델을 선택하고, 다시 모든 훈련 데이터를 이용하여 이 분류 모델에 대하여 훈련을 진행하여, 최종 도로 상황 예측 모델을 획득한다.
이상은 본 출원이 제공하는 방법에 대하여 진행한 상세한 설명이다. 이하 실시예와 결합하여 본 출원이 제공하는 장치에 대하여 상세하게 설명한다.
도 6은 본 출원의 실시예에서 제공하는 도로 상황 예측 장치의 구조도이다. 이 장치는 서버측에 있는 애플리케이션일 수 있고, 혹은 서버측에 있는 애플리 케이션 중에 있는 플러그인이나 소프트웨어 개발 키트(Software Development Kit, SDK) 등의 기능 유닛일 수도 있고, 혹은 비교적 강한 계산능력을 가진 컴퓨터 단말 기기에 위치할 수도 있다. 도 6에 도시된 바와 같이, 도로 상황 예측 장치(600)는 시퀀스 획득 유닛(01), 특징 추출 유닛(02) 및 도로 상황 예측 유닛(03)을 포함할 수 있으며, 정보 인터랙션 유닛(04)도 포함할 수 있다. 여기서 각 구성유닛의 주요 기능은 아래와 같다,
시퀀스 획득 유닛(01)은 제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하기 위한 것이다.
여기서, 도로는,
미리 설정한 목표 도로;
도로 상황 전자 울타리 중의 도로;
궤적점이 미리 설정된 도로 상황 예측 트리거 조건을 만족하는 도로; 중의 적어도 한 종류를 포함한다.
정보 인터랙션 유닛(04)은 도로의 정보를 수집 단말에 전송하고 수집 단말이 수집한 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하거나 도로상에 위치한 수집 단말에 수집 명령을 전송하여 수집 단말이 수집한 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하기 위한 것이다.
특징 추출 유닛(02)은 사용자 궤적 시퀀스 중에서 도로의 궤적 관련 특징을 추출하고, 도로 이미지 시퀀스 중에서 도로의 이미지 관련 특징을 추출하기 위한 것이다.
여기서, 사용자 궤적 시퀀스 중에서 추출한 도로의 궤적 관련 특징은 주로 속도 특징을 포함한다. 도로상의 순간 속도는 도로 상황을 반영할 수 있다. 궤적점의 순간 속도는 두 개의 인접한 궤적점 간의 거리 차이와 시간 차이의 비율을 이용하여 획득할 수 있다.
이미지 관련 특징은 도로 혼잡도 특징, 교통 흐름 특징 및 건물 특징 중의 적어도 한 종류를 포함한다.
일종의 바람직한 실시 방식으로서, 특징 추출 유닛(02)이 도로 이미지 시퀀스 중에서 도로의 이미지 관련 특징을 추출할 시에, 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별하고, 각 도로 이미지 중에서 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 추출하고, 각 도로 이미지 중의 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 이용하여 도로 혼잡도 및/또는 교통 흐름 특징을 획득할 수 있다.
여기서, 특징 추출 유닛(02)은 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별할 시에, 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여 각 도로 이미지에 대하여 각 픽셀에 대응하는 구역 유형을 각각 식별하여 도로 이미지 중의 주행 구역과 적어도 한 종류의 도로 환경 구역을 특정하고, 적어도 한 종류의 도로 환경 구역을 이용하여 주행 구역 중에서 주요 주행 구역을 특정한다.
이미지 중의 다른 위치의 내용이 실제 상황에 대한 영향은 다르다. 예를 들면, 이미지의 중간 위치에 자주 나타나고 이미지 심도가 비교적 가까운 위치에 나타나는 차량의 영향이 비교적 크고, 양측 그리고 이미지 심도가 비교적 먼 위치에 나타나는 차량의 영향이 비교적 작다. 때문에, 일종의 바람직한 실시 방식으로서, 미리 설정한 가중치 행렬에 따라 도로 혼잡도와 차량 흐름 정보 등에 대하여 가중 처리를 진행할 수 있다. 여기서 가중치 행렬은 도로 이미지 중의 각 위치에 대응되고, 위치와 이미지 심도 등에 근거하여 미리 설치된다.
도로 이미지 시퀀스 중에 다수의 도로 이미지를 포함되기 때문에, 본 실시예에서 이미지 시퀀스 중의 각 도로 이미지의 도로 혼잡도 평균치 및/또는 분산을 도로 혼잡도 특징으로 하고, 이미지 시퀀스 중의 각 도로 이미지의 차량 흐름 평균치 및/또는 분산을 도로 차량 흐름 특징으로 할 수 있다.
특징 추출 유닛(02)이 도로 이미지 시퀀스 중에서 도로의 이미지 관련 특징을 추출할 시에, 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 건물 구역을 식별하고, 도로 이미지 시퀀스 중의 인접한 도로 이미지의 건물 구역의 유사도 평균치 및/또는 분산을 도로의 건물 특징으로 한다.
도로 상황 예측 유닛(03)은 도로의 궤적 관련 특징과 이미지 관련 특징을 사전 훈련으로 획득한 도로 상황 예측 모델에 입력하고, 도로 상황 예측 모델의 예측 결과를 이용하여 제1 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로의 도로 상황 정보를 획득하기 위한 것이다.
더 나아가서, 도로 상황 예측 유닛(03)은 제1 시점 이전의 미리 설정된 제1 시간대에 대응된 시간 특징 및/또는 도로의 속성 특징을 사전 훈련으로 획득한 도로 상황 예측 모델에 추가로 입력할 수도 있다.
여기서, 시간 특징은 휴일인지, 근무일인지, 출근시간인지, 퇴근시간인지 등등 중의 적어도 한 종류를 포함할 수 있다. 시간 특징을 도입하는 것은 도로 상황이 일반적으로 시간적으로 일정한 규칙이 있기 때문이다. 근무일인지, 출퇴근시간인지 등은 모두 도로 상황에 비교적 큰 영향을 미치게 된다.
도로의 속성 특징은 차선 수량, 양방향 통행 도로인지, 도로 레벨 등 중의 적어도 한 종류를 포함할 수 있다. 도로의 속성 특징을 도입하는 것은 도로가 다른 속성을 가지면 일반적으로 다른 도로 용량이 대응되며, 다른 도로 용량은 도로 상황에 비교적 직접적인 영향을 미치기 때문이다.
도로 상황 예측 모델은 실질적으로 분류 모델일 수 있다. 예를 들면, GBDT, DNN, LR, SVM 등 모델을 사용할 수 있다.
한 도로의 경우, 해당 도로의 궤적 관련 특징과 이미지 관련 특징을 도로 상황 모델에 입력한 후, 도로 상황 예측 모델은 해당 도로의 도로 상황 정보를 출력할 수 있으며, 이 도로 상황 정보는 미리 설정된 몇 종류의 도로 상황 유형일 수 있다. 예를 들면, 정체, 원활 두 종류일 수 있다. 정체, 서행, 원활 세 종류일 수도 있다. 심각한 정체, 정체, 서행, 원활 네 종류일 수도 있다. 등등.
도 7은 본 출원의 실시예에서 제공하는 도로 상황 예측 모델을 구축하는 장치의 구조도이다. 이 장치는 서버측에 있는 애플리케이션일 수 있고, 혹은 서버측에 있는 애플리케이션 중에 있는 플러그인이나 SKD 등의 기능 유닛일 수도 있고, 혹은 비교적 강한 계산 능력을 가진 컴퓨터 단말 기기에 있을 수도 있다. 도 7에 도시된 바와 같이, 이 도로 상황 예측 모델을 구축하는 장치(700)는 샘플 획득 유닛(11)과 특징 추출 유닛(12) 및 모델 훈련 유닛(13)을 포함할 수 있다. 여기서 각 구성 유닛의 주요 기능은 아래와 같다.
샘플 특징 유닛(11)은 제2 시점 이전의 미리 설정된 제1 시간대 내에 있는 샘플 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스, 및 샘플 도로에 대하여 라벨링한 제2 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 라벨을 포함하는 훈련 데이터를 획득하기 위한 것이다.
특징 추출 유닛(12)은 사용자 궤적 시퀀스 중에서의 샘플 도로의 궤적 관련 특징을 추출하고, 도로 이미지 시퀀스 중에서의 샘플 도로의 이미지 관련 특징을 추출하기 의한 것이다.
여기서, 궤적 관력 특징은 속도 특징을 포함한다.
이미지 관련 특징은 도로 혼잡도 특징, 교통 흐름 특징 및 건물 특징 중의 적어도 한 종류를 포함한다.
일종의 바람직한 실시 방식으로서, 특징 추출 유닛(12)이 도로 이미지 시퀀스 중에서 도로의 이미지 관련 특징을 추출할 시에, 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별하고, 각 도로 이미지 중에서 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 추출하고, 각 도로 이미지 중의 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보을 이용하여 도로 혼잡도 및/또는 교통 흐름 특징을 획득할 수 있다.
여기서, 특징 추출 유닛(12)이 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별할 시에, 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여 각 도로 이미지에 대하여 각 픽셀에 대응되는 구역 유형을 각각 식별하여 도로 이미지 중의 주행 구역과 적어도 한 종류의 도로 환경 구역을 특정하고, 적어도 한 종류의 도로 환경 구역을 이용하여 주행 구역 중에서 주요 주행 구역을 특정한다.
특징 추출 유닛(12)이 도로 이미지 시퀀스 중에서 도로의 이미지 관련 특징을 추출할 시에, 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 건물 구역을 식별하고, 도로 이미지 시퀀스 중의 인접한 도로 이미지의 건물 구역의 유사도 평균치 및/또는 분산을 샘플 도로의 건물 특징으로 한다.
모델 훈련 유닛(13)은 샘플 도로의 궤적 관련 이미지와 이미지 관련 특징을 분류 모델의 입력으로 하고, 샘플 도로에 대하여 라벨링한 도로 상황 라벨을 분류 모델의 목표 출력으로 하고, 분류 모델을 훈련하여 상기 도로 상황 모델을 획득하기 위한 것이다.
더 나아가서, 모델 훈련 유닛(13)은 제2 시점 이전의 미리 설정된 제1 시간대에 대응된 시간 특징 및/또는 상기 샘플 도로의 속성 특징을 추가로 분류모델의 입력으로 하는데에도 사용한다.
여기서 적용되는 분류 모델은 GBDT, DNN, LR, SVM 등 모델일 수 있다.
도로 상황 라벨은 예를 들면, 정체, 원활 두 종류로 나눌 수 있다. 정체, 서행, 원활 세 종류로 나눌 수도 있다. 심각한 정체, 정체, 서행, 원활 네 종류로 나눌 수도 있다. 등등.
본 출원의 실시예에서 제공하는 상술한 방법 및 장치는 아래와 같은 시나리오에 적용될 수 있지만 이에 한정되지 않는다.
시나리오 1:
본 출원이 실시예에서 제공하는 방법과 장치를 적용하여 도로의 도로 상황예측을 진행한 후, 각 도로의 도로 상황을 지도 유형의 애플리케이션상에서 표시한다. 예를 들면, 다른 색깔을 적용하여 지도상에서 각 도로의 혼잡 상황을 구분한다.
시나리오 2:
본 출원의 실시예에서 제공하는 방법과 장치를 적용하여 도로의 도로 상황예측을 진행한 후, 사용자가 경로 계획을 요청할 경우, 될 수록 정체 상황에 처한 도로를 피하도록 한다.
시나리오 3:
본 출원의 실시예에서 제공한 방법과 장치를 적용하여 도로의 도로 상황예측을 진행한 후, 정체 상황에 처한 도로 정보를 방송국에 통보하여 방송하거나, 지도 유형의 애플리케이션에 전송하여 클라이언트에게 음성 방송을 진행하거나 화면에 문자 방식으로 표시한다.
시나리오 4:
본 출원의 실시예에서 제공하는 방법과 장치를 적용하여 도로의 도로 상황 예측을 진행한 후, 각 도로의 도로 상황을 데이터베이스에 저장한다. 단말 기기가 특정 도로에 대한 도로 상황 조회 요청에 응답하여 해당 도로의 도로 상황 정보를 해당 단말 기기에 전송한다.
본 출원의 실시예에 따라, 본 출원은 또한 전자 기기와 판독 가능 저장 매체를 제공한다.
도 8에 도시된 바와 같이, 도 8은 본 출원의 실시예에 따른 도로 상황 예측방법, 도로 상황 예측 모델을 구축하는 방법을 적용하는 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 웍스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 말한다. 전자 기기는 개인용 디지털 처리, 셀룰러 전화, 스마트 폰, 웨어러블 디바이스 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 말할 수도 있다. 본 명세서에서 나타낸 구성 요소, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시일 뿐이며, 본 명세서에서의 설명 및/또는 요구하는 본 출원의 구현을 한정하려 하는 것이 아니다.
도 8에 도시된 바와 같이, 상기 전자 기기는 적어도 하나의 프로세서(801), 메모리(802) 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 구성 요소를 연결하기 위한 인터페이스를 포함한다. 각 구성요소는 다른 버스를 이용하여 상호 연결되며, 공용 메인 보드 상에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 메모리 중에 혹은 메모리 상에 저장되어 외부 입력/출력 장치(예를 들어 인터페이스에 연결된 디스플레이 장치)에 GUI의 그래픽 정보를 표시하는 명령이 포함된 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시예에서, 필요하다면 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있으며, 각 기기는 일부 필요한 조작을 제공한다(예를 들면, 서버 어레이, 블레이드 서버 그룹 또는 다수의 프로세서의 시스템). 도 8에서 하나의 프로세서(801)를 예로 한다.
메모리(802)는 본 출원에 의해 제공되는 비휘발성 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서로 하여금 본 출원에 의해 제공되는 도로 상황 예측 방법과 도로 상황 예측 모델을 구축하는 방법을 실행하게 하는 명령어가 저장된다. 본 출원의 비휘발성 컴퓨터 판독 가능 저장 매체에는 컴퓨터로 하여금 본 출원에 의해 제공되는 도로 상황 예측 방법과 도로 상황 예측 모델을 구축하는 방법을 실행하게 하기 위한 컴퓨터 명령어가 저장된다.
메모리(802)는 일종의 비휘발성 컴퓨터 판독 가능 저장 매체로서, 비휘발성 소프트웨어 프로그램, 비휘발성 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들면 본 출원의 실시예 중의 도로 상황 예측 방법과 도로 상황 예측 모델을 구축하는 방법에 대응되는 프로 그램 명령어/유닛을 저장하기 위한 것이다. 프로세서(801)는 메모리(802)에 저장된 비휘발성 소프트웨어 프로그램, 명령어 및 유닛을 실행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 실행하며, 즉 상술한 방법 실시예 중의 방법을 구현한다.
메모리(802)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 오에스와 적어도 하나의 기능에 필요한 애플리케이션을 저장할 수 있고, 데이터 저장 영역은 해당 전자 기기의 사용에 따라 생성된 데이터를 저장할 수 있다. 또한, 메모리(802)는 고속 랜덤 액세스 메모리를 포함 할 수 있으며, 적어도 하나의 디스크 메모리 디바이스, 플래시 메모리 또는 기타 비휘발성 솔리드 스테이트 메모리 디바이스와 같은 비휘발성 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(802)는 프로세서(801)에 대해 원격 설치되는 메모리를 선택적으로 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 전자 기기에 연결될 수 있다. 상기 네트워크의 실례는 인터넷, 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
상기 전자 기기는 입력 장치(803)와 출력 장치(804)를 더 포함할 수 있다. 프로세서(801), 메모리(802), 입력 장치(803)와 출력 장치(804)는 버스이나 기타 방식을 통해 연결될 수 있으며, 도 8에서는 버스를 통해 연결되는 것을 예시로 하였다.
입력 장치(803)는 입력된 수자 또는 문자 부호 정보를 수신하고, 상기 전자 기기의 사용자 설치와 기능 제어에 관련된 키신호입력을 생성할 수 있으며, 예를 들면 터치 스크린, 숫자키보드, 마우스, 트랙 패드, 터치 패드, 인디케이터 스틱, 적어도 하나의 마우스 버튼, 트랙볼, 조이스틱 등의 입력장치일 수 있다. 출력 장치(804)는 디스플레이 장치, 보조 조명 장치(예를 들면, LED), 촉각 피드백 장치(예를 들면, 진동 모터) 등을 포함할 수 있다. 해당 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시예에서, 디스플레이 장치는 터치 스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현할 수 있다. 이러한 다양한 실시 방식은 적어도 하나의 컴퓨터 프로그램에서 실시되고, 상기 적어도 하나의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능한 프로세서를 포함하는 프로그래밍 가능한 시스템에서 실행 및/또는 해석할 수 있으며, 상기 프로그래밍 가능한 프로세서는 전용 또는 범용 프로그래밍 가능한 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령어를 이 저장 시스템, 이 적어도 하나의 입력 장치 및 이 적어도 하나의 출력 장치에 전송하는 것을 포함할 수 있다.
이러한 계산 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 프로그램 또는 코드라고도 함)에는 프로그래밍 가능한 프로세서의 기계 명령이 포함되며, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 계산 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 용어 "기계 판독 가능 매체” 및 "컴퓨터 판독 가능 매체"는 기계 명령 및 /또는 데이터를 프로그래밍 가능한 프로세서에 제공하는데 사용되는 모든 컴퓨터 프로그램 제품, 설비 및/또는 장치(예를 들어, 디스크, 시디롬, 메모리, 프로그래밍 가능한 로직 장치(PLD))를 말한다. 여기에는 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하는데 사용되는 모든 신호를 말한다.
사용자와의 인터랙션을 제공하기 위하여, 여기에 설명된 시스템 및 기술을 컴퓨터에서 실시할 수 있다. 이 컴퓨터는 사용자에게 정보를 표시하는 디스플레이 장치(예 : CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터) 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 위치 결정 장치(예를 들면,마우스 또는 트랙볼)를 구비한다. 다른 유형의 장치도 사용자와의 인터랙션을 제공하는데 사용할 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 모든 형태의 감지 피드백(예를 들면, 시각 피드백, 청각 피드백 또는 촉각 피드백) 일 수 있고, 모든 형태(소리 입력, 음성 입력 또는 촉각 입력을 포함)를 이용하여 사용자로부터의 입력을 접수할 수 있다.
여기에 설명된 시스템 및 기술을 백그라운드 구성요소를 포함하는 컴퓨팅 시스템(예를 들면, 데이터 서버로 하여) 또는 미들웨어 구성요소를 포함하는 컴퓨팅 시스템(예를 들면, 애플리케이션 서버) 또는 프론트 엔드 구성요소를 포함하는 컴퓨팅 시스템(예를 들면, 그래픽 유저 인터페이스 혹은 웹 브라우저를 가지고 있는 사용자 컴퓨터, 사용자가 상기 그래픽 유저 인터페이스 혹은 웹 브라우저를 통하여 여기에 설명된 시스템 및 기술의 실시 방식과 인터랙션할 수 있다) 또는 이러한 백그라운드 구성요소, 미들웨어 구성요소, 또는 프런트 엔드 구성요소의 모든 조합을 포함하는 컴퓨팅 시스템 중에서 실시할 수 있다. 임의의 형식 또는 매체의 디지털 데이터 통신(예를 들면, 통신 네트워크)을 통해 시스템의 구성요소를 서로 연결할 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템에는 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져있으며, 일반적으로 통신 네트워크를 통해 인터랙션한다. 클라이언트와 서버간의 관계는 해당 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 생성된다.
위에 나타낸 다양한 형태의 흐름을 사용하여 스텝을 다시 순서 배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들면, 본 출원에 기재된 각 스텝은 본 출원에서 공개하는 기술방안이 기대하는 결과를 구현할 수 있기만 하면, 병행하여 실행하거나 순차적으로 실행하거나 다른 순서로 실행할 수도 있으며, 본 명세서에서는 여기에 대해서 제한을 하지 않는다.
상술한 구체적인 실시 방식은 본 출원의 청구범위에 대한 제한을 구성하지 않는다. 해당 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 설계요구 및 기타 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 교체 및 개선 등은 본 출원의 청구범위 내에 포함되어야 한다.

Claims (31)

  1. 제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스 및 도로 이미지 시퀀스를 획득하는 것;
    상기 사용자 궤적 시퀀스 중에서 상기 도로의 궤적 관련 특징을 추출하고, 상기 도로 이미지 시퀀스 중에서 상기 도로의 이미지 관련 특징을 추출하는것; 및
    상기 도로의 궤적 관련 특징 및 이미지 관련 특징을 사전 훈련으로 획득한 도로 상황 예측 모델에 입력하고, 상기 도로 상황 예측 모델의 예측 결과를 이용하여 상기 도로의 상기 제1 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 정보를 획득하는 것을 포함하는 도로 상황 예측 방법.
  2. 제1항에 있어서,
    상기 도로는,
    미리 설정한 목표도로;
    도로 상황 전자 울타리 중의 도로;
    궤적점이 미리 설정한 도로 상황 예측 트리거 조건을 만족하는 도로; 중의 적어도 한 종류를 포함하는 도로 상황 예측 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 도로 정보를 수집 단말 기기에 전송하여, 상기 수집 단말 기기가 수집한 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하는 것; 또는
    상기 도로상에 위치한 수집 단말 기기에 수집 명령을 전송하여, 상기 수집 단말 기기가 수집한 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하는 것을 더 포함하는 도로 상황 예측 방법.
  4. 제1항에 있어서,
    상기 궤적 관련 특징은 속도 특징을 포함하며,
    상기 이미지 관련 특징은 도로 혼잡도 특징, 교통 흐름 특징 및 건물 특징 중의 적어도 한 종류를 포함하는 도로 상황 예측 방법.
  5. 제4항에 있어서,
    상기 도로 이미지 시퀀스 중에서 상기 도로의 이미지 관련 특징을 추출하는 것은,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별하는 것;
    각 도로 이미지 중에서 상기 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 추출하는 것; 및
    각 도로 이미지 중의 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 이용하여, 상기 도로의 혼잡도 특징 및/또는 교통 흐름 특징을 획득하는 것을 포함하는 도로 상황 예측 방법.
  6. 제5항에 있어서,
    상기 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별하는것은,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 각 도로 이미지에 대하여 각 픽셀에 대응되는 구역 유형을 각각 식별하여, 도로 이미지 중의 주행 구역과 적어도 한 종류의 도로 환경 구역을 특정하는 것; 및
    상기 적어도 한 종류의 도로 환경 구역을 이용하여, 상기 주행 구역 중에서 주요 주행 구역을 특정하는 것을 포함하는 도로 상황 예측 방법.
  7. 제4항에 있어서,
    상기 도로 이미지 시퀀스 중에서 상기 도로의 이미지 관련 특징을 추출하는것은,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 건물 구역을 식별하는 것; 및
    상기 도로 이미지 시퀀스 중의 인접한 도로 이미지의 건물 구역의 유사도 평균치 및/또는 분산을 상기 도로의 건물 특징으로 하는 것을 포함하는 도로 상황 예측 방법.
  8. 제1항에 있어서,
    상기 도로 상황 예측 모델에 입력하는 특징은,
    상기 제1 시점 이전의 미리 설정된 제1 시간대에 대응되는 시간 특징 및/또는 상기 도로의 속성 특징을 더 포함하는 도로 상황 예측 방법.
  9. 제2 시점 이전의 미리 설정된 제1 시간대 내에 있는 샘플 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스, 및 상기 샘플 도로에 대하여 라벨링한 상기 제2 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 라벨을 포함하는 훈련 데이터를 획득하는 것;
    상기 사용자 궤적 시퀀스 중에서 상기 샘플 도로의 궤적 관련 특징을 추출하고, 도로 이미지 시퀀스 중에서 상기 샘플 도로의 이미지 관련 특징을 추출하는 것; 및
    상기 샘플 도로의 궤적 관련 특징과 이미지 관련 특징을 분류 모델의 입력으로 하고, 상기 샘플 도로에 대하여 라벨링한 도로 상황 라벨을 상기 분류모델의 목표 출력으로 하여, 상기 분류 모델을 훈련하여 상기 도로 상황 예측모델을 획득하는 것을 포함하는 도로 상황 예측 모델을 구축하는 방법.
  10. 제9항에 있어서,
    상기 궤적 관련 특징은 속도특징을 포함하며;
    상기 이미지 관련 특징은 도로 혼잡도 특징, 교통 흐름 특징 및 건물 특징중의 적어도 한 종류를 포함하는 도로 상황 예측 모델을 구축하는 방법.
  11. 제10항에 있어서,
    상기 도로 이미지 시퀀스 중에서 상기 샘플 도로의 이미지 관련 특징을 추출하는 것은,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별하는 것;
    각 도로 이미지 중에서 상기 주요 주행 구역의 도로 혼잡도 및/또는 교통흐름 정보를 추출하는 것; 및
    각 도로 이미지 중의 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 이용하여, 상기 도로의 혼잡도 특징 및/또는 교통 흐름 특징을 획득하는 것을 포함하는 도로 상황 예측 모델 구축하는 방법.
  12. 제11항에 있어서,
    상기 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별하는 것은,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 각 도로 이미지에 대하여 각 픽셀에 대응되는 구역 유형을 각각 식별하여, 도로 이미지 중의 주행 구역과 적어도 한 종류의 도로 환경 구역을 특정하는 것; 및
    상기 적어도 한 종류의 도로 환경 구역을 이용하여, 상기 주행 구역 중에서 주요 주행 구역을 특정하는 도로 상황 예측 모델을 구축하는 방법.
  13. 제10항에 있어서,
    상기 도로 이미지 시퀀스 중에서 상기 샘플 도로의 이미지 관련 특징을 추출하는 것은,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 건물 구역을 식별하는 것; 및
    상기 도로 이미지 시퀀스 중의 인접한 도로 이미지의 건물 구역의 유사도 평균치 및/또는 분산을 상기 도로의 건물 특징으로 하는 거을 포함하는 도로 상황 예측 모델을 구축하는 방법.
  14. 제9항에 있어서,
    상기 분류 모델의 입력은,
    상기 제2 시점 이전의 미리 설정된 제1 시간대에 대응되는 시간 특징 및/또는 상기 샘플 도로의 속성 특징을 더 포함하는 도로 상황 예측 모델을 구축하는 방법.
  15. 제1 시점 이전의 미리 설정된 제1 시간대 내에 있는 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하기 위한 시퀀스 획득 유닛;
    상기 사용자 궤적 시퀀스 중에서의 상기 도로의 궤적 관련 특징을 추출하고, 상기 도로 이미지 시퀀스 중에서의 상기 도로의 이미지 관련 특징을 추출하기 위한 특징 추출 유닛; 및
    상기 도로의 궤적 관련 특징과 이미지 관련 특징을 사전 훈련하여 획득한 도로 상황 예측 모델에 입력하여, 상기 도로 상황 예측 모델의 예측 결과를 이용하여 상기 도로가 상기 제1 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 정보를 획득하기 위한 도로 상황 예측 유닛을 포함하는 도로 상황 예측 장치.
  16. 제15항에 있어서,
    상기 도로는,
    미리 설정된 목표 도로;
    도로 상황 전자 울타리 중의 도로;
    궤적점이 미리 설정된 도로 상황 예측 트리거 조건을 만족하는 도로; 중의 적어도 한 종류를 포함하는 도로 상황 예측 장치.
  17. 제15항 또는 제16항에 있어서,
    상기 도로의 정보를 수집단말 기기에 전송하여, 상기 수집 단말 기기에서 수집한 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하거나, 또는 상기 도로상에 위치한 수집 단말 기기에 수집 명령을 전송하여, 상기 수집단말 기기에서 수집한 사용자 궤적 시퀀스와 도로 이미지 시퀀스를 획득하기 위한 정보 인터랙션 유닛을 더 포함하는 도로 상황 예측 장치.
  18. 제15항에 있어서,
    상기 궤적 관련 특징은 속도 특징을 포함하며;
    상기 이미지 관련 특징은 도로 혼잡도 특징, 교통 흐름 특징 및 건물 특징중의 적어도 한 종류를 포함하는 것을 특징으로 하는 도로 상황 예측 장치.
  19. 제18항에 있어서,
    상기 특징 추출 유닛은 상기 도로 이미지 시퀀스 중에서 상기 도로의 이미지 관련 특징을 추출할 시에 구체적으로,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별하는 것;
    각 도로 이미지 중에서 상기 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 추출하는 것; 및
    각 도로 이미지 중의 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 이용하여, 상기 도로의 혼잡도 특징 및/또는 교통 흐름 특징을 획득하는 것을 실행하는 도로 상황 예측 장치.
  20. 제19항에 있어서,
    상기 특징 추출 유닛은 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별할 시에 구체적으로,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 각 도로 이미지에 대하여 각 픽셀에 대응되는 구역 유형을 각각 식별하여, 도로 이미지 중의 주행 구역과 적어도 한 종류의 도로 환경 구역을 특정하는 것; 및
    상기 적어도 한 종류의 도로 환경 구역을 이용하여, 상기 주행 구역 중에서 주요 주행 구역을 특정하는 것을 실행하는 도로 상황 예측 장치.
  21. 제18항에 있어서,
    상기 특징 추출 유닛은 상기 도로 이미지 시퀀스 중에서 상기 도로의 이미지 관련 특징을 추출할 시에 구체적으로,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 건물 구역을 식별하는 것; 및
    상기 도로 이미지 시퀀스 중의 인접한 도로 이미지의 건물 구역의 유사도 평균치 및/또는 분산을 상기 도로의 건물 특징으로 하는 것을 실행하는 도로 상황 예측 장치.
  22. 제15항에 있어서,
    상기 도로 상황 예측 유닛은 상기 제1 시점 이전의 미리 설정된 제1 시간대에 대응된 시간 특징 및/또는 상기 도로의 속성 특징을 추가로 상기 사전 훈련으로 획득한 도로 상황 예측 모델에 입력하는데도 사용되는 도로 상황 예측 장치.
  23. 제2 시점 이전의 미리 설정된 제1 시간대 내에 있는 샘플 도로의 사용자 궤적 시퀀스와 도로 이미지 시퀀스 및 상기 샘플 도로에 대하여 라벨링하는 상기 제2 시점 이후의 미리 설정된 제2 시간대 내에 있는 도로 상황 라벨을 포함하는 훈련 데이터의 획득하기 위한 샘플 획득 유닛;
    상기 사용자 궤적 시퀀스 중에서 상기 샘플 도로의 궤적 관련 특징을 추출하고, 상기 도로 이미지 시퀀스 중에서 상기 샘플 도로의 이미지 관련 특징을 추출하기 위한 특징 추출 유닛; 및
    상기 샘플 도로의 궤적 관련 특징과 이미지 관련 특징을 분류 모델의 입력으로 하고, 상기 샘플 도로에 대하여 라벨링한 도로 상황 라벨을 상기 분류모델의 목표 출력으로 하여, 상기 분류 모델을 훈련하여 상기 도로 상황 예측모델을 획득하기 위한 모델 훈련 유닛을 포함하는 도로 상황 예측 모델을 구축하는 장치.
  24. 제23항에 있어서,
    상기 궤적 관련 특징은 속도 특징을 포함하며,
    상기 이미지 관련 특징은 도로 혼잡도 특징, 교통 흐름 특징 및 건물 특징중의 적어도 한 종류를 포함하는 도로 상황 예측 모델을 구축하는 장치.
  25. 제24항에 있어서,
    상기 특징 추출 유닛은 상기 도로 이미지 시퀀스 중에서 상기 샘플 도로의 이미지 관련 특징을 추출할 시에 구체적으로,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별하는 것;
    각 도로 이미지 중에서 상기 주요 주행 구역의 도로 혼잡도 및/또는 교통흐름 정보를 추출하는 것; 및
    각 도로 이미지 중의 주요 주행 구역의 도로 혼잡도 및/또는 교통 흐름 정보를 이용하여, 상기 도로 혼잡도 특징 및/또는 교통 흐름 특징을 획득하는 것을 실행하는 도로 상황 예측 모델을 구축하는 장치.
  26. 제25항에 있어서,
    특징 추출 유닛은 사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 주요 주행 구역을 식별할 시에 구체적으로,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 각 도로 이미지에 대하여 각 픽셀에 대응되는 구역 유형을 각각 식별하여, 도로 이미지 중의 주행 구역과 적어도 한 종류의 도로 환경 구역을 특정하는 것; 및
    상기 적어도 한 종류의 도로 환경 구역을 이용하여, 상기 주행 구역 중에서 주요 주행 구역을 특정하는 것을 실행하는 도로 상황 예측 모델을 구축하는 장치.
  27. 제24항에 있어서,
    상기 특징 추출 유닛은 상기 도로 이미지 시퀀스 중에서 상기 샘플 도로의 이미지 관련 특징을 추출할 시에 구체적으로,
    사전 훈련으로 획득한 이미지 시맨틱 분할 모델을 이용하여, 상기 도로 이미지 시퀀스 중의 각 도로 이미지 중에서 건물 구역을 식별하는 것; 및
    상기 도로 이미지 시퀀스 중의 인접한 도로 이미지의 건물 구역의 유사도 평균치 및/또는 분산을 상기 도로의 건물 특징으로 하는것을 실행하는 도로 상황 예측 모델을 구축하는 장치.
  28. 제23항에 있어서,
    상기 모델 훈련 유닛은 상기 제2 시점 이전의 미리 설정된 제1 시간대에 대응된 시간 특징 및/또는 상기 샘플 도로의 속성 특징을 추가로 상기 분류 모델의 입력으로 하는데에도 사용하는 도로 상황 예측 모델을 구축하는 장치.
  29. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신가능하게 연결된 메모리를 포함하며,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령어가 저장되어 있고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 제1항, 제2항, 제4항 내지 제14항 중 어느 하나의 방법을 실행할 수 있게 하는 전자 기기.
  30. 컴퓨터로 하여금 제1항, 제2항, 제4항 내지 제14항 중 어느 하나의 방법을 실행하게 하기 위한 것인 컴퓨터 명령어가 저장되어 있는 비휘발성 컴퓨터 판독 가능 저장 매체.
  31. 프로세서에 의해 실행될 때 제1항, 제2항, 제4항 내지 제14항 중 어느 하나의 방법을 구현하는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품.
KR1020210080407A 2020-12-03 2021-06-21 도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법, 대응되는 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품 KR102618445B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011410518.4A CN112560609B (zh) 2020-12-03 2020-12-03 路况预估方法、建立路况预估模型的方法及对应装置
CN202011410518.4 2020-12-03

Publications (2)

Publication Number Publication Date
KR20210087005A true KR20210087005A (ko) 2021-07-09
KR102618445B1 KR102618445B1 (ko) 2023-12-28

Family

ID=75048612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210080407A KR102618445B1 (ko) 2020-12-03 2021-06-21 도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법, 대응되는 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품

Country Status (5)

Country Link
US (1) US11887376B2 (ko)
EP (1) EP3926534A3 (ko)
JP (1) JP2021157833A (ko)
KR (1) KR102618445B1 (ko)
CN (1) CN112560609B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569759A (zh) * 2021-07-29 2021-10-29 沭阳新辰公路仪器有限公司 一种基于人工智能的道路掉落物识别方法及系统
CN114418093A (zh) * 2022-01-19 2022-04-29 北京百度网讯科技有限公司 训练路径表征模型、输出信息的方法和装置
KR102422235B1 (ko) * 2022-05-26 2022-07-15 (주)에스엔테크 터널 내 지능형 차량 정체 알림 시스템
KR20230037209A (ko) * 2021-09-09 2023-03-16 네이버 주식회사 패턴 매칭을 이용하여 도로 정체 전파를 예측하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114413832B (zh) * 2021-12-02 2023-12-15 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测系统及方法
CN114332699B (zh) * 2021-12-24 2023-12-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质
CN114332104B (zh) * 2022-03-09 2022-07-29 南方电网数字电网研究院有限公司 电网输电场景rgb点云语义分割多阶段模型联合优化方法
CN114742280B (zh) * 2022-03-18 2023-01-13 北京百度网讯科技有限公司 路况预测方法及相应的模型训练方法、装置、设备及介质
CN114998744B (zh) * 2022-07-18 2022-10-25 中国农业大学 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置
CN117115382B (zh) * 2023-10-25 2024-02-09 腾讯科技（深圳）有限公司 地图道路绘制方法、装置、计算机设备和存储介质
CN117218858A (zh) * 2023-10-25 2023-12-12 河北高速公路集团有限公司承德分公司 用于高速公路的交通安全预警系统及方法
CN117493820B (zh) * 2024-01-03 2024-04-02 中国电子工程设计院股份有限公司 一种数据要素处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020092107A (ko) * 2001-06-02 2002-12-11 엘지산전 주식회사 영상정보를 이용한 교통정보 추출 방법 및 장치
KR20140128063A (ko) * 2013-04-26 2014-11-05 한국교통연구원 교통 상황 예측 시스템
JP2017174471A (ja) * 2017-07-06 2017-09-28 株式会社日立製作所 システム解析装置、設計不良解析装置、故障モード解析装置、故障ツリー解析装置、自律動作装置及び自律動作制御システム
KR20190107057A (ko) * 2017-01-12 2019-09-18 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064795A (ja) * 1992-06-17 1994-01-14 Hitachi Ltd 交通状況監視方法と装置および交通流監視制御システム
US8670592B2 (en) 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
CN102722982B (zh) 2012-03-30 2016-01-06 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法
CN105761500B (zh) 2016-05-10 2019-02-22 腾讯科技（深圳）有限公司 交通事故处理方法及交通事故处理装置
JP6672077B2 (ja) * 2016-05-27 2020-03-25 株式会社東芝 交通情報推定装置および交通情報推定方法
CN106781592B (zh) 2017-01-04 2019-07-23 成都四方伟业软件股份有限公司 一种基于大数据的交通导航系统及方法
CN109754594B (zh) * 2017-11-01 2021-07-27 腾讯科技（深圳）有限公司 一种路况信息获取方法及其设备、存储介质、终端
JP7313820B2 (ja) * 2018-12-20 2023-07-25 株式会社東芝 交通状況予測装置、および交通状況予測方法
CN109615862A (zh) 2018-12-29 2019-04-12 南京市城市与交通规划设计研究院股份有限公司 道路车辆交通运动状态参数动态获取方法及装置
CN111488770A (zh) * 2019-01-28 2020-08-04 初速度（苏州）科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
CN111915878B (zh) * 2019-05-09 2022-11-29 奥迪股份公司 道路交通状态的预测方法及装置、计算机设备和存储介质
CN110364008B (zh) * 2019-08-16 2021-12-07 腾讯科技（深圳）有限公司 路况确定方法、装置、计算机设备和存储介质
CN111353009B (zh) * 2020-02-03 2021-10-26 百度在线网络技术（北京）有限公司 建立路线耗时预估模型、预估路线耗时的方法及对应装置
CN111292549B (zh) 2020-02-03 2022-03-22 百度在线网络技术（北京）有限公司 建立路线耗时预估模型的方法、预估路线耗时的方法及对应装置
KR102144706B1 (ko) * 2020-03-11 2020-08-14 아주대학교산학협력단 합성곱 신경망 기반의 도로 검출 장치 및 방법
CN111489555A (zh) 2020-05-14 2020-08-04 武汉理工大学 一种交通运行状态预测方法、装置和系统
CN111611955B (zh) 2020-05-28 2023-09-26 百度在线网络技术（北京）有限公司 可通行施工道路的识别方法、装置、设备及存储介质
CN111477012B (zh) * 2020-06-24 2020-10-27 平安国际智慧城市科技股份有限公司 基于路况状态预测模型的溯源方法、装置和计算机设备
CN111783037A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 一种车辆里程预估模型优化方法、装置、设备及存储介质
CN111950537B (zh) * 2020-09-24 2023-06-23 北京百度网讯科技有限公司 斑马线信息获取方法、地图更新方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020092107A (ko) * 2001-06-02 2002-12-11 엘지산전 주식회사 영상정보를 이용한 교통정보 추출 방법 및 장치
KR20140128063A (ko) * 2013-04-26 2014-11-05 한국교통연구원 교통 상황 예측 시스템
KR20190107057A (ko) * 2017-01-12 2019-09-18 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
JP2017174471A (ja) * 2017-07-06 2017-09-28 株式会社日立製作所 システム解析装置、設計不良解析装置、故障モード解析装置、故障ツリー解析装置、自律動作装置及び自律動作制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fei-Rong Huang외 2. Traffic Congestion Level Prediction Based on Recurrent Neural Networks. IEEE, 2020년 2월, pp.248-252. 1부.* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569759A (zh) * 2021-07-29 2021-10-29 沭阳新辰公路仪器有限公司 一种基于人工智能的道路掉落物识别方法及系统
CN113569759B (zh) * 2021-07-29 2022-06-10 沭阳新辰公路仪器有限公司 一种基于人工智能的道路掉落物识别方法及系统
KR20230037209A (ko) * 2021-09-09 2023-03-16 네이버 주식회사 패턴 매칭을 이용하여 도로 정체 전파를 예측하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
CN114418093A (zh) * 2022-01-19 2022-04-29 北京百度网讯科技有限公司 训练路径表征模型、输出信息的方法和装置
CN114418093B (zh) * 2022-01-19 2023-08-25 北京百度网讯科技有限公司 训练路径表征模型、输出信息的方法和装置
KR102422235B1 (ko) * 2022-05-26 2022-07-15 (주)에스엔테크 터널 내 지능형 차량 정체 알림 시스템

Also Published As

Publication number Publication date
KR102618445B1 (ko) 2023-12-28
EP3926534A2 (en) 2021-12-22
US20220058403A1 (en) 2022-02-24
CN112560609A (zh) 2021-03-26
EP3926534A3 (en) 2022-05-04
JP2021157833A (ja) 2021-10-07
US11887376B2 (en) 2024-01-30
CN112560609B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
KR20210087005A (ko) 도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법, 대응되는 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품
US11776279B2 (en) Method and apparatus for providing unknown moving object detection
US20210302585A1 (en) Smart navigation method and system based on topological map
KR102652023B1 (ko) 실시간 교통 정보 제공 방법 및 장치
CN111818313B (zh) 一种基于监控视频的车辆实时追踪方法及装置
CN112634611B (zh) 用于识别路况的方法、装置、设备以及存储介质
CN111859291A (zh) 交通事故识别方法、装置、设备和计算机存储介质
CN114003672B (zh) 一种道路动态事件的处理方法、装置、设备和介质
US20230103687A1 (en) Vehicle driving detection method and apparatus, vehicle driving warning method and apparatus, electronic device, and storage medium
CN112069279A (zh) 地图数据更新方法、装置、设备及可读存储介质
CN116824859A (zh) 一种基于物联网的智慧交通大数据分析系统
US20230159052A1 (en) Method for processing behavior data, method for controlling autonomous vehicle, and autonomous vehicle
US20230104225A1 (en) Method for fusing road data to generate a map, electronic device, and storage medium
Broekman et al. Real-time traffic quantization using a mini edge artificial intelligence platform
CN110646002B (zh) 用于处理信息的方法和装置
CN113297878B (zh) 道路交叉口识别方法、装置、计算机设备和存储介质
Bhandari et al. Fullstop: A camera-assisted system for characterizing unsafe bus stopping
CN114116854A (zh) 轨迹数据处理方法、装置、设备和存储介质
CN115060249A (zh) 电子地图的构建方法、装置、设备和介质
Balamurugan et al. The future of India creeping up in building a smart city: intelligent traffic analysis platform
KR20220038857A (ko) 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법
CN106781470B (zh) 城市道路的运行速度的处理方法及装置
KR102559928B1 (ko) 도로 촬영 정보를 이용하는 도로 맵 정보 현행화 방법, 이에 사용되는 관리 서버 및 도로 촬영 정보를 이용하는 도로 맵 정보 현행화 방법을 실행시키는 프로그램이 기록된 기록 매체
CN112258880B (zh) 基于智慧交通的车辆管理系统
KR102377643B1 (ko) 제어된 교통신호정보를 이용한 차량 주행정보 제공 시스템 및 그 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)