KR102595678B1 - 차량 연계 방법, 차량 연계 장치, 노변 장치 및 클라우드 제어 플랫폼 - Google Patents
차량 연계 방법, 차량 연계 장치, 노변 장치 및 클라우드 제어 플랫폼 Download PDFInfo
- Publication number
- KR102595678B1 KR102595678B1 KR1020210127050A KR20210127050A KR102595678B1 KR 102595678 B1 KR102595678 B1 KR 102595678B1 KR 1020210127050 A KR1020210127050 A KR 1020210127050A KR 20210127050 A KR20210127050 A KR 20210127050A KR 102595678 B1 KR102595678 B1 KR 102595678B1
- Authority
- KR
- South Korea
- Prior art keywords
- observation
- current vehicle
- observation point
- point
- vehicle
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 차량 연계 방법, 장치, 노변 장치 및 클라우드 제어 플랫폼을 개시하였고, 인공지능 기술 분야에 관한 것으로, 상세하게는, 지능 교통기술에 관한 것이다. 실시하기 위한 구체적인 수단은: 각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하는 것; 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하는 것; 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하는 것; 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 검출하는 것이다. 본 개시는 단일 프레임 영상의 비정상으로 인한 연계 착오를 효과적으로 방지할 수 있으므로, 연계 성공률을 향상시킬 수 있다.
Description
본 개시는 인공지능 기술 분야에 관한 것으로, 상세하게는, 지능 교통기술, 특히 차량 연계 방법, 차량 연계 장치, 노변 장치 및 클라우드 제어 플랫폼에 관한 것이다.
차량 연계는 현재 지능 교통 및 그와 관련된 기술에 있어서의 핵심적인 과제이다. 현실 환경에서 단지 하나의 관측점에 의해 피관측 차량의 전부 정보를 정확하게 얻을 수는 없다. 여러 방향과 여러 각도에서 수집되는 여러 관측점의 정보는 서로 다르므로, 여러 관측점에서 얻은 동일한 차량의 데이터를 결합하여 하나 차량의 각 방향 또는 각종 각도의 고정확성 정보를 얻는 것이 극히 필요된다.
종래의 연계 방법의 대다수는 단일 프레임 영상에 기반하여 실행하나, 단일 프레임 영상에 한계가 있고, 상이한 관측점에서 수집한 영상을 정확하게 연계시킬 수 없어 연계 성공률이 비교적 낮다.
본 개시는 차량 연계 방법, 장치, 노변 장치 및 클라우드 제어 플랫폼을 제공함으로써, 단일 프레임 영상의 비정상으로 인한 연계 착오를 효과적으로 방지할 수 있고, 이에 따라 연계 성공률을 향상시킬 수 있다.
본 발명의 제 1 측면에 따르면, 차량 연계 방법을 제공하되, 상기 방법은,
각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하는 단계;
미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하는 단계;
상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하는 단계;
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하는 단계; 를 포함한다.
본 발명의 제 2 측면에 따르면, 차량 연계 장치를 제공하되,
상기 장치는,
각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하도록 구성되는 수집 모듈;
미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하고, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하도록 구성되는 확정 모듈;
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하도록 구성되는 검출 모듈; 을 포함한다.
본 발명의 제 3 측면에 따르면,
하나 또는 복수 개의 프로세서; 및
하나 또는 복수 개의 프로그램을 저장하는 메모리를 포함하는 전자 디바이스를 제공하되,
상기 하나 또는 복수 개의 프로그램이 상기 하나 또는 복수 개의 프로세서에 의해 실행 시 상기 하나 또는 복수 개의 프로세서에 의해 본 출원의 어느 한 실시예에서 서술된 차량 연계 방법을 구현한다.
본 발명의 제 4 측면에 따르면, 컴퓨터 프로그램이 저장되어 있는 저장 매체를 제공하되, 해당 프로그램이 프로세서에 의해 실행 시 본 출원의 어느 한 실시예에서 서술된 차량 연계 방법을 구현한다.
본 발명의 제 5 측면에 따르면, 컴퓨터 프로그램 제품을 제공하되, 상기 컴퓨터 프로그램 제품이 컴퓨터 장치에 의해 실핼 시 본 출원의 어느 한 실시예에서 서술된 차량 연계 방법을 구현한다.
본 발명의 제 6 측면에 따르면, 본 출원의 실시예에서 서술된 상기 전자 디바이스를 포함하는 노변 장치를 제공한다.
본 발명의 제 7 측면에 따르면, 본 출원의 실시예에서 서술된 상기 전자 디바이스를 포함하는 클라우드 제어 플랫폼을 제공한다.
이해해야 할 것은, 본 부분에서 서술되는 내용은 본 발명의 실시예의 핵심 특징 또는 중요한 특징을 명시하려는 것이 아니며, 본 발명의 범위를 한정하려는 것도 아니다. 본 발명의 기타 특징은 아래의 명세서를 통해 용이하게 이해될 수 있을 것이다.
본 출원에 따른 기술은, 종래 기술에서 단일 프레임 영상에 기반하여 연계를 실행하나, 단일 프레임 영상에 한계가 있고, 상이한 관측점에서 수집한 영상을 정확하게 연계시킬 수 없어 연계 성공률이 비교적 낮은 기술적 과제를 해결하였으며, 본 출원에 의해 제공되는 기술 수단에 의하면, 단일 프레임 영상의 비정상으로 인한 연계 착오를 효과적으로 방지할 수 있으므로, 연계 성공률을 향상시킬 수 있다.
도면은 본 발명을 보다 잘 이해하기 위한 것으로, 본 발명은 이에 의해 한정되지 않는다. 여기서,
도 1은 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 1 흐름 개략도이고,
도 2는 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 2 흐름 개략도이고,
도 3은 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 3 흐름 개략도이고,
도 4는 본 출원에 의해 제공되는 차량의 도로 상의 주행 장면을 나타내는 도면이며,
도 5는 본 출원의 실시예에 의해 제공되는 차량 연계 장치의 구조 개략도이고,
도 6은 본 출원의 실시예에 의해 제공되는 검출 모듈의 구조 개략도이고,
도 7은 본 출원의 실시예의 차량 연계 방법을 구현하는 전자 디바이스의 블록도이다.
도 1은 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 1 흐름 개략도이고,
도 2는 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 2 흐름 개략도이고,
도 3은 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 3 흐름 개략도이고,
도 4는 본 출원에 의해 제공되는 차량의 도로 상의 주행 장면을 나타내는 도면이며,
도 5는 본 출원의 실시예에 의해 제공되는 차량 연계 장치의 구조 개략도이고,
도 6은 본 출원의 실시예에 의해 제공되는 검출 모듈의 구조 개략도이고,
도 7은 본 출원의 실시예의 차량 연계 방법을 구현하는 전자 디바이스의 블록도이다.
아래에 도면을 결합하여 본 발명의 예시적 실시예에 대해 설명하되, 여기서, 이해하기 쉽도록, 본 발명의 실시예에 여러 가지 세부 내용이 포함되어 있으나, 단지 예시적인 것일 뿐이라는 것을 이해해야 한다. 이에 따라, 해당 분야 기술자라면 이해할 수 있는 바, 본 발명의 범위 및 기술적 사상을 벗어나지 않는 전제 하에, 본 명세서에서 서술되는 실시예에 대해 각종 변경 및 수정을 실행할 수 있다. 마찬가지로, 명확하고 간명하게 서술하기 위하여, 아래의 서술은 공지된 기능 및 구조에 대한 서술을 생략한다.
실시예 1
도 1은 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 1 흐름 개략도이고, 해당 방법은 차량 연계 장치 또는 전자 디바이스 또는 노변 장치에 의해 실행될 수 있며, 해당 장치 또는 전자 디바이스 또는 노변 장치는 소프트웨어 및/또는 하드웨어 형태로 구현될 수 있고, 해당 장치 또는 전자 디바이스 또는 노변 장치는 임의의 네트워크 통신 기능이 있는 스마트 장치에 집적화될 수 있다. 도 1에서 도시한 바와 같이, 차량 연계 방법은 다음의 단계를 포함할 수 있다.
단계(S101)에서, 각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집한다.
본 단계에서, 각각의 관측점에 대해, 전자 디바이스는 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집할 수 있다. 본 출원에 있어서, 관측점은 여러 가지 영상 수집 장치, 예를 들면, 카메라, 비디오 카메라 등일 수 있다. 상세하게는, 차량 주행 과정에서, 전자 디바이스는 미리 설정된 주기에 따라 해당 차량에 대해 영상을 수집할 수 있되, 예를 들면, 수집하는 주파수는 60Hz일 수 있다.
단계(S102)에서, 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정한다.
본 단계에서, 전자 디바이스는 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정할 수 있다. 상세하게는, 전자 디바이스는 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 각각의 관측점이 각 영상을 수집할 때의 현재 차량의 위치를 확정하고; 그 다음에 각각의 관측점이 각 영상을 수집할 때의 현재 차량의 위치 및 각각의 관측점이 각 영상을 수집하는 시점에 따라, 각 시점에서의 각각의 관측점의 관측 데이터를 확정하며; 여기서, 관측 데이터에 시점과 위치가 포함되며; 나아가 각 시점에서의 각각의 관측점의 관측 데이터에 따라, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 얻는다.
단계(S103)에서, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정한다.
본 단계에서, 전자 디바이스는 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정할 수 있다. 상세하게는, 전자 디바이스는 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스 중의 각 관측 데이터에 따라, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하는지 여부을 검출하고; 만약 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하면, 전자 디바이스는 각 최초 관측 시퀀스의 각 관측 데이터 중의 시점에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 대해 캡쳐 처리를 실행함으로써, 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스를 얻는다.
단계(S104)에서, 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 검출한다.
본 단계에서, 전자 디바이스는 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 검출할 수 있다. 상세하게는, 전자 디바이스는 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이 및 두 관측점마다 관측한 현재 차량의 주행 궤적 사이의 면적을 각각 산출하고; 그 다음에 두 관측점마다 관측한 현재 차량의 주행 궤적 사이의 면적 및 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이에 따라, 두 관측점마다 관측한 현재 차량의 유사도를 각각 산출하며; 나아가 두 관측점마다 관측한 현재 차량의 유사도에 따라, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 검출한다.
본 출원의 실시예에 의해 제공되는 차량 연계 방법은, 각각의 관측점에 대해, 우선 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하고; 그 다음에 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하며; 이어서, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하고; 나아가 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 검출한다. 즉, 본 출원은 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여 차량 연계를 실행할 수 있다. 하지만, 기존의 차량 연계 방법에 있어서, 종래의 연계 방법은 대다수가 단일 프레임 영상에 의해 실행된다. 본 출원은 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기초한 차량 연계의 기술 수단을 사용함으로써, 종래 기술에서 단일 프레임 영상에 기반하여 연계를 실행하나, 단일 프레임 영상에 한계가 있고, 상이한 관측점에서 수집한 영상을 정확하게 연계시킬 수 없어 연계 성공률이 비교적 낮은 기술적 과제를 극복하였고, 본 출원에 의해 제공되는 기술 수단에 의하면, 단일 프레임 영상의 비정상으로 인한 연계 착오를 효과적으로 방지할 수 있으므로, 연계 성공률을 향상시킬 수 있고, 또한 본 출원의 실시예의 기술 수단은 실현하기 간단하고 편리하며, 보급하기 쉬워서, 적용 범위가 넓다.
실시예 2
도 2는 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 2 흐름 개략도이다. 도 2에서 도시한 바와 같이, 차량 연계 방법은 다음의 단계를 포함할 수 있다.
단계(S201)에서, 각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집한다.
단계(S202)에서, 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 각각의 관측점이 각 영상을 수집할 때의 현재 차량의 위치를 확정한다.
본 단계에서, 전자 디바이스는 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 각각의 관측점이 각 영상을 수집할 때의 현재 차량의 위치를 확정할 수 있다. 상세하게는, 전자 디바이스는 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 대해 식별하되, 예를 들면, 전자 디바이스는 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상을 미리 학습시킨 영상 식별 모델에 입력하여, 해당 영상 식별 모델을 통해 각각의 관측점이 각 영상을 수집할 때의 현재 차량의 위치를 확정할 수 있다.
단계(S203)에서, 각각의 관측점이 각 영상을 수집할 때의 현재 차량의 위치 및 각각의 관측점이 각 영상을 수집하는 시점에 따라, 각 시점에서의 각각의 관측점의 관측 데이터를 확정하되, 여기서, 관측 데이터에 시점과 위치가 포함된다.
본 단계에서, 전자 디바이스는 각각의 관측점이 각 영상을 수집할 때의 현재 차량의 위치 및 각각의 관측점이 각 영상을 수집하는 시점에 따라, 각 시점에서의 각각의 관측점의 관측 데이터를 확정할 수 있고, 여기서, 관측 데이터에는 시점과 위치가 포함된다. 상세하게는, 관측점 A에서 각 영상이 수집될 때의 현재 차량의 위치가 A1, A2, A3, ?., An이고, n은 1보다 크거나 같은 자연수라고 가정하면, A1은 관측점 A에서의 제 1 시점의 관측 데이터를 나타내고, A2는 관측점 A에서의 제 2 시점의 관측 데이터를 나타내며, 이와 같이 유추한다.
단계(S204)에서, 각 시점에서의 각각의 관측점의 관측 데이터에 따라, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 얻는다.
단계(S205)에서, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정한다.
단계(S206)에서, 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 검출한다.
본 출원의 실시예에 의해 제공되는 차량 연계 방법은, 우선 각각의 관측점에 대해 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하고; 그 다음에 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하며; 이어서, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하며; 나아가 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 검출한다. 즉, 본 출원은 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여 차량 연계를 실행할 수 있다. 하지만, 기존의 차량 연계 방법에 있어서, 종래의 연계 방법은 대다수가 단일 프레임 영상에 기반하여 실행한다. 본 출원은 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여 차량 연계를 실행할 수 있는 기술 수단을 사용함으로써, 종래 기술에서 단일 프레임 영상에 기반하여 결합을 실행하나, 단일 프레임 영상에 한계가 있고, 상이한 관측점에서 수집한 영상을 정확하게 연계시킬 수 없어 연계 성공률이 비교적 낮은 기술적 과제를 극복하였고, 본 출원에 의해 제공되는 기술 수단에 의하면, 단일 프레임 영상의 비정상으로 인한 연계 착오를 효과적으로 방지할 수 있으므로, 연계 성공률을 향상시킬 수 있고, 또한 본 출원의 실시예의 기술 수단은 실현하기 간단하고 편리하며, 보급하기 쉬워서, 적용 범위가 넓다.
실시예 3
도 3은 본 출원의 실시예에 의해 제공되는 차량 연계 방법의 제 3 흐름 개략도이다. 도 3에서 도시한 바와 같이, 차량 연계 방법은 다음의 단계를 포함할 수 있다.
단계(S301)에서, 각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집한다.
단계(S302)에서, 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정한다.
단계(S303)에서, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정한다.
본 단계에서, 전자 디바이스는 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정할 수 있다. 상세하게는, 전자 디바이스는 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스 중의 각 관측 데이터에 따라, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하는지 여부을 검출하고; 만약 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하면, 전자 디바이스는 각 최초 관측 시퀀스의 각 관측 데이터 중의 시점에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 대해 캡쳐 처리를 실행하고, 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스를 얻는다. 예를 들면, 관측점 A에 대하여, 수집한 최초 관측 시퀀스가 각각 A1, A2, A3, A4, A5, A6, A7, A8, A9, A10이고; 관측점 B에 대하여, 수집한 최초 관측 시퀀스가 각각 B7, B8, B9, B10이라고 가정한다면, 본 단계는 관측점 A에서 수집한 최초 관측 시퀀스에 대해 캡쳐를 실행하여 A7, A8, A9, A10을 얻을 수 있고, 이에 따라 관측점 B에서 수집한 최초 관측 시퀀스와 정렬된다.
단계(S304)에서, 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이 및 두 관측점마다 관측한 현재 차량의 주행 궤적 사이의 면적을 산출한다.
본 단계에서, 전자 디바이스는 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이 및 두 관측점마다 관측한 현재 차량의 주행 궤적 사이의 면적을 각각 산출할 수 있다. 상세하게는, 전자 디바이스는 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이을 산출할 때, 먼저 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에서 각 관측 데이터 중의 위치를 추출하고; 그 다음에 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스 중의 각 관측 데이터 중의 위치에 기반하여, 각각의 관측점에서 관측한 현재 차량의 주행 궤적의 길이를 산출하고; 그 다음에 각각의 관측점에서 관측한 현재 차량의 주행 궤적의 길이에 따라, 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이를 산출할 수 있다. 예를 들면, 관측점 A에서 각 영상이 수집될 때의 현재 차량의 위치가 A1, A2, A3, ?, An이고, n은 1보다 크거나 같은 자연수라고 가정하고; 관측점 B에서 각 영상이 수집될 때의 현재 차량의 위치가 B1, B2, B3, ?, Bm이고, m이 1보다 크거나 같은 자연수라고 가정하면, 관측점 A에서 관측한 현재 차량의 주행 궤적의 길이는 dist(A1, A2, A3, ?, An)으로 나타낼 수 있고; 관측점 B에서 관측한 현재 차량의 주행 궤적의 길이는 dist(B1, B2, B3, ?, Bm)으로 나타낼 수 있으며; 관측점 A과 관측점 B에서 관측한 현재 차량의 주행 궤적의 평균 길이는 Length=[dist(A1, A2, A3, ?, An) + dist (B1, B2, B3, ?, Bm)]/2로 나타낼 수 있다
단계(S305)에서, 두 관측점마다 관측한 현재 차량의 주행 궤적 사이의 면적 및 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이에 따라, 두 관측점마다 관측한 현재 차량의 유사도를 산출한다.
본 단계에서, 전자 디바이스는 두 관측점마다 관측한 현재 차량의 주행 궤적 사이의 면적 및 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이에 따라, 두 관측점마다 관측한 현재 차량의 유사도를 산출할 수 있다. 상세하게는, 두 관측점마다 관측한 현재 차량의 주행 궤적 사이의 면적을 SA이라고 가정하고; 두 관측점마다 관측한 현재 차량의 주행 궤적의 평균 길이를 Length이라고 가정하면, 전자 디바이스는 다음의 공식: Similarity=1-SA/(LengthХLength)에 의해 두 관측점마다 관측한 현재 차량의 유사도를 산출할 수 있다.
단계(S306)에서, 두 관측점마다 관측한 현재 차량의 유사도에 따라, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 각각 검출한다.
도 4는, 본 출원에 의해 제공되는 차량의 도로 상에서의 주행 장면을 나타내는 도면이다. 도 4에서 도시한 바와 같이, 특정된 단일 프레임 상황하에 동일한 차량의 이탈이 비교적 크나, 궤적 유사도는 모두 비교적 높으므로, 면적에 의해 궤적 유사도를 구분하는 방법은 잡음을 제거할 수 있고, 단일 프레임 정보의 불정확성으로 인해 운동 중의 물체와의 연계 착오를 회피할 수 있다.
본 출원의 실시예에 의해 제공되는 차량 연계 방법은, 각각의 관측점에 대해, 우선 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하고; 그 다음에 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하며; 이어서, 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하고; 나아가 현재 차량에 대한 각각 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 현재 차량이 동일한 차량인지 여부를 검출한다. 즉, 본 출원은 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여 차량 연계를 실행할 수 있다. 종래의 차량 연계 방법에 있어서, 종래의 연계 방법은 대다수가 단일 프레임 영상에 의해 실행된다. 이에 따라, 본 출원은 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여 차량 연계를 실행할 수 있는 기술 수단을 사용함으로써, 종래 기술에서 단일 프레임 영상에 기반하여 연계를 실행하나, 단일 프레임 영상에 한계가 있고, 상이한 관측점에서 수집한 영상을 정확하게 결합시킬 수 없어 연계 성공률이 비교적 낮은 기술적 과제를 극복하였고, 본 출원에 의해 제공되는 기술 수단에 의해, 단일 프레임 영상의 비정상으로 인한 연계 착오를 효과적으로 방지할 수 있으므로, 연계 성공률을 향상시킬 수 있고, 또한 본 출원의 실시예의 기술 수단은 실현하기 간단하고 편리하며, 보급하기 쉬워서, 적용 범위가 넓다.
실시예 4
도 5는 본 출원의 실시예에 의해 제공되는 차량 연계 장치의 구조 개략도이다. 도 5에서 도시한 바와 같이, 상기 장치(500)는,
각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하도록 구성되는 수집 모듈(501);
미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하고; 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하도록 구성되는 확정 모듈(502);
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하도록 구성되는 검출 모듈(503); 을 포함한다
나아가, 상기 확정 모듈(502)은, 상세하게, 상기 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 각각의 관측점이 각 영상을 수집할 때의 상기 현재 차량의 위치를 확정하고; 각각의 관측점이 각 영상을 수집할 때의 상기 현재 차량의 위치 및 각각의 관측점이 각 영상을 수집하는 시점에 따라, 각 시점에서의 각각의 관측점의 관측 데이터를 확정하며; 여기서, 상기 관측 데이터에 시점과 위치가 포함되며; 각 시점에서의 각각의 관측점의 관측 데이터에 따라, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 얻도록 구성된다.
나아가, 상기 확정 모듈(502)은, 상세하게, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스 중의 각 관측 데이터에 따라, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하는지 여부를 검출하고; 만약 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하면, 각 최초 관측 시퀀스 중의 각 관측 데이터 중의 시점에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 대해 캡쳐 처리를 실행하고, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 얻도록 구성된다.
도 6은 본 출원의 실시예에 의해 제공되는 검출 모듈의 구조 개략도이다. 도 6에서 도시한 바와 같이, 상기 검출 모듈(503)은,
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이 및 두 관측점마다 관측한 상기 현재 차량의 주행 궤적 사이의 면적을 각각 산출하고; 두 관측점마다 관측한 상기 현재 차량의 주행 궤적 사이의 면적 및 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이에 따라, 두 관측점마다 관측한 상기 현재 차량의 유사도를 각각 산출하도록 구성되는 산출 서브 모듈(5031);
두 관측점마다 관측한 상기 현재 차량의 유사도에 따라, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하도록 구성되는 검출 서브 모듈(5032); 을 포함한다.
나아가, 산출 서브 모듈(5031)은, 상세하게, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에서 각 관측 데이터 중의 위치를 추출하고; 상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여 각 관측 데이터 중의 위치를 추출하며, 각각의 관측점에서 관측한 상기 현재 차량의 주행 궤적의 길이를 산출하고; 각각의 관측점에서 관측한 상기 현재 차량의 주행 궤적의 길이에 따라, 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이를 산출하도록 구성된다.
상술한 차량 연계 장치는 본 출원의 임의의 실시예에 의해 제공되는 방법을 실행 가능하며, 실행하는 방법과 상응되는 기능 모듈 및 유리한 효과를 구비한다. 본 실시예에서 상세하게 설명되지 못한 기술적 세부는 본 출원의 임의의 실시예에 의해 제공되는 차량 연계 방법을 참조한다.
실시예 5
본 발명의 실시예에 따르면, 본 개시는 전자 디바이스, 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 더 제공한다.
도 7은 본 발명의 실시예를 실행 가능하도록 구성되는 예시 전자 디바이스(700)의 예시적 블록도를 도시하였다. 전자 디바이스는 예를 들면, 랩톱 컴퓨터, 탁상용 컴퓨터, 워크 스테이션, 개인 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내려는 것이다. 전자 디바이스는 개인 정보 처리 단말기, 셀룰러 폰, 스마트 폰, 웨어러블 장치 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본 명세서에서 나타내는 구성요소, 이들의 연결 및 관계 및 이들의 기능은 단지 예시 일 뿐이며, 본 명세서에서 설명 및/또는 요구되는 본 발명의 구현을 제한하려는 것은 아니다.
도 7에서 도시한 바와 같이, 디바이스(700)는 읽기 전용 메모리(Read Only Memory, ROM)(702)에 저장되어 있는 컴퓨터 프로그램 또는 저장 유닛(708)으로부터 랜덤 액세스 메모리(Random Access Memory, RAM)(703)에 로딩되는 컴퓨터 프로그램에 따라 여러 가지 적당한 동작 및 처리가 실행 가능한 컴퓨팅 유닛(701)을 포함한다. RAM(703)에는, 디바이스(700)의 조작에 요구되는 여러 가지 프로그램 및 데이터가 저장될 수도 있다. 컴퓨팅 유닛(701), ROM(702)와 RAM(703)는 버스(704)를 통해 상호 연결된다. 입력/출력(I/O) 인터페이스(705)도 버스(704)에 연결된다.
디바이스(700) 내의 복수 개의 구성요소는 I/O인터페이스(705)에 연결되고, 예를 들면, 키보드, 마우스 등 입력 유닛(706); 예를 들면, 다양한 유형의 디스플레이, 스피커 등 출력 유닛(707); 예를 들면, 자기 디스크, 광 디스크 등 저장 유닛(708); 및 예를 들면, 랜 카드, 모뎀, 무선통신 송수신 장치 등 통신 유닛(709); 을 포함한다. 통신 유닛(709)은 디바이스(700)가 인터넷 상의 컴퓨터 네트워크 및/또는 다양한 전기통신 네트워크를 통해 기타 장치와 정보/데이터를 교환할 것을 허용한다.
컴퓨팅 유닛(701)은 처리 및 컴퓨팅 기능이 구비된 다양한 범용 처리 컴포넌트 및/또는 전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(701)의 일부 예시로는, 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 다양한 전용 인공지능(Artificial Intelligence, AI) 컴퓨팅 칩, 다양한 운행 기계 학습 모델 알고리즘의 산출 유닛, 디지털 신호 프로세서(Digital Signal Processor, DSP) 및 임의의 적합한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만 이에 한정되지 않는다. 컴퓨팅 유닛(701)은 상술한 각 방법 및 처리, 예를 들면, 차량 연계 방법을 실행한다. 예를 들면, 일부 실시예에서, 차량 연계 방법은 컴퓨터 소프트웨어 프로그램에 의해 구현 가능하고, 유형적으로 기계 판독 가능 매체, 예를 들면, 저장 유닛(708)에 포함될 수 있다. 일부 실시예에 있어서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(702) 및/또는 통신 유닛(709)에 의해 디바이스(700)에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(703)에 로딩되고 또한 컴퓨팅 유닛(701)에 의해 실행 시, 상술한 차량 연계 방법의 하나 또는 복수 개의 단계를 실행할 수 있다. 선택적으로, 기타 실시예에서, 컴퓨팅 유닛(701)은 기타 임의의 적합한 형태(예를 들면, 펌웨어에 의해)에 의해 차량 연계 방법을 실행하도록 구성될 수 있다.
본 명세서의 상술한 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 현장 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 특정 용도 집적 회로 (Application Specific Integrated Circuit, ASIC), 특정 용도 표준 제품(Application Specific Standard Product, ASSP), 시스템 온 칩(System on Chip) 시스템, 복합 프로그래머블 논리 소자(Complex Programmable Logic Device, CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에 의해 구형될 수 있다. 이들의 다양한 실시형태는, 하나 또는 복수 개의 컴퓨터 프로그램에 실시하는 것을 포함할 수 있으며, 해당 하나 또는 복수 개의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석될 수 있고, 해당 프로그래밍 가능 프로세서는 특정 용도 프로그래밍 가능 프로세서 또는 범용 프로그래밍 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고 또한 데이터 및 명령을 해당 저장 시스템, 해당 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로 전송할 수 있다.
본 발명의 방법를 실시하기 위한 프로그램 코드는 하나 또는 복수 개의 프로그래밍 언어의 임의의 조합에 의해 편성된다. 이들의 프로그램 코드는 범용 컴퓨터, 특정 용도 컴퓨터 또는 기타 프로그래밍 가능 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공되고, 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행 시 흐름도 및/또는 블록도 중에 정한 기능/조작이 구현된다. 프로그램 코드는 장치에 의해 전부가 실행될 수도 있고, 장치에 의해 일부가 실행될 수도 있으며, 독립된 소프트웨어 패키지로서 장치에서 일부 실행되거나 또는 전부 원격 장치에서 일부가 실행되거나, 또는 전부 원격 장치 또는 서버에 의해 전부가 실행될 수도 있다.
본 발명의 명세서에서, 기계 판독 가능 매체는 유형적인 매체일 수 있고, 이는, 명령을 실행하는 시스템, 장치 및 디바이스에 의해 사용되거나 또는 명령을 실행하는 시스템, 장치 또는 디바이스와 결합하여 사용되는 프로그램을 포함하거나 또는 저장할 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자 시스템, 자기 시스템, 광학 시스템, 전자기 시스템, 적외 시스템 또는 반도체 시스템, 장치 또는 디바이스 또는 상술한 내용의 임의의 적합한 조합을 포함할 수 있지만 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 더 구체적인 예로 하나 또는 복수 개의 케이블에 기반한 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그래밍 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 디바이스, 자기 저장 디바이스, 또는 상술한 내용의 임의의 적합한 조합을 포함할 수 있다.
본 명세서에서 서술되는 시스템 및 기술은, 사용자와의 상호 작용을 제공하기 위해, 컴퓨터에서 실시할 수 있고, 해당 컴퓨터에는, 사용자에게 정보를 표시하는 디스플레이 장치, 예를 들면, 음극선관(Cathode-Ray Tube, CRT) 또는 액정 디스플레이 장치(Liquid Crystal Display, LCD) 모니터; 및 키보드 및 위치 지정 장치, 예를 들면, 마우스 또는 트랙볼; 이 구비되며, 사용자는 해당 키보드 및 해당 위치 지정 장치를 통해 컴퓨터에 입력한다. 사용자와의 상호 작용을 제공하기 위해 기타 유형의 장치도 사용할 수 있는바, 예를 들면, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백, 예를 들면, 시각 피드백, 청각 피드백, 또는 촉각 피드백일 수 있고; 또한 음향 입력, 음성 입력 또는 촉각 입력을 포함한 임의의 형태로 사용자의 입력을 수신할 수 있다.
본 명세서에서 서술되는 시스템 및 기술은 백그라운드 구성요소를 포함하는 컴퓨팅 시스템(예를 들면, 데이터 서버), 또는 미들웨어 구성요소를 포함하는 컴퓨팅 시스템(예를 들면, 응용 서버), 또는 프런트 엔드 구성요소를 포함하는 컴퓨팅 시스템(예를 들면, 그래픽 유저 인터페이스 또는 네트워크 브라우저의 사용자 컴퓨터가 구비되고, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 네트워크 브라우저를 통해 본 명세서에서 서술되는 시스템 및 기술의 실시형태와 상호 작용함), 또는 이러한 백그라운드 구성요소, 미들웨어 구성요소 또는 프런트 엔드 구성요소를 임의로 조합한 컴퓨팅 시스템에서 실시된다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면, 통신 네트워크)를 통해 시스템의 구성요소와 상호 연결된다. 통신 네트워크의 예로 근거리 통신망(Local Area Network, LAN), 광역 통신망(Wide Area Network, WAN), 블록체인 네트워크 및 인터넷이 포함된다.
컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 떨어져 있고 또한 통상적으로 통신 네트워크를 통해 상호 작용한다. 상응한 컴퓨터에서 운행하고 또한 서로가 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계를 생성한다. 서버는 클라우드 서버일 수 있고, 이는 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고도 하는바, 클라우드 컴퓨팅 서비스 체계 중의 하나의 호스트 제품으로서, 종래의 물리 호스트와 시각 위치 확인 서비스(Visual Positioning Service, VPS)에 존재하는 관리하기 어렵고, 업무 확장성이 약하는 단점을 해결하였다.
본 출원에서 개시된 실시예에 따르면, 본 개시는 노변 장치 및 클라우드 제어 플랫폼을 더 제공하며, 노변 장치 및 클라우드 제어 플랫폼은 본 출원의 실시예에서 서술된 상기 전자 디바이스를 포함할 수 있다. 해당 노변 장치는 전자 디바이스를 포함하는 외에, 통신 구성요소 등을 더 포함할 수 있으며, 전자 디바이스는 통신 구성요소와 일체로 집적될 수 있고, 분리되어 설치될 수도 있다. 전자 디바이스는 감지 장치(예를 들면 노변 카메라)의 데이터, 예를 들면, 사진 및 동영상 등을 획득함으로써, 동영상 처리 및 데이터 컴퓨팅을 실행할 수 있다.
클라우드 제어 플랫폼은 클라우드에서 처리를 실행하고, 클라우드 제어 플랫폼에 포함된 전자 디바이스는 감지 장치(예를 들면, 노변 카메라)의 데이터, 예를 들면, 사진 및 동영상 등을 획득함으로써, 동영상 처리 및 데이터 컴퓨팅을 실행할 수 있고; 클라우드 제어 플랫폼은 차량 인프라 협력 관리 플랫폼, 엣지(Edge) 컴퓨팅 플랫폼, 클라우드 컴퓨팅 플랫폼, 중앙 시스템, 클라우드 서버 등이라고도 칭할 수 있다.
이해해야 할 것은, 상술한 다양한 형태의 프로세스에 의해 단계의 재배열, 추가 또는 삭제를 실행할 수 있다. 예를 들면, 본 발명에 개시된 각 단계는 병렬로 실행될 수도 있고, 순서대로 실행될 수도 있으며, 상이한 순서로 실행할 수도 있는바, 본 발명에 개시된 기술 수단에 의해 추구하려는 결과를 구현할 수만 있다면, 본 발명은 이에 대해 한정하지 않는다.
상술한 구체적 실시 형태는 본 출원의 보호 범위를 한정하려는 것은 아니다. 해당 분야의 기술자라면 명확해야 할 것은, 본 발명은 설계의 요구 사항 및 기타 요인에 따라, 각종 수정, 조합, 하위 조합 및 대체가 실행될 수 있다. 본 발명의 기술적 사상 및 원칙 내에서 실행된 임의의 수정, 동등 교체 및 개진 등은 모두 본 발명의 보호 범위 내에 속한다.
Claims (16)
- 각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하는 단계;
미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하는 단계;
상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하는 단계;
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하는 단계; 를 포함하며,
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하는 단계는,
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이 및 두 관측점마다 관측한 상기 현재 차량의 주행 궤적 사이의 면적을 각각 산출하는 단계;
두 관측점마다 관측한 상기 현재 차량의 주행 궤적 사이의 면적 및 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이에 따라, 두 관측점마다 관측한 상기 현재 차량의 유사도를 산출하는 단계;
두 관측점마다 관측한 상기 현재 차량의 유사도에 따라, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하는 단계; 를 포함하는 차량 연계 방법. - 제 1 항에 있어서,
상기 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하는 단계는,
상기 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 각각의 관측점이 각 영상을 수집할 때의 상기 현재 차량의 위치를 확정하는 단계;
각각의 관측점이 각 영상을 수집할 때의 상기 현재 차량의 위치 및 각각의 관측점이 각 영상을 수집하는 시점에 따라, 각 시점에서의 각각의 관측점의 관측 데이터를 확정하는 단계, 여기서, 상기 관측 데이터에 시점과 위치가 포함되며;
각 시점에서의 각각의 관측점의 관측 데이터에 따라, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 얻는 단계; 를 포함하는 차량 연계 방법. - 제 1 항에 있어서,
상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하는 단계는,
상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스 중의 각 관측 데이터에 따라, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하는지 여부를 검출하는 단계;
만약 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하면, 각 최초 관측 시퀀스 중의 각 관측 데이터 중의 시점에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 대해 캡쳐 처리를 실행하고, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 얻는 단계; 를 포함하는 차량 연계 방법. - 제 1 항에 있어서,
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이를 산출하는 단계는,
현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에서 각 관측 데이터 중의 위치를 추출하는 단계;
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여 각 관측 데이터 중의 위치를 추출하고, 각각의 관측점에서 관측한 상기 현재 차량의 주행 궤적의 길이를 산출하는 단계;
각각의 관측점에서 관측한 상기 현재 차량의 주행 궤적의 길이에 따라, 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이를 산출하는 단계; 를 포함하는 차량 연계 방법. - 각각의 관측점에 대해, 미리 설정된 주기에 따라 현재 차량의 도로 상의 주행 영상을 수집하도록 구성되는 수집 모듈;
미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 확정하고; 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 확정하도록 구성되는 확정 모듈;
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하도록 구성되는 검출 모듈; 을 포함하며,
상기 검출 모듈은,
상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여, 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이 및 두 관측점마다 관측한 상기 현재 차량의 주행 궤적 사이의 면적을 각각 산출하고, 두 관측점마다 관측한 상기 현재 차량의 주행 궤적 사이의 면적 및 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이에 따라, 두 관측점마다 관측한 상기 현재 차량의 유사도를 산출하도록 구성되는 산출 서브 모듈;
두 관측점마다 관측한 상기 현재 차량의 유사도에 따라, 두 관측점마다 관측한 상기 현재 차량이 동일 차량인지 여부를 검출하도록 구성되는 검출 서브 모듈; 을 포함하는 차량 연계 장치. - 제 5 항에 있어서,
상기 확정 모듈은, 상세하게, 상기 미리 설정된 시간대 내에 각각의 관측점이 수집한 영상에 기반하여, 각각의 관측점이 각 영상을 수집할 때의 상기 현재 차량의 위치를 확정하고, 각각의 관측점이 각 영상을 수집할 때의 상기 현재 차량의 위치 및 각각의 관측점이 각 영상을 수집하는 시점에 따라, 각 시점에서의 각각의 관측점의 관측 데이터를 확정하도록 구성되고, 여기서, 상기 관측 데이터에 시점과 위치가 포함되며, 각 시점에서의 각각의 관측점의 관측 데이터에 따라, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스를 얻는 차량 연계 장치. - 제 5 항에 있어서,
상기 확정 모듈은, 상세하게, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스 중의 각 관측 데이터에 따라, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하는지 여부를 검출하도록 구성되고; 만약 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스가 캡쳐 요건을 만족하면, 각 최초 관측 시퀀스 중의 각 관측 데이터 중의 시점에 기반하여, 상기 현재 차량에 대한 각각의 관측점의 최초 관측 시퀀스에 대해 캡쳐 처리를 실행하고, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스를 얻는 차량 연계 장치. - 제 5 항에 있어서,
상기 산출 서브 모듈은, 상세하게, 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에서 각 관측 데이터 중의 위치를 추출하고, 상기 현재 차량에 대한 각각의 관측점의 타깃 관측 시퀀스에 기반하여 각 관측 데이터 중의 위치를 추출하며, 각각의 관측점에서 관측한 상기 현재 차량의 주행 궤적의 길이를 산출하고, 각각의 관측점에서 관측한 상기 현재 차량의 주행 궤적의 길이에 따라, 두 관측점마다 관측한 상기 현재 차량의 주행 궤적의 평균 길이를 산출하도록 구성되는 차량 연계 장치. - 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리가 포함되고; 여기서,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능하는 명령이 저장되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 적어도 하나의 프로세서가 제 1 항 내지 제 4 항 중의 어느 한 항에 따른 차량 연계 방법을 구현하는 전자 디바이스. - 컴퓨터 명령이 저장되어 있고, 상기 컴퓨터 명령에 의해 상기 컴퓨터가 제 1 항 내지 제 4 항 중의 어느 한 항에 따른 차량 연계 방법을 구현하는, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체.
- 제 9 항에 따른 전자 디바이스를 포함하는 노변 장치.
- 제 9 항에 따른 전자 디바이스를 포함하는 클라우드 제어 플랫폼.
- 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램 중의 컴퓨터 명령이 프로세서에 의해 실행될 경우, 제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 구현하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램. - 삭제
- 삭제
- 삭제
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011520233.6 | 2020-12-21 | ||
CN202011520233.6A CN112507957B (zh) | 2020-12-21 | 2020-12-21 | 一种车辆关联方法、装置、路侧设备及云控平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210125447A KR20210125447A (ko) | 2021-10-18 |
KR102595678B1 true KR102595678B1 (ko) | 2023-10-27 |
Family
ID=74923028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210127050A KR102595678B1 (ko) | 2020-12-21 | 2021-09-27 | 차량 연계 방법, 차량 연계 장치, 노변 장치 및 클라우드 제어 플랫폼 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210390334A1 (ko) |
EP (1) | EP3940667A3 (ko) |
JP (1) | JP7280331B2 (ko) |
KR (1) | KR102595678B1 (ko) |
CN (1) | CN112507957B (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114202912B (zh) * | 2021-11-15 | 2023-08-18 | 新奇点智能科技集团有限公司 | 交通服务提供方法、装置、服务器及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170004386A1 (en) * | 2015-07-02 | 2017-01-05 | Agt International Gmbh | Multi-camera vehicle identification system |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5996903B2 (ja) * | 2012-03-28 | 2016-09-21 | セコム株式会社 | 移動物体追跡装置 |
JP6337344B2 (ja) * | 2012-11-27 | 2018-06-06 | クラウドパーク インコーポレイテッド | 複数のカメラを用いた単一の複数車両用駐車スペースの使用制御 |
CN103927764B (zh) * | 2014-04-29 | 2017-09-29 | 重庆大学 | 一种结合目标信息和运动估计的车辆跟踪方法 |
CN107204114A (zh) * | 2016-03-18 | 2017-09-26 | 中兴通讯股份有限公司 | 一种车辆异常行为的识别方法及装置 |
US10296828B2 (en) * | 2017-04-05 | 2019-05-21 | Here Global B.V. | Learning a similarity measure for vision-based localization on a high definition (HD) map |
CN107545582B (zh) * | 2017-07-04 | 2021-02-05 | 深圳大学 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
TWI617998B (zh) * | 2017-07-18 | 2018-03-11 | Chunghwa Telecom Co Ltd | System and method for car number identification data filtering |
US10599161B2 (en) * | 2017-08-08 | 2020-03-24 | Skydio, Inc. | Image space motion planning of an autonomous vehicle |
CN110874925A (zh) * | 2018-08-31 | 2020-03-10 | 百度在线网络技术(北京)有限公司 | 智能路侧单元及其控制方法 |
CN109118766A (zh) * | 2018-09-04 | 2019-01-01 | 华南师范大学 | 一种基于交通卡口的同行车辆判别方法及装置 |
JP6831117B2 (ja) * | 2018-11-29 | 2021-02-17 | 技研トラステム株式会社 | 移動体追跡方法及びこれに用いる画像処理装置 |
CN109583151B (zh) * | 2019-02-20 | 2023-07-21 | 阿波罗智能技术(北京)有限公司 | 车辆的行驶轨迹预测方法及装置 |
WO2020243484A1 (en) * | 2019-05-29 | 2020-12-03 | Mobileye Vision Technologies Ltd. | Systems and methods for vehicle navigation |
WO2021011617A1 (en) * | 2019-07-15 | 2021-01-21 | Mobileye Vision Technologies Ltd. | Reducing stored parameters for a navigation system |
CN110780289B (zh) * | 2019-10-23 | 2021-07-30 | 北京信息科技大学 | 基于场景雷达的多目标车辆跟踪方法及装置 |
US11125575B2 (en) * | 2019-11-20 | 2021-09-21 | Here Global B.V. | Method and apparatus for estimating a location of a vehicle |
CN111275983B (zh) * | 2020-02-14 | 2022-11-01 | 阿波罗智联(北京)科技有限公司 | 车辆追踪方法、装置、电子设备和计算机可读存储介质 |
CN116783886A (zh) * | 2020-06-25 | 2023-09-19 | 移动眼视觉科技有限公司 | 多相机的基于运动的在线校准 |
CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
WO2022087194A1 (en) * | 2020-10-21 | 2022-04-28 | IAA, Inc. | Automated vehicle condition grading |
-
2020
- 2020-12-21 CN CN202011520233.6A patent/CN112507957B/zh active Active
-
2021
- 2021-08-09 EP EP21190441.2A patent/EP3940667A3/en not_active Ceased
- 2021-08-11 US US17/444,891 patent/US20210390334A1/en not_active Abandoned
- 2021-09-27 KR KR1020210127050A patent/KR102595678B1/ko active IP Right Grant
- 2021-11-02 JP JP2021179818A patent/JP7280331B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170004386A1 (en) * | 2015-07-02 | 2017-01-05 | Agt International Gmbh | Multi-camera vehicle identification system |
Also Published As
Publication number | Publication date |
---|---|
CN112507957B (zh) | 2023-12-15 |
EP3940667A2 (en) | 2022-01-19 |
CN112507957A (zh) | 2021-03-16 |
KR20210125447A (ko) | 2021-10-18 |
US20210390334A1 (en) | 2021-12-16 |
JP7280331B2 (ja) | 2023-05-23 |
JP2022098433A (ja) | 2022-07-01 |
EP3940667A3 (en) | 2022-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7273129B2 (ja) | 車線検出方法、装置、電子機器、記憶媒体及び車両 | |
WO2021031954A1 (zh) | 对象数量确定方法、装置、存储介质与电子设备 | |
CN110675635B (zh) | 相机外参的获取方法、装置、电子设备及存储介质 | |
US11783588B2 (en) | Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform | |
CN112597895B (zh) | 基于偏移量检测的置信度确定方法、路侧设备及云控平台 | |
CN113570610A (zh) | 采用语义分割模型对视频进行目标分割的方法、装置 | |
US20220343636A1 (en) | Method and apparatus for establishing image recognition model, device, and storage medium | |
KR20220126264A (ko) | 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체 | |
CN113326773A (zh) | 识别模型训练方法、识别方法、装置、设备及存储介质 | |
CN112528927A (zh) | 基于轨迹分析的置信度确定方法、路侧设备及云控平台 | |
KR102595678B1 (ko) | 차량 연계 방법, 차량 연계 장치, 노변 장치 및 클라우드 제어 플랫폼 | |
CN111191619A (zh) | 车道线虚线段的检测方法、装置、设备和可读存储介质 | |
CN113989720A (zh) | 目标检测方法、训练方法、装置、电子设备及存储介质 | |
CN116704614B (zh) | 动作识别方法、装置、电子设备和存储介质 | |
KR102604426B1 (ko) | 목표 탐지 신뢰도를 결정하는 방법 및 장치, 전자 기기, 저장 매체, 노변 기기, 클라우드 제어 플랫폼, 컴퓨터 프로그램 제품 | |
CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
CN113780045B (zh) | 用于训练距离预测模型的方法和装置 | |
KR102721493B1 (ko) | 차선 검출 방법, 장치, 전자기기, 저장 매체 및 차량 | |
CN115223374B (zh) | 车辆跟踪方法、装置及电子设备 | |
CN117710459A (zh) | 三维信息的确定方法、装置及计算机程序产品 | |
CN116631148A (zh) | 元宇宙环境下的示警方法、装置以及电子设备 | |
CN118692042A (zh) | 车道线的检测方法、装置、电子设备与可读存储介质 | |
CN114445805A (zh) | 属性识别模型训练、属性识别方法、装置及设备 | |
CN116363400A (zh) | 一种车辆匹配方法、装置、电子设备和存储介质 | |
CN112990045A (zh) | 用于生成图像变化检测模型和图像变化检测的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |