KR102423550B1 - 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치 - Google Patents

자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치 Download PDF

Info

Publication number
KR102423550B1
KR102423550B1 KR1020200021318A KR20200021318A KR102423550B1 KR 102423550 B1 KR102423550 B1 KR 102423550B1 KR 1020200021318 A KR1020200021318 A KR 1020200021318A KR 20200021318 A KR20200021318 A KR 20200021318A KR 102423550 B1 KR102423550 B1 KR 102423550B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
module
traffic law
specific
Prior art date
Application number
KR1020200021318A
Other languages
English (en)
Other versions
KR20210106304A (ko
Inventor
이영석
이학진
Original Assignee
주식회사 오비고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오비고 filed Critical 주식회사 오비고
Priority to KR1020200021318A priority Critical patent/KR102423550B1/ko
Publication of KR20210106304A publication Critical patent/KR20210106304A/ko
Application granted granted Critical
Publication of KR102423550B1 publication Critical patent/KR102423550B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따르면, 주행중인 자율주행차량이 주행경로상에 교통법규위반차량이 존재하는지를 판단하는 방법으로서, (a) 상기 자율주행차량에 (i) 카메라, RADAR, 및 LIDAR 중 적어도 하나를 포함하는 제1 정보획득모듈, (ii) V2X(Vehicle to Everything) 통신모듈을 포함하는 제2 정보획득모듈, 및 (iii) GPS(Global Positioning System)모듈을 포함하는 제3 정보획득모듈이 장착되어 있는 상태에서, 상기 자율주행차량에 대응되는 위반차량판단장치가, (i) 상기 제1 정보획득모듈이 획득한 제1 데이터를 분석하거나 상기 제1 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에서 주행중인 적어도 하나의 타 차량에 대한 검출정보를 획득하는 프로세스, (ii) 상기 제2 정보획득모듈이 획득한 제2 데이터를 분석하거나 상기 제2 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에 존재하는 적어도 하나의 신호등의 신호정보를 획득하는 프로세스, 및 (iii) 상기 제3 정보획득모듈이 획득한 제3 데이터를 분석하거나 상기 제3 정보획득모듈로 하여금 분석하도록 하여 상기 자율주행차량의 제1 위치정보를 획득하는 프로세스를 수행하는 단계; (b) 상기 위반차량판단장치가, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량의 상기 주행경로상에 상기 교통법규위반차량이 존재하는지 판단하는 단계; 및 (c) 상기 교통법규위반차량이 존재하는 경우, 상기 위반차량판단장치가, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 상기 교통법규위반차량과 관련된 특정 검출정보, 특정 신호정보, 및 특정 제1 위치정보를 적어도 포함하는 교통법규위반증거정보를 교통법규위반증거수집모듈로 하여금 저장하고 관리하도록 하는 단계; 를 포함하는 것을 특징으로 하는 방법이 제공된다.

Description

자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치 {METHOD FOR DETERMINING TRAFFIC VIOLATION VEHICLE WHICH EXISTS ON DRIVING ROUTE OF AUTONOMOUS VEHICLE AND THE DEVICE USING THE SAME}
본 발명은 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치에 관한 것이다.
최근 기술의 발전과 더불어 차량의 자율주행을 실현시키기 위한 많은 연구가 이루어지고 있다. 이와 같은 연구의 결과물인 자율주행차량은 다양한 센서 모듈을 탑재하고, 그 각각에서 획득되는 데이터를 실시간으로 분석하여 주행이 이루어지게 된다.
하지만, 자율주행차량은 주변에 주행중인 타 차량들 역시 교통법규를 준수하는 상황이 전제되어야 안전한 주행이 가능하므로, 자율주행차량이 주행하는 과정에서 교통법규를 위반하는 차량이 존재하는지를 판단하고 이에 대처할 수 있도록 하기 위한 방법이 필수적으로 요구된다.
선행기술문헌(한국특허등록공보 제10-1690206호)을 보면, 블랙박스를 사용하여 교통법규 위반 정보를 획득하고, 해당 정보를 바탕으로 교통법규 위반 신고가 이루어질 수 있는 발명이 개시되어 있다.
하지만, 상기 선행기술문헌에서는, 운전자가 교통법규 위반 상황을 발견하면 그에 대한 정보를 수동으로 저장하는 경우를 전제로 하고 있으므로, 본 발명과 같이 자율주행차량이 교통법규 위반 차량이 존재하는지의 여부를 판단해야 하는 경우에는 적용할 수 없는 한계가 존재한다.
따라서, 본 발명은 자율주행차량에도 적용할 수 있는 교통법규위반차량 판단 방법을 제공함을 목적으로 한다.
또한, 본 발명은, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위하여, 자율주행차량에 장착된 복수개의 센서 모듈들로부터 종류별로 정보를 획득하고 사용하는 방법을 제공함을 다른 목적으로 한다.
또한, 본 발명은, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위하여, 상황에 따라 적절한 알고리즘을 선택적으로 사용하는 방법을 제공함으로써 효과적인 판단이 이루어질 수 있도록 하는 것을 다른 목적으로 한다.
또한, 본 발명은, 자율주행차량의 주행경로상에 존재하는 교통법규위반차량에 대한 정보를 단속기관에 자동으로 리포트하는 방법을 제공하는 것을 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 주행중인 자율주행차량이 주행경로상에 교통법규위반차량이 존재하는지를 판단하는 방법으로서, (a) 상기 자율주행차량에 (i) 카메라, RADAR, 및 LIDAR 중 적어도 하나를 포함하는 제1 정보획득모듈, (ii) V2X(Vehicle to Everything) 통신모듈을 포함하는 제2 정보획득모듈, 및 (iii) GPS(Global Positioning System)모듈을 포함하는 제3 정보획득모듈이 장착되어 있는 상태에서, 상기 자율주행차량에 대응되는 위반차량판단장치가, (i) 상기 제1 정보획득모듈이 획득한 제1 데이터를 분석하거나 상기 제1 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에서 주행중인 적어도 하나의 타 차량에 대한 검출정보를 획득하는 프로세스, (ii) 상기 제2 정보획득모듈이 획득한 제2 데이터를 분석하거나 상기 제2 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에 존재하는 적어도 하나의 신호등의 신호정보를 획득하는 프로세스, 및 (iii) 상기 제3 정보획득모듈이 획득한 제3 데이터를 분석하거나 상기 제3 정보획득모듈로 하여금 분석하도록 하여 상기 자율주행차량의 제1 위치정보를 획득하는 프로세스를 수행하는 단계; (b) 상기 위반차량판단장치가, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량의 상기 주행경로상에 상기 교통법규위반차량이 존재하는지 판단하는 단계; 및 (c) 상기 교통법규위반차량이 존재하는 경우, 상기 위반차량판단장치가, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 상기 교통법규위반차량과 관련된 특정 검출정보, 특정 신호정보, 및 특정 제1 위치정보를 적어도 포함하는 교통법규위반증거정보를 교통법규위반증거수집모듈로 하여금 저장하고 관리하도록 하는 단계; 를 포함하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 제1 정보획득모듈은 카메라모듈을 포함하고, 상기 카메라모듈로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 상기 위반차량판단장치가, 상기 이미지 데이터에 대하여 상기 위반차량판단장치와 연동된 딥러닝모듈로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 타 차량을 검출하도록 하되, 상기 위반차량판단장치는, (i) 상기 이미지 데이터의 전체 영역 중 특정 단위면적영역 내에 제1 임계치 이상의 개수에 해당되는 상기 타 차량이 존재하는 경우에는 상기 이미지 오브젝트 디텍션 알고리즘으로서 SSD(Single Shot Multibox Detector)가 사용될 수 있도록 지원하고, (ii) 상기 이미지 데이터의 전체 영역에 상기 타 차량이 상기 제1 임계치 이상 존재하는 상기 특정 단위면적영역이 존재하지 않는 경우에는 상기 이미지 오브젝트 디텍션 알고리즘으로서 YOLO(You Only Look Once)가 사용될 수 있도록 지원하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 제1 정보획득모듈은 카메라모듈을 포함하고, 상기 카메라모듈로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 상기 위반차량판단장치가, 상기 이미지 데이터에 대하여 상기 위반차량판단장치와 연동된 딥러닝모듈로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 타 차량을 검출하도록 하되, 상기 (a) 단계 이전에, 상기 위반차량판단장치가, 소정의 학습데이터를 사용하여 상기 딥러닝 모듈의 학습을 수행하는 것을 특징으로 하고, 상기 딥러닝 모듈의 상기 학습은, 상기 클래스 예측값이 제2 임계치 미만의 정답률이 도출되는 적어도 하나의 특정 제1 클래스에 대하여는 가중치가 증가되도록 하고, 상기 클래스 예측값이 상기 제2 임계치 이상의 정답률이 도출되는 적어도 하나의 특정 제2 클래스에 대하여는 가중치가 감소되도록 하는 focal loss를 사용하여 로스값을 산출하고, 상기 로스값이 최소화되도록 백프로퍼게이션을 수행하여 상기 딥러닝 모듈에 포함된 복수개의 파라미터를 최적화하는 과정을 반복하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 제1 정보획득모듈은 카메라모듈, RADAR모듈, 및 LIDAR모듈 중 적어도 둘 이상을 포함하고, 상기 (a) 단계에서, 상기 위반차량판단장치가, 상기 제1 정보획득모듈 각각으로부터 획득되는 상기 타 차량의 검출정보 각각을 칼만 필터 기반의 센서 퓨전 알고리즘을 사용하여 융합하되, (i) 상기 센서 퓨전 알고리즘을 적용하는 환경 팩터 중 시간 팩터의 가중치가 높은 것으로 판단되는 상황에서는 EKF(Extended Kalman Filter) 알고리즘이 사용될 수 있도록 지원하고, (ii) 상기 센서 퓨전 알고리즘을 적용하는 상기 환경 팩터 중 정확도 팩터의 가중치가 높은 것으로 판단되는 상황에서는 UKF(Unscented Kalman Filter) 알고리즘이 사용될 수 있도록 지원하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 (b) 단계에서, 상기 위반차량판단장치는, (i) 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량 및 상기 타 차량 각각의 동적 주행정보를 소정의 지도데이터와 연동시킨 제1 LDM(Local Dynamic Map)을 생성하는 프로세스; (ii) 상기 타 차량 각각에 의하여 생성된 제2 LDM 각각을 상기 V2X 통신모듈을 사용하여 획득하는 프로세스; 및 (iii) 상기 제1 LDM 및 상기 제2 LDM 각각을 결합하여 하나의 확장맵(Expanded Map)을 생성하는 프로세스; 를 수행하는 것을 특징으로 하며, 상기 위반차량판단장치가, 상기 확장맵을 추가로 참조하여, 상기 교통법규위반차량이 존재하는지를 판단하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 위반차량판단장치가, 상기 제1 LDM 및 상기 제2 LDM 각각을 결합함에 있어, 상기 타 차량 중 위치좌표가 동일하지 않은 특정 타 차량이 존재하는 경우, MLE(Maximum Likelihood Estimation) 기법을 통해 하나의 절대위치좌표로 보정하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 (a) 단계에서, 상기 위반차량판단장치는, 상기 V2X 통신모듈로 하여금 상기 자율주행차량의 주변에 위치한 적어도 하나의 상기 신호등 각각과 연동된 RSU(Rode Side Unit) 각각으로부터 SPAT(Signal Phase and Timing) 메시지 각각을 제2-1 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 신호정보를 획득하는 것을 특징으로 하고, 상기 위반차량판단장치는, 상기 V2X 통신모듈로 하여금 상기 타 차량 각각으로부터 상기 타 차량 각각의 BSM(Basic Safety Message)를 제2-2 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 타 차량 각각의 주행정보 각각을 추가로 획득하는 것을 특징으로 하며, 상기 (b) 단계에서, 상기 위반차량판단장치는, 상기 타 차량 각각의 상기 주행정보 각각을 추가로 참조하여, 상기 타 차량 중 상기 자율주행차량의 상기 주행경로상에서 충돌할 것으로 예상되는 특정 충돌예상 타 차량이 존재하는지 판단하고, 상기 특정 충돌예상 타 차량이 존재하는 경우 이를 상기 교통법규위반차량으로 결정하는 것을 특징으로 하고, 상기 (c) 단계에서, 상기 교통법규위반증거정보는, 상기 타 차량 각각의 상기 주행정보 각각 중 상기 교통법규위반차량에 대응되는 특정 주행정보를 추가로 포함하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 V2X 통신모듈을 사용하여 상기 타 차량 각각의 상기 BSM 각각을 수신할 수 있는 경우, 상기 위반차량판단장치가, 상기 BSM에 포함된 요 레이트(yaw rate)값이 일정함을 전제로 하는 등선회율및등가속도(Constant Turn Rate and Acceleration, CTRA)모델을 사용하여 상기 타 차량 각각의 경로를 예측하여, 상기 타 차량 각각이 상기 자율주행차량과 충돌할 위험이 있는지를 판단하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 (c) 단계 이후에, (d) 상기 위반차량판단장치가, 상기 교통법규위반증거수집모듈로 하여금 상기 교통법규위반차량에 대응되는 상기 교통법규위반증거정보를 리포트모듈로 전송하도록 하여, 상기 리포트모듈로 하여금 복수의 단속기관 중 상기 교통법규위반차량의 교통법규위반유형에 대응되는 특정 단속기관에 상기 교통법규위반증거정보 중 적어도 일부를 리포트하도록 지원하는 단계; 를 더 포함하는 것을 특징으로 하는 방법이 제공된다.
일례로서, 상기 리포트모듈은, 상기 단속기관 각각으로부터 제공되는 교통법규위반신고 인터페이스 각각에 대한 정보를 사전에 저장하고 있는 것을 특징으로 하고, 상기 위반차량판단장치가, 상기 리포트모듈로 하여금 상기 특정 단속기관으로부터 제공되는 특정 교통법규위반신고 인터페이스를 통하여 상기 교통법규위반증거정보 중 상기 특정 교통법규위반신고 인터페이스에 입력가능한 특정 교통법규위반증거정보를 자동으로 입력하도록 하여 리포트하도록 지원하는 것을 특징으로 하는 방법이 제공된다.
또한, 본 발명의 다른 태양에 따르면, 주행중인 자율주행차량이 주행경로상에 교통법규위반차량이 존재하는지를 판단하는 위반차량판단장치로서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서; 를 포함하고, 상기 프로세서가, (I) 상기 자율주행차량에 (i) 카메라, RADAR, 및 LIDAR 중 적어도 하나를 포함하는 제1 정보획득모듈, (ii) V2X(Vehicle to Everything) 통신모듈을 포함하는 제2 정보획득모듈, 및 (iii) GPS(Global Positioning System)모듈을 포함하는 제3 정보획득모듈이 장착되어 있는 상태에서, (i) 상기 제1 정보획득모듈이 획득한 제1 데이터를 분석하거나 상기 제1 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에서 주행중인 적어도 하나의 타 차량에 대한 검출정보를 획득하는 서브프로세스, (ii) 상기 제2 정보획득모듈이 획득한 제2 데이터를 분석하거나 상기 제2 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에 존재하는 적어도 하나의 신호등의 신호정보를 획득하는 서브프로세스, 및 (iii) 상기 제3 정보획득모듈이 획득한 제3 데이터를 분석하거나 상기 제3 정보획득모듈로 하여금 분석하도록 하여 상기 자율주행차량의 제1 위치정보를 획득하는 서브프로세스를 수행하는 프로세스; (II) 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량의 상기 주행경로상에 상기 교통법규위반차량이 존재하는지 판단하는 프로세스; 및 (III) 상기 교통법규위반차량이 존재하는 경우, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 상기 교통법규위반차량과 관련된 특정 검출정보, 특정 신호정보, 및 특정 제1 위치정보를 적어도 포함하는 교통법규위반증거정보를 교통법규위반증거수집모듈로 하여금 저장하고 관리하도록 하는 프로세스; 를 수행하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 제1 정보획득모듈은 카메라모듈을 포함하고, 상기 카메라모듈로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 상기 프로세서가, 상기 이미지 데이터에 대하여 상기 위반차량판단장치와 연동된 딥러닝모듈로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 타 차량을 검출하도록 하되, 상기 프로세서는, (i) 상기 이미지 데이터의 전체 영역 중 특정 단위면적영역 내에 제1 임계치 이상의 개수에 해당되는 상기 타 차량이 존재하는 경우에는 상기 이미지 오브젝트 디텍션 알고리즘으로서 SSD(Single Shot Multibox Detector)가 사용될 수 있도록 지원하고, (ii) 상기 이미지 데이터의 전체 영역에 상기 타 차량이 상기 제1 임계치 이상 존재하는 상기 특정 단위면적영역이 존재하지 않는 경우에는 상기 이미지 오브젝트 디텍션 알고리즘으로서 YOLO(You Only Look Once)가 사용될 수 있도록 지원하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 제1 정보획득모듈은 카메라모듈을 포함하고, 상기 카메라모듈로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 상기 프로세서가, 상기 이미지 데이터에 대하여 상기 위반차량판단장치와 연동된 딥러닝모듈로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 타 차량을 검출하도록 하되, 상기 (I) 프로세스 이전에, 상기 프로세서가, 소정의 학습데이터를 사용하여 상기 딥러닝 모듈의 학습을 수행하는 것을 특징으로 하고, 상기 딥러닝 모듈의 상기 학습은, 상기 클래스 예측값이 제2 임계치 미만의 정답률이 도출되는 적어도 하나의 특정 제1 클래스에 대하여는 가중치가 증가되도록 하고, 상기 클래스 예측값이 상기 제2 임계치 이상의 정답률이 도출되는 적어도 하나의 특정 제2 클래스에 대하여는 가중치가 감소되도록 하는 focal loss를 사용하여 로스값을 산출하고, 상기 로스값이 최소화되도록 백프로퍼게이션을 수행하여 상기 딥러닝 모듈에 포함된 복수개의 파라미터를 최적화하는 과정을 반복하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 제1 정보획득모듈은 카메라모듈, RADAR모듈, 및 LIDAR모듈 중 적어도 둘 이상을 포함하고, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 제1 정보획득모듈 각각으로부터 획득되는 상기 타 차량의 검출정보 각각을 칼만 필터 기반의 센서 퓨전 알고리즘을 사용하여 융합하되, (i) 상기 센서 퓨전 알고리즘을 적용하는 환경 팩터 중 시간 팩터의 가중치가 높은 것으로 판단되는 상황에서는 EKF(Extended Kalman Filter) 알고리즘이 사용될 수 있도록 지원하고, (ii) 상기 센서 퓨전 알고리즘을 적용하는 상기 환경 팩터 중 정확도 팩터의 가중치가 높은 것으로 판단되는 상황에서는 UKF(Unscented Kalman Filter) 알고리즘이 사용될 수 있도록 지원하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 (II) 프로세스에서, 상기 프로세서는, (i) 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량 및 상기 타 차량 각각의 동적 주행정보를 소정의 지도데이터와 연동시킨 제1 LDM(Local Dynamic Map)을 생성하는 프로세스; (ii) 상기 타 차량 각각에 의하여 생성된 제2 LDM 각각을 상기 V2X 통신모듈을 사용하여 획득하는 프로세스; 및 (iii) 상기 제1 LDM 및 상기 제2 LDM 각각을 결합하여 하나의 확장맵(Expanded Map)을 생성하는 프로세스; 를 수행하는 것을 특징으로 하며, 상기 프로세서가, 상기 확장맵을 추가로 참조하여, 상기 교통법규위반차량이 존재하는지를 판단하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 프로세서가, 상기 제1 LDM 및 상기 제2 LDM 각각을 결합함에 있어, 상기 타 차량 중 위치좌표가 동일하지 않은 특정 타 차량이 존재하는 경우, MLE(Maximum Likelihood Estimation) 기법을 통해 하나의 절대위치좌표로 보정하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 V2X 통신모듈로 하여금 상기 자율주행차량의 주변에 위치한 적어도 하나의 상기 신호등 각각과 연동된 RSU(Rode Side Unit) 각각으로부터 SPAT(Signal Phase and Timing) 메시지 각각을 제2-1 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 신호정보를 획득하는 것을 특징으로 하고, 상기 프로세서는, 상기 V2X 통신모듈로 하여금 상기 타 차량 각각으로부터 상기 타 차량 각각의 BSM(Basic Safety Message)를 제2-2 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 타 차량 각각의 주행정보 각각을 추가로 획득하는 것을 특징으로 하며, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 타 차량 각각의 상기 주행정보 각각을 추가로 참조하여, 상기 타 차량 중 상기 자율주행차량의 상기 주행경로상에서 충돌할 것으로 예상되는 특정 충돌예상 타 차량이 존재하는지 판단하고, 상기 특정 충돌예상 타 차량이 존재하는 경우 이를 상기 교통법규위반차량으로 결정하는 것을 특징으로 하고, 상기 (III) 프로세스에서, 상기 교통법규위반증거정보는, 상기 타 차량 각각의 상기 주행정보 각각 중 상기 교통법규위반차량에 대응되는 특정 주행정보를 추가로 포함하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 V2X 통신모듈을 사용하여 상기 타 차량 각각의 상기 BSM 각각을 수신할 수 있는 경우, 상기 프로세서가, 상기 BSM에 포함된 요 레이트(yaw rate)값이 일정함을 전제로 하는 등선회율및등가속도(Constant Turn Rate and Acceleration, CTRA)모델을 사용하여 상기 타 차량 각각의 경로를 예측하여, 상기 타 차량 각각이 상기 자율주행차량과 충돌할 위험이 있는지를 판단하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 (III) 프로세스 이후에, (IV) 상기 프로세서가, 상기 교통법규위반증거수집모듈로 하여금 상기 교통법규위반차량에 대응되는 상기 교통법규위반증거정보를 리포트모듈로 전송하도록 하여, 상기 리포트모듈로 하여금 복수의 단속기관 중 상기 교통법규위반차량의 교통법규위반유형에 대응되는 특정 단속기관에 상기 교통법규위반증거정보 중 적어도 일부를 리포트하도록 지원하는 프로세스; 를 더 수행하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
일례로서, 상기 리포트모듈은, 상기 단속기관 각각으로부터 제공되는 교통법규위반신고 인터페이스 각각에 대한 정보를 사전에 저장하고 있는 것을 특징으로 하고, 상기 프로세서가, 상기 리포트모듈로 하여금 상기 특정 단속기관으로부터 제공되는 특정 교통법규위반신고 인터페이스를 통하여 상기 교통법규위반증거정보 중 상기 특정 교통법규위반신고 인터페이스에 입력가능한 특정 교통법규위반증거정보를 자동으로 입력하도록 하여 리포트하도록 지원하는 것을 특징으로 하는 위반차량판단장치가 제공된다.
본 발명에 의하면, 다음과 같은 효과가 있다.
본 발명은, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위하여, 자율주행차량에 장착된 복수개의 센서 모듈들로부터 종류별로 정보를 획득하고 사용하도록 할 수 있다.
또한, 본 발명은, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위하여, 상황에 따라 적절한 알고리즘을 선택적으로 사용하도록 할 수 있다.
또한, 본 발명은, 자율주행차량의 주행경로상에 존재하는 교통법규위반차량에 대한 정보가 단속기관에 자동으로 리포트될 수 있도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 위반차량판단장치를 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 위반차량판단장치가 운용되는 전체 시스템을 개략적으로 나타내는 도면이다.
도 3a는 본 발명의 일 실시예에 따른, 자율주행차량이 주행 중에 주변의 신호등 및 타 차량들과 통신을 수행하는 상황을 개략적으로 나타내는 도면이다.
도 3b는 본 발명의 일 실시예에 따른, 자율주행차량의 주행경로상에서 교통법규를 위반하여 충돌 위험을 유발할 수 있는 특정 충돌위험 타 차량이 존재하는 경우를 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른, 교통법규위반증거정보가 리포트될 수 있는 특정 단속기관의 특정 교통법규위반신고 인터페이스를 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.
또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 위반차량판단장치를 개략적으로 나타내는 도면이다.
도 1을 참조하면, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 위반차량판단장치(100)는 메모리(101) 및 프로세서(102)를 포함할 수 있다. 이 때, 메모리(101)는, 프로세서(102)의 인스트럭션들을 저장할 수 있는데, 구체적으로, 인스트럭션들은 위반차량판단장치(100)로 하여금 특정의 방식으로 기능하게 하기 위한 목적으로 생성되는 코드로서, 컴퓨터 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 인스트럭션들은 본 발명의 명세서에서 설명되는 기능들을 실행하기 위한 프로세스들을 수행할 수 있다.
그리고, 프로세서(102)는, MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 포함할 수 있다.
다음으로, 위반차량판단장치(100)는 교통법규위반차량을 판단하는 데 사용되는 정보가 저장되는 데이터베이스(미도시)와 연동될 수 있다. 이 때, 데이터베이스는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(ReadOnly Memory, ROM), EEPROM(Electrically Erasable Programmable ReadOnly Memory), PROM(Programmable ReadOnly Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있으며, 이에 한정되지 않으며 데이터를 저장할 수 있는 모든 매체를 포함할 수 있다. 또한, 데이터베이스는 위반차량판단장치(100)의 내부에 설치되어 데이터를 전송하거나 수신되는 데이터를 기록할 수도 있으며, 이는 발명의 실시 조건에 따라 달라질 수 있다.
도 2는 본 발명의 일 실시예에 따른, 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 위반차량판단장치가 운용되는 전체 시스템을 개략적으로 나타내는 도면이다.
도 2를 참조하면, 자율주행차량에 대응되는 위반차량판단장치(100)는, 상기 자율주행차량에 장착된 (i) 카메라(111), RADAR(112), 및 LIDAR(113) 중 적어도 하나를 포함하는 제1 정보획득모듈(110), (ii) V2X(Vehicle to Everything) 통신모듈(121)을 포함하는 제2 정보획득모듈(120), 및 (iii) GPS(Global Positioning System)모듈(131)을 포함하는 제3 정보획득모듈(130) 각각과 연동될 수 있다. 이 때, 위반차량판단장치(100)는 (i) 제1 정보획득모듈(110)이 획득한 제1 데이터를 분석하거나 제1 정보획득모듈(110)로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에서 주행중인 적어도 하나의 타 차량에 대한 검출정보를 획득하는 프로세스, (ii) 제2 정보획득모듈(120)이 획득한 제2 데이터를 분석하거나 제2 정보획득모듈(120)로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에 존재하는 적어도 하나의 신호등의 신호정보를 획득하는 프로세스, 및 (iii) 상기 제3 정보획득모듈(130)이 획득한 제3 데이터를 분석하거나 상기 제3 정보획득모듈(130)로 하여금 분석하도록 하여 상기 자율주행차량의 제1 위치정보를 획득하는 프로세스를 수행할 수 있다.
그런 다음, 위반차량판단장치(100)가, 획득된 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지 판단할 수 있다. 예를 들어, 위반차량판단장치(100)는, 상기 자율주행차량의 주행경로상에 존재하는 특정 신호등의 신호정보가 정지신호에 해당되는 경우에, 상기 자율주행차량의 앞에서 검출된 특정 타 차량이 정지하지 않고 계속 전진하는 경우 해당 특정 타 차량이 신호를 위반한 것으로 판단할 수 있다. 이와 같이 위반차량판단장치(100)가 교통법규위반차량의 존재 여부를 판단하는 구체적인 방법은 어느 하나로 한정되는 것은 아니며, 발명의 실시 조건에 따라 다르게 이루어질 수 있다.
그리고, 위반차량판단장치(100)는, 상기 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는 경우, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 해당 교통법규위반차량과 관련된 특정 검출정보, 특정 신호정보, 및 특정 제1 위치정보를 적어도 포함하는 교통법규위반증거정보를 교통법규위반증거수집모듈(150)로 하여금 저장하고 관리하도록 할 수 있다. 이 때, 상기 교통법규위반증거수집모듈에는, 상기 교통법규위반차량에 대한 정보와 상기 교통법규위반증거정보가 서로 대응되도록 저장되고 관리될 수 있으며, 소정의 무결성 확인을 수행하여 정상적이지 않은 정보는 삭제하거나 별도로 관리되도록 할 수도 있다.
그리고 나서, 발명의 일 예로서, 위반차량판단장치(100)가, 교통법규위반증거수집모듈(150)로 하여금 상기 교통법규위반차량에 대응되는 교통법규위반증거정보를 리포트모듈(160)로 전송하도록 하여, 리포트모듈(160)로 하여금 복수의 단속기관(200-1, 200-2, ...) 중 상기 교통법규위반차량의 교통법규위반유형에 대응되는 특정 단속기관에 교통법규위반증거정보 중 적어도 일부를 리포트하도록 지원할 수 있다. 이 때, 리포트모듈(160)은, 단속기관(200-1, 200-2, ...) 각각으로부터 제공되는 교통법규위반신고 인터페이스 각각에 대한 정보를 사전에 저장하고 있을 수 있고, 위반차량판단장치(100)가, 리포트모듈(160)로 하여금 특정 단속기관으로부터 제공되는 특정 교통법규위반신고 인터페이스를 통하여 교통법규위반증거정보 중 특정 교통법규위반신고 인터페이스에 입력가능한 특정 교통법규위반증거정보를 자동으로 입력하도록 하여 리포트하도록 지원할 수 있다.
이 때, 리포트모듈(160)은 자율주행차량의 내부에 설치되어, 자율주행차량의 주행 중에 무선 네트워크에 접속하여 실시간으로 리포트가 이루어질 수 있도록 할 수 있으나, 이에 한정되는 것은 아니며, 발명의 실시 조건에 따라 리포트 모듈(160)이 리포트를 수행하는 방식은 다르게 이루어질 수도 있다. 예를 들어, 무선 네트워크의 부하를 줄이기 위하여, 자율주행차량의 주행중에는 리포트 모듈(160)이 리포트 준비만을 하고 있다가, 자율주행차량의 주행이 끝난 후 유선 네트워크에 리포트 모듈(160)이 접속되면 리포트를 수행하도록 할 수도 있고, 이와는 달리 리포트 모듈(160) 자체가 자율주행차량의 내부가 아닌 외부의 특정 장소에 설치되어 리포트가 수행될 수도 있다.
도 4에는, 본 발명의 일 실시예에 따른, 교통법규위반증거정보가 리포트될 수 있는 특정 단속기관의 특정 교통법규위반신고 인터페이스가 예시적으로 도시되어 있다. 구체적으로, 도 4에 도시된 특정 교통법규위반신고 인터페이스는 경찰청의 스마트 국민제보 사이트(https://onetouch.police.go.kr)에서 제공되는 것으로서, 신고가능한 위반항목, 위반일자, 위반장소, 위반차량정보 및 이를 증명할 수 있는 첨부파일 등이 입력될 수 있음을 확인할 수 있고, 이와 같이 입력될 수 있는 정보의 종류 및 접속에 필요한 계정정보 등의 정보가 사전에 리포트모듈(160)에 저장되어, 해당 사이트로의 접속 및 정보 입력이 자동으로 이루어질 수 있다.
다시 도 2로 돌아와서, 발명의 다른 일 예로서, 제1 정보획득모듈(110)이 카메라모듈(111)을 포함하고, 카메라모듈(111)로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 위반차량판단장치(100)가, 획득된 이미지 데이터에 대하여 위반차량판단장치(100)와 연동된 딥러닝모듈(140)로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 자율주행차량 주변의 타 차량을 검출하도록 할 수 있다. 이 때, 상기 딥러닝모듈(140)은 상황에 따라 선택적으로 사용될 수 있는 여러 종류의 오브젝트 디텍션 알고리즘을 포함하고 있을 수 있는데, 주행중인 자율주행차량에서 획득되는 주행 이미지에 대한 이미지 오브젝트 디텍션은 속도에 보다 중점을 둔 이미지 오브젝트 디텍션 알고리즘이 사용될 필요가 있다. 따라서, 본 발명에서는 단일 단계(one-stage)의 이미지 오브젝트 디텍션 알고리즘인 YOLO(You Only Look Once), SSD(Single Shot Multibox Detector), 및 RetinaNet이 상황에 따라 선택적으로 사용될 수 있음을 기술하였다. 하지만, 본 발명에서 명시한 알고리즘만을 사용하는 것으로 한정되지는 않으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다른 이미지 오브젝트 디텍션 알고리즘이 채택되어 사용될 수도 있다.
구체적으로, 위반차량판단장치(100)는 (i) 카메라모듈(111)로부터 획득된 이미지 데이터의 전체 영역 중 특정 단위면적영역 내에 제1 임계치 이상의 개수에 해당되는 타 차량이 존재하는 경우에는 이미지 오브젝트 디텍션 알고리즘으로서 SSD(Single Shot Multibox Detector)가 사용될 수 있도록 지원하고, (ii) 상기 이미지 데이터의 전체 영역에 타 차량이 상기 제1 임계치 이상 존재하는 특정 단위면적영역이 존재하지 않는 경우에는 이미지 오브젝트 디텍션 알고리즘으로서 YOLO(You Only Look Once)가 사용될 수 있도록 지원할 수 있다. 이는, YOLO 알고리즘이 처리속도가 빠른 장점이 있는 반면, 이미지 데이터의 특정 단위영역에 복수개의 오브젝트가 모여있으면 검출이 힘든 단점이 있기 때문이다. 예를 들어, 소정의 제1 임계치가 5개의 객체로 설정되어 있고, 이미지 데이터가 10x10 영역으로 나누어져 그 중 하나의 단위영역에 10개의 타 차량에 해당되는 오브젝트가 모여있는 경우, 해당 이미지 데이터는 YOLO 알고리즘으로 이미지 오브젝트 디텍션을 수행하더라도 그 성능이 떨어질 가능성이 높으므로, YOLO 대신 SSD를 사용하여 이미지 오브젝트 디텍션을 수행하도록 할 수 있다. 이 때, SSD 알고리즘은 YOLO 알고리즘에 비하여 처리속도는 약간 느리지만 정확도가 보다 높고, 다양한 스케일의 오브젝트가 이미지 데이터에 포함되어 있는 경우에도 효과적으로 객체의 검출이 가능한 장점을 가지고 있다.
또한, 발명의 다른 일 예로서, 이미지 오브젝트 디텍션 알고리즘으로서 focal loss 개념이 적용된 RetinaNet이 사용될 수 있다. 이러한 경우, 위반차량판단장치(100)는 소정의 학습데이터를 사용하여 상기 딥러닝 모듈의 학습을 수행하는 과정에서, 이미지 데이터에 포함된 오브젝트에 대하여 클래스 예측값이 제2 임계치 미만의 정답률이 도출되는 적어도 하나의 특정 제1 클래스에 대하여는 가중치가 증가되도록 하고, 클래스 예측값이 임계치 이상의 정답률이 도출되는 적어도 하나의 특정 제2 클래스에 대하여는 가중치가 감소되도록 하는 focal loss를 사용하여 로스값을 산출하고, 상기 로스값이 최소화되도록 백프로퍼게이션을 수행하여 상기 딥러닝 모듈에 포함된 복수개의 파라미터를 최적화하는 과정을 반복할 수 있다. 이 때, 클래스 예측값의 정답률은, 이미지 데이터에 포함된 오브젝트가 해당 클래스의 오브젝트인지 예측한 확률값이 정답에 가깝게 예측한 정도를 의미하는데, 예를 들어, 딥러닝 모듈(140)이 이미지 데이터에 포함된 특정 타 차량에 해당되는 오브젝트를 검출하고, 그에 대하여'차량' 클래스 예측값이 1에 가까운 값을 반복적으로 도출할수록 정답률이 높다고 할 수 있다. 그리고, 딥러닝 모듈(160)이 특정 타 차량에 해당되는 오브젝트를 '차량' 클래스로 분류함에 있어 그 예측값이 소정의 제2 임계치 미만(예를 들어, 0.5 미만 등)에 해당되는 경우, 현재 학습 상태에서는 객체를 해당 클래스로의 분류하는 것이 어렵다는 것을 의미하므로, 해당 클래스로 분류되는 객체를 포함하는 데이터를 학습함에 있어 더 높은 가중치를 부여하여 집중적으로 학습이 이루어질 수 있도록 하는 focal loss가 적용된 RetinaNet이 이미지 오브젝트 디텍션 알고리즘으로 채택되어 상기 딥러닝 모듈의 학습이 이루어질 수 있다.
그리고, 발명의 또 다른 일 예로서, 제1 정보획득모듈(110)은 카메라모듈(111), RADAR모듈(112), 및 LIDAR모듈(113) 중 적어도 둘 이상을 포함하고, 위반차량판단장치(100)가, 제1 정보획득모듈(110)에 포함된 모듈들 각각으로부터 획득되는 타 차량의 검출정보 각각을 칼만 필터 기반의 센서 퓨전 알고리즘을 사용하여 융합하되, (i) 센서 퓨전 알고리즘을 적용하는 환경 팩터 중 시간 팩터의 가중치가 높은 것으로 판단되는 상황에서는 EKF 알고리즘이 사용될 수 있도록 지원하고, (ii) 센서 퓨전 알고리즘을 적용하는 상기 환경 팩터 중 정확도 팩터의 가중치가 높은 것으로 판단되는 상황에서는 UKF 알고리즘이 사용될 수 있도록 지원할 수 있다.
구체적으로, 동시에 운용되는 카메라모듈, RADAR모듈, 및 LIDAR모듈 등의 센서 모듈 각각은 같은 대상에 대하여 중복되는 데이터를 포함하고 있을 수 있으므로, 적절한 센서 퓨전 알고리즘을 사용하여 각 센서 모듈로부터 획득되는 센싱 데이터를 융합하는 과정을 수행할 필요가 있다. 이를 위한 센서 퓨전 알고리즘으로 칼만 필터(Kalman Filter)를 기반으로 한 EKF(Extended Kalman Filter), UKF(Unscented Kalman Filter), PDAF(Probabilistic Data Association Filter), IMM-PDAF(Interactive Multiple Model-Probabilistic Data Association Filter) 등의 알고리즘이 사용될 수 있다. 이 때, 위반차량판단장치(100)는, 상기 센서 퓨전 알고리즘이 수행되는 환경 팩터를 별도로 관리할 수 있는데, 정확성을 어느 정도 포기하더라도 빠른 처리가 필요한 경우로서 시간 팩터의 가중치가 높은 것으로 판단되는 상황에는, 처리속도에 장점이 있는 EKF 알고리즘이 사용될 수 있도록 지원할 수 있고, 더 정확한 센서 퓨전 결과를 도출할 필요가 있는 경우로서 환경 팩터 중에서 정확도 팩터의 가중치가 높은 것으로 판단되는 상황에서는, 정확도에 장점이 있는 UKF 알고리즘이 사용될 수 있도록 지원할 수 있다. 또한, 본 발명이 상술한 센서 퓨전알고리즘만을 사용하는 것으로 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다른 EKF 및 UKF 각각과 유사한 특성을 가지는 다른 센서 퓨전 알고리즘이 채택되어 사용될 수도 있다.
상술한 바와 같은 센서 퓨전 과정에서 탐지된 객체들은 각각의 트랙(track)별로 관리되며 추적이 이루어질 수 있으며, 해당 추적 과정에서 칼만 필터(Kalman Filter), 헝가리안(Hungarian) 등의 객체 추적 알고리즘이 발명의 실시 조건에 따라 채택되어 사용될 수 있다.
다음으로, 위반차량판단장치(100)는, (i) 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량 및 상기 타 차량 각각의 동적 주행정보를 소정의 지도데이터와 연동시킨 제1 LDM(Local Dynamic Map)을 생성하는 프로세스; (ii) 상기 타 차량 각각에 의하여 생성된 제2 LDM 각각을 상기 V2X 통신모듈을 사용하여 획득하는 프로세스; 및 (iii) 상기 제1 LDM 및 상기 제2 LDM 각각을 결합하여 하나의 확장맵(Expanded Map)을 생성하는 프로세스; 를 수행할 수 있다. 이 때, LDM은 소정의 지도 데이터에 자율주행차량 및 그 주변의 타 차량 각각에 대한 동적 주행정보를 포함하고 있으며, 그에 더하여 자율주행차량 주변에 존재하는 신호등 등의 교통시설과 관련된 정보(예를 들어, 신호정보 등)도 포함하고 있을 수 있다.
그리고, 위반차량판단장치(100)가 생성한 제1 LDM 및 타 차량 각각이 생성하는 제2 LDM 각각은, 그 각각의 위치 및 장착된 센서 모듈의 범위 등에 의하여 포함하고 있는 정보가 다를 수 있는데, 위반차량판단장치(100)는 타 차량 각각과 통신을 수행하여, 상기 타 차량 각각이 생성한 제2 LDM 각각을 자신이 생성한 제1 LDM과 결합함으로써 하나의 확장맵을 생성할 수 있고, 이와 같이 생성된 확장맵을 추가로 참조하여 교통법규위반차량이 존재하는지를 판단할 수 있다.
그리고, 발명의 일 예로서, 위반차량판단장치(100)가, 상기 제1 LDM 및 상기 제2 LDM 각각을 결합함에 있어, 위치좌표가 동일하지 않은 특정 차량이 존재하여 해당 특정 차량의 위치좌표 후보가 복수개인 경우, MLE(Maximum Likelihood Estimation) 기법을 통해 하나의 절대위치좌표로 보정할 수 있다.
구체적으로, 위반차량판단장치(100)는, 자율주행차량에 장착되어 있으며 상기 특정 차량을 검출하는데 사용된 센서 모듈 각각의 오차 분산값 각각을 사용하여 우도(likelihood) 값을 아래와 같은 수식으로 계산할 수 있다.
Figure 112020018449901-pat00001
이 때,
Figure 112020018449901-pat00002
는 GPS 센서의 오차 분산값,
Figure 112020018449901-pat00003
는 RADAR 센서의 오차 분산값,
Figure 112020018449901-pat00004
는 CAMERA 센서의 오차 분산값을 의미하며, 위 수식 1은 자율주행차량에 카메라모듈, RADAR모듈 및 GPS모듈이 장착된 경우에 사용될 수 있는 예시로서의 우도 수식이다. 따라서, 자율주행차량에 장착된 센서 모듈의 구성이 위와 다른 경우에는 상기 우도 수식 역시 그에 따라 변형되어 적용될 수 있다.
또한, 위반차량판단장치(100)는, LDM을 송신한 타 차량 각각이 위와 같은 우도 수식으로 계산한 우도 값을 V2X 통신모듈을 통하여 획득할 수 있고, 이와 같이 획득된 우도 값들 및 위치좌표 후보값들을 아래와 같은 수식을 사용하여 하나의 절대위치좌표로 보정할 수 있다.
Figure 112020018449901-pat00005
이 때,
Figure 112020018449901-pat00006
는 LDM을 송신한 타 차량 각각에 대응되는 순번을 의미하고,
Figure 112020018449901-pat00007
는 위치좌표가 중복되는 특정 차량의 위치좌표 후보 각각을 의미하며,
Figure 112020018449901-pat00008
는 LDM을 송신한 각 차량이 계산한 우도 값 각각을 의미한다.
아래에서는, 자율주행차량이 주행경로상에 교통법규위반차량이 존재하는지를 판단하는 구체적인 실시예를 별도의 도면(도 3a 및 도 3b)를 참조하여 설명하도록 하겠다.
도 3a는 본 발명의 일 실시예에 따른, 자율주행차량이 주행 중에 주변의 신호등 및 타 차량들과 통신을 수행하는 상황을 개략적으로 나타내는 도면이다.
도 3a를 참조하면, 자율주행차량(10)에 대응되는 위반차량판단장치(100)는, 해당 자율주행차량(10)에 장착된 V2X 통신모듈(121)로 하여금 주변에 위치한 신호등(170)과 연동된 RSU(Rode Side Unit, 171)로부터 SPAT(Signal Phase and Timing) 메시지를 제2-1 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 신호등(170)의 신호정보를 획득할 수 있다. 또한, 위반차량판단장치(100)는, V2X 통신모듈(121)로 하여금 주변에서 주행중인 타 차량(20, 30, ...) 각각으로부터 해당 타 차량(20, 30, ...) 각각의 BSM(Basic Safety Message)를 제2-2 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 타 차량(20, 30) 각각의 주행정보 각각을 추가로 획득할 수 있다. 이 때, SPAT 메시지(표 1) 및 BSM의 데이터 형식(표 2)은 아래와 같을 수 있다.
Movement Event event state 신호 상태 unavailable
dark
stop-Then-Proceed (Reds)
stop-And-Remain (Reds)
pre-Movement (Greens)
permissive-Movement-Allowed (Greens)
protected-Movement-Allowed (Greens)
permissive-clearance (Yellows/Ambers)
protected-clearance (Yellows/Ambers)
caution-Conflicting-Traffic (Yellows/Ambers)
timing min
EndTime		 신호 남은 시간
V2V Basic Safety Message
Data Frame
　
　
　
　
　
　
　		 lat 위도
long 경도
elev 고도
accuracy 정확도
Transmission 변속장치
speed 속도
heading 방향
angle 조향각
accelSet
　
　
　		 long 경도축 가속도
lat 위도축 가속도
vert 수직축 가속도
yaw rate 각속도
brakes
　
　
　
　
　		 wheelBrakes brake 적용상태
traction traction 제어상태
abs AntilockBrake 상태
scs Stability 제어상태
brakeBoost 긴급 brake 상태
auxBrakes ParkingBrake 상태
size
　		 width 차량 폭
length 차량 길이
이러한 상태에서, 위반차량판단장치(100)는, 획득한 타 차량(20, 30, ...) 각각의 주행정보 각각을 추가로 참조하여, 상기 타 차량(20, 30, ...) 중 자율주행차량(10)의 주행경로상에서 충돌할 것으로 예상되는 특정 충돌예상 타 차량이 존재하는지 판단하고, 특정 충돌예상 타 차량이 존재하는 경우 이를 교통법규위반차량으로 결정할 수 있다. 이 때, 위반차량판단장치(100)는 교통법규위반차량으로 결정된 특정 충돌예상 타 차량에 대응되는 특정 주행정보를 교통법규위반증거정보에 추가로 포함하여 교통법규위반증거수집모듈(150)이 저장하고 관리하도록 할 수 있다.
그리고, 발명의 일 예로서, V2X 통신모듈(121)을 사용하여 상기 타 차량(20, 30, ...) 각각의 BSM 각각을 수신할 수 있는 경우, 위반차량판단장치(100)가, 수신된 BSM에 포함된 요 레이트(yaw rate)값이 일정함을 전제로 하는 등선회율및등가속도(CTRA)모델을 사용하여 상기 타 차량(20, 30, ...) 각각의 경로를 예측하여, 자율주행차량(10)과 충돌할 위험이 있는지를 판단할 수 있다. 상술한 바와 같은 충돌 위험 예측 방법을 별도의 도면(도 3b)를 참조하여 설명하면 다음과 같다.
도 3b는 본 발명의 일 실시예에 따른, 자율주행차량의 주행경로상에서 교통법규를 위반하여 충돌 위험을 유발할 수 있는 특정 충돌위험 타 차량이 존재하는 경우를 예시적으로 나타내는 도면이다.
도 3b를 참조하면, 주행중인 자율주행차량(10)의 전방에서 중앙선을 침범하여 회전함으로써, 자율주행차량(10)과 충돌을 유발할 수 있는 특정 충돌위험 타 차량(40)이 존재하는 상황이 발생할 수 있다. 이 때, 자율주행차량(10)은 차선 및 신호 등을 준수하며 주행하는 것을 전제로 하므로, 자율주행차량과 충돌할 것으로 예상되는 차량은 교통법규를 위반한 것으로 판단할 수 있으며, 위반차량판단장치(100)는 상기 특정 충돌위험 타 차량(40)을 교통법규위반차량으로 결정할 수 있다.
그리고, 상술한 바와 같이 특정 충돌위험 타 차량에 대한 충돌 위험을 예측하기 위하여, 위반차량판단장치(100)는 자율주행차량(10)의 주변에서 주행중인 타 차량(20, 30, ...) 각각에 대하여 등선회율및등가속도(CTRA)모델을 사용한 경로 예측을 수행할 수 있는데, 이 때 상기 CTRA모델은 상기 타 차량(20, 30, 40, ...) 각각으로부터 전송되는 BSM에 포함된 요 레이트(yaw rate) 값을 사용하되, 그 값이 일정함을 전제로 하므로 그 기준시점은 위반차량판단장치(100)가 경로 예측을 시작한 시점이 될 수 있다. 또한, 상기 CTRA 모델은 상기 타 차량 각각이 등가속도 운동을 함을 전제로 하므로, 상기 타 차량 각각의 가속도 값 역시 요 레이트 값과 마찬가지로 위반차량판단장치(100)가 경로 예측을 시작한 시점의 값이 사용될 수 있다.
상술한 바와 같은 CTRA 모델에 의한 경로 예측 수식은 아래와 같으며, 이를 통하여 상기 타 차량 각각의 현재(k 시점) 위치좌표를 기준으로 다음(k+1) 시점의 위치좌표를 예측할 수 있다.
Figure 112020018449901-pat00009
이 때,
Figure 112020018449901-pat00010
는 현재시점,
Figure 112020018449901-pat00011
은 예측된 다음 시점을 의미하고,
Figure 112020018449901-pat00012
는 단위시간을 의미한다. 또한,
Figure 112020018449901-pat00013
는 기준좌표축의 횡방향 좌표값,
Figure 112020018449901-pat00014
는 기준좌표축의 종방향 좌표값을 의미하고,
Figure 112020018449901-pat00015
는 속도,
Figure 112020018449901-pat00016
는 가속도,
Figure 112020018449901-pat00017
는 요(yaw) 각,
Figure 112020018449901-pat00018
는 요 레이트(yaw rate) 각속도를 의미한다. 그리고, 상기 CTRA모델에서는,
Figure 112020018449901-pat00019
(요 레이트값 일정) 및
Figure 112020018449901-pat00020
(가속도 일정)을 전제로 한다.
그리고, 발명의 일 예로서, 상술한 바와 같이 위반차량판단장치(100)가 경로 예측을 수행하는 과정에서, 더욱 정확한 판단을 위하여 상기 타 차량(20, 30, 40, ...) 각각으로부터 수신되는 BSM에 포함된 Heading 값과, 상기 확장맵에 포함된 상기 타 차량(20, 30, 40, ...) 각각의 과거 궤적에 대한 정보 중 적어도 하나를 추가로 참조하여 경로 예측을 수행할 수도 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magnetooptical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
10 : 자율주행차량 20, 30, 40, ... : 주변 타 차량
40 : 특정 충돌위험 타 차량 100 : 위반차량판단장치
101 : 메모리 102 : 프로세서
110 : 제1 정보획득모듈 120 : 제2 정보획득모듈
130 : 제3 정보획득모듈 140 : 딥러닝 모듈
150 : 교통법규위반증거수집모듈 160 : 리포트 모듈
170 : 특정 신호등
171 : 특정 신호등 연동 RSU(Rode Side Unit)
200-1, 200-2, ... : 교통법규위반 단속기관

Claims (20)

  1. 주행중인 자율주행차량이 주행경로상에 교통법규위반차량이 존재하는지를 판단하는 방법으로서,
    (a) 상기 자율주행차량에 (i) 카메라모듈, RADAR모듈, 및 LIDAR모듈을 포함하는 제1 정보획득모듈, (ii) V2X(Vehicle to Everything) 통신모듈을 포함하는 제2 정보획득모듈, 및 (iii) GPS(Global Positioning System)모듈을 포함하는 제3 정보획득모듈이 장착되어 있는 상태에서, 상기 자율주행차량에 대응되는 위반차량판단장치가, (i) 상기 제1 정보획득모듈이 획득한 제1 데이터를 분석하거나 상기 제1 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에서 주행중인 적어도 하나의 타 차량에 대한 검출정보를 획득하는 프로세스, (ii) 상기 제2 정보획득모듈이 획득한 제2 데이터를 분석하거나 상기 제2 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에 존재하는 적어도 하나의 신호등의 신호정보를 획득하는 프로세스, 및 (iii) 상기 제3 정보획득모듈이 획득한 제3 데이터를 분석하거나 상기 제3 정보획득모듈로 하여금 분석하도록 하여 상기 자율주행차량의 제1 위치정보를 획득하는 프로세스를 수행하는 단계;
    (b) 상기 위반차량판단장치가, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량의 상기 주행경로상에 상기 교통법규위반차량이 존재하는지 판단하는 단계; 및
    (c) 상기 교통법규위반차량이 존재하는 경우, 상기 위반차량판단장치가, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 상기 교통법규위반차량과 관련된 특정 검출정보, 특정 신호정보, 및 특정 제1 위치정보를 적어도 포함하는 교통법규위반증거정보를 교통법규위반증거수집모듈로 하여금 저장하고 관리하도록 하는 단계;
    를 포함하고,
    상기 카메라모듈로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 상기 위반차량판단장치가, 상기 이미지 데이터에 대하여 상기 위반차량판단장치와 연동된 딥러닝모듈로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 타 차량을 검출하도록 하되,
    상기 위반차량판단장치는, (i) 상기 이미지 데이터의 전체 영역 중 특정 단위면적영역 내에 제1 임계치 이상의 개수에 해당되는 상기 타 차량이 존재하는 경우에는 상기 이미지 오브젝트 디텍션 알고리즘으로서 SSD(Single Shot Multibox Detector)가 사용될 수 있도록 지원하고, (ii) 상기 이미지 데이터의 전체 영역에 상기 타 차량이 상기 제1 임계치 이상 존재하는 상기 특정 단위면적영역이 존재하지 않는 경우에는 상기 이미지 오브젝트 디텍션 알고리즘으로서 YOLO(You Only Look Once)가 사용될 수 있도록 지원하는 것을 특징으로 하고,
    상기 (a) 단계에서,
    상기 위반차량판단장치가, 상기 제1 정보획득모듈 각각으로부터 획득되는 상기 타 차량의 검출정보 각각을 칼만 필터 기반의 센서 퓨전 알고리즘을 사용하여 융합하되, (i) 상기 센서 퓨전 알고리즘을 적용하는 환경 팩터 중 시간 팩터의 가중치가 높은 것으로 판단되는 상황에서는 EKF(Extended Kalman Filter) 알고리즘이 사용될 수 있도록 지원하고, (ii) 상기 센서 퓨전 알고리즘을 적용하는 상기 환경 팩터 중 정확도 팩터의 가중치가 높은 것으로 판단되는 상황에서는 UKF(Unscented Kalman Filter) 알고리즘이 사용될 수 있도록 지원하는 것을 특징으로 하며,
    상기 (b) 단계에서,
    상기 위반차량판단장치는, (i) 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량 및 상기 타 차량 각각의 동적 주행정보를 소정의 지도데이터와 연동시킨 제1 LDM(Local Dynamic Map)을 생성하는 프로세스; (ii) 상기 타 차량 각각에 의하여 생성된 제2 LDM 각각을 상기 V2X 통신모듈을 사용하여 획득하는 프로세스; 및 (iii) 상기 제1 LDM 및 상기 제2 LDM 각각을 결합하여 하나의 확장맵(Expanded Map)을 생성하는 프로세스; 를 수행하는 것을 특징으로 하며,
    상기 위반차량판단장치가, 상기 확장맵을 추가로 참조하여, 상기 교통법규위반차량이 존재하는지를 판단하는 것을 특징으로 하고,
    상기 (a) 단계에서,
    상기 위반차량판단장치는, 상기 V2X 통신모듈로 하여금 상기 자율주행차량의 주변에 위치한 적어도 하나의 상기 신호등 각각과 연동된 RSU(Rode Side Unit) 각각으로부터 SPAT(Signal Phase and Timing) 메시지 각각을 제2-1 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 신호정보를 획득하는 것을 특징으로 하고,
    상기 위반차량판단장치는, 상기 V2X 통신모듈로 하여금 상기 타 차량 각각으로부터 상기 타 차량 각각의 BSM(Basic Safety Message)를 제2-2 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 타 차량 각각의 주행정보 각각을 추가로 획득하는 것을 특징으로 하며,
    상기 (b) 단계에서,
    상기 위반차량판단장치는, 상기 타 차량 각각의 상기 주행정보 각각을 추가로 참조하여, 상기 타 차량 중 상기 자율주행차량의 상기 주행경로상에서 충돌할 것으로 예상되는 특정 충돌예상 타 차량이 존재하는지 판단하고, 상기 특정 충돌예상 타 차량이 존재하는 경우 이를 상기 교통법규위반차량으로 결정하는 것을 특징으로 하고,
    상기 (c) 단계에서,
    상기 교통법규위반증거정보는, 상기 타 차량 각각의 상기 주행정보 각각 중 상기 교통법규위반차량에 대응되는 특정 주행정보를 추가로 포함하는 것을 특징으로 하며,
    상기 V2X 통신모듈을 사용하여 상기 타 차량 각각의 상기 BSM 각각을 수신할 수 있는 경우, 상기 위반차량판단장치가, 상기 BSM에 포함된 요 레이트(yaw rate)값이 일정함을 전제로 하는 등선회율및등가속도(Constant Turn Rate and Acceleration, CTRA)모델을 사용하여 상기 타 차량 각각의 궤적을 예측하여, 상기 타 차량 각각이 상기 자율주행차량과 충돌할 위험이 있는지를 판단하는 것을 특징으로 하고,
    상기 (c) 단계 이후에,
    (d) 상기 위반차량판단장치가, 상기 교통법규위반증거수집모듈로 하여금 상기 교통법규위반차량에 대응되는 상기 교통법규위반증거정보를 리포트모듈로 전송하도록 하여, 상기 리포트모듈로 하여금 복수의 단속기관 중 상기 교통법규위반차량의 교통법규위반유형에 대응되는 특정 단속기관에 상기 교통법규위반증거정보 중 적어도 일부를 리포트하도록 지원하는 단계;
    를 더 포함하는 것을 특징으로 하며,
    상기 리포트모듈은, 상기 단속기관 각각으로부터 제공되는 교통법규위반신고 인터페이스 각각에 대한 정보를 사전에 저장하고 있는 것을 특징으로 하고,
    상기 위반차량판단장치가, 상기 리포트모듈로 하여금 상기 특정 단속기관으로부터 제공되는 특정 교통법규위반신고 인터페이스를 통하여 상기 교통법규위반증거정보 중 상기 특정 교통법규위반신고 인터페이스에 입력가능한 특정 교통법규위반증거정보를 자동으로 입력하도록 하여 리포트하도록 지원하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 카메라모듈로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 상기 위반차량판단장치가, 상기 이미지 데이터에 대하여 상기 위반차량판단장치와 연동된 딥러닝모듈로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 타 차량을 검출하도록 하되,
    상기 (a) 단계 이전에,
    상기 위반차량판단장치가, 소정의 학습데이터를 사용하여 상기 딥러닝 모듈의 학습을 수행하는 것을 특징으로 하고,
    상기 딥러닝 모듈의 상기 학습은, 클래스 예측값이 제2 임계치 미만의 정답률이 도출되는 적어도 하나의 특정 제1 클래스에 대하여는 가중치가 증가되도록 하고, 상기 클래스 예측값이 상기 제2 임계치 이상의 정답률이 도출되는 적어도 하나의 특정 제2 클래스에 대하여는 가중치가 감소되도록 하는 focal loss를 사용하여 로스값을 산출하고, 상기 로스값이 최소화되도록 백프로퍼게이션을 수행하여 상기 딥러닝 모듈에 포함된 복수개의 파라미터를 최적화하는 과정을 반복하는 것을 특징으로 하고,
    상기 클래스 예측값은 상기 이미지 데이터에 포함되어 있는 오브젝트가 해당 클래스의 오브젝트인지를 예측한 확률값인 것을 특징으로 하는 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 위반차량판단장치가, 상기 제1 LDM 및 상기 제2 LDM 각각을 결합함에 있어, 상기 타 차량 중 위치좌표가 동일하지 않은 특정 타 차량이 존재하는 경우, MLE(Maximum Likelihood Estimation) 기법을 통해 하나의 절대위치좌표로 보정하는 것을 특징으로 하는 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 주행중인 자율주행차량이 주행경로상에 교통법규위반차량이 존재하는지를 판단하는 위반차량판단장치로서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서; 를 포함하고,
    상기 프로세서가, (I) 상기 자율주행차량에 (i) 카메라모듈, RADAR모듈, 및 LIDAR모듈을 포함하는 제1 정보획득모듈, (ii) V2X(Vehicle to Everything) 통신모듈을 포함하는 제2 정보획득모듈, 및 (iii) GPS(Global Positioning System)모듈을 포함하는 제3 정보획득모듈이 장착되어 있는 상태에서, (i) 상기 제1 정보획득모듈이 획득한 제1 데이터를 분석하거나 상기 제1 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에서 주행중인 적어도 하나의 타 차량에 대한 검출정보를 획득하는 서브프로세스, (ii) 상기 제2 정보획득모듈이 획득한 제2 데이터를 분석하거나 상기 제2 정보획득모듈로 하여금 분석하도록 하여, 상기 자율주행차량의 주변에 존재하는 적어도 하나의 신호등의 신호정보를 획득하는 서브프로세스, 및 (iii) 상기 제3 정보획득모듈이 획득한 제3 데이터를 분석하거나 상기 제3 정보획득모듈로 하여금 분석하도록 하여 상기 자율주행차량의 제1 위치정보를 획득하는 서브프로세스를 수행하는 프로세스; (II) 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량의 상기 주행경로상에 상기 교통법규위반차량이 존재하는지 판단하는 프로세스; 및 (III) 상기 교통법규위반차량이 존재하는 경우, 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 상기 교통법규위반차량과 관련된 특정 검출정보, 특정 신호정보, 및 특정 제1 위치정보를 적어도 포함하는 교통법규위반증거정보를 교통법규위반증거수집모듈로 하여금 저장하고 관리하도록 하는 프로세스; 를 수행하는 것을 특징으로 하고,
    상기 카메라모듈로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 상기 프로세서가, 상기 이미지 데이터에 대하여 상기 위반차량판단장치와 연동된 딥러닝모듈로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 타 차량을 검출하도록 하되,
    상기 프로세서는, (i) 상기 이미지 데이터의 전체 영역 중 특정 단위면적영역 내에 제1 임계치 이상의 개수에 해당되는 상기 타 차량이 존재하는 경우에는 상기 이미지 오브젝트 디텍션 알고리즘으로서 SSD(Single Shot Multibox Detector)가 사용될 수 있도록 지원하고, (ii) 상기 이미지 데이터의 전체 영역에 상기 타 차량이 상기 제1 임계치 이상 존재하는 상기 특정 단위면적영역이 존재하지 않는 경우에는 상기 이미지 오브젝트 디텍션 알고리즘으로서 YOLO(You Only Look Once)가 사용될 수 있도록 지원하는 것을 특징으로 하며,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 제1 정보획득모듈 각각으로부터 획득되는 상기 타 차량의 검출정보 각각을 칼만 필터 기반의 센서 퓨전 알고리즘을 사용하여 융합하되, (i) 상기 센서 퓨전 알고리즘을 적용하는 환경 팩터 중 시간 팩터의 가중치가 높은 것으로 판단되는 상황에서는 EKF(Extended Kalman Filter) 알고리즘이 사용될 수 있도록 지원하고, (ii) 상기 센서 퓨전 알고리즘을 적용하는 상기 환경 팩터 중 정확도 팩터의 가중치가 높은 것으로 판단되는 상황에서는 UKF(Unscented Kalman Filter) 알고리즘이 사용될 수 있도록 지원하는 것을 특징으로 하고,
    상기 (II) 프로세스에서,
    상기 프로세서는, (i) 상기 검출정보, 상기 신호정보, 및 상기 제1 위치정보 중 적어도 일부를 참조하여, 상기 자율주행차량 및 상기 타 차량 각각의 동적 주행정보를 소정의 지도데이터와 연동시킨 제1 LDM(Local Dynamic Map)을 생성하는 프로세스; (ii) 상기 타 차량 각각에 의하여 생성된 제2 LDM 각각을 상기 V2X 통신모듈을 사용하여 획득하는 프로세스; 및 (iii) 상기 제1 LDM 및 상기 제2 LDM 각각을 결합하여 하나의 확장맵(Expanded Map)을 생성하는 프로세스; 를 수행하는 것을 특징으로 하며,
    상기 프로세서가, 상기 확장맵을 추가로 참조하여, 상기 교통법규위반차량이 존재하는지를 판단하는 것을 특징으로 하고,
    상기 (I) 프로세스에서,
    상기 프로세서는, 상기 V2X 통신모듈로 하여금 상기 자율주행차량의 주변에 위치한 적어도 하나의 상기 신호등 각각과 연동된 RSU(Rode Side Unit) 각각으로부터 SPAT(Signal Phase and Timing) 메시지 각각을 제2-1 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 신호정보를 획득하는 것을 특징으로 하고,
    상기 프로세서는, 상기 V2X 통신모듈로 하여금 상기 타 차량 각각으로부터 상기 타 차량 각각의 BSM(Basic Safety Message)를 제2-2 데이터로서 수신하도록 하여 분석하도록 하거나 직접 분석하여, 상기 타 차량 각각의 주행정보 각각을 추가로 획득하는 것을 특징으로 하며,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 타 차량 각각의 상기 주행정보 각각을 추가로 참조하여, 상기 타 차량 중 상기 자율주행차량의 상기 주행경로상에서 충돌할 것으로 예상되는 특정 충돌예상 타 차량이 존재하는지 판단하고, 상기 특정 충돌예상 타 차량이 존재하는 경우 이를 상기 교통법규위반차량으로 결정하는 것을 특징으로 하고,
    상기 (III) 프로세스에서,
    상기 교통법규위반증거정보는, 상기 타 차량 각각의 상기 주행정보 각각 중 상기 교통법규위반차량에 대응되는 특정 주행정보를 추가로 포함하는 것을 특징으로 하며,
    상기 V2X 통신모듈을 사용하여 상기 타 차량 각각의 상기 BSM 각각을 수신할 수 있는 경우, 상기 프로세서가, 상기 BSM에 포함된 요 레이트(yaw rate)값이 일정함을 전제로 하는 등선회율및등가속도(Constant Turn Rate and Acceleration, CTRA) 모델을 사용하여 상기 타 차량 각각의 궤적을 예측하여, 상기 타 차량 각각이 상기 자율주행차량과 충돌할 위험이 있는지를 판단하는 것을 특징으로 하고,
    상기 (III) 프로세스 이후에,
    (IV) 상기 프로세서가, 상기 교통법규위반증거수집모듈로 하여금 상기 교통법규위반차량에 대응되는 상기 교통법규위반증거정보를 리포트모듈로 전송하도록 하여, 상기 리포트모듈로 하여금 복수의 단속기관 중 상기 교통법규위반차량의 교통법규위반유형에 대응되는 특정 단속기관에 상기 교통법규위반증거정보 중 적어도 일부를 리포트하도록 지원하는 프로세스; 를 더 수행하는 것을 특징으로 하며,
    상기 리포트모듈은, 상기 단속기관 각각으로부터 제공되는 교통법규위반신고 인터페이스 각각에 대한 정보를 사전에 저장하고 있는 것을 특징으로 하고,
    상기 프로세서가, 상기 리포트모듈로 하여금 상기 특정 단속기관으로부터 제공되는 특정 교통법규위반신고 인터페이스를 통하여 상기 교통법규위반증거정보 중 상기 특정 교통법규위반신고 인터페이스에 입력가능한 특정 교통법규위반증거정보를 자동으로 입력하도록 하여 리포트하도록 지원하는 것을 특징으로 하는 위반차량판단장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 카메라모듈로부터 상기 자율주행차량의 주변 상황을 촬영한 이미지 데이터가 획득되면, 상기 프로세서가, 상기 이미지 데이터에 대하여 상기 위반차량판단장치와 연동된 딥러닝모듈로 하여금 소정의 이미지 오브젝트 디텍션 알고리즘을 사용하여 상기 타 차량을 검출하도록 하되,
    상기 (I) 프로세스 이전에,
    상기 프로세서가, 소정의 학습데이터를 사용하여 상기 딥러닝 모듈의 학습을 수행하는 것을 특징으로 하고,
    상기 딥러닝 모듈의 상기 학습은, 클래스 예측값이 제2 임계치 미만의 정답률이 도출되는 적어도 하나의 특정 제1 클래스에 대하여는 가중치가 증가되도록 하고, 상기 클래스 예측값이 상기 제2 임계치 이상의 정답률이 도출되는 적어도 하나의 특정 제2 클래스에 대하여는 가중치가 감소되도록 하는 focal loss를 사용하여 로스값을 산출하고, 상기 로스값이 최소화되도록 백프로퍼게이션을 수행하여 상기 딥러닝 모듈에 포함된 복수개의 파라미터를 최적화하는 과정을 반복하는 것을 특징으로 하고,
    상기 클래스 예측값은 상기 이미지 데이터에 포함되어 있는 오브젝트가 해당 클래스의 오브젝트인지를 예측한 확률값인 것을 특징으로 하는 위반차량판단장치.
  14. 삭제
  15. 삭제
  16. 제11항에 있어서,
    상기 프로세서가, 상기 제1 LDM 및 상기 제2 LDM 각각을 결합함에 있어, 상기 타 차량 중 위치좌표가 동일하지 않은 특정 타 차량이 존재하는 경우, MLE(Maximum Likelihood Estimation) 기법을 통해 하나의 절대위치좌표로 보정하는 것을 특징으로 하는 위반차량판단장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020200021318A 2020-02-20 2020-02-20 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치 KR102423550B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200021318A KR102423550B1 (ko) 2020-02-20 2020-02-20 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200021318A KR102423550B1 (ko) 2020-02-20 2020-02-20 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치

Publications (2)

Publication Number Publication Date
KR20210106304A KR20210106304A (ko) 2021-08-30
KR102423550B1 true KR102423550B1 (ko) 2022-07-22

Family

ID=77502213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200021318A KR102423550B1 (ko) 2020-02-20 2020-02-20 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치

Country Status (1)

Country Link
KR (1) KR102423550B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055964A (ko) 2022-10-20 2024-04-30 주식회사 사로리스 차량 인식 정확도 향상을 위한 인공지능 학습 데이터 생성 시스템 및 이를 이용하는 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102607947B1 (ko) * 2021-11-26 2023-12-04 이인텔리전스 주식회사 차량 제동 제어 장치 및 제어 방법
CN115083148A (zh) * 2022-05-16 2022-09-20 中铁十九局集团第六工程有限公司 隧道车辆违章监控预警方法、计算机装置及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977673B1 (ko) * 2017-10-26 2019-05-13 서울대학교산학협력단 영상 분석 장치 및 그것의 동작 방법
KR102043142B1 (ko) * 2018-12-31 2019-11-12 호서대학교 산학협력단 Agv 주행제어를 위한 인공신경망 학습 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102132831B1 (ko) * 2013-04-29 2020-07-10 팅크웨어(주) 차량용 영상 처리 장치 및 이를 이용한 정보 제공 방법
KR102486148B1 (ko) * 2018-02-20 2023-01-10 현대자동차주식회사 차량 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977673B1 (ko) * 2017-10-26 2019-05-13 서울대학교산학협력단 영상 분석 장치 및 그것의 동작 방법
KR102043142B1 (ko) * 2018-12-31 2019-11-12 호서대학교 산학협력단 Agv 주행제어를 위한 인공신경망 학습 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055964A (ko) 2022-10-20 2024-04-30 주식회사 사로리스 차량 인식 정확도 향상을 위한 인공지능 학습 데이터 생성 시스템 및 이를 이용하는 방법

Also Published As

Publication number Publication date
KR20210106304A (ko) 2021-08-30

Similar Documents

Publication Publication Date Title
KR102423550B1 (ko) 자율주행차량의 주행경로상에 교통법규위반차량이 존재하는지를 판단하기 위한 방법 및 이를 사용한 장치
CN110264495B (zh) 一种目标跟踪方法及装置
CN104217590A (zh) 车载交通密度估计器
JP7024610B2 (ja) 検知装置及び検知システム
EP4016115A1 (en) Vehicle localization based on radar detections
EP3806061A1 (en) Detection device and detection system
Artuñedo et al. A decision-making architecture for automated driving without detailed prior maps
CN110879598A (zh) 车辆用多传感器的信息融合方法和装置
KR102592830B1 (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
CN111284427A (zh) 基于货物掉落检测的车辆控制方法和系统
CN111104957A (zh) 检测对车辆网络的攻击
CN114074667A (zh) 静止对象检测
KR102279754B1 (ko) 충돌 사고 방지 방법, 장치, 서버, 및 컴퓨터 프로그램
CN110929475B (zh) 对象的雷达简档的注释
CN116859413A (zh) 一种用于露天矿车车辆的感知模型建立方法
US20240174274A1 (en) Obstacle detection for a rail vehicle
JP2019207654A (ja) 検知装置及び検知システム
US20230140079A1 (en) Method and Systems for Detection Accuracy Ranking and Vehicle Instructions
CN114968187A (zh) 用于自动驾驶系统的感知系统开发的平台
US20200035093A1 (en) Systems and methods for managing vehicles using pattern recognition
EP4082862A1 (en) Platform for path planning system development for automated driving system
US20230154199A1 (en) Driving control system and method of controlling the same using sensor fusion between vehicles
KR102616571B1 (ko) 인공지능을 이용한 영상 분석 기반의 도로 교통정보 제공 방법 및 그를 위한 시스템
US11983918B2 (en) Platform for perception system development for automated driving system
EP4016129A1 (en) Radar reference map generation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant