KR102167291B1 - 도로 상태 정보 수집 시스템 및 방법 - Google Patents
도로 상태 정보 수집 시스템 및 방법 Download PDFInfo
- Publication number
- KR102167291B1 KR102167291B1 KR1020200049952A KR20200049952A KR102167291B1 KR 102167291 B1 KR102167291 B1 KR 102167291B1 KR 1020200049952 A KR1020200049952 A KR 1020200049952A KR 20200049952 A KR20200049952 A KR 20200049952A KR 102167291 B1 KR102167291 B1 KR 102167291B1
- Authority
- KR
- South Korea
- Prior art keywords
- road surface
- road
- information
- abnormal
- vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000005856 abnormality Effects 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims description 145
- 238000013473 artificial intelligence Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 239000011384 asphalt concrete Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H1/00—Measuring characteristics of vibrations in solids by using direct conduction to the detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
Abstract
도로 상태 정보 수집 시스템 및 방법이 제공된다. 도로 상태 정보 수집 장치는 주행 중인 차량의 전방을 촬영하여 생성되는 전방 노면 영상을 1차로 분석하여 도로 노면의 비정상 여부를 예측하여 정상으로 예측되면 전방 노면 영상을 필터링하고, 비정상으로 예측되면 전방 노면 영상과 차량의 진동을 센싱한 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하고, 도로 정보 제공 서버는 도로 상태 정보 수집 장치로부터 수신되는 도로 노면의 비정상 정보 중 전방 노면 영상을 2차로 분석하여 도로 노면의 비정상 여부를 최종적으로 판단한다.
Description
본 발명은 도로 상태 정보 수집 시스템 및 방법에 관한 것으로서, 보다 상세하게는, 전방 노면 영상을 계층적으로 분석하여 도로 상태를 보다 정확히 판단할 수 있는 도로 상태 정보 수집 시스템 및 방법에 관한 것이다.
도로의 노후화, 기상의 변화, 차량 통행량의 누적 등으로 교통주행환경은 시시각각으로 변하고, 주행성이 불량해지며, 결국 위험한 상태에 이르게 된다. 일례로, 도로 표면에 수분 함량이 높은 상태에서 차량이 통과할 경우 아스콘의 재료 분리가 발생할 가능성이 커지며 노면 상태가 불량해진다. 겨울철에는 노면에 눈이 쌓이거나 블랙 아이스 등이 발생하면 노면 마찰력이 감소하여 미끄럼 사고로 이어질 가능성이 있기 때문에 불량한 노면 상태를 개선해야하는 것과 함께 노면의 마찰력도 일정수준을 유지해야 한다. 또한, 여름철에는 노면의 포장층이 열팽창하여 위로 솟아오르는 블로우업(Blowup) 현상과 움푹 패지는 포트홀(pothole) 현상이 수없이 발생한다.
이처럼 도로 표층의 내구성과 평탄성 등이 나빠지면 도로의 불량화는 가속화되고, 운전자의 운행 불편함은 증가하며, 심지어 사고로 이어질 수 있다.
도로에서 발생하는 노면 비정상상태는 심각한 교통사고로 이어지고, 차량 파손의 원인이 되기도 한다. 도로 비정상상태는 육안으로도 알 수 있는 도로표면 융기, 포트홀, 눈으로 인한 미끄럼, 낙하물, 과속방지턱, 돌출형 노면표시, 줄눈 포장면 등 다양한 상황을 말한다.
노면상태의 비정상상황은 다양하게 존재하고, 운행성을 나쁘게 만들며, 차량 진동, 소음, 비정상 주행 등을 유발한다. 따라서, 도로 비정상상태를 사람이 느끼는 형태의 정보로 생성하여 운전자에게 제공한다면, 도로 비정상상태를 가늠하기 위한 매우 직관적이고 유용한 동적정보가 될 것이다.
대표적인 도로의 동적정보는 차량의 주행속도이다. 차량의 속도데이터는 구간별 평균속도와 소요 시간 등을 산출하는데 이용할 수 있으며, 수십 킬로미터마다 설치되어 있는 CCTV, 기상 검지기를 통하여 수집된다.
도로의 비정상 상태 즉, 불량한 노면의 동적 정보를 생성하는 방법에도 주로 이와 같은 지점검지 방식이 사용된다. 그러나 지점검지 방식으로 도로 노면의 불량 상태를 파악하려면 막대한 비용을 들여 지점검지 센서를 보다 조밀하게 설치하고 관리하여야 하므로 현실적으로 불가능하다.
이를 보완하기 위해 도로 순찰자가 현장을 이동하면서 육안으로 노면을 관찰한 결과를 취합하는 방식을 병행하지만, 적은 순찰인력으로 넓은 도로 노면을 관리하는 것 역시 불가능하기 때문에 이 방식 또한 효과성은 떨어진다.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 도로 상태가 불량한 것으로 판단된 전방 노면에 대해, 차량이 전방 노면에 도달할 것으로 예측되는 시간부터 차량 진동을 센싱하도록 하여 수집되는 데이터양을 줄일 수 있는 도로 상태 정보 수집 시스템 및 방법을 제시하는 데 있다.
또한 본 발명이 이루고자 하는 기술적 과제는 차량에 구비된 경량화된 모델을 이용하여 신속하게 전방 노면의 불량 여부를 판단하고, 이후 서버에 설치된 고성능의 모델을 이용하여 보다 정밀한 불량 여부 판단할 수 있는 도로 상태 정보 수집 시스템 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 도로 상태 정보 수집 시스템은, 주행 중인 차량의 전방을 촬영하여 생성되는 전방 노면 영상을 1차 분석하여 도로 노면의 비정상 여부를 예측하고, 정상으로 예측되면 전방 노면 영상을 필터링하고, 비정상으로 예측되면 상기 전방 노면 영상과 상기 차량의 진동을 센싱한 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하는 도로 상태 정보 수집 장치; 및 상기 도로 상태 정보 수집 장치로부터 수신되는 도로 노면의 비정상 정보 중 전방 노면 영상을 2차 분석하여 상기 도로 노면의 비정상 여부를 최종적으로 판단하는 도로 정보 제공 서버;를 포함한다.
상기 도로 상태 정보 수집 장치는, 상기 주행 중인 차량의 전방을 실시간으로 촬영하여 전방 노면 영상을 출력하는 카메라; 상기 차량의 진동을 센싱하여 진동데이터를 출력하는 진동 센서; 상기 차량의 위치 정보를 제공하는 위치 센서; 상기 도로 노면의 비정상 정보를 상기 도로 정보 제공 서버로 전송하는 장치 통신부; 인공지능 기반으로 사전에 학습된 도로 상태 예측 모델이 저장되는 장치 메모리; 및 상기 카메라로부터 실시간으로 입력되는 전방 노면 영상을 상기 도로 상태 예측 모델에 입력하여 도로 노면의 상태를 1차로 예측하고, 상기 도로 노면의 상태가 비정상으로 예측되면, 상기 전방 노면 영상을 트리거로 이용하여 차량의 진동 센싱을 시작하고, 상기 트리거로 이용되는 전방 노면 영상과 상기 진동 센싱의 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하는 장치 제어부;를 포함한다.
상기 장치 제어부는, 상기 1차 예측 결과 도로 노면의 상태가 비정상으로 예측되면, 상기 전방 노면 영상을 트리거로 이용하여 상기 전방 노면 영상이 촬영된 시점부터 일정 시간이 경과한 후 정해진 시간동안 차량의 진동을 센싱하도록 상기 진동 센서를 제어하고, 상기 트리거로 이용되는 전방 노면 영상과 상기 정해진 시간동안 센싱되어 출력된 진동데이터를 위치 정보와 함께 상기 도로 노면의 비정상 정보로서 수집한다.
상기 도로 정보 제공 서버는, 상기 도로 상태 정보 수집 장치로부터 도로 노면의 비정상 정보를 수신하는 서버 통신부; 인공지능 기반으로 사전에 학습된 도로 상태 판단 모델이 저장되는 서버 메모리; 및 상기 수신된 도로 노면의 비정상 정보 중 전방 노면 영상을 상기 도로 상태 판단 모델에 입력하여 도로 노면의 상태를 2차로 판단하고, 2차 판단 결과 상기 도로 노면의 상태가 비정상으로 판단되면, 상기 수신된 도로 노면의 비정상 정보를 노면 이상 정보로서 제공하는 서버 제어부;를 포함한다.
상기 도로 상태 판단 모델은 상기 도로 상태 예측 모델로부터 발생하는 FP(False Positive)값을 낮추도록 학습 및 모델링되어 상기 도로 상태 예측 모델 대비 신뢰도가 높고, 상기 도로 상태 예측 모델은 상기 도로 상태 판단 모델 대비 경량화된다.
상기 도로 상태 정보 수집 장치는, 상기 전방 노면 영상의 전체 프레임을 3분할하여 최하단 영역을 추출하고, 상기 추출된 최하단 영역 중 K%의 영역을 관심영역(ROI: Region Of Interest)으로서 추출하는 전처리부;를 더 포함하며, 상기 장치 제어부는 상기 추출된 ROI를 상기 도로 상태 예측 모델에 입력하여 도로 노면의 상태를 예측하고, 상기 K%는, 상기 차량이 도로의 중앙에서 주행하는 경우 상기 관심영역이 상기 차량의 바퀴들이 지나가는 영역을 포함하도록 설정된다.
한편, 본 발명의 다른 실시 예에 따르면, 도로 상태 정보 수집 방법은, (A) 도로 상태 정보 수집 장치가, 주행 중인 차량의 전방을 촬영하여 생성되는 전방 노면 영상을 1차 분석하여 도로 노면의 비정상 여부를 예측하고, 정상으로 예측되면 전방 노면 영상을 필터링하고, 비정상으로 예측되면 상기 전방 노면 영상과 상기 차량의 진동을 센싱한 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하는 단계; 및 (B) 도로 정보 제공 서버가, 상기 도로 상태 정보 수집 장치로부터 수신되는 도로 노면의 비정상 정보 중 전방 노면 영상을 2차 분석하여 상기 도로 노면의 비정상 여부를 최종적으로 판단하는 단계;를 포함한다.
상기 (A) 단계는, (A1) 카메라가 상기 주행 중인 차량의 전방을 실시간으로 촬영하여 전방 노면 영상을 출력하는 단계; (A2) 상기 차량의 위치 정보를 센싱하는 단계; 및 (A3) 상기 (A1) 단계로부터 실시간으로 입력되는 전방 노면 영상을 도로 상태 예측 모델에 입력하여 도로 노면의 상태를 1차로 예측하고, 상기 도로 노면의 상태가 비정상으로 예측되면, 상기 전방 노면 영상을 트리거로 이용하여 차량의 진동 센싱을 시작하고, 상기 트리거로 이용되는 전방 노면 영상과 상기 진동 센싱의 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하는 단계; 및 (A4) 상기 수집된 도로 노면의 비정상 정보를 상기 도로 정보 제공 서버로 전송하는 단계;를 포함한다.
상기 (A3) 단계는, 상기 1차 예측 결과 도로 노면의 상태가 비정상으로 예측되면, 상기 전방 노면 영상을 트리거로 이용하여 상기 전방 노면 영상이 촬영된 시점부터 일정 시간이 경과한 후 정해진 시간동안 차량의 진동을 센싱하고, 상기 트리거로 이용되는 전방 노면 영상과 상기 정해진 시간동안 센싱되어 출력된 진동데이터를 위치 정보와 함께 상기 도로 노면의 비정상 정보로서 수집한다.
상기 (B) 단계는, (B1) 상기 도로 상태 정보 수집 장치로부터 도로 노면의 비정상 정보를 수신하는 단계; 및 (B2) 상기 수신된 도로 노면의 비정상 정보 중 전방 노면 영상을 상기 도로 상태 판단 모델에 입력하여 도로 노면의 상태를 2차로 판단하고, 2차 판단 결과 상기 도로 노면의 상태가 비정상으로 판단되면, 상기 수신된 도로 노면의 비정상 정보를 노면 이상 정보로서 제공하는 단계;를 포함한다.
상기 (A1) 단계 이후, (A4) 상기 전방 노면 영상의 전체 프레임을 3분할하여 최하단 영역을 추출하고, 상기 추출된 최하단 영역 중 K%의 영역을 관심영역(ROI: Region Of Interest)으로서 추출하는 단계;를 더 포함하며, 상기 (A3) 단계는, 상기 (A4) 단계에서 추출된 ROI를 상기 도로 상태 예측 모델에 입력하여 도로 노면의 상태를 예측하며, 상기 K%는, 상기 차량이 도로의 중앙에서 주행하는 경우 상기 관심영역이 상기 차량의 바퀴들이 지나가는 영역을 포함하도록 설정된다.
본 발명에 따르면, 기존의 인력에 의존한 기록방식과는 달리 카메라의 전방 노면 영상과 진동데이터를 자동으로 수집하여 도로의 비정상상태를 파악하는 기초데이터로 활용할 수 있다.
또한, 본 발명에 따르면, 비전 센서와 같은 카메라로 차량의 전방 노면 영상을 촬영하는 도중 딥러닝 학습 모델을 이용하여 비정상 노면상태가 인지되면 전방 노면 영상을 저장하고, 전방 노면 영상을 저장한 이후 차량의 주행 속도를 매개로 작동하는 트리거 알고리즘에 의해 진동 센서의 센싱을 시작함으로써 차량 진동을 노면 상태가 불량한 것으로 의심되는 지점에서만 수행하여 데이터 저장량을 감소시킬 수 있다.
또한, 본 발명에 따르면, 도로 노면을 촬영한 전방 노면 영상의 비정상 여부를 도로 상태 정보 수집 장치에서 1차적으로 판단하고, 비정상으로 판단된 전방 노면 영상만 도로 정보 제공 서버에서 2차적으로 비정상 여부를 판단하여, 판단 속도와 정확도를 높일 수 있다.
또한, 본 발명에 따르면, 차량이 커넥티드 차량인 경우, 주변 차량의 운전자가 주행 중에 관제 센터에 접속하여 실시간으로 발생하는 다양한 노면 상황을 파악하기 어려우므로, 전행 차량의 각종 센서에 포착된 도로 노면의 위험 정보를 주변 차량에게 실시간으로 알림으로써 대응 운전이 가능하게 하여 사고 발생률을 낮출 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 의한 도로 상태 정보 수집 시스템을 도시한 도면,
도 2는 차량 주행 속도 별 차량 전방 10m와 20m까지 도달하는데 소요되는 시간을 보여주는 그래프,
도 3 및 도 4는 상술한 도로 상태 정보 수집 시스템의 일련의 동작을 보여주는 도면,
도 5는 본 발명의 실시 예에 따른 도로 상태 모델 생성 장치를 도시한 블록도,
도 6은 학습용 레이블링 예시도,
도 7 및 도 8은 도로 상태 예측 모델과 도로 상태 판단 모델의 예시도,
도 5는 본 발명의 일 실시 예에 따른 스마트 시설물 관리 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도.
도 9는 도로 상태 예측 모델과 도로 상태 판단 모델에 실제 도로에서 촬영한 동영상을 기반으로 학습한 결과를 보여주는 도면,
도 10은 본 발명의 다른 실시 예에 따른 도로 상태 정보 수집 시스템을 도시한 도면,
도 11은 본 발명의 실시 예에 따른 도로 상태 정보 수집 시스템의 도로 상태 정보 수집 및 제공 방법을 개략적으로 도시한 흐름도, 그리고,
도 12는 S1140단계를 자세히 도시한 흐름도이다.
도 2는 차량 주행 속도 별 차량 전방 10m와 20m까지 도달하는데 소요되는 시간을 보여주는 그래프,
도 3 및 도 4는 상술한 도로 상태 정보 수집 시스템의 일련의 동작을 보여주는 도면,
도 5는 본 발명의 실시 예에 따른 도로 상태 모델 생성 장치를 도시한 블록도,
도 6은 학습용 레이블링 예시도,
도 7 및 도 8은 도로 상태 예측 모델과 도로 상태 판단 모델의 예시도,
도 5는 본 발명의 일 실시 예에 따른 스마트 시설물 관리 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도.
도 9는 도로 상태 예측 모델과 도로 상태 판단 모델에 실제 도로에서 촬영한 동영상을 기반으로 학습한 결과를 보여주는 도면,
도 10은 본 발명의 다른 실시 예에 따른 도로 상태 정보 수집 시스템을 도시한 도면,
도 11은 본 발명의 실시 예에 따른 도로 상태 정보 수집 시스템의 도로 상태 정보 수집 및 제공 방법을 개략적으로 도시한 흐름도, 그리고,
도 12는 S1140단계를 자세히 도시한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1 및 도 5에 도시된 장치 또는 서버(100, 200, 300)의 각각의 구성은 기능 및/또는 논리적으로 분리될 수도 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또한, 본 발명의 실시 예에 따른 도로 상태 정보 수집 장치(100), 도로 정보 제공 서버(200) 및 도로 상태 판정 모델 생성 장치(300)는 예를 들면, 스마트폰, 데스크탑 PC(Personal Computer), 서버, 랩탑 PC(Laptop PC), 넷북 컴퓨터(Netbook Computer) 등 프로그램의 설치 및 실행이 가능한 모든 전자기기들 중 하나일 수도 있다.
도 1은 본 발명의 일 실시 예에 따른 도로 상태 정보 수집 시스템을 도시한 도면이다.
도 1을 참조하면, 도로 상태 정보 수집 시스템은 도로 상태 정보 수집 장치(100) 및 도로 정보 제공 서버(200)를 포함할 수 있다.
도로 상태 정보 수집 장치(100)는 차량에 장착가능하며 휴대가능한 전자기기 형태를 가지며, 카메라(110)를 포함하거나 또는 차량에 장착된 카메라와 연동할 수 있다.
도로 상태 정보 수집 장치(100)는 주행 중인 차량의 전방을 촬영하여 생성되는 전방 노면 영상을 1차 분석하여 도로 노면의 비정상 여부를 예측하고, 전방의 도로 노면이 정상인 것으로 예측되면 전방 노면 영상을 필터링하고, 비정상으로 예측되면 비정상으로 예측된 전방 노면 영상과 차량의 진동을 센싱한 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집할 수 있다.
도로 정보 제공 서버(200)는 도로 상태 정보 수집 장치(100)로부터 수신되는 도로 노면의 비정상 정보 중 전방 노면 영상을 2차 분석하여 도로 노면의 비정상 여부를 최종적으로 판단할 수 있다.
이하에서는 도 1을 참조하여 도로 상태 정보 수집 장치(100)와 도로 정보 제공 서버(200)의 동작에 대해 자세히 설명한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 도로 상태 정보 수집 장치(100)는 카메라(110), 위치 센서(120), 진동 센서(130), 전처리부(140), 장치 메모리(150), 장치 통신부(160) 및 장치 제어부(170)를 포함할 수 있다.
카메라(110)는 차량에 장착되어 주행 중인 차량의 전방에 해당하는 도로 노면을 촬영하여 전방 노면 영상을 생성한다. 전방 노면 영상은 휘도데이터와 RGB 데이터를 포함하는 동영상일 수 있다.
카메라(110)가 예를 들어 초당 30프레임으로 도로 노면을 촬영하여 저장하고, 차량이 시속 100km로 주행할 경우, 0.92m마다 1프레임(0.92m/frame)이 촬영될 수 있다. 또한, 카메라(110)가 초당 10프레임을 촬영하고, 차량이 시속 100km로 주행할 경우, 2.77m/frame으로 촬영 주기는 증가한다.
카메라(110)는 차량 앞면의 노면부터 주행 방향을 따라 촬영하며, 운전자가 전방을 바라보는 눈높이에 설치될 수 있으며, 이는 일 예로 변경가능하다. 또한, 카메라(110)는 차량이 도로의 중앙(즉, 차선의 중앙)에서 주행한다는 전제하에 현재 차선의 양측을 포함하여 촬영하도록 설치될 수 있다.
위치 센서(120)는 주행 중인 차량의 위치 정보를 센싱하여 센싱 시간과 함께 장치 제어부(170)에게 전달할 수 있다. 위치 센서(120)는 GPS(Global Positioning System) 장치일 수 있다.
진동 센서(130)는 주행 중인 차량의 진동을 센싱하여 진동데이터를 장치 제어부(170)에게 전달한다. 진동 센서(130)는 3축 가속도 센서일 수 있다.
진동데이터는 도로 노면이 평탄한 경우와 포트홀 또는 크랙과 같이 파손된 경우 상이하게 출력된다. 예를 들어, 포트홀이 있는 위치에서 센싱된 진동데이터는 평탄한 도로에서 센싱된 진동데이터에 비해 피크데이터를 포함하는 패턴을 가질 수 있다.
진동 센서(130)의 초당 측정횟수(Hz)에 따라 노면의 공간 정보 수집성이 나타나는데, 진동 센서(130) 대부분은 100Hz 이내의 해상도를 가지며, 이는 1초에 100회 이하의 진동값을 측정하는 것을 의미한다. 본 발명에서는 이기종의 센서 출력 특성, 즉, 전방 노면 영상과 진동데이터를 위치 정보(GPS 데이터)와 함께 동일한 노면 위치로 동기화할 수 있다.
이를 위하여, 위치 좌표값은 동일하게 사용하고, 장치 제어부(또는 프로세서)의 시각 설정도 GPS 센서 시각을 사용한다. 카메라(110)로 취득한 전방 노면 영상은 차량 전방의 노면 상태에 대한 정보를 제공한다. 즉, 전방 노면 영상은 차량의 바퀴가 현재 접해 있는 노면이 아닌, 주행 중인 차량이 몇 초 후에 도달할 노면에 대한 영상이다. 반면, 진동 센서(130)로 취득한 진동데이터는 차량 바퀴가 현재 접하고 있는 노면 상태에 대한 정보를 제공한다. 따라서, 카메라(110)로 취득한 전방 노면 영상과, 이에 상응하는 노면에서 취득되는 진동데이터는 취득 시점이 서로 다르므로, 동일 노면에 대한 이기종 센서(110, 130)의 서로 다른 데이터 취득 시점의 정합 또는 동일한 노면에서 취득된 전방 노면 영상과 진동데이터 간의 정합이 필요하다.
한편, 카메라(110)로부터 입력되는 전방 노면 영상을 전체 프레임 단위로 영상 처리하는 경우 프레임 처리 시간이 오래 소요되므로, 프레임 처리시간을 단축하기 위해 프레임에서 특정 영역만을 추출하여 처리할 수 있다.
이를 위하여, 전처리부(140)는 전방 노면 영상에 해당하는 1개의 전체 프레임을 3분할하고, 이 중 하나의 영역, 예를 들어, 최하단 영역을 추출하여 프레임 처리량을 개선시킬 수 있다.
또한, 전처리부(140)는 추출된 최하단 영역 중 K%의 영역을 다시 선정하여 관심영역(ROI: Region Of Interest)으로서 추출할 수도 있다. K%는, 차량이 도로의 중앙에서 주행한다고 가정한 경우 촬영된 전방 노면 영상의 최하단 영역에서, 관심영역이 차량의 바퀴들이 지나가는 영역을 포함할 수 있도록 설정될 수 있다. K%는 예를 들어 60%일 수 있고, 차선 폭, 차량의 높이, 또는 카메라(110)의 촬영 화각 등에 따라 수동/자동으로 변경될 수 있다. 또한, K%의 영역은 최하단 영역 중 가운데에 해당할 수 있으며, 변경 가능하다.
장치 메모리(150)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 장치 메모리(150)에는 예를 들어, 도로 상태 정보 수집 장치(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(110~160)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
예를 들어, 장치 메모리(150)에는 도로 상태 예측 모델, 정합 프로그램, 정합 테이블이 저장될 수 있다.
도로 상태 예측 모델은 후술할 도로 상태 모델 생성 장치(300)에서 인공지능 학습을 기반으로 생성된 모델로서, 전방 노면 영상을 분석하여 도로 노면이 비정상인지 예측할 수 있다. 도로의 비정상 상태정보는 노면의 불편성을 초래하는 요인들 즉, 노면 패임, 포트홀, 크랙, 낙하물, 미끄럼, 맨홀, 블로우업, 과속방지턱, 돌출형 노면표시 등 다수가 있으며, 도로 상태 예측 모델은 전방 노면 영상 또는 전방 노면 영상에서 추출된 관심영역을 분석하여 비정상 상태인 것으로 예측한다. 이로써, 비정상 상태인 것으로 예측된 전방 노면 영상은 서버(200)로 전송되고, 정상 상태인 것으로 예측된 전방 노면 영상은 전송되지 않음으로써 장치(100)는 1차 필터링을 수행할 수 있다.
정합 프로그램은 이기종 센싱데이터(전방 노면 영상과 진동데이터)의 시각 또는 공간 정합을 위한 프로그램이다.
정합 테이블은 전방 노면 영상이 차량의 전방 A미터~B미터 구간을 촬영한 영상인 경우, 차량의 주행 속도에 따라 차량의 전방 A미터와 B미터까지 도달하는데 소요되는 시간(이하, 'a초 및 b초'라 한다)과, 0.9A미터와 1.1B미터까지 도달하는데 소요되는 시간(이하, (a'초와 b초'라 한다)를 진동 센서의 주파수 별로 산출하여 매핑한 테이블이다. 0.9와 1.1은 오차범위를 고려한 값으로서 변경가능하다.
예를 들어, 카메라(110)가 차량 전방의 10m에서 20m까지의 구간을 촬영하여 이 구간의 전방 노면 영상을 획득하도록 설정된 경우, 본 발명은 촬영된 전방 노면 영상을 분석한 결과 비정상인 것으로 예측된 후, 차량이 전방 10m 지점 또는 전방 0.9*10미터에 도달했을 때 진동데이터의 취득을 시작하여 20m 지점 EH는 1.1*20m 지점을 통과할 때 진동데이터의 취득을 종료할 수 있다.
도 2는 차량 주행 속도 별 차량 전방 10m와 20m까지 도달하는데 소요되는 시간을 보여주는 그래프이다.
도 2의 그래프는 장치 메모리(150)에 저장된 정합 테이블을 그래프화한 것으로서, 빨강색 선은 현재 차량 위치에서 전방 10m와 20m까지 도달하는데 소요되는 시간이고, 파랑색 선은 전방 9m와 22m까지 도달하는데 소요되는 시간으로서, 이는 전방 10m와 20m까지 도달하는데 소요되는 시간의 오차범위를 고려하여 산출된 시간으로서 변경가능하다.
예를 들어, 차량 주행 속도가 100km/h이고, 가속도센서 샘플링 주기가 100Hz일 때, 현재 차량의 위치에서 전방 10m까지 이동하는데 0.36초 소요되고, 전방 20m까지 이동하는데 0.72초 소요되며, 진동은 (0.72-0.36)초 동안, 10m와 20m의 차이인 10m 구간에서최소 36회 센싱될 수 있음을 알 수 있다.
또한, 장치 메모리(150)는 카메라(110)에서 생성되는 전방 노면 영상, 전방 노면 영상에서 추출되는 관심영역, 전방 노면 영상이 센싱된 위치 정보와 시간 정보, 진동 센서(130)에서 출력되는 진동데이터, 장치 제어부(170)에서 생성되는 도로 노면의 비정상 정보 등 장치(100)를 구동하는 동안 발생하는 다양한 데이터를 저장할 수도 있다.
장치 제어부(170)는 장치 메모리(150)에 저장된 하나 이상의 프로그램을 실행하여 장치(100)의 전반적인 동작을 제어한다.
예를 들어, 장치 제어부(170)는 위치 센싱 신호와 연동하여, GPS 신호가 수신되는 구간(예를 들어, 일반 도로)과 수신되지 않는 구간(예를 들어, 터널) 중 GPS 신호가 수신되는 구간에서 촬영된 전방 노면 영상의 프레임을 선별하여 처리하도록 전처리부(140)를 제어함으로써 전체적인 부하가 개선되도록 할 수 있다.
또한, 장치 제어부(170)는 카메라(110)에서 생성되는 전방 노면 영상을 분석하여 도로 노면의 비정상 여부를 예측하고, 도로 노면이 비정상인 것으로 예측되면, 비정상으로 예측된 전방 노면 영상을 트리거로 이용하여 차량의 진동 센싱을 시작하고, 트리거로 이용되는 전방 노면 영상과 진동 센싱의 결과인 진동데이터를 비정상으로 예측된 도로 노면의 비정상 정보로서 수집할 수 있다.
이 때, 장치 제어부(170)는, 도로 노면이 비정상으로 예측되면, 비정상으로 예측된 도로 노면에서 진동을 센싱하도록 진동 센서(130)를 제어하고, 비정상으로 예측된 도로 노면에서 센싱되는 진동데이터와 비정상으로 예측된 전방 노면 영상을 도로 노면의 비정상 정보로서 수집할 수 있다.
자세히 설명하면, 장치 제어부(170)는 장치 메모리(150)에 저장된 정합 프로그램을 실행하여, 카메라(110)로부터 실시간으로 생성되어 입력되는 전방 노면 영상을 도로 상태 예측 모델에 입력하여 도로 노면의 비정상 여부를 예측한다. 영상 처리 속도 향상을 위해, 장치 제어부(170)는 전방 노면 영상의 전체 프레임이 아니라 전처리부(140)에서 추출된 관심영역을 도로 상태 예측 모델에 입력하여 도로 노면의 비정상 여부를 예측할 수도 있다. 이하에서는 관심영역을 입력하는 경우를 설명한다.
도로 노면의 상태가 비정상인 것으로 예측되면, 장치 제어부(170)는 비정상으로 예측된 관심영역이 추출된 전방 노면 영상을 트리거로 이용하여 전방 노면 영상이 촬영된 시점부터 일정 시간 후에 정해진 시간동안 차량의 진동을 센싱하도록 진동 센서(130)를 제어할 수 있다. 이로써, 동일한 위치에 대해 촬영된 전방 노면 영상과 센싱된 진동데이터가 동일한 위치로 정합된다. 그리고, 장치 제어부(170)는 트리거로 이용되는 전방 노면 영상(또는 관심영역)과 진동데이터와 전방 노면 영상의 위치 정보를 도로 노면의 비정상 정보로서 수집할 수 있다.
도로 노면의 비정상 정보를 수집하는 동작은 기본 모드와 정밀 모드로 나뉠 수 있다.
먼저, 장치 제어부(170)가 기본 모드로 동작하는 경우, 장치 제어부(170)는 전방 노면 영상으로 트리거링된 시점부터 1초가 경과된 후 1초 동안 진동데이터를 출력하도록 진동 센서(130)를 제어하고, 진동 센서(130)는 1초동안 진동 센서(130)에 설정된 주파수에 따라 진동을 센싱할 수 있다. 여기서 1초가 경과한 후 1초 동안 센싱하는 것은, 1초 후에는 차량이 전방 노면 영상에 해당하는 지점에 도착할 수 있으며, 1초동안에는 전방 노면 영상에 해당하는 노면을 차량이 통과할 수 있을 것으로 예상한 시간으로서, 사용자에 의해 변경가능함은 물론이다.
진동 센서(130)가 3축 가속도 센서이고, 진동 센서(130)에 설정된 주파수가 LHz인 경우, 진동 센서(130)는 가속도 샘플링 주기로 가속도값을 계측한다. 즉, 진동 센서(130)는 1초동안 L회의 진동을 센싱하여 L개의 가속도값, 즉, 진동데이터를 3축 별로 출력한다.
그리고, 장치 제어부(170)는, 3축 별로 출력되는 3축 진동데이터의 대표값을 각 진동이 측정된 시점마다 산출하여 L개 산출하며, L개의 대표값을 도로 노면의 비정상 정보로 사용할 수 있다. 장치 제어부(170)는 [수학식 1]을 이용하여 3축 진동데이터의 대표값을 산출할 수 있다.
[수학식 1]에서, 
은 n번째로 측정된 축별 가속도값들의 대표값, 
은 x축에서 n번째로 측정된 가속도값, 
은 x축에서 n-1번째로 측정된 가속도값, 
은 y축에서 n번째로 측정된 가속도값, 
은 y축에서 n-1번째로 측정된 가속도값, 
은 z축에서 n번째로 측정된 가속도값, 
은 z축에서 n-1번째로 측정된 가속도값이다.
또는, 장치 제어부(170)는 3축 별로 L개씩 출력되는 3축의 진동데이터를 도로 노면의 비정상 정보로 사용할 수도 있다. 이러한 경우, 비정상 정보에 포함되는 진동데이터의 개수는 3L개가 되므로 데이터량은 증가할 수 있으나, 대표값에 비해 더 정밀하게 노면 상태를 파악할 수 있다.
한편, 장치 제어부(170)는 정밀 모드로 동작하는 경우, 진동 센서(130)에 설정된 주파수 및 차량의 현재 주행 속도를 확인하고, 확인된 주파수 및 현재 주행 속도에 매핑된 도달 시간인 a'초 또는 a초와 b'초 또는 b초를 장치 메모리(150)에 저장된 정합 테이블에서 확인한다.
그리고, 장치 제어부(170)는 전방 노면 영상으로 트리거링된 시점부터 a'초 또는 최대 a초가 경과된 후 최소 (b-a)초 동안 진동데이터를 출력하도록 진동 센서(130)를 제어할 수 있다. 따라서, 진동 센서(130)는 최소 (b-a)초 동안 또는 최대 (b'-a')초 동안 진동 센서(130)에 설정된 주파수에 따라 진동을 센싱한다.
또는, 장치 제어부(170)는 전방 노면 영상으로 트리거링된 시점부터 a'초가 경과된 후 (b'-a')초 동안 진동데이터를 출력하도록 진동 센서(130)를 제어할 수도 있다. 이러한 경우, 장치 제어부(170)는 전방 노면 영상에 해당하는 전방 구간을 포함하는 앞뒤 구간에 대해서 진동데이터를 획득하며, 비정상 상태와 관련된 보다 정확한 데이터를 획득할 수 있다.
장치 제어부(170)는 비정상 상태가 예측된 전방 노면 영상(또는 관심영역)과, 차량이 전방 노면 영상에 해당하는 실제 노면을 주행하는 동안 센싱된 진동데이터와, 비정상 상태가 예측된 전방 노면 영상의 위치 정보를 포함하는 도로 노면의 비정상 정보를 생성 및 수집할 수 있다.
그리고, 장치 제어부(170)는 도로 노면의 비정상 정보를 실시간으로 도로 정보 제공 서버(200)로 전송하도록 처리할 수 있다. 도로 노면의 비정상 정보는 무선 통신을 통해 도로 정보 제공 서버(200)로 직접 전송되거나, 도로 주변의 노변 장치인 RSE(Road Side Equipment)를 통해 도로 정보 제공 서버(200)로 전송될 수도 있다.
한편, 도 1을 참조하면, 본 발명의 실시 예에 따른 도로 정보 제공 서버(200)는 서버 통신부(210), 서버 DB(220), 서버 메모리(230) 및 서버 제어부(240)를 포함할 수 있다.
서버 통신부(210)는 다수의 도로 상태 정보 수집 장치들(100) 또는 RSE들(미도시)과 통신하여, 도로 노면의 비정상 정보를 수신한다. 이하에서는 도로 상태 정보 수집 장치(100)로부터 수신되는 경우를 예로 들어 설명한다.
서버 DB(220)는 도로 상태 정보 수집 장치(100)로부터 수신되는 도로 노면의 비정상 정보를 저장한다.
서버 메모리(230)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 서버 메모리(230)에는 예를 들어, 도로 정보 제공 서버(200)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(210~240)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
서버 메모리(230)에 저장되는 프로그램은 도로 상태 판단 모델을 이용하여 도로 상태를 판단하는 프로그램을 포함할 수 있다. 도로 상태 판단 모델은 후술할 도로 상태 모델 생성 장치(300)에서 인공지능 학습을 기반으로 생성된 모델로서, 전방 노면 영상을 정밀 분석하여 도로 노면이 비정상인지 판단할 수 있다.
서버 제어부(240)는 서버 메모리(230)에 저장된 하나 이상의 프로그램을 실행하여 서버(200)의 전반적인 동작을 제어한다.
예를 들어, 서버 제어부(240)는 수신된 도로 노면의 비정상 정보 중 전방 노면 영상(또는 관심영역)을 도로 상태 판단 모델에 입력하여 도로 노면의 상태를 2차로 판단하고, 2차 판단 결과 비정상으로 판단되면, 수신된 도로 노면의 비정상 정보를 노면 이상 정보로서 제공할 수 있다.
서버 제어부(240)는 도로 노면의 비정상 정보를 다양한 모빌리티 서비스로서 활용 및 제공할 수 있다. 서버 제어부(240)는 지도상에 구간별로 도로 위험, 도로 비정상상태 등 다양한 동적 정보를 표시하고, 저장된 데이터를 이용하여 안전 서비스를 제공한다. 도로 노면의 정보가 비정상인 정보는 불량(파손) 종류와 위치, 발생빈도, 크기 등의 변수를 참고로 단위 구간내에서 정보를 생성하여 제공한다. 단위 구간별 도로 불량정보는 3단계 또는 4단계 등 다양하게 불량정도를 표현할 수 있고, 예를 들면 불량도가 심각한 높은 단계는 발생빈도와 크기가 심각한 경우로서, 사람들이 시각적으로 경고를 느끼는 색상으로 단위구간의 불량도를 색상과 정량적 수치로 표현한다. 동시에 낮은 단계는 주의 또는 안전 등의 사용자의 요구에 맞춰 색상과 수치로 표현한다. 이러한 불량정보는 운전자 또는 정보 공급자 등 다양한 수요자에게 전달하여 서비스할 수도 있다.
도 3 및 도 4는 상술한 도로 상태 정보 수집 시스템의 일련의 동작을 보여주는 도면이다.
도 3 및 도 4를 참조하면, 도로 상태 정보 수집 장치(100)는 차량이 주행하는 동안 GPS값을 취득하면서 전방을 촬영하여 전방 노면 영상을 생성한다. 이와 동시에 도로 상태 정보 수집 장치(100)는 전방 노면 영상을 전처리하여 관심영역을 획득하여 1차 딥러닝 AI 분석을 수행한다. 1차 딥러닝 AI 분석 결과 관심영역이 비정상 상태인 것으로 예측되면, 도로 상태 정보 수집 장치(100)는 관심영역이 추출된 전방 노면 영상이 촬영된 시점에서 일정 시간 경과 후 정해진 시간 동안 차량의 진동을 센싱하고, 관심영역이 추출된 전방 노면 영상, 센싱된 진동데이터, 촬영된 시점의 위치정보를 포함하는 비정상 정보를 생성하여 도로 정보 제공 서버(200)에게 전송한다.
이와 동시에 도로 상태 정보 수집 장치(100)는 촬영되는 전방 노면 영상의 전처리 및 비정상 여부를 예측하는 동작을 수행한다.
도로 정보 제공 서버(200)는 수신된 비정상 정보 중 전방 노면 영상에 대해 2차 딥러닝 AI 분석을 수행한다. 수행 결과 전방 노면이 비정상인 것으로 판단되면, 즉, 불량 정보, 파손 정보 등이 있는 것으로 판단되면, 도로 정보 제공 서버(200)는 수신된 비정상 정보를 서버 DB(220)에 저장하고, 모빌리티 서비스로 제공할 수 있다.
이하에서는 도 5 내지 도 9를 참조하여 도로 상태 예측 모델과 도로 상태 판단 모델을 생성하는 동작에 대해 설명한다.
도로 노면의 영상으로부터 비정상 여부를 판단하고, 비정상 상태 정보를 생성하기 위한 AI(인공지능) 영상처리는 도로 비정상 상태정보를 인식하기 위한 이미지 데이터셋을 필요로 하고 이를 토대로 AI 학습모델을 제작하는 과정을 수행한다.
본 발명의 특징 중 하나는 AI 학습용 이미지 데이터셋을 제작하는 방법에 관한 것으로서, 학습용 이미지 데이터셋을 제작하기 위해서는 다음 [표 1]과 같이 도로의 비정상상태의 분류체계를 정의한다.
| 분류 | 설명 |
| Line | 도로포장의 이음매, 줄눈, 유도루프 검지기 표시선 등의 고의적인 의도를 가지고 도로노면 위에 표시된 줄선 등. |
| Marker | 표지봉, 차선, 로드마킹 등 도로노면 위에 설치되어 있는 시설물 혹은 로드마킹, 도로 위 낙하물 등. |
| Outside | 보도블럭, 간판, 잔디, 보행자 등의 도로 밖에 존재하는 물체 혹은 사람 등. |
| Pothole | 큰 크랙, 포트홀 등을 포함하는 도로노면 파손 부위를 통칭하며, 도로노면 파손이 존재할 경우 포트홀로 분류. |
| Shadow | 교량, 나무, 차량, 가로등 등으로 나타나는 그림자 등. |
| Vehicle | 오토바이, 자동차, 대형화물차, 자전거 등 도로 위에서 주행가능한 모든 탈 것. |
[표 1]을 참조하면, 본 발명의 도로 상태 모델 생성 장치(300)는 도로 노면에 존재하는 수많은 객체를 Line, Marker, Outside, Pothole, Shadow, Vehicle로 분류한다.
도 5는 본 발명의 실시 예에 따른 도로 상태 모델 생성 장치(300)를 도시한 블록도이다.
도 5에 도시된 도로 상태 모델 생성 장치(300)는 다수의 전방 노면 영상을 딥러닝 알고리즘에 적용하여 실제 도로상에서 파손 영역을 예측할 수 있는 도로 상태 예측 모델과 도로 상태 판단 모델을 학습 및 생성할 수 있다.
이를 위해, 도로 상태 모델 생성 장치(300)는 모델 UI부(310), 모델 DB(320), 모델 전처리부(330), 모델 메모리(340) 및 모델 제어부(350)를 포함할 수 있다.
모델 UI부(310)는 사용자와 서버(300) 간의 인터페이싱을 위한 장치로서, 사용자 명령을 입력받아 모델 제어부(350)에게 전달하거나, 모델 제어부(350)에 의해 처리된 결과를 화면에 표시할 수 있다.
모델 DB(320)는 주행 중인 다수의 차량들에서 차량의 전방을 촬영한 전방 노면 영상들과 모델 전처리부(330)에서 전처리된 학습용 이미지 데이터 셋을 저장한다. 전방 노면 영상은 예를 들어, 차량의 전방 10m~20m까지의 구간을 촬영한 영상일 수 있다.
모델 전처리부(330)는 수집된 전방 노면 영상들로부터 추출되는 각 관심 영역을 영상처리한다. 모델 전처리부(330)는 전방 노면 영상의 프레임을 3분할하고, 아래 최하단 영역을 추출한 후, 최하단 영역에서 상술한 K%의 영역을 추출하여 관심영역으로 정할 수 있다. 또는, 최하단 영역이 관심영역으로 정해질 수도 있음은 물론이다.
모델 전처리부(330)는 추출된 관심영역에 [표 1]과 같이 분류된 포트홀, 크랙 등의 파손 영역이 있는 경우, 파손 영역의 특징점을 색상 또는 별도의 표식으로 표시하는 레이블링 작업을 사용자로 하여금 도 6과 같이 수행하도록 하여, 데이터 셋을 제작할 수 있다.
도 6은 학습용 레이블링 예시도로서, 파손 영역의 종류 또는 크기에 따라 레이블링 색상은 상이하게 표시될 수 있다. 도 6에 도시된 것처럼 특정 색상으로 포트홀을 특징화하는 과정을 거쳐서 학습용 이미지 데이터 셋이 제작된다. 포트홀에 특징적인 표식을 한 이미지 데이터 셋이 충분할수록 AI 학습 결과는 성능은 높아지며, 포트홀의 특징화 표식은 주변과 다른 색으로 덧칠하는 방식을 사용한다.
모델 메모리(340)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 모델 메모리(340)에는 도로 상태 예측 모델(1차 딥러닝 AI)과 도로 상태 판단 모델(2차 딥러닝 AI)을 구현하기 위한 프로그램이 저장될 수 있다. 도로 상태 예측 모델과 도로 상태 판단 모델은 전방 노면 영상을 학습 알고리즘에 적용하여 도로 노면이 비정상인지 예측하거나 보다 정밀하게 판단하며, 비정상으로 판단된 영역을 레이블링할 수 있다. 학습 알고리즘은 인공지능 알고리즘, 구체적으로는 딥러닝 알고리즘(예를 들어, DNN, RNN, CNN, SVM 등 다수)일 수 있다.
모델 제어부(350)는 모델 메모리(340)에 저장된 하나 이상의 프로그램을 실행하여 도로 상태 예측 모델과 도로 상태 판단 모델을 학습 및 생성할 수 있다.
자세히 설명하면, 모델 제어부(350)는 모델 전처리부(330)에서 전처리된 학습용 이미지 데이터 셋을 인공지능 학습모델을 거쳐 학습이 완료된 추론모델, 즉, 도로 상태 예측 모델과 도로 상태 판단 모델을 제작한다. 본 발명에서, 모델 제어부(350)는 2단계의 인공지능모델을 연동하여 수행하도록, 1차 필터링과 2차 필터링의 인공지능 모델을 다르게 구성하는 계층형 인공지능 모델을 제작할 수 있다.
먼저, 모델 제어부(350)는 도 7에 도시된 것처럼, 인공지능 모델을 컨볼루션 네트워크로 구성하고, 도로 상태 판단 모델 대비 빠르게 노면의 비정상 여부를 판단할 수 있는 도로 상태 예측 모델을 제작한다.
그리고, 모델 제어부(350)는 도 8에 도시된 것처럼, 모델 DB(320)에 저장된 학습 이미지 데이터 셋에서 포트홀과 비포트홀 등 비정상상태 이미지와 정상상태 이미지의 구성 비율을 N 종으로 바꾸면서 모델을 학습하고, 이 모델을 N*N 매트릭스 형태를 갖도록 앙상블 구조의 도로 상태 판단 모델을 제작한다.
도 9는 도로 상태 예측 모델과 도로 상태 판단 모델에 실제 도로에서 촬영한 동영상을 기반으로 학습한 결과를 보여준다.
상술한 방식으로 제작된 도로 상태 판단 모델은 도로 상태 예측 모델로부터 발생하는 FP(False Positive)값을 낮추도록 학습 및 모델링되어 도로 상태 예측 모델 대비 신뢰도가 높고, 도로 상태 예측 모델은 도로 상태 판단 모델 대비 경량화된 모델이다. 따라서, 도로 상태 예측 모델을 도로 상태 정보 수집 장치(100)와 같은 단말기에 적용할 경우 단말기의 하드웨어 부담을 줄이면서 빠른 처리속도를 유지할 수 있다. 이후, 도로 상태 예측 모델보다 정확도와 처리 속도가 높은 도로 상태 판단 모델을 도로 상태 정보 수집 장치(100)보다 고성능의 하드웨어를 구비한 도로 상태 정보 제공 서버(200)에 적용하여, 보다 빠르면서 정확하게 노면의 이상 여부를 판단할 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 도로 상태 정보 수집 시스템을 도시한 도면이다.
도 10을 참조하면, 도로 상태 정보 수집 장치(400)가 장착된 차량(10)이 무선 통신 환경이 가능한 커넥티드 차량인 경우, 차량은 도로 노면의 비정상 정보를 스스로 활용하거나 주변 차량(20)에 V2X 통신을 통해 전송하여 정보를 공유한다. 또한, 이와 동시에 도로 상태 정보 수집 장치(400)는 RSE(500)를 통하거나 또는 직접 관제 센터(600)로 비정상 정보를 전송할 수 있다. 도로 상태 정보 수집 장치(400)는 도 1 내지 도 4를 참조하여 설명한 도로 상태 정보 수집 장치(100)이다.
차량은 카메라, 진동 센서, GPS, 온도 센서 등 다양한 이기종 센서를 이용하여 전방 노면 영상, 진동 정보, 위치 정보, 노면 온도를 획득하고, 이를 활용하는 커넥티드 차량으로서, 획득한 정보 모두를 주변 차량 또는 RSE(500) 또는 관제 센터(600)로 전송하거나, 도로 노면의 상태가 불량한 경우 비정상 정보를 생성하여 전송할 수 있다.
이로써, 주변 차량의 운전자가 주행 중에 관제 센터(600)에 접속하여 실시간으로 발생하는 다양한 노면 상황(노면 파손뿐만 아니라 갑자기 발생하는 살얼음, 낙하물 등)을 파악하기 어려우므로, 전행 차량의 각종 센서에 포착된 도로 노면의 위험 정보를 주변 차량에게 실시간으로 알림으로서 대응 운전이 가능하게 할 수 있다.
도 11은 본 발명의 실시 예에 따른 도로 상태 정보 수집 시스템의 도로 상태 정보 수집 및 제공 방법을 개략적으로 도시한 흐름도이다.
도 11에 도시된 도로 상태 정보 수집 장치(100)와 도로 정보 제공 서버(200)는 도 1 내지 도 4를 참조하여 설명하였으므로 자세한 설명은 생략한다.
도 11을 참조하면, 도로 상태 정보 수집 장치(100)는 주행 중인 차량의 전방을 촬영하여 생성되는 전방 노면 영상을 1차 분석하여 도로 노면의 비정상 여부를 예측하고, 정상으로 예측되면 전방 노면 영상을 필터링하고, 비정상으로 예측되면 전방 노면 영상과 차량의 진동을 센싱한 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집할 수 있다(S1100).
S1100단계를 자세히 설명하면, 도로 상태 정보 수집 장치(100)는 카메라(110)로 주행 중인 차량의 전방을 실시간으로 촬영하여 전방 노면 영상을 생성한다(S1110).
도로 상태 정보 수집 장치(100)는 전방 노면 영상을 프레임단위로 전처리하여 관심영역을 추출한다(S1120).
도로 상태 정보 수집 장치(100)는 위치 센서(120)로 차량의 위치 정보를 센싱한다(S1130).
도로 상태 정보 수집 장치(100)는 S1120단계에서 추출되는 전방 노면 영상의 관심영역을 1차 분석하여 도로 노면의 비정상 여부를 예측하고, 도로 노면이 비정상인 것으로 예측되면, 비정상으로 예측된 전방 노면 영상을 트리거로 이용하여 차량의 진동 센싱을 시작하고, 트리거로 이용되는 전방 노면 영상과 진동 센싱의 결과인 진동데이터를 비정상으로 예측된 도로 노면의 비정상 정보로서 수집할 수 있다(S1140). S1140단계는, 도로 노면이 비정상으로 예측되면, 비정상으로 예측된 도로 노면에서 진동을 센싱하여 획득되는 진동데이터와 비정상으로 예측된 전방 노면 영상을 도로 노면의 비정상 정보로서 수집할 수 있다.
도 12는 S1140단계를 자세히 도시한 흐름도이다.
도 12를 참조하면, 도로 상태 정보 수집 장치(100)는 S1120단계에서 추출되는 관심영역을 도로 상태 예측 모델에 입력하여 도로 노면의 비정상 여부를 예측한다(S1142).
S1142단계에서 도로 노면이 비정상인 것으로 예측되면, 도로 상태 정보 수집 장치(100)는 비정상인 것으로 예측된 전방 노면 영상을 트리거로 이용하여 전방 노면 영상이 촬영된 시점부터 일정 시간 후 차량의 진동을 정해진 시간동안 센싱한다(S1144). S1144단계에 의해, 전방 노면 영상에 해당하는 구간에서 차량 진동을 센싱하는 것이 가능하다. S1144단계는 기본 모드와 정밀 모드에 따라 전방 노면 영상과 진동데이터를 정렬하는 방식이 다르며, 구체적인 설명은 상술되었으므로 생략한다.
도로 상태 정보 수집 장치(100)는 S1144단계에서 트리거로 이용되는 전방 노면 영상과 진동 센싱의 결과인 진동데이터와 위치 정보를 도로 노면의 비정상 정보로서 수집한다(S1146).
도로 상태 정보 수집 장치(100)는 S1146단계에서 수집된 도로 노면의 비정상 정보를 실시간으로 도로 정보 제공 서버(200)로 전송한다(S1150).
다시 도 11을 참조하면, 도로 정보 제공 서버(200)는 도로 상태 정보 수집 장치(100)로부터 수신되는 도로 노면의 비정상 정보 중 전방 노면 영상을 2차 분석하여 도로 노면의 비정상 여부를 최종적으로 판단할 수 있다(S1200).
S1200단계를 자세히 설명하면, 도로 정보 제공 서버(200)는 도로 상태 정보 수집 장치(100)로부터 전송되는 도로 노면의 비정상 정보를 수신한다(S1210).
도로 정보 제공 서버(200)는 수신된 도로 노면의 비정상 정보 중 전방 노면 영상을 도로 상태 판단 모델에 입력하여 도로 노면의 상태를 2차로 판단하고, 2차 판단 결과 상기 도로 노면의 상태가 비정상으로 판단되면, 수신된 도로 노면의 비정상 정보를 노면 이상 정보로서 제공한다(S1220, S1230).
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 도로 상태 정보 수집 장치 110: 카메라
120: 위치 센서 130: 진동 센서
140: 전처리부 150: 장치 메모리
160: 장치 통신부 170: 장치 제어부
200: 도로 정보 제공 서버 210: 서버 통신부
220: 서버 DB 230: 서버 메모리
240: 서버 제어부
120: 위치 센서 130: 진동 센서
140: 전처리부 150: 장치 메모리
160: 장치 통신부 170: 장치 제어부
200: 도로 정보 제공 서버 210: 서버 통신부
220: 서버 DB 230: 서버 메모리
240: 서버 제어부
Claims (12)
- 주행 중인 차량의 전방을 촬영하여 생성되는 전방 노면 영상을 1차 분석하여 도로 노면의 비정상 여부를 예측하고, 정상으로 예측되면 전방 노면 영상을 필터링하고, 비정상으로 예측되면 상기 전방 노면 영상과 상기 차량의 진동을 센싱한 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하는 도로 상태 정보 수집 장치; 및
상기 도로 상태 정보 수집 장치로부터 수신되는 도로 노면의 비정상 정보 중 전방 노면 영상을 2차 분석하여 상기 도로 노면의 비정상 여부를 최종적으로 판단하는 도로 정보 제공 서버;를 포함하고,
상기 도로 상태 정보 수집 장치는,
상기 주행 중인 차량의 전방을 실시간으로 촬영하여 전방 노면 영상을 출력하는 카메라;
상기 전방 노면 영상의 전체 프레임을 3분할하여 최하단 영역을 추출하고, 상기 추출된 최하단 영역 중 K%의 영역을 관심영역(ROI: Region Of Interest)으로서 추출하는 전처리부;
상기 차량의 진동을 센싱하여 진동데이터를 출력하는 진동 센서;
상기 차량의 위치 정보를 제공하는 위치 센서;
상기 도로 노면의 비정상 정보를 상기 도로 정보 제공 서버로 전송하는 장치 통신부;
인공지능 기반으로 사전에 학습된 도로 상태 예측 모델이 저장되는 장치 메모리; 및
상기 카메라로부터 실시간으로 입력되는 전방 노면 영상에서 추출된 ROI를 상기 도로 상태 예측 모델에 입력하여 도로 노면의 상태를 1차로 예측하고, 상기 도로 노면의 상태가 비정상으로 예측되면, 상기 전방 노면 영상을 트리거로 이용하여 차량의 진동 센싱을 시작하고, 상기 트리거로 이용되는 전방 노면 영상과 상기 진동 센싱의 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하는 장치 제어부;를 포함하며,
상기 K%는, 상기 차량이 도로의 중앙에서 주행하는 경우 상기 관심영역이 상기 차량의 바퀴들이 지나가는 영역을 포함하도록 설정되는 것을 특징으로 하는 도로 상태 정보 수집 시스템. - 삭제
- 제1항에 있어서,
상기 장치 제어부는,
상기 1차 예측 결과 도로 노면의 상태가 비정상으로 예측되면, 상기 전방 노면 영상을 트리거로 이용하여 상기 전방 노면 영상이 촬영된 시점부터 일정 시간이 경과한 후 정해진 시간동안 차량의 진동을 센싱하도록 상기 진동 센서를 제어하고, 상기 트리거로 이용되는 전방 노면 영상과 상기 정해진 시간동안 센싱되어 출력된 진동데이터를 위치 정보와 함께 상기 도로 노면의 비정상 정보로서 수집하는 것을 특징으로 하는 도로 상태 정보 수집 시스템. - 제1항에 있어서,
상기 도로 정보 제공 서버는,
상기 도로 상태 정보 수집 장치로부터 도로 노면의 비정상 정보를 수신하는 서버 통신부;
인공지능 기반으로 사전에 학습된 도로 상태 판단 모델이 저장되는 서버 메모리; 및
상기 수신된 도로 노면의 비정상 정보 중 전방 노면 영상을 상기 도로 상태 판단 모델에 입력하여 도로 노면의 상태를 2차로 판단하고, 2차 판단 결과 상기 도로 노면의 상태가 비정상으로 판단되면, 상기 수신된 도로 노면의 비정상 정보를 노면 이상 정보로서 제공하는 서버 제어부;를 포함하는 것을 특징으로 하는 도로 상태 정보 수집 시스템. - 제4항에 있어서,
상기 도로 상태 판단 모델은 상기 도로 상태 예측 모델로부터 발생하는 FP(False Positive)값을 낮추도록 학습 및 모델링되어 상기 도로 상태 예측 모델 대비 신뢰도가 높고,
상기 도로 상태 예측 모델은 상기 도로 상태 판단 모델 대비 경량화된 것을 특징으로 하는 도로 상태 정보 수집 시스템. - 삭제
- (A) 도로 상태 정보 수집 장치가, 주행 중인 차량의 전방을 촬영하여 생성되는 전방 노면 영상을 1차 분석하여 도로 노면의 비정상 여부를 예측하고, 정상으로 예측되면 전방 노면 영상을 필터링하고, 비정상으로 예측되면 상기 전방 노면 영상과 상기 차량의 진동을 센싱한 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하는 단계; 및
(B) 도로 정보 제공 서버가, 상기 도로 상태 정보 수집 장치로부터 수신되는 도로 노면의 비정상 정보 중 전방 노면 영상을 2차 분석하여 상기 도로 노면의 비정상 여부를 최종적으로 판단하는 단계;를 포함하고,
상기 (A) 단계는,
(A1) 카메라가 상기 주행 중인 차량의 전방을 실시간으로 촬영하여 전방 노면 영상을 출력하는 단계;
(A2) 상기 전방 노면 영상의 전체 프레임을 3분할하여 최하단 영역을 추출하고, 상기 추출된 최하단 영역 중 K%의 영역을 관심영역(ROI: Region Of Interest)으로서 추출하는 단계;
(A3) 상기 차량의 위치 정보를 센싱하는 단계; 및
(A4) 상기 (A1) 단계로부터 실시간으로 입력되는 전방 노면 영상을 도로 상태 예측 모델에 입력하여 도로 노면의 상태를 1차로 예측하고, 상기 도로 노면의 상태가 비정상으로 예측되면, 상기 전방 노면 영상을 트리거로 이용하여 차량의 진동 센싱을 시작하고, 상기 트리거로 이용되는 전방 노면 영상과 상기 진동 센싱의 결과인 진동데이터를 도로 노면의 비정상 정보로서 수집하는 단계; 및
(A5) 상기 수집된 도로 노면의 비정상 정보를 상기 도로 정보 제공 서버로 전송하는 단계;를 포함하고,
상기 (A4) 단계는,
상기 (A2) 단계에서 추출된 ROI를 상기 도로 상태 예측 모델에 입력하여 도로 노면의 상태를 예측하며,
상기 K%는, 상기 차량이 도로의 중앙에서 주행하는 경우 상기 관심영역이 상기 차량의 바퀴들이 지나가는 영역을 포함하도록 설정되는 것을 특징으로 하는 도로 상태 정보 수집 방법. - 삭제
- 제7항에 있어서,
상기 (A4) 단계는,
상기 1차 예측 결과 도로 노면의 상태가 비정상으로 예측되면, 상기 전방 노면 영상을 트리거로 이용하여 상기 전방 노면 영상이 촬영된 시점부터 일정 시간이 경과한 후 정해진 시간동안 차량의 진동을 센싱하고, 상기 트리거로 이용되는 전방 노면 영상과 상기 정해진 시간동안 센싱되어 출력된 진동데이터를 위치 정보와 함께 상기 도로 노면의 비정상 정보로서 수집하는 것을 특징으로 하는 도로 상태 정보 수집 방법. - 제7항에 있어서,
상기 (B) 단계는,
(B1) 상기 도로 상태 정보 수집 장치로부터 도로 노면의 비정상 정보를 수신하는 단계; 및
(B2) 상기 수신된 도로 노면의 비정상 정보 중 전방 노면 영상을 도로 상태 판단 모델에 입력하여 도로 노면의 상태를 2차로 판단하고, 2차 판단 결과 상기 도로 노면의 상태가 비정상으로 판단되면, 상기 수신된 도로 노면의 비정상 정보를 노면 이상 정보로서 제공하는 단계;를 포함하는 것을 특징으로 하는 도로 상태 정보 수집 방법. - 제10항에 있어서,
상기 도로 상태 판단 모델은 상기 도로 상태 예측 모델로부터 발생하는 FP(False Positive)값을 낮추도록 학습 및 모델링되어 상기 도로 상태 예측 모델 대비 신뢰도가 높고,
상기 도로 상태 예측 모델은 상기 도로 상태 판단 모델 대비 경량화된 것을 특징으로 하는 도로 상태 정보 수집 방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200049952A KR102167291B1 (ko) | 2020-04-24 | 2020-04-24 | 도로 상태 정보 수집 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200049952A KR102167291B1 (ko) | 2020-04-24 | 2020-04-24 | 도로 상태 정보 수집 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102167291B1 true KR102167291B1 (ko) | 2020-10-20 |
Family
ID=73025457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200049952A KR102167291B1 (ko) | 2020-04-24 | 2020-04-24 | 도로 상태 정보 수집 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102167291B1 (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112406879A (zh) * | 2020-11-13 | 2021-02-26 | 广州小鹏汽车科技有限公司 | 车辆的控制方法、装置、车辆和存储介质 |
| KR102223401B1 (ko) * | 2021-01-14 | 2021-03-05 | 주식회사 로드텍 | 관할도로의 노선 데이터 관리 방법 및 장치 |
| KR102281100B1 (ko) * | 2020-12-21 | 2021-07-23 | 한국건설기술연구원 | 지하 매설관 이상 탐지 시스템 및 방법 |
| KR102281101B1 (ko) * | 2020-12-21 | 2021-07-23 | 한국건설기술연구원 | 지하 매설관 이상 탐지를 위한 모델 생성 서버 및 방법 |
| KR102330612B1 (ko) * | 2021-08-31 | 2021-11-24 | 주식회사보다텍 | 도로 노면의 블랙아이스 및 블로우업 발생 예측장치 |
| KR20220067874A (ko) * | 2020-11-18 | 2022-05-25 | 아주대학교산학협력단 | V2i 통신을 이용한 동적 자율주행 지원 시스템 |
| KR20220132841A (ko) * | 2021-03-24 | 2022-10-04 | 주식회사 에어플 | 도로 정보 제공 시스템 및 도로 정보 제공 방법 |
| KR20220135812A (ko) * | 2021-03-31 | 2022-10-07 | 한국건설기술연구원 | 도로 맨홀 정보 자동 인지 장치 및 방법 |
| KR20230090297A (ko) | 2021-12-14 | 2023-06-21 | 진규식 | 도로상태정보 수집장치, 도로상태정보 제공장치, 도로상태정보 수집 및 제공시스템 및 그 방법 |
| KR20230164945A (ko) | 2022-05-26 | 2023-12-05 | 한국건설기술연구원 | 도로 결빙에 따른 블랙아이스 정보 제공 시스템 및 그 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013140448A (ja) * | 2011-12-28 | 2013-07-18 | Fujitsu Ltd | 路面調査プログラム及び路面調査装置 |
| KR20150029080A (ko) * | 2013-09-09 | 2015-03-18 | 한국전자통신연구원 | 노면정보 수집장치, 관리장치 및 그 동작방법 |
| KR101543342B1 (ko) | 2015-02-23 | 2015-08-11 | 한국건설기술연구원 | 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법 |
| KR20160142968A (ko) * | 2015-06-04 | 2016-12-14 | 김형철 | 노면 정보 제공 장치 및 방법, 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록 매체 |
| KR20160145937A (ko) * | 2015-06-11 | 2016-12-21 | 김형철 | 노면 정보 제공 장치 및 방법, 환자 이송 차량에 노면 정보를 제공하는 방법, 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록 매체 |
| KR102026685B1 (ko) * | 2018-11-12 | 2019-11-04 | 한국건설기술연구원 | 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버 |
-
2020
- 2020-04-24 KR KR1020200049952A patent/KR102167291B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013140448A (ja) * | 2011-12-28 | 2013-07-18 | Fujitsu Ltd | 路面調査プログラム及び路面調査装置 |
| KR20150029080A (ko) * | 2013-09-09 | 2015-03-18 | 한국전자통신연구원 | 노면정보 수집장치, 관리장치 및 그 동작방법 |
| KR101543342B1 (ko) | 2015-02-23 | 2015-08-11 | 한국건설기술연구원 | 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법 |
| KR20160142968A (ko) * | 2015-06-04 | 2016-12-14 | 김형철 | 노면 정보 제공 장치 및 방법, 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록 매체 |
| KR20160145937A (ko) * | 2015-06-11 | 2016-12-21 | 김형철 | 노면 정보 제공 장치 및 방법, 환자 이송 차량에 노면 정보를 제공하는 방법, 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록 매체 |
| KR102026685B1 (ko) * | 2018-11-12 | 2019-11-04 | 한국건설기술연구원 | 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112406879B (zh) * | 2020-11-13 | 2022-03-18 | 广州小鹏汽车科技有限公司 | 车辆的控制方法、装置、车辆和存储介质 |
| CN112406879A (zh) * | 2020-11-13 | 2021-02-26 | 广州小鹏汽车科技有限公司 | 车辆的控制方法、装置、车辆和存储介质 |
| KR102505533B1 (ko) | 2020-11-18 | 2023-03-02 | 아주대학교산학협력단 | V2i 통신을 이용한 동적 자율주행 지원 시스템 |
| KR20220067874A (ko) * | 2020-11-18 | 2022-05-25 | 아주대학교산학협력단 | V2i 통신을 이용한 동적 자율주행 지원 시스템 |
| KR102281101B1 (ko) * | 2020-12-21 | 2021-07-23 | 한국건설기술연구원 | 지하 매설관 이상 탐지를 위한 모델 생성 서버 및 방법 |
| KR102281100B1 (ko) * | 2020-12-21 | 2021-07-23 | 한국건설기술연구원 | 지하 매설관 이상 탐지 시스템 및 방법 |
| KR102223401B1 (ko) * | 2021-01-14 | 2021-03-05 | 주식회사 로드텍 | 관할도로의 노선 데이터 관리 방법 및 장치 |
| KR20220132841A (ko) * | 2021-03-24 | 2022-10-04 | 주식회사 에어플 | 도로 정보 제공 시스템 및 도로 정보 제공 방법 |
| KR102519715B1 (ko) * | 2021-03-24 | 2023-04-17 | 주식회사 에어플 | 도로 정보 제공 시스템 및 도로 정보 제공 방법 |
| KR20220135812A (ko) * | 2021-03-31 | 2022-10-07 | 한국건설기술연구원 | 도로 맨홀 정보 자동 인지 장치 및 방법 |
| KR102330612B1 (ko) * | 2021-08-31 | 2021-11-24 | 주식회사보다텍 | 도로 노면의 블랙아이스 및 블로우업 발생 예측장치 |
| KR20230090297A (ko) | 2021-12-14 | 2023-06-21 | 진규식 | 도로상태정보 수집장치, 도로상태정보 제공장치, 도로상태정보 수집 및 제공시스템 및 그 방법 |
| KR20230164945A (ko) | 2022-05-26 | 2023-12-05 | 한국건설기술연구원 | 도로 결빙에 따른 블랙아이스 정보 제공 시스템 및 그 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102167291B1 (ko) | 도로 상태 정보 수집 시스템 및 방법 | |
| KR102167292B1 (ko) | 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법 | |
| KR102026685B1 (ko) | 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버 | |
| CN107782564B (zh) | 一种自动驾驶车辆测评系统及方法 | |
| US9335178B2 (en) | Method for using street level images to enhance automated driving mode for vehicle | |
| KR101971878B1 (ko) | 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법 | |
| KR102094341B1 (ko) | 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| US20150371094A1 (en) | A road marking analyser and a method of analysis of road markings and an apparatus and method for detecting vehicle weave | |
| KR102262810B1 (ko) | 도로 상황에 따른 가변형 제한속도 관리시스템과 판단방법 | |
| CN109448365B (zh) | 一种跨尺度空基平台区域道路交通系统综合监视方法 | |
| KR101852057B1 (ko) | 영상 및 열화상을 이용한 돌발 상황 감지시스템 | |
| US11361556B2 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
| JP2019196680A (ja) | 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム | |
| CN111339905B (zh) | 基于深度学习及多视角的cim井盖状态视觉检测系统 | |
| KR102119033B1 (ko) | 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법 | |
| CN104981818A (zh) | 将机场中的移动的飞机分类的系统和方法 | |
| KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
| KR20200007165A (ko) | 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법 | |
| CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
| CN116128360A (zh) | 道路交通拥堵等级评估方法、装置、电子设备及存储介质 | |
| KR102026686B1 (ko) | 커넥티드 차량을 이용한 도로 파손 정보 제공 장치 및 도로 파손 판정 모델 생성 서버 | |
| KR101210615B1 (ko) | 불법유턴 차량 단속 시스템 | |
| JP2019079303A (ja) | 道路設備点検システムおよび道路設備点検方法、ならびにそれに使用されるサーバ | |
| KR101719799B1 (ko) | 교통정보 감응형 cctv 모니터링 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |