KR102638711B1 - 레이더와 카메라 융합 기반의 차량인식시스템 - Google Patents
레이더와 카메라 융합 기반의 차량인식시스템 Download PDFInfo
- Publication number
- KR102638711B1 KR102638711B1 KR1020210161544A KR20210161544A KR102638711B1 KR 102638711 B1 KR102638711 B1 KR 102638711B1 KR 1020210161544 A KR1020210161544 A KR 1020210161544A KR 20210161544 A KR20210161544 A KR 20210161544A KR 102638711 B1 KR102638711 B1 KR 102638711B1
- Authority
- KR
- South Korea
- Prior art keywords
- radar
- image
- vehicle
- data
- unit
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000003062 neural network model Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000002372 labelling Methods 0.000 claims abstract description 26
- 239000000284 extract Substances 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000013480 data collection Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 238000013075 data extraction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000000746 purification Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000010200 validation analysis Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000011161 development Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
다수의 차량이 동시에 인식되더라도 차량의 이동 경로 파악이 가능하고 차량의 크기를 구분할 수 있는 레이더의 장점과 딥러닝 기반 영상 처리를 통해 차종을 정밀하게 분류할 수 있는 카메라 영상 인식 기술을 융합하여 정확하게 차량 인식이 가능하도록 한 레이더와 카메라 융합 기반의 차량인식시스템에 관한 것으로서, 레이더 신호를 감지 영역으로 투사하고 감지영역의 차량으로부터 반사된 신호를 레이더 검지 신호로 출력하는 레이더, 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출하는 레이더 데이터 처리부, 카메라에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링 및 분류 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지하는 카메라 영상 처리부, 처리된 레이더 객체 정보와 영상 객체 정보를 융합시키는 레이더/영상 융합부, 융합된 데이터를 탐지 신경망 모델로 처리하여 차량 탐지 결과를 출력하는 차량 인식부를 포함하여, 레이더와 카메라 융합 기반의 차량인식시스템을 구현한다.
Description
본 발명은 레이더와 카메라 융합 기반의 차량인식시스템에 관한 것으로, 특히 다수의 차량이 동시에 인식되더라도 차량의 이동 경로 파악이 가능하고 차량의 크기를 구분할 수 있는 레이더의 장점과 딥러닝 기반 영상 처리를 통해 차종을 정밀하게 분류할 수 있는 카메라 영상 인식 기술을 융합하여 정확하게 차량 인식이 가능하도록 한 레이더와 카메라 융합 기반의 차량인식시스템에 관한 것이다.
일반적으로 자율주행 차량의 객체 인식, 도로의 교통을 감시하기 위해 레이더와 카메라 장비를 활용하여 차량을 인식하는 기술이 점차 증가하고 있다.
차량을 인식하기 위해서, 레이더와 카메라 장비가 많이 사용되는 데, 카메라는 2차원 영상을 도출하고, 레이더는 3차원 위치, 속도 등을 도출할 수 있어, 차량 인식에 많이 활용된다.
차량 인식을 위해 사용되는 장비들은 각기 다른 형태의 데이터를 도출하므로 개별적인 도출 정보를 이용하여 차량을 인식하는 데에는 한계가 있다.
특히, 카메라 영상을 이용하여 차량을 인식하는 방법은, 야간/전천후 환경에서 발생하는 요인으로 인해 차량 인식에 한계가 있다.
따라서 서로 다른 형태의 데이터를 융합하여 차량을 인식하면 더욱 정밀하게 차량을 인식할 수 있으며, 이에 따라 서로 다른 형태의 데이터들을 하나로 융합하여 차량을 인식하는 융합 및 인식 기술이 요구되고 있다.
한편, 스쿨 존의 안전관리를 위해 종래에 객체 인식을 위해 제안된 기술이 하기의 <특허문헌 1> 에 개시되어 있다.
<특허문헌> 에 개시된 종래기술은 영상센서와 무선 센서 네트워크를 이용한 상황인식 기반을 적용하여 스쿨 존 내에서의 영상을 모니터링하여 객체의 위치 및 추적하여 신속한 조치를 함으로써 범죄를 예방할 수 있는 스쿨존 안전관리 시스템을 제공한다.
이러한 종래기술은 카메라와 같은 영상 센서를 이용하여 영상 객체의 추적을 수행하는 방식으로서, 영상 센서만으로 객체를 정밀하게 검출하기에는 한계가 있다.
따라서 본 발명은 상기와 같은 일반적인 카메라 또는 레이더를 단독으로 이용하여 차량을 인식할 때 발생하는 한계 및 종래기술에서 발생하는 한계를 해결하기 위해서 제안된 것으로서, 다수의 차량이 동시에 인식되더라도 차량의 이동 경로 파악이 가능하고 차량의 크기를 구분할 수 있는 레이더의 장점과 딥러닝 기반 영상 처리를 통해 차종을 정밀하게 분류할 수 있는 카메라 영상 인식 기술을 융합하여 정확하게 차량 인식이 가능하도록 한 레이더와 카메라 융합 기반의 차량인식시스템을 제공하는 데 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "레이더와 카메라 융합 기반의 차량인식시스템"은,
레이더 신호를 감지 영역으로 투사하고 감지영역의 차량으로부터 반사된 신호를 레이더 검지 신호로 출력하는 레이더;
상기 레이더로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출하는 레이더 데이터 처리부;
상기 감지 영역의 영상을 획득하는 카메라;
상기 카메라에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링 및 분류 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지하는 카메라 영상 처리부;
상기 레이더 데이터 처리부에서 처리된 레이더 객체 정보와 상기 카메라 영상 처리부에서 처리된 영상 객체 정보를 융합시키는 레이더/영상 융합부; 및
상기 레이더/영상 융합부에서 융합된 매칭 데이터를 탐지 신경망 모델로 처리하여 차량 인식 결과를 출력하는 차량 인식부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 "레이더와 카메라 융합 기반의 차량인식시스템"은,
상기 차량 인식부에서 출력되는 레이더 및 영상 융합 인식 데이터, 원천 영상, 가공 데이터 셋, 학습 모델을 자율주행차량과 공공/민간 사이트를 공개해주는 레이더/카메라 융합 서비스부를 더 포함하는 것을 특징으로 한다.
상기에서 레이더 데이터 처리부는,
상기 레이더에서 출력된 레이더 검지 신호를 레이더 로우 데이터로 수집하는 레이더 데이터 수집부;
상기 레이더 데이터 수집부에서 수집한 레이더 로우 데이터를 가공 및 정체 처리하여 테이블 형태로 전처리하는 레이더 데이터 가공 및 정제부;
상기 레이더 데이터 가공 및 정제부를 통해 전처리된 레이더 데이터에서 레이더 차량 감지 표출에 활용되는 데이터를 추출하는 레이더 데이터 추출부;
상기 레이더 데이터 추출부에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 차량의 크기를 기초로 차량 감지를 하고, 감지한 차량 정보를 도로의 차선에 표출하는 객체 표출부를 포함하는 것을 특징으로 한다.
상기에서 카메라 영상 처리부는,
상기 카메라에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력하는 영상 데이터 수집부;
상기 영상 데이터 수집부에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 차량의 이미지로 제공하는 이미지 추출부;
상기 이미지 추출부에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 차량별로 Object ID를 지정하는 작업을 통해 차량의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장하는 이미지 라벨링 및 어노테이션부;
상기 이미지 라벨링 및 어노테이션부를 통해 저장된 이미지 데이터를 신경망 모델로 처리하여, 카메라에 의해 획득한 영상으로부터 차량을 탐지하여 영상 객체 정보를 출력하는 객체 탐지부를 포함하는 것을 특징으로 한다.
상기에서 객체 탐지부는,
Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축하는 신경망 모델 구축부;
상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할하고, 분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행하는 신경망 모델 학습부;
상기 신경망 모델 학습부를 통해 생성되는 가중치 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장하여 가중치 파일을 생성하는 학습모델 및 가중치 파일 생성부;
상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행하는 학습모델 검증부;
상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인하는 정확도 평가부;
상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 차량을 탐지하는 객체 탐지 모듈을 포함하는 것을 특징으로 한다.
상기에서 레이더/영상 융합부는,
카메라에서 추출된 이미지에서 차량의 가시성을 확보하기 위해 최대 밝기 처리를 적용하여 이미지의 화질을 개선하고, 이미지를 2차원 형태의 좌표로 구성하여 카메라 영상 위치를 보정하는 과정, 레이더에서 출력된 레이더 데이터는 차량과 노이즈 데이터로 구분하여 타깃 대상을 설정하고, 레이더 데이터 Point X, Point Y를 통화 좌표로 구성하여 레이더 차량 대상을 감지하는 과정, 및 카메라와 레이더 데이터의 좌표축을 일치시킨 후 점 일치 및 하향식 방법을 사용하여 값의 오차를 줄이기 위한 보정을 수행하는 과정을 통해, 레이더와 카메라 차량을 융합하는 것을 특징으로 한다.
상기에서 레이더/카메라 융합 서비스부는,
상기 레이더 및 영상 융합 차량 데이터를 야간/전천후 환경에서도 정확도 높은 차량 인식률과 검출률을 갖는 차량 인식 데이터로 자율주행차량으로 제공하거나, 원천 영상 및 가공 데이터 셋 및 학습 모델을 공공 및 민간 사이트를 통해 공개해주는 것을 특징으로 한다.
본 발명에 따르면 레이더와 카메라를 통해 특정 영역의 차량 정보를 수집하고, 수집된 차량 정보를 레이더 및 영상 융합 알고리즘으로 매칭하여 차량의 인식률 및 검지율을 높일 수 있다.
또한, 인식률 및 검지율이 차량 인식 데이터 및 레이더와 카메라 융합 알고리즘을 공공/민간에 개방하여 인공지능 연구 및 서비스 개발에 활용되도록 도모해주며, 자율주행차량으로 전송하여 주행안전도를 확보할 수 있도록 도모해주는 효과도 있다.
도 1은 본 발명에 따른 레이더와 카메라 융합 기반의 차량인식시스템의 전체 구성도,
도 2는 도 1의 객체 탐지부의 실시 예 블록 구성도,
도 3은 추출된 레이더 데이터 예시도,
도 4는 레이더 데이터를 활용한 차량 감지 예시도,
도 5는 딥러닝 기반 차량 탐지 및 정확도 표출 방법 예시도,
도 6은 레이더와 카메라 융합 기반으로 차량을 인식하는 예시도이다.
도 2는 도 1의 객체 탐지부의 실시 예 블록 구성도,
도 3은 추출된 레이더 데이터 예시도,
도 4는 레이더 데이터를 활용한 차량 감지 예시도,
도 5는 딥러닝 기반 차량 탐지 및 정확도 표출 방법 예시도,
도 6은 레이더와 카메라 융합 기반으로 차량을 인식하는 예시도이다.
이하 본 발명의 바람직한 실시 예에 따른 레이더와 카메라 융합 기반의 차량인식시스템을 첨부된 도면을 참조하여 상세하게 설명한다.
이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 레이더와 카메라 융합 기반의 차량인식시스템의 구성도로서, 레이더(110), 카메라(120), 레이더 데이터 처리부(130), 카메라 영상 처리부(140), 레이더/영상 융합(150), 차량 인식부(160), 레이더/카메라 융합 서비스부(170)를 포함할 수 있다.
레이더(radar)(110)는 레이더 신호를 감지 영역으로 투사하고 감지영역의 차량으로부터 반사된 신호를 레이더 검지 신호로 레이더 데이터 처리부(130)로 출력하는 역할을 한다.
레이더 데이터 처리부(130)는 상기 레이더(110)로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출하는 역할을 한다.
이러한 레이더 데이터 처리부(130)는 상기 레이더(110)에서 출력된 레이더 검지 신호를 레이더 로우 데이터(Raw Signal)로 수집하는 레이더 데이터 수집부(131), 상기 레이더 데이터 수집부(131)에서 수집한 레이더 로우 데이터를 가공 및 정체 처리하여 테이블 형태로 전처리하는 레이더 데이터 가공 및 정제부(132), 상기 레이더 데이터 가공 및 정제부(132)를 통해 전처리된 레이더 데이터에서 레이더 차량 감지 표출에 활용되는 데이터를 추출하는 레이더 데이터 추출부(133), 상기 레이더 데이터 추출부(133)에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 차량의 크기를 기초로 차량을 감지하고, 감지한 차량 정보를 도로의 차선에 표출하는 객체 표출부(134)를 포함한다.
카메라(120)는 상기 감지 영역의 영상을 획득하여 카메라 영상 처리부(140)에 전달하는 역할을 한다.
카메라 영상 처리부(140)는 상기 카메라(120)에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링(labeling) 및 분류(Annotation) 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지하는 역할을 한다.
이러한 카메라 영상 처리부(140)는 상기 카메라(120)에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력하는 영상 데이터 수집부(141), 상기 영상 데이터 수집부(141)에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 객체의 이미지로 제공하는 이미지 추출부(142), 상기 이미지 추출부(142)에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 차량별로 Object ID를 지정하는 작업을 통해 차량의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장하는 이미지 라벨링 및 어노테이션부(143), 상기 이미지 라벨링 및 어노테이션부(143)를 통해 저장된 이미지 데이터를 딥러닝 기반 신경망 모델로 처리하여, 카메라(120)에 의해 획득한 영상으로부터 차량을 탐지하여 영상 객체 정보를 출력하는 객체 탐지부(144)를 포함한다.
상기 객체 탐지부(144)는 도 2에 도시한 바와 같이, Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축하는 신경망 모델 구축부(144a), 상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할하고, 분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행하는 신경망 모델 학습부(144b), 상기 신경망 모델 학습부(144b)를 통해 생성되는 가중치 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장하여 가중치 파일을 생성하는 학습모델 및 가중치 파일 생성부(144c), 상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행하는 학습모델 검증부(144d), 상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인하는 정확도 평가부(144e), 및 상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 차량을 탐지하는 객체 탐지 모듈(144f)을 포함한다.
레이더/영상 융합부(150)는 상기 레이더 데이터 처리부(130)에서 처리된 레이더 객체 정보와 상기 카메라 영상 처리부(140)에서 처리된 영상 객체 정보를 융합하는 역할을 한다.
차량 인식부(160)는 상기 레이더/영상 융합부(150)에서 융합된 매칭 데이터를 딥러닝 기반의 탐지 신경망 모델로 처리하여 차량 탐지 결과를 출력하는 역할을 한다.
레이더/카메라 융합 서비스부(170)는 상기 차량 인식부(160)에서 출력되는 레이더 및 영상 융합 차량 데이터를 차량 인식 데이터로 제공해주는 역할을 한다.
이와 같이 구성된 본 발명의 바람직한 실시 예에 따른 레이더와 카메라 융합 기반의 차량인식시스템의 동작을 구체적으로 설명하면 다음과 같다.
차량 감지용으로 설치된 레이더(radar)(110)는 레이더 신호를 미리 지정된 감지 영역으로 투사하고, 감지영역의 객체(차량)로부터 반사된 신호를 레이더 검지 신호로 레이더 데이터 처리부(130)로 출력한다.
상기 레이더 데이터 처리부(130)는 상기 레이더(110)로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출한다.
즉, 레이더 데이터 처리부(130)의 레이더 데이터 수집부(131)는 상기 레이더(110)에서 출력된 레이더 검지 신호를 레이더 로우 데이터(Raw Signal)로 수집한다.
레이더 데이터 가공 및 정제부(132)는 상기 레이더 데이터 수집부(131)에서 수집한 레이더 로우 데이터(신호 형태)를 가공 및 정체 처리하여 테이블 형태로 전처리한다. 레이더 기기내 파싱 모듈(Radar Parsing Module)을 통해 테이블 형태로 변환된 로우 데이터의 신호를 수신받을 수 있는 서버의 목적지 IP를 설정하고 프로토콜을 이용하여 전송한다.
레이더 데이터 추출부(133)는 상기 레이더 데이터 가공 및 정제부(132)를 통해 전처리된 레이더 데이터에서 레이더 차량 감지 표출에 활용되는 데이터를 추출한다. 여기서 추출된 레이더 데이터의 예시는 도 3과 같다.
추출된 데이터의 속성은 ID, Time, Lane, Point x, Point y, Velocity x, Velocity y, RCS로 구성된다.
여기서 ID는 차량의 고유 순번, Time은 차량이 탐지되었을 때 측정된 날짜와 시간, Lane는 차량이 탐지된 도로의 차선 번호, Point x는 레이더 기기 기준 2차원 형태의 좌표에서 차량이 탐지된 X 좌표 위치 값, Point y는 레이더 기기 기준 2차원 형태의 좌표에서 차량이 탐지된 Y 좌표 위치 값, Velocity x는 레이더 기기 기준 2차원 형태의 좌표에서 차량이 탐지된 X 좌표 속도 값, Velocity y는 레이더 기기 기준 2차원 형태의 좌표에서 차량이 탐지된 Y 좌표 속도 값, RCS(Radar Cross Section)는 레이더 반사 면적으로 감지된 차량이 레이더에 반사되어 측정되는 크기의 척도이다.
다음으로, 객체 표출부(134)는 상기 레이더 데이터 추출부(133)에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 차량의 크기를 기초로 차량을 감지하고, 감지한 차량 정보를 도로의 차선에 표출한다.
즉, 감지된 차량의 시간을 기준으로 도로의 차선에 추출된 레이더 데이터의 속성인 ID, Time, Lane, Point x, Point y, Velocity x, Velocity y를 통해 차량의 크기에 따라 감지할 수 있는 차량의 종류인 6종(대형, 소형, 중형, 대형', 중형', 소형')에 대해서 RCS 값인 레이더 반사 면적을 이용하여 도 4와 같이 표출한다. 6종은 이륜차, 자동차, 트럭, 버스, 대형 트럭, 특수차 등을 포함할 수 있다.
한편, 카메라(120)는 상기 감지 영역의 영상을 획득하여 카메라 영상 처리부(140)에 전달한다. 즉, 카메라(120)는 도로의 영상 데이터를 수집할 수 있는 곳을 사전 조사 후 도로의 표지판, 가로등, 신호등과 같은 다양한 장소에 설치되어 촬영을 통해 감지 영역의 영상을 획득한다.
상기 카메라 영상 처리부(140)는 상기 카메라(120)에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링(labeling) 및 분류(Annotation) 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지한다.
예컨대, 카메라 영상 처리부(140)의 영상 데이터 수집부(141)는 상기 카메라(120)에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력한다. 즉, 높은 탐지율과 정확도를 위해 최소 10만 건 이상의 카메라 영상 데이터를 수집한다.
이미지 추출부(142)는 상기 영상 데이터 수집부(141)에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 객체의 이미지로 제공한다.
즉, 이미지 추출부(142)는 Python 프로그래밍 언어 기반 영상 처리 라이브러리 중 OpenCV를 활용하여 수집된 영상 데이터에서 프레임(Default: 30fps) 단위로 이미지를 추출한다.
이어, 이미지 라벨링 및 어노테이션부(143)는 상기 이미지 추출부(142)에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 차량별로 Object ID를 지정하는 작업을 통해 객체의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장한다.
여기서 이미지 라벨링 및 어노테이션 과정은 이미지의 의미를 확장하고, 메타데이터를 구성하여 고품질의 학습 데이터를 확보하는 과정이다. 라벨링 및 어노테이션에서 경계 상자(Bounding Box)로 그려지는 차량 종류는 6종으로 구성된다.
딥러닝 기반의 학습 모델인 Yolo 신경망 모델 학습을 위해 이미지에서 차량의 경계 상자를 표시하기 위한 오픈소스 기반 프로그램인 Yolo Mark를 활용한 라벨링 및 어노테이션을 수행한다.
추출한 이미지를 대상으로 JPG 형태로 변환한 후 이미지를 불러와 탐지할 차량별로 Object ID를 지정하는 작업을 통해 차량의 영역을 지정하여 데이터를 라벨링할 수 있다.
유명한 이미지 라벨링 도구로 Object Detection 학습을 위해 영상에서 Bounding Box를 지정하여 라벨링을 수행하고, Bounding Box 정보들을 XML 형태의 포맷으로 저장한다. Python 및 Pyqt 기반의 프로그램을 이용할 수 있다.
어노테이션 파일 저장 방식은 Object Detection Dataset 중 하나인 PASCAL VOC 포맷을 사용할 수 있다. XML 파일 안에는 수많은 태그(Tag) 들이 존재하지만, Object Detection 모델을 학습하기 위해 사용되는 태그들은 정해져 있다.
다음으로, 객체 탐지부(144)는 상기 이미지 라벨링 및 어노테이션부(143)를 통해 저장된 이미지 데이터를 신경망 모델로 처리하여, 카메라(120)에 의해 획득한 영상으로부터 차량을 탐지하여 영상 객체 정보로 출력한다.
즉, 객체 탐지부(144)의 신경망 모델 구축부(144a)는 Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축한다. XML 파일 안에는 수많은 태그(Tag)들이 존재하지만, Object Detection 모델을 학습하기 위해 사용되는 태그들은 정해져 있다.
Pretrained Network는 GoogLeNet Layer를 이용하여 ImageNet 1000 - class Dataset를 사전에 학습한 결과를 저장하고 있는 레이어이다.
Training Network는 Pretrained Network에서 학습한 특징을 이용하여 클래스 확률(Class probability)과 경계 상자(Bounding box)를 학습하고 예측하는 레이어이다.
Yolo 신경망 모델의 하이퍼 파라미터로 설정할 수 있는 값들은 객체를 감지할 클래스 개수, 학습률(Learning Rate), 손실 함수(Cost Function), 활성화함수(Activation Function)를 설정할 수 있다.
여기서 클래스 개수는 신경망 모델을 통해 탐지할 차량의 개수, 학습률은 신경망 모델이 확률적 경사 하강법(SGD: Stochastic Gradient Descent)을 이용하여 오차를 줄여나갈 때 필요한 학습 비율, 활성화 함수는 레이어에 구성되어 있는 노드에서 다음 레이어의 노드로 이동할 때 사용하며, 클래스로 분류될 확률에 필요한 연산의 오차를 줄이는 비선형 함수를 각각 나타낸다.
Yolo 신경망 모델의 신경망 모델을 학습하고, 검증 데이터 셋을 이용하여 학습 모델을 검증하고 정확도를 평가하고, 낮은 수치가 측정되면 히든 레이어의 개수 및 하이퍼 파라미터를 조정하여 최적화하는 과정이 필요하다.
이어, 신경망 모델 학습부(144b)는 상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할한다. 전체 라벨링된 어노테이션 이미지 데이터 중 15%를 테스트 데이터 셋에 할당하고(1차 분할), 다음 나머지 85% 중 70%를 훈련 데이터 셋에 사용하며(2차 분할), 나머지 15%를 검증 데이터 셋에 할당한다(3차 분할). 여기서 중요한 사항은 데이터를 무작위로 나누어야 하며, 무작위가 아닌 방법으로 데이터를 나누면(예를 들어, 순서대로 상위 70%를 훈련 데이터 셋에 사용) 편향된 훈련 데이터 셋과 테스트 데이터 셋이 구성되고, 가령 시간 순서대로 저장된 원본 데이터의 상위 70%를 훈련 데이터 셋으로 사용하면, 모델이 특정 날짜만 학습하게 되어 편향이 커지고 탐지 정확도가 낮게 측정된다.
분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행한다.
이어, 학습 모델 및 가중치 파일 생성부(144c)는 상기 신경망 모델 학습부(144b)를 통해 생성되는 가중치(weights) 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장한다. 모델 검증 및 정확도가 낮은 경우, 저장된 가중치 파일을 통해 재학습할 수 있으며, 학습된 이미지의 개수가 부족하여 이미지 라벨링 및 어노테이션 작업을 다시 수행하더라도 체크포인트(Checkpoint) 기능을 지니고 있어, 학습이 완료되었던 부분부터 추가 학습을 수행할 수 있기 때문에 빠른 속도로 모델 재학습이 가능하다.
다음으로, 학습모델 검증부(144d)는 상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행한다.
아울러 정확도 평가부(144e)는 상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인한다.
마지막으로, 객체 탐지모듈(144f)은 상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 객체를 탐지한다.
즉, 학습이 완료된 신경망 모델에 영상 데이터를 입력하여 6종의 차량을 탐지하고, 해당 차량이 6종 중 어떤 클래스에 포함되는지에 대한 정확도를 표출한다(IOU). 도 5는 Yolo 신경망 모델을 이용하여 차량 탐지 및 정확도를 표출한 예시이다.
IOU(Intersection Over Union)는 도 5의 하단 파란색과 빨간색으로 이루어진 예측 박스(합집합)와 상단 하얀색과 빨간색으로 이루어진 정답 박스(교집합)의 차이를 계산하여 정답확률을 예측한다. 이를 수식으로 표현하면 다음과 같다.
예측한 차량에 대한 정보를 가지는 Bounding box와 정답 Box의 IOU를 통해서 임계 값(threshold)이 0.5 이상일 경우 일치하는 차량으로 판단한다.
임계값이 높을수록 정답과 일치함을 의미하는데 기준 임계값을 너무 높게 한다면 검출률이 낮아지기 때문에 적당한 임계 값을 설정하는 것이 중요하다.
이렇게 탐지된 영상 객체 데이터는 레이더/영상 융합부(150)에 전달한다.
상기 레이더/영상 융합부(150)는 상기 레이더 데이터 처리부(130)에서 처리된 레이더 객체 정보와 상기 카메라 영상 처리부(140)에서 처리된 영상 객체 정보를 융합한다.
여기서 레이더 데이터 및 영상 객체 데이터를 융합하는 방법은 3단계로 이루어진다.
1단계로서 카메라에서 추출된 이미지에서 객체의 가시성을 확보하기 위해 최대 밝기 처리를 적용하여 이미지의 화질을 개선하고, 이미지를 도 6의 좌측 도면과 같이 2차원 형태의 좌표(X, Y)로 투영하고, 영상 처리의 라벨링 및 어노테이션 과정을 통해 생성된 메타 데이터의 차량크기인 Xwidth와 Yheight를 계산하여 분류할 클래스의 크기를 계산하며, 이를 수식으로 표현하면 다음과 같다.
2단계로서 레이더로 측정한 데이터는 6종에 해당하는 차량과 이외 노이즈(Noise) 데이터로 구분하여 타깃 대상을 설정하고, 도 6의 우측 도면과 같이 추출된 레이더 데이터 Point X, Point Y를 통해 좌표(X, Y)와 RCS 값으로 구성하여 레이더 차량을 감지한다. 이를 수식으로 표현하면 다음과 같다.
3단계로서 카메라 켈리브레이션 데이터 셋과 레이더 검지 데이터 셋의 값 범위를 0 ~ 1 사이로 정규화를 실시하고, 레이더/카메라의 좌표와 카메라 영상 위치 보정을 통해 계산된 Class Size와 레이더 차량 검지에서 발생하는 RCS 값의 임계 오차 값을 지정 및 계산한다. 이를 수식으로 표현하면 다음과 같다.
아울러 차량 인식부(160)는 상기 레이더/영상 융합부(150)에서 융합된 매칭 데이터를 탐지 신경망 모델로 처리하여 차량 인식 결과를 출력한다.
다음으로, 레이더/카메라 융합 서비스부(170)는 상기 차량 인식부(160)에서 출력되는 레이더 및 영상 융합 차량 데이터 및 학습 모델을 공공/민간 부분 및 자율주행 차량 등에 제공해준다.
즉, 레이더 및 영상 융합 차량 데이터를 야간/전천후 환경에서도 정확도 높은 객체 인식률과 검출률을 갖는 차량 인식 데이터로 자율주행차량으로 제공하거나, 원천 영상 및 가공 데이터 셋 및 학습 모델을 공공 및 민간 사이트를 통해 공개해줄 수 있다.
자율주행 자동차 개발 및 상용화에서 주행안전도 확보가 가장 중요한 요소이다. 이를 위해 전방 및 주행차량 주변에 존재하는 다양한 정적/동적 객체의 인식과 검출 성능을 고도화 및 최적화하기 위한 AI, 빅데이터 기반 알고리즘 개발 등이 가속화되고 있다. 특히, 레이더, 카메라 융합 기술을 통해 야간/전천후 환경에서도 정확도 높은 차량 인식률과 검출률을 제공함으로써, 더 안전한 자율 주행 AI 기술을 실현할 수 있다. 주행 중 차량/보행자 관련 특수상황의 데이터를 대규모로 수집/정제/가공 등의 과정을 통해 자율주행차 관련 국내 중소·벤처·스타트업의 기술개발 촉진, 인공지능 산업육성, 데이터 기반 신서비스 사업모델 발굴 등 산업 경쟁력 강화를 위한 지원이 가능하다.
아울러 산출되는 원천 영상, 가공 데이터 셋, 학습모델 등을 공공/민간 사이트를 통해 공개함으로써, 인공지능 연구 및 서비스 개발 등에 자유롭게 활용될 수 있도록 기여할 수 있다.
특히, 데이터 활용성이 높아질 수 있도록 개방하는 데이터 셋의 개인 식별화 문제를 해소하여 관련 신기술 및 서비스 개발 확산에 기여할 수 있다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.
110: 레이더
120: 카메라
130: 레이더 데이터 처리부
131: 레이더 데이터 수집부
132: 레이더 데이터 가공 및 정제부
133: 레이더 데이터 추출부
134: 객체 표출부
140: 카메라 영상 처리부
141: 영상 데이터 수집부
142: 이미지 추출부
143: 이미지 라벨링 및 어노테이션부
144: 객체 탐지부
150: 레이더/영상 융합부
160: 차량 인식부
170: 레이더/카메라 융합 서비스부
120: 카메라
130: 레이더 데이터 처리부
131: 레이더 데이터 수집부
132: 레이더 데이터 가공 및 정제부
133: 레이더 데이터 추출부
134: 객체 표출부
140: 카메라 영상 처리부
141: 영상 데이터 수집부
142: 이미지 추출부
143: 이미지 라벨링 및 어노테이션부
144: 객체 탐지부
150: 레이더/영상 융합부
160: 차량 인식부
170: 레이더/카메라 융합 서비스부
Claims (9)
- 레이더와 카메라 융합 기반으로 차량을 인식하기 위한 시스템으로서,
레이더 신호를 감지 영역으로 투사하고 감지영역의 차량으로부터 반사된 신호를 레이더 검지 신호로 출력하는 레이더;
상기 레이더로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출하는 레이더 데이터 처리부;
상기 감지 영역의 영상을 획득하는 카메라;
상기 카메라에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링 및 분류 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지하는 카메라 영상 처리부;
상기 레이더 데이터 처리부에서 처리된 레이더 차량 정보와 상기 카메라 영상 처리부에서 처리된 영상 차량 정보를 융합하는 레이더/영상 융합부; 및
상기 레이더/영상 융합부에서 융합된 매칭 데이터를 탐지 신경망 모델로 처리하여 차량 탐지 결과를 출력하는 차량 인식부를 포함하고,
상기 레이더/영상 융합부는,
카메라에서 추출된 이미지에서 객체의 가시성을 확보하기 위해 최대 밝기 처리를 적용하여 이미지의 화질을 개선하고, 이미지를 2차원 형태의 좌표(X, Y)로 투영하고, 영상 처리의 라벨링 및 어노테이션 과정을 통해 생성된 메타 데이터의 차량크기인 Xwidth와 Yheight를 아래의 수식으로 계산하여 분류할 클래스의 크기를 계산하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
- 청구항 1에서, 상기 차량 인식부에서 출력되는 레이더 및 영상 융합 차량 데이터, 원천 영상, 가공 데이터 셋, 학습 모델을 자율주행차량과 공공/민간 사이트를 공개해주는 레이더/카메라 융합 서비스부를 더 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
- 청구항 1에서, 상기 레이더 데이터 처리부는,
상기 레이더에서 출력된 레이더 검지 신호를 레이더 로우 데이터로 수집하는 레이더 데이터 수집부;
상기 레이더 데이터 수집부에서 수집한 레이더 로우 데이터를 가공 및 정체 처리하여 테이블 형태로 전처리하는 레이더 데이터 가공 및 정제부;
상기 레이더 데이터 가공 및 정제부를 통해 전처리된 레이더 데이터에서 레이더 차량 감지 표출에 활용되는 데이터를 추출하는 레이더 데이터 추출부; 및
상기 레이더 데이터 추출부에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 차량의 크기를 기초로 차량을 감지하고, 감지한 차량 정보를 도로의 차선에 표출하는 객체 표출부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
- 청구항 1에서, 상기 카메라 영상 처리부는,
상기 카메라에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력하는 영상 데이터 수집부;
상기 영상 데이터 수집부에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 차량의 이미지로 제공하는 이미지 추출부;
상기 이미지 추출부에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 차량별로 Object ID를 지정하는 작업을 통해 차량의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장하는 이미지 라벨링 및 어노테이션부; 및
상기 이미지 라벨링 및 어노테이션부를 통해 저장된 이미지 데이터를 신경망 모델로 처리하여, 카메라에 의해 획득한 영상으로부터 차량을 탐지하여 영상 객체 정보를 출력하는 객체 탐지부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
- 청구항 4에서, 상기 객체 탐지부는,
Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축하는 신경망 모델 구축부;
상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할하고, 분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행하는 신경망 모델 학습부;
상기 신경망 모델 학습부를 통해 생성되는 가중치 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장하여 가중치 파일을 생성하는 학습모델 및 가중치 파일 생성부;
상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행하는 학습모델 검증부;
상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인하는 정확도 평가부; 및
상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 차량을 탐지하는 객체 탐지 모듈을 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
- 삭제
- 청구항 1에서, 상기 레이더/영상 융합부는,
레이더로 측정한 데이터는 6종에 해당하는 차량과 이외 노이즈(Noise) 데이터로 구분하여 타깃 대상을 설정하고, 추출된 레이더 데이터 Point X, Point Y를 통해 좌표(X, Y)와 RCS 값으로 구성하여 아래와 같은 수식으로 레이더 차량을 감지하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
- 청구항 7에서, 상기 레이더/영상 융합부는,
카메라 켈리브레이션 데이터 셋과 레이더 검지 데이터 셋의 값 범위를 0 ~ 1 사이로 정규화를 실시하고, 레이더/카메라의 좌표와 카메라 영상 위치 보정을 통해 계산된 Class Size와 레이더 차량 검지에서 발생하는 RCS 값의 임계 오차 값을 지정하고 아래와 같은 수식으로 계산하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
- 청구항 2에서, 상기 레이더/카메라 융합 서비스부는,
상기 레이더 및 영상 융합 차량 데이터를 야간/전천후 환경에서도 정확도 높은 차량 인식률과 검출률을 갖는 차량 인식 데이터로 자율주행차량으로 제공하거나, 원천 영상 및 가공 데이터 셋 및 학습 모델을 공공 및 민간 사이트를 통해 공개해주는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210161544A KR102638711B1 (ko) | 2021-11-22 | 2021-11-22 | 레이더와 카메라 융합 기반의 차량인식시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210161544A KR102638711B1 (ko) | 2021-11-22 | 2021-11-22 | 레이더와 카메라 융합 기반의 차량인식시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230075193A KR20230075193A (ko) | 2023-05-31 |
| KR102638711B1 true KR102638711B1 (ko) | 2024-02-22 |
Family
ID=86543879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210161544A KR102638711B1 (ko) | 2021-11-22 | 2021-11-22 | 레이더와 카메라 융합 기반의 차량인식시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102638711B1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102602318B1 (ko) * | 2023-06-07 | 2023-11-17 | (주)다올아이티에스 | 단속영역 가변형 다차로 단속시스템 |
| CN116944818B (zh) * | 2023-06-21 | 2024-05-24 | 台州必拓汽车配件股份有限公司 | 新能源汽车转轴的智能加工方法及其系统 |
| KR102670326B1 (ko) * | 2023-09-05 | 2024-05-30 | 한국건설기술연구원 | 스마트 도로 조명 장치를 이용한 엣지 컴퓨팅 기반의 지능형 도로 위험분석 및 주행 가이던스 제공방법 및 그를 위한 스마트 도로 조명 장치 기반의 도로 위험분석 및 주행 가이던스 제공 플랫폼 |
| KR102640386B1 (ko) * | 2023-09-08 | 2024-02-27 | 주식회사 어반어소시에이츠 | 건축물 모니터링 장치 |
| CN118195597B (zh) * | 2024-04-12 | 2024-08-20 | 税网(江苏)软件有限公司 | 一种基于数据处理的再生资源回收循环利用控制系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101372327B1 (ko) | 2012-09-19 | 2014-03-12 | (주)비트러스트 | 스쿨존 안전관리 시스템 및 그 제공방법 |
| KR102159965B1 (ko) * | 2017-04-17 | 2020-09-25 | 주식회사 비트센싱 | 실시간 대규모 교통정보 수집방법 및 그 운용시스템 |
| KR102151814B1 (ko) * | 2018-12-12 | 2020-09-03 | 충북대학교 산학협력단 | 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치 |
| KR102557620B1 (ko) * | 2020-03-31 | 2023-07-21 | 주식회사 비트센싱 | 객체를 분류하는 레이더 장치 및 방법 |
-
2021
- 2021-11-22 KR KR1020210161544A patent/KR102638711B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230075193A (ko) | 2023-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102638711B1 (ko) | 레이더와 카메라 융합 기반의 차량인식시스템 | |
| US10614310B2 (en) | Behavior recognition | |
| Al-qaness et al. | An improved YOLO-based road traffic monitoring system | |
| AU2019101142A4 (en) | A pedestrian detection method with lightweight backbone based on yolov3 network | |
| CN109086756B (zh) | 一种基于深度神经网络的文本检测分析方法、装置及设备 | |
| KR20230133705A (ko) | 레이더와 카메라 융합 기반의 돌발상황 검지시스템 | |
| JP2018501543A (ja) | 現在存在する走行状況を特定するための方法及び装置 | |
| CN111832410B (zh) | 一种基于视觉与激光雷达融合的前向列车检测方法 | |
| WO2021114765A1 (zh) | 一种基于深度图像的自助通道防尾随检测方法和系统 | |
| CN115170863A (zh) | 基于多源数据预估风险的方法、装置、设备及存储介质 | |
| Balali et al. | Video-based detection and classification of US traffic signs and mile markers using color candidate extraction and feature-based recognition | |
| CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
| CN108573244A (zh) | 一种车辆检测方法、装置及系统 | |
| CN118038340A (zh) | 基于视频图像的防尾随检测系统 | |
| Negi et al. | Text based traffic signboard detection using YOLO v7 architecture | |
| EP3786845A1 (en) | Difficulty-adaptive training for machine learning modules | |
| CN112232272B (zh) | 一种激光与视觉图像传感器融合的行人识别方法 | |
| US20210024064A1 (en) | Method and System for Improving Detection Capabilities of Machine Learning-Based Driving Assistance Systems | |
| CN112528787A (zh) | 基于深度学习的信号灯故障检测方法 | |
| US20240101149A1 (en) | Apparatus and method of automatically detecting dynamic object recognition errors in autonomous vehicles | |
| Hamieh et al. | LiDAR and Camera-Based Convolutional Neural Network Detection for Autonomous Driving | |
| Tang | A real-time traffic sign detection in intelligent transportation system using YOLOv8-based deep learning approach | |
| Malbog et al. | PED-AI: pedestrian detection for autonomous vehicles using YOLOv5 | |
| Dhyani et al. | Real-Time License Plate Detection and Recognition System using YOLOv7x and EasyOCR | |
| KR102624702B1 (ko) | 자동차 번호 인식 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |