KR102274092B1 - 인공지능 기반 차량높이 측정 시스템 - Google Patents

인공지능 기반 차량높이 측정 시스템 Download PDF

Info

Publication number
KR102274092B1
KR102274092B1 KR1020210016453A KR20210016453A KR102274092B1 KR 102274092 B1 KR102274092 B1 KR 102274092B1 KR 1020210016453 A KR1020210016453 A KR 1020210016453A KR 20210016453 A KR20210016453 A KR 20210016453A KR 102274092 B1 KR102274092 B1 KR 102274092B1
Authority
KR
South Korea
Prior art keywords
vehicle
unit
height
artificial intelligence
vehicle height
Prior art date
Application number
KR1020210016453A
Other languages
English (en)
Inventor
김정주
Original Assignee
주식회사 스타시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스타시큐리티 filed Critical 주식회사 스타시큐리티
Priority to KR1020210016453A priority Critical patent/KR102274092B1/ko
Application granted granted Critical
Publication of KR102274092B1 publication Critical patent/KR102274092B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G01C11/10—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken using computers to control the position of the pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G01C2011/36—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 도로나 건물에 설치된 카메라를 통해 차량을 추출하고, 추출된 차량에 대하여 적재물, 부착물을 포함한 차량으로 간주할 수 있는 형상을 픽셀단위로 처리하고, 딥러닝 기반의 추론 알고리즘을 이용하여 최종 차량 높이를 검출하여 일정 높이 초과시 사용자에 경고하거나, 차량진입을 금지할 수 있는데 이용할 수 있는 인공지능 기반 차량높이 측정 시스템에 관한 것이다. 이러한 본 발명은 건물이나 차도, 육교, 교각, 고속도로를 포함하는 진출입로에 설치되어 차량의 전방과 측면을 촬영하는 카메라부(110)와, 상기 카메라부(110)에서 촬영된 영상을 차량높이 측정장치(200)로 전송하는 통신부(120)를 포함하여 구성되어 차량의 진출입을 통제하는 차량안전장치(100); 및 상기 차량안전장치는(100)와 차량높이 측정장치(200)간 통신을 지원하는 통신부(210)와, 상기 통신부(210)를 통해 수신한 상기 차량안전장치(100)의 카메라부(110)로부터 촬영되어 전송된 영상에서 차량영역을 도출하고, 도출된 차량영역에서 차량형상을 추출하며, 추출된 차량형상에서 3차원 공간을 추론하는 인공지능부(240)와, 상기 인공지능부(240)에서 추론된 차량형상에서 차량의 높이를 검출하는 차량높이 검출부(250)와, 진출입로의 높이 정보와 상기 차량높이 검출부(250)에서 검출결과에 따른 차량높이를 비교하는 차량높이 비교부(260) 및 상기 차량높이 비교부(260)의 비교결과에 따라 상기 통신부(210)를 통해 차량안전장치(100)로 차량의 높이가 진출입 가능여부에 따라 차량 진입을 통제할 수 있도록 하는 제어부(270)를 포함하여 구성되는 차량높이 측정장치(200);를 포함하여 구성됨을 특징으로 하는 인공지능 기반 차량높이 측정 시스템을 제공한다.

Description

인공지능 기반 차량높이 측정 시스템{Artificial intelligence-based vehicle height measurement system}
본 발명은 인공지능 기반 차량높이 측정에 관한 것으로, 더욱 상세하게는 도로나 건물에 설치된 카메라를 통해 촬영되어 전송된 영상에서 차량을 추출하고, 추출된 차량에 대하여 적재물, 부착물을 포함한 차량으로 간주할 수 있는 형상을 픽셀단위로 처리하고, 딥러닝 기반의 추론 알고리즘을 이용하여 최종 차량 높이를 검출하여 일정 높이 초과시 사용자에 경고하거나, 차량진입을 금지할 수 있는데 이용할 수 있는 인공지능 기반 차량높이 측정 시스템에 관한 것이다.
오늘날 급증하는 도로의 입체화에 따라 자동차가 주행하는 도로에는 육교, 터널, 교각, 고가도로와 같은 다양한 구조물의 설치가 증가되고 있으며, 일반건물에도 진입하고자 하는 차량의 높이에 따라 진입이 가능한 높이가 있고, 아울러 전기 및 통신 시설의 증가에 따라 도로를 횡단하는 시설물도 함께 증가하고 있다.
그에 따라 일반적으로 도로에 설치되어 있는 육교, 터널 및 지하 차도 등의 구조물에는 차량과 적재물의 파손을 방지하기 위하여 제한 높이가 있으며, 대부분 제한 높이는 구조물의 입구에 표시한다.
따라서, 차량의 운전자는 구조물에 표시된 제한 높이와 차량의 높이를 비교한 후 진입하게 된다.
이러한 높이 제한치를 갖는 구조물은 도로교통법규에 따른 높이 제한이 표시되어 있다. 일반적으로 도로를 통행하는 모든 종류의 자동차에는 도로교통법이 적용된다. 도로교통법은 도로에서 일어나는 교통상의 모든 위험과 장해를 방지 및 제거하여 안전하고 원활한 교통을 확보하기 위해 도로교통에 관하여 필요한 사항을 규정하기 위해 제정한 법률이다.
현행 도로교통법 제59조 및 동시행령 55조의 규정에 의해 도로의 구조를 보전하고 운행의 위험을 방지하기 위하여 운행제한을 축하중 10톤, 총중량 40톤, 기타제원(높이, 길이, 폭) 초과차량으로 규정하고 있고, 국토해양부에서 제정한 "운행제한차량 단속규정"에 상기 법규에 대한 단속요령 및 시행령법(계측기 및 추정오차 등을 감안한 측정량의 1할적용)을 명시하여 운행제한차량을 단속하고 있다.
이러한 구조물 뿐 아니라 고속도로에 진입하는 차량의 통과높이도 제한되는데, 특히 하이패스의 이용률이 많아지면서 앞으로 하이패스 진입로도 전체 차량의 이용이 가능하게 되면 높이 제한을 단속할 수 있는 시스템이 필요한 실정이다.
이는 특히 운전자들이 자신의 차량의 높이는 대략적으로 알고 있으나 트럭의 경우에는 자신이 차량에 싣게 되는 물건의 종류에 따라 진입 불가한 높이의 육교, 터널, 교각, 고가도로와 같은 다양한구조물에 대하여 의식하지 못하는 경우에 사고가 발생할 가능성이 있는데 이에 대하여 운전자에게 정확하게 알려줄 수 없는 문제가 있었다.
또한, 차량의 운전자가 차량의 높이와 구조물에 표시된 제한 높이의 비교를 시각적으로 처리하기 때문에 잘못계산하여 차량 및 적재물이 파손되는 문제점도 있었다.
특허문헌 1 : 대한민국 등록특허 10-1339650호(고속도로 하이패스 차로 내 차량의 통과 높이를 단속하기 위한 시스템 및 그 방법) 특허문헌 2 : 대한민국 공개특허 10-2012-0065558호(관심영역 설정을 이용한 도로상 차량의 검출방법) 특허문헌 3 : 대한민국 공개특허 10-2014-0065037호(차량의 통과높이 제한 시스템) 특허문헌 4 : 대한민국 등록특허 10-1210737호(영상 취득 시스템)
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 도로나 건물에 설치된 카메라를 통해 차량을 추출하고, 추출된 차량에 대하여 적재물, 부착물을 포함한 차량으로 간주할 수 있는 형상을 픽셀단위로 처리하고, 딥러닝 기반의 추론 알고리즘을 이용하여 최종 차량 높이를 검출하여 일정 높이 초과시 사용자에 경고하거나, 차량진입을 금지할 수 있는데 이용할 수 있는 인공지능 기반 차량높이 측정 시스템을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명은 건물이나 차도, 육교, 교각, 고속도로를 포함하는 진출입로에 설치되어 차량의 전방과 측면을 촬영하는 카메라부(110)와, 상기 카메라부(110)에서 촬영된 영상을 차량높이 측정장치(200)로 전송하는 통신부(120)를 포함하여 구성되어 차량의 진출입을 통제하는 차량안전장치(100); 및 상기 차량안전장치는(100)와 차량높이 측정장치(200)간 통신을 지원하는 통신부(210)와, 상기 통신부(210)를 통해 수신한 상기 차량안전장치(100)의 카메라부(110)로부터 촬영되어 전송된 영상에서 차량영역을 도출하고, 도출된 차량영역에서 차량형상을 추출하며, 추출된 차량형상에서 3차원 공간을 추론하는 인공지능부(240)와, 상기 인공지능부(240)에서 추론된 차량형상에서 차량의 높이를 검출하는 차량높이 검출부(250)와, 진출입로의 높이 정보와 상기 차량높이 검출부(250)에서 검출결과에 따른 차량높이를 비교하는 차량높이 비교부(260) 및 상기 차량높이 비교부(260)의 비교결과에 따라 상기 통신부(210)를 통해 차량안전장치(100)로 차량의 높이가 진출입 가능여부에 따라 차량 진입을 통제할 수 있도록 하는 제어부(270)를 포함하여 구성되는 차량높이 측정장치(200);를 포함하여 구성됨을 특징으로 하는 인공지능 기반 차량높이 측정 시스템을 제공한다.
여기서, 인공지능부(240)는, 차량영역을 도출하여 사각형 형태로 추출하는 차량영역도출 인공지능 신경망과, 도출된 차량영역에서 차량 형상을 픽셀단위로 잘라 높이 측정을 위한 핵심 정보를 제공하는 차량형상 추출 인공지능 신경망과, 차량 영역의 이미지를 3차원 정보로 외삽하여 최종 높이를 추론하는 3차원 공간 추론 인공지능 신경망을 포함하여 구성됨을 특징으로 한다.
그리고 인공지능부(240)는 영상 내 대부분의 영역에 차량이 존재 하지 않을 경우 모델의 불균형이 발상하게 되는 문제를 개선하기 위해 차량이 존재하는 bounding box 좌표(coordinate)에 대한 loss의 가중치를 증가시키고, 차량이 존재하지 않는 bounding box의 confidence loss에 대한 가중치는 감소시키되, 카메라의 촬영상황 중 촬영각도와 주야간의 촬영시간에 따라 가변되도록 설정된 것을 특징으로 한다.
본 발명에 의하면 다음과 같은 효과가 있다.
첫째, 도로나 건물에 설치된 카메라를 통해 차량을 추출하고, 추출된 차량에 대하여 적재물, 부착물을 포함한 차량으로 간주할 수 있는 형상을 픽셀단위로 처리하고, 딥러닝 기반의 추론 알고리즘을 이용하여 최종 차량 높이를 검출하여 일정 높이 초과시 사용자에 경고하거나, 차량진입을 금지할 수 있는 인공지능 기반 차량높이 측정 시스템을 제공할 수 있다.
둘째, 영상 내 대부분의 영역에 차량이 존재 하지 않을 경우 모델의 불균형이 발상하게 되는 문제를 개선하기 위해 차량이 존재하는 bounding box 좌표(coordinate)에 대한 loss의 가중치를 증가시키고, 차량이 존재하지 않는 bounding box의 confidence loss에 대한 가중치는 감소시키는 방식을 통해 CCTV 촬영 상황에 따라 값을 변경하는 최적의 신경망을 찾아 영상에서 차량의 높이의 에러를 최소화할 수 있다.
도 1은 본 발명에 따른 인공지능 기반 차량높이 측정 시스템의 실시예를 설명하기 위한 블록 구성도,
도 2는 본 발명에 따른 인공지능 기반 차량높이 측정 시스템에서 이용되는 신경망을 설명하기 위한 도면,
도 3은 본 발명에 따른 인공지능 기반 차량높이 측정 시스템의 알고리즘 수행 과정을 설명하기 위한 도면,
도 4 및 도 5는 본 발명에 따른 인공지능 기반 차량높이 측정 시스템에서의 신경망 학습 알고리즘을 설명하기 위한 도면이다.
본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
도 1은 본 발명에 따른 인공지능 기반 차량높이 측정 시스템의 실시예를 설명하기 위한 블록 구성도이다.
본 발명에 따른 인공지능 기반 차량높이 측정 시스템의 실시예는 도 1에 나타낸 바와 같이, 차량안전장치(100)와 차량높이 측정장치(200)로 구성된다.
여기서 차량안전장치는(100)는 카메라부(110), 통신부(120), 경고등(130), 디스플레이부(140), 차단바(150) 및 제어부(160)를 포함하여 구성된다.
카메라부(110)는 건물(입구)나 차도, 육교, 교각, 고속도로 진출입로 등에 차량의 전방과 측면을 촬영하도록 구성되는데, CCTV로 구성될 수 있다.
통신부(120)는 카메라부(110)에서 촬영된 영상을 차량높이 측정장치(200)로 전송한다.
경고등(130), 디스플레이부(140) 및 차단바(150)는 카메라부(110)에서 측정된 차량의 전방과 측면 촬영결과 차량의 높이가 진입이 불가한 경우 이를 경고하거나 차단하기 위한 장치 구성이다.
제어부(160)는 카메라부(110), 통신부(120), 경고등(130), 디스플레이부(140) 및 차단바(150)를 제어한다.
차량높이 측정장치(200)는 통신부(210), 차량번호 인식부(220), 데이터베이스(230), 인공지능부(영상처리)(240), 차량높이 검출부(250), 차량높이 비교부(260) 및 제어부(270)를 포함하여 구성된다.
통신부(210)는 차량높이 측정장치(200)와 차량안전장치는(100)간 통신을 지원한다.
차량번호 인식부(220)는 통신부(210)를 통해 수신한 차량안전장치(100) 카메라부(110)로부터 촬영되어 전송된 영상에서 차량번호를 인식한다.
데이터베이스(230)는 국내차량 데이터가 저장되는 것으로, 국내에 등록된 차량에 대한 기본 높이정보가 실내외별, 촬영 각도별로 저장되며, 기본형상정보에 따른 차종과 차종의 기본 길이와 높이 정보가 저장된다. 또한 차량번호에 따른 차량의 모델과 차량의 기본 높이, 길이 정보가 저장된다.
인공지능부(영상처리)(240)는 통신부(210)를 통해 수신한 차량안전장치(100) 카메라부(110)로부터 촬영되어 전송된 영상에서 차량영역을 도출하는 차량영역 도출부(241), 도출된 차량영역에서 차량형상을 추출하는 차량형상 추출부(242) 및 추출된 차량형상에서 3차원 공간을 추론하는 3차원공간 추론부(243)로 구성된다. 이러한 인공지능부(영상처리)(240)에 대하여는 도 2 내지 도 5를 통해 보다 상세히 설명하기로 한다. 이때, 인공지능부(영상처리)(240)는 차량번호 인식부(220)에서 인식된 차량번호에 따른 차량의 길이와 높이 정보(2020년식 그랜저)를 참조할 수 있다.
차량높이 검출부(250)는 인공지능부(240)에서 추론된 차량형상에서 차량의 높이를 검출한다(250). 이때, 차량높이 검출부(250)차량높이 비교부(260)는 건물(입구)나 차도, 육교, 교각, 고속도로 진출입로의 높이정보가 저장되어 차량높이 검출부(250)에서 검출결과에 따른 차량높이를 비교한다.
제어부(270)는 통신부(210), 차량번호 인식부(220), 데이터베이스(230), 인공지능부(영상처리)(240), 차량높이 검출부(250) 및 차량높이 비교부(260)를 제어하며, 차량높이 비교부(260)의 비교결과에 따라 통신부(210)를 통해 차량안전장치(100)로 차량의 높이가 진출입 가능여부에 따라 차량 진입을 통제할 수 있도록 한다.
도 2는 본 발명에 따른 인공지능 기반 차량높이 측정 시스템에서 이용되는 신경망을 설명하기 위한 도면이고, 도 3은 본 발명에 따른 인공지능 기반 차량높이 측정 시스템의 알고리즘 수행 과정을 설명하기 위한 도면이며, 도 4 및 도 5는 본 발명에 따른 인공지능 기반 차량높이 측정 시스템에서의 신경망 학습 알고리즘을 설명하기 위한 도면이다.
본 발명에 따른 인공지능 기반 차량높이 측정 시스템에서 이용되는 신경망의 실시예는 도 2에 나타낸 바와 같이 총 세가지를 이용하고 있다.
첫째, 차량영역을 도출하여 사각형 형태로 추출하는 인공지능 신경망이 있다. 이는 차량의 움직임을 인식하여 승용차, 트럭, 버스 정도의 사물을 인식하여 차량 높이의 범위를 추론한다. 이는 인공지능부(영상처리)(240)의 차량영역 도출부(241)에 해당된다.
둘째, 차량 형상 추출 인경지능 신경망이 있다. 이는 차량의 모든 영역을 픽셀단위로 잘라 높이 측정을 위한 핵심 정보를 제공한다. 이는 인공지능부(영상처리)(240)의 차량형상 추출부(242)에 해당된다.
셋째, 2차원 기반으로 저장된 차량 영역의 이미지를 3차원 정보로 외삽하여 최종 높이를 추론하는 신경망이 있다. 이는 카메라(CCTV)가 설치되어 있는 공간을 미리 학습하여 높이 측정의 최종적인 결정을 수행하는 신경망이다. 이는 인공지능부(영상처리)(240)의 3차원 공간 추론부(243)에 해당된다.
본 발명은 영상 내 대부분의 영역에 차량이 존재 하지 않을 경우 모델의 불균형이 발상하게 되는 문제를 개선하기 위해 차량이 존재하는 bounding box 좌표(coordinate)에 대한 loss의 가중치를 증가시키고, 차량이 존재하지 않는 bounding box의 confidence loss에 대한 가중치는 감소시켰다.
이를 위해 두 개의 파라미터를 사용했는데, λ_coord와 λ_noobj을 사용하였다. 본 발명에서 차량높이를 가장 효율적으로 λ_coord=5, λ_noobj=0.5로 가중치로 설정 하였으나 CCTV 촬영 상황에 따라 값을 변경할 수 있다. 최적의 신경망을 찾아 영상에서 차량의 높이의 에러를 가장 최소로 하도록 하기 위해 아래와 같은 손실함수(Loss function)을 식1과 같이 사용하였다.
Figure 112021014917638-pat00001
(1) Object가 존재하는 grid cell i의 predictor bounding box j에 대해, x와 y의 loss를 계산.
(2) Object가 존재하는 grid cell i의 predictor bounding box j에 대해, w와 h의 loss를 계산. 큰 box에 대해서는 small deviation을 반영하기 위해 제곱근을 취한 후, sum-squared error를 한다.(같은 error라도 larger box의 경우 상대적으로 IOU에 영향을 적게 준다.)
(3) Object가 존재하는 grid cell i의 predictor bounding box j에 대해, confidence score의 loss를 계산. (Ci = 1)
(4) Object가 존재하지 않는 grid cell i의 bounding box j에 대해, confidence score의 loss를 계산. (Ci = 0)
(5) Object가 존재하는 grid cell i에 대해, conditional class probability의 loss 계산. (Correct class c: pi(c)=1, otherwise: pi(c)=0)
λcoord: coordinates(x,y,w,h)에 대한 loss와 다른 loss들과의 균형을 위한 balancing parameter.
λnoobj: obj가 있는 box와 없는 box간에 균형을 위한 balancing parameter. (일반적으로 image내에는 obj가 있는 cell보다는 obj가 없는 cell이 훨씬 많으므로)
Figure 112021014917638-pat00002
: CCTV 영상 영역에서 자동차가 존재하는 grid cell i 의 predictor bounding box j
Figure 112021014917638-pat00003
: CCTV 영상 영역에서 자동차가 존재하지 않는 grid cell I 의 bounding box j
Figure 112021014917638-pat00004
: CCTV 영상 영역에서 자동차가 존재하는 grid cell i
-수학식 1의 추가 설명-
Figure 112021014917638-pat00005
여기서, S는 그리드 셀의 크기를 의미한다. 행렬 이기 때문에 전체 그리드 셀의 개수는 S² 가 된다.
B는 S_i 셀의 바운딩 박스를 의미한다.
x, y, w, h는 바운딩 박스의 좌표 및 크기를 의미한다.
C는 각 그리드 셀이 구분한 클래스와 같다.
주황색 1 번 기호는 5 로 설정된 λ_coord 변수로서 Localization 에러에 5 배 더 높은 패널티를 부여하기 위해서 사용한다. 예로 보면 5 번 테두리에서 분류에 따른 오차는 가중치가 존재하지 않는 반면에 바운딩 박스의 에러에는 5 배 더 높은 패널티가 부여되어 있다.
연두색 2 번 기호는 if 문과 동일한 역할을 한다. i 번째 셀의 j 번 바운딩 박스만을 학습하겠다는 의미로 사용하지만 모든 셀에 대해서 바운딩 박스 학습이 일어나지 않고 각 객체마다 IOU 가 가장 높은 바운딩 박스인 경우에만 패널티를 부과해서 학습을 더 잘하도록 유도한다. (카메라(CCTV) 영상 영역에서 자동차가 존재하는 grid cell i 의 predictor bounding box j)
파란색 3 번 기호는 해당 셀에 객체가 존재하지 않는 경우, 즉 배경인 경우에는 바운딩 박스 학습에 영향을 미치지 않도록 0.5 의 가중치를 곱해주어서 패널티를 낮춘다.
노란색 4 번 기호는 2 번 기호와는 반대의 경우로 i 번째 셀과 j 번째 바운딩 박스에 객체가 없는 경우에 수행 한다는 의미이다. (카메라(CCTV) 영상 영역에서 자동차가 존재하지 않는 grid cell i 의 bounding box j)
남색 6 번 기호는 바운딩 박스와는 상관 없이 각 셀마다 클래스를 분류하기 위한 오차이다.
그리고 도 4에서의 bx, by, bw, by는 딥러닝 네트워크를 통해 감지된 영역의 중심좌표와 너비 및 높이를 뜻하고, cx, cy는 그리드의 왼쪽 상단 좌표를 pw, py는 그리드의 치수를 나타낸다.
각 셀은 바운딩 박스와 분류한 클래스의 확률을 예측한다. 바운딩박스는 X,Y 좌표, 가로, 세로 크기 정보와 Confidence Score(Score) 수치를 가지고 있다. Score는 B가 물체를 영역으로 잡고 있는지와 클래스를 잘 예측하였는지를 나타낸다. Score는 일반적으로 Pr(Object) * IOU로 정의하고 있으며, Pr(Object)는 바운딩 박스 안에 물체가 존재할 확률이다. 만약 바운딩 박스가 배경만을 영역으로 잡고 있다면 Pr(Object)의 값이 0이므로 Score는 0이 된다.
도 5에서 IOU는 Intersection over time의 약자로 학습 데이터의 바운딩 박스와 예측한 바운딩 박스가 일치하는 정도를 나타낸다.
0 ≤ IOU ≤ 1
클래스 확률이란 그리드 셀 안에 있는 그림의 분류 확률을 나타낸다. 기호로는 Pr(Class_i | Object)로 표현하며 B가 배경이 아닌 객체를 포함하는 경우의 각 클래스의 조건부 확률로 B가 배경을 예측했다면 확률은 0이된다. 최종적으로 클래스 조건부 확률 C와 각 바운딩 박스의 Confidence 예측값을 곱하면 각 박스의 클래스별 Confidence Score 수치를 구할 수 있다.
Pr(Class_i | Object) * Pr(Object) * IOU = Pr(Class_i)*IOU
이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
110, 120, 130 : 차량단속장치
200 : 차량단속 서버 210 : 통신부
220 : 데이터베이스 230 : 차량번호 인식부
240 : 인공지능부 241 : 차량영역 도출부
242 : 적재영역 검출부 243 : 적재불량 판단부
250 : 적재불량 검출부 260 : 단속정보 저장부
270 : 제어부

Claims (3)

  1. 건물이나 차도, 육교, 교각, 고속도로를 포함하는 진출입로에 설치되어 차량의 전방과 측면을 촬영하는 카메라부(110)와, 상기 카메라부(110)에서 촬영된 영상을 차량높이 측정장치(200)로 전송하는 통신부(120)를 포함하여 구성되어 차량의 진출입을 통제하는 차량안전장치(100); 및
    상기 차량안전장치는(100)와 차량높이 측정장치(200)간 통신을 지원하는 통신부(210)와, 상기 통신부(210)를 통해 수신한 상기 차량안전장치(100)의 카메라부(110)로부터 촬영되어 전송된 영상에서 차량영역을 도출하고, 도출된 차량영역에서 차량형상을 추출하며, 추출된 차량형상에서 3차원 공간을 추론하는 인공지능부(240)와, 상기 인공지능부(240)에서 추론된 차량형상에서 차량의 높이를 검출하는 차량높이 검출부(250)와, 진출입로의 높이 정보와 상기 차량높이 검출부(250)에서 검출결과에 따른 차량높이를 비교하는 차량높이 비교부(260) 및 상기 차량높이 비교부(260)의 비교결과에 따라 상기 통신부(210)를 통해 차량안전장치(100)로 차량의 높이가 진출입 가능여부에 따라 차량 진입을 통제할 수 있도록 하는 제어부(270)를 포함하여 구성되는 차량높이 측정장치(200);를 포함하여 구성되되,
    상기 인공지능부(240)는 차량영역을 도출하여 사각형 형태로 추출하는 차량영역도출 인공지능 신경망과, 도출된 차량영역에서 차량 형상을 픽셀단위로 잘라 높이 측정을 위한 핵심 정보를 제공하는 차량형상 추출 인공지능 신경망과, 차량 영역의 이미지를 3차원 정보로 외삽하여 최종 높이를 추론하는 3차원 공간 추론 인공지능 신경망을 포함하여 구성되고, 상기 인공지능부(240)는 영상 내 대부분의 영역에 차량이 존재하지 않을 경우 모델의 불균형이 발생되는 문제를 개선하기 위해 차량이 존재하는 bounding box 좌표(coordinate)에 대한 loss의 가중치를 증가시키고, 차량이 존재하지 않는 bounding box의 confidence loss에 대한 가중치는 감소시키되, 카메라의 촬영상황 중 촬영각도와 주야간의 촬영시간에 따라 가변되도록 설정된 것을 특징으로 하는 인공지능 기반 차량높이 측정 시스템.
  2. 삭제
  3. 삭제
KR1020210016453A 2021-02-05 2021-02-05 인공지능 기반 차량높이 측정 시스템 KR102274092B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210016453A KR102274092B1 (ko) 2021-02-05 2021-02-05 인공지능 기반 차량높이 측정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210016453A KR102274092B1 (ko) 2021-02-05 2021-02-05 인공지능 기반 차량높이 측정 시스템

Publications (1)

Publication Number Publication Date
KR102274092B1 true KR102274092B1 (ko) 2021-07-08

Family

ID=76893219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210016453A KR102274092B1 (ko) 2021-02-05 2021-02-05 인공지능 기반 차량높이 측정 시스템

Country Status (1)

Country Link
KR (1) KR102274092B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040005299A (ko) * 2002-07-09 2004-01-16 엘지산전 주식회사 차종 판별 장치 및 방법
KR20120065558A (ko) 2010-12-13 2012-06-21 재단법인대구경북과학기술원 관심영역 설정을 이용한 도로상 차량의 검출방법
KR101210737B1 (ko) 2011-05-17 2012-12-10 주식회사 싸이버로지텍 영상 취득 시스템
KR101339650B1 (ko) 2013-08-27 2013-12-10 주식회사 스마트비전 고속도로 하이패스 차로 내 차량의 통과 높이를 단속하기 위한 시스템 및 그 방법
KR20140065037A (ko) 2012-11-21 2014-05-29 주식회사 나루테크 차량의 통과높이 제한 시스템
KR20170062702A (ko) * 2015-11-30 2017-06-08 (주) 알티솔루션 도로교통안전 서비스를 위한 화물 적재상태 검지 시스템
KR102174556B1 (ko) * 2020-05-21 2020-11-05 박상보 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040005299A (ko) * 2002-07-09 2004-01-16 엘지산전 주식회사 차종 판별 장치 및 방법
KR20120065558A (ko) 2010-12-13 2012-06-21 재단법인대구경북과학기술원 관심영역 설정을 이용한 도로상 차량의 검출방법
KR101210737B1 (ko) 2011-05-17 2012-12-10 주식회사 싸이버로지텍 영상 취득 시스템
KR20140065037A (ko) 2012-11-21 2014-05-29 주식회사 나루테크 차량의 통과높이 제한 시스템
KR101339650B1 (ko) 2013-08-27 2013-12-10 주식회사 스마트비전 고속도로 하이패스 차로 내 차량의 통과 높이를 단속하기 위한 시스템 및 그 방법
KR20170062702A (ko) * 2015-11-30 2017-06-08 (주) 알티솔루션 도로교통안전 서비스를 위한 화물 적재상태 검지 시스템
KR102174556B1 (ko) * 2020-05-21 2020-11-05 박상보 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치

Similar Documents

Publication Publication Date Title
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别系统及方法
CN106043293B (zh) 用于安全地停放车辆的方法和装置
EP2214149B1 (en) Collision avoidance assisting system for vehicle
US11120690B2 (en) Method and device for providing an environmental image of an environment of a mobile apparatus and motor vehicle with such a device
Soilán et al. Safety assessment on pedestrian crossing environments using MLS data
CN106491144B (zh) 一种驾驶人潜伏风险感知能力的测试与评价方法
KR102565227B1 (ko) 위험도 예측 안내를 제공하는 교통 안전 장치 및 이를 포함하는 교통 안전 시스템
Cho et al. License plate extraction method for identification of vehicle violations at a railway level crossing
CN111046797A (zh) 一种基于人员和车辆行为分析的输油管线警戒方法
Protopapadakis et al. Multi-label deep learning models for continuous monitoring of road infrastructures
KR102296471B1 (ko) 인공지능 기반 차량 적재불량 검출 시스템
CN116740988A (zh) 可见光和热成像相机的全时段桥梁自适应防船撞预警方法
KR102274092B1 (ko) 인공지능 기반 차량높이 측정 시스템
Rajan et al. Deep Learning Based Pothole Detection
CN116389695B (zh) 建筑工地监控方法、装置、建筑工地巡查设备及存储介质
Ye et al. Computer vision-based monitoring of ship navigation for bridge collision risk assessment
US20210318121A1 (en) Method and system for generating an electronic map and applications therefor
CN114998863B (zh) 目标道路识别方法、装置、电子设备以及存储介质
KR102141781B1 (ko) 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법
CN116109711A (zh) 一种驾驶辅助方法、装置和电子设备
Addai et al. Power and Telecommunication Lines Detection and Avoidance for Drones
KR20210092924A (ko) 중장비 및 가스관 인식용 영상 분석 방법 및 시스템
Seeger et al. 2-d evidential grid mapping with narrow vertical field of view sensors using multiple hypotheses and spatial neighborhoods
Kumar et al. Lane and Vehicle Detection Using Hough Transform and YOLOv3
KR102612353B1 (ko) 영상 분석 시스템 및 그에 관한 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant