KR102243528B1 - 화물차 감시 시스템 및 그 방법 - Google Patents

화물차 감시 시스템 및 그 방법 Download PDF

Info

Publication number
KR102243528B1
KR102243528B1 KR1020190173031A KR20190173031A KR102243528B1 KR 102243528 B1 KR102243528 B1 KR 102243528B1 KR 1020190173031 A KR1020190173031 A KR 1020190173031A KR 20190173031 A KR20190173031 A KR 20190173031A KR 102243528 B1 KR102243528 B1 KR 102243528B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
area
license plate
loading
Prior art date
Application number
KR1020190173031A
Other languages
English (en)
Inventor
강전성
김태철
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Priority to KR1020190173031A priority Critical patent/KR102243528B1/ko
Application granted granted Critical
Publication of KR102243528B1 publication Critical patent/KR102243528B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 화물차 감시 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면, 도로의 영상으로부터 차량을 검출하고, 검출한 차량에 대한 번호판 영역을 검출하는 검출부와, 상기 영상 내 상기 번호판 영역의 검출 위치 및 크기를 이용하여 상기 영상에서 차량의 적재함 영역 이미지를 추출하는 추출부와, 상기 적재함 영역 이미지를 딥러닝 분석하여 상기 차량의 적재함 덮개 상태를 분류하는 분류부, 및 상기 차량의 적재함 덮개 상태를 포함한 차량 정보를 생성하는 제어부를 포함하는 화물차 감시 장치를 제공한다.
본 발명에 의하면, 영상 내 검출된 화물차의 적재함 영역을 딥러닝 알고리즘을 통하여 분석하여 적재함의 덮개 상태를 판별하고 화물차의 덮개 불량으로 인한 위법 행위를 단속하여 차량 운전자를 효과적으로 계도할 수 있다.

Description

화물차 감시 시스템 및 그 방법{SYSTEM FOR MONITORING TRUCK AND METHOD THEREOF}
본 발명은 화물차 감시 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 영상으로부터 화물차의 적재함 부분의 덮개 상태를 분석하여 덮개 불량에 따른 위법 행위를 단속할 수 있는 화물차 감시 시스템 및 그 방법에 관한 것이다.
일반적으로 도로를 통행하는 차량에는 도로교통법이 적용된다. 도로교통법 제39조제4항에 의하면, 모든 차의 운전자는 운전 중 실은 화물이 떨어지지 아니하도록 덮개를 씌우거나 묶는 등 확실하게 고정될 수 있도록 필요한 조치를 하여야 한다.
또한, 대기환경보전법 시행규칙 제58조제4항에 의하면, 비산먼지 발생을 억제하기 위한 시설의 설치 및 필요한 조치에 관한 기준으로 차량에 덮개를 설치하여 적재물이 외부에서 보이지 않고 흘림이 없도록 하고 있다.
따라서, 덮개가 미설치된 차량, 적재 불량으로 인하여 적재물 낙하 우려가 있는 차량, 덮개 불량으로 인해 비산먼지 발생 우려가 있는 차량에는 과태료가 부과될 수 있다.
그런데, 현재까지 도로 영상을 기반으로 하는 차량의 적재 불량 단속 시스템은 다양하게 개시되어 있는 반면에, 적재함의 덮개 설치 유무나 덮개 상태를 단속하기 위한 시스템은 거의 부재되어 있는 실정이다.
따라서, 도로를 주행하는 덤프 트럭 등과 같은 화물차에 대한 적재함의 덮개 상태를 자동으로 단속할 수 있는 새로운 시스템이 요구된다.
본 발명의 배경이 되는 기술은 한국등록특허 제1785401호(2017.11.06 공고)에 개시되어 있다.
본 발명은 영상으로부터 차량 적재함 부분의 덮개 상태를 분석하여 덮개 불량으로 인한 위법 행위를 단속할 수 있는 화물차 감시 시스템 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 도로의 영상으로부터 차량을 검출하고, 검출한 차량에 대한 번호판 영역을 검출하는 검출부와, 상기 영상 내 상기 번호판 영역의 검출 위치 및 크기를 이용하여 상기 영상에서 차량의 적재함 영역 이미지를 추출하는 추출부와, 상기 적재함 영역 이미지를 딥러닝 분석하여 상기 차량의 적재함 덮개 상태를 분류하는 분류부, 및 상기 차량의 적재함 덮개 상태를 포함한 차량 정보를 생성하는 제어부를 포함하는 화물차 감시 장치를 제공한다.
또한, 상기 적재함 덮개 상태는, 적재함의 덮개 유무, 덮개 닫힘 정도, 덮개 종류 중 적어도 하나에 따라 구분되는 복수의 상태를 포함할 수 있다.
또한, 상기 번호판 영역으로부터 인식한 차량 번호를 기초로 상기 영상 내에서 화물차를 관심 차량으로 선택하는 인식부를 더 포함할 수 있다.
또한, 상기 추출부는, 상기 영상 내 상기 관심 차량을 대상으로 상기 적재함 영역 이미지를 추출할 수 있다.
또한, 상기 차량 정보는, 상기 차량의 검출 영상, 차량 번호, 상기 적재함 영역 이미지, 상기 적재함 덮개 상태를 포함할 수 있다.
또한, 상기 분류부는, 상기 적재함 영역 이미지를 상기 딥러닝 분석하기 전에 설정 규격의 크기로 리사이징하여 전처리할 수 있다.
또한, 상기 추출부는, 상기 영상 내 번호판 영역의 검출 좌표 및 상기 영상의 전체 크기에 대비한 번호판 영역의 검출 크기를 기반으로 상기 적재함 영역의 영상 내 위치 및 크기를 결정할 수 있다.
또한, 상기 추출부는, 상기 영상의 전체 영역에 대한 상기 번호판 영역의 상하 또는 좌우 치우침 정도를 고려하여, 상기 적재함 영역의 영상 내 위치와 크기를 조정할 수 있다.
그리고, 본 발명은, 도로의 영상으로부터 차량 및 상기 차량의 번호판 영역을 검출하고, 상기 영상 내 번호판 영역의 검출 위치 및 크기를 이용하여 상기 영상에서 차량의 적재함 영역 이미지를 추출하며, 상기 적재함 영역 이미지를 딥러닝 분석하여 상기 차량의 적재함 덮개 상태를 분류하고 차량 별로 상기 적재함 덮개 상태를 포함한 차량 정보를 생성하는 정보 수집 장치, 및 상기 정보 수집 장치와 네트워크 연결되며, 상기 정보 수집 장치로부터 차량 별 상기 차량 정보를 수신하여 통합 관리하는 운영 장치를 포함하는 화물차 감시 시스템을 제공한다.
그리고, 본 발명은, 도로의 영상으로부터 차량을 검출하고, 검출한 차량에 대한 번호판 영역을 검출하는 단계와, 상기 영상 내 상기 번호판 영역의 검출 위치 및 크기를 이용하여 상기 영상에서 차량의 적재함 영역 이미지를 추출하는 단계와, 상기 적재함 영역 이미지를 딥러닝 분석하여 상기 차량의 적재함 덮개 상태를 분류하는 단계, 및 상기 차량의 적재함 덮개 상태를 포함한 차량 정보를 생성하는 단계를 포함하는 화물차 감시 방법을 제공한다.
또한, 상기 적재함 덮개 상태는, 적재함의 덮개 유무, 덮개 닫힘 정도, 덮개 종류 중 적어도 하나에 따라 구분되는 복수의 상태를 포함할 수 있다.
또한, 상기 분류하는 단계는, 상기 적재함 영역 이미지를 상기 딥러닝 분석하기 전에 설정 규격의 크기로 리사이징하여 전처리할 수 있다.
또한, 상기 추출하는 단계는, 상기 영상 내 번호판 영역의 검출 좌표 및 상기 영상의 전체 크기에 대비한 번호판 영역의 검출 크기를 기반으로 상기 적재함 영역의 영상 내 위치 및 크기를 결정할 수 있다.
또한, 상기 추출하는 단계는, 상기 영상의 전체 영역에 대한 상기 번호판 영역의 상하 또는 좌우 치우침 정도를 고려하여, 상기 적재함 영역의 영상 내 위치와 크기를 조정할 수 있다.
본 발명에 의하면, 영상 내 검출된 화물차의 적재함 영역을 딥러닝 알고리즘을 통하여 분석하여 적재함의 덮개 상태를 판별하고 화물차의 덮개 불량으로 인한 위법 행위를 단속하여 차량 운전자를 효과적으로 계도할 수 있다.
또한, 이를 통해 비산 먼지로 인하여 발생할 수 있는 환경 오염을 예방 조치할 수 있음은 물론, 화물 이탈 및 과적으로 인한 도로 파손 및 교통 사고를 예방할 수 있다.
도 1은 본 발명의 실시 예에 따른 화물차 감시 시스템을 도시한 도면이다.
도 2는 도 1에 도시된 정보 수집 장치의 세부 구성을 나타낸 도면이다.
도 3a 내지 도 3c는 본 발명의 실시 예에 따라 영상 내 번호판 영역을 이용하여 차량의 적재함 영역을 추출한 모습을 나타낸 도면이다.
도 4는 본 발명의 실시 예에서 영상으로부터 차량의 적재함 영역을 추출하는 원리를 구체적으로 설명하는 도면이다.
도 5는 본 발명의 실시 예에서 딥러닝을 기반으로 분석되는 6가지 분류 카테고리를 예시한 도면이다.
도 6은 도 1에 도시된 감시 시스템을 이용한 화물차 감시 방법을 설명하는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
도 1은 본 발명의 실시 예에 따른 화물차 감시 시스템을 도시한 도면이고, 도 2는 도 1에 도시된 정보 수집 장치의 세부 구성을 나타낸 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시 예에 따른 화물차 감시 시스템은 촬영 장치(100), 정보 수집 장치(200) 및 운영 장치(300)를 포함한다.
먼저, 촬영 장치(100)는 고정(Fixed), 회전(PTZ) 형식의 카메라를 포함하며, 일반 도로, 고속 도로, 비포장 도로, 교차로 지점 등의 도로에서 지주 등과 같은 시설물에 장착되어 운용될 수 있다.
촬영 장치(100)는 유무선 통신 방식을 통해 정보 수집 장치(200)와 연결되어 영상을 제공할 수 있다. 여기서, 유무선 통신 방식은 데이터 송수신이 가능한 공지된 다양한 통신 방식을 포함한다.
정보 수집 장치(200)는 화물차 감시 장치로서, 촬영 장치(100)로부터 영상을 수신하고, 수신한 영상을 분석하여 화물차 차량에 대한 적재함 영역을 검출하고, 검출한 적재함 영역의 영상을 딥러닝(Deep Learning)을 기반으로 분석하여 적재함의 덮개 상태를 판별하여 제공한다. 여기서, 덮개 상태는 적재함의 덮개 유무, 개폐 정도, 덮개 종류(예: 판넬, 천)에 따라 구분될 수 있다.
이러한 정보 수집 장치(200)는 영상 내 차량에 대한 번호판 영역의 위치 및 크기를 이용하여 해당 차량에 대응한 적재함 부분의 영역을 자동으로 추출하고, 추출한 적재함 영역의 이미지를 딥러닝 모델에 입력하여 차량 적재함의 덮개 상태를 판별하고 분류한다.
정보 수집 장치(200)는 영상 내 각 차량에 대응하여 판별된 적재함의 덮개 상태를 운영 장치(300)로 제공할 수 있다. 정보 수집 장치(200)는 각 차량 별로 차량의 검출 영상, 차량 번호, 적재함 영역의 이미지(영상), 적재함의 덮개 상태 등을 포함한 차량 정보를 운영 장치(300)로 제공할 수 있다.
또한, 정보 수집 장치(200)는 촬영 장치(100)가 장착된 주변 현장의 함체 내에 설치되거나 다수의 촬영 장치(100)의 영상을 수집 분석할 수 있는 센터의 서버에 일체화되어 구현될 수 있다. 또한, 정보 수집 장치(200)는 촬영 장치(100)와 결합하여 하나의 장치로 구현될 수도 있다.
도 2를 참고로 정보 수집 장치에 대해 구체적으로 설명하면, 본 발명의 실시 예에 따른 정보 수집 장치(200)는 획득부(210), 검출부(220), 인식부(230), 추출부(240), 분류부(250), 제어부(260)를 포함한다.
획득부(210)는 촬영 장치(100)로부터 영상을 획득하여 검출부(220)로 제공한다. 여기서, 획득부(210)는 통신 모듈(생략)을 포함하며, 통신 모듈(생략)을 이용하여 촬영 장치(100)와 데이터를 송수신할 수 있다.
검출부(220)는 영상으로부터 차량을 검출하고, 해당 차량에 대한 번호판 영역을 검출한다. 검출부(220)는 검출한 차량의 특징 정보를 기초로 차량의 번호판 영역을 파악하여 제공할 수 있다.
인식부(230)는 차량의 번호판 영역으로부터 차량 번호를 인식하며, 인식한 차량 번호를 기초로 영상에서 화물차에 해당한 차량을 관심 차량 즉, 단속 대상 차량으로 선택할 수 있다.
예를 들어, 인식부(230)는 차량 번호가 "06"(건설기계 기종번호)으로 시작하는 차량을 단속 대상이 되는 관심 차량으로 선정하고 관심 차량의 정보를 추출부(240)로 제공할 수 있다. 그러면 추출부(240)는 영상 내 관심 차량을 대상으로 적재함 영역을 추출할 수 있다.
또한, 인식부(230)는 검출부(220)로부터 검출된 차량의 특징 정보를 이용하여 화물차에 해당하는 차량을 관심 차량으로 선택할 수 있다. 이때, 차량의 특징 정보는 예컨대 차량 크기, 그릴 마스크 및 윤곽 등을 포함할 수 있다.
추출부(240)는 영상 내 번호판 영역의 검출 위치 및 크기를 이용하여 영상에서 차량에 대한 적재함 영역을 추출한다. 여기서, 추출부(240)는 영상 내 번호판 영역의 검출 위치(좌표) 및 영상의 전체 크기에 대비한 번호판 영역의 검출 크기를 바탕으로 적재함 영역의 영상 내 위치와 크기를 결정할 수 있다.
이때, 검출된 영역의 크기는 해당 영역의 높이 및 폭 크기를 포함할 수 있고, 영역의 위치는 영상 내에 해당 영역의 위치한 좌표를 포함할 수 있다. 이때, 영역이 위치한 좌표란 영역을 구성한 꼭지점 좌표, 영역의 중심점 좌표 등을 포함할 수 있다.
또한, 영상 내 번호판 영역의 검출 위치는 단순 좌표뿐만 아니라, 영상의 중심으로부터 번호판 영역의 중심이 떨어진 상대적 위치의 개념을 포함할 수도 있다. 물론, 이러한 상대적 위치는 x축, y축 방향의 상대적 위치를 포함하는 것으로, 이를 이용하면 영상의 중심을 기준으로 번호판 영역의 중심이 상하 또는 좌우 방향으로 치우친 정도를 알 수 있다.
추출부(240)는 이러한 영상의 전체 영역에 대한 번호판 영역의 상하 또는 좌우 치우침 정도를 고려하여, 적재함 영역의 영상 내 위치와 크기를 조정할 수 있다.
간단한 예로, 추출부(240)는 번호판 영역의 중심이 영상의 중심을 기준으로 왼쪽에 치우쳐 있으면, 적재함 영역의 중심 위치가 번호판 영역의 중심보다 오른쪽을 향하도록 조정할 수 있다. 또한, 번호판 영역의 중심이 영상의 중심을 기준으로 오른쪽에 치우쳐 있으면, 적재함 영역의 중심 위치가 번호판 영역의 중심보다 왼쪽을 향하도록 조정할 수 있다.
또한, 추출부(240)는 검출된 번호판 영역이 영상의 상단에 위치할수록 적재함 영역의 크기가 작아지도록 조정할 수 있다.
도 3a 내지 도 3c는 본 발명의 실시 예에 따라 영상에서 차량의 적재함 영역을 추출한 모습을 나타낸 도면이다. 이러한 도 3a 내지 도 3b는 영상 내 각기 다른 위치 및 크기로 검출된 차량의 번호판 영역과 그에 대응되어 추출된 적재함 영역을 나타낸다.
도 3a는 영상의 중심에 위치하도록 촬영된 차량에 대한 예시로서, 도 3a와 같이 정면 화각에서 영상 가운데에 차량이 촬영된 경우 번호판 영역의 바로 위에서 적재함 영역이 검출된다. 즉, 적재함 영역의 중심이 번호판 영역의 중심과 거의 동일 축상에서 검출된 것을 알 수 있다.
도 3b는 영상의 왼쪽 측면에서 촬영된 차량에 대한 예시로서, 영상 내의 번호판의 위치를 파악하여 정면 화각과는 다르게 번호판의 중심으로부터 오른쪽 위에서 적재함 영역이 검출된 것을 알 수 있다.
즉, 도 3b와 같이 번호판 영역의 위치가 영상 중심에서 왼쪽으로 치우쳐 있을수록 적재함 영역이 번호판 위치를 기준으로 오른쪽으로 어긋난 위치에서 추출된다. 물론 번호판 영역이 영상 중심에서 좌우로 치우친 정도가 클수록, 두 영역의 중심 간이 x축 방향으로 더욱 멀어지게 된다.
도 3c는 보다 원거리에서 영상의 왼쪽 상측에서 촬영된 차량에 대한 예시로서, 영상 내 번호판의 y축 좌표에 따라 영상에서 멀리 있는 차량이 파악될 수 있고 번호판의 크기와 좌표를 이용하여 도 3a 보다 작은 크기의 적재함 영역이 추출된 것을 알 수 있다.
도 4는 본 발명의 실시 예에서 영상으로부터 차량의 적재함 영역을 추출하는 원리를 구체적으로 설명하는 도면이다.
도 4는 촬영 장치(100)를 통해 획득한 도로의 영상을 나타내며, 영상의 좌측 상단 모서리 지점의 좌표는 (0,0)인 원점에 해당하며, 원점을 기준으로 오른쪽은 +x 방향, 아래쪽은 +y 방향에 해당한다.
도 4에서 영상의 크기(사이즈)는 3392×2008이고, 영상 내 검출된 번호판 영역의 위치는 (406,1424)이고, 번호판 영역의 크기는 221×109인 것으로 예시하였다. 본 발명의 실시 예는 번호판 영역의 네 꼭지점 중 좌측 상단의 꼭지점을 번호판 영역의 기준 위치로 사용한다.
도 4의 경우 번호판 영역이 영상의 중심을 기준으로 좌측 하단에 치우쳐 검출된 경우이다. 추출부(240)는 아래 수학식 1과 같이, 번호판 영역의 크기를 이용하여 적재함 영역의 크기(폭, 높이)를 결정한다.
Figure 112019132894270-pat00001
여기서, α는 영상 내 번호판의 위치(y축 좌표)에 따라 변동하는 계수로서, 0<α≤1이다. 검출된 번호판의 y축 좌표가 작을수록 즉, 번호판이 영상의 상단 영역에 검출될수록 α 값이 감소한다. 영상 내 번호판의 y축 좌표에 따라 α 값이 변동하고 α는 추출되는 적재함의 크기(폭, 높이)에 영향을 준다. 이러한 α는 카메라와의 거리에 따른 적재함 영역의 크기 조정 계수에 해당한다.
도 4의 경우 α = 1을 사용하였고, 번호판의 폭 = 221, 영상의 높이 = 2008을 수학식 1에 적용하면, 적재함의 폭은 1326, 높이는 573로 계산된다. 따라서, 적재함 영역의 크기는 1326×573으로 도출된다.
여기서, α는 아래 수학식 2에 의해 결정될 수 있다.
Figure 112019132894270-pat00002
도 4의 경우 이미지의 높이 = 2008, 번호판의 y축 좌표 = 1424이므로, α = 0.71이 도출된다. 다만, 본 발명의 실시 예의 경우 α가 임계값(예: 0.6) 이상이면 α = 1이 적용될 수 있다.
예를 들어, 도 4와 같이, 번호판의 y축 좌표가 영상 높이의 60% 이상에 위치한 경우 즉, 번호판이 영상의 하단 영역에서 검출될 때에는 default로 α = 1을 적용하고, 그 이하일 때는 수학식 2에 의한 α를 적용할 수 있다.
카메라의 화각에 따라 영상 내에 적재함이 일부 보이지 않는 경우(도 3a, 도 3b)도 있고 적재함이 보이는 경우(도 3c)도 있는데, 수학식 2의 α는 후자의 경우를 고려한 것이다. 여기서, 일반적으로는 도 3a 및 도 3b의 경우와 같이 영상에서 적재함 영역이 크게 보이도록 화각을 조절하는 경우가 많고 이 경우 번호판이 영상의 하단 영역에서 검출되므로 α는 주로 1의 값이 사용된다.
수학식 1에서 적재함의 폭과 관련하여 사용된 계수 '6'은 번호판 폭에 대비한 적재함 폭의 기준 비율을 의미할 수 있고, '3.5'는 영상의 높이 사이즈에 대비한 적재함의 검출 가능한 최대 높이를 의미할 수 있다. 각각의 계수는 미리 설정될 수 있고 카메라의 설치 높이, 화각, 줌 배율 등에 따라 변동될 수 있다.
다음, 추출부(240)는 번호판 영역의 위치 및 크기를 이용하여, 적재함 영역의 위치(좌표)를 결정한다.
적재함 영역의 x축 좌표는 다음의 수학식 3에 의해 계산될 수 있다.
Figure 112019132894270-pat00003
여기서, β는 영상 내 번호판 폭(너비)에 따라 변동할 수 있고, δ는 영상 내 번호판의 x축 좌표에 따라 변동할 수 있다.
도 4의 경우 β = 2.5, δ = 413로 도출되었으며, 번호판의 x축 좌표 = 406, 번호판의 폭 = 221를 적용하면, 적재함의 x축 좌표 = 267로 최종 도출된다.
적재함의 y축 좌표도 이와 유사한 원리로 계산될 수 있으며, 이때 번호판의 x축 좌표 및 번호판의 폭 대신 번호판의 y축 좌표 및 높이를 사용하면 된다.
도 4에서 최종 도출된 적재함 영역의 위치는 (267,0) 지점이며, 이를 기준으로 1326×573 크기를 가진 영역이 해당 차량에 대한 적재함 영역으로 추출된다. 좌표 계산 과정에서 적재함 영역의 x축 또는 y축 좌표가 음수 값으로 도출된 경우(계산된 좌표가 영상을 벗어난 경우)에는 좌표 값을 '0'으로 처리하는데, 도 4의 경우도 계산된 y축 좌표가 음의 값으로 도출되어 '0'으로 처리된 것을 나타낸다.
수학식 3에서 조정 계수로 사용된 β 및 δ는 다음의 수학식 4 및 수학식 6을 통하여 연산될 수 있다.
우선, β는 수학식 4와 같이 정의될 수 있다.
Figure 112019132894270-pat00004
여기서, s는 영상 내 번호판의 높이 크기와 y축 위치에 따라 변동하며, 0<s≤1이다. 도 4의 경우 s = 1이 사용되었다. 영상의 폭 = 3392, 적재함의 최대폭 = 1326, s = 1을 적용한 결과, β = 2.5로 도출되었다.
여기서, s는 아래 수학식 5에 의해 결정될 수 있다.
Figure 112019132894270-pat00005
도 4의 경우 이미지의 높이 = 2008, 번호판의 y축 좌표 = 1424, 번호판의 높이 = 109이므로, s = 0.76이 도출된다. 다만, 이러한 s 역시 앞서 설명한 α와 비슷한 이유로, s가 임계값(예: 0.6) 이상일 때는 s = 1의 값이 적용될 수 있다.
다음으로, δ는 수학식 6과 같이 정의될 수 있다.
Figure 112019132894270-pat00006
이러한 δ는 영상의 중심에 대한 번호판 영역의 x축 방향의 치우침 정도를 나타낸다. 번호판의 중심점 x축 좌표 = 516, 영상의 중심점 x축 좌표 = 1696을 적용한 결과, δ = 413으로 도출되었다.
영상 중심을 기준으로 번호판 중심이 왼쪽으로 치우치면 δ은 양의 값이 되고 치우친 정도가 클수록 수학식 3의 x축 좌표 값은 증가한다. 반대로 영상 중심을 기준으로 번호판 중심이 오른쪽으로 치우치면 δ은 음의 값이 되고 치우친 정도가 클수록 수학식 3의 x축 좌표 값이 감소한다.
이러한 원리에 따라, 번호판이 영상 좌측에 치우쳐 검출될수록, 적재함 영역의 x축 위치가 오른쪽을 향하여 조정되고, 영상 우측에 치우쳐 검출될수록, 적재함 영역의 x축 위치가 왼쪽을 향하여 조정될 수 있다. 즉, 이러한 δ은 카메라의 시선 방향에 따른 적재함 영역의 위치 조정 계수에 해당한다.
상술한 바와 같이 영상에서 추출된 차량의 적재함 영역은 적재함의 덮개 상태 판별을 위한 딥러닝 알고리즘의 입력 데이터로 사용된다. 여기서, 추출부(240)는 영상 내에서 추출된 적재함 영역의 이미지 부분만을 잘라내어 분류부(250)로 전달할 수 있다.
분류부(250)는 추출부(240)로부터 전달받은 적재함 영역 이미지를 딥러닝 모델에 입력하여, 차량에 대한 적재함의 덮개 상태를 분류한다.
이때, 딥러닝 모델은 기 정의된 N 가지의 덮개 상태 별로 해당 덮개 상태에 대응하는 적재함 영역 이미지를 딥러닝 학습하여 구축될 수 있으며, 신경망을 기반으로 구현될 수 있다.
또한, 분류부(250)는 적재함 영역 이미지를 딥러닝 분석을 위한 설정 규격(예: 640×640 픽셀)의 학습 크기로 리사이징(resizing)하여 전처리한 후에 딥러닝 모델에 입력할 수 있다. 여기서, 리사이징이란, 크기 축소 및 확대뿐만 아니라 직사각형의 정사각형 전환의 개념을 포함할 수 있다. 분류부(250)는 이미지의 리사이징을 통해 딥러닝 분석 효율 및 속도를 높인다.
분류부(250)는 딥러닝 알고리즘을 이용하여 적재함 영역 이미지로부터 적재함의 덮개 상태를 판단한다. 여기서, 적재함의 덮개 상태는 적재함의 덮개 유무, 덮개 닫힘 정도, 덮개 종류(예: 판형, 천막형) 중 적어도 하나에 따라 N 가지(N은 2 이상의 정수)로 세분화될 수 있다.
예를 들면, 적재함의 덮개 상태는 완전 개방, 중간(일부) 개방, 완전 덮힘, 중간(일부) 덮힘, 천으로 덮힘, 천과 덮개로 덮힘 등을 포함한 6 가지 상태로 구분될 수 있다.
도 5는 본 발명의 실시 예에서 딥러닝을 기반으로 분석되는 6가지 분류 카테고리를 예시한 도면이다. 이러한 도 5는 각각의 차량에 대응하여 추출된 적재함 영역 이미지 및 해당 이미지를 딥러닝 분석하여 도출한 덮개 상태 분류 결과를 나타낸다.
도 5에서 완전 개방 및 중간 개방은 각각 덮개가 완전 개방 및 일부 개방된 상태를 나타낸다. 완전 덮힘은 덮개가 완전히 닫힌 상태이고 중간 덮힘은 중간 개방과 완전 덮힘의 중간에 해당하는 상태이다. 천으로 덮힘은 판형 덮개(자동 덮개)가 아닌 천으로 덮힌 상태, 천+자동덮개는 천으로 덮힌 상태에서 판형 덮개가 상부에 걸쳐진 상태를 나타낸다.
완전 덮힘, 천으로 덮힘, 천+자동 덮개 덮힘의 경우 도로교통법 및 대기환경보전법을 대부분 준수한 것에 해당하는 반면, 나머지 중간 덮힘, 중간 개방, 완전 개방의 경우 법규를 위반한 것에 해당하여, 비산 먼지 유발 가능성이 높고 적재물 이탈 및 과적물의 낙하 등으로 인한 도로 손상 및 교통 사고의 위험성이 높아진다.
본 발명의 실시 예는 영상 내 차량의 적재함 영역을 딥러닝 분석하여 덮개 상태를 효율적으로 분류하여, 적재함의 덮개 불량으로 인한 차량의 위법 행위를 단속할 수 있다.
제어부(260)는 획득부(210), 검출부(220), 인식부(230), 추출부(240) 및 분류부(250) 각각의 데이터 흐름을 제어하며, 각 부(210,220,230,240,250)와 데이터를 주고받을 수 있다.
제어부(260)는 분류부(250)를 통해 분류된 적재함의 덮개 상태를 포함한 차량 정보를 각 차량 별로 생성하고, 그 생성된 차량 정보를 운영 장치(300)로 제공할 수 있다. 여기서, 차량 정보는 차량의 검출 영상, 검출 장소, 인식된 차량 번호, 적재함 영역 이미지, 적재함 덮개 상태 등을 포함할 수 있다.
운영 장치(300)는 정보 수집 장치(200)의 통신부(미도시)와 유무선 통신망(Network)을 통하여 연결되며, 도로의 각 지점에 설치된 정보 수집 장치(200)로부터 정보를 수집하고 이를 종합하여 지점 별 차량 정보를 저장 및 관리할 수 있다.
또한, 운영 장치(300)는 차량 별 수집된 차량 정보를 기초로 덮개 상태가 불량인 차량을 확인하여 위반 정보 및 계도 문구를 포함한 단속 알림 메시지를 생성할 수 있다. 이때 운영 장치(300)는 단속 알림 메시지를 해당 차량에 대응한 사용자 단말(예: 차량 소유자 측 단말)로 전송하여 위반 사실을 고지함은 물론 차량 운전자를 효과적으로 계도할 수 있다. 여기서 위반 정보는 차량 번호, 위반 일시, 위반 장소, 위반 내용, 관련 법규 등을 포함할 수 있다.
도 6은 도 1에 도시된 감시 시스템을 이용한 화물차 감시 방법을 설명하는 도면이다.
도 6에 나타낸 바와 같이, 본 발명의 실시 예에 따른 정보 수집 장치(200)의 획득부(210)는 촬영 장치(100)로부터 영상을 획득하고, 획득한 영상을 검출부(220)로 제공한다(S610).
검출부(220)는 수신한 영상으로부터 차량을 검출하고, 검출한 차량에 대한 번호판 영역을 검출한다(S620).
여기서, 인식부(230)는 영상 처리 기반의 차량 인식 알고리즘을 이용하여 번호판 영역으로부터 차량 번호를 인식하여, 인식한 차량 번호를 기초로 단속 대상이 되는 화물차 차량을 관심 차량으로 선별할 수 있다(S630).
추출부(240)는 화물차 차량을 대상으로 차량의 적재함 영역을 추출한다(S640). 여기서, 추출부(240)는 검출부(220)에서 검출된 번호판 영역에 대한 영상 내 위치와 크기를 이용하여, 해당 영상으로부터 차량의 적재함 영역을 추출하고, 추출된 적재함 영역의 이미지를 크롭(Crop)하여 분류부(250)로 제공할 수 있다.
분류부(250)는 추출부(240)로부터 제공받은 적재함 영역 이미지를 미리 학습된 딥러닝 모델에 입력하여, 차량에 대한 적재함의 덮개 상태를 분류한다(S650). 여기서 분류부(250)는 적재함 영역 이미지를 딥러닝 모델에 이미지를 입력하기 전에, 적재함 영역 이미지를 설정 규격으로 리사이징하는 절차를 수행할 수 있다.
이러한 분류부(250)는 적재함 영역 이미지를 수신하고 딥러닝 기법을 이용하여 해당 적재함 영역 이미지로부터 덮개 유무, 닫힘 정도 및 덮개 종류를 분석하여 적재함의 덮개 상태를 분류할 수 있다. 예를 들어 분류부(250)는 적재함 영역 이미지에서 추출한 특징을 기 학습된 6가지 상태 별 특징과 비교하여 가장 유사도가 높은 하나의 상태를 판별하여 제공할 수 있다.
이후, 제어부(260)는 해당 차량의 덮개 상태를 포함한 차량 정보를 생성하여 운영 장치(300)로 제공할 수 있다(S660). 여기서, 제어부(260)는 각 차량 별로, 차량의 검출 영상, 인식된 차량 번호, 적재함 영역 이미지, 적재함 덮개 상태 등을 포함한 차량 정보를 생성하여 운영 장치(300)로 제공할 수 있다.
운영 장치(300)는 정보 수집 장치(200)로부터 각 차량에 대한 차량 정보를 수신하고 이를 통합 관리할 수 있다. 물론 운영 장치(300)는 도로 각 지점의 정보 수집 장치(200)로부터 수집된 정보를 종합하여 지점 별로 차량 정보를 저장하고 관리할 수 있다.
또한, 운영 장치(300)는 덮개 상태가 불량인 차량에 대응하여 위반 정보 및 계도 문구를 포함한 단속 알림 메시지를 생성하고, 이를 해당 차량에 대응한 사용자 단말로 전송하고 위반 사실을 고지함으로써 차량 운전자를 효과적으로 계도할 수 있다.
이상과 같은 본 발명에 의하면, 영상 내 검출된 화물차의 적재함 영역을 딥러닝 알고리즘을 통하여 분석하여 적재함의 덮개 상태를 판별하고 화물차의 덮개 불량으로 인한 위법 행위를 단속하여 차량 운전자를 효과적으로 계도할 수 있다.
또한, 이를 통해 비산 먼지로 인하여 발생할 수 있는 환경 오염을 예방 조치할 수 있음은 물론, 화물 이탈 및 과적으로 인한 도로 파손 및 교통 사고를 예방할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 촬영 장치 200: 정보 수집 장치
210: 획득부 220: 검출부
230: 인식부 240: 추출부
250: 분류부 260: 제어부
300: 운영 장치

Claims (14)

  1. 도로의 영상으로부터 차량을 검출하고, 검출한 차량에 대한 번호판 영역을 검출하는 검출부;
    상기 영상 내 상기 번호판 영역의 검출 위치 및 크기를 이용하여 상기 영상에서 차량의 적재함 영역 이미지를 추출하는 추출부;
    상기 적재함 영역 이미지를 딥러닝 분석하여 상기 차량의 적재함 덮개 상태를 분류하는 분류부; 및
    상기 차량의 적재함 덮개 상태를 포함한 차량 정보를 생성하는 제어부
    를 포함하는 화물차 감시 장치.
  2. 청구항 1에 있어서,
    상기 적재함 덮개 상태는,
    적재함의 덮개 유무, 덮개 닫힘 정도, 덮개 종류 중 적어도 하나에 따라 구분되는 복수의 상태를 포함하는 화물차 감시 장치.
  3. 청구항 1에 있어서,
    상기 번호판 영역으로부터 인식한 차량 번호를 기초로 상기 영상 내에서 화물차를 관심 차량으로 선택하는 인식부를 더 포함하는 화물차 감시 장치.
  4. 청구항 3에 있어서,
    상기 추출부는,
    상기 영상 내 상기 관심 차량을 대상으로 상기 적재함 영역을 추출하는 화물차 감시 장치.
  5. 청구항 1에 있어서,
    상기 차량 정보는,
    상기 차량의 검출 영상, 차량 번호, 상기 적재함 영역 이미지, 상기 적재함 덮개 상태를 포함하는 화물차 감시 장치.
  6. 청구항 1에 있어서,
    상기 분류부는,
    상기 적재함 영역 이미지를 상기 딥러닝 분석하기 전에 설정 규격의 크기로 리사이징하여 전처리하는 화물차 감시 장치.
  7. 청구항 1에 있어서,
    상기 추출부는,
    상기 영상 내 번호판 영역의 검출 좌표 및 상기 영상의 전체 크기에 대비한 번호판 영역의 검출 크기를 기반으로 상기 적재함 영역의 영상 내 위치 및 크기를 결정하는 화물차 감시 장치.
  8. 청구항 7에 있어서,
    상기 추출부는,
    상기 영상의 전체 영역에 대한 상기 번호판 영역의 상하 또는 좌우 치우침 정도를 고려하여, 상기 적재함 영역의 영상 내 위치와 크기를 조정하는 화물차 감시 장치.
  9. 도로의 영상으로부터 차량 및 상기 차량의 번호판 영역을 검출하고, 상기 영상 내 번호판 영역의 검출 위치 및 크기를 이용하여 상기 영상에서 차량의 적재함 영역 이미지를 추출하며, 상기 적재함 영역 이미지를 딥러닝 분석하여 상기 차량의 적재함 덮개 상태를 분류하고 차량 별로 상기 적재함 덮개 상태를 포함한 차량 정보를 생성하는 정보 수집 장치; 및
    상기 정보 수집 장치와 네트워크 연결되며, 상기 정보 수집 장치로부터 차량 별 상기 차량 정보를 수신하여 통합 관리하는 운영 장치를 포함하는 화물차 감시 시스템.
  10. 도로의 영상으로부터 차량을 검출하고, 검출한 차량에 대한 번호판 영역을 검출하는 단계;
    상기 영상 내 상기 번호판 영역의 검출 위치 및 크기를 이용하여 상기 영상에서 차량의 적재함 영역 이미지를 추출하는 단계;
    상기 적재함 영역 이미지를 딥러닝 분석하여 상기 차량의 적재함 덮개 상태를 분류하는 단계; 및
    상기 차량의 적재함 덮개 상태를 포함한 차량 정보를 생성하는 단계
    를 포함하는 화물차 감시 방법.
  11. 청구항 10에 있어서,
    상기 적재함 덮개 상태는,
    적재함의 덮개 유무, 덮개 닫힘 정도, 덮개 종류 중 적어도 하나에 따라 구분되는 복수의 상태를 포함하는 화물차 감시 방법.
  12. 청구항 10에 있어서,
    상기 분류하는 단계는,
    상기 적재함 영역 이미지를 상기 딥러닝 분석하기 전에 설정 규격의 크기로 리사이징하여 전처리하는 화물차 감시 방법.
  13. 청구항 10에 있어서,
    상기 추출하는 단계는,
    상기 영상 내 번호판 영역의 검출 좌표 및 상기 영상의 전체 크기에 대비한 번호판 영역의 검출 크기를 기반으로 상기 적재함 영역의 영상 내 위치 및 크기를 결정하는 화물차 감시 방법.
  14. 청구항 13에 있어서,
    상기 추출하는 단계는,
    상기 영상의 전체 영역에 대한 상기 번호판 영역의 상하 또는 좌우 치우침 정도를 고려하여, 상기 적재함 영역의 영상 내 위치와 크기를 조정하는 화물차 감시 방법.
KR1020190173031A 2019-12-23 2019-12-23 화물차 감시 시스템 및 그 방법 KR102243528B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190173031A KR102243528B1 (ko) 2019-12-23 2019-12-23 화물차 감시 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190173031A KR102243528B1 (ko) 2019-12-23 2019-12-23 화물차 감시 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102243528B1 true KR102243528B1 (ko) 2021-04-22

Family

ID=75730976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190173031A KR102243528B1 (ko) 2019-12-23 2019-12-23 화물차 감시 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102243528B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481976B1 (ko) * 2022-10-21 2022-12-27 한국자동차연구원 화물차 이미지 딥러닝을 위한 데이터 가공 모듈

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997358B1 (ko) * 2009-03-10 2010-11-29 한국도로공사 영상처리 기술을 이용한 적재불량차량 검출 시스템 및 이를이용한 검출 방법
KR101282864B1 (ko) * 2013-04-02 2013-07-05 주식회사 스마트비전 적재 불량 차량을 단속하기 위한 시스템 및 그 방법
KR101785401B1 (ko) * 2016-03-18 2017-11-06 주식회사에스에이티 무인비행체를 이용한 적재불량 차량 단속 시스템 및 그 방법
KR20190135266A (ko) * 2018-05-28 2019-12-06 렉스젠(주) 차량 출입 관리 장치 및 그 방법
KR102131893B1 (ko) * 2019-10-24 2020-07-09 한국건설기술연구원 화물차 덮개 불량 자동 인지 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997358B1 (ko) * 2009-03-10 2010-11-29 한국도로공사 영상처리 기술을 이용한 적재불량차량 검출 시스템 및 이를이용한 검출 방법
KR101282864B1 (ko) * 2013-04-02 2013-07-05 주식회사 스마트비전 적재 불량 차량을 단속하기 위한 시스템 및 그 방법
KR101785401B1 (ko) * 2016-03-18 2017-11-06 주식회사에스에이티 무인비행체를 이용한 적재불량 차량 단속 시스템 및 그 방법
KR20190135266A (ko) * 2018-05-28 2019-12-06 렉스젠(주) 차량 출입 관리 장치 및 그 방법
KR102131893B1 (ko) * 2019-10-24 2020-07-09 한국건설기술연구원 화물차 덮개 불량 자동 인지 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481976B1 (ko) * 2022-10-21 2022-12-27 한국자동차연구원 화물차 이미지 딥러닝을 위한 데이터 가공 모듈

Similar Documents

Publication Publication Date Title
CN106878674B (zh) 一种基于监控视频的停车检测方法及装置
EP2031571B1 (en) Vehicle type determination device, program, and method
US8902053B2 (en) Method and system for lane departure warning
KR101935399B1 (ko) 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템
JP5223675B2 (ja) 車両検知装置,車両検知方法並びに車両検知プログラム
US8737747B2 (en) Method for automated tire detection and recognition
US9412025B2 (en) Systems and methods to classify moving airplanes in airports
US20060221181A1 (en) Video ghost detection by outline
US20090110286A1 (en) Detection method
KR102174556B1 (ko) 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치
EP2717219A1 (en) Object detection device, object detection method, and object detection program
KR102131893B1 (ko) 화물차 덮개 불량 자동 인지 장치 및 방법
KR102011624B1 (ko) 개선된 차량검출 방법과 이를 활용한 비정상적 주정차 차량식별 시스템
JP6678552B2 (ja) 車種判別装置および車種判別方法
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及系统
KR102243528B1 (ko) 화물차 감시 시스템 및 그 방법
US8229170B2 (en) Method and system for detecting a signal structure from a moving video platform
CN112308032A (zh) 一种视频检测的井下风门智能协同联动控制方法
KR101911239B1 (ko) 불법 주정차 단속을 위한 채널 확대 운영 시스템
CN108108656B (zh) 一种基于车窗角点检测和多方向投影的车窗精确定位方法
KR100942409B1 (ko) 고속 이동 차량 검지 방법
CN114141022B (zh) 应急车道占用行为检测方法、装置、电子设备及存储介质
Phelawan et al. A new technique for distance measurement of between vehicles to vehicles by plate car using image processing
Bubeníková et al. Security increasing trends in intelligent transportation systems utilising modern image processing methods
Anagnostopoulos et al. Using sliding concentric windows for license plate segmentation and processing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant