KR102204051B1 - 지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템 - Google Patents
지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템 Download PDFInfo
- Publication number
- KR102204051B1 KR102204051B1 KR1020200094389A KR20200094389A KR102204051B1 KR 102204051 B1 KR102204051 B1 KR 102204051B1 KR 1020200094389 A KR1020200094389 A KR 1020200094389A KR 20200094389 A KR20200094389 A KR 20200094389A KR 102204051 B1 KR102204051 B1 KR 102204051B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vehicle
- section
- information
- mms
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000010191 image analysis Methods 0.000 claims abstract description 29
- 239000000470 constituent Substances 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 14
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G06K9/3283—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
-
- G06K2209/15—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 MMS 영상에서 차량의 번호판을 불러 처리하는 지정이미지의 블러 처리 기능을 갖춘 MMS 수집영상 가공시스템에 관한 것으로, MMS의 카메라가 촬영한 수집영상 이미지에 GPS 위치값이 설정된 수집영상 이미지 정보를 저장하는 수집정보DB; 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장하는 학습정보DB; 상기 수집영상 이미지에 위치값을 설정하고 분류해서 수집정보DB에 수집영상 이미지 정보로 저장하는 MMS모듈; 상기 수집영상 이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하는 딥러닝 모듈; 상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하는 이미지 분석모듈; 상기 이미지 분석모듈이 추출한 번호판 이미지를 블러 처리하는 블러모듈;을 포함하는 것이다.
Description
본 발명은 MMS 영상에서 차량의 번호판을 불러 처리하는 지정이미지의 블러 처리 기능을 갖춘 MMS 수집영상 가공시스템에 관한 것이다.
MMS(Mobile Mapping System)는 차량에 설치되고 라이다와 카메라와 GPS장치를 구성해서 현 위치를 중심으로 한 주변공간의 형상적 구조 정보와 수집영상 이미지 정보와 현 위치의 위치정보를 수집한다.
이렇게 수집한 형상적 구조 정보는 3D 수치지도 영상의 도화 자료로 활용되고, 수집영상 이미지 정보는 인터넷 포털사이트에서 제공하는 거리현장의 이미지 제공 서비스(이하 '거리뷰 서비스') 등으로 활용된다.
그런데 MMS가 이동하며 촬영한 거리현장의 수집영상 이미지에는 차량의 번호판과 보행자의 얼굴 등을 포함한다. 즉, MMS의 정보 수집 당시에 통행한 차량 및 보행자의 개인정보가 그대로 노출되는 것이다.
따라서 수집영상 이미지 내에 촬영된 차량의 번호판과 보행자의 얼굴은 거리뷰 서비스 제공 이전에 제3자가 식별할 수 없도록 스크린되어야 한다.
종래에는 차량의 번호판을 스크린 하기 위해서 작업자가 직접 일일이 수작업으로 블러 처리했다. 하지만, 상기 수작업 방식은 작업시간을 연장하고 스크린 정확도를 낮추며 인건비를 증가시키는 원인이므로, 시급히 개선해야 할 과제였다.
선행기술문헌 1. 특허공개번호 제10-2019-0095571호(2019.08.16 공개)
이에 본 발명은 상기의 문제를 해소하기 위한 것으로, MMS가 수집한 수집영상 이미지 정보에서 차량의 번호판을 자동으로 정확히 인식해서 블러 처리하는 지정이미지의 블러 처리 기능을 갖춘 MMS 수집영상 가공시스템의 제공을 해결하고자 하는 과제로 한다.
상기의 과제를 달성하기 위하여 본 발명은,
MMS의 카메라가 촬영한 수집영상 이미지에 GPS 위치값이 설정된 수집영상 이미지 정보를 저장하는 수집정보DB;
딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장하는 학습정보DB;
상기 수집영상 이미지에 위치값을 설정하고 분류해서 수집정보DB에 수집영상 이미지 정보로 저장하는 MMS모듈;
상기 수집영상 이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하는 딥러닝 모듈;
상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하는 이미지 분석모듈; 및
상기 이미지 분석모듈이 추출한 번호판 이미지를 블러 처리하는 블러모듈;
을 포함하는 것을 특징으로 하는 지정이미지의 블러 처리 기능을 갖춘 MMS 수집영상 가공시스템.
상기의 본 발명은, MMS가 차량의 이동을 따라 현장을 촬영하며 수집한 수집영상 이미지 정보에서 개인정보에 해당하는 차량의 번호판을 자동으로 정확하게 식별하고 블러 처리하므로, 신뢰할 수 있는 개인정보 보호는 물론 수동 방식과 비교해 경제적이고 신속한 편집 효과를 기대할 수 있다.
도 1은 본 발명에 따른 MMS 수집영상 가공시스템의 일 실시 예를 도시한 블록도이고,
도 2는 본 발명에 따른 MMS 수집영상 가공시스템의 동작 프로세스의 일 실시 예를 도시한 플로차트이고,
도 3은 본 발명에 따른 MMS 수집영상 가공시스템이 처리하는 수집영상 이미지를 보인 이미지이고,
도 4는 상기 수집영상 이미지에 구성된 차량이미지의 구성 픽셀을 개략적으로 도시한 도면이고,
도 5는 상기 수집영상 이미지의 블러 처리 모습을 도시한 도면이고,
도 6은 본 발명에 따른 MMS 수집영상 가공시스템이 상기 수집영상 이미지에서 차량이미지를 블러 처리한 모습을 보인 이미지이고,
도 7은 본 발명에 따른 MMS 수집영상 가공시스템이 이미지 분석을 통해 차량의 번호판을 탐색하는 과정을 순차로 보인 이미지이고,
도 8은 본 발명에 따른 MMS 수집영상 가공시스템이 번호판 이미지를 블러 처리한 모습을 보인 이미지이고,
도 9는 본 발명에 따른 MMS 수집영상 가공시스템의 다른 실시 예를 도시한 블록도이고,
도 10은 본 발명에 따른 MMS 수집영상 가공시스템의 동작 프로세스의 다른 실시 예를 도시한 플로차트이고,
도 11와 도 12는 본 발명에 따른 MMS 수집영상 가공시스템이 차량이미지의 가려진 부분을 제외하고 구간을 분류하는 모습을 도시한 도면이고,
도 13은 본 발명에 따른 MMS 수집영상 가공시스템이 촬영각에 따른 차량의 구간 비율을 개략적으로 도시한 도면이고,
도 14는 본 발명에 따른 MMS 수집영상 가공시스템이 차량이미지에서 번호판 이미지가 위치하는 유효구간을 표시한 도면이다.
도 2는 본 발명에 따른 MMS 수집영상 가공시스템의 동작 프로세스의 일 실시 예를 도시한 플로차트이고,
도 3은 본 발명에 따른 MMS 수집영상 가공시스템이 처리하는 수집영상 이미지를 보인 이미지이고,
도 4는 상기 수집영상 이미지에 구성된 차량이미지의 구성 픽셀을 개략적으로 도시한 도면이고,
도 5는 상기 수집영상 이미지의 블러 처리 모습을 도시한 도면이고,
도 6은 본 발명에 따른 MMS 수집영상 가공시스템이 상기 수집영상 이미지에서 차량이미지를 블러 처리한 모습을 보인 이미지이고,
도 7은 본 발명에 따른 MMS 수집영상 가공시스템이 이미지 분석을 통해 차량의 번호판을 탐색하는 과정을 순차로 보인 이미지이고,
도 8은 본 발명에 따른 MMS 수집영상 가공시스템이 번호판 이미지를 블러 처리한 모습을 보인 이미지이고,
도 9는 본 발명에 따른 MMS 수집영상 가공시스템의 다른 실시 예를 도시한 블록도이고,
도 10은 본 발명에 따른 MMS 수집영상 가공시스템의 동작 프로세스의 다른 실시 예를 도시한 플로차트이고,
도 11와 도 12는 본 발명에 따른 MMS 수집영상 가공시스템이 차량이미지의 가려진 부분을 제외하고 구간을 분류하는 모습을 도시한 도면이고,
도 13은 본 발명에 따른 MMS 수집영상 가공시스템이 촬영각에 따른 차량의 구간 비율을 개략적으로 도시한 도면이고,
도 14는 본 발명에 따른 MMS 수집영상 가공시스템이 차량이미지에서 번호판 이미지가 위치하는 유효구간을 표시한 도면이다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.
도 1은 본 발명에 따른 MMS 수집영상 가공시스템의 일 실시 예를 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 MMS 수집영상 가공시스템은, MMS의 카메라(12)가 촬영한 수집영상 이미지에 GPS장치(11)가 측정한 위치값이 설정된 수집영상 이미지 정보를 저장하는 수집정보DB(15); 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장하는 학습정보DB(16); 상기 수집영상 이미지에 위치값을 설정하고 분류해서 수집정보DB(15)에 수집영상 이미지 정보로 저장하는 MMS모듈(14); 상기 수집영상 이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하는 딥러닝 모듈(17); 상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하는 이미지 분석모듈(18); 이미지 분석모듈(18)이 추출한 번호판 이미지를 블러 편집하는 블러모듈(19);을 포함한다.
각 구성을 좀 더 구체적으로 설명하면, 수집정보DB(15)는 MMS(Mobile Mapping System)의 GPS장치(11)가 측정한 위치값과, 카메라(12)가 촬영한 수집영상 이미지와, 라이다(13)가 측정한 지상물과의 거리값을 데이터로 저장한다. 여기서 수집영상 이미지는 현 위치값과 링크되어서 해당 수집영상 이미지의 촬영 위치를 확인할 수 있다. 수집영상 이미지에 위치값이 설정된 수집영상 이미지 정보는 해당 수집영상 이미지와는 독립시켜서 저장할 수도 있다.
학습정보DB(16)는, 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장한다. 본 발명의 MMS 수집영상 가공시스템은 R-CNN(Convolutional Neural Network) 기반의 딥러닝 기술을 활용해서 수집영상 이미지를 분석하고 차량이미지를 탐색하므로, 딥러닝 학습을 위한 차량의 형상과 색상 등의 학습정보를 확보한다. 또한, 탐색한 차량이미지는 학습정보에 보강되어서 딥러닝의 성능을 높인다.
MMS모듈(14)은, 수집영상 이미지에 위치값을 설정하고 분류해서 수집정보DB(15)에 수집영상 이미지 정보로 저장한다. 전술한 바와 같이 GPS장치(11)는 위치값을 측정하고, 카메라(12)는 주변 환경을 촬영하여 수집영상 이미지를 수집하며, MMS모듈(14)은 수집영상 이미지에 해당 위치값을 설정한다. 결국, 위치값을 입력하면 수집정보DB(15)에서 해당 위치의 수집영상 이미지를 검색하고 출력시킨다.
딥러닝 모듈(17)은 수집영상 이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출한다. 수집영상 이미지는 RGB값을 갖는 컬러 영상이므로 딥러닝 모듈(17)은 수집영상 이미지의 RGB값을 분석해서 색상을 확인하고, 이를 기반으로 수집영상 이미지에 구성된 객체를 탐색한다. 즉, 동일한 RGB값이 군집해 이루는 구역을 하나의 객체로 간주하고, 해당 구역의 경계를 윤곽 라인으로 해서 윤곽 라인이 폐구간을 이루는 구역을 하나의 객체로 간주하는 것이다. 참고로, 차량이미지에는 차체 이미지 내에 전조등 이미지, 후미등 이미지, 방향지시등 이미지, 흡기구 이미지, 전체면유리 이미지, 도어 유리 이미지, 후면유리 이미지 등이 구성되고, 각각의 이미지는 윤곽 라인이 폐구간을 이루어서 하나의 객체를 이룬다. 딥러닝 모듈(17)은 상기 학습정보에 따라 해당 객체를 분석해서 차체 이미지만을 차량이미지로 간주하고 다른 이미지는 제외한다.
딥러닝 모듈(17)은 완전한 형태의 차량이미지를 수집영상 이미지 내에서 추출할 수도 있으나, 다른 차량이미지 또는 구조물 등에 의해 일부가 가려진 차량이미지도 수집영상 이미지 내에서 추출할 수 있다. 참고로 차량이미지 일치율이 기준치 이상인 객체만을 차량이미지로 지정하고, 기준치 미만인 객체는 무시한다.
이미지 분석모듈(18)은 딥러닝 모듈(17)이 추정한 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인한다. 이미지 분석모듈(18)의 보다 구체적인 동작 프로세스는 아래에서 다시 설명한다.
블러모듈(19)은 이미지 분석모듈(18)이 추출한 번호판 이미지를 블러 처리한다. 번호판 이미지는 개인정보이므로, 외부에 공개할 때에는 삭제 또는 블러 처리를 해야 한다. 이를 위해 전술한 과정에 따라 수집영상 이미지 내에 번호판 이미지의 위치가 자동으로 추적되고, 블러모듈(19)은 해당 위치의 이미지를 박스 또는 흐리게 편집해서 번호판에 기재된 차량번호가 드러나지 않도록 처리한다. 블러모듈(19)의 이미지 편집은 일반적인 이미지 애플리케이션의 기본 메뉴이므로, 이에 대한 구체적인 프로세스와 코드 구조의 설명은 생략한다.
도 2는 본 발명에 따른 MMS 수집영상 가공시스템의 동작 프로세스의 일 실시 예를 도시한 플로차트이고, 도 3은 본 발명에 따른 MMS 수집영상 가공시스템이 처리하는 수집영상 이미지를 보인 이미지이고, 도 4는 상기 수집영상 이미지에 구성된 차량이미지의 구성 픽셀을 개략적으로 도시한 도면이고, 도 5는 상기 수집영상 이미지의 블러 처리 모습을 도시한 도면이고, 도 6은 본 발명에 따른 MMS 수집영상 가공시스템이 상기 수집영상 이미지에서 차량이미지를 블러 처리한 모습을 보인 이미지이고, 도 7은 본 발명에 따른 MMS 수집영상 가공시스템이 이미지 분석을 통해 차량의 번호판을 탐색하는 과정을 순차로 보인 이미지이고, 도 8은 본 발명에 따른 MMS 수집영상 가공시스템이 번호판 이미지를 블러 처리한 모습을 보인 이미지이다.
도 1 내지 도 8을 참조해서 본 발명에 따른 MMS 수집영상 가공시스템의 동작 프로세스를 순차 설명한다.
S10; 정보 수집 단계
MMS는 현장을 이동하며 GPS장치(11)와 카메라(12)와 라이다(13)를 이용해 위치값과 수집영상 이미지(IM1)와 거리값을 실시간으로 수집하고, MMS모듈(14)은 카메라(12)로부터 수신한 수집영상 이미지(IM1)에 해당 위치값을 설정해서 수집영상 이미지(IM1) 정보로 생성한다. MMS모듈(14)은 수집영상 이미지(IM1) 정보를 수집정보DB(15)에 저장한다.
S20; 수집영상 이미지 객체 탐색 단계
딥러닝 모듈(17)은 수집정보DB(15)에 저장된 수집영상 이미지(IM1)의 RGB값을 픽셀 단위로 확인해서 동일한 RGB값이 군집한 구간을 하나의 객체로 간주하여 분류한다. RGB값을 기준으로 분류한 객체는 차량이미지(C1)는 물론 차량이미지(C1) 내에 위치한 물체와, 차량이미지(C1) 외에 위치한 물체를 모두 포함한다.
도 4의 (a)도면과 같이 수집영상 이미지(IM2)에서의 객체 탐색은 픽셀(31)의 RGB값 확인을 통해 이루어진다. 본 실시에서 딥러닝 모듈(17)은 일정 개수의 픽셀(31)을 하나의 셋(32)으로 구성해서 수집영상 이미지(IM2)를 셋(32) 단위로 분석한다. 본 실시에서 셋(32)은 4x4 픽셀을 이룬다. 딥러닝 모듈(17)은 셋(32) 단위로 픽셀(31)을 분석하면서 구성 픽셀(31)의 RGB값이 모두 동일하면 해당 셋(32)에 구성된 픽셀(31) 단위의 분석을 생략하고, 서로 다른 RGB값의 픽셀(31)이 확인되면 해당 셋(32)에 구성된 픽셀(31)을 일일이 분석한다.
셋(32) 단위의 분석 방식을 통해서 이웃하는 픽셀과 RGB값이 다른 픽셀(33)을 확인하고, 해당 픽셀(33)의 조합이 이루는 라인의 형태가 차량이미지인지 여부를 딥러닝 기술을 통해 분석한다. 딥러닝 기술은 차량이미지 아래에서 설명하는 추출 과정에서 좀 더 구체적으로 설명한다. 상기 딥러닝 과정을 통해 차량이미지(C2)의 일부분(C21)인지 여부가 확인되면, 해당 픽셀(33)을 차량이미지(C2)의 윤곽 중 외곽으로 설정한다. 주지된 바와 같이 픽셀(33)은 하나의 RGB값을 출력하므로, 도 4의 (a)도면에 도시된 하나의 픽셀(33)은 둘 이상의 중복된 색상이 아닌 하나의 색상을 출력해야 한다. 그러나 도면의 이해를 돕기 위해서 해당 픽셀(33)에는 차량이미지(C2)의 외곽 라인을 도시하였다. 계속해서, 딥러닝 모듈(17)은 픽셀(33)의 조합이 이루는 라인의 형태가 폐구간을 이루면 해당 폐구간을 수집영상 이미지(IM2)에서 객체로 간주하고, 상기 라인을 해당 객체의 외곽으로 설정한다.
이외에도 딥러닝 모듈(17)은 도 5의 (a)도면과 같이 차량이미지(C2)를 셋(32) 단위가 아닌 픽셀(31) 단위의 분석 방식을 통해서 이웃하는 픽셀과 RGB값이 다른 픽셀(34)을 확인하고, 해당 픽셀(34)의 조합이 이루는 라인의 형태가 차량이미지인지 여부를 딥러닝 기술을 통해 분석할 수 있다. 이러한 분석 방식은 셋(32) 단위의 수집영상 이미지(IM2) 분석에 비해 분석 시간과 시스템 부하가 상대적으로 크지만, 수집영상 이미지(IM2)의 분석 정밀도를 높인다. 계속해서, 딥러닝 모듈(17)은 픽셀(34)의 조합이 이루는 라인의 형태가 폐구간을 이루면 해당 폐구간을 수집영상 이미지(IM2)에서 객체로 간주하고, 상기 라인을 해당 객체의 외곽으로 설정한다.
참고로, 차량이미지(C1) 내에 위치한 물체는 전조등 이미지, 후미등 이미지, 방향지시등 이미지, 흡기구 이미지, 전체면유리 이미지, 도어 유리 이미지, 후면유리 이미지 등이 있고, 차량이미지(C1) 외에 위치한 물체는 신호등 이미지, 차선 이미지, 나무 이미지, 건물 이미지 등이 있다.
S30; 딥러닝을 통한 차량이미지 추출 단계
딥러닝 모듈(17)은 수집영상 이미지(IM2)의 픽셀(31) 분석을 통해 탐색한 객체의 외곽 라인을 이미지의 형태로 분석해서 외곽 라인이 차량이미지(C1)로 추정되는 객체를 추출한다.
딥러닝 모듈(17)은 학습정보DB(16)에 저장된 학습정보를 기반으로 차량이미지(C1)를 추출하는데, 전술한 바와 같이 학습정보는 다양한 형태의 차량이미지이고, 딥러닝 모듈(17)은 상기 학습정보를 기반으로 차량이미지에 대한 형태를 학습해서 수집영상 이미지(IM2)에서 탐색한 객체들 중 차량이미지(C2)를 추출한다.
R-CNN 방식의 딥러닝 기술은 이미 공지의 기술이므로, 여기서는 딥러닝의 이미지 확인과 검출에 대한 구체적인 동작 프로세스 설명은 생략한다.
S40; 차량이미지 윤곽 분석 단계
도 7과 같이 이미지 분석모듈(18)은 수집영상 이미지(IM3)에서 딥러닝 모듈(17)에 의해 추출된 차량이미지(C3)를 분석해서, 차량이미지(C3)의 외곽 라인은 물론 차량이미지(C3)의 내부 라인 등의 윤곽 라인 모두를 추출한다. 이를 위해서 이미지 분석모듈(18)은 파이썬(Python)과 같은 이미지 애플리케이션의 윤곽 라인(Find Contours) 기능이 활용될 수 있다.
이미지 분석모듈(18)이 추출한 윤곽 라인은 시점과 종점을 갖는 하나의 라인이거나, 두 라인이 서로 교차하며 이루는 라인이거나, 폐구간을 이루는 라인일 수 있는데, 이미지 분석모듈(18)은 윤곽 라인의 외곽지점과 접하며 윤곽 라인 전체를 덮는 면적의 4각 형상을 Prepare Data와 같이 생성한다.
S50; 번호판 이미지 추출 단계
이미지 분석모듈(18)는 전술한 프로세스에 따라 생성된 4각 형상을 분석해서 차량이미지(C3) 내에 글자를 탐색한다. 차량이미지(C3)에는 차량의 명칭 및 각종 글자들이 포함될 수 있고, 차량이미지(C3)에 표시된 글자는 이미지 분석모듈(18)의 Prepare Data 과정에 따라 4각 형상으로 표현되므로, 이미지 분석모듈(18)은 수집영상 이미지(IM3)에 표현된 4각 형상들 중 지정 개수 이상이 일정한 배열성을 갖는 대상을 검색한다.
차량번호는 지정된 형식의 배열성이 있으므로, 탐색된 4각 형상에서 차량번호의 형식에 부합하는 배열성을 갖는 4각 형상을 확인하면 해당 4각 형상의 글자를 차량번호로 확정한다.
차량번호가 확정되면, 해당 글자가 위치한 구간이 번호판이므로, 딥러닝 모듈(17)이 수집영상 이미지(IM3)에서 탐색한 객체 중 이미지 분석모듈(18)이 확정한 구간 내에 객체를 번호판 이미지로 추출한다.
S60; 블러 처리 단계
블러모듈(19)은 번호판 이미지로 추출된 구간의 픽셀을 편집해서 도 8과 같이 해당 레이어(B3)에 의해 차량번호가 노출되지 않도록 한다. 따라서 수집영상 이미지(IM1)에서 차량이미지(C1)는 블러 처리 없이 모두 노출되고, 해당 번호판 이미지는 블러 처리된다.
이외에도 딥러닝 모듈(17)이 RGB값 분석을 통해 수집영상 이미지(IM2)에서 객체를 탐색하고 해당 객체가 차량이미지(C2)인 것으로 확인되면, 블러모듈(19)은 해당 차량이미지(C2)의 전체 픽셀(33)을 지정된 RGB값으로 변경한다. 본 실시의 블러모듈(19)은 도 4의 (b)도면과 같이 차량이미지(C2)의 RGB값을 갖는 픽셀(31)의 셋(32)으로 레이어(B1)를 생성하고, 해당 레이어(B1)는 지정된 RGB값이 출력되도록 변경한다. 도 4의 (b)도면은 블러 처리를 위한 레이어(B1)가 4각 형태인 것으로 예시하였다. 도 6의 (a)도면은 본 실시의 블러 처리 기술을 적용한 이미지이다.
이외에도 딥러닝 모듈(17)이 도 5의 (a)도면과 같이 차량이미지(C2)를 셋(32) 단위가 아닌 픽셀(34) 단위로 분석하고, 해당 객체가 차량이미지(C2)인 것으로 확인되면 블러모듈(19)은 해당 차량이미지(C2)의 전체 픽셀(33)을 지정된 RGB값으로 변경한다. 본 실시의 블러모듈(19)은 도 5의 (b)도면과 같이 차량이미지(C2)의 외곽을 이루는 RGB값의 픽셀(34)을 확인하고, 해당 픽셀(34)로 둘러싸인 픽셀들을 레이어(B2)로 생성하며, 해당 레이어(B2)의 픽셀에 지정된 RGB값이 출력되도록 변경한다. 결국, 도 5의 (b)도면과 같이 생성된 레이어(B2)는 차량이미지(C2)의 형태에 대응하게 형성된다. 도 6의 (b)도면은 본 실시의 블러 처리 기술을 적용한 이미지이다.
도 9는 본 발명에 따른 MMS 수집영상 가공시스템의 다른 실시 예를 도시한 블록도이고, 도 10은 본 발명에 따른 MMS 수집영상 가공시스템의 동작 프로세스의 다른 실시 예를 도시한 플로차트이고, 도 11와 도 12는 본 발명에 따른 MMS 수집영상 가공시스템이 차량이미지의 가려진 부분을 제외하고 구간을 분류하는 모습을 도시한 도면이고, 도 13은 본 발명에 따른 MMS 수집영상 가공시스템이 촬영각에 따른 차량의 구간 비율을 개략적으로 도시한 도면이고, 도 14는 본 발명에 따른 MMS 수집영상 가공시스템이 차량이미지에서 번호판 이미지가 위치하는 유효구간을 표시한 도면이다.
도 9 내지 도 14를 참조하면, 본 발명에 따른 MMS 수집영상 가공시스템은, 학습정보DB(16)의 학습정보가 차종별 앞면구간과 뒷면구간(Z2)의 이미지를 포함한다.
또한, 딥러닝 모듈(17)은, 추출된 차량이미지(C4, C5)의 구성 색상을 분석해서 수집영상 이미지에 표시된 차량이미지(C4, C5)의 전체면 색상을 파악하고, 차량이미지(C4, C5)의 측면구간(Z3)과 앞면구간, 또는 측면구간(Z3)과 뒷면구간(Z2)을 분할해서 앞면구간 또는 뒷면구간(Z2)의 형태를 바탕으로 딥러닝을 통해 차량이미지(C4, C5)의 차종을 확인하되, 측면구간(Z3)은 차량이미지(C4, C5)에서 하방 돌출한 둘 이상의 바퀴 이미지(T)가 형성된 구간이며, 앞면구간 또는 뒷면구간(Z2)은 차량이미지(C4, C5)에서 측면구간(Z3)의 반대측 구간에 위치한 지정 색상의 객체이미지(L)를 기준으로 나뉜 구간이다.
또한, 이미지 분석모듈(18)은, 하기 유효구간(Z4) 내에서 글자를 탐색한다.
또한, 본 발명의 MMS 수집영상 가공시스템은, 상기 차종별 제원 정보를 저장하는 차량정보DB(21); 딥러닝 모듈(17)이 분석한 차량이미지(C4, C5)의 색상과 형태 및 분류 구간에 대응하는 차종을 확인해서 해당 차종의 제원을 차량정보DB(21)에서 검색하고, 차량이미지(C4, C5)의 측면구간과 앞면구간 또는 뒷면구간(Z2) 간의 비율과 제원 정보를 비교해서 해당 차량이미지(C4, C5)의 촬영각을 연산하며, 해당 차량이미지(C4, C5)의 번호판 이미지(C51)가 위치한 구간을 파악해서 유효구간(Z4)으로 설정하는 구간분석모듈(22);을 더 포함한다.
학습정보DB(16)에 저장된 학습정보에서 차량이미지(C4, C5) 중의 앞면구간과 뒷면구간(Z2)이 차종별로 구성된다. 즉, 차량이미지(C4, C5)를 트럭, 승용차, 버스 등으로 분류하고 더 상세하게는 차량의 모델별로 분류해서 해당 차량의 앞면구간과 뒷면구간(Z2)의 이미지를 차종별로 저장하는 것이다. 여기서 차량의 모델이란 제작회사와 차량의 모델명 등의 분류 기준을 의미한다.
이미지 분석모듈(18)은 전술한 바와 같이 일정한 배열성을 갖는 4각 형상의 검색 대상 범위가 수집영상 이미지 전체인데, 본 실시에서는 구간분석모듈(22)이 설정한 유효구간(Z4)의 범위 내로 검색 대상 범위가 한정된다. 따라서 번호판 이미지 추출을 위한 소요시간과 시스템 부하를 크게 줄일 수 있다.
차량정보DB(21)와 구간분석모듈(22)은 하기 프로세스 설명을 통해 명확히 한다.
S21; 수집영상 이미지의 구성 색상 분류 단계
전술한 바와 같이 딥러닝 모듈(17)은 수집영상 이미지의 구성 픽셀을 분석해서 RGB값을 확인하고, 이를 기반으로 수집영상 이미지에서 객체를 탐색한다.
객체 탐색은 전술한 바 있으므로, 여기서는 추가 설명을 생략한다.
S22; 지정구간 내 객체이미지 추출 단계
딥러닝 모듈(17)은 수집영상 이미지에서 차량이 통행하는 도로이미지를 추출하고, 도로이미지가 위치한 구간을 지정구간으로 설정한다.
MMS의 이동수단(예; 자동차, 사람 등)은 도로를 따라 주행하며 주변의 각종 정보를 수집한다. 그런데 도로는 차량과 보행자가 통행하므로, 수집영상 이미지에는 도로이미지를 따라 차량이미지와 보행자 이미지가 위치한다. 따라서 딥러닝 모듈(17)은 블러 처리 대상인 차량이미지를 도로이미지의 범위 내에서 검색하고 추출한다. 여기서 도로이미지는 도로의 방향과 횡폭 등에 따라 범위가 달라지므로, 딥러닝 모듈(17)은 도로의 지정된 색상, 라이다(13)가 측정한 거리값, 이동수단에 설치된 MMS의 높이 등에 맞춰서 수집영상 이미지에 도로이미지가 위치할 수 있는 범위 등을 고려하여 지정한다.
S31; 딥러닝을 통한 차량이미지 추출 단계
딥러닝 모듈(17)은 상기 지정범위에서 픽셀의 RGB값 분석을 통해 객체이미지를 탐색하고, 학습정보에 따른 딥러닝을 기반해서 상기 객체이미지들 중 차량이미지를 추출한다.
차량이미지 추출에 관한 설명은 전술한 바 있으므로 여기서는 설명을 생략한다.
참고로, 딥러닝 모듈(17)의 차량이미지 추출을 위한 기준치인 일치율을 도 11과 같이 완전한 형태의 차량이미지(C4) 추출을 위한 크기에 한정하지 않으며, 다른 객체이미지에 의해 일부가 가려진 차량이미지(C5)도 차량이미지로서 추출할 수 있는 크기인 것이 바람직하다. 따라서 딥러닝 모듈(17)은 설정된 일치율에 따라 수집영상 이미지에서 정면에 바로 보이는 차량이미지(C4)뿐만 아니라 해당 차량이미지(C4)에 의해 일부가 가려진 차량이미지(C5)도 추출할 수 있다.
물론, 딥러닝 모듈(17)은 수집영상 이미지에서 차량이미지 추출 시에 객체이미지가 지정된 일치율 미만이면, 해당 객체이미지는 차량이미지가 아닌 것으로 판단하고 추출 대상에서 제외한다.
S32; 차량이미지의 구성 색상 분석 단계
딥러닝 모듈(17)은 차량이미지(C4, C5) 추출 과정에서 확인한 객체이미지의 윤곽 라인 중 차량이미지(C4, C5) 내에 위치한 윤곽 라인을 확인해서 차량이미지(C4, C5)를 이루는 객체이미지의 구성과 객체이미지별 색상을 확인한다.
차량이미지(C4, C5)의 구성 및 색상 분석을 통해 전조등 이미지, 후미등 이미지, 방향지시등 이미지, 흡기구 이미지, 전체면유리 이미지, 도어 유리 이미지, 후면유리 이미지, 바퀴 이미지 등을 확인할 수 있다.
S33; 차량측면 구간 확인 단계
딥러닝 모듈(17)은 차량이미지(C5)의 구성 및 색상 분석을 통해 전술한 객체이미지를 확인하고, 상기 객체이미지 중 둘 이상의 바퀴 이미지를 탐색한다. 여기서 차량이미지에 앞면구간 또는 뒷면구간만 촬영된 경우에는 검은 색상의 원형 또는 타원형으로 된 둘 이상의 바퀴 이미지가 탐색되지 않고, 도시한 바와 같이 뒷면구간과 측면구간이 촬영된 경우에는 검은 색상의 타원형으로 된 둘 이상의 바퀴 이미지가 탐색된다. 또한, 측면구간만 촬영된 경우에는 검은 색상의 원형으로 된 둘 이상의 바퀴 이미지가 탐색된다. 결국, 바퀴 이미지가 미탐색되면 해당 차량이미지는 차량의 앞면 또는 뒷면이고, 타원형의 바퀴 이미지가 둘 이상 탐색되면 해당 차량이미지(C5)는 차량의 앞면 또는 뒷면이며, 원형의 바퀴 이미지가 둘 이상 탐색되면 해당 차량이미지는 차량의 측면이다.
S34; 차량의 앞면 또는 뒷면 구간 확인 단계
차량이미지(C5)에서 측면 구간이 확인되면, 차량이미지(C5)의 다른 한쪽은 앞면 구간 또는 뒷면 구간이다. 그런데 차량의 앞면에는 전조등 및 방향지시등이 배치되고 뒷면에는 후미등 및 방향지시등이 배치되며, 특히 방향지시등은 앞면 또는 뒷면의 최외곽에 위치하므로, 방향지시등을 앞면과 측면 또는 뒷면과 측면을 구분한다.
이를 응용해서 앞면구간 또는 뒷면구간(Z2)은 차량이미지(C5)에서 측면구간(Z3)의 반대측 구간에 위치한 지정 색상의 객체이미지(L)를 기준으로 나뉜 구간이다. 즉, 방향지시등의 색상인 붉은 색상을 앞면구간과 측면구간(Z3), 또는 뒷면구간(Z2)과 측면구간(Z3)의 경계점인 객체이미지(L)로 색상으로 지정하고, 딥러닝 모듈(17)은 수집영상 이미지 분석 과정에서 붉은 색상의 객체이미지(L)를 탐색하여 이를 기준으로 차량이미지(C5)의 앞면구간 또는 뒷면구간(Z2)을 확인하는 것이다. 본 실시 예에서 앞면구간과 측면구간(Z3), 또는 뒷면구간(Z2)과 측면구간(Z3)의 경계점은 도 12의 (b)도면과 같이 객체이미지(L)에서 측면구간(Z3) 측 단부이다.
S34; 차종 확인 단계
앞면구간 또는 뒷면구간(Z2)을 확인하면, 딥러닝 모듈(17)은 차량이미지(C5)의 앞면구간 또는 뒷면구간(Z2)의 이미지를 기준으로 해당하는 차종을 학습정보DB(16)에서 검색한다. 차량이미지(C5)의 앞면구간과 뒷면구간(Z2)은 차량의 촬영각과 모델명과 색상 등에 따라 이미지가 다르므로, 다양한 디자인의 이미지를 학습정보를 저장해서 딥러닝 모듈(17)이 학습을 통해 차량이미지(C5)로부터 확인한 앞면 이미지 또는 뒷면(Z2) 이미지로부터 차종을 정확히 확인할 수 있게 한다.
S35; 번호판 유효구간 확인 단계
구간분석모듈(22)은 딥러닝 모듈(17)이 분석한 차량이미지(C5)의 색상과 형태 및 분류 구간에 대응하는 차종을 추정해서 해당 차종의 제원 정보를 차량정보DB에서 검색한다. 여기서 제원 정보는 해당 차종 차량의 치수를 포함한다.
또한 구간분석모듈(22)은 차량이미지(C5)의 측면구간(Z3)과 앞면구간 또는 측면구간(Z3)과 뒷면구간(Z2) 간의 폭 길이 비율과 제원 정보를 비교해서 해당 차량이미지(C5)의 촬영각과, 상기 촬영각으로 촬영되는 번호판 이미지(C51)의 폭 길이를 연산한다.
차량(CA)은 차종에 따라 다른 제원을 가지며, 차량을 보는 시선 각도(촬영각)에 따라 차량(CA)의 뒷면구간(D1 내지 D4)과 측면구간(S1 내지 S3), 또는 앞면구간과 측면구간(S1 내지 S3) 각각의 폭 길이 비율이 달라진다. 즉, 도 13의 (a)도면 내지 (d)도면과 같이 시선 각도가 차량(CA)의 측면구간(S1 내지 S3)으로 근접할수록 뒷면구간(D1 내지 D4)의 폭 길이 대비 측면구간(S1 내지 S3)의 폭 길이가 증가하는 것이다. 이를 응용해서 구간분석모듈(22)은 해당 차종의 뒷면구간(D1 내지 D4)의 폭 길이 대비 측면구간(S1 내지 S3)의 폭 길이 비율을 시선 각도(촬영각)에 따라 연산하고, 차량이미지(C5)에서 뒷면구간(Z2)과 측면구간(Z3)의 폭 길이 비율을 연산한다.
구간분석모듈(22)은 상기 연산을 통해 차량이미지(C5)의 폭 길이 비율에 상응하는 제원 정보 기반의 폭 길이 비율을 검색해서 해당하는 촬영각을 확인한다.
또한 구간분석모듈(22)은 규격화된 폭 길이의 번호판을 상기 촬영각으로 볼 경우의 폭 길이로 연산해서 해당 번호판 이미지를 확인하고, 해당 차종의 앞면구간 또는 뒷면구간(D1 내지 D4)의 폭 길이 대비 해당 차량이미지의 앞면구간 또는 뒷면구간(Z2)의 폭 길이의 비율로 번호판 이미지의 폭 길이를 조정한다.
번호판 이미지의 크기가 연산되면, 구간분석모듈(22)은 차량이미지(C5)의 앞면구간 또는 뒷면구간(Z2)의 중심선(MY)을 기준으로 번호판 이미지의 폭 길이에 상응하는 구간을 유효구간(Z4)으로 설정한다. 따라서 이미지 분석모듈(18)은 유효구간(Z4)의 폭 길이 범위 내에 위치하는 4각 형상(C52)만을 탐색해서 일정한 배열성 여부에 따라 차량번호 여부를 결정한다.
참고로, 번호판 이미지(C51)의 배치 기준이 되는 앞면구간 또는 뒷면구간(Z2, D1 내지 D4)의 중심선(MY)은 도 13과 같이 차량(CA)에 대한 시선 각도(촬영각)에 따라 위치가 변한다. 즉, 차량(CA)에 대한 시선 각도(촬영각)가 측면구간(S1 내지 S3)으로 향할수록 중심선(MY)은 뒷면구간(D1 내지 D4)에서 편향하는 것이다. 따라서 차량이미지(C5)의 앞면구간 또는 뒷면구간(Z2)에 배치할 중심선(MY)의 위치는 해당 촬영각에 따른 좌단(d11 내지 d14)과 우단(d21 내지 d24)의 폭 길이 비율에 맞춰진다.
S41; 윤곽라인 확인 단계
이미지 분석모듈(18)은 전술한 바와 같이 차량이미지(C5)의 윤곽 분석을 통해 차량이미지(C5) 내에 위치한 객체이미지의 윤곽라인을 검출한다.
S42; 유효구간의 번호 추출 단계
이미지 분석모듈(22)은 차량이미지(C5)에서 구간분석모듈(22)이 설정한 유효범위(Z4) 내에 4각 형상(C52)을 탐색하고, 탐색된 4각 형상(C52)의 일정한 배열성 여부를 확인해서 차량번호를 추출한다. 차량번호가 추출되면 이미지 분석모듈(22)은 해당 차량번호의 위치를 기준으로 번호판 이미지(C51)의 범위를 지정해서 블러모듈(19)이 해당 범위의 번호판 이미지(C52)를 블러 처리하게 한다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
31, 33, 34; 픽셀 32; 셋
B1 내지 B3; 레이어 C1 내지 C5; 차량이미지 C51; 번호판 이미지
C52; 4각 형상 CA; 차량
D1 내지 D4; 뒷면구간 d11 내지 d14; 좌단 d21 내지 d24; 우단
IM1 내지 IM3; 수집영상 이미지 MY; 중심선
S1 내지 S3; 측면구간 Z2; 뒷면구간 Z3; 측면구간
Z4; 유효구간
B1 내지 B3; 레이어 C1 내지 C5; 차량이미지 C51; 번호판 이미지
C52; 4각 형상 CA; 차량
D1 내지 D4; 뒷면구간 d11 내지 d14; 좌단 d21 내지 d24; 우단
IM1 내지 IM3; 수집영상 이미지 MY; 중심선
S1 내지 S3; 측면구간 Z2; 뒷면구간 Z3; 측면구간
Z4; 유효구간
Claims (3)
- MMS의 카메라가 촬영한 수집영상 이미지에 GPS 위치값이 설정된 수집영상 이미지 정보를 저장하는 수집정보DB; 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장하는 학습정보DB; 상기 수집영상 이미지에 위치값을 설정하고 분류해서 수집정보DB에 수집영상 이미지 정보로 저장하는 MMS모듈; 상기 수집영상 이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하는 딥러닝 모듈; 상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하는 이미지 분석모듈; 상기 이미지 분석모듈이 추출한 번호판 이미지를 블러 처리하는 블러모듈;을 포함하는 MMS 수집영상 가공시스템에 있어서,
상기 이미지 분석모듈은, 상기 윤곽 라인 중 차량이미지를 경계하는 외곽 라인의 표시 픽셀을 추출하고, 해당 픽셀이 둘러싼 범위 내에서 글자를 탐색하는 것이고;
상기 학습정보DB의 학습정보는 차종별 앞면구간과 뒷면구간의 이미지를 포함하고;
상기 딥러닝 모듈은, 추출된 차량이미지의 구성 색상을 분석해서 차량이미지 내에 객체이미지를 파악하고, 상기 차량이미지의 측면구간과 앞면구간, 또는 측면구간과 뒷면구간을 분할해서 앞면구간 또는 뒷면구간의 형태를 바탕으로 딥러닝을 통해 차량이미지의 차종을 확인하되, 상기 측면구간은 차량이미지에서 원형 또는 타원형을 이루며 하방 돌출한 둘 이상의 바퀴 이미지가 형성된 구간이며, 상기 앞면구간 또는 뒷면구간은 차량이미지에서 측면구간의 반대측 구간에 위치한 지정 색상의 객체이미지를 기준으로 나뉜 구간이고;
상기 이미지 분석모듈은, 하기 유효구간 내에서 글자를 탐색하며;
상기 차종별 제원 정보를 저장하는 차량정보DB; 및
상기 딥러닝 모듈이 확인한 차종의 제원 정보를 차량정보DB에서 검색하고, 상기 차량이미지의 측면구간과 앞면구간 또는 측면구간과 뒷면구간 간의 길이 비율과 제원 정보를 비교해서 해당 차량이미지의 촬영각과, 상기 촬영각으로 촬영되는 번호판 이미지의 폭 길이를 연산하고, 상기 차량이미지의 앞면구간 또는 뒷면구간의 중심선을 기준으로 폭 길이에 상응하는 구간을 유효구간으로 설정하되, 상기 차종 앞면구간 또는 뒷면구간의 폭 길이 대비 해당 차량이미지의 앞면구간 또는 뒷면구간의 폭 길이의 비율로 번호판 이미지의 폭 길이를 조정하는 구간분석모듈;
을 더 포함하는 것을 특징으로 하는 지정이미지의 블러 처리 기능을 갖춘 MMS 수집영상 가공시스템.
- 삭제
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200094389A KR102204051B1 (ko) | 2020-07-29 | 2020-07-29 | 지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200094389A KR102204051B1 (ko) | 2020-07-29 | 2020-07-29 | 지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102204051B1 true KR102204051B1 (ko) | 2021-01-18 |
Family
ID=74236895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200094389A KR102204051B1 (ko) | 2020-07-29 | 2020-07-29 | 지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102204051B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102356162B1 (ko) * | 2021-06-11 | 2022-02-08 | 주식회사 새한지앤아이 | 특정구역의 수집 정보에 대한 레이어 자동변환 기능의 모바일 매핑 시스템 |
KR102526143B1 (ko) * | 2022-11-21 | 2023-04-27 | 한국공간정보(주) | Mms 수집영상에서 지정이미지의 블러 처리 기능을 갖춘 정밀도로지도 구축시스템 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886549A (zh) * | 2012-12-21 | 2014-06-25 | 北京齐尔布莱特科技有限公司 | 自动对图片中的车牌进行马赛克处理的方法及装置 |
KR101727487B1 (ko) * | 2015-11-18 | 2017-04-17 | 숭실대학교산학협력단 | 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법 |
KR20180024757A (ko) * | 2016-08-31 | 2018-03-08 | 아진산업(주) | 다시점 블랙박스 카메라 영상을 이용한 도로교통정보 제공시스템 |
KR101979654B1 (ko) * | 2018-01-15 | 2019-05-17 | 주식회사 비엔인더스트리 | 차량번호 인식 장치 및 그 방법 |
KR20190095571A (ko) | 2018-01-19 | 2019-08-16 | 한국기술교육대학교 산학협력단 | 차량번호판 자동인식 방법 |
-
2020
- 2020-07-29 KR KR1020200094389A patent/KR102204051B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886549A (zh) * | 2012-12-21 | 2014-06-25 | 北京齐尔布莱特科技有限公司 | 自动对图片中的车牌进行马赛克处理的方法及装置 |
KR101727487B1 (ko) * | 2015-11-18 | 2017-04-17 | 숭실대학교산학협력단 | 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법 |
KR20180024757A (ko) * | 2016-08-31 | 2018-03-08 | 아진산업(주) | 다시점 블랙박스 카메라 영상을 이용한 도로교통정보 제공시스템 |
KR101979654B1 (ko) * | 2018-01-15 | 2019-05-17 | 주식회사 비엔인더스트리 | 차량번호 인식 장치 및 그 방법 |
KR20190095571A (ko) | 2018-01-19 | 2019-08-16 | 한국기술교육대학교 산학협력단 | 차량번호판 자동인식 방법 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102356162B1 (ko) * | 2021-06-11 | 2022-02-08 | 주식회사 새한지앤아이 | 특정구역의 수집 정보에 대한 레이어 자동변환 기능의 모바일 매핑 시스템 |
KR102526143B1 (ko) * | 2022-11-21 | 2023-04-27 | 한국공간정보(주) | Mms 수집영상에서 지정이미지의 블러 처리 기능을 갖춘 정밀도로지도 구축시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102204430B1 (ko) | 현장위치별 수치좌표를 비교해서 mms 수치지도 정보의 오류를 자동 검색하는 수치데이터 시스템 | |
CN106652468B (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
US9384401B2 (en) | Method for fog detection | |
KR102204431B1 (ko) | Mms 전용 수치데이터의 정밀성 추가를 위한 데이터 보정시스템 | |
KR102204037B1 (ko) | 기준객체와 지정 랜드마크 간의 기준 삼각망 생성을 통한 mms의 수집 위치 보정시스템 | |
Huang et al. | On-board vision system for lane recognition and front-vehicle detection to enhance driver's awareness | |
US8045761B2 (en) | Detection of environmental conditions in a sequence of images | |
EP3336764A1 (en) | Vehicle monitoring method and apparatus, processor, and image acquisition device | |
Nemade | Automatic traffic surveillance using video tracking | |
US10496891B2 (en) | Driver assistance system and method for object detection and notification | |
CN108197523B (zh) | 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统 | |
CN105426861A (zh) | 车道线确定方法及装置 | |
CN104778444A (zh) | 道路场景下车辆图像的表观特征分析方法 | |
KR102204051B1 (ko) | 지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템 | |
CN109241831B (zh) | 一种基于图像分析的夜间雾天能见度分类方法 | |
CN106709412B (zh) | 交通标志检测方法和装置 | |
KR101756848B1 (ko) | 불법 주정차 관리 시스템 | |
CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
KR101134857B1 (ko) | 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 | |
CN112001208A (zh) | 用于车辆盲区的目标检测方法、装置和电子设备 | |
CN109003286A (zh) | 基于深度学习和激光雷达的道路分割方法 | |
KR102331217B1 (ko) | 구간별 현장정보의 실시간 수집을 통한 mms 기반의 수치지도 업데이팅 시스템 | |
CN110276318A (zh) | 夜间公路下雨识别方法、装置、计算机设备及存储介质 | |
Li et al. | A low-cost and fast vehicle detection algorithm with a monocular camera for adaptive driving beam systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |