KR102222109B1 - 불법 주정차 단속 이미지 통합 관리 시스템 - Google Patents
불법 주정차 단속 이미지 통합 관리 시스템 Download PDFInfo
- Publication number
- KR102222109B1 KR102222109B1 KR1020200136801A KR20200136801A KR102222109B1 KR 102222109 B1 KR102222109 B1 KR 102222109B1 KR 1020200136801 A KR1020200136801 A KR 1020200136801A KR 20200136801 A KR20200136801 A KR 20200136801A KR 102222109 B1 KR102222109 B1 KR 102222109B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vehicle
- enforcement information
- enforcement
- information
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title description 8
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000012795 verification Methods 0.000 claims abstract description 9
- 230000010365 information processing Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 35
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 4
- 238000012958 reprocessing Methods 0.000 claims description 3
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G06K2209/15—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명에 따른 불법 주정차 단속 이미지 통합 관리 시스템은, 복수의 불법 주정차 단속 시스템에서 장소, 시간, 유형, 차량번호, 차량구분, 순번, 증거 이미지, 보호구역 형태를 포함한 초기 단속정보 및 확정 단속정보를 불법주정차 단속자료 통합 데이터베이스에 업로드하여 저장하는 업로드부; 상기 통합 데이터베이스에 저장된 초기단속 정보와 확정단속 정보에서 동일한 차량번호가 존재하면 불법 주정차 차량으로 판정하고, 확정단속 정보에서 동일한 차량번호가 2개 이상이면 중복으로 판정하는 판별부; 상기 통합 데이터베이스에 저장된 확정단속 정보에서 증거 이미지를 재인식하여 확정단속된 차량번호와 재인식된 차량번호가 동일한지를 판별하는 차량번호 검증부; 상기 통합 데이터베이스에 저장된 단속정보에서 증거 이미지 속 인물 객체와 단속차량을 제외한 다른 차량의 번호판을 식별하여 인물객체와 다른 차량의 번호판을 마스킹처리하는 이미지 처리부 및 상기 단속정보를 과태료 부과 형식으로 재가공하는 단속정보 처리부를 포함한다.
Description
본 발명은 불법 주정차 단속 이미지 통합 관리 시스템에 관한 것으로서, 상세하게는 초기 단속정보 및 확정 단속정보에서 부분 이미지 처리기술을 통해 차량번호를 재인식하고, 이미지 속 인물 객체와 차량 등 주변 객체를 구분하여 개인정보와 관련된 대상을 마스킹 처리하는 기술에 관한 것이다.
일반적으로 불법주정차 단속 시스템에서 불법 주정차 차량을 단속할 때, 차량당 1차로 차량번호인식 사진과 주변사진, 2차로 차량번호인식 사진과 주변사진, 총4개의 증거 이미지를 생성한다.
생성된 증거 이미지는 관리자가 1차로 차량번호가 맞는지 확인하여 인식오류일 경우 수동으로 수정하고, 2차로 개인정보보호 및 사생활 침해 소지가 있는 주변 인물 및 차량번호에 대해 수동으로 부분이미지 처리 작업 후 최종 증거 이미지를 생성한다.
그러나 관리자는 수많은 증거 이미지의 확인을 수작업으로 처리해야 하므로 단순 반복 작업과 과도한 물량으로 작업 피로도가 증가하여 확인에 의한 차량번호 인식률은 수준 이하에 머물고 있어서 인식 오류로 인한 민원이 끊이지 않는 문제점이 있다.
상기의 문제를 해결하기 위하여 본 발명은, 초기단속 정보와 최종단속 정보를 이용하여 인식오류나 중복여부를 판별하고 과태료 고지를 위한 형식으로 가공하는 시스템을 제공한다.
본 발명에 따른 불법 주정차 단속 이미지 통합 관리 시스템은, 복수의 불법 주정차 단속 시스템에서 장소, 시간, 유형, 차량번호, 차량구분, 순번, 증거 이미지, 보호구역 형태를 포함한 초기 단속정보 및 확정 단속정보를 불법주정차 단속자료 통합 데이터베이스에 업로드하여 저장하는 업로드부; 상기 통합 데이터베이스에 저장된 초기단속 정보와 확정단속 정보에서 동일한 차량번호가 존재하면 불법 주정차 차량으로 판정하고, 확정단속 정보에서 동일한 차량번호가 2개 이상이면 중복으로 판정하는 판별부; 상기 통합 데이터베이스에 저장된 확정단속 정보에서 증거 이미지를 재인식하여 확정단속된 차량번호와 재인식된 차량번호가 동일한지를 판별하는 차량번호 검증부; 상기 통합 데이터베이스에 저장된 단속정보에서 증거 이미지 속 인물 객체와 단속차량을 제외한 다른 차량의 번호판을 식별하여 인물객체와 다른 차량의 번호판을 마스킹처리하는 이미지 처리부 및 상기 단속정보를 과태료 부과 형식으로 재가공하는 단속정보 처리부를 포함하되, 차량번호 재인식 시 명암대비를 높이기 위하여 증거 이미지에서 이미지 픽셀들의 명암값을 유사군으로 그룹핑하여 그룹별 히스토그램 평활화처리하고, 각 그룹에서 주파수 성분을 추출하여 동일한 주파수 성분을 포함한 그룹끼리 연결하여 주파수-공간 패턴을 생성하는 것을 특징으로 한다.
상기 업로드부는, 복수의 불법 주정차 단속 시스템에서 초기 단속정보 및 확정 단속정보를 네트워크를 통해 통합 데이터베이스로 일괄적으로 전송하거나, 실시간 전송하거나, 저장장치를 통해 상기 통합 데이터베이스에 저장되도록 하는 것을 특징으로 한다.
상기 이미지 처리부에서의 객체 식별은, 원본 이미지를 동일한 크기의 그리드로 나누고 각 그리드에 대하여 중앙을 중심으로 미리 정의된 형태로 지정된 경계박스의 개수를 예측하고 신뢰도를 계산하여, 배경보다 높은 객체 신뢰도를 가진 위치를 선택하여 객체 카테고리를 파악하는 것을 특징으로 한다.
상기 이미지 처리부에서의 마스킹 처리는, 그룹핑된 픽셀별단위로 RGB의 색상별 평균 임계값에 전체 픽셀의 RGB임계값을 더하여 복원이 불가능하도록 하는 것을 특징으로 한다.
본 발명은 최신 딥러닝 기술을 이용하여 차량번호를 재인식함으로써 인식오류 수정 작업을 수작업으로 해오던 기존의 방식에서 탈피하여 자동화시키고, 수작업으로 모자이크하던 작업도 부분이미지 처리기술을 이용하여 자동화시킴으로써 작업의 능률과 속도가 증대된다.
또한, 다수의 불법주정차 단속 시스템에 의해 관리되던 것을 통합된 하나의 시스템에서 관리함으로써, 지자체 전체 현장에 대한 통계작업이 가능해지고 현장 전체에 대한 관리가 용이해지며 과태료 고지서를 바로 발행하여 시간과 수고를 줄이는 현저한 효과가 있다.
도 1은 본 발명의 이미지 통합 관리 시스템을 도시한 블록도이다.
도 2는 본 발명에 따른 이미지 업로드 시스템을 도시한 참고도이다.
도 3은 기존의 방법과 본 발명에 따른 히스토그램 평활화를 통한 결과 이미지의 비교 예시도이다.
도 4는 본 발명에 따른 모자이크 처리 시스템을 도시한 블록도이다.
도 5는 본 발명의 이미지 통합 관리 방법을 도시한 흐름도이다.
도 6은 본 발명에 따른 가중치 데이터 생성 방법을 도시한 흐름도이다.
도 7은 모자이크 처리 및 복원 방법을 도시한 흐름도이다.
도 2는 본 발명에 따른 이미지 업로드 시스템을 도시한 참고도이다.
도 3은 기존의 방법과 본 발명에 따른 히스토그램 평활화를 통한 결과 이미지의 비교 예시도이다.
도 4는 본 발명에 따른 모자이크 처리 시스템을 도시한 블록도이다.
도 5는 본 발명의 이미지 통합 관리 방법을 도시한 흐름도이다.
도 6은 본 발명에 따른 가중치 데이터 생성 방법을 도시한 흐름도이다.
도 7은 모자이크 처리 및 복원 방법을 도시한 흐름도이다.
이하, 본 발명의 실시를 위한 구체적인 실시예를 도면을 참고하여 설명한다. 본 발명의 실시예는 하나의 발명을 설명하기 위한 것으로서 권리범위는 예시된 실시예에 한정되지 아니하고, 예시된 도면은 발명의 명확성을 위하여 핵심적인 내용만 확대 도시하고 부수적인 것을 생략하였으므로 도면에 한정하여 해석하여서는 아니 된다.
도 1은 본 발명의 이미지 통합 관리 시스템을 도시한 블록도로서, 감시 영역 단속 시스템(10), 단속정보 업로드부(20), 증거 이미지 및 단속정보 통합 데이터베이스(30), 인식오류나 중복여부를 판정하는 판별부(40), 개인정보 보호대상을 자동 마스킹 처리하고 인식오류 차량을 분리하는 이미지 처리부(50) 및 재인식된 차량번호가 동일한지 판별하는 차량번호 검증부(60를 포함한다.
상기 이미지 통합 관리 시스템은 단속정보를 과태료 부과 형식으로 재가공하는 단속정보 처리부를 더 포함할 수 있다.
상기 단속정보는 장소, 시간, 유형, 차량번호, 차량구분, 순번, 증거 이미지, 보호구역 형태 등을 포함한 초기 단속정보 및 확정 단속정보이다. 초기 단속정보는 차량 소유자에게 단속정보를 알려주기 위하여 활용할 수 있고, 소정 시간 경과 후 불법 상태가 유지되는 경우에는 확정 단속정보로 생성된다.
상기 감시 영역 단속 시스템(10)은 다수의 고정식 또는 이동식 불법 주정차 단속 시스템을 포함하며, 불법 주정차 증거 이미지 및 단속정보를 촬상한다. 촬상영역에는 교차로, 주정차 단속지역, 자동차 전용도로 및 고속도로 등 교통 단속지역이 포함될 수 있다.
상기 단속정보 업로드부(20)는 상기 단속 시스템에서 촬상된 초기 단속정보 및 확정 단속정보를 상기 저장부로 전송하거나 전달한다.
전송방법 중 하나는 도 2A에서 보는 바와 같이, 상기 저장부의 지정된 서버에 클라이언트 모듈을 탑재하고 상기 초기 단속정보 및 확정 단속정보를 네트워크를 통해 전송하는 방법이다.
전송방법 중 다른 하나는 도 2B에서 보는 바와 같이, 다수의 불법 주정차 단속 시스템에서 생성된 초기 단속정보 및 확정 단속정보를 네트워크를 통해 패킷 형태로 상기 통합 데이터베이스로 실시간 전송하는 방법이다.
또 다른 전달방법은 도 2C에서 보는 바와 같이, 초기 단속정보 및 확정 단속정보가 저장된 USB와 같은 저장장치를 상기 통합 데이터베이스 관리자에게 전달하여 상기 통합 데이터베이스에 저장되도록 하는 방법이다.
상기 초기 단속정보 및 확정 단속정보 통합 데이터베이스(30)는 통합서버에 속한 저장장치로서 업로드된 데이터베이스를 중복 없이 구조화하고 저장하여 검색과 갱신을 효율적으로 수행한다.
이미지 통합 관리 시스템의 통합서버에는 다수의 촬상장치에서 촬상된 증거 이미지를 수신 또는 중계하고 이미지를 자동 모자이크 처리할 수 있는 프로그램이 탑재될 수 있고, 복수 개의 촬상장치에서 이미지 자동 모자이크 처리장치로 증거 이미지가 직접적으로 제공되도록 제어할 수 있다. 또한 통합서버는 이미지 자동 모자이크 처리장치에서 이미지 처리된 모자이크 이미지를 수신 또는 중계하여 과태료 통지문서 발송장치로 제공할 수 있고, 이미지 자동 모자이크 처리장치에서 과태료 통지문서 발송장치로 모자이크 이미지가 직접 제공되도록 제어할 수 있다.
상기 인식오류나 중복여부를 판정하는 판별부(40)는 통합 데이터베이스에 저장된 초기 단속정보 및 확정 단속정보로부터 부분 이미지 처리기술을 통해 차량번호를 재인식한다.
본 발명에 따른 차량번호 재인식 기술은, 하나의 이미지에서 하나의 임계값(threshold)을 설정하여 처리하지 않고, 명암대비를 높이기 위하여 증거 이미지에서 이미지 픽셀들의 명암값을 유사군으로 그룹핑하여 그룹별 히스토그램 평활화 처리한다.
도 3은 이미지 재인식의 예시도로서, 종래의 방법은 원본인 도 3A 전체 이미지에서 하나의 임계값을 설정하여 이진화하는 것으로 결과 이미지가 도 3B이다.
본 발명에 따른 차량번호 재인식 기술은, 명암대비를 높이기 위하여 원본인 도 3A를 도 3C와 같이 이미지 픽셀들의 명암값을 유사군(1~7그룹)으로 그룹핑하여 그룹별 히스토그램 평활화 처리한 것이 도 3D이다. 두 방법의 결과 이미지인 도 3B와 도 3D를 비교하면 본 발명에 따른 도 3D가 문자를 인식하는 데 훨씬 효과적인 방법임을 알 수 있다.
본 발명은 일정한 크기로 그룹핑한 이미지의 공간영역을 주파수영역으로 변환하여 주파수-공간 패턴을 생성한다. 주파수-공간 패턴은 공간정보와 주파수정보가 동시에 포함되는 패턴이다. 주파수 영역으로 변환하는 연산에는 DCT를 사용한다. 이미지에 DCT를 적용하면 고주파성분보다는 저주파성분에 집중된다. 에지를 제외한 부분에서는 화소의 밝기값이 급격하게 변화되지 않기 때문이다.
따라서 양자화 처리를 수행하면 저주파 성분에 비해 상대적으로 크기가 작은 고주파 성분을 제거할 수 있다. 데이터가 감소하면 NPU의 메모리 접근시간을 줄일 수 있다는 장점이 있다. 또한 양자화의 강도를 조정하면 다양한 주파수-공간패턴을 구성할 수 있으므로 CNN 이미지인식의 분야에서 사용하는 학습데이터를 인위적으로 생성할 수도 있다.
증거 이미지는 공간정보와 주파수정보를 포함하고 있다. 공간정보는 화소 단위의 밝기값이고, 주파수정보는 밝기값의 변화량이다. 공간정보로 주어지는 증거 이미지로부터 주파수 정보를 추출하기 위해서는 푸리에변환을 적용하는 방법이 있다. 그러나 증거 이미지를 푸리에 변환하면 공간정보는 사라지고 주파수 정보만 남게 된다.
그룹 내에는 이미지의 특성에 직접적으로 관계되지 않는 크기가 작은 고주파성분이 존재한다. 이러한 고주파 성분을 제거함으로써 데이터양을 축소시키기 위해 양자화를 수행한다.
그룹 단위 주파수 성분에서 직류 성분을 포함한 동일한 주파수 성분을 동일한 블록으로 연결하여 주파수-공간 패턴을 생성하여 기계학습의 CNN 알고리즘에 적용한다.
상기 통합 데이터베이스로부터 사용자에 의해 검색된 증거 이미지 속 차량번호와 이미 축적된 단속정보 및 이미지 속의 차량번호를 비교분석하여 인식오류나 중복여부를 확인하고 수정사항이 있으면 상기 시스템에 의해 자동으로 수정한다. 기계학습을 통하여 생성된 이미지와 이미 축적된 단속정보 이미지를 비교분석하여 인식오류나 중복여부를 확인한다.
생성된 이미지 내의 차량번호를 재인식하여 기존 데이터와 비교하는 부분은 딥러닝 기술을 이용한다. 본 발명에서의 딥러닝 기술은 학습된 가중치 비교로 객체를 인식하고 번호를 인식하는 기술이다. 수만 장의 텍스트 이미지와 자동차 번호판을 선별 학습하여 추출된 최적의 유사성 가중치를 가지고 증거 이미지에서 자동차 번호를 추출하고 기존 다수의 불법주정차 단속 시스템에서 인식한 차량번호와 비교하여 차량번호가 다를 시 화면에 표시하고 자동으로 차량번호를 수정할 수 있다.
통합된 데이터베이스 저장부에서 사용자의 요구조건에 상응하여 자동으로 중복된 차량번호 검색이 가능하고, 검색된 단속정보 및 증거 이미지에 대한 선택적 업로드 또한 자동으로 가능하게 하는 것이 바람직하다. 현재의 최신 딥러닝 기술은 수만 장의 사람의 몸체 및 자동차 번호판을 기계학습하여 최적의 유사성 가중치를 뽑아내고 수집된 증거 이미지에서 사람 및 자동 번호판을 정확하게 추출하는 수준에 이르렀다.
본 발명에서 객체 식별은, 이미지 내에서 테두리 상자(bounding box)에 의해 구분된 대상 클래스의 클래스 확률(class probability)을 단일회귀문제(single regression problem)로 간주하여, 이미지를 한 번 보는 것으로 객체(object)의 종류와 위치를 추측한다. 즉, 하나의 컨볼루션 네트워크(convolutional network)가 동시에 여러 개의 테두리 상자를 예측하고, 각 테두리 상자에 의해 구분된 클래스에 대해 클래스 확률(class probabilities)을 예측하는 것이다.
하나의 이미지 내에 포함된 복수의 객체를 탐지하는 방법에는 단일 단계 방식과 2단계 방식이 있다. 2단계 방식은 높은 정확도를 제공하지만 단일 단계 방식보다는 처리 속도가 느리다. 2단계 방식은 원본 이미지를 동일한 크기의 그리드로 나누고 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태로 지정된 경계박스의 개수를 예측하고 이를 기반으로 신뢰도를 계산한다. 이미지에 객체가 포함되어 있는지, 배경만 단독으로 있는지에 대한 여부가 포함되며, 높은 객체 신뢰도를 가진 위치를 선택해 객체 카테고리를 파악한다. 미리 정의된 형태를 가진 경계박스 수를 앵커 박스(anchor boxes)라고 하는데, 앵커 박스는 
-평균 알고리즘(
-means algorithm)에 의한 데이터로부터 생성된다. 
-평균 알고리즘은 주어진 데이터를 
개의 클러스터로 묶는 알고리즘으로서, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다. 각각의 앵커는 각기 다른 크기와 형태의 객체를 탐지하도록 설계되어 있다.
개인정보 보호대상을 자동 마스킹 처리하고 인식오류 차량을 분리하는 상기 이미지 처리부(50는 통합된 데이터베이스 저장부에서 추출된 이미지 속 인물 객체와 차량 등 주변객체에서 개인정보와 관련된 대상을 딥러닝을 활용한 마스킹 기술 중 하나인 모자이크 기술로 처리한다. 즉, 그룹핑된 픽셀별단위로 RGB의 색상별 평균 임계값에 전체 픽셀의 RGB임계값을 더하여 복원이 불가능하도록 한다.
도 4는 모자이크 처리부를 도시한 블록도로서, 기계학습부(100), 모자이크 처리부(200), 저장부(300), 추출부(400) 및 이미지 처리부(500)를 포함하고, 상기 이미지 처리부는 다시 색상 변환부(510), 블록 이동부(520) 및 복원부(530)을 포함한다.
상기 이미지 자동 모자이크 처리부는 촬상된 하나 이상의 증거 이미지에 노출된 개인정보 보호대상을 자동으로 모자이크 처리하여 보호대상의 개인정보를 보호한다.
상기 기계 학습부(100)는 복수 개의 학습 이미지로부터 컨볼루션(convolution) 특징들을 추출하고, 컨볼루션 특징들 간의 유사성을 기계 학습하여 식별대상과 관련된 가중치 데이터를 분류한다. 예를 들어, 복수 개의 학습 이미지는 감시영역의 환경과 관련된 이미지이고 딥러닝 기계학습을 위해 사용된다.
식별대상에는 사람, 동물, 차량, 차량번호, 상호, 상표 및 개인 소지품 중 하나 이상이 포함될 수 있다.
저장부(300)는 복수 개의 학습 이미지로부터 식별대상과 관련된 특징들 사이의 유사성을 학습하여 분류된 가중치 데이터를 저장한다.
추출부(400)는 가중치 데이터와 증거 이미지를 비교하여 증거 이미지로부터 증거대상과 개인정보 보호대상을 포함하는 식별대상을 추출한다. 예를 들어, 추출부는 기계 학습부와 같은 동작 방법으로 특징들 사이의 유사성을 기계 학습하여 식별대상을 추출한다.
이미지 처리부(500)는 개인정보 보호대상을 모자이크 처리하여 모자이크 이미지를 생성하며, 색상 변환부(510), 블록 이동부(520) 및 복원부(530)를 포함한다.
색상 변환부(510)는 개인정보 보호대상에 설정된 개수의 블록을 포함하는 윈도우 영역을 할당하고, 윈도우 영역에 각각의 픽셀별로 설정된 상수값을 적용하여 픽셀들의 RGB 색상을 변환한다. 색상 변환부는 개인정보 보호대상에 따라 
블록을 포함하는 윈도우 영역을 할당할 수 있고, 다양한 개수의 블록을 포함하여 윈도우 영역을 할당할 수 있다.
색상 변환부(510)는 윈도우 영역에 모든 픽셀의 RGB 색상값을 합산하고, 합산된 색상값을 블록의 수로 나누어 상수값을 연산할 수 있다. 또한 색상 변환부는 윈도우 영역에 각각의 픽셀별로 상수값을 합산하여 픽셀들의 RGB 색상을 변환할 수 있다.
블록 이동부(520)는 블록 단위로 설정된 위치 기준값을 적용하여 RGB 색상이 변환된 픽셀들을 교차 이동시킨다. 블록 이동부는 블록 단위로 픽셀들이 좌우, 상하 및 대각선 방향으로 교차되도록 기준값을 적용하여 픽셀들의 위치를 변환한다.
복원부(530)는 통합서버의 통합 데이터베이스로 모자이크 이미지가 전송되면, 모자이크 이미지의 블록과 RGB 색상을 역산하여 증거 이미지로 복원한다. 한 예로, 복원부는 상수값과 기준값을 참조하여 모자이크 이미지의 블록과 RGB 색상을 역산할 수 있다.
저장부(300)는 모자이크 이미지를 삭제하고, 복원된 증거 이미지를 저장하여 저장공간을 효율적으로 관리할 수 있다. 저장부는 이미지 자동 모자이크 처리장치(200)에 포함되지만 통합서버의 원격 스토리지 형태로 포함될 수도 있다.
도 5는 본 발명의 불법 주정차 단속 이미지 통합 관리 방법을 도시한 흐름도로서, 고정식 또는 이동식 불법 주정차 단속 시스템에서 추출된 초기 단속정보 및 확정 단속정보를 통합 데이터베이스에 저장하는 단계, 상기 통합 데이터베이스에 저장된 초기 단속정보 및 확정 단속정보로부터 부분 이미지 처리기술을 통해 차량번호를 인식하는 단계, 상기 초기 단속정보 및 확정 단속정보와 기 축적된 단속정보 및 이미지를 딥러닝 학습을 통해 비교분석하여 인식오류나 중복여부를 확인하는 단계, 상기의 확인과정에서 이미지 속 인물 객체와 차량 등 주변객체를 구분하여 개인정보와 관련된 대상을 기계학습을 활용한 모자이크 처리기술로 마스킹 처리하고, 차량번호 재인식을 통해 인식오류 차량을 분리하는 단계 및 상기 처리부에서 변환된 증거 이미지를 검증하는 단계를 포함한다.
복수의 불법 주정차 단속 시스템에서 추출된 초기 단속정보 및 확정 단속정보를 통합 데이터베이스에 저장하는 방법은, 중앙 서버에 클라이언트 모듈을 탑재하여 상기 초기 단속정보 및 확정 단속정보를 네트워크를 통해 통합 데이터베이스로 전송하는 단계, 다수의 불법 주정차 단속 시스템에서 생성된 초기 단속정보 및 확정 단속정보를 네트워크를 통해 패킷 형태로 상기 통합 데이터베이스로 실시간 전송하는 단계 및 초기 단속정보 및 확정 단속정보가 저장된 저장장치를 상기 통합 데이터베이스 관리자에게 전달하여 상기 통합 데이터베이스에 저장되도록 하는 단계를 포함한다.
도 6은 가중치 데이터 생성 방법을 도시한 흐름도로서, 가중 데이터 생성방법은 기계 학습부(100)와 저장부(300)를 통하여 동작한다.
가중 데이터 생성방법은 복수 개의 학습 이미지를 준비하고, 복수 개의 학습 이미지로부터 컨볼루션 특징들을 추출하며, 컨볼루션 특징들 간의 유사성을 기계 학습하여 식별대상과 관련된 가중치 데이터를 분류하고, 가중치 데이터를 저장한다.
도 7은 모자이크 처리 및 복원 방법을 도시한 흐름도로서, 이미지 자동 모자이크 처리방법은 추출부(400) 및 이미지 처리부(500)를 통하여 동작한다.
이미지 자동 모자이크 처리방법은 통합서버의 통합 데이터베이스로부터 증거 이미지를 수신하고, 추출부(400)에서 가중치 데이터와 증거 이미지를 비교하여 증거 이미지로부터 증거대상과 개인정보 보호대상을 포함하는 식별대상을 추출하며, 이미지 처리부(500)에서 개인정보 보호대상을 모자이크 처리하여 모자이크 이미지를 생성한다.
모자이크 이미지를 생성한 후, 통합서버의 통합 데이터베이스로 모자이크 이미지를 전송하고, 전송이 완료되면 이미지 처리부(500)에서 모자이크 이미지를 증거 이미지로 복원한다.
모자이크 이미지 생성 방법은 이미지 처리부(500)의 색상 변환부(510) 및 블록 이동부(520)를 통하여 동작한다.
모자이크 이미지 생성 방법은 개인정보 보호대상에 설정된 개수의 블록을 포함하는 윈도우 영역을 할당하며, 윈도우 영역에 각각의 픽셀별로 설정된 상수값을 적용하여 픽셀의 RGB 색상을 변환하고, 블록 단위로 설정된 위치 기준값을 적용하여 RGB 색상이 변환된 픽셀들을 교차 이동시킨다.
10: 단속 시스템 20: 업로드부
30: 통합 데이터베이스 40: 확인부
50: 처리부 60: 검증부
100: 기계학습부 200: 모자이크 처리장치
300: 저장부 400: 추출부
500: 이미지 처리부 510: 색상 변환부
520: 블록 이동부 530: 복원부
30: 통합 데이터베이스 40: 확인부
50: 처리부 60: 검증부
100: 기계학습부 200: 모자이크 처리장치
300: 저장부 400: 추출부
500: 이미지 처리부 510: 색상 변환부
520: 블록 이동부 530: 복원부
Claims (5)
- 복수의 불법 주정차 단속 시스템에서 장소, 시간, 유형, 차량번호, 차량구분, 순번, 증거 이미지, 보호구역 형태를 포함한 초기 단속정보 및 확정 단속정보를 불법주정차 단속자료 통합 데이터베이스에 업로드하여 저장하는 업로드부;
상기 통합 데이터베이스에 저장된 초기단속 정보와 확정단속 정보에서 동일한 차량번호가 존재하면 불법 주정차 차량으로 판정하고, 확정단속 정보에서 동일한 차량번호가 2개 이상이면 중복으로 판정하는 판별부;
상기 통합 데이터베이스에 저장된 확정단속 정보에서 증거 이미지를 재인식하여 확정단속된 차량번호와 재인식된 차량번호가 동일한지를 판별하는 차량번호 검증부;
상기 통합 데이터베이스에 저장된 단속정보에서 증거 이미지 속 인물 객체와 단속차량을 제외한 다른 차량의 번호판을 식별하여 인물객체와 다른 차량의 번호판을 마스킹처리하는 이미지 처리부 및
상기 단속정보를 과태료 부과 형식으로 재가공하는 단속정보 처리부를 포함하되,
상기 이미지 처리부에서,
차량번호 재인식 시 명암대비를 높이기 위하여 증거 이미지에서 이미지 픽셀들의 명암값을 유사군으로 그룹핑하여 그룹별 히스토그램 평활화처리하고,
각 그룹에서 주파수 성분을 추출하여 동일한 주파수 성분을 포함한 그룹끼리 연결하여 주파수정보와 공간정보가 동시에 포함된 주파수-공간 패턴을 생성하고,
상기 공간정보는 화소 단위 밝기값이고 상기 주파수정보는 밝기값의 변화량으로서, 상기 주파수정보에서 고주파 성분을 제거하기 위하여 양자화 처리를 수행하고,
객체 식별은 원본 이미지를 동일한 크기의 그리드로 나누고 각 그리드에 대하여 중앙을 중심으로 미리 정의된 형태로 지정된 경계박스의 개수를 예측하고 신뢰도를 계산하여, 배경보다 높은 객체 신뢰도를 가진 위치를 선택하여 객체 카테고리를 파악하고,
마스킹 처리는 그룹핑된 픽셀별단위로 RGB의 색상별 평균 임계값에 전체 픽셀의 RGB임계값을 더하여 색상을 변환하고, 블록 단위로 설정된 위치 기준값을 적용하여 RGB 색상이 변환된 픽셀들을 교차 이동하여 복원이 불가능하도록 하는 것을 특징으로 하는 불법 주정차 단속 이미지 통합 관리 시스템. - 제1항에 있어서,
상기 업로드부는, 복수의 불법 주정차 단속 시스템에서 초기 단속정보 및 확정 단속정보를 네트워크를 통해 일괄적으로 통합 데이터베이스로 전송하거나 실시간 전송하는 것을 특징으로 하는 불법 주정차 단속 이미지 통합 관리 시스템. - 제1항에 있어서,
상기 업로드부는, 상기 초기 단속정보 및 확정 단속정보가 저장된 저장장치를 통해 상기 통합 데이터베이스에 저장되도록 하는 것을 특징으로 하는 불법 주정차 단속 이미지 통합 관리 시스템. - 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200006718 | 2020-01-17 | ||
| KR20200006718 | 2020-01-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102222109B1 true KR102222109B1 (ko) | 2021-03-03 |
Family
ID=75151147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200136801A KR102222109B1 (ko) | 2020-01-17 | 2020-10-21 | 불법 주정차 단속 이미지 통합 관리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102222109B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102371391B1 (ko) * | 2021-04-07 | 2022-03-08 | (주)아이엠시티 | Ai 활용 차량 번호판 인식 시스템 및 이를 위한 동작 방법 |
| KR102541264B1 (ko) * | 2022-06-10 | 2023-06-13 | 주식회사 아이티로 | 지역 내 공사 현장 주변의 주민 참여형 환경 관리 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004062641A (ja) * | 2002-07-30 | 2004-02-26 | Park 24 Co Ltd | 違法駐車監視システム、駐車課金システムおよびコンピュータプログラム |
| KR20080098850A (ko) * | 2007-05-07 | 2008-11-12 | 삼성테크윈 주식회사 | 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정장치 |
| KR101206412B1 (ko) | 2005-01-06 | 2012-11-29 | 톰슨 라이센싱 | 이미지 모자이크 처리 방법 및 디바이스 |
| KR20160050883A (ko) * | 2014-10-31 | 2016-05-11 | 부산대학교 산학협력단 | 불법 주정차 차량 인식장치 |
| KR101753804B1 (ko) * | 2016-12-01 | 2017-07-04 | (주)아이엠시티 | 인공지능을 통한 주정차 위반 단속 알림 시스템 |
-
2020
- 2020-10-21 KR KR1020200136801A patent/KR102222109B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004062641A (ja) * | 2002-07-30 | 2004-02-26 | Park 24 Co Ltd | 違法駐車監視システム、駐車課金システムおよびコンピュータプログラム |
| KR101206412B1 (ko) | 2005-01-06 | 2012-11-29 | 톰슨 라이센싱 | 이미지 모자이크 처리 방법 및 디바이스 |
| KR20080098850A (ko) * | 2007-05-07 | 2008-11-12 | 삼성테크윈 주식회사 | 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정장치 |
| KR20160050883A (ko) * | 2014-10-31 | 2016-05-11 | 부산대학교 산학협력단 | 불법 주정차 차량 인식장치 |
| KR101753804B1 (ko) * | 2016-12-01 | 2017-07-04 | (주)아이엠시티 | 인공지능을 통한 주정차 위반 단속 알림 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| JINSOL KIM, 픽셀 기반 처리 - 히스토그램 평활화. [online], 2016. 4. 28. [2021. 1. 14. 검색] <URL: http://m.blog.naver.com/infoefficien/220696211850> * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102371391B1 (ko) * | 2021-04-07 | 2022-03-08 | (주)아이엠시티 | Ai 활용 차량 번호판 인식 시스템 및 이를 위한 동작 방법 |
| KR102541264B1 (ko) * | 2022-06-10 | 2023-06-13 | 주식회사 아이티로 | 지역 내 공사 현장 주변의 주민 참여형 환경 관리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Venkateswari et al. | License Plate cognizance by Ocular Character Perception' | |
| Rasheed et al. | Automated number plate recognition using hough lines and template matching | |
| KR102051829B1 (ko) | 차량번호 인식을 통한 빅데이터 예측뷰포트 다중해상도 영상전송 기반의 스마트 교통정보 수집장치 및 그 장치를 이용한 교통관제 방법 | |
| US7412078B2 (en) | System for automatic recognizing license number of other vehicles on observation vehicles and method thereof | |
| CN110660222B (zh) | 一种智能环保道路黑烟车辆电子抓拍系统 | |
| US20060200307A1 (en) | Vehicle identification and tracking system | |
| US20140355839A1 (en) | Mobile pothole detection system and method | |
| TW202013252A (zh) | 車牌辨識系統與方法 | |
| KR102272295B1 (ko) | 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법 | |
| KR102222109B1 (ko) | 불법 주정차 단속 이미지 통합 관리 시스템 | |
| KR102272279B1 (ko) | 인공지능 알고리즘을 이용한 차량번호판 인식 방법 | |
| JP2016110635A (ja) | 画像署名をフィッシャーベクトルとマッチングするための適応型語彙 | |
| KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
| KR101713089B1 (ko) | 개인정보 보호를 위한 이미지 자동 모자이크 처리장치 및 방법 | |
| Abidin et al. | A systematic review of machine-vision-based smart parking systems | |
| CN105608464A (zh) | 人脸识别移动终端解决系统及解决方法 | |
| CN111008574A (zh) | 一种基于形体识别技术的重点人员轨迹分析方法 | |
| CN110852236A (zh) | 目标事件的确定方法及装置、存储介质、电子装置 | |
| KR102269367B1 (ko) | 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템 | |
| KR102380662B1 (ko) | 인공지능 기반의 주차장 공유 시스템 | |
| CN112687023B (zh) | 基于地理围栏巡检道路设施的方法 | |
| WO2022104798A1 (zh) | 基于5g的无人驾驶电子交警执勤系统 | |
| CN112733652B (zh) | 图像目标识别方法、装置、计算机设备及可读存储介质 | |
| KR20200086015A (ko) | 상황 연계형 영상분석장치 | |
| Pinthong et al. | The License Plate Recognition system for tracking stolen vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |