KR20190021187A - 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체 - Google Patents

딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체 Download PDF

Info

Publication number
KR20190021187A
KR20190021187A KR1020187023718A KR20187023718A KR20190021187A KR 20190021187 A KR20190021187 A KR 20190021187A KR 1020187023718 A KR1020187023718 A KR 1020187023718A KR 20187023718 A KR20187023718 A KR 20187023718A KR 20190021187 A KR20190021187 A KR 20190021187A
Authority
KR
South Korea
Prior art keywords
photograph
vehicle
photo
license plate
category
Prior art date
Application number
KR1020187023718A
Other languages
English (en)
Other versions
KR102173610B1 (ko
Inventor
잰쭝 왕
밍 리유
징 시야오
Original Assignee
핑안 테크놀로지 (션젼) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 핑안 테크놀로지 (션젼) 컴퍼니 리미티드 filed Critical 핑안 테크놀로지 (션젼) 컴퍼니 리미티드
Publication of KR20190021187A publication Critical patent/KR20190021187A/ko
Application granted granted Critical
Publication of KR102173610B1 publication Critical patent/KR102173610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G06K9/3258—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G06K2209/015—
    • G06K2209/15—
    • G06K2209/23—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/01—Solutions for problems related to non-uniform document background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 전자장치에 응용되는 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체를 개시하는 바, 상기 방법은 단말기기가 발송한 적어도 한장의 사진을 획득하는 단계; 획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 단계; 및 전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하는 단계를 포함한다. 본 발명은 사진에서의 차량 용도를 정확하게 자동 인식할 수 있고 정확하게 분류할 수 있어 정확도 및 작업 효율을 향상시킨다.

Description

딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체
본 발명은 데이터 처리 기술분야에 관한 것으로서 특히 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 컴퓨터 판독 가능 저장매체에 관한 것이다.
현재 보험회사에서는 관련 자동차 보험 비즈니스(예하면 자동차 보험 클레임 비즈니스)에서 대량의 클레임 차량 사진을 획득하게 되는데 보험회사에서는 클레임 차량 사진을 효과적으로 관리하기 위하여 일반적으로 인위적인 방식으로 각 클레임 차량 사진에서의 관련 차량의 용도(예하면 화물차 용도, 경찰 업무 용도, 자가용 용도, 군사 업무 용도 등)를 결정한 다음 차량의 용도에 근거하여 클레임 차량 사진을 인위적으로 분류하는데 이러한 방식은 대량의 인력, 물력을 낭비할 뿐만 아니라 오류가 쉽게 발생한다.
본 발명의 주된 목적은 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체를 제공할 필요가 있는데 이는 사진에서의 차량 용도를 정확하게 자동 인식할 수 있고 정확하게 분류할 수 있어 정확도 및 작업 효율을 향상시키는데 있다.
상기 내용을 감안하면 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체를 제공할 필요가 있는데 이는 사진에서의 차량 용도를 정확하게 자동 인식할 수 있고 정확하게 분류할 수 있어 정확도 및 작업 효율을 향상시킨다.
본원 발명의 제1 양태는 전자장치에 응용되는 딥 러닝에 기반한 차량번호판 분류 방법을 제공하는데 상기 방법은,
단말기기가 발송한, 차량과 대응되는 차량번호판 정보를 구비하는 적어도 한장의 사진을 획득하는 단계;
획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 단계; 및
전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하는 단계를 포함한다.
본원 발명의 제2 양태는 전자장치에서 운행되는 딥 러닝에 기반한 차량번호판 분류 시스템을 제공하는데 상기 시스템은,
단말기기가 발송한, 차량과 대응되는 차량번호판 정보를 구비하는 적어도 한장의 사진을 획득하기 위한 획득모듈;
적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하기 위한 전처리모듈; 및
전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하기 위한 인식모듈을 포함한다.
본원 발명의 제3 양태는 전자장치를 제공하는데 상기 전자장치는 처리기기, 저장기기 및 상기 저장기기에 저장되어 상기 처리기기에 의해 실행되는 적어도 하나의 컴퓨터 판독 가능 명령을 포함하는 딥 러닝에 기반한 차량번호판 분류 시스템을 포함하여,
단말기기가 발송한, 차량과 대응되는 차량번호판 정보를 구비하는 적어도 한장의 사진을 획득하는 동작;
획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 동작; 및
전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하는 동작을 실현하도록 한다.
본원 발명의 제4 양태는 컴퓨터 판독 가능 저장매체를 제공하는데 처리기기에 의해 실행되어 다음과 같은 동작을 실현하도록 하는 적어도 하나의 컴퓨터 판독 가능 명령이 저장된 컴퓨터 판독 가능 저장매체에 있어서,
단말기기가 발송한, 차량과 대응되는 차량번호판 정보를 구비하는 적어도 한장의 사진을 획득하는 동작;
획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 동작; 및
전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하는 동작을 실현하도록 한다.
상기 기술적 해결수단으로부터 알 수 있다 시피 본 발명은 먼저 기설정된 알고리즘을 이용하여 차량 번호판 정보에 근거하여 차량 용도를 인식하는 인식모델을 트레이닝함으로써 미리 트레이닝한 인식모델을 획득한다. 그 다음 각 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 각 사진과 대응되는 차량 용도정보를 인식하며 각 사진과 대응되는 차량 용도정보를 단말기기에 발송함과 동시에 각 사진과 대응되는 차량 용도정보에 근거하여 같은 차량 용도의 사진을 한 카테고리에 분류한다. 본 발명은 사진에서의 차량 용도를 정확하게 자동 인식할 수 있고 정확하게 분류할 수 있어 정확도 및 작업 효율을 향상시킨다.
상기 기술적 해결수단으로부터 알 수 있다 시피 본 발명은 먼저 기설정된 알고리즘을 이용하여 차량 번호판 정보에 근거하여 차량 용도를 인식하는 인식모델을 트레이닝함으로써 미리 트레이닝한 인식모델을 획득한다. 그 다음 각 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 각 사진과 대응되는 차량 용도정보를 인식하며 각 사진과 대응되는 차량 용도정보를 단말기기에 발송함과 동시에 각 사진과 대응되는 차량 용도정보에 근거하여 같은 차량 용도의 사진을 한 카테고리에 분류한다. 본 발명은 사진에서의 차량 용도를 정확하게 자동 인식할 수 있고 정확하게 분류할 수 있어 정확도 및 작업 효율을 향상시킨다.
도 1은 본 발명이 딥 러닝에 기반한 차량번호판 분류 방법을 실현하는 바람직한 실시예의 응용 환경 모식도이다.
도 2는 본 발명에 따른 딥 러닝에 기반한 차량번호판 분류 방법의 바람직한 실시예의 실시 흐름도이다.
도 3은 본 발명에 따른 딥 컨벌루션 뉴럴 네트워크 모델의 모델구조 모식도이다.
도 4는 본 발명에 따른 딥 러닝에 기반한 차량번호판 분류 시스템의 기능모듈도이다.
도 1에 도시된 내용을 참조하면 이는 본 발명이 딥 러닝에 기반한 차량번호판 분류 방법을 실현하는 바람직한 실시예의 응용 환경 모식도이다. 상기 응용 환경 모식도는 전자장치(1), 단말기기(2)를 포함한다. 상기 전자장치(1)는 네트워크, 근거리 통신기술 등 적합한 기술을 통해 상기 단말기기(2)와 데이터 교류를 진행할 수 있다.
상기 단말기기(2)는 사용자가 키보드, 마우스, 리모컨, 터치 패드 또는 음성 제어 기기 등 방식을 통해 인간-컴퓨터 상호작용을 진행할 수 있는 그 어떤 한가지 전자제품, 예하면 개인용 컴퓨터, 태블릿 피씨, 스마트 폰, 개인용 정보 단말기(Personal Digital Assistant, PDA), 게임기, 인터넷 프로토콜 텔레비전(Internet Protocol Television, IPTV), 스마트형 착용 기기 등을 포함하나 이에 한정되지 않는다. 여기서 상기 사용자 기기 및 네트워크 기기가 위치한 네트워크는 인터넷, 광역 통신망, 도시 지역 통신망, 근거리 통신망, 가상 사설망(Virtual Private Network, VPN) 등을 포함하나 이에 한정되지 않는다.
상기 전자장치(1)는 미리 설정되거나 또는 저장된 명령에 따라 자동으로 수치 계산 및/또는 정보 처리를 진행하는 기기이다. 상기 전자장치(1)는 컴퓨터 일 수 있고 하나의 네트워크 서버, 다수의 네트워크 서버로 구성된 서버 그룹 또는 클라우드 컴퓨팅에 기반한 대량의 호스트 또는 네트워크 서버에 의해 구성된 클라우드 일 수도 있는데 여기서 클라우드 컴퓨팅은 분산 컴퓨팅의 한 종류로서 한 그룹의 느슨한 결합 컴퓨터 세트로 구성된 하나의 슈퍼 가상 컴퓨터이다.
본 실시예에서 전자장치(1)는 딥 러닝에 기반한 차량번호판 분류 시스템(10)(이하 “분류 시스템”이라고 약칭함), 저장기기(11) 및 처리기기(12) 등을 포함한다. 처리기기(12)는 전자장치(1)의 운행을 지지하기 위한 것으로서 이는 하나 또는 다수의 마이크로 프로세서, 디지털 프로세서 등을 포함할 수 있다. 저장기기(11)는 여러가지 데이터 및 컴퓨터 판독 가능 명령을 저장하기 위한 것으로서 이는 하나 또는 다수의 비휘발성 메모리, 예하면 ROM, EPROM 또는 Flash Memory(플래시 메모리) 등을 포함할 수 있다.
분류 시스템(10)은 먼저 기설정된 알고리즘을 이용하여 차량번호판 정보에 근거하여 차량 용도를 인식하기 위한 인식모델을 트레이닝하여 미리 트레이닝한 인식모델을 획득한다. 그 다음 각 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 각 사진과 대응되는 차량 용도정보를 인식하며 각 사진과 대응되는 차량 용도정보를 단말기기(2)에 발송함과 동시에 각 사진과 대응되는 차량 용도정보에 근거하여 같은 차량 용도의 사진을 한 카테고리에 분류한다. 일 실시예에서 분류 시스템(10)은 저장기기(11)에 저장되고 저장기기(11)에 저장된 적어도 하나의 컴퓨터 판독 가능 명령을 포함하며 상기 적어도 하나의 컴퓨터 판독 가능 명령은 프로세서 기기(12)에 의해 실행되어 본원 발명의 각 실시예의 차량번호판 분류 방법을 수행하도록 하고; 후술한 바와 같이 상기 적어도 하나의 컴퓨터 판독 가능 명령은 이의 각 부분이 실현한 기능이 상이한데 의하여 상이한 논리모듈로 구획될 수 있다.
본 발명은 사진에서의 차량 용도를 정확하게 자동 인식할 수 있고 정확하게 분류할 수 있어 정확도 및 작업 효율을 향상시킨다.
도 2에 도시된 바와 같이 이는 본 발명에 따른 딥 러닝에 기반한 차량번호판 분류 방법의 바람직한 실시예의 실시 흐름도이다. 본 실시예에 따른 딥 러닝에 기반한 차량번호판 분류 방법은 흐름도에 도시된 단계에 한정되지 않고 또 흐름도에 도시된 단계에서 어떠한 단계는 생략될 수 있고 단계 사이의 순서는 변화할 수 있다.
S10, 단말기기(2)가 발송한 적어도 한장의 사진을 획득한다.
본 실시예에서 단말기기(2)는 차량용도 인식 조작 인터페이스를 표시할 수 있도록 배치된다. 단말기기(2)는 사용자의 동작에 응답하여 상기 차량용도 인식 조작 인터페이스를 표시한다. 예하면 단말기기(2)는 브라우저 시스템을 통해 전자장치(1)를 액세스하고 전자장치(1)는 상기 차량용도 인식 조작 인터페이스를 상기 브라우저 시스템에 발송하여 표시한다. 또는 상기 분류 시스템(10)은 하나의 클라이언트 시스템과 대응되고 상기 클라이언트 시스템은 상기 단말기기(2)에 장착된다. 단말기기(2)의 클라이언트 시스템은 운행된 후 상기 차량용도 인식 조작 인터페이스를 생성하고 표시한다.
상기 차량용도 인식 조작 인터페이스는 한장의 사진 인식 컨트롤러와다수의 사진 인식 컨트롤러를 포함한다. 사용자는 상기 한장의 사진 인식 컨트롤러를 통해 전자장치(1)에 한장의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 발송하고 차량번호판 정보를 함유한 한장의 사진을 업로드한다. 사용자는 상기 다수의 사진 인식 컨트롤러를 통해 전자장치(1)에 다수의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 발송하고 다수의 사진을 업로드할 수 있다.
S11, 획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 한다.
본 실시예에서 상기 적어도 한장의 사진은 한장의 사진 또는 다수의 사진 일 수 있다. 상기 획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 단계는 다음과 같은 내용을 포함한다.
(1)상기 적어도 한장의 사진에 대해 화이트닝 처리를 진행하여 사진에서의 노이즈 픽셀을 필터링하되 화이트닝 처리 후의 각 사진의 픽셀평균치는 0이고 픽셀 분산은 1이다.
기타 실시예에서는 필터를 사용하여 상기 적어도 한장의 사진에 대해 사진에서의 노이즈 픽셀을 필터링할 수도 있는데 예하면 가우스 저역 통과 필터, 평균값 필터, 가우스 필터 등을 사용할 수 있다.
(2)미리 트레이닝한 인식모델의 입력차원에 기반하여 화이트닝 처리 후의 각 사진의 사이즈를 조절한다.다.
본 실시예에서 조절된 후의 각 사진의 사이즈와 상기 미리 트레이닝한 인식모델의 입력차원은 동일하다. 상기 입력차원은 이미지의 사이즈인 바, 예하면 사이즈 크기는 256×256이다. 상기 화이트닝 처리 후의 사진의 사이즈가 상기 미리 트레이닝한 인식모델의 입력차원보다 클 경우 상기 화이트닝 처리 후의 각 사진을 스케일링한다. 상기 화이트닝 처리 후의 각 사진의 사이즈가 상기 미리 트레이닝한 인식모델의 입력차원보다 작을 경우 상기 화이트닝 처리 후의 각 사진을 확대한다.
본 실시예에서 상기 미리 트레이닝한 인식모델은 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델이다. 상기 딥 컨벌루션 뉴럴 네트워크 모델은 1개의 입력층, 20개의 컨벌루션층, 6개의 지화층, 3개의 은닉층, 1개의 분류층으로 구성된다. 상기 딥 컨벌루션 뉴럴 네트워크 모델의 모델구조는 도 3에 도시된 바와 같이 여기서 Conv a-b(예하면 Conv 3-64)는 상기 층 컨벌루션 커너의 차원이 aХa이고 상기 층 컨벌루션 커너의 개수가 b임을 나타내고; Maxpool2는 상기 지화층의 지화핵의 차원이 2Х2임을 나타내며; FC-c(예하면 FC-6)는 상기 은닉층(즉 완전 커넥션층)에 c개의 출력노드가 있음을 나타내고; Soft-max는 상기 분류층이 Soft-max분류기를 사용하여 입력된 이미지를 분류함을 나타낸다.
본 실시예에서는 사진샘플을 이용하여 트레이닝 러닝함으로써 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 얻는다. 사진을 상기 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델에 입력하면 사진에서의 차량의 용도를 정확하게 자동 획득할 수 있다. 일반적으로 사진샘플의 스케일이 클 수록 상기 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델의 인식률이 더 높다.
본 실시예에서 상기 딥 컨벌루션 뉴럴 네트워크 모델의 트레이닝 과정은 주요하게 다음과 같은 내용을 포함한다.
(1)차량번호판 정보를 포함하는 기설정된 수량(예하면 50만장)의 사진샘플을 획득한다. 상기 차량번호판 정보는 차량의 차량번호판번호 등을 포함한다. 예하면 경찰 업무 용도의 차량번호판번호에는 “경"자가 있고 군사 업무 용도의 차량번호판번호에는 “군"자가 있는 것 등이다.
(2)획득한 사진샘플에서의 차량번호판 정보와 대응되는 차량 용도에 근거하여 획득한 사진샘플에 대해 차량 용도에 따라 분류하여 적어도 하나의 사진 카테고리를 획득한다.
본 실시예에서 상기 차량 용도는 화물차 용도, 경찰 업무 용도, 자가용 용도, 군사 업무 용도를 포함하나 이에 한정되지 않는다. 상기 사진 카테고리는 화물차 용도 사진 카테고리, 경찰 업무 용도 사진 카테고리, 자가용 용도 사진 카테고리, 군사 업무 용도 사진 카테고리를 포함하나 이에 한정되지 않는다.
본 실시예에서는 동일한 차량 용도와 대응되는 사진샘플을 동일한 사진 카테고리에 분류하고 상이한 차량 용도와 대응되는 사진샘플을 상이한 사진 카테고리에 분류한다.
(3)매 하나의 사진 카테고리에서의 각 사진샘플을 화이트닝 처리하고 화이트 처리 후의 각 사진샘플의 사이즈를 조절한 다음 조절된 후의 각 사진샘플을 회전하여 매 하나의 사진 카테고리에서의 사진샘플 집합을 획득한다.
본 실시예에서 매 하나의 사진 카테고리에서의 사진샘플 집합의 획득방식은 구체적으로 다음과 같은 내용을 통해 실현된다.
매 하나의 사진 카테고리에서의 각 사진샘플을 화이트닝 처리하여 화이트닝 처리 후의 사진샘플의 픽셀평균치가 0, 분산이 1이 되게 함으로써 사진샘플에서의 노이즈 픽셀을 필터링한다. 기타 실시예에서는 필터를 사용하여 상기 적어도 한장의 사진에 대해 사진에서의 노이즈 픽셀을 필터링할 수도 있는데 예하면 가우스 저역 통과 필터, 평균값 필터, 가우스 필터 등을 사용할 수 있다.
화이트닝 처리 후의 각 사진샘플의 사이즈를 조절하되 조절된 후의 각 사진샘플의 사이즈와 상기 딥 컨벌루션 뉴럴 네트워크 모델의 입력차원은 동일하다. 상기 입력차원은 이미지의 사이즈인 바, 예하면 사이즈 크기는 256×256이다.
매 하나의 사진 카테고리에서의 각 사진샘플에 대하여 기설정된 회전각도간격(예하면 30도의 각도)로 각 사진샘플을 회전시키고 회전된 후의 사진샘플에 대하여 대응되는 각도로 투시변화처리하여 각 사진샘플이 각 회전각도에서의 사진샘플 집합을 얻으므로써 매 하나의 사진 카테고리에서의 사진샘플 집합을 얻는다.
(4)매 하나의 사진 카테고리에서의 사진샘플 집합에서 매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합 및 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합을 획득한다.
본 실시예에서는 매 하나의 사진 카테고리에서의 사진샘플 집합에서 제1 기설정된 비례(예하면 70%)의 사진샘플 집합을 매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합으로 추출하고 매 하나의 사진 카테고리에서 나머지 사진샘플 집합을 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합으로 추출한다.
(5)매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합의 사진샘플을 순차적으로 상기 딥 컨벌루션 뉴럴 네트워크 모델에 입력하고 기설정된 트레이닝 알고리즘을 이용하여 차량번호판 정보에 근거하여 차량 용도를 인식하는 딥 컨벌루션 뉴럴 네트워크 모델을 트레이닝하며 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합의 사진샘플을 이용하여 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 체크한다.
본 실시예에서는 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합의 사진샘플을 이용하여 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 체크하는데 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델의 인식 정확도가 기설정된 임계값(예하면 95%)보다 크거나 같으면 트레이닝이 완료되고 후속적으로 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 이용하여 어느 한장의 사진에서의 차량 용도를 인식할 수 있다.
트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델의 인식 정확도가 기설정된 임계값(예하면 95%)보다 작으면 알림 정보를 발송하여 사용자로 하여금 차량번호판 정보를 포함하는 사진샘플 수량을 증가하여 상기 단계(1)-단계(5)에 따라 다시 상기 딥 컨벌루션 뉴럴 네트워크 모델을 트레이닝하도록 알릴 수 있다.
본 실시예에서 딥 컨벌루션 뉴럴 네트워크 모델 트레이닝의 원리는 다음과 같이 밝힌다.
상기 딥 컨벌루션 뉴럴 네트워크 모델의 트레이닝은 제3 오픈 소스 라이브러리(Convolutional Architecture for Fast Feature Embedding, Caffe)가 자체로 휴대한 Cifar10데이터를 사용하여 임무의 파라미터를 분류한다. Caffe는 하나의 명확하고 효율적인 딥 러닝프레임 워크의 오픈 소스 라이브러리로서 자주적으로 데이터에서 유용한 특징, 특히 일부 이미지 등을 러닝할 수 있다. Cifar10은 Caffe에서의 하나의 데이터 베이스이다.
본 실시예에서 상기 기설정된 트레이닝 알고리즘은 자기 적응 모멘트 추정 알고리즘(adaptive moment estimation, Adam)이다. Adam알고리즘은 랜덤 최적화에 기반한 알고리즘으로서 이는 momentum(즉 러닝 위치 에너지, 또 "모멘트”라고도 함)를 기반한 랜덤 구배 하강(Stochastic gradient descent, SGD) 알고리즘의 기초상에 개량하였다. 자기 적응적으로 momentum항에 대해 추정을 진행함으로써 모델 트레이닝의 목표를 빠르게 달성한다.
딥 컨벌루션 뉴럴 네트워크 모델 트레이닝의 과정은 항상 분류 오차의 최소화를 목표로 한다. 데이터 집합 D, 트레이닝하는 과정에서 최적화할 목표함수는 데이터 집합에서의 매 하나의 샘플을 분류하는 평균 오차를 L(m)라고 정한다.
Figure pct00001
여기서
Figure pct00002
는 데이터 집합에서의 j번째 샘풀의 분류 오차이고
Figure pct00003
는 분류 모델을 나타내며;
Figure pct00004
는 규약항이고
Figure pct00005
는 규약 가중치가 규약화를 제어하는 정도이며
Figure pct00006
는 규약함수로서 오차함수에 대해 어떻게 규약화를 진행할 것인지를 제어하고
Figure pct00007
은 데이터 집합의 총체적인 샘플 수량을 나타낸다. 실제에 있어서 데이터 집합은 매우 큰 스케일의 샘플을 포함할 수 있으므로 우리는 샘플 서브 집합을 사용하여 기존의 데이터 집합의 평균오차를 추정하는데 즉
Figure pct00008
이다.
Figure pct00009
여기서
Figure pct00010
은 샘플링의 서브 집합의 샘플수량을 나타낸다. 모델은 전향 전파에서 오차가 발생한 다음 잘못된 구배
Figure pct00011
를 후향 전파하고 구배
Figure pct00012
를 규약하여 모델 파라미터를 업데이트한다. 통상적인 SGD+BP에 기반한 최적화 알고리즘과는 달리 상기 알고리즘의 업데이트 단계는 다음과 같다.
Figure pct00013
Figure pct00014
Figure pct00015
여기서
Figure pct00016
는 목표함수의 구배를 나타내고
Figure pct00017
와
Figure pct00018
는 각각 시퀀셜이
Figure pct00019
일 경우 목표함수의 구배의 1모멘트(평균치) 및 2모멘트(부분 편차)의 추정이며
Figure pct00020
1모멘트와 대응되는 감쇠속도를 나타내고
Figure pct00021
2모멘트와 대응되는 감쇠속도를 나타내며
Figure pct00022
는 기설정된 상수이고
Figure pct00023
는 스탭을 나타내며
Figure pct00024
는 시퀀셜timestep 또는 반복 횟수를 나타내고
Figure pct00025
는 분류 모델을 나타내며
Figure pct00026
는
Figure pct00027
번째 샘플을 나타낸다.
트레이닝 과정에 있어서 여기의
Figure pct00028
,
Figure pct00029
,
Figure pct00030
이 3개의 파라미터는 각각 이들의 디폴드 값인 0.9, 0.999과
Figure pct00031
을 취한다. Adam알고리즘에 의한 최적화 과정에서의 평화도 및 신속 수렴 능력을 통해 수집한 샘플데이터 집합이 비교적 작은 상황에서도 모델로 하여금 신속하게 수렴하도록 함과 동시에 이상적인 분류 정확성을 얻을 수 있도록 한다.
S12, 전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기(2)에 발송한다.
본 실시예에서 상기 미리 트레이닝한 인식모델을 트레이닝하는 상기 원리에 근거하여 알 수 있다 시피 상기 미리 트레이닝한 인식모델은 차량번호판 정보에 근거하여 차량 용도를 인식하므로 전처리 후의 상기 적어도 한장의 사진을 상기 미리 트레이닝한 인식모델로서 입력하면 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 정확하게 인식할 수 있다.
본 실시예에서 상기 적어도 한장의 사진이 한장의 사진이면 상기 한장의 사진과 대응되는 차량 용도정보를 상기 단말기기(2)에 발송한다. 상기 적어도 한장의 사진이 다수의 사진이면 매 사진마다의 명칭 및 매 사진과 대응되는 차량 용도정보를 상기 단말기기(2)에 발송한다.
기타 실시예에서는 상기 적어도 한장의 사진이 다수의 사진 일 경우 상기 적어도 한장의 사진과 대응되는 차량 용도에 근거하여 상기 적어도 한장의 사진을 분류하는 단계를 더 포함한다.
본 실시예에서 상기 차량 용도는 화물차 용도, 경찰 업무 용도, 자가용 용도, 군사 업무 용도를 포함하나 이에 한정되지 않는다. 상기 사진 카테고리는 화물차 용도 사진 카테고리, 경찰 업무 용도 사진 카테고리, 자가용 용도 사진 카테고리, 군사 업무 용도 사진 카테고리를 포함하나 이에 한정되지 않는다.
본 실시예에서 동일한 차량 용도와 대응되는 사진을 동일한 사진 카테고리에 분류하고 상이한 차량 용도와 대응되는 사진을 상이한 사진 카테고리에 분류하고 분류된 후의 사진 카테고리 및 각 사진 카테고리에서의 각 사진의 명칭 및 각 사진과 대응되는 차량 용도정보를 상기 단말기기(2)에 발송한다.
도 4에 도시된 바와 같이 상기 분류 시스템(10)의 프로그램 코드는 그의 상이한 기능에 근거하여 다수의 기능 모듈로 분류될 수 있다. 본 실시예에서 상기 분류 시스템(10)은 획득모듈(100), 전처리모듈(102), 트레이닝모듈(103), 인식모듈(104) 및 분류모듈(105)을 포함할 수 있다. 아래 실시에에서 각 모듈의 기능을 구체적으로 설명하고자 한다.
획득모듈(100)은 단말기기(2)가 발송한 적어도 한장의 사진을 획득하는데 사용되되, 상기 사진은 대응되는 차량의 차량번호판 정보를 구비한다.
본 실시예에서 단말기기(2)에는 차량용도 인식 조작 인터페이스가 표시된다. 단말기기(2)는 사용자의 동작에 응답하여 상기 차량용도 인식 조작 인터페이스를 표시한다. 예하면 단말기기(2)는 브라우저 시스템을 통해 전자장치(1)를 액세스하고 전자장치(1)는 상기 차량용도 인식 조작 인터페이스를 상기 브라우저 시스템에 발송하여 표시한다. 또는 상기 분류 시스템(10)은 하나의 클라이언트 시스템과 대응되고 상기 클라이언트 시스템은 상기 단말기기(2)에 장착된다. 단말기기(2)의 클라이언트 시스템은 운행한 후 상기 차량용도 인식 조작 인터페이스를 생성하여 표시한다.
상기 차량용도 인식 조작 인터페이스는 한장의 사진 인식 컨트롤러와다수의 사진 인식 컨트롤러를 포함한다. 사용자는 상기 한장의 사진 인식 컨트롤러를 통해 전자장치(1)에 한장의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 발송하고 한장의 사진을 업로드할 수 있다. 사용자는 상기 다수의 사진 인식 컨트롤러를 통해 전자장치(1)에 다수의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 발송하고 다수의 사진을 업로드할 수 있다. 상기 획득모듈(100)은 한장의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 상기 명령을 획득하고 상기 사진으로부터 다수의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하며 다수의 사진을 업로드하고 상기 획득모듈(100)은 다수의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 획득하고 상기 다수의 사진을 수신한다.
전처리모듈(102)은 획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 한다.
본 실시예에서 상기 적어도 한장의 사진은 한장의 사진 또는 다수의 사진 일 수 있다. 상기 전처리모듈(102)이 획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 것은 다음과 같은 내용을 포함한다.
(1)상기 적어도 한장의 사진에 대해 화이트닝 처리를 진행하여 사진에서의 노이즈 픽셀을 필터링하되 화이트닝 처리 후의 각 사진의 픽셀평균치는 0이고 픽셀 분산은 1이다.
기타 실시예에서는 필터를 사용하여 상기 적어도 한장의 사진에 대해 사진에서의 노이즈 픽셀을 필터링할 수도 있는데 예하면 가우스 저역 통과 필터, 평균값 필터, 가우스 필터 등을 사용할 수 있다.
(2)미리 트레이닝한 인식모델의 입력차원에 기반하여 화이트닝 처리 후의 각 사진의 사이즈를 조절한다.
본 실시예에서 조절된 후의 각 사진의 사이즈와 상기 미리 트레이닝한 인식모델의 입력차원은 동일하다. 상기 입력차원은 이미지의 사이즈인 바, 예하면 사이즈 크기는 256×256이다. 상기 화이트닝 처리 후의 사진의 사이즈가 상기 미리 트레이닝한 인식모델의 입력차원보다 클 경우 상기 화이트닝 처리 후의 각 사진을 스케일링한다. 상기 화이트닝 처리 후의 각 사진의 사이즈가 상기 미리 트레이닝한 인식모델의 입력차원보다 작을 경우 상기 화이트닝 처리 후의 각 사진을 확대한다.
본 실시예에서 상기 미리 트레이닝한 인식모델은 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델이다. 상기 딥 컨벌루션 뉴럴 네트워크 모델은 1개의 입력층, 20개의 컨벌루션층, 6개의 지화층, 3개의 은닉층, 1개의 분류층으로 구성된다. 상기 딥 컨벌루션 뉴럴 네트워크 모델의 모델구조는 도 3에 도시된 바와 같이 여기서 Conv a-b(예하면 Conv 3-64)는 상기 층 컨벌루션 커너의 차원이 aХa이고 상기 층 컨벌루션 커너의 개수가 b임을 나타내고; Maxpool2는 상기 지화층의 지화핵의 차원이 2Х2임을 나타내며; FC-c(예하면 FC-6)는 상기 은닉층(즉 완전 커넥션층)에 c개의 출력노드가 있음을 나타내고; Soft-max는 상기 분류층이 Soft-max분류기를 사용하여 입력된 이미지를 분류함을 나타낸다.
본 실시예에서 트레이닝모듈(103)은 사진샘플을 이용하여 트레이닝 러닝함으로써 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 얻는다. 사진을 상기 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델에 입력하면 사진에서의 차량의 용도를 정확하게 자동 획득할 수 있다. 일반적으로 사진샘플의 스케일이 클 수록 상기 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델의 인식률이 더 높다.
본 실시예에서 상기 트레이닝모듈(103)이 상기 딥 컨벌루션 뉴럴 네트워크 모델을 트레이닝하는 과정은 주요하게 다음과 같은 내용을 포함한다.
(1)차량번호판 정보를 포함하는 기설정된 수량(예하면 50만장)의 사진샘플을 획득한다. 상기 차량번호판 정보는 차량의 차량번호판번호 등을 포함한다. 예하면 경찰 업무 용도의 차량번호판번호에는 “경"자가 있고 군사 업무 용도의 차량번호판번호에는 “군"자가 있는 것 등이다.
(2)획득한 사진샘플에서의 차량번호판 정보와 대응되는 차량 용도에 근거하여 획득한 사진샘플에 대해 차량 용도에 따라 분류하여 적어도 하나의 사진 카테고리를 획득한다.
본 실시예에서 상기 차량 용도는 화물차 용도, 경찰 업무 용도, 자가용 용도, 군사 업무 용도를 포함하나 이에 한정되지 않는다. 상기 사진 카테고리는 화물차 용도 사진 카테고리, 경찰 업무 용도 사진 카테고리, 자가용 용도 사진 카테고리, 군사 업무 용도 사진 카테고리를 포함하나 이에 한정되지 않는다.
본 실시예에서는 동일한 차량 용도와 대응되는 사진샘플을 동일한 사진 카테고리에 분류하고 상이한 차량 용도와 대응되는 사진샘플을 상이한 사진 카테고리에 분류한다.
(3)매 하나의 사진 카테고리에서의 각 사진샘플을 화이트닝 처리하고 화이트 처리 후의 각 사진샘플의 사이즈를 조절한 다음 조절된 후의 각 사진샘플을 회전하여 매 하나의 사진 카테고리에서의 사진샘플 집합을 획득한다.
본 실시예에서 매 하나의 사진 카테고리에서의 사진샘플 집합의 획득방식은 구체적으로 다음과 같은 내용을 통해 실현된다.
매 하나의 사진 카테고리에서의 각 사진샘플을 화이트닝 처리하여 화이트닝 처리 후의 사진샘플의 픽셀평균치가 0, 분산이 1이 되게 함으로써 사진샘플에서의 노이즈 픽셀을 필터링한다. 기타 실시예에서는 필터를 사용하여 상기 적어도 한장의 사진에 대해 사진에서의 노이즈 픽셀을 필터링할 수도 있는데 예하면 가우스 저역 통과 필터, 평균값 필터, 가우스 필터 등을 사용할 수 있다.
화이트닝 처리 후의 각 사진샘플의 사이즈를 조절하되 조절된 후의 각 사진샘플의 사이즈와 상기 딥 컨벌루션 뉴럴 네트워크 모델의 입력차원은 동일하다. 상기 입력차원은 이미지의 사이즈인 바, 예하면 사이즈 크기는 256×256이다.
매 하나의 사진 카테고리에서의 각 사진샘플에 대하여 기설정된 회전각도간격(예하면 30도의 각도)로 각 사진샘플을 회전시키고 회전된 후의 사진샘플에 대하여 대응되는 각도로 투시변화처리하여 각 사진샘플이 각 회전각도에서의 사진샘플 집합을 얻으므로써 매 하나의 사진 카테고리에서의 사진샘플 집합을 얻는다.
(4)매 하나의 사진 카테고리에서의 사진샘플 집합에서 매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합 및 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합을 획득한다.
본 실시예에서는 매 하나의 사진 카테고리에서의 사진샘플 집합에서 제1 기설정된 비례(예하면 70%)의 사진샘플 집합을 매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합으로 추출하고 매 하나의 사진 카테고리에서 나머지 사진샘플 집합을 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합으로 추출한다.
(5)매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합의 사진샘플을 순차적으로 상기 딥 컨벌루션 뉴럴 네트워크 모델에 입력하고 기설정된 트레이닝 알고리즘을 이용하여 차량번호판 정보에 근거하여 차량 용도를 인식하는 딥 컨벌루션 뉴럴 네트워크 모델을 트레이닝하며 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합의 사진샘플을 이용하여 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 체크한다.
본 실시예에서는 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합의 사진샘플을 이용하여 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 체크하는데 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델의 인식 정확도가 기설정된 임계값(예하면 95%)보다 크거나 같으면 트레이닝이 완료되고 후속적으로 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 이용하여 어느 한장의 사진에서의 차량 용도를 인식할 수 있다.
트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델의 인식 정확도가 기설정된 임계값(예하면 95%)보다 작으면 알림 정보를 발송하여 사용자로 하여금 차량번호판 정보를 포함하는 사진샘플 수량을 증가하여 상기 단계(1)-단계(5)에 따라 다시 상기 딥 컨벌루션 뉴럴 네트워크 모델을 트레이닝하도록 알릴 수 있다.
본 실시예에서 딥 컨벌루션 뉴럴 네트워크 모델 트레이닝의 원리는 다음과 같이 밝힌다.
상기 딥 컨벌루션 뉴럴 네트워크 모델의 트레이닝은 제3 오픈 소스 라이브러리(Convolutional Architecture for Fast Feature Embedding, Caffe)가 자체로 휴대한 Cifar10데이터를 사용하여 임무의 파라미터를 분류한다. Caffe는 하나의 명확하고 효율적인 딥 러닝프레임 워크의 오픈 소스 라이브러리로서 자주적으로 데이터에서 유용한 특징, 특히 일부 이미지 등을 러닝할 수 있다. Cifar10은 Caffe에서의 하나의 데이터 베이스이다.
본 실시예에서 상기 기설정된 트레이닝 알고리즘은 자기 적응 모멘트 추정 알고리즘(adaptive moment estimation, Adam)이다. Adam알고리즘은 랜덤 최적화에 기반한 알고리즘으로서 이는 momentum(즉,러닝 위치 에너지, 또 "모멘트”라고도 함)를 기반한 랜덤 구배 하강(Stochastic gradient descent, SGD) 알고리즘의 기초상에 개량하였다. 자기 적응적으로 momentum항에 대해 추정을 진행함으로써 모델 트레이닝의 목표를 빠르게 달성한다.
딥 컨벌루션 뉴럴 네트워크 모델 트레이닝의 과정은 항상 분류 오차의 최소화를 목표로 한다. 데이터 집합D, 트레이닝하는 과정에서 최적화할 목표함수는 데이터 집합에서의 매 하나의 샘플을 분류하는 평균 오차를 L(m)라고 정한다.
Figure pct00032
여기서
Figure pct00033
는 데이터 집합에서의 j번째 샘풀의 분류 오차이고
Figure pct00034
는 분류 모델을 나타내며;
Figure pct00035
는 규약항이고
Figure pct00036
는 규약 가중치가 규약화를 제어하는 정도이며
Figure pct00037
는 규약함수로서 오차함수에 대해 어떻게 규약화를 진행할 것인지를 제어하고
Figure pct00038
은 데이터 집합의 총체적인 샘플 수량을 나타낸다. 실제에 있어서 데이터 집합은 매우 큰 스케일의 샘플을 포함할 수 있으므로 우리는 샘플 서브 집합을 사용하여 기존의 데이터 집합의 평균오차를 추정하는데 즉
Figure pct00039
이다.
Figure pct00040
여기서
Figure pct00041
은 샘플링의 서브 집합의 샘플수량을 나타낸다. 모델은 전향 전파에서 오차가 발생한 다음 잘못된 구배
Figure pct00042
를 후향 전파하고 구배
Figure pct00043
를 규약하여 모델 파라미터를 업데이트한다. 통상적인 SGD+BP에 기반한 최적화 알고리즘과는 달리 상기 알고리즘의 업데이트 단계는 다음과 같다.
여기서
Figure pct00044
는 목표함수의 구배를 나타내고
Figure pct00045
와
Figure pct00046
는 각각 시퀀셜이 t일 경우 목표함수의 구배의 1모멘트(평균치) 및 2모멘트(부분 편차)의 추정이며
Figure pct00047
1모멘트와 대응되는 감쇠속도를 나타내고
Figure pct00048
2모멘트와 대응되는 감쇠속도를 나타내며
Figure pct00049
는 기설정된 상수이고
Figure pct00050
는 스탭을 나타내며
Figure pct00051
는 시퀀셜timestep 또는 반복 횟수를 나타내고
Figure pct00052
는 분류 모델을 나타내며
Figure pct00053
는
Figure pct00054
번째 샘플을 나타낸다.
트레이닝 과정에 있어서 여기의
Figure pct00055
,
Figure pct00056
,
Figure pct00057
이 3개의 파라미터는 각각 이들의 디폴드 값인 0.9, 0.999과
Figure pct00058
을 취한다. Adam알고리즘에 의한 최적화 과정에서의 평화도 및 신속 수렴 능력을 통해 수집한 샘플데이터 집합이 비교적 작은 상황에서도 모델로 하여금 신속하게 수렴하도록 함과 동시에 이상적인 분류 정확성을 얻을 수 있도록 한다.
인식모듈(104)은 전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기(2)에 발송한다.
본 실시예에서 상기 미리 트레이닝한 인식모델을 트레이닝하는 상기 원리에 근거하여 알 수 있다 시피 상기 미리 트레이닝한 인식모델은 차량번호판 정보에 근거하여 차량 용도를 인식하므로 전처리 후의 상기 적어도 한장의 사진을 상기 미리 트레이닝한 인식모델로서 입력하면 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 정확하게 인식할 수 있다.
본 실시예에서 상기 적어도 한장의 사진이 한장의 사진이면 상기 인식모듈(104)은 상기 한장의 사진과 대응되는 차량 용도정보를 상기 단말기기(2)에 발송한다. 상기 적어도 한장의 사진이 다수의 사진이면 상기 인식모듈(104)은 매 사진마다의 명칭 및 매 사진과 대응되는 차량 용도정보를 상기 단말기기(2)에 발송한다.
기타 실시예에서 분류모듈(105)은 상기 적어도 한장의 사진이 다수의 사진 일 경우 상기 적어도 한장의 사진과 대응되는 차량 용도에 근거하여 상기 적어도 한장의 사진을 분류하는데 사용된다.
본 실시예에서 상기 차량 용도는 화물차 용도, 경찰 업무 용도, 자가용 용도, 군사 업무 용도를 포함하나 이에 한정되지 않는다. 상기 사진 카테고리는 화물차 용도 사진 카테고리, 경찰 업무 용도 사진 카테고리, 자가용 용도 사진 카테고리, 군사 업무 용도 사진 카테고리를 포함하나 이에 한정되지 않는다.
본 실시예에서 동일한 차량 용도와 대응되는 사진을 동일한 사진 카테고리에 분류하고 상이한 차량 용도와 대응되는 사진을 상이한 사진 카테고리에 분류하고 분류된 후의 사진 카테고리 및 각 사진 카테고리에서의 각 사진의 명칭 및 각 사진과 대응되는 차량 용도정보를 상기 단말기기(2)에 발송한다.
이 외에 본 발명의 각 실시예에서의 각 기능 모듈은 하나의 처리유닛에 집적될 수도 있고 각 유닛이 단독으로 물리적 방식으로 존재할 수도 있으며 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수동 있다. 상기 집적된 유닛은 하드웨어의 방식으로 실현될 수도 있고 하드웨어와 소프트웨어 기능 모듈의 방식으로 실현될 수도 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 본 발명이 상기 시범적인 실시예의 세부적인 내용에 한정되지 않고 본 발명의 정신 또는 기본특징을 벗어나지 않는 상황에서 기타 구체적인 방식으로 본 발명을 실현할 수 있음은 자명한 것이다. 따라서 어느 부분으로부터 보나 모두 실시예를 시범적인 것으로 간주해야 하고 한정적인것으로 간주하지 말아야 하며 본 발명의 범위는 상기 설명이 아닌 첨부된 청구범위에 의해 한정되어야 하므로 청구범위에 포함되는 균등한 요소의 의미와 범위 내의 모든 변화를 본 발명에 포함해야 한다. 청구범위에서의 그 어떤 첨부된 관련 참조부호를 청구범위를 한정하기 위한 것으로 간주하지 말아야 한다. 이 외에 "포함"이란 단어는 기타 유닛 또는 단계를 배제하지 않고 단수는 복수를 배제하지 않는다. 시스템 청구범위에서 진술한 다수의 유닛 또는 장치는 한 유닛 또는 장치가 소프트웨어 또는 하드웨어를 통해 실현할 수도 있다. “제1 ”, “제2 ”(만약 존재하면) 등 단어는 명칭을 나타낼 뿐 그 어떤 특정된 순서를 나타내는 것이 아니다.
마지막으로 설명해야 할 것은 이상의 실시예는 단지 본 발명의 기술적 해결수단을 설명하기 위한 것일 뿐 한정하기 위한 것이 아니고 비록 바람직한 실시예를 참조하여 본 발명에 대해 상세히 설명하였으나 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들이 이해해야 할 것은 본 발명의 기술적 해결수단의 정신과 범위를 벗어나지 않도록 본 발명의 기술적 해결수단에 대해 수정 또는 균등하게 대체할 수 있다.

Claims (18)

  1. 전자장치에 응용되는 딥 러닝에 기반한 차량번호판 분류 방법에 있어서,
    단말기기가 발송한, 차량과 대응되는 차량번호판 정보를 구비하는 적어도 한장의 사진을 획득하는 단계;
    획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 단계; 및
    전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하는 단계를 포함하는 것을 특징으로 하는 딥 러닝에 기반한 차량번호판 분류 방법.
  2. 제1항에 있어서,
    상기 단말기기에 한장의 사진 인식 컨트롤러와 다수의 사진 인식 컨트롤러를 포함하는 차량용도 인식 조작 인터페이스가 표시되고;
    상기 방법은,
    사용자가 상기 한장의 사진 인식 컨트롤러를 통해 상기 전자장치에 발송한 한장의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하는 단계; 또는
    사용자가 상기 다수의 사진 인식 컨트롤러를 통해 상기 전자장치에 발송한 다수의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하는 단계를 포함하는 것을 특징으로 하는 딥 러닝에 기반한 차량번호판 분류 방법.
  3. 제1항에 있어서,
    상기 획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 단계는,
    상기 적어도 한장의 사진에 대해 화이트닝 처리를 진행하여 사진에서의 노이즈 픽셀을 필터링하되 화이트닝 처리 후의 각 사진의 픽셀평균치는 0이고 픽셀 분산은 1인 단계;
    미리 트레이닝한 인식모델의 입력차원에 기반하여 화이트닝 처리 후의 각 사진의 사이즈를 조절하는 단계를 포함하는 것을 특징으로 하는 딥 러닝에 기반한 차량번호판 분류 방법.
  4. 제1항에 있어서,
    상기 미리 트레이닝한 인식모델은 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델이고 상기 딥 컨벌루션 뉴럴 네트워크 모델의 트레이닝 과정은,
    차량번호판 정보를 포함하는 기설정된 수량의 사진샘플을 획득하는 단계;
    획득한 사진샘플에서의 차량번호판 정보와 대응되는 차량 용도에 근거하여 획득한 사진샘플에 대해 차량 용도에 따라 분류하여 적어도 하나의 사진 카테고리를 획득하는 단계;
    매 하나의 사진 카테고리에서의 각 사진샘플을 화이트닝 처리하고 화이트 처리 후의 각 사진샘플의 사이즈를 조절한 다음 조절된 후의 각 사진샘플을 회전하여 매 하나의 사진 카테고리에서의 사진샘플 집합을 획득하는 단계;
    매 하나의 사진 카테고리에서의 사진샘플 집합에서 매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합 및 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합을 획득하는 단계;
    매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합의 사진샘플을 순차적으로 상기 딥 컨벌루션 뉴럴 네트워크 모델에 입력하고 기설정된 트레이닝 알고리즘을 이용하여 차량번호판 정보에 근거하여 차량 용도를 인식하는 딥 컨벌루션 뉴럴 네트워크 모델을 트레이닝하며 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합의 사진샘플을 이용하여 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 체크하는 단계를 포함하는 것을 특징으로 하는 딥 러닝에 기반한 차량번호판 분류 방법.
  5. 제1항에 있어서,
    상기 적어도 한장의 사진이 다수의 사진 일 경우 상기 적어도 한장의 사진과 대응되는 차량 용도에 근거하여 상기 적어도 한장의 사진을 분류하여 동일한 차량 용도와 대응되는 사진을 동일한 사진 카테고리에 분류하고 상이한 차량 용도와 대응되는 사진을 상이한 사진 카테고리에 분류하는 단계를 더 포함하는 것을 특징으로 하는 딥 러닝에 기반한 차량번호판 분류 방법.
  6. 전자장치에서 운행되는 딥 러닝에 기반한 차량번호판 분류 시스템에 있어서,
    단말기기가 발송한, 차량과 대응되는 차량번호판 정보를 구비하는 적어도 한장의 사진을 획득하기 위한 획득모듈;
    적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 전처리모듈; 및
    전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하기 위한 인식모듈을 포함하는 것을 특징으로 한는 딥 러닝에 기반한 차량번호판 분류 시스템.
  7. 제6항에 있어서,
    모듈을 제공하고 상기 단말기기에 한장의 사진 인식 컨트롤러와 다수의 사진 인식 컨트롤러를 포함하는 차량용도 인식 조작 인터페이스가 표시되며;
    상기 획득모듈은 사용자가 상기 한장의 사진 인식 컨트롤러를 통해 상기 전자장치에 발송한 한장의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하는데 더 사용되거나; 또는
    상기 획득모듈은 사용자가 상기 다수의 사진 인식 컨트롤러를 통해 상기 전자장치에 발송한 다수의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하는데 더 사용되는 것을 특징으로 한는 딥 러닝에 기반한 차량번호판 분류 시스템.
  8. 제6항에 있어서,
    상기 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 단계는,
    상기 적어도 한장의 사진에 대해 화이트닝 처리를 진행하여 사진에서의 노이즈 픽셀을 필터링하되 화이트닝 처리 후의 각 사진의 픽셀평균치는 0이고 픽셀 분산은 1인 단계;
    미리 트레이닝한 인식모델의 입력차원에 기반하여 화이트닝 처리 후의 각 사진의 사이즈를 조절하는 단계를 포함하는 것을 특징으로 한는 딥 러닝에 기반한 차량번호판 분류 시스템.
  9. 제6항에 있어서,
    상기 미리 트레이닝한 인식모델은 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델이고 상기 딥 컨벌루션 뉴럴 네트워크 모델의 트레이닝 과정은,
    차량번호판 정보를 포함하는 기설정된 수량의 사진샘플을 획득하는 단계;
    획득한 사진샘플에서의 차량번호판 정보와 대응되는 차량 용도에 근거하여 획득한 사진샘플에 대해 차량 용도에 따라 분류하여 적어도 하나의 사진 카테고리를 획득하는 단계;
    매 하나의 사진 카테고리에서의 각 사진샘플을 화이트닝 처리하고 화이트 처리 후의 각 사진샘플의 사이즈를 조절한 다음 조절된 후의 각 사진샘플을 회전하여 매 하나의 사진 카테고리에서의 사진샘플 집합을 획득하는 단계;
    매 하나의 사진 카테고리에서의 사진샘플 집합에서 매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합 및 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합을 획득하는 단계;
    매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합의 사진샘플을 순차적으로 상기 딥 컨벌루션 뉴럴 네트워크 모델에 입력하고 기설정된 트레이닝 알고리즘을 이용하여 차량번호판 정보에 근거하여 차량 용도를 인식하는 딥 컨벌루션 뉴럴 네트워크 모델을 트레이닝하며 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합의 사진샘플을 이용하여 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 체크하는 단계를 포함하는 것을 특징으로 한는 딥 러닝에 기반한 차량번호판 분류 시스템.
  10. 제6항에 있어서,
    상기 적어도 한장의 사진이 다수의 사진 일 경우 상기 적어도 한장의 사진과 대응되는 차량 용도에 근거하여 상기 적어도 한장의 사진을 분류하여 동일한 차량 용도와 대응되는 사진을 동일한 사진 카테고리에 분류하고 상이한 차량 용도와 대응되는 사진을 상이한 사진 카테고리에 분류하기 위한 분류모듈을 더 포함하는 것을 특징으로 한는 딥 러닝에 기반한 차량번호판 분류 시스템.
  11. 처리기기, 저장기기 및 상기 저장기기에 저장되어 상기 처리기기에 의해 실행되는 적어도 하나의 컴퓨터 판독 가능 명령을 포함하는 딥 러닝에 기반한 차량번호판 분류 시스템을 포함하여,
    단말기기가 발송한, 차량과 대응되는 차량번호판 정보를 구비하는 적어도 한장의 사진을 획득하는 동작;
    획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 동작; 및
    전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하는 동작을 실현하도록 하는 것을 특징으로 하는 전자기기.
  12. 제11항에 있어서,
    상기 단말기기에 한장의 사진 인식 컨트롤러와 다수의 사진 인식 컨트롤러를 포함하는 차량용도 인식 조작 인터페이스가 표시되고;
    상기 적어도 하나의 컴퓨터 판독 가능 명령은 또 상기 처리기기에 의해 실행되어,
    사용자가 상기 한장의 사진 인식 컨트롤러가 발송한 한장의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하는 동작; 또는
    사용자가 상기 다수의 사진 인식 컨트롤러가 발송한 다수의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하는 동작을 수행할 수 있도록 하는 것을 특징으로 하는 전자장치.
  13. 제11항에 있어서,
    상기 획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 동작은,
    상기 적어도 한장의 사진에 대해 화이트닝 처리를 진행하여 사진에서의 노이즈 픽셀을 필터링하되 화이트닝 처리 후의 각 사진의 픽셀평균치는 0이고 픽셀 분산은 1인 단계;
    미리 트레이닝한 인식모델의 입력차원에 기반하여 화이트닝 처리 후의 각 사진의 사이즈를 조절하는 단계를 포함하는 것을 특징으로 하는 전자기기.
  14. 제11항에 있어서,
    상기 미리 트레이닝한 인식모델은 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델이고 상기 딥 컨벌루션 뉴럴 네트워크 모델의 트레이닝 과정은,
    차량번호판 정보를 포함하는 기설정된 수량의 사진샘플을 획득하는 단계;
    획득한 사진샘플에서의 차량번호판 정보와 대응되는 차량 용도에 근거하여 획득한 사진샘플에 대해 차량 용도에 따라 분류하여 적어도 하나의 사진 카테고리를 획득하는 단계;
    매 하나의 사진 카테고리에서의 각 사진샘플을 화이트닝 처리하고 화이트 처리 후의 각 사진샘플의 사이즈를 조절한 다음 조절된 후의 각 사진샘플을 회전하여 매 하나의 사진 카테고리에서의 사진샘플 집합을 획득하는 단계;
    매 하나의 사진 카테고리에서의 사진샘플 집합에서 매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합 및 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합을 획득하는 단계;
    매 하나의 사진 카테고리에서의 트레이닝 대기 사진샘플 집합의 사진샘플을 순차적으로 상기 딥 컨벌루션 뉴럴 네트워크 모델에 입력하고 기설정된 트레이닝 알고리즘을 이용하여 차량번호판 정보에 근거하여 차량 용도를 인식하는 딥 컨벌루션 뉴럴 네트워크 모델을 트레이닝하며 매 하나의 사진 카테고리에서의 체크 대기 사진샘플 집합의 사진샘플을 이용하여 트레이닝 후의 딥 컨벌루션 뉴럴 네트워크 모델을 체크하는 단계를 포함하는 것을 특징으로 하는 전자기기.
  15. 제11항에 있어서,
    상기 적어도 하나의 컴퓨터 판독 가능 명령은 또 상기 처리기기에 의해 실행되어,
    상기 적어도 한장의 사진이 다수의 사진 일 경우 상기 적어도 한장의 사진과 대응되는 차량 용도에 근거하여 상기 적어도 한장의 사진을 분류하여 동일한 차량 용도와 대응되는 사진을 동일한 사진 카테고리에 분류하고 상이한 차량 용도와 대응되는 사진을 상이한 사진 카테고리에 분류하는 동작을 실현할 수 있도록 하는 것을 특징으로 하는 전자기기.
  16. 처리기기에 의해 실행되어 다음과 같은 동작을 실현하도록 하는 적어도 하나의 컴퓨터 판독 가능 명령이 저장된 컴퓨터 판독 가능 저장매체에 있어서,
    단말기기가 발송한, 차량과 대응되는 차량번호판 정보를 구비하는 적어도 한장의 사진을 획득하는 동작;
    획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 동작; 및
    전처리 후의 상기 적어도 한장의 사진을 미리 트레이닝한 인식모델에 입력하고 미리 트레이닝한 인식모델을 이용하여 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 인식하며 상기 적어도 한장의 사진과 대응되는 차량 용도정보를 단말기기에 발송하는 동작을 실현하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체.
  17. 제16항에 있어서,
    상기 단말기기에 한장의 사진 인식 컨트롤러와 다수의 사진 인식 컨트롤러를 포함하는 차량용도 인식 조작 인터페이스가 표시되고;
    상기 적어도 하나의 컴퓨터 명령은,사용자가 상기 한장의 사진 인식 컨트롤러가 발송한 한장의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하는 동작; 또는
    사용자가 상기 다수의 사진 인식 컨트롤러가 발송한 다수의 사진에서의 차량번호판과 대응되는 차량 용도를 인식하는 명령을 수신하는 동작을 실현하는데 더 사용되는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체.
  18. 제16항에 있어서,
    상기 획득한 적어도 한장의 사진을 전처리하여 전처리 후의 상기 적어도 한장의 사진과 미리 트레이닝한 인식모델의 입력 파라미터가 매칭되도록 하는 동작은,
    상기 적어도 한장의 사진에 대해 화이트닝 처리를 진행하여 사진에서의 노이즈 픽셀을 필터링하되 화이트닝 처리 후의 각 사진의 픽셀평균치는 0이고 픽셀 분산은 1인 단계;
    미리 트레이닝한 인식모델의 입력차원에 기반하여 화이트닝 처리 후의 각 사진의 사이즈를 조절하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체.
KR1020187023718A 2016-06-24 2017-06-23 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체 KR102173610B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2016104709069 2016-06-24
CN201610470906.9A CN106127248A (zh) 2016-06-24 2016-06-24 基于深度学习的车牌分类方法及系统
PCT/CN2017/089875 WO2017220032A1 (zh) 2016-06-24 2017-06-23 基于深度学习的车牌分类方法、系统、电子装置及存储介质

Publications (2)

Publication Number Publication Date
KR20190021187A true KR20190021187A (ko) 2019-03-05
KR102173610B1 KR102173610B1 (ko) 2020-11-04

Family

ID=57268929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187023718A KR102173610B1 (ko) 2016-06-24 2017-06-23 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체

Country Status (8)

Country Link
US (1) US10528841B2 (ko)
EP (1) EP3477550A4 (ko)
JP (1) JP6689972B2 (ko)
KR (1) KR102173610B1 (ko)
CN (1) CN106127248A (ko)
AU (1) AU2017272288B2 (ko)
SG (1) SG11201800370VA (ko)
WO (1) WO2017220032A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437309B1 (ko) * 2021-02-24 2022-08-30 주식회사 스톡폴리오 딥러닝을 이용한 영상 카테고리 분류 장치 및 그 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127248A (zh) 2016-06-24 2016-11-16 平安科技（深圳）有限公司 基于深度学习的车牌分类方法及系统
CN106599905B (zh) * 2016-11-25 2018-04-10 杭州中奥科技有限公司 一种基于深度学习的套牌车分析方法
CN108957024A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 一种速度测量的方法、装置以及电子设备
CN107610091A (zh) * 2017-07-31 2018-01-19 阿里巴巴集团控股有限公司 车险图像处理方法、装置、服务器及系统
CN107483813B (zh) * 2017-08-08 2020-11-17 深圳市明日实业有限责任公司 一种根据手势进行跟踪录播的方法、装置及存储装置
CN107526438B (zh) * 2017-08-08 2020-11-13 深圳市明日实业有限责任公司 根据举手动作进行跟踪录播的方法、装置及存储装置
CN108108746B (zh) * 2017-09-13 2021-04-09 湖南理工学院 基于Caffe深度学习框架的车牌字符识别方法
CN108961328A (zh) * 2017-11-29 2018-12-07 北京猎户星空科技有限公司 单摄景深模型生成方法、生成装置及电子设备
US10176405B1 (en) 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN109190469B (zh) * 2018-07-27 2020-06-23 阿里巴巴集团控股有限公司 一种检测方法及装置、一种计算设备及存储介质
CN110569692B (zh) * 2018-08-16 2023-05-12 创新先进技术有限公司 多车识别方法、装置及设备
US20200242511A1 (en) * 2019-01-30 2020-07-30 Oracle International Corporation Dynamic Data Selection for a Machine Learning Model
CN110458287B (zh) * 2019-02-15 2024-05-07 平安科技（深圳）有限公司 神经网络优化器的参数更新方法、装置、终端及存储介质
CN111651410B (zh) * 2019-03-08 2023-04-18 上海铼锶信息技术有限公司 一种样本数据的动态平衡方法及系统
CN109978177B (zh) * 2019-03-19 2023-06-23 腾讯科技（深圳）有限公司 模型训练方法、业务处理方法、装置及相关设备
CN111723601A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像处理的方法及装置
CN110097044B (zh) * 2019-05-13 2020-12-01 苏州大学 基于深度学习的一阶段车牌检测识别方法
CN110427937B (zh) * 2019-07-18 2022-03-22 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN110705847A (zh) * 2019-09-18 2020-01-17 中国南方电网有限责任公司超高压输电公司广州局 一种基于图像识别技术的变电站智能巡检方法及系统
KR20210067783A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템
CN111126469B (zh) * 2019-12-17 2024-02-06 合肥鼎盛锦业科技有限公司 一种井下工具的识别方法、识别装置及电子设备
CN113569884B (zh) * 2020-04-29 2024-09-06 北京金山云网络技术有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
CN111860610B (zh) * 2020-06-29 2023-04-14 高新兴科技集团股份有限公司 一种车牌过曝及有无牌车识别的方法、设备及计算机存储介质
CN112148596B (zh) 2020-09-15 2024-03-22 北京百度网讯科技有限公司 生成深度学习框架的报错内容的方法、装置
CN113159159B (zh) * 2021-04-15 2023-09-29 东北大学 一种基于改进cnn的小样本图像分类方法
CN113343970B (zh) * 2021-06-24 2024-03-08 中国平安人寿保险股份有限公司 文本图像检测方法、装置、设备及存储介质
CN113569844A (zh) * 2021-06-29 2021-10-29 深圳市捷顺科技实业股份有限公司 一种车牌检测的方法及装置
CN113538735B (zh) * 2021-09-13 2021-12-07 蜂巢能源科技有限公司 一种车辆用途识别方法及装置
CN114758194A (zh) * 2022-04-28 2022-07-15 杭州费尔马科技有限责任公司 一种用于智能电子秤的水产品自动计价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086858A (ja) * 2005-09-20 2007-04-05 Omron Corp 車両照会システム
CN105224956A (zh) * 2015-10-16 2016-01-06 深圳市捷顺科技实业股份有限公司 一种基于多特征融合的车牌类别识别方法及系统
CN105654066A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3334807B2 (ja) * 1991-07-25 2002-10-15 株式会社日立製作所 ニュ−ラルネットを利用したパタ−ン分類方法および装置
EP1644863A4 (en) * 2003-07-10 2008-04-16 James Simon AUTONOME WIDE ANGLE NUMBER PLAY IDENTIFICATION
US20060204107A1 (en) * 2005-03-04 2006-09-14 Lockheed Martin Corporation Object recognition system using dynamic length genetic training
US7787664B2 (en) 2006-03-29 2010-08-31 Eastman Kodak Company Recomposing photographs from multiple frames
JP2007293438A (ja) 2006-04-21 2007-11-08 Omron Corp 特徴量取得装置
US8218822B2 (en) 2007-05-14 2012-07-10 Pips Technology, Inc. Apparatus and method for recognizing the state of origin of a vehicle license plate
US8194938B2 (en) 2009-06-02 2012-06-05 George Mason Intellectual Properties, Inc. Face authentication using recognition-by-parts, boosting, and transduction
US20140063237A1 (en) * 2012-09-03 2014-03-06 Transportation Security Enterprises, Inc.(TSE), a Delaware corporation System and method for anonymous object identifier generation and usage for tracking
US9020200B2 (en) * 2012-06-12 2015-04-28 Xerox Corporation Geometric pre-correction for automatic license plate recognition
US9208567B2 (en) 2013-06-04 2015-12-08 Apple Inc. Object landmark detection in images
CN103324920A (zh) * 2013-06-27 2013-09-25 华南理工大学 基于车辆正面图像与模板匹配的车型自动识别方法
US20150125042A1 (en) * 2013-10-08 2015-05-07 Smartlanes Technologies, Llc Method and system for data collection using processed image data
CN104182769B (zh) * 2014-09-17 2018-04-27 深圳市捷顺科技实业股份有限公司 一种车牌检测方法及系统
CN104298976B (zh) * 2014-10-16 2017-09-26 电子科技大学 基于卷积神经网络的车牌检测方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
US10078794B2 (en) * 2015-11-30 2018-09-18 Pilot Ai Labs, Inc. System and method for improved general object detection using neural networks
CN105488517B (zh) * 2015-11-30 2019-03-26 杭州全实鹰科技有限公司 一种基于深度学习的车辆品牌型号识别方法
CN105488532B (zh) * 2015-12-03 2019-03-05 深圳市捷顺科技实业股份有限公司 一种车牌筛选方法及装置
CN105631470A (zh) 2015-12-21 2016-06-01 深圳市捷顺科技实业股份有限公司 一种车牌类型验证的方法及系统
CN105590102A (zh) * 2015-12-30 2016-05-18 中通服公众信息产业股份有限公司 一种基于深度学习的前车车脸识别方法
CN106127248A (zh) * 2016-06-24 2016-11-16 平安科技（深圳）有限公司 基于深度学习的车牌分类方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086858A (ja) * 2005-09-20 2007-04-05 Omron Corp 車両照会システム
CN105224956A (zh) * 2015-10-16 2016-01-06 深圳市捷顺科技实业股份有限公司 一种基于多特征融合的车牌类别识别方法及系统
CN105654066A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437309B1 (ko) * 2021-02-24 2022-08-30 주식회사 스톡폴리오 딥러닝을 이용한 영상 카테고리 분류 장치 및 그 방법

Also Published As

Publication number Publication date
KR102173610B1 (ko) 2020-11-04
CN106127248A (zh) 2016-11-16
AU2017272288A1 (en) 2018-01-18
JP2018535492A (ja) 2018-11-29
JP6689972B2 (ja) 2020-04-28
SG11201800370VA (en) 2018-02-27
US20180253618A1 (en) 2018-09-06
WO2017220032A1 (zh) 2017-12-28
AU2017272288B2 (en) 2019-06-13
EP3477550A1 (en) 2019-05-01
EP3477550A4 (en) 2020-04-01
US10528841B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
KR20190021187A (ko) 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체
JP6873237B2 (ja) 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
CN112257774B (zh) 基于联邦学习的目标检测方法、装置、设备及存储介质
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
WO2020192469A1 (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
JP6859505B2 (ja) 画像に基づく車両損傷判定方法、装置および電子デバイス
US20200097742A1 (en) Training neural networks for vehicle re-identification
DE102020102230A1 (de) Missbrauchsindex für erklärbare künstliche intelligenz in computerumgebungen
US11328401B2 (en) Stationary object detecting method, apparatus and electronic device
WO2018036276A1 (zh) 图片品质的检测方法、装置、服务器及存储介质
WO2018166116A1 (zh) 车损识别方法、电子装置及计算机可读存储介质
US11983903B2 (en) Processing images using self-attention based neural networks
CN110889446A (zh) 人脸图像识别模型训练及人脸图像识别方法和装置
CN105917354A (zh) 用于图像处理的空间金字塔池化网络
US11164306B2 (en) Visualization of inspection results
WO2024001806A1 (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
CN114550051A (zh) 一种车损检测方法、装置、计算机设备及存储介质
WO2021217937A1 (zh) 姿态识别模型的训练方法及设备、姿态识别方法及其设备
CN114241459A (zh) 一种驾驶员身份验证方法、装置、计算机设备及存储介质
US20210195095A1 (en) Systems and methods for guiding image sensor angle settings in different environments
CN110415110B (zh) 进度监测方法、进度监测装置和电子设备
CN118397341A (zh) 一种基于clip的三维点云少样本分类方法及系统
CN116978027A (zh) 图像处理方法、装置、计算机、可读存储介质及程序产品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant