KR20200132714A - 불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체 - Google Patents

불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20200132714A
KR20200132714A KR1020200056365A KR20200056365A KR20200132714A KR 20200132714 A KR20200132714 A KR 20200132714A KR 1020200056365 A KR1020200056365 A KR 1020200056365A KR 20200056365 A KR20200056365 A KR 20200056365A KR 20200132714 A KR20200132714 A KR 20200132714A
Authority
KR
South Korea
Prior art keywords
detection frame
illegal parking
pixel
road category
parking area
Prior art date
Application number
KR1020200056365A
Other languages
English (en)
Other versions
KR102391840B1 (ko
Inventor
구안하오 왕
지 예
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20200132714A publication Critical patent/KR20200132714A/ko
Application granted granted Critical
Publication of KR102391840B1 publication Critical patent/KR102391840B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/00771—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 불법 주차를 검출하는 방법을 제공하는 바, 당해 방법은, 제1 신경망을 통해, 수집 모듈에 의해 수집된 이미지에서 카테고리가 차량인 검출 프레임을 획득하고, 상기 검출 프레임의 좌표 정보를 결정하는 단계; 제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 단계; 및 불법 주차 구역으로 판단될 경우, 미리 설정된 시간 내에 상기 검출 프레임의 좌표 정보가 변화되었는지 여부를 판단하고, 판단 결과에 따라 상기 차량이 불법 주차인지 여부를 결정하는 단계;를 포함한다. 본 개시는 불법 주차를 검출하는 장치, 전자 기기, 컴퓨터 판독가능 매체를 더 제공한다.

Description

불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체{METHOD AND DEVICE FOR DETECTING ILLEGAL PARKING, ELECTRONIC DEVICE, AND COMPUTER-READABLE MEDIUM}
본 개시의 실시예는 컴퓨터 기술 분야에 관한 것으로, 특히, 불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체에 관한 것이다.
오늘날처럼 인공 지능이 빠른 속도로 발전되고 다양한 분야에 침투되는 단계에 있어서, 인공 지능이 안보 및 스마트 시티 분야에서 그 막강한 능력을 차차 보여주기 시작하고 있는 와중에, 도시 관리 및 법률 집행 부서가 도로 불법 주차에 대한 법에 따른 법률 집행은 큰 골치거리로 되어 있다. 생활 품질이 향상됨에 따라, 자가용 차량이 시민 외출의 주요 교통 수단으로 되어 있고, 점점 더 많은 자가용 차량이 도시 도로 계획에 있어서 고려하지 않으면 안될 부분으로 되어 있으나, 주차 공간이 아무리 많을지라도 영원히 자가용 차의 증가 속도를 따라갈 수 없는 바, 불법 주차는 현단계 도시 면모를 파괴하는 주범으로 되어 있고, 현재까지도 도시 관리 부서는 순찰하는 방식을 적용하고 있으며, 순찰하면서 불법 주차를 발견하면 법률을 집행하는 방식을 적용하는데, 이는 도시 관리 부서에 있어서 시간 소모, 재력 소모, 인력 소모가 매우 큰 불법 검출 수단인 것이다.
본 개시의 실시예는 불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체를 제공한다.
제1 측면으로, 본 개시의 실시예는 불법 주차를 검출하는 방법을 제공하는 바,
제1 신경망을 통해, 수집 모듈에 의해 수집된 이미지에서 카테고리가 차량인 검출 프레임을 획득하고, 상기 검출 프레임의 좌표 정보를 결정하는 단계;
제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 단계; 및
불법 주차 구역으로 판단될 경우, 미리 설정된 시간 내에 상기 검출 프레임의 좌표 정보가 변화되었는지 여부를 판단하고, 판단 결과에 따라 상기 차량이 불법 주차인지 여부를 결정하는 단계;를 포함한다.
일부 실시예에서, 상기 제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 단계는
상기 수집 모듈에 의해 수집된 이미지를 제2 신경망에 입력하고, 상기 이미지에서 각 픽셀에 대응되는 도로 카테고리를 출력하여, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계를 획득하는 단계;
상기 이미지에서 상기 검출 프레임에 대응되는 구역의 각 픽셀 좌표를 획득하고, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계에 따라 검출 프레임의 각 픽셀의 도로 카테고리를 획득하는 단계; 및
검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 단계;를 포함한다.
일부 실시예에서, 상기 제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 단계는
상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분만을 제2 신경망에 입력하고, 상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분의 각 픽셀에 대응되는 도로 카테고리를 출력하는 단계; 및
검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 단계;를 포함한다.
일부 실시예에서, 상기 검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 단계는,
검출 프레임의 각 픽셀의 도로 카테고리에 따라 도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 획득하는 단계; 및
도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 미리 설정된 값과 비교하고, 비교 결과에 따라 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 단계;를 포함한다.
일부 실시예에서, 상기 검출 프레임의 좌표 정보는 상기 검출 프레임의 4개의 원점 좌표를 포함한다.
제2 측면으로, 본 개시의 실시예는 불법 주차를 검출하는 장치를 제공하는 바,
제1 신경망을 통해, 수집 모듈에 의해 수집된 이미지에서 카테고리가 차량인 검출 프레임을 획득하고, 상기 검출 프레임의 좌표 정보를 결정하는 차량 위치결정 모듈;
제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 불법 주차 구역 판정 모듈; 및
불법 주차 구역 판정 모듈에 의해 불법 주차 구역으로 판단될 경우, 미리 설정된 시간 내에 상기 검출 프레임의 좌표 정보가 변화되었는지 여부를 판단하고, 판단 결과에 따라 상기 차량이 불법 주차인지 여부를 결정하는 불법 차량 판정 모듈; 을 포함한다.
일부 실시예에서, 상기 불법 주차 구역 판정 모듈은,
상기 수집 모듈에 의해 수집된 이미지를 제2 신경망에 입력하고, 상기 이미지에서 각 픽셀에 대응되는 도로 카테고리를 출력하여, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계를 획득하는 도로 카테고리 결정 유닛;
상기 이미지에서 상기 검출 프레임에 대응되는 구역의 각 픽셀 좌표를 획득하고, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계에 따라 검출 프레임의 각 픽셀의 도로 카테고리를 획득하는 획득 유닛; 및
검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 불법 주차 구역 판정 유닛;을 포함한다.
일부 실시예에서, 상기 불법 주차 구역 판정 모듈은,
상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분만을 제2 신경망에 입력하고, 상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분의 각 픽셀에 대응되는 도로 카테고리를 출력하는 획득 유닛; 및
검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 불법 주차 구역 판정 유닛;을 포함한다.
일부 실시예에서, 상기 불법 주차 구역 판정 유닛은,
검출 프레임의 각 픽셀의 도로 카테고리에 따라 도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 획득하는 계산 서브유닛; 및
도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 미리 설정된 값과 비교하고, 비교 결과에 따라 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 불법 주차 구역 판정 서브유닛;을 포함한다.
제3 측면으로, 본 개시의 실시예는 전자 기기를 제공하는 바,
하나 또는 복수의 프로세서; 및
하나 또는 복수의 프로그램이 저장되어 있는 저장 장치;를 포함하고, 상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수의 프로세서가 상술한 방법을 구현한다.
제4 측면으로, 본 개시의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 매체를 제공하는 바, 상기 프로그램이 프로세서에 의해 실행될 경우, 상술한 방법을 구현한다.
본 개시의 실시예에 의하여 제공되는 불법 주차를 검출하는 방법은, 수집 모듈에 의해 수집된 이미지를 입력으로 하면서, 제1 신경망을 이용하여 카테고리가 차량인 검출 프레임을 결정하는 바, 다시 말해서, 차량에 대해 위치결정을 실행하고, 제2 신경망을 이용하여 도로에 대한 픽셀 레벨의 분류를 실행하여 차량이 위치하는 도로에 대한 정밀한 위치결정을 구현하고 미리 설정된 시간 내에 카테고리가 차량인 검출 프레임의 좌표가 변화되었는지 여부를 판단하여 차량의 불법 주차 행위에 대한 정밀 판정을 구현하는 바, 당해 방법은 불법 주차 행위에 대한 검출를 더 고효율적이게 하고 인력, 물력을 대폭 감소시킨다.
첨부 도면은 본 개시의 실시예에 대한 한층 심화된 이해를 제공하고자 하는 것으로, 명세서의 일부분을 구성하며 본 개시의 실시예와 더불어 본 개시를 해석하는 바, 본 개시를 한정하지 않는다. 첨부 도면을 참조하여 상세한 예시적 실시예를 설명함으로써 위의 및 기타의 특징과 이점은 당업자에 있어서 더욱 자명해질것이다.
도1은 본 개시의 실시예의 불법 주차를 검출하는 방법의 흐름도이다.
도2는 본 개시의 실시예의 단계S2의 제1 종류의 구체적인 흐름도이다.
도3은 본 개시의 실시예의 단계S203의 구체적인 흐름도이다.
도4는 본 개시의 실시예의 단계S2의 제2 종류의 구체적인 흐름도이다.
도5는 본 개시의 실시예의 불법 주차를 검출하는 장치의 블록도이다.
도6은 본 개시의 실시예의 불법 주차 구역 판정 모듈의 제1 종류의 구체적인 블록도이다.
도7은 본 개시의 실시예의 불법 주차 구역 판정 모듈의 제2 종류의 구체적인 블록도이다.
도8은 본 개시의 실시예의 불법 주차 구역 판정 유닛의 구체적인 블록도이다.
당업자한테 본 발명의 기술안을 더 잘 이해시키기 위하여, 이하에서 첨부도면을 결부하여 본 발명에 의하여 제공되는 불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체에 대하여 상세히 설명하고자 한다.
이하, 첨부 도면을 결부하여 예시적인 실시예에 대하여 더 충분하게 설명하고자 하는데, 상기 예시적인 실시예는 다양한 형식으로 구현 가능한 바, 본 명세서에 기술되는 실시예에 한정되는 것으로 해석되어서는 안된다. 반대로, 이러한 실시예를 제공하는 목적은 본 개시를 투철하고 완전하도록 하려는 데 있고 당업자한테 본 개시의 범위를 충분히 이해시키려는 데 있다.
본 명세서에서 사용한 바와 같이, 용어 '및/또는'은 하나 또는 복수의 관련 열거 조목의 임의의 그리고 모든 조합을 포함한다.
본 명세서에서 사용되는 용어는 단지 특정된 실시예를 설명하기 위한 것으로, 본 개시를 한정하려는 것이 아니다. 본 명세서에서 사용한 바와 같이, 단수 형식인 '하나' 및 '당해'는 별도로 명확한 지적이 있지 않은 한, 복수 형식도 포함한다. 본 명세서에서 용어 '포함한다' 및/또는 '…로 제조된다'가 사용될 경우, 이는 상기 특징, 전일체, 단계, 조작, 소자 및/또는 컴포넌트가 존재함을 가리키는 것이나, 하나 또는 복수의 기타의 특징, 전일체, 단계, 조작, 소자, 컴포넌트 및/또는 이들의 그룹이 존재하거나 추가되는 것을 배제하지 않는다는 것을 또한 이해하여야 한다
본 명세서의 실시예는 본 개시의 이상적인 개략도에 의하여, 그리고 평면도 및/또는 단면도를 참조하여 설명된다. 따라서, 제조 기술 및/또는 마진에 따라 예시적인 도면에 대해 수정할 수 있다. 그러므로 실시예는 첨부 도면에 도시한 실시예에 한정되는 것이 아니고, 제조 공정에 따라 초래되는 구성에 대한 수정을 포함한다. 때문에, 첨부 도면에 예시로서 도시한 영역은 예시적인 속성을 가지며, 도면에 도시한 영역의 형상은 소자 영역의 구체 형상을 예시로서 도시하지만 한정하려는 목적은 아니다.
별도의 한정이 있지 않은 한, 본 명세서에 사용되는 모든 용어(기술 용어 및 과학 용어를 포함함)의 함의는 당업자가 통상적으로 이해하는 함의와 동일하다. 예를 들면, 상용 사전에서 한정하는 용어는 관련 기술에서의 및 본 개시의 배경에서의 함의와 일치한 함의를 가지는 것으로 해석되어야 하고, 명세서에 명확한 한정이 있지 않은 한, 이상화된 또는 과도하게 형식적인 함의를 가지는 것으로 해석되어서는 안된다는 것을 또한 이해하여야 한다.
본 개시의 실시예는 불법 주차를 검출하는 방법을 제공하는 바, 당해 방법은 주로 2개의 신경망을 응용하는 것으로, 이는 바로 아래 실시예에서 언급되는 제1 신경망과 제2 신경망이고; 여기서, 제1 신경망은 이미지 정보를 입력으로 하고 목표 카테고리가 차량인 검출 프레임을 출력하도록 구성되고; 제2 신경망은 이미지 정보를 입력으로 하고 입력되는 이미지에 대해 픽셀 레벨의 분할을 실행하고, 이미지에서 각 픽셀에 대응되는 도로 카테고리를 출력하도록 구성된다.
부연하자면, 본 개시의 실시예의 방법을 구현하기 전에, 우선 일정 수량의 샘플을 수집하여 모델 트레이닝을 실행함으로써 상응한 신경망을 획득하는 것이 필요하고 신경망에 대한 트레이닝은 당업자한테 공지된 기술 수단으로, 이에 대한 상세한 설명은 생략하기로 한다.
여기서, 본 개시의 실시예의 불법 주차를 검출하는 방법을 실행하는 주체는 불법 주차를 검출하는 장치일 수도 있고, 당해 장치는 수집 모듈(카메라)에 집적될 수도 있다.
도1은 본 개시의 실시예의 불법 주차를 검출하는 방법의 흐름도이다.
제1 측면으로, 본 개시의 실시예는 불법 주차를 검출하는 방법을 제공하는 바, 도1을 참조하면, 당해 방법은 구체적으로 다음과 같은 단계를 포함한다.
S1, 제1 신경망을 통해, 수집 모듈에 의해 수집된 이미지에서 카테고리가 차량인 검출 프레임을 획득하고, 검출 프레임의 좌표 정보를 결정한다.
여기서, 수집 모듈은 카메라일 수 있는 바, 예를 들어 교통 신호등 윗쪽에 장착되는 카메라일 수도 있고, 본 개시의 실시예는 수집 모듈이 카메라인 경우를 예로 들어 설명한다.
구체적으로, 카메라는 수집한 이미지(프레임을 단위로 함)를 프레임 별로 제1 신경망에 입력하고 제1 신경망은 검출 프레임을 통해 이미지 내의 특징을 추출한 후 검출 프레임 내의 특징을 분류하여 카테고리가 차량인 검출 프레임을 출력한다.
부연하자면, 실제 도로 모니터링 장면에서, 카메라의 모니터링 범위는 넓고 차량은 많으므로 바람직하게는 1024*640의 고해상도 이미지를 제1 신경망에 대한 입력으로 적용하는 바, 모니터링 장면에서 차량이 지나치게 적지 않도록 확보하고 가능한 많은 차량을 정확하게 검출해낸다.
여기서, 본 개시의 실시예에 적용된 제1 신경망은 다중 스케일 CNN신경망이다. 실제 장면에서, 카메라는 가까이에서부터 멀리있는 곳을 향해 촬영하고, 카메라가 촬영한 이미지에서의 차량 스케일은 카메라와의 거리에 따라 큰 것에서부터 작은 것으로획득되므로, 다중 스케일 CNN신경망을 적용하면 이미지의 다중 스케일 특징을 추출할 수 있고, 부동한 스케일에 있어서 차량의 위치결정을 구현할 수 있다.
여기서, 이미지에서 각 픽셀의 위치마다 하나의 좌표로 표시 가능하며, 본 개시의 실시예의 검출 프레임은 프레임이 이미지 내에 있는 것으로, 따라서 검출 프레임의 좌표 정보는 이미지 내의 픽셀의 위치와 동일한 좌표계가 적용되고, 좌표는 서로 대응되는 것으로, 다시 말해서, 검출 프레임의 어느 한 점의 좌표는 이미지에서 어느 한 픽셀의 위치 좌표인 셈이다.
S2, 제2 신경망을 통해, 이미지에서 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 바, 단계S2에서 검출 프레임의 구역이 불법 주차 구역으로 판단될 경우, 단계S3을 실행하고, 단계S2에서 검출 프레임의 구역이 비불법 주차 구역으로 판단될 경우, 단계S2에서 종료한다.
부연하자면, 도로 장면은 복잡한 바, 본 개시의 실시예의 방법을 실시하기 전에, 우선 도로 카테고리를 구획하고 일정 수량의 도로 특징을 샘플로 수집하여 트레이닝함으로써, 제2 신경망을 획득하여 도로에 대한 분류를 실행한다. 예를 들어, 도로를 정상 도로, 시각장애인 보도, 화원, 주차 구역 및 기타로 구획하는 바; 여기서, 정상 도로는 자동차 주행 도로를 가리키고 대부분의 구역은 모두 정상 도로에 속하며; 시각장애인 보도는 건물 앞의 선명한 시각장애인 보도 표기가 되어 있는 구역을 가리키고; 화원은 도로변의 도시 건설 화원 구역을 가리키고, 이는 보조적인 판단 유형으로 간주되며; 주차 구역은 도로변의 흰색 또는 노란색 표기가 되어 있는 주차 구역을 가리킨다.
도2는 본 개시의 실시예의 단계S2의 제1 종류의 구체적인 흐름도이다.
일부 실시예에서, 도2를 참조하면, 단계S2의 제1 종류의 구체적인 구현은 구체적으로 다음과 같은 단계를 포함할 수 있다.
S201, 카메라에 의해 수집된 이미지를 제2 신경망에 입력하고， 이미지에서 각 픽셀에 대응되는 도로 카테고리를 출력하여, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계를 획득한다.
구체적으로, 카메라에 의해 수집된 이미지를 제2 신경망의 입력으로 하고， 분할 알고리즘을 통해 도로를 정상 도로, 시각장애인 보도, 화원, 주차 구역 및 기타 이러한 5가지 유형으로 분할한 후, 픽셀 레벨의 분할을 실행하여 각 픽셀에 대응되는 도로 카테고리를 출력할 수 있는 바, 다시 말해서, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계를 획득함으로써 픽셀 레벨로 분할하는 목적을 달성한다.
S202, 상기 이미지에서 상기 검출 프레임에 대응되는 구역의 각 픽셀 좌표를 획득하고, 단계S201에서 획득되는 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계에 따라 검출 프레임의 각 픽셀의 도로 카테고리를 획득한다.
다시 말해서, 단계S201에서 이미지에서 각 픽셀의 도로 카테고리를 획득하고, 단계S202에서 단계S201에서 획득된 검출 프레임의 각 픽셀의 도로 카테고리에 따라 검출 프레임의 각 픽셀의 도로 카테고리를 결정한다.
S203, 검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단한다.
도3은 본 개시의 실시예의 단계S203의 구체적인 흐름도이다.
일부 실시예에서, 도3을 참조하면, 단계S203은 다음과 같은 단계를 포함할 수 있다.
S2031, 검출 프레임의 각 픽셀의 도로 카테고리에 따라 도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 획득한다.
예를 들어 검출 프레임의 각 픽셀의 도로 카테고리가 시각장애인 보도(시각장애인 보도의 카테고리는 불법 도로 카테고리임)에 위치하게 되는 픽셀의 수량을 통계한다.
S2032, 도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 미리 설정된 값과 비교하고, 비교 결과에 따라 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단한다.
다시 말해서, 단계S2031에서 획득된 불법 도로 카테고리에 대응되는 픽셀의 수량이 미리 설정된 값보다 클 경우, 이는 검출 프레임 내의 차량이 불법 주차 구역에 위치하여 있음을 말해준다. 단계S2031에서 획득된 불법 도로 카테고리에 대응되는 픽셀의 수량이 미리 설정된 값보다 작을 경우, 이는 검출 프레임 내의 차량이 정상 도로에 위치하여 있음을 말해준다.
물론, 검출 프레임의 각 픽셀의 도로 카테고리가 정상 도로 카테고리에 위치하게 되는 픽셀의 수량을 통계할 수도 있는 바, 이에 따르면, 상술한 방법에 따라 차량이 불법 주차인지 여부를 똑같이 판단할 수가 있다.
도4는 본 개시의 실시예의 단계S2의 제2 종류의 구체적인 흐름도이다.
일부 실시예에서, 도4를 참조하면, 단계S2의 제2 종류의 구체적인 구현은 다음과 같은 단계를 포함할 수 있다.
S211, 이미지에서 검출 프레임의 구역에 대응되는 부분만을 제2 신경망에 입력하고, 상기 이미지에서 검출 프레임의 구역에 대응되는 부분의 각 픽셀에 대응되는 도로 카테고리를 출력한다.
구체적으로, 단계S211에서, 우선 카메라에 의해 수집된 이미지에서 검출 프레임의 구역에 대응되는 부분에 대해 인식하는 것이 필요한 바, 다시 말해 검출 프레임 이미지를 획득하고; 그 다음, 검출 프레임 이미지를 제2 신경망에 입력하여 픽셀 레벨의 분할을 실행함으로써 검출 프레임 내의 각각의 픽셀에 대응되는 도로 카테고리를 출력한다.
S212, 검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단한다.
단계S212는 상술한 단계203와 마찬가지로 구현되는 것으로, 이에 대한 상세한 설명을 생략하기로 한다.
S3, 미리 설정된 시간 내에 검출 프레임의 좌표 정보가 변화되었는지 여부를 판단하고, 판단 결과에 따라 검출 프레임 내의 차량이 불법 주차인지 여부를 결정한다.
구체적으로, 일부 실시예에서, 검출 프레임의 좌표 정보는 검출 프레임의 원점 좌표일 수 있는 바, 다시 말해 직사각형의 검출 프레임의 4개 코너 포인트의 좌표이다. 미리 설정된 시간 내에 검출 프레임의 이러한 4개의 코너 포인트의 좌표가 변화했을 경우, 이는 차량의 이동이 발생하였음을 말해주는 바, 다시 말해 당해 차량이 불법 주차 구역에 장기간 주차하지 않았고 따라서 당해 차량은 불법 주차하지 않았다는 것을 말해주며; 미리 설정된 시간 내에 검출 프레임의 이러한 4개의 코너 포인트의 좌표가 변화하지 않았을 경우, 이는 차량이 정지된 채 움직이지 않았다는 것을 말해주며 따라서 당해 차량은 불법 주차하였다고 판정한다.
본 개시의 실시예에 의하여 제공되는 불법 주차를 검출하는 방법은, 수집 모듈에 의해 수집된 이미지를 입력으로 하면서, 제1 신경망을 이용하여 카테고리가 차량인 검출 프레임을 결정하는 바, 다시 말해서, 차량에 대해 위치결정을 실행하고, 제2 신경망을 이용하여 도로에 대한 픽셀 레벨의 분류를 실행하여 차량이 위치하는 도로에 대한 정밀한 위치결정을 구현하고, 미리 설정된 시간 내에 카테고리가 차량인 검출 프레임의 좌표가 변화되었는지 여부를 판단하여 차량의 불법 주차 행위에 대한 정밀 판정을 구현하는 바, 당해 방법은 불법 주차 행위에 대한 검출를 더 고효율적이게 하고 인력, 물력을 대폭 감소시킨다.
도5는 본 개시의 실시예의 불법 주차를 검출하는 장치의 블록도이다.
제2 측면으로, 본 개시의 실시예는 불법 주차를 검출하는 장치를 제공하는 바, 도5를 참조하면, 당해 장치는 차량 위치결정 모듈(1), 불법 주차 구역 판정 모듈(2), 불법 차량 판정 모듈(3)을 포함한다.
여기서, 차량 위치결정 모듈(1)은 제1 신경망을 통해, 수집 모듈에 의해 수집된 이미지에서 카테고리가 차량인 검출 프레임을 획득하고, 상기 검출 프레임의 좌표 정보를 결정하며; 불법 주차 구역 판정 모듈(2)은 제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하고; 불법 차량 판정 모듈(3)은 불법 주차 구역 판정 모듈에 의해 불법 주차 구역으로 판단될 경우, 미리 설정된 시간 내에 상기 검출 프레임의 좌표 정보가 변화되었는지 여부를 판단하고, 판단 결과에 따라 상기 차량이 불법 주차인지 여부를 결정한다.
본 개시의 실시예에 의하여 제공되는 불법 주차를 검출하는 장치는, 수집 모듈에 의해 수집된 이미지를 입력으로 하면서, 제1 신경망을 이용하여 카테고리가 차량인 검출 프레임을 결정하는 바, 다시 말해서, 차량에 대해 위치결정을 실행하고, 제2 신경망을 이용하여 도로에 대한 픽셀 레벨의 분류를 실행하여 차량이 위치하는 도로에 대한 정밀한 위치결정을 구현하고, 미리 설정된 시간 내에 카테고리가 차량인 검출 프레임의 좌표가 변화되었는지 여부를 판단하여 차량의 불법 주차 행위에 대한 정밀 판정을 구현하는 바, 당해 방법은 불법 주차 행위에 대한 검출를 더 고효율적이게 하고 인력, 물력을 대폭 감소시킨다.
부연하자면, 본 개시의 실시예의 차량 위치결정 모듈(1)은 상술한 실시예의 단계S1을 실행할 수 있고; 불법 주차 구역 판정 모듈(2)은 상술한 실시예의 단계S2를 실행할 수 있고; 불법 차량 판정 모듈(3)은 상술한 실시예의 단계S3을 실행할 수 있다.
도6은 본 개시의 실시예의 불법 주차 구역 판정 모듈의 제1 종류의 구체적인 블록도이다.
일부 실시예에서, 도6을 참조하면, 불법 주차 구역 판정 모듈(2)은 도로 카테고리 결정 유닛(201), 획득 유닛(202), 불법 주차 구역 판정 유닛(203)을 포함한다.
여기서, 도로 카테고리 결정 유닛(201)은 상기 수집 모듈에 의해 수집된 이미지를 제2 신경망에 입력하고, 상기 이미지에서 각 픽셀에 대응되는 도로 카테고리를 출력하여, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계를 획득하고; 획득 유닛(202)은 이미지에서 상기 검출 프레임에 대응되는 구역의 각 픽셀 좌표를 획득하고, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계에 따라 검출 프레임의 각 픽셀의 도로 카테고리를 획득하며; 불법 주차 구역 판정 유닛(203)은 검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단한다.
부연하자면, 본 개시의 실시예의 도로 카테고리 결정 유닛(201)은 상술한 실시예의 단계201을 실행할 수 있고; 획득 유닛(202)은 상술한 실시예의 단계S202를 실행할 수 있고; 불법 주차 구역 판정 유닛(203)은 상술한 실시예의 단계S203을 실행할 수 있다.
도7은 본 개시의 실시예의 불법 주차 구역 판정 모듈의 제2 종류의 구체적인 블록도이다.
일부 실시예에서, 도7을 참조하면, 불법 주차 구역 판정 모듈(2)은 획득 유닛(211) 및 불법 주차 구역 판정 유닛(212)을 포함한다.
여기서, 획득 유닛(211)은 상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분만을 제2 신경망에 입력하고, 상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분의 각 픽셀에 대응되는 도로 카테고리를 출력하며; 불법 주차 구역 판정 유닛(212)은 검출 프레임에서 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단한다.
부연하자면, 본 개시의 실시예의 획득 유닛(211)은 상술한 실시예의 단계S212를 실행할 수 있고; 불법 주차 구역 판정 유닛(212)은 상술한 실시예의 단계S213을 실행할 수 있다.
도8은 본 개시의 실시예의 불법 주차 구역 판정 유닛의 구체적인 블록도이다.
일부 실시예에서, 도8을 참조하면, 불법 주차 구역 판정 유닛(203, 212)은 계산 서브유닛(2031) 및 불법 주차 구역 판정 서브유닛(2032)을 포함한다.
여기서, 계산 서브유닛(2031)은 검출 프레임의 각 픽셀의 도로 카테고리에 따라 도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 획득하고; 불법 주차 구역 판정 서브유닛(2032)도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 미리 설정된 값과 비교하고, 비교 결과에 따라 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단한다.
부연하자면, 본 개시의 실시예의 계산 서브유닛(2031)은 상술한 실시예의 단계S2031을 실행할 수 있고; 불법 주차 구역 판정 서브유닛(2032)은 상술한 실시예의 단계S2032를 실행할 수 있다.
제3 측면으로, 본 개시의 실시예는 전자 기기를 제공하는 바,
하나 또는 복수의 프로세서; 및
하나 또는 복수의 프로그램이 저장되어 있는 저장 장치;를 포함하고, 하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행될 경우, 하나 또는 복수의 프로세서가 상술한 어느 하나의 불법 주차를 검출하는 방법을 구현한다.
제4 측면으로, 본 개시의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 매체를 제공하는 바, 프로그램이 프로세서에 의해 실행될 경우, 상술한 어느 하나의 불법 주차를 검출하는 방법을 구현한다.
당업자라면, 본 명세서에 개시되는 방법에서 전체 또는 일부의 단계, 시스템, 장치 중의 기능 모듈/유닛은 소프트웨어, 펌웨어, 하드웨어 및 이들의 적당한 조합으로 구현될 수 있음을 이해할 수 있다. 펌웨어의 구현 방식에서, 위의 설명에서 언급된 기능 모듈/유닛 사이의 구획은 반드시 물리적인 컴포넌트의 구획에 대응되는 것은 아닌바; 예를 들어, 하나의 물리적인 컴포넌트가 복수의 기능을 구비할 수도 있고 하나의 기능 또는 단계가 몇개의 물리적인 컴포넌트의 협동으로 실행될 수도 있다. 일부 물리적인 컴포넌트 또는 모든 물리적인 컴포넌트는 프로세서, 예를 들면 중앙 처리 장치, 디지털 신호 프로세서 또는 마이크로프로세서에 의하여 실행되는 소프트웨어로 구현될 수도 있고 하드웨어로 구현될 수도 있고, 집적회로, 예를 들면 주문형 집적회로(Application Specific Integrated Circuit)로 구현될 수도 있다. 이러한 소프트웨어는 컴퓨터 판독가능 매체에 분포될 수 있고, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체(또는 비임시성 매체)와 통신 매체(또는 임시성 매체)를 포함할 수 있다. 예를 들면, 당업자에게 공지된 용어 컴퓨터 저장 매체는, 정보(예를 들어 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터)를 저장하는 임의의 방법 또는 기술에서 구현되는 휘발성인 및 비휘발성인, 제거 가능한 및 제거 불가능한 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타의 메모리 기술; CD-ROM, 디지털 다기능 디스크(DVD) 또는 기타의 광디스크 저장; 자기 카트리지, 자기 테이프, 자기 디스크 저장 또는 기타의 자기 저장 장치; 또는 원하는 정보를 저장하고 컴퓨터에 의하여 액세스 가능한 임의의 다른 매체를 포함하나 이에 한정되지 않는다. 또한, 당업자에게 공지된 바로는, 통신 매체는 통상적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 예를 들어 반송파나 기타 전송 매커니즘 부류의 변조 데이터 신호 중의 기타 데이터를 포함하고, 또한, 임의의 정보 전달 매체를 포함할 수 있다.
본 명세서에는 이미 예시적인 실시예가 개시되었고 또 비록 구체적인 용어가 적용되었지만 이러한 것은 단지 일반적 설명의 함의로 사용되는 것으로, 그러하게 해석되어야 하며 한정을 위한 목적이 아니다. 일부 실시예에 있어서, 별도의 명확한 지적이 있지 않은 한, 특정 실시예에 결부되어 설명되는 특징, 특성 및/또는 요소는 단독 사용이 가능하다는 것은 당업자에게 자명한 바이다, 따라서, 당업자라면, 첨부되는 특허청구범위에 명시되는 본 개시의 범위를 벗어나지 않는 전제하에 여러 가지 형식상의 및 디테일적인 변경이 가능하다는 것을 이해할 수 있다.

Claims (11)

  1. 불법 주차를 검출하는 방법에 있어서,
    제1 신경망을 통해, 수집 모듈에 의해 수집된 이미지에서 카테고리가 차량인 검출 프레임을 획득하고, 상기 검출 프레임의 좌표 정보를 결정하는 단계;
    제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 단계; 및
    불법 주차 구역으로 판단될 경우, 미리 설정된 시간 내에 상기 검출 프레임의 좌표 정보가 변화되었는지 여부를 판단하고, 판단 결과에 따라 상기 차량이 불법 주차인지 여부를 결정하는 단계; 를 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 방법.
  2. 제1항에 있어서,
    상기 제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 단계는,
    상기 수집 모듈에 의해 수집된 이미지를 제2 신경망에 입력하고, 상기 이미지에서 각 픽셀에 대응되는 도로 카테고리를 출력하여, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계를 획득하는 단계;
    상기 이미지에서 상기 검출 프레임에 대응되는 구역의 각 픽셀 좌표를 획득하고, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계에 따라 검출 프레임의 각 픽셀의 도로 카테고리를 획득하는 단계; 및
    검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 단계; 를 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 방법.
  3. 제1항에 있어서,
    상기 제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 단계는
    상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분만을 제2 신경망에 입력하고, 상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분의 각 픽셀에 대응되는 도로 카테고리를 출력하는 단계; 및
    검출 프레임에서 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 단계; 를 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 단계는,
    검출 프레임의 각 픽셀의 도로 카테고리에 따라 도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 획득하는 단계; 및
    도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 미리 설정된 값과 비교하고, 비교 결과에 따라 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 단계; 를 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 방법.
  5. 제1항에 있어서,
    상기 검출 프레임의 좌표 정보는 상기 검출 프레임의 4개의 원점 좌표를 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 방법.
  6. 불법 주차를 검출하는 장치에 있어서,
    제1 신경망을 통해, 수집 모듈에 의해 수집된 이미지에서 카테고리가 차량인 검출 프레임을 획득하고, 상기 검출 프레임의 좌표 정보를 결정하는 차량 위치결정 모듈;
    제2 신경망을 통해, 상기 이미지에서 상기 검출 프레임에 대응되는 구역이 불법 주차 구역인지 여부를 판단하는 불법 주차 구역 판정 모듈; 및
    불법 주차 구역 판정 모듈에 의해 불법 주차 구역으로 판단될 경우, 미리 설정된 시간 내에 상기 검출 프레임의 좌표 정보가 변화되었는지 여부를 판단하고, 판단 결과에 따라 상기 차량이 불법 주차인지 여부를 결정하는 불법 차량 판정 모듈; 을 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 장치.
  7. 제6항에 있어서,
    상기 불법 주차 구역 판정 모듈은,
    상기 수집 모듈에 의해 수집된 이미지를 제2 신경망에 입력하고, 상기 이미지에서 각 픽셀에 대응되는 도로 카테고리를 출력하여, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계를 획득하는 도로 카테고리 결정 유닛;
    상기 이미지에서 상기 검출 프레임에 대응되는 구역의 각 픽셀 좌표를 획득하고, 각 픽셀 좌표와 도로 카테고리 사이의 대응 관계에 따라 검출 프레임의 각 픽셀의 도로 카테고리를 획득하는 획득 유닛; 및
    검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 불법 주차 구역 판정 유닛;을 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 장치.
  8. 제6항에 있어서,
    상기 불법 주차 구역 판정 모듈은,
    상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분만을 제2 신경망에 입력하고, 상기 이미지에서 상기 검출 프레임의 구역에 대응되는 부분의 각 픽셀에 대응되는 도로 카테고리를 출력하는 획득 유닛; 및
    검출 프레임의 각 픽셀의 도로 카테고리 및 미리 설정된 규칙에 따라, 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 불법 주차 구역 판정 유닛; 을 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 장치.
  9. 제7항 또는 제8항에 있어서,
    상기 불법 주차 구역 판정 유닛은,
    검출 프레임의 각 픽셀의 도로 카테고리에 따라 도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 획득하는 계산 서브유닛; 및
    도로 카테고리의 불법 도로 카테고리에 대응되는 픽셀의 수량을 미리 설정된 값과 비교하고, 비교 결과에 따라 상기 검출 프레임이 위치한 구역이 불법 주차 구역인지 여부를 판단하는 불법 주차 구역 판정 서브유닛; 을 포함하는 것,
    을 특징으로 하는 불법 주차를 검출하는 장치.
  10. 전자 기기에 있어서,
    하나 또는 복수의 프로세서; 및
    하나 또는 복수의 프로그램이 저장되어 있는 저장 장치; 를 포함하고
    상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수의 프로세서가 제1항 내지 제3항 중 어느 한 항의 방법을 구현하는 것,
    을 특징으로 하는 전자 기기.
  11. 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 매체에 있어서,
    상기 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제3항 중 어느 한 항의 방법이 구현되는 것,
    을 특징으로 하는 컴퓨터 판독가능 매체.
KR1020200056365A 2019-05-17 2020-05-12 불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체 KR102391840B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910412569.1A CN110135356A (zh) 2019-05-17 2019-05-17 违章停车的检测方法及装置、电子设备、计算机可读介质
CN201910412569.1 2019-05-17

Publications (2)

Publication Number Publication Date
KR20200132714A true KR20200132714A (ko) 2020-11-25
KR102391840B1 KR102391840B1 (ko) 2022-04-27

Family

ID=67574851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200056365A KR102391840B1 (ko) 2019-05-17 2020-05-12 불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체

Country Status (4)

Country Link
US (1) US11380104B2 (ko)
JP (1) JP6975369B2 (ko)
KR (1) KR102391840B1 (ko)
CN (1) CN110135356A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047872A (zh) * 2019-11-29 2020-04-21 武汉虹信技术服务有限责任公司 一种基于智能分析的道路违停车辆管理系统及方法
CN111325171A (zh) * 2020-02-28 2020-06-23 深圳市商汤科技有限公司 异常停车监测方法及相关产品
CN113538958A (zh) * 2020-04-14 2021-10-22 深圳富泰宏精密工业有限公司 停车警示方法、车载装置及可读存储介质
CN112419733B (zh) * 2020-10-16 2023-05-05 杭州智行星科技有限公司 一种用户不规范停车的检测方法、装置、设备和存储介质
CN112016534B (zh) * 2020-10-26 2021-02-05 城云科技（中国）有限公司 车辆违停检测的神经网络的训练方法、检测方法和装置
CN112966572B (zh) * 2021-02-19 2023-04-18 合肥海赛信息科技有限公司 一种基于视频分析的非机动车违停智能检测方法
CN113299073B (zh) 2021-04-28 2023-05-23 北京百度网讯科技有限公司 识别车辆违章停车的方法、装置、设备和存储介质
CN113298962A (zh) * 2021-05-15 2021-08-24 北京筑梦园科技有限公司 一种车辆信息识别装置及停车管理系统
CN113473077A (zh) * 2021-05-31 2021-10-01 超级视线科技有限公司 一种基于多维度的路侧逆向停车的判断方法及系统
CN114267019A (zh) * 2021-12-29 2022-04-01 北京精英路通科技有限公司 识别方法、装置、设备以及存储介质
CN114530056B (zh) * 2022-02-15 2023-05-02 超级视线科技有限公司 一种基于定位信息和图像信息的停车管理方法及系统
CN115049948B (zh) * 2022-08-15 2022-11-22 深圳市万物云科技有限公司 基于神经网络模型的无人机巡检方法、装置及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577747B1 (ko) * 2013-10-24 2015-12-15 주식회사 에스원 불법 주정차 감지 방법 및 시스템
CN107730903A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN108216229A (zh) * 2017-09-08 2018-06-29 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템
CN109255959A (zh) * 2018-06-25 2019-01-22 北京筑梦园科技有限公司 一种车辆监管方法和系统
KR101970442B1 (ko) * 2018-12-04 2019-04-19 주식회사 넥스파시스템 Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002190011A (ja) 2000-12-21 2002-07-05 Nec Corp 画像認識による停止車両検知システム及び停止車両検知方法
JP6605883B2 (ja) 2015-08-26 2019-11-13 株式会社日立製作所 駐停車監視支援システム及び駐停車監視支援方法
JP6761708B2 (ja) 2016-09-05 2020-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム
US10296794B2 (en) * 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
CN108509826B (zh) * 2017-02-27 2022-03-01 千寻位置网络有限公司 一种遥感影像的道路识别方法及其系统
CN106935035B (zh) * 2017-04-07 2019-07-23 西安电子科技大学 基于ssd神经网络的违章停车车辆实时检测方法
CN107609491B (zh) * 2017-08-23 2020-05-26 中国科学院声学研究所 一种基于卷积神经网络的车辆违章停车检测方法
DE102017130488A1 (de) * 2017-12-19 2019-06-19 Valeo Schalter Und Sensoren Gmbh Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577747B1 (ko) * 2013-10-24 2015-12-15 주식회사 에스원 불법 주정차 감지 방법 및 시스템
CN107730903A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN108216229A (zh) * 2017-09-08 2018-06-29 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템
CN109255959A (zh) * 2018-06-25 2019-01-22 北京筑梦园科技有限公司 一种车辆监管方法和系统
KR101970442B1 (ko) * 2018-12-04 2019-04-19 주식회사 넥스파시스템 Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템

Also Published As

Publication number Publication date
JP2020191081A (ja) 2020-11-26
CN110135356A (zh) 2019-08-16
US20200364467A1 (en) 2020-11-19
JP6975369B2 (ja) 2021-12-01
KR102391840B1 (ko) 2022-04-27
US11380104B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
KR20200132714A (ko) 불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체
Son et al. Real-time illumination invariant lane detection for lane departure warning system
US10133941B2 (en) Method, apparatus and device for detecting lane boundary
Kühnl et al. Spatial ray features for real-time ego-lane extraction
US20130336581A1 (en) Multi-cue object detection and analysis
KR101922852B1 (ko) 영상 기반 색상정보를 이용한 초지 경계 검출 방법
CN110991215B (zh) 车道线检测方法、装置、存储介质及电子设备
CN112418081B (zh) 一种空地联合快速勘察交通事故的方法及系统
Batista et al. Lane detection and estimation using perspective image
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
Vishwakarma et al. Analysis of lane detection techniques using opencv
Prutha et al. Morphological image processing approach of vehicle detection for real-time traffic analysis
Xuan et al. Robust lane-mark extraction for autonomous driving under complex real conditions
Xiong et al. Fast and robust approaches for lane detection using multi‐camera fusion in complex scenes
Choudhury et al. An Efficient Algorithm for Detecting and Measure the Properties of Pothole
KR20160015091A (ko) 교통신호제어 시스템의 보행자 검출 및 행동패턴 추적 방법
Duthon et al. Benchmark for the robustness of image features in rainy conditions
Mandal et al. Automated management of pothole related disasters using image processing and geotagging
JP2020095631A (ja) 画像処理装置および画像処理方法
Joshy et al. Improved detection and tracking of lane marking using Hough transform
Zakaria et al. Fully convolutional neural network for Malaysian road lane detection
Rebut et al. Road obstacles detection using a self-adaptive stereo vision sensor: a contribution to the ARCOS French project
JP7359541B2 (ja) 画像処理装置および画像処理方法
JP6143176B2 (ja) 停止線検出装置、移動体制御装置及び停止線検出用プログラム
Liu et al. Detection of geometric shape for traffic lane and mark

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant