KR20220062460A - 차량의 주차 위반을 인식하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 - Google Patents

차량의 주차 위반을 인식하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220062460A
KR20220062460A KR1020220052623A KR20220052623A KR20220062460A KR 20220062460 A KR20220062460 A KR 20220062460A KR 1020220052623 A KR1020220052623 A KR 1020220052623A KR 20220052623 A KR20220052623 A KR 20220052623A KR 20220062460 A KR20220062460 A KR 20220062460A
Authority
KR
South Korea
Prior art keywords
vehicle
image
parking
video image
area
Prior art date
Application number
KR1020220052623A
Other languages
English (en)
Inventor
위팅 두
쉬 다이
멍야오 쑨
스레이 원
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220062460A publication Critical patent/KR20220062460A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 인공지능 분야에 관한 것으로, 특히는 딥 러닝, 클라우드 컴퓨팅 및 컴퓨터 비전 등 분야에 관한 차량의 주차 위반을 인식하는 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 제품을 제공한다. 구체적인 구현 방안은, 전자 기기가 수집한 비디오 이미지를 취득하고; 비디오 이미지 중의 차량의 주차 영역을 인식하며; 전자 기기가 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정하고; 촬영 각도에 기반하여, 비디오 이미지 중의 주차 위반 영역을 결정하며; 차량의 주차 영역 및 주차 위반 영역에 기반하여, 차량의 주차 위반 여부를 인식한다.

Description

차량의 주차 위반을 인식하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램{METHOD AND APPARATUS FOR RECOGNIZING PARKING VIOLATION OF VEHICLE, ELECTRONIC DEVICE, STORAGE MEDIUM, AND COMPUTER PROGRAM}
본 개시는 인공지능 분야에 관한 것으로, 특히는 딥 러닝, 클라우드 컴퓨팅 및 컴퓨터 비전 등 분야에 관한 것이다. 구체적으로는 차량의 주차 위반을 인식하는 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품에 관한 것이다.
인터넷 및 인공지능 기술의 지속적인 발전에 따라, 점점 많은 분야가 자동화 컴퓨팅 및 분석에 관련되기 시작한다. 공용 자전거(Sharing-Bicycle)의 지속적인 발전에 따라, 중요한 교통 도로에 점점 많아지는 공용 자전거는 도시 관리의 난제로 되고 있다.
본 개시는 차량의 주차 위반을 인식하는 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 제품을 제공한다.
본 개시의 일 측면에 따르면, 전자 기기가 수집한 비디오 이미지를 취득하며, 상기 비디오 이미지 중의 차량의 주차 영역을 인식하며, 상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정하며, 상기 촬영 각도에 기반하여, 상기 비디오 이미지 중의 주차 위반 영역을 결정하며, 및, 상기 차량의 주차 영역 및 상기 주차 위반 영역에 기반하여, 상기 차량의 주차 위반 여부를 인식하는 것을 포함하는 차량의 주차 위반을 인식하는 방법을 제공한다.
본 개시의 다른 일 측면에 따르면, 전자 기기가 수집한 비디오 이미지를 취득하기 위한 취득 모듈; 상기 비디오 이미지 중의 차량의 주차 영역을 인식하기 위한 제1 인식 모듈; 상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정하기 위한 제1 결정 모듈; 상기 촬영 각도에 기반하여, 상기 비디오 이미지 중의 주차 위반 영역을 결정하기 위한 제2 결정 모듈; 및 상기 차량의 주차 영역 및 상기 주차 위반 영역에 기반하여, 상기 차량의 주차 위반 여부를 인식하기 위한 제2 인식 모듈;을 포함하는 차량의 주차 위반을 인식하는 장치를 제공한다.
본 개시의 다른 일 측면에 따르면, 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하며, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 본 개시 실시예에 따른 상기 방법을 실행할 수 있게 하는 전자 기기를 제공한다.
본 개시의 다른 일 측면에 따르면, 컴퓨터로 하여금 본 개시의 실시예에 따른 상기 방법을 실행하게 하기 위한 컴퓨터 명령어가 저장된 비휘발성 컴퓨터 판독가능 저장 매체를 제공한다.
본 개시의 다른 일 측면에 따르면, 컴퓨터 프로그램을 포함하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 본 개시의 실시예에 따른 상기 방법을 구현하는 컴퓨터 프로그램 제품을 제공한다.
이해해야 할 것은, 본 부분에서 설명되는 내용은 본 개시의 실시예의 핵심적인 특징 또는 중요한 특징을 표시하기 위한 것이 아니며, 본 개시의 범위를 한정하기 위한 것도 아니다. 본 개시의 다른 특징은 아래의 명세서를 통해 쉽게 이해하게 될 것이다.
도면은 본 기술방안을 더 잘 이해하기 위한 것이며, 본 개시를 한정하기 위한 것은 아니다. 여기서,
도 1a는 본 개시의 실시예에 적합한 시스템 아키텍처를 예시적으로 도시하는 것이고;
도 1b는 본 개시의 실시예를 구현할 수 있는 장면도를 예시적으로 도시하는 것이고;
도 2는 본 개시의 실시예에 따른 차량의 주차 위반을 인식하는 방법의 흐름도를 예시적으로 도시하는 것이고;
도 3은 본 개시의 실시예에 따른 비동력 차량의 주차 위반을 모니터링하는 예시도를 예시적으로 도시하는 것이고;
도 4는 본 개시의 실시예에 따른 차량의 주차 위반을 인식하는 장치의 블록도를 예시적으로 도시하는 것이며; 및
도 5는 본 개시의 실시예를 구현하기 위한 전자 기기의 블록도를 예시적으로 도시하는 것이다.
아래에서 도면을 결합하여 본 개시의 예시적인 실시예에 대해 설명한다. 이해를 돕기 위해, 상기 설명에는 본 개시 실시예의 다양한 세부사항을 포함하며, 이를 오직 예시적인 것으로 간주해야 한다. 따라서, 당업자는 본 개시의 범위 및 사상을 벗어나는 것이 없이, 여기에서 설명되는 실시예에 대해 다양한 변경 및 수정을 진행할 수 있음을 인식해야 한다. 마찬가지로, 명확하고 간명한 설명을 위해, 아래의 설명에서 공지의 기능 및 구조에 대한 설명은 생략한다.
본 개시의 기술방안에서, 언급되는 모니터링 데이터의 수집, 기록, 저장, 공개, 전송, 제공 및 적용 등은 모두 관련 법률 법규의 규정에 부합되며, 또한 공서양속에 어긋나지 않는다.
현재, 관련 기술에서는, 비동력 차량의 주차 위반에 대해, 일반적으로 인공 모니터링을 통해 처리한다. 인공 모니터링 방안은 시간과 정력을 소모하고, 또한 모든 지점을 모니터링하기 어렵다는 것을 이해해야 한다.
이에 대해, 본 개시의 실시예는 복수의 시각에 기반하여 차량의 주차 위반을 인식하는 방법을 제시한다. 비디오 스트림을 디코딩한 각 프레임의 이미지에 대해, 모두 유사도 모델을 이용하여 대응되는 카메라 각도(촬영 각도)에서의 주차 위반 영역을 매칭시킬 수 있다. 이와 동시에 인스턴스 분할 모델을 이용하여 차량(예를 들면, 비동력 차량)의 구체적인 주차 영역을 인식할 수 있다. 그 다음, 차량의 구체적인 주차 영역이 대응되는 주차 위반 영역내에 있는지를 판단한다. 차량의 구체적인 주차 영역이 대응되는 주차 위반 영역내에 있을 경우, 알림 정보를 발송할 수 있다. 예를 들면, 어떤 도로에 주차된 관련 차량은 주차 위반에 속함을 관련 업체에게 알린다. 또는, 예를 들면, 어떤 교통 도로에 주차 위반 차량이 나타남을 교통 관리자에게 알린다.
아래에서, 구체적인 실시예를 결합하여 본 개시를 상세하게 설명한다.
본 개시의 실시예에 따른 차량의 주차 위반을 인식하는 방법 및 장치에 적합한 시스템 아키텍처를 아래와 같이 소개한다.
도 1a는 본 개시의 실시예에 따른 차량의 주차 위반을 인식하는 방법 및 장치에 적합한 시스템 아키텍처를 예시적으로 도시하는 것이다. 주의해야 할 것은, 도 1a에 도시된 것은 단지 본 개시의 기술내용에 대한 당업자의 이해를 돕기 위해, 본 개시의 실시예가 적용될 수 있는 시스템 아키텍처의 예시일 뿐이며, 본 개시의 실시예가 다른 환경 또는 장면에 사용될 수 없음을 의미하는 것은 아니다.
도 1a에 도시된 바와 같이, 시스템 아키텍처(100)는, 서버(104) 및 서로 다른 교통 도로에 배치되는 전자 기기(101, 102, 103, ????)를 포함할 수 있다.
설명해야 할 것은, 본 개시의 실시예에서, 전자 기기(101, 102, 103, ????)는 비디오 이미지를 복수의 시각으로 수집할 수 있는 모니터링 기기일 수 있다. 예를 들면, 전자 기기(101, 102, 103, ????)는 360°의 전방위적이고 사각없이 모니터링할 수 있는 구형 모니터링 카메라일 수 있다. 전자 기기(101, 102, 103, ????) 중의 임의의 전자 기기가 실시간으로 수집하는 비디오 스트림 데이터는 모두 서버(104)에 업로드할 수 있다.
서버(104)는 이러한 비디오 스트림 데이터를 디코딩할 수 있으며, 디코딩하여 얻은 각 프레임의 비디오 이미지에 기반하여, 현재 이미지 촬영 각도에서의 주차 위반 영역 내에 주차 위반한 차량이 있는지를 결정할 수 있다. 나아가, 주차 위반한 차량이 있는 것으로 결정될 경우, 도로 교통이 보다 더 원활해지도록, 서버(104)는 대응되는 차량 경영 업체에 알림 정보를 발송하여, 어떤 교통 도로에 주차된 관련 차량이 주차 위반에 속하므로, 되도록 빨리 처리해야 함을 관련 업체에 알릴 수도 있다.
예시적으로, 이미지 분석을 거쳐, A업체와 B업체가 모두 어떤 교통 도로에 주차 위반한 차량이 있음을 발견할 경우, A업체의 담당자 및 B업체의 담당자에게 동시에 알림 정보를 발송하여, 업체들로 하여금 될수록 빨리 근무자에게 현장으로 가서 주차 위반한 차량을 처리하도록 통보하게 알릴 수 있다.
또는, 주차 위반한 차량이 있는 것으로 결정될 경우, 도로 교통이 보다 더 원활해지도록, 서버(104)는 관련 부서의 관리자(예를 들면, 교통 관리자)에게 알림 정보를 발송하여, 어떤 교통 도로에 대량 또는 소량의 주차 위반한 차량이 나타났으므로, 되도록 빨리 처리해야 함을 적시에 알릴 수도 있다.
본 개시의 실시예를 통해, 인공 현장 모니터링 또는 인공 원격 모니터링이 필요하지 않아, 시간과 정력을 보다 더 절약할 수 있으며, 더 많은 지점을 모니터링할 수 있다. 또한, 복수의 시각에 기반하는 차량의 주차 위반을 인식하는 방법은 단일 시각에 기반하는 차량의 주차 위반을 인식하는 방법과 비교하면, 각 주차 위반 영역 내에 주차 위반한 차량이 있는지를 전방위적이고 사각없이 모니터링할 수 있어, 도로 교통이 보다 더 원활해지도록 적시에 처리할 수 있다.
이해해야 할 것은, 도 1a에서의 전자 기기 및 서버의 개수는 단지 예시적인 것일 뿐이다. 구현의 필요에 따라, 임의의 개수의 전자 기기 및 서버를 가질 수 있다.
본 개시의 실시예에 따른 차량의 주차 위반을 인식하는 방법 및 장치에 적합한 적용 장면을 아래와 같이 소개한다.
설명해야 할 것은, 본 개시의 실시예에 의해 제공되는 차량의 주차 위반을 인식하는 방법 및 장치는, 동력 차량 또는 비동력 차량의 주차 위반 여부를 인식하는데 사용될 수 있다. 여기서, 비동력 차량은, 개인용 전동차, 각 업체에 의해 출품되는 공용 전동차, 개인용 자전거, 각 업체에 의해 출품되는 공용 자전거 등 중의 한가지 또는 여러가지를 포함하되 이에 한정되지는 않을 수 있다.
또한, 설명해야 할 것은, 본 개시의 실시예에 의해 제공되는 차량의 주차 위반을 인식하는 방법 및 장치는, 복수의 시각 모니터링에 기반하는 차량의 주차 위반을 인식하는 방법 및 장치일 수 있다.
예시적으로, 도 1b에 도시된 바와 같이, 구형 모니터링 카메라(201)는 360°의 전방위적이고 사각없이 어떤 교통 도로에 대해 전반적인 비디오 모니터링을 진행할 수 있다. 일 실시예로서, 360도의 각을 평균적으로 8부로 나누며, 45°각으로 회전할 때마다 하나의 새로운 촬영 각도로 정의할 수 있다. 예를 들면, 촬영 각도는 정북방향, 북에서 서쪽으로 45°치우친 방향, 정서방향, 남에서 서쪽으로 45° 치우친 방향, 정남방향, 남에서 동쪽으로 45° 치우친 방향, 정동방향, 북에서 동쪽으로 45° 치우친 방향으로 정의될 수 있다. 다른 실시예로서, 360°를 평균적으로 N부로 나눌 수 있으며, N은 2보다 크거나 같은 임의의 정수에 속할 수 있다. 이러면, (360/N)°각으로 회전할 때마다 하나의 새로운 촬영 각도로 정의될 수 있다.
도 1b를 참조하면, 이해해야 할 것은, 본 개시의 실시예에서, 복수의 시각 촬영 기능을 갖는 전자 기기의 경우, 각 촬영 각도에서 전자 기기가 모니터링할 수 있는 주차 위반 영역은 서로 다르다.
설명해야 할 것은, 본 개시의 실시예에서는 공용 자전거를 예로 들어, 차량의 주차 위반을 인식하는 과정 또는 단계를 상세하게 설명할 것이다.
본 개시의 실시예에 따라, 본 개시는 차량의 주차 위반을 인식하는 방법을 제공한다.
도 2는 본 개시의 실시예에 따른 차량의 주차 위반을 인식하는 방법의 흐름도를 예시적으로 도시하는 것이다.
도 2에 도시된 바와 같이, 차량의 주차 위반을 인식하는 방법(200)은 동작 S210 내지 동작 S250을 포함할 수 있다.
동작 S210에서, 전자 기기가 수집하는 비디오 이미지를 취득한다.
동작 S220에서, 비디오 이미지 중의 차량의 주차 영역을 인식한다.
동작 S230에서, 전자 기기가 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정한다.
동작 S240에서, 촬영 각도에 기반하여 비디오 이미지 중의 주차 위반 영역을 결정한다.
동작 S250에서, 차량의 주차 영역 및 주차 위반 영역에 기반하여 차량의 주차 위반 여부를 인식한다.
본 개시의 일부 실시예에서, 각 교통 도로에 배치되는 복수의 시각 촬영 기능을 갖는 각 전자 기기의 경우, 그가 실시간으로 수집하는 모니터링 비디오 스트림 데이터에 대해, 모두 먼저 디코딩할 수 있고, 그 다음 디코딩한 후 얻은 각 프레임의 비디오 이미지에 대해, 모두 상기의 동작 S210 내지 동작 S250을 실행하여, 각 교통 도로에 설정된 주차 위반 영역 내에 주차 위반한 차량이 있는지를 인식할 수 있다.
주차 위반한 차량이 있는 것으로 결정될 경우, 도로 교통이 보다 더 원활해지도록, 대응되는 업체에 알림 정보를 발송하여, 어떤 교통 도로에 주차된 관련 차량이 주차 위반에 속하므로, 되도록 빨리 처리해야 함을 관련 업체에 알릴 수 있다.
또는, 주차 위반한 차량이 있는 것으로 결정될 경우, 도로 교통이 보다 더 원활해지도록, 예를 들면, 교통 관리자에게 알림 정보를 발송하여, 어떤 교통 도로에 대량 또는 소량의 주차 위반한 차량이 나타났으므로, 되도록 빨리 처리해야 함을 적시에 알릴 수도 있다.
이해해야 할 것은, 본 개시의 실시예에서, 전자 기기가 복수의 시각 촬영 기능을 가지며, 각 촬영 각도에서 전자 기기가 모니터링할 수 있는 주차 위반 영역이 서로 다르다. 따라서, 차량에 대해 주차 위반 인식을 진행하는 과정에서, 각 프레임의 비디오 이미지에 대해 우선 상기 비디오 이미지의 촬영 각도를 결정한 다음, 전자 기기가 상기 촬영 각도에서 모니터링할 수 있는 주차 위반 영역을 결정할 수 있다. 이와 동시에, 각 프레임의 비디오 이미지에 대해, 이미지 중의 차량의 주차 영역(즉 차량의 구체적인 주차 영역)을 더 결정할 수 있다. 마지막으로, 동일한 프레임의 비디오 이미지에 대해, 이미지 중 차량의 주차 영역 및 현재 이미지 촬영 각도에서 모니터링할 수 있는 주차 위반 영역에 기반하여, 이미지 중의 차량의 주차 위반 여부를 인식할 수 있다.
본 개시의 실시예를 통해, 복수의 시각 모니터링의 기기가 촬영한 각 프레임의 비디오 이미지에 대해, 우선 이미지의 촬영 각도를 결정한 다음, 상기 촬영 각도에서의 이미지 중 주차 위반 영역을 결정하고, 그 다음, 이미지 중의 상기 주차 위반 영역 내에 주차 위반한 차량이 있는지를 인식할 수 있다. 이에 의해, 현재 모니터링 영역 내에 주차 위반한 차량이 있는지를 인식하는 정확도가 증가한다. 나아가, 위반 상황에 따라 도로 교통이 보다 더 원활해지도록 관련 인원에게 되도록 빨리 현장으로 가서 처리하게끔 적시로 통보할 수 있다.
또한, 본 개시의 실시예를 통해, 비동력 차량의 주차 위반 여부를 자동으로 인식할 수 있고, 또한 관련 부서를 지능화적으로 협조하여 날로 증가되는 공용 자전거 등과 같은 비동력 차량을 모니터링할 수 있다. 나아가, 지속적으로 지능화되는 모니터링 수단은, 또한 각 차량 제조업체의 경영이 보다 더 규범화되게 할 수 있고, 사람들의 외출이 보다 더 편리하게 할 수 있다. 이에 의해, 과학 기술 수단을 이용하여 도시 관리가 보다 더 지능화적으로 되게 하는 목적을 달성할 수 있다.
선택적인 실시예로서, 전자 기기가 비디오 이미지를 수집하할 때 사용한 촬영 각도를 결정하는 동작은, 아래와 같은 동작을 포함할 수 있다.
복수의 기지된 촬영 각도에서 전자 기기가 사전에 수집한 복수의 참조 이미지를 취득하며, 여기서, 복수의 참조 이미지 중의 서로 다른 참조 이미지는 서로 다른 촬영 각도에 대응된다.
비디오 이미지를 복수의 참조 이미지 중의 각 참조 이미지와 하나씩 유사도 매칭하여, 복수의 참조 이미지에서 비디오 이미지와의 유사도가 가장 높은 타깃 참조 이미지를 매칭한다.
타깃 참조 이미지에 대응되는 촬영 각도를 취득하여, 상기 촬영 각도를 전자 기기가 비디오 이미지를 수집할 때 사용한 촬영 각도로 한다.
본 개시의 실시예에서, 전자 기기의 복수의 촬영 각도는 사전 정의될 수 있으며, 사전에 이 복수의 촬영 각도에서 참조 이미지를 각각 하나씩 수집한 다음, 이미지 인식 기술을 이용하여 각 참조 이미지에 나타나는 주차 위반 영역을 인식할 수 있다.
예시적으로, 촬영 각도는 정북방향, 북에서 서쪽으로 45°치우친 방향, 정서방향, 남에서 서쪽으로 45° 치우친 방향, 정남방향, 남에서 동쪽으로 45° 치우친 방향, 정동방향, 북에서 동쪽으로 45° 치우친 방향으로 정의할 수 있다. 이러한 촬영 각도에서 사전 수집되는 참조 이미지는 순차적으로 이미지1 내지 이미지8이다. 나아가, 상기 8폭의 이미지에 나타나는 주차 위반 영역，예를 들면, 순차적으로 영역1 내지 영역8을 각각 인식할 수 있다.
실시간 모니터링 과정에서, 한 프레임의 비디오 이미지를 취득할 때마다, 모두 상기 비디오 이미지를 각 참조 이미지와 하나씩 유사도 매칭하여, 상기 비디오 이미지와의 유사도가 가장 높은 하나의 참조 이미지를 매칭할 수 있다. 상기 참조 이미지의 촬영 각도는 기지된 것이므로, 상기 참조 이미지의 촬영 각도를 직접 상기 비디오 이미지의 촬영 각도로 하여, 상기 비디오 이미지에 포함되는 주차 위반 영역을 결정하기 위해 사용할 수 있다.
이해해야 할 것은, 본 개시의 실시예에서, 유사도 모델을 이용하여, 각 프레임의 비디오 이미지와 각 참조 이미지의 유사도를 판단할 수 있다.
본 개시의 실시예를 통해, 실시간으로 취득한 비디오 이미지를 촬영 각도이 기지된 참조 이미지와 유사도 매칭하여 실시간으로 취득한 비디오 이미지의 촬영 각도를 결정할 수 있다. 나아가, 촬영 각도를 결정할 수 있으므로, 비디오 이미지에 포함되는 주차 위반 영역도 물론 정확하게 결정할 수 있다. 이에 의해, 이미지 중의 주차 위반 영역 내에 주차 위반한 차량이 있는지를 정확하게 결정할 수 있다.
또는, 다른 선택적인 실시예로서, 전자 기기가 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정하는 동작은, 아래와 같은 동작을 포함할 수 있다.
전자 기기가 복수의 기지된 촬영 각도에서 사전에 수집한 복수의 참조 이미지를 취득하며, 여기서, 복수의 참조 이미지 중의 서로 다른 참조 이미지는 서로 다른 촬영 각도에 대응된다.
비디오 이미지를 제1 미리 설정된 사이즈의 제1 이미지로 축소한다.
제1 이미지를 복수의 참조 이미지 중의 각 참조 이미지와 하나씩 유사도 매칭하여, 복수의 참조 이미지에서 제1 이미지와의 유사도가 가장 높은 타깃 참조 이미지를 매칭한다.
타깃 참조 이미지에 대응되는 촬영 각도를 취득하여, 상기 촬영 각도를 전자 기기가 비디오 이미지를 수집할 때 사용한 촬영 각도로 한다.
본 개시의 실시예에서, 유사도 모델을 이용하여, 각 프레임의 비디오 이미지와 각 참조 이미지의 유사도를 판단할 수 있다.
이해해야 할 것은, 본 개시의 실시예에서, 이미지에 대해 유사도 매칭하는 과정에서, 촬영 각도 인식만 필요할 뿐, 타깃 인식과 분류는 필요하지 않으며, 키 포인트 인식도 필요하지 않으므로, 이미지의 해상도에 대한 요구가 높지 않다. 또한, 이미지 사이즈가 작을 수록 이미지에 대해 유사도 매칭하는 처리 효율이 더 높다는 것을 감안하였다.
따라서, 본 개시의 실시예에서, 각 프레임의 비디오 이미지를 유사도 모델에 입력하기 전에 우선 비디오 이미지에 대해 전처리를 진행할 수 있다. 예를 들면, 비디오 이미지를 고정 사이즈(예를 들면, 224*224)로 축소/확대 할 수 있다.
또한, 더 이해해야 할 것은, 합성곱 신경망(유사도 모델)의 입력은, 일반적으로 0 내지 1 사이의 픽셀 포인트 값을 필요로 한다. 따라서, 본 개시의 실시예에서, 비디오 이미지에 대해 전처리를 진행하는 동작은, 비디오 이미지를 고정 사이즈로 축소/확대 한 후, 이미지를 정규화 처리하는 동작을 더 포함할 수 있다.
본 개시의 일 실시예에서, 이미지 정규화 처리의 흐름은, 예를 들면, 이미지 중의 각 픽셀 포인트의 값을 255로 나눗셈하여, RGB 평균 값(예를 들면, [0.485, 0.456, 0.406])을 뺄셈한 후, RGB 분산(예를 들면, [0.229, 0.224, 0.225])으로 나눗셈하는 동작을 포함할 수 있다.
본 개시의 실시예를 통해, 전처리를 거친 이미지를 유사도 모델에 입력하고, 촬영 각도이 기지된 각 참조 이미지와 유사도 매칭하여, 유사한 이미지는 특징 거리가 가까워지게 하고, 유사하지 않은 이미지는 특징 거리가 멀어지게 함으로써, 비디오 이미지의 촬영 각도에 대한 분류를 구현한다.
선택적인 실시예로서, 차량의 주차 영역 및 주차 위반 영역에 기반하여, 차량의 주차 위반 여부를 인식하는 동작은, 아래와 같은 동작을 포함할 수 있다.
비디오 이미지에 기반하여, 차량의 주차 영역이 주차 위반 영역 내에 있는지를 인식한다.
비디오 이미지에 기반하여, 차량의 주차 영역이 주차 위반 영역 내에 있는 것으로 인식한 것에 응답하여, 차량의 주차 위반을 결정한다.
이해해야 할 것은, 본 개시의 일부 실시예에서, 차량의 주차 영역이 완전히 주차 위반 영역 내에 있을 경우, 차량이 주차 위반한 것으로 간주한다. 본 개시의 다른 일부 실시예에서, 차량의 주차 영역이 주차 위반 영역과 교집합이 있을 경우, 차량이 주차 위반한 것으로 간주한다. 본 개시의 다른 일부 실시예에서, 차량의 주차 영역이 주차 위반 영역과 교집합이 있고, 교집합이 미리 설정된 값을 초과할 경우, 차량이 주차 위반한 것으로 간주한다.
나아가, 선택적인 실시예로서, 비디오 이미지에 기반하여, 차량의 주차 영역이 주차 위반 영역 내에 있는지를 인식하는 동작은, 비디오 이미지에 기반하여, 차량의 주차 영역과 주차 위반 영역 사이의 교집합이 미리 설정된 값보다 큰지를 계산하는 동작을 포함할 수 있다.
여기서, 교집합이 미리 설정된 값보다 크거나 같을 경우, 차량의 주차 영역이 주차 위반 영역 내에 있는 것으로 결정한다. 교집합이 미리 설정된 값보다 작을 경우, 차량의 주차 영역이 주차 위반 영역 내에 있지 않는 것으로 결정한다.
본 개시의 일부 실시예에서, 비디오 이미지 중의 주차 위반 영역을 인식한 다음, 이미지 중의 주차 위반 영역 내의 픽셀 값을 전부 0으로 설정하거나 또는 전부 1로 설정할 수 있다. 전부 0으로 설정할 경우를 예로 들면, 차량의 주차 영역과 주차 위반 영역 사이의 교집합을 계산할 때, 이미지에서 차량의 주차 영역 내의 픽셀 값이 0인 픽셀 포인트의 개수를 통계하여 상기 교집합을 결정할 수 있다.
또는, 본 개시의 일부 실시예에서, 이미지에서 차량의 주차 영역과 주차 위반 영역의 겹쳐지는 면적을 계산하여 양자 사이의 교집합을 결정할 수도 있다.
본 개시의 실시예를 통해, 비디오 이미지에서 주차 위반 영역과 차량(예를 들면, 비동력 차량)의 구체적인 주차 영역 사이의 교집합이 소정의 임계값보다 클 경우, 상기 차량의 구체적인 주차 영역이 대응되는 주차 위반 영역 내에 들어가 있음을 나타나며, 즉, 상기 차량이 주차 위반 문제가 존재하는 것을 나타난다. 나아가, 차량에 주차 위반 문제가 존재하는 것으로 결정한 다음, 상기 차량에 대한 인스턴스 분할 모델의 유형 분류 결과에 따라, 주차 위반한 차량을 적시로 처리하도록 각 차량 경영 업체 또는 관련 부서에 통보할 수도 있다.
또한, 본 개시의 실시예에서, 관련 기관을 도시 관리 작업을 잘 하도록 더 잘 보조하기 위해, 주차 위반 문제가 자주 나타나는 카메라 위치에 대해 중점적으로 모니터링할 수도 있다.
선택적인 실시예로서, 비디오 이미지 중의 차량의 주차 영역을 인식하는 동작은, 비디오 이미지를 인스턴스 분할 모델에 입력하여, 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력시키는 동작을 포함할 수 있다.
본 개시의 실시예에서, 비디오 이미지를 사전에 훈련된 인스턴스 분할 모델에 직접 입력하여, 모델로 하여금 상기 비디오 이미지에서 서로 다른 유형의 챠랑의 주차 영역 분할 결과를 출력하게 할 수 있다.
예시적으로, 어떤 비디오 이미지에 A업체가 경영하는 공용 자전거와 B업체가 경영하는 공용 자전거가 동시에 포함될 경우, 인스턴스 분할 모델는 처리하여, A업체가 경영하는 공용 자전거가 상기 비디오 이미지에 있는 구체적인 주차 영역 분할 결과 및 B업체가 경영하는 공용 자전거가 상기 비디오 이미지에 있는 구체적인 주차 영역 분할 결과를 출력할 수 있다.
또는, 선택적인 실시예로서, 비디오 이미지 중의 차량의 주차 영역을 인식하는 동작은 아래와 같은 동작을 포함한다.
비디오 이미지를 제2 미리 설정된 사이즈의 제2 이미지로 축소한다.
제2 이미지를 인스턴스 분할 모델에 입력하여, 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력한다.
본 개시의 실시예에서, 인스턴스 분할 모델을 이용하여, 각 비디오 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력할 수 있다. 설명해야 할 것은, 본 개시의 실시예에서, 적용되는 인스턴스 분할 모델은 프레임워크가 Mask_R-CNN 네트워크에 기반하는 분할 알고리즘일 수 있다. 상기 알고리즘은 유형을 분할할 수 있을 뿐만 아니라, 동일한 유형의 타깃이 동일한 인스턴스인지를 분할할 수도 있다. 따라서, 이 인스턴스 분할 모델을 적용하면, 서로 다른 유형의 비동력 차량의 구체적인 주차 영역 분할 결과를 출력할 수 있다. 즉, 출력 결과는 각 비동력 차량의 유형 및 각 유형의 비동력 차량에 관한 주차 영역 분할 결과를 포함한다.
설명해야 할 것은, 본 개시의 실시예에서, 비디오 이미지를 인스턴스 분할 모델에 입력하여 처리하기 전에, 비디오 이미지에 대해 전처리를 진행할 수 있다.
본 개시의 실시예는 이미지 분할 과정에서, 타깃 검출, 분류 및 분할을 진행해야 하므로, 이미지 유사도 매칭과 비교하면, 이미지 해상도에 대한 요구가 조금 높아, 모델에 입력되는 이미지가 좀 더 큰 것이 바람직하다. 따라서, 본 개시의 실시예에서, 비디오 이미지에서 차량의 주차 영역을 인식하는 과정에서, 비디오 이미지를 고정 사이즈의 이미지로 축소할 수도 있다. 하지만, 이 과정에서 이미지 축소 정도는 이미지 유사도 매칭 과정에서의 이미지 축소 정도보다 낮을 수 있다. 즉, 상기 제2 미리 설정된 사이즈는 전술한 제1 미리 설정된 사이즈보다 클 수 있다.
예시적으로, 본 개시의 실시예에서, 각 프레임의 비디오 이미지를 인스턴스 분할 모델에 입력하기 전에 우선 비디오 이미지에 대해 전처리를 진행할 수 있다. 예를 들면, 비디오 이미지를 고정 사이즈(예를 들면, 800*800)로 축소/확대할 수 있다.
또한, 더 이해해야 할 것은, 인스턴스 분할 모델의 입력은, 일반적으로 0 내지 1 사이의 픽셀 포인트 값을 필요로 한다. 따라서, 본 개시의 실시예에서, 이미지 분할 과정에서 비디오 이미지에 대해 전처리를 진행하는 동작은, 비디오 이미지를 고정 사이즈로 축소/확대 한 후, 이미지를 정규화 처리하는 동작을 더 포함할 수 있다.
본 개시의 일 실시예에서, 이미지 정규화 처리의 흐름은, 예를 들면, 이미지 중의 각 픽셀 포인트의 값을 255로 나눗셈하여, RGB 평균 값(예를 들면, [0.485, 0.456, 0.406])을 뺄셈하고, RGB 분산(예를 들면, [0.229, 0.224, 0.225])으로 나눗셈하는 동작을 포함할 수 있다.
본 개시의 실시예를 통해, 전처리를 거친 이미지를 인스턴스 분할 모델에 입력하고, 촬영 각도이 기지된 각 참조 이미지와 유사도 매칭하여, 유사한 이미지는 특징 거리가 가까워지게 하고, 유사하지 않은 이미지는 특징 거리가 멀어지게 함으로써, 비디오 이미지의 촬영 각도에 대한 분류를 구현한다.
또한, 선택적인 실시예로서, 상기 차량은 동력 차량 및 비동력 차량을 포함하되 이에 한정되지 않을 수 있다. 비동력 차량은 개인용 전동차, 각 업체에 의해 출품되는 공용 전동차, 개인용 자전거, 각 업체에 의해 출품되는 공용 자전거 등을 추가로 포함하되 이에 한정되지 않을 수 있다.
아래에서, 도 3 및 구체적인 실시예를 결합하여 본 개시의 실시예를 상세하게 설명한다.
도 3에 도시된 바와 같이, 모니터링 비디오 스트림을 디코딩하여 취득한 비디오 이미지는, 2개의 분기에 동시에 입력될 수 있다.
여기서, 하나의 분기는 이미지 유사도 매칭을 통해 상기 비디오 이미지의 촬영 각도를 결정하고, 상기 촬영 각도에서 이미지에 포함되는 주차 위반 영역을 결정하기 위한 것이다. 이 분기는 다음과 같은 흐름을 포함한다. 비디오 이미지를 고정 사이즈 224*224로 축소/확대하여, 이미지 전처리하며, 전처리를 거친 후, 이미지를 유사도 모델로 입력하며, 모델을 통해 이미지 유사도 매칭하여, 유사도 결과를 출력하며, 유사도 결과에 따라, 주차 위반 영역을 결정한다.
또한, 다른 한 분기는 이미지 분할을 통해 촬영된 비동력 차량의 구체적인 주차 영역을 결정하기 위한 것이다. 이 분기는 다음과 같은 흐름을 포함한다. 비디오 이미지를 고정 사이즈 800*800으로 축소/확대하여, 이미지 전처리하며, 전처리를 거친 후, 이미지를 비동력 차량에 관한 인스턴스 분할 모델로 입력하며, 모델을 통해 이미지 인식과 분할을 진행하여, 이미지에서 각 유형의 비동력 차량의 구체적인 주차 영역 분할 결과(각 분할 영역)를 출력한다.
다음으로, 상기 2개의 분기의 처리 결과에 기반하여, 각 분할 영역이 주차 위반 영역 내에 있는지를 판단할 수 있다. 각 분할 영역이 주차 위반 영역 내에 있을 경우, 대응되는 비동력 차량이 주차 위반 문제가 존재하는 것으로 간주한다. 또한, 이러한 상황에 대해, 인식 결과에 따라 관련 인원에게 통보할 수 있다. 각 분할 영역이 주차 위반 영역 내에 있지 않을 경우, 대응되는 비동력 차량이 정상, 즉 주차 위반 문제가 없는 것으로 간주한다. 또한, 이러한 상황에 대해서도, 인식 결과에 따라 관련 인원에게 통보할 수 있다.
본 개시의 실시예에 따라, 본 개시는 차량의 주차 위반을 인식하는 장치를 더 제공한다.
도 4는 본 개시의 실시예에 따른 차량의 주차 위반을 인식하는 장치의 블록도를 예시적으로 도시하는 것이다.
도 4에 도시된 바와 같이, 차량의 주차 위반을 인식하는 장치(400)는 취득 모듈(410), 제1 인식 모듈(420), 제1 결정 모듈(430), 제2 결정 모듈(440) 및 제2 인식 모듈(450)을 포함할 수 있다.
구체적으로, 취득 모듈(410)은, 전자 기기가 수집한 비디오 이미지를 취득하기 위한 것이다.
제1 인식 모듈(420)은, 상기 비디오 이미지 중의 차량의 주차 영역을 인식하기 위한 것이다.
제1 결정 모듈(430)은, 상기 전자 기기가 상기 비디오 이미지를 수집하할 때 사용한 촬영 각도를 결정하기 위한 것이다.
제2 결정 모듈(440)은, 상기 촬영 각도에 기반하여 상기 비디오 이미지 중의 주차 위반 영역을 결정하기 위한 것이다.
제2 인식 모듈(450)은, 상기 차량의 주차 영역 및 상기 주차 위반 영역에 기반하여 상기 차량의 주차 위반 여부를 인식하기 위한 것이다.
선택적인 실시예로서, 상기 제1 결정 모듈은 제1 취득 유닛, 제1 매칭 유닛 및 제2 취득 유닛을 포함한다. 상기 제1 취득 유닛은, 상기 전자 기기가 복수의 기지된 촬영 각도에서 사전에 수집한 복수의 참조 이미지를 취득하기 위한 것이며, 여기서, 상기 복수의 참조 이미지 중의 서로 다른 참조 이미지는 서로 다른 촬영 각도에 대응된다. 상기 제1 매칭 유닛은, 상기 비디오 이미지를 상기 복수의 참조 이미지 중의 각 참조 이미지와 하나씩 유사도 매칭하여, 상기 복수의 참조 이미지에서 상기 비디오 이미지와의 유사도가 가장 높은 타깃 참조 이미지를 매칭하기 위한 것이다. 상기 제2 취득 유닛은, 상기 타깃 참조 이미지에 대응되는 촬영 각도를 취득하여, 상기 촬영 각도를 상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도로 하기 위한 것이다.
선택적인 실시예로서, 상기 제1 결정 모듈은 제3 취득 유닛, 전처리 유닛, 제2 매칭 유닛 및 제4 취득 유닛을 포함한다. 상기 제3 취득 유닛은, 상기 전자 기기가 복수의 기지된 촬영 각도에서 사전에 수집한 복수의 참조 이미지를 취득하기 위한 것이며, 여기서, 상기 복수의 참조 이미지 중의 서로 다른 참조 이미지는 서로 다른 촬영 각도에 대응된다. 상기 전처리 유닛은, 상기 비디오 이미지를 제1 미리 설정된 사이즈의 제1 이미지로 축소하기 위한 것이다. 제2 매칭 유닛은, 상기 제1 이미지를 상기 복수의 참조 이미지 중의 각 참조 이미지와 하나씩 유사도 매칭하여, 상기 복수의 참조 이미지에서 상기 제1 이미지와의 유사도가 가장 높은 타깃 참조 이미지를 매칭하기 위한 것이다. 상기 제4 취득 유닛은, 상기 타깃 참조 이미지에 대응되는 촬영 각도를 취득하여, 상기 촬영 각도를 상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도로 하기 위한 것이다.
선택적인 실시예로서, 상기 제2 인식 모듈은 인식 유닛 및 결정 유닛을 포함한다. 상기 인식 유닛은, 상기 비디오 이미지에 기반하여 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는지를 인식하기 위한 것이다. 상기 결정 유닛은, 상기 비디오 이미지에 기반하여 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는 것으로 인식된 것에 응답하여, 상기 차량의 주차 위반을 결정하기 위한 것이다.
선택적인 실시예로서, 상기 인식 유닛은 상기 비디오 이미지에 기반하여, 상기 차량의 주차 영역과 상기 주차 위반 영역 사이의 교집합이 미리 설정된 값보다 큰지를 계산하기 위한 것이기도 하다. 여기서, 상기 교집합이 상기 미리 설정된 값보다 크거나 같을 경우, 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는 것으로 결정한다.
선택적인 실시예로서, 상기 제1 인식 모듈은 상기 비디오 이미지를 인스턴스 분할 모델로 입력하여, 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력시키기 위한 것이기도 하다.
선택적인 실시예로서, 상기 제1 인식 모듈은 상기 비디오 이미지를 제2 미리 설정된 사이즈의 제2 이미지로 축소하고, 상기 제2 이미지를 인스턴스 분할 모델로 입력하여, 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력시키기 위한 것이기도 하다.
선택적인 실시예로서, 상기 차량은 동력 차량 및 비동력 차량을 포함한다.
이해해야 할 것은, 본 개시의 장치 부분의 실시예는 본 개시의 방법 부분의 실시예와 대응되게 동일하거나 유사하고, 해결하는 기술적 문제와 달성하는 기술적 효과도 대응되게 동일하거나 유사하며, 본 개시는 여기에서 반복하여 설명하지 않는다.
본 개시의 실시예에 따라, 본 개시는 전자 기기, 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 더 제공한다.
도 5는 본 개시의 실시예를 구현하기 위해 사용할 수 있는 전자 기기(500)를 예시하는 설명적인 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 다른 적합한 컴퓨터 등와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 프로세서, 셀룰러 전화, 스마트 폰, 웨어러블 디바이스 및 다른 유형의 컴퓨팅 장치 등와 같은 다양한 형태의 이동 장치를 의미할 수도 있다. 본 설명서에 개시되는 부품, 이들의 연결과 관계 및 이들의 기능은 오직 예시일 뿐이고, 본 설명서에서 설명 및/또는 요구되는 본 개시의 구현을 제한하려는 것은 아니다.
도 5에 도시된 바와 같이, 전자 기기(500)에는 리드 온리 메모리(ROM)(502)에 저장된 컴퓨터 프로그램 또는 저장 유닛(508)으로부터 랜덤 액세스 메모리(RAM)(503)로 로딩되는 컴퓨터 프로그램에 근거하여 여러가지 적합한 동작과 처리를 실행할 수 있는 컴퓨팅 유닛(501)이 포함된다. RAM(503)에는, 전자 기기(500)의 동작에 필요한 다양한 프로그램 및 데이터가 더 저장 될 수 있다. 컴퓨팅 유닛(501), ROM(502) 및 RAM(503)은 버스(504)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(505)도 버스(504)에 연결된다.
전자 기기(500)에서의 복수의 부품은 I/O 인터페이스(505)에 연결되며, 상기 부품에는, 예를 들면 키보드, 마우스 등과 같은 입력 유닛(506), 예를 들면 다양한 유형의 디스플레이, 스피커 등과 같은 출력 유닛(507), 예를 들면 디스크, 광 디스크 등과 같은 저장 유닛(508); 및 예를 들면 네트워크 카드, 모뎀(modem), 무선통신 송수신기 등과 같은 통신 유닛(509)이 포함된다. 통신 유닛(509)은 전자 기기(500)로 하여금 인터넷과 같은 컴퓨터 네트워크 및/또는 다양한 텔레콤 네트워크를 통해 기타 기기와 정보/데이터를 교환할 수 있게 한다.
컴퓨팅 유닛(501)은 처리 능력과 컴퓨팅 능력을 갖는 다양한 범용 및/또는 전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(501)의 일부 예시에는, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 다양한 전용 인공지능(AI) 컴퓨팅 칩, 머신 러닝 모델 알고리즘을 실행하는 다양한 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적합한 프로세서, 컨트롤러, 마이크로 컨트롤러 등이 포함되지만 이에 한정되는 것은 아니다. 컴퓨팅 유닛(501)은, 예를 들면, 차량의 주차 위반을 인식하는 방법과 같은 위에서 설명된 각 방법과 처리를 실행한다. 예를 들면, 일부 실시예에서, 차량의 주차 위반을 인식하는 방법은 컴퓨터 소프트웨어 프로그램으로 구현되어, 저장 유닛(508)과 같은 기계 판독가능 매체에 유형적으로 포함될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(502) 및/또는 통신 유닛(509)을 경유하여 전자 기기(500)에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(503)에 로딩되어 컴퓨팅 유닛(501)에 의해 실행될 경우, 위에서 설명한 차량의 주차 위반을 인식하는 방법의 하나 이상의 단계를 실행할 수 있다. 선택적으로, 기타 실시예에서, 컴퓨팅 유닛(501)은 기타 임의의 적합한 방식(예를 들면, 펌웨어를 이용함)을 통해 차량의 주차 위반을 인식하는 방법을 실행하도록 구성될 수 있다.
본문에서 상기 설명한 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 현장 프로그래밍 가능 게이트 어레이(FPGA), 전용 집적 회로(ASIC), 전용 표준 제품(ASSP), 시스템 온 칩 시스템(SOC), 복합 프로그래밍 가능 로직 디바이스(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 상기 다양한 실시형태는 다음과 같은 내용을 포함할 수 있다. 하나 이상의 컴퓨터 프로그램에서 실시되고, 상기 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석될 수 있다. 상기 프로그래밍 가능 프로세서는 전용 또는 범용 프로그래밍 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령어를 수신하며, 또한 상기 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에 데이터 및 명령어를 전송할 수 있다.
본 발명의 방법을 실시하기 위한 프로그램 코드는 하나 이상의 프로그래밍 언어의 임의의 조합을 적용하여 작성될 수 있다. 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행될 시 흐름도 및/또는 블록도에서 규정된 기능/동작이 실시되도록, 이러한 프로그램 코드를 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래밍 가능 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공할 수 있다. 프로그램 코드는 완전히 기계에서 실행되거나, 부분적으로 기계에서 실행되거나, 개별적인 소프트웨어 패키지(Software Package)로서 부분적으로 기계에서 실행되며, 부분적으로 원격 기계에서 실행되거나, 완전히 원격 기계 또는 서버에서 실행될 수 있다.
본 발명의 문맥에서, 기계 판독가능 매체는 유형적인 매체일 수 있다. 상기 기계 판독가능 매체에는, 명령어 실행 시스템, 장치 또는 기기에 사용되거나 또는 명령어 실행 시스템, 장치 또는 기기와 결합하여 사용되도록 제공되는 프로그램이 포함되거나 저장될 수 있다. 기계 판독가능 매체는 기계 판독가능 신호 매체 또는 기계 판독가능 저장 매체일 수 있다. 기계 판독가능 매체에는, 전자, 자성, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 상기 내용의 임의의 적합한 조합이 포함될 수 있지만 이에 한정되는 것은 아니다. 기계 판독가능 저장 매체의 더 구체적인 예시에는 하나 이상의 와이어에 의한 전기적인 연결, 휴대용 컴퓨터 디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 소거 가능 및 프로그램 가능 리드 온리 메모리(EPROM 또는 플래시 메모리), 광섬유，휴대용 콤팩트 디스크 리드 온리 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 상기 내용의 임의의 적합한 조합이 포함될 수 있다.
사용자와의 인터랙션을 제공하기 위해, 여기에서 설명하는 시스템과 기술을 컴퓨터에서 실행할 수 있다. 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들면, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터) 및 키보드, 포인팅 장치(예를 들면, 마우스 또는 트랙 볼)를 포함한다. 사용자는 상기 키보드 및 포인팅 장치를 통해 입력을 컴퓨터에 제공한다. 기타 종류의 장치는 사용자와의 인터랙션을 제공하기 위해 사용될 수도 있다. 예를 들면, 사용자에게 제공하는 피드백은 임의의 형태의 센싱 피드백(예를 들면, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있으며, 또한 사용자로부터의 입력은 임의의 형태(소리 입력, 음성 입력 또는 촉각 입력을 포함)로 수신될 수 있다.
여기에서 설명하는 시스템 및 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면, 데이터 서버), 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면, 애플리케이션 서버), 또는 프론트 부품을 포함하는 컴퓨팅 시스템(예를 들면, 그래픽 유저 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터, 사용자는 상기 그래픽 유저 인터페이스 또는 웹 브라우저를 통해 여기에서 설명하는 시스템 및 기술의 실시형태와 인터랙션을 진행할 수 있음), 또는 상기 백그라운드 부품, 미들웨어 부품 또는 프론트 부품의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실행할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면, 통신 네트워크)을 통해 시스템의 부품을 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망（LAN）, 광대역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함한다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있으며, 통신망을 통해 인터랙션을 진행한다. 해당 컴퓨터에서 실행되고, 또한 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다. 서버는 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고 칭할 수도 있는 클라우드 서버일 수 있으며, 클라우드 컴퓨팅 서비스 체계에서의 호스트 제품으로서, 기존의 물리적 호스트와 가상 사설 서버 서비스("Virtual Private Server", 또는 "VPS"으로 약칭)에 존재하는 관리 난이도가 크고, 업무 확장성이 약한 결함을 해결하였다. 서버는 분산 시스템의 서버, 또는 블록체인을 결합한 서버일 수도 있다.
상기의 다양한 형태의 프로세스를 이용하여, 단계를 다시 순서 배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들면, 본 발명에 기재된 각 단계는 병행하여 실행할 수 있고, 순서대로 실행할 수도 있으며, 서로 다른 순서로 실행할 수도 있는데, 본 발명에 의해 개시되는 기술방안이 기대하는 결과를 구현할 수만 있다면, 이에 대해 제한하지 않는다.
상기 구체적인 실시형태는 본 발명의 보호 범위에 대해 제한하지 않는다. 당업자는 설계 요구와 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 발명의 사상 및 원칙 내에서 진행되는 수정, 균등한 교체 및 개선 등은 모두 본 발명의 보호 범위에 포함되어야 한다.

Claims (19)

  1. 전자 기기가 수집한 비디오 이미지를 취득하며,
    상기 비디오 이미지 중의 차량의 주차 영역을 인식하며,
    상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정하며,
    상기 촬영 각도에 기반하여, 상기 비디오 이미지 중의 주차 위반 영역을 결정하며, 및
    상기 차량의 주차 영역 및 상기 주차 위반 영역에 기반하여, 상기 차량의 주차 위반 여부를 인식하는 것을 포함하는
    차량의 주차 위반을 인식하는 방법.
  2. 제1항에 있어서,
    상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정하는 것은,
    상기 전자 기기가 복수의 기지된 촬영 각도에서 사전에 수집한 복수의 참조 이미지를 취득하며, 상기 복수의 참조 이미지 중의 서로 다른 참조 이미지는 서로 다른 촬영 각도에 대응되며,
    상기 비디오 이미지를 상기 복수의 참조 이미지 중의 각 참조 이미지와 하나씩 유사도 매칭하여, 상기 복수의 참조 이미지에서 상기 비디오 이미지와의 유사도가 가장 높은 타깃 참조 이미지를 매칭하며, 및
    상기 타깃 참조 이미지에 대응되는 촬영 각도를 취득하고, 상기 촬영 각도를 상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도로 하는 것을 포함하는
    차량의 주차 위반을 인식하는 방법.
  3. 제1항에 있어서,
    상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정하는 것은,
    상기 전자 기기가 복수의 기지된 촬영 각도에서 사전에 수집한 복수의 참조 이미지를 취득하며, 상기 복수의 참조 이미지 중의 서로 다른 참조 이미지는 서로 다른 촬영 각도에 대응되며,
    상기 비디오 이미지를 제1 미리 설정된 사이즈의 제1 이미지로 축소하며,
    상기 제1 이미지를 상기 복수의 참조 이미지 중의 각 참조 이미지와 하나씩 유사도 매칭하여, 상기 복수의 참조 이미지에서 상기 제1 이미지와의 유사도가 가장 높은 타깃 참조 이미지를 매칭하며,
    상기 타깃 참조 이미지에 대응되는 촬영 각도를 취득하여, 상기 촬영 각도를 상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도로 하는 것을 포함하는
    차량의 주차 위반을 인식하는 방법.
  4. 제1항에 있어서,
    상기 차량의 주차 영역 및 상기 주차 위반 영역에 기반하여, 상기 차량의 주차 위반 여부를 인식하는 것은,
    상기 비디오 이미지에 기반하여, 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는지를 인식하며, 및
    상기 비디오 이미지에 기반하여, 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는 것으로 인식된 것에 응답하여, 상기 차량의 주차 위반을 결정하는 것을 포함하는
    차량의 주차 위반을 인식하는 방법.
  5. 제4항에 있어서,
    상기 비디오 이미지에 기반하여, 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는지를 인식하는 것은,
    상기 비디오 이미지에 기반하여, 상기 차량의 주차 영역과 상기 주차 위반 영역 사이의 교집합이 미리 설정된 값의 이상인지를 계산하는 것을 포함하며,
    상기 교집합이 상기 미리 설정된 값보다 크거나 같을 경우, 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는 것으로 결정하는
    차량의 주차 위반을 인식하는 방법.
  6. 제1항에 있어서,
    상기 비디오 이미지 중의 차량의 주차 영역을 인식하는 것은,
    상기 비디오 이미지를 인스턴스 분할 모델에 입력하여, 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력시키는 것을 포함하는
    차량의 주차 위반을 인식하는 방법.
  7. 제1항에 있어서,
    상기 비디오 이미지 중의 차량의 주차 영역을 인식하는 것은,
    상기 비디오 이미지를 제2 미리 설정된 사이즈의 제2 이미지로 축소하며, 및
    상기 제2 이미지를 인스턴스 분할 모델에 입력하여, 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력시키는 것을 포함하는
    차량의 주차 위반을 인식하는 방법.
  8. 제1항에 있어서,
    상기 차량은 동력 차량 및 비동력 차량을 포함하는
    차량의 주차 위반을 인식하는 방법.
  9. 전자 기기가 수집한 비디오 이미지를 취득하기 위한 취득 모듈;
    상기 비디오 이미지 중의 차량의 주차 영역을 인식하기 위한 제1 인식 모듈;
    상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도를 결정하기 위한 제1 결정 모듈;
    상기 촬영 각도에 기반하여, 상기 비디오 이미지 중의 주차 위반 영역을 결정하기 위한 제2 결정 모듈; 및
    상기 차량의 주차 영역 및 상기 주차 위반 영역에 기반하여, 상기 차량의 주차 위반 여부를 인식하기 위한 제2 인식 모듈을 포함하는
    차량의 주차 위반을 인식하는 장치.
  10. 제9항에 있어서,
    상기 제1 결정 모듈은,
    상기 전자 기기가 복수의 기지된 촬영 각도에서 사전에 수집한 복수의 참조 이미지를 취득하기 위해 사용되고, 상기 복수의 참조 이미지 중의 서로 다른 참조 이미지는 서로 다른 촬영 각도에 대응되는 제1 취득 유닛;
    상기 비디오 이미지를 상기 복수의 참조 이미지 중의 각 참조 이미지와 하나씩 유사도 매칭하여, 상기 복수의 참조 이미지에서 상기 비디오 이미지와의 유사도가 가장 높은 타깃 참조 이미지를 매칭하기 위한 제1 매칭 유닛; 및
    상기 타깃 참조 이미지에 대응되는 촬영 각도를 취득하여, 상기 촬영 각도를 상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도로 하기 위한 제2 취득 유닛을 포함하는
    차량의 주차 위반을 인식하는 장치.
  11. 제9항에 있어서,
    상기 제1 결정 모듈은,
    상기 전자 기기가 복수의 기지된 촬영 각도에서 사전에 수집한 복수의 참조 이미지를 취득하기 위해 사용되고, 상기 복수의 참조 이미지 중의 서로 다른 참조 이미지는 서로 다른 촬영 각도에 대응되는 제3 취득 유닛;
    상기 비디오 이미지를 제1 미리 설정된 사이즈의 제1 이미지로 축소하기 위한 전처리 유닛;
    상기 제1 이미지를 상기 복수의 참조 이미지 중의 각 참조 이미지와 하나씩 유사도 매칭하여, 상기 복수의 참조 이미지에서 상기 제1 이미지와의 유사도가 가장 높은 타깃 참조 이미지를 매칭하기 위한 제2 매칭 유닛; 및
    상기 타깃 참조 이미지에 대응되는 촬영 각도를 취득하여, 상기 촬영 각도를 상기 전자 기기가 상기 비디오 이미지를 수집할 때 사용한 촬영 각도로 하기 위한 제4 취득 유닛을 포함하는
    차량의 주차 위반을 인식하는 장치.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 제2 인식 모듈은,
    상기 비디오 이미지에 기반하여, 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는지를 인식하기 위한 인식 유닛; 및
    상기 비디오 이미지에 기반하여, 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는 것으로 인식된 것에 응답하여, 상기 차량의 주차 위반을 결정하기 위한 결정 유닛을 포함하는
    차량의 주차 위반을 인식하는 장치.
  13. 제12항에 있어서,
    상기 인식 유닛은, 또한
    상기 비디오 이미지에 기반하여, 상기 차량의 주차 영역과 상기 주차 위반 영역 사이의 교집합이 미리 설정된 값의 이상인지를 계산하기 위한 것이며,
    상기 교집합이 상기 미리 설정된 값보다 크거나 같을 경우, 상기 차량의 주차 영역이 상기 주차 위반 영역 내에 있는 것으로 결정하는
    차량의 주차 위반을 인식하는 장치.
  14. 제9항에 있어서,
    상기 제1 인식 모듈은, 또한
    상기 비디오 이미지를 인스턴스 분할 모델에 입력하여, 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력시키기 위한 것인
    차량의 주차 위반을 인식하는 장치.
  15. 제9항에 있어서,
    상기 제1 인식 모듈은, 또한
    상기 비디오 이미지를 제2 미리 설정된 사이즈의 제2 이미지로 축소하고; 및
    상기 제2 이미지를 인스턴스 분할 모델에 입력하여, 이미지에서 서로 다른 유형의 차량의 주차 영역 분할 결과를 출력시키기 위한 것인
    차량의 주차 위반을 인식하는 장치.
  16. 제9항에 있어서,
    상기 차량은 동력 차량 및 비동력 차량을 포함하는
    차량의 주차 위반을 인식하는 장치.
  17. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하며,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제8항 중 어느 한 항의 상기 방법을 실행할 수 있게 하는
    전자 기기.
  18. 컴퓨터로 하여금 제1항 내지 제8항 중 어느 한 항의 상기 방법을 실행하게 하기 위한 컴퓨터 명령어가 저장된
    비휘발성 컴퓨터 판독가능 저장 매체.
  19. 프로세서에 의해 실행될 경우, 제1항 내지 제8항 중 어느 한 항의 상기 방법을 구현하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020220052623A 2021-04-28 2022-04-28 차량의 주차 위반을 인식하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 KR20220062460A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110469314.6 2021-04-28
CN202110469314.6A CN113299073B (zh) 2021-04-28 2021-04-28 识别车辆违章停车的方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
KR20220062460A true KR20220062460A (ko) 2022-05-17

Family

ID=77320366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220052623A KR20220062460A (ko) 2021-04-28 2022-04-28 차량의 주차 위반을 인식하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US20220254251A1 (ko)
EP (1) EP4016474A3 (ko)
JP (1) JP7270808B2 (ko)
KR (1) KR20220062460A (ko)
CN (1) CN113299073B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807209A (zh) * 2021-08-30 2021-12-17 阿波罗智联(北京)科技有限公司 车位检测方法、装置、电子设备及存储介质
CN115472035B (zh) * 2022-08-16 2023-09-29 常德智眼云科技有限公司 一种共享车辆停车识别管理系统
CN115775459B (zh) * 2023-02-13 2023-04-28 青岛图达互联信息科技有限公司 一种基于智能图像处理的数据采集系统及方法
CN117765417A (zh) * 2023-12-20 2024-03-26 城市大脑(广州)科技有限公司 一种基于无人机的共享车辆巡检方法、装置及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101567A (ja) * 1999-09-28 2001-04-13 Matsushita Electric Ind Co Ltd 交通情報システム
JP4140159B2 (ja) * 2000-01-19 2008-08-27 株式会社明電舎 監視カメラの監視エリア設定装置及びその方法
CN100565555C (zh) * 2007-12-05 2009-12-02 浙江工业大学 基于计算机视觉的违章停车检测装置
JP5702544B2 (ja) * 2010-03-15 2015-04-15 株式会社Ｋｄｄｉ研究所 車両交通監視装置およびプログラム
US9489839B2 (en) * 2012-08-06 2016-11-08 Cloudparc, Inc. Tracking a vehicle using an unmanned aerial vehicle
US9171213B2 (en) * 2013-03-15 2015-10-27 Xerox Corporation Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
CN103927878B (zh) * 2014-04-10 2016-05-25 中海网络科技股份有限公司 一种用于违章停车的自动抓拍装置及自动抓拍方法
CN104050679B (zh) * 2014-07-03 2017-05-17 杭州藏愚科技有限公司 一种违法停车的自动取证方法
CN105389990B (zh) * 2015-11-20 2017-10-31 北京信路威科技股份有限公司 一种基于监控球机的违章停车检测识别方法
WO2018076182A1 (zh) * 2016-10-25 2018-05-03 华为技术有限公司 一种图像拍摄方法及装置
US10497257B2 (en) * 2017-08-31 2019-12-03 Nec Corporation Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation
JP7029170B2 (ja) * 2017-09-01 2022-03-03 株式会社コンピュータサイエンス研究所 歩道進行支援システム及び歩道進行支援ソフトウェア
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN109035329A (zh) * 2018-08-03 2018-12-18 厦门大学 基于深度特征的相机姿态估计优化方法
CN109785637B (zh) * 2019-01-28 2022-07-08 平安科技（深圳）有限公司 车辆违规的分析评价方法及装置
CN110135356A (zh) * 2019-05-17 2019-08-16 北京百度网讯科技有限公司 违章停车的检测方法及装置、电子设备、计算机可读介质
JP7418171B2 (ja) * 2019-08-30 2024-01-19 キヤノン株式会社 画像処理装置、放射線撮影システム、画像処理方法及びプログラム
CN111105621B (zh) * 2019-12-17 2021-11-16 浙江大华技术股份有限公司 一种检测违章停车的方法及装置
CN111275771B (zh) * 2020-02-19 2023-04-25 电子科技大学中山学院 一种摄像头标定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2022093481A (ja) 2022-06-23
CN113299073B (zh) 2023-05-23
US20220254251A1 (en) 2022-08-11
EP4016474A2 (en) 2022-06-22
EP4016474A8 (en) 2022-08-10
EP4016474A3 (en) 2022-10-26
JP7270808B2 (ja) 2023-05-10
CN113299073A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
KR20220062460A (ko) 차량의 주차 위반을 인식하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램
WO2021098454A1 (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
US8958630B1 (en) System and method for generating a classifier for semantically segmenting an image
WO2019214320A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
EP3951741B1 (en) Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform
CN112287875B (zh) 异常车牌识别方法、装置、设备及可读存储介质
WO2019214321A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
Lee et al. Real-time illegal parking detection in outdoor environments using 1-D transformation
WO2021031954A1 (zh) 对象数量确定方法、装置、存储介质与电子设备
CN114943936B (zh) 目标行为识别方法、装置、电子设备及存储介质
US11498583B2 (en) Information processing method for vehicle driving on curve, electronic device and storage medium
WO2023273344A1 (zh) 车辆跨线识别方法、装置、电子设备和存储介质
CN111540191B (zh) 基于车联网的行车示警方法、系统、设备及存储介质
US20220357159A1 (en) Navigation Method, Navigation Apparatus, Electronic Device, and Storage Medium
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
US20230169680A1 (en) Beijing baidu netcom science technology co., ltd.
CN114708498A (zh) 图像处理方法、装置、电子设备以及存储介质
CN114333409A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113806361B (zh) 电子监控设备与道路的关联方法、装置及存储介质
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
Li et al. Detection Algorithm of Wind Power Equipment Video Image Sequence Based on Artificial Intelligence
CN113887574A (zh) 对象信息确定方法、装置、存储介质以及路侧设备
CN115829898A (zh) 数据处理方法、装置、电子设备、介质以及自动驾驶车辆