KR20230005140A - 이미지 기반 위치 결정 및 주차 모니터링을 위한 시스템 및 방법 - Google Patents

이미지 기반 위치 결정 및 주차 모니터링을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20230005140A
KR20230005140A KR1020227035101A KR20227035101A KR20230005140A KR 20230005140 A KR20230005140 A KR 20230005140A KR 1020227035101 A KR1020227035101 A KR 1020227035101A KR 20227035101 A KR20227035101 A KR 20227035101A KR 20230005140 A KR20230005140 A KR 20230005140A
Authority
KR
South Korea
Prior art keywords
image
parking
background
matching
vehicle
Prior art date
Application number
KR1020227035101A
Other languages
English (en)
Inventor
수바쉬 찰라
낫 보
루이스 퀸
듁 보
?? 보
Original Assignee
센센 네트웍스 그룹 피티와이 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2020900736A external-priority patent/AU2020900736A0/en
Application filed by 센센 네트웍스 그룹 피티와이 엘티디 filed Critical 센센 네트웍스 그룹 피티와이 엘티디
Publication of KR20230005140A publication Critical patent/KR20230005140A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J20/00—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof
    • B01J20/28—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof characterised by their form or physical properties
    • B01J20/28014—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof characterised by their form or physical properties characterised by their form
    • B01J20/28026—Particles within, immobilised, dispersed, entrapped in or on a matrix, e.g. a resin
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J20/00—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof
    • B01J20/28—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof characterised by their form or physical properties
    • B01J20/28014—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof characterised by their form or physical properties characterised by their form
    • B01J20/28033—Membrane, sheet, cloth, pad, lamellar or mat
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J20/00—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof
    • B01J20/28—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof characterised by their form or physical properties
    • B01J20/28054—Solid sorbent compositions or filter aid compositions; Sorbents for chromatography; Processes for preparing, regenerating or reactivating thereof characterised by their form or physical properties characterised by their surface properties or porosity
    • B01J20/28078—Pore diameter
    • B01J20/2808—Pore diameter being less than 2 nm, i.e. micropores or nanopores
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08G—MACROMOLECULAR COMPOUNDS OBTAINED OTHERWISE THAN BY REACTIONS ONLY INVOLVING UNSATURATED CARBON-TO-CARBON BONDS
    • C08G18/00—Polymeric products of isocyanates or isothiocyanates
    • C08G18/06—Polymeric products of isocyanates or isothiocyanates with compounds having active hydrogen
    • C08G18/28—Polymeric products of isocyanates or isothiocyanates with compounds having active hydrogen characterised by the compounds used containing active hydrogen
    • C08G18/40—High-molecular-weight compounds
    • C08G18/4009—Two or more macromolecular compounds not provided for in one single group of groups C08G18/42 - C08G18/64
    • C08G18/4072—Mixtures of compounds of group C08G18/63 with other macromolecular compounds
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08G—MACROMOLECULAR COMPOUNDS OBTAINED OTHERWISE THAN BY REACTIONS ONLY INVOLVING UNSATURATED CARBON-TO-CARBON BONDS
    • C08G18/00—Polymeric products of isocyanates or isothiocyanates
    • C08G18/06—Polymeric products of isocyanates or isothiocyanates with compounds having active hydrogen
    • C08G18/28—Polymeric products of isocyanates or isothiocyanates with compounds having active hydrogen characterised by the compounds used containing active hydrogen
    • C08G18/40—High-molecular-weight compounds
    • C08G18/48—Polyethers
    • C08G18/4833—Polyethers containing oxyethylene units
    • C08G18/4837—Polyethers containing oxyethylene units and other oxyalkylene units
    • C08G18/485—Polyethers containing oxyethylene units and other oxyalkylene units containing mixed oxyethylene-oxypropylene or oxyethylene-higher oxyalkylene end groups
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08G—MACROMOLECULAR COMPOUNDS OBTAINED OTHERWISE THAN BY REACTIONS ONLY INVOLVING UNSATURATED CARBON-TO-CARBON BONDS
    • C08G18/00—Polymeric products of isocyanates or isothiocyanates
    • C08G18/06—Polymeric products of isocyanates or isothiocyanates with compounds having active hydrogen
    • C08G18/28—Polymeric products of isocyanates or isothiocyanates with compounds having active hydrogen characterised by the compounds used containing active hydrogen
    • C08G18/40—High-molecular-weight compounds
    • C08G18/63—Block or graft polymers obtained by polymerising compounds having carbon-to-carbon double bonds on to polymers
    • C08G18/632—Block or graft polymers obtained by polymerising compounds having carbon-to-carbon double bonds on to polymers onto polyethers
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08G—MACROMOLECULAR COMPOUNDS OBTAINED OTHERWISE THAN BY REACTIONS ONLY INVOLVING UNSATURATED CARBON-TO-CARBON BONDS
    • C08G18/00—Polymeric products of isocyanates or isothiocyanates
    • C08G18/06—Polymeric products of isocyanates or isothiocyanates with compounds having active hydrogen
    • C08G18/70—Polymeric products of isocyanates or isothiocyanates with compounds having active hydrogen characterised by the isocyanates or isothiocyanates used
    • C08G18/72—Polyisocyanates or polyisothiocyanates
    • C08G18/74—Polyisocyanates or polyisothiocyanates cyclic
    • C08G18/76—Polyisocyanates or polyisothiocyanates cyclic aromatic
    • C08G18/7614—Polyisocyanates or polyisothiocyanates cyclic aromatic containing only one aromatic ring
    • C08G18/7621—Polyisocyanates or polyisothiocyanates cyclic aromatic containing only one aromatic ring being toluene diisocyanate including isomer mixtures
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08J—WORKING-UP; GENERAL PROCESSES OF COMPOUNDING; AFTER-TREATMENT NOT COVERED BY SUBCLASSES C08B, C08C, C08F, C08G or C08H
    • C08J5/00—Manufacture of articles or shaped materials containing macromolecular substances
    • C08J5/18—Manufacture of films or sheets
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08J—WORKING-UP; GENERAL PROCESSES OF COMPOUNDING; AFTER-TREATMENT NOT COVERED BY SUBCLASSES C08B, C08C, C08F, C08G or C08H
    • C08J9/00—Working-up of macromolecular substances to porous or cellular articles or materials; After-treatment thereof
    • C08J9/0066—Use of inorganic compounding ingredients
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08K—Use of inorganic or non-macromolecular organic substances as compounding ingredients
    • C08K3/00—Use of inorganic substances as compounding ingredients
    • C08K3/34—Silicon-containing compounds
    • C08K3/36—Silica
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08G—MACROMOLECULAR COMPOUNDS OBTAINED OTHERWISE THAN BY REACTIONS ONLY INVOLVING UNSATURATED CARBON-TO-CARBON BONDS
    • C08G2110/00—Foam properties
    • C08G2110/0008—Foam properties flexible
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08G—MACROMOLECULAR COMPOUNDS OBTAINED OTHERWISE THAN BY REACTIONS ONLY INVOLVING UNSATURATED CARBON-TO-CARBON BONDS
    • C08G2110/00—Foam properties
    • C08G2110/0041—Foam properties having specified density
    • C08G2110/005—< 50kg/m3
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08G—MACROMOLECULAR COMPOUNDS OBTAINED OTHERWISE THAN BY REACTIONS ONLY INVOLVING UNSATURATED CARBON-TO-CARBON BONDS
    • C08G2110/00—Foam properties
    • C08G2110/0083—Foam properties prepared using water as the sole blowing agent
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08J—WORKING-UP; GENERAL PROCESSES OF COMPOUNDING; AFTER-TREATMENT NOT COVERED BY SUBCLASSES C08B, C08C, C08F, C08G or C08H
    • C08J2205/00—Foams characterised by their properties
    • C08J2205/06—Flexible foams
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08J—WORKING-UP; GENERAL PROCESSES OF COMPOUNDING; AFTER-TREATMENT NOT COVERED BY SUBCLASSES C08B, C08C, C08F, C08G or C08H
    • C08J2323/00—Characterised by the use of homopolymers or copolymers of unsaturated aliphatic hydrocarbons having only one carbon-to-carbon double bond; Derivatives of such polymers
    • C08J2323/02—Characterised by the use of homopolymers or copolymers of unsaturated aliphatic hydrocarbons having only one carbon-to-carbon double bond; Derivatives of such polymers not modified by chemical after treatment
    • C08J2323/04—Homopolymers or copolymers of ethene
    • C08J2323/06—Polyethene
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08J—WORKING-UP; GENERAL PROCESSES OF COMPOUNDING; AFTER-TREATMENT NOT COVERED BY SUBCLASSES C08B, C08C, C08F, C08G or C08H
    • C08J2375/00—Characterised by the use of polyureas or polyurethanes; Derivatives of such polymers
    • C08J2375/04—Polyurethanes
    • C08J2375/08—Polyurethanes from polyethers
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08K—Use of inorganic or non-macromolecular organic substances as compounding ingredients
    • C08K2201/00—Specific properties of additives
    • C08K2201/002—Physical properties
    • C08K2201/005—Additives being defined by their particle size in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Organic Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Polymers & Plastics (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • Materials Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Inorganic Chemistry (AREA)
  • Nanotechnology (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

실시예들은 이미지 처리 동작에 의한 도시 지역의 주차 모니터링을 위한 시스템, 방법 및 컴퓨터 판독 가능 매체에 관한 것이다. 실시예들은 도시 지역의 이미지를 캡처하고 캡처 이미지를 기준 이미지와 비교하여 위치 및 주차 조건을 결정함으로써 주차 모니터링을 수행한다. 실시예들은 주차 조건에 대한 차량의 준수를 결정하기 위해 번호판, 차량 또는 주차 표지판을 검출하기 위해 캡처 이미지를 처리한다.

Description

이미지 기반 위치 결정 및 주차 모니터링을 위한 시스템 및 방법
실시예들은 위치 추정 또는 결정을 위한 시스템 및 방법에 관한 것이다. 실시예들은 이미지 기반 위치 추정 또는 결정을 위한 시스템 및 방법에 관한 것이다. 실시예들은 또한, 주차 모니터링을 위해 이미지 기반 위치 추정 또는 결정을 사용하는 시스템 및 방법에 관한 것이다.
GPS(Global Positioning System) 기술은 GPS 수신기와 통신하는 GPS 전문 위성과 통신하여 위치 결정을 지원한다. 각 GPS 위성은 현재 시간과 그의 위치에 대한 데이터가 포함된 무선 신호를 지속적으로 전송한다. 위성이 신호를 전송하고 수신기가 신호를 수신할 때까지의 시간 지연은 위성으로부터 수신기까지의 거리에 비례한다. GPS 수신기는 다수의 위성들을 모니터링하고 방정식을 풀어 수신기의 정확한 위치와 실제 시간으로부터 그의 편차를 결정한다. 정확한 위치 정보를 얻기 위해서는, GPS 수신기가 4개의 미지의 양(3개의 위치 좌표 및 위성 시간의 시계 편차)을 계산할 수 있도록 4개의 위성이 GPS 수신기의 시야에 있어야 한다.
GPS 기반 위치 추정은 GPS 수신기의 위치를 정확하게 찾아내기 위해 적어도 4개의 위성에 대한 방해받지 않는 시선을 필요로 한다. GPS 위성에 대한 연결이 불량하거나 4개 미만의 GPS 위성에 대한 연결은 GPS 기반 위치 결정에 대해 부정확성을 초래한다. GPS 위성들에 대한 연결은 지자기 폭풍과 같은 극단적인 대기 조건의 영향을 받을 수도 있다. 벽, 건물, 고층 빌딩 및 나무와 같은 장애물은 GPS 수신기의 시선을 방해하여 부정확한 위치 추정을 초래할 수 있다. 고층 빌딩이나 나무와 같이 여러 장애물이 있는 도시의 일부와 같이 여러 장애물이 있는 지역에서는 GPS 위치 정보를 신뢰할 수 없거나 정확하지 않을 수 있다.
본 출원에 포함된 문헌, 행위, 재료, 장치, 물품 등에 대한 어떠한 논의도 이들 문제의 일부 또는 전부가 종래 기술 기반의 일부를 형성하거나 또는 본 출원의 각 청구항의 우선일 이전에 존재하는 본 발명과 관련된 분야의 공통의 일반적인 지식임을 인정하는 것이 아니다.
본 명세서 전반에 걸쳐 단어 "포함하다" 또는 "포함하고 있다" 또는 "포함하는"과 같은 변형들은 언급된 요소, 정수 또는 단계, 또는 요소들, 정수들 또는 단계들의 그룹을 포함하는 것을 의미하는 것으로 이해되나, 다른 요소, 정수 또는 단계 또는 요소들, 정수들 또는 단계들의 그룹을 제외하지 않는다.
어떤 실시예는 도시 지역의 주차 모니터링 시스템에 관한 것으로, 상기 시스템은,
도시 지역의 이미지를 캡처하기 위해 위치되는 적어도 하나의 카메라,
캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 통신하는 컴퓨팅 장치를 포함하고,
상기 컴퓨팅 장치는 적어도 하나의 프로세서 및 이 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하고,
상기 메모리는 기준 배경 이미지의 라이브러리 및 각각의 기준 배경 이미지에 대한 메타데이터를 포함하고, 상기 메타데이터는 주차 위치 정보 및 주차 조건 정보를 포함하고;
상기 메모리는,
제1 캡처 이미지에서 대상 차량에 대응하는 번호판 번호를 결정하기 위해 제1 캡처 이미지를 처리하고;
매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 제2 캡처 이미지를 처리하고;
매칭 기준 배경 이미지의 메타데이터에 기초하여 대상 차량의 식별된 주차 위치 및 적어도 하나의 주차 조건을 결정하고;
상기 결정된 적어도 하나의 주차 조건에 대한 대상 차량의 준수를 결정하도록,
상기 적어도 하나의 프로세서를 구성하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 저장한다.
어떤 실시예에 있어서, 상기 제1 캡처 이미지는 제2 캡처 이미지와 동일한 캡처 이미지이다.
어떤 실시예는 도시 지역의 주차 모니터링 시스템에 관한 것으로, 상기 시스템은,
도시 지역의 이미지를 캡처하도록 위치되는 적어도 하나의 카메라;
캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 통신하는 컴퓨팅 장치를 포함하고,
상기 컴퓨팅 장치는 적어도 하나의 프로세서 및 이 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하고;
상기 메모리는 기준 배경 이미지의 라이브러리 및 각각의 기준 배경 이미지에 대한 메타데이터를 포함하고, 상기 메타데이터는 주차 위치 정보를 포함하고;
상기 메모리는 또한,
캡처 이미지들 중 적어도 하나에서 주차 인디케이터를 식별하기 위해 주차 인디케이터 검출 기계 학습 모델을 사용하여 캡처 이미지를 처리하고;
주차 인디케이터를 식별할 때, 캡처 이미지들 중 하나와 일치하는 매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 캡처 이미지를 처리하고;
매칭 기준 배경 이미지와 연관된 메타데이터에 기초하여 주차 위치를 결정하고;
상기 식별된 주차 인디케이터에 기초하여 주차 조건을 결정하고;
대상 차량에 대응하는 번호판 번호를 결정하기 위해 캡처 이미지를 처리하며;
상기 결정된 주차 조건에 대한 대상 차량의 준수를 결정하도록,
적어도 하나의 프로세서를 구성하기 위해 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 포함한다.
어떤 실시예에 있어서, 상기 대상 차량에 대응하는 번호판 번호는 번호판 검출 기계 학습 모델을 사용하여 결정된다.
어떤 실시예에 있어서, 상기 주차 인디케이터는 주차 표지 또는 번호판을 포함하고, 상기 주차 인디케이터 검출 기계 학습 모델은 상기 캡처 이미지에서 주차 표지 또는 번호판을 검출한다.
어떤 실시예에 있어서, 상기 메모리는 각각의 기준 배경 이미지와 연관된 주차 주변 메타데이터를 더 포함하고, 상기 적어도 하나의 프로세서는,
캡처 이미지들 중 하나에서 대상 차량에 대응하는 이미지 부분을 식별하기 위해 적어도 하나의 캡처 이미지를 처리하고;
대상 차량에 대응하는 이미지 부분 및 매칭 기준 배경 이미지과 연관된 주차 주변 메타데이터에 기초하여 상기 결정된 주차 조건에 대한 대상 차량의 준수를 결정하도록 추가로 구성된다.
어떤 실시예에 있어서, 상기 대상 차량에 대응하는 이미지 부분은 차량 검출 기계 학습 모델을 사용하여 식별된다.
어떤 실시예에 있어서, 상기 배경 매칭 모듈은 배경 지형지물 추출기 신경망을 포함하고, 적어도 하나의 프로세서는,
배경 지형지물 추출기 신경망을 사용하여 상기 적어도 하나의 캡처 이미지로부터 배경 기술자(descriptor)를 추출하고;
상기 추출된 배경 기술자에 기초하여 배경 이미지의 라이브러리에서 하나 이상의 후보 매칭 이미지를 선택하고;
상기 적어도 하나의 캡처 이미지와 상기 후보 매칭 이미지 사이에 기하학적 매칭을 수행하여 매칭 기준 배경 이미지를 선택함으로써,
매칭 기준 배경 이미지를 식별하도록 추가로 구성된다.
어떤 실시예에 있어서, 상기 기하학적 매칭은 랜덤 샘플 합의 프로세스를 사용하여 수행된다.
상기 주차 위치 정보는 거리명 및 거리 번호를 포함하고; 또는 상기 주차 위치 정보는 거리명, 거리 번호 및 주차 구역 식별자를 포함하고; 또는 상기 주차 위치 정보는 주차 위치와 연관된 경도 좌표 및 위도 좌표를 포함할 수 있다.
어떤 실시예에 있어서, 상기 하나 이상의 카메라는 감시 차량에 장착되고,
상기 컴퓨팅 장치는 감시 차량에 의해 운반되고,
상기 시스템은 컴퓨팅 장치와 원격 컴퓨터 시스템 사이의 무선 통신을 가능하도록 하기 위한 통신 모듈을 더 포함한다.
어떤 실시예는 감시 차량이 도시 지역에서 이동할 때 실시간으로 주차 모니터링을 수행하도록 구성된다.
어떤 실시예에 있어서, 상기 시스템은 적어도 2개의 카메라를 포함하되, 적어도 하나의 카메라는 상기 감시 차량의 양측에 주차 모니터링을 수행하기 위해 상기 감시 차량의 각 측면들에 위치된다.
어떤 실시예에 있어서, 상기 시스템은 적어도 2개의 카메라를 포함하고, 2개의 카메라 모두 감시 차량의 일 측에서 이미지를 캡처하도록 위치되고; 상기 배경 매칭 모듈은, 매칭 기준 배경 이미지를 식별하기 위해 적어도 2개의 카메라들의 각각으로부터 캡처 이미지를 사용하여 배경 매칭을 수행하도록 구성된다.
어떤 실시예는 감시 차량이 도시 지역에서 이동할 때 캡처 이미지에 걸쳐 대상 차량을 추적하도록 추가로 구성된다.
어떤 실시예는, 결정된 주차 조건들에 대한 대상 차량의 결정된 준수; 대상 차량에 대응하는 결정된 번호판 번호; 결정된 주차 위치; 또는 대상 차량의 캡처 이미지. 중 하나 이상을 상기 통신 모듈을 통해 원격 컴퓨터 시스템에 전송하도록 추가로 구성된다.
어떤 실시예에 있어서, 상기 번호판 검출 기계 학습 모델은 상기 대상 차량의 번호판에 대응하는 상기 캡처 이미지의 일부를 식별하도록 구성되고, 번호판 번호는 문자 인식 모듈에 의해 번호판에 대응하는 캡처 이미지의 부분을 처리하는 것에 기초하여 결정된다.
어떤 실시예에 있어서, 상기 주차 조건은, 상기 식별된 주차 표지판에 대응하는 캡처 이미지의 일부를 문자 인식 모듈을 사용하여 처리함으로써 인식된 문자에 기초하여 결정된다.
어떤 실시예에 있어서, 적어도 하나의 기준 배경 이미지는 주차 구역 시작 위치에 관련되고 다른 적어도 하나의 기준 배경 이미지는 주차 구역 끝 위치에 관련되며, 식별된 적어도 하나의 주차 조건에 대한 대상 차량의 준수 결정은, 식별된 주차 위치와 주차 구역 시작 위치 사이의 거리; 또는 식별된 주차 위치와 주차 구역 끝 위치 사이의 거리에 기초한다.
어떤 실시예는 메모리와 통신하는 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 주차 모니터링을 위한 컴퓨터 구현 방법에 관한 것으로, 상기 메모리는 기준 배경 이미지의 라이브러리를 포함하고, 상기 방법은,
컴퓨팅 장치와 통신하는 카메라에 의해 캡처된 도시 지역의 이미지를 수신하고;
적어도 하나의 캡처 이미지에서 하나 이상의 주차 인디케이터를 식별하기 위해 주차 인디케이터 검출 기계 학습 모델을 사용하여 캡처 이미지를 처리하고;
적어도 하나의 캡처 이미지에서 적어도 하나의 주차 인디케이터를 식별할 때, 매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 적어도 하나의 캡처 이미지를 처리하고;
매칭 기준 배경 이미지에 기초하여 주차 위치를 결정하고;
결정된 주차 위치 또는 식별된 하나 이상의 주차 인디케이터들에 기초하여 주차 조건을 결정하고;
적어도 하나의 캡처 이미지에서 대상 차량에 대응하는 번호판 번호를 결정하기 위해 적어도 하나의 캡처 이미지를 처리하며;
결정된 번호판 번호 및 결정된 주차 조건에 기초하여 결정된 주차 조건에 대한 대상 차량의 준수를 결정하는 것을 포함한다.
어떤 실시예는 위치 결정을 위한 시스템에 관한 것으로, 상기 시스템은,
적어도 하나의 프로세서 및 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하는 컴퓨팅 장치를 포함하고,
상기 메모리는 기준 배경 이미지의 라이브러리 및 각각의 기준 배경 이미지에 대한 메타데이터를 포함하고, 상기 메타데이터는 위치 정보를 포함하고;
상기 메모리는,
원격 컴퓨팅 장치로부터, 결정될 위치에서 원격 컴퓨팅 장치에 의해 캡처된 적어도 하나의 이미지의 이미지 데이터를 포함하는 입력 이미지 데이터를 수신하고고;
매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 상기 수신된 입력 이미지 데이터를 처리하고;
라이브러리에서 매칭 기준 배경 이미지의 메타데이터에 기초하여 입력 이미지 데이터에 대응하는 위치 정보를 결정하고;
결정된 위치 정보를 원격 컴퓨팅 장치에 전송하도록,
상기 적어도 하나의 프로세서를 구성하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 저장한다.
어떤 실시예에 있어서, 상기 배경 매칭 모듈은 배경 지형지물 추출기 신경망을 포함하고, 상기 적어도 하나의 프로세서는,
배경 지형지물 추출기 신경망을 사용하여 상기 적어도 하나의 캡처 이미지로부터 배경 기술자를 추출하고;
추출된 배경 기술자에 기초하여 배경 이미지의 라이브러리에서 하나 이상의 후보 매칭 이미지들을 선택하고;
적어도 하나의 캡처 이미지와 후보 매칭 이미지 사이에 기하학적 매칭을 수행하여 매칭 기준 배경 이미지를 선택함으로써,
상기 매칭 기준 배경 이미지를 식별하도록 추가로 구성된다.
어떤 실시예에 있어서, 상기 기하학적 매칭은 상기 적어도 하나의 캡처 이미지 및 상기 후보 매칭 이미지 각각에서 공통 시각적 지형지물을 식별하는 것을 포함한다.
어떤 실시예에 있어서, 상기 기하학적 매칭은 랜덤 샘플 합의 프로세스를 사용하여 수행된다.
어떤 실시예에 있어서, 상기 배경 지형지물 추출기 신경망은 적어도 하나의 캡처 이미지에서 하나 이상의 정지 지형지물들에 대응하는 배경 기술자를 추출하도록 트레이닝된다.
어떤 실시예에 있어서, 상기 메모리는,
원격 컴퓨팅 장치로부터 입력 이미지에 대응하는, 낮은 데이터 품질 인디케이터를 포함하는 GPS 데이터를 수신하고;
결정된 위치 정보에 기초하여 GPS 교정 신호를 생성하고;
GPS 교정 신호를 원격 컴퓨팅 장치에 전송하기 위해,
적어도 하나의 프로세서들을 추가로 구성하도록 상기 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 저장한다.
어떤 실시예는 도시 지역에서의 위치 결정을 위한 차량 탑재 시스템에 관한 것으로, 상기 시스템은,
도시 지역의 이미지를 캡처하도록 위치되는 적어도 하나의 카메라;
캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 통신하고, 적어도 하나의 프로세서 및 이 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하며, 상기 메모리는 기준 배경 이미지의 라이브러리를 포함하는, 컴퓨팅 장치를 포함하고,
상기 메모리는,
적어도 하나의 캡처 이미지로부터 배경 기술자를 추출하고;
추출된 배경 기술자에 기초하여 배경 이미지의 라이브러리로부터 하나 이상의 후보 매칭 기준 이미지를 선택하고;
단일의 매칭 기준 배경 이미지를 선택하기 위해 적어도 하나의 캡처 이미지와 하나 이상의 후보 매칭 기준 이미지 사이의 기하학적 매칭을 수행하고;
상기 단일의 매칭 기준 배경 이미지에 기초하여 차량의 위치를 결정하도록,
상기 적어도 하나의 프로세서를 구성하기 위해 이 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 포함한다.
어떤 실시예에 있어서, 상기 메모리는 각각의 기준 배경 이미지에 대응하는 위치 메타데이터를 더 포함하고; 차량의 위치는 단일의 매칭 기준 배경 이미지에 대응하는 위치 메타데이터에 기초하여 결정된다.
어떤 실시예에 있어서, 배경 기술자는 배경 지형지물 추출기 신경망을 사용하여 적어도 하나의 캡처 이미지로부터 추출된다.
어떤 실시예에 있어서, 상기 위치를 결정하는 단계는 실시간으로 수행된다.
어떤 실시예는 도시 지역에서 차량의 위치를 결정하기 위한 컴퓨터 구현 방법에 관한 것으로, 상기 방법은 메모리와 통신하는 적어도 하나의 프로세서를 포함하는 차량 탑재 컴퓨팅 장치에 의해 수행되고, 상기 메모리는 기준 배경 이미지의 라이브러리를 포함하고, 상기 방법은,
컴퓨팅 장치와 통신하는 카메라에 의해 캡처된 도시 지역의 이미지를 수신하는 단계;
상기 카메라에 의해 캡처된 적어도 하나의 이미지로부터 배경 기술자를 추출하는 단계;
추출된 배경 기술자에 기초하여 배경 이미지 라이브러리로부터 하나 이상의 후보 매칭 기준 이미지를 선택하는 단계;
단일의 매칭 기준 배경 이미지를 선택하기 위해 적어도 하나의 캡처 이미지와 하나 이상의 후보 매칭 기준 이미지 사이의 기하학적 매칭을 수행하는 단계; 및
단일의 매칭 기준 배경 이미지에 기초하여 차량의 위치를 결정하는 단계를 포함한다.
어떤 실시예는 도시 지역에서 차량의 위치를 결정하기 위한 컴퓨터 구현 방법에 관한 것으로, 상기 방법은 메모리 및 적어도 하나의 카메라와 통신하는 적어도 하나의 프로세서를 포함하는 차량 탑재 컴퓨팅 장치에 의해 수행되고, 상기 메모리는 기준 배경 이미지의 라이브러리를 포함하며, 상기 방법은,
적어도 하나의 카메라가 도시 지역에서 이동하는 동안 도시 지역의 이미지를 캡처하는 단계;
매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 캡처 이미지를 처리하는 단계; 및
매칭 기준 배경 이미지의 메타데이터에 기초하여 차량의 위치를 결정하는 단계를 포함한다.
어떤 실시예에 있어서, 상기 적어도 하나의 카메라는 차량에 장착된다.
어떤 실시예에 있어서, 차량의 위치 결정은 차량 탑재 컴퓨팅 장치에 의해 실시간으로 수행된다.
어떤 실시예는 도시 지역에서의 위치 결정을 위한 시스템에 관한 것으로, 상기 시스템은,
적어도 하나의 카메라가 도시 지역에서 이동하는 동안 도시 지역의 이미지를 캡처하도록 위치되는 적어도 하나의 카메라;
캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 함께 이동하고 상기 적어도 하나의 카메라와 통신하는 컴퓨팅 장치를 포함하고,
상기 컴퓨팅 장치는 적어도 하나의 프로세서 및 이 적어도 하나의 프로세서에 액세스가능한 메모리를 포함하고;
상기 메모리는 기준 배경 이미지의 라이브러리 및 각각의 기준 배경 이미지에 대한 메타데이터를 포함하고, 상기 메타데이터는 위치 정보를 포함하고;
상기 메모리는,
매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 캡처 이미지를 처리하고;
매칭 기준 배경 이미지의 메타데이터에 기초하여 적어도 하나의 카메라 및 컴퓨팅 장치의 위치를 결정하기 위해 구성되도록,
상기 적어도 하나의 프로세서를 구성하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 저장한다.
어떤 실시예에 있어서, 배경 매칭 모듈을 사용하여 캡처 이미지를 처리하는 것은, 캡처 이미지로부터 배경 기술자를 추출하고; 상기 추출된 배경 기술자에 기초하여 기준 배경 이미지 라이브러리로부터 하나 이상의 후보 매칭 이미지를 선택하고; 상기 캡쳐 이미지와 상기 후보 매칭 이미지 사이에 기하학적 매칭을 수행하여 매칭 기준 배경 이미지를 선택하는 것을 포함한다.
어떤 실시예에 있어서, 상기 배경 매칭 모듈은 상기 적어도 하나의 캡처 이미지에서 하나 이상의 정지 지형지물들에 대응하는 배경 기술자를 추출하도록 구성되는 배경 지형지물 추출기 신경망을 포함한다.
어떤 실시예에 있어서, 상기 기하학적 매칭은 랜덤 샘플 합의 프로세스를 사용하여 수행되고; 상기 기하학적 매칭은 적어도 하나의 캡처 이미지 및 각각의 후보 매칭 이미지에서 공통의 시각적 지형지물을 식별하는 것을 포함한다.
어떤 실시예에 있어서, 컴퓨팅 장치는 실시간으로 위치를 결정하도록 구성된다.
어떤 실시예에 있어서, 상기 적어도 하나의 카메라는 차량 주변의 이미지를 캡처하기 위해 차량에 장착된다.
어떤 실시예에 있어서, 상기 차량은 자율 주행 차량이다.
어떤 실시예에 있어서, 상기 차량은 온보드 GPS 수신기를 포함하고 상기 차량은 이미지 기반 위치 결정 트리거 이벤트에 응답하여 위치 결정을 위한 시스템을 사용하여 위치 결정을 트리거하도록 구성된다.
어떤 실시예에 있어서, 상기 이미지 기반 위치 결정 트리거 이벤트는,
온보드 GPS 수신기에 의해 생성되는 낮은 정밀도의 GPS 데이터; 또는
차량에 의한 사전 규정된 지오 펜스(geo-fence) 횡단; 중 적어도 하나를 포함할 수 있다.
어떤 실시예는 위치 결정을 위한 컴퓨터 구현 방법에 관한 것으로, 상기 방법은 메모리와 통신하는 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되고, 상기 방법은,
원격 컴퓨팅 장치로부터 컴퓨팅 장치에 의해, 결정될 위치에 대응하는 입력 이미지를 수신하는 단계;
상기 메모리에 저장된 기준 배경 이미지들의 라이브러리 중에서 매칭 기준 배경 이미지를 식별하기 위해 상기 컴퓨팅 장치의 메모리에 제공되는 배경 매칭 모듈을 사용하여 상기 수신된 입력 이미지를 처리하는 단계;
매칭 기준 배경 이미지의 메타 데이터에 기초하여 입력 이미지에 대응하는 위치 정보를 결정하는 단계; 및
결정된 위치 정보를 원격 컴퓨팅 장치에 전송하는 단계를 포함한다.
어떤 실시예에 있어서, 상기 배경 매칭 모듈은 배경 지형지물 추출기 신경망을 포함하고, 상기 방법은,
배경 지형지물 추출기 신경망을 사용하여 캡처된 적어도 하나의 이미지로부터 배경 기술자를 추출하고;
추출된 배경 기술자에 기초하여 배경 이미지의 라이브러리로부터 하나 이상의 후보 매칭 이미지를 선택하고;
적어도 하나의 캡처 이미지와 후보 매칭 이미지 사이에 기하학적 매칭을 수행하여 매칭 기준 배경 이미지를 선택함으로써,
매칭 기준 배경 이미지를 식별하는 단계를 더 포함한다.
어떤 실시예에 있어서, 상기 기하학적 매칭은 상기 적어도 하나의 캡처 이미지 및 상기 후보 매칭 이미지의 각각에서 공통의 시각적 지형지물들을 식별하는 단계를 포함한다.
어떤 실시예에 있어서, 상기 기하학적 매칭은 랜덤 샘플 합의 프로세스를 사용하여 수행된다.
어떤 실시예에 있어서, 상기 배경 지형지물 추출기 신경망은 적어도 하나의 캡처 이미지에서 하나 이상의 영구적 정지 지형지물들에 대응하는 배경 기술자를 추출하도록 트레이닝된다.
어떤 실시예에 있어서, 상기 방법은,
원격 컴퓨팅 장치로부터 입력 이미지에 대응하는 GPS 데이터를 수신하는 단계로서, 상기 GPS 데이터는 낮은 데이터 품질 인디케이터를 포함하는, 단계;
상기 결정된 위치 정보에 기초하여 GPS 교정 신호를 생성하는 단계;
상기 GPS 교정 신호를 원격 컴퓨팅 장치로 전송하는 단계를 더 포함하고,
상기 GPS 교정 신호는 보다 정확한 GPS 위치 데이터를 결정하기 위해 원격 컴퓨팅 장치에 의해 액세스 가능한 정보를 포함한다.
어떤 실시예는 컴퓨터에 의해 실행될 때 컴퓨터가 상기 실시예들의 임의의 하나에 따라 주차 모니터링의 방법을 수행하도록 하는 명령을 저장하는 컴퓨터 판독가능 저장 매체에 관한 것이다.
어떤 실시예는 도시 지역의 주차 모니터링 시스템에 관한 것으로, 상기 시스템은,
도시 지역의 이미지를 캡처하도록 위치되는 적어도 하나의 카메라;
캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 통신하는 컴퓨팅 장치;
적어도 하나의 프로세서 및 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하는 컴퓨팅 장치를 포함하고,
상기 메모리는 기준 배경 이미지의 라이브러리를 포함하고;
상기 메모리는 또한,
적어도 하나의 캡처 이미지에서 하나 이상의 주차 인디케이터를 식별하기 위해 주차 인디케이터 검출 기계 학습 모델을 사용하여 캡처 이미지를 처리하고;
적어도 하나의 캡처 이미지에서 적어도 하나의 주차 인디케이터를 식별할 때, 매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 적어도 하나의 캡처 이미지를 처리하고;
매칭 기준 배경 이미지에 기초하여 주차 위치를 결정하고;
결정된 주차 위치 또는 식별된 하나 이상의 주차 인디케이터에 기초하여 주차 조건을 결정하고;
적어도 하나의 캡처 이미지에서 대상 차량에 대응하는 번호판 번호를 결정하기 위해 적어도 하나의 캡처 이미지를 처리하고;
결정된 번호판 번호 및 결정된 주차 조건에 기초하여 결정된 주차 조건에 대한 대상 차량의 준수를 결정하기 위해,
적어도 하나의 프로세서를 구성하도록 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 포함한다.
도 1은 어떤 실시예에 따른 주차 모니터링 시스템의 블록도이다.
도 2는 어떤 실시예에 따른 주차 모니터링을 위한 프로세스의 흐름도이다.
도 3은 어떤 실시예에 따른 위치 결정을 위한 프로세스의 흐름도이다.
도 4 내지 도 8은 주차 인디케이터 식별 및 차량 식별을 예시하는 캡처 이미지의 일례이다.
도 8은 배경 매칭 프로세스를 나타내는 이미지의 예시적인 쌍이다.
도 9는 기준 배경 이미지의 일례이다.
도 10은 도 9의 기준 배경 이미지와, 동일한 주차 위치에 대응하는 캡쳐 이미지의 일례이다.
도 11은 도 10의 이미지에 도 9의 이미지를 중첩하여 얻어진 이미지이다.
도 12는 어떤 실시예에 따른 감시 차량의 일부의 이미지이다.
도 13은 어떤 실시예에 따른 이미지 주석을 위한 프로세스의 흐름도이다.
도 14는 어떤 실시예에 따른 이미지 주석 사용자 인터페이스의 스크린샷이다.
도 15는 어떤 실시예에 따른 자동 위치 외삽의 결과를 예시하는 이미지이다.
도 16은 어떤 실시예에 따른 주차 모니터링의 일부 양태를 예시하는 개략도이다.
도 17은 어떤 실시예에 따른 주차 모니터링의 일부 양태를 예시하는 개략도이다.
도 18은 어떤 실시예에 따른 위치 결정을 위한 시스템의 블록도이다.
도 19는 도 18의 시스템에 의해 수행되는 위치 결정 프로세스의 흐름도이다.
도 20은 어떤 실시예에 따른 자율주행 차량의 일부의 블록도이다.
도 21은 배경 매칭 프로세스를 나타내는 이미지의 예시적인 쌍이다.
도 22는 어떤 실시예에 따른 예시적인 컴퓨터 시스템을 도시한다.
기술된 실시예는 이미지를 사용한 위치 결정 또는 추정을 위한 시스템 및 방법에 관한 것이다. 건물 밀도가 높은 도시 지역에서는, 거리나 지상에서 GPS 신호 연결 및 정확도가 떨어지는 경우가 많아 GPS 장치를 사용하여 위치를 부정확하게 추정할 수 있다. 기술된 실시예는 실시간 또는 거의 실시간으로 위치 정보를 결정하기 위해 이미지 처리 기술에 의존한다.
기술된 어떤 실시예는 또한, 도시 지역에서 주차를 모니터링하고 주차 조건을 준수하기 위한 시스템 및 방법에 관한 것이다. 주차 공간은 종종 도시 지역에서 제한된 자원이다. 도시 지역에는 교통의 효율성을 관리하면서 제한된 주차 자원을 최대한 잘 할당하기 위해 여러 주차 조건들 또는 제한 사항들이 있을 수 있다. 주차 공간은 지방 자치 단체의 수입원이 될 수도 있다. 주차 조건이나 제한의 효과는 지속적인 단속의 정도에 달려 있다. 적절한 집행이 이루어지지 않으면, 주차 조건이 자주 위반되어 주차 자원의 공정한 할당에 영향을 미치고 교통 효율성을 저해할 수 있다.
어떤 실시예는 자율주행 차량에 의해 또는 자율주행 차량에서 사용하기에 적합한 위치 추정을 위한 시스템 및 방법에 관한 것이다.
기술된 실시예는 이미지의 지속적인 배경을 매칭함으로써 도시 지역에서의 위치를 결정하기 위해 이미지 처리 기술에 의존한다. 어떤 실시예는 또한, 주차 표지판, 차량 및 번호판과 같은 물체를 식별하기 위해 이미지 처리 기술에 의존한다. 어떤 실시예는 주차 표지판 또는 차량 번호판의 문자를 인식하기 위해 문자 인식 기술에 의존한다. 어떤 실시예는 또한, 식별된 물체의 중복을 제거하고 보다 신뢰할 수 있는 결과를 제공하기 위해 여러 이미지들을 통해 식별된 물체를 추적한다. 어떤 실시예는 실시간으로 주차 조건의 준수를 평가하는 도시 지역을 순회하는 감시 차량에 장착될 수 있다. 감시 차량은 예를 들어, 도시 지역의 거리 또는 도로를 횡단할 수 있는 자동차, 밴 또는 기타 이동 차량을 포함할 수 있다.
도 1은 어떤 실시예에 따른 시스템(100)의 블록도이다. 시스템(100)은 네트워크(170)를 통해 원격 컴퓨터 시스템(180)과 무선 통신하는 감시 차량(110)을 포함한다. 감시 차량은 적어도 하나의 카메라(120)를 포함한다. 어떤 실시예에서, 감시 차량은 다수의 카메라들(120)을 포함할 수 있다. 어떤 실시예에서, 카메라(120)는 감시 차량(110)의 지붕에 장착될 수 있다. 카메라(120)는 주차 감시를 수행하기 위한 적절한 이미지을 얻기 위해 감시 차량(110)의 이동 방향에 대해 적절한 각도를 가질 수 있다. 어떤 실시예에서, 감시 차량은 6개의 카메라, 즉 감시 차량의 각 측면(좌측 및 우측)에 면하는 3개의 카메라들을 포함할 수 있다. 각 측면의 3개의 카메라는 예를 들어 감시 차량의 이동 방향에 대해 각각 45도, 90도 및 135도 각도로 위치될 수 있다. 다른 각도는 다른 시각에서 도시 지역의 이미지를 캡처할 수 있다. 서로 다른 각도의 이미지를 사용하여 다양한 작업들을 중복 수행함으로써 시스템의 정확도를 향상시키기 위해 다른 시각의 이미지가 사용될 수 있다. 또한, 일부 거리 표지판은 거리와 평행할 수 있고, 다른 거리 표지판은 거리에 수직이거나 비스듬할 수 있다. 다른 각도의 카메라(120)는 다양한 각도에서 거리 표지판을 캡처하는 것을 가능하게 할 수 있다. 각각의 카메라(120)는 예를 들어 3072 x 1728 화소의 해상도로 이미지를 캡처할 수 있다.
시스템(100)은 또한 이미지 처리 컴퓨팅 장치(130)를 포함한다. 이미지 처리 컴퓨팅 장치(130)는 카메라(120)와 통신한다. 컴퓨팅 장치(130)는 차량(110) 내부에 또는 안전한 하우징에서 차량(110) 상에 위치될 수 있다. 컴퓨팅 장치(130)는 적어도 하나의 프로세서(132), 통신 모듈(134), 및 메모리(136)를 포함한다. 메모리(136)는 휘발성 및 비휘발성 메모리 모두를 포함할 수 있다. 어떤 실시예에서, 프로세서(132)는 기계 학습 프로그램 또는 프로세스의 동작을 가속화하기 위해 특별히 설계될 수 있다. 특히, 적어도 하나의 프로세서(132)는 기계 학습 프로세스 또는 프로그램의 실행을 가속화하기 위해 그래픽 처리 장치(GPU)를 포함할 수 있다. GPU는 고도의 병렬 컴퓨팅 작업을 가능하게 하므로 기계 학습 프로세스 또는 프로그램을 실행하여 실시간 또는 거의 실시간으로 결과를 얻는 데 보다 적합하다. 예를 들어, 어떤 실시예는 프로세서(132)를 제공하기 위해 NVIDIA™ Jetson 임베디드 컴퓨팅 보드를 통합할 수 있다.
메모리(136)는 주차 인디케이터 검출 기계 학습(ML) 모델(142), 기준 배경 이미지 라이브러리(144), 차량 검출 ML 모델(158), 번호판 검출 ML 모델(159), 배경 매칭 모듈(152), 주차 조건 및 준수 결정 모듈(162) 및 문자 인식 모듈(164)을 포함한다. 기준 배경 이미지 라이브러리(144)는 기준 배경 이미지(146) 및 기준 배경 이미지(148)와 관련된 메타데이터를 포함한다. 배경 매칭 모듈(152)은 배경 지형지물 추출기 모듈(154) 및 기하학적 매칭 확인 모듈을 포함한다. 통신 모듈(134)은 컴퓨팅 장치(130)와 네트워크(170) 사이의 무선 통신을 용이하게 하기 위해 필요한 하드웨어 및 소프트웨어를 포함한다. 무선 통신은 예를 들어, 3G, 4G 또는 5G 네트워크와 같은 무선 통신 네트워크를 통해 달성될 수 있다.
어떤 실시예에서, 차량(110)은 이미지 처리 컴퓨팅 장치(130)와 통신하는 GPS 수신기(126)를 선택적으로 포함할 수 있다. GPS 수신기(126)는 차량(110)에 대응하는 GPS 데이터를 컴퓨팅 장치(130)에 전송할 수 있다. GPS 수신기에 의해 생성된 GPS 데이터는 GPS 신호의 품질 표시를 포함한다. 예를 들어, NMEA(National Marine Electronics Association) 0183 표준에서 규정한 '$GPGGA'(Global Positioning System Fix Data) 포맷으로 제공되는 GPS 데이터는 GPS 고정 품질 인디케이터,수평 희석 정밀도 인디케이터(HDOP)를 포함한다. 이미지 처리 컴퓨팅 장치(130)는 GPS 수신기(126)에 의해 생성된 GPS 데이터를 처리하고 수신된 하나 이상의 GPS 데이터 품질 인디케이터가 불량한 품질의 GPS 신호 데이터 또는 소망 정밀도 미만의 GPS 신호 데이터를 나타내는지 여부를 결정하도록 구성될 수 있다. 어떤 실시예에서, 소망의 정밀도보다 낮은 GPS 신호 데이터는, 비교를 위해 배경 이미지(146)를 좁히기 위해 배경 매칭 모듈(152)에 의해 사용될 수 있으며 이는 고려 사항의 배경 매칭 모듈(152)의 이미지의 수를 상대적으로 좁힘으로써 계산상의 이점을 제공한다.
어떤 실시예에서, 이미지 처리 컴퓨팅 장치(130)는 차량(110) 내부 또는 차량(110) 상에 있지 않을 수 있고 위치 결정이 수행될 도시 지역으로부터 멀리 떨어져 위치될 수 있다. 예를 들어, 이미지 처리 컴퓨팅 장치(130)는 원격 컴퓨터 시스템(180)과 같은 원격 서버 시스템이거나 그의 일부를 형성할 수 있다. 이와 같은 실시예에서, 이미지 처리 컴퓨팅 장치(130)는 원격으로 위치 결정을 수행하기 위해 카메라(120a, 120b)에 의해 캡처 이미지를 수신할 수 있다.
어떤 실시예에서, 이미지 처리 컴퓨팅 장치(130)는 그의 메모리(136)에 제공된 GPS 교정 신호 생성 모듈(167)을 포함할 수 있다. 종래의 GPS 수신기에 의해 생성된 신호는 다양한 형태의 오류를 겪는다. 오류에는 건물이나 나무와 같은 영구 구조물에 의한 GPS 신호 방해, 건물에 의한 GPS 신호 반사, 전파 간섭, 태양 폭풍 등으로 인한 오류가 포함될 수 있다. GPS 신호 오류 수정을 위한 한 가지 대안은 DGPS(Differential Global Positioning System)를 사용하는 것이다. DGPS는, 고정된 지상 기반 참조국의 네트워크를 사용하여 GPS 위성 시스템이 표시하는 위치와 지상 기반 기준 스테이션의 공지된 고정 위치 사이의 차이를 방송한다. DGPS 시스템에서 신호를 수신하도록 구성된 GPS 수신기는 DGPS 시스템에서 전송된 신호를 사용하여 그의 계산된 위치를 수정한다.
어떤 실시예에서, GPS 교정 신호 생성 모듈(167)은 하나 이상의 수신된 이미지에 기초하여 결정된 위치 정보에 기초하여 GPS 교정 신호를 생성한다. 생성된 GPS 교정 신호는, 실시간 또는 거의 실시간으로 그들의 GPS 위치를 교정하기 위해 이미지 처리 컴퓨팅 장치(130)에 의해 다른 컴퓨팅 장치로 전송될 수 있다. 이와 같은 다른 컴퓨팅 장치는 스마트폰 또는 자율주행 차량 또는 위치 데이터를 사용할 수 있고 개선된 위치 정확도로부터 이익을 얻을 수 있는 기타 컴퓨팅 장치를 포함할 수 있다.
네트워크(170)는, 예를 들어, 하나 이상의 메시지, 패킷, 신호, 이들의 일부 조합 등을 송신하고, 수신하고, 전달하고, 생성하고, 버퍼링하고, 저장하고, 라우팅하고, 전환하고, 처리하거나, 또는 이들의 조합 등을 행하는 하나 이상의 노드들을 갖는 하나 이상의 네트워크들의 적어도 일부를 포함할 수 있다. 상기 네트워크(170)는, 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷, 인트라넷, 공중 네트워크, 패킷 교환 네트워크, 회선 교환 네트워크, 애드혹 네트워크, 기반 시설 네트워크, 공중 교환 전화 네트워크(PSTN), 케이블 네트워크, 셀룰러 네트워크, 광섬유 네트워크, 이들의 일부 조합 등의 하나 이상을 포함할 수 있다.
차량(110)은 또한, 카메라(120) 및 이미지 처리 컴퓨팅 장치(130)에 전원을 공급하기 위한 전원(125)을 포함한다. 전원(125)은 차량(110)의 전원 공급 시스템 또는 배터리 또는 이 둘의 조합에 의해 생성된 전원을 공급할 수 있다. .
주차 인디케이터 검출 ML 모델(142), 번호판 검출 ML 모델(159) 및 차량 검출 ML 모델(158)은 이미지 처리 기술에 기초하여 물체 검출을 수행한다. 물체 검출을 수행하기 위해 다양한 기계 학습 기술이 실시예에 의해 채용될 수 있다. 어떤 실시예에서, 주차 인디케이터 검출 ML 모델(142), 번호판 검출 ML 모델(159) 및 차량 검출 ML 모델(158)은 딥 러닝 기반 신경망을 사용하여 물체 검출를 수행할 수 있다. 어떤 실시예에서, 물체 검출은 "한 번만 본다"(YOLO) 프레임워크 또는 물체 검출을 위한 "단일 샷 멀티박스 검출기"(SSD) 기반 모델을 사용하여 수행될 수 있다. 어떤 실시예에서, 물체 검출을 위한 딥 러닝 기반 프레임워크는, R-CNN(Convolutional Neural Networks), 또는 Fast R-CNN(fast region-based convolutional network method), 또는 Faster R-CNN(faster region-based convolutional network method)을 갖는 영역들을 포함할 수 있다.
어떤 실시예에 의해 구현되는 CNN은 구조 및 동작에 있어서 서로 다를 수 있는 뉴런의 다중 레이어들을 포함할 수 있다. CNN의 첫 번째 레이어는 뉴런의 컨볼루션 레이어일 수 있다. 뉴런의 컨볼루션 레이어는 입력 이미지의 화소들 사이에 공간적 관계를 유지하면서 입력 이미지로부터 지형지물을 추출하는 기능을 수행한다. 컨볼루션 연산의 출력은 입력 이미지의 지형지물 지도를 포함할 수 있다. 컨볼루션 연산은 필터 또는 커널 매트릭스를 사용하여 수행되며 필터 또는 커널 매트릭스의 특정 가중치는 이후에 설명되는 프로세스에 의해 CNN을 훈련함으로써 얻어지거나 교정된다.
컨볼루션 레이어 이후에, 어떤 실시예에서 CNN은 풀링 레이어 또는 ReLU(Rectified Linear Units) 레이어 또는 둘 다를 구현한다. 풀링 레이어는 가장 중요한 기능 정보를 유지하면서 각 지형지물 지도의 차원을 감소시킨다. ReLU 연산은 CNN에서 비선형성을 도입하는데, 이는 입력 이미지로부터 학습될 실제 세계 데이터의 대부분이 비선형이기 때문이다. CNN은 다중 컨볼루션, ReLU 및 풀링 레이어를 포함할 수 있으며, 선행 풀링 레이어의 출력은 후속 컨볼루션 레이어에 대한 입력으로 공급될 수 있다. 이와 같은 다수의 뉴런 레이어들은 CNN이 딥 러닝 알고리즘 또는 기술로 설명되는 이유이다. CNN의 마지막 하나 이상의 레이어는 출력을 생성하기 위해 컨볼루션 및 풀링 레이어에 의해 추출된 고급 기능들을 사용하는 기존의 다층 퍼셉트론 신경망일 수 있다. CNN의 디자인은 동물의 시각 피질에 있는 뉴런의 패턴과 연결성에서 영감을 받는다. CNN 설계에 대한 이와 같은 기반은 이미지에서 물체의 검출 기능을 수행하기 위해 CNN이 선택될 수 있는 한 가지 이유이다.
주차 인디케이터 검출 ML 모델(142)은 카메라(120)에 의해 캡처 이미지에서 주차 인디케이터를 검출하도록 구성된다. 주차 인디케이터는 주차 표지판 또는 차량의 번호판을 포함한다. 주차 표지판에는 주차 구역과 관련된 조건에 대한 제한 사항을 나타내는 주차 구역 근처의 모든 표지판이 포함된다. 조건들에는 특정 기간 동안 차량에 허용되는 최대 기간 또는 주차, 주차 요금 적용 가능성, 주차 구역의 주차 허가 요건 또는 주차 구역의 차량이 준수해야 하는 기타 관련 주차 조건이 포함될 수 있다. 주차 구역은 주차 차량이 지정된 대로에 인접한 구역일 수 있다. 주차 구역은 하나 이상의 주차 베이 또는 슬롯을 포함할 수 있으며, 하나의 베이 또는 슬롯은 단일 차량을 위한 것이다. 주차 표지판은 주차 구역의 모든 구역 또는 주차 구역의 구역 일부에 대한 주차 조건들을 규정할 수 있다. 주차 표지판은 주차 구역의 범위나 경계를 나타낼 수도 있다.
주차 인디케이터 검출 ML 모델(142)은 주차 인디케이터를 검출하기 위해 카메라(120)에 의해 캡처 이미지를 처리하도록 트레이닝된다. 주차 인디케이터 검출 ML 모델(142)의 트레이닝은 트레이닝 데이터세트의 각 이미지에서 식별된 주차 인디케이터(지상 실제 물체)를 갖는 이미지의 트레이닝 데이터세트에 기초할 수 있다. 트레이닝 데이터세트를 사용하여, 주차 인디케이터 검출 ML 모델(142)은 오차 역전파(back proppagation)와 같은 지도 학습 방법론에 의해 트레이닝된다. 트레이닝된 주차 인디케이터 검출 ML 모델(142)은 입력 이미지에서 주차 인디케이터를 식별하고 주차 인디케이터에 대응하는 입력 이미지의 일부를 분리할 수도 있다. 트레이닝된 주차 인디케이터 검출 ML 모델(142)은 또한, 다양한 주차 인디케이터를 주차 표지 또는 번호판과 같은 별개의 카테고리로 분류할 수 있다. 다른 도시는 다른 주차 표지판을 가질 수 있으며, 그에 따라 주차 인디케이터 검출 ML 모델(142)은 예를 들어 특정 도시의 주차 표지판을 인식하도록 학습될 수 있다.
차량 검출 ML 모델(158)은 카메라(120)에 의해 캡처 이미지에서 대상 차량을 식별하기 위해 주차 인디케이터 검출 ML 모델(142)과 유사한 물체 검출 기술을 사용한다. 대상 차량은 임의의 2륜 차량 또는 4륜 차량 또는 더 큰 차량을 포함할 수 있다. 주차 조건이 적용될 수 있는 트럭과 같은. 차량 검출 ML 모델(158)은 캡처 이미지에서 하나 이상의 대상 차량을 검출하고 식별된 차량에 대응하는 이미지의 일부를 식별하도록 트레이닝된다.
기준 배경 이미지 라이브러리(144)는 기준 배경 이미지(146) 및 배경 이미지 메타데이터(148)를 포함한다. 기준 배경 이미지(146)는 위치를 결정하기 위해 카메라(120)에 의해 캡처된 매칭 이미지의 프로세스 동안 배경 매칭 모듈(152)에 대한 기준으로서 작용하는 이미지를 포함한다. 기준 배경 이미지 메타데이터(148)는 각각의 기준 배경 이미지에 대한 메타데이터를 포함한다. 메타데이터(148)는 기준 배경 이미지와 관련된 위치 정보를 포함할 수 있다. 어떤 실시예에서, 위치 정보는 경도 좌표 정보 및 위도 좌표 정보를 포함할 수 있다. 메타데이터(148)는 각각의 기준 배경 이미지와 연관된 위치 부근의 주차 위치 또는 영역과 연관된 주차 조건을 포함할 수 있다. 주차 위치는 예를 들어 거리명, 거리 번호, 주차구역 번호, 도시명 등을 포함할 수 있다.
어떤 실시예에서, 배경 이미지 메타데이터(148)는 주차 구역을 규정하는 정보를 포함할 수 있다. 주차 구역은 공통 주차 조건 세트로 주차하도록 지정된 거리에 인접한 연속 영역일 수 있다. 배경 이미지(146)는 주차 구역의 다중 이미지를 포함할 수 있다. 각각의 주차 구역은 주차 구역의 시작을 알리는 표지판이나 포스트와 같은 주차 구역 시작 인디케이터에 의해 규정될 수 있다. 마찬가지로, 각 주차구역의 끝은 주차구역의 끝을 나타내는 표지판이나 포스트로 지정될 수 있다. 어떤 실시예에서, 메타데이터(148)는 특정 배경 이미지(146)가 주차 구역의 시작 또는 주차 구역의 끝과 관련된다는 표시를 포함할 수 있다. 어떤 실시예에서, 배경 이미지(146)는 또한 규정된 주차 구역을 넘어 주차 구역의 시작 및 끝에 인접한 배경 이미지를 포함할 수 있다. 규정된 주차 구역을 넘어서는 배경 이미지를 포함하면 규정된 주차 구역을 넘어서 주차 모니터링 중에 위치를 추정할 수 있다.
문자 인식 모듈(164)은 이미지에 존재하는 문자를 인식하기 위해 이미지 또는 문자를 포함하는 이미지의 일부를 처리하는 프로그램 코드를 포함한다. 문자 인식은 이미지를 사전 처리하여 인식을 준비하고, 패턴 일치 또는 대안적으로 지형지물 추출에 의해 수행될 수 있는 텍스트 인식에 이어 추출된 지형지물을 분류하여 텍스트 또는 문자를 인식한다.
주차 조건 및 준수 결정 모듈(162)은 결정된 주차 조건에 대한 차량의 준수를 평가하는 주차 조건을 결정하는 기능을 수행한다. 어떤 실시예에서, 주차 조건은 문자 인식 모듈(164)을 사용하여 주차 인디케이터 검출 ML 모델(142)에 의해 검출된 주차 표지판에 대응하는 캡처 이미지의 부분을 처리함으로써 결정될 수 있다. 주차 표지판 및 인식된 문자는 주차 표지판에 의해 표시된 주차 조건을 결정하기 위해 주차 조건 결정 모듈(162)의 프로그램 코드를 실행하는 프로세서(132)에 의해 처리될 수 있다. 결정된 주차 조건은 예를 들어 특정 차량에 대한 제한된 최대 주차 기간 또는 특정 기간 동안 허용되지 않는 주차일 수 있다. 어떤 실시예에서, 주차 조건 결정 모듈(162)은 주차 영역 또는 주차 영역 내의 주차 베이의 위치에 기초하여 주차 조건을 결정할 수 있다. 주차 조건은 기준 배경 이미지 라이브러리(144)에 배경 이미지 메타데이터(148)의 일부로 저장될 수 있다. 주차 위치의 캡처 이미지가 기준 배경 이미지 라이브러리(144)의 이미지와 일치하는 경우, 매칭 기준 이미지와 관련된 메타데이터는 캡처 이미지에서 주차 영역과 관련된 주차 조건들을 얻기 위해 조회될 수 있다. 주차 조건 및 준수 결정 모듈(162)은 또한, 대상 차량에 관한 정보에 기초하여 주차 조건들에 대한 대상 차량의 준수를 결정할 수 있다. 정보는 대상 차량의 개요를 포함할 수 있다. 정보는 또한, 대상 차량에 대응하는 면허 장소가 특정 주차 구역에서 처음으로 식별된 타임스탬프를 포함할 수 있다.
배경 매칭 모듈(152)은 카메라(120)에 의해 캡처 이미지를 기준 배경 이미지 라이브러리(144)의 이미지와 매칭시키는 기능을 수행한다. 배경 비교를 효율적으로 수행하기 위해, 어떤 실시예에서 배경 매칭 모듈(152)은, 대규모 이미지 검색 및 비교에 적합한 세심한 국부적 지형지물 기술자에 기초한 DELF(Deep Local Feature)로 알려진 이미지 탐색 및 비교 프로세스를 통합할 수 있다.
주차 모니터링을 위한 시스템(100)을 구현하기 전에, 도시 지역의 다양한 주차 공간에 대한 조사가 수행될 수 있다. 조사에는 주차 구역을 촬영하고 해당 위치와 사진을 매핑하는 것이 포함될 수 있다. 조사는 기본적으로 기준 배경 이미지 라이브러리(144)의 내용을 덧붙인다. 사진은 각 주차 구역 또는 주차 구역의 일부에서 촬영될 수 있다. 주차 모니터링 중 결정된 주차 위치의 특이성에 대한 필요성은 연속 주차 영역을 커버하는 데 필요한 사진들의 수를 관리할 수 있다. 예를 들어, 결정된 위치가 특정 주차 구역에 매핑되어야 하는 경우, 기준 배경 이미지 라이브러리(144)를 채우기 위해 각 주차 구역의 사진이 촬영될 수 있다. 결정된 위치가 10미터의 범위 내에 허용될 수 있을 때, 기준 배경 이미지 라이브러리(144)를 채우기 위해 연속적 주차 구역에 걸쳐 10m 마다 사진이 촬영될 수 있다. 어떤 실시예에서, 기준 배경 이미지를 수집하기 위한 조사는, 다양한 조명 조건 또는 기상 조건 동안, 조명이나 기상 조건의 변화에도 불구하고 위치를 결정할 수 있도록 수행될 수 있다..
주차 구역의 조사가 완료된 후, 배경 지형지물 추출기 모듈(154)은, 캡쳐 이미지에서 배경 지형지물 또는 배경 지형지물 기술자를 추출하기 위해 캡쳐 이미지를 처리하도록 트레이닝될 수 있다. 배경 기술자는 캡처 이미지의 배경에 대한 인코딩된 표현이다. 배경 기술자는, 최근접 이웃 검색과 같은 계산 최적화 기술을 사용하여 다양한 이미지의 배경을 비교할 수 있다.
배경 기술자는 영구적이거나 정지된 이미지의 영역 또는 부분들에 대응할 수 있다. 따라서, 결정된 배경 기술자는 위치에 대응하는 이미지의 정지 부분과 동적 부분을 구별하는 데 사용될 수 있다. 예를 들어, 광고판이 있는 버스 정류장의 이미지에서 광고판의 이미지 영역은 동적인 것으로 간주될 수 있고 배경 지형지물 추출기 모듈(154)은 광고판에 대응하는 이미지의 부분 또는 영역을 무시하도록 훈련될 수 있다. 동일한 버스 정류장 이미지에서, 배경 지형지물 추출 모듈(154)에 의해 이미지의 배경 기술자로서 간판이나 기둥이나 쉼터와 같은 영구 구조물에 대응하는 부분이 추출될 수 있다. 따라서, 배경 지형지물 추출기 모듈(154)은 동일한 위치에 대응하는 다른 이미지와의 비교를 위한 효율적이고 신뢰할 수 있는 기반을 제공하는 영구 또는 고정 구조에 대응하는 이미지에서 배경 기술자를 식별하도록 트레이닝된다.
어떤 실시예에서, 지형지물 추출기 모듈(154)은 캡처 이미지로부터 배경 지형지물 기술자를 추출하도록 트레이닝된 CNN들을 포함할 수 있다. CNN들은 캡처 이미지의 지형지물에 대한 주의 인디케이터 또는 가중치를 결정하도록 트레이닝된 뉴런의 추가 레이어(주의 결정 레이어)을 포함할 수 있다. 예를 들어, 영속적 배경에 대응하는 지형지물에는 높은 주의 가중치가 부여될 수 있고 비영속적 또는 일시적인 배경에 대응하는 지형지물에는 낮은 주의 가중치가 부여될 수 있다. 본질적으로 주의 결정 레이어는 배경 지형지물 추출기 모듈(154)이 캡처 이미지의 지속적 부분과 일시적인 부분을 구별하는 것을 보조하고 캡처 이미지의 배경을 기준 배경 이미지 라이브러리(144)의 이미지 배경과 효율적으로 비교하는 데 일조한다.
어떤 실시예에서, 시스템(100)은 실시간으로 또는 거의 실시간으로 주차 감시를 수행할 수 있다. 주차 위반은 매우 일시적이고 시간에 따른 위반일 수 있으므로 이와 같은 위반을 포착하는 것은 효과적인 주차 조건 집행 전략에 필수적일 수 있다. 도시 지역에서는 차량이 사용할 수 있는 전체 주차 공간을 캔버스화하기 위해 매우 많은 수의 기준 배경 이미지가 필요할 수 있다. 또한, 감시 차량(110)은 도시 지역을 주행하며 이미지을 촬영할 수 있다. 배경 비교를 수행하기 위한 비교적 적은 컴퓨팅 시간(또는 컴퓨팅 자원)은 실시간 또는 거의 실시간 주차 감시를 가능하게 하기 위해 사용할 수 있다. 배경 매칭 모듈(152)에 의해 통합된 DELF 프로세스는 캡처 이미지와 기준 배경 라이브러리(144)의 이미지 사이의 효율적인 비교를 가능하게 한다.
어떤 실시예에서, 배경 지형지물 추출기 모듈(154)은 하나보다 많은 매칭 배경 이미지를 식별할 수 있다. 이는 배경의 상대적 유사성 때문일 수 있다. 이와 같은 경우에, 기하학적 매칭 확인 모듈(156)은 단일의 일치된 이미지로 좁히는 것에 일조할 수 있다. 기하학적 매칭 확인 모듈(156)은 단일의 매칭 기준 배경 이미지로 좁히기 위해 호모그래피 테스트 프로세스에 의존할 수 있다. 어떤 실시예에서, 기하학적 매칭 확인 모듈(156)은 단일의 매칭 기준 배경 이미지로 좁히기 위해 랜덤 샘플 합의(RANSAC) 프로세스에 의존할 수 있다.
기하학적 매칭 확인 모듈(156)은, 2개의 이미지를 분석하고 2개의 이미지에서 하나 이상의 공통 시각적 지형지물을 결정 또는 식별하기 위한 프로그램 코드를 포함한다. 예를 들어, 기하학적 매칭 확인 모듈(156)은 2개의 이미들로부터 특유의 시각적 지형지물 또는 형상 또는 곡선들을 추출할 수 있다. 이미지들 각각으로부터의 대응하는 특유의 시각적 지형지물들 또는 형상들 또는 곡선들 사이의 중첩은, 2개의 이미지들이 일치하는 것으로 간주될 수 있고, 그에 따라 공통 위치에 대응하는 것으로 간주될 수 있는지 여부를 평가하기 위해 결정될 수 있다.
어떤 실시예에서, 배경 매칭 모듈(152)은, 배경 매칭을 수행하기 위해 이미지의 국부적 지형지물을 검출하고 기술하도 SIFT(scale-invariant feature transform) 프로세스에 의존할 수 있다. 어떤 실시예에서, 배경 매칭 모듈(152)은 배경 매칭을 수행하기 위해 이미지의 국부적 지형지물을 검출하고 기술하기 위해 SURF(speeded up robust features) 프로세스에 의존할 수 있다.
원격 컴퓨터 시스템(180)은 예를 들어, 감시 차량(110) 또는 다른 컴퓨팅 장치에 배치된 기준 배경 이미지 라이브러리(144)의 콘텐츠를 주차 위반에 응답하여 관리하고 콘텐츠를 관리하기 위한 시스템일 수 있다.
감시 차량(110)으로부터 수신된 주차 상태 비준수 정보에 기초하여, 원격 컴퓨터 시스템(180)은 예를 들어, 위반에 대해 벌금 부과 또는 당국에 경고하는 것과 같은 집행 조치를 지원하거나 취할 수 있다.
원격 컴퓨터 시스템(180)은 메모리(172)와 통신하는 적어도 하나의 프로세서(174)를 포함한다. 어떤 실시예에서, 메모리(172)는 배경 이미지 주석 툴(149)을 구현하기 위한 프로그램 코드를 포함한다.
배경 이미지 주석 툴(149)는 배경 이미지(146)의 주석 및 배경 이미지 메타데이터(148)의 관리를 위한 사용자 인터페이스를 구현하기 위한 프로그램 코드를 포함한다. 배경 이미지 주석 툴(149)은 기준 배경 이미지 라이브러리(144)의 다양한 버전의 생성 및 관리를 허용한다. 원격 컴퓨터 시스템(180)에서 생성된 기준 배경 이미지 라이브러리(144)의 버전은 주차 모니터링을 수행하기 위해 이미지 처리 컴퓨팅 장치(130)로 전송될 수 있다.
배경 이미지 주석 툴(149)은, 사용자가 배경 이미지(146)를 검토하고, 배경 이미지(146)에 주석을 달고, 주석 프로세스를 통해 배경 이미지 메타데이터(148)를 생성할 수 있도록 하는 주석 사용자 인터페이스 모듈(192)을 포함한다. 배경 이미지 주석 툴(149)은 배경 이미지(146)에 대한 위치의 외삽을 허용하는 위치 외삽 모듈(194)을 포함한다. 배경 이미지 주석 툴(149)을사용한 주석 및 외삽은 도 13, 14 및 15를 참조하여 기술된다.
도 2는 어떤 실시예에 따른 주차 모니터링을 위한 프로세스(200)의 흐름도이다. 도 2의 주차 모니터링 프로세스의 동작의 전제 조건으로서, 해당 도시 지역의 다양한 주차 구역에 대한 조사가 수행되고 기준 배경 이미지 라이브러리(144)가 위치 데이터 및 주차 조건을 포함하는 관련 이미지 메타데이터와 함께 덧붙여진다. 예를 들어. 주차 인디케이터 검출 ML 모델(142), 차량 검출 ML 모델(158) 및 배경 매칭 모듈(152)은 모니터링되는 관련 도시 지역에서 얻은 이미지 데이터에 대해 학습된다.
단계 210에서, 카메라(120)는 도시 지역의 이미지를 캡처하고 프로세서(132)에 대한 처리를 위해 이미지를 사용 가능하게 한다. 감시 차량(110)이 도시 지역을 통해 이동할 때 이미지가 캡처될 수 있다. 카메라(120)는 주차된 차량 및 임의의 주차 표지판을 잘 볼 수 있도록 주차 구역을 향할 수 있다. 다수의 카메라(120)를 갖는 어떤 실시예에서, 상이한 각도에서 촬영된 이미지가 처리를 위해 프로세서(132)에 사용가능하게 될 수 있다. 다른 각도에서 이미지를 사용할 수 있으므로, 시스템(100)에 의해 수행되는 다양한 물체 검출 및 배경 일치 작업의 검증이 가능한다.
단계 212에서, 주차 인디케이터 검출 ML 모델(142)은 캡처 이미지에서 하나 이상의 주차 인디케이터를 식별하기 위해 캡처 이미지를 처리한다. 주차 인디케이터 검출 ML 모델(142)은 캡처 이미지에서 식별된 각각의 주차 인디케이터 주위에 경계 박스를 규정하는 출력 좌표로서 리턴할 수 있다. 주차 인디케이터 검출 ML 모델(142)은 또한 주차 인디케이터의 특성, 예를 들어 주차 인디케이터가 주차 표지인지 또는 번호판인지를 출력으로서 리턴할 수 있다. 어떤 실시예에서, 주차 인디케이터 검출 ML 모델(142)은 주차에 대한 시간 제한을 규정하는 주차 인디케이터 또는 견인 금지 구역을 나타내는 주차 인디케이터와 같은 주차 인디케이터의 형태를 식별할 수 있다. 단계 214에서, 캡처 이미지에서 적어도 하나의 주차 인디케이터가 결정되면 프로세스는 단계 216으로 진행한다. 주차 인디케이터가 검출되지 않으면, 프로세스는 단계 210에서 계속되며, 감시 차량은 그가 이동할 때 도시 지역의 이미지들을 계속 캡처하는 것을 수반한다. 어떤 실시예에서, 단계 212 및 214는 선택적일 수 있으며, 위치와 연관된 주차 조건들은 배경 매칭 모듈(152)에 의해 추정된 위치에 기초하며 추정된 위치와 연관된 배경 이미지 메타데이터(148)에 저장된 주차 조건 데이터를 참조함으로써 결정될 수 있다.
단계 216에서, 주차 인디케이터가 식별된 캡처 이미지는 배경 매칭 모듈(152)에 의해 처리된다. 배경 매칭 모듈(152)은, 캡처 이미지를 기준 배경 이미지 라이브러리(146)의 이미지와 비교하여 단일의 매칭 기준 배경 이미지를 식별하도록 한다. 식별된 단일 기준 배경 이미지에 기초하여, 단일의 매칭 기준 배경 이미지와 연관된 배경 이미지 메타데이터(148)를 질의함으로써 주차 위치가 결정된다. 주차 위치는 예를 들어, 거리 이름, 거리 번호, 주차 구역 식별자 또는 주차 구역 식별자를 포함할 수 있다.
어떤 실시예에서, 카메라(120)는 그것이 도시 지역을 통해 이동할 때 이미지의 스트림을 캡처한다. 이미지 스트림은 스트림의 여러 캡처 이미지에서 주차 인디케이터를 식별하기 위해 주차 인디케이터 ML 모델(142)에 의해 처리될 수 있다. 이미지 스트림에서 검출된 주차 인디케이터는 물체 추적 이미지 처리 기술을 사용하여 캡처 이미지 스트림을 통해 추적될 수 있다. 캡처 이미지 스트림에서 식별된 개체를 추적하면, 식별된 주차 인디케이터의 중복을 제거할 수 있다. 이와 유사하게, 캡처 이미지의 스트림은 단계 216에서 배경 매칭을 위해 사용될 수 있다. 단계 212 및 216에서 이미지의 스트림을 사용하면, 캡처 이미지의 스트림에 걸쳐 잠재적인 오류가 교차 점검 및 검증될 수 있으므로 주차 모니터링 프로세스의 정확도를 향상시킬 수 있다.
단계 218에서, 주차 조건 및 준수 결정 모듈(162)은 단계 216에서 식별된 주차 위치와 연관된 주차 조건을 결정한다. 어떤 실시예에서, 주차 조건은 문자 인식을 사용하여 주차 표지판을 포함하는 식별된 주차 인디케이터를 처리함으로써 결정될 수 있다. 모듈(164)은 주차 조건을 결정하기 위해 문자를 처리하는 주차 표지판의 문자 또는 텍스트를 식별한다. 예를 들어, 주차 표지판이 "1P 730AM-630PM"으로 판독되면, 주차 조건 및 준수 결정 모듈(162)은 차량이 오전 7시 30분에서 오후 6시 30분 사이에 최대 1시간 동안 주차 장소에 주차될 수 있는 것으로 결정할 수 있다. 어떤 실시예에서, 문자 인식 모듈(164)은 또한, 주차 구역의 시작 또는 끝을 나타내는 화살표 기호와 같은 기호를 판독할 수 있다. 주차 조건 및 준수 결정 모듈(162)은 이와 같은 기호를 해석하여 주차 조건이 적용되는 영역의 범위를 결정할 수 있다.
어떤 실시예에서, 주차 조건은 특정 주차 위치에 매핑된 배경 이미지 메타데이터(148)로서 저장될 수 있다. 주차 조건은 주차 위치 또는 주차 위치의 주차 베이와 연관된 주차 주변을 포함할 수 있다. 일부 주차 조건은 즉시 확인할 수 있다. 예를 들어, 주차 금지 구역에 주차된 차량은 즉시 주차 조건을 위반한 것으로 간주될 수 있다. 특정 최대 기간 동안의 주차와 같은 다른 주차 조건은, 감시 차량(110)이 일정 기간 동안 동일한 주차 구역을 한 번 이상 관찰하는 것을 요구할 수 있다.
단계 222에서, 캡처 이미지는 대상 차량의 번호판을 검출하기 위해 번호판 검출 ML 모델(159)에 의해 처리된다. 번호판 검출 ML 모델은 번호판에 대응하는 캡처 이미지의 일부를 식별할 수 있고 번호판의 문자를 판독하기 위해 문자 인식 모듈(164)을 호출할 수 있다. 단계 222에서, 프로세스(200)는 또한 대상 차량의 번호판의 검출과 연관된 타임 스탬프를 기록할 수 있다. 타임 스탬프는 12시간 또는 24시간 형식의 날짜, 시간 및 시간대를 포함할 수 있다. 기록된 타임스탬프는 시간 기반 주차 조건의 준수 여부를 확인하기 위한 기준을 제공할 수 있다.
단계 224, 226 및 227은 시스템(100)이 주차 위치에 대해 규정된 주차 주변에 대상 차량이 존재하는지를 결정하도록 구성되는 어떤 실시예에서 선택적이다. 단계 224, 226 및 227은 주차 조건 및 준수 판단 모듈에 의해 수행된다. 단계 224에서, 차량 검출 ML 모델(158)은 캡처 이미지에서 대상 차량을 검출한다. 대상 차량의 검출은, 예를 들어, 대상 차량에 대응하는 캡처 이미지의 일부의 검출을 포함할 수 있다. 대상 차량의 검출은, 예를 들어, 대상 차량에 대응하는 아웃라인의 검출을 포함할 수 있다. 단계 226에서, 주차 조건 및 준수 결정 모듈(162)은 식별된 주차 위치와 연관된 주차 주변을 검색하고 식별된 대상 차량이 주차 주변 내에 위치하는지 결정할 수 있다. 식별된 대상 차량이 주차 주변 내에 적어도 부분적으로 위치하지 않으면, 주차 조건 및 준수 결정 모듈(162)은 결정된 주차 조건에 대한 비준수를 식별할 수 있다. 식별된 대상 차량이 주차 주변에 위치하는지 판단하는 이미지 처리 기술을 폴리곤 워핑(Polygon Warping)이라고 할 수 있다. 다각형 뒤틀림은 캡처 이미지에 주차 주변을 중첩하기 위한 변환 행렬의 계산을 포함할 수 있다. 변환 행렬은 캡처 이미지의 화소을 매칭 기준 배경 이미지의 화소과 매핑한다. 행렬 변환은 예를 들어 프로크루스테스 분석 또는 원근 변환을 포함할 수 있다.
단계 227에서, 주차 조건 및 준수 결정 모듈(162)은 동일한 주차 위치에서 대상 차량의 이전 관찰을 질의할 수 있다. 시간 제한 주차 조건이 주차 위치에 적용되는 경우, 이전 관찰에 기초한 주차 조건 및 준수 결정 모듈(162)은 주차 위치에서 대상 차량의 첫 번째 관찰 이후의 지속 시간을 추정할 수 있다. 첫 번째 관찰 이후 계산된 지속 시간에 기초하여, 주차 조건 및 준수 결정 모듈(162)은 대상 차량이 임의의 시간 기반 주차 조건을 준수하는지 여부를 결정할 수 있다.
단계 228에서, 주차 조건 및 준수 결정 모듈(162)은 단계 218에서 결정된 주차 조건에 대한 대상 차량의 준수를 결정한다.
단계 228에서의 준수 결정은 단계 222에서 검출된 번호판에 기초할 수 있으며, 동일한 위치에서 동일한 번호판에 대한 임의의 이전 관찰에 기초할 수 있다. 단계 228에서의 준수 판정은 또한, 단계 224, 226 및 227 중 임의의 하나 이상의 출력에 기초할 수 있다. 단계 228에서의 준수 판정은 비준수 판정을 초래할 수 있으며, 이 경우 주차 조건 및 준수 판정 모듈(162)은 예를 들어, 원격 또는 국부 전송을 위한 플래그, 객체 또는 패킷의 형태로 비준수 결과를 생성한다.
단계 229에서, 컴퓨팅 장치(130)는 단계 228에서 준수 결정 결과를 원격 컴퓨터 시스템(180)에 전송한다. 단계 228에서 비준수 결정이 이루어지면, 결과 전송은 준수. 대상 차량의 번호판 번호, 대상 차량이 검출된 타임 스탬프(들) 및 대상 차량이 위반 상태에 있는 주차 조건(들)를 나타내는 하나 이상의 캡처 이미지를 포함할 수 있다. 비준수 결과 전송에는 예를 들어, 관련 당국이 부과할 주차 조건 위반에 대한 제재를 허용하기에 충분한 증거 세부 정보가 포함될 수 있다. 실시간 또는 거의 실시간으로 주차 조건을 시행하기 위해 위반이 확인된 직후 위반 결과 전송이 발생할 수 있다. 예를 들어, 비준수 결과 전송은 경찰관이 차량과 관련하여 적절한 집행 조치를 취할 수 있도록 근처의 준수 담당자가 휴대한 로컬 클라이언트 장치로 전달될 수 있다. 대안적으로 또는 추가로, 비준수 결과 전송은, 해당 서버 장치가 비준수를 기록하고 비준수 차량의 등록된 소유자에게 적절한 통지 및/또는 벌금을 부과할 수 있도록 하기 위해, 네트워크(170)를 통해 원격 컴퓨터 시스템(180)과 같은 서버 장치에 전달될 수 있다.
도 3은 어떤 실시예에 따른 위치 결정(300)을 위한 프로세스의 흐름도이다. 어떤 실시예에서, 위치 결정(300)의 프로세스는 감시 차량(110)에 장착된 카메라(120a)와 통신하는 이미지 처리 컴퓨팅 장치(130)에 의해 수행될 수 있다. 어떤 실시예에서, 위치 결정(300)의 프로세스는, 감시 차량(110)에 제공되거나 입력 이미지을 수신하도록 구성되거나 또는 위치 결정을 위한 입력 이미지에 접근하도록 구성되지 않는 컴퓨팅 장치(130)에 의해 수행될 수 있다.
단계 310에서, 차량(110)에 장착된 카메라(120)는 도시 지역의 이미지를 캡처하고 이미지를 프로세서(132)에 제공한다. 어떤 실시예에서, 단계(310)는 원격 컴퓨팅 장치 또는 원격 카메라(120)로부터 도시 지역의 캡처 이미지를 수신하는 감시 차량에 위치되지 않은 컴퓨팅 장치(130)를 포함할 수 있다.
단계 312에서, 프로세서(132)는 배경 지형지물 추출기 모듈(154)을 사용하여 이미지와 연관된 배경 기술자를 결정하기 위해 캡처 이미지를 처리한다. 배경 기술자들은 기본적으로, 캡처 이미지에 존재하는 배경을 독창적으로 식별하는 캡처 이미지의 영속적 구분 양태의 본질이다. 어떤 실시예에서, 배경 기술자들은, 분류 손실로 트레이닝된 CNN(Convolutional Neural Network)의 지형지물 추출 레이어를 사용하여 구성된 FCN(Fully Convolutional Network)을 적용함으로써 추출될 수 있다. 배경 지형지물 추출기 모듈(154)은 배경 기술자의 관련성을 명시적으로 측정하기 위한 주의 파라미터를 갖는 분류기를 포함할 수 있고, 이는 영속적인 배경 지형지물과 일시적인 배경 지형지물을 구별하도록 학습될 수 있다. 영속적인 배경 지형지물에는 배경에 있는 건물의 독특한 부분이나 영구적인 가로등 기둥 또는 기둥이 포함될 수 있다. 일시적인 배경 지형지물에는 예를 들어 변경될 수 있는 광고판이나 보관소가 포함될 수 있다. 단계(312)의 출력으로서, 캡처 이미지에 대한 배경 기술자 또는 지형지물 세트가 얻어진다. 배경 기술자 또는 지형지물은 벡터 또는 행렬의 형태로 표현될 수 있다. 단계(312)의 결과로서, 캡처 이미지(고해상도 이미지일 수 있음)는 관련 배경 기술자 또는 지형지물의 압축되거나 간결한 벡터 또는 행렬로 변환될 수 있다.
기준 배경 이미지 라이브러리(144)의 이미지 수가 상당히 클 수 있기 때문에(예컨대: 10,000 내지 100만의 이미지들), 기존의 이미지 비교 기술을 사용하면, 기준 배경 이미지 라이브러리(144)의 각 이미지와 단계 310에서 캡처되거나 수신된 이미지를 비교하기 위한 실질적으로 정확하거나 또는 실질적으로 컴퓨터를 이용한 능률적인 접근법을 제공할 수 없다. 캡처된 관련 배경 기술자 또는 지형지물의 간결한 벡터 또는 행렬로 표현되는 단계 312에서 추출된 배경 기술자는, 기준 배경 이미지 라이브러리(144)의 이미지와의 비교를 위해 컴퓨터를 이용한 능률적인 기반을 제공한다. 단계 312에서 추출된 배경 기술자는, 기준 배경 이미지 라이브러리(144)의 이미지와의 비교에 관련되지 않은 캡처 이미지의 지형지물들을 무시하거나 또는 배제하거나 또는 우선순위를 낮추면서, 영속 또는 정지 배경 지형지물에 관한 지형지물 서브세트의 효율적인 인코딩을 제공한다. 기준 배경 이미지 라이브러리(144)의 이미지와의 비교와 관련이 없는 캡처 이미지의 지형지물들은 예를 들어, 개인, 광고판 또는 동적 간판과 관련된 이미지 부분 또는 지형지물을 포함할 수 있다.
단계 314에서, 기준 배경 이미지(144)의 라이브러리로부터 하나 이상의 후보 매칭 이미지를 선택하기 위해 검색이 수행된다. 어떤 실시예에서, 검색은 KD-트리 및 곱 양자화(PQ)의 조합에 의해 구현되는 최근접 이웃 검색일 수 있다. 검색은 기준 배경 이미지의 라이브러리(144)에 있는 이미지의 지형지물 또는 미리 결정된 배경 기술자를 사용하여 수행된다. 단계 314의 출력은 캡처 이미지에 대한 잠재적인 일치인 후보 기준 배경 이미지의 세트이다. 후보 매칭 이미지의 포인트에 대응하는 캡처 이미지의 포인트는 키 포인트로 지칭될 수 있다. 기준 배경 이미지 라이브러리(144)의 이미지와 캡쳐 이미지 사이에 식별된 키 포인트의 수는 두 이미들에서 배경의 유사도를 결정하는 요인으로 고려될 수 있다.
단계 316에서, 캡처 이미지와 후보 기준 배경 이미지 사이에 기하학적 매칭 또는 확인(검증)이 수행된다. 기하학적 확인에는 공통 배경을 공유하는지 평가하기 위해 두 이미지들 간의 보다 상세한 비교가 포함된다. 단계(314)에서 얻어진 후보 기준 배경 이미지의 감소된 수에 따라, 기하학적 매칭 단계는 전체 기준 배경 이미지 라이브러리(144)에 걸쳐 기하학적 매칭을 수행하는 것과 비교하여 계산적으로 집약적이지 않다. 어떤 실시예에서, 기하학적 검증은 무작위 표본(랜덤 샘플) 합의(RANSAC)를 사용하여 수행될 수 있다. 단계 316의 결과는 캡처 이미지에 대한 일치로서 단일 후보 기준 이미지의 확인일 수 있다. 기하학적 일치 검증의 일부로서, 캡처 이미지와 후보 기준 배경 이미지 각각 사이에서 일치하는 관심 포인트(지점) 수가 식별될 수 있다. 캡처 이미지의 각 관심 포인트는 이미지의 정지 또는 영구적 배경에 대응할 수 있다. 두 이미지들 사이의 매칭 관심 포인트의 수는 두 이미지들이 매칭되는 정도를 정량화하는 미터단위(메트릭)로 사용될 수 있다. 예를 들어, 일치하는 관심 포인트가 30개인 이미지 A와 B가 관심 포인트가 10개인 이미지 A와 C보다 더욱 잘 일치할 수 있다. 가장 많은 매칭 관심 포인트를 갖는 후보 기준 배경 이미지는 캡처 이미지와 가장 근접하게 일치하는 것으로 간주될 수 있다. 최소 매칭 포인트 수의 관심 포인트 매칭 임계값은 기하학적 매칭의 최소 정도를 설정하는 데 사용될 수 있다. 후보 기준 배경 이미지가 관심 포인트 일치 임계값 위의 관심 포인트를 매칭하는 것을 포함하지 않는 경우, 캡처 이미지는 매칭되지 않은 것으로 간주될 수 있다. 어떤 실시예에서, 관심 포인트 매치 임계값은 예를 들어 5포인트, 10포인트, 15포인트, 20포인트, 또는 25포인트일 수 있다. 그림 8과 21은 두 이미지 사이의 관심 포인트를 일치시키는 예를 나타낸다. 단계 318에서, 차량의 위치는 매칭 기준 배경 이미지와 연관된 위치 메타데이터를 질의함으로써 결정될 수 있다.
도 4는 흐름도(200)의 단계 212 이후에 식별된 주차 인디케이터를 나타내는 캡처 이미지(400)의 일례이다. 식별된 주차 인디케이터는 번호판(440 및 420)을 포함한다. 이미지(400)는 또한 식별된 차량(410 및 430)을 예시한다. 차량 및 번호판 들은 차량 및 번호판에 각각 대응하는 캡처 이미지의 부분을 나타내는 경계 박스들에 의해 둘러싸여 있다.
도 5는 흐름도(200)의 단계 212 이후에 식별된 주차 인디케이터를 나타내는 캡처 이미지(500)의 일례이다. 이미지(500)에서, 주차 인디케이터에 대응하는 주차 인디케이터(510 및 520)는 주차 인디케이터 검출 ML 모델(142)에 의해 식별된다. 도 6은 주차 인디케이터(630, 620) 및 차량(610)이 각각 주차 인디케이터 검출 ML 모델(142) 및 차량 검출 ML 모델(158)에 의해 식별된 캡처 이미지(600)의 일례이다. 도 7은 주차 인디케이터(710)가 주차 인디케이터 검출 ML 모델(142)에 의해 식별된 캡처 이미지(700)의 일례이다.
도 8은 배경 매칭 모듈(152)에 의해 수행되는 배경 매칭 프로세스의 단계를 나타내는 예시적인 이미지(800)이다. 이미지(800)는 이미지(810) 및 이미지(820)의 두 개의 부분을 포함한다. 이미지(810)는 기준 배경 이미지 라이브러리(144)에 저장된 기준 배경 이미지이다. 이미지(820)는 도시 지역에서 주차 감시 중에 카메라(120)에 의해 캡처된 이미지이다. 이미지(820)의 지속적인 배경의 다양한 부분들은 이미지(810)와의 비교를 위한 기반을 제공하고 기준 이미지(810)와 연관된 위치 메타데이터에 기초하여 주차 위치의 결정을 가능하게 한다. 예를 들어, 이미지(810)에서의 지형지물(816)(점등 기둥의 일부)은 캡처 이미지(820)의 동일한 지형지물(826)에 대응한다. 이미지(810)의 지형지물(812)(주차 표지판 기둥의 일부)은 캡처 이미지(820)의 동일한 지형지물(822)에 대응한다. 이미지(810)에서의 지형지물(814)(배경에 있는 건물의 일부)는 캡처 이미지(820)의 동일한 지형지물(824)에 대응한다. 이미지(810)의 지형지물(818)(길가 연석의 일부)는 캡처 이미지(820)의 동일한 지형지물(828)에 대응한다.
도 9는 기준 배경 이미지(900)의 일례이다. 기준 배경 이미지(900)의 메타데이터는 또한 주차를 위한 적절한 영역을 규정하는 주변부(910)를 포함한다.
도 10은 기준 이미지(900)에 대응하는 위치에서 촬영된 이미지(1000)의 일례이다. 도 10은 대상 차량(1010)을 도시한다.
도 11은 캡처 이미지(1000)상에 기준 이미지(900)를 중첩하여 얻어진 이미지(1100)이다. 이미지(1100)로부터 알 수 있는 바와 같이, 상기 중첩은, 주차 주위(910)의 주차 조건과 함께 차량(1010)의 준수에 대한 주차 조건 및 준수 결정 모듈(162)의 검증을 가능케 한다. .
도 12는 어떤 실시예에 따른 카메라(120)를 포함하는 차량 탑재 시스템을 예시하는 감시 차량(1210)의 일부의 이미지이다. 도 12의 감시 차량(1210)은 4개의 카메라(1221, 1222, 1223, 1224)를 가지며, 예를 들어 이들 모두는 안전한 외측 하우징(1229)에 제공된다. 다른 실시예에서, 6 또는 8개 이상의 카메라들이 외측에 장착될 수 있다. 외측 하우징(1229)은 이 외측 하우징(1229)의 하부 주변부 주위의 이격된 위치에서 다중 이미징 창들(또는 이미징 개구들)을 규정하는 일반적으로 내후 하드 쉘 외부를 가질 수 있다. 카메라들(120)의 각각(예컨대, 1221, 1222, 1223, 1224)은 외측 하우징(1229)의 각각의 이미징 창을 통해 차량(1210) 주변의 서로 다른 영역의 이미지를 캡처하도록 배치된다. 예를 들어, 두 대의 카메라는 차량의 전면을 향하고, 두 대의 카메라는 차량의 후면을 향한다. 카메라들은 감시 차량(1210)이 주행될 수 있는 도로 측면의 주차 구역에 대한 최상의 시야각을 얻도록 적절하게 각도를 이룬다.
차량(1210)은 또한 컴퓨팅 장치(130)가 내부에 위치될 수 있는 컴퓨터 하우징(1227)을 포함한다. 컴퓨터 하우징(1227)은 보안 외측 하우징(1229) 내부에 배치된다. 컴퓨터 하우징(1227) 및 카메라(120)는 일반적으로 컴퓨터 하우징(1227) 및 카메라(120)를 둘러싸는 보안 외측 하우징(1229)에 의해 보호된다. 보안 외측 하우징(1229) 및 컴퓨터 하우징(1227)은, 탬퍼링 및 예컨대 비 또는 눈과 같은 악천후 조건에서 컴퓨팅 장치(110) 및 카메라(120)의 작동을 보호하기 위한 내후성을 가질 수 있다. 보안 외측 하우징(1229)의 내부 공동은 보안 외측 하우징(1229)의 다양한 구성요소를 업데이트하거나 교체하기 위해 쉽게 접근할 수 있도록 수동으로 로크될 수 있고 열 수 있다. 보안 외측 하우징(1229)은 예를 들어 루프 랙(1233)에 대한 하나 이상의 클램프들을 사용하여 차량(1210)에 고정될 수 있다.
도 12에서, 카메라들(120)은 차량(1210)의 진행 방향(전방 및 후방 방향)에 대해 대략 45도의 각도를 가리킨다. 어떤 실시예에서, 카메라(120)는 차량(1210)의 진행 방향에 대해 대략 60도 또는 90도이다. 상이한 시야를 커버하도록 배치된 다수의 카메라들(120)은 상이한 관점에서 주차 위치의 이미지의 캡처를 허용한다. 주차 위치는 차량에 의해 다양한 종류의 난독화의 대상이 될 수 있으며 다른 각도에서 이미지를 획득하면 기준 배경 이미지 라이브러리(144)의 이미지와 비교할 수 있다. 여러 대의 카메라들(120)을 사용하여 배경 일치를 수행하면 배경 매칭 모듈의 정확도와 신뢰성이 향상된다. 중복을 도입하고 다른 관점에서 캡처한 이미지를 사용하여 일치를 확인할 수 있다.
도 13은 어떤 실시예에 따른 이미지 주석(1300)을 위한 프로세스의 흐름도이다. 이미지 주석(1300)을 위한 프로세스는 배경 이미지 주석 툴(149)를 사용하여 수행될 수 있다. 이미지 주석(1300)의 프로세스는 이미지 처리 컴퓨팅 장치(130)에 의한 위치 추정 기반을 형성하는 기준 배경 이미지 라이브러리(144)의 생성을 허용한다. 프로세스(1300)를 통해 생성된 정보는 배경 이미지 메타데이터(148)의 일부를 형성한다.
단계 1310에서, 주차 모니터링이 수행될 영역의 이미지가 캡처된다. 이미지는 주차 모니터링이 수행될 지역 주변을 주행하는 차량에 장착된 카메라를 사용하여 캡처될 수 있다. 이 지역은 예를 들어, 수 킬로미터의 길이를 따른 또는 수 킬로미터의 길이를 따라 연장되는 간격으로 위치된 주차 구역과 함께 수 또는 수십 평방 킬로미터로 확장되는 큰 도시 지역을 포함할 수 있다. 단계 1310은 주차 모니터링이 수행될 전체 도시 지역을 조사하는 것을 포함한다. 차량(110)이 이미지를 캡처할 때, 차량(110)의 이동 방향에 의해 규정된 순서로 이미지가 차량(110)에 의해 캡처된다. 캡처 이미지와 관련된 시퀀스 정보는 주석의 후속 단계들을 지원하기 위해 유지된다.
도시 지역의 주차 구역은 종종 보도 상의 주차 구역 또는 주차 구역에 인접하여 위치한 표지판 또는 기둥 또는 인디케이터에 의해 규정된다. 표지판이나 기둥은 주차 구역의 시작 또는 끝을 표시하여 구역의 시작 또는 끝을 표시할 수 있다. 특정 주차 조건은 주차 구역과 연관될 수 있다. 주차 모니터링을 위해 위치를 주차 구역 내부 또는 외부로 결정하면 주차 조건에 대한 차량의 준수 여부를 평가할 수 있다.
단계 1312에서, 주석 사용자 인터페이스(192)를 사용하여 주차 구역의 시작에 대응하는 이미지가 주석처리된다. 주석은 주차 구역의 시작에 대응하는 이미지에 대한 위치를 할당하고 해당 위치를 주차 구역의 시작으로서 식별하는 것을 포함한다. 주차 구역의 시작 지점에 대응하는 위치의 위도 및 경도 좌표를 표시함으로써 위치가 지정될 수 있다.
이와 유사하게 단계 1314에서, 주석 사용자 인터페이스(192)를 사용하여 주차 구역의 끝 부분에 대응하는 이미지가 주석 처리된다. 주석은 주차 구역의 끝 부분에 대응하는 이미지에 위치를 할당하고 그 위치를 주차 구역의 끝 지점으로서 식별하는 것을 포함한다. 주차 구역의 끝부분에 대응하는 위치의 위도와 경도 좌표를 표시함으로써 위치가 지정될 수 있다.
주차 구역의 시작 위치에 대응하는 이미지(또는 복수의 이미지들)와 주차 구역의 끝 위치에 대응하는 다른 이미지(또는 복수의 이미지들)가 함께 특정 주차 구역의 범위를 규정할 수 있다. 특정 주차 조건을 갖는 주차 구역. 어떤 실시예에서, 규정된 주차 구역은 지자체에 의해 규정된 공식 주차 구역에 대응할 수 있고 주석 프로세스는 규정된 주차 구역에 대한 시립 주차 구역 코드의 지정을 포함할 수 있다. 시립 주차 구역 코드의 지정은, 예를 들어, 이미지 처리 컴퓨팅 장치(130)에 원격의 시립 주차 조건 데이터베이스로부터 규정된 주차 구역과 연관된 주차 조건의 추출을 허용할 수 있다.
단계 1310에서 캡처된 이미지는 시퀀스 정보를 포함하기 때문에, 주차 구역의 시작과 끝을 식별하고 주석을 추가함으로써, 주차 구역의 시작과 끝과 관련된 이미지들 사이의 이미지는 주차 구역의 시작과 끝에 의해 규정된 규정된 주차 구역에 자동으로 할당될 수 있다. 어떤 실시예에서, 규정된 주차 구역에 대한 이미지의 할당은 주차 구역의 시작과 끝을 규정하는 이미지들 사이에서 순서적으로 되는 하나 이상의 이미지의 주석에 의해 도움을 받을 수 있다. 일부 주차 구역은 거리 모퉁이를 가로질러 또는 그 주위로 확장될 수 있으며, 규정된 주차 구역에 순서대로 이미지를 자동 외삽하거나 할당하는 것을 돕기 위해 거리 모퉁이에 대응하는 이미지에 주석을 추가하는 것이 바람직할 수 있다. 선택적인 단계(1316)에서, 주차 구역의 시작과 끝 부분에 대응하는 이미지들 사이에서 순서적인 이미지가 주석 처리될 수 있다. 주석은 규정된 주차 구역에 이미지를 할당하고 이미지에 위치를 할당하는 것을 포함할 수 있다.
단계 1318에서, 위치 외삽 모듈(194)은 단계들(1312, 1314 및 1316)에서 주석을 처리하여 규정된 주차 구역의 시작 및 끝에 대응하는 이미지들 사이의 이미지 시퀀스에 자동으로 주석을 추가한다. 자동 주석은 주차 구역의 시작과 끝 부분에 대응하는 이미지들 사이에서 시퀀싱된 이미지에 외삽 위치를 자동으로 할당하는 것을 포함할 수 있다. 어떤 실시예에서, 자동 주석은 주차 구역의 시작과 끝 부분에 대응하는 위치 사이의 거리 계산, 주차 구역의 시작과 끝 사이에 시퀀스된 이미지의 수로 거리의 분할 및 증분 할당을 포함할 수 있다. 주차 구역의 시작과 끝 사이에 시퀀스된 각 이미지의 위치 좌표.
예를 들어, 주차 구역의 시작과 끝 사이의 거리가 9m이고 주차 구역의 시작과 끝 사이에 8개의 이미지가 있는 경우 각 이미지는 직선에서 1m 떨어진 위치를 할당할 수 있다. 주차 구역의 시작과 끝 부분에 대응하는 위치에 의해 규정된 선. 주차 구역이 거리 모퉁이를 통해 연장되는 실시예에서, 거리 모퉁이에 대응하는 1316으로 주석이 달린 이미지는 위치 외삽 프로세스를 지원할 수 있다. 어떤 실시예에서, 위치 외삽 모듈(194)은 Google™ Roads API와 같은 공개적으로 사용 가능한 거리 라우팅 API(Application Programming Interface)에 의존하여 주차 구역의 시작 및 끝과 관련된 위치 정보에 기초하여 위치 정보의 자동 외삽을 지원할 수 있다.
단계 1312 및 단계 1318을 통해, 단계 1310에서 캡처된 이미지의 시퀀스는 위치 및 주차 구역의 할당에 의해 주석 처리된다. 단계 1320에서, 주석이 달린 이미지들은 기준 배경 이미지 라이브러리(144)에 포함되어 단계(1312 및 1318)를 통해 생성된 주석 정보에 기초하여 위치 추정을 가능하게 한다. 프로세스(1300)가 이미지 처리 컴퓨팅 장치(130)에 대해 원격인 컴퓨터 시스템에서 수행되는 실시예에서, 주석이 달린 이미지들은 배경 이미지 메타데이터(148)에 포함하기 위한 주석 정보와 함께 이미지 처리 컴퓨팅 장치(130)로 전송될 수 있다.
도 14는 어떤 실시예에 따른 이미지 주석 사용자 인터페이스(192)의 스크린샷(1400)을 예시한다. 사용자 인터페이스의 패널(1410)은 주석을 위한 이미지 시퀀스의 파일명 시리즈를 나열한다. 패널(1410)에서 개별 파일명을 클릭하면 패널(1420)에 이미지가 제시된다. 패널(1430)은 Google™ 스트리트 뷰 인터페이스를 예시한다. Google™ 스트리트 뷰 인터페이스(1430)는 패널(1420)에 제시된 이미지의 위치에 대한 주석을 위한 효율적인 메커니즘을 제공한다. 대안적인 실시예에서, 위치 주석을 위한 다른 유사한 메커니즘이 사용될 수 있다. 패널(1420)의 Google™ 스트리트 뷰 인터페이스는 패널(1420)에서 이미지에 주석을 달기 위해 원하는 위치를 얻기 위해 클릭 가능하고 탐색 가능한다. 패널(1430)의 특정 부분을 클릭하면 Google™ 스트리트 뷰 위치에 핀이 떨어지고 핀이 떨어진 위치와 관련된 좌표를 검색한다. 검색된 위치는 상대적으로 높은 정확도로 경도 정보 및 위도 정보를 포함할 수 있다. 위치를 선택하기 위해 핀을 드롭하도록 패널(1430)을 클릭한 후, 패널(1430)에서 핀을 떨어트림으로써 선택된 위치에 선택된 이미지에 주석을 추가하도록 버튼(1450)을 클릭할 수 있다. 버튼(1450)을 클릭하여 다양한 이미지 및 주석을 덧붙인다. 도 13의 프로세스(1300)와 관련하여 논의된 바와 같이, 각각의 이미지에 주석을 달 필요는 없다. 주차 구역의 시작과 끝을 나타내는 주석을 사용하면 Google™ Roads API와 같은 도로 레이아웃과 관련하여 공개적으로 사용 가능한 정보 및 시퀀스 정보를 사용하여 나머지 이미지의 위치를 추정할 수 있다.
어떤 실시예에서, 위치 주석은 Google™ 스트리트 뷰 패널(1430)과 패널(1420)의 이미지 모두에서 볼 수 있는 일반적인 정지 또는 영구적 구조물에 따를 수 있다. 스크린샷(1400)에 예시된 바와 같이, 패널(1420) 및 Google™ 스트리트 패널(1430)의 뷰 위치에는 기둥(1470)이 있다. 기둥(1470)과 같은 영구 구조물의 저부를 사용하여 위치들에 주석을 다는 것이 바람직하다. 스크린샷(1400)에 예시된 바와 같이, 주석을 위한 마커(1440)가 인도 또는 보도 레벨에서 기둥(1470)의 바닥 또는 저부에 위치된다. 기둥과 같은 영구 구조물의 바닥에 주석용 마커를 배치하는 것은, 기둥과 같은 기존의 영구 구조물이 거리에서 비교적 균일한 거리에 위치하기 때문에 위치의 자동 외삽의 효율성을 향상시킨다. 영구 구조물들은 거리에서 비교적 일정한 거리에 위치하므로, 이와 같은 주석 용의 영구 구조물의 기단 또는 하부를 사용하면, 주석을 위한 보다 체계적이고 일관된 기반을 제공할 수 있다.
도 15는 어떤 실시예에 따른 자동 위치 외삽의 결과를 예시하는 이미지(1500)이다. 이미지(1500)는 도 13의 프로세스(1300)에 따라 이미지 주석이 수행된 영역에 대응하는 지도이다. 마커(1510 및 1530)는 각각 주차 구역의 시작 및 끝에서 식별된 위치에 대응한다. 마커들(1520, 1522)은 주차 구역의 시작 및 끝 지점에 대응하는 위치(1510, 1530)의 외삽에 기초하여 이미지에 자동으로 할당된 위치에 대응한다.
도 16은 어떤 실시예에 따른 주차 모니터링의 일부 양태를 예시하는 개략도(1600)이다. 도면(1600)은 대상 차량(1680)과 감시 차량(110)을 예시한다. 대상 차량(1680)은 주차 구역 시작 위치(1610)와 주차 구역 끝 위치(1620)로 규정되는 주차 구역에 위치한다. 감시 차량(110)에는 카메라(120)가 장착된다. 카메라(120)에 의해 포착된 이미지를 사용하여, 포인트(1650)에 대응하는 위치 좌표는 도 2의 흐름도(200)의 단계(216)를 사용하여 결정된다. 포인트(1650)의 결정된 위치 정보를 사용하여, 이미지 처리 컴퓨팅 장치(130)는 위치(1610 및 1620)에 대응하는 좌표를 검색할 수 있다. 위치(1610)는 주차 구역의 시작에 대응하고 위치(1620)는 주차 구역의 끝에 대응한다. 위치(1610, 1620)에 대응하는 좌표는 기준 배경 이미지 라이브러리(144)의 배경 이미지 메타데이터(148)에 저장될 수 있다.
포인트(1610, 1650)의 좌표를 사용하여, 거리(Di)(주차 구역의 시작과 식별된 위치 사이의 거리)는 주차 준수 판단 모듈(162)에 의해 결정된다. 유사하게, 거리 (De)(주차 구역의 끝과 식별된 위치 사이의 거리)는 포인트(1610, 1650)의 좌표를 사용하여 결정될 수 있다. 도시된 위치에서, 이미지 처리 컴퓨팅 장치(130)는 또한, 번호판 검출 기계 학습 모델(159)을 사용하여 대상 차량(1680)과 연관된 번호판을 결정한다. 거리(Do)(오프셋 거리)는 시선(1640)에 대응하는 위치와 결정된 대상 차량(1680)의 번호판 사이의 소정 오프셋 거리이다. 거리(Do)는 카메라(120) 또는 카메라(120a, 120b)가 위치되는 각도; 및 주차장의 크기와 같은 도시 환경 자체의 조건에 따라 달라질 수 있으다. 오프셋 거리는 도시 지역에서의 실험을 기반으로 미리 결정된다. 결정된 오프셋 거리는 도시 지역 또는 공통 주차 조건들을 갖는 도시 지역 내의 지역 하위 집합에 대해 고정된다.
어떤 실시예에서, 카메라(120a)는 감시 차량(110)의 운동 방향에 대해 90도의 각도로 위치될 수 있고 인접한 인도를 향해 겨눠질 수 있고; 카메라(120b)는 운동 방향에 대해 45도 각도로 위치될 수 있다. 이와 같은 실시예에서, 카메라(120a)로부터의 이미지는 위치 추정을 위해 사용될 수 있고, 카메라(120b)로부터의 이미지는 번호판 검출을 위해 사용될 수 있다. 이와 같은 실시예에서, 오프셋 거리(Do)는 예를 들어, 3m 내지 8m의 범위일 수 있다.
주차 구역(1610)의 시작부터 대상 차량(1680)까지의 거리(Ds)는 도 16에 도시된 바와 같이 Do에 Di를 더함으로써 결정될 수 있다. 주차 구역의 총 길이(Dz)는 1620과 1610 사이의 거리를 결정함으로써 결정된다. Ds < Dz이면, 대상 차량(1680)은 식별된 주차 구역에 주차된 것으로 간주될 수 있다. Ds > Dz인 경우, 대상 차량(1680)은 주차 구역 외부에 주차된 것으로 간주될 수 있다.
도 17은 어떤 실시예에 따른 주차 모니터링의 일부 양태를 예시하는 다른 개략도(1700)이다. 도면(1700)은 포인트들(1610 및 1620)에 의해 규정된 도 16의 주차 구역을 예시한다. 기준 배경 이미지 라이브러리(144)는 주차 구역 내에서뿐만 아니라 주차 구역 외부의 기준 이미지도 포함하여 카메라(120)의 시선(1740)이 주차 구역 밖의 영역으로 향하는 경우에도 감시 차량(110)이 그의 위치를 결정할 수 있도록 한다.
개략도(1700)에서, 카메라(120a)의 시선은 위치 1750으로 향한다. 카메라 (120a)에 의해 캡처된 이미지를 사용하여, 위치(1750)의 좌표는 배경 매칭 모듈(152)에 의해 결정될 수 있다. 동시에. 대상 차량(1780)에 대응하는 번호판은 번호판 검출 기계 학습 모델(159)을 사용하여 이미지 처리 컴퓨팅 장치(130)에 의해 검출될 수 있다. 주차 구역 끝 위치(1620)는 배경 이미지 메타데이터(148)를 참조하여 이미지 처리 컴퓨팅 장치(130)에 의해 결정될 수 있다. 결정된 포인트(1610, 1620, 1750)의 좌표로, 1610과 1750 사이의 거리(Di)가 계산된다. 도 16과 관련하여 논의된 바와 같이, 오프셋 거리(Do)는 미리 결정된다. Di+Do의 합은 대상 차량(1780)에 대응하는 위치(1730)를 얻기 위해 결정된다. 결정된 위치(1730)에 기초하여, 대상 차량(1780)과 주차 구역(1610)의 시작 사이의 거리(Ds)가 결정된다. 도 16과 유사하게, 주차 구역의 시작과 끝 사이의 거리(Dz)가 결정된다. Ds>Dz인 경우 대상 차량(1780)은 주차 구역 외부에 위치하는 것으로 간주될 수 있다. Ds<Dz인 경우, 대상 차량(1780)은 주차 구역 내에 주차된 것으로 간주될 수 있다. 도 17에 도시된 바와 같이, Ds>Dz이다. 이에 따라 대상 차량(1780)은 주차 구역 외부에 위치되는 것으로 판단된다.
도 18은 어떤 실시예에 따른 위치 결정을 위한 시스템(1800)의 블록도를 예시한다. 시스템(1800)은 원격 컴퓨팅 장치(1810)로부터 입력 이미지 및 GPS 위치 데이터를 수신하도록 구성된다. 원격 컴퓨팅 장치(1810)는, 스마트폰, 태블릿 장치 또는 GPS 위치 데이터를 사용하는 다른 휴대용 컴퓨팅 장치와 같은 핸드헬드 컴퓨팅 장치일 수 있다. 원격 컴퓨팅 장치(1810)는 예를 들어 자율주행 승용 또는 작업 차량과 같은 차량의 온보드 컴퓨터 시스템을 포함하거나 그 일부를 형성할 수 있다. 입력 이미지 및 GPS 위치 데이터에 응답하여, 이미지 처리 컴퓨팅 장치(130)는 GPS 교정 신호를 생성하고 GPS 교정 신호를 원격 컴퓨팅 장치(1810)에 전송하도록 구성된다. 원격 컴퓨팅 장치(1810)는 적어도 하나의 프로세서(1810)를 포함한다. 원격 컴퓨팅 장치(1810)는 또한 카메라(1820) 및 GPS 수신기(1830)를 포함한다. 메모리(1840)는 위치 결정 모듈(1850) 및 어떤 실시예에서 배경 지형지물 추출기 모듈(1855)을 구현하기 위한 컴퓨터 프로그램 코드를 포함한다.
위치 결정 모듈(1850)은 이미지 처리 컴퓨팅 장치(130)로부터 수신된 GPS 교정 신호를 처리하고 교정된 위치를 결정하도록 구성된다. 원격 컴퓨팅 장치(1810)는 예를 들어 위치 조사에 사용되는 스마트폰 또는 컴퓨팅 장치일 수 있다. GPS 데이터에 대한 액세스가 제한적이거나 부정확한 환경에서, 원격 컴퓨팅 장치(1810)는 카메라(1820)를 사용하여 그 위치의 하나 이상의 이미지를 캡처하고 하나 이상의 이미지를 네트워크(170)를 통해 이미지 처리 컴퓨팅 장치(130)에 전송한다. 어떤 실시예에서, 원격 컴퓨팅 장치(1810)는 캡처 이미지 각각에서 지속적 또는 정지 배경 물체에 대응하는 피쳐의 벡터 또는 매트릭스를 추출하기 위해 배경 지형지물 추출기 모듈(1855)을 사용하여 캡처 이미지를 처리할 수 있다. 캡처 이미지에서 지속적이거나 고정된 배경 물체에 대응하는 지형지물의 벡터 또는 매트릭스를 사용하는 것은 이미지 데이터를 원래 캡처 이미지의 크기보다 작은 크기로 압축하는 방법이다. 캡처 이미지의 전체 데이터를 이미지 처리 컴퓨팅 장치(130)로 전송하는 대신에, 원격 컴퓨팅 장치(1810)는, 캡처 이미지에서 지속적이거나 정지 배경 물체들에 관한 충분히 상세한 데이터를 유지하면서 전송된 데이터의 양을 절약하도록 캡처된 이미지에서의 영속적 또는 정지 배경 물체들에 대응하는 지형지물들의 매트릭스 또는 캡처된 이미지 데이터 벡터를 전송할 수 있다.
원격 컴퓨팅 장치(1810)는 또한, GPS 수신기(1830)로부터 얻어진 GPS 데이터를 이미지 처리 컴퓨팅 장치(130)로 전송할 수 있다. 전송된 하나 이상의 이미지에 응답하여, 이미지 처리는 하나 이상의 이미지에 대응하는 위치 정보를 원격 컴퓨팅 장치(1810)로 리턴시킬 수 있다. 어떤 실시예에서, 이미지 처리 컴퓨팅 장치(130)는 또한 GPS 교정 신호를 원격 컴퓨팅 장치(1810)로 리턴시킬 수 있다.
도 19는 도 18의 시스템(1800)에 의해 수행되는 위치 결정 방법(1900)의 흐름도를 예시한다. 방법(1900)은 도 3의 방법(300)의 단계들 312, 314, 316, 및 318을 포함한다. 단계 1910에서, 이미지 처리 컴퓨팅 장치(130)는 원격 컴퓨팅 장치(1810)로부터 하나 이상의 이미지들(또는 각각의 캡처 이미지에 대한 영속적 또는 정지 배경 물체에 대응하는 지형지물의 벡터 또는 매트릭스)를 수신한다. 단계 1910에서, 이미지 처리 컴퓨팅 장치(130)는 또한 원격 컴퓨팅 장치(1810)로부터 GPS 데이터를 수신한다. 수신된 GPS 데이터는 컴퓨팅 장치(1810)가 정정하고자 하는 원격 컴퓨팅 장치(1810)에 의해 얻어진 열악한 품질의 GPS 데이터일 수 있다.
단계 312에서, 도 3을 참조하여 기술된 바와 같이, 이미지 처리 컴퓨팅 장치(130)는 단계 1910에서 수신된 하나 이상의 이미지로부터 배경 기술자를 추출한다. 추출된 배경 기술자는 벡터 또는 매트릭스의 형태로 표현될 수 있다. 단계 314에서, 하나 이상의 후보 매칭 이미지가 배경 매칭 모듈(152)에 의해 기준 배경 이미지 라이브러리(144)로부터 선택된다. 단계 316에서, 기하학적 매칭 확인 모듈(156)은 기하학적 매칭 확인을 수행하고 배경 이미지 라이브러리(144)로부터 단일 매칭 기준 배경 이미지를 결정한다. 단계 318에서, 단계 1910에서 수신된 하나 이상의 이미지에 대응하는 위치 정보를 얻기 위해 매칭 기준 배경 이미지의 위치 메타데이터가 검사된다.
어떤 실시예에서, GPS 교정 신호 생성의 선택적 단계(1920)가 수행된다. GPS 교정 신호는 단계 318에서 식별된 위치 정보 및 단계 1910에서 수신된 원격 컴퓨팅 장치(1810)로부터의 GPS 신호에 기초하여 생성될 수 있다. GPS 교정 신호는, 정확한 위치 정보를 얻도록 GPS 수신기(1830)로부터 얻어진 GPS 위치 데이터를 조정하기 위해 원격 컴퓨팅 장치(1810)의 위치 결정 모듈(1850)에 의해 처리될 수 있는 정보를 인코딩할 수 있다. 단계 1930에서는, 단계 318에서 결정된 위치 정보 및 1920에서 결정된 GPS 교정 신호는 원격 컴퓨팅 장치(1810)로 전송될 수 있다.
도 18의 시스템(1800) 및 도 19의 흐름도(1900)에 의해 예시된 바와 같이, 어떤 실시예는 원격 컴퓨팅 장치로부터 이미지를 수신하고, 이미지에 기초하여 위치 정보를 결정하고, 수신된 이미지에 응답하여 위치 정보 또는 GPS 교정 신호를 전송하는 이미지 처리 컴퓨팅 서비스에 관한 것이다. 따라서, 어떤 실시예는 이미지에서 캡처된 시각적 정보에 기초한 위치 결정을 위한 대안적인 방법 및 시스템을 제공함으로써 특정 환경에서 GPS 신호의 부정확성 또는 열악한 품질을 해소한다.
도 20은 어떤 실시예에 따른 이미지 처리 컴퓨팅 장치(130)가 제공된 자율주행 차량(2000)의 일부의 블록도이다. 자율주행 차량(2000)은 자율주행 차량(2000)의 주행 동작을 제어하기 위한 다양한 동작을 수행하는 자율주행 차량 컴퓨팅 장치(2030)를 포함한다. 어떤 실시예에서, 자율주행 차량 컴퓨팅 장치(2030)는 이미지 처리 컴퓨팅 장치(130)와 통신하고, 어떤 실시예에서, 이미지 처리 컴퓨팅 장치(130)의 구성요소 및 기능은 자율주행 차량 컴퓨팅 장치(2030)에 포함되고 그 일부를 형성한다. 자율 또는 셀프 구동 차량(2000)은 그 위치를 결정하기 위해 GPS 수신기(126) 및 이미지 처리 컴퓨팅 장치(130)의 조합에 따를 수 있다. 자율주행 차량(2000)은 도시 환경 및/또는 GPS 수신기에 의해 수신된 신호의 품질 또는 정밀도가 자율 주행에 최적치보다 낮은 지역에서 이미지 처리 컴퓨팅 장치(130)에 기초한 위치 결정으로 전환할 수 있다. 이미지 기반 위치 결정 트리거 이벤트는 자율주행 차량(2000)이 이미지 처리 컴퓨팅 장치(130)를 사용하여 자주 그 위치를 결정하는 동작 모드를 개시할 수 있다. 트리거 이벤트는, 이미지 기반 위치 추정이 보다 신뢰할 수 있는 영역을 지정하는 미리 규정된 지오펜스를 통과하는 차량(110) 또는 GPS 수신기(126)에 의해 수신된 불량한 품질 또는 낮은 정밀도의 데이터를 포함할수 있다. 어떤 실시예에서, 이미지 처리 및 위치 추정 계산 성능의 일부는 원격 서버 시스템(2040) 상에서 구현될 수 있고 자율주행 차량 컴퓨팅 장치(2030)는 원격 서버 시스템(2040)과 무선으로 통신하도록 구성될 수 있다. 무선 통신은 예를 들어 3g, 4g 또는 5g 셀룰러 네트워크와 같은 셀룰러 네트워크를 통해 수행될 수 있다.
도 21은 배경 매칭 모듈(152)에 의해 수행되는 배경 매칭 프로세스의 단계를 나타내는 예시적인 이미지 쌍(2100)이다. 이미지(2100)는 제1 이미지(2130) 및 제2 이미지(2140)의 두 부분을 포함한다. 이미지(2140)는 기준 배경이다. 이미지는 기준 배경 이미지 라이브러리(144)에 저장된 이미지이다. 이미지(2130)는 도시 지역에서 주차 감시 중에 카메라(120)에 의해 캡처된 이미지이다. 이미지(2140)의 배경의 다양한 부분들은 이미지(2130)와의 비교를 위한 기초를 제공하고 기준 이미지(2140)와 연관된 위치 메타데이터에 기초하여 주차 위치의 결정을 가능하게 한다. 다양한 동적 이미지 지형지물이 시간에 따라 변하더라도, 각각의 캡처된 지형지물(2130)은 실질적으로 동일한 위치에서 캡처된 기준 이미지(2140)에도 존재하는 각종 정적 지형지물들을 갖는 것으로 가정한다. 예를 들어, 이미지(2140)의 지형지물(2112)(전등 기둥의 일부)은 캡처 이미지(2130)의 동일한 지형지물(2102)에 대응한다. 이미지(2140)의 지형지물(2116)(건물 외관의 일부)은 캡처 이미지(2130)의 동일한 외관 지형지물(2106)에 대응한다. 이미지(2140)의 지형지물(2120)(간판의 비동적/정지 부분)은 캡처 이미지(2130)의 동일한 지형지물(2110)에 대응한다. 도 8의 이미지와 달리, 도 21은 감시 차량(110)의 진행 방향에 대해 대략 90도 각도로 포착된다.
실험 동안, 실시예의 성능을 벤치마킹하기 위해 실시예의 정확도가 평가되었다. 정확도는 예를 들어 0.5m 내지 2m의 오차 범위를 사용하여 단계 216 또는 단계 318에서 결정된 위치의 정확도에 기초하여 측정되었다. 어떤 실시예에 대해, 결정된 위치의 정확도는 예를 들어 30km, 40km, 50km, 60km 또는 70km의 길이에 걸쳐 연장되는 도시 지역에 대해 위치 추정이 수행될 때 95% 정도 이상이었다. 95% 이상의 정확도 성능은 주간 및 야간 조건 모두에서 그리고 겨울과 여름을 포함한 연중 다른 계절에서 얻어졌다.
주차 인디케이터 기계 학습 모델(142), 배경 매칭 모듈(152), 번호판 검출 기계 학습 모델(159), 차량 검출 기계 학습 모델(158)을 포함하는 컴퓨팅 장치(130)의 다양한 모델들 및 모듈들은, 프로그램 코드, 라이브러리, 애플리케이션 프로그래밍 인터페이스(API), 메타데이터, 구성 데이터, 종속성, 프레임워크 및 기타 필요한 코드 구성 요소 또는 하드웨어 구성 요소일 수 있거나 이들을 포함ㅎ라 수 있으며 이에 의해 다양한 모듈 또는 모델들의 기능을 구현하도록 한다. 다양한 기계 학습 모델 또는 구성 요소는, 예를 들어 지도, 비지도, 반지도 또는 강화 학습 기반 방법론을 포함하는 대체 기계 학습 방법론을 통합할 수 있다. 다양한 기계 학습 모델 또는 구성 요소는 예를 들어, OpenCV, TensorFlow, PyTorch, Caffe, EmuCV, VXL, GDAL, MIScnn, Marvin 및 Kornia를 포함한 기계 학습 프레임워크의 하나 이상의 구성 요소들을 채용할 수 있다.
도 22는 어떤 실시예에 따른 예시적인 컴퓨터 시스템(2200)을 도시한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(2200)은 본 발명에 기술되거나 예시된 하나 이상의 방법의 하나 이상의 단계들을 수행한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(2200)은 본 발명에 설명되거나 예시된 기능을 제공한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(2200)에서 실행되는 소프트웨어는 본 발명에 설명되거나 기술된 하나 이상의 방법의 하나 이상의 단계를 수행하거나 본 발명에 설명되거나 기술된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템(2200)의 하나 이상의 부분을 포함한다. 이때, 컴퓨터 시스템에 대한 언급은 컴퓨팅 장치를 포함할 수 있고, 적절한 경우 그 반대도 마찬가지이다. 더욱이, 컴퓨터 시스템에 대한 언급은 적절한 경우 하나 이상의 컴퓨터 시스템을 포함할 수 있다. 컴퓨팅 장치(130)는 컴퓨터 시스템(2200)의 일례이다. 컴퓨팅 장치(1810)는 컴퓨터 시스템(2200)의 다른 예이다.
본 발명은 임의의 적절한 수의 컴퓨터 시스템(2200)을 고려한다. 본 발명은 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(2200)을 고려한다. 일례로서, 비제한적으로 컴퓨터 시스템(2200)은 임베디드 컴퓨터 시스템, 시스템 온 칩(SOC), 단일 보드 컴퓨터 시스템(SBC)((예를 들어, 컴퓨터 온 모듈(COM) 또는 시스템 온 모듈(SOM)), 특수 목적 컴퓨팅 장치, 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 휴대 전화, 서버, 태블릿 컴퓨터 시스템 또는 이들의 둘 이상의 조합으로 될 수 있다. 적절한 경우, 컴퓨터 시스템(2200)은, 하나 이상의 컴퓨터 시스템(2200)을 포함하고; 단일하거나 분산되고; 여러 위치에 걸쳐 있고; 여러 기계에 걸쳐 있고; 여러 데이터 센터에 걸쳐 있거나; 또는 하나 이상의 네트워크에 하나 이상의 클라우드 컴퓨팅 구성 요소를 포함할 수 있는 컴퓨팅 클라우드에 부분적으로 또는 전체적으로 놓일 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(2200)은 본 명세서에 설명되거나 예시된 하나 이상의 방법의 하나 이상의 단계를 실질적인 공간적 또는 시간적 제한 없이 수행할 수 있다. 비제한적 예로서, 하나 이상의 컴퓨터 시스템(2200)은 실시간으로 또는 배치 모드에서 본 발명에 설명되거나 예시된 하나 이상의 방법의 하나 이상의 단계를 수행할 수 있다. 하나 이상의 컴퓨터 시스템(2200)은 적절한 경우 본 발명에 설명되거나 예시된 하나 이상의 방법의 하나 이상의 단계들을 다른 시간 또는 다른 위치에서 수행할 수 있다.
특정 실시예에서, 컴퓨터 시스템(2200)은 적어도 하나의 프로세서(2202), 메모리(2204), 저장 장치(2206), 입/출력(I/O) 인터페이스(2208), 통신 인터페이스(2210), 및 버스(2212)를 포함한다. 비록 본 발명은 특정 배치에서 특정 수의 특정 구성요소들을 갖는 특정 컴퓨터 시스템을 예시하지만, 본 발명은 임의의 적절한 배치들에서 임의의 적절한 구성요소들의 임의의 적절한 수를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예에서, 프로세서(2202)는 컴퓨터 프로그램을 구성하는 것과 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 비제한적 예로서 명령어를 실행하기 위해 프로세서(2202)는 내부 레지스터, 내부 캐시, 메모리(2204), 또는 저장 장치(2206)로부터 명령어를 검색(또는 페치)할 수 있고; 디코딩하고 실행한다. 다음, 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(2204), 또는 저장 장치(2206)에 기록한다. 특정 실시예에서, 프로세서(2202)는 데이터, 명령어 또는 주소를 위한 하나 이상의 내부 캐시를 포함할 수 있다. 본 발명은 적절한 경우, 임의의 적절한 수의 임의의 적절한 내부 캐시를 포함하는 프로세서(2202)를 고려한다. 비제한적 예로서, 프로세서(2202)는 하나 이상의 명령 캐시, 하나 이상의 데이터 캐시, 및 하나 이상의 TLB(translation lookaside buffer)를 포함할 수 있다. 명령어 캐시의 명령어는 메모리(2204) 또는 저장 장치(2206)의 명령어 복사본일 수 있고 명령어 캐시는 프로세서(2202)에 의한 해당 명령어의 검색 속도를 높일 수 있다. 데이터 캐시의 데이터는 명령어용 메모리(2204) 또는 저장소(2206)의 데이터 복사본일 수 있다. 동작하기 위해 프로세서(2202)에서 실행하고; 프로세서(2202)에서 실행되는 후속 명령어에 의한 액세스 또는 메모리(2204) 또는 저장 장치(2206)에 기록하기 위해 프로세서(2202)에서 실행된 이전 명령어의 결과; 또는 기타 적절한 데이터. 데이터 캐시는 프로세서(2202)에 의한 읽기 또는 쓰기 동작의 속도를 높일 수 있다. TLB는 프로세서(2202)에 대한 가상 주소 변환의 속도를 높일 수 있다. 특정 실시예에서, 프로세서(2202)는 데이터, 명령어 또는 주소에 대한 하나 이상의 내부 레지스터를 포함할 수 있다. 본 발명은 적절한 경우, 임의의 적절한 수의 임의의 적절한 내부 레지스터를 포함하는 프로세서(2202)를 고려한다. 적절한 경우, 프로세서(2202)는 하나 이상의 산술 논리 유닛(ALU)을 포함할 수 있고; 멀티 코어 프로세서이고, 또는 하나 이상의 프로세서(2202)를 포함할 수 있다. 본 발명은 특정 프로세서를 설명하고 예시하지만, 본 발명은 임의의 적합한 프로세서를 고려한다.
특정 실시예에서, 메모리(2204)는 프로세서(2202)가 실행할 명령 또는 프로세서(2202)가 작동하기 위한 데이터를 저장하기 위한 메인 메모리를 포함한다. 비제한적인 예로서, 컴퓨터 시스템(2200)은 저장 장치(2206) 또는 ((예를 들어, 다른 컴퓨터 시스템(2200과 같은)) 다른 소스로부터 메모리(2204)로 명령어를 로딩할 수 있다. 다음, 프로세서(2202)는 메모리(2204)로부터 내부 레지스터 또는 내부 캐시에 명령어들을 로딩할 수 있다. 명령들을 실행하기 위해, 프로세서(2202)는 내부 레지스터 또는 내부 캐시로부터 명령어를 검색하고 그들을 디코딩할 수 있다. 명령어의 실행 동안 또는 실행 후에, 프로세서(2202)는 내부 레지스터 또는 내부 캐시에 하나 이상의 결과(중간 또는 최종 결과일 수 있음)를 기록할 수 있다. 프로세서(2202)는 그 결과들 중 하나 이상을 메모리(2204)에 기록할 수 있다. 특정 실시예에서, 프로세서(2202)는, 하나 이상의 내부 레지스터 또는 내부 캐시 또는 메모리(2204)((저장 장치 2206 또는 다른 곳에 반하여)에서 명령어만을 실행하고, 하나 이상의 내부 레지스터 또는 내부 캐시 또는 메모리(2204)(저장 장치 2206 또는 다른 곳에 반하여)에서의 데이터만을 동작시킨다. 하나 이상의 메모리 버스(각각 어드레스 버스 및 데이터 버스를 포함할 수 있음)는 프로세서(2202)를 메모리(2204)에 연결할 수 있다. 버스(2212)는 후술하는 바와 같이 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예에서, 하나 이상의 메모리 관리 유닛(MMU)은 프로세서(2202)와 메모리(2204) 사이에 놓이고 프로세서(2202)에 의해 요청된 메모리(2204)에 대한 액세스를 용이하게 한다. 특정 실시예에서, 메모리(2204)는 랜덤 액세스 메모리(RAM)를 포함한다. 이 RAM은 적절한 경우 휘발성 메모리일 수 있다. 적절한 경우 이 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 또한 적절한 경우 이 RAM은 단일 포트 또는 다중 포트 RAM일 수 있다. 본 발명은 임의의 적합한 RAM을 고려한다. 메모리(2204)는 적절한 경우 하나 이상의 메모리(2204)를 포함할 수 있다. 본 발명은 특정 메모리를 설명하고 예시하지만, 본 발명은 임의의 적절한 메모리를 고려한다.
특정 실시예에서, 저장 장치(2206)는 데이터 또는 명령을 위한 대용량 저장 장치를 포함한다. 비제한적인 예로서, 저장 장치(2206)는 하드 디스크 드라이브(HDD), 플래시 메모리, 광 디스크, 광자기 디스크, 자기 테이프, 또는 USB(범용 직렬 버스) 드라이브 또는 이들 중 2개 이상의 조합을 포함할 수 있다. 저장 장치(2206)는 적절한 경우 착탈식 또는 비이동식(또는 고정) 미디어를 포함할 수 있다. 저장 장치(2206)는 적절한 경우, 컴퓨터 시스템(2200)의 내부 또는 외부에 있을 수 있다. 특정 실시예에서, 저장 장치(2206)는 비휘발성, 고체 상태 메모리이다. 특정 실시예에서, 저장 장치(2206)는 ROM(read-only memory)을 포함한다. 적절한 경우 이 ROM은 마스크 프로그래밍 ROM, 프로그램 가능 ROM(PROM), 삭제 가능한 PROM(EPROM), 전기적으로 삭제 가능한 PROM(EEPROM), 전기적으로 변경 가능한 ROM(EAROM) 또는 플래시 메모리 또는 이들 중 둘 이상의 조합일 수 있다. 본 발명은 임의의 적절한 물리적 형태를 취하는 대용량 저장 장치(2206)를 고려한다. 저장 장치(2206)는 적절한 경우 프로세서(2202)와 저장 장치(2206) 사이의 통신을 용이하게 하는 하나 이상의 저장 장치 제어 유닛을 포함할 수 있다. 적절한 경우, 저장 장치(2206)는 하나 이상의 저장 장치(2206)를 포함할 수 있다. 본 발명은 특정 저장 장치를 설명하고 예시하지만, 본 발명은 임의의 적합한 저장 장치를 고려한다.
특정 실시예에서, I/O 인터페이스(2208)는 컴퓨터 시스템(2200)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어, 또는 둘 모두를 포함한다. 컴퓨터 시스템(2200)은 적절한 경우 이러한 I/O 장치 중 하나 이상을 포함할 수 있다. 이러한 I/O 장치 중 하나 이상은 사람과 컴퓨터 시스템(2200) 사이의 통신을 가능하게 할 수 있다. 비제한적 예로서, I/O 장치는 키보드, 키패드, 마이크, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적절한 I/O 장치 또는 이들 중 둘 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 발명은 임의의 적절한 I/O 장치 및 이들을 위한 임의의 적절한 I/O 인터페이스(2208)를 고려한다. 적절한 경우, I/O 인터페이스(708)는 프로세서(2202)가 이들 I/O 장치 중 하나 이상을 구동할 수 있게 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. I/O 인터페이스(2208)는 적절한 경우 하나 이상의 I/O 인터페이스(2208)를 포함할 수 있다. 본 발명이 특정 I/O 인터페이스를 설명하고 예시하지만, 본 발명은 임의의 적합한 I/O 인터페이스를 고려한다.
특정 실시예에서, 통신 인터페이스(2210)는 하드웨어, 소프트웨어, 또는 컴퓨터 시스템(2200)과 하나 이상의 다른 컴퓨터 시스템(2200) 또는 또는 하나 이상의 네트워크들을 포함한다. 비제한적 례로서, 통신 인터페이스(2210)는 WI-FI 또는 셀룰러 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 어댑터와 통신하기 위한 네트워크 인터페이스 컨트롤러(NIC) 또는 네트워크 어댑터를 포함할 수 있다. 본 발명은 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(2210)를 고려한다. 예로서 제한 없이 컴퓨터 시스템(2200)은 애드혹 네트워크, PAN(Personal Area Network), LAN(Local Area Network), WAN(Wide Area Network), 대도시 지역 네트워크(Metropolitan Area Network)( MAN), 또는 인터넷의 하나 이상의 부분 또는 이들 중 둘 이상의 조합. 하나 이상의 이러한 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예를 들어, 컴퓨터 시스템(700)은 무선 셀룰러 전화 네트워크(예를 들어, GSM(Global System for Mobile Communications) 네트워크, 또는 3G, 4G 또는 5G 셀룰러 네트워크와 같은), 또는 다른 적절한 무선 네트워크와 통신할 수 있다. 이들 중 둘 이상의 조합. 컴퓨터 시스템(2200)은 적절한 경우, 이들 네트워크 중 임의의 것에 대한 임의의 적절한 통신 인터페이스(2210)를 포함할 수 있다. 통신 인터페이스(2210)는 적절한 경우 하나 이상의 통신 인터페이스(2210)를 포함할 수 있다. 본 발명이 특정 통신 인터페이스를 설명하고 예시하지만, 본 발명은 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예에서, 버스(2212)는 하드웨어, 소프트웨어, 또는 컴퓨터 시스템(2200)의 구성요소를 서로 결합하는 양자 모두를 포함한다. 비제한적 예로서, 버스(2212)는 가속 그래픽 포트(AGP) 또는 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(Low Pin-Count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCI -Express(PCIe) 버스, SATA(Serial Advanced Technology Attachment) 버스, VLB(Video Electronics Standards Association 로컬) 버스 또는 다른 적절한 버스 또는 이들 중 둘 이상의 조합을 포함할 수 있다.. 버스(2212)는 적절한 경우 하나 이상의 버스(2212)를 포함할 수 있다. 본 발명이 특정 버스를 설명하고 예시하지만, 본 발명은 임의의 적합한 버스 또는 인터커넥트를 고려한다.
본 발명에서, 컴퓨터 판독 가능한 비일시적 저장 매체 또는 매체는 하나 이상의 반도체 기반 또는 다른 집적 회로(IC)(예를 들어, FPGA(field-programmable gate array) 또는 애플리케이션 특정 IC(ASIC), 하드 디스크 드라이브(HDD), 하이브리드 하드 드라이브(HHD), 광 디스크, 광 디스크 드라이브(ODD), 광자기 디스크, 광자기 드라이브(FDD), 솔리드 스테이트 드라이브(SSD), RAM 드라이브 또는 기타 적절한 컴퓨터 판독 가능 비일시적 저장 매체, 또는 적절한 경우 이들 중 둘 이상의 적절한 조합을 포함할 수 있다. 컴퓨터 판독 가능 비일시적 저장 매체는 적절한 경우 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.
컴퓨터 판독 가능 비일시적 저장 매체는 적절한 경우 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.
본 발명의 범위는 당업자가 이해할 수 있는 본 명세서에 기술되거나 예시된 예시적인 실시예에 대한 모든 변경, 대체, 변형, 변경 및 수정을 포함한다. 본 발명의 범위는 본 명세서에 기술되거나 예시된 예시적인 실시예로 제한되지 않는다. 더욱이, 본 발명은, 특정 구성요소들, 요소들, 지형지물, 기능, 동작, 또는 단계들을 포함하는 것으로 본 명세서에서 각각의 실시예를 설명하고 예시하지만, 이들 실시예 중 임의의 것은, 당업자가 이해할 수 있는 본 명세서에 기술되거나 예시된, 임의의 구성요소들, 요소들, 지형지물, 기능, 동작, 또는 단계들의 임의의 조합 또는 순열을 포함할 수 있다. 또한, 해당 장치, 시스템 또는 구성 요소가 그와 같이 적응되고, 배열되고, 동작가능하고, 구성되고, 활성화되고, 작동 가능하거나 또는 작동하는 한. 특정 기능의 활성화, 턴온 또는 잠금 해제 여부에 관계없이, 특정 기능을 수행하도록 적응, 배열, 가능, 구성, 동작 가능, 작동 가능 또는 동작하도록 작동하는 장치 또는 시스템 또는 구성 요소에 대한 첨부된 청구항의 기준은 해당 장치를 포함한다. 부가적으로, 본 발명은 특정 이점을 제공하는 것으로 특정 실시예를 설명하거나 예시되지만, 특정 실시예는 이러한 이점 중 어느 것도 제공하지 않거나, 일부 또는 전부를 제공할 수 있다.
통상의 기술자는 본 발명의 광범위한 일반 범위를 벗어나지 않고 상술한 실시예에 대해 많은 변형 및/또는 수정이 이루어질 수 있음을 이해할 것이다. 따라서, 본 실시예는 모든 면에서 예시적이며 제한적이지 않은 것으로 간주되어야 한다.

Claims (51)

  1. 도시 지역의 주차 모니터링 시스템에 있어서, 상기 시스템은,
    도시 지역의 이미지를 캡처하기 위해 위치되는 적어도 하나의 카메라,
    캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 통신하는 컴퓨팅 장치를 포함하고,
    상기 컴퓨팅 장치는 적어도 하나의 프로세서 및 이 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하고,
    상기 메모리는 기준 배경 이미지의 라이브러리 및 각각의 기준 배경 이미지에 대한 메타데이터를 포함하고, 상기 메타데이터는 주차 위치 정보 및 주차 조건 정보를 포함하고;
    상기 메모리는,
    제1 캡처 이미지에서 대상 차량에 대응하는 번호판 번호를 결정하기 위해 제1 캡처 이미지를 처리하고;
    매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 제2 캡처 이미지를 처리하고;
    매칭 기준 배경 이미지의 메타데이터에 기초하여 대상 차량의 식별된 주차 위치 및 적어도 하나의 주차 조건을 결정하고;
    상기 결정된 적어도 하나의 주차 조건에 대한 대상 차량의 준수를 결정하도록, 상기 적어도 하나의 프로세서를 구성하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 저장하는, 시스템.
  2. 제1항에 있어서, 상기 제1 캡처 이미지는 제2 캡처 이미지와 동일한 캡처 이미지인, 시스템.
  3. 도시 지역의 주차 모니터링 시스템에 있어서, 상기 시스템은,
    도시 지역의 이미지를 캡처하도록 위치되는 적어도 하나의 카메라;
    캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 통신하는 컴퓨팅 장치를 포함하고,
    상기 컴퓨팅 장치는 적어도 하나의 프로세서 및 이 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하고;
    상기 메모리는 기준 배경 이미지의 라이브러리 및 각각의 기준 배경 이미지에 대한 메타데이터를 포함하고, 상기 메타데이터는 주차 위치 정보를 포함하고;
    상기 메모리는 또한,
    캡처 이미지들 중 적어도 하나에서 주차 인디케이터를 식별하기 위해 주차 인디케이터 검출 기계 학습 모델을 사용하여 캡처 이미지를 처리하고;
    주차 인디케이터를 식별할 때, 캡처 이미지들 중 하나와 일치하는 매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 캡처 이미지를 처리하고;
    매칭 기준 배경 이미지와 연관된 메타데이터에 기초하여 주차 위치를 결정하고;
    상기 식별된 주차 인디케이터에 기초하여 주차 조건을 결정하고;
    대상 차량에 대응하는 번호판 번호를 결정하기 위해 캡처 이미지를 처리하며;
    상기 결정된 주차 조건에 대한 대상 차량의 준수를 결정하도록,
    적어도 하나의 프로세서를 구성하기 위해 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 포함하는, 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 대상 차량에 대응하는 번호판 번호는 번호판 검출 기계 학습 모델을 사용하여 결정되는, 시스템.
  5. 제3항 또는 제4항에 있어서, 상기 주차 인디케이터는 주차 표지 또는 번호판을 포함하고, 상기 주차 인디케이터 검출 기계 학습 모델은 상기 캡처 이미지에서 주차 표지 또는 번호판을 검출하는 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 메모리는 각각의 기준 배경 이미지와 연관된 주차 주변 메타데이터를 더 포함하고, 상기 적어도 하나의 프로세서는,
    캡처 이미지들 중 하나에서 대상 차량에 대응하는 이미지 부분을 식별하기 위해 적어도 하나의 캡처 이미지를 처리하고;
    대상 차량에 대응하는 이미지 부분 및 매칭 기준 배경 이미지과 연관된 주차 주변 메타데이터에 기초하여 상기 결정된 주차 조건에 대한 대상 차량의 준수를 결정하도록 추가로 구성되는, 시스템.
  7. 제6항에 있어서, 상기 대상 차량에 대응하는 이미지 부분은 차량 검출 기계 학습 모델을 사용하여 식별되는, 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 배경 매칭 모듈은 배경 지형지물 추출기 신경망을 포함하고, 적어도 하나의 프로세서는,
    배경 지형지물 추출기 신경망을 사용하여 상기 적어도 하나의 캡처 이미지로부터 배경 기술자(descriptor)를 추출하고;
    상기 추출된 배경 기술자에 기초하여 배경 이미지의 라이브러리에서 하나 이상의 후보 매칭 이미지를 선택하고;
    상기 적어도 하나의 캡처 이미지와 상기 후보 매칭 이미지 사이에 기하학적 매칭을 수행하여 매칭 기준 배경 이미지를 선택함으로써,
    매칭 기준 배경 이미지를 식별하도록 추가로 구성되는, 시스템.
  9. 제8항에 있어서, 상기 기하학적 매칭은 랜덤 샘플 합의 프로세스를 사용하여 수행되는, 시스템.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 주차 위치 정보는 거리명 및 거리 번호를 포함하고; 또는
    상기 주차 위치 정보는 거리명, 거리 번호 및 주차 구역 식별자를 포함하고; 또는
    상기 주차 위치 정보는 주차 위치와 연관된 경도 좌표 및 위도 좌표를 포함하는, 시스템.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 하나 이상의 카메라는 감시 차량에 장착되고,
    상기 컴퓨팅 장치는 감시 차량에 의해 운반되고,
    상기 시스템은 컴퓨팅 장치와 원격 컴퓨터 시스템 사이의 무선 통신을 가능하도록 하기 위한 통신 모듈을 더 포함하는, 시스템.
  12. 제11항에 있어서, 상기 시스템은 감시 차량이 도시 지역에서 이동할 때 실시간으로 주차 모니터링을 수행하도록 구성되는, 시스템.
  13. 제11항 또는 제12항에 있어서, 상기 시스템은 적어도 2개의 카메라를 포함하되, 적어도 하나의 카메라는 상기 감시 차량의 양측에 주차 모니터링을 수행하기 위해 상기 감시 차량의 각 측에 위치되는, 시스템.
  14. 제11항 또는 제12항에 있어서, 상기 시스템은 적어도 2개의 카메라를 포함하고, 2개의 카메라 모두 감시 차량의 일 측에서 이미지를 캡처하도록 위치되고;
    상기 배경 매칭 모듈은, 매칭 기준 배경 이미지를 식별하기 위해 적어도 2개의 카메라들의 각각으로부터 캡처 이미지를 사용하여 배경 매칭을 수행하도록 구성되는, 시스템.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는, 감시 차량이 도시 지역에서 이동할 때 캡처 이미지에 걸쳐 대상 차량을 추적하도록 구성되는, 시스템.
  16. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    결정된 주차 조건들에 대한 대상 차량의 결정된 준수;
    대상 차량에 대응하는 결정된 번호판 번호;
    결정된 주차 위치; 또는
    대상 차량의 캡처 이미지. 중 하나 이상을 상기 통신 모듈을 통해 원격 컴퓨터 시스템에 전송하도록 추가로 구성되는, 시스템.
  17. 제4항에 있어서, 상기 번호판 검출 기계 학습 모델은 상기 대상 차량의 번호판에 대응하는 상기 캡처 이미지의 일부를 식별하도록 구성되고,
    번호판 번호는 문자 인식 모듈에 의해 번호판에 대응하는 캡처 이미지의 부분을 처리하는 것에 기초하여 결정되는, 시스템.
  18. 제3항에 있어서, 상기 주차 조건은, 상기 식별된 주차 표지판에 대응하는 캡처 이미지의 일부를 문자 인식 모듈을 사용하여 처리함으로써 인식된 문자에 기초하여 결정되는, 시스템.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서, 적어도 하나의 기준 배경 이미지는 주차 구역 시작 위치에 관련되고 다른 적어도 하나의 기준 배경 이미지는 주차 구역 끝 위치에 관련되며,
    식별된 적어도 하나의 주차 조건에 대한 대상 차량의 준수 결정은,
    식별된 주차 위치와 주차 구역 시작 위치 사이의 거리; 또는
    식별된 주차 위치와 주차 구역 끝 위치 사이의 거리에 기초하는. 시스템.
  20. 메모리와 통신하는 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 주차 모니터링을 위한 컴퓨터 구현 방법으로서, 상기 메모리는 기준 배경 이미지의 라이브러리를 포함하고, 상기 방법은,
    컴퓨팅 장치와 통신하는 카메라에 의해 캡처된 도시 지역의 이미지를 수신하고;
    적어도 하나의 캡처 이미지에서 하나 이상의 주차 인디케이터를 식별하기 위해 주차 인디케이터 검출 기계 학습 모델을 사용하여 캡처 이미지를 처리하고;
    적어도 하나의 캡처 이미지에서 적어도 하나의 주차 인디케이터를 식별할 때, 매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 적어도 하나의 캡처 이미지를 처리하고;
    매칭 기준 배경 이미지에 기초하여 주차 위치를 결정하고;
    결정된 주차 위치 또는 식별된 하나 이상의 주차 인디케이터들에 기초하여 주차 조건을 결정하고;
    적어도 하나의 캡처 이미지에서 대상 차량에 대응하는 번호판 번호를 결정하기 위해 적어도 하나의 캡처 이미지를 처리하며;
    결정된 번호판 번호 및 결정된 주차 조건에 기초하여 결정된 주차 조건에 대한 대상 차량의 준수를 결정하는 것을 포함하는, 방법.
  21. 위치 결정을 위한 시스템으로서, 상기 시스템은,
    적어도 하나의 프로세서 및 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하는 컴퓨팅 장치를 포함하고,
    상기 메모리는 기준 배경 이미지의 라이브러리 및 각각의 기준 배경 이미지에 대한 메타데이터를 포함하고, 상기 메타데이터는 위치 정보를 포함하고;
    상기 메모리는,
    원격 컴퓨팅 장치로부터, 결정될 위치에서 원격 컴퓨팅 장치에 의해 캡처된 적어도 하나의 이미지의 이미지 데이터를 포함하는 입력 이미지 데이터를 수신하고고;
    매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 상기 수신된 입력 이미지 데이터를 처리하고;
    라이브러리에서 매칭 기준 배경 이미지의 메타데이터에 기초하여 입력 이미지 데이터에 대응하는 위치 정보를 결정하고;
    결정된 위치 정보를 원격 컴퓨팅 장치에 전송하도록,
    상기 적어도 하나의 프로세서를 구성하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 저장하는, 시스템.
  22. 제21항에 있어서, 상기 배경 매칭 모듈은 배경 지형지물 추출기 신경망을 포함하고, 상기 적어도 하나의 프로세서는,
    배경 지형지물 추출기 신경망을 사용하여 상기 적어도 하나의 캡처 이미지로부터 배경 기술자를 추출하고;
    추출된 배경 기술자에 기초하여 배경 이미지의 라이브러리에서 하나 이상의 후보 매칭 이미지들을 선택하고;
    적어도 하나의 캡처 이미지와 후보 매칭 이미지 사이에 기하학적 매칭을 수행하여 매칭 기준 배경 이미지를 선택함으로써,
    상기 매칭 기준 배경 이미지를 식별하도록 추가로 구성되는, 시스템.
  23. 제22항에 있어서, 상기 기하학적 매칭은 상기 적어도 하나의 캡처 이미지 및 상기 후보 매칭 이미지 각각에서 공통 시각적 지형지물을 식별하는 것을 포함하는, 시스템.
  24. 제22항 또는 제23항에 있어서, 상기 기하학적 매칭은 랜덤 샘플 합의 프로세스를 사용하여 수행되는 시스템.
  25. 제22항 내지 제24항 중 어느 한 항에 있어서, 상기 배경 지형지물 추출기 신경망은 적어도 하나의 캡처 이미지에서 하나 이상의 정지 지형지물들에 대응하는 배경 기술자를 추출하도록 훈련되는, 시스템.
  26. 제21항 내지 제25항 중 어느 한 항에 있어서, 상기 메모리는,
    원격 컴퓨팅 장치로부터 입력 이미지에 대응하는, 낮은 데이터 품질 인디케이터를 포함하는 GPS 데이터를 수신하고;
    결정된 위치 정보에 기초하여 GPS 교정 신호를 생성하고;
    GPS 교정 신호를 원격 컴퓨팅 장치에 전송하기 위해,
    적어도 하나의 프로세서들을 추가로 구성하도록 상기 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 저장하는, 시스템.
  27. 도시 지역에서의 위치 결정을 위한 차량 탑재 시스템으로서, 상기 시스템은,
    도시 지역의 이미지를 캡처하도록 위치되는 적어도 하나의 카메라;
    캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 통신하고, 적어도 하나의 프로세서 및 이 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하며, 상기 메모리는 기준 배경 이미지의 라이브러리를 포함하는, 컴퓨팅 장치를 포함하고,
    상기 메모리는,
    적어도 하나의 캡처 이미지로부터 배경 기술자를 추출하고;
    추출된 배경 기술자에 기초하여 배경 이미지의 라이브러리로부터 하나 이상의 후보 매칭 기준 이미지를 선택하고;
    단일의 매칭 기준 배경 이미지를 선택하기 위해 적어도 하나의 캡처 이미지와 하나 이상의 후보 매칭 기준 이미지 사이의 기하학적 매칭을 수행하고;
    상기 단일의 매칭 기준 배경 이미지에 기초하여 차량의 위치를 결정하도록,
    상기 적어도 하나의 프로세서를 구성하기 위해 이 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 포함하는, 시스템.
  28. 제27항에 있어서, 상기 메모리는 각각의 기준 배경 이미지에 대응하는 위치 메타데이터를 더 포함하고;
    차량의 위치는 단일의 매칭 기준 배경 이미지에 대응하는 위치 메타데이터에 기초하여 결정되는, 시스템.
  29. 제27항 또는 제28항에 있어서, 배경 기술자는 배경 지형지물 추출기 신경망을 사용하여 적어도 하나의 캡처 이미지로부터 추출되는, 시스템.
  30. 제27항 내지 제29항 중 어느 한 항에 있어서, 상기 위치를 결정하는 단계는 실시간으로 수행되는, 시스템.
  31. 도시 지역에서 차량의 위치를 결정하기 위한 컴퓨터 구현 방법으로서, 상기 방법은 메모리와 통신하는 적어도 하나의 프로세서를 포함하는 차량 탑재 컴퓨팅 장치에 의해 수행되고, 상기 메모리는 기준 배경 이미지의 라이브러리를 포함하고, 상기 방법은,
    컴퓨팅 장치와 통신하는 카메라에 의해 캡처된 도시 지역의 이미지를 수신하는 단계;
    상기 카메라에 의해 캡처된 적어도 하나의 이미지로부터 배경 기술자를 추출하는 단계;
    추출된 배경 기술자에 기초하여 배경 이미지 라이브러리로부터 하나 이상의 후보 매칭 기준 이미지를 선택하는 단계;
    단일의 매칭 기준 배경 이미지를 선택하기 위해 적어도 하나의 캡처 이미지와 하나 이상의 후보 매칭 기준 이미지 사이의 기하학적 매칭을 수행하는 단계; 및
    단일의 매칭 기준 배경 이미지에 기초하여 차량의 위치를 결정하는 단계를 포함하는, 방법.
  32. 도시 지역에서 차량의 위치를 결정하기 위한 컴퓨터 구현 방법으로서, 상기 방법은 메모리 및 적어도 하나의 카메라와 통신하는 적어도 하나의 프로세서를 포함하는 차량 탑재 컴퓨팅 장치에 의해 수행되고, 상기 메모리는 기준 배경 이미지의 라이브러리를 포함하며, 상기 방법은,
    적어도 하나의 카메라가 도시 지역에서 이동하는 동안 도시 지역의 이미지를 캡처하는 단계;
    매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 캡처 이미지를 처리하는 단계; 및
    매칭 기준 배경 이미지의 메타데이터에 기초하여 차량의 위치를 결정하는 단계를 포함하는, 방법.
  33. 제32항에 있어서, 상기 적어도 하나의 카메라는 차량에 장착되는, 방법.
  34. 제32항 또는 제33항에 있어서, 차량의 위치 결정은 차량 탑재 컴퓨팅 장치에 의해 실시간으로 수행되는, 방법.
  35. 도시 지역에서의 위치 결정을 위한 시스템으로서, 상기 시스템은,
    적어도 하나의 카메라가 도시 지역에서 이동하는 동안 도시 지역의 이미지를 캡처하도록 위치되는 적어도 하나의 카메라;
    캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 함께 이동하고 상기 적어도 하나의 카메라와 통신하는 컴퓨팅 장치를 포함하고,
    상기 컴퓨팅 장치는 적어도 하나의 프로세서 및 이 적어도 하나의 프로세서에 액세스가능한 메모리를 포함하고;
    상기 메모리는 기준 배경 이미지의 라이브러리 및 각각의 기준 배경 이미지에 대한 메타데이터를 포함하고, 상기 메타데이터는 위치 정보를 포함하고;
    상기 메모리는,
    매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 캡처 이미지를 처리하고;
    매칭 기준 배경 이미지의 메타데이터에 기초하여 적어도 하나의 카메라 및 컴퓨팅 장치의 위치를 결정하기 위해 구성되도록,
    상기 적어도 하나의 프로세서를 구성하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 저장하는, 시스템.
  36. 제35항에 있어서, 배경 매칭 모듈을 사용하여 캡처 이미지를 처리하는 것은, ,
    캡처 이미지로부터 배경 기술자를 추출하고;
    상기 추출된 배경 기술자에 기초하여 기준 배경 이미지 라이브러리로부터 하나 이상의 후보 매칭 이미지를 선택하고;
    상기 캡쳐 이미지와 상기 후보 매칭 이미지 사이에 기하학적 매칭을 수행하여 매칭 기준 배경 이미지를 선택하는 것을 포함하는, 시스템.
  37. 제36항에 있어서, 상기 배경 매칭 모듈은 상기 적어도 하나의 캡처 이미지에서 하나 이상의 정지 지형지물들에 대응하는 배경 기술자를 추출하도록 구성되는 배경 지형지물 추출기 신경망을 포함하는, 시스템.
  38. 제36항 또는 제37항에 있어서, 상기 기하학적 매칭은 랜덤 샘플 합의 프로세스를 사용하여 수행되고;
    상기 기하학적 매칭은 적어도 하나의 캡처 이미지 및 각각의 후보 매칭 이미지에서 공통의 시각적 지형지물을 식별하는 것을 포함하는, 시스템.
  39. 제35항 내지 제38항 중 어느 한 항에 있어서, 컴퓨팅 장치는 실시간으로 위치를 결정하도록 구성되는, 시스템.
  40. 제35항 내지 제39항 중 어느 한 항의 시스템이 장착된 차량으로서, 상기 적어도 하나의 카메라는 차량 주변의 이미지를 캡처하기 위해 차량에 장착되는, 차량.
  41. 제40항에 있어서, 상기 차량은 자율 주행 차량인, 차량.
  42. 제41항에 있어서, 상기 차량은 온보드 GPS 수신기를 포함하고 상기 차량은 이미지 기반 위치 결정 트리거 이벤트에 응답하여 위치 결정을 위한 시스템을 사용하여 위치 결정을 트리거하도록 구성되는, 차량.
  43. 제42항에 있어서, 상기 이미지 기반 위치 결정 트리거 이벤트는,
    온보드 GPS 수신기에 의해 생성되는 낮은 정밀도의 GPS 데이터; 또는
    차량에 의한 사전 규정된 지오 펜스(geo-fence) 횡단; 중 적어도 하나를 포함할 수 있는, 차량.
  44. 위치 결정을 위한 컴퓨터 구현 방법으로서, 상기 방법은 메모리와 통신하는 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되고, 상기 방법은,
    원격 컴퓨팅 장치로부터 컴퓨팅 장치에 의해, 결정될 위치에 대응하는 입력 이미지를 수신하는 단계;
    상기 메모리에 저장된 기준 배경 이미지들의 라이브러리 중에서 매칭 기준 배경 이미지를 식별하기 위해 상기 컴퓨팅 장치의 메모리에 제공되는 배경 매칭 모듈을 사용하여 상기 수신된 입력 이미지를 처리하는 단계;
    매칭 기준 배경 이미지의 메타 데이터에 기초하여 입력 이미지에 대응하는 위치 정보를 결정하는 단계; 및
    결정된 위치 정보를 원격 컴퓨팅 장치에 전송하는 단계를 포함하는, 방법.
  45. 제44항에 있어서, 상기 배경 매칭 모듈은 배경 지형지물 추출기 신경망을 포함하고, 상기 방법은,
    배경 지형지물 추출기 신경망을 사용하여 캡처된 적어도 하나의 이미지로부터 배경 기술자를 추출하고;
    추출된 배경 기술자에 기초하여 배경 이미지의 라이브러리로부터 하나 이상의 후보 매칭 이미지를 선택하고;
    적어도 하나의 캡처 이미지와 후보 매칭 이미지 사이에 기하학적 매칭을 수행하여 매칭 기준 배경 이미지를 선택함으로써,
    매칭 기준 배경 이미지를 식별하는 단계를 더 포함하는, 방법.
  46. 제45항에 있어서, 상기 기하학적 매칭은 상기 적어도 하나의 캡처 이미지 및 상기 후보 매칭 이미지의 각각에서 공통의 시각적 지형지물들을 식별하는 단계를 포함하는, 방법.
  47. 제45항 또는 제46항에 있어서, 상기 기하학적 매칭은 랜덤 샘플 합의 프로세스를 사용하여 수행되는, 방법.
  48. 제45항 내지 제47항 중 어느 한 항에 있어서, 상기 배경 지형지물 추출기 신경망은 적어도 하나의 캡처 이미지에서 하나 이상의 영구적 정지 지형지물들에 대응하는 배경 기술자를 추출하도록 훈련되는, 방법.
  49. 제45항 내지 제48항 중 어느 한 항에 있어서, 상기 방법은,
    원격 컴퓨팅 장치로부터 입력 이미지에 대응하는 GPS 데이터를 수신하는 단계로서, 상기 GPS 데이터는 낮은 데이터 품질 인디케이터를 포함하는, 단계;
    상기 결정된 위치 정보에 기초하여 GPS 교정 신호를 생성하는 단계;
    상기 GPS 교정 신호를 원격 컴퓨팅 장치로 전송하는 단계를 포함하고,
    상기 GPS 교정 신호는 보다 정확한 GPS 위치 데이터를 결정하기 위해 원격 컴퓨팅 장치에 의해 액세스 가능한 정보를 포함하는, 방법.
  50. 컴퓨터에 의해 실행될 때 컴퓨터가 제20항, 제31항 내지 제34항 및 제44항 내지 제49항 중 어느 한 항의 방법을 수행하도록 하는 명령을 저장하는 컴퓨터 판독가능 저장 매체.
  51. 도시 지역의 주차 모니터링 시스템으로서, 상기 시스템은,
    도시 지역의 이미지를 캡처하도록 위치되는 적어도 하나의 카메라;
    캡처 이미지를 수신하기 위해 적어도 하나의 카메라와 통신하는 컴퓨팅 장치;
    적어도 하나의 프로세서 및 적어도 하나의 프로세서에 액세스 가능한 메모리를 포함하는 컴퓨팅 장치를 포함하고,
    상기 메모리는 기준 배경 이미지의 라이브러리를 포함하고;
    상기 메모리는 또한,
    적어도 하나의 캡처 이미지에서 하나 이상의 주차 인디케이터를 식별하기 위해 주차 인디케이터 검출 기계 학습 모델을 사용하여 캡처 이미지를 처리하고;
    적어도 하나의 캡처 이미지에서 적어도 하나의 주차 인디케이터를 식별할 때, 매칭 기준 배경 이미지를 식별하기 위해 배경 매칭 모듈을 사용하여 적어도 하나의 캡처 이미지를 처리하고;
    매칭 기준 배경 이미지에 기초하여 주차 위치를 결정하고;
    결정된 주차 위치 또는 식별된 하나 이상의 주차 인디케이터에 기초하여 주차 조건을 결정하고;
    적어도 하나의 캡처 이미지에서 대상 차량에 대응하는 번호판 번호를 결정하기 위해 적어도 하나의 캡처 이미지를 처리하고;
    결정된 번호판 번호 및 결정된 주차 조건에 기초하여 결정된 주차 조건에 대한 대상 차량의 준수를 결정하기 위해,
    적어도 하나의 프로세서를 구성하도록 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 코드를 포함하는, 시스템.
KR1020227035101A 2020-03-10 2021-02-25 이미지 기반 위치 결정 및 주차 모니터링을 위한 시스템 및 방법 KR20230005140A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
AU2020900736 2020-03-10
AU2020900736A AU2020900736A0 (en) 2020-03-10 Systems and Methods for image-base location estimation
AU2020902942A AU2020902942A0 (en) 2020-08-18 Systems and methods for image-based location estimation
AU2020902942 2020-08-18
PCT/AU2021/050160 WO2021179035A1 (en) 2020-03-10 2021-02-25 Systems and methods for image-based location determination and parking monitoring

Publications (1)

Publication Number Publication Date
KR20230005140A true KR20230005140A (ko) 2023-01-09

Family

ID=77670370

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227035081A KR20230004474A (ko) 2020-03-10 2021-02-25 이미지 기반 위치 결정을 위한 시스템 및 방법
KR1020227035101A KR20230005140A (ko) 2020-03-10 2021-02-25 이미지 기반 위치 결정 및 주차 모니터링을 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227035081A KR20230004474A (ko) 2020-03-10 2021-02-25 이미지 기반 위치 결정을 위한 시스템 및 방법

Country Status (7)

Country Link
US (3) US20230091062A1 (ko)
EP (3) EP4118576A4 (ko)
JP (2) JP2023516500A (ko)
KR (2) KR20230004474A (ko)
AU (2) AU2021235756A1 (ko)
CA (2) CA3171223A1 (ko)
WO (2) WO2021179036A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN113851015B (zh) * 2021-09-24 2023-04-14 深圳市捷顺科技实业股份有限公司 一种视频桩协同的方法以及视频桩
KR102596992B1 (ko) * 2021-09-27 2023-11-01 한국클라우드컴퓨팅연구조합 자율주행 기반 무허가 주정차 차량 단속 시스템
CN114613072B (zh) * 2022-04-18 2023-06-23 宁波小遛共享信息科技有限公司 共享车辆的还车控制方法、装置和电子设备
US11776276B1 (en) * 2022-11-14 2023-10-03 Hayden Al Technologies, Inc. System and methods for automatically validating evidence of traffic violations using automatically detected context features
CN117036911A (zh) * 2023-10-10 2023-11-10 华侨大学 一种基于神经架构搜索的车辆再辨识轻量化方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2392766B (en) * 2002-08-27 2005-10-05 Timothy Guy Carpenter An apparatus and a system for determining compliance with parking rules by a vehicle, vehicle observing means and a device for obtaining parking information
US8144920B2 (en) * 2007-03-15 2012-03-27 Microsoft Corporation Automated location estimation using image analysis
US8131118B1 (en) * 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
US9324003B2 (en) * 2009-09-14 2016-04-26 Trimble Navigation Limited Location of image capture device and object features in a captured image
CA3176193A1 (en) * 2010-05-10 2011-11-17 Daniel Cohen Method and system for managing a parking lot based on intelligent imaging
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
US8698895B2 (en) * 2012-08-06 2014-04-15 Cloudparc, Inc. Controlling use of parking spaces using multiple cameras
GB2510586A (en) * 2013-02-07 2014-08-13 Spiral Scratch Ltd Navigational aid for visually impaired people
US10078789B2 (en) * 2015-07-17 2018-09-18 Magna Electronics Inc. Vehicle parking assist system with vision-based parking space detection
US20170186317A1 (en) * 2015-12-29 2017-06-29 Tannery Creek Systems Inc. System and Method for Determining Parking Infraction
CN106875442A (zh) * 2016-12-26 2017-06-20 上海蔚来汽车有限公司 基于图像特征数据的车辆定位方法

Also Published As

Publication number Publication date
EP4118634A4 (en) 2024-03-13
EP4239614A2 (en) 2023-09-06
CA3171223A1 (en) 2021-09-16
KR20230004474A (ko) 2023-01-06
US20230091062A1 (en) 2023-03-23
CA3171233A1 (en) 2021-09-16
US20230260154A1 (en) 2023-08-17
AU2021233696A1 (en) 2022-11-03
WO2021179036A1 (en) 2021-09-16
AU2021235756A1 (en) 2022-10-27
US20240052126A1 (en) 2024-02-15
EP4118576A1 (en) 2023-01-18
EP4118576A4 (en) 2024-03-13
EP4118634A1 (en) 2023-01-18
EP4239614A3 (en) 2023-10-18
WO2021179035A1 (en) 2021-09-16
JP2023516500A (ja) 2023-04-19
JP2023516502A (ja) 2023-04-19

Similar Documents

Publication Publication Date Title
KR20230005140A (ko) 이미지 기반 위치 결정 및 주차 모니터링을 위한 시스템 및 방법
US20220026232A1 (en) System and method for precision localization and mapping
US20200401617A1 (en) Visual positioning system
KR102525227B1 (ko) 도로 정보 데이터를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US10984275B1 (en) Determining location coordinates of a vehicle based on license plate metadata and video analytics
US11250054B1 (en) Dynamic partitioning of input frame buffer to optimize resources of an object detection and recognition system
EP2583217A1 (en) Method for obtaining drivable road area
Sarlin et al. Orienternet: Visual localization in 2d public maps with neural matching
Cao et al. Amateur: Augmented reality based vehicle navigation system
Li et al. An improved traffic lights recognition algorithm for autonomous driving in complex scenarios
Balali et al. Multi-class traffic sign detection and classification using google street view images
Murray et al. Mobile mapping system for the automated detection and analysis of road delineation
US11417098B1 (en) Determining location coordinates of a vehicle based on license plate metadata and video analytics
Lee et al. Distant object localization with a single image obtained from a smartphone in an urban environment
CN115797438A (zh) 目标定位方法、装置、计算机设备、存储介质和程序产品
Xiaolong et al. Summary of road information extraction methods
US10916141B1 (en) System and method for generating a parking space directory
Mots' oehli et al. Public Parking Spot Detection And Geo-localization Using Transfer Learning
Bakirci UTILIZING YOLOv8 for ENHANCED TRAFFIC MONITORING in INTELLIGENT TRANSPORTATION SYSTEMS (ITS) APPLICATIONS
Garta et al. Viewing on Google Maps Using Yolov8 for Damaged Traffic Signs Detection
Villa et al. Intelligent Infrastructure for Traffic Monitoring Based on Deep Learning and Edge Computing
Shameli et al. Automated Assessment of Public Transit Bus Stops Using Computer Vision Methods
CN114663469A (zh) 目标物体追踪方法、装置、电子设备及可读存储介质
CN117058512A (zh) 基于交通大模型的多模态数据融合方法以及系统