KR20230118881A - 영상처리방법과 영상처리시스템 - Google Patents
영상처리방법과 영상처리시스템 Download PDFInfo
- Publication number
- KR20230118881A KR20230118881A KR1020237021895A KR20237021895A KR20230118881A KR 20230118881 A KR20230118881 A KR 20230118881A KR 1020237021895 A KR1020237021895 A KR 1020237021895A KR 20237021895 A KR20237021895 A KR 20237021895A KR 20230118881 A KR20230118881 A KR 20230118881A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- subject
- area
- identification
- determining
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 title claims description 74
- 238000000034 method Methods 0.000 claims abstract description 128
- 230000011218 segmentation Effects 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 description 215
- 230000008569 process Effects 0.000 description 61
- 238000010586 diagram Methods 0.000 description 26
- 238000012549 training Methods 0.000 description 14
- 238000001914 filtration Methods 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013210 evaluation model Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002730 additional effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013316 zoning Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
본 개시는 영상처리방법을 개시한다. 상기 방법은 지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하는 절차; 상기 영상의 복수의 구역들을 확정하는 절차; 상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차; 및 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차를 포함할 수 있다.
Description
교차참조 설명
본 출원은 중국 특허출원(출원번호:202110406602.7, 출원일자:2021년 4월 15일)의 우선권을 주장하며, 상기 선출원의 내용들은 참고로 본 출원에 포함되어 있다.
본 개시는 영상처리에 관한 것으로서, 구체적으로는, 영상처리에 근거하여 주차공간을 관리하기 위한 방법과 시스템에 관한 것이다.
도시화의 발전과 더불어, 차량들의 수량은 지속적으로 증가되고, 옥외 밀폐식 주차장도 증가된다. 일반적으로, 밀폐된 옥외 주차장은 주차장에서 카메라들을 이용하여 차량들을 탐측함으로써 주차공간들의 안내와 관리를 구현한다.
파노라마 카메라의 화각은 단안 카메라보다 크다. 파노라마 카메라에 포착된 영상은 360도의 대폭 화면을 볼 수 있으며, 따라서 더 많은 타겟들(예를 들면, 차량들)을 커버할 수 있다. 그러나, 상기 파노라마 카메라의 특성들에 의해, 대폭 화면의 영상에서 작은 영역의 차량의 식별율은 낮으며, 과소보고를 초래한다.
본 개시는 예시적인 실시예에 관하여 더 설명한다. 이러한 예시적인 실시예들은 도면을 참조하여 상세히 설명된다. 상기 도면들은 비례에 따르지 않는다. 이러한 실시예들은 비한정적인 예시적인 실시예들로써, 여기서 유사한 참조부호는 여러 도면에서 유사한 구조를 나타낸다.
본 개시의 실시예들 중의 하나의 양태는 영상처리방법과 영상처리시스템을 제공할 수 있다. 영상처리방법은 지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하는 절차; 상기 영상의 복수의 구역들을 확정하는 절차; 상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차; 및 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차를 포함할 수 있다.
일부 실시예들에서는, 상기 영상에서 적어도 하나의 매칭영역 중의 각 영역은 상기 복수의 구역들 중의 하나의 구역에 에워싸이고, 상기 적어도 하나의 매칭영역은 상기 적어도 하나의 피사체들과 매칭될 수 있다.
일부 실시예들에서는, 상기 영상의 복수의 구역들을 확정하는 절차는 참조영역의 변형도가 제2 조건을 만족시키는 상기 영상의 참조영역을 확정하는 절차; 및 상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 절차를 포함할 수 있다.
일부 실시예들에서는, 상기 복수의 구역들은 제1 구역과 제2 구역을 포함하는 한 조의 구역들을 포함하고, 상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 절차는 상기 식별영역에서 하나 이상의 참조피사체들을 식별하는 절차; 상기 참조영역에서 상기 하나 이상의 참조피사체들로부터 제3 조건을 만족시키는 타겟 참조피사체를 확정하는 절차; 상기 타겟 참조피사체에 매칭되는 참조매칭영역의 변에 근거하여 상기 영상에서 상기 제1 구역의 변을 확정하는 절차; 상기 참조영역의 변에 근거하여 상기 영상에서 상기 제2 구역의 변을 확정하는 절차; 및 상기 영상에서 상기 제1 구역의 변과 상기 제2 구역의 변에 근거하여 상기 조의 구역들을 확정하는 절차를 포함할 수 있다.
일부 실시예들에서는, 상기 제3 조건은 상기 참조영역에서 상기 하나 이상의 참조피사체들 중의 각 참조피사체의 위치와 관련될 수 있다.
일부 실시예들에서는, 상기 제3 조건은 상기 식별영역에서 상기 하나 이상의 참조피사체들 중의 각 참조피사체의 식별 신뢰수준과 관련될 수 있다.
일부 실시예들에서는, 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차는 상기 복수의 구역들에서 상기 적어도 하나의 피사체 중의 각 피사체의 병집합 교차점(IOU)에 근거하여, 상기 피사체를 확정하는 절차; 및 상기 피사체의 식별 신뢰수준에 근거하여 상기 영상의 식별결과를 확정하는 절차를 포함할 수 있다.
일부 실시예들에서는, 상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차는 상기 복수의 구역들 중의 하나의 구역에 대하여, 식별 알고리즘에 근거하여 상기 구역에서 식별프레임을 획득하는 절차로서, 상기 식별프레임은 상기 구역 중의 상기 타겟과 매칭되는 매칭영역과 상응한 관계를 가지는, 상기 식별프레임을 획득하는 절차; 상기 식별프레임에 대응되는 상기 매칭영역의 실제 수평선과 표준 수평선 사이의 각도에 근거하여 상기 식별프레임을 수정하여 수정된 식별프레임을 획득하는 절차; 및 상기 수정된 식별프레임에 근거하여 상기 구역 내의 상기 피사체를 식별하는 절차를 더 포함할 수 있다.
일부 실시예들에서는, 상기 적어도 하나의 피사체는 하나의 차량을 포함하며, 상기 카메라에 포착되는 상기 지면은 주차영역을 포함할 수 있으며, 상기 영상처리방법은 상기 영상의 식별결과에 근거하여 상기 주차영역 중의 비어 있는 주차공간을 확정하는 절차를 더 포함할 수 있다.
본 개시의 실시예들 다른 하나의 양태는 영상처리시스템을 제공할 수 있다. 상기 영상처리시스템은 한 조의 명령어들을 포함하는 적어도 하나의 스토리지장치; 및 상기 적어도 하나의 스토리지장치와 통신하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 조의 명령어들을 수행할 때, 상기 적어도 하나의 프로세서는 상기 시스템으로 하여금 지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하는 절차; 상기 영상의 복수의 구역들을 확정하는 절차; 상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차; 및 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차를 포함하는 동작들을 수행하게 할 수 있다.
일부 실시예들에서는, 상기 영상에서 적어도 하나의 매칭영역 중의 각 영역은 상기 복수의 구역들 중의 하나의 구역에 에워싸일 수 있으며, 상기 적어도 하나의 매칭영역은 상기 적어도 하나의 피사체들과 매칭될 수 있다.
일부 실시예들에서는, 상기 영상의 복수의 구역들을 확정하는 절차는 참조영역의 변형도가 제2 조건을 만족시키는 상기 영상의 참조영역을 확정하는 절차; 및 상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 절차를 포함할 수 있다.
일부 실시예들에서는, 상기 복수의 구역들은 제1 구역과 제2 구역을 포함하는 한 조의 구역들을 포함하고, 상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 절차는 상기 식별영역에서 하나 이상의 참조피사체들을 식별하는 절차; 상기 참조영역에서 상기 하나 이상의 참조피사체들로부터 제3 조건을 만족시키는 타겟 참조피사체를 확정하는 절차; 상기 타겟 참조피사체에 매칭되는 참조매칭영역의 변에 근거하여 상기 영상에서 상기 제1 구역의 변을 확정하는 절차; 상기 참조영역의 변에 근거하여 상기 영상에서 상기 제2 구역의 변을 확정하는 절차; 및 상기 영상에서 상기 제1 구역의 변과 상기 제2 구역의 변에 근거하여 상기 조의 구역들을 확정하는 절차를 포함할 수 있다.
일부 실시예들에서는, 상기 제3 조건은 상기 참조영역에서 상기 하나 이상의 참조피사체들 중의 각 참조피사체의 위치와 관련될 수 있다.
일부 실시예들에서는, 상기 제3 조건은 상기 식별영역에서 상기 하나 이상의 참조피사체들 중의 각 참조피사체의 식별 신뢰수준과 관련될 수 있다.
일부 실시예들에서는, 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차는 상기 복수의 구역들에서 상기 적어도 하나의 피사체 중의 각 피사체의 병집합 교차점(IOU)에 근거하여, 상기 피사체를 확정하는 절차; 및 상기 피사체의 식별 신뢰수준에 근거하여 상기 영상의 식별결과를 확정하는 절차를 포함할 수 있다.
일부 실시예들에서는, 상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차는 상기 복수의 구역들 중의 하나의 구역에 대하여, 식별 알고리즘에 근거하여 상기 구역에서 식별프레임을 획득하는 절차로서, 상기 식별프레임은 상기 구역 중의 상기 타겟과 매칭되는 매칭영역과 상응한 관계를 가지는, 상기 식별프레임을 획득하는 절차; 상기 식별프레임에 대응되는 상기 매칭영역의 실제 수평선과 표준 수평선 사이의 각도에 근거하여 상기 식별프레임을 수정하여 수정된 식별프레임을 획득하는 절차; 및 상기 수정된 식별프레임에 근거하여 상기 구역 내의 상기 피사체를 식별하는 절차를 포함할 수 있다.
일부 실시예들에서는, 상기 적어도 하나의 피사체는 하나의 차량을 포함하며, 상기 카메라에 포착되는 상기 지면은 주차영역을 포함할 수 있으며, 상기 영상처리방법은 상기 영상의 식별결과에 근거하여 상기 주차영역 중의 비어 있는 주차공간을 확정하는 절차를 더 포함할 수 있다.
본 개시의 실시예들의 다른 하나의 양태는 영상처리시트템을 제공할 수 있다. 상기 영상처리시트템은 지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하도록 구성되는 획득모듈; 상기 영상의 복수의 구역들을 확정하도록 구성되는 분할모듈; 상기 복수의 구역들에서 적어도 하나의 피사체를 식별하도록 구성되는 식별모듈; 및 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하도록 구성되는 확정모듈로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 확정모듈을 포함할 수 있다.
본 개시의 실시예들의 다른 하나의 양태는 수행가능한 명령어들을 포함하는 비일시적인 컴퓨터 판독가능매체를 제공할 수 있다. 적어도 하나의 프로세서에 의해 실행될 때, 상기 수행가능한 명령어들은 상기 적어도 하나의 프로세서로 하여금 하나의 방법을 실행하게 할 수 있다. 상기 방법은 지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하는 절차; 상기 영상의 복수의 구역들을 확정하는 절차; 상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차; 및 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차를 포함할 수 있다.
본 개시는 예시적인 실시예에 관하여 더 설명한다. 이러한 예시적인 실시예들은 도면을 참조하여 상세히 설명된다. 이러한 실시예들은 한정적인 예시적인 실시예들이 아니며, 여러 도면들에서 유사한 참조부호는 유사한 구조를 표시한다.
도 1은 본 개시의 일부 실시예들에 따른 영상처리시스템을 나타내는 도면이다.
도 2는 본 개시의 일부 실시예들에 따른 영상처리과정을 나타내는 예시적인 흐름도이다.
도 3은 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 예시적인 흐름도이다.
도 4a는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 도면이다.
도 4b는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 다른 하나의 도면이다.
도 5는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 다른 하나의 도면이다.
도 6은 본 개시의 일부 실시예들에 따른 영상의 식별결과를 확정하는 과정을 나타내는 예시적인 흐름도이다.
도 7은 본 개시의 일부 실시예들에 따른 피사체의 IOU를 확정하는 과정을 나타내는 도면이다.
도 8은 본 개시의 일부 실시예들에 따른 식별프레임을 수정하는 과정을 나타내는 예시적인 흐름도이다.
도 9는 본 개시의 일부 실시예들에 따른 식별프레임을 수정하는 도면이다.
도 10은 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 예시적인 흐름도이다.
도 11 은 본 개시의 일부 실시예들에 따른 탐측하려는 차량의 영상의 도면이다.
도 12는 본 개시의 일부 실시예들에 따른 사전탐측영역들과 탐측구획들의 도면이다.
도 13은 본 개시의 일부 실시예들에 따른 분할영역식별결과의 도면이다.
도 14는 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 예시적인 흐름도이다.
도 15는 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 다른 하나의 예시적인 흐름도이다.
도 16은 본 개시의 일부 실시예들에 따른 영상의 왜곡과 경사를 나타내는 도면이다.
도 17은 본 개시의 일부 실시예들에 따른 차량프레임의 왜곡수정의 도면이다.
도 18은 본 개시의 일부 실시예들에 따른 차량탐측장치의 구조를 나타내는 도면이다.
도 19 는 본 개시의 일부 실시예들에 따른 차량탐측장치의 구조를 나타내는 다른 하나의 도면이다.
도 20은 본 개시의 일부 실시예들에 따른 컴퓨터 스토리지매체의 구조를 나타내는 도면이다.
추가적인 특징들은 아래의 묘사에서 설명될 것이며, 일부는 하기와 첨부된 도면의 검토에 의해 본 분야의 통상의 기술자에게 명백해지거나 실시예의 제조 또는 운용에 의해 학습될 수 있다. 본 개시의 특징들은 아래에서 상세히 토론하는 상세한 예들에서의 기재들의 방법론, 수단들, 및 조합들을 실천하고 사용함으로써 구현되고 획득될 수 있다.
도 1은 본 개시의 일부 실시예들에 따른 영상처리시스템을 나타내는 도면이다.
도 2는 본 개시의 일부 실시예들에 따른 영상처리과정을 나타내는 예시적인 흐름도이다.
도 3은 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 예시적인 흐름도이다.
도 4a는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 도면이다.
도 4b는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 다른 하나의 도면이다.
도 5는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 다른 하나의 도면이다.
도 6은 본 개시의 일부 실시예들에 따른 영상의 식별결과를 확정하는 과정을 나타내는 예시적인 흐름도이다.
도 7은 본 개시의 일부 실시예들에 따른 피사체의 IOU를 확정하는 과정을 나타내는 도면이다.
도 8은 본 개시의 일부 실시예들에 따른 식별프레임을 수정하는 과정을 나타내는 예시적인 흐름도이다.
도 9는 본 개시의 일부 실시예들에 따른 식별프레임을 수정하는 도면이다.
도 10은 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 예시적인 흐름도이다.
도 11 은 본 개시의 일부 실시예들에 따른 탐측하려는 차량의 영상의 도면이다.
도 12는 본 개시의 일부 실시예들에 따른 사전탐측영역들과 탐측구획들의 도면이다.
도 13은 본 개시의 일부 실시예들에 따른 분할영역식별결과의 도면이다.
도 14는 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 예시적인 흐름도이다.
도 15는 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 다른 하나의 예시적인 흐름도이다.
도 16은 본 개시의 일부 실시예들에 따른 영상의 왜곡과 경사를 나타내는 도면이다.
도 17은 본 개시의 일부 실시예들에 따른 차량프레임의 왜곡수정의 도면이다.
도 18은 본 개시의 일부 실시예들에 따른 차량탐측장치의 구조를 나타내는 도면이다.
도 19 는 본 개시의 일부 실시예들에 따른 차량탐측장치의 구조를 나타내는 다른 하나의 도면이다.
도 20은 본 개시의 일부 실시예들에 따른 컴퓨터 스토리지매체의 구조를 나타내는 도면이다.
추가적인 특징들은 아래의 묘사에서 설명될 것이며, 일부는 하기와 첨부된 도면의 검토에 의해 본 분야의 통상의 기술자에게 명백해지거나 실시예의 제조 또는 운용에 의해 학습될 수 있다. 본 개시의 특징들은 아래에서 상세히 토론하는 상세한 예들에서의 기재들의 방법론, 수단들, 및 조합들을 실천하고 사용함으로써 구현되고 획득될 수 있다.
아래의 상세한 설명에서, 다수의 세부 설명은 관련 개시의 완전한 이해를 제공하기 위해 예를 들어 설명하는 것이다. 물론, 아래에서 기재된 도면은 단지 본 개시의 일부 예 또는 실시방안일 뿐이다. 본 분야의 통상의 기술자들에 있어서, 창조적 노동을 하지 않고 기타 유사한 상황에서 이러한 도면들에 근거하여 본 개시를 응용할 수 있다. 설명된 실시예들은 단지 본 출원 분야의 통상의 기술자들이 본 출원을 실시할 수 있도록 제공되는 것이며, 본 개시의 범위를 한정하기 위함이 아님을 이해해야 한다. 상하문에서 명확히 얻을 수 있거나 설명된 경우 외에, 도면에 기재된 동일한 참고부호는 동일한 구조나 동작을 표시한다.
이해해야 할 것은, 본 개시에서 사용하는 바와 같이, "시스템", "장치", "유닛" 및/또는 "모듈"는 상이한 수준들의 상이한 성분들, 소자들, 부재들, 부분들, 또는 조립체들을 구분하기 위한 방법일 수 있다. 그러나, 기타 단어들이 동일한 목적을 달성할 수 있으면, 이 단어들은 다른 표현들에 의해 대체될 수 있다.
명세서와 첨부된 청구범위에서 사용하는 바와 같이, 상하문에서 명시하지 않은 한, 상기 단일 형식 "일", "하나" 및 "상기"는 복수형식을 포함할 수 있다. 일반적으로 "포함", "구비"는 명시한 절차와 요소를 포함함을 의미하고, 이러한 절차와 요소는 배타적 열거를 형성하지 않는다. 방법 또는 장치는 기타 절차 또는 요소를 포함할 수 있다. 상기 용어 "에 따라"는 "적어도 부분적으로 에 따라"의 의미이다. 상기 용어 "하나의 실시예"는 "적어도 하나의 실시예"를 의미하며, 상기 용어 "다른 하나의 실시예"는 "적어도 하나의 기타 실시예"를 의미한다. 관련되는 기타 용어들의 정의는 아래의 설명에서 기재한다.
본 개시에서 사용하는 바와 같이, 흐름도는 본 개시의 실시예들에 따른 시스템에 의해 실행되는 동작들을 설명하는 데 이용될 수 있다. 이해해야 할 것은 전후 동작들은 정확히 순서대로 수행하지 않을 수 있다. 반대로, 개별 절차들은 반대 순서 또는 동시에 처리될 수 있다. 동시에, 기타 동작들을 상기 과정들에 추가할 수 있거나, 또는 상기 과정들로부터 하나의 절차 또는 여러개의 절차들을 제거할 수 있다.
도1은 본 개시의 일부 실시예들에 따른 영상처리시스템을 나타내는 도면이다.
상기 영상처리시스템(100)은 영상을 처리하는 데 응용될 수도 있으며, 특히 대량 피사체들과 작은 픽셀들을 구비하는 영상들, 상기 영상들의 원경 및 둘레 변들에 위치하는 피사체들의 가리워짐과 왜곡의 영향을 받는 영상들, 등에 적합할 수 있다. 일부 실시예들에서는, 상기 영상처리시스템(100)은 큰 공간을 가지는 응용영역, 특히 주차영역(예를 들면, 옥외 주차장, 옥내 주차장, 등)에 응용될 수도 있다. 일부 실시예들에서는, 상기 영상처리시스템(100)은 영상 중의 피사체를 식별하는 데 응용될 수도 있다. 일부 실시예들에서는, 상기 영상처리를 통해 식별되는 피사체는 상기 주차영역에 주차된 차량, 주차영역의 비어 있는 주차공간, 등일 수 있다. 일부 실시예들에서는, 상기 영상처리시스템(100)은 실시간으로 주차영역의 차량들의 주차상황을 감시할 수 있으며, 그러므로 상기 주차영역에서 주차공간들의 안내와 관리를 달성한다.
도 1에 표시하는 바와 같이, 상기 영상처리시스템(100)은 처리장치(110), 네트워크(120), 영상획득장치(130), 및 지지막대(140)를 포함할 수 있다.
상기 처리장치(110)는 영상에 관련되는 정보 및/또는 데이터를 처리하도록 구성될 수 있다. 예를 들면, 상기 처리장치(110)는 상기 네트워크(120)를 통해 상기 영상획득장치(130)로부터 영상을 획득할 수 있다. 상기 처리장치(110)는 상기 영상을 분할하고, 분할하여 획득한 복수의 구역들을 식별하고, 상기 복수의 구역들에서 적어도 하나의 피사체를 확정할 수 있다. 상기 처리장치(110)는 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정할 수 있으며, 상기 피사체의 적어도 일부분은 상기 복수의 구역들의 중첩영역에 있다. 상기 처리장치(110)는 분할프레임, 참조영역, 등에 근거하여 상기 영상 중의 상기 복수의 구역들을 확정할 수 있다.
일부 실시예들에서는, 상기 처리장치(110)는 하나 이상의 서브처리장치들(예를 들면, 단일 코어 처리장치 또는 멀티 코어 처리장치)을 포함할 수 있다. 일부 실시예들에서는, 상기 처리장치(110) 또는 상기 처리장치(110)의 일부분은 상기 카메라(130)에 집적될 수 있다.
상기 네트워크(120)는 정보교환을 위한 채널들을 제공할 수 있다. 상기 네트워크(120)는 다양한 네트워크 액세스 포인트들, 예를 들면, 유선 또는 무선 액세스 포인트들, 기지국들, 또는 네트워크 교환점들을 포함할 수 있다. 데이터소스들은 상기 네트워크(120)에 연결되고, 상기 네트워크(120)를 통해 상술한 액세스 포인트들을 경과하여 정보를 전송할 수 있다.
상기 영상획득장치(130)는 영상들 또는 비디오들을 획득하는 기능을 구비하는 전자장치일 수 있다. 일부 실시예들에서는, 상기 영상획득장치(130)는 영상들을 획득하기 위한 카메라를 포함할 수 있다. 예를 들면, 상기 영상획득장치(130)는 파노라마 카메라, 단안 카메라, 다결절 카메라, 또는 회전식 카메라일 수 있다. 상기 영상획득장치(130)는 데이터를 연속적으로 수집하며, 일정한 간격으로 데이터를 수집하거나, 또는 제어명령어들에 근거하여 데이터를 수집할 수 있다. 상기 수집된 데이터는 로컬 스토리지장치에 저장될 수 있거나, 또는 상기 네트워크(120)를 통해 원격 사이트에 전송하여 저장 또는 진일보의 처리를 할 수 있다.
일부 실시예들에서는, 상기 영상획득장치(130)는 상기 지지막대(140)에 장착될 수 있다. 상기 지지막대(140)는 일정한 높이(예를 들면, 10 미터, 15 미터, 등.)를 가지고, 따라서, 상기 영상획득장치(130)는 큰 영역의 영상들을 획득할 수 있다. 상기 지지막대(140)는 상기 영상획득장치(130)가 장착될 수 있는 임의의 막대일 수 있다. 예를 들면, 상기 지지막대(140)는 전봇대, 등을 포함할 수 있다.
일부 실시예들에서는, 상기 처리장치(110)는 획득모듈, 분할모듈, 식별모듈, 및 확정모듈을 포함할 수 있다.
상기 획득모듈은 영상을 획득하도록 구성될 수 있다. 일부 실시예에서, 상기 영상은 카메라에 의해 획득될 수 있으며, 지면으로부터 상기 카메라의 높이는 제1 조건을 만족시킬 수 있다. 일부 실시예들에서는, 상기 영상은 파노라마 영상일 수 있다. 일부 실시예들에서는, 상기 획득모듈은 상기 영상을 전처리할 수 있다.
상기 분할모듈은 상기 영상의 복수의 구역들을 확정하도록 구성될 수 있다. 상기 분할모듈은 상기 영상의 복수의 구역들을 확정하는 경우, 상기 영상에서 각 매칭영역은 상기 복수의 구역들 중의 적어도 하나 내에 전부 에워싸인다. 상기 분할모듈은 다양한 방식으로 상기 복수의 구역들을 확정할 수 있다. 예를 들면, 상기 분할모듈은 참조영역 또는 분할프레임을 통해 상기 복수의 구역들을 확정할 수 있다.
상기 식별모듈은 복수의 구역들, 및 참조영역, 등에서의 적어도 하나의 피사체를 식별하도록 구성될 수 있다. 예를 들면, 상기 식별모듈은 식별모형에 근거하여 적어도 하나의 피사체를 식별할 수 있다. 상기 식별모듈은 상기 식별모형을 통해 하나의 구역에서 피사체의 위치를 획득할 수 있다. 상기 위치는 다양한 방식으로 표현될 수 있다. 예를 들면, 상기 위치는 상기 피사체를 포함하는 타겟 프레임에 의해 표현될 수 있다. 상기 식별모형은 훈련된 기계학습모형일 수 있다. 상기 식별모형은 U-Net 모형, YOLO 모형, 등을 포함할 수 있다.
상기 확정모듈은 상기 영상의 식별결과를 확정하도록 구성될 수 있다. 일부 실시예들에서는, 상기 확정모듈은 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정할 수 있으며, 상기 피사체는 상기 복수의 구역들 중의 하나의 중첩영역 내에 있을 수 있다. 일부 실시예들에서는, 상기 확정모듈은 상기 복수의 구역들 내에서 각 피사체의 병집합 교차점((IOU))에 근거하여 상기 피사체를 확정할 수 있으며, 나아가서 상기 영상의 식별결과를 확정할 수 있다.
상기 처리장치(110)은 훈련모듈을 포함할 수도 있으며, 상기 훈련모듈은 초기모형을 훈련하여 훈련모형을 획득하도록 구성될 수 있다. 예를 들면, 상기 훈련모듈은 초기식별모형을 훈련시켜 상기 식별모형을 획득하도록 구성될 수 있다.
상기 획득모듈, 상기 분할모듈, 상기 식별모듈, 상기 확정모듈, 및 상기 훈련모형의 관련내용에 관하여, 도 2, 도 3, 도 4a, 도 4b, 도 5, 도 6, 도 7, 도 8, 및 도 9를 참조한다.
유의해야 할 것은 후보 디스플레이, 확정 시스템, 및 상기 모듈들에 관한 상술한 설명들은 단지 설명의 편의를 위한 것으로서, 이는 본 개시를 상술한 실시예들의 범위로 한정하지 않는다. 이해해야 할 것은 본 분야의 통상의 기술자들에 있어서, 상기 시스템의 원리를 이해한 후, 상기 원리를 벗어나지 않고 다양한 모듈들을 서로 임의로 조합될 수 있거나, 또는 기타 모듈들에 연결된 서브시스템들을 형성할 수 있다. 일부 실시예들에서는, 상기 획득모듈, 상기 분할모듈, 상기 식별모듈, 및 상기 확정모듈은 하나의 시스템에서의 모듈들과 다를 수 있거나, 또는 하나의 모듈은 상술한 2개 이상의 모듈들의 기능들을 수행할 수 있다. 예를 들면, 각 모듈은 스토리지모듈을 공유할 수 있으며, 각 모듈은 자체의 스토리지모듈을 구비할 수 있다. 이러한 변형들은 전부 본 개시의 범위 내에 있다.
도 2는 본 개시의 일부 실시예들에 따른 영상처리과정을 나타내는 예시적인 흐름도이다. 도 2에 표시하는 바와 같이, 처리(200) 은 아래의 동작들을 포함할 수 있다. 일부 실시예들에서는, 상기 처리(200)은 상기 영상획득장치(140)를 통해 수행될 수 있다. 일부 실시예들에서는, 처리(200)은 도 1에서 나타낸 상기 시스템(100)에서 수행될 수 있다. 예를 들면, 상기 처리(200)는 스토리지장치 및/또는 상기 스토리지(예를 들면, 상기 메모리(1920))에 명령어들의 형식으로 저장될 수 있으며, 상기 처리장치(110)(예를 들면, 도 19에서 나타내는 상기 계산장치(1900)의 상기 프로세서(1910))에 의해 호출되거나 실행된다. 아래에서 설명하는 상술한 처리의 동작들은 설명하기 위한 것이다. 일부 실시예들에서는, 상기 처리(200)는 하나 이상의 추가적인 설명하지 않은 동작들로 달성될 수 있거나, 및/또는 하나 이상의 언급된 동작들이 없이 달성될 수 있다. 추가적으로, 도 2에서 표시하는 바와 같이 상기 처리(200)의 동작들에서의 순서와 아래의 설명은 한정하려는 의도가 아니다.
210에서, 상기 처리장치(110) (예를 들면, 상기 획득모듈)는 지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득할 수 있다.
상기 카메라의 지면으로부터의 높이가 높이 역치를 초과하면, 상기 제1 조건이 만족될 수 있다. 상기 높이 역치는10 미터, 12 미터, 15 미터, 등일 수 있다. 상기 카메라의 지면으로부터의 높이는 실제 장면에 따라 변할 수 있다.
일부 실시예들에서는, 상기 카메라는 일정한 높이의 장치에 장착되어 실제 장면의 영상을 찍을 수 있다. 예를 들면, 상기 카메라는 전봇대에 장착되어 주차장(예를 들면, 옥외 주차장)의 영상을 찍을 수 있다. 상기 전봇대에 장착된 상기 카메라의 옥외 주차장의 지면으로부터의 높이는 10~15미터일 수 있다. 다른 하나의 예로써, 상기 카메라는 전봇대에 장착되어 옥내 또는 옥외 창고의 영상을 찍을 수 있다. 상기 전봇대에 장착된 카메라의 상기 창고의 지면으로부터의 높이는 15~20미터일 수 있다.
상기 카메라에 의해 획득되는 영상은 파노라마 영상일 수 있다. 예를 들면, 상기 영상은 옥외 주차장의 파노라마 영상일 수 있다. 다른 하나의 예로써, 상기 영상은 옥내 창고, 등의 파노라마 영상일 수 있다. 일부 실시예들에서는, 카메라에 포착된 영상들의 수량은 하나 이상일 수 있다.
일부 실시예들에서는, 상기 카메라는 파노라마 카메라일 수 있다. 예를 들면, 상기 카메라는 4 렌즈의 어안 카메라, 등일 수 있다. 상응하게, 상기 카메라로 찍은 영상은 파노라마 영상일 수 있다.
일부 실시예들에서는, 상기 카메라는 비파노라마 카메라일 수 있다. 예를 들면, 상기 카메라는 복수의 단안 카메라들일 수 있으며, 상기 복수의 단안 카메라들은 상이한 위치들에 장착되어 지면상의 상이한 영역들의 영상들을 찍을 수 있다. 상기 획득모듈은 단안 카메라들로 찍은 상이한 영역들의 영상들에 근거하여 지면의 파노라마 영상을 얻을 수 있다.
일부 실시예들에서는, 상기 카메라는 회전식 카메라일 수 있다. 상기 회전식 카메라는 상이한 각도들로 회전하여 영상들을 찍을 수 있다. 상기 획득모듈은 다양한 각도들로부터 회전식 카메라에 포착된 영상들에 근거하여 지면의 파노라마 영상을 얻을 수 있다.
일부 실시예들에서는, 상기 파노라마 영상은 변형될 수 있다. 상기 영상의 중심으로부터 멀리 떨어질 수록, 상기 파노라마 영상의 변형도가 더 클 수 있다. 상기 파노라마 영상의 변형은 대칭될 수 있다. 상기 파노라마 영상은 원격화면부분 및 근거리화면부분을 포함할 수 있다. 원격화면부분은 상기 카메라로부터 비교적 먼 공간의 물리적 영역을 표시하는 상기 파노라마 영상에서의 영역을 가리킬 수 있으며("원격화면"이라고도 부른다), 상기 근거리화면부분은 상기 카메라로부터 가까운 공간의 물리적 구역을 표시하는 상기 파노라마 영상 중의 구역을 가리킬 수 있다("근거리격화면"이라고도 부른다). 파노라마 영상에서, 동일한 크기의 피사체에 있어서, 상기 격화면부에서 픽셀 값들은 근거리화면부분보다 작을 수 있다. 따라서, 상기 파노라마 영상에서, 원격화면부분 중의 피사체들은 상기 근거리화면부분에서의 기타 피사체들에 의해 가려지기 쉬울 수 있다. 예를 들면, 파노라마 영상에서, 원격화면부분에서의 지면 위의 차량들은 근거리화면부분에서의 다른 피사체들(예를 들면, 높은 빌딩들, 나무, 등.)에 의해 가려지기 쉬울 수 있다.
일부 실시예들에서는, 상기 획득모듈은 상기 카메라로부터 정기적으로 영상들을 획득할 수 있다(예를 들면, 사전설정 수량의 프레임들의 간격을 두고). 일부 실시예들에서는, 상기 획득모듈은 상기 카메라로부터 획득한 상기 영상들을 전처리할 수 있다. 예를 들면, 전처리는 해상도 조정, 영상 강화, 자르기, 등을 포함할 수 있다.
일부 실시예들에서는, 상기 획득모듈은 카메라에 의해 획득된 상기 영상을 자를 수 있다. 상술한 바와 같이, 상기 파노라마 영상의 원격화면부분에서 피사체의 픽셀 값들은 작을 수 있으며, 상기 피사체는 다른 피사체들에 의해 쉽게 가려지기 쉬울 수 있다. 상기 획득모듈은 카메라에 의해 획득된 상기 파노라마 영상을 잘라서 상기 원격화면부분을 삭제할 수 있다. 예를 들면, 파노라마 영상 A 는 변a와 변b를 포함한다. 상기 변a는 상기 원격화면부분에 가까울 수 있으며, 상기 변b는 상기 근거리화면부분에 가까울 수 있다. 상기 획득모듈은 상기 변b로부터 멀리 떨어지고 상기 변a로부터 가까운 1/4의 영역을 삭제할 수 있다. 나머지 구역은 상기 영상의 후속처리(예를 들면, 동작220, 등.)를 위한 유효영역으로써 이용될 수 있다.
220에서, 상기 처리장치(110) (예를 들면, 상기 분할모듈)는 상기 영상의 복수의 구역들을 확정할 수 있다.
상기 구역은 상기 영상의 일부분 구역일 수 있다. 구역들의 수량은 하나 이상일 수 있다. 일부 실시예들에서는, 결합된 모든 구역들은 상기 영상의 모든 내용을 포함할 수 있다. 일부 실시예들에서는, 상기 구역은 임의의 형상, 예를 들면, 직사각형, 등일 수 있다.
일부 실시예들에서는, 상기 복수의 구역들 사이에 중첩영역이 있을 수 있다. 여기에서 사용한 상기 복수의 구역들 사이의 상기 중첩영역은 상기 복수의 구역들 중의 적어도 2개 사이의 중첩영역일 수 있다. 상기 중첩영역에 관한 더 많은 설명은 동작 240 및 관련 설명을 참조할 수 있다.
일부 실시예들에서는, 적어도 하나의 매칭영역은 상기 영상 내에 포함될 수 있다. 상기 매칭영역은 피사체와 매칭되게 구성된 영상 내의 영역을 가리킬 수 있다. 일부 실시예들에서는, 상기 매칭영역은 상기 피사체를 포함할 수 있는 임의의 형상의(예를 들면, 행렬) 바운딩 박스(bounding box) 일 수 있다. 상기 바운딩 박스는 상기 피사체를 배치하기 위한 사전설정 프레임일 수 있다. 예를 들면, 상기 영상은 주차장의 영상일 수 있으며, 상기 피사체는 차량일 수 있으며, 따라서 상기 매칭영역은 상기 주차공간들(가려진 주차공간들과 비어 있는 주차공간들을 포함하는)일 수 있다. 다른 하나의 예로써, 상기 영상은 창고의 영상일 수 있으며, 상기 피사체는 상품 또는 선반일 수 있으며, 따라서 상기 매칭영역은 상기 상품들의 선반 공간들 또는 선반일 수 있다. 상기 매칭영역은 회전, 줌(zooming)(예를 들면, 축소), 및/또는 상기 주차공간들 또는 상기 선반 공간들을 합병함으로써 획득하는 영역일 수도 있다. 상기 바운딩 박스는 상기 피사체의 윤곽선에 근거하여 확정하는 프레임일 수 있다. 예를 들면, 상기 바운딩 박스는 상기 식별모형에 의해 출력되는 타겟 위치를 식별하는 타겟 프레임일 수 있다. 상기 식별모형과 상기 타겟 프레임을 위한 동작 230을 참조한다.
상기 분할모듈이 상기 영상의 복수의 구역들을 확정하는 경우, 상기 복수의 구역들은 하나의 조건을 만족시킬 수 잇다("제5 조건"라고도 부른다). 일부 실시예들에서는, 상기 제5 조건은 상기 영상 중의 각 매칭영역이 상기 복수의 구역들 중의 적어도 하나에 포함되는 것일 수 있다. 이해해야 할 것은 하나의 구역에 포함되는 매칭영역은 상기 영상에서의 상기 매칭영역이 하나의 구역 내에 완전히 에워싸여 있는 것을 가리키며, 상기 구역의 변에 의해 분할되지 않는다. 상술한 바와 같이, 상기 복수의 구역들 사이에는 중첩영역이 존재할 수 있으며, 따라서 일부 매칭영역들은 하나 이상의 구역에 에워싸일 수 있다.
상기 분할모듈은 상기 영상을 다양한 방식으로 분할하여 상기 복수의 구역들을 얻을 수 있다. 예를 들면, 상기 분할모듈은 사용자 단말기로부터 상기 사용자의 입력을 획득함으로써, 사용자의 입력에 근거하여 상기 영상을 분할할 수 있다. 다른 하나의 예로써, 상기 분할모듈은 참조영역 또는 분할프레임을 통해 상기 복수의 구역들을 확정할 수 있다. 상기 복수의 구역들의 확정에 관한 더 많은 설명은 본 개시의 다른 부분(예를 들면, 도 3, 도 4, 도 5, 및 그 관련 설명들)에서 찾을 수 있다.
일부 실시예들에서는, 상기 분할모듈은 상기 확정된 복수의 구역들을 평가하여 상기 분할이 합당한지 여부를 확정할 수 있다. 상기 분할이 합당한지 여부는 상기 영상 중의 각 매칭영역이 완전히 하나의 구역에 에워싸였는지 여부를 가리킬 수 있다. 상기 분할이 합당하지 않으면, 상기 분할모듈은 재분할하거나 또는 상기 사용자에게 피드백하여 재분할할 수 있다.
일부 실시예들에서는, 상기 분할이 합당한지 여부의 평가는 평가모형을 통해 달성될 수 있다. 상기 평가모형은 DNN, CNN, 등일 수 있다. 예를 들면, 분할을 통해 획득한 상기 복수의 구역들을 상기 평가모형에 입력하고, 상기 평가모형이 상기 분할이 합당한지 여부의 평가를 출력할 수 있다.
230에서, 상기 처리장치(110)(예를 들면, 상기 식별모듈)은 상기 복수의 구역들 중의 적어도 하나의 피사체를 식별할 수 있다.
상기 피사체는 상기 영상에서 식별할 필요가 있는 피사체일 수 있다. 상기 피사체는 본 출원의 장면에 따라 변할 수 있다. 예를 들면, 상기 획득된 영상이 주차영역인 경우, 상기 피사체는 주차된 차량(예를 들면, 주차공간에 주차된 차량)일 수 있다. 다른 하나의 예로써, 상기 획득된 영상이 창고인 경우, 상기 피사체는 상품들(예를 들면, 상기 선반 공간들에 배치되는 사품들)일 수 있다.
일부 실시예들에서는, 각 구역에 있어서, 상기 식별모듈은 상기 구역에서 상기 피사체의 위치를 식별할 수 있다. 상기 위치는 다양한 방식으로 표현될 수 있다. 예를 들면, 상기 위치는 상기 피사체를 포함하는 타겟 프레임(또는 바운딩 박스)으로 표현될 수 있다. 다른 하나의 예로써, 상기 위치는 상기 피사체의 중심점으로 표현될 수 있다.
상기 식별모듈은 상기 복수의 구역들에서 다양한 방식으로 상기 적어도 하나의 피사체를 식별할 수 있다. 일부 실시예들에서는, 상기 식별모듈은 식별모형에 근거하여 상기 복수의 구역들에서 상기 적어도 하나의 피사체를 식별할 수 있다.
상기 식별모형은 훈련된 기계학습모형일 수 있다. 상기 기계학습모형은 U-Net 모형, YOLO 모형, 등을 포함할 수 있다.
상기 식별모형은 상기 복수의 구역들 중의 각 구역에서 피사체를 각각 식별할 수 있다. 상기 복수의 구역들 중의 하나에 있어서, 상기 식별모형의 입력은 상기 영상 중의 상기 구역의 일부분일 수 있다. 일부 실시예들에서는, 상기 영상에서 상기 구역의 일부분은 상기 영상을 잘라서 얻을 수 있다. 상기 영상에서 상기 구역 부분은 상기 영상 중의 상기 구역을 제외한 다른 부분들을 마스킹하여 얻을 수 있다.
YOLO 모형을 예로 들면, 상기 복수의 구역들 중의 하나에 있어서, 상기 영상 중의 상기 구역은 상기 YOLOO 모형에 입력할 수 있으며, 상기 YOLOO 모형은 상기 복수의 구역들에서 상기 피사체의 픽셀들에 대응되는 영역을 출력할 수 있다.
일부 실시예들에서는, 상기 훈련모듈은 훈련 데이터에 근거하여 초기식별모형을 훈련시켜 상기 식별모형을 획득할 수 있다. 주차장 장면을 예로 들면, 상기 훈련 데이터는 복수의 주차장들의 샘플 영상들을 포함할 수 있으며, 상기 샘플 영상들에 대응되는 라벨들은 상기 샘플 영상들 중의 차량들의 위치들일 수 있다. 상기 샘플 영상들은 지면으로부터 6 미터, 12 미터, 및 20 미터의 높이의 카메라들에 의해 수집될 수 있다.
일부 실시예들에서는, 각 구역에 있어서, 상기 식별모듈이 상기 구역 중의 피사체를 식별하는 것은, 상기 구역 중의 식별프레임을 획득하고, 상기 식별프레임에 근거하여 상기 구역 내의 상기 피사체를 확정하는 것을 포함한다. 상기 식별프레임과 상기 피사체 사이에는 상응한 관계가 있을 수 있으며, 예를 들면, 일대일 대응관계가 있을 수 있다. 상기 식별프레임은 상기 피사체 또는 상기 피사체의 유형이 상기 구역 내에 포함되는지 여부를 확정할 때 이용될 수 있다. 예를 들면, 상기 식별모형은 상기 식별프레임을 처리함으로써 상기 피사체가 상기 구역 내에 포함되는지 여부를 확정할 수 있다.
일부 실시예들에서는, 상기 식별모듈은 상기 식별프레임을 수정하며, 수정한 후 상기 피사체를 식별할 수 있다. 예를 들면, 상기 식별모형은 상기 복수의 구역들을 처리하여 상기 식별프레임을 획득하고 출력할 수 있다. 상기 식별모듈은 상기 식별프레임을 수정하고, 상기 수정한 식별프레임을 상기 식별모형에 입력하여 상기 복수의 구역들 중의 상기 피사체를 식별할 수 있다. 상기 식별프레임의 수정에 관한 더 많은 설명은, 도7 및 관련 설명에서 찾을 수 있다.
240에서, 상기 처리장치(110)(예를 들면, 상기 확정모듈)는 상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정할 수 있고, 상기 피사체는 상기 복수의 구역들 중의 중첩영역 내에 있을 수 있다.
상기 중첩영역 내의 피사체는 상기 피사체의 적어도 일부분이 상기 중첩영역 내에 나타나는 것을 가리킬 수 있으며, 상기 중첩영역은 상기 피사체의 내용의 전부 또는 일부분을 포함한다.
상기 중첩영역은 상기 복수의 구역들 중의 하나 이상의 구역 내에 나타나는 상기 영상 내의 영역일 수 있다. 피사체가 하나 이상의 구역 내에 나타나는 경우, 상기 피사체는 상응하게 하나 이상의 구역 중의 상기 중첩영역 내에 나타난다. 일부 실시예들에서는, 상기 중첩영역은 2개의 구역들 사이, 또는 2개 이상의 구역들 사이의 중첩부일 수 있다.
상기 영상의 식별결과는 상기 영상 중의 상기 피사체의 식별과 상기 피사체의 위치를 가리킬 수 있다. 상기 피사체의 위치의 표시에 관한 더 많은 설명은 본 개시의 다른 부분에서 찾을 수 있다.
일부 실시예들에서는, 상기 확정모듈은 상기 복수의 구역들에서 각 피사체의 병집합 교차점(IOU)에 근거하여 상기 복수의 구역들의 중첩영역에서 피사체를 확정할 수 있으며, 나아가서 상기 영상의 식별결과를 더 확정할 수 있다. 상기 영상의 식별결과를 확정하는 관련 내용에 관하여, 도 6 및 관련 설명을 참조할 수 있다.
일부 실시예들에서는, 상기 피사체는 차량일 수 있으며, 상기 카메라로 찍은 상기 영상은 주차영역, 예를 들면, 옥내 주차장, 옥외 주차장, 길가의 주차공간들, 등을 포함할 수 있다. 일부 실시예들에서는, 상기 식별모듈은 상기 영상의 식별결과에 근거하여 주차영역 중의 비어 있는 주차공간을 확정할 수 있다. 예를 들면, 상기 식별모듈은 스토리지장치로부터 주차영역 내에 있는 주차공간들의 분포맵을 얻으며, 주차공간들의 분포맵을 상기 영상 중의 차량들의 위치들과 비교하여 차량이 비어 있는 주차공간이 있는지 여부를 확정할 수 있다. 다른 영역들의 비어 있는 공간들(예를 들면, 창고에서 비어 있는 선반 공간)은 유사한 방식으로 확정될 수도 있다.
상술한 바와 같이, 상기 영상은 파노라마 영상을 포함할 수 있으며, 상기 파노라마 영상은 변형될 수 있다. 상기 파노라마 영상을 분할하고 분할 후 얻은 상기 구역들을 식별함으로써, 식별의 정확도를 향상시킬 수 있고, 상기 식별모형이 전체 파노라마 영상에 대해 식별을 시도하는 경우, 불정확한 식별의 문제(예를 들면, 대량의 피사체들에 의한 문제들, 작은 픽셀들, 및 상기 파노라마 영상에서 가리워짐 및 왜곡)를 피할 수 있다. 또한, 상기 복수의 구역들을 확정하는 경우, 상기 파노라마 영상에서 각 매칭영역이 완전히 하나의 구역 내에 에워싸임을 확보함으로써 식별의 정확도를 더 확보할 수 있다.
상기 영상에서의 상기 피사체의 식별결과를 확정할 때 상기 중첩영역 내의 피사체를 고려함으로써, 상기 동일한 피사체는 2개의 피사체들로 오인되는 것을 방지할 수 있고, 따라서 상기 식별 정확도가 더 개선될 수 있다.
상기 파노라마 영상이 주차장인 장면을 예로 들면, 상기 매칭영역은 복수의 주차공간들의 조합된 영상영역으로 구성되어 복수의 주차공간들이 불법 주차로 인해 하나의 차량에 의해 점해지는 상황을 처리할 수 있으며, 따라서 비어 있는 주차공간들의 확정의 정확도를 개선한다.
도 3은 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 예시적인 흐름도이다. 도 3에 표시하는 바와 같이, 처리 300 은 아래의 동작들을 포함할 수 있다. 일부 실시예들에서는, 처리 300은 도 1에 나타내는 시스템(100)에서 실행될 수 있다. 예를 들면, 상기 처리 300은 명령어의 형식으로 스토리지장치 및/또는 상기 스토리지(예를 들면, 상기 메모리(1920))에 저장될 수 있으며, 상기 처리장치(110)(예를 들면, 도19에서의 상기 계산장치(1900)의 상기 프로세서(1910))에 의해 호출 및/또는 실행될 수 있다. 아래에서 기술하는 상술한 처리의 동작들은 설명을 위한 것이다. 일부 실시예들에서는, 상기 처리 300은 설명하지 않은 하나 이상의 추가적인 동작들에 의해 구현되거나, 및/또는 하나 이상의 상기 토론한 동작들이 없이 구현될 수 있다. 추가적으로, 도 3의 묘사 및 아래의 설명에서와 같이, 상기 처리 300의 동작들의 순서는 한정을 의도로 하지 않는다. 일부 실시예들에서는, 도 2에서의 동작 220은 도 3에서 묘사된 처리 300에 따라 수행될 수 있다.
310에서, 상기 처리장치(110)(예를 들면, 상기 분할모듈)는 상기 영상의 참조영역을 확정할 수 있으며, 상기 참조영역의 변형도는 제2 조건을 만족시킬 수 있다.
일부 실시예들에서는, 참조영역들의 수량은 하나 이상일 수 있다. 일부 실시예들에서는, 상기 참조영역은 임의의 형상, 예를 들면, 직사각형, 원형, 등일 수 있다.
상기 참조영역의 변형도는 상기 참조영역에서 상기 영상의 실제 장면에 상대적인 변형정도일 수 있다. 어떤 경우에는, 상기 카메라의 영상 특성들(예를 들면, 다중렌즈 카메라로 파노라마 영상을 찍는다)에 의해, 상기 영상은 변형될 수 있다. 예를 들면, 실제 장면에서 곧은 영역은 상기 파노라마 영상에서는 구불어진 영역일 수 있다.
상기 제2 조건은 역치(예를 들면, 상기 역치는 60%, 50%, 등일 수 있다.)보다 작은 상기 영상에서 상기 참조영역의 변형도일 수 있다. 일부 실시예들에서는, 상기 제2 조건에서 상기 변형도의 역치는 실제 응용장면들에 근거하여 조절될 수 있다. 예를 들면, 상기 카메라의 지면으로부터의 높이는 상기 제2 조건에 영향을 줄 수 있다. 상기 거리가 멀수록 상기 제2 조건에서의 역치는 더 클 수 있다.
상기 영상 중의 하나의 영역의 변형도는 다양한 방식으로 확정될 수 있다. 예를 들면, 상기 분할모듈은 상기 영상에서의 상기 영역 중의 피사체의 실제 장면에 상대적인 변형 정도에 근거하여 상기 변형도를 확정할 수 있다. 예를 들면, 상기 영상에서 영역 A에 대하여, 상기 영역 A는 하나의 피사체를 포함할 수 있으며, 상기 피사체의 윤곽선은 상기 영상에서 구불어질 수 있다. 그러나 상기 파사체의 윤곽선은 실제는 곧다. 상기 분할모듈은 상기 윤곽선의 곡도에 근거하여 상기 변형도를 확정할 수 있다. 상기 곡도가 클수록, 변형도가 더 크다.
일부 실시예들에서는, 상기 분할모듈은 다양한 방식으로 상기 영상의 참조영역을 확정할 수 있다. 예를 들면, 상기 분할모듈은 상기 영상에서 상이한 후보 영역들의 변형도를 확정하고, 상기 후보 영역들의 변형도와 상기 제2 조건에 근거하여 상기 참조영역을 확정할 수 있다. 상기 제2 조건을 만족시키는 변형도를 가지는 상기 후보 영역들 중 하나를 상기 참조영역으로 확정할 수 있다. 다른 하나의 예로써, 상기 분할모듈은 기준선에 근거하여 상기 참조영역을 확정할 수 있고, 상기 기준선에 근거하여 상기 참조영역을 확정하는 데 관한 더 많은 설명은 아래의 설명들을 참조할 수 있다.
일부 실시예들에서는, 상기 참조영역은 매칭영역 또는 복수의 매칭영역들의 조합영역일 수 있다.
상기 영상, 상기 복수의 구역들, 상기 참조영역, 및 상기 매칭영역은 전부 복수의 변들을 포함할 수 있다. 일부 실시예들에서는, 상기 분할모듈은 상기 동일한 2차원 좌표계(예를 들면, 도4a, 4a, 5, 및7에서의 2차원좌표계)에서 상기 영상, 상기 복수의 구역들, 상기 참조영역, 및 상기 매칭영역의 각 변의 좌표를 얻을 수 있다. 예를 들면, 상기 영상의 어떤 코너는 상기 좌표계(도 4a에 표시하는 점 o, 등.)의 원점으로써 이용될 수 있으며, 상기 영상은 상기 좌표계의 제1 사분면에 위치할 수 있다. 상기 영상의 길이에 대응되는 2개의 변들(예를 들면, 상기 영상의 제1 변과 상기 영상의 제2 변)은 상기 좌표계의 수평축(도4a에 표시하는 x 축)과 평행될 수 있다. 상기 영상의 상기 제2 변과 비교하여, 상기 영상의 상기 제1 변은 상기 영상의 근거리화면부분 및 상기 좌표계의 원점에 더 가까울 수 있다. 상기 영상의 폭에 대응되는 상기 2개의 변들(예를 들면, 상기 영상의 제3 변과 상기 영상의 제4 변)은 상기 좌표계의 수직축(도XX에 표시하는 y 축)과 평행될 수 있다. 상기 영상의 상기 제4 변과 비교하여, 상기 영상의 상기 제3 변은 상기 좌표계의 원점에 더 가까울 수 있다. 유사한 방식으로, 상기 분할모듈은 상기 복수의 구역들, 상기 참조영역, 및 상기 매칭영역 중의 각자의 상기 제1 변, 상기 제2 변, 상기 제3 변, 및 상기 제4 변을 확정할 수 있다.
일부 실시예들에서는, 상기 분할모듈은 상기 영상의 상기 기준선을 얻고, 상기 기준선과 교차하는 상기 영상의 변을 상기 참조영역의 변으로 지정하고, 상기 영상의 지름 대 폭의 픽셀비에 근거하여, 상기 기준선의 양측에서 상기 참조영역의 2개의 부분들의 면적비를 확정할 수 있다. 상기 참조영역의 지름과 폭은 사전설정 픽셀 값들일 수 있다.
일부 실시예들에서는, 상기 분할모듈은 상기 기준선과 교차되고 상기 근거리화면부분에 가까운 상기 영상의 변을 상기 참조영역의 변으로 지정할 수 있다. 예를 들면, 상기 분할모듈은 상기 영상의 상기 제1 변을 상기 참조영역의 변으로 할 수 있다.
상기 기준선은 상기 영상을 관통하는 선을 가리킬 수 있다. 일부 실시예들에서는, 상기 기준선은 상기 영상의 중심선일 수 있다. 예를 들면, 대칭 변형을 가지는 파노라마 영상에 관하여, 상기 중심선이 상기 기준선으로써 사용되는 경우, 상기 기준선의 양측에서 상기 영상의 변형도는 대칭적으로 분포될 수 있다.
일부 실시예들에서는, 상기 기준선은 피사체(예를 들면, 차량, 등.)를 관통하지 않을 수 있다. 상기 영상의 기준선이 피사체를 관통하는 경우, 상기 분할모듈은 상기 기준선을 이동시킬 수 있으며, 상기 피사체는 상기 기준선에 의해 분할되지 않을 수 있다. 예를 들면, 상기 분할모듈은 상기 기준선을 상기 피사체와 상기 피사체에 인접되는 다른 하나의 피사체 사이의 영역으로 이동시킬 수 있다.
일부 실시예들에서는, 상기 참조영역의 크기는 사전설정된 고정된 크기일 수 있다. 상기 참조영역의 크기는 상기 영상의 크기에 따라 적당하게 조절될 수 있다. 상기 참조영역의 크기는 상기 식별모형의 파라미터들과 관련될 수 있다. 예를 들면, 상기 참조영역의 길이의 사전설정된 픽셀 값은 1920px일 수 있으며, 상기 폭의 사전설정된 픽셀 값은 1080px일 수 있다.
일부 실시예들에서는, 복수의 참조영역들이 있는 경우, 상기 분할모듈은 복수의 참조영역들을 병합하고, 상기 병합영역에 근거하여 후속 동작들(예를 들면, 동작 320, 등.)을 통해 상기 복수의 구역들을 확정할 수 있다.
일부 실시예들에서는, 복수의 참조영역들이 있는 경우, 상기 참조영역들은 상기 복수의 구역들과 상응한 관계를 가질 수 있다. 예를 들면, 상기 참조영역들은 상기 기준선의 일측의 구역을 확정하도록 구성되는 제1 참조영역, 상기 기준선의 다른 측의 다른 하나의 구역을 확정하도록 구성되는 제2 참조영역을 포함할 수 있다.
일부 실시예들에서는, 상기 기준선의 양측에서 상기 참조영역의 2개의 부분들의 면적비는 상기 영상의 지름 대 폭의 픽셀비, 상기 참조영역의 유형(예를 들면, 제1 참조영역과 제2 참조영역) , 등과 관련될 수 있다. 예를 들면, 상기 영상의 길이 대 폭의 픽셀비는 f일 수 있으며, 상기 기준선은 상술한 수직축과 평행될 수 있다. 상기 제1 참조영역은 상기 기준선의 왼쪽에 대응될 수 있으며, 따라서 상기 제1 참조영역의 왼쪽 부분 대 상기 제1 참조영역의 오른쪽 부분의 면적비는 f일 수 있다. 상기 제2 참조영역은 상기 기준선의 오른쪽에 대응될 수 있으며, 그러므로 상기 제2 참조영역의 오른쪽 부분 대 상기 제2 참조영역의 왼쪽 부분의 면적비는 f일 수 있다.
상기 기준선에 근거하여 상기 참조영역을 확정하는 데에 관한 더 많은 설명은 도 4b 및 관련 설명에서 찾을 수 있다.
320에서, 상기 처리장치(110)(예를 들면, 상기 분할모듈)는 상기 참조영역에 근거하여 상기 복수의 구역들을 확정할 수 있다.
일부 실시예들에서는, 상기 영상에서 상기 복수의 구역들의 특정된 위치들은 직접 상기 참조영역에 근거하여 확정될 수 있다. 예를 들면, 상기 참조영역의 변들은 상기 복수의 구역들의 변들로 지정될 수 있다. 예를 들면, 참조영역이 하나의 영상에 포함되면, 상기 참조영역의 복수의 변들과 상기 영상의 복수의 변들은 조합되어 상이한 영역들의 변들을 확정할 수 있으며, 따라서, 상기 복수의 구역들 사이에 중첩영역이 존재하며, 상기 중첩영역은 상기 참조영역일 수 있다.
일부 실시예들에서는, 상기 영상에서 상기 복수의 구역들의 특정된 위치들은 상기 참조영역에 포함되는 상기 참조영역 및 참조피사체에 근거하여 확정될 수 있다 .
일부 실시예들에서는, 상기 복수의 구역들은 제1 구역과 제2 구역을 포함할 수 있다. 상기 조의 구역들에서 상기 제1 구역과 상기 제2 구역 사이에는 수직 위치관계가 있을 수 있다(예를 들면, 하나가 다른 하나의 상부에 있다). 상기 제1 구역과 상기 제2 구역은 상기 영상의 수직방향을 따라 배치될 수 있다.
상술한 바와 같이, 상기 복수의 구역들은 상기 기준선의 양측과 관련될 수 있다. 일부 실시예들에서는, 상기 기준선의 각 측은 각각 한 조의 구역들을 포함할 수 있다.
일부 실시예들에서는, 동작 230에서 피사체 식별의 관련설명에 관하여, 상기 분할모듈은 상기 참조영역에서 하나 이상의 참조피사체들을 식별할 수 있다. 상기 분할모듈은 상기 참조영역에서 하나 이상의 참조피사체들로부터 제3 조건을 만족시키는 타겟 참조피사체를 확정할 수 있다. 상기 분할모듈은 상기 타겟 참조피사체에 대응되는 참조매칭영역의 변에 근거하여 상기 영상에서 상기 제1 구역의 변을 확정하고, 상기 참조영역의 변에 근거하여 상기 영상에서 상기 제2 구역의 변을 확정하고, 상기 영상에서의 상기 제1 구역의 변과 상기 제2 구역의 변에 근거하여 상기 조의 구역들을 확정할 수 있다.
상기 타겟 참조피사체는 상기 복수의 구역들을 확정하는 데 이용되는 참조피사체일 수 있다. 상기 타겟 참조피사체는 하나 이상일 수 있다.
일부 실시예들에서는, 상기 제3 조건은 참조피사체가 위치하는 각 영역의 변형도와 관련될 수 있다. 예를 들면, 상기 제3 조건은 상기 참조피사체의 변형도가 사전설정 역치 범위(예를 들면, 50%-55%, 등.) 내에 있는 것일 수 있다. 상기 사전설정 역치 범위는 상기 전체 영상의 변형도와 관련될 수 있다. 예를 들면, 상기 사전설정 역치 범위는 상기 영상의 평균 변형도에 근거하여 확정될 수 있다.
일부 실시예들에서는, 상기 제3 조건은 상기 참조영역에서 하나 이상의 참조피사체들 중의 각 참조피사체의 위치와 관련될 수 있다. 예를 들면, 상기 제3 조건은 상기 참조피사체와 상기 참조영역의 변 사이의 거리가 역치보다 작은 것일 수 있다. 다른 하나의 예로써, 상기 제3 조건은 처음 n개의 참조피사체들이 상기 참조피사체와 상기 참조영역의 변 사이의 거리가 짧은 것으로부터 긴 것으로의 순위가 정해진 것일 수 있으며, n는 0보다 크다.
동작 310에서 검토하는 예를 계속하여 설명하면, 상기 분할모듈이 상기 영상의 상기 제1 변을 상기 참조영역의 상기 제1 변으로 사용하면, 상기 제3 조건은 상기 참조피사체와 상기 참조영역의 상기 제2 변 사이의 거리가 역치보다 작은 것일 수 있다.
상술한 바와 같이, 상기 분할모듈은 상기 기준선에 근거하여 상기 제1 참조영역과 상기 제2 참조영역을 확정할 수 있다. 일부 실시예들에서는, 상기 제3 조건은 상기 참조영역의 유형과 관련될 수 있다. 계속하여 동작 310에서 검토하는 예를 설명하면, 상기 제1 참조영역이 상기 기준선의 왼쪽과 대응되는 경우, 상기 제3 조건은 상기 참조피사체와 상기 제1 참조영역의 왼쪽 위 코너에 대응되는 변(예를 들면, 상기 제2 변과 상기 제3 변) 사이의 거리가 역치보다 작은 것일 수 있다.
일부 실시예들에서는, 상기 제3 조건은 상기 참조영역에서 적어도 하나의 참조피사체의 위치 및 식별 신뢰수준과 관련될 수 있다. 예를 들면, 상기 제3 조건은 참조피사체가 상기 참조영역의 변으로부터의 거리가 역치보다 작은 상기 참조피사체들 중의 최대 식별 신뢰수준을 가지는 것일 수 있다.
동작 230에서 피사체 식별의 관련설명에 관하여, 상기 식별모형은 상기 참조영역을 처리함으로써 상기 참조영역에서의 상기 참조피사체의 위치와 식별 신뢰수준을 얻을 수 있다. 상기 식별 신뢰수준은 상기 참조피사체가 상기 획득하는 위치에 있는 확률을 가리킬 수 있다. 일부 실시예들에서는, 상기 식별 신뢰수준은 상기 참조피사체가 상기 참조영역에서 완전히 나타나는지 여부와 관련될 수 있다. 예를 들면, 완전한 수준이 낮을 수록, 상기 식별 신뢰수준이 더 낮을 수 있다.
일부 실시예들에서는, 상기 분할모듈이 상기 제3 조건에 근거하여 복수의 타겟 참조피사체들을 확정하는 경우, 상기 분할모듈은 복수의 타겟 참조피사체들 중의 하나를 선택하여 상기 구역을 확정하거나, 또는 복수의 타겟 참조피사체들을 병합하고 상기 병합결과에 근거하여 상기 구역을 확정하거나, 또는 다른 방식들로 진행할 수 있다.
일부 실시예들에서는, 상기 참조영역이 타겟 참조피사체를 포함하지 않는 경우, 상기 복수의 구역들은 상기 참조영역의 변에 근거하여 직접 확정될 수 있다.
일부 실시예들에서는, 상기 분할모듈이 상기 참조매칭영역에 근거하여 상기 제1 구역을 확정하는 경우, 상기 참조매칭영역은 상기 구역에 완전히 에워싸일 수 있다. 일부 실시예들에서는, 상기 분할모듈은 상기 참조매칭영역의 변을 상기 제1 구역의 변으로 지정하고 상기 동일한 변들의 유형들을 유지할 수 있다. 예를 들면, 상기 참조매칭영역의 상기 제1 변을 상기 제1 구역의 상기 제1 변으로 지정할 수 있다. 유사하게, 상기 분할모듈은 상기 참조영역의 변을 상기 제2 구역의 변으로 지정하고 상기 동일한 변들의 유형을 유지할 수 있다. 예를 들면, 상기 참조영역의 상기 제2 변을 상기 제2 구역의 상기 제2 변으로 지정할 수 있다.
일부 실시예들에서는, 상기 분할모듈이 상기 참조매칭영역에 근거하여 상기 제1 구역의 변을 확정하고 상기 참조영역에 근거하여 상기 제2 구역의 변을 확정하는 경우, 상기 참조영역에서 상기 타겟 참조피사체의 위치를 고려할 수 있다. 예를 들면, 상술한 좌표계를 예로 들면, 상기 타겟 참조피사체가 상기 참조영역의 상기 제2 변에 가까우면, 상기 참조매칭영역의 상기 제1 변을 상기 제1 구역의 상기 제1 변으로 지정하고, 상기 참조영역의 상기 제2 변을 상기 제2 구역의 상기 제2 변으로 지정할 수 있다. 상기 타겟 참조피사체가 기타 위치들에 위치하는 경우, 상기 분할모듈은 상기 참조영역의 상기 제2 변에 가까운 상기 타겟 참조피사체와 유사한 방법을 적용할 수 있다.
일부 실시예들에서는, 상기 분할모듈은 상기 영상의 변 및/또는 상기 참조영역의 변에 근거하여 상기 복수의 구역들의 기타 변들을 확정할 수 있다. 예를 들면, 상기 방식으로 상기 제1 구역의 제1 변과 상기 제2 구역의 상기 제2 변을 확정한 후, 상기 제1 구역과 상기 제2 구역의 기타 변들은 상기 영상 또는 참조영역의 제3 변 또는 제4 변에 근거하여 확정될 수 있다.
일부 실시예들에서는, 한 구역의 2개의 평행되는 변들 사이의 거리는 사전설정된 역치일 수 있다.
상술한 바와 같이, 상기 참조영역은 상기 기준선에 근거하여 확정될 수 있다. 일부 실시예들에서는, 상기 분할모듈은 상기 기준선에 근거하여 한 구역의 변을 확정할 수 있다. 예를 들면, 상술한 좌표계에서, 상기 분할모듈은 기준선을 상기 구역의 상기 제3 변 또는 상기 제4 변 양자로 이용하며, 이는 상기 기준선에 상대적인 상기 구역의 위치에 근거하여 상응하게 확정될 수 있다.
상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 데에 관한 더 많은 설명은 도 4a와 도 4b에서 찾을 수 있다.
도 4a는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 도면이다.
도 4a에 표시하는 바와 같이, 좌표계에서, 상기 분할모듈은 파노라마 영상(400)을 분할하여 참조영역(402)을 얻을 수 있다. 상기 식별모듈은 상기 참조영역(402)을 식별할 수 있다. 상기 분할모듈이 제1 구역(405)과 제2 구역(403)을 확정할 때, 상기 참조영역(402)에서의 타겟 참조피사체(401)는 상기 제3 조건에 근거하여 확정될 수 있다. 상기 타겟 참조피사체(401)는 상기 참조영역(402)의 왼쪽 위 코너에 가까울 수 있다. 즉, 상기 참조영역(402)의 왼쪽 위 코너에 대응되는 상기 제2 변(예를 들면, 상기 상변) 및 상기 제3 변(예를 들면, 상기 좌변)까지의 거리의 양자는 역치보다 작다. 상기 타겟 참조피사체(401)는 상기 참조영역(402) 내에 완전히 에워싸일 수 있으며, 상기 신뢰수준도 높을 수 있다. 상기 타겟 참조피사체(401)는 참조매칭영역(404)에 대응될 수 있다.
상기 분할모듈은 상기 참조매칭영역(404)의 상기 제1 변(예를 들면, 하변)을 상기 제1 구역(405)의 상기 제1 변(예를 들면, 하변)으로 하고, 상기 제1 변까지 1080px의 픽셀거리의 변을 상기 제1 구역의 상기 제2 변(예를 들면, 상기 상변)으로 할 수 있다. 상기 분할모듈은 상기 참조영역(402)의 상기 제2 변(예를 들면, 상기 상변)을 상기 제2 구역(403)의 상기 제2 변(예를 들면, 상기 상변)으로 할 수 있으며, 상기 참조영역(402)의 상기 제1 변(예를 들면, 상기 하변)을 상기 제2 구역(403)의 상기 제1 변(예를 들면, 상기 하변)으로 한다. 상기 분할모듈은 상기 참조영역(402)의 상기 제4 변(예를 들면, 우변)을 상기 제1 구역(405)과 상기 제2 구역(403) 양자의 상기 제4 변(예를 들면,우변)으로 하고, 상기 영상의 상기 제3 변(예를 들면, 좌변)을 상기 제1 구역(405)과 상기 제2 구역(403)의 양자의 상기 제3 변(예를 들면, 좌변)으로 한다.
도 4b는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 다른 하나의 도면이다.
도 4b에 표시하는 바와 같이, 도면 좌표계에서, 상기 식별모듈은 상술한 방법에 근거하여 상기 참조영역(412)을 확정할 수 있다. 상기 기준선의 좌우측에서 상기 참조영역(412)의 2개의 부분들의 면적비는 상기 영상의 지름 대 폭의 픽셀비일 수 있다. 상기 참조영역(412)은 상기 기준선(411)의 좌우측에서 상기 제1 구역(413)과 상기 제2 구역(414)을 확정하는 데 이용될 수 있다.
상기 식별모듈은 상기 참조영역(412)으로부터 타겟 참조피사체(415) 및 상기 타겟 참조피사체(415)에 대응되는 참조매칭영역(416)을 확정할 수 있으며, 상기 타겟 참조피사체(415)의 확정은 도 4a와 유사하다. 상기 분할모듈은 도 4a에 표시하는 바와 유사한 방식으로 상기 제1 구역(413)과 상기 제2 구역(414)의 상기 제1 변, 상기 제2 변, 및 상기 제3 변을 확정할 수 있다. 상기 분할모듈은 상기 기준선(411)을 상기 제1 구역(413)과 상기 제2 구역(414)의 상기 제4 변(예를 들면,오른쪽 변)으로 할 수 있다.
일부 실시예들에서는, 상기 분할모듈은 분할프레임을 상기 영상에서 복수의 걸음을 이동시킴으로써 상기 복수의 구역들을 확정한다. 일부 실시예들에서는, 상기 분할모듈은 상기 분할프레임을 사전설정 이동거리들 및 이동방향들에 따라 복수의 걸음 이동시키고, 각 보폭 사이의 상기 분할프레임의 정지위치들에서 상기 분할프레임 내의 영역들을 상기 복수의 구역들로 할 수 있다.
일부 실시예들에서는, 상기 분할프레임의 크기는 사전설정된 고정크기일 수 있다. 상기 분할프레임의 크기는 상기 영상 크기에 근거하여 적응되게 조절될 수 있다.
일부 실시예들에서는, 상기 분할모듈은 상기 복수의 걸음 중의 각 걸음의 이동거리를 확정할 수 있다. 구체적으로, 상기 분할모듈은 이력구역 중의 타겟 이력피사체에 근거하여 상기 걸음의 이동거리를 확정할 수 있다. 상기 이력구역은 상기 현재 분할프레임의 위치에 의해 확정되는 구역일 수 있다. 다시 말하면, 상기 이력구역은 이동 중의 현재 걸음 전에 최후로 확정된 구역일 수 있다.
일부 실시예들에서는, 상기 분할모듈은 상기 분할프레임의 이동방향에 근거하여 상기 이력구역의 타겟 변을 확정할 수 있다. 상기 타겟 변은 상기 이력구역의 상기 복수의 변들 중에서 상기 이동방향에 가깝고 상기 이동방향과 교차되는 변을 가리킬 수 있다. 예를 들면, 도 5에서의 상기 분할프레임이 위를 향해 이동하면, 상기 이력구역(501)의 상기 타겟 변은 상기 제2 변(예를 들면, 상기 상변)일 수 있다.
상기 식별모듈은 상기 이력구역 중의 적어도 하나의 이력피사체를 식별할 수 있다. 이력피사체의 식별은 본 개시의 다른 부분(예를 들면, 도 2에서의 동작230)에서 기재한 상기 피사체의 식별과 같거나 유사할 수 있다. 상기 분할모듈은 각 이력피사체와 상기 타겟 변 사이의 거리, 및 각 이력피사체의 상기 식별 신뢰수준에 근거하여 상기 타겟 이력피사체를 확정할 수 있다. 일부 실시예들에서는, 상기 분할모듈은 상기 역치보다 낮은 식별 신뢰수준을 가지고 상기 타겟 변으로부터 가장 먼 상기 이력피사체를 이력참조피사체로 지정할 수 있다. 상기 분할모듈은 상기 이동방향과 교차되는 이력매칭영역의 변과 상기 이동방향과 교차되는 상기 이력구역의 변 사이의 거리에 근거하여 상기 걸음의 이동거리를 확정할 수 있고, 상기 이력매칭영역은 상기 타겟 이력피사체에 대응된다.
도 5 는 본 개시의 일부 실시예들에 따른 구역확정과정을 나타내는 다른 하나의 도면이다.
도 5에 표시하는 바와 같이, 상기 좌표계에서는, 상기 분할프레임의 이동방향(505)은 아래로부터 위로의 방향이다. 상기 분할프레임은 상기 이력구역(501)과 상기 타겟 이력피사체(502)를 확정할 수 있다. 상기 타겟 이력피사체(502)는 상기 이력구역(501)에서 전체 불완전한 이력피사체들 중에서 상기 이력구역의 상기 제2 변(예를 들면, 상기 상변)에서 가장 빠른 이력피사체일 수 있으며, 전부의 상기 불완전한 이력피사체들 중의 각 이력피사체는 상기 이력구역의 상기 제2 변에 의해 분할될 수 있다. 상기 이력구역(501)의 상기 제2 변은 상기 이동방향(505)과 교차되고 상기 이동방향(505)으로부터 가장 먼 상기 이력구역(501)의 변일 수 있다. 상기 타겟 이력피사체(502)에 대응되는 상기 이력참조영역(503)의 상기 제1 변(예를 들면, 상기 하변)은 다음 걸음의 이동 후에 상기 분할프레임의 상기 제1 변(예를 들면, 상기 하변)으로써 이용될 수 있다. 다시 말하면, 새로 분할된 구역(504)의 상기 제1 변은 상기 이력참조영역(503)의 제1변일 수 있다.
도 6은 본 개시의 일부 실시예들에 따른 영상의 식별결과를 확정하는 과정을 나타내는 예시적인 흐름도이다. 일부 실시예들에서는, 처리600은 도 1에 나타내는 상기 시스템(100)에서 수행될 수 있다. 예를 들면, 상기 처리 600은 명령어들의 형식으로 스토리지장치 및/또는 상기 스토리지(예를 들면, 상기 메모리(1920))에 저장될 수 있으며, 상기 처리장치(110) (예를 들면, 도 19에서 나타내는 바와 같은 계산장치(1900)의 프로세서(1910))에 의해 호출 및/또는 실행될 수 있다. 아래에서 설명되는 처리의 동작들은 설명을 위한 것이다. 일부 실시예들에서는, 상기 처리 600은 설명하지 않은 하나 이상의 추가적인 동작들로 달성, 및/또는 언급된 하나 이상의 동작들이 없이 달성될 수 있다. 추가적으로, 도 6 및 아래의 설명에서 설명한 바와 같은 상기 처리 600의 동작들의 순서는 한정을 의도로 하지 않는다. 일부 실시예들에서는, 도 2에서의 동작240은 도6 에서 나타내는 처리 600에 따라 수행될 수 있다.
610에서, 상기 처리장치(110)(예를 들면, 상기 확정모듈)는 상기 복수의 구역들에서 상기 적어도 하나의 피사체 중의 각 피사체의 병집합 교차점(IOU)에 근거하여, 상기 복수의 구역들의 중첩영역 중의 피사체를 확정할 수 있다.
피사체의 IOU는 복수의 네모꼴들 사이의 교차면적 대 복수의 네모꼴들의 연합면적의 비율을 가리킬 수 있으며, 상기 복수의 네모꼴들 중의 각 네모꼴은 상기 피사체의 적어도 일부분을 포함한다. 일부 실시예들에서는, 상기 복수의 네모꼴들의 수량은 2개일 수 있다. 일부 실시예들에서는, 상기 피사체의 적어도 일부분을 포함하는 상기 복수의 네모꼴들은 상기 복수의 구역들(예를 들면, 2개의 구역들)에서 상기 피사체의 타겟 프레임들일 수 있다.
예를 들면, 도7에 표시하는 바와 같이, 상기 피사체(705)의 전체 내용은 상기 구역(702)에 에워싸일 수 있으며, 상기 피사체(705)의 내용의 일부분은 상기 구역(701)에 에워싸일 수 있다. 703은 상기 구역(701) 중의 상기 타겟 프레임을 가리킬 수 있다. 704는 상기 구역(702)중의 상기 타겟 프레임을 가리킬 수 있다. 상기 피사체의 IOU는 상기 타겟 프레임(704)과 상기 타겟 프레임(703) 사이의 교차면적 대 상기 타겟 프레임(704)과 상기 타겟 프레임(703)의 연합면적의 비율일 수 있다.
상술한 바와 같이, 상기 식별모듈은 상기 복수의 구역들 중의 상기 피사체의 위치를 확정하고 상기 타겟 프레임에 의해 상기 피사체의 위치를 지정할 수 있다. 일부 실시예들에서는, 상기 복수의 구역들에서의 상기 피사체의 위치를 확정한 후, 상기 확정모듈은 좌표계를 구축하여 상기 복수의 구역들에서 상기 피사체가 위치하는 상기 타겟 프레임의 좌표를 확정할 수 있다. 상기 피사체가 위치하는 복수의 타겟 프레임들이 존재하면, 상기 교차면적과 상기 복수의 타겟 프레임들의 연합면적을 계산하고 나아가서 각 피사체의 IOU를 확정할 수 있다.
일부 실시예들에서는, 상기 확정모듈은 역치(예를 들면, 0, 0.4, 등.)보다 큰IOU를 구비하는 피사체를 상기 복수의 구역들의 중첩영역에서의 피사체로 지정할 수 있다.
620에서, 상기 처리장치(110)(예를 들면, 상기 확정모듈)는 상기 복수의 구역들의 중첩영역에서의 상기 피사체의 식별 신뢰수준에 근거하여 상기 영상의 식별결과를 확정할 수 있다.
피사체의 전체 또는 일부분이 하나 이상의 구역 내에 에워싸여 있으면, 상기 식별모형은 하나 이상의 구역 중의 각 구역이 이미 식별된 경우, 상기 피사체의 상응한 위치와 상기 식별 신뢰수준을 출력할 수 있다. 상기 동일한 피사체는 상이한 영역들에서 상이한 식별 신뢰수준을 가질 수 있다. 예를 들면, 상기 식별 신뢰수준은 상기 피사체가 하나의 구역 내에 완전히 에워싸인 여부를 가리킬 수 있다. 하나의 구역에 대응되는 피사체의 식별 신뢰수준은 상기 구역에 위치하는 상기 피사체의 적어도 일부분의 면적과 관련될 수 있다. 상기 피사체가 완전히 하나의 구역에 에워싸인 경우, 상기 식별 신뢰수준은 상기 구역에서 높을 수 있다.
일부 실시예들에서는, 상기 중첩영역에서 적어도 하나의 피사체를 획득한 후, 상기 확정모듈은 상기 식별모형에 의해 출력되는 상기 피사체의 상기 복수의 식별 신뢰수준들에 근거하여 상기 중첩영역 내의 피사체를 처리할 수 있으며, 따라서, 상기 동일한 피사체는 하나만의 피사체로 식별되고, 복수의 피사체들로 식별되지 않을 수 있다. 구체적으로, 상기 중첩영역에서의 각 피사체에 대하여, 상기 확정모듈은 상기 피사체의 상기 복수의 신뢰도들에 근거하여 상기 최고 신뢰도에 대응되는 상기 타겟 프레임을 상기 영상 중의 상기 피사체의 위치로 선택할 수 있다. 상기 복수의 식별 신뢰수준들이 같은 경우, 상기 식별 신뢰수준들 중의 임의의 하나에 대응되는 타겟 프레임을 상기 영상에서의 상기 피사체의 위치로 선택할 수 있다.
일부 실시예들에서는, 상기 중첩영역 내의 피사체의 식별결과가 확정될 수 있고, 비중첩영역들에서 피사체들의 식별결과들은 결합하여 상기 영상의 식별결과를 얻을 수 있다. 상기 비중첩영역들은 상기 중첩영역 외부에 있는 복수의 구역들 중의 영역들을 가리킬 수 있다.
처리600에서의 동작들을 통해, 하나의 피사체가 하나 이상의 구역 내에 에워싸인 경우 2개의 피사체들로 간주되고 결국 피사체들의 수량의 확정에서 오판이 발생하는 문제를 피할 수 있다. 현실 상황에서는, 상기 영상 내의 차량들의 수량이 불정확하게 확정되기 때문에, 비어 있는 주차공간들의 수량을 불정확하게 계산하는 문제가 발생할 수 있다.
도 8은 본 개시의 일부 실시예들에 따른 식별프레임을 수정하는 과정을 나타내는 예시적인 흐름도이다.
일부 실시예들에서는, 처리800은 도 1에 나타내는 시스템(100)에서 수행될 수 있다. 예를 들면, 상기 처리 800은 명령어들의 형식으로 스토리지장치 및/또는 상기 스토리지(예를 들면, 상기 메모리(1920))에 저장될 수 있으며, 상기 처리장치(110) (예를 들면, 도 19에서 나타내는 바와 같은 계산장치(1900)의 프로세서(1910))에 의해 호출 및/또는 실행될 수 있다. 아래에서 설명되는 처리의 동작들은 설명을 위한 것이다. 일부 실시예들에서는, 상기 처리 800은 설명하지 않은 하나 이상의 추가적인 동작들로 달성, 및/또는 언급된 하나 이상의 동작들이 없이 달성될 수 있다. 추가적으로, 도 8 및 아래의 설명에서 설명한 바와 같은 상기 처리 800의 동작들의 순서는 한정을 의도로 하지 않는다. 일부 실시예들에서는, 도 2에서의 동작230은 도8 에서 나타내는 처리 800에 따라 수행될 수 있다.
810에서, 상기 복수의 구역들 중의 하나에 대하여, 상기 처리장치(110)(예를 들면, 상기 식별모듈)는 식별 알고리즘에 근거하여 상기 구역 내의 식별프레임을 얻을 수 있고, 상기 식별프레임은 상기 구역 내의 상기 타겟에 매칭되는 매칭영역과 대응관계를 가진다.
상기 식별 알고리즘은 한 영역에서(예를 들면, 상기 복수의 구역들 중의 하나의 구역, 참조영역, 등.) 또는 영상에서 피사체의 상기 식별프레임을 확정하도록 구성되는 알고리즘일 수 있다.
일부 실시예들에서는, 상기 구역에서 상기 식별프레임과 상기 피사체 사이에는 대응관계, 예를 들면, 일 대 일, 일 대 복수, 복수 대 일, 등이 있다.
일부 실시예들에서는, 상기 식별 알고리즘은 상기 식별모형 내에 포함될 수 있다. 일부 실시예들에서는, 상기 식별모형은 구역에서의 상기 식별프레임들을 출력할 수 있다. 예를 들면, 상기 식별 알고리즘은 상기 비최대 억제 알고리즘 (NMS), 등일 수 있다.
예를 들면, 도 9에 표시하는 바와 같이, 상기 확정모듈은 상기 식별 알고리즘에 근거하여 상기 식별프레임들(901, 902, 및903)을 얻을 수 있다.
820에서, 상기 처리장치(110)(예를 들면, 상기 식별모듈)는 상기 식별프레임에 대응되는 상기 매칭영역의 실제 수평선과 표준 수평선 사이의 각도에 근거하여 상기 식별프레임을 수정하여 수정된 식별프레임을 획득할 수 있다.
상술한 바와 같이, 상기 매칭영역은 상기 피사체에 매칭되고, 상기 식별프레임과 상기 피사체 사이에 대응관계가 있기 때문에, 상기 식별프레임은 상응한 매칭영역을 가질 수 있다.
상기 실제 수평선은 실제 장면에서 상기 매칭영역의 변에 평행되는 수평선을 가리킬 수 있다. 예를 들면, 도 9에 표시하는 쌍실선(906)은 실제 수평선을 표시할 수 있다.
일부 실시예들에서는, 상기 실제 수평선은 다양한 방식으로 확정될 수 있다. 예를 들면, 상기 실제 수평선은 사용자의 입력에 따라 결정될 수 있다. 주차장의 카메라로 영상을 찍는 것을 예로 들면, 상기 식별모듈은 상기 영상에서의 상기 주차공간들의 분포맵을 얻을 수 있으며, 상기 주차공간들을 상기 매칭영역들로 하고, 상기 주차공간들의 주차공간선들을 획득하여 실제 수평선들로 한다.
상기 표준 수평선은 상기 식별프레임의 변과 평행될 수 있다. 예를 들면, 상기 표준 수평선은 상기 식별프레임의 상기 제1 변 및 상기 제2 변과 평행될 수 있다. 다른 하나의 예로써, 상기 좌표계의 수평축은 표준 수평선으로 간주될 수 있다. 예를 들면, 도9에서의 상기 표준 수평선은 상기 식별프레임(901)의 하변과 상변에 평행되는 선들일 수 있다.
일부 실시예들에서는, 상기 식별모듈은 상기 실제 수평선과 상기 표준 수평선 사이의 각도에 근거하여 상기 식별프레임을 회전시킬 수 있으며, 따라서, 상기 식별프레임은 상기 실제 수평선에 평행되는 변을 구비할 수 있고, 따라서 상기 수정된 식별프레임을 얻을 수 있다. 예를 들면, 도 9에 표시하는 바와 같이, 상기 실제 수평선과 상기 표준 수평선 사이에 각도가 형성될 수 있으며, 상기 식별프레임(901)은 시계반대방향으로 a만큼 회전하여 상기 수정된 식별프레임(904)을 획득하며, 상기 수정된 식별프레임(904)의 상기 제1 변은 상기 실제 수평선에 평행된다.
830에서, 상기 처리장치(110) (예를 들면, 상기 식별모듈)는 상기 수정된 식별프레임에 근거하여 상기 구역내의 상기 피사체를 식별할 수 있다.
일부 실시예들에서는, 상기 확정모듈은 상기 복수의 구역들의 수정된 식별프레임들을 상기 식별모형에 입력하고, 상기 복수의 구역들의 타겟 위치들을 출력할 수 있다. 일부 실시예들에서는, 상기 확정모듈은 한 구역의 수정된 식별프레임 및 상기 구역의 수정된 식별프레임 중의 상응한 피사체를 회전시킬 수 있으며, 따라서, 상기 수정된 식별프레임은 상기 표준 수평선에 평행되는 변을 구비할 수 있다. 또한, 상기 확정모듈은 상기 회전되는 수정된 식별프레임을 상기 식별모형에 입력하고, 상기 복수의 구역들에서의 상기 적어도 하나의 피사체를 출력할 수 있다. 예를 들면, 도 9에 표시하는 바와 같이, 상기 수정된 식별프레임(904)과 상기 상응한 영역은 회전될 수 있으며, 따라서, 상기 수정된 식별프레임(904)는 상기 표준 수평선에 평행되는 변을 포함할 수 있고, 상기 회전되는 수정된 식별프레임(904)과 상기 상응한 영역은 상기 식별모형에 입력되어 식별할 수 있다.
일부 실시예들에서는, 아래에서 상기 영상은 탐측하려는 차량의 영상을 포함할 수 있다. 일부 실시예들에서는, 아래에서 상기 참조영역은 제1 사전탐측영역과 제2 사전탐측영역을 포함할 수 있다. 아래에서 상기 참조매칭영역은 제1 차량프레임과 제2 차량프레임을 포함할 수 있다. 예를 들면, 아래에서 상기 제1 참조영역은 제1 사전탐측영역을 포함할 수 있으며, 하기의 제1 차량프레임은 상기 제1 참조영역으로부터 얻을 수 있다. 아래에서 상기 제2 참조영역은 제2 사전탐측영역을 포함할 수 있으며, 아래에서 제2 차량프레임은 상기 제2 참조영역으로부터 얻을 수 있다. 일부 실시예들에서는, 아래에서 상기 복수의 구역들은 제1 탐측구획, 제2 탐측구획, 제1 상부탐측구획, 제1 하부탐측구획, 제2 상부탐측구획, 및 제2 하부탐측구획을 포함할 수 있다. 예를 들면, 아래에서 상기 제1 참조영역의 일측에 대응되는 상기 조의 구역들은 상기 제1 상부탐측구획과 상기 제1 하부탐측구획을 포함할 수 있으며, 아래에서 상기 제2 참조영역의 일측에 대응되는 상기 조의 구역들은 상기 제2 상부탐측구획과 상기 제2 하부탐측구획을 포함할 수 있다. 일부 실시예들에서는, 상기 식별 신뢰수준은 아래에서 신뢰도라고 부를 수 있다.
일부 실시예들은 낡은 전봇대의 사용자들에 스마트한 해결안을 제공한다. 스마트 도시의 구축은 낡은 전봇대의 사용자에 더 많은 아이디어를 제시한다. 현재, 도시 거리조명은 여전히 초기 단계에 있으며, 이는 관련 구현설비의 사용기능과 효과를 크게 감소시킨다. 거리 전봇대의 사용률을 최대화함으로써, 특히 지능감시의 응용에서, 상기 구축비용이 감소될 수 있고, 도시 지능화의 수준이 높아질 수 있다.
대형의 옥외 주차장들은 일반적으로 고휘도 조명을 사용할 수 있다. 상기 전봇대의 높이는 일반적으로 10~ 15 미터일 수 있고, 상기 전봇대들 사이의 거리는 상대적으로 클 수 있다. 이러한 점에서, 상기 전봇대들을 사용할 때, 단안 카메라들만 지능화 감시에 사용하면, 예를 들면, 각도 및 초점거리 등 문제로 인해, 상기 전봇대들 사이에는 복수개의 화면이 있을 수 있으며, 결국 복수의 타겟 차량들이 사라진다. 상술한 상황에 근거하여, 본 출원은 파노라마 카메라들을 감시에 사용할 것을 제안하며, 이는 타겟 차량들이 직접 상기 전봇대들 바로 아래 및 먼 곳의 타겟 차량들을 커버하도록 확보할 수 있다.
상술한 원리에 근거하여, 본 개시는 파노라마 카메라에 근거하여 차량검측방법을 제안한다. 상세한 내용은 도 10을 참고 바란다. 도 10은 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 예시적인 흐름도이다.
본 개시의 상기 차량탐측은 차량탐측장치에 응용될 수도 있으며, 여기서 본 개시의 차량탐측장치는 서버, 단말장치, 또는 시스템일 수 있으며, 상기 서버와 상기 단말장치는 서로 협조한다. 상응하게, 상기 전자장치에 포함되는 다양한 부분들, 예를 들면, 각 유닛, 서브유닛, 모듈, 및 서브모듈은 상기 서버, 상기 단말장치, 또는 상기 서버와 상기 단말장치에 각각 배치될 수 있다.
상술한 서버는 하드웨어 또는 소프트웨어일 수 있다. 상기 서버가 하드웨어인 경우, 상기 서버는 복수의 서버들로 구성되는 분산 서버 클러스터, 또는 단일 서버로 구현될 수 있다. 상기 서버가 소프트웨어인 경우, 상기 서버는 복수의 소프트웨어 또는 소프트웨어 모듈들로 구현될 수 있으며, 예를 들면, 소프트웨어 또는 소프트웨어 모듈은 분산 서버를 제공하도록 수성된다. 상기 서버는 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며, 이는 구체적으로 여기의 기재에 한정되지 않는다. 일부 가능한 구현 방식들에서, 본 개시의 실시예들에서의 상기 차량검측방법은 메모리에 저장되어 있는 컴퓨터 판독가능 명령을 호출하는 프로세서에 의해 실행될 수 있다 . 구체적으로, 본 개시의 실시예들에서 상기 차량탐측장치는 파노라마 카메라일 수 있으며, 상기 파노라마 카메라는 옥외 밀폐식 주차장의 전봇대에 배치되어 상기 주차장 내의 차량들의 조건들을 탐측할 수 있다.
도 10에 표시하는 바와 같이, 본 개시의 실시예들의 상기 차량검측방법은 구체적으로 아래의 절차들을 포함한다.
S1001: 탐측하려는 차량의 영상을 얻을 수 있으며, 탐측하려는 차량의 영상의 중심에서 제1 사전탐측영역과 제2 사전탐측영역은 탐측하려는 차량의 영상의 해상도 비율에 따라 설정될 수 있다.
상기 차량탐측장치는 전봇대에 배치된 파노라마 카메라로 찍은 파노라마 영상, 즉, 탐측하려는 차량의 영상을 얻을 수 있다. 상세한 내용은 도 11을 참고 바란다 . 도 11은 본 개시의 일부 실시예들에 따른 탐측하려는 차량의 영상의 도면이다. 본 개시의 상기 실시예에서의 상기 파노라마 카메라는 4안 어안 렌즈를 꿰넣어 형성되고, 그 출력하는 파노라마 영상 픽셀은 5520*2700, 또는 3840*2160일 수 있다. Since 상기 파노라마 카메라가 360도의 큰 화면을 얻을 수 있기 때문에, 전체 영상에 의해 커버되는 상기 타겟 차량들의 수량은 클 수 있으며, 결국각 타겟 차량은 너무 작은 픽셀들을 점한다. 전체 영상에 대해 직접 차량탐측을 수행하면, 상기 전체 영상은 신경망의 입력크기로 압축될 수 있으며, 각 타겟은 여러번의 확대축소 후 소실될 수 있으며, 결국 차량탐측 네트워크는 정확한 타겟 차량탐측을 달성할 수 없다.
따라서, 본 개시의 상기 실시예는 딥러닝에 기반하는 영상 분할방법을 제안한다. 탐측하려는 차량의 영상을 분할함으로써, 알고리즘 대열은 분할된 서브영상들에 대해 수행될 수 있으며, 각 분할된 서브영상에서의 타겟 차량들은 식별되어 상기 분할된 서브영상에서의 상기 타겟 차량들이 고도로 정확하게 식별될 수 있도록 확보한다. 탐측하려는 차량의 영상의 분할에 관하여, 탐측하려는 차량의 영상은 구체적으로 제1 사전탐측영역과 제2 사전탐측영역,및 4개의 탐측구획으로 나뉠 수 있다. 상세한 내용은 도 12를 참고 바란다. 도 12는 본 개시의 일부 실시예들에 따른 사전탐측영역들과 탐측구획의 도이다.
구체적으로, 먼저, 상기 차량탐측장치는 탐측하려는 차량의 영상의 영상 해상도를 얻고, 해상도 비율, 즉, 탐측하려는 차량의 영상의 종횡비 f를 계산할 수 있다. 상기 차량탐측장치는 1920*1080의 해상도의 사전탐측 프레임을 이용하고, 상기 종횡비 f에 근거하여 탐측하려는 차량의 영상에서 상기 사전탐측 프레임의 위치를 조절할 수 있다. 구체적으로, 상기 차량탐측장치는 상기 사전탐측 프레임의 밑면을 탐측하려는 차량의 영상의 밑면과 중첩시켜, 탐측하려는 차량의 영상에서의 중심점의 중심위치를 상기 변계로 하고, 상기 사전탐측 프레임의 위치를 조절할 수 있으며, 따라서 상기 중심위치의 왼쪽의 상기 사전탐측 프레임의 면적 대 상기 중심위치의 오른쪽의 면적의 비율은 상기 종횡비 f의 값과 같을 수 있다. 이 때, 상기 사전탐측 프레임에 포함되는 상기 영역은 상기 제1 사전탐측영역일 수 있으며, 예를 들면, 도 12에 표시하는 탐측 영역 A일 수 있다.
마찬가지로,상기 차량탐측장치는 상기 사전탐측 프레임의 밑면을 탐측하려는 차량의 영상의 밑면과 중첩시킬 수 있으며, 탐측하려는 차량의 영상의 중심점의 중심위치를 상기 변계로 하고, 상기 사전탐측 프레임의 위치를 조절할 수 있으며, 따라서 상기 중심위치의 오른쪽의 상기 사전탐측 프레임의 면적 대 상기 중심위치의 왼쪽의 면적의 비율은 상기 종횡비 f의 값과 같을 수 있다. 이 때, 상기 사전탐측 프레임의 포함되는 상기 영역은 상기 제2 사전탐측영역일 수 있다.
S1002: 상기 제1 사전탐측영역과 상기 제2 사전탐측영역에 대해 각각 차량탐측을 수행할 수 있으며, 상기 제1 사전탐측영역에서의 제1 차량프레임과 상기 제2 사전탐측영역에서의 제2 차량프레임을 얻을 수 있다.
상기 차량탐측장치는 사전에 훈련된 차량탐측 네트워크를 이용하여 상기 제1 사전탐측영역과 상기 제2 사전탐측영역에서 각각 차량탐측을 수행할 수 있다. 본 개시의 실시예들에서 상기 차량탐측 네트워크는 전통적인 차량탐측 알고리즘 및 욜로 딥러닝 훈련 아키텍쳐(yolo deep learning training architecture)를 이용할 수 있으며, 상기 네트워크모형은 피라미드 네트워크 구조를 이용할 수 있다. 크고 작은 타겟 차량들을 구비하는 상이한 장면에 대하여, 상기 피라미트 네트워크 구조에서 상기 딥 네트워크는 큰 타겟 차량을 식별하도록 구성될 수 있다. 그 후 상기 딥 네트워크 특징들과 상기 섈로 네트워크(shallow network)는 병합되고, 작은 타겟 차량은 상기 섈로 네트워크에서 식별될 수 있다. 상기 네트워크 구조를 통해, 상기 딥 네트워크는 큰 타겟의 식별을 최적화하는데 집중하고, 상기 섈로 네트워크는 작은 타겟들의 식별을 최적화하는 데 집중하는 것이 확보된다. 본 개시의 실시예들에서 상기 차량탐측 네트워크의 파라미터들의 훈련은 옥외 주차장 장면의 50,000개 영상들을 이용하여, 6 미터, 12 미터, 및 20 미터의 카메라 높이들을 커버할 수 있고, 재료 비율은 3:3:4일 수 있고, 훈련 반복은 훈련이 완료될 때까지 약 200,000회이다.
상기 차량탐측장치는 상기 차량탐측 네트워크에 의해 출력되는 상기 제1 사전탐측영역에서의 상기 제1 차량프레임과 상기 신뢰도, 및 상기 제2 사전탐측영역에서의 상기 제2 차량프레임과 상기 신뢰도를 얻을 수 있다.
S1003: 상기 제1 차량프레임 및/또는 상기 제2 차량프레임에 근거하여 제1 탐측구획과 제2 탐측구획을 배치할 수 있다.
상기 차량탐측장치는 탐측하려는 차량의 영상의 중심위치 즉 상기 영상의 중심점이 위치하는 수직분할선으로 하고, 상기 제1 차량프레임 및/또는 상기 제2 차량프레임의 조건들을 결합하여 탐측하려는 차량의 영상에서의 좌우 탐측구획들, 즉, 상기 제1 탐측구획과 상기 제2 탐측구획을 나눌 수 있다.
구체적으로, 상기 제1 사전탐측영역과 상기 제2 사전탐측영역의 양자가 중심위치를 포함하기 때문에, 상기 탐측된 제1 차량프레임과 상기 제2 차량프레임의 양자는 상기 중심위치에 위치하는 차량프레임을 가질 수 있다. 따라서, 상기 차량탐측장치는 탐측하려는 차량의 영상의 중심위치에 차량프레임이 존재하는지 여부를 탐측할 수 있으며, 상기 차량프레임이 존재하지 않으면, 상기 중심위치에 근거하여 직접 상기 제1 탐측구획과 상기 제2 탐측구획을 나눌 수 있고, 상기 차량프레임이 존재하면, 분할선은 상기 중심위치에서의 상기 차량프레임의 위치와 크기에 근거하여 왼쪽 또는 오른쪽으로 편이하여 배치될 수 있으며, 상기 분할선은 임의의 차량프레임도 관통하지 않을 수 있다. 최종적으로, 상기 차량탐측장치는 상기 분할선에 따라 상기 제1 탐측구획과 상기 제2 탐측구획을 분할할 수 있다. 상기 중심위치에 기반하는 직접 분할과 비교하여, 본 개시의 실시예들의 분할방법은 왼쪽과 오른쪽의 상기 2개의 탐측구획이 탐측하려는 차량의 영상의 중간에서 상기 타겟 차량을 분할하지 않도록 확보할 수 있다. 상기 제1 탐측구획의 위치에 관하여는, 도 12에서의 탐측영역B를 참고 바란다.
S1004: 상기 제1 탐측구획은 상기 제1 차량프레임에 따라 제1 상부탐측구획과 제1 하부탐측구획로 나누어질 수 있으며, 상기 제2 탐측구획은 상기 제2 차량프레임에 따라 제2 상부탐측구획과 제2 하부탐측구획으로 나누어질 수 있다.
상기 차량탐측장치는 상기 제1 사전탐측영역에서 상기 제1 차량프레임의 위치를 교정하여, 상기 제1 차량프레임에서 상기 제1 사전탐측영역의 상부에서 차량 타겟들의 행을 취하고, 최고 신뢰도를 가지는 타겟 차량들 및/또는 가장 왼쪽의 타겟 차량들, 즉, 도 에12 표시하는 상기 타겟 차량들(S)을 서낵할 수 있다.
상기 차량탐측장치는 상기 타겟 차량들이 위치하는 상기 차량프레임의 하변의 수평좌표에 근거하여 상기 제1 상부탐측구획의 하변을 설정할 수 있으며, 즉, 상기 제1 상부탐측구획의 하변의 수평좌표는 상기 타겟 차량들이 위치하는 상기 차량프레임의 하변의 수평좌표와 같을 수 있다. 그리고, 상기 제1 상부탐측구획의 좌변은 탐측하려는 차량의 영상의 좌변과 일치할 수 있고, 상기 제1 상부탐측구획의 우변은 상기 제1 탐측구획의 우변과 일치할 수 있다. 장기적 각도에서 상기 파노라마 카메라가 상기 타겟 차량들에 의한 가리움이 많은 것을 고려하면, 상기 차량탐측의 효율을 개선하기 위해, 탐측하려는 차량의 영상의 하부의 3/4은 영역만 유효한 식별영역일 수 있다. 따라서, 상기 제1 상부탐측구획의 상변은 상기 하변+ 1080의 수평좌표일 수 있고, 또는 수평선이 탐측하려는 차량의 영상의 높이의 3/4에 위치한다.
상기 제1 하부탐측구획의 상변은 상기 제1 탐측구획의 상변과 일치할 수 있으며, 상기 제1 하부탐측구획의 좌변은 탐측하려는 차량의 영상의 좌변과 일치할 수 있으며, 상기 제1 하부탐측구획의 우변은 상기 제1 탐측구획의 우변과 일치할 수 있으며, 상기 제1 하부탐측구획의 하변은 탐측하려는 차량의 영상의 하변과 일치할 수 있으며, 즉, 상기 탐측영역 C는 도 12에 표시한다.
상기 파노라마 카메라의 특성들을 이미징한 점을 고려하면, 영상들이 변형될 수 있다. 현실 중의 수평영역은 상기 영상에서 경사영역으로 반영될 수 있으며, 특히 근경에서의 양측의 영상들, 상기 경사 및 왜곡은 더 심각할 수 있다. 도 12에 표시하는 바와 같이, 상기 제1 상부탐측구획과 상기 제1 하부탐측구획의 일부 영역들은 서로 중첩될 수 있다. 본 개시의 상기 실시예에서 상기 영역들의 중첩배치를 통해, 상기 파노라마 카메라에 상대적으로 가까운 큰 타겟 차량들과 상기 파노라마 카메라에 상대적으로 먼 작은 타겟 차량들의 상기 차량탐측이 확보될 수 있으며, 이는 상기 탐측구획의 분할의 영향을 받지 않을 수 있다.
마찬가지로, 상기 차량탐측장치는 상술한 처리를 통해 상기 제2 차량프레임에 근거하여 상기 제2 탐측구획을 상기 제2 상부탐측구획와 상기 제2 하부탐측구획으로 나눌 수 있으며, 이에 관하여 여기서 중복하지 않는다.
S1005: 상기 제1 상부탐측구획, 상기 제1 하부탐측구획, 상기 제2 상부탐측구획, 및 상기 제2 하부탐측구획에 각각 상기 차량탐측을 수행할 수 있으며, 차량탐측 결과에 근거하여 탐측하려는 차량의 영상에 타겟 차량프레임을 표기할 수 있다.
상술한 적응성 분할처리 후, 상기 차량탐측장치는 상기 제1 상부탐측구획, 상기 제1 하부탐측구획, 상기 제2 상부탐측구획, 및 상기 제2 하부탐측구획에서 각각 상기 차량탐측을 수행할 수 있으며, 이는 각 탐측구획 중의 작은 타겟 차량들을 높은 정확도로 식별하도록 확보할 수 있을 뿐만 아니라, 상기 타겟 차량들의 분할에 대한 탐측영역의 분할의 영향도 최소화한다.
각 탐측구획에 대해 상기 차량탐측을 수행한 후, 상기 차량탐측장치는 상기 차량탐측 결과에 근거하여 탐측하려는 차량의 영상에 대해 상기 타겟 차량프레임을 표기할 수 있으며, 즉, 분할된 영역의 식별결과를 도 13에 표시한다.
상기 차량검측방법의 정확도를 더 개선하기 위해, 본 개시의 상기 실시예는 필터링을 위한 책략을 제안하고, 상기 탐측영역들 사이의 상기 중첩영역에서 상기 동일한 타겟을 탐측한다. 아래에서는 상기 제1 상부탐측구획과 상기 제1 하부탐측구획의 차량탐측 결과를 예로 들어 설명한다. 상세한 내용은 도 14를 참고 바란다. 도 14는 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 예시적인 흐름도이다.
도 14에 표시하는 바와 같이, S1005는 아래의 서브 절차들을 포함할 수 있다.
S1401: 상기 제1 상부탐측구획에 대해 상기 차량탐측을 수행하여 제3 차량프레임들을 획득할 수 있다.
S1402: 상기 제1 하부탐측구획에 대해 상기 차량탐측을 수행하여 제4 차량프레임들을 획득할 수 있다.
S1403: 상기 차량프레임들이 서로 중첩되는 상기 제3 차량프레임들 중의 상기 차량프레임들과 상기 제4 차량프레임들 중의 상기 차량프레임들을 포함하는 차량프레임 조를 얻을 수 있으며, 여기서 상기 차량프레임 조는 2개의 프레임 영역들이 서로 중첩되는 상기 차량프레임들을 포함할 수 있다.
상기 중첩영역에서 상기 타겟 차량들을 필터링하는 경우, 상기 차량탐측장치는 상기 제1 상부탐측구획 중의 전부의 상기 제3 차량프레임들 및 상기 제1 하부탐측구획 중의 전부의 상기 제4 차량프레임들을 거쳐, 관련 점들의 좌표에 근거하여 탐측하려는 차량의 영상에서 좌표 매핑을 완료할 수 있다.
상기 중첩영역에서, 상기 차량탐측장치는 상기 제3 차량프레임들 중의 상기 차량프레임들과 상기 제4 차량프레임들 중의 상기 차량프레임들이 서로 중첩되는 차량프레임 그룹을 추출할 수 있고, 여기서, 상기 중첩은 2개의 차량프레임들의 교차 비율이 0보다 크게 정의될 수 있다. 상기 교차비율은 상기 2개의 차량프레임들의 연합영역에 의해 상기 2개의 차량프레임들의 교차영역을 나눔으로써 얻을 수 있다. 최종적으로, 상기 차량탐측장치는 복수의 차량프레임 그룹들을 차량프레임 조로 나눌 수 있다.
S1404: 상기 차량프레임 조에서 2개의 프레임들의 중첩영역을 구비하는 상기 차량프레임들 중의 하나의 차량프레임을 사전설정된 규칙에 따라 삭제할 수 있다.
상기 차량탐측장치는 상기 사전설정된 규칙에 근거하여 상기 차량프레임 조 중의 상기 차량프레임 그룹들을 필터링할 수 있다. 구체적으로, 본 개시의 실시예들에서 필터링 조건은 아래의 조건들을 포함할 수 있지만 이에 한정되지 않는다.
필터링 조건 1: 상기 차량프레임 그룹 중의 상기 2개의 차량프레임들의 교차비율이 0.4보다 큰 경우, 상기 차량프레임들 중의 낮은 신뢰도를 가지는 하나의 차량프레임을 삭제한다.
필터링 조건 2: 상기 차량프레임 그룹에서 차량프레임의 중심점이 기타 탐측구획의 차량프레임 안에 있는 경우, 낮은 신뢰도를 구비하는 차량프레임을 탐측한다.
그리고, 상기 파노라마 카메라의 영상왜곡의 문제를 해결하기 위해, 본 개시의 상기 실시예는 편이각도에 근거하여 최대 억제 알고리즘을 제안하며, 상기 변형된 타겟 차량들의 식별 문제와 과소신고도 해결한다. 상세 내용은 도 15를 참고 바란다. 도 15는 본 개시의 일부 실시예들에 따른 차량탐측과정을 나타내는 다른 하나의 예시적인 흐름도이다.
S1501: 상기 제1 상부탐측구획과 사전설정된 주차탐측영역을 얻을 수 있다.
상기 차량탐측 전에, 직원이 실제 상황에 근거하여 스크린에서 주차탐측영역을 표기하며, 따라서 상기 주차장의 화면을 조합하고, 관련정보, 예를 들면, 영역, 주차공간, 등을 이용하여 왜곡과 경사 상황을 계산할 수 있다.
상기 주차탐측영역은 구체적으로 주차프레임 또는 복수의 주차프레임들을 포함하는 주차영역일 수 있다. 예를 들면, 타겟 차량 주차영역, 각 주차영역을 통계유닛으로 하여, 지면상의 단일 행 또는 다중 행의 주차영역들에 근거하여, 복수의 통계영역들을 그릴 수 있다. 각 주차영역에서의 주차공간들의 최대 수량을 구성함으로써, 알고리즘의 결과들을 결합하여 타겟을 식별하고, 각 주차영역의 상태를 판정할 수 있으며, 즉, 주차공간이 있는지 또는 주차공간이 있는지 여부를 판정할 수 있다. 직원은 독립적인 주차공간 프레임을 그리고, 각 주차공간을 통계유닛으로 하여, 독립적인 주차공간 프레임을 그릴 수 있으며, 알고리즘의 결과들을 결합하여 각 주차공간을 점한 상태, 즉, 주차공간이 있는지 또는 주차공간이 없는지를 확정할 수 있다.
S1502: 상기 제1 상부탐측구획에 대해 상기 차량탐측을 수행하여 제5 차량프레임을 얻을 수 있다.
상기 파노라마 카메라의 맨 끝에서의 영상들은 일반적으로 왜곡들과 경사들을 가질 수 있다. 도 16에 표시하는 바와 같이, 상기 영상 중의 차량들과 주차공간들은 화면에서 변형되고 경사될 수 있으며, 이는 차량프레임의 필터링과 식별에 유리하지 않다.
S1503: 상기 제5 차량프레임의 중심점이 상기 주차탐측영역에 위치하는 경우, 상기 주차탐측영역의 변 좌표들과 상기 제5 차량프레임의 변 좌표들을 얻을 수 있다
상기 차량탐측장치는 상기 제5 차량프레임의 중심점의 위치와 상기 주차탐측영역의 위치를 비교할 수 있다. 상기 주차프레임이 상기 중심점의 좌표들을 포함하면, 직접 상기 주차프레임의 하변과 상기 주차프레임의 하변으로 구성되는 선분들의 좌표들을 획득한다. 상기 주차영역이 상기 중심점의 좌표들을 포함하면, 상기 주차영역의 하변의 좌표들을 획득하고, 상기 주차영역의 하변의 차단점의 종좌표는 상기 제5 차량프레임의 중심점의 종좌표와 같을 수 있다. 선분의 길이는 상기 제5 차량프레임의 하변의 길이의 절반일 수 있으며, 따라서 상기 주차영역의 하변에서 절취된 선분의 양단부의 좌표들을 획득한다.
S1504: 주차공간의 경사각은 상기 주차탐측영역의 변 좌표들과 상기 제5 차량프레임의 변 좌표들에 따라 계산될 수 있으며, 상기 주차공간의 경사각에 근거하여 상기 제5 차량프레임을 조절함으로써 경사진 제5 차량프레임을 얻을 수 있다.
또한, 상기 차량탐측장치는 상기 제5 차량프레임의 상기 하변의 좌표들과 상기 선분들을 획득하고, 상기 2개의 선분들을 통해 상기 주차공간의 경사각을 계산하고, 상기 주차공간의 경사각에 근거하여 상기 제5 차량프레임의 위치를 다시 계산할 수 있다. 구체적으로, 상기 차량탐측장치는 상기 차량탐측 알고리즘을 통해 상기 제5 차량프레임의 중심점의 좌표들, 폭, 및 높이를 얻을 수 있으며, 따라서 타겟 차량의 직사각형 프레임의 좌표들과 각 꼭짓점의 좌표들을 계산한다. 상기 주차공간의 상기 계산된 경사각을 조합하면, 상기 직사각형 프레임의 각 변은 상기 중심점을 중심으로 시계반대방향으로 상기 주차공간의 경사각만큼 회전하여 새로운 차량프레임, 즉, 경사진 제5 차량프레임을 계산할 수 있다.
S1505: 이중 차량프레임들은 기울어진 제5 차량프레임에 의해 필터링될 수 있다.
상기 차량탐측장치는 NMS (비최대 억제) 기술을 이용하여 이중 차량프레임들을 필터링하고, 및 필터링 역치는 0.20와 0.25 사이에 설정될 수 있다. 상기 새로은 차량프레임의 위치와 좌표에 근거하여, 하나의 타겟을 위한 복수의 탐측 프레임들의 필터링이 완성될 수 있다.
상세한 내용은 도 17을 참고 바란다. 도 17 은 본 개시의 일부 실시예들에 따른 차량프레임에 대한 왜곡수정의 도이다. 도 17은 상기 차량프레임 구성을 통해 왜곡각도의 계산 및 상기 차량프레임의 수정을 완성한 결과이다. 하나의 영역 프레임 D는 사전설정된 주차영역일 수 있다. 상기 왜곡각도a는 상술한 데이터에 따라 계산될 수 있으며, 상기 주차영역 중의 각 차량프레임이 조절될 수 있다. 상기 주차영역의 중간에서 상기 2개의 차량프레임들의 조절된 프레임 E와 프레임 F를 예로 들면, NMS의 값은 원래의 0.7로부터 0.15로 떨어진다.
본 개시의 상기 실시예에서, 상기 차량탐측장치는 탐측하려는 차량의 영상을 얻으며, 탐측하려는 차량의 영상의 해상도 비율을 이용해, 탐측하려는 차량의 영상의 중심위치에 상기 제1 사전탐측영역과 상기 제2 사전탐측영역을 배치할 수 있다. 상기 차량탐측은 각각 상기 제1 사전탐측영역과 상기 제2 사전탐측영역에서 수행되며, 각각 상기 제1 사전탐측영역에서 상기 제1 차량프레임을 획득하고, 상기 제2 사전탐측영역에서 상기 제2 차량프레임을 획득한다. 상기 제1 탐측구획과 상기 제2 탐측구획은 상기 제1 차량프레임 및/또는 상기 제2 차량프레임에 근거하여 배치될 수 있다. 상기 제1 탐측구획은 상기 제1 차량프레임에 근거하여 상기 제1 상부탐측구획과 상기 제1 하부탐측구획으로 나누어질 수 있고, 상기 제2 탐측구획은 상기 제2 차량프레임에 근거하여 상기 제2 상부탐측구획과 상기 제2 하부탐측구획으로 나누어질 수 있다. 상기 차량탐측은 각각 상기 제1 상부탐측구획, 상기 제1 하부탐측구획, 상기 제2 상부탐측구획, 및 상기 제2 하부탐측구획에 대해 수행될 수 있으며, 상기 타겟 차량프레임은 상기 차량탐측 결과에 근거하여 탐측하려는 차량의 영상에 표기될 수 있다. 상술한 방식을 통해, 본 개시는 상기 탐측구획을 설정함으로써 상기 탐측구획 내에서 작은 타겟들이 정확하게 식별되도록 확보할 수 있으며, 타겟의 분할에 대한 영역들의 분할의 영향을 감소시키는 동시에, 상기 차량검측방법의 정확도를 개선한다.
본 분야의 통상의 기술자들에 있어서, 요해해야 할 것은 상술한 구체적인 구현 방법에서, 상기 절차들의 순서는 상기 구현과정에 대해 임의의 제한을 구성하는 제한적인 수행순서를 가르키지 않을 수 있다. 각 절차의 상기 구체적인 수행순서는 상기 기능과 가능한 내적논리에 따라 확정하여야 한다.
상술한 실시예들의 상기 차량검측방법을 수행하기 위해, 본 출원은 차량탐측장치를 제안한다. 상세한 내용은 도 18을 참고 바란다. 도 18은 본 개시의 일부 실시예들에 따른 차량탐측장치의 구조를 나타내는 도면이다.
도 18에 표시하는 바와 같이, 상기 차량탐측장치(1800)는 사전탐측모듈(1810), 차량프레임모듈(1820), 탐측구획모듈(1830), 및 차량검측모듈(1840)을 포함할 수 있다.
상기 사전탐측모듈(1810)은 탐측하려는 차량의 영상을 획득하도록 구성될 수 있으며, 탐측하려는 차량의 영상의 해상도 비율을 이용하여, 제1 사전탐측영역과 제2 사전탐측영역을 탐측하려는 차량의 영상의 중심위치에 설치한다.
상기 차량프레임모듈(1820)은 상기 제1 사전탐측영역과 상기 제2 사전탐측영역의 차량탐측을 수행하며, 상기 제1 사전탐측영역에서의 제1 차량프레임과 상기 제2 사전탐측영역에서의 제2 차량프레임을 획득하도록 구성될 수 있다.
상기 탐측구획모듈(1830)은 상기 제1 차량프레임 및/또는 상기 제2 차량프레임에 근거하여 제1 탐측구획과 제2 탐측구획을 배치하고, 상기 제1 차량프레임에 근거하여 상기 제1 탐측구획을 제1 상부탐측구획과 제1 하부탐측구획으로 나누고, 상기 제2 차량프레임에 근거하여 상기 제2 탐측구획을 제2 상부탐측구획과 제2 하부탐측구획으로 나누도록 구성될 수 있다.
상기 차량검측모듈(1840)은 상기 제1 상부탐측구획, 상기 제1 하부탐측구획, 상기 제2 상부탐측구획, 및 상기 제2 하부탐측구획에 대해 각각 상기 차량탐측을 수행하고, 차량탐측 결과에 근거하여 탐측하려는 차량의 영상에서 타겟 차량프레임을 표기하도록 구성될 수 있다.
상술한 상기 실시예들의 상기 차량검측방법을 수행하기 위해, 본 출원은 다른 하나의 차량탐측장치를 제안할 수도 있다. 상세한 내용은 도 19를 참고 바란다. 도 19는 본 개시의 다른 하나의 실시예에 근거하여 차량탐측장치의 구조를 나타내는 도면이다.
본 개시의 실시예들의 상기 차량탐측장치(1900)는 프로세서(1910), 메모리(1920), 입출력 장치(1930), 및 버스(1940)를 포함할 수 있다. 일부 실시예에서, 도 1에서의 상기 처리장치(110)는 상기 차량탐측장치(1900)일 수 있다.
상기 프로세서(1910), 상기 메모리(1920), 및 상기 입출력 장치(1930)는 각각 상기 버스(1940)에 연결될 수 있다. 상기 메모리(1920)는 프로그램 데이터를 저장할 수 있으며, 상기 프로세서(1910)은 상기 프로그램 데이터를 실행하여 상술한 실시예들에 기재한 상기 차량검측방법을 구현하도록 구성될 수 있다.
상기 실시예에서, 상기 프로세서(1910)는 CPU (중앙처리장치)라고 부를 수도 있다. 상기 프로세서(1910)는 신호처리능력들을 구비하는 집적된 회로칩일 수 있다. 상기 프로세서(1910)는 범용 프로세서, DSP (디지털신호 프로세서), ASIC (주문형 집적회로), FPGA (필드 프로그래밍 가능한 게이트 어레이), 또는 기타 프로그램밍 로직장치, 이산 게이트 또는 트랜지스터 로직장치, 개별 하드웨어 어셈블리일 수도 있다. 상기 범용 프로세서는 마이크로 프로세서일 수 있거나, 또는 상기 프로세서(1910)는 임의의 전통적인 프로세서, 등일 수도 있다.
본 출원은 컴퓨터 스토리지매체를 제공할 수도 있다. 도 20에 표시하는 바와 같이, 상기 컴퓨터 스토리지매체(2000)는 프로그램 데이터(2010)를 저장하도록 구성될 수 있다. 상기 프로그램 데이터(2010)가 프로세서에 의해 실행되는 경우, 상술한 실시예들에 기재하는 상기 차량검측방법이 수행될 수 있다.
본 출원은 컴퓨터 프로그램 제품을 제공할 수도 있으며, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램을 포함할 수 있고, 상기 컴퓨터 프로그램은 작동하여 컴퓨터로 하여금 본 개시의 실시예들에서 기재하는 상기 차량검측방법을 수행하게 할 수 있다. 상기 컴퓨터 프로그램 제품은 소프트웨어 설치 패키지일 수 있다.
상술한 본 개시의 실시예들에서 기재하는 상기 차량검측방법을 구현하는 경우, 상기 차량검측방법은 소프트웨어 기능유닛의 형식일 수 있으며, 상기 차량검측방법이 판매되거나 또는 독립적인 제품으로서 사용되는 경우, 상기 차량검측방법은 장치, 예를 들면, 컴퓨터 판독가능 스토리지매체에 저장될 수 있다. 상술한 이해에 의하면, 본 개시의 기술안은 실질적으로, 또는 종래의 기술에 대해 공헌이 있는 부분, 또는 기술방안의 전부 또는 일부분은 소프트웨어 제품의 형식으로 구현될 수 있다. 상기 컴퓨터 소프트웨어 제품은 여러 명령어들을 포함하는 스토리지매체에 저장될 수 있으며, 상기 명령어들은 컴퓨터 장치(개인 컴퓨터, 서버, 네트워크장치, 등) 또는 프로세서로 하여금 본 개시의 다양한 실시예들에서 기재한 상기 방법들의 절차들의 전부 또는 일부분을 수행하게 한다. 상술한 스토리지매체는 U 디스크, 이동 하드디스크, ROM (읽기전용 메모리), RAM (랜덤 액세스 메모리), 자기 디스크, 광 디스크, 및 프로그램 코드들을 저장할 수 있는 다른 매체를 포함할 수 있다.
위에서는 기본 개념을 설명하였다. 물론, 본 분야의 통상의 기술자로에 있어서, 본 발명의 개시는 단지 예로써, 본 개시의 한정을 구성하지 않는다. 여기에서 명기하지 않았지만 본 분야의 통상의 기술자들에 있어서 본 개시에 대하여 다양한 변화, 개진, 또는 수정이 가능하다. 본 개시에 의하여 이러한 변화, 개진, 또는 수정은 제안를 주기 위함이고, 이는 본 개시의 바람직한 실시예의 요지와 범위내에 있는 것이다.
동시에, 본 개시는 특정된 당어들을 사용하여 본 개시의 실시예들을 설명한다. 예를 들면, "하나의 실시예", "일 실시예", 및/또는 "일부 실시예들"은 어떤 특성, 구조, 또는 특징들이 본 개시의 적어도 하나의 실시예에 관련됨을 의미한다. 따라서, 여기에서 강조하고 주의를 주는 것은 본 개시의 상이한 위치들에서 2회 이상 언급되는 "하나의 실시예", "일 실시예" 또는 "하나의 대안 실시예"는 상기 동일한 실시예를 가리킬 필요가 없다. 그리고, 본 개시의 하나 이상의 실시예에서 일부 특징들, 구조들, 또는 특성들은 적당하게 조합될 수 있다.
그리고, 청구범위에서 명시적으로 주장하지 않는 한, 본 개시에서 설명하는 처리소자들과 서열들의 순서, 숫자들 및 문자들의 사용, 또는 기타 명칭들의 사용은 본 개시에서의 처리들과 방법들의 순서를 한정하지 않는다. 상술한 개시는 다양한 예들을 이용하여 본 개시의 현재 유용하다고 생각되는 일부 실시예들을 토론하지만, 이해해야 할 것은 이러한 상세한 설명은 단지 설명의 목적에만 의한 것으로서, 첨부된 청구범위는 상술한 실시예들에 한정되지 않는다. 반대로, 청구범위는 본 개시의 실시예들의 요지와 범위에 부합되는 모든 수정들과 등가 조합들을 커버함을 의도로 한다. 예를 들면, 상술한 상기 시스템 부재들은 하드웨어 장치들에 의해 구현될 수 있지만, 상기 시스템 부재들은 소프트웨어 해결방안만으로 구현될 수 있으며, 예를 들면, 상술한 시스템을 기존의 서버 또는 이동장치에 장착할 수 있다.
마찬가지로, 유의해야 할 것은, 본 개시의 설명을 간단화하고 따라서 본 개시의 하나 이상의 실시예들의 이해를 돕기 위해, 본 개시의 실시예들의 상술한 설명에서는, 복수의 특징들은 어떤 경우 하나의 예, 도면, 또는 그 설명에 결합될 수 있다. 그러나, 공개하는 상기 방법은 본 개시의 주제가 청구범위에서 언급한 것보다 많은 특징들을 요구함을 의미하지 않는다. 사실상, 상기 실시예들의 특징들은 상술한 단일 실시예의 전부의 특징보다 적다.
일부 실시예에서는 성분 및 성질을 표시하는 여러가지 숫자가 사용된다. 별도의 설명이 없는 경우 "약", "유사" 또는 "기본상"은 그 묘사하는 값이 ±20%의 변화가 있음을 표시할 수 있다. 별도의 설명이 없는 경우, "약", "유사" 또는 "기본상"은 그 묘사하는 값이 ±20%의 변화가 있음을 표시할 수 있다. 따라서 일부 실시예에서 서면 설명과 청구범위에서 사용한 수치 계수는 유사치이며, 그 유사치는 특정된 실시예에서 얻으려는 성질에 따라 변화할 수 있다. 일부 실시예들에서는, 수치 계수는 보고된 유효 숫자를 고려하고 일반적인 숫자 보유 방법을 채택해야 한다. 본 개시의 일부 실시예에서 범위를 확인하는 데 사용된 수치 범위와 계수는 유사치이지만, 구체적인 실시예에서, 이러한 수치의 설정은 가능한 범위에서 될수록 정확하다.
각 특허, 특허출원, 특허출원의 출판물과 기타자료, 예를 들면 문장, 서적, 명세서, 출판물, 서류, 등은 인용되어 그 전부가 본 개시에 결합되어 참고된다. 본 개시의 내용과 불일치하거나 상호 충돌되는 출원 역사는 배제되며, 본 개시의 청구범위의 최대 범위를 한정하는 서류(현재 또는 금후 본 개시에 부가되는)도 배제된다. 유의해야 할 것은 본 개시의 보조 자료와 본 개시의 내용에서 용어의 설명, 정의와/또는 사용이 임의의 불일치 또는 충돌이 있는 경우, 본 개시에서의 용어의 설명, 정의와/또는 사용을 기준으로 한다는 것이다.
최종적으로, 이해해야 할 것은 본 개시에서 설명하는 실시예들은 단지 본 개시의 실시예들의 원리들을 설명하는 데만 이용된다는 것이다. 기타 변형들은 본 개시의 범위 내에 있을 수도 있다. 따라서, 한정적이 아닌 예로써, 본 개시의 실시예들의 대안 구성들은 본 개시의 교시와 일치한 것으로 간주할 수 있다. 상응하게, 본 개시의 실시예들은 본 개시에서 명시적으로 소개하고 설명하는 실시예들에 한정되지 않는다.
Claims (20)
- 영상처리방법으로서,
지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하는 절차;
상기 영상의 복수의 구역들을 확정하는 절차;
상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차; 및
상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차를 포함하는
영상처리방법. - 제1항에 있어서,
상기 영상에서 적어도 하나의 매칭영역 중의 각 영역은 상기 복수의 구역들 중의 하나의 구역 내에 에워싸이고, 상기 적어도 하나의 매칭영역은 상기 적어도 하나의 피사체들과 매칭되는
영상처리방법. - 제1항에 있어서,
상기 영상의 복수의 구역들을 확정하는 절차는
참조영역의 변형도가 제2 조건을 만족시키는 상기 영상의 참조영역을 확정하는 절차; 및
상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 절차를 포함하는
영상처리방법. - 제3항에 있어서,
상기 복수의 구역들은 제1 구역과 제2 구역을 포함하는 한 조의 구역들을 포함하고, 상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 절차는
상기 식별영역에서 하나 이상의 참조피사체들을 식별하는 절차 ;
상기 참조영역에서 상기 하나 이상의 참조피사체들로부터 제3 조건을 만족시키는 타겟 참조피사체를 확정하는 절차;
상기 타겟 참조피사체에 매칭되는 참조매칭영역의 변에 근거하여 상기 영상에서 상기 제1 구역의 변을 확정하는 절차;
상기 참조영역의 변에 근거하여 상기 영상에서 상기 제2 구역의 변을 확정하는 절차; 및
상기 영상에서 상기 제1 구역의 변과 상기 제2 구역의 변에 근거하여 상기 조의 구역들을 확정하는 절차를 포함하는
영상처리방법. - 제4항에 있어서,
상기 제3 조건은 상기 참조영역에서 상기 하나 이상의 참조피사체들 중의 각 참조피사체의 위치와 관련되는
영상처리방법. - 제5항에 있어서,
상기 제3 조건은 상기 식별영역에서 상기 하나 이상의 참조피사체들 중의 각 참조피사체의 식별 신뢰수준과 관련되는
영상처리방법. - 제1항에 있어서,
상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차는
상기 복수의 구역들에서 상기 적어도 하나의 피사체 중의 각 피사체의 병집합 교차점(IOU)에 근거하여, 상기 피사체를 확정하는 절차; 및
상기 피사체의 식별 신뢰수준에 근거하여 상기 영상의 식별결과를 확정하는 절차를 포함하는
영상처리방법. - 제1항에 있어서,
상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차는
상기 복수의 구역들 중의 하나의 구역에 대하여,
식별 알고리즘에 근거하여 상기 구역에서 식별프레임을 획득하는 절차로서, 상기 식별프레임은 상기 구역 중의 상기 타겟과 매칭되는 매칭영역과 상응한 관계를 가지는, 상기 식별프레임을 획득하는 절차;
상기 식별프레임에 대응되는 상기 매칭영역의 실제 수평선과 표준 수평선 사이의 각도에 근거하여 상기 식별프레임을 수정하여 수정된 식별프레임을 획득하는 절차; 및
상기 수정된 식별프레임에 근거하여 상기 구역 내의 상기 피사체를 식별하는 절차를 더 포함하는
영상처리방법. - 제1항에 있어서,
상기 적어도 하나의 피사체는 하나의 차량을 포함하며, 상기 카메라에 포착되는 상기 지면은 주차영역을 포함하며,
상기 영상처리방법은
상기 영상의 식별결과에 근거하여 상기 주차영역 중의 비어 있는 주차공간을 확정하는 절차를 더 포함하는,
영상처리방법. - 영상처리시스템으로서,
한 조의 명령어들을 포함하는 적어도 하나의 스토리지장치; 및
상기 적어도 하나의 스토리지장치와 통신하도록 구성되는 적어도 하나의 프로세서를 포함하며,
상기 조의 명령어들을 수행할 때, 상기 적어도 하나의 프로세서는 상기 시스템으로 하여금,
지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하는 절차;
상기 영상의 복수의 구역들을 확정하는 절차;
상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차; 및
상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차를 포함하는
동작들을 수행하게 하는,
영상처리시스템. - 제10항에 있어서,
상기 영상에서 적어도 하나의 매칭영역 중의 각 영역은 상기 복수의 구역들 중의 하나의 구역 내에 에워싸이고, 상기 적어도 하나의 매칭영역은 상기 적어도 하나의 피사체들과 매칭되는
영상처리시스템. - 제10항에 있어서,
상기 영상의 복수의 구역들을 확정하는 절차는
참조영역의 변형도가 제2 조건을 만족시키는 상기 영상의 참조영역을 확정하는 절차; 및
상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 절차를 포함하는,
영상처리시스템. - 제12항에 있어서,
상기 복수의 구역들은 제1 구역과 제2 구역을 포함하는 한 조의 구역들을 포함하고, 상기 참조영역에 근거하여 상기 복수의 구역들을 확정하는 절차는
상기 식별영역에서 하나 이상의 참조피사체들을 식별하는 절차;
상기 참조영역에서 상기 하나 이상의 참조피사체들로부터 제3 조건을 만족시키는 타겟 참조피사체를 확정하는 절차;
상기 타겟 참조피사체에 매칭되는 참조매칭영역의 변에 근거하여 상기 영상에서 상기 제1 구역의 변을 확정하는 절차;
상기 참조영역의 변에 근거하여 상기 영상에서 상기 제2 구역의 변을 확정하는 절차; 및
상기 영상에서 상기 제1 구역의 변과 상기 제2 구역의 변에 근거하여 상기 조의 구역들을 확정하는 절차를 포함하는,
영상처리시스템. - 제13항에 있어서,
상기 제3 조건은 상기 참조영역에서 상기 하나 이상의 참조피사체들 중의 각 참조피사체의 위치와 관련되는
영상처리시스템. - 제14항에 있어서,
상기 제3 조건은 상기 식별영역에서 상기 하나 이상의 참조피사체들 중의 각 참조피사체의 식별 신뢰수준과 관련되는,
영상처리시스템. - 제10항에 있어서,
상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차는
상기 복수의 구역들에서 상기 적어도 하나의 피사체 중의 각 피사체의 병집합 교차점(IOU)에 근거하여, 상기 피사체를 확정하는 절차; 및
상기 피사체의 식별 신뢰수준에 근거하여 상기 영상의 식별결과를 확정하는 절차를 포함하는
영상처리방법. - 제10항에 있어서,
상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차는
상기 복수의 구역들 중의 하나의 구역에 대하여,
식별 알고리즘에 근거하여 상기 구역에서 식별프레임을 획득하는 절차로서, 상기 식별프레임은 상기 구역 중의 상기 타겟과 매칭되는 매칭영역과 상응한 관계를 가지는, 상기 식별프레임을 획득하는 절차;
상기 식별프레임에 대응되는 상기 매칭영역의 실제 수평선과 표준 수평선 사이의 각도에 근거하여 상기 식별프레임을 수정하여 수정된 식별프레임을 획득하는 절차; 및
상기 수정된 식별프레임에 근거하여 상기 구역 내의 상기 피사체를 식별하는 절차를 더 포함하는,
영상처리시스템. - 제10항에 있어서,
상기 적어도 하나의 피사체는 하나의 차량을 포함하며, 상기 카메라에 포착되는 상기 지면은 주차영역을 포함하며,
상기 영상처리방법은
상기 영상의 식별결과에 근거하여 상기 주차영역 중의 비어 있는 주차공간을 확정하는 절차를 더 포함하는,
영상처리시스템. - 영상처리시스템으로서,
지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하도록 구성되는 획득모듈;
상기 영상의 복수의 구역들을 확정하도록 구성되는 분할모듈;
상기 복수의 구역들에서 적어도 하나의 피사체를 식별하도록 구성되는 식별모듈; 및
상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하도록 구성되는 확정모듈로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 확정모듈을 포함하는
영상처리시스템. - 비일시적인 컴퓨터 판독가능매체로서,
수행가능한 명령어들을 포함하며,
상기 명령어들은 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서들로 하여금,
지면으로부터의 높이가 제1 조건을 만족시키는 카메라에 포착된 영상을 획득하는 절차;
상기 영상의 복수의 구역들을 확정하는 절차;
상기 복수의 구역들에서 적어도 하나의 피사체를 식별하는 절차; 및
상기 적어도 하나의 피사체 중의 하나의 피사체에 근거하여 상기 영상의 식별결과를 확정하는 절차로서, 상기 피사체의 적어도 일부분이 상기 복수의 구역들의 중첩영역 내에 있는, 상기 영상의 식별결과를 확정하는 절차를 포함하는 방법을 수행하게 하는,
비일시적인 컴퓨터 판독가능매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406602.7A CN113191221B (zh) | 2021-04-15 | 2021-04-15 | 基于全景相机的车辆检测方法、装置以及计算机存储介质 |
| CN202110406602.7 | 2021-04-15 | ||
| PCT/CN2021/119300 WO2022217834A1 (en) | 2021-04-15 | 2021-09-18 | Method and system for image processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230118881A true KR20230118881A (ko) | 2023-08-14 |
Family
ID=76977196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237021895A KR20230118881A (ko) | 2021-04-15 | 2021-09-18 | 영상처리방법과 영상처리시스템 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4226274A4 (ko) |
| KR (1) | KR20230118881A (ko) |
| CN (1) | CN113191221B (ko) |
| WO (1) | WO2022217834A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191221B (zh) * | 2021-04-15 | 2022-04-19 | 浙江大华技术股份有限公司 | 基于全景相机的车辆检测方法、装置以及计算机存储介质 |
| CN113706920B (zh) * | 2021-08-20 | 2023-08-11 | 云往(上海)智能科技有限公司 | 一种停车行为判断方法及智慧停车系统 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7460696B2 (en) * | 2004-06-01 | 2008-12-02 | Lumidigm, Inc. | Multispectral imaging biometrics |
| CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及系统 |
| CN104376554B (zh) * | 2014-10-16 | 2017-07-18 | 中海网络科技股份有限公司 | 一种基于图像纹理的违章停车检测方法 |
| IL238473A0 (en) * | 2015-04-26 | 2015-11-30 | Parkam Israel Ltd | A method and system for discovering and mapping parking areas |
| CN105678217A (zh) * | 2015-12-29 | 2016-06-15 | 安徽海兴泰瑞智能科技有限公司 | 一种车辆停车诱导定位方法 |
| CN107767673B (zh) * | 2017-11-16 | 2019-09-27 | 智慧互通科技有限公司 | 一种基于多摄像机的路侧停车管理方法、装置及系统 |
| CN110717361A (zh) * | 2018-07-13 | 2020-01-21 | 长沙智能驾驶研究院有限公司 | 本车停车检测方法、前车起步提醒方法及存储介质 |
| CN109165645B (zh) * | 2018-08-01 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置以及相关设备 |
| US11288525B2 (en) * | 2018-10-31 | 2022-03-29 | Texas Instruments Incorporated | Object detection for distorted images |
| CN110517288B (zh) * | 2019-07-23 | 2021-11-02 | 南京莱斯电子设备有限公司 | 基于全景多路4k视频图像的实时目标检测跟踪方法 |
| CN111653103A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大华技术股份有限公司 | 一种目标对象的识别方法及装置 |
| CN111968132A (zh) * | 2020-07-28 | 2020-11-20 | 哈尔滨工业大学 | 一种基于全景视觉的无线充电对位的相对位姿解算方法 |
| CN112183409A (zh) * | 2020-09-30 | 2021-01-05 | 深圳道可视科技有限公司 | 基于全景影像的检测车位方法、电子设备及存储介质 |
| CN112330601B (zh) * | 2020-10-15 | 2024-03-19 | 浙江大华技术股份有限公司 | 一种基于鱼眼相机的停车检测方法、装置、设备及介质 |
| CN113191221B (zh) * | 2021-04-15 | 2022-04-19 | 浙江大华技术股份有限公司 | 基于全景相机的车辆检测方法、装置以及计算机存储介质 |
-
2021
- 2021-04-15 CN CN202110406602.7A patent/CN113191221B/zh active Active
- 2021-09-18 EP EP21936704.2A patent/EP4226274A4/en active Pending
- 2021-09-18 WO PCT/CN2021/119300 patent/WO2022217834A1/en unknown
- 2021-09-18 KR KR1020237021895A patent/KR20230118881A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191221B (zh) | 2022-04-19 |
| EP4226274A1 (en) | 2023-08-16 |
| WO2022217834A1 (en) | 2022-10-20 |
| CN113191221A (zh) | 2021-07-30 |
| EP4226274A4 (en) | 2024-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022078156A1 (en) | Method and system for parking space management | |
| CN110009561B (zh) | 一种监控视频目标映射到三维地理场景模型的方法及系统 | |
| US10949995B2 (en) | Image capture direction recognition method and server, surveillance method and system and image capture device | |
| KR20230118881A (ko) | 영상처리방법과 영상처리시스템 | |
| CN108985162A (zh) | 目标实时跟踪方法、装置、计算机设备及存储介质 | |
| CN111815707B (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| WO2021098079A1 (zh) | 一种利用双目立体相机构建栅格地图的方法 | |
| CN112261293B (zh) | 变电站远程巡检方法、装置和电子设备 | |
| CN113469201A (zh) | 图像采集设备偏移检测方法、图像匹配方法、系统和设备 | |
| US20230394829A1 (en) | Methods, systems, and computer-readable storage mediums for detecting a state of a signal light | |
| CN115375779B (zh) | 相机ar实景标注的方法及系统 | |
| CN113160048A (zh) | 一种缝合线引导的图像拼接方法 | |
| CN115619623A (zh) | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 | |
| CN115376109A (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN112085778A (zh) | 基于超像素和形态学的倾斜摄影违法建筑检测方法及系统 | |
| US7006706B2 (en) | Imaging apparatuses, mosaic image compositing methods, video stitching methods and edgemap generation methods | |
| KR20010000443A (ko) | 항공측량 영상과 라이더 데이터 융합에 의한 건물추출시스템과 방법 및 그 프로그램 소스를 저장한 기록매체 | |
| Wang et al. | Automatic registration of point cloud and panoramic images in urban scenes based on pole matching | |
| CN116912517B (zh) | 相机视野边界的检测方法及装置 | |
| CN114066930A (zh) | 一种平面目标跟踪方法、装置、终端设备及存储介质 | |
| CN116645499A (zh) | 边界框的确定方法、装置、设备、存储介质和程序产品 | |
| CN114611635B (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
| CN115719442A (zh) | 一种基于单应性变换矩阵的交叉路口目标融合方法及系统 | |
| CN113011445A (zh) | 标定方法、识别方法、装置及设备 | |
| CN114266721A (zh) | 一种基于超像素的栅栏检测方法、装置、存储介质及设备 |