KR20240057107A - 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법 - Google Patents
딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법 Download PDFInfo
- Publication number
- KR20240057107A KR20240057107A KR1020220137427A KR20220137427A KR20240057107A KR 20240057107 A KR20240057107 A KR 20240057107A KR 1020220137427 A KR1020220137427 A KR 1020220137427A KR 20220137427 A KR20220137427 A KR 20220137427A KR 20240057107 A KR20240057107 A KR 20240057107A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pixels
- coordinates
- parking control
- normalized
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 31
- 238000002372 labelling Methods 0.000 claims abstract description 68
- 238000013136 deep learning model Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000000873 masking effect Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000007787 solid Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
딥러닝 기반 차량 인식을 통한 주차 관제 시스템은, 상기 적어도 하나의 제 1 프로세서는, 제 1 데이터셋을 입력받아 학습 데이터를 생성하고, 상기 학습 데이터를 입력하여 딥러닝 모델을 학습시키되, 상기 제 1 데이터셋은, 입력 영상 및 상기 입력 영상에서의 차량 위치의 라벨링 데이터인 제 1 라벨링 데이터를 포함하고, 상기 학습 데이터는, 상기 입력 영상 중 적어도 일부의 부분을 왜곡시켜 생성된 출력 영상 및 상기 출력 영상에서의 차량 위치의 라벨링 데이터인 제 2 라벨링 데이터를 포함하는 제 2 데이터셋이다.
Description
본 명세서에서 개시되는 실시예는, 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법에 관한 것이다.
주차장의 만공차 여부를 확인해주는 시스템이 보편화됨에 따라 CCTV 영상기반 주차 관리를 효율적으로 하는 방법이 필요하게 되었다.
보통의 주차 관제용 CCTV 카메라는 표준 렌즈, 광각 렌즈, 어안 렌즈를 많이 사용하는데, 이 중 어안 렌즈를 활용하면 보다 넓은 영역을 관제할 수 있기 때문에 효율적으로 시스템을 구축할 수 있다.
어안 렌즈로 취득한 영상은 넓은 영역을 표시할 수 있는 반면 중심부에서 엣지 가장자리로 향하면서 영상 왜곡이 필연적으로 발생한다. 이와 같은 왜곡 영상을 보정하기 위해서는 복잡한 영상 처리 기술과 시스템의 연산 자원이 필요하다.
아울러, 딥러닝 모델을 학습시키기 위한 어안 렌즈용 데이터셋을 구성해야 한다. 이에 의해 시스템 구축까지 시간 및 데이터 라벨링에 따른 인력 자원이 요구된다.
본 명세서에서 개시되는 실시예는, 기존에 이미 존재하는 이미지를 어안 렌즈용 이미지로 변환하여 데이터셋을 구축하여 딥러닝 모델을 효율적으로 학습할 수 있고, 왜곡 영상을 보정하기 위해서는 복잡한 영상 처리 기술과 시스템의 연산 자원을 필요로 하지 않는, 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법을 제공하는 것에 그 목적이 있다.
딥러닝 기반 차량 인식을 통한 주차 관제 시스템은, 적어도 하나의 제 1 프로세서를 포함하되, 상기 적어도 하나의 제 1 프로세서는, 제 1 데이터셋을 입력받아 학습 데이터를 생성하고, 상기 학습 데이터를 입력하여 딥러닝 모델을 학습시킨다. 여기서, 상기 제 1 데이터셋은, 입력 영상 및 상기 입력 영상에서의 차량 위치의 라벨링 데이터인 제 1 라벨링 데이터를 포함하고, 상기 학습 데이터는, 상기 입력 영상 중 적어도 일부의 부분을 왜곡시켜 생성된 출력 영상 및 상기 출력 영상에서의 차량 위치의 라벨링 데이터인 제 2 라벨링 데이터를 포함하는 제 2 데이터셋이다.
구체적으로, 상기 적어도 하나의 제 1 프로세서는, 가로 픽셀의 수와 세로 픽셀의 수가 동일하게 되도록 상기 입력 영상의 크기를 조정하여 조정 영상을 생성하고, 상기 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 미만의 상기 조정 영상의 픽셀에 대해서는 왜곡을 시켜 왜곡 영상을 생성하고, 상기 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 이상의 상기 조정 영상의 픽셀에 대해서는 미리 설정된 픽셀값을 설정하여 마스킹 영상을 생성하여, 상기 왜곡 영상과 상기 마스킹 영상을 합하여 상기 출력 영상을 생성한다.
아울러, 상기 적어도 하나의 제 1 프로세서는, 상기 적어도 하나의 제 1 프로세서는, 상기 제 1 라벨링 데이터로부터 상기 제 2 라벨링 데이터를 생성한다.
또한, 상기 적어도 하나의 제 1 프로세서는, 다수의 제 1 좌표에 의해 구성되는 직사각형을 상기 출력 영상에 대응하는 도형으로 변환하고, 상기 도형의 적어도 일부분과는 접하고 나머지 부분은 내부에 포함하는 가장 작은 직사각형의 꼭지점들 중 다수 위치인 다수의 제 2 좌표를 산출한다. 여기서, 상기 제 1 라벨링 데이터는, 상기 차량의 위치를 나타내는 상기 다수의 제 1 좌표의 정보를 포함하고,상기 제 2 라벨링 데이터는, 상기 다수의 제 2 좌표의 정보를 포함한다.
아울러, 상기 왜곡 영상에서 각각의 픽셀의 위치는, 상기 조정 영상의 중심으로부터 상기 조정 영상의 각 픽셀들의 유클리드 거리에 따라 설정된다.
상기 적어도 하나의 제 1 프로세서는, 상기 조정 영상에 포함된 픽셀의 좌표들을 정규화하고, 정규화된 픽셀들의 좌표 각각과 상기 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리를 산출하고, 산출된 유클리드 거리가 제 3 거리 이상인 해당 정규화된 픽셀들에 대해서는 해당 정규화된 픽셀들에 대응하는 상기 조정 영상의 해당 픽셀들에 미리 설정된 픽셀값을 설정한다.
또한, 상기 적어도 하나의 제 1 프로세서는, 정규화된 픽셀들의 좌표 각각과 상기 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리가 제 3 거리 미만인 해당 정규화된 픽셀들에 대해서는, 해당 정규화된 픽셀들의 좌표 각각을 극좌표(r,θ)로 변환하고, 해당 정규화된 픽셀들의 좌표 각각이 변환된 극좌표(r,θ) 각각에 대해 해당 r을 미리 설정된 제 1 값으로 치환한다. 여기서, 상기 제 1 값은, 상기 정규화된 픽셀들의 좌표 중 중심 좌표와 해당 정규화된 픽셀 사이의 유클리드 거리에 따라 설정된다.
상기 적어도 하나의 제 1 프로세서는, 해당 r을 미리 설정된 제 1 값으로 치환한 극좌표값을 직교 좌표로 변환하고, 상기 직교 좌표로 변환된 값을 상기 조정 영상의 크기에 대응하도록 변한다.
상기 딥러닝 기반 차량 인식을 통한 주차 관제 시스템에 있어서, 적어도 하나의 제 2 프로세서를 더 포함하되, 상기 적어도 하나의 제 2 프로세서는, 어안 렌즈를 통해 획득된 주차장 영상을 전처리하고, 전처리된 상기 주차장 영상을 입력받아 딥러닝 모델을 이용하여 차량을 검출하고, 상기 딥러닝 모델에 의해 검출된 차량과 미리 설정된 주차 영역 사이의 IoU(Intersection over Union)를 산출한다.
구체적으로, 상기 전처리는, 미리 설정된 타원 또는 다각형의 도형의 내부에 위치하는 상기 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들은 그대로 출력하고, 상기 타원 또는 상기 다각형의 도형의 외부에 위치하는 상기 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들에 대해서는 미리 설정된 픽셀값을 설정하여 실시된다.
본 명세서에서 개시되는 실시예의 주차 관제 시스템 및 그 관제 방법에 따르면, 기존에 이미 존재하는 이미지를 어안 렌즈용 이미지로 변환하여 데이터셋을 구축하여 딥러닝 모델을 효율적으로 학습할 수 있고, 왜곡 영상을 보정하기 위해서는 복잡한 영상 처리 기술과 시스템의 연산 자원을 필요로 하지 않는다.
도 1은 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 시스템의 구성도.
도 2는 제 1 데이터셋에 대한 설명도.
도 3은 제 2 데이터셋에 대한 설명도.
도 4는 조정 영상에서의 유클리드 거리에 대한 설명도.
도 5는 k값에 따른 출력 영상의 예시도.
도 6은 제 1 데이터셋으로부터 전처리에 의해, 제 2 데이터셋으로 변환 예시도.
도 7은 전처리에 대한 설명도.
도 8은 IoU에 대한 설명도.
도 9는 미리 설정된 주차 영역에 대한 설명도
도 10은 학습 단계(S1000)의 흐름도.
도 11은 추론 단계(S2000)의 흐름도.
도 2는 제 1 데이터셋에 대한 설명도.
도 3은 제 2 데이터셋에 대한 설명도.
도 4는 조정 영상에서의 유클리드 거리에 대한 설명도.
도 5는 k값에 따른 출력 영상의 예시도.
도 6은 제 1 데이터셋으로부터 전처리에 의해, 제 2 데이터셋으로 변환 예시도.
도 7은 전처리에 대한 설명도.
도 8은 IoU에 대한 설명도.
도 9는 미리 설정된 주차 영역에 대한 설명도
도 10은 학습 단계(S1000)의 흐름도.
도 11은 추론 단계(S2000)의 흐름도.
이하, 첨부된 도면을 참조하면서 본 개시의 실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법에 대해 상세히 설명하기로 한다. 본 개시의 하기의 실시예는 본 개시를 구체화하기 위한 것일 뿐 본 개시의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 개시의 상세한 설명 및 실시예로부터 본 개시가 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 개시의 권리 범위에 속하는 것으로 해석된다.
먼저, 도 1은 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 시스템(100)의 구성도를 나타낸다.
도 1로부터 알 수 있는 바와 같이, 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 시스템(100)은, 학습부(10) 및 추론부(20)를 포함하여 구성된다.
학습부(10)는, 적어도 하나의 제 1 프로세서(P1)를 포함하는 제 1 컴퓨팅 장치(C1)를 포함하여 구성될 수 있다.
적어도 하나의 제 1 프로세서(P1)는, 학습 데이터를 생성하고, 학습 데이터를 입력하여 딥러닝 모델을 학습시킨다. 학습된 딥러닝 모델의 파라미터는, 제 1 컴퓨팅 장치(C1)의 메모리에 저장될 수 있다.
먼저, 적어도 하나의 제 1 프로세서(P1)는, 제 1 데이터셋을 입력받는다. 제 1 데이터셋은, 입력 영상 및 입력 영상에서의 차량 위치의 라벨링 데이터인 제 1 라벨링 데이터를 포함한다. 입력 영상은, 어안 렌즈가 아닌 표준 렌즈를 채택한 카메라를 사용하여 획득된 영상일 수 있다.
도 2는 제 1 데이터셋에 대한 설명도이다.
제 1 라벨링 데이터는, 입력 영상에서의 차량의 위치를 감싸는 직사각형의 좌표 정보로, 4개의 직사각형의 꼭지점 중, 대향하는 2개의 꼭지점의 좌표를 포함한다.
즉, 도 2에서 객체의 크기 및 위치인 제 1 라벨링 데이터는, 4개의 수치, 즉 2개의 좌표인 (81,85), (428,292)로 구성된다. 딥러닝 모델 학습은 영상과 라벨링 데이터를 입력하여 추론된 결과의 수치가 라벨링 데이터(좌표)와 얼마나 유사한지를 이용하여 학습한다. 아울러, 도 2에서 입력 영상은 500픽셀×353픽셀로 예시되었다.
참고로, 도 2에 표시된 직사각형을 구성하는 선은 사용자가 제 1 라벨링 데이터의 영역을 파악하기 위해 임의로 그린 것이다. 실제 영상에서는 선은 표시되지 않는다.
적어도 하나의 제 1 프로세서(P1)는, 제 1 데이터셋을 전처리하여, 제 2 데이터셋을 생성하고, 이 제 2 데이터셋이 딥러닝 모델의 학습 데이터로서 사용된다.
제 2 데이터셋은, 입력 영상 중 적어도 일부의 부분을 왜곡시켜 생성된 출력 영상 및 출력 영상에서의 차량 위치의 라벨링 데이터인 제 2 라벨링 데이터를 포함하여 구성된다.
적어도 하나의 제 1 프로세서(P1)는, 제 1 라벨링 데이터로부터 제 2 라벨링 데이터를 생성하고, 출력 영상을 제 2 라벨링 데이터로 라벨링하여 제 2 데이터셋을 생성한다.
도 3은 제 2 데이터셋에 대한 설명도이다.
제 2 데이터셋은, 입력 영상에 대한 제 1 데이터셋으로부터 어안 렌즈에 의해 획득된 영상을 흉내내기 위해 전처리가 실시된 데이터이다. 어안 렌즈에 의해 획득된 영상을 추론부(20)에서 이용하기 위해서는, 딥러닝 모델을 학습시키기 위한 어안 렌즈용 데이터셋을 구성해야 한다. 이에 의해 시스템 구축까지 시간 및 데이터 라벨링에 따른 인력 자원이 요구된다. 그러나, 기존에 이미 존재하는 영상을 어안 렌즈용 영상으로 변환하여 제 2 데이터셋을 구축하는 것에 의해, 딥러닝 모델을 효율적으로 학습시킬 수 있다
도 3에서 제 2 라벨링 데이터는, 하얀 실선 상의 4개의 수치, 즉 2개의 좌표인 (25,49), (333, 326)로 구성된다.
하기에 적어도 하나의 제 1 프로세서(P1)에 의한 제 2 데이터셋의 생성 과정에 대해, 구체적으로 설명하기로 한다.
먼저, 적어도 하나의 제 1 프로세서(P1)는, 가로 픽셀의 수와 세로 픽셀의 수가 동일하게 되도록 입력 영상의 크기를 조정하여 조정 영상을 생성한다. 예를 들면, 입력 영상의 크기가 500픽셀×353픽셀인 경우, 조정 영상의 크기는 353픽셀×353픽셀로 조정될 수 있다. 즉, 입력 영상으로부터 픽셀 수가 많은 가로 방향의 픽셀을 일종의 압축 처리를 하여, 조정 영상을 생성할 수 있다.
아울러, 적어도 하나의 제 1 프로세서(P1)는, 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 미만의 조정 영상의 픽셀에 대해서는 왜곡을 시켜 왜곡 영상을 생성한다. 또한, 적어도 하나의 제 1 프로세서(P1)는, 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 이상의 조정 영상의 픽셀에 대해서는 미리 설정된 픽셀값을 설정하여 마스킹 영상을 생성하여, 왜곡 영상과 마스킹 영상을 합하여 출력 영상을 생성한다. 참고로, 조정 영상의 크기와 출력 영상의 크기는 동일하다.
다만, 출력 영상의 생성을 위해 적어도 하나의 제 1 프로세서(P1)는, 조정 영상을 정규화할 수 있다. 즉, 적어도 하나의 제 1 프로세서(P1)는, 조정 영상에 포함된 픽셀의 좌표들을 정규화한다.
예를 들면, 정규화는 조정 영상이 미리 설정된 일정 크기 및 중심 좌표의 영상에 대응하는 좌표로 변환되도록 하여 실시될 수 있다. 예를 들면, 353픽셀×353픽셀의 조정 영상이라면 (0,0)으로부터 (352,352)의 좌표가 정규화에 의해 (-1,-1)로부터 (1,1)까지로 변환될 수 있다. 즉, 조정 영상이 미리 설정된 일정 크기인 2×2 및 중심 좌표 (0,0)의 영상으로 정규화되었다.
적어도 하나의 제 1 프로세서(P1)는, 정규화된 픽셀들의 좌표 각각과 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리를 산출하고, 산출된 유클리드 거리가 제 3 거리 이상인 해당 정규화된 픽셀들에 대해서는 해당 정규화된 픽셀들에 대응하는 조정 영상의 해당 픽셀들에 미리 설정된 픽셀값을 설정한다. 예를 들면, 산출된 유클리드 거리가 제 3 거리 이상인 경우에는, 조정 영상의 해당 픽셀에 대해서 '0'의 픽셀값이 설정될 수 있다. 즉, 산출된 유클리드 거리가 제 3 거리 이상인 경우에는, 조정 영상에 대해 마스킹 영상이 생성된다.
도 4는 조정 영상에서의 유클리드 거리에 대한 설명도이다. 참고로, 정규화된 픽셀들 사이에서의 제 3 거리는, 조정 영상에서의 제 2 거리에 대응한다.
아울러, 적어도 하나의 제 1 프로세서(P1)는, 정규화된 픽셀들의 좌표 각각과 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리가 제 3 거리 미만인 해당 정규화된 픽셀들에 대해서는, 해당 정규화된 픽셀들의 좌표 각각을 극좌표(r,θ)로 변환한다. 또한, 적어도 하나의 제 1 프로세서(P1)는, 정규화된 픽셀들의 좌표 각각이 변환된 극좌표(r,θ) 각각에 대해 해당 r을 미리 설정된 제 1 값(R')으로 치환하여, 극좌표(R',θ)를 생성한다.
제 1 값(R')은, 다음의 [수학식 1]과 같이 산출될 수 있다.
[수학식 1]에서, R은 해당 정규화된 픽셀과 중심 좌표 사이의 유클리드 거리, k는 미리 설정되는 상수값을 나타낸다. 즉, 제 1 값은, 정규화된 픽셀 각각에 대해 산출되어 설정되는 값으로, 정규화된 픽셀들의 좌표 중 중심 좌표와 해당 정규화된 픽셀 사이의 유클리드 거리에 따라 설정된다.
이러한 제 1 값의 설정에 의해, 왜곡 영상이 어안 렌즈에 의해 획득된 영상을 흉내낼 수 있다. 즉, 제 1 값은 어안 렌즈 효과에 따른 길이값이라고 할 수 있다.
도 5는 k값에 따른 출력 영상의 예시도를 나타낸다.
도 5로부터 알 수 있는 바와 같이, k값이 클수록 출력 영상 중 왜곡 영상 부분의 왜곡이 심해진다. k는 어안 렌즈 효과 계수라고 할 수 있다. k=0 일 경우에는 조정 영상과 동일하며, 최대 k=1 일 경우 구의 곡면과 같은 영상을 얻게 된다.
어안 렌즈 효과라는 것은, 중심에 가까울수록 영상이 늘어나고 원 둘레에 가까울수록 영상이 압축되는 효과이다. 즉, 중심에서는 바깥으로 밀어내고, 중심 바깥쪽에서 중심 가까이의 픽셀들을 끌어당기는 효과이다. 상수 k를 사용자가 설정하여 어안 렌즈 효과 정도를 조절한다. k는 [0:1] 범위이며 k=0이면 효과를 가하지 않은 원본과 동일하다.
적어도 하나의 제 1 프로세서(P1)는, 해당 r을 미리 설정된 제 1 값인 R'으로 치환한 극좌표값(R',θ)을 직교 좌표로 변환하고, 직교 좌표로 변환된 값을 조정 영상의 크기에 대응하도록 변환한다. 직교 좌표로 변환된 값을 조정 영상의 크기에 대응하도록 변환하는 과정은, 상술한 정규화의 역과정으로 비정규화 과정이라고 할 수 있다. 예를 들면, 정규화에 의해 (-1,-1)로부터 (1,1)까지로 변환된 픽셀들은, (0,0)으로부터 (352,352)의 좌표로 비정규화할 수 있다.
즉, 적어도 하나의 제 1 프로세서(P1)는, 정규화된 픽셀들의 좌표 각각과 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리가 제 3 거리 미만인 해당 정규화된 픽셀들에 대해서, 왜곡 영상을 생성한다.
결과적으로는, 적어도 하나의 제 1 프로세서(P1)에 의해, 조정 영상의 중심으로부터 조정 영상의 각 픽셀들의 유클리드 거리에 따라, 왜곡 영상에서의 해당 픽셀의 위치를 설정하는 것에 의해, 왜곡 영상이 생성된다. 즉, 왜곡 영상에서 각각의 픽셀의 위치는, 조정 영상의 중심으로부터 조정 영상의 각 픽셀들의 유클리드 거리에 따라 설정된다.
아울러, 적어도 하나의 제 1 프로세서(P1)는, 다수의 제 1 좌표에 의해 구성되는 직사각형을 출력 영상에 대응하는 도형으로 변환하고, 다수의 제 2 좌표를 산출한다. 여기서 다수의 제 1 좌표는 제 1 라벨링 데이터에 포함된 객체의 위치를 나타내는 직사각형의 꼭지점 좌표이다. 아울러, 다수의 제 2 좌표는, 가장 작은 직사각형의 꼭지점들 중 다수의 위치이다. 여기서, 가장 작은 직사각형은 도형의 적어도 일부분과는 접하고, 도형의 나머지 부분은 내부에 포함하는 직사각형 중 가장 크기가 작은 직사각형을 이른다. 도형의 적어도 일부분과는 접하고, 도형의 나머지 부분은 내부에 포함하는 가장 작은 직사각형에 의해, 도 3으로부터 알 수 있는 바와 같이, 출력 영상에서 객체인 차량의 위치를 알 수 있다. 여기서 도형은 닫힌 폐곡선 형상이다. 아울러, 다수의 제 2 좌표에 의해 구성되는 직사각형은, 도형을 외접하는 형태가 된다.
제 2 라벨링 데이터는, 다수의 제 2 좌표의 정보를 포함한다. 즉, 출력 영상에서 객체의 크기 및 위치인 제 2 라벨링 데이터는 도 3에서 하얀 실선의 4개의 수치, 즉 2개의 좌표인 (25,49), (333,326)로 구성된다.
즉, m픽셀×m픽셀의 출력 영상에서 제 1 라벨링 데이터를 출력 영상의 크기인 정사각형 척도에 맞게 변환된 직후의 도형의 객체 좌표(xmin, ymin, xmax, ymax)라 하면, 보정된 객체 좌표 (xmin',ymin',xmax', ymax')가 제 2 라벨링 데이터가 된다.
여기서, xmin'은 도형의 x 좌표의 최소값, ymin'은 도형의 y 좌표의 최소값, xmax'은 도형의 x 좌표의 최대값, ymax'은 도형의 y 좌표의 최대값이 된다.
참고로, 도 3에서 초록 실선은 제 1 라벨링 데이터를 조정 영상에 대응하도록 변환한 결과이다. 아울러, 파란 실선은 제 1 라벨링 데이터를 어안 렌즈 효과에 의한 출력 영상에 대응하도록 변환한 결과인 도형이다. 초록 실선 및 파란 실선의 경우 어안 렌즈 효과로 인해 차량 영역이 어떻게 변환되었는지 설명하기 위해 표시하였다.
아울러, 파란 점선은 어안 렌즈 효과를 가한 좌표를 그대로 학습 데이터셋에 저장할 경우 딥러닝 모델이 학습하게 될 차량의 위치 및 크기이다. 즉, 파란 점선에 의해 라벨링 데이터를 작성하면, 잘못된 라벨링을 초래한다. 즉, 어안 렌즈 효과를 가한 좌표는 어안 렌즈 효과를 받은 객체의 영역을 실제보다 좁게 표현하므로 이를 보정해야 한다.
하얀 실선은 파란 실선의 영역을 외접하는 가장 작은 직사각형으로, 이 직사각형의 좌표가 보정된 제 2 라벨링 데이터로 올바른 라벨링 데이터에 해당한다.
도 6은 제 1 데이터셋으로부터 전처리에 의해, 제 2 데이터셋으로 변환 예시도이다.
참고로, 도 6의 영상에서의 파란 실선 및 하얀 실선은, 제 1 라벨링 데이터 및 제 2 라벨링 데이터를 설명하기 위한 선들일 뿐 실제 영상에 표시되는 선은 아니다.
추론부(20)는, 적어도 하나의 제 2 프로세서(P2)를 포함하는 제 2 컴퓨팅 장치(C2)를 포함하여 구성될 수 있다.
참고로, 적어도 하나의 제 1 프로세서(P1)와 적어도 하나의 제 2 프로세서(P2)는, 동일한 프로세서일 수도 있고, 상이한 프로세서일 수도 있다. 즉, 제 1 컴퓨팅 장치(C1)와 제 2 컴퓨팅 장치(C2)는, 동일한 컴퓨팅 장치를 사용할 수도 있고, 상이한 컴퓨팅 장치를 이용할 수도 있다.
적어도 하나의 제 2 프로세서(P2)는, 어안 렌즈를 통해 획득된 주차장 영상을 전처리한다.
도 7은 전처리에 대한 설명도이다.
전처리는, 미리 설정된 타원 또는 다각형의 도형의 내부에 위치하는 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들은 그대로 출력하고, 타원 또는 다각형의 도형의 외부에 위치하는 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들에 대해서는 미리 설정된 픽셀값을 설정하여 실시된다. 즉, 타원 또는 다각형의 도형의 외부에 위치하는 해당 픽셀에 대해서 '0'의 픽셀값이 설정될 수 있다. 즉, 타원 또는 다각형의 도형의 외부에 위치하는 해당 픽셀은, 제로 패딩 픽셀이 된다.
참고로 도 7에서는 원형의 도형을 사용하였다.
아울러, 적어도 하나의 제 2 프로세서(P2)는, 딥러닝 모델을 이용하여 전처리된 영상을 입력받아 차량을 검출한다.
즉, 적어도 하나의 제 2 프로세서(P2)는, 보정하지 않은 어안 렌즈 영상으로 학습된 딥러닝 모델의 가중치 파일을 저장한다. 입력 영상은 어안 렌즈에 의해 획득된 영상으로 원형으로 왜곡된 형태이지만, 입력 받은 영상은 필요할 경우 원형 바깥의 픽셀값을 '0'으로 수정하는 것에 의해, 왜곡된 부분을 제외할 수 있다.
참고로 딥러닝 모델은, 인공지능 가속기(Neural Processing Unit, NPU)를 이용할 수 있다.
적어도 하나의 제 2 프로세서(P2)는, 딥러닝 모델에 의해 검출된 차량과 미리 설정된 주차 영역 사이의 IoU(Intersection over Union)를 산출하여, 주차 영역의 만공차 여부를 판단한다.
도 8은 IoU에 대한 설명도이다. 아울러, 도 9는 미리 설정된 주차 영역에 대한 설명도이다.
즉, IoU는, 두 영역이 얼마나 동일한지 판별하기 위하여 두 영역의 교집합을 합집합으로 나눈 수치이다. 예를 들면, 적어도 하나의 제 2 프로세서(P2)는, 검출된 차량과 미리 설정된 주차 영역 사이의 IoU가 일정값 이상이면 만차로, 일정값 미만이면 공차로 판단할 수 있다. 참고로 도 9에서, 미리 설정된 주차 영역은, ROI_1 내지 ROI_6으로 설정되었다.
아울러, 적어도 하나의 제 2 프로세서(P2)는, 만공차 여부를 OSD(On Screen Display)에 표시하여 사용자가 시각적으로 주차 여부를 파악할 수 있도록 영상 출력부(미도시)로 해당 덩보를 전송한다.
하기에 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 방법에 대해 설명하기로 한다.
일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 방법은, 상술한 일실시예에 따른 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 시스템(100)을 이용하므로 별도의 설명이 없더라도 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 시스템(100)의 모든 특징을 포함하고 있음은 물론이다.
아울러, 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 방법은, 적어도 하나의 프로세서에 의해 실시되는 컴퓨터 프로그램의 형태로 구현될 수 있다.
일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 방법은, 학습 단계(S1000) 및 추론 단계(S2000)를 포함한다.
도 10은 학습 단계(S1000)의 흐름도를 나타낸다.
구체적으로 학습 단계(S1000)는, 학습 데이터를 생성하는 단계(S1100); 및 학습 데이터를 입력하여, 딥러닝 모델을 학습시키는 단계(S1200);를 포함한다.
학습 데이터는, 입력 영상 중 적어도 일부의 부분을 왜곡시켜 생성된 출력 영상을 포함하는 제 2 데이터셋이다
구체적으로, S1100 단계는, 제 1 데이터셋을 입력받는 단계(S1110); 가로 픽셀의 수와 세로 픽셀의 수가 동일하게 되도록 입력 영상의 크기를 조정하여 조정 영상을 생성하는 단계(S1120); 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 미만의 조정 영상의 픽셀에 대해서는 왜곡을 시켜 왜곡 영상을 생성하고, 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 이상의 조정 영상의 픽셀에 대해서는 미리 설정된 픽셀값을 설정하여 마스킹 영상을 생성하여, 왜곡 영상과 마스킹 영상을 합하여 출력 영상을 생성하는 단계(S1130); 및 입력 영상에서의 객체 위치의 라벨링 데이터인 제 1 라벨링 데이터로부터 제 2 라벨링 데이터를 생성하고, 출력 영상을 제 2 라벨링 데이터로 라벨링하여 제 2 데이터셋을 생성하는 단계(S1140);를 포함한다.
제 1 데이터셋은, 입력 영상 및 입력 영상에서의 차량 위치의 라벨링 데이터인 제 1 라벨링 데이터를 포함한다. 아울러, 제 2 데이터셋은 입력 영상 중 적어도 일부의 부분을 왜곡시켜 생성된 출력 영상 및 출력 영상에서의 차량 위치의 라벨링 데이터인 제 2 라벨링 데이터를 포함한다.
S1130 단계에서는, 조정 영상의 중심으로부터 조정 영상의 각 픽셀들의 유클리드 거리에 따라, 해당 픽셀의 왜곡 영상에서의 위치를 설정한다.
구체적으로 S1130 단계는, 조정 영상에 포함된 픽셀의 좌표들을 정규화하는 단계(S1131); 정규화된 픽셀들의 좌표 각각과 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리를 산출하는 단계(S1132); S1132 단계에서 산출된 유클리드 거리가 제 3 거리 미만인 지 여부를 판단하는 단계(S1133); 및 S1133 단계에서 판단 결과 산출된 산출된 유클리드 거리가 제 3 거리 이상인 해당 정규화된 픽셀들에 대해서는, 해당 정규화된 픽셀들에 대응하는 조정 영상의 해당 픽셀들에 미리 설정된 픽셀값을 설정하는 단계(S1134);를 포함한다.
아울러, S1130 단계는, S1133 단계에서 판단 결과 산출된 유클리드 거리가 제 3 거리 미만인 해당 정규화된 픽셀들에 대해서는, 제 1 값을 산출하는 단계(S1135); S1133 단계에서 판단 결과 산출된 유클리드 거리가 제 3 거리 미만인 해당 정규화된 픽셀들에 대해서는, 해당 정규화된 픽셀들의 좌표 각각을 극좌표(r,θ)로 변환하고, 정규화된 픽셀들의 좌표 각각이 변환된 극좌표 각각에 대해 해당 r을 미리 설정된 제 1 값으로 치환하는 단계(S1136); 해당 r을 제 1 값으로 치환한 극좌표값을 직교 좌표로 변환하는 단계(S1137); S1137 단계에서 직교 좌표로 변환된 값을 S1120 단계의 크기가 조정 영상의 크기에 대응하도록 변환하는 단계(S1138); 및 반복 횟수가 영상의 픽셀 수 이상인 지를 판단하는 단계(S1139);를 더 포함한다.
제 1 값은, 정규화된 픽셀들의 좌표 중 중심 좌표와 해당 정규화된 픽셀 사이의 유클리드 거리에 따라 설정된다.
아울러, S1139 단계에서의 반복 횟수는, 조정 영상의 모든 픽셀을 변환해야 하기 때문에 m픽셀×m픽셀의 조정 영상에 대해서는 m2회가 설정되어야 할 것이다.
또한, S1140 단계는, 제 1 라벨링 데이터에 포함된 객체의 위치를 나타내는 다수의 제 1 좌표에 의해 구성되는 직사각형을 출력 영상에 대응하는 도형으로 변환하는 단계(S1141); 및 S1141 단계에서 변환된 도형의 적어도 일부분과는 접하고 나머지 부분은 내부에 포함하는 가장 작은 직사각형의 꼭지점들 중 다수의 위치인 다수의 제 2 좌표를 산출하여, 제 2 라벨링 데이터를 생성하는 단계(S1142);를 포함한다.
제 2 라벨링 데이터는, 다수의 제 2 좌표의 정보를 포함한다.
도 11은 추론 단계(S2000)의 흐름도를 나타낸다.
구체적으로 추론 단계(S2000)는, 어안 렌즈를 통해 주차장 영상을 획득하는 단계(S2100); 어안 렌즈를 통해 획득된 주차장 영상을 전처리하는 단계(S2200); 딥러닝 모델이, 전처리된 영상을 입력받아 차량을 검출하는 단계(S2300); 검출된 차량과 미리 설정된 주차 영역 사이의 IoU(Intersection over Union)를 산출하는 단계(S2400); 산출된 IoU를 이용하여, 해당 주차 영역의 만차 또는 공차 여부를 판단하는 단계(S2500); 주차 영역의 만공차 여부를 어안 렌즈 영상 기반 OSD로 출력하는 단계(S2600); 및 만공차 정보를 관제 시스템으로 전송하는 단계(S2700);를 포함한다.
S2200 단계에서의 전처리는, 미리 설정된 타원 또는 다각형의 도형의 내부에 위치하는 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들은 그대로 출력하고, 타원 또는 다각형의 도형의 외부에 위치하는 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들에 대해서는 미리 설정된 픽셀값을 설정하여 실시된다.
아울러, S2500 단계는, 산출된 IoU 값과 역치를 비교하는 단계(S2510); S2510 단계에서의 비교 결과 IoU가 역치를 초과하는 경우, 해당 주차 구역을 만차로 판단하는 단계(S2520); S2510 단계에서의 비교 결과 IoU가 역치를 이하인 경우, 해당 주차 구역을 공차로 판단하는 단계(S2530); 및 반복 횟수를 증가시키는 단계(S2540); 반복 횟수를 주차 구역 수와 비교하는 단계(S2550);를 포함한다.
S2550 단계에서의 비교 결과, 반복 횟수가 주차 구역 수 미만인 경우에는 S2510 단계로 돌아가고, 반복 횟수가 주차 구역 수 이상인 경우에는 다음 단계인, S2600 단계를 진행하게 된다.
상술한 바와 같은 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 시스템(100) 및 그 관제 방법의 특징을 정리하면 다음과 같다.
주차장의 만공차 여부를 확인해주는 시스템이 보편화 됨에 따라 CCTV 영상기반 주차 관리를 효율적으로 하는 방법이 필요하게 되었다. 보통의 주차 관제용 CCTV 카메라는 표준 렌즈, 광각 렌즈, 어안 렌즈를 많이 사용하는데 이 중 어안 렌즈를 활용하면 보다 넓은 영역을 관제할 수 있기 때문에 효율적으로 시스템을 구축할 수 있다. 어안 렌즈로 취득한 영상은 넓은 영역을 표시할 수 있는 반면 중심부에서 엣지 가장자리로 향하면서 영상 왜곡이 필연적으로 발생한다. 이와 같은 왜곡 영상을 보정하기 위해서는 복잡한 영상 처리 기술과 시스템의 연산 자원이 필요하다. 그러나 딥러닝을 이용하여 왜곡 영상 속 차량을 검출하는 기술을 이용하면 영상 보정 과정에 대한 오버헤드 없이 영상 내 차량을 효과적으로 검출할 수 있다.
아울러, 일반 렌즈보다 시야각이 넓은 어안 렌즈를 사용함으로써 카메라가 더 많은 주차영역을 관제할 수 있다. 이는 동일한 공간을 관제하기 위한 비용 절감에 효과적이다. 어안 렌즈 영상을 보정하지 않고 그대로 딥러닝 모델에 입력함으로써 영상을 보정하기 위한 오버헤드를 줄일 수 있다. 또한 보정하기 위한 영상 처리 과정이 생략됨에 따라 요구되는 시스템 연산 자원 역시 감소하고, 특히 엣지 디바이스에서 전력 소모 감소 및 전체 시스템 사용량이 감소하는 효과가 있다. 해당 방법 및 장치를 이용하여 검출된 차량이 주차 영역에 주차되었는지의 여부를 미리 설정한 주차 영역과의 IoU 수치로 판단함으로써 사용자의 편의에 맞게 주차 영역을 설정하고 이에 따른 만공차 여부를 쉽게 파악할 수 있다. 어안 렌즈 영상용 딥러닝 모델 학습시 필요한 데이터셋을 기존 데이터셋에 어안 렌즈 효과를 주는 전처리를 가하여 구성함으로써 별도의 데이터셋을 수집해야 하는 노력을 경감할 수 있다.
상술한 바와 같이, 일실시예에 따른 딥러닝 기반 차량 인식을 통한 주차 관제 시스템(100) 및 그 관제 방법에 따르면, 기존에 이미 존재하는 이미지를 어안 렌즈용 이미지로 변환하여 데이터셋을 구축하여 딥러닝 모델을 효율적으로 학습할 수 있고, 왜곡 영상을 보정하기 위해서는 복잡한 영상 처리 기술과 시스템의 연산 자원을 필요로 하지 않는 것을 알 수 있다.
100 : 주차 관제 시스템
10 : 학습부
20 : 추론부
C1 : 제 1 컴퓨팅 장치
P1 : 제 1 프로세서
C2 : 제 2 컴퓨팅 장치
P2 : 제 2 프로세서
10 : 학습부
20 : 추론부
C1 : 제 1 컴퓨팅 장치
P1 : 제 1 프로세서
C2 : 제 2 컴퓨팅 장치
P2 : 제 2 프로세서
Claims (20)
- 딥러닝 기반 차량 인식을 통한 주차 관제 시스템에 있어서,
적어도 하나의 제 1 프로세서를 포함하되,
상기 적어도 하나의 제 1 프로세서는,
제 1 데이터셋을 입력받아 학습 데이터를 생성하고, 상기 학습 데이터를 입력하여 딥러닝 모델을 학습시키되,
상기 제 1 데이터셋은,
입력 영상 및 상기 입력 영상에서의 차량 위치의 라벨링 데이터인 제 1 라벨링 데이터를 포함하고,
상기 학습 데이터는,
상기 입력 영상 중 적어도 일부의 부분을 왜곡시켜 생성된 출력 영상 및 상기 출력 영상에서의 차량 위치의 라벨링 데이터인 제 2 라벨링 데이터를 포함하는 제 2 데이터셋인, 주차 관제 시스템. - 제1항에 있어서,
상기 적어도 하나의 제 1 프로세서는,
가로 픽셀의 수와 세로 픽셀의 수가 동일하게 되도록 상기 입력 영상의 크기를 조정하여 조정 영상을 생성하고,
상기 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 미만의 상기 조정 영상의 픽셀에 대해서는 왜곡을 시켜 왜곡 영상을 생성하고, 상기 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 이상의 상기 조정 영상의 픽셀에 대해서는 미리 설정된 픽셀값을 설정하여 마스킹 영상을 생성하여, 상기 왜곡 영상과 상기 마스킹 영상을 합하여 상기 출력 영상을 생성하는, 주차 관제 시스템. - 제2항에 있어서,
상기 적어도 하나의 제 1 프로세서는,
상기 제 1 라벨링 데이터로부터 상기 제 2 라벨링 데이터를 생성하는, 주차 관제 시스템. - 제3항에 있어서,
상기 적어도 하나의 제 1 프로세서는,
다수의 제 1 좌표에 의해 구성되는 직사각형을 상기 출력 영상에 대응하는 도형으로 변환하고, 상기 도형의 적어도 일부분과는 접하고 나머지 부분은 내부에 포함하는 가장 작은 직사각형의 꼭지점들 중 다수 위치인 다수의 제 2 좌표를 산출하되,
상기 제 1 라벨링 데이터는,
상기 차량의 위치를 나타내는 상기 다수의 제 1 좌표의 정보를 포함하고,
상기 제 2 라벨링 데이터는,
상기 다수의 제 2 좌표의 정보를 포함하는, 주차 관제 시스템. - 제2항에 있어서,
상기 왜곡 영상에서 각각의 픽셀의 위치는,
상기 조정 영상의 중심으로부터 상기 조정 영상의 각 픽셀들의 유클리드 거리에 따라 설정된, 주차 관제 시스템. - 제2항에 있어서,
상기 적어도 하나의 제 1 프로세서는,
상기 조정 영상에 포함된 픽셀의 좌표들을 정규화하고, 정규화된 픽셀들의 좌표 각각과 상기 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리를 산출하고, 산출된 유클리드 거리가 제 3 거리 이상인 해당 정규화된 픽셀들에 대해서는 해당 정규화된 픽셀들에 대응하는 상기 조정 영상의 해당 픽셀들에 미리 설정된 픽셀값을 설정하는, 주차 관제 시스템. - 제6항에 있어서,
상기 적어도 하나의 제 1 프로세서는,
정규화된 픽셀들의 좌표 각각과 상기 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리가 제 3 거리 미만인 해당 정규화된 픽셀들에 대해서는, 해당 정규화된 픽셀들의 좌표 각각을 극좌표(r,θ)로 변환하고, 해당 정규화된 픽셀들의 좌표 각각이 변환된 극좌표(r,θ) 각각에 대해 해당 r을 미리 설정된 제 1 값으로 치환하되,
상기 제 1 값은,
상기 정규화된 픽셀들의 좌표 중 중심 좌표와 해당 정규화된 픽셀 사이의 유클리드 거리에 따라 설정되는, 주차 관제 시스템. - 제7항에 있어서,
상기 적어도 하나의 제 1 프로세서는,
해당 r을 미리 설정된 제 1 값으로 치환한 극좌표값을 직교 좌표로 변환하고, 상기 직교 좌표로 변환된 값을 상기 조정 영상의 크기에 대응하도록 변환하는, 주차 관제 시스템. - 딥러닝 기반 차량 인식을 통한 주차 관제 시스템에 있어서,
적어도 하나의 제 2 프로세서를 포함하되,
상기 적어도 하나의 제 2 프로세서는,
어안 렌즈를 통해 획득된 주차장 영상을 전처리하고, 전처리된 상기 주차장 영상을 입력받아 딥러닝 모델을 이용하여 차량을 검출하고, 상기 딥러닝 모델에 의해 검출된 차량과 미리 설정된 주차 영역 사이의 IoU(Intersection over Union)를 산출하는, 주차 관제 시스템. - 제9항에 있어서,
상기 전처리는,
미리 설정된 타원 또는 다각형의 도형의 내부에 위치하는 상기 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들은 그대로 출력하고, 상기 타원 또는 상기 다각형의 도형의 외부에 위치하는 상기 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들에 대해서는 미리 설정된 픽셀값을 설정하여 실시되는, 주차 관제 시스템. - 딥러닝 기반 차량 인식을 통한 주차 관제 방법에 있어서,
(a) 제 1 데이터셋을 입력받아 학습 데이터를 생성하는 단계; 및
(b) 상기 학습 데이터를 입력하여, 딥러닝 모델을 학습시키는 단계;를 포함하되,
상기 제 1 데이터셋은,
입력 영상 및 상기 입력 영상에서의 차량 위치의 라벨링 데이터인 제 1 라벨링 데이터를 포함하고,
상기 학습 데이터는,
상기 입력 영상 중 적어도 일부의 부분을 왜곡시켜 생성된 출력 영상 및 상기 출력 영상에서의 차량 위치의 라벨링 데이터인 제 2 라벨링 데이터를 포함하는 제 2 데이터셋인, 주차 관제 방법. - 제11항에 있어서,
상기 (a) 단계는,
(a-1) 가로 픽셀의 수와 세로 픽셀의 수가 동일하게 되도록 상기 입력 영상의 크기를 조정하여 조정 영상을 생성하는 단계; 및
(a-2) 상기 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 미만의 상기 조정 영상의 픽셀에 대해서는 왜곡을 시켜 왜곡 영상을 생성하고, 상기 조정 영상의 중심으로부터의 유클리드 거리가 제 2 거리 이상의 상기 조정 영상의 픽셀에 대해서는 미리 설정된 픽셀값을 설정하여 마스킹 영상을 생성하여, 상기 왜곡 영상과 상기 마스킹 영상을 합하여 상기 출력 영상을 생성하는 단계;를 포함하는, 주차 관제 방법. - 제12항에 있어서,
상기 (a) 단계는,
(a-3) 상기 제 1 라벨링 데이터로부터 상기 제 2 라벨링 데이터를 생성하는 단계;를 더 포함하는, 주차 관제 방법. - 제13항에 있어서,
상기 (a-3) 단계는,
(a-3-1) 다수의 제 1 좌표에 의해 구성되는 직사각형을 상기 출력 영상에 대응하는 도형으로 변환하는 단계; 및
(a-3-2) 상기 도형의 적어도 일부분과는 접하고 나머지 부분은 내부에 포함하는 가장 작은 직사각형의 꼭지점들 중 다수 위치인 다수의 제 2 좌표를 산출하는 단계;를 포함하되,
상기 제 1 라벨링 데이터는,
상기 차량의 위치를 나타내는 상기 다수의 제 1 좌표의 정보를 포함하고,
상기 제 2 라벨링 데이터는,
상기 다수의 제 2 좌표의 정보를 포함하는, 주차 관제 방법. - 제12항에 있어서,
상기 왜곡 영상에서 각각의 픽셀의 위치는,
상기 조정 영상의 중심으로부터 상기 조정 영상의 각 픽셀들의 유클리드 거리에 따라 설정된, 주차 관제 방법. - 제12항에 있어서,
상기 (a-2) 단계는,
(a-2-1) 상기 조정 영상에 포함된 픽셀의 좌표들을 정규화하는 단계;
(a-2-2) 정규화된 픽셀들의 좌표 각각과 상기 정규화된 픽셀들의 좌표 중 중심 좌표 사이의 유클리드 거리를 산출하는 단계; 및
(a-2-3) 상기 (a-2-2) 단계에서 산출된 유클리드 거리가 제 3 거리 이상인 해당 정규화된 픽셀들에 대해서는, 해당 정규화된 픽셀들에 대응하는 상기 조정 영상의 해당 픽셀들에 미리 설정된 픽셀값을 설정하는 단계;를 포함하는, 주차 관제 방법. - 제16항에 있어서,
상기 (a-2) 단계는,
(a-2-4) 상기 (a-2-2) 단계에서 산출된 유클리드 거리가 제 3 거리 미만인 해당 정규화된 픽셀들에 대해서는, 해당 정규화된 픽셀들의 좌표 각각을 극좌표(r,θ)로 변환하고, 해당 정규화된 픽셀들의 좌표 각각이 변환된 극좌표(r,θ) 각각에 대해 해당 r을 미리 설정된 제 1 값으로 치환하는 단계;를 더 포함하되,
상기 제 1 값은,
상기 정규화된 픽셀들의 좌표 중 중심 좌표와 해당 정규화된 픽셀 사이의 유클리드 거리에 따라 설정되는, 주차 관제 방법. - 제17항에 있어서,
상기 (a-2) 단계는,
(a-2-5) 상기 (a-2-4) 단계에서 해당 r을 미리 설정된 제 1 값으로 치환한 극좌표값을 직교 좌표로 변환하는 단계; 및
(a-2-6) 상기 (a-2-5) 단계에서 직교 좌표로 변환된 값을 상기 (a-1) 단계의 크기가 조정 영상의 크기에 대응하도록 변환하는 단계;를 더 포함하는, 주차 관제 방법. - 딥러닝 기반 차량 인식을 통한 주차 관제 방법에 있어서,
(c) 어안 렌즈를 통해 획득된 주차장 영상을 전처리하는 단계; 및
(d) 딥러닝 모델이, 상기 (c) 단계에서 전처리된 영상을 입력받아 차량을 검출하는 단계; 및
(e) 상기 (d) 단계에서 검출된 차량과 미리 설정된 주차 영역 사이의 IoU(Intersection over Union)를 산출하는 단계;를 포함하는, 주차 관제 방법. - 제19항에 있어서,
상기 (c) 단계에서의 상기 전처리는,
미리 설정된 타원 또는 다각형의 도형의 내부에 위치하는 상기 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들은 그대로 출력하고, 상기 타원 또는 상기 다각형의 도형의 외부에 위치하는 상기 어안 렌즈를 통해 획득된 주차장 영상 부분의 픽셀들에 대해서는 미리 설정된 픽셀값을 설정하여 실시되는, 주차 관제 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220137427A KR20240057107A (ko) | 2022-10-24 | 2022-10-24 | 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220137427A KR20240057107A (ko) | 2022-10-24 | 2022-10-24 | 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240057107A true KR20240057107A (ko) | 2024-05-02 |
Family
ID=91071763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220137427A KR20240057107A (ko) | 2022-10-24 | 2022-10-24 | 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240057107A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210153421A (ko) | 2020-06-10 | 2021-12-17 | 주식회사 엘지유플러스 | 영상 인식 기술을 이용한 주차 관리 시스템 및 장치 |
-
2022
- 2022-10-24 KR KR1020220137427A patent/KR20240057107A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210153421A (ko) | 2020-06-10 | 2021-12-17 | 주식회사 엘지유플러스 | 영상 인식 기술을 이용한 주차 관리 시스템 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246108B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN110363116B (zh) | 基于gld-gan的不规则人脸矫正方法、系统及介质 | |
| US10635935B2 (en) | Generating training images for machine learning-based objection recognition systems | |
| US11734851B2 (en) | Face key point detection method and apparatus, storage medium, and electronic device | |
| US10410354B1 (en) | Method and apparatus for multi-model primitive fitting based on deep geometric boundary and instance aware segmentation | |
| Krishna et al. | Face detection system on AdaBoost algorithm using Haar classifiers | |
| US11361587B2 (en) | Age recognition method, storage medium and electronic device | |
| CN111914748B (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN110826372B (zh) | 人脸特征点检测方法及装置 | |
| CN110443245B (zh) | 一种非限制场景下的车牌区域的定位方法、装置及设备 | |
| CN113962306A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN104881843A (zh) | 图像插值方法和图像插值装置 | |
| CN109766896B (zh) | 一种相似度度量方法、装置、设备和存储介质 | |
| CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
| CN105719248A (zh) | 一种实时的人脸变形方法及其系统 | |
| CN114037992A (zh) | 仪表示数识别方法、装置、电子设备及存储介质 | |
| CN116311412A (zh) | 一种融合3d注意力机制和空洞卷积的口罩佩戴检测方法 | |
| US20120106868A1 (en) | Apparatus and method for image correction | |
| KR20240057107A (ko) | 딥러닝 기반 차량 인식을 통한 주차 관제 시스템 및 그 관제 방법 | |
| CN110633705A (zh) | 一种低照度成像车牌识别方法及装置 | |
| CN112528707A (zh) | 图像处理方法、装置、设备及存储介质 | |
| US12033364B2 (en) | Method, system, and computer-readable medium for using face alignment model based on multi-task convolutional neural network-obtained data | |
| CN115690934A (zh) | 基于批量人脸识别的师生考勤打卡方法及装置 | |
| US11900564B2 (en) | Storage medium storing program, image processing apparatus, and training method of machine learning model | |
| CN113657137A (zh) | 数据处理方法、装置、电子设备及存储介质 |