KR102446500B1 - 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버 - Google Patents
열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버 Download PDFInfo
- Publication number
- KR102446500B1 KR102446500B1 KR1020200178841A KR20200178841A KR102446500B1 KR 102446500 B1 KR102446500 B1 KR 102446500B1 KR 1020200178841 A KR1020200178841 A KR 1020200178841A KR 20200178841 A KR20200178841 A KR 20200178841A KR 102446500 B1 KR102446500 B1 KR 102446500B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- thermal image
- reference line
- image
- vehicle object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000001931 thermography Methods 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 10
- 238000013145 classification model Methods 0.000 claims description 23
- 238000003702 image correction Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000008685 targeting Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 238000000926 separation method Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 기술적 측면에 따른 열화상 이미지를 이용한 차종 분류 시스템은, 이동 차량을 감지하고, 이동 차량에 대한 열화상 이미지를 생성하는 열화상 카메라 및 상기 열화상 이미지에서의 차량 객체의 위치가 기 설정된 기준과 차이가 존재하면 상기 차이에 대응하여 상기 차량 객체에 대하여 보정을 수행하고, 상기 열화상 이미지 또는 보정된 열화상 이미지를 대상으로 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 차종 분류 서버를 포함 할 수 있다. 본 발명에 따르면, 열화상 이미지에서의 차량의 위치를 기준 위치와 비교하고, 기준 위치와의 차이에 대응하여 차량 이미지에 대한 보정을 수행함으로써, 서로 다른 속도로 이동함에 따라 열화상 이미지에서의 크기가 다르게 촬상되는 문제를 해결할 수 있는 효과가 있다.
Description
본 발명은 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버에 관한 것이다.
영상인식 기술과 IT 기술의 발전에 따라, 다양한 분야에서 자동화 기술들이 적용되고 있다. 차량의 구분 및 이동을 감지하는 교통량 분석 기술도 그러한 자동화 기술의 하나로서 다양하게 개발되고 있다.
교통량 분석 기술은 차량 교통량을 확인하고 차량의 종류 등을 분석하는 기술로서, 교통 제어, 교통 흐름, 교통 구성 및 도로 설계 등에 널리 사용되고 있다.
교통량 분석을 위한 종래 기술의 경우, 루프 센서나 피에조 센서 등을 도로면에 매설하고, 매설된 센서에서 감지된 데이터를 기초로 차량의 종류 및 교통량을 분류하였다. 이러한 매설형 기술은 차량의 길이, 차량의 축 수 등을 기준으로 차량을 분류한다.
그러나, 최근의 차량의 다양화에 따라, 승용차 차량의 길이 증가 등이 발생하고 있으며, 그에 따라 종래 기술의 경우, 차량의 정확한 종류 구분이 어려운 문제점이 있다.
본 발명의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 교통 차량에 대한 열화상 이미지를 획득하고 열화상 이미지에 대하여 CNN(Convolutional Neural Network) 학습 모델을 적용함으로써, 통행 차량을 정확하게 분류할 수 있는 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버를 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 열화상 이미지에서의 차량의 위치를 기준 위치와 비교하고, 기준 위치와의 차이에 대응하여 차량 이미지에 대한 보정을 수행함으로써, 서로 다른 속도로 이동함에 따라 열화상 이미지에서의 크기가 다르게 촬상되는 문제를 해결할 수 있는 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버를 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 하나의 열화상 촬상 이미지에 다수의 차량이 존재하는 경우, 이들을 각각 분리하여 다수의 열화상 촬상 이미지를 생성함으로써, 정상 데이터가 오류 데이터로 판정되는 것을 방지하여 차종 분류의 정확도를 증대시킬 수 있는 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버를 제공하는 것이다.
본 발명의 상기 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
본 발명의 일 기술적 측면은 열화상 이미지를 이용한 차종 분류 시스템을 제안한다. 상기 열화상 이미지를 이용한 차종 분류 시스템은, 이동 차량을 감지하고, 이동 차량에 대한 열화상 이미지를 생성하는 열화상 카메라 및 상기 열화상 이미지에서의 차량 객체의 위치가 기 설정된 기준과 차이가 존재하면 상기 차이에 대응하여 상기 차량 객체에 대하여 보정을 수행하고, 상기 열화상 이미지 또는 보정된 열화상 이미지를 대상으로 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 차종 분류 서버를 포함 할 수 있다.
일 실시예에서, 상기 차종 분류 서버는, 상기 열화상 이미지에서의 상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하고, 기 설정된 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행 할 수 있다.
일 실시예에서, 상기 차종 분류 서버는, 상기 참조선이 상기 기준선을 지나 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 축소 보정하고, 상기 참조선이 상기 기준선 이전에 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 보정 할 수 있다.
일 실시예에서, 상기 차종 분류 서버는, 상기 열화상 이미지에서의 상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하고, 기 설정된 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 열화상 보정부 및 상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하는 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 차종 분류모델을 포함 할 수 있다.
일 실시예에서, 상기 열화상 보정부는, 상기 열화상 이미지에서의 상기 차량 객체를 판별하는 차량 객체 판별모듈, 상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하고는 참조선 설정모듈, 열화상 이미지에서 기 설정되어 고정된 기준선을 설정하는 기준선 설정모듈 및 상기 참조선이 상기 기준선을 지나 형성되면 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 축소 보정하고, 상기 참조선이 상기 기준선 이전에 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 보정하는 열화상 보정모듈을 포함 할 수 있다.
일 실시예에서, 상기 차종 분류모델은, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하여 이미지의 특징을 추출하는 특징 추출모듈 및 상기 특징 추출모듈에서 추출된 특징에 대하여 인공 신경망 학습을 수행하여, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지 내의 차량의 종류를 구분하는 차종 분류모듈을 포함 할 수 있다.
본 발명의 또 다른 일 기술적 측면은 차종 분류 서버를 제안한다. 상기 차종 분류 서버는, 열화상 카메라로부터 이동 차량에 대한 열화상 이미지를 제공받아 동작하여 이동 차량의 차종을 분류하는 차종 분류 서버로서, 상기 열화상 이미지에서의 상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하고, 기 설정된 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 열화상 보정부 및 상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하는 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 차종 분류모델을 포함 할 수 있다.
일 실시예에서, 상기 열화상 보정부는, 상기 열화상 이미지에서의 상기 차량 객체를 판별하는 차량 객체 판별모듈, 상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하고는 참조선 설정모듈, 열화상 이미지에서 기 설정되어 고정된 기준선을 설정하는 기준선 설정모듈 및 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 열화상 보정모듈을 포함 할 수 있다.
일 실시예에서, 상기 열화상 보정모듈은, 상기 참조선이 상기 기준선을 지나 형성되면 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 축소 보정하고, 상기 참조선이 상기 기준선 이전에 형성되면 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 보정 할 수 있다.
일 실시예에서, 상기 차종 분류모델은, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하여 이미지의 특징을 추출하는 특징 추출모듈 및 상기 특징 추출모듈에서 추출된 특징에 대하여 인공 신경망 학습을 수행하여, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지 내의 차량의 종류를 구분하는 차종 분류모듈을 포함 할 수 있다.
본 발명의 다른 일 기술적 측면은 열화상 이미지를 이용한 차종 분류 방법을 제안한다. 상기 열화상 이미지를 이용한 차종 분류 방법은, 열화상 카메라 및 차종 분류 서버를 포함하는 차종 분류 시스템에서 수행되는 열화상 이미지를 이용한 차종 분류 방법으로서, 상기 열화상 카메라가, 이동 차량을 감지하고 이동 차량에 대한 열화상 이미지를 생성하는 단계, 상기 열화상 이미지에서의 차량 객체의 위치가 기 설정된 기준과 차이가 존재하면 상기 차이에 대응하여 상기 차량 객체에 대하여 보정을 수행하는 단계 및 상기 열화상 이미지 또는 보정된 열화상 이미지를 대상으로 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 차량 객체에 대하여 보정을 수행하는 단계는, 상기 열화상 이미지에서의 상기 차량 객체를 판별하는 단계, 상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하는 단계 및 기 설정된 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 단계는, 상기 참조선이 상기 기준선을 지나 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 축소 보정하는 단계 및 상기 참조선이 상기 기준선 이전에 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 보정하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 이동 차량의 차종을 구분하는 단계는, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하여 이미지의 특징을 추출하는 단계 및 상기 특징 추출모듈에서 추출된 특징에 대하여 인공 신경망 학습을 수행하여, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지 내의 차량의 종류를 구분하는 단계를 포함 할 수 있다.
상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시형태에 따르면, 열화상 이미지에서의 차량의 위치를 기준 위치와 비교하고, 기준 위치와의 차이에 대응하여 차량 이미지에 대한 보정을 수행함으로써, 서로 다른 속도로 이동함에 따라 열화상 이미지에서의 크기가 다르게 촬상되는 문제를 해결할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 교통 차량에 대한 열화상 이미지를 획득하고 열화상 이미지에 대하여 CNN(Convolutional Neural Network) 학습 모델을 적용함으로써, 통행 차량을 정확하게 분류할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 하나의 열화상 촬상 이미지에 다수의 차량이 존재하는 경우, 이들을 각각 분리하여 다수의 열화상 촬상 이미지를 생성함으로써, 정상 데이터가 오류 데이터로 판정되는 것을 방지하여 차종 분류의 정확도를 증대시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 열화상 이미지를 이용한 차종 분류 시스템의 일 적용예를 설명하는 도면이다.
도 2는 도 1에 도시된 열화상 카메라의 일 실시예를 설명하는 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 차종 분류 서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 4는 본 발명에 따른 차종 분류 서버의 일 실시예를 설명하기 위한 블록 구성도이다.
도 5 및 도 6은 본 발명의 일 실시예에서 차종 분류 서버에 입력되는 화상 이미지의 일 예시들을 도시하는 도면이다.
도 7은 도 4에 도시된 열화상 보정부의 일 실시예를 설명하기 위한 블록 구성도이다.
도 8은 도 7에 도시된 열화상 보정부의 보정을 설명하기 위한 참고도이다.
도 9는 도 4에 도시된 차종 분류 모델의 일 실시예를 설명하기 위한 블록 구성도이다.
도 10은 도 4에 도시된 차종 분류 모델에서 수행되는 CNN 모델링을 설명하기 위한 참고도이다.
도 11은 도 4는 본 발명에 따른 차종 분류 서버의 다른 일 실시예를 설명하기 위한 블록 구성도이다.
도 12는 도 11에 도시된 이미지 분리부의 일 실시예를 설명하기 위한 블록 구성도이다.
도 13는 본 발명의 일 실시예에 따른 열화상 이미지를 이용한 차종 분류 방법을 설명하는 순서도이다.
도 2는 도 1에 도시된 열화상 카메라의 일 실시예를 설명하는 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 차종 분류 서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 4는 본 발명에 따른 차종 분류 서버의 일 실시예를 설명하기 위한 블록 구성도이다.
도 5 및 도 6은 본 발명의 일 실시예에서 차종 분류 서버에 입력되는 화상 이미지의 일 예시들을 도시하는 도면이다.
도 7은 도 4에 도시된 열화상 보정부의 일 실시예를 설명하기 위한 블록 구성도이다.
도 8은 도 7에 도시된 열화상 보정부의 보정을 설명하기 위한 참고도이다.
도 9는 도 4에 도시된 차종 분류 모델의 일 실시예를 설명하기 위한 블록 구성도이다.
도 10은 도 4에 도시된 차종 분류 모델에서 수행되는 CNN 모델링을 설명하기 위한 참고도이다.
도 11은 도 4는 본 발명에 따른 차종 분류 서버의 다른 일 실시예를 설명하기 위한 블록 구성도이다.
도 12는 도 11에 도시된 이미지 분리부의 일 실시예를 설명하기 위한 블록 구성도이다.
도 13는 본 발명의 일 실시예에 따른 열화상 이미지를 이용한 차종 분류 방법을 설명하는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
즉, 전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 이하에서 본 발명에 따른 시스템을 설명하기 위하여 다양한 구성요소 및 그의 하부 구성요소에 대하여 설명하고 있다. 이러한 구성요소 및 그의 하부 구성요소들은, 하드웨어, 소프트웨어 또는 이들의 조합 등 다양한 형태로서 구현될 수 있다. 예컨대, 각 요소들은 해당 기능을 수행하기 위한 전자적 구성으로 구현되거나, 또는 전자적 시스템에서 구동 가능한 소프트웨어 자체이거나 그러한 소프트웨어의 일 기능적인 요소로 구현될 수 있다. 또는, 전자적 구성과 그에 대응되는 구동 소프트웨어로 구현될 수 있다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부(Unit)", "서버(Server)" 및 "시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
본 발명의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.
이하에서는, 본 발명에 따른, 사용자 취향을 기반으로 하는 차종 분류 시스템 및 그 제공 방법의 다양한 실시예들에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 열화상 이미지를 이용한 차종 분류 시스템의 일 적용예를 설명하는 도면이고, 도 5 및 도 6은 본 발명의 일 실시예에서 차종 분류 서버에 입력되는 화상 이미지의 일 예시들을 도시하는 도면이다.
도 1을 참조하면, 열화상 이미지를 이용한 차종 분류 시스템 (이하, '차종 분류 시스템'이라 칭함)은 열화상 카메라(100) 및 차종 분류 서버(200)를 포함한다.
열화상 카메라(100)는 도로에 구비되어 이동 차량을 감지하고, 이동 차량에 대한 열화상 이미지를 생성한다.
도 5는 1종 차량, 즉, 승용차 및 미니 트럭에 대한 열화상 이미지의 예들을 도시하고, 도 6은 3종 차량, 즉, 소형화물파에 대한 열화상 이미지의 예들을 도시한다.
1종 차량의 대형화, 다양화 및 장축화에 의하여 1종 차량과 3종 차량의 구분이 가장 오인식률이 높은 대상이 된다. 이하에서는, 설명의 편의를 위하여, 차종 분류 서버(200)가 1종 차량과 3종 차량을 구분하는 것을 중심으로 설명하나, 이에 반드시 한정되는 것은 아니며 다른 차종 간에도 구분이 가능함은 자명하다.
차종 분류 서버(200)는 열화상 카메라에서 제공된 열화상 이미지에 대하여 학습 모델을 훈련하여 이동 차량의 차종, 예컨대, 1종 차량인지 3종 차량인지를 구분할 수 있다.
일 예로, 차종 분류 서버(200)는 CNN (Convolutional Neural Network) 학습모델을 이용하여 열화상 이미지 내의 차량의 차종을 판별할 수 있다.
한편, 열화상 카메라(100)는 이동 중인 차량에 대한 열화상 이미지를 촬상하므로, 이동 중인 차량의 속도에 따라 촬상 이미지 내에서의 차량의 위치 및 크기가 변동되게 된다.
이는 열화상 카메라(100)가 소정의 센서를 이용하여 촬상을 수행하므로, 차량의 속도에 따라 촬상 이미지 내에서의 차량의 위치 및 크기가 변동되게 된다.
차종 분류 서버(200)는 이러한 오차를 보상하기 위하여, 열화상 이미지에서의 차량 객체의 위치가 기 설정된 기준과 차이가 존재하는지 확인할 수 있다. 만약 차이가 있으면, 차종 분류 서버(200)는 차이에 대응하여 차량 객체에 대하여 보정을 수행할 수 있다. 차종 분류 서버(200)는 열화상 이미지 또는 보정된 열화상 이미지를 대상으로 학습 모델을 훈련하여 이동 차량의 차종을 구분할 수 있다.
일 실시예에서, 차종 분류 서버(200)는 기 설정된 기준선과, 차량 객체로부터 설정되는 참조선을 이용하여 보정을 수행할 수 있다. 예컨대, 차종 분류 서버(200)는 열화상 이미지에서의 차량 객체의 최선단을 기준으로 차량 객체의 참조선을 생성하고, 기 설정된 기준선과 참조선 간의 거리 차이에 대응하는 비율로 차량 객체를 확대 또는 축소하여 보정을 수행할 수 있다.
이하, 도 2 내지 도 12를 참조하여, 본 발명에 따른 차종 분류 시스템의 각 구성요소들에 대하여 보다 상세히 설명한다.
도 2는 도 1에 도시된 열화상 카메라의 일 실시예를 설명하는 블록 구성도이다.
도 2를 참조하면, 열화상 카메라(100)는 카메라부(110), 메모리부(120), 통신부(130) 및 제어부(140)를 포함할 수 있다.
카메라부(110)는 소정의 센서를 이용하여 이동 차량을 감지하고, 이동 차량에 대한 열화상 이미지를 생성할 수 있다.
예컨대, 카메라부(110)는 카메라의 전방의 지중에 매설된 센서를 이용하여 특정 거리에 차량이 이동하거나, 또는 초음파 센서를 이용하여 특정 거리 내에 차량이 감지될 때 열화상 이미지를 촬영할 수 있다.
메모리부(120)는 촬상된 열화상 이미지 및 열화상 카메라(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다. 예컨대, 메모리부(120)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 등의 저장매체를 포함할 수 있다. 또한, 메모리부(120)는 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage) 형태를 포함할 수 있다.
통신부(110)는 유선 또는 무선 네트워크와 연결을 수행할 수 있으며, 차종 분류 서버(200)와의 통신 채널을 형성할 수 있다.
제어부(140)는 열화상 카메라(100)의 타 구성요소들을 제어한다. 제어부(140)는 카메라부(110)에서 획득된 열화상 이미지와 그와 관련된 정보-예컨대, 촬상 일시 정보, 열화상 카메라 식별정보, 위치 정보 등-을 생성하여 차종 분류 서버(200)에 제공할 수 있다.
열화상 카메라(100)에서 제공된 열화상 이미지를 이용하여 차종 분류 서버(200)는 이동 차량의 차종을 구분할 수 있다. 도 1에서는, 하나의 열화상 카메라(100)가 도시되어 있으나 이는 설명의 편의를 위한 것으로, 실시예에 따라 다수의 열화상 카메라(100)가 차종 분류 서버(200)와 연동하여 동작할 수 있다.
이하, 도 3 내지 도 12를 참조하여 차종 분류 서버에 대하여 보다 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 차종 분류 서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 3은 차종 분류 서버(200)의 실시예들이 구현될 수 있는 적합한 컴퓨팅 환경의 일반적이고 단순화된 설명을 제공하기 위한 것으로, 도 3을 참조하면, 차종 분류 서버(200)의 일 예로서 컴퓨팅 장치가 도시된다.
컴퓨팅 장치는 적어도 프로세싱 유닛(203)과 시스템 메모리(201)를 포함할 수 있다.
컴퓨팅 장치는 프로그램을 실행할 때 협조하는 복수의 프로세싱 유닛을 포함할 수도 있다. 컴퓨팅 장치의 정확한 구성 및 유형에 의존하여, 시스템 메모리(201)는 휘발성(예컨대, 램(RAM)), 비휘발성(예컨대, 롬(ROM), 플래시 메모리 등) 또는 이들의 조합일 수 있다. 시스템 메모리(201)는 플랫폼의 동작을 제어하기 위한 적합한 운영 체제(202)를 포함하는데, 예컨대 마이크로소프트사로부터의 WINDOWS 운영체제와 같은 것일 수 있다. 시스템 메모리(201)는 프로그램 모듈, 애플리케이션 등의 같은 하나 이상의 소프트웨어 애플리케이션을 포함할 수도 있다.
컴퓨팅 장치는 자기 디스크, 광학적 디스크, 또는 테이프와 같은 추가적인 데이터 저장 장치(204)를 포함할 수 있다. 이러한 추가적 저장소는 이동식 저장소 및/또는 고정식 저장소 일 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 저장정보를 위한 임의의 방법이나 기법으로 구현되는 휘발성 및 비휘발성, 이동식 및 고정식 매체를 포함할 수 있다. 시스템 메모리(201), 저장소(204)는 모두 컴퓨터 판독가능 저장 매체의 예시일 뿐이다. 컴퓨터 판독가능 저장 매체는 램(RAM), 롬(ROM), EEPROM, 플래시 메모리 또는 다른 메모리 기법, CD-ROM, DVD 또는 다른 광학적 저장소, 자기 테이프, 자기 디스크 저장소 또는 다른 자기적 저장 장치, 또는 원하는 정보를 저장하고 컴퓨팅 장치(200)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있는데, 이에 한정되는 것은 아니다.
컴퓨팅 장치의 입력 장치(205), 예컨대 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 및 비교 가능한 입력 장치를 포함할 수 있다. 출력 장치(206)는, 예컨대 디스플레이, 스피커, 프린터, 및 다른 유형의 출력 장치가 포함될 수도 있다. 이들 장치는 본 기술분야에서 널리 알려진 것이므로 자세한 설명은 생략한다.
컴퓨팅 장치는 예컨대 분산 컴퓨팅 환경에서의 네트워크, 예컨대, 유무선 네트워크, 위성 링크, 셀룰러 링크, 근거리 네트워크, 및 비교가능한 메커니즘을 통해 장치가 다른 장치들과 통신하도록 허용하는 통신 장치(207)를 포함할 수도 있다. 통신 장치(207)는 통신 매체의 한가지 예시이며, 통신 매체는 그 안에 컴퓨터 판독 가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 포함할 수 있다. 예시적으로, 통신 매체는 유선 네트워크나 직접 유션 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함하는데, 이에 한정되는 것은 아니다.
차종 분류 서버(200)는 이러한 컴퓨팅 환경에서 구현되는 기능적 구성으로 설명될 수 있다. 이에 대해서는, 도 4 내지 도 12를 참조하여 차종 분류 서버의 다양한 실시예에 대하여 보다 상세히 설명한다.
도 4는 본 발명에 따른 차종 분류 서버의 일 실시예를 설명하기 위한 블록 구성도이다.
도 4를 참조하면, 차종 분류 서버(200)는 열화상 보정부(210), 차종 분류모델(220) 및 데이터베이스(230)를 포함할 수 있다.
전술한 바와 같이, 열화상 카메라(100)는 이동 중인 차량에 대한 열화상 이미지를 촬상하므로, 이동 중인 차량의 속도에 따라 촬상 이미지 내에서의 차량의 위치 및 크기가 변동되게 된다.
열화상 보정부(210)는 이러한 차량 속도에 의한 촬상 이미지 내에서의 차량의 위치 및 크기의 변화를 보정할 수 있다.
열화상 보정부(210)는 열화상 이미지에서의 차량 객체의 위치가 기 설정된 기준과 차이가 존재하는지 확인할 수 있다. 열화상 보정부(210)는, 만약 차이가 있으면 해당 차이에 대응하여 차량 객체에 대하여 보정을 수행할 수 있다.
열화상 보정부(210)는 기 설정된 기준선과, 차량 객체로부터 설정되는 참조선을 이용하여 보정을 수행할 수 있다. 예컨대, 열화상 보정부(210)는 열화상 이미지에서의 차량 객체의 최선단을 기준으로 차량 객체의 참조선을 생성하고, 기 설정된 기준선과 참조선 간의 거리 차이에 대응하는 비율로 차량 객체를 확대 또는 축소하여 보정을 수행할 수 있다.
이러한 열화상 보정부(210)에 대해서는 도 7 내지 도 8을 참조하여 이하에서 보다 상세시 설명한다.
차종 분류모델(220)은 열화상 카메라에서 제공된 열화상 이미지에 대하여 학습 모델을 훈련하여 이동 차량의 차종, 예컨대, 1종 차량인지 3종 차량인지를 구분할 수 있다.
차종 분류모델(220)은 차종 분류 서버(200)는 CNN (Convolutional Neural Network) 학습모델을 이용하여 열화상 이미지 내의 차량의 차종을 판별할 수 있다. CNN (Convolutional Neural Network) 학습모델은 타 인공신경망 학습 방식보다 학습 파라미터의 수가 적고 학습이 용이하여 네트워크 처리 속도가 빠르다. 따라서, 수 많은 차량들이 이동하는 차량 분류 환경에서 사용하기 적합하다.
이러한 차종 분류모델(220) 에 대해서는 도 9 내지 도 10을 참조하여 이하에서 보다 상세시 설명한다.
데이터베이스(230)는 차종 분류 서버(200)가 동작하기 위하여 필요한 데이터를 저장할 수 있다. 예컨대, 데이터베이스(230)는 사전에 정의된 학습 데이터를 제공받아 저장하고, 차종 분류모델(220)은 이러한 학습 데이터를 이용하여 학습 모델을 학습할 수 있다.
이하, 도 7 내지 도 12를 참조하여, 차종 분류 서버(200)의 구체적인 다양한 실시예들에 대하여 설명한다.
도 7은 도 4에 도시된 열화상 보정부의 일 실시예를 설명하기 위한 블록 구성도이고, 도 8은 도 7에 도시된 열화상 보정부의 보정을 설명하기 위한 참고도이다.
도 7을 참조하면, 열화상 보정부(210)는 차량 객체 판별모듈(211), 참조선 설정모듈(212), 기준선 설정모듈(213) 및 열화상 보정모듈(214)를 포함할 수 있다.
차량 객체 판별모듈(211)은 열화상 이미지에서의 차량 객체를 판별할 수 있다.
차량 객체 판별모듈(211)은 열화상 이미지 내에 존재하는 차량 객체를 판별하나 해당 차량의 종류를 구분하는 것은 아니므로, 일정한 크기 이상이며 기 설정된 소정의 형태에 대응되는 객체를 차량 객체로서 판별할 수 있다.
차량 객체 판별모듈(211)은 판별 대상이 되는 차량을 대상으로 차량 객체를 판단할 수 있다. 즉, 카메라로부터 유효하지 않을 정도로 멀리 있어서 작게 촬상된 차량은 차량 객체로 판단하지 않을 수 있다.
차량 객체 판별모듈(211)은 판별된 차량 객체에 대한 정보를 참조선 설정모듈(212)에 제공할 수 있다.
참조선 설정모듈(212)은 차량 객체의 최선단을 기준으로 차량 객체의 참조선을 생성할 수 있다.
열화상 이미지는 차량이 열화상 카메라 쪽으로 이동하는 것을 촬상하게 되므로, 차량 객체의 최선단은 차량의 앞부분에 해당된다.
도 8의 그림 (a)의 차량 객체의 참조선(712)과, 그림 (b)의 차량 객체의 참조선(722)은 차량 객체의 최선단을 기준으로 설정되는 것임을 알 수 있다.
기준선 설정모듈(213)은 열화상 이미지에서 기 설정되어 고정된 기준선을 설정한다. 예컨대, 기준선 설정모듈(213)은 열화상 이미지에서의 특정 위치를 기준으로 기준선을 생성할 수 있다.
열화상 보정모듈(214)은 기준선과 참조선 간의 거리 차이에 대응하는 비율로 차량 객체를 확대 또는 축소하여 보정을 수행할 수 있다.
도 8의 그림 (a)의 기준선(711)과, 그림 (b)의 기준선(721)은 열화상 이미지의 오른쪽 끝을 기준으로 동일한 위치에 설정되어 있는 선이다.
도 8의 그림 (a)에서는 기준선(711)과 차량 객체의 참조선(712)이 일치하는 것을 예시하고, 그림 (b)에서는 기준선(721) 이전에 차량 객체의 참조선(722)이 형성됨을 알 수 있다.
도 8의 그림 (a)의 경우, 열화상 보정모듈(214)은 보정을 수행하지 않는다. 따라서, 입력된 열화상 이미지 그대로 차종 분류 모델(200)에 제공된다.
반면, 도 8의 그림 (b)의 경우, 기준선 이전에 차량 객체의 참조선이 존재한다. 이러한 경우는, 차량의 이동속도가 기준 속도보다 느린 경우에 해당되므로, 실제 기준선 기준으로 촬상된 경우보다 차량 객체의 크기가 작게 촬상되게 된다. 따라서, 열화상 보정모듈(214)은 이러한 경우 차량 객체에 대한 확대 보정을 수행한다.
즉, 열화상 보정모듈(214)은 참조선이 기준선 이전에 형성되면, 기준선과 참조선 간의 거리 차이(Ds)에 대응하는 비율로 차량 객체를 확대 보정할 수 있다. 즉, 기준선과 참조선 간의 거리 차이(Ds)가 작을수록 확대 비율도 작아지고, 기준선과 참조선 간의 거리 차이(Ds)가 커질수록 확대 비율도 커진다.
그림 8의 (b)는 참조선이 기준선 이전에 형성되는 예를 설명하였다.
한편, 참조선이 기준선을 지나 형성되는 경우, 열화상 보정모듈(214)은 기준선과 참조선 간의 거리 차이에 대응하는 비율로 차량 객체를 축소 보정할 수 있다. 이는, 기준선을 지나서 참조선이 형성된 경우, 차량의 속도가 빨라 카메라에 더 가까이 있는 상태에서 찍힌 것이므로 기준 위치(기준선)보다 차량 객체의 크기가 크게 촬상되기 때문이다.
도 9는 도 4에 도시된 차종 분류 모델의 일 실시예를 설명하기 위한 블록 구성도이고, 도 10은 도 4에 도시된 차종 분류 모델에서 수행되는 CNN 모델링을 설명하기 위한 참고도이다.
도 9 및 도 10을 참조하여, CNN 모델링을 이용한 차종 분류모델(220)에 대하여 설명한다.
차종 분류모델(220)은 사전에 학습을 위한 데이터를 제공받아 학습을 수행하여 분류를 실시할 수 있으며, 예컨대, 1종 차종 및 3종 차종에 대한 다수의 열화상 데이터를 입력받아 학습하여 학습모델을 구성할 수 있다.
차종 분류모델(220)은 특징 추출 모듈(221) 및 차종 분류 모듈(222)을 포함할 수 있다.
특징 추출 모듈(221)은 열화상 보정부(210)로부터 열화상 이미지 또는 보정된 열화상 이미지를 제공받을 수 있다.
특징 추출 모듈(221)은 열화상 이미지 또는 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하여 이미지의 특징을 추출할 수 있다.
차종 분류 모듈(222)은 특징 추출모듈에서 추출된 특징에 대하여 인공 신경망 학습을 수행하여, 열화상 이미지 또는 보정된 열화상 이미지 내의 차량의 종류, 즉, 1종 차량인지 3종 차량인지를 구분할 수 있다.
도 10은 풀링 레이어와 컨볼루션 레이어를 3회 반복하는 예시를 도시하고 있다. 도시된 예에서, 맥스 풀링 (MaxPooling) 레이어에 Pool size = (2,2)로 설정하였고 2D 컨볼루션(Convolution) 레이어의 커널 사이즈(Kernel size)와 스트라이드(Strides)는 각각 (12,12)와 (2,2)로 설정하였다. 과적합을 방지하기 위해 각 레이어 마다 25%의 드랍아웃을 설정하였다. 분류문제 이므로 아웃풋 레이어(Output Layer)의 Activation은 Softmax로설정하였고 그 외의 Layer들은 Relu로 설정하였다.
도 11은 도 4는 본 발명에 따른 차종 분류 서버의 다른 일 실시예를 설명하기 위한 블록 구성도이다.
도 11에 도시된 일 실시예는 하나의 열화상 촬상 이미지에 다수의 차량이 존재하는 경우, 이들을 각각 분리하여 다수의 열화상 촬상 이미지를 생성하여, 차종 분류의 정확도를 증대시킬 수 있는 실시예에 관한 것이다.
도 11을 참조하면, 차종 분류 서버(200)는 열화상 보정부(210), 차종 분류모델(220), 데이터베이스(230) 및 이미지 분리부(240)를 포함할 수 있다.
열화상 보정부(210) 내지 데이터베이스(230)에 대해서는, 도 7 내지 도 10을 참조하여 상술한 설명으로부터 쉽게 이해할 수 있으므로, 여기서는 그 설명을 생략한다.
이미지 분리부(240)는 하나의 열화상 이미지에 복수의 차량 객체가 존재하는지 확인하고, 복수의 차량 객체가 있는 경우 해당 열화상 이미지를 하나의 차량 객체가 존재하는 복수의 열화상 이미지로 분리할 수 있다.
예컨대, 서로 다른 차선으로 진행하는 차량 2 대가 하나의 열화상 이미지에 찍힌 경우, 이미지 분리부(240)는 서로 다른 차선에 있는 차량 객체 2개를 확인할 수 있다. 이미지 분리부(240)는 열화상 이미지를 2개로 복사한 후 각각의 열화상 이미지에 서로 다른 차량 객체만이 존재하도록 처리하여(즉, 대상 외의 차량 객체를 삭제하여), 하나의 차량 객체가 존재하는 복수의 열화상 이미지로 분리할 수 있다.
이와 같이 이미지 분리부(240)를 이용하면, 하나의 촬상 이미지에 복수 차량 객체가 존재하는 경우에도 오류 없이 모든 차량 객체에 대한 분류가 가능하므로, 분류의 정확성을 높일 수 있다.
도 12는 도 11에 도시된 이미지 분리부의 일 실시예를 설명하기 위한 블록 구성도이다.
도 12를 참조하면, 이미지 분리부(240)는 차량 객체 판별모듈(241), 분리 판단모듈(242) 및 이미지 분리모듈(243)을 포함할 수 있다.
차량 객체 판별모듈(241)은 열화상 이미지에서의 차량 객체를 판별할 수 있다. 차량 객체 판별모듈(241)은 도 7에 도시된 차량 객체 판별모듈(211)과 유사한 기능을 수행하므로 해당 설명으로 갈음한다. 실시예에 따라, 열화상 보정부(210)와 차량 객체 판별모듈을 공유하여 사용할 수도 있다.
분리 판단모듈(242)은 하나의 열화상 이미지에 복수의 차량 객체가 존재하는지 확인한다. 만약 하나의 차량 객체가 존재하는 경우, 분리 판단모듈(242)은 분리를 하지 않고 그대로 출력한다.
만약 복수의 차량 객체가 존재하면 분리 판단모듈(242)은 열화상 이미지를 제공하며, 열화상 이미지에 대한 이미지 분리를 이미지 분리모듈(243)에 요청한다.
이미지 분리모듈(243)은 입력받은 열화상 이미지의 차량 객체의 수에 대응되도록 열화상 이미지를 복사하고, 각 열화상 이미지에 서로 다른 차량 객체 하나만 존재하도록 나머지 차량 객체를 삭제하여 이미지를 분리할 수 있다.
여기에서, 분리는 열화상 이미지를 물리적으로 분리하는 것이 아니라, 차량 객체별로 열화상 이미지를 복수개 만들어 분리하는 것을 의미한다.
예컨대, 열화상 이미지에 차량 A, B가 포함되는 경우, 이미지 분리모듈(243)은 차량 A만 존재하는(즉, 차량 B만을 삭제한) 제1 분리된 열화상 이미지와, 차량 B만 존재하는(즉, 차량 A만을 삭제한) 제2 분리된 열화상 이미지를 생성할 수 있다.
분리된 열화상 이미지이지만, 이후의 단계에서는 일반적인 열화상 이미지와 동일하게 처리하게 되며, 따라서, 하나의 촬상 이미지에 복수의 차량이 촬영 된 경우도 빠짐없이 분류가 가능하다.
이상에서는 도 1 내지 도 12를 참조하여, 사용자 취향을 기반으로 하는 차종 분류 시스템의 다양한 실시예들에 대하여 설명하였다.
이하에서는, 본 발명의 일 실시예에 따른, 사용자 취향을 기반으로 하는 차종 분류 방법에 대하여 설명한다.
이하에서 설명할 사용자 취향을 기반으로 하는 차종 분류 방법은, 도 1 내지 도 12를 참조하여 설명한 차종 분류 시스템을 기초로 수행되므로, 도 1 내지 도 12에서 기 설명한 내용을 참고하여 보다 쉽게 이해할 수 있다.
도 13은 본 발명의 일 실시예에 따른 열화상 이미지를 이용한 차종 분류 방법을 설명하는 순서도이다.
도 13을 참조하면, 열화상 카메라(100)는 이동 차량을 감지하고 이동 차량에 대한 열화상 이미지를 생성할 수 있다. 열화상 카메라(100)는 생성한 열화상 이미지를 차종 분류 서버에 제공할 수 있다(S1310).
차종 분류 서버(200)는, 열화상 이미지에서의 차량 객체의 위치가 기 설정된 기준과 차이가 존재하면 차이에 대응하여 상기 차량 객체에 대하여 보정을 수행할 수 있다(S1320 내지 S1340).
구체적으로, 차종 분류 서버(200)는 열화상 이미지에서의 차량 객체를 판별할 수 있다(S1320). 또한, 차종 분류 서버(200)는 차량 객체의 최선단을 기준으로 차량 객체의 참조선을 생성하고(S1330), 기 설정된 기준선과 참조선 간의 거리 차이에 대응하는 비율로 차량 객체를 확대 또는 축소하여 보정할 수 있다(S1340).
차종 분류 서버(200)는 열화상 이미지 또는 보정된 열화상 이미지를 대상으로 학습 모델을 훈련하여 이동 차량의 차종을 구분할 수 있다(S1350 내지 S1360).
구체적으로, 차종 분류 서버(200)는 열화상 이미지 또는 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하여 이미지의 특징을 추출할 수 있다(S1350). 이후, 차종 분류 서버(200)는 특징 추출모듈에서 추출된 특징에 대하여 인공 신경망 학습을 수행하여, 열화상 이미지 또는 보정된 열화상 이미지 내의 차량의 종류를 구분할 수 있다(S1360).
단계 S1340에 대한 일 실시예에서, 차종 분류 서버(200)는, 참조선이 기준선을 지나 형성되면 기준선과 참조선 간의 거리 차이에 대응하는 비율로 차량 객체를 축소 보정하는 단계, 및 참조선이 기준선 이전에 형성되면 기준선과 참조선 간의 거리 차이에 대응하는 비율로 차량 객체를 확대 보정하는 단계를 수행할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
100 : 열화상 카메라
110 : 카메라부 120 : 메모리부
130 : 통신부 140 : 제어부
200 : 차종 분류 서버
201 : 시스템 메모리 202 : 운영체제
203 : 프로세싱 유닛 204 : 저장소
205 : 입력장치 206 : 출력장치
207 : 통신장치
210 : 열화상 보정부 220 : 차종 분류 모델
230 : 데이터베이스 240 : 이미지 분리부
211 : 차량 객체 판별모듈 212 : 참조선 설정모듈
213 : 기준선 설정모듈 214 : 열화상 보정모듈
221 : 특징 추출모듈 222 : 차종 분류모듈
241 : 차량 객체 판별모듈 242 : 분리 판단모듈
243 : 이미지 분리모듈
110 : 카메라부 120 : 메모리부
130 : 통신부 140 : 제어부
200 : 차종 분류 서버
201 : 시스템 메모리 202 : 운영체제
203 : 프로세싱 유닛 204 : 저장소
205 : 입력장치 206 : 출력장치
207 : 통신장치
210 : 열화상 보정부 220 : 차종 분류 모델
230 : 데이터베이스 240 : 이미지 분리부
211 : 차량 객체 판별모듈 212 : 참조선 설정모듈
213 : 기준선 설정모듈 214 : 열화상 보정모듈
221 : 특징 추출모듈 222 : 차종 분류모듈
241 : 차량 객체 판별모듈 242 : 분리 판단모듈
243 : 이미지 분리모듈
Claims (14)
- 이동 차량을 감지하고, 이동 차량에 대한 열화상 이미지를 생성하는 열화상 카메라; 및
상기 열화상 이미지에서의 차량 객체의 위치가 기 설정된 기준과 차이가 존재하면 상기 차이에 대응하여 상기 차량 객체에 대하여 보정을 수행하고, 상기 열화상 이미지 또는 보정된 열화상 이미지를 대상으로 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 차종 분류 서버;를 포함하며,
상기 차종 분류 서버는,
상기 열화상 이미지에서의 상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하고, 기 설정된 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행하며,
상기 참조선이 상기 기준선을 지나 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 축소 보정하고,
상기 참조선이 상기 기준선 이전에 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 보정하는 것
을 특징으로 하는 열화상 이미지를 이용한 차종 분류 시스템
- 삭제
- 삭제
- 제1항에 있어서, 상기 차종 분류 서버는,
상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하는 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 차종 분류모델;
을 포함하는 열화상 이미지를 이용한 차종 분류 시스템.
- 삭제
- 제4항에 있어서, 상기 차종 분류모델은,
상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하여 이미지의 특징을 추출하는 특징 추출모듈; 및
상기 특징 추출모듈에서 추출된 특징에 대하여 인공 신경망 학습을 수행하여, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지 내의 차량의 종류를 구분하는 차종 분류모듈;
을 포함하는 열화상 이미지를 이용한 차종 분류 시스템.
- 열화상 카메라로부터 이동 차량에 대한 열화상 이미지를 제공받아 동작하여 이동 차량의 차종을 분류하는 차종 분류 서버로서,
상기 열화상 이미지에서의 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하고, 기 설정된 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 열화상 보정부; 및
상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하는 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 차종 분류모델; 을 포함하며,
상기 열화상 보정부는,
상기 열화상 이미지에서의 상기 차량 객체를 판별하는 차량 객체 판별모듈;
상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하고는 참조선 설정모듈;
열화상 이미지에서 기 설정되어 고정된 기준선을 설정하는 기준선 설정모듈; 및
상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 열화상 보정모듈;을 포함하며
상기 열화상 보정모듈은,
상기 참조선이 상기 기준선을 지나 형성되면 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 축소 보정하고, 상기 참조선이 상기 기준선 이전에 형성되면 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 보정하는 것
을 특징으로 하는 차종 분류 서버.
- 삭제
- 삭제
- 제7항에 있어서, 상기 차종 분류모델은,
상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하여 이미지의 특징을 추출하는 특징 추출모듈; 및
상기 특징 추출모듈에서 추출된 특징에 대하여 인공 신경망 학습을 수행하여, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지 내의 차량의 종류를 구분하는 차종 분류모듈;
을 포함하는 차종 분류 서버.
- 열화상 카메라 및 차종 분류 서버를 포함하는 차종 분류 시스템에서 수행되는 열화상 이미지를 이용한 차종 분류 방법으로서,
상기 열화상 카메라가, 이동 차량을 감지하고 이동 차량에 대한 열화상 이미지를 생성하는 단계;
상기 차종 분류 서버가, 상기 열화상 이미지에서의 차량 객체의 위치가 기 설정된 기준과 차이가 존재하면 상기 차이에 대응하여 상기 차량 객체에 대하여 보정을 수행하는 단계; 및
상기 차종 분류 서버가, 상기 열화상 이미지 또는 보정된 열화상 이미지를 대상으로 학습 모델을 훈련하여 상기 이동 차량의 차종을 구분하는 단계;를 포함하며,
상기 차량 객체에 대하여 보정을 수행하는 단계는,
상기 열화상 이미지에서의 상기 차량 객체를 판별하는 단계;
상기 차량 객체의 최선단을 기준으로 상기 차량 객체의 참조선을 생성하는 단계; 및
기 설정된 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 단계;를 포함하며,
상기 차량 객체를 확대 또는 축소하여 보정을 수행하는 단계는,
상기 참조선이 상기 기준선을 지나 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 축소 보정하는 단계; 및
상기 참조선이 상기 기준선 이전에 형성되면, 상기 기준선과 상기 참조선 간의 거리 차이에 대응하는 비율로 상기 차량 객체를 확대 보정하는 단계;
를 포함하는 열화상 이미지를 이용한 차종 분류 방법.
- 삭제
- 삭제
- 제11항에 있어서, 상기 이동 차량의 차종을 구분하는 단계는,
상기 열화상 이미지 또는 상기 보정된 열화상 이미지를 대상으로, 필터를 이용하여 이미지의 특징을 추출하는 컨볼루션 레이어와 추출된 특징을 강화하고 이미지의 크기를 줄이는 풀링 레이어를 반복적으로 수행하여 이미지의 특징을 추출하는 단계; 및
특징 추출모듈에서 추출된 특징에 대하여 인공 신경망 학습을 수행하여, 상기 열화상 이미지 또는 상기 보정된 열화상 이미지 내의 차량의 종류를 구분하는 단계;
를 포함하는 열화상 이미지를 이용한 차종 분류 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200178841A KR102446500B1 (ko) | 2020-12-18 | 2020-12-18 | 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200178841A KR102446500B1 (ko) | 2020-12-18 | 2020-12-18 | 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220088122A KR20220088122A (ko) | 2022-06-27 |
| KR102446500B1 true KR102446500B1 (ko) | 2022-09-23 |
Family
ID=82246820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200178841A KR102446500B1 (ko) | 2020-12-18 | 2020-12-18 | 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102446500B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101881458B1 (ko) * | 2017-03-09 | 2018-07-25 | 건아정보기술 주식회사 | 동적객체에 대한 인식영역 추출시스템 |
| KR102161516B1 (ko) * | 2020-04-27 | 2020-10-05 | 주식회사 펜타게이트 | 딥러닝 기반의 데이터 확장학습을 이용한 차종 분류 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102193950B1 (ko) * | 2019-01-04 | 2020-12-22 | 주식회사 서울로보틱스 | 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버 |
| KR102267026B1 (ko) | 2019-01-10 | 2021-06-18 | 주식회사 바이다 | 교통 레이더 장치 및 교통 레이더 장치의 차종 분류 방법 |
-
2020
- 2020-12-18 KR KR1020200178841A patent/KR102446500B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101881458B1 (ko) * | 2017-03-09 | 2018-07-25 | 건아정보기술 주식회사 | 동적객체에 대한 인식영역 추출시스템 |
| KR102161516B1 (ko) * | 2020-04-27 | 2020-10-05 | 주식회사 펜타게이트 | 딥러닝 기반의 데이터 확장학습을 이용한 차종 분류 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220088122A (ko) | 2022-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6831480B2 (ja) | テキスト検出分析方法、装置及びデバイス | |
| CN108388834B (zh) | 利用循环神经网络和级联特征映射的对象检测 | |
| US10943132B2 (en) | Distant on-road object detection | |
| JP6897335B2 (ja) | 学習プログラム、学習方法および物体検知装置 | |
| JP6266238B2 (ja) | 接近物検出システム、及び車両 | |
| Khammari et al. | Vehicle detection combining gradient analysis and AdaBoost classification | |
| JP4426436B2 (ja) | 車両検知装置 | |
| US20190019042A1 (en) | Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium | |
| KR101980360B1 (ko) | 컨볼루션 신경망을 이용한 객체 인식 장치 및 방법 | |
| CN111027481B (zh) | 基于人体关键点检测的行为分析方法及装置 | |
| JP7311310B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN112329505A (zh) | 用于检测对象的方法和装置 | |
| JP2019021317A (ja) | 運転者支援システム及びガードレール検知方法 | |
| JP2007220013A (ja) | 車両用白線検出装置 | |
| Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
| CN112597943A (zh) | 行人重识别的特征提取方法及装置、电子设备、存储介质 | |
| KR102446500B1 (ko) | 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버 | |
| WO2021245896A1 (ja) | 分割認識方法、分割認識装置及びプログラム | |
| US20210256720A1 (en) | Vanishing point extraction devices and methods of extracting vanishing point | |
| JPWO2018143277A1 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
| US20230069608A1 (en) | Object Tracking Apparatus and Method | |
| CN107967691B (zh) | 一种视觉里程计算方法和装置 | |
| JP2020038572A (ja) | 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、学習データセットの生成プログラム、学習データセットの生成方法、学習データセット、及び画像認識装置 | |
| KR20210087494A (ko) | 인체 방향 검출 방법, 장치, 전자 기기 및 컴퓨터 저장 매체 | |
| JP2023522390A (ja) | 画像解析から得られたフィンガープリントを用いた、画像フレーム全体に亘る脆弱な道路利用者の追跡 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |