KR20220057878A - 딥러닝 기반의 분류 시스템 및 방법 - Google Patents

Abstract

딥러닝을 기반으로 이미지 내의 특정 오브젝트의 종류(예를 들면,를 차종)를 분류하는 시스템 및 방법이 개시된다. 본 발명의 일 측면에 따르면, 딥러닝을 이용한 오브젝트 차종 분류 방법으로서, 각 차량들에 대한 기준 윤곽선 데이터를 DB에 저장하는 단계, 차량검출센서에 의해 차량이 감지되면, 카메라로 차량의 전면을 촬영하는 단계, 상기 카메라로 촬영된 이미지 데이터를 전처리하여 배경을 제거하고 윤곽선을 추출하는 단계, 딥러닝에 기반한 비교 알고리즘을 통해 상기 검출된 차량의 윤곽선과 미리 저장된 기준 윤곽선을 비교하여 해당 차량을 가장 근사한 기준 윤곽선의 차종으로 판별하는 단계 및 상기 검출된 차량의 인식정보를 저장하는 단계를 구비한 것을 특징으로 하는 차량의 윤곽 이미지를 이용한 차종 인식방법이 제공된다.

Description

딥러닝 기반의 분류 시스템 및 방법{Method and system for classification based on deep learning}

본 발명은 딥러닝을 기반으로 이미지 내의 특정 오브젝트의 종류(예를 들면,를 차종)를 분류하는 시스템 및 방법에 관한 것이다.

이미지 내의 오브젝트를 인식이 적용되는 대표적인 사례가 차량의 종류(즉, 차종) 인식이다. 사회구조가 복잡해지고 교통수단이 발전함에 따라 다양한 종류의 차량들이 도로나 주차장에서 운행되고 있다. 각 차량은 승용차나 화물차 등과 같이 용도에 따라 분류됨과 아울러 배기량 등에 따라 경차, 소형 승용차, 중형 승용차 등으로 구분되기도 한다. 한편, 차량에 의한 환경공해가 심해짐에 따라 가능한 환경오염을 줄이고 도로 자원의 효율적인 이용을 위하여 차종에 따라 도로 주행요금이나 주차요금 등을 달리하고 있다. 따라서 차종을 자동으로 인식할 수 있다면, 도로 주행요금징수나 주차관리비 징수 등에 매우 편리할 것이다.

본 발명이 이루고자 하는 기술적인 과제는 상기와 같은 필요성을 충족시키기 위하여 제안된 것으로, 본 발명의 목적은 차량의 번호판을 중심으로 전면을 촬영한 이미지로부터 딥러닝을 이용하여 차종을 자동으로 인식할 수 있는 시스템 및 방법을 제공하는 것이다.

.

본 발명의 일 측면에 따르면, 진입 혹은 주행차량을 감지하기 위한 차량검출센서, 제어신호에 따라 상기 차량검출센서에 의해 차량이 검출되면 해당 차량을 촬영하는 카메라, 통신포트, 기준 윤곽선 데이터와 각종 데이터를 저장하기 위한 스토리지; 촬영된 이미지정보나 인식된 정보 혹은 동작상태를 표시하기 위한 표시부, 상기 카메라로부터 입력된 이미지 데이터에서 윤곽선을 추출한 후 상기 기준 윤곽선과 비교하여 차종을 판별하고, 번호판 영역을 추출한 후 차량번호를 인식하는 이미지 처리부 및 상기 통신포트를 통해 외부 호스트나 네트워크 등과 연결되어 상기 스토리지에 기준 윤곽선 데이터를 저장 혹은 갱신하고, 상기 차량 검출센서에 의해 차량이 검출되면 상기 카메라를 제어하여 해당 차량을 촬영하게 하며, 상기 이미지 처리부를 제어하여 상기 카메라가 촬영한 이미지로부터 차종과 차량번호를 인식하도록 하고, 상기 인식된 정보를 상기 표시부에 표시하거나 상기 스토리지에 저장하도록 제어하는 제어부를 구비한 것을 특징으로 한다.

본 발명의 다른 일 측면에 따르면, 각 차량들에 대한 기준 윤곽선 데이터를 스토리지에 데이터베이스로 저장하는 단계, 차량검출센서에 의해 진입 혹은 주행하는 차량이 감지되면, 카메라로 차량의 전면을 촬영하는 단계; 상기 카메라로 촬영된 이미지 데이터를 전처리 혹은 필터링하여 배경을 제거하고 윤곽선을 추출하는 단계; 상기 검출된 차량의 윤곽선과 상기 스토리지에 저장된 기준 윤곽선을 비교(매칭)하여 해당 차량을 가장 근사한 기준 윤곽선의 차종으로 판별하는 단계; 및 상기 검출된 차량의 인식정보를 상기 스토리지에 저장하는 단계를 구비한 것을 특징으로 한다.

본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 컴퓨터 판독 가능한 매체에 기록된 컴퓨터 프로그램이 제공된다.

본 발명의 다른 일 측면에 따르면, 딥러닝을 이용한 차량 영역 감지 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하되, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우 상기 딥러닝을 이용한 차량 영역 감지 시스템으로 하여금 상술한 방법을 수행하도록 하는 딥러닝을 이용한 차량 영역 감지 시스템이 제공된다.

본 발명의 일 실시예에 따르면 딥러닝을 이용함으로써 차종 등 오브젝트의 종류 인식의 정확도를 높일 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명에 따른 차종 인식장치를 도시한 구성 블록도이다.
도 2는 본 발명에 따른 차종 인식장치의 동작 절차를 도시한 순서도이다.
도 3은 본 발명에 따른 촬영 이미지의 예이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

본 발명의 일 실시예에 따른 시스템은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다.

본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들면, 상기 모듈은 특정된 코드와 상기 특정된 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.

이하에서는 검출 대상이 되는 영역의 대표적인 예시인 차량 영역을 기준으로 설명하지만 본 발명의 기술적 사상이 차량을 비롯한 각종 오브젝트에도 동일하게 적용될 수 있음은 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치를 나타내는 도면이다. 상기 장치는 컴퓨팅 시스템 혹은 컴퓨팅 시스템을 포함하는 소정의 시스템일 수 있다.

도 1은 본 발명에 따른 차종 인식장치를 도시한 구성 블럭도이고, 도 2는 본 발명에 따른 차종 인식장치의 동작 절차를 도시한 순서도이며, 도 3은 본 발명에 따른 촬영 이미지의 예이다.

본 발명에 따른 차종 인식장치는 도 1에 도시된 바와 같이, 진입 혹은 주행차량(10)을 감지하기 위한 차량검출센서(102)와, 차량검출센서(102)에 의해 차량(10)이 검출되면 해당 차량(10)을 촬영하는 카메라(104), 카메라(104)가 촬영하기 용이하도록 조명을 제공하는 조명장치(106), 외부의 호스트나 네트워크와 통신하기 위한 통신포트(108), 전체 동작을 제어하는 제어부(110), 카메라가 촬영한 이미지를 처리하여 차종과 차량번호를 인식하는 이미지 처리부(112), 차종판단을 위한 기준 윤곽선 데이터와 검출된 차량의 차량번호와 차종 데이터를 저장하기 위한 스토리지(114), 동작상태 및 설정상태, 인식정보 등을 표시하기 위한 표시부(116), 사용자가 조작을 입력하기 위한 조작부(118)로 구성되어 진입 혹은 주행하는 차량의 차종을 인식한다.

도 1을 참조하면, 차량검출센서(102)는 루프코일이나 레이저센서 등 다양한 방식의 차량검출센서로서, 차량(10)이 검출되면 검출신호를 제어부(110)로 전달한다.

카메라(104)는 렌즈와 CCD나 CMOS 이미지센서를 포함하는 구성으로서 제어부(110)<26> 의 제어에 따라 차량(10)이 검출되면 해당 차량의 번호판 영역을 중심으로 전면을 촬영한다. 이러한 카메라(104)는 미도시된 모터나 기구적인 구성들에 의해 촬영자세가 제어될 수 있는 것이 바람직하다. 또한 카메라 촬영시 최적의 노출을 제공하기 위해 조명장치(106)를 이용할 수도 있다.

이미지 처리부(112)는 DSP 등으로서 제어부(110)의 제어에 따라 카메라(104)로부터 촬영된 이미지 데이터를 전달받아 후술하는 바와 같이 필터링, 배경제거, 윤곽선추출, 이미지 매칭(비교), 번호판 영역 추출, 문자영역 추출 등을 처리하여 차종과 차량번호를 인식하여 제어부(110)에 제공한다.

제어부(110)는 USB 등과 같은 통신포트(108)를 통해 외부 호스트나 네트워크 등과 연결되어 스토리지(114)에 구축된 기준 윤곽선 데이터와 같은 내부 데이터를 갱신하고, 차량검출센서(102)에 의해 차량이 검출되면 카메라(104)를 제어하여 차량(10)을 촬영하게 하고, 이미지 처리부(112)를 제어하여 카메라(10)가 촬영한 이미지로부터 차종과 차량번호를 인식하도록 제어한다. 그리고 조작부(118)를 통해 입력된 사용자 제어에 따라 각종 초기 값을 설정함과 아울러 동작모드 등을 설정하고, 표시부(116)에 촬영된 이미지나 동작상태 등 각종 정보를 표시한다. 이러한 제어부(110)는 마이크로프로세서로 구현되며, 경우에 따라 이미지 처리부(112)와 일체로 구현될 수도 있다.

이와 같이 구성되는 본 발명에 따른 차종 인식장치는 도 2에 도시된 바와 같이 동작한다.

도 2를 참조하면, 먼저 본 발명에 따른 차종인식을 위하여 각 차량들에 대한 기준 윤곽선 데이터를 스토리지(114)에 데이터베이스로 저장한다(S201). 이러한 기준 윤곽선 데이터는 주기적으로 갱신되거나 새로운 차량이 출시될 때마다 통신포트(108)를 통해 업데이트될 수 있다.

이후 차량검출센서(102)에 의해 진입 혹은 주행하는 차량(10)이 감지되면 카메라(104)로 차량의 전면을 도 3과 같이 촬영한다(S202, S203). 최근에는 카메라 기술이 발전하여 촬영된 디지털 데이터를 로(Raw) 파일 형식이나 다양한 표준파일(jpg 등) 형식으로 바로 제공할 수 있다.

카메라(104)로 촬영된 데이터는 이미지 처리부(112)로 입력되어 전처리 혹은 필터링을 거친 후 배경을 제거하고 윤곽선을 추출한다(S204~S207).

이어 검출된 차량의 윤곽선과 스토리지(114)에 저장된 기준 윤곽선을 비교(매칭)하여 가장 근사한 기준 윤곽선의 차종으로 판단한다(S208).

그리고 검출된 차량의 이미지 데이터에서 번호판 영역을 추출하고, 번호판영역에서 다시 문자영역을 추출한 후 소정의 문자인식 알고리즘에 따라 문자인식을 한다(S209~S211). 이어 검출된 차량의 차종과 차량번호를 스토리지(114)에 저장한다(S212).

이와 같이 본 발명에 따르면, 진입 혹은 주행하는 차량의 전면을 촬영한 후 윤곽선을 추출하고 추출된 윤곽선을 저장된 기준 윤곽선과 매칭시켜 차종을 판단하고, 번호판영역과 문자영역을 추출한 후 문자인식을 통해 차량번호를 인식한다. 그리고 인식된 차종정보와 차량번호정보는 차량검문시스템, 통행료징수시스템, 주차관리시스템 등 다양한 영역에서 유용하게 사용될 수 있다.

이와 같이 구성되는 본 발명에 따른 차종 인식장치는 도 2에 도시된 바와 같이 동작한다.

한편, 구현 예에 따라서, 본 발명의 일 실시예에 따른 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.

한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (3)

1. 딥러닝을 이용한 오브젝트 차종 분류 방법으로서,
   각 차량들에 대한 기준 윤곽선 데이터를 DB에 저장하는 단계;
   차량검출센서에 의해 차량이 감지되면, 카메라로 차량의 전면을 촬영하는 단계;
   상기 카메라로 촬영된 이미지 데이터를 전처리하여 배경을 제거하고 윤곽선을 추출하는 단계;
   딥러닝에 기반한 비교 알고리즘을 통해 상기 검출된 차량의 윤곽선과 미리 저장된 기준 윤곽선을 비교하여 해당 차량을 가장 근사한 기준 윤곽선의 차종으로 판별하는 단계; 및
   상기 검출된 차량의 인식정보를 저장하는 단계를 구비한 것을 특징으로 하는 차량의 윤곽 이미지를 이용한 차종 인식방법.
   
2. 데이터 처리장치에 설치되며 제1항에 기재된 방법을 수행하기 위한 컴퓨터 판독 가능한 매체에 기록된 컴퓨터 프로그램.
   
3. 딥러닝을 이용한 영역 감지 시스템으로서,
   프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하되,
   상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우 상기 딥러닝을 이용한 영역 감지 시스템으로 하여금 제1항에 기재된 방법을 수행하도록 하는 딥러닝을 이용한 영역 감지 시스템.
   

Images