KR20140096576A - 차량 검지 장치 및 차량 검지 방법 - Google Patents

Abstract

본 발명은 차량 검지 장치 및 차량 검지 방법에 관한 것으로, 스테레오 영상을 획득하는 영상 획득부, 스테레오 영상의 픽셀들의 깊이 정보에 기초하여 객체들을 그룹핑하는 그룹 분류부, 그리고 객체들 중에서 깊이 정보가 소정의 범위에 속하며 차량이 갖는 고유한 특징 정보를 포함하는 객체를 차량으로 검출하는 차량 검출부를 포함하는 차량 검지 장치를 제공한다.

Description

차량 검지 장치 및 차량 검지 방법{APPARATUS AND METHOD FOR DETECTING VEHICLE}

본 발명은 차량을 검지하는 장치 및 차량을 검지하는 방법에 관한 것으로, 보다 상세하게는 영상 처리(image processing)에 의해 차량을 검지하는 장치 및 그 방법에 관한 것이다.

본 발명은 한국연구재단의 산학협력 선도대학(LINC) 육성사업의 일환으로 수행한 연구로부터 도출된 것이다.[과제고유번호 : 2012-D-0033-0101197, 연구과제명 : 지능형 IP 카메라와 스마트 패드를 이용한 탈착형 차량 번호 인식시스템]

일반적으로, 도로에는 교통 사고 방지 및 원활한 교통을 위하여 주정차 금지 구역이 마련되어 있으며, 해당 주정차 금지 구역에 불법으로 주정차한 차량을 단속하여 벌금을 부과하고 있다. 불법 주정차 차량의 단속은 주로 단속원이 현장에서 직접 불법 주정차 차량을 확인하여 주정차 위반 차량의 영상을 촬영하고, 단속 대장에 단속 일시, 장소, 차량 번호 등의 정보를 기록하는 방식으로 수행되어 왔다. 그러나, 이와 같은 단속 요원에 의한 현장 단속 방법은 단속을 위해 많은 인력을 필요로 하여 비용의 소모가 크고, 불법 주정차 차량을 효율적으로 단속하지 못하는 단점을 갖는다.

또한, 도로에 설치된 카메라를 이용하여 영상을 촬영하여 불법 주정차 차량에 대한 단속을 수행하는 방법이 도입되었으나, 카메라가 설치되지 않은 주정차 금지 구역에 대하여는 단속이 불가능하며, 모든 주정차 금지 구역에 카메라를 설치하는 것은 상당한 비용상의 부담을 초래한다. 뿐만 아니라, 카메라의 사각 지역에 차량을 주정차하여 단속을 회피하는 사례도 발생하고 있다.

이에 따라, 최근에 들어 차량에 카메라를 설치하여 이동하면서 불법 주정차 차량을 촬영하여 불법 주정차 단속을 수행하는 방식이 소개되었다. 즉, 단속 요원이 단속 차량을 운행하면, 단속 차량에 탑재된 카메라가 주정차 금지 구역에 불법 주정차된 차량의 영상을 촬영하고, 불법 주정차 차량의 차량 번호를 인식하여 단속을 수행하는 방식이다.

그런데, 기존의 단속 차량을 이용하는 불법 주정차 단속 방식은 차량의 번호판을 중심으로 차량 검지를 하여 불법 주정차 차량을 판단하기 때문에, 인접하여 주정차된 차량이나 다른 장애물에 의하여 불법 주정차 차량의 번호판의 일부가 가려지는 경우, 이를 차량으로 인식하지 못하여 불법 주정차 차량을 효과적으로 단속하지 못하게 되는 문제점을 갖는다.

본 발명은 차량을 효과적이면서 효율적으로 검지할 수 있는 차량 검지 장치 및 차량 검지 방법을 제공하는 것을 목적으로 한다.

본 발명이 해결하고자 하는 다른 과제는 영상에서 차량의 번호판의 위치를 효과적으로 검지할 수 있는 차량 검지 장치 및 차량 검지 방법을 제공하는 것을 목적으로 한다.

본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따른 차량 검지 장치는 스테레오 영상을 획득하는 영상 획득부; 상기 스테레오 영상의 픽셀들의 깊이 정보에 기초하여 객체들을 그룹핑하는 그룹 분류부; 그리고 상기 객체들 중에서, 상기 깊이 정보가 소정의 범위에 속하며 차량이 갖는 고유한 특징 정보를 포함하는 객체를 차량으로 검출하는 차량 검출부를 포함한다.

일 실시 예로서, 상기 차량 검지 장치는 상기 차량의 번호판이 갖는 형상에 관한 고유한 특징 정보를 이용하여, 상기 차량으로 검출된 객체의 영역에서 번호판의 위치를 추정하는 번호판 추정부를 더 포함할 수 있다.

일 실시 예로서, 상기 번호판 추정부는, 상기 차량으로 검출된 객체의 영역에서 상기 차량의 번호판이 갖는 고유한 특징 정보가 나타나지 않는 경우, 상기 차량의 앞범퍼, 뒷범퍼, 헤드라이트, 백라이트 중 적어도 하나 이상이 갖는 형상에 관한 고유한 특징 정보를 이용하여, 상기 번호판의 위치를 추정할 수 있다.

일 실시 예로서, 상기 차량 검출부는, 상기 객체들 중에서, 상기 차량의 바퀴가 갖는 원 또는 타원의 형상에 관한 상기 고유한 특징 정보를 포함하는 객체를 차량 후보군으로 검출하는 차량 후보군 검출부; 그리고 상기 차량의 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트, 백라이트 중의 적어도 하나 이상이 갖는 형상에 관한 상기 고유한 특징 정보에 기초하여, 상기 차량 후보군으로부터 상기 차량을 검출하는 차량 검지부를 포함할 수 있다.

일 실시 예로서, 상기 영상 획득부는, 이동 차량에 설치되며, 상기 이동 차량이 이동하는 동안 1대의 카메라를 이용하여 제1 시점과 제2 시점에서 서로 다른 영상을 촬영하며, 상기 제1 시점과 상기 제2 시점 간의 상기 이동 차량의 이동 거리 정보에 기초하여 상기 서로 다른 영상을 정합함으로써 상기 서로 다른 영상으로부터 상기 깊이 정보를 포함하는 상기 스테레오 영상을 획득할 수 있다.

일 실시 예로서, 상기 그룹 분류부는, 상기 스테레오 영상에서 에지 영상을 생성하는 에지 영상 생성부; 그리고 상기 에지 영상에서의 픽셀들의 상기 깊이 정보에 기초하여 상기 객체들을 그룹핑하는 그룹핑부를 포함할 수 있다.

일 실시 예로서, 상기 객체들 중에서, 상기 차량을 가리는 장애물을 검출하는 장애물 검출부를 더 포함할 수 있다.

일 실시 예로서, 상기 장애물 검출부는 상기 객체들 중에서 상기 차량의 번호판을 가리는 상기 장애물을 검출하며, 상기 장애물의 영역에서의 픽셀들의 깊이 정보에 기초하여 번호판 은닉 행위를 판단할 수 있다.

본 발명의 다른 일 측면에 따르면, 스테레오 영상의 픽셀들의 깊이 정보에 기초하여 객체들을 그룹핑하는 단계; 그리고 상기 객체들 중에서, 상기 깊이 정보가 소정의 범위에 속하며 차량이 갖는 고유한 특징 정보를 포함하는 객체를 차량으로 검출하는 단계를 포함하는 차량 검지 방법이 제공될 수 있다.

일 실시 예로서, 상기 차량 검지 방법은 상기 차량의 번호판이 갖는 고유한 특징 정보를 이용하여 상기 차량으로 검출된 객체의 영역에서 번호판의 위치를 추정하는 단계를 더 포함할 수 있다.

일 실시 예로서, 상기 번호판의 위치를 추정하는 단계는, 상기 차량으로 검출한 객체의 영역에서 상기 차량의 번호판이 갖는 상기 고유한 특징 정보가 나타나지 않는 경우, 상기 차량의 앞범퍼, 뒷범퍼, 헤드라이트, 백라이트 중 적어도 하나 이상의 형상에 관한 고유한 특징 정보를 이용하여 상기 번호판의 위치를 추정할 수 있다.

일 실시 예로서, 상기 차량으로 검출하는 단계는, 상기 객체들 중에서, 상기 차량의 바퀴가 갖는 원 또는 타원의 형상에 관한 상기 고유한 특징 정보를 갖는 객체를 차량 후보군으로 검출하는 단계; 그리고 상기 차량의 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트, 백라이트 중의 적어도 하나 이상이 갖는 형상에 관한 상기 고유한 특징 정보에 기초하여, 상기 차량 후보군으로부터 상기 차량을 검출하는 단계를 포함할 수 있다.

일 실시 예로서, 상기 차량 검지 방법은 상기 객체들 중에서 상기 차량의 번호판을 가리는 상기 장애물을 검출하고, 상기 장애물에 대응하는 깊이 정보에 기초하여 번호판 은닉 행위를 판단하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 일 측면에 따르면, 상기 차량 검지 방법을 실행시키는 프로그램을 기록한 컴퓨터에서 읽을 수 있는 기록 매체가 제공될 수 있다.

본 발명의 실시 예에 의하면 차량을 효과적으로 검지할 수 있다.

또한, 본 발명의 실시 예에 의하면 영상에서 차량의 번호판의 위치를 효과적으로 검지할 수 있다.

본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따른 차량 검지 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 차량 검지 장치를 구성하는 그룹 분류부의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 차량 검지 장치를 구성하는 차량 검출부의 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 차량 검지 방법의 흐름도이다.
도 5는 본 발명의 일 실시 예에 따라 스테레오 영상을 획득하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따라 획득된 스테레오 영상을 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따라 획득된 에지 영상을 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따라 스테레오 영상을 그룹핑한 것을 나타내는 도면이다.

본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다. 본 발명의 실시 예에 따른 차량 검지 장치를 설명함에 있어서 일반적인 구성이나 그에 따른 동작은 본 발명의 요지를 흐리지 않도록 하기 위해 생략될 수 있다.

본 발명의 일 실시 예에 따른 차량 검지 장치는 스테레오 영상의 객체들 중에서 차량이 갖는 고유한 특징 정보, 예컨대 차량의 바퀴, 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트, 또는 백라이트의 형상에 관한 고유한 특징 정보에 기초하여, 차량을 검출한다. 본 발명의 일 실시 예에 따른 차량 검지 장치는 차량의 번호판이 갖는 형상에 관한 고유한 특징 정보를 이용하여, 차량으로 검출된 객체의 영역에서 번호판의 위치를 추정한다. 본 발명의 일 실시 예에 의하면 차량이 갖는 고유한 특징 정보에 기초하여 차량과 차량의 번호판을 효과적이면서 효율적으로 검지할 수 있다.

본 발명의 일 실시 예에 따른 차량 검지 장치는 객체들 중에서 차량의 번호판을 가리는 장애물을 검출하고, 장애물의 영역의 픽셀들의 깊이 정보에 기초하여 번호판 은닉 행위를 판단한다. 따라서, 본 발명의 일 실시 예에 의하면, 불법 주정차 단속시 번호판 은닉 행위와 같은 추가적인 불법 행위를 적발하는 것이 가능하다.

도 1은 본 발명의 일 실시 예에 따른 차량 검지 장치의 구성도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 차량 검지 장치(100)는 영상 획득부(110), 영상 전처리부(120), 그룹 분류부(130), 차량 검출부(140), 번호판 추정부(150), 차량 번호 추출부(160), 그리고 장애물 검출부(170)를 포함한다.

영상 획득부(110)는 스테레오 영상(stereo image)을 획득한다. 일 실시 예로, 영상 획득부(110)는 불법 주정차 단속 차량과 같은 이동 차량에 설치되며, 이동 차량이 이동하는 동안 1대의 카메라를 이용하여 소정의 시간 간격으로 스테레오 영상(3차원의 입체 영상)을 연속적으로 촬영할 수 있다. 영상 획득부(110)는 제1 시점과 제2 시점에서 서로 다른 영상을 촬영하고, 제1 시점과 제2 시점 간의 이동 차량의 이동 거리 정보에 기초하여 서로 다른 영상을 정합함으로써 서로 다른 영상으로부터 깊이 정보를 포함하는 스테레오 영상을 획득할 수 있다.

이때, 영상 획득부(110)는 예를 들어 이동 차량의 속도 및 촬영 시간차를 이용하여 영상이 촬영된 두 시점 사이의 카메라의 위치 변이량을 산출하고, 카메라의 위치 변이량을 이용하여 두 영상의 서로 대응하는 픽셀에 대한 깊이 정보를 산출함으로써 스테레오 영상을 생성할 수 있다. 다른 예로, 이동 차량에 설치된 GPS(Global Positioning System) 모듈 등에 의하여 단일 카메라에 의하여 영상들이 촬영된 시점들의 위치 정보들을 직접 측정하여, 두 시점 간의 카메라의 위치 변이량을 산출하는 것도 가능하다.

영상 획득부(110)는 앞서 설명된 실시 예와 같이 단일 카메라를 이용하여 스테레오 영상을 획득할 수 있으나, 대안적으로 다중 카메라를 이용하여 스테레오 영상을 획득할 수도 있다. 즉, 영상 획득부(110)는 예를 들어 2대의 카메라를 이용하여 영상을 획득한 후, 알려져 있는 2대의 카메라 간의 위치 관계를 이용하여 두 영상의 대응하는 픽셀에 대한 깊이 정보를 획득함으로써, 스테레오 영상을 생성할 수도 있다.

한편, 영상 획득부(110)는 예를 들어 스테레오 영상의 하나의 프레임 내에서 검지하고자 하는 대상인 객체(object), 예를 들어 차량의 일 부분만이 나타나는 경우, 차량의 전체에 대한 영상을 획득하기 위해 스테레오 영상의 서로 인접하는 프레임들을 정합하여 보다 넓은 시역을 갖는 파노라마 영상(panorama image)을 생성할 수도 있다.

영상 전처리부(120)는 스테레오 영상으로부터 에지 영상(edge image)을 생성하기 위한 전처리 과정으로써, 스테레오 영상에서 노이즈(noise)를 제거할 수 있다. 일 실시 예로, 영상 전처리부(120)는 가우스 스무딩 필터(Gaussian smoothing filter)를 이용하여 가우스 스무딩을 수행함으로써, 스테레오 영상에서 노이즈를 제거할 수 있다. 이때, 영상 전처리부(120)는 평균 필터, 산술평균 필터, 기하평균 필터 또는 하모닉평균 필터 등을 사용하여 영상 전처리를 수행할 수 있다.

그룹 분류부(130)는 스테레오 영상의 픽셀(pixel)들의 깊이(depth) 정보 및 색상 정보의 유사도에 기초하여, 스테레오 영상의 모든 픽셀들을 그룹화하여 객체들을 그룹핑(grouping)할 수 있다. 즉, 그룹 분류부(130)는 클러스터링(clustering)을 이용한 그룹화 방식을 통해 객체들을 구별하여, 객체들을 복수 개의 그룹으로 분류할 수 있다. 도 2는 본 발명의 일 실시 예에 따른 차량 검지 장치를 구성하는 그룹 분류부의 구성도이다. 도 2를 참조하면, 그룹 분류부(130)는 에지 영상 생성부(131)와, 그룹핑부(132)를 포함한다.

에지 영상 생성부(131)는 스테레오 영상에서 에지 영상(edge image)을 생성한다. 일 실시 예로, 에지 영상 생성부(131)는 영상 전처리부(120)에 의해 전처리된 영상에서 에지를 구함으로써, 에지 영상을 생성할 수 있다. 에지 영상 생성부(131)는 예를 들어, 영상 처리 분야에서 알려져 있는 소벨마스크(Sobel Filter), 라플라시안(Laplacian) 필터, 언샤프마스크(unsharp mask) 등을 이용하여 에지 영상을 생성할 수 있다.

그룹핑부(132)는 에지 영상에서 픽셀들의 깊이 정보의 유사도에 기초하여 객체들을 그룹핑하여 객체들을 구분할 수 있다. 즉, 그룹핑부(132)는 깊이 정보가 유사한 픽셀들을 동일한 그룹으로 묶는 클러스터링(clustering)에 의해 객체들을 복수 개의 그룹으로 분류할 수 있다.

다시 도 1을 참조하면, 차량 검출부(140)는 객체들 중에서, 깊이 정보가 소정의 범위에 속하며 차량이 갖는 고유한 특징 정보를 갖는 객체를 차량으로 검출한다. 단속 차량이 도로를 주행하면서 불법 주정차 차량을 단속하는 경우를 예로 들면, 통상적으로 단속 차량과 불법 주정차 차량은 일정한 거리 범위 내에 속한다. 이에, 차량 검출부(140)는 깊이 정보(거리 정보)가 소정의 범위에 속하는 객체들을 대상으로 차량을 검출할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 차량 검지 장치를 구성하는 차량 검출부의 구성도이다. 도 3을 참조하면, 차량 검출부(140)는 차량 후보군 검출부(141)와, 차량 검지부(142)를 포함한다. 차량 후보군 검출부(141)는 그룹화된 객체들 중에서, 차량의 바퀴가 갖는 원 또는 타원의 형상에 관한 고유한 특징 정보를 갖는 객체를 차량 후보군으로 검출할 수 있다.

이를 위해, 본 발명의 실시 예에 따른 차량 검지 장치(100)는 차량이 갖는 고유한 형상들에 관한 특징 정보를 저장하는 저장부(미도시)를 더 포함할 수 있다. 이때, 차량 후보군 검출부(141)는 그룹핑된 에지 영상(edge image)에서 차량의 바퀴 형상에 대응하는 원 또는 타원의 형상을 갖는 에지를 찾고, 차량의 바퀴에 해당하는 객체와, 바퀴의 주변에서 나타나는 객체들을 차량 후보군으로 검출할 수 있다.

차량 검지부(142)는 차량 후보군 중에서 차량을 검지한다. 일 실시 예로, 차량 검지부(142)는 차량 후보군 검출부(141)에서 검출한 원 또는 타원 형상의 에지를 중심으로 차량을 검지할 수 있다. 차량 후보군 중에는 원 또는 타원 형상을 갖는 차량이 아닌 다른 객체가 포함될 수 있다. 이에, 차량 검지부(142)는 차량만이 갖는 고유한 특징들을 이용하여 차량이 아닌 객체들을 필터링함으로써, 차량 후보군에서 최종적으로 차량을 검출할 수 있다.

일 실시 예로, 차량 검지부(142)는 차량의 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트 또는 백라이트가 갖는 형상에 관한 고유한 특징 정보에 기초하여, 차량 후보군으로부터 차량을 검출할 수 있다. 이를 위해, 저장부(미도시)에는 차량의 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트 및 백라이트의 형상에 관한 정보가 저장될 수 있다. 차종에 따라 차량의 각 부품의 형상이 조금씩 다르므로, 영상에서의 객체를 저장부(미도시)에 저장된 평균적인 형상에 관한 특징 정보를 비교하고, 설정된 오차 범위 이내인 경우 해당 차량의 부품인 것으로 판단할 수 있다.

영상 획득부(110)의 촬영 각도와 촬영 거리 등을 감안하기 위해, 차량 검지부(142)는 객체나 저장부에 저장된 차량의 특징 정보를 회전, 축소 또는 확대하여 매칭시킨 후 비교하여 차량을 검출할 수 있다. 한편, 통상적으로 차량의 각 부품은 단일의 색상 정보를 가지므로, 차량 검지부(142)는 객체에서의 색상 정보의 유사도를 더 고려하여 차량을 검출할 수도 있다.

다시 도 1을 참조하면, 번호판 추정부(150)는 차량이 갖는 고유한 특징 정보를 이용하여, 차량으로 검출된 객체의 영역 내에서 번호판의 위치를 추정한다. 일 실시 예로, 번호판 추정부(150)는 차량의 번호판이 갖는 형상(직사각형)에 관한 고유한 특징 정보를 이용하여 번호판의 위치를 추정할 수 있다. 일 실시 예로, 번호판 추정부(150)는 차량으로 검출한 객체의 영역 내에서 차량의 번호판이 갖는 고유한 특징 정보가 나타나지 않는 경우, 차량의 앞범퍼, 뒷범퍼, 헤드라이트, 및 백라이트가 갖는 형상에 관한 고유한 특징 정보를 이용하여 번호판의 위치를 추정할 수 있다.

번호판 추정부(150)는 예를 들어, 차량의 앞범퍼에 해당하는 영상의 중심 부분을 차량의 전방 번호판의 위치로 추정하고, 차량의 뒷범퍼에 해당하는 영상의 중심 부분을 차량의 후방 번호판의 위치로 추정할 수 있다. 본 발명의 실시 예에 따른 차량 감지 장치(100)는 예를 들어, 영상 내에서 차량이 감지되는 경우로서 앞범퍼와 헤드라이트만 감지되고 뒷범퍼와 백라이트가 감지되지 않으면, 차량의 전방을 촬영하고 있다는 정보와, 차량의 번호판이 전방 번호판이라는 정보 등을 생성할 수도도 있다.

차량 번호 추출부(160)는 영상 처리에 의하여 번호판의 영역에서 차량 번호의 문자, 숫자를 추출한다. 추출한 차량 번호는 불법 주정차 차량을 단속하는데 사용될 수 있다. 장애물 추출부(170)는 스테레오 영상의 객체들 중에서 차량의 일부를 가리는 장애물을 검출한다. 만약, 번호판 추정부(150)에서 추정한 번호판의 위치에서 차량의 번호판이 감지되지 않으면, 번호판을 가리는 객체, 즉 장애물이 존재하는 것으로 판단할 수 있다. 장애물 추출부(170)는 차량의 번호판을 가리는 장애물을 검출하며, 장애물에 대응하는 깊이 정보에 기초하여 번호판 은닉 행위를 판단할 수 있다.

만약, 번호판을 가리는 객체의 영역에 대한 픽셀들의 깊이 정보가 차량의 영역에 대한 픽셀들의 깊이 정보와 차이를 보일 경우, 의도하지 않았으나 우연히 다른 장애물에 의하여 차량의 번호판이 가려진 것으로 판단할 수 있다. 만약, 번호판을 가리는 객체의 영역에 대한 픽셀들의 깊이 정보가 차량의 영역에 대한 픽셀들의 깊이 정보와 동일한 경우, 의도적으로 차량의 번호판을 은닉하는 행위인 것으로 판단할 수 있다. 이는 불법 주정차 단속 외에 추가적인 불법 행위(고의적인 번호판 은닉 행위)를 단속하는 자료로 활용될 수 있다.

도 1 내지 도 3에 도시한 실시 예에서 '~부'의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부' 안에서 제공되는 기능은 더 작은 수의 구성요소 및 '~부'로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.

도 4는 본 발명의 일 실시 예에 따른 차량 검지 방법의 흐름도이다. 도 1 내지 도 4를 참조하면, 먼저 단계 S41에서 영상 획득부(110)는 깊이(depth) 정보를 포함하는 스테레오 영상(stereo image)을 획득한다. 영상 획득부(110)는 단일 카메라를 이용하여 스테레오 영상을 획득할 수도 있고, 다중 카메라를 이용하여 스테레오 영상을 획득할 수도 있다.

도 5는 본 발명의 일 실시 예에 따라 스테레오 영상을 획득하는 과정을 설명하기 위한 도면이다. 도 5를 참조하면, 영상 획득부(110)는 이동 차량(10)에 설치되며, 이동 차량(10)이 도시된 화살표의 방향으로 이동하는 동안 불법 주정차 차량(20)에 대하여 1대의 카메라를 이용하여 서로 다른 시점(t1,t2)의 영상을 촬영한다. 영상 획득부(110)는 제1 시점(t1)과 제2 시점(t2) 간의 이동 차량(10)의 이동 거리 정보에 기초하여 서로 다른 영상을 정합함으로써 깊이 정보를 포함하는 스테레오 영상을 획득할 수 있다.

이때, 영상 획득부(110)는 예를 들어 이동 차량(10)의 속도 및 촬영 시간차를 이용하여 두 영상이 촬영된 시점의 카메라의 위치 변이량을 산출하고, 위치 변이량을 이용하여 두 영상의 대응하는 픽셀에 대한 깊이 정보를 산출함으로써 스테레오 영상을 생성할 수 있다. 다른 예로, 이동 차량에 설치된 GPS(Global Positioning System) 모듈(미도시) 등을 이용하여 단일 카메라에 의하여 영상이 촬영된 위치를 직접 측정하고, 측정한 위치 정보를 이용하여 스테레오 영상을 생성할 수도 있다.

다시 도 1 내지 도 4를 참조하면, 단계 S42에서 영상 전처리부(120)는 영상 전처리를 수행하여 스테레오 영상에서 노이즈를 제거할 수 있다. 영상 전처리부(120)는 예를 들어 가우스 스무딩 필터(Gaussian smoothing filter)를 이용하여 가우스 스무딩을 수행함으로써, 스테레오 영상에서 노이즈를 제거할 수 있다. 이때, 영상 전처리부(120)는 평균 필터, 산술평균 필터, 기하평균 필터 또는 하모닉평균 필터 등을 사용하여 영상 전처리를 수행할 수 있다.

다음으로, 단계 S43에서 그룹 분류부(130)는 스테레오 영상의 픽셀들의 깊이 정보의 유사도에 기초하여 스테레오 영상의 모든 픽셀들을 그룹화하여 객체들을 그룹핑한다. 즉, 그룹 분류부(130)는 클러스터링(clustering)을 이용한 그룹화 방식을 통해 객체들을 구별하여, 객체들을 복수 개의 그룹으로 분류할 수 있다. 이때, 그룹 분류부(130)는 예를 들어 소벨마스크(Sobel Filter), 라플라시안(Laplacian) 필터, 언샤프마스크(unsharp mask) 등을 이용하여 객체들을 분류할 수 있다.

일 실시 예에 있어서, 그룹 분류부(130)는 도 6에 도시한 바와 같은 스테레오 영상으로부터 도 7에 도시한 바와 같은 에지 영상을 생성한 다음, 에지 영상에서의 픽셀들의 깊이 정보의 유사도에 기초하여 객체들을 도 8에 도시한 바와 같이 그룹핑하여 객체들을 구분할 수 있다. 도 8에서 그룹들로 분류된 객체들이 굵은 실선으로 도시된다.

다시 도 1 내지 도 4를 참조하면, 단계 S44에서, 차량 검출부(140)는 객체들 중에서, 깊이 정보가 소정의 범위에 속하며 차량이 갖는 고유한 특징 정보를 갖는 객체를 차량으로 검출한다. 먼저, 단계 S441에서, 차량 후보군 검출부(141)는 그룹화된 객체들 중에서, 차량의 바퀴가 갖는 원 또는 타원의 고유한 특징 정보를 포함하는 객체를 차량 후보군으로 검출한다. 즉, 차량 후보군 검출부(141)는 그룹핑된 에지 영상에서 차량의 바퀴 형상에 대응하는 원 또는 타원의 에지를 찾고, 차량의 바퀴에 해당하는 객체와, 그 주변의 객체들(예를 들어 차량의 바퀴로부터 일정 거리 이하인 객체들)을 차량 후보군으로 검출할 수 있다.

단계 S442에서, 차량 검지부(142)는 차량 후보군 중에서 차량을 검지한다. 일 실시 예로, 차량 검지부(142)는 차량 후보군 검출부(141)에서 검출한 원 또는 타원 형상의 에지를 중심으로 차량을 검지할 수 있다. 차량 검지부(142)는 차량만이 갖는 고유한 특징들을 이용하여 차량이 아닌 객체들을 필터링함으로써, 차량 후보군에서 최종적으로 차량을 검출할 수 있다. 일 실시 예로, 차량 검지부(142)는 차량의 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트, 백라이트가 갖는 형상에 관한 고유한 특징 정보에 기초하여, 차량 후보군 중에서 차량을 검출할 수 있다.

다음으로, 단계 S45에서 번호판 추정부(150)는 차량의 번호판이 갖는 고유한 특징 정보를 이용하여, 차량으로 검출한 객체의 영역 내에서 번호판의 위치를 추정한다. 일 실시 예로, 번호판 추정부(150)는 차량으로 검출한 객체의 영역에서 차량의 번호판이 갖는 고유한 특징 정보가 나타나지 않는 경우, 차량의 앞범퍼, 뒷범퍼, 헤드라이트 또는 백라이트가 갖는 형상에 관한 고유한 특징 정보를 이용하여 번호판의 위치를 추정할 수 있다.

번호판 추정부(150)는 예를 들어, 차량의 앞범퍼에 해당하는 영상의 중심 부분을 차량의 전방 번호판의 위치로 추정하고, 차량의 뒷범퍼에 해당하는 영상의 중심 부분을 차량의 후방 번호판의 위치로 추정할 수 있다. 본 발명의 실시 예에 따른 차량 감지 장치(100)는 예를 들어, 영상 내에서 차량이 감지되는 경우로서 앞범퍼와 헤드라이트만 감지되고 뒷범퍼와 백라이트가 감지되지 않으면, 차량의 전방을 촬영하고 있다는 정보와, 차량의 번호판인 전방 번호판이라는 정보 등을 생성할 수도 있다.

단계 S46에서, 차량 번호 추출부(160)는 번호판의 영역에서 차량 번호를 추출한다. 장애물 추출부(170)는 객체 중에서 차량의 일부를 가리는 장애물을 검출한다. 만약, 영상의 번호판 추정부(150)에서 추정한 위치에서 차량의 번호판이 감지되지 않으면, 번호판을 가리는 객체, 즉 장애물이 존재하는 것으로 판단할 수 있다. 장애물 추출부(170)는 차량의 번호판을 가리는 장애물을 검출하며, 장애물에 대응하는 깊이 정보에 기초하여 번호판 은닉 행위를 판단할 수 있다.

만약, 번호판을 가리는 객체의 영역에 대한 픽셀들의 깊이 정보가 차량의 영역에 대한 픽셀들의 깊이 정보와 차이를 보일 경우, 의도하지 않았으나 우연히 다른 장애물에 의하여 차량의 번호판이 가려진 것으로 판단할 수 있다. 만약, 번호판을 가리는 객체의 영역에 대한 픽셀들의 깊이 정보가 차량의 영역에 대한 픽셀들의 깊이 정보와 동일한 경우, 의도적으로 차량의 번호판을 은닉하는 행위인 것으로 판단할 수 있다. 이는 불법 주정차 단속 외에 추가적인 불법 행위(고의적인 번호판 은닉 행위)를 단속하는 자료로 활용될 수 있다.

이상에서 설명한 본 발명의 일 실시 예에 따른 차량 검지 방법은 예를 들어 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있으나, 이에 제한되지는 않는다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.

이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.

10: 이동 차량(단속 차량) 20: 불법 주정차 차량
100: 차량 검지 장치 110: 영상 획득부
120: 영상 전처리부 130: 그룹 분류부
131: 에지 영상 생성부 132: 그룹핑부
140: 차량 검출부 141: 차량 후보군 검출부
142: 차량 검지부 150: 번호판 추정부
160: 차량 번호 추출부 170: 장애물 검출부

Claims (18)

1. 스테레오 영상을 획득하는 영상 획득부;
   상기 스테레오 영상의 픽셀들의 깊이 정보에 기초하여 객체들을 그룹핑하는 그룹 분류부; 그리고
   상기 객체들 중에서, 상기 깊이 정보가 소정의 범위에 속하며 차량이 갖는 고유한 특징 정보를 포함하는 객체를 차량으로 검출하는 차량 검출부를 포함하는 차량 검지 장치.
2. 제1 항에 있어서,
   상기 차량의 번호판이 갖는 형상에 관한 고유한 특징 정보를 이용하여, 상기 차량으로 검출된 객체의 영역에서 번호판의 위치를 추정하는 번호판 추정부를 더 포함하는 차량 검지 장치.
3. 제2 항에 있어서,
   상기 번호판 추정부는, 상기 차량으로 검출된 객체의 영역에서 상기 차량의 번호판이 갖는 고유한 특징 정보가 나타나지 않는 경우, 상기 차량의 앞범퍼, 뒷범퍼, 헤드라이트, 백라이트 중 적어도 하나 이상이 갖는 형상에 관한 고유한 특징 정보를 이용하여, 상기 번호판의 위치를 추정하는 차량 검지 장치.
4. 제1 항에 있어서,
   상기 차량 검출부는,
   상기 객체들 중에서, 상기 차량의 바퀴가 갖는 원 또는 타원의 형상에 관한 상기 고유한 특징 정보를 포함하는 객체를 차량 후보군으로 검출하는 차량 후보군 검출부; 그리고
   상기 차량의 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트, 백라이트 중의 적어도 하나 이상이 갖는 형상에 관한 상기 고유한 특징 정보에 기초하여, 상기 차량 후보군으로부터 상기 차량을 검출하는 차량 검지부를 포함하는 차량 검지 장치.
5. 제1 항에 있어서,
   상기 영상 획득부는, 이동 차량에 설치되며, 상기 이동 차량이 이동하는 동안 1대의 카메라를 이용하여 제1 시점과 제2 시점에서 서로 다른 영상을 촬영하며, 상기 제1 시점과 상기 제2 시점 간의 상기 이동 차량의 이동 거리 정보에 기초하여 상기 서로 다른 영상을 정합함으로써 상기 서로 다른 영상으로부터 상기 깊이 정보를 포함하는 상기 스테레오 영상을 획득하는 차량 검지 장치.
6. 제1 항에 있어서,
   상기 그룹 분류부는,
   상기 스테레오 영상에서 에지 영상을 생성하는 에지 영상 생성부; 그리고
   상기 에지 영상에서의 픽셀들의 상기 깊이 정보에 기초하여 상기 객체들을 그룹핑하는 그룹핑부를 포함하는 차량 검지 장치.
7. 제1 항 내지 제6 항 중 어느 한 항에 있어서,
   상기 객체들 중에서, 상기 차량을 가리는 장애물을 검출하는 장애물 검출부를 더 포함하는 차량 검지 장치.
8. 제7 항에 있어서,
   상기 장애물 검출부는 상기 객체들 중에서 상기 차량의 번호판을 가리는 상기 장애물을 검출하며, 상기 장애물의 영역에서의 픽셀들의 깊이 정보에 기초하여 번호판 은닉 행위를 판단하는 차량 검지 장치.
9. 스테레오 영상의 픽셀들의 깊이 정보에 기초하여 객체들을 그룹핑하는 그룹 분류부; 그리고
   상기 객체들 중에서, 상기 깊이 정보가 소정의 범위에 속하며 차량이 갖는 고유한 특징 정보를 포함하는 객체를 차량으로 검출하는 차량 검출부를 포함하는 차량 검지 장치.
10. 제9 항에 있어서,
    상기 차량의 번호판이 갖는 고유한 특징 정보를 이용하여 상기 차량으로 검출한 객체의 영역에서 번호판의 위치를 추정하는 번호판 추정부를 더 포함하는 차량 검지 장치.
11. 제9 항에 있어서,
    상기 번호판 추정부는, 상기 차량으로 검출된 객체의 영역에서 상기 차량의 번호판이 갖는 고유한 특징 정보가 나타나지 않는 경우, 상기 차량의 앞범퍼, 뒷범퍼, 헤드라이트, 백라이트 중 적어도 하나 이상이 갖는 형상에 관한 고유한 특징 정보를 이용하여, 상기 번호판의 위치를 추정하는 차량 검지 장치.
12. 제9 항 내지 제11 항 중 어느 한 항에 있어서,
    상기 차량 검출부는,
    상기 객체들 중에서, 상기 차량의 바퀴가 갖는 원 또는 타원의 형상에 관한 상기 고유한 특징 정보를 포함하는 객체를 차량 후보군으로 검출하는 차량 후보군 검출부; 그리고
    상기 차량의 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트, 백라이트 중의 적어도 하나 이상이 갖는 형상에 관한 상기 고유한 특징 정보에 기초하여, 상기 차량 후보군으로부터 상기 차량을 검출하는 차량 검지부를 포함하는 차량 검지 장치.
13. 스테레오 영상의 픽셀들의 깊이 정보에 기초하여 객체들을 그룹핑하는 단계; 그리고
    상기 객체들 중에서, 상기 깊이 정보가 소정의 범위에 속하며 차량이 갖는 고유한 특징 정보를 포함하는 객체를 차량으로 검출하는 단계를 포함하는 차량 검지 방법.
14. 제13 항에 있어서,
    상기 차량의 번호판이 갖는 고유한 특징 정보를 이용하여 상기 차량으로 검출된 객체의 영역에서 번호판의 위치를 추정하는 단계를 더 포함하는 차량 검지 방법.
15. 제14 항에 있어서,
    상기 번호판의 위치를 추정하는 단계는,
    상기 차량으로 검출한 객체의 영역에서 상기 차량의 번호판이 갖는 상기 고유한 특징 정보가 나타나지 않는 경우, 상기 차량의 앞범퍼, 뒷범퍼, 헤드라이트, 백라이트 중 적어도 하나 이상의 형상에 관한 고유한 특징 정보를 이용하여 상기 번호판의 위치를 추정하는 차량 검지 방법.
16. 제13 항에 있어서,
    상기 차량으로 검출하는 단계는,
    상기 객체들 중에서, 상기 차량의 바퀴가 갖는 원 또는 타원의 형상에 관한 상기 고유한 특징 정보를 갖는 객체를 차량 후보군으로 검출하는 단계; 그리고
    상기 차량의 앞범퍼, 뒷범퍼, 창문, 창틀, 차체 에지, 헤드라이트, 백라이트 중의 적어도 하나 이상이 갖는 형상에 관한 상기 고유한 특징 정보에 기초하여, 상기 차량 후보군으로부터 상기 차량을 검출하는 단계를 포함하는 차량 검지 방법.
17. 제13 항에 있어서,
    상기 객체들 중에서 상기 차량의 번호판을 가리는 상기 장애물을 검출하고, 상기 장애물에 대응하는 깊이 정보에 기초하여 번호판 은닉 행위를 판단하는 단계를 더 포함하는 차량 검지 방법.
18. 제13항 내지 제17 항 중 어느 한 항에 기재된 방법을 실행시키는 프로그램을 기록한 컴퓨터에서 읽을 수 있는 기록 매체.

Images