KR101865958B1 - 속도 제한 표지판 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 속도 제한 표지판 인식 장치 및 방법에 관한 것으로서, 특히 조도 변화 및 고속 주행에 대한 강건성을 확보하여 제한 속도 표지판의 검출 성능을 향상시킬 수 있도록 하는 기술이다. 이러한 본 발명은, 차량의 주행 속도를 검출하는 속도 검출부, 주행 속도에 대응하여 속도 제한 표지판의 검출 크기를 결정하는 영상 처리부, 영상 처리부의 출력 영상에서 조도에 따른 화질의 열화를 보정하는 조도 처리부, 및 조도 처리부의 출력 영상에 따라 상기 속도 제한 표지판의 이미지를 인식하는 검출부를 포함한다.

Description

속도 제한 표지판 인식 장치 및 방법{Method and apparatus for recognizing speed limit signs}

본 발명은 속도 제한 표지판 인식 장치 및 방법에 관한 것으로서, 특히 조도 변화 및 고속 주행에 대한 강건성을 확보하여 제한 속도 표지판의 검출 성능을 향상시킬 수 있도록 하는 기술이다.

지능형 자동차에서의 컴퓨터 비전 시스템은 사람의 반응체계를 비추어 볼 때 그 중요성과 전망이 높은 분야 중에 하나이다. 사람의 반응체계는 시각을 통하여 외부로부터 여러 정보를 얻은 후 반응하며 그 비율이 약 80% 이상일 정도로 높은 비중을 차지하고 있다.

따라서, 대부분 정보의 전달 형태가 시각적이며 이를 이용한 컴퓨터 비전 시스템이 기존 자동차 분야에 접목이 되어 그 중요성이 커지고 있다. 컴퓨터 비전 시스템이 지능형 자동차에 응용된 기술은 카메라를 통한 자동차 주변 정보를 종합, 처리, 응용하는 목적이 있다.

그 결과 차선이탈 경보, 차간거리유지 시스템, 보행자 인식 시스템, 주차보조시스템, 교통 표지판 인식 등의 많은 어플리케이션이 있다. 이 중에서 교통표지판 인식은 안전을 생각했을 때 간과될 수 없는 중요한 기술 중에 하나이다.

그리고, 많은 자동차 회사들이 운전자의 안전한 운행을 보조하기 위하여 지능형 안전 시스템 개발을 진행하고 있고 다수의 기술들이 실제로 적용되고 있다.

특히, ISA(Intelligent Speed Assistance) 기술은 최근 유럽 차량 안전 테스트 기관인 유로(Euro) NCAP에서 안전 측정 항목에 선정된 기술로써, 현재 주행 중인 도로의 제한 속도를 운전자에게 알려주어 안전운행을 돕도록 하는 기술이다. 이 기술은 제한 속도의 인식을 위해 카메라로부터 입력되는 영상을 처리하여 대상 표지판을 검출하고 인식하는 과정을 수행하게 된다.

하지만, 종래 기술에서는 카메라로부터 입력되는 영상을 처리하는 과정에서 조도 변화에 대한 한계로 인해 영상 인식 성능이 열화 되고 있다.

도 1은 종래 기술에서 조도 변화에 따른 카메라의 취득 영상을 나타낸다.

종래 기술은 도 1에서와 같이 태양 조명 및 기타 조명에 따른 조도 변화에 의해 영상이 과도하게 밝게 취득되거나 어둡게 취득되는 경우가 있다. 이와 같은 환경에서 속도 표지판을 정확하게 취득하고 인식하기 위해서는 영상 처리를 통해 조도 향상성을 유지해야 한다.

도 2는 종래 기술에서 차량의 속도에 따른 취득 속도 표지판의 크기를 나타낸다.

예를 들어, 15FPS(초당 15 장의 영상 취득)로 동작하는 카메라로부터 속도 표지판을 검출할 때, 도 2와 같은 영상을 얻을 수 있다. 도 2를 참조하면, 차량이 약 60kph로 주행하는 경우 영상에서 속도 표지판의 크기가 30×30에서 55×55로 바뀌기까지 10 프레임(Frame)의 영상을 취득할 수 있다.

하지만, 차량이 약 100kph로 주행하는 경우 취득할 수 있는 영상이 그 절반인 5 프레임으로 줄어든다. 즉, 고속 주행시에는 연속된 영상의 취득 양이 부족하게 된다. 이에 따라, 고속 주행은 영상의 검출 및 인식 과정에서 성능 저하의 주요 원인으로 작용하게 된다. 따라서, 영상의 검출 및 인식 성능을 향상시키기 위해서는 고속 주행시에도 인식에 유효한 개수의 목표 영상을 취득할 수 있어야 한다.

즉, 속도 제한 표지판의 검출 성능이 열화 되는 요인은 조도 변화에 따라 화질이 저하되고, 고속 주행에 따라 연속된 영상 취득량이 부족한 경우이다.

본 발명은 조도 변화에 따른 성능 열화를 극복하여 제한 속도 표지판의 검출 성능을 향상시킬 수 있도록 한다.

그리고, 본 발명은 고속 주행에 대한 강건성을 확보하여 제한 속도 표지판의 검출 성능을 향상시킬 수 있도록 한다.

본 발명의 실시예에 따른 속도 제한 표지판 인식 장치는, 차량의 주행 속도를 검출하는 속도 검출부; 카메라로부터 인가되는 촬영 영상에서 속도 제한 표지판을 검출하고, 주행 속도에 대응하여 속도 제한 표지판의 검출 크기를 결정하는 영상 처리부; 영상 처리부의 출력 영상에서 조도에 따른 화질의 열화를 보정하는 조도 처리부; 및 조도 처리부의 출력 영상에 따라 속도 제한 표지판의 이미지를 인식하는 검출부를 포함하고, 영상 처리부는 주행 속도를 복수의 속력 구간으로 정의하고, 각 속력 구간에 따른 관심 영역의 크기를 정의하며, 주행 속도에 대응하는 관심 영역의 일부 크기를 해당 관심 영역으로 설정하여 속도 제한 표지판의 원 영상과 동일한 크기로 확대하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 속도 제한 표지판 인식 방법은, 차량의 주행 속도를 검출하는 단계; 카메라로부터 인가되는 촬영 영상에서 속도 제한 표지판을 검출하고, 주행 속도에 대응하여 속도 제한 표지판의 검출 크기를 결정하는 단계; 검출 크기가 결정되면 조도에 따른 화질의 열화를 보정하는 단계; 및 열화가 보정된 영상에 따라 속도 제한 표지판의 이미지를 인식하는 단계를 포함하고, 속도 제한 표지판의 검출 크기를 결정하는 단계는 주행 속도를 복수의 속력 구간으로 정의하는 단계; 주행 속도에 대응하여 복수의 속력 구간에 따른 관심 영역의 크기를 정의하는 단계; 및 주행 속도에 대응하는 관심 영역의 일부 크기를 해당 관심 영역으로 설정하여 속도 제한 표지판의 원 영상과 동일한 크기로 확대하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 태양광, 조명 등의 조도 변화에 따른 성능 열화를 극복하여 제한 속도 표지판의 검출 성능을 향상시킬 수 있도록 한다.

그리고, 본 발명은 고속 주행시에도 안정적으로 속도 표지판 영역의 영상을 확보하여 제한 속도 표지판의 인식 성능을 향상시킬 수 있도록 한다.

또한, 본 발명은 차량용 임베디드 환경에서 실시간성을 확보할 수 있도록 하는 효과를 제공한다.

아울러 본 발명의 실시예는 예시를 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

도 1은 종래 기술에서 조도 변화에 따른 카메라의 취득 영상을 나타낸 도면.
도 2는 종래 기술에서 차량의 속도에 따른 취득 속도 표지판의 크기를 나타낸 도면.
도 3은 본 발명의 실시예에 따른 속도 제한 표지판 인식 장치에 관한 구성도.
도 4는 본 발명의 실시예에 따른 속도 제한 표지판 인식 방법을 설명하기 위한 흐름도.
도 5는 본 발명의 실시예에 따른 영상 처리부에서 도로 표지판을 검출하는 방법을 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 영상 처리부에에서 도로 표지판을 검출하는 방법을 설명하기 위한 도면.
도 7은 일반적인 영상 처리 장치에서 조도를 처리하는 방법을 나타낸 도면.
도 8은 본 발명의 실시예에 따른 조도 처리부에서 조도를 처리하는 방법을 설명하기 위한 도면.
도 9a 및 도 9b는 본 발명의 실시예에 따른 속도 제한 표지판 인식 장치에서 영상 취득 효과를 설명하기 위한 도면.
도 10a 및 도 10b는 본 발명의 실시예에 따른 속도 제한 표지판 인식 장치에서 조도 처리 효과를 설명하기 위한 도면.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하고자 한다.

도 3은 본 발명의 실시예에 따른 속도 제한 표지판 인식 장치에 관한 구성도이다.

본 발명의 실시예는 속도 검출부(100), 영상 처리부(200), 조도 처리부(300) 및 검출부(400)를 포함한다.

여기서, 속도 검출부(100)는 차량의 주행 속도를 검출하여 영상 처리부(200)에 출력한다. 그리고, 영상 처리부(200)는 카메라(1)로부터 인가되는 촬영 영상에서 원형 물체를 검출하고, 속도 검출부(100)로부터 인가되는 차량 속도에 따라 영상 처리를 수행한다.

또한, 조도 처리부(300)는 영상처리부(200)로부터 인가되는 영상에서 밝기 변화에 따른 화질의 열화를 보정한다. 검출부(400)는 조도 처리부(300)로부터 인가되는 영상을 바탕으로 속도 제한 표지판의 이미지를 인식한다.

본 발명의 실시예에서는 전방 카메라(1)를 이용한 속도 표지판의 인식 과정의 전 단계인 속도 표지판 검출의 성능 향상을 도모한다.

이러한 구성을 갖는 본 발명의 실시에에 관한 동작 과정을 도 4의 흐름도를 참조하여 설명하면 다음과 같다.

영상 처리부(200)에 입력된 촬영 영상에서 도로 표지판을 검출하는 방법은 도 5와 같다.

먼저, 영상 처리부(200)는 카메라(1)로부터 인가되는 촬영 영상에서 후보 영역인 원형 물체를 검출한다. 여기서, 원형 물체는 차량의 주행중 도로에서 발견하게 되는 속도 제한 표지판을 의미한다. 대부분의 속도 제한 표지판은 원의 형태로 구현되어 있다.

전방 카메라(1)는 차량의 룸미터 위치에 전방을 주시하도록 장착되어 주행 차선, 전방 차량, 장애물 및 도로 표지판 등의 차량 주변 정보를 취득하는데 사용된다.

영상 처리부(200)는 입력되는 영상의 각 픽셀(Pixel) 값을 참조하여 인접 픽셀과의 차이를 통해 변화율(그레디언트; Gradient) X, Y 값을 구한다. 그리고, 이 값을 통해 에지(Edge)나 코너(Corner) 형태를 파악하여 목표 표지판을 검출한다.

그리고, 영상 검출과 관련된 기술 중 FRS(Fast Radial Symmetry) 기법은 소스 이미지(Source image)에서 X, Y 방향의 변화율(그레디언트; Gradient) 성분을 이용하여 각 픽셀의 크기 이미지(Magnitude image), 오리엔테이션 이미지(Orientation image)를 구한다. 그리고, 이 값을 이용하여 원(Circle) 형태의 물체를 검출하게 된다.

이후에, 속도 검출부(100)는 차량의 주행 속도를 검출하여 영상 처리부(200)에 전송한다.(단계 S1)

영상 처리부(200)는 속도 검출부(100)로부터 인가되는 차량 속도에 따라 검출된 물체의 영상 처리를 수행한다.(단계 S2) 영상 처리부(200)는 차량의 주행 속도가 검출되면 차량의 고속 주행 또는 저속 주행 여부를 판단하여 속도 표지판의 검출 크기를 결정한다.

카메라(1)로부터 촬영된 영상이 영상 처리부(200)에 입력되면 영상 처리부(200)는 도 6에 도시된 바와 같이, 원 영상의 관심영역(ROI; Region Of Interest)을 선택한다. 그리고, 상위 관심영역의 크기를 일부 분할하여 원 영상의 크기로 리사이즈(Resize) 하게 된다.

예를 들어, 차량의 속력에 따라 저속, 중속, 고속 등의 3 단계로 속력 구간을 정의하고, 각 구간에 따른 관심 영역을 선택한다. 고속으로 주행하는 경우 15fps로 취득되는 영상을 저속 주행시와 비교한다. 이때, 영상 내에서 속도 표지판이 존재하는 영상의 프레임 개수가 1/2로 줄어든다.

따라서, 고속 주행시 관심 영역은 줄이되 해당 관심 영역을 확대하여 보다 작은 속도 표지판을 관심 영역의 크기로 정의한다. 즉, 고속, 중속, 저속 각각에 대해 상위 관심영역의 일부(예를 들어, 85 %) 크기를 해당 관심영역으로 설정하고, 해당 관심 영역을 원 영상과 동일한 크기로 확대한다. 이에 따라, 속도에 따라 속도 제한 표지판의 검출 크기를 적응적으로 변화시키게 된다.

이후에, 조도 처리부(300)는 영상처리부(200)로부터 인가되는 영상에서 조도를 처리하여 밝기 변화에 따른 화질의 열화를 보정한다.(단계 S3)

다음에, 검출부(400)는 조도 처리부(300)로부터 인가되는 영상을 바탕으로 속도 제한 표지판의 이미지를 인식한다.(단계 S4)

도 7은 일반적인 영상 처리 장치에서 조도를 처리하는 방법을 나타낸다.

종래의 카메라를 이용한 시스템에서는 조명 변화에 따른 화질 열화를 피할 수 없었다. 이에 따라, 조명의 강도가 다양한 환경에서 안정적인 영상 처리 결과를 획득하기 위하여 여러 가지 처리를 수행하게 된다. 조도에 따른 화질 변화를 최소화하기 위해 도 7에서와 같이 밝기 균일화(Intensity normalization), 히스토그램 평활화(Histogram equalization) 등 다양한 전처리 기술을 수행한다.

하지만, 이 과정의 경우는 모든 픽셀의 평균과 분산을 구하고 정규화 과정을 취하는 등 많은 연산을 필요로 하게 된다. 따라서, 비교적 간단한 전처리 과정에 대비하여 부하가 큰 단점이 있다.

이에, 본 발명의 실시예는 조도 변화에 따라 영상이 열화 되는 것을 방지하기 위해 도 8에서와 같이 조명 향상성 변환 과정을 거치게 된다.

도 8은 LBP(Local binary pattern) 변환 과정을 전처리 과정으로 수행하는 경우를 나타낸다. LBP는 얼굴인식, 보행자 인식 기술 등에서 형태를 표현해 주는 특징이 있다.

LBP 특징은 각 픽셀에서 인접 픽셀과의 밝기를 비교하여 스트링(String)으로 표현함으로써 각 픽셀의 방향성을 표현할 수 있다. 영상 내의 모든 픽셀에서 주변 픽셀과의 밝기 차이를 기준으로 중심 픽셀보다 밝으면 로직 "1", 어두우면 로직 "0"으로 값을 설정한다. 그리고, 8개의 값을 하나의 스트링으로 표현한다.

본 발명의 실시예에서는 8개의 픽셀을 기준으로 밝기 비교를 수행하는 것을 일 예로 설명하지만, 본 발명은 이에 한정되는 것이 아니며 기준이 되는 픽셀 개수는 충분히 변경이 가능하다.

예를 들어, 도 8에서와 같이 중심 픽셀의 밝기가 각각 150, 주변 픽셀의 밝기가 각각 160, 160, 40, 50, 50, 60, 50, 155이면, 스트링 값은 "10000011"으로 표현된다. 그리고, 이 스트링 값을 십진수로 변환하는 경우 "131"의 값을 갖는다. 이에 따라, 조도 처리부(300)는 이 십진수 변환 값에 대응하여 영상의 열화를 보정하게 된다.

이와 같이, 본 발명의 실시예는 조명 향상성을 보장함과 더불어 연산량이 작아 전처리 과정을 줄일 수 있도록 한다.

도 9a 및 도 9b는 본 발명의 실시예에 따른 속도 제한 표지판 인식 장치에서 영상 취득 효과를 설명하기 위한 도면이다.

도 9a에 도시된 바와 같이, 속도에 따른 영상의 검출 크기 변환 과정을 수행하지 않은 경우, 속도 표지판이 검출 가능 크기보다 작아서 속도 표지판이 검출되지 않는 것을 알 수 있다.

도 9b는 본 발명의 실시예에서 주행 속도에 따른 가변 검출 크기 방법을 적용한 결과에 대한 영상이다. 본 발명의 실시예는 도 9에서와 같이 동일한 환경에서 검출 크기를 적응적으로 가변하여 작은 크기의 속도 표지판을 검출할 수 있게 된다.

도 10a 및 도 10b는 본 발명의 실시예에 따른 속도 제한 표지판 인식 장치에서 조도 처리 효과를 설명하기 위한 도면이다.

도 10a는 태양 광에 따른 밝기 차이를 보이는 두 장의 입력 영상에 대해 각각 조명 향상성 변환을 수행한 결과를 나타낸다. 그 결과 에지(Edge) 영역의 방향 성분이 두드러지는 결과를 확인할 수 있다. 그리고, 도 10b에서와 같이 조명 향상성 변환을 수행하여 속도 표지판의 인식 기능을 향상시킬 수 있다.

Claims (12)

1. 차량의 주행 속도를 검출하는 속도 검출부;
   카메라로부터 인가되는 촬영 영상에서 속도 제한 표지판을 검출하고, 상기 주행 속도에 대응하여 상기 속도 제한 표지판의 검출 크기를 결정하는 영상 처리부;
   상기 영상 처리부의 출력 영상에서 조도에 따른 화질의 열화를 보정하는 조도 처리부; 및
   상기 조도 처리부의 출력 영상에 따라 상기 속도 제한 표지판의 이미지를 인식하는 검출부를 포함하고,
   상기 영상 처리부는
   상기 주행 속도를 복수의 속력 구간으로 정의하고, 각 속력 구간에 따른 관심 영역의 크기를 정의하며, 상기 주행 속도에 대응하는 관심 영역의 일부 크기를 해당 관심 영역으로 설정하여 상기 속도 제한 표지판의 원 영상과 동일한 크기로 확대하는 것을 특징으로 하는 속도 제한 표지판 인식 장치.
2. 삭제
3. 삭제
4. 제 1항에 있어서, 상기 조도 처리부는 상기 영상 처리부의 출력 영상에 대한 각 픽셀 밝기를 인접 픽셀 밝기와 비교하여 로직 값으로 설정하는 것을 특징으로 하는 속도 제한 표지판 인식 장치.
5. 제 4항에 있어서, 상기 조도 처리부는 중심 픽셀을 기준으로 하여 주변 픽셀의 밝기가 밝으면 로직 "1" 로 설정하고, 밝기가 어두우면 로직 "0"으로 설정하는 것을 특징으로 하는 속도 제한 표지판 인식 장치.
6. 제 5항에 있어서, 상기 조도 처리부는 모든 픽셀의 로직 값을 하나의 스트링으로 표현하여 십진수로 변환하는 것을 특징으로 하는 속도 제한 표지판 인식 장치.
7. 차량의 주행 속도를 검출하는 단계;
   카메라로부터 인가되는 촬영 영상에서 속도 제한 표지판을 검출하고, 상기 주행 속도에 대응하여 속도 제한 표지판의 검출 크기를 결정하는 단계;
   상기 검출 크기가 결정되면 조도에 따른 화질의 열화를 보정하는 단계; 및
   상기 열화가 보정된 영상에 따라 속도 제한 표지판의 이미지를 인식하는 단계를 포함하고,
   상기 속도 제한 표지판의 검출 크기를 결정하는 단계는
   상기 주행 속도를 복수의 속력 구간으로 정의하는 단계;
   상기 주행 속도에 대응하여 상기 복수의 속력 구간에 따른 관심 영역의 크기를 정의하는 단계; 및
   상기 주행 속도에 대응하는 관심 영역의 일부 크기를 해당 관심 영역으로 설정하여 상기 속도 제한 표지판의 원 영상과 동일한 크기로 확대하는 단계를 포함하는 것을 특징으로 하는 속도 제한 표지판 인식 방법.
8. 삭제
9. 삭제
10. 제 7항에 있어서, 상기 열화를 보정하는 단계는
    검출된 속도 제한 표지판의 영상에 대해 각 픽셀 밝기를 인접 픽셀 밝기와 비교하는 단계; 및
    상기 비교 결과를 로직 값으로 설정하는 단계를 포함하는 것을 특징으로 하는 속도 제한 표지판 인식 방법.
11. 제 10항에 있어서, 상기 로직 값으로 설정하는 단계는
    중심 픽셀을 기준으로 하여 주변 픽셀의 밝기가 밝으면 로직 "1" 로 설정하고, 밝기가 어두우면 로직 "0"으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 속도 제한 표지판 인식 방법.
12. 제 11항에 있어서, 상기 로직 값으로 설정하는 단계는
    모든 픽셀의 상기 로직 값을 하나의 스트링으로 표현하여 십진수로 변환하는 단계를 더 포함하는 것을 특징으로 하는 속도 제한 표지판 인식 방법.
    
    
    

Images