KR102274544B1 - 주행 보조 장치 및 이미지 처리 방법 - Google Patents

주행 보조 장치 및 이미지 처리 방법 Download PDF

Info

Publication number
KR102274544B1
KR102274544B1 KR1020180118011A KR20180118011A KR102274544B1 KR 102274544 B1 KR102274544 B1 KR 102274544B1 KR 1020180118011 A KR1020180118011 A KR 1020180118011A KR 20180118011 A KR20180118011 A KR 20180118011A KR 102274544 B1 KR102274544 B1 KR 102274544B1
Authority
KR
South Korea
Prior art keywords
area
blocks
traffic sign
color
identifying
Prior art date
Application number
KR1020180118011A
Other languages
English (en)
Other versions
KR20200044164A (ko
Inventor
김신욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180118011A priority Critical patent/KR102274544B1/ko
Priority to US17/265,647 priority patent/US11780444B2/en
Priority to PCT/KR2019/013037 priority patent/WO2020071853A1/ko
Publication of KR20200044164A publication Critical patent/KR20200044164A/ko
Application granted granted Critical
Publication of KR102274544B1 publication Critical patent/KR102274544B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/00818—
    • G06K9/38—
    • G06K9/4652—
    • G06K9/4661—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

차량에 탑재 가능한 주행 보조 장치가 개시된다. 주행 보조 장치는, 이미지 촬영부 및 이미지 촬영부를 통해 촬영된 주변 이미지 내에서 특정 색상 영역을 제1 후보 영역으로 식별하고, 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별하며, 제2 후보 영역 내에서 교통 표지판의 영역을 식별하는 프로세서를 포함한다.

Description

주행 보조 장치 및 이미지 처리 방법 {Electronic device and image processing method thereof}
본 개시는 주행 보조 장치 및 이미지 처리 방법에 관한 것으로, 더욱 상세하게는 교통 표지판을 식별하는 주행 보조 장치 및 이미지 처리 방법에 관한 것이다.
교통 표지판은 도로 이용자에게 일관성 있고 통일된 방법으로 교통안전과 원활한 소통을 도모하고, 도로시설물을 보호하는 데 필요한 각종 정보를 제공한다. 이러한 교통 표지판은 도로 상의 어느 곳이나 존재할 수 있기 때문에 효과적인 인식을 위해서는 실시간으로 촬영된 이미지 영역 전체가 탐색 되어야 한다.
다만, 종래에는 이미지 영역 전체를 탐색하기에는 과도한 연산이 소모되어 실시간 탐색이 어렵거나 혹은 연산량을 줄임으로 인해 인식률이 저하되는 문제가 발생되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은, 촬영된 이미지의 색상 정보 및 형태 정보에 기초하여 교통 표지판의 후보 영역을 식별하여 교통 표지판의 식별 성능을 높이는 동시에 연산량을 저감시키는 주행 보조 장치 및 이미지 처리 방법을 제공함에 있다.
또한, 교통 표지판 영역을 탐지함에 있어 표지판의 훼손이나 오염에도 강인하게 교통 표지판이 탐지될 수 있도록 하는데 그 목적이 있다.
상술한 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 차량에 탑재 가능한 주행 보조 장치는, 이미지 촬영부 및 상기 이미지 촬영부를 통해 촬영된 주변 이미지 내에서 특정 색상 영역을 제1 후보 영역으로 식별하고, 상기 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별하며, 상기 제2 후보 영역 내에서 교통 표지판의 영역을 식별하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 상기 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고, 상기 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 상기 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득하고, 상기 제1 픽셀 정보 및 상기 제2 픽셀 정보에 기초하여 상기 교통 표지판의 영역을 식별할 수 있다.
상기 제1 픽셀 정보는, 상기 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하고, 상기 제2 픽셀 정보는, 상기 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
상기 프로세서는 상기 제1 픽셀 정보 및 상기 제2 픽셀 정보를 트레이닝 모델에 적용하여 상기 교통 표지판의 영역을 식별할 수 있다.
상기 트레이닝 모델은, 복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득될 수 있다.
상기 프로세서는, 상기 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고, 상기 R 컬러의 픽셀 값이 상기 G 컬러 및 상기 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 상기 제1 후보 영역으로 식별할 수 있다.
상기 주행 보조 장치는 조도 센서 및 강우 센서 중 적어도 하나를 더 포함할 수 있다.
상기 기설정된 배수는, 상기 조도 센서를 통해 측정된 조도 및 상기 강우 센서를 통해 측정된 강수량 중 적어도 하나에 기초하여 갱신될 수 있다.
상기 프로세서는, 상기 제1 후보 영역이 식별되면, 상기 주변 이미지 중 상기 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고, 상기 획득된 바이너리 이미지에 기초하여 상기 제2 후보 영역을 식별할 수 있다.
교통 표지판의 기준 형태 정보를 저장하는 저장부를 더 포함하고, 상기 제1 후보 영역에서 상기 기준 형태 정보가 식별되면, 상기 제1 후보 영역을 상기 제2 후보 영역으로 식별할 수 있다.
상기 주행 보조 장치는 디스플레이를 더 포함할 수 있다.
상기 프로세서는, 상기 식별된 교통 표지판 영역에서 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별하여 제공하도록 상기 디스플레이를 제어하고, 상기 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 상기 차량을 제어할 수 있다.
또한, 본 개시의 일 실시 예에 따른 이미지 처리 방법은, 이미지 촬영부를 통해 차량의 주변 이미지를 획득하는 단계, 상기 주변 이미지에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별하는 단계, 상기 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별하는 단계 및 상기 제2 후보 영역을 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초하여 교통 표지판의 영역을 식별하는 단계를 포함할 수 있다.
상기 교통 표지판의 영역을 식별하는 단계는, 상기 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 상기 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고, 상기 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 상기 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득하고, 상기 제1 픽셀 정보 및 상기 제2 픽셀 정보에 기초하여 상기 교통 표지판의 영역을 식별할 수 있다.
상기 제1 픽셀 정보는, 상기 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
상기 제2 픽셀 정보는, 상기 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
상기 교통 표지판 영역을 식별하는 단계는, 상기 제1 픽셀 정보 및 상기 제2 픽셀 정보를 트레이닝 모델에 적용하여 상기 교통 표지판 영역을 식별할 수 있다.
상기 트레이닝 모델은, 복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득될 수 있다.
상기 제1 후보 영역을 식별하는 단계는, 상기 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고, 상기 R 컬러의 픽셀 값이 상기 G 컬러 및 상기 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 상기 제1 후보 영역으로 식별할 수 있다.
상기 기설정된 배수는, 조도 및 강수량 중 적어도 하나에 기초하여 갱신될 수 있다.
상기 제2 후보 영역을 식별하는 단계는, 상기 제1 후보 영역이 식별되면, 상기 주변 이미지 중 상기 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고, 상기 획득된 바이너리 이미지에 기초하여 상기 제2 후보 영역을 식별할 수 있다.
상기 제2 후보 영역을 식별하는 단계는, 상기 제1 후보 영역에서 기 저장된 교통 표지판의 기준 형태 정보가 식별되면, 상기 제1 후보 영역을 상기 제2 후보 영역으로 식별할 수 있다.
상기 이미지 처리 방법은, 상기 식별된 교통 표지판 영역에서 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별하여 제공하는 단계 및 상기 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 상기 차량을 제어하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 개시의 다양한 실시 예에 따르면 주행 보조 장치는 촬영된 이미지의 색상 정보 및 형태 정보에 기초하므로 교통 표지판의 후보 영역을 식별하는 정확도를 높일 수 있다.
또한, 촬영된 이미지에 포함된 픽셀 값 정보에 기초하므로 교통 표지판을 식별하는데 소모되는 연산량을 저감시켜 실시간으로 사용자에게 교통 표지판 정보를 제공하여 안전 운전에 도움이 될 수 있다.
도 1은 본 개시의 이해를 돕기 위한 교통 표지판을 포함하는 주변 이미지를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 주행 보조 장치의 구성을 나타내는 블럭도이다.
도 3은 도 2의 주행 보조 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 4는 본 개시의 일 실시 예에 따른 제1 후보 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 제2 후보 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 제2 후보 영역을 복수의 블록으로 식별하여 픽셀 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 식별된 교통 표지판 영역의 정보를 사용자에게 제공하는 동작을 설명하는 도면이다.
도 8은 본 개시의 일 실시 예에 따른 주행 보조 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 이해를 돕기 위한 교통 표지판을 포함하는 주변 이미지를 설명하기 위한 도면이다.
도 1에 따르면, 본 발명의 일 실시 예에 따른 주행 보조 장치는 구비된 센서를 이용하여 주변 환경을 모니터링할 수 있다. 일 예로, 주행 보조 장치는 이미지 촬영부를 이용하여 주변 환경, 전방 도로 상황 등을 촬영하여 주변 이미지(10)를 획득할 수 있다. 여기서, 이미지 촬영부는 차량의 주변 환경, 차량의 주행 경로 상에서 발생하는 이벤트 등을 촬영하는 구성으로서 센서, 카메라 및 이미지 센서 등으로 불릴 수 있으나 이하에서는 설명의 편의를 위해 이미지 촬영부로 통칭하도록 한다.
본 개시의 일 실시 예에 따른 주행 보조 장치는 이미지 촬영부를 통해 주변 이미지(10)를 획득하고, 주변 이미지(10)에 포함된 교통 표지판(20) 영역을 식별하여 식별된 정보를 사용자에게 제공할 수 있는데, 이하에서는 도면을 참조하여 본 개시의 다양한 실시 예에 대해 자세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 주행 보조 장치의 구성을 나타내는 블럭도이다. 도 2의 주행 보조 장치(100)는 차량에 탑재되어 사용될 수 있다. 구체적으로는, 주행 보조 장치(100)는 차량의 전장 시스템으로 구현될 수도 있고, 차량 내부에 설치되는 카메라 모듈로 구현될 수도 있다. 또는, 룸 미러 일체형 모듈로 구현될 수도 있으며, 차량에 탈부착 가능한 휴대폰이나, PDA 등과 같은 휴대 장치 형태로 구현될 수도 있다. 또는, 차량 그 자체로 구현될 수도 있다.
도 2에 따르면, 주행 보조 장치(100)는 이미지 촬영부(110) 및 프로세서(120)를 포함한다.
이미지 촬영부(110)는 차량의 주변 이미지(10)를 촬영할 수 있다. 일 예로, 이미지 촬영부(110)를 통해 차량의 주변에 위치한 교통 표지판, 다른 차량 등이 촬영될 수 있다. 이미지 촬영부(110)는 단일 카메라 또는 복수 개의 카메라로 구현될 수 있다.
프로세서(120)는 주행 보조 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(120)는 이미지 촬영부(110)를 통해 촬영된 주변 이미지(10)를 획득할 수 있다. 여기서, 주변 이미지(10)는 주행 보조 장치(100)가 탑재된 차량의 주변 이미지 일 수 있다. 예를 들어, 프로세서(120)는 이미지 촬영부(110)를 통해 교통 표지판 등이 포함된 주변 이미지(10)를 실시간으로 획득할 수 있다. 여기서, 교통 표지판은 교통 안전을 위해 일관성 있고 통일된 방식으로 표시된 표지판이며, 주의 표지, 규제 표지, 지시 표지, 보조 표지 및 노면 표지 등의 타입이 있고, 원형, 삼각형, 사각형, 팔각형 등의 형태가 있을 수 있다.
프로세서(120)는 주변 이미지(10) 내에서 특정 색상 영역을 제1 후보 영역으로 식별할 수 있다. 프로세서(120)는 주변 이미지(10)에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별할 수 있다. 여기서, 후보 영역은 교통 표지판이 존재할 수 있는 후보가 되는 영역을 의미한다.
구체적으로, 프로세서(120)는 주변 이미지(10)에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별할 수 있다. 즉, 프로세서(120)는 주변 이미지(10)에 포함된 R, G, B 컬러 값을 색상 정보로서 식별할 수 있다. 여기서, 컬러 값이란 픽셀 값을 의미하며, R, G, B 각각의 픽셀 값은 밝기에 따라 0 내지 255 중 하나로 표현될 수 있다. 예를 들어, R 컬러의 픽셀 값이 255이고, G 컬러 및 B 컬러의 픽셀 값이 0이면 해당 픽셀은 빨간색으로 표현되며, R 컬러, G 컬러 및 B 컬러의 픽셀 값이 0이면 해당 픽셀은 검정색으로 표현될 수 있다.
프로세서(120)는 R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 제1 후보 영역으로 식별할 수 있다. R 컬러의 픽셀 값이 나머지보다 큰 경우, 해당 픽셀은 R 컬러 계통을 나타낼 수 있다.
한편, 도로 주변에 위험물이 있거나 도로 상태가 위험할 경우 도로 이용자가 안전 조치를 취할 수 있도록 알려주는 주의 표지판 및 도로 교통의 안전을 위해 제한 또는 금지되는 규제를 알리기 위한 규제 표지판 등의 테두리는 일반적으로 붉은색 계통의 색상이 이용된다. 따라서, 프로세서(120)는 주변 이미지(10)에서 R 컬러 픽셀 값이 나머지 컬러에 비해 높은 영역을 교통 표지판의 후보 영역으로 식별할 수 있다.
프로세서(120)는 제1 후보 영역이 식별되면, 주변 이미지(10) 중 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득할 수 있다. 여기서, 바이너리 이미지는, 주변 이미지(10)가 두 가지 컬러로만 표현되는 이미지일 수 있다.
바이너리 이미지를 획득하는 과정은 하기의 수학식 1을 이용하여 수행될 수 있다. 수학식 1을 통해 획득되는 바이너리 이미지는 검정 컬러 및 흰 컬러만으로 표현될 수 있다.
Figure 112018097727083-pat00001
여기서,
Figure 112018097727083-pat00002
는 ( i,j ) 좌표 위치의 바이너리 이미지 상의 픽셀 값이며, R은 R 컬러의 픽셀 값, G는 G 컬러의 픽셀 값, B는 B 컬러의 픽셀 값이며,
Figure 112018097727083-pat00003
및
Figure 112018097727083-pat00004
는 G 컬러의 픽셀 값 및 B 컬러의 픽셀 값에 각각 곱해지는 기설정된 배수이다.
주변 이미지(10)는 R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 경우 0, 그렇지 않은 경우 255의 픽셀 값을 갖는 바이너리 이미지로 변경될 수 있다.
구체적으로, 프로세서(120)는 R, G 및 B 컬러 중 R 컬러의 픽셀 값이 가장 크고(MAX(R, G, B)=R), R 컬러의 픽셀 값이 기설정된 배수인
Figure 112018097727083-pat00005
및
Figure 112018097727083-pat00006
각각을 G 픽셀 값 및 B 픽셀 값에 곱한 값 보다 큰 경우, 해당 픽셀을 검정 색(픽셀 값 0)으로 나타내고 나머지 픽셀을 흰색(픽셀 값 255)으로 나타낼 수 있다. 즉, 프로세서(120)는 R 컬러의 픽셀 값 비율이 높은 영역을 검은 색으로 나타내고 나머지 영역을 흰색으로 나타내는 바이너리 이미지를 획득할 수 있다. 다만, 여기서 수학식 1을 통해 R 컬러의 픽셀 값 비율이 높은 영역은 검은 색으로 표현되고 나머지 영역은 흰색으로 표현되었으나, 이는 일 예에 불과할 뿐 주변 이미지(10)에서 제1 후보 영역이 나머지 영역과 구분될 수 있는 형태이면 다양한 방법으로 표현될 수도 있다.
여기서, 기설정된 배수는, 조도 센서(미도시)를 통해 측정된 조도 및 강우 센서(미도시)를 통해 측정된 강수량 중 적어도 하나에 기초하여 갱신될 수 있다. 즉, 기설정된 배수는 주변 환경 조건에 따라 변경될 수 있다.
예를 들어, 차량의 주변 환경이 매우 밝은 경우의 기설정된 배수는, 주변 환경이 매우 어두운 경우의 기설정된 배수보다 큰 값일 수 있다. 주변 환경이 매우 밝은 경우에는 R 컬러 픽셀 값 또한 높게 측정되므로, R 컬러 픽셀 값이 G 컬러 및 B 컬러에 비해 더욱 큰 차이가 나는 경우만을 식별하도록 기설정된 배수가 증가될 수 있다. 이에 따라, 프로세서(120)가 R 컬러 계통을 식별하는 정확도가 증가될 수 있다. 또한, 주변 환경이 매우 어두운 경우에는 주변 이미지(10)의 픽셀 값 간 차이가 주변 환경이 밝은 경우보다 작으므로 기설정된 배수는 상대적으로 작은 값으로 감소될 수 있다.
기설정된 배수는, 표 1과 같이, 조도 레벨에 따라 다양한 값으로 변경될 수 있다. 이와 같이, 조도 레벨에 따라 기설정된 배수인
Figure 112018097727083-pat00007
및
Figure 112018097727083-pat00008
은 다양한 환경에서 실험을 통해 측정되어 룩업 테이블의 형태로 저장부(미도시)에 저장될 수 있다.
조도 레벨
Figure 112018097727083-pat00009
Figure 112018097727083-pat00010
레벨 1 (가장 어두움) 1 1
레벨 2 (어두움) 1.1 1.1
레벨 3 (밝음) 1.2 1.2
레벨 4 (가장 밝음) 1.3 1.3
표 1과 같은 룩업 테이블은 조도 센서를 통해 측정되는 조도 정보에 기초하여, 주변 이미지(10)에서 R 컬러 비율이 나머지 컬러에 비해 높은 영역을 식별하는데 이용될 수 있다. 표 1에서 각 조도 레벨은 가장 어두움, 어두움, 밝음, 가장 밝음으로 구분되어 있으며 이는 상대적인 조도 레벨을 명시한 것이다. 이러한 조도 레벨의 구분은 일 예이며, 복수의 조도 임계 값을 설정하여 임계 값에 따라 조도 레벨을 정확하게 구분할 수 있음은 물론이다.
한편, 표 1에서 기설정된 배수인
Figure 112018097727083-pat00011
및
Figure 112018097727083-pat00012
에 관한 수치는 예시일 뿐 조도 센서 종류의 변경 등 다양한 환경 조건에 따라 다른 값으로 변경될 수 있다. 또한, 표 1에서
Figure 112018097727083-pat00013
및
Figure 112018097727083-pat00014
은 동일한 값으로 기재되었으나 서로 다른 값을 갖을 수도 있다.
한편, 기설정된 배수는 강우 센서를 통해 측정된 강수량에 기초하여 변경될 수도 있다. 예를 들어, 강수 정도에 따른 기설정된 배수가 측정되어 룩업 테이블의 형태로 저장될 수 있다.
한편, 센서를 통해 조도 및 강수량을 측정하지 않고 외부 서버(미도시)로부터 조도 및 강수량에 관한 정보가 수신될 수도 있다.
차량의 주변 환경을 고려하여 기설정된 배수가 조정됨으로써 프로세서(120)는 좀 더 정확하게 교통 표지판 영역을 식별할 수 있다.
본 개시의 일 실시 예에 따른, R, G, B 컬러의 픽셀 값 사이의 크기를 통해 R 컬러 영역을 식별하는 방법은 단순한 연산으로서 프로세서(120)의 연산량을 감소시킬 수 있다.
또한, 주변 이미지(10) 상에서 교통 표지판의 후보 영역들을 식별하고 해당 후보 영역들에서만 교통 표지판을 식별함으로써 프로세서(120)의 연산량을 감소시킬 수도 있다.
다만, 설정에 따라 노란 컬러와 같이 붉은색 계통이 아님에도 불구하고 R 컬러 픽셀 값이 큰 영역이 교통 표지판의 후보 영역으로 식별될 수도 있다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별할 수 있다. 프로세서(120)는 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별할 수 있다. 구체적으로, 프로세서(120)는 색상 정보에 따라 획득된 바이너리 이미지에 기초하여 제2 후보 영역을 식별할 수 있다. 즉, 프로세서(120)는, R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역만이 검은 색으로 표시되고 나머지 영역은 흰색으로 표시된 바이너리 이미지에서, 검은 색으로 표시된 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별할 수 있다.
프로세서(120)는 바이너리 이미지 상에서 기설정된 크기의 윈도우를 제1 후보 영역을 중심으로 이동시켜 제1 후보 영역에 포함된 형태 정보를 식별할 수 있다. 다만, 프로세서(120)는 바이너리 이미지 상에서 기설정된 크기의 윈도우를 전체 이미지 영역 상에서 이동시켜 제1 후보 영역에 포함된 형태 정보를 식별할 수도 있다.
프로세서(120)는 제1 후보 영역에서 기준 형태 정보가 식별되면, 제1 후보 영역을 제2 후보 영역으로 식별할 수 있다. 여기서, 기준 형태 정보는 샘플 교통 표지판의 형태에 관한 정보일 수 있다. 일 예로, 기준 형태 정보는, 주의 표지를 나타내는 삼각형 형태 정보, 규제 표지를 나타내는 원형 형태 정보, 사각형 형태 정보, 팔각형 형태 정보 등을 포함할 수 있다. 기준 형태 정보는, 주행 보조 장치(100) 제조시 저장부에 저장되거나 외부 서버로부터 수신될 수도 있다. 여기서, 외부 서버는 클라우드 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다.
즉, 프로세서(120)는 제1 후보 영역에서 획득된 형태 정보를 저장부에 저장된 기준 형태 정보와 비교하고, 획득된 형태 정보가 기준 형태 정보와 일치하면 획득된 형태 정보가 포함된 영역을 제2 후보 영역으로 식별할 수 있다. 예를 들어, 획득된 바이너리 이미지 상에서 원형 형태 정보가 식별되면, 프로세서(120)는 이러한 원형 형태 정보는 기준 형태 정보와 일치하는 것으로 식별하고 원형 형태를 포함하는 영역을 제2 후보 영역으로 식별할 수 있다. 또는, 획득된 바이너리 이미지 상에서 마름모 형태 정보가 식별되면, 프로세서(120)는 이러한 마름모 형태 정보가 기준 형태 정보와 일치하지 않는 것으로 식별하여 해당 영역을 제2 후보 영역으로 식별하지 않을 수 있다. 즉, 마름모 형태의 영역은 교통 표지판이 존재하지 않는 영역으로 구분될 수 있다.
프로세서(120)는 제2 후보 영역을 복수의 블록으로 식별할 수 있다. 구체적으로, 프로세서(120)는 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별할 수 있다.
예를 들어, 프로세서(120)는 제2 후보 영역을 수평 방향 및 수직 방향을 기준으로 M*N 형태의 복수의 블록으로 식별할 수 있다.
프로세서(120)는 복수의 블록 각각에 포함된 픽셀 값에 기초하여 픽셀 정보를 획득할 수 있다. 구체적으로, 프로세서(120)는 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고, 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득할 수 있다.
여기서, 제1 픽셀 정보는, 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다. 또한, 제2 픽셀 정보는, 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
예를 들어, 프로세서(120)는 제2 후보 영역을 3*3 형태의 블록으로 식별하는 경우를 상정한다.
수평 방향을 기준으로 제1 블록은 제1 행, 제2 행 및 제3 행 블록으로 구성된다. 또한, 수직 방향을 기준으로 제2 블록은 제1 열, 제2 열 및 제3 열 블록으로 구성된다.
제1 픽셀 정보는, 제1 행, 제2 행 및 제3 행 블록 각각에 포함된 픽셀의 평균 값, 인접한 블록인 제1 행과 제2 행의 평균 값 간 차이 값 및 제2 행과 제3 행의 평균 값 간 차이 값을 포함할 수 있다.
제2 픽셀 정보는, 제1 열, 제2 열 및 제3 열 블록 각각에 포함된 픽셀의 평균 값, 인접한 블록인 제1 열과 제2 열의 평균 값 간 차이 값 및 제2 열과 제3 열의 평균 값 간 차이 값을 포함할 수 있다.
프로세서(120)는 획득된 제1 픽셀 정보 및 제2 픽셀 정보에 대응되는 특징 벡터 또는 행렬 값을 획득할 수 있다. 특징 벡터는 제1 방향 평균 값 정보, 제1 방향 평균 값 간 차이 값 정보, 제2 방향 평균 값 정보, 제2 방향 평균 값 간 차이 값 정보를 나열한 벡터일 수 있다. 상술한 제1 픽셀 정보 및 제2 픽셀 정보를 획득하는 방법에 관하여는 후술하는 도 6에서 자세히 설명하도록 한다.
프로세서(120)는 획득된 픽셀 정보에 기초하여 교통 표지판 영역을 식별할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 제1 픽셀 정보 및 제2 픽셀 정보에 기초하여 교통 표지판 영역을 식별할 수 있다.
다른 실시 예에 따르면, 프로세서(120)는 제1 픽셀 정보 및 제2 픽셀 정보를 트레이닝 모델에 적용하여 교통 표지판 영역을 식별할 수도 있다.
여기서, 트레이닝 모델은 복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는 모델일 수 있다. 트레이닝 모델은, 인공 신경망이나 뉴로모픽(neuromorphic) 프로세서와 같은 인지 시스템으로 구현될 수 있다.
예를 들어, 트레이닝 모델은 원형 형태의 샘플인 '최고 속도 제한 표지판'을 M*N 형태의 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는 모델일 수 있다. 즉, 트레이닝 모델은, 샘플 교통 표지판에 대응되는 행렬 값 또는 특징 벡터가 학습된 모델일 수 있다.
트레이닝 모델은, 입력된 픽셀 정보와 학습된 픽셀 정보의 행렬 값 또는 특징 벡터의 유사성을 분석하여 입력된 픽셀 정보에 대응되는 객체가 교통 표지판인지 여부를 식별하여 출력할 수 있다.
트레이닝 모델에 의해 제2 후보 영역이 교통 표지판을 포함하는 것으로 식별되는 경우, 프로세서(120)는 제2 후보 영역을 영상 인식 기술을 통해 교통 표지판 내부의 숫자나 기호를 식별하여 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별할 수 있다. 여기서, 영상 인식 기술에는 패턴 매칭, OCR(Optical Character Recognition) 등이 포함될 수 있다. 예를 들어, 트레이닝 모델에 의해 제2 후보 영역이 교통 표지판을 포함하는 것으로 식별되는 경우, 프로세서(120)는 OCR 기술을 통해 교통 표지판 내부에 표시된 숫자 '80'을 획득하여, 차량이 현재 주행 중인 도로의 최고 속도가 80Km/h임을 식별할 수 있다. 또는, 별도의 인공신경망을 이용하는 트레이닝 모델을 통해 교통 표지판의 타입 및 지시 내용을 식별할 수도 있다.
프로세서(120)는 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 제공하도록 디스플레이(미도시)를 제어할 수 있다. 여기서, 디스플레이는 주행 보조 장치(100) 내부에 구비된 형태일 수 있으나, 이에 한정되는 것은 아니며 외부 디스플레이 장치(미도시)로 구현될 수도 있다. 차량에 구비된 네비게이션에 포함된 디스플레이, 차량의 전면 유리의 일 영역에 디스플레이하는 HUD(Head up Display) 또는 계기판 영역에 표시되는 디스플레이 등 다양한 형태로 구현될 수 있다. 프로세서(120)는 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 관한 정보를 외부 디스플레이 장치로 전송하여 외부 디스플레이 장치에서 교통 표지판의 타입 및 지시 내용이 디스플레이될 수도 있다.
프로세서(120)는 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 차량을 제어할 수 있다. 예를 들어, 식별된 교통 표지판이 정지 표지판인 경우, 프로세서(120)는 차량을 정지하도록 제어할 수 있다. 또는 식별된 교통 표지판의 지시 내용이 최고 속도 100Km/h 이하로 속도 제한 표지판인 경우, 프로세서(120)는 차량의 최고 속도가 100Km/h를 초과하지 않도록 제어할 수 있다.
프로세서(120)는 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 알리는 피드백을 제공할 수도 있다. 예를 들어, 피드백은 스티어링 휠과 같은 차량의 일부를 진동시키거나 특정 음향 또는 음성을 출력하는 형태일 수 있다.
다른 실시 예에 따르면, 프로세서(120)는 제1 후보 영역을 복수의 블록으로 식별하고 복수의 블록 각각에 포함된 픽셀 값에 기초하여 획득된 픽셀 정보를 트레이닝 모델에 적용하여 교통 표지판을 식별할 수도 있다. 즉, 형태 정보에 기초하여 제2 후보 영역을 식별하는 단계를 생략하고 복수의 블록 각각에 포함된 픽셀 값에 기초하여 획득된 픽셀 정보를 트레이닝 모델에 적용하고 트레이닝 모델에서 형태 정보를 함께 분석하여 교통 표지판인지 여부를 식별할 수도 있다.
이상에서는, 색상 정보를 기초로 제1 후보 영역을 식별한 다음, 형태 정보를 기초로 제2 후보 영역을 식별하고, 최종적으로 제2 후보 영역 내에서 교통 표지판을 식별하는 것으로 설명하였으나, 그 순서는 변경될 수도 있다. 예를 들어, 형태 정보를 기초로 제1 후보 영역을 식별한 다음, 색상 정보를 기초로 제2 후보 영역을 식별할 수도 있다. 물론, 이러한 동작 역시 일 예에 불과하며, 연산량에 따라서 그 순서는 임의로 변경될 수도 있다.
도 2에서는 이미지 촬영부(110) 및 프로세서(120)를 포함하는 주행 보조 장치(100)를 기준으로 설명하였으나, 구현 예에 따라서는 이미지 촬영부(110)를 제외한 형태로 구현될 수도 있다. 이 경우, 주행 보조 장치는 메모리 및/또는 프로세서로 구성될 수 있다. 주변 이미지(10)는 외부 카메라와 연결된 인터페이스를 통해 획득할 수도 있다.
도 3은 도 2의 주행 보조 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 3에 따르면, 주행 보조 장치(100)는 이미지 촬영부(110), 프로세서(120), 센서(130), 저장부(140) 및 통신부(150)를 포함한다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(120)는 CPU 및 주행 보조 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리) 및 주행 보조 장치(100)의 외부에서부터 입력되는 데이터를 저장하거나 주행 보조 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리)을 포함할 수 있다.
프로세서(120)는 기설정된 이벤트가 발생되면 저장부(140)에 저장된 OS(Operating System), 프로그램 및 다양한 어플리케이션을 실행할 수 있다. 프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
프로세서(120)는 이미지 프로세서(120-1) 및 어플리케이션 프로세서(120-2)를 포함할 수 있다.
이미지 프로세서(120-1)는 이미지 데이터에 대한 처리를 수행하는 구성 요소이다. 특히, 이미지 프로세서(120-1)는 교통 표지판 영역을 식별하는 전반적인 동작을 제어할 수 있다. 구체적으로, 이미지 촬영부(110)를 통해 촬영된 주변 이미지 내에서 특정 색상 영역을 제1 후보 영역으로 식별하고, 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별하며, 제2 후보 영역 내에서 교통 표지판의 영역을 식별할 수 있다. 교통 표지판 영역을 식별하는 동작에 관하여는 상술한 바 있으므로 자세한 설명은 생략하도록 한다.
어플리케이션 프로세서(120-2)는 각종 어플리케이션을 구동할 수 있고, 그래픽 처리를 수행하는 구성 요소이다. 어플리케이션 프로세서(120-2)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. 또한, 어플리케이션 프로세서(120-2)는 웹 데이터 베이스에 액세스하여 다양한 동작을 수행하고, 센서(130)들로부터 수신된 센싱 정보를 이용할 수도 있다.
센서(130)는 차량의 주변 환경에 관한 정보를 센싱하는 구성이다. 특히, 센서(130)는 조도 센서 및 강우 센서를 포함할 수 있다. 조도 센서는 차량의 주변 환경의 조도를 측정하는 구성이며, 강우 센서는 차량 주변의 강수량을 측정하는 센서이다.
또한, 센서(130)는 GPS(Global Positioning System), IMU(Inertial Measurement Unit), RADAR 유닛, LIDAR 유닛 및 이미지 센서를 포함할 수 있다. 또한, 센서(130)는 온/습도 센서, 적외선 센서, 기압 센서 및 근접 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니며 차량의 주변 환경에 관한 정보를 감지하여 운전자 및 프로세서(120)에 제공하는 다양한 유형의 센서가 포함될 수 있다.
또한, 센서(130)는 차량의 움직임을 센싱할 수 있는 움직임 센싱 장치를 포함할 수 있다. 움직임 센싱 장치는 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor) 및 자이로스코프(Gyroscope) 센서를 포함할 수 있다.
GPS는 차량의 지리적 위치를 감지하는 구성으로, 프로세서(120)는 주변 이미지(10) 획득 시에 GPS를 통해 감지된 위치 정보를 함께 획득할 수도 있다.
IMU는 관성 가속도에 기초하여 차량의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합이 될 수 있다. 예를 들어, 센서들의 조합은, 가속도계들 및 자이로스코프들을 포함할 수 있다.
RADAR 유닛은 무선 신호를 이용하여 차량이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다. 또한, RADAR 유닛은, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.
LIDAR 유닛은 레이저를 이용하여 차량이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다.
저장부(140)는 주행 보조 장치(100)를 구동/제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(140)는 주행 보조 장치(100) 및 프로세서(120)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
특히, 저장부(140)는 교통 표지판의 기준 형태 정보를 저장할 수 있다. 여기서, 기준 형태 정보는, 교통 표지판의 형태에 관한 정보일 수 있다. 예를 들어, 기준 형태 정보는, 주의 표지를 나타내는 삼각형 형태 정보, 규제 표지를 나타내는 원형 형태 정보, 사각형 형태 정보, 팔각형 형태 정보 등을 포함할 수 있다.
저장부(140)는 프로세서(120)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 저장부(140)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현될 수 있다.
다만, 본 개시의 다른 실시 예에 따르면, 기준 형태 정보를 서버(미도시)로부터 수신하는 것도 가능하다. 여기서, 서버는 클라우드 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다.
통신부(150)는 외부 디바이스(미도시)와 통신을 수행할 수 있다. 일 예로, 통신부(150)는 유/무선 통신 방식에 따라 외부 서버와 통신을 수행할 수 있는데, BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication), V2X(Vehicle to Everything), 이동통신(Cellular) 등과 같은 통신 방식을 이용할 수 있다.
통신부(150)는 교통 표지판의 기준 형태 정보를 외부 서버로부터 수신할 수 있다. 또한, 통신부(150)는 외부 서버로부터 차량의 현재 위치, 경로 등에 관련된 다양한 정보를 수신할 수도 있음은 물론이다. 일 예로, 통신부(150)는 외부 서버로부터 날씨 정보, 뉴스 정보, 도로 상황 정보 등을 수신할 수도 있다. 여기서, 도로 상황 정보는 차량이 주행 중인 경로(또는 도로)에 대한 상황 정보를 의미할 수 있다. 예를 들어, 도로의 노면 상태 정보, 교통 상황 정보, 교통 사고 정보 및 교통 단속 정보 등 다양한 정보를 수신할 수도 있다.
디스플레이(미도시)는 차량 운행 정보 등을 포함하는 다양한 컨텐츠를 디스플레이 한다. 여기서, 차량 운행 정보는, 차량의 현재 속도, 차량이 현재 주행 중인 도로의 제한 속도, 교통 표지판 정보 등을 포함할 수 있다. 특히, 디스플레이는 프로세서(120)의 제어에 의해 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 디스플레이 할 수 있다.
디스플레이는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot), 마이크로 LED(Micro light-emitting diode) 디스플레이 등과 같은 다양한 형태로 구현될 수 있다. 특히, 디스플레이는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다. 이 경우, 디스플레이는 출력 장치 이외에 상술한 사용자 인터페이스(미도시)로 사용될 수 있게 된다. 여기서, 터치스크린은 터치 입력 위치 및 면적뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.
다만, 주행 보조 장치(100)는 상술한 디스플레이를 포함하지 않을 상태로 구현될 수도 있다.
도 4는 본 개시의 일 실시 예에 따른 제1 후보 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 4a는, 이미지 촬영부(110)를 통해 획득된 차량의 주변 이미지(410)이다. 주변 이미지(410)에는 차량이 주행 중인 경로, 외부 차량, 교통 표지판 등 주변 환경이 포함될 수 있다.
주행 보조 장치(100)는 주변 이미지(410)에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별할 수 있다. 구체적으로, 주행 보조 장치(100)는 주변 이미지(410)에 포함된 R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 제1 후보 영역으로 식별할 수 있다.
도 4a에 따르면, 팔각형 객체(420) 및 외부 차량의 후미등(430)에 대응되는 영역의 R 컬러 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역으로 식별되어 제1 후보 영역으로 식별될 수 있다.
이 경우, 주행 보조 장치(100)는 제1 후보 영역만을 포함하는 바이너리 이미지(440)를 획득할 수 있다.
도 4b는, 제1 후보 영역만을 검은 색으로 나타내고 나머지 영은 흰색으로 나타내는 바이너리 이미지(440)이다.
따라서, 바이너리 이미지(440)에는 팔각형 객체(420)의 테두리 및 외부 차량의 후미등(430)만이 표시될 수 있다.
다만, 도 4b에 따른 바이너리 이미지(440)는, 제1 후보 영역은 검은 색으로 표현되고 나머지 영역은 흰색으로 표현되었으나, 이는 일 예에 불과할 뿐 주변 이미지(410)에서 제1 후보 영역이 나머지 영역과 구분될 수 있는 형태이면 다양한 방법으로 표현될 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 제2 후보 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 5a는, 제1 후보 영역만을 포함하는 바이너리 이미지(510)이다.
주행 보조 장치(100)는 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별할 수 있다. 구체적으로, 주행 보조 장치(100)는 색상 정보에 따라 획득된 바이너리 이미지(510)에 기초하여 제1 후보 영역에서 기준 형태 정보가 식별되면, 식별된 제1 후보 영역을 제2 후보 영역으로 식별할 수 있다.
도 5a에 따르면, 바이너리 이미지(510)에 포함된 팔각형 객체(520)의 형태는 팔각형이다. 팔각형 형태는 기준 형태 정보에 저장된 형태이므로, 주행 보조 장치(100)는 팔각형 객체(520)를 포함하는 영역을 제2 후보 영역으로 식별할 수 있다.
또한, 바이너리 이미지(510)에 포함된 외부 차량의 후미등(530)의 형태는 타원형으로 기준 형태 정보에 저장된 형태가 아니므로, 주행 보조 장치(100)는 외부 차량의 후미등(530)을 포함하는 영역을 후보 영역에서 제외할 수 있다.
도 5b는, 제2 후보 영역(550)만을 포함하는 이미지일 수 있다. 형태 정보에 기초하여 팔각형 객체(520)만이 제2 후보 영역(550)으로 식별된 상태이다.
이후, 주행 보조 장치(100)는 제2 후보 영역(550)을 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초하여 획득된 픽셀 정보를 트레이닝 모델에 적용하여 제2 후보 영역(550)에 포함된 객체가 교통 표지판인지 여부를 식별할 수 있다. 이는 도 6에서 자세히 설명하도록 한다.
도 6은 본 개시의 일 실시 예에 따른 제2 후보 영역을 복수의 블록으로 식별하여 픽셀 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 6a는 M*N 형태의 복수의 블록으로 식별된 제2 후보 영역(610)에서 픽셀 정보를 획득하는 과정을 설명하기 위한 도면이다.
주행 보조 장치(100)는 주변 이미지에서 색상 정보 및 형태 정보에 기초하여 제2 후보 영역(610)을 식별하고, 제2 후보 영역(610)을 M*N 형태의 복수의 블록으로 식별할 수 있다. 예를 들어, 주행 보조 장치(100)는 제2 후보 영역(610)을 수평 방향을 기준으로 복수 개인 M개의 제1 블록으로 식별하고, 제2 후보 영역(610)을 수직 방향을 기준으로 복수 개인 N개의 제2 블록으로 식별할 수 있다.
주행 보조 장치(100)는 M개의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보(620, 625)를 획득하고, N개의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보(630, 635)를 획득할 수 있다.
여기서, 제1 픽셀 정보(620, 625)는, 복수의 제1 블록 각각에 포함된 픽셀의 평균 값(620) 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값(625)을 포함할 수 있다. 또한, 제2 픽셀 정보(630, 635)는, 복수의 제2 블록 각각에 포함된 픽셀의 평균 값(630) 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값(635)을 포함할 수 있다. 또한, 제1 및 제2 픽셀 정보(620 내지 635)는 행렬 값 또는 벡터 형태로 획득될 수 있다. 이하에서는 설명의 편의를 위해 복수의 제1 블록 각각에 포함된 픽셀의 평균 값(620)은 행렬 A1, 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값(625)은 행렬 D1, 복수의 제2 블록 각각에 포함된 픽셀의 평균 값(630)은 행렬 A2 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값(635)은 행렬 D2로 명명한다.
이러한 행렬들은 하기의 수학식을 통해 산출될 수 있다.
Figure 112018097727083-pat00015
Figure 112018097727083-pat00016
여기서, 행렬 A1은 복수의 제1 블록 각각에 포함된 픽셀의 평균 값에 관한 행렬이고, 행렬 A2는 복수의 제2 블록 각각에 포함된 픽셀의 평균 값에 관한 행렬이고, M은 행의 개수, N은 열의 개수, A는 픽셀 값이다.
평균 값에 관한 행렬(620, 630) 정보는 교통 표지판의 형태에 대한 공간 정보를 포함하고 있지만, 삼각형 혹은 사각형으로 표현되는 유사 형태 간 구별은 용이하지 않을 수 있다. 따라서 평균 값 정보뿐만 아니라 인접한 평균 값 간 차이에 관한 행렬(625, 635) 정보도 이용함으로써 식별 대상이 되는 교통 표지판에 대한 픽셀 정보를 좀 더 정확하게 산출할 수 있다.
Figure 112018097727083-pat00017
Figure 112018097727083-pat00018
여기서, 행렬 D1은 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값에 관한 행렬이고, 행렬 D2는 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값에 관한 행렬이다.
상술한 수학식 2 내지 수학식 5를 통해 M*1 형태의 A1 행렬 및 D1 행렬, 1*N 형태의 A2 행렬 및 D2 행렬이 산출될 수 있다.
산출된 A1, D1, A2 및 D2 행렬은 픽셀 정보로서 트레이닝 모델에 적용되어 제2 후보 영역에 교통 표지판의 포함 여부가 식별될 수 있다.
M*1 형태의 A1 행렬 및 D1 행렬의 전치 행렬을 통해 1*M 형태로 변경되어 A1, A2, D1 및 D2 행렬이 모두 1행만을 갖는 통일된 형태로 트레이닝 모델에 적용될 수 있다. 또는 1*N 형태의 A2 행렬 및 D2 행렬의 전치 행렬을 통해 N*1 형태로 변경되어 A1, A2, D1 및 D2 행렬이 모두 1열만을 갖는 통일된 형태로 트레이닝 모델에 적용될 수도 있다.
도 6b는 제2 후보 영역을 복수의 블록으로 식별하여 픽셀 정보를 획득하는 일 예를 설명하기 위한 도면이다.
주행 보조 장치(100)는 획득된 주변 이미지(640)로부터 제2 후보 영역(610)을 M*N 형태의 복수의 블록으로 식별하여 픽셀 정보를 획득할 수 있다.
도 6b에 따르면, 주행 보조 장치(100)는 제1 행에 포함된 N개의 블록 각각의 픽셀의 평균 값을 83, 제2 행에 포함된 N개의 블록 각각의 픽셀의 평균 값을 66 및 제M 행에 포함된 N개의 블록 각각의 픽셀의 평균 값을 47로 산출할 수 있다. 또한, 주행 보조 장치(100)는 인접한 블록인 제1 행과 제2 행의 평균 값 간 차이 값인 17, 제2 행과 제3 행의 평균 값 간 차이 값인 15를 산출할 수 있다.
또한, 주행 보조 장치(100)는 제1 열에 포함된 M개의 블록 각각의 픽셀의 평균 값을 86, 제2 열에 포함된 M개의 블록 각각의 픽셀의 평균 값을 67 및 제N 행에 포함된 M개의 블록 각각의 픽셀의 평균 값을 45로 산출할 수 있다. 또한, 주행 보조 장치(100)는 인접한 블록인 제1 열과 제2 열의 평균 값 간 차이 값인 19, 제2 열과 제3 열의 평균 값 간 차이 값인 13을 산출할 수 있다.
주행 보조 장치(100)는 상술한 방식을 통해 제2 후보 영역(610) 전체에서 제1 블록 각각에 포함된 픽셀의 평균 값(620), 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값(625), 복수의 제2 블록 각각에 포함된 픽셀의 평균 값(630) 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값(635)을 산출할 수 있다.
이후, 주행 보조 장치(100)는 복수의 블록 각각에 포함된 픽셀 값에 기초하여 획득된 픽셀 정보(620 내지 635)를 트레이닝 모델에 적용하여 제2 후보 영역(610)에 포함된 객체가 교통 표지판인지 여부를 식별할 수 있다.
트레이닝 모델에 의해 제2 후보 영역(610)이 교통 표지판을 포함하는 것으로 식별되는 경우, 주행 보조 장치(100)는 제2 후보 영역을 영상 인식 기술을 통해 교통 표지판 내부의 숫자나 기호를 식별하여 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별할 수 있다. 예를 들어, 주행 보조 장치(100)는 OCR 기술을 통해 교통 표지판 내부에 표시된 숫자 '60'을 획득하여, 차량이 현재 주행 중인 도로의 최고 속도가 60Km/h임을 식별할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 식별된 교통 표지판 영역의 정보를 사용자에게 제공하는 동작을 설명하는 도면이다.
도 7a에 따르면, 주행 보조 장치(100)는 이미지 촬영부에 의해 획득되는 주변 이미지를 대쉬보드(dashboard), 내비게이션 등에 구비된 디스플레이(710)를 통해 디스플레이할 수 있다.
특히, 트레이닝 모델에 의해 제2 후보 영역이 교통 표지판(720)을 포함하는 것으로 식별되는 경우, 주행 보조 장치(100)는 OCR 기술 등을 통해 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 디스플레이(710)를 통해 제공할 수 있다.
예를 들어, 도 7a와 같이, 주행 보조 장치(100)는 교통 표지판(720) 내부에 표시된 숫자 '60'을 획득하여, 차량이 현재 주행 중인 도로의 최고 속도가 60Km/h임을 식별할 수 있다. 주행 보조 장치(100)는 주행 중인 도로의 제한 속도가 60Km/h라는 정보를 디스플레이(710)를 통해 사용자에게 제공할 수 있다. 또한, 주행 보조 장치(100)는 차량의 최고 속도가 60Km/h를 초과하지 않도록 자동으로 차량을 제어할 수도 있다.
도 7b에 따르면, 주행 보조 장치(100)는 이미지 촬영부에 의해 획득되는 주변 이미지를 HUD 디스플레이(730)를 통해 디스플레이할 수 있다. 또한, 주행 보조 장치(100)는 교통 표지판(720)에 관한 정보를 HUD 디스플레이(730)를 통해 디스플레이할 수 있다.
예를 들어, 주행 보조 장치(100)는 차량이 주행 중인 도로의 제한 속도가 60Km/h라는 정보를 HUD 디스플레이(730)를 통해 사용자에게 제공할 수 있다. 또한, 주행 보조 장치(100)는 차량의 최고 속도가 60Km/h를 초과하지 않도록 자동으로 차량을 제어할 수도 있다.
도 8은 본 개시의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
주행 보조 장치는, 이미지 촬영부를 통해 차량의 주변 이미지를 획득할 수 있다(S810).
주행 보조 장치는, 주변 이미지에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별할 수 있다(S820).
구체적으로, 주행 보조 장치는, 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고, R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 제1 후보 영역으로 식별할 수 있다.
여기서, 기설정된 배수는, 주변 환경의 조도 및 강수량 중 적어도 하나에 기초하여 갱신될 수 있다.
주행 보조 장치는, 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별할 수 있다(S830).
구체적으로, 주행 보조 장치는, 제1 후보 영역이 식별되면, 주변 이미지 중 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고, 획득된 바이너리 이미지에 기초하여 제2 후보 영역을 식별할 수 있다. 주행 보조 장치는, 제1 후보 영역에서 기 저장된 교통 표지판의 기준 형태 정보가 식별되면, 제1 후보 영역을 제2 후보 영역으로 식별할 수 있다.
주행 보조 장치는, 제2 후보 영역을 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초하여 교통 표지판 영역을 식별할 수 있다(S840).
구체적으로, 주행 보조 장치는, 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고, 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득할 수 있다. 이후, 주행 보조 장치는 제1 픽셀 정보 및 제2 픽셀 정보에 기초하여 교통 표지판 영역을 식별할 수 있다.
여기서, 제1 픽셀 정보는, 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다. 또한, 제2 픽셀 정보는, 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
주행 보조 장치는, 제1 픽셀 정보 및 제2 픽셀 정보를 트레이닝 모델에 적용하여 교통 표지판 영역을 식별할 수 있다. 여기서, 트레이닝 모델은, 복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는 모델일 수 있다.
주행 보조 장치는, 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 제공할 수 있다.
또한, 주행 보조 장치는, 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 자동으로 제어될 수 있다.
각 단계의 상세 동작에 대해서는 상술한 바 있으므로 자세한 설명은 생략하도록 한다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들 중 적어도 일부 구성은 기존 주행 보조 장치에 설치 가능하며, OS 상에서 사용자가 직접 사용하게 되는 소프트웨어인 어플리케이션 형태로 구현될 수 있다. 어플리케이션은 차량의 디스플레이 화면 상에서 아이콘 인터페이스 형태로 제공될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들 중 적어도 일부 구성은, 기존 주행 보조 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 주행 보조 장치 110: 이미지 획득부
120: 프로세서 130: 센서
140: 저장부 150: 통신부

Claims (18)

  1. 차량에 탑재 가능한 주행 보조 장치에 있어서,
    이미지 촬영부; 및
    상기 이미지 촬영부를 통해 촬영된 주변 이미지 내에서 특정 색상 영역을 제1 후보 영역으로 식별하고, 상기 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별하며, 상기 제2 후보 영역 내에서 교통 표지판의 영역을 식별하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 상기 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고,
    상기 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 상기 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득하고,
    상기 제1 픽셀 정보 및 상기 제2 픽셀 정보에 기초하여 상기 교통 표지판의 영역을 식별하는 주행 보조 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 픽셀 정보는,
    상기 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하고,
    상기 제2 픽셀 정보는,
    상기 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하는, 주행 보조 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 픽셀 정보 및 상기 제2 픽셀 정보를 트레이닝 모델에 적용하여 상기 교통 표지판의 영역을 식별하고,
    상기 트레이닝 모델은,
    복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는, 주행 보조 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고,
    상기 R 컬러의 픽셀 값이 상기 G 컬러 및 상기 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 상기 제1 후보 영역으로 식별하는, 주행 보조 장치.
  6. 제5항에 있어서,
    조도 센서 및 강우 센서 중 적어도 하나;를 더 포함하고,
    상기 배수는,
    상기 조도 센서를 통해 측정된 조도 및 상기 강우 센서를 통해 측정된 강수량 중 적어도 하나에 기초하여 갱신되는, 주행 보조 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 후보 영역이 식별되면, 상기 주변 이미지 중 상기 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고,
    상기 획득된 바이너리 이미지에 기초하여 상기 제2 후보 영역을 식별하는, 주행 보조 장치.
  8. 제1항에 있어서,
    교통 표지판의 기준 형태 정보를 저장하는 저장부;를 더 포함하고,
    상기 제1 후보 영역에서 상기 기준 형태 정보가 식별되면, 상기 제1 후보 영역을 상기 제2 후보 영역으로 식별하는, 주행 보조 장치.
  9. 제1항에 있어서,
    디스플레이;를 더 포함하고,
    상기 프로세서는,
    상기 식별된 교통 표지판 영역에서 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별하여 제공하도록 상기 디스플레이를 제어하고,
    상기 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 상기 차량을 제어하는, 주행 보조 장치.
  10. 이미지 처리 방법에 있어서,
    이미지 촬영부를 통해 차량의 주변 이미지를 획득하는 단계;
    상기 획득된 주변 이미지에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별하는 단계;
    상기 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별하는 단계;
    상기 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 상기 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하는 단계;
    상기 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 상기 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득하는 단계; 및
    상기 제1 픽셀 정보 및 상기 제2 픽셀 정보에 기초하여 교통 표지판 영역을 식별하는 단계;를 포함하는 이미지 처리 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 제1 픽셀 정보는,
    상기 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하고,
    상기 제2 픽셀 정보는,
    상기 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하는, 이미지 처리 방법.
  13. 제10항에 있어서,
    상기 교통 표지판 영역을 식별하는 단계는,
    상기 제1 픽셀 정보 및 상기 제2 픽셀 정보를 트레이닝 모델에 적용하여 상기 교통 표지판 영역을 식별하고,
    상기 트레이닝 모델은,
    복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는, 이미지 처리 방법.
  14. 제10항에 있어서,
    상기 제1 후보 영역을 식별하는 단계는,
    상기 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고,
    상기 R 컬러의 픽셀 값이 상기 G 컬러 및 상기 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 상기 제1 후보 영역으로 식별하는, 이미지 처리 방법.
  15. 제14항에 있어서,
    상기 배수는,
    조도 및 강수량 중 적어도 하나에 기초하여 갱신되는, 이미지 처리 방법.
  16. 제10항에 있어서,
    상기 제2 후보 영역을 식별하는 단계는,
    상기 제1 후보 영역이 식별되면, 상기 주변 이미지 중 상기 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고,
    상기 획득된 바이너리 이미지에 기초하여 상기 제2 후보 영역을 식별하는, 이미지 처리 방법.
  17. 제10항에 있어서,
    상기 제2 후보 영역을 식별하는 단계는,
    상기 제1 후보 영역에서 기 저장된 교통 표지판의 기준 형태 정보가 식별되면, 상기 제1 후보 영역을 상기 제2 후보 영역으로 식별하는, 이미지 처리 방법.
  18. 제10항에 있어서,
    상기 식별된 교통 표지판 영역에서 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별하여 제공하는 단계; 및
    상기 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 상기 차량을 제어하는 단계;를 더 포함하는, 이미지 처리 방법.
KR1020180118011A 2018-10-04 2018-10-04 주행 보조 장치 및 이미지 처리 방법 KR102274544B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180118011A KR102274544B1 (ko) 2018-10-04 2018-10-04 주행 보조 장치 및 이미지 처리 방법
US17/265,647 US11780444B2 (en) 2018-10-04 2019-10-04 Driving assistance apparatus and image processing method
PCT/KR2019/013037 WO2020071853A1 (ko) 2018-10-04 2019-10-04 주행 보조 장치 및 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180118011A KR102274544B1 (ko) 2018-10-04 2018-10-04 주행 보조 장치 및 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20200044164A KR20200044164A (ko) 2020-04-29
KR102274544B1 true KR102274544B1 (ko) 2021-07-07

Family

ID=70055587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180118011A KR102274544B1 (ko) 2018-10-04 2018-10-04 주행 보조 장치 및 이미지 처리 방법

Country Status (3)

Country Link
US (1) US11780444B2 (ko)
KR (1) KR102274544B1 (ko)
WO (1) WO2020071853A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220045606A (ko) * 2020-10-05 2022-04-13 현대자동차주식회사 차량의 서스펜션 제어 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3006471B2 (ja) * 1996-01-08 2000-02-07 三菱自動車工業株式会社 標識の認識方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5742464A (en) * 1980-08-22 1982-03-10 Hitachi Ltd Power supply device for elevator
JP3006471U (ja) 1994-07-08 1995-01-24 株式会社藤井商会 養豚用給餌器
ATE326748T1 (de) * 2002-07-09 2006-06-15 Accenture Global Services Gmbh Vorrichtung zur automatischen erkennung von verkehrszeichen
JP2007057331A (ja) 2005-08-23 2007-03-08 Denso Corp 車載霧判定装置
JP2008262467A (ja) 2007-04-13 2008-10-30 Honda Motor Co Ltd 運転支援装置
KR101014125B1 (ko) 2008-12-04 2011-02-14 재단법인대구경북과학기술원 지능형 자동차를 위한 교통 표지판 검출 방법 및 상기 방법을 실행하는 시스템
KR101178507B1 (ko) 2010-08-16 2012-09-07 포항공과대학교 산학협력단 도로 표식 인식 시스템 및 방법
KR101176552B1 (ko) * 2010-11-26 2012-08-24 서강대학교산학협력단 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
KR101865958B1 (ko) * 2012-11-22 2018-06-11 현대자동차주식회사 속도 제한 표지판 인식 장치 및 방법
KR101409340B1 (ko) 2013-03-13 2014-06-20 숭실대학교산학협력단 교통 표지 인식 방법 및 그 시스템
US9092695B1 (en) * 2013-03-13 2015-07-28 Google Inc. High-accuracy real-time road sign detection from images
CN103489324B (zh) 2013-09-22 2015-09-09 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
KR101596299B1 (ko) 2014-01-06 2016-02-22 현대모비스 주식회사 교통 표지판 인식 방법 및 장치
JP5961207B2 (ja) * 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
CA3041140C (en) * 2018-04-26 2021-12-14 NeuralSeg Ltd. Systems and methods for segmenting an image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3006471B2 (ja) * 1996-01-08 2000-02-07 三菱自動車工業株式会社 標識の認識方法

Also Published As

Publication number Publication date
KR20200044164A (ko) 2020-04-29
US20210383140A1 (en) 2021-12-09
WO2020071853A1 (ko) 2020-04-09
US11780444B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
US20170200273A1 (en) System and Method for Fusing Outputs of Sensors Having Different Resolutions
US20190139449A1 (en) Method, computer readable storage medium and electronic equipment for analyzing driving behavior
US20190019042A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
JP2016522415A (ja) 視覚強化ナビゲーション
US11262757B2 (en) Autonomous driving apparatus and method for autonomous driving of a vehicle
KR102333033B1 (ko) 차량 및 그 제어 방법
CN108603933A (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
US20160232415A1 (en) Detection detection of cell phone or mobile device use in motor vehicle
CN107462989A (zh) 影像稳定方法与电子装置
US10366286B2 (en) Detection of traffic light signal changes
KR102274544B1 (ko) 주행 보조 장치 및 이미지 처리 방법
US10878257B2 (en) Electronic apparatus and control method thereof
KR102545199B1 (ko) 전자 장치 및 그 제어 방법
US20220339969A1 (en) System and method for automatic treadwear classification
CN111583669B (zh) 一种超速检测方法、装置、控制设备和存储介质
KR102033732B1 (ko) 무방향 차량번호 인식 방법 및 그 기능을 갖는 장치
KR102356259B1 (ko) 전자 장치 및 전자 장치 제어 방법
US20200204955A1 (en) Map generation device, map generation system, map generation method, and map generation program
CN106781584B (zh) 红绿灯变换提示方法
US20240038132A1 (en) Controlling vehicle display for enhancement
US20220132639A1 (en) Control device, control method, and streetlight
US20230288702A1 (en) Context-based image state selection
US20210064876A1 (en) Output control apparatus, display control system, and output control method
CN113869214A (zh) 交通信号灯图像的处理方法、装置和边缘计算设备
JP2023047584A (ja) 位置管理システム、および、位置管理方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant