KR102511280B1 - 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법 및 이를 위한 장치 - Google Patents

Abstract

스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 차선 감지 방법은 교번 자기 패턴이 인가된 자성도료 차선의 자기 신호(MAGNETIC SIGNAL)를 기반으로 시간-주파수의 스펙트로그램 패턴(SPECTROGRAM PATTERN)을 생성하는 단계; 상기 스펙트로그램 패턴에 상응하는 학습 데이터를 이용하여 훈련된 인공지능 모델로 자성도료 차선에서 실시간 감지된 자기 신호의 스펙트로그램 패턴을 입력하는 단계; 및 상기 인공지능 모델의 출력값을 기반으로 상기 자성도료 차선을 감지하는 단계를 포함한다.

Description

스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법 및 이를 위한 장치{METHOD FOR DETECTING LANE BASED ON AI USING SPECTROGRAM PATTERN AND APPARATUS USING THE SAME}

본 발명은 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 기술에 관한 것으로, 특히 인공지능을 이용하여 교번 자기 패턴을 갖는 차선으로부터 발생하는 신호를 정확히 검출하기 위한 기술에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

자성도료로 시공된 차선과, 이 차선으로부터 검출되는 자기정보(Magnetic Information)을 이용하여 자율주행차량의 주행에 적용할 수 있다. 예를 들어, 기존의 차선 위에 강자성 입자들이 포함된 자성도료를 시공하고, 교번 자기장을 이용하여 차선에 교번 자기 패턴을 인가한 후 자율주행차량에 구비된 자기 센서를 이용하여 교번 자기 패턴을 검출함으로써 차량의 속도나 차선 정보와 같이 차량 주행에 관련된 정보를 자율주행차량 운전자 또는 탑승자에게 알려줄 수 있다.

이 때, 차량 주행과 관련되어 제공되는 정보는 시간에 따른 자기 신호나 자기 신호에 상응하는 교번 자기 패턴의 주파수 등에 해당할 수 있다.

하지만, 주행 시 발생하는 차량의 진동이나 야외 전력송신선 등은 차량의 자기 센서를 통해 검출하는 신호에 대해 노이즈로 작용하기 때문에 차량이 교번 자기 패턴이 인가된 자성도료 차선으로부터 발생하는 자기 신호만을 검출하는데 어려움을 줄 수 있다.

한국공개특허 제10-2015-0125115호, 2015년 11월 09일 공개(명칭: 자성분말이 적용된 주행경로를 생성하는 생성방법과 이를 이용한 검출장치)

본 발명의 목적은 교번 자기 패턴의 차선 신호와 노이즈가 섞인 신호를 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)하여 생성한 시간-주파수 기반의 스펙트로그램 패턴(SPECTROGRAM PATTERN)들을 이용하여 인공지능 모델을 훈련시키고, 이렇게 훈련된 인공지능 모델로 차선으로부터 실시간 감지되는 스펙트로그램 패턴을 입력하여 차선의 신호를 정확히 검출하는 것이다.

또한, 본 발명의 목적은 교번 자기 패턴이 시공된 자성도료 차선으로부터 발생하는 자기 신호를 명확하게 검출하여 차량을 안전하게 제어하기 위한 것이다.

또한, 본 발명의 목적은 자성도료 차선에서 발생하는 자기 신호를 이용하여 주행하는 자율주행차량 시스템에 있어서, 다른 차량, 전력 송신선, 차량의 진동 등을 원인으로 발생하는 노이즈를 제거하여 자율주행차량의 오작동을 감소시키고 안전한 운행을 가능하게 하는 것이다.

또한 상술한 바와 같은 목적들로 한정되지 않으며, 이하의 설명으로부터 또 다른 목적이 도출될 수도 있음은 자명하다.

상기한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 차선 감지 방법은 교번 자기 패턴이 인가된 자성도료 차선의 자기 신호(MAGNETIC SIGNAL)를 기반으로 시간-주파수의 스펙트로그램 패턴(SPECTROGRAM PATTERN)을 생성하는 단계; 상기 스펙트로그램 패턴에 상응하는 학습 데이터를 이용하여 훈련된 인공지능 모델로 자성도료 차선에서 실시간 감지된 자기 신호의 스펙트로그램 패턴을 입력하는 단계; 및 상기 인공지능 모델의 출력값을 기반으로 상기 자성도료 차선을 감지하는 단계를 포함한다.

이 때, 실시간 자기 신호는 기설정된 주기마다 감지되고, 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)을 이용하여 상기 실시간 감지된 자기 신호의 스펙트로그램 패턴이 생성될 수 있다.

이 때, 기설정된 주기는 차량의 속도에 따른 제동거리를 고려하여 설정될 수 있다.

이 때, 스펙트로그램 패턴은 고역통과필터를 기반으로 필터링된 자기 신호를 이용하여 생성될 수 있다.

이 때, 학습 데이터는 상기 스펙트로그램 패턴을 차량의 평균 속도 별로 라벨링하여 생성될 수 있다.

이 때, 인공지능 모델은 상기 학습 데이터를 이용한 전이학습(TRANSFER LEARNING) 알고리즘을 기반으로 학습될 수 있다.

이 때, 인공지능 모델은 인공신경망(ARTIFICIAL NEURAL NETWORK)에 상응할 수 있다.

또한, 상기한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 차선 감지 장치는, 교번 자기 패턴이 인가된 자성도료 차선의 자기 신호(MAGNETIC SIGNAL)를 기반으로 시간-주파수의 스펙트로그램 패턴(SPECTROGRAM PATTERN)을 생성하고, 상기 스펙트로그램 패턴에 상응하는 학습 데이터를 이용하여 훈련된 인공지능 모델로 자성도료 차선에서 실시간 감지된 자기 신호의 스펙트로그램 패턴을 입력하고, 상기 인공지능 모델의 출력값을 기반으로 상기 자성도료 차선을 감지하는 프로세서; 및 상기 인공지능 모델을 저장하는 메모리를 포함한다.

이 때, 실시간 자기 신호는 기설정된 주기마다 감지되고, 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)을 이용하여 상기 실시간 감지된 자기 신호의 스펙트로그램 패턴이 생성될 수 있다.

이 때, 기설정된 주기는 차량의 속도에 따른 제동거리를 고려하여 설정될 수 있다.

이 때, 스펙트로그램 패턴은 고역통과필터를 기반으로 필터링된 자기 신호를 이용하여 생성될 수 있다.

이 때, 학습 데이터는 상기 스펙트로그램 패턴을 차량의 평균 속도 별로 라벨링하여 생성될 수 있다.

이 때, 인공지능 모델은 상기 학습 데이터를 이용한 전이학습(TRANSFER LEARNING) 알고리즘을 기반으로 학습될 수 있다.

이 때, 인공지능 모델은 인공신경망(ARTIFICIAL NEURAL NETWORK)에 상응할 수 있다.

본 발명에 따르면, 교번 자기 패턴의 차선 신호와 노이즈가 섞인 신호를 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)하여 생성한 시간-주파수 기반의 스펙트로그램 패턴(SPECTROGRAM PATTERN)들을 이용하여 인공지능 모델을 훈련시키고, 이렇게 훈련된 인공지능 모델로 차선으로부터 실시간 감지되는 스펙트로그램 패턴을 입력하여 차선의 신호를 정확히 검출할 수 있다.

또한, 본 발명은 교번 자기 패턴이 시공된 자성도료 차선으로부터 발생하는 자기 신호를 명확하게 검출하여 차량을 안전하게 제어할 수 있다.

또한, 본 발명은 자성도료 차선에서 발생하는 자기 신호를 이용하여 주행하는 자율주행차량 시스템에 있어서, 다른 차량, 전력 송신선, 차량의 진동 등을 원인으로 발생하는 노이즈를 제거하여 자율주행차량의 오작동을 감소시키고 안전한 운행을 가능하게 할 수 있다.

본 실시 예들의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 과정을 개념적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법을 나타낸 동작흐름도이다.
도 3은 내지 도 5는 본 발명에 따라 자성도료 차선이 10cm의 공간적 주기를 가지도록 교번자기패턴이 인가되고, 차량이 시속 50Km로 주행하면서 검출된 주파수 성분에 기반한 스펙트로그램 분석 결과와 파워 스펙트럼 밀도의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따라 차량의 시속 별로 검출되는 자기 신호를 스펙트로그램 패턴으로 나타낸 도면이다.
도 7 내지 도 8은 본 발명에 따라 지도학습(Supervised Learning)된 심층 컨볼루션 신경망이 도 6에 도시된 4개의 속도 별 테스트 패턴에 대해 인식한 결과의 일 예를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 장치를 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

교번 자기 패턴이 시공된 자성도료 차선에서 발생하는 자기 신호를 감지하여 자율주행을 수행하는 자율주행차량의 경우, 주변에서 발생하는 노이즈에 의해 정확한 신호 검출을 방해받아 오작동이 발생할 가능성이 있다. 예를 들어, 자율주행차량 주위의 다른 차량이나 전력송신선에 의해 발생하는 전원 노이즈(한국의 경우 60Hz) 또는 도로 노면의 거칠기 때문에 발생하는 차량 자체의 진동에 의한 노이즈가 이에 해당할 수 있다. 게다가, 이러한 자기 패턴의 신호들은 시시각각 달라지는 차량의 속도에 따라 가변하는 제동거리 등을 고려하여 1초에도 여러 번 주파수 분석을 수행할 필요가 있다.

본 발명에서는 상기의 문제점들을 해결하기 위해, 교번 자기 패턴의 차선 신호와 노이즈가 섞인 신호를 국소 푸리에 변환(Short-Time Fourier Transform, STFT)하여 생성된 시간-주파수의 스펙트로그램 패턴(Spectrogram Pattern)을 이용하여 차선 신호만을 정확하게 감지할 수 있는 방안을 제안하고자 한다.

도 1은 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 과정을 개념적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 과정은 학습용 스펙트로그램 패턴(101)을 이용하여 인공지능 모델(110)을 학습하는 과정과 학습된 인공지능 모델(120)의 출력값을 이용하여 실시간으로 감지된 자기 신호에서 차선을 감지하는 과정으로 분류할 수 있다.

먼저, 본 발명에서 사용하는 인공지능 모델(110)은 인공신경망(ARTIFICIAL NEURAL NETWORK)에 상응하는 것으로, 예를 들어 DNN(Deep Neural Network) 모델이나 CNN(Convolution Neural Network) 모델에 상응할 수 있다.

이 때, 인공지능 모델(110)을 학습시키기 위한 학습 데이터(TRANNING DATA)로써 학습용 스펙트로그램 패턴(101)이 제공될 수 있다.

예를 들어, 학습용 스펙트로그램 패턴(101)은 차량이 다양한 속도로 주행하면서 자성도료 차선으로부터 감지한 자기 신호에 상응하게 생성된 스펙트로그램 패턴에 해당할 수 있다. 따라서, 학습용 스펙트로그램 패턴(101)은 차량의 속도 별로 다양하게 수집될 수 있다.

이렇게 학습된 인공지능 모델(120)은 실제로 차량이 주행하면서 실시간으로 감지하는 자기 신호(102)에 대한 스펙트로그램 패턴(103)을 입력받아 현재 차량이 주행하고 있는 자성도료 차선에 대한 감지 결과 값을 출력해줄 수 있다.

즉, 차량이 주행하면서 감지한 자기 신호(102)를 국소 푸리에 변환하여 스펙트로그램 패턴(103)으로 생성하고, 스펙트로그램 패턴(103)을 학습된 인공지능 모델(120)로 입력하면, 학습된 인공지능 모델(120)이 스펙트로그램 패턴(103)을 분석하여 예측된 차량의 속도와 차선 정보를 제공할 수 있다.

이와 같이 스펙트로그램 패턴을 통해 자성도료 차선의 차선을 감지하고 관련된 정보를 제공함으로써 차량에서 감지되는 자기 신호에 노이즈가 포함된 상태에서도 명확하게 차선을 감지할 수 있다.

도 2는 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법을 나타낸 동작흐름도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법은 교번 자기 패턴이 인가된 자성도료 차선의 자기 신호(MAGNETIC SIGNAL)를 기반으로 시간-주파수의 스펙트로그램 패턴(SPECTROGRAM PATTERN)을 생성한다(S210).

이 때, 자기 신호는 차량에 구비된 자기 센서를 통해 획득할 수 있다.

이 때, 자성도료 차선은 일정한 공간적 주기를 가지도록 교번 자기 패턴이 인가되어 생성될 수 있다. 이러한 자성도료 차선의 공간적 주기는 자율주행차량이 주행하는 동안에 획득되는 자기 신호에 영향을 줄 수 있다.

예를 들어, 차량의 속도(v)에 따른 1초간 주행거리(S, 단위 cm)를 계산하고, 1초간 주행거리를 자성도료 차선의 공간적 주기(단위 cm)로 나누면 차량이 1초간 주행하면서 검출하는 자기 교번 패턴의 횟수를 셀 수 있다. 이 때, 산출된 자기 교번 패턴의 횟수가 차량에서 검출해야 하는 주파수(fv)에 상응할 수 있다. 이와 같이 주파수(fv)를 산출하는 과정은 [수학식 1]과 같이 나타낼 수 있다.

[수학식 1]

즉, 자성도료 차선의 공간적 주기에 따라 차량에서 검출해야 하는 주파수가 변화하고, 이는 주행 중인 차량의 제어에 큰 영향을 미칠 수 있다.

이 때, 주위의 차량이나 전력공급선에 의해 발생하는 전원노이즈(한국의 경우 60Hz), 그리고 차량 자체의 진동 또는 도로 노면의 거칠기 때문에 발생하는 차량의 진동에서 발생하는 노이즈를 고려할 수 있다.

일반적으로 차량 자체의 진동 또는 도로 표면의 거칠기 때문에 발생하는 차량의 진동 노이즈는 약 30Hz 이하로 측정된다. 또한, 차량의 주행 시 이웃하는 차량으로부터 노이즈가 발생할 수 있으나, 도로의 최저제한속도와 최고제한속도를 고려한다면 통상적으로 차량 간의 상대속도는 시속 50km를 넘지 않는다. 또한, 한국에서는 전원노이즈가 60Hz에서 검출되며, 이는 차량의 속도와 무관하게 일정하게 검출되는 값일 수 있다. 이와 같은 여러 종류의 노이즈에 대한 고조파(기본파의 정수배를 갖는 주파수, harmonics)도 노이즈로 작용하지만, 고조파의 크기는 기본 주파수의 크기에 비하여 크지 않을 수 있다.

이와 같이 여러 가지 원인들로 인해 발생하는 노이즈는 차량이 가속하거나 감속하는 경우에도 주파수가 크게 변하지 않지만, 교번 자기 패턴에 상응하게 검출해야 하는 주파수는 차량의 속도와 비례하여 변화가 발생한다.

예를 들어, 차량이 정지해 있는 상태와 시속 50km로 주행하는 상태에서 검출된 주파수 성분을 비교하면, 실제로 검출되는 노이즈는 크기만 변화하고 주파수 자체의 값은 크게 변하지 않는다.

이러한 특징을 고려하여 종래에는 주파수 대역통과필터를 이용하여 노이즈 성분을 제거하는 이용하였다.

그러나, 대역통과필터를 이용하여 노이즈 성분을 제거하는 방법은 차량의 진동이나 주위의 차량이나 전력공급선에 의해 발생하는 전원노이즈에 의한 고조파, 그리고 이들의 간섭으로 발생하는 주파수에 의한 노이즈 등에 의하여 잘못된 정보를 제공할 가능성이 높다. 따라서, 본 발명에서는 이러한 노이즈들이 존재하는 상태에서도 보다 명확하게 차선의 신호를 감지하기 위해 스펙트로그램 패턴을 이용한 방안을 제안하고자 한다.

이 때, 스펙트로그램 패턴은 고역통과필터를 기반으로 필터링된 자기 신호를 이용하여 생성될 수 있다.

예를 들어, 도 3은 내지 도 5는 본 발명에 따라 자성도료 차선이 10cm의 공간적 주기를 가지도록 교번자기패턴이 인가되고, 차량이 시속 50Km로 주행하면서 검출된 주파수 성분에 기반한 스펙트로그램 분석 결과와 파워 스펙트럼 밀도의 일 예를 나타낸 도면이다.

먼저, 도 3에 도시된 그래프는 자성도료 차선이 10cm의 공간적 주기를 가지도록 교번자기패턴이 인가되고, 차량이 시속 50Km로 주행하면서 검출된 주파수 성분을 80Hz 고역통과필터(High Frequency Filter)를 사용하여 필터링한 결과(300)를 나타낸 것이다. 즉, 도 3의 그래프에 도시된 신호는 자성도료 차선에서 검출된 원신호에서 80Hz 고역통과필터를 통과시켜 얻은 신호를 제거한 시간에 따른 자기 신호(Magnetic Signal)를 나타낸 것이다.

이 때, 도 3에 도시된 자기 신호를 다시 132-153Hz의 대역통과필터를 이용하여 필터링한 뒤 파워 스펙트럼 밀도(Power Spectrum Density)로 분석하면, 도 4에 도시된 것처럼 약 140Hz의 주파수가 검출됨을 알 수 있다.

하지만, 이러한 주파수 분석 방식은 앞서 설명한 것처럼 차량의 진동이나 주위의 차량이나 전력공급선에 의해 발생하는 전원노이즈에 의한 고조파, 그리고 이들의 간섭으로 발생하는 주파수에 의한 노이즈 등에 의하여 잘못된 정보를 제공할 가능성이 높다.

따라서, 본 발명에서는 도 5에 도시된 것과 같은 스펙트로그램 분석을 수행하여 직관적으로 검출하고자 하는 주파수를 나타내고자 한다.

이 때, 도 5는 도 3에 도시된 자기 신호에 대한 스펙트로그램 분석 결과(500)를 나타낸 도면이다.

예를 들어, 도 5에 도시된 스펙트로그램 분석 결과(500)는 도 3에 도시된 자기 신호를 국소 푸리에 변환(Short-Time Fourier Transform, STFT)하여 시간-주파수의 스펙트로그램(spectrogram)으로 나타낸 것일 수 있다.

이 때, 도 5에 도시된 스펙트로그램은, 50밀리세컨드(ms)마다 주파수 빈(bin)을 512로 설정하고, Hanning 윈도우 크기를 64로 설정하여 획득한 결과에 상응할 수 있다.

이 때, 스펙트로그램의 색깔은 시간과 주파수에 대한 신호강도를 나타내는 것으로, 빨간색(RED)에 가까울수록 강한 신호인 것으로 직관적으로 확인할 수 있다. 즉, 도 5에 도시된 스펙트로그램 분석 결과(500)을 참조하면, 50ms마다 약 140Hz에서 강한 신호가 발생하는 것을 확인할 수 있으며, 주변의 노이즈도 함께 나타남을 확인할 수 있다. 이러한 결과는 도 4에 도시된 파워 스펙트럼 밀도 분석 결과와도 일치함을 알 수 있다.

그러나, 도 4와 도 5를 비교해보더라도, 도 5에 도시된 스펙트로그램 분석 결과가 도 4에 도시된 파워 스펙트럼 밀도 분석 결과에 비하여 직관적으로 검출하고자 하는 주파수를 더 잘 나타내고 있음을 명확하게 알 수 있다.

또한, 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법은 스펙트로그램 패턴에 상응하는 학습 데이터를 이용하여 훈련된 인공지능 모델로 자성도료 차선에서 실시간 감지된 자기 신호의 스펙트로그램 패턴을 입력한다(S220).

이 때, 학습 데이터는 스펙트로그램 패턴을 차량의 평균 속도 별로 라벨링하여 생성될 수 있다.

이 때, 인공지능 모델은 학습 데이터를 이용한 전이학습(TRANSFER LEARNING) 알고리즘을 기반으로 학습될 수 있다.

이 때, 인공지능 모델은 인공신경망(ARTIFICIAL NEURAL NETWORK)에 상응할 수 있다.

이 때, 실시간 자기 신호는 기설정된 주기마다 감지되고, 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)을 이용하여 실시간 감지된 자기 신호의 스펙트로그램 패턴이 생성될 수 있다.

예를 들어, 본 발명의 일실시예에 따라 학습 데이터로 이용하기 위한 스펙트로그램 패턴들은 차량을 주행하면서 자성도료 차선으로부터 획득된 일련의 자기 신호들을 기반으로 생성될 수 있다.

이 때, 도 6은 차량의 평균 속도 별 스펙트로그램 패턴을 JPG파일로 변환하여 나타낸 것이다. 도 6에 도시된 스펙트로그램 패턴(610 ~640)들을 비교해보면, 시속 22km에서 시작하여 시속 32km, 시속 43km, 시속 54km로 속도가 약 시속 10km씩 증가함에 따라 강도가 센 주파수 크기도 증가함을 확인할 수 있다. 이에 따라 패턴의 모양도 차량의 평균 속도 별로 상이함을 확인할 수 있다.

이 때, 본 발명에서는 전이학습 알고리즘을 일부 변형한 형태로 인공지능 모델을 학습시킬 수 있으며, 이를 위해 도 6과 같이 서로 다른 평균 속도에서 측정한 스펙트로그램 패턴(610~640)들을 복수 개 준비하여 학습을 수행할 수 있다.

예를 들어, 시속 22km에 상응하는 스펙트로그램 패턴 60개, 시속 32km에 상응하는 스펙트로그램 패턴 60개, 시속 43km에 상응하는 스펙트로그램 패턴 60개, 시속 54km에 상응하는 스펙트로그램 패턴 60개를 각각 인공지능 모델로 입력하여 학습시킬 수 있다.

이 후, 별도의 테스트용 스펙트로그램 패턴을 인공지능 모델로 입력하여 인공지능 모델의 인식률을 조사할 수 있다. 예를 들어, 자성도료 차선에서 획득되는 주파수는 차량의 속도와 관련있으므로 속도 별로 라벨링된 테스트용 스펙트로그램 패턴을 인공지능 모델로 입력하여 차량의 속도를 알아내는 실험을 진행할 수 있다.

예를 들어, 도 7 내지 도 8은 본 발명에 따라 지도학습(Supervised Learning)된 심층 컨볼루션 신경망이 도 6에 도시된 4개의 속도 별 테스트 패턴에 대해 인식한 결과의 일 예를 나타낸 도면이다.

먼저, 도 7은 각 속도 별로 25개의 테스트용 스펙트로그램 패턴을 학습된 심층 컨볼루션 신경망으로 입력하여 인식된 결과를 나타낸 것이다.

도 7을 참조하면, 인공지능 모델(심층 컨볼루션 신경망)의 인식 정확도는 약 77.1%로 나타났으며, 속도가 높아질수록 그 정확도가 증가함을 알 수 있다.

이 때, 인공지능 모델은 학습을 위한 샘플수가 증가될수록 정확도가 높아지게 되고, 이에 따라 정확도를 크게 개선할 수도 있다.

이를 위해 앞서 도 6에 도시된 것과 같은 속도 별 스펙트로그램 패턴을 각각 30개씩 더 준비하여 인공지능 모델을 추가로 학습시키고, 추가로 학습된 인공지능 모델로 속도 별 40개의 테스트용 스펙트로그램 패턴을 입력하여 정확도가 얼마나 증가하였는지 조사하였다.

도 8을 참조하면, 인공지능 모델(심층 컨볼루션 신경망)의 인식 정확도는 약 83.3%로 증가한 것을 확인할 수 있으며, 도 7과 마찬가지로 속도가 높아질수록 그 정확도가 증가함을 알 수 있다.

이와 같이, 인공지능 모델은 학습을 위한 샘플의 수, 즉 학습용 스펙트로그램 패턴의 수가 증가될수록 그 정확도가 높아지며, 최대 99%까지 크게 개선시킬 수 있다.

따라서, 교번 자기 패턴이 인가된 자성도료 차선의 정보를 이용하는 자율주행차량의 경우, 자성도료 차선으로부터 획득한 자기 신호를 스펙트로그램의 형태로 바꾼 패턴을 인식하는 방식으로 자성도료 차선의 정보를 얻어내는 것이 종래의 기술을 통해 차선을 감지하는 것보다 바람직할 수 있다.

이 때, 차량에 구비된 속도계 및 GPS 센서 중 적어도 하나로부터 피드백되는 정보를 기반으로 차량의 속도를 획득할 수 있다.

예를 들어, 차량의 속도계에서 출력되는 값에 상응하게 차량의 속도를 획득할 수 있다.

다른 예를 들어, GPS 센서를 통해 획득한 차량의 위치를 이용하여 차량의 이동 거리를 산출하고, 시간과 이동 거리를 기반으로 차량의 속도를 계산할 수 있다.

이 때, 기설정된 주기는 차량의 속도에 따른 제동거리를 고려하여 설정될 수 있다.

예를 들어, 차량의 속도는 매 시각 달라지기 때문에 차량의 속도와 제동거리에 따른 차량의 이동속도를 고려하여 국소 푸리에 변환을 수행하는 것이 바람직할 수 있다

따라서, 제동거리를 포함하여 차량이 이동하는 거리 내에서 주파수 분석이 수행될 수 있도록 국소 푸리에 변환을 실행하는 시간 간격을 결정하는 것은 차량 사고 방지를 위해 중요한 요소에 해당할 수 있다.

이 때, 차량의 비상제동거리(바퀴가 정지 후 이동하는 거리)는 [수학식 2]와 같이 산출할 수 있다.

[수학식 2]

예를 들어, 차량이 시속 30km로 주행하는 경우, 차량은 1초 동안에 8m를 이동하게 된다. 이 때, [수학식 2]에 의하면 비상제동거리는 4.5m로 계산되지만, 도로 표면 및 주위의 환경에 의해 달라질 수도 있다. 따라서, 안전한 주행을 위해서는, 차량이 적어도 1초에 3.5m를 이동하기 전에 국소 푸리에 변환을 위한 주파수 분석을 수행해야 하므로 국소 푸리에 변환을 실행하는 시간 간격은 0.4초 또는 그 이하의 시간으로 설정될 수 있다.

그러나, 실제 제동거리는 비상제동거리보다 2배 긴 것으로 알려져 있으므로, 이런 점을 고려하여 국소 푸리에 변환을 실행하는 시간 간격을 0.2초 또는 그 이하로 설정함으로써 차량의 비상제동 시 사고가 발생할 위험도를 낮출 수 있다.

실제로 국소 푸리에 변환을 실행하는 시간 간격을 0.05초로 설정하는 경우, 차량이 0.4m를 주행할 때마다 국소 푸리에 변환을 위한 주파수 분석이 이루어지므로 차량의 안전성을 크게 향상시킬 수 있다.

단, 국소 푸리에 변환을 실행하는 시간 간격을 수 밀리세컨드(ms)로 설정하는 경우, 푸리에 변환을 위한 데이터(bin)가 부족해서 정확한 주파수 분석이 어려울 수 있으므로 푸리에 변환을 위한 데이터(bin)의 확보가 원활한 범위에서 시간 간격을 설정할 수 있다.

또한, 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법은, 인공지능 모델의 출력값을 기반으로 자성도료 차선을 감지한다(S230).

이 때, 인공지능 모델의 출력값을 통해 차량의 속도나 차선의 정보 등을 검출할 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법은, 감지된 차선에 기반하여 차량의 운행을 제어할 수 있다.

이와 같은 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법을 통해 교번 자기 패턴의 차선 신호와 노이즈가 섞인 신호를 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)하여 생성한 시간-주파수 기반의 스펙트로그램 패턴(SPECTROGRAM PATTERN)들을 이용하여 인공지능 모델을 훈련시키고, 이렇게 훈련된 인공지능 모델로 차선으로부터 실시간 감지되는 스펙트로그램 패턴을 입력하여 차선의 신호를 정확히 검출할 수 있다.

또한, 교번 자기 패턴이 시공된 자성도료 차선으로부터 발생하는 자기 신호를 명확하게 검출하여 차량을 안전하게 제어할 수 있다.

또한, 자성도료 차선에서 발생하는 자기 신호를 이용하여 주행하는 자율주행차량 시스템에 있어서, 다른 차량, 전력 송신선, 차량의 진동 등을 원인으로 발생하는 노이즈를 제거하여 자율주행차량의 오작동을 감소시키고 안전한 운행을 가능하게 할 수 있다.

도 9는 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 장치를 나타낸 블록도이다.

이 때, 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 장치는 차량에 구비된 자기 센서와 연동되어 동작하거나 또는 자기 센서를 포함하여 동작할 수도 있다.

도 9를 참조하면, 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 장치는 통신부(910), 프로세서(920) 및 메모리(930)를 포함할 수 있다.

통신부(910)는 네트워크와 같은 통신망을 통해 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지를 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.

예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.

또한, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.

프로세서(920)는 교번 자기 패턴이 인가된 자성도료 차선의 자기 신호(MAGNETIC SIGNAL)를 기반으로 시간-주파수의 스펙트로그램 패턴(SPECTROGRAM PATTERN)을 생성한다.

이 때, 스펙트로그램 패턴은 고역통과필터를 기반으로 필터링된 자기 신호를 이용하여 생성될 수 있다.

또한, 프로세서(920)는 스펙트로그램 패턴에 상응하는 학습 데이터를 이용하여 훈련된 인공지능 모델로 자성도료 차선에서 실시간 감지된 자기 신호의 스펙트로그램 패턴을 입력한다.

이 때, 실시간 자기 신호는 기설정된 주기마다 감지되고, 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)을 이용하여 실시간 감지된 자기 신호의 스펙트로그램 패턴이 생성될 수 있다.

이 때, 기설정된 주기는 차량의 속도에 따른 제동거리를 고려하여 설정될 수 있다.

이 때, 학습 데이터는 스펙트로그램 패턴을 차량의 평균 속도 별로 라벨링하여 생성될 수 있다.

이 때, 인공지능 모델은 학습 데이터를 이용한 전이학습(TRANSFER LEARNING) 알고리즘을 기반으로 학습될 수 있다.

이 때, 인공지능 모델은 인공신경망(ARTIFICIAL NEURAL NETWORK)에 상응할 수 있다.

또한, 프로세서(920)는 인공지능 모델의 출력값을 기반으로 자성도료 차선을 감지한다.

또한, 메모리(930)는 상술한 바와 같이 본 발명의 일실시예에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 장치에서 발생하는 다양한 정보를 저장한다.

실시예에 따라, 메모리(930)는 차선 감지 장치와 독립적으로 구성되어 차선 감지를 위한 기능을 지원할 수 있다. 이 때, 메모리(930)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.

한편, 차선 감지 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 또 다른 구현예의 경우, 메모리는 통신으로 연결된 클라우드 저장장치일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 장치를 이용함으로써 교번 자기 패턴의 차선 신호와 노이즈가 섞인 신호를 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)하여 생성한 시간-주파수 기반의 스펙트로그램 패턴(SPECTROGRAM PATTERN)들을 이용하여 인공지능 모델을 훈련시키고, 이렇게 훈련된 인공지능 모델로 차선으로부터 실시간 감지되는 스펙트로그램 패턴을 입력하여 차선의 신호를 정확히 검출할 수 있다.

또한, 교번 자기 패턴이 시공된 자성도료 차선으로부터 발생하는 자기 신호를 명확하게 검출하여 차량을 안전하게 제어할 수 있다.

또한, 자성도료 차선에서 발생하는 자기 신호를 이용하여 주행하는 자율주행차량 시스템에 있어서, 다른 차량, 전력 송신선, 차량의 진동 등을 원인으로 발생하는 노이즈를 제거하여 자율주행차량의 오작동을 감소시키고 안전한 운행을 가능하게 할 수 있다.

이상에서와 같이 본 발명에 따른 스펙트로그램 패턴을 이용한 인공지능 기반의 차선 감지 방법 및 이를 위한 장치는 상기한 바와 같이 설명한 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

101: 학습용 스펙트로그램 패턴 102: 자기 신호
103, 610~640: 스펙트로그램 패턴 110: 인공지능 모델
120: 학습된 인공지능 모델 300: 필터링 결과
400: 파워 스펙트럼 밀도 분석 결과 500: 스펙트로그램 분석 결과
910: 통신부 920: 프로세서
930: 메모리

Claims (14)

1. 교번 자기 패턴이 인가된 자성도료 차선의 자기 신호(MAGNETIC SIGNAL)를 기반으로 스펙트로그램 패턴(SPECTROGRAM PATTERN)을 생성하는 단계;
   상기 스펙트로그램 패턴에 상응하는 학습 데이터를 이용하여 훈련된 인공지능 모델로 자성도료 차선에서 실시간 감지된 자기 신호의 스펙트로그램 패턴을 입력하는 단계; 및
   상기 인공지능 모델의 출력값을 기반으로 상기 자성도료 차선을 감지하는 단계를 포함하고,
   상기 스펙트로그램 패턴은 시간과 주파수에 대한 신호강도를 나타내는 이미지에 상응하는 것을 특징으로 하는 차선 감지 방법.
2. 청구항 1에 있어서,
   상기 스펙트로그램 패턴은 기설정된 주기에 따라 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)을 이용하여 생성되는 것을 특징으로 하는 차선 감지 방법.
3. 청구항 2에 있어서,
   상기 기설정된 주기는
   차량의 속도에 따른 제동거리를 고려하여 설정되는 것을 특징으로 하는 차선 감지 방법.
4. 청구항 2에 있어서,
   상기 스펙트로그램 패턴은
   고역통과필터를 기반으로 필터링된 자기 신호를 이용하여 생성되는 것을 특징으로 하는 차선 감지 방법.
5. 청구항 1에 있어서,
   상기 학습 데이터는
   상기 스펙트로그램 패턴을 차량의 평균 속도 별로 라벨링하여 생성되는 것을 특징으로 하는 차선 감지 방법.
6. 청구항 5에 있어서,
   상기 인공지능 모델은
   상기 학습 데이터를 이용한 전이학습(TRANSFER LEARNING) 알고리즘을 기반으로 학습되는 것을 특징으로 하는 차선 감지 방법.
7. 청구항 1에 있어서,
   상기 인공지능 모델은
   인공신경망(ARTIFICIAL NEURAL NETWORK)에 상응하는 것을 특징으로 하는 차선 감지 방법.
8. 교번 자기 패턴에 상응하는 자기 신호를 기반으로 스펙트로그램 패턴(SPECTROGRAM PATTERN)을 생성하고, 상기 스펙트로그램 패턴에 상응하는 학습 데이터를 이용하여 훈련된 인공지능 모델로 자성도료 차선에서 실시간 감지된 자기 신호의 스펙트로그램 패턴을 입력하고, 상기 인공지능 모델의 출력값을 기반으로 상기 자성도료 차선을 감지하는 프로세서; 및
   상기 인공지능 모델을 저장하는 메모리를 포함하고,
   상기 스펙트로그램 패턴은 시간과 주파수에 대한 신호강도를 나타내는 이미지에 상응하는 것을 특징으로 하는 차선 감지 장치.
9. 청구항 8에 있어서,
   상기 스펙트로그램 패턴은 기설정된 주기에 따라 국소 푸리에 변환(SHORT-TIME FOURIER TRANSFORM)을 이용하여 생성되는 것을 특징으로 하는 차선 감지 장치.
10. 청구항 9에 있어서,
    상기 기설정된 주기는
    차량의 속도에 따른 제동거리를 고려하여 설정되는 것을 특징으로 하는 차선 감지 장치.
11. 청구항 9에 있어서,
    상기 스펙트로그램 패턴은
    고역통과필터를 기반으로 필터링된 자기 신호를 이용하여 생성되는 것을 특징으로 하는 차선 감지 장치.
12. 청구항 8에 있어서,
    상기 학습 데이터는
    상기 스펙트로그램 패턴을 차량의 평균 속도 별로 라벨링하여 생성되는 것을 특징으로 하는 차선 감지 장치.
13. 청구항 12에 있어서,
    상기 인공지능 모델은
    상기 학습 데이터를 이용한 전이학습(TRANSFER LEARNING) 알고리즘을 기반으로 학습되는 것을 특징으로 하는 차선 감지 장치.
14. 청구항 8에 있어서,
    상기 인공지능 모델은
    인공신경망(ARTIFICIAL NEURAL NETWORK)에 상응하는 것을 특징으로 하는 차선 감지 장치.

Images