KR102594365B1

KR102594365B1 - 차선 예측 장치, 차량 및 방법

Info

Publication number: KR102594365B1
Application number: KR1020220047276A
Authority: KR
Inventors: 남해운; 최병찬
Original assignee: 한양대학교 에리카산학협력단
Priority date: 2022-04-18
Filing date: 2022-04-18
Publication date: 2023-10-26
Also published as: KR20230148490A; KR102594365B9

Abstract

차선 예측 장치, 차량 및 방법에 관한 것으로, 차선 예측 장치는 도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 데이터 수집부 및 상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하고, 상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결하여 연결 결과 데이터를 획득하고, 상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 프로세서를 포함할 수 있다.

Description

차선 예측 장치, 차량 및 방법{APPARATUS OF PREDICTING LINE, VEHICLE INCLUDING THE SAME AND METHOD THEREOF}

차선 예측 장치, 차량 및 방법에 관한 것이다.

첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)은, 차량의 동작, 일례로 주행과 관련된 다양한 판단을 스스로 수행하고, 이에 응하여 차량에 해당 판단에 대응하는 동작을 수행하도록 제어함으로써, 운전자의 운전을 보조하여 차량의 자율 주행을 어느 정도 구현할 수 있도록 마련된 장치이다. 첨단 운전자 보조 시스템은, 차량이 교통규칙에 맞게 도로 등을 주행하면서도 돌발 사건의 발생 시 이에 적절히 대처할 수 있도록 하여 사고 없이 안전하게 목적지까지 가도록 지원한다. 종래의 첨단 운전자 보조 시스템은, 주변 사물(일례로 차선 등)에 대한 센서 측정 결과를 획득하고(인지), 가공 및 연산 처리하여 차량 동작에 관한 결정을 획득하고, 결정 결과를 기반으로 제어 신호를 생성하여 차량의 각 부품의 동작을 제어하였다. 그런데, 데이터 량의 방대함 때문에 센서 측정 결과 기반의 연산 처리는 상대적으로 많은 시간을 필요로 했고, 이러한 연산 처리 소요 시간 때문에 차량 제어 시점에 사용된 센서 측정 결과는, 해당 시점보다 과거의 데이터일 수 밖에 없다. 이와 같은 센서 값의 처리와 제어 사이의 시간 차는, 시스템이 판단 시점에 대한 최적의 대처 방안을 결정하는 것을 더욱 난해하게 하고 있으며, 이는 해당 시스템의 전반적인 성능 저하의 원인이 되었다. 또한, 이러한 인지와 제어 간의 차이는 돌발 사건에 대한 극히 신속하고 즉각적인 대처를 어렵게 하여 안전 주행의 방해가 되기도 하였다. 이러한 지연 문제 해결을 위해 고속 연산 처리기를 채용하려는 시도도 존재하나, 이는 대체적으로 차량 제작 단가의 증가를 유발하여 쉽게 고려하기 어려운 점도 있었다.

인지 및 제어 지연을 극복하고, 인간과 동일, 유사하게 현재의 주행 상태를 기반으로 차선(예를 들어, 차선 등)를 예측할 수 있는 차선 예측 장치, 차량 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.

상술한 과제를 해결하기 위하여 차선 예측 장치, 차량 및 방법이 제공된다.

차선 예측 장치는 도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 데이터 수집부 및 상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하고, 상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결하여 연결 결과 데이터를 획득하고, 상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 프로세서를 포함할 수 있다.

상기 프로세서는, 제1 인코딩 레이어, 제2 인코딩 레이어, 제3 인코딩 레이어 및 제4 인코딩 레이어를 이용하여 상기 레이턴트 특성 벡터를 생성하되, 상기 제1 인코딩 레이어는 상기 영상을 기반으로 제1 인코딩 출력 데이터를 획득하고, 상기 제2 인코딩 레이어는 상기 제1 인코딩 출력 데이터를 기반으로 제2 인코딩 출력 데이터를 획득하고, 상기 제3 인코딩 레이어는 상기 제2 인코딩 출력 데이터를 기반으로 제3 인코딩 출력 데이터를 획득하며, 상기 제4 인코딩 레이어는 상기 제3 인코딩 출력 데이터를 기반으로 상기 레이턴트 특성 벡터를 획득하도록 마련된 것일 수 있다.

상기 프로세서는, 제1 디코딩 레이어, 제2 디코딩 레이어 및 제3 디코딩 레이어를 이용하여 상기 최종 예측 결과를 획득하되, 상기 제1 디코딩 레이어, 상기 제2 디코딩 레이어 및 상기 제3 디코딩 레이어 각각은, 각각에 대응하는 인코딩 레이어의 인코딩 출력 데이터를 더 이용하여 디코딩 출력 데이터를 획득하는 것일 수도 있다.

상기 제1 디코딩 레이어는 상기 연결 결과 데이터 및 상기 제3 인코딩 출력 데이터의 연결 결과를 기반으로 제1 디코딩 출력 데이터를 획득할 수 있고, 상기 제2 디코딩 레이어는 상기 제1 디코딩 출력 데이터 및 상기 제2 인코딩 출력 데이터의 연결 결과를 기반으로 제2 디코딩 출력 데이터를 획득할 수 있으며, 상기 제3 디코딩 레이어는 상기 제2 디코딩 출력 데이터 및 상기 제1 인코딩 출력 데이터의 연결 결과를 기반으로 상기 최종 예측 결과를 획득할 수 있다.

상기 프로세서는, 상기 레이턴트 특성 벡터에 대해 배열 평탄화를 수행하여 평탄화된 레이턴트 특성 벡터를 획득하고, 상기 평탄화된 레이턴트 특성 벡터에 주행 상태 데이터를 결합하여 주행 상태 결합 벡터를 획득하고, 상기 주행 상태 결합 벡터에 대해 재형상화를 수행하여 상기 연결 결과 데이터를 획득하는 것도 가능하다.

상기 주행 상태 데이터는, 가속 페달 값, 조향 각 및 주행 속도 중 적어도 하나를 포함할 수 있다.

차량은, 도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 데이터 수집부 및 상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하고, 상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결(concatenation)하여 연결 결과 데이터를 획득하고, 상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 프로세서를 포함할 수 있다.

차선 예측 방법은, 도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 단계, 상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하는 단계, 상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결하여 연결 결과 데이터를 획득하는 단계 및 상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 단계를 포함할 수도 있다.

상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하는 단계는, 제1 인코딩 레이어가 상기 영상을 기반으로 제1 인코딩 출력 데이터를 획득하는 단계, 제2 인코딩 레이어가 상기 제1 인코딩 출력 데이터를 기반으로 제2 인코딩 출력 데이터를 획득하는 단계, 상기 제3 인코딩 레이어가 상기 제2 인코딩 출력 데이터를 기반으로 제3 인코딩 출력 데이터를 획득하는 단계 및 상기 제4 인코딩 레이어가 상기 제3 인코딩 출력 데이터를 기반으로 상기 레이턴트 특성 벡터를 획득하는 단계를 포함할 수도 있다.

상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 단계는, 제1 디코딩 레이어, 제2 디코딩 레이어 및 제3 디코딩 레이어를 이용하여 상기 최종 예측 결과를 획득하되, 상기 제1 디코딩 레이어, 상기 제2 디코딩 레이어 및 상기 제3 디코딩 레이어 각각은, 각각에 대응하는 인코딩 레이어의 인코딩 출력 데이터를 더 이용하여 디코딩 출력 데이터를 획득하는 단계를 포함하는 것도 가능하다.

상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 단계는, 상기 제1 디코딩 레이어가 상기 연결 결과 데이터 및 상기 제3 인코딩 출력 데이터의 연결 결과를 기반으로 제1 디코딩 출력 데이터를 획득하는 단계, 상기 제2 디코딩 레이어가 상기 제1 디코딩 출력 데이터 및 상기 제2 인코딩 출력 데이터의 연결 결과를 기반으로 제2 디코딩 출력 데이터를 획득하는 단계 및 상기 제3 디코딩 레이어가 상기 제2 디코딩 출력 데이터 및 상기 제1 인코딩 출력 데이터의 연결 결과를 기반으로 상기 최종 예측 결과를 획득하는 단계를 포함할 수도 있다.

상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결하여 연결 결과 데이터를 획득하는 단계는, 상기 레이턴트 특성 벡터에 대해 배열 평탄화를 수행하여 평탄화된 레이턴트 특성 벡터를 획득하는 단계, 상기 평탄화된 레이턴트 특성 벡터에 주행 상태 데이터를 결합하여 주행 상태 결합 벡터를 획득하는 단계 및 상기 주행 상태 결합 벡터에 대해 재형상화를 수행하여 상기 연결 결과 데이터를 획득하는 단계를 포함할 수도 있다.

상기 주행 상태 데이터는, 가속 페달 값, 조향 각 및 주행 속도 중 적어도 하나를 포함할 수도 있다.

상술한 차선 예측 장치, 차량 및 방법에 의하면, 인지 및 제어 지연을 극복할 수 있게 되고, 이에 따라 현재의 주행 상태를 기반으로 차선을 인간과 동일, 유사하게 예측할 수 있게 되는 효과를 얻을 수 있다.

상술한 차선 예측 장치, 차량 및 방법에 의하면, 인지 및 예측 과정을 인간 운전자를 모사하여 하였기 때문에 차선에 대한 예측 성능의 향상을 촉진할 수 있게 된다.

상술한 차선 예측 장치, 차량 및 방법에 의하면, 차선에 대한 예측력의 향상에 따라 자율 주행 기술, 장치 또는 시스템의 성능을 증진시키고 그 안정성을 더욱 더 개선할 수 있게 된다.

상술한 차선 예측 장치, 차량 및 방법에 의하면, 상대적으로 경량화된 딥러닝 모델 기반으로 제어를 구축함으로써, 상대적으로 저성능의 처리 장치로도 데이터 처리를 신속하고 정확하게 수행할 수 있게 되고, 이에 따라 제작 및 운용에 투입되는 비용을 절감할 수 있는 효과도 얻을 수 있다.

도 1은 차선 예측 장치의 일 실시예에 대한 블록도이다.
도 2는 인코딩부의 일 실시예를 설명하기 위한 도면이다.
도 3은 연결부의 일 실시예를 설명하기 위한 도면이다.
도 4는 디코딩부의 일 실시예를 설명하기 위한 도면이다.
도 5는 차선 예측 방법의 일 실시예에 대한 흐름도이다.

이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다. 명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분이 상호 간에 물리적으로 연결되었음을 의미할 수도 있고, 및/또는 전기적으로 연결되었음을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다. 제1 내지 제N(N은 1 이상의 자연수) 등의 표현은, 적어도 하나의 부분(들)을 다른 부분(들)으로부터 구분하기 위한 것으로, 특별한 기재가 없는 이상 이들이 순차적임을 반드시 의미하지는 않는다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.

이하 도 1 내지 도 4를 참조하여 차선 예측 장치의 일 실시예에 대해서 설명하도록 한다.

도 1은 차선 예측 장치의 일 실시예에 대한 블록도이다.

도 1에 도시된 바에 의하면, 차선 예측 장치(10)는, 일 실시예에 있어서, 차선 예측에 필요한 정보를 수집하는 데이터 수집부(20)와, 데이터 수집부(20)와 통신 가능하게 연결되고 데이터 수집부(20)가 획득한 데이터를 기반으로 차선 예측을 수행하는 프로세서(100)를 포함할 수 있다. 필요에 따라서, 차선 예측 장치(10)는 데이터 수집부(20) 및 프로세서(100) 중 적어도 하나와 통신 가능하게 연결되는 저장부(15)와, 프로세서(100)로부터 처리 결과 등을 전달 받는 출력부(17)를 더 포함할 수도 있다. 또한, 실시예에 따라, 차선 예측 장치(10)는 예측 결과에 대응하여 제어되는 적어도 하나의 피제어대상(19)을 더 포함하는 것도 가능하다. 저장부(15), 출력부(17), 피제어대상(19), 데이터 수집부(20) 및 프로세서(100) 중 적어도 둘은, 소정의 통신 매체를 통해 일방으로 또는 쌍방으로 명령/지시나 데이터 등을 송신 또는 수신할 수 있다. 여기서, 소정의 통신 매체는, 회로 라인, 케이블, 근거리 또는 원거리 무선 통신 네트워크 등을 포함할 수 있다.

데이터 수집부(20)는, 영상 데이터를 획득할 수도 있고, 차량의 주행과 관련된 데이터(가속 페달 값, 조향각 및/또는 주행 속도 등. 이하 주행 상태 데이터)를 더 획득할 수도 있다. 일 실시예에 의하면, 데이터 수집부(20)는, 이를 위해 영상 촬영부(21)를 포함할 수 있으며, 필요에 따라서 가속페달값 수집부(22), 조향각 수집부(23) 및 주행속도 수집부(24) 중 적어도 하나를 더 포함할 수도 있다.

영상 촬영부(21)는 가시광 또는 적외선 광을 수광하고, 가시광 또는 적외선 광에 대응하는 전기적 신호를 검출하여 출력함으로써, 수광한 광에 대응하는 적어도 하나의 영상(정지영상 및 동화상 중 적어도 하나를 포함 가능함)을 획득할 수 있다. 차선 예측 장치(10)가 차량에 설치되었거나 또는 차선 예측 장치(10)가 차량인 경우, 영상 촬영부(21)는 차량의 대략 전방에 대한 촬영을 수행하고, 필요에 따라 측방 및 후방 중 적어도 하나의 방향에 대한 촬영을 수행하여 차량이 주행하는 도로에 대한 영상을 획득할 수 있다. 이 경우, 도로에 대한 영상은 도로에 그려진 적어도 하나의 차선을 포함할 수도 있다. 영상 촬영부(21)가 획득한 전기적 신호(즉, 영상)은 실시간으로 또는 프로세서(100)의 호출에 따라 프로세서(100)로 전달될 수 있다. 영상은 저장부(15)나 출력부(17)로 전달되는 것도 가능하다. 상술한 영상 촬영부(21)는, 카메라 장치를 이용하여 구현 가능하다. 구체적으로 영상 촬영부(21)는 가시광 또는 적외선광의 집속을 위한 렌즈와, 집속된 광에 대응하는 전기적 신호를 생성 및 출력하는 촬상 소자(일례로 전하결합소자(CCD: Charge Coupled Device)나 상보성 금속 산화물 반도체(CMOS: Complementary Metal-Oxide-Semiconductor) 등)와, 이들의 동작을 제어하기 위한 반도체 칩 등을 포함할 수 있다.

가속 페달 값 수집부(22)는 가속 페달의 눌림 정도에 대응하는 값(가속 페달 값)을 획득할 수 있다. 가속 페달 값은, 예를 들어, 가속 페달이 전혀 가압되지 않은 경우에는 0으로, 가속 페달이 최대로 가압된 경우에는 1의 값을 갖도록 정의될 수도 있다. 조향각 수집부(23)는 차량의 스티어링 휠로 조향한 정도를 나타내는 값(각도, 조향각)을 획득할 수 있다. 또한, 주행속도수집부(24)는 차량의 주행 속도를 수집할 수 있으며, 여기서, 주행 속도는 예를 들어, 차륜의 회전 속도나, 차량의 위치 값(일례로 GPS 값)의 변화 등을 이용하여 연산된 것일 수도 있다. 일 실시예에 의하면, 상술한 가속 페달 값 수집부(22), 조향각 수집부(23) 및 주행속도수집부(24) 중 적어도 하나는, 해당 데이터와 관련된 각각의 부품(일례로 가속 페달, 스티어링 휠 또는 차륜이나 위성항법장치 모듈 등)에 직접 또는 간접 장착된 센서로부터 해당 데이터를 수집할 수도 있다. 다른 실시예에 의하면, 이들(22, 23, 24) 중 적어도 하나는, 차량 등에 장착된 다른 정보 처리 장치(예를 들어, 전자 제어 장치(ECU: Electronic Controller Unit)나 차량 주행 제어 시스템 등)로부터 해당 데이터를 전송 받아 획득할 수도 있다. 수집한 주행 상태 데이터(즉, 가속 페달 값, 조향각 및 주행 속도 중 적어도 하나)는, 미리 정의된 바에 따라 주기적으로(실시간으로) 또는 프로세서(100)의 호출에 응하여 프로세서(100)로 전달될 수 있다.

프로세서(100)는, 데이터 수집부(20)의 데이터(영상, 가속 페달 값, 조향각 및/또는 주행 속도 등)를 기반으로 제어 시점 또는 미래의 도로 상태(일례로 도로의 차선)에 대한 예측 결과를 획득할 수 있다. 프로세서(100)는 저장부(15)에 저장된 프로그램(앱, 애플리케이션 또는 소프트웨어로 지칭 가능함)을 실행시켜 예측 결과 획득 동작을 수행할 수도 있다. 프로세서(100)는, 실시예에 따라, 중앙 처리 장치(CPU: Central Processing Unit), 그래픽 처리 장치(GPU: Graphic Processing Unit), 마이크로 컨트롤러 유닛(MCU: Micro Controller Unit), 애플리케이션 프로세서(AP: Application Processor), 전자 제어 유닛(ECU: Electronic Controlling Unit) 및/또는 이외 각종 연산 및 제어 처리를 수행할 수 있는 적어도 하나의 전자 장치 등을 이용하여 구현된 것일 수도 있다.

인간은, 자율 주행 제어 장치와 같이 컴퓨터 시스템만큼 판단 및 차량 제어를 신속하게 수행할 수는 없으나, 실제 운전자 본인이 의도하지 않거나 부주의하지 않은 이상 차량 사고를 야기하지는 않는다. 이는 인간 운전자도 상술한 첨단 운전자 보조 시스템처럼 인지-제어 지연을 경험함에도 불구하고, 스스로의 능력으로 이를 극복하고 안전적으로 차량을 제어할 수 있다는 것을 의미한다. 뇌인지 과학 이론 중 순방향 내부 모델(Forward Internal Model)에 따르면, 인간은 차선 유지 주행을 위한 행동 결정 시 내재적 시뮬레이션(Internal Simulation)을 통해 근미래의 상태를 예측하고 이에 가장 적합한 행동을 지속적으로 결정할 수 있다. 프로세서(100)는 신경 네트워크를 기반으로 이와 같은 인간의 내재적 시뮬레이션을 구현하여 차선에 대한 예측 성능을 개선하도록 마련된다.

일 실시예에 의하면, 프로세서(100)는 도 1에 도시된 것처럼 데이터 전처리부(110), 인코딩부(120), 연결부(130) 및 디코딩부(140)를 포함할 수 있다. 데이터 전처리부(110), 인코딩부(120), 연결부(130) 및 디코딩부(140) 중 적어도 둘은 물리적으로 또는 논리적으로 구분되는 것일 수 있으며, 일방으로 또는 쌍방으로 명령이나 데이터 등을 전달 가능하도록 마련된다.

데이터 전처리부(110)는 데이터 수집부(20)가 수집한 데이터(일례로 영상, 가속 페달 값, 조향각 또는 주행 속도 등)을 전달 받고 전달 받은 데이터의 전부 또는 일부에 대해 전처리를 수행하고, 전처리된 데이터를 인코딩부(120)로 전달할 수 있다. 예를 들어, 데이터 전처리부(110)는, 데이터의 증폭, 아날로그 데이터의 디지털 변환 또는 노이즈 제거 등의 동작을 수행할 수 있다. 또한, 데이터 전처리부(110)는 수신한 데이터에 대한 정규화를 수행할 수도 있다. 예를 들어, 데이터 전처리부(110)는 수신한 영상 데이터(일례로 차량 전방에 대한 영상)와 관련하여 각각의 화소(픽셀)의 값을 소정 기준에 따라 스케일링하여 이들 값을 0 내지 1 사이의 값으로 변환하여 영상 데이터에 대한 정규화를 수행할 수도 있다. 이 경우, 적용 가능한 최대 화소 값이 스케일링에 이용될 수 있으며, 보다 구체적으로 스케일링 및 정규화는 각 화소의 값을 최대 화소 값으로 나눔으로써 수행될 수도 있다. 검증 자료(groundtruth)로 이용되는 근 미래의 영상 이미지도 이와 동일하게 적용 가능한 최대 화소 값을 기반으로 스케일링 되어 0 내지 1 사이의 값으로 정규화될 수도 있다. 또한, 주행 상태와 관련된 데이터(일례로 가속 페달 값, 조향 각 또는 주행 속도 등)도 적용 가능한 최대 값 및 최소 값을 이용하여 0 내지 1 사이의 값으로 변환되어 정규화될 수도 있다. 예를 들어, 이들 데이터는 최소 값에 가까울수록 0에 근사한 값을 갖고, 최대 값에 가까울수록 1에 근사한 값을 가지도록 변환 및 정규화될 수도 있다. 이와 같이 0 내지 1로 정규화된 데이터를 이용하는 경우, 학습 모델 기반의 훈련 및 예측이 상대적으로 적은 자원을 투입하여 보다 안정적으로 수행될 수 있게 된다. 데이터 전처리부(110)는 필요에 따라 생략 가능하다.

도 2는 인코딩부의 일 실시예를 설명하기 위한 도면이다. 도 2에는 4개의 인코딩레이어(121 내지 124)를 통해 최종적인 인코딩 결과(125)를 획득하는 일례가 도시되어 있으나, 이는 설명의 편의를 위한 것으로, 실시예에 따라서 이들 인코딩 레이어(121 내지 124)의 개수는 이보다 더 적을 수도 있고 또는 이보다 더 많을 수도 있다.

도 2에 도시된 바에 의하면, 인코딩부(120)는 데이터 수집부(20) 또는 데이터 전처리부(110)로부터 영상(21a, 일례로 전방 도로에 관한 영상)을 전달 받고, 이를 기반으로 영상(21a)에 대응하는 적어도 하나의 레이턴트 특성 벡터(125, Latent Feature Vector)를 생성할 수 있다. 이를 위해 인코딩부(120)는 신경 네트워크 기반의 일 레벨 이상의 인코딩 레이어(121, 122, 123, 124)를 포함하고, 수신 또는 처리된 데이터를 순차적 및 단계적으로 하나 이상 레벨의 인코딩 레이어(121, 122, 123, 124)를 통해 전달함으로써 1차원의 레이턴트 특성 벡터(125)를 획득할 수도 있다.

일 실시예에 의하면, 각각의 인코딩 레이어(121, 122, 123, 124, 이하 각각 제1 내지 제4 인코딩 레이어)는 적어도 하나의 신경 네트워크를 기반으로 구현될 수 있다. 이 경우, 각각의 인코딩 레이어(121, 122, 123, 124)를 형성하는 신경 네트워크는 모두 동일할 수도 있고, 모두 상이할 수도 있으며 또는 일부는 동일하고 다른 일부는 상이할 수도 있다. 적어도 하나의 신경 네트워크는, 예를 들어, 다층 퍼셉트론(Multi-layer Perceptron), 심층 신경망(DNN: Deep Neural Network), 콘볼루션 신경망(CNN: Convolutional Neural Network), 순환 신경망(RNN: Recurrent Neural Network), 콘볼루션 순환 신경망(CRNN: Convolutional Recurrent Neural Network), 심층 신뢰 신경망(DBN: Deep Belief Network), 장단기 메모리(LSTM: Long short term memory) 또는 서포트 벡터 머신(SVM: support vector machine) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 제1 내지 제3 인코딩 레이어(121, 122, 123)은, 2차원 콘볼루션 신경망과, 2차원 배치 노옴(BatchNorm) 및 활성화 함수(일례로 렐루 함수나, 시그모이드 함수 등)가 순차적으로 배치되어 구현된 것일 수 있다.

제1 인코딩 레이어(121)는 영상(21a)을 입력 값으로 받고 이에 대응하는 제1 인코딩 출력 데이터(121a, 일례로 2차원 데이터일 수 있음)를 출력한다. 제1 인코딩 출력 데이터(121a)는, 제2 인코딩 레이어(122)로 전달될 수 있으며, 실시예에 따라서 디코딩부(140)로 더 전달될 수도 있다. 이 경우, 제2 인코딩 레이어(122)로 전달되는 데이터는, 제1 인코딩 출력 데이터(121a)에 대해 소정의 풀링(pooling), 일례로 맥스 풀링이나 에버리지 풀링을 수행한 결과 데이터일 수도 있다.

제2 인코딩 레이어(122)도 제1 인코딩 출력 데이터(121a) 또는 이에 대한 풀링 결과 데이터를 수신하고, 제1 인코딩 레이어(121)와 동일하게 또는 일부 변형된 과정에 따라 대응하는 제2 인코딩 출력 데이터(122a, 일례로 2차원 데이터일 수도 있음)를 획득한다. 제2 인코딩 출력 데이터(122a)는 제3 인코딩 레이어(123)로 전달될 수 있고, 상술한 바와 같이 소정의 풀링 처리를 거친 후에 제3 인코딩 레이어(123)로 전달될 수도 있다. 또한, 제2 인코딩 출력 데이터(122a)는 디코딩부(140)로 전달되어 디코딩을 위해 이용될 수도 있다.

제3 인코딩 레이어(123)는 제2 인코딩 출력 데이터(122a) 또는 이의 풀링 처리 결과를 전달 받고, 이에 대응하는 제3 인코딩 출력 데이터(123a, 일례로 2차원 데이터일 수도 있음)를 획득할 수 있다. 제3 인코딩 출력 데이터(123a) 획득 과정은, 상술한 제1 인코딩 레이어(121)나 제2 인코딩 레이어(122)와 동일하게 또는 일부 변형된 바에 의해 수행될 수도 있다. 제3 인코딩 출력 데이터(123a)도 제4 인코딩 레이어(124)로 전달될 수도 있다. 제3 인코딩 출력 데이터(123a)에 대해서도 소정의 풀링 처리가 수행되는 것도 가능하다. 또한, 제3 인코딩 출력 데이터(123a) 역시 디코딩부(140)로 전달될 수 있다.

제4 인코딩 레이어(124)는 수신한 제3 인코딩 출력 데이터(123a) 또는 이에 대한 풀링 처리 결과 데이터를 기반으로 최종적인 인코딩 출력 데이터, 즉 레이턴트 특성 벡터(125)를 획득할 수 있다. 획득된 레이턴트 특성 벡터(125)는 순차적으로 연결부(130)로 전달될 수 있다.

도 3은 연결부의 일 실시예를 설명하기 위한 도면이다.

연결부(130)는 레이턴트 특성 벡터(125)를 수신하고, 레이턴트 특성 벡터(125)와 주행 상태 데이터(131a)를 연결하고(concatenate), 연결에 따라 획득한 데이터(132, 벡터 형태를 가질 수 있음. 이하 연결 결과 데이터)를 디코딩부(140)로 전달할 수 있다. 구체적으로, 연결부(130)는 레이턴트 특성 벡터(125)를 전달 받으면, 레이턴트 특성 벡터(125)에 대해 배열 평탄화(플래튼, flatten) 처리를 수행하고, 평탄화된 레이턴트 특성 벡터(126)에 주행 상태 데이터(131a)를 그대로 부가 및 결합하여 주행 상태 결합 벡터(131)를 획득할 수 있다. 여기서, 주행 상태 데이터(131a)는 가속 페달 값 수집부(22)가 획득한 가속 페달 값, 조향각 수집부(23)가 수집한 조향 각 및 주행속도수집부(24)가 수집한 주행 속도 중 적어도 하나를 포함할 수 있다. 또한, 실시예에 따라서, 주행 상태 데이터(131a)는 현재 주행의 제어 또는 유지 등을 위한 제어 데이터를 더 포함할 수도 있다. 뿐만 아니라, 이들 외에도 주행 상태 데이터(131a)는 차량의 주행과 관련된 다른 데이터를 더 포함하는 것도 가능하다. 연결부(130)는 주행 상태 결합 벡터(131)에 대해 재형상화(reshape)를 수행할 수 있으며, 결과적으로 연결 결과 데이터(132)를 획득할 수 있게 된다. 연결 결과 데이터(132)는 디코딩부(140)로 전달될 수 있다. 상술한 배열 평탄화, 주행 상태 결합 벡터(131)의 획득 및 재형상화는, 실시예에 따라 적어도 하나의 완전 연결 층(FCL: Fully Connected Layer)에 각각의 데이터를 입력함으로써 수행될 수도 있다.

도 4는 디코딩부의 일 실시예를 설명하기 위한 도면이다. 도 4에는 3개의 디코딩레이어(141 내지 143)를 통해 최종 예측 결과(140a)를 획득하는 일례가 도시되어 있으나, 이는 설명의 편의를 위한 것으로, 실시예에 따라서 이들 디코딩 레이어(141 내지 143)의 개수는 이보다 더 적을 수도 있고 또는 이보다 더 많을 수도 있다.

도 4에 도시된 바를 참조하면, 디코딩부(140)는 연결부(130)로부터 연결 결과 데이터(132)를 수신하고, 연결 결과 데이터(132)를 이용하여 디코딩을 수행하여 최종 예측 결과(140a)를 획득할 수 있다. 디코딩부(140)는 적어도 일 레벨의 디코딩 레이어(141, 142, 143)을 포함할 수 있으며, 각각 레벨의 디코딩 레이어(141, 142, 143)을 통해 연결 결과 데이터(132)를 전달하여 최종 예측 결과(140a)를 획득 및 출력할 수 있다. 여기서, 디코딩 레이어(141, 142, 143)의 개수는 인코딩부(120)의 인코딩 레이어(121, 122, 123, 124)의 개수에 대응하여 마련된 것일 수 있으며, 어느 하나의 디코딩 레이어(141, 142, 143)는, 인코딩부(120)의 어느 하나의 인코딩 레이어(123, 122, 121)에 대응할 수도 있다. 각각의 디코딩 레이어, 일례로 제1 내지 제3 디코딩 레이어(141, 142, 143)는 적어도 하나의 신경 네트워크를 기반으로 구축된 것일 수 있다. 예를 들어, 각각의 디코딩 레이어(141, 142, 143)는, 다층 퍼셉트론, 심층 신경망, 콘볼루션 신경망, 순환 신경망, 콘볼루션 순환 신경망, 심층 신뢰 신경망, 장단기 메모리 또는 서포트 벡터 머신 등을 이용해 구현 가능하다. 이 경우, 각 디코딩 레이어(141, 142, 143)의 신경 네트워크는 모두 동일할 수도 있고, 모두 상이할 수도 있으며 또는 일부는 동일하고 다른 일부는 상이할 수도 있다.

제1 디코딩 레이어(141)는 연결 결과 데이터(132)를 수신하고, 이를 신경망에 입력하여 제1 디코딩 출력 데이터(141a)를 획득할 수 있다. 일 실시예에 의하면, 제1 디코딩 레이어(141)는, 제1 디코딩 레이어(141)에 대응하는 인코딩 레이어, 일례로 제3 인코딩 레이어(123)의 출력 결과(123a)를 수신하고, 제3 인코딩 레이어(123)의 출력 결과(123a)와 연결 결과 데이터(132)를 서로 채널 방식 연결(Channel-wise Concatenation)을 통해 결합하고, 이를 신경 네트워크에 대한 입력 값으로 이용하여 제1 디코딩 출력 데이터(141a)를 획득할 수도 있다. 이에 따라서 스킵 커넥션(Skip Connection)이 구현될 수 있게 된다. 스킵 커넥션의 구현에 의해 신경 네트워크 전반에 걸쳐 경사 플로우(Gradient Flow)를 획득할 수 있게 되고, 신경 네트워크의 깊이 증가에 따라 발생 가능한 역전파(backpropagation) 시의 경사 소실(Gradient Vanishing)을 방지할 수 있게 될 뿐만 아니라, 또한 특성 재활용성(Feature Reusability)도 확보할 수 있게 된다. 제1 디코딩 출력 데이터(141a)는 제2 디코딩 레이어(142)로 전달된다. 이 경우, 제1 디코딩 출력 데이터(141a)는 업 콘볼루션(Up-Convolution) 처리된 후, 제2 디코딩 레이어(142)에 입력될 수도 있다.

제2 디코딩 레이어(142)는 제1 디코딩 출력 데이터(141a)를 수신하고, 이를 신경망에 입력하여 제2 디코딩 출력 데이터(142a)를 출력할 수 있다. 일 실시예에 의하면, 제2 디코딩 레이어(142)는, 제2 디코딩 레이어(142)에 대응하는 인코딩 레이어, 일례로 제2 인코딩 레이어(122)의 출력 결과(122a)를 수신하고, 제2 인코딩 레이어(122)의 출력 결과(122a)를 제1 디코딩 출력 데이터(141a)와 채널 기반으로 연결하고, 이를 신경 네트워크에 입력하여 제2 디코딩 출력 데이터(142a)를 획득하는 것도 가능하다. 따라서, 제2 디코딩 레이어(142)에 대해서도 스킵 커넥션이 구현될 수 있게 된다. 제2 디코딩 출력 데이터(142a)는 제3 디코딩 레이어(143)로 전달될 수 있다. 상술한 바와 동일하게, 제2 디코딩 출력 데이터(142a)도 업 콘볼루션 처리된 후, 제3 디코딩 레이어(143)로 전달될 수도 있다.

제3 디코딩 레이어(143)는 제2 디코딩 출력 데이터(142a)를 수신하고, 이를 기반으로 최종 예측 결과(140a)를 획득 및 복원하여 출력할 수 있다. 이 경우, 제3 디코딩 레이어(143)는, 제3 디코딩 레이어(143)에 대응하는 인코딩 레이어, 일례로 제1 인코딩 레이어(121)의 출력 결과(121a)를 전달받고, 제1 인코딩 레이어(121)의 출력 결과(121a)와 제2 디코딩 출력 데이터(142a)를 연결한 후, 연결 결과를 신경 네트워크에 입력하여 제3 디코딩 출력 데이터(143a)를 획득할 수도 있다. 그러므로, 스킵 커넥션은 제3 디코딩 레이어(142)와 관련해서도 구현될 수 있게 된다. 최종 예측 결과(140a)는 제3 디코딩 레이어(143)의 인공 신경망의 출력 결과를, 일례로 Conv2d 레이어에 입력하여 획득될 수도 있다.

상술한 제1 내지 제3 디코딩 레이어(141 내지 143)는, 실시예에 따라, 2차원 콘볼루션 신경망과, 2차원 배치 노옴 및 소정의 활성화 함수(일례로 렐루 함수 등)를 순차적으로 배치하여 구현될 수 있다.

이와 같은 과정을 통해 획득된 최종 예측 결과(140a)는 실시예에 따라서 최초로 입력된 영상(21a)에 대응하는 소정의 영상 형태로 주어질 수 있다. 최종 예측 결과(140a)인 영상은, 현재 전방 차선에 대한 영상과 주행 상태를 반영하여 가까운 미래에 촬영될 전방에 대한 실제 영상과 최대한 근사하면서 해당 시점에서의 차선 정보를 포함하는 영상일 수 있다.

저장부(15)는 데이터 수집부(20)가 획득한 정보(예를 들어, 영상, 가속 페달 값, 조향각 또는 주행 속도 등)나 프로세서(100)의 연산 처리 결과, 즉 최종 예측 결과(140a) 등을 일시적 또는 비일시적으로 저장할 수 있다. 이 경우, 저장부(15)는 영상, 가속 페달 값, 조향각 또는 주행 속도 등은 시간의 흐름에 따라 주기적으로 또는 비주기적으로 저장할 수도 있다. 또한, 저장부(15)는, 프로세서(100)의 동작을 위한 적어도 하나의 프로그램(앱, 애플리케이션 또는 소프트웨어 등으로 지칭 가능함)을 저장할 수도 있다. 저장부(15)에 저장된 프로그램은, 프로그래머 등의 설계자에 의해 직접 작성 또는 수정된 것일 수도 있고, 다른 물리적 기록 매체(외장 메모리 장치나 콤팩트 디스크(CD) 등)으로부터 전달받은 것일 수도 있으며, 및/또는 유무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다. 저장부(15)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 이용하여 구현될 수 있다.

출력부(17)는, 예를 들어, 데이터 수집부(20)가 획득한 정보(예를 들어, 영상, 가속 페달 값, 조향각 또는 주행 속도 등) 또는 프로세서(100)의 연산 처리 결과(즉, 최종 예측 결과(140a) 등)를 외부로 출력할 수 있다. 보다 구체적으로 출력부(17)는 연산 처리 결과 등을 시각적 또는 청각적으로 출력하여 사용자(운전자나 동승자 등)에게 제공할 수도 있고(예를 들어, 현재 또는 장래의 도로 상태의 변화를 영상적으로 표현하여 출력할 수도 있음), 차선 예측 장치(10)와 물리적 또는 논리적으로 분리되어 마련된 다른 피제어장치(19)에 처리 결과에 대응하는 신호(제어 신호)를 소정의 통신 매체(일례로 케이블이나 캔(CAN: Controller Area Network) 통신 네트워크 등)전달할 수도 있으며, 및/또는 유무선 통신 네트워크(일례로 이동통신 네트워크)를 통해 외부의 다른 장치(서버 장치나 다른 차량 등)으로 전달하는 것도 가능하다. 출력부(17)는, 예를 들어, 디스플레이, 프린터 장치, 스피커 장치, 영상 출력 단자, 데이터 입출력 단자 및/또는 통신 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

피제어대상(19)은 프로세서(100)의 처리 결과에 의해 제어되는 대상을 포함할 수 있다. 예를 들어, 피제어대상(19)은 차량 주행 제어 시스템(일례로 첨단 운전자 보조 시스템 등으로, 구체적으로 비전 기반 차선 유지 주행 제어기 등을 포함할 수 있음), 엔진, 전기 자동차용 모터, 조향 장치, 제동 장치, 변속기, 차량 내장 디스플레이, 차량 내장 스피커 또는 계기판 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 프로세서(100)의 출력 결과(일례로 딥러닝 네트워크를 통해 생성된 차선 예측 결과 영상이나 이와 관련된 메타 데이터 등)는 제어 신호의 형태로 해당 피제어대상(19)로 전달될 수 있으며, 제어 신호를 전달 받은 피제어대상(19)은 이에 응하여 출력 결과에 대응하는 동작을 수행함으로써, 운전을 보조하거나 또는 차량이 자율 주행을 수행하도록 할 수도 있다. 피제어대상(19)으로의 제어 신호의 전달은 출력부(17)를 통해 수행될 수도 있으며, 보다 구체적으로 캔 통신 네트워크를 기반으로 수행될 수도 있다. 이에 따라 근미래의 도로 상황 예측 결과에 기반한 차량의 차선 유지 제어가 가능하게 되며, 차선 예측 장치(10)가 인지-제어에 따른 처리 지연 문제를 해결할 수 있게 된다.

도 1 내지 도 4에는 도시되어 있지 않으나, 차선 예측 장치(10)는 필요에 따라 사용자나 다른 정보처리장치로부터 명령, 지시, 데이터 또는 애플리케이션 등을 입력 받기 위한 입력부를 더 포함하는 것도 가능하다. 입력부는, 예를 들어, 물리 버튼, 노브, 스틱형 조작 장치, 터치 스크린, 터치 패드, 키보드, 마우스, 동작 감지 센서, 마이크로 폰, 데이터 입출력 단자 및/또는 통신 모듈 등을 포함할 수 있다.

상술한 차선 예측 장치(10)는, 일 실시예에 의하면, 적어도 하나의 차량을 포함할 수도 있다. 여기서, 차량은 유인 이동체(일례로 승용차, 버스, 트럭, 이륜차, 건설기계, 열차 또는 로봇 등) 또는 무인 이동체(무선 모형 차량이나 로봇 청소기 등) 등을 포함할 수도 있다. 다른 실시예에 따르면, 차선 예측 장치(10)는, 상술한 처리 및/또는 제어 등을 수행 가능하면서 차량 등에 고정 또는 분리 가능하게 장착 가능한 적어도 하나의 전자 장치를 이용하여 구현될 수도 있다. 여기서, 적어도 하나의 전자 장치는, 예를 들어, 내비게이션 장치, 블랙박스 장치, 스마트 폰, 태블릿 피씨, 스마트 시계, 스마트 태그, 스마트 밴드, 스마트 키, 두부 장착형 디스플레이(HMD: Head Mounted Display) 장치, 휴대용 게임기, 데스크톱 컴퓨터, 랩톱 컴퓨터, 리모트 컨트롤러(리모컨), 디지털 텔레비전, 셋 톱 박스, 디지털 미디어 플레이어 장치, 음향 재생 장치(인공 지능 스피커 등), 유인 또는 무인 비행체(일례로 항공기나, 헬리콥터나, 드론, 모형 비행기, 모형 헬리콥터 등), 교통 제어기, 가정용, 산업용 또는 군사용 로봇, 산업용 또는 군사용 기계 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 설계자나 사용자 등은 상황이나 조건에 따라서 상술한 바 외에도 데이터 수집, 연산 처리 및 제어가 다양한 장치 중 적어도 하나를 상술한 차선 예측 장치(10)로 고려하여 채용할 수 있다.

상술한 적어도 하나의 차선 예측 장치(10)는, 유선 통신 네트워크, 무선 통신 네트워크 또는 이들의 조합을 기반으로 데이터를 수신 받아 처리하는 서버 장치를 포함할 수도 있다. 이 경우, 차선 예측 장치(10)는 차량 또는 이에 설치된 단말 장치로부터 상술한 영상이나 데이터(가속 페달 값, 조향각 또는 주행속도 등)을 수신하고, 이를 기반으로 상술한 인코딩 및 디코딩 등의 처리를 수행한 후, 처리 결과를 해당 차량 또는 단말 장치로 반환하여 차량이 처리 결과에 따라 동작하도록 할 수도 있다. 여기서, 무선 통신 네트워크는 근거리 통신 네트워크 및 원거리 통신 네트워크 중 적어도 하나를 포함할 수 있다. 근거리 통신 네트워크는, 예를 들어, 캔(CAN) 통신, 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 초광대역(UWB: Ultra-WideBand) 통신 또는 엔에프씨(NFC: Near Field Communication) 등의 통신 기술을 기반으로 구현될 수 있고, 원거리 통신 네트워크는, 예를 들어, 3GPP, 3GPP2, 와이브로 또는 와이맥스 계열 등의 이동 통신 표준을 기반으로 구현된 것일 수 있다.

이하 도 5를 참조하여 차선 예측 방법의 여러 실시예에 대해서 설명하도록 한다.

도 5는 차선 예측 방법의 일 실시예에 대한 흐름도이다.

도 5에 도시된 바를 참조하면, 일 실시예에 있어서 차선의 예측을 위해 먼저 분석에 필요한 가시광선 영상 또는 적외선 영상(일례로 차량 전방 도로에 대한 정지영상 또는 동영상으로, 차선을 포함할 수 있음)이 촬영 과정을 통해 획득되고, 이와 동시에 또는 순차적으로 차량의 주행 상태에 대한 데이터, 즉 주행 상태 데이터가 수집될 수 있다(200). 여기서, 주행 상태 데이터는, 예를 들어, 가속 페달 값, 조향 각 및 주행 속도 중 적어도 하나를 포함할 수도 있으나, 이에 한정되는 것은 아니다. 설계자나 사용자 등은, 필요에 따라, 이들 외에 다른 데이터가 더 수집 및 이용되도록 하는 것도 가능하다. 가속 페달 값, 조향 각 또는 주행 속도는 대응하는 장치로부터 직접 센싱하여 획득된 것일 수도 있고 또는 차량 주행 제어 시스템 등으로부터 전달 받아 획득될 수도 있다.

데이터가 획득되면, 데이터에 대한 전처리가 수행될 수 있다(202). 데이터 전처리는 증폭, 아날로그 디지털 변환, 노이즈 제거 또는 정규화(일례로 스케일링 기반의 정규화) 등을 포함할 수 있다. 여기서, 스케일링 기반의 정규화는, 예를 들어, 해당 데이터(영상의 각 픽셀 값 등)에 대해 가능한 최대 값을 이용하거나 또는 최대 값 및 최소 값 양자 모두를 이용하여, 해당 데이터를 0 내지 1 사이의 값으로 변환함으로써 수행될 수도 있다. 데이터 전처리는 영상에 대해서 수행될 수도 있고, 주행 상태 데이터 중 적어도 하나에 대해 수행될 수도 있다. 데이터 전처리 과정은 실시예에 따라 생략 가능하다.

데이터가 획득되거나 전처리가 종료되면, 영상에 대한 인코딩 처리가 수행되고, 그 결과 레이턴트 특성 벡터가 획득될 수 있다(204). 구체적으로 인코딩 처리는 적어도 하나의 인코딩 레이어(일례로 제1 내지 제4 인코딩 레이어) 중 어느 하나(일례로 제1 인코딩 레이어)에 영상 데이터가 입력되고, 이에 대응하여 제1 인코딩 출력 데이터를 획득하고, 제1 인코딩 출력 데이터를 제2 인코딩 레이어에 입력함으로써 수행될 수 있다. 이 경우, 제1 인코딩 출력 데이터에 대해 소정의 풀링(일례로 맥스 풀링)이 더 수행된 후, 풀링 처리한 결과가 제2 인코딩 레이어에 입력될 수 있다. 제2 인코딩 레이어는 입력된 제1 인코딩 출력 데이터 또는 이에 풀링 처리한 데이터를 기반으로 제2 인코딩 출력 데이터를 획득하고, 제2 인코딩 출력 데이터를 제3 인코딩 레이어에 전달할 수 있다. 제2 인코딩 출력 데이터도 제3 인코딩 레이어에 입력되지 전에 풀링 처리될 수도 있다. 제3 인코딩 레이어는 동일하게 또는 일부 상이한 방법으로 제3 인코딩 출력 데이터를 획득하고, 이를 제4 인코딩 레이어로 전달할 수 있으며, 제4 인코딩 레이어는 제3 인코딩 출력 데이터 또는 이에 대한 풀링 처리 결과를 기반으로 레이턴트 특성 벡터를 획득할 수 있다. 상술한 처리 과정에서, 제1 내지 제3 인코딩 출력 데이터는, 각각 저장 매체에 일시적으로 저장될 수 있으며, 저장된 제1 내지 제3 인코딩 출력 데이터는 디코딩 과정(208)에서 이용될 수 있다.

레이턴트 특성 벡터가 획득되면, 레이턴트 특성 벡터는 해당 시점 또는 이전 시점의 주행 상태와 결합되고, 이에 따라 연결 결과 데이터가 획득될 수 있다(206). 상세하게는 먼저 레이턴트 특성 벡터에 대해 배열 평탄화가 수행되고, 배열 평탄화가 수행된 레이턴트 특성 벡터에 대해 주행 상태 데이터가 부가되어, 양자가 결합되고, 양자가 결합으로 획득된 주행 상태 결합 벡터에 대해 재형상화가 수행됨으로써 연결 결과 데이터가 획득될 수 있게 된다.

연결 결과 데이터가 획득되면, 이를 기반으로 디코딩 처리가 수행될 수 있다(208). 보다 구체적으로는, 디코딩 처리를 위해서, 먼저 적어도 하나의 디코딩 레이어(예를 들어, 제1 내지 제3 디코딩 레이어) 중 어느 하나의 디코딩 레이어, 일례로 제1 디코딩 레이어에, 연결 결과 데이터와 제1 디코딩 레이어에 대응하는 인코딩 레이어, 일례로 제3 인코딩 레이어의 출력 결과(즉, 제3 인코딩 출력 데이터)가 채널 방식으로 연결된 후, 제1 디코딩 레이어에 입력된다. 이에 따라 스킵 커넥션이 구현될 수 있게 된다. 제1 디코딩 레이어는 이에 대응하여 제1 디코딩 출력 데이터를 획득하고, 제2 디코딩 레이어에 전달한다. 이 때, 제2 디코딩 레이어 입력 전에 제1 디코딩 출력 데이터에 대해 소정의 풀링 처리(일례로 맥스 풀링)이 더 수행될 수도 있다. 제1 디코딩 출력 데이터나 풀링 처리한 데이터와, 제2 디코딩 레이어에 대응하는 제2 인코딩 레이어의 출력 값(즉, 제2 인코딩 출력 데이터)은 채널 방식으로 결합되고 제2 디코딩 레이어에 입력된다. 제2 디코딩 레이어는 이에 대응하여 제2 디코딩 출력 결과를 획득하여 제3 디코딩 레이어로 전달한다. 제3 디코딩 레이어는 제2 디코딩 출력 데이터를 수신하고, 이를 기반으로 연산 처리를 수행할 수 있다. 제2 디코딩 출력 데이터는 필요에 따라 풀링 처리된 후, 제3 디코딩 레이어에 입력될 수도 있다. 또한, 제2 디코딩 출력 데이터는 제3 디코딩 레이어에 대응하는 인코딩 레이어(즉, 제1 인코딩 레이어)의 출력 데이터(즉, 제1 인코딩 출력 데이터)와 결합된 후, 제3 디코딩 레이어에 입력될 수도 있다.

제3 디코딩 레이어의 처리에 의해 최종 예측 결과를 획득 및 복원하여 출력할 수 있다(210). 최종 예측 결과는 실시예에 따라서 최초로 입력된 영상에 대응하는 소정의 영상 형태로 주어질 수 있다. 최종 예측 결과가 획득되면, 이는 사용자(운전자나 동승자 등)에게 제공될 수도 있다. 또한, 예측 결과에 따라서 적어도 하나의 부품(일례로 스티어링 휠 등)에 대한 제어 신호가 생성되고, 생성된 제어 신호는 적어도 하나의 부품으로 전달되어, 차량이 적절하게 제어되도록 할 수 있다. 이에 따라서, 차량은 차선 이탈 없이 차선을 따라 안정적으로 주행하거나, 자동으로 차선 변경 등을 수행할 수 있게 되고, 운전자의 편의가 개선될 수 있게 된다.

상술한 실시예에 따른 차선 예측 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 프로그램은, 명령어, 라이브러리, 데이터 파일 및/또는 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다. 상술한 차선 예측 방법을 구현하기 위한 프로그램은, 컴퓨터 등의 장치에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 롬, 램, SD카드 또는 플래시 메모리(일례로 솔리드 스테이트 드라이브(SSD) 등)와 같은 반도체 저장 매체나, 하드 디스크 또는 플로피 디스크 등과 같은 자기 디스크 저장 매체나, 콤팩트 디스크 또는 디브이디 등과 같은 광 기록 매체나, 또는 플롭티컬 디스크 등과 같은 자기-광 기록 매체 등과 같이 컴퓨터 등의 장치의 호출에 따라 실행되는 하나 이상의 프로그램을 일시적 또는 비일시적으로 저장 가능한 적어도 한 종류의 물리적 저장 매체를 포함할 수 있다.

이상 차선 예측 장치, 차량 및 차선 예측 방법의 여러 실시예에 대해 설명하였으나, 장치 또는 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현할 수 있는 다른 다양한 장치나 방법 역시 상술한 차선 예측 장치, 차량 또는 차선 예측 방법의 일 실시예가 될 수 있다. 예를 들어, 설명된 방법(들)이 설명된 바와 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소(들)가 설명된 바와 다른 형태로 결합, 연결 또는 조합되거나 다른 구성 요소 또는 균등물 등에 의하여 대치 또는 치환되더라도, 상술한 차선 예측 장치, 차량 및/또는 차선 예측 방법의 일 실시예가 될 수 있다.

10: 차선 예측 장치 20: 데이터 수집부
21: 영상 촬영부 22: 가속페달값 수집부
23: 조향각 수집부 24: 주행속도 수집부
100: 프로세서 110: 데이터 전처리부
120: 인코딩부 130: 연결부
140: 디코딩부

Claims

삭제
도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 데이터 수집부; 및
상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하고, 상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결(concatenation)하여 연결 결과 데이터를 획득하고, 상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 프로세서;를 포함하되,
상기 프로세서는, 제1 인코딩 레이어, 제2 인코딩 레이어, 제3 인코딩 레이어 및 제4 인코딩 레이어를 이용하여 상기 레이턴트 특성 벡터를 생성하되,
상기 제1 인코딩 레이어는 상기 영상을 기반으로 제1 인코딩 출력 데이터를 획득하고,
상기 제2 인코딩 레이어는 상기 제1 인코딩 출력 데이터를 기반으로 제2 인코딩 출력 데이터를 획득하고,
상기 제3 인코딩 레이어는 상기 제2 인코딩 출력 데이터를 기반으로 제3 인코딩 출력 데이터를 획득하며,
상기 제4 인코딩 레이어는 상기 제3 인코딩 출력 데이터를 기반으로 상기 레이턴트 특성 벡터를 획득하는 차선 예측 장치.
제2 항에 있어서,
상기 프로세서는, 제1 디코딩 레이어, 제2 디코딩 레이어 및 제3 디코딩 레이어를 이용하여 상기 최종 예측 결과를 획득하되, 상기 제1 디코딩 레이어, 상기 제2 디코딩 레이어 및 상기 제3 디코딩 레이어 각각은, 각각에 대응하는 인코딩 레이어의 인코딩 출력 데이터를 더 이용하여 디코딩 출력 데이터를 획득하는 차선 예측 장치.
제3 항에 있어서,
상기 제1 디코딩 레이어는 상기 연결 결과 데이터 및 상기 제3 인코딩 출력 데이터의 연결 결과를 기반으로 제1 디코딩 출력 데이터를 획득하고,
상기 제2 디코딩 레이어는 상기 제1 디코딩 출력 데이터 및 상기 제2 인코딩 출력 데이터의 연결 결과를 기반으로 제2 디코딩 출력 데이터를 획득하고,
상기 제3 디코딩 레이어는 상기 제2 디코딩 출력 데이터 및 상기 제1 인코딩 출력 데이터의 연결 결과를 기반으로 상기 최종 예측 결과를 획득하는 차선 예측 장치.
도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 데이터 수집부; 및
상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하고, 상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결(concatenation)하여 연결 결과 데이터를 획득하고, 상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 프로세서;를 포함하되,
상기 프로세서는, 상기 레이턴트 특성 벡터에 대해 배열 평탄화를 수행하여 평탄화된 레이턴트 특성 벡터를 획득하고, 상기 평탄화된 레이턴트 특성 벡터에 주행 상태 데이터를 결합하여 주행 상태 결합 벡터를 획득하고, 상기 주행 상태 결합 벡터에 대해 재형상화를 수행하여 상기 연결 결과 데이터를 획득하는 차선 예측 장치.
제2항에 있어서,
상기 주행 상태 데이터는, 가속 페달 값, 조향 각 및 주행 속도 중 적어도 하나를 포함하는 차선 예측 장치.
도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 데이터 수집부; 및
상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하고, 상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결(concatenation)하여 연결 결과 데이터를 획득하고, 상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 프로세서;를 포함하고,
상기 프로세서는, 제1 인코딩 레이어, 제2 인코딩 레이어, 제3 인코딩 레이어 및 제4 인코딩 레이어를 이용하여 상기 레이턴트 특성 벡터를 생성하되,
상기 제1 인코딩 레이어는 상기 영상을 기반으로 제1 인코딩 출력 데이터를 획득하고,
상기 제2 인코딩 레이어는 상기 제1 인코딩 출력 데이터를 기반으로 제2 인코딩 출력 데이터를 획득하고,
상기 제3 인코딩 레이어는 상기 제2 인코딩 출력 데이터를 기반으로 제3 인코딩 출력 데이터를 획득하며,
상기 제4 인코딩 레이어는 상기 제3 인코딩 출력 데이터를 기반으로 상기 레이턴트 특성 벡터를 획득하는 차량.
삭제
도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 단계;
상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하는 단계;
상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결하여 연결 결과 데이터를 획득하는 단계; 및
상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 단계;를 포함하되,
상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하는 단계는,
제1 인코딩 레이어가 상기 영상을 기반으로 제1 인코딩 출력 데이터를 획득하는 단계;
제2 인코딩 레이어가 상기 제1 인코딩 출력 데이터를 기반으로 제2 인코딩 출력 데이터를 획득하는 단계;
제3 인코딩 레이어가 상기 제2 인코딩 출력 데이터를 기반으로 제3 인코딩 출력 데이터를 획득하는 단계; 및
제4 인코딩 레이어가 상기 제3 인코딩 출력 데이터를 기반으로 상기 레이턴트 특성 벡터를 획득하는 단계;를 포함하는 차선 예측 방법.
제9항에 있어서,
상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 단계는,
제1 디코딩 레이어, 제2 디코딩 레이어 및 제3 디코딩 레이어를 이용하여 상기 최종 예측 결과를 획득하되, 상기 제1 디코딩 레이어, 상기 제2 디코딩 레이어 및 상기 제3 디코딩 레이어 각각은, 각각에 대응하는 인코딩 레이어의 인코딩 출력 데이터를 더 이용하여 디코딩 출력 데이터를 획득하는 단계;를 포함하는 차선 예측 방법.
제10항에 있어서,
상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 단계는,
상기 제1 디코딩 레이어가 상기 연결 결과 데이터 및 상기 제3 인코딩 출력 데이터의 연결 결과를 기반으로 제1 디코딩 출력 데이터를 획득하는 단계;
상기 제2 디코딩 레이어가 상기 제1 디코딩 출력 데이터 및 상기 제2 인코딩 출력 데이터의 연결 결과를 기반으로 제2 디코딩 출력 데이터를 획득하는 단계; 및
상기 제3 디코딩 레이어가 상기 제2 디코딩 출력 데이터 및 상기 제1 인코딩 출력 데이터의 연결 결과를 기반으로 상기 최종 예측 결과를 획득하는 단계;를 포함하는 차선 예측 방법.
도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 단계;
상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하는 단계;
상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결하여 연결 결과 데이터를 획득하는 단계; 및
상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 단계;를 포함하되,
상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결하여 연결 결과 데이터를 획득하는 단계는,
상기 레이턴트 특성 벡터에 대해 배열 평탄화를 수행하여 평탄화된 레이턴트 특성 벡터를 획득하는 단계;
상기 평탄화된 레이턴트 특성 벡터에 주행 상태 데이터를 결합하여 주행 상태 결합 벡터를 획득하는 단계; 및
상기 주행 상태 결합 벡터에 대해 재형상화를 수행하여 상기 연결 결과 데이터를 획득하는 단계;를 포함하는 차선 예측 방법.
제9항에 있어서,
상기 주행 상태 데이터는, 가속 페달 값, 조향 각 및 주행 속도 중 적어도 하나를 포함하는 차선 예측 방법.
도로의 차선을 포함하는 영상 및 차량에 대한 주행 상태 데이터를 획득하는 데이터 수집부; 및
상기 영상을 이용하여 상기 영상에 대응하는 레이턴트 특성 벡터를 생성하고, 상기 레이턴트 특성 벡터와 상기 주행 상태 데이터를 연결하여 연결 결과 데이터를 획득하고, 상기 연결 결과 데이터를 기반으로 최종 예측 결과를 획득하는 프로세서;를 포함하고,
상기 프로세서는, 상기 레이턴트 특성 벡터에 대해 배열 평탄화를 수행하여 평탄화된 레이턴트 특성 벡터를 획득하고, 상기 평탄화된 레이턴트 특성 벡터에 주행 상태 데이터를 결합하여 주행 상태 결합 벡터를 획득하고, 상기 주행 상태 결합 벡터에 대해 재형상화를 수행하여 상기 연결 결과 데이터를 획득하는 차량.