KR20220031249A - 차량 내 can-bus 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 모델 - Google Patents

Abstract

차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 방법 및 장치가 제시된다. 본 발명에서 제안하는 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 방법은 사전 처리부를 통해 운전자 행동 식별을 위하여 네트워크를 분류하기 전에 데이터 표준화를 위해 데이터를 사전 처리하는 단계, 표준화된 데이터를 이용하여 연산부를 통해 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체하는 단계 및 학습부를 통해 각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습하는 단계를 포함한다.

Description

차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 모델{Lightweight Driver Behavior Identification Model with Sparse Learning on In-vehicle CAN-BUS Sensor Data}

본 발명은 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 방법 및 장치에 관한 것이다.

수년간 기계 학습 알고리즘은 인간의 생활 방식에 혁신을 가져왔다. 또한 하드웨어 기술의 지속적인 발전(예를 들어, 소형 장치의 멀티 코어 CPU 및 GPU)은 산업에서의 배치 측면에서 지능형 알고리즘의 이점을 증가시켰다. 지난 수십 년 동안 자동차 산업은 미래 자동차 기술을 향해 가속도가 붙으면서 자동차가 이전보다 더 스마트해지고 연결성이 높아졌다. 첨단 기계 구성요소 외에도 현대의 자동차는 차량 제어, 안전기능, 인포테인먼트 등을 담당하는 임베디드 컴퓨터가 다수 탑재돼 있다. 자동차 내부의 지능형 임베디드 시스템은 물론 와이파이, 3G/4G 무선 통신을 통한 자동차 연결로 자동차에 클라우드 기반 서비스와 엣지 컴퓨팅을 채용할 수 있는 기회가 열렸다. 커넥티드카 환경에서 운전자는 자신의 차에 접근할 수 있으며, 이는 모든 운전 관련 서비스를 제공하는 엣지 서버에 추가로 연결된다. 이러한 서비스에는 운전자에게 점수를 부여하고, 교통 정보를 제공하며, 최적의 경로 정보 제공(연비 및 최단거리 기반), 제조업체 서비스(예를 들어, 예측 차량 정비), 모니터링 서비스가 포함된다. 차내 센서의 수가 증가하고 여러 서비스를 위한 엣지와 클라우드를 통해 운전자와 다른 차량과의 연결이 사회의 안락함을 증가시키고 있다. 그러나, 커넥티드 카의 지속적인 연결은 보안 문제를 수반하며, 해킹과 도난에 더 취약하게 만든다. 이는 연구자들의 지속적인 관심을 끌기 위해 몇 가지 다른 어플리케이션을 위한 운전자를 식별하기 위하여 운전자 행동 프로파일링에 집중시켰다.

운전자의 행동은 운전실력과 습관과 관련된 독특한 특징들을 분석하는 것으로 특징지어질 수 있다. 운전 정보는 보통 차내 센서 또는 때로는 스마트폰 기반 센서를 사용하여 취득한다. 차내 컨트롤러 영역 네트워크-버스(CAN-BUS) 데이터에는 스티어링 휠, 차량 속도, 브레이크 페달 위치 등에 해당하는 정보가 포함되며, 스마트폰 센서 데이터에는 속도, 방향, 가속 등과 관련된 정보가 포함된다. 최근, 차내 CAN-BUS 데이터는 운전자 프로파일링을 위해 정확하고 신뢰할 수 있는 것으로 간주되고 있으며, 더욱이 운전자 식별 및 모니터링을 위해 분석되었다. 차량 인터넷 기술의 급속한 발전과 OBD(onboard diagnostic) 장치 등(OBD-II 프로토콜이 차량 ECU로부터 데이터를 제공) 스마트 단말 장치의 대중화로 다차원 CAN-BUS 데이터를 쉽게 포착할 수 있다. 운전 행동 인식은 본질적으로 차량 내 CAN-BUS 데이터에 기반한 분류 작업이다. 주요 특징의 선택과 그 조합은 분류 알고리즘의 정확성에 크게 영향을 미친다. 지난 수십 년 동안 운전자 식별을 수행하기 위해 몇 가지 기계 학습 알고리즘이 제안되었다. 해당 알고리즘의 전개와 관련해서는 여러 가지 선택사항이 있다. Android Auto, Automotive Grade Linux(AGL), Qnx Automotive OS와 같은 자동차 운영 체제 덕분에 스마트폰이 자동차와 완벽하게 통합될 수 있게 되었기 때문에 가능한 한 가지 선택은 스마트폰 어플리케이션이다. 그러나 모바일 엣지 컴퓨팅의 경우 커넥티드 카는 IoT 기기처럼 동작하며, 더욱이 다른 환경에서도 제공되는 운전자 식별 등 여러 가지 주행 관련 서비스를 엣지 서버에 요청할 수 있다.

본 발명이 이루고자 하는 기술적 과제는 커넥티드 카 환경에 대한 모바일 엣지 컴퓨팅을 고려하고, 엣지 서버에 배치할 수 있는 임베디드 솔루션을 제공하는데 있다. 또한, 운전자를 식별하고 임베디드 하드웨어에서 구현될 수 있는 실현가능성을 위해 FCN-LSTM 및 DeepConvRNN-Attention과 같은 최첨단 딥러닝 알고리즘을 탐구한다. 각각의 알고리즘을 장단점에 대해 평가하고, 각 알고리즘의 장점을 결합하여 이슈를 해결함으로써 경량 딥러닝 솔루션을 제안한다.

일 측면에 있어서, 본 발명에서 제안하는 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 방법은 사전 처리부를 통해 운전자 행동 식별을 위하여 네트워크를 분류하기 전에 데이터 표준화를 위해 데이터를 사전 처리하는 단계, 연산부를 통해 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체하는 단계 및 학습부를 통해 각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습하는 단계를 포함한다.

1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체하는 단계는 경량 운전자 행동 식별을 위한 심층 신경망을 구축하기 위해 시계열 데이터에 깊이별 콘볼루션을 적용하고, 깊이별 콘볼루션의 연산비용은 하기식으로 나타내며,

여기서, M은 입력 채널의 수와 D_k 크기의 출력 특징 맵을 생성하는 커널의 크기를 나타내고, 표준 콘볼루션의 경우 깊이별 콘볼루션의 계산 비용은 N배이며, 여기서 N은 출력 채널의 수를 나타낸다.

2D RNN의 기울기 소실 문제를 해결하기 위해 게이팅(gating) 기능과 이전 상태의 메모리를 제어하는 메모리 장치가 추가된 LSTM 및 업데이트 게이트와 함께 게이팅 기능이 추가된 GRU를 사용하고, LSTM 및 GRU는 다변량 시계열 데이터를 수신한다.

각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습하는 단계는 통계적 기계 학습 모델에 대한 입력은 윈도우 크기에 따라 달라지고, 오버랩 정도는 순차적 또는 시계열 데이터의 사전 정보를 결정하므로, 데이터 세분화 및 윈도우 설정을 위해 순차적 또는 시계열 데이터와 관련하여 윈도우의 크기 및 오버랩 정도를 결정한다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 장치는 운전자 행동 식별을 위하여 네트워크를 분류하기 전에 데이터 표준화를 위해 데이터를 사전 처리하는 사전 처리부, 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체하는 연산부 및 각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습하는 학습부를 포함한다.

본 발명의 실시예들에 따르면 차내 CAN-BUS 센서 데이터를 사용하여 운전자 행동 식별을 수행하기 위한 경량 딥러닝 네트워크를 통해 더 높은 정확도와 효율적인 메모리 사용, 덜 계산적인 복잡성(FLOP(floating-point operations)의 수 및 매개변수의 수)을 보여 추론 시간을 향상시킬 수 있다. 제안된 솔루션은 깊이별 콘볼루션을 도입함으로써 기존 방법에 비해 더 작은 사이즈를 확보한다.

정확도에 영향을 주지 않고 경량 모델을 유지하고 새로운 클래스를 조정하기 위해 완전하게 연결된 계층에서 최첨단 희소 학습 기법을 개발하여 새로운 클래스에 적합하게 제안된 솔루션을 만든다. 이에 따라 기존 클래스에 대해 상대적으로 실속 있는 노드를 신중하게 선택하고, 이를 동결한 후, 약한 노드를 개선하여 새로운 클래스를 분류하는 방식으로 네트워크를 재훈련 한다. 이를 통해 기존 클래스에 대해 높은 정확도가 유지됨을 보장하고, 네트워크 크기에 영향을 미치지 않고 새로운 클래스를 조정할 수 있는 공간을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 운전자 행동 식별을 위한 딥러닝 아키텍처를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 운전자 행동 식별을 위한 제안된 프레임 워크를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 윈도우 크기 및 연속 슬라이딩 윈도우 사이의 이동에 따른 성능 평가를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 따른 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 장치의 구성을 나타내는 도면이다.

본 발명에서는 커넥티드 카 환경에 대한 모바일 엣지 컴퓨팅을 고려하고, 엣지 서버에 배치할 수 있는 임베디드 솔루션에 초점을 맞춘다. 또한, 운전자를 식별하고 임베디드 하드웨어에서 구현될 수 있는 실현가능성을 위해 FCN-LSTM 및 DeepConvRNN-Attention과 같은 최첨단 딥러닝 알고리즘을 탐구한다. 각각의 알고리즘을 장단점에 대해 평가하고, 각 알고리즘의 장점을 결합하여 이슈를 해결함으로써 경량 딥러닝 솔루션을 제안한다.

본 발명에서는 모델 크기를 줄여 운전자 식별 모델의 성능을 향상시키는 네트워크 프루닝을 사용하여 두 알고리즘을 추가로 평가했다. 그러나 네트워크 프루닝은 모델 크기를 일정 정도까지만 줄일 수 있다. 따라서, 제안하는 모델은 기존 알고리즘의 압축 버전도 능가한다. 또한, 보다 많은 클래스의 흡수와 관련하여, 제안된 모델의 완전 연계 계층에 희소 학습을 효과적으로 적용하여 적응성을 달성하고 식별 성능을 더욱 향상시킨다. 마지막으로, Jetson 임베디드 플랫폼(Xavier, Tx2, Nano)을 이용한 컨테이너 환경에서 실행할 수 있도록 최적화된 제안된 딥러닝 모델을 NVIDIA 도커에 성공적으로 배치한다. 이를 통해 모델을 인스턴스(컨테이너)로 실행할 수 있고, 희소 학습을 사용하여 여러 컨테이너에 의해 더 많은 클래스를 점진적으로 조정할 수 있다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명은 운전자 행동 식별과 커넥티드 카 환경에서 임베디드 솔루션을 찾기 위한 적용에 초점을 맞추고 있다. 차량 내 CAN-BUS(제어 영역 네트워크) 센서 데이터를 사용하여 운전자 행동 식별을 수행하기 위한 경량의 엔드 투 엔드 딥러닝 프레임워크(end-to-end deep-learning framework)를 제시한다. 제안된 방법은 최첨단 운전자 행동 프로파일링 모델을 능가한다. 특히 연산이 현저히 감소(즉, 부동 소수점 연산과 매개변수 모두 감소)하며, 보다 효율적인 메모리 사용(소형 모델 크기)이 가능하고 추론 시간이 감소한다. 제안된 아키텍처는 시계열 분류를 위해 RNN(LSTM/GRU)과 함께 깊이별(depthwise) 콘볼루션을 특징으로 한다. 제안 방법에 필요한 최소 시간-스텝 길이(윈도우 크기)는 최근 알고리즘에 필요한 것보다 상당히 낮다. 현재 모델의 여러 계층에 효율적인 채널 프루닝(pruning) 적용으로 기존 모델의 압축 버전과 결과를 비교했다. 더욱이, 제안하는 네트워크는 희소 학습 기법을 사용하여 새로운 클래스에 적응할 수 있다. 즉, 기존 클래스에 대해 완전히 연결된 계층에서 상대적으로 강한 노드를 동결하고, 새로운 클래스에 관한 데이터를 재이용하여 약한 노드를 개선한다. 임베디드 시스템(Xavier, TX2, Nano)에서 NVIDIA 도커를 사용하여 컨테이너 환경에 제안된 방법을 성공적으로 배치하고, 수많은 성능 지표와 관련하여 종합적으로 평가한다.

주행 정보는 차량 내 센서와 스마트폰 센서를 주로 포함하는 여러 가지 다른 소스를 사용하여 캡처할 수 있다. 종래기술에서는 CAN-Bus 데이터를 운전자 식별에 활용했다. 차량 센서는 CAN-BUS(OBD-II 프로토콜)를 통해 통신하고, CAN-Bus 데이터는 OBD-II 어댑터를 사용하여 획득할 수 있다. 차내 센서 데이터에는 엔진(예를 들어, 엔진 냉각수 온도 및 마찰 토크), 연료(예를 들어, 장기 연료 보정 뱅크 및 연료 소비량), 변속기(예를 들어, 휠 속도 및 변속기 오일 온도)와 관련된 매개변수가 포함되었다. 마찬가지로, 또 다른 종래기술에서는 저자들은 운전자 행동 프로파일링과 다른 많은 어플리케이션에 스마트폰 센서 데이터를 사용했다. 스마트폰에는 GPS 센서, 가속도계, 자기계, 자이로스코프 등 센서가 탑재돼 있어 속도, 가속도, 회전속도, 운전자 프로파일링에 사용되는 매개변수의 여러 조합에 관한 정보를 제공할 수 있다. 그러나 일부 연구자들은 목표 지향적 행동, 자극 주도적 행동, 원인 주의(예를 들어, 보행자가 지나가도록 차량을 정지(원인)와 같은 복잡한 상황에서 운전자의 행동을 유도하기 위해 비전(카메라)과 다른 센서(LiDAR, GPS, IMU 등)를 결합한 하이브리드 접근법을 강조하며 운전자가 상황에 어떻게 대처하는지를 파악하다. 일부 다른 작업에서는 생물 신호의 생리학적 센서 데이터를 사용하여 주의가 산만한 운전자를 식별했다. 서로 다른 데이터 소스에서 얻은 데이터 중 CAN-BUS 데이터는 운전자 행동 프로파일링에 가장 신뢰할 수 있고 실현 가능하며 광범위하게 사용된다. 보안 데이터 세트는 CAN-BUS 데이터를 사용하여 캡처한 최대 51개의 기능을 제공하며, 또한 여러 연구자가 운전자를 식별하기 위해 사용해 왔다. 본 발명에서는 운전자 식별을 위해 동일한 보안 데이터 세트를 사용한다.

개별 운전자 행동의 모델링에 초점을 맞춘 연구는 많은 최신 기계 학습 모델을 사용했다. 여기에는 의사결정 트리, k-최근접 이웃 알고리즘, 은닉 Markov 모델, 가우스 혼합 모델, k-평균 클러스터링, 지원 벡터 머신 등의 통계 분류 알고리즘이 포함된다. 그러나 대부분 데이터 의존성, 특정 조건에서만 작업할 수 있는 한계 등 다양한 단점으로 인해 어려움을 겪었으며, 딥러닝 알고리즘의 견고한 성격에 의해 극복되어 특징 학습과 관련하여 상당한 이점을 제공하였다. 센서 데이터를 이용한 운전자 인식은 차량 센서의 스칼라 데이터가 순차적으로 시간 정보를 포함하고 있어 시계열 분류 문제로 간주할 수 있다. 따라서 시계열 분류를 위한 딥러닝 프레임워크를 탐색할 수 있는데, 다음과 같다.

도 1은 본 발명의 일 실시예에 따른 운전자 행동 식별을 위한 딥러닝 아키텍처를 나타내는 도면이다.

표준 콘볼루션 신경망(Convolutional Neural Network; CNN) 계층은 2D 영상과 같은 데이터로부터 밀도 높은 공간적 특징을 추출하는 유망한 결과를 보여 주었다. 순환 신경망(Recurrent Neural Networks; RNN)은 시간적 의존성을 학습하기 위해 자연어 처리와 같은 순차적 데이터 처리와 기타 시계열 처리 문제에 널리 사용되고 있다. 지난 몇 년 동안 CNN은 다변량 시계열 데이터를 사용하여 인간 활동 인식을 위한 풀링 작업과 함께 센서 데이터의 시간적 차원에서 적용하는 강력한 기술로 채택되었다. 마찬가지로, 다단계 CNN과 완전 콘볼루션 네트워크(FCN)는 엔드 투 엔드, 일변량 시계열 분류에 사용된다. 그러나, 보다 유망한 시간적 특성 추출의 경우, CNN과 RNN의 조합은 최첨단 연구에서 웨어러블 활동 인식, 결함 인식, 운전자 행동 식별과 같은 주목할 만한 결과를 제시하였다. 이 모든 조합은 대개 CNN과 RNN을 순차적으로 포함한다(도 1(a) 참조). 반면, LSTM 계층의 증가는 FCN-LSTM의 경우 순차적이지 않다(도 1(b) 참조). 또한 시계열 분류와 관련하여 FCN의 성능을 향상시켰다. 그러나 이러한 조합은 시간적 모델링 문제와 데이터 세트의 특성에 따라 달라질 수 있다. 여기서, 유사한 작업인 "운전자 행동 식별"을 위해, 최첨단 알고리즘에 채택된 이 두 가지 조합을 탐구한다. 더 나은 시각화를 위해 DeepConvRN의 경우 이러한 구조를 직렬로, FCN-LSTM의 경우 병렬로 간주한다. 최근 운전자 행동 식별을 위하여 DeepConvRNN-Attention 및 FCN-LSTM의 각 구조를 이용하고 있다. 이에 따라 두 알고리즘의 장단점을 평가하여 알고리즘을 경량화하고 적응할 수 있도록 매개변수 최적화를 제안한다. 마지막으로 추론시간과 정확성 측면에서도 성능은 물론 최첨단 모델보다 가벼운 참신한 딥러닝 모델을 제안한다.

FCN-LSTM 및 DeepConvRNN-Attention은 주행 데이터 세트에 대한 고급 정확도를 제공하는 데 초점을 맞춘 독립적인 연구임이 명백하다. 이러한 연구들이 동일한 데이터 세트를 사용하고 있으며 최근 몇 년 동안 더 높은 정확도를 달성할 수 있는 최적의 후보 연구로 간주되기 때문에 이러한 연구를 선택했다. 매개변수 활용도 측면에서 추가로 평가한다. 제안된 아키텍처를 설명하기 전에 먼저 이 모델에 대한 세부사항을 제공한다.

종래기술에 따른 딥러닝 아키텍처는 도 1(a)에 나타낸 것과 같이 순차적으로 주의 기반 RNN 뒤에 오는 콘볼루션 계층으로 구성된다. 운전자 행동 식별을 위해 이전에 인간-활동 인식과 같은 유사한 시계열 분류 어플리케이션에 사용되었던 인기 있는 아키텍처인 DeepConvRNN을 활용하였고, 더욱이 RNN의 끝에 주의 메커니즘을 추가함으로써 분류 정확도를 크게 향상시킴으로써 그 정확성을 높였다. 제안된 모델의 이름은 DeepConvRNN-Attention(Attention-GRU/Attention-LSTM)이다. 이 모델은 운전자 프로파일링 및 식별을 수행하기 위해 Osclab 보안 드라이빙 데이터 세트를 사용하여 교육되었다. 통계적 특징(평균, 중간값(median), 표준편차)으로는 추가 처리된 15개의 실질적인 특징을 활용했다. 통계적 특징 처리를 위해, (60 x 1)의 윈도우 크기를 1의 스트리드(stride)로 사용하였고, 이를 이용하여 45차원 형상(15 x 3)의 크기를 원래 형상 세트와 동일한 크기로 만들었으며, 이는 사전 처리 단계로서 도 1(a)에 나타낸 것과 같다. 이후, 이러한 특징들은 각각 60 x 45 크기의 청크(chunk)로 변환되도록 다시 한번 윈도우가 설정된다. 청크의 수는 총 샘플 수에 따라 달라진다. 데이터 수집 속도가 1Hz였으므로 윈도우 크기 60은 60s에 해당한다. 그런 다음 청크는 시간 차원(예를 들어, 60), 커널 크기 및 깊이, 채널 내(예를 들어, 45), 채널 멀티플라이어 등에 따라 독립적인 특징 벡터를 생성하는 깊이별 콘볼루션 계층에 의해 처리된다. 이후, 추출된 특징 가중치는 최대 풀을 통해 처리된 후 다른 콘볼루션 계층과 완전히 연결된 계층을 통해 처리된다. 이러한 예시는 시간적 의존성을 추출하기 위해 주의 기반 RNN으로 공급된다. 주의 메커니즘을 이용하여 클래스 점수를 도출하기 위해 특정 가치 있는 특징 인스턴스의 우선순위를 정한다. 저자들은 경쟁적 정확성을 얻기 위해 각각 128개 크기의 RNN 2개 층을 활용했다. 따라서 이러한 RNN 계층과 완전하게 연결된 계층은 그 자체로 더 적은 매개변수를 포함하는 깊이 있는 콘볼루션 후에 순차적으로 이들을 추가하기 때문에 매개변수의 주요 부분에 기여한다. 깊이별 콘볼루션의 깊이-멀티플라이어의 수에 따라, 도1 (a)와 같이 순차적인 순서로 추가하면 후속 계층이 매개변수를 급격히 증가시킬 수 있다.

또 다른 종래기술에서는 운전자 행동 프로파일링에 FCN-LSTM을 활용하였다. 이전에 시계열-시퀀스 분류를 위해 FCN-LSTM이 제안되었으며, 최소 데이터 사전 처리로 괄목할 만한 성과를 거두었다. 여기서, FCN-LSTM을 사용하여 모든 변수 가공(이동 평균, std 및 중간값)을 성공적으로 회피했으며, 운전자 행동 분류에 경량 전처리(정상화에만 해당)만 활용했다. 딥러닝 프레임워크는 도 1(b)에 나타낸 바와 같이 LSTM 블록에 의해 증가된 완전한 콘볼루션 블록으로 구성되며, 그 뒤에 드롭아웃(dropout)이 뒤따른다. 완전한 콘볼루션 블록은 추가로 커널 크기가 각각 128, 256, 128인 3개의 누적된 임시 콘볼루션 계층을 포함한다. 운전자 분류의 경우 입력은 60 x 15 크기의 배치로, 여기서 60은 시간 단계 길이와 15개의 주행 특징 수를 나타낸다. CNN 계층은 복수 단계(60 x 15)의 일변량 시계열로 데이터를 수신하는 반면 LSTM 블록은 단일 시간 단계에서 N(15) 변수가 있는 다변량 시계열(15 x 60)으로 입력을 수신한다. 이는 LSTM 블록 이전에 치수 셔플링(dimensional shuffling)을 적용하여 적은 반복 횟수로 수렴을 달성한다. 따라서 경쟁적 정확도는 LSTM 계층의 숨겨진 뉴런 수, 즉 이 경우 10개의 뉴런을 사용하여 달성될 수 있으며, 이는 네트워크의 크기를 더욱 크게 감소시킨다. FCN-LSTM은 DeepConvRNN-Attention보다 3배 적은 매개변수를 사용하였으며, 정확도가 약간 낮아 FCN-LSTM을 사용하게 되었고, 이에 따라 정확도가 더욱 향상되고 매개변수가 더 줄어들었다.

실시간 애플리케이션을 위한 운전자-행동-프로파일링 알고리즘 구축과 관련하여, 차량과 통합된 스마트폰 사용(예를 들어, AGL), 차내 전용 임베디드 컴퓨터(예를 들어, 첨단 운전자 지원 시스템), 커넥티드 카 생태계에서 클라우드 기반 또는 엣지 기반 서비스 등의 다양한 옵션이 존재한다. 여기서, 모바일 엣지 컴퓨팅의 산하에서 엣지 서버에 운전자 식별 알고리즘의 적용을 폭넓게 고려한다. 따라서, 컨테이너 환경에서 제안된 방법(즉, NVIDIA 도커 사용)의 구현을 입증하는 것으로, 이는 점차 엣지 컴퓨팅의 기본 환경이 되는 가상화 방법 중 하나이다. 딥러닝 모델의 효과적인 배치를 위해, 시장은 저전력의 에너지 효율적인 수많은 전용 임베디드 시스템 솔루션을 제공한다. 이러한 솔루션의 몇 가지 예는 다음과 같다. 신경 컴퓨팅 엔진으로 가득 찬 Intel Movidius(Neural Compute Stick -I, -II), Raspberry Pi 3+, 고속 GPU가 장착된 Nano, TX1, TX2, Xavier를 포함하는 NVIDIA Jetson 시리즈이다. 앞서 언급한 솔루션 중 NVIDIA Jetson은 다양한 사양을 제공하는 다양한 개발자 키트(예를 들어, CUDA Toolkit, CuDNN)를 제공하고 있어 가장 인기가 높다. NVIDIA Jetson 시리즈는 에너지 효율성, 저중량, 소형 폼팩터, 와트당 고성능, 저전력 GPU 코어 등 많은 뚜렷한 특징을 가지고 있다. 종래기술에 제시된 분석에 따르면, Jetson은 Rassberry Pi와 Intel Movidius(Neural Compute Stick)보다 높은 피크 성능을 제공한다. 제안된 운전자 행동 식별 프레임워크를 Jetson 플랫폼에 배치하기 위해 Jetson 시리즈를 선택했다(Xavier, Tx2 및 Nano).

운전자 프로파일링 알고리즘이 커넥티드 카 환경을 수반하는 실시간 상황에 배치되는 경우, 알고리즘이 단일 프레임 요건인 60s x 45 특징 + 분류 알고리즘(1s 미만) + 변수 가공 시간(이동 평균, std, 중간값)을 완료하기 위해 기다려야 하기 때문에 60s 이상 후에 운전자를 식별할 수 있다. 또 다른 알고리즘은 변수 가공을 필요로 하지 않지만, 운전자 분류를 위한 시계열 데이터를 처리하기 위해 여전히 60s의 윈도우가 필요하다. 운전자를 조기에 식별할 수 있도록 시간 단계의 윈도우 크기를 줄여야 한다. 단, 복수의 자동차가 엣지 서버에 접속되어 빠른 처리가 필요한 커넥티드 카 환경의 경우 실시간 어플리케이션에 대한 경량 알고리즘을 개발하여 빠른 시간 내에 높은 정확도로 요청을 이행해야 한다. 마찬가지로 컨테이너 편성이 가능한 엣지 컴퓨팅 환경(예를 들어, Kubernetes 및 SWAM)의 개발로 딥러닝 프레임워크는 기존 클래스에서 유의미한 정확성을 잃지 않고 새로운 클래스에 대한 희소성 학습 및 기타 기법을 통해 새로운 환경에 더 잘 적응할 수 있도록 만들어져야 한다. 여기에서는 실시간 상황에서 보다 많은 수의 클래스를 흡수할 수 있도록 희소성 학습을 갖춘 경량 딥러닝 모델을 도입하여 앞서 언급한 문제들을 다루었다.

먼저, 본 발명의 실시예에 따른 실험에 사용된 데이터 세트에 대하여 설명한다. 본 발명의 실시예에 따른 OCS Lab, 다시 말해 보안 드라이빙 데이터 세트는 동일한 경로를 따라온 10명의 다른 운전자(A~J)의 주행 정보가 포함된 차내 CAN-BUS 센서 데이터를 제공한다. 데이터 획득을 위해 모든 운전자는 기아자동차에서 제조한 동일한 모델카를 이용해 4회 주행(2회 왕복)을 실시한다. 이 트랙은 한국 서울시의 다양한 도로 형태(도심 도로, 자동차 도로, 주차장)를 포함하고 있다. 여행의 총 길이는 약 23Km이다. 데이터는 주파수가 1Hz인 OBD-II 프로토콜을 통해 획득한 차량 ECU에서 추출한 51가지 특징으로 구성된다. 데이터 세트는 94,401개의 기록을 보유하고 있으며 "차량 주행 데이터에 기반한 도난 감지"의 정보 보호 R&D 데이터 챌린지 2018-19에 사용되었다. 더욱이, 종래기술에 따른 데이터 세트에서, 운전자 식별을 위한 51개 중 15개의 실질적인 특징들을 열거하고 나서 운전자 분류를 위한 통계적 기계 학습 모델을 제안한다. 여러 연구에서 운전자의 행동 식별을 위해 데이터 세트에 있어서 이러한 요약 목록을 활용했다. 따라서, 제안한 모델은 또한 운전자의 행동 식별을 위해 표 1의 목록과 동일한 선택된 특징을 활용했다.

<표 1>

도 2는 본 발명의 일 실시예에 따른 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 방법을 설명하기 위한 흐름도이다.

제안하는 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 방법은 사전 처리부를 통해 운전자 행동 식별을 위하여 네트워크를 분류하기 전에 데이터 표준화를 위해 데이터를 사전 처리하는 단계(210), 연산부를 통해 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체하는 단계(220) 및 학습부를 통해 각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습하는 단계(230)를 포함한다.

단계(210)에서, 사전 처리부를 통해 운전자 행동 식별을 위하여 네트워크를 분류하기 전에 데이터 표준화를 위해 데이터를 사전 처리한다.

주행 정보의 모든 특징들은 크기가 다르기 때문에, 데이터 표준화는 네트워크를 분류하기 전에 필요한 단계다. 이와 관련하여 표준화 단계는 다른 형상의 모든 값을 0과 1 사이의 범위로 변환한다. 정규화 단계를 계산하는 공식은 식(1)로 나타내며 여기서 max(x_n)과 min(x_n)은 해당 형상 열에 있는 최대값과 최소값이며, Xn은 정규화 변수이다.

(1)

단계(220)에서, 연산부를 통해 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체한다. 본 발명의 실시예에 따르면, 경량 딥러닝 모델을 구축하기 위한 동기를 가지고, FCN-LSTM와 동일한 구성에서 1D CNN을 2D 깊이별 콘볼루션 계층으로 교체할 것을 제안한다. 매개변수를 대폭 줄여서 최첨단 성능을 성공적으로 달성했다.

도 3은 본 발명의 일 실시예에 따른 운전자 행동 식별을 위한 제안된 프레임 워크를 나타내는 도면이다.

60s의 데이터를 사용하는 다른 알고리즘과 달리, 제안된 모델은 Osclab 데이터 세트의 구동 시퀀스 데이터를 40s만 사용하고 10명의 운전자 식별을 위한 분류 점수(A-J)를 출력한다. 본 발명의 실시예에 따른 프레임워크는 RNN에 의해 증가된 깊이별 분리 콘볼루션 계층으로 구성되어 있다. RNN의 경우, GRU(Gated Recurrent Unit)과 LSTM은 모두 성능 비교를 위해 평가된다.

본 발명의 실시예에 따르면, 경량 심층 신경망을 구축하기 위해 깊이별 분리 콘볼루션을 효율적으로 활용하였다. 깊이별 콘볼루션의 연산비용은 식(2)로 나타낼 수 있다. 여기서 M은 입력 채널의 수와 D_k 크기의 출력 특징 맵을 생성하는 커널의 크기를 나타낸다. 단, 표준 콘볼루션의 경우, 깊이별 콘볼루션의 계산 비용은 N배이며, 여기서 N은 출력 채널의 수를 나타낸다.

(2)

제안하는 모델은 시계열에 깊이별 콘볼루션을 적용한다. 입력 크기는 WTxFN이며, 여기서 WT는 스텝(예를 들어, 40s)의 길이를 나타내고 FN은 특징 수(예를 들어, 15개)를 나타낸다. 입력 채널의 수는 FN과 동일하므로 데이터를 복수 시간 단계로 다변량 시계열로 수신할 때 각 채널에서 개별적으로 콘볼루션이 적용될 수 있다. 콘볼루션 계층의 각 출력 그룹은 특징맵에 해당한다. 정류 선형 유닛(ReLU)을 콘볼루션 계층의 활성화 함수로 사용하여 최적의 결과를 얻었다. 깊이 멀티플라이어 값은 20과 10으로 설정하여 각각 첫 번째 및 두 번째 수정 계층에 대해 깊이 멀티플라이어의 필터와 동일한 출력 채널을 생성한다.

마찬가지로, 첫 번째와 두 번째 깊이별 콘볼루션 계층의 커널 크기는 각각 9x1과 5x1이다. 그러나, 실현 가능한 범위 내에서 네트워크의 크기를 제어하기 위해, 도 3에 나타낸 것과 같이, 깊이별 콘볼루션 계층들 사이에 최대 풀링 계층이 도입된다. 커널 크기는 1x2의 스트리드(stride)로 7x1로 설정되어 있어 크기를 줄이고 과적합 문제를 극복한다. 깊이별 콘볼루션 계층은 DeepConvRNN-Attention에서 유사한 어플리케이션에도 사용되었다. 그러나, 네트워크 크기는 순차적으로 x2 LSTM 계층(각각 128개의 은닉 상태를 가짐)을 추가하기 때문에 급격하게 증가한다(도 1(a) 참조).

본 발명의 실시예에 따르면, 1D CNN을 FCN-LSTM과 구성이 유사한 깊이별 계층으로 교체했다. FCN-LSTM 계층은 순차적 순서로 증가되지 않는다(도 1(b) 참조). 이를 통해 네트워크는 10개의 숨겨진 뉴런만 포함하고 있는 LSTM/GRU 계층과 동일한 크기를 유지할 수 있다.

본 발명의 실시예에 따른 RNN은 순차적 데이터에서 시간적 동작을 추출하는 데 사용되는 신경망의 클래스에 속한다. 표준 RNN은 장기 순차 데이터를 사용할 때 기울기 소실 문제를 나타낸다. 이 문제는 게이팅(gating)(입력((input), 출력(output), 소실(forget)) 기능과 이전 상태의 메모리를 각 단계에서 쉽게 제어할 수 있는 메모리 장치를 추가함으로써 LSTM을 사용하여 해결되었다. 마찬가지로 GRU도 업데이트 게이트와 함께 게이팅 개념을 채택한다. 제안한 모델에서 LSTM과 GRU 계층을 모두 활용했다. 이는 도 3과 같다. GRU를 사용하여 얻은 정확도는 운전자 프로파일링의 경우 시계열 데이터의 경우가 높다.

제안된 프레임워크에서 LSTM 및 GRU는 다변량 시계열 데이터를 수신하며, 이는 LSTM 이전에 단위 셔플링(dimension shuffling)을 통해 얻는다. 그러한 데이터의 예로는 각 특징 세트와 단일 시간 단계가 연관되는 15개의 특징(다시 말해, 다변량)을 가진 데이터가 있다. 이와 관련하여 LSTM/GRU는 단위 셔플링이 없는 것보다 적은 수의 반복으로 특징의 시간적 의존성을 포착한다. LSTM은 소멸하는 경사 문제를 해결했지만, 긴 시퀀스에서의 장기 의존성 때문에 여전히 어려움을 겪었고, 이러한 어려움은 주의 메커니즘을 사용하여 극복되었다. 주의 메커니즘은 실질적인 특징에 초점을 맞출 수 있고 정확도를 높이는 데 도움이 된다. 시계열 분류와 관련된 여러 연구에서 주의 메커니즘은 LSTM 계층의 증가가 DeepConvRNN 주의의 증가와 유사하게 순차적일 때 정확도를 높였다. 더욱이 주의 기반 LSTM 계층은 기본 LSTM보다 연산적으로 더 비싸며, 본 발명에서는 정반대로 경량 솔루션을 개발하는 것을 목표로 한다. 요약하면, 제안하는 아키텍처에서, LSTM 계층은 주의 기반 LSTM 계층보다 더 높은 정확성을 제공하며, GRU는 두 계층 모두를 능가한다. 또한 GRU는 게이트 기능이 적기 때문에(단지 업데이트 게이트만) LSTM보다 적은 매개변수를 필요로 한다. 본 발명의 실시예에 따르면, 운전자 행동 식별에서, 낮은 연산 능력을 소비한 조건을 사용하여 특정 데이터 세트에 GRU를 채택함으로써 최고의 정확도를 달성한다.

제안된 딥러닝 프레임워크는 몇 가지 매개변수만을 사용하여 효율적으로 수행된다. 표 2에서 확인한 바와 같이 최신 알고리즘을 능가한다.

<표 2>

GRU를 RNN 유닛으로 사용할 경우 매개변수만 119352개를 채택하고 FLOP만 23만 2천개로 98.72%의 정확도를 달성한다. 마찬가지로, LSTM을 RNN 유닛으로 사용하면서, 제안된 알고리즘은 FLOP가 23만3천개인 119832개 매개변수만을 사용함으로써 97.86%의 정확도를 얻었다. 또한 FCN-LSTM이 소비하는 것보다 FLOP를 2배 더 적게 소비하여 정확도 면에서 다른 최첨단 알고리즘을 능가하고, FCN-LSTM과 같은 매개변수는 기본 LSTM에서 284294 매개변수를 더 적게 소비한다(코드는 GitHub에서 사용 가능). DeepConvGRU-Attention은 163만1,000개의 FLOP를 소비하여 98.36%의 정확도를 달성한다. 이는 제안된 프레임워크에서 사용하는 것보다 7배 많은 것이다. 제안된 프레임워크는 FCN-LSTM과 유사하며, 예를 들어 1D CNN은 깊이별 LSTM으로 대체된다. 여기서 매개변수를 간략히 비교한다. FCN-LSTM에서 128, 256, 128개의 필터를 가진 1D CNN은 각각 15488, 164096, 98432개의 매개변수를 포함하고 있다. 그러나, 제안하는 프레임워크는 각각 3000과 18000 매개변수를 소비하는 20과 10의 깊이 멀티플라이어를 가진 두 개의 깊이별 콘볼루션만을 활용했다. 비록 콘볼루션 계층만 교체하는 것은 사소한 것으로 들리지만, 그럼에도 불구하고 경쟁적 정확성을 달성하기 위해 네트워크를 미세 조정하기 위해서는, 프레임워크의 커널 크기와 모든 상호의존적 매개변수에 대한 최적의 값을 결정하는 데 충분한 수의 연구와 노력이 수반된다. 메모리 효율성의 측면에서, 제안하는 딥러닝 프레임워크의 모델 크기는 표 2에 열거된 다른 모든 후보자들 중 가장 낮은 1.69MB에 불과하다. 변수 가공(이동 평균, 표준 편차, 중간값 등)이 필요한 표에 언급된 다른 알고리즘과 달리, 제안하는 알고리즘은 FCN-LSTM의 경우와 유사하게 원시 특징(정상화만)을 직접 소비한다. 제안된 프레임워크는 운전자의 신원을 추론하기 위한 40s 윈도우(시간 스텝)만 필요하다. 다음은 제안된 네트워크의 매개변수 수와 크기를 모두 줄이는 데 수반되는 주요 요인이다.

(1) 입력 크기(40x15)는 주로 메모리 소비에 기여하는 네트워크 크기를 줄이는 열쇠이다. 매개변수를 소비하지는 않지만, 후속 계층의 매개변수 수를 줄이는 데 간접적으로 관여한다.

(2) 최대-풀링(max-pooling) 계층을 활용하여 높은 필터 크기를 설정하며 네트워크 크기(메모리 및 매개변수)를 효과적으로 감소시켜 과적합 문제를 완화한다. 이는 다시 후속 계층의 매개변수에 간접적으로 영향을 미친다.

(3) 큰 크기의 필터와 몇 개의 깊이 멀티플라이어가 있는 깊이별 콘볼루션 계층은 매개변수의 수를 효과적으로 줄일 수 있다.

(3) LSTM 계층의 증가는 순차적이지 않다. 대신, 입력을 제안하는 모델에서 콘볼루션과 LSTM 계층에 별도로 공급하여, 10개의 숨겨진 상태를 가진 단일 계층과 같이 숨겨진 LSTM 계층의 크기를 줄인다. 그러나 DeepConvLSTM은 각각 128개의 숨겨진 뉴런이 있는 LSTM 계층 2개를 사용해 경쟁적 정확도를 확보한다.

제안된 모델은 연산 복잡성이 현저히 낮으며(즉, FLOP와 매개변수의 수가 낮음) 정확도 면에서 다른 최첨단 알고리즘을 능가하며, 가장 소형인 크기는 표 2에 제시되어 있다.

다시 도 2를 참조하면, 단계(230)에서 학습부를 통해 각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습한다.

데이터 세분화 또는 윈도우 설정 단계는 정확한 운전자 식별 모델을 구축하는 데 매우 중요하다. 순차적 또는 시계열 데이터와 관련하여, 윈도우 설정 하이퍼 파라미터의 적절한 값(즉, 윈도우 크기 및 오버랩 정도)을 결정하는 것이 가장 중요한 부분이며, 모델 정확도에 직접적인 영향을 미친다. 모델에 대한 입력은 윈도우 크기(Wx)에 따라 달라지는 반면, 오버랩 정도는 순차 데이터의 사전 정보를 결정한다.

도 4는 윈도우 크기 및 연속 슬라이딩 윈도우 사이의 이동에 따른 성능 평가를 나타내는 도면이다.

도 4(a)는 고정 Wx=40s에 대해 제안된 방법의 성능 평가를 나타내고, 도 4(b)는 윈도우 연산을 시각화한 도면이다.

이동 값 dx는 도 4(b)에 나타낸 것과 같이 오버랩=Wx-dx로 공식을 사용하여 계산할 수 있는 오버랩의 정도와 반대이다. Wx(90, 60 등)와 dx(45, 10, 6 등)의 최적값을 모두 선택하였다. 표 2와 같이 윈도우 크기(Wx)는 60s, shift(dx)는 6s에 대해 최고의 운전자 식별 성능을 달성했다. 마찬가지로 FCN-LSTM에서 윈도우 크기(Wx)를 60으로, dx를 10으로 선택했다. 제안하는 모델은 다른 알고리즘보다 더 소형이기 때문에 이러한 하이퍼 파라미터의 값이 다른 모델의 성능과 경쟁하기에 최적이어야 한다. 가장 좋은 값은 표 2에 제시된 것과 같이 오버랩 정도가 높은 윈도우 크기(Wx)를 40s로 설정할 때(dx=6 평균의 이동 값은 34, 즉 40-6=34)로 관측되었다. 특히, 오버랩 정도가 높으면 네트워크 크기에 영향을 미치지 않지만, 도 4(a)와 같이 성능에 영향을 미친다. 윈도우 연산의 시각화는 도 4(b)에 나타나 있으며, 여기서 슬라이딩 윈도우 작동을 사용하여 특정 운전자 A의 데이터가 시계열에 걸쳐 분할된다.

도 5는 본 발명의 일 실시예에 따른 따른 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 장치의 구성을 나타내는 도면이다.

제안하는 차량 내 CAN-BUS 센서에 대한 희소 학습 기능을 갖춘 경량 운전자 행동 식별 장치(500)는 사전 처리부(510), 연산부(520) 및 학습부(530)를 포함한다. 사전 처리부(510), 연산부(520) 및 학습부(530)는 도 2의 단계들(210~230)을 수행하기 위해 구성될 수 있다.

사전 처리부(510)는 운전자 행동 식별을 위하여 네트워크를 분류하기 전에 데이터 표준화를 위해 데이터를 사전 처리한다.

연산부(520)는 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체한다. 연산부(520)는 경량 운전자 행동 식별을 위한 심층 신경망을 구축하기 위해 시계열 데이터에 깊이별 콘볼루션을 적용하고, 깊이별 콘볼루션의 연산비용은 식(1)로 나타낸다. 연산부(520)는 2D RNN의 기울기 소실 문제를 해결하기 위해 게이팅(gating) 기능과 이전 상태의 메모리를 제어하는 메모리 장치가 추가된 LSTM 및 업데이트 게이트와 함께 게이팅 기능이 추가된 GRU를 사용하고, LSTM 및 GRU는 다변량 시계열 데이터를 수신한다.

학습부(530)는 각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습한다. 학습부(530)는 통계적 기계 학습 모델에 대한 입력은 윈도우 크기에 따라 달라지고, 오버랩 정도는 순차적 또는 시계열 데이터의 사전 정보를 결정하므로, 데이터 세분화 및 윈도우 설정을 위해 순차적 또는 시계열 데이터와 관련하여 윈도우의 크기 및 오버랩 정도를 결정한다.

본 발명의 실시예들에 따르면 분류를 수행하기 위해 최소 60s의 시계열 데이터를 필요로 했던 종래기술과 비교할 때 운전자 식별을 위해 40s의 짧은 윈도우 사이즈를 요구한다.

정확도와 계산 복잡성에 대한 윈도우를 슬라이딩하여 네트워크의 최적 값을 결정함으로써 윈도우 사이즈(시간 스텝의 수)와 중복 정도가 미치는 영향을 연구하였다. 또한, 경량 모델의 효과를 더욱 검증하기 위해 다양한 계층에 채널 프루닝을 적용하여 경량화를 실현함으로써 본 발명의 실시예에 따른 결과를 평가하였다. 기존 모델의 정확도를 크게 훼손하지 않고 최적의 프루닝 정도를 평가한다. 제안된 솔루션은 깊이별 콘볼루션을 도입함으로써 기존 방법에 비해 더 작은 사이즈를 확보한다. Jetson 임베디드 시스템(Xavier, TX2, Nano)에서 추론 시간과 메모리 사용량 측면에서 세부 결과를 제시했다.

제안된 모델에 대한 테스트를 위해 차이 시간 시퀀스에 변칙적인 데이터를 도입하고 마지막으로 이상 징후 감지 방법(원-클래스 지원 벡터 머신(one-class support vector machine))을 적용한다. 기존 알고리즘과의 견고성 비교를 제시했다.

정확도에 영향을 주지 않고 경량 모델을 유지하고 새로운 클래스를 조정하기 위해 완전하게 연결된 계층에서 최첨단 희소 학습 기법을 개발하여 새로운 클래스에 적합하게 제안된 솔루션을 만든다. 이에 따라 기존 클래스에 대해 상대적으로 실속 있는 노드를 신중하게 선택하고, 이를 동결한 후, 약한 노드를 개선하여 새로운 클래스를 분류하는 방식으로 네트워크를 재훈련 한다. 이를 통해 기존 클래스에 대해 높은 정확도가 유지됨을 보장하고, 네트워크 크기에 영향을 미치지 않고 새로운 클래스를 조정할 수 있는 공간을 제공한다.

Jetson 플랫폼(Xavier, Tx2, Nano)을 사용하여 NVIDIA-도커의 컨테이너 환경에 희박한 학습으로 제안된 알고리즘을 구축했다. 이와 관련하여, 제안하는 모델은 활성 인스턴스(컨테이너)와 같은 역할을 하며, 더 많은 수의 클래스를 흡수하기 위한 증가 학습을 지원한다. 이를 통해 실시간 환경에서 구축하기에 유리한 모델 후보(컨테이너는 점차 엣지 컴퓨팅 어플리케이션의 기본 환경이 되는 가상화 방법임)가 된다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

1. 사전 처리부를 통해 운전자 행동 식별을 위하여 네트워크를 분류하기 전에 데이터 표준화를 위해 데이터를 사전 처리하는 단계;
   표준화된 데이터를 이용하여 연산부를 통해 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체하는 단계; 및
   학습부를 통해 각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습하는 단계
   를 포함하는 경량 운전자 행동 식별 방법.
2. 제1항에 있어서,
   표준화된 데이터를 이용하여 연산부를 통해 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체하는 단계는,
   경량 운전자 행동 식별을 위한 심층 신경망을 구축하기 위해 시계열 데이터에 깊이별 콘볼루션을 적용하고, 깊이별 콘볼루션의 연산비용은 하기식으로 나타내며,
   

   

   
   여기서, M은 입력 채널의 수와 D_k 크기의 출력 특징 맵을 생성하는 커널의 크기를 나타내고, 표준 콘볼루션의 경우 깊이별 콘볼루션의 계산 비용은 N배이며, 여기서 N은 출력 채널의 수를 나타내는
   경량 운전자 행동 식별 방법.
3. 제2항에 있어서,
   2D RNN의 기울기 소실 문제를 해결하기 위해 게이팅(gating) 기능과 이전 상태의 메모리를 제어하는 메모리 장치가 추가된 LSTM 및 업데이트 게이트와 함께 게이팅 기능이 추가된 GRU를 사용하고, LSTM 및 GRU는 다변량 시계열 데이터를 수신하는
   경량 운전자 행동 식별 방법.
4. 제1항에 있어서,
   각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습하는 단계는,
   통계적 기계 학습 모델에 대한 입력은 윈도우 크기에 따라 달라지고, 오버랩 정도는 순차적 또는 시계열 데이터의 사전 정보를 결정하므로, 데이터 세분화 및 윈도우 설정을 위해 순차적 또는 시계열 데이터와 관련하여 윈도우의 크기 및 오버랩 정도를 결정하는
   경량 운전자 행동 식별 방법.
5. 운전자 행동 식별을 위하여 네트워크를 분류하기 전에 데이터 표준화를 위해 데이터를 사전 처리하는 사전 처리부;
   표준화된 데이터를 이용하여 1D CNN을 2D RNN에 의해 증가된 깊이별 콘볼루션 계층으로 교체하는 연산부; 및
   각 계층의 커널 크기인 계층 수를 포함하는 하이퍼 파라미터를 결정하고, 운전자 행동 식별을 위한 통계적 기계 학습 모델을 을 이용하여 학습하는 학습부
   를 포함하는 경량 운전자 행동 식별 장치.
6. 제5항에 있어서,
   연산부는,
   경량 운전자 행동 식별을 위한 심층 신경망을 구축하기 위해 시계열 데이터에 깊이별 콘볼루션을 적용하고, 깊이별 콘볼루션의 연산비용은 하기식으로 나타내며,
   

   

   
   여기서, M은 입력 채널의 수와 D_k 크기의 출력 특징 맵을 생성하는 커널의 크기를 나타내고, 표준 콘볼루션의 경우 깊이별 콘볼루션의 계산 비용은 N배이며, 여기서 N은 출력 채널의 수를 나타내고,
   2D RNN의 기울기 소실 문제를 해결하기 위해 게이팅(gating) 기능과 이전 상태의 메모리를 제어하는 메모리 장치가 추가된 LSTM 및 업데이트 게이트와 함께 게이팅 기능이 추가된 GRU를 사용하고, LSTM 및 GRU는 다변량 시계열 데이터를 수신하는
   경량 운전자 행동 식별 장치.
7. 제5항에 있어서,
   학습부는,
   통계적 기계 학습 모델에 대한 입력은 윈도우 크기에 따라 달라지고, 오버랩 정도는 순차적 또는 시계열 데이터의 사전 정보를 결정하므로, 데이터 세분화 및 윈도우 설정을 위해 순차적 또는 시계열 데이터와 관련하여 윈도우의 크기 및 오버랩 정도를 결정하는
   경량 운전자 행동 식별 장치.

Images