KR102585149B1

KR102585149B1 - 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법

Info

Publication number: KR102585149B1
Application number: KR1020200165190A
Authority: KR
Inventors: 이진희; 박재형; 권순
Original assignee: 재단법인대구경북과학기술원
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2023-10-10
Also published as: KR20220076583A

Abstract

본 발명은 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법에 관한 것으로서, 일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 운전자로부터 측정한 뇌파를 획득하는 단계, 상기 획득하는 뇌파로부터 상기 운전자의 인지 정보 또는 반응 정보를 포함하는 운전자 뇌파 정보를 추출하는 단계, 신경망을 이용하여 차량에 설치된 카메라로부터 촬영되는 영상으로부터 운전자 상황 정보를 추출하는 단계, 상기 운전자 뇌파 정보와 상기 운전자 상황 정보를 매핑하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석하는 단계, 및 상기 분석된 연관 관계를 이용하여 자율주행 차량에 대한 복합 인터렉션을 수행하는 단계를 포함할 수 있다.

Description

인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법{Customized self-driving devices and methods based on deep learning using cognitive characteristics}

본 발명은 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법에 관한 것으로서, 딥러닝 기반의 운전자 주행 반응 및 상태 인지 특징을 분석하고, 센서 융합 기반의 차량 내/외부 상황 분석을 통한 맞춤형 자율주행을 위한 기술적 사상을 개시한다.

최근 인공 지능의 발달과 함께 DNN(Deep Neural Networks)이 개발되어 기계의 시각적 분류 성능이 크게 향상되었다.

그러나 인간의 시력 수준을 따라가는 것만으로는 충분하지 않다.

사람은 시각으로 본 장면을 해석할 때는 어떠한 기계보다도 뛰어난 성능을 보인다. 인공지능의 발달로 CNN(Convolutional Neural Networks)이 개발되어 기계의 시각적 분류 성능이 크게 향상되었지만 여전히 사람의 수준을 따라가기에는 부족하다.

이는 CNN 만으로 서로 다른 데이터간의 일반성이나 고유성을 찾기가 어렵기 때문이다.

그러나 사람의 경우에는 물체의 색상 또는 형상 등의 특징을 쉽게 일반화하거나 특징화하는 높은 수준의 시각- 지각 인지 인터페이스를 가진다.

특히, 신경 과학 분야에서 시각 인지와 지각 인지 간의 연관관계를 분석하고 연구해왔지만 이들의 관계성에 대한 명확한 해답은 제시하지 못하고 있다. 이것은 시각적 자극에 대한 인지기반의 자동화 방법이 어렵다는 것을 반영한다.

이를 해결하기 위한 방법으로 뇌신경생리학(Electroencephalography, EEG)과 뇌 영상기술(fMRI)를 통해 인간의 뇌 활동을 기록하고 이를 분석함으로써 시각과 지각 간의 특징 공간을 맵핑하는 방식이 있다.

또한 이와 관련하여 특정 자극에 의해 유발된 뇌파 데이터를 분석하는 것은 수년간 BCI(Brain Computer Interface) 연구 목표로써 진행되어왔다.

BCI는 인간의 뇌 의도를 분석하여 외부 세계와 의사소통하거나 제어할 수 있는 시스템이다.

EEG 기반의 BCI는 편리하고 휴대 가능한 도구로 인해 HCI 분야에서는 유망한 솔루션으로 제시되어 왔다.

그러나 최근 몇 년간 EEG에 대한 광범위한 연구에도 불구하고 낮은 신호 잡음 및 불완전한 뇌파 신호 등으로 정확한 뇌파 신호 추출이 어려웠고, 뇌파 신호를 효과적으로 해석하는데도 어려움을 겪어왔다.

또한 다양한 뇌파 해석 기법이 개발되고 왔으나, 온라인 정확성, 해석 가능성 및 유용성을 포함하여 뇌파의 정보 추출은 여전히 몇 가지 문제점을 가진다.

그러므로, 단순히 BCI는 주로 특정 뇌 신호를 분류하거나 감지하여 다른 기기의 작동을 제어하는 정도로 사용되어 왔다. 최근에는 기계학습 분야에서 EEG 해석을 위한 시도는 계속되고 있다.

한편, 자율주행 기술이 등장함에 따라, EEG나 BCI를 자율주행에 적용하려는 움직임이 보인다.

도요타 컨셉 아이와 혼다 뉴브이는 감정 인식을 통한 맞춤형 서비스를 제공하고, 중국에서는 운동 장애를 가진 사람이 차량 운전을 위한 BCI 기반의 운전자 인터페이스 제공하는 기술이 개발되었다. 독일은 BCI 시스템을 이용한 반자율주행 제어 인터페이스 제공하는 기술을 개발 하였으며, 중국은 EEG 신호를 이용한 뇌파 제어 차량의 위험한 상황 인식 서비스를 제공하는 기술을 개발하였다.

본 발명은 운전자와 지능형 차량 간의 인지 상호작용 기술 고도화를 통한 자율주행 핵심기술의 신뢰성과 안정성을 확보하는 기술을 제공하는 것을 목적으로 한다.

본 발명은 차세대 ADAS와 자율주행 기술의 혁신적인 변화 및 교통약자를 위한 자율주행 서비스 보급 활성화를 목적으로 한다.

본 발명은 영상 기반의 운전자 상태인식 한계를 개선하고 교통약자의 다양한 환경 및 주행패턴을 종합적으로 분석하여 교통 환경에 약한 운전자의 상태 및 환경에 따른 맞춤형 자율주행 서비스를 제공하는 것을 목적으로 한다.

본 발명은 맞춤형 자율주행 서비스를 제공함으로써, 고령화 사회 문제를 해결하고, 교통약자의 이동성 보장을 통한 산업적 파급효과와 미래 시장창출 가능성이 높은 고신뢰 서비스를 도출하는 것을 목적으로 한다.

본 발명은 운전자의 뇌파 데이터를 이용하여 딥러닝 기반의 운전자 인지 정보 및 반응 정보를 획득하여 분석하는 것을 목적으로 한다.

본 발명은 차량에 설치한 카메라로부터 영상을 이용하여 딥러닝 기반의 운전자 상태 정보 및 행동 정보를 획득하여 분석하는 것을 목적으로 한다.

본 발명은 뇌파-영상 정보 융합을 통한 협력 인식 및 상태 인지 특징을 추출하는 것을 목적으로 한다.

본 발명은 운전자와 자율주행 차량 간의 상태 인식 기반의 복합 인터렉션을 수행하는 것을 목적으로 한다.

본 발명은 센서 융합 기반의 차량 내/외부 상황 분석을 통한 맞춤형 자율주행 장치를 제공하는 것을 목적으로 한다.

본 발명은 이종/동종 멀티센서 기반의 차량 내/외부 환경 및 상태 모니터링을 위한 정보를 융합하는 것을 목적으로 한다.

본 발명은 주행환경 및 상황별 분석을 통한 적응형 운전 주도권 판단 및 주행패턴을 분석하는 것을 목적으로 한다.

본 발명은 개인별 자율주행 평가 환경을 구축하고, 오류 최소화를 위한 맞춤형 자율주행 장치를 개발하는 것을 목적으로 한다.

본 발명은 멀티 센서에서 수집한 데이터를 이용하여 다양한 정보를 추출 및 융합하고, 이 정보들 간의 연관관계를 분석하는 기술을 제공하는 것을 목적으로 한다.

본 발명은 노이즈가 심한 뇌파를 이용하여 사람의 인지 정보를 추출하고, 이 정보들을 특징하여 시각정보와 인지정보간의 매핑이 가능하고, 이 정보들 간의 연관성을 분석하는 것을 목적으로 한다.

본 발명은 시각정보와 인지정보 간의 연관관계 분석을 위한 장치나 방법은 없었으므로, 정보융합 관점에서 다양한 오감 정보와 인지정보를 매핑하는 것을 목적으로 한다.

본 발명은 시각정보와 인지정보 융합을 위한 연관관계 분석 방법은 인지정보 융합이 가능한 활용 분야로는 인지심리학, 지능형 모빌리티 등에 다양하게 적용하는 것을 목적으로 한다.

본 발명은 시각정보와 인지정보 융합 관점에서 향후 다양한 오감 정보와 인지정보를 매핑하는 것을 목적으로 한다.

본 발명은 운전상황에서 운전자로부터 뇌파를 수집하며, 뇌파에서 추출한 운전자의 인지 정보 및 반응 정보와 영상에서 추출한 운전자의 상태 정보 또는 행동 정보를 매칭함으로써, 운전자가 시각으로 획득한 시각 정보와 운전자의 인지 정보 간의 연관 관계를 분석 하는 장치 및 방법을 제공한다.

본 발명은 운전자의 시각 정보와 인지 정보 간의 연관 관계에 따라 운전자로부터 수집한 뇌파를 특정 감정을 나타내는 영상으로 변환함으로써, 뇌파 수집을 통하여 운전자의 감정을 식별하는 장치 및 방법을 제공한다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 운전자로부터 측정한 뇌파를 획득하는 단계, 상기 획득하는 뇌파로부터 상기 운전자의 인지 정보 또는 반응 정보를 포함하는 운전자 뇌파 정보를 추출하는 단계, 신경망을 이용하여 차량에 설치된 카메라로부터 촬영되는 영상으로부터 운전자 상황 정보를 추출하는 단계, 상기 운전자 뇌파 정보와 상기 운전자 상황 정보를 매핑하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석하는 단계, 및 상기 분석된 연관 관계를 이용하여 자율주행 차량에 대한 복합 인터렉션을 수행하는 단계를 포함할 수 있다.

일실시예에 따른 운전자 뇌파 정보는, 상기 운전자의 인지 정보 또는 반응 정보를 포함할 수 있다.

일실시예에 따른 상기 운전자 상황 정보는, 상기 운전자의 상태 정보 또는 행동 정보를 포함할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법 따른 자율주행 차량의 외부에 대한 외부 센싱정보를 획득하는 단계를 더 포함하고, 상기 자율주행 차량에 대한 복합 인터렉션을 수행하는 단계는, 상기 분석된 연관 관계에 상기 획득한 외부 센싱정보를 추가 반영하여 자율주행 차량에 대한 복합 인터렉션을 수행하는 단계를 포함할 수 있다.

일실시예에 따른 상기 운전자 상황 정보를 추출하는 단계는, GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) 인코더 네트워크를 이용하여, 상기 획득하는 뇌파로부터 운전자 인지 정보 또는 반응 정보를 추출하는 단계를 더 포함할 수 있다.

일실시예에 따른 상기 뇌파로부터 상기 운전자 뇌파 정보를 추출하는 단계는, 시간 분석을 기반으로 하는 LSTM을 이용하는 인코더 네트워크(encoder network)를 학습하여, 비전-BCI 정보 학습을 위한 연계 네트워크를 생성하고, 상기 생성된 연계 네트워크를 이용하여 상기 뇌파로부터 상기 운전자 뇌파 정보를 추출하는 단계를 포함할 수 있다.

일실시예에 따른 상기 연계 네트워크는, 뇌파를 입력으로 하여 벡터 형태의 운전자 뇌파 정보를 출력하는 RNN(Recurrent Neural Networks) 기반의 네트워크인 것을 특징으로 한다.

일실시예에 따른 상기 신경망을 이용하여 상기 영상으로부터 운전자 상황 정보를 추출하는 단계는, 사전에 학습된 CNN을 사용하여 상기 영상으로부터 상기 운전자의 상태 정보 또는 행동 정보를 추출하는 단계를 포함할 수 있다.

일실시예에 따른 상기 운전자 뇌파 정보와 상기 운전자 상황 정보를 매핑하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석하는 단계는, 추출한 운전자 상황 정보와 상기 추출한 운전자 뇌파 정보를 CNN 리그레서(regressor)를 이용하여 맵핑하는 단계를 포함할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 주행하고 있지 않은 상태의 운전자로부터 측정한 뇌파 및 상기 연관 관계에 기초하여 상기 운전자의 현재 감정에 대응하는 영상을 생성하는 단계를 더 포함할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치는 운전자로부터 측정한 뇌파를 획득하는 뇌파 획득부, 상기 획득하는 뇌파로부터 상기 운전자의 인지 정보 또는 반응 정보를 포함하는 운전자 뇌파 정보를 추출하는 운전자 뇌파 정보 추출부, 신경망을 이용하여 차량에 설치된 카메라로부터 촬영되는 영상으로부터 운전자 상황 정보를 추출하는 운전자 상황 정보 추출부, 상기 운전자 뇌파 정보와 상기 운전자 상황 정보를 매핑하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석하는 연관 관계 분석부, 및 상기 분석된 연관 관계를 이용하여 자율주행 차량에 대한 복합 인터렉션을 수행하는 인터렉션 처리부를 포함할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치는 자율주행 차량의 외부에 대한 외부 센싱정보를 획득하는 외부 센싱부를 더 포함하고, 상기 인터렉션 처리부는, 상기 분석된 연관 관계에 상기 획득한 외부 센싱정보를 추가 반영하여 자율주행 차량에 대한 복합 인터렉션을 수행할 수 있다.

일실시예에 따른 상기 운전자 상황 정보 추출부는, GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) 인코더 네트워크를 이용하여, 상기 획득하는 뇌파로부터 운전자 인지 정보 또는 반응 정보를 추출할 수 있다.

일실시예에 따른 상기 운전자 뇌파 정보 추출부는, 시간 분석을 기반으로 하는 LSTM을 이용하는 인코더 네트워크(encoder network)를 학습하여, 비전-BCI 정보 학습을 위한 연계 네트워크를 생성하고, 상기 생성된 연계 네트워크를 이용하여 상기 뇌파로부터 상기 운전자 뇌파 정보를 추출할 수 있다.

일실시예에 따른 상기 연계 네트워크는, 뇌파를 입력으로 하여 벡터 형태의 운전자 뇌파 정보를 출력하는 RNN(Recurrent Neural Networks) 기반의 네트워크이다.

일실시예에 따른 상기 운전자 상황 정보 추출부는, 사전에 학습된 CNN을 사용하여 상기 영상으로부터 상기 운전자의 상태 정보 또는 행동 정보를 추출할 수 있다.

일실시예에 따른 상기 연관 관계 분석부는, 상기 추출한 운전자 상황 정보와 상기 추출한 운전자 뇌파 정보를 CNN 리그레서(regressor)를 이용하여 맵핑할 수 있다.

일실시예에 따르면, 운전자와 지능형 차량 간의 인지 상호작용 기술 고도화를 통한 자율주행 핵심기술의 신뢰성과 안정성을 확보하는 기술을 제공할 수 있다.

일실시예에 따르면, 차세대 ADAS와 자율주행 기술의 혁신적인 변화 및 교통약자를 위한 자율주행 서비스 보급 활성화 할 수 있다.

일실시예에 따르면, 영상 기반의 운전자 상태인식 한계를 개선하고 교통약자의 다양한 환경 및 주행패턴을 종합적으로 분석하여 교통 환경에 약한 운전자의 상태 및 환경에 따른 맞춤형 자율주행 서비스를 제공 할 수 있다.

일실시예에 따르면, 맞춤형 자율주행 서비스를 제공함으로써, 고령화 사회 문제를 해결하고, 교통약자의 이동성 보장을 통한 산업적 파급효과와 미래 시장창출 가능성이 높은 고신뢰 서비스를 도출 할 수 있다.

일실시예에 따르면, 운전자의 뇌파 데이터를 이용하여 딥러닝 기반의 운전자 인지 정보 및 반응 정보를 획득하여 분석 할 수 있다.

일실시예에 따르면, 차량에 설치한 카메라로부터 영상을 이용하여 딥러닝 기반의 운전자 상태 정보 및 행동 정보를 획득하여 분석 할 수 있다.

일실시예에 따르면, 뇌파-영상 정보 융합을 통한 협력 인식 및 상태 인지 특징을 추출 할 수 있다.

일실시예에 따르면, 운전자와 자율주행 차량 간의 상태 인식 기반의 복합 인터렉션을 수행 할 수 있다.

일실시예에 따르면, 센서 융합 기반의 차량 내/외부 상황 분석을 통한 맞춤형 자율주행 장치를 제공 할 수 있다.

일실시예에 따르면, 이종/동종 멀티센서 기반의 차량 내/외부 환경 및 상태 모니터링을 위한 정보를 융합 할 수 있다.

일실시예에 따르면, 주행환경 및 상황별 분석을 통한 적응형 운전 주도권 판단 및 주행패턴을 분석 할 수 있다.

일실시예에 따르면, 개인별 자율주행 평가 환경을 구축하고, 오류 최소화를 위한 맞춤형 자율주행 장치를 개발 할 수 있다.

일실시예에 따르면, 멀티 센서에서 수집한 데이터를 이용하여 다양한 정보를 추출 및 융합하고, 이 정보들 간의 연관관계를 분석하는 기술을 제공할 수 있다.

일실시예에 따르면, 노이즈가 심한 뇌파를 이용하여 사람의 인지 정보를 추출하고, 이 정보들을 특징하여 시각정보와 인지정보간의 매핑이 가능하고, 이 정보들 간의 연관성을 분석할 수 있다.

일실시예에 따르면, 시각정보와 인지정보 간의 연관관계 분석을 위한 장치나 방법은 없었으므로, 정보융합 관점에서 다양한 오감 정보와 인지정보를 매핑할 수 있다.

일실시예에 따르면, 시각정보와 인지정보 융합을 위한 연관관계 분석 방법은 인지정보 융합이 가능한 활용 분야로는 인지심리학, 지능형 모빌리티 등에 다양하게 적용할 수 있다.

일실시예에 따르면, 시각정보와 인지정보 융합 관점에서 향후 다양한 오감 정보와 인지정보를 매핑할 수 있다.

일실시예에 따르면, 운전자의 시각 정보와 인지 정보 간의 연관 관계에 따라 운전자로부터 수집한 뇌파를 특정 감정을 나타내는 영상으로 변환함으로써, 뇌파 수집을 통하여 운전자의 감정을 식별할 수 있다.

도 1은 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행의 개념도를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 인지 정보와 시각 정보 간의 연관 관계 분석 과정의 일례이다.
도 4는 Vision-BCI 멀티모달 데이터 처리 과정을 설명한다.
도 5는 Vision-BCI 정보 간의 연관관계 분석 과정을 설명한다.
도 6은 본 발명의 일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법을 도시한 흐름도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행의 개념도(100)를 나타내는 도면이다.

본 발명은 딥러닝-뇌(Deep learning-Brain) 간에 인지 매핑 데이터베이스를 구축하여 운전상황에서 운전자의 인지 정보와 머신의 인식 정보 간 상호작용이 가능한 시스템 개발은 인간-머신 간의 상호 도움을 줄 수 있는 오픈 플랫폼 데이터베이스를 제공할 수 있다.

한편, 본 발명은 뇌신호로부터 추출된 오감의 특징 데이터베이스 구축을 통한 머신 인식기의 성능 향상이 가능하고, 딥러닝의 인식 정보와 뇌파 특징의 결합을 통한 향상된 인식/판단 SW 플랫폼을 제공한다.

뿐만 아니라, 본 발명은 EEG 신호의 특징 추출을 위한 딥 뉴럴 네트워크(deep neural network) 아키텍처와 관련된다.

본 발명에 일실시예에 따르면, EEG 신호와 오감 정보의 매핑을 위한 실측(ground truth) 데이터베이스를 구축해야 하며, EEG 신호의 특징 추출을 위한 RNN/CNN 네트워크 구조를 가진다.

본 발명은 딥러닝-뇌 간 인지 매핑을 위한 지식 전달(knowledge transfer) 기법을 수행하고, 본 발명은 다중 과업 학습(multi-task learning)과 영역적응(domain adaptation)을 통한 인지 정보 매핑 네트워크 구조를 가진다.

본 발명은 뇌파로 추출된 오감의 특징 정보에 대한 마인드 맵(230) 데이터베이스 구축하고, 지도/비지도 학습을 통한 딥러닝 특징과 운전자의 인지 정보 및 반응 정보에 대한 상관관계 학습이 필요하다.

또한, 본 발명은 센서로부터 추출된 딥러닝 기반의 특징과 EEG로부터 얻어진 딥러닝 기반의 특징 간의 상관관계 맵을 생성할 수 있다. 이를 위해, 본 발명은 마인드 맵 데이터베이스의 오픈 플랫폼화가 가능하고, 운전자의 인지/판단 보조를 위한 SW 플랫폼 구축하며, 운전자 EEG 분석과 마인드 맵 정보 융합을 통한 인지 및 판단 네트워크로 구성된다.

한편, 본 발명은 모바일 EEG 기반의 인지 보조 SW 인터페이스 기능을 제공한다. 또한, 인간이 보유한 오감에 대한 인지정보를 부호화 하여 데이터베이스 형태로 저장 가능하고, 인간의 인지 정보를 활용한 머신 인식기의 성능 향상 가능하며, 디지털 기기에서 얻을 수 있는 데이터 부호화/특징 추출의 한계를 마인드 맵으로부터 극복할 수 있다.

구체적으로, 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치가 적용된 본 발명은 RGB 센서, IR 센서와 함께, BCI와 비전에 기반한 차량 내부의 지각에 대한 비전을 수집하고, 이를 뇌파 신호와 함께 분석함으로써, 운전자에 대한 현재 상황을 모니터링할 수 있다. 또한, 이러한 모니터링 결과를 이용하여 기반 맞춤형 자율주행 서비스를 제공할 수도 있다.

이에 추가적으로, 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치는 차량 외부의 지각에 대한 비전을 제공할 수도 있다. 이를 위해 외부를 촬영하는 카메라, 외부의 환경을 수집하는 외부 센서 등을 추가로 더 포함할 수 있다.

도 2는 본 발명의 일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)를 도시한 도면이다.

본 발명은 운전자의 시각 정보 학습을 위한 DNN과 BCI 정보 학습을 위한 DNN 간의 상관 아키텍처를 정의한 후 시각적으로 반응하는 EEG 신호를 의미있는 이미지로 변환하는 인코더 디코더 알고리즘에 관한 것이다. 이 모델은 인간이 보는 것과 유사한 감정을 묘사하는 이미지를 생성하는 DNN 기반의 EEG 신호를 분석하고 시각 및 뇌인지 정보의 상호 관계를 분석하는 데 사용될 수 있다.

이를 위해, 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)은 뇌파 획득부(210), 운전자 뇌파 정보 추출부(220), 운전자 상황 정보 추출부(230), 연관 관계 분석부(240), 및 인터렉션 처리부(250)를 포함할 수 있다.

운전하는 전방 또는 운전자를 촬영한 영상은 서로 다른 클래스의 이미지로 구분될 수 있다.

뇌파 획득부(210)는 운전자로부터 측정한 뇌파를 획득할 수 있다.

운전자로부터 측정하는 뇌파 정보는, 운전자의 인지 정보 또는 반응 정보를 포함하는 정보로 해석될 수 있다.

예를 들어, 뇌파 획득부(210)는 차량에 설치한 카메라로부터 영상을 이용하여 딥러닝 기반의 운전자 상태 정보 및 행동 정보를 획득할 수 있다.

운전자 뇌파 정보 추출부(220)는 획득하는 뇌파로부터 운전자의 인지 정보 또는 반응 정보를 포함하는 운전자 뇌파 정보를 추출할 수 있다.

예를 들어, 운전자 뇌파 정보 추출부(220)는 시간 분석을 기반으로 하는 LSTM을 이용하는 인코더 네트워크(encoder network)를 학습하여, 비전-BCI 정보 학습을 위한 연계 네트워크를 생성할 수 있다. 또한, 생성된 연계 네트워크를 이용하여 뇌파로부터 운전자 뇌파 정보를 추출할 수 있다.

본 발명에서의 연계 네트워크는, 뇌파를 입력으로 하여 벡터 형태의 운전자 뇌파 정보를 출력하는 RNN(Recurrent Neural Networks) 기반의 네트워크로 해석될 수 있다.

운전자 상황 정보 추출부(230)는 신경망을 이용하여 차량에 설치된 카메라로부터 촬영되는 영상으로부터 운전자 상황 정보를 추출할 수 있다.

이를 위해, 운전자 상황 정보 추출부(230)는 사전에 학습된 CNN을 사용하여 영상으로부터 상기 운전자의 상태 정보 또는 행동 정보를 추출할 수 있다.

예를 들어, 운전자 상황 정보는 운전자의 상태 정보 또는 행동 정보를 포함할 수 있다.

특히, 운전자 상황 정보 추출부(230)는 GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) 인코더 네트워크를 이용하여, 획득하는 뇌파로부터 운전자 인지 정보 또는 반응 정보를 추출할 수 있다.

연관 관계 분석부(240)는 운전자 뇌파 정보와 운전자 상황 정보를 매핑하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석할 수 있다.

예를 들어, 연관 관계 분석부(240)는 추출한 운전자 상황 정보와 추출한 운전자 뇌파 정보를 CNN 리그레서(regressor)를 이용하여 맵핑할 수 있다.

또한, 인터렉션 처리부(250)는 분석된 연관 관계를 이용하여 자율주행 차량에 대한 복합 인터렉션을 수행할 수 있다.

일례로, 딥러닝 기반 맞춤형 자율주행 장치(200)는 자율주행 차량의 외부에 대한 외부 센싱정보를 획득하는 외부 센싱부(미도시)를 더 포함할 수 있다. 이 경우, 인터렉션 처리부(250)는 분석된 연관 관계에 획득한 외부 센싱정보를 추가 반영하여 자율주행 차량에 대한 복합 인터렉션을 수행할 수 있다.

인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)는 자동화된 시각 인지를 위해 BCI 기반의 인간의 시각정보와 지각정보 간의 연관관계 분석을 위한 모델을 제시하고, 멀티센서 간 정보 융합을 위한 DNN 아키텍처를 제시한다.

멀티센서 간의 정보 융합을 위한 연구들이 진행되고 있다.

최근 MIT 그룹에서 청각과 시각 정보간의 관계 분석을 위한 연구를 진행하였는데, 이는 레이블이 없는 많은 양의 비디오를 보면서 사운드를 생성하는 이미지 영역을 찾고 입력 사운드를 각 픽셀의 사운드를 나타내는 구성 요소 세트로 분리하는 방법을 학습하는 시스템인 Pixel Player를 개발하였다.

이것은 시각과 청각의 자연스러운 동기화를 활용하여 추가적인 개입 없이 사운드와 이미지를 동시에 분석하는 모델을 학습함으로써 가능하다

특히, DNN(Deep Neural Networks) 또는 CNN(Convolutional Neural Networks)을 기반으로 하는 4가지 변형된 네트워크에 중점을 두는데, 이는 센서들의 특징에 따라 네트워크를 연결하고 이를 분석한다.

인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)는 카메라 센서 정보와 EEG 센서 정보를 융합하기 위한 DNN 아키텍처를 설계한다. 또한, 각 센서 데이터를 이용한 DNN 네트워크를 만들고, 멀티 센서 간의 정보 융합을 위해서는 새로운 DNN 아키텍처를 설계한다.

인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)는 시각정보와 뇌인지 정보간의 연관 관계를 결정한다.

뇌가 시각적으로 본 물체 인식 문제를 어떻게 해결하는지에 대한 연구들이 진행되어 왔다.

특히, 시각정보와 뇌인지 정보간의 연관관계를 분석하기 위해 객체 인지를 심리물리학과 신경과학, 컴퓨터 비전분야 관점에서 뉴런과 피질영역의 맵핑 추상화를 통하여 해결하고자 하였다.

인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)는 이전 연구들에서 진보하여, vision 정보 학습을 위한 DNN과 BCI 정보 학습을 위한 DNN 간의 연계 아키텍처 정의하고, 시각-뇌 인지 정보간의 연관관계 분석 모델을 제시한다.

이를 위해, 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)는 비전-BCI 연계를 위한 DNN 아키텍처를 정의 한다.

또한, 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)는 비전 정보 학습을 위한 DNN과 BCI 정보 학습을 위한 DNN 간의 연계 아키텍처를 정의한다.

특히, 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치(200)는 운전자가 운전하는 동안 기록한 뇌파 중에서 시각을 통한 감정 자극을 유발하는 운전자의 인지 정보 및 반응 정보 추출을 위한 RNN(Recurrent Neural Networks) 기반의 LSTM(Long Short-Term Memory models) encoder network를 설계한다.

수집한 2차원 EEG signal(채널과 시간)에서 정제된 운전자의 인지 정보 및 반응 정보를 추출하기 위해 시간에 따른 분석을 위해 LSTM를 기반으로 하는 인코더 네트워크를 이용하여 훈련함으로써 vision-BCI 정보 학습을 위한 연계 아키텍처를 설계할 수 있다.

이것은 사전 처리된 뇌파는 인코더 네트워크에 입력으로, 운전자의 인지 정보 및 반응 정보 벡터를 출력으로 하는 RNN 기반의 인코더 네트워크 또는 리그레서(regressor)이다.

도 3은 본 발명의 일실시예에 따른 인지 정보와 시각 정보 간의 연관 관계 분석 과정의 일례이다.

본 발명은 시각-뇌 인지 정보의 연관관계 분석 모델(300)을 제시한다.

본 발명은 운전자가 운전상황에서 시각적으로 반응한 EEG 신호를 의미 있는 이미지로 변환하는 인코더-디코더 알고리즘을 설계하였다.

이는 사전에 훈련된 CNN을 사용하여 추출한 운전자의 상태 정보 또는 행동 정보와 RNN 기반의 인코더를 이용하여 추출한 운전자의 인지 정보 및 반응 정보 벡터를 CNN 리그레서를 이용하여 맵핑하는 알고리즘이다.

또한, EEG 디코더는 디콘볼루션(deconvolution) 방법을 사용하여 학습된 특징을 이미지로 변환하는 디코딩 알고리즘을 설계하였으며, 이 연관 관계 분석 모델의 최종 출력데이터는 3가지 이상의 클래스로 구분될 수 있다.

도 3에서는 EEG와 비쥬얼 정보 간의 연관 관계 분석 알고리즘을 도시화한 것으로써, EEG데이터의 인코더-디코더 과정을 함께 보여준다.

본 발명에서는 비전 정보 학습을 위한 DNN과 BCI 정보 학습을 위한 DNN 간의 연계 아키텍처를 정의한 후에, 시각적으로 반응한 EEG 시그널을 의미 있는 이미지로 변환하는 인코더-디코더 알고리즘을 설계하였다.

이것은 뇌파 신호를 DNN 기반으로 분석하여 인간이 영상을 보면서 느끼는 감정과 유사한 감정을 묘사하는 영상을 생성하는 모델로써, 시각-뇌 인지 정보간의 연간관계 분석을 위한 것이다.

이 관계 분석 모델을 통하여 시각정보와 뇌 인지 정보간의 단순한 융합뿐만 아니라 이 정보들 간의 개연성 및 연계성 분석이 가능하다. 향후에는 시각 정보뿐만 아니라 다양한 정보와 뇌 인지 정보간의 연관관계를 분석하고자 한다.

인지 정보와 시각 정보 간의 연관 관계 분석 과정은 운전자의 감정을 읽는 과정(310)과 인간의 시각을 기계로 전송하는 과정(320)으로 구성될 수 있다.

과정(310)에서 전방유리 등으로 해석될 수 있는 디스플레이(301)로 공포, 평안, 기쁨의 3개 클래스(class)의 전방의 상황을 540초 동안 표시하고, 이미지를 본 7명의 운전자들(302) 각각이 착용한 32채널 BCI 기기(303)로 운전자들(302) 각각의 EEG 데이터(311)를 수집할 수 있다. 이때, 디스플레이(301)에 표시된 이미지는 운전자들(302)에게 감정 자극을 유발하는 이미지이므로, 32채널 BCI 기기(303)가 수집한 EEG 데이터(311)는 이미지에 의하여 발생한 운전자(302)의 감정에 대응할 수 있다.

EEG 매니폴드 러닝(manifold learning)(321)은 EGG 데이터(311)를 인코더(320)에 입력하여 운전자의 인지 정보 및 반응 정보(322)을 추출할 수 있다. 이때, 인코더(320)는 RNN(Recurrent Neural Networks)기반의 LSTM(Long Short-Term Memory models) 인코더 네트워크(encoder network)로 설계될 수 있다. 그리고, 추출한 운전자의 인지 정보 및 반응 정보(322)은 분류기(classifier)(330) 및 CNN 예측 모델(350)에 입력될 수 있다. 이때, 분류기(330)는 입력받은 운전자의 인지 정보 및 반응 정보(322)에 대응하는 운전자들(303)의 감정을 분류 결과(331)로 출력할 수 있다.

과정(320)의 EEG 매니폴드 회귀(manifold regression)(341)는 디스플레이(301)에 표시할 이미지를 CNN(340)에 입력하여 운전자의 상태 정보 또는 행동 정보(342)을 추출할 수 있다. 그리고, 운전자의 상태 정보 또는 행동 정보(342), 및 운전자의 인지 정보 및 반응 정보(322)을 입력받은 CNN 예측 모델(350)는 회귀된 EEG 벡터(351)를 출력할 수 있다. 이때, 회귀된 EEG 벡터(351)는 운전자의 상태 정보 또는 행동 정보(342), 및 운전자의 인지 정보 및 반응 정보(322)을 매핑하여 분석한 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 나타내는 정보일 수 있다. 그리고, 분류기(330)는 회귀된 EEG 벡터(351)에 의하여 운전자의 인지 정보 및 반응 정보(322)에 대응하는 운전자들(303)의 감정을 분류할 수 있도록 학습될 수 있다.

또한, 분류기(330)는 입력받은 운전자의 인지 정보 및 반응 정보(322)에 대응하는 운전자들(303)의 감정에 대응하는 이미지(332)를 출력할 수 있다.

도 4는 비전-BCI 멀티모달 데이터 처리 과정을 설명한다.

멀티모달(Multimodal)이란 데이터의 발생 근원이 두 개 이상인 경우로, 다중 소스 데이터와 다중 관계형 데이터로 구분될 수 있다.

개별 아이템이 둘 이상의 소스로부터 주어지는 경우가 다중 소스 데이터인데, 동영상이 그 대표적인 예이다.

다중 관계형 데이터는 둘 이상의 모달리티와 그들 사이의 관계로 표현될 수 있는 데이터로, 영화가 그 대표적인 예이다.

이전 연구들에서는 멀티모달 데이터 유형에 따라 서로 다른 분석 기법들이 제안되었다.

딥러닝을 이용하여 주로 한 종류의 데이터 표현만을 학습하는데 중점을 두었으나, 최근에 딥러닝 기술이 발전함에 따라 데이터 각각의 모델을 손쉽게 혼합할 수 있어서 다른 방법 보다는 멀티모달 데이터의 확장에 유리하다.

다중 관계형 데이터 분석을 위한 다중 행렬 분해 기법을 적용하여 각 모달리티에 내재된 유용한 정보를 추출하는 모델 기법도 연구되었다.

또한 딥러닝과 다중 행렬 분해에서 모달리티 간의 정보가 원활하게 공유될 수 있도록 하는 확률 그래프 모델을 제안하고, 효율적인 베이지안 학습 및 추론 알고리즘을 제안되었다.

본 발명에서는 다중 소스 데이터 기반의 멀티모달 데이터를 입력으로 받아 정보 간의 연관성을 표현하는 특징을 학습하는 모델을 연구하였다. 사람의 경우에는, 오감을 통해 다양한 데이터들 이 수집 및 가공되어 여러 가지 정보로 표현된다. 사람의 오감이 가공된 정보라면 오감 정보를 수집하기 위한 사람의 감각기관은 센서가 되고, 이 멀티 센서를 통해 데이터가 수집된다.

도 4와 같이 수집한 2차원 EEG 신호(채널과 시간)에서 정제된 운전자의 인지 정보 및 반응 정보를 추출하기 위해 인코더 네트워크(시간에 따른 분석을 위해 LSTM이용)를 훈련함으로써 비전-BCI 정보 학습을 위한 연계 네트워크(400)를 설계하였다.

본 발명은 멀티모달 시각-인지 데이터 처리 기법에 관한 것이다.

본 발명은 멀티모달 센서로 카메라 센서와 EEG 센서를 이용하였으며, 카메라 시각 데이터와 뇌파를 융합하기 위한 DNN 기반의 모델을 설계하였다.

이는 비전 정보 학습을 위한 DNN과 BCI 정보 학습을 위한 DNN 간의 연계 모델로써, 운전자가 운전하는 동안 기록한 뇌파 중에서 시각을 통한 감정 자극을 유발하는 운전자의 인지 정보 및 반응 정보 추출을 위한 GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) encoder network를 구현한다.

입력데이터를 위해서, 운전상황이 아닌 사전에 7명의 운전자에게 4개 class(공포, 놀람, 평안, 기쁨)의 영상을 540초 동안 보여주며 64채널 BCI 기기를 장착한 운전자의 뇌파를 수집할 수도 있다.

도 5는 Vision-BCI 정보 간의 연관관계 분석 과정을 설명한다.

도면부호 500에서 보는 바와 같이, Vision-BCI 정보 간의 연관관계 분석 과정은 데이터 획득 과정(510), 전처리 과정(520), 및 데이터 분류 과정(530)을 포함한다.

먼저, 데이터 획득 과정(510)은 운전자의 뇌파 정보와 그에 대응되는 운전자 상황 정보를 획득할 수 있다.

다음으로, 전처리 과정(520)에서는 획득한 데이터들에 대한 전처리를 수행하는데, 도면부호 521에서 데이터 분할 과정을 수행하고, 도면부호 522에서 아티팩트를 제거하는 과정을 통해 전처리를 수행할 수 있다.

이때, 밴드패스 필터(bandpass filter) 등을 이용하여 노이즈(noise) 등의 아티팩트(artifact)를 제거할 수 있다.

본 발명은 멀티모달 데이터 간의 연관관계를 분석한다.

본 발명은 운전자의 뇌가 운전상황에서 시각적으로 바라본 물체에 대한 인식 문제를 어떻게 해결할 수 있는지에 중점을 두고 접근하였다.

데이터 분류 과정(530)에서는, 시각적으로 반응한 뇌파를 의미 있는 이미지로 변환할 수 있다.

또한, EEG 디코더는 디콘볼루션을 사용하여 학습된 feature를 이미지로 변환하는 디코딩 알고리즘을 설계하였으며, 이 연관관계 분석 모델의 최종 출력데이터는 4가지 class(공포, 놀람, 평안, 기쁨)이다.

도 5에서는 시각정보와 인지정보 간의 연관관계 분석 과정을 도시화한 것으로써, 뇌파의 인코더-디코더 과정을 함께 보여준다.

본 발명에서는 이전 연구들에서 진보하여, 비전 정보 학습을 위한 DNN과 BCI 정보 학습을 위한 DNN 간의 연계 아키텍처를 정의하고, 시각-뇌 인지 정보간의 연관관계 분석을 수행하였다.

본 발명에서는 시각-인지 정보간의 분석을 위해 비전 정보 학습을 위한 DNN과 BCI 정보 학습을 위한 DNN을 설계하여 연관관계를 분석하였다.

시각적으로 반응한 EEG 신호를 의미 있는 이미지로 변환하는 인코더-디코더 알고리즘을 구현하였다.

본 발명에서는 시각과 뇌파 각각의 task 간의 학습을 통하여 인지 정보 간의 맵핑이 가능하다.

운전자가 운전상황에서 기록한 뇌파 중에서 시각을 통한 감정 자극을 유발하는 EEG feature 추출을 위한 GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) encoder network를 구현할 수 있다.

본 발명은 빠른 판단이나 의사표현이 어려운 고령자, 장애인 등의 사회적 약자를 보조하는 모바일 EEG 기반의 S/W 인터페이스를 제공한다.

본 발명은 사전에 미리 저장된 오감과 인지 정보간의 personalized된 맵핑 데이터베이스가 있으므로, 운전자의 현재 EEG 정보 만으로도 오감을 통해 입력된 정보 예측이 가능하다.

만일 운전자가 의사표현이 어려운 상황에서는 뇌파 분석만으로도 운전자의 현재 심리 상태 예측 및 오감을 통해 입력된 정보 예측이 가능하다.

그러므로 운전자의 인지를 표현하는 보조적인 S/W로써 운전자의 의사를 표현하는 인터페이스 기능이 있다.

시각 정보 학습을 위한 DNN과 BCI 정보 학습을 위한 DNN 간의 연계 모델로써, 운전자가 운전하는 동안 기록한 뇌파 중에서 시각을 통한 감정 자극을 유발하는 운전자의 인지 정보 및 반응 정보를 추출할 수 있다.

도 6은 일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법을 도시한 흐름도이다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 운전자로부터 측정한 뇌파를 획득할 수 있다(단계 610).

운전자 뇌파 정보는 운전자의 인지 정보 또는 반응 정보를 포함할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 획득하는 뇌파로부터 운전자의 인지 정보 또는 반응 정보를 포함하는 운전자 뇌파 정보를 추출할 수 있다(단계 620).

예를 들어, 뇌파로부터 상기 운전자 뇌파 정보를 추출하기 위해서는, 시간 분석을 기반으로 하는 LSTM을 이용하는 인코더 네트워크(encoder network)를 학습하여, 비전-BCI 정보 학습을 위한 연계 네트워크를 생성하고, 생성된 연계 네트워크를 이용하여 뇌파로부터 운전자 뇌파 정보를 추출할 수 있다.

연계 네트워크는, 뇌파를 입력으로 하여 벡터 형태의 운전자 뇌파 정보를 출력하는 RNN(Recurrent Neural Networks) 기반의 네트워크로 해석될 수 있다.

운전자 상황 정보는 운전자의 상태 정보 또는 행동 정보를 포함할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 신경망을 이용하여 차량에 설치된 카메라로부터 촬영되는 영상 데이터로부터 운전자 상황 정보를 추출할 수 있다(단계 630).

일례로, 운전자 상황 정보를 추출하기 위해서, GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) 인코더 네트워크를 이용하여, 획득하는 뇌파로부터 운전자 인지 정보 또는 반응 정보를 추출할 수 있다.

또한, 운전자 상황 정보를 추출하기 위해서는, 사전에 학습된 CNN을 사용하여 상기 영상으로부터 상기 운전자의 상태 정보 또는 행동 정보를 추출할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 운전자 뇌파 정보와 운전자 상황 정보를 매핑하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석할 수 있다(단계 640).

예를 들어, 운전자가 습득한 시각 정보 간의 연관 관계를 분석하기 위해서는, 추출한 운전자 상황 정보와 추출한 운전자 뇌파 정보를 CNN 리그레서(regressor)를 이용하여 맵핑할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 분석된 연관 관계를 이용하여 자율주행 차량에 대한 복합 인터렉션을 수행할 수 있다(단계 650).

예를 들어, 자율주행 차량의 외부에 대한 외부 센싱정보를 획득하고, 자율주행 차량에 대한 복합 인터렉션을 수행할 수 있다.

또한, 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법에서는 분석된 연관 관계에 획득한 외부 센싱정보를 추가 반영하여 자율주행 차량에 대한 복합 인터렉션을 수행할 수 있다.

또 다른 실시예에 따라서는, 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 주행하고 있지 않은 상태의 운전자로부터 측정한 뇌파 및 연관 관계에 기초하여 운전자의 현재 감정에 대응하는 영상을 생성할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 영상을 시청하는 동안에 적어도 한명 이상의 운전자로부터 측정한 뇌파를 획득할 수 있다(단계 610).

예를 들어, 뇌파를 획득하기 위해서는, 7명의 운전자에게 장르로 구분되는 4개 클래스의 영상을 540초 동안 보여주며 각각의 운전자에 대해 64채널 BCI 기기를 이용하여 뇌파를 획득할 수 있다.

또한, 일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) 인코더 네트워크를 이용하여, 획득하는 뇌파로부터 운전자의 인지 정보 및 반응 정보를 추출할 수 있다(단계 620).

예를 들어, 뇌파로부터 상기 운전자의 인지 정보 및 반응 정보를 추출하기 위해서는, 시간 분석을 기반으로 하는 LSTM을 이용하는 인코더 네트워크(encoder network)를 학습하여, 비전-BCI 정보 학습을 위한 연계 네트워크를 생성하고, 상기 생성된 연계 네트워크를 이용하여 상기 뇌파로부터 상기 운전자의 인지 정보 및 반응 정보를 추출할 수 있다.

일례로, 연계 네트워크는 뇌파를 입력으로 하여 벡터 형태의 운전자의 인지 정보 및 반응 정보를 출력하는 RNN(Recurrent Neural Networks) 기반의 네트워크를 포함할 수 있다.

다음으로, 일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 신경망을 이용하여 상기 영상으로부터 운전자의 상태 정보 또는 행동 정보를 추출할 수 있다(단계 630).

이 경우, 신경망을 이용하여 상기 영상으로부터 운전자의 상태 정보 또는 행동 정보를 추출하기 위해서는, 사전에 학습된 CNN을 사용하여 상기 영상으로부터 상기 운전자의 상태 정보 또는 행동 정보를 추출할 수 있다.

일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 운전자의 인지 정보 및 반응 정보와 운전자의 상태 정보 또는 행동 정보를 매핑하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석할 수 있다(단계 640).

또한, 추출한 운전자의 상태 정보 또는 행동 정보와 상기 추출한 운전자의 인지 정보 및 반응 정보를 CNN 리그레서(regressor)를 이용하여 맵핑할 수 있다.

이 경우, 일실시예에 따른 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법은 분석된 연관 관계를 이용하여 마인드 맵을 생성하여 데이터베이스화할 수 있다(단계 650).

영상을 시청하고 있지 않은 상태의 운전자로부터 측정한 뇌파 및 연관 관계에 기초하여 운전자의 현재 감정에 대응하는 영상을 생성할 수 있다.

결국, 본 발명을 이용하면, 멀티 센서에서 수집한 데이터를 이용하여 다양한 정보를 추출 및 융합하고, 이 정보들 간의 연관관계를 분석하는 기술을 제공할 수 있다. 또한, 노이즈가 심한 뇌파를 이용하여 사람의 인지 정보를 추출하고, 이 정보들을 특징하여 시각정보와 인지정보간의 매핑이 가능하고, 이 정보들 간의 연관성을 분석할 수 있다. 뿐만 아니라, 시각정보와 인지정보 간의 연관관계 분석을 위한 장치나 방법은 없었으므로, 정보융합 관점에서 다양한 오감 정보와 인지정보를 매핑할 수 있다.

또한, 시각정보와 인지정보 융합을 위한 연관관계 분석 방법은 인지정보 융합이 가능한 활용 분야로는 인지심리학, 지능형 모빌리티 등에 다양하게 적용할 수 있다.

또한, 본 발명을 이용하면, 시각정보와 인지정보 융합 관점에서 향후 다양한 오감 정보와 인지정보를 매핑할 수 있고, 운전상황에서 운전자로부터 뇌파를 수집하며, 뇌파에서 추출한 운전자의 인지 정보 및 반응 정보와 영상에서 추출한 운전자의 상태 정보 또는 행동 정보를 매칭함으로써, 운전자가 시각으로 획득한 시각 정보와 운전자의 인지 정보 간의 연관 관계를 분석할 수 있다.

뿐만 아니라, 본 발명을 이용하는 경우 운전자의 시각 정보와 인지 정보 간의 연관 관계에 따라 운전자로부터 수집한 뇌파를 특정 감정을 나타내는 영상으로 변환함으로써, 뇌파 수집을 통하여 운전자의 감정을 식별할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

운전자로부터 측정한 뇌파를 획득하는 단계;
상기 획득하는 뇌파로부터 상기 운전자의 인지 정보 또는 반응 정보를 포함하는 운전자 뇌파 정보를 추출하는 단계;
신경망을 이용하여 차량에 설치된 카메라로부터 촬영되는 영상으로부터 운전자 상황 정보를 추출하는 단계;
상기 운전자 뇌파 정보와 상기 운전자 상황 정보를 DNN 기반의 모델을 이용하여 매핑하되, CNN을 사용하여 추출한 운전자의 상태 정보 또는 행동 정보와 RNN 기반의 인코더를 이용하여 추출한 운전자의 인지 정보 및 반응 정보 벡터를 CNN 리그레서를 이용하여 맵핑하고, 데이터 획득 과정, 전처리 과정, 데이터 분류 과정을 포함하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석하는 단계; 및
상기 분석된 연관 관계를 이용하여 자율주행 차량에 대한 복합 인터렉션을 수행하는 단계
를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항에 있어서,
운전자 뇌파 정보는,
상기 운전자의 인지 정보 또는 반응 정보를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항에 있어서,
상기 운전자 상황 정보는,
상기 운전자의 상태 정보 또는 행동 정보를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항에 있어서,
자율주행 차량의 외부에 대한 외부 센싱정보를 획득하는 단계
를 더 포함하고,
상기 자율주행 차량에 대한 복합 인터렉션을 수행하는 단계는,
상기 분석된 연관 관계에 상기 획득한 외부 센싱정보를 추가 반영하여 자율주행 차량에 대한 복합 인터렉션을 수행하는 단계
를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항에 있어서,
상기 운전자 상황 정보를 추출하는 단계는,
GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) 인코더 네트워크를 이용하여, 상기 획득하는 뇌파로부터 운전자 인지 정보 또는 반응 정보를 추출하는 단계
를 더 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항에 있어서,
상기 뇌파로부터 상기 운전자 뇌파 정보를 추출하는 단계는,
시간 분석을 기반으로 하는 LSTM을 이용하는 인코더 네트워크(encoder network)를 학습하여, 비전-BCI 정보 학습을 위한 연계 네트워크를 생성하고, 상기 생성된 연계 네트워크를 이용하여 상기 뇌파로부터 상기 운전자 뇌파 정보를 추출하는 단계
를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제6항에 있어서,
상기 연계 네트워크는,
뇌파를 입력으로 하여 벡터 형태의 운전자 뇌파 정보를 출력하는 RNN(Recurrent Neural Networks) 기반의 네트워크인 것을 특징으로 하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항에 있어서,
상기 신경망을 이용하여 상기 영상으로부터 운전자 상황 정보를 추출하는 단계는,
사전에 학습된 CNN을 사용하여 상기 영상으로부터 상기 운전자의 상태 정보 또는 행동 정보를 추출하는 단계
를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항에 있어서,
상기 운전자 뇌파 정보와 상기 운전자 상황 정보를 매핑하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석하는 단계는,
상기 추출한 운전자 상황 정보와 상기 추출한 운전자 뇌파 정보를 CNN 리그레서(regressor)를 이용하여 맵핑하는 단계
를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항에 있어서,
주행하고 있지 않은 상태의 운전자로부터 측정한 뇌파 및 상기 연관 관계에 기초하여 상기 운전자의 현재 감정에 대응하는 영상을 생성하는 단계
를 더 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 방법.
제1항 내지 제10항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
운전자로부터 측정한 뇌파를 획득하는 뇌파 획득부;
상기 획득하는 뇌파로부터 상기 운전자의 인지 정보 또는 반응 정보를 포함하는 운전자 뇌파 정보를 추출하는 운전자 뇌파 정보 추출부;
신경망을 이용하여 차량에 설치된 카메라로부터 촬영되는 영상으로부터 운전자 상황 정보를 추출하는 운전자 상황 정보 추출부;
상기 운전자 뇌파 정보와 상기 운전자 상황 정보를 DNN 기반의 모델을 이용하여 매핑하되, CNN을 사용하여 추출한 운전자의 상태 정보 또는 행동 정보와 RNN 기반의 인코더를 이용하여 추출한 운전자의 인지 정보 및 반응 정보 벡터를 CNN 리그레서를 이용하여 맵핑하고, 데이터 획득 과정, 전처리 과정, 데이터 분류 과정을 포함하여 운전자의 뇌의 인지 정보와 운전자가 습득한 시각 정보 간의 연관 관계를 분석하는 연관 관계 분석부; 및
상기 분석된 연관 관계를 이용하여 자율주행 차량에 대한 복합 인터렉션을 수행하는 인터렉션 처리부
를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.
제12항에 있어서,
운전자 뇌파 정보는,
상기 운전자의 인지 정보 또는 반응 정보를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.
제12항에 있어서,
상기 운전자 상황 정보는,
상기 운전자의 상태 정보 또는 행동 정보를 포함하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.
제12항에 있어서,
자율주행 차량의 외부에 대한 외부 센싱정보를 획득하는 외부 센싱부
를 더 포함하고,
상기 인터렉션 처리부는,
상기 분석된 연관 관계에 상기 획득한 외부 센싱정보를 추가 반영하여 자율주행 차량에 대한 복합 인터렉션을 수행하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.
제12항에 있어서,
상기 운전자 상황 정보 추출부는,
GAN(Generative Adversarial Networks) 기반의 LSTM(Long Short-Term Memory models) 인코더 네트워크를 이용하여, 상기 획득하는 뇌파로부터 운전자 인지 정보 또는 반응 정보를 추출하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.
제12항에 있어서,
상기 운전자 뇌파 정보 추출부는,
시간 분석을 기반으로 하는 LSTM을 이용하는 인코더 네트워크(encoder network)를 학습하여, 비전-BCI 정보 학습을 위한 연계 네트워크를 생성하고, 상기 생성된 연계 네트워크를 이용하여 상기 뇌파로부터 상기 운전자 뇌파 정보를 추출하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.
제17항에 있어서,
상기 연계 네트워크는,
뇌파를 입력으로 하여 벡터 형태의 운전자 뇌파 정보를 출력하는 RNN(Recurrent Neural Networks) 기반의 네트워크인 것을 특징으로 하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.
제12항에 있어서,
상기 운전자 상황 정보 추출부는,
사전에 학습된 CNN을 사용하여 상기 영상으로부터 상기 운전자의 상태 정보 또는 행동 정보를 추출하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.
제12항에 있어서,
상기 연관 관계 분석부는,
상기 추출한 운전자 상황 정보와 상기 추출한 운전자 뇌파 정보를 CNN 리그레서(regressor)를 이용하여 맵핑하는 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치.