KR20210000876A

KR20210000876A - 오류 모니터링을 이용한 모빌리티 제어 방법 및 장치

Info

Publication number: KR20210000876A
Application number: KR1020190076122A
Authority: KR
Inventors: 강정수; 동서연
Original assignee: 현대자동차주식회사; 숙명여자대학교산학협력단; 기아자동차주식회사
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2021-01-06
Also published as: DE102020116885A1; US20200406901A1; CN112141116A; US11667297B2

Abstract

오류 모니터링에 기초한 모빌리티 제어 방법 및 장치가 제공된다. 본 개시의 모빌리티 제어 방법은 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집하는 단계, 상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정하는 단계 및 상기 오류 인자에 기초하여 모빌리티 피드백을 수행하는 단계를 포함하는 모빌리티 제어 방법을 포함한다.

Description

오류 모니터링을 이용한 모빌리티 제어 방법 및 장치{VEHICLE CONTROLLING METHOD AND APPARATUS USING ERROR MONITORING}

본 발명은 모빌리티 제어 방법 및 장치에 관한 것이다. 구체적으로, 오류 모니터링을 기반으로 하는 모빌리티 제어 방법 및 장치에 관한 것이다.

차량은 운송수단의 하나로서 현대인이 삶을 영위하는데 있어 매우 중요한 수단이자 도구이다. 나아가 어떤 누구에게는 차량은 그 자체로서 어떤 의미가 부여될 수 있는 특별한 존재로 간주될 수도 있다.

기술이 발전함에 따라 차량이 제공할 수 있는 기능도 점차 진화하고 있다. 예를 들어, 최근의 차량은 단순히 탑승자를 목적지까지 이동시켜주는 것에 그치지 않고, 탑승자의 니즈를 고려하여 보다 더 편안하고 안전하고 빠르게 목적지까지 이동시켜줄 수 있도록 개발되고 있다. 또한, 탑승자의 심미감, 편안함 등을 충족시켜주기 위한 새로운 장치가 차량 시스템에 추가되고 있다. 또한, 핸들, 변속기, 가속/감속 장치 등과 같은 기존의 장치들도 조작을 통해 더 많은 기능을 사용자에게 제공할 수 있도록 개발되고 있다. 이에 따라, 최근 탑승자의 의도나 심리상태를 이해하고 이를 반영하여 차량을 제어하는 연구가 시도되고 있다.

한편, 뇌-컴퓨터 인터페이스 또는 뇌-기계 인터페이스는 뇌파 신호를 이용하여 사람의 의도에 따라 컴퓨터 또는 기계를 제어하는 분야로서, 주로 인지 기능과 밀접한 관련이 있는 사건유발전위(ERP, Event-Related Potential)가 상기 연구를 수행하는데 이용되고 있다.

본 발명은 오류 모니터링을 이용한 모빌리티 제어 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 반응 잠금(response-locked) 사건유발전위를 이용하여 오류 모니터링을 함으로써 탑승자의 니즈가 반영된 모빌리티 제어 방법 및 장치를 제공하는 것을 목적으로 한다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따르면, 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집하는 센싱부; 상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정하는 오류 모니터링부; 및 상기 오류 인자에 기초하여 모빌리티 피드백을 수행하는 제어부를 포함하는 모빌리티 제어 장치가 제공될 수 있다.

일 실시예에 따른 상기 사건유발전위는 오류 관련 부적전위(ERN, Error-Related Negativity) 및 오류 정적전위(Pe, Error Positivity) 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 상기 사건유발전위는 정반응 관련 부적전위(CRN, Correct-Related Negativity) 및 정반응 정적전위(Pc, Correct Positivity) 중 적어도 하나를 더 포함할 수 있다.

일 실시예에 따른 상기 오류 인자는 상기 사건유발전위를 야기시킨 상기 탑승자, 상기 탑승자 이외의 타인, 및 상기 모빌리티와 다른 모빌리티의 동작 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 상기 모빌리티 피드백은 상기 모빌리티에 포함된 소정의 장치를 제어하는 것일 수 있다.

일 실시예에 따른 상기 분석은 상기 소정의 시간 동안 수집된 사건유발전위의 크기와 소정의 임계값을 비교하는 것일 수 있다.

일 실시예에 따른 상기 소정의 임계값은 상기 사건유발전위의 종류 및 상기 사건유발전위가 획득되는 탑승자 중 적어도 하나에 따라 다르게 결정될 수 있다.

일 실시예에 따른 상기 오류 모니터링부는 상기 소정의 시간 동안 수집된 사건유발전위의 크기가 상기 소정의 임계값 범위를 벗어나는 경우, 소정의 사건을 상기 탑승자에 관한 오류 인자로 결정할 수 있다.

일 실시예에 따른 상기 소정의 사건은 상기 사건유발전위의 크기와 상기 소정의 임계값과의 비교결과 및 복수의 사건들간의 매핑관계로부터 유도되는 것일 수 있다.

일 실시예에 따른 상기 소정의 임계값은 제1 임계값 및 제2 임계값을 포함하고, 상기 소정의 사건은 제1 사건, 제2 사건 및 제3 사건을 포함하고, 상기 사건유발전위가 상기 제1 임계값보다 큰 경우, 상기 소정의 사건은 상기 제1 사건에 매핑되고, 상기 사건유발전위가 상기 제2 임계값보다 작은 경우, 상기 소정의 사건은 상기 제3 사건에 매핑되고, 상기 소정의 사건이 상기 제1 사건 및 상기 제3 사건이 아닌 경우, 상기 소정의 사건은 상기 제2 사건에 매핑될 수 있다.

일 실시예에 따른 상기 센싱부는 상기 모빌리티 내의 적어도 하나의 탑승자의 뇌파 신호를 측정하고, 상기 측정된 뇌파 신호에서 상기 사건유발전위를 검출하고, 상기 사건유발전위는 반응 잠금 사건유발전위를 포함할 수 있다.

일 실시예에 따른 상기 분석은 상기 사건유발전위의 크기가 소정의 시간 구간 동안 소정의 임계값 범위 내에 있는지를 판단하는 것일 수 있다.

일 실시예에 따른 상기 분석은 상기 적어도 하나의 탑승자에 대한 뇌파 신호 템플릿을 이용하여 수행되고, 상기 뇌파 신호 템플릿은 상기 오류 인자의 발생 이후 소정의 시간 범위 내에서 미리 획득된, 시간 평면에서의 뇌파 신호일 수 있다.

또한, 본 발명에 따르면, 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집하는 단계; 상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정하는 단계; 및 상기 오류 인자에 기초하여 모빌리티 피드백을 수행하는 단계를 포함하는 모빌리티 제어 방법이 제공될 수 있다.

일 실시예에 따른 상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정하는 단계는, 상기 소정의 시간 동안 수집된 사건유발전위의 크기가 상기 소정의 임계값 범위를 벗어나는 경우, 소정의 사건을 상기 탑승자에 관한 오류 인자로 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집하는 단계는, 상기 모빌리티 내의 적어도 하나의 탑승자의 뇌파 신호를 측정하고, 상기 측정된 뇌파 신호에서 상기 사건유발전위를 검출하고, 상기 사건유발전위는 반응 잠금 사건유발전위를 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 발명에 따르면, 오류 모니터링을 이용한 모빌리티 제어 방법 및 장치가 제공될 수 있다.

또한, 본 발명에 따르면, 반응 잠금(response-locked) 사건유발전위를 이용하여 오류 모니터링을 함으로써 탑승자의 니즈가 반영된 모빌리티 제어 방법 및 장치가 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 ERN의 일반적인 파형을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 ERN 및 Pe의 일반적인 파형을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 Pe의 편향 특성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 ERP 및 Pe의 측정 영역을 나타내는 도면이다.
도 5은 본 발명의 일 실시예에 따른 ERN 및 CRN의 일반적인 파형을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 대뇌피질 영역에 대응되는 뇌파측정 채널을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 오류 모니터링을 이용한 모빌리티 제어 장치의 구성을 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 대상 사건유발전위가 ERN 및 Pe일 때의 측정 시간 범위를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 대상 사건유발전위가 ERN 및 Pe일 때 소정의 임계값과 비교하는 과정을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 오류 모니터링을 이용한 모빌리티 제어 장치의 동작방법을 나타내는 흐름도이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시예들에 대해서 설명한다.

뇌파 신호(또는 뇌 신호, brain wave)는 두뇌를 구성하는 신경세포들의 전기적 활동으로서, 인간의 의식 또는 무의식의 상태를 직간접으로 반영하는 생체 신호를 의미한다. 인간의 두피 모든 영역에서 측정될 수 있으며, 주로 30Hz 이하의 주파수로 수십 마이크로 볼트의 전위차를 가진 파장으로서, 뇌 활동 상태에 따라 다양한 파형이 나타날 수 있다. 뇌파 신호를 이용하여 사람의 의도에 따른 인터페이스 제어에 관한 연구가 시도되고 있다. 뇌파 신호는 뇌의 활동에 의한 전기적 신호를 이용하는 뇌전도(EEG, Electro Encephalo Graphy), 전기적 신호와 함께 유발되는 자기적 신호를 이용하는 뇌자도(MEG, Magneto encephalo graphy), 혈중 산소포화도의 변화를 이용하는 기능적 자기공명영상(fMRI, functional Magnetic Resonance Imaging) 또는 기능적 근적외선 분광법(fNIRS, Near-Infrared Spectroscopy) 등의 방식을 이용하여 획득될 수 있다. fMRI 또는 fNIRS는 뇌의 활동을 측정하는데 유용한 기술이나, 일반적으로, fMRI는 시간 해상도(time-resolution)가 떨어지며, fNIRS는 공간 해상도(spatial-resolution)가 떨어지는 한계가 있으며, 휴대성이나 시간 분해 능력이 뛰어난 EEG 신호가 많이 이용되고 있다.

뇌파 신호는 뇌의 활동에 따라 시공간적으로 변화하게 되며, 일반적으로 뇌파 신호를 해석하기가 어렵고 그 파형을 시각적으로 분석하기가 용이하지 않기 때문에 이를 처리하기 위한 다양한 방법들이 제시되고 있다.

일 예로, 뇌파 신호의 진동수(주파수)에 따라 주파수 대역별로 뇌파 신호를 분류할 수 있다(파워 스펙트럼 분류). 상기 분류는 측정되는 뇌파 신호를 특정한 주파수별 단순 신호들의 선형적 합으로 간주하여, 각각의 주파수 성분별로 분해하고 그 크기를 표시한 것이다. 주파수별 뇌파 신호는 일반적으로 잡음을 제거하기 위한 전처리(pre-processing), 주파수 영역으로의 변환을 위한 푸리에 변환 및 대역필터(BPF) 등을 이용하여 획득할 수 있다.

구체적으로, 주파수 대역에 따라 델타(delta)파, 세타(theta)파, 알파(alpha)파, 베타(beta)파, 감마(gamma)파로 분류될 수 있다. 델타파는 일반적으로 3.5Hz 이하의 주파수를 가진 뇌파로서, 20~200μV의 진폭을 보이며 정상인의 깊은 수면 상태나 신생아들에게서 주로 나타난다. 또한, 각성이 떨어질수록 증가할 수 있다. 세타파는 일반적으로 3.5 ~ 7Hz의 주파수를 가진 뇌파로서, 정서적으로 안정된 상태나 수면 상태에서 주로 나타난다. 또한, 주로 두정엽과 후두엽에서 주로 발생되며, 기억을 회상하거나 명상 등의 조용한 집중 상태에서 나타날 수 있다. 알파파는 일반적으로 8 ~ 12Hz의 주파수를 가진 뇌파로서, 긴장이 이완된 편안한 상태에서 주로 나타난다. 또한, 휴식 상태의 후두엽에서 주로 발생되며 수면 상태에서는 약해질 수 있다. 베타파는 일반적으로 13 ~ 30Hz의 주파수를 가진 뇌파로서, 약간의 긴장상태나 일정 이상의 주의를 기울일 때 주로 나타난다. 또한, 주로 전두엽에서 발생되고, 각성 상태나 집중적 뇌 활동과 연관되며, 병리적 현상 및 약물 효과와 관련이 있으며, 뇌 전체에서 광범위하게 나타날 수 있다. 또한, 보다 세분하여, 상기 베타파는 13 ~ 15Hz의 주파수를 가진 SMR파, 15 ~ 18Hz의 주파수를 가진 중간 베타파, 20Hz 이상의 고 베타파로 구분될 수 있으며, 베타파는 불안, 긴장 등의 스트레스를 받을 때 더욱 강하게 나타나기 때문에 스트레스파라고 지칭된다. 감마파는 일반적으로 30 ~ 50Hz의 주파수를 가진 뇌파로서, 강한 흥분 상태 또는 고도의 인지 정보 처리 과정에서 주로 나타난다. 또한, 의식적 각성 상태와 REM 수면시 나타날 수 있으며, 베타파와 중복되어 나타날 수 있다.

상기 주파수 대역별 뇌파 신호 각각은 특정 인지 기능(cognitive function)과 관련이 있으며, 예를 들어, 델타파는 수면 기능과 관련이 있고, 세타파는 작업 기억(working memory)과 관련이 있고, 알파파는 주의 집중(attention)이나 억제(inhibition) 기능과 관련이 있는 등 뇌파 신호의 주파수 대역별 속성은 특정 인지 기능을 선택적으로 나타낸다고 볼 수 있다. 또한, 상기 주파수 대역별 뇌파 신호는 머리 표면의 각 측정 부위마다 조금씩 다른 양상을 나타낼 수 있다. 대뇌피질은 전두엽(Frontal Lobe), 두정엽(Parietal Lobe), 측두엽(Temporal Lobe), 후두엽(Occipital Lobe) 등으로 구분할 수 있으며, 담당 역할이 조금씩 다를 수 있다. 예를 들어, 뒤통수에 해당하는 후두엽에는 일차 시각피질이 있기 때문에 일차적인 시각 정보 처리를 담당하며, 정수리 근처에 해당하는 두정엽에는 체성감각 피질이 있기 때문에 운동/감각관련 정보 처리를 담당할 수 있다. 또한, 전두엽은 기억력과 사고력에 관한 정보 처리를 담당할 수 있으며, 측두엽은 청각과 후각에 관한 정보 처리를 담당할 수 있다.

한편, 다른 예로, 사건유발전위(ERP, Event-Related Potential)를 이용하여 뇌파 신호를 분석할 수 있다. ERP는 외부의 자극이나 내부의 심리적 과정과 관련하여 뇌에서 발생하는 전기적인 변화로서, 특정한 정보(예를 들어, 영상, 음성, 소리, 수행명령 등)를 내포하고 있는 자극을 제시한 다음 일정 시간 후에 상기 자극이 유발한 뇌의 전기적 활성도가 포함된 신호를 의미한다.

ERP를 분석하기 위해 잡음(noise)으로부터 신호(signal)를 분리하는 과정이 필요하며, 주로 평균화(averaging) 하는 방법을 이용할 수 있다. 구체적으로, 자극이 제시된 시간을 기준으로 측정된 뇌파들을 평균함으로써, 자극과 무관한 뇌파 신호는 제거되고 자극 처리에 공통으로 관여한 뇌 활동인 유발전위만을 추려낼 수 있다.

ERP는 높은 시간해상도를 가지고 있기 때문에 인지 기능 연구와 밀접한 관련이 있는 것으로서, 외부의 자극에 의해 유발되거나(evoked) 내부의 상태와 관련이 있는(related) 전기적인 현상이다. ERP는 자극의 종류에 따라 청각, 시각, 체감, 후각 관련 전위로 구분할 수 있으며, 자극의 성질에 따라 외인성(exogenous) ERP와 내인성(endogenous) ERP로 구분할 수 있다. 외인성 ERP는 외부의 자극에 의하여 파(wave)의 모양이 결정되는 것으로서, 자동과정(automatic processing)과 관련이 있으며 주로 자극을 준 초기에 나타난다. 예를 들어, 외인성 ERP에는 뇌간전위(brainstem potentials) 등이 있다. 반면, 내인성 ERP는 자극과 관계없이 내부의 인지 과정에 의하여 심리적 과정이나 상태에 따라 결정되는 것으로서, 통제 과정(controlled processing)과 관련이 있다. 예를 들어, 내인성 ERP에는 P300, N400, P600, CNV(Contingent Negative Variation) 등이 있다.

ERP 피크(peak)에 주어진 명칭은 보통 극성과 잠복기를 포함하며, 각 신호의 피크마다 개별적인 정의와 의미를 가진다. 예를 들어, 양 전위는 P, 음 전위는 N이라 하고, P300은 자극의 제시 후 300ms 전후 시점에서 측정되는 양(positive)의 피크를 의미한다. 또한, 나타나는 순서에 따라 1, 2, 3 또는 a, b, c 등을 붙이기도 하는, 예를 들어, P3는 자극 후 파형에서 세 번째 나타나는 양 전위를 의미한다.

이하에서는, 다양한 ERP에 대하여 후술한다.

일 예로, N100은 예측할 수 없는 자극에 대한 반응과 관련이 있다.

MMN(Mismatch Negativity)은 주의집중이 된 자극뿐만 아니라 주의집중이 안된 자극에도 발생될 수 있으며, 초기 주의집중 전 감각기억(잔향기억(echoic memory))의 작동여부에 대한 지표로 이용될 수 있다. 후술할 P300이 주의를 집중하고 판단하는 과정에서 나타나는 것에 비하여 MMN은 주의력을 집중하기 전 뇌에서 일어나는 과정의 일종으로 해석된다.

다른 예로, N200(또는 N2)은 주로 시각자극과 청각자극에 따라 발생하며, 후술하는 P300과 함께 주의집중 후 기억의 형태인 단기기억(short-term memory) 또는 장기기억(long-term memory)과 관련이 있다.

또 다른 예로, P300(또는 P3)은 주로 자극에 대한 주의력, 자극 인지, 기억 탐색, 불확실감의 해소 등을 반영한 것으로서 외부에서 들어오는 자극을 구별하는 지각적 결정(perceptual decision)과 관련이 있다. P300의 발생은 인지 기능과 관련이 있기 때문에 제시되는 자극의 종류에 관계없이 발생한다. 예를 들어, 청각자극, 시각자극, 체성자극 등에서 모두 P300이 발생할 수 있다. P300는 뇌-컴퓨터 인터페이스 연구에 널리 응용되고 있다.

또 다른 예로, N400은 언어처리와 관련된 것으로서, 의미론적인 오류가 있는 문장, 의미론적인 오류가 있는 청각자극 등이 제공될 때 유발된다. 또한, N400은 기억과정과 관련이 있으며, 장기 기억으로부터 정보를 인출하거나 탐색하는 과정을 반영할 수 있다.

또 다른 예로, P600은 재구성(reconstruction) 또는 회상 과정(recollective process)을 나타내는 지표로서, 장기 기억에 저장되어 있는 정보를 근거로 하여 자극을 더욱 정교하게 처리하는 과정과 관련이 있다.

또 다른 예로, CNV는 200 ~ 300ms부터 몇 초까지 나타나는 후반부의 전위로서 slow potentials(SPs)이라 하며, 기대(expectancy), 준비(preparation), 정신점화(mental priming), 연합과정, 주의집중, 운동기능(motor activity)과 관련이 있다.

또 다른 예로, 오류 관련 부적전위(ERN, Error-Related Negativity 또는 Ne, error negativity)는 실수나 오류에 의해 발생되는 사건유발전위로서, 피험자가 감각운동과제나 또는 그와 유사한 과제에서 실수를 한 경우 유발될 수 있다. 구체적으로, ERN은 피험자가 실수나 오류를 인지했을 때 약 50 ~ 150ms동안 음(negative)의 피크가 주로 전두, 중앙(frontal, central) 영역에서 발생되며, 특히 동작 반응(motor response)과 관련된 실수가 발생될 수 있는 상황에서 나타날 수 있으며, 부정적인 자가 판단을 가리키는데 이용될 수 있다.

이하에서는, ERN의 주요 특징에 대해서 보다 상세하게 후술한다.

도 1은 본 발명의 일 실시예에 따른 ERN의 일반적인 파형을 나타내는 도면이다.

도 1을 참조하면, 가로축을 기준으로 상단에 음전위 값이 표시되어 있으며, 가로축을 기준으로 하단에 양전위 값이 표시되어 있다. 또한, 임의의 동작에 대한 반응의 발생(response onset) 이후 소정의 시간 범위 내에서 음의 피크값을 가지는 사건유발전위가 발생됨을 확인할 수 있다. 여기서, 상기 반응은 실수나 오류가 발생된 경우(Error Response)를 의미할 수 있다. 또한, 상기 소정의 시간 범위는 약 50 ~ 150ms를 의미할 수 있다. 또는, 상기 소정의 시간 범위는 약 0 ~ 100ms를 의미할 수 있다. 한편, 올바른 응답을 한 경우(Correct Response)에도, ERN보다는 상대적으로 작은 음의 피크를 가지는 사건유발전위가 발생됨을 알 수 있다.

ERN은 초기 부적전위의 ERP로서, 응답 오류가 발생할 때까지 잠겨있다(time-locked). 또한, ERN은 행동 모니터링과 관련된 도파민성 시스템의 강화 활동을 반영하는 것으로 알려져 있으며, 앞쪽 대상(rostral cingulate) 영역을 포함한 전두-줄무늬체 회로(fronto-striatal loop)를 포함하고 있다. 한편, 도파민은 일반적으로 특정한 행동을 형성하여 사람으로 하여금 동기를 유발함으로써 즐거움과 재강화의 기분을 제공하는 뇌의 보상 시스템과 관련되어 있으며, 적절한 보상을 얻는 행동이 반복되면 습관으로서 학습이 된다. 또한, 감정 학습을 통해 더 많은 도파민의 분비가 일어나게 되고 상기 도파민 분비에 따라 새로운 행동을 시도하게 된다. 이와 같이, 보상에 의해 유도된 학습을 강화 학습이라 한다.

또한, ERN은 전두엽 리드를 통해 간섭 태스크(예를 들어, Go-noG0, Stroop, Flanker, Simon 태스크 등)를 수행하는 동안 야기된 잘못된 응답의 발생 후 0 ~ 100ms 사이에 발현될 수 있다.

또한, ERN은 후술할 CRN과 함께 올바른 행동과 잘못된 행동을 구별할 수 있는 일반적인 행동 모니터링 시스템의 활동을 반영한다고 알려져 있다.

또한, ERN이 전두엽 전극에서 최대 진폭에 도달하는 사실은 대뇌 내 생성기가 앞쪽 대상 영역 또는 등쪽 전방 대상 피질(dorsal anterior cingulate cortex, dACC)에 위치하는 것을 반영하는 것으로 알려져 있다.

또한, ERN은 부정적인 정서 상태에 따라 진폭의 변화를 보일 수 있다.

또한, ERN은 내부 동작 표현과 다르게 외부 평가 피드백 처리를 기반으로 동작 모니터링을 수행하는 상황에서도 보고될 수 있으며, 후술할 FRN으로 분류될 수 있다.

또한, ERN은 실수나 오류를 인지한 경우뿐만 아니라 상기 실수나 오류를 인지하기 전에도 발생될 수 있다.

또한, ERN은 자신의 실수나 오류에 대한 반응으로 발생될 뿐만 아니라 타인의 실수나 오류에 대해서도 그에 대한 반응으로 발생될 수 있다.

또한, ERN은 실수나 오류에 대한 반응으로 발생될 뿐만 아니라 소정의 수행 과제 또는 대상에 대한 불안감, 스트레스에 대한 반영으로서 발생될 수 있다.

한편, 또 다른 예로, 오류 정적전위(Pe, Error Positivity)는 ERN에 이어 발생되는 사건유발전위로서, 실수나 오류 후 약 150 ~ 300ms 사이에 주로 전두엽 전극 부위에서 발생되는 양의 값을 갖는 사건유발전위이다. Pe는 실수나 오류를 자각하고 주위를 더 기울이는 반응으로 알려져 있으며, 즉 오류 탐지 이후의 의식적인 오류 정보 처리 과정의 지표와 관련이 있다. ERN과 Pe는 오류 모니터링과 관련되는 사건유발전위로 알려져 있다.

이하에서는, Pe의 주요 특징에 대해서 보다 상세하게 후술한다.

도 2는 본 발명의 일 실시예에 따른 ERN 및 Pe의 일반적인 파형을 나타내는 도면이다.

도 2를 참조하면, 상단에 음전위 값이 표시되어 있으며, 하단에 양전위 값이 표시되어 있다. 또한, 임의의 동작에 대한 반응의 발생(response onset) 이후 제1 소정의 시간 범위 내에서 음의 피크값을 가지는 사건유발전위, 즉 ERN가 발생됨을 확인할 수 있다. 여기서, 상기 반응은 실수나 오류가 발생된 경우(Error Response)를 의미할 수 있다. 또한, 상기 제1 소정의 시간 범위는 약 50 ~ 150ms를 의미할 수 있다. 또는, 상기 제1 소정의 시간 범위는 약 0 ~ 200ms를 의미할 수 있다.

또한, 상기 ERN의 발생 이후 제2 소정의 시간 범위 내에서 양의 피크값을 가지는 사건유발전위, 즉 Pe가 발생됨을 확인할 수 있다. 여기서, 상기 제2 소정의 시간 범위는 오류 발생 이후 약 150 ~ 300ms를 의미할 수 있다. 또는, 상기 제2 소정의 시간 범위는 약 200 ~ 400ms를 의미할 수 있다.

도 3은 본 발명의 일 실시예에 따른 Pe의 편향 특성을 나타내는 도면이다.

도 3을 참조하면, Pe는 P3와 유사하게 넓은 편향 특성을 가지며, 신경총 생성기가 후대상피질 및 뇌섬엽피질 영역뿐 아니라 더 많은 앞쪽 전방 대상 피질을 포함한다.

또한, Pe는 오류의 정서적 평가, P300과 같은 자극에 대한 집중 등을 반영할 수 있다. 또한, ERN은 맞는 반응과 틀린 반응 사이의 갈등을 나타내며, Pe는 실수를 자각하고 주의를 더 기울이는 반응이라고 알려져 있다. 즉, ERN은 자극을 탐지하는 과정에서 발생하고, Pe는 자극의 처리 과정에서 주의 여부에 따라 발생할 수 있다. ERN 및/또는 Pe의 값이 각각 상대적으로 큰 값을 갖는 경우, 이는 실수 후 더 천천히 더 정확한 반응을 하려는 적응적인 행동과 관련이 있는 것으로 알려져 있다.

도 4는 본 발명의 일 실시예에 따른 ERP 및 Pe의 측정 영역을 나타내는 도면이다.

ERN 및 Pe는 오류 모니터링과 관련되는 사건유발전위로 알려져 있으며, ERN 및 Pe의 측정 영역은 일반적으로 central 영역에서 각각 가장 큰 음의 값 및 양의 값이 측정될 수 있으나, 측정 조건에 따라 다소간의 차이가 있을 수 있다. 일 예로, 도 4의 (a)는 ERN이 측정되는 주요 영역으로서, ERN은 일반적으로 midline frontal 또는 central 영역(즉, FCZ)에서 가장 큰 음의 값이 측정될 수 있다. 또한, 도 4의 (b)는 Pe가 측정되는 주요 영역으로서, Pe는 일반적으로 ERN보다는 좀더 후방의(posterior) midline 영역에서 큰 양의 값이 측정될 수 있다.

한편, 또 다른 예로, 피드백관련 부적전위(FRN, Feedback-Related Negativity)는 외부 평가 피드백에 기초하여 오류 검출이 획득되는 것과 관련된 사건유발전위이다. ERN 및/또는 Pe는 내부 모니터링 프로세스에 기초하여 오류 검출을 하지만, FRN의 경우 외부 평가 피드백에 기초하여 획득될 때 ERN의 프로세스와 유사하게 동작할 수 있다.

또한, FRN은 ERN과 많은 전기 생리학적 성질을 공유할 수 있다. 예를 들어, FRN은 부정적인 피드백 발생 후 약 250 ~ 300ms 사이에 전두엽 전극에서 음의 값의 피크를 가지며, ERN과 동일한 등쪽 전방 대상 피질 영역에서 생성될 수 있다.

또한, FRN은 ERN과 유사하게 도파민성 시스템에 의한 강화 학습의 활동을 반영할 수 있다. 또한, FRN은 보통 양의 피드백에 비해 음의 값이 더 크며, 예측 가능한 결과에 비해 예측하지 못한 경우에 그 값이 더 클 수 있다.

또 다른 예로, 정반응 관련 부적전위(CRN, Correct-Related Negativity)는 올바른 응답(correct trial)을 한 경우 생성되는 ERP로서, ERN보다는 상대적으로 작은 크기를 갖은 음수이며 ERN과 동일한 초기 잠복기(예를 들어, 0 ~ 100ms) 사이에 생성될 수 있다. 도 5은 본 발명의 일 실시예에 따른 ERN 및 CRN의 일반적인 파형을 나타내는 도면이다.

또 다른 예로, 정반응 정적전위(Pc, Correct Positivity)는 CRN에 이어 발생되는 사건유발전위로서, 올바른 응답 이후 약 150 ~ 300ms 사이에 발생되는 사건유발전위이다. CRN과 Pc의 관계는 전술한 ERN과 Pe의 관계와 유사할 수 있다.

한편, ERP는 자극 잠금(stimulus-locked) ERP와 반응 잠금(response-locked) ERP로 구분할 수 있다. 상기 자극 잠금 ERP와 반응 잠금 ERP는 사건유발전위의 유발 원인, 반응 시점 등의 기준에 따라 구분될 수 있다. 예를 들어, 외부에서 사용자에게 글이나 그림을 제시했을 때로부터 유발되는 ERP를 자극 잠금 ERP라 할 수 있다. 또한, 예를 들어, 사용자가 말을 했을 때 또는 버튼을 눌렀을 때로부터 유발되는 ERP를 반응 잠금 ERP라 할 수 있다. 따라서, 상술한 기준에 따를 때, 일반적으로 자극 잠금 ERP에는 N100, N200, P2, P3 등이 있고, 반응 잠금 ERP는 ERN, Pe, CRN, Pc, FRN 등이 있다.

한편, 뇌파는 발현 동기에 따라 구분할 수 있는데, 사용자의 의지에 의해 발현되는 자발적 뇌파(자발전위)와 사용자의 의지에 관계없이 외부 자극에 따라 자연스럽게 발현되는 유발적 뇌파(유발전위)로 구분할 수 있다. 자발적 뇌파는 사용자 스스로 움직이거나 어떤 동작을 상상했을 때 발현될 수 있으며, 유발적 뇌파는, 예를 들어 시각, 청각, 후각, 촉각 등의 자극에 의해 발현될 수 있다.

한편, 뇌파 신호는 10-20 국제시스템(International 10-20 system)에 의거하여 측정될 수 있다. 10-20 국제시스템은 뇌파 신호 측정점을 전극의 위치와 대뇌피질 영역의 관계에 기초하여 결정하고 있다.

도 6은 본 발명의 일 실시예에 따른 대뇌피질 영역에 대응되는 뇌파측정 채널을 나타내는 도면이다.

도 6을 참조하면, 뇌 영역별(전전두엽 FP1, FP2; 전두엽 F3, F4, F7, F8, FZ, FC3, FC4, FT7, FT8, FCZ; 두정엽 C3, C4, CZ, CP3, CP4, CPZ, P3, P4, PZ; 측두엽 T7, T8, TP7, TP8, P7, P8; 후두엽 O1, O2, OZ)로 32개의 뇌파측정 채널에 대응되어 있다. 상기 각각의 채널에 대해 데이터를 획득하고 이를 이용하여 각 대뇌피질 영역에 대한 분석을 수행할 수 있다.

도 7은 본 발명의 일 실시예에 따른 오류 모니터링을 이용한 모빌리티 제어 장치의 구성을 나타내는 블록도이다.

도 7을 참조하면, 모빌리티 제어 장치(700)는 센싱부(710), 오류 모니터링부(720) 및/또는 제어부(730)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 모빌리티 제어 장치(700)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다. 예컨대, 둘 이상의 구성부가 하나의 구성부 내에서 구현될 수도 있고, 하나의 구성부에서 실행되는 동작이 분할되어 둘 이상의 구성부에서 실행되도록 구현될 수도 있다. 또한, 일부 구성부가 생략되거나 부가적인 구성부가 추가될 수도 있다.

본 개시의 모빌리티 제어 장치는 반응 잠금 사건유발전위를 이용하여 오류 발생에 관한 모니터링을 수행할 수 있다. 또한, 상기 모니터링을 수행함으로써 모빌리티를 제어할 수 있다. 일 실시예에 따른 센싱부(710)는 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집할 수 있다. 또한, 오류 모니터링부(720)는 상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정할 수 있다. 또한, 제어부(730)는 오류 모니터링부(720)에서 결정된 오류 인자에 기초하여 모빌리티 피드백을 수행할 수 있다.

한편, 상기 모빌리티는 차량, 이동/운송 장치 등의 의미를 포함할 수 있다.

구체적으로, 본 개시의 모빌리티 제어 장치는 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집할 수 있다.

여기서, 상기 사건유발전위는 반응 잠금 사건유발전위(response-locked ERP)를 의미할 수 있다. 또한, 상기 반응 잠금 사건유발전위는 ERN, Pe, CRN, Pc, FRN 등을 포함할 수 있다. 또한, 상기 ERN, Pe, CRN, Pc, FRN 이외에 소정의 응답이 발생(즉, response onset)한 이후 획득되는 기타 사건유발전위들도 포함될 수 있다. 또한, 상기 반응 잠금 사건유발전위는 복수의 사건유발전위들을 포함할 수 있다.

또한, 여기서, 상기 사건유발전위를 소정의 시간 동안 수집하는 것은 모빌리티 내의 적어도 하나의 탑승자의 뇌파 신호를 측정하고, 상기 측정된 뇌파 신호에서 사건유발전위를 검출하는 과정을 포함할 수 있다.

도 1 내지 도 6에서 상술한 바와 같이, ERN, Pe, CRN, Pc 및/또는 FRN은 오류나 실수 등의 잘못된 행동에 대한 반응 또는 올바른 행동에 대한 반응으로서 발생될 수 있다. 따라서, 상기 사건유발전위를 이용하면 해당 탑승자가 잘못된 동작을 수행했는지를 판단할 수 있으며, 또한, 상기 판단에 따라 모빌리티를 목적에 맞게 제어할 수 있다.

일 예로, 운전자가 우회전을 해야 하는데 좌회전을 한 경우. 좌회전을 해야 하는데 직진을 한 경우 ERN 및/또는 Pe가 발생될 수 있다.

다른 예로, 운전자가 네비게이션의 안내에 따라 운전하다가 상기 안내에 따른 동작을 수행하지 못한 경우, ERN 및/또는 Pe가 발생될 수 있다.

또 다른 예로, 운전자가 복잡하거나 초행길을 운전하는 등의 긴장되고 스트레스 받는 운전 상황인 경우, ERN 및/또는 Pe가 발생될 수 있다.

또한, 상기 소정의 시간은 특정 응답이 발생한 이후 약 0 ~ 400ms를 의미할 수 있다. 또한, 상기 소정의 시간은 전술한 반응 잠금 사건유발전위가 획득될 수 있는 시간 범위를 포함할 수 있다. 또한, 상기 소정의 시간은 반응 잠금 사건유발전위의 종류에 따라 달라질 수 있으며, 복수의 시간 범위를 가질 수 있다. 예컨대, 제1 사건유발전위를 획득하기 위해 제1 시간 범위가 주어지고 제2 사건유발전위를 획득하기 위해 제2 시간 범위가 주어질 수 있다.

일 예로, 제1 사건유발전위가 ERN이고, 제2 사건유발전위가 Pe인 경우, 제1 시간 범위는 ERN의 주요 측정 구간인 약 0 ~ 150ms이고, 제2 시간 범위는 Pe의 주요 측정 구간인 약 150 ~ 400ms일 수 있다. 도 8은 본 발명의 일 실시예에 따른 대상 사건유발전위가 ERN 및 Pe일 때의 측정 시간 범위를 나타내는 도면이다. 도 8을 참조하면, 제1 시간 범위(810)에서 ERN이 획득될 수 있고, 제2 시간 범위(820)에서 Pe가 획득될 수 있다.

다른 예로, 제1 사건유발전위가 ERN이고, 제2 사건유발전위가 CRN인 경우, 제1 시간 범위는 ERN의 주요 측정 구간인 약 0 ~ 200ms이고, 제2 시간 범위는 CRN의 주요 측정 구간인 약 0 ~ 200ms일 수 있다.

또한, 상기 탑승자는 모빌리티 내에 탑승하고 있는 운전자뿐만 아니라 그 외의 탑승자를 포함할 수 있다.

본 개시의 모빌리티 제어 장치는 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 성분을 결정할 수 있다.

여기서, 상기 분석은 상기 소정의 시간 동안 수집된 사건유발전위의 크기와 소정의 임계값을 비교하는 과정을 포함할 수 있다.

한편, 상기 임계값은 기설정된 값이거나 사용자가 입력한 값일 수 있다. 또한, 상기 임계값은 사건유발전위가 수집되는 탑승자마다 그 크기가 상이할 수 있다. 예컨대, 탑승자별 뇌파 신호 특성이 반영된 값일 수 있다. 상기 뇌파 신호의 특성을 분석한 결과를 반영하기 위해 미리 탑승자의 뇌파 신호에서 표출되는 반응 잠금 사건유발전위 특징들에 대해 소정의 학습 과정이 수행될 수 있다. 또한, 상기 임계값은 사건유발전위의 종류에 따라 달라질 수 있으며, 복수의 임계값을 가질 수 있다. 도 9는 본 발명의 일 실시예에 따른 대상 사건유발전위가 ERN 및 Pe일 때 소정의 임계값과 비교하는 과정을 나타내는 도면이다. 도 9를 참조하면, ERN의 경우 제1 임계값(910)과 그 크기를 비교하고, Pe의 경우 제2 임계값(920)과 그 크기를 비교할 수 있다.

또한, 상기 분석은 사건유발전위의 크기가 소정의 시간 구간 동안 소정의 임계값보다 크거나 같은지(즉, 소정의 임계값 범위를 벗어나는지)를 판단하는 과정을 포함할 수 있다. 도 9를 참조하면, ERN의 경우 제3 시간 범위(912) 동안 ERN의 크기가 제1 임계값(910)보다 크거나 같은지를 비교하고, Pe의 경우 제4 시간 범위(922) 동안 Pe의 크기가 제2 임계값(920)보다 작거나 같은지를 비교할 수 있다.

또한, 상기 분석은 탑승자별 뇌파 신호 템플릿을 이용하여 수행할 수 있다. 여기서, 뇌파 신호 템플릿은 임의의 동작에 대한 반응의 발생(response onset) 이후 소정의 시간 범위 내에서 미리 획득된, 시간 평면에서의 뇌파 신호를 의미할 수 있다. 상기 반응은 오류나 실수, 올바른 응답 등을 포함할 수 있다. 상기 미리 만들어진 뇌파 신호 템플릿은 상기 분석 과정에서 스케일링 될 수 있다. 즉, 뇌파 신호 그래프의 크기가 소정의 비율만큼 크거나 작게 변경될 수 있다. 예컨대, 소정의 시간 동안 획득된 하나 및/또는 복수의 사건유발전위의 크기-시간 그래프 파형을 미리 결정된 상기 뇌파 신호 템플릿과 비교함으로써 상기 분석을 수행할 수 있다. 이때, 상기 임의의 동작은 미리 결정된 것일 수 있다. 예컨대, 교통법규 위반 10대 중과실과 같은 사건을 포함할 수 있다. 상기 뇌파 신호 템플릿은 가상 시뮬레이션 과정을 통해서 획득되거나 소정의 학습 과정을 통해 획득될 수 있다.

한편, 상기 분석에 앞서 뇌파 신호의 특징이 나타나는 시기 및/또는 뇌파 신호의 패턴을 이용하여 사건유발전위의 발생을 인지하는 과정이 선행될 수 있다. 또한, 상기 분석은 사건유발전위를 추출하는 과정을 포함할 수 있다.

또한, 한편 상기 분석에 이용되는 사건유발전위는 소정의 시간 동안 수집된 사건유발전위의 통계값일 수 있다. 예를 들어, 상기 통계값은 평균값, 가중평균값, 최대값, 최소값 등을 의미할 수 있다.

상술한 바와 같이 사건유발전위를 분석함으로써 오류 인자를 결정할 수 있다. 즉, 상기 분석을 수행함으로써 상기 탑승자로부터 획득된 소정의 사건유발전위가 후술할 모빌리티 제어에 있어 의미가 있는 정보인지를 판단할 수 있다.

일 예로, 모빌리티 제어 장치는 획득된 사건유발전위의 크기가 소정의 임계값 이상이거나 이하인 경우(즉, 소정의 임계값 범위를 벗어나는 경우), 상기 사건유발전위와 관련이 있는 소정의 사건(또는 동작, 이벤트)을 탑승자에 대한 오류 인자로 결정할 수 있다.

상기 사건유발전위와 관련이 있는 소정의 사건은 상기 사건유발전위를 야기시킨 탑승자 본인 또는 타인의 동작을 포함할 수 있다. 또한, 다른 모빌리티의 동작을 포함할 수 있다.

일 예로, 운전자가 우회전을 해야 하는데 좌회전을 한 경우. 좌회전을 해야 하는데 직진을 한 경우, 해당 사건을 상기 운전자에 대한 오류 인자로 결정할 수 있다.

다른 예로, 운전자가 네비게이션의 안내에 따라 운전하다가 상기 안내에 따른 동작을 수행하지 못한 경우, 해당 사건을 상기 운전자에 대한 오류 인자로 결정할 수 있다.

또 다른 예로, 운전자가 네비게이션의 안내에 따라 운전하다가 상기 안내에 따른 동작을 수행하지 못한 경우라도, 대응되는 사건유발전위의 크기가 소정의 임계값 범위 내라면 상기 동작을 오류 인자로 결정하지 않을 수 있다. 이 경우에는 운전자가 네비게이션의 안내와 다른 경로를 의도적으로 결정했다고 볼 수 있을 것이다.

한편, 사건유발전위와 그와 관련이 있는 소정의 사건은 서로 매핑관계에 있을 수 있다. 예를 들어, 획득되는 사건유발전위의 크기(진폭)나 파형에 따라 소정의 사건을 표 1의 예와 같이 매핑시킬 수 있다.

표 1을 참조하면, 사건유발전위는 ERP이고, 사건의 크기는 발생 사건의 경중을 의미할 수 있다. 구체적인 사건은 각 단계에 따라 제1 사건, 제2 사건, 제3 사건 등으로 구분할 수 있으며, 상기 구분은 탑승자에 따라 상이할 수 있다. 또한, 여러 단계에 같은 사건이 포함되어 있을 수 있다.

일 예로, 제1 사건은 사건의 경중이 큰 경우로서, 중앙선 침범, 신호 위반 등 교통법규 위반 10대 중과실이 포함될 수 있다. 상기 교통법규 위반 10대 중과실은 표 2의 예와 같이 나타낼 수 있다.

본 개시의 모빌리티 제어 장치는 상기 오류 인자에 기초하여 모빌리티 피드백을 수행할 수 있다.

여기서, 상기 모빌리티 피드백은 모빌리티에 포함된 소정의 장치를 제어하는 것을 의미할 수 있다. 또한, 상기 모빌리티 피드백은 탑승자의 의도를 모빌리티에 반영시키기 위해 모빌리티에 포함된 소정의 장치를 제어하는 것을 의미할 수 있다.

일 예로, 운전자가 우회전을 해야 하는데 좌회전을 한 경우. 좌회전을 해야 하는데 직진을 한 경우, 본 개시의 모빌리티 제어 장치는 상기 운전자에게 해당 동작으로 인해 원래의 경로에서 벗어났다는 안내 멘트를 모빌리티 피드백으로서 상기 운전자에게 제공할 수 있다.

다른 예로, 획득되는 사건유발전위가 주행 중에 지속적으로 소정의 임계값 범위를 벗어나는 경우, 본 개시의 모빌리티 제어 장치는 운전자가 현재 경로에 대해 스트레스를 받고 있는 것으로 판단할 수 있다. 그리고, 본 개시의 모빌리티 제어 장치는 새로운 경로를 상기 운전자에게 제공할 수 있다.

또 다른 예로, 본 개시의 모빌리티 제어 장치는 오류 모니터링을 이용하여 자율 주행 시스템을 제어할 수 있다. 일반적으로, 자율 주행 시스템에 대한 운전자의 평가는 운전이 종료된 이후에 자율 주행 운전 경험에 대한 설문 조사 이외에는 정량적인 평가 척도나 방법이 없기 때문에, 자율 주행 시스템의 의사 결정 모델을 실시간으로 수정하거나 잘못된 의사 결정에 대해 즉각적으로 피드백을 줄 수 있는 방법이 없다. 따라서, 반응 잠금 사건유발전위를 이용하여 오류 모니터링을 수행함으로써 자율 수행 시스템에 대한 실시간 평가 및/또는 피드백 방법을 수행할 수 있다.

구체적으로, 실수나 오류에 의해 발생되는 뇌파의 사건유발전위 특성을 활용하여 자율 주행 시스템의 의사결정이 사용자로 하여금 실수나 오류라고 판단되었음을 파악할 수 있다. 따라서, 자율 주행 시스템으로 운전을 하면서 사용자의 뇌파에서 반응 잠금 사건유발전위가 관찰되는 경우, 자율 주행 시스템의 해당 의사 결정에 부정적인 피드백을 주어 의사 결정 모델을 업데이트할 수 있다. 사용자에게 FCZ 영역의 뇌파 전극을 부착하고, 자율 주행시 뇌파 모니터링을 할 수 있다. 이때, 자율 주행 시스템에서의 각각의 의사 결정을 단일 이벤트(event)로 간주하여 반응 잠금 사건유발전위를 측정할 수 있다. 상기 이벤트가 발생된 후 소정의 시간 내에 음의 값을 가지는 피크가 관찰된다면 상기 이벤트를 실수나 오류로 인지할 수 있다. 상기 실수나 오류로 인지된 이벤트에 대한 정보를 자율 주행 시스템에 제공할 수 있다. 상기 소정의 시간은 50 ~ 150ms일 수 있다. 한편, 자율 주행 시스템은 특정 상황에서 특정 의사 결정이 실수나 오류로 판단되었다는 피드백을 받은 경우, 이러한 정보를 데이터베이스에 저장하고 시스템을 업데이트할 수 있다. 즉, 자율 주행 시스템은 이후 실수나 오류로 판단된 경우와 동일한 상황이 발생한 경우 다른 의사 결정을 내릴 수 있도록 의사 결정 모델을 수정할 수 있다. 예를 들어, 고속도로에서의 잦은 차선 변경을 사용자가 실수나 오류로 인지하고 그에 따라 ERN이 관찰된 경우, 자율 주행 시스템은 상기 이벤트 정보에 대한 피드백을 수신하고, 이후 고속도로에서의 주행시 차선 변경의 결정을 더 낮은 확률로 선택하도록 의사 결정 모델을 수정할 수 있다. 즉, 의사 결정 모델에서 해당 의사 결정의 가중치를 낮추는 방식으로 자율 주행 시스템을 학습시킬 수 있다.

도 10은 본 발명의 일 실시예에 따른 오류 모니터링을 이용한 모빌리티 제어 장치의 동작방법을 나타내는 흐름도이다.

도 10을 참조하면, 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집할 수 있다(S1001).

여기서, 상기 사건유발전위는 반응 잠금 사건유발전위를 포함할 수 있다.

일 예로, 상기 사건유발전위는 오류 관련 부적전위(ERN, Error-Related Negativity) 및 오류 정적전위(Pe, Error Positivity) 중 적어도 하나를 포함할 수 있다. 또한, 상기 사건유발전위는, 정반응 관련 부적전위(CRN, Correct-Related Negativity) 및 정반응 정적전위(Pc, Correct Positivity) 중 적어도 하나를 더 포함할 수 있다.

한편, 상기 사건유발전위를 소정의 시간 동안 수집하는 것은 모빌리티 내의 적어도 하나의 탑승자의 뇌파 신호를 측정하고, 상기 측정된 뇌파 신호에서 사건유발전위를 검출하는 과정을 포함할 수 있다.

한편, 상기 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집하는 단계는, 상기 모빌리티 내의 적어도 하나의 탑승자의 뇌파 신호를 측정하고, 상기 측정된 뇌파 신호에서 상기 사건유발전위를 검출하는 단계를 포함할 수 있다.

또한, 상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정할 수 있다(S1002). 또한, 상기 소정의 시간 동안 수집된 사건유발전위의 크기가 상기 소정의 임계값 범위를 벗어나는 경우, 소정의 사건을 상기 탑승자에 관한 오류 인자로 결정할 수 있다.

여기서, 상기 오류 인자는 상기 사건유발전위를 야기시킨 상기 탑승자, 상기 탑승자 이외의 타인, 및 상기 모빌리티와 다른 모빌리티의 동작 중 적어도 하나를 포함할 수 있다.

한편, 상기 분석은 상기 소정의 시간 동안 수집된 사건유발전위의 크기와 소정의 임계값을 비교하는 것을 의미할 수 있다. 또한, 상기 분석은 상기 사건유발전위의 크기가 소정의 시간 구간 동안 소정의 임계값 범위 내에 있는지를 판단하는 것을 의미할 수 있다.

또한, 상기 분석은 상기 적어도 하나의 탑승자에 대한 뇌파 신호 템플릿을 이용하여 수행될 수 있다. 이때, 뇌파 신호 템플릿은 상기 오류 인자의 발생 이후 소정의 시간 범위 내에서 미리 획득된, 시간 평면에서의 뇌파 신호일 수 있다.

또한, 상기 분석에 앞서 뇌파 신호의 특징이 나타나는 시기 및/또는 뇌파 신호의 패턴을 이용하여 사건유발전위의 발생을 인지하는 과정이 선행될 수 있다. 또한, 상기 분석은 사건유발전위를 추출하는 과정을 포함할 수 있다.

한편, 상기 소정의 임계값은 상기 사건유발전위의 종류 및 상기 사건유발전위가 획득되는 탑승자 중 적어도 하나에 따라 다르게 결정될 수 있다.

상기 소정의 사건은 상기 사건유발전위의 크기와 상기 소정의 임계값과의 비교결과 및 복수의 사건들간의 매핑관계로부터 유도되는 것일 수 있다.

한편, 상기 소정의 임계값은 제1 임계값 및 제2 임계값을 포함하고, 상기 소정의 사건은 제1 사건, 제2 사건 및 제3 사건을 포함하고, 상기 사건유발전위가 상기 제1 임계값보다 큰 경우, 상기 소정의 사건은 상기 제1 사건에 매핑되고, 상기 사건유발전위가 상기 제2 임계값보다 작은 경우, 상기 소정의 사건은 상기 제3 사건에 매핑되고, 상기 소정의 사건이 상기 제1 사건 및 상기 제3 사건이 아닌 경우, 상기 소정의 사건은 상기 제2 사건에 매핑될 수 있다.

또한, 상기 오류 인자에 기초하여 모빌리티 피드백을 수행할 수 있다(S1003).

한편, 상기 모빌리티 피드백은 상기 모빌리티에 포함된 소정의 장치를 제어하는 것을 의미할 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims

모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집하는 센싱부;
상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정하는 오류 모니터링부; 및
상기 오류 인자에 기초하여 모빌리티 피드백을 수행하는 제어부를 포함하는 모빌리티 제어 장치.
제1항에 있어서,
상기 사건유발전위는 오류 관련 부적전위(ERN, Error-Related Negativity) 및 오류 정적전위(Pe, Error Positivity) 중 적어도 하나를 포함하는 모빌리티 제어 장치.
제2항에 있어서,
상기 사건유발전위는 정반응 관련 부적전위(CRN, Correct-Related Negativity) 및 정반응 정적전위(Pc, Correct Positivity) 중 적어도 하나를 더 포함하는 모빌리티 제어 장치.
제1항에 있어서,
상기 오류 인자는 상기 사건유발전위를 야기시킨 상기 탑승자, 상기 탑승자 이외의 타인, 및 상기 모빌리티와 다른 모빌리티의 동작 중 적어도 하나를 포함하는 모빌리티 제어 장치.
제1항에 있어서,
상기 모빌리티 피드백은 상기 모빌리티에 포함된 소정의 장치를 제어하는 것인 모빌리티 제어 장치.
제1항에 있어서,
상기 분석은 상기 소정의 시간 동안 수집된 사건유발전위의 크기와 소정의 임계값을 비교하는 것인 모빌리티 제어 장치.
제6항에 있어서,
상기 소정의 임계값은 상기 사건유발전위의 종류 및 상기 사건유발전위가 획득되는 탑승자 중 적어도 하나에 따라 다르게 결정되는 모빌리티 제어 장치.
제7항에 있어서,
상기 오류 모니터링부는 상기 소정의 시간 동안 수집된 사건유발전위의 크기가 상기 소정의 임계값 범위를 벗어나는 경우, 소정의 사건을 상기 탑승자에 관한 오류 인자로 결정하는 모빌리티 제어 장치.
제8항에 있어서,
상기 소정의 사건은 상기 사건유발전위의 크기와 상기 소정의 임계값과의 비교결과 및 복수의 사건들간의 매핑관계로부터 유도되는 것인 모빌리티 제어 장치.
제9항에 있어서,
상기 소정의 임계값은 제1 임계값 및 제2 임계값을 포함하고,
상기 소정의 사건은 제1 사건, 제2 사건 및 제3 사건을 포함하고,
상기 사건유발전위가 상기 제1 임계값보다 큰 경우, 상기 소정의 사건은 상기 제1 사건에 매핑되고,
상기 사건유발전위가 상기 제2 임계값보다 작은 경우, 상기 소정의 사건은 상기 제3 사건에 매핑되고,
상기 소정의 사건이 상기 제1 사건 및 상기 제3 사건이 아닌 경우, 상기 소정의 사건은 상기 제2 사건에 매핑되는 모빌리티 제어 장치.
제1항에 있어서,
상기 센싱부는 상기 모빌리티 내의 적어도 하나의 탑승자의 뇌파 신호를 측정하고, 상기 측정된 뇌파 신호에서 상기 사건유발전위를 검출하고,
상기 사건유발전위는 반응 잠금 사건유발전위를 포함하는 모빌리티 제어 장치.
제1항에 있어서,
상기 분석은 상기 사건유발전위의 크기가 소정의 시간 구간 동안 소정의 임계값 범위 내에 있는지를 판단하는 것인 모빌리티 제어 장치.
제1항에 있어서,
상기 분석은 상기 적어도 하나의 탑승자에 대한 뇌파 신호 템플릿을 이용하여 수행되고,
상기 뇌파 신호 템플릿은 상기 오류 인자의 발생 이후 소정의 시간 범위 내에서 미리 획득된, 시간 평면에서의 뇌파 신호인 것인 모빌리티 제어 장치.
모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집하는 단계;
상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정하는 단계; 및
상기 오류 인자에 기초하여 모빌리티 피드백을 수행하는 단계를 포함하는 모빌리티 제어 방법.
제14항에 있어서,
상기 사건유발전위는 오류 관련 부적전위(ERN, Error-Related Negativity) 및 오류 정적전위(Pe, Error Positivity) 중 적어도 하나를 포함하는 모빌리티 제어 방법.
제15항에 있어서,
상기 사건유발전위는 정반응 관련 부적전위(CRN, Correct-Related Negativity) 및 정반응 정적전위(Pc, Correct Positivity) 중 적어도 하나를 더 포함하는 모빌리티 제어 방법.
제14항에 있어서,
상기 오류 인자는 상기 사건유발전위를 야기시킨 상기 탑승자, 상기 탑승자 이외의 타인, 및 상기 모빌리티와 다른 모빌리티의 동작 중 적어도 하나를 포함하는 모빌리티 제어 방법.
제14항에 있어서,
상기 모빌리티 피드백은 상기 모빌리티에 포함된 소정의 장치를 제어하는 것인 모빌리티 제어 방법.
제14항에 있어서,
상기 분석은 상기 소정의 시간 동안 수집된 사건유발전위의 크기와 소정의 임계값을 비교하는 것인 모빌리티 제어 방법.
제19항에 있어서,
상기 소정의 임계값은 상기 사건유발전위의 종류 및 상기 사건유발전위가 획득되는 탑승자 중 적어도 하나에 따라 다르게 결정되는 모빌리티 제어 방법.
제20항에 있어서,
상기 소정의 시간 동안 수집된 사건유발전위를 분석함으로써 오류 인자를 결정하는 단계는,
상기 소정의 시간 동안 수집된 사건유발전위의 크기가 상기 소정의 임계값 범위를 벗어나는 경우, 소정의 사건을 상기 탑승자에 관한 오류 인자로 결정하는 단계를 포함하는 모빌리티 제어 방법.
제21항에 있어서,
상기 소정의 사건은 상기 사건유발전위의 크기와 상기 소정의 임계값과의 비교결과 및 복수의 사건들간의 매핑관계로부터 유도되는 것인 모빌리티 제어 방법.
제21항에 있어서,
상기 소정의 임계값은 제1 임계값 및 제2 임계값을 포함하고,
상기 소정의 사건은 제1 사건, 제2 사건 및 제3 사건을 포함하고,
상기 사건유발전위가 상기 제1 임계값보다 큰 경우, 상기 소정의 사건은 상기 제1 사건에 매핑되고,
상기 사건유발전위가 상기 제2 임계값보다 작은 경우, 상기 소정의 사건은 상기 제3 사건에 매핑되고,
상기 소정의 사건이 상기 제1 사건 및 상기 제3 사건이 아닌 경우, 상기 소정의 사건은 상기 제2 사건에 매핑되는 모빌리티 제어 방법.
제14항에 있어서,
상기 모빌리티 내의 적어도 하나의 탑승자에 대한 사건유발전위를 소정의 시간 동안 수집하는 단계는,
상기 모빌리티 내의 적어도 하나의 탑승자의 뇌파 신호를 측정하고, 상기 측정된 뇌파 신호에서 상기 사건유발전위를 검출하는 단계를 포함하고,
상기 사건유발전위는 반응 잠금 사건유발전위를 포함하는 모빌리티 제어 방법.
제14항에 있어서,
상기 분석은 상기 사건유발전위의 크기가 소정의 시간 구간 동안 소정의 임계값 범위 내에 있는지를 판단하는 것인 모빌리티 제어 방법.
제14항에 있어서,
상기 분석은 상기 적어도 하나의 탑승자에 대한 뇌파 신호 템플릿을 이용하여 수행되고,
상기 뇌파 신호 템플릿은 상기 오류 인자의 발생 이후 소정의 시간 범위 내에서 미리 획득된, 시간 평면에서의 뇌파 신호인 것인 모빌리티 제어 방법.