KR20200027099A - 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 bci 시스템 및 그 방법 - Google Patents

Abstract

인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템 및 그 방법이 제시된다. 일 실시예에 따른 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 방법은, 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계를 포함하여 이루어질 수 있으며, 추정된 상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계를 더 포함할 수 있다.

Description

인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템 및 그 방법{METHOD AND APPARATUS OF BRAIN-COMPUTER INTERFACE DESIGN FOR ESTIMATING CHOICE BEHAVIOR AND DECISION STRATEGY}

아래의 실시예들은 BCI 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템 및 그 방법에 관한 것이다.

인간의 의사결정 전략을 뇌 신호로 검출하는 BCI(Brain-Computer Interface)를 만드는 데는 다음과 같은 제한이 있다. 의사결정 전략은 고차원적인 과정으로 인간 심리에 내재되어 있어, 상대적으로 신뢰성이 떨어지는 자기보고(自己報告)로 검출할 수 밖에 없다. 그리고 자기보고를 통해 만들어진 인간 의사결정 전략 추론 BCI는 의사결정 전략에 대한 신경과학적 증거가 없다. 또한 뇌 신호는 그 종류에 따라 각기 특성이 다르며, 일부의 신호만 측정 가능하므로, BCI를 만들기 위해 적합한 뇌 신호를 찾는 과정이 선행되어야 한다.

한국등록특허 10-1285821호는 이러한 인지 피로 측정 방법 및 이를 적용하는 장치에 관한 것으로, 저차원적 인지 반응과 고차원적 인지반응을 포함하는 인지적 관점에서 피로를 평가할 수 있는 기술을 기재하고 있다.

한국등록특허 10-1285821호

실시예들은 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템 및 그 방법에 관하여 기술하며, 보다 구체적으로 인간의 의사결정에 내재된 행동전략과 의사결정을 추정하는 기술을 제공한다.

실시예들은 의사결정 신경과학 연구로부터 도출되는 계산 모델을 이용하여 행동전략을 추정하고, 정된 행동전략을 뇌 신호의 특징과 결합하여 의사결정을 추정하는 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템 및 그 방법을 제공하는데 있다.

일 실시예에 따른 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 방법은, 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계를 포함하여 이루어질 수 있다.

또한, 추정된 상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계를 더 포함할 수 있다.

상기 계산 모델을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계는, 사용자의 상기 행동전략을 뇌파(electroencephalography, brain-wave) 또는 fNIR(functional near infrared)으로부터 추론할 수 있다.

상기 계산 모델을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계는, 상기 계산 모델을 실험 환경(Experimental Environment)으로부터 나오는 수치 값을 통해서 목표 지향성(goal-directed) 및 습관성(habitual) 인지 상태를 통해 학습시키는 단계를 포함할 수 있다.

상기 계산 모델을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계는, 상기 인지 상태에 대한 라벨(label)을 제공하는 수치 값의 변화에 따라 상기 계산 모델을 수정하는(Meta control) 단계를 더 포함할 수 있다.

또한, 상기 계산 모델을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계는, 상기 계산 모델이 상기 인지 상태에 대한 수치 값인 출력 라벨(output label)을 제공하는 단계를 포함할 수 있다.

상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계는, 합성곱 신경망(Convolution Neural Network, CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정할 수 있다.

상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계는, 클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정할 수 있다.

다른 실시예에 따른 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템은, 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 행동전략 예측부를 포함하여 이루어질 수 있다.

또한, 추정된 상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 의사결정 예측부를 더 포함할 수 있다.

상기 행동전략 예측부는, 사용자의 상기 행동전략을 뇌파(electroencephalography, brain-wave) 또는 fNIR(functional near infrared)으로부터 추론할 수 있다.

상기 행동전략 예측부는, 상기 계산 모델을 실험 환경(Experimental Environment)으로부터 나오는 수치 값을 통해서 목표 지향성(goal-directed) 및 습관성(habitual) 인지 상태를 통해 학습시킬 수 있다.

상기 행동전략 예측부는, 상기 인지 상태에 대한 라벨(label)을 제공하는 수치 값의 변화에 따라 상기 계산 모델을 수정(Meta control)할 수 있다.

상기 행동전략 예측부는, 상기 계산 모델이 상기 인지 상태에 대한 수치 값인 출력 라벨(output label)을 제공할 수 있다.

상기 의사결정 예측부는, 클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정할 수 있다.

실시예들에 따르면 의사결정 신경과학 연구로부터 도출되는 계산 모델을 이용하여 행동전략을 추정하고, 정된 행동전략을 뇌 신호의 특징과 결합하여 의사결정을 추정하는 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템 및 그 방법을 제공할 수 있다.

실시예들에 따르면 자기보고 과정을 삭제하고, 인간의 행동패턴 및 뇌 신호에서 검출된 인간 의사결정에 대한 이론을 활용하여 인지 상태를 유추함으로써 신뢰성이 높은 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템 및 그 방법을 제공할 수 있다.

도 1은 종래의 BCI 시스템을 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 BCI 시스템을 개략적으로 나타내는 도면이다.
도 3은 일 실시예에 따른 행동전략 및 의사결정의 추론을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 BCI 시스템을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 분류기에 사용된 채널 정보를 나타내는 도면이다.
도 6은 일 실시예에 따른 컨벌루션 신경망 구조를 나타내는 도면이다.
도 7은 일 실시예에 따른 2-D CNN 클래스 활성맵의 시뮬레이션 결과를 나타내는 도면이다.
도 8은 일 실시예에 따른 3-D CNN 클래스 활성맵의 시뮬레이션 결과를 나타낸다.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

위와 같은 제한들을 해결하기 위하여 이에 본 발명에서는 인간 의사결정 전략에 대한 심리학, 신경과학 연구에서 활용하는 이론들이 BCI에 적극적으로 활용된 형태의 새로운 BCI 시스템을 제시한다.

인간의 학습에 대한 심리학 및 신경과학 연구는 인간 행동 기저에 존재하는 의사결정 전략을 이론적으로 증명한다. 결과로, 인간의 복잡한 의사결정 과정을 이해할 수 있다. 여기에서 각각의 연구결과는 다음과 같은 특징을 갖는다. 심리학 연구는 특징적인 인간의 의사결정 전략과 그 행동적 특성을 밝힌다. 그리고 신경과학 연구는 심리학 연구에서 탐구된 인간 의사결정 과정에 대한 이론을 통해 인간의 뇌 내에서 의사결정 과정에 대한 증거를 제시한다.

결론적으로 제안하는 새로운 BCI 시스템은 다음과 같이 구성된다. 1) 인간 의사결정에 대한 심리학적 사전 연구는 인간이 갖는 의사결정 전략이 어떻게 인간의 행동 패턴에 영향을 주는지 이론적 기반을 제공한다. 2) 또한, 이에 대한 신경과학적 연구는 해당 의사결정 전략이 뇌에 실제로 존재하는지의 여부를 포함 뇌의 어느 영역에서 일어나는지에 대해 근거를 마련한다. 3) 앞선 두 연구에서 의사결정 전략에 따른 인간의 행동 및 뇌 신호를 찾기 위해 적용했던 이론을 통해 인간의 의사결정 전략을 추론하는 BCI 시스템을 만들 수 있다.

제안하는 BCI 시스템은 의사결정 전략을 직접적으로 추론하는 계산 모델을 통해 학습된다. 특히, 합성곱 신경망(Convolution Neural Network, CNN)을 활용하여 각　의사결정 전략을 분류할 수 있을 뿐만 아니라, 클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 할 수 있는 특징을 지녔다. 이를 통해 BCI 시스템이　의사결정 전략을 분류하는 과학적 근거에 대한 분석 또한 가능하다.

따라서 본 시스템은 앞서 말했던 제한들을 다음과 같이 해결할 수 있다. 자기보고 과정을 삭제하고, 인간의 행동패턴 및 뇌 신호에서 검출된 인간 의사결정에 대한 이론을 활용하여 인지 상태를 유추하므로 신뢰성이 높다. 의사결정 전략을 유추하는데 활용된 이론이 뇌 신호와 통계적인 유의미성을 가지므로 자연히 신경과학적 근거를 갖는다. 그리고 의사결정과정에 참여하는 뇌 영역을 통해 의사결정 전략의 추론이 가능한 뇌 신호를 판별할 수 있다.

실시예들에 따르면 단순히 인간의 내재적인 인지 상태를 추론하는 것이 아닌, 인간 행동의 근원적인 행동전략(예컨대, 학습전략)을 뇌파만으로 추론하는 장치로 인간의 행동 및 행동 전략을 행동 이전의 뇌파를 통해 유추 가능하다. 인간의 내재적인 상태를 유추하는 것만은 동일하나, 그 목표에 있어서 행동 및 행동의 근원이 되는 행동전략까지 유추하는 것에서 다르며, 특히 감정과 같은 특정 인지 '상태'가 아닌 다양한 뇌 영역의 결합과 상호작용으로 이루어지는 학습 과정과 그 전략에 대한 추론이라는 점에서 특별하다. 의사결정을 읽어내는 BCI 기술 개발 사례는 많으나, 행동전략을 읽어내는 기술 개발은 전례가 없다.

아래의 본 실시예들은 인간의 의사결정에 내재된 “행동전략”과 “의사결정”을 동시에 추정하는 새로운 개념의 BCI 시스템에 관한 것이다. 의사결정 신경과학 연구로부터 도출되는 계산 모델을 이용하여 “행동전략”을 추정할 수 있다. 그리고 추정된 “행동전략”을 뇌 신호의 특징과 결합하여 “의사결정”을 추정할 수 있다.

　기존의 전통적 BCI 시스템이 인간의 운동 기능과 같이 겉으로 명확히 확인 가능한 외재적 신호들에 대한 분류 등을 목표하고 있다면, 본 발명에서는 겉으로 나타나는 “행동”의 기저에 깔린 “행동전략”, 또한 “의사결정”과 같은 내재적인 신호를 읽어내고 활용하는 것에 목표를 두고 있다.

도 1은 종래의 BCI 시스템을 개략적으로 나타내는 도면이다.

도 1을 참조하면, 종래의 BCI 시스템은 실험 환경(Experimental Environment)(10)에서 추출된 신경 신호(neural signal)(20) 및 사용 정의된 클래스 라벨(label)(30)로 BCI 디코더(40)는 학습된다.

전통적인 BCI가 운동 기능(오른팔/왼팔)을 읽어내는 것을 목표로 했던 것은 그 효용성도 있으나, 일반적으로 운동기능과 관련된 EEG(Electroencephalogram) 신호의 세기가 강하고 겉으로 명확히 드러나는 라벨(label) 값이 있기 때문이다. 예컨대, 오른팔/왼팔을 움직일 때의 EEG 측정 후 각 EEG 데이터를 오른팔/왼팔의 움직임으로 라벨(label)지어 BCI 디코더를 학습시키는 방식이다.

그러나 이런 구분이 외부적으로 명확히 나타나지 않는, 인지(cognitive) 상태에 대한 BCI에 대해서는 다른 접근 방식이 필요하다.

대표적인 EEG를 통한 인지 상태 분류 연구는 “감정(emotion) 분류”, “피로 상태 분류”가 있다. 그러나 이런 연구들에서는 뇌 신호와 전혀 무관하게 실험자가 각 EEG 데이터(data)의 라벨(label)을 결정한다. 즉, 눈에 보이지 않는 인지 상태에 대해서는 분류 기준이 없다.

이런 점에서 신경과학 연구는 인지 상태 EEG 데이터를 분류하기 좋은 기준을 제공하며, 이것이 바로 계산 모델(computational model)이다. 일반적인 신경과학 연구는 각 인지 상태에 대해 계산 모델을 만들어 fMRI(기능성 자기공명영상) 데이터를 분석한다. 마찬가지로 내재적이기 때문이다.

본 발명에서는 fMRI 신경과학 연구 결과 및 이 연구에 활용된 계산 모델을 활용하여 적절한 인지 상태 EEG 데이터(data) 분류 기준을 세울 수 있다.

도 2는 일 실시예에 따른 BCI 시스템을 개략적으로 나타내는 도면이다.

도 2를 참조하면, 인지 상태를 분류하기 위한 데이터에 라벨을 붙일 표준이 없다는 문제를 해결하기 위해 모델 기반 BCI(model-based BCI) 시스템을 제안할 수 있다. 이 방법에서는 인지 과정의 별도의 계산 모델을 사용하여 클래스 라벨을 생성할 수 있다. 인지 상태를 분류하기 위한 모델 기반 BCI 시스템의 절차는 다음과 같이 나타낼 수 있다. 여기서, 모델 기반 BCI 시스템은 간단히 BCI 시스템 또는 메타 BCI 시스템으로 언급될 수 있다.

먼저, 라벨링 모델을 결정할 수 있다. 뇌의 타켓 인지 기능을 조사하는 모델 기반 fMRI 연구에서 적절한 계산 모델(230)을 선택할 수 있다.

다음으로, EEG 채널을 선택할 수 있다. 대상 인지 기능과 관련된 피질(cortices)의 위치에 가까운 EEG 채널을 선택할 수 있다.

그리고, 라벨링 및 학습을 수행할 수 있다. 데이터에 계산 모델(230)로 라벨을 지정할 수 있다.

여기서, 계산 모델(230)은 실험 환경(Experimental Environment)(210)으로부터 나오는 수치 값을 통해서 2개의 행동전략(예컨대, 학습전략(MB/MF))을 통해 학습시킬 수 있다. 계산 모델(230)은 이를 통해서 인간이 어떤 행동전략(학습전략)을 활용하고 있을지 꾸준히 수정하는 메타 컨트롤(Meta control) 과정을 담고 있다. 이후, 계산 모델(230)은 출력 라벨(output label)(240)을 제공할 수 있다. 여기서, 계산 모델(230)을 통해 출력 라벨(output label)(240)을 제공하는 구성은 후술하는 도 4의 행동전략 예측부에 포함될 수 있다. 그리고 실험 환경(Experimental Environment)(210)에서 신경 신호(neural signal)(220)를 추출하는 구성은 후술하는 도 4의 의사결정 예측부에 포함될 수 있다.

이와 같이, BCI 시스템은 실험 환경(Experimental Environment)(210)에서 추출된 신경 신호(neural signal)(220) 및 계산 모델(230)을 통해 결정된 출력 라벨(output label)(240)로 BCI 디코더(250)는 학습된다.

도 3은 일 실시예에 따른 행동전략 및 의사결정의 추론을 설명하기 위한 도면이다.

도 3을 참조하면, 일 실시예에 따른 BCI 시스템은 인간의 의사결정에 내재된 행동전략과 의사결정을 추정할 수 있다. 여기서, 의사결정 신경과학 연구로부터 도출되는 계산 모델을 이용하여 행동전략을 추정할 수 있다. 그리고 추정된 행동전략을 뇌 신호의 특징과 결합하여 의사결정을 추정할 수 있다. 이 때, 적절한 분류기준을 갖고 행동전략이라는 인지 상태(내재적임)의 추정이 가능하게 되면, 전통적 BCI 시스템과 마찬가지로 의사결정(외재적임)도 동시에 분류하여, 인간 의사결정과 그 기저에 존재하는 행동전략까지 동시에 추정이 가능하게 된다.

이러한 인간 행동(310)은 목표 지향성(goal-directed) 행동(320)과 습관성(habitual) 행동(330)으로 구분될 수 있으며, 습관성 행동(330)에서 목표 의존적 습관성 행동(340)과 목표 지향성 행동(320)을 통해 인간의 행동패턴 및 그 기저의 행동전략을 추론(350)할 수 있다.

일 실시예에 따른 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 방법은, 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계(S110)를 포함하여 이루어질 수 있다. 또한, 추정된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계(S120)를 더 포함할 수 있다.

아래에서 일 실시예에 따른 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템(간단히 BCI 시스템이라 함)을 이용하여 보다 구체적으로 설명하기로 한다.

도 4는 일 실시예에 따른 BCI 시스템을 설명하기 위한 도면이다.

도 4를 참조하면, 일 실시예에 따른 BCI 시스템은 행동전략 예측부 및 의사결정 예측부를 포함할 수 있다.

단계(S110)에서, 행동전략 예측부(410)는 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정할 수 있다. 여기서, 행동전략 예측부(410)는 뇌파(electroencephalography, brain-wave) 또는 fNIR(functional near infrared)으로부터 사용자의 행동전략을 추론할 수 있다.

여기서, 계산 모델은 신경과학 연구를 이용하여 인지 상태 EEG 데이터를 분류하기 위한 기준을 제공하는 것이다. 일반적인 신경과학 연구는 각 인지 상태에 대해 계산 모델을 만들어 fMRI(기능성 자기공명영상) 데이터를 분석한다. 이에, 기존의 fMRI 신경과학 연구 결과 및 이 연구에 활용된 계산 모델을 이용하여 인지 상태 EEG 데이터 분류 기준을 세울 수 있다.

행동전략 예측부(410)는 계산 모델을 실험 환경(Experimental Environment)으로부터 나오는 수치 값을 통해서 목표 지향성(goal-directed) 및 습관성(habitual) 인지 상태를 통해 학습시킬 수 있다. 그리고 행동전략 예측부(410)는 인지 상태에 대한 라벨(label)을 제공하는 수치 값의 변화에 따라 계산 모델을 수정하는 메타 컨트롤(Meta control)을 수행할 수 있다.

이후, 행동전략 예측부(410)는 계산 모델이 인지 상태에 대한 수치 값인 출력 라벨(output label)을 제공할 수 있다.

단계(S120)에서, 의사결정 예측부(420)는 추정된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정할 수 있다.

의사결정 예측부(420)는 클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정할 수 있다.

또한, 의사결정 예측부(420)는 합성곱 신경망(Convolution Neural Network, CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정할 수 있다.

그리고, 학습상태 추정 모델(430)을 통해 행동전략 예측부(410) 및 의사결정 예측부(420)의 결과를 전달 받아 핵심 채널을 추출할 수 있다.

한편, 행동전략 예측부(410)는 다음과 같은 계산 모델을 통해 행동전략에 대한 인지 상태를 추정하고, 인지 상태에 대한 수치 값인 출력 라벨(output label)을 제공할 수 있다.

강화학습 문제는 에이전트가 받을 미래의 보상(reward)에 대한 기대치를 최대화(또는 비용을 최소화)하는 행동 전략을 찾는 과정으로 표현할 수 있다. 여기서 행동 전략은 매 상황(state) 또는 상황에서의 행동(action)에 대한 가치값(value)으로 표현되며, 가치값(value)은 일반적으로 에이전트가 받을 미래의 보상의 총 합에 대한 기대치로 정의된다. MDP 문제에서 보상의 기대치는 에이전트와 환경이 상호작용하는 경험으로부터 얻어지는 샘플을 이용하게 된다. 이 문제가 어려운 이유는 매 상황에서의 입력(에이전트의 행동)-출력(환경으로부터의 피드백)에 대한 보상이 간헐적으로 주어진다는 점이다(sparseness). 보상신호는 이러한 입력-출력이 반복되는 인터렉션 중간, 또는 가장 마지막에 주어지게 된다. 더구나 보상은 보상을 받는 시점의 상태에만 의존적이 아니라, 과거에 일어난 일련의 입출력 집합(episode)에 의존적이다.

MDP 세팅에서는 매 상황의 입출력은 바로 이전 상황의 입출력 쌍에 의존적인 형태로 표현된다. 만일 모든 상황(S)에 대한 피드백/보상치(R)의 정보와 상황들 간의 확률적인 관계를 나타내는 상태천이 행렬(P)이 주어진다면 우리는 아래와 같이 최적의 전략을 상태의 가치값 행렬로 표현할 수 있다.

[수학식 1]

그러나 위와 같은 해법은 다음과 같은 이유로 일반적인 상황에 적용할 수 없는 경우가 많다. 우선적으로 생각해 볼 수 있는 문제는 환경에 대한 완벽한 정보인 P가 주어지지 않는다는 것이다. 환경 안에서 무한한 시간 동안 탐험하면서 샘플링(sampling)을 한다면 P를 추정할 수 있으나, 위 식의 적용은 작은 규모의 이산적 공간에 국한되므로, 복잡한 문제에 대해서는 전체 R을 얻기도 어렵다. 앞서 언급한 여러 가지 일반적인 최적제어의 문제에서는 고려해야 할 상황의 개수가 너무 많고, 이에 비해 샘플링(sampling)할 수 있는 기회는 상대적으로 적기 때문에 현실적으로 위와 같은 행렬 자체를 구하기가 어렵다.

Principle of optimality는 이러한 문제 해결을 위한 이론적 기틀을 제공한다. 최초 상황(S₀) 에서 최종 보상을 받는 상황(Sn)을 이어주는 최적의 전략 M*가 존재한다고 가정하였을 때, 상황(S_n-1)에서 S_n을 이어주는 최적의 해 M_n-1*는 M*의 부분집합이 된다. M_i-1*는 M_i*의 부분집합이 되며, 이를 풀어서 설명하면 보상을 획득한 시점에서의 부분전략을 재귀적(recursive)으로 확장해 나가면 임의의 상황(S_i)에서부터 시작되는 전체 전략과 같게 된다고 할 수 있다. 결국 최종적으로 얻은 보상에 대한 정보는 그 보상을 얻기까지 이루어진 과거의 에피소드(episode) 상에 놓인 상황-행동-피드백 세트들로 역전파가 가능하다고 할 수 있다. 물론 이러한 이상적인 결론은 특정한 가정 하에 보장되는 것이다.

Bellman equation은 위와 같은 원리를 이용하여 전략으로부터 샘플링되는 상황 또는 행동의 가치값을 미래에 받을 보상의 총합의 기대치로 표현한다. Bellman optimality equation은 최적 전략에 대한 가치와 기대값의 관계를 의미한다. 기대치는 MDP의 특성을 이용하여 반복적(recursive)인 형태로 풀어 쓸 수 있으며, 식을 정리해 보면 다음에 이어질 상황(s')에 대한 행동(a')의 가치값(Q(s',a'))을 현재 상황(S)에 대한 행동 가치값(Q(s,a))에 반영하는 단순한 형태의 업데이트 식으로 표현할 수 있다.

[수학식 2]

여기서 두 가지 특징에 주목해 볼 필요가 있다. 하나는 다음 상황(s')에서의 행동 가치값 중 최대치(max)를 선택하여 업데이트에 반영한다. 이는 에이전트 본인의 전략이 최적이라고 가정하는 것을 뜻한다(optimistic). 또 하나는 기대값을 추정하기 위해서는 환경에 대한 모델, 즉 (s,a,s')에 대한 확률분포가 필요하다는 점이다.

아래에서는 인지 상태, 즉 “행동전략”을 학습전략(learning strategy)으로 정한 상태를 하나의 예를 들어 보다 구체적으로 설명하기로 한다. 여기에서는 인지 상태를 학습전략을 예로써 설명하고 있으나, 이에 제한되지 않으며 일반적인 인지 상태 모두에 적용 가능하다.

인간의 학습전략은 강화학습(Reinforcement Learning, RL)으로 나타나며, 크게 MB/MF로 나눌 수 있다. MB/MF는 목표 지향성(goal-directed)/습관성(habitual) 학습전략과 행동적으로 관계되어 있다. 여기서 MB/MF는 학습전략의 이름에 해당되며, 예로써 목표 지향성(goal-directed)/습관성(habitual) 학습전략을 의미할 수 있다.

행동전략 예측부(410)는 계산 모델을 통해 뇌 수준의 문맥정보를 추출할 수 있다. 계산 모델을 실험 환경(Experimental Environment)으로부터 나오는 수치 값을 통해서 2개의 학습전략(MB/MF)을 통해 학습시킬 수 있다. 계산 모델은 이를 통해서 인간이 어떤 학습전략을 활용하고 있을지 꾸준히 수정하는 메타 컨트롤(Meta control) 과정을 담고 있다.

이를 통해 메타 인지 상태에 대한 문맥정보를 제공할 수 있다. 즉, 계산 모델이 출력 라벨(output label)을 제공할 수 있다.

의사결정 예측부(420)는 문맥에 의존적인 뇌파 특징을 추출할 수 있다. 앞서 문맥정보가 인지 상태에 대한 라벨(label)을 제공하는 수치 값이라 말했던 것과 마찬가지로, 각 학습전략에 특징적으로 나타나는 뇌파 신호를 찾을 수 있다.

이에 따라 학습상태 추정모듈은 메타 인지 상태(2개의 학습전략에서 꾸준히 우점적인 학습전략이 변동하는 상태)에서 어떤 학습전략이 활용되고 있는지(문맥정보)를 알고, 그에 특징적인 뇌파 신호를 찾는 기술적 알고리즘(즉, 클래스 활성맵(Class Activation Map))을 통해서 각 학습전략에 핵심적으로 활용되는 뇌파 채널을 특정 지을 수 있다. 여기서, 클래스 활성맵은 핵심적인 뇌파 채널뿐만 아니라, 뇌파 주파수(frequency) 대역, 시간대(timing)까지 포함할 수 있다. 실제로 행동전략이 메타 컨트롤(meta control)에 의해 변할 때 어떤 시간대에서 그 변화가 일어나고, 어떤 주파수를 통해 정보의 이동이 어디로 향하는지(뇌파 채널)를 볼 수 있기 때문에 중요하다.

도 5는 일 실시예에 따른 분류기에 사용된 채널 정보를 나타내는 도면이다. 그리도 도 6은 일 실시예에 따른 컨벌루션 신경망 구조를 나타내는 도면이다.

도 6a는 1-D CNN은 연결된 특징 매트릭스(a)로 학습되었다. 그리고 도 6b는 2-D CNN의 학습을 나타내고, 도 6c는 3-D CNN의 학습을 나타낸다. 여기서 EEG 채널 정보는 도 5에 도시되어 있다.

도 7은 일 실시예에 따른 2-D CNN 클래스 활성맵의 시뮬레이션 결과를 나타내는 도면이고, 도 8은 일 실시예에 따른 3-D CNN 클래스 활성맵의 시뮬레이션 결과를 나타낸다.

도 7을 참조하면, 2-D CNN(a)을 활용한 모델 기반 BCI의 목표 지향성(goal-directed) 및 습관성(habitual) 행동에서의 실제 클래스 활성맵(class activation map)(b)을 확인할 수 있다. 여기서 도 7b의 색상을 통해 상대적인 활성비(relative activation rate)가 얼마나 의미 있는 정보를 포함하고 있는지 확인할 수 있다.

마찬가지로, 도 8을 참조하면, 3-D CNN(a)을 활용한 모델 기반 BCI의 목표 지향성(goal-directed) 및 습관성(habitual) 행동에서의 실제 클래스 활성맵(class activation map)(b)을 확인할 수 있다. 도 8b의 색상을 통해 상대적인 활성비(relative activation rate)를 확인할 수 있다.

표 1은 기존 시스템과 본 발명의 실시예에 따른 모델 기반 BCI 시스템의 분류기(Classifier) 성능을 비교한 결과이다. 여기서 분류기(Classifier)는 BCI 디코더를 의미할 수 있다.

[표 1]

표 1을 참조하면, 5개의 서로 다른 BCI 디코더(여기에서는 분류기(Classifier)로 표기)가 사용되었으며, 이를 통해 종래의 BCI 시스템과 본 발명의 실시예에 따른 모델 기반 BCI 시스템을 비교하였다.

SVM(Support Vector Machine)은 종래의 BCI 시스템으로 학습된 경우를 나타내며, 즉 인간이 수작업으로 라벨을 결정한 경우에 해당한다. 그리고, SVM* 및 1-D/2-D/3-D CNN은 본 발명의 실시예들에 따른 모델 기반 BCI 시스템으로 학습된 경우를 나타낸다. 즉, 행동전략 예측부에 의해 추정된 인지 상태를 라벨로 사용하는 경우를 나타낸다.

SVM과 SVM*는 매우 간단하며 동일한 SVM이라는 행동전략 예측의 알고리즘을 활용한다. 그러나 SVM은 인간이 수작업으로 라벨을 결정하는 반면, SVM*는 계산 모델을 이용하는 모델 기반 BCI 시스템을 활용함으로써 성능이 보다 향상된 결과를 보여준다. 다시 말하면, SVM*는 행동전략 예측부의 계산 모델에 의해 추정된 라벨을 활용하면서 성능의 비약적인 향상을 보여준다.

1-D/2-D/3-D CNN의 경우 일반적인 딥러닝 모델이므로 이전 두 SVM 모델에 비해 성능이 좋을 것으로 기대된다. 여기서 1-D CNN은 적은 차원(dimension) 데이터를 활용하므로 빠르게 예측하기 위한 모델이나, 이 때문에 클래스 활성맵(class activation map)을 적용시킬 수 없다. 2-D/3-D CNN은 클래스 활성맵(class activation map)을 적용시킬 수 있으면서 고성능을 보이는 실시예로 명세서에 표기된, 도면에 제시된 모든 요소를 포함한 모델들에 해당한다. 이에 따라 행동전략 예측 및 클래스 활성맵을 통해 각 학습전략에 핵심적으로 활용되는 뇌파 채널을 특정 지을 수 있다.

실시예들은 인간의 의사결정 행동의 기저에 존재하는 고차원적인 의사결정 전략에 대한 선행연구의 결과를 바탕으로 한 BCI로, 사용자의 의사결정 전략을 뇌파(electroencephalography, brain-wave), fNIR(functional near infrared) 등으로부터 추론하여 인간 생활 보조장치로서 다양한 응용이 가능하다. 대표적으로 이 기술을 활용한 인공지능 비서는 사용자가 놓치는 정보를 제공하여 인간 중심적이고 사용자 맞춤형인 인공지능 시스템을 구축할 수 있다. 사용자의 상태를 읽어 사용자에게 중요한 정보를 선별적으로 제공 가능한 측면이 IoT(Internet of Things) 환경에 매우 유효하며, 이는 광고 제안 시스템으로도 확장 가능하다. 또한, 인간의 의사결정 전략과 그에 기반한 행동 패턴의 추론은 감정 컴퓨팅(affective computing) 분야에서와 유사하게 인간 친화적인 인공 지능 및 기술 개발에 핵심적이다.

현재 개발되고 있는 인간 보조 인공지능들은 인간의 상태와는 상관없이 가능한 기술의 가짓수를 늘리는 것에 지나지 않지만, 본 발명을 통하여 인간을 이해하는 인공지능의 개발이 가능해진다. 또한 인간의 의사결정 전략을 추론하는 부분뿐만 아니라, 전통적으로 활용되었던 다른 BCI 기술들과의 통합은 인간 생활 전반의 향상을 도모할 수 있다.

따라서 뇌파 측정 장비를 개발하는 기업, 헬스케어 및 웨어러블 디바이스들을 개발하는 기업들의 핵심 응용 소프트웨어 및 기능으로 제공될 수 있다. 특히, 인간의 의사결정은 실생활에서 매일 일어나는 것으로, 상황의 문맥을 읽을 수 있어야 할 때 본 발명과의 큰 시너지가 기대된다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계
   를 포함하는, BCI 방법.
2. 제1항에 있어서,
   추정된 상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계
   를 더 포함하는, BCI 방법.
3. 제1항에 있어서,
   상기 계산 모델을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계는,
   사용자의 상기 행동전략을 뇌파(electroencephalography, brain-wave) 또는 fNIR(functional near infrared)으로부터 추론하는 것
   을 특징으로 하는, BCI 방법.
4. 제1항에 있어서,
   상기 계산 모델을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계는,
   상기 계산 모델을 실험 환경(Experimental Environment)으로부터 나오는 수치 값을 통해서 목표 지향성(goal-directed) 및 습관성(habitual) 인지 상태를 통해 학습시키는 단계
   를 포함하는, BCI 방법.
5. 제4항에 있어서,
   상기 계산 모델을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계는,
   상기 인지 상태에 대한 라벨(label)을 제공하는 수치 값의 변화에 따라 상기 계산 모델을 수정하는 단계
   를 더 포함하는, BCI 방법.
6. 제1항에 있어서,
   상기 계산 모델을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계는,
   상기 계산 모델이 상기 인지 상태에 대한 수치 값인 출력 라벨(output label)을 제공하는 단계
   를 포함하는, BCI 방법.
7. 제2항에 있어서,
   상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계는,
   합성곱 신경망(Convolution Neural Network, CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정하는 것
   을 특징으로 하는, BCI 방법.
8. 제2항에 있어서,
   상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계는,
   클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정하는 것
   을 특징으로 하는, BCI 방법.
9. 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 행동전략 예측부
   를 포함하는, BCI 시스템.
10. 제9항에 있어서,
    추정된 상기 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 의사결정 예측부
    를 더 포함하는, BCI 시스템.
11. 제9항에 있어서,
    상기 행동전략 예측부는,
    사용자의 상기 행동전략을 뇌파(electroencephalography, brain-wave) 또는 fNIR(functional near infrared)으로부터 추론하는 것
    을 특징으로 하는, BCI 시스템.
12. 제9항에 있어서,
    상기 행동전략 예측부는,
    상기 계산 모델을 실험 환경(Experimental Environment)으로부터 나오는 수치 값을 통해서 목표 지향성(goal-directed) 및 습관성(habitual) 인지 상태를 통해 학습시키는 것
    을 특징으로 하는, BCI 시스템.
13. 제12항에 있어서,
    상기 행동전략 예측부는,
    상기 인지 상태에 대한 라벨(label)을 제공하는 수치 값의 변화에 따라 상기 계산 모델을 수정하는 것
    을 특징으로 하는, BCI 시스템.
14. 제9항에 있어서,
    상기 행동전략 예측부는,
    상기 계산 모델이 상기 인지 상태에 대한 수치 값인 출력 라벨(output label)을 제공하는 것
    을 특징으로 하는, BCI 시스템.
15. 제9항에 있어서,
    상기 의사결정 예측부는,
    클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정하는 것
    을 특징으로 하는, BCI 시스템.

Images