KR20180109451A - 다중 신경생리신호 기반의 동물 행동 제어 시스템 및 그 방법 - Google Patents

다중 신경생리신호 기반의 동물 행동 제어 시스템 및 그 방법 Download PDF

Info

Publication number
KR20180109451A
KR20180109451A KR1020170039216A KR20170039216A KR20180109451A KR 20180109451 A KR20180109451 A KR 20180109451A KR 1020170039216 A KR1020170039216 A KR 1020170039216A KR 20170039216 A KR20170039216 A KR 20170039216A KR 20180109451 A KR20180109451 A KR 20180109451A
Authority
KR
South Korea
Prior art keywords
signal
animal
vector
unit
equation
Prior art date
Application number
KR1020170039216A
Other languages
English (en)
Other versions
KR101948417B1 (ko
Inventor
양동원
김경환
여동훈
차광수
서부경
김현
허성진
최정우
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020170039216A priority Critical patent/KR101948417B1/ko
Publication of KR20180109451A publication Critical patent/KR20180109451A/ko
Application granted granted Critical
Publication of KR101948417B1 publication Critical patent/KR101948417B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K15/00—Devices for taming animals, e.g. nose-rings or hobbles; Devices for overturning animals in general; Training or exercising equipment; Covering boxes
    • A01K15/02—Training or exercising equipment, e.g. mazes or labyrinths for animals ; Electric shock devices ; Toys specially adapted for animals
    • A01K15/029—Electric or similar shock devices, e.g. prods
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Marketing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Agronomy & Crop Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Mining & Mineral Resources (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Zoology (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 동물 행동 제어를 위한 시스템 및 방법에 관한 것으로, 본 발명의 따른 동물 행동 제어 시스템은 동물의 뇌신경신호 및 생리신호를 감지 및 기록하는 신호 감지 및 기록부; 상기 신호 감지 및 기록부로부터 전달받은 뇌신경신호 및 생리신호를 통해 각각의 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하고, 추출된 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 신호 분석부; 파악된 동물의 운동 의도 및 생체 상태에 따라 전기 자극 파라미터를 조절하여 그에 상응하는 보상 혹은 처벌 자극을 주는 제어부; 및 조절된 전기 자극 파라미터를 이용하여 특정 대뇌 영역에 전기 자극을 출력하는 행동제어 명령 지시부;를 포함한다. 이를 이용하여 동물의 다중 신경생리신호를 기록 및 해독하여 동물의 운동 의도 및 생체 상태를 파악할 수 있고, 파악된 동물의 운동 의도 및 생체 상태를 통해 동물에게 적절한 전기 자극을 가해줌으로써 동물의 움직임을 효율적으로 제어하고 생체 상태를 조절할 수 있는 효과가 있다.

Description

다중 신경생리신호 기반의 동물 행동 제어 시스템 및 그 방법{MULTIPLE NEURO-PHYSIOLOGICAL SIGNAL BASED ANIMAL BEHAVIOR CONTROL SYSTEM AND METHOD THEREOF}
본 발명은 동물의 행동 제어를 위한 시스템에 관한 것으로, 보다 구체적으로는 다중 신경생리신호의 기록 및 해독을 통해 동물의 생체의 상태와 행동 상태를 확인할 수 있게 하여 보다 효과적으로 동물의 행동을 제어할 수 있는 동물 행동 제어 시스템 및 이를 이용한 동물 행동의 제어 방법에 관한 것이다.
생체는 주변의 환경 변화에 적응하고 몸의 항상성을 유지하기 위하여 몸에 적절한 변화를 일으킨다. 또한, 인지 활동을 포함한 운동을 실행하기 위해 생체는 주변의 변화를 감지하고 움직임에 대한 계획을 설립하고 계획을 실천하는 복잡한 생체 활동을 일으킨다. 그리고 그 과정에서 다양한 종류의 생체 신호를 획득하고 해석할 수 있으며 이를 통해 생체가 현재 어떤 일을 진행하고 있는지에 대해 간접적으로 확인할 수도 있다.
한편, 전 세계적으로 동물을 훈련하여 특수 목적에 사용하는 많은 케이스가 있고 국내의 경우에도 인명구조견, 마약탐지견 등 동물을 이용 및 제어하여 특수 목적에 사용하고 있다. 하지만, 동물을 훈련하는 데 있어도 동물 역시 생물인 한계로 강제적인 명령에 대한 복종은 불가능하고, 또 동물의 생체 상태를 수치적으로 확인하고 적절한 자극을 이용해 생체 상태를 완화시켜 임무 완수에 도움을 주기가 힘들다는 한계점이 분명하다.
한국에 출원한 특허출원번호 제10-2015-0022655호에서는 마이크, 동물의 활동량, 체온 등을 제어 단말로 전송해 동물의 상태를 알 수 있게 하고 사용자의 목소리 등을 전달할 수 있으나 실질적인 자극을 통한 강제적 명령 복종 또는 생체 상태의 완화를 시킬 수 있게 하는 것은 아니다.
또한, 한국에 출원한 특허출원번호 제10-2011-0033068호에서는 보상 및 처벌 자극을 이용해서 동물의 움직임을 유도하는 시스템이긴 하나 피드백의 방식이 수동 형식이고 가상 환경 장치 내에서 훈련하고 적용할 수 있는 한계점이 있는 문제점이 있다.
한국 특허출원번호 제10-2015-0022655호 한국 특허출원번호 제10-2011-0033068호
이에 상기와 같은 점을 감안한 본 발명은 동물의 뇌신경신호 및 다중신경생리신호의 기록(recording) 및 해독(decoding) 기술을 이용함으로써 동물의 운동 의도, 생체 상태를 파악하고, 동물에게 적절한 전기 전극을 가해줌으로써 동물 움직임을 효과적 제어하고 생체 상태를 조절할 수 있는 동물 행동 제어 시스템 및 방법의 제공에 목적이 있다.
상기와 같은 목적을 달성하기 위해 본 발명의 일 양태에 따른 다중 신경생리신호 기록 및 해석 기반의 동물행동 제어 시스템은, 동물의 뇌신경신호 및 생리신호를 감지 및 기록하는 신호 감지 및 기록부(100), 상기 신호 감지 및 기록부로부터 전달받은 뇌신경신호 및 생리신호를 통해 각각의 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하고, 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 신호 분석부(110), 파악된 동물의 운동 의도 및 생체 상태에 따라 전기 자극 파라미터를 조절하여 그에 상응하는 보상 혹은 처벌 자극을 주는 제어부(120) 및 조절된 전기 자극 파라미터를 이용하여 특정 대뇌 영역에 전기 자극을 출력하는 행동제어 명령 지시부(130)를 포함하여 구성될 수 있다.
신호 감지 및 기록부(100)에서 측정되는 뇌신경신호는 신경세포로부터 발생하는 활동전위인 세포 외 기록 신호(extracellular recording signal), 국소뇌전위(local field potential), 뇌피질 뇌파(subdural electrocortigram, ECoG) 및 뇌전도(electroencephalography, EEG) 중에서 선택된 어느 하나 이상이다.
상기 생리신호는 피부표면온도(skin temperature, SKT), 광혈류량(photo-plethysmography, PPG), 심전도(electrocardiography, ECG), 피부 전도도 반응(skin conductance response, SCR) 및 호흡 신호 중에서 선택되는 어느 하나 이상이다.
상기 신호 감지 및 기록부(100)는 동물의 뇌신경신호를 감지 및 기록하는 뇌신경신호 기록 전극(100a), 동물의 생리신호를 감지 및 기록하는 생리신호 기록 전극(100b), 및 감지된 뇌신경신호 및 생리신호를 증폭하는 증폭부(100c)를 포함한다.
상기 신호 분석부(110)는 뇌신경신호로부터 뇌신경신호 특징벡터를 추출하는 뇌신경신호 특징벡터 추출부(110a-1)와, 생리신호로부터 생리신호 특징벡터를 추출하는 생리신호 특징벡터 추출부(110a-2)로 이루어진 특징벡터 추출부(110a), 및 상기 뇌신경신호 특징벡터와 상기 생리신호 특징벡터를 해독하여 동물의 운동 의도와 생체 상태를 파악하는 해독부(110b)를 포함한다.
상기 해독부(110b)는 서포트 벡터 머신(Support Vector Machine,이하 'SVM'라고도 함)에 의해 동물의 운동 의도를 이진 값으로 출력하는 이진 결정 의도 인식기(110b-1), 및 서포트 벡터 회귀(Support Vector Regression, 이하 'SVR'라고도함)에 의해 동물의 생체 상태를 연속된 실수 값으로 출력하는 회귀부(110b-2)를 포함한다.
상기 제어부(120)는 파악된 동물의 운동 의도 및 생체 상태를 토대로 보상 혹은 처벌 여부를 결정하는 보상 혹은 처벌 결정부(120a), 및 상기 보상 혹은 처벌 결정부에서 수신받은 결정으로부터 동물의 행동을 제어하기 위한 전기 자극 파라미터를 생성하는 자극 생성 및 제시부(120b)를 포함한다.
상기 행동제어 명령 지시부(130)는 동물의 행동 및 생체 상태의 제어에 대한 사용자 명령을 입력받는 입력부(130a), 상기 신호 분석부(110)로부터 수신된 운동 의도와 생체 상태를 디스플레이부로 출력하는 출력부(130b), 상기 출력부에서 출력된 운동 의도와 생체 상태를 표시하는 디스플레이부(130c), 및 상기 입력부로부터 전달받은 사용자 명령을 토대로 움직임 방향에 관한 큐(cue) 자극 명령을 받아 행동 제어 명령과 생체 상태를 조절할 수 있도록 동물의 특정 대뇌 영역에 전기 자극을 출력하는 명령 자극 제시부(130d)를 포함한다.
또 다른 본 발명의 목적을 달성하기 위한 본 발명의 동물 행동 제어 시스템을 이용한 동물 행동의 제어 방법은 도 8을 참조하면, (a) 대상 동물로부터 뇌신경신호 및 생리신호를 측정 및 저장하는 단계(S110), (b) 뇌신경신호 및 생리신호를 분석하여 각각의 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하는 단계(S120), (c) 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 단계(S130), (d) 파악된 동물의 운동 의도 및 생체 상태를 기반으로 보상 혹은 처벌여부를 결정하거나 동물의 임무지속 가능여부를 결정하여 동물의 행동을 제어하기 위한 전기 자극 파라미터를 조절하는 단계(S140), (e) 결정된 전기 자극 파라미터에 따른 전기 자극 파형을 특정 대뇌 영역에 전달하여 동물의 행동을 제어하는 단계(S150)를 포함하여 이루어진다.
상기 (a) 단계(S110)는 신호 감지 및 기록부(100)를 통해 동물의 뇌신경신호 및 생리신호를 측정하고 저장할 수 있다.
여기서 측정되는 동물의 뇌신경신호 및 생리신호는 앞서 설명한 동물행동 제어 시스템에서 측정된 뇌신경신호 및 생리신호와 동일하므로, 중복되는 설명은 생략하기로 한다.
상기 (b) 단계는 상기 (a) 단계 측정된 뇌신경신호 및 생리신호를 신호 분석부(110)의 특징벡터 추출부(110a)에서 각각의 뇌신경신호 및 생리신호 특징벡터를 추출하는 단계이다.
구체적으로 (b) 단계는 상기 신호 감지 및 기록부(100)에서 측정된 뇌신경신호를 이용하여 특징벡터 추출부(110a)의 뇌신경신호 특징벡터 추출부(110a-1)에서 스파이크 트레인(spike train), 파워 스펙트럼 밀도(power spectrum density), 대뇌 영역 간 기능적 연결도(functional connectivity), 및 대뇌 영역 간 효과적 연결도(effective connectivity) 중의 어느 하나 이상을 통해 뇌신경신호 특징벡터를 추출할 수 있다.
상기 파워 스펙트럼 밀도(power spectrum density)는 측정된 뇌신경신호 중 어느 하나의 신호를 M차원(M은 1 이상의 정수)의 벡터
Figure pat00001
로 하여, 하기 수학식 1을 통해 분석하는 이산 푸리에 변환(discrete Fourier transform), 하기 수학식 2를 통해 분석하는 단기간 푸리에 변환(short-time Fourier transform) 및 하기 수학식 3을 통해 분석하는 웨이브릿 변환(wavelet transform) 중의 어느 하나를 이용하여 특정 시간-주파수 대역의 파워를 얻어 뇌신경신호 특징벡터를 추출할 수 있다.
[수학식 1]
Figure pat00002
수학식 1에서
Figure pat00003
는 주파수를 지칭하는 변수
Figure pat00004
에 대하여
Figure pat00005
를 의미하는 각주파수를 나타낸다.
[수학식 2]
Figure pat00006
수학식 2에서
Figure pat00007
은 특정한 길이의 특정한 모양의 시간 윈도우 벡터를 나타낸다.
[수학식 3]
Figure pat00008
수학식 3에서
Figure pat00009
는 웨이블릿 함수의 공액복소수(complex conjugate),
Figure pat00010
는 정규화 파라미터,
Figure pat00011
는 특정 스케일,
Figure pat00012
는 목표 레이턴시를 나타낸다.
상기 대뇌 영역 간 기능적 연결도(functional connectivity)는 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원(M은 1 이상의 정수)의 벡터
Figure pat00013
,
Figure pat00014
로 하여, 하기 수학식 4를 통해 분석하는 간섭성(coherence), 하기 수학식 5를 통해 분석하는 위상 동기 값(phase locking value, PLV), 및 하기 수학식 6을 통해 분석하는 weighted phase lag index(wPLI) 중의 어느 하나를 이용하여 한 쌍의 뇌신경 영역 간의 기능적 연결성을 확인하여 뇌신경신호 특징벡터를 추출할 수 있다.
[수학식 4]
Figure pat00015
수학식 4에서
Figure pat00016
와
Figure pat00017
는
Figure pat00018
와
Figure pat00019
의 진폭,
Figure pat00020
는 두 시계열의 상대적 위상차를 나타낸다.
[수학식 5]
Figure pat00021
수학식 5에서,
Figure pat00022
과
Figure pat00023
는 각각 시계열 벡터
Figure pat00024
과
Figure pat00025
에 힐버트 변환을 적용하여 얻은 순간 위상(instantaneous phase)을 나타낸다.
[수학식 6]
Figure pat00026
수학식 6에서,
Figure pat00027
은 기대값 연산,
Figure pat00028
은 복소수의 허수 항만을 취하는 연산자,
Figure pat00029
는 두 시계열 벡터
Figure pat00030
과
Figure pat00031
의 교차 스펙트럼(cross spectrum)을 나타낸다.
상기 대뇌 영역 간 효과적 연결도(effective connectivity)는 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원(M은 1 이상의 정수)의 벡터
Figure pat00032
,
Figure pat00033
로 하여, 하기 수학식 7을 통해 분석하는 그랜저 인과관계(Granger's causality), 하기 수학식 8을 통해 분석하는 PDC(Partial Directed Coherence), 및 하기 수학식 9를 통해 분석하는 DTF(Directed Transfer Function) 중 어느 하나 이상을 이용하여 한 쌍의 뇌신경 영역 간의 방향성이 있는 연결성을 확인하여 뇌신경신호 특징벡터로 대뇌 영역 간 효과적 연결도(effective connectivity)를 추출할 수 있다.
[수학식 7]
Figure pat00034
수학식 7에서,
Figure pat00035
은
Figure pat00036
을
Figure pat00037
의 과거 값만을 이용하여 자동 회귀 모델을 이용해 추정할 때 생기는 에러,
Figure pat00038
은
Figure pat00039
을
Figure pat00040
과
Figure pat00041
의 과거값을 모두 사용하여 자동 회귀 모델을 이용해
Figure pat00042
과
Figure pat00043
의 현재 값을 추정할 때 생기는 에러이다.
[수학식 8]
Figure pat00044
상기 수학식 8에서,
Figure pat00045
는
Figure pat00046
과
Figure pat00047
을 자동 회귀 모델의 계수 행렬을 푸리에 변환한 것이며,
Figure pat00048
는
Figure pat00049
행렬의
Figure pat00050
번째 열벡터이다.
[수학식 9]
Figure pat00051
상기 수학식 9에서,
Figure pat00052
는 상기 수학식 8에서 나온
Figure pat00053
의 역행렬이다.
그리고 (b) 단계에서는 신호 감지 및 기록부(100)에서 측정된 생리신호를 통해 특징벡터 추출부(110a)의 생리신호 특징벡터 추출부(110a-2)에서 피부표면온도(skin temperature, SKT)를 이용한 특징벡터, 광혈류량(photo-plethysmography, PPG)을 이용한 특징벡터, 심전도(electrocardiography, ECG)을 이용한 특징벡터, 피부 전도도 반응(skin conductance response, SCR)을 이용한 특징벡터 및 호흡 신호를 이용한 특징벡터 중에서 선택되는 어느 하나 이상으로 생리신호 특징벡터를 추출할 수 있다.
일 구체예로 생리신호 특징벡터 추출부(110a-2)에서 추출하는 생리신호 특징 벡터는 아래에 설명하는 방법으로 추출할 수 있다.
예를 들어 획득된 생리신호 중 피부 전도도(SCR)를 이용한 특징벡터의 경우, 피부 전도도 반응의 진폭 평균값(mean of SCR amplitude), 피부 전도도 반응의 음수 값의 평균값, 피부 전도도 반응의 표준 편차, 피부 전도도 반응의 1차 미분 신호의 평균값(mean of 1st derivative of SCR), 피부 전도도 반응의 2차 미분 신호의 평균값(mean of 2nd derivative of SCR), 피부 전도도 반응의 전체 샘플 개수 대비 음의 값을 가지는 샘플의 비율을 포함하는 특징 벡터를 추출하거나, 또는 피부 전도도가 느린 반응 값(skin conductance slow response, SCSR)을 이용하여 SCSR의 평균값(Mean of SCSR), SCSR 진폭의 평균값(mean of SCSR ampliutde), SCSR의 표준편차(standard deviation of SCSR), 1차 미분 신호의 평균값(mean of 1st derivative of SCSR), 2차 미분 신호의 평균값(mean of 2nd derivative of SCSR), SCSR occurrence 등을 포함하는 특징벡터를 추출할 수 있다.
또 다른 하나의 생리신호 특징벡터로 광혈류량을 이용한 특징벡터의 경우는, 광혈류량을 이용하여 얻을 수 있는 심박수의 평균, 심박 수 변이(Heart rate variability)의 평균, 광혈류량의 표준편차, 광혈류량의 1차 미분의 평균, 광혈류량의 1차 미분의 표준편차, 및 광혈류량의 저주파 성분과 고주파 성분의 비율중 어느 하나 이상을 포함하는 특징 벡터를 추출할 수 있다.
또 다른 하나의 생리신호 특징벡터로 피부표면온도를 이용한 특징벡터 경우는, 피부 표면 온도 변화를 나타내는 1차 미분 값의 평균, 피부표면온도의 최대값, 및 0.1 내지 0.2 헤르츠(Hz)의 주파수 대역 스펙트럼 파워 중 어느 하나 이상을 포함하는 특징벡터를 추출할 수 있다.
(c) 단계(S130)는 상기 (b) 단계에서 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터를 신호 분석부(110)의 해독부(110b)를 통해 상기 뇌신경신호 특징벡터 및 생리신호 특징벡터를 이용하는 기계학습 알고리즘을 사용하여 동물의 운동 의도 및 생체 상태를 파악하는 단계이다.
여기서 상기 운동 의도는 동물의 움직임, 정지 및 움직임의 좌우 방향의 정보 중 어느 하나 이상이며, 상기 생체 상태는 두려움, 경계심, 정신적 워크로드, 피로도, 수면상태, 감정상태, 각성 상태 및 해마의 공간 지도 형성의 정보 중 어느 하나 이상이다.
상기 기계학습 알고리즘은, 구체적으로 획득한 스파이크 파형을 주성분 분석법(principal component analysis, PCA)과 독립성분 분석법(independent component analysis, ICA)을 수행하여 뇌신경신호 및 생리신호에 관한 기저벡터를 추출하는 단계; 상기 기저 벡터로부터 특징벡터를 추출하는 단계; 상기 특징벡터를 서브클래스(subclass)로 뇌신경신호 특징벡터 및 생리신호 특징벡터로 분류하는 클러스터링(clustering) 단계; 및 상기 클러스터링 방법에 의하여 분류된 특징벡터를 서포터 벡터 머신(Support Vector Machine, SVM) 및 서포트 벡터 회귀(Support Vector Regression, SVR)을 기반으로 동물의 운동 의도 및 생체 상태를 파악하는 단계;를 포함할 수 있다.
상기 동물의 운동 의도 및 생체 상태를 파악하는 단계는 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터가 각각 해독부(110b)의 동물의 움직임 및 정지 여부와 왼쪽 및 오른쪽에 대한 방향성에 관한 운동 의도를 이진(binary) 값으로 출력하는 이진 결정 의도 인식기(110b-1)와 공포 수준, 경계심 수준, 피로도, 워크로드(스트레스), 졸림 수준 및 통증 수준 등을 포함한 생체 상태를 연속 실수 값으로 출력하는 회귀부(110b-2)에 입력되어 동물의 운동 의도 및 생체 상태를 파악할 수 있다.
구체적으로 상기 (c) 단계는 상기 (b) 단계에서 분류된 특징벡터를 통해 이진 결정 의도 인식기(110b-1)에서 서포터 벡터 머신(SVM)을 기반으로 서포터 벡터 머신 모델을 생성하여 동물의 운동 의도를 출력하는 단계; 및 상기 (b) 단계에서 분류된 특징벡터를 통해 회귀부(110b-2)에서 서포트 벡터 회귀(SVR)을 기반으로 하여 동물의 생체 상태를 출력하는 단계;를 포함할 수 있다.
상기 서포터 벡터 머신(SVM)은 분류된 특징벡터를
Figure pat00054
이라고 취급할 때, 아래의 수학식 10 및 수학식 11에 의해 최적의 가중벡터
Figure pat00055
와 최적의 바이어스
Figure pat00056
를 구하여 서포트 벡터 머신 모델을 생성하는 것이다.
[수학식 10]
Figure pat00057
상기 수학식 10에서,
Figure pat00058
는 벡터의 전치(transpose) 연산이고,
Figure pat00059
는 커널 함수이다.
상기 수학식 10에서 상기 커널 함수는 다음의 수학식 11와 같이 결정되는 RBF(radial-basis function)이다.
[수학식 11]
Figure pat00060
상기 수학식 11에서,
Figure pat00061
는 특징벡터
Figure pat00062
의 표준편차이다.
상기 서포트 벡터 회귀(SVR)는 분류된 특징벡터를
Figure pat00063
이라고 하고, 상기 분류된 특징벡터에 해당하는 뇌신경신호 및 신경신호의 관계로부터 얻게 되는 동물의 생체 상태의 지표 값을
Figure pat00064
이라 할 때 종속변수
Figure pat00065
로부터 최대 적절한 양수
Figure pat00066
만큼의 편차(deviation)를 갖는 함수
Figure pat00067
를 구하는 알고리즘이다.
(d) 단계(S140)는 상기 (c) 단계에서 파악된 동물의 운동 의도 및 생체 상태를 보상 혹은 처벌여부를 결정하거나 생체 상태를 통해 동물의 체력 소모 정도와 임무 지속 가능 여부를 파악하여 임무지속 가능 여부를 결정하며, 결정된 사항에 맞춰 동물의 행동을 제어하기 위한 전기 자극 파라미터를 조절하는 단계이다.
상기 전기 자극 파라미터는 전기 펄스의 폭, 진폭, 주파수, 지속시간 중 선택되는 어느 하나 이상이며, 이에 한정되지 않는다.
상기 (e) 단계(S150)는 (d) 단계(S140)에서 조절하여 결정된 전기 자극 파라미터를 통해 동물의 특정 대뇌 영역에 전기 신호 자극을 가하여 동물의 행동을 제어하는 단계로서 동물의 자발적인 방향성 있는 움직임 자극, 강제적인 방향성 있는 움직임 자극, 보상 자극 및 처벌 자극 중 어느 하나의 자극을 가하여 동물의 행동을 제어할 수 있다.
상기 동물의 특정 대뇌 영역은 자발적인 방향성 있는 움직임을 제시하기 위한 대뇌 체성 감각 영역, 강제적인 방향성 있는 움직임을 시키기 위한 바닥핵(basal ganglia)의 흑색선조체 경로(nigrostriatal pathway) 또는 시상(thalamus)의 체성감각 통로인 복측후내측핵(ventral posteromedial nucleus), 보상 자극을 가하기 위한 뇌측전다발 영역, 및 공포심을 이용한 처벌 자극을 가하기 위한 편도체(amygdala) 중 어느 하나 이상을 포함할 수 있으며, 이에 한정되지 않고 동물의 행동을 제어할 수 있는 대뇌 영역이라면 본 발명의 실시 범위에 포함될 수 있다.
본 발명의 다중 신경생리신호 기반의 동물 행동 제어 시스템 및 방법은 실시간으로 동물의 운동 의도 및 생체 상태를 신속하게 파악하고, 파악된 동물의 운동 의도 및 생체상태를 토대로 동물에게 적절한 전기 전극을 가해줌으로써 동물 움직임을 효과적 제어하고 생체 상태를 조절할 수 있는 효과가 있다.
도 1은 본 발명에 따른 다중 신경생리신호 기록 및 해독 기반의 동물 행동 제어 시스템의 모식도이다.
도 2는 본 발명의 동물 행동 제어 시스템에서 신호 기록부(100)가 뇌신경 활동과 자율신경 활동을 검출하는 과정을 간략하게 보여주는 도면이다.
도 3은 본 발명의 동물 행동 제어 시스템에서 신호 분석부(110)가 다중 신경생리신호로부터 특징 벡터를 추출하고 운동 의도와 생체 상태를 디코딩하는 과정을 보여주는 도면이다.
도 4는 본 발명의 동물 행동 제어 시스템에서 신호 분석부(110)의 특징 벡터 추출부(110a)가 다중 뇌신경신호와 다중 생리신호로부터 뇌신경신호의 특징 벡터와 생리신호의 특징 벡터를 추출하는 과정을 보여주는 도면이다.
도 5는 본 발명의 동물 행동 제어 시스템에서 신호 분석부(110)의 해독부(110b)가 뇌신경신호와 생리신호로부터 추출된 특징 벡터를 통해 운동 의도와 생체 상태를 해독하는 과정을 보여주는 도면이다.
도 6은 본 발명의 동물 행동 제어 시스템에서 제어부(120)가 운동 의도와 생체 상태에 따른 보상 또는 처벌 여부를 결정하고 자극을 생성하는 과정을 보여주는 도면이다.
도 7은 본 발명의 동물 행동 제어 시스템에서 행동 제어 명령 지시부(130)가 운동 의도와 상태 상태를 출력하고 사용자로부터 수동으로 행동 제어 명령과 생체 상태 조절에 관한 자극을 입력받고 명령 자극을 제시하는 과정을 보여주는 도면이다.
도 8은 본 발명의 동물 행동 제어 시스템을 이용한 동물 행동 제어 방법의 순서도이다.
이하, 본 발명을 도면을 참조하여 상세히 설명하기로 한다. 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
도 1은 본 발명의 동물행동 제어 시스템의 모식도이다.
도 1을 참조하면, 본 발명의 동물행동 제어 시스템은 동물의 다중 뇌신경신호 및 다중 생리신호를 감지 및 기록하는 신호 감지 및 기록부(100), 상기 획득된 다중 뇌신경신호 및 다중 생리신호를 분석하고, 다중 뇌신경신호 및 다중 생리신호의 시간, 시간-주파수, 위상 영역에서 동물의 상태를 반영하는 특징을 수집하는 신호 분석부(110), 상기 수집된 특징을 분류하여 동물의 상태를 파악하고 방향성 있는 움직임을 제어하기 위하여 전기 자극 파라미터를 조절하는 제어부(120), 및 상기 조절된 자극 파라미터를 이용하여 특정 대뇌 영역에 전기 자극을 출력하는 행동제어 명령 지시부(130)를 포함하여 구성된다.
상기 신호 감지 및 기록부(100)는 동물의 생리신호를 신호의 발생되는 해부학적 위치에 따라 중추 신경계(central nervous system) 신호와 말초 신경계(peripheral nervous system) 신호로 두 종류의 기록 전극을 이용하여 측정하며, 도 2에 도시된 바와 같이, 신호 감지 및 기록부(100)는 뇌신경신호 기록 전극(100a), 생리신호 기록 전극(100b) 및 증폭부(100c)를 포함한다.
좀 더 상세하게 상기 뇌신경 신호 기록 전극(100a)은 생체 신호 중에서 중추 신경계(central nervous system) 반응에 의한 신경세포로부터 발생하는 활동전위, 국소뇌전위(local field potential), 뇌피질 뇌파(subdural electrocortigram, ECoG) 및 뇌전도(electroencephalography, EEG) 등을 포함한 다중 뇌신경신호를 획득하기 위해 복수의 미세전극을 이용한 세포외 기록(extracellular recording) 방법으로 측정되며, 여기서 사용되는 뇌신경 신호 기록 전극으로 미세전극 어레이(multi-electrode array, MEA), 경막하 전극, 심부 전극(deep electrode) 또는 뇌파 전극 중에서 선택되는 어느 하나 이상을 사용할 수 있다.
상기 생리신호 기록 전극(100b)은 생체 신호 중에서 말초 신경계 반응에 의한 동물의 피부표면온도(skin temperature, SKT), 광혈류량(photo-plethysmography, PPG), 심전도(electrocardiography, ECG), 피부 전도도 반응(skin conductance response, SCR) 및 호흡 신호 등을 포함하는 다중 생리신호를 측정하기 위한 것으로, 동물의 체표면에 부착되는 다양한 생체 상대 감지 수단을 이용하여 상기 제시된 다중 생리신호를 얻을 수 있다.
이처럼 신호 감지 및 기록부(100)에서는 뇌신경신호 기록 전극(100a)과 생리신호 기록 전극(100b)을 통해 동물의 생체 신호로서 다중 뇌신경신호 및 다중 생리신호를 감지하고, 감지된 신호들을 기초로 동물의 생체신호를 기록한다.
본 발명에서 뇌신경신호이나 생리신호를 측정할 때에는 머리를 포함한 신체의 여러 부분에서 신호를 측정하므로 본 발명의 뇌신경신호 및 생리신호는 단일의 신호 뿐만 아니라 둘 이상의 다중 신호를 측정한다.
그러므로 신호 감지 및 기록부(100)에서 측정된 뇌신경신호 및 생리신호를 또 다른 용어로 다중 뇌신경신호 및 다중 생리신호라 명칭 할 수 있으며, 이하에서는 이러한 다중 뇌신경신호 및 다중 생리신호를 통틀어 "다중 신경생리신호"이라 명칭하기도 한다.
그리고 상기 신호 감지 및 기록부(100)에서 구성된 증폭부(100c)는 뇌신경신호 기록 전극(100a)과 생리신호 기록 전극(100b)을 통해 감지된 각각의 다중 신경생리신호를 증폭하고, 증폭된 다중 신경 생리신호를 신호 분석부(110)로 전송하는 역할을 한다.
도 3 내지 도 5는 신호 분석부(110)에서 다중 신경생리신호로부터 추출된 특징벡터를 통해 운동 의도와 생체 상태를 해독하는 과정을 나타낸 것이다.
도 3를 참조하면, 신호 분석부(110)는 상기 신호 감지 및 기록부(100)에서 전송받은 다중 신경생리신호로부터 특징벡터를 추출하고, 추출된 특징벡터를 통해 대상 동물의 운동 의도와 생체 상태를 해독하는 것으로, 특징벡터 추출부(110a)와 해독부(110b)를 포함하여 구성될 수 있다.
도 4에 도시된 바와 같이 특징벡터 추출부(110a)는 뇌신경신호 특징 벡터 추출부(110a-1)와 생리신호 특징벡터 추출부(110a-2)를 포함하여 구성되며, 상기 신호 감지 및 기록부(100)에서 측정된 다중 뇌신경신호 및 다중 생리신호를 입력신호로 하여 각 해당 입력 신호로부터 특징벡터를 추출한다.
뇌신경신호 특징벡터 추출부(110a-1)는 상기 뇌신경신호 기록 전극(100a)에서 얻은 뇌신경신호로부터 스파이크 트레인(spike train), 파워 스펙트럼 밀도(power spectrum density), 뇌 영역 간의 방향성을 포함하지 않는 연결정도를 표현하는 기능적 연결도(functional connectivity) 및 뇌 영역 간 방향성을 가지는 연결정도를 표현하는 효과적 연결도(effective connectivity)를 추출하여 뇌신경신호 특징벡터를 추출할 수 있다.
구체적으로 뇌신경신호 특징 벡터 추출부(110a-1)는 아래와 같은 방법으로 계산되어 뇌신경신호 특징벡터를 추출할 수 있다.
스파이크 트레인(spike train)은 측정된 세포외 기록 신호(extracellular recording signal)를 300 헤르츠(Hz)의 컷오프 주파수를 가지는 고대역 통과 필터 (highpass filter)를 통과시켜 주변의 저주파 잡음과 국소뇌전위(local field potential)를 제거하는 단계; 상기 고대역 통과 필터를 통과한 출력 신호에 음의 값을 가지는 문턱치(threshold)를 적용하여 주변 잡음보다 값이 큰 피크를 잡는 피크설정 단계; 상기 피크설정 단계로 부터 얻어진 피크를 중심으로 좌우로 15개의 샘플을 획득하여 신경신호의 스파이크 파형을 획득하는 단계; 상기 획득된 스파이크 파형을 주성분 분석법(principal component analysis, PCA) 및 K-평균 알고리즘(K-means algorithm)을 이용해 스파이크들의 형태에 따라 두 그룹 내지는 세 그룹으로 분류하는 단계; 상기 분류된 스파이크로부터 단위시간에 들어있는 스파이크의 갯수를 요소(element)로 하는 뇌신경신호 특징벡터를 추출할 수 있다.
뇌신경신호 특징벡터중 하나로 파워 스펙트럼 밀도(power spectrum density)는 측정된 뇌신경신호 중 어느 하나의 신호를 M차원의 벡터
Figure pat00068
로 하여, 하기 수학식 1을 통해 분석하는 이산 푸리에 변환(discrete Fourier transform), 하기 수학식 2를 통해 분석하는 단기간 푸리에 변환(short-time Fourier transform) 및 하기 수학식 3을 통해 분석하는 웨이브릿 변환(wavelet transform) 중의 어느 하나를 이용하여 특정 시간-주파수 대역의 파워를 얻어 뇌신경신호 특징벡터를 추출할 수 있다.
이하, 본 발명에서 설명하는 모든 수학식의 M차원의 벡터에서 변수 M은 이산 시계열의 길이를 의미하고, 바람직하게 M은 1 이상의 정수이며, 1 내지 1000의 정수일 수 있다.
[수학식 1]
Figure pat00069
수학식 1에서
Figure pat00070
는 주파수를 지칭하는 변수
Figure pat00071
에 대하여
Figure pat00072
를 의미하는 각주파수를 나타낸다.
[수학식 2]
Figure pat00073
수학식 2에서
Figure pat00074
은 특정한 길이의 특정한 모양의 시간 윈도우 벡터를 나타낸다.
[수학식 3]
Figure pat00075
수학식 3에서
Figure pat00076
는 웨이블릿 함수의 공액복소수(complex conjugate),
Figure pat00077
는 정규화 파라미터,
Figure pat00078
는 특정 스케일,
Figure pat00079
는 목표 레이턴시를 나타낸다.
본 발명의 일 구체예에 따르면 파워스펙트럼 밀도(power spectrum density)를 얻는 것은, 상기 측정된 뇌신경신호로 세포외 기록 신호(extracellular recording) 또는 뇌전도 신호를 저대역 통과 필터(lowpass filter)를 통과시켜 주변의 고주파 잡음을 제거하는 단계와, 상기 수학식 1로 이산 푸리에 변환(discrete Fourier transform)과 자동회귀 모델링(autoregressive modeling)을 이용하여 시간정보가 없는 파워스펙트럼 밀도를 얻거나, 상기 수학식 2로 단시간 푸리에 변환(short-time Fourier transform)를 계산하거나 또는 상기 수학식 3으로 웨이블릿 변환(wavelet transform)를 계산하여 시간 정보를 갖는 파워스펙트럼 밀도를 얻는 단계를 포함할 수 있다.
상기 대뇌 영역 간 기능적 연결도(functional connectivity)는 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원의 벡터
Figure pat00080
,
Figure pat00081
로 하여, 하기 수학식 4를 통해 분석하는 간섭성(coherence), 하기 수학식 5를 통해 분석하는 위상 동기 값(phase locking value, PLV), 및 하기 수학식 6을 통해 분석하는 weighted phase lag index(wPLI) 중의 어느 하나를 이용하여 한 쌍의 뇌신경 영역 간의 기능적 연결성을 확인하여 뇌신경신호 특징벡터를 추출할 수 있다.
[수학식 4]
Figure pat00082
수학식 4에서
Figure pat00083
와
Figure pat00084
는
Figure pat00085
와
Figure pat00086
의 진폭,
Figure pat00087
는 두 시계열의 상대적 위상차를 나타낸다.
[수학식 5]
Figure pat00088
수학식 5에서
Figure pat00089
과
Figure pat00090
는 각각 시계열 벡터
Figure pat00091
과
Figure pat00092
에 힐버트 변환을 적용하여 얻은 순간 위상(instantaneous phase)을 나타낸다.
[수학식 6]
Figure pat00093
수학식 6에서
Figure pat00094
은 기대값 연산,
Figure pat00095
은 복소수의 허수 항만을 취하는 연산자,
Figure pat00096
는 두 시계열 벡터
Figure pat00097
과
Figure pat00098
의 교차 스펙트럼(cross spectrum)을 나타낸다.
보다 구체적으로 대뇌 영역 간 기능적 연결도는 뇌신경신호 중 어느 둘의 신호로 이루어진 한 쌍의 뇌신경신호에서 DC 성분을 제거하는 단계와, DC 성분이 제거된 한 쌍의 뇌신경신호를 관찰하고자 하는 주파수 대역 통과 필터로 통과시켜주는 단계와, 힐버트 변환(Hilbert transform)하여 순간 위상(instantaneous phase) 신호를 생성하는 과정과, 상기 수학식 8로 한 쌍의 뇌신경신호의 순간 위상(instantaneous phase)의 차이를 계산하는 단계와, 상기 수학식 9로 한 쌍의 뇌신경신호의 순간 위상의 차이,
Figure pat00099
를 위상으로 가지는
Figure pat00100
함수의 시간 평균 또는 트라이얼(trial) 평균을 계산하여 얻은 위상 동기 값(phase locking value, PLV)을 통해 기능적 연결도를 구하는 단계를 포함할 수 있다.
또 다른 대뇌 영역 간 기능적 연결도를 구하는 방법은 뇌신경신호 중 어느 둘의 신호로 이루어진 한 쌍의 뇌신경신호에서 DC 성분을 제거하는 과정, DC 성분이 제거된 한 쌍의 뇌신경신호의 상호스펙트럼(cross spectrum)을 구해주는 과정 및 상기 상호스펙트럼(cross spectrum)을 상기 수학식 9를 통해 얻을 수 있는 weighted phase lag index(wPLI)를 통해 기능적 연결도를 구해주는 과정을 포함할 수 있다.
상기 대뇌 영역 간 효과적 연결도(effective connectivity)의 경우는 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원의 벡터
Figure pat00101
,
Figure pat00102
로 하여, 하기 수학식 7을 통해 분석하는 그랜저 인과관계(Granger's causality), 하기 수학식 8을 통해 분석하는 PDC(Partial Directed Coherence), 및 하기 수학식 9를 통해 분석하는 DTF(Directed Transfer Function) 중 어느 하나 이상을 이용하여 한 쌍의 뇌신경 영역 간의 방향성이 있는 연결성을 확인하여 뇌신경신호 특징벡터로 대뇌 영역 간 효과적 연결도(effective connectivity)를 추출할 수 있다.
[수학식 7]
Figure pat00103
수학식 7에서
Figure pat00104
은
Figure pat00105
을
Figure pat00106
의 과거 값만을 이용하여 자동 회귀 모델을 이용해 추정할 때 생기는 에러,
Figure pat00107
은
Figure pat00108
을
Figure pat00109
과
Figure pat00110
의 과거값을 모두 사용하여 자동 회귀 모델을 이용해
Figure pat00111
과
Figure pat00112
의 현재 값을 추정할 때 생기는 에러이다.
[수학식 8]
Figure pat00113
상기 수학식 8에서
Figure pat00114
는
Figure pat00115
과
Figure pat00116
을 자동 회귀 모델의 계수 행렬을 푸리에 변환한 것이며,
Figure pat00117
는
Figure pat00118
행렬의
Figure pat00119
번째 열벡터이다.
[수학식 9]
Figure pat00120
상기 수학식 9에서
Figure pat00121
는 상기 수학식 8에서 나온
Figure pat00122
의 역행렬이다.
생리신호 특징 벡터 추출부(110a-2)는 상기 생리신호 기록 전극(100b)로부터 얻은 다중 생리신호로부터 피부 전도도 반응 값(SCR)을 이용한 특징벡터, 광혈류량(PPG) 이용한 특징 벡터 및 피부표면온도(SKT)를 이용한 특징벡터를 계산하여 추출할 수 있다.
좀 더 상세하게 생리신호 특징벡터 추출부(110a-2)에서는 생리신호 특징 벡터를 추출하는 방법로서, 아래와 같이 설명하는 방법을 통해 생리신호 특징벡터를 추출할 수 있다.
일예로 피부 전도도 반응(SCR)의 경우, 피부 전도도 반응 값(SCR)을 이용하여 피부 전도도 진폭의 평균값(mean of SCR amplitude), 피부 전도도 반응의 음수 값 평균값, 피부 전도도 반응의 표준 편차, 피부 전도도 반응의 1차 미분 신호의 평균값(mean of 1st derivative of SCR), 2차 미분 신호의 평균값(mean of 2nd derivative of SCR), 및 전체 샘플 개수 대비 음의 값을 가지는 샘플의 비율을 포함하는 특징 벡터를 구하거나, 또는 피부 전도도가 느린 반응 값(skin conductance slow response, SCSR)을 이용하여 SCSR의 평균값(Mean of SCSR), SCSR 진폭의 평균값(mean of SCSR ampliutde), SCSR의 표준편차(standard deviation of SCSR), 1차 미분 신호의 평균값(mean of 1st derivative of SCSR), 2차 미분 신호의 평균값(mean of 2nd derivative of SCSR), SCSR occurrence 등을 포함하는 특징 벡터를 검출할 수 있다.
예를 들어, 상기 피부 전도도 반응(skin conductance response, SCR)을 이용한 특징벡터는 측정한 피부전도도 반응 신호에서 분석하고자 하는 주파수 대역을 제한하기 위하여 샘플링 주파수를 변환하는 과정과, 피부전도도 변화를 관찰하기 위하여 미분 및 bartlett 윈도우(삼각형 윈도우)를 통한 컨볼루션(convolution) 과정과, 피부전도도의 상 활성(phasic activity)을 관찰하기 위하여 한계점을 초과하는 신호를 분리하는 과정과, 피부전도도의 긴장성 활성(tonic activity)을 관찰하기 위하여 피부전도도 반응 신호를 저대역 통과 필터(lowpass filter)에 통과시켜 주변의 고주파 잡음을 제거하는 과정과, 상대적인 변화 정도를 정규화하기 위하여 표준화(normalization)하는 과정과, 기저 수준에서 변화하는 생체 활동을 관찰하기 위하여 선형 트렌드를 제거해주는 디트렌드(detrend) 과정을 포함하여 추출할 수 있다.
또 다른 생리신호로 광혈류량의 경우는, 광혈류량을 이용하여 얻을 수 있는 심박수의 평균, 표준편차, 심박변이율의 평균, 표준편차, 1차 미분의 평균, 1차 미분의 표준편차, 저주파 성분과 고주파 성분의 비율을 포함하는 특징 벡터를 검출할 수 있다.
예를 들어, 상기 광혈류량(photo-plethysmography, PPG)를 이용한 특징벡터를 추출하는 방법은 측정한 광혈류량 측정 신호에서 지터(jitter)에 비하여 주기가 긴 변동을 제거해 주기 위한 기준선 변동 제거(baseline wander removal)하는 과정과, 심전도 신호 R파의 진폭 값을 추출하기 위하여 광혈류량 측정 신호를 두 번 미분한 후 부호(sign)의 변화에 따른 R파 진폭 부분을 분리해주는 R-peak 검출(R-peak detection) 과정과, 분리된 R파 진폭 간의 구간길이(R-R interval)를 구한 후 평활(smoothing)하여 심박 수 변이(heart rate variability) 신호를 얻는 보간(interpolation)하는 과정과, 심박 수 변이(heart rate variability) 신호를 자동 회귀 모델(autoregressive model)을 통하여 파워 스펙트럼(power spectrum)을 추정하는 과정을 포함하여 추출할 수 있다.
또 다른 생리신호로 피부표면온도 경우는, 피부표면온도를 통해 얻을 수 있는 피부표면온도의 평균, 1차 미분 값의 평균, 최대값, 0.1 내지 0.2 헤르츠(Hz)의 주파수 성분의 스펙트럼 파워를 포함하는 특징벡터를 검출할 수 있다.
예를 들어, 상기 피부표면온도(skin temperature, SKT)를 이용한 특징벡터를 추출하는 방법은 측정된 피부표면온도 신호에서 생체 상태를 반영하는 주파수 대역 분석을 위해 샘플링 주파수를 변환하는 과정, 생체 활동 변화를 관찰하기 위해 전체 DC를 제거해주는 기준선 제거(baseline removal) 과정, 긴장성(tonic) 변화를 관찰하기 위해 자동 회귀 모델(autoregressive model)을 이용하여 추정한 저 주파수 대역 스펙트럼 파워를 얻는 과정, 및 통상적인 피부 표면 온도 변화를 관찰하기 위해 미분을 하는 과정을 포함하여 특징벡터를 추출할 수 있다.
도 5는 신호 분석부(110)의 해독부(110b)가 다중 신경생리신호로부터 추출된 특징 벡터를 통해 운동 의도와 생체 상태를 해독하는 과정을 나타낸 것으로, 도 5에 도시된 바와 같이 해독부(110b)는 이진 결정 의도 인식기(110b-1)와 회귀부(110b-2)를 포함하며, 해독부(110b)는 상기 특징벡터 추출부(110a)에서 추출된 상기 뇌신경신호의 특징 벡터와 생리 신호의 특징 벡터를 입력받아 이를 해독하여 동물의 운동 의도와 생체 상태를 파악한다.
이때, 해독부(110b)에서 이진 결정 의도 인식기(110b-1)와 회귀부(110b-2)에 입력되는 특징 벡터는 뇌신경신호 특징벡터와 생리신호 특징벡터 모두를 입력하여 사용할 수 있다.
이진 결정 의도 인식기(110b-1)는 동물의 움직임 및 정지 여부와 왼쪽 및 오른쪽에 대한 방향성에 관한 운동 의도를 이진(binary) 값으로 출력하게 되고, 상기 회귀부(110b-2)는 공포 수준, 경계심 수준, 피로도, 워크로드(스트레스), 졸림 수준 및 통증 수준 등을 포함한 생체 상태를 연속 실수 값으로 출력하게 된다.
좀 더 상세하게 이진 결정 의도인식기(110b-1)는 서포트 벡터 머신(SVM)을 기반으로 하여 이진 결정을 실시하게 된다. 여기서 서포트 벡터 머신(SVM)은 상기 분류된 특징 벡터를
Figure pat00123
이라고 취급할 때, 아래 제시된 수학식 5에 의해 최적의 가중벡터
Figure pat00124
와 최적의 바이어스
Figure pat00125
를 구하여 서포트 벡터 머신 모델을 생성하는 기계 학습 알고리즘이다.
그러므로 이진 결정 의도인식기(110b-1)는 상기 다중 신경생리신호와 동물의 운동 의도의 관계에 대해 기록한 소정의 운동정보 데이터베이스를 통해 학습 될 수 있으며, 이것을 바탕으로 동물의 운동 의도를 인식할 수 있게 된다.
여기서, 운동정보 데이터베이스는 서포트 벡터 머신을 훈련하기 위하여 실험을 통해 제작된 뇌신경신호, 생리신호의 특징 벡터와 해당 특징 벡터에 대응하는 동물의 움직임과 정지 여부와, 좌우 움직임 방향 등을 스칼라 값으로 기록한 데이터 벡터이다.
[수학식 10]
Figure pat00126
상기 수학식 10에서,
Figure pat00127
는 벡터의 전치(transpose) 연산이고,
Figure pat00128
는 커널 함수이다.
상기 수학식 10에서 상기 커널 함수는 다음의 수학식 11과 같이 결정되는 RBF(radial-basis function)이다.
[수학식 11]
Figure pat00129
상기 수학식 11에서,
Figure pat00130
는 특징벡터
Figure pat00131
의 표준편차이다.
해독부(110b)에서 회귀부(110b-2)는 서포트 벡터 회귀(SVR)를 기반으로 하여 공포 수준, 경계심 수준, 피로도, 워크로드(workload), 졸림 수준, 통증 수준을 연속 실수 값으로 출력할 수 있게 된다.
여기서 서포트 벡터 회귀(SVR)는 상기 분류된 특징 벡터를
Figure pat00132
이라고 하고, 그에 해당하는 다중 신경생리신호의 관계에 대한 소정의 생체정보 데이터베이스로부터 얻게 되는 공포 수준, 경계심 수준, 피로도, 워크로드, 졸림 수준, 통증 수준의 지표 값을
Figure pat00133
이라 할 때 종속변수
Figure pat00134
로 부터 최대 적절한 양수
Figure pat00135
만큼의 편차(deviation)를 갖는 함수
Figure pat00136
를 구하는 알고리즘이다.
여기서, 생체정보 데이터베이스는 서포트 벡터 회귀 알고리즘을 훈련하기 위하여 실험을 통해 제작된 뇌신경신호, 생리신호의 특징 벡터와 해당 특징벡터에 대응하는 공포 수준, 경계심 수준, 피로도, 워크로드, 졸림 수준, 통증 수준의 지표 값 등을 기록한 데이터 벡터이다.
따라서 회귀부(110b-2)는 상기 다중 신경생리신호와 동물의 운동 의도의 관계에 대해 기록한 소정의 생체정보 데이터베이스를 통해 학습될 수 있으며, 이것을 바탕으로 동물의 생체 상태를 점수화 할 수 있게 된다.
도 6은 상기 신호 분석부(110)로부터 해독된 운동 의도와 생체 상태를 입력받아 보상 혹은 처벌 자극의 종류를 결정하게 되는 제어부(120)를 도시된 것으로, 제어부(120)는 보상 혹은 처벌 결정부(120a)와 자극생성 및 제시부(120b)를 포함한다.
상기 보상/처벌 결정부(120a)에서는 사용자가 행동제어 명령 지시부(130)를 통해 입력한 명령 자극과 일치하는 운동 의도를 보였을 경우 보상을 준다고 결정할 수 있으며, 또한 상기 명령자극과 불일치하는 운동 의도를 보였을 경우 처벌을 준다고 결정할 수 있다.
또한 보상 혹은 처벌 결정부(120a)에서는 생체 상태에 따라 보상을 결정할 수 있으며, 예를 들어 피로도 또는 워크로드 또는 통증 수준이 문턱치(threshold)보다 높았을 경우 보상을 준다고 결정할 수 있다.
자극생성 및 제시부(120b)는 상기 보상 혹은 처벌 결정부(120a)에서 결정된 보상 혹은 처벌 사항에 따라 자극 신호 파라미터로 전기 펄스의 폭, 진폭, 주파수, 지속시간 중 선택되는 어느 하나 이상을 조절하여 동물에게 보상 자극 및 처벌 자극을 준다.
도 7은 동물의 운동의도와 생체 상태를 사용자가 파악할 수 있도록 하는 출력부와 사용자가 동물에게 행동 제어 명령을 지시할 수 있도록 하는 행동제어 명령 지시부(130)를 도시한 것이며, 이 행동제어 명령 지시부(130)는 입력부(130a), 출력부(130b), 디스플레이부(130c), 명령 자극 제시부(130d)로 구성되어 있다.
상기 출력부(130b)에서는 신호 분석부(110)로부터 운동 의도와 생체 상태에 대한 정보를 입력받아 디스플레이부(130c)를 통해 사용자에게 출력할 수 있다. 예를 들어 사용자는 출력부(130b)와 디스플레이부(130c)를 통해 동물의 운동 의도에 대한이진 값 결과와 생체 상태에 대한 점수를 확인할 수 있다.
이렇게 디스플레이부(130c)를 통해 동물의 운동 의도 및 생체 상태에 정보를 확인한 사용자는 동물의 행동 및 생체 상태의 제어에 대한 명령을 입력부(130a)를 통해 입력한다. 구체적으로 상기 입력부(130a)에서는 사용자로부터 행동 명령에 관한 입력을 수동으로 행동 및 생체 상태 제어에 대한 지시 받으며, 예를 들어 조이스틱, 리모컨 등의 형태로 동물 행동에 대한 사용자 명령을 수동으로 입력 받을 수 있다.
상기 입력부(130a)에서 입력받은 사용자 명령은 명령 자극 제시부(130d)로 전달되어 사용자로부터 받은 행동 및 상체상태 제어 명령을 전기 자극을 통해 동물에게 제시할 수 있다. 예를 들어 왼쪽, 오른쪽의 방향에 관한 명령을 사용자로부터 받았다고 하면 명령 자극 제시부(130d)는 각각의 명령을 동물의 대뇌의 감각 영역의 오른쪽, 왼쪽에 전기 자극을 줌으로써 명령 자극을 제시할 수 있다.
또한 명령 자극 제시부 (130d)는 사용자로부터 받은 생체 상태 조절 자극 명령을 전기 자극을 통해 제시하는 기능을 가질 수 있다. 예를 들어, 동물의 공포 수준이 높아져 있다고 판단되면 편도체(amygdala)의 억제를 조절하는 변연계 아래 피질(infralimbic cortex)에 전기 자극을 가함으로써 공포 수준을 낮춰주는 조절을 할 수 있다.
또한, 척수(spinal cord)의 등쪽뿔(dorsal horn)에서 통각 신호를 실시간으로 인지하여 심한 통증이 유발된다고 판단되면 수관주변 회색질(periaqueductal gray, PAG)에 전기 자극을 가함으로써 통각을 억제할 수 있다.
본 발명에 따른 동물 행동 제어 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 기록매체의 예로는 ROM(Read Only Memory), RAM(Random Access Memory), 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 본 발명의 동물 행동 제어 시스템의 구성 및 이를 이용한 동물 행동의 제어 방법에 대해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상이 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함을 물론이다.
100 : 신호 감지 및 기록부
100a : 뇌신경신호 기록 전극
100b : 생리신호 기록 전극
100c : 증폭부
110 : 신호 분석부
110a : 특징벡터 추출부
110a-1 : 뇌신경신호 특징벡터 추출부
110a-2 : 신경신호 특징벡터 추출부
110b : 해독부
110b-1 : 이진 결정 의도 인식기
110b-2 : 회귀부
120 : 제어부
120a : 보상 혹은 처벌 결정부
120b : 자극 생성 및 제시부
130 : 행동제어 명령 지시부
130a : 입력부
130b : 출력부

Claims (24)

  1. 동물의 뇌신경신호 및 생리신호를 감지 및 기록하는 신호 감지 및 기록부(100);
    상기 신호 감지 및 기록부로부터 전달받은 뇌신경신호 및 생리신호를 통해 각각의 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하고, 추출된 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 신호 분석부(110);
    파악된 동물의 운동 의도 및 생체 상태에 따라 전기 자극 파라미터를 조절하여 그에 상응하는 보상 혹은 처벌 자극을 주는 제어부(120); 및
    조절된 전기 자극 파라미터를 이용하여 특정 대뇌 영역에 전기 자극을 출력하는 행동제어 명령 지시부(130);를 포함하는 것을 특징으로 하는 동물 행동 제어 시스템.
  2. 제1항에 있어서,
    상기 뇌신경신호는 세포 외 기록 신호(extracellular recording signal), 국소뇌전위(local field potential), 뇌피질 뇌파(subdural electrocortigram, ECoG) 및 뇌전도(electroencephalography, EEG) 중에서 선택된 어느 하나 이상인 것을 특징으로 하는 동물 행동 제어 시스템.
  3. 제1항에 있어서,
    상기 생리신호는 피부표면온도(skin temperature, SKT), 광혈류량(photo-plethysmography, PPG), 심전도(electrocardiography, ECG), 피부 전도도 반응(skin conductance response, SCR) 및 호흡 신호 중에서 선택되는 어느 하나 이상인 것을 특징으로 하는 동물행동 제어 시스템.
  4. 제1항에 있어서,
    상기 신호 감지 및 기록부(100)는,
    동물의 뇌신경신호를 감지 및 기록하는 뇌신경신호 기록 전극(100a);
    동물의 생리신호를 감지 및 기록하는 생리신호 기록 전극(100b); 및
    감지된 뇌신경신호 및 생리신호를 증폭하는 증폭부(100c);를 포함하는 것을 특징으로 하는 동물 행동 제어 시스템.
  5. 제1항에 있어서,
    상기 신호 분석부(110)는,
    뇌신경신호로부터 뇌신경신호 특징벡터를 추출하는 뇌신경신호 특징벡터 추출부(110a-1)와, 생리신호로부터 생리신호 특징벡터를 추출하는 생리신호 특징벡터 추출부(110a-2)로 이루어진 특징벡터 추출부(110a); 및
    상기 뇌신경신호 특징벡터와 상기 생리신호 특징벡터를 해독하여 동물의 운동 의도와 생체 상태를 파악하는 해독부(110b);를 포함하는 것을 특징으로 하는 동물 행동 제어 시스템.
  6. 제5항에 있어서,
    상기 해독부(110b)는,
    서포트 벡터 머신(Support Vector Machine)에 의해 동물의 운동 의도를 이진 값으로 출력하는 이진 결정 의도 인식기(110b-1); 및
    서포트 벡터 회귀(Support Vector Regression)에 의해 동물의 생체 상태를 연속된 실수 값으로 출력하는 회귀부(110b-2);를 포함하는 것을 특징으로 하는 동물 행동 제어 시스템.
  7. 제1항에 있어서,
    상기 제어부(120)는,
    파악된 동물의 운동 의도 및 생체 상태를 토대로 보상 혹은 처벌 여부를 결정하는 보상 혹은 처벌 결정부(120a); 및
    상기 보상 혹은 처벌 결정부에서 수신받은 결정으로부터 동물의 행동을 제어하기 위한 전기 자극 파라미터를 생성하는 자극 생성 및 제시부(120b);를 포함하는 것을 특징으로 하는 동물 행동 제어 시스템.
  8. 제1항에 있어서,
    상기 행동제어 명령 지시부(130)는,
    동물의 행동 및 생체 상태의 제어에 대한 사용자 명령을 입력받는 입력부(130a);
    상기 신호 분석부(110)로부터 수신된 운동 의도와 생체 상태를 디스플레이부로 출력하는 출력부(130b);
    상기 출력부에서 출력된 운동 의도와 생체 상태를 표시하는 디스플레이부(130c); 및
    상기 입력부로부터 전달받은 사용자 명령을 토대로 움직임 방향에 관한 큐(cue) 자극 명령을 받아 행동 제어 명령과 생체 상태를 조절할 수 있도록 동물의 특정 대뇌 영역에 전기 자극을 출력하는 명령 자극 제시부(130d);를 포함하는 것을 특징으로 하는 동물 행동 제어 시스템.
  9. (a) 대상 동물로부터 동물의 뇌신경신호 및 생리신호를 획득하는 단계;
    (b) 획득된 뇌신경신호 및 생리신호를 분석하여 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하는 단계;
    (c) 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 단계;
    (d) 파악된 동물의 운동 의도 및 생체 상태를 기반으로 보상 혹은 처벌여부를 결정하거나 임무 지속 가능 여부를 결정하여 동물의 행동을 제어하기 위한 전기 자극 파라미터를 조절하는 단계; 및
    (e) 결정된 전기 자극 파라미터에 따른 전기자극 파형을 특정 대뇌 영역에 전달하여, 동물의 행동을 제어하는 단계;를 포함하는 것을 특징으로 하는 동물 행동 제어 방법.
  10. 제9항에 있어서,
    상기 뇌신경신호는 세포 외 기록 신호(extracellular recording signal), 국소뇌전위(local field potential), 뇌피질 뇌파(subdural electrocortigram, ECoG) 및 뇌전도(electroencephalography, EEG) 중에서 선택된 어느 하나 이상인 것을 특징으로 하는 동물 행동 제어 방법.
  11. 제9항에 있어서,
    상기 생리신호는 피부표면온도(skin temperature, SKT), 광혈류량(photo-plethysmography, PPG), 심전도(electrocardiography, ECG), 피부 전도도 반응(skin conductance response, SCR) 및 호흡 신호 중에서 선택되는 어느 하나 이상인 것을 특징으로 하는 동물 행동 제어 방법.
  12. 제9항 또는 제10항에 있어서,
    상기 (b) 단계는,
    상기 획득된 뇌신경신호를 통해 스파이크 트레인(spike train), 파워 스펙트럼 밀도(Power Spectrum Density), 대뇌 영역 간 기능적 연결도(functional connectivity), 및 대뇌 영역 간 효과적 연결도(effective connectivity) 중 선택되는 어느 하나의 뇌신경신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
  13. 제12항에 있어서,
    상기 파워 스펙트럼 밀도는 뇌신경신호 중 어느 하나의 신호를 M차원(M은 1 이상의 정수)의 벡터
    Figure pat00137
    로 하여,
    하기 수학식 1을 통해 분석하는 푸리에 변환(Fourier transform);
    하기 수학식 2를 통해 분석하는 단기간 푸리에 변환(short-time Fourier transform); 및
    하기 수학식 3을 통해 분석하는 웨이브릿 변환(wavelet transform); 중의 어느 하나를 이용하여 특정 시간-주파수 대역의 파워를 얻어 뇌신경신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
    [수학식 1]
    Figure pat00138

    (수학식 1에서,
    Figure pat00139
    는 주파수를 지칭하는 변수
    Figure pat00140
    에 대하여
    Figure pat00141
    를 의미하는 각주파수임)
    [수학식 2]
    Figure pat00142

    (수학식 2에서,
    Figure pat00143
    은 특정한 길이의 특정한 모양의 시간 윈도우 벡터임)
    [수학식 3]
    Figure pat00144

    (수학식 3에서
    Figure pat00145
    는 웨이블릿 함수의 공액복소수(complex conjugate),
    Figure pat00146
    는 정규화 파라미터,
    Figure pat00147
    는 특정 스케일,
    Figure pat00148
    는 목표 레이턴시임)
  14. 제12항에 있어서,
    상기 대뇌 영역 간 기능적 연결성은 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원(M은 1 이상의 정수)의 벡터
    Figure pat00149
    ,
    Figure pat00150
    로 하여,
    하기 수학식 4을 통해 분석하는 간섭성(coherence);
    하기 수학식 5를 통해 분석하는 위상 동기 값(phase locking value, PLV); 및
    하기 수학식 6을 통해 분석하는 weighted phase lag index(wPLI); 중의 어느 하나 이상을 이용하여 한 쌍의 뇌신경 영역 간의 기능적 연결성을 확인하여 뇌신경신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
    [수학식 4]
    Figure pat00151

    (수학식 4에서,
    Figure pat00152
    와
    Figure pat00153
    는
    Figure pat00154
    와
    Figure pat00155
    의 진폭,
    Figure pat00156
    는 두 시계열의 상대적 위상차임)
    [수학식 5]
    Figure pat00157

    (수학식 5에서,
    Figure pat00158
    과 는 각각 시계열 벡터
    Figure pat00160
    과
    Figure pat00161
    에 힐버트 변환을 적용하여 얻은 순간 위상(instantaneous phase)임)
    [수학식 6]
    Figure pat00162

    (수학식 6에서,
    Figure pat00163
    은 기대값 연산,
    Figure pat00164
    은 복소수의 허수 항만을 취하는 연산자,
    Figure pat00165
    는 두 시계열 벡터
    Figure pat00166
    과
    Figure pat00167
    의 교차 스펙트럼(cross spectrum)임)
  15. 제12항에 있어서,
    상기 대뇌 영역 간 방향성 있는 연결성 분석은 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원(M은 1 이상의 정수)의 벡터
    Figure pat00168
    ,
    Figure pat00169
    로 하여,
    수학식 7을 통해 분석하는 그랜저 인과관계(Granger's causality);
    수학식 8을 통해 분석하는 PDC(Partial Directed Coherence); 및
    수학식 9를 통해 분석하는 DTF(Directed Transfer Function); 중 어느 하나를 이용하여 한 쌍의 뇌신경 영역 간의 방향성이 있는 연결성을 확인하여 뇌신경신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
    [수학식 7]
    Figure pat00170

    (수학식 7에서,
    Figure pat00171
    은
    Figure pat00172
    을
    Figure pat00173
    의 과거 값만을 이용하여 자동 회귀 모델을 이용해 추정할 때 생기는 에러,
    Figure pat00174
    은
    Figure pat00175
    을
    Figure pat00176
    과
    Figure pat00177
    의 과거값을 모두 사용하여 자동 회귀 모델을 이용해
    Figure pat00178
    과
    Figure pat00179
    의 현재 값을 추정할 때 생기는 에러임)
    [수학식 8]
    Figure pat00180

    (수학식 8에서,
    Figure pat00181
    는
    Figure pat00182
    과
    Figure pat00183
    을 자동 회귀 모델의 계수 행렬을 푸리에 변환한 것이며,
    Figure pat00184
    는
    Figure pat00185
    행렬의
    Figure pat00186
    번째 열벡터임)
    [수학식 9]
    Figure pat00187

    (수학식 9에서,
    Figure pat00188
    는 상기 수학식 8에서 나온
    Figure pat00189
    의 역행렬임)
  16. 제9항 또는 제10항에 있어서,
    상기 (b) 단계는,
    상기 측정된 생리신호를 통해 피부표면온도(skin temperature, SKT)를 이용한 특징벡터, 광혈류량(photo-plethysmography, PPG)을 이용한 특징벡터, 심전도(electrocardiography, ECG)를 이용한 특징벡터, 피부 전도도 반응(skin conductance response, SCR)을 이용한 특징벡터 및 호흡 신호를 이용한 특징벡터 중에서 선택되는 어느 하나의 생리신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
  17. 제16항에 있어서,
    상기 피부표면온도를 이용한 특징벡터는 피부표면온도의 평균, 피부 표면 온도 변화를 나타내는 1차 미분 값의 평균, 피부표면온도의 최대값, 및 0.1 내지 0.2 헤르츠(Hz)의 주파수 대역 스펙트럼 파워 중 어느 하나 이상을 포함하는 생리신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
  18. 제16항에 있어서,
    상기 피부 전도도 반응을 이용한 특징벡터는 피부 전도도 반응 진폭의 평균값(mean of SCR amplitude), 피부 전도도 반응의 음수 값 평균값, 피부 전도도 반응의 표준 편차, 피부 전도도 반응의 1차 미분 신호 평균값(mean of 1st derivative of SCR), 피부 전도도 반응의 2차 미분 신호 평균값(mean of 2nd derivative of SCR), 및 피부 전도도 반응의 전체 샘플 개수 대비 음의 값을 가지는 샘플의 비율 중 어느 하나 이상을 포함하는 생리신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
  19. 제16항에 있어서,
    상기 광혈류량을 이용한 특징벡터는 심박수의 평균, 표준편차, 심박 수 변이(Heart rate variability)의 평균, 광혈류량의 표준편차, 광혈류량의 1차 미분의 평균, 광혈류량의 1차 미분의 표준편차, 및 광혈류량의 저주파 성분과 고주파 성분의 비율중 어느 하나 이상을 포함하는 생리신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
  20. 제9항에 있어서,
    상기 (b) 단계는,
    획득된 동물의 뇌신경신호 및 생리신호를 주성분 분석법(principal component analysis, PCA)과 독립성분 분석법(independent component analysis, ICA)을 수행하여 뇌신경신호 및 생리신호에 관한 기저벡터를 추출하는 단계;
    상기 기저벡터로부터 특징벡터를 추출하는 단계; 및
    상기 특징벡터를 서브클래스(subclass)로 분류하는 클러스터링(clustering) 단계;를 더 포함하여 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
  21. 제9항에 있어서,
    상기 (c) 단계는,
    상기 (b) 단계에서 분류된 특징벡터를 통해 서포터 벡터 머신(Support Vector Machine, SVM)을 기반으로 서포터 벡터 머신 모델을 생성하여 동물의 운동 의도를 출력하는 단계; 및
    서포트 벡터 회귀(Support Vector Regression, SVR)을 기반으로 하여 동물의 생체 상태를 출력하는 단계;를 포함하는 것을 특징으로 하는 동물 행동 제어 방법.
  22. 제21항에 있어서,
    상기 서포터 벡터 머신은 분류된 특징벡터를
    Figure pat00190
    이라고 할 때, 아래의 수학식 10과 수학식 11에 의해 최적의 가중벡터
    Figure pat00191
    와 최적의 바이어스
    Figure pat00192
    를 구하여 서포트 벡터 머신 모델을 생성하는 것을 특징으로 하는 동물 행동 제어 방법.
    [수학식 10]
    Figure pat00193

    (수학식 10에서,
    Figure pat00194
    는 벡터의 전치(transpose) 연산이고,
    Figure pat00195
    는 커널 함수임)
    상기 수학식 10에서 상기 커널 함수는 다음의 수학식 11와 같이 결정되는 RBF(radial-basis function)임
    [수학식 11]
    Figure pat00196

    (수학식 11에서,
    Figure pat00197
    는 특징벡터
    Figure pat00198
    의 표준편차임)
  23. 제21항에 있어서,
    상기 서포트 벡터 회귀는 분류된 특징벡터를
    Figure pat00199
    이라고 하고, 상기 분류된 특징벡터에 해당하는 뇌신경신호 및 신경신호의 관계로부터 얻게 되는 동물의 생체 상태의 지표 값을
    Figure pat00200
    이라 할 때, 종속변수
    Figure pat00201
    로부터 최대 양수
    Figure pat00202
    만큼의 편차(deviation)를 갖는 함수
    Figure pat00203
    를 구하는 것을 특징으로 하는 동물 행동 제어 방법.
  24. 제9항에 있어서,
    상기 (e) 단계에서 상기 동물의 특정 대뇌 영역은,
    자발적인 방향성 있는 움직임 자극을 가하기 위한 대뇌 체성 감각 영역;
    강제적인 방향성 있는 움직임 자극을 가하기 위한 바닥핵(basal ganglia)의 흑색선조체 경로(nigrostriatal pathway) 또는 시상(thalamus)의 체성감각 통로인 복측후내측핵 (ventral posteromedial nucleus);
    보상 자극을 가하기 위한 뇌측전다발 영역; 및
    처벌 자극을 가하기 위한 편도체(amygdala);를 포함하는 것을 특징으로 하는 동물 행동 제어 방법.
KR1020170039216A 2017-03-28 2017-03-28 다중 신경생리신호 기반의 동물 행동 제어 시스템 및 그 방법 KR101948417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170039216A KR101948417B1 (ko) 2017-03-28 2017-03-28 다중 신경생리신호 기반의 동물 행동 제어 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170039216A KR101948417B1 (ko) 2017-03-28 2017-03-28 다중 신경생리신호 기반의 동물 행동 제어 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180109451A true KR20180109451A (ko) 2018-10-08
KR101948417B1 KR101948417B1 (ko) 2019-02-14

Family

ID=63864778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170039216A KR101948417B1 (ko) 2017-03-28 2017-03-28 다중 신경생리신호 기반의 동물 행동 제어 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101948417B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109566446A (zh) * 2018-12-07 2019-04-05 中国人民解放军军事科学院军事医学研究院 用于灵长类动物运动目标物体抓握的训练装置及方法
CN110743101A (zh) * 2019-10-29 2020-02-04 中国电子科技集团公司第五十四研究所 一种动物机器人运动行为记录和分析方法
KR20210001775A (ko) * 2019-06-28 2021-01-06 국방과학연구소 동물 행동 제어 장치 및 이를 포함하는 시스템
KR20210019205A (ko) 2019-08-12 2021-02-22 단국대학교 천안캠퍼스 산학협력단 뇌파신호 및 말초신경신호를 연동한 동작 의도 판별 방법 및 의지 제어 방법
US10986816B2 (en) 2014-03-26 2021-04-27 Scr Engineers Ltd. Livestock location system
US10986817B2 (en) 2014-09-05 2021-04-27 Intervet Inc. Method and system for tracking health in animal populations
US11071279B2 (en) 2014-09-05 2021-07-27 Intervet Inc. Method and system for tracking health in animal populations
CN113421141A (zh) * 2020-07-29 2021-09-21 阿里巴巴集团控股有限公司 基于脑机、脑神经信号的购物处理方法、装置及电子设备
WO2021194197A1 (ko) * 2020-03-24 2021-09-30 인제대학교 산학협력단 주요 우울증에 대한 정보 제공 방법 및 이를 이용한 주요 우울증에 대한 정보 제공용 디바이스
USD990063S1 (en) 2020-06-18 2023-06-20 S.C.R. (Engineers) Limited Animal ear tag
USD990062S1 (en) 2020-06-18 2023-06-20 S.C.R. (Engineers) Limited Animal ear tag
US11832587B2 (en) 2020-06-18 2023-12-05 S.C.R. (Engineers) Limited Animal tag
US11832584B2 (en) 2018-04-22 2023-12-05 Vence, Corp. Livestock management system and method
US11864529B2 (en) 2018-10-10 2024-01-09 S.C.R. (Engineers) Limited Livestock dry off method and device
US11960957B2 (en) 2020-11-25 2024-04-16 Identigen Limited System and method for tracing members of an animal population

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517537B2 (ja) * 2001-05-22 2010-08-04 国立大学法人北海道大学 個人適応型生体信号被動機器制御システム及びその制御方法
JP4383990B2 (ja) * 2004-09-09 2009-12-16 日本電信電話株式会社 パラメータ推定装置、パラメータ推定方法、パラメータ推定プログラム、および、パラメータ推定プログラムの記録媒体
TWI517834B (zh) * 2010-09-10 2016-01-21 國立交通大學 生物感知互動裝置之互動方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10986816B2 (en) 2014-03-26 2021-04-27 Scr Engineers Ltd. Livestock location system
US11963515B2 (en) 2014-03-26 2024-04-23 S.C.R. (Engineers) Limited Livestock location system
US11071279B2 (en) 2014-09-05 2021-07-27 Intervet Inc. Method and system for tracking health in animal populations
US10986817B2 (en) 2014-09-05 2021-04-27 Intervet Inc. Method and system for tracking health in animal populations
US11832584B2 (en) 2018-04-22 2023-12-05 Vence, Corp. Livestock management system and method
US11864529B2 (en) 2018-10-10 2024-01-09 S.C.R. (Engineers) Limited Livestock dry off method and device
CN109566446A (zh) * 2018-12-07 2019-04-05 中国人民解放军军事科学院军事医学研究院 用于灵长类动物运动目标物体抓握的训练装置及方法
KR20210001775A (ko) * 2019-06-28 2021-01-06 국방과학연구소 동물 행동 제어 장치 및 이를 포함하는 시스템
KR20210019205A (ko) 2019-08-12 2021-02-22 단국대학교 천안캠퍼스 산학협력단 뇌파신호 및 말초신경신호를 연동한 동작 의도 판별 방법 및 의지 제어 방법
CN110743101A (zh) * 2019-10-29 2020-02-04 中国电子科技集团公司第五十四研究所 一种动物机器人运动行为记录和分析方法
WO2021194197A1 (ko) * 2020-03-24 2021-09-30 인제대학교 산학협력단 주요 우울증에 대한 정보 제공 방법 및 이를 이용한 주요 우울증에 대한 정보 제공용 디바이스
USD990063S1 (en) 2020-06-18 2023-06-20 S.C.R. (Engineers) Limited Animal ear tag
USD990062S1 (en) 2020-06-18 2023-06-20 S.C.R. (Engineers) Limited Animal ear tag
US11832587B2 (en) 2020-06-18 2023-12-05 S.C.R. (Engineers) Limited Animal tag
CN113421141A (zh) * 2020-07-29 2021-09-21 阿里巴巴集团控股有限公司 基于脑机、脑神经信号的购物处理方法、装置及电子设备
US11960957B2 (en) 2020-11-25 2024-04-16 Identigen Limited System and method for tracing members of an animal population

Also Published As

Publication number Publication date
KR101948417B1 (ko) 2019-02-14

Similar Documents

Publication Publication Date Title
KR101948417B1 (ko) 다중 신경생리신호 기반의 동물 행동 제어 시스템 및 그 방법
CA2524617C (en) System and method of assessment of the efficacy of treatment of neurological disorders using the electroencephalogram
US7706871B2 (en) System and method of prediction of response to neurological treatment using the electroencephalogram
Blinowska et al. Electroencephalography (eeg)
Kar et al. EEG signal analysis for the assessment and quantification of driver’s fatigue
JP3769023B2 (ja) 脳の活動状態変化を予測、早期検出、警告、予防または制御するためのシステム
EP2575608B1 (en) Detector for identifying physiological artifacts from physiological signals and method
EP3217869B1 (en) Scoring method based on improved signals analysis
JP2019528104A (ja) 生体信号のモニタリングのための耳内感知システムおよび方法
US20060265022A1 (en) Modulation and analysis of cerebral perfusion in epilepsy and other neurological disorders
US20040267152A1 (en) Method and system for predicting and preventing seizures
JP2007515200A5 (ko)
Khan et al. Brain–computer interface for single-trial EEG classification for wrist movement imagery using spatial filtering in the gamma band
US20220022809A1 (en) Systems and methods to detect and treat obstructive sleep apnea and upper airway obstruction
US11931574B2 (en) Apparatus, systems and methods for monitoring symptoms of neurological conditions
US11154234B2 (en) Method for the management of nociception
CN113614751A (zh) 脑电图信号的识别和提取
CN115486818B (zh) 一种运动神经通路检测量化的方法、系统和装置
Paulraj et al. Fractal feature based detection of muscular and ocular artifacts in EEG signals
Saidatul et al. The assessment of developed mental stress elicitation protocol based on heart rate and EEG signals
Dubey et al. Digital analysis of EEG brain signal
Mohdiwale et al. Brain–computer interface and neurocomputing
Prakash et al. A study on artifacts removal from physiological signals
Isakov Scientific Developments in Studies of the Operation of the Human Brain
Bansal Identification of Cognitive Workload using EEG Signal Processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right