KR102175997B1 - 뇌파 기반의 사용자 의도 인식 방법 및 장치 - Google Patents

뇌파 기반의 사용자 의도 인식 방법 및 장치 Download PDF

Info

Publication number
KR102175997B1
KR102175997B1 KR1020180161168A KR20180161168A KR102175997B1 KR 102175997 B1 KR102175997 B1 KR 102175997B1 KR 1020180161168 A KR1020180161168 A KR 1020180161168A KR 20180161168 A KR20180161168 A KR 20180161168A KR 102175997 B1 KR102175997 B1 KR 102175997B1
Authority
KR
South Korea
Prior art keywords
user
eeg
intention
data
target
Prior art date
Application number
KR1020180161168A
Other languages
English (en)
Other versions
KR20200075153A (ko
Inventor
이은주
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020180161168A priority Critical patent/KR102175997B1/ko
Publication of KR20200075153A publication Critical patent/KR20200075153A/ko
Application granted granted Critical
Publication of KR102175997B1 publication Critical patent/KR102175997B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/04012—
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 뇌파 기반의 사용자 의도 인식 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 뇌파 기반의 사용자 의도 인식 방법은, 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱하는 단계, 상기 센싱된 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴을 기반으로 분석하여 사용자의 의도를 인식하는 단계, 및 상기 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력하는 단계를 포함한다.

Description

뇌파 기반의 사용자 의도 인식 방법 및 장치{METHODS AND APPARATUSES FOR RECOGNIZING USER INTENTION BASED ON BRAIN WAVE}
본 발명은 사용자 의도 인식 기술에 관한 것으로, 보다 상세하게는, 뇌파 기반의 사용자 의도 인식 방법 및 장치에 관한 것이다.
종래의 감성 인식 기술은 사용자 맥락 정보가 인위적인 실험환경에서 주어질 시 이에 대한 뇌파 반응 추출 위주의 기술이다. 이는 실제 사용자 환경에서 주어지는 자극들을 예측할 수 없어 상용화에 어려움이 있다.
종래 기술은 각종 IoT(Internet of Things) 센서로부터 측정 가능한 사용자가 위치한 환경에 대한 정보를 연결하지 않는다.
종래 기술은 사용자 환경 데이터(User Environment data: UE), 사용자 근접 데이터(User Proximal data: UP), 및 뉴로 반응 데이터(Neuro response data: NR)가 통합되거나 연결되지 않는다. 이러한 데이터들이 연결되지 않고 있다. 이와 같이 산발적으로 편재한 데이터는 산업적 실용성이 없다.
UE, UP, NR 데이터가 연결이 되어야 사용자의 선호, 불의도, 호기심, 지겨움 등 다양한 감성을 유발하는 원인이 무엇인지 알 수 있다. 그러나 종래 기술은 원인은 알 수 없는 반응만 측정하여 인공지능이 학습을 할 수 있는 데이터 구조가 제공되지 않는다.
종래 뇌파를 사용하여 사용자의 감성 등 다양한 반응을 측정하는 기술의 경우, 자극물에 노출된 직후 300-400 밀리세컨드 혹은 400-600 밀리세컨드의 극히 짧은 시간 내에 생성된 뇌파를 사용하였다. 해당 뇌파는 매우 시그널 크기가 작고 노이즈에 묻혀 관측되기 어렵다. 사용자의 전두엽 두정엽 혹은 후두엽 쪽에서 나오는 뇌파에 집중하고 측두엽 쪽 뇌파는 상대적으로 보지 않았다.
한편, 사용자의 의도 인식과 관련하여, 인공지능(AI, Artificial Intelligence) 스피커는 사용자가 명령을 언어로 발화한 후 이를 수행한다. 여기서, 사용자가 발화하는 것은 이미 의도나 선호 감성이 다 결정된 후 나타나는 행동이다.
사용자는 공공 공간에서 자신의 의도를 큰 소리로 말하지 않는다. 전술된 바와 같이, 사용자의 감성 뇌파에 대한 기술은 상대적으로 많이 연구되고 있으나, 사용자의 의도를 해석하는 연구는 뇌파의 패턴을 체계화하고 있지 않다.
한편, 종래에는 뇌파와 디바이스를 연결하기 위한 신호 표준화방법이 제시되지 않았다. 뇌파는 1초동안 수백 Hz로 데이터가 수집되어, 데이터 사이즈가 크고, 뇌의 다양한 부위와 위치에서 측정될 수 있어, 채널 수가 많으므로 시간적 공간적 복잡도가 높다. 또한 뇌파 데이터의 처리에서 정보처리 병목 현상 및 신호 두절을 일으키게 된다. 뇌파를 인공지능 및 디바이스와 연결하기 위해서는 뇌파 데이터의 공간적 시간적 복잡도를 감소시켜 정보처리 컴퓨팅 및 송수신 신호화가 가능하도록 해야 한다. 그러나 종래에는 뇌파와 디바이스 간 통신이 가능하도록, 뇌파 데이터를 가공, 축약 처리하는 메타데이터화 방법이 제시되지 않았다.
본 발명의 실시 예들은 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터에 대해 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴(예컨대, 양극화 전위 패턴)을 기반으로 분석하여 사용자의 의도를 인식하고 그 인식된 의도에 따라 타겟을 제어할 수 있는, 뇌파 기반의 사용자 의도 인식 방법 및 장치를 제공하고자 한다.
본 발명의 실시 예들은 사용자가 발화하지 않아도 타겟을 좌측 또는 우측으로 이동시키거나, 타겟에 표시된 좌측 아이템 또는 우측 아이템 중에서 하나를 선택하는 의도, 즉 심중에 가지는 내적 프로세스 기반으로 발생하는 뇌파의 패턴을 인식하고 그 뇌파를 전자 정보 신호화함으로써, 타겟이 되는 기기를 제어할 수 있는, 뇌파 기반의 사용자 의도 인식 방법 및 장치를 제공하고자 한다.
본 발명의 일 실시 예에 따르면, 사용자 의도 인식 장치에 의해 수행되는 뇌파 기반의 사용자 의도 인식 방법에 있어서, 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱하는 단계; 상기 센싱된 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴을 기반으로 분석하여 사용자의 의도를 인식하는 단계; 및 상기 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력하는 단계를 포함하는 뇌파 기반의 사용자 의도 인식 방법이 제공될 수 있다.
상기 사용자의 의도를 인식하는 단계는, 사용자의 의도를 상기 타겟의 이동 제어, 상기 타겟의 아이템 선택 제어 및 상기 타겟의 스위칭 제어 중에서 어느 하나의 사용자 의도로 인식할 수 있다.
상기 사용자의 의도를 인식하는 단계는, 상기 센싱된 뇌파 데이터에서 좌우 전위가 양극화되는 양극화 전위 발생을 확인하여 사용자의 의도를 인식할 수 있다.
상기 사용자의 의도를 인식하는 단계는, 상기 센싱된 뇌파 데이터에서 기설정된 뇌파 지속 시간 이상의 양전위 뇌파 또는 음전위 뇌파 발생을 확인하여 사용자의 의도를 인식할 수 있다.
상기 방법은, 상기 센싱된 뇌파 데이터를 기설정된 주기별로 풀링하되, 임계치 또는 전위 방향을 이용한 코드화를 통해 상기 센싱된 뇌파 데이터의 메타 데이터를 생성하는 단계를 더 포함할 수 있다.
상기 메타 데이터를 생성하는 단계는, 상기 센싱된 뇌파 데이터를 뇌파 데이터의 공간적 복잡성과 시간적 복잡성을 기설정된 비율로 줄인 메타 데이터로 변환할 수 있다.
상기 방법은, 사용자가 제어하고자 하는 타겟이 카메라를 통해 촬영된 적어도 하나의 이미지를 이용하여 상기 타겟을 인식하는 단계; 및 상기 인식된 타겟과 상기 인식된 사용자의 의도를 페어링시키는 단계를 더 포함 할 수 있다.
상기 타겟을 인식하는 단계는, 상기 사용자의 좌안 및 우안 측에 각각 위치한 카메라에서 촬영된 적어도 하나의 이미지를 이용하되, 상기 적어도 하나의 이미지가 겹쳐진 영역에 위치한 대상을 상기 타겟으로 인식할 수 있다.
상기 타겟을 인식하는 단계는, 상기 카메라가 촬영하는 주기를 상기 센싱된 뇌파 데이터를 풀링하는 주기와 연동시킬 수 있다.
상기 방법은, 상기 인식된 타겟과 상기 인식된 사용자의 의도 간의 페어링 결과를 기반으로 상기 센싱된 뇌파 데이터를 기계 학습하는 단계를 더 포함할 수 있다.
상기 방법은, 사용자 주변 환경 또는 사용자 근접 디바이스에서 센싱된 적어도 하나의 멀티스트림 데이터를 획득하는 단계를 더 포함하고, 상기 사용자의 의도를 인식하는 단계는 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터를 결합하여 사용자의 의도를 인식할 수 있다.
상기 방법은, 상기 인식된 타겟과 상기 인식된 사용자의 의도 간의 페어링 결과를 기반으로, 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터가 결합된 데이터를 기계 학습하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱하는 뇌파 센서; 기학습된 뇌파 패턴을 저장하는 메모리; 송수신기; 및 상기 뇌파 센서, 상기 메모리 및 상기 송수신기와 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 센싱된 사용자의 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴을 기반으로 분석하여 사용자의 의도를 인식하고, 상기 송수신기를 통해 상기 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력하는 뇌파 기반의 사용자 의도 인식 장치가 제공될 수 있다.
상기 프로세서는, 사용자의 의도를 상기 타겟의 이동 제어, 상기 타겟의 아이템 선택 제어 및 상기 타겟의 스위칭 제어 중에서 어느 하나의 사용자 의도로 인식할 수 있다.
상기 프로세서는, 상기 센싱된 뇌파 데이터에서 좌우 전위가 양극화되는 양극화 전위 발생을 확인하여 사용자의 의도를 인식 할 수 있다.
상기 프로세서는, 상기 센싱된 뇌파 데이터에서 기설정된 뇌파 지속 시간 이상의 양전위 뇌파 또는 음전위 뇌파 발생을 확인하여 사용자의 의도를 인식 할 수 있다.
상기 프로세서는, 상기 센싱된 뇌파 데이터를 기설정된 주기별로 풀링하되, 임계치 또는 전위 방향을 이용한 코드화를 통해 상기 센싱된 뇌파 데이터의 메타 데이터를 생성 할 수 있다.
상기 프로세서는, 상기 센싱된 뇌파 데이터를 뇌파 데이터의 공간적 복잡성과 시간적 복잡성을 기설정된 비율로 줄인 메타 데이터로 변환 할 수 있다.
상기 장치는, 사용자가 제어하고자 하는 타겟의 적어도 하나의 이미지를 촬영하는 카메라를 더 포함하고, 상기 프로세서는, 상기 촬영된 타겟의 적어도 하나의 이미지를 이용하여 상기 타겟을 인식하고, 상기 인식된 타겟과 상기 인식된 사용자의 의도를 페어링시킬 수 있다.
상기 프로세서는, 상기 사용자의 좌안 및 우안 측에 각각 위치한 카메라에서 촬영된 적어도 하나의 이미지를 이용하되, 상기 적어도 하나의 이미지가 겹쳐진 영역에 위치한 대상을 상기 타겟으로 인식 할 수 있다.
상기 프로세서는, 상기 카메라가 촬영하는 주기를 상기 센싱된 뇌파 데이터를 풀링하는 주기와 연동시킬 수 있다.
상기 프로세서는, 상기 인식된 타겟과 상기 인식된 사용자의 의도 간의 페어링 결과를 기반으로 상기 센싱된 뇌파 데이터를 기계 학습 할 수 있다.
상기 프로세서는, 사용자 주변 환경 및 사용자 근접 디바이스에서 센싱된 적어도 하나의 멀티스트림 데이터를 획득하고, 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터를 결합하여 사용자의 의도를 인식할 수 있다.
상기 프로세서는, 상기 인식된 타겟과 상기 인식된 사용자의 의도 간의 페어링 결과를 기반으로, 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터가 결합된 데이터를 기계 학습할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 뇌파 기반의 사용자 의도 인식 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱하는 단계; 상기 센싱된 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴과 비교하여 사용자의 의도를 인식하는 단계; 및 상기 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력하는 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 실시 예들은 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터에 대해 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴(예컨대, 양극화 전위 패턴)을 기반으로 분석하여 사용자의 의도를 인식하고 그 인식된 의도에 따라 타겟을 제어할 수 있다.
본 발명의 실시 예들은 미래 통신 및 전자 기술의 요체인 5G(5th Generation) 멀티 디바이스 환경에서 뇌파를 사용하여 타겟을 제어하는 것을 가능하게 하는 브레인 텔리파시 리모콘을 개발할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치에 의해 수행되는 뇌파 기반의 사용자 의도 인식 방법을 설명하기 위한 흐름도이다.
도 3은 뇌파 센싱을 위한 전극 접촉 위치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 사용되는 뇌파 P12 및 N12를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 사용자 의도 뇌파 기반의 사용자 의도 인식 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 좌측 양극화 전위 신호 및 우측 양극화 전위 신호를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치에서 사용되는 양눈 카메라를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 양눈 카메라를 이용한 타겟 인식 및 페어링 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치에 의해 수행되는 타겟 디바이스의 제어 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치에 의해 수집되는 뇌파 수집 위치를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 사용되는 원뇌 데이터를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 뇌파를 전자 신호로 변환하는 동작을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 좌뇌 및 우뇌에서의 메타데이터를 설명하기 위한 도면이다.
도 14 및 도 15는 본 발명의 일 실시 예에 따른 구간별 메타데이터를 축소하는 동작을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시 예에 따른 메타데이터의 특징을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시 예에 따른 뇌파 기반의 사용자 의도 인식 장치의 구성을 설명하기 위한 구성도이다.
도 18은 본 발명의 일 실시 예에 따른 사용자 의도 선택 공감형 학습 인공지능과 멀티스트림 데이터의 통합 기록저장 플랫폼을 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시 예에 따른 멀티스트림 데이터 통합 및 기계학습 분석 및 메타인사이트데이터 생성 동작을 설명하기 위한 도면이다.
도 20 내지 도 24는 본 발명의 일 실시 예에 따른 브레인 텔레파시 컨트롤을 실험하기 위한 자료를 설명하는 도면이다.
도 25 및 도 26은 본 발명의 다른 실시 예에 따른 사용자 의도 실험을 설명하기 위한 도면이다.
도 27은 본 발명의 다른 실시 예에 따른 사용자 의도 뇌파 기반의 사용자 의도 인식 방법을 설명하기 위한 흐름도이다.
도 28 및 도 29는 본 발명의 다른 실시 예에 사용되는 스위치 조작 뇌파 텔레파시를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치를 설명하기 위한 도면이다.
4차 산업혁명의 핵심기술인 사물인터넷과 인공지능이 제대로 작동하기 위해서 인공지능이 학습과정을 거쳐야 한다. 반드시 필요한 사용자 학습의 성과를 높이기 위해서는 어떤 데이터를 주어 학습하게 하는지가 관건이다. 현재는 사용자에 대한 기계학습의 입력정보의 종류와 다양성이 미비하고 일천하다. 인공지능이 사용자를 이해하기 위해서는 입력 데이터가 좋아야만 한다.
이를 위해, 사용자 의도 인식 장치(100)는 뇌파 센서(111), IoT 센서(112) 및 사용자 디바이스(113)와 연결된다. 사용자 의도 인식 장치(100)는 입력 데이터소스로서 뉴로 데이터(Neuro response data: NR)와 사용자 근접 맥락 데이터(User Proximal data: UP), 사용자가 위치한 환경 센서로부터 센싱되는 IoT 정보와 같은 사용자 환경 데이터(User Environment data: UE)를 동시에 기록하고 저장한다. 이를 멀티스트림 데이터 통합이라 부른다.
사용자 의도 인식 장치(100)는 이를 기반으로 하여 타겟 디바이스(101)의 이동 방향을 제어하거나 타겟 디바이스(101)에서 출력되는 아이템에 대한 선택 제어 등의 사용자 의도를 자동 감지하여 딥러닝의 레이블로 사용할 수 있다. 사용자 의도 인식 장치(100)는 사용자가 처한 환경 및 맥락 정보를 동시에 입력하여 이를 예측변수로 사용함으로써 사용자에 대한 기계학습을 실시하고, 전자 기기나 인공지능, 사물인터넷의 제어 및 추후 필요한 기타 제반 분석과 결정에 사용할 수 있게 하는 장비와 시스템으로 구현될 수 있다.
이를 위한 입력 데이터 소스의 구조를 아래 세 가지 유형으로 규명하고 이를 통합하는 데이터 시스템을 확보하기로 한다.
사용자 의도 인식 장치(100)는 뉴로 데이터(NR)와 사용자 근접 맥락 데이터(UP), 사용자가 위치한 환경 센서(UE)로부터 오는 IoT 정보를 동시에 기록하고 저장하며, 이를 기반으로 하여 타겟 디바이스(101)의 이동 방향을 제어하거나 타겟 디바이스(101)에서 출력되는 아이템에 대한 선택 제어 등의 사용자 의도를 자동 감지하여 기계학습의 레이블로 사용할 수 있다.
사용자 의도 인식 장치(100)는 이렇게 기계학습을 통해 사용자에 대한 통찰 인사이트가 쌓이면 원래 데이터보다 크기가 작은 축약된 형태의 메타데이터로 저장한다. 원래 멀티스트림 데이터의 경우 크기가 너무 크기 때문에, 이처럼 노이즈는 제거하고, 특정 구간별로 생체 정보의 핵심적인 특징만을 뽑아내어 축약시킨 데이터형태를 메타데이터라고 한다. 이는 마치 길고 복잡한 유전체 원 데이터를 처리하여 AGCT의 코드로 변환한 것과 유사한 시스템이다.
사용자 의도 인식 장치(100)는 사용자가 처한 환경 및 맥락 정보를 동시에 입력하여 이를 예측변수로 사용함으로써, 사용자에 대한 딥러닝을 실시하고, 전자 기기나 인공지능, 사물인터넷의 제어 및 추후 필요한 기타 제반 분석과 결정에 사용할 수 있게 하는 장비와 시스템으로 구현될 수 있다.
사용자 의도 인식 장치(100)는 사용자가 타겟 디바이스(101)의 이동이나 타겟 디바이스(101)의 아이템 선택 등을 제어하는 경우, 뇌파 반응이 1200에서 1600 밀리세컨드 이후에 주목할만한 뇌파 피크를 검출할 수 있다. 이는 초기뇌파보다 시그널 크기가 두 배 이상 강한 시그널로, 노이즈가 많은 환경에서도 상대적으로 더 잘 감지된다. 이 뇌파를 P12라고 명명하기로 한다. 이 뇌파가 강하게 감지되는 위치인 귀의 전후 상하 위치에 해당하는 곳은 측두엽이다. 이 영역들은 또한 머리카락이 없이 노출되기 쉽고, 안경이나 고글의 귀받침 또는 고리를 따라 센서가 설치될 수 있다. 사용자 의도 인식 장치(100)는 센서를 통해 사용자들이 소셜미디어 등 각종 온라인 매체에서 제시되는 아이템의 선택하고자 하는 경우에 발생되는 사용자 의도 뇌파를 측정하고, 이를 기반으로 전자기기나 인공지능 제어용 입력정보로 사용할 수 있는 방법과 시스템으로 구현될 수 있다.
사용자 의도 인식 장치(100)는 사용자 근접 맥락 정보를 실사용 환경에서 웨어러블 디바이스(wearable device)에 부착된 카메라나 각종 센서로부터 실제로 측정 기록하여 이를 데이터화한다. 사용자 근접 데이터는 사용자가 착용한 웨어러블 센서(wearable sensor) 디바이스나 카메라 녹음기 등에서 감지 및 기록되는 데이터를 말한다. 이는 인공지능 딥러닝 학습의 입력변수가 될 수 있다.
사용자 위치 환경에 대한 사용자 환경 데이터를 방 안이나 cctv의 건물 내 각종 IoT 센서에서 센싱되는 온도, 습도, 진동, 먼지, 화학물질 등 센서감지 데이터, 또는 벽면 카메라로부터 얻는 데이터를 사용자 환경 맥락 정보라 한다. 사용자 환경 데이터는 이를 측정하고 기록하며 이는 인공지능 딥러닝 학습의 입력변수가 될 수 있다.
사용자가 특별히 언어로 표현하지 않아도 자연스러운 생활 속에서 의도 생각과 감정을 느낄 때 생성되는 뇌파를 더 감도(sensitivity)가 높게 노이즈 대비 시그널 피크가 큰 방법으로 측정하며, 이를 사용자 뉴로반응 데이터(NR)라 한다. 이는 인공지능 기계학습 학습의 주요 결과 혹은 레이블(label) 변수가 될 수 있다.
사용자 의도 인식 장치(100)는 UP, UE, NR 데이터를 통합적으로 측정하고, 이를 한 데이터 시스템 안에서 연결하는 통합 데이터 플랫폼을 구현할 수 있다.
사용자 의도 인식 장치(100)는 통합 데이터 플랫폼 내 UE, UP, NR 데이터가 연결하여 사용자가 타겟을 제어하고자 할 때 발생하는 사용자 의도 뇌파를 분석하여 (analytics; 애널리틱스) 각종 의사 결정, 기기 제어, 및 판단에 사용할 수 있다.
한편, 종래 뇌파가 300-400 밀리세컨드 혹은 400-600 밀리세컨드의 극히 짧은 시간 내에 생성된 뇌파를 사용한다. 자극물 제시 후 1초 내의 초기 뇌파의 전압이 2-7mV 정도로 미미한 데 비하여, 측두엽에서 관측되는 P12의 시그널은 10mV 혹은 그 이상도 되는 크기로 관측되고 있다. 뇌파 P12는 뇌파의 가장 큰 약점으로 지적되는 낮은 노이즈 대비 시그널(Signal to Noise ratio; SNR)의 비율이 보완되어 상용화에 더 적합한 시그널일 수 있다. 사용자 의도 인식 장치(100)는 디지털 인간 인지 기능의 주요 의도 반응 예를 들면 타겟의 아이템 선택, 타겟의 이동 제어, 또는 타겟의 상태 전환 등을 자동으로 직접 감지함으로써, 더 정확하고 범용적인 IoT 인공지능 시스템을 구현할 수 있다.
종래 뇌파 측정에서 많이 주목되지 않았던 측두엽은 인간 인지 작업 중 높은 연관성 영역(high association area), 인식 영역(recognition area), 메모리 검색(memory retrieval) 등에 관여되는 해마(hippocampus), medial temporal lobe 등 주요 뇌영역으로부터 발생하는 뉴런 반응을 나타낸다.
측두엽 부위는 귀의 전후 상하 좌우의 노출된 부위에서 뇌의 전기적 작용을 측정하게 되어 신호를 방해하는 머리카락 등이 없어 전기전도성이 더 좋다.
사용자 의도 인식 장치(100)는 안경이나 웨어러블 밴드로 구현될 수 있다. 뇌파 P12가 잘 감지되는 위치인 FT9, FT7, T7, TP9, TP7(좌측두엽), FT10, FT8, T8, TP8, TP10(우측두엽)은 뇌파 측정 안경의 옆면 안경 귀고리 부분에 전극을 삽입하여 만들고, 후두엽(P7, PO7, POz, PO4, PO8, O1, O2, Oz)등은 안경의 뒷면에 웨어러블 밴드 내 전극을 삽입하여 만들면, 일체형 뇌파 측정 고글이 될 수 있다.
사용자 의도 인식 장치(100)는 사용자 의도를 유발하는 온라인 컨텐츠와 그렇지 않은 동일한 양식의 컨텐츠를 구별할 수 있다. 사용자 의도 인식 장치(100)는 좌측 전, 측두엽에서 강도가 다른 뇌파가 발생하는지를 검출하여 이를 식별할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치에 의해 수행되는 뇌파 기반의 사용자 의도 인식 방법을 설명하기 위한 흐름도이다.
단계 S101에서, 사용자 의도 인식 장치(100)는 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱한다.
단계 S102에서, 사용자 의도 인식 장치(100)는 센싱된 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴을 기반으로 분석하여 사용자의 의도를 인식한다.
단계 S103에서, 사용자 의도 인식 장치(100)는 사용자가 제어하고자 하는 타겟이 촬영된 적어도 하나의 이미지를 이용하여 타겟을 인식한다. 단계 S102와 단계 S103은 순서가 바뀌거나, 동시에 수행될 수 있다.
단계 S104에서, 사용자 의도 인식 장치(100)는 인식된 타겟과 인식된 사용자의 의도를 페어링한다.
단계 S105에서, 사용자 의도 인식 장치(100)는 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력한다.
이하, 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터에 대해서 상세하게 살펴보기로 한다.
도 3은 뇌파 센싱을 위한 전극 접촉 위치를 설명하기 위한 도면이다.
사용자의 뇌에서 위치별로 뇌파를 센싱하기 위한 전극 접촉 위치가 도 3에 도시되어 있다.
예를 들어, F는 전두엽(Frontal), T는 측두엽(Temporal), TP는 측두정엽(Temporo-Parietal), 두정엽(Parietal), PO는 두정-후두엽(Parieto-Occipital), O는 후두엽(Occipital)을 나타낸다.
도 4는 본 발명의 일 실시 예에 사용되는 뇌파 P12 및 N12를 설명하기 위한 도면이다.
도 4의 (a)에 도시된 바와 같이, 뇌파 P12는 T7의 전극 위치에서 약 1200ms 정도부터 센싱되는 검은 선의 양전위 뇌파를 나타낸다.
사용자가 타겟을 제어하고자 하는 의도를 발현시킨 후, 약 1200ms 정도에서 시작하여 400ms-1초 정도 지속되는 임계치(threshold) 이상의 양전위의 피크를 나타낸다. 뇌파 P12는 약 1200ms 정도에서 시작하여 400-800ms 정도 지속되는 양전위의 피크일 수 있다. 여기서, 사용자에 따라 어느 정도 차이 날 수 있다. 예컨대, 이러한 양전위 뇌파는 약 1000ms나 1400ms 등에서 시작될 수 있다.
도 4의 (b)에 도시된 바와 같이, 뇌파 N12는 T7의 전극 위치에서 약 1200ms 정도부터 센싱되는 붉은 선의 음전위 뇌파를 나타낸다. 뇌파 N12는 약 1200ms 정도에서 시작하여 400-800ms 정도 지속되는 음전위의 피크일 수 있다. 여기서, 사용자에 따라 어느 정도 차이 날 수 있다. 예컨대, 이러한 음전위 뇌파는 약 1000ms나 1400ms 등에서 시작될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 사용자 의도 뇌파 기반의 사용자 의도 인식 방법을 설명하기 위한 흐름도이다.
단계 S201에서, 사용자 의도 인식 장치(100)는 사용자가 의도를 선정하고자 하는 타겟을 제시한다.
단계 S202에서, 사용자는 타겟에 대해 좌 혹은 우의 이동 방향을 결정한다.
단계 S203에서, 사용자는 결정된 이동 방향에 따라 듀얼 브레인 텔레파시 시그널을 발생시킨다. 사용자는 결정된 이동 방향에 맞게 눈 움직임과 마음 속으로 의도를 생각한다.
단계 S204에서, 사용자 의도 인식 장치(100)는 센싱된 사용자의 뇌파에서 좌측 양극화 전위(Left-Positive Bipolarization)가 발생하는지를 확인한다. 사용자 의도 인식 장치(100)는 좌뇌의 뇌파에서 P12와 우뇌의 뇌파에서 N12가 동시 관측되는지를 확인한다.
단계 S205에서, 사용자 의도 인식 장치(100)는 좌측 양극화 전위가 발생하면, 타겟의 좌측 아이템을 선택하거나, 혹은 타겟을 좌측으로 옮기는 제어 신호를 발생한다.
단계 S206에서, 사용자 의도 인식 장치(100)는 센싱된 사용자의 뇌파에서 좌측 양극화 전위가 발생하지 않으면, 센싱된 사용자의 뇌파에서 우측 양극화 전위(Right-Positive Bipolarization)가 발생하는지를 확인한다. 사용자 의도 인식 장치(100)는 우뇌의 뇌파에서 P12와 좌뇌의 뇌파에서 N12가 동시 관측되는지를 확인한다.
단계 S207에서, 사용자 의도 인식 장치(100)는 우측 양극화 전위가 발생하면, 타겟의 우측 아이템을 선택하거나, 혹은 타겟을 우측으로 옮기는 제어 신호를 발생한다.
도 6은 본 발명의 일 실시 예에 따른 좌측 양극화 전위 신호 및 우측 양극화 전위 신호를 설명하기 위한 도면이다.
사용자 의도 뇌파는 물체를 좌 혹은 우로 이동시키고자 사용자가 의도를 가졌을 때 발생한다. 사용자는 이를 마음속으로 좌 (혹은 우)라고 되뇌면서 눈 앞의 타겟을 이동시키고자 움직이게 될 때 발생되는 고유한 뇌파이며, 이 뇌파의 패턴은 아직 발견된 바가 없다. 본 발명의 일 실시 예에서는 뇌파 실험을 통해 시야 중앙에 있는 물체를 좌측으로 옮기고자 할 때에는 좌측 양극화 전위(LPB, Left Positive Bipolarization), 물체를 우측으로 옮기고자 할 때에는 우측 양극화 전위(RPP, Right Positive Bipolarization)라는 특이한 패턴이 제시된 타겟의 사용자 의도 발생 이후 약 1초 후 1200ms 정도에서 발생해서 400-800ms 지속되는 뇌파 피크로 발생함을 알 수 있다. 좌측 양극화 전위와 우측 양극화 전위의 뇌파는 도 6에서 확인 가능하다.
사용자 의도 뇌파가 발생되는 뇌의 부위는 머리 양 측면의 대칭이 되는 부위로서 개인에 따라 약간씩 다를 수 있으며, 측두엽 양측 부위 T7-T8, FT9-FT10, 전두엽 양측 부위등 AF7-AF8 (홀수는 좌뇌 짝수는 우뇌 Pair에서 패턴화되어야 함) 등 중에서 양측의 적어도 한 쌍이 포함될 수 있다. 도 6에서 보이는 곳에서 좌측 하나, 대칭되는 우측 하나 위치에서 전극을 위치시키면 된다.
사용자 의 뇌파는 사용자가 단순히 이동하는 물체를 시선을 따라갈 때 발생하지 않으며, 머리 속으로 의도를 되뇌면서 주의 집중할 때 발생할 수 있다.
LPB는 물체 좌이동 의도 뇌파 신호로 지칭될 수 있다. LPB는 사용자가 좌 우의 두 가지 선택옵션을 마주하고 그 중 좌측의 옵션을 선택하려는 의도를 가지고 눈을 왼쪽으로 옮길 때 나타날 수 있다. LPB는 좌측 뇌파에 발생하는 P12와, 우측 뇌파에 발생하는 N12를 포함할 수 있다. LPB는 동시에 나타나며 좌우 전위가 양극화되는 뇌파의 패턴을 나타낸다.
RPB는 물체 우이동 의도 뇌파 신호로 지칭될 수 있다. RPB는 사용자가 좌 우의 두 가지 선택옵션을 마주하고 그 중 우측의 옵션을 선택하려는 의도를 가지고 눈을 오른쪽으로 옮길 때 나타날 수 있다. RPB는 우측 뇌파에 발생하는 P12와, 좌측 뇌파에 발생하는 N12를 포함할 수 있다. RPB는 동시에 나타나며 좌우 전위가 양극화되는 뇌파의 패턴을 나타낸다.
일례로, 도 6의 LPB(210)는 좌 선택 의도를 나타내며, 좌뇌의 뇌파에서 P16, 우뇌 뇌파에서 N16이 발생하는 것이 도시되어 있다. 또한, 도 6에는 RPB(220)는 우 선택 의도를 나타내며, 우뇌의 뇌파에서 P16, 좌뇌 뇌파에서 N16이 발생하는 것이 도시되어 있다.
이와 같이, 사용자 의도 인식 장치(100)는 사용자의 의도를 뇌파로 추출하여 이를 분석하고 출력할 수 있다. 이를 통해, 사용자 의도 인식 장치(100)는 각종 기기를 제어하게 하는 기술로 일명 브레인 텔레파시 리모콘이라 부를 수 있다.
또한, 사용자 의도 인식 장치(100)는 디바이스에서 데이터를 결합하여 멀티스트림으로 저장하여 인공지능 학습의 자료로 이용할 수 있다. 디바이스 간의 연결을 위한 한가지 방법으로 뇌파를 사용한다. 뇌파 데이타에터 의도 별로 구분되는 패턴 뇌파를 추출하고 이를 전기 정보 신호로 변환하고 저장 이동 처리에 필요한 컴퓨팅 자원을 절약하는 것이 필요하며, 이를 메타데이터 변환이라 한다. 뇌파를 이용해 타겟 디바이스 인식 연동 및 제어하게 되면 브레인 텔레파시 리모콘의 원리가 된다. 메타데이터 변환 과정은 나중에 설명하기로 한다.
일례로, 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치(100)는 강화 학습이 일어나는 특징(feature) 연구를 통해 교육에 사용될 수 있다. 사용자 의도 인식 장치(100)는 사용자의 의도를 인식하여 반영하는 광고 컨텐츠를 자동 제작하는데 사용될 수 있다. 사용자 의도 인식 장치(100)는 강화되는 대상을 중심으로 하는 미디어 컨텐츠를 제작하는데 사용될 수 있다. 사용자 의도 인식 장치(100)는 인공지능 구조(AI architecture)에 사용될 수 있다. 사용자 의도 인식 장치(100)는 뇌파 통한 컨텐츠 선별 및 사용자 의도에 따라 선택 가능한 컨텐츠를 추출하는데 사용될 수 있다. 사용자 의도 인식 장치(100)는 AI 교육 컨텐츠를 제작 및 방출에 사용될 수 있다. 사용자 의도 인식 장치(100)는 AI 광고 미디어 컨텐츠 제작 및 방출에 사용될 수 있다. 사용자 의도 인식 장치(100)는 AI 제작 알고리즘에 사용될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치에서 사용되는 양눈 카메라를 설명하기 위한 도면이다.
사용자 의도 인식 장치(100)는 멀티 디바이스 IoT 센서 환경 중 어느 기기와 연동할지 알기 위해 양눈 카메라(Bilateral Cam)를 사용한다. 양눈 카메라는 측뇌의 눈 근처 위치로 두 개의 카메라가 위치할 수 있다. 양눈 카메라는 사용자의 시야에 해당하는 밖을 촬영한다.
양눈 카메라가 촬영하는 대상은 사용자 시선의 방향과 일치하게 중앙으로 겹쳐지게 된다. 사용자 의도 인식 장치(100)는 좌측 눈 근처에 위치한 좌측 카메라에서 촬영된 좌측 카메라 이미지(Left Cam image)와 우측 눈 근처에 위치한 우측 카메라에서 촬영된 우측 카메라 이미지(Right Cam image)를 사용한다. 양 눈의 원리를 따라 두 카메라에서 찍힌 영상을 합성하는 과정에서 깊이(depth) 거리의 개념이 생기고, 이미지에서 포커스(focus) 중심(center)과 주변(peripheral)으로 구분될 수 있다. 여기서, 포커스 중심과 주변은 사용자 머리 움직임에 따라 지속적으로 조정될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 양눈 카메라를 이용한 타겟 인식 및 페어링 동작을 설명하기 위한 도면이다.
양눈 카메라(Bilateral Cam)를 양쪽 눈이라 명명할 수 있다. 만일 뇌의 메타 데이터를 100ms 마다 풀링하면 양눈 카메라도 연동하여 같은 시간에 사진을 찍을 수 있다. 양눈 카메라에서 양눈 이미지를 합쳐 만든 메타 이미지에서 핵심 타겟을 설정하게 된다.
도 8에 도시된 바와 같이, 사용자 의도 인식 장치(100)는 타겟 디바이스와 뇌파와의 동기화를 수행할 수 있다. 사용자 의도 인식 장치(100)는 사용자가 제어하고자 하는 디바이스가 디바이스 1(Device 1) 및 디바이스 1(Device 2) 중에서 어느 기기에 내리는 명령인지를 인식할 수 있다.
이를 위해, 사용자 의도 인식 장치(100)는 양눈 카메라에서 촬영된 좌측 카메라 이미지(Left Cam) 및 우측 카메라(Right Cam Image)를 수신하여 이를 분석한다. 즉, 사용자 의도 인식 장치(100)는 양눈 카메라에서 촬영된 영상을 처리하고 분석할 수 있다.
이미지 양극화(Image bipolarization)에 따른 깊이(Depth) 대상이 멀수록 양눈 겹친 이미지에 해당하고, 가까울수록 양눈 이미지가 다른 각도에서 잡힌다.
사용자 의도 인식 장치(100)는 포커스 영역(Focus Area) 즉, 양눈 이미지 겹치면서 중앙에 오는 대상을 찾을 수 있다.
이어서, 사용자 의도 인식 장치(100)는 중앙에 오는 대상을 포커싱된 타켓(Focused Target)으로 결정할 수 있다.
그리고 사용자 의도 인식 장치(100)는 타겟 이미지의 영상인식 처리 후에 타겟이 무엇인지 인식할 수 있다.
그리고 사용자 의도 인식 장치(100)는 타겟 디바이스를 식별하게 된다.
사용자 의도 인식 장치(100)는 그 핵심 타겟의 IoT 센서 혹은 타겟에 장착된 인공지능과 세션(session) 연동을 시작할 수 있다.
이후, 사용자 의도 인식 장치(100)는 타겟 디바이스(Target Device)와 페어링을 수행한다.
그리고 사용자 의도 인식 장치(100)는 타겟 디바이스에 뇌파 명령(Command)을 전송할 수 있다.
한편, 사용자 의도 인식 장치(100)는 좌측 뇌파 수집기, 좌측 눈 이미지 수집기, 우측 뇌파 수집기, 우측 눈 이미지 수집기를 포함할 수 있다.
구현 예로, 사용자 의도 인식 장치(100)는 위의 네 가지가 가장 좋은 위치에 장착될 수 있는 형태의 웨어러블일 수 있다. 예를 들면, 사용자 의도 인식 장치(100)는 헤어밴드 혹은 헬멧, 모자 등 다양한 모양으로 구현될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치에 의해 수행되는 타겟 디바이스의 제어 과정을 설명하기 위한 도면이다.
사용자가 디바이스 1(Device 1) 및 디바이스 1(Device 2) 중에서 어느 하나의 타겟 디바이스를 선택하고 이동 방향 등을 생각하고 응시하면(Think & Gaze), 듀얼 태스크 텔레파시(Dual Task Telepathy)를 해당 타겟 디바이스에 전송할 수 있다.
이를 위해, 사용자 의도 인식 장치(100)는 미리 지정된 뇌파 수집 위치에서사용자의 뇌파를 센싱할 수 있다. 미리 지정된 뇌파 수집 위치는 F7 및 F8과, AF7 및 AF8과, C5 및 C6과, T7 및 T8과, TP9 및 TP10과 같이 양쪽의 적어도 한 쌍의 뇌파 수집 위치를 포함할 수 있다.
사용자 의도 인식 장치(100)는 센싱된 뇌파 데이터를 수신한다. 사용자 의도 인식 장치(100)는 뇌파 데이터의 신호 처리를 통해 뇌파의 양극화 전위(Brain Bipolarization)가 발생하는지를 분석할 수 있다. 즉, 사용자 의도 인식 장치(100)는 LPB 또는 RPB가 발생하는지를 확인할 수 있다.
사용자 의도 인식 장치(100)는 뇌파 신호에 LPB가 발생하면, 좌측 이동 또는 좌측 아이템 선택 등의 전기적인 제어 신호를 생성하여 출력할 수 있다.
사용자 의도 인식 장치(100)는 뇌파 신호에 RPB가 발생하면, 우측 이동 또는 우측 아이템 선택 등의 전기적인 제어 신호를 생성하여 출력 할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 사용자 의도 인식 장치에 의해 수집되는 뇌파 수집 위치를 설명하기 위한 도면이다.
도 10에 도시된 바와 같이, 사용자 의도 인식 장치(100)는 뇌 양극화 텔레파시를 감지하고, 감지 결과에 따라 타겟 디바이스에 제어 신호를 송신할 수 있다. 일례로, 좌뇌의 뇌파 수집 위치에는 C5, T7가 포함되고, 우뇌 뇌파 수집 위치에는 C6, T8가 포함될 수 있다.
좌뇌의 뇌파 수집 위치(310)에는 C5, T7, TP9, FT9, F7, 및 AF7 중에서 적어도 하나가 포함될 수 있다. 이를 위해, 사용자 의도 인식 장치(100)는 좌뇌 부근에 뇌파 감지 전극, 신호 확성기, 무선 송신기를 이용하여 좌뇌의 뇌파를 수신할 수 있다.
우뇌의 뇌파 수집 위치(320)에는 C6, T8, TP10, FT10, F8, 및 AF8 중에서 적어도 하나가 포함될 수 있다. 이를 위해, 사용자 의도 인식 장치(100)는 우뇌 부근에 뇌파 감지 전극, 신호 확성기, 무선 송신기를 이용하여 우뇌의 뇌파를 수신할 수 있다.
이와 같이, 사용자 의도 뇌파는 기본적으로 측두엽 T, 두정엽 C가 들어간 채널을 포함할 수 있다. 선택의 종류가 추상적이고 개념적이면 전두엽 F: Frontal이 들어간 채널이 추가될 수 있다.
도 11은 본 발명의 일 실시 예에 사용되는 원뇌 데이터를 설명하기 위한 도면이다.
사용자의 뇌에서 센싱된 원래의 뇌파 데이터인 원뇌 데이터가 도 11에 도시되어 있다. 일례로, 원뇌 데이터는 2000ms 동안 1채널당 1000개의 데이터 포인트로 이루어질 수 있다. 즉, 원뇌 데이터는 2초 동안 각 라인에 33줄이 곱해진 데이터일 수 있다.
뇌파를 위한 메타데이터를 생성하는 동작에 대해서 살펴보기로 한다.
우선, 원칙부터 살펴보면 다음과 같다.
첫째, 뇌파 데이터를 풀링하여 간결하게 해야 한다.
둘째, 환경, 디바이스, 및 컨텐츠 데이터를 뇌파 데이터와 시간 동기화(time sync), 포맷 동기화(format sync)로 매칭시켜야 한다.
셋째, 사용자의 환경에 내재하는 센서로부터 오는 미래에 무한히 많을 것이기에 그 중 사용자의 주의 여부 및 주의 강도에 따라서 이 중 무엇에 주의를 기울일 때인지를 파악하는 것이 중요하다.
특히, 멀티 디바이스 환경의 경우, 이를 뇌파로 제어하려고 할 때에는, 기기와 브레인이 특정되어 페어링되고, 타 기기는 페어링이 되지 않게 하는 초기 세션셋업 작업이 중요하다.
도 12는 본 발명의 일 실시 예에 따른 뇌파를 전자 신호로 변환하는 동작을 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 사용자 의도 인식 장치(100)는 뇌파는 점선으로 표시된 기설정된 임계치를 기준으로 임계치를 초과하는 경우 메타데이터로 변환할 수 있다. 예를 들어, 뇌파가 양전위 방향의 임계치를 초과하면, 1로 변환될 수 있다. 반대로, 뇌파가 음전위 방향의 임계치를 초과하면, -1로 변환될 수 있다. 뇌파가 기설정된 임계치 이내이면, 0으로 변환될 수 있다.
도 13은 본 발명의 일 실시 예에 따른 좌뇌 및 우뇌에서의 메타데이터를 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, 뇌파가 400ms 마다 메타데이터로 변환되어 있다. 이러한 메타데이터는 좌뇌 및 우뇌에 대해서 서로 다르게 변환될 수 있다.
도 14 및 도 15는 본 발명의 일 실시 예에 따른 구간별 메타데이터를 축소하는 동작을 설명하기 위한 도면이다.
본 발명의 일 실시 예에서는 뇌파를 패턴화하고 전기 정보 신호화하여 메타데이터로 변환하는 방법을 제시한다. 뇌파는 1초에 500 혹은 1000포인트까지 측정되어 데이터 사이즈가 크고 노이즈가 많아 좌이동 의도 시그널 혹은 우이동 의도 시그널을 원뇌파에서 그대로 추출해내기는 쉽지 않다. 또한, 원 뇌파의 데이터사이즈가 너무 큰데, 전자 전기 기기의 제어 신호로 균일화 시키는 것이 필요하다. 이를 위해, 본 발명의 일 실시 예서는 개인별로 관심 측정 전극위치에서 임계치(threshold) 이상으로 발생되는 양전위의 뇌파피크를 1, 임계치 이하로 발생되는 뇌파피크를 0, 임계치 이상으로 발생되는 음전위의 뇌파 피크를 -1로 하여 각 100ms (혹은 약간의 구간 변경 가능)마다 포인트를 잡게 되면, 1초에 10개 포인트의 0,1,-1의 3진법의 연속형 코드가 발생한다. 이를 대칭이 되는 좌 우 양 전극 채널에서 신호를 추출하여 [좌 -1 우 1] 이 되는 뇌파 피크를 RPB(Right Positive Bipolarization), [좌 1 우 -1]이 되는 뇌파 피크를 LPB(Left Positive Bipolarization)으로 명명할 수 있다. 이처럼 뇌파가 전기 정보 신호화된 데이터를 메타데이타 맥스 풀링(metadata max pooling)이라 명명한다.
본 발명의 일 실시 예에서는 LPB, RPB 의 신호를 추출하고 변환하여, 타겟이 되는 기기에 전송하게 되면 타겟 기기에서 좌 혹은 우 측 대상의 선택이 가능하고, 혹은 타겟 기기를 좌 혹은 우로 이동시킬 수 있으며, 해당 기기의 세팅에 따라 좌를 On, 우를 Off로 설정해 놓으면 기기의 시작과 종료 등 다양한 방식의 제어가 가능해진다.
이하, 뇌파 데이터에 대한 메타데이터의 풀링 동작을 살펴보기로 한다.
뇌파 데이터는 사이즈가 크고 노이즈가 많으므로, 사용자 의도 인식 장치(100)는 이를 줄여 가장 의미 있는 큰 활성화만 기록하고 나머지는 버릴 수 있다. 즉, 사용자 의도 인식 장치(100)는 스파스 데이터(sparse data)로 메타 데이터의 사이즈를 줄여갈 수 있다.
도 14에 도시된 바와 같이, 좌뇌의 T7에서 0-400ms, 400-800ms, 800-1200ms, 1200-1600ms 및 2000ms 이후의 0 0 0 0은 0으로 변환될 수 있다. 반면, 1600-2000ms의 1 1 0 1 은 1로 변환될 수 있다. 1600-2000ms에서 좌뇌의 뇌파 채널은 1로 변환될 수 있다.
우뇌의 T8에서 0-400ms, 400-800ms, 800-1200ms 및 2000ms 이후의 0 0 0 0은 0으로 변환될 수 있다. 1200-1600ms의 0 0 1 0은 0으로 변환될 수 있다. 반면, 1600-2000ms의 0 -1 0 -1은 -1로 변환될 수 있다. 1600-2000ms에서 우뇌의 뇌파 채널은 -1로 변환될 수 있다.
이와 같이, 타겟을 좌측으로 이동시키는 텔레파시 시그널인 LPP를 메타데이터 맥스 풀링을 통해 메타데이터를 축소한 과정이 도 14에 도시되어 있다.
도 15에 도시된 바와 같이, 좌뇌의 T7에서 0-400ms, 400-800ms, 800-1200ms, 1200-1600ms 및 2000ms 이후의 0 0 0 0은 0으로 변환될 수 있다. 반면, 1600-2000ms의 1 -1 -1 -1 은 -1로 변환될 수 있다. 1600-2000ms에서 좌뇌의 뇌파 채널은 -1로 변환될 수 있다.
우뇌의 T8에서 0-400ms, 400-800ms, 800-1200ms 및 2000ms 이후의 0 0 0 0은 0으로 변환될 수 있다. 1200-1600ms의 0 0 1 0은 0으로 변환될 수 있다. 반면, 1600-2000ms의 1 1 1 1은 1로 변환될 수 있다. 1600-2000ms에서 우뇌의 뇌파 채널은 1로 변환될 수 있다.
이와 같이, 타겟을 우측으로 이동시키는 텔레파시 시그널인 RPP를 메타데이터 맥스 풀링을 통해 메타데이터를 축소한 과정이 도 15에 도시되어 있다.
사용자 의도 인식 장치(100)는 메타데이터의 맥스 풀링 방식을 통해 메타데이터의 사이즈를 감소시킬 수 있다. 사용자 의도 인식 장치(100)는 센싱된 뇌파 데이터를 뇌파 데이터의 공간적 복잡성과 시간적 복잡성을 기설정된 비율로 줄인 메타 데이터로 변환할 수 있다. 이를 통해, 사용자 의도 인식 장치(100)는 정보처리 자원을 적게 사용하고, 디바이스와 신호의 송수신이 가능하게 하고, 일상적인 사용자 생활환경에서 사용가능하게 하는 수준의 메타데이터로 변환할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 메타데이터의 특징을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 메타데이터의 특징은 우선 메타데이터의 사이즈가 작다.
그리고 메타데이터는 시간 동기화가 되어 있다. 예를 들면, 100 또는 400ms 포인트 단위로 동기화가 되어 있다.
메타데이터의 특징은 중심 타겟(Focal Target) 및 타겟 변경 상황이 기록될 수 있다.
또한, 메타데이터의 특징은 뇌파를 기록할 수 있다.
도 16에 도시된 바와 같이, 시간 스탬프(Time stamp)가 0, 100ms, 400ms, …, 1200ms, …, 2400ms 등이 될 수 있다.
그리고 타겟 아이디(TargetID)는 7번이 TV를 가리킬 수 있다.
이때, 좌뇌 및 우뇌에서 뇌파 12가 검출되거나 검출되지 않을 수 있다.
사용자 의도 인식 장치(100)는 이러한 메타데이터를 분석하여, 뇌파 12의 검출 여부에 따라 7번이 가리키는 TV 제어에 대해 사용자가 제어하고자 하는지를 인식할 수 있다. 예컨대, 사용자 의도 인식 장치(100)는 7번이 가리키는 TV 제어에 대해 -1인 경우, TV 끄기 의도를 인식할 수 있다. 사용자 의도 인식 장치(100)는 5번이 가리키는 청소기 제어에 대해 1인 경우, 우측 이동 의도를 인식할 수 있다.
한편, 사용자 의도 인식 장치(100)에서 사용하는 메타데이터의 장점을 살펴보기로 한다.
사용자 의도 인식 장치(100)는 이러한 메타데이터를 이용함으로써, 디바이스 간의 타임포인트 공유가 되지 않아 데이터 결합이 어려운 문제를 해결할 수 있다.
사용자 의도 인식 장치(100)는 이러한 메타데이터를 이용함으로써, 뇌파 데이터를 변환 압축하여 사이즈를 줄여 저장 이동 처리에 필요한 컴퓨팅 자원을 절약할 수 있다.
사용자 의도 인식 장치(100)는 이러한 메타데이터를 이용함으로써, 타겟 디바이스 인식 기술을 사용해 뇌파와 연동되는 타겟이 무엇인지 알게 할 수 있다.
사용자 의도 인식 장치(100)는 이러한 메타데이터를 이용함으로써, 추후 사용자 의도 의도 공감형 인공지능을 학습시키기가 쉬워질 수 있다. 예컨대, 수십 수백 개의 GPU 서버 없이도 딥러닝 학습이 되도록 할 수 있으며 데이터의 크기와 복잡도를 줄여 일반 가정 및 사업장에서도 이용가능하게 할 수 있다.
도 17은 본 발명의 일 실시 예에 따른 뇌파 기반의 사용자 의도 인식 장치의 구성을 설명하기 위한 구성도이다.
도 17에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 뇌파 기반의 사용자 의도 인식 장치(100)는 뇌파 센서(110), 메모리(120), 송수신기(130) 및 프로세서(140)를 포함한다. 사용자 의도 인식 장치(100)는 카메라(150)를 더 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 의도 인식 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 사용자 의도 인식 장치(100)가 구현될 수 있다.
이하, 도 17의 사용자 의도 인식 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
뇌파 센서(110)는 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱한다.
메모리(120)는 기학습된 뇌파 패턴을 저장한다.
송수신기(130)는 사용자 의도 인식을 위해 필요한 신호들을 송수신하고, 프로세서에서 인식된 사용자 의도에 따라 타겟을 제어하는 제어 신호를 출력한다.
프로세서(140)는 뇌파 센서(110), 메모리(120) 및 송수신기(130)와 연결된다.
프로세서(140)는, 뇌파 센서(110)에서 센싱된 사용자의 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴을 기반으로 분석하여 사용자의 의도를 인식하고, 송수신기(130)를 통해 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력한다.
다양한 실시 예에 따르면, 프로세서(140)는, 사용자의 의도를 상기 타겟의 이동 제어, 상기 타겟의 아이템 선택 제어 및 상기 타겟의 스위칭 제어 중에서 어느 하나의 사용자 의도로 인식할 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 뇌파 센서(110)에서 센싱된 뇌파 데이터에서 좌우 전위가 양극화되는 양극화 전위 발생을 확인하여 사용자의 의도를 인식할 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 뇌파 센서(110)에서 센싱된 뇌파 데이터에서 기설정된 뇌파 지속 시간 이상의 양전위 뇌파 또는 음전위 뇌파 발생을 확인하여 사용자의 의도를 인식할 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 센싱된 뇌파 데이터를 기설정된 주기별로 풀링하되, 임계치 또는 전위 방향을 이용한 코드화를 통해 뇌파 데이터의 메타 데이터를 생성할 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 뇌파 센서(110)에서 센싱된 뇌파 데이터를 뇌파 데이터의 공간적 복잡성과 시간적 복잡성을 기설정된 비율로 줄인 메타 데이터로 변환할 수 있다. 이를 통해, 프로세서(140)는, 정보처리 자원을 적게 사용하고, 디바이스와 신호의 송수신이 가능하게 하고, 일상적인 사용자 생활환경에서 사용가능하게 하는 수준의 메타데이터로 변환할 수 있다.
다양한 실시 예에 따르면, 카메라(150)는 사용자가 제어하고자 하는 타겟의 적어도 하나의 이미지를 촬영한다. 프로세서(140)는, 카메라(150)에서 촬영된 타겟의 적어도 하나의 이미지를 이용하여 타겟을 인식하고, 그 인식된 타겟과 그 인식된 사용자의 의도를 페어링시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 사용자의 좌안 및 우안 측에 각각 위치한 카메라에서 촬영된 적어도 하나의 이미지를 이용하되, 적어도 하나의 이미지가 겹쳐진 영역에 위치한 대상을 타겟으로 인식할 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 카메라(150)가 촬영하는 주기를 센싱된 뇌파 데이터를 풀링하는 주기와 연동시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 인식된 타겟과 인식된 사용자의 의도 간의 페어링 결과를 기반으로 센싱된 뇌파 데이터를 기계 학습할 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 사용자 주변 환경 및 사용자 근접 디바이스에서 센싱된 적어도 하나의 멀티스트림 데이터를 획득하고, 그 획득된 적어도 하나의 멀티스트림 데이터와 센싱된 뇌파 데이터를 결합하여 사용자의 의도를 인식할 수 있다.
다양한 실시 예에 따르면, 프로세서(140)는, 인식된 타겟과 인식된 사용자의 의도 간의 페어링 결과를 기반으로, 획득된 적어도 하나의 멀티스트림 데이터와 센싱된 뇌파 데이터가 결합된 데이터를 기계 학습할 수 있다.
도 18은 본 발명의 일 실시 예에 따른 사용자 의도 선택 공감형 학습 인공지능과 멀티스트림 데이터의 통합 기록저장 플랫폼을 설명하기 위한 도면이다.
단계 S301에서, 타겟을 제어하고자 하는 사용자는 사용자 의도 뇌파를 발생시킨다. 이때, 사용자 의도 인식 장치(100)는 뇌파 센서를 통해 사용자의 뇌파를 추출하고 이를 전기 신호로 변환하여 신호를 출력한다. 일례로, 이러한 출력 신호는 텔레파시 리모콘에 이용될 수 있다.
단계 S302에서, 사용자 의도 인식 장치(100)는 멀티디바이스와 뇌파 데이터를 결합하고 이를 분석한다. 여기서, 사용자 의도 인식 장치(100)는 뇌파 데이터와 멀티 디바이스 간의 관계를 인식하여 공시성, 인과성 분석을 수행하고, 사용자 의도를 유발하는 원인을 파악할 수 있다.
사용자 의도 인식 장치(100)는 이러한 데이터 기록을 축적하고, 인공지능 기계학습 자료로 사용한다. 그리고 사용자 의도 인식 장치(100)는 축적된 데이터 기록 및 기계학습 결과를 통합 플랫폼 기록매체에 저장한다.
단계 S303에서, 사용자 의도 인식 장치(100)는 사용자 의도를 유발하는 요인을 확인하고, 이러한 확인 결과를 기반으로 딥러닝 학습을 수행한다.
단계 S304에서, 사용자 의도 인식 장치(100)는 학습 결과를 토대로 사용자 특정 메타데이터를 생성할 수 있다.
단계 S305에서, 사용자 의도 인식 장치(100)는 생성된 메타데이터를 이용하여 미래 사용자 환경을 제어하고, 최적화 알고리즘을 생성할 수 있다.
한편, 생성된 메타데이터를 이용하여 사용자 특정 공감형 인공지능 서비스를 구사할 수 있다.
단계 S306에서, 사용자 의도 인식 장치(100)는 분야별 특화된 예측 제어를 수행할 수 있고, 의사결정을 위한 신호 생성 및 활용할 수 있다.
도 19는 본 발명의 일 실시 예에 따른 멀티스트림 데이터 통합 및 기계학습 분석 및 메타인사이트데이터 생성 동작을 설명하기 위한 도면이다.
단계 S401에서, 사용자 의도 인식 장치(100)는 멀티스트림 데이터 플랫폼의 변수를 정의하고, 입력 형식을 결정할 수 있다.
단계 S402에서, 사용자 의도 인식 장치(100)는 사용자가 제어하고자 하는 타겟 디바이스를 인식하고, 사용자의 뇌파 데이터와 타겟 디바이스를 동기화시킬 수 있다.
단계 S403에서, 사용자 의도 인식 장치(100)는 의도 뇌파의 연속적 측정치에서 사용자 의도 신호를 수집 및 분석하고, 이를 변환시킬 수 있다.
단계 S404에서, 사용자 의도 인식 장치(100)는 멀티스트림 메타 데이터와 병합하여 세션 공유 타겟 구간을 추출할 수 있다.
단계 S405에서, 사용자 의도 인식 장치(100)는 타겟 구간의 다변수간 공시성 인과성의 기계학습 분석을 수행할 수 있다.
단계 S406에서, 사용자 의도 인식 장치(100)는 구간, 맥락, 의도, 환경, 의도 컨텐츠 요인 등 주요 피처들을 추출할 수 있다.
단계 S407에서, 사용자 의도 인식 장치(100)는 유사 맥락 데이터를 축적하고, 축적된 유사 맥락 데이터 기반으로 사용자 의도 메타 인사이트 데이터의 입력 및 생성 동작을 수행할 수 있고, 업데이트 저장할 수 있다.
사용자와 해당 대상 타겟에 대한 의도 발생 정보를 데이터 플랫폼 매치에 지속적으로 저장한 후 사용자의 뇌파를 대상으로 기계학습 및 딥러닝 학습을 통해 사용자의 고유한 특성 및 의도애 대한 인공지능 학습이 가능해 진다. 인공지능이 사용자의 뇌파를 레이블 (종속변수)로 하여 지속적인 학습을 계속하면 사용자 특화된 맞춤형(customized) 공감형 인공지능으로 훈련시킬 수 있다.
뇌 신호는 그냥은 의미가 없고 반드시 해석되고 전기 신호로 간결화되어야 인공지능이 사용하기 쉽다. 사용자의 의도를 나타내는 뉴로 신호의 의미를 해석하여, 인공지능의 언어로 바꾸어 처리해 주는 중간자 역할을 하는 것이 본 발명의 일 실시 예에 따른 주요 목표와 기능이다. 빅데이터인 뉴로 시그널의 용량을 50배 100배 이하로 압축하고, 의미 있는 부분만 변환하어 저장하는 뉴로시그널의 메타데이터 정보코드 방법을 특허 내용에 포함하고, 뉴로 데이터와 타겟 디바이스 데이터 연동 현황, 발생되는 뇌파와 타겟 디바이스 운용에 대한 정보을 함께 저장한 메타데이터를 인공지능이 지속적으로 기계 학습하여 사용자 특정 공감형 강화학습의 핵심요소가 된다
도 20 내지 도 24는 본 발명의 일 실시 예에 따른 브레인 텔레파시 컨트롤을 실험하기 위한 자료를 설명하는 도면이다.
실험은 뇌파 기기를 이용하여 화면 중앙에 제시된 물체를 좌 혹은 우로 이동시키고자 의도를 가지고 마음으로 되뇌며 시선을 함께 이동시키도록 하는 과제를 피험자에게 수행하게 하였다. 뇌파는 총 64개 채널에서 수집하였으며 측정된 뇌파를 분석하여 그래프로 표현한 것이 도 6에 제시되어 있다. 이 도 6에서 LPB, RPB를 확인할 수 있다.
활용방법은 매우 많으며, 물체를 이동시키는 뇌파를 흔히 말하는 브레인 텔레파시라고 부를 수 있을 것이다. LPB RPB 및 메타데이터 변환을 통해 브레인 텔레파시 리모콘을 만들 수 있다.
도 20의 단계 S501에서, 실험 방법은 사용자에게 시작점에 위치한 물체(예컨대, 골프공)을 기설정된 시간(예컨대, 3초 등) 동안 응시하라는 실험 화면을 제시한다.
도 21의 단계 S502에서, 실험 방법은 사용자에게 응시했던 물체의 이동 방향을 선택하라는 실험 화면을 제시한다.
도 22의 단계 S503에서, 실험 방법은 사용자에게 “이제 물체를 2초 동안 빨리 시작점에서 도착지점까지 두뇌 텔레파시를 이용하여 옮긴다고 생각하시면서 속으로 우측 방향을 여러 번 되뇌면서 옮겨 주십시요” 라는 실험 화면을 제시한다.
도 22의 단계 S504에서, 실험 방법은 시작점에 물체인 공이 위치하고, 도착지점에 골인 지점이 위치한 실험 화면을 제시한다.
도 23의 단계 S505에서, 실험 방법은 사용자의 뇌파 데이터로부터 우측 양극화 전위가 발생하는지를 센싱하여 사용자 의도를 인식하고, 그 인식 결과에 따라 시작점에 위치한 공을 도착지점으로 골인시키는 실험 화면을 제시한다.
도 25 및 도 26은 본 발명의 다른 실시 예에 따른 사용자 의도 실험을 설명하기 위한 도면이다.
도 25 및 도 26에 도시된 실험 목적은 도 20 내지 도 24에 도시된 실험과 다르다. 도 20 내지 도 24에 도시된 실험은 물체의 좌우 이동에서 나타난 좌우 양극화 시그널을 실험하는 것이다.
이와 달리, 도 25 및 도 26에 도시된 실험은 물체의 상태를 On에서 OFF 로 혹은 반대로 전환하는 스위치 조작 작업을 텔레파시로 수행할 때 나타나는 뇌파를 검출 하고자 하는 실험을 나타낸다.
도 25에 도시된 바와 같이, 실험 방법은 스위치를 On 에서 Off 로 전환 조작하기 위해, 텔레파시 실험 자극물에 “꺼”라는 사용자 의도를 가지라고 제시한다.
실험 방법은 실험 화면에 제시되는 스위치를 올려 켜 있는 불을 끄도록 하는 텔레파시를 발생시키라고 제시한다.
단계 S601인 초기 상태에서, 실험 방법은 사용자 마음 속으로 “꺼, 꺼, 꺼”라고 계속 생각하면서 텔레파시를 사용하여 지금 켜 있는 스위치를 꺼주십시요 라는 실험 화면을 제시한다.
단계 S602인 진행 상태에서, 실험 방법은 “꺼”라는 사용자의 생각에 따라 사용자 의도를 인식하여 스위치가 On 에서 Off 로 전환되는 실험 화면을 제시한다.
단계 S603인 종료 상태에서, 실험 방법은 스위치의 전환 조작에 따라 스위치를 Off 시키는 실험 화면을 제시한다.
도 26에 도시된 바와 같이, 실험 방법은 스위치를 Off 에서 On 으로 전환 조작하기 위해, 텔레파시 실험 자극물에 “켜”라는 사용자 의도를 가지라고 제시한다.
실험 방법은 실험 화면에 제시되는 스위치를 올려 켜 있는 불을 켜도록 하는 텔레파시를 발생시키라고 제시한다.
단계 S701인 초기 상태에서, 실험 방법은 사용자 마음 속으로 “켜, 켜, 켜”라고 계속 생각하면서 텔레파시를 사용하여 지금 꺼진 스위치를 켜주십시요 라는 실험 화면을 제시한다.
단계 S702인 진행 상태에서, 실험 방법은 “켜”라는 사용자의 생각에 따라 사용자 의도를 인식하여 스위치가 Off 에서 On 으로 전환되는 실험 화면을 제시한다.
단계 S703인 종료 상태에서, 실험 방법은 스위치의 전환 조작에 따라 스위치를 On 시키는 실험 화면을 제시한다.
이와 같이, 사용자 의도 인식 장치(100)는 긍정적인 스위치 조작 텔레파시를 검출할 수 있다. 스위치 조작 텔레파시를 SPS(Switch Positive Signal)라 명명할 수 있다. SPS는 사용자가 스위치를 한 방향으로 조작하려할 시, 예를 들면 상태 Off 에서 상태 On으로 전환되는 신호를 나타낸다. 사용자의 의도 형성 후, SPS는 기설정된 시간(예컨대, 1초 이내)에 나타나는 광역의 양전위 뇌파일 수 있다.
또한, 사용자 의도 인식 장치(100)는 부정적인 스위치 조작 텔레파시를 검출할 수 있다. 스위치 조작 텔레파시를 SNS(Switch Negative Signal)라 명명할 수 있다. SPS는 사용자가 스위치를 한 방향으로 조작하려할 시, 예를 들면 상태 On 에서 상태 Off로 전환되는 신호를 나타낸다. 사용자의 의도 형성 후, SNS는 기설정된 시간(예컨대, 1초 이내)에 나타나는 광역의 음전위 뇌파일 수 있다.
SPS와 SNS의 쌍(Pair)에 대해 살펴보기로 한다. SPS 및 SNS는 두 가지 상태를 A->B 혹은 B->A로 전환시키는 쌍이 되는 뇌파 텔레파시로 볼 수 있다. SPS 및 SNS가 각각 어떤 전환 조작에 사용되는지는 개인마다 다른 시그널의 특징을 보일 수 있으므로 개인별로 추출하는 것이 바람직하다.
SPS 및 SNS는 주로 전두엽 영역에서 발생하는 것으로 보이나, 실제 발생 위치도 개인에 따라 다를 수 있으므로 위치도 개인별로 조정하여 정확성을 높이는 것이 필요하다.
도 27은 본 발명의 다른 실시 예에 따른 사용자 의도 뇌파 기반의 사용자 의도 인식 방법을 설명하기 위한 흐름도이다.
단계 S801에서, 사용자 의도 인식 장치(100)는 사용자에게 제어 타겟을 제시한다.
단계 S802에서, 사용자는 타겟에 대해 제어 의도(예컨대, On 또는 Off)를 형성한다.
단계 S803에서, 사용자 의도 인식 장치(100)는 센싱된 사용자의 뇌파에서 뇌파가 발현되는지를 확인한다.
단계 S804에서, 사용자 의도 인식 장치(100)는 센싱된 사용자의 뇌파에서 사용자가 스위치를 한 방향으로 조작할 때 의도 형성 후 1 초 이내에 나타나는 광역의 양전위 뇌파인 SPS(Switch Positive Signal)가 발현되는지를 확인한다.
단계 S805에서, 사용자 의도 인식 장치(100)는 광역의 양전위 뇌파인 SPS 가 발생하면, 타겟의 상태를 “Off”에서 상태 “On” 으로 전환 제어한다.
단계 S806에서, 사용자 의도 인식 장치(100)는 광역의 양전위 뇌파인 SPS 가 발생하지 않으면, 센싱된 사용자의 뇌파에서 사용자가 스위치를 다른 방향으로 조작할 때 의도 형성 후 1 초 이내에 나타나는 광역의 음전위 뇌파인 SNS(Switch Negative Signal)가 발현되는지를 확인한다.
단계 S807에서, 사용자 의도 인식 장치(100)는 광역의 음전위 뇌파가 발생하면, 타겟의 상태를 “On”에서 상태 “Off” 로 전환 제어한다.
한편, 단계 S808에서, 사용자 의도 인식 장치(100)는 뇌파 발현이 되지 않으면, 타겟 제어 과정을 수행하지 않는다.
도 28 및 도 29는 본 발명의 다른 실시 예에 사용되는 스위치 조작 뇌파 텔레파시를 설명하기 위한 도면이다.
도 28에 도시된 바와 같이, 긍정적인 스위치 조작 뇌파 텔레파시는 SPS로 나타나며, 뇌파 수집 위치인 FP1 및 FP2에서 “켜”에 나타나는 시그널(410)로 나타난다.
부정적인 스위치 조작 뇌파 텔레파시는 SNS로 나타나며, 뇌파 수집 위치인 FP1 및 FP2에서 “꺼”에 나타나는 시그널(420)로 나타난다.
이와 함께, 중립에 나타나는 시그널(430)도 도 28에 나타난다.
도 29에 도시된 바와 같이, 부정적인 스위치 조작 뇌파 텔레파시는 SNS로 나타나며, 뇌파 수집 위치인 AF7 및 AF3인 좌전두엽, AFz인 전두엽중앙, AF4 및 AF8인 우전두엽에서 “켜”에 대한 신호(510)로 나타난다.
부정적인 스위치 조작 뇌파 텔레파시는 SNS로 나타나며, 뇌파 수집 위치인 AF7 및 AF3인 좌전두엽, AFz인 전두엽중앙, AF4 및 AF8인 우전두엽에서 “꺼”에 나타나는 시그널(520)로 나타난다.
이와 함께, 중립에 나타나는 시그널(530)도 도 29에 나타난다.
상술한 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
본 발명의 실시 예들에 따른 뇌파 기반의 사용자 의도 인식 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱하는 단계; 상기 센싱된 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴과 비교하여 사용자의 의도를 인식하는 단계; 및 상기 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력하는 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상, 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
구체적으로, 설명된 특징들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 또는 그들의 조합들 내에서 실행될 수 있다. 특징들은 예컨대, 프로그래밍 가능한 프로세서에 의한 실행을 위해, 기계 판독 가능한 저장 디바이스 내의 저장장치 내에서 구현되는 컴퓨터 프로그램 제품에서 실행될 수 있다. 그리고 특징들은 입력 데이터 상에서 동작하고 출력을 생성함으로써 설명된 실시예들의 함수들을 수행하기 위한 지시어들의 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 설명된 특징들은, 데이터 저장 시스템으로부터 데이터 및 지시어들을 수신하기 위해, 및 데이터 저장 시스템으로 데이터 및 지시어들을 전송하기 위해, 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램들 내에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과에 대해 특정 동작을 수행하기 위해 컴퓨터 내에서 직접 또는 간접적으로 사용될 수 있는 지시어들의 집합을 포함한다. 컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하는 프로그래밍 언어 중 어느 형태로 쓰여지고, 모듈, 소자, 서브루틴(subroutine), 또는 다른 컴퓨터 환경에서 사용을 위해 적합한 다른 유닛으로서, 또는 독립 조작 가능한 프로그램으로서 포함하는 어느 형태로도 사용될 수 있다.
지시어들의 프로그램의 실행을 위한 적합한 프로세서들은, 예를 들어, 범용 및 특수 용도 마이크로프로세서들 둘 모두, 및 단독 프로세서 또는 다른 종류의 컴퓨터의 다중 프로세서들 중 하나를 포함한다. 또한 설명된 특징들을 구현하는 컴퓨터 프로그램 지시어들 및 데이터를 구현하기 적합한 저장 디바이스들은 예컨대, EPROM, EEPROM, 및 플래쉬 메모리 디바이스들과 같은 반도체 메모리 디바이스들, 내부 하드 디스크들 및 제거 가능한 디스크들과 같은 자기 디바이스들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 비휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 ASIC들(application-specific integrated circuits) 내에서 통합되거나 또는 ASIC들에 의해 추가될 수 있다.
이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐 아니라 다양한 형태의 조합이 제공될 수 있다.
전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
100: 사용자 의도 인식 장치
101: 타겟 디바이스
111: 뇌파 센서
112: 환경 센서
113: 사용자 디바이스
110: 뇌파 센서
120: 메모리
130: 송수신기
140: 프로세서
150: 카메라

Claims (25)

  1. 타겟을 제어하기 위한 사용자 의도 인식 장치에 의해 수행되는 뇌파 기반의 사용자 의도 인식 방법에 있어서,
    상기 사용자 의도 인식 장치가 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱하는 단계;
    상기 사용자 의도 인식 장치가 상기 센싱된 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴을 기반으로 분석하여 사용자의 의도를 인식하는 단계; 및
    상기 사용자 의도 인식 장치가 상기 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력하는 단계를 포함하고,
    상기 사용자 의도 인식 장치가 사용자 주변 환경 또는 사용자 근접 디바이스에서 센싱된 적어도 하나의 멀티스트림 데이터를 획득하는 단계를 더 포함하고,
    상기 사용자의 의도를 인식하는 단계는 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터를 결합하여 사용자의 의도를 인식하는 뇌파 기반의 사용자 의도 인식 방법.
  2. 제1항에 있어서,
    상기 사용자의 의도를 인식하는 단계는,
    사용자의 의도를 상기 타겟의 이동 제어, 상기 타겟의 아이템 선택 제어 및 상기 타겟의 스위칭 제어 중에서 어느 하나의 사용자 의도로 인식하는 뇌파 기반의 사용자 의도 인식 방법.
  3. 제1항에 있어서,
    상기 사용자의 의도를 인식하는 단계는,
    상기 센싱된 뇌파 데이터에서 좌우 전위가 양극화되는 양극화 전위 발생을 확인하여 사용자의 의도를 인식하는 뇌파 기반의 사용자 의도 인식 방법.
  4. 제1항에 있어서,
    상기 사용자의 의도를 인식하는 단계는,
    상기 센싱된 뇌파 데이터에서 기설정된 뇌파 지속 시간 이상의 양전위 뇌파 또는 음전위 뇌파 발생을 확인하여 사용자의 의도를 인식하는 뇌파 기반의 사용자 의도 인식 방법.
  5. 제1항에 있어서,
    상기 사용자 의도 인식 장치가 상기 센싱된 뇌파 데이터를 기설정된 주기별로 풀링하되, 임계치 또는 전위 방향을 이용한 코드화를 통해 상기 센싱된 뇌파 데이터의 메타 데이터를 생성하는 단계를 더 포함하는 뇌파 기반의 사용자 의도 인식 방법.
  6. 제5항에 있어서,
    상기 메타 데이터를 생성하는 단계는,
    상기 센싱된 뇌파 데이터를 뇌파 데이터의 공간적 복잡성과 시간적 복잡성을 기설정된 비율로 줄인 메타 데이터로 변환하는 뇌파 기반의 사용자 의도 인식 방법.
  7. 제1항에 있어서,
    상기 사용자 의도 인식 장치가 사용자가 제어하고자 하는 타겟이 카메라를 통해 촬영된 적어도 하나의 이미지를 이용하여 상기 타겟을 인식하는 단계; 및
    상기 사용자 의도 인식 장치가 상기 인식된 타겟과 상기 인식된 사용자의 의도를 페어링시키는 단계를 더 포함하는 뇌파 기반의 사용자 의도 인식 방법.
  8. 제7항에 있어서,
    상기 타겟을 인식하는 단계는,
    상기 사용자의 좌안 및 우안 측에 각각 위치한 카메라에서 촬영된 적어도 하나의 이미지를 이용하되, 상기 적어도 하나의 이미지가 겹쳐진 영역에 위치한 대상을 상기 타겟으로 인식하는 뇌파 기반의 사용자 의도 인식 방법.
  9. 제7항에 있어서,
    상기 타겟을 인식하는 단계는,
    상기 카메라가 촬영하는 주기를 상기 센싱된 뇌파 데이터를 풀링하는 주기와 연동시키는 뇌파 기반의 사용자 의도 인식 방법.
  10. 제7항에 있어서,
    상기 사용자 의도 인식 장치가 상기 인식된 타겟과 상기 인식된 사용자의 의도 간의 페어링 결과를 기반으로 상기 센싱된 뇌파 데이터를 기계 학습하는 단계를 더 포함하는 뇌파 기반의 사용자 의도 인식 방법.
  11. 삭제
  12. 제1항에 있어서,
    상기 사용자 의도 인식 장치가 상기 인식된 타겟과 상기 인식된 사용자의 의도 간의 페어링 결과를 기반으로, 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터가 결합된 데이터를 기계 학습하는 단계를 더 포함하는 뇌파 기반의 사용자 의도 인식 방법.
  13. 타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱하는 뇌파 센서;
    기학습된 뇌파 패턴을 저장하는 메모리;
    송수신기; 및
    상기 뇌파 센서, 상기 메모리 및 상기 송수신기와 연결된 프로세서를 포함하고,
    상기 프로세서는, 상기 센싱된 사용자의 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴을 기반으로 분석하여 사용자의 의도를 인식하고, 상기 송수신기를 통해 상기 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력하고,
    상기 프로세서는, 사용자 주변 환경 및 사용자 근접 디바이스에서 센싱된 적어도 하나의 멀티스트림 데이터를 획득하고, 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터를 결합하여 사용자의 의도를 인식하는, 뇌파 기반의 사용자 의도 인식 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    사용자의 의도를 상기 타겟의 이동 제어, 상기 타겟의 아이템 선택 제어 및 상기 타겟의 스위칭 제어 중에서 어느 하나의 사용자 의도로 인식하는 뇌파 기반의 사용자 의도 인식 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 센싱된 뇌파 데이터에서 좌우 전위가 양극화되는 양극화 전위 발생을 확인하여 사용자의 의도를 인식하는 뇌파 기반의 사용자 의도 인식 장치.
  16. 제13항에 있어서,
    상기 프로세서는,
    상기 센싱된 뇌파 데이터에서 기설정된 뇌파 지속 시간 이상의 양전위 뇌파 또는 음전위 뇌파 발생을 확인하여 사용자의 의도를 인식하는 뇌파 기반의 사용자 의도 인식 장치.
  17. 제13항에 있어서,
    상기 프로세서는,
    상기 센싱된 뇌파 데이터를 기설정된 주기별로 풀링하되, 임계치 또는 전위 방향을 이용한 코드화를 통해 상기 센싱된 뇌파 데이터의 메타 데이터를 생성하는 뇌파 기반의 사용자 의도 인식 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 센싱된 뇌파 데이터를 뇌파 데이터의 공간적 복잡성과 시간적 복잡성을 기설정된 비율로 줄인 메타 데이터로 변환하는 뇌파 기반의 사용자 의도 인식 장치.
  19. 제13항에 있어서,
    사용자가 제어하고자 하는 타겟의 적어도 하나의 이미지를 촬영하는 카메라를 더 포함하고,
    상기 프로세서는, 상기 촬영된 타겟의 적어도 하나의 이미지를 이용하여 상기 타겟을 인식하고, 상기 인식된 타겟과 상기 인식된 사용자의 의도를 페어링시키는 뇌파 기반의 사용자 의도 인식 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 사용자의 좌안 및 우안 측에 각각 위치한 카메라에서 촬영된 적어도 하나의 이미지를 이용하되, 상기 적어도 하나의 이미지가 겹쳐진 영역에 위치한 대상을 상기 타겟으로 인식하는 뇌파 기반의 사용자 의도 인식 장치.
  21. 제19항에 있어서,
    상기 프로세서는,
    상기 카메라가 촬영하는 주기를 상기 센싱된 뇌파 데이터를 풀링하는 주기와 연동시키는 뇌파 기반의 사용자 의도 인식 장치.
  22. 제19항에 있어서,
    상기 프로세서는,
    상기 인식된 타겟과 상기 인식된 사용자의 의도 간의 페어링 결과를 기반으로 상기 센싱된 뇌파 데이터를 기계 학습하는 뇌파 기반의 사용자 의도 인식 장치.
  23. 삭제
  24. 제13항에 있어서,
    상기 프로세서는,
    상기 인식된 타겟과 상기 인식된 사용자의 의도 간의 페어링 결과를 기반으로, 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터가 결합된 데이터를 기계 학습하는 뇌파 기반의 사용자 의도 인식 장치.
  25. 뇌파 기반의 사용자 의도 인식 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    타겟을 제어하고자 하는 의도를 가진 사용자의 뇌파 데이터를 센싱하는 단계;
    상기 센싱된 뇌파 데이터에 대한 뇌파 센싱 위치, 뇌파 발생 시점, 뇌파 지속 시간 및 뇌파 전위 방향 중에서 적어도 하나를 기학습된 뇌파 패턴과 비교하여 사용자의 의도를 인식하는 단계; 및
    상기 인식된 사용자의 의도에 따라 타겟을 제어하는 제어 신호를 출력하는 단계를 포함하고,
    사용자 주변 환경 또는 사용자 근접 디바이스에서 센싱된 적어도 하나의 멀티스트림 데이터를 획득하는 단계를 더 포함하고,
    상기 사용자의 의도를 인식하는 단계는 상기 획득된 적어도 하나의 멀티스트림 데이터와 상기 센싱된 뇌파 데이터를 결합하여 사용자의 의도를 인식하도록 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180161168A 2018-12-13 2018-12-13 뇌파 기반의 사용자 의도 인식 방법 및 장치 KR102175997B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180161168A KR102175997B1 (ko) 2018-12-13 2018-12-13 뇌파 기반의 사용자 의도 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161168A KR102175997B1 (ko) 2018-12-13 2018-12-13 뇌파 기반의 사용자 의도 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200075153A KR20200075153A (ko) 2020-06-26
KR102175997B1 true KR102175997B1 (ko) 2020-11-06

Family

ID=71136512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161168A KR102175997B1 (ko) 2018-12-13 2018-12-13 뇌파 기반의 사용자 의도 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102175997B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220124022A (ko) * 2021-03-02 2022-09-13 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016150472A1 (en) * 2015-03-20 2016-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Relevance score assignment for artificial neural network
KR101714708B1 (ko) 2015-12-01 2017-03-09 고려대학교 산학협력단 뇌운동관련전위 기반 뇌-컴퓨터 인터페이스 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696275B1 (ko) * 2001-08-24 2007-03-20 뉴로스카이 인코포레이션 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법
KR101380964B1 (ko) * 2011-05-09 2014-04-04 광주과학기술원 뇌-컴퓨터 접속 장치, 그리고 그의 분류 방법
WO2016111421A1 (ko) * 2015-01-09 2016-07-14 주식회사 호두랩스코리아 눈 영상에 기반한 사용자 인터페이스를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101939363B1 (ko) * 2016-09-09 2019-01-16 고려대학교 산학협력단 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법
KR101970700B1 (ko) * 2016-09-30 2019-04-19 고려대학교 산학협력단 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016150472A1 (en) * 2015-03-20 2016-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Relevance score assignment for artificial neural network
KR101714708B1 (ko) 2015-12-01 2017-03-09 고려대학교 산학협력단 뇌운동관련전위 기반 뇌-컴퓨터 인터페이스 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Na Lu et. al., "A Deep Learning Scheme for Motor Imagery Classification based on Restricted Boltzmann Machines," In the Journ. of IEEE Trans. on NS and RE, Vol. 25. No. 6, pp. 566-576, 2017.06.

Also Published As

Publication number Publication date
KR20200075153A (ko) 2020-06-26

Similar Documents

Publication Publication Date Title
Hossain et al. Emotion-aware connected healthcare big data towards 5G
Kaya et al. Modelling auditory attention
Zhang et al. Optimizing spatial patterns with sparse filter bands for motor-imagery based brain–computer interface
JP5706340B2 (ja) 顔検出及びホットスポットの動きによりメディアを制御する方法
JP5619775B2 (ja) マルチメディアの表示から情報を制御及び要求する方法
CN110337698B (zh) 智能服务终端和平台系统及其方法
JP2010134629A (ja) 情報処理装置および情報処理方法
JPWO2015162949A1 (ja) 通信システム、制御方法、および記憶媒体
US11321618B2 (en) Learning device, image pickup apparatus, image processing device, learning method, non-transient computer-readable recording medium for recording learning program, display control method and inference model manufacturing method
US20160358085A1 (en) System and method for multimodal human state recognition
KR102106517B1 (ko) 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
Raza et al. Optimising frequency band selection with forward-addition and backward-elimination algorithms in EEG-based brain-computer interfaces
KR102239039B1 (ko) 뇌파 기반의 사용자 감성 인식 방법 및 장치
KR102175997B1 (ko) 뇌파 기반의 사용자 의도 인식 방법 및 장치
Benlamine et al. Physiology-based recognition of facial micro-expressions using EEG and identification of the relevant sensors by emotion
US10481864B2 (en) Method and system for emotion-triggered capturing of audio and/or image data
CN109766473A (zh) 信息交互方法、装置、电子设备及存储介质
US10664489B1 (en) Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
Simoens et al. Vision: smart home control with head-mounted sensors for vision and brain activity
WO2022165873A1 (zh) 一种仿视网膜中央凹与外周的联合采样方法及装置
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
US20200110890A1 (en) Multi device system and method of controlling the same
Kalaganis et al. A collaborative representation approach to detecting error-related potentials in SSVEP-BCIs
Hou Deep learning-based human emotion detection framework using facial expressions
KR102456189B1 (ko) 클라우드 엣지 기반의 영상 분석 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant