KR20220011573A - 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램 - Google Patents

인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램 Download PDF

Info

Publication number
KR20220011573A
KR20220011573A KR1020210071393A KR20210071393A KR20220011573A KR 20220011573 A KR20220011573 A KR 20220011573A KR 1020210071393 A KR1020210071393 A KR 1020210071393A KR 20210071393 A KR20210071393 A KR 20210071393A KR 20220011573 A KR20220011573 A KR 20220011573A
Authority
KR
South Korea
Prior art keywords
eeg
image
standardized
eeg signals
artificial intelligence
Prior art date
Application number
KR1020210071393A
Other languages
English (en)
Other versions
KR102366534B1 (ko
Inventor
강승완
박욱업
정태균
Original Assignee
주식회사 아이메디신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이메디신 filed Critical 주식회사 아이메디신
Publication of KR20220011573A publication Critical patent/KR20220011573A/ko
Priority to JP2023571427A priority Critical patent/JP2024521076A/ja
Priority to PCT/KR2022/002655 priority patent/WO2022244950A1/ko
Priority to US17/680,175 priority patent/US20220374771A1/en
Application granted granted Critical
Publication of KR102366534B1 publication Critical patent/KR102366534B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 사용자에 대한 복수의 뇌파 신호를 수집하는 단계, 상기 수집된 복수의 뇌파 신호를 가공하는 단계 및 상기 가공된 복수의 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 단계를 포함한다.

Description

인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR CREATING STANDARDIZED BRAINWAVE IMAGE FOR LEARNING ARTIFICIAL INTELLIGENCE MODEL}
본 발명의 다양한 실시예는 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터 프로그램에 관한 것으로, 보다 구체적으로, 이미지화된 뇌파 신호를 분석하는 인공지능 모델의 정확도, 민감도 및 특이도를 향상시키기 위한 학습 데이터로서 표준화된 뇌파 이미지를 생성하는 방법에 관한 것이다.
뇌파는 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름으로, 심신의 상태에 따라 다르게 나타난다. 이러한 뇌의 활동 상태를 신호 형태로 측정하여 분석하면 사람의 상태를 판단할 수 있다. 이러한 뇌파는 사람의 심신 상태는 물론, 뇌에 질환이 있는지 여부를 판단할 수 있는 바, 뇌파를 분석 및 판독하는 기술이 활발하게 개발되고 있다.
전형적인 뇌파 검사는 두피의 여러 부위에 부착한 전극을 통하여 두뇌에서 뉴런들의 활동에 수반되어 생성되는 자발적 전기적 활동을 일정시간에 걸쳐 비침습적 방법으로 측정하는 것을 의미하며, 특별한 경우, 침습적 방법(예: electrocorticography)을 사용하기도 한다. 일반적으로 뇌파를 진단적으로 적용할 때에는 뇌파의 스펙트럼 정보에 초점을 맞추어 진행하게 되는데, 이때 뇌파 신호의 주파수 유형을 이용하게 된다.
그러나, 이러한 전형적인 뇌파 검사의 경우, 뇌파의 미세한 차이까지 구분하기 어렵다는 문제가 있으며, 이를 개선하기 위하여, 최근 컴퓨터 기술의 발전에 힘입어 뇌파를 분석할 수 있는 소프트웨어가 더욱 개량 발전되고 있는 추세이다.
종래에는 뇌파를 이미지화 하여 생성된 학습 데이터를 이용하여 기 학습된 머신러닝 기반의 인공지능 모델을 이용하여, 사용자에 대한 뇌파를 분석하는 방법이 개발 및 활용되고 있으며, 특히, 인공지능 모델을 학습시키기 위한 학습 데이터로서, 뇌파를 이미지화 함으로써 생성되는 뇌파의 지형도(Topographic map, Topomap)(예: 도 1)를 이용하고 있다.
이러한 뇌파의 지형도의 경우, 의사 등 전문가가 환자의 상태를 추정하고 진단을 내리기에는 적절한 형태의 데이터이긴 하나, 도 1에 도시된 바와 같이, 이미지의 가장자리(edge) 부분의 데이터가 불명확하여, 인공지능 모델을 학습시키기에 부적절하다는 문제가 있으며, 실제로 이러한 뇌파의 지형도를 학습 데이터로 하여 학습된 인공지능 모델은 정확도가 떨어지는 등 성능이 좋지 않다는 문제가 있다는 것이 확인되고 있다.
상기의 문제점을 해결하기 위한 목적으로, 선행문헌 1(한국등록특허 제10-2151497호)에서는 뇌파 정보에 기초하여 인공지능 모델을 학습시키기 위한 이미지맵을 생성하는 구성이 개시되어 있고, 선행문헌 2(한국등록특허 제10-1748731호)에서는 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 구성이 개시되어 있다.
그러나, 선행문헌 1에 개시된 구성은 특정 뇌 질환을 판별하는 동작의 성능을 향상시키기 위하여 특정 주파수 대역의 뇌파 신호만 선택적으로 고려하여 이미지맵을 생성한다는 점에서, 하나의 이미지맵만으로 모든 주파수 대역의 뇌파 신호를 분석하기 어렵고, 이미지맵의 각각의 축이 단순이 뇌파 신호를 측정하는 좌우측 채널의 위치로 구성된다는 점에서, 주파수 대역의 변화에 따른 뇌파 신호의 변화를 관측하기 어렵다는 문제가 있다.
또한, 선행문헌 2에 개시된 구성은 인공지능 모델의 학습이 아닌 아이겐 페이스 기술을 활용하여 뇌파를 분류하기 위한 목적으로, 아이겐 페이스 기술이 적용 가능한 형태로 뇌파 이미지를 생성하는 구성이며, 이를 이용하여 인공지능 모델을 학습시키더라도, 각각의 주파수 대역별로 중요도가 고려되기 어렵다는 문제가 있다.
본 발명이 해결하고자 하는 과제는 사용자로부터 수집되는 복수의 뇌파 신호를 이용하여 표준화된 뇌파 이미지를 생성하고, 이를 이용하여 머신러닝 기반의 인공지능 모델을 학습시켜 뇌파를 분석하기 위한 머신러닝 기반의 인공지능 모델의 성능(예: 모델링 정확도, 민감도 및 특이도 등)을 향상시킴으로써, 하나의 표준화된 뇌파 이미지만으로 좌우측 채널을 통해 수집된 뇌파 신호의 비교할 수 있을 뿐만 아니라 모든 주파수 대역의 뇌파 신호에 대한 분석이 가능하고, 주파수 대역별 중요도를 고려하여 뇌파 신호의 분석할 수 있는 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 사용자에 대한 복수의 뇌파 신호를 수집하는 단계, 상기 수집된 복수의 뇌파 신호를 가공하는 단계 및 상기 가공된 복수의 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 복수의 뇌파 신호를 수집하는 단계는, 상기 사용자의 머리의 서로 다른 위치에 부착되는 복수의 뇌파 측정 채널을 통해 서로 다른 주파수 대역을 가지는 복수의 뇌파 신호를 수집하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 수집된 복수의 뇌파 신호를 가공하는 단계는, 상기 수집된 복수의 뇌파 신호 각각에 대한 지표값을 산출하는 단계, 상기 지표값이 산출된 복수의 뇌파 신호를 전처리하여 상기 지표값이 산출된 복수의 뇌파 신호 중 특정 주파수 대역의 뇌파 신호를 필터링하는 단계 및 상기 산출된 지표값을 이용하여, 상기 전처리된 복수의 뇌파 신호 각각에 대응하는 픽셀값을 결정하는 단계를 포함하며, 상기 뇌파 이미지를 생성하는 단계는, 상기 결정된 픽셀값을 이용하여 상기 뇌파 이미지를 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 지표값을 산출하는 단계는, 상기 전처리된 복수의 뇌파 신호 각각에 대한 절대파워(Absolute power), 상대파워(Relative power), 표준값(Z-score), 복잡도(complexity) 및 엔트로피(Entropy) 중 적어도 하나를 지표값으로 산출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 결정된 픽셀값을 이용하여 상기 뇌파 이미지를 생성하는 단계는, 상기 전처리된 복수의 뇌파 신호 각각에 대하여 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계를 포함하며, 상기 기 설정된 템플릿은, 제1 축으로 주파수 변화에 따른 픽셀값이 배치되고, 상기 제1 축과 수직방향인 제2 축으로 상기 사용자의 뇌의 관심 지점의 위치 변화에 따른 픽셀값이 배치되며, 기 설정된 기준 주파수 값을 상기 제1 축의 중심축으로 하여, 상기 중심축을 기준으로 좌측 영역에는 뇌의 좌측 영역으로부터 수집된 뇌파 신호에 대응하는 픽셀값이 배치되고, 상기 중심축을 기준으로 우측 영역에는 뇌의 우측 영역으로부터 수집된 뇌파 신호에 대응하는 픽셀값이 배치될 수 있다.
다양한 실시예에서, 상기 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계는, 상기 중심축을 기준으로 상기 제1 축의 좌우측 각각을 뇌파 신호의 종류에 따른 주파수 대역별로 분할하여 복수의 단위 구간을 생성하되, 상기 뇌파 신호의 종류에 따른 주파수 대역의 범위와 관계없이 상기 복수의 단위 구간이 동일한 길이를 가지도록 상기 제1 축을 분할하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 제1 축을 분할하는 단계는, 상기 사용자로부터 상기 생성된 복수의 단위 구간 중 제1 단위 구간에 대한 길이를 연장시킬 것을 요청받는 경우, 상기 제1 단위 구간에 대한 길이를 연장시키고, 상기 제1 단위 구간이 연장된 길이만큼 나머지 단위 구간의 길이를 균등하게 단축시키는 단계 및 상기 사용자로부터 상기 생성된 복수의 단위 구간 중 제2 단위 구간에 대한 길이를 단축시킬 것을 요청받는 경우, 상기 제2 단위 구간에 대한 길이를 단축시키고, 상기 제2 단위 구간이 단축된 길이만큼 나머지 단위 구간의 길이를 균등하게 연장시키는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계는, 상기 제1 축을 뇌파 신호의 종류에 따른 주파수 대역별로 분할하여 복수의 단위 구간을 생성하되, 상기 사용자로부터 입력된 주파수 대역별 중요도에 기초하여, 상기 복수의 단위 구간 각각의 길이를 결정하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계는, 상기 전처리된 복수의 뇌파 신호 각각에 대응하여 결정된 복수의 픽셀값을 이용하여 픽셀값 매트릭스를 생성하되, 상기 생성된 픽셀값 매트릭스은 행방향으로 상기 전처리된 복수의 뇌파 신호의 주파수 변화에 따른 픽셀값이 배열되고, 열방향으로 상기 전처리된 복수의 뇌파 신호의 관심 지점의 위치 변화에 따른 픽셀값이 배열되는 것인, 단계, 상기 생성된 픽셀값 매트릭스를 행 또는 열을 기준으로, 상기 생성된 픽셀값 매트릭스를 정방 매트릭스로 변환하는 단계 및 상기 정방 매트릭스로 변환된 픽셀값 매트릭스를 상기 기 설정된 템플릿 상에 배치하여 표준화된 뇌파 이미지를 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계는, 상기 전처리된 복수의 뇌파 신호 각각에 대응하여 결정된 복수의 픽셀값을 상기 기 설정된 템플릿 상의 상기 전처리된 복수의 뇌파 신호 각각의 주파수 및 관심 지점의 위치에 대응되는 영역에 배치하되, 상기 복수의 픽셀값 각각에 대하여 상호 인접한 위치에 배치된 픽셀값들과의 이미지 평활화(image smoothing)를 수행하는 단계 및 상기 이미지 평활화된 뇌파 이미지를 기 설정된 크기의 정사각형으로 변경하는 이미지 리사이징(image resizing)을 수행하여 표준화된 뇌파 이미지를 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 생성된 뇌파 이미지를 이용하여 인공지능 모델의 학습을 위한 학습 데이터를 생성하되, 상기 생성된 학습 데이터는 하나의 표준화된 뇌파 이미지를 포함하거나, 정사각형 형태로 결합된 복수의 표준화된 뇌파 이미지를 포함하는 것인, 단계를 더 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 사용자에 대한 복수의 뇌파 신호를 수집하는 인스트럭션(instruction), 상기 수집된 복수의 뇌파 신호를 가공하는 인스트럭션 및 상기 가공된 복수의 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 인스트럭션을 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램은, 컴퓨팅 장치와 결합되어, 사용자에 대한 복수의 뇌파 신호를 수집하는 단계, 상기 수집된 복수의 뇌파 신호를 가공하는 단계 및 상기 가공된 복수의 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 사용자로부터 수집되는 복수의 뇌파 신호를 이용하여 표준화된 뇌파 이미지를 생성하고, 이를 이용하여 머신러닝 기반의 인공지능 모델을 학습시켜 뇌파를 분석하기 위한 머신러닝 기반의 인공지능 모델의 성능(예: 모델링 정확도, 민감도 및 특이도 등)을 획기적으로 향상시킴으로써, 하나의 표준화된 뇌파 이미지만으로 좌우측 채널을 통해 수집된 뇌파 신호의 비교할 수 있을 뿐만 아니라 모든 주파수 대역의 뇌파 신호에 대한 분석이 가능하고, 주파수 대역별 중요도를 고려하여 뇌파 신호의 분석할 수 있다는 이점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1 종래의 인공지능 모델 학습에 사용되는 뇌파의 지형도를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성시스템을 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성장치의 하드웨어 구성도이다.
도 4는 본 발명의 또 다른 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법의 순서도이다.
도 5는 다양한 실시예에서, 복수의 뇌파 신호를 가공하는 방법의 순서도이다.
도 6은 다양한 실시예에서, 가공된 복수의 뇌파 신호를 이용하여 표준화된 뇌파 이미지를 생성하는 방법의 순서도이다.
도 7 및 8은 다양한 실시예에 적용 가능한 표준화된 뇌파 이미지 생성 템플릿을 도시한 도면이다.
도 9는 다양한 실시예에서, 주파수 대역에 따라 제1 축을 분할하는 과정을 도시한 도면이다.
도 10은 다양한 실시예에서, 픽셀값 간의 이미지 평활화를 수행하는 과정을 도시한 도면이다.
도 11은 다양한 실시예에서, 표준화된 뇌파 이미지를 예시적으로 도시한 도면이다.
도 12는 다양한 실시예에서, 인공지능 모델의 학습을 위한 학습 데이터를 예시적으로 도시한 도면이다.
도 13은 다양한 실시예에 적용 가능한 표준화된 뇌파 이미지 시리즈를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성시스템을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성시스템은, 표준화된 뇌파 이미지 생성장치(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.
여기서, 도 1에 도시된 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 표준화된 뇌파 이미지 생성장치(100)는 사용자로부터 수집되는 복수의 뇌파 신호를 이용하여, 인공지능 모델(예: 뇌파 신호를 이미지화 함으로써 생성되는 뇌파 이미지를 입력 데이터로 하여 사용자의 상태 정보에 관한 결과 데이터를 출력하는 이미지 분석 모델)을 학습시키기 위한 학습데이터로서 표준화된 뇌파 이미지를 생성할 수 있다.
예를 들어, 표준화된 뇌파 이미지 생성장치(100)는 사용자로부터 수집되는 복수의 뇌파 신호를 가공하고, 가공된 복수의 뇌파 신호를 픽셀값으로 변환하며, 변환된 픽셀값들을 기 설정된 템플릿 상에 배치함으로써, 뇌파 이미지를 생성할 수 있다.
또한, 표준화된 뇌파 이미지 생성장치(100)는 상기의 과정으로 생성된 뇌파 이미지를 가공(예: 이미지 평활화(Image smoothing) 및 이미지 리사이징(Image resizing))함으로써, 인공지능 모델을 학습시키기 위한 표준화된 뇌파 이미지를 생성할 수 있다.
다양한 실시예에서, 표준화된 뇌파 이미지 생성장치(100)는 네트워크(400)를 통해 뇌파 측정 장치(미도시)와 연결될 수 있으며, 뇌파 측정 장치를 통해 수집되는 복수의 뇌파 신호를 수집할 수 있다.
여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크(400)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
또한, 여기서, 무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
다양한 실시예에서, 표준화된 뇌파 이미지 생성장치(100)는 상기의 방법에 따라 생성된 표준화된 뇌파 이미지를 이용하여 학습 데이터를 생성하고, 생성된 학습 데이터를 이용하여 인공지능 모델을 학습시킬 수 있다.
여기서, 인공지능 모델은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.
인공지능 모델 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 인공지능 모델이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
전술한 바와 같이, 인공지능 모델은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 인공지능 모델 내에서 입력 노드 및 출력 노드 관계를 형성한다. 인공지능 모델 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 인공지능 모델의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 인공지능 모델이 존재하는 경우, 두 개의 인공지능 모델들은 서로 상이한 것으로 인식될 수 있다.
인공지능 모델을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 인공지능 모델 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 인공지능 모델 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 인공지능 모델을 구성하는 노드들을 의미할 수 있다. 본 발명의 일 실시예에 따른 인공지능 모델은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 인공지능 모델일 수 있다.
인공지능 모델은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.
또한, 표준화된 뇌파 이미지 생성장치(100)는 표준화된 뇌파 이미지를 이용하여 인공지능 모델을 학습시킬 수 있다. 구체적으로, 표준화된 뇌파 이미지 생성장치(100)는 레이블링(Labeling)된 학습 데이터 세트를 이용하여 인공지능 모델을 구성하는 하나 이상의 네트워크 함수에 대한 학습을 수행할 수 있다. 예를 들어, 표준화된 뇌파 이미지 생성장치(100)는 학습 입력 데이터 세트 각각을 하나 이상의 네트워크 함수에 입력시키고, 하나 이상의 네트워크 함수로 연산된 출력 데이터 각각과 학습 입력 데이터 세트 각각의 레이블에 해당하는 학습 출력 데이터 세트 각각을 비교하여 오차를 도출할 수 있다. 즉, 인공지능 모델의 학습에서 학습 입력 데이터는 하나 이상의 네트워크 함수의 입력 레이어에 입력될 수 있으며, 학습 출력 데이터는 하나 이상의 네트워크 함수의 출력과 비교될 수 있다. 표준화된 뇌파 이미지 생성장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터(레이블)의 오차에 기초하여 인공지능 모델을 학습시킬 수 있다.
또한, 표준화된 뇌파 이미지 생성장치(100)는 오차에 기초하여 하나 이상의 네트워크 함수의 가중치를 역전파 방식으로 조정할 수 있다. 즉, 표준화된 뇌파 이미지 생성장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터의 오차에 기초하여 하나 이상의 네트워크 함수의 출력이 학습 출력 데이터에 가까워지도록 가중치를 조정할 수 있다.
표준화된 뇌파 이미지 생성장치(100)는 하나 이상의 네트워크 함수의 학습이 사전 결정된 에폭 이상 수행된 경우, 검증 데이터를 이용하여 학습의 중단 여부를 결정할 수 있다. 사전 결정된 에폭은 전체 학습 목표 에폭의 일부일 수 있다. 검증 데이터는 레이블링된 학습 데이터 세트 중 적어도 일부로 구성될 수 있다. 즉, 표준화된 뇌파 이미지 생성장치(100)는 학습 데이터 세트를 통해 인공지능 모델의 학습을 수행하며, 인공지능 모델의 학습이 사전결정된 에폭 이상 반복된 후, 검증 데이터를 이용하여 인공지능 모델의 학습 효과가 사전 결정된 수준 이상인지 여부를 판단할 수 있다. 예를 들어, 표준화된 뇌파 이미지 생성장치(100)는 100개의 학습 데이터를 이용하여 목표 반복 학습 횟수가 10회인 학습을 수행하는 경우, 사전결정된 에폭인 10회의 반복 학습을 수행한 후, 10개의 검증 데이터를 이용하여 3회의 반복 학습을 수행하여, 3회의 반복 학습 동안 인공지능 모델 출력의 변화가 사전결정된 수준 이하인 경우 더 이상의 학습이 무의미한 것으로 판단하고 학습을 종료할 수 있다. 즉, 검증 데이터는 인공지능 모델의 반복 학습에서 에폭별 학습의 효과가 일정 이상인지 이하인지 여부에 기초하여 학습의 완료를 결정하는데 이용될 수 있다. 전술한 학습 데이터, 검증 데이터의 수 및 반복 횟수는 예시일 뿐이며 이에 한정되지 않는다.
표준화된 뇌파 이미지 생성장치(100)는 테스트 데이터 세트를 이용하여 하나 이상의 네트워크 함수의 성능을 테스트하여 하나 이상의 네트워크 함수의 활성화 여부를 결정함으로써, 인공지능 모델을 생성할 수 있다. 테스트 데이터는 인공지능 모델의 성능을 검증하기 위하여 사용될 수 있으며, 학습 데이터 세트 중 적어도 일부로 구성될 수 있다. 예를 들어, 학습 데이터 세트 중 70%는 인공지능 모델의 학습(즉, 레이블과 비슷한 결과값을 출력하도록 가중치를 조정하기 위한 학습)을 위해 활용될 수 있으며, 30%는 인공지능 모델의 성능을 검증하기 위한 테스트 데이터로써 활용될 수 있다.
표준화된 뇌파 이미지 생성장치(100)는 학습이 완료된 인공지능 모델에 테스트 데이터 세트를 입력하고 오차를 측정하여 사전 결정된 성능 이상인지 여부에 따라 인공지능 모델의 활성화 여부를 결정할 수 있다. 표준화된 뇌파 이미지 생성장치(100)는 학습이 완료된 인공지능 모델에 테스트 데이터를 이용하여 학습 완료된 인공지능 모델의 성능을 검증하고 학습 완료된 인공지능 모델의 성능이 사전결정된 기준 이상인 경우 해당 인공지능 모델을 다른 어플리케이션에서 사용하도록 활성화할 수 있다.
또한, 표준화된 뇌파 이미지 생성장치(100)는 학습 완료된 인공지능 모델의 성능이 사전결정된 기준 이하인 경우 해당 인공지능 모델을 비활성화하여 폐기할 수 있다. 예를 들어, 표준화된 뇌파 이미지 생성장치(100)는 정확도(accuracy), 정밀도(precision), 재현율(recall) 등의 요소를 기준으로 하여 생성된 인공지능 모델 모델의 성능을 판단할 수 있다. 전술한 성능 평가 기준은 예시일 뿐이며 이에 한정되지 않는다. 또한, 본 발명의 다양한 실시예에 따라 표준화된 뇌파 이미지 생성장치(100)는 각각의 인공지능 모델을 독립적으로 학습시켜 복수의 인공지능 모델 모델을 생성할 수 있으며, 성능을 평가하여 일정 성능 이상의 인공지능 모델만을 뇌파 이미지 분석을 위해 사용할 수 있다.
일 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 표준화된 뇌파 이미지 생성장치(100)와 연결될 수 있으며, 표준화된 뇌파 이미지 생성장치(100)가 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성 프로세스를 수행함에 따라 생성되는 표준화된 뇌파 이미지를 제공받거나, 표준화된 뇌파 이미지를 이용하여 학습된 인공지능 모델을 통해 복수의 뇌파 신호를 분석한 결과를 제공받을 수 있다.
여기서, 사용자 단말(200)은, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 표준화된 뇌파 이미지 생성장치(100)와 연결될 수 있으며, 표준화된 뇌파 이미지 생성장치(100)가 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성 프로세스를 수행하기 위하여 필요한 각종 정보, 데이터를 저장 및 제공하거나, 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성 프로세스를 수행함에 따라 생성되는 각종 데이터를 수집하여 저장할 수 있다. 예를 들어, 외부 서버(300)는 표준화된 뇌파 이미지 생성 장치(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 3을 참조하여, 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성 프로세스를 수행하는 표준화된 뇌파 이미지 생성장치(100)의 하드웨어 구성에 대해 설명하도록 한다.
도 3은 본 발명의 다른 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성장치의 하드웨어 구성도이다.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 표준화된 뇌파 이미지 생성장치(100)(이하, “컴퓨팅 장치(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성 프로세스를 수행하는 경우, 스토리지(150)는 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 사용자에 대한 복수의 뇌파 신호를 수집하는 단계, 수집된 복수의 뇌파 신호를 가공하는 단계 및 가공된 복수의 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 단계를 포함하는 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 4 내지 11을 참조하여, 컴퓨팅 장치(100)가 수행하는 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성 프로세스에 대하여 설명하도록 한다.
도 4는 본 발명의 또 다른 실시예에 따른 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법의 순서도이다.
도 4를 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 제1 사용자(예: 환자 등 뇌파 신호를 분석할 대상이 되는 사람)에 대하여 복수의 뇌파 신호를 수집할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 사용자의 머리의 서로 다른 위치에 부착되는 복수의 뇌파 측정 채널을 포함하는 뇌파 측정 장치(미도시)를 통해 서로 다른 주파수 대역을 가지는 복수의 뇌파 신호를 수집할 수 있다.
여기서, 뇌파 측정 장치는 제1 사용자의 머리의 서로 다른 위치 부착되는 복수의 채널(2, 4, 8, 16, 19, 24, 68, 128 또는 256 개로, 캡 또는 개별 전극들을 부착)을 포함하여, 뇌파 측정 10-20 시스템에 준하여 각각의 채널을 통해 독립적인 뇌파 신호를 측정하는 장치일 수 있고, 복수의 채널 각각을 통해 복수의 뇌파 신호를 수집할 수 있다. 예를 들어, 뇌파 측정 장치는 19개의 채널(예: Fp1, Fp2, F3, F4, C3, C4, P3, P4, O1, O2, F7, F8, T3, T4, T5, T6, Fz, Cz, Pz)(여기서, Fz, Cz, Pz은 공통 채널)을 포함할 수 있으며, 19개의 채널을 통해 독립적인 19개의 뇌파 신호를 측정할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 뇌파 측정 장치를 통해, 제1 사용자가 별도의 동작을 취하고 있지 않은 평상 시 상태에서 측정되는 복수의 뇌파 신호를 수집할 수 있으나, 이에 한정되지 않고, 각종 동작을 취하거나 각종 테스트를 수행하는 과정에서 측정되는 복수의 뇌파 신호를 수집할 수 있다.
S120 단계에서, 컴퓨팅 장치(100)는 뇌파 측정 장치를 통해 수집된 제1 사용자의 복수의 뇌파 신호를 가공할 수 있다. 이하, 도 5를 참조하여, 컴퓨팅 장치(100)가 수행하는 복수의 뇌파 신호를 가공하는 방법에 대해 설명하도록 한다.
도 5는 다양한 실시예에서, 복수의 뇌파 신호를 가공하는 방법의 순서도이다.
도 5를 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 복수의 뇌파 신호를 전처리하여 특정 주파수 대역의 뇌파 신호를 필터링할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 뇌파 신호 중 필요하지 않은 주파수 대역 또는 잡음(noise)에 취약할 수 있는 주파수 대역(예 4Hz 미만의 주파수 대역에 대응하는 뇌파 신호, 45Hz를 초과하는 주파수 대역에 대응하는 뇌파 신호)을 필터링하여 1 내지 45Hz 범위의 주파수 대역에 대응되는 뇌파 신호만을 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제2 사용자(예: 의사 등 뇌파 신호를 분석한 결과를 얻고자 하는 사람 또는 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성 프로세스의 관리자 등)로부터 특정 주파수 대역의 뇌파 신호(예: 델타파, 알파파, 베타파, 감마파 중 어느 하나의 주파수 대역에 대응하는 뇌파 신호)를 선택받는 경우, 제2 사용자로부터 선택된 특정 주파수 대역의 뇌파 신호를 제외하고 나머지 주파수 대역에 대응하는 뇌파 신호를 필터링(또는 Null 처리)할 수 있다.
S220 단계에서, 컴퓨팅 장치(100)는 S210 단계를 통해 전처리된 복수의 뇌파 신호(특정 주파수 대역에 대응하는 뇌파 신호가 필터링된 결과)를 이용하여, 전처리된 복수의 뇌파 신호 각각에 대한 지표값을 산출할 수 있다.
여기서, 전처리된 복수의 뇌파 신호 각각에 대한 지표값은 절대파워(Absolute power), 상대파워(Relative power), 표준값(Z-score), 복잡도(complexity) 및 엔트로피(Entropy) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
먼저, 컴퓨팅 장치(100)는 복수의 뇌파 신호 각각에 대한 절대파워(Absolute power)를 지표값으로 산출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 전처리된 복수의 뇌파 신호 각각의 파워값(예: 복수의 뇌파 신호 각각이 출현한 정도)의 합을 산출함으로써, 전처리된 복수의 뇌파 신호 각각에 대한 절대파워를 산출할 수 있다. 그러나, 이에 한정되지 않고, 뇌파 신호에 대한 절대파워를 산출하는 다양한 방법이 적용될 수 있다.
또한, 컴퓨팅 장치(100)는 복수의 뇌파 신호 각각에 대한 상대파워(Relative power)를 지표값으로 산출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 전처리된 복수의 뇌파 신호의 파워값의 총합에서, 전처리된 복수의 뇌파 신호 각각의 주파수별 파워값의 비율(%)을 산출함으로써, 전처리된 복수의 뇌파 신호 각각에 대한 상대파워를 산출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 특정 주파수 대역에 대한 파워값(PSD)을 산출하고, 산출된 값 중 가장 큰 파워값을 기준으로 상대파워를 산출할 수 있다. 그러나, 이에 한정되지 않고, 뇌파 신호에 대한 상대파워를 산출하는 다양한 방법이 적용될 수 있다.
또한, 컴퓨팅 장치(100)는 복수의 뇌파 신호 각각에 대한 표준값(Z-score)을 지표값으로 산출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 전처리된 복수의 뇌파 신호를 정규분포화 할 수 있고, 정규분포화된 복수의 뇌파 신호를 이용하여 표준값을 산출(예: (뇌파 신호의 세기 - 전처리된 복수의 뇌파 신호의 세기의 표준편차값)/(전처리된 복수의 뇌파 신호의 세기의 평균값)할 수 있다. 그러나, 이에 한정되지 않고, 뇌파 신호에 대한 표준값을 산출하는 다양한 방법이 적용될 수 있다.
또한, 컴퓨팅 장치(100)는 복수의 뇌파 신호 각각에 대한 복잡도(complexity) 및 엔트로피(Entropy)를 지표값으로 산출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 근사 엔트로피(approximate entropy)를 이용한 복잡도 산출 방법(예: m개의 샘플 구간에 대하여 다른 m+1개의 샘플 구간에도 뇌파 신호의 특성이 유사하게 유지되는지를 정략적으로 산출하는 방법)을 이용하여, 전처리된 복수의 뇌파 신호 각각에 대한 복잡도를 산출할 수 있다. 그러나, 이에 한정되지 않고, 뇌파 신호에 대한 복잡도는 산출하는 다양한 방법이 적용될 수 있다.
S230 단계에서, 컴퓨팅 장치(100)는 상기의 방법에 따라 산출된 지표값을 이용하여, 전처리된 복수의 뇌파 신호 각각에 대응하는 픽셀값을 결정할 수 있다. 여기서, 픽셀값을 결정하는 방법은, 지표값의 크기별 색상 데이터(예: 지표값의 크기에 따른 색상(예: 빨간색, 주황색, 노랑색, 초록색, 파랑색, 남색, 보라색)의 픽셀값이 매칭되어 저장된 데이터)에 기초하여 결정할 수 있으나, 이에 한정되지 않는다.
다시, 도 3을 참조하면, S130 단계에서, 컴퓨팅 장치(100)는 상기의 방법으로 결정된 픽셀값을 이용하여 뇌파 이미지를 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 전처리된 복수의 뇌파 신호 각각에 대하여 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 뇌파 이미지를 생성할 수 있다. 이하, 도 6 내지 11을 참조하여, 컴퓨팅 장치(100)가 수행하는 뇌파 이미지 생성 방법에 대해 설명하도록 한다.
도 6은 다양한 실시예에서, 가공된 복수의 뇌파 신호를 이용하여 표준화된 뇌파 이미지를 생성하는 방법의 순서도이다.
도 6을 참조하면, S310 단계에서, 컴퓨팅 장치(100)는 전처리된 복수의 뇌파 신호 각각에 대하여 결정된 픽셀값을 기 설정된 템플릿 상에 배치할 수 있다.
여기서, 기 설정된 템플릿은 도 7(A)에 도시된 바와 같이, 제1 축(X축)으로 주파수 변화에 따른 픽셀값이 배치될 수 있고, 제1 축과 수직방향인 제2 축(Y축)으로 제1 사용자의 뇌의 관심 지점(Region of Interest, ROI)의 위치 변화에 따른 픽셀값이 배치될 수 있다. 그러나, 이에 한정되지 않고, 기 설정된 템플릿은 제1 축으로 주파수 변화에 따른 픽셀값이 배치되고, 제2 축으로 제1 사용자의 머리에 부착되는 복수의 뇌파 측정 채널 각각의 위치에 따른 픽셀값이 배치될 수 있다.
또한, 기 설정된 템플릿은 기 설정된 주파수 값(예: 전처리된 복수의 뇌파 신호의 주파수 값 중 가장 낮은 주파수 값인 1Hz)을 제1 축의 중심축으로 하여, 중심축인 1Hz를 기준으로 좌측 영역에는 뇌의 좌측 영역으로부터 수집된 뇌파 신호에 대응하는 픽셀값이 배치될 수 있고, 중심축인 1Hz를 기준으로 우측 영역에는 뇌의 우측 영역으로부터 수집된 뇌파 신호에 대응하는 픽셀값이 배치될 수 있다.
여기서, 제1 축은 기 설정된 단위 주파수 크기(예: 0.25Hz)로 분할될 수 있고, 제2 축은 관심 지점의 개수에 맞춰 분할(예: Desikan-Killiany atlas regions 기반의 총 34개의 관심 지점(예: banks-STS, Caudal-anterior-cingulate, Caudal-middle-fronta, cuneus, entorhinal, frontal-pole, fusiform, inferior-parietal, inferior-tempora, insula, isthmus-cingulate, lateral-occipital, lateral-orbitofrontal, lingual, medial-orbitofrontal, middle-temporal, paracentral, parahippocampal, pars-opercularis, pars-orbitalis, pars-triangularis, pericalcarine, post-central, posterior-cingulate, precentral, precuneus, rostral-anterior-cingulate, rostral-middle-frontal, superior-frontal, superior-parietal, superior-temporal, supramarginal, temporal-pole 및 transverse-temporal)될 수 있다.
즉, 기 설정된 템플릿은 제1 축으로 352분할되고, 제2 축으로 34분할됨으로써, 총 11,968개의 픽셀값이 배치되는 영역을 포함할 수 있으며, 컴퓨팅 장치(100)는 이에 따라 전처리된 뇌파 신호에 대한 지표값을 0.25Hz 단위, 34개의 관심지점별로 산출하여 총 11,968개의 지표값을 산출할 수 있고, 산출된 11,968개의 지표값에 대응하여 11,968개의 픽셀값을 결정할 수 있다. 그러나, 이에 한정되지 않고, 제1 축 및 제2 축의 분할 개수는 다양하게 설정될 수 있다.
또한, 여기서, 기 설정됨 템플릿의 제2 축은 Desikan-Killiany atlas regions 기반의 34개의 관심 지점의 위치에 따라 분할되는 것으로 설명하고 있으나, 이에 한정되지 않고, 도 8(A)에 도시된 바와 같이 제1 사용자의 머리에 부착되는 복수의 뇌파 측정 채널의 위치에 따른 11개의 관심 지점의 위치(예: 제1축을 기준으로 좌우 영역 각각에 11개의 위치(F3, C3, C4, P3, O1, T3, T4, T5, Fz, Cz, Pz으로, 이중 Fz, Cz, Pz는 좌우측이 중첩된 위치))에 따라 분할될 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 축에 설정되는 중심축(1Hz)을 기준으로, 제1 축의 좌우측 각각을 뇌파 신호의 종류에 따른 주파수 대역별로 분할하여 복수의 단위 구간을 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 축의 중심축을 기준으로 좌측 1Hz 내지 45Hz 구간과 우측 1Hz 내지 45Hz 구간 각각을 뇌파 신호의 종류에 따라 총 8개의 구간(예: 델타 구간(1 내지 4Hz 구간), 쎄타 구간(4 내지 8Hz 구간), 알파1 구간(8 내지 10Hz 구간), 알파2 구간(10 내지 12Hz 구간), 베타1 구간(12 내지 15Hz 구간), 베타2 구간(15 내지 20Hz 구간), 베타3 구간(20 내지 30Hz 구간) 및 감마 구간(30 내지 45Hz 구간))으로 분할할 수 있다.
이때, 컴퓨팅 장치(100)는 뇌파 신호의 종류에 따라 분할된 각각의 단위 구간의 길이를 주파수 대역의 범위와 관계없이 동일한 길이를 가지도록 제1 축을 분할할 수 있다.
예를 들어, 도 9에 도시된 바와 같이 델타 구간과 쎄타 구간은 각각 3Hz 및 4Hz 범위의 구간을 가지는데 비해 알파1 구간과 알파2 구간은 2Hz 범위의 구간을 가지는 바, 델타파와 쎄타파와 비교했을 때 상대적으로 좁은 구간에 픽셀값이 배치될 수 있다. 이처럼, 즉, 각각의 뇌파 신호에 대응되는 픽셀값이 배치되는 영역이 불균형할 경우, 알파1 구간이나 알파 2구간과 같이 상대적으로 좁은 구간에 배치되는 뇌파 신호에 대해서는 학습 및 분석 효과가 떨어질 수 있다는 문제가 있다.
이를 고려하여, 컴퓨팅 장치(100)는 각각의 주파수 대역의 범위와 관계없이 주파수 대역별로 동일한 길이의 구간을 가지도록 제1 축을 분할할 수 있다. 이를 통해, 알파파, 델타파 등과 같이 상대적으로 좁은 범위의 주파수 대역을 가지는 뇌파 신호(예: 주파수 대역이 4Hz 범위 내의 뇌파 신호)에 대응되는 픽셀값들은 상대적으로 넓은 영역에 배치될 수 있고, 베타파, 감마파와 같이 상대적으로 넓은 범위의 주파수 대역을 가지는 뇌파 신호에 대응되는 픽셀값들은 상대적으로 좁은 영역에 배치될 수 있다. 예를 들어, 알파1파의 경우, 제1 길이를 가지는 알파1 구간에 제1 축 방향으로 8개의 픽셀값이 배치될 수 있는데 반해, 감마파의 경우, 알파1 구간과 동일한 제1 길이를 가지는 감마 구간에 제1 축 방향으로 60개의 픽셀값이 배치될 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 축의 좌우측 각각을 뇌파 신호의 종류에 따른 주파수 대역별로 균등하게 분할하여, 동일한 길이를 가지는 복수의 단위 구간을 생성하되, 제2 사용자로부터 특정 구간에 대한 길이를 조정할 것을 요청받는 경우, 특정 구간에 대한 길이를 조정함에 따라 변경되는 길이만큼 나머지 단위 구간의 길이를 균등하게 조정할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 제1 단위 구간에 대한 뇌파 신호를 보다 정밀하게 관측하고자 제2 사용자로부터 제1 단위 구간의 길이를 연장시킬 것을 요청받는 경우, 제1 단위 구간의 길이를 제2 사용자가 요청한 크기만큼 연장시킬 수 있고, 제1 단위 구간이 연장된 길이만큼, 나머지 단위 구간의 길이를 균등하게 단축(예: 제1 단위 구간의 길이를 1만큼 연장시킬 경우, 나머지 7개의 단위 구간 각각을 1/7만큼 단축)시킬 수 있다.
또한, 컴퓨팅 장치(100)는 제2 단위 구간의 중요도가 낮음에 따라 제2 사용자로부터 제2 단위 구간의 길이를 단축시킬 것을 요청받는 경우, 제2 단위 구간의 길이를 제2 사용자가 요청한 크기만큼 단축시킬 수 있고, 제2 단위 구간이 단축된 길이만큼 나머지 단위 구간의 길이를 균등하게 연장(예: 제2 단위 구간의 길이를 1만큼 단축시킬 경우, 나머지 7개의 단위 구간 각각을 1/7만큼 연장)시킬 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 축에 설정되는 중심축(1Hz)을 기준으로, 제1 축의 좌우측 각각을 뇌파 신호의 종류에 따른 주파수 대역별로 분할하여 복수의 단위 구간을 생성하되, 제2 사용자로부터 입력된 주파수 대역별 중요도에 기초하여 복수의 단위 구간 각각의 길이를 결정할 수 있고, 결정된 복수의 단위 구간 각각의 길이에 맞춰 제1 축을 분할할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 뇌파 신호의 종류에 기초하여 총 8종류의 뇌파 신호(예: 델타파, 쎄타파, 알파1파, 알파2파, 베타1파, 베타2파, 베타3파 및 감마파) 각각에 대한 우선순위(예: 1 내지 8순위)를 설정받을 수 있고, 설정된 우선순위에 기초하여 우선순위가 높은 구간이 낮은 구간보다 상대적으로 큰 길이를 가지도록 제1 축을 분할할 수 있다.
S320 단계에서, 컴퓨팅 장치(100)는 전처리된 복수의 뇌파 신호 각각에 대응하여 결정된 복수의 픽셀값을 기 설정된 탬플릿 상에 배치하되, 복수의 픽셀값 각각에 대하여 상호 인접한 위치에 배치된 픽셀값들과의 이미지 평활화(image smoothing)를 수행할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 도 10에 도시된 바와 같이, 제1 영역(10)에 배치된 픽셀값 및 제1 영역(10)에 배치된 픽셀값과 인접한 위치인 제2 영역(20)에 배치된 픽셀값 간의 이미지 평활화를 수행하여, 제1 영역(10)에 배치된 픽셀값과 제2 영역(20)에 배치된 픽셀값이 연속되도록 할 수 있다.
여기서, 제1 영역(10)에 배치된 픽셀값과 제2 영역(20)에 배치된 픽셀값 간의 이미지 평활화를 수행하는 방법은 제1 영역(10)에 배치된 픽셀값과 제2 영역(20)에 배치된 픽셀값이 접하는 영역인 제3 영역(30)에 제1 영역(10)에 배치된 픽셀값과 제2 영역(20)에 배치된 픽셀값의 평균값을 배치하는 방법이 적용될 수 있으나, 이에 한정되지 않는다.
또한, 보다 연속적인 결과를 도출하기 위하여, 제3 영역(30)에 제1 영역(10)에 배치된 픽셀값과 제2 영역(20)에 배치된 픽셀값의 평균값을 배치하는 방법에 대해서도, 제3 영역(30)을 복수의 제3 영역으로 세분화하고, 복수의 세분화된 영역에 대하여 순차적으로 평균값을 반영할 수 있다.
예를 들어, 제1 영역(10)에 배치된 픽셀값과 제2 영역(20)에 배치된 픽셀값이 접하는 영역인 제3 영역(30)을 3개의 제3 영역(예: 제3-1 영역, 제3-2 영역 및 제3-3 영역)으로 분할한 후, 제1 영역(10)에 배치된 픽셀값과 제2 영역(20)에 배치된 픽셀값의 평균인 제1 평균값을 제3-2 영역에 배치할 수 있다. 또한, 제1 영역(10)에 배치된 픽셀값과 제1 평균값의 평균인 제2 평균값을 제3-1 영역에 배치하고, 제1 평균값과 제2 영역(20)에 배치된 픽셀값의 평균인 제3 평균값을 제3-3 영역에 배치할 수 있다.
S330 단계에서, 컴퓨팅 장치(100)는 S320 단계를 거쳐 기 설정된 템플릿 상에 복수의 픽셀값이 배치됨에 따라 생성된 뇌파 이미지를 기 설정된 크기의 정사각형으로 변경하는 이미지 리사이징(image resizing)을 수행함으로써, 표준화된 뇌파 이미지(예: 도 11)를 생성할 수 있다(여기서, 도 11(A)는 지표값이 절대파워일 때의 표준화된 뇌파 이미지이고, 도 11(B)는 지표값이 상대파워일 때의 표준화된 뇌파 이미지임).
여기서, 기 설정된 크기는 제2 사용자에 의해 설정되는 값일 수 있으나, 이에 한정되지 않는다. 또한, 표준화된 뇌파 이미지는 인공지능 모델의 성능 향상을 위하여 정사각형으로 생성될 수 있으나, 이에 한정되지 않고, 다양한 형태가 적용될 수 있다.
또한, 여기서, 컴퓨팅 장치(100)에 의해 수행되는 이미지 평활화 동작(S320 단계) 및 이미지 리사이징 동작(S330 단계)은 각각 순차적으로 수행되는 것으로 설명하고 있으나, 이에 한정되지 않고, 이미지 리사이징을 통해 뇌파 이미지를 정사각형으로 변경함과 동시에 이미지 평활화를 수행할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 전처리된 복수의 뇌파 신호 각각에 대응하여 결정된 복수의 픽셀값을 이용하여 픽셀값 매트릭스를 생성하고, 이를 이용하여 표준화된 뇌파 이미지를 생성할 수 있다.
먼저, 컴퓨팅 장치(100)는 전처리된 복수의 뇌파 신호 각각에 대응하여 결정된 복수의 픽셀값을 이용하여 픽셀값 매트릭스를 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 축이 기 설정된 단위 주파수 크기인 0.25Hz로 분할되어 352개의 영역을 형성하고, 제2 축이 관심 지점의 개수에 따라 분할되어 34개의 영역을 형성하는 것을 고려하여, 행방향으로 전처리된 복수의 뇌파 신호의 주파수 변화에 따른 픽셀값(352개)을 배열하고, 열방향으로 전처리된 복수의 뇌파 신호의 관심 지점의 위치 변화에 따른 픽셀값을 배열(34개)함으로써, 352x34의 픽셀값 매트릭스를 생성할 수 있다.
이후, 컴퓨팅 장치(100)는 정사각형 형태의 표준화된 뇌파 이미지를 생성하기 위하여, 352x34의 픽셀값 매트릭스의 행 또는 열을 기준으로 픽셀값 매트릭스를 정방 매트릭스(예: 행과 열이 같은 수를 가지는 매트릭스)로 변환할 수 있다. 이때, 픽셀값 매트릭스의 행 또는 열 중 많은 픽셀값이 배열된 축을 기준으로 변환하는 것이 바람직하다. 예를 들어, 컴퓨팅 장치(100)는 행의 개수를 기준으로 352x34의 픽셀값 매트릭스를 352x352의 픽셀값 매트릭스로 변환할 수 있다. 이때, 컴퓨팅 장치(100)는 352x34의 픽셀값 매트릭스를 352x352의 픽셀값 매트릭스로 변환하는 과정에서 픽셀값들에 대한 평활화를 수행할 수 있다(예: S320 단계).
이후, 컴퓨팅 장치(100)는 352x352의 픽셀 매트릭스를 정사각형 형태의 템플릿 상에 배치함으로써, 정사각형 형태의 표준화된 뇌파 이미지를 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 도 7(B) 및 도 8(B)에 도시된 바와 같이, 제1 축이 주파수 변화에 따른 픽셀값이고 제2 축이 관심 지점의 위치에 따른 픽셀값 또는 뇌파 측정 채널의 위치에 따른 픽셀값인 기 설정된 템플릿을 이용하여 생성된 표준화된 뇌파 이미지를 뇌파 신호를 측정한 시간별로 시리즈로 생성할 수 있다.
S340 단계에서, 컴퓨팅 장치(100)는 S330 단계를 거쳐 생성된 표준화된 뇌파 이미지를 이용하여, 인공지능 모델의 학습을 위한 학습 데이터를 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 도 12(A)에 도시된 바와 같이, 하나의 표준화된 뇌파 이미지를 이용하여 하나의 학습 데이터를 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 도 12(B)에 도시된 바와 같이, 복수의 표준화된 뇌파 이미지를 정사각형 형태로 결합하여 하나의 학습 데이터를 생성할 수 있다.
이때, 하나의 학습 데이터에 포함되는 복수의 표준화된 뇌파 이미지는 지표값이 절대파워일 때의 표준화된 뇌파 이미지 복수 개를 결합하거나, 지표값이 상대파워일 때의 표준화된 뇌파 이미지 복수 개를 결합하는 등 동일한 지표값에 기초하여 생성된 복수의 표준화된 뇌파 이미지를 결합할 수 있으나, 이에 한정되지 않고, 지표값이 절대파워 일 때의 표준화된 뇌파 이미지, 지표값이 상대파워일 때의 표준화된 뇌파 이미지, 지표값이 표준값일 때의 표준화된 뇌파 이미지 및 지표값이 복잡도 또는 엔트로피일 때의 표준화된 뇌파 이미지를 결합 즉, 서로 다른 지표값을 이용하여 생성된 표준화된 뇌파 이미지 복수 개를 결합하여 하나의 학습 데이터를 생성할 수 있다.
전술한 인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.
또한, 본 발명의 다양한 실시예에 따른 인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법에서는, 제1 축으로 주파수 변화에 따른 픽셀값을 배치하고, 제2 축으로 사용자의 뇌의 관심 지점의 위치 변화(또는 뇌파 측정 채널의 위치)에 따른 픽셀값을 배치함으로써, 인공지능 모델의 학습을 위한 표준화된 뇌파 이미지를 생성하는 것으로 설명하였으나, 이에 한정되지 않고, 인공지능 모델의 학습을 위한 표준화된 뇌파 이미지는 도 13에 도시된 바와 같이, 뇌파 신호의 주파수별로 시리즈로 생성되되, 제1 축 및 제2 축으로 사용자의 뇌의 관심 지점의 위치 변화에 따른 픽셀값(또는 뇌파 측정 채널의 위치에 따른 픽셀값)이 동일하게 배치됨으로써 생성되는 것일 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 표준화된 뇌파 이미지 생성장치(컴퓨팅 장치)
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크

Claims (13)

  1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    사용자에 대한 복수의 뇌파 신호를 수집하는 단계;
    상기 수집된 복수의 뇌파 신호를 가공하는 단계; 및
    상기 가공된 복수의 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 단계를 포함하는,
    인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법.
  2. 제1항에 있어서,
    상기 복수의 뇌파 신호를 수집하는 단계는,
    상기 사용자의 머리의 서로 다른 위치에 부착되는 복수의 뇌파 측정 채널을 통해 서로 다른 주파수 대역을 가지는 복수의 뇌파 신호를 수집하는 단계를 포함하는,
    인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법.
  3. 제1항에 있어서,
    상기 수집된 복수의 뇌파 신호를 가공하는 단계는,
    상기 수집된 복수의 뇌파 신호 각각에 대한 지표값을 산출하는 단계;
    상기 지표값이 산출된 복수의 뇌파 신호를 전처리하여 상기 지표값이 산출된 복수의 뇌파 신호 중 특정 주파수 대역의 뇌파 신호를 필터링하는 단계; 및
    상기 산출된 지표값을 이용하여, 상기 전처리된 복수의 뇌파 신호 각각에 대응하는 픽셀값을 결정하는 단계를 포함하며,
    상기 뇌파 이미지를 생성하는 단계는,
    상기 결정된 픽셀값을 이용하여 상기 뇌파 이미지를 생성하는 단계를 포함하는,
    인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법.
  4. 제3항에 있어서,
    상기 지표값을 산출하는 단계는,
    상기 전처리된 복수의 뇌파 신호 각각에 대한 절대파워(Absolute power), 상대파워(Relative power), 표준값(Z-score), 복잡도(complexity) 및 엔트로피(Entropy) 중 적어도 하나를 지표값으로 산출하는 단계를 포함하는,
    인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법.
  5. 제3항에 있어서,
    상기 결정된 픽셀값을 이용하여 상기 뇌파 이미지를 생성하는 단계는,
    상기 전처리된 복수의 뇌파 신호 각각에 대하여 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계를 포함하며,
    상기 기 설정된 템플릿은,
    제1 축으로 주파수 변화에 따른 픽셀값이 배치되고, 상기 제1 축과 수직방향인 제2 축으로 상기 사용자의 뇌의 관심 지점의 위치 변화에 따른 픽셀값이 배치되며,
    기 설정된 기준 주파수 값을 상기 제1 축의 중심축으로 하여, 상기 중심축을 기준으로 좌측 영역에는 뇌의 좌측 영역으로부터 수집된 뇌파 신호에 대응하는 픽셀값이 배치되고, 상기 중심축을 기준으로 우측 영역에는 뇌의 우측 영역으로부터 수집된 뇌파 신호에 대응하는 픽셀값이 배치되는,
    인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법.
  6. 제5항에 있어서,
    상기 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계는,
    상기 중심축을 기준으로 상기 제1 축의 좌우측 각각을 뇌파 신호의 종류에 따른 주파수 대역별로 분할하여 복수의 단위 구간을 생성하되, 상기 뇌파 신호의 종류에 따른 주파수 대역의 범위와 관계없이 상기 복수의 단위 구간이 동일한 길이를 가지도록 상기 제1 축을 분할하는 단계를 포함하는,
    인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법.
  7. 제6항에 있어서,
    상기 제1 축을 분할하는 단계는,
    상기 사용자로부터 상기 생성된 복수의 단위 구간 중 제1 단위 구간에 대한 길이를 연장시킬 것을 요청받는 경우, 상기 제1 단위 구간에 대한 길이를 연장시키고, 상기 제1 단위 구간이 연장된 길이만큼 나머지 단위 구간의 길이를 균등하게 단축시키는 단계; 및
    상기 사용자로부터 상기 생성된 복수의 단위 구간 중 제2 단위 구간에 대한 길이를 단축시킬 것을 요청받는 경우, 상기 제2 단위 구간에 대한 길이를 단축시키고, 상기 제2 단위 구간이 단축된 길이만큼 나머지 단위 구간의 길이를 균등하게 연장시키는 단계를 포함하는,
    인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법.
  8. 제5항에 있어서,
    상기 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계는,
    상기 제1 축을 뇌파 신호의 종류에 따른 주파수 대역별로 분할하여 복수의 단위 구간을 생성하되, 상기 사용자로부터 입력된 주파수 대역별 중요도에 기초하여, 상기 복수의 단위 구간 각각의 길이를 결정하는 단계를 포함하는,
    인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법.
  9. 제5항에 있어서,
    상기 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계는,
    상기 전처리된 복수의 뇌파 신호 각각에 대응하여 결정된 복수의 픽셀값을 이용하여 픽셀값 매트릭스를 생성하되, 상기 생성된 픽셀값 매트릭스은 행방향으로 상기 전처리된 복수의 뇌파 신호의 주파수 변화에 따른 픽셀값이 배열되고, 열방향으로 상기 전처리된 복수의 뇌파 신호의 관심 지점의 위치 변화에 따른 픽셀값이 배열되는 것인, 단계;
    상기 생성된 픽셀값 매트릭스를 행 또는 열을 기준으로, 상기 생성된 픽셀값 매트릭스를 정방 매트릭스로 변환하는 단계; 및
    상기 정방 매트릭스로 변환된 픽셀값 매트릭스를 상기 기 설정된 템플릿 상에 배치하여 표준화된 뇌파 이미지를 생성하는 단계를 포함하는,
    인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법.
  10. 제5항에 있어서,
    상기 결정된 픽셀값을 기 설정된 템플릿 상에 배치하여 상기 뇌파 이미지를 생성하는 단계는,
    상기 전처리된 복수의 뇌파 신호 각각에 대응하여 결정된 복수의 픽셀값을 상기 기 설정된 템플릿 상의 상기 전처리된 복수의 뇌파 신호 각각의 주파수 및 관심 지점의 위치에 대응되는 영역에 배치하되, 상기 복수의 픽셀값 각각에 대하여 상호 인접한 위치에 배치된 픽셀값들과의 이미지 평활화(image smoothing)를 수행하는 단계; 및
    상기 이미지 평활화된 뇌파 이미지를 기 설정된 크기의 정사각형으로 변경하는 이미지 리사이징(image resizing)을 수행하여 표준화된 뇌파 이미지를 생성하는 단계를 포함하는,
    인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법.
  11. 제10항에 있어서,
    상기 생성된 뇌파 이미지를 이용하여 인공지능 모델의 학습을 위한 학습 데이터를 생성하되, 상기 생성된 학습 데이터는 하나의 표준화된 뇌파 이미지를 포함하거나, 정사각형 형태로 결합된 복수의 표준화된 뇌파 이미지를 포함하는 것인, 단계를 더 포함하는,
    인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성방법.
  12. 프로세서;
    네트워크 인터페이스;
    메모리; 및
    상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 컴퓨터 프로그램은,
    사용자에 대한 복수의 뇌파 신호를 수집하는 인스트럭션(instruction);
    상기 수집된 복수의 뇌파 신호를 가공하는 인스트럭션; 및
    상기 가공된 복수의 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 인스트럭션을 포함하는,
    인공지능 모델의 학습을 위한 표준화된 뇌파 이미지 생성장치.
  13. 컴퓨팅 장치와 결합되어,
    사용자에 대한 복수의 뇌파 신호를 수집하는 단계;
    상기 수집된 복수의 뇌파 신호를 가공하는 단계; 및
    상기 가공된 복수의 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램.
KR1020210071393A 2020-07-20 2021-06-02 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램 KR102366534B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023571427A JP2024521076A (ja) 2021-05-18 2022-02-23 人工知能モデル学習のための標準化された脳波イメージ生成方法、装置およびコンピュータプログラム
PCT/KR2022/002655 WO2022244950A1 (ko) 2021-05-18 2022-02-23 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램
US17/680,175 US20220374771A1 (en) 2021-05-18 2022-02-24 Method, apparatus, and computer program for creating standardized brainwave image for training artificial intelligence model

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200089870 2020-07-20
KR1020200089870 2020-07-20
KR20210063879 2021-05-18
KR1020210063879 2021-05-18

Publications (2)

Publication Number Publication Date
KR20220011573A true KR20220011573A (ko) 2022-01-28
KR102366534B1 KR102366534B1 (ko) 2022-02-25

Family

ID=80051354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071393A KR102366534B1 (ko) 2020-07-20 2021-06-02 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램

Country Status (1)

Country Link
KR (1) KR102366534B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244950A1 (ko) * 2021-05-18 2022-11-24 주식회사 아이메디신 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190059376A (ko) * 2017-11-23 2019-05-31 주식회사 아이메디신 뇌파를 통한 뇌 인지기능 평가 플랫폼 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190059376A (ko) * 2017-11-23 2019-05-31 주식회사 아이메디신 뇌파를 통한 뇌 인지기능 평가 플랫폼 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Farzan F, etc., Standardization of electroencephalography for multi-site, multi-platform and multi-investigator studies: insights from the canadian biomarker integration network in depression.* *
Li M-A, etc., A Novel MI-EEG Imaging With the Location Information of Electrodes. IEEE Access. Vol.8, pp.3197~3211 (2020.01.07.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244950A1 (ko) * 2021-05-18 2022-11-24 주식회사 아이메디신 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
KR102366534B1 (ko) 2022-02-25

Similar Documents

Publication Publication Date Title
KR102322647B1 (ko) 뇌파 신호 사이의 상관관계를 이용한 알츠하이머성 치매 진단방법, 서버 및 컴퓨터프로그램
US11775698B2 (en) Method, server and computer program for designing customized headgear for transcranial direct current stimulation
US20210035665A1 (en) Brain network activity estimation system, method of estimating activities of brain network, brain network activity estimation program, and trained brain activity estimation model
CN117058514B (zh) 基于图神经网络的多模态脑影像数据融合解码方法和装置
KR102366534B1 (ko) 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램
US11547346B2 (en) Method, server, and computer program for classifying severe cognitive impairment patients by analyzing EEG data
Chen et al. An IC-PLS framework for group corticomuscular coupling analysis
CN115407872A (zh) 一种智能人机协同系统测评方法、装置及存储介质
KR102373767B1 (ko) 뇌 병변 환자의 빅데이터 기반 치료 전략 수립 방법, 서버 및 컴퓨터프로그램
KR20230120172A (ko) 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램
CN112101438A (zh) 一种左右眼分类方法、装置、服务器和存储介质
US20220374771A1 (en) Method, apparatus, and computer program for creating standardized brainwave image for training artificial intelligence model
US20230011442A1 (en) Optimal stimulation position combination determination method, server, and computer program using preset guide system
CN110801228A (zh) 一种基于神经网络预测的脑效应连接度量方法
US20230012437A1 (en) Electrode model simulation method, server, and computer program
KR102373761B1 (ko) 뇌 병변 환자의 뇌 모델을 이용한 자극 시뮬레이션 방법, 서버 및 컴퓨터프로그램
CN115804601A (zh) 基于多复杂度减速器装配场景的N-Back次任务脑电试验方法
KR20230008937A (ko) 인공지능 모델을 활용한 최적의 자극 위치 산출 방법, 서버 및 컴퓨터프로그램
KR102548478B1 (ko) 약물 반응성 분류 및 예측을 위한 디지털 피노타이핑 방법, 장치 및 컴퓨터프로그램
KR102308844B1 (ko) 인공지능 모델을 이용한 혼수상태 환자의 예후 예측방법, 서버 및 컴퓨터프로그램
US20230010674A1 (en) Electric stimulation simulation method, server, and computer program for determining optimal stimulation position combination
KR102685710B1 (ko) 인공지능 모델의 학습 및 분석을 위한 생체 데이터 증강 방법, 장치 및 컴퓨터프로그램
KR102608777B1 (ko) 사용자의 프로필 이미지에 대한 자동화된 보정 서비스 제공방법, 장치 및 컴퓨터프로그램
KR20240127309A (ko) 뇌파 데이터 분석을 통한 테라피 제공방법, 장치 및 컴퓨터프로그램
US20230009109A1 (en) Optimal stimulation position calculation method, server and computer program using ai model

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)