KR102555139B1 - Electronic apparatus that determines whether an eeg spectrogram image is normal based on a vision transformer model and the operating method thereof - Google Patents

Electronic apparatus that determines whether an eeg spectrogram image is normal based on a vision transformer model and the operating method thereof Download PDF

Info

Publication number
KR102555139B1
KR102555139B1 KR1020230015354A KR20230015354A KR102555139B1 KR 102555139 B1 KR102555139 B1 KR 102555139B1 KR 1020230015354 A KR1020230015354 A KR 1020230015354A KR 20230015354 A KR20230015354 A KR 20230015354A KR 102555139 B1 KR102555139 B1 KR 102555139B1
Authority
KR
South Korea
Prior art keywords
image
value
eeg
eeg spectrogram
input
Prior art date
Application number
KR1020230015354A
Other languages
Korean (ko)
Inventor
김지범
이재승
최한슬
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020230015354A priority Critical patent/KR102555139B1/en
Application granted granted Critical
Publication of KR102555139B1 publication Critical patent/KR102555139B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/384—Recording apparatus or displays specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

본 발명은 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치 및 그 동작 방법을 제시함으로써, 뇌파 스펙트로그램을 기초로 한, 보다 정확한 뇌 진단이 가능하도록 지원할 수 있다.The present invention provides an electronic device and an operating method for determining whether an EEG spectrogram image is normal based on a vision transformer model, thereby enabling more accurate brain diagnosis based on an EEG spectrogram.

Description

비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS THAT DETERMINES WHETHER AN EEG SPECTROGRAM IMAGE IS NORMAL BASED ON A VISION TRANSFORMER MODEL AND THE OPERATING METHOD THEREOF}Electronic device for determining whether an EEG spectrogram image is normal based on a vision transformer model and its operating method

본 발명은 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치 및 그 동작 방법에 대한 것이다.The present invention relates to an electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model and an operating method thereof.

최근, 뇌 건강의 중요성이 증대되면서, 뇌 질환과 관련된 다양한 진단 방법이 등장하고 있다. 이러한 뇌 질환을 진단하는 방법 중 하나로, 뇌파를 분석하는 방법도 존재한다.Recently, as the importance of brain health increases, various diagnostic methods related to brain diseases have emerged. As one of the methods for diagnosing such brain diseases, there is also a method of analyzing brain waves.

뇌파를 분석하는 방법으로, 뇌파의 스펙트럼을 분석하는 방법이 주로 활용될 수 있는데, 이러한 뇌파의 스펙트럼을 시각적으로 표현한 것이, 뇌파 스펙트로그램이다.As a method of analyzing brain waves, a method of analyzing a spectrum of brain waves may be mainly used, and an brain wave spectrogram is a visual representation of the spectrum of brain waves.

뇌파 스펙트로그램은 도 1에 도시된 그림과 같이, 뇌파의 스펙트럼을 시각적으로 표현한 것으로서, 가로축이 시간, 세로축이 주파수를 의미한다.As shown in FIG. 1, the EEG spectrogram is a visual representation of the EEG spectrum, and the horizontal axis represents time and the vertical axis represents frequency.

최근에는 소정의 훈련 데이터를 기초로 결과를 예측하기 위한 학습 모델을 만들 수 있는 기계학습 기반의 인공지능 기술이 등장하고 있다는 점에서, 뇌파 스펙트로그램 이미지로부터, 뇌에 이상이 있는지 여부를 판별하는 모델의 설계도 고려할 수 있다.In recent years, a machine learning-based artificial intelligence technology capable of creating a learning model for predicting results based on predetermined training data has emerged, a model for determining whether there is an abnormality in the brain from an EEG spectrogram image. design can also be considered.

특히, 선행기술문헌인 "Alexey Dosovitskiy et al., "AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", In ICLR, 2021."에서는 비전 트랜스포머(Vision Transformer)라는 모델을 제시하고 있는데, 이 모델은 이미지를 소정의 패치 단위로 분할하여 시퀀스의 형태로 구성한 후, 이 이미지 패치 시퀀스를, 기존의 트랜스포머 모델의 트랜스포머 인코더에 입력으로 인가하여, 그에 따른 출력 값으로부터 클래스를 분류해 내는 특징을 갖는 모델이다.In particular, the prior art document "Alexey Dosovitskiy et al., "AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", In ICLR, 2021." suggests a model called a vision transformer, which The model divides the image into predetermined patch units and configures them in the form of a sequence, then applies the image patch sequence as an input to the transformer encoder of the existing transformer model, and classifies the class from the output value accordingly. It is a model.

비전 트랜스포머 모델은 기존의 합성곱 신경망과 달리, 트랜스포머 인코더를 통해, 분할된 이미지 패치들에 대한 셀프 어텐션(self attention)을 수행한다는 점에서, 입력 이미지를 소정의 이미지 패치들로 분할하였을 때, 각 이미지 패치 간의 연관성을 고려할 수 있어서, 기존의 합성곱 신경망보다 높은 예측 성능을 보여주는 특징을 가지고 있다.Unlike conventional convolutional neural networks, the vision transformer model performs self-attention on the divided image patches through a transformer encoder, so when the input image is divided into predetermined image patches, each It has a feature of showing higher prediction performance than the existing convolutional neural network because it can consider the association between image patches.

따라서, 뇌파 스펙트로그램 이미지를 이용하여 해당 뇌파의 상태가 정상인지 비정상인지 여부를 판별하는 모델을 구성하는 데에 있어서도 이 비전 트랜스포머 모델을 이용하는 것을 고려할 수 있다.Therefore, it may be considered to use this vision transformer model even when constructing a model for determining whether a corresponding brain wave state is normal or abnormal by using the EEG spectrogram image.

Alexey Dosovitskiy et al., "AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", In ICLR, 2021.Alexey Dosovitskiy et al., "AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", In ICLR, 2021. Ashish Vaswani et al., "Attention Is All You Need", In NIPS, 2017.Ashish Vaswani et al., "Attention Is All You Need", In NIPS, 2017.

본 발명은 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치 및 그 동작 방법을 제시함으로써, 뇌파 스펙트로그램을 기초로 한, 보다 정확한 뇌 진단이 가능하도록 지원하고자 한다.The present invention is intended to support more accurate brain diagnosis based on an EEG spectrogram by providing an electronic device and an operating method thereof for determining whether an EEG spectrogram image is normal based on a vision transformer model.

본 발명의 일실시예에 따른 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치는 사전 수집된 복수의 뇌파 스펙트로그램 이미지들과 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대응되는 정답 값 - 상기 복수의 뇌파 스펙트로그램 이미지들 중, 정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제1 정답 값으로 지정되어 있고, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 비정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제2 정답 값으로 지정되어 있음 - 이 저장되어 있는 훈련 데이터 저장부, 상기 훈련 데이터 저장부에 저장되어 있는 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나의 뇌파 스펙트로그램 이미지를 선정하여, 상기 선정된 뇌파 스펙트로그램 이미지와 그에 대응되는 정답 값을 기초로, 비전 트랜스포머(Vision Transformer) 모델을 학습시키는 과정을, 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대해 반복 수행함으로써, 뇌파 스펙트로그램 이미지의 정상 여부를 판별하기 위한 판별 모델을 생성하는 모델 생성부 및 상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행하는 판별부를 포함한다.An electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model according to an embodiment of the present invention is a plurality of pre-collected EEG spectrogram images and each of the plurality of EEG spectrogram images. Corresponding correct answer value - The correct answer value corresponding to the EEG spectrogram image designated as normal among the plurality of EEG spectrogram images is designated as a first preset correct answer value, and among the plurality of EEG spectrogram images, the correct answer value corresponds to abnormal A correct answer value corresponding to an EEG spectrogram image designated as being designated as a preset second correct answer value is stored in a training data storage unit, and the plurality of EEG spectrogram images stored in the training data storage unit. The process of selecting any one EEG spectrogram image from the selected EEG spectrogram image and learning a Vision Transformer model based on the selected EEG spectrogram image and the corresponding correct answer value, the plurality of EEG spectrogram images By repeatedly performing each EEG spectrogram image, after the learning of the vision transformer model and the model generation unit for generating a discriminant model for determining whether the EEG spectrogram image is normal is completed, the first real EEG spectrogram image is provided by the user. is applied as an input, and when a command for determining whether normality is applied is applied, the first real brain wave is calculated based on an output value calculated when the first real brain wave spectrogram image is applied as an input to the vision transformer model on which learning has been completed. and a determination unit for determining whether the spectrogram image is normal.

또한, 본 발명의 일실시예에 따른 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치의 동작 방법은 사전 수집된 복수의 뇌파 스펙트로그램 이미지들과 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대응되는 정답 값 - 상기 복수의 뇌파 스펙트로그램 이미지들 중, 정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제1 정답 값으로 지정되어 있고, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 비정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제2 정답 값으로 지정되어 있음 - 이 저장되어 있는 훈련 데이터 저장부를 유지하는 단계, 상기 훈련 데이터 저장부에 저장되어 있는 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나의 뇌파 스펙트로그램 이미지를 선정하여, 상기 선정된 뇌파 스펙트로그램 이미지와 그에 대응되는 정답 값을 기초로, 비전 트랜스포머(Vision Transformer) 모델을 학습시키는 과정을, 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대해 반복 수행함으로써, 뇌파 스펙트로그램 이미지의 정상 여부를 판별하기 위한 판별 모델을 생성하는 단계 및 상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행하는 단계를 포함한다.In addition, an operating method of an electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model according to an embodiment of the present invention is based on a plurality of pre-collected EEG spectrogram images and the plurality of EEG spectrograms. Answer value corresponding to each of the gram images - Among the plurality of EEG spectrogram images, the correct answer value corresponding to the EEG spectrogram image designated as normal is designated as a first preset correct answer value, and the plurality of EEG spectrogram images Among the images, a correct answer value corresponding to an EEG spectrogram image designated as abnormal is designated as a preset second correct answer value - maintaining a training data storage unit in which this is stored, The process of selecting one of the plurality of EEG spectrogram images and learning a vision transformer model based on the selected EEG spectrogram image and the corresponding correct answer value, After generating a discrimination model for determining whether an EEG spectrogram image is normal by repeatedly performing it on each of the plurality of EEG spectrogram images and learning the vision transformer model, the user 1 When a real EEG spectrogram image is applied as an input and a command for determining normality is applied, based on the output value calculated when the first real EEG spectrogram image is applied as an input to the vision transformer model for which learning has been completed, , determining whether the first real EEG spectrogram image is normal or not.

본 발명은 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치 및 그 동작 방법을 제시함으로써, 뇌파 스펙트로그램을 기초로 한, 보다 정확한 뇌 진단이 가능하도록 지원할 수 있다.The present invention provides an electronic device and an operating method for determining whether an EEG spectrogram image is normal based on a vision transformer model, thereby enabling more accurate brain diagnosis based on an EEG spectrogram.

도 1은 뇌파 스펙트로그램 이미지의 예시를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치의 구조를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치의 동작 방법을 도시한 순서도이다.1 is a diagram showing an example of an EEG spectrogram image.
2 is a diagram showing the structure of an electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model according to an embodiment of the present invention.
3 is a flowchart illustrating an operating method of an electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model according to an embodiment of the present invention.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. This description is not intended to limit the present invention to specific embodiments, but should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. While describing each drawing, similar reference numerals have been used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, are common knowledge in the art to which the present invention belongs. has the same meaning as commonly understood by the person who has it.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated. In addition, in various embodiments of the present invention, each component, functional block, or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic It may be implemented with various known elements or mechanical elements such as circuits, integrated circuits, ASICs (Application Specific Integrated Circuits), and may be implemented separately or two or more may be integrated into one.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the blocks of the accompanying block diagram or the steps of the flowchart are computer program instructions that perform designated functions by being loaded into a processor or memory of a device capable of data processing, such as a general-purpose computer, a special purpose computer, a portable notebook computer, and a network computer. can be interpreted as meaning Since these computer program instructions may be stored in a memory included in a computer device or in a computer readable memory, the functions described in blocks of a block diagram or steps of a flowchart are produced as a product containing instruction means for performing them. It could be. Further, each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s). Also, it should be noted that in some alternative embodiments, functions mentioned in blocks or steps may be executed out of a predetermined order. For example, two blocks or steps shown in succession may be performed substantially simultaneously or in reverse order, and in some cases, some blocks or steps may be omitted.

도 2는 본 발명의 일실시예에 따른 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치의 구조를 도시한 도면이다.2 is a diagram showing the structure of an electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model according to an embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 전자 장치(110)는 훈련 데이터 저장부(111), 모델 생성부(112) 및 판별부(113)를 포함한다.Referring to FIG. 2 , an electronic device 110 according to the present invention includes a training data storage unit 111 , a model generation unit 112 and a determination unit 113 .

훈련 데이터 저장부(111)에는 사전 수집된 복수의 뇌파 스펙트로그램 이미지들과 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대응되는 정답 값이 저장되어 있다.The training data storage unit 111 stores a plurality of pre-collected EEG spectrogram images and an answer value corresponding to each of the plurality of EEG spectrogram images.

여기서, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제1 정답 값으로 지정되어 있고, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 비정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제2 정답 값으로 지정되어 있을 수 있다. 관련해서, 상기 제1 정답 값이 '1', 상기 제2 정답 값이 '0'이라고 하는 경우, 훈련 데이터 저장부(111)에는 하기의 표 1과 같이 데이터가 저장되어 있을 수 있다.Here, a correct answer value corresponding to an EEG spectrogram image designated as normal among the plurality of EEG spectrogram images is designated as a first preset correct answer value, and among the plurality of EEG spectrogram images designated as abnormal The correct answer value corresponding to the EEG spectrogram image may be designated as a preset second correct answer value. In this regard, when the first correct answer value is '1' and the second correct answer value is '0', data may be stored in the training data storage unit 111 as shown in Table 1 below.

복수의 뇌파 스펙트로그램 이미지들Multiple EEG Spectrogram Images 정답 값correct answer value 뇌파 스펙트로그램 이미지 1EEG spectrogram image 1 1One 뇌파 스펙트로그램 이미지 2EEG spectrogram image 2 1One 뇌파 스펙트로그램 이미지 3EEG spectrogram image 3 00 ...... ......

모델 생성부(112)는 훈련 데이터 저장부(111)에 저장되어 있는 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나의 뇌파 스펙트로그램 이미지를 선정하여, 상기 선정된 뇌파 스펙트로그램 이미지와 그에 대응되는 정답 값을 기초로, 비전 트랜스포머(Vision Transformer) 모델을 학습시키는 과정을, 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대해 반복 수행함으로써, 뇌파 스펙트로그램 이미지의 정상 여부를 판별하기 위한 판별 모델을 생성한다.The model generation unit 112 selects one EEG spectrogram image from among the plurality of EEG spectrogram images stored in the training data storage unit 111, and selects the selected EEG spectrogram image and the corresponding answer. Based on the value, a process of learning a vision transformer model is repeatedly performed for each of the plurality of EEG spectrogram images, thereby generating a discrimination model for determining whether the EEG spectrogram image is normal.

이때, 본 발명의 일실시예에 따르면, 모델 생성부(112)는 생성부(114), 인코더 출력부(115) 및 학습 수행부(116)를 포함할 수 있다.At this time, according to one embodiment of the present invention, the model generator 112 may include a generator 114, an encoder output unit 115, and a learning performer 116.

생성부(114)는 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나인 제1 뇌파 스펙트로그램 이미지가 선정됨에 따라, 상기 제1 뇌파 스펙트로그램 이미지에 대한 학습 과정이 수행되어야 하는 순서가 되는 경우, 상기 제1 뇌파 스펙트로그램 이미지를, 사전 설정된 가로/세로 길이를 갖는 이미지 패치 단위로 분할하여, 복수의 제1 이미지 패치들을 생성한다.When a first EEG spectrogram image, which is one of the plurality of EEG spectrogram images, is selected, the generation unit 114 determines the order in which the learning process for the first EEG spectrogram image is to be performed. A plurality of first image patches are generated by dividing the first EEG spectrogram image into image patch units having preset horizontal/vertical lengths.

예컨대, 상기 이미지 패치 단위가 가로/세로 '3pixel'의 길이를 갖는 단위라고 하는 경우, 생성부(114)는, 상기 비전 트랜스포머 모델을 학습하는 과정에서, 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나인 제1 뇌파 스펙트로그램 이미지가 선정됨에 따라, 상기 제1 뇌파 스펙트로그램 이미지에 대한 기계학습 과정이 수행되어야 하는 순서가 되는 경우, 상기 제1 뇌파 스펙트로그램 이미지를, 가로/세로 '3pixel'의 길이를 갖는 이미지 패치 단위로 분할함으로써, 복수의 제1 이미지 패치들을 생성할 수 있다. 즉, 생성부(114)는 상기 제1 뇌파 스펙트로그램 이미지를 바둑판 형태로 분할함으로써, 상기 복수의 제1 이미지 패치들을 생성할 수 있다.For example, when the image patch unit is a unit having a length of '3 pixels' horizontally/vertically, the generator 114 selects one of the plurality of EEG spectrogram images in the process of learning the vision transformer model. As the first EEG spectrogram image is selected, and in the order in which the machine learning process for the first EEG spectrogram image is to be performed, the first EEG spectrogram image has a length of '3 pixels' horizontally/vertically. A plurality of first image patches may be generated by dividing into image patch units having . That is, the generation unit 114 may generate the plurality of first image patches by dividing the first EEG spectrogram image in a checkerboard pattern.

인코더 출력부(115)는 상기 복수의 제1 이미지 패치들 각각에 대한 임베딩 벡터와, 정답 예측에 사용하기 위한 클래스 토큰(token)을 생성하고, 상기 클래스 토큰과 상기 복수의 제1 이미지 패치들 각각에 대한 임베딩 벡터가 순차적으로 나열된 형태를 갖도록 하기 위한 포지셔널 임베딩을 수행함으로써 제1 임베딩 입력을 생성한 후, 상기 제1 임베딩 입력을, 상기 비전 트랜스포머 모델을 구성하는 트랜스포머 인코더에 입력으로 인가하여, 제1 인코더 출력을 산출한다.The encoder output unit 115 generates an embedding vector for each of the plurality of first image patches and a class token for use in predicting a correct answer, and generates the class token and each of the plurality of first image patches. After generating a first embedding input by performing positional embedding so that the embedding vectors for have a form sequentially listed, the first embedding input is applied as an input to a transformer encoder constituting the vision transformer model, Calculate the first encoder output.

관련해서, 인코더 출력부(115)는, 생성부(114)를 통해, 상기 복수의 제1 이미지 패치들이 생성되면, 상기 복수의 제1 이미지 패치들 각각에 대해 flatten을 수행함으로써, 상기 복수의 제1 이미지 패치들 각각에 대응되는 임베딩 벡터를 생성할 수 있다.In this regard, when the plurality of first image patches are generated through the generation unit 114, the encoder output unit 115 performs flattening on each of the plurality of first image patches. An embedding vector corresponding to each of the 1 image patches may be generated.

그러고 나서, 인코더 출력부(115)는 상기 복수의 제1 이미지 패치들 각각의 임베딩 벡터와 동일한 길이를 갖는 소정의 클래스 토큰을 랜덤하게 생성할 수 있다. 이때, 이 클래스 토큰은, 비전 트랜스포머 모델을 학습하는 과정에서, 함께 학습이 수행되는 토큰이다.Then, the encoder output unit 115 may randomly generate a predetermined class token having the same length as the embedding vector of each of the plurality of first image patches. In this case, the class token is a token for which learning is performed together in the process of learning the vision transformer model.

그 이후, 인코더 출력부(115)는 상기 복수의 제1 이미지 패치들을, 상기 복수의 제1 이미지 패치들의 상기 제1 뇌파 스펙트로그램 이미지에서의 위치를 기초로 순차적으로 나열된 형식의 시퀀스로 구성할 수 있다. 관련해서, 인코더 출력부(115)는 상기 복수의 제1 이미지 패치들을, 상기 제1 뇌파 스펙트로그램 이미지에서 좌측 상단에서 우측 하단의 순서로 나열한 시퀀스로 구성할 수 있다. 그리고, 인코더 출력부(115)는 상기 클래스 토큰을 상기 시퀀스의 제일 앞단에 배치하여, 상기 비전 트랜스포머 모델을 구성하는 트랜스포머 인코더에 입력으로 인가될 제1 임베딩 입력을 만들 수 있다.After that, the encoder output unit 115 may configure the plurality of first image patches as a sequence in a form sequentially listed based on the positions of the plurality of first image patches in the first EEG spectrogram image. there is. In this regard, the encoder output unit 115 may configure a sequence in which the plurality of first image patches are arranged in order from an upper left corner to a lower right corner in the first EEG spectrogram image. Also, the encoder output unit 115 may place the class token at the front end of the sequence to create a first embedding input to be applied as an input to the transformer encoder constituting the vision transformer model.

구체적으로, 인코더 출력부(115)는, 상기 클래스 토큰과, 상기 복수의 제1 이미지 패치들의 임베딩 벡터에 대해, 상기 클래스 토큰이 가장 앞단에 배치되고, 상기 복수의 제1 이미지 패치들의 임베딩 벡터가 순차적으로 나열된 형식을 갖도록 하기 위한 소정의 포지셔널 임베딩을 부가함으로써, 상기 클래스 토큰이 가장 앞단에 배치되고, 상기 복수의 제1 이미지 패치들의 임베딩 벡터가 순차적으로 나열된 형태의 행렬인 제1 임베딩 입력을 생성할 수 있다.Specifically, with respect to the class token and the embedding vector of the plurality of first image patches, the encoder output unit 115 places the class token at the front end, and the embedding vector of the plurality of first image patches By adding a predetermined positional embedding to have a sequentially listed format, the first embedding input is a matrix in which the class token is placed at the frontmost stage and the embedding vectors of the plurality of first image patches are sequentially listed. can create

이렇게, 상기 제1 임베딩 입력이 생성되면, 인코더 출력부(115)는 상기 제1 임베딩 입력을 상기 트랜스포머 인코더에 입력으로 인가할 수 있다. 여기서, 상기 트랜스포머 인코더는, 상기 제1 임베딩 입력이 인가되면, 상기 제1 임베딩 입력에 대해서 레이어 정규화(Layer Normalization)를 수행한 후, 이 결과를 기반으로, 멀티-헤드 셀프 어텐션(Multi-Head Self Attention)을 수행하도록 구성되어 있다. 멀티-헤드 셀프 어텐션이란, 셀프 어텐션을 다수회 수행하는 것을 의미한다. 관련해서, 트랜스포머 인코더는 상기 제1 임베딩 입력을 기반으로 셀프 어텐션을 수행하기 때문에, 상기 복수의 제1 이미지 패치들 각각의, 다른 이미지 패치와의 관계에 따른 소정의 어텐션 값을 산출하게 된다. 아울러, 상기 제1 임베딩 입력에는 상기 클래스 토큰도 포함되어 있으므로, 상기 트랜스포머 인코더는 상기 클래스 토큰의, 상기 복수의 제1 이미지 패치들과의 관계에 따른 소정의 어텐션 값도 산출되게 된다. 이로 인해, 상기 트랜스포머 인코더는 상기 멀티-헤드 셀프 어텐션을 통해, 상기 클래스 토큰과, 상기 복수의 제1 이미지 패치들 각각에 대한 어텐션 맵을 생성하게 되고, 상기 어텐션 맵이 생성되면, 상기 트랜스포머 인코더는, 입력으로 인가된 상기 제1 임베딩 입력에 상기 어텐션 맵을 잔차 연결(Residual Connection)함으로써, 상기 클래스 토큰과, 상기 복수의 제1 이미지 패치들 각각에 대해, 다른 이미지 패치와의 관계에 따른 소정의 어텐션 가중치를 반영하게 된다.In this way, when the first embedding input is generated, the encoder output unit 115 may apply the first embedding input to the transformer encoder as an input. Here, the transformer encoder, when the first embedding input is applied, performs layer normalization on the first embedding input, and based on this result, multi-head self attention Attention) is configured to perform. Multi-head self-attention means performing self-attention multiple times. In this regard, since the transformer encoder performs self-attention based on the first embedding input, a predetermined attention value is calculated according to a relationship between each of the plurality of first image patches and other image patches. In addition, since the class token is included in the first embedding input, the transformer encoder also calculates a predetermined attention value according to the relationship between the class token and the plurality of first image patches. As a result, the transformer encoder generates an attention map for the class token and each of the plurality of first image patches through the multi-head self-attention. When the attention map is generated, the transformer encoder , By residually connecting the attention map to the first embedding input applied as an input, a predetermined value according to a relationship between the class token and another image patch for each of the plurality of first image patches. It reflects the attention weight.

그 이후, 상기 트랜스포머 인코더는 상기 제1 임베딩 입력과 상기 어텐션 맵을 잔차 연결한 결과를 다시 레이어 정규화(Layer Normalization)하고, 그 결과를 다층 퍼셉트론(Multi Layer Perceptron: MLP)에 입력으로 인가할 수 있고, 그 다음에, 상기 다층 퍼셉트론의 출력과, 앞서 상기 제1 임베딩 입력과 상기 어텐션 맵을 잔차 연결한 결과를 다시 잔차 연결함으로써, 최종적으로 제1 인코더 출력을 산출하게 된다.Thereafter, the transformer encoder may layer normalize a result of residual connection between the first embedding input and the attention map, and apply the result as an input to a Multi Layer Perceptron (MLP), , and then, the output of the multilayer perceptron and the result of residual connection of the first embedding input and the attention map are residually connected to finally calculate the first encoder output.

이러한 상기 트랜스포머 인코더의 출력을 산출하는 과정은 선행기술문헌인 "Alexey Dosovitskiy et al., "AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", In ICLR, 2021."에 소개되어 있다.The process of calculating the output of the transformer encoder is introduced in the prior art document "Alexey Dosovitskiy et al., "AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", In ICLR, 2021."

학습 수행부(116)는, 인코더 출력부(115)를 통해, 상기 제1 인코더 출력이 산출되면, 상기 제1 인코더 출력으로부터, 상기 클래스 토큰과 대응되는 부분의 출력만을 분리 추출하여 다층 퍼셉트론에 입력으로 인가함으로써 예측 값을 산출한 후, 훈련 데이터 저장부(111)에 저장되어 있는 상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차가 최소가 되도록 학습을 수행한다.When the first encoder output is calculated through the encoder output unit 115, the learning performer 116 separates and extracts only the output of the part corresponding to the class token from the first encoder output, and inputs the output to the multilayer perceptron. After calculating the prediction value by applying to , learning is performed so that the error between the correct value corresponding to the first EEG spectrogram image stored in the training data storage unit 111 and the prediction value is minimized.

관련해서, 인코더 출력부(115)를 통해서 산출되는 상기 제1 인코더 출력은, 상기 제1 임베딩 입력과 동일한 크기의 행렬의 형태가 될 수 있다. 이때, 학습 수행부(116)는, 상기 제1 인코더 출력에서 상기 클래스 토큰과 대응되는 부분에 해당되는 벡터만을 분리 추출하여 상기 다층 퍼셉트론에 입력으로 인가함으로써 예측 값을 산출한 후, 훈련 데이터 저장부(111)에 저장되어 있는 상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차가 최소가 되도록 학습을 수행할 수 있다.In this regard, the first encoder output calculated through the encoder output unit 115 may be in the form of a matrix having the same size as the first embedding input. At this time, the learning unit 116 separates and extracts only the vector corresponding to the part corresponding to the class token from the output of the first encoder, applies it as an input to the multi-layer perceptron, calculates a prediction value, and then calculates a training data storage unit. Learning may be performed such that an error between the correct value corresponding to the first EEG spectrogram image stored in 111 and the prediction value is minimized.

이때, 본 발명의 일실시예에 따르면, 학습 수행부(116)는 상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차를 표상하는 손실 값을 산출하기 위한 사전 지정된 손실 함수를 이용하여, 상기 손실 값을 산출한 후, 상기 손실 값이 최소가 되도록 역전파(Backpropagation) 처리를 수행할 수 있다.At this time, according to an embodiment of the present invention, the learning performer 116 uses a predetermined loss function for calculating a loss value representing an error between the correct value corresponding to the first EEG spectrogram image and the predicted value. After calculating the loss value, a backpropagation process may be performed to minimize the loss value.

관련해서, 상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값이 '1'이라고 하면, 학습 수행부(116)는 상기 정답 값인 '1'과 상기 예측 값 간의 오차를 표상하는 손실 값을 산출하기 위한, 크로스 엔트로피 함수 등과 같은 소정의 손실 함수를 이용하여, 상기 손실 값을 산출한 후, 상기 손실 값이 최소가 되도록 역전파 처리를 수행할 수 있다.In relation to this, if the correct answer value corresponding to the first EEG spectrogram image is '1', the learning performer 116 calculates a loss value representing an error between the correct value '1' and the prediction value After calculating the loss value using a predetermined loss function such as . , cross entropy function, etc., backpropagation may be performed to minimize the loss value.

이러한 방식으로, 모델 생성부(112)는 훈련 데이터 저장부(111)에 저장되어 있는 상기 복수의 뇌파 스펙트로그램 이미지들과 그에 대응되는 정답 값을 기초로, 비전 트랜스포머 모델을 학습시키는 과정을 반복 수행함으로써, 뇌파 스펙트로그램 이미지의 정상 여부를 판별하기 위한 판별 모델을 생성할 수 있다.In this way, the model generation unit 112 repeatedly performs a process of learning the vision transformer model based on the plurality of EEG spectrogram images stored in the training data storage unit 111 and the corresponding correct answer value. By doing so, it is possible to create a discriminant model for discriminating whether the EEG spectrogram image is normal.

이렇게, 모델 생성부(112)를 통해, 상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 전자 장치(110) 상에, 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 판별부(113)는 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행한다.In this way, after the learning of the vision transformer model is completed through the model generator 112, the user applies the first real EEG spectrogram image to the electronic device 110 as an input, and determines whether or not it is normal. When the determination command of is applied, the determination unit 113 determines the first real brain wave spectrogram based on the output value calculated when the first real brain wave spectrogram image is applied as an input to the vision transformer model for which learning has been completed. It determines whether the image is normal or not.

이때, 본 발명의 일실시예에 따르면, 판별부(113)는 상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을, 상기 제1 정답 값 및 상기 제2 정답 값과 비교하여, 상기 출력 값이 상기 제1 정답 값에 근접한 값으로 확인되는 경우, 상기 제1 실제 뇌파 스펙트로그램 이미지가 정상에 해당되는 뇌파 스펙트로그램 이미지인 것으로 판별하고, 상기 출력 값이 상기 제2 정답 값에 근접한 값으로 확인되는 경우, 상기 제1 실제 뇌파 스펙트로그램 이미지가 비정상에 해당되는 뇌파 스펙트로그램 이미지인 것으로 판별할 수 있다.At this time, according to one embodiment of the present invention, the determination unit 113 determines whether the first real EEG spectrogram image is normal after the learning of the vision transformer model is completed, and the first actual EEG spectrogram image is applied as an input. When a determination command is applied, an output value calculated when the first real EEG spectrogram image is applied as an input to the vision transformer model on which learning has been completed is compared with the first correct value and the second correct value, When the output value is confirmed to be a value close to the first correct answer value, it is determined that the first actual EEG spectrogram image is a normal EEG spectrogram image, and the output value is a value close to the second correct answer value. If it is confirmed as , it can be determined that the first actual EEG spectrogram image is an EEG spectrogram image corresponding to abnormality.

또한, 본 발명의 일실시예에 따르면, 전자 장치(110)는 선택부(117) 및 관심 정보 표시부(118)를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the electronic device 110 may further include a selection unit 117 and an interest information display unit 118.

우선, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부의 판별 명령이 인가됨에 따라, 판별부(113)를 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지가, 학습이 완료된 상기 비전 트랜스포머 모델에 입력으로 인가되면, 상기 제1 실제 뇌파 스펙트로그램 이미지는 앞서, 생성부(114)에서의 이미지 패치 분할과 동일한 방식으로, 상기 이미지 패치 단위로 분할이 수행될 수 있다. 이때, 상기 제1 실제 뇌파 스펙트로그램 이미지가, 학습이 완료된 상기 비전 트랜스포머 모델에 입력으로 인가됨에 따라, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 상기 이미지 패치 단위로의 분할이 수행된 결과, 복수의 제2 이미지 패치들이 생성되었다고 가정하자.First, as a command for determining whether the first real EEG spectrogram image is normal is applied by the user, the first real EEG spectrogram image is transferred through the determination unit 113 to the vision transformer for which learning has been completed. If applied as an input to the model, the first actual EEG spectrogram image may be segmented in units of image patches in the same manner as the previous image patch segmentation in the generation unit 114 . At this time, as the first real brain wave spectrogram image is applied as an input to the vision transformer model for which learning has been completed, as a result of dividing the first real brain wave spectrogram image into image patch units, a plurality of Assume that the second image patches have been created.

이때, 선택부(117)는, 판별부(113)를 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부의 판별이 완료되면, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부의 판별이 수행되는 과정에서 상기 트랜스포머 인코더를 통해 산출된, 상기 클래스 토큰을 쿼리로 하였을 경우에 대한, 상기 복수의 제2 이미지 패치들과의 셀프 어텐션 값을 확인하여, 상기 복수의 제2 이미지 패치들 중, 상기 셀프 어텐션 값이 최대인 제1 이미지 패치를 선택한다.At this time, the selection unit 117, through the determination unit 113, determines whether the first real EEG spectrogram image is normal, when the determination of whether the first real EEG spectrogram image is normal is completed. In the process, by checking the self-attention value with the plurality of second image patches when the class token, calculated through the transformer encoder, is used as a query, among the plurality of second image patches, the A first image patch having a maximum self-attention value is selected.

관련해서, 상기 제1 실제 뇌파 스펙트로그램 이미지가 상기 복수의 제2 이미지 패치들로 분할되어, 상기 트랜스포머 인코더에 입력되게 되면, 상기 트랜스포머 인코더는, 앞서 설명한 바와 같이, 클래스 토큰과, 상기 복수의 제2 이미지 패치들에 대한 셀프 어텐션을 수행하도록 구성되어 있기 때문에, 상기 클래스 토큰과, 상기 복수의 제2 이미지 패치들 각각의, 다른 이미지 패치들과의 관계에 따른 어텐션 값을 산출하게 된다. 구체적으로, 상기 트랜스포머 인코더는 상기 클래스 토큰을 쿼리로 하였을 때, 나머지 이미지 패치들과의 셀프 어텐션 값을 산출하게 되어 있고, 상기 복수의 제2 이미지 패치들 각각을 쿼리로 하였을 때, 나머지 이미지 패치들과의 셀프 어텐션 값을 산출하게 되어 있다.In relation to this, when the first real brain wave spectrogram image is divided into the plurality of second image patches and inputted to the transformer encoder, the transformer encoder, as described above, receives a class token and the plurality of second image patches. Since it is configured to perform self-attention on two image patches, an attention value according to a relationship between the class token and other image patches of each of the plurality of second image patches is calculated. Specifically, the transformer encoder calculates a self-attention value with the remaining image patches when the class token is used as a query, and when each of the plurality of second image patches is used as a query, the remaining image patches It is supposed to calculate the self-attention value of the section.

이때, 선택부(117)는 상기 트랜스포머 인코더를 통해 산출된, 상기 클래스 토큰을 쿼리로 하였을 경우에 대한, 상기 복수의 제2 이미지 패치들과의 셀프 어텐션 값을 확인한 후, 상기 복수의 제2 이미지 패치들 중, 상기 셀프 어텐션 값이 최대인 제1 이미지 패치를 선택할 수 있다. 여기서, 상기 클래스 토큰을 쿼리로 하였을 때, 상기 셀프 어텐션 값이 최대인 상기 제1 이미지 패치는, 상기 복수의 제2 이미지 패치들 중 상기 클래스 토큰과의 관계에서 연관도가 가장 높은 이미지 패치라는 의미로 받아들일 수 있다. 그리고, 상기 제1 실제 뇌파 스펙트로그램 이미지가, 학습이 완료된 상기 비전 트랜스포머 모델에 통과되어, 정상 여부 판단이 수행되는 과정에서는, 상기 클래스 토큰과 대응되는 출력만이 마지막 다층 퍼셉트론에 입력으로 인가되어, 최종 정상 여부 판단을 위한 출력 값 산출에 활용된다는 점에서, 상기 클래스 토큰은, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부 판단에 핵심적 역할을 수행한다고 볼 수 있다.At this time, the selector 117 checks the self-attention value of the plurality of second image patches when the class token is used as a query, which is calculated through the transformer encoder, and then selects the plurality of second images Among the patches, a first image patch having the maximum self-attention value may be selected. Here, when the class token is used as a query, the first image patch having the maximum self-attention value is an image patch having the highest degree of relevance in relation to the class token among the plurality of second image patches can be accepted as And, in the process of passing the first actual EEG spectrogram image to the vision transformer model for which learning has been completed and determining whether it is normal, only the output corresponding to the class token is applied as an input to the last multi-layer perceptron, In that it is used to calculate an output value for determining final normality, it can be seen that the class token plays a key role in determining whether the first real EEG spectrogram image is normal.

이로 인해, 상기 클래스 토큰과의 셀프 어텐션 값이 최대인 상기 제1 이미지 패치는, 상기 제1 실제 뇌파 스펙트로그램 이미지를, 학습이 완료된 상기 비전 트랜스포머 모델에 통과시켜, 정상 여부에 대한 판단을 수행하는 과정에서, 가장 주의 깊게 고려해야 할 이미지 패치라고 볼 수 있다.As a result, the first image patch having the maximum self-attention value with the class token passes the first actual EEG spectrogram image through the vision transformer model for which learning has been completed, and determines whether or not it is normal. In the process, it can be seen as an image patch to be considered most carefully.

이렇게, 선택부(117)를 통해, 상기 제1 이미지 패치의 선택이 완료되면, 관심 정보 표시부(118)는 상기 제1 실제 뇌파 스펙트로그램 이미지에서, 상기 제1 이미지 패치가 위치하는 지점을, 상기 제1 실제 뇌파 스펙트로그램 이미지에서의 관심 영역 정보로서 추출하여, 화면 상에 표시한다.In this way, when the selection of the first image patch is completed through the selection unit 117, the interest information display unit 118 displays a point where the first image patch is located in the first real EEG spectrogram image, It is extracted as ROI information from the first real EEG spectrogram image and displayed on the screen.

이를 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지를 기초로 뇌 상태의 정상 여부를 진단하는 사람은, 상기 제1 실제 뇌파 스펙트로그램 이미지에서, 상기 제1 이미지 패치가 위치하는 지점의 주파수 정보와 시간 정보를 보다 주의 깊게 관찰함으로써, 뇌 상태에 대한 보다 정확한 진단을 수행할 수 있을 것이다.Through this, a person who diagnoses whether the brain state is normal based on the first real EEG spectrogram image, frequency information and time information of a point where the first image patch is located in the first real EEG spectrogram image By observing more carefully, it will be possible to perform a more accurate diagnosis of the brain condition.

본 발명의 일실시예에 따르면, 전자 장치(110)는, 병원의 의료진과 같이 소정의 인증된 사용자만이, 학습이 완료된 상기 비전 트랜스포머 모델을 이용하여 뇌파 스펙트로그램 이미지의 정상 여부를 판별할 수 있도록 하기 위한, 사용자 인증과 관련된 구성을 더 포함할 수 있다.According to an embodiment of the present invention, in the electronic device 110, only a predetermined authenticated user, such as a medical staff at a hospital, can determine whether an EEG spectrogram image is normal by using the vision transformer model for which learning has been completed. It may further include a configuration related to user authentication.

이와 관련해서, 본 발명의 일실시예에 따르면, 판별부(113)는 해시 값 저장부(119), 인증 이벤트 발생부(120), 인증 완료부(121) 및 수행 처리부(122)를 포함할 수 있다.In this regard, according to an embodiment of the present invention, the determination unit 113 may include a hash value storage unit 119, an authentication event generation unit 120, an authentication completion unit 121, and an execution processing unit 122. can

우선, 본 발명에서는 사용자 인증을 수행하기 위해서, 학습이 완료된 상기 비전 트랜스포머 모델을 이용할 수 있는 사람으로 사전 지정된 사용자에 대해, p(p는 2이상의 자연수임)자리수의 제1 인증번호가 사전 발급되어 있음을 가정한다.First, in the present invention, in order to perform user authentication, a first authentication number of p (p is a natural number of 2 or more) digits is pre-issued to a user pre-specified as a person who can use the vision transformer model for which learning has been completed. Assume there is

이때, 해시 값 저장부(119)에는, 학습이 완료된 상기 비전 트랜스포머 모델을 이용할 수 있는 사용자임을 인증하기 위한, 사전 발급된 인증용 해시 값이 저장되어 있을 수 있다.At this time, a pre-issued hash value for authentication may be stored in the hash value storage unit 119 to authenticate that the user is able to use the vision transformer model for which learning has been completed.

여기서, 상기 인증용 해시 값은, 사용자에 대해 사전 발급된 p자리수의 상기 제1 인증번호를 구성하는 p개의 숫자들 각각에 대해 모듈로(modulo)-2 연산이 수행된 연산 결과가, 사전 설정된 해시 함수에 입력으로 인가되어 생성된 해시 값이다.Here, the authentication hash value is a pre-set result of a modulo-2 operation performed on each of p numbers constituting the first authentication number of p digits pre-issued to the user. It is a hash value generated by being applied as an input to a hash function.

예컨대, 상기 제1 인증번호가 '123'이라고 하는 경우, 상기 인증용 해시 값은, 상기 제1 인증번호를 구성하는 '1', '2', '3' 각각에 대해 모듈로-2 연산이 수행된 연산 결과인 '101'이 상기 해시 함수에 입력으로 인가되어 생성된 해시 값일 수 있다.For example, when the first authentication number is '123', the hash value for authentication is a modulo-2 operation for each of '1', '2', and '3' constituting the first authentication number. '101', which is the result of the performed operation, may be a hash value generated by being applied as an input to the hash function.

인증 이벤트 발생부(120)는 상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부 판별을 수행하기 전에, 사용자 인증을 수행하기 위한 인증 이벤트를 발생시킨다.The authentication event generating unit 120, after learning of the vision transformer model is completed, when a command for determining normality is applied while the first real EEG spectrogram image is applied as an input by a user, the first real EEG spectrogram image is applied. An authentication event for user authentication is generated before determining whether the actual EEG spectrogram image is normal.

인증 완료부(121)는 상기 인증 이벤트가 발생되면, 화면 상에, 사용자 인증을 위한 인증번호를 입력할 것을 지시하는 메시지를 표시한 후, 사용자에 의해, 상기 제1 인증번호가 입력되면, 상기 제1 인증번호를 구성하는 p개의 숫자들 각각에 대해 모듈로-2 연산을 수행하였을 때의 연산 결과를, 상기 해시 함수에 입력으로 인가하여 제1 해시 값을 생성하고, 상기 제1 해시 값이 상기 인증용 해시 값과 일치하는지 확인하여, 양 해시 값이 서로 일치하는 것으로 확인되면, 사용자 인증을 완료 처리한다.When the authentication event occurs, the authentication completion unit 121 displays a message on the screen instructing input of an authentication number for user authentication, and then, when the first authentication number is input by the user, A first hash value is generated by applying an operation result when a modulo-2 operation is performed on each of the p numbers constituting the first authentication number as an input to the hash function, and the first hash value is It is checked whether the hash value for authentication is identical, and when it is confirmed that both hash values coincide with each other, user authentication is completed.

관련해서, 사용자에 의해, '123'이라고 하는 제1 인증번호가 인가되었다면, 인증 완료부(121)는 상기 제1 인증번호를 구성하는 '1', '2', '3' 각각에 대해 모듈로-2 연산을 수행하여, '101'이라는 연산 결과를 획득한 후, '101'이라는 연산 결과를 상기 하시 함수에 입력으로 인가하여 상기 제1 해시 값을 생성할 수 있다.In relation to this, if the first authentication number '123' is applied by the user, the authentication completion unit 121 is a module for each of '1', '2', and '3' constituting the first authentication number. After obtaining an operation result of '101' by performing a row-2 operation, the first hash value may be generated by applying the operation result of '101' as an input to the hash function.

그러고 나서, 인증 완료부(121)는 상기 제1 해시 값이, 해시 값 저장부(119)에 저장되어 있는 상기 인증용 해시 값과 일치하는지 확인하여, 양 해시 값이 서로 일치하는 것으로 확인되면, 사용자에 의해 입력된 상기 제1 인증번호가 제대로 입력된 것으로 판단하고, 사용자 인증을 완료 처리할 수 있다.Then, the authentication completion unit 121 checks whether the first hash value matches the authentication hash value stored in the hash value storage unit 119, and when it is confirmed that both hash values match each other, It is determined that the first authentication number input by the user is correctly input, and user authentication can be completed.

수행 처리부(122)는 사용자 인증이 완료 처리되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행한다.When user authentication is completed, the execution processing unit 122 generates the first real brain wave spectrogram based on an output value calculated when the first real brain wave spectrogram image is applied as an input to the vision transformer model for which learning has been completed. It determines whether the image is normal or not.

도 3은 본 발명의 일실시예에 따른 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치의 동작 방법을 도시한 순서도이다.3 is a flowchart illustrating an operating method of an electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model according to an embodiment of the present invention.

단계(S310)에서는 사전 수집된 복수의 뇌파 스펙트로그램 이미지들과 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대응되는 정답 값(상기 복수의 뇌파 스펙트로그램 이미지들 중, 정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제1 정답 값으로 지정되어 있고, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 비정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제2 정답 값으로 지정되어 있음)이 저장되어 있는 훈련 데이터 저장부를 유지한다.In step S310, a plurality of pre-collected EEG spectrogram images and an answer value corresponding to each of the plurality of EEG spectrogram images (corresponding to an EEG spectrogram image designated as normal among the plurality of EEG spectrogram images) The correct answer value to be is designated as a preset first correct answer value, and among the plurality of EEG spectrogram images, a correct answer value corresponding to an EEG spectrogram image designated as abnormal is designated as a preset second correct answer value) This stored training data storage unit is maintained.

단계(S320)에서는 상기 훈련 데이터 저장부에 저장되어 있는 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나의 뇌파 스펙트로그램 이미지를 선정하여, 상기 선정된 뇌파 스펙트로그램 이미지와 그에 대응되는 정답 값을 기초로, 비전 트랜스포머 모델을 학습시키는 과정을, 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대해 반복 수행함으로써, 뇌파 스펙트로그램 이미지의 정상 여부를 판별하기 위한 판별 모델을 생성한다.In step S320, one EEG spectrogram image is selected from among the plurality of EEG spectrogram images stored in the training data storage unit, and based on the selected EEG spectrogram image and the correct answer value corresponding thereto, , By repeatedly performing the process of learning the vision transformer model for each of the plurality of EEG spectrogram images, a discrimination model for determining whether the EEG spectrogram image is normal is generated.

단계(S330)에서는 상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행한다.In step S330, after the learning of the vision transformer model is completed, when a command for determining normality is applied while a first actual EEG spectrogram image is applied as an input by the user, the vision transformer model learning is completed. Based on an output value calculated when the first real brain wave spectrogram image is applied as an input to , whether the first real brain wave spectrogram image is normal is determined.

이때, 본 발명의 일실시예에 따르면, 단계(S320)에서는 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나인 제1 뇌파 스펙트로그램 이미지가 선정됨에 따라, 상기 제1 뇌파 스펙트로그램 이미지에 대한 학습 과정이 수행되어야 하는 순서가 되는 경우, 상기 제1 뇌파 스펙트로그램 이미지를, 사전 설정된 가로/세로 길이를 갖는 이미지 패치 단위로 분할하여, 복수의 제1 이미지 패치들을 생성하는 단계, 상기 복수의 제1 이미지 패치들 각각에 대한 임베딩 벡터와, 정답 예측에 사용하기 위한 클래스 토큰을 생성하고, 상기 클래스 토큰과 상기 복수의 제1 이미지 패치들 각각에 대한 임베딩 벡터가 순차적으로 나열된 형태를 갖도록 하기 위한 포지셔널 임베딩을 수행함으로써 제1 임베딩 입력을 생성한 후, 상기 제1 임베딩 입력을, 상기 비전 트랜스포머 모델을 구성하는 트랜스포머 인코더에 입력으로 인가하여, 제1 인코더 출력을 산출하는 단계 및 상기 제1 인코더 출력으로부터, 상기 클래스 토큰과 대응되는 부분의 출력만을 분리 추출하여 다층 퍼셉트론에 입력으로 인가함으로써 예측 값을 산출한 후, 상기 훈련 데이터 저장부에 저장되어 있는 상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차가 최소가 되도록 학습을 수행하는 단계를 포함할 수 있다.At this time, according to one embodiment of the present invention, in step S320, as the first EEG spectrogram image, which is one of the plurality of EEG spectrogram images, is selected, the learning process for the first EEG spectrogram image generating a plurality of first image patches by dividing the first EEG spectrogram image into image patch units having preset horizontal/vertical lengths, when this is an order to be performed; Positional embedding for generating an embedding vector for each patch and a class token for use in predicting an answer, and having the class token and the embedding vector for each of the plurality of first image patches sequentially arranged. After generating a first embedding input by performing, applying the first embedding input as an input to a transformer encoder constituting the vision transformer model to calculate a first encoder output, and from the first encoder output, After calculating the predicted value by separately extracting only the output of the part corresponding to the class token and applying it as an input to the multilayer perceptron, the correct answer value corresponding to the first EEG spectrogram image stored in the training data storage unit and the A step of performing learning so that an error between predicted values is minimized may be included.

이때, 본 발명의 일실시예에 따르면, 상기 학습을 수행하는 단계는 상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차를 표상하는 손실 값을 산출하기 위한 사전 지정된 손실 함수를 이용하여, 상기 손실 값을 산출한 후, 상기 손실 값이 최소가 되도록 역전파 처리를 수행할 수 있다.At this time, according to an embodiment of the present invention, the step of performing the learning is a pre-specified loss function for calculating a loss value representing an error between the correct value corresponding to the first EEG spectrogram image and the predicted value. After calculating the loss value, backpropagation may be performed to minimize the loss value.

또한, 본 발명의 일실시예에 따르면, 단계(S330)에서는 상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을, 상기 제1 정답 값 및 상기 제2 정답 값과 비교하여, 상기 출력 값이 상기 제1 정답 값에 근접한 값으로 확인되는 경우, 상기 제1 실제 뇌파 스펙트로그램 이미지가 정상에 해당되는 뇌파 스펙트로그램 이미지인 것으로 판별하고, 상기 출력 값이 상기 제2 정답 값에 근접한 값으로 확인되는 경우, 상기 제1 실제 뇌파 스펙트로그램 이미지가 비정상에 해당되는 뇌파 스펙트로그램 이미지인 것으로 판별할 수 있다.In addition, according to one embodiment of the present invention, in step S330, after the learning of the vision transformer model is completed, the user applies the first real EEG spectrogram image as an input, and determines whether it is normal. When a command is applied, an output value calculated when the first real EEG spectrogram image is applied as an input to the vision transformer model on which learning is completed is compared with the first correct value and the second correct value, and the output value is If the value is confirmed as a value close to the first correct answer value, it is determined that the first actual EEG spectrogram image is a normal EEG spectrogram image, and the output value is a value close to the second correct answer value. If confirmed, it may be determined that the first actual EEG spectrogram image is an EEG spectrogram image corresponding to abnormality.

이때, 본 발명의 일실시예에 따르면, 상기 전자 장치의 동작 방법은, 단계(S330)을 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지가, 학습이 완료된 상기 비전 트랜스포머 모델에 입력으로 인가됨에 따라, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 상기 이미지 패치 단위로의 분할이 수행된 결과, 복수의 제2 이미지 패치들이 생성되었다고 하는 경우, 단계(S330)을 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부의 판별이 완료되면, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부의 판별이 수행되는 과정에서 상기 트랜스포머 인코더를 통해 산출된, 상기 클래스 토큰을 쿼리로 하였을 경우에 대한, 상기 복수의 제2 이미지 패치들과의 셀프 어텐션 값을 확인하여, 상기 복수의 제2 이미지 패치들 중, 상기 셀프 어텐션 값이 최대인 제1 이미지 패치를 선택하는 단계 및 상기 제1 실제 뇌파 스펙트로그램 이미지에서, 상기 제1 이미지 패치가 위치하는 지점을, 상기 제1 실제 뇌파 스펙트로그램 이미지에서의 관심 영역 정보로서 추출하여, 화면 상에 표시하는 단계를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, in the operating method of the electronic device, as the first real EEG spectrogram image is applied as an input to the vision transformer model for which learning has been completed, through step S330, When it is assumed that a plurality of second image patches are generated as a result of dividing the first real brain wave spectrogram image into image patch units, through step S330, the first real brain wave spectrogram image When the determination of normality is completed, in the process of determining whether the first real EEG spectrogram image is normal, the class token calculated through the transformer encoder is used as a query, the plurality of first Checking a self-attention value with two image patches and selecting a first image patch having the maximum self-attention value among the plurality of second image patches, and in the first real EEG spectrogram image, the The method may further include extracting a point where a first image patch is located as ROI information from the first real EEG spectrogram image, and displaying the extracted point on a screen.

또한, 본 발명의 일실시예에 따르면, 단계(S330)에서는 학습이 완료된 상기 비전 트랜스포머 모델을 이용할 수 있는 사용자임을 인증하기 위한, 사전 발급된 인증용 해시 값(상기 인증용 해시 값은, 사용자에 대해 사전 발급된 p(p는 2이상의 자연수임)자리수의 제1 인증번호를 구성하는 p개의 숫자들 각각에 대해 모듈로-2 연산이 수행된 연산 결과가, 사전 설정된 해시 함수에 입력으로 인가되어 생성된 해시 값임)이 저장되어 있는 해시 값 저장부를 유지하는 단계, 상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부 판별을 수행하기 전에, 사용자 인증을 수행하기 위한 인증 이벤트를 발생시키는 단계, 상기 인증 이벤트가 발생되면, 화면 상에, 사용자 인증을 위한 인증번호를 입력할 것을 지시하는 메시지를 표시한 후, 사용자에 의해, 상기 제1 인증번호가 입력되면, 상기 제1 인증번호를 구성하는 p개의 숫자들 각각에 대해 모듈로-2 연산을 수행하였을 때의 연산 결과를, 상기 해시 함수에 입력으로 인가하여 제1 해시 값을 생성하고, 상기 제1 해시 값이 상기 인증용 해시 값과 일치하는지 확인하여, 양 해시 값이 서로 일치하는 것으로 확인되면, 사용자 인증을 완료 처리하는 단계 및 사용자 인증이 완료 처리되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행하는 단계를 포함할 수 있다.In addition, according to one embodiment of the present invention, in step S330, a pre-issued authentication hash value (the authentication hash value is The operation result of performing the modulo-2 operation on each of the p numbers constituting the first authentication number of p (p is a natural number of 2 or more) pre-issued for is applied as an input to a preset hash function, Maintaining a hash value storage unit in which a generated hash value) is stored, after learning of the vision transformer model is completed, while the first real EEG spectrogram image is applied as an input by a user, whether or not it is normal When a determination command is applied, generating an authentication event to perform user authentication before determining whether the first real EEG spectrogram image is normal, and when the authentication event occurs, user authentication is displayed on the screen. After displaying a message instructing to input an authentication number for , when the first authentication number is input by the user, a modulo-2 operation is performed for each of the p numbers constituting the first authentication number. A first hash value is generated by applying the result of the operation when it is performed as an input to the hash function, and it is checked whether the first hash value matches the hash value for authentication, and it is confirmed that both hash values match each other. When the user authentication is completed and the user authentication is completed, based on an output value calculated when the first real EEG spectrogram image is applied as an input to the vision transformer model for which learning has been completed, the first A step of determining whether the actual EEG spectrogram image is normal may be included.

이상, 도 3을 참조하여 본 발명의 일실시예에 따른 전자 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 전자 장치의 동작 방법은 도 2를 이용하여 설명한 전자 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.In the above, the operating method of the electronic device according to an embodiment of the present invention has been described with reference to FIG. 3 . Here, since the operating method of the electronic device according to an embodiment of the present invention may correspond to the configuration of the operation of the electronic device 110 described with reference to FIG. 2 , a detailed description thereof will be omitted.

본 발명의 일실시예에 따른 전자 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.A method of operating an electronic device according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution through a combination with a computer.

또한, 본 발명의 일실시예에 따른 전자 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the operating method of an electronic device according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by specific details such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , Those skilled in the art in the field to which the present invention belongs can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and it will be said that not only the claims to be described later, but also all modifications equivalent or equivalent to these claims belong to the scope of the present invention. .

110: 전자 장치
111: 훈련 데이터 저장부 112: 모델 생성부
113: 판별부 114: 생성부
115: 인코더 출력부 116: 학습 수행부
117: 선택부 118: 관심 정보 표시부
119: 해시 값 저장부 120: 인증 이벤트 발생부
121: 인증 완료부 122: 수행 처리부110: electronic device
111: training data storage unit 112: model generation unit
113: determination unit 114: generation unit
115: encoder output unit 116: learning execution unit
117: selection unit 118: interest information display unit
119: hash value storage unit 120: authentication event generating unit
121: authentication completion unit 122: execution processing unit

Claims (14)

비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치에 있어서,
사전 수집된 복수의 뇌파 스펙트로그램 이미지들과 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대응되는 정답 값이 저장되어 있는 훈련 데이터 저장부; - 여기서, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제1 정답 값으로 지정되어 있고, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 비정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제2 정답 값으로 지정되어 있음 -
상기 훈련 데이터 저장부에 저장되어 있는 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나의 뇌파 스펙트로그램 이미지를 선정하여, 상기 선정된 뇌파 스펙트로그램 이미지와 그에 대응되는 정답 값을 기초로, 비전 트랜스포머(Vision Transformer) 모델을 학습시키는 과정을, 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대해 반복 수행함으로써, 뇌파 스펙트로그램 이미지의 정상 여부를 판별하기 위한 판별 모델을 생성하는 모델 생성부; 및
상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행하는 판별부
를 포함하고,
상기 모델 생성부는
상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나인 제1 뇌파 스펙트로그램 이미지가 선정됨에 따라, 상기 제1 뇌파 스펙트로그램 이미지에 대한 학습 과정이 수행되어야 하는 순서가 되는 경우, 상기 제1 뇌파 스펙트로그램 이미지를, 사전 설정된 가로/세로 길이를 갖는 이미지 패치 단위로 분할하여, 복수의 제1 이미지 패치들을 생성하는 생성부;
상기 복수의 제1 이미지 패치들 각각에 대한 임베딩 벡터와, 정답 예측에 사용하기 위한 클래스 토큰(token)을 생성하고, 상기 클래스 토큰과 상기 복수의 제1 이미지 패치들 각각에 대한 임베딩 벡터가 순차적으로 나열된 형태를 갖도록 하기 위한 포지셔널 임베딩을 수행함으로써 제1 임베딩 입력을 생성한 후, 상기 제1 임베딩 입력을, 상기 비전 트랜스포머 모델을 구성하는 트랜스포머 인코더에 입력으로 인가하여, 제1 인코더 출력을 산출하는 인코더 출력부; 및
상기 제1 인코더 출력으로부터, 상기 클래스 토큰과 대응되는 부분의 출력만을 분리 추출하여 다층 퍼셉트론(Multi Layer Perceptron: MLP)에 입력으로 인가함으로써 예측 값을 산출한 후, 상기 훈련 데이터 저장부에 저장되어 있는 상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차가 최소가 되도록 학습을 수행하는 학습 수행부
를 포함하고,
이때, 상기 판별부는
상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을, 상기 제1 정답 값 및 상기 제2 정답 값과 비교하여, 상기 제1 정답 값과 상기 출력 값 간의 오차가, 상기 제2 정답 값과 상기 출력 값 간의 오차보다 작은 것으로 확인되는 경우, 상기 제1 실제 뇌파 스펙트로그램 이미지가 정상에 해당되는 뇌파 스펙트로그램 이미지인 것으로 판별하고, 상기 제2 정답 값과 상기 출력 값 간의 오차가, 상기 제1 정답 값과 상기 출력 값 간의 오차보다 작은 것으로 확인되는 경우, 상기 제1 실제 뇌파 스펙트로그램 이미지가 비정상에 해당되는 뇌파 스펙트로그램 이미지인 것으로 판별하는 것을 특징으로 하며,
이때, 상기 전자 장치는
상기 판별부를 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지가, 학습이 완료된 상기 비전 트랜스포머 모델에 입력으로 인가됨에 따라, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 상기 이미지 패치 단위로의 분할이 수행된 결과, 복수의 제2 이미지 패치들이 생성되었다고 하는 경우, 상기 판별부를 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부의 판별이 완료되면, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부의 판별이 수행되는 과정에서 상기 트랜스포머 인코더를 통해 산출된, 상기 클래스 토큰을 쿼리로 하였을 경우에 대한, 상기 복수의 제2 이미지 패치들과의 셀프 어텐션 값을 확인하여, 상기 복수의 제2 이미지 패치들 중, 상기 셀프 어텐션 값이 최대인 제1 이미지 패치를 선택하는 선택부; 및
상기 제1 실제 뇌파 스펙트로그램 이미지에서, 상기 제1 이미지 패치가 위치하는 지점을, 상기 제1 실제 뇌파 스펙트로그램 이미지에서의 관심 영역 정보로서 추출하여, 화면 상에 표시하는 관심 정보 표시부
를 더 포함하는 전자 장치.In an electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model,
a training data storage unit storing a plurality of pre-collected EEG spectrogram images and an answer value corresponding to each of the plurality of EEG spectrogram images; -Here, among the plurality of EEG spectrogram images, a correct answer value corresponding to an EEG spectrogram image designated as normal is designated as a preset first correct answer value, and among the plurality of EEG spectrogram images, it is determined to be abnormal. The correct answer value corresponding to the designated EEG spectrogram image is designated as a preset second correct answer value -
Selecting any one EEG spectrogram image among the plurality of EEG spectrogram images stored in the training data storage unit, and based on the selected EEG spectrogram image and the corresponding correct answer value, a vision transformer (Vision Transformer) model generator for generating a discrimination model for determining whether an EEG spectrogram image is normal by repeatedly performing a process of learning a model for each of the plurality of EEG spectrogram images; and
After learning of the vision transformer model is completed, when a command for determining normality is applied while a first real EEG spectrogram image is applied as an input by a user, the first real EEG spectrogram image is applied to the vision transformer model for which learning has been completed. A determination unit that determines whether the first actual EEG spectrogram image is normal based on an output value calculated when an EEG spectrogram image is applied as an input.
including,
The model generator
As the first EEG spectrogram image, which is one of the plurality of EEG spectrogram images, is selected, when the order of learning the first EEG spectrogram image is to be performed, the first EEG spectrogram image a generation unit dividing the image into image patch units having preset horizontal/vertical lengths to generate a plurality of first image patches;
An embedding vector for each of the plurality of first image patches and a class token for use in predicting an answer are generated, and the class token and the embedding vector for each of the plurality of first image patches are sequentially After generating a first embedding input by performing positional embedding to have a listed form, applying the first embedding input as an input to a transformer encoder constituting the vision transformer model to calculate a first encoder output encoder output; and
From the first encoder output, only the output of the part corresponding to the class token is separated and extracted and applied as an input to a Multi Layer Perceptron (MLP) to calculate a predicted value, and then stored in the training data storage unit A learning performer configured to perform learning such that an error between a correct answer value corresponding to the first EEG spectrogram image and the prediction value is minimized.
including,
At this time, the determination unit
After learning of the vision transformer model is completed, when a command for determining normality is applied while the first actual EEG spectrogram image is applied as an input by the user, the first real EEG spectrogram image is applied to the vision transformer model for which learning has been completed. An output value calculated when an actual EEG spectrogram image is applied as an input is compared with the first correct answer value and the second correct answer value, so that the error between the first correct answer value and the output value is the second correct value If it is confirmed that the first actual EEG spectrogram image is a normal EEG spectrogram image, and the error between the second correct value and the output value is determined to be smaller than the error between the second correct value and the output value, 1 When it is confirmed that the error is smaller than the error between the correct value and the output value, it is characterized in that the first actual EEG spectrogram image is determined to be an EEG spectrogram image corresponding to abnormality,
At this time, the electronic device
As the first real brain wave spectrogram image is applied as an input to the vision transformer model for which learning has been completed through the determining unit, the result of dividing the first real brain wave spectrogram image into image patch units is performed. , When it is assumed that a plurality of second image patches are generated, when the determination of whether the first real EEG spectrogram image is normal is completed through the determination unit, whether the first real EEG spectrogram image is normal is determined. In the process of performing, checking the self-attention value with the plurality of second image patches when the class token calculated through the transformer encoder is used as a query, among the plurality of second image patches, a selection unit that selects a first image patch having the maximum self-attention value; and
An interest information display unit extracting a point where the first image patch is located from the first real brain wave spectrogram image as information on a region of interest in the first real brain wave spectrogram image, and displaying the information on the screen.
An electronic device further comprising a. 삭제delete 제1항에 있어서,
상기 학습 수행부는
상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차를 표상하는 손실 값을 산출하기 위한 사전 지정된 손실 함수를 이용하여, 상기 손실 값을 산출한 후, 상기 손실 값이 최소가 되도록 역전파(Backpropagation) 처리를 수행하는 것을 특징으로 하는 전자 장치.According to claim 1,
The learning execution unit
After calculating the loss value by using a predetermined loss function for calculating a loss value representing the error between the correct value corresponding to the first EEG spectrogram image and the predicted value, the loss value is minimized An electronic device characterized by performing Backpropagation processing. 삭제delete 삭제delete 제1항에 있어서,
상기 판별부는
학습이 완료된 상기 비전 트랜스포머 모델을 이용할 수 있는 사용자임을 인증하기 위한, 사전 발급된 인증용 해시 값이 저장되어 있는 해시 값 저장부; - 여기서, 상기 인증용 해시 값은, 사용자에 대해 사전 발급된 p(p는 2이상의 자연수임)자리수의 제1 인증번호를 구성하는 p개의 숫자들 각각에 대해 모듈로(modulo)-2 연산이 수행된 연산 결과가, 사전 설정된 해시 함수에 입력으로 인가되어 생성된 해시 값임 -
상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부 판별을 수행하기 전에, 사용자 인증을 수행하기 위한 인증 이벤트를 발생시키는 인증 이벤트 발생부;
상기 인증 이벤트가 발생되면, 화면 상에, 사용자 인증을 위한 인증번호를 입력할 것을 지시하는 메시지를 표시한 후, 사용자에 의해, 상기 제1 인증번호가 입력되면, 상기 제1 인증번호를 구성하는 p개의 숫자들 각각에 대해 모듈로-2 연산을 수행하였을 때의 연산 결과를, 상기 해시 함수에 입력으로 인가하여 제1 해시 값을 생성하고, 상기 제1 해시 값이 상기 인증용 해시 값과 일치하는지 확인하여, 양 해시 값이 서로 일치하는 것으로 확인되면, 사용자 인증을 완료 처리하는 인증 완료부; 및
사용자 인증이 완료 처리되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행하는 수행 처리부
를 포함하는 전자 장치.According to claim 1,
The determination unit
a hash value storage unit storing a pre-issued authentication hash value for authenticating that a user can use the vision transformer model for which learning has been completed; - Here, the authentication hash value is a modulo-2 operation for each of the p numbers constituting the first authentication number of p (p is a natural number of 2 or more) previously issued to the user. The result of the operation performed is a hash value generated by being applied as an input to a preset hash function -
After the learning of the vision transformer model is completed, when the first real EEG spectrogram image is applied as an input by the user and a command for determining whether it is normal is applied, the first real EEG spectrogram image is normal. an authentication event generating unit generating an authentication event for performing user authentication before determining whether or not to perform authentication;
When the authentication event occurs, a message instructing input of an authentication number for user authentication is displayed on the screen, and then, when the first authentication number is input by the user, constituting the first authentication number An operation result obtained by performing a modulo-2 operation on each of the p numbers is applied as an input to the hash function to generate a first hash value, and the first hash value matches the hash value for authentication. If it is confirmed that both hash values match each other, an authentication completion unit for completing user authentication; and
When the user authentication is complete, based on the output value calculated when the first real EEG spectrogram image is applied as an input to the vision transformer model for which learning has been completed, whether the first real EEG spectrogram image is normal or not is determined. Execution processing unit that performs the determination
An electronic device comprising a. 비전 트랜스포머 모델에 기초하여 뇌파 스펙트로그램 이미지에 대한 정상 여부 판단을 수행하는 전자 장치에 의해서 수행되는 동작 방법에 있어서,
사전 수집된 복수의 뇌파 스펙트로그램 이미지들과 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대응되는 정답 값이 저장되어 있는 훈련 데이터 저장부를 유지하는 단계; - 여기서, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제1 정답 값으로 지정되어 있고, 상기 복수의 뇌파 스펙트로그램 이미지들 중, 비정상인 것으로 지정된 뇌파 스펙트로그램 이미지에 대응되는 정답 값은 사전 설정된 제2 정답 값으로 지정되어 있음 -
상기 훈련 데이터 저장부에 저장되어 있는 상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나의 뇌파 스펙트로그램 이미지를 선정하여, 상기 선정된 뇌파 스펙트로그램 이미지와 그에 대응되는 정답 값을 기초로, 비전 트랜스포머(Vision Transformer) 모델을 학습시키는 과정을, 상기 복수의 뇌파 스펙트로그램 이미지들 각각에 대해 반복 수행함으로써, 뇌파 스펙트로그램 이미지의 정상 여부를 판별하기 위한 판별 모델을 생성하는 단계; 및
상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행하는 단계
를 포함하고,
상기 판별 모델을 생성하는 단계는
상기 복수의 뇌파 스펙트로그램 이미지들 중 어느 하나인 제1 뇌파 스펙트로그램 이미지가 선정됨에 따라, 상기 제1 뇌파 스펙트로그램 이미지에 대한 학습 과정이 수행되어야 하는 순서가 되는 경우, 상기 제1 뇌파 스펙트로그램 이미지를, 사전 설정된 가로/세로 길이를 갖는 이미지 패치 단위로 분할하여, 복수의 제1 이미지 패치들을 생성하는 단계;
상기 복수의 제1 이미지 패치들 각각에 대한 임베딩 벡터와, 정답 예측에 사용하기 위한 클래스 토큰(token)을 생성하고, 상기 클래스 토큰과 상기 복수의 제1 이미지 패치들 각각에 대한 임베딩 벡터가 순차적으로 나열된 형태를 갖도록 하기 위한 포지셔널 임베딩을 수행함으로써 제1 임베딩 입력을 생성한 후, 상기 제1 임베딩 입력을, 상기 비전 트랜스포머 모델을 구성하는 트랜스포머 인코더에 입력으로 인가하여, 제1 인코더 출력을 산출하는 단계; 및
상기 제1 인코더 출력으로부터, 상기 클래스 토큰과 대응되는 부분의 출력만을 분리 추출하여 다층 퍼셉트론(Multi Layer Perceptron: MLP)에 입력으로 인가함으로써 예측 값을 산출한 후, 상기 훈련 데이터 저장부에 저장되어 있는 상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차가 최소가 되도록 학습을 수행하는 단계
를 포함하고,
이때, 상기 판별을 수행하는 단계는
상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을, 상기 제1 정답 값 및 상기 제2 정답 값과 비교하여, 상기 제1 정답 값과 상기 출력 값 간의 오차가, 상기 제2 정답 값과 상기 출력 값 간의 오차보다 작은 것으로 확인되는 경우, 상기 제1 실제 뇌파 스펙트로그램 이미지가 정상에 해당되는 뇌파 스펙트로그램 이미지인 것으로 판별하고, 상기 제2 정답 값과 상기 출력 값 간의 오차가, 상기 제1 정답 값과 상기 출력 값 간의 오차보다 작은 것으로 확인되는 경우, 상기 제1 실제 뇌파 스펙트로그램 이미지가 비정상에 해당되는 뇌파 스펙트로그램 이미지인 것으로 판별하는 것을 특징으로 하며,
이때, 상기 전자 장치에 의해서 수행되는 동작 방법은
상기 판별을 수행하는 단계를 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지가, 학습이 완료된 상기 비전 트랜스포머 모델에 입력으로 인가됨에 따라, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 상기 이미지 패치 단위로의 분할이 수행된 결과, 복수의 제2 이미지 패치들이 생성되었다고 하는 경우, 상기 판별을 수행하는 단계를 통해, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부의 판별이 완료되면, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부의 판별이 수행되는 과정에서 상기 트랜스포머 인코더를 통해 산출된, 상기 클래스 토큰을 쿼리로 하였을 경우에 대한, 상기 복수의 제2 이미지 패치들과의 셀프 어텐션 값을 확인하여, 상기 복수의 제2 이미지 패치들 중, 상기 셀프 어텐션 값이 최대인 제1 이미지 패치를 선택하는 단계; 및
상기 제1 실제 뇌파 스펙트로그램 이미지에서, 상기 제1 이미지 패치가 위치하는 지점을, 상기 제1 실제 뇌파 스펙트로그램 이미지에서의 관심 영역 정보로서 추출하여, 화면 상에 표시하는 단계
를 더 포함하는 전자 장치에 의해서 수행되는 동작 방법.An operation method performed by an electronic device that determines whether an EEG spectrogram image is normal based on a vision transformer model,
maintaining a training data storage unit in which a plurality of pre-collected brain wave spectrogram images and an answer value corresponding to each of the plurality of brain wave spectrogram images are stored; -Here, among the plurality of EEG spectrogram images, a correct answer value corresponding to an EEG spectrogram image designated as normal is designated as a preset first correct answer value, and among the plurality of EEG spectrogram images, it is determined to be abnormal. The correct answer value corresponding to the designated EEG spectrogram image is designated as a preset second correct answer value -
Selecting any one EEG spectrogram image among the plurality of EEG spectrogram images stored in the training data storage unit, and based on the selected EEG spectrogram image and the corresponding correct answer value, a vision transformer (Vision generating a discrimination model for determining whether an EEG spectrogram image is normal by repeatedly performing a process of learning a Transformer) model for each of the plurality of EEG spectrogram images; and
After learning of the vision transformer model is completed, when a command for determining normality is applied while a first real EEG spectrogram image is applied as an input by a user, the first real EEG spectrogram image is applied to the vision transformer model for which learning has been completed. Determining whether the first real EEG spectrogram image is normal based on an output value calculated when an EEG spectrogram image is applied as an input;
including,
The step of generating the discrimination model is
As the first EEG spectrogram image, which is one of the plurality of EEG spectrogram images, is selected, when the order of learning the first EEG spectrogram image is to be performed, the first EEG spectrogram image generating a plurality of first image patches by dividing ? into image patch units having preset horizontal/vertical lengths;
An embedding vector for each of the plurality of first image patches and a class token for use in predicting an answer are generated, and the class token and the embedding vector for each of the plurality of first image patches are sequentially After generating a first embedding input by performing positional embedding to have a listed form, applying the first embedding input as an input to a transformer encoder constituting the vision transformer model to calculate a first encoder output step; and
From the first encoder output, only the output of the part corresponding to the class token is separated and extracted and applied as an input to a Multi Layer Perceptron (MLP) to calculate a predicted value, and then stored in the training data storage unit Performing learning such that an error between a correct answer value corresponding to the first EEG spectrogram image and the prediction value is minimized.
including,
At this time, the step of performing the determination
After learning of the vision transformer model is completed, when a command for determining normality is applied while the first actual EEG spectrogram image is applied as an input by the user, the first real EEG spectrogram image is applied to the vision transformer model for which learning has been completed. An output value calculated when an actual EEG spectrogram image is applied as an input is compared with the first correct answer value and the second correct answer value, so that the error between the first correct answer value and the output value is the second correct value If it is confirmed that the first actual EEG spectrogram image is a normal EEG spectrogram image, and the error between the second correct value and the output value is determined to be smaller than the error between the second correct value and the output value, 1 When it is confirmed that the error is smaller than the error between the correct value and the output value, it is characterized in that the first actual EEG spectrogram image is determined to be an EEG spectrogram image corresponding to abnormality,
At this time, the operation method performed by the electronic device is
Through the step of performing the determination, as the first real brain wave spectrogram image is applied as an input to the vision transformer model for which learning has been completed, the first real brain wave spectrogram image is divided into image patch units. As a result of this, if it is assumed that a plurality of second image patches are generated, through the step of performing the determination, if the determination of whether the first real EEG spectrogram image is normal is completed, the first real EEG spectrogram In the process of determining whether an image is normal or not, checking the self-attention value with the plurality of second image patches when the class token, calculated through the transformer encoder, is used as a query, selecting a first image patch having the largest self-attention value from among second image patches of ; and
Extracting a point where the first image patch is located from the first real brain wave spectrogram image as region of interest information in the first real brain wave spectrogram image, and displaying it on a screen
An operating method performed by an electronic device further comprising a. 삭제delete 제7항에 있어서,
상기 학습을 수행하는 단계는
상기 제1 뇌파 스펙트로그램 이미지에 대응되는 정답 값과 상기 예측 값 간의 오차를 표상하는 손실 값을 산출하기 위한 사전 지정된 손실 함수를 이용하여, 상기 손실 값을 산출한 후, 상기 손실 값이 최소가 되도록 역전파(Backpropagation) 처리를 수행하는 것을 특징으로 하는 전자 장치에 의해서 수행되는 동작 방법.According to claim 7,
The learning step is
After calculating the loss value by using a predetermined loss function for calculating a loss value representing the error between the correct value corresponding to the first EEG spectrogram image and the predicted value, the loss value is minimized An operating method performed by an electronic device, characterized in that it performs a backpropagation process. 삭제delete 삭제delete 제7항에 있어서,
상기 판별을 수행하는 단계는
학습이 완료된 상기 비전 트랜스포머 모델을 이용할 수 있는 사용자임을 인증하기 위한, 사전 발급된 인증용 해시 값이 저장되어 있는 해시 값 저장부를 유지하는 단계; - 여기서, 상기 인증용 해시 값은, 사용자에 대해 사전 발급된 p(p는 2이상의 자연수임)자리수의 제1 인증번호를 구성하는 p개의 숫자들 각각에 대해 모듈로(modulo)-2 연산이 수행된 연산 결과가, 사전 설정된 해시 함수에 입력으로 인가되어 생성된 해시 값임 -
상기 비전 트랜스포머 모델에 대한 학습이 완료된 이후에, 사용자에 의해, 상기 제1 실제 뇌파 스펙트로그램 이미지가 입력으로 인가되면서, 정상 여부의 판별 명령이 인가되면, 상기 제1 실제 뇌파 스펙트로그램 이미지에 대한 정상 여부 판별을 수행하기 전에, 사용자 인증을 수행하기 위한 인증 이벤트를 발생시키는 단계;
상기 인증 이벤트가 발생되면, 화면 상에, 사용자 인증을 위한 인증번호를 입력할 것을 지시하는 메시지를 표시한 후, 사용자에 의해, 상기 제1 인증번호가 입력되면, 상기 제1 인증번호를 구성하는 p개의 숫자들 각각에 대해 모듈로-2 연산을 수행하였을 때의 연산 결과를, 상기 해시 함수에 입력으로 인가하여 제1 해시 값을 생성하고, 상기 제1 해시 값이 상기 인증용 해시 값과 일치하는지 확인하여, 양 해시 값이 서로 일치하는 것으로 확인되면, 사용자 인증을 완료 처리하는 단계; 및
사용자 인증이 완료 처리되면, 학습이 완료된 상기 비전 트랜스포머 모델에 상기 제1 실제 뇌파 스펙트로그램 이미지를 입력으로 인가하였을 때 산출되는 출력 값을 기초로, 상기 제1 실제 뇌파 스펙트로그램 이미지의 정상 여부에 대한 판별을 수행하는 단계
를 포함하는 전자 장치의 의해서 수행되는 동작 방법.According to claim 7,
The step of making the determination is
maintaining a hash value storage unit in which a pre-issued hash value for authentication is stored for authenticating that a user can use the vision transformer model for which learning has been completed; - Here, the authentication hash value is a modulo-2 operation for each of the p numbers constituting the first authentication number of p (p is a natural number of 2 or more) previously issued to the user. The result of the operation performed is a hash value generated by being applied as an input to a preset hash function -
After the learning of the vision transformer model is completed, when the first real EEG spectrogram image is applied as an input by the user and a command for determining whether it is normal is applied, the first real EEG spectrogram image is normal. Generating an authentication event for performing user authentication before performing the determination;
When the authentication event occurs, a message instructing input of an authentication number for user authentication is displayed on the screen, and then, when the first authentication number is input by the user, constituting the first authentication number An operation result obtained by performing a modulo-2 operation on each of the p numbers is applied as an input to the hash function to generate a first hash value, and the first hash value matches the hash value for authentication. confirming that both hash values match each other, completing user authentication; and
When the user authentication is complete, based on the output value calculated when the first real EEG spectrogram image is applied as an input to the vision transformer model for which learning has been completed, whether the first real EEG spectrogram image is normal or not is determined. steps to determine
An operation method performed by an electronic device comprising a. 제7항, 제9항 또는 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium recording a computer program for executing the method of any one of claims 7, 9 or 12 through a combination with a computer. 제7항, 제9항 또는 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.A computer program stored in a storage medium for executing the method of any one of claims 7, 9 or 12 through a combination with a computer.
KR1020230015354A 2023-02-06 2023-02-06 Electronic apparatus that determines whether an eeg spectrogram image is normal based on a vision transformer model and the operating method thereof KR102555139B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230015354A KR102555139B1 (en) 2023-02-06 2023-02-06 Electronic apparatus that determines whether an eeg spectrogram image is normal based on a vision transformer model and the operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230015354A KR102555139B1 (en) 2023-02-06 2023-02-06 Electronic apparatus that determines whether an eeg spectrogram image is normal based on a vision transformer model and the operating method thereof

Publications (1)

Publication Number Publication Date
KR102555139B1 true KR102555139B1 (en) 2023-07-12

Family

ID=87163785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230015354A KR102555139B1 (en) 2023-02-06 2023-02-06 Electronic apparatus that determines whether an eeg spectrogram image is normal based on a vision transformer model and the operating method thereof

Country Status (1)

Country Link
KR (1) KR102555139B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102285546B1 (en) * 2021-01-13 2021-08-03 한밭대학교 산학협력단 Deep learning-based eeg feature normalization system and method
KR102294131B1 (en) * 2020-12-28 2021-08-27 주식회사 라젠 Multiple Control System Using EEG Measurement and Analysis Based on Artificial Intelligence
KR102423483B1 (en) * 2022-02-21 2022-07-21 가천대학교 산학협력단 An artificial intelligence system that provides predictive information on depression based on EEG data
KR102461647B1 (en) * 2022-02-21 2022-11-01 가천대학교 산학협력단 An artificial intelligence system that provides medical type information on an EEG test report and its implementation method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102294131B1 (en) * 2020-12-28 2021-08-27 주식회사 라젠 Multiple Control System Using EEG Measurement and Analysis Based on Artificial Intelligence
KR102285546B1 (en) * 2021-01-13 2021-08-03 한밭대학교 산학협력단 Deep learning-based eeg feature normalization system and method
KR102423483B1 (en) * 2022-02-21 2022-07-21 가천대학교 산학협력단 An artificial intelligence system that provides predictive information on depression based on EEG data
KR102461647B1 (en) * 2022-02-21 2022-11-01 가천대학교 산학협력단 An artificial intelligence system that provides medical type information on an EEG test report and its implementation method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Alexey Dosovitskiy et al., "AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", In ICLR, 2021.
Ashish Vaswani et al., "Attention Is All You Need", In NIPS, 2017.
Hussein R, etc., Multi-Channel Vision Transformer for Epileptic Seizure Prediction. Biomedicines. 10, 1551, pp.1~17 (2022.06.29.)* *
Zhang X, Li H, Patient-Specific Seizure prediction from Scalp EEG Using Vision Transformer. 2022 IEEE 6th Information Technology and Mechatronics Engineering Conference(ITOEC). pp.1663~1667 (2022)* *

Similar Documents

Publication Publication Date Title
CN111813399B (en) Machine learning-based auditing rule processing method and device and computer equipment
CN110135406A (en) Image-recognizing method, device, computer equipment and storage medium
KR20220031695A (en) Image recognition method and related devices and devices
KR102128059B1 (en) Electronic apparatus recommending optimal financial products through machine learning based on customer's information and purchase history of financial products
CN109259784A (en) AI prediction technique, device, equipment and the storage medium of cerebral infarction
Mangaokar et al. Jekyll: Attacking medical image diagnostics using deep generative models
CN109509088A (en) Loan checking method, device, equipment and medium based on micro- Expression Recognition
CN116113356A (en) Method and device for determining user dementia degree
WO2023185605A1 (en) Method, system and device for optimizing mra accelerated image, and device and storage medium
KR102555139B1 (en) Electronic apparatus that determines whether an eeg spectrogram image is normal based on a vision transformer model and the operating method thereof
Al-Khasawneh et al. Alzheimer’s Disease Diagnosis Using MRI Images
CN113762117B (en) Training method of image processing model, image processing model and computer equipment
JP6744175B2 (en) Medical image display device and interpretation report creation support device
US10008206B2 (en) Verifying a user
Wu et al. Voice2mesh: Cross-modal 3d face model generation from voices
CN109003190B (en) Nuclear protection method, computer readable storage medium and terminal equipment
Sui et al. Perceptual Quality Assessment of 360$^\circ $ Images Based on Generative Scanpath Representation
CN113539519A (en) Video inquiry method and server
CN110457881A (en) Management method, managing device, terminal and storage medium
Sarcar Ability-based optimization: Design and evaluation of touchscreen keyboards for older adults with dyslexia
Hanif et al. Upper airway classification in sleep endoscopy examinations using convolutional recurrent neural networks
KR20210010769A (en) Method and apparatus for identifying anomaly area of image using encoder
Harasimiuk et al. Usability study of various biometric techniques in bank branches
CN112948799B (en) Verification method of graphic verification code and related device thereof
JP7344501B1 (en) Program, method, information processing device, system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant