WO2024135885A1 - Artificial intelligence-based biometric data quality evaluation method, device, and computer program for securing quality-verified biometric data - Google Patents

Artificial intelligence-based biometric data quality evaluation method, device, and computer program for securing quality-verified biometric data Download PDF

Info

Publication number
WO2024135885A1
WO2024135885A1 PCT/KR2022/021024 KR2022021024W WO2024135885A1 WO 2024135885 A1 WO2024135885 A1 WO 2024135885A1 KR 2022021024 W KR2022021024 W KR 2022021024W WO 2024135885 A1 WO2024135885 A1 WO 2024135885A1
Authority
WO
WIPO (PCT)
Prior art keywords
biometric data
artificial intelligence
noise
peak
evaluation method
Prior art date
Application number
PCT/KR2022/021024
Other languages
French (fr)
Korean (ko)
Inventor
김태형
박욱업
Original Assignee
주식회사 아이메디신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220180533A external-priority patent/KR20240098608A/en
Application filed by 주식회사 아이메디신 filed Critical 주식회사 아이메디신
Publication of WO2024135885A1 publication Critical patent/WO2024135885A1/en

Links

Images

Definitions

  • Various embodiments of the present invention relate to an artificial intelligence-based biometric data quality evaluation method, device, and computer program for securing quality-verified biometric data.
  • biometric data measurement devices to periodically measure a patient's biometric data such as blood pressure, pulse, body temperature, electrocardiogram, oxygen saturation, and brain waves, and the medical staff directly checks the periodically measured biometric data. and reading to understand the patient's condition or diagnose a disease.
  • biometric data such as blood pressure, pulse, body temperature, electrocardiogram, oxygen saturation, and brain waves
  • various technologies have been developed in the medical field to analyze the patient's biometric data, and these technologies are used to analyze the patient's biometric data. Through analysis, an environment has been created that can more easily and accurately determine whether a patient's health status or disease is present.
  • biometric data analysis technology implemented in the form of a computer program
  • a minimum amount of biometric data e.g., 5 minutes of biometric data
  • human error is likely to occur because it is still performed directly by humans, and as a result, biometric data may not be measured properly or unnecessary noise may be included in the measured biometric data.
  • the problem to be solved by the present invention is to solve the above-described conventional problems by evaluating the quality of biometric data collected from patients using a pre-learned artificial intelligence model to determine whether the biometric data contains noise. It provides an artificial intelligence-based biometric data quality evaluation method, device, and computer program to secure quality-verified biometric data that can determine and thereby secure normal biometric data without noise.
  • An artificial intelligence-based biometric data quality evaluation method to solve the above-described problem is an artificial intelligence-based biometric data quality evaluation method performed by a computing device, which includes obtaining the subject's biometric data. It may include evaluating the quality of the acquired biometric data using steps and a previously learned artificial intelligence model.
  • the pre-trained artificial intelligence model is a model that reduces the dimension of the acquired biometric data and evaluates the quality of the acquired biometric data depending on whether noise is detected from the dimensionally reduced biometric data. It can be.
  • the pre-trained artificial intelligence model includes an encoder including one or more dimension reduction layers and a decoder including one or more dimension restoration layers, and uses a plurality of biometric data without noise as learning data. and an auto-encoder learned based on unsupervised learning, wherein the step of evaluating the quality of the acquired biometric data includes preprocessing the acquired biometric data, and processing the preprocessed biometric data into the encoder. It may include generating low-dimensional biometric data as input and detecting noise by analyzing the generated low-dimensional biometric data.
  • the step of preprocessing the acquired biometric data includes a first biometric data value at a first time point included in the acquired biometric data and second biometric data at a second time point before the first time point. If the difference between the values and the first biometric data value and the third biometric data value at a third time point after the first time point is greater than or equal to a threshold value, initializing the first biometric data value and the second biometric data value It may include interpolating the initialized first biometric data value using the data value and the third biometric data value.
  • the acquired biometric data is connected to first unit biometric data and the first unit biometric data measured over a predetermined period from a first point in time, and after measurement of the first unit biometric data is completed. It includes second unit biometric data measured over a predetermined period from a second time point after a predetermined time, and preprocessing the obtained biometric data includes the last biometric data value of the first unit biometric data and the second unit biometric data. calculating a difference between the first biometric data values of the unit biometric data; and when the calculated difference is greater than or equal to the threshold, the first biometric data of the second unit biometric data based on the last biometric data value of the first unit biometric data. It may include correcting a value and interpolating the first biometric data of the corrected second unit biometric data and the first biometric data value included in the second biometric data.
  • the acquired biometric data includes photoplethysmogram (PPG) data collected in real time from the subject, and preprocessing the acquired biometric data includes a plurality of photoplethysmograms included in the photoplethysmographic data. Identifying a peak, calculating a plurality of peak prominences corresponding to each of the identified plurality of peaks, and generating a peak prominence histogram using the calculated plurality of peak prominences.
  • PPG photoplethysmogram
  • the step of detecting noise includes clustering a plurality of biometric data values included in the generated low-dimensional biometric data and based on a result of clustering the plurality of biometric data values, the obtained It may include a step of determining whether the biometric data contains noise.
  • generating a plurality of biometric data sections by dividing the acquired biometric data - the acquired biometric data includes photoplethysmographic data collected in real time from the subject - into preset time units. , calculating a peak saliency corresponding to each of the plurality of generated biometric data sections using biometric data values included in each of the plurality of generated biometric data sections, and selecting one of the plurality of generated biometric data sections. If the peak saliency calculated for one biometric data section is less than a threshold value, the method may further include determining that noise is included in the one biometric data section.
  • the step of determining that noise is included in any one biometric data section includes, when it is determined that noise is included in any one biometric data section, dividing the one biometric data section into a plurality of Dividing into unit sections and calculating a peak saliency for each of the plurality of divided unit sections, and dividing at least one unit section in which the calculated peak saliency is less than a threshold value among the plurality of divided unit sections into a noise section. It may include a step of specifying.
  • a divergence histogram corresponding to the acquired biometric data is generated, the generated divergence histogram is analyzed, and any one divergence section having a predetermined pattern among a plurality of divergence sections included in the generated divergence histogram is determined. If present, the method may further include determining that noise is included in the acquired biometric data.
  • the pre-trained artificial intelligence model includes an encoder including one or more dimension reduction layers and a decoder including one or more dimension restoration layers, and uses a plurality of biometric data without noise as learning data. It includes an auto-encoder and a one-dimensional convolutional neural network model learned based on unsupervised learning, and the step of evaluating the quality of the acquired biometric data includes converting the acquired biometric data into the one-dimensional convolutional neural network model. Extracting features related to time series patterns of the acquired biometric data as they are input to a neural network model, and generating low-dimensional biometric data as the extracted features and the acquired biometric data are input to the encoder, and generating the low-dimensional biometric data. It may include detecting noise by analyzing low-dimensional biometric data.
  • the step of evaluating the quality of the acquired biometric data includes, when a specific noise is detected by analyzing the acquired biometric data, determining that the acquired biometric data includes the specific noise; If the period in which the specific noise is detected is less than a preset period, the method may include determining that the acquired biometric data does not contain the specific noise.
  • a computing device that performs an artificial intelligence-based biometric data quality evaluation method includes a processor, a network interface, a memory, and a memory, and is loaded into the memory, and is operated by the processor.
  • a computer program according to another embodiment of the present invention for solving the above-described problem is combined with a computing device to obtain biometric data of a target and the quality of the acquired biometric data using a previously learned artificial intelligence model. It can be stored in a recording medium that can be read by a computing device in order to execute an artificial intelligence-based biometric data quality evaluation method that includes the step of evaluating.
  • biometric data collected from a patient by evaluating the quality of biometric data collected from a patient using a previously learned artificial intelligence model, it is possible to determine whether the biometric data contains noise, and accordingly, noise is included. There is an advantage in being able to secure normal biometric data that has not been released.
  • Figure 1 is a diagram illustrating an artificial intelligence-based biometric data quality evaluation system according to an embodiment of the present invention.
  • Figure 2 is a hardware configuration diagram of a computing device that performs an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention.
  • Figure 3 is a flow chart of an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of preprocessing biometric data using the amount of change in biometric data values, in various embodiments.
  • FIG. 5 is a flowchart illustrating a method of preprocessing biometric data in which a plurality of units of biometric data are combined in various embodiments.
  • FIG. 6 is a graph illustrating one biometric data in which different unit biometric data are combined in various embodiments.
  • FIG. 7 is a flowchart illustrating a method of preprocessing biometric data using peak saliency in various embodiments.
  • FIG. 8 is a graph illustrating peak saliency of biometric data in various embodiments.
  • FIG. 9 is a graph illustrating biometric data with identified peaks in various embodiments.
  • Figure 10 is a diagram illustrating a peak saliency histogram according to various embodiments.
  • 11 and 12 are diagrams illustrating pre-trained artificial intelligence models in various embodiments.
  • FIG. 13 is a diagram illustrating a process for detecting noise from biometric data using a previously learned artificial intelligence model in various embodiments.
  • FIG. 14 is a diagram illustrating a process for evaluating the quality of biometric data based on peak saliency in various embodiments.
  • Figure 15 is a diagram to explain the process of evaluating the quality of biometric data based on the divergence histogram.
  • FIG. 16 is a diagram for explaining a process of filtering temporarily detected noise in various embodiments.
  • FIG. 17 and 18 are diagrams illustrating a user interface (UI) that outputs quality evaluation results derived as an artificial intelligence-based biometric data quality evaluation method is performed, in various embodiments.
  • UI user interface
  • the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “unit” or “module” performs certain roles.
  • “part” or “module” is not limited to software or hardware.
  • a “unit” or “module” may be configured to reside on an addressable storage medium and may be configured to run on one or more processors.
  • a “part” or “module” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • the functionality provided within components and “parts” or “modules” can be combined into smaller components and “parts” or “modules” or into additional components and “parts” or “modules”. could be further separated.
  • Spatially relative terms such as “below”, “beneath”, “lower”, “above”, “upper”, etc. are used as a single term as shown in the drawing. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms that include different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is flipped over, a component described as “below” or “beneath” another component will be placed “above” the other component. You can. Accordingly, the illustrative term “down” may include both downward and upward directions. Components can also be oriented in other directions, so spatially relative terms can be interpreted according to orientation.
  • a computer refers to all types of hardware devices including at least one processor, and depending on the embodiment, it may be understood as encompassing software configurations that operate on the hardware device.
  • a computer can be understood to include, but is not limited to, a smartphone, tablet PC, desktop, laptop, and user clients and applications running on each device.
  • each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and depending on the embodiment, at least part of each step may be performed in a different device.
  • Figure 1 is a diagram illustrating an artificial intelligence-based biometric data quality evaluation system according to an embodiment of the present invention.
  • the artificial intelligence-based biometric data quality evaluation system may include a computing device 100, a user terminal 200, an external server 300, and a network 400. there is.
  • the artificial intelligence-based biometric data quality evaluation system shown in FIG. 1 is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1, and can be added, changed, or deleted as necessary. You can.
  • the computing device 100 may perform an artificial intelligence-based biometric data quality evaluation method. For example, the computing device 100 may evaluate the quality of a patient's biometric data to secure quality-verified biometric data for the purpose of performing an accurate diagnosis of the patient.
  • evaluating the quality of biometric data is for the purpose of performing an accurate diagnosis of the patient.
  • the patient's biometric data is analyzed to determine whether noise is detected from the biometric data. It can mean judging.
  • the computing device 100 analyzes biometric data collected in real time from a patient to detect noise in the biometric data collected in real time, but when noise is not detected from the biometric data for a predetermined period of time, noise is detected.
  • Normal biometric data can be secured by extracting biometric data corresponding to the section that is not working. For example, when no noise is detected from the biometric data within a first time point to a second time point (e.g., a time point after a predetermined period from the first time point), the computing device 100 detects the biometric data from the first time point to the second time point. By extracting the section, normal biometric data without noise can be secured.
  • the computing device 100 may be connected to the user terminal 200 through the network 400, and may display a user interface (UI) that outputs quality results for biometric data of a specific patient (e.g., 17 and 18) can be provided.
  • UI user interface
  • the user terminal 200 may refer to any type of entity(s) in the system that has a mechanism for communication with the computing device 100.
  • such user terminal 200 includes a personal computer (PC), a notebook (note book), a mobile terminal, a smart phone, a tablet PC, and a wearable device. etc., and may include all types of terminals that can access wired/wireless networks.
  • the user terminal 200 may include an arbitrary server implemented by at least one of an agent, an application programming interface (API), and a plug-in.
  • the user terminal 200 may include an application source and/or client application.
  • the network 400 may mean a connection structure that allows information exchange between nodes, such as a plurality of terminals and servers.
  • the network 400 includes a local area network (LAN), a wide area network (WAN), the World Wide Web (WWW), a wired and wireless data communication network, a telephone network, and a wired and wireless television communication network. can do.
  • the wireless data communication network includes 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), 5GPP (5th Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), and Wi-Fi (Wi-Fi).
  • Fi Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), RF (Radio Frequency), Bluetooth network, It may include, but is not limited to, a Near-Field Communication (NFC) network, a satellite broadcasting network, an analog broadcasting network, and a Digital Multimedia Broadcasting (DMB) network.
  • NFC Near-Field Communication
  • DMB Digital Multimedia Broadcasting
  • the external server 300 may be connected to the computing device 100 through the network 400, and may provide various information and information necessary for the computing device 100 to perform an artificial intelligence-based biometric data quality evaluation method. You can store and manage data, or collect, store, and manage various information and data generated by performing an artificial intelligence-based biometric data quality evaluation method.
  • the external server 300 may be a storage server separately provided outside the computing device 100, but is not limited thereto.
  • FIG. 2 the hardware configuration of the computing device 100 that performs an artificial intelligence-based biometric data quality evaluation method will be described.
  • Figure 2 is a hardware configuration diagram of a computing device that performs an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention.
  • the computing device 100 includes one or more processors 110, a memory 120 that loads a computer program 151 performed by the processor 110, and a bus ( 130), a communication interface 140, and a storage 150 for storing a computer program 151.
  • processors 110 a memory 120 that loads a computer program 151 performed by the processor 110
  • bus 130
  • communication interface 140 a communication interface 140
  • storage 150 for storing a computer program 151.
  • the processor 110 controls the overall operation of each component of the computing device 100.
  • the processor 110 includes a Central Processing Unit (CPU), Micro Processor Unit (MPU), Micro Controller Unit (MCU), Graphic Processing Unit (GPU), or any other type of processor well known in the art of the present invention. It can be.
  • CPU Central Processing Unit
  • MPU Micro Processor Unit
  • MCU Micro Controller Unit
  • GPU Graphic Processing Unit
  • processor 110 may perform operations on at least one application or program for executing methods according to embodiments of the present invention, and the computing device 100 may include one or more processors.
  • the processor 110 includes random access memory (RAM) (not shown) and read memory (ROM) that temporarily and/or permanently store signals (or data) processed within the processor 110. -Only Memory, not shown) may be further included. Additionally, the processor 110 may be implemented in the form of a system on chip (SoC) that includes at least one of a graphics processing unit, RAM, and ROM.
  • SoC system on chip
  • Memory 120 stores various data, commands and/or information. Memory 120 may load a computer program 151 from storage 150 to execute methods/operations according to various embodiments of the present invention. When the computer program 151 is loaded into the memory 120, the processor 110 can perform the method/operation by executing one or more instructions constituting the computer program 151.
  • the memory 120 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.
  • Bus 130 provides communication functionality between components of computing device 100.
  • the bus 130 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.
  • the communication interface 140 supports wired and wireless Internet communication of the computing device 100. Additionally, the communication interface 140 may support various communication methods other than Internet communication. To this end, the communication interface 140 may be configured to include a communication module well known in the technical field of the present invention. In some embodiments, communication interface 140 may be omitted.
  • Storage 150 may store the computer program 151 non-temporarily. When performing an artificial intelligence-based biometric data quality evaluation process through the computing device 100, the storage 150 can store various information necessary to provide an artificial intelligence-based biometric data quality evaluation process.
  • the storage 150 is a non-volatile memory such as Read Only Memory (ROM), Erasable Programmable ROM (EPROM), Electrically Erasable Programmable ROM (EEPROM), flash memory, a hard disk, a removable disk, or a device well known in the art to which the present invention pertains. It may be configured to include any known type of computer-readable recording medium.
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrically Erasable Programmable ROM
  • flash memory a hard disk, a removable disk, or a device well known in the art to which the present invention pertains. It may be configured to include any known type of computer-readable recording medium.
  • the computer program 151 when loaded into the memory 120, may include one or more instructions that cause the processor 110 to perform methods/operations according to various embodiments of the present invention. That is, the processor 110 can perform the method/operation according to various embodiments of the present invention by executing the one or more instructions.
  • the computer program 151 evaluates the quality of biometric data based on artificial intelligence, including acquiring biometric data of a subject and evaluating the quality of the acquired biometric data using a previously learned artificial intelligence model. It may contain one or more instructions to perform a method.
  • the steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof.
  • the software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
  • the components of the present invention may be implemented as a program (or application) and stored in a medium in order to be executed in conjunction with a hardware computer.
  • Components of the invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented as combinations of data structures, processes, routines or other programming constructs, such as C, C++, , may be implemented in a programming or scripting language such as Java, assembler, etc.
  • Functional aspects may be implemented as algorithms running on one or more processors.
  • FIGS. 3 to 17 the artificial intelligence-based biometric data quality evaluation method performed by the computing device 100 will be described in more detail.
  • Figure 3 is a flow chart of an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention.
  • the computing device 100 may acquire biometric data of the target.
  • the subject's biological data may be sinusoidal photoplethysmography (PPG) data collected from the subject through a photoplethysmography device, but is not limited thereto.
  • PPG photoplethysmography
  • the computing device 100 may be connected to a photovoltaic pulse wave measuring device and may acquire the patient's PPG data measured in real time through the photovoltaic pulse wave measuring device, but is not limited to this, and the computing device ( 100) can upload at least one PPG data whose quality is to be evaluated among a plurality of PPG data previously measured and stored through a photoelectric pulse wave measuring device.
  • step S120 the computing device 100 may preprocess the patient's biometric data obtained through step S110. Hereinafter, it will be described in more detail with reference to FIGS. 4 to 10.
  • FIG. 4 is a flowchart illustrating a method of preprocessing biometric data using the amount of change in biometric data values, in various embodiments.
  • the computing device 100 when the patient's biometric data includes a plurality of biometric data values at each of a plurality of consecutive time points, the computing device 100 is configured to By calculating the differential of biometric data values at each viewpoint, the amount of change in biometric data values for each of a plurality of viewpoints can be calculated.
  • the computing device 100 can calculate the amount of change in biometric data for a specific point in time by calculating the difference between the biometric data value at a specific point in time and the biometric data value at a point in time before the specific point in time. By calculating the difference between the data value and the biometric data value at a point in time after a specific point in time, the amount of change in biometric data for a point in time after a specific point in time can be calculated.
  • step S220 the computing device 100 may preprocess the patient's biometric data based on the amount of change in biometric data value calculated through step S210.
  • the computing device 100 identifies a time point at which the difference in biometric data values between adjacent time points among the plurality of time points is greater than or equal to a threshold value, based on the amount of change in biometric data for each of the plurality of time points, and identifies the identified time point. Biometric data values at the point in time can be corrected.
  • the computing device 100 identifies a time point where the difference in biometric data value between adjacent time points among a plurality of time points is greater than or equal to a threshold value, thereby preventing the biometric data value from rapidly rising due to noise or You can identify when the value drops sharply.
  • the computing device 100 may determine that the difference between the first biometric data value at the first time point and the second biometric data value at the second time point before the first time point is greater than or equal to a threshold value, and the first biometric data value at the first time point is If the difference between the data value and the third biometric data value at the third time point after the first time point is also greater than or equal to the threshold, the first time point can be identified as a time point when the data value suddenly rises or falls rapidly due to noise.
  • a threshold value the difference between the data value and the third biometric data value at the third time point after the first time point is also greater than or equal to the threshold
  • the computing device 100 may initialize the biometric data value at the point in time when it suddenly rises or falls suddenly due to noise. For example, as described above, when the first time point is identified as a time point when the data suddenly rises or falls rapidly due to noise, the computing device 100 may initialize the first biometric data value at the first time point.
  • initializing the first biometric data value may mean changing the first biometric data value to a value representing a numerical result that cannot be expressed (eg, a NaN (Not a Number) value), but is not limited to this.
  • the computing device 100 may correct the biometric data value at a specific point in time using biometric data values before and after the specific point in time. For example, as described above, when the first biometric data value at the first time point is initialized, the computing device 100 may configure the second biometric data value at a second time point before the first time point and the first biometric data value after the first time point.
  • the first biometric data value can be corrected by interpolating the third biometric data value at three points in time (e.g., linear interpolation, polynomial interpolation, spline interpolation, etc.).
  • FIG. 5 is a flowchart illustrating a method of preprocessing biometric data in which a plurality of units of biometric data are combined in various embodiments.
  • the computing device 100 may generate one biometric data by combining a plurality of units of biometric data.
  • the plurality of unit biometric data may refer to biometric data collected from the subject for different periods of time.
  • the EEG measurement protocol is divided into a session to measure EEG in the eyes-open state and a session to measure the EEG in the eye-closed state.
  • each session is changed and the brain waves when the eyes are opened and the brain waves when the eyes are closed are measured separately.
  • the PPG data measurement is also stopped while changing the session for EEG measurement, and as a result, one PPG data is not measured and two or more unit PPG data are generated. do.
  • the computing device 100 In order to analyze the PPG data for the target and diagnose the target, it is necessary to connect two or more unit PPG data to generate one PPG data, and the computing device 100 combines the two or more unit PPG data in chronological order. Thus, one PPG data can be generated.
  • the plurality of unit biometric data includes first unit biometric data measured over a predetermined period from a first point in time and a predetermined period of time from a second point in time after the measurement of the second unit biometric data ends. It may include second unit biometric data, and the computing device 100 may connect the first biometric unit biometric data and the second unit biometric data to generate one biometric data.
  • step S320 the computing device 100 may identify a point in time when correction is needed from one piece of biometric data generated through step S310.
  • the computing device 100 may combine a plurality of unit biometric data to identify a point in time when correction is needed, that is, a point in time when unit biometric data with a sharp difference is connected from the connected biometric data.
  • the computing device 100 may identify a point in time at which biometric data having a difference greater than a threshold value, among a plurality of points in time at which two or more units of biometric data are linked, as a point in time requiring correction. For example, the computing device 100 is connected to the first unit biometric data and the first unit biometric data measured for a predetermined period from the first point in time, and the second unit biometric data is connected to the first unit biometric data a predetermined time after the measurement of the first unit biometric data ends.
  • the difference between the last biometric data value of the first unit biometric data and the first biometric data value of the second unit biometric data is calculated, and the calculated difference is the threshold value.
  • the time when the first unit biometric data and the second unit biometric data are connected can be identified as the time when correction is required.
  • the computing device 100 calculates the difference between the biometric data at each of the plurality of time points and the biometric data value at the previous time point before each of the plurality of time points, with respect to one piece of biometric data in which a plurality of units of biometric data are connected. , the point in time when the calculated difference is above the threshold can be identified as the point in time when correction is necessary.
  • step S330 the computing device 100 may preprocess biometric data values at the identified time point through step S320.
  • the computing device 100 determines the first biometric data value of the second unit of biometric data when the difference between the last biometric data value of the first unit of biometric data and the first biometric data value of the second unit of biometric data is greater than or equal to a threshold value. may be corrected, and the first biometric data of the corrected second unit biometric data and the first biometric data value included in the second biometric data may be interpolated.
  • the computing device 100 corrects the first biometric data value of the second unit biometric data to the same value as the last biometric data value of the first unit biometric data, and uses an interpolation method (e.g., linear interpolation). , polynomial interpolation, spline interpolation, etc.), by interpolating the last biometric data value of the first unit biometric data and the first biometric data value of the corrected second unit biometric data, the first unit biometric data and the second unit biometric data are smoothed. It can be connected in a curved shape.
  • an interpolation method e.g., linear interpolation. , polynomial interpolation, spline interpolation, etc.
  • the computing device 200 corrects the first biometric data value of the second unit of biometric data to the same value as the last biometric data value of the first unit of biometric data, but the present invention is not limited to this, and in some cases, the first biometric data value is corrected to the same value as the last biometric data value of the first unit of biometric data.
  • the last biometric data value of the unit biometric data may be corrected to the same value as the first biometric data value of the second unit biometric data.
  • FIG. 7 is a flowchart illustrating a method of preprocessing biometric data using peak saliency in various embodiments.
  • the computing device 100 may generate a peak saliency histogram using the patient's biometric data. For example, when the biometric data collected from the patient is PPG data in the form of a sinusoidal wave, the computing device 100 may identify a plurality of peaks included in the PPG data by analyzing the PPG data in the form of a sinusoidal wave, and may identify a plurality of peaks included in the PPG data. Multiple peak saliencies can be calculated for each, and a peak saliency histogram can be generated using the calculated multiple peak saliencies.
  • peak prominence may mean the difference in height between the high and low points of the peak.
  • the peak prominence of the second peak is the height value of the second peak and the section including the first peak and the second peak. It may mean the difference between the height values of the low points.
  • the peak saliency histogram sets a plurality of peak saliency sections according to a preset peak saliency size and counts the number of peak saliency sections for each of the multiple peak saliency sections. It may be generated accordingly, but is not limited to this.
  • step S420 the computing device 100 may set a reference peak saliency using the peak saliency histogram generated through step S410.
  • the computing device 100 may analyze the peak saliency histogram to identify a peak saliency section having a predetermined pattern, and set the peak saliency corresponding to the identified peak saliency section as the reference peak saliency. there is.
  • points corresponding to peaks in the PPG data are identified, and properties for the identified points (e.g., peak value, distance between peaks (RR peak), etc. ) is necessary.
  • the point corresponding to the peak is identified based on the difference or amount of change from adjacent values, so as shown in FIG. 9, not only the point corresponding to the peak but also the valley Corresponding points can also be identified together.
  • the computing device 100 may identify a section having a pattern in which points corresponding to the valley are visible as described above and set the reference peak saliency based on this. For example, the computing device 100 has a counting value for the first peak saliency section other than 0 for three adjacent peak saliency sections, and counts the second peak saliency section and the third peak saliency section. If the value is 0, the peak saliency corresponding to the third peak saliency section can be set as the reference peak saliency.
  • the computing device 100 may preprocess the biometric data using the reference peak saliency set through step S420. For example, the computing device 100 may filter the points corresponding to the valley by identifying points corresponding to the peak from the patient's biometric data and deleting points whose peak saliency is less than the reference peak saliency among the identified points. there is.
  • the computing device 100 may evaluate the quality of the patient's biometric data by analyzing the biometric data preprocessed through step S120.
  • the computing device 100 may detect noise in the pre-processed biometric data by analyzing the pre-processed biometric data using a previously learned artificial intelligence model, and determine whether noise is detected from the pre-processed biometric data. Accordingly, the quality of biometric data can be evaluated.
  • the previously learned artificial intelligence model may be a model that reduces the dimension of biometric data and evaluates the quality of the biometric data depending on whether noise is detected from the reduced-dimensional biometric data.
  • a previously learned artificial intelligence model may include an auto encoder 10, as shown in FIG. 11.
  • the auto-encoder 10 may be an artificial neural network for outputting output data that is the same or similar to input data.
  • the auto-encoder 10 may include an encoder including one or more dimension reduction layers as a hidden layer and a decoder including one or more dimension restoration layers as a hidden layer.
  • a hidden layer including one or more dimension reduction layers and one or more dimension restoration layers is placed between the input layer and the output layer, but an odd number of hidden layers may be placed between the input layer and the output layer.
  • the number of nodes included in each of the multiple dimension reduction layers gradually decreases from the input layer toward an intermediate layer called the bottleneck layer (coding layer) (e.g., moving away from the input layer). It can be implemented in a structure where the number of nodes decreases as the number increases.
  • the decoder when the decoder includes a plurality of dimensional restoration layers, the number of nodes included in each of the plurality of dimensional restoration layers gradually increases from the bottleneck layer to the output layer (e.g., the number of nodes increases as it gets closer to the output layer). structure) can be implemented.
  • the number of nodes in the plurality of dimension reduction layers included in the encoder gradually decreases in the direction of the bottleneck layer
  • the number of nodes in the plurality of dimension restoration layers included in the decoder gradually increases in the output layer direction
  • the plurality of dimension reduction layers included in the encoder and the plurality of dimension restoration layers included in the decoder can be implemented in a symmetrical form with respect to the bottleneck layer. However, it is not limited to this.
  • the bottleneck layer of the autoencoder 10 shown in FIG. 11 may include two nodes, but this is only an example. , the number of nodes included in the bottleneck layer is not limited to this.
  • the autoencoder 10 may be a model learned based on unsupervised learning using a plurality of biometric data without noise (i.e., normal biometric data) as learning data.
  • the learning of the auto encoder 10 is to minimize output errors.
  • learning data is repeatedly input into the auto encoder (10)
  • the output of the auto encoder (10) and the error of the target for the learning data are calculated, and the auto encoder (10) is used in a direction to reduce the error.
  • ) is a process of backpropagating the error from the output layer of the autoencoder 10 to the input layer to update the weight of each node of the autoencoder 10.
  • unsupervised learning may refer to a method of learning using learning data in which the correct answer is not labeled.
  • learning data labeled with the correct answer is input to an artificial intelligence model, and an error can be calculated by comparing the output of the artificial intelligence model and the label of the learning data.
  • learning data that is not labeled with the correct answer is input to the artificial intelligence model, and the error can be calculated by comparing the output of the artificial intelligence model and the input learning data.
  • the calculated error is back-propagated in the artificial intelligence model in the reverse direction (i.e., from the output layer to the input layer), and the connection weight of each node in each layer of the artificial intelligence model can be updated according to back-propagation.
  • the amount of change in the connection weight of each updated node may be determined according to the learning rate.
  • the artificial intelligence model's calculation of input data and backpropagation of errors can constitute a learning cycle (epoch).
  • the learning rate can be applied differently depending on the number of repetitions of the learning cycle of the artificial intelligence model. For example, in the early stages of training an artificial intelligence model, a high learning rate can be used to ensure that the artificial intelligence model quickly achieves a certain level of performance to increase efficiency, and in the later stages of training, a low learning rate can be used to increase accuracy.
  • the previously learned artificial intelligence model may include a one-dimensional convolutional neural network model 20 and an auto encoder 10, as shown in FIG. 12, and the one-dimensional convolutional neural network model 20 and the auto encoder
  • the input layers of (10) may have a combined structure.
  • biometric data is input into the one-dimensional convolutional neural network model (20), features corresponding to the time series pattern of the biometric data can be extracted, and the features and biometric data corresponding to the time series pattern are combined with the auto encoder (10).
  • low-dimensional biometric data can be generated by considering the time-series pattern of biometric data through the auto-encoder 10.
  • the computing device 100 may detect noise included in the biometric data by analyzing the biometric data using a previously learned artificial intelligence model, and determine the size of the biometric data depending on whether noise is detected from the biometric data. Quality can be evaluated.
  • the computing device 100 may generate low-dimensional biometric data by inputting the target's biometric data (preprocessed biometric data) into the encoder of the auto encoder 10.
  • the low-dimensional biometric data may be two-dimensional biometric data, but is not limited thereto.
  • the computing device 100 may input the subject's biometric data into the auto encoder 10, but is not limited to this, and may window the subject's biometric data in predetermined time units (e.g., in units of 4 seconds).
  • predetermined time units e.g., in units of 4 seconds.
  • the computing device 100 can generate a plurality of biometric data corresponding to a predetermined time interval by dividing the biometric data into certain time sections according to the time series, and each of the generated plurality of biometric data is used as input data. It can be sequentially input to the encoder of the auto encoder (10).
  • the biometric data included in the input data sequentially input to the encoder of the auto encoder 10 may be implemented in a form where at least part of the biometric data is overlapped.
  • the computing device 100 may input biometric data corresponding to a period of 0 to 4 seconds with respect to the biometric data into the encoder of the auto encoder 10, and then Biometric data with an overlapping 50% section, that is, biometric data corresponding to a 2 to 6 second section, can be input to the encoder of the auto encoder 10 as input data.
  • the computing device 100 may cluster a plurality of biometric data values included in the low-dimensional biometric data.
  • various techniques are known for methods of creating one or more clusters by clustering a plurality of data values based on a clustering algorithm, and these known techniques can be selectively applied.
  • a plurality of biometric data It does not describe specific methods for clustering values.
  • the computing device 100 may determine whether the biometric data contains noise based on the result of clustering the plurality of biometric data values.
  • the computing device 100 may determine that the biometric data does not contain noise, and by clustering the plurality of biometric data values, the computing device 100 may determine that the biometric data does not contain noise. If the above clusters are generated, it may be determined that the biometric data contains noise.
  • the computing device 100 may determine that the biometric data does not contain noise, and by clustering the plurality of biometric data values, the computing device 100 may determine that one cluster is generated by clustering the plurality of biometric data values. If a large number of biometric data values that are not clustered with the clusters show a distributed pattern in various areas, it can be determined that the biometric data contains noise.
  • the output data (Latent vector) output from the bottleneck layer of the autoencoder is compressed for the normal biometric data.
  • biometric data containing noise is input to the auto encoder 10
  • another cluster corresponding to noise
  • Clusters may be created, or normal biometric data values may be clustered into one cluster, but values corresponding to noise may not be clustered into one cluster but may be distributed in various areas.
  • the computing device 100 determines that only the cluster corresponding to normal biometric data has been created, so that the biometric data is free of noise. It can be judged as not included.
  • the computing device 100 analyzes low-dimensional biometric data through the auto encoder 10, two or more clusters are created, or a plurality of biometric data values that are not clustered with one cluster are distributed in various areas. If a pattern is visible, it can be determined that the biometric data contains noise.
  • a quality evaluation method based on peak saliency and a quality evaluation method based on divergence histogram will be described.
  • the peak saliency-based quality evaluation method and the divergence histogram-based quality evaluation method are performed independently from the previously learned artificial intelligence model-based quality evaluation method (e.g., Figure 3), so they are used in biometric data. It can be implemented in a form that derives individual quality evaluation results for each product, and in some cases, it can be implemented in a form that verifies or supplements the results derived according to a quality evaluation method based on a pre-learned artificial intelligence model.
  • the computing device 100 compares the results derived from a quality evaluation method based on a previously learned artificial intelligence model with the results derived from a quality evaluation method based on peak saliency and a quality evaluation method based on divergence histogram, respectively.
  • the results derived from the quality evaluation method based on the learned artificial intelligence model can be verified.
  • the computing device 100 may provide a first quality evaluation result derived from a quality evaluation method based on a previously learned artificial intelligence model (e.g., Type 1 in FIG. 17) and a second quality evaluation result derived from a quality evaluation method based on peak saliency.
  • the quality evaluation results (e.g., Type 2 in FIG. 17) and the third quality evaluation results (e.g., Type 3 in FIG. 17) derived from the divergence histogram-based quality evaluation method can be collected to form one quality evaluation result for biometric data. You can.
  • the computing device 100 may evaluate the quality of biometric data according to a peak saliency-based quality evaluation method.
  • the computing device 100 may detect noise included in the biometric data based on peak saliency corresponding to each of a plurality of peaks included in the subject's biometric data.
  • the computing device 100 may generate a plurality of biometric data sections by dividing the biometric data into preset time units, calculate peak saliency corresponding to each of the plurality of biometric data sections, and calculate the calculated peak saliency. By comparing a plurality of peak saliencies and a threshold value, it can be determined whether the biometric data contains noise.
  • biometric data measuring device typically, in order to measure biometric data about a subject, the subject and the biometric data measuring device are physically connected. However, if the biometric data measuring device malfunctions or, in some cases, the subject and the biometric data measuring device are not properly connected, the biometric data may not be collected properly, and in cases where biometric data is not properly collected, there are cases where data other than biometric data is measured.
  • the computing device 100 determines that the corresponding biometric data section contains noise, that is, the corresponding biometric data section. It can be determined that data other than biometric data (signal without pulse) was collected in the section.
  • the computing device 100 when it is determined that noise is included in any one of the plurality of biometric data sections divided from biometric data, specifies a noise section within any one of the biometric data sections. can do. For example, when it is determined that noise is included in one biometric data section, the computing device 100 divides one biometric data section into a plurality of unit sections and calculates the peak saliency for each of the plurality of unit sections. It can be calculated, and among a plurality of unit sections, at least one unit section whose peak saliency is less than the threshold can be specified as the noise section.
  • the computing device 100 not only determines whether noise is included in a specific biometric data section, but also specifies the section containing noise within the specific biometric data section, thereby removing the section specified as the noise section later. It is possible to create an environment in which normal biometric data without noise can be obtained more quickly and accurately.
  • the computing device 100 may evaluate the quality of biometric data according to a divergence histogram-based quality evaluation method.
  • the computing device 100 may detect noise included in the biometric data using a divergence histogram corresponding to the biometric data.
  • the computing device 100 generates a divergence histogram corresponding to biometric data, analyzes the divergence histogram, and determines whether there is a divergence section with a predetermined pattern among a plurality of divergence sections included in the divergence histogram, thereby It can be determined whether noise is included.
  • the divergence histogram is far from the main distribution. Since counting occurs independently of the section, the divergence histogram can be analyzed to identify a divergence section that has a pattern in which the counting value is not 0 and the counting value corresponding to the adjacent divergence section is 0 among the plurality of divergence sections included in the divergence histogram. When a divergence section having this pattern is identified, it may be determined that the section of biometric data corresponding to the identified divergence section contains noise.
  • the computing device 100 may evaluate the quality of biometric data depending on whether noise is detected from the biometric data, and thereby derive a quality evaluation result.
  • the quality evaluation result (Signal Quality Index, SQI) is the result of determining whether noise is detected for a specific section (e.g., a windowed predetermined time section) of biometric data.
  • the quality evaluation result is a result of determining whether noise is detected. 1, if no noise is detected, it can be output as 0.
  • the quality evaluation results derived for the entire biometric data section are graphs in the form of pulse waves that reflect whether or not noise is included for each biometric data section, as shown in (C) of FIGS. 17 and 18. It can be visualized.
  • the computing device 100 analyzes the biometric data and, if a specific noise is detected, determines that the biometric data contains a specific noise, but if the period during which the specific noise is detected is less than a preset period, the biometric data It can be determined that no specific noise is included. For example, as shown in FIG. 16 , the computing device 100 may determine that the biometric data does not contain the specific noise when a specific noise is detected at a specific point in time or in a very short section while analyzing the biometric data.
  • the computing device 100 detects all noise included in the biometric data, it is possible to build an environment in which biometric data free of noise can be secured. However, in reality, it is difficult to secure biometric data free of noise. , Even if it is possible, it may take a very long time, so noise that does not cause a major problem when diagnosing a patient (e.g., noise that occurs for an extremely short period of time) is ignored and has the possibility of causing problems when diagnosing a patient. Only noise that exists (for example, noise that is included over a certain period of time) can be detected.
  • the computing device 100 performs windowing on the subject's biometric data in predetermined time units (for example, in units of 4 seconds) and detects noise in the biometric data.
  • predetermined time units for example, in units of 4 seconds
  • the temporary noise is Detected parts can be removed using a preceding window.
  • the artificial intelligence-based biometric data quality evaluation method for securing biometric data with verified quality described above was explained with reference to the flow chart shown in the drawing.
  • the artificial intelligence-based biometric data quality evaluation method for securing quality-verified biometric data is illustrated as a series of blocks, but the present invention is not limited to the order of the blocks, and some blocks are included in the specification. It may be performed in a different order than that shown and performed in, or may be performed simultaneously. Additionally, new blocks not described in the specification and drawings may be added, or some blocks may be deleted or changed.

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

An artificial intelligence-based biometric data quality evaluation method, device, and computer program for securing quality-verified biometric data are provided. An artificial intelligence-based biometric data quality evaluation method for securing quality-verified biometric data according to various embodiments of the present invention relates to an artificial intelligence-based biometric data quality evaluation method performed by a computing device, the method comprising the steps of: obtaining a subject's biometric data; and evaluating the quality of the obtained biometric data by using a pre-trained artificial intelligence model, wherein the pre-trained artificial intelligence model is a model that reduces a dimension of the obtained biometric data and evaluates the quality of the obtained biometric data according to whether noise is detected from the dimension-reduced biometric data.

Description

품질이 검증된 생체 데이터 확보를 위한 인공지능 기반의 생체 데이터 품질 평가 방법, 장치 및 컴퓨터프로그램Artificial intelligence-based biometric data quality evaluation method, device, and computer program to secure quality-verified biometric data
본 발명의 다양한 실시예는 품질이 검증된 생체 데이터 확보를 위한 인공지능 기반의 생체 데이터 품질 평가 방법, 장치 및 컴퓨터프로그램에 관한 것이다.Various embodiments of the present invention relate to an artificial intelligence-based biometric data quality evaluation method, device, and computer program for securing quality-verified biometric data.
환자의 건강 상태를 파악하거나 환자가 특정 질병을 보유하고 있는지를 진단하기 위해서는 환자의 생체 데이터를 측정하고, 측정된 생체 데이터를 분석하는 과정이 필요하다.In order to determine the patient's health status or diagnose whether the patient has a specific disease, it is necessary to measure the patient's biometric data and analyze the measured biometric data.
종래에는 의료 기관에서 의료진이 직접 생체 데이터 측정 기기를 이용하여 환자의 혈압, 맥박, 체온, 심전도, 산소포화도 및 뇌파 등과 같은 생체 데이터를 주기적으로 측정하고, 주기적으로 측정된 생체 데이터를 의료진이 직접 확인 및 판독하여 환자의 상태를 파악하거나 질병을 진단하였으나, 최근 정보통신 기술이 발달함에 따라 의료 분야에 있어서, 환자의 생체 데이터를 분석하는 다양한 기술들이 개발되었으며, 이러한 기술들을 이용하여 환자의 생체 데이터를 분석함으로써, 환자의 건강 상태나 질병 보유 여부를 보다 쉽고 정확하게 도출할 수 있는 환경이 구축되었다.Conventionally, medical staff at medical institutions use biometric data measurement devices to periodically measure a patient's biometric data such as blood pressure, pulse, body temperature, electrocardiogram, oxygen saturation, and brain waves, and the medical staff directly checks the periodically measured biometric data. and reading to understand the patient's condition or diagnose a disease. However, with the recent development of information and communication technology, various technologies have been developed in the medical field to analyze the patient's biometric data, and these technologies are used to analyze the patient's biometric data. Through analysis, an environment has been created that can more easily and accurately determine whether a patient's health status or disease is present.
한편, 컴퓨터 프로그램 형태로 구현된 생체 데이터 분석 기술을 이용하여 환자의 건강 상태를 판단하거나, 환자의 질병을 진단하기 위해서는 환자에 대한 최소한의 생체 데이터(예컨대, 5분간의 생체 데이터)가 필요한데, 환자의 생체 데이터 측정의 경우 아직까지 사람에 의해 직접 수행되는 것이기 때문에 휴먼 에러가 발생될 가능성이 높으며, 이에 따라 생체 데이터가 제대로 측정되지 못하거나 측정된 생체 데이터 내에 불필요한 노이즈들이 포함될 수 있다.Meanwhile, in order to determine a patient's health status or diagnose a patient's disease using biometric data analysis technology implemented in the form of a computer program, a minimum amount of biometric data (e.g., 5 minutes of biometric data) is required. In the case of biometric data measurement, human error is likely to occur because it is still performed directly by humans, and as a result, biometric data may not be measured properly or unnecessary noise may be included in the measured biometric data.
상기와 같이 정상적인 생체 데이터를 확보하지 못할 경우, 환자의 건강 상태를 정확하게 판단하거나 환자의 질병을 정확하게 진단하기 어려운 바, 환자의 상태 및 질병 진단을 위한 최소한의 정상 데이터를 확보할 수 있는 방안이 요구되고 있다.If normal biometric data cannot be obtained as described above, it is difficult to accurately determine the patient's health status or accurately diagnose the patient's disease, so a method to secure the minimum normal data for diagnosing the patient's condition and disease is required. It is becoming.
본 발명이 해결하고자 하는 과제는 상술된 종래의 문제점을 해소하기 위한 목적으로, 기 학습된 인공지능 모델을 이용하여 환자로부터 수집된 생체 데이터에 대한 품질을 평가함으로써, 생체 데이터에 노이즈가 포함되어 있는지를 판단할 수 있고, 이에 따라 노이즈가 포함되지 않은 정상적인 생체 데이터를 확보할 수 있는 품질이 검증된 생체 데이터 확보를 위한 인공지능 기반의 생체 데이터 품질 평가 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.The problem to be solved by the present invention is to solve the above-described conventional problems by evaluating the quality of biometric data collected from patients using a pre-learned artificial intelligence model to determine whether the biometric data contains noise. It provides an artificial intelligence-based biometric data quality evaluation method, device, and computer program to secure quality-verified biometric data that can determine and thereby secure normal biometric data without noise.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 방법은 컴퓨팅 장치에 의해 수행되는 인공지능 기반의 생체 데이터 품질 평가 방법에 있어서, 대상의 생체 데이터를 획득하는 단계 및 기 학습된 인공지능 모델을 이용하여 상기 획득된 생체 데이터의 품질을 평가하는 단계를 포함할 수 있다.An artificial intelligence-based biometric data quality evaluation method according to an embodiment of the present invention to solve the above-described problem is an artificial intelligence-based biometric data quality evaluation method performed by a computing device, which includes obtaining the subject's biometric data. It may include evaluating the quality of the acquired biometric data using steps and a previously learned artificial intelligence model.
다양한 실시예에서, 상기 기 학습된 인공지능 모델은, 상기 획득된 생체 데이터의 차원을 축소하고, 상기 차원이 축소된 생체 데이터로부터 노이즈가 검출되는지에 따라 상기 획득된 생체 데이터의 품질을 평가하는 모델일 수 있다.In various embodiments, the pre-trained artificial intelligence model is a model that reduces the dimension of the acquired biometric data and evaluates the quality of the acquired biometric data depending on whether noise is detected from the dimensionally reduced biometric data. It can be.
다양한 실시예에서, 상기 기 학습된 인공지능 모델은, 하나 이상의 차원 축소 레이어를 포함하는 인코더와 하나 이상의 차원 복원 레이어를 포함하는 디코더를 포함하며, 노이즈가 포함되지 않은 복수의 생체 데이터를 학습 데이터로 하여 비지도 학습 기반으로 학습된 오토 인코더(Auto-encoder)를 포함하며, 상기 획득된 생체 데이터의 품질을 평가하는 단계는, 상기 획득된 생체 데이터를 전처리하는 단계, 상기 전처리된 생체 데이터를 상기 인코더에 입력함에 따라 저차원 생체 데이터를 생성하는 단계 및 상기 생성된 저차원 생체 데이터를 분석하여 노이즈를 검출하는 단계를 포함할 수 있다.In various embodiments, the pre-trained artificial intelligence model includes an encoder including one or more dimension reduction layers and a decoder including one or more dimension restoration layers, and uses a plurality of biometric data without noise as learning data. and an auto-encoder learned based on unsupervised learning, wherein the step of evaluating the quality of the acquired biometric data includes preprocessing the acquired biometric data, and processing the preprocessed biometric data into the encoder. It may include generating low-dimensional biometric data as input and detecting noise by analyzing the generated low-dimensional biometric data.
다양한 실시예에서, 상기 획득된 생체 데이터를 전처리하는 단계는, 상기 획득된 생체 데이터에 포함된 제1 시점에서의 제1 생체 데이터 값 및 상기 제1 시점 이전의 제2 시점에서의 제2 생체 데이터 값의 차이와 상기 제1 생체 데이터 값 및 상기 제1 시점 이후의 제3 시점에서의 제3 생체 데이터 값의 차이가 임계 값 이상인 경우, 상기 제1 생체 데이터 값을 초기화하는 단계 및 상기 제2 생체 데이터 값 및 상기 제3 생체 데이터 값을 이용하여 상기 초기화된 제1 생체 데이터 값을 보간(Interpolation)하는 단계를 포함할 수 있다.In various embodiments, the step of preprocessing the acquired biometric data includes a first biometric data value at a first time point included in the acquired biometric data and second biometric data at a second time point before the first time point. If the difference between the values and the first biometric data value and the third biometric data value at a third time point after the first time point is greater than or equal to a threshold value, initializing the first biometric data value and the second biometric data value It may include interpolating the initialized first biometric data value using the data value and the third biometric data value.
다양한 실시예에서, 상기 획득된 생체 데이터는, 제1 시점부터 소정의 기간 동안 측정된 제1 단위 생체 데이터 및 상기 제1 단위 생체 데이터와 연결되며, 상기 제1 단위 생체 데이터의 측정이 종료된 후 소정의 시간이 지난 제2 시점부터 소정의 기간 동안 측정된 제2 단위 생체 데이터를 포함하며, 상기 획득된 생체 데이터를 전처리하는 단계는, 상기 제1 단위 생체 데이터의 마지막 생체 데이터 값과 상기 제2 단위 생체 데이터의 첫번째 생체 데이터 값의 차이를 산출하는 단계 및 상기 산출된 차이가 상기 임계 값 이상인 경우, 상기 제1 단위 생체 데이터의 마지막 생체 데이터 값을 기준으로 상기 제2 단위 생체 데이터의 첫번째 생체 데이터 값을 보정하고, 상기 보정된 제2 단위 생체 데이터의 첫번째 생체 데이터와 상기 제2 생체 데이터에 포함된 첫번째 생체 데이터 값을 보간하는 단계를 포함할 수 있다.In various embodiments, the acquired biometric data is connected to first unit biometric data and the first unit biometric data measured over a predetermined period from a first point in time, and after measurement of the first unit biometric data is completed. It includes second unit biometric data measured over a predetermined period from a second time point after a predetermined time, and preprocessing the obtained biometric data includes the last biometric data value of the first unit biometric data and the second unit biometric data. calculating a difference between the first biometric data values of the unit biometric data; and when the calculated difference is greater than or equal to the threshold, the first biometric data of the second unit biometric data based on the last biometric data value of the first unit biometric data. It may include correcting a value and interpolating the first biometric data of the corrected second unit biometric data and the first biometric data value included in the second biometric data.
다양한 실시예에서, 상기 획득된 생체 데이터는, 상기 대상으로부터 실시간으로 수집되는 광전용적맥파(PPG) 데이터를 포함하며, 상기 획득된 생체 데이터를 전처리하는 단계는, 상기 광전용적맥파 데이터에 포함된 복수의 피크(Peak)를 식별하는 단계, 상기 식별된 복수의 피크 각각에 대응하는 복수의 피크 현저도(Peak Prominence)를 산출하고, 상기 산출된 복수의 피크 현저도를 이용하여 피크 현저도 히스토그램을 생성하는 단계, 상기 생성된 피크 현저도 히스토그램을 분석하여 소정의 패턴을 가지는 피크 현저도 구간을 식별하고, 상기 식별된 피크 현저도 구간에 대응하는 피크 현저도를 기준 피크 현저도로 설정하는 단계 및 상기 산출된 복수의 피크 현저도 중 상기 설정된 기준 피크 현저도 미만의 피크 현저도를 선택하고, 상기 복수의 피크 중 상기 선택된 피크 현저도에 대응하는 피크를 제거하는 단계를 포함할 수 있다.In various embodiments, the acquired biometric data includes photoplethysmogram (PPG) data collected in real time from the subject, and preprocessing the acquired biometric data includes a plurality of photoplethysmograms included in the photoplethysmographic data. Identifying a peak, calculating a plurality of peak prominences corresponding to each of the identified plurality of peaks, and generating a peak prominence histogram using the calculated plurality of peak prominences. Analyzing the generated peak saliency histogram to identify a peak saliency section having a predetermined pattern, setting the peak saliency corresponding to the identified peak saliency section as a reference peak saliency, and calculating the peak saliency It may include selecting a peak saliency lower than the set reference peak saliency among a plurality of peak saliencies, and removing a peak corresponding to the selected peak saliency among the plurality of peaks.
다양한 실시예에서, 상기 노이즈를 검출하는 단계는, 상기 생성된 저차원 생체 데이터에 포함된 복수의 생체 데이터 값을 클러스터링 하는 단계 및 상기 복수의 생체 데이터 값을 클러스터링한 결과에 기초하여, 상기 획득된 생체 데이터에 대한 노이즈 포함 여부를 판단하는 단계를 포함할 수 있다.In various embodiments, the step of detecting noise includes clustering a plurality of biometric data values included in the generated low-dimensional biometric data and based on a result of clustering the plurality of biometric data values, the obtained It may include a step of determining whether the biometric data contains noise.
다양한 실시예에서, 상기 획득된 생체 데이터 - 상기 획득된 생체 데이터는 상기 대상으로부터 실시간으로 수집되는 광전용적맥파 데이터를 포함함 - 를 기 설정된 시간 단위로 분할함에 따라 복수의 생체 데이터 구간을 생성하는 단계, 상기 생성된 복수의 생체 데이터 구간 각각에 포함된 생체 데이터 값을 이용하여, 상기 생성된 복수의 생체 데이터 구간 각각에 대응하는 피크 현저도를 산출하는 단계 및 상기 생성된 복수의 생체 데이터 구간 중 어느 하나의 생체 데이터 구간에 대응하여 산출된 피크 현저도가 임계 값 미만인 경우, 상기 어느 하나의 생체 데이터 구간 내에 노이즈가 포함된 것으로 판단하는 단계를 더 포함할 수 있다.In various embodiments, generating a plurality of biometric data sections by dividing the acquired biometric data - the acquired biometric data includes photoplethysmographic data collected in real time from the subject - into preset time units. , calculating a peak saliency corresponding to each of the plurality of generated biometric data sections using biometric data values included in each of the plurality of generated biometric data sections, and selecting one of the plurality of generated biometric data sections. If the peak saliency calculated for one biometric data section is less than a threshold value, the method may further include determining that noise is included in the one biometric data section.
다양한 실시예에서, 상기 어느 하나의 생체 데이터 구간 내에 노이즈가 포함된 것으로 판단하는 단계는, 상기 어느 하나의 생체 데이터 구간 내에 노이즈가 포함된 것으로 판단되는 경우, 상기 어느 하나의 생체 데이터 구간을 복수의 단위 구간으로 분할하고, 상기 분할된 복수의 단위 구간 각각에 대한 피크 현저도를 산출하는 단계 및 상기 분할된 복수의 단위 구간 중 상기 산출된 피크 현저도가 임계 값 미만인 적어도 하나의 단위 구간을 노이즈 구간으로 특정하는 단계를 포함할 수 있다.In various embodiments, the step of determining that noise is included in any one biometric data section includes, when it is determined that noise is included in any one biometric data section, dividing the one biometric data section into a plurality of Dividing into unit sections and calculating a peak saliency for each of the plurality of divided unit sections, and dividing at least one unit section in which the calculated peak saliency is less than a threshold value among the plurality of divided unit sections into a noise section. It may include a step of specifying.
다양한 실시예에서, 상기 획득된 생체 데이터에 대응하는 발산 히스토그램을 생성하고, 상기 생성된 발산 히스토그램을 분석하여 상기 생성된 발산 히스토그램에 포함된 복수의 발산 구간 중 소정의 패턴을 가지는 어느 하나의 발산 구간이 존재하는 경우, 상기 획득된 생체 데이터에 노이즈가 포함된 것으로 판단하는 단계를 더 포함할 수 있다.In various embodiments, a divergence histogram corresponding to the acquired biometric data is generated, the generated divergence histogram is analyzed, and any one divergence section having a predetermined pattern among a plurality of divergence sections included in the generated divergence histogram is determined. If present, the method may further include determining that noise is included in the acquired biometric data.
다양한 실시예에서, 상기 기 학습된 인공지능 모델은, 하나 이상의 차원 축소 레이어를 포함하는 인코더와 하나 이상의 차원 복원 레이어를 포함하는 디코더를 포함하며, 노이즈가 포함되지 않은 복수의 생체 데이터를 학습 데이터로 하여 비지도 학습 기반으로 학습된 오토 인코더(Auto-encoder) 및 1차원 합성곱 신경망 모델을 포함하며, 상기 획득된 생체 데이터의 품질을 평가하는 단계는, 상기 획득된 생체 데이터를 상기 1차원 합성곱 신경망 모델에 입력함에 따라 상기 획득된 생체 데이터의 시계열 패턴에 관한 특징을 추출하는 단계 및 상기 추출된 특징 및 상기 획득된 생체 데이터를 상기 인코더에 입력함에 따라 저차원 생체 데이터를 생성하는 단계 및 상기 생성된 저차원 생체 데이터를 분석하여 노이즈를 검출하는 단계를 포함할 수 있다.In various embodiments, the pre-trained artificial intelligence model includes an encoder including one or more dimension reduction layers and a decoder including one or more dimension restoration layers, and uses a plurality of biometric data without noise as learning data. It includes an auto-encoder and a one-dimensional convolutional neural network model learned based on unsupervised learning, and the step of evaluating the quality of the acquired biometric data includes converting the acquired biometric data into the one-dimensional convolutional neural network model. Extracting features related to time series patterns of the acquired biometric data as they are input to a neural network model, and generating low-dimensional biometric data as the extracted features and the acquired biometric data are input to the encoder, and generating the low-dimensional biometric data. It may include detecting noise by analyzing low-dimensional biometric data.
다양한 실시예에서, 상기 획득된 생체 데이터의 품질을 평가하는 단계는, 상기 획득된 생체 데이터를 분석하여 특정 노이즈가 검출되는 경우, 상기 획득된 생체 데이터에 상기 특정 노이즈가 포함된 것으로 판단하되, 상기 특정 노이즈가 검출된 기간이 기 설정된 기간 미만인 경우, 상기 획득된 생체 데이터에 상기 특정 노이즈가 포함되지 않은 것으로 판단하는 단계를 포함할 수 있다.In various embodiments, the step of evaluating the quality of the acquired biometric data includes, when a specific noise is detected by analyzing the acquired biometric data, determining that the acquired biometric data includes the specific noise; If the period in which the specific noise is detected is less than a preset period, the method may include determining that the acquired biometric data does not contain the specific noise.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 방법을 수행하는 컴퓨팅 장치는 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 대상의 생체 데이터를 획득하는 인스트럭션(instruction) 및 기 학습된 인공지능 모델을 이용하여 상기 획득된 생체 데이터의 품질을 평가하는 인스트럭션을 포함할 수 있다.A computing device that performs an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention to solve the above-described problem includes a processor, a network interface, a memory, and a memory, and is loaded into the memory, and is operated by the processor. Includes an executable computer program, wherein the computer program may include instructions for acquiring biometric data of a subject and instructions for evaluating the quality of the acquired biometric data using a previously learned artificial intelligence model. .
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터프로그램은 컴퓨팅 장치와 결합되어, 대상의 생체 데이터를 획득하는 단계 및 기 학습된 인공지능 모델을 이용하여 상기 획득된 생체 데이터의 품질을 평가하는 단계를 포함하는 인공지능 기반의 생체 데이터 품질 평가 방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장될 수 있다.A computer program according to another embodiment of the present invention for solving the above-described problem is combined with a computing device to obtain biometric data of a target and the quality of the acquired biometric data using a previously learned artificial intelligence model. It can be stored in a recording medium that can be read by a computing device in order to execute an artificial intelligence-based biometric data quality evaluation method that includes the step of evaluating.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
본 발명의 다양한 실시예에 따르면, 기 학습된 인공지능 모델을 이용하여 환자로부터 수집된 생체 데이터에 대한 품질을 평가함으로써, 생체 데이터에 노이즈가 포함되어 있는지를 판단할 수 있고, 이에 따라 노이즈가 포함되지 않은 정상적인 생체 데이터를 확보할 수 있다는 이점이 있다.According to various embodiments of the present invention, by evaluating the quality of biometric data collected from a patient using a previously learned artificial intelligence model, it is possible to determine whether the biometric data contains noise, and accordingly, noise is included. There is an advantage in being able to secure normal biometric data that has not been released.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 시스템을 도시한 도면이다.Figure 1 is a diagram illustrating an artificial intelligence-based biometric data quality evaluation system according to an embodiment of the present invention.
도 2는 본 발명의 다른 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 방법을 수행하는 컴퓨팅 장치의 하드웨어 구성도이다.Figure 2 is a hardware configuration diagram of a computing device that performs an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention.
도 3은 본 발명의 또 다른 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 방법의 순서도이다.Figure 3 is a flow chart of an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention.
도 4는 다양한 실시예에서, 생체 데이터 값 변화량을 이용하여 생체 데이터를 전처리하는 방법을 설명하기 위한 순서도이다.FIG. 4 is a flowchart illustrating a method of preprocessing biometric data using the amount of change in biometric data values, in various embodiments.
도 5는 다양한 실시예에서, 복수의 단위 생체 데이터가 결합된 생체 데이터를 전처리하는 방법을 설명하기 위한 순서도이다.FIG. 5 is a flowchart illustrating a method of preprocessing biometric data in which a plurality of units of biometric data are combined in various embodiments.
도 6은 다양한 실시예에서, 서로 다른 단위 생체 데이터가 결합된 하나의 생체 데이터를 예시적으로 도시한 그래프이다.FIG. 6 is a graph illustrating one biometric data in which different unit biometric data are combined in various embodiments.
도 7은 다양한 실시예에서, 피크 현저도를 이용하여 생체 데이터를 전처리하는 방법을 설명하기 위한 순서도이다.FIG. 7 is a flowchart illustrating a method of preprocessing biometric data using peak saliency in various embodiments.
도 8은 다양한 실시예에서, 생체 데이터의 피크 현저도를 예시적으로 도시한 그래프이다.FIG. 8 is a graph illustrating peak saliency of biometric data in various embodiments.
도 9는 다양한 실시예에서, 피크가 식별된 생체 데이터를 예시적으로 도시한 그래프이다.FIG. 9 is a graph illustrating biometric data with identified peaks in various embodiments.
도 10은 다양한 실시예에서, 피크 현저도 히스토그램을 예시적으로 도시한 도면이다.Figure 10 is a diagram illustrating a peak saliency histogram according to various embodiments.
도 11 및 도 12는 다양한 실시예에서, 기 학습된 인공지능 모델을 예시적으로 도시한 도면이다.11 and 12 are diagrams illustrating pre-trained artificial intelligence models in various embodiments.
도 13은 다양한 실시예에서, 기 학습된 인공지능 모델을 이용하여 생체 데이터로부터 노이즈를 검출하는 과정을 설명하기 위한 도면이다.FIG. 13 is a diagram illustrating a process for detecting noise from biometric data using a previously learned artificial intelligence model in various embodiments.
도 14는 다양한 실시예에서, 피크 현저도를 기반으로 생체 데이터의 품질을 평가하는 과정을 설명하기 위한 도면이다.FIG. 14 is a diagram illustrating a process for evaluating the quality of biometric data based on peak saliency in various embodiments.
도 15는 발산 히스토그램을 기반으로 생체 데이터의 품질을 평가하는 과정을 설명하기 위한 도면이다.Figure 15 is a diagram to explain the process of evaluating the quality of biometric data based on the divergence histogram.
도 16은 다양한 실시예에서, 일시적으로 검출되는 노이즈를 필터링하는 과정을 설명하기 위한 도면이다.FIG. 16 is a diagram for explaining a process of filtering temporarily detected noise in various embodiments.
도 17 및 도 18은 다양한 실시예에서, 인공지능 기반의 생체 데이터 품질 평가 방법이 수행됨에 따라 도출된 품질 평가 결과를 출력하는 사용자 인터페이스(User Interface, UI)를 도시한 도면이다.17 and 18 are diagrams illustrating a user interface (UI) that outputs quality evaluation results derived as an artificial intelligence-based biometric data quality evaluation method is performed, in various embodiments.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not to be interpreted ideally or excessively unless clearly specifically defined.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.As used in the specification, the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “unit” or “module” performs certain roles. However, “part” or “module” is not limited to software or hardware. A “unit” or “module” may be configured to reside on an addressable storage medium and may be configured to run on one or more processors. Thus, as an example, a “part” or “module” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided within components and “parts” or “modules” can be combined into smaller components and “parts” or “modules” or into additional components and “parts” or “modules”. Could be further separated.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms such as “below”, “beneath”, “lower”, “above”, “upper”, etc. are used as a single term as shown in the drawing. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms that include different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is flipped over, a component described as "below" or "beneath" another component will be placed "above" the other component. You can. Accordingly, the illustrative term “down” may include both downward and upward directions. Components can also be oriented in other directions, so spatially relative terms can be interpreted according to orientation.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In this specification, a computer refers to all types of hardware devices including at least one processor, and depending on the embodiment, it may be understood as encompassing software configurations that operate on the hardware device. For example, a computer can be understood to include, but is not limited to, a smartphone, tablet PC, desktop, laptop, and user clients and applications running on each device.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.Each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and depending on the embodiment, at least part of each step may be performed in a different device.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 시스템을 도시한 도면이다.Figure 1 is a diagram illustrating an artificial intelligence-based biometric data quality evaluation system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 시스템은 컴퓨팅 장치(100), 사용자 단말(200), 외부 서버(300) 및 네트워크(400)를 포함할 수 있다.Referring to FIG. 1, the artificial intelligence-based biometric data quality evaluation system according to an embodiment of the present invention may include a computing device 100, a user terminal 200, an external server 300, and a network 400. there is.
여기서, 도 1에 도시된 인공지능 기반의 생체 데이터 품질 평가 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.Here, the artificial intelligence-based biometric data quality evaluation system shown in FIG. 1 is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1, and can be added, changed, or deleted as necessary. You can.
일 실시예에서, 컴퓨팅 장치(100)는 인공지능 기반의 생체 데이터 품질 평가 방법을 수행할 수 있다. 예컨대, 컴퓨팅 장치(100)는 환자에 대한 정확한 진단을 수행하기 위한 목적으로, 품질이 검증된 생체 데이터를 확보할 수 있도록 환자의 생체 데이터에 대한 품질을 평가할 수 있다.In one embodiment, the computing device 100 may perform an artificial intelligence-based biometric data quality evaluation method. For example, the computing device 100 may evaluate the quality of a patient's biometric data to secure quality-verified biometric data for the purpose of performing an accurate diagnosis of the patient.
여기서, 생체 데이터에 대한 품질을 평가하는 것은 환자에 대한 정확한 진단을 수행하기 위한 목적으로, 품질이 검증된 생체 데이터를 확보할 수 있도록, 환자의 생체 데이터를 분석하여 생체 데이터로부터 노이즈가 검출되는지를 판단하는 것을 의미할 수 있다.Here, evaluating the quality of biometric data is for the purpose of performing an accurate diagnosis of the patient. In order to secure quality-verified biometric data, the patient's biometric data is analyzed to determine whether noise is detected from the biometric data. It can mean judging.
다양한 실시예에서, 컴퓨팅 장치(100)는 환자로부터 실시간 수집되는 생체 데이터를 분석하여 실시간 수집되는 생체 데이터에 대한 노이즈가 검출하되, 소정의 기간 동안 생체 데이터로부터 노이즈가 검출되지 않는 경우, 노이즈가 검출되지 않는 구간에 대응하는 생체 데이터를 추출하여 정상적인 생체 데이터를 확보할 수 있다. 예컨대, 컴퓨팅 장치(100)는 제1 시점부터 제2 시점(예컨대 제1 시점부터 소정의 기간 이후의 시점) 내의 생체 데이터로부터 노이즈가 검출되지 않은 경우, 생체 데이터의 제1 시점부터 제2 시점까지의 구간을 추출하여 노이즈가 포함되지 않은 정상적인 생체 데이터를 확보할 수 있다.In various embodiments, the computing device 100 analyzes biometric data collected in real time from a patient to detect noise in the biometric data collected in real time, but when noise is not detected from the biometric data for a predetermined period of time, noise is detected. Normal biometric data can be secured by extracting biometric data corresponding to the section that is not working. For example, when no noise is detected from the biometric data within a first time point to a second time point (e.g., a time point after a predetermined period from the first time point), the computing device 100 detects the biometric data from the first time point to the second time point. By extracting the section, normal biometric data without noise can be secured.
다양한 실시예에서, 컴퓨팅 장치(100)는 네트워크(400)를 통해 사용자 단말(200)과 연결될 수 있으며, 특정 환자의 생체 데이터에 대한 품질 결과를 출력하는 사용자 인터페이스(User Interface, UI)(예컨대, 도 17 및 도 18)를 제공할 수 있다.In various embodiments, the computing device 100 may be connected to the user terminal 200 through the network 400, and may display a user interface (UI) that outputs quality results for biometric data of a specific patient (e.g., 17 and 18) can be provided.
여기서, 사용자 단말(200)은 컴퓨팅 장치(100)와 통신을 위한 메커니즘을 갖는 시스템에서의 임의의 형태의 엔티티(들)를 의미할 수 있다. 예를 들어, 이러한 사용자 단말(200)은 PC(personal computer), 노트북(note book), 모바일 단말기(mobile terminal), 스마트 폰(smart phone), 태블릿 PC(tablet pc) 및 웨어러블 디바이스(wearable device) 등을 포함할 수 있으며, 유/무선 네트워크에 접속할 수 있는 모든 종류의 단말을 포함할 수 있다. 또한, 사용자 단말(200)은 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 서버를 포함할 수도 있다. 또한, 사용자 단말(200)은 애플리케이션 소스 및/또는 클라이언트 애플리케이션을 포함할 수 있다.Here, the user terminal 200 may refer to any type of entity(s) in the system that has a mechanism for communication with the computing device 100. For example, such user terminal 200 includes a personal computer (PC), a notebook (note book), a mobile terminal, a smart phone, a tablet PC, and a wearable device. etc., and may include all types of terminals that can access wired/wireless networks. Additionally, the user terminal 200 may include an arbitrary server implemented by at least one of an agent, an application programming interface (API), and a plug-in. Additionally, the user terminal 200 may include an application source and/or client application.
또한, 여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크(400)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함할 수 있다.Also, here, the network 400 may mean a connection structure that allows information exchange between nodes, such as a plurality of terminals and servers. For example, the network 400 includes a local area network (LAN), a wide area network (WAN), the World Wide Web (WWW), a wired and wireless data communication network, a telephone network, and a wired and wireless television communication network. can do.
또한, 여기서, 무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함할 수 있으나, 이에 한정되지는 않는다.In addition, here, the wireless data communication network includes 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), 5GPP (5th Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), and Wi-Fi (Wi-Fi). Fi), Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), RF (Radio Frequency), Bluetooth network, It may include, but is not limited to, a Near-Field Communication (NFC) network, a satellite broadcasting network, an analog broadcasting network, and a Digital Multimedia Broadcasting (DMB) network.
일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 컴퓨팅 장치(100)와 연결될 수 있으며, 컴퓨팅 장치(100)가 인공지능 기반의 생체 데이터 품질 평가 방법을 수행하기 위해 필요한 각종 정보 및 데이터를 저장 및 관리하거나, 인공지능 기반의 생체 데이터 품질 평가 방법을 수행함에 따라 생성되는 각종 정보 및 데이터를 수집하여 저장 및 관리할 수 있다. 예컨대, 외부 서버(300)는 컴퓨팅 장치(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 2를 참조하여, 인공지능 기반의 생체 데이터 품질 평가 방법을 수행하는 컴퓨팅 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.In one embodiment, the external server 300 may be connected to the computing device 100 through the network 400, and may provide various information and information necessary for the computing device 100 to perform an artificial intelligence-based biometric data quality evaluation method. You can store and manage data, or collect, store, and manage various information and data generated by performing an artificial intelligence-based biometric data quality evaluation method. For example, the external server 300 may be a storage server separately provided outside the computing device 100, but is not limited thereto. Hereinafter, with reference to FIG. 2, the hardware configuration of the computing device 100 that performs an artificial intelligence-based biometric data quality evaluation method will be described.
도 2는 본 발명의 다른 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 방법을 수행하는 컴퓨팅 장치의 하드웨어 구성도이다.Figure 2 is a hardware configuration diagram of a computing device that performs an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention.
도 2를 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.Referring to FIG. 2, in various embodiments, the computing device 100 includes one or more processors 110, a memory 120 that loads a computer program 151 performed by the processor 110, and a bus ( 130), a communication interface 140, and a storage 150 for storing a computer program 151. Here, only components related to the embodiment of the present invention are shown in Figure 2. Accordingly, anyone skilled in the art to which the present invention pertains will know that other general-purpose components may be included in addition to the components shown in FIG. 2.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.The processor 110 controls the overall operation of each component of the computing device 100. The processor 110 includes a Central Processing Unit (CPU), Micro Processor Unit (MPU), Micro Controller Unit (MCU), Graphic Processing Unit (GPU), or any other type of processor well known in the art of the present invention. It can be.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.Additionally, the processor 110 may perform operations on at least one application or program for executing methods according to embodiments of the present invention, and the computing device 100 may include one or more processors.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.In various embodiments, the processor 110 includes random access memory (RAM) (not shown) and read memory (ROM) that temporarily and/or permanently store signals (or data) processed within the processor 110. -Only Memory, not shown) may be further included. Additionally, the processor 110 may be implemented in the form of a system on chip (SoC) that includes at least one of a graphics processing unit, RAM, and ROM.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다. Memory 120 stores various data, commands and/or information. Memory 120 may load a computer program 151 from storage 150 to execute methods/operations according to various embodiments of the present invention. When the computer program 151 is loaded into the memory 120, the processor 110 can perform the method/operation by executing one or more instructions constituting the computer program 151. The memory 120 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다. Bus 130 provides communication functionality between components of computing device 100. The bus 130 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.The communication interface 140 supports wired and wireless Internet communication of the computing device 100. Additionally, the communication interface 140 may support various communication methods other than Internet communication. To this end, the communication interface 140 may be configured to include a communication module well known in the technical field of the present invention. In some embodiments, communication interface 140 may be omitted.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 인공지능 기반의 생체 데이터 품질 평가 프로세스를 수행하는 경우, 스토리지(150)는 인공지능 기반의 생체 데이터 품질 평가 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다. Storage 150 may store the computer program 151 non-temporarily. When performing an artificial intelligence-based biometric data quality evaluation process through the computing device 100, the storage 150 can store various information necessary to provide an artificial intelligence-based biometric data quality evaluation process.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 150 is a non-volatile memory such as Read Only Memory (ROM), Erasable Programmable ROM (EPROM), Electrically Erasable Programmable ROM (EEPROM), flash memory, a hard disk, a removable disk, or a device well known in the art to which the present invention pertains. It may be configured to include any known type of computer-readable recording medium.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.The computer program 151, when loaded into the memory 120, may include one or more instructions that cause the processor 110 to perform methods/operations according to various embodiments of the present invention. That is, the processor 110 can perform the method/operation according to various embodiments of the present invention by executing the one or more instructions.
일 실시예에서, 컴퓨터 프로그램(151)은 대상의 생체 데이터를 획득하는 단계 및 기 학습된 인공지능 모델을 이용하여 획득된 생체 데이터의 품질을 평가하는 단계를 포함하는 인공지능 기반의 생체 데이터 품질 평가 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.In one embodiment, the computer program 151 evaluates the quality of biometric data based on artificial intelligence, including acquiring biometric data of a subject and evaluating the quality of the acquired biometric data using a previously learned artificial intelligence model. It may contain one or more instructions to perform a method.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 도 17을 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 인공지능 기반의 생체 데이터 품질 평가 방법에 대해 보다 구체적으로 설명하도록 한다.The components of the present invention may be implemented as a program (or application) and stored in a medium in order to be executed in conjunction with a hardware computer. Components of the invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented as combinations of data structures, processes, routines or other programming constructs, such as C, C++, , may be implemented in a programming or scripting language such as Java, assembler, etc. Functional aspects may be implemented as algorithms running on one or more processors. Hereinafter, with reference to FIGS. 3 to 17 , the artificial intelligence-based biometric data quality evaluation method performed by the computing device 100 will be described in more detail.
도 3은 본 발명의 또 다른 실시예에 따른 인공지능 기반의 생체 데이터 품질 평가 방법의 순서도이다.Figure 3 is a flow chart of an artificial intelligence-based biometric data quality evaluation method according to another embodiment of the present invention.
도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 대상의 생체 데이터를 획득할 수 있다. 여기서, 대상의 생체 데이터는 광전용적맥파 측정 장치를 통해 대상으로부터 수집되는 정현파 형태의 광전용적맥파(Photoplethysmography, PPG) 데이터일 수 있으나, 이에 한정되지 않는다.Referring to FIG. 3, in step S110, the computing device 100 may acquire biometric data of the target. Here, the subject's biological data may be sinusoidal photoplethysmography (PPG) data collected from the subject through a photoplethysmography device, but is not limited thereto.
다양한 실시예에서, 컴퓨팅 장치(100)는 광전용적맥파 측정 장치와 연결될 수 있으며, 광전용적맥파 측정 장치를 통해 실시간으로 측정되는 환자의 PPG 데이터를 획득할 수 있으나, 이에 한정되지 않고, 컴퓨팅 장치(100)는 광전용적맥파 측정 장치를 통해 사전에 측정 및 저장된 복수의 PPG 데이터 중 품질을 평가하고자 하는 적어도 하나의 PPG 데이터를 업로드받을 수 있다.In various embodiments, the computing device 100 may be connected to a photovoltaic pulse wave measuring device and may acquire the patient's PPG data measured in real time through the photovoltaic pulse wave measuring device, but is not limited to this, and the computing device ( 100) can upload at least one PPG data whose quality is to be evaluated among a plurality of PPG data previously measured and stored through a photoelectric pulse wave measuring device.
S120 단계에서, 컴퓨팅 장치(100)는 S110 단계를 거쳐 획득된 환자의 생체 데이터를 전처리할 수 있다. 이하, 도 4 내지 도 10을 참조하여 보다 구체적으로 설명하도록 한다.In step S120, the computing device 100 may preprocess the patient's biometric data obtained through step S110. Hereinafter, it will be described in more detail with reference to FIGS. 4 to 10.
도 4는 다양한 실시예에서, 생체 데이터 값 변화량을 이용하여 생체 데이터를 전처리하는 방법을 설명하기 위한 순서도이다.FIG. 4 is a flowchart illustrating a method of preprocessing biometric data using the amount of change in biometric data values, in various embodiments.
다양한 실시예에서, 컴퓨팅 장치(100)는 환자의 생체 데이터가 연속되는 복수의 시점 각각에서의 복수의 생체 데이터 값을 포함하는 경우, 복수의 시점 각각에서의 생체 데이터 값과 복수의 시점 각각의 이전 시점에서의 생체 데이터 값의 차분(Differencing)을 산출함으로써, 복수의 시점 각각에 대한 생체 데이터 값 변화량을 산출할 수 있다.In various embodiments, when the patient's biometric data includes a plurality of biometric data values at each of a plurality of consecutive time points, the computing device 100 is configured to By calculating the differential of biometric data values at each viewpoint, the amount of change in biometric data values for each of a plurality of viewpoints can be calculated.
예컨대, 컴퓨팅 장치(100)는 특정 시점에서의 생체 데이터 값과 특정 시점 이전의 시점에서의 생체 데이터 값의 차이를 산출함으로써, 특정 시점에 대한 생체 데이터 변화량을 산출할 수 있고, 특정 시점에서의 생체 데이터 값과 특정 시점 이후의 시점에서의 생체 데이터 값의 차이를 산출함으로써, 특정 시점 이후의 시점에 대한 생체 데이터 변화량을 산출할 수 있다.For example, the computing device 100 can calculate the amount of change in biometric data for a specific point in time by calculating the difference between the biometric data value at a specific point in time and the biometric data value at a point in time before the specific point in time. By calculating the difference between the data value and the biometric data value at a point in time after a specific point in time, the amount of change in biometric data for a point in time after a specific point in time can be calculated.
S220 단계에서, 컴퓨팅 장치(100)는 S210 단계를 거쳐 산출된 생체 데이터 값 변화량에 기초하여, 환자의 생체 데이터를 전처리할 수 있다.In step S220, the computing device 100 may preprocess the patient's biometric data based on the amount of change in biometric data value calculated through step S210.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 시점 각각에 대한 생체 데이터 변화량에 기초하여, 복수의 시점 중 상호 인접한 시점들과의 생체 데이터 값의 차이가 임계 값 이상인 시점을 식별하고, 식별된 시점에서의 생체 데이터 값을 보정할 수 있다.In various embodiments, the computing device 100 identifies a time point at which the difference in biometric data values between adjacent time points among the plurality of time points is greater than or equal to a threshold value, based on the amount of change in biometric data for each of the plurality of time points, and identifies the identified time point. Biometric data values at the point in time can be corrected.
보다 구체적으로, 먼저, 컴퓨팅 장치(100)는 복수의 시점 중 상호 인접한 시점들과의 생체 데이터 값의 차이가 임계 값 이상인 시점을 식별함으로써, 노이즈로 인해 생체 데이터 값이 급격하게 상승하거나, 생체 데이터 값이 급격하게 하강한 시점을 식별할 수 있다. 예컨대, 컴퓨팅 장치(100)는 제1 시점에서의 제1 생체 데이터 값과 제1 시점 이전의 제2 시점에서의 제2 생체 데이터 값의 차이가 임계 값 이상이고, 제1 시점에서의 제1 생체 데이터 값과 제1 시점 이후의 제3 시점에서의 제3 생체 데이터 값의 차이 또한 임계 값 이상인 경우, 제1 시점을 노이즈로 인해 급격하게 상승하거나 급격하게 하강한 시점으로 식별할 수 있다. 그러나, 이에 한정되지 않는다.More specifically, first, the computing device 100 identifies a time point where the difference in biometric data value between adjacent time points among a plurality of time points is greater than or equal to a threshold value, thereby preventing the biometric data value from rapidly rising due to noise or You can identify when the value drops sharply. For example, the computing device 100 may determine that the difference between the first biometric data value at the first time point and the second biometric data value at the second time point before the first time point is greater than or equal to a threshold value, and the first biometric data value at the first time point is If the difference between the data value and the third biometric data value at the third time point after the first time point is also greater than or equal to the threshold, the first time point can be identified as a time point when the data value suddenly rises or falls rapidly due to noise. However, it is not limited to this.
이후, 컴퓨팅 장치(100)는 노이즈로 인해 급격하게 상승하거나 급격하게 하강한 시점에서의 생체 데이터 값을 초기화할 수 있다. 예컨대, 컴퓨팅 장치(100)는 상술된 바와 같이, 노이즈로 인해 급격하게 상승하거나 급격하게 하강한 시점으로서 제1 시점이 식별된 경우, 제1 시점에서의 제1 생체 데이터 값을 초기화할 수 있다.Thereafter, the computing device 100 may initialize the biometric data value at the point in time when it suddenly rises or falls suddenly due to noise. For example, as described above, when the first time point is identified as a time point when the data suddenly rises or falls rapidly due to noise, the computing device 100 may initialize the first biometric data value at the first time point.
여기서, 제1 생체 데이터 값을 초기화하는 것은 제1 생체 데이터 값을 표현 불가능한 수치형 결과를 나타내는 값(예컨대, NaN(Not a Number) 값)으로 변경하는 것을 의미할 수 있으나, 이에 한정되지 않는다.Here, initializing the first biometric data value may mean changing the first biometric data value to a value representing a numerical result that cannot be expressed (eg, a NaN (Not a Number) value), but is not limited to this.
이후, 컴퓨팅 장치(100)는 특정 시점에서의 생체 데이터 값이 초기화된 경우, 특정 시점 전후 시점에서의 생체 데이터 값들을 이용하여 특정 시점에서의 생체 데이터 값을 보정할 수 있다. 예컨대, 컴퓨팅 장치(100)는 상술된 바와 같이, 제1 시점에서의 제1 생체 데이터 값이 초기화된 경우, 제1 시점 이전의 제2 시점에서의 제2 생체 데이터 값과 제1 시점 이후의 제3 시점에서의 제3 생체 데이터 값을 보간(예컨대, 선형 보간법(Linear interpolation), 다항식 보간법(Polynomial interpolation) 및 스플라인 보간법(Spline interpolation) 등)함으로써, 제1 생체 데이터 값을 보정할 수 있다.Thereafter, when the biometric data value at a specific point in time is initialized, the computing device 100 may correct the biometric data value at a specific point in time using biometric data values before and after the specific point in time. For example, as described above, when the first biometric data value at the first time point is initialized, the computing device 100 may configure the second biometric data value at a second time point before the first time point and the first biometric data value after the first time point. The first biometric data value can be corrected by interpolating the third biometric data value at three points in time (e.g., linear interpolation, polynomial interpolation, spline interpolation, etc.).
도 5는 다양한 실시예에서, 복수의 단위 생체 데이터가 결합된 생체 데이터를 전처리하는 방법을 설명하기 위한 순서도이다.FIG. 5 is a flowchart illustrating a method of preprocessing biometric data in which a plurality of units of biometric data are combined in various embodiments.
도 5를 참조하면, S310 단계에서, 컴퓨팅 장치(100)는 복수의 단위 생체 데이터를 결합하여 하나의 생체 데이터를 생성할 수 있다.Referring to FIG. 5 , in step S310, the computing device 100 may generate one biometric data by combining a plurality of units of biometric data.
여기서, 복수의 단위 생체 데이터는 대상으로부터 서로 다른 시간동안 수집된 생체 데이터를 의미할 수 있다.Here, the plurality of unit biometric data may refer to biometric data collected from the subject for different periods of time.
통상적으로 개안(eye-open) 시 뇌파와 폐안(eye-close) 시 뇌파가 달라지기 때문에 뇌파 측정 프로토콜은 개안 상태에서 뇌파를 측정하는 세션과 폐안 상태에서 뇌파를 측정하는 세션으로 구분되며, 대상에 대한 뇌파를 측정할 때에는 각각의 세션을 변경하며 개안 시 뇌파와 폐안 시 뇌파를 분할 측정한다.Since the EEG is usually different when the eyes are open (eye-open) and the EEG when the eyes are closed (eye-close), the EEG measurement protocol is divided into a session to measure EEG in the eyes-open state and a session to measure the EEG in the eye-closed state. When measuring brain waves, each session is changed and the brain waves when the eyes are opened and the brain waves when the eyes are closed are measured separately.
이때, 대상으로부터 뇌파와 PPG 데이터를 함께 측정할 경우, 뇌파 측정을 위해 세션을 변경하는 동안 PPG 데이터 역시 측정이 중단되며, 이에 따라, 하나의 PPG 데이터가 측정되지 않고, 둘 이상의 단위 PPG 데이터가 생성된다.At this time, when EEG and PPG data are measured together from the subject, the PPG data measurement is also stopped while changing the session for EEG measurement, and as a result, one PPG data is not measured and two or more unit PPG data are generated. do.
대상에 대한 PPG 데이터를 분석하여 대상을 진단하기 위해서는, 이러한 둘 이상의 단위 PPG 데이터를 연결하여 하나의 PPG 데이터를 생성할 필요성이 있는 바, 컴퓨팅 장치(100)는 둘 이상의 단위 PPG 데이터를 시간순으로 결합하여 하나의 PPG 데이터를 생성할 수 있다.In order to analyze the PPG data for the target and diagnose the target, it is necessary to connect two or more unit PPG data to generate one PPG data, and the computing device 100 combines the two or more unit PPG data in chronological order. Thus, one PPG data can be generated.
예컨대, 복수의 단위 생체 데이터는 제1 시점부터 소정의 기간 동안 측정된 제1 단위 생체 데이터와 제2 단위 생체 데이터의 측정이 종료된 후 소정의 시간이 지난 제2 시점부터 소정의 기간 동안 측정된 제2 단위 생체 데이터를 포함할 수 있으며, 컴퓨팅 장치(100)는 제1 생체 단위 생체 데이터와 제2 단위 생체 데이터를 연결하여 하나의 생체 데이터를 생성할 수 있다.For example, the plurality of unit biometric data includes first unit biometric data measured over a predetermined period from a first point in time and a predetermined period of time from a second point in time after the measurement of the second unit biometric data ends. It may include second unit biometric data, and the computing device 100 may connect the first biometric unit biometric data and the second unit biometric data to generate one biometric data.
S320 단계에서, 컴퓨팅 장치(100)는 S310 단계를 거쳐 생성된 하나의 생체 데이터로부터 보정이 필요한 시점을 식별할 수 있다.In step S320, the computing device 100 may identify a point in time when correction is needed from one piece of biometric data generated through step S310.
둘 이상의 단위 PPG 데이터를 연결하여 하나의 PPG 데이터를 생성할 때, 서로 다른 둘 이상의 단위 PPG 데이터가 서로 다른 시점에 측정된 것이기 때문에 도 6에 도시된 바와 같이 서로 다른 둘 이상의 단위 PPG 데이터가 연결되는 부분이 급격한 차이를 보일 수 있으며, 이를 단순히 연결할 경우, 노이즈가 포함된 PPG 데이터가 생성될 수 있다는 문제가 있다.When two or more unit PPG data are connected to generate one PPG data, since the two or more different unit PPG data are measured at different times, as shown in FIG. 6, the two or more different unit PPG data are connected. There is a problem that parts may show drastic differences, and if they are simply connected, PPG data containing noise may be generated.
이러한 점을 고려하여, 컴퓨팅 장치(100)는 복수의 단위 생체 데이터를 결합하여 연결된 생체 데이터로부터, 보정이 필요한 시점 즉, 급격한 차이를 가지는 단위 생체 데이터가 연결된 시점을 식별할 수 있다.In consideration of this, the computing device 100 may combine a plurality of unit biometric data to identify a point in time when correction is needed, that is, a point in time when unit biometric data with a sharp difference is connected from the connected biometric data.
다양한 실시예에서, 컴퓨팅 장치(100)는 서로 다른 둘 이상의 단위 생체 데이터가 연결된 복수의 시점 중 임계 값 이상의 차이를 가지는 생체 데이터가 연결된 시점을 보정이 필요한 시점으로 식별할 수 있다. 예컨대, 컴퓨팅 장치(100)는 제1 시점부터 소정의 기간 동안 측정된 제1 단위 생체 데이터 및 제1 단위 생체 데이터와 연결되며 제1 단위 생체 데이터의 측정이 종료된 후 소정의 시간이 지난 제2 시점부터 소정의 기간 동안 측정된 제2 단위 생체 데이터에 대하여, 제1 단위 생체 데이터의 마지막 생체 데이터 값과 제2 단위 생체 데이터의 첫번째 생체 데이터 값의 차이를 산출하고, 산출된 차이가 상기 임계 값 이상인 경우, 제1 단위 생체 데이터와 제2 단위 생체 데이터가 연결된 시점을 보정이 필요한 시점으로 식별할 수 있다.In various embodiments, the computing device 100 may identify a point in time at which biometric data having a difference greater than a threshold value, among a plurality of points in time at which two or more units of biometric data are linked, as a point in time requiring correction. For example, the computing device 100 is connected to the first unit biometric data and the first unit biometric data measured for a predetermined period from the first point in time, and the second unit biometric data is connected to the first unit biometric data a predetermined time after the measurement of the first unit biometric data ends. For the second unit biometric data measured over a predetermined period from the point in time, the difference between the last biometric data value of the first unit biometric data and the first biometric data value of the second unit biometric data is calculated, and the calculated difference is the threshold value. In the above case, the time when the first unit biometric data and the second unit biometric data are connected can be identified as the time when correction is required.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 단위 생체 데이터가 연결된 하나의 생체 데이터에 대하여, 복수의 시점 각각의 생체 데이터와 복수의 시점 각각의 이전 시점에서의 생체 데이터 값의 차분을 산출하고, 산출된 차분이 임계 값 이상인 시점을 보정이 필요한 시점으로 식별할 수 있다.In various embodiments, the computing device 100 calculates the difference between the biometric data at each of the plurality of time points and the biometric data value at the previous time point before each of the plurality of time points, with respect to one piece of biometric data in which a plurality of units of biometric data are connected. , the point in time when the calculated difference is above the threshold can be identified as the point in time when correction is necessary.
S330 단계에서, 컴퓨팅 장치(100)는 S320 단계를 거쳐 식별된 시점에서의 생체 데이터 값을 전처리할 수 있다.In step S330, the computing device 100 may preprocess biometric data values at the identified time point through step S320.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 단위 생체 데이터의 마지막 생체 데이터 값과 제2 단위 생체 데이터의 첫번째 생체 데이터 값의 차이가 임계 값 이상인 경우, 제2 단위 생체 데이터의 첫번째 생체 데이터 값을 보정하고, 보정된 제2 단위 생체 데이터의 첫번째 생체 데이터와 제2 생체 데이터에 포함된 첫번째 생체 데이터 값을 보간할 수 있다.In various embodiments, the computing device 100 determines the first biometric data value of the second unit of biometric data when the difference between the last biometric data value of the first unit of biometric data and the first biometric data value of the second unit of biometric data is greater than or equal to a threshold value. may be corrected, and the first biometric data of the corrected second unit biometric data and the first biometric data value included in the second biometric data may be interpolated.
예컨대, 컴퓨팅 장치(100)는 도 6에 도시된 바와 같이, 제2 단위 생체 데이터의 첫번째 생체 데이터 값을 제1 단위 생체 데이터의 마지막 생체 데이터 값과 동일한 값으로 보정하고, 보간법(예컨대, 선형 보간법, 다항식 보간법, 스플라인 보간법 등)에 따라 제1 단위 생체 데이터의 마지막 생체 데이터 값과 보정된 제2 단위 생체 데이터의 첫번째 생체 데이터 값을 보간함으로써, 제1 단위 생체 데이터와 제2 단위 생체 데이터를 부드러운 곡선 형태로 연결할 수 있다.For example, as shown in FIG. 6, the computing device 100 corrects the first biometric data value of the second unit biometric data to the same value as the last biometric data value of the first unit biometric data, and uses an interpolation method (e.g., linear interpolation). , polynomial interpolation, spline interpolation, etc.), by interpolating the last biometric data value of the first unit biometric data and the first biometric data value of the corrected second unit biometric data, the first unit biometric data and the second unit biometric data are smoothed. It can be connected in a curved shape.
여기서, 컴퓨팅 장치(200)가 제2 단위 생체 데이터의 첫번째 생체 데이터 값을 제1 단위 생체 데이터의 마지막 생체 데이터 값과 동일한 값으로 보정하는 것으로 설명하고 있으나, 이에 한정되지 않고, 경우에 따라 제1 단위 생체 데이터의 마지막 생체 데이터 값을 제2 단위 생체 데이터의 첫번째 생체 데이터 값과 동일한 값으로 보정할 수 있다.Here, it is explained that the computing device 200 corrects the first biometric data value of the second unit of biometric data to the same value as the last biometric data value of the first unit of biometric data, but the present invention is not limited to this, and in some cases, the first biometric data value is corrected to the same value as the last biometric data value of the first unit of biometric data. The last biometric data value of the unit biometric data may be corrected to the same value as the first biometric data value of the second unit biometric data.
도 7은 다양한 실시예에서, 피크 현저도를 이용하여 생체 데이터를 전처리하는 방법을 설명하기 위한 순서도이다.FIG. 7 is a flowchart illustrating a method of preprocessing biometric data using peak saliency in various embodiments.
도 7을 참조하면, S410 단계에서, 컴퓨팅 장치(100)는 환자의 생체 데이터를 이용하여 피크 현저도 히스토그램을 생성할 수 있다. 예컨대, 컴퓨팅 장치(100)는 환자로부터 수집되는 생체 데이터가 정현파 형태의 PPG 데이터인 경우, 정현파 형태의 PPG 데이터를 분석하여 PPG 데이터에 포함된 복수의 피크를 식별할 수 있고, 식별된 복수의 피크 각각에 대한 복수의 피크 현저도를 산출할 수 있으며, 산출된 복수의 피크 현저도를 이용하여 피크 현저도 히스토그램을 생성할 수 있다.Referring to FIG. 7 , in step S410, the computing device 100 may generate a peak saliency histogram using the patient's biometric data. For example, when the biometric data collected from the patient is PPG data in the form of a sinusoidal wave, the computing device 100 may identify a plurality of peaks included in the PPG data by analyzing the PPG data in the form of a sinusoidal wave, and may identify a plurality of peaks included in the PPG data. Multiple peak saliencies can be calculated for each, and a peak saliency histogram can be generated using the calculated multiple peak saliencies.
여기서, 피크 현저도(Peak Prominence)는 피크(Peak)의 고점과 저점의 높이 차이를 의미할 수 있다. 예컨대, 도 8을 참조하면, 제1 피크와 제2 피크를 포함하는 구간에 있어서, 제2 피크의 피크 현저도는 제2 피크의 높이 값과 제1 피크와 제2 피크를 포함하는 구간에서의 저점의 높이 값의 차이 값을 의미할 수 있다.Here, peak prominence may mean the difference in height between the high and low points of the peak. For example, referring to Figure 8, in the section including the first peak and the second peak, the peak prominence of the second peak is the height value of the second peak and the section including the first peak and the second peak. It may mean the difference between the height values of the low points.
또한, 여기서, 피크 현저도 히스토그램은 도 10에 도시된 바와 같이, 사전에 설정된 피크 현저도 크기에 따라 복수의 피크 현저도 구간을 설정하고, 복수의 피크 현저도 구간별로 피크 현저도 개수를 카운팅함에 따라 생성되는 것일 수 있으나, 이에 한정되지 않는다.In addition, here, as shown in FIG. 10, the peak saliency histogram sets a plurality of peak saliency sections according to a preset peak saliency size and counts the number of peak saliency sections for each of the multiple peak saliency sections. It may be generated accordingly, but is not limited to this.
S420 단계에서, 컴퓨팅 장치(100)는 S410 단계를 거쳐 생성된 피크 현저도 히스토그램을 이용하여 기준 피크 현저도를 설정할 수 있다.In step S420, the computing device 100 may set a reference peak saliency using the peak saliency histogram generated through step S410.
다양한 실시예에서, 컴퓨팅 장치(100)는 피크 현저도 히스토그램을 분석하여 소정의 패턴을 가지는 피크 현저도 구간을 식별하고, 식별된 피크 현저도 구간에 대응하는 피크 현저도를 기준 피크 현저도로 설정할 수 있다.In various embodiments, the computing device 100 may analyze the peak saliency histogram to identify a peak saliency section having a predetermined pattern, and set the peak saliency corresponding to the identified peak saliency section as the reference peak saliency. there is.
정현파 형태의 PPG 데이터를 기반으로 환자의 상태를 진단하기 위해서는, PPG 데이터에서 피크에 대응하는 포인트들을 식별하고, 식별된 포인트들에 대한 속성(예컨대, 피크의 값, 피크 간 거리(RR peak) 등)을 분석하는 과정이 필요한데, 통상적으로 피크에 대응하는 포인트는 인접한 값들 과의 차이 또는 변화량을 기반으로 식별되는 것이기 때문에, 도 9에 도시된 바와 같이 피크에 대응하는 포인트뿐만 아니라 밸리(Valley)에 대응하는 포인트들도 함께 식별될 수 있다.In order to diagnose the patient's condition based on sinusoidal PPG data, points corresponding to peaks in the PPG data are identified, and properties for the identified points (e.g., peak value, distance between peaks (RR peak), etc. ) is necessary. Typically, the point corresponding to the peak is identified based on the difference or amount of change from adjacent values, so as shown in FIG. 9, not only the point corresponding to the peak but also the valley Corresponding points can also be identified together.
밸리에 대응하는 포인트들의 경우, 피크에 대응하는 포인트들 대비 낮은 피크 현저도를 가지기 때문에 도 10에 도시된 바와 같이 피크 히스토그램 상의 낮은 피크 현저도 구간에서 독립적인 카운팅(Counting)이 생기고, 낮은 피크 현저도 구간에서 독립적인 카운팅이 생긴 이후, 일정 거리 이격된 피크 현저도 구간에 메인 분포(피크에 대응하는 포인트들의 피크 현저도 분포)가 생기는 패턴을 가진다는 것을 알 수 있다.In the case of points corresponding to valleys, since they have lower peak saliency compared to points corresponding to peaks, independent counting occurs in the low peak saliency section on the peak histogram, as shown in Figure 10, and low peak saliency It can be seen that after independent counting occurs in the degree section, there is a pattern in which the main distribution (peak saliency distribution of points corresponding to the peak) occurs in the peak saliency section spaced a certain distance apart.
이러한 점을 고려하여, 컴퓨팅 장치(100)는 상기와 같이 밸리에 대응하는 포인트들이 보이는 패턴을 가지는 구간을 식별하고, 이를 기반으로 기준 피크 현저도를 설정할 수 있다. 예컨대, 컴퓨팅 장치(100)는 상호 인접한 3개의 피크 현저도 구간에 대하여, 첫번째 피크 현저도 구간에 대한 카운팅 값이 0이 아닌 값을 가지고, 두번째 피크 현저도 구간과 세번째 피크 현저도 구간에 대한 카운팅 값이 0인 경우, 세번째 피크 현저도 구간에 대응하는 피크 현저도를 기준 피크 현저도로 설정할 수 있다.Considering this, the computing device 100 may identify a section having a pattern in which points corresponding to the valley are visible as described above and set the reference peak saliency based on this. For example, the computing device 100 has a counting value for the first peak saliency section other than 0 for three adjacent peak saliency sections, and counts the second peak saliency section and the third peak saliency section. If the value is 0, the peak saliency corresponding to the third peak saliency section can be set as the reference peak saliency.
S430 단계에서, 컴퓨팅 장치(100)는 S420 단계를 거쳐 설정된 기준 피크 현저도를 이용하여 생체 데이터를 전처리할 수 있다. 예컨대, 컴퓨팅 장치(100)는 환자의 생체 데이터로부터 피크에 대응하는 포인트들을 식별하고, 식별된 포인트들 중 피크 현저도가 기준 피크 현저도 미만인 포인트를 삭제함으로써, 밸리에 대응하는 포인트를 필터링할 수 있다.In step S430, the computing device 100 may preprocess the biometric data using the reference peak saliency set through step S420. For example, the computing device 100 may filter the points corresponding to the valley by identifying points corresponding to the peak from the patient's biometric data and deleting points whose peak saliency is less than the reference peak saliency among the identified points. there is.
다시, 도 3을 참조하면, S130 단계에서, 컴퓨팅 장치(100)는 S120 단계를 거쳐 전처리된 생체 데이터를 분석함으로써, 환자의 생체 데이터의 품질을 평가할 수 있다.Referring again to FIG. 3 , in step S130, the computing device 100 may evaluate the quality of the patient's biometric data by analyzing the biometric data preprocessed through step S120.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델을 이용하여 전처리된 생체 데이터를 분석함으로써, 전처리된 생체 데이터에 노이즈를 검출할 수 있고, 전처리된 생체 데이터로부터 노이즈가 검출되는지에 따라 생체 데이터의 품질을 평가할 수 있다.In various embodiments, the computing device 100 may detect noise in the pre-processed biometric data by analyzing the pre-processed biometric data using a previously learned artificial intelligence model, and determine whether noise is detected from the pre-processed biometric data. Accordingly, the quality of biometric data can be evaluated.
여기서, 기 학습된 인공지능 모델은 생체 데이터의 차원을 축소하고, 차원이 축소된 생체 데이터로부터 노이즈가 검출되는지에 따라 생체 데이터의 품질을 평가하는 모델일 수 있다.Here, the previously learned artificial intelligence model may be a model that reduces the dimension of biometric data and evaluates the quality of the biometric data depending on whether noise is detected from the reduced-dimensional biometric data.
일례로, 기 학습된 인공지능 모델은 도 11에 도시된 바와 같이 오토 인코더(Auto encoder)(10)를 포함할 수 있다.For example, a previously learned artificial intelligence model may include an auto encoder 10, as shown in FIG. 11.
여기서, 오토 인코더(10)는 입력 데이터와 동일 또는 유사한 출력 데이터를 출력하기 위한 인공 신경망일 수 있다.Here, the auto-encoder 10 may be an artificial neural network for outputting output data that is the same or similar to input data.
오토 인코더(10)는 히든 레이어로서 하나 이상의 차원 축소 레이어를 포함하는 인코더(Encoder)와 히든 레이어로서 하나 이상의 차원 복원 레이어를 포함하는 디코더(Decoder)를 포함할 수 있다.The auto-encoder 10 may include an encoder including one or more dimension reduction layers as a hidden layer and a decoder including one or more dimension restoration layers as a hidden layer.
이때, 하나 이상의 차원 축소 레이어와 하나 이상의 차원 복원 레이어를 포함하는 히든 레이어는 입력 레이어와 출력 레이어 사이에 배치되되, 홀수 개의 히든 레이어가 입력 레이어와 출력 레이어 사이에 배치될 수 있다.At this time, a hidden layer including one or more dimension reduction layers and one or more dimension restoration layers is placed between the input layer and the output layer, but an odd number of hidden layers may be placed between the input layer and the output layer.
인코더가 복수의 차원 축소 레이어를 포함할 때, 복수의 차원 축소 레이어 각각에 포함된 노드 수는 입력 레이어에서 병목 레이어(코딩층)라는 중간 레이어 방향으로 점차 감소하는 형태(예컨대, 입력 레이어에서 멀어질수록 노드의 수가 감소하는 구조)로 구현될 수 있다.When the encoder includes multiple dimension reduction layers, the number of nodes included in each of the multiple dimension reduction layers gradually decreases from the input layer toward an intermediate layer called the bottleneck layer (coding layer) (e.g., moving away from the input layer). It can be implemented in a structure where the number of nodes decreases as the number increases.
또한, 디코더가 복수의 차원 복원 레이어를 포함할 때, 복수의 차원 복원 레이어 각각에 포함된 노드 수는 병목 레이어에서 출력 레이어 방향으로 점차 증가하는 형태(예컨대, 출력 레이어와 가까워질수록 노드의 수가 증가하는 구조)로 구현될 수 있다.In addition, when the decoder includes a plurality of dimensional restoration layers, the number of nodes included in each of the plurality of dimensional restoration layers gradually increases from the bottleneck layer to the output layer (e.g., the number of nodes increases as it gets closer to the output layer). structure) can be implemented.
즉, 인코더에 포함된 복수의 차원 축소 레이어의 노드 수는 병목 레이어 방향으로 점차 감소하는 형태를 가지고, 디코더에 포함된 복수의 차원 복원 레이어의 노드 수는 출력 레이어 방향으로 점차 증가하는 형태를 가지며, 이에 따라 인코더에 포함된 복수의 차원 축소 레이어와 디코더에 포함된 복수의 차원 복원 레이어는 병목 레이어를 기준으로 상호 대칭인 형태로 구현될 수 있다. 그러나, 이에 한정되지 않는다.That is, the number of nodes in the plurality of dimension reduction layers included in the encoder gradually decreases in the direction of the bottleneck layer, and the number of nodes in the plurality of dimension restoration layers included in the decoder gradually increases in the output layer direction, Accordingly, the plurality of dimension reduction layers included in the encoder and the plurality of dimension restoration layers included in the decoder can be implemented in a symmetrical form with respect to the bottleneck layer. However, it is not limited to this.
여기서, 고차원 생체 데이터를 차원을 축소하여 2차원 생체 데이터를 생성하기 위한 목적으로, 도 11에 도시된 오토 인코더(10)의 병목 레이어는 2개의 노드를 포함할 수 있으나, 이는 하나의 예시일 뿐, 병목 레이어에 포함된 노드의 개수는 이에 한정되지 않는다.Here, for the purpose of generating two-dimensional biometric data by reducing the dimension of high-dimensional biometric data, the bottleneck layer of the autoencoder 10 shown in FIG. 11 may include two nodes, but this is only an example. , the number of nodes included in the bottleneck layer is not limited to this.
다양한 실시예에서, 오토 인코더(10)는 노이즈가 포함되지 않은 복수의 생체 데이터(즉, 정상적인 생체 데이터)를 학습 데이터로 하여 비지도 학습(unsupervised learning) 기반으로 학습된 모델일 수 있다.In various embodiments, the autoencoder 10 may be a model learned based on unsupervised learning using a plurality of biometric data without noise (i.e., normal biometric data) as learning data.
여기서, 오토 인코더(10)의 학습은 출력의 오류를 최소화하기 위한 것이다. 오토 인코더(10)의 학습에서 반복적으로 학습 데이터를 오토 인코더(10)에 입력시키고 학습 데이터에 대한 오토 인코더(10)의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 오토 인코더(10)의 에러를 오토 인코더(10)의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 오토 인코더(10)의 각 노드의 가중치를 업데이트 하는 과정이다.Here, the learning of the auto encoder 10 is to minimize output errors. In learning of the auto encoder (10), learning data is repeatedly input into the auto encoder (10), the output of the auto encoder (10) and the error of the target for the learning data are calculated, and the auto encoder (10) is used in a direction to reduce the error. ) is a process of backpropagating the error from the output layer of the autoencoder 10 to the input layer to update the weight of each node of the autoencoder 10.
여기서, 비지도 학습은 정답이 레이블링되어 있지 않은 학습 데이터를 이용하여 학습시키는 방법을 의미할 수 있다. 예컨대, 지도 학습(supervised learning)의 경우의 정답이 레이블링된 학습 데이터를 인공지능 모델에 입력되고, 인공지능 모델의 출력과 학습 데이터의 레이블을 비교함으로써 오류(error)가 계산될 수 있다. 반편, 비지도 학습의 경우 정답이 레이블링되지 않은 학습 데이터가 인공지능 모델에 입력되고, 인공지능 모델의 출력과 입력된 학습 데이터를 비교함으로써 오류가 계산될 수 있다.Here, unsupervised learning may refer to a method of learning using learning data in which the correct answer is not labeled. For example, in the case of supervised learning, learning data labeled with the correct answer is input to an artificial intelligence model, and an error can be calculated by comparing the output of the artificial intelligence model and the label of the learning data. On the other hand, in the case of unsupervised learning, learning data that is not labeled with the correct answer is input to the artificial intelligence model, and the error can be calculated by comparing the output of the artificial intelligence model and the input learning data.
계산된 오류는 인공지능 모델에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 인공지능 모델의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 인공지능 모델의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 인공지능 모델의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 인공지능 모델의 학습 초기에는 높은 학습률을 사용하여 인공지능 모델이 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.The calculated error is back-propagated in the artificial intelligence model in the reverse direction (i.e., from the output layer to the input layer), and the connection weight of each node in each layer of the artificial intelligence model can be updated according to back-propagation. The amount of change in the connection weight of each updated node may be determined according to the learning rate. The artificial intelligence model's calculation of input data and backpropagation of errors can constitute a learning cycle (epoch). The learning rate can be applied differently depending on the number of repetitions of the learning cycle of the artificial intelligence model. For example, in the early stages of training an artificial intelligence model, a high learning rate can be used to ensure that the artificial intelligence model quickly achieves a certain level of performance to increase efficiency, and in the later stages of training, a low learning rate can be used to increase accuracy.
다른 예로, 기 학습된 인공지능 모델은 도 12에 도시된 바와 같이 1차원 합성곱 신경망 모델(20) 및 오토 인코더(10)를 포함할 수 있으며, 1차원 합성곱 신경망 모델(20)과 오토 인코더(10)의 입력 레이어가 결합된 구조를 가질 수 있다.As another example, the previously learned artificial intelligence model may include a one-dimensional convolutional neural network model 20 and an auto encoder 10, as shown in FIG. 12, and the one-dimensional convolutional neural network model 20 and the auto encoder The input layers of (10) may have a combined structure.
즉, 대상의 생체 데이터가 1차원 합성곱 신경망 모델(20)에 입력됨에 따라 생체 데이터의 시계열 패턴에 대응하는 특징을 추출할 수 있고, 시계열 패턴에 대응하는 특징과 생체 데이터를 오토 인코더(10)에 입력함으로써, 오토 인코더(10)를 통해 생체 데이터에 대한 시계열적 패턴을 고려하여 저차원 생체 데이터를 생성할 수 있다.In other words, as the subject's biometric data is input into the one-dimensional convolutional neural network model (20), features corresponding to the time series pattern of the biometric data can be extracted, and the features and biometric data corresponding to the time series pattern are combined with the auto encoder (10). By inputting, low-dimensional biometric data can be generated by considering the time-series pattern of biometric data through the auto-encoder 10.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델을 이용하여 생체 데이터를 분석함으로써, 생체 데이터에 포함된 노이즈를 검출할 수 있고, 생체 데이터로부터 노이즈가 검출되는지에 따라 생체 데이터의 품질을 평가할 수 있다.In various embodiments, the computing device 100 may detect noise included in the biometric data by analyzing the biometric data using a previously learned artificial intelligence model, and determine the size of the biometric data depending on whether noise is detected from the biometric data. Quality can be evaluated.
보다 구체적으로, 도 13을 참조하면, 먼저, 컴퓨팅 장치(100)는 대상의 생체 데이터(전처리된 생체 데이터)를 오토 인코더(10)의 인코더에 입력함에 따라 저차원 생체 데이터를 생성할 수 있다. 여기서, 저차원 생체 데이터는 2차원 생체 데이터일 수 있으나, 이에 한정되지 않는다.More specifically, referring to FIG. 13, first, the computing device 100 may generate low-dimensional biometric data by inputting the target's biometric data (preprocessed biometric data) into the encoder of the auto encoder 10. Here, the low-dimensional biometric data may be two-dimensional biometric data, but is not limited thereto.
여기서, 컴퓨팅 장치(100)는 대상의 생체 데이터를 오토 인코더(10)에 입력할 수 있으나, 이에 한정되지 않고, 대상의 생체 데이터를 소정의 시간 단위(예컨대 4초 단위)로 윈도잉(windowing)을 수행하여, 소정의 시간 구간에 대응하는 생체 데이터만을 시계열에 따라 순차적으로 오토 인코더(10)의 인코더에 입력할 수 있다. 즉, 컴퓨팅 장치(100)는 생체 데이터를 시계열에 따라 일정 시간 구간으로 분할함으로써, 소정의 시간 구간에 대응하는 복수의 생체 데이터를 생성할 수 있고, 생성된 복수의 생체 데이터 각각을 입력 데이터로 하여 오토 인코더(10)의 인코더에 순차적으로 입력할 수 있다.Here, the computing device 100 may input the subject's biometric data into the auto encoder 10, but is not limited to this, and may window the subject's biometric data in predetermined time units (e.g., in units of 4 seconds). By performing , only biometric data corresponding to a predetermined time interval can be sequentially input into the encoder of the auto encoder 10 according to time series. That is, the computing device 100 can generate a plurality of biometric data corresponding to a predetermined time interval by dividing the biometric data into certain time sections according to the time series, and each of the generated plurality of biometric data is used as input data. It can be sequentially input to the encoder of the auto encoder (10).
이때, 오토 인코더(10)의 인코더에 순차적으로 입력되는 입력 데이터에 포함되는 생체 데이터는 적어도 일부분이 중복되는 형태로 구현될 수 있다. 예컨대 컴퓨팅 장치(100)는 소정의 시간 단위가 4초일 경우, 생체 데이터에 대하여 0초 내지 4초 구간에 대응하는 생체 데이터를 입력 데이터로 하여 오토 인코더(10)의 인코더에 입력할 수 있고, 이후 50% 구간이 중복된 생체 데이터 즉 2초 내지 6초 구간에 대응하는 생체 데이터를 입력 데이터로 하여 오토 인코더(10)의 인코더에 입력할 수 있다.At this time, the biometric data included in the input data sequentially input to the encoder of the auto encoder 10 may be implemented in a form where at least part of the biometric data is overlapped. For example, when the predetermined time unit is 4 seconds, the computing device 100 may input biometric data corresponding to a period of 0 to 4 seconds with respect to the biometric data into the encoder of the auto encoder 10, and then Biometric data with an overlapping 50% section, that is, biometric data corresponding to a 2 to 6 second section, can be input to the encoder of the auto encoder 10 as input data.
이후, 컴퓨팅 장치(100)는 저차원 생체 데이터에 포함된 복수의 생체 데이터 값을 클러스터링할 수 있다. 여기서, 클러스터링 알고리즘을 기반으로 복수의 데이터 값을 클러스터링함으로써, 하나 이상의 클러스터를 생성하는 방법에 대해서는 다양한 기술들이 공지되어 있고, 이러한 공지 기술들을 선택적으로 적용할 수 있는 바, 본 명세서에서는 복수의 생체 데이터 값을 클러스터링하는 구체적인 방법에 대해서는 서술하지 않는다.Thereafter, the computing device 100 may cluster a plurality of biometric data values included in the low-dimensional biometric data. Here, various techniques are known for methods of creating one or more clusters by clustering a plurality of data values based on a clustering algorithm, and these known techniques can be selectively applied. In this specification, a plurality of biometric data It does not describe specific methods for clustering values.
이후, 컴퓨팅 장치(100)는 복수의 생체 데이터 값을 클러스터링한 결과에 기초하여, 생체 데이터에 대한 노이즈 포함 여부를 판단할 수 있다.Thereafter, the computing device 100 may determine whether the biometric data contains noise based on the result of clustering the plurality of biometric data values.
일례로, 컴퓨팅 장치(100)는 복수의 생체 데이터 값을 클러스터링 함에 따라 하나의 클러스터가 생성되는 경우, 생체 데이터에 노이즈가 포함되지 않는 것으로 판단할 수 있고, 복수의 생체 데이터 값을 클러스터링 함에 따라 둘 이상의 클러스터가 생성되는 경우, 생체 데이터에 노이즈가 포함된 것으로 판단할 수 있다.For example, when one cluster is created by clustering a plurality of biometric data values, the computing device 100 may determine that the biometric data does not contain noise, and by clustering the plurality of biometric data values, the computing device 100 may determine that the biometric data does not contain noise. If the above clusters are generated, it may be determined that the biometric data contains noise.
다른 예로, 컴퓨팅 장치(100)는 복수의 생체 데이터 값을 클러스터링 함에 따라 하나의 클러스터가 생성되는 경우, 생체 데이터에 노이즈가 포함되지 않는 것으로 판단할 수 있고, 복수의 생체 데이터 값을 클러스터링 함에 따라 하나의 클러스터와 군집되지 못한 다수의 생체 데이터 값들이 다양한 영역에 분산되어 분포된 패턴을 보이는 경우, 생체 데이터에 노이즈가 포함된 것으로 판단할 수 있다.As another example, when one cluster is created by clustering a plurality of biometric data values, the computing device 100 may determine that the biometric data does not contain noise, and by clustering the plurality of biometric data values, the computing device 100 may determine that one cluster is generated by clustering the plurality of biometric data values. If a large number of biometric data values that are not clustered with the clusters show a distributed pattern in various areas, it can be determined that the biometric data contains noise.
정상적인 생체 데이터(예컨대, 노이즈가 포함되지 않은 생체 데이터)를 학습 데이터로 하여 오토 인코더(10)를 학습시킬 경우, 오토 인코더의 병목 레이어에서 출력되는 출력 데이터(Latent vector)는 정상적인 생체 데이터에 대한 압축된 정보를 내포할 수 있으며, 이러한 오토 인코더(10)에 노이즈가 포함된 생체 데이터를 입력할 경우, 도 13에 도시된 바와 같이 정상적인 생체 데이터에 대응하는 클러스터과 구별되는 또 다른 클러스터(노이즈에 대응하는 클러스터)가 생성되거나, 정상적인 생체 데이터 값들은 하나의 클러스터로 군집되되 노이즈에 대응하는 값들은 하나의 클러스터로 군집되지 못하고 다양한 영역에 분산되어 분포되는 형태가 형성될 수 있다.When training the autoencoder 10 using normal biometric data (e.g., biometric data without noise) as learning data, the output data (Latent vector) output from the bottleneck layer of the autoencoder is compressed for the normal biometric data. When biometric data containing noise is input to the auto encoder 10, another cluster (corresponding to noise) is distinguished from the cluster corresponding to normal biometric data, as shown in FIG. 13. Clusters) may be created, or normal biometric data values may be clustered into one cluster, but values corresponding to noise may not be clustered into one cluster but may be distributed in various areas.
즉, 컴퓨팅 장치(100)는 오토 인코더(10)를 통해 저차원 생체 데이터를 분석함에 따라 하나의 클러스터가 생성되는 경우, 정상적인 생체 데이터에 대응하는 클러스터만이 생성된 것으로 판단하여 생체 데이터에 노이즈가 포함되지 않은 것으로 판단할 수 있다.That is, when one cluster is generated as low-dimensional biometric data is analyzed through the auto encoder 10, the computing device 100 determines that only the cluster corresponding to normal biometric data has been created, so that the biometric data is free of noise. It can be judged as not included.
한편, 컴퓨팅 장치(100)는 오토 인코더(10)를 통해 저차원 생체 데이터를 분석함에 따라 둘 이상의 클러스터가 생성되거나, 하나의 클러스터와 군집되지 못한 다수의 생체 데이터 값이 다양한 영역에 분산되어 분포된 패턴을 보이는 경우, 생체 데이터에 노이즈가 포함된 것으로 판단할 수 있다. 이하, 생체 데이터에 대한 품질을 평가하는 또 다른 실시예로서, 피크 현저도 기반의 품질 평가 방법과 발산 히스토그램 기반의 품질 평가 방법에 대해 설명하도록 한다.Meanwhile, as the computing device 100 analyzes low-dimensional biometric data through the auto encoder 10, two or more clusters are created, or a plurality of biometric data values that are not clustered with one cluster are distributed in various areas. If a pattern is visible, it can be determined that the biometric data contains noise. Hereinafter, as another embodiment of evaluating the quality of biometric data, a quality evaluation method based on peak saliency and a quality evaluation method based on divergence histogram will be described.
아래에서 설명될 피크 현저도 기반의 품질 평가 방법과 발산 히스토그램 기반의 품질 평가 방법은 기 학습된 인공지능 모델 기반의 품질 평가 방법(예컨대, 도 3)과 별개로, 독립적으로 수행됨에 따라 생체 데이터에 대한 개별적인 품질 평가 결과를 도출하는 형태로 구현될 수 있고, 경우에 따라 기 학습된 인공지능 모델 기반의 품질 평가 방법에 따라 도출된 결과를 검증하거나, 보완하는 형태로 구현될 수 있다.The peak saliency-based quality evaluation method and the divergence histogram-based quality evaluation method, which will be described below, are performed independently from the previously learned artificial intelligence model-based quality evaluation method (e.g., Figure 3), so they are used in biometric data. It can be implemented in a form that derives individual quality evaluation results for each product, and in some cases, it can be implemented in a form that verifies or supplements the results derived according to a quality evaluation method based on a pre-learned artificial intelligence model.
일례로, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델 기반의 품질 평가 방법으로 도출된 결과와 피크 현저도 기반의 품질 평가 방법 및 발산 히스토그램 기반의 품질 평가 방법 각각으로 도출된 결과를 비교하여 기 학습된 인공지능 모델 기반의 품질 평가 방법으로 도출된 결과를 검증할 수 있다.For example, the computing device 100 compares the results derived from a quality evaluation method based on a previously learned artificial intelligence model with the results derived from a quality evaluation method based on peak saliency and a quality evaluation method based on divergence histogram, respectively. The results derived from the quality evaluation method based on the learned artificial intelligence model can be verified.
다른 예로, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델 기반의 품질 평가 방법으로 도출된 제1 품질 평가 결과(예: 도 17의 Type1), 피크 현저도 기반의 품질 평가 방법으로 도출된 제2 품질 평가 결과(예: 도 17의 Type2) 및 발산 히스토그램 기반의 품질 평가 방법으로 도출된 제3 품질 평가 결과(예: 도 17의 Type3)를 취합하여 생체 데이터에 대한 하나의 품질 평가 결과로 도출할 수 있다.As another example, the computing device 100 may provide a first quality evaluation result derived from a quality evaluation method based on a previously learned artificial intelligence model (e.g., Type 1 in FIG. 17) and a second quality evaluation result derived from a quality evaluation method based on peak saliency. The quality evaluation results (e.g., Type 2 in FIG. 17) and the third quality evaluation results (e.g., Type 3 in FIG. 17) derived from the divergence histogram-based quality evaluation method can be collected to form one quality evaluation result for biometric data. You can.
다양한 실시예에서, 컴퓨팅 장치(100)는 피크 현저도 기반의 품질 평가 방법에 따라 생체 데이터에 대한 품질을 평가할 수 있다.In various embodiments, the computing device 100 may evaluate the quality of biometric data according to a peak saliency-based quality evaluation method.
보다 구체적으로, 컴퓨팅 장치(100)는 대상의 생체 데이터에 포함된 복수의 피크 각각에 대응하는 피크 현저도에 기초하여, 생체 데이터에 포함된 노이즈를 검출할 수 있다.More specifically, the computing device 100 may detect noise included in the biometric data based on peak saliency corresponding to each of a plurality of peaks included in the subject's biometric data.
예컨대, 컴퓨팅 장치(100)는 생체 데이터를 기 설정된 시간 단위로 분할함에 따라 복수의 생체 데이터 구간을 생성할 수 있고, 복수의 생체 데이터 구간 각각에 대응하는 피크 현저도를 산출할 수 있으며, 산출된 복수의 피크 현저도와 임계 값을 비교하여 생체 데이터에 노이즈가 포함되어 있는지를 판단할 수 있다.For example, the computing device 100 may generate a plurality of biometric data sections by dividing the biometric data into preset time units, calculate peak saliency corresponding to each of the plurality of biometric data sections, and calculate the calculated peak saliency. By comparing a plurality of peak saliencies and a threshold value, it can be determined whether the biometric data contains noise.
통상적으로 대상에 대한 생체 데이터를 측정하기 위해서는 대상과 생체 데이터 측정 장치를 물리적으로 연결하는데, 생체 데이터 측정 장치가 오작동 하거나 또는 경우에 따라 대상과 생체 데이터 측정 장치가 제대로 연결이 되지 않을 경우, 생체 데이터가 제대로 수집되지 못할 수 있고, 이와 같이 생체 데이터가 제대로 수집되지 않는 경우, 생체 데이터가 아닌 데이터가 측정되는 경우가 있다.Typically, in order to measure biometric data about a subject, the subject and the biometric data measuring device are physically connected. However, if the biometric data measuring device malfunctions or, in some cases, the subject and the biometric data measuring device are not properly connected, the biometric data may not be collected properly, and in cases where biometric data is not properly collected, there are cases where data other than biometric data is measured.
이러한 생체 데이터가 아닌 데이터의 경우, 통상적으로 펄스(pulse)가 없는 신호의 형태를 가지기 때문에 도 14에 도시된 바와 같이 매우 작은 피크 현저도가 산출될 수 있다.In the case of data other than biometric data, since it typically has the form of a signal without pulses, a very small peak saliency can be calculated as shown in FIG. 14.
즉, 컴퓨팅 장치(100)는 생체 데이터로부터 분할된 복수의 생체 데이터 구간 중 피크 현저도가 임계 값 미만인 생체 데이터 구간이 존재하는 경우, 해당 생체 데이터 구간에 노이즈가 포함된 것, 즉, 해당 생체 데이터 구간에 생체 데이터가 아닌 데이터(펄스가 없는 신호)가 수집된 것으로 판단할 수 있다.That is, if there is a biometric data section whose peak saliency is less than the threshold among the plurality of biometric data sections divided from the biometric data, the computing device 100 determines that the corresponding biometric data section contains noise, that is, the corresponding biometric data section. It can be determined that data other than biometric data (signal without pulse) was collected in the section.
다양한 실시예에서, 컴퓨팅 장치(100)는 생체 데이터로부터 분할된 복수의 생체 데이터 구간 중 어느 하나의 생체 데이터 구간 내에 노이즈가 포함된 것으로 판단되는 경우, 어느 하나의 생체 데이터 구간 내에서 노이즈 구간을 특정할 수 있다. 예컨대, 컴퓨팅 장치(100)는 어느 하나의 생체 데이터 구간 내에 노이즈가 포함된 것으로 판단되는 경우, 어느 하나의 생체 데이터 구간을 복수의 단위 구간으로 분할하고, 복수의 단위 구간 각각에 대한 피크 현저도를 산출할 수 있으며, 복수의 단위 구간 중 피크 현저도가 임계 값 미만인 적어도 하나의 단위 구간을 노이즈 구간으로 특정할 수 있다.In various embodiments, when it is determined that noise is included in any one of the plurality of biometric data sections divided from biometric data, the computing device 100 specifies a noise section within any one of the biometric data sections. can do. For example, when it is determined that noise is included in one biometric data section, the computing device 100 divides one biometric data section into a plurality of unit sections and calculates the peak saliency for each of the plurality of unit sections. It can be calculated, and among a plurality of unit sections, at least one unit section whose peak saliency is less than the threshold can be specified as the noise section.
즉, 컴퓨팅 장치(100)는 특정 생체 데이터 구간 내에 노이즈가 포함되어 있는지 여부를 판단할 뿐만 아니라, 특정 생체 데이터 구간 내에서 노이즈가 포함된 구간을 특정함으로써, 추후 노이즈 구간으로 특정된 구간을 제거하여 노이즈가 포함되지 않은 정상적인 생체 데이터를 보다 빠르고 정확하게 확보할 수 있는 환경을 구축할 수 있다.That is, the computing device 100 not only determines whether noise is included in a specific biometric data section, but also specifies the section containing noise within the specific biometric data section, thereby removing the section specified as the noise section later. It is possible to create an environment in which normal biometric data without noise can be obtained more quickly and accurately.
다양한 실시예에서, 컴퓨팅 장치(100)는 발산 히스토그램 기반의 품질 평가 방법에 따라 생체 데이터에 대한 품질을 평가할 수 있다.In various embodiments, the computing device 100 may evaluate the quality of biometric data according to a divergence histogram-based quality evaluation method.
보다 구체적으로, 컴퓨팅 장치(100)는 생체 데이터에 대응하는 발산 히스토그램을 이용하여 생체 데이터에 포함된 노이즈를 검출할 수 있다.More specifically, the computing device 100 may detect noise included in the biometric data using a divergence histogram corresponding to the biometric data.
예컨대, 컴퓨팅 장치(100)는 생체 데이터에 대응하는 발산 히스토그램을 생성하고, 발산 히스토그램을 분석하여 발산 히스토그램에 포함된 복수의 발산 구간 중 소정의 패턴을 가지는 발산 구간이 있는지를 판단함으로써, 생체 데이터에 노이즈가 포함되어 있는지를 판단할 수 있다.For example, the computing device 100 generates a divergence histogram corresponding to biometric data, analyzes the divergence histogram, and determines whether there is a divergence section with a predetermined pattern among a plurality of divergence sections included in the divergence histogram, thereby It can be determined whether noise is included.
통상적으로, 도 15에 도시된 생체 데이터에 대응하는 발산 히스토그램을 보면, 생체 데이터에 포함된 특정 시점에서의 생체 데이터 값이 노이즈로 인해 급격하게 높은 값을 가지는 경우, 발산 히스토그램 상에서 메인 분포와 동떨어지는 구간에 독립적으로 카운팅이 생기는 바, 발산 히스토그램을 분석하여 발산 히스토그램에 포함된 복수의 발산 구간 중 카운팅 값이 0이 아니고, 인접한 발산 구간에 대응하는 카운팅 값이 0인 패턴을 가지는 발산 구간을 식별할 수 있고, 이러한 패턴을 가지는 발산 구간이 식별되는 경우, 식별된 발산 구간에 대응하는 생체 데이터의 구간에 노이즈가 포함된 것으로 판단할 수 있다.Typically, looking at the divergence histogram corresponding to the biometric data shown in FIG. 15, if the biometric data value at a specific time point included in the biometric data has a suddenly high value due to noise, the divergence histogram is far from the main distribution. Since counting occurs independently of the section, the divergence histogram can be analyzed to identify a divergence section that has a pattern in which the counting value is not 0 and the counting value corresponding to the adjacent divergence section is 0 among the plurality of divergence sections included in the divergence histogram. When a divergence section having this pattern is identified, it may be determined that the section of biometric data corresponding to the identified divergence section contains noise.
다양한 실시예에서, 컴퓨팅 장치(100)는 생체 데이터로부터 노이즈가 검출되는지 여부에 따라 생체 데이터에 대한 품질을 평가할 수 있고, 이에 따라 품질 평가 결과를 도출할 수 있다.In various embodiments, the computing device 100 may evaluate the quality of biometric data depending on whether noise is detected from the biometric data, and thereby derive a quality evaluation result.
여기서, 품질 평가 결과(Signal Quality Index, SQI)는 생체 데이터의 특정 구간(예컨대, 윈도잉된 소정의 시간 구간)에 대하여 노이즈가 검출되었는지를 판단한 결과로서, 예컨대 품질 평가 결과는 노이즈가 검출된 경우 1, 노이즈가 검출되지 않은 경우 0으로 출력될 수 있다.Here, the quality evaluation result (Signal Quality Index, SQI) is the result of determining whether noise is detected for a specific section (e.g., a windowed predetermined time section) of biometric data. For example, the quality evaluation result is a result of determining whether noise is detected. 1, if no noise is detected, it can be output as 0.
이와 같이, 전체 생체 데이터 구간에 대하여 도출된 품질 평가 결과는 도 17 및 18의 (C)에 도시된 바와 같이, 각각의 생체 데이터 구간에 대하여 노이즈가 포함되어 있는지 여부가 반영된 펄스파 형태의 그래프로 시각화될 수 있다.In this way, the quality evaluation results derived for the entire biometric data section are graphs in the form of pulse waves that reflect whether or not noise is included for each biometric data section, as shown in (C) of FIGS. 17 and 18. It can be visualized.
다양한 실시예에서, 컴퓨팅 장치(100)는 생체 데이터를 분석하여 특정 노이즈가 검출되는 경우, 생체 데이터에 특정 노이즈가 포함된 것으로 판단하되, 특정 노이즈가 검출된 기간이 기 설정된 기간 미만인 경우, 생체 데이터에 특정 노이즈가 포함되지 않은 것으로 판단할 수 있다. 예컨대, 컴퓨팅 장치(100)는 도 16에 도시된 바와 같이 생체 데이터를 분석함에 따라 특정 시점 또는 매우 짧은 구간에서 특정 노이즈가 검출되는 경우, 생체 데이터에 특정 노이즈가 포함되지 않은 것으로 판단할 수 있다.In various embodiments, the computing device 100 analyzes the biometric data and, if a specific noise is detected, determines that the biometric data contains a specific noise, but if the period during which the specific noise is detected is less than a preset period, the biometric data It can be determined that no specific noise is included. For example, as shown in FIG. 16 , the computing device 100 may determine that the biometric data does not contain the specific noise when a specific noise is detected at a specific point in time or in a very short section while analyzing the biometric data.
즉, 컴퓨팅 장치(100)는 생체 데이터에 포함된 모든 노이즈를 검출할 경우, 노이즈가 전혀 없는 생체 데이터를 확보할 수 있는 환경을 구축할 수 있으나, 현실적으로 노이즈가 전혀 없는 생체 데이터를 확보하기가 어렵고, 가능하다 하더라도 그 시간이 매우 오래 걸릴 수 있는 바, 환자를 진단함에 있어서 큰 문제를 야기하지 않는 노이즈(예컨대, 극히 짧은 시간동안 발생되는 노이즈)는 무시하고, 환자를 진단함에 있어서 문제를 발생시킬 가능성이 있는 노이즈(예컨대, 일정 기간이상 포함된 노이즈)만을 검출할 수 있다.In other words, when the computing device 100 detects all noise included in the biometric data, it is possible to build an environment in which biometric data free of noise can be secured. However, in reality, it is difficult to secure biometric data free of noise. , Even if it is possible, it may take a very long time, so noise that does not cause a major problem when diagnosing a patient (e.g., noise that occurs for an extremely short period of time) is ignored and has the possibility of causing problems when diagnosing a patient. Only noise that exists (for example, noise that is included over a certain period of time) can be detected.
예컨대, 컴퓨팅 장치(100)는 대상의 생체 데이터에 대하여, 소정의 시간 단위(예컨대 4초 단위)로 윈도잉을 수행하며 생체 데이터에 대한 노이즈를 검출하되, 일시적인 노이즈가 검출되는 경우, 일시적인 노이즈가 검출된 부분들을 선행 윈도우(preceding window)를 이용하여 제거할 수 있다.For example, the computing device 100 performs windowing on the subject's biometric data in predetermined time units (for example, in units of 4 seconds) and detects noise in the biometric data. However, when temporary noise is detected, the temporary noise is Detected parts can be removed using a preceding window.
전술한 품질이 검증된 생체 데이터 확보를 위한 인공지능 기반의 생체 데이터 품질 평가 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 품질이 검증된 생체 데이터 확보를 위한 인공지능 기반의 생체 데이터 품질 평가 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.The artificial intelligence-based biometric data quality evaluation method for securing biometric data with verified quality described above was explained with reference to the flow chart shown in the drawing. For simple explanation, the artificial intelligence-based biometric data quality evaluation method for securing quality-verified biometric data is illustrated as a series of blocks, but the present invention is not limited to the order of the blocks, and some blocks are included in the specification. It may be performed in a different order than that shown and performed in, or may be performed simultaneously. Additionally, new blocks not described in the specification and drawings may be added, or some blocks may be deleted or changed.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Above, embodiments of the present invention have been described with reference to the attached drawings, but those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.

Claims (14)

  1. 컴퓨팅 장치에 의해 수행되는 인공지능 기반의 생체 데이터 품질 평가 방법에 있어서,In an artificial intelligence-based biometric data quality evaluation method performed by a computing device,
    대상의 생체 데이터를 획득하는 단계; 및Obtaining biometric data of a subject; and
    기 학습된 인공지능 모델을 이용하여 상기 획득된 생체 데이터의 품질을 평가하는 단계를 포함하는,Including evaluating the quality of the acquired biometric data using a previously learned artificial intelligence model,
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  2. 제1항에 있어서,According to paragraph 1,
    상기 기 학습된 인공지능 모델은,The previously learned artificial intelligence model is,
    상기 획득된 생체 데이터의 차원을 축소하고, 상기 차원이 축소된 생체 데이터로부터 노이즈가 검출되는지에 따라 상기 획득된 생체 데이터의 품질을 평가하는 모델인,A model that reduces the dimension of the acquired biometric data and evaluates the quality of the acquired biometric data depending on whether noise is detected from the dimensionally reduced biometric data,
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  3. 제1항에 있어서,According to paragraph 1,
    상기 기 학습된 인공지능 모델은,The previously learned artificial intelligence model is,
    하나 이상의 차원 축소 레이어를 포함하는 인코더와 하나 이상의 차원 복원 레이어를 포함하는 디코더를 포함하며, 노이즈가 포함되지 않은 복수의 생체 데이터를 학습 데이터로 하여 비지도 학습 기반으로 학습된 오토 인코더(Auto-encoder)를 포함하며,An auto-encoder comprising an encoder including one or more dimension reduction layers and a decoder including one or more dimension restoration layers, and learned based on unsupervised learning using a plurality of biometric data without noise as learning data. ), including
    상기 획득된 생체 데이터의 품질을 평가하는 단계는,The step of evaluating the quality of the acquired biometric data is,
    상기 획득된 생체 데이터를 전처리하는 단계;Preprocessing the obtained biometric data;
    상기 전처리된 생체 데이터를 상기 인코더에 입력함에 따라 저차원 생체 데이터를 생성하는 단계; 및generating low-dimensional biometric data by inputting the pre-processed biometric data into the encoder; and
    상기 생성된 저차원 생체 데이터를 분석하여 노이즈를 검출하는 단계를 포함하는,Comprising the step of detecting noise by analyzing the generated low-dimensional biometric data,
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  4. 제3항에 있어서,According to paragraph 3,
    상기 획득된 생체 데이터를 전처리하는 단계는,The step of preprocessing the obtained biometric data is,
    상기 획득된 생체 데이터에 포함된 제1 시점에서의 제1 생체 데이터 값 및 상기 제1 시점 이전의 제2 시점에서의 제2 생체 데이터 값의 차이와 상기 제1 생체 데이터 값 및 상기 제1 시점 이후의 제3 시점에서의 제3 생체 데이터 값의 차이가 임계 값 이상인 경우, 상기 제1 생체 데이터 값을 초기화하는 단계; 및The difference between the first biometric data value at a first time point included in the acquired biometric data and the second biometric data value at a second time point before the first time point and the first biometric data value and after the first time point If the difference between the third biometric data values at the third point in time is greater than or equal to a threshold value, initializing the first biometric data values; and
    상기 제2 생체 데이터 값 및 상기 제3 생체 데이터 값을 이용하여 상기 초기화된 제1 생체 데이터 값을 보간(Interpolation)하는 단계를 포함하는,Comprising the step of interpolating the initialized first biometric data value using the second biometric data value and the third biometric data value,
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  5. 제3항에 있어서,According to paragraph 3,
    상기 획득된 생체 데이터는,The obtained biometric data is,
    제1 시점부터 소정의 기간 동안 측정된 제1 단위 생체 데이터 및 상기 제1 단위 생체 데이터와 연결되며, 상기 제1 단위 생체 데이터의 측정이 종료된 후 소정의 시간이 지난 제2 시점부터 소정의 기간 동안 측정된 제2 단위 생체 데이터를 포함하며,First unit biometric data measured for a predetermined period from a first point in time and connected to the first unit biometric data, and a predetermined period starting from a second point in time after a predetermined time has elapsed after the measurement of the first unit biometric data ends. Contains second unit biometric data measured during the
    상기 획득된 생체 데이터를 전처리하는 단계는,The step of preprocessing the obtained biometric data is,
    상기 제1 단위 생체 데이터의 마지막 생체 데이터 값과 상기 제2 단위 생체 데이터의 첫번째 생체 데이터 값의 차이를 산출하는 단계; 및calculating a difference between a last biometric data value of the first unit of biometric data and a first biometric data value of the second unit of biometric data; and
    상기 산출된 차이가 상기 임계 값 이상인 경우, 상기 제1 단위 생체 데이터의 마지막 생체 데이터 값을 기준으로 상기 제2 단위 생체 데이터의 첫번째 생체 데이터 값을 보정하고, 상기 보정된 제2 단위 생체 데이터의 첫번째 생체 데이터와 상기 제2 생체 데이터에 포함된 첫번째 생체 데이터 값을 보간하는 단계를 포함하는,If the calculated difference is greater than or equal to the threshold value, the first biometric data value of the second unit biometric data is corrected based on the last biometric data value of the first unit biometric data, and the first biometric data value of the corrected second unit biometric data is corrected. Comprising the step of interpolating biometric data and a first biometric data value included in the second biometric data,
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  6. 제3항에 있어서,According to paragraph 3,
    상기 획득된 생체 데이터는,The obtained biometric data is,
    상기 대상으로부터 실시간으로 수집되는 광전용적맥파(PPG) 데이터를 포함하며,It includes photoplethysmogram (PPG) data collected in real time from the subject,
    상기 획득된 생체 데이터를 전처리하는 단계는,The step of preprocessing the obtained biometric data is,
    상기 광전용적맥파 데이터에 포함된 복수의 피크(Peak)를 식별하는 단계;Identifying a plurality of peaks included in the photoplethysmographic pulse wave data;
    상기 식별된 복수의 피크 각각에 대응하는 복수의 피크 현저도(Peak Prominence)를 산출하고, 상기 산출된 복수의 피크 현저도를 이용하여 피크 현저도 히스토그램을 생성하는 단계;Calculating a plurality of peak prominences corresponding to each of the identified plurality of peaks, and generating a peak prominence histogram using the calculated plurality of peak prominences;
    상기 생성된 피크 현저도 히스토그램을 분석하여 소정의 패턴을 가지는 피크 현저도 구간을 식별하고, 상기 식별된 피크 현저도 구간에 대응하는 피크 현저도를 기준 피크 현저도로 설정하는 단계; 및Analyzing the generated peak saliency histogram to identify a peak saliency section having a predetermined pattern, and setting the peak saliency corresponding to the identified peak saliency section as a reference peak saliency; and
    상기 산출된 복수의 피크 현저도 중 상기 설정된 기준 피크 현저도 미만의 피크 현저도를 선택하고, 상기 복수의 피크 중 상기 선택된 피크 현저도에 대응하는 피크를 제거하는 단계를 포함하는,Comprising the step of selecting a peak saliency lower than the set reference peak saliency among the calculated plurality of peak saliencies, and removing a peak corresponding to the selected peak saliency among the plurality of peaks.
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  7. 제3항에 있어서,According to paragraph 3,
    상기 노이즈를 검출하는 단계는,The step of detecting the noise is,
    상기 생성된 저차원 생체 데이터에 포함된 복수의 생체 데이터 값을 클러스터링 하는 단계; 및Clustering a plurality of biometric data values included in the generated low-dimensional biometric data; and
    상기 복수의 생체 데이터 값을 클러스터링한 결과에 기초하여, 상기 획득된 생체 데이터에 대한 노이즈 포함 여부를 판단하는 단계를 포함하는,Comprising the step of determining whether the acquired biometric data contains noise based on a result of clustering the plurality of biometric data values,
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  8. 제1항에 있어서,According to paragraph 1,
    상기 획득된 생체 데이터 - 상기 획득된 생체 데이터는 상기 대상으로부터 실시간으로 수집되는 광전용적맥파 데이터를 포함함 - 를 기 설정된 시간 단위로 분할함에 따라 복수의 생체 데이터 구간을 생성하는 단계;generating a plurality of biometric data sections by dividing the acquired biometric data - the acquired biometric data includes photoplethysmographic data collected in real time from the subject - into preset time units;
    상기 생성된 복수의 생체 데이터 구간 각각에 포함된 생체 데이터 값을 이용하여, 상기 생성된 복수의 생체 데이터 구간 각각에 대응하는 피크 현저도를 산출하는 단계; 및calculating a peak saliency corresponding to each of the plurality of generated biometric data sections using biometric data values included in each of the plurality of generated biometric data sections; and
    상기 생성된 복수의 생체 데이터 구간 중 어느 하나의 생체 데이터 구간에 대응하여 산출된 피크 현저도가 임계 값 미만인 경우, 상기 어느 하나의 생체 데이터 구간 내에 노이즈가 포함된 것으로 판단하는 단계를 더 포함하는,If the peak saliency calculated corresponding to one of the plurality of biometric data sections generated is less than a threshold value, determining that noise is included in the one biometric data section, further comprising:
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  9. 제8항에 있어서,According to clause 8,
    상기 어느 하나의 생체 데이터 구간 내에 노이즈가 포함된 것으로 판단하는 단계는,The step of determining that noise is included in any one biometric data section is:
    상기 어느 하나의 생체 데이터 구간 내에 노이즈가 포함된 것으로 판단되는 경우, 상기 어느 하나의 생체 데이터 구간을 복수의 단위 구간으로 분할하고, 상기 분할된 복수의 단위 구간 각각에 대한 피크 현저도를 산출하는 단계; 및When it is determined that noise is included in any one of the biometric data sections, dividing the one biometric data section into a plurality of unit sections and calculating peak saliency for each of the plurality of divided unit sections. ; and
    상기 분할된 복수의 단위 구간 중 상기 산출된 피크 현저도가 임계 값 미만인 적어도 하나의 단위 구간을 노이즈 구간으로 특정하는 단계를 포함하는,인공지능 기반의 생체 데이터 품질 평가 방법.An artificial intelligence-based biometric data quality evaluation method comprising: specifying at least one unit section in which the calculated peak saliency is less than a threshold value among the plurality of divided unit sections as a noise section.
  10. 제1항에 있어서,According to paragraph 1,
    상기 획득된 생체 데이터에 대응하는 발산 히스토그램을 생성하고, 상기 생성된 발산 히스토그램을 분석하여 상기 생성된 발산 히스토그램에 포함된 복수의 발산 구간 중 소정의 패턴을 가지는 어느 하나의 발산 구간이 존재하는 경우, 상기 획득된 생체 데이터에 노이즈가 포함된 것으로 판단하는 단계를 더 포함하는,Generate a divergence histogram corresponding to the acquired biometric data, analyze the generated divergence histogram, and if any one divergence section with a predetermined pattern exists among a plurality of divergence sections included in the generated divergence histogram, Further comprising determining that the acquired biometric data contains noise,
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  11. 제1항에 있어서,According to paragraph 1,
    상기 기 학습된 인공지능 모델은,The previously learned artificial intelligence model is,
    하나 이상의 차원 축소 레이어를 포함하는 인코더와 하나 이상의 차원 복원 레이어를 포함하는 디코더를 포함하며, 노이즈가 포함되지 않은 복수의 생체 데이터를 학습 데이터로 하여 비지도 학습 기반으로 학습된 오토 인코더(Auto-encoder) 및 1차원 합성곱 신경망 모델을 포함하며,An auto-encoder comprising an encoder including one or more dimension reduction layers and a decoder including one or more dimension restoration layers, and learned based on unsupervised learning using a plurality of biometric data without noise as learning data. ) and a one-dimensional convolutional neural network model,
    상기 획득된 생체 데이터의 품질을 평가하는 단계는,The step of evaluating the quality of the acquired biometric data is,
    상기 획득된 생체 데이터를 상기 1차원 합성곱 신경망 모델에 입력함에 따라 상기 획득된 생체 데이터의 시계열 패턴에 관한 특징을 추출하는 단계;extracting features related to a time series pattern of the acquired biometric data by inputting the acquired biometric data into the one-dimensional convolutional neural network model;
    상기 추출된 특징 및 상기 획득된 생체 데이터를 상기 인코더에 입력함에 따라 저차원 생체 데이터를 생성하는 단계; 및generating low-dimensional biometric data by inputting the extracted features and the acquired biometric data into the encoder; and
    상기 생성된 저차원 생체 데이터를 분석하여 노이즈를 검출하는 단계를 포함하는,Comprising the step of detecting noise by analyzing the generated low-dimensional biometric data,
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  12. 제1항에 있어서,According to paragraph 1,
    상기 획득된 생체 데이터의 품질을 평가하는 단계는,The step of evaluating the quality of the acquired biometric data is,
    상기 획득된 생체 데이터를 분석하여 특정 노이즈가 검출되는 경우, 상기 획득된 생체 데이터에 상기 특정 노이즈가 포함된 것으로 판단하되, 상기 특정 노이즈가 검출된 기간이 기 설정된 기간 미만인 경우, 상기 획득된 생체 데이터에 상기 특정 노이즈가 포함되지 않은 것으로 판단하는 단계를 포함하는,When specific noise is detected by analyzing the acquired biometric data, it is determined that the acquired biometric data contains the specific noise, but if the period during which the specific noise was detected is less than a preset period, the acquired biometric data Including determining that the specific noise is not included in
    인공지능 기반의 생체 데이터 품질 평가 방법.Artificial intelligence-based biometric data quality evaluation method.
  13. 프로세서;processor;
    네트워크 인터페이스;network interface;
    메모리; 및Memory; and
    상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,Includes a computer program loaded into the memory and executed by the processor,
    상기 컴퓨터 프로그램은,The computer program is,
    대상의 생체 데이터를 획득하는 인스트럭션(instruction); 및Instructions for acquiring biometric data of a subject; and
    기 학습된 인공지능 모델을 이용하여 상기 획득된 생체 데이터의 품질을 평가하는 인스트럭션을 포함하는,Containing instructions for evaluating the quality of the acquired biometric data using a previously learned artificial intelligence model,
    인공지능 기반의 생체 데이터 품질 평가 방법을 수행하는 컴퓨팅 장치.A computing device that performs an artificial intelligence-based biometric data quality evaluation method.
  14. 컴퓨팅 장치와 결합되어,Combined with a computing device,
    대상의 생체 데이터를 획득하는 단계; 및Obtaining biometric data of a subject; and
    기 학습된 인공지능 모델을 이용하여 상기 획득된 생체 데이터의 품질을 평가하는 단계를 포함하는 인공지능 기반의 생체 데이터 품질 평가 방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장된, 컴퓨터프로그램.A computer program stored in a recording medium readable by a computing device to execute an artificial intelligence-based biometric data quality evaluation method including the step of evaluating the quality of the acquired biometric data using a previously learned artificial intelligence model.
PCT/KR2022/021024 2022-12-21 2022-12-22 Artificial intelligence-based biometric data quality evaluation method, device, and computer program for securing quality-verified biometric data WO2024135885A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0180533 2022-12-21
KR1020220180533A KR20240098608A (en) 2022-12-21 Method, computing device and computer program for evaluating the quality of biometric data based on artificial intelligence to obtain quality-verified biometric data

Publications (1)

Publication Number Publication Date
WO2024135885A1 true WO2024135885A1 (en) 2024-06-27

Family

ID=91588891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021024 WO2024135885A1 (en) 2022-12-21 2022-12-22 Artificial intelligence-based biometric data quality evaluation method, device, and computer program for securing quality-verified biometric data

Country Status (1)

Country Link
WO (1) WO2024135885A1 (en)

Similar Documents

Publication Publication Date Title
WO2021025461A1 (en) Ultrasound image-based diagnosis system for coronary artery lesion using machine learning and diagnosis method of same
WO2019147066A1 (en) Method, device and program for predicting brain disease state change through machine learning
WO2020242239A1 (en) Artificial intelligence-based diagnosis support system using ensemble learning algorithm
WO2020139009A1 (en) Cerebrovascular disease learning device, cerebrovascular disease detection device, cerebrovascular disease learning method, and cerebrovascular disease detection method
US20200397346A1 (en) Annotation method, annotation device, storage medium, and identification system
WO2021057423A1 (en) Image processing method, image processing apparatus, and storage medium
KR20190115713A (en) Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same
CN111870237A (en) Blood pressure detection method, device, equipment and medium
WO2024135885A1 (en) Artificial intelligence-based biometric data quality evaluation method, device, and computer program for securing quality-verified biometric data
CN115170870A (en) Deep learning-based infant behavior feature classification method and system
WO2021225390A1 (en) Method, device, and computer program for predicting occurrence of patient shock using artificial intelligence
JP2002236904A (en) Data processor and processing method, recording medium and program
WO2023200280A1 (en) Method for estimating heart rate on basis of corrected image, and device therefor
WO2023080697A1 (en) Method for dividing heart signal and device for dividing heart signal by using same
WO2020116878A1 (en) Intracranial aneurysm prediction device using fundus photo, and method for providing intracranial aneurysm prediction result
CN111657921A (en) Real-time electrocardio abnormality monitoring method and device, computer equipment and storage medium
WO2022191367A1 (en) Method, server, and computer program for classifying patients with severe cognitive impairment by analyzing brainwave data
WO2020226455A1 (en) Optic neuropathy prediction device using fundus image, and method for providing optic neuropathy prediction result
WO2024090640A1 (en) Digital phenotyping method, device, and computer program for drug response classification and prediction
WO2022244950A1 (en) Method, device and computer program for generating standardized brainwave image for training artificial intelligence model
WO2022270755A1 (en) Apparatus and method for regenerating missing electrocardiogram signal
JP7028721B2 (en) Analytical equipment, analytical methods and analytical programs
WO2019190185A1 (en) Time series data learning and analyzing method using artificial intelligence
CN112597949A (en) Psychological stress measuring method and system based on video
WO2023195741A1 (en) Method and device for acquiring information from medical image expressing time-varying information