WO2023101201A1 - 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법 - Google Patents

스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법 Download PDF

Info

Publication number
WO2023101201A1
WO2023101201A1 PCT/KR2022/015490 KR2022015490W WO2023101201A1 WO 2023101201 A1 WO2023101201 A1 WO 2023101201A1 KR 2022015490 W KR2022015490 W KR 2022015490W WO 2023101201 A1 WO2023101201 A1 WO 2023101201A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
signal
spike
neurons
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/015490
Other languages
English (en)
French (fr)
Inventor
지동우
김수훈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ajou University Industry Academic Cooperation Foundation
Original Assignee
Ajou University Industry Academic Cooperation Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ajou University Industry Academic Cooperation Foundation filed Critical Ajou University Industry Academic Cooperation Foundation
Priority to US18/687,077 priority Critical patent/US12413868B2/en
Publication of WO2023101201A1 publication Critical patent/WO2023101201A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analogue processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present disclosure relates to a pixelated monolithic photoplethysmography sensor having a spiking neural network structure and a driving method thereof.
  • Photoplethysmography is a sensing technique most commonly used in wearable devices for heart rate monitoring or oxygen saturation measurement. Since the main principle is to measure the change in light signal according to the change in blood flow, the PPG sensor uses a photodiode (PD) that converts the light signal into a current signal and a high-performance analog front end that converts the current signal into digital data. -end, AFE). Recently, a monolithic CMOS PPG sensor that implements both PD and AFE on a single die with a semiconductor integrated circuit process has emerged, showing excellent performance in various aspects such as area used, number of parts, and signal-to-noise ratio performance.
  • PD photodiode
  • AFE high-performance analog front end
  • CMOS image sensor technology Existing monolithic PPG sensors use a distributed LDC (Light-to-Digital Converter) structure or use a plurality of PDs arranged in an array to use pin diodes provided by CMOS image sensor technology. Since the PPG signal is a change in the total sum of light applied to all PDs, in general, in order to maximize the signal-to-noise ratio of the PPG signal, multiple PD outputs are summed with an analog circuit or multiple LDC outputs are summed with a digital adder. method to generate the sensor output.
  • LDC Light-to-Digital Converter
  • Each PD in the PD array receives a different light input according to its position. For example, a PD closer to the light source receives strong light input, and a PD farther receives weak light input. That is, if each PD output is independently processed, spatial information of the PPG signal can be obtained. When spatial information is obtained, noise due to ambient light can be separated from a signal using signal processing techniques such as spatial filtering. This has not been possible with conventional PPG sensors.
  • the output of each PD can be individually extracted from the PD array.
  • the CMOS image sensor time-divides the output of each PD pixel and transmits it to the AFE, this method is not suitable for PPG sensors that require real-time output.
  • the present invention is to solve the problems of the prior art, and is a pixelated monolithic optical blood flow of a spiking neural network structure capable of outputting a spike signal according to spatial information of each pixelated light measuring neuron (LSN). It aims to provide a measurement (PPG) sensor and a method for driving the sensor.
  • PPG measurement
  • the present invention is to solve the above-mentioned problems of the prior art, a spiking neural network structure capable of merging a plurality of outputs obtained corresponding to the column direction or row direction of the pixel structure into a single output without a separate adder. It is an object to provide a monolithic photoplethysmography (PPG) sensor and a method for driving the sensor.
  • PPG photoplethysmography
  • the present invention is to solve the above-mentioned problems of the prior art, and is a pixelated monolith of a spiking neural network structure that can obtain an output from which noise due to ambient light is removed through a simple matrix operation without a conventional complex signal processing technique.
  • An object of the present invention is to provide a photoplethysmography (PPG) sensor and a method for driving the sensor.
  • PPG photoplethysmography
  • each pixelated monolithic photoplethysmography sensor of a spiking neural network structure generates a spike signal, and at least one of a row direction and a column direction a plurality of input neurons arranged in one direction; a plurality of output neurons summing the spike signals applied from the plurality of input neurons in the column direction or the row direction, and generating an output spike signal when the result of the sum is equal to or greater than a predetermined reference value; and a synchronizer converting each of the output spike signals into a digital signal.
  • each of the plurality of input neurons may include an optical-to-digital converter that generates the spike signal based on the magnitude of the received light; a first transistor outputting the spike signal to a column input node corresponding to the column direction; and a second transistor outputting the spike signal to a row input node corresponding to the row direction.
  • the optical-to-digital converter may generate the spike signal having an intensity proportional to the magnitude of the received light.
  • the plurality of input neurons are arranged to form an array including n x m pixels, and the column input node includes the spikes generated from m pixels corresponding to each column of the array. It may include n nodes to which signals are applied, and the row input node may include m nodes to which the spike signals generated from n pixels corresponding to each row of the array are applied.
  • the plurality of output neurons include n output neurons each corresponding to any one of the columns constituting the array and m output neurons each corresponding to any one of the rows constituting the array can include
  • the synchronizer may convert the output spike signal into a 1-bit digital signal synchronized with a clock signal.
  • relative spatial information of light applied to the plurality of input neurons to the photoplethysmography sensor may be derived based on information on the magnitude of each of the digital signals.
  • a driving method of a pixelated monolithic photoplethysmography sensor having a spiking neural network structure is based on the magnitude of light received by a plurality of input neurons. generating a spike signal; summing the spike signals applied from the plurality of input neurons in a column direction or a row direction; generating an output spike signal by a plurality of output neurons when the result of the summation is equal to or greater than a preset reference value; and converting each of the output spike signals into a digital signal.
  • the generating of the spike signal may include generating the spike signal having an intensity proportional to the magnitude of light received by an optical-to-digital converter, and inputting the spike signal to a column corresponding to the column direction. node and a row input node corresponding to the row direction.
  • the converting into a digital signal may include converting the output spike signal into a 1-bit digital signal synchronized with a clock signal.
  • PPG pixelated monolithic photoplethysmography
  • LSN pixelated light measuring neuron
  • a plurality of outputs obtained in correspondence to the column direction or row direction of the pixel structure through the pixelated monolithic photoplethysmography (PPG) sensor of the spiking neural network structure are separated by an adder can be merged into a single output without
  • FIG. 1 is a schematic configuration diagram of a pixelated monolithic photoplethysmography sensor having a spiking neural network structure according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing a schematic circuit diagram of an input neuron according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing a circuit diagram of an optical-to-digital converter according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a circuit diagram of an output neuron according to an exemplary embodiment of the present disclosure.
  • FIG. 5 is a diagram showing a circuit diagram of a synchronizer according to an embodiment of the present invention.
  • FIG. 6 is a graph exemplarily showing photoplethysmography sensor data and noise obtained using a pixelated monolithic photoplethysmography sensor according to an embodiment of the present disclosure.
  • FIG. 7 is a graph exemplarily illustrating a result of removing noise caused by ambient light using spatial information using photoplethysmography sensor data according to an embodiment of the present disclosure.
  • FIG. 8 is an operation flowchart of a method of driving a pixelated monolithic photoplethysmography sensor having a spiking neural network structure according to an embodiment of the present disclosure.
  • the present disclosure relates to a pixelated monolithic photoplethysmography sensor having a spiking neural network structure and a driving method thereof.
  • the pixelated monolithic photoplethysmography (PPG) sensor 10 according to an exemplary embodiment of the present disclosure will be referred to as the PPG sensor 10 .
  • FIG. 1 is a schematic configuration diagram of a pixelated monolithic photoplethysmography sensor having a spiking neural network structure according to an embodiment of the present disclosure.
  • the PPG sensor 10 may include a plurality of input neurons 100 , a plurality of output neurons 200 and a plurality of synchronizers 300 .
  • the PPG sensor 10 may include a plurality of input neurons 100 each composed of light sensing neurons (LSNs).
  • LSNs light sensing neurons
  • reference numeral 100 in the description of the embodiments of the present application may be used interchangeably for the light measuring neuron (LSN) 100 and the input neuron 100.
  • input neurons 100 may be arranged in at least one of a column direction and a row direction.
  • the plurality of input neurons 100 may be arranged to form an array including n x m pixels, but is not limited thereto.
  • Column direction may be a horizontal direction (3 o'clock direction to 9 o'clock direction) based on the matters shown in FIG. ) can be.
  • this direction setting may vary depending on the arrangement state of the present device.
  • the PPG sensor 10 disclosed in the present disclosure may be arranged such that the row direction of FIG. 1 faces a horizontal direction or an oblique direction and the column direction faces a vertical direction or an oblique direction.
  • each input neuron 100 may receive light and generate a spike signal proportional to the magnitude of the received light. A more detailed description of the input neuron 100 will be described later with reference to FIGS. 2 and 3 .
  • the generated spike signal may be output to a column input node CI in a column direction or may be output to a row input node RI in a row direction.
  • each of the plurality of input neurons 100 may be arranged to be connected to one column input node CI and one row input node RI.
  • the column input node CI may include n nodes to which spike signals generated from m pixels corresponding to each column of the above-described array are applied
  • the row input node (RI) may include m nodes to which spike signals generated from n pixels corresponding to each row of the above-described array are applied.
  • the column input node CI includes CI[0], CI[1], ..., CI[n] of FIG. 1
  • the row input node RI includes RI[0] of FIG. ], RI[1], ... , RI[m], but is not limited thereto.
  • the PPG sensor 10 may include a plurality of output neurons 200 each of which is an output neuron (ON).
  • output neuron ON
  • reference numeral 200 in the description of the embodiments of the present application may be used interchangeably for ON 200 and output neuron 200 .
  • the plurality of output neurons 200 include n output neurons 200 corresponding to any one of the columns constituting the array and m output neurons corresponding to any one of the rows constituting the array, respectively. (200) may be included.
  • the total number of output neurons 200 may be 24, including 12 neurons arranged in a column direction and 12 neurons arranged in a row direction, but is not limited thereto.
  • CO[0], CO[1], ... , CO[n] denote output terminals of the output neurons 200 receiving the spike signal from the column input node CI.
  • RO[0], RO[1], ... , RO[n] may mean an output terminal of the output neuron 200 receiving the spike signal from the row input node RI.
  • each output neuron 200 may sum spike signals applied from the plurality of input neurons 100 in a column direction or a row direction. That is, the output neuron 200 may sum spike signals input from a plurality of column input nodes CI or spike signals input from a plurality of row input nodes RI. In the case of the above example, any one output neuron 200 performing the summing based on the column direction may sum the spike signals applied from the 12 input neurons 100, but is not limited thereto.
  • the output neurons 200 may generate an output spike signal when a result of summing the spike signals applied from the input neurons 100 along the row direction or the column direction is equal to or greater than a preset reference value. there is. That is, the output neuron 200 may output an output spike signal having an intensity proportional to the magnitude of light received by the input neuron 100 . A more detailed description of the output neuron 200 will be described later with reference to FIG. 4 .
  • the PPG sensor 10 disclosed herein synchronizes the output spike signal with a digital signal It may include a synchronizer 300 for processing.
  • each synchronizer (SYNC) 300 may be provided to be connected to an output terminal of each output neuron 200 .
  • SYNC synchronizer
  • COS[0], COS[1], ... , COS[n] represent output spike signals from CO[0], CO[1], ..., CO[n]. It may mean an output terminal of the synchronizer 300 that has been received, and ROS[0], ROS[1], ... , ROS[n] are RO[0], RO[1], ... , RO [n] may refer to an output stage of the synchronizer 300 receiving the output spike signal.
  • the synchronizer 300 may receive output spike signals from the output neurons 200 and convert each received output spike signal into a digital signal. Specifically, the synchronizer 300 may receive a clock signal and convert an output spike signal into a 1-bit digital signal synchronized with the received clock signal. A more detailed description of the synchronizer 300 will be described later with reference to FIG. 5 .
  • the synchronizer 300 may convert each output spike signal proportional to the magnitude of light received by the plurality of input neurons 100 into a digital signal.
  • any input neuron 100 among a plurality of input neurons 100 is specified as a first LSN 100a
  • the 1st LSN 100a and the 2nd LSN 100b can receive light of different sizes, respectively, and each has a different size proportional to the size of the received light.
  • An intensity spike signal can be generated.
  • the output neurons 200 receiving each spike signal may also be signals of different magnitudes (strengths).
  • the PPG sensor 10 outputs a spike signal (or output spike signal) according to the spatial information of each pixelated light measurement neuron (LSN) 100 and a digital signal obtained by converting the spike signal.
  • the PPG sensor 10 has a pattern of light applied with different intensities to each of the plurality of input neurons 100 (for example, the intensity of light incident on input neurons 100 relatively close to a light source is A plurality of outputs in which information on characteristics having a large value compared to the intensity of light incident on other input neurons 100 relatively far from the light source relative to the corresponding input neuron 100) is spatially summed in the column or row direction Since data is generated, it can be used to grasp specific spatial information of incident light applied to each input neuron (LSN) in units of pixels constituting the PPG sensor 10 through analysis of each output.
  • the PPG sensor 10 may derive relative spatial information for the photoplethysmography sensor of the light applied to the plurality of input neurons 100 based on the magnitude information of each digital signal converted by the synchronizer 300.
  • the PPG sensor 10 can easily remove noise caused by ambient light by summing and outputting a plurality of outputs according to spatial information of light in a matrix or vector form.
  • FIG. 2 is a diagram showing a schematic circuit diagram of an input neuron according to an embodiment of the present disclosure.
  • the input neuron 100 includes a Light-to-Digital Converter (LDC) 110, a first transistor 120, and a second transistor 130.
  • LDC Light-to-Digital Converter
  • the optical-to-digital converter 110 may receive light and generate a spike signal based on the magnitude of the received light. Specifically, the optical-to-digital converter 110 may generate a spike signal proportional to the magnitude of light.
  • the first transistor 120 may output a spike signal (LDCo: LDC output) generated by the optical-to-digital converter 110 to a column input node CI corresponding to a column direction.
  • the second transistor 130 may output the spike signal generated by the optical-to-digital converter 110 to a row input node RI corresponding to a row direction.
  • the first transistor 120 and the second transistor 130 are illustrated as N Channel MOSFETs, but are not limited thereto.
  • FIG. 3 is a diagram showing a circuit diagram of an optical-to-digital converter according to an embodiment of the present disclosure.
  • the optical-to-digital converter 110 may include a photo diode 111 , a first comparator 112 , and a first reset MOSFET M RST , 113 .
  • the photodiode 111 may convert light energy into electrical energy, and V PD may mean an output voltage by the photodiode 111 .
  • the cathode terminal of the photodiode 111 may be grounded and the anode terminal may not be biased, but is not limited thereto.
  • the first comparator 112 compares the reference voltage (V REF ) and the output voltage (V PD ) of the photodiode 111 to obtain an output voltage (V PD ) of the photodiode 111 . If the output voltage (V PD ) is less than the reference voltage (V REF ), a spike signal ( LDCo ) of a positive value or a spike signal (LDCo) is output. It can be output, but is not limited thereto.
  • the first reset MOSFET 113 generates a value applied to the non-inverting terminal (+ terminal) of the first comparator 112 based on the spike signal LDCo applied to the gate GATE. can be reset.
  • the first reset MOSFET 113 is shown as an N Channel MOSFET, but is not limited thereto.
  • the first reset MOSFET 113 is an N Channel MOSFET
  • the spike signal LDCo is a positive value
  • a positive value is applied to the gate GATE of the first reset MOSFET 113
  • the non-inverting terminal (+ terminal) of the first comparator 112 may conduct with the ground terminal, but is not limited thereto.
  • FIG. 4 is a diagram illustrating a circuit diagram of an output neuron according to an exemplary embodiment of the present disclosure.
  • the output neuron (ON) 200 may receive a summation result of spike signals output from a plurality of column input nodes (CI) or a plurality of row input nodes (RI). In other words, the output neuron 200 may sum the spike signals in a column direction or a row direction.
  • the sum of the spike signals input to the output neurons 200 is specified as an input signal RI/CI.
  • the output neuron 200 may include a second comparator 210 and a second reset MOSFET (M R , 220).
  • the second comparator 210 receives a preset reference value ( VR_ON ) and an input signal (RI/CI), and receives the input reference value ( VR_ON ) and the input signal (RI/CI). ) can be compared to generate an output spike signal (RO/CO).
  • the output spike signal RO/CO may be output as a positive value, and conversely, the input signal RI/CI may have the reference value If less than (V R_ON ), the output spike signal RO/CO may be output as a negative value or 0, but is not limited thereto.
  • the output value of the second comparator 210 is inverted through the NOT gate, and the inverted signal may be applied to the gate GATE of the second reset MOSFET 220 . That is, the signal applied to the gate (GATE) of the second reset MOSFET 220 may be an inverted value (RO'/CO') of the output spike signal.
  • the second reset MOSFET 220 outputs a non-inverting terminal ( + terminal) can be reset.
  • the second reset MOSFET 220 is shown as a P Channel MOSFET, but is not limited thereto.
  • the second reset MOSFET 220 is a P Channel MOSFET and the inverted output spike signal RO'/CO' has a negative value
  • a negative value is applied to the gate of the second reset MOSFET 220.
  • the first reset MOSFET 113 is turned on, and the non-inverting terminal (+ terminal) of the second comparator 210 may conduct with the ground terminal, but is not limited thereto.
  • FIG. 5 is a diagram showing a circuit diagram of a synchronizer according to an embodiment of the present invention.
  • synchronizer 300 may include a first flip-flop 310 , a second flip-flop 320 , a third flip-flop 330 and an XOR gate 340 .
  • the first flip-flop 310, the second flip-flop 320, and the third flip-flop 330 may be, for example, D-flip-flops that operate by being triggered by a rising edge of an input clock. However, it is not limited thereto.
  • an output spike signal RO/CO is input to a clock terminal, and an input terminal and an inverted output terminal may be connected. Accordingly, since the input terminal and the inverted output terminal of the first flip-flop 310 are connected to each other, the output is inverted according to the generation of the output spike signal RO/CO.
  • the clock signal CLKS is input to the clock terminal of the second flip-flop 320 , and the input terminal may be connected to the output terminal of the first flip-flop 310 . Since the output of the second flip-flop 320 is determined according to the clock signal CLKS, it serves to synchronize the output spike signal RO/CO, whose occurrence time was random, to the clock signal CLKS, which is a reference clock signal.
  • the clock signal CLKS is input to the clock terminal of the third flip-flop 330 , and the input terminal may be connected to the output terminal of the second flip-flop 320 .
  • the third flip-flop 330 delays the output of the second flip-flop 320 by one clock to generate a signal for detecting the subsequent XOR gate 340 .
  • the XOR gate 217 may receive inputs from the output terminals of the second flip-flop 320 and the output terminals of the third flip-flop 330 and output a 1-bit digital signal. Since the output signal of the second flip-flop 320 and the output signal of the third flip-flop 330 have a clock difference based on the clock signal CLKS, it is possible to generate a digital signal with a constant level.
  • FIG. 6 is a graph exemplarily showing photoplethysmography sensor data and noise obtained using a pixelated monolithic photoplethysmography sensor according to an embodiment of the present disclosure.
  • the photoplethysmography sensor (PPG sensor) data includes different output voltages for each magnitude of received light.
  • the higher the output voltage eg, higher DC value or AC value
  • LSN pixelated light measurement neuron
  • FIG. 7 is a graph exemplarily illustrating a result of removing noise caused by ambient light using spatial information using photoplethysmography sensor data according to an embodiment of the present disclosure.
  • the PPG sensor 10 may convert each output voltage that is individually output into an output from which noise due to ambient light is removed through a simple matrix operation without a conventional complex signal processing technique. Specifically, referring to the 'Ambient noise removed' section shown in FIG. 7, single output data (row direction and/or column direction) from which the effect of noise present in the 6 to 8 second section of the graph of FIG. 6 has been removed. It can be seen that data obtained by merging a plurality of output data derived respectively into one sequence) can be derived.
  • the PPG sensor 10 may obtain an output from which noise due to ambient light is removed based on spatial information of light and a plurality of outputs.
  • each output generated by the PPG sensor 10 eg, a voltage value corresponding to a digital signal output for each row or column of the pixel array) etc.
  • a section in which the output value rapidly changes compared to the preceding and preceding sequences may be detected (detected) due to noise caused by ambient light interference, etc.
  • the PPG sensor 10 includes such noise.
  • a predetermined correction process to output data, a normal output from which noise is removed for a corresponding section may be derived.
  • the PPG sensor 10 defines a plurality of outputs generated corresponding to incident light as an output matrix corresponding to a pixel array, and performs a matrix multiplication operation with a reference matrix for removing noise with respect to the corresponding output matrix. It may be to mount (have) a correction module (not shown) that operates to derive a normal output from which noise is removed in a method.
  • the total output of the PPG sensor 10 is It can be merged in the form of a 12 X 1 matrix, and the correction module (not shown) of the PPG sensor 10 is a value capable of removing noise for the above-described abnormal section (the ambient noise section in FIG. 6), and each element is Normal output data of the corresponding section may be obtained by performing a matrix multiplication operation on the determined 1 ⁇ 12 size reference matrix with respect to the output matrix.
  • the correction module multiplies and calculates a reference matrix in the form of a transposed matrix for an output matrix defined based on a plurality of outputs of the PPG sensor 10, thereby affecting the effect of unexpected noise reflected in an arbitrary section ( For example, interference due to ambient light, etc.) can be eliminated.
  • the PPG sensor 10 disclosed herein estimates spatial information corresponding to the row direction and column direction A process of removing noise in some sections by utilizing spatial information reflected in the output data through matrix operation or vector operation on the plurality of output data since it provides multiple output data and can merge them in the form of a matrix or vector. There is an advantage that can be easily done.
  • FIG. 8 is an operation flowchart of a method of driving a pixelated monolithic photoplethysmography sensor having a spiking neural network structure according to an embodiment of the present disclosure.
  • the driving method of the pixelated monolithic photoplethysmography sensor of the spiking neural network structure shown in FIG. 8 may be performed by the PPG sensor 10 described above. Therefore, even if omitted below, the description of the PPG sensor 10 can be equally applied to the description of the driving method of the pixelated monolithic photoplethysmography sensor of the spiking neural network structure.
  • the plurality of input neurons 100 may generate spike signals based on the magnitude of received light.
  • the optical-to-digital converter 110 of each input neuron 100 may generate a spike signal having an intensity proportional to the magnitude of the received light.
  • the spike signal generated by each input neuron 100 in step S11 may be output to a column input node corresponding to a column direction and a row input node corresponding to a row direction.
  • each of the plurality of output neurons 200 may sum the spike signals applied from the plurality of input neurons 100 in a column direction or a row direction.
  • each of the plurality of output neurons 200 may generate an output spike signal if the summation result in step S12 is equal to or greater than a predetermined reference value.
  • the synchronizer 300 may convert each output spike signal output from each of the plurality of output neurons 200 into a digital signal.
  • the synchronizer 300 may convert the output spike signal into a 1-bit digital signal synchronized with the clock signal.
  • steps S11 to S14 may be further divided into additional steps or combined into fewer steps, depending on an embodiment of the present invention. Also, some steps may be omitted if necessary, and the order of steps may be changed.
  • a driving method of a pixelated monolithic photoplethysmography sensor having a spiking neural network structure may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware devices described above may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.
  • the above-described driving method of the pixelated monolithic photoplethysmography sensor of the spiking neural network structure may be implemented in the form of a computer program or application stored in a recording medium and executed by a computer.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법이 개시되며, 본원의 일 실시예에 따른 픽셀화된 모놀리식 광혈류측정 센서는 각각이 스파이크 신호를 생성하고, 로우 방향 및 칼럼 방향 중 적어도 하나의 방향으로 배열되는 복수의 입력 뉴론; 상기 복수의 입력 뉴론으로부터 인가되는 상기 스파이크 신호를 상기 칼럼 방향 또는 상기 로우 방향을 기준으로 합산하고, 합산한 결과가 기 설정된 기준값 이상이면 출력 스파이크 신호를 생성하는 복수의 출력 뉴론; 및 상기 출력 스파이크 신호 각각을 디지털 신호로 변환하는 동기화기를 포함할 수 있다.

Description

스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법
본원은 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법에 관한 것이다.
PPG(Photoplethysmography)는 심박수 모니터링이나 산소포화도 측정을 위한, 웨어러블 장치에서 가장 많이 사용되는 센싱 기법이다. 혈류량의 변화에 따른 광 신호 변화를 측정하는 것이 주요 원리이기 때문에, PPG 센서는 광 신호를 전류 신호로 변환하는 포토다이오드(photodiode, PD), 전류 신호를 디지털 데이터로 변환하는 고성능 아날로그 전단(analog front-end, AFE) 을 포함한다. 최근 들어 PD와 AFE를 모두 반도체 집적회로공정으로 단일 die에 구현한 monolithic CMOS PPG 센서가 등장하여 사용면적, 부품수, 신호대잡음비 성능 등 다양한 방면에서 우수한 성능을 보여주고 있다.
기존의 모놀리식 PPG 센서는 분산형 LDC(Light-to-Digital Converter) 구조를 사용하거나, CMOS image sensor 기술에서 제공하는 핀다이오드를 사용하기 위해 array로 배치된 복수개의 PD를 사용하게 된다. PPG 신호는 모든 PD에 인가된 빛의 총 합의 변화이므로, 일반적으로 PPG 신호의 신호 대 잡음비를 최대화하기 위해서 복수의 PD출력을 아날로그 회로로 합산하거나, 복수의 LDC 출력을 디지털 가산기로 합산하는 등의 방법을 사용해서 센서 출력을 생성하게 된다.
PD 어레이의 각 PD는 각각의 위치에 따라 다른 광 입력을 받게 된다. 예를 들어 광원과 가까운 쪽의 PD는 센 빛 입력을, 먼 쪽은 PD는 약한 빛 입력을 받게 된다. 즉, 각 PD 출력을 독립적으로 처리한다면 PPG 신호의 공간 정보를 얻을 수 있다. 공간정보를 얻게 되면 spatial filtering 등의 신호 처리 기법을 사용하여, 주변광으로 인한 잡음을 신호에서 분리할 수 있는 장점이 생긴다. 이는 종래의 PPG 센서에서는 가능하지 않았다.
종래의 CMOS image sensor의 AFE 기술을 사용하면, PD 어레이에서 각 PD의 출력을 개별적으로 추출할 수 있다. 하지만 CMOS image 센서는 각 PD 픽셀의 출력을 시분할 하여 AFE로 전달하기 때문에, 이 방법은 실시간 출력이 필요한 PPG 센서에는 적합하지 못하다. 또한 이러한 CMOS image sensor 회로 구현을 위해서는 많은 전력이 필요한 단점이 있다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1987399호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 픽셀화된 각각의 광 측정 뉴론(LSN)의 공간 정보에 따른 스파이크 신호를 출력할 수 있는 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 (PPG) 센서 및 센서의 구동 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 픽셀 구조의 칼럼 방향 또는 로우 방향에 대응하여 획득되는 복수의 출력을 별도의 가산기 없이도 단일 출력으로 병합할 수 있는 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 (PPG) 센서 및 센서의 구동 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 종래의 복잡한 신호처리 기법 없이도 간단한 행렬 연산을 통해 주변 광으로 인한 잡음이 제거된 출력을 획득할 수 있는 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 (PPG) 센서 및 센서의 구동 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서는 각각이 스파이크 신호를 생성하고, 로우 방향 및 칼럼 방향 중 적어도 하나의 방향으로 배열되는 복수의 입력 뉴론; 상기 복수의 입력 뉴론으로부터 인가되는 상기 스파이크 신호를 상기 칼럼 방향 또는 상기 로우 방향을 기준으로 합산하고, 합산한 결과가 기 설정된 기준값 이상이면 출력 스파이크 신호를 생성하는 복수의 출력 뉴론; 및 상기 출력 스파이크 신호 각각을 디지털 신호로 변환하는 동기화기를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 복수의 입력 뉴론 각각은, 수신한 광의 크기에 기반하여 상기 스파이크 신호를 생성하는 광-디지털 컨버터; 상기 스파이크 신호를 상기 칼럼 방향에 대응하는 칼럼 입력 노드로 출력하는 제1트렌지스터; 및 상기 스파이크 신호를 상기 로우 방향에 대응하는 로우 입력 노드로 출력하는 제2트렌지스터를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 광-디지털 컨버터는, 수신한 광의 크기에 비례하는 세기의 상기 스파이크 신호를 생성할 수 있다.
본원의 일 실시예에 따르면, 상기 복수의 입력 뉴론은, n x m개의 픽셀을 포함하는 어레이를 이루도록 배치되고, 상기 칼럼 입력 노드는, 상기 어레이의 각각의 칼럼에 대응하는 m개의 픽셀로부터 생성된 상기 스파이크 신호가 인가되는 n개의 노드를 포함하고, 상기 로우 입력 노드는, 상기 어레이의 각각의 로우에 대응하는 n개의 픽셀로부터 생성된 상기 스파이크 신호가 인가되는 m개의 노드를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 복수의 출력 뉴론은, 각각이 상기 어레이를 이루는 칼럼 중 어느 하나에 대응하는 n개의 출력 뉴론 및 각각이 상기 어레이를 이루는 로우 중 어느 하나에 대응하는 m개의 출력 뉴론을 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 동기화기는, 상기 출력 스파이크 신호를 클록 신호에 동기화된 1비트 디지털 신호로 변환시킬 수 있다.
본원의 일 실시예에 따르면, 상기 디지털 신호 각각의 크기 정보에 기초하여 상기 복수의 입력 뉴론으로 인가되는 광의 상기 광혈류측정 센서에 대한 상대적인 공간 정보가 도출되는 것일 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 구동 방법은, 복수의 입력 뉴론이 수신한 광의 크기에 기반하여 스파이크 신호를 생성하는 단계; 상기 복수의 입력 뉴론으로부터 인가되는 상기 스파이크 신호를 칼럼 방향 또는 로우 방향을 기준으로 합산하는 단계; 합산한 결과가 기 설정된 기준값 이상이면, 복수의 출력 뉴론이 출력 스파이크 신호를 생성하는 단계; 및 상기 출력 스파이크 신호 각각을 디지털 신호로 변환하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 스파이크 신호를 생성하는 단계는, 광-디지털 컨버터가 수신한 광의 크기에 비례하는 세기의 상기 스파이크 신호를 생성하고, 상기 스파이크 신호를 상기 칼럼 방향에 대응하는 칼럼 입력 노드 및 상기 로우 방향에 대응하는 로우 입력 노드로 출력할 수 있다.
본원의 일 실시예에 따르면, 상기 디지털 신호로 변환하는 단계는, 상기 출력 스파이크 신호를 클록 신호에 동기화된 1비트 디지털 신호로 변환시킬 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 픽셀화된 각각의 광 측정 뉴론(LSN)의 공간 정보에 따른 스파이크 신호를 출력할 수 있는 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 (PPG) 센서 및 센서의 구동 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 (PPG) 센서를 통해 픽셀 구조의 칼럼 방향 또는 로우 방향에 대응하여 획득되는 복수의 출력을 별도의 가산기 없이도 단일 출력으로 병합할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 종래의 복잡한 신호처리 기법 없이도 간단한 행렬 연산만으로도 광혈류측정 (PPG) 센서의 주변 광으로 인한 잡음이 제거된 출력을 획득할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 입력 뉴론의 개략적인 회로도를 나타내는 도면이다.
도 3은 본원의 일 실시예에 따른 광-디지털 컨버터의 회로도를 나타내는 도면이다.
도 4는 본원의 일 실시예에 따른 출력 뉴론의 회로도를 나타내는 도면이다.
도 5는 본원의 일 실시예에 따른 동기화기의 회로도를 나타내는 도면이다.
도 6은 본원의 일 실시예에 따른 픽셀화된 모놀리식 광혈류측정 센서를 이용하여 획득한 광혈류측정 센서 데이터 및 잡음을 예시적으로 나타낸 그래프이다.
도 7은 본원의 일 실시예에 따른 광혈류측정 센서 데이터를 이용한 주변광에 의한 잡음을 공간 정보를 활용하여 제거한 결과를 예시적으로 나타낸 그래프이다.
도 8은 본원의 일 실시예에 따른 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 구동 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법에 관한 것이다.
이하에서는, 설명의 편의를 위해, 본원의 일 실시예에 따른 픽셀화된 모놀리식 광혈류측정 (PPG) 센서(10)를 PPG 센서(10)로 지칭하도록 한다.
도 1은 본원의 일 실시예에 따른 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 개략적인 구성도이다.
도1을 참조하면, PPG 센서(10)는 복수의 입력 뉴론(100), 복수의 출력 뉴론(200) 및 복수의 동기화기(300) 포함할 수 있다.
도 1을 참조하면, PPG 센서(10)는 각각이 광 측정 뉴론(LSN: Light Sensing Neuron)으로 이루어지는 복수의 입력 뉴론(100)을 포함할 수 있다. 달리 말해, 본원의 실시예에 관한 설명에서 도면부호 100은 광 측정 뉴론(LSN, 100) 및 입력 뉴론(100)에 대하여 혼용될 수 있다.
도 1을 참조하면, 입력 뉴론(100)은 칼럼 방향 및 로우 방향 중 적어도 하나의 방향으로 배열될 수 있다. 다시 말해, 복수의 입력 뉴론(100)은 n x m개의 픽셀을 포함하는 어레이를 이루도록 배치될 수 있으나, 이에 한정되는 것은 아니다.
본원의 일 실시예에 따른 칼럼 방향은 도 1에 도시된 사항을 기준으로 수평 방향(3시 방향에서 9시 방향)일 수 있고, 이와 대비하여 로우 방향은 상하 방향(12시 방향에서 6시 방향)일 수 있다.
다만, 이러한 방향 설정은 본원 장치의 배치 상태에 따라 달라질 수 있다. 예를 들면, 필요에 따라서는 도1 기준 로우 방향이 수평 방향 또는 비스듬한 경사 방향을 향하고, 칼럼 방향이 상하 방향 또는 비스듬한 경사 방향을 향하도록 본원에서 개시하는 PPG 센서(10)가 배치될 수 있다.
본원의 일 실시예에 따르면, 각각의 입력 뉴론(100)은 광을 수신하고, 수신한 광의 크기에 비례하는 스파이크 신호를 생성할 수 있다. 입력 뉴론(100)과 관련한 더 상세한 설명은 도 2 및 도 3을 참조하여 후술하기로 한다.
또한, 본원의 일 실시예에 따르면, 생성된 스파이크 신호는 칼럼 방향의 칼럼 입력 노드(CI)로 출력되거나 로우 방향의 로우 입력 노드(RI)로 출력될 수 있다. 다시 말해, 복수의 입력 뉴론(100)은 각각이 하나의 칼럼 입력 노드(CI) 및 하나의 로우 입력 노드(RI)에 연결되도록 배치되는 것 일 수 있다.
본원의 일 실시예에 따르면, 칼럼 입력 노드(CI)는, 상술한 어레이의 각각의 칼럼에 대응하는 m개의 픽셀로부터 생성된 스파이크 신호가 인가되는 n개의 노드를 포함하는 것일 수 있고, 로우 입력 노드(RI)는 상술한 어레이의 각각의 로우에 대응하는n개의 픽셀로부터 생성된 스파이크 신호가 인가되는 m개의 노드를 포함하는 것일 수 있다.
구체적으로 예시하면, 칼럼 입력 노드(CI)는 도 1의 CI[0], CI[1], ... , CI[n]을 포함하고, 로우 입력 노드(RI)는 도 1의 RI[0], RI[1], ... , RI[m]을 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
또한, 도 1을 참조하면, PPG 센서(10)는 각각이 ON(Output Neuron)으로 이루어지는 복수의 출력 뉴론(200)을 포함할 수 있다. 달리 말해, 본원의 실시예에 관한 설명에서 도면부호 200은 ON(200) 및 출력 뉴론(200)에 대하여 혼용될 수 있다.
도 1을 참조하면, 복수의 출력 뉴론(200)은 각각이 어레이를 이루는 칼럼 중 어느 하나에 대응하는 n개의 출력 뉴론(200) 및 각각이 어레이를 이루는 로우 중 어느 하나에 대응하는 m개의 출력 뉴론(200)을 포함하는 것일 수 있다. 예를 들어, n 및 m이 12일 경우, 출력 뉴론(200)은 칼럼 방향으로 배열된 12개와 로우 방향을 배열된 12개를 포함하여 총 24개일 수 있으나, 이에 한정되는 것은 아니다.
또한, 도 1을 참조하면, CO[0], CO[1], ... , CO[n]는 칼럼 입력 노드(CI)로부터 스파이크 신호를 수신한 출력 뉴론(200)의 출력 단을 의미할 수 있고, RO[0], RO[1], ... , RO[n]는 로우 입력 노드(RI)로부터 스파이크 신호를 수신한 출력 뉴론(200)의 출력 단을 의미할 수 있다.
본원의 일 실시예에 따르면, 각각의 출력 뉴론(200)은 복수의 입력 뉴론(100)으로부터 인가되는 스파이크 신호를 칼럼 방향 또는 로우 방향을 기준으로 합산할 수 있다. 즉, 출력 뉴론(200)은 복수의 칼럼 입력 노드(CI)로부터 입력되는 스파이크 신호들을 합산하거나, 또는 복수의 로우 입력 노드(RI)로부터 입력되는 스파이크 신호들을 합산할 수 있다. 상술한 예의 경우, 칼럼 방향을 기준으로 합산을 수행하는 어느 하나의 출력 뉴론(200)은 12개의 입력 뉴론(100)으로부터 인가된 스파이크 신호를 합산하는 것일 수 있으나, 이에 한정되는 것은 아니다.
또한, 본원의 일 실시예에 따르면, 출력 뉴론(200)은 로우 방향 또는 칼럼 방향을 따라 입력 뉴론(100)으로부터 인가된 스파이크 신호를 합산한 결과가 기 설정된 기준값 이상이면 출력 스파이크 신호를 생성할 수 있다. 즉, 출력 뉴론(200)은 입력 뉴론(100)이 수신한 광의 크기에 비례하는 세기의 출력 스파이크 신호를 출력할 수 있다. 출력 뉴론(200)과 관련한 더 상세한 설명은 도 4를 참조하여 후술하기로 한다.
본원의 일 실시예에 따르면, 입력 뉴론(100) 및 출력 뉴론(200)은 클록에 동기화 되지 않은 상태로 동작하므로, 본원에서 개시하는 PPG 센서(10)는 출력된 스파이크 신호를 디지털 신호로 동기화하여 처리하기 위한 동기화기(300)를 포함할 수 있다.
도 1을 참조하면, 각각의 동기화기(SYNC, 300)의 입력 단은 각각의 출력 뉴론(200)의 출력 단과 연결되도록 구비될 수 있다. 도 1을 참조하면, 하나의 출력 뉴론(200)과 하나의 동기화기(300)가 각각 연결되므로, 동기화기(300)와 출력 뉴론(200)의 수는 동일할 수 있으나, 이에 한정되는 것은 아니다.
또한, 도 1을 참조하면, COS[0], COS[1], ... , COS[n]는 CO[0], CO[1], ... , CO[n]로부터 출력 스파이크 신호를 수신한 동기화기(300)의 출력 단을 의미할 수 있고, ROS[0], ROS[1], ... , ROS[n]는 RO[0], RO[1], ... , RO[n]로부터 출력 스파이크 신호를 수신한 동기화기(300)의 출력 단을 의미할 수 있다.
본원의 일 실시예에 따르면, 동기화기(300)는 출력 뉴론(200)으로부터 출력 스파이크 신호를 수신하고, 수신한 출력 스파이크 신호 각각을 디지털 신호로 변환할 수 있다. 구체적으로, 동기화기(300)는 클록 신호를 수신하고, 출력 스파이크 신호를 수신한 클록 신호에 동기화된 1비트 디지털 신호로 변환시킬 수 있다. 동기화기(300)와 관련한 더 상세한 설명은 도 5를 참조하여 후술하기로 한다.
본원의 일 실시예에 따르면, 동기화기(300)는 복수의 입력 뉴론(100)이 수신한 광의 크기에 비례하는 각각의 출력 스파이크 신호를 디지털 신호로 변환할 수 있다.
예를 들어, 도 1을 참조하면, 복수의 입력 뉴론(100), 즉, 복수의 광 측정 뉴론(LSN, 100) 중 임의의 하나의 입력 뉴론(100)을 제1LSN(100a)라고 특정하고, 다른 하나의 입력 뉴론(100)을 제2LSN(100b)라고 특정하면, 제1LSN(100a)와 제2LSN(100b)는 각각 다른 크기의 광을 수신할 수 있고, 수신한 광의 크기에 비례하는 각각 다른 세기의 스파이크 신호를 생성할 수 있다. 또한, 제1LSN(100a)에 연결된 칼럼 입력 노드는 CI[0]이고, 제2LSN(100b)에 연결된 칼럼 입력 노드는 CI[1]로 서로 상이하므로, 각각의 스파이크 신호를 수신하는 출력 뉴론(200)에서 생성되는 출력 스파이크 신호 및 각각의 출력 스파이크 신호를 수신하는 동기화기(300)에서 변환한 디지털 신호 역시 상이한 크기(세기)의 신호가 될 수 있다.
따라서, 본원의 일 실시예에 따른 PPG 센서(10)는 픽셀화된 각각의 광 측정 뉴론(LSN, 100)의 공간 정보에 따른 스파이크 신호(또는 출력 스파이크 신호) 및 이를 변환한 디지털 신호를 출력할 수 있다. 보다 구체적으로, PPG 센서(10)는 복수의 입력 뉴론(100) 각각에 대하여 서로 다른 세기로 인가되는 광의 패턴(예를 들면, 광원으로부터 상대적으로 근접한 입력 뉴론(100)에 대하여 입사되는 광의 세기가 해당 입력 뉴론(100) 대비 상대적으로 광원으로부터 멀리 떨어진 다른 입력 뉴론(100)에 대하여 입사되는 광의 세기 대비 큰 값을 가지는 특성 등)에 대한 정보가 칼럼 방향 또는 로우 방향으로 공간적으로 합산되는 복수의 출력 데이터를 생성하므로, 각 출력에 대한 분석을 통해 PPG 센서(10)를 이루는 픽셀 단위의 입력 뉴론(LSN) 각각에 대하여 인가되는 입사광의 구체적인 공간 정보를 파악하는데 활용될 수 있다.
달리 말해, 본원에서 개시하는 PPG 센서(10)를 이용하여 출력된 각각의 스파이크 신호(또는 출력 스파이크 신호) 및 디지털 신호를 기반으로, 복수의 광 측정 뉴론(LSN, 100)들 각각에 인가되는 광의 크기를 개별적으로 파악할 수 있다. 다시 말해, PPG 센서(10)는 동기화기(300)에서 변환된 디지털 신호 각각의 크기 정보에 기초하여, 복수의 입력 뉴론(100)으로 인가되는 광의 광혈류측정 센서에 대한 상대적인 공간 정보를 도출할 수 있다.
또한, 본원의 일 실시예에 따르면, PPG 센서(10)는 광의 공간 정보에 따른 복수의 출력을 행렬 또는 벡터 형태로 합산하여 출력함으로써, 주변 광에 의한 잡음을 손쉽게 제거할 수 있다.
도 2는 본원의 일 실시예에 따른 입력 뉴론의 개략적인 회로도를 나타내는 도면이다.
도 2를 참조하면, 본원의 일 실시예에 따른 입력 뉴론(100)은 광-디지털 컨버터(LDC: Light-to-Digital Converter, 110), 제1트렌지스터(120) 및 제2트렌지스터(130)을 포함할 수 있다.
본원의 일 실시예에 따르면, 광-디지털 컨버터(110)는 광을 수신하고, 수신한 광의 크기에 기반하여 스파이크 신호를 생성할 수 있다. 구체적으로, 광-디지털 컨버터(110)는 광의 크기에 비례하는 스파이크 신호를 생성할 수 있다.
본원의 일 실시예에 따르면, 제1트렌지스터(120)는 광-디지털 컨버터(110)에서 생성한 스파이크 신호(LDCo: LDC output)를 칼럼 방향에 대응하는 칼럼 입력 노드(CI)로 출력하는 것일 수 있고, 제2트렌지스터(130)는 광-디지털 컨버터(110)에서 생성한 스파이크 신호를 로우 방향에 대응하는 로우 입력 노드(RI)로 출력하는 것일 수 있다.
도 2에는 예시적으로, 제1트렌지스터(120) 및 제2트렌지스터(130)를 N Channel MOSFET으로 도시하였으나, 이에 한정되는 것은 아니다.
도 3은 본원의 일 실시예에 따른 광-디지털 컨버터의 회로도를 나타내는 도면이다.
도 3을 참조하면, 광-디지털 컨버터(110)는 포토 다이오드(111), 제1비교기(112) 및 제1리셋 모스펫(MRST, 113) 등을 포함할 수 있다.
본원의 일 실시예에 따르면, 포토 다이오드(111)는 광 에너지를 전기 에너지로 변환할 수 있고, VPD는 포토 다이오드(111)에 의한 출력 전압을 의미할 수 있다. 또한, 본원의 일 실시예에 따르면, 포토 다이오드(111)의 캐소드 단자(cathode)는 접지되고, 애노드 단자(anode)는 바이어스 되지 않을 수 있으나, 이에 한정되는 것은 아니다.
본원의 일 실시예에 따르면, 제1비교기(112)는 기준 전압(VREF)과 포토 다이오드(111)의 출력 전압(VPD)을 비교하여, 포토 다이오드(111)의 출력 전압(VPD)이 기준 전압(VREF) 이상이면, 양의 값인 스파이크 신호(LDCo)를 출력하고, 출력 전압(VPD)이 기준 전압(VREF) 미만이면, 음의 값 또는 0인 스파이크 신호(LDCo)를 출력할 수 있으나, 이에 한정되는 것은 아니다.
본원의 일 실시예에 따르면, 제1리셋 모스펫(113)은 게이트(GATE)에 인가되는 스파이크 신호(LDCo)에 기반하여, 제1비교기(112)의 비반전 단자(+ 단자)에 인가되는 값을 리셋할 수 있다. 도 3에는 예시적으로, 제1리셋 모스펫(113)을 N Channel MOSFET으로 도시하였으나, 이에 한정되는 것은 아니다.
구체적으로, 제1리셋 모스펫(113)이 N Channel MOSFET일 경우, 스파이크 신호(LDCo)가 양의 값이면, 제1리셋 모스펫(113)의 게이트(GATE)에는 양의 값이 인가되고, 제1리셋 모스펫(113)가 턴온되어, 제1비교기(112)의 비반전 단자(+ 단자)를 접지 단자와 도통 시킬 수 있으나, 이에 한정되는 것은 아니다.
도 4는 본원의 일 실시예에 따른 출력 뉴론의 회로도를 나타내는 도면이다.
도 4를 참조하면, 출력 뉴론(ON, 200)은 복수의 칼럼 입력 노드(CI) 또는 복수의 로우 입력 노드(RI)로부터 출력된 스파이크 신호들이 합산된 결과를 수신할 수 있다. 다시 말해, 출력 뉴론(200)은 스파이크 신호를 칼럼 방향 또는 로우 방향을 기준으로 합산할 수 있다.
이하에서는 설명의 편의를 위해, 도 4를 참조하여, 출력 뉴론(200)에 입력되는 스파이크 신호들의 합산된 결과를 입력 신호(RI/CI)로 특정한다.
또한, 도 4를 참조하면, 출력 뉴론(200)은 제2비교기(210) 및 제2리셋 모스펫(MR, 220) 등을 포함할 수 있다.
본원의 일 실시예에 따르면, 제2비교기(210)는 기 설정된 기준 값(VR_ON)과 입력 신호(RI/CI)를 입력받고, 입력된 기준 값(VR_ON)과 입력 신호(RI/CI)를 상호 비교하여 출력 스파이크 신호(RO/CO)를 생성할 수 있다.
예를 들어, 입력 신호(RI/CI)가 기준 값(VR_ON) 이상이면, 출력 스파이크 신호(RO/CO)는 양의 값으로 출력될 수 있고, 반대로 입력 신호(RI/CI)가 기준 값(VR_ON) 미만이면, 출력 스파이크 신호(RO/CO)는 음의 값 또는 0으로 출력될 수 있으나, 이에만 한정되는 것은 아니다.
본원의 일 실시예에 따르면, 제2비교기(210)의 출력 값은 NOT 게이트를 통해, 반전되고, 반전된 신호는 제2리셋 모스펫(220)의 게이트(GATE)로 인가될 수 있다. 즉, 제2리셋 모스펫(220)의 게이트(GATE)에 인가되는 신호는 출력 스파이크 신호의 반전 된 값(RO'/CO')일 수 있다.
본원의 일 실시예에 따르면, 제2리셋 모스펫(220)은 게이트(GATE)에 인가되는 반전된 출력 스파이크 신호(RO'/CO')에 기반하여, 제2비교기(210)의 비반전 단자(+ 단자)에 인가되는 값을 리셋할 수 있다. 도 4에는 예시적으로, 제2리셋 모스펫(220)을 P Channel MOSFET으로 도시하였으나, 이에 한정되는 것은 아니다.
구체적으로, 제2리셋 모스펫(220)이 P Channel MOSFET일 경우, 반전 된 출력 스파이크 신호(RO'/CO')가 음의 값이면, 제2리셋 모스펫(220)의 게이트(GATE)에는 음의 값이 인가되고, 제1리셋 모스펫(113)가 턴온되어, 제2비교기(210)의 비반전 단자(+ 단자)를 접지 단자와 도통 시킬 수 있으나, 이에 한정되는 것은 아니다.
도 5는 본원의 일 실시예에 따른 동기화기의 회로도를 나타내는 도면이다.
도 5를 참조하면, 동기화기(300)는 제1플립플롭(310), 제2플립플롭(320), 제3플립플롭(330) 및 XOR 게이트(340)를 포함할 수 있다.
제1플립플롭(310), 제2플립플롭(320), 및 제3 플립플롭(330)은, 예를 들어, 입력 클록의 상승 엣지(rising edge)에 트리거되어 동작하는 D-플립플롭일 수 있으나, 이에 한정되는 것은 아니다.
도 5를 참조하면, 제1플립플롭(310)은 클록 단자에 출력 스파이크 신호(RO/CO)가 입력되고, 입력 단자와 반전 출력 단자는 연결될 수 있다. 이에 따라, 제1플립플롭(310)은 입력 단자와 반전 출력 단자가 서로 연결됨으로 인해서, 출력 스파이크 신호(RO/CO)의 발생에 따라 출력이 반전되게 된다.
또한, 제2플립플롭(320)은 클록 단자에 클록 신호(CLKS)가 입력되고, 입력 단자는 제1플립플롭(310)의 출력 단자와 연결될 수 있다. 제2플립플롭(320)은 클록 신호(CLKS)에 따라 출력이 결정되므로, 발생 시기가 랜덤이었던 출력 스파이크 신호(RO/CO)를 기준 클록 신호인 클록 신호(CLKS)에 동기화시키는 역할을 수행할 수 있다.
또한, 제3플립플롭(330)은 클록 단자에 클록 신호(CLKS)가 입력되고, 입력 단자가 제2플립플롭(320)의 출력 단자와 연결될 수 있다. 제3플립플롭(330)은 제2플립플롭(320)의 출력을 한 클록 지연시킴으로써, 후속하는 XOR 게이트(340) 검출용 신호를 생성할 수 있다.
또한, XOR 게이트(217)는 제2 플립플롭(320)의 출력 단자와 제3 플립플롭(330)의 출력 단자로부터 입력을 받아 1비트 디지털 신호를 출력할 수 있다. 제2플립플롭(320)의 출력 신호와 제3플립플롭(330)의 출력 신호는 클록 신호(CLKS)를 기준으로 한 클록 차이가 나므로, 일정한 크기의 디지털 신호를 생성할 수 있다.
도 6은 본원의 일 실시예에 따른 픽셀화된 모놀리식 광혈류측정 센서를 이용하여 획득한 광혈류측정 센서 데이터 및 잡음을 예시적으로 나타낸 그래프이다.
도 6을 참조하면, 광혈류측정 센서(PPG 센서) 데이터는 수신한 광의 크기 별로 상이한 출력 전압을 포함하는 것을 확인할 수 있다. 여기서, 높은 전압(예를 들면, 높은 DC 값 또는 AC 값)을 출력할수록, 해당 픽셀 또는 입력 뉴론(100)이 광원과 가깝게 위치하고 있다는 것을 의미할 수 있다. 즉, 본원의 일 실시예에 따른 PPG 센서(10)는 픽셀화된 각각의 광 측정 뉴론(LSN, 100)의 공간 정보에 따른 스파이크 신호를 출력할 수 있는 것을 보여준다.
또한, 도 6을 참조하면, 6초 내지 8초 구간에 주변 광으로 인한 잡음이 나타나는 것을 확인할 수 있다(Ambient noise).
도 7은 본원의 일 실시예에 따른 광혈류측정 센서 데이터를 이용한 주변광에 의한 잡음을 공간 정보를 활용하여 제거한 결과를 예시적으로 나타낸 그래프이다.
도 7을 참조하면, PPG 센서(10)는 개별적으로 출력되는 각각의 출력 전압을 종래의 복잡한 신호처리 기법 없이도 간단한 행렬 연산을 통해 주변 광으로 인한 잡음이 제거된 출력으로 변환할 수 있다. 구체적으로, 도 7에 도시된 'Ambient noise removed' 구간을 참조하면, 도 6의 그래프의 6초 내지 8초 구간에 존재하는 잡음으로 인한 영향이 제거된 단일 출력 데이터(로우 방향 및/또는 칼럼 방향을 따라 각각 도출된 복수의 출력 데이터를 하나의 시퀀스로 병합한 데이터)가 도출될 수 있는 것을 확인할 수 있다.
즉, 본원의 일 실시예에 따르면, PPG 센서(10)는 광의 공간 정보 및 복수의 출력을 기반으로 주변 광으로 인한 잡음이 제거된 출력을 획득할 수 있다.
보다 구체적으로 본원의 일 실시예에 따르면, PPG 센서(10)에 의해 생성되는 각각의 출력(예를 들면, 픽셀 어레이의 각각의 로우 또는 칼럼에 대하여 출력되는 디지털 신호에 대응하는 전압(Voltage) 값 등)의 변화를 시계열적으로 분석하면, 주변 광의 간섭 등으로 인한 노이즈로 인하여 전후 시퀀스 대비 출력 값이 급격하게 변하는 구간이 감지(탐지)될 수 있으며, PPG 센서(10)는 이러한 노이즈를 포함하는 출력 데이터에 대하여 소정의 보정 프로세스를 적용함으로써 해당 구간에 대한 노이즈가 제거된 정상 출력을 도출할 수 있다.
예를 들면, PPG 센서(10)는 입사된 광에 대응하여 생성된 복수의 출력을 픽셀 어레이에 대응하는 출력 행렬로 정의하고, 해당 출력 행렬에 대하여 노이즈를 제거하기 위한 기준 행렬을 행렬 곱 연산하는 방식으로 노이즈가 제거된 정상 출력을 도출하도록 동작하는 보정 모듈(미도시)을 탑재(구비)하는 것일 수 있다.
보다 구체적으로 예시하면, 도 6에 상호 구분되는 형상(색상 등)으로 표시된 12개의 출력이 12개의 칼럼 또는 로우 각각에 대응하여 생성된 복수의 출력 데이터인 경우, PPG 센서(10)의 전체 출력은 12 X 1 행렬 형태로 병합될 수 있고, PPG 센서(10)의 보정 모듈(미도시)은 전술한 비정상 구간(도 6의 Ambient noise 구간)에 대하여 노이즈를 제거할 수 있는 값으로 각각의 원소가 결정되는 1 X 12 크기의 기준 행렬을 출력 행렬에 대하여 행렬 곱 연산함으로써 해당 구간의 정상 출력 데이터가 획득되는 것일 수 있다.
달리 말해, 보정 모듈(미도시)은 PPG 센서(10)의 복수의 출력에 기반하여 정의되는 출력 행렬에 대한 전치 행렬 형태의 기준 행렬을 곱 연산함으로써 임의의 구간에 반영된 불측의 노이즈로 인한 영향(예를 들면, 주변 광으로 인한 간섭 등)을 제거할 수 있다.
이와 관련하여, PPG 센서에서 도출되는 출력 값이 공간 정보를 미포함하는 단일 데이터 형태로 도출되는 종래의 센서에 비하여 본원에서 개시하는 PPG 센서(10)는 로우 방향 및 칼럼 방향에 대응하는 공간 정보를 추정 가능하도록 복수의 출력 데이터를 제공하며, 이를 행렬 또는 벡터 형태로 병합할 수 있으므로 복수의 출력 데이터에 대한 행렬 연산 내지 벡터 연산을 통해 일부 구간의 노이즈를 출력 데이터에 반영된 공간 정보를 활용하여 제거하는 프로세스가 용이하게 이루어질 수 있는 이점이 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 구동 방법에 따른 흐름을 간단히 살펴보기로 한다.
도 8은 본원의 일 실시예에 따른 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 구동 방법에 대한 동작 흐름도이다.
도 8에 도시된 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 구동 방법은 앞서 설명된 PPG 센서(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 PPG 센서(10)에 대하여 설명된 내용은 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 구동 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 8을 참조하면, 단계 S11에서 복수의 입력 뉴론(100)은 수신한 광의 크기에 기반하여 스파이크 신호를 생성할 수 있다.
구체적으로, 단계 S11에서 각각의 입력 뉴론(100)의 광-디지털 컨버터(110)는 수신한 광의 크기에 비례하는 세기의 스파이크 신호를 생성할 수 있다.
또한, 단계 S11에서 각각의 입력 뉴론(100)에서 생성된 스파이크 신호는 칼럼 방향에 대응하는 칼럼 입력 노드 및 로우 방향에 대응하는 로우 입력 노드로 출력될 수 있다.
다음으로, 단계 S12에서 복수의 출력 뉴론(200) 각각은 복수의 입력 뉴론(100)으로부터 인가되는 스파이크 신호를 칼럼 방향 또는 로우 방향을 기준으로 합산할 수 있다.
다음으로, 단계 S13에서 복수의 출력 뉴론(200) 각각은 단계 S12를 통해 합산한 결과가 기 설정된 기준값 이상이면, 출력 스파이크 신호를 생성할 수 있다.
다음으로, 단계 S14에서 동기화기(300)는 복수의 출력 뉴론(200) 각각에서 출력된 출력 스파이크 신호 각각을 디지털 신호로 변환할 수 있다.
구체적으로, 단계 S14에서 동기화기(300)는 출력 스파이크 신호를 클록 신호에 동기화된 1비트 디지털 신호로 변환시킬 수 있다.
상술한 설명에서, 단계 S11 내지 S14는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 구동 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 구동 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서에 있어서,
    각각이 스파이크 신호를 생성하고, 로우 방향 및 칼럼 방향 중 적어도 하나의 방향으로 배열되는 복수의 입력 뉴론;
    상기 복수의 입력 뉴론으로부터 인가되는 상기 스파이크 신호를 상기 칼럼 방향 또는 상기 로우 방향을 기준으로 합산하고, 합산한 결과가 기 설정된 기준값 이상이면 출력 스파이크 신호를 생성하는 복수의 출력 뉴론; 및
    상기 출력 스파이크 신호 각각을 디지털 신호로 변환하는 동기화기,
    를 포함하는 것을 특징으로 하는,
    광혈류측정 센서.
  2. 제1항에 있어서,
    상기 복수의 입력 뉴론 각각은,
    수신한 광의 크기에 기반하여 상기 스파이크 신호를 생성하는 광-디지털 컨버터;
    상기 스파이크 신호를 상기 칼럼 방향에 대응하는 칼럼 입력 노드로 출력하는 제1트렌지스터; 및
    상기 스파이크 신호를 상기 로우 방향에 대응하는 로우 입력 노드로 출력하는 제2트렌지스터,
    를 포함하는 것인,
    광혈류측정 센서.
  3. 제2항에 있어서,
    상기 광-디지털 컨버터는,
    수신한 광의 크기에 비례하는 세기의 상기 스파이크 신호를 생성하는 것인,
    광혈류측정 센서.
  4. 제1항에 있어서,
    상기 복수의 입력 뉴론은,
    n x m개의 픽셀을 포함하는 어레이를 이루도록 배치되고,
    상기 칼럼 입력 노드는,
    상기 어레이의 각각의 칼럼에 대응하는 m개의 픽셀로부터 생성된 상기 스파이크 신호가 인가되는 n개의 노드를 포함하고,
    상기 로우 입력 노드는,
    상기 어레이의 각각의 로우에 대응하는 n개의 픽셀로부터 생성된 상기 스파이크 신호가 인가되는 m개의 노드를 포함하는 것인,
    광혈류측정 센서.
  5. 제4항에 있어서,
    상기 복수의 출력 뉴론은,
    각각이 상기 어레이를 이루는 칼럼 중 어느 하나에 대응하는 n개의 출력 뉴론 및 각각이 상기 어레이를 이루는 로우 중 어느 하나에 대응하는 m개의 출력 뉴론을 포함하는 것인,
    광혈류측정 센서.
  6. 제1항에 있어서,
    상기 동기화기는,
    상기 출력 스파이크 신호를 클록 신호에 동기화된 1비트 디지털 신호로 변환시키는 것인,
    광혈류측정 센서.
  7. 제1항에 있어서,
    상기 디지털 신호 각각의 크기 정보에 기초하여 상기 복수의 입력 뉴론으로 인가되는 광의 상기 광혈류측정 센서에 대한 상대적인 공간 정보가 도출되는 것을 특징으로 하는 것인,
    광혈류측정 센서.
  8. 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서의 구동 방법에 있어서,
    복수의 입력 뉴론이 수신한 광의 크기에 기반하여 스파이크 신호를 생성하는 단계;
    상기 복수의 입력 뉴론으로부터 인가되는 상기 스파이크 신호를 칼럼 방향 또는 로우 방향을 기준으로 합산하는 단계;
    합산한 결과가 기 설정된 기준값 이상이면, 복수의 출력 뉴론이 출력 스파이크 신호를 생성하는 단계; 및
    상기 출력 스파이크 신호 각각을 디지털 신호로 변환하는 단계,
    를 포함하는 것을 특징으로 하는,
    광혈류측정 센서의 구동 방법.
  9. 제8항에 있어서,
    상기 스파이크 신호를 생성하는 단계는,
    광-디지털 컨버터가 수신한 광의 크기에 비례하는 세기의 상기 스파이크 신호를 생성하고, 상기 스파이크 신호를 상기 칼럼 방향에 대응하는 칼럼 입력 노드 및 상기 로우 방향에 대응하는 로우 입력 노드로 출력하는 것인,
    광혈류측정 센서의 구동 방법.
  10. 제8항에 있어서,
    상기 디지털 신호로 변환하는 단계는,
    상기 출력 스파이크 신호를 클록 신호에 동기화된 1비트 디지털 신호로 변환시키는 것인,
    광혈류측정 센서의 구동 방법.
PCT/KR2022/015490 2021-12-03 2022-10-13 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법 Ceased WO2023101201A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/687,077 US12413868B2 (en) 2021-12-03 2022-10-13 Pixelated monolithic photoplethysmographic sensor having spiking neural network structure and driving method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210172377A KR102579571B1 (ko) 2021-12-03 2021-12-03 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법
KR10-2021-0172377 2021-12-03

Publications (1)

Publication Number Publication Date
WO2023101201A1 true WO2023101201A1 (ko) 2023-06-08

Family

ID=86612539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/015490 Ceased WO2023101201A1 (ko) 2021-12-03 2022-10-13 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법

Country Status (3)

Country Link
US (1) US12413868B2 (ko)
KR (1) KR102579571B1 (ko)
WO (1) WO2023101201A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283842A1 (en) * 2014-03-06 2016-09-29 Progress, Inc. Neural network and method of neural network training
US10579925B2 (en) * 2013-08-26 2020-03-03 Aut Ventures Limited Method and system for predicting outcomes based on spatio/spectro-temporal data
US20200202206A1 (en) * 2018-12-07 2020-06-25 Commissariat à l'énergie atomique et aux énergies alternatives Artificial neuron for neuromorphic chip with resistive synapses
KR20200133246A (ko) * 2018-03-14 2020-11-26 크로놀라이프 다수의 신호들을 프로세싱하기 위한 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987399B1 (ko) 2017-07-11 2019-06-12 한국과학기술원 높은 신호대잡음비를 갖는 광용적맥파 센서를 위한 저각도 광학투과필터의 제조 방법 및 이를 구비한 광용적맥파 센서

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579925B2 (en) * 2013-08-26 2020-03-03 Aut Ventures Limited Method and system for predicting outcomes based on spatio/spectro-temporal data
US20160283842A1 (en) * 2014-03-06 2016-09-29 Progress, Inc. Neural network and method of neural network training
KR20200133246A (ko) * 2018-03-14 2020-11-26 크로놀라이프 다수의 신호들을 프로세싱하기 위한 시스템 및 방법
US20200202206A1 (en) * 2018-12-07 2020-06-25 Commissariat à l'énergie atomique et aux énergies alternatives Artificial neuron for neuromorphic chip with resistive synapses

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEON-MYEONG LEE: "Behavior of the spiking neuron model and training of the spiking neural network", JOURNAL OF INFORMATION SCIENCE, vol. 38, no. 2, 1 February 2020 (2020-02-01), pages 8 - 19, XP093069437 *
MOSTAFA RAHIMI AZGHADI; COREY LAMMIE; JASON K. ESHRAGHIAN; MELIKA PAYVAND; ELISA DONATI; BERNABE LINARES-BARRANCO; GIACOMO INDIVER: "Hardware Implementation of Deep Network Accelerators Towards Healthcare and Biomedical Applications", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 28 April 2021 (2021-04-28), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081924537, DOI: 10.1109/TBCAS.2020.3036081 *

Also Published As

Publication number Publication date
KR20230083921A (ko) 2023-06-12
US20240380991A1 (en) 2024-11-14
US12413868B2 (en) 2025-09-09
KR102579571B1 (ko) 2023-09-15

Similar Documents

Publication Publication Date Title
KR100833177B1 (ko) 자동적으로 오프 셋을 조정할 수 있는 신호변환회로 및 그방법
WO2015008902A1 (en) Fingerprint recognition sensor capable of sensing fingerprint using optical and capacitive method
WO2011099759A2 (en) Image sensor and operating method
WO2020045946A1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2018120315A1 (zh) 一种触控显示面板的驱动方法、驱动装置以及触控显示器
WO2018155738A1 (ko) 복수의 광원을 활용하는 양자 노이즈 기반 난수생성장치
US4584609A (en) Parallel-input/serial output CCD register with clocking noise cancellation, as for use in solid-state imagers
WO2023101201A1 (ko) 스파이킹 신경망 구조의 픽셀화된 모놀리식 광혈류측정 센서 및 그의 구동 방법
WO2018111011A1 (ko) 이동 객체 탐지 시스템 및 방법
WO2015160143A1 (ko) 광 검출기
WO2013042918A1 (ko) 복수 개의 램프 신호를 사용하는 다중 스텝 구조의 adc 및 이를 이용한 아날로그-디지털 변환 방법
EP1641250B1 (en) Signal read circuit
WO2023038417A1 (ko) 줌 히스토그래밍 tdc를 이용한 플래시 라이다 센서
WO2014014265A1 (ko) 영상 처리 장치 및 가로줄 노이즈 개선 방법
WO2018062650A2 (ko) 스테레오 매칭 장치 및 방법
WO2018088649A1 (ko) 글린트 검출 방법
WO2017099308A1 (ko) 컬러 필터 어레이 및 이를 이용한 이미지 센서
WO2012020884A1 (ko) 씨모스 이미지 센서 및 그것의 동작 방법
WO2024257957A1 (ko) 시선추적센서
WO2026095547A1 (ko) Cmos 영상 센서 기반 동공 영역 측정장치
JPS62198257A (ja) カラ−リニアイメ−ジセンサ
WO2025258753A1 (ko) 엑스선 디텍터
WO2024210659A1 (ko) 이미지 센싱 장치 및 이미지 처리 방법
WO2023239164A1 (ko) 영상 획득 장치 및 방법
WO2025198137A1 (ko) 다채널 공정 모니터링 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22901561

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18687077

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22901561

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18687077

Country of ref document: US