WO2025258754A1 - 삼진 신경망을 이용한 연산 장치 및 연산 방법, 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템 - Google Patents

삼진 신경망을 이용한 연산 장치 및 연산 방법, 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템

Info

Publication number
WO2025258754A1
WO2025258754A1 PCT/KR2024/015788 KR2024015788W WO2025258754A1 WO 2025258754 A1 WO2025258754 A1 WO 2025258754A1 KR 2024015788 W KR2024015788 W KR 2024015788W WO 2025258754 A1 WO2025258754 A1 WO 2025258754A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
analog signal
charge sharing
ternary
ternary neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2024/015788
Other languages
English (en)
French (fr)
Inventor
김재준
조정훈
편유장
김용기
김현중
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UNIST Academy Industry Research Corp
Original Assignee
UNIST Academy Industry Research Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UNIST Academy Industry Research Corp filed Critical UNIST Academy Industry Research Corp
Publication of WO2025258754A1 publication Critical patent/WO2025258754A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Definitions

  • the present invention relates to computation using a ternary neural network.
  • This binary neural network processing method essentially uses a counter or subtractor in the process of comparing the input value with a threshold value and calculating the output value as 1 or 0.
  • the background technology described above is technical information that the inventor possessed for the purpose of deriving the present invention or acquired in the process of deriving the present invention, and cannot necessarily be said to be publicly known technology disclosed to the general public prior to the application for the present invention.
  • Patent Document 1 U.S. Patent Publication No. US 11,335,387 B2 (May 17, 2022)
  • the present invention proposes a computational technique using a ternary neural network that can provide computational results for analog information without being separately digitized by inputting acquired analog signals directly into a neural network and performing MAC (multiplication and accumulation) operations from an input layer to a hidden layer.
  • MAC multiplication and accumulation
  • an analog signal analysis system including a computational device using a ternary neural network, including an acquisition device that acquires a multi-channel analog signal through an analog front end (AFE); an computational device that inputs the analog signal into a ternary neural network to perform a logical operation and performs a MAC (multiplication and accumulation) operation on the result of the logical operation using a charge sharing method; and an output device that outputs an analysis result for the analog signal based on the MAC operation result of the computational device.
  • AFE analog front end
  • the computational device may include a timing controller that controls the output timing of a logical operation for the analog signal input through the input layer of the ternary neural network; a feature storage unit that stores a feature of the analog signal; an computational parameter storage unit that stores an computational parameter including a value obtained by adding a bias to a value obtained by multiplying the feature and a weight; a MAC (multiplication and accumulation) computation unit that performs a logical operation on the feature and the weight of the computational parameter and sequentially stores the result of the logical operation in a charge sharing capacitor based on the output timing of the timing controller; an activation processing unit that compares the charge sharing processing result of the MAC computation unit with a threshold value and outputs the comparison result; and a data transmission unit that stores the comparison result of the activation processing unit and transmits the comparison result to a hidden layer of the ternary neural network.
  • a timing controller that controls the output timing of a logical operation for the analog signal input through the input layer of the ternary neural network
  • a feature storage unit that stores
  • analog signal analysis system can classify the analog signal through the ternary neural network.
  • the output device outputs the analysis result based on the result of the classification, and the analysis result may include the result of determining the type of gas detected through the AFE or the result of diagnosing the health condition of the user.
  • a computing device that inputs an analog signal acquired through an AFE into a ternary neural network and performs a computing operation, the computing device using a ternary neural network comprising: a timing control unit that controls an output timing of a logical operation on the analog signal input through an input layer of the ternary neural network; a feature storage unit that stores a feature of the analog signal; an computing parameter storage unit that stores an computing parameter including a value obtained by adding a bias to a product of the feature and a weight; a MAC computing unit that performs a logical operation on the feature and the weight of the computing parameter and sequentially stores the result of the logical operation in a charge sharing capacitor based on the output timing of the timing control unit; an activation processing unit that compares a charge sharing processing result of the MAC computing unit with a threshold value and outputs a comparison result; and a data transmission unit that stores a comparison result of the activation processing unit and transmits the comparison result to a hidden layer of the ternary neural
  • the feature storage unit may include a capacitor and a buffer in the form of an array.
  • the characteristics of the analog signal can be stored as a differential signal in the capacitor.
  • V CM a reference voltage
  • the change amount when the change amount is 1, it can be charged to the first output node voltage, when the change amount is -1, it can be charged to the second output node voltage, and when the change amount is 0, it can be charged to the reference voltage (V CM ).
  • the first output node voltage may be a P-type output node voltage (V OUTP ), and the second output node voltage may be an N-type output node voltage (V OUTN ).
  • the result of the charge sharing processing is expressed as a P-type charge sharing voltage
  • the threshold is expressed as a reference voltage
  • the activation processing unit can output the comparison result of comparing the P-type charge sharing voltage and the reference voltage.
  • the data transmission unit includes an array-type capacitor and a buffer, and stores the P-type charge sharing voltage in the capacitor when the comparison result is output as the P-type charge sharing voltage being greater than the reference voltage, and can charge the capacitor to the reference voltage when the comparison result is output as the P-type charge sharing voltage being less than the reference voltage.
  • the hidden layer is composed of n neurons and can repeat the operation of outputting the comparison result n times.
  • a method of calculating a computational device that inputs an analog signal acquired through an AFE into a ternary neural network and performs a computation, the method comprising: a step of controlling an output timing of a logical operation on the analog signal input through an input layer of the ternary neural network; a step of storing a feature of the analog signal; a step of storing an computational parameter including a value obtained by adding a bias to a product of the feature and a weight; a step of performing a logical operation on the feature and the weight of the computational parameter, and sequentially storing the result of the logical operation in a charge sharing capacitor based on the output timing of the timing control unit; a step of comparing a result of charge sharing processing in the step of storing the result of the logical operation with a threshold value, and outputting a comparison result; and a step of storing the comparison result and transmitting the comparison result to a hidden layer of the ternary neural network.
  • the step of storing the above characteristics may include a step of storing the characteristics of the analog signal as a differential signal in an array-type capacitor.
  • the sequentially storing step may include a step of applying a reference voltage to the lower plate of the charge sharing capacitor; and a step of charging different voltages to the upper plate of the charge sharing capacitor according to the amount of change in the weight.
  • the sequentially storing step may further include: a step of charging the charge sharing capacitor with a first output node voltage when the amount of change is 1; a step of charging the charge sharing capacitor with a second output node voltage when the amount of change is -1; and a step of charging the charge sharing capacitor with the reference voltage when the amount of change is 0.
  • the above-described transmitting step may include a step of configuring the hidden layer with n neurons and repeatedly performing the above-described computational method n times.
  • a computer-readable recording medium storing a computer program includes instructions for causing a processor to perform a calculation method of a calculation device that inputs an analog signal acquired through an AFE into a ternary neural network to perform a calculation, and the method may include the steps of: controlling an output timing of a logical operation on the analog signal input through an input layer of the ternary neural network; storing a feature of the analog signal; storing a calculation parameter including a value obtained by adding a bias to a product of the feature and a weight; performing a logical operation on the feature and the weight of the calculation parameter and sequentially storing a result of the logical operation in a charge sharing capacitor based on an output timing of the timing control unit; comparing a result of the charge sharing process in the step of storing the result of the logical operation with a threshold value and outputting a comparison result; and storing the result of the comparison and transmitting the result of the comparison to a hidden layer of the ternary neural network.
  • circuits can be designed with a simple structure and low power consumption by performing calculations in the charge domain without the need to digitize analog inputs.
  • the present invention can provide higher computational performance than conventional binary neural networks by utilizing a ternary neural network for calculations. Accordingly, the present invention is expected to be utilized in various applications (e.g., gas type identification applications, arrhythmia diagnosis applications) as on-chip artificial intelligence (AI).
  • AI on-chip artificial intelligence
  • FIG. 1 is a block diagram for explaining the function of an analog signal analysis system including a computational device using a ternary neural network according to an embodiment of the present invention.
  • FIG. 2 is a block diagram for explaining the specific functions of a computational device using a ternary neural network according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram for explaining the concept of an analog signal analysis system including a computational device using a ternary neural network according to an embodiment of the present invention.
  • Figures 4 to 17 are schematic diagrams for exemplarily explaining a computational method of a computational device using a ternary neural network according to an embodiment of the present invention.
  • an operation technique using a ternary neural network that can provide an operation result for analog information without being separately digitized by inputting an acquired analog signal as it is into a neural network and performing a MAC (multiplication and accumulation) operation from an input layer to a hidden layer.
  • FIG. 1 is a block diagram for explaining the function of an analog signal analysis system (1) including a computational device (100) using a ternary neural network according to an embodiment of the present invention.
  • the analog signal analysis system (1) may include an acquisition device (10), a calculation device (100), and an output device (20).
  • the acquisition device (10) can acquire analog signals of multiple channels.
  • This acquisition device (10) can acquire analog signals of multiple channels, for example, through an analog front end (AFE), and the acquisition device (10) can acquire gas signals, bio-signals, etc. detected through this AFE. Therefore, the analog signal analysis system (1) according to an embodiment of the present invention can analyze the results of determining the type of gas detected through the AFE or the results of diagnosing the health status of a user, as described below.
  • AFE analog front end
  • the computational device (100) inputs an analog signal acquired through the acquisition device (10) into a ternary neural network according to an embodiment of the present invention to perform a logic operation process, and can process the logical operation result according to the logic operation process into a MAC (multiplication and accumulation) operation using a charge sharing method.
  • the analog signal analysis system can classify an analog signal through the computational device (100) and the ternary neural network.
  • the computational device (100) may include a timing controller (110), a feature storage unit (120), an operation parameter storage unit (130), a MAC operation unit (140), an activation processing unit (150), and a data transfer unit (160), and the functional descriptions of the respective components of the computational device (100) will be described in detail with reference to FIG. 2 below.
  • a ternary neural network applied to a computing device (100) may include, for example, an input layer consisting of 24 nodes, a first layer consisting of 32 nodes, a second layer consisting of 32 nodes, a third layer consisting of 16 nodes, a fourth layer consisting of 8 nodes, and an output layer consisting of 4 nodes.
  • the first to fourth layers may refer to hidden layers.
  • the output device (20) can output an analysis result for an analog signal acquired through the acquisition device (10) based on the MAC operation result of the operation device. That is, the output device (20) can output an analysis result based on the result of classifying the analog signal through a ternary neural network, and this analysis result may include a result of determining the type of gas detected through the AFE of the acquisition device (10) or a result of diagnosing the health status of the user. That is, the present invention can be utilized in various applications (gas type determination application, arrhythmia diagnosis application, etc.) as on-chip artificial intelligence.
  • FIG. 2 is a block diagram for explaining the specific functions of a computational device (100) using a ternary neural network according to an embodiment of the present invention.
  • the computational device (100) may include a timing control unit (110), a feature storage unit (120), an computational parameter storage unit (130), a MAC computation unit (140), an activation processing unit (150), and a data transmission unit (160).
  • a timing control unit 110
  • a feature storage unit 120
  • an computational parameter storage unit 130
  • a MAC computation unit 140
  • an activation processing unit 150
  • a data transmission unit 160
  • the timing control unit (110) can control the output timing of a logic operation on an analog signal input through the input layer of the three-stage neural network. In addition, the timing control unit (110) can control the switching clock of the data transmission unit (160) in response to the comparison result output of the activation processing unit (150) described below.
  • the feature storage unit (120) can store the features of an analog signal acquired through the acquisition device (10).
  • This feature storage unit (120) can include an array-type capacitor and a buffer, and the features of the analog signal can be stored as a differential signal in the capacitor.
  • the operation parameter storage unit (130) can store operation parameters.
  • the operation parameters can include a value obtained by adding a bias to a value obtained by multiplying the features of the feature storage unit (120) by the weights. That is, the operation parameter storage unit (130) stores weights, and the MAC operation unit (140) described below can calculate input values and weights according to the number of neurons of the binary neural network.
  • the MAC operation unit (140) can perform a logical operation on the above characteristics and weights of the operation parameters, and sequentially store the results of the logical operation in the charge sharing capacitor based on the output timing of the timing control unit (110). That is, data can be charged in the charge sharing capacitor according to the output value of the MAC operation unit (140).
  • the activation processing unit (150) can compare the charge sharing processing result of the MAC operation unit (140) with a threshold value and output the result of comparing the charge sharing processing result with the threshold value.
  • the data transmission unit (160) can store the comparison result of the activation processing unit (150) and transmit the stored comparison result to the hidden layer of the ternary neural network.
  • FIG. 3 is a schematic diagram for explaining the concept of an analog signal analysis system (1) including a computational device (100) using a ternary neural network according to an embodiment of the present invention.
  • the signal flow first acquires an analog signal (e.g., a gas signal or a human body signal) through an AFE, and then stores the characteristics of the analog signal through a capacitor and buffer array (feature storage unit).
  • the stored characteristics can be configured as 24 channels.
  • the acquired analog signal goes through a classification process using a ternary neural network, and based on this, the type of gas can be determined or the user's health condition can be diagnosed.
  • An analog signal analysis system (1) can input an analog signal as is into a ternary neural network, and can perform a MAC operation from the ternary neural network to a hidden layer and then operate the analog signal as is without being separately digitized.
  • the neurons in the hidden layer are also stored as neurons composed of capacitors and buffers, and are composed of a total of 32 kernels, so that 32 features can be stored in each neuron of the first layer.
  • the 32 first-layer neurons can be computed with weights and MAC for a pseudo-ternary neural network to be operated on by the 32 neurons of the second layer.
  • Fig. 4 is a schematic diagram exemplarily explaining the process of storing an analog signal acquired through an acquisition device (10).
  • the acquisition device (10) is composed of a capacitor array and a buffer array, and may include an input layer composed of a total of 24 neurons.
  • the characteristics of the analog signal acquired through the AFE can be stored as a differential signal in the capacitor array of the acquisition device (10).
  • a buffer may be additionally configured to charge the capacitor used for the MAC operation of the MAC operation unit (140).
  • FIG. 5 illustrates a ternary neural network used in an analog signal analysis system (1) according to an embodiment of the present invention.
  • the ternary neural network applied to the analog signal analysis system (1) may include, for example, an input layer consisting of 24 nodes, a first layer consisting of 32 nodes, a second layer consisting of 32 nodes, a third layer consisting of 16 nodes, a fourth layer consisting of 8 nodes, and an output layer consisting of 4 nodes.
  • the first to fourth layers may refer to hidden layers.
  • the charge sharing capacitor is composed of 23 capacitors, and a reference voltage (V CM ) is applied to the bottom plate of the capacitor at ⁇ 1 , and the top plate of the charge sharing capacitor can be charged with different voltages depending on the amount of change in the weight.
  • V CM reference voltage
  • the MAC operation unit (140) can be charged to the first output node voltage when the amount of change is 1, charged to the second output node voltage when the amount of change is -1, and charged to the reference voltage (V CM ) when the amount of change is 0.
  • the first output node voltage can be a P-type output node voltage (V OUTP )
  • the second output node voltage can be an N-type output node voltage (V OUTN ).
  • the MAC operation can be completed through charge sharing at ⁇ 2 .
  • the calculation formula according to the MAC operation performed in the MAC operation unit (140) can be exemplified as in the following [Mathematical Formula 1].
  • Fig. 8 is a schematic diagram for exemplarily explaining an activation processing process performed in an activation processing unit (150) of an operation device (100), and Fig. 9 is a diagram illustrating a neuron structure of a neural network for this.
  • the activation function is a nonlinear function, it can transform the linear combination of input values and weights into a nonlinear function. This allows neural networks to learn complex data patterns. If only linear functions were used, the expressive power of the neural network would be limited, as multiple layers could be expressed as a single linear function.
  • the activation processing unit (150) can compare the reference voltage (V CM ) and the P-type charge sharing voltage (V CSP ) and output the comparison result of comparing the reference voltage (V CM ) and the P-type charge sharing voltage (V CSP ).
  • the data transmission unit (160) can store the comparison result of the active processing unit (150) and transmit the comparison result to the hidden layer of the ternary neural network.
  • the data transmission unit (160) can store the P-type charge sharing voltage (V CSP ) in a capacitor when the comparison result is output that the P-type charge sharing voltage (V CSP ) is greater than the reference voltage (V CM ), and can charge the capacitor to the reference voltage (V CM ) when the comparison result is output that the P-type charge sharing voltage (V CSP ) is less than the reference voltage (V CM ).
  • the reference voltage (V CM ) and the P-type charge sharing voltage (V CSP ) are compared, and if the P-type charge sharing voltage (V CSP ) is greater than the reference voltage (V CM ), it is stored in the capacitor array corresponding to the second layer (layer 2) through a buffer, and if the P-type charge sharing voltage (V CSP ) is less than the reference voltage (V CM ), it can be charged to the reference voltage (V CM ) as is.
  • the process of FIGS. 4 to 8 described above can be repeated 32 times. Through this repetition, the voltages from ⁇ 0> to ⁇ 31> in the first layer can be sequentially filled.
  • a buffer was used in the input layer to maintain the voltages sampled in the input layer during the 32 repetitions.
  • a buffer was also used in the hidden layer because the voltages must be output 32 times repeatedly while performing calculations from the first layer to the second layer.
  • FIGS. 10 to 13 are schematic diagrams for exemplarily explaining a data transmission process performed in a computing device (100) of an analog signal analysis system (1) according to an embodiment of the present invention.
  • the computation of the second layer in the first layer is similar to the computation of the first layer in the input layer.
  • the activation function is replaced with a "ternary tanh function.”
  • V CS The MAC operation
  • 1.5-bit ternary weights (Weight Ternary ⁇ 0:31>) can be stored in a register through an activation function consisting of two comparators.
  • the ternary state means (1), when it is between V HIGH and V LOW (outputs of the comparators: 0,1), the ternary state means (0), and when it is less than V LOW (outputs of the comparators: 0,0), the ternary state means (-1).
  • the outputs of the comparators are stored as is in the register.
  • This process can be repeated a total of 32 times from the second layer ⁇ 0> to the second layer ⁇ 31> (kernels 0 to 31).
  • Kernel 0 is the process of calculating the second layer ⁇ 0>
  • kernel 1 is the process of calculating the second layer ⁇ 1>.
  • the weights are updated and calculated.
  • Figures 14 to 17 are schematic diagrams for exemplarily explaining the analysis result output process using a ternary neural network of an output device (20) of an analog signal analysis system (1) according to an embodiment of the present invention.
  • the MAC operation (V CS ) through charge sharing with register ⁇ 0:31> and 1.5-bit ternary weights (Weight Ternary ⁇ 0:31>) is stored in the register through an activation function consisting of two comparators.
  • the ternary state means (1), when it is between V HIGH and V LOW (outputs of the comparators: 0,1), the ternary state means (0), and when it is less than V LOW (outputs of the comparators: 0,0), the ternary state means (-1).
  • the outputs of the comparators are stored as is in the register.
  • This process can be repeated a total of 16 times from the 3rd layer ⁇ 0> to the 3rd layer ⁇ 15> (kernels 0 to 16).
  • Kernel 0 is the process of calculating the third layer ⁇ 0>
  • kernel 1 is the process of calculating the second layer ⁇ 1>.
  • the weights are updated and calculated.
  • the ternary neural network performed a MAC operation with ternary input*ternary weight.
  • the calculation of the fourth layer is performed in the same manner, and the output is calculated from the fourth layer in the same manner.
  • the output represents the final classification result.
  • a circuit can be designed with a simple structure and low power by performing calculations in the charge domain without the need to digitize analog inputs.
  • the present invention can provide higher calculation performance than the existing binary neural network through calculations using a ternary neural network. Accordingly, the present invention is expected to be applicable to various applications (gas type determination application, arrhythmia diagnosis application, etc.) as on-chip artificial intelligence (AI). Therefore, when a technology that requires data to be processed quickly, reliably, and continuously is required, the peripheral calculation device can implement on-chip AI internally on the chip to ensure speed.
  • the present invention proposes a neural network structure that can receive analog signals as they are while providing further enhanced AI processing capabilities.
  • the proposed technology supports fast operations by minimizing clock consumption and proposes a structure that can be designed with a small chip size.
  • low-power operation will be possible by providing a pruning effect that can minimize power consumption of the buffer in the 0 state among the ternary states.
  • each block in the attached block diagram and each step in the flowchart may be performed by computer program instructions.
  • These computer program instructions may be installed in a processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, so that the instructions, executed by the processor of the computer or other programmable data processing equipment, create a means for performing the functions described in each block in the block diagram.
  • These computer program instructions may also be stored in a computer-usable or computer-readable recording medium (or memory) that can direct a computer or other programmable data processing equipment to implement a function in a specific manner, so that the instructions stored in the computer-usable or computer-readable recording medium (or memory) can also produce a manufactured item that includes instruction means for performing the function described in each block of the block diagram.
  • the computer program instructions can also be installed on a computer or other programmable data processing equipment, a series of operation steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer, so that the instructions that execute the computer or other programmable data processing equipment can also provide steps for executing the functions described in each block of the block diagram.
  • each block may represent a module, segment, or portion of code that includes at least one executable instruction for performing a specific logical function(s). It should also be noted that in some alternative embodiments, the functions described in the blocks may occur out of order. For example, two blocks depicted in succession may actually be executed substantially concurrently, or the blocks may sometimes be executed in reverse order, depending on their respective functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Logic Circuits (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

본 발명은 삼진 신경망(ternary neural network)을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템에 관한 것으로, AFE(analog front end)를 통해 복수 채널의 아날로그 신호를 획득하는 획득 장치; 상기 아날로그 신호를 삼진 신경망에 입력하여 논리 연산하고, 상기 논리 연산의 결과를 전하 공유(charge sharing) 방식을 이용하여 MAC(multiplication and accumulation) 연산하는 연산 장치; 및 상기 연산 장치의 MAC 연산 결과를 기초로 상기 아날로그 신호에 대한 분석 결과를 출력하는 출력 장치;를 포함할 수 있다.

Description

삼진 신경망을 이용한 연산 장치 및 연산 방법, 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템
본 발명은 삼진 신경망(ternary neural network)을 이용한 연산과 관련이 있다.
본 연구는 2021년도 산업통상자원부(정부)의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구사업의 식품 부패 및 보관 모니터링을 위한 지능형 IoT 복합 센서 개발(NO.1415177656)과 관련된다.
또한, 본 연구는 2021년도 과학기술정보통신부(정부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구사업의 지능형 사물 에너지(iEoT) 반도체 시스템 융합 다빈치형 인력양성 센터(NO.1711134724)과 관련된다.
또한, 본 연구는 2022년도 산업통상자원부(정부)의 재원으로 산업기술평가관리원의 지원을 받아 수행된 연구사업의 다종센서의 융복합 및 초소형화를 위한 센서 플랫폼 기술 개발(NO.1415181703)과 관련된다.
참고로, 본 출원은 2024년 06월 10일자로 출원된 한국특허출원(출원번호 10-2024-0074930)을 기초로 우선권을 주장한다. 이러한 우선권의 기초가 되는 해당 출원의 전체 내용은 본 출원에서 참조문헌으로서 인용된다.
근래 들어, 이미지 내 물체 감지나 이미지 분할과 같은 작업을 수행하는 더 복잡한 머신러닝(machine learning) 모델이 개발되어 왔다. 이진 신경망(binary neural network)은 이러한 새로운 모델들은 이전에 사용되던 최첨단 모델보다 더 나은 성능을 보여주고 있다.
이러한 이진 신경망을 칩(chip)으로 구현을 할 경우, 기존 컴퓨팅 방식과 달리 저장 장치에 액세스(access)하고 처리하는 시간을 줄여 실시간 분석 및 예측 가능한 시간이 밀리초가 아닌 마이크로초 단위로 가능해졌으며, 주변 저장 장치에 필요한 전력 소모가 줄어들어 저전력 시스템에 용이하다. 예컨대, 가스 검출 시스템의 경우, 신속성과 지속성이 요구되기 때문에 빠른 실시간 분석과 낮은 소비 전력을 갖는 칩 기술 개발에 적합하다고 볼 수 있다.
이러한 이진 신경망 처리 방식은 입력값과 임계값을 비교하여 출력값을 1 또는 0으로 연산하는 과정에서 카운터(counter)나 감산기(subtractor)가 필수적으로 사용된다.
그런데, 카운터와 감산기는 클럭 기반으로 연산이 이루어지기 때문에 빠른 연산이 불가능할 뿐만 아니라, 이진 신경망의 계층 구조와 뉴런 개수가 증가함에 따라 면적 소모가 많아지고 연산 시간이 오래 걸린다는 문제가 제기된다. 예컨대, 이진 신경망의 입력층(input layer)의 노드(node) 수가 4개이고, 은닉층(hidden layer)의 노드 수가 3개인 경우, 연산 과정에서 총 12개의 클럭이 필요하다.
이를 감안하여, 카운터의 동작을 제외시켜 클럭의 소모율을 줄이고자 하는 기법이 시도된 바 있으나, 이 경우에도 이진 신경망의 입력과 가중치가 디지털 비트만을 지원하기 때문에, 이진 신경망의 연산을 위해 1비트로 단순화하는 과정에서 인공 신경망의 성능을 좀 더 올릴 수 있는 기술적 방안이 요구된다.
상술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지 기술이라 할 수는 없다.
(선행기술문헌)
(특허문헌 1) 미국등록특허공보 US 11,335,387 B2 (2022.05.17.)
본 발명은, 획득된 아날로그 신호를 신경망에 그대로 입력하여 입력층에서 은닉층으로의 MAC(multiplication and accumulation) 연산을 수행함으로써, 별도로 디지털화되지 않은 상태로 아날로그 정보에 대한 연산 결과를 제공할 수 있는 삼진 신경망을 이용한 연산 기술을 제안하고자 한다.
본 발명이 해결하고자 하는 과제는 상기에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재들로부터 본 발명이 속하는 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따르면, AFE(analog front end)를 통해 복수 채널의 아날로그 신호를 획득하는 획득 장치; 상기 아날로그 신호를 삼진 신경망(ternary neural network)에 입력하여 논리 연산하고, 상기 논리 연산의 결과를 전하 공유(charge sharing) 방식을 이용하여 MAC(multiplication and accumulation) 연산하는 연산 장치; 및 상기 연산 장치의 MAC 연산 결과를 기초로 상기 아날로그 신호에 대한 분석 결과를 출력하는 출력 장치;를 포함하는 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템을 제공할 수 있다.
여기서, 상기 연산 장치는, 상기 삼진 신경망의 입력층을 통해 입력되는 상기 아날로그 신호에 대한 논리 연산의 출력 타이밍을 제어하는 타이밍 제어부(timing controller); 상기 아날로그 신호의 특징을 저장하는 특징 저장부; 상기 특징과 가중치를 곱한 값에 바이어스를 더한 값을 포함하는 연산 파라미터를 저장하는 연산 파라미터 저장부; 상기 연산 파라미터의 상기 특징과 상기 가중치를 논리 연산하고, 상기 타이밍 제어부의 출력 타이밍을 기초로 상기 논리 연산의 결과를 전하 공유(charge sharing) 캐패시터에 순차적으로 저장하는 MAC(multiplication and accumulation) 연산부; 상기 MAC 연산부의 전하 공유 처리 결과와 임계치를 비교하고, 비교 결과를 출력하는 활성화 처리부; 및 상기 활성화 처리부의 비교 결과를 저장하고, 상기 비교 결과를 상기 삼진 신경망의 은닉층(hidden layer)으로 전달하는 데이터 전달부;를 포함할 수 있다.
또한, 상기 아날로그 신호 분석 시스템은 상기 삼진 신경망을 통해 상기 아날로그 신호를 분류(classification)할 수 있다.
또한, 상기 출력 장치는 상기 분류의 결과를 기초로 상기 분석 결과를 출력하고, 상기 분석 결과는 상기 AFE를 통해 감지되는 가스의 종류를 판별한 결과, 또는 사용자의 건강 상태를 진단한 결과를 포함할 수 있다.
본 발명의 실시예에 따르면, AFE를 통해 획득되는 아날로그 신호를 삼진 신경망에 입력하여 연산을 수행하는 연산 장치에 있어서, 상기 삼진 신경망의 입력층을 통해 입력되는 상기 아날로그 신호에 대한 논리 연산의 출력 타이밍을 제어하는 타이밍 제어부; 상기 아날로그 신호의 특징을 저장하는 특징 저장부; 상기 특징과 가중치를 곱한 값에 바이어스를 더한 값을 포함하는 연산 파라미터를 저장하는 연산 파라미터 저장부; 상기 연산 파라미터의 상기 특징과 상기 가중치를 논리 연산하고, 상기 타이밍 제어부의 출력 타이밍을 기초로 상기 논리 연산의 결과를 전하 공유 캐패시터에 순차적으로 저장하는 MAC 연산부; 상기 MAC 연산부의 전하 공유 처리 결과와 임계치를 비교하고, 비교 결과를 출력하는 활성화 처리부; 및 상기 활성화 처리부의 비교 결과를 저장하고, 상기 비교 결과를 상기 삼진 신경망의 은닉층으로 전달하는 데이터 전달부;를 포함하는 삼진 신경망을 이용한 연산 장치를 제공할 수 있다.
여기서, 상기 특징 저장부는 어레이(array) 형태의 캐패시터(capacitor)와 버퍼(buffer)를 포함할 수 있다.
또한, 상기 아날로그 신호의 특징이 상기 캐패시터에 차동(differential) 신호로 저장될 수 있다.
또한, 상기 전하 공유 캐패시터의 하부 플레이트(bottom plate)에는 기준 전압(VCM)이 인가되고, 상기 전하 공유 캐패시터의 상부 플레이트(top plate)에는 상기 가중치의 변화량에 따라 각각 상이한 전압으로 충전될 수 있다.
또한, 상기 변화량이 1인 경우에 제1 출력 노드 전압으로 충전되고, 상기 변화량이 -1인 경우에 제2 출력 노드 전압으로 충전되며, 상기 변화량이 0인 경우에 상기 기준 전압(VCM)으로 각각 충전될 수 있다.
또한, 상기 제1 출력 노드 전압은 P형 출력 노드 전압(VOUTP)이고, 상기 제2 출력 노드 전압은 N형 출력 노드 전압(VOUTN)일 수 있다.
또한, 상기 전하 공유 처리 결과는 P형 전하 공유 전압으로 표현되고, 상기 임계치는 기준 전압으로 표현되며, 상기 활성화 처리부는 상기 P형 전하 공유 전압과 상기 기준 전압을 비교한 상기 비교 결과를 출력할 수 있다.
또한, 상기 데이터 전달부는 어레이 형태의 캐패시터와 버퍼를 포함하고, 상기 P형 전하 공유 전압이 상기 기준 전압보다 큰 것으로 상기 비교 결과가 출력된 경우에 상기 P형 전하 공유 전압을 상기 캐패시터에 저장하고, 상기 P형 전하 공유 전압이 상기 기준 전압보다 작은 것으로 상기 비교 결과가 출력된 경우에 상기 기준 전압으로 충전할 수 있다.
또한, 상기 은닉층은 n개의 뉴런으로 구성되어 상기 비교 결과를 출력하는 동작을 n회 반복 수행할 수 있다.
본 발명의 실시예에 따르면, AFE를 통해 획득되는 아날로그 신호를 삼진 신경망에 입력하여 연산을 수행하는 연산 장치의 연산 방법에 있어서, 상기 삼진 신경망의 입력층을 통해 입력되는 상기 아날로그 신호에 대한 논리 연산의 출력 타이밍을 제어하는 단계; 상기 아날로그 신호의 특징을 저장하는 단계; 상기 특징과 가중치를 곱한 값에 바이어스를 더한 값을 포함하는 연산 파라미터를 저장하는 단계; 상기 연산 파라미터의 상기 특징과 상기 가중치를 논리 연산하고, 상기 타이밍 제어부의 출력 타이밍을 기초로 상기 논리 연산의 결과를 전하 공유 캐패시터에 순차적으로 저장하는 단계; 상기 논리 연산의 결과를 저장하는 단계에서의 전하 공유 처리 결과와 임계치를 비교하고, 비교 결과를 출력하는 단계; 및 상기 비교 결과를 저장하고, 상기 비교 결과를 상기 삼진 신경망의 은닉층으로 전달하는 단계;를 포함하는 삼진 신경망을 이용한 연산 방법을 제공할 수 있다.
여기서, 상기 특징을 저장하는 단계는 상기 아날로그 신호의 특징을 어레이 형태의 캐패시터에 차동 신호로 저장하는 단계를 포함할 수 있다.
또한, 상기 순차적으로 저장하는 단계는, 상기 전하 공유 캐패시터의 하부 플레이트에 기준 전압을 인가하는 단계; 및 상기 전하 공유 캐패시터의 상부 플레이트에 상기 가중치의 변화량에 따라 각각 상이한 전압을 충전하는 단계;를 포함할 수 있다.
또한, 상기 순차적으로 저장하는 단계는, 상기 변화량이 1인 경우에 제1 출력 노드 전압으로 상기 전하 공유 캐패시터를 충전하는 단계; 상기 변화량이 -1인 경우에 제2 출력 노드 전압으로 상기 전하 공유 캐패시터를 충전하는 단계; 및 상기 변화량이 0인 경우에 상기 기준 전압으로 상기 전하 공유 캐패시터를 충전하는 단계;를 더 포함할 수 있다.
또한, 상기 전달하는 단계는 상기 은닉층을 n개의 뉴런으로 구성하여 상기 연산 방법을 n회 반복 수행하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, AFE를 통해 획득되는 아날로그 신호를 삼진 신경망에 입력하여 연산을 수행하는 연산 장치의 연산 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 상기 삼진 신경망의 입력층을 통해 입력되는 상기 아날로그 신호에 대한 논리 연산의 출력 타이밍을 제어하는 단계; 상기 아날로그 신호의 특징을 저장하는 단계; 상기 특징과 가중치를 곱한 값에 바이어스를 더한 값을 포함하는 연산 파라미터를 저장하는 단계; 상기 연산 파라미터의 상기 특징과 상기 가중치를 논리 연산하고, 상기 타이밍 제어부의 출력 타이밍을 기초로 상기 논리 연산의 결과를 전하 공유 캐패시터에 순차적으로 저장하는 단계; 상기 논리 연산의 결과를 저장하는 단계에서의 전하 공유 처리 결과와 임계치를 비교하고, 비교 결과를 출력하는 단계; 및 상기 비교 결과를 저장하고, 상기 비교 결과를 상기 삼진 신경망의 은닉층으로 전달하는 단계;를 포함할 수 있다.
본 발명의 실시예에 의하면, 아날로그 입력을 디지털화할 필요 없이, 전하 도메인에서 연산을 수행하여 간단한 구조로 저전력으로 회로를 설계할 수 있다. 또한, 본 발명은 삼진 신경망을 이용한 연산을 통해 기존 이진 신경망에 비해 더 높은 연산 수행 능력을 제공할 수 있다. 이에 따라, 본 발명은 온-칩 AI(on-chip artificial intelligence)로서의 다양한 애플리케이션(가스 종류 판별 애플리케이션, 부정맥 진단 애플리케이션 등)에 활용이 가능할 것으로 기대된다.
도 1은 본 발명의 실시예에 따른 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템의 기능을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 삼진 신경망을 이용한 연산 장치의 구체적인 기능을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템의 개념을 설명하기 위한 구성도이다.
도 4 내지 도 17은 본 발명의 실시예에 따른 삼진 신경망을 이용한 연산 장치의 연산 방법을 예시적으로 설명하기 위한 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이진 신경망 구조에서, 카운터의 동작을 제외시켜 클럭의 소모율을 줄이고자 하는 기법이 시도된 바 있으나, 이 경우에도 이진 신경망의 입력과 가중치가 디지털 비트만을 지원하기 때문에 1비트로 양자화된 값들만 입력으로 받을 수 있다.
따라서, 이진 신경망의 연산을 위해 1비트로 단순화하는 과정에서 인공 신경망의 성능을 좀 더 올릴 수 있는 기술적 방안이 요구된다.
이에 본 발명의 실시예에서는, 획득된 아날로그 신호를 신경망에 그대로 입력하여 입력층에서 은닉층으로의 MAC(multiplication and accumulation) 연산을 수행함으로써, 별도로 디지털화되지 않은 상태로 아날로그 정보에 대한 연산 결과를 제공할 수 있는 삼진 신경망을 이용한 연산 기술을 제안하고자 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 삼진 신경망을 이용한 연산 장치(100)를 포함하는 아날로그 신호 분석 시스템(1)의 기능을 설명하기 위한 블록도이다.
도 1에 도시한 바와 같이, 아날로그 신호 분석 시스템(1)은 획득 장치(10), 연산 장치(100) 및 출력 장치(20)를 포함할 수 있다.
획득 장치(10)는 복수 채널의 아날로그 신호를 획득할 수 있다. 이러한 획득 장치(10)는, 예를 들어 AFE(analog front end)를 통해 복수 채널의 아날로그 신호를 획득할 수 있는데, 획득 장치(10)는 이러한 AFE를 통해 감지되는 가스 신호, 생체 신호 등을 획득할 수 있다. 따라서, 본 발명의 실시예에 따른 아날로그 신호 분석 시스템(1)은 후술하는 설명에서와 같이, AFE를 통해 감지되는 가스의 종류를 판별한 결과, 또는 사용자의 건강 상태를 진단한 결과를 분석할 수 있다.
연산 장치(100)는 획득 장치(10)를 통해 획득된 아날로그 신호를 본 발명의 실시예에 따른 삼진 신경망에 입력하여 논리 연산 과정을 수행하고, 논리 연산 과정에 따른 논리 연산 결과를 전하 공유(charge sharing) 방식을 이용하여 MAC(multiplication and accumulation) 연산 처리할 수 있다. 본 발명의 실시예에 따른 아날로그 신호 분석 시스템은 이러한 연산 장치(100)와 삼진 신경망을 통해 아날로그 신호를 분류(classification)할 수 있다. 이러한 연산 장치(100)는, 타이밍 제어부(timing controller, 110), 특징 저장부(120), 연산 파라미터 저장부(130), MAC 연산부(140), 활성화 처리부(150) 및 데이터 전달부(160)를 포함할 수 있으며, 이들 연산 장치(100)의 각각의 구성들에 대한 기능 설명은 하기 도 2에서 상세히 다루기로 한다.
본 발명의 실시예에 따른 연산 장치(100)에 적용되는 삼진 신경망은, 예를 들어 24개 노드로 이루어진 입력층, 32개 노드로 이루어진 제1 계층, 32개 노드로 이루어진 제2 계층, 16개 노드로 이루어진 제3 계층, 8개 노드로 이루어진 제4 계층, 4개 노드로 이루어진 출력층을 포함할 수 있다. 여기서, 제1 계층 내지 제4 계층은 은닉층을 의미할 수 있다.
출력 장치(20)는 연산 장치의 MAC 연산 결과를 기초로, 획득 장치(10)를 통해 획득된 아날로그 신호에 대한 분석 결과를 출력할 수 있다. 즉, 출력 장치(20)는 삼진 신경망을 통해 아날로그 신호를 분류한 결과를 기초로 분석 결과를 출력할 수 있으며, 이러한 분석 결과는 획득 장치(10)의 AFE를 통해 감지되는 가스의 종류를 판별한 결과, 또는 사용자의 건강 상태를 진단한 결과를 포함할 수 있다. 즉, 본 발명을 통해 온-칩 AI(on-chip artificial intelligence)로서의 다양한 애플리케이션(가스 종류 판별 애플리케이션, 부정맥 진단 애플리케이션 등)에 활용이 가능하다.
도 2는 본 발명의 실시예에 따른 삼진 신경망을 이용한 연산 장치(100)의 구체적인 기능을 설명하기 위한 블록도이다.
도 2에 도시한 바와 같이, 연산 장치(100)는, 타이밍 제어부(110), 특징 저장부(120), 연산 파라미터 저장부(130), MAC 연산부(140), 활성화 처리부(150) 및 데이터 전달부(160)를 포함할 수 있다.
타이밍 제어부(110)는 삼진 신경의 입력층을 통해 입력되는 아날로그 신호에 대한 논리 연산의 출력 타이밍을 제어할 수 있다. 또한, 타이밍 제어부(110)는 후술하는 활성화 처리부(150)의 비교 결과 출력에 대응하여 데이터 전달부(160)의 스위칭 클럭을 제어할 수 있다.
특징 저장부(120)는 획득 장치(10)를 통해 획득되는 아날로그 신호의 특징을 저장할 수 있다. 이러한 특징 저장부(120)는 어레이(array) 형태의 캐패시터(capacitor)와 버퍼(buffer)를 포함할 수 있으며, 아날로그 신호의 특징이 캐패시터에 차동(differential) 신호로 저장될 수 있다.
연산 파라미터 저장부(130)는 연산 파라미터를 저장할 수 있다. 여기서, 연산 파라미터는 특징 저장부(120)의 특징과 가중치를 곱한 값에 바이어스를 더한 값을 포함할 수 있다. 즉, 연산 파라미터 저장부(130)에는 가중치들이 저장되어 있으며, 후술하는 MAC 연산부(140)는 이진 신경망의 뉴런 수에 맞게 입력값과 가중치들을 연산할 수 있다.
MAC 연산부(140)는 연산 파라미터의 상기 특징과 상기 가중치를 논리 연산하고, 타이밍 제어부(110)의 출력 타이밍을 기초로 논리 연산의 결과를 전하 공유 캐패시터에 순차적으로 저장할 수 있다. 즉, 전하 공유 캐패시터에는 MAC 연산부(140)의 출력값에 따라 데이터들이 충전될 수 있다.
활성화 처리부(150)는 MAC 연산부(140)의 전하 공유 처리 결과와 임계치를 비교하고, 이러한 전하 공유 처리 결과와 임계치를 비교한 결과를 출력할 수 있다.
데이터 전달부(160)는 활성화 처리부(150)의 비교 결과를 저장하고, 저장된 비교 결과를 삼진 신경망의 은닉층으로 전달할 수 있다.
도 3은 본 발명의 실시예에 따른 삼진 신경망을 이용한 연산 장치(100)를 포함하는 아날로그 신호 분석 시스템(1)의 개념을 설명하기 위한 구성도이다.
신호의 흐름은, 먼저 AFE를 통해 아날로그 신호(예를 들어, 가스 신호 또는 인체 신호)를 획득하고, 캐패시터와 버퍼 어레이(특징 저장부)를 통해 아날로그 신호의 특징을 저장할 수 있다. 이때, 저장되는 특징은 24채널로 구성될 수 있다.
획득되는 아날로그 신호는 삼진 신경망을 통해 분류 과정을 진행하게 되고, 이에 따라 가스 종류를 판별하거나 사용자의 건강 이상 상태를 진단할 수 있다.
기존 이진 신경망은 입력과 가중치가 디지털 비트만을 지원하기 때문에, 1비트로 양자화된 값들만 입력으로 받을 수 있다. 이 과정에서 MAC 연산된 값들은 아날로그 값들을 가지게 되지만, 이진 신경망 연산을 위해 1비트로 단순화되고, 이 과정에서 전체적인 인공지능의 성능 저하가 나타날 수 있다.
본 발명의 실시예에 따른 아날로그 신호 분석 시스템(1)은 아날로그 신호를 삼진 신경망에 그대로 입력할 수 있으며, 삼진 신경망에서 은닉층으로의 MAC 연산을 수행한 후 별도로 디지털화되지 않은 상태로 아날로그 신호를 그대로 연산할 수 있다.
은닉층의 뉴런들 또한 캐패시터와 버퍼로 구성한 뉴런으로 저장되며, 총 32개의 커널로 구성되어 32개의 특징들이 제1 계층의 뉴런에 각각 저장될 수 있다. 32개의 제1 계층 뉴런들은 제2 계층의 32개의 뉴런들로 연산되기 위해 의사 삼진 신경망을 위한 가중치와 MAC 연산될 수 있다.
이하, 상술한 구성과 함께, 본 발명의 실시예에 따른 삼진 신경망을 이용한 연산 장치(100)의 연산 방법을 도 4 내지 도 17을 참조하여 예시적으로 설명하기로 한다.
먼저, 도 4는 획득 장치(10)를 통해 획득되는 아날로그 신호를 저장하는 과정을 예시적으로 설명하는 구성도이다.
도 4에 도시한 바와 같이, 획득 장치(10)는 캐패시터 어레이와 버퍼 어레이로 구성되며, 총 24개의 뉴런들로 구성된 입력층을 포함할 수 있다.
AFE를 통해 획득되는 아날로그 신호의 특징은 획득 장치(10)의 캐패시터 어레이에 차동 신호로 저장될 수 있다.
추후, 연속적으로 제1 계층(은닉층)의 32개의 뉴런에 반복적으로 전압이 사용되기 때문에, MAC 연산부(140)의 MAC 연산에 사용되는 캐패시터를 충전하기 위해 버퍼가 추가적으로 구성될 수 있다.
도 5는 본 발명의 실시예에 따른 아날로그 신호 분석 시스템(1)에 이용되는 삼진 신경망을 예시한 것이다.
본 발명의 실시예에 따른 아날로그 신호 분석 시스템(1)에 적용되는 삼진 신경망은, 예를 들어 24개 노드로 이루어진 입력층, 32개 노드로 이루어진 제1 계층, 32개 노드로 이루어진 제2 계층, 16개 노드로 이루어진 제3 계층, 8개 노드로 이루어진 제4 계층, 4개 노드로 이루어진 출력층을 포함할 수 있다. 여기서, 제1 계층 내지 제4 계층은 은닉층을 의미할 수 있다.
도 6은 MAC 연산부(140)의 MAC 연산 과정을 예시적으로 설명하는 구성도이고, 도 7은 이에 대한 신경망의 뉴런 구조를 예시한 도면이다.
도 6에 도시한 바와 같이, 전하 공유 캐패시터는 23개의 캐패시터로 구성되어 있고, φ1에서 캐패시터의 하부 플레이트(bottom plate)에는 기준 전압(VCM)이 인가되고, 전하 공유 캐패시터의 상부 플레이트(top plate)에는 가중치의 변화량에 따라 각각 상이한 전압으로 충전될 수 있다.
예를 들어, MAC 연산부(140)는 변화량이 1인 경우에 제1 출력 노드 전압으로 충전되고, 변화량이 -1인 경우에 제2 출력 노드 전압으로 충전되며, 변화량이 0인 경우에 기준 전압(VCM)으로 각각 충전할 수 있다. 여기서, 제1 출력 노드 전압은 P형 출력 노드 전압(VOUTP)이고, 제2 출력 노드 전압은 N형 출력 노드 전압(VOUTN)일 수 있다.
도 6에 도시한 바와 같이, φ2에서는 전하 공유를 통해 MAC 연산을 완료할 수 있다.
이와 같은 MAC 연산부(140)에서 수행되는 MAC 연산에 따른 연산식은 다음 [수학식 1]과 같이 예시될 수 있다.
도 8은 연산 장치(100)의 활성화 처리부(150)에서 수행되는 활성화 처리 과정을 예시적으로 설명하기 위한 구성도이고, 도 9는 이에 대한 신경망의 뉴런 구조를 예시한 도면이다.
활성화 함수는 비선형 함수이므로, 입력값과 가중치의 선형 결합 결과를 비선형으로 변환할 수 있다. 이는 신경망이 복잡한 데이터 패턴을 학습할 수 있도록 하고, 만약 선형 함수만을 사용한다면 여러 층을 쌓아도 하나의 선형 함수로 표현될 수 있기 때문에 신경망의 표현력이 제한될 수 있기 때문이다.
도 8에 예시한 바와 같이, 제안된 기술에서는 활성화 처리부(150)가 기준 전압(VCM)과 P형 전하 공유 전압(VCSP)을 비교하고, 기준 전압(VCM)과 P형 전하 공유 전압(VCSP)을 비교한 비교 결과를 출력할 수 있다.
데이터 전달부(160)는 이러한 활성 처리부(150)의 비교 결과를 저장하고, 해당 비교 결과를 삼진 신경망의 은닉층으로 전달할 수 있다.
예를 들어, 데이터 전달부(160)는 P형 전하 공유 전압(VCSP)이 기준 전압(VCM)보다 큰 것으로 비교 결과가 출력된 경우에 P형 전하 공유 전압(VCSP)을 캐패시터에 저장할 수 있으며, P형 전하 공유 전압(VCSP)이 기준 전압(VCM)보다 작은 것으로 비교 결과가 출력된 경우에 기준 전압(VCM)으로 충전할 수 있다.
즉, 제안된 기술에서는 기준 전압(VCM)과 P형 전하 공유 전압(VCSP)을 비교하고, P형 전하 공유 전압(VCSP)이 기준 전압(VCM)보다 클 경우에는 버퍼를 통해서 제2 계층(layer 2)에 해당하는 캐패시터 어레이에 저장하고, P형 전하 공유 전압(VCSP)이 기준 전압(VCM)보다 작을 경우에는 그대로 기준 전압(VCM)으로 충전할 수 있다.
제1 계층(layer 1)은 32개의 뉴런으로 구성되어 있기 때문에, 앞에서 설명한 도 4 내지 도 8의 과정을 32회 반복 수행할 수 있다. 이와 같은 반복 수행으로, 차례로 제1 계층의 <0> ~ <31>까지 전압을 채울 수 있다. 32회 반복 수행을 진행하는 동안 입력층에서 샘플링(sampling)한 전압들이 유지되기 위해 입력층에서 버퍼가 사용되었다. 은닉층에 있는 버퍼 또한 제1 계층에서 제2 계층으로의 계산을 수행하는 동안 32회 반복해서 전압을 출력해야 하기 때문에 버퍼가 사용되었다.
도 10 내지 도 13은 본 발명의 실시예에 따른 아날로그 신호 분석 시스템(1)의 연산 장치(100)에서 수행되는 데이터 전달 과정을 예시적으로 설명하기 위한 구성도이다.
먼저, 제1 계층에서 제2 계층의 계산은 입력층에서 제1 계층으로 계산된 방식과 비슷한 방식으로 계산된다. 하지만, 활성화 함수가 "ternary tanh function"으로 대체된다.
제2 계층 <0:31>과 1.5비트의 ternary weight들과 (WeightTernary <0:31>) charge sharing을 통한 MAC 연산(VCS)은 2개의 비교기로 이루어진 활성화 함수를 통해 레지스터(register)에 저장될 수 있다.
VCS가 VHIGH보다 커서, 2개의 비교기의 출력이 둘 다 1일 경우(비교기의 출력: 1,1) ternary state는 (1)을 의미하며, VHIGH와 VLOW 사이일 경우(비교기의 출력: 0,1) ternary state는 (0)을 의미하며, VLOW 보다 작을 경우(비교기의 출력: 0,0) ternary state는 (-1)을 의미한다. 레지스터에는 비교기의 출력이 그대로 저장된다.
이러한 과정은 제2 계층 <0>부터 제2 계층 <31>까지 총 32회 반복될 수 있다(커널 0~31).
커널 0은 제2 계층 <0>을 계산하는 과정이고, 커널 1은 제2 계층 <1>을 계산하는 과정이다. 커널이 바뀔 때 가중치를 새로 업데이트하여 계산한다.
도 14 내지 도 17은 본 발명의 실시예에 따른 아날로그 신호 분석 시스템(1)의 출력 장치(20)의 삼진 신경망을 이용한 분석 결과 출력 과정을 예시적으로 설명하기 위한 구성도이다.
삼진 신경망에서는 레지스터 <0:31>과 1.5비트의 ternary weight들과 (WeightTernary <0:31>) 전하 공유를 통한 MAC 연산(VCS)은 2개의 비교기로 이루어진 활성화 함수를 통해 레지스터에 저장된다.
VCS가 VHIGH 보다 커서, 2개의 비교기의 출력이 둘 다 1일 경우(비교기의 출력: 1,1) ternary state는 (1)을 의미하며, VHIGH와 VLOW 사이일 경우(비교기의 출력: 0,1) ternary state는 (0)을 의미하며, VLOW 보다 작을 경우(비교기의 출력: 0,0) ternary state는 (-1)을 의미한다. 레지스터에는 비교기의 출력이 그대로 저장된다.
이러한 과정은 제3 계층 <0>부터 제3 계층 <15>까지 총 16회 반복 수행될 수 있다(커널 0~16).
커널 0은 제3 계층 <0>을 계산하는 과정이고, 커널 1은 제2 계층 <1>을 계산하는 과정이다. 커널이 바뀔 때 가중치를 새로 업데이트하여 계산한다.
모델의 경량화를 위해 아날로그 입력에 대한 삼진 신경망의 연산 이후, 삼진 신경망은 ternary input*ternary weight 으로 MAC 연산을 수행하였다.
제3 계층의 계산 후 동일한 방식으로 제4 계층의 계산을 수행하고, 같은 방식으로 제4 계층에서 출력으로 계산된다. 출력은 최종 분류 결과를 나타낸다.
이상 설명한 바와 같은 본 발명의 실시예에 의하면, 아날로그 입력을 디지털화할 필요 없이, 전하 도메인에서 연산을 수행하여 간단한 구조로 저전력으로 회로를 설계할 수 있다. 또한, 본 발명은 삼진 신경망을 이용한 연산을 통해 기존 이진 신경망에 비해 더 높은 연산 수행 능력을 제공할 수 있다. 이에 따라, 본 발명은 온-칩 AI(on-chip artificial intelligence)로서의 다양한 애플리케이션(가스 종류 판별 애플리케이션, 부정맥 진단 애플리케이션 등)에 활용이 가능할 것으로 기대된다. 이로 인해, 본 발명은 데이터를 신속하고 신뢰성/지속성 있게 처리해야 하는 기술이 요구될 때, 주변 연산 장치가 칩 내부적으로 온-칩 AI를 구현하여 신속성을 갖출 수 있다. 본 발명에서는 보다 더 향상된 AI 처리 능력을 제공하면서 아날로그 신호를 그대로 입력 받을 수 있는 신경망 구조를 제안하였다. 제안된 기술에서는 클럭 소모를 최소화 하여 빠른 연산을 지원하고 적은 면적의 칩 사이즈로 설계가 가능한 구조를 제안하였으며, Ternary state 중 0상태에서는 버퍼의 전력 소모를 최소화 할 수 있는 프루닝 효과(pruning effect)를 제공하여 저전력 구동이 가능해질 것으로 기대된다.
한편, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체(또는 메모리) 등에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체(또는 메모리)에 저장된 인스트럭션들은 블록도의 각 블록에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 적어도 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

Claims (18)

  1. AFE(analog front end)를 통해 복수 채널의 아날로그 신호를 획득하는 획득 장치;
    상기 아날로그 신호를 삼진 신경망(ternary neural network)에 입력하여 논리 연산하고, 상기 논리 연산의 결과를 전하 공유(charge sharing) 방식을 이용하여 MAC(multiplication and accumulation) 연산하는 연산 장치; 및
    상기 연산 장치의 MAC 연산 결과를 기초로 상기 아날로그 신호에 대한 분석 결과를 출력하는 출력 장치;를 포함하는
    삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템.
  2. 제 1 항에 있어서,
    상기 연산 장치는,
    상기 삼진 신경망의 입력층을 통해 입력되는 상기 아날로그 신호에 대한 논리 연산의 출력 타이밍을 제어하는 타이밍 제어부(timing controller);
    상기 아날로그 신호의 특징을 저장하는 특징 저장부;
    상기 특징과 가중치를 곱한 값에 바이어스를 더한 값을 포함하는 연산 파라미터를 저장하는 연산 파라미터 저장부;
    상기 연산 파라미터의 상기 특징과 상기 가중치를 논리 연산하고, 상기 타이밍 제어부의 출력 타이밍을 기초로 상기 논리 연산의 결과를 전하 공유(charge sharing) 캐패시터에 순차적으로 저장하는 MAC(multiplication and accumulation) 연산부;
    상기 MAC 연산부의 전하 공유 처리 결과와 임계치를 비교하고, 비교 결과를 출력하는 활성화 처리부; 및
    상기 활성화 처리부의 비교 결과를 저장하고, 상기 비교 결과를 상기 삼진 신경망의 은닉층(hidden layer)으로 전달하는 데이터 전달부;를 포함하는
    삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템.
  3. 제 1 항에 있어서,
    상기 아날로그 신호 분석 시스템은 상기 삼진 신경망을 통해 상기 아날로그 신호를 분류(classification)하는
    삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템.
  4. 제 3 항에 있어서,
    상기 출력 장치는 상기 분류의 결과를 기초로 상기 분석 결과를 출력하고,
    상기 분석 결과는 상기 AFE를 통해 감지되는 가스의 종류를 판별한 결과, 또는 사용자의 건강 상태를 진단한 결과를 포함하는
    삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템.
  5. AFE를 통해 획득되는 아날로그 신호를 삼진 신경망에 입력하여 연산을 수행하는 연산 장치에 있어서,
    상기 삼진 신경망의 입력층을 통해 입력되는 상기 아날로그 신호에 대한 논리 연산의 출력 타이밍을 제어하는 타이밍 제어부;
    상기 아날로그 신호의 특징을 저장하는 특징 저장부;
    상기 특징과 가중치를 곱한 값에 바이어스를 더한 값을 포함하는 연산 파라미터를 저장하는 연산 파라미터 저장부;
    상기 연산 파라미터의 상기 특징과 상기 가중치를 논리 연산하고, 상기 타이밍 제어부의 출력 타이밍을 기초로 상기 논리 연산의 결과를 전하 공유 캐패시터에 순차적으로 저장하는 MAC 연산부;
    상기 MAC 연산부의 전하 공유 처리 결과와 임계치를 비교하고, 비교 결과를 출력하는 활성화 처리부; 및
    상기 활성화 처리부의 비교 결과를 저장하고, 상기 비교 결과를 상기 삼진 신경망의 은닉층으로 전달하는 데이터 전달부;를 포함하는
    삼진 신경망을 이용한 연산 장치.
  6. 제 5 항에 있어서,
    상기 특징 저장부는 어레이(array) 형태의 캐패시터(capacitor)와 버퍼(buffer)를 포함하는
    삼진 신경망을 이용한 연산 장치.
  7. 제 6 항에 있어서,
    상기 아날로그 신호의 특징이 상기 캐패시터에 차동(differential) 신호로 저장되는
    삼진 신경망을 이용한 연산 장치.
  8. 제 5 항에 있어서,
    상기 전하 공유 캐패시터의 하부 플레이트(bottom plate)에는 기준 전압(VCM)이 인가되고, 상기 전하 공유 캐패시터의 상부 플레이트(top plate)에는 상기 가중치의 변화량에 따라 각각 상이한 전압으로 충전되는
    삼진 신경망을 이용한 연산 장치.
  9. 제 8 항에 있어서,
    상기 변화량이 1인 경우에 제1 출력 노드 전압으로 충전되고, 상기 변화량이 -1인 경우에 제2 출력 노드 전압으로 충전되며, 상기 변화량이 0인 경우에 상기 기준 전압(VCM)으로 각각 충전되는
    삼진 신경망을 이용한 연산 장치.
  10. 제 9 항에 있어서,
    상기 제1 출력 노드 전압은 P형 출력 노드 전압(VOUTP)이고, 상기 제2 출력 노드 전압은 N형 출력 노드 전압(VOUTN)인
    삼진 신경망을 이용한 연산 장치.
  11. 제 5 항에 있어서,
    상기 전하 공유 처리 결과는 P형 전하 공유 전압으로 표현되고, 상기 임계치는 기준 전압으로 표현되며,
    상기 활성화 처리부는 상기 P형 전하 공유 전압과 상기 기준 전압을 비교한 상기 비교 결과를 출력하는
    삼진 신경망을 이용한 연산 장치.
  12. 제 11 항에 있어서,
    상기 데이터 전달부는 어레이 형태의 캐패시터와 버퍼를 포함하고,
    상기 P형 전하 공유 전압이 상기 기준 전압보다 큰 것으로 상기 비교 결과가 출력된 경우에 상기 P형 전하 공유 전압을 상기 캐패시터에 저장하고,
    상기 P형 전하 공유 전압이 상기 기준 전압보다 작은 것으로 상기 비교 결과가 출력된 경우에 상기 기준 전압으로 충전하는
    삼진 신경망을 이용한 연산 장치.
  13. 제 12 항에 있어서,
    상기 은닉층은 n개의 뉴런으로 구성되어 상기 비교 결과를 출력하는 동작을 n회 반복 수행하는
    삼진 신경망을 이용한 연산 장치.
  14. AFE를 통해 획득되는 아날로그 신호를 삼진 신경망에 입력하여 연산을 수행하는 연산 장치의 연산 방법에 있어서,
    상기 삼진 신경망의 입력층을 통해 입력되는 상기 아날로그 신호에 대한 논리 연산의 출력 타이밍을 제어하는 단계;
    상기 아날로그 신호의 특징을 저장하는 단계;
    상기 특징과 가중치를 곱한 값에 바이어스를 더한 값을 포함하는 연산 파라미터를 저장하는 단계;
    상기 연산 파라미터의 상기 특징과 상기 가중치를 논리 연산하고, 상기 타이밍 제어부의 출력 타이밍을 기초로 상기 논리 연산의 결과를 전하 공유 캐패시터에 순차적으로 저장하는 단계;
    상기 논리 연산의 결과를 저장하는 단계에서의 전하 공유 처리 결과와 임계치를 비교하고, 비교 결과를 출력하는 단계; 및
    상기 비교 결과를 저장하고, 상기 비교 결과를 상기 삼진 신경망의 은닉층으로 전달하는 단계;를 포함하는
    삼진 신경망을 이용한 연산 방법.
  15. 제 14 항에 있어서,
    상기 특징을 저장하는 단계는 상기 아날로그 신호의 특징을 어레이 형태의 캐패시터에 차동 신호로 저장하는 단계를 포함하는
    삼진 신경망을 이용한 연산 방법.
  16. 제 14 항에 있어서,
    상기 순차적으로 저장하는 단계는,
    상기 전하 공유 캐패시터의 하부 플레이트에 기준 전압을 인가하는 단계; 및
    상기 전하 공유 캐패시터의 상부 플레이트에 상기 가중치의 변화량에 따라 각각 상이한 전압을 충전하는 단계;를 포함하는
    삼진 신경망을 이용한 연산 방법.
  17. 제 16 항에 있어서,
    상기 순차적으로 저장하는 단계는,
    상기 변화량이 1인 경우에 제1 출력 노드 전압으로 상기 전하 공유 캐패시터를 충전하는 단계;
    상기 변화량이 -1인 경우에 제2 출력 노드 전압으로 상기 전하 공유 캐패시터를 충전하는 단계; 및
    상기 변화량이 0인 경우에 상기 기준 전압으로 상기 전하 공유 캐패시터를 충전하는 단계;를 더 포함하는
    삼진 신경망을 이용한 연산 방법.
  18. 제 14 항에 있어서,
    상기 전달하는 단계는 상기 은닉층을 n개의 뉴런으로 구성하여 상기 연산 방법을 n회 반복 수행하는 단계를 포함하는
    삼진 신경망을 이용한 연산 방법.
PCT/KR2024/015788 2024-06-10 2024-10-17 삼진 신경망을 이용한 연산 장치 및 연산 방법, 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템 Pending WO2025258754A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2024-0074930 2024-06-10
KR1020240074930A KR102885665B1 (ko) 2024-06-10 2024-06-10 삼진 신경망을 이용한 연산 장치 및 연산 방법, 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템

Publications (1)

Publication Number Publication Date
WO2025258754A1 true WO2025258754A1 (ko) 2025-12-18

Family

ID=97722466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/015788 Pending WO2025258754A1 (ko) 2024-06-10 2024-10-17 삼진 신경망을 이용한 연산 장치 및 연산 방법, 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템

Country Status (2)

Country Link
KR (1) KR102885665B1 (ko)
WO (1) WO2025258754A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200067664A (ko) * 2018-12-04 2020-06-12 한국과학기술원 기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법
KR102225558B1 (ko) * 2019-10-14 2021-03-08 연세대학교 산학협력단 온칩 활성화 함수가 구현된 아날로그 신호 전달 기반의 멀티 레이어 연산 회로
KR20230120729A (ko) * 2022-02-10 2023-08-17 고려대학교 산학협력단 전하 공유 방식을 이용한 삼진 입력 데이터와 이진 가중치 간 인-메모리 mac 연산을 지원하는 메모리 장치 및 그 동작 방법
KR20230136225A (ko) * 2021-03-17 2023-09-26 퀄컴 인코포레이티드 삼진 활성화를 갖는 컴퓨트-인-메모리
US20240045655A1 (en) * 2021-03-12 2024-02-08 William Marsh Rice University Charge-domain in-memory computing circuit

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061646B2 (en) * 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
CN110414677B (zh) 2019-07-11 2021-09-03 东南大学 一种适用于全连接二值化神经网络的存内计算电路
KR20220088845A (ko) * 2020-06-25 2022-06-28 폴리앤 테크놀로지 리미티드 신경망의 아날로그 하드웨어 구현
US12579422B2 (en) * 2021-08-02 2026-03-17 Silicon Storage Technology, Inc. Input circuitry for analog neural memory in a deep learning artificial neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200067664A (ko) * 2018-12-04 2020-06-12 한국과학기술원 기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법
KR102225558B1 (ko) * 2019-10-14 2021-03-08 연세대학교 산학협력단 온칩 활성화 함수가 구현된 아날로그 신호 전달 기반의 멀티 레이어 연산 회로
US20240045655A1 (en) * 2021-03-12 2024-02-08 William Marsh Rice University Charge-domain in-memory computing circuit
KR20230136225A (ko) * 2021-03-17 2023-09-26 퀄컴 인코포레이티드 삼진 활성화를 갖는 컴퓨트-인-메모리
KR20230120729A (ko) * 2022-02-10 2023-08-17 고려대학교 산학협력단 전하 공유 방식을 이용한 삼진 입력 데이터와 이진 가중치 간 인-메모리 mac 연산을 지원하는 메모리 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102885665B1 (ko) 2025-11-13

Similar Documents

Publication Publication Date Title
WO2022034983A1 (ko) 신경망 기반의 배터리 셀 불량 및 화재 사전 진단 방법 및 장치
WO2022164230A1 (ko) 심전도 신호 기반의 만성질환 예측 방법
WO2019164237A1 (ko) 시스톨릭 배열을 이용하여 딥 러닝 연산을 수행하는 방법 및 장치
WO2023287064A1 (ko) 이상 데이터 자동 검출 및 자동 라벨링 기술을 이용한 학습 데이터베이스 구축 방법 및 시스템
WO2023063587A1 (ko) 배터리 진단 방법 및 그 장치
WO2020222391A1 (en) System and method for invertible wavelet layer for neural networks
WO2020189844A1 (ko) 인공 신경망을 처리하는 방법 및 이를 위한 전자 장치
Bergner et al. Event-based signaling for reducing required data rates and processing power in a large-scale artificial robotic skin
WO2021040236A1 (ko) Ess 배터리의 상태진단 및 수명예측을 위한 장치 및 방법
CN110311676B (zh) 一种采用开关电流技术的物联网视觉系统和数据处理方法
WO2019164250A1 (ko) 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치
WO2023096185A1 (ko) 딥 러닝 기반으로 음향 및 진동을 이용하여 기계의 고장을 진단하는 방법 및 이를 이용한 진단 장치
WO2024181717A1 (ko) 이기종 합성곱 신경망 및 스파이킹 신경망 코어 아키텍처를 갖춘 상보적 심층 신경망 가속기
WO2019221461A1 (ko) 네트워크 장애 원인 분석 장치 및 방법
Khalil et al. Architecture of a novel low-cost hardware neural network
KR102885665B1 (ko) 삼진 신경망을 이용한 연산 장치 및 연산 방법, 삼진 신경망을 이용한 연산 장치를 포함하는 아날로그 신호 분석 시스템
WO2023177172A1 (ko) 인공 신경망을 이용하여 피부 상태 또는 피부 유형을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
WO2020045903A1 (ko) Cnn을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치
WO2022114913A1 (ko) 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법
WO2024010133A1 (ko) 머신 러닝을 이용한 영상 노이즈 학습 서버 및 영상 노이즈 저감 장치
WO2022145788A1 (ko) 중복 이미지 검출 방법 및 장치
WO2023282445A1 (ko) 감정 인식 장치 및 그 동작방법
US12461891B2 (en) Neural network accelerator
WO2025105918A1 (ko) 컨볼루션 신경망을 구현하기 위한 신경망 아날로그 연산 시스템
Ranjith et al. Optimizing neural networks for embedded systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24943569

Country of ref document: EP

Kind code of ref document: A1