WO2015108293A1 - 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법 - Google Patents

뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법 Download PDF

Info

Publication number
WO2015108293A1
WO2015108293A1 PCT/KR2014/013061 KR2014013061W WO2015108293A1 WO 2015108293 A1 WO2015108293 A1 WO 2015108293A1 KR 2014013061 W KR2014013061 W KR 2014013061W WO 2015108293 A1 WO2015108293 A1 WO 2015108293A1
Authority
WO
WIPO (PCT)
Prior art keywords
neuron
wiring
integrator
switch
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/013061
Other languages
English (en)
French (fr)
Inventor
이병근
추명래
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gwangju Institute of Science and Technology
Original Assignee
Gwangju Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gwangju Institute of Science and Technology filed Critical Gwangju Institute of Science and Technology
Publication of WO2015108293A1 publication Critical patent/WO2015108293A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Definitions

  • the present invention relates to a neuromorphic system and a method of operating the neuromorphic system.
  • the neuron is a structural and functional unit of the nervous system and the basic unit of information transmission.
  • a synapse refers to the junction between neurons and the site where the axons of one neuron and the dendrites of another neuron are connected.
  • One neuron is in synaptic contact with thousands of other neurons.
  • a semiconductor circuit created by simulating the information processing method processed by the brain is a neuromorphic system.
  • These neuromorphic systems can be fabricated on a chip basis.
  • the neuromorphic system like the brain of an organism, can be effectively used to implement an intelligent system that can adapt itself to an unspecified environment. Advances in this technology include interfaces, computers, robots, consumer electronics, handheld mobile devices, security and surveillance, intelligent vehicle safety, and autonomy, such as character recognition, voice recognition, risk perception, and real-time high-speed signal processing. It can be applied to fields such as driving.
  • a method of randomly assigning specific information to a specific neuron and learning the assigned information is used. This method is called a supervised neuromorphic system because it forcibly assigns specific information to specific neurons.
  • the super-biased neuromorphic system ignores differences in the individual properties of memristors that simulate synapses, and serves as a cause for increasing the inaccuracy of learning and preventing correct judgment.
  • the conventional neuromorphic system there is no introduction about determining whether or not learning has been properly performed.
  • the specific hardware constituting such a system has not been presented.
  • the present invention solves the above-mentioned problems, approaches the implementation of the neuromorphic system, and proposes a neuromorphic system and a method of operating the neuromorphic system capable of learning by natural interaction of neurons.
  • the neuromorphic system includes a first wiring to which an external signal is input; A second wiring provided to intersect the first wiring; A memory device for connecting the intersection of the first wiring and the second wiring; An integrator connected to the second wiring; A comparator provided on the output side of the integrator; A first switch provided between the second wiring and the integrator to control a connection between the second wiring and ground; A second switch provided between the first switch and the integrator to control a connection between the second wire and the integrator; And a controller for receiving an output signal of the comparator and controlling the system.
  • the system according to the present invention can select and learn a neuron circuit that fits specific information and has high learning efficiency.
  • an inverter unit capable of storing an output value of the comparator may be provided between the comparator and the control unit, and between the second switch and the integrator, the connection between the input side of the integrator and the ground is controlled.
  • the switch SW3 and another switch SW4 for controlling the connection between the input side of the integrator and a predetermined voltage may be included, and the initialization mode is established by connecting the first switch and opening the second switch.
  • a corresponding neuron detection mode may be performed in which the first switch is opened, the second switch is connected, and the external signal is input to identify a neuron circuit suitable for the external signal. By this action, learning can be efficiently performed.
  • the learning mode may be performed by connecting the first switch and opening the second switch, and identified as the corresponding neuron in the corresponding neuron detection mode.
  • a neuron detection preparation mode in which the input side voltage of the integrator is different may be performed.
  • a neuromorphic system includes: a first wiring through which an external pulse is input; A second wiring provided to intersect the first wiring; And a synapse circuit including a memory device connecting an intersection point of the first wiring and the second wiring; And an integrator connected to the second wiring and integrating a current passing through the memory device. And at least two neuron circuits including a comparator for comparing an output voltage of the integrator with a comparison voltage and outputting an output value when the output voltage exceeds the comparison voltage, wherein the first output value is output when the external signal is input.
  • a neuron circuit is defined as a neuron circuit corresponding to the external signal, and the memory device is trained.
  • a first switch provided between the second wiring and the integrator to control the connection between the second wiring and the ground; And a second switch provided between the first switch and the integrator to control a connection between the second wire and the integrator.
  • a method of operating a neuromorphic system including: an initialization mode for initializing a memory device and a neuron circuit; A corresponding neuron detection mode for finding a neuron circuit corresponding to the first specific information; A learning mode for learning the first specific information in a neuron circuit corresponding to the first specific information identified as a result of performing the corresponding neuron detection mode; And a neuron detection preparation mode for preparing to perform the corresponding neuron detection mode for the second specific information, wherein the corresponding neuron detection mode, the learning mode, and the neuron until the neuron circuit corresponding to all the specific information is learned.
  • the grasp preparation mode is repeatedly performed.
  • at least part of the learning mode and the neuron detection preparation mode may be performed together.
  • a neuromorphic system and a neuromorphic system can find out a neuron that is most suitable for specific information, assign specific information corresponding thereto, and increase the accuracy and reliability of the learning and confirm whether the learning is properly performed.
  • FIG. 1 is a block diagram of a neuromorphic system according to an embodiment.
  • Fig. 2 is a diagram showing the arrangement of the first wiring, the second wiring and the memory element.
  • 3 is a diagram showing characteristics of the memristor.
  • FIG. 4 is a diagram illustrating an initialization mode of a neuromorphic system.
  • FIG. 5 is a diagram showing a corresponding neuron detection mode of a neuromorphic system.
  • FIG. 6 shows a learning mode of a neuromorphic system.
  • FIG. 7 is a view showing a next neuron detection mode after the end of learning of a particular information.
  • FIG. 8 illustrates a test mode of a neuromorphic system.
  • FIG. 9 is a flowchart illustrating a method of operating a neuromorphic system according to an embodiment.
  • FIG. 10 is a diagram illustrating an actual configuration of a neuron circuit
  • FIG. 11 is a diagram showing a neuron circuit according to a switching state of an initialization mode
  • FIG. 12 is a diagram showing a neuron circuit according to a switching state of a corresponding neuron detection mode
  • 13 and 14 are diagrams illustrating fired neuron circuits and non-fired neuron circuits, respectively, in a learning mode and a neuron detection preparation mode
  • FIG. 15 is a diagram illustrating a neuron circuit according to a switching state of a test mode.
  • FIG. 1 is a block diagram of a neuromorphic system according to an embodiment.
  • a first wiring 1 into which an external signal is input as specific information, a second wiring 2 connected to a control unit 8, the first wiring 1, and the A memory element 3 is included which connects the intersections of the respective wirings 1 and 2 at the intersections of the second wirings 2.
  • the wiring and memory elements correspond to synepses in biological neural networks and can be viewed as synepse circuits.
  • FIG. 2 is a diagram showing the arrangement of the first wiring 1, the second wiring 2, and the storage element 3, wherein the storage element 3 is formed at the geometric intersection of the wiring 1, 2, respectively. You can see the wiring connected to each other. In addition, the wiring and the memory element may actually be provided much more, for simplicity, it is indicated briefly.
  • the memory element 3 can be exemplified as a memristor, and can be provided as an element that stores the direction and amount of the current passed just before the power supply is interrupted and the state changes according to an external pulse.
  • 3 is a view showing the characteristics of the memristor, the amount of current passing through the memristor changes according to the number of pulses applied from the outside, the state of both ends of the LRS (Low Resistance Status) and HRS (High Resistance Status) Can be defined as In the LRS state, a lot of current may flow, and in the HRS state, a small amount of current may flow.
  • the second wire 2 is provided with a first switch 4 and a second switch 5, and an integrator 6 is provided at a rear end of the second switch 5. Is provided, and a comparator 7 is provided at the rear end of the integrator 6. The comparator 7 is connected to the control unit 8.
  • the integrator, the comparator, the switch, and the like correspond to neurons in a neural network of an organism and may be referred to as neuronal circuits.
  • the first switch 4 may allow the second wire 2 to be connected to the ground or open. When the first switch 4 is connected to the ground, the current flows through the memory element 3 to be learned. When the first switch 4 is opened, the current does not flow through the memory element 3 and is not affected. It may not be.
  • the second switch 5 may allow the second wiring 2 to be connected or open to the integrator 6. When the second switch 5 is connected, it may be a case of finding a neuron suitable for specific information and a test is performed, and when the second switch 5 is opened, it may be a case of learning the memory device 3. .
  • the control unit 8 controls the overall configuration of the neuromorphic system, such as controlling the switch.
  • a number is written on the touch panel, and the signal from the pixel to be touched while writing the number generates a pulse signal on the first wiring corresponding to the pixel.
  • letters may be used instead of numbers, and various cases such as image recognition and risk recognition may be illustrated as well as letter recognition.
  • operation control of a switch or the like may be performed by the controller 8.
  • FIG. 4 is a diagram illustrating an initialization mode of a neuromorphic system.
  • the first switch 4 is connected and the second switch 5 is open.
  • the integrator 6 is all zero volts.
  • the memory device 3 may be in an HRS state. Therefore, both the synepse circuit and the neuron circuit are in an initial state.
  • FIG. 5 is a diagram illustrating a corresponding neuron detection mode of a neuromorphic system.
  • the first switch 4 is open and the second switch 5 is connected.
  • the pulse corresponding to the number "1" is applied to the first wiring 1.
  • the pulse may be applied to several wires. As described above, any one wire may correspond to one pixel. Since the pulse is applied to the memory device 3 connected to the specific first wire to which the pulse is applied, and the second switch 5 is connected, the voltage of the integrator 6 increases.
  • the pulses can be applied continuously, either by applying the same pulse continuously, or by generating the same number in succession.
  • the output voltage from any one of the integrators 6 exceeds the comparison voltage of the comparator 7 (which is 2V in the embodiment).
  • the comparator 7 generates a signal
  • the controller 8 detects an output signal from the comparator 7 to confirm that a specific neuron is turned on. This is called fire.
  • the fired neuron can then be identified as a neuron (in this embodiment, N2 corresponds) that is suitable for learning information of "1".
  • a neuron suitable for storing information "1" without mandatory control from outside that is, a specific neuron corresponding to the specific information is not designated, can be determined by the correlation between the memory element and the neuron. . Therefore, according to the configuration of the neuromorphic system, the neurons most suitable for storing specific information are identified and selected by themselves, thus reducing the possibility of error in later learning. Thus, this can be called an unsupervised neuromorphic system.
  • the neuron in which the information of the number "1" is stored is selected in the unsupervised state.
  • FIG. 6 is a diagram illustrating a learning mode of a neuromorphic system.
  • the pulse of the first wiring 1 corresponding to "1" is applied only to fired neurons and not to non-fired neurons. Then, the pulse is applied only to the memory device 3 provided at the intersection of the first wire 1 to which the pulse is applied and the second wire 2 to be connected to the fired neuron, and the corresponding memory device 3 is learned. . No pulse is applied to the other memory elements 3, or the first switch 4 is open, so that learning is not performed.
  • the learned memory device 3 (in the embodiment two memory devices at the top) will be LRS. Therefore, when a pulse corresponding to "1" is applied in the test mode, the neuron circuit of N2 is fired and it can be confirmed that "1" is input.
  • the voltage of the integrator may be adjusted while the learning mode is performed. This is to correspond to the next corresponding neuron detection mode.
  • the integrator 6 of the fired neuron N2 may be discharged to zero volts, and the integrator 6 of other neurons may be discharged to one volt.
  • Such an operation may be performed together during the execution of the learning mode, but may be performed separately before the next corresponding neuron detection mode is performed after the end of the learning.
  • a pulse corresponding to “2” is applied through the first wiring 1 when the next learning number is “2”.
  • pulses may be applied to the memory device 3 connected to the already learned neurons, and in this case, the already learned neurons may be fired. Therefore, by raising the voltage of the integrator 6 of the non-fired neuron to a certain level compared to the integrator 6 of the already fired neuron, the unfired integrator 6 is fired first compared to the fired integrator 6. It can be.
  • the neuron to store the information of "1” may recognize the information input of "1" when a pulse corresponding to "1" is applied.
  • Fig. 7 is a diagram showing the next corresponding neuron detection mode after the learning mode of " 1 "
  • a pulse corresponding to the number “2” is applied to the first wiring 1.
  • the pulse corresponding to the number “2” may be two wirings below the first wiring 1.
  • the connection state of the switch may be applied to Figure 5 and the description thereof.
  • the integrator of the neuron N2 on which the number "1" is learned may not be fired since the initial voltage is lower than that of the other neurons.
  • the figure shows that N3 is fired. After that, the learning mode for N3 may proceed.
  • Corresponding neuron detection mode and learning mode performed in FIGS. 5 to 7 may be repeatedly performed until specific information is allocated to all neurons.
  • FIG. 8 is a diagram illustrating a test mode of a neuromorphic system.
  • the first switch 4 is open and the second switch 5 is connected.
  • a spike signal of specific information for example, a number
  • a neuron corresponding to the specific information is fired, and the controller 8 may know that the corresponding signal is input. For example, if the number "1" is inputted, the neuron N2 trained on this information will be fired. This is because the memory device 3 has been learned in advance. Meanwhile, when the test mode is performed, all of the integrators 6 may be reset.
  • neuromorphic system it is possible to learn specific information corresponding to neurons that can be appropriately selected for the specific information. That is, neurons suitable for specific information may be selected according to the characteristics of each neuron. Therefore, the performance and efficiency of learning can be improved. In this case, the user may not know in advance which information corresponds to which neuron. In addition, the clock may be increased to increase the speed of learning. On the other hand, by performing the test mode it is possible to determine whether or not learning was performed properly.
  • FIG. 9 is a flowchart illustrating a method of operating a neuromorphic system according to an embodiment.
  • the memory device and the neuron circuit are initialized (S1). Specifically, as the initialization mode is performed, a state as shown in FIG. 5 may be implemented. After that, the corresponding neuron detection mode is performed to find out which neurons the specific information to be input is to be learned. In the corresponding neuron detection mode, a pattern of specific information is input via the first wiring (S2), and it is monitored whether a neuron is fired (S3). The corresponding neuron detection mode may be presented in the state of FIG. 6.
  • the learning mode is performed (S4).
  • the connection state of the switch in the learning mode may be presented as the state of FIG. 7.
  • the pulse is applied only to the memory device 3 provided at the intersection of the first wire 1 to which the pulse is applied and the second wire 2 to be connected to the fired neuron. Let (3) be learned.
  • the neuron detection preparation mode may be performed. The neuron detection preparation mode may be performed by resetting the output of the integrator of the fired neuron, and the integrator of the unfired neuron by shifting the output by a certain amount of voltage.
  • FIG. 10 is a diagram illustrating an actual configuration of a neuron circuit, in which a configuration that plays the same role as the configuration of the neuromorphic system of FIG. 1 is given the same reference numerals, and the same description is provided except in the case of special application. Applicable and detailed description is omitted.
  • the integrator 6 of the neuron circuit shown in FIG. 10 will be shown and described as being inverted in voltage. However, this is in accordance with the needs of the circuit fabrication, the function is likewise understandable.
  • control unit 8 controls nine switches, an inverter unit 9 is provided at an output terminal of the comparator 7, and ten neuron circuits are provided.
  • the inverter section 9 is provided with a first inverter section 91 for storing the output value of the comparator 7 and a second inverter section 92 for matching the polarity of the stored value with the output value of the comparator 7.
  • the first inverter unit 91 may include an SRAM.
  • the operating state of the neuron circuit of FIG. 10 will be described for each mode of the neuromorphic system.
  • FIG. 11 is a diagram illustrating a neuron circuit according to a switching state of an initialization mode.
  • SW1, SW3, SW6, and SW9 are connected, and the remaining switches are in an open state.
  • the memory element 3 is in the HRS state
  • the integrator 6 is connected to ground
  • the VDD is applied
  • the output from the inverter 9 is in the LOW state.
  • 12 is a diagram illustrating a neuron circuit according to a switching state of a corresponding neuron detection mode. 12 shows a state in which the SW2, SW5, and SW8 are connected and the remaining switches are open in the neuron circuit of FIG.
  • the corresponding neuron detection mode pulses of patterns corresponding to specific information are applied to all neuron circuits and integration is started in the integrator 6. If any neuron circuit is fired during integration, the control section 8 opens SW2 and SW8 of all the neuron circuits according to the fire signal. Then, no current flows into all neuron circuits and the integration stops. Of course, the fired neuron circuit may be selected as a neuron circuit corresponding to the current specific information.
  • FIGS. 13 and 14 are diagrams illustrating fired neuron circuits and non-fired neuron circuits in a learning mode and a neuron detection preparation mode, respectively.
  • the fired neuron circuit is connected to SW1, SW3, and SW5, and the remaining switches are opened.
  • SW1, SW3, and SW5 In the non-fired neuron circuit, only SW4 is connected and the remaining switches are opened.
  • the learning mode may be performed by the above process.
  • the voltage of the integrator of the fired neuron circuit is larger than that of the unfired neuron circuit, and the fired neuron circuit in the corresponding counterpart neuron detection mode is lowered later than the non-fired neuron circuit. It will not fire.
  • the integrator of the neuron circuit of FIG. 10 is inverted as described above, it should be noted that the integrator is integrated in the opposite direction (inverse) to the voltage of the integrator in the neuromorphic system of FIG. 1.
  • the corresponding neuron detection mode, the learning mode, and the neuron detection preparation mode for the next specific information are performed again. Tests can be performed once the identification and learning of the corresponding neurons for all specific information is complete.
  • 15 is a diagram illustrating a neuron circuit according to a switching state of a test mode.
  • SW2, SW5, SW6, SW7, SW8 is connected and the remaining switches are open.
  • the memory device of the neuron circuit corresponding to the specific information flows a current to fire the corresponding neuron circuit and confirm that the specific information has been input.
  • the neuromorphic system according to the present invention has been described using a touch pad in which numbers and the like are input as an example, the neuromorphic system is not limited thereto and may be applied to various cases such as an image input and a security device. In addition, it is composed of a neuromorphic chip, can be produced in a small size and used in various ways.
  • a neuromorphic system and a method of operating the same according to the present invention include a neuron circuit having a superior learning performance with respect to the specific information in a state in which specific information and a neuron circuit to which the specific information is to be learned are not specified in advance. It can be determined by its own interrelationship. Therefore, learning performance can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Logic Circuits (AREA)
  • Feedback Control In General (AREA)

Abstract

본 발명에 따른 뉴로모픽 시스템에는, 외부신호가 입력되는 제 1 배선; 상기 제 1 배선과 교차하는 제 2 배선; 상기 제 1 배선과 상기 제 2 배선의 교차지점을 연결하는 기억소자; 상기 제 2 배선에 연결되는 적분기; 상기 적분기의 출력측에 마련되는 비교기; 상기 제 2 배선과 상기 적분기의 사이에 마련되어 상기 제 2 배선과 그라운드와의 연결을 제어하는 제 1 스위치; 상기 제 1 스위치와 상기 적분기의 사이에 마련되어 상기 제 2 배선과 상기 적분기와의 연결을 제어하는 제 2 스위치; 및 상기 비교기의 출력신호를 입력받고 시스템을 제어하는 제어부가 포함된다. 본 발명에 따르면 특정정보에 가장 적합한 뉴런을 알아내고 그곳에 해당하는 특정정보를 할당하여, 학습의 정확도 및 신뢰도를 높일 수 있고, 학습이 제대로 되었는지를 확인할 수 있는 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법을 제안한다. 또한, 본 발명의 본질에서 드러나는 다양한 효과를 얻을 수 있고, 실제 뉴로모픽 시스템의 하드웨어 구축에 한걸음 접근한다는 효과를 얻을 수 있다.

Description

뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
본 발명은 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법에 관한 것이다.
생물의 뇌에는 수천억 단위에 이르는 신경세포로서 뉴런이 있고, 이들은 복잡한 신경망을 이루고 있다. 상기 뉴런은 수천 개의 다른 뉴런과 시냅스를 통하여 신호를 주고 받는 것으로써, 생물로서 가져야 하는 지적 능력을 발휘한다.
상기 뉴런은 신경계의 구조적, 기능적 단위이며 정보 전달의 기본 단위이다. 시냅스는 뉴런 사이의 접합부를 가리키며 어느 하나의 뉴런의 축색 돌기와 다른 뉴런의 수상 돌기가 연결된 부위를 말한다. 한 개의 뉴런은 수천 개의 다른 뉴런과 시냅스로 접촉하고 있다. 이들 생물 신경망을 모사한 인공 신경계를 뉴런 수준에서 제작함으로써, 두뇌가 처리하는 정보처리 방식을 모사하여 만들어진 반도체 회로가 뉴로모픽 시스템이다. 이들 뉴로모픽 시스템은 칩 단위로 제작할 수 있다.
상기 뉴로모픽 시스템은, 생물의 뇌와 마찬가지로, 불특정한 환경에 스스로 적응할 수 있는 지능화된 시스템을 구현하는 데에 효과적으로 활용될 수 있다. 이 기술이 발전하면 문자인식, 음성인식, 위험 인지, 및 실시간 고속 신호처리 등 인지 및 추정 등을 수행하는 인터페이스, 컴퓨터, 로봇, 가전기기, 소형 이동 기기, 보안 및 감시, 지능형 차량 안전, 및 자율 주행 등의 분야에 적용할 수 있다.
상기 뉴로모픽 시스템에서의 학습은, 특정한 뉴런에 특정한 정보를 임의로 할당하고, 할당된 정보를 해당 뉴런에 학습시키는 방식이 사용된다. 이러한 방식은 강제로 특정 뉴런에 특정 정보를 할당하므로 슈퍼바이즈드(supervised) 뉴로모픽 시스템이라고 할 수 있다.
상기 슈퍼바이즈드 뉴로모픽 시스템은, 시넵스를 모사하는 멤리스터(memristor)의 개별적 성질의 차이를 무시한 것으로서, 학습의 부정확성을 높이고, 올바른 판단에 이르지 못하게 하는 원인으로 작용한다. 또한, 종래의 뉴로모픽 시스템에서는 제대로 학습이 되었는지의 여부를 판단하는 것에 대해서는 소개된 바가 없다. 아울러, 이러한 시스템을 구성하는 구체적인 하드웨어에 대해서는 제시된 바가 없다.
본 발명은 상기되는 문제점을 해결하고, 뉴로모픽 시스템의 구현에 한발짝 다가서고, 뉴런의 자연스러운 상호작용에 의해서 학습을 할 수 있는 뉴로모픽 시스템 및 그 뉴로모픽 시스템의 동작방법을 제안한다.
본 발명에 따른 뉴로모픽 시스템은 외부신호가 입력되는 제 1 배선; 상기 제 1 배선과 교차하도록 마련되는 제 2 배선; 상기 제 1 배선과 상기 제 2 배선의 교차지점을 연결하는 기억소자; 상기 제 2 배선에 연결되는 적분기; 상기 적분기의 출력측에 마련되는 비교기; 상기 제 2 배선과 상기 적분기의 사이에 마련되어 상기 제 2 배선과 그라운드와의 연결을 제어하는 제 1 스위치; 상기 제 1 스위치와 상기 적분기의 사이에 마련되어 상기 제 2 배선과 상기 적분기와의 연결을 제어하는 제 2 스위치; 및 상기 비교기의 출력신호를 입력받고 시스템을 제어하는 제어부가 포함된다. 본 발명에 따른 시스템이 자체적으로 특정정보에 맞고 학습효율이 높은 뉴런회로를 선택하여 학습할 수 있다.
상기 발명에 있어서, 상기 비교기와 상기 제어부의 사이에는, 상기 비교기의 출력값을 저장할 수 있는 인버터부가 제공될 수 있고, 상기 제 2 스위치와 상기 적분기의 사이에는, 상기 적분기의 입력측와 그라운드와의 연결을 제어하는 스위치(SW3)와, 상기 적분기의 입력측과 소정의 전압과의 연결을 제어하는 또 다른 스위치(SW4)가 포함될 수 있고, 상기 제 1 스위치를 연결하고, 상기 제 2 스위치를 개방하여 초기화모드가 수행될 수 있고, 상기 제 1 스위치를 개방하고 상기 제 2 스위치를 연결하고 상기 외부신호를 입력하여 상기 외부신호에 적합한 뉴런회로를 파악하는 대응뉴런파악모드가 수행될 수 있다. 이와 같은 작용에 의해서 학습이 효율적으로 수행될 수 있다. 여기서, 상기 대응뉴런파악모드에서 대응뉴런으로 파악된 뉴런회로는, 상기 제 1 스위치를 연결하고 상기 제 2 스위치를 개방하여 학습모드가 수행될 수 있고, 상기 대응뉴런파악모드에서 대응뉴런으로 파악된 뉴런회로와 그렇지 아니한 뉴런회로에 대하여, 상기 적분기의 입력측 전압을 달리하는 뉴런파악준비모드가 수행될 수 있다.
다른 측면에 따른 뉴로모픽 시스템에는, 외부펄스가 입력되는 제 1 배선; 상기 제 1 배선과 교차하도록 마련되는 제 2 배선; 및 상기 제 1 배선과 상기 제 2 배선의 교차지점을 연결하는 기억소자가 포함되는 시넵스회로; 및 상기 제 2 배선에 연결되어 상기 기억소자를 통과하는 전류를 적분하는 적분기; 및 상기 적분기의 출력전압과 비교전압을 비교하여 상기 출력전압이 상기 비교전압을 넘을 때 출력값을 내는 비교기가 포함되는 적어도 두 개의 뉴런회로가 포함되고, 상기 외부신호를 입력할 때 가장 먼저 출력값을 내는 뉴런회로를 상기 외부신호에 대응하는 뉴런회로로 정하고 상기 기억소자를 학습시키는 것을 특징으로 한다. 여기서, 상기 제 2 배선과 상기 적분기의 사이에 마련되어 상기 제 2 배선과 그라운드와의 연결을 제어하는 제 1 스위치; 및 상기 제 1 스위치와 상기 적분기의 사이에 마련되어 상기 제 2 배선과 상기 적분기와의 연결을 제어하는 제 2 스위치가 포함될 수 있다.
또 다른 발명에 따른 뉴로모픽 시스템의 동작방법에는, 기억소자와 뉴런회로를 초기화하는 초기화모드; 제 1 특정정보에 대응하는 뉴런회로를 알아내는 대응뉴런파악모드; 상기 대응뉴런파악모드의 수행결과로써 파악되는 상기 제 1 특정정보에 대응하는 뉴런회로에, 상기 제 1 특정정보를 학습시키는 학습모드; 및 제 2 특정정보에 대한 대응뉴런파악모드의 수행을 준비하는 뉴런파악준비모드가 포함되고, 모든 특정정보에 대응하는 뉴런회로가 학습될 때까지 상기 대응뉴런파악모드, 상기 학습모드, 및 상기 뉴런파악준비모드가 반복해서 수행되는 것을 특징으로 한다. 여기서, 상기 학습모드와 상기 뉴런파악준비모드의 적어도 일부는 함께 수행될 수 있다.
본 발명에 따르면 특정정보에 가장 적합한 뉴런을 알아내고, 그곳에 해당하는 특정정보를 할당하여, 학습의 정확도 및 신뢰도를 높일 수 있고, 학습이 제대로 되었는지를 확인할 수 있는 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법을 제안한다. 또한, 본 발명의 본질에서 드러나는 다양한 효과를 얻을 수 있고, 실제 뉴로모픽 시스템의 하드웨어 구축에 한걸음 접근하는 효과를 얻을 수 있다.
도 1은 실시예에 따른 뉴로모픽 시스템의 구성도.
도 2는 제 1 배선과 제 2 배선과 기억소자의 배치를 나타내는 도면.
도 3은 상기 멤리스터의 특성을 나타내는 도면.
도 4는 뉴로모픽 시스템의 초기화모드를 보이는 도면.
도 5는 뉴로모픽 시스템의 대응뉴런파악모드를 보이는 도면.
도 6은 뉴로모픽 시스템의 학습모드를 보이는 도면.
도 7은 한 특정정보의 학습 종료 후 다음번 대응뉴런파악모드를 보이는 도면.
도 8은 뉴로모픽 시스템의 테스트모드를 보이는 도면.
도 9는 실시예에 따른 뉴로모픽 시스템의 동작방법을 설명하는 흐름도.
도 10은 뉴런회로의 실제구성을 예시하는 도면으로서, 도 11은 초기화모드의 스위칭 상태에 따른 뉴런회로를 나타내는 도면이고, 도 12는 대응뉴런파악모드의 스위칭 상태에 따른 뉴런회로를 나타내는 도면이고, 도 13과 도14는 학습모드 및 뉴런파악준비모드에서, 각각 파이어된 뉴런회로와 파이어되지 않은 뉴런회로를 나타내는 도면이고, 도 15는 테스트모드의 스위칭 상태에 따른 뉴런회로를 나타내는 도면.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 이하의 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있으나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
이하의 설명에서 반복적으로 제공되는 동일한 구성요소에 대해서는, 특별한 언급이 없는 경우에는 어느 하나에 대해서만 도면번호를 부여하고, 도면번호가 부여된 어느 하나의 구성요소에 대해서만 설명한다. 그러나 그 설명은 같은 구성요소에 대해서도 마찬가지로 적용될 수 있다.
도 1은 실시예에 따른 뉴로모픽 시스템의 구성도이다.
도 1을 참조하면, 뉴로모픽 시스템에는, 특정정보로서 외부 신호가 입력되는 제 1 배선(1), 제어부(8)와 연결되는 제 2 배선(2), 상기 제 1 배선(1) 및 상기 제 2 배선(2)의 교차지점에서 각 배선(1)(2)의 교차지점을 연결하는 기억소자(3)가 포함된다. 상기 배선 및 기억소자는 생물 신경망에서 시넵스에 해당하고 시넵스회로로 볼 수 있다.
상기 제 1 배선(1)에는, 터치패널을 예시할 때, 터치패널 상에서 터치가 된 픽셀에 대응되는 전기신호가 입력될 수 있다. 도 2는 제 1 배선(1)과 제 2 배선(2)과 기억소자(3)의 배치를 나타내는 도면으로서, 배선(1)(2)의 기하하적 교차지점에서 기억소자(3)가 각 배선을 서로 연결하는 것을 볼 수 있다. 또한, 배선과 기억소자는 실제로는 훨씬 더 많이 제공될 수 있으나, 설명의 편의를 위하여 이를 간략히 표시한다.
상기 기억소자(3)는, 멤리스터(memristor)로 예시할 수 있고, 외부 펄스에 따라서 상태가 변하고, 전원공급이 끊어져도 직전에 통과한 전류의 방향과 양을 기억하는 소자로 제공될 수 있다. 도 3은 상기 멤리스터의 특성을 나타내는 도면으로서, 외부로부터 가하여지는 펄스의 회수에 따라서 멤리스터를 통과하는 전류량이 변하고, 그 상태는 LRS(Low Resistance Status)와 HRS(High Resistance Status)를 양 끝단으로 정의할 수 있다. LRS상태에서는 많은 전류가 흐를 수 있고, HRS상태에서는 적은 양의 전류가 흐를 수 있다.
다시 도 1을 참조하면, 뉴로모픽 시스템에서 제 2 배선(2)에는 제 1 스위치(4)와 제 2 스위치(5)가 제공되고, 상기 제 2 스위치(5)의 후단에는 적분기(6)가 제공되고, 적분기(6)의 후단에는 비교기(7)가 제공된다. 상기 비교기(7)는 제어부(8)와 연결된다. 상기 적분기, 비교기, 및 스위치 등은 생물의 신경망에서는 뉴런에 해당하고 뉴런회로라고 할 수 있다.
상기 제 1 스위치(4)는 제 2 배선(2)이 그라운드와 연결되거나 개방되도록 할 수 있다. 상기 제 1 스위치(4)가 그라운드에 연결될 때는 기억소자(3)에 전류를 흘려서 학습시키는 경우이고, 상기 제 1 스위치(4)가 개방되는 때는 기억소자(3)에 전류가 흐르지 않아서 영향을 받지 않는 경우일 수 있다. 상기 제 2 스위치(5)는 제 2 배선(2)이 적분기(6)에 연결되거나 개방되도록 할 수 있다. 상기 제 2 스위치(5)가 연결되는 때는 특정정보에 적합한 뉴런을 찾는 때 및 테스트가 수행되는 경우이고, 상기 제 2 스위치(5)가 개방되는 때는 기억소자(3)를 학습시키는 경우일 수 있다. 상기 제어부(8)는 상기 스위치를 제어하는 등, 뉴로모픽 시스템의 전체적인 구성을 제어한다.
상기 뉴로모픽 시스템의 동작을 순차적으로 설명한다. 이하의 설명에서는, 터치패널에 숫자를 쓰고, 숫자를 쓰는 중에 터치가 되는 픽셀로부터의 신호가, 픽셀에 대응되는 제 1 배선에 펄스신호를 발생시키는 것을 예로 들어 설명한다. 물론, 숫자를 대신하여 문자가 사용될 수도 있고, 문자인식만이 아니라 이미지 인식, 위험 인식 등의 다양한 경우를 예시할 수도 있다. 또한, 스위치 등의 동작제어는 제어부(8)에 의해서 수행될 수 있다.
도 4는 뉴로모픽 시스템의 초기화모드를 보이는 도면이다.
도 4를 참조하면, 제 1 스위치(4)는 연결되고, 제 2 스위치(5)는 개방된다. 이때에 상기 적분기(6)는 모두 0볼트이다. 상기 기억소자(3)는 HRS상태로 될 수 있다. 따라서 시넵스회로 및 뉴런회로는 모두 초기화상태에 놓인다.
도 5는 뉴로모픽 시스템의 대응뉴런파악모드를 보이는 도면이다.
도 5를 참조하면, 제 1 스위치(4)는 개방되고, 제 2 스위치(5)는 연결된다. 이 상태에서 제 1 배선(1)에 숫자 "1"에 해당하는 펄스가 인가된다. 이때 펄스는 몇 개의 배선에 인가될 수 있다. 어느 하나의 배선은 어느 하나의 픽셀과 대응될 수 있는 것은 이미 설명한 바와 같다. 상기 펄스가 인가되는 특정 제 1 배선과 연결되는 기억소자(3)에는 펄스가 인가되고, 제 2 스위치(5)가 연결되어 있으므로 적분기(6)의 전압은 상승한다. 상기 펄스는 계속해서 인가될 수 있는데, 인위적으로 동일한 펄스를 계속해서 인가시킬 수도 있고, 연속적으로 동일한 숫자를 쓰는 것에 의해서 펄스를 발생시킬 수도 있다.
소정의 주기 동안 펄스가 인가되면, 어느 하나의 적분기(6)로부터의 출력전압이 비교기(7)의 비교전압(실시예에서는 2V이다)을 넘어서게 된다. 이때 비교기(7)에서는 신호가 발생하고 제어부(8)에서는 비교기(7)로부터의 출력신호를 감지하여 특정 뉴런이 온되었음을 확인할 수 있다. 이를 파이어(fire) 되었다고 하기로 한다. 그러면 파이어 된 뉴런은 "1"의 정보가 학습되기에 적합하게 대응하는 뉴런(실시예에서는 N2가 이에 해당한다)으로 파악될 수 있다. 상기되는 동작에 따르면, 외부로부터의 강제적인 통제, 즉 특정정보에 대응하는 특정뉴런이 지정된 바가 없이 "1"이라는 정보가 저장되기에 적합한 뉴런이 기억소자 및 뉴런의 상호관계에 따라서 스스로 결정될 수 있다. 그러므로, 뉴로모픽 시스템의 구성에 따라서 특정정보가 저장되기에 가장 적합한 뉴런이 스스로 파악 및 선정되고, 따라서 추후 학습에서 에러가 날 가능성이 줄어들 수 있다. 따라서, 이를 언수퍼바이즈드 뉴로모픽 시스템이라고 할 수 있다.
상기되는 과정에 의해서 "1"이라는 숫자의 정보가 저장되는 뉴런이 언수퍼바이즈드 상태에서 선택되는 것을 확인할 수 있다.
도 6은 뉴로모픽 시스템의 학습모드를 보이는 도면이다.
도 6을 참조하면, 파이어된 뉴런(N2)만 제 1 스위치(4)가 연결되고 파이어되지 않은 뉴런은 개방된다. 따라서 "1"에 대응하는 제 1 배선(1)의 펄스는 파이어된 뉴런으로만 펄스가 인가되고 파이어되지 않은 뉴런으로는 펄스가 인가되지 않는다. 그러면, 펄스가 인가되는 제 1 배선(1)과 파이어된 뉴런과 연결되는 제 2 배선(2)의 교차점에 제공되는 기억소자(3)에만 펄스가 인가되고 해당되는 기억소자(3)가 학습된다. 그 외의 기억소자(3)에는 펄스가 인가되지 않거나, 제 1 스위치(4)가 개방되어 있어서 학습이 되지 않는다.
학습이 완료되면, 학습된 기억소자(3)(실시예에서는 상단에서 두 개의 기억소자)는 LRS가 될 것이다. 따라서, 테스트모드에서 "1"에 대응하는 펄스가 인가되면 N2의 뉴런회로가 파이어되고, "1"이 입력되었음을 확인할 수 있다.
한편, 상기 학습모드가 수행되는 중에 적분기의 전압은 조정될 수 있다. 이는 다음번 대응뉴런파악모드에 대응하기 위한 것이다. 상세하게는 파이어된 뉴런(N2)의 적분기(6)는 0볼트로 방전시키고 그 외의 뉴런의 적분기(6)는 1볼트로 방전시킬 수 있다. 이와 같이 함으로써 특정정보를 저장하도록 이미 선택된 뉴런에 대해서는 다음번 대응뉴런파악모드에서 파이어되지 않도록 할 수 있다. 이러한 동작은 상기 학습모드의 수행 중에 함께 수행될 수도 있으나, 학습의 종료 후에 다음 번의 대응뉴런파악모드의 수행 전에 별도로 수행될 수도 있다. 그러나, 상기 학습모드와 함께 수행하는 것이 학습시간의 절약이라는 측면에서 볼 때 바람직할 것이다. 이를 뉴런파악준비모드라고 이름할 수 있다.
예를 들어 상기 대응뉴런파악모드를 설명하면, 다음번 학습하는 숫자가 "2"인 경우에 "2"와 대응되는 펄스가 제 1 배선(1)을 통하여 인가된다. 이 때 비록 경우의 수가 작기는 하지만, 이미 학습된 뉴런과 연결되는 기억소자(3)에도 펄스가 인가될 수 있고, 이 경우에는 이미 학습된 뉴런이 파이어 될 수도 있다. 그러므로, 이미 파이어된 뉴런의 적분기(6)에 비하여 파이어되지 않는 뉴런의 적분기(6)의 전압을 일정수준 높여줌으로써, 파이어된 적분기(6)에 비하여 파이어되지 않은 적분기(6)가 먼저 파이어되도록 할 수 있는 것이다.
파이어된 뉴런에 대한 학습모드의 수행 중에, 파이어된 뉴런(N2)의 적분기와 파이어되지 않는 뉴런(N2외의 뉴런)의 적분기에 서로 다른 전압이 인가되도록 하는 방법을 간단히 설명한다. 제 2 스위치(5)와 적분기(6)의 사이에 스위치를 추가적으로 제공하여, 파이어된 뉴런의 적분기는 그라운드로 연결되고, 파이어되지 않은 뉴런의 적분기에는 소정의 전압(Vs)가 인가되도록 한다. 여기서 상기 소정의 전압(Vs)은 1볼트가 될 수 있다. 보다 구체적인 예시는 도 10에 제시되는 회로도를 참조함으로써 구체적으로 이해될 수 있을 것이고, 후술하도록 한다. 물론, 구체적인 회로도는 도 10에 제시되는 경우만이 아니고 다른 다양한 방법으로 제시될 수 있다.
상기 학습모드가 종료되면, "1"의 정보를 저장하게 될 뉴런은 "1"에 해당하는 펄스가 인가될 때 "1"의 정보입력사실을 인지할 수 있다.
도 7은 "1"의 학습모드가 종료하고 다음번 대응뉴런파악모드를 보이는 도면이다.
도 7을 참조하면, 제 1 배선(1)에 숫자 "2"에 해당하는 펄스가 인가된다. 예를 들어 숫자 "2"에 해당하는 펄스는 제 1 배선(1)의 하측 두 개의 배선일 수 있다. 이때, 스위치의 연결상태는 도 5 및 그와 관련되는 설명이 적용될 수 있다.
숫자"2"에 대한 대응뉴런파악모드가 진행하면, 숫자 "1"이 학습된 뉴런(N2)의 적분기는, 다른 뉴런의 적분기에 비하여 초기전압이 낮은 상태이므로, 파이어되지 않을 수 있다. 물론, 그렇게 되지 않을 가능성이 있는 경우에는 다른 뉴런의 적분기에 비하여 초기전압을 더 높일 수도 있을 것이다. 도면에서는 N3가 파이어되는 것을 나타내고 있다. 그 이후에는, N3에 대한 학습모드가 진행될 수 있다.
상기 도 5내지 도 7에서 수행된 대응뉴런파악모드, 학습모드는 모든 뉴런에 특정정보가 할당될 때까지 반복적으로 수행될 수 있다.
모든 뉴런에 대한 학습이 종료되면, 테스트가 수행된다. 도 8은 뉴로모픽 시스템의 테스트모드를 보이는 도면이다.
도 8을 참조하면, 제 1 스위치(4)는 개방되고, 제 2 스위치(5)는 연결된다. 이 상태에서 특정정보(예를 들어, 숫자)의 스파이크 신호가 입력되면, 특정정보와 대응하는 뉴런이 파이어되고, 제어부(8)는 해당하는 신호가 입력되었음을 알 수 있다. 예를 들어, 숫자"1"이 입력되면 이 정보에 대하여 학습이 되어 있는 뉴런(N2)이 파이어될 것이다. 파이어되는 것은 미리 기억소자(3)를 학습시켜 두었기 때문이다. 한편 테스트 모드가 수행될 때에는 적분기(6)는 모두 리셋되어 있을 수 있다.
상기되는 뉴로모픽 시스템에 따르면, 특정정보에 적합하게 선택될 수 있는 뉴런에 해당하는 특정정보를 학습시킬 수 있다. 즉, 각 뉴런의 특징에 따라서 특정정보에 적합한 뉴런이 선정될 수 있다. 따라서 학습의 성능과 효율을 높일 수 있다. 이때에는 어느 뉴런에 어느 정보가 대응될 지는 사용자도 미리 알 수 없다. 또한, 학습의 신속성을 높이기 위해서는 클럭을 높일 수 있다. 한편, 테스트모드를 수행함으로써 학습이 제대로 수행되었는지 또는 수행되지 않았는지를 판단할 수 있다.
도 9는 실시예에 따른 뉴로모픽 시스템의 동작방법을 설명하는 흐름도이다.
도 9를 참조하면, 기억소자와 뉴런회로를 초기화한다(S1). 구체적으로는 초기화모드가 수행되는 것으로서, 도 5와 같은 상태가 구현될 수 있다. 이후에는 대응뉴런파악모드가 수행되어 입력되는 특정정보가 어느 뉴런에 학습되어야 하는 지를 검색하여 알아낸다. 상기 대응뉴런파악모드에서는 특정정보의 패턴이 제 1 배선을 통하여 입력되고(S2), 어는 뉴런이 파이어되는 지를 감시한다(S3). 상기 대응뉴런파악모드는 도 6의 상태로 제시될 수 있다.
이후에는 학습모드가 수행된다(S4). 학습모드에서 스위치의 결선상태는 도 7의 상태로 제시될 수 있다. 학습모드의 수행 중에는, 펄스가 인가되는 제 1 배선(1)과 파이어된 뉴런과 연결되는 제 2 배선(2)의 교차점에 제공되는 기억소자(3)에만 펄스가 인가되도록 하여, 해당하는 기억소자(3)가 학습되도록 한다. 이와 함께, 뉴런파악준비모드가 수행될 수 있다. 상기 뉴런파악준비모드는, 파이어된 뉴런의 적분기의 출력을 리셋하고, 파이어되지 않는 뉴런의 적분기는 출력을 일정량 전압 쉬프트시키는 것으로서 수행될 수 있다.
어느 하나의 뉴런에 대한 학습이 종료되면 다음번 특정정보의 입력이 필요한지를 판단하여(S5), 필요한 경우에는 다음번 특정정보의 패턴입력단계(S2)로 진행하고, 그렇지 않은 경우에는 종료한다. 종료한 다음에는 특정정보에 대응하는 뉴런에 해당정보가 제대로 학습이 되었는지를 시험하는 테스트모드가 수행될 수도 있다.
이하에서는 생물의 뉴런과 대응되는 뉴런회로를 구성할 수 있는 일 예를 예시한다. 물론, 다른 방법으로 구성될 수도 있을 것이고, 제시되는 실시예로 제한되지 아니한다.
도 10은 뉴런회로의 실제구성을 예시하는 도면으로서, 도 1의 뉴로모픽 시스템의 구성과 동일한 역할을 하는 구성은 동일한 도면번호를 부여하고, 특별하게 다르게 적용되는 경우를 제외하고는 동일한 설명이 적용되는 것으로 하고 구체적인 설명은 생략한다. 한편, 도 10에 제시되는 뉴런회로의 적분기(6)는 전압이 반전되는 것으로 도시되고 설명이 될 것이다. 그러나, 이는 회로 제작상의 필요에 따른 것이고, 기능은 마찬가지로 이해할 수 있다.
도 10을 참조하면, 제어부(8)는 아홉개의 스위치를 제어하고, 비교기(7)의 출력단에는 인버터부(9)가 제공되고, 뉴런회로는 열 개가 제공되는 것으로 도시되어 있다.
상기 인버터부(9)에는, 비교기(7)의 출력값을 저장하는 제 1 인버터부(91)와, 저장된 값의 극성을 비교기(7)의 출력값과 맞추기 위한 제 2 인버터부(92)가 제공된다. 상기 제 1 인버터부(91)는 SRAM을 예로 들 수 있다. 상기 제 1 인버터부(91)에 의해서 출력값을 저장함으로써, SW8이 개방되더라도 계속해서 일정한 출력값을 제어부(8)로 출력하여 제어부(8)에서 모드에 따라서 스위치를 제어할 수 있다. 상기 인버터부(9)는 제어부(8)의 로직으로서 제공될 수도 있을 것이다.
도 10의 뉴런회로의 동작상태를 뉴로모픽 시스템의 각 모드별로 설명한다.
도 11은 초기화모드의 스위칭 상태에 따른 뉴런회로를 나타내는 도면이다.
도 11을 참조하면, 도 10의 뉴런회로에서 SW1, SW3, SW6, 및 SW9가 연결되고, 나머지 스위치는 개방된 상태를 나타낸다. 이 상태에서는 기억소자(3)는 HRS상태이고, 적분기(6)는 그라운드에 연결되어 VDD가 걸리고, 인버터(9)로부터의 출력은 LOW상태이다.
도 12는 대응뉴런파악모드의 스위칭 상태에 따른 뉴런회로를 나타내는 도면이다. 도 12의 상태는 도 10의 뉴런회로에서 SW2, SW5, 및 SW8이 연결되고, 나머지 스위치는 개방되어 있는 상태를 나타낸다. 상기 대응뉴런파악모드에서는, 모든 뉴런회로에 특정정보와 대응되는 패턴의 펄스가 인가되고 적분기(6)에서 적분을 시작한다. 적분 중에 어느 뉴런회로가 파이어되면, 파이어 신호에 따라서 제어부(8)는 모든 뉴런회로의 SW2, 및 SW8을 개방한다. 그러면, 모든 뉴런회로로는 전류가 들어오지 않고 적분을 멈춘다. 물론, 파이어된 뉴런회로는 현재의 특정정보에 대응하는 뉴런회로로 선정될 수 있다.
도 13과 도14는 학습모드 및 뉴런파악준비모드에서, 각각 파이어된 뉴런회로와 파이어되지 않은 뉴런회로를 나타내는 도면이다. 도 13 및 도 14를 참조하면, 파이어된 뉴런회로는 SW1, SW3, 및 SW5가 연결되고, 나머지 스위치는 개방된다. 파이어되지 않은 뉴런회로는 SW4만 연결되고, 나머지 스위치는 개방된다.
도 13과 같이 파이어된 뉴런회로의 경우에는 제 2 배선(2)이 그라운드에 연결되므로 접속되는 기억소자(3)에 펄스가 인가된다. 그러나, 파이어되지 않은 뉴런의 경우에는 제 2 배선(2)이 개방되어 있으므로 전류가 흐르지 않는다. 따라서 파이어된 뉴런회로에 대해서만 학습이 수행되고, 파이어되지 않은 뉴런회로에 대해서는 학습이 수행되지 않는다. 상기되는 과정에 의해서 학습모드가 수행될 수 있다.
한편, 상기 뉴런파악준비모드가 상기 학습준비모드와 함께 수행되도록 하기 위하여, 파이어된 뉴런회로의 적분기는 SW3이 그라운드에 연결되어 Vint=VDD를 출력하고, 파이어되지 않은 뉴런회로의 적분기는 SW4가 연결되어 Vs만큼 쉬프트하여, Vint=Vint'+Vs를 출력한다. 이러한 전압구조에 따르면 파이어된 뉴런회로의 적분기의 전압은 파이어되지 않은 뉴런회로의 적분기보다 크고, 차후의 대응뉴런파악모드에서 파이어된 뉴런회로는 파이어되지 않은 뉴런회로에 비하여 늦게 전압이 떨어지므로, 다시 파이어되지 않게 된다. 이때 도 10의 뉴런회로의 적분기는 이미 설명한 바와 같이 반전되어 있으므로, 도 1의 뉴로모픽 시스템에서의 적분기의 전압과는 반대방향(인버스)으로 적분되는 것을 염두에 두어야 한다 .
설명되는 바와 같이. 학습모드 및 뉴런파악준비모드가 종료하면, 다음번 특정정보에 대한 대응뉴런파악모드, 학습모드, 및 뉴런파악준비모드가 다시 수행된다. 모든 특정정보에 대한 대응뉴런파악 및 학습이 종료하면 테스트를 수행할 수 있다.
도 15는 테스트모드의 스위칭 상태에 따른 뉴런회로를 나타내는 도면이다.
도 15를 참조하면, SW2, SW5, SW6, SW7, SW8이 연결되고 나머지 스위치는 개방된 상태이다. 이 상태에서 외부의 특정정보를 입력하면, 상기 특정정보와 대응되는 뉴런회로의 기억소자가 전류를 흘려서 해당하는 뉴런회로가 파이어되고, 상기 특정정보가 입력되었음을 확인할 수 있도록 한다.
본 발명에 따른 뉴로모픽 시스템은 숫자 등이 입력되는 터치패드를 예로 들어 설명을 하였지만, 그와 같은 경우에 제한되지 아니하고, 이미지 입력, 보안 장치와 같은 다양한 경우에 적용할 수 있다. 또한, 뉴로모픽 칩으로 구성하여, 작은 크기로 제작하여 다양하게 사용할 수 이다.
본 발명에 따른 뉴로모픽 시스템 및 그 동작방법은, 특정정보와 상기 특정정보가 학습될 뉴런회로가 미리 특정되지 않은 상태에서, 상기 특정정보에 대한 학습성능이 우수한 뉴런회로를 뉴로모픽 시스템의 자체적인 상호관계에 의해서 정하여질 수 있다. 따라서 학습성능을 높일 수 있다.

Claims (11)

  1. 외부신호가 입력되는 제 1 배선;
    상기 제 1 배선과 교차하는 제 2 배선;
    상기 제 1 배선과 상기 제 2 배선의 교차지점을 연결하는 기억소자;
    상기 제 2 배선에 연결되는 적분기;
    상기 적분기의 출력측에 마련되는 비교기;
    상기 제 2 배선과 상기 적분기의 사이에 마련되어 상기 제 2 배선과 그라운드와의 연결을 제어하는 제 1 스위치;
    상기 제 1 스위치와 상기 적분기의 사이에 마련되어 상기 제 2 배선과 상기 적분기와의 연결을 제어하는 제 2 스위치; 및
    상기 비교기의 출력신호를 입력받고 시스템을 제어하는 제어부가 포함되는 뉴로모픽 시스템.
  2. 제 1 항에 있어서,
    상기 비교기와 상기 제어부의 사이에는, 상기 비교기의 출력값을 저장할 수 있는 인버터부가 제공되는 뉴로모픽 시스템.
  3. 제 1 항에 있어서,
    상기 제 2 스위치와 상기 적분기의 사이에는, 상기 적분기의 입력측와 그라운드와의 연결을 제어하는 스위치(SW3)와, 상기 적분기의 입력측과 소정의 전압과의 연결을 제어하는 또 다른 스위치(SW4)가 포함되는 뉴로모픽 시스템.
  4. 제 1 항에 있어서,
    상기 제 1 스위치를 연결하고, 상기 제 2 스위치를 개방하여 초기화모드가 수행되는 뉴로모픽 시스템.
  5. 제 1 항에 있어서,
    상기 제 1 스위치를 개방하고, 상기 제 2 스위치를 연결하고, 상기 외부신호를 입력하여 상기 외부신호에 적합한 뉴런회로를 파악하는 대응뉴런파악모드가 수행되는 뉴로모픽 시스템.
  6. 제 5 항에 있어서,
    상기 대응뉴런파악모드에서 대응뉴런으로 파악된 뉴런회로는, 상기 제 1 스위치를 연결하고 상기 제 2 스위치를 개방하여 학습모드가 수행되는 뉴로모픽 시스템.
  7. 제 5 항에 있어서,
    상기 대응뉴런파악모드에서 대응뉴런으로 파악된 뉴런회로와 그렇지 아니한 뉴런회로에 대하여, 상기 적분기의 입력측 전압을 달리하는 뉴런파악준비모드가 수행되는 뉴로모픽 시스템.
  8. 외부펄스가 입력되는 제 1 배선; 상기 제 1 배선과 교차하도록 마련되는 제 2 배선; 및 상기 제 1 배선과 상기 제 2 배선의 교차지점을 연결하는 기억소자가 포함되는 시넵스회로; 및
    상기 제 2 배선에 연결되어 상기 기억소자를 통과하는 전류를 적분하는 적분기; 및 상기 적분기의 출력전압과 비교전압을 비교하여 상기 출력전압이 상기 비교전압을 넘을 때 출력값을 내는 비교기가 포함되는 적어도 두 개의 뉴런회로가 포함되고,
    상기 외부신호를 입력할 때 가장 먼저 출력값을 내는 뉴런회로를 상기 외부신호에 대응하는 뉴런회로로 정하고 상기 기억소자를 학습시키는 뉴로모픽 시스템.
  9. 제 8 항에 있어서,
    상기 제 2 배선과 상기 적분기의 사이에 마련되어 상기 제 2 배선과 그라운드와의 연결을 제어하는 제 1 스위치; 및
    상기 제 1 스위치와 상기 적분기의 사이에 마련되어 상기 제 2 배선과 상기 적분기와의 연결을 제어하는 제 2 스위치가 포함되는 뉴로모픽 시스템.
  10. 기억소자와 뉴런회로를 초기화하는 초기화모드;
    제 1 특정정보에 대응하는 뉴런회로를 알아내는 대응뉴런파악모드;
    상기 대응뉴런파악모드의 수행결과로써 파악되는 상기 제 1 특정정보에 대응하는 뉴런회로에, 상기 제 1 특정정보를 학습시키는 학습모드; 및
    제 2 특정정보에 대한 대응뉴런파악모드의 수행을 준비하는 뉴런파악준비모드가 포함되고,
    모든 특정정보에 대응하는 뉴런회로가 학습될 때까지 상기 대응뉴런파악모드, 상기 학습모드, 및 상기 뉴런파악준비모드가 반복해서 수행되는 뉴로모픽 시스템의 동작방법.
  11. 제 10 항에 있어서,
    상기 학습모드와 상기 뉴런파악준비모드의 적어도 일부는 함께 수행되는 뉴로모픽 시스템의 동작방법.
PCT/KR2014/013061 2014-01-16 2014-12-30 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법 Ceased WO2015108293A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140005404A KR101512370B1 (ko) 2014-01-16 2014-01-16 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
KR10-2014-0005404 2014-01-16

Publications (1)

Publication Number Publication Date
WO2015108293A1 true WO2015108293A1 (ko) 2015-07-23

Family

ID=53034699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/013061 Ceased WO2015108293A1 (ko) 2014-01-16 2014-12-30 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법

Country Status (2)

Country Link
KR (1) KR101512370B1 (ko)
WO (1) WO2015108293A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438116B2 (en) 2017-02-10 2019-10-08 Electronics And Telecommunications Research Institute Neuromorphic arithmetic device
US10803383B2 (en) 2017-01-25 2020-10-13 Electronics And Telecommunications Research Institute Neuromorphic arithmetic device

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598874B1 (ko) * 2015-12-30 2023-11-07 에스케이하이닉스 주식회사 의사-학습된 시냅스들을 판단하기 위한 비교기를 갖는 포스트-시냅틱 뉴런들을 포함하는 뉴로모픽 소자
US10509999B2 (en) * 2015-12-30 2019-12-17 SK Hynix Inc. Neuromorphic device including post-synaptic neurons having a comparator for deciding quasi- learned synapses
KR102671259B1 (ko) * 2016-12-22 2024-06-03 에스케이하이닉스 주식회사 인버팅 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
KR102314300B1 (ko) * 2017-02-10 2021-10-21 한국전자통신연구원 뉴로모픽 연산 장치
US11403515B2 (en) 2018-04-09 2022-08-02 Electronics And Telecommunications Research Institute Spike neural network circuit including radiation source
KR102568410B1 (ko) 2018-04-10 2023-08-22 한국전자통신연구원 유효 데이터를 선별하기 위한 전처리부를 포함하는 인공 지능 시스템
US11861483B2 (en) 2018-11-20 2024-01-02 Electronics And Telecommunications Research Institute Spike neural network circuit including comparator operated by conditional bias current
US12511523B2 (en) 2020-06-05 2025-12-30 Electronics And Telecommunications Research Institute Data processing device of spike neural network and data processing method thereof
KR102642528B1 (ko) 2020-11-18 2024-03-04 한국전자통신연구원 인공 지능 시스템의 그것의 인공 신경망 학습 방법
US12579412B2 (en) 2021-02-10 2026-03-17 Electronics And Telecommunications Research Institute Spike neural network circuit including self-correcting control circuit and method of operation thereof
KR102782347B1 (ko) 2021-06-08 2025-03-18 한국전자통신연구원 스파이크 뉴럴 네트워크 회로
US12585925B2 (en) 2021-06-21 2026-03-24 Electronics And Telecommunications Research Institute Sysnapse circuit for preventing errors in charge calculation and spike neural network circuit including the same
US12437189B2 (en) 2021-08-26 2025-10-07 Electronics And Telecommunications Research Institute Encoder and operation method thereof
KR102521702B1 (ko) * 2021-11-04 2023-04-17 서울대학교산학협력단 뉴런 회로와 이의 동작 방법, 그리고, 뉴런 회로를 포함하는 뉴로모픽 장치
KR102833343B1 (ko) 2022-02-16 2025-07-11 한국전자통신연구원 확률적 연산기를 포함하는 스파이크 뉴럴 네트워크 회로

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129741A (ko) * 2008-03-14 2010-12-09 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 뉴로모픽 회로
KR20120136015A (ko) * 2011-06-08 2012-12-18 삼성전자주식회사 Ｓｔｄｐ 기능 셀을 위한 시냅스, ｓｔｄｐ 기능 셀 및 ｓｔｄｐ 기능 셀을 이용한 뉴로모픽 회로
KR20130013013A (ko) * 2011-07-27 2013-02-06 삼성전자주식회사 뉴로모픽 칩에서 불일치를 자가 보정하는 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129741A (ko) * 2008-03-14 2010-12-09 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 뉴로모픽 회로
KR20120136015A (ko) * 2011-06-08 2012-12-18 삼성전자주식회사 Ｓｔｄｐ 기능 셀을 위한 시냅스, ｓｔｄｐ 기능 셀 및 ｓｔｄｐ 기능 셀을 이용한 뉴로모픽 회로
KR20130013013A (ko) * 2011-07-27 2013-02-06 삼성전자주식회사 뉴로모픽 칩에서 불일치를 자가 보정하는 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SANGSU PARK ET AL.: "Nanoscale RRAM-based synaptic electronics: toward a neuro morphic computing device.", NANOTECHNOLOGY, vol. 24, no. 38, September 2013 (2013-09-01), pages 1 - 6, XP020250885 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803383B2 (en) 2017-01-25 2020-10-13 Electronics And Telecommunications Research Institute Neuromorphic arithmetic device
US10438116B2 (en) 2017-02-10 2019-10-08 Electronics And Telecommunications Research Institute Neuromorphic arithmetic device

Also Published As

Publication number Publication date
KR101512370B1 (ko) 2015-04-15

Similar Documents

Publication Publication Date Title
WO2015108293A1 (ko) 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
Hopfield Artificial neural networks
Harnad Minds, machines and Searle
Maass et al. On the computational power of circuits of spiking neurons
US10115054B2 (en) Classifying features using a neurosynaptic system
US11132598B1 (en) System and method for humanoid robot control and cognitive self-improvement without programming
Maassa et al. On the computational power of circuits of spiking neurons
Sokolik Learning without rules: PDP and a resolution of the adult language learning paradox
Landau Concepts for neural networks: A survey
Weng et al. Brain-inspired concept networks: Learning concepts from cluttered scenes
Culbertson Some uneconomical robots
CN115989502A (zh) 用于数据处理和计算的系统和方法
Alspector Neural-style microsystems that learn
Huang et al. Vision enhanced neuro-cognitive structure for robotic spatial cognition
KR101973678B1 (ko) 멤리스터로 구현된 순차적 메모리 회로 및 그 구동방법
Andler From paleo-to neo-connectionism
Weng A 5-chunk developmental brain-mind network model for multiple events in complex backgrounds
KR102671259B1 (ko) 인버팅 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
WO2020218673A1 (ko) 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀
WO2020085607A1 (ko) 크로스-포인트 커패시터 기반의 가중치 소자 및 이를 이용한 뉴럴 네트워크
Maniadakis et al. Hierarchical cooperative coevolution facilitates the redesign of agent-based systems
Stassinopoulos et al. Self-organization in a simple brain model
Hearn Building grounded abstractions for artificial intelligence programming
Ferri et al. Mimicking spike-timing-dependent plasticity with emulated memristors
KR20180000970A (ko) 멤리스터로 구현된 순차적 메모리 회로 및 그 구동방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878902

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC , EPO FORM 1205A DATED 22-09-16

122 Ep: pct application non-entry in european phase

Ref document number: 14878902

Country of ref document: EP

Kind code of ref document: A1