WO2026010448A1 - 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터 - Google Patents

스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터

Info

Publication number
WO2026010448A1
WO2026010448A1 PCT/KR2025/009661 KR2025009661W WO2026010448A1 WO 2026010448 A1 WO2026010448 A1 WO 2026010448A1 KR 2025009661 W KR2025009661 W KR 2025009661W WO 2026010448 A1 WO2026010448 A1 WO 2026010448A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
smart pixel
lens
optical modulator
smart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/009661
Other languages
English (en)
French (fr)
Inventor
주영구
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of KNU
Original Assignee
Industry Academic Cooperation Foundation of KNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240089131A external-priority patent/KR102894693B1/ko
Priority claimed from KR1020240089153A external-priority patent/KR102898601B1/ko
Priority claimed from KR1020240089789A external-priority patent/KR20260007858A/ko
Application filed by Industry Academic Cooperation Foundation of KNU filed Critical Industry Academic Cooperation Foundation of KNU
Publication of WO2026010448A1 publication Critical patent/WO2026010448A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means

Definitions

  • the present invention relates to an optoelectronic module using a smart pixel optical modulator and an optical neural network computer including the same, and more particularly, to an optoelectronic module capable of two-way redundant communication to replace a telecommunication line, and capable of performing high-speed calculations in parallel without complex electronic circuits by combining a light source, a lens, a smart pixel optical modulator, and a light detector, and an optical convolutional neural network computer including the same.
  • An optical computer is a computer that uses optical integrated circuits (ICs) that utilize the properties of light in its computational circuits, allowing for more redundant communication than telecommunication lines.
  • ICs optical integrated circuits
  • Figure 1 shows an example of a conventional neural network. Input values , Weighted in Multiply by the bias This method calculates the output value by adding the values and applying the sigmoid function ⁇ , and uses this as the input value of the next layer.
  • Nl-1 represents the number of artificial neurons or nodes in the (l-1)th layer.
  • the conventional way to calculate neural networks is to use a digital computer to calculate mathematical expression 1.
  • FIG. 2 is a conceptual diagram of a typical convolutional neural network.
  • a conventional CNN Convolutional Neural Network
  • a series of kernels perform convolution with the input image, and the output of the convolution is pooled and passed to the next layer after a pooling operation.
  • the function of the optical convolution layer is implemented using a method of implementing a complex-valued Fourier filter.
  • Figure 3 is a conceptual diagram of a conventional 4f correlation optical convolutional neural network.
  • the optical CNN architecture utilizes a 4f correlation design.
  • a traditional 4f correlation consists of two lenses, which have the same focal length, and the input and output planes can be located at the focal planes of the first and second lenses, respectively.
  • the lens provides a Fourier transform relationship between the electric field distributions located in the front focal plane and the back focal plane, and when two lenses are placed in series, it provides a Fourier transform that reverses the sign of the input electric field.
  • the configuration of the 4f correlation array is configured so that the optical CNN architecture computes convolution operations on multiple input values in parallel with one mask layer.
  • FIG 4 is a conceptual diagram of a conventional parallel optical convolutional neural network module. Referring to Figure 4, a convolution operation calculated in parallel is implemented using a system that adds two aligned lenslet array stacks and a filter mask array.
  • planar optics based on diffractive optical elements or metasurfaces are used. Each lens has a separate mask, allowing for parallel processing of different filtering functions.
  • an array of lenslets, an array of aligned sources, and an array of sensors that collect the output from the 4f correlations of each lenslet stack are required.
  • the space-bandwidth product is can be given as, where D is the aperture size, f is the focal length, represents the optical wavelength.
  • D is 0.6 mm
  • f is 3 mm
  • the spatial bandwidth product is approximately 240 ⁇ 240, which means that the system can reliably compute approximately 240 ⁇ 240 input or output pixels.
  • Fig. 5 is the input value Weighted in Bias by multiplying
  • This is a conceptual diagram of a conventional photosynthetic neural network module, which is a structure that calculates the output value by adding ⁇ and then applying the sigmoid function ⁇ , and uses this as the input value of the next layer.
  • this is a method of calculating a linear combination by multiplying the weight corresponding to the kernel from one input node and sending it to multiple output nodes in the vicinity, and from the output node's perspective, it is a method of receiving values from multiple input nodes in the vicinity, multiplying them by the weight, and then calculating a linear combination.
  • Figure 5 shows four inputs and four outputs as an example, the number of inputs and outputs is not limited to this.
  • the conventional method of calculating a neural network uses a digital computer, and can be expressed as in mathematical equation 2.
  • N represents the number of elements in the input value
  • Nm represents the number of elements in the convolution kernel or filter
  • Patent Document 4 proposes an optoelectronic module using a spatial light modulator and an optical computer including the same.
  • the optical computer structure presented in Patent Document 4 enables parallel calculations corresponding to the number of pixels of a spatial light modulator compared to an electronic computer, thereby increasing the processing capacity by about 10 6 times when using a Full HD LCD microdisplay, and provides the advantage of miniaturizing the size of the system to about 10 mm ⁇ 10 mm ⁇ 10 mm when using a micro-optical system such as a microlens array.
  • one drawback is that the direction of light propagation is fixed from the first substrate to the second substrate, making it difficult to move data in the opposite direction.
  • Patent Document 1 KR 10-0624852 B1
  • Patent Document 2 KR 10-2079833 B1
  • Patent Document 3 JP 6746074 B2
  • Patent Document 4 KR 10-2622313 B1
  • the technical problem to be achieved by the present invention is conceived from this point of view, and its purpose is to provide an optoelectronic module using a smart pixel optical modulator with a fast switching speed.
  • Another purpose is to provide an optoelectronic module using a smart pixel optical modulator that can process an input/output pixel array of a much larger size than conventional systems by utilizing the characteristics of light instead of complex electronic circuits, and an optical convolutional neural network computer including the same.
  • the purpose is to provide a bidirectional optoelectronic module using a smart pixel optical modulator having a fast switching speed and an optical neural network computer including the same, and further to provide an optoelectronic module using a smart pixel optical modulator capable of bidirectional optical connection between substrates of optical neural network hardware and an optical neural network computer including the same.
  • an optoelectronic module using a smart pixel optical modulator includes: a plurality of first light sources formed to be spaced apart from each other by a predetermined distance; a plurality of first lenses formed to correspond to the plurality of first light sources, respectively, and to reduce a divergence angle of light emitted from the corresponding first light sources; a plurality of smart pixel optical modulators formed to correspond to the plurality of first lenses, respectively, and to adjust the intensity of light passing through the corresponding first lens through respective pixels having weights stored in a memory; a plurality of photodetectors formed to be spaced apart from the plurality of smart pixel optical modulators and to obtain a current value according to the intensity of light; and a lens unit formed between the plurality of smart pixel optical modulators and the plurality of photodetectors, and collecting light emitted from different first light sources passing through pixels at the same relative positions of the respective smart pixel optical modulators onto one photodetector
  • an optoelectronic module using a smart pixel optical modulator comprises: a plurality of electrical input nodes formed at a predetermined distance from each other; a plurality of smart pixel optical modulators, each of which is composed of a plurality of pixels and connects an input signal input through the electrical input nodes to each of the pixels through an electrical fan-out structure; a plurality of photodetectors formed at a distance from the plurality of smart pixel optical modulators and obtaining a current value according to the intensity of light; and a lens unit formed between the plurality of smart pixel optical modulators and the plurality of photodetectors and collecting light rays originating from different smart pixel optical modulators passing through pixels at the same relative positions of the respective smart pixel optical modulators onto a single photodetector.
  • an optoelectronic module using a smart pixel optical modulator comprises: a plurality of first light sources formed at a predetermined distance from each other; a plurality of first lenses formed corresponding to the plurality of first light sources, respectively, and reducing a divergence angle of light emitted from the corresponding first light sources; a plurality of smart pixel optical modulators formed corresponding to the plurality of first lenses, respectively, and controlling the intensity of light passing through the corresponding first lens through respective pixels having weights stored in a memory; a plurality of first photodetectors formed spaced apart from the plurality of smart pixel optical modulators and obtaining a current value according to the intensity of light; and a lens unit formed between the plurality of smart pixel optical modulators and the plurality of first photodetectors, the lens unit collecting light emitted from different first light sources passing through pixels at different relative positions of each smart pixel optical modulator onto a single first photodete
  • an optoelectronic module using a smart pixel optical modulator comprises: a plurality of electrical input nodes formed at a predetermined distance from each other; a plurality of smart pixel optical modulators, each of which is composed of a plurality of pixels and connects an input signal input through the electrical input nodes to each of the pixels through an electrical fan-out structure; a plurality of first photodetectors formed at a distance from the plurality of smart pixel optical modulators and obtaining a current value according to the intensity of light; and a lens formed between the plurality of smart pixel optical modulators and the plurality of first photodetectors and collecting light rays originating from different smart pixel optical modulators passing through pixels at different relative positions of each smart pixel optical modulator onto a single photodetector.
  • a bidirectional optoelectronic module using a smart pixel optical modulator comprises: a plurality of first light sources formed at a predetermined distance from each other; a plurality of first lenses formed corresponding to the plurality of first light sources, respectively, and reducing a divergence angle of light emitted from the corresponding first light sources; a plurality of smart pixel optical modulators formed corresponding to the plurality of first lenses, respectively, and adjusting the intensity of light passing through the corresponding first lens through respective pixels having weights stored in a memory; a plurality of first photodetectors formed spaced apart from the plurality of smart pixel optical modulators, the first photodetectors obtaining a current value according to the intensity of light; a lens unit formed between the plurality of smart pixel optical modulators and the plurality of first photodetectors, the lens unit collecting light emitted from different first light sources passing through pixels at the same relative positions of the respective smart pixel optical modulators onto one
  • a bidirectional optoelectronic module using a smart pixel optical modulator comprises: a plurality of electrical input/output nodes formed at a predetermined distance from each other; a plurality of smart pixel optical modulators formed of a plurality of pixels and connecting an input signal input through the electrical input/output nodes to each of the pixels through an electrical fan-out structure; a plurality of photodetectors formed at a distance from the plurality of smart pixel optical modulators and obtaining a current value according to the intensity of light; a lens unit formed between the plurality of smart pixel optical modulators and the plurality of photodetectors and collecting light rays originating from different smart pixel optical modulators departing from pixels at the same relative positions of each smart pixel optical modulator onto a single photodetector; And a plurality of light sources formed at a predetermined distance from the plurality of light detectors and through which light propagates in a direction opposite to the input signal; wherein
  • an analog/digital optical computer structure is implemented using optical connections instead of purely electronic circuits, so that even if the number of input and output terminals increases to N and M, respectively, the connections do not become complicated or noise is generated unlike in electronic circuits. Accordingly, since important part calculations operate in parallel by performing approximately N X M multiplications and additions at once, ultra-small and ultra-high-speed calculations are possible.
  • the smart pixel light modulator receives an input signal through a photodetector or electrical input node in the smart pixel, amplifies the input signal by the weight stored in the memory by the electronic circuit, and then outputs the light source intensity proportional to it. Therefore, the switching speed is very fast, at hundreds of MHz or more, compared to the existing spatial light modulator (LCD, DMD).
  • the smart pixel light modulator can perform various operations because it can perform optical input-optical output or various combinations of opto-electronic input/output like the existing spatial light modulator, and can perform operations such as multiplication and addition using the values stored in the memory and the input signal.
  • this structure can significantly improve parallel processing speed by replacing the spatial light modulator in algorithms that require rapid weight updates, such as bidirectional optical neural networks or backpropagation algorithms.
  • Figure 1 is a conceptual diagram of a conventional neural network.
  • Figure 2 is a conceptual diagram of a general convolutional neural network.
  • Figure 3 is a conceptual diagram of a conventional 4f correlation optical convolutional neural network.
  • Figure 4 is a conceptual diagram of a conventional parallel photosynthetic neural network module.
  • Figure 5 is a conceptual diagram of a conventional photosynthetic neural network module.
  • FIG. 6 is a conceptual diagram of an optoelectronic module using a spatial light modulator according to the first embodiment of the present invention.
  • Figure 7 is a conceptual diagram showing the correlation between the optoelectronic module of Figure 6 and the neural network.
  • Fig. 8 is a drawing showing an example of cascading the optoelectronic modules of Fig. 6.
  • Figure 9 is a conceptual diagram of an optoelectronic module using a spatial light modulator according to a second embodiment of the present invention.
  • Fig. 10 is a drawing showing an example of cascading the optoelectronic modules of Fig. 9.
  • Fig. 11 is a conceptual diagram of an optoelectronic module using a spatial light modulator according to a third embodiment of the present invention.
  • FIG. 12 is a conceptual diagram of an optical neural network computer using a smart pixel optical modulator according to the first embodiment of the present invention.
  • FIG. 13 is a conceptual diagram of an optical neural network computer using a smart pixel optical modulator including a fan-out according to a second embodiment of the present invention.
  • Fig. 14 is a conceptual diagram of the smart pixel optical modulator of Fig. 13.
  • FIG. 15 is a conceptual diagram of an optical neural network computer using a smart pixel optical modulator according to a third embodiment of the present invention.
  • Fig. 16 is a conceptual diagram of an optoelectronic module using a spatial light modulator according to the fourth embodiment of the present invention.
  • Fig. 17 is a three-dimensional example of an optoelectronic module using the spatial light modulator of Fig. 16.
  • Fig. 18 is an example diagram of the pixel spacing of the spatial light modulator of Fig. 17.
  • Fig. 19 is a conceptual diagram of a multiple output optoelectronic module using the spatial light modulator of Fig. 16.
  • FIG. 20 is a conceptual diagram of an optoelectronic module using a smart pixel optical modulator according to a fifth embodiment of the present invention.
  • FIG. 21 is a conceptual diagram of an optoelectronic module using a smart pixel optical modulator including a fan-out according to a sixth embodiment of the present invention.
  • Fig. 22 is a conceptual diagram of the smart pixel optical modulator of Fig. 21.
  • Fig. 23 is a conceptual diagram of a bidirectional optoelectronic module using a spatial light modulator according to the first embodiment of the present invention.
  • Fig. 24 is a conceptual diagram of a smart pixel optical modulator applied to the bidirectional optoelectronic module of Fig. 23.
  • FIG. 25 is a conceptual diagram of a bidirectional optoelectronic module using a smart pixel optical modulator including fan-in and fan-out according to a second embodiment of the present invention.
  • Fig. 26 is a conceptual diagram of the smart pixel optical modulator of Fig. 25.
  • Figure 27 is a conceptual diagram explaining the conventional backpropagation algorithm in a neural network.
  • Fig. 28 is a conceptual diagram of a non-differential mode bidirectional optoelectronic module using a spatial light modulator according to a third embodiment of the present invention.
  • Figure 29 is a conceptual diagram of the third light source of Figure 28 implemented using a diffraction grating and a prism.
  • Fig. 30 is a drawing showing an example of cascading the optoelectronic modules of Fig. 28.
  • Fig. 31 is a conceptual diagram of a differential mode bidirectional optoelectronic module using a spatial light modulator according to the fourth embodiment of the present invention.
  • Fig. 32 is a drawing showing an example of cascading the optoelectronic modules of Fig. 31.
  • FIG. 33 is a conceptual diagram of a bidirectional optoelectronic module using a smart pixel optical modulator according to a fifth embodiment of the present invention.
  • Fig. 34 is a conceptual diagram of the smart pixel optical modulator of Fig. 33.
  • FIG. 35 is a conceptual diagram of a bidirectional optoelectronic module using a smart pixel optical modulator including fan-in and fan-out according to a sixth embodiment of the present invention.
  • Fig. 36 is a conceptual diagram of the first smart pixel optical modulator of Fig. 35.
  • Figure 37 is a conceptual diagram of implementing input/output node scale-up in an optical neural network computer using a smart pixel optical modulator.
  • FIG. 6 is a conceptual diagram of an optoelectronic module using a spatial light modulator according to the first embodiment of the present invention.
  • the optoelectronic module (1010) using a spatial light modulator according to the present invention operates in parallel by combining a light source, a lens, a spatial light modulator, a light detector, etc. instead of a complex electronic circuit.
  • the optoelectronic module (1010) according to the present invention can be applied to an optical computer.
  • an optoelectronic module (1010) includes a plurality of first light sources (1101a, 1101b), a plurality of first lenses (1102a, 1102b), a plurality of spatial light modulators (1103a, 1103b), a plurality of photodetectors (1120a, 1120b, 1120c, 1120d), and a lens unit (1104a, 1104b, 1105).
  • a plurality of first light sources (1101a, 1101b) may be formed at regular intervals on the first substrate (1100), but may also be formed on different substrates.
  • the optical optoelectronic module (1010) may further include a plurality of electronic processing units (1121a, 1121b, 1121c, 1121d) and a plurality of second light sources (1122a, 1122b, 1122c, 1122d).
  • a plurality of photodetectors (1120a, 1120b, 1120c, 1120d), a plurality of electronic processing units (1121a, 1121b, 1121c, 1121d), and a plurality of second light sources (1122a, 1122b, 1122c, 1122d) may be formed on a second substrate (1130), but may alternatively be formed separately on another substrate, or one or more elements may be formed on the same substrate.
  • the first substrate (1100) and the second substrate (1130) may be semiconductor substrates or PCBs (Printed Circuit Boards).
  • the first light source (1101a, 1101b), the first lens (1102a, 1102b), the spatial light modulator (1103a, 1103b), etc. are expressed as two, and the photodetector (1120a, 1120b, 1120c, 1120d), the electronic processing unit (1121a, 1121b, 1121c, 1121d), and the second light source (1122a, 1122b, 1122c, 1122d) are expressed as four, but these are only examples, and the number of each element can be changed and designed as needed.
  • the light source may be a light emitting diode (LED) or a semiconductor laser, particularly a vertical-cavity surface-emitting laser.
  • the intensity of light can be controlled by varying the intensity of the current flowing through the light source, thereby individually controlling the input values.
  • Light emitted from a plurality of first light sources (1101a, 1101b) passes through a plurality of corresponding first lenses (1102a, 1102b), and then passes through a corresponding spatial light modulator (1103a, 1103b).
  • the first lenses (1102a, 1102b) reduce the divergence angle of the light emitted from the corresponding first light sources (1101a, 1101b), and preferably modulate the light into parallel light.
  • FIG. 6 four representative light rays are shown among the light emitted from each first light source (1101a, 1101b), and the four light rays pass through individual pixels in the spatial light modulator (1103a, 1103b).
  • the spatial light modulators (1103a, 1103b) are formed to correspond to each of the plurality of first lenses (1102a, 1102b), and adjust the intensity of light passing through the corresponding first lenses (1102a, 1102b) through each pixel having a preset weight.
  • LCDs liquid crystal display panels
  • the LCD panel regulates the intensity of incoming light to different transmittances according to voltage and transmits the light, the intensity of each light beam can be adjusted to a predetermined value.
  • the intensity of the light passing through each pixel on the LCD panel varies depending on the transmittance of each pixel. For example, if the illuminance of the light source is 1.0 W/m2, if the transmittance of the LCD pixel is 0.10, the illuminance of the output light is 0.10 W/m2, and if the transmittance is 0.05, the illuminance of the output light is 0.05 W/m2.
  • the transmittance of the LCD panel can be adjusted in more than 256 steps depending on the voltage, so in this way, the product of the weights and input values in the neural network can be implemented.
  • the input value is the intensity of the light source
  • the transmittance of the spatial light modulator corresponds to the weight.
  • the number of pixels of the spatial light modulator can be adjusted to be equal to the number of output nodes.
  • the lens units (1104a, 1104b, 1105) are formed between a plurality of spatial light modulators (1103a, 1103b) and a plurality of photodetectors (1120a, 1120b, 1120c, 1120d).
  • the lens units (1104a, 1104b, 1105) serve to collect light emitted from different first light sources (1101a, 1101b) passing through pixels at the same relative positions of each spatial light modulator (1103a, 1103b) onto one photodetector (1120a, 1120b, 1120c, 1120d).
  • the lens units (1104a, 1104b, 1105) are formed corresponding to the plurality of spatial light modulators (1103a, 1103b), respectively, and include a plurality of second lenses (1104a, 1104b) that focus light rays to a single point, and a third lens (1105) that passes all light rays that have passed through the plurality of second lenses (1104a, 1104b). If the light rays incident on the second lenses (1104a, 1104b) are parallel light rays, they are focused at a focus.
  • each spatial light modulator (1103a, 1103b) pass through the corresponding second lens (1104a, 1104b), are focused, and then spread out again, where they pass through the third lens (1105) again.
  • the angle of the ray changes depending on the height of the ray away from the optical axis of the second lens (1104a, 1104b).
  • the ray (1110a) passing through the highest position on the optical axis of the second lens (1104a) and the ray (1110b) passing through the highest position on the optical axis of the second lens (1104b) have the same angle with respect to the horizontal axis.
  • the two light rays (1110a, 1110b) enter the third lens (1105) while forming parallel light, and thus converge at the same point on the focal plane of the third lens (1105).
  • the two light rays converge on one photodetector (1120d).
  • light rays (1112a) passing through the second lens (1104a) and light rays (1112b) passing through the second lens (1104b) pass through the third lens (1105) and are then collected on one photodetector (1120b)
  • light rays (1113a) passing through the second lens (1104a) and light rays (1113b) passing through the second lens (1104b) pass through the third lens (1105) and are then collected on one photodetector (1120a).
  • the photodetectors (1120a, 1120b, 1120c, 1120d) can usually be composed of optical semiconductor devices such as photodiodes.
  • the current flowing through the photodetectors (1120a, 1120b, 1120c, 1120d) is ultimately the sum of the intensities of light arriving at each photodetector (1120a, 1120b, 1120c, 1120d). , It has a value proportional to .
  • Fig. 7 shows a diagram comparing the input/output of an optical computer and a neural network.
  • the electronic processing units (1121a, 1121b, 1121c, 1121d) add the current value or the amplified value thereof obtained from the corresponding photodetectors (1120a, 1120b, 1120c, 1120d) and the bias values (b3, b2, b1, b0) stored in the electronic processing units (1121a, 1121b, 1121c, 1121d), and then calculate the sigmoid function b using the values as input, and obtain the neural network output value.
  • each output value of the electronic processing units (1121a, 1121b, 1121c, 1121d) may be transmitted to each of the connected second light sources (1122a, 1122b, 1122c, 1122d). Accordingly, each of the output values of the electronic processing units (1121a, 1121b, 1121c, 1121d) , , , can be adjusted proportionally.
  • Each electronic processing unit (1121a, 1121b, 1121c, 1121d) can use other activation functions, such as the RELU function, in addition to the sigmoid function.
  • the electronic processing units (1121a, 1121b, 1121c, 1121d) can store result values or external input values for use in calculations.
  • This memory function enables various calculations to be performed by comparing calculated values in the next sequence with stored values or by using stored values for function calculations.
  • the electronic processing unit has a communication function and can exchange data with surrounding electronic processing units or external processors through connected communication lines.
  • the second light source (1122a, 1122b, 1122c, 1122d) corresponds to ai(l) of the neural network and is used as an input value for the next layer.
  • Light rays in other directions originating from the first light source 1 (101a, 1101b) are also collected by other light detectors located on the second substrate (1130) and connected as input values for the next layer through an electronic processing unit.
  • the electronic processing unit (1121a, 1121b, 1121c, 1121d) is an electronic integrated circuit formed on a semiconductor substrate and can be implemented through an analog circuit or a digital circuit.
  • the lenses used in this embodiment can be implemented using refractive lenses or diffractive optical elements.
  • the first light source (1101a, 1101b) and the first lens (1102a, 1102b) corresponding thereto can be formed to be spaced apart by the focal length of the first lens (1102a, 1102b) within an error of 20%.
  • the spatial light modulators (1103a, 1103b) and the second lenses (1104a, 1104b) corresponding thereto, respectively, may be formed to be spaced apart from each other by the focal length of the second lenses (1104a, 1104b) within an error of 20%, and each photodetector (1120a, 1120b, 1120c, 1120d) may be formed to be spaced apart from the third lens (1105) by the focal length of the third lens (1105) within an error of 40%.
  • the spatial light modulator (1103a, 1103b) when the spatial light modulator (1103a, 1103b) is spaced apart from the second lens (1104a, 1104b) by the focal length of the second lens (1104a, 1104b), and the lens (1105) is spaced apart from the photodetector (1120) by the focal length of the third lens (1105), the image of the spatial light modulator (1103a, 1103b) is generated on the photodetector, so that cross-talk can be reduced.
  • the distance between the spatial light modulator (1103a, 1103b) and the second lens (1104a, 1104b) is not exactly the focal length but slightly off, the distance between the third lens (1105) and the photodetector (1120a, 1120b, 1120c, 1120d) can be adjusted so that the image of the pixel of the spatial light modulator (1103a, 1103b) is focused on the photodetector (1120a, 1120b, 1120c, 1120d), so that a certain degree of tolerance can be achieved.
  • the distance between the first light source (1101a, 1101b) and the corresponding first lens (1102a, 1102b) can be adjusted to maintain performance even if the distance between other lenses or elements deviates slightly from the focal length.
  • a plurality of first lenses (1102a, 1102b) corresponding to a plurality of light sources can be formed on a single substrate, a plurality of spatial light modulators (1103a, 1103b) can also be formed on a single substrate, and a plurality of second lenses (1104a, 1104b) can also be formed on a single substrate.
  • This structure can facilitate the volume and optical alignment of the entire system.
  • Fig. 8 is an example of applying the optoelectronic module implemented in Fig. 6 in cascade.
  • the first optical computation layer (1201) is repeated and appears in the second optical computation layer (1202), and an arbitrary number of neural network layers can be implemented.
  • the output values from the preceding layer can be connected to the inputs of the subsequent layer.
  • Figure 9 is a conceptual diagram of an optoelectronic module using a spatial light modulator according to a second embodiment of the present invention.
  • the optoelectronic module (1030) using the spatial light modulator according to the present embodiment can be constructed in substantially the same configuration as the optoelectronic module (1010) of FIG. 6, except for the configuration of the photodetector. Therefore, a repeated description of the same components as the optoelectronic module (1010) of FIG. 6 is omitted.
  • an optical optoelectronic module (1030) includes a plurality of first photodetectors (1321a, 1321b) and a plurality of second photodetectors (1323a, 1323b). In addition, it may further include a plurality of electronic processing units (1322a, 1322b) and corresponding second light sources (1324a, 1324b).
  • the output values of the first photodetector (1321a) and the second photodetector (1323a) can be connected to an electronic processing unit (1322a), and the output values of the second photodetector (1321b) and the second photodetector (1323b) can be connected to an electronic processing unit (1322b).
  • the structure of this embodiment offers the advantage of being able to perform various operations using the values of two photodetectors.
  • the easiest example is subtraction. For example, Let's assume that we are calculating .
  • Subtraction using light is possible using principles like destructive interference, but this increases the complexity of optical computing circuits, as it requires adjusting for path differences. Subtraction is not easy when two light beams enter a photodetector that only detects light intensity.
  • the light corresponding to the (+) term is collected by the second photodetector (1323a, 1323b), and the light corresponding to the (-) term is collected by the first photodetector (1321a, 1321b), and the two results are subtracted to calculate.
  • the electronic processing unit (1322b) calculates the bias and sigmoid function together with the subtraction. can be obtained.
  • the rays corresponding to the (-) term can be collected and sent to the photodetector (1321b) for summing.
  • general neural network-related operations involving negative weights can be performed in this manner.
  • Each electronic processing unit (1322a, 1322b) can use the output of not only two surrounding photodetectors but also a plurality of adjacent photodetectors as input, and can implement various functions other than subtraction through electronic circuits.
  • subtraction and sigmoid function operations can be implemented using analog or digital electronic circuits. While this embodiment illustrates connections between multiple photodetectors and electronic processing units, connections between multiple electronic processing units can also achieve the same effect.
  • Each electronic processing unit (1322a, 1322b) can also store a bias value, amplify the current input from the photodetector, or convert the result of the operation into a current value proportional to the result when sending it to the input of the second light source.
  • Fig. 10 shows a cascaded configuration of the optoelectronic modules implemented in Fig. 9, which can implement an arbitrary number of neural network layers (1401, 1402).
  • Fig. 11 is a conceptual diagram of an optoelectronic module using a spatial light modulator according to a third embodiment of the present invention.
  • the optoelectronic module (1050) using a spatial light modulator uses a single-stage lens (1504a, 1504b, 1504c), unlike the two-stage lens used in the next stage after the spatial light modulator in the optoelectronic module (1010) of FIG. 6 and the optoelectronic module (1030) of FIG. 9.
  • the single-stage lens (1504a, 1504b, 1504c) is referred to as the fourth lens (1504a, 1504b, 1504c).
  • the fourth lens (1504a, 1504b, 1504c) sends the light beams passing through the pixels of the corresponding spatial light modulators (1503a, 1503b, 1503c) in different directions, and forms small spots on the surface of the photodetectors (1521a, 1521b, 1521c) on the second substrate (1520).
  • the fourth lens (1504a, 1504b, 1504c) serves to collect some of the rays that are irradiated from the plurality of first light sources (1501a, 1501b, 1501c) and pass through pixels with different relative positions onto one detector.
  • the fourth lens (1504a, 1504b, 1504c) can be formed at a position where the image of the pixel in the corresponding spatial light modulator (1503a, 1503b, 1503c) is focused on the surface of the photodetector (1521a, 1521b, 1521c).
  • each of the first light sources (1501a, 1501b, 1501c) and the first lenses (1502a, 1502b, 1502c) corresponding thereto can be formed to be spaced apart by the focal length of the first lenses (1502a, 1502b, 1502c) within an error of 20%.
  • each fourth lens (1504a, 1504b, 1504c) can cause the image of the pixel of the spatial light modulator (1503a, 1503b, 1503c) corresponding to each fourth lens (1504a, 1504b, 1504c) to be focused on the surface of the photodetector (1521a, 1521b, 1521c) within an error of 20%.
  • the fourth lens (1504a, 1504b, 1504c) can be implemented using a lens combining a prism and a spherical lens or a diffractive optical element.
  • the light detectors (1521a, 1521b, 1521c) have a structure in which the light from the three first light sources (1501a, 1501b, 1501c) is multiplied by weights in the spatial light modulators (1503a, 1503b, 1503c) and then added in the light detectors (1521a, 1521b, 1521c).
  • the photocurrent obtained in this manner calculates the bias and sigmoid function in the electronic processing unit (1522a, 1522b, 1522c), and is connected to the electronic processing unit (1522a, 1522b, 1522c) in the vicinity to perform various operations, and then sends the output value to the next layer light source (1523a, 1523b, 1523c).
  • the present invention provides an optical computer structure and technology that increases the calculation speed by performing approximately N X M multiplications and additions at once without complicating the physical structure of the connection lines or generating noise as in an electric circuit, even when the number of input and output terminals increases to N and M, respectively, by implementing an optical computer structure using optical connections instead of purely electronic circuits.
  • the time delay in the calculation occurs in the electronic processing unit, but it is performed in parallel in all outputs, so it can be viewed as equivalent to one instruction cycle of the digital electronic circuit.
  • the calculation is performed simultaneously in all layers, so the actual calculation speed increases by N X M X L times.
  • optical neural network computers utilize slow-switching spatial light modulators, which can be time-consuming to update when performing calculations on different sets of weights for the same input data. Furthermore, the need for weight set updates and the slow switching speed of the spatial light modulator can hinder the parallel processing speed of the optical neural network computer when performing algorithms that require intermediate weight changes rather than using fixed weight values.
  • FIG. 12 is a conceptual diagram of an optical neural network computer using a smart pixel optical modulator according to the first embodiment of the present invention.
  • the illustrated optoelectronic module (1060) includes a plurality of first light sources (1601a, 1601b), a plurality of first lenses (1602a, 1602b), a plurality of smart pixel light modulators (SPLMs) (1603a, 1603b), a plurality of photodiodes (PDs) (1620a, 1620b, 1620c, 1620d), and a lens unit (1604a, 1604b, 1605).
  • SPLMs smart pixel light modulators
  • PDs photodiodes
  • a plurality of first light sources (1601a, 1601b) may be formed at regular intervals on the first substrate (1600), but may also be formed on different substrates.
  • the optoelectronic module (1060) may further include a plurality of electronic processing (EP) units (1621a, 1621b, 1621c, 1621d) and a plurality of second light sources (1622a, 1622b, 1622c, 1622d).
  • EP electronic processing
  • a plurality of photodetectors (1620a, 1620b, 1620c, 1620d), a plurality of electronic processing units (1621a, 1621b, 1621c, 1621d), and a plurality of second light sources (1622a, 1622b, 1622c, 1622d) may be formed on a second substrate (1630), but may alternatively be formed separately on another substrate, or one or more elements may be formed on the same substrate.
  • the first substrate (1600) and the second substrate (1630) may be semiconductor substrates or PCBs.
  • the first light source (1601a, 1601b), the first lens (1602a, 1602b), the smart pixel light modulator (1603a, 1603b), etc. are expressed as two, and the light detector (1620a, 1620b, 1620c, 1620d), the electronic processing unit (1621a, 1621b, 1621c, 1621d), and the second light source (1622a, 1622b, 1622c, 1622d) are expressed as four, but these are only examples, and the number of each element can be changed and designed as needed.
  • the light source may be an LED or a semiconductor laser, particularly a vertical surface-emitting laser.
  • the intensity of light can be adjusted by varying the intensity of the current flowing through the light source, thereby individually controlling the input values.
  • Light emitted from a plurality of first light sources (1601a, 1601b) passes through a plurality of corresponding first lenses (1602a, 1602b), and then passes through a corresponding smart pixel light modulator (1603a, 1603b).
  • the first lenses (1602a, 1602b) reduce the divergence angle of the light emitted from the corresponding first light sources (1601a, 1601b), and preferably modulate the light into parallel light.
  • FIG. 12 four representative light rays are shown among the light emitted from each first light source (1601a, 1601b), and the four light rays pass through individual pixels in the smart pixel light modulator (1603a, 1603b).
  • the smart pixel light modulators (1603a, 1603b) are formed to correspond to each of the plurality of first lenses (1602a, 1602b), and adjust the intensity of light passing through the corresponding first lenses (1602a, 1602b) through each pixel having a weight stored in a memory.
  • the smart pixel light modulator (1603a, 1603b) is configured in a form in which a plurality of pixels are arranged, and a light detector, an electronic processing unit (1606a, 1606b), and a light source (1607a, 1607b) are assigned to each pixel.
  • the light detector (1606a, 1606b) converts light passing through the first lens (1602a, 1602b) into a current signal
  • the electronic processing unit (1606a, 1606b) amplifies the current signal or converts the result of calculating the current signal by multiplying or adding the current signal with a weight value stored in a memory into a current signal and outputs the result to the connected light source (1607a, 1607b).
  • the smart pixel light modulators (1603a, 1603b) do not compromise the efficiency of parallel computation because each pixel is assigned a photodetector, an electronic processing unit, and a light source, so they do not need to be connected to surrounding pixels. Most importantly, because these electronic components have a fast switching speed, weight updates are possible at a speed of several hundred MHz, which is much faster than the speed of several kHz of the spatial light modulator (LCD, DMD) described above through FIGS. 6 to 11.
  • LCD spatial light modulator
  • Each pixel's memory stores the weights or bias values to be applied according to the program.
  • a smart pixel light modulator can be thought of as an array of optical repeaters, each with its own memory.
  • the lens unit (1604a, 1604b, 1605) is formed between a plurality of smart pixel light modulators (1603a, 1603b) and a plurality of photodetectors (1620a, 1620b, 1620c, 1620d).
  • the lens units (1604a, 1604b, 1605) serve to focus light emitted from different first light sources (1601a, 1601b) passing through pixels at the same relative positions of each smart pixel light modulator (1603a, 1603b) onto one light detector (1620a, 1620b, 1620c, 1620d).
  • the lens units (1604a, 1604b, 1605) are formed corresponding to the plurality of smart pixel light modulators (1603a, 1603b), respectively, and include a plurality of second lenses (1604a, 1604b) that focus light rays to a single point, and a third lens (1605) that passes all light rays that have passed through the plurality of second lenses (1604a, 1604b). If the light rays incident on the second lenses (1604a, 1604b) are parallel light rays, they are focused at a focus.
  • each smart pixel light modulator (1603a, 1603b) passes through the corresponding second lens (1604a, 1604b), is focused, and then spreads out again, where it passes through the third lens (1605) again.
  • the angle of the ray changes depending on the height of the ray away from the optical axis of the second lens (1604a, 1604b).
  • the ray (1610a) passing through the highest position on the optical axis of the second lens (1604a) and the ray (1610b) passing through the highest position on the optical axis of the second lens (1604b) have the same angle with respect to the horizontal axis.
  • the two light rays (1610a, 1610b) enter the third lens (1605) while forming parallel light, and thus converge at the same point on the focal plane of the third lens (1605). In Fig. 12, the two light rays converge on one photodetector (1620d).
  • light rays (1612a) passing through the second lens (1604a) and light rays (1612b) passing through the second lens (1604b) pass through the third lens (1605) and are then collected on one photodetector (1620b)
  • light rays (1613a) passing through the second lens (1604a) and light rays (1613b) passing through the second lens (1604b) pass through the third lens (1605) and are then collected on one photodetector (1620a).
  • the photodetectors (1620a, 1620b, 1620c, 1620d) can usually be composed of optical semiconductor devices such as photodiodes.
  • the current flowing through the photodetectors (1620a, 1620b, 1620c, 1620d) is ultimately the sum of the intensities of light arriving at each photodetector (1620a, 1620b, 1620c, 1620d). , It has a value proportional to .
  • FIG. 13 is a conceptual diagram of an optical neural network computer using a smart pixel optical modulator including a fan-out according to a second embodiment of the present invention
  • FIG. 14 is a conceptual diagram of the smart pixel optical modulator of FIG. 13.
  • the illustrated optoelectronic module (1070) includes a plurality of electrical inputs (1700), a plurality of smart pixel optical modulators (1701), lens units (1702, 1703), and a plurality of photodiodes (PDs) (1704).
  • the optoelectronic module (1070) is a further simplified structure of the structure of FIG. 12, in which the first lens is eliminated and instead an electrical fan-out structure (1707) is included in the smart pixel optical modulator (1701).
  • the structure of Fig. 13 can perform neural network operations with weights having (-) signs, as shown in Fig. 9.
  • weights having (+) terms and weights having (-) terms are collected in separate photodetectors and an operation is performed through subtraction in an electronic processing unit.
  • the weight update speed of the smart pixel optical modulator (1701) since the weight update speed of the smart pixel optical modulator (1701) is fast, the result of the calculation using the weight corresponding to the (+) term is first stored in the memory of the electronic processing unit (1705), and then updated with the weight corresponding to the (-) term and collected in the photodetector (1704) for the same input value, and the electronic processing unit (1705) performs the calculation by subtracting the (-) term calculation result from the (+) term calculation result stored in the memory, thereby obtaining the same result as that shown in FIG. 9.
  • the electrical fan-out structure is a structure in which the electrical input signal is branched into multiple branches through wires, and is simpler than a structure in which the electrical input signal is optically connected through a lens. Therefore, by applying the electrical fan-out structure (1707) to the smart pixel optical modulator (1701) as shown in Figs. 13 and 14, the overall hardware structure of the optoelectronic module can be further simplified.
  • the smart pixel light modulator (1701) is configured in a form in which a plurality of pixels are arranged, and each pixel is assigned an electronic processing unit (1708) and a light source (1709).
  • An electrical input signal is distributed to each of the pixels through a fan-out structure (1707). That is, the input signal is connected to an electronic processing unit (1708) through the fan-out structure (1707), and the electronic processing unit (1708) converts the result of calculating the input signal with a weight value stored in a memory into a current signal and outputs the result to a light source (1709).
  • the calculation may be, for example, a multiplication operation, and therefore, the intensity of the output light source of each pixel has a characteristic that is proportional to the product of the input signal and the weight value.
  • FIG. 15 is a conceptual diagram of an optical neural network computer using a smart pixel optical modulator according to a third embodiment of the present invention.
  • FIG. 15 is a structure in which the distance between the second lens (1702) and the third lens (1703) is reduced and they are positioned closer together than in the structure described in FIG. 13.
  • the second lens (1702) and the third lens (1703) form a relay optical system, so that parallel light passes between the two lenses. Therefore, even if the distance between the two lenses is reduced as in FIG. 15, the same result is achieved in which the image of the smart pixel optical modulator (1801) is focused on the first photodetector (1804).
  • the second lens (1802) and the third lens (1803) shown in Fig. 15 can be combined into a single optical component to integrate their functions, or they can be combined into a single lens using a diffractive optical element (DOE) to integrate their functions.
  • DOE diffractive optical element
  • the hardware structure of the optoelectronic module can be further simplified.
  • Fig. 16 is a conceptual diagram of an optoelectronic module (2010) using a spatial light modulator (2400) according to the fourth embodiment of the present invention.
  • An optoelectronic module (2010) using a spatial light modulator (2400) may include a substrate (2100), a first light source (2200), a lens unit (2300), a spatial light modulator (2400), a photodetector (2500), and an electronic processing unit (2600).
  • the substrate (2100) may be formed with a plurality of first light sources (2200), a plurality of light detectors (2500), and a plurality of electronic processing units (2600).
  • one or more elements may be formed on the same substrate, but alternatively, they may be formed separately on different substrates.
  • the substrate (2100) may be formed as a semiconductor substrate or a PCB (Printed Circuit Board).
  • PCB printed Circuit Board
  • the light source (2200) may be a light emitting diode (LED), a semiconductor laser, or a vertical-cavity surface-emitting laser.
  • the light source (2200) can control the amount of light by controlling the applied current, and the input values of the current flowing to multiple light sources can be individually controlled.
  • Light from a light source (2200) can pass through a lens unit (2300) corresponding to the light source and then pass through a corresponding spatial light modulator (2400).
  • the lens unit (2300) is formed between a plurality of spatial light modulators (2400) and a plurality of light detectors (2500), and can implement a function of calculating a convolution of the light source array and the pixel array of the spatial light modulator (2400) by using the function of gathering light emitted from different first light sources (2200) passing through pixels at different relative positions of each spatial light modulator (2400) into one light detector (2500).
  • the lens unit (2300) may include a first lens (2310), a second lens (2320), and a third lens (2330).
  • the first lens (2310) is formed to correspond to each of the plurality of light sources (2200) and can reduce the divergence angle of light emitted from the corresponding light source (2200).
  • the second lens (2320) may be provided in multiple units at positions corresponding to each of the multiple spatial light modulators (2400) to focus the light beams into one point.
  • the third lens (2330) may be provided in multiple numbers to correspond to each second lens (2320) by passing the light rays that have passed through the second lens (2320).
  • a light ray passing through a pixel of the same spatial light modulator (2400) after passing through the first lens (2310) may have the same angle after passing through the second lens (2320).
  • the lens unit (2300) can be implemented using a refractive lens, a diffractive optical element, a meta lens, etc.
  • the light ray passing through the spatial light modulator (2400) can pass through the corresponding second lens (2320), be focused, and then spread out again to pass through the third lens (2330). More specifically, when passing through the second lens (2320), the angle of the light ray varies depending on the height of the light ray away from the optical axis of the second lens (2320), and the first light ray passing through the highest position on the optical axis of the second lens (2320) and the second light ray passing through the highest position on the optical axis of the second lens (2320) can have the same angle with respect to the horizontal axis.
  • the first light source (2200) and the first lens (2310) corresponding thereto may be formed to be spaced apart by the focal length of the first lens (2310), and the separation distance may include a certain error that deviates from the focal length.
  • each spatial light modulator (2400) and the second lens (2320) corresponding to each spatial light modulator may be formed to be spaced apart by a first distance
  • each photodetector (2500) may be formed to be spaced apart by a second distance from the third lens.
  • the second distance may satisfy a relationship in which the distance at which the image of the pixel of the spatial light modulator (2400) is formed on the photodetector (2500) does not deviate by more than a certain error value.
  • the spatial light modulator (2400) is formed in a plurality of units corresponding to each of the plurality of first lenses (2310), and can control the intensity of light passing through the first lens (2310) through each pixel having a preset weight.
  • the relative position of the spatial light modulator (2400) may mean the coordinates or position of the spatial light modulator pixel on the spatial light modulator plane based on the central axis of the first lens (2310), second lens (2320), or third lens (2330).
  • the spatial light modulator (2400) has spatial light modulator pixel arrays with sizes corresponding to the lens diameter, and the relative positions of the pixels can be determined based on the corresponding lens central axis. For example, pixels located on the central axis of each lens can be said to be at the same relative position.
  • the spatial light modulator (2400) controls the intensity of incoming light to pass through at different transmittances according to voltage, so it can be used as a liquid crystal display panel (LCD) that can control the intensity of each light beam to a predetermined value.
  • LCD liquid crystal display panel
  • the intensity of the light passing through the pixels may vary depending on the transmittance of each pixel in the LCD panel of the spatial light modulator (2400).
  • the illuminance of the light source (2200) is 1.0 W/m2
  • the transmittance of the LCD pixel of the spatial light modulator (2400) is 0.10
  • the illuminance of the output light may be 0.10 W/m2
  • the transmittance is 0.05
  • the illuminance of the output light may be 0.05 W/m2.
  • the transmittance of the LCD panel of the spatial light modulator (2400) can be adjusted in more than 256 steps depending on the voltage, and the product of the weights and input values in the artificial neural network can be implemented.
  • the input value is the intensity of the light source (2200)
  • the transmittance of the spatial light modulator (2400) corresponds to the weight
  • the transmittance of the spatial light modulator (2400) corresponds to the weight
  • the number of pixels can be adjusted to be equal to the number of elements of the kernel.
  • the photodetector (2500) may be composed of an optical semiconductor device such as a photodiode.
  • the photodetector (2500) is formed spaced apart from a plurality of spatial light modulators (2400) and can obtain a current value according to the intensity of light.
  • the photodetector (2500) may be provided in multiple numbers corresponding to the third lens (2330) or positioned within the aperture of the third lens (2330), and each photodetector (2500) may perform different convolution operations on light passing through the pixels of the spatial light modulator (2400) at different relative positions.
  • the current flowing to the photodetector (2500) is the sum of the intensities of light arriving at each photodetector. , can have a value proportional to .
  • the photodetector (2500) can be arranged in multiple numbers in the optoelectronic module (2010) by adjusting the ratio of the focal length f 2 of the second lens (2320) and the focal length f 3 of the third lens (2330) within the diameter of the lens corresponding to one input node.
  • the parallel processing capacity is 5.4 ⁇ 10 13 MAC (multiply accumulate operation)/cycle, which means that even if the number of input terminals increases, the physical structure of the connection line does not become complicated or noise is generated like an electric circuit, and it can provide the effect of speeding up the calculation speed by performing approximately N 2 ⁇ N m 2 ⁇ L multiplications and additions at once.
  • the electronic processing unit (2600) is an electronic direct circuit formed on a semiconductor substrate and can be implemented through an analog circuit or a digital circuit.
  • the electronic processing unit (2600) adds the current value or its amplified value obtained from each corresponding photodetector (2500) and the bias value stored in each electronic processing unit (2600), calculates a sigmoid function ⁇ using the value as input, and then obtains a neural network output value.
  • each output value of the electronic processing unit (2600) can be transmitted to another connected light source (not shown).
  • the output values of the electronic processing unit (2600) are , can be adjusted proportionally.
  • the electronic processing unit (2600) can use other activation functions such as the RELU function in addition to the sigmoid function, and in addition to the function operation, it can store the result value or external input value and use it for the operation, so that the memory function of the electronic processing unit (2600) can compare the calculated value in the next sequence with the stored value or perform various calculations using the stored value.
  • activation functions such as the RELU function in addition to the sigmoid function, and in addition to the function operation, it can store the result value or external input value and use it for the operation, so that the memory function of the electronic processing unit (2600) can compare the calculated value in the next sequence with the stored value or perform various calculations using the stored value.
  • the electronic processing unit (2600) can exchange data with a surrounding electronic processing unit (2600) or an external processor through a locally connected communication line, including a communication function.
  • These electronic processing units (2600) can electronically perform functions such as pooling and local response normalization (LRN) required in CNN through communication and calculation with electronic processing units (2600) existing in the vicinity.
  • LRN local response normalization
  • the electronic processing unit (2600) can store a bias value, and can also perform a role of amplifying the current input from the photodetector (2500) or converting the result of the operation into a current value proportional to the result when sending the result to the input of the second light source.
  • the second light source (not shown) located on the substrate (2100) of Fig. 16 is a neural network. , and can be used as input values for the next layer.
  • Light rays in other directions starting from the first light source (2200) can also be collected at other light detectors located on the second substrate (2800) and connected as input values of the next layer through the electronic processing unit (2600) located on the second substrate (2800).
  • the spatial light modulator (2400) and the corresponding second lens (2320) may be formed to be spaced apart by the focal length of the second lens (2320) within a certain error, and each light detector (2500) may be formed to be spaced apart from the third lens (2330) within a certain error.
  • the spatial light modulator (2400) and the light detector (2500) can satisfy the positional relationship between the object and the image within a certain error by means of the imaging optical system composed of the second lens and the third lens.
  • the image of the pixel of the spatial light modulator (2400) is generated on the photodetector (2500), so that cross-talk that may occur between neighboring photodetectors (2500) can be reduced.
  • the distance between the spatial light modulator (2400) and the second lens (2320) is not exactly the focal length but slightly off, a tolerance can be allowed so that the image of the pixel of the spatial light modulator (2400) is formed on the photodetector (2500) by adjusting the distance between the third lens (2330) and the photodetector (2500).
  • the distance between the first light source (2200) and the corresponding first lens (2310) can be adjusted to maintain performance even when the distance between other lenses or elements deviates from the focal length.
  • a plurality of first lenses (2310) corresponding to a plurality of light sources may be formed on another substrate
  • a plurality of spatial light modulators (2400) may also be formed on another substrate
  • a plurality of second lenses (2320) and third lenses (2330) may also be formed on another substrate.
  • This structure can have the effect of facilitating the volume or optical alignment of the entire system.
  • FIG. 17 A three-dimensional example of an optoelectronic module (2010) using a spatial light modulator (2400) and the pixel spacing of the spatial light modulator (2400) will be described.
  • Fig. 17 is a three-dimensional example of an optoelectronic module (2010) using the spatial light modulator (2400) of Fig. 16, and Fig. 18 is an example of the spacing of pixels of the spatial light modulator (2400) of Fig. 17.
  • f 1 , f 2 , and f 3 in FIG. 17 may be focal lengths of the first lens (2310), the second lens (2320), and the third lens (2330).
  • the spatial light modulator (2400) pixels of FIGS. 17 and 18 are composed of blocks in a 3x3 array, and the spacing between blocks is indicated by a.
  • the spacing a is equal to the spacing or diameter between the lenses of the lens unit (2300) of Fig. 16, and may be equal to the spacing of the input nodes (first light source) or output nodes (photodetectors), so the size of the block array may be equal to the size of the input node array.
  • the block is again composed of a 3 ⁇ 3 array in the form of a sub-array, where the size and spacing of the pixels are respectively and can be expressed as d.
  • These sub-arrays correspond to kernels or filter masks in convolution operations, and implement weight values through the transmittance of the spatial light modulator (2400), and when performing convolution based on the relative position of the pixel from the center of the sub-array, it is possible to determine which output node in the vicinity the light passing through the pixel is directed to after passing through the second lens (2320) and the third lens (2330).
  • the size of the sub-array is the same as the array size of one input node and the output node where convolution is performed, if the size of the sub-array is 5 ⁇ 5, it can be connected to the output nodes of the surrounding 5 ⁇ 5 arrays to perform a convolution operation.
  • the focal length f 3 of the third lens (2330) can be five times the focal length f 2 of the second lens (2320).
  • the f/# of the third lens (2330) is Therefore, the spot diameter due to the diffraction limit of the third lens is It can be ⁇ m, and since both the spot diameter and the lens diameter due to the diffraction limit are proportional to N m , there may be no noise due to the diffraction limit even if N m is increased.
  • D 100 ⁇ m.
  • D 100 ⁇ m.
  • the diffraction limit spot diameter of the third lens (2330) is 10 ⁇ m, since D is 100 ⁇ m, there may be no crosstalk between neighboring photodetectors (2500).
  • the geometric optical aberration becomes important between the pixels of the second lens (2320) and the spatial light modulator (2400), and in the case of a system with f/# 2, if three lenses are used, the geometric optical angle aberration is 3 mrad, so when f 2 is 3.3 mm, the geometric optical spot diameter is 10 ⁇ m, so it may exceed 50% of the input node spacing, causing serious crosstalk.
  • the geometric optical limit of the array of kernels is about 165 X 165, but kernels usually do not require a large array size and do not place restrictions on the size of input or output arrays, so the parallel processing capacity of the optoelectronic module (2010) can be greatly increased.
  • Fig. 19 is a multi-output conceptual diagram of an optoelectronic module (2010) using the spatial light modulator (2400) of Fig. 16.
  • the optoelectronic module (2010) according to the present invention can be applied in cascade, and can further include a plurality of first photodetectors (2500, 2521, 2522, 2523) and a plurality of second photodetectors (2511, 2512, 2513, 2514) whose output values from the preceding layer are connected to the inputs of the subsequent layer, a plurality of first electron processing (2600, 2621, 2622, 2623) and a plurality of second electron processing units (2611, 2612, 2613, 2614), and a third light source (2721, 2723, 2725, 2727) and a fourth light source (2722, 2724, 2726, 2728) corresponding to the plurality of second electron processing units (2611, 2612, 2613, 2614).
  • a plurality of first photodetectors (2500, 2521, 2522, 2523) and a plurality of second photodetectors (2511, 2512, 2513, 2514) whose output values from the preceding layer are
  • the output values of the first photodetector (2521) and the second photodetector (2512) are respectively connected to the first electronic processing unit (2621) and the second electronic processing unit (2612), and the first electronic processing unit (2621) and the second electronic processing unit (2612) can be connected.
  • the output values of the first photodetector (2521) and the second photodetector (2512) can be connected together to either the first electronic processing unit (2621) or the second electronic processing unit (2612).
  • the structure of this embodiment provides the advantage of being able to perform various operations using the values of two photodetectors, so that light corresponding to the positive (+) term of the weight can be collected in the second photodetector (2511, 2512, 2513, 2514), light corresponding to the negative (-) term can be collected in the first photodetector (2500, 2521, 2522, 2523), and these two results can be subtracted to perform calculations.
  • the spatial light modulator (2400) weights can be set as follows, and the outputs of the two detectors are each and It could be.
  • the second electronic processing unit (2612) calculates the bias and sigmoid function together with the subtraction. can be obtained.
  • the light rays corresponding to the (+) term have their weights set to the original model values
  • the light rays corresponding to the (-) term have their weights set to 0, and then only the light rays corresponding to the (+) term can be collected and added in the second photodetector (2512).
  • the rays corresponding to the (-) term can be collected and sent to the first photodetector (2521) to be summed, thereby performing general neural network-related operations including negative weights.
  • each electronic processing unit (2600, 2621, 2622, 2623, 2611, 2612, 2613, 2614) can use the output of a plurality of adjacent photodetectors (2500, 2521, 2522, 2523, 2511, 2512, 2513, 2514) as input, and can implement various functions other than subtraction through electronic circuits.
  • the components according to the present invention are defined by functional distinctions rather than physical distinctions, and can be defined by the functions each component performs.
  • Each component may be implemented as hardware or as program code and processing units that perform each function, and the functions of two or more components may be implemented by including them in a single component. Therefore, it should be noted that the names given to the components in the following embodiments are not intended to physically distinguish each component, but rather to suggest the representative functions performed by each component, and that the technical spirit of the present invention is not limited by the names of the components.
  • An optoelectronic module using a spatial light modulator according to the fourth embodiment of the present invention described above is included in an optical convolutional neural network computer.
  • optical neural network computers utilize slow-switching spatial light modulators, which can be time-consuming to update weight sets when performing calculations on different sets of weights for the same input data. Furthermore, the need to update these weight sets and the slow switching speed of the spatial light modulator can hinder the parallel processing speed of optical neural network computers.
  • FIG. 20 is a conceptual diagram of an optoelectronic module using a smart pixel optical modulator according to a fifth embodiment of the present invention.
  • An optoelectronic module (2060) using a smart pixel light modulator (2063) may include a first light source (2061), a first lens (2062), a smart pixel light modulator (SPLM) (2063), a second lens (2064), a third lens (2065), a photodiode (PD) (2066), an electronic processing unit (2067), and a second light source (2068).
  • SPLM smart pixel light modulator
  • the illustrated optoelectronic module (2060) is implemented by replacing the spatial light modulator (2400) of the optoelectronic module (2010) shown in FIG. 16 with a smart pixel light modulator (2063).
  • the smart pixel light modulator (2063) is formed to correspond to each of a plurality of first lenses (2062), and adjusts the intensity of light passing through the corresponding first lens (2062) through each pixel having a weight stored in a memory.
  • the smart pixel optical modulator (2063) is configured in a form in which a plurality of pixels are arranged, and a photodetector, an electronic processing unit, and a light source are assigned to each pixel.
  • the photodetector assigned to each pixel converts light passing through the first lens (2062) into a current signal
  • the electronic processing unit amplifies the current signal or converts the result of calculating the current signal by multiplying or adding the current signal with a weight value stored in the memory into a current signal and outputs it to the connected light source.
  • the smart pixel optical modulator (2063) does not compromise the efficiency of parallel computation because each pixel is assigned a photodetector, an electronic processing unit, and a light source, so it does not need to be connected to the surrounding pixels.
  • the update speed of the existing weights can be improved from the kHz level to the hundreds of MHz level. This increase in the weight update speed is very effective when performing an algorithm that calculates optical convolution by applying various kernel sets to the same input data.
  • existing optical computers configure multiple optical channels as shown in Figure 14 to apply different kernel sets, the smart pixel can process this in a single channel using memory and a fast update speed.
  • various kernel sets can analyze various image features, they are widely used in image recognition algorithms. Therefore, when executing such algorithms, the parallel processing speed of the optical convolution neural network computer can be significantly improved and the volume of the optical module hardware can be reduced.
  • FIG. 21 is a conceptual diagram of an optoelectronic module using a smart pixel optical modulator including a fan-out according to a sixth embodiment of the present invention
  • FIG. 22 is a conceptual diagram of the smart pixel optical modulator of FIG. 21.
  • the illustrated optoelectronic module (2070) includes a plurality of first photodetectors (2071), a plurality of first smart pixel optical modulators (2073), a plurality of second lenses (2074), a plurality of second photodetectors (2075), a plurality of electronic processing units (2076), and a plurality of second smart pixel optical modulators (2077).
  • the optoelectronic module (2070) is a structure that further simplifies the structure of FIG. 20, in which the first lens and the third lens are eliminated and instead, an electrical fan-out structure is included in the smart pixel optical modulator.
  • the arrangement of the second lenses (2074) can be integrated on a single substrate, which greatly simplifies the structure and reduces manufacturing difficulty and cost.
  • FIG. 22 A more detailed structure of this smart pixel optical modulator is shown in Fig. 22.
  • the electrical fan-out structure is a structure in which electrical input signals are branched into multiple branches through wires, and is simpler than a structure in which electrical input signals are optically connected through lenses. Therefore, by applying the electrical fan-out structure (2027) to a smart pixel optical modulator as shown in FIGS. 21 and 22, the overall hardware structure of the optoelectronic module can be further simplified.
  • the smart pixel light modulator is configured with a plurality of pixels arranged in a form, and each pixel is assigned an electronic processing unit (2028) and a light source (2029).
  • An electrical input signal is distributed to each of the pixels through a fan-out structure (2027). That is, the input signal is connected to an electronic processing unit (2028) through the fan-out structure (2027), and the electronic processing unit (2028) converts the result of calculating the input signal with a weight value stored in a memory into a current signal and outputs the result to a light source (2029).
  • the calculation may be, for example, a multiplication calculation, and therefore, the intensity of the output light source of each pixel has a characteristic that is proportional to the product of the input signal and the weight value.
  • Fig. 23 is a conceptual diagram of a bidirectional optoelectronic module using a spatial light modulator according to the first embodiment of the present invention.
  • the illustrated optoelectronic module (2080) includes a plurality of first light sources (2081), a plurality of second light detectors (2089), a plurality of first lenses (2082), a plurality of spatial light modulators (2083), a plurality of second lenses (2084), a plurality of third lenses (2085), a plurality of first light detectors (2086), a plurality of electronic processing units (2087), and a plurality of second light sources (2088).
  • the above optoelectronic module (2080) has a structure in which a first photodetector (2086) and a second light source (2088) are arranged on the same substrate at the output terminal to enable bidirectional calculation.
  • Light starting from the second light source sequentially passes through a third lens (2085), a second lens (2084), a spatial light modulator (2083), and the first lens (2082) and is collected at the second photodetector (2089) located next to the first light source (2081).
  • the spatial light modulator (2083) is replaced with the smart pixel light modulator proposed in the present invention, a bidirectional optical neural network computer with a fast weight update speed can be implemented.
  • Fig. 24 is a conceptual diagram of a smart pixel optical modulator applied to the bidirectional optoelectronic module of Fig. 23.
  • the illustrated smart pixel optical modulator has a first light source (2032) and a first photodetector (2031) within the smart pixel arranged in each of the pixels arranged on the first side on the left.
  • a second light source (2035) and a second photodetector (2034) within the smart pixel are arranged in each of the pixels arranged on the second side on the right.
  • an electronic processing unit (2033A, 2033B) is arranged in each of the pixels arranged in the middle between the first side and the second side.
  • a pixel that sends light incident on the first side to the second side is electrically connected to a first photodetector (2031) within a smart pixel, an electronic processing unit (2033B) of the pixel, and a second light source (2035) within the smart pixel.
  • a pixel that sends light incident on the second side to the first side is electrically connected to a second photodetector (2034) within a smart pixel, an electronic processing unit (2033A) of the pixel, and a first light source (2032) within the smart pixel.
  • a micro prism may be installed on the side where the light source exits, and a micro lens may be installed in front of the first light source or the second light source within the smart pixel to adjust the divergence angle of the output beam.
  • FIG. 25 is a conceptual diagram of a bidirectional optoelectronic module using a smart pixel optical modulator including fan-in and fan-out according to a second embodiment of the present invention
  • FIG. 26 is a conceptual diagram of the smart pixel optical modulator of FIG. 25.
  • the illustrated optoelectronic module (2090) includes a plurality of smart pixel optical modulators (2091, 2097), a plurality of second lenses (2092), a plurality of photodetectors (2094), a plurality of light sources (2095), and a plurality of electronic processing units (2096).
  • the optoelectronic module (2090) has a simplified structure by applying a smart pixel optical modulator to the structure of FIG. 23. That is, the first lens (2082) and the third lens (2085) illustrated in FIG. 23 are eliminated, and a smart pixel optical modulator, such as that in FIG. 26, in which a fan-out and fan-in structure, a light source, a photodetector, and an electronic processing unit are integrated is used.
  • This structure simplifies the hardware structure and greatly increases the parallel processing speed.
  • the smart pixel includes both a light source (2045) and a photodetector (2044) on the second surface, and includes both a fan-out and fan-in structure (2041, 2042) connecting the electronic processing unit (2043) and the electrical input/output nodes.
  • the electrical fan-in structure (2042) calculates the signal acquired from the photodetector (2044) with the weights of the memory, converts the result value into a current, and transmits it to the input/output node, and the electrical fan-out structure (2041) distributes the input signal to multiple branches through wires and transmits it.
  • This structure enables the smart pixel optical modulator to operate in both directions and enables the optical neural network computer to compute algorithms such as the backpropagation algorithm. Since the smart pixel optical modulator has a fast switching speed and does not harm parallelism, it greatly improves the parallel processing capacity of the bidirectional optical neural network computer.
  • Figure 27 is a conceptual diagram explaining the backpropagation algorithm in an artificial neural network.
  • Weighted input This weight class It is used between, and this feature theoretically has the advantage that the development of the theory is easier when using weighted input.
  • the first layer ( ) node value is the weight Multiply by and then bias Add weighted input and construct a sigmoid function Enter the output value of the next layer node This is shown in the following mathematical expressions 5 and 6.
  • the target value of each node during learning is Then, the sum of the squares of the differences between the output value of the node and the target value can be defined as the error or merit function E as in mathematical expression 7.
  • the principle of learning in artificial neural networks is the process of adjusting weights and biases or weighted inputs to minimize the error value.
  • a correction value is added to the weights or weighted inputs.
  • the steepest gradient method which is one of the minimization algorithms, is used, which views the weights and weighted inputs as variables, calculates the gradient vector for these variables, changes the sign, and then adds the correction value in that direction.
  • this gradient vector is also called a sensitivity vector, and here, is expressed as .
  • this sensitivity is proportional to the weights, bias, error, or correction amount of the weighted input.
  • the sensitivity vector for the weighted input of the first layer is shown in the following mathematical expression 8.
  • Equation 10 provides the initial value of the recurrence relation.
  • the sensitivity of the weights can be calculated using the chain rule and Equation 6, and the result is shown in Equation 11 below.
  • the sensitivity of the weights is equal to the product of the sensitivity of the weighted inputs of the subsequent layer and the node value of the previous layer.
  • the sensitivity of the weights can also be calculated.
  • the bias sensitivity can also be obtained in the same way, and is equal to the value of the weight sensitivity assuming that the input node value is 1. The result is shown in Equation 12 below.
  • the weighted input sensitivity of the preceding layer is the weighted value added to the sensitivity of the subsequent layer, which is basically similar to the forward artificial neural network calculation except that the direction of propagation is changed. Therefore, the lens array or spatial light modulator array used in existing optical neural network computers can be used similarly.
  • sending light in both the forward and reverse directions requires additional light source arrangements, detector arrangements, and securing an optical path for reverse propagation, which necessitates a new system structure, such as a structural change in the light source.
  • Fig. 28 is a conceptual diagram of a non-differential mode bidirectional optoelectronic module using a spatial light modulator according to a third embodiment of the present invention.
  • An optoelectronic module (3050, hereinafter referred to as an optoelectronic module) using a spatial light modulator according to the present invention operates in parallel by combining a light source, a lens, a spatial light modulator, a light detector, etc. instead of a complex electronic circuit.
  • the optoelectronic module (3050) according to the present invention can be applied to an optical neural network computer.
  • an optoelectronic module (3050) includes a plurality of first light sources (3401a, 3401b), a plurality of first lenses (3402a, 3402b), a plurality of spatial light modulators (3403a, 3403b), a plurality of first light detectors (3420a, 3420b), a plurality of third light sources (3424a, 3424b), a plurality of third light detectors (3440a, 3440b), and a lens unit (3404a, 3404b, 3405).
  • a plurality of first light sources (3401a, 3401b) may be formed at regular intervals on the first substrate (3400), but may also be formed on different substrates.
  • the optical optoelectronic module (3050) may further include a plurality of electronic processing units (3421a, 3421b, 3441a, 3441b), a plurality of second light sources (3422a, 3422b), and a plurality of second light detectors (3460a, 3460b).
  • a plurality of first and second photodetectors (3420a, 3420b, 3460a, 3460b), a plurality of electronic processing units (3421a, 3421b), a plurality of second light sources (3422a, 3422b), and a plurality of third light sources (3424a, 3424b) may be formed on a second substrate (3430), but may alternatively be formed separately on another substrate or one or more elements may be formed on the same substrate.
  • the first substrate (3400) and the second substrate (3430) may be semiconductor substrates or PCBs (Printed Circuit Boards).
  • a plurality of first lenses (3402a, 3402b) can be formed on the same substrate.
  • Multiple spatial light modulators (3403a, 3403b) can be formed on the same substrate.
  • a plurality of second lenses (3404a, 3404b) can be formed on the same substrate.
  • a plurality of first light sources (3401a, 3401b) and third light detectors (3440a, 3440b) can be formed on the same substrate.
  • a plurality of third light sources (3424a, 3424b) and first light detectors (3420a, 3420b) can be formed on the same substrate.
  • the first light source (3401a, 3401b), the first lens (3402a, 3402b), the spatial light modulator (3403a, 3403b), the first photodetector (3420a, 3420b), the third light source (3424a, 3424b), the third photodetector (3440a, 3440b), the second light source (3422a, 3422b), the second photodetector (3460a, 3460b), etc. are expressed as two, and the electronic processing unit (3421a, 3421b, 3441a, 3441b) is expressed as four, but these are only examples, and the number of each element can be changed and designed as needed.
  • the light source may be a light emitting diode (LED) or a semiconductor laser, particularly a vertical-cavity surface-emitting laser.
  • the intensity of light can be controlled by varying the intensity of the current flowing through the light source, thereby individually controlling the input values.
  • Light emitted from a plurality of first light sources (3401a, 3401b) passes through a plurality of corresponding first lenses (3402a, 3402b), and then passes through a corresponding spatial light modulator (3403a, 3403b).
  • the first lenses (3402a, 3402b) reduce the divergence angle of the light emitted from the corresponding first light sources (3401a, 3401b), and preferably modulate the light into parallel light.
  • Fig. 28 four representative rays (3410a, 3412a, 3410b, 3412b) from among the light emitted from each first light source (3401a, 3401b) are shown, and the four rays pass through individual pixels in a spatial light modulator (3403a, 3403b).
  • the spatial light modulators (3403a, 3403b) are formed corresponding to each of the plurality of first lenses (3402a, 3402b), and adjust the intensity of the rays passing through the corresponding first lenses (3402a, 3402b) through respective pixels having preset weights.
  • LCDs liquid crystal display panels
  • each spatial light modulator 3403a, 3403b
  • the intensity of each light beam can be adjusted to a predetermined value.
  • the intensity of the light passing through each pixel on the LCD panel varies depending on the transmittance of each pixel. For example, if the illuminance of the light source is 1.0 W/m 2 , if the transmittance of the LCD pixel is 0.10, the illuminance of the output light is 0.10 W/m 2 , and if the transmittance is 0.05, the illuminance of the output light is 0.05 W/m 2 .
  • the transmittance of the LCD panel can be adjusted in more than 256 steps depending on the voltage, so in this way, the product of the weights and input values in the neural network can be implemented.
  • the input value is the intensity of the light source and the transmittance of the spatial light modulator corresponds to the weight.
  • the lens units (3404a, 3404b, 3405) are formed between a plurality of spatial light modulators (3403a, 3403b) and a plurality of first photodetectors (3420a, 3420b).
  • the lens units (3404a, 3404b, 3405) serve to collect light rays irradiated from different first light sources (3401a, 3401b) passing through pixels at the same relative positions of each spatial light modulator (3403a, 3403b) onto one first light detector (3420a, 3420b).
  • the lens units (3404a, 3404b, 3405) are formed corresponding to the plurality of spatial light modulators (3403a, 3403b), respectively, and include a plurality of second lenses (3404a, 3404b) that focus light rays to a single point, and a third lens (3405) that passes all light rays that have passed through the plurality of second lenses (3404a, 3404b). If the light rays incident on the second lenses (3404a, 3404b) are parallel light rays, they are focused at a focus.
  • each spatial light modulator (3403a, 3403b) pass through the corresponding second lens (3404a, 3404b), are focused, and then spread out again, where they pass through the third lens (3405) again.
  • the angle of the ray changes depending on the height of the ray away from the optical axis of the second lens (3404a, 3404b).
  • the ray (3410a) passing through the highest position on the optical axis of the second lens (3404a) and the ray (3410b) passing through the highest position on the optical axis of the second lens (3404b) have the same angle with respect to the horizontal axis.
  • the two light rays (3410a, 3410b) enter the third lens (3405) while forming parallel light, and thus converge at the same point on the focal plane of the third lens (3405).
  • the two light rays converge on one first photodetector (3420a).
  • the first photodetector (3420a, 3420b) can be composed of an optical semiconductor element, such as a photodiode.
  • the current flowing in the first photodetector (3420a, 3420b) is ultimately the sum of the intensities of light arriving at each of the first photodetectors (3420a, 3420b). , It has a value proportional to the current value obtained from the first photodetector (3420a, 3420b) or its amplified value and the bias value ( stored in the electronic processing unit (3421a, 3421b) respectively. , ) is added, and the sigmoid function ⁇ is calculated using that value as input, and the output value of the neural network node is obtained.
  • the rays (3411a, 3413a, 3411b, 3413b) show examples of rays traveling in the reverse direction. If the optical module operates in the forward direction, the rays from the first light source (3401a, 3401b) can also enter and travel in the forward direction, and in this case, the pixel , , , By setting it to the OFF state, the light rays from the first light source (3401a, 3401b) can not pass through. In fact, the reverse light rays (3411a, 3413a, 3411b, 3413b) start from the first photodetector (3420a, 3420b) and reach the first light source (3401a, 3401b), so they do not generate a signal and are an example of the reverse light path.
  • each output value of the electronic processing unit (3421a, 3421b) can be transmitted to the connected second light source (3422a, 3422b), respectively. Accordingly, each output value of the electronic processing unit (3421a, 3421b) , can be adjusted proportionally.
  • Each electronic processing unit (3421a, 3421b) can use other activation functions, such as the RELU function, in addition to the sigmoid function.
  • the electronic processing units (3421a, 3421b) can store result values or external input values for use in calculations.
  • This memory function enables various calculations by comparing calculated values in the next sequence with stored values or by using stored values for function calculations.
  • the electronic processing unit has a communication function and can exchange data with surrounding electronic processing units or external processors through connected communication lines.
  • the second light source (3422a, 3422b) is the neural network. , It corresponds to and is used as the input value for the next layer.
  • the electronic processing unit (3421a, 3421b) is an electronic integrated circuit formed on a semiconductor substrate and can be implemented through an analog circuit or a digital circuit.
  • the lenses used in this embodiment can be implemented using refractive lenses or diffractive optical elements.
  • the first light source (3401a, 3401b) and the first lens (3402a, 3402b) corresponding thereto can be formed to be spaced apart by the focal length of the first lens (3402a, 3402b) within an error of 20%.
  • the spatial light modulators (3403a, 3403b) and the second lenses (3404a, 3404b) corresponding thereto, respectively, may be formed to be spaced apart from each other by the focal length of the second lenses (3404a, 3404b) within an error of 20%
  • the first photodetectors (3420a, 3420b) may be formed to be spaced apart from the third lens (3405) by the focal length of the third lens (3405) within an error of 40%.
  • the spatial light modulator (3403a, 3403b) when the spatial light modulator (3403a, 3403b) is spaced apart from the second lens (3404a, 3404b) by the focal length of the second lens (3404a, 3404b), and the lens (3405) is spaced apart from the photodetector (3420a, 3420b) by the focal length of the third lens (3405), the image of the pixel of the spatial light modulator (3403a, 3403b) is generated on the first photodetector, so that cross-talk can be reduced.
  • the distance between the spatial light modulator (3403a, 3403b) and the second lens (3404a, 3404b) is not exactly the focal length but slightly off, the distance between the third lens (3405) and the first photodetector (3420a, 3420b) can be adjusted so that the image of the pixel of the spatial light modulator (3403a, 3403b) is formed on the first photodetector (3420a, 3420b), so that a certain degree of tolerance can be achieved.
  • the distance between the first light source (3401a, 3401b) and the corresponding first lens (3402a, 3402b) can be adjusted to maintain performance even if the distance between other lenses or elements deviates slightly from the focal length.
  • a plurality of first lenses (3402a, 3402b) corresponding to a plurality of light sources can be formed on a single substrate
  • a plurality of spatial light modulators (3403a, 3403b) can also be formed on a single substrate
  • a plurality of second lenses (3404a, 3404b) can also be formed on a single substrate. This structure can facilitate the volume and optical alignment of the entire system.
  • the forward operation of the artificial neural network optical module in which light originates from the first light source (3401a, 3401b) of the first substrate (3400) and arrives at the first photodetector (3420a, 3420b) on the second substrate (3430), has been described.
  • an optical module structure is required in which light originates from the third light source (3424a, 3424b) on the second substrate (3430) and arrives at the third photodetector (3440a, 3440b) on the first substrate (3400).
  • Figure 28 shows rays (3415a, 3415b, 3416a, 3416b) originating from a third light source (3424a, 3424b).
  • Rays (3411a, 3413a, 3411b, 3413b), indicated by thin lines, take a similar path to forward rays (3410a, 3412a, 3410b, 3412b) and correspond to reverse rays, but are used here as auxiliary lines to explain the reverse main rays (3415a, 3415b, 3416a, 3416b).
  • the light beam originating from the actual third light source (3424a, 3424b) proceeds to the auxiliary line (3411a, 3413a, 3411b, 3413b), it will reach the first light source (3401a, 3401b) and thus cannot generate a signal from the third light detector (3440a, 3440b).
  • the main rays (3415a, 3415b, 3416a, 3416b) start in an upward direction compared to the auxiliary rays (3411a, 3413a, 3411b, 3413b), the two rays meet at an angle that is not parallel to the lens optical axis in the spatial light modulator (3403a, 3403b), and the main rays (3415a, 3415b, 3416a, 3416b) arrive at the third photodetector (3440a, 3440b) located below the first light source (3401a, 3401b).
  • the reason why the two light rays (3411a, 3415a) meet at the spatial light modulator is because the spatial light modulator (3403a, 3403b) and the third light source (3424a, 3424b) are in a distance relationship with the object.
  • the main light beam (3415a, 3415b, 3416a, 3416b) starts downward compared to the auxiliary light beam (3411a, 3413a, 3411b, 3413b), it passes through the upper part of the first light source (3401a, 3401b) on the surface where the first substrate (3400) is located, and the third light detector (3440a, 3440b) must be located above the first light source (3401a, 3401b) to detect the light.
  • the electronic processing unit (3421a) the node value , , Because it is calculating or storing can be obtained.
  • the bias sensitivity or correction value is given by Equation 13. can be obtained through.
  • the third light source (3424a) is connected to the electronic processing unit (3421a).
  • the intensity of light proportional to the pixel of the spatial light modulator (3403a) can be sent. and the intensity of the light passes through is proportional to .
  • the two pixels corresponding to are spatially separated but set to the same value.
  • the primary ray (3416a) originating from the third light source (3424b) has light proportional to the pixels of the spatial light modulator (3403a) and the intensity of light passes through is proportional to.
  • These two rays (3415a, 3416a) meet and add at the third photodetector (3440a). is converted into an electrical signal proportional to the electronic processing unit (3441a). Multiply by can be obtained in the same way. can be obtained.
  • a photodetector and an electronic processing unit are preferably formed within the same substrate and connected to each pixel to measure the intensity of light passing through them, store data, exchange information with surrounding pixels, and perform mathematical operations. and In an electronic processing unit close to and Because we can obtain weight sensitivity can be obtained in the same way. , , can also be obtained.
  • the optoelectronic module (3050) can perform artificial neural network calculations not only in the forward direction but also in the reverse direction, and is capable of large-scale parallel calculations.
  • Figure 29 is a conceptual diagram of the third light source of Figure 28 implemented using a diffraction grating and a prism.
  • a light beam starting from a third light source (3424a) is separated into several diffracted light beams as it passes through a diffraction grating (3450a), and its direction is bent as it passes through a prism (3451a).
  • the angle at which the light beams are bent is determined according to the inclination angle of the prism (3451a), and the angle between the diffracted light beams is determined according to the period of the diffraction grating (3450a).
  • the third light source (3424a) can be a semiconductor light source such as an LED (Light Emitting Diode) or a VCSEL (Vertical Cavity Surface Emitting Laser), and a lens can be added between the third light source (3424a) and the diffraction grating (3450a) to adjust the divergence angle.
  • the diffraction grating (3450a), the prism (3451a), and the lens can be replaced with a diffractive optical element.
  • Fig. 30 is a drawing showing an example of cascading the optoelectronic modules of Fig. 28.
  • the first optical computation layer (3801) is repeated and appears in the second optical computation layer (3802), and an arbitrary number of neural network layers can be implemented.
  • the output value from the first optical computation layer (3801), which is the preceding layer, can be connected to the input of the second optical computation layer (3802), which is the succeeding layer.
  • Another method of constructing a multilayer neural network in FIG. 28 is to perform multilayer neural network calculations by having light travel back and forth between the first substrate (3400) and the second substrate (3430) and storing the calculation results in electronic processing units (3421a, 3421b, 3441a, 3441b).
  • electronic processing units 3421a, 3421b, 3441a, 3441b.
  • the weight values of the spatial light modulators (3403a, 3403b) must be changed according to the values of each layer.
  • the weight pixels are updated by retrieving the values stored in the memory of the electronic processing units connected to the pixels.
  • Fig. 31 is a conceptual diagram of a differential mode bidirectional optoelectronic module using a spatial light modulator according to the fourth embodiment of the present invention.
  • the optoelectronic module (3070) using the spatial light modulator according to the present embodiment can be implemented with substantially the same configuration as the optoelectronic module (3050) of FIG. 28, except for the configuration of the light source and the light detector for implementing differential mode calculation. Therefore, a repeated description of the same components as the optoelectronic module (3050) of FIG. 28 is omitted.
  • an optical optoelectronic module (3070) includes a plurality of first A photodetectors (3610a, 3610c), a plurality of first B photodetectors (3610b, 3610d), a plurality of third light sources (3620a, 3620b, 3620c, 3620d), a plurality of third A photodetectors (3540a, 3540c), and a plurality of third B photodetectors (3540b, 3540d).
  • the module may further include a plurality of electronic processing units (3630a, 3630b, 3550a, 3550b) and corresponding second light sources (3701a, 3701b).
  • the output values of the first A photodetector (3610a) and the first B photodetector (3610b) may be connected to an electronic processing unit (3630a), and the output values of the first A photodetector (3610c) and the first B photodetector (3610d) may be connected to an electronic processing unit (3630b).
  • the structure of this embodiment provides the advantage that the electronic processing units (3630a, 3630b) can perform various operations using the values of the two photodetectors.
  • the easiest example is subtraction. For example, Let us assume a case of calculation. Here, superscripts are omitted to avoid the complexity of representing layers in the weight expression. Therefore, Is It represents.
  • Subtraction using light is possible using principles like destructive interference, but this increases the complexity of optical computing circuits, as it requires adjusting for path differences. Subtraction is not easy when two light beams enter a photodetector that only detects light intensity.
  • light corresponding to the (+) term is collected by the 1A photodetector (3610a, 3610c)
  • light corresponding to the (-) term is collected by the 1B photodetector (3610b, 3610d)
  • the electronic processing unit (3630a, 3630b) calculates by subtracting the two signal intensities.
  • the rays corresponding to the (+) terms are weighted Set the original model value, and the rays corresponding to the (-) term have weights After setting to 0, only the rays corresponding to the (+) term can be collected and added to the photodetector (610a). Similarly, the rays corresponding to the (-) term can be collected and sent to the photodetector (3610b) for addition. Therefore, in this way, general neural network operations including negative weights can be performed.
  • Each electronic processing unit (3630a, 3630b) can use the output of not only two surrounding photodetectors but also a plurality of adjacent photodetectors as input, and can implement various functions other than subtraction through electronic circuits.
  • subtraction and sigmoid function operations can be implemented using analog or digital electronic circuits. While this embodiment illustrates connections between multiple photodetectors and electronic processing units, connections between multiple electronic processing units can also achieve the same effect.
  • Each electronic processing unit (3630a, 3630b) can also store a bias value, amplify the current input from the photodetector, or convert the result of the operation into a current value proportional to the result when sending it to the input of the second light source.
  • an additional third light source (3620a, 3620b, 3620c, 3620d), multiple third A photodetectors (3540a, 3540c), and multiple third B photodetectors (3540b, 3540d) are required, as shown in FIG. 31.
  • Light rays (3621a, 3621b, 3622a, 3622b) originating from the third light source (3620a, 3620b) are connected to the electronic processing unit (3630a) and input. has an intensity proportional to the third light source (3620a).
  • the intensity of light coming from the third light source (3620b) adjacent to the third light source (3620a) is shown in Fig. 31. and are marked as and have the same value has a size proportional to .
  • the light from the other third light source (3620c, 3620d) and are marked as and have the same value has a century proportional to it.
  • the third light source (3620a, 3620b) is a pixel of the spatial light modulator (3531a). , ) and the lens unit (3532a, 3534) correspond one-to-one as an object-image relationship. If the spatial light modulator (3531a) is spaced apart from the second lens (3532a) by the focal length of the second lens and the third lens (3534) is spaced apart from the third light source (3620a, 3620b) by the focal length of the third lens, this object-image relationship is established, and if the distance between the spatial light modulator (3531a) and the second lens (3532a) changes, the object-image relationship can be satisfied by adjusting the distance between the third lens (3534) and the third light source (3620a, 3620b).
  • the light rays (3621a, 3622a) departing from the third light source (3620a, 3620b) are focused on the pixels ( , ) and the spatial light modulator (3531a) and face downward and upward, respectively. This direction is related to the angle of the light rays departing from the third light source (3620a, 3620b).
  • the angle of the departing light beam is slightly upward, the downward angle increases when passing through the spatial light modulator (3531a). Conversely, if the angle of the departing light beam is downward compared to the original angle, the angle of the light beam changes to an upward angle compared to the original angle when passing through the spatial light modulator (3531a).
  • This angle adjustment can be adjusted through the grating period of the prism (3451a) or the diffraction grating (3450a) used in the third light source (3620a, 3620b).
  • the angle of the light beam (3621a, 3622a) when passing through the spatial light modulator (3531a) determines the height of the light beam when it reaches the substrate (3500) and allows the two light beams (3621a, 3622a) to reach the third A photodetector (3540a) and the third B photodetector (3540b), respectively.
  • the electronic processing unit (3550a) connected to these two photodetectors can perform a subtraction operation with the magnitude of these two signals. A proportional signal size can be obtained.
  • the rays corresponding to the (+) term are weighted Set the original model value, and the rays corresponding to the (-) term have weights After setting to 0, only the rays corresponding to the (+) term can be collected and added to the 3A photodetector (3540a). Similarly, the rays corresponding to the (-) term can be collected and sent to the 3B photodetector (3540b) for addition. Therefore, in this way, general neural network operations including negative weights can be performed.
  • Each electronic processing unit (3550a, 3550b) can use the output of not only two surrounding photodetectors but also a number of adjacent photodetectors as input, and can implement various functions other than subtraction through electronic circuits.
  • the weighted input stored by the electronic processing unit (3550a) can be used can be obtained.
  • the electronic processing unit (3550a) uses the values being calculated or stored. Here silver The pixels corresponding to are spatially separated but set to the same value. In the same way can be obtained.
  • the spatial light modulator (3531a) has a photodetector and an electronic processing unit connected to each pixel to measure the intensity of light passing through it, store data, exchange information with surrounding pixels, and perform mathematical operations. and In an electronic processing unit close to and Because we can obtain weight sensitivity can be obtained in the same way. , , , , In this way, the optoelectronic module (3070) can ultimately perform artificial neural network calculations with an arbitrary number of input/output nodes or terms in the forward as well as reverse direction, and can process large amounts of parallel data.
  • Fig. 32 is a drawing showing an example of cascading the optoelectronic modules of Fig. 31.
  • the first optical computation layer (3901) is repeated and appears in the second optical computation layer (3902), and an arbitrary number of neural network layers can be implemented.
  • the output value of the first optical computation layer (3901), which is the preceding layer, can be connected to the input of the second optical computation layer (3902), which is the succeeding layer.
  • Another method of constructing a multilayer neural network in FIG. 31 is to perform multilayer neural network calculations by having light travel back and forth between the first substrate (3500) and the second substrate (3700) and storing the calculation results in electronic processing units (3630a, 3630b, 3550a, 3550b).
  • electronic processing units 3630a, 3630b, 3550a, 3550b.
  • the weight values of the spatial light modulators 3531a, 3532b
  • the electronic processing units connected to the weight pixels retrieve and update the values stored in the memory.
  • the present invention provides an optical neural network computer structure and technology that increases the computational speed by performing approximately N X M multiplications and additions at once without complicating the physical structure of the connection lines or generating noise as in an electric circuit even when the number of input and output terminals increases to N and M, respectively, by implementing an optical computer structure using optical connections instead of purely electronic circuits.
  • the optical neural network computer proposed in the present invention can perform and apply various algorithms, such as neural network learning algorithms such as backpropagation algorithms or auto-correlation algorithms, as well as inference calculations, because light can propagate in both directions.
  • neural network learning algorithms such as backpropagation algorithms or auto-correlation algorithms
  • inference calculations because light can propagate in both directions.
  • the time delay in the calculation occurs in the electronic processing unit, but it is performed in parallel in all outputs, so it can be viewed as equivalent to one instruction cycle of the digital electronic circuit.
  • the calculations are performed simultaneously in all layers, so the actual calculation speed increases by N X M X L times.
  • optical neural network computers utilize slow-switching spatial light modulators, which can be time-consuming to update weight sets when performing calculations on different sets of weights for the same input data. Furthermore, the need to update these weight sets and the slow switching speed of the spatial light modulator can hinder the parallel processing speed of optical neural network computers.
  • FIG. 33 is a conceptual diagram of a bidirectional optoelectronic module using a smart pixel optical modulator according to a fifth embodiment of the present invention
  • FIG. 34 is a conceptual diagram of the smart pixel optical modulator of FIG. 33.
  • the illustrated optoelectronic module (3010) includes a plurality of first light sources (3101a, 3101b), a plurality of first lenses (3102a, 3102b), a plurality of smart pixel light modulators (3103a, 3103b), a plurality of first light detectors (3120a, 3120b), a plurality of third light sources (3124a, 3124b), a plurality of third light detectors (3140a, 3140b), and a lens unit (3104a, 3104b, 3105).
  • a plurality of first light sources (3101a, 3101b) may be formed at regular intervals on the first substrate (3100), but may also be formed on different substrates.
  • the optical optoelectronic module (3010) may further include a plurality of electronic processing units (3121a, 3121b, 3141a, 3141b), a plurality of second light sources (3122a, 3122b), and a plurality of second light detectors (3160a, 3160b).
  • a plurality of first and second photodetectors (3120a, 3120b, 3160a, 3160b), a plurality of electronic processing units (3121a, 3121b), a plurality of second light sources (3122a, 3122b), and a plurality of third light sources (3124a, 3124b) may be formed on a second substrate (3130), but may alternatively be formed separately on another substrate or one or more elements may be formed on the same substrate.
  • the first substrate (3100) and the second substrate (3130) may be semiconductor substrates or PCBs.
  • a plurality of first lenses (3102a, 3102b) can be formed on the same substrate.
  • Multiple smart pixel optical modulators (3103a, 3103b) can be formed on the same substrate.
  • a plurality of second lenses (3104a, 3104b) can be formed on the same substrate.
  • a plurality of first light sources (3101a, 3101b) and third light detectors (3140a, 3140b) can be formed on the same substrate.
  • a plurality of third light sources (3124a, 3124b) and first light detectors (3120a, 3120b) can be formed on the same substrate.
  • the first light source (3101a, 3101b), the first lens (3102a, 3102b), the smart pixel light modulator (3103a, 3103b), the first light detector (3120a, 3120b), the third light source (3124a, 3124b), the third light detector (3140a, 3140b), the second light source (3122a, 3122b), the second light detector (3160a, 3160b), etc. are expressed as two, and the electronic processing unit (3121a, 3121b, 3141a, 3141b) is expressed as four, but these are only examples, and the number of each element can be changed and designed as needed.
  • the light source may be an LED or a semiconductor laser, particularly a vertical surface-emitting laser.
  • the intensity of light can be adjusted by varying the intensity of the current flowing through the light source, thereby individually controlling the input values.
  • Light emitted from a plurality of first light sources (3101a, 3101b) passes through a plurality of corresponding first lenses (3102a, 3102b), and then passes through a corresponding smart pixel light modulator (3103a, 3103b).
  • the first lenses (3102a, 3102b) reduce the divergence angle of the light emitted from the corresponding first light sources (3101a, 3101b), and preferably modulate the light into parallel light.
  • Fig. 33 four representative light rays (3110a, 3112a, 3110b, 3112b) are shown among the light emitted from each first light source (3101a, 3101b), and the four light rays pass through individual pixels in a smart pixel light modulator (3103a, 3103b).
  • the smart pixel light modulator (3103a, 3103b) is formed corresponding to each of the plurality of first lenses (3102a, 3102b), and adjusts the intensity of the light rays passing through the corresponding first lenses (3102a, 3102b) through each pixel having a weight set by reading from a pixel memory.
  • the smart pixel light modulator (3103a, 3103b) is configured in a form in which a plurality of pixels are arranged, and each pixel is assigned a light detector, an electronic processing unit, and a light source.
  • the light detector converts light passing through the first lens (3102a, 3102b) or the second lens (3104a, 3104b) into a current signal
  • the electronic processing unit amplifies the current signal or converts the result of an operation such as multiplication or addition of the current signal with a weight value stored in a memory into a current signal and outputs the result to the connected light source.
  • the structure of the smart pixel light modulator (3103a, 3103b) will be described in more detail with reference to FIG. 34.
  • the illustrated smart pixel light modulator has a first light source (3172) and a first photodetector (3171) within the smart pixel arranged in each of the pixels arranged on the first side on the left.
  • a second light source (3175) and a second photodetector (3174) within the smart pixel are arranged in each of the pixels arranged on the second side on the right.
  • an electronic processing unit (3173A, 3173B) is arranged in each of the pixels arranged in the middle between the first side and the second side.
  • a pixel that sends light incident on the first side to the second side is electrically connected to a first photodetector (3171) within a smart pixel, an electronic processing unit (3173B) of the pixel, and a second light source (3175) within the smart pixel.
  • a pixel that sends light incident on the second side to the first side is electrically connected to a second photodetector (3174) within a smart pixel, an electronic processing unit (3173A) of the pixel, and a first light source (3172) within the smart pixel.
  • a micro prism may be installed on the side where the light source exits, and a micro lens may be installed in front of the first light source or the second light source within the smart pixel to adjust the divergence angle of the output beam.
  • the smart pixel light modulator does not compromise the efficiency of parallel computation because each pixel is assigned a photodetector, electronic processing unit, and light source, eliminating the need for connection to surrounding pixels.
  • the fast switching speed of these electronic components enables weight updates at speeds of several hundred megahertz (MHz), which is much faster than the several kHz speed of the spatial light modulator (LCD, DMD) described previously in Figures 28 to 34.
  • Each pixel's memory stores the weights or bias values to be applied according to the program.
  • a smart pixel light modulator can be thought of as an array of optical repeaters, each with its own memory.
  • the lens units (3104a, 3104b, 3105) are formed between a plurality of smart pixel light modulators (3103a, 3103b) and a plurality of first photodetectors (3120a, 3120b).
  • the lens units (3104a, 3104b, 3105) serve to focus light emitted from different first light sources (3101a, 3101b) passing through pixels at the same relative positions of each smart pixel light modulator (3103a, 3103b) onto one first light detector (3120a, 3120b).
  • the lens units (3104a, 3104b, 3105) are formed corresponding to the plurality of smart pixel light modulators (3103a, 3103b), respectively, and include a plurality of second lenses (3104a, 3104b) that focus light rays to a single point, and a third lens (3105) that passes all light rays that have passed through the plurality of second lenses (3104a, 3104b). If the light rays incident on the second lenses (3104a, 3104b) are parallel light rays, they are focused at a focus.
  • each smart pixel light modulator (3103a, 3103b) passes through each corresponding second lens (3104a, 3104b), is focused, and then spreads out again, where it passes through the third lens (3105) again.
  • the angle of the ray changes depending on the height of the ray away from the optical axis of the second lens (3104a, 3104b).
  • the ray (3110a) passing through the highest position on the optical axis of the second lens (3104a) and the ray (3110b) passing through the highest position on the optical axis of the second lens (3104b) have the same angle with respect to the horizontal axis.
  • the two light rays (3110a, 3110b) enter the third lens (3105) while forming parallel light, and thus converge at the same point on the focal plane of the third lens (3105).
  • the two light rays converge on one first photodetector (3120a).
  • the first photodetector (3120a, 3120b) can be composed of an optical semiconductor element, such as a photodiode.
  • the current flowing in the first photodetector (3120a, 3120b) is ultimately the sum of the intensities of light arriving at each of the first photodetectors (3120a, 3120b). , It has a value proportional to the current value obtained from the first photodetector (3120a, 3120b) or its amplified value and the bias value ( stored in the electronic processing unit (3121a, 3121b) respectively , ) is added, and the sigmoid function ⁇ is calculated using the value as input, and the output value of the neural network node is obtained.
  • the rays (3111a, 3113a, 3111b, 3113b) show examples of rays traveling in the reverse direction. If the optical module operates in the forward direction, the rays from the first light source (3101a, 3101b) can also travel in the forward direction, in which case the pixels , , , By setting it to the OFF state, the light rays from the first light source (3101a, 3101b) can not pass through. In fact, the reverse light rays (3111a, 3113a, 3111b, 3113b) start from the first photodetector (3120a, 3120b) and reach the first light source (3101a, 3101b), so they do not generate a signal and are an example of the reverse light path.
  • each output value of the electronic processing unit (3121a, 3121b) may be transmitted to the connected second light source (3122a, 3122b), respectively. Accordingly, each output value of the electronic processing unit (3121a, 3121b) , can be adjusted proportionally.
  • Each electronic processing unit (3121a, 3121b) can use other activation functions, such as the RELU function, in addition to the sigmoid function.
  • the electronic processing units (3121a, 3121b) can store result values or external input values for use in calculations.
  • This memory function enables various calculations by comparing calculated values with stored values in the next sequence or by using stored values for function calculations.
  • the electronic processing unit has a communication function and can exchange data with surrounding electronic processing units or external processors through connected communication lines.
  • the second light source (3122a, 3122b) is the neural network. , It corresponds to and is used as the input value for the next layer.
  • the electronic processing unit (3121a, 3121b) is an electronic integrated circuit formed on a semiconductor substrate and can be implemented through an analog circuit or a digital circuit.
  • the lenses used in this embodiment can be implemented using refractive lenses or diffractive optical elements.
  • the optoelectronic module (3010) has one output node, for example:
  • the first photodetector (3120b) and the third light source (3124b) are connected through an electronic processing unit (3121b), so that light can be sent in the reverse direction from the third light source (3124b) to send a signal to the photodetector (3174) in the smart pixel light modulator (3103a).
  • the electronic processing unit (3173A) within the smart pixel can convert the current value of the photodetector and the weight information stored in the memory into a calculated current to control the intensity of the light source (3172) within the smart pixel.
  • the optoelectronic module (3010) of FIG. 33 can implement the bidirectional optical neural network function of the optoelectronic module (3050) of FIG. 28 using the smart pixel optical modulator. Since the update speed of the smart pixel optical modulator is much faster than that of a conventional spatial light modulator, the parallel processing speed of the backpropagation algorithm, which requires rapid weight changes after forward calculation, can be significantly improved. This characteristic can contribute to increasing the learning speed of the artificial neural network.
  • FIG. 35 is a conceptual diagram of a bidirectional optoelectronic module using a smart pixel optical modulator including fan-in and fan-out according to a sixth embodiment of the present invention
  • FIG. 36 is a conceptual diagram of the smart pixel optical modulator of FIG. 35.
  • the illustrated optoelectronic module (3020) includes a plurality of electrical input/outputs (3200), a plurality of smart pixel optical modulators (3201), lens units (3202, 3203), and a plurality of photodetectors (3204).
  • the optoelectronic module (3020) is a structure that further simplifies the structure of FIG. 33, in which the first lens is eliminated and instead, an electrical fan-out, fan-in structure (3208, 3209) is included in the smart pixel optical modulator (3201).
  • the pixel image of the smart pixel light modulator (3201) can be focused on the first photodetector (3204).
  • the second lens (3202) and the third lens (3203) can be integrated into a single element, and a diffractive optical element (DOE) can perform this function.
  • DOE diffractive optical element
  • the more detailed structure of the third light source (3205) is as shown in FIG. 29, and multiple light rays can be sent in multiple directions using a diffraction grating (3450a) and a prism (3451a).
  • the diffraction grating (3450a) and the prism (3451a) can be manufactured into a single optical element using a DOE. Additionally, a lens can be added between the diffraction grating (3450a) and the light source (3424a) to control the divergence angle of the light, and the DOE can implement this function in a single device.
  • the smart pixel includes both a light source (3212) and a photodetector (3211) on the second surface, and includes both a fan-out and fan-in structure connecting the electronic processing unit (3210) and the electrical input/output nodes.
  • the electrical fan-in structure calculates the signal acquired from the photodetector (3211) with the weights of the memory, converts the result into a current, and transmits it to the input/output node, and the electrical fan-out structure distributes the input signal into multiple branches through wires and transmits it.
  • This structure enables the smart pixel optical modulator (3201) to operate in both directions and enables the optical neural network computer to compute algorithms such as the backpropagation algorithm. Since the smart pixel optical modulator (3201) has a fast switching speed and does not harm parallelism, it greatly improves the parallel processing capacity of the bidirectional optical neural network computer.
  • Figure 37 is a conceptual diagram of implementing input/output node scale-up in an optical neural network computer using a smart pixel optical modulator.
  • Figures 37(a) to 37(d) show a scale-up algorithm that doubles the number of input and output nodes in an optical neural network computer using a smart pixel optical modulator.
  • weight calculation is performed by fully connecting input nodes 1 to N and output nodes 1 to N. Then, output nodes 1 to N are stored in the memory of each pixel, and weight calculation is performed by fully connecting input nodes 1 to N and output nodes N+1 to 2N.
  • the input node values from 1 to N are stored in each pixel memory, and the input node values from N+1 to 2N are read from the memory.
  • the fully connected weights are calculated between the input node values from N+1 to 2N and the output node values from N+1 to 2N.
  • the output node values from N+1 to 2N are stored in each pixel memory, and the output node values from 1 to N are read from the memory.
  • the fully connected weights are calculated between the input node values from N+1 to 2N and the output node values from 1 to N, and then added to the previous value and stored in the memory.
  • the number of input nodes or output nodes can be expanded to arbitrary multiples such as 2, 3, 4, and 5, it provides the advantage of being able to flexibly adjust the connecting topology without being limited by the hardware size.
  • the switching speed is slow, so the weight update speed is slow, and when such connections are made, the parallel processing speed is greatly reduced, but the optical neural network computer using smart pixels does not have this drawback.
  • the optical computer proposed in the present invention can perform and apply various algorithms, such as neural network learning algorithms such as backpropagation algorithms or autocorrelation algorithms, as well as inference calculations, because light can travel in both directions.
  • neural network learning algorithms such as backpropagation algorithms or autocorrelation algorithms
  • the time delay in the calculation occurs in the electronic processing unit, but it is performed in parallel in all outputs, so it can be viewed as equivalent to one instruction cycle of a digital electronic circuit.
  • the calculation is performed simultaneously in all layers, so the actual calculation speed increases by N X M X L times.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nonlinear Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Neurology (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

스마트 픽셀 광 변조기를 이용한 광전자 모듈은, 서로 일정 거리 이격되어 형성되는 복수의 제1 광원; 복수의 제1 광원에 각각 대응하여 형성되고, 대응하는 제1 광원에서 조사된 광선의 발산각(divergence angle)을 감소시키는 복수의 제1 렌즈; 복수의 제1 렌즈에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈를 통과한 광선의 세기를 조절하는 복수의 스마트 픽셀 광 변조기; 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 광 검출기; 및 복수의 스마트 픽셀 광 변조기와 복수의 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원에서 조사된 광선을 하나의 광 검출기로 모으는 렌즈부;를 포함한다.

Description

스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터
본 발명은 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터에 관한 것으로서, 더욱 상세하게는 전기통신 회선을 대체할 수 있도록 양방향 중복통신이 가능하며, 광원, 렌즈, 스마트 픽셀 광 변조기 및 광 검출기 등을 조합하여 복잡한 전자회로 없이 병렬로 고속 연산을 수행할 수 있는 광전자 모듈 및 이를 포함하는 광 합성곱 신경망 컴퓨터에 관한 것이다.
최근 화상처리 등의 분야에서 2차원, 3차원의 정보를 대상으로 하는 고속의 연산처리 기술에 대한 수요가 급증하고 있다.
광 컴퓨터(Optical Computer)는 컴퓨터의 연산회로에 빛의 특성을 이용한, 광집적회로(optical IC)를 사용한 컴퓨터를 말하는 것으로, 전기통신 회선보다 많은 중복통신이 가능하다.
현재의 전자계산기는 전자회로로 구성되어 있다. 그 때문에 연산속도는 소자의 지연시간, 부유용량 등에 따라 제한되어 고속화에는 한계가 있다. 광 컴퓨터는 이러한 한계를 해결할 것으로 기대되고 있다.
도 1은 기존의 신경망(neural network)의 한 예를 보이고 있다. 입력 값 , 에 가중치 를 곱해서 바이어스(bias) 를 합한 다음 시그모이드(sigmoid) 함수인 б를 적용한 값을 출력 값으로 계산하고, 이를 그 다음 층(layer)의 입력 값으로 사용하는 방식이다.
일반적으로, (l-1)번째 입력 층과 l번째 출력층을 연결하는 수식은 다음의 수학식 1과 같다. 여기서, Nl-1은 (l-1)번째 층의 인공 뉴런(Neuron) 또는 노드(Node) 개수를 나타낸다.
[수학식 1]
기존의 신경망을 계산하는 방식은 디지털 컴퓨터를 이용하여 수학식 1을 계산하는 방식이다.
도 2은 일반적인 합성곱 신경망의 개념도이다. 이러한 도 2에 도시된 바와 같이 종래의 CNN(Convolution neural Network)은 입력 이미지와 일련의 레이어로 구성되며, 각 레이어에서 일련의 커널이 입력 이미지와 합성곱을 수행하고, 합성곱의 출력은 모아져서 풀링 연산을 거쳐 다음 레이어로 전달된다.
광학적으로 구현되는 합성곱 연산을 구현하기 위해 광학적 CNN을 구현하는 종래의 방식에서는 복소값 푸리에 필터를 구현하는 방법을 사용하여 광학적 합성곱 레이어의 기능을 구현하고 있다.
도 3는 종래의 4f 상관관계(correlator) 광 합성곱 신경망의 개념도이다. 도 3를 참조하면, 광학적 CNN 아키텍처는 4f 상관관계 설계를 활용하는 방식이다.
전통적인 4f 상관관계는, 두 개의 렌즈로 구성되어 있으며, 두 렌즈는 동일한 초점 거리를 가지고, 첫 번째 렌즈와 두 번째 렌즈의 초점면에 각각 입력 및 출력 평면이 위치할 수 있다.
한편, 프레넬 근사를 사용하면 렌즈는 전방 초점면과 후방 초점면에 위치한 전기장 분포 간의 푸리에 변환 관계를 제공하고, 두 개의 렌즈가 연속으로 배치되면 입력 전기장의 부호를 반대로 하는 푸리에 변환을 제공한다.
이 때, 두 렌즈 사이 평면에 마스크를 위치시키면 저역 통과, 고역 통과, 밴드 스톱, 밴드 리젝트 및 필터링 작업을 포함하여 임의의 푸리에 영역 필터링 작업을 구현할 수 있고, 이 때, 복소값 투과도 마스크가 필터링 평면에 사용되면 더 복잡한 필터링이 가능하다.
여기서 4f 상관관계 배열의 구성은, 광학적 CNN 아키텍처가 하나의 마스크 레이어로 다수의 입력 값에 대한 합성곱 연산이 병렬로 계산하도록 구성된다.
도 4은 종래의 병렬 광합성곱 신경망 모듈의 개념도이다. 도 4을 참조하면 두 개의 정렬된 렌즈렛 어레이 스택과 필터 마스크 어레이를 부가한 시스템을 사용하여 병렬로 계산되는 합성곱 연산을 구현한다.
도 5과 같은 병렬 광합성곱 신경망 모듈을 구현하기 위해서는 회절 광학 소자나 메타표면을 기반으로 한 평면 광학을 사용한다. 이때, 각 렌즈에 해당하는 별도의 마스크가 있어서 다른 종류의 필터링 함수를 병렬로 처리할 수 있다.
광학적 CNN 시스템에서 이미지를 전송하고 후처리 하기 위해서는 렌즈렛 어레이, 정렬된 소스 어레이, 각 렌즈렛 스택의 4f 상관관계에서 출력을 수집하는 센서 어레이가 필요하다.
4f 상관관계에서 공간 대역폭의 곱(space-bandwidth product)은 로 주어질 수 있으며, 여기서 D는 조리개 크기, f는 초점거리, 는 광학 파장을 나타낸다.
예컨대, D가 0.6㎜, f가 3 mm, 가 500 ㎚ 인 시스템의 경우, 공간 대역폭 곱은 약 240Х240이 되며, 이는 시스템이 약 240Х240 입력 또는 출력 픽셀을 신뢰성 있게 계산할 수 있다는 것을 의미한다.
도 5는 입력 값 에 가중치 를 곱해서 바이어스 를 더한 다음, 시그모이드 함수 σ를 적용한 값을 출력값으로 계산하고, 이를 그 다음 층의 입력 값으로 사용하는 구조인 종래의 광합성곱 신경망 모듈의 개념도이다.
이는, 입력 노드 입장에서 보면 하나의 입력 노드에서 커널에 해당하는 가중치를 곱해서 대응하는 주변에 있는 복수의 출력 노드에 보내어 선형 조합을 계산하는 방식이고, 출력 노드 입장에서 보면 주변에 있는 복수의 입력 노드에서 값을 받아서 가중치와 곱한 다음 선형 조합을 계산하는 방식이다.
도 5에서는 4개의 입력과 4개의 출력을 예시로 나타내었지만, 입력과 출력의 개수는 이에 한정하지 않는다.
종래의 신경망을 계산하는 방식은 디지털 컴퓨터를 이용하는 것으로, 수학식 2과 같이 표현될 수 있다.
[수학식 2]
여기서 N은 입력 값의 요소 개수를 나타내고, Nm은 합성곱 커널 또는 필터의 요소 개수를 나타낸다.
이는, 입출력 및 커널이 일차원 배열일 경우를 나타낸 것이지만, 이차원 배열에 대해서도 같은 방식으로 확장하여 사용될 수 있다.
한편, 전기적으로 아날로그 신경망을 구현하고 동시에 계산하는 경우, 도선이 겹쳐지기 때문에 생기는 전자파 잡음이 생기거나 회로 배선의 배치가 복잡해지는 문제들이 발생하게 된다. 이러한 문제들을 해결하고자 기존의 특허(특허 문헌 4)에서는 공간 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 컴퓨터를 제안하였다.
특허 문헌 4에 제시된 광 컴퓨터 구조는 전자식 컴퓨터에 비해 공간 광 변조기의 픽셀 개수에 해당하는 병렬 계산을 가능하게 함으로써 Full HD LCD 마이크로 디스플레이를 사용하는 경우 처리 용량이 106배 정도 증가하는 효과를 가져오며 마이크로 렌즈 배열과 같은 마이크로 광학계를 사용할 경우 시스템의 크기를 10 mm × 10 mm × 10 mm 정도의 크기로 소형화 할 수 있는 장점을 제공한다. 하지만 한가지 단점은 빛의 진행 방향이 제1 기판에서 제2 기판으로 정해져 있어서 반대 방향의 데이터의 이동이 쉽지 않다는 점이다.
신경망 계산에서 가중치가 정해 있는 경우에는 시작하는 입력 층에서 데이터가 시작하여 그 다음 층으로 한 방향으로 이동하기 때문에 기존의 광 컴퓨터 구조가 매우 빠른 속도로 데이터를 처리할 수 있어 문제가 되지 않는다. 이러한 과정을 추론(inference)라고 하며 이미 신경망 가중치를 확정하고 다양한 입력 이미지에 대해 이미지 프로세싱을 수행하는 경우라고 볼 수 있다. 그러나 가중치 자체를 찾아야 하는 학습 과정(training) 계산의 경우에는 역 전파(back propagation) 알고리듬을 사용해야 하는데 특허 문헌 4의 구조로는 이러한 역 전파 알고리듬을 수행하기가 쉽지 않다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) KR 10-0624852 B1
(특허문헌 2) KR 10-2079833 B1
(특허문헌 3) JP 6746074 B2
(특허문헌 4) KR 10-2622313 B1
(참고문헌 1) Ju, Y.-G. Bidirectional Optical Neural Networks Based on Free-Space Optics Using Lens Arrays and Spatial Light Modulator.　Micromachines　2024,　15, 701. https:/doi.org/10.3390/mi15060701
본 발명이 이루고자 하는 기술적 과제는 이러한 점에서 착안된 것으로 그 목적은 스위칭 속도가 빠른 스마트 픽셀 광 변조기를 사용한 광전자 모듈을 제공하는 것이다.
또한, 복잡한 전자회로 대신 빛의 특성을 이용하여 종래의 시스템에 비해 훨씬 큰 크기의 입출력 픽셀 어레이(Array)를 처리할 수 있는 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 합성곱 신경망 컴퓨터를 제공하는 것을 또 다른 목적으로 한다.
아울러, 스위칭 속도가 빠른 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터를 제공하고, 나아가 광 신경망 하드웨어의 기판 사이에 양 방향 광 연결이 가능한, 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터를 제공하는 데 그 목적이 있다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 스마트 픽셀 광 변조기를 이용한 광전자 모듈은, 서로 일정 거리 이격되어 형성되는 복수의 제1 광원; 복수의 제1 광원에 각각 대응하여 형성되고, 대응하는 제1 광원에서 조사된 광선의 발산각(divergence angle)을 감소시키는 복수의 제1 렌즈; 복수의 제1 렌즈에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈를 통과한 광선의 세기를 조절하는 복수의 스마트 픽셀 광 변조기; 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 광 검출기; 및 복수의 스마트 픽셀 광 변조기와 복수의 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원에서 조사된 광선을 하나의 광 검출기로 모으는 렌즈부;를 포함한다.
상기한 본 발명의 목적을 실현하기 위한 다른 실시예에 따른 스마트 픽셀 광 변조기를 이용한 광전자 모듈은, 서로 일정 거리 이격되어 형성되는 복수의 전기적 입력 노드; 복수개의 픽셀들로 구성되며, 상기 전기적 입력 노드를 통해 입력되는 입력 신호를 전기적 팬아웃(Fan-out) 구조를 통해 상기 픽셀들 각각에 연결하는 복수의 스마트 픽셀 광 변조기; 상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 광 검출기; 및 상기 복수의 스마트 픽셀 광 변조기와 복수의 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 스마트 픽셀 광 변조기에서 출발한 광선을 하나의 광 검출기로 모으는 렌즈부;를 포함한다.
상기한 본 발명의 목적을 실현하기 위한 본 발명의 또 다른 실시예에 따른 스마트 픽셀 광 변조기를 이용한 광전자 모듈은, 서로 일정 거리 이격되어 형성되는 복수의 제1 광원; 상기 복수의 제1 광원에 각각 대응하여 형성되고, 대응하는 제1 광원에서 조사된 광선의 발산각(divergence angle)을 감소시키는 복수의 제1 렌즈; 상기 복수의 제1 렌즈에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈를 통과한 광선의 세기를 조절하는 복수의 스마트 픽셀 광 변조기; 상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 제1 광 검출기; 및 상기 복수의 스마트 픽셀 광 변조기와 상기 복수의 제1 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 서로 다른 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원에서 조사된 광선을 하나의 제1 광 검출기로 모으는 렌즈부;를 포함하고, 상기 렌즈부는, 상기 복수의 스마트 픽셀 광 변조기에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제2 렌즈; 및 상기 제2 렌즈를 통과한 광선을 통과시키며 각각의 제2 렌즈에 대응하는 복수의 제3 렌즈;를 포함한다.
상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 스마트 픽셀 광 변조기를 이용한 광전자 모듈은, 서로 일정 거리 이격되어 형성되는 복수의 전기적 입력 노드; 복수개의 픽셀들로 구성되며, 상기 전기적 입력 노드를 통해 입력되는 입력 신호를 전기적 팬아웃(Fan-out) 구조를 통해 상기 픽셀들 각각에 연결하는 복수의 스마트 픽셀 광 변조기; 상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 제1 광 검출기; 및 상기 복수의 스마트 픽셀 광 변조기와 복수의 제1 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 서로 다른 상대 위치에 있는 픽셀을 통과하는 서로 다른 스마트 픽셀 광 변조기에서 출발한 광선을 하나의 광 검출기로 모으는 렌즈;를 포함한다.
상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈은, 서로 일정 거리 이격되어 형성되는 복수의 제1 광원; 상기 복수의 제1 광원에 각각 대응하여 형성되고, 대응하는 제1 광원에서 조사된 광선의 발산각(divergence angle)을 감소시키는 복수의 제1 렌즈; 상기 복수의 제1 렌즈에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈를 통과한 광선의 세기를 조절하는 복수의 스마트 픽셀 광 변조기; 상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 제1 광 검출기; 상기 복수의 스마트 픽셀 광 변조기와 상기 복수의 제1 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원에서 조사된 광선을 상기 복수의 제1 광 검출기 중 하나의 제1 광 검출기로 모으는 렌즈부; 상기 복수의 제1 광 검출기에서 일정 거리 이격되어 형성되고, 상기 제1 광원과 반대 방향으로 빛이 진행하는 복수의 제3 광원; 및 상기 복수의 제3 광원에서 조사되고 상기 스마트 픽셀 광 변조기와 상기 제 1 렌즈를 통과한 광선을 모으며 상기 제1 광원에서 일정 거리 이격되어 형성되는 복수의 제3 광 검출기;를 포함한다.
상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈은, 서로 일정 거리 이격되어 형성되는 복수의 전기적 입출력 노드; 복수개의 픽셀들로 구성되며, 상기 전기적 입출력 노드를 통해 입력되는 입력 신호를 전기적 팬아웃(Fan-out) 구조를 통해 상기 픽셀들 각각에 연결하는 복수의 스마트 픽셀 광 변조기; 상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 광 검출기; 상기 복수의 스마트 픽셀 광 변조기와 복수의 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 출발하는 서로 다른 스마트 픽셀 광 변조기에서 출발한 광선을 하나의 광 검출기로 모으는 렌즈부; 및 상기 복수의 광 검출기에서 일정 거리 이격되어 형성되고, 상기 입력 신호와 반대 방향으로 빛이 진행하는 복수의 광원;을 포함하며, 상기 스마트 픽셀 광 변조기는 상기 복수의 광원에서 조사되고 상기 렌즈부를 통과한 광선을 모으는 복수의 광 검출기, 상기 광 검출기에 연결된 전자 프로세싱 유닛 및 상기 전기적 입출력 노드와 복수의 픽셀을 연결하는 전기적 팬인(Fan-in) 구조를 포함한다.
이와 같은 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 컴퓨터에 따르면, 순수 전자회로 대신 광 연결을 사용한 아날로그/디지털 광 컴퓨터 구조를 구현함으로써 입력과 출력 단자의 개수가 각각 N개와 M개로 늘어나도 전자회로와 같이 연결이 복잡해지거나 잡음이 생기지 않는다. 이에 따라, 대략 N X M 번의 곱셈과 덧셈을 한 번에 수행함으로써 중요 부분 계산이 병렬로 작동하므로, 초소형 및 초고속의 연산이 가능하다.
또한 스마트 픽셀 광 변조기는 스마트 픽셀 내 광 검출기 또는 전기적 입력 노드를 통해 입력 신호를 전달받고, 전자 회로에 의해 메모리에 저장된 가중치만큼 입력 신호를 증폭한 뒤 이에 비례하는 광원 세기를 출력하기 때문에 기존의 공간 광 변조기(LCD, DMD)에 비해서 스위칭 속도가 수백 MHz 이상으로 매우 빠르다. 뿐만 아니라 스마트 픽셀 광 변조기는 기존의 공간 광 변조기와 같이 광 입력-광 출력 또는 다양한 조합의 광전(opto-electronic) 입출력이 가능하고 메모리에 저장된 값과 입력 신호를 사용해 곱셈 및 덧셈 등의 연산이 가능하기 때문에 다양한 연산을 수행할 수 있다.
이처럼 스마트 픽셀 광 변조기의 속도는 기존 공간 광 변조기에 비해 매우 빠르기 때문에 이러한 구조는 양 방향 광 신경망 컴퓨터나 역전파 알고리듬과 같이 가중치를 빠르게 갱신해야 할 필요가 있는 알고리듬에서 공간 광 변조기를 대체하여 병렬 처리 속도를 크게 향상시킬 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 기존의 신경망 개념도이다.
도 2는 일반적인 합성곱 신경망의 개념도이다.
도 3은 종래의 4f 상관관계 광 합성곱 신경망의 개념도이다.
도 4는 종래의 병렬 광합성곱 신경망 모듈의 개념도이다.
도 5는 종래의 광합성곱 신경망 모듈의 개념도이다.
도 6은 본 발명의 제1 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈의 개념도이다.
도 7은 도 6의 광전자 모듈과 신경망 연관성을 나타내는 개념도이다.
도 8는 도 6의 광전자 모듈을 캐스케이드 연결한 예시를 보여주는 도면이다.
도 9는 본 발명의 제2 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈의 개념도이다.
도 10은 도 9의 광전자 모듈을 캐스케이드 연결한 예시를 보여주는 도면이다.
도 11은 본 발명의 제3 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈의 개념도이다.
도 12은 본 발명의 제1 실시예에 따른 스마트 픽셀 광 변조기를 사용한 광 신경망 컴퓨터의 개념도이다.
도 13는 본 발명의 제2 실시예에 따른 팬아웃을 포함한 스마트 픽셀 광 변조기를 사용한 광 신경망 컴퓨터의 개념도이다.
도 14은 도 13의 스마트 픽셀 광 변조기의 개념도이다.
도 15은 본 발명의 제3 실시예에 따른 스마트 픽셀 광 변조기를 사용한 광신경망 컴퓨터의 개념도이다.
도 16는 본 발명의 제4 실시예에 따른 공간광변조기를 이용한 광전자 모듈의 개념도이다.
도 17은 도 16의 공간광변조기를 이용한 광전자 모듈의 입체적 예시도이다.
도 18은 도17의 공간광변조기의 픽셀 간격에 대한 예시도이다.
도 19은 도 16의 공간광변조기를 이용한 광전자모듈의 다중출력 개념도이다.
도 20는 본 발명의 제5 실시예에 따른 스마트 픽셀 광 변조기를 이용한 광전자 모듈의 개념도이다.
도 21은 본 발명의 제6 실시예에 따른 팬아웃을 포함한 스마트 픽셀 광 변조기를 이용한 광전자 모듈의 개념도이다.
도 22은 도 21의 스마트 픽셀 광 변조기의 개념도이다.
도 23는 본 발명의 제1 실시예에 따른 공간 광 변조기를 이용한 양방향 광전자 모듈의 개념도이다.
도 24은 도 23의 양방향 광전자 모듈에 적용되는 스마트 픽셀 광 변조기의 개념도이다.
도 25는 본 발명의 제2 실시예에 따른 팬인 및 팬아웃을 포함한 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈의 개념도이다.
도 26는 도 25의 스마트 픽셀 광 변조기의 개념도이다.
도 27은 신경망에서 기존의 역 전파 알고리듬을 설명하는 개념도이다.
도 28는 본 발명의 제3 실시예에 따른 공간 광 변조기를 이용한 비차동 모드 양방향 광전자 모듈의 개념도이다.
도 29은 도 28의 제3 광원을 회절 격자와 프리즘으로 구현한 개념도이다.
도 30는 도 28의 광전자 모듈을 캐스캐이드 연결한 예시를 보여주는 도면이다.
도 31는 본 발명의 제4 실시예에 따른 공간 광 변조기를 이용한 차동 모드 양방향 광전자 모듈의 개념도이다.
도 32은 도 31의 광전자 모듈을 캐스캐이드 연결한 예시를 보여주는 도면이다.
도 33은 본 발명의 제5 실시예에 따른 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈의 개념도이다.
도 34은 도 33의 스마트 픽셀 광 변조기의 개념도이다.
도 35는 본 발명의 제6 실시예에 따른 팬인 및 팬아웃을 포함한 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈의 개념도이다.
도 36은 도 35의 제1 스마트 픽셀 광 변조기의 개념도이다.
도 37은 스마트 픽셀 광변조기를 사용한 광신경망 컴퓨터에서 입출력 노드 스케일업을 구현한 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 6은 본 발명의 제1 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈의 개념도이다.
본 발명에 따른 공간 광 변조기를 이용한 광전자 모듈(1010)은 복잡한 전자회로 대신 광원, 렌즈, 공간 광 변조기, 광 검출기 등을 조합하여 병렬로 작동한다. 본 발명에 따른 광전자 모듈(1010)은 광 컴퓨터에 적용될 수 있다.
도 6를 참조하면, 본 발명의 제1 실시예에 따른 광전자 모듈(1010)은 복수의 제1 광원(1101a, 1101b), 복수의 제1 렌즈(1102a, 1102b), 복수의 공간광변조기(1103a, 1103b), 복수의 광 검출기(1120a, 1120b, 1120c, 1120d) 및 렌즈부(1104a, 1104b, 1105)를 포함한다.
복수의 제1 광원(1101a, 1101b)은 제1 기판(1100)에 일정 간격으로 이격되어 형성될 수 있으나, 이와 다르게 다른 기판에 각각 형성될 수도 있다.
본 발명의 제1 실시예에 따른 광 광전자 모듈(1010)은 복수의 전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d) 및 복수의 제2 광원(1122a, 1122b, 1122c, 1122d)을 더 포함할 수 있다.
복수의 광 검출기(1120a, 1120b, 1120c, 1120d), 복수의 전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d) 및 복수의 제2 광원(1122a, 1122b, 1122c, 1122d)은 제2 기판(1130)에 형성될 수 있으나, 이와 다르게 다른 기판에 별도로 형성되거나 하나 이상의 소자가 동일 기판에 형성될 수 있다. 예를 들어, 제1 기판(1100) 및 제2 기판(1130)은 반도체 기판 또는 PCB(Printed Circuit Board)일 수 있다.
도 6에서는 제1 광원(1101a, 1101b), 제1 렌즈(1102a, 1102b), 공간 광 변조기(1103a, 1103b) 등은 2개로 표현하고, 광 검출기(1120a, 1120b, 1120c, 1120d), 전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d) 및 제2 광원(1122a, 1122b, 1122c, 1122d)은 4개로 표현하였지만, 이들은 일례에 불과하며, 각 소자의 개수는 필요에 따라 변경하여 설계 가능하다.
예를 들어, 본 발명에서 광원은 LED(light emitting diode)나 반도체 레이저, 특히 수직 표면광 레이저(vertical-cavity surface-emitting laser)를 사용할 수 있다. 광원에 흘려주는 전류의 세기를 통해 빛의 세기를 조절하여 입력 값을 개별적으로 조절할 수 있다.
복수의 제1 광원(1101a, 1101b)에서 나온 빛은 각각 대응하는 복수의 제1 렌즈(1102a, 1102b)를 통과한 후, 대응하는 공간 광 변조기(1103a, 1103b)를 통과한다. 제1 렌즈(1102a, 1102b)는 대응하는 제1 광원(1101a, 1101b)에서 조사된 광선이 발산각(divergence angle)을 감소시키는 역할을 하며, 바람직하게는 평행광으로 변조하는 역할을 한다.
도 6에서는 각 제1 광원(1101a, 1101b)에서 나오는 빛 중에서 대표적인 광선 4개씩을 보이고 있으며, 4개의 광선은 각각 공간 광 변조기(1103a, 1103b)에 있는 개별적 픽셀을 통과하게 된다.
공간 광 변조기(1103a, 1103b)는 복수의 제1 렌즈(1102a, 1102b)에 각각 대응하여 형성되고, 미리 설정된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈(1102a, 1102b)를 통과한 광선의 세기를 조절한다.
예를 들어, 공간 광 변조기(1103a, 1103b)로 각각 액정 디스플레이 패널(LCD: liquid crystal display)을 사용할 수 있다. LCD 패널은 들어오는 빛의 세기를 전압에 따라 다른 투과율로 조절하여 통과시키는 역할을 하므로 각 광선의 세기를 미리 정해진 값으로 조절이 가능하다.
따라서, 같은 광원에서 출발한 빛이라도 LCD 패널에서 각 픽셀의 투과율에 따라 픽셀을 통과하는 빛의 세기는 달라진다. 예를 들어, 광원의 조도가 1.0 W/m2 일 경우, LCD 픽셀의 투과율이 0.10이면 출력광의 조도는 0.10 W/m2 이고, 투과율이 0.05 이면 출력광의 조도는 0.05 W/m2 가 된다.
LCD 패널의 투과율은 전압에 따라 보통 256 단계 이상으로 조절할 수 있으므로 이러한 방식으로 신경망에서 가중치와 입력 값의 곱인 를 구현할 수 있다. 여기서, 입력 값은 광원의 세기이고 공간 광변조기의 투과율은 가중치에 해당한다. 또한, 공간 광 변조기 픽셀의 개수는 출력 노드의 개수와 같게 조절할 수 있다.
공간 광 변조기(1103a, 1103b)를 통과한 광선들은 렌즈부(1104a, 1104b, 1105)로 입력된다. 렌즈부(1104a, 1104b, 1105)는 복수의 공간 광 변조기(1103a, 1103b)와 복수의 광 검출기(1120a, 1120b, 1120c, 1120d) 사이에 형성된다.
또한, 렌즈부(1104a, 1104b, 1105)는 각 공간 광 변조기(1103a, 1103b)의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원(1101a, 1101b)에서 조사된 광선을 하나의 광 검출기(1120a, 1120b, 1120c, 1120d)로 모으는 역할을 수행한다.
본 발명의 제1 실시예에서, 렌즈부(1104a, 1104b, 1105)는 복수의 공간 광 변조기(1103a, 1103b)에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제2 렌즈(1104a, 1104b) 및 복수의 제2 렌즈(1104a, 1104b)를 통과한 모든 광선을 통과시키는 제3 렌즈(1105)를 포함한다. 만약, 제2 렌즈(1104a, 1104b)를 입사하는 광선이 평행광이라면 초점에 모이게 된다.
각 공간 광 변조기(1103a, 1103b)를 통과한 광선은 대응하는 각 제2 렌즈(1104a, 1104b)를 통과해서 초점에 모였다가 다시 퍼지게 되는데, 이때 다시 제3 렌즈(1105)를 통과하게 된다.
제2 렌즈(1104a, 1104b)를 통과할 때 광선이 제2 렌즈(1104a, 1104b)의 광축에서 떨어진 광선의 높이에 따라 광선의 각도가 달라지는데 제2 렌즈(1104a)의 광축에서 가장 높은 위치를 통과하는 광선(1110a)과 제2 렌즈(1104b)의 광축에서 가장 높은 위치를 통과하는 광선(1110b)은 수평 축에 대해 동일한 각도를 가지게 된다.
두 광선(1110a, 1110b)은 평행광을 형성하면서 제3 렌즈(1105)에 들어가므로, 제3 렌즈(1105)의 초점 평면 상에서 동일한 점에 모이게 된다. 도 6에서는 두 광선이 하나의 광 검출기(1120d)에 모이게 된다.
마찬가지로, 상대적으로 동일 위치의 광선인 제2 렌즈(1104a)를 통과하는 광선(1111a)과 제2 렌즈(1104b)를 통과하는 광선(1111b)은 제3 렌즈(1105)를 통과한 후 하나의 광 검출기(1120c)에 모이게 된다.
또한, 제2 렌즈(1104a)를 통과하는 광선(1112a)과 2 렌즈(1104b)를 통과하는 광선(1112b)은 제3 렌즈(1105)를 통과한 후 하나의 광 검출기(1120b)에 모이고, 제2 렌즈(1104a)를 통과하는 광선(1113a)과 2 렌즈(1104b)를 통과하는 광선(1113b)은 제3 렌즈(1105)를 통과한 후 하나의 광 검출기(1120a)에 모이게 된다.
광 검출기(1120a, 1120b, 1120c, 1120d)는 보통 포토다이오드(photo-diode)와 같은 광 반도체 소자로 구성할 수 있다. 광 검출기(1120a, 1120b, 1120c, 1120d)에 흐르는 전류는 결국 각 광 검출기(1120a, 1120b, 1120c, 1120d)에 도착한 빛의 세기의 합인 , 에 비례하는 값을 가지게 된다.
도 7에 광 컴퓨터 입출력과 신경망을 비교한 도면을 보이고 있다. 전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d)은 각각 대응하는 광 검출기(1120a, 1120b, 1120c, 1120d)에서 얻어진 전류 값 또는 그 증폭된 값과 전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d)에 각각 저장된 바이어스 값(b3, b2, b1, b0)를 더한 뒤, 그 값을 입력으로 해서 시그모이드 함수 б를 계산한 뒤, 신경망 출력 값을 얻어낸다.
일 실시예에서, 전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d)의 각 출력값은 연결된 제2 광원(1122a, 1122b, 1122c, 1122d)으로 각각 전달될 수 있다. 따라서, 전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d)의 출력 값은 각각 , , , 과 비례하게 조정될 수 있다.
각 전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d)은 시그모이드 함수 이외에도 RELU 함수와 같은 다른 활성화 함수도 사용할 수 있다.
전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d)은 함수 연산 이외에도 결과 값이나 외부 입력 값을 저장하여 연산에 사용할 수 있다. 이러한 메모리 기능은 다음 순차(sequence)에서의 계산 값과 저장된 값을 비교하거나 저장된 값을 이용한 함수 계산에 사용함으로써 다양한 계산을 수행할 수 있게 한다.
전자 프로세싱 유닛은 통신 기능이 있어 연결된 통신 선을 통해 주변의 전자 프로세싱 유닛이나 외부 프로세서와 데이터를 교환할 수 있다.
제2 광원(1122a, 1122b, 1122c, 1122d)은 신경망의 ai(l)에 해당하며 다음 층의 입력 값으로 쓰인다. 제1 광원1(101a, 1101b)에서 출발한 다른 방향의 광선들도 마찬가지로 제2 기판(1130)에 위치한 다른 광 검출기들에 모이고 전자 프로세싱 유닛을 통해 다음 층의 입력 값으로 연결된다.
전자 프로세싱 유닛(1121a, 1121b, 1121c, 1121d)은 반도체 기판에 형성된 전자 집적 회로로서 아날로그 회로나 디지털 회로를 통해 구현할 수 있다.
본 실시예에서 사용된 렌즈들은 굴절 렌즈나 회절 광소자를 사용하여 구현할 수 있다.
제1 광원(1101a, 1101b)과 이에 각각 대응하는 제1 렌즈(1102a, 1102b)는, 오차 20% 이내에서 제1 렌즈(1102a, 1102b)의 초점 거리만큼 이격되어 형성될 수 있다.
또한, 공간 광 변조기(1103a, 1103b)와 이에 각각 대응하는 제2 렌즈(1104a, 1104b)는, 오차 20% 이내에서 제2 렌즈(1104a, 1104b)의 초점 거리만큼 이격되어 형성되고, 각 광 검출기(1120a, 1120b, 1120c, 1120d)는 오차 40% 이내에서 제3 렌즈(1105)의 초점 거리만큼 제3 렌즈(1105)로부터 이격되어 형성될 수 있다.
특히, 공간 광 변조기(1103a, 1103b)는 제2 렌즈(1104a, 1104b)에서 제2 렌즈(1104a, 1104b)의 초점 거리만큼 떨어져 있고, 렌즈(1105)가 광 검출기(1120)와 제3 렌즈(1105)의 초점 거리만큼 떨어져 있게 되면, 공간 광 변조기(1103a, 1103b)의 상이 광 검출기에 생기므로 교차 잡음(cross-talk)을 줄일 수 있다.
그러나, 공간 광 변조기(1103a, 1103b)와 제2 렌즈(1104a, 1104b) 사이의 거리는 정확히 초점 거리가 아니라 약간 벗어나더라도, 제3 렌즈(1105)와 광 검출기(1120a, 1120b, 1120c, 1120d) 사이의 거리를 조절해서 공간 광 변조기(1103a, 1103b) 픽셀의 상이 광 검출기(1120a, 1120b, 1120c, 1120d)에 맺히게 할 수 있으므로 어느 정도 공차(tolerance)를 가질 수 있다.
마찬가지로, 제1 광원(1101a, 1101b)과 이에 각각 대응하는 제1 렌즈(1102a, 1102b) 사이의 거리도 초점 거리에서 약간 벗어나도 다른 렌즈나 소자 사이의 거리를 조정하여 성능을 유지할 수 있다.
예를 들어, 다수의 광원에 해당하는 다수의 제1 렌즈(1102a, 1102b)들은 하나의 기판에 형성할 수 있으며, 다수의 공간 광 변조기(1103a, 1103b)도 하나의 기판에 형성할 수 있으며, 다수의 제2 렌즈(1104a, 1104b)들도 하나의 기판에 형성할 수 있다. 이러한 구조는 전체 시스템의 부피나 광 정렬(optical alignment)을 용이하게 할 수 있다.
도 8는 도 6에서 구현한 광전자 모듈을 연속하여(cascade) 적용한 예이다.
도 8를 참조하면, 제1 광 계산층(1201)은 반복되어 제2 광 계산층(1202)에 나타나며 임의의 개수 신경망 층을 구현할 수 있다. 앞선 층에서 출력 값은 뒤에 나오는 층의 입력과 연결될 수 있다.
도 9는 본 발명의 제2 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈의 개념도이다.
본 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈(1030)은, 도 6의 광전자 모듈(1010)과 광 검출기의 구성을 제외하고 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 6의 광전자 모듈(1010)과 동일한 구성요소에 대한 반복되는 설명은 생략한다.
도 9를 참조하면, 본 발명의 제2 실시예에 따른 광 광전자 모듈(1030)은 복수의 제1 광 검출기(1321a, 1321b) 및 복수의 제2 광 검출기(1323a, 1323b)를 포함한다. 또한, 복수의 전자 프로세싱 유닛(1322a, 1322b)과 이에 각 대응하는 제2 광원(1324a, 1324b)을 더 포함할 수 있다.
제1 광 검출기(1321a)와 제2 광 검출기(1323a)의 출력 값은 전자 프로세싱 유닛(1322a)에 연결되고, 제2 광 검출기(1321b)와 제2 광 검출기(1323b)의 출력 값은 전자 프로세싱 유닛(1322b)에 연결될 수 있다.
본 실시예의 구조는 두 개의 광 검출기의 값을 사용하여 다양한 연산을 수행할 수 있는 장점을 제공한다. 가장 쉬운 예는 뺄셈이다. 예를 들어, 를 계산하는 경우를 가정한다.
빛을 사용하여 뺄셈을 하는 것은 상쇄 간섭과 같은 원리를 사용하여 가능하지만 경로차를 조절해야 하는 등 광 컴퓨팅 회로의 복잡도가 증가하게 된다. 빛의 세기만을 검출하는 광 검출기에 두 광선이 들어올 경우, 뺄셈은 쉽지 않다.
따라서, 본 실시예에서는 (+) 항에 해당하는 빛은 제2 광 검출기(1323a, 1323b)에 모으고, (-) 항에 해당하는 빛은 제1 광 검출기(1321a, 1321b)에 모아 이 두 결과를 뺄셈하여 계산한다.
도 7에 있는 표현을 사용하여 , , , 를 대입하여 계산하면, 두 검출기(1323b, 1321b)의 출력은 각각 , 이며, 전자 프로세싱 유닛(1322b)에서 뺄셈을 한 결과는 다음의 수학식 3와 같다.
[수학식 3]
전자 프로세싱 유닛(1322b)은 뺄셈과 함께 바이어스와 시그모이드 함수까지 함께 계산한다면 를 얻어 낼 수 있다.
수학식 1과 같이 임의의 개수 항이 있을 경우에도, (+) 항에 해당하는 광선들은 가중치를 원래 모델 값으로 세팅하고, (-) 항에 해당하는 광선들은 가중치를 0으로 세팅하게 되면, (+) 항에 해당하는 광선들만 광 검출기(1323b)에 모아서 합산할 수 있다.
마찬가지로, (-) 항에 해당하는 광선들은 모아서 광 검출기(1321b)로 보내어 합산할 수 있다. 따라서, 이러한 방식으로 음수의 가중치를 포함하는 일반적 신경망 관련 연산을 수행할 수 있다.
각 전자 프로세싱 유닛(1322a, 1322b)은 주변의 광 검출기 두 개뿐 아니라 인접해 있는 다수의 광 검출기의 출력을 입력으로 사용할 수 있으며 뺄셈 이외의 다양한 함수를 전자회로를 통해 구현할 수 있다.
실제로 뺄셈이나 시그모이드 함수 연산은 아날로그 또는 디지털 전자회로를 사용해 구현이 가능하다. 본 실시예에서는 다수 광 검출기와 전자 프로세싱 유닛 사이의 연결이 설명되어 있지만 다수의 전자 프로세싱 유닛 사이의 연결도 동일한 효과를 구현할 수 있다.
각 전자 프로세싱 유닛(1322a, 1322b)은 이 밖에도 바이어스 값을 저장할 수 있으며, 광 검출기에서 입력되는 전류를 증폭하거나, 연산 결과를 제2 광원의 입력으로 보낼 때 결과에 비례하는 전류 값으로 변환하는 역할도 수행할 수 있다.
도 10은 도 9에서 구현한 광전자 모듈을 연속하여(cascade) 연결한 모습으로 임의 개수의 신경망 층(1401, 1402)을 구현할 수 있다.
도 11은 본 발명의 제3 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈의 개념도이다.
본 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈(1050)은, 도 6의 광전자 모듈(1010) 및 도 9의 광전자 모듈(1030) 구조에서 공간 광 변조기 다음 단에 두 단계의 렌즈를 사용한 것에 반해 한 단계의 렌즈(1504a, 1504b, 1504c)를 사용한다. 본 실시예에서는 한 단계의 렌즈(1504a, 1504b, 1504c)를 제4 렌즈(1504a, 1504b, 1504c)로 칭한다.
제4 렌즈(1504a, 1504b, 1504c)는 대응하는 각 공간 광 변조기(1503a, 1503b, 1503c)의 픽셀을 통과한 광선 다발을 각기 다른 방향으로 보내고, 제2 기판(1520)에서 광 검출기(1521a, 1521b, 1521c) 표면에 작은 스폿(spot)을 형성하게 한다.
또한, 제4 렌즈(1504a, 1504b, 1504c)는 복수의 제1 광원(1501a, 1501b, 1501c)에서 조사되고 상대적인 위치가 다른 픽셀을 통과한 일부 광선을 하나의 검출기에 모으는 역할을 한다.
이 때, 제4 렌즈(1504a, 1504b, 1504c)는 대응하는 공간 광 변조기(1503a, 1503b, 1503c)에 있는 픽셀의 상을 광 검출기(1521a, 1521b, 1521c) 표면에 맺는 위치에 형성될 수 있다.
본 실시예에서, 각 제1 광원(1501a, 1501b, 1501c) 및 이와 각각 대응하는 제1 렌즈(1502a, 1502b, 1502c)는, 오차 20% 이내에서 제1 렌즈(1502a, 1502b, 1502c)의 초점 거리만큼 이격되어 형성될 수 있다.
이에 따라, 각 제4 렌즈(1504a, 1504b, 1504c)는, 오차 20% 이내에서 각 제4 렌즈(1504a, 1504b, 1504c)와 대응하는 공간 광 변조기(1503a, 1503b, 1503c)의 픽셀의 상을 광 검출기(1521a, 1521b, 1521c) 표면에 맺히게 할 수 있다.
예를 들어, 제4 렌즈(1504a, 1504b, 1504c)는 프리즘과 구면 렌즈를 결합한 렌즈 또는 회절 광소자(Diffractive optical element)를 사용해 구현할 수 있다.
도 11의 경우 광 검출기(1521a, 1521b, 1521c)의 경우 세 개의 제1 광원(1501a, 1501b, 1501c)에서 나온 빛이 공간 광 변조기(1503a, 1503b, 1503c)에서 각각 가중치와 곱해진 다음 광 검출기(1521a, 1521b, 1521c)에서 더해지는 구조를 가지고 있다.
이러한 방식으로 얻어진 광 전류는 전자 프로세싱 유닛(1522a, 1522b, 1522c)에서 바이어스와 시그모이드 함수를 계산하고, 주변에 있는 전자 프로세싱 유닛(1522a, 1522b, 1522c)과 연결되어 다양한 연산을 수행한 후 출력 값을 다음 층 광원(1523a, 1523b, 1523c)으로 보낸다.
본 발명은 순수 전자회로 대신 광 연결을 사용한 광 컴퓨터 구조를 구현함으로써 입력과 출력 단자의 개수가 각각 N과 M으로 늘어나도 전기회로와 같이 연결선의 물리적 구조가 복잡해지거나 잡음이 생기지 않고 대략 N X M 번의 곱셈과 덧셈을 한 번에 수행함으로써 계산 속도를 빠르게 하는 광 컴퓨터 구조 및 기술을 제공한다.
공간 광 변조기의 픽셀 값이 이미 정해진 경우, 광원에서 광 검출기에 이르는 광 경로들이 겹쳐짐에도 불구하고 서로 다른 경로의 광자들을 방해하지 않기 때문에 병렬 계산이 가능하고 빛의 속도로 광 검출기에 도착하기 때문에 계산 시간은 매우 짧아지게 된다.
또한, 계산에 있어서 시간 지연은 전자 프로세싱 유닛에서 일어나지만 모든 출력에서 병렬로 진행되므로 디지털 전자회로의 1 명령사이클(instruction cycle)에 해당한다고 볼 수 있다. L 개의 다층 신경망을 구성할 경우에, 모든 층에서 계산이 동시에 수행되므로 실제 계산 속도는 N X M X L 배 증가하게 된다.
앞서 설명한 도 6 내지 도 11에서는 공간 광 변조기를 사용한 광전자 모듈과 이를 포함하는 광신경망 컴퓨터에 대해 설명하였다.
그러나 이러한 광신경망 컴퓨터는 스위칭 속도가 느린 공간 광 변조기를 사용하므로 같은 입력 데이터에 대해서 서로 다른 가중치 세트에 대한 계산을 수행하는 경우 가중치 세트를 갱신하는데 많은 시간이 걸리는 단점이 있다. 또한 이러한 가중치 세트 갱신에 대한 요구와 공간 광 변조기의 느린 스위칭 속도는 고정된 가중치 값을 사용하지 않고 가중치를 중간에 변경해야 하는 알고리듬을 수행할 경우 광신경망 컴퓨터의 병렬 처리 속도를 저해하는 원인이 될 수 있다.
따라서 이하에서는 도 12 내지 도 15을 통해 스마트 픽셀 광 변조기를 사용한 광전자 모듈과 이를 포함하는 광신경망 컴퓨터에 대해 설명하도록 한다.
도 12은 본 발명의 제1 실시예에 따른 스마트 픽셀 광 변조기를 사용한 광 신경망 컴퓨터의 개념도이다.
도시된 광전자 모듈(1060)은 복수의 제1 광원(1601a, 1601b), 복수의 제1 렌즈(1602a, 1602b), 복수의 스마트 픽셀 광 변조기(Smart Pixel Light Modulator, SPLM)(1603a, 1603b), 복수의 광 검출기(photodiode, PD)(1620a, 1620b, 1620c, 1620d) 및 렌즈부(1604a, 1604b, 1605)를 포함한다.
복수의 제1 광원(1601a, 1601b)은 제1 기판(1600)에 일정 간격으로 이격되어 형성될 수 있으나, 이와 다르게 다른 기판에 각각 형성될 수도 있다.
본 발명의 제1 실시예에 따른 광전자 모듈(1060)은 복수의 전자 프로세싱(Electronic Processing, EP) 유닛(1621a, 1621b, 1621c, 1621d) 및 복수의 제2 광원(1622a, 1622b, 1622c, 1622d)을 더 포함할 수 있다.
복수의 광 검출기(1620a, 1620b, 1620c, 1620d), 복수의 전자 프로세싱 유닛(1621a, 1621b, 1621c, 1621d) 및 복수의 제2 광원(1622a, 1622b, 1622c, 1622d)은 제2 기판(1630)에 형성될 수 있으나, 이와 다르게 다른 기판에 별도로 형성되거나 하나 이상의 소자가 동일 기판에 형성될 수 있다. 예를 들어, 제1 기판(1600) 및 제2 기판(1630)은 반도체 기판 또는 PCB일 수 있다.
도 12에서는 제1 광원(1601a, 1601b), 제1 렌즈(1602a, 1602b), 스마트 픽셀 광 변조기(1603a, 1603b) 등은 2개로 표현하고, 광 검출기(1620a, 1620b, 1620c, 1620d), 전자 프로세싱 유닛(1621a, 1621b, 1621c, 1621d) 및 제2 광원(1622a, 1622b, 1622c, 1622d)은 4개로 표현하였지만, 이들은 일례에 불과하며, 각 소자의 개수는 필요에 따라 변경하여 설계 가능하다.
예를 들어, 본 발명에서 광원은 LED나 반도체 레이저, 특히 수직 표면광 레이저를 사용할 수 있다. 광원에 흘려주는 전류의 세기를 통해 빛의 세기를 조절하여 입력 값을 개별적으로 조절할 수 있다.
복수의 제1 광원(1601a, 1601b)에서 나온 빛은 각각 대응하는 복수의 제1 렌즈(1602a, 1602b)를 통과한 후, 대응하는 스마트 픽셀 광 변조기(1603a, 1603b)를 통과한다. 제1 렌즈(1602a, 1602b)는 대응하는 제1 광원(1601a, 1601b)에서 조사된 광선이 발산각을 감소시키는 역할을 하며, 바람직하게는 평행광으로 변조하는 역할을 한다.
도 12에서는 각 제1 광원(1601a, 1601b)에서 나오는 빛 중에서 대표적인 광선 4개씩을 보이고 있으며, 4개의 광선은 각각 스마트 픽셀 광 변조기(1603a, 1603b)에 있는 개별적 픽셀을 통과하게 된다.
스마트 픽셀 광 변조기(1603a, 1603b)는 복수의 제1 렌즈(1602a, 1602b)에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈(1602a, 1602b)를 통과한 광선의 세기를 조절한다.
또한 스마트 픽셀 광 변조기(1603a, 1603b)는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 광 검출기와 전자 프로세싱 유닛(1606a, 1606b), 광원(1607a, 1607b)이 할당된다. 여기서 광 검출기(1606a, 1606b)는 제1 렌즈(1602a, 1602b)를 통과한 광선을 전류 신호로 바꾸고, 전자 프로세싱 유닛(1606a, 1606b)은 상기 전류 신호를 증폭시키거나 상기 전류 신호를 메모리에 저장된 가중치 값과 곱셈, 덧셈 등을 통해 연산한 결과 값을 전류 신호로 변환하여 연결된 광원(1607a, 1607b)으로 내보낸다.
이렇게 스마트 픽셀 광 변조기(1603a, 1603b)는 각 픽셀마다 광 검출기, 전자 프로세싱 유닛 및 광원이 할당되어 있어 주변의 픽셀과 연결되지 않아도 되기 때문에 병렬 계산의 효율성을 해치지 않는다. 가장 중요한 것은 이러한 전자 소자들의 스위칭 속도가 빠르기 때문에 앞서 도 6 내지 도 11을 통해 설명한 공간 광 변조기(LCD, DMD) 속도인 수 kHz에 비해 훨씬 빠른 수백 MHz의 속도로 가중치 갱신이 가능하다는 점이다.
각 픽셀의 메모리에는 프로그램에 따라 적용해야 할 가중치 또는 바이어스 값이 저장되어 있다. 결국 스마트 픽셀 광 변조기는 각 픽셀 당 메모리가 있는 광 리피터(repeater)가 배열 형태로 배치되어 있는 구조라고 생각할 수 있다.
한편, 스마트 픽셀 광 변조기(1603a, 1603b)를 통과한 광선들은 렌즈부(1604a, 1604b, 1605)로 입력된다. 렌즈부(1604a, 1604b, 1605)는 복수의 스마트 픽셀 광 변조기(1603a, 1603b)와 복수의 광 검출기(1620a, 1620b, 1620c, 1620d) 사이에 형성된다.
또한, 렌즈부(1604a, 1604b, 1605)는 각 스마트 픽셀 광 변조기(1603a, 1603b)의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원(1601a, 1601b)에서 조사된 광선을 하나의 광 검출기(1620a, 1620b, 1620c, 1620d)로 모으는 역할을 수행한다.
본 발명의 실시예에서, 렌즈부(1604a, 1604b, 1605)는 복수의 스마트 픽셀 광 변조기(1603a, 1603b)에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제2 렌즈(1604a, 1604b) 및 복수의 제2 렌즈(1604a, 1604b)를 통과한 모든 광선을 통과시키는 제3 렌즈(1605)를 포함한다. 만약, 제2 렌즈(1604a, 1604b)를 입사하는 광선이 평행광이라면 초점에 모이게 된다.
각 스마트 픽셀 광 변조기(1603a, 1603b)를 통과한 광선은 대응하는 각 제2 렌즈(1604a, 1604b)를 통과해서 초점에 모였다가 다시 퍼지게 되는데, 이때 다시 제3 렌즈(1605)를 통과하게 된다.
제2 렌즈(1604a, 1604b)를 통과할 때 광선이 제2 렌즈(1604a, 1604b)의 광축에서 떨어진 광선의 높이에 따라 광선의 각도가 달라지는데 제2 렌즈(1604a)의 광축에서 가장 높은 위치를 통과하는 광선(1610a)과 제2 렌즈(1604b)의 광축에서 가장 높은 위치를 통과하는 광선(1610b)은 수평 축에 대해 동일한 각도를 가지게 된다.
두 광선(1610a, 1610b)은 평행광을 형성하면서 제3 렌즈(1605)에 들어가므로, 제3 렌즈(1605)의 초점 평면 상에서 동일한 점에 모이게 된다. 도 12에서는 두 광선이 하나의 광 검출기(1620d)에 모이게 된다.
마찬가지로, 상대적으로 동일 위치의 광선인 제2 렌즈(1604a)를 통과하는 광선(1611a)과 제2 렌즈(1604b)를 통과하는 광선(1611b)은 제3 렌즈(1605)를 통과한 후 하나의 광 검출기(1620c)에 모이게 된다.
또한, 제2 렌즈(1604a)를 통과하는 광선(1612a)과 제2 렌즈(1604b)를 통과하는 광선(1612b)은 제3 렌즈(1605)를 통과한 후 하나의 광 검출기(1620b)에 모이고, 제2 렌즈(1604a)를 통과하는 광선(1613a)과 2 렌즈(1604b)를 통과하는 광선(1613b)은 제3 렌즈(1605)를 통과한 후 하나의 광 검출기(1620a)에 모이게 된다.
광 검출기(1620a, 1620b, 1620c, 1620d)는 보통 포토다이오드와 같은 광 반도체 소자로 구성할 수 있다. 광 검출기(1620a, 1620b, 1620c, 1620d)에 흐르는 전류는 결국 각 광 검출기(1620a, 1620b, 1620c, 1620d)에 도착한 빛의 세기의 합인 , 에 비례하는 값을 가지게 된다.
도 13는 본 발명의 제2 실시예에 따른 팬아웃을 포함한 스마트 픽셀 광 변조기를 사용한 광 신경망 컴퓨터의 개념도이고, 도 14은 도 13의 스마트 픽셀 광 변조기의 개념도이다.
도시된 광전자 모듈(1070)은 복수의 전기적 입력(1700), 복수의 스마트 픽셀 광 변조기(1701), 렌즈부(1702, 1703) 및 복수의 광 검출기(photodiode, PD)(1704)를 포함한다. 이렇게 광전자 모듈(1070)은 도 12의 구조를 더욱 단순화한 구조로써, 제1 렌즈가 없어지고 대신에 전기적 팬아웃(Fan-out) 구조(1707)가 스마트 픽셀 광 변조기(1701)에 포함된다.
도 13의 구조는 도 9에 나온 것과 같이 (-) 부호를 가지는 가중치를 가지는 신경망 연산을 수행할 수 있다. 도 9에서는 가중치 중에서 (+) 항을 가지는 가중치와 (-) 항을 가지는 가중치에 해당하는 공간 광 변조기 픽셀을 통과하는 광선들을 별도의 광 검출기에 모아서 전자 프로세싱 유닛에서 뺄셈을 통해 연산을 수행하였다.
하지만 도 13의 구조에서는 스마트 픽셀 광 변조기(1701)의 가중치 갱신 속도가 빠르기 때문에 먼저 (+) 항에 해당하는 가중치를 사용해서 연산한 결과를 전자 프로세싱 유닛(1705)의 메모리에 저장한 다음, (-) 항에 해당하는 가중치로 갱신하여 같은 입력 값에 대해 광 검출기(1704)에 모으고 전자 프로세싱 유닛(1705)이 메모리에 저장된 (+) 항 계산 결과에서 (-) 항 계산 결과를 빼서 연산을 수행하면 도 9에 나온 것과 같은 결과를 얻어 낼 수 있다.
이러한 점은 각 출력 노드에 대해 두 개의 광 채널에 해당하는 두 개의 광 검출기와 공간 광 변조기 두 픽셀을 필요로 하지 않기 때문에 하드웨어 구성을 더 단순화할 수 있다. 이와 같이 기존의 공간 광 변조기에 비해 스마트 픽셀 광 변조기(1701)의 사용은 같은 입력 값에 대해 가중치를 계산 중간에 갱신해서 계산해야 하는 알고리듬을 적용하는 데 있어 매우 효과적이다.
스마트 픽셀 광 변조기(1701)의 더 자세한 구조는 도 14에 나와 있다. 전기적 팬아웃 구조는 전기적 입력 신호를 전선을 통해 여러 갈래로 분기한 구조로서, 전기적 입력 신호를 렌즈를 통해 광학적으로 연결하는 구성 대비 단순하기 때문에 도 13 및 도 14에서와 같이 전기적 팬아웃 구조(1707)를 스마트 픽셀 광 변조기(1701)에 적용하여 광전자 모듈의 전반적인 하드웨어 구조를 더욱 단순화할 수 있다.
스마트 픽셀 광 변조기(1701)는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 전자 프로세싱 유닛(1708)과 광원(1709)이 할당된다.
전기적 입력 신호는 팬아웃 구조(1707)를 통해 상기 픽셀들 각각에 분배된다. 즉 상기 입력 신호는 상기 팬아웃 구조(1707)를 통해 전자 프로세싱 유닛(1708)에 연결되고, 상기 전자 프로세싱 유닛(1708)은 상기 입력 신호를 메모리에 저장된 가중치 값과 연산한 결과 값을 전류 신호로 변환하여 광원(1709)으로 내보낸다. 여기서 상기 연산은 일례로 곱셈 연산이 될 수 있으며, 따라서 각 픽셀의 출력 광원의 세기는 상기 입력 신호와 상기 가중치 값의 곱에 비례하는 특성을 갖는다.
도 15은 본 발명의 제3 실시예에 따른 스마트 픽셀 광변조기를 사용한 광신경망 컴퓨터의 개념도이다.
도 15은 도 13에서 설명한 구조에서 제2 렌즈(1702)와 제3 렌즈(1703)의 간격을 줄여서 가깝게 붙인 구조이다. 도 13에서는 제2 렌즈(1702)와 제3 렌즈(1703)가 릴레이 광학계를 이루고 있어서 두 렌즈 사이에 평행광이 지나게 된다. 따라서 두 렌즈 간의 거리를 도 15에서와 같이 좁혀도 스마트 픽셀 광 변조기(1801)의 이미지가 제1 광 검출기(1804)에 맺히는 동일한 결과를 가져온다.
또한 도 15에 나타낸 제2 렌즈(1802)와 제3 렌즈(1803)는 하나의 광학 부품으로 접착하여 기능을 통합할 수 있으며, 또는 회절 광학 소자(DOE: diffractive optical element)를 사용해 결합된 하나의 렌즈로 가공하여 기능을 통합할 수도 있다. 이 경우 광전자 모듈의 하드웨어 구조는 더욱 단순화할 수 있다.
도 16 내지 도 19을 통해 공간광변조기(2400)를 이용한 광전자 모듈(2010)의 개념에 대하여 설명하기로 한다.
도 16는 본 발명의 제4 실시예에 따른 공간광변조기(2400)를 이용한 광전자 모듈(2010)에 대한 개념도이다.
본 발명에 따른 공간광변조기(2400)를 이용한 광전자 모듈(2010)은 기판(2100), 제1 광원(2200), 렌즈부(2300), 공간광변조기(2400), 광검출기(2500) 및 전자 프로세싱 유닛(2600)을 포함할 수 있다.
기판(2100)은 복수의 제1 광원(2200), 복수의 광 검출기(2500) 및 복수의 전자 프로세싱 유닛(2600)이 형성될 수 있다.
이는, 하나 이상의 소자가 동일 기판에 형성될 수 있으나, 이와 다르게 다른 기판에 별도로 형성될 수 있다.
또한 기판(2100)은 반도체 기판 또는 PCB (Printed Circuit Board)로 형성될 수 있다.
한편, 광원(2200)은 LED(Light Emitteing Diode)나 반도체 레이저, 수직 표면광 레이저 (Vertical-Cavity Surface-Emitting Laser)일 수 있다.
광원(2200)은 인가하는 전류의 조절을 통해 광량을 조절할 수 있으며, 복수개의 광원에 흐르는 전류의 입력 값을 개별적으로 조절할 수 있다.
광원(2200)에서 나온 빛은, 이 광원에 대응하는 렌즈부(2300)를 통과한 후 대응하는 공간광변조기(2400)를 통과할 수 있다.
렌즈부(2300)는 복수의 공간광변조기(2400)와 복수의 광 검출기(2500)사이에 형성되어, 각 공간광변조기(2400)의 서로 다른 상대 위치에 있는 픽셀을 통과하는, 서로 다른 제1 광원(2200)에서 조사된 광선을 하나의 광 검출기(2500)로 모으는 기능을 사용하여 광원 배열과 공간광변조기(2400)의 픽셀 배열의 합성곱을 계산하는 기능을 구현할 수 있다.
또한, 렌즈부(2300)는, 제1 렌즈(2310), 제2 렌즈(2320) 및 제3 렌즈(2330)를 포함할 수 있다.
제1 렌즈(2310)는 복수의 광원(2200)에 각각 대응하여 형성되고, 대응하는 광원(2200)에서 조사된 광선의 발산각(divergence angle)을 감소시킬 수 있다.
제2 렌즈(2320)는, 복수의 공간광변조기(2400)에 각각 대응되는 위치에 형성되어 광선을 한점에 모으도록 복수개로 마련될 수 있다.
제3 렌즈 (2330)는, 제2 렌즈(2320)를 통과한 광선을 통과하여 각각의 제2 렌즈(2320)에 대응되게 복수개로 마련될 수 있다.
제1 렌즈(2310)를 통과한 후 동일한 공간광변조기(2400)의 픽셀을 통과하는 광선은 제2 렌즈(2320)를 통과한 후 동일한 각도를 가질 수 있다.
또한, 렌즈부(2300)는 굴절렌즈, 회절 광소자, 메타 렌즈 등을 사용하여 구현될 수 있다.
또한, 공간광변조기(2400)를 통과한 광선은 대응하는 제2 렌즈(2320)를 통과하여 초점에 모였다가 다시 퍼지면서 제3 렌즈(2330)를 통과할 수 있다. 보다 구체적으로, 제2 렌즈(2320)를 통과할 때, 광선이 제2 렌즈(2320)의 광축에서 떨어진 광선의 높이에 따라 광선의 각도가 달라지는데, 제2 렌즈(2320)의 광축에서 가장 높은 위치를 통과하는 첫번째 광선과 제2 렌즈(2320)의 광축에서 가장 높은 위치를 통과하는 두번째 광선은 수평 축에 대해 동일한 각도를 가질 수 있다.
따라서, 제1 광원(2200)과 이에 대응하는 제1 렌즈(2310)는, 제1 렌즈(2310)의 초점 거리만큼 이격되어 형성될 수 있으며, 이격거리는 초점 거리에서 벗어나 일정 오차를 포함할 수 있다. 또한, 각 공간광변조기(2400)와 각 공간광변조기에 대응하는 제2 렌즈(2320)는, 제 1거리만큼 이격되어 형성되고, 각 광 검출기(2500)는 제3 렌즈로부터 제 2거리만큼 이격되어 형성될 수 있다. 여기서 제 2거리는 공간광변조기(2400)의 픽셀의 상이 광 검출기(2500)에 맺히도록 하는 거리에서 일정 오차값 이상 벗어나지 않는 관계를 만족할 수 있다.
공간광변조기(2400)는, 복수의 제1 렌즈(2310)에 각각 대응하여 복수개로 형성되고, 미리 설정된 가중치를 갖는 각각의 픽셀들을 통해 제1 렌즈(2310)를 통과한 광선의 세기를 조절할 수 있다.
또한, 공간광변조기(2400)의 상대적인 위치는 제1 렌즈(2310) 또는 제2 렌즈(2320), 제3 렌즈(2330)의 중심축을 기준으로 한 공간광변조기 픽셀의 공간광변조기 평면상 좌표 또는 위치를 의미할 수 있다.
공간광변조기(2400)에는 렌즈 직경에 해당하는 크기의 공간광변조기 픽셀 배열들이 있으며 해당하는 렌즈 중심 축을 기준으로 픽셀의 상대 위치를 정할 수 있다. 예를 들어, 각 렌즈이 중심 축에 위치한 픽셀들은 같은 상대 위치에 있다고 할 수 있다.
공간광변조기(2400)는 들어오는 빛의 세기를 전압에 따라 다른 투과율로 조절하여 통과시키는 역할을 하므로 각 광선의 세기를 미리 정해진 값으로 조절이 가능한 액정 디스플레이 패널 (LCD: liquid crystal display)로 사용될 수 있다.
한편, 같은 광원(2200)에서 출발한 빛이라도 공간광변조기(2400)의 LCD 패널에서 각 픽셀의 투과율에 따라 픽셀을 통과하는 빛의 세기는 달라질 수 있다.
예컨대, 광원(2200)의 조도가 1.0 W/㎡ 일 경우, 공간광변조기(2400) LCD 픽셀의 투과율이 0.10이면 출력광의 조도는 0.10 W/㎡ 이고, 투과율이 0.05 이면 출력광의 조도는 0.05 W/㎡일 수 있다.
또한, 공간광변조기(2400) LCD 패널의 투과율은 전압에 따라 256단계 이상으로 조절할 수 있으며, 인공 신경망에서 가중치와 입력 값의 곱인 를 구현할 수 있다.
여기서 입력 값은 광원(2200)의 세기이고, 공간광변조기(2400)의 투과율은 가중치에 해당하며, 공간광변조기(2400)의 투과율은 가중치에 해당하고, 픽셀의 개수는 커널의 요소 개수와 동일하게 조절할 수 있다.
광 검출기(2500)는 포토다이오드(photo-diode)와 같은 광 반도체 소자로 구성될 수 있다.
광 검출기 (2500)는 복수의 공간광변조기(2400)로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득할 수 있다.
이 때, 광 검출기(2500)는 제3 렌즈(2330)에 대응하는 또는 제3 렌즈(2330) 구경 내에 배치되어 복수개로 마련될 수 있고, 각 광 검출기(2500)는 서로 다른 상대 위치의 공간광변조기(2400) 픽셀을 통과하는 광선에 대한 서로 다른 합성곱 연산을 수행할 수 있다.
이 때, 광 검출기(2500)에 흐르는 전류는 각 광 검출기에 도착한 빛의 세기의 합인 , 에 비례하는 값을 가질 수 있다.
또한, 광 검출기(2500)는 하나의 입력 노드에 대응하는 렌즈의 직경 내에서 제2 렌즈(2320)의 초점거리 f2와 제3 렌즈(2330)의 초점거리인 f3 비율을 조절하여 광전자 모듈(2010)에 다수개로 배치될 수 있다.
예컨대, 광검출기(2500)의 개수가 Np 2로 주어지는 경우 렌즈부(2300) 직경 D이내에 배치하고, 공간광변조기(2400)의 서브 어레이는 (Np × Nm)2 로 주어지며 D = Np × Nm × d 이므로 f3/f2 = Nm을 만족하면, 렌즈에 해당하는 면적 이내에 Np × Np 어레이의 픽셀 상이 형성되며 여기에 광 검출기(2500)를 설치할 수 있다.
이는, 순수 전자회로 대신 광 연결을 사용한 광 합성곱 신경망 구조를 구현함으로써 입력 노드의 배열이 N × N 인 경우에 적용이 가능하며 합성곱 커널 어레이의 크기(Nm × Nm)에는 어느 정도 제한이 있으나 입출력 노드의 배열 크기에는 이론적으로 제한이 없거나 실질적으로도 매우 큰 값이 가능하기 때문에, 한 명령어 사이클에 광학적으로 처리 가능한 병렬 데이터량은 N2 × Nm 2 로, L개 층의 합성곱을 사용할 경우, 병렬 처리 용량은 N2 × Nm 2 × L 로 늘어남으로 종래의 전자식 병렬 컴퓨터의 성능 한계를 넘어설 수 있는 장점이 있다.
또한, N=10000, Nm = 165, L = 20 일 경우 병렬 처리 용량은 5.4 × 1013 MAC(multiply accumulate operation)/cycle로, 입력 단자의 개수가 늘어나도 전기회로와 같이 연결선의 물리적 구조가 복잡 해지거나 잡음이 생기지 않고 대략 N2 × Nm 2 × L 번의 곱셈과 덧셈을 한 번에 수행함으로써 계산 속도를 빠르게 하는 효과를 제공할 수 있다.
또한, 광 검출기(2500)에 도착하는 광선은, 공간광변조기(2400)의 픽셀 값이 이미 정해진 경우, 광원에서 광 검출기(2500)에 이르는 광 경로들이 겹쳐짐에도 불구하고 서로 다른 경로의 광자들을 방해하지 않기 때문에 병렬 계산이 가능하기에, 계산 시간이 짧아질 수 있다.
전자 프로세싱 유닛(2600)은 반도체 기판에 형성된 전자 직접 회로로서 아날로그 회로나 디지털 회로를 통해 구현될 수 있다.
전자 프로세싱 유닛(2600)은 각각 대응하는 광 검출기(2500)에서 얻어진 전류값 또는 그 증폭된 값과 전자 프로세싱 유닛(2600)에 각각 저장된 바이어스 값을 더하고, 그 값을 입력으로 시그모이드 함수 α를 계산한 뒤, 신경망 출력 값을 얻어낼 수 있다.
이 때, 전자 프로세싱 유닛(2600)의 각 출력값은 연결된 또다른 광원(미도시)로 각각 전달될 수 있다.
따라서, 전자 프로세싱 유닛(2600)의 출력값은 각각 , 과 비례하게 조정될 수 있다.
또한, 전자 프로세싱 유닛(2600)은 시그모이드 함수 이외에도 RELU함수와 같은 다른 활성화 함수도 사용할 수 있으며, 함수 연산 이외에도 결과 값이나 외부 입력 값을 저장하여 연산에 사용함으로 전자 프로세싱 유닛(2600)의 메모리 기능은 다음 순차(sequence)에서의 계산 값과 저장된 값을 비교하거나 저장된 값을 이용하여 다양한 계산을 수행할 수 있게 한다.
또한, 전자 프로세싱 유닛(2600)은 통신 기능을 포함하여 지역적으로 연결된 통신 선을 통해 주변의 전자 프로세싱 유닛(2600)이나 외부 프로세서와 데이터를 교환할 수 있다.
이러한 전자 프로세싱 유닛(2600)은 주변에 존재하는 전자 프로세싱 유닛(2600)과 통신 및 계산을 통해 CNN에서 필요한 풀링(Pooling), 지역반응정규화(LRN:Local response normalization)등의 기능을 전자적으로 수행할 수 있다.
또한, 전자 프로세싱 유닛(2600)은 바이어스 값을 저장할 수 있으며, 광 검출기(2500)에서 입력되는 전류를 증폭하거나, 연산 결과를 제2 광원의 입력으로 보낼 때 결과에 비례하는 전류 값으로 변환하는 역할도 수행할 수 있다.
또한, 도 16의 기판(2100)에 위치하는 제2 광원(미도시)은 신경망의 에 해당하며, 다음 층의 입력값으로 쓰일 수 있다.
제1 광원(2200)에서 출발한 다른 방향의 광선들 역시 제2 기판(2800)에 위치한 다른 광 검출기에 모이고, 제2 기판(2800)에 위치한 전자 프로세싱 유닛(2600)을 통해 그 다음 층의 입력 값으로 연결될 수 있다.
또한, 공간광변조기(2400)와 이에 대응하는 제2 렌즈(2320)는 일정 오차 이내에서 제2 렌즈(2320)의 초점 거리만큼 이격되어 형성되고, 각 광 검출기(2500)는 일정 오차 이내에서 제3 렌즈(2330)로부터 이격되어 형성될 수 있다.
이 때, 공간광변조기(2400)와 광 검출기(2500)는 제2 렌즈와 제3 렌즈가 구성하는 결상 광학계에 의하여 일정 오차 이내에서 물체와 상 사이의 위치 관계를 만족할 수 있다.
여기서 공간광변조기(2400)는 제2 렌즈(2320)에서 제2 렌즈(2320)의 초점 거리만큼 떨어져 있고, 제3 렌즈(2330)가 광 검출기(2500)와 제3 렌즈(2330)의 초점 거리만큼 떨어져 있게 되면, 공간광변조기(2400) 픽셀의 상이 광 검출기(2500)에 생기므로 이웃하는 광검출기(2500) 사이에 발생할 수 있는 교차잡음(cross-talk)을 줄일 수 있다.
한편, 공간광변조기(2400)와 제2 렌즈(2320) 사이의 거리는 정확히 초점 거리가 아니라 약간 벗어나더라도, 제3 렌즈(2330)와 광 검출기(2500)사이를 조절하여 공간광변조기(2400) 픽셀의 상이 광 검출기(2500)에 맺히도록 공차(tolerance)를 허용할 수 있다.
또한, 제1 광원(2200)과 이에 각각 대응하는 제1 렌즈(2310) 사이의 거리도 초점 거리에서 벗어나도 다른 렌즈나 소자 사이의 거리를 조정하여 성능을 유지할 수 있다.
예컨대, 다수의 광원에 대응하는 다수의 제1 렌즈(2310)들은 또다른 하나의 기판에 형성될 수 있으며, 다수의 공간광변조기(2400)도 또다른 하나의 기판에 형성될 수 있고, 다수의 제2 렌즈(2320)와 제3 렌즈(2330)도 또다른 하나의 기판에 형성될 수 있다.
이러한 구조를 통해 전체 시스템의 부피나 광 정렬(optical alignment)을 용이하게 하는 효과를 가질 수 있다.
이하에서는 도 17 및 도 18을 통해 공간광변조기(2400)를 이용한 광전자 모듈(2010)의 입체적 예시도와 공간광변조기(2400) 픽셀 간격에 대하여 설명하기로 한다.
도 17은 도 16의 공간광변조기(2400)를 이용한 광전자 모듈(2010)의 입체적 예시도이고, 도 18은 도 17의 공간광변조기(2400) 픽셀의 간격 예시도이다.
도 17의 f1, f2, f3는 제1 렌즈(2310), 제2 렌즈(2320), 제3 렌즈(2330)의 초점 거리일 수 있다.
도 17 및 도 18의 공간광변조기(2400) 픽셀은 3x3어레이의 블록으로 구성되어 있고, 블록 사이의 간격은 a로 나타나 있다.
간격 a는 도 16의 렌즈부(2300)의 렌즈 사이의 간격 또는 직경과 같고, 입력노드(제1 광원) 또는 출력노드(광 검출기)의 간격과 같을 수 있으므로, 블록 배열의 크기는 입력 노드 배열의 크기와 같을 수 있다.
여기서 블록 내부에는 서브 어레이 형태로 다시 3Х3 어레이로 구성되며, 여기서 픽셀의 크기와 간격은 각각 과 d로 나타낼 수 있다.
이러한 서브 어레이는 합성곱 연산에서 커널 또는 필터 마스크에 해당하며 가중치 값을 공간광변조기(2400)의 투과율을 통해 구현하고, 서브 어레이의 중심으로부터 픽셀의 상대적 위치에 따라 합성곱을 수행할 때 픽셀을 통과한 광선이 제2 렌즈(2320)와 제3 렌즈(2330) 통과 후 주변의 어떠한 출력 노드로 광선이 향하는지 결정할 수 있다.
또한, 서브 어레이의 크기는 하나의 입력 노드와 합성곱이 수행되는 출력 노드의 어레이 크기와 같으므로, 서브 어레이의 크기가 5Х5 라고 하면, 주변에 있는 5Х5 배열의 출력 노드와 연결되어 합성곱 연산을 수행할 수 있다.
한편, 모든 픽셀이 간격 d만큼 떨어져 있으면 a=5d를 만족하게 위치하는 것으로, 제2 렌즈(2320)와 제3 렌즈(2330)가 릴레이 광학계를 이루며 픽셀의 상을 광검출기(2500) 면에 맺기 때문에 제3 렌즈(2330)의 초점거리 f3은 제2 렌즈(2320)의 초점거리 f2의 5배일 수 있다.
일반적으로, 합성곱 커널의 어레이 크기를 Nm X Nm이라고 하면 를 만족하고, 렌즈의 구경은 이고 일 수 있다.
여기서 는 제2 렌즈(2320)의 f-수(f-number)로서 고정된 값이다.
또한, 제3 렌즈(2330)의 f/# 는 이므로, 제3 렌즈의 회절한계에 의한 스폿 직경은 ㎛ 일 수 있으며, 회절 한계에 의한 스폿 직경과 렌즈 직경 모두 Nm에 비례하기 때문에 Nm을 증가시켜도 회절 한계에 의한 잡음은 없을 수 있다.
예컨대, 셀 간격이 20 ㎛이고 Nm이 5 이면 D = 100㎛이고 가 2일 때, 는 10일 수 있다.
따라서, 제3 렌즈(2330)의 회절한계 스폿 직경이 10㎛ 일 때, D가 100㎛이므로 이웃하는 광검출기(2500) 사이에 혼선(crosstalk)은 없을 수 있다.
반면, 제2 렌즈(2320) 와 공간광변조기(2400)의 픽셀 사이에 기하광학적 수차가 중요해지며 f/# 가 2 인 시스템의 경우 3개의 렌즈를 사용하면 기하 광학적 각 수차는 3m㎭ 이므로 f2가 3.3㎜ 일 때, 기학광학적 스폿 직경이 10㎛이므로 입력 노드 간격의 50%를 넘어서 혼선(crosstalk)이 심각해질 수 있다.
또한, 커널의 어레이의 기하광학적 한계는 165 X 165 정도이나, 보통 커널은 큰 어레이 크기를 요구하지 않으며, 입력이나 출력 어레이의 크기에 제한을 두지 않으므로, 광전자 모듈(2010)의 병렬 처리 용량이 크게 증가하는 효과를 가질 수 있다.
도 19은 도 16의 공간광변조기(2400)를 이용한 광전자 모듈(2010)의 다중출력 개념도이다.
본 발명에 따른 광전자 모듈(2010)은 연속하여(cascade) 적용할 수 있고, 앞선 층에서 출력값은 후속하는 층의 입력과 연결되어 된 복수의 제 1광 검출기(2500, 2521, 2522, 2523) 및 복수의 제 2광검출기(2511, 2512, 2513, 2514), 복수의 제 1전자 프로세싱(2600, 2621, 2622, 2623)과 복수의 제 2전자 프로세싱 유닛(2611, 2612, 2613, 2614)과 대응하는 제 3광원(2721, 2723, 2725, 2727)과 제 4광원(2722, 2724, 2726, 2728)을 더 포함할 수 있다.
예컨대, 제 1광 검출기(2521)와 제 2광검출기(2512)의 출력값은 각각 제 1전자 프로세싱 유닛(2621)과 제 2전자 프로세싱 유닛(2612)에 연결되고, 제 1전자 프로세싱 유닛(2621)과 제 2전자 프로세싱 유닛(2612)은 연결될 수 있다.
또한 제 1광검출기(2521)와 제 2광검출기(2512)의 출력값이 제 1전자 프로세싱 유닛(2621)이나 제 2전자 프로세싱 유닛(2612) 중의 하나에 함께 연결될 수 있다.
본 실시예의 구조는 두 개의 광 검출기의 값을 사용하여 다양한 연산을 수행할 수 있는 장점을 제공하므로, 가중치가 양수(+) 항에 해당하는 빛은 제2 광 검출기(2511, 2512, 2513, 2514)에 모으고, 음수(-) 항에 해당하는 빛은 제1 광 검출기(2500, 2521, 2522, 2523)에 모아 이 두 결과를 뺄셈하여 계산할 수 있다.
예컨대, 과 가 양수이고 이 음수라고 가정하면, , , , , , 와 같이 공간광변조기(2400) 가중치를 설정할 수 있으며, 두 검출기의 출력은 각각 와 일 수 있다.
제 2전자 프로세싱 유닛(2612)에서 뺄셈을 한 결과는 수학식 4와 같다.
[수학식 4]
또한, 제 2전자 프로세싱 유닛(2612)은 뺄셈과 함께 바이어스와 시그모이드 함수까지 함께 계산하여 를 얻어낼 수 있다.
이와 같이, (+) 항에 해당하는 광선들은 가중치를 원래 모델 값으로 세팅하고, (-) 항에 해당하는 광선들은 가중치를 0으로 세팅한 다음, (+) 항에 해당하는 광선들만 제 2광 검출기(2512)에 모아서 합산할 수 있다.
또한, (-) 항에 해당하는 광선들은 모아서 제 1광 검출기(2521)로 보내어 합산할 수 있어 음수의 가중치를 포함하는 일반적 신경망 관련 연산을 수행할 수 있다.
이 때, 각각의 전자 프로세싱 유닛(2600, 2621, 2622, 2623, 2611, 2612, 2613, 2614)은 인접해 있는 다수의 광 검출기(2500, 2521, 2522, 2523, 2511, 2512, 2513, 2514)의 출력을 입력으로 사용할 수 있으며 뺄셈 이외의 다양한 함수를 전자회로를 통해 구현할 수 있다.
본 발명에 따른 구성요소들은 물리적인 구분이 아니라 기능적인 구분에 의해서 정의되는 구성요소들로서 각각이 수행하는 기능들에 의해서 정의될 수 있다. 각각의 구성요소들은 하드웨어 또는 각각의 기능을 수행하는 프로그램 코드 및 프로세싱 유닛으로 구현될 수 있을 것이며, 두 개 이상의 구성요소의 기능이 하나의 구성요소에 포함되어 구현될 수도 있을 것이다. 따라서 이하의 실시예에서 구성요소에 부여되는 명칭은 각각의 구성요소를 물리적으로 구분하기 위한 것이 아니라 각각의 구성요소가 수행되는 대표적인 기능을 암시하기 위해서 부여된 것이며, 구성요소의 명칭에 의해서 본 발명의 기술적 사상이 한정되지 않는 것임에 유의하여야 한다.
상술한 본 발명의 제4 실시예에 따른 공간광변조기를 이용한 광전자 모듈은 광 합성곱 신경망 컴퓨터에 포함된다.
앞서 설명한 도 16 내지 도 19에서는 공간 광 변조기를 사용한 광전자 모듈과 이를 포함하는 광 합성곱 신경망 컴퓨터에 대해 설명하였다.
그러나 이러한 광신경망 컴퓨터는 스위칭 속도가 느린 공간 광 변조기를 사용하므로 같은 입력 데이터에 대해서 서로 다른 가중치 세트에 대한 계산을 수행하는 경우 가중치 세트를 갱신하는데 많은 시간이 걸리는 단점이 있다. 또한 이러한 가중치 세트 갱신에 대한 요구와 공간 광 변조기의 느린 스위칭 속도는 광신경망 컴퓨터의 병렬 처리 속도를 저해하는 원인이 될 수 있다.
따라서 이하에서는 도 20 내지 도 26를 통해 스마트 픽셀 광 변조기를 사용한 광전자 모듈과 이를 포함하는 광 합성곱 신경망 컴퓨터에 대해 설명하도록 한다.
도 20는 본 발명의 제5 실시예에 따른 스마트 픽셀 광 변조기를 이용한 광전자 모듈의 개념도이다.
본 발명에 따른 스마트 픽셀 광 변조기(2063)를 이용한 광전자 모듈(2060)은 제1 광원(2061), 제1 렌즈(2062), 스마트 픽셀 광 변조기(Smart Pixel Light Modulator, SPLM)(2063), 제2 렌즈(2064), 제3 렌즈(2065), 광 검출기(photodiode, PD) (2066), 전자 프로세싱 유닛(2067) 및 제2 광원(2068)을 포함할 수 있다.
도시된 광전자 모듈(2060)은 도 16에 나타낸 광전자 모듈(2010)의 공간 광 변조기(2400)를 스마트 픽셀 광 변조기(2063)로 대체하여 구현한 것이며, 상기 스마트 픽셀 광 변조기(2063)는 복수의 제1 렌즈(2062)에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈(2062)를 통과한 광선의 세기를 조절한다.
또한 스마트 픽셀 광 변조기(2063)는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 광 검출기와 전자 프로세싱 유닛, 광원이 할당된다. 여기서 각 픽셀에 할당된 광 검출기는 제1 렌즈(2062)를 통과한 광선을 전류 신호로 바꾸고, 전자 프로세싱 유닛은 상기 전류 신호를 증폭시키거나 상기 전류 신호를 메모리에 저장된 가중치 값과 곱셈, 덧셈 등을 통해 연산한 결과 값을 전류 신호로 변환하여 연결된 광원으로 내보낸다.
이렇게 스마트 픽셀 광 변조기(2063)는 각 픽셀마다 광 검출기, 전자 프로세싱 유닛 및 광원이 할당되어 있어 주변의 픽셀과 연결되지 않아도 되기 때문에 병렬 계산의 효율성을 해치지 않는다. 뿐만 아니라 스마트 픽셀 광 변조기(2063)를 사용함으로써 기존의 가중치의 갱신 속도를 kHz 수준에서 수백 MHz의 수준으로 향상시킬 수 있다. 이러한 가중치 갱신 속도의 증가는 같은 입력 데이터에 대해서 다양한 커널 세트를 적용하여 광합성곱을 계산하는 알고리듬을 수행할 때 매우 효과적이다. 기존의 광 컴퓨터는 다른 커널 세트를 적용하기 위해서 도 14과 같이 다수의 광학 채널을 구성했지만 스마트 픽셀은 메모리와 빠른 갱신 속도를 사용하여 하나의 채널에서 이를 처리할 수 있다. 또한 다양한 커널 세트는 다양한 이미지 특징을 분석할 수 있기 때문에 이미지 인식 알고리듬에서 많이 사용되고 있으므로 이러한 알고리듬 실행 시 광 합성곱 신경망 컴퓨터의 병렬 처리 속도를 크게 향상시키고 광 모듈 하드웨어의 부피를 줄여줄 수 있다.
도 21은 본 발명의 제6 실시예에 따른 팬아웃을 포함한 스마트 픽셀 광 변조기를 이용한 광전자 모듈의 개념도이고, 도 22은 도 21의 스마트 픽셀 광 변조기의 개념도이다.
도시된 광전자 모듈(2070)은 복수의 제1 광 검출기(2071), 복수의 제1 스마트 픽셀 광 변조기(2073), 복수의 제2 렌즈(2074), 복수의 제2 광 검출기(2075), 복수의 전자 프로세스 유닛(2076) 및 복수의 제2 스마트 픽셀 광 변조기(2077)를 포함한다. 이렇게 광전자 모듈(2070)은 도 20의 구조를 더욱 단순화한 구조로써, 제1 렌즈와 제3 렌즈가 없어지고 대신에 전기적 팬아웃(Fan-out) 구조가 스마트 픽셀 광 변조기에 포함된다. 여기서 제2 렌즈(2074)의 배열은 하나의 기판에 집적할 수 있으므로 구조가 매우 간단해지고 제작 난이도나 비용의 감소를 가져온다.
이러한 스마트 픽셀 광 변조기의 더 자세한 구조는 도 22에 나와 있다.
전기적 팬아웃 구조는 전기적 입력 신호를 전선을 통해 여러 갈래로 분기한 구조로서, 전기적 입력 신호를 렌즈를 통해 광학적으로 연결하는 구성 대비 단순하기 때문에 도 21 및 도 22에서와 같이 전기적 팬아웃 구조(2027)를 스마트 픽셀 광 변조기에 적용하여 광전자 모듈의 전반적인 하드웨어 구조를 더욱 단순화할 수 있다.
스마트 픽셀 광 변조기는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 전자 프로세싱 유닛(2028)과 광원(2029)이 할당된다.
전기적 입력 신호는 팬아웃 구조(2027)를 통해 상기 픽셀들 각각에 분배된다. 즉 상기 입력 신호는 상기 팬아웃 구조(2027)를 통해 전자 프로세싱 유닛(2028)에 연결되고, 상기 전자 프로세싱 유닛(2028)은 상기 입력 신호를 메모리에 저장된 가중치 값과 연산한 결과 값을 전류 신호로 변환하여 광원(2029)으로 내보낸다. 여기서 상기 연산은 일례로 곱셈 연산이 될 수 있으며, 따라서 각 픽셀의 출력 광원의 세기는 상기 입력 신호와 상기 가중치 값의 곱에 비례하는 특성을 갖는다.
도 23는 본 발명의 제1 실시예에 따른 공간 광 변조기를 이용한 양방향 광전자 모듈의 개념도이다.
도시된 광전자 모듈(2080)은 복수의 제1 광원(2081), 복수의 제2 광 검출기(2089), 복수의 제1 렌즈(2082), 복수의 공간 광 변조기(2083), 복수의 제2 렌즈(2084), 복수의 제3 렌즈(2085), 복수의 제1 광 검출기(2086), 복수의 전자 프로세스 유닛(2087) 및 복수의 제2 광원(2088)을 포함한다.
상기 광전자 모듈(2080)은 양방향 계산이 되도록 출력단에 제1 광 검출기(2086)와 제2 광원(2088)을 같은 기판에 배치한 구조를 보이고 있다. 제2 광원에서 출발한 빛은 제3 렌즈(2085), 제2 렌즈(2084), 공간 광 변조기(2083), 제1 렌즈(2082)를 순차적으로 지나 제1 광원(2081) 옆에 있는 제2 광 검출기(2089)에 모이게 된다. 여기에서 공간 광 변조기(2083)을 본 발명에서 제안하는 스마트 픽셀 광 변조기로 바꾸면 가중치 갱신 속도가 빠른 양방향 광 신경망 컴퓨터를 구현할 수 있다.
도 24은 도 23의 양방향 광전자 모듈에 적용되는 스마트 픽셀 광 변조기의 개념도이다.
도시된 스마트 픽셀 광 변조기는 좌측의 제1 면에 배열된 픽셀들 각각에 스마트 픽셀 내 제1 광원(2032)과 스마트 픽셀 내 제1 광검출기(2031)가 배치되어 있다. 그리고 우측의 제2 면에 배열된 픽셀들 각각에는 스마트 픽셀 내 제2 광원(2035)과 스마트 픽셀 내 제2 광검출기(2034)가 배치되어 있고, 상기 제1 면과 제2 면 사이에 위치한 중간에 배열된 픽셀들 각각에는 전자 프로세싱 유닛(2033A, 2033B)이 배치되어 있다.
제1 면에 입사한 빛을 제2 면으로 보내는 픽셀은 스마트 픽셀 내 제1 광검출기(2031), 해당 픽셀의 전자프로세싱 유닛(2033B), 스마트 픽셀 내 제2 광원(2035)이 전기적으로 연결되어 있다. 제2 면으로 입사한 빛을 제1 면으로 보내는 픽셀은 스마트 픽셀 내 제2 광검출기(2034), 해당 픽셀의 전자 프로세싱 유닛(2033A), 스마트 픽셀 내 제1 광원(2032)이 연결되어 있다. 이때 제1 면의 광원이 특정한 각도로 나가게 하기 위해서 광원이 나가는 쪽에 마이크로 프리즘을 설치할 수 있으며, 스마트 픽셀 내 제1 광원 또는 제2 광원 앞에 마이크로 렌즈를 설치하여 출력 빔의 발산각을 조절할 수도 있다.
도 25는 본 발명의 제2 실시예에 따른 팬인 및 팬아웃을 포함한 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈의 개념도이고, 도 26는 도 25의 스마트 픽셀 광 변조기의 개념도이다.
도시된 광전자 모듈(2090)은 복수의 스마트 픽셀 광 변조기(2091, 2097), 복수의 제2 렌즈(2092), 복수의 광 검출기(2094), 복수의 광원(2095) 및 복수의 전자 프로세싱 유닛(2096)을 포함한다. 이렇게 광전자 모듈(2090)은 도 23의 구조에 스마트 픽셀 광 변조기를 적용하여 간소화 시킨 구조이다. 즉 도 23에 도시된 제1 렌즈(2082)와 제3 렌즈(2085)를 없애고 팬아웃 및 팬인 구조, 광원, 광 검출기 및 전자 프로세싱 유닛이 통합된 도 26에서와 같은 스마트 픽셀 광 변조기를 사용하였다. 이러한 구조는 하드웨어 구조를 단순화하고 병렬 처리 속도를 크게 증가시킨다.
스마트 픽셀 광 변조기의 보다 상세한 구조를 도 26를 통해 설명하면, 스마트 픽셀이 제2 면에 광원(2045)과 광 검출기(2044)를 모두 포함하며, 전자 프로세싱 유닛(2043)과 전기적 입출력 노드를 연결하는 팬아웃 및 팬인 구조(2041,2042)를 모두 포함한다.
전기적 팬인 구조(2042)는 광 검출기(2044)에서 획득한 신호를 메모리의 가중치와 연산하고 결과 값을 전류로 변환하여 입출력 노드로 전달하는 역할을 하며, 전기적 팬아웃 구조(2041)는 입력 신호를 전선을 통해 여러 갈래로 분배하여 전달하는 역할을 한다. 이러한 구조는 스마트 픽셀 광 변조기가 양방향으로 동작할 수 있게 하고 역 전파 알고리듬과 같은 알고리듬을 광 신경망 컴퓨터로 계산할 수 있게 해준다. 스마트 픽셀 광 변조기는 빠른 스위칭 스피드를 가지고 병렬성을 해치지 않기 때문에 양방향 광신경망 컴퓨터의 병렬 처리 용량을 크게 향상시킨다.
도 27은 인공 신경망에서 역 전파 알고리듬을 설명하기 위한 개념도이다. 가중 입력(weighted input) 이 가중치 과 사이에 사용되며, 이러한 특징은 이론적으로 가중 입력을 사용할 경우 이론의 전개가 더 용이한 장점이 있다. 첫번째 층()의 노드 값 는 가중치 과 곱한 다음 바이어스 을 더해서 가중 입력 을 구성하고 시그모이드 함수 에 입력하여 다음 층 노드의 출력 값 을 만든다. 이것은 하기 수학식 5 및 수학식 6에 나타나 있다.
[수학식 5]
[수학식 6]
두 번째 층이 신경망 마지막 층이라고 가정하고 학습 시 각 노드의 타겟 값을 라 하면 노드의 출력 값과 타겟 값의 차이들의 제곱 합을 오차 또는 merit function E로 하기 수학식 7과 같이 정의할 수 있다.
[수학식 7]
인공 신경망에서 학습의 원리는 오차 값을 최소로 줄이기 위해 가중치와 바이어스 또는 가중 입력을 조정하는 과정이다. 이 과정에서 가중치나 가중 입력에 수정 값을 더하는데 가중치와 가중 입력을 변수로 보고 이 변수에 대한 기울기 벡터(gradient vector)를 구해서 부호를 바꾼 뒤 그 방향으로 수정 값을 더하는 최소화(Minimization) 알고리듬의 하나인 Steepest gradient 방식을 사용한다. 인공 지능 이론에서는 이 기울기 벡터를 민감도 벡터(sensitivity vector) 라고도 부르며 여기서는 로 표현한다. 또한 이 민감도는 가중치나 바이어스, 가중 입력의 오차 또는 보정량에 비례한다. 첫번째 층의 가중 입력에 대한 민감도 벡터는 하기 수학식 8에 나타나 있다.
[수학식 8]
편미분의 연쇄 법칙(chain rule)과 수학식 5 내지 수학식 7을 적용하여 를 구하면 하기 수학식 9를 얻을 수 있다. 최종 출력 오차에 시그모이드 함수를 미분한 함수를 곱하게 되어 있다.
[수학식 9]
첫 번째 층의 민감도와 두번째 층의 민감도 사이 관계 역시 연쇄 법칙과 수학식 5 및 수학식 6를 적용하면 얻을 수 있다. 결과는 하기 수학식 10에 나와 있다. 이웃하는 가중 입력은 가중치와 시그모이드 미분 함수에 의해 연결되어 있다. 결국 점화식 형태로서 두번째 층의 가중 입력을 알면 첫 번째 층의 가중 입력을 구할 수 있는 구조이다. 수학식 9는 점화식의 초기값을 제공한다.
[수학식 10]
마찬가지로 가중치의 민감도 또한 연쇄 법칙과 수학식 6를 통해 구할 수 있으며 결과는 하기 수학식 11과 같다. 가중치의 민감도는 나중 층의 가중 입력의 민감도와 그 이전 층의 노드 값을 곱한 결과와 같다. 앞서 점화식을 통해 구한 각 층의 가중 입력 민감도 벡터를 사용하면 가중치의 민감도 또한 구해진다.
[수학식 11]
바이어스의 민감도 또한 같은 방식으로 구할 수 있으며 이것은 가중치 민감도에서 입력 노드 값이 1이라고 가정한 값과 같다. 결과는 하기 수학식 12에 나와 있다.
[수학식 12]
이러한 방식으로 각 층의 가중치 및 바이어스 민감도 벡터를 구할 수 있고 민감도의 부호를 바꾸고 일정 계수를 곱한 뒤 이전 값에 더하여 계속 수정해 나가면 오차 함수를 최소화할 수 있다. 이러한 역 전파 알고리듬을 일반적인 (l-1)번째 층, l 번째 층, 최종 L번째 층에 대해 적용하면 하기 수학식 13 내지 수학식 17을 얻을 수 있다.
[수학식 13]
[수학식 14]
[수학식 15]
[수학식 16]
[수학식 17]
수학식 15에서 보는 것과 같이 앞선 층의 가중 입력 민감도는 나중 층의 민감도에 가중치를 곱해 더한 값으로 기본적으로 진행 방향만 바뀌었을 뿐 정 방향의 인공 신경망 계산과 비슷하다. 따라서 기존의 광 신경망 컴퓨터에 사용된 렌즈 배열이나 공간 광 변조기 배열을 비슷하게 사용할 수 있다. 그러나 빛을 정 방향 및 역 방향으로 모두 보내기 위해서는 추가적 광원 배치와 검출기 배치 및 역방향 진행을 위한 광 경로 확보가 필요하고 이에 따른 광원의 구조 변화 등 새로운 시스템 구조를 필요로 한다.
도 28는 본 발명의 제3 실시예에 따른 공간 광 변조기를 이용한 비차동 모드 양방향 광전자 모듈의 개념도이다.
본 발명에 따른 공간 광 변조기를 이용한 광전자 모듈(3050, 이하 광전자 모듈)은 복잡한 전자회로 대신 광원, 렌즈, 공간 광 변조기, 광 검출기 등을 조합하여 병렬로 작동한다. 본 발명에 따른 광전자 모듈(3050)은 광 신경망 컴퓨터에 적용될 수 있다.
도 28를 참조하면, 본 발명의 일 실시예에 따른 광전자 모듈(3050)은 복수의 제1 광원(3401a, 3401b), 복수의 제1 렌즈(3402a, 3402b), 복수의 공간 광 변조기(3403a, 3403b), 복수의 제1 광 검출기(3420a, 3420b), 복수의 제3 광원(3424a, 3424b), 복수의 제3 광 검출기(3440a, 3440b) 및 렌즈부(3404a, 3404b, 3405)를 포함한다.
복수의 제1 광원(3401a, 3401b)은 제1 기판(3400)에 일정 간격으로 이격되어 형성될 수 있으나, 이와 다르게 다른 기판에 각각 형성될 수도 있다.
본 발명의 제3 실시예에 따른 광 광전자 모듈(3050)은 복수의 전자 프로세싱 유닛(3421a, 3421b, 3441a, 3441b) 및 복수의 제2 광원(3422a, 3422b), 복수의 제2 광 검출기(3460a, 3460b)를 더 포함할 수 있다.
복수의 제1 및 제2 광 검출기(3420a, 3420b, 3460a, 3460b), 복수의 전자 프로세싱 유닛(3421a, 3421b) 및 복수의 제2 광원(3422a, 3422b), 복수의 제3 광원(3424a, 3424b)은 제2 기판(3430)에 형성될 수 있으나, 이와 다르게 다른 기판에 별도로 형성되거나 하나 이상의 소자가 동일 기판에 형성될 수 있다. 예를 들어, 제1 기판(3400) 및 제2 기판(3430)은 반도체 기판 또는 PCB(Printed Circuit Board)일 수 있다.
복수의 제1 렌즈(3402a, 3402b)는 동일한 기판에 형성할 수 있다.
복수의 공간 광 변조기(3403a, 3403b)는 동일한 기판에 형성할 수 있다.
복수의 제2 렌즈(3404a, 3404b)는 동일한 기판에 형성할 수 있다.
복수의 제1 광원(3401a, 3401b)과 제3 광 검출기(3440a, 3440b)는 동일한 기판에 형성할 수 있다.
복수의 제3 광원(3424a, 3424b)과 제1 광 검출기(3420a, 3420b)는 동일한 기판에 형성할 수 있다.
도 28에서는 제1 광원(3401a, 3401b), 제1 렌즈(3402a, 3402b), 공간 광 변조기(3403a, 3403b), 제1 광 검출기(3420a, 3420b), 제3 광원(3424a, 3424b), 제3 광 검출기(3440a, 3440b), 제2 광원(3422a, 3422b), 제2 광 검출기(3460a, 3460b) 등은 2개로 표현하고, 전자 프로세싱 유닛(3421a, 3421b, 3441a, 3441b)은 4개로 표현하였지만, 이들은 일례에 불과하며, 각 소자의 개수는 필요에 따라 변경하여 설계 가능하다.
예를 들어, 본 발명에서 광원은 LED(light emitting diode)나 반도체 레이저, 특히 수직 표면광 레이저(vertical-cavity surface-emitting laser)를 사용할 수 있다. 광원에 흘려주는 전류의 세기를 통해 빛의 세기를 조절하여 입력 값을 개별적으로 조절할 수 있다.
복수의 제1 광원(3401a, 3401b)에서 나온 빛은 각각 대응하는 복수의 제1 렌즈(3402a, 3402b)를 통과한 후, 대응하는 공간 광 변조기(3403a, 3403b)를 통과한다. 제1 렌즈(3402a, 3402b)는 대응하는 제1 광원(3401a, 3401b)에서 조사된 광선이 발산각(divergence angle)을 감소시키는 역할을 하며, 바람직하게는 평행광으로 변조하는 역할을 한다.
도 28에서는 각 제1 광원(3401a, 3401b)에서 나오는 빛 중에서 대표적인 광선 4개(3410a, 3412a, 3410b, 3412b)를 보이고 있으며, 4개의 광선은 각각 공간 광 변조기(3403a, 3403b)에 있는 개별적 픽셀을 통과하게 된다. 공간 광 변조기(3403a, 3403b)는 복수의 제1 렌즈(3402a, 3402b)에 각각 대응하여 형성되고, 미리 설정된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈(3402a, 3402b)를 통과한 광선의 세기를 조절한다.
예를 들어, 공간 광 변조기(3403a, 3403b)로 각각 액정 디스플레이 패널(LCD: liquid crystal display)을 사용할 수 있다. LCD 패널은 들어오는 빛의 세기를 전압에 따라 다른 투과율로 조절하여 통과시키는 역할을 하므로 각 광선의 세기를 미리 정해진 값으로 조절이 가능하다.
따라서, 같은 광원에서 출발한 빛이라도 LCD 패널에서 각 픽셀의 투과율에 따라 픽셀을 통과하는 빛의 세기는 달라진다. 예를 들어, 광원의 조도가 1.0 W/m2 일 경우, LCD 픽셀의 투과율이 0.10이면 출력광의 조도는 0.10 W/m2 이고, 투과율이 0.05 이면 출력광의 조도는 0.05 W/m2 가 된다.
LCD 패널의 투과율은 전압에 따라 보통 256 단계 이상으로 조절할 수 있으므로 이러한 방식으로 신경망에서 가중치와 입력 값의 곱인 를 구현할 수 있다. 여기서, 입력 값은 광원의 세기이고 공간 광 변조기의 투과율은 가중치에 해당한다.
공간 광 변조기(3403a, 3403b)를 통과한 광선들은 렌즈부(3404a, 3404b, 3405)로 입력된다. 렌즈부(3404a, 3404b, 3405)는 복수의 공간 광 변조기(3403a, 3403b)와 복수의 제1 광 검출기(3420a, 3420b) 사이에 형성된다.
또한, 렌즈부(3404a, 3404b, 3405)는 각 공간 광 변조기(3403a, 3403b)의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원(3401a, 3401b)에서 조사된 광선을 하나의 제1 광 검출기(3420a, 3420b)로 모으는 역할을 수행한다.
본 발명의 실시예에서, 렌즈부(3404a, 3404b, 3405)는 복수의 공간 광 변조기(3403a, 3403b)에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제2 렌즈(3404a, 3404b) 및 복수의 제2 렌즈(3404a, 3404b)를 통과한 모든 광선을 통과시키는 제3 렌즈(3405)를 포함한다. 만약, 제2 렌즈(3404a, 3404b)를 입사하는 광선이 평행광이라면 초점에 모이게 된다.
각 공간 광 변조기(3403a, 3403b)를 통과한 광선은 대응하는 각 제2 렌즈(3404a, 3404b)를 통과해서 초점에 모였다가 다시 퍼지게 되는데, 이때 다시 제3 렌즈(3405)를 통과하게 된다.
제2 렌즈(3404a, 3404b)를 통과할 때 광선이 제2 렌즈(3404a, 3404b)의 광축에서 떨어진 광선의 높이에 따라 광선의 각도가 달라지는데 제2 렌즈(3404a)의 광축에서 가장 높은 위치를 통과하는 광선(3410a)과 제2 렌즈(3404b)의 광축에서 가장 높은 위치를 통과하는 광선(3410b)은 수평 축에 대해 동일한 각도를 가지게 된다.
두 광선(3410a, 3410b)은 평행광을 형성하면서 제3 렌즈(3405)에 들어가므로, 제3 렌즈(3405)의 초점 평면 상에서 동일한 점에 모이게 된다. 도 28에서는 두 광선이 하나의 제1 광 검출기(3420a)에 모이게 된다.
마찬가지로, 상대적으로 동일 위치의 광선인 제2 렌즈(3404a)를 통과하는 광선(3412a)과 제2 렌즈(3404b)를 통과하는 광선(3412b)은 제3 렌즈(3405)를 통과한 후 하나의 광 검출기(3420b)에 모이게 된다.
제1 광 검출기(3420a, 3420b)는 보통 포토다이오드(photo-diode)와 같은 광 반도체 소자로 구성할 수 있다. 제1 광 검출기(3420a, 3420b)에 흐르는 전류는 결국 제1 광 검출기(3420a, 3420b) 각각에 도착한 빛의 세기의 합인 , 에 비례하는 값을 가지게 된다. 제1 광 검출기(3420a, 3420b)에서 얻어진 전류 값 또는 그 증폭된 값과 전자 프로세싱 유닛(3421a, 3421b)에 각각 저장된 바이어스 값(, )를 더한 뒤, 그 값을 입력으로 해서 시그모이드 함수 б를 계산하고 신경망 노드의 출력 값을 얻어낸다.
광선(3411a, 3413a, 3411b, 3413b)는 역 방향으로 진행하는 광선의 예를 보이고 있다. 광 모듈이 정 방향으로 동작할 경우 제1 광원(3401a, 3401b)에서 나온 광선도 들어와 정 방향으로 진행할 수 있는데, 이때 픽셀 , , , 을 OFF 상태로 세팅해서 제1 광원(3401a, 3401b)으로부터 나온 광선이 통과하지 못하게 할 수 있다. 실제로 역방향 광선(3411a, 3413a, 3411b, 3413b)은 제1 광 검출기(3420a, 3420b)에서 출발해서 제1 광원(3401a, 3401b)에 도달하므로 신호를 발생시키지는 않고 역방향 광선 경로의 예시를 보이고 있다.
일 실시예에서, 전자 프로세싱 유닛(3421a, 3421b)의 각 출력 값은 연결된 제2 광원(3422a, 3422b)으로 각각 전달될 수 있다. 따라서, 전자 프로세싱 유닛(3421a, 3421b)의 출력 값은 각각 , 과 비례하게 조정될 수 있다.
각 전자 프로세싱 유닛(3421a, 3421b)은 시그모이드 함수 이외에도 RELU 함수와 같은 다른 활성화 함수도 사용할 수 있다.
전자 프로세싱 유닛(3421a, 3421b)은 함수 연산 이외에도 결과 값이나 외부 입력 값을 저장하여 연산에 사용할 수 있다. 이러한 메모리 기능은 다음 순차(sequence)에서의 계산 값과 저장된 값을 비교하거나 저장된 값을 이용한 함수 계산에 사용함으로써 다양한 계산을 수행할 수 있게 한다.
전자 프로세싱 유닛은 통신 기능이 있어 연결된 통신 선을 통해 주변의 전자 프로세싱 유닛이나 외부 프로세서와 데이터를 교환할 수 있다.
제2 광원(3422a, 3422b)은 신경망의 , 에 해당하며 다음 층의 입력 값으로 쓰인다.
전자 프로세싱 유닛(3421a, 3421b)은 반도체 기판에 형성된 전자 집적 회로로서 아날로그 회로나 디지털 회로를 통해 구현할 수 있다.
본 실시예에서 사용된 렌즈들은 굴절 렌즈나 회절 광소자(Diffractive Optical Element)를 사용하여 구현할 수 있다.
제1 광원(3401a, 3401b)과 이에 각각 대응하는 제1 렌즈(3402a, 3402b)는, 오차 20% 이내에서 제1 렌즈(3402a, 3402b)의 초점 거리만큼 이격되어 형성될 수 있다.
또한, 공간 광 변조기(3403a, 3403b)와 이에 각각 대응하는 제2 렌즈(3404a, 3404b)는, 오차 20% 이내에서 제2 렌즈(3404a, 3404b)의 초점 거리만큼 이격되어 형성되고, 제1 광 검출기(3420a, 3420b)는 오차 40% 이내에서 제3 렌즈(3405)의 초점 거리만큼 제3 렌즈(3405)로부터 이격되어 형성될 수 있다.
특히, 공간 광 변조기(3403a, 3403b)는 제2 렌즈(3404a, 3404b)에서 제2 렌즈(3404a, 3404b)의 초점 거리만큼 떨어져 있고, 렌즈(3405)가 광 검출기(3420a, 3420b)와 제3 렌즈(3405)의 초점 거리만큼 떨어져 있게 되면, 공간 광 변조기(3403a, 3403b)의 픽셀의 상이 제1 광 검출기에 생기므로 교차 잡음(cross-talk)을 줄일 수 있다.
그러나, 공간 광 변조기(3403a, 3403b)와 제2 렌즈(3404a, 3404b) 사이의 거리는 정확히 초점 거리가 아니라 약간 벗어나더라도, 제3 렌즈(3405)와 제1 광 검출기(3420a, 3420b) 사이의 거리를 조절해서 공간 광 변조기(3403a, 3403b) 픽셀의 상이 제1 광 검출기(3420a, 3420b)에 맺히게 할 수 있으므로 어느 정도 공차(tolerance)를 가질 수 있다.
마찬가지로, 제1 광원(3401a, 3401b)과 이에 각각 대응하는 제1 렌즈(3402a, 3402b) 사이의 거리도 초점 거리에서 약간 벗어나도 다른 렌즈나 소자 사이의 거리를 조정하여 성능을 유지할 수 있다.
예를 들어, 다수의 광원에 해당하는 다수의 제1 렌즈(3402a, 3402b)들은 하나의 기판에 형성할 수 있으며, 다수의 공간 광 변조기(3403a, 3403b)도 하나의 기판에 형성할 수 있으며, 다수의 제2 렌즈(3404a, 3404b)들도 하나의 기판에 형성할 수 있다. 이러한 구조는 전체 시스템의 부피나 광 정렬(optical alignment)을 용이하게 할 수 있다.
앞선 설명에서 제1 기판(3400)의 제1 광원(3401a, 3401b)에서 빛이 출발하여 제2 기판(3430)에 있는 제 1광 검출기(3420a, 3420b)에 도착하는 인공 신경망 광 모듈의 정 방향 동작을 설명하였다. 역 방향의 광선 진행과 데이터 처리를 위해서는 광선이 제2 기판(3430)에 있는 제3 광원(3424a, 3424b)에서 출발하여 제1 기판(3400)에 있는 제3 광 검출기(3440a, 3440b)에 도착하는 광 모듈 구조가 필요하다.
도 28에는 제3 광원(3424a, 3424b)에서 출발하는 광선(3415a, 3415b, 3416a, 3416b)를 보이고 있다. 가는 선으로 표시된 광선(3411a, 3413a, 3411b, 3413b)는 정 방향 광선(3410a, 3412a, 3410b, 3412b)와 비슷한 경로를 취하고 역방향의 광선에 해당하지만 여기서는 역방향 주 광선(3415a, 3415b, 3416a, 3416b)을 설명하기 위한 보조 선으로 사용하였다. 실제 제3 광원(3424a, 3424b)에서 출발한 광선이 보조선(3411a, 3413a, 3411b, 3413b)으로 진행한다면 제1 광원(3401a, 3401b)에 도착하므로 제3 광 검출기(3440a, 3440b)에서 신호를 발생시킬 수 없다. 그러나 주 광선(3415a, 3415b, 3416a, 3416b)이 보조선(3411a, 3413a, 3411b, 3413b)에 비해 위쪽 방향으로 출발하면 두 광선은 공간 광 변조기(3403a, 3403b)에서 렌즈 광 축과 평행하지 않은 각도로 만나게 되고 주 광선(3415a, 3415b, 3416a, 3416b)은 제1 광원(3401a, 3401b)의 아래 위치한 제3 광 검출기(3440a, 3440b)에 도착하게 된다. 두 광선(3411a, 3415a)이 공간 광 변조기에서 만나는 이유는 공간 광 변조기(3403a, 3403b)와 제3 광원(3424a, 3424b)이 물체와 상의 거리 관계에 있기 때문이다.
주 광선(3415a, 3415b, 3416a, 3416b)가 보조선(3411a, 3413a, 3411b, 3413b)에 비해 아래 방향으로 출발하면 제1 기판(3400)이 있는 면에서 제1 광원(3401a, 3401b)의 위쪽 부분을 지나게 되고 제3 광 검출기(3440a, 3440b)는 제1 광원(3401a, 3401b) 위쪽에 위치해야 빛을 검출할 수 있다. 전자 프로세싱 유닛(3421a) 경우 노드 값 , ,을 연산하거나 저장하고 있기 때문에 을 구할 수 있다. 바이어스 민감도 또는 보정 값은 수학식 13인 을 통해 구할 수 있다. 제3 광원(3424a)는 전자 프로세싱 유닛(3421a)와 연결되어 에 비례하는 빛의 세기를 보낼 수 있는데 이때 주 광선(3415a)은 공간 광 변조기(3403a)의 픽셀 을 지나게 되고 빛의 세기는 에 비례하게 된다. 여기서 와 에 해당하는 두 픽셀은 공간적으로 분리되어 있지만 같은 값으로 세팅한다.
마찬가지로 제3 광원(3424b)에서 출발한 주 광선(3416a)는 에 비례하는 빛을 가지고 있으며 공간 광 변조기(3403a)의 픽셀 을 통과하고 빛의 세기는 에 비례한다. 이 두 광선(3415a, 3416a)는 제3 광 검출기(3440a)에서 만나 더해지며 에 비례하는 전기 신호로 변화되며 전자 프로세싱 유닛(3441a)에서 을 곱해서 을 구할 수 있다. 같은 방식으로 을 구할 수 있다.
또한 공간 광 변조기(3403a)의 각 픽셀 근처에는 바람직하게는 같은 기판 내에 광 검출기와 전자 프로세싱 유닛을 형성하고 각 픽셀과 연결하면 통과하는 빛의 세기를 측정하고 데이터 저장 및 주변 픽셀과 정보교환, 수학 연산을 수행할 수 있다. 와 에 근접한 전자 프로세싱 유닛에서 와 을 얻을 수 있기 때문에 가중치 민감도 을 구할 수 있다. 같은 방식으로 , , 도 구할 수 있다. 결국 광전자 모듈(3050)은 정방향 뿐만 아니라 역 방향으로도 인공 신경망 계산을 수행할 수 있으며 대량의 병렬 계산이 가능하다.
도 29은 도 28의 제3 광원을 회절 격자와 프리즘으로 구현한 개념도이다.
도 29을 참조하면, 제3 광원(3424a)에서 출발한 광선은 회절 격자(3450a)를 지나면서 여러 개의 회절 광선으로 분리되고, 프리즘(3451a)를 지나면서 방향이 꺾이게 된다. 프리즘(3451a)의 경사각에 따라 광선들이 꺾이는 각도가 결정되고 회절 격자(3450a)의 주기에 따라 회절 광선들 사이의 각도가 정해진다. 제3 광원(3424a)은 LED(Light Emitting Diode)나 VCSEL(Vertical Cavity Surface Emitting Laser)과 같은 반도체 광원이 될 수 있고 제3 광원(3424a)와 회절격자(3450a) 사이에는 렌즈가 추가되어 발산각을 조절할 수 있다. 회절격자(3450a)와 프리즘(3451a), 렌즈는 회절 광소자로 대체할 수 있다.
도 30는 도 28의 광전자 모듈을 캐스캐이드 연결한 예시를 보여주는 도면이다.
도 30를 참조하면, 제1 광 계산층(3801)은 반복되어 제2 광 계산층(3802)에 나타나며 임의의 개수 신경망 층을 구현할 수 있다. 앞선 층인 제1 광 계산층(3801)에서의 출력 값은 뒤에 나오는 층인 제2 광 계산층(3802)의 입력과 연결될 수 있다.
도 28에서 다층 신경망을 구성하는 또 다른 한 가지 방법은 제1 기판(3400)과 제2 기판(3430) 사이에서 빛이 왕복하며 계산 결과가 전자 프로세싱 유닛(3421a, 3421b, 3441a, 3441b)에 저장되며 다층 신경망 계산을 수행하는 것이다. 이 때 빛이 한 방향으로 한 번 진행될 때마다 공간 광 변조기(3403a, 3403b)의 가중치 값은 각 층의 값에 따라 변경되어야 한다. 이 때 가중치 픽셀은 픽셀과 연결된 전자 프로세싱 유닛의 메모리에 저장된 값을 가져와 갱신하게 된다.
도 31는 본 발명의 제4 실시예에 따른 공간 광 변조기를 이용한 차동 모드 양방향 광전자 모듈의 개념도이다.
본 실시예에 따른 공간 광 변조기를 이용한 광전자 모듈(3070)은, 도 28의 광전자 모듈(3050)에서 차동 모드 계산을 구현하기 위한 광원과 광 검출기의 구성을 제외하고 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 28의 광전자 모듈(3050)과 동일한 구성요소에 대한 반복되는 설명은 생략한다.
도 31를 참조하면, 본 발명의 제4 실시예에 따른 광 광전자 모듈(3070)은 복수의 제1A 광 검출기(3610a, 3610c) 및 복수의 제1B 광 검출기(3610b, 3610d), 복수의 제3 광원(3620a, 3620b, 3620c, 3620d), 복수의 제3A 광 검출기(3540a, 3540c), 복수의 제3B 광 검출기(3540b, 3540d)를 포함한다. 또한, 복수의 전자 프로세싱 유닛(3630a, 3630b, 3550a, 3550b)과 이에 각 대응하는 제2 광원(3701a, 3701b)을 더 포함할 수 있다.
제1A 광 검출기(3610a)와 제1B 광 검출기(3610b)의 출력 값은 전자 프로세싱 유닛(3630a)에 연결되고, 제1A 광 검출기(3610c)와 제1B 광 검출기(3610d)의 출력 값은 전자 프로세싱 유닛(3630b)에 연결될 수 있다.
본 실시예의 구조는 전자 프로세싱 유닛(3630a, 3630b)이 두 개의 광 검출기의 값을 사용하여 다양한 연산을 수행할 수 있는 장점을 제공한다. 가장 쉬운 예는 뺄셈이다. 예를 들어, 계산하는 경우를 가정한다. 여기서 가중치 표현에서 층을 나타내는 표현의 복잡함을 피하기 위해 위 첨자는 생략하였다. 따라서 는 을 나타낸다.
빛을 사용하여 뺄셈을 하는 것은 상쇄 간섭과 같은 원리를 사용하여 가능하지만 경로차를 조절해야 하는 등 광 컴퓨팅 회로의 복잡도가 증가하게 된다. 빛의 세기만을 검출하는 광 검출기에 두 광선이 들어올 경우, 뺄셈은 쉽지 않다.
따라서, 본 실시예에서는 (+) 항에 해당하는 빛은 제1A 광 검출기(3610a, 3610c)에 모으고, (-) 항에 해당하는 빛은 제1B 광 검출기(3610b, 3610d)에 모으고, 전자 프로세싱 유닛(3630a, 3630b)이 두 신호 세기를 뺄셈하여 계산한다.
도 31에 있는 가중치 표현에서 와 는 와 가중치의 양수 부분을 나타내며 와 는 와 가중치의 음수 부분을 나타낸다. 예를 들어 가 양수이고 가 음수이면, , , 을 사용하여 결과를 얻을 수 있다.
임의의 개수 항이 있을 경우에도, (+) 항에 해당하는 광선들은 가중치 를 원래 모델 값으로 세팅하고, (-) 항에 해당하는 광선들은 가중치 를 0으로 세팅한 다음, (+) 항에 해당하는 광선들만 광 검출기(610a)에 모아서 합산할 수 있다. 마찬가지로, (-) 항에 해당하는 광선들은 모아서 광 검출기(3610b)로 보내어 합산할 수 있다. 따라서, 이러한 방식으로 음수의 가중치를 포함하는 일반적 신경망 연산을 수행할 수 있다.
각 전자 프로세싱 유닛(3630a, 3630b)은 주변의 광 검출기 두개 뿐 아니라 인접해 있는 다수의 광 검출기의 출력을 입력으로 사용할 수 있으며 뺄셈 이외의 다양한 함수를 전자회로를 통해 구현할 수 있다.
실제로 뺄셈이나 시그모이드 함수 연산은 아날로그 또는 디지털 전자회로를 사용해 구현이 가능하다. 본 실시예에서는 다수 광 검출기와 전자 프로세싱 유닛 사이의 연결이 설명되어 있지만 다수의 전자 프로세싱 유닛 사이의 연결도 동일한 효과를 구현할 수 있다.
각 전자 프로세싱 유닛(3630a, 3630b)은 이 밖에도 바이어스 값을 저장할 수 있으며, 광 검출기에서 입력되는 전류를 증폭시키거나, 연산 결과를 제2 광원의 입력으로 보낼 때 결과에 비례하는 전류 값으로 변환하는 역할도 수행할 수 있다.
이러한 차동 모드 신경망 계산을 역 방향으로도 가능하게 하기 위해서는 도 31에서와 같이 추가적인 제3 광원(3620a, 3620b, 3620c, 3620d)과 복수의 제3A 광 검출기(3540a, 3540c), 복수의 제3B 광 검출기(3540b, 3540d)를 필요로 한다. 제3 광원(3620a, 3620b, 3620c, 3620d)에서 출발한 광선(3621a, 3621b, 3622a, 3622b, 3623a, 3623b, 3624a, 3624b)은 제3 렌즈(3534)와 제2 렌즈(3532a, 3532b)와 공간 광 변조기(3531a, 3532b), 제1 렌즈(3530a, 3530b)를 차례로 거쳐서 제3A 광 검출기(3540a, 3540c)와 제3B 광 검출기(3540b, 3540d)에 모이게 된다.
제3 광원(3620a, 3620b)에서 출발하는 광선(3621a, 3621b, 3622a, 3622b)은 전자 프로세싱 유닛(3630a)과 연결되어 입력 에 비례하는 세기를 가진다. 제3 광원(3620a)와 이웃하는 제3 광원(3620b)에서 나오는 빛의 세기는 도 31에 와 로 표시되어 있고 같은 값을 가지며 에 비례하는 크기를 가진다. 마찬가지로 다른 제3 광원(3620c, 3620d)에서 나오는 빛은 와 로 표시되어 있고 같은 값을 가지며 에 비례하는 세기를 가진다.
제3 광원(3620a, 3620b)은 공간 광 변조기(3531a)의 픽셀 (, )과 렌즈부(3532a, 3534)에 의해 물체 상의 관계로서 일대일 대응하고 있다. 공간 광 변조기(3531a)는 제2 렌즈(3532a)에서 제2 렌즈의 초점 거리만큼 떨어져 있고 제3 렌즈(3534)는 제3 광원(3620a, 3620b)에서 제3 렌즈의 초점 거리만큼 떨어져 있으면 이러한 물체 상 관계가 성립하며 공간 광 변조기(3531a)와 제2 렌즈(3532a) 사이의 거리가 변하면 제3 렌즈(3534)와 제3 광원(3620a, 3620b) 사이의 거리를 조절해서 물체 상 관계를 만족할 수 있다. 따라서 제3 광원(3620a, 3620b)에서 출발하는 광선(3621a, 3622a)은 공간 광 변조기(3531a)의 픽셀 (, )을 지나고 공간 광 변조기(3531a)를 지나면서 각각 아래 방향과 위 방향을 향한다. 이 방향은 제3 광원(3620a, 3620b)를 출발하는 광선의 각도와 관련 있다.
출발하는 광선의 각도가 약간 위쪽을 향하면 공간 광 변조기(3531a)를 통과할 때 아래를 향하는 각도는 커진다. 반대로 출발 광선의 각도가 원래 보다 아래 쪽을 향한다면 공간 광 변조기(3531a)를 통과할 때 광선의 각도는 원래 보다 위쪽 방향으로 각도가 변하게 된다. 이러한 각도 조절은 제3 광원(3620a, 3620b)에 사용되는 프리즘(3451a)나 회절격자(3450a)의 격자 주기를 통해 조절할 수 있다. 공간 광 변조기(3531a)를 통과할 때 광선(3621a, 3622a)의 각도는 광선이 기판(3500)에 도달할 때 광선의 높이를 결정하고 두 광선(3621a, 3622a)이 각각 제3A 광 검출기(3540a)와 제3B 광 검출기(3540b)에 도달하게 해 준다.
같은 방식으로 제3 광원(3620c, 3620d)에서 출발한 광선(3623a, 3624a)은 제3A 광 검출기(3540a)와 제3B 광 검출기(3540b)에 도달한다. 따라서 제3 광검출기(3540a)에서 검출한 신호는 에 비례하고 제3B 광검출기(3540b)에서 검출한 신호는 에 비례한다. 이 두 광 검출기에 연결된 전자 프로세싱 유닛(3550a)는 이 두 신호의 크기를 가지고 뺄셈 연산을 할 수 있으며 비례하는 신호 크기를 얻을 수 있다.
앞서 정 방향 차동 모드 계산과 마찬가지로 도 31에 있는 역 방향 가중치 표현에서 와 는 와 역 방향 가중치의 양수 부분을 나타내며, 와 는 와 역 방향 가중치의 음수 부분을 나타낸다. 예를 들어 가 양수이고 가 음수이면, =, =0, =0, =을 사용하여 과를 얻을 수 있다.
[수학식 18]
역 방향 계산에서도 수학식 18와 같이 임의의 개수 항이 있을 경우에도, (+) 항에 해당하는 광선들은 가중치 를 원래 모델 값으로 세팅하고, (-) 항에 해당하는 광선들은 가중치 를 0으로 세팅한 다음, (+) 항에 해당하는 광선들만 제3A 광 검출기(3540a)에 모아서 합산할 수 있다. 마찬가지로, (-) 항에 해당하는 광선들은 모아서 제3B 광 검출기(3540b)로 보내어 합산할 수 있다. 따라서, 이러한 방식으로 음수의 가중치를 포함하는 일반적 신경망 연산을 수행할 수 있다.
각 전자 프로세싱 유닛(3550a, 3550b)은 주변의 광 검출기 두 개뿐 아니라 인접해 있는 다수의 광 검출기의 출력을 입력으로 사용할 수 있으며 뺄셈 이외의 다양한 함수를 전자회로를 통해 구현할 수 있다.
역 방향으로 수학식 18에서 입력 값 대신 전자 프로세싱 유닛(3550a)가 저장하고 있는 가중 입력 을 사용할 수 있으며 을 구할 수 있다. 전자 프로세싱 유닛(3550a)가 연산하거나 저장하고 있는 값을 사용한다. 여기서 은 에 해당하는 픽셀은 공간적으로 분리되어 있지만 같은 값으로 세팅한다. 같은 방식으로 을 구할 수 있다.
또한 공간 광 변조기(3531a)에는 광 검출기와 전자 프로세싱 유닛이 각 픽셀에 연결되어 있어서 통과하는 빛의 세기를 측정하고 데이터 저장 및 주변 픽셀과 정보교환, 수학 연산이 가능하다. 와 에 근접한 전자 프로세싱 유닛에서 와 을 얻을 수 있기 때문에 가중치 민감도 을 구할 수 있다. 같은 방식으로 , , , , 도 구할 수 있다. 이러한 방식으로 결국 광전자 모듈(3070)은 정방향 뿐만 아니라 역 방향으로도 임의의 개수 입출력 노드 또는 항이 있는 인공 신경망 계산을 수행할 수 있으며 대량의 병렬 데이터 처리가 가능하다.
도 32은 도 31의 광전자 모듈을 캐스캐이드 연결한 예시를 보여주는 도면이다.
도 32을 참조하면, 제1 광 계산층(3901)은 반복되어 제2 광 계산층(3902)에 나타나며 임의의 개수 신경망 층을 구현할 수 있다. 앞선 층인 제1 광 계산층(3901)의 출력 값은 뒤에 나오는 층인 제2 광 계산층(3902)의 입력과 연결될 수 있다.
도 31에서 다층 신경망을 구성하는 또 다른 한 가지 방법은 제1 기판(3500)과 제2 기판(3700) 사이에서 빛이 왕복하며 계산 결과가 전자 프로세싱 유닛(3630a, 3630b, 3550a, 3550b)에 저장되며 다층 신경망 계산을 수행하는 것이다. 이 때 빛이 한 방향으로 한 번 진행될 때마다 공간 광 변조기(3531a, 3532b)의 가중치 값은 각 층의 값에 따라 변경되어야 한다. 가중치 픽셀에 연결된 전자 프로세싱 유닛에 메모리에 저장된 값을 가져와 갱신하게 된다.
본 발명은 순수 전자회로 대신 광 연결을 사용한 광 컴퓨터 구조를 구현함으로써 입력과 출력 단자의 개수가 각각 N과 M으로 늘어나도 전기회로와 같이 연결선의 물리적 구조가 복잡해지거나 잡음이 생기지 않고 대략 N X M 번의 곱셈과 덧셈을 한 번에 수행함으로써 계산 속도를 빠르게 하는 광 신경망 컴퓨터 구조 및 기술을 제공한다.
공간 광 변조기의 픽셀 값이 이미 정해진 경우, 광원에서 광 검출기에 이르는 광 경로들이 겹쳐짐에도 불구하고 서로 다른 경로의 광자들을 방해하지 않기 때문에 병렬 계산이 가능하고 빛의 속도로 광 검출기에 도착하기 때문에 계산 시간은 매우 짧아지게 된다.
본 발명에서 제안한 광 신경망 컴퓨터는 빛이 양 방향으로 진행할 수 있어서 추론계산 뿐 아니라 역 전파 알고리듬과 같은 신경망 학습 알고리듬 또는 Auto-correlation 알고리듬 등 다양한 알고리듬 수행과 응용이 가능하다.
또한, 계산에 있어서 시간 지연은 전자 프로세싱 유닛에서 일어나지만 모든 출력에서 병렬로 진행되므로 디지털 전자회로의 1 명령 사이클(instruction cycle)에 해당한다고 볼 수 있다. L 개의 다층 신경망을 구성할 경우에, 모든 층에서 계산이 동시에 수행되므로 실제 계산 속도는 N X M X L 배 증가하게 된다. 앞서 설명한 도 28 내지 도 29에서는 공간 광 변조기를 사용한 양방향 광전자 모듈과 이를 포함하는 광신경망 컴퓨터에 대해 설명하였다.
그러나 이러한 광신경망 컴퓨터는 스위칭 속도가 느린 공간 광 변조기를 사용하므로 같은 입력 데이터에 대해서 서로 다른 가중치 세트에 대한 계산을 수행하는 경우 가중치 세트를 갱신하는데 많은 시간이 걸리는 단점이 있다. 또한 이러한 가중치 세트 갱신에 대한 요구와 공간 광 변조기의 느린 스위칭 속도는 광신경망 컴퓨터의 병렬 처리 속도를 저해하는 원인이 될 수 있다.
따라서 이하에서는 도 33 내지 도 37을 통해 스마트 픽셀 광 변조기를 사용한 양방향 광전자 모듈과 이를 포함하는 광신경망 컴퓨터에 대해 설명하도록 한다.
도 33은 본 발명의 제5 실시예에 따른 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈의 개념도이고, 도 34은 도 33의 스마트 픽셀 광 변조기의 개념도이다.
도시된 광전자 모듈(3010)은 복수의 제1 광원(3101a, 3101b), 복수의 제1 렌즈(3102a, 3102b), 복수의 스마트 픽셀 광 변조기(3103a, 3103b), 복수의 제1 광 검출기(3120a, 3120b), 복수의 제3 광원(3124a, 3124b), 복수의 제3 광 검출기(3140a, 3140b) 및 렌즈부(3104a, 3104b, 3105)를 포함한다.
복수의 제1 광원(3101a, 3101b)은 제1 기판(3100)에 일정 간격으로 이격되어 형성될 수 있으나, 이와 다르게 다른 기판에 각각 형성될 수도 있다.
본 발명의 제5 실시예에 따른 광 광전자 모듈(3010)은 복수의 전자 프로세싱 유닛(3121a, 3121b, 3141a, 3141b) 및 복수의 제2 광원(3122a, 3122b), 복수의 제2 광 검출기(3160a, 3160b)를 더 포함할 수 있다.
복수의 제1 및 제2 광 검출기(3120a, 3120b, 3160a, 3160b), 복수의 전자 프로세싱 유닛(3121a, 3121b) 및 복수의 제2 광원(3122a, 3122b), 복수의 제3 광원(3124a, 3124b)은 제2 기판(3130)에 형성될 수 있으나, 이와 다르게 다른 기판에 별도로 형성되거나 하나 이상의 소자가 동일 기판에 형성될 수 있다. 예를 들어, 제1 기판(3100) 및 제2 기판(3130)은 반도체 기판 또는 PCB일 수 있다.
복수의 제1 렌즈(3102a, 3102b)는 동일한 기판에 형성할 수 있다.
복수의 스마트 픽셀 광 변조기(3103a, 3103b)는 동일한 기판에 형성할 수 있다.
복수의 제2 렌즈(3104a, 3104b)는 동일한 기판에 형성할 수 있다.
복수의 제1 광원(3101a, 3101b)과 제3 광 검출기(3140a, 3140b)는 동일한 기판에 형성할 수 있다.
복수의 제3 광원(3124a, 3124b)과 제1 광 검출기(3120a, 3120b)는 동일한 기판에 형성할 수 있다.
도 33에서는 제1 광원(3101a, 3101b), 제1 렌즈(3102a, 3102b), 스마트 픽셀 광 변조기(3103a, 3103b), 제1 광 검출기(3120a, 3120b), 제3 광원(3124a, 3124b), 제3 광 검출기(3140a, 3140b), 제2 광원(3122a, 3122b), 제2 광 검출기(3160a, 3160b) 등은 2개로 표현하고, 전자 프로세싱 유닛(3121a, 3121b, 3141a, 3141b)은 4개로 표현하였지만, 이들은 일례에 불과하며, 각 소자의 개수는 필요에 따라 변경하여 설계 가능하다.
예를 들어, 본 발명에서 광원은 LED나 반도체 레이저, 특히 수직 표면광 레이저를 사용할 수 있다. 광원에 흘려주는 전류의 세기를 통해 빛의 세기를 조절하여 입력 값을 개별적으로 조절할 수 있다.
복수의 제1 광원(3101a, 3101b)에서 나온 빛은 각각 대응하는 복수의 제1 렌즈(3102a, 3102b)를 통과한 후, 대응하는 스마트 픽셀 광 변조기(3103a, 3103b)를 통과한다. 제1 렌즈(3102a, 3102b)는 대응하는 제1 광원(3101a, 3101b)에서 조사된 광선이 발산각을 감소시키는 역할을 하며, 바람직하게는 평행광으로 변조하는 역할을 한다.
도 33에서는 각 제1 광원(3101a, 3101b)에서 나오는 빛 중에서 대표적인 광선 4개(3110a, 3112a, 3110b, 3112b)를 보이고 있으며, 4개의 광선은 각각 스마트 픽셀 광 변조기(3103a, 3103b)에 있는 개별적 픽셀을 통과하게 된다. 스마트 픽셀 광 변조기(3103a, 3103b)는 복수의 제1 렌즈(3102a, 3102b)에 각각 대응하여 형성되고, 픽셀 메모리로부터 읽어서 설정된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈(3102a, 3102b)를 통과한 광선의 세기를 조절한다.
또한 스마트 픽셀 광 변조기(3103a, 3103b)는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 광 검출기, 전자 프로세싱 유닛, 광원이 할당된다. 여기서 광 검출기는 제1 렌즈(3102a, 3102b) 또는 제2 렌즈(3104a, 3104b)를 통과한 광선을 전류 신호로 바꾸고, 전자 프로세싱 유닛은 상기 전류 신호를 증폭시키거나 상기 전류 신호를 메모리에 저장된 가중치 값과 곱셈, 덧셈 등을 통해 연산한 결과 값을 전류 신호로 변환하여 연결된 광원으로 내보낸다.
스마트 픽셀 광 변조기(3103a, 3103b)의 구조를 도 34을 통해 보다 상세히 설명하면, 도시된 스마트 픽셀 광 변조기는 좌측의 제1 면에 배열된 픽셀들 각각에 스마트 픽셀 내 제1 광원(3172)과 스마트 픽셀 내 제1 광검출기(3171)가 배치되어 있다. 그리고 우측의 제2 면에 배열된 픽셀들 각각에는 스마트 픽셀 내 제2 광원(3175)과 스마트 픽셀 내 제2 광검출기(3174)가 배치되어 있고, 상기 제1 면과 제2 면 사이에 위치한 중간에 배열된 픽셀들 각각에는 전자 프로세싱 유닛(3173A, 3173B)이 배치되어 있다.
제1 면에 입사한 빛을 제2 면으로 보내는 픽셀은 스마트 픽셀 내 제1 광검출기(3171), 해당 픽셀의 전자프로세싱 유닛(3173B), 스마트 픽셀 내 제2 광원(3175)이 전기적으로 연결되어 있다. 제2 면으로 입사한 빛을 제1 면으로 보내는 픽셀은 스마트 픽셀 내 제2 광검출기(3174), 해당 픽셀의 전자 프로세싱 유닛(3173A), 스마트 픽셀 내 제1 광원(3172)이 연결되어 있다. 이때 제1 면의 광원이 특정한 각도로 나가게 하기 위해서 광원이 나가는 쪽에 마이크로 프리즘을 설치할 수 있으며, 스마트 픽셀 내 제1 광원 또는 제2 광원 앞에 마이크로 렌즈를 설치하여 출력 빔의 발산각을 조절할 수도 있다.
이렇게 스마트 픽셀 광 변조기는 각 픽셀마다 광 검출기, 전자 프로세싱 유닛 및 광원이 할당되어 있어 주변의 픽셀과 연결되지 않아도 되기 때문에 병렬 계산의 효율성을 해치지 않는다. 가장 중요한 것은 이러한 전자 소자들의 스위칭 속도가 빠르기 때문에 앞서 도 28 내지 도 34을 통해 설명한 공간 광 변조기(LCD, DMD) 속도인 수 kHz에 비해 훨씬 빠른 수백 MHz의 속도로 가중치 갱신이 가능하다는 점이다.
각 픽셀의 메모리에는 프로그램에 따라 적용해야 할 가중치 또는 바이어스 값이 저장되어 있다. 결국 스마트 픽셀 광 변조기는 각 픽셀 당 메모리가 있는 광 리피터가 배열 형태로 배치되어 있는 구조라고 생각할 수 있다.
한편, 스마트 픽셀 광 변조기(3103a, 3103b)를 통과한 광선들은 렌즈부(3104a, 3104b, 3105)로 입력된다. 렌즈부(3104a, 3104b, 3105)는 복수의 스마트 픽셀 광 변조기(3103a, 3103b)와 복수의 제1 광 검출기(3120a, 3120b) 사이에 형성된다.
또한, 렌즈부(3104a, 3104b, 3105)는 각 스마트 픽셀 광 변조기(3103a, 3103b)의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원(3101a, 3101b)에서 조사된 광선을 하나의 제1 광 검출기(3120a, 3120b)로 모으는 역할을 수행한다.
본 발명의 실시예에서, 렌즈부(3104a, 3104b, 3105)는 복수의 스마트 픽셀 광 변조기(3103a, 3103b)에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제2 렌즈(3104a, 3104b) 및 복수의 제2 렌즈(3104a, 3104b)를 통과한 모든 광선을 통과시키는 제3 렌즈(3105)를 포함한다. 만약, 제2 렌즈(3104a, 3104b)를 입사하는 광선이 평행광이라면 초점에 모이게 된다.
각 스마트 픽셀 광 변조기(3103a, 3103b)를 통과한 광선은 대응하는 각 제2 렌즈(3104a, 3104b)를 통과해서 초점에 모였다가 다시 퍼지게 되는데, 이때 다시 제3 렌즈(3105)를 통과하게 된다.
제2 렌즈(3104a, 3104b)를 통과할 때 광선이 제2 렌즈(3104a, 3104b)의 광축에서 떨어진 광선의 높이에 따라 광선의 각도가 달라지는데 제2 렌즈(3104a)의 광축에서 가장 높은 위치를 통과하는 광선(3110a)과 제2 렌즈(3104b)의 광축에서 가장 높은 위치를 통과하는 광선(3110b)은 수평 축에 대해 동일한 각도를 가지게 된다.
두 광선(3110a, 3110b)은 평행광을 형성하면서 제3 렌즈(3105)에 들어가므로, 제3 렌즈(3105)의 초점 평면 상에서 동일한 점에 모이게 된다. 도 33에서는 두 광선이 하나의 제1 광 검출기(3120a)에 모이게 된다.
마찬가지로, 상대적으로 동일 위치의 광선인 제2 렌즈(3104a)를 통과하는 광선(3112a)과 제2 렌즈(3104b)를 통과하는 광선(3112b)은 제3 렌즈(3105)를 통과한 후 하나의 광 검출기(3120b)에 모이게 된다.
제1 광 검출기(3120a, 3120b)는 보통 포토다이오드와 같은 광 반도체 소자로 구성할 수 있다. 제1 광 검출기(3120a, 3120b)에 흐르는 전류는 결국 제1 광 검출기(3120a, 3120b) 각각에 도착한 빛의 세기의 합인 , 에 비례하는 값을 가지게 된다. 제1 광 검출기(3120a, 3120b)에서 얻어진 전류 값 또는 그 증폭된 값과 전자 프로세싱 유닛(3121a, 3121b)에 각각 저장된 바이어스 값 (, )를 더한 뒤, 그 값을 입력으로 해서 시그모이드 함수 б를 계산하고 신경망 노드의 출력 값을 얻어낸다.
광선(3111a, 3113a, 3111b, 3113b)는 역 방향으로 진행하는 광선의 예를 보이고 있다. 광 모듈이 정 방향으로 동작할 경우 제1 광원(3101a, 3101b)에서 나온 광선도 정 방향으로 진행할 수 있는데, 이때 픽셀 , , , 을 OFF 상태로 세팅해서 제1 광원(3101a, 3101b)으로부터 나온 광선이 통과하지 못하게 할 수 있다. 실제로 역방향 광선(3111a, 3113a, 3111b, 3113b)은 제1 광 검출기(3120a, 3120b)에서 출발해서 제1 광원(3101a, 3101b)에 도달하므로 신호를 발생시키지는 않고 역방향 광선 경로의 예시를 보이고 있다.
일 실시예에서, 전자 프로세싱 유닛(3121a, 3121b)의 각 출력 값은 연결된 제2 광원(3122a, 3122b)으로 각각 전달될 수 있다. 따라서, 전자 프로세싱 유닛(3121a, 3121b)의 출력 값은 각각 , 과 비례하게 조정될 수 있다.
각 전자 프로세싱 유닛(3121a, 3121b)은 시그모이드 함수 이외에도 RELU 함수와 같은 다른 활성화 함수도 사용할 수 있다.
전자 프로세싱 유닛(3121a, 3121b)은 함수 연산 이외에도 결과 값이나 외부 입력 값을 저장하여 연산에 사용할 수 있다. 이러한 메모리 기능은 다음 순차에서의 계산 값과 저장된 값을 비교하거나 저장된 값을 이용한 함수 계산에 사용함으로써 다양한 계산을 수행할 수 있게 한다.
전자 프로세싱 유닛은 통신 기능이 있어 연결된 통신 선을 통해 주변의 전자 프로세싱 유닛이나 외부 프로세서와 데이터를 교환할 수 있다.
제2 광원(3122a, 3122b)은 신경망의 , 에 해당하며 다음 층의 입력 값으로 쓰인다.
전자 프로세싱 유닛(3121a, 3121b)은 반도체 기판에 형성된 전자 집적 회로로서 아날로그 회로나 디지털 회로를 통해 구현할 수 있다.
본 실시예에서 사용된 렌즈들은 굴절 렌즈나 회절 광소자를 사용하여 구현할 수 있다.
이와 같이 광전자 모듈(3010)은 하나의 출력 노드, 예를 들어 에 제1 광 검출기(3120b)와 제3 광원(3124b)이 전자 프로세싱 유닛(3121b)을 통해 연결되어 있어서 제3 광원(3124b)에서 역방향으로 광선을 보내어 스마트 픽셀 광 변조기(3103a) 안에 있는 광 검출기(3174)로 신호를 보낼 수 있다.
스마트 픽셀내 전자 프로세싱 유닛(3173A)은 광 검출기 전류 값과 메모리에 저장된 가중치 정보를 이용하여 연산한 전류로 변환하여 스마트 픽셀 내 광원(3172)의 세기를 조절할 수 있다. 이와 같이 도 33의 광전자 모듈(3010)은 도 28에 나온 광전자 모듈(3050)의 양 방향 광신경망 기능을 스마트 픽셀 광 변조기를 사용하여 구현할 수 있다. 스마트 픽셀 광 변조기 갱신 속도가 기존의 공간 광 변조기에 비해 매우 빠르기 때문에 정 방향 계산 이후에 가중치를 빠르게 변경해야 하는 역 전파 알고리듬의 병렬 처리 속도를 크게 향상시킬 수 있다. 이러한 특성은 인공 신경망 학습 속도를 증가시키는데 기여할 수 있다.
도 35는 본 발명의 제6 실시예에 따른 팬인 및 팬아웃을 포함한 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈의 개념도이고, 도 36은 도 35의 스마트 픽셀 광 변조기의 개념도이다.
도시된 광전자 모듈(3020)은 복수의 전기적 입출력(3200), 복수의 스마트 픽셀 광 변조기(3201), 렌즈부(3202, 3203) 및 복수의 광 검출기(3204)를 포함한다. 이렇게 광전자 모듈(3020)은 도 33의 구조를 더욱 단순화한 구조로써, 제1 렌즈가 없어지고 대신에 전기적 팬아웃(Fan-out), 팬인(Fan-in) 구조(3208, 3209)가 스마트 픽셀 광 변조기(3201)에 포함된다.
제2 렌즈(3202)와 제3 렌즈(3203)의 거리를 도 33에 비하여 좁혀도 스마트 픽셀 광 변조기(3201)의 픽셀 이미지를 제1 광 검출기(3204)에 맺을 수 있다. 또한 제2 렌즈(3202)와 제3 렌즈(3203)는 하나의 소자로 통합될 수 있으며 회절 광학 소자(Diffractive Optical Element, DOE)가 이러한 기능을 할 수 있다. 이때 제3 광원(3205)의 더 자세한 구조는 도 29에 나타낸 바와 같으며, 회절 격자(3450a)와 프리즘(3451a)을 사용하여 여러 개의 광선을 다수의 방향으로 보낼 수 있다. 회절 격자(3450a)와 프리즘(3451a)은 DOE를 사용해 하나의 광 소자로 제작할 수 있다. 또한 광선의 발산각을 조절하기 위해 회절 격자(3450a)와 광원(3424a) 사이에는 렌즈가 추가될 수 있으며 DOE는 이러한 기능을 하나의 소자로 구현할 수 있다.
스마트 픽셀 광 변조기(3201)의 더 자세한 구조는 도 36에 나와 있다. 스마트 픽셀이 제2 면에 광원(3212)과 광 검출기(3211)를 모두 포함하며, 전자 프로세싱 유닛(3210)과 전기적 입출력 노드를 연결하는 팬아웃 및 팬인 구조를 모두 포함한다.
전기적 팬인 구조는 광 검출기(3211)에서 획득한 신호를 메모리의 가중치와 연산하고 결과 값을 전류로 변환하여 입출력 노드로 전달하는 역할을 하며, 전기적 팬아웃 구조는 입력 신호를 전선을 통해 여러 갈래로 분배하여 전달하는 역할을 한다. 이러한 구조는 스마트 픽셀 광 변조기(3201)가 양방향으로 동작할 수 있게 하고 역 전파 알고리듬과 같은 알고리듬을 광 신경망 컴퓨터로 계산할 수 있게 해준다. 스마트 픽셀 광 변조기(3201)는 빠른 스위칭 스피드를 가지고 병렬성을 해치지 않기 때문에 양방향 광신경망 컴퓨터의 병렬 처리 용량을 크게 향상시킨다.
도 37은 스마트 픽셀 광 변조기를 사용한 광신경망 컴퓨터에서 입출력 노드 스케일업을 구현한 개념도이다.
도 37(a) 내지 도 37(d)는 스마트 픽셀 광 변조기를 사용한 광 신경망 컴퓨터에서 입력과 출력 노드의 개수를 각각 두배씩 증가시키는 스케일업 알고리듬을 보이고 있다.
도 37(a)에서 1번부터 N번까지의 입력 노드와 1번부터 N번까지의 출력 노드를 완전 연결을 하여 가중치 계산을 수행한다. 그 다음 1번부터 N번까지의 출력 노드는 각 픽셀의 메모리에 저장하고 1번부터 N번까지의 입력 노드와 N+1번부터 2N번까지의 출력 노드를 완전 연결하여 가중치 계산을 수행한다.
다음 단계로 도 37(b)에서와 같이 1번부터 N번까지의 입력 노드 값은 각 픽셀 메모리에 저장하고 N+1번부터 2N번까지의 입력 노드 값을 메모리에서 불러낸다. N+1번부터 2N번까지의 입력 노드 값과 N+1번부터 2N번까지의 출력 노드 값 사이의 완전 연결 가중치 계산을 수행한다. 그 다음 출력 단에서 N+1번부터 2N번까지의 출력 노드 값은 각 픽셀 메모리에 저장하고 1번부터 N번까지의 출력 노드 값을 메모리에서 불러 낸다. N+1번부터 2N번까지의 입력 노드 값과 1번부터 N번까지의 출력 노드 값 사이의 완전 연결 가중치 계산을 수행한 다음 이전 값에 더하고 메모리에 저장한다.
이러한 과정들이 9개의 계산 과정을 포함하지만 입력과 출력 노드의 개수를 각각 2배씩 증가시킬 수 있으며 연결 수는 4배 증가시킨다. 또한 기존의 클러스터링 방식에 비해 광 모듈 클러스터링을 위한 상당한 공간의 증가와 다수의 광 모듈 제작이 필요하지 않으므로 매우 경제적인 해결 방식이 될 수 있다.
또한 입력 노드의 개수나 출력 노드의 개수를 각각 2, 3, 4, 5 쪋 배 등 임의의 배수로 확장할 수 있으므로 하드웨어 크기에 제약 받지 않고, 연결하는 토폴로지(topology)를 유연하게 조절할 수 있는 장점을 제공한다. 기존에 공간 광변조기(LCD, DMD)를 사용하는 광 신경망 컴퓨터에서는 스위칭 속도가 느려서 가중치의 갱신 속도가 느리기 때문에 이러한 연결을 할 경우 병렬 처리 속도가 매우 저하되었지만 스마트 픽셀을 이용한 광 신경망 컴퓨터는 이러한 단점이 없다.
본 발명에서 제안한 광 컴퓨터는 빛이 양 방향으로 진행할 수 있어서 추론 계산뿐만 아니라 역 전파 알고리듬과 같은 신경망 학습 알고리듬 또는 자기 상관(Auto-correlation) 알고리듬 등 다양한 알고리듬 수행과 응용이 가능하다.
또한 계산에 있어서 시간 지연은 전자 프로세싱 유닛에서 일어나지만 모든 출력에서 병렬로 진행되므로 디지털 전자회로의 1 명령 사이클(instruction cycle)에 해당한다고 볼 수 있다. L 개의 다층 신경망을 구성할 경우에, 모든 층에서 계산이 동시에 수행되므로 실제 계산 속도는 N X M X L 배 증가하게 된다.
또한 양방향 계산이 가능하므로 두 개의 신경망 층 사이를 왕복하며 계산이 가능하므로 임의의 개수 층에 해당하는 신경망을 두 층의 양방향 광신경망에서 계산할 수 있으므로 하드웨어의 부피를 크게 줄일 수 있다. 기존의 양방향 광신경망이 느린 가중치 갱신 속도로 인해 계속 속도가 느렸던 반면 스마트 픽셀 광변조기를 사용한 광신경망은 하드웨어 공간 절약할 뿐만 아니라 매우 빠른 병렬 처리 속도를 제공한다. 자세한 설명은 참고문헌 1을 참조하기 바란다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (40)

  1. 서로 일정 거리 이격되어 형성되는 복수의 제1 광원;
    복수의 제1 광원에 각각 대응하여 형성되고, 대응하는 제1 광원에서 조사된 광선의 발산각(divergence angle)을 감소시키는 복수의 제1 렌즈;
    복수의 제1 렌즈에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈를 통과한 광선의 세기를 조절하는 복수의 스마트 픽셀 광 변조기;
    복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 광 검출기; 및
    복수의 스마트 픽셀 광 변조기와 복수의 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원에서 조사된 광선을 하나의 광 검출기로 모으는 렌즈부;를 포함하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  2. 제1항에 있어서, 렌즈부는,
    복수의 스마트 픽셀 광 변조기에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제2 렌즈; 및
    상기 복수의 제2 렌즈를 통과한 모든 광선을 통과시키는 제3 렌즈;를 포함하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  3. 제1항에 있어서,
    상기 스마트 픽셀 광 변조기는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 광 검출기, 전자 프로세싱 유닛 및 광원이 할당되는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  4. 제3항에 있어서,
    상기 광 검출기는 상기 제1 렌즈를 통과한 광선을 전류 신호로 바꾸고,
    상기 전자 프로세싱 유닛은 상기 전류 신호를 증폭시키거나 상기 전류 신호를 메모리에 저장된 가중치 값과 연산한 결과 값을 전류 신호로 변환하여 상기 광원으로 내보내는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  5. 서로 일정 거리 이격되어 형성되는 복수의 전기적 입력 노드;
    복수개의 픽셀들로 구성되며, 상기 전기적 입력 노드를 통해 입력되는 입력 신호를 전기적 팬아웃(Fan-out) 구조를 통해 상기 픽셀들 각각에 연결하는 복수의 스마트 픽셀 광 변조기;
    상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 광 검출기; 및
    상기 복수의 스마트 픽셀 광 변조기와 복수의 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 스마트 픽셀 광 변조기에서 출발한 광선을 하나의 광 검출기로 모으는 렌즈부;를 포함하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  6. 제5항에 있어서, 상기 렌즈부는,
    복수의 스마트 픽셀 광 변조기에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제2 렌즈; 및
    상기 복수의 제2 렌즈를 통과한 모든 광선을 통과시키는 제3 렌즈;를 포함하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  7. 제5항에 있어서,
    상기 스마트 픽셀 광 변조기는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 전자 프로세싱 유닛 및 광원이 할당되는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  8. 제7항에 있어서,
    상기 입력 신호는 상기 팬아웃 구조를 통해 상기 전자 프로세싱 유닛에 연결되고, 상기 전자 프로세싱 유닛은 상기 입력 신호를 메모리에 저장된 가중치 값과 연산한 결과 값을 전류 신호로 변환하여 상기 광원으로 내보내는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  9. 제8항에 있어서,
    각 픽셀의 출력 광원의 세기는 상기 입력 신호와 상기 메모리에 저장된 가중치 값의 곱에 비례하는 특성을 갖는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  10. 제6항에 있어서,
    상기 제2 렌즈 및 제3 렌즈는 하나의 광학 부품으로 접착하여 기능을 통합하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  11. 제6항에 있어서,
    상기 제2 렌즈 및 제3 렌즈는 회절 광학 소자(DOE: diffractive optical element)를 사용해 결합된 하나의 렌즈로 가공하여 기능을 통합하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  12. 제1항에 따른 스마트 픽셀 광 변조기를 이용한 광전자 모듈을 포함하는, 광 신경망 컴퓨터.
  13. 서로 일정 거리 이격되어 형성되는 복수의 제1 광원;
    상기 복수의 제 1광원에 각각 대응하여 형성되고, 대응하는 제 1광원에서 조사된 광선의 발산각(divergence angle)을 감소시키는 복수의 제 1렌즈;
    상기 복수의 제 1렌즈에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제 1렌즈를 통과한 광선의 세기를 조절하는 복수의 스마트 픽셀 광 변조기;
    상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 제1 광 검출기; 및
    상기 복수의 스마트 픽셀 광 변조기와 상기 복수의 제1 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 서로 다른 상대 위치에 있는 픽셀을 통과하는 서로 다른 제 1광원에서 조사된 광선을 하나의 제1 광 검출기로 모으는 렌즈부;를 포함하고,
    상기 렌즈부는,
    상기 복수의 스마트 픽셀 광 변조기에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제 2렌즈; 및
    상기 제 2렌즈를 통과한 광선을 통과시키며 각각의 제 2렌즈에 대응하는 복수의 제 3렌즈;를 포함하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  14. 제13항에 있어서,
    각 스마트 픽셀 광 변조기 및 상기 각 스마트 픽셀 광 변조기에 대응하는 제 2렌즈는, 제 1 거리만큼 이격되어 형성되고, 각 제1 광 검출기는 제 3렌즈로부터 제 2거리만큼 이격되어 형성되되,
    상기 제 2거리는 스마트 픽셀 광 변조기의 픽셀의 상이 상기 제1 광 검출기에 맺히도록 하는 거리에서 일정 오차 값 이상 벗어나지 않는 관계를 만족하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  15. 제13항에 있어서,
    상기 렌즈부는,
    상기 복수의 스마트 픽셀 광 변조기와 상기 복수의 제1 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 서로 다른 상대 위치에 있는 픽셀을 통과하는, 서로 다른 제 1광원에서 조사된 광선을 하나의 제1 광 검출기로 모으는 기능을 사용하여 광원 배열과 스마트 픽셀 광 변조기의 픽셀 배열의 합성곱을 계산하는 기능을 구현하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  16. 제13항에 있어서,
    상기 제 3렌즈에 대응하는 또는 상기 제3 렌즈 구경 내에 배치된 광 검출기가 복수개 마련되고, 각 광 검출기는 서로 다른 상대 위치의 스마트 픽셀 광 변조기 픽셀을 통과하는 광선에 대한 서로 다른 합성곱 연산을 수행하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  17. 제13항에 있어서,
    상기 스마트 픽셀 광 변조기는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 광 검출기, 전자 프로세싱 유닛 및 광원이 할당되는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  18. 제17항에 있어서,
    상기 광 검출기는 상기 제1 렌즈를 통과한 광선을 전류 신호로 바꾸고,
    상기 전자 프로세싱 유닛은 상기 전류 신호를 증폭시키거나 상기 전류 신호를 메모리에 저장된 가중치 값과 연산한 결과 값을 전류 신호로 변환하여 상기 광원으로 내보내는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  19. 제13항에 있어서,
    상기 복수의 제1 광 검출기에서 일정 거리 이격되어 형성되고, 상기 제1 광원과 반대 방향으로 빛이 진행하는 복수의 제2 광원; 및
    상기 복수의 제2 광원에서 조사되고 상기 복수의 스마트 픽셀 광 변조기와 상기 제 1 렌즈를 통과한 광선을 모으며 상기 제1 광원에서 일정 거리 이격되어 형성되는 복수의 제2 광 검출기;를 더 포함하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  20. 서로 일정 거리 이격되어 형성되는 복수의 전기적 입출력 노드;
    복수개의 픽셀들로 구성되며, 상기 전기적 입력 노드를 통해 입력되는 입력 신호를 전기적 팬아웃(Fan-out) 구조를 통해 상기 픽셀들 각각에 연결하는 복수의 스마트 픽셀 광 변조기;
    상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 제1 광 검출기; 및
    상기 복수의 스마트 픽셀 광 변조기와 복수의 제1 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 서로 다른 상대 위치에 있는 픽셀을 통과하는 서로 다른 스마트 픽셀 광 변조기에서 출발한 광선을 하나의 광 검출기로 모으는 렌즈;를 포함하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  21. 제20항에 있어서,
    각 스마트 픽셀 광 변조기 및 상기 각 스마트 픽셀 광 변조기에 대응하는 렌즈는, 제 1 거리만큼 이격되어 형성되고, 각 제1 광 검출기는 상기 렌즈로부터 제 2거리만큼 이격되어 형성되되,
    상기 제 2거리는 스마트 픽셀 광 변조기의 픽셀의 상이 상기 제1 광 검출기에 맺히도록 하는 거리에서 일정 오차 값 이상 벗어나지 않는 관계를 만족하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  22. 제20항에 있어서,
    상기 렌즈는,
    상기 복수의 스마트 픽셀 광 변조기와 상기 복수의 제1 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 서로 다른 상대 위치에 있는 픽셀을 통과하는, 서로 다른 제 1광원에서 조사된 광선을 하나의 제1 광 검출기로 모으는 기능을 사용하여 광원 배열과 스마트 픽셀 광 변조기의 픽셀 배열의 합성곱을 계산하는 기능을 구현하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  23. 제20항에 있어서,
    상기 렌즈에 대응하는 또는 렌즈 구경 내에 배치된 광 검출기가 복수개 마련되고, 각 광 검출기는 서로 다른 상대 위치의 스마트 픽셀 광 변조기의 픽셀을 통과하는 광선에 대한 서로 다른 합성곱 연산을 수행하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  24. 제20항에 있어서,
    상기 스마트 픽셀 광 변조기는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 광 검출기, 전자 프로세싱 유닛 및 광원이 할당되는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  25. 제24항에 있어서,
    상기 광 검출기는 상기 렌즈를 통과한 광선을 전류 신호로 바꾸고,
    상기 전자 프로세싱 유닛은 상기 전류 신호를 증폭시키거나 상기 전류 신호를 메모리에 저장된 가중치 값과 연산한 결과 값을 전류 신호로 변환하여 상기 광원으로 내보내는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  26. 제20항에 있어서,
    상기 복수의 제1 광 검출기에서 일정 거리 이격되어 형성되고, 상기 입력 신호와 반대 방향으로 빛이 진행하는 복수의 광원;을 더 포함하며,
    상기 스마트 픽셀 광 변조기는 상기 복수의 광원에서 조사되고 상기 렌즈를 통과한 광선을 모으는 복수의 광 검출기, 상기 광 검출기에 연결된 전자 프로세싱 유닛 및 상기 전기적 입출력 노드와 복수의 픽셀을 연결하는 전기적 팬인(Fan-in) 구조를 포함하는, 스마트 픽셀 광 변조기를 이용한 광전자 모듈.
  27. 제13항에 따른 스마트 픽셀 광 변조기를 이용한 광전자 모듈을 포함하는, 광 합성곱 신경망 컴퓨터.
  28. 서로 일정 거리 이격되어 형성되는 복수의 제1 광원;
    상기 복수의 제1 광원에 각각 대응하여 형성되고, 대응하는 제1 광원에서 조사된 광선의 발산각(divergence angle)을 감소시키는 복수의 제1 렌즈;
    상기 복수의 제1 렌즈에 각각 대응하여 형성되고, 메모리에 저장된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1 렌즈를 통과한 광선의 세기를 조절하는 복수의 스마트 픽셀 광 변조기;
    상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 제1 광 검출기;
    상기 복수의 스마트 픽셀 광 변조기와 상기 복수의 제1 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1 광원에서 조사된 광선을 상기 복수의 제1 광 검출기 중 하나의 제1 광 검출기로 모으는 렌즈부;
    상기 복수의 제1 광 검출기에서 일정 거리 이격되어 형성되고, 상기 제1 광원과 반대 방향으로 빛이 진행하는 복수의 제3 광원; 및
    상기 복수의 제3 광원에서 조사되고 상기 스마트 픽셀 광 변조기와 상기 제 1 렌즈를 통과한 광선을 모으며 상기 제1 광원에서 일정 거리 이격되어 형성되는 복수의 제3 광 검출기;를 포함하는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  29. 제28항에 있어서,
    상기 복수의 제1 광 검출기는 상기 복수의 제 3광원과 같은 기판에 형성되고, 상기 복수의 제3 광 검출기는 상기 복수의 제 1광원과 같은 기판에 형성되는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  30. 제28항에 있어서,
    상기 렌즈부는,
    상기 복수의 스마트 픽셀 광 변조기에 각각 대응하여 형성되고 상기 제1 광원에서 조사된 광선을 한점에 모으는 복수의 제2 렌즈; 및
    상기 복수의 제2 렌즈를 통과한 모든 광선을 통과시키는 제3 렌즈;를 포함하는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  31. 제28항에 있어서,
    상기 복수의 제3 광원은, 회절 격자와 프리즘의 조합 또는 회절 광학 소자(Diffractive Optical Element, DOE) 중 적어도 하나를 포함하여 구성되는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  32. 제28항에 있어서,
    상기 스마트 픽셀 광 변조기는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 광 검출기, 전자 프로세싱 유닛 및 광원이 할당되는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  33. 제32항에 있어서,
    상기 광 검출기는 상기 제1 렌즈를 통과한 광선을 전류 신호로 바꾸고,
    상기 전자 프로세싱 유닛은 상기 전류 신호를 증폭시키거나 상기 전류 신호를 메모리에 저장된 가중치 값과 연산한 결과 값을 전류 신호로 변환하여 상기 광원으로 내보내는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  34. 서로 일정 거리 이격되어 형성되는 복수의 전기적 입출력 노드;
    복수개의 픽셀들로 구성되며, 상기 전기적 입출력 노드를 통해 입력되는 입력 신호를 전기적 팬아웃(Fan-out) 구조를 통해 상기 픽셀들 각각에 연결하는 복수의 스마트 픽셀 광 변조기;
    상기 복수의 스마트 픽셀 광 변조기로부터 이격되어 형성되며, 빛의 세기에 따른 전류 값을 획득하는 복수의 광 검출기;
    상기 복수의 스마트 픽셀 광 변조기와 복수의 광 검출기 사이에 형성되어, 각 스마트 픽셀 광 변조기의 동일한 상대 위치에 있는 픽셀을 출발하는 서로 다른 스마트 픽셀 광 변조기에서 출발한 광선을 하나의 광 검출기로 모으는 렌즈부; 및
    상기 복수의 광 검출기에서 일정 거리 이격되어 형성되고, 상기 입력 신호와 반대 방향으로 빛이 진행하는 복수의 광원;을 포함하며,
    상기 스마트 픽셀 광 변조기는 상기 복수의 광원에서 조사되고 상기 렌즈부를 통과한 광선을 모으는 복수의 광 검출기, 상기 광 검출기에 연결된 전자 프로세싱 유닛 및 상기 전기적 입출력 노드와 복수의 픽셀을 연결하는 전기적 팬인(Fan-in) 구조를 포함하는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  35. 제34항에 있어서, 상기 렌즈부는,
    복수의 스마트 픽셀 광 변조기에 각각 대응하여 형성되어 광선을 한점에 모으는 복수의 제2 렌즈; 및
    상기 복수의 제2 렌즈를 통과한 모든 광선을 통과시키는 제3 렌즈;를 포함하는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  36. 제34항에 있어서,
    상기 스마트 픽셀 광 변조기는 복수개의 픽셀들이 배열된 형태로 구성되며, 각 픽셀에는 광 검출기, 전자 프로세싱 유닛 및 광원이 할당되는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  37. 제36항에 있어서,
    상기 입력 신호는 상기 팬아웃 구조를 통해 상기 전자 프로세싱 유닛에 연결되고, 상기 전자 프로세싱 유닛은 상기 입력 신호를 메모리에 저장된 가중치 값과 연산한 결과 값을 전류 신호로 변환하여 상기 광원으로 내보내는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  38. 제35항에 있어서,
    상기 제2 렌즈 및 제3 렌즈는 하나의 광학 부품으로 접착하여 기능을 통합하는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  39. 제35항에 있어서,
    상기 제2 렌즈 및 제3 렌즈는 회절 광학 소자(DOE: diffractive optical element)를 사용해 결합된 하나의 렌즈로 가공하여 기능을 통합하는, 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈.
  40. 제28항에 따른 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈을 포함하는, 광 신경망 컴퓨터.
PCT/KR2025/009661 2024-07-05 2025-07-04 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터 Pending WO2026010448A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020240089131A KR102894693B1 (ko) 2024-07-05 2024-07-05 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터
KR10-2024-0089131 2024-07-05
KR1020240089153A KR102898601B1 (ko) 2024-07-05 2024-07-05 스마트 픽셀 광 변조기를 이용한 양방향 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터
KR10-2024-0089153 2024-07-05
KR1020240089789A KR20260007858A (ko) 2024-07-08 2024-07-08 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 합성곱 신경망 컴퓨터
KR10-2024-0089789 2024-07-08

Publications (1)

Publication Number Publication Date
WO2026010448A1 true WO2026010448A1 (ko) 2026-01-08

Family

ID=98318951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/009661 Pending WO2026010448A1 (ko) 2024-07-05 2025-07-04 스마트 픽셀 광 변조기를 이용한 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터

Country Status (1)

Country Link
WO (1) WO2026010448A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220180175A1 (en) * 2020-12-08 2022-06-09 Oxford University Innovation Limited Optical neural network
EP4074424A1 (en) * 2019-12-12 2022-10-19 Satake Corporation Optical sorting machine
KR20230022074A (ko) * 2021-08-06 2023-02-14 경북대학교 산학협력단 공간광변조기를 이용한 광전자 모듈 및 이를 포함하는 광 컴퓨터
KR20240048280A (ko) * 2022-10-06 2024-04-15 엘지이노텍 주식회사 3차원 센싱 장치
KR20240071987A (ko) * 2022-11-16 2024-05-23 경북대학교 산학협력단 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4074424A1 (en) * 2019-12-12 2022-10-19 Satake Corporation Optical sorting machine
US20220180175A1 (en) * 2020-12-08 2022-06-09 Oxford University Innovation Limited Optical neural network
KR20230022074A (ko) * 2021-08-06 2023-02-14 경북대학교 산학협력단 공간광변조기를 이용한 광전자 모듈 및 이를 포함하는 광 컴퓨터
KR20240048280A (ko) * 2022-10-06 2024-04-15 엘지이노텍 주식회사 3차원 센싱 장치
KR20240071987A (ko) * 2022-11-16 2024-05-23 경북대학교 산학협력단 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BAR-TANA I., ET AL.: "SMART-PIXEL SPATIAL LIGHT MODULATOR FOR INCORPORATION IN AN OPTOELECTRONIC NEURAL NETWORK.", OPTICS LETTERS, OPTICAL SOCIETY OF AMERICA, US, vol. 20., no. 03., 1 February 1995 (1995-02-01), US , pages 303 - 305., XP000482479, ISSN: 0146-9592 *

Similar Documents

Publication Publication Date Title
WO2013115431A1 (ko) 신경망 컴퓨팅 장치 및 시스템과 그 방법
WO2021177692A1 (ko) 거리 측정 카메라 장치
WO2015183050A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
WO2022055194A1 (ko) 스캔 거울과 트랜슬레이션 스테이지를 사용한 플라잉 오버 빔 패턴 스캐닝 홀로그램 현미경 장치
WO2023121123A1 (ko) 카메라 엑추에이터, 렌즈 이송 장치 및 이를 포함하는 카메라 장치
WO2020050532A1 (ko) 광 스캐닝 홀로그래피 시스템
WO2021029479A1 (ko) 전자 디바이스
WO2021137511A1 (en) Organic light emitting diode and organic light emitting device including the same
WO2023013855A1 (ko) 표시 장치 및 그것을 포함하는 전자 장치
WO2022092798A1 (ko) 거리 측정 카메라 장치
WO2023210950A1 (ko) 플렉서블 디스플레이 모듈을 구비한 전자 장치
WO2023075355A1 (ko) 카메라 모듈 및 이를 포함하는 전자 장치
WO2022131818A1 (ko) 전기적 스트레스를 제거하는 구조를 포함하는 전자 장치 및 인쇄 회로 기판
WO2022225177A1 (ko) 공간 변조 스캐너와 트랜슬레이션 스테이지를 사용한 플라잉 오버 빔 패턴 스캐닝 홀로그램 현미경 장치
WO2023003226A1 (ko) 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법
WO2021153997A1 (ko) 카메라 모듈
WO2024128753A1 (en) Floating image display device and methods for operating thereof, interactive floating image display system, method for operating interactive floating image display system
WO2024228539A1 (ko) 공간광변조기를 이용한 광전자 모듈 및 이를 포함하는 광 컴퓨터
WO2025178462A1 (ko) 공간 광 변조기를 이용한 양방향 광전자 모듈 및 이를 포함하는 광 신경망 컴퓨터
WO2020189923A1 (ko) 광학 장치 및 이를 구비하는 카메라 장치와 전자기기
WO2024117730A1 (ko) 물체를 식별하는 전자 장치 및 이의 제어 방법
WO2024019410A1 (ko) 연성 회로 기판을 포함하는 전자 장치
WO2024035110A1 (ko) 프로젝트 장치 및 이를 포함하는 전자 디바이스
WO2024029803A1 (ko) 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.
WO2025150747A1 (ko) 홀로그램 콘텐츠를 표시하는 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25833532

Country of ref document: EP

Kind code of ref document: A1