WO2022092416A1 - 인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템 - Google Patents

인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템 Download PDF

Info

Publication number
WO2022092416A1
WO2022092416A1 PCT/KR2020/017576 KR2020017576W WO2022092416A1 WO 2022092416 A1 WO2022092416 A1 WO 2022092416A1 KR 2020017576 W KR2020017576 W KR 2020017576W WO 2022092416 A1 WO2022092416 A1 WO 2022092416A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
artificial neural
memory
access request
data
Prior art date
Application number
PCT/KR2020/017576
Other languages
English (en)
French (fr)
Inventor
김녹원
Original Assignee
주식회사 딥엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥엑스 filed Critical 주식회사 딥엑스
Priority to KR1020217024935A priority Critical patent/KR102661710B1/ko
Priority to KR1020237037033A priority patent/KR20230152186A/ko
Priority to US17/430,323 priority patent/US20230297519A1/en
Priority to CN202080027581.1A priority patent/CN114761972A/zh
Priority to KR1020247013493A priority patent/KR20240059638A/ko
Publication of WO2022092416A1 publication Critical patent/WO2022092416A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1678—Details of memory controller using bus width
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/18—Handling requests for interconnection or transfer for access to memory bus based on priority control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present disclosure relates to an artificial neural network memory system based on artificial neural network data locality. More specifically, based on the artificial neural network data locality of the artificial neural network model processed in units of data access requests, the memory stores the data that requires a processor. It relates to an artificial neural network memory system that can improve artificial neural network computation speed by effectively supplying it.
  • AI reasoning ability develops, artificial intelligence speaker, smart phone, smart refrigerator, VR device, AR device, AI CCTV, AI robot vacuum cleaner, tablet, laptop computer, autonomous vehicle, biped robot, quadruped
  • inference services such as acoustic recognition, voice recognition, image recognition, object detection, driver drowsiness detection, danger moment detection, and gesture detection using artificial intelligence are being installed in various electronic devices such as walking robots and industrial robots.
  • Edge computing means the edge, the perimeter, where computing takes place.
  • Edge computing refers to a terminal that directly produces data or various electronic devices located close to the terminal.
  • Edge computing may be referred to as an edge device.
  • Edge devices can also be utilized when performing necessary tasks immediately and reliably, such as autonomous drones, autonomous robots, or autonomous vehicles that need to process massive amounts of data within 1/100 of a second. Accordingly, fields to which edge devices can be applied are rapidly increasing.
  • the inventor of the present disclosure recognized the fact that the calculation of the conventional artificial neural network model has problems such as high power consumption, heat generation, a bottleneck of processor operation due to a relatively low memory bandwidth, and latency of the memory. . Therefore, it was recognized that various difficulties exist in improving the computational processing performance of the artificial neural network model, and it was recognized that it was necessary to develop an artificial neural network memory system that can improve these problems.
  • the inventors of the present disclosure have studied an artificial neural network memory system that can be applied to a server system and/or edge computing. Furthermore, the inventors of the present disclosure have also studied a neural processing unit (NPU), which is a processor of an artificial neural network memory system optimized for artificial neural network model processing.
  • NPU neural processing unit
  • the inventor of the present disclosure recognized that effectively controlling the memory when calculating the artificial neural network model is the key to improving the artificial neural network computation processing speed.
  • the fact that the inventor of the present disclosure may not be able to properly prepare the necessary data in advance to reduce the effective bandwidth of the memory and/or delay the announcement of data in the memory if the memory control is not properly performed when training or inferring the artificial neural network model. was recognized.
  • the inventors of the present disclosure have recognized the fact that in this case, the processor is in a starvation or idle state that does not receive data to be processed, and thus cannot perform actual calculations, thereby degrading calculation performance.
  • the inventor of the present disclosure recognized the limitations of the computational processing method of the artificial neural network model in the conventional algorithm level.
  • the conventional prefetch algorithm is a technology in which the processor reads data from the memory in units of layers by interpreting the artificial neural network model in units of conceptual layers.
  • the prefetch algorithm cannot recognize the locality of the artificial neural network data in the word unit or memory access request unit of the neural network model existing at the processor-memory level, that is, the hardware level.
  • the inventors of the present disclosure have recognized that it is not possible to optimize the data transmission/reception operation at the processor-memory level using only the prefetch technique.
  • the inventor of the present disclosure recognized the “artificial neural network data locality”, which is a unique characteristic of the artificial neural network model.
  • the inventor of the present disclosure has artificial neural network data locality in word unit or memory access request unit at the processor-memory level, and by utilizing this, maximizes effective memory bandwidth, and minimizes data supply delay to the processor to learn / It has been recognized that the performance of inference processing can be improved.
  • the term “artificial neural network data locality” of the artificial neural network model recognized by the inventor of the present disclosure means that when the processor processes a specific artificial neural network model, the processor that is performed according to the structure and calculation algorithm of the artificial neural network model creates the artificial neural network. It may mean order information in word units of data required for arithmetic processing. Furthermore, the inventor of the present disclosure has recognized the fact that the computational processing order of such an artificial neural network model has a characteristic in which artificial neural network data locality is maintained for iterative learning and/or inference computation for the artificial neural network model given to the processor. .
  • the inventor of the present disclosure recognized the fact that when the locality of the artificial neural network data is maintained, the processing order of data required for the artificial neural network operation processed by the processor is maintained in word units, and the artificial neural network operation is performed by receiving or analyzing this information.
  • the word unit of the processor may mean an element unit, which is a basic unit that the processor can process.
  • the word unit of the input data of the processor may be N bits and the word unit of the weight data may be M bits.
  • the inventors of the present disclosure also recognized the fact that the word unit of the processor may be set differently depending on the layer, the feature map, the kernel, the activation function, etc. of the artificial neural network model. Accordingly, the inventors of the present disclosure have also recognized the fact that sophisticated memory control technology is required for each word unit operation.
  • the inventors of the present disclosure have paid attention to the fact that the neural network data locality is configured when the neural network model is compiled to be executed on a specific processor by the compiler. And it was recognized that the locality of artificial neural network data can be configured according to the operating characteristics of the compiler, the algorithms applied to the artificial neural network model, and the processor.
  • the inventor of the present disclosure describes a method in which a processor calculates a corresponding artificial neural network model even in the case of the same artificial neural network model, for example, feature map tiling, a stationary technique of processing elements, etc., processing of the processor
  • the inventor of the present disclosure recognized that, conceptually, the order of data required for calculation of the artificial neural network model is the operation order of layers of the artificial neural network, unit convolution, and/or matrix product. Furthermore, the inventors of the present disclosure have recognized the fact that the sequence of data required for physical operation processing constitutes the locality of the artificial neural network data of the corresponding artificial neural network model at the processor-memory level, ie, the hardware level, in units of words. In addition, the inventor of the present disclosure recognized the fact that artificial neural network data locality has a characteristic that is dependent on a processor and a compiler used for the processor.
  • the inventor of the present disclosure recognized the fact that, when an artificial neural network memory system configured to receive and utilize artificial neural network data locality information is provided, the processing performance of the artificial neural network model can be maximized at the processor-memory level.
  • the inventor of the present disclosure can know even the operation processing order information of the word unit, which is the minimum unit for the processor to process the artificial neural network model, when the artificial neural network memory system can precisely grasp the locality of the artificial neural network data of the artificial neural network model to the word unit.
  • the artificial neural network memory system precisely reads specific data from the memory at a specific timing in word units and provides it to the processor, or whether the processor calculates the specific data. Therefore, we recognized the fact that it is possible to predict in advance whether or not to store in the memory at a specific timing. Accordingly, the inventor of the present disclosure recognized the fact that by providing an artificial neural network memory system, data to be requested by the processor in word units can be prepared in advance.
  • the inventor of the present disclosure if the neural network memory system knows the locality of the artificial neural network data, the kernel moves in a specific direction when the processor calculates the convolution of the specific input data and the specific kernel using a technique such as feature map tiling We recognized the fact that the processing order of the convolution to be processed can also be known in word units.
  • the artificial neural network memory system utilizes the artificial neural network data locality to predict in advance what kind of data the processor needs, so that the memory read/write operation requested by the processor is predicted in advance, and the data to be processed by the processor is predicted in advance. It has been recognized that it is possible to minimize or eliminate the increase in the effective bandwidth of the memory and/or the delay in data supply of the memory by preparing. In addition, we recognized the fact that if the artificial neural network memory system can supply the data to be processed by the processor at the required timing, the starvation or standby state of the processor can be minimized. Accordingly, the inventors of the present disclosure have recognized that the artificial neural network memory system can provide an effect of improving arithmetic processing performance and reducing power consumption.
  • the inventor of the present disclosure even if the artificial neural network memory controller is not provided with artificial neural network data locality information, the artificial neural network memory controller is placed in a communication channel between the processor and the memory processing the artificial neural network model, and then the processor
  • the processor By analyzing the data access request requested to the memory when processing the operation of a specific artificial neural network model, it is recognized that the locality of the artificial neural network data of the artificial neural network model being processed by the processor can be inferred from the processor-memory data access request unit. did. That is, since each neural network model has its own artificial neural network data locality, the processor at the processor-memory level recognized the fact that the processor generates data access requests in a specific order according to the neural network data locality. In addition, it was recognized that the access order of data stored in the memory for data requests between the processor and memory is also maintained based on the fact that the locality of the artificial neural network data is maintained while the processor repeatedly processes the learning/inference operation of the neural network model.
  • the inventors of the present disclosure have arranged the artificial neural network memory control unit in a communication channel between the processor and the memory for processing the artificial neural network model.
  • the neural network memory controller can infer the locality of the artificial neural network data in units of data access requests. Therefore, the inventor of the present disclosure recognized the fact that artificial neural network data locality can be inferred by the artificial neural network memory controller even if artificial neural network data locality information is not provided.
  • the inventor of the present disclosure predicts in advance the memory read/write operation requested by the processor based on the artificial neural network data locality reconstructed in the data access request unit, and prepares the data to be processed by the processor in advance to increase the effective memory bandwidth and/or can minimize or substantially eliminate memory data supply delay.
  • the inventors of the present disclosure have recognized the fact that if the artificial neural network memory system can supply data to be processed by the processor at a necessary timing, the occurrence rate of starvation or standby state of the processor can be minimized.
  • an object of the present disclosure is to provide an artificial neural network memory system capable of optimizing the artificial neural network operation of the processor by utilizing the artificial neural network data locality of the artificial neural network model operating at the processor-memory level.
  • the problem to be solved by the present disclosure is to detect the data access request generated by the processor, generate the data locality pattern of the artificial neural network model being processed by the processor, and prepare the data access request requested by the processor in advance to solve the memory latency problem It is to provide an artificial neural network memory system including an artificial neural network memory control unit that can improve the
  • the present disclosure is not limited thereto, and other problems will be clearly understood by those skilled in the art from the following description.
  • the system includes at least one processor, configured to generate a data access request corresponding to the neural network operation, and sequentially recording the data access request to generate a neural network data locality pattern of the artificial neural network operation, the neural network data locality It may be configured to include at least one artificial neural network memory controller, configured to generate a prior data access request that predicts the next data access request of the data access request generated by the at least one processor based on the pattern.
  • An artificial neural network memory system is configured to store at least one processor configured to process an artificial neural network model and artificial neural network data locality information of the artificial neural network model, and based on the artificial neural network data locality information, at least one The processor may be configured to include at least one artificial neural network memory control unit configured to generate a prior data access request by predicting the data to be requested.
  • the artificial neural network memory system may be configured to further include at least one memory and an artificial neural network memory controller, at least one processor, and a system bus configured to control communication of the at least one memory.
  • an artificial neural network memory system includes a processor, a memory and a cache memory, and is configured to generate a prior data access request including data to be requested by the processor based on the artificial neural network data locality information, and It may be configured to store data corresponding to a prior data access request from the memory in the cache memory before the processor requests it.
  • an artificial neural network memory system is configured to predict and operate artificial neural network data locality information by observing data access requests generated by a first mode or processor configured to operate by receiving artificial neural network data locality information It may be configured to operate in one of the second modes.
  • the artificial neural network data locality may be the artificial neural network data locality reconstructed at the processor-memory level.
  • the at least one artificial neural network memory controller may be configured to sequentially further generate a prior data access request based on the neural network data locality pattern.
  • the at least one artificial neural network memory controller may be configured to generate a prior data access request before generating a next data access request.
  • the at least one processor may be configured to transmit a data access request to the at least one artificial neural network memory controller.
  • the at least one artificial neural network memory controller may be configured to output a prior data access request in response to the data access request.
  • the data access request may be configured to further include a memory address.
  • the data access request may be configured to further include a start address and/or an end address of the memory.
  • the at least one artificial neural network memory controller may be configured to generate a memory access request based on one of a data access request generated by the at least one processor and a prior data access request generated by the artificial neural network memory controller.
  • the data access request may be configured to further include a start address of memory and a continuous data read (or burst read) trigger that is contiguous.
  • the data access request may be configured to further include information on the number of consecutive data and a start address of the memory.
  • the data access request and dictionary data access may be configured to further include a matching data access request token at the same memory address.
  • the data access request may be configured to further include identification information capable of identifying whether a memory read or write command is issued.
  • the data access request may be configured to further include identification information capable of identifying whether or not an overwrite command is performed.
  • the data access request may be configured to further include identification information capable of identifying whether inference data, weight data, and feature map data are present.
  • the data access request may be configured to further include identification information that can identify whether the learning data and the evaluation data.
  • the data access request may be configured to further include identification information capable of identifying whether the artificial neural network operation is an operation for learning or an operation for inference.
  • the at least one artificial neural network memory control unit may be configured to determine whether the prior data access request and the next data access request are identical to each other.
  • the at least one artificial neural network memory controller may be configured to maintain the neural network data locality pattern when the previous data access request and the next data access request are the same.
  • the at least one artificial neural network memory controller may be configured to update the neural network data locality pattern when the prior data access request and the next data access request are different.
  • the artificial neural network data locality pattern may be configured to further include data that sequentially records addresses of memory of data access requests.
  • the at least one artificial neural network memory controller may be configured to generate an artificial neural network data locality pattern by detecting a repeating pattern of a memory address included in the data access request.
  • the artificial neural network data locality pattern may be composed of memory addresses having a repeating loop characteristic.
  • the artificial neural network data locality pattern may be configured to further include identification information capable of identifying the start and end of the computation of the artificial neural network model.
  • At least one processor may be configured to receive data corresponding to the data access request from the artificial neural network memory controller.
  • the at least one artificial neural network memory control unit may be configured to further include an artificial neural network model configured to machine-learning artificial neural network data locality patterns.
  • the at least one artificial neural network memory control unit may be configured to store an updated pattern and a previous pattern of the artificial neural network data locality pattern to determine whether to change the artificial neural network model.
  • the at least one artificial neural network memory controller may be configured to determine whether the data access requests are requests of one artificial neural network model or a mixture of requests of a plurality of artificial neural network models.
  • the at least one artificial neural network memory controller may be configured to further generate artificial neural network data locality patterns corresponding to the number of artificial neural network models when the number of artificial neural network models is plural.
  • the at least one artificial neural network memory controller may be configured to respectively generate corresponding prior data access requests based on neural network data locality patterns.
  • the at least one artificial neural network memory controller may be configured to further generate a memory access request corresponding to the data access request.
  • the at least one artificial neural network memory controller may be configured to further generate a memory access request corresponding to the prior data access request.
  • Each of the data access request, the dictionary data access request, and the memory access request may be configured to include a corresponding memory address value and operation mode, respectively.
  • the at least one artificial neural network memory controller may be configured to further generate a memory access request configured to include at least a portion of information included in the data access request and the prior data access request.
  • It may further include at least one memory configured to communicate with the at least one artificial neural network memory controller, and the at least one memory may be configured to operate in response to a memory access request output from the at least one artificial neural network memory controller.
  • the at least one memory may be configured to store at least one of inference data, weight data, and feature map data.
  • the at least one artificial neural network memory control unit may be configured to further include a cache memory configured to store data transmitted by the at least one memory in response to a memory access request.
  • the at least one artificial neural network memory controller determines whether the prior data access request and the next data access request are the same request, and if they are the same, the at least one artificial neural network memory controller is configured to provide the data stored in the cache memory to at least one processor, and if not identical, the at least one artificial neural network memory control unit may be configured to generate a new memory access request based on the next data access request.
  • the at least one artificial neural network memory control unit may be configured to sequentially generate at least one or more memory access requests based on the remaining capacity of the cache memory to minimize the remaining capacity of the cache memory.
  • the at least one artificial neural network memory control unit may be configured to measure an effective bandwidth of at least one memory in response to a memory access request.
  • the at least one artificial neural network memory controller may be configured to receive information on a required bandwidth of at least one memory in response to a memory access request.
  • the at least one artificial neural network memory control unit may be configured to measure the number of inferences per second (IPS) of the artificial neural network operation by calculating the number of repetitions for a specific time of the artificial neural network data locality pattern.
  • IPS inferences per second
  • the at least one artificial neural network memory controller may be configured to calculate an effective bandwidth required for an artificial neural network operation by calculating a time and data size required for one repetition of the neural network data locality pattern.
  • the at least one memory further includes a DRAM having a refresh function capable of updating a voltage of a cell of the memory, and the at least one artificial neural network memory control unit responds to a memory access request corresponding to a prior data access request. It may be configured to selectively control the refresh of the memory address region of the at least one memory.
  • the at least one memory further includes a pre-charge function capable of charging the global bit line of the memory to a specific voltage
  • the at least one artificial neural network memory control unit includes at least one memory access request corresponding to the prior data access request. It may be configured to selectively provide precharge to a memory address region of the memory.
  • the at least one memory may further include a plurality of memories, and the at least one artificial neural network memory controller may be configured to measure an effective bandwidth of the plurality of memories, respectively.
  • the at least one memory may further include a plurality of memories, and the at least one artificial neural network memory controller may be configured to measure latencies of the plurality of memories, respectively.
  • the at least one memory further includes a plurality of memories, and the at least one artificial neural network memory control unit may be configured to divide and store data stored in the plurality of memories based on the effective bandwidth and delay time of each of the plurality of memories. .
  • the data is composed of a bit group of L bits
  • the plurality of memories further include a first memory and a second memory, wherein the first memory includes M among the bit group of L bits based on the first effective bandwidth or the first delay time.
  • the second memory is configured to divide and store data of bits
  • the second memory is configured to divide and store N bits of data among the L bits bit group based on the second effective bandwidth or the second delay time, and the M bits and the N bits
  • the sum of can be configured to be less than or equal to L bits.
  • the plurality of memories further includes a third memory, wherein the third memory is configured to store data of O bits of the bit group of L bits based on the third effective bandwidth or the third delay time, the M bits, N bits and The sum of O bits may be configured to be equal to L bits.
  • the at least one artificial neural network memory controller may be configured to further include a cache memory configured to merge and store data divided and stored in a plurality of memories.
  • the data is composed of P data bundles
  • the plurality of memories further include a first memory and a second memory
  • the first memory includes R data of the P data bundles based on the first effective bandwidth or the first delay time.
  • the second memory is configured to store S data bundles among the P data bundles based on a second effective bandwidth or a second delay time, wherein R and the S sum are equal to the P or may be configured to be small.
  • the plurality of memories further includes a third memory, wherein the third memory is configured to store T data bundles of the P data bundles based on a third effective bandwidth or a third delay time, R, the S and The sum of the T numbers may be configured to be equal to the P numbers.
  • the at least one memory further includes a plurality of memories, the at least one artificial neural network memory controller further includes a cache memory, and the at least one artificial neural network memory controller merges data stored in the plurality of memories distributed to the cache memory. It can be configured to store in .
  • the at least one memory may further include a plurality of memories, and the at least one artificial neural network memory controller may be configured to store division information of data divided and stored in the plurality of memories.
  • the at least one artificial neural network memory controller may be configured to store a portion of data as much as a latency in the cache memory based on a prior data access request and a latency value of the at least one memory.
  • the at least one artificial neural network memory control unit may be configured to store a portion of the data in a cache memory based on a prior data access request and a data bandwidth requirement of the at least one memory.
  • the at least one artificial neural network memory control unit When the at least one processor generates a next data access request, the at least one artificial neural network memory control unit provides the data stored in the cache memory first, and controls the rest of the data from the at least one memory in a read-burst mode, It may be configured to reduce latency of the memory.
  • It may be configured to further include a system bus configured to control communication of an artificial neural network memory controller, the at least one processor, and the at least one memory.
  • At least one artificial neural network memory control unit may be configured to have a master authority of the system bus.
  • the at least one artificial neural network memory control unit further includes an artificial neural network model, wherein, when a prior data access request is generated, the control right of the system bus is increased relatively higher than when prior data access requests are not generated. It can be machine learned to make
  • the at least one artificial neural network memory control unit may be configured to secure an effective bandwidth of the system bus until the at least one memory completes the memory access request.
  • the at least one artificial neural network memory control unit calculates a specific bandwidth required for the system bus to process a specific memory access request based on the artificial neural network data locality pattern, and the at least one artificial neural network memory control unit calculates a specific bandwidth required for the system bus based on the specific bandwidth. may be configured to control the effective bandwidth of
  • the at least one artificial neural network memory controller may be disposed inside the system bus, and the system bus may be configured to dynamically vary the bandwidth of the system bus based on the artificial neural network data locality pattern generated in the system bus.
  • the at least one artificial neural network memory control unit may be configured to operate to preferentially process an artificial neural network operation during a processing time of a memory access request, and to process an operation other than an artificial neural network operation for other times.
  • the at least one artificial neural network memory controller and the at least one processor may be configured to communicate directly.
  • the artificial neural network memory control unit further includes a first access order that is an access order dedicated to artificial neural network operation and a second access order that is an access order other than artificial neural network operation, and the artificial neural network memory control unit selects each access order according to a priority setting to provide data.
  • the at least one artificial neural network memory control unit further includes a plurality of layered cache memories, and the at least one artificial neural network memory control unit further includes an artificial neural network model configured to machine learning the inter-layer data access request of the plurality of layered cache memories. can be configured to
  • the at least one artificial neural network memory controller may be configured to further receive at least one of effective bandwidth, power consumption, and latency information of each layer of a plurality of layered cache memories.
  • the at least one artificial neural network memory system is configured to store the neural network data locality pattern of the artificial neural network operation generated by the at least one processor and the compiler configured to generate a data access request corresponding to the artificial neural network operation, and the artificial neural network data locality at least one neural network memory controller configured to generate a prior data access request predicting a next data access request of the data access request generated by the at least one processor based on the pattern, and at least one neural network memory controller configured to communicate with the at least one neural network memory controller It may include one memory, and the at least one memory may be configured to operate in response to a memory access request output from the at least one artificial neural network memory controller.
  • the at least one neural network memory system may be configured to further include at least one memory and a system bus configured to control communication of the neural network memory controller, the at least one processor, and the at least one memory.
  • the at least one artificial neural network memory control unit is disposed in the system bus, and the at least one artificial neural network memory control unit grants control authority of the system bus until the at least one memory completes a response to the memory access request. It can be configured to increase relatively higher than in the absence of it.
  • At least a portion of the at least one artificial neural network memory controller may be configured to be included in the DRAM.
  • At least a portion of the at least one artificial neural network memory controller may be configured to be included in the at least one processor.
  • the DRAM may further include or at least one memory is DRAM, and the at least one artificial neural network memory controller may be configured to readjust an access que of a memory access request.
  • the artificial neural network memory controller may be configured to generate at least one access sequence.
  • the at least one memory may include an artificial neural network memory controller, and the artificial neural network memory controller may be configured to separately generate an access sequence dedicated to artificial neural network computation.
  • the at least one artificial neural network memory control unit may be configured to readjust the access order of the memory access request.
  • the at least one memory may further include a read-burst function, and the at least one artificial neural network memory controller may be configured to set a storage area of the at least one memory in consideration of the read burst function.
  • the at least one memory may further include a read-burst function, and the at least one artificial neural network memory controller may be configured to process a write operation in the storage area of the at least one memory in consideration of the read-burst function.
  • the at least one processor includes a plurality of processors, and the at least one artificial neural network memory control unit sets the priority of a data access request of a processor that processes an artificial neural network operation among the plurality of processors to a processor that processes operations other than the artificial neural network operation. It can be configured to set higher.
  • the artificial neural network memory control unit has an effect of being able to prepare in advance the data of the artificial neural network model processed at the processor-memory level before the processor requests it.
  • the learning and inference calculation processing time of the artificial neural network model processed by the processor is shortened, so that the calculation processing performance of the corresponding processor is improved, and the power efficiency for the system-level calculation processing can be improved. It works.
  • 1A is a schematic block diagram illustrating a processor and an artificial neural network memory controller of an artificial neural network memory system based on artificial neural network data locality according to an embodiment of the present disclosure.
  • 1B is a schematic diagram illustrating an example of an exemplary neural network processing unit for explanation of reconstruction of an artificial neural network data locality pattern that can be applied to various embodiments of the present disclosure
  • FIG. 2 is a schematic diagram illustrating an artificial neural network data locality pattern according to an embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram illustrating an exemplary artificial neural network model for explaining an artificial neural network data locality pattern that can be applied to various embodiments of the present disclosure.
  • FIG. 4 is a schematic diagram illustrating an artificial neural network data locality pattern generated by an artificial neural network memory controller analyzing the artificial neural network model of FIG. 3A according to an embodiment of the present disclosure.
  • FIG. 5 is a schematic diagram illustrating a token and identification information corresponding to the artificial neural network data locality pattern of FIG. 4 .
  • FIG. 6 is a schematic diagram illustrating a prior data access request and a next data access request generated by an artificial neural network memory controller based on an artificial neural network data locality pattern according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart schematically illustrating an operation of an artificial neural network memory controller according to an embodiment of the present disclosure.
  • FIG. 8 is a schematic block diagram illustrating an artificial neural network memory system according to another embodiment of the present disclosure.
  • FIG. 9 is a schematic diagram illustrating an operation of a memory system according to a comparative example of the present disclosure.
  • FIG. 10 is a schematic diagram illustrating a memory system according to another embodiment of the present disclosure.
  • FIG. 11 is a schematic block diagram illustrating an artificial neural network memory system according to another embodiment of the present disclosure.
  • FIG. 12 is a schematic diagram illustrating exemplary identification information of a data access request.
  • FIG. 13 is a schematic diagram illustrating energy consumption per unit operation of an artificial neural network memory system.
  • FIG. 14 is a schematic diagram illustrating an artificial neural network memory system according to various embodiments of the present disclosure.
  • the components In interpreting the components, it is interpreted as including an error range even if there is no separate explicit description.
  • the positional relationship between the two components is expressed as 'on', 'on', 'on', 'next to', 'adjacent to', etc.
  • one other element may be positioned between two elements unless 'directly' or 'directly' is used.
  • Reference to a device or layer “on” another device or layer includes any intervening layer or other device directly on or in the middle of another device.
  • 1A is a schematic block diagram illustrating a processor and an artificial neural network memory controller of an artificial neural network memory system based on artificial neural network data locality according to an embodiment of the present disclosure.
  • the artificial neural network memory system 100 may be configured to include at least one processor 110 and at least one artificial neural network memory controller 120 . That is, there is at least one processor 110 according to embodiments of the present disclosure, and a plurality of processors may be utilized. That is, there is at least one artificial neural network memory controller 120 according to embodiments of the present disclosure, and a plurality of artificial neural network memory controllers may be utilized.
  • the at least one processor 110 is one processor, it may be referred to as a processor 110 .
  • the at least one artificial neural network memory controller 120 is one artificial neural network memory controller 120 , it may be referred to as an artificial neural network memory controller 120 .
  • the processor 110 is configured to process an artificial neural network model.
  • the processor 110 may provide an inference result of the artificial neural network model according to input data by processing the inference of the artificial neural network model learned to perform a specific reasoning function.
  • the processor 110 may provide the learned artificial neural network model by processing the learning of the artificial neural network model for performing a specific reasoning function.
  • the specific inference function may include various inference functions that can be inferred by the artificial neural network, such as object recognition, voice recognition, and image processing.
  • the processor 110 is at least one of a central processing unit (CPU), a graphics processing unit (GPU), an application processor (AP), a digital signal processing unit (DSP), an arithmetic logic unit (ALU), and an artificial neural network processor (NPU). It may be configured to include However, the processor 110 of the present disclosure is not limited to the above-described processors.
  • the processor 110 may be configured to communicate with the artificial neural network memory controller 120 .
  • the processor 110 may be configured to generate a data access request.
  • the data access request may be transmitted to the artificial neural network memory controller 120 .
  • the data access request may mean a request to access data required when the processor 110 processes inference or learning of the artificial neural network model.
  • the processor 110 transmits a data access request to the artificial neural network memory controller 120 to receive data necessary for inference or learning of the artificial neural network model from the artificial neural network memory controller 120, or to receive artificial data processed by the processor 110
  • the inference or learning result of the neural network may be provided to the artificial neural network memory controller 120 .
  • the processor 110 may provide an inference result or a learning result obtained by processing a specific artificial neural network model.
  • the processor 110 may be configured to process operations of the artificial neural network for reasoning or learning in a specific order.
  • each artificial neural network model is configured to have a unique artificial neural network structure. That is, each artificial neural network model is configured to have unique artificial neural network data locality according to a unique artificial neural network structure. Furthermore, the operation order of the artificial neural network model processed by the processor 110 is determined according to the unique locality of the artificial neural network data.
  • artificial neural network data locality can be configured when an artificial neural network model is compiled to run on a specific processor by a compiler.
  • Neural network data locality may be configured according to a compiler, algorithms applied to an artificial neural network model, and operating characteristics of a processor.
  • the artificial neural network model to be processed by the processor 110 may be compiled by the processor 110 and a compiler capable of considering the algorithm characteristics of the artificial neural network model. That is, if the structure and algorithm information of the artificial neural network model are known and the driving characteristics of the processor 110 are known, the compiler may be configured to provide artificial neural network data locality information to the artificial neural network memory controller 120 in word unit order.
  • a weight value of a specific layer of a specific artificial neural network model of a conventional algorithm level may be calculated for each layer.
  • the weight value of the specific layer of the specific artificial neural network model of the processor-memory level according to the embodiments of the present disclosure may be calculated in units of words scheduled to be processed by the processor 110 .
  • the processor 110 compiles so as not to process the weight values of the specific layer at once.
  • the processor 110 when the processor 110 calculates the weight values and node values of a specific layer, since the weight value is too large, a cache memory space to store the result values may be insufficient.
  • the data access request generated by the processor 110 may be increased to a plurality of data access requests.
  • the processor 110 may be configured to process the increased data access requests in a specific order.
  • the operation order of the algorithm level and the operation order according to the locality of the artificial neural network data at the processor-memory level may be different from each other.
  • the neural network operation order at the algorithm level can be reconstructed by the neural network data locality at the processor-memory level in consideration of the hardware characteristics of the processor and memory to process the corresponding artificial neural network model.
  • the neural network data locality of the artificial neural network model existing at the processor-memory level is the operation sequence of the artificial neural network model processed by the processor 110 at the processor-memory level based on the data access request order requested by the processor 110 to the memory. It can be defined as information that makes predictions.
  • the number of processing elements of the processor 110 such as the calculation function of the processor 110, for example, a feature map tiling technique, a stationary technique of processing elements, etc. , the processor 110, cache memory capacity such as feature maps and weights, the memory hierarchy in the processor 110, and the algorithm characteristics of the compiler that determine the order of operation of the processor 110 for processing the artificial neural network model
  • the locality of the artificial neural network data of the artificial neural network model may be configured differently according to the like.
  • feature map tiling is an artificial neural network technique that divides the convolution, and as the convolution region is divided, the feature map is divided and calculated. Therefore, even in the same artificial neural network model by tiling convolution, the locality of the artificial neural network data of the artificial neural network model may be different from each other.
  • the stationary technique is a technique for controlling a driving method of the processing elements PE in the neural network processing unit.
  • a type of processed data for example, one of an input feature map, a weight, and an output feature map may be fixed to a processing element and reused. Accordingly, the type and order of data requested by the processor 110 from the memory may vary.
  • artificial neural network data locality may be reconstructed according to various algorithms and/or techniques. Therefore, artificial neural network data locality can be completely or partially reconstructed by various conditions such as processor, compiler, and memory.
  • 1B is a schematic diagram illustrating an example of an exemplary neural network processing unit for description regarding reconstruction of an artificial neural network data locality pattern that can be applied to various embodiments of the present disclosure
  • exemplary stationary techniques that may be applied when the processor 110 is a neural network processing unit (NPU) are illustrated.
  • NPU neural network processing unit
  • the processing elements PE may be configured in an array form, and each processing element may be configured to include a multiplier (x) and an adder (+).
  • the processing elements PE may be connected to a buffer memory or a cache memory, for example, a global buffer.
  • the processing elements PE are configured to fix data of one of an input feature map pixel (I), a filter weight (W), and a subsum (Psum) to a register of the processing elements PE. can In addition, the remaining data may be provided as input data of the processing elements PE. When the accumulation of the subtotal P is completed, it may become an output feature map pixel.
  • FIG. 1B (a) illustrates a Weight-Stationary (WS) technique.
  • WS Weight-Stationary
  • filter weights W0 to W7 are fixed in the register file of each of the processing elements PE, and an input feature map pixel ( The operation can be executed while moving I) from the 0th input feature map pixel (I0) to the 8th input feature map pixel (I8).
  • the subtotals P0 to P8 may be accumulated in the serially connected processing elements PE.
  • the subtotals P0 to P8 may sequentially move to the next processing element. All multiply and accumulation (MAC) operations using the fixed filter weights W0 to W7 must be mapped to the same processing elements PE for serial processing.
  • MAC multiply and accumulation
  • the locality of the artificial neural network data of the artificial neural network model is optimized for the weighted stationary (WS) method at the processor-memory level. is reconstructed for
  • the filter weights W0 to W7 may be preferentially stored in the processing elements PE for efficiency of operation. Therefore, the neural network data locality can be reconstructed in the order of the filter weight (W), the input feature map pixel (I), and the subtotal (P), and thus the data access request sequence generated by the processor 110 is also reconstructed. can be determined according to
  • Figure 1b (b) shows an output stationary (Output-Stationary; OS) technique.
  • OS output stationary
  • subtotals P0 to P7 are fixed and accumulated in each register file of the processing elements PE, and the filter weights ( The operation can be executed while moving W) from the 0th input filter weight (W0) to the 7th filter weight (W7).
  • the input feature map pixels I0 to I7 may be moved to serially connected processing elements PE.
  • Each of the subtotals P0 to P7 is fixed to each of the processing elements PE and must be mapped to process a multiply and accumulation (MAC) operation.
  • MAC multiply and accumulation
  • the subtotal P is fixed to the register file of the processing elements PE during the convolution operation of the filter weights W in the processing elements PE to maximize the reuse of the subtotal P and to maximize the subsum There is an effect that can minimize the energy consumption according to the movement of (P).
  • the accumulation of the fixed subtotal P is completed, it may become an output feature map.
  • the neural network data locality of the neural network model is reconfigured to be optimized for the output stationary (OS) technique at the processor-memory level.
  • the output stationary (OS) technique may be configured to preferentially store the subtotals P0 to P7 in the processing elements PE for efficiency of operation. Therefore, the neural network data locality can be reconstructed in the order of the subtotal (P), the filter weight (W), and the input feature map pixel (I).
  • the neural network model compiler may receive hardware characteristic information of the processor 110 and the memory and convert the artificial neural network model into code that can operate at the processor-memory level. At this time, since the artificial neural network model is converted into code executed by a processor, it can be converted into a low-level code.
  • the processor 110 may change the order of data required at every moment in clock units even when the same artificial neural network model is processed. Therefore, the locality of the artificial neural network data of the artificial neural network model may be configured differently at the hardware level.
  • the operation order of the processor 110 and the data processing order necessary for the operation may be accurately repeated for each learning operation or inference operation of the artificial neural network model.
  • the artificial neural network memory system 100 predicts the next data requested by the processor 110 in advance based on the exact operation sequence provided by the artificial neural network data locality, thereby reducing the memory delay problem and memory It can be configured to improve the bandwidth problem to improve the artificial neural network computational processing performance, and to reduce power consumption.
  • the artificial neural network memory control unit 120 is configured to receive the artificial neural network data locality information of the artificial neural network model to be processed by the processor 110, or the artificial neural network model being processed by the processor 110 It is characterized in that it is configured to analyze neural network data locality.
  • the artificial neural network memory controller 120 may be configured to receive a data access request generated by the processor 110 .
  • the artificial neural network memory control unit 120 may be configured to monitor or record the data access request received from the processor 110 .
  • the artificial neural network memory control unit 120 has the effect of accurately predicting the data access sequence to be requested later by observing the data access requests output by the processor 110 processing the artificial neural network model.
  • One data access request may be configured to include data of at least one word unit.
  • the artificial neural network memory control unit 120 may be configured to sequentially record or monitor data access requests received from the processor 110 .
  • the data access requests recorded by the artificial neural network memory controller 120 may be stored in various formats, such as a log file, a table, and a list.
  • the artificial neural network memory control unit 120 according to an embodiment of the present disclosure is not limited to the recorded form or form of the data access request.
  • the data access requests monitored by the artificial neural network memory controller 120 may be stored in any memory in the artificial neural network memory controller 120 .
  • the artificial neural network memory controller 120 according to an embodiment of the present disclosure is not limited to the monitoring method of the data access request.
  • the artificial neural network memory control unit 120 may be configured to further include an arbitrary memory for recording or monitoring a data access request.
  • the artificial neural network memory controller 120 according to an embodiment of the present disclosure is not limited thereto, and may be configured to communicate with an external memory.
  • the artificial neural network memory controller 120 may be configured to analyze the data access requests by monitoring or recording the data access requests received from the processor 110 .
  • the artificial neural network memory controller 120 may be configured to analyze the received data access requests to analyze the artificial neural network data locality of the artificial neural network model being processed by the processor 110 .
  • the artificial neural network memory controller 120 may be configured to analyze the locality of the artificial neural network data of the artificial neural network model compiled to operate at the processor-memory level.
  • the artificial neural network memory controller 120 analyzes the computational processing sequence of the artificial neural network in units of memory access requests generated by the processor, based on the processor-memory level data locality of the artificial neural network, and analyzes the artificial neural network data locality of the artificial neural network model. can be configured to analyze.
  • the artificial neural network memory controller 120 has an effect of analyzing the locality of the artificial neural network data reconstructed at the processor-memory level.
  • the compiler may be configured to analyze the neural network data locality of the artificial neural network model to a word unit.
  • the at least one artificial neural network memory controller may be configured to receive the artificial neural network data locality analyzed by the compiler in units of words.
  • the word unit may be 8-bit, 16-bit, 32-bit, 64-bit, or the like, depending on the word unit of the processor 110 .
  • the word unit may be set in different word units, such as 2 bit, 3 bit, or 5 bit, depending on the quantization algorithm such as the kernel and feature map of the compiled artificial neural network model.
  • the artificial neural network memory control unit 120 may be configured to include a special function register.
  • the special function register may be configured to store artificial neural network data locality information.
  • the artificial neural network memory controller 120 may be configured to operate in different modes depending on whether artificial neural network data locality information is stored.
  • the artificial neural network memory controller 120 may predict the data processing order of the artificial neural network model to be processed by the processor 110 in advance in word unit order. Therefore, it may be configured not to record a separate data access request.
  • the present invention is not limited thereto, and the artificial neural network memory controller 120 may be configured to verify whether an error exists in the stored artificial neural network data locality while comparing the stored artificial neural network data locality information with the data access request generated by the processor.
  • the artificial neural network memory controller 120 observes the data access request generated by the processor 110 and processes the artificial neural network data by the processor 110 . It may be configured to operate in a mode for predicting artificial neural network data locality of a neural network model.
  • the neural network memory system may include a processor, a memory, and a cache memory, and may be configured to generate a prior data access request including data to be requested by the processor based on the neural network data locality information.
  • the artificial neural network memory system may be configured to store data corresponding to the prior data access request from the memory in the cache memory before the processor requests it.
  • the artificial neural network memory system is one of a first mode configured to operate by receiving artificial neural network data locality information or a second mode configured to predict and operate artificial neural network data locality information by observing data access requests generated by the processor It can be configured to operate as According to the above configuration, when the artificial neural network data locality information is provided, the artificial neural network memory system has the effect of predicting and preparing the data requested by the processor in word units in advance, even if the artificial neural network data locality information is not provided. By monitoring the data access requests generated by the processor for a certain period of time, there is an effect that the locality of the artificial neural network data being processed by the processor can be predicted in units of data access requests.
  • the artificial neural network memory system can reconstruct the artificial neural network data locality by monitoring data access requests by itself and use it for the purpose of verifying the provided artificial neural network data locality. Accordingly, an effect of detecting a change in the artificial neural network model or occurrence of an error may be provided.
  • the at least one artificial neural network memory controller and the at least one processor may be configured to communicate directly.
  • the artificial neural network memory control unit can directly receive a data access request from the processor, there is an effect of eliminating delay time that may be caused by the system bus between the processor and the artificial neural network memory control unit.
  • it may be configured to further include a dedicated bus or to further include a dedicated communication channel.
  • the present invention is not limited thereto.
  • the artificial neural network data locality information may be configured to be selectively stored in the processor 110 and/or the artificial neural network memory controller 120 .
  • the artificial neural network data locality information may be configured to be stored in a special function register included in the processor 110 and/or the artificial neural network memory controller 120 .
  • the present invention is not limited thereto, and the artificial neural network data locality information may be stored in any memory, register, or the like that can communicate with the artificial neural network memory system.
  • FIG. 2 is a schematic diagram illustrating an artificial neural network data locality pattern according to an embodiment of the present disclosure.
  • the artificial neural network data locality and the artificial neural network data locality pattern of the artificial neural network model will be described with reference to FIG. 2 .
  • the artificial neural network memory control unit 120 is configured to sequentially record or monitor the data access requests received from the processor 110 .
  • the artificial neural network memory controller 120 is configured to generate an artificial neural network data locality pattern including the data locality of the artificial neural network model being processed by the processor 110 . That is, the artificial neural network memory control unit 120 may be configured to generate a repeating specific pattern by analyzing data access requests related to the artificial neural network model generated by the processor 110 . That is, when observing a data access request, artificial neural network data locality information may be stored as an artificial neural network data locality pattern.
  • Each data access request is configured to include identification information.
  • the identification information included in the data access request may be configured to include various information.
  • the identification information is configured to include at least a memory address value and an operating mode value.
  • the memory address value may be configured to include memory address values corresponding to the requested data.
  • the present disclosure is not limited thereto.
  • the memory address value may be configured to include a start value and an end value of the memory address corresponding to the requested data. According to the above configuration, it is considered that data is sequentially stored between the start value and the end value of the memory address. Accordingly, there is an effect that the capacity for storing memory address values can be reduced.
  • the memory address value may be configured to include a start value of the memory address corresponding to the requested data and a data continuous read trigger value.
  • data can be read continuously from the start value of the memory address until the continuous read trigger value is changed.
  • since data can be read continuously there is an effect that an effective memory bandwidth can be increased.
  • the memory address value may be configured to include a start value of a memory address corresponding to the requested data and information on the number of data.
  • the unit of the number of data may be determined based on the unit of the capacity of the memory.
  • the unit may be, for example, one of 8 bits of 1 byte, 4 bytes of 1 word, or 1024 bytes of 1 block.
  • the present disclosure is not limited thereto. According to the above-described configuration, data can be read continuously from the start value of the memory address as much as the number of data of the set unit size. According to the above-described configuration, since data can be read continuously, there is an effect that an effective memory bandwidth can be increased.
  • the memory address value may further include a physical-logical address mapping table or flash translation layer information.
  • the present disclosure is not limited thereto.
  • the operation mode may be configured to include a read mode and a write mode.
  • the mode of operation may be configured to further include overwrite.
  • the present disclosure is not limited thereto.
  • the artificial neural network memory controller 120 may be configured to determine whether the identification information of each of the data access requests is the same.
  • the artificial neural network memory controller 120 may be configured to determine whether the memory address and operation mode of each of the data access requests are the same. In other words, the artificial neural network memory controller 120 may be configured to detect a data access request value having the same memory address value and the same operation mode.
  • the artificial neural network memory controller 120 controls the memory address value and operation mode It is configured to generate an artificial neural network data locality pattern corresponding to .
  • the artificial neural network data locality pattern may be configured to include data in which addresses of data access requests are sequentially recorded.
  • the neural network memory control unit 120 detects a repetition period of data access requests having the same memory address value and operation mode, and generates an artificial neural network data locality pattern composed of data access requests having a repeated memory address value and operation mode. can be configured to create
  • the artificial neural network memory control unit 120 may be configured to generate an artificial neural network data locality pattern by detecting a repeating pattern of a memory address included in the data access request.
  • the neural network memory controller 120 when the neural network memory controller 120 confirms that the memory address values and operation modes of the first data access request and the tenth data access request are the same, the neural network memory controller 120 is It can be configured to generate one artificial neural network data locality pattern from a data access request initiated among the same data access requests to a previous data access request of a repeated data access request. In this case, the neural network memory control unit 120 may be configured to generate the neural network data locality pattern including the first data access request to the ninth data access request.
  • the artificial neural network data locality pattern described in the example of FIG. 2 is a first data access request, a second data access request, a third data access request, a fourth data access request, a fifth data access request, and a sixth data access request.
  • the seventh data access request, the eighth data access request, and the ninth data access request sequence may be configured to include memory address values and operation mode values.
  • the artificial neural network data locality pattern generated by the artificial neural network memory controller 120 may be stored in various forms, such as a log file, a table, and a list, and the artificial neural network data according to an embodiment of the present disclosure
  • the neural network memory controller 120 is not limited to the recorded form or form of the artificial neural network data locality pattern.
  • the artificial neural network data locality pattern generated by the artificial neural network memory controller 120 may be stored in an arbitrary memory of the artificial neural network memory controller 120, and the artificial neural network memory controller 120 according to an embodiment of the present disclosure It is not limited to the structure or method of the memory for storing the neural network data locality pattern.
  • the artificial neural network memory control unit 120 may be configured to further include an arbitrary memory for storing artificial neural network data locality patterns.
  • the artificial neural network memory controller 120 according to an embodiment of the present disclosure is not limited thereto, and may be configured to communicate with an external memory.
  • the artificial neural network memory system 100 sequentially records the data access request and at least one processor 110 configured to generate a data access request corresponding to the artificial neural network operation to obtain artificial neural network data. It may be configured to include an artificial neural network memory controller 120 configured to generate a regional pattern.
  • the artificial neural network memory controller 120 determines that the memory address value and the operation mode value of each data access request received from the processor 110 are previously generated. It may be configured to determine whether any one of memory address values and operation mode values included in the artificial neural network data locality pattern matches.
  • the artificial neural network memory controller 120 determines that the received data access request is an artificial neural network data locality pattern. and determine whether it has the same memory address value as the memory address value contained in the .
  • the neural network memory controller 120 controls the memory address value of the tenth data access request, starting value [0]. and detecting that the end value [0x1000000] and the start value [0] and the end value [0x1000000] that are the memory address values of the first data access request are the same, and the read mode value of the operation mode of the tenth data access request and the first Detect that the read mode values of the operation modes of the data access request are identical to each other, and determine that the tenth data access request is the same as the first data access request, and that the tenth data access request is an artificial neural network operation. .
  • the artificial neural network memory control unit 120 When the artificial neural network memory control unit 120 receives the eleventh data access request, the start value [0x1100000] that is the memory address value of the eleventh data access request, the end value [0x1110000], and the start value that is the memory address value of the second data access request [ 0x1100000] detecting that the end value [0x1110000] is the same, detecting that the write mode value of the operation mode of the eleventh data access request and the write mode value of the operation mode of the second data access request are the same It may be configured to determine that the access request is identical to the second data access request, and the eleventh data access request is an artificial neural network operation.
  • the neural network memory controller 120 exemplifies a case in which the neural network data locality pattern is not generated from the first data access request to the ninth data access request.
  • the artificial neural network memory controller 120 may be initialized or the processor 110 may not perform the artificial neural network operation. Therefore, the artificial neural network memory controller 120 does not detect a case in which the pattern matches until the ninth data access request.
  • the artificial neural network memory controller 120 may determine the same as the first data access request, generate an artificial neural network data locality pattern, and record whether the pattern matches.
  • the artificial neural network memory control unit 120 determines that the pattern of the tenth data access request to the eighteenth data access request is artificial. It can be determined that it matches the neural network data locality pattern.
  • the artificial neural network memory control unit 120 may be configured to determine whether the operation being processed by the processor 110 is an artificial neural network operation by using the artificial neural network data locality pattern. According to the above configuration, the artificial neural network memory control unit 120 determines that the processor 110 is processing the artificial neural network operation even if only the data access request including the memory address value and the operation mode value generated by the processor 110 is received. possible effects can be provided. Accordingly, the artificial neural network memory controller 120 may provide an effect of determining whether the processor 110 currently performs an artificial neural network operation based on the artificial neural network data locality pattern even without additional identification information.
  • each data access request may be configured to be stored as a token.
  • each data access request of the artificial neural network may be stored by tokenizing the data access request.
  • each data access request of an artificial neural network can be tokenized based on identification information.
  • each data access request of an artificial neural network can be tokenized based on a memory address value.
  • the token may be referred to as a code or an ID.
  • the first data access request may be stored as a token [1].
  • the fourth data access request may be stored as a token [4].
  • the seventh data access request may be stored as a token [7].
  • the neural network data locality pattern may be stored as a token [1-2-3-4-5-6-7-8-9].
  • the tenth data access request may be stored as token [1] because it has the same memory address value and the same operation mode value as token [1]. Since the thirteenth data access request has the same memory address value and operation mode value as the token [4], it may be stored as the token [4].
  • the neural network memory controller 120 may be configured to determine that the corresponding data access request is an artificial neural network operation when detecting the same token as the token of the artificial neural network data locality pattern.
  • the artificial neural network memory control unit 120 has the effect of easily and quickly recognizing and classifying a data access request by using the tokenized artificial neural network data locality pattern, and furthermore, additional identification information and / Or even when more data is added, the same token can be used to provide the effect of quickly and easily recognizing and distinguishing a data access request by using the token even when the additional information of the data access request increases.
  • the artificial neural network data locality pattern stored in the artificial neural network memory controller may be deleted or initialized. For example, when the artificial neural network data locality pattern is not utilized for more than a preset time, for example, when a data access request matching the artificial neural network data locality pattern is not generated for a specific time, the artificial neural network memory controller determines that the frequency of use of the artificial neural network data locality pattern is low, and may delete or initialize the artificial neural network data locality pattern.
  • the artificial neural network memory control unit may be configured to store the updated pattern and the previous pattern of the artificial neural network data locality pattern to determine whether to change the artificial neural network model. That is, when the number of artificial neural network models is plural, the artificial neural network memory controller may be configured to further generate artificial neural network data locality patterns corresponding to the number of artificial neural network models.
  • the first neural network data locality pattern is token [1-2-3-4-5-6-7-8-9] and the second neural network data locality pattern is token [11-12-13-14 -15-16], when the processor generates a data access request corresponding to the token [1], the neural network memory control unit may be configured to select the first artificial neural network data locality pattern. Alternatively, when the processor generates a data access request corresponding to the token [11], the artificial neural network memory control unit may be configured to select the second artificial neural network data locality pattern.
  • the artificial neural network memory controller can store a plurality of artificial neural network data locality patterns, and when the artificial neural network model processed by the processor is changed to another artificial neural network model, the previously stored artificial neural network data locality pattern can be quickly applied. can have an effect.
  • the neural network memory controller may be configured to determine whether the data access requests are requests of one artificial neural network model or a mixture of requests of a plurality of artificial neural network models. Also, the artificial neural network memory controller may be configured to predict a data access request corresponding to the artificial neural network data locality of each of the plurality of artificial neural network models.
  • the processor may simultaneously process a plurality of artificial neural network models, and in this case, the data access request generated by the processor may be mixed with data access requests corresponding to the plurality of artificial neural network models.
  • the first neural network data locality pattern is token [1-2-3-4-5-6-7-8-9] and the second neural network data locality pattern is token [11-12-13-14 -15-16], the processor 110 requests data access in the order of [1-11-2-3-12-13-14-4-5-6-15-16-7-8-9] You can create a token corresponding to .
  • the neural network memory controller knows each neural network data locality pattern, even if token [1] is generated and then token [11] is generated, the neural network memory controller can predict that token [2] will be generated next. . Therefore, the neural network memory control unit can generate a dictionary data access corresponding to the token [2]. Also, even after token [11] is generated and then token [2] is generated, the artificial neural network memory controller can predict that token [12] will be generated next. Therefore, the neural network memory control unit can generate a dictionary data access corresponding to the token [12].
  • the artificial neural network memory control unit 120 predicts the data access request to be generated by the processor 110 for processing a plurality of artificial neural network models for each artificial neural network model, and pre-predicts the data to be requested by the processor 110 . It has the effect of being able to predict and prepare for it.
  • the neural network memory controller may be configured to store a plurality of neural network data locality patterns.
  • the artificial neural network memory controller may be configured to store artificial neural network data locality patterns of each artificial neural network model.
  • the embodiment of the present invention when the operation of each artificial neural network model is processed, the next data access request corresponding to each model can be predicted, so the embodiment of the present invention can improve the processing speed of the artificial neural network operation. can have an effect.
  • the artificial neural network memory controller may be configured to further include an artificial neural network model configured to machine-learning artificial neural network data locality patterns.
  • the artificial neural network model of the artificial neural network memory controller may be configured to reinforce-learning data access requests generated by the processor in real time.
  • the artificial neural network model of the artificial neural network memory controller may be a model learned by using artificial neural network data locality patterns of conventionally well-known artificial neural network models as learning materials. Therefore, the artificial neural network memory control unit has the effect of extracting artificial neural network data locality patterns from various artificial neural network models.
  • this method can be effective when processing various artificial neural network models according to requests from multiple users, such as a server.
  • the artificial neural network memory controller 120 may be configured to dynamically or in real time monitor the artificial neural network model processed by the processor 110 and determine whether to change the artificial neural network model.
  • the artificial neural network memory controller 120 may be configured to statistically utilize the pattern matching frequency of the artificial neural network data locality pattern to determine the reliability of the artificial neural network data locality pattern.
  • the reliability of the neural network data locality pattern may be configured to increase as the pattern matching frequency of the data locality pattern increases, and the reliability of the neural network data locality pattern may be configured to decrease as the pattern matching frequency of the data locality pattern decreases.
  • the artificial neural network memory control unit 120 when the processor 110 repeatedly processes a specific artificial neural network model, the artificial neural network memory control unit 120 has an effect that the locality prediction reliability of the artificial neural network data of the specific artificial neural network model can be improved.
  • FIG. 3 is a schematic diagram illustrating an exemplary artificial neural network model for describing an artificial neural network data locality pattern that can be applied to various embodiments of the present disclosure.
  • the exemplary artificial neural network model 1300 being processed by the processor 110 shown in FIG. 3 may be any artificial neural network model trained to perform a specific reasoning function.
  • an artificial neural network model in which all nodes are fully-connected is illustrated, the present disclosure is not limited thereto.
  • the artificial neural network model applicable to the present disclosure may be a convolutional neural network (CNN), which is a type of a deep neural network (DNN).
  • exemplary artificial neural network models include VGG, VGG16, DenseNet and FCN (Fully Convolutional Network) with encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, Deep neural network (DNN) such as U-net, SqueezeNet, Alexnet, ResNet18 , MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3, etc., or an ensemble model based on at least two different models.
  • the artificial neural network model of the present disclosure is not limited thereto.
  • the above-described exemplary artificial neural network models may be configured to have artificial neural network data locality.
  • An exemplary artificial neural network model 1300 includes an input layer 1310 , a first connection network 1320 , a first hidden layer 1330 , a second connection network 1340 , a second hidden layer 1350 , and a third connection network 1360 . ), and an output layer 1370 .
  • the artificial neural network has a corresponding weight value.
  • the weight value of the network is multiplied by the input node value, and the accumulated value of the multiplied values is stored in the node of the corresponding output layer.
  • connection network of the artificial neural network model 1300 is shown as a line and the weight is shown as x.
  • the activation function may be, for example, a sigmoid function, a hyperbolic tangent function, or a ReLU function.
  • the activation function may be, for example, a sigmoid function, a hyperbolic tangent function, or a ReLU function.
  • the present disclosure is not limited thereto.
  • the input layer 1310 of the exemplary artificial neural network model 1300 includes x1 and x2 input nodes.
  • the first connection network 1320 of the exemplary artificial neural network model 1300 includes connections having six weight values that connect each node of the input layer 1310 and the nodes of the first hidden layer 1330 .
  • the first hidden layer 1330 of the exemplary artificial neural network model 1300 includes nodes a1, a2, and a3.
  • the weight values of the first connection network 1320 are multiplied by the node values of the corresponding input layer 1310 , and the accumulated value of the multiplied values is stored in the first hidden layer 1330 .
  • the second connection network 1340 of the exemplary artificial neural network model 1300 includes connections having nine weight values connecting nodes of the first hidden layer 1330 and nodes of the second hidden layer 1350 .
  • the second hidden layer 1350 of the exemplary artificial neural network model 1300 includes nodes b1, b2, and b3.
  • a weight value of the second connection network 1340 is multiplied by a corresponding node value of the first hidden layer 1330 , and an accumulated value of the multiplied values is stored in the second hidden layer 1350 .
  • the third connection network 1360 of the exemplary artificial neural network model 1300 includes connections having six weight values connecting each node of the second hidden layer 1350 and each node of the output layer 1370. .
  • the output layer 1370 of the exemplary artificial neural network model 1300 includes nodes y1 and y2.
  • the weight value of the third connection network 1360 is multiplied by the input node value of the corresponding second hidden layer 1350 , and the accumulated value of the multiplied values is stored in the output layer 1370 .
  • the operation for each layer must be sequentially performed. That is, when the structure of the artificial neural network model is determined, the order of operation for each layer must be determined, and if the order is calculated differently, a problem that the inference result may be inaccurate may occur.
  • the order of operations or data flow according to the structure of such an artificial neural network model can be defined as artificial neural network data locality.
  • processor 110 processes data based on artificial neural network data locality, it may be operated in units of words or data access requests, not in units of layers.
  • the data size of the data access request may be less than or equal to the data size of the corresponding layer.
  • the processor 110 may generate a data access request on a layer-by-layer basis.
  • the feature map division convolution of the processor 110 can be any technique of processing elements, the number of processing elements of the processor, the cache memory capacity of the processor 110 , the memory hierarchy of the processor 110 , and/or the processor 110 .
  • the order of requesting the divided data access requests may be determined by the artificial neural network data locality.
  • the artificial neural network memory control unit 120 may be configured to receive the artificial neural network data locality and prepare to provide data corresponding to the next data access request requested by the processor 110 .
  • the artificial neural network memory control unit 120 may be configured to predict the artificial neural network data locality, and to prepare to provide data corresponding to the next data access request requested by the processor 110 .
  • the data access requests and artificial neural network data locality generated by the processor 110 during the artificial neural network operation of the artificial neural network model 1300 shown in FIG. 3 will be described.
  • the processor 110 generates a first data access request for reading the input node values of the input layer 1310 of the artificial neural network model 1300 .
  • the first data access request includes a first memory address value and a read mode value.
  • the first data access request may be stored as a token [1].
  • the processor 110 generates a second data access request for reading the weight values of the first connection network 1320 of the artificial neural network model 1300 .
  • the second data access request includes a second memory address value and a read mode value.
  • the second data access request may be stored as a token [2].
  • the processor 110 multiplies the weight values of the first connection network 1320 of the artificial neural network model 1300 and the node values of the input layer 1310 and stores the accumulated node values of the first hidden layer 1330.
  • Create a third data access request for The third data access request includes a third memory address value and a write mode value.
  • the third data access request may be stored as a token [3].
  • the processor 110 generates a fourth data access request for reading node values stored in the first hidden layer 1330 of the artificial neural network model 1300 .
  • the fourth data access request includes a third memory address value and a read mode value.
  • the fourth data access request may be stored as a token [4].
  • the processor 110 generates a fifth data access request for reading the weight values of the second connection network 1340 of the artificial neural network model 1300 .
  • the fifth data access request includes a fifth memory address value and a write mode value.
  • the fifth data access request may be stored as a token [5].
  • the processor 110 multiplies the weight values of the second connection network 1340 of the artificial neural network model 1300 and the node values of the first hidden layer 1330 and accumulates the node values of the second hidden layer 1350.
  • the sixth data access request includes a sixth memory address value and a write mode value.
  • the sixth data access request may be stored as a token [6].
  • the processor 110 generates a seventh data access request for reading node values stored in the second hidden layer 1350 of the artificial neural network model 1300 .
  • the seventh data access request includes a sixth memory address value and a read mode value.
  • the seventh data access request may be stored as a token [7].
  • the processor 110 generates an eighth data access request for reading the weight values of the third connection network 1360 of the artificial neural network model 1300 .
  • the eighth data access request includes an eighth memory address value and a read mode value.
  • the eighth data access request may be stored as a token [8].
  • the processor 110 multiplies the weight values of the third connection network 1360 of the artificial neural network model 1300 and the node values of the second hidden layer 1350 and stores the accumulated node values of the output layer 1370.
  • Create a ninth data access request for The ninth data access request includes a ninth memory address value and a write mode value.
  • the ninth data access request may be stored as a token [9].
  • the node values may be a feature map, an activation map, or the like. However, the present invention is not limited thereto.
  • the weight values may be a kernel window. However, the present invention is not limited thereto.
  • the processor 110 must generate the first to ninth data access requests for inference of the exemplary artificial neural network model 1300 . If the order of the data access requests generated by the processor 110 is mixed, the locality of the artificial neural network data of the artificial neural network model 1300 is damaged, so that an error occurs in the inference result of the artificial neural network model 1300 or the accuracy is impaired. can For example, when the processor 110 calculates the second layer first and then calculates the first layer, etc. Accordingly, the processor 110 may be configured to sequentially generate data access requests based on artificial neural network data locality. Therefore, the artificial neural network memory controller 120 may assume that the processor 110 sequentially generates data access requests based on the artificial neural network data locality during computation of the artificial neural network.
  • each data access request may be reinterpreted at the processor-memory level according to the hardware characteristics of the processor.
  • the above-described example has been described as an example in which the available capacity of the cache memory of the processor is sufficient, and the data size of the node value and the data size of the weight value are smaller than the available capacity of the cache memory. Accordingly, each layer may be described as being processed in one data access request unit. If the data size of the artificial neural network model weight value, feature map, kernel, activation map, etc. is larger than the available capacity of the cache memory of the processor, the corresponding data access request may be divided into a plurality of pieces. In this case, the artificial neural network The neural network data locality of the model can be reconstructed.
  • the artificial neural network memory controller 120 can generate an artificial neural network data locality pattern, it can be actively operated in response to the artificial neural network data locality of the artificial neural network model processed by the processor.
  • the artificial neural network memory control unit 120 analyzes the recorded data access request even if the processor 110 does not know the actual artificial neural network data locality of the artificial neural network model being processed.
  • the artificial neural network memory control unit 120 has the effect of substantially analyzing the artificial neural network data locality by analyzing the recorded data access request, even if the processor 110 does not provide structural information of the artificial neural network model being processed. .
  • the artificial neural network memory controller may be configured to receive the artificial neural network data locality pattern previously generated at the processor-memory level.
  • FIG. 4 is a schematic diagram illustrating an artificial neural network data locality pattern generated by an artificial neural network memory controller analyzing the artificial neural network model of FIG. 3 according to an embodiment of the present disclosure.
  • 5 is a schematic diagram illustrating a token and identification information corresponding to the artificial neural network data locality pattern of FIG. 4 .
  • the artificial neural network data locality pattern 1400 shown in FIG. 4 is only shown as a token for convenience of description. 1A to 4, the artificial neural network data locality pattern 1400 of the artificial neural network model 1300 is stored as a token [1-2-3-4-5-6-7-8-9]. there is. A token corresponding to the artificial neural network data locality pattern 1400 shown in FIG. 5 and identification information corresponding to the token are shown.
  • Each data access request may be configured to include identification information.
  • Each data access request can be expressed as a token. However, this is only for convenience of description, and the present disclosure is not limited to tokens.
  • the artificial neural network memory controller 120 has an effect of sequentially predicting the order of tokens to be generated after the current token.
  • the artificial neural network data locality pattern 1400 may be configured to have a pattern in the form of a loop in which the sequence is connected from the last token to the start token.
  • the present disclosure is not limited thereto.
  • the artificial neural network data locality pattern 1400 may be composed of memory addresses having a repeated loop characteristic.
  • the present disclosure is not limited thereto.
  • the artificial neural network data locality pattern 1400 may be configured to further include identification information that can identify the start and end of the computation of the artificial neural network model.
  • identification information that can identify the start and end of the computation of the artificial neural network model.
  • the present disclosure is not limited thereto.
  • the start and end of the artificial neural network data locality pattern 1400 may be configured to be divided into a start token and a last token of the pattern.
  • the present disclosure is not limited thereto.
  • the processor 110 when the processor 110 repeatedly infers a specific artificial neural network model, since the artificial neural network data locality pattern 1400 is a loop-type pattern, even if the current inference of the specific artificial neural network model ends, the next inference has the effect of predicting the onset of
  • the identification information for example, it can be confirmed that token [3] and token [4] of the artificial neural network data locality pattern 1400 have the same memory address value but have different operation modes. Accordingly, the artificial neural network memory controller 120 may be configured to classify the third data access request and the fourth data access request into different tokens because the operation modes are different even if the memory address values are the same.
  • the identification information of the embodiments of the present disclosure is not limited to the operation mode, and may be configured to predict the artificial neural network data locality pattern only by the memory address value.
  • the neural network memory controller 120 may be configured to generate a corresponding prior data access request based on the neural network data locality pattern 1400 .
  • the neural network memory controller 120 may be configured to sequentially further generate a prior data access request based on the neural network data locality pattern 1400 .
  • the neural network memory controller 120 transmits at least one or more data access requests after the specific data access request.
  • the processor 110 generates the token [1]
  • the artificial neural network memory control unit 120 has the effect of predicting that a data access request corresponding to the token [2] will be generated next.
  • the processor 110 generates the token [3]
  • the artificial neural network memory control unit 120 has the effect of predicting that the data access request corresponding to the token [4] will be generated next.
  • the processor 110 when the processor 110 generates the token [1], the artificial neural network memory control unit 120 requests data access corresponding to the token [2-3-4-5-6-7-8-9] in the order It has the effect of predicting what will be created.
  • an unexpected data locality pattern may be interposed between tokens of the artificial neural network data locality pattern 1400 .
  • a new token [41] can invade after token [2].
  • the artificial neural network memory controller 120 has the effect of predicting that the processor 110 will generate the token [3] after the token [2] and preparing it.
  • the artificial neural network memory control unit 120 may predict that the processor 110 will generate the token [1].
  • FIG. 6 is a schematic diagram illustrating a prior data access request and a next data access request generated by an artificial neural network memory controller based on an artificial neural network data locality pattern according to an embodiment of the present disclosure.
  • the neural network memory controller 120 may be configured to generate a prior data access request by predicting the next data access request that the processor 110 will request next by using the neural network data locality pattern. .
  • the data access request token means a token corresponding to the data access request received by the artificial neural network memory controller 120 from the processor 110 .
  • the prior data access request token is a token corresponding to the data access request that the neural network memory control unit 120 predicts in advance based on the neural network data locality pattern for the data access request to be requested next by the processor 110 .
  • the next data access request token is a data access request token actually generated by the processor 110 after generating the data access request token in advance.
  • the token of the present disclosure is merely an example for convenience of description, and the present disclosure is not limited to the token.
  • the data access request and the dictionary data access may correspond to the data access request token.
  • the data access request matching the specific data access request token and the prior data access request may be configured to have the same memory address. That is, the data access request and the dictionary data access may be configured to include the same memory address.
  • the memory address values of each token may be the same. That is, the data access request and the dictionary data access may be configured to include the same operation mode value. For example, when the data access request token is [3] and the dictionary data access request token is [3], the operation mode values of each token may be the same.
  • the artificial neural network memory controller 120 when the processor 110 generates a data access request corresponding to the token [1], the artificial neural network memory controller 120 generates a prior data access request corresponding to the token [2]. The processor 110 generates the next data access request corresponding to the token [2] after generating the prior data access request. And the artificial neural network memory control unit 120 is configured to determine whether the prior data access request correctly predicted the next data access request. The artificial neural network memory controller 120 may determine that the patterns match because the tokens corresponding to the prior data access request and the next data access request are the same.
  • the artificial neural network memory control unit 120 when the processor 110 generates a data access request corresponding to the token [2], the artificial neural network memory control unit 120 generates a prior data access request corresponding to the token [3]. The processor 110 generates the next data access request corresponding to the token [3] after generating the prior data access request. And the artificial neural network memory control unit 120 is configured to determine whether the prior data access request correctly predicted the next data access request. The artificial neural network memory controller 120 may determine that the patterns match because the tokens corresponding to the prior data access request and the next data access request are the same.
  • the artificial neural network memory control unit 120 when the processor 110 generates a data access request corresponding to the token [9], the artificial neural network memory control unit 120 generates a prior data access request corresponding to the token [1]. The processor 110 generates the next data access request corresponding to the token [9] after generating the prior data access request. And the artificial neural network memory control unit 120 is configured to determine whether the prior data access request correctly predicted the next data access request. The artificial neural network memory controller 120 may determine that the patterns match because the tokens corresponding to the prior data access request and the next data access request are the same.
  • the artificial neural network memory controller 120 After the artificial neural network memory controller 120 generates the prior data access request, when the processor 110 generates the next data access request, the artificial neural network memory controller 120 determines that the prior data access request and the next data access request are mutually exclusive. may be configured to determine if it is the same request.
  • the artificial neural network memory system 100 has an effect of detecting a change in the locality of the artificial neural network data of the artificial neural network model processed by the processor 110 . Accordingly, the artificial neural network memory controller 120 has an effect of analyzing the locality of the changed artificial neural network data even if the artificial neural network model is changed.
  • the neural network memory controller 120 may be configured to maintain the neural network data locality pattern.
  • the artificial neural network memory system 100 detects that the artificial neural network model processed by the processor 110 is repeatedly used, and can prepare or provide data requested by the processor 110 more quickly. there is an effect
  • the neural network memory controller 120 determines that the prior data access request and the next data access request are different, the neural network memory controller 120 updates the neural network data locality pattern or further generates a new artificial neural network data locality pattern. can be configured.
  • the artificial neural network memory system 100 has the effect of detecting that the artificial neural network model processed by the processor 110 is changed, and generating a prior data access request corresponding to the changed artificial neural network model.
  • the neural network memory controller may be configured to generate a series of prior data access requests.
  • the prior data access request generated by the artificial neural network memory controller may be a data access request corresponding to the token [3].
  • the present invention is not limited thereto, and for example, the prior data access request generated by the artificial neural network memory controller may be a plurality of data access requests corresponding to the token [3-4].
  • the present invention is not limited thereto, and for example, the prior data access request generated by the artificial neural network memory controller may be a plurality of data access requests corresponding to the token [3-4-5-6].
  • the neural network memory controller has an effect of generating a prior data access request in which all the sequences of continuously repeated data access requests are predicted based on the neural network data locality pattern.
  • the artificial neural network memory controller has an effect of generating a prior data access request in which the order of at least some data access requests is predicted in advance, based on the artificial neural network data locality pattern.
  • FIG. 7 is a flowchart schematically illustrating an operation of an artificial neural network memory controller according to an embodiment of the present disclosure.
  • the processor 110 may be configured to generate a data access request corresponding to an artificial neural network model based on artificial neural network data locality.
  • the artificial neural network memory controller 120 sequentially records the data access requests generated by the processor 110 to generate an artificial neural network data locality pattern (S710).
  • the artificial neural network memory control unit 120 compares the generated artificial neural network data locality pattern with the data access request generated by the processor 110 to generate a prior data access request that predicts the next data access request to be generated by the processor 110 can be configured.
  • the artificial neural network memory system 100 sequentially records the data access request and at least one processor 110 configured to generate a data access request corresponding to the artificial neural network operation.
  • a neural network data locality pattern is generated (S720).
  • the memory neural network memory system 100 is configured to generate a prior data access request that predicts the next data access request of the data access request generated by the at least one processor 110 based on the neural network data locality pattern, at least one It may be configured to include the artificial neural network memory controller 120 .
  • the at least one artificial neural network memory controller 120 generates a prior data access request before generating the next data access request ( S730 ).
  • the at least one processor 110 is configured to transmit a data access request to the at least one artificial neural network memory controller 120 , and the at least one artificial neural network memory controller 120 accesses the prior data in response to the data access request. It may be configured to output a request.
  • the artificial neural network memory system 100 includes at least one processor 110 configured to generate a data access request corresponding to an artificial neural network operation, and a data access request generated by the at least one processor 110 . is configured to generate an artificial neural network data locality pattern of artificial neural network operation by sequentially recording the It may be configured to include at least one artificial neural network memory controller 120 configured to generate a data access request.
  • the processor 110 since the artificial neural network memory controller 120 can predict in advance the next data access request to be generated by the artificial neural network model being processed by the processor 110 based on the artificial neural network data locality pattern, the processor 110 ) has the advantage of being able to prepare to provide the data in advance before requesting it.
  • the artificial neural network memory controller 120 may be configured to determine whether the artificial neural network data locality pattern matches by comparing the generated prior data access request and the next data access request generated by the processor 110 after generating the prior data access request. (S740).
  • the artificial neural network memory controller 120 may prepare to provide data in advance by generating a prior data access request before generating the next data access request. Accordingly, the artificial neural network memory controller 120 has an effect of substantially eliminating or reducing a delay time that may occur when providing data to the processor 110 .
  • FIG. 8 is a schematic block diagram illustrating an artificial neural network memory system according to another embodiment of the present disclosure.
  • the artificial neural network memory system 200 may be configured to include a processor 210 , an artificial neural network memory controller 220 , and a memory 230 .
  • the artificial neural network memory system 200 When the artificial neural network memory system 200 according to another embodiment of the present disclosure is compared with the artificial neural network memory system 100 according to an embodiment of the present disclosure, the artificial neural network memory system 200 further includes a memory 230 . Since they are substantially the same except for the following, duplicate description may be omitted for convenience of description only.
  • the artificial neural network memory system 200 includes a memory 230 configured to communicate with the artificial neural network memory controller 220 , and the memory 230 is output from the artificial neural network memory controller 220 . It may be configured to operate in response to a memory access request.
  • the processor 210 may be configured to communicate with the artificial neural network memory controller 220 .
  • the processor 210 may be configured to generate a data access request to be transmitted to the artificial neural network memory controller 220 .
  • the data access request may be generated based on the neural network data locality of the neural network model being processed.
  • the processor 210 is configured to receive data corresponding to the data access request from the artificial neural network memory controller 220 .
  • the artificial neural network memory controller 220 may be configured to receive the data access request generated by the processor 210 .
  • the artificial neural network memory controller 220 may be configured to generate an artificial neural network data locality pattern by analyzing the artificial neural network data locality of the artificial neural network model being processed by the processor 210 .
  • the artificial neural network memory controller 220 may be configured to control the memory 230 by generating a memory access request.
  • the artificial neural network memory controller 220 may be configured to generate a memory access request corresponding to the data access request. That is, the artificial neural network memory controller 220 may be configured to generate a memory access request corresponding to the data access request generated by the processor 210 .
  • the artificial neural network memory controller 220 when the artificial neural network memory controller 220 does not generate the artificial neural network data locality pattern, the artificial neural network memory controller 220 generates a memory access request based on the data access request generated by the processor 210. can be configured.
  • the memory access request may be configured to include a memory address value and an operation mode value among identification information included in the data access request.
  • the artificial neural network memory controller 220 may be configured to generate a memory access request corresponding to the prior data access request. That is, the neural network memory controller 220 may be configured to generate a memory access request based on a prior data access request generated based on the neural network data locality pattern. For example, when the artificial neural network memory controller 220 generates an artificial neural network data locality pattern, the artificial neural network memory controller 220 may be configured to generate a memory access request based on a prior data access request.
  • the artificial neural network memory controller 220 may send and receive data to and from the memory 220 through a memory access request, and when the corresponding memory access request is generated based on a prior data access request, the neural network memory
  • the system 200 has the effect of more rapidly providing data to the processor 210 .
  • the neural network memory controller 220 may be configured to generate a memory access request based on one of a data access request generated by the processor 210 and a prior data access request generated by the artificial neural network memory controller 220 . That is, the memory access request generated by the artificial neural network memory controller 220 may be selectively generated based on the data access request or the prior data access request.
  • the artificial neural network memory controller 220 may be configured to generate a memory access request including at least some of the identification information included in the data access request and the prior data access request.
  • the data access request generated by the processor 210 may include a memory address value and an operation mode value.
  • the memory access request generated by the artificial neural network memory controller 220 may be configured to include a memory address value and an operation mode value of the corresponding data access request.
  • each of the data access request, the dictionary data access request, and the memory access request may be configured to include a corresponding memory address value and an operation mode value, respectively.
  • the operation mode may be configured to include a read mode and a write mode.
  • the memory access request generated by the artificial neural network memory controller 220 may be configured in a data format having the same structure as a data access request or a prior data access request. Therefore, the memory 230 can perform the memory access request task according to the instruction of the artificial neural network memory controller 220 without distinguishing between the data access request and the prior data access request.
  • the memory 230 has an effect that it can operate regardless of whether the memory access request generated by the artificial neural network memory controller 220 is based on a data access request or a prior data access request. . Therefore, even if the artificial neural network memory control unit 220 operates based on the artificial neural network data locality, there is an effect that it can operate compatible with various types of memories.
  • the artificial neural network memory controller 220 transmits a memory access request to the memory 230 , and the memory 230 is configured to perform a memory operation corresponding to the memory access request.
  • Memory may be implemented in various forms.
  • the memory may be implemented as a volatile memory and a non-volatile memory.
  • the volatile memory may include a dynamic RAM (DRAM) and a static RAM (SRAM).
  • Non-volatile memory includes Programmable ROM (PROM), Erasable PROM (EPROM), Electrically EPROM (EEPROM), Flash Memory, ferroelectric RAM (FRAM), Magnetic RAM (MRAM), and and a phase change memory device (RAM), and the like.
  • PROM Programmable ROM
  • EPROM Erasable PROM
  • EEPROM Electrically EPROM
  • Flash Memory Flash Memory
  • FRAM ferroelectric RAM
  • MRAM Magnetic RAM
  • phase change memory device RAM
  • the memory 230 may be configured to store at least one of inference data, weight data, and feature map data of the artificial neural network model being processed by the processor 210 .
  • the inference data may be an input signal of an artificial neural network model.
  • the memory 230 may be configured to receive a memory access request from the artificial neural network memory controller 220 .
  • the memory 230 may be configured to perform a memory operation corresponding to the received memory access request.
  • the operation mode for controlling the memory operation may include a read mode or a write mode.
  • the memory 230 may store data received from the artificial neural network memory controller 220 in a corresponding memory address value.
  • the memory 230 may transmit data stored in a corresponding memory address value to the artificial neural network memory controller 220 .
  • the artificial neural network memory controller 220 may be configured to transmit the received data back to the processor 210 .
  • the memory 230 may have latency.
  • the delay time of the memory 230 may mean a delay time when the artificial neural network memory controller 220 processes a memory access request. That is, when the memory 230 receives a memory access request from the neural network memory controller 220 , the data actually requested is output from the memory 230 after a delay time of a specific clock cycle.
  • the memory 230 may access a memory address value included in the memory access request. Therefore, time is required to access the memory address value, and this time can be defined as the memory delay time. For example, the CAS latency of DDR4 SDRAM memory is about 10ns. If data is not supplied to the processor 210 while the delay time occurs, the processor 210 may be in an IDLE state and may not be able to perform an actual operation.
  • DRAM which is a type of memory 230
  • clocks for activating word lines and bit lines several clocks for activating column lines, and data 230
  • It takes several clocks to pass through the external transmission path and in the case of NAND Flash, since the unit activated at one time is large, several clocks may be additionally required to search for data of a required address among them.
  • the memory 230 may have a bandwidth.
  • a data transfer rate of the memory 230 may be defined as a memory bandwidth.
  • the bandwidth of DDR4 SDRAM memory is about 4GBytes/sec. The higher the memory bandwidth, the faster the memory 230 can transmit data to the processor 210 .
  • the processing speed of the artificial neural network memory system 200 is higher than the processing performance of the processor 210 , the delay time generated when the processor 210 supplies data to be processed and the bandwidth performance of the memory 230 are relatively higher.
  • the bandwidth of the memory is gradually increased, the improvement rate of the delay time of the memory is relatively slow compared to the improvement rate of the bandwidth.
  • frequent memory access requests may be an important cause of a decrease in the processing speed of the artificial neural network.
  • the processor 210 may be in a standby state in which no operation is performed. In this case, the operation of the processor 210 is Processing speed may be reduced.
  • the artificial neural network memory system may be configured to improve the bandwidth and/or delay time of the memory 230 .
  • FIG. 9 is a schematic diagram illustrating an operation of a memory system according to a comparative example of the present disclosure.
  • a processor may generate a data access request, and the conventional memory system may transmit a memory access request corresponding to the data access request to the memory.
  • the processor can receive the requested data from the memory after waiting for the delay time.
  • the conventional memory system receives the data access request [1] generated by the processor, and transmits the memory access request [1'] corresponding to the data access request [1] to the memory.
  • the memory can deliver data[1''] to the memory system after a delay time.
  • the processor may delay the processing time by the delay time of the memory for each data access request. Accordingly, the time of the artificial neural network reasoning operation may be as slow as the memory delay time. In particular, as the processor generates more data access requests, the artificial neural network reasoning operation time of the conventional memory system may be further delayed.
  • FIG. 10 is a schematic diagram illustrating a memory system according to another embodiment of the present disclosure.
  • the processor 210 generates a data access request [1], and the neural network memory control unit 220 receives the memory access request corresponding to the prior data access request generated based on the artificial neural network data locality pattern. may be transferred to the memory 230 .
  • the neural network memory control unit ( The 220 may directly provide the data requested by the processor 210 to the processor 210 .
  • the artificial neural network memory control unit 220 receives the data access request [1] generated by the processor 210, generates a prior data access request [2], and a memory corresponding to the prior data access request [2]
  • the access request [2'] is transferred to the memory 230 .
  • the memory 230 may transmit the data [2''] to the artificial neural network memory controller 220 after the delay time.
  • the data [2''] provided by the memory 230 is data corresponding to the memory access request [2'] based on the prior data access request [2]. Therefore, when the processor 210 generates the next data access request [2], the artificial neural network memory control unit 220 may immediately provide the data [2 ''] to the processor 210 .
  • the artificial neural network memory controller 220 receives the next data access request from the processor 210 . Data may be provided to the processor 210 as soon as possible. In this case, the artificial neural network memory controller 220 has the effect of substantially eliminating the delay time of the memory 230 .
  • the delay time of the memory 230 may be less than or equal to the time from generation of the prior data access request to generation of the next data access request.
  • the artificial neural network memory control unit 220 has the effect of providing data immediately without delay as soon as the processor 210 generates the next data access request.
  • the delay time of the memory 230 is set by the time between the memory access request and the next data access request. There is an effect that can be substantially reduced.
  • the artificial neural network memory controller 220 has an effect of substantially eliminating or reducing the delay time of data to be provided to the processor 210 .
  • the artificial neural network memory control unit of the artificial neural network memory system may be configured to measure the delay time of the memory or to receive the delay time value of the memory from the memory.
  • the artificial neural network memory controller may be configured to determine the generation time of the memory access request based on the prior data access request based on the delay time of the memory. Therefore, there is an effect that the artificial neural network memory controller can generate a memory access request based on a prior data access request that substantially minimizes the delay time of the memory.
  • the memory of the artificial neural network memory system may be a memory configured to include a refresh function capable of updating the voltage of the memory cell.
  • the artificial neural network memory controller may be configured to selectively control the refresh of a memory address region of a memory corresponding to a memory access request corresponding to a prior data access request.
  • the memory may be a DRAM including a refresh function.
  • the artificial neural network memory system may be configured to advance or delay the timing of refreshing the voltage of the memory cell.
  • the artificial neural network memory system may predict or calculate the generation timing of the memory access request based on the artificial neural network data locality pattern. Accordingly, the artificial neural network memory system may be configured to limit the voltage refresh of the memory cell during a memory access request operation.
  • the reasoning operation of the artificial neural network operation operates with the concept of accuracy, even if the voltage refresh of the memory cell is delayed and some loss occurs in the stored data, the degradation of the reasoning accuracy may be substantially negligible.
  • the artificial neural network memory system has an effect of being able to receive data according to a memory access request from the memory by adjusting the voltage refresh period of the memory cell. Therefore, the artificial neural network memory system has an effect of improving the artificial neural network operation speed decrease due to the voltage refresh of the memory cell without substantially lowering the inference accuracy.
  • the memory of the artificial neural network memory system may be configured to further include a precharge function capable of charging the global bit line of the memory to a specific voltage.
  • the artificial neural network memory controller may be configured to selectively provide a precharge to a memory address area of a memory corresponding to a memory access request corresponding to a prior data access request.
  • the neural network memory controller may be configured to precharge or delay a bit line of a memory for performing a memory operation corresponding to a prior data access request based on the neural network data locality pattern.
  • a memory receives a memory access request and performs a read operation or a write operation, and a precharge operation is performed.
  • a precharge operation is performed.
  • signals remain on the bit line and each data input/output line on which the data read/write operation has been performed.
  • These lines must be precharged to a preset level to smoothly perform the next memory operation there is.
  • the time required for the precharge is quite long, when the timing of generating the memory access request and the timing of the precharge overlap, the memory operation may be delayed by the precharge time. Therefore, the processing time of the data access request requested by the processor may be delayed.
  • the artificial neural network memory controller may predict that a memory operation is performed on a bit line of a particular memory in a particular order based on the artificial neural network data locality pattern. Accordingly, the artificial neural network memory control unit may advance or delay the precharge timing so that the precharge timing does not overlap with when a memory operation is performed on a specific bit line.
  • the reasoning operation of the artificial neural network model operates based on the concept of accuracy, even if some loss occurs in the stored data due to the delay in precharging, the degradation of the inference accuracy may be substantially negligible.
  • the artificial neural network is a mathematical model modeled by mimicking the brain neural network of biology.
  • Human nerve cells called neurons exchange information through the junctions of nerve cells called synapses. pay This structure has the advantage of being very strong against small errors because even if some nerve cells transmit erroneous information, the overall information is not greatly affected. That is, due to the above-described characteristics, even if the precharge and refresh functions of the memory for storing the data of the artificial neural network model are selectively restricted, the accuracy of the artificial neural network model may not be substantially problematic, and the memory delay due to the precharge or refresh It has the effect of saving time.
  • the artificial neural network memory system has an effect of improving the artificial neural network computation speed decrease due to precharge while not substantially lowering inference accuracy.
  • the artificial neural network memory controller may be configured to respectively control a refresh function and a precharge function of the memory based on the neural network data locality pattern.
  • FIG. 11 is a schematic block diagram illustrating an artificial neural network memory system according to another embodiment of the present disclosure.
  • the artificial neural network memory system 300 may be configured to include a processor 310 , an artificial neural network memory controller 320 including a cache memory 322 , and a memory 330 .
  • the artificial neural network memory system 300 When the artificial neural network memory system 300 according to another embodiment of the present disclosure is compared with the artificial neural network memory system 200 according to another embodiment of the present disclosure, the artificial neural network memory system 300 stores the cache memory 322 Since they are substantially the same except for further inclusion, redundant descriptions may be omitted for convenience of description only.
  • the artificial neural network memory system 300 is artificial including a cache memory 322 configured to store data transmitted by the memory 330 in response to a memory access request based on a prior data access request. It may be configured to include a neural network memory controller 320 .
  • the artificial neural network memory controller 320 may read data in response to the memory access request based on the prior data access request from the memory 330 and store it in the cache memory 322 . Therefore, when the processor 310 generates the next data access request, the artificial neural network memory control unit 320 has the effect of directly providing the data stored in the cache memory 322 to the processor 310 .
  • the delay time of the cache memory 322 is relatively much shorter than the delay time of the memory 330 .
  • the bandwidth of the cache memory 322 is relatively higher than the bandwidth of the memory 330 .
  • the artificial neural network model processing performance of the artificial neural network memory system 300 including the cache memory 322 according to another embodiment of the present disclosure is relatively better than the artificial neural network memory system 200 according to another embodiment of the present disclosure. There is an effect that can be done.
  • an artificial neural network memory system 300 according to another embodiment of the present disclosure will be described with reference to the artificial neural network model 1300 of FIG. 3 .
  • the artificial neural network model 1300 may be compiled by a specific compiler and calculated by the processor 310 .
  • the compiler may be configured to provide the neural network data locality pattern to the neural network memory controller 320 .
  • the processor 310 is configured to generate data access requests in an order based on the neural network data locality. Accordingly, the neural network memory controller 320 may generate the neural network data locality pattern 1400 by monitoring data access requests. Alternatively, the artificial neural network memory controller 320 may store the previously generated artificial neural network data locality pattern 1400 .
  • the processor 310 may generate a data access request of the token [1] corresponding to reading the node value of the input layer 1310 .
  • the artificial neural network memory control unit 320 may generate a memory access request of the token [1] and transmit the node value of the input layer 1310 received from the memory 330 to the processor 310 .
  • the processor 310 may generate a data access request of the token [2] corresponding to the reading of the weight value of the first connection network 1320 .
  • the artificial neural network memory controller 320 may generate a memory access request of the token [2] and transmit the weight value of the first connection network 1320 received from the memory 330 to the processor 310 .
  • the processor 310 may receive the node value of the input layer 1310 and the weight value of the first connection network 1320 to calculate the node value of the first hidden layer 1330 . That is, the processor 310 may generate a data access request of the token [3] corresponding to the writing of the node value of the first hidden layer 1330 . Accordingly, the artificial neural network memory control unit 320 may generate a memory access request of the token [3] and store the node value of the first hidden layer 1330 in the memory 330 .
  • the processor 310 may generate a data access request of the token [4] corresponding to the reading of the node value of the first hidden layer 1330 .
  • the artificial neural network memory control unit 320 may generate a memory access request of the token [4] and transmit the node value of the first hidden layer 1330 received from the memory 330 to the processor 310 .
  • the processor 310 may generate a data access request of the token [5] corresponding to the reading of the weight value of the second connection network 1340 .
  • the artificial neural network memory control unit 320 may generate a memory access request of the token [5] and transmit the weight value of the second connection network 1340 received from the memory 330 to the processor 310 .
  • the processor 310 may receive the node value of the first hidden layer 1330 and the weight value of the second connection network 1340 to calculate the node value of the second hidden layer 1350 . That is, the processor 310 may generate a data access request of the token [6] corresponding to the writing of the node value of the second hidden layer 1350. Accordingly, the artificial neural network memory controller 320 may generate a memory access request of the token [6] and store the node value of the second hidden layer 1350 in the memory 330 .
  • the processor 310 may generate a data access request of the token [7] corresponding to the reading of the node value of the second hidden layer 1350 .
  • the artificial neural network memory control unit 320 may generate a memory access request of the token [7] and transmit the node value of the second hidden layer 1350 received from the memory 330 to the processor 310 .
  • the processor 310 may generate a data access request of the token [8] corresponding to the reading of the weight value of the third connection network 1360 .
  • the artificial neural network memory control unit 320 may generate a memory access request of the token [8] and transmit the weight value of the third connection network 1360 received from the memory 330 to the processor 310 .
  • the processor 310 may calculate the node value of the output layer 1370 by receiving the node value of the second hidden layer 1350 and the weight value of the third connection network 1360 . That is, the processor 310 may generate a data access request of the token [9] corresponding to the writing of the node value of the output layer 1370 . Accordingly, the artificial neural network memory control unit 320 may generate a memory access request of the token [9] and store the node value of the output layer 1370 in the memory 330 .
  • the artificial neural network memory system 300 may store the inference result of the artificial neural network model 1300 in the output layer 1370 .
  • the above-described example is a case in which the artificial neural network data locality pattern 1400 is not generated in the artificial neural network memory controller 320 . Therefore, the above-described example cannot generate a prior data access request. Therefore, since the artificial neural network memory controller 320 fails to provide data in advance, a delay time of the memory 330 may occur for each memory access request.
  • the artificial neural network memory control unit 320 records data access requests, when the processor 310 again generates a data access request of the token [1] corresponding to reading the node value of the input layer 1310, the artificial neural network A data locality pattern 1400 may be generated.
  • the following example may be a case in which the artificial neural network data locality pattern 1400 is generated and the processor 310 is repeatedly inferring the artificial neural network model 1300 .
  • the present invention is not limited thereto.
  • the processor 310 may generate the artificial neural network data locality pattern 1400 by detecting the data access request of the repeated token [1]. To elaborate, since the artificial neural network memory controller 320 sequentially stores the token [1] to the token [9], when the artificial neural network memory controller 320 detects the token [1] again, the neural network data locality is can decide
  • the artificial neural network memory control unit according to the embodiments of the present disclosure is not limited to the token, and the token is only for convenience of description, Embodiments may be implemented.
  • the artificial neural network memory control unit 320 when the processor 310 generates a data access request of the token [9], the artificial neural network memory control unit 320 generates a prior data access request of the token [1]. Accordingly, the artificial neural network memory controller 320 may generate a memory access request of the token [1] and store the node value of the input layer 1310 in the cache memory 322 in advance.
  • the artificial neural network memory control unit 320 generates the data access request of the token [1], which is the starting stage of the artificial neural network model 1300. can be predicted to be
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [1] and the data access request of the token [1] are the same . When it is determined that they are the same, the node value of the input layer 1310 stored in the cache memory 322 may be directly provided to the processor 310 .
  • the artificial neural network memory control unit 320 generates a prior data access request of the token [2].
  • the artificial neural network memory control unit 320 may generate a memory access request of the token [2] and store the weight value of the first connection network 1320 in the cache memory 322 in advance.
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [2] and the data access request of the token [2] are the same . When it is determined that they are the same, the node value of the first connection network 1320 stored in the cache memory 322 may be directly provided to the processor 310 .
  • the artificial neural network memory control unit 320 generates a prior data access request of the token [3].
  • the processor 310 may receive the node value of the input layer 1310 and the weight value of the first connection network 1320 to calculate the node value of the first hidden layer 1330 .
  • the processor 310 generates a data access request of the token [3]
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [3] and the data access request of the token [3] are the same.
  • the calculated node value of the first hidden layer 1330 may be stored in the memory 330 and/or the cache memory 322 .
  • the same data without the cache memory 322 is stored in the memory 330 as a memory access request of the token [3], and again in the memory 330 with the memory access request of the token [4]. ), the delay time of the memory 330 may be doubled.
  • the neural network memory control unit 320 determines the node value of the layer calculated on the basis that the memory address values of consecutive tokens are the same, the operation mode of the preceding token is the write mode, and the operation mode of the next token is the read mode. and to determine to use the corresponding node value as an input value for the next layer.
  • the artificial neural network memory control unit 320 may be configured not to generate memory access requests corresponding to the data access request of the token [3] and the data access request of the token [4]. According to the above configuration, there is an effect that the delay time of the memory 330 due to the memory 330 can be eliminated by the memory access request of the token [3] and the memory access request of the token [4].
  • the cache memory 322 operation policy may be executed based on the artificial neural network data locality pattern 1400 .
  • the artificial neural network memory control unit 320 generates a prior data access request of the token [4].
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [4] and the data access request of the token [4] are the same . When it is determined that they are the same, the node value of the first hidden layer 1330 stored in the cache memory 322 may be directly provided to the processor 310 .
  • the artificial neural network memory control unit 320 generates a prior data access request of the token [5].
  • the artificial neural network memory controller 320 may generate a memory access request of the token [5] and store the weight value of the second connection network 1340 in the cache memory 322 in advance.
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [5] and the data access request of the token [5] are the same . When it is determined that they are the same, the weight value of the second connection network 1340 stored in the cache memory 322 may be directly provided to the processor 310 .
  • the artificial neural network memory control unit 320 generates a prior data access request of the token [6].
  • the processor 310 may receive the node value of the first hidden layer 1330 and the weight value of the second connection network 1340 to calculate the node value of the second hidden layer 1350 .
  • the processor 310 generates a data access request of the token [6]
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [6] and the data access request of the token [6] are the same.
  • the calculated node value of the second hidden layer 1350 may be stored in the memory 330 and/or the cache memory 322 .
  • the artificial neural network memory control unit 320 generates a prior data access request of the token [7].
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [7] and the data access request of the token [7] are the same . When it is determined that they are the same, the node value of the second hidden layer 1350 stored in the cache memory 322 may be directly provided to the processor 310 .
  • the artificial neural network memory control unit 320 generates a prior data access request of the token [8].
  • the artificial neural network memory controller 320 may generate a memory access request of the token [8] and store the weight value of the third connection network 1360 in the cache memory 322 in advance.
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [8] and the data access request of the token [8] are the same . When it is determined that they are the same, the weight value of the third connection network 1360 stored in the cache memory 322 may be directly provided to the processor 310 .
  • the artificial neural network memory control unit 320 generates a prior data access request of the token [9].
  • the processor 310 may calculate the node value of the output layer 1370 by receiving the node value of the second hidden layer 1350 and the weight value of the third connection network 1360 .
  • the processor 310 may generate a data access request of the token [9]
  • the artificial neural network memory control unit 320 determines whether the prior data access request of the token [9] and the data access request of the token [9] are the same.
  • the calculated node value of the output layer 1370 may be stored in the memory 330 and/or the cache memory 322 .
  • the artificial neural network memory system 300 may store the inference result of the artificial neural network model 1300 in the output layer 1370 .
  • the artificial neural network memory system 300 has the effect of preparing to immediately start the next inference even after the inference of the artificial neural network model 1300 is finished by the artificial neural network data locality pattern 1400 .
  • the neural network memory system 300 generates a prior data access request based on the artificial neural network data locality, determines whether the prior data access request and the actual data access request are the same, and If so, it can be configured to further generate the following sequence of prior data access requests.
  • the artificial neural network memory control unit 320 has an effect of removing or reducing the delay time of the memory 320 when processing each data access request.
  • the artificial neural network memory controller may be configured to generate at least one or more prior data access requests to operate to minimize the free space of the cache memory.
  • the artificial neural network memory controller compares the free memory space of the cache memory with the size of the data value to be stored, and when there is free memory space in the cache memory, generates at least one or more prior data access requests to minimize the free space of the cache memory can be configured to
  • the artificial neural network memory controller may be configured to generate a plurality of prior data access requests according to the capacity of the cache memory.
  • the artificial neural network memory control unit may be configured such that the remaining capacity of the cache memory is minimized by sequentially generating at least one or more memory access requests based on the remaining capacity of the cache memory.
  • the artificial neural network memory controller may generate a prior data access request of the token [2] and store the weight value of the first connection network 1320 in the cache memory in advance. Subsequently, the artificial neural network memory controller may store the node value operation processing result of the first hidden layer 1330 corresponding to the token [3] and the token [4] and allocate a read space to the cache memory in advance. Subsequently, the artificial neural network memory controller may store the weight value of the second connection network 1340 corresponding to the token [5] in the cache memory in advance.
  • the artificial neural network memory controller may be configured to sequentially further generate a prior data access request based on the artificial neural network data locality pattern when there is room in the cache memory. That is, when the cache memory has a sufficient capacity, the artificial neural network memory control unit may be configured to pre-store weight values in the cache memory based on the artificial neural network data locality pattern or to secure a region to store the artificial neural network calculation results in advance. .
  • the capacity of the cache memory is sufficient, it may be configured to store the weight values of all the connected networks of the artificial neural network model 1300 in the cache memory.
  • the weight values are fixed. Therefore, when the weight values reside in the cache memory, there is an effect that memory delay time due to a memory access request for reading the weight values can be eliminated.
  • the cache memory sequentially generates prior data access requests in consideration of both the neural network data locality pattern and the capacity of the cache memory, there is an effect that the processing speed of the neural network memory system can be improved.
  • the neural network memory controller can sequentially predict at least one or more data access requests after the specific data access request.
  • the processor generates a data access request for token [1]
  • the artificial neural network memory controller generates data access requests corresponding to token [2-3-4-5-6-7-8-9] It has the ability to predict what will happen.
  • the artificial neural network memory control unit 320 may allow specific weight values to reside in the cache memory for a specific period. For example, when the processor makes inference using an artificial neural network model at a speed of 30 times per second, the weight value of a specific layer can be resident in the cache memory. In this case, the artificial neural network memory control unit has the effect of reusing the weight value stored in the cache memory for each inference. Accordingly, there is an effect of selectively deleting the corresponding memory access request. Therefore, there is an effect that can remove the delay time due to the memory access request.
  • the cache memory may be configured as a plurality of layered cache memories.
  • it may include a cache memory configured to store a weight value or a cache memory configured to store a feature map, and the like.
  • the artificial neural network memory controller may be configured to predict a weight value and a node value based on identification information included in the data access request. Accordingly, the artificial neural network memory controller may be configured to identify a data access request corresponding to a weight value. Specifically, assuming that the learning is completed and the weight value of the connection network is fixed, the weight value in the artificial neural network data locality pattern 1400 may be configured to operate only in the read mode. Therefore, the artificial neural network memory controller can determine the token [2], token [5], and token [8] as weight values. To elaborate, it can be determined that the token [1] is an input node value because it is the starting stage of inference.
  • token [9] is an output node value because it is the last stage of inference.
  • tokens [3] [4] have the order of the write mode and the read mode of the same memory address value, it can be determined as a node value of the hidden layer. However, this may vary depending on the locality of the artificial neural network data of the artificial neural network model.
  • the artificial neural network memory controller may be configured to analyze the artificial neural network data locality pattern to determine whether each data access request is a weight value of the neural network model, a kernel window value, a node value, an activation map value, or the like.
  • the neural network memory system is configured to store a processor configured to generate a data access request corresponding to an artificial neural network operation, a compiler generated neural network data locality pattern, and based on the artificial neural network data locality pattern, the processor and a memory configured to communicate with an artificial neural network memory controller, and an artificial neural network memory controller configured to generate a prior data access request that predicts a next data access request of the generated data access request.
  • the memory may be configured to operate in response to a memory access request output from the artificial neural network memory controller.
  • the artificial neural network memory controller may be configured to receive the artificial neural network data locality pattern generated by the compiler.
  • the artificial neural network memory controller has the effect of preparing in advance the data access requests of the artificial neural network model being processed by the processor in the cache memory based on the artificial neural network data locality pattern generated by the compiler.
  • the artificial neural network data locality pattern generated by the compiler has the effect of being more accurate than the artificial neural network data locality pattern generated by monitoring the artificial neural network data locality.
  • the artificial neural network memory controller may be configured to store the artificial neural network data locality pattern generated by the compiler and the artificial neural network data locality pattern generated by monitoring data access requests by itself.
  • FIG. 12 is a schematic diagram illustrating exemplary identification information of a data access request.
  • the data access request generated by the processor according to embodiments of the present disclosure may be configured to further include at least one piece of additional identification information.
  • the additional identifying information may also be referred to as a side band signal or information.
  • the data access request generated by the processor may be an interface signal having a specific structure. That is, the data access request may be an interface signal for communication between the processor and the artificial neural network memory controller.
  • the data access request may be configured to additionally provide identification information necessary for artificial artificial intelligence network operation by further including an additional bit in the interface signal.
  • the present disclosure is not limited thereto, and may be configured to provide additional identification information in various ways.
  • the data access request of the artificial neural network memory system may be configured to further include identification information capable of identifying whether it is an artificial neural network operation.
  • identification information capable of identifying whether it is an artificial neural network operation.
  • the artificial neural network memory system may be configured to add a 1-bit identification code to the data access request to identify whether the data access request received by the artificial neural network memory controller is a data access request related to an artificial neural network operation.
  • the number of bits of the identification code according to the embodiments of the present disclosure is not limited, and may be adjusted according to the number of cases to be identified.
  • the artificial neural network memory control unit may be configured to determine that the corresponding data access request is related to the artificial neural network operation.
  • the artificial neural network memory control unit may be configured to determine that the corresponding data access request is not related to the artificial neural network operation.
  • the artificial neural network memory controller may be configured to generate an artificial neural network data locality pattern by recording only a data access request related to an artificial neural network operation based on identification information included in the data access request. According to the above configuration, the artificial neural network memory controller may not record data access requests that are not related to artificial neural network operation. Therefore, it is possible to improve the accuracy of the artificial neural network data locality pattern generated by recording data access requests.
  • embodiments of the present disclosure are not limited thereto.
  • the data access request of the artificial neural network memory system may be configured to further include identification information capable of identifying whether the artificial neural network operation is an operation for learning or an operation for inference.
  • identification information capable of identifying whether the artificial neural network operation is an operation for learning or an operation for inference.
  • the neural network memory system may be configured to add a 1-bit identification code to the data access request so that the data access request received by the artificial neural network memory controller identifies whether the operation type of the neural network model is learning or inference. there is.
  • the number of bits of the identification code according to the embodiments of the present disclosure is not limited, and may be adjusted according to the number of cases to be identified.
  • the artificial neural network memory controller may be configured to determine the corresponding data access request as a learning operation.
  • the artificial neural network memory control unit may be configured to determine the reasoning operation of the corresponding data access request.
  • the artificial neural network memory controller may be configured to separately record the data access request of the learning operation and the data access request of the inference operation to generate the artificial neural network data locality pattern.
  • weight values of each layer and/or kernel window of the artificial neural network model may be updated, and an evaluation step of determining inference accuracy of the learned artificial neural network model may be further included. Therefore, even if the structure of the artificial neural network model is the same, the locality of the artificial neural network data processed by the processor may be different from each other during a learning operation or an inference operation.
  • the artificial neural network memory controller may be configured to separately generate an artificial neural network data locality pattern of a learning mode and an artificial neural network data locality pattern of an inference mode of a specific artificial neural network model. Accordingly, there is an effect of improving the accuracy of the artificial neural network data locality pattern generated by the neural network memory controller recording data access requests.
  • embodiments of the present disclosure are not limited thereto.
  • the data access request of the artificial neural network memory system may be configured in an operation mode including identification information capable of identifying a memory read operation and a memory write operation.
  • the present invention is not limited thereto, and the data access request of the artificial neural network memory system may be configured in an operation mode that further includes identification information for identifying an overwrite operation and/or a protection operation.
  • embodiments of the present disclosure are not limited thereto.
  • it may be configured to include a read operation and a write operation by adding a 1-bit identification code to the data access request of the artificial neural network memory system.
  • it may be configured to identify a read operation, a write operation, an overwrite operation, and a protection operation by adding a 2-bit identification code to the data access request of the artificial neural network memory system.
  • the number of bits of the identification code according to the embodiments of the present disclosure is not limited, and may be adjusted according to the number of cases to be identified.
  • the data access request must include at least a memory address value and identification information for identifying read and write operations.
  • the artificial neural network memory controller may be configured to receive a data access request and generate a corresponding memory access request to perform a memory operation.
  • the artificial neural network memory control unit may be configured to determine the corresponding data access request as a read operation.
  • the artificial neural network memory controller may be configured to determine a corresponding data access request as a write operation.
  • the artificial neural network memory controller may be configured to determine the corresponding data access request as an overwrite operation.
  • the artificial neural network memory control unit may be configured to determine a corresponding data access request as a protection operation.
  • the artificial neural network memory controller may receive various data of the artificial neural network model from the memory or store it in the memory by controlling the memory according to the read mode or the write mode.
  • the artificial neural network memory controller may update the weight value of a specific layer by the overwrite mode during the learning operation of the artificial neural network.
  • the overwrite mode since the updated weight value is stored in the same memory address value, a new memory address may not be allocated. Therefore, the overwrite mode may be more efficient in the learning operation than the write mode.
  • the artificial neural network memory controller can protect data stored in a specific memory address by the protection mode.
  • the protection mode there is an effect that can prevent the data of the artificial neural network model from being deleted arbitrarily in an environment accessed by multiple users, such as a server. It is also possible to protect the weight values of the artificial neural network model that has been trained in the protection mode.
  • the data access request of the artificial neural network memory system may be configured to further include identification information capable of identifying whether inference data, weights, feature maps, training data sets, evaluation data sets, and others.
  • identification information capable of identifying whether inference data, weights, feature maps, training data sets, evaluation data sets, and others.
  • embodiments of the present disclosure are not limited thereto.
  • the artificial neural network memory system may be configured to add a 3-bit identification code to the data access request so that the artificial neural network memory controller identifies a domain of data to be accessed.
  • the number of bits of the identification code according to the embodiments of the present disclosure is not limited, and may be adjusted according to the number of cases to be identified.
  • the artificial neural network memory controller may be configured to determine that the corresponding data is data unrelated to the artificial neural network model.
  • the artificial neural network memory controller may be configured to determine the corresponding data as inferred data of the artificial neural network model.
  • the artificial neural network memory controller may be configured to determine the corresponding data as a feature map of the artificial neural network model.
  • the artificial neural network memory control unit may be configured to determine the corresponding data as a weight of the artificial neural network model.
  • the artificial neural network memory control unit may be configured to determine the corresponding data as a training data set of the artificial neural network model.
  • the artificial neural network memory control unit may be configured to determine the corresponding data as an inference data set of the artificial neural network model.
  • the artificial neural network memory controller may be configured to identify domains of data of the artificial neural network model, and allocate addresses of memories in which data corresponding to each domain is stored. For example, the artificial neural network memory controller may set the start number and end address of the memory area allocated to each domain. According to the above-described configuration, data allocated to each domain may be stored to correspond to the sequence of the artificial neural network data locality pattern.
  • data of each domain of the artificial neural network model may be sequentially stored in a memory area allocated to each domain.
  • the corresponding memory may be a memory capable of supporting a read-burst function.
  • the artificial neural network memory controller when the artificial neural network memory controller reads data of a specific domain from the memory, the specific data is stored according to the artificial neural network data locality pattern, so it may be configured to be optimized for the read-burst function. That is, the artificial neural network memory controller may be configured to set the storage area of the memory in consideration of the read-burst function.
  • the memory may further include a read-burst function
  • the at least one artificial neural network memory controller may be configured to write a storage area of the at least one memory in consideration of the read-burst function.
  • the data access request of the artificial neural network memory system may be configured to further include identification information capable of identifying the quantization of the artificial neural network model.
  • identification information capable of identifying the quantization of the artificial neural network model.
  • the artificial neural network memory system may be configured to identify quantization information of data of a corresponding domain.
  • the artificial neural network memory control unit may be configured to determine the corresponding data as data quantized to 1 bit.
  • the artificial neural network memory controller may be configured to determine the corresponding data as 32-bit quantized data.
  • various identification information may be selectively included in the data access request.
  • the artificial neural network memory controller has an effect of analyzing the identification code of the data access request to generate a more accurate artificial neural network data locality pattern. In addition, it has the effect of selectively controlling the storage policy of the memory by identifying each identification information.
  • each artificial neural network data locality pattern can be generated.
  • the artificial neural network memory controller when the artificial neural network memory system is configured to process a plurality of artificial neural network models, the artificial neural network memory controller includes identification information of the artificial neural network model, for example, the first artificial neural network model, the second artificial neural network model, etc. may be configured to further generate additional identification information of In this case, the artificial neural network memory controller may be configured to classify the artificial neural network models based on the artificial neural network data locality of each artificial neural network model.
  • the present invention is not limited thereto.
  • FIG. 13 is a schematic diagram illustrating energy consumption per unit operation of an artificial neural network memory system.
  • FIG. 13 it is a table schematically explaining energy consumed per unit operation of the artificial neural network memory system 300 .
  • Energy consumption can be divided into memory access, addition operation, and multiplication operation.
  • 8b Add refers to the 8-bit integer addition operation of the adder.
  • An 8-bit integer addition operation can consume 0.03 pj of energy.
  • 16b Add refers to the 16-bit integer addition operation of the adder.
  • a 16-bit integer addition operation can consume 0.05pj of energy.
  • 32b Add refers to the 32-bit integer addition operation of the adder.
  • a 32-bit integer addition operation can consume 0.1pj of energy.
  • 16b FP Add refers to the 16-bit floating-point addition operation of the adder.
  • a 16-bit floating-point addition operation can consume 0.4pj of energy.
  • 32b FP Add refers to the 32-bit floating-point addition operation of the adder.
  • a 32-bit floating-point addition operation can consume 0.9pj of energy.
  • 8b Mult refers to the multiplier's 8-bit integer multiplication operation.
  • An 8-bit integer multiplication operation can consume 0.2pj of energy.
  • 32b Mult refers to the multiplier's 32-bit integer multiplication operation.
  • a 32-bit integer multiplication operation can consume 3.1pj of energy.
  • 16b FP Mult refers to the multiplier's 16-bit floating-point multiplication operation.
  • a 16-bit floating-point multiplication operation can consume 1.1pj of energy.
  • 32b FP Mult refers to the multiplier's 32-bit floating-point multiplication operation.
  • a 32-bit floating-point multiplication operation can consume 3.7 pj of energy.
  • 32b SRAM Read refers to 32-bit data read access when the cache memory 322 of the artificial neural network memory system 300 is a static random access memory (SRAM). 5pj of energy may be consumed to read 32-bit data from the cache memory 322 to the processor 310 .
  • SRAM static random access memory
  • 32b DRAM Read refers to 32-bit data read access when the memory 330 of the artificial neural network memory system 300 is DRAM. Reading 32-bit data from the memory 330 to the processor 310 may consume 640pj of energy. Energy unit means pico-joule (pj).
  • the neural network memory system 300 may be configured such that the capacity of the cache memory 322 is sufficient to store all data values of the neural network model 1300 .
  • the cache memory according to embodiments of the present disclosure is not limited to SRAM.
  • Static memories capable of high-speed driving such as SRAM include SRAM, MRAM, STT-MRAM, eMRAM, and OST-MRAM.
  • MRAM, STT-MRAM, eMRAM, and OST-MRAM are static memories and have non-volatile characteristics. Therefore, there is an effect that the artificial neural network model 1300 does not need to be provided again from the memory 330 when the artificial neural network memory system 300 is rebooted after the power is cut off.
  • embodiments according to the present disclosure are not limited thereto.
  • the artificial neural network memory system 300 can significantly reduce power consumption by the read operation of the memory 330 during inference calculation of the artificial neural network model 1300 based on the artificial neural network data locality pattern 1400. can have an effect.
  • FIG. 14 is a schematic diagram illustrating an artificial neural network memory system according to various embodiments of the present disclosure.
  • FIG. 14 may explain the number of various cases in which various embodiments according to the present disclosure may be practiced.
  • the artificial neural network memory system 400 includes at least one processor, at least one memory, and at least one processor, and receives a data access request from at least one processor to receive at least one It may be configured to include at least one artificial neural network memory controller (ADC) configured to provide a memory access request to the memory of the .
  • ADC artificial neural network memory controller
  • At least one artificial neural network memory controller (ADC) may be configured substantially the same as the exemplary neural network memory controllers 120 , 220 , and 320 .
  • the present invention is not limited thereto, and one artificial neural network memory controller of the artificial neural network memory system 400 may be configured differently from other artificial neural network memory controllers.
  • the overlapping description of the artificial neural network memory controllers 411, 412, 413, 414, 415, 416, and 417 of the artificial neural network memory system 400 and the aforementioned artificial neural network memory controllers 120, 220, 320 is for illustrative purposes only. It can be omitted for convenience.
  • the at least one artificial neural network memory controller is configured to connect at least one processor and at least one memory.
  • the data movement path between the at least one processor and the at least one memory may exist in a corresponding artificial neural network data locality.
  • the artificial neural network memory controller located in the corresponding data movement path may be configured to extract the corresponding artificial neural network data locality pattern.
  • Each artificial neural network memory controller may be configured to monitor each data access request to generate each artificial neural network data locality pattern.
  • the artificial neural network memory system 400 may be configured to include at least one processor. there is. At least one processor may be configured to process an artificial neural network operation alone or in cooperation with another processor.
  • the artificial neural network memory system 400 may be configured to include at least one internal memory.
  • the artificial neural network memory system 400 may be configured to be connected to at least one external memory.
  • Internal or external memory includes DRAM (Dynamic RAM), HBM (High bandwidth memory), SRAM (Static RAM), PROM (Programmable ROM), EPROM (Erasable PROM), EEPROM (Electrically EPROM), Flash Memory, It may include a ferroelectric RAM (FRAM), a flash memory, a magnetic RAM (MRAM), a hard disk, a phase change memory device (phase change RAM), and the like.
  • FRAM ferroelectric RAM
  • MRAM magnetic RAM
  • hard disk a phase change memory device
  • phase change RAM phase change RAM
  • External MEM 1, External MEM 2 or internal memories may communicate with the artificial neural network memory system 400 through a corresponding memory interface (External MEM I/F).
  • the processor may include a bus interface unit (BIU) that communicates with a system bus (system bus).
  • BIU bus interface unit
  • the artificial neural network memory system 400 may include an external memory interface connected to an external memory (External MEM).
  • the external memory interface may transmit a memory access request to at least one external memory of the artificial neural network memory system 400 and receive data in response to the memory access request from the at least one external memory.
  • the configuration and functions disclosed in the exemplary neural network memory controllers 120, 220, 320 are distributed to a plurality of artificial neural network memory controllers 411, 412, 413, 414, 415, 416, 417, and the artificial neural network memory system 400 ) can be placed in a specific position.
  • the processor may be configured to include an artificial neural network memory controller.
  • the memory may be DRAM, and in this case, the artificial neural network memory controller may be configured to be included in the DRAM.
  • At least one of the artificial neural network memory controllers 411 , 412 , 413 , 414 , 415 , 416 , and 417 may be configured to have a cache memory embedded therein.
  • the cache memory may be configured to be included in the processor, internal memory, and/or external memory.
  • At least one of the artificial neural network memory controllers 411 , 412 , 413 , 414 , 415 , 416 , and 417 may be configured to be distributed and disposed in a data transmission path between the memory and the processor.
  • the artificial neural network memory controller that can be implemented in the artificial neural network memory system 400 is an artificial neural network memory controller 411 configured in an independent form, an artificial neural network memory controller 412 included in the system bus, and an interface of the processor.
  • the artificial neural network memory controller according to embodiments of the present disclosure is not limited thereto.
  • the artificial neural network data locality patterns generated by the first artificial neural network memory controller 411 and the second artificial neural network memory controller 412 may be the same or different from each other.
  • the first artificial neural network memory controller 411 may be configured to connect the first processor 1 and the first internal memory 1 through a system bus.
  • a corresponding first artificial neural network data locality may exist in a data movement path between the first processor 1 and the first internal memory 1 .
  • the third artificial neural network memory controller 413 is shown in the corresponding path, this is only for illustration, and the third artificial neural network memory controller 413 may be deleted. That is, when at least one artificial neural network memory controller is disposed between the processor and the memory, the artificial neural network data locality pattern of the artificial neural network model processed by the processor may be generated.
  • the second artificial neural network memory controller 412 may be configured to connect the second processor 2 and the first external memory 1 external MEM 1 .
  • a corresponding second artificial neural network data locality may exist in a data movement path between the second processor 2 and the first external memory 1 .
  • the first artificial neural network model processed by the first processor 1 may be an object recognition model
  • the second artificial neural network model processed by the second processor 2 may be a voice recognition model. Accordingly, each artificial neural network model may be different from each other, and corresponding artificial neural network data locality patterns may also be different from each other.
  • the artificial neural network data locality pattern generated by each of the neural network memory controllers 411, 412, 413, 414, 415, 416, and 417 may be determined according to the pattern characteristic of the data access request generated by the corresponding processor.
  • the artificial neural network memory control unit of the artificial neural network memory system 400 is disposed between an arbitrary processor and an arbitrary memory, there is an effect that can provide the adaptability to generate the artificial neural network data locality pattern of the corresponding location.
  • the neural network data locality pattern of the corresponding artificial neural network model can be divided and assigned to each processor.
  • the convolution operation of the first layer may be processed by the first processor and the convolution operation of the second layer may be processed by the second processor to distribute the computation of the artificial neural network model.
  • the locality of the artificial neural network data of the artificial neural network model processed by each processor can be reconfigured in units of data access requests.
  • each artificial neural network memory control unit has the effect of providing adaptability that can be configured to respectively generate artificial neural network data locality patterns corresponding to the data access request of the processor processed by each artificial neural network memory controller.
  • the performance of the artificial neural network memory system 400 is performed by artificial neural network data locality patterns generated according to each situation. This has the effect that it can be optimized. That is, since each artificial neural network memory controller can analyze locality of artificial neural network data at each location, there is an effect that can be optimized for artificial neural network calculations that are variably processed in real time.
  • At least one of the artificial neural network memory controllers 411, 412, 413, 414, 415, 416, 417 may include at least one of the number of memories, the type of memory, the effective bandwidth of the memory, the delay time of the memory, and the size of the memory. may be configured to verify information of
  • At least one of the neural network memory controllers 411 , 412 , 413 , 414 , 415 , 416 , and 417 may be configured to measure an effective bandwidth of a memory in response to a memory access request.
  • each artificial neural network memory controller may measure an effective bandwidth of a channel communicating with each memory. The effective bandwidth may be calculated by the artificial neural network memory controller generating a memory access request, measuring the time at which the memory access request is completed, and the data transmission bit rate.
  • At least one of the artificial neural network memory controllers 411, 412, 413, 414, 415, 416, and 417 may be configured to receive information on a required bandwidth of at least one memory in response to a memory access request.
  • the artificial neural network memory system 400 may include a plurality of memories, and at least one artificial neural network memory control unit may be configured to measure an effective bandwidth of the plurality of memories, respectively.
  • the artificial neural network memory system 400 may include a plurality of memories, and at least one artificial neural network memory controller may be configured to measure delay times of the plurality of memories, respectively.
  • the at least one artificial neural network memory controller may be configured to auto-calibrate each memory connected thereto. Auto-calibration can be configured to run when the neural network memory system starts up or at specific intervals.
  • the at least one artificial neural network memory control unit may be configured to collect information such as the number of memories connected thereto, the type of memory, the effective bandwidth of the memory, the delayed renewal of the memory, the size of the memory, and the like through auto-calibration.
  • the artificial neural network memory system 400 can know the delay time and effective bandwidth of the memory corresponding to the artificial neural network memory controller.
  • the at least one artificial neural network memory control unit of the artificial neural network memory system 400 calculates the time and data size required for one repetition of the artificial neural network data locality pattern to obtain the effective bandwidth required for the artificial neural network operation. can be configured to calculate. Specifically, when all data access requests included in the artificial neural network data locality pattern are processed, the processor may determine that the inference of the artificial neural network model has been completed. The artificial neural network memory system 400 may be configured to calculate the number of inferences per second (IPS) by measuring the time taken for one inference based on the artificial neural network data locality pattern. In addition, the artificial neural network memory system 400 may receive information on the number of inferences per second in Mokpo from the processor.
  • IPS inferences per second
  • a specific application may require the inference speed of a specific artificial neural network model to be 30 IPS. If the measured IPS is lower than the target IPS, the artificial neural network memory control unit 400 may be configured to operate to improve the artificial neural network model processing speed of the processor.
  • the neural network memory system 400 may be configured to include an artificial neural network memory controller, a processor, and a system bus configured to control communication of the memory.
  • at least one artificial neural network memory control unit may be configured to have a master authority of the system bus.
  • the artificial neural network memory system 400 may not be a dedicated device for artificial neural network computation.
  • various peripheral devices such as Wi-Fi, a display, a camera, and a microphone may be connected to the system bus of the artificial neural network memory system 400 .
  • the artificial neural network memory system 400 may be configured to control the bandwidth of the system bus for stable artificial neural network operation.
  • the at least one artificial neural network memory control unit may be configured to operate to preferentially process an artificial neural network operation during a processing time of a memory access request, and to process operations other than the artificial neural network operation during other times.
  • the at least one artificial neural network memory controller may be configured to secure an effective bandwidth of the system bus until the at least one memory completes the memory access request.
  • the at least one artificial neural network memory control unit is disposed inside the system bus, and the system bus may be configured to dynamically vary the bandwidth of the system bus based on the artificial neural network data locality pattern generated in the system bus. .
  • the at least one neural network memory controller is disposed in the system bus, and the at least one neural network memory controller controls the system bus until the at least one memory completes a response to the memory access request. It can be configured to increase relatively higher than when there are no memory access requests.
  • the at least one artificial neural network memory control unit may be configured to set the priority of a data access request of a processor that processes an artificial neural network operation among a plurality of processors higher than a processor that processes an operation other than the artificial neural network operation.
  • the artificial neural network memory controller may be configured to directly control the memory.
  • an artificial neural network memory controller may be included in the memory, and the neural network memory controller may be configured to generate at least one access que.
  • the artificial neural network memory control unit may be configured to separately generate an access sequence dedicated to artificial neural network computation.
  • At least one of the plurality of memories may be a DRAM.
  • the at least one artificial neural network memory control unit may be configured to readjust the access order of the memory access request.
  • Such access reordering may be an access queue re-order.
  • the artificial neural network memory controller may be configured to include an access order of a plurality of memory access requests.
  • the first access order may be an access order dedicated to artificial neural network operation
  • the second access order may be an access order other than artificial neural network operation.
  • the artificial neural network memory control unit may be configured to provide data by selecting each access order according to a priority setting.
  • the at least one neural network memory controller is configured to calculate a specific bandwidth required for the system bus to process a specific memory access request based on the neural network data locality pattern, and the at least one neural network memory controller includes: It may be configured to control the effective bandwidth of the system bus based on a specific bandwidth.
  • the neural network memory system 400 may be configured to lower the priority of memory access requests of various peripheral devices or to improve the priority of prior data access requests based on the neural network data locality pattern. there is.
  • the artificial neural network memory controller readjusts the processing order of the data access request of the system bus to maximize the bandwidth of the system bus while the artificial neural network operation is being processed, and when there is no artificial neural network operation, other peripheral devices Bandwidth can be yielded for processing of data.
  • the artificial neural network memory controller may readjust the priority of the data access request based on the artificial neural network data locality pattern.
  • the priority can be re-adjusted based on the identification information included in the data access request. That is, the effective bandwidth of the system bus can be dynamically changed from the viewpoint of artificial neural network operation, so that the effective bandwidth can be improved. Accordingly, there is an effect that the operating efficiency of the system bus can be improved. Therefore, there is an effect that the effective bandwidth of the system bus can be improved from the point of view of the artificial neural network memory controller.
  • the at least one artificial neural network memory controller may be configured to machine-learning a data access request. That is, the at least one artificial neural network memory controller may further include an artificial neural network model configured to machine-learning artificial neural network data locality patterns. That is, since the artificial neural network data locality pattern is machine learned, it can be configured to learn and predict specific patterns interrupted by other data access requests in the middle of data access request processing according to the actual artificial neural network data locality.
  • the artificial neural network model built into the artificial neural network memory controller can be machine-learned to increase the control authority of the system bus relatively higher when a prior data access request is generated than when the prior data access requests are not generated.
  • the at least one artificial neural network memory control unit further comprises a plurality of layered cache memories, and the at least one artificial neural network memory control unit performs machine learning to request inter-layer data access of the plurality of layered cache memories.
  • the at least one artificial neural network memory control unit performs machine learning to request inter-layer data access of the plurality of layered cache memories.
  • the at least one artificial neural network memory controller may be configured to further receive at least one of effective bandwidth, power consumption, and delay time information of each layer of a plurality of layered cache memories.
  • the artificial neural network memory control unit may be configured to generate an artificial neural network data locality pattern through machine learning, and the machine-learned artificial neural network data locality pattern is a specific pattern of various data access requests independent of the artificial neural network operation.
  • the efficiency of artificial neural network computation can be improved by predicting the characteristics of various artificial neural network models and other operations processed by the processor by reinforcement learning.
  • the at least one artificial neural network memory controller may be configured to divide and store data stored in the plurality of memories based on the effective bandwidth and delay time of each of the plurality of memories.
  • the data is composed of a bit group of L bits, the plurality of memories further comprising a first memory and a second memory, wherein the first memory includes the L bits based on a first effective bandwidth or a first delay time. is configured to divide and store M-bit data among the bit group of The sum of M bits and N bits may be configured to be less than or equal to L bits.
  • the plurality of memories further include a third memory, wherein the third memory is configured to store data of O bits of the bit group of L bits based on the third effective bandwidth or the third delay time, M bits, N bits The sum of bits and O bits may be configured to be equal to L bits.
  • the data is composed of P data bundles
  • the plurality of memories includes a first memory and a second memory
  • the first memory is one of the P data bundles based on the first effective bandwidth or the first delay time.
  • the second memory is configured to store S data bundles among the P data bundles based on a second effective bandwidth or a second delay time, wherein the R and S sums are equal to the P It may be configured to be the same or smaller.
  • the plurality of memories further include a third memory, wherein the third memory is configured to store T data bundles among the P data bundles based on the third effective bandwidth or the third delay time, R, S and The sum of T may be configured to be equal to P.
  • the artificial neural network memory controller when the bandwidth of one memory is low, can store or read data by distributing data in a plurality of memories, thereby improving the effective bandwidth of the memory.
  • the artificial neural network memory controller may be configured to store or read an 8-bit quantized weight value divided by 4 bits in a first memory and 4 bits in a second memory. Therefore, there is an effect that the effective bandwidth of the memory can be improved from the point of view of the artificial neural network memory controller.
  • the artificial neural network memory control unit may be configured to further include a cache memory configured to merge and store data divided and stored in a plurality of memories. That is, the at least one artificial neural network memory controller may further include a cache memory, and the at least one artificial neural network memory controller may be configured to merge data stored in a plurality of memories and store the merged data in the cache memory. Accordingly, the processor may be provided with the merged data.
  • the at least one artificial neural network memory control unit may be configured to store division information of the divided and stored data in a plurality of memories.
  • an artificial neural network memory system sequentially records at least one processor configured to generate a data access request corresponding to an artificial neural network operation and a data access request, and an artificial neural network data locality pattern of the artificial neural network operation at least one artificial neural network memory control unit configured to generate a prior data access request that predicts the next data access request of the data access request generated by the at least one processor based on the neural network data locality pattern
  • the artificial neural network data locality may be the artificial neural network data locality reconstructed at the processor-memory level.
  • an artificial neural network memory system is configured to store at least one processor configured to process an artificial neural network model and artificial neural network data locality information of the artificial neural network model, and based on the artificial neural network data locality information, at least one It may be configured to include at least one artificial neural network memory control unit configured to generate a prior data access request by predicting the data to be requested by the processor.
  • the artificial neural network memory system may be configured to further include at least one memory and an artificial neural network memory controller, at least one processor, and a system bus configured to control communication of the at least one memory.
  • the neural network memory system includes a processor, a memory, and a cache memory, and is configured to generate a prior data access request including data to be requested by the processor based on the neural network data locality information, and respond to the prior data access request from the memory. data to be stored in the cache memory before the processor requests it.
  • an artificial neural network memory system is configured to predict and operate artificial neural network data locality information by observing data access requests generated by a first mode or processor configured to operate by receiving artificial neural network data locality information It may be configured to operate in one of the second modes.
  • the at least one artificial neural network memory controller may be configured to sequentially further generate a prior data access request based on the neural network data locality pattern.
  • the at least one artificial neural network memory controller may be configured to generate a prior data access request before generating a next data access request.
  • the at least one processor may be configured to transmit a data access request to the at least one artificial neural network memory controller.
  • the at least one artificial neural network memory controller may be configured to output a prior data access request in response to the data access request.
  • the data access request may be configured to further include a memory address.
  • the data access request may be configured to further include a start address and an end address of the memory.
  • the at least one artificial neural network memory controller may be configured to generate a memory access request based on one of a data access request generated by the at least one processor and a prior data access request generated by the artificial neural network memory controller.
  • the data access request may be configured to further include a start address of memory and a continuous data read trigger (trigger).
  • the data access request may be configured to further include information on the number of consecutive data and a start address of the memory.
  • the data access request and dictionary data access may be configured to further include a matching data access request token at the same memory address.
  • the data access request may be configured to further include identification information capable of identifying whether a memory read or write command is issued.
  • the data access request may be configured to further include identification information capable of identifying whether or not an overwrite command is performed.
  • the data access request may be configured to further include identification information capable of identifying whether inference data, weight data, and feature map data are present.
  • the data access request may be configured to further include identification information that can identify whether the learning data and the evaluation data.
  • the data access request may be configured to further include identification information capable of identifying whether the artificial neural network operation is an operation for learning or an operation for inference.
  • the at least one artificial neural network memory control unit may be configured to determine whether the prior data access request and the next data access request are identical to each other.
  • the at least one artificial neural network memory controller may be configured to maintain the neural network data locality pattern when the previous data access request and the next data access request are the same.
  • the at least one artificial neural network memory controller may be configured to update the neural network data locality pattern when the prior data access request and the next data access request are different.
  • the artificial neural network data locality pattern may be configured to further include data that sequentially records addresses of memory of data access requests.
  • the at least one artificial neural network memory controller may be configured to generate an artificial neural network data locality pattern by detecting a repeating pattern of a memory address included in the data access request.
  • the artificial neural network data locality pattern may be composed of memory addresses having a repeating loop characteristic.
  • the artificial neural network data locality pattern may be configured to further include identification information capable of identifying the start and end of the computation of the artificial neural network model.
  • At least one processor may be configured to receive data corresponding to the data access request from the artificial neural network memory controller.
  • the at least one artificial neural network memory control unit may be configured to further include an artificial neural network model configured to machine-learning artificial neural network data locality patterns.
  • the at least one artificial neural network memory control unit may be configured to store an updated pattern and a previous pattern of the artificial neural network data locality pattern to determine whether to change the artificial neural network model.
  • the at least one artificial neural network memory controller may be configured to determine whether the data access requests are requests of one artificial neural network model or a mixture of requests of a plurality of artificial neural network models.
  • the at least one artificial neural network memory controller may be configured to further generate artificial neural network data locality patterns corresponding to the number of artificial neural network models when the number of artificial neural network models is plural.
  • the at least one artificial neural network memory controller may be configured to respectively generate corresponding prior data access requests based on neural network data locality patterns.
  • the at least one artificial neural network memory controller may be configured to further generate a memory access request corresponding to the data access request.
  • the at least one artificial neural network memory controller may be configured to further generate a memory access request corresponding to the prior data access request.
  • Each of the data access request, the dictionary data access request, and the memory access request may be configured to include a corresponding memory address value and operation mode, respectively.
  • the at least one artificial neural network memory controller may be configured to further generate a memory access request configured to include at least a portion of information included in the data access request and the prior data access request.
  • It may further include at least one memory configured to communicate with the at least one artificial neural network memory controller, and the at least one memory may be configured to operate in response to a memory access request output from the at least one artificial neural network memory controller.
  • the at least one memory may be configured to store at least one of inference data, weight data, and feature map data.
  • the at least one artificial neural network memory control unit may be configured to further include a cache memory configured to store data transmitted by the at least one memory in response to a memory access request.
  • the at least one artificial neural network memory controller determines whether the prior data access request and the next data access request are the same request, and if they are the same, the at least one artificial neural network memory controller is configured to provide the data stored in the cache memory to at least one processor, and if not identical, the at least one artificial neural network memory control unit may be configured to generate a new memory access request based on the next data access request.
  • the at least one artificial neural network memory control unit may be configured to sequentially generate at least one or more memory access requests based on the remaining capacity of the cache memory to minimize the remaining capacity of the cache memory.
  • the at least one artificial neural network memory controller may be configured to measure an effective bandwidth of at least one memory in response to a memory access request.
  • the at least one artificial neural network memory controller may be configured to receive information on a required bandwidth of at least one memory in response to a memory access request.
  • the at least one artificial neural network memory control unit may be configured to measure the number of inferences per second (IPS) of the artificial neural network operation by calculating the number of repetitions for a specific time of the artificial neural network data locality pattern.
  • IPS inferences per second
  • the at least one artificial neural network memory controller may be configured to calculate an effective bandwidth required for an artificial neural network operation by calculating a time and data size required for one repetition of the neural network data locality pattern.
  • the at least one memory further includes a DRAM having a refresh function capable of updating a voltage of a cell of the memory, and the at least one artificial neural network memory control unit responds to a memory access request corresponding to a prior data access request. It may be configured to selectively control the refresh of the memory address region of the at least one memory.
  • the at least one memory further includes a pre-charge function capable of charging the global bit line of the memory to a specific voltage
  • the at least one artificial neural network memory control unit includes at least one memory access request corresponding to the prior data access request. It may be configured to selectively provide precharge to a memory address region of the memory.
  • the at least one memory may further include a plurality of memories, and the at least one artificial neural network memory controller may be configured to measure an effective bandwidth of the plurality of memories, respectively.
  • the at least one memory may further include a plurality of memories, and the at least one artificial neural network memory controller may be configured to measure latencies of the plurality of memories, respectively.
  • the at least one memory further includes a plurality of memories, and the at least one artificial neural network memory control unit may be configured to divide and store data stored in the plurality of memories based on the effective bandwidth and delay time of each of the plurality of memories. .
  • the data is composed of a bit group of L bits
  • the plurality of memories further include a first memory and a second memory, wherein the first memory includes M among the bit group of L bits based on the first effective bandwidth or the first delay time.
  • the second memory is configured to divide and store data of bits
  • the second memory is configured to divide and store N bits of data among the L bits bit group based on the second effective bandwidth or the second delay time, and the M bits and the N bits
  • the sum of can be configured to be less than or equal to L bits.
  • the plurality of memories further includes a third memory, wherein the third memory is configured to store data of O bits of the bit group of L bits based on the third effective bandwidth or the third delay time, the M bits, N bits and The sum of O bits may be configured to be equal to L bits.
  • the at least one artificial neural network memory controller may be configured to further include a cache memory configured to merge and store data divided and stored in a plurality of memories.
  • the data is composed of P data bundles
  • the plurality of memories further include a first memory and a second memory
  • the first memory includes R data of the P data bundles based on the first effective bandwidth or the first delay time.
  • the second memory is configured to store S data bundles among the P data bundles based on a second effective bandwidth or a second delay time, wherein R and the S sum are equal to the P or may be configured to be small.
  • the plurality of memories further includes a third memory, wherein the third memory is configured to store T data bundles of the P data bundles based on a third effective bandwidth or a third delay time, R, the S and The sum of the T numbers may be configured to be equal to the P numbers.
  • the at least one memory further includes a plurality of memories, the at least one artificial neural network memory controller further includes a cache memory, and the at least one artificial neural network memory controller merges data stored in the plurality of memories distributed to the cache memory. It can be configured to store in .
  • the at least one memory may further include a plurality of memories, and the at least one artificial neural network memory controller may be configured to store division information of data divided and stored in the plurality of memories.
  • the at least one artificial neural network memory controller may be configured to store a portion of data as much as a latency in the cache memory based on a prior data access request and a latency value of the at least one memory.
  • the at least one artificial neural network memory control unit may be configured to store a portion of the data in a cache memory based on a prior data access request and a data bandwidth requirement of the at least one memory.
  • the at least one artificial neural network memory control unit When the at least one processor generates a next data access request, the at least one artificial neural network memory control unit provides the data stored in the cache memory first, and controls the rest of the data from the at least one memory in a read-burst mode, It may be configured to reduce latency of the memory.
  • It may be configured to further include a system bus configured to control communication of an artificial neural network memory controller, the at least one processor, and the at least one memory.
  • At least one artificial neural network memory control unit may be configured to have a master authority of the system bus.
  • the at least one artificial neural network memory control unit further includes an artificial neural network model, wherein, when a prior data access request is generated, the control right of the system bus is increased relatively higher than when prior data access requests are not generated. It can be machine learned to make
  • the at least one artificial neural network memory control unit may be configured to secure an effective bandwidth of the system bus until the at least one memory completes the memory access request.
  • the at least one artificial neural network memory control unit calculates a specific bandwidth required for the system bus to process a specific memory access request based on the artificial neural network data locality pattern, and the at least one artificial neural network memory control unit calculates a specific bandwidth required for the system bus based on the specific bandwidth. may be configured to control the effective bandwidth of
  • the at least one artificial neural network memory controller may be disposed inside the system bus, and the system bus may be configured to dynamically vary the bandwidth of the system bus based on the artificial neural network data locality pattern generated in the system bus.
  • the at least one artificial neural network memory control unit may be configured to operate to preferentially process an artificial neural network operation during a processing time of a memory access request, and to process an operation other than an artificial neural network operation for other times.
  • the at least one artificial neural network memory controller and the at least one processor may be configured to communicate directly.
  • the artificial neural network memory control unit further includes a first access order that is an access order dedicated to artificial neural network operation and a second access order that is an access order other than artificial neural network operation, and the artificial neural network memory control unit selects each access order according to a priority setting to provide data.
  • the at least one artificial neural network memory control unit further includes a plurality of layered cache memories, and the at least one artificial neural network memory control unit further includes an artificial neural network model configured to machine learning a data access request between layers of a plurality of layered cache memories. can be configured to
  • the at least one artificial neural network memory controller may be configured to further receive at least one of effective bandwidth, power consumption, and latency information of each layer of a plurality of layered cache memories.
  • At least one processor configured to generate a data access request corresponding to the artificial neural network operation and configured to store the neural network data locality pattern of the artificial neural network operation generated by the compiler, wherein the at least one processor is configured to: at least one neural network memory controller configured to generate a prior data access request that predicts the next data access request of the generated data access request, and at least one memory configured to communicate with the at least one neural network memory controller, at least one The memory of may be configured to operate in response to a memory access request output from at least one artificial neural network memory controller.
  • the at least one neural network memory system may be configured to further include at least one memory and a system bus configured to control communication of the neural network memory controller, the at least one processor, and the at least one memory.
  • the at least one artificial neural network memory control unit is disposed in the system bus, and the at least one artificial neural network memory control unit grants control authority of the system bus until the at least one memory completes a response to the memory access request. It can be configured to increase relatively higher than in the absence of it.
  • At least a portion of the at least one artificial neural network memory controller may be configured to be included in the DRAM.
  • At least a portion of the at least one artificial neural network memory controller may be configured to be included in the at least one processor.
  • the DRAM may further include or at least one memory is DRAM, and the at least one artificial neural network memory controller may be configured to readjust an access que of a memory access request. That is, it may be configured to control a reorder cue of the memory controller of the DRAM.
  • the artificial neural network memory controller may be configured to further include priority information that the memory controller of the memory can interpret in the request for accessing the artificial neural network operation-related memory provided to the memory controller of the memory.
  • the memory controller of the memory is configured to store the memory inside the memory controller based on the priority information included in the memory access request generated by the artificial neural network memory controller regardless of whether the memory access request is related to the artificial neural network operation. It may be configured to re-order the access order. Therefore, the access order of memory access requests for artificial neural network operation processing can be processed before the access order of other types of memory access requests. Accordingly, the artificial neural network memory controller has an effect of increasing the effective bandwidth of the corresponding memory.
  • It may be configured to readjust the memory access request processing order determined by the memory controller of the DRAM according to the priority information provided by the artificial neural network memory controller.
  • the memory controller of the DRAM may change the processing order of the memory access request to the first priority.
  • the artificial neural network memory control unit may be configured to generate at least one access order.
  • the at least one memory may include an artificial neural network memory controller, and the artificial neural network memory controller may be configured to separately generate an access sequence dedicated to artificial neural network computation.
  • the at least one artificial neural network memory control unit may be configured to readjust the access order of the memory access request.
  • the at least one memory may further include a read-burst function, and the at least one artificial neural network memory controller may be configured to set a storage area of the at least one memory in consideration of the read-burst function.
  • the at least one memory may further include a read-burst function, and the at least one artificial neural network memory controller may be configured to process a write operation in the storage area of the at least one memory in consideration of the read-burst function.
  • the at least one processor further includes a plurality of processors, and the at least one artificial neural network memory control unit is configured to prioritize a data access request of a processor that processes an artificial neural network operation among the plurality of processors.
  • a processor that processes operations other than the artificial neural network operation It can be configured to set higher than that.
  • Artificial neural network memory controller 120, 220, 320, 411, 412, 413, 414, 415, 416, 417

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Memory System (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Image Analysis (AREA)

Abstract

본 개시의 일 실시예에 따른 인공신경망 메모리 시스템이 제공된다. 상기 시스템은 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된, 적어도 하나의 프로세서, 및 데이터 접근 요청을 순차적으로 기록하여 인공신경망 연산의 인공신경망 데이터 지역성 패턴을 생성하도록 구성되고, 인공신경망 데이터 지역성 패턴에 기초하여 적어도 하나의 프로세서가 생성한 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된, 적어도 하나의 인공신경망 메모리 제어부를 포함하도록 구성될 수 있다.

Description

인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템
본 개시는 인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템에 관한 것으로, 보다 상세하게는, 데이터 접근 요청 단위로 처리되는 인공신경망모델의 인공신경망 데이터 지역성(Locality)을 기초로 메모리가 프로세서가 필요한 데이터를 효과적으로 공급함으로써 인공신경망 연산 속도를 향상시킬 수 있는 인공 신경망 메모리 시스템에 관한 것이다.
인공지능 추론 능력이 발전됨에 따라, 인공지능 스피커, 스마트 폰, 스마트 냉장고, VR 장치, AR 장치, 인공지능 CCTV, 인공지능 로봇 청소기, 태블릿, 노트북 컴퓨터, 자율 주행 자동차, 2족 보행 로봇, 4족 보행 로봇, 산업용 로봇 등, 다양한 전자 장치들에 인공지능을 활용한 음향 인식, 음성 인식, 영상 인식, 객체 감지, 운전자 졸음 감지, 위험 순간 감지, 및 제스처 감지 등의 다양한 추론 서비스가 탑재되고 있다.
최근 딥러닝 기술이 발달함에 따라 빅 데이터 기반의 학습을 통한 인공 신경망 추론 서비스의 성능이 발전하고 있다. 이러한 인공 신경망의 학습 및 추론 서비스는 인공 신경망에 방대한 양의 학습 데이터를 반복 학습 시키고, 학습된 인공신경망모델을 통해서 다양하고 복잡한 데이터들을 추론한다. 따라서, 인공 신경망 기술을 활용하여 다양한 서비스가 상술한 전자 장치들에게 제공되고 있다.
하지만, 인공 신경망을 활용하는 추론 서비스에게 요구되는 기능 및 정확도가 점점 증가하고 있다. 이에 따라, 인공신경망모델의 크기, 연산량, 및 학습 데이터의 크기가 기하급수적으로 증가되고 있다. 이러한 인공신경망모델의 추론 연산을 감당할 수 있는 프로세서와 메모리의 요구 성능이 점차 높아지고 있으며, 빅 데이터를 용이하게 처리할 수 있는 클라우드 컴퓨팅(cloud computing) 기반의 서버에서 인공 신경망 추론 서비스가 활발하게 제공되고 있다.
한편으론, 인공신경망모델 기술을 활용하는 엣지 컴퓨팅(edge computing)이 활발하게 연구되고 있다. 엣지 컴퓨팅은 컴퓨팅이 일어나는 가장자리, 주변부란 의미이다. 엣지 컴퓨팅은 데이터를 직접 생산하는 단말기나 단말기와 근접한 위치에 있는 다양한 전자 장치들을 의미한다. 엣지 컴퓨팅은 엣지 디바이스(edge device)로 지칭될 수 있다. 엣지 디바이스는 자율 주행 드론, 자율 주행 로봇이나, 자율 주행 자동차처럼 방대한 양의 데이터를 1/100초 이내로 처리해야하는 것처럼, 즉각적이고 안정적으로 필요한 임무를 수행할 때 활용될 수도 있다. 따라서, 엣지 디바이스가 적용될 수 있는 분야가 급격하게 증가하고 있다.
본 개시의 발명자는, 종래의 인공신경망모델의 연산은 높은 소비 전력, 발열, 상대적으로 낮은 메모리 대역폭에 의한 프로세서 연산의 병목 현상, 메모리의 지연시간(latency) 등의 문제들을 가진다는 사실을 인식하였다. 따라서 인공신경망모델의 연산 처리 성능을 향상시키는데 다양한 어려움들이 존재한다는 사실을 인식하였고, 이러한 문제들을 개선할 수 있는 인공신경망 메모리 시스템의 개발이 필요하다고 인식하였다.
이에, 본 개시의 발명자는 서버 시스템 및/또는 엣지 컴퓨팅에 적용될 수 있는 인공신경망 메모리 시스템에 대하여 연구하였다. 더 나아가서, 본 개시의 발명자는 인공신경망모델 처리에 최적화된 인공신경망 메모리 시스템의 프로세서인, 신경망 프로세싱 유닛(neural processing unit; NPU)에 대해서도 연구하였다.
첫째, 본 개시의 발명자는 인공신경망모델의 연산 시 메모리를 효과적으로 제어하는 것이 인공신경망 연산 처리 속도 향상의 핵심이라고 인식하였다. 본 개시의 발명자는 인공신경망모델을 학습 시키거나 또는 추론 할 때 메모리 제어를 적절히 하지 못할 경우, 필요한 데이터를 사전에 준비하지 못하여 메모리 실효 대역폭 감소 및/또는 메모리의 데이터 공지 지연이 빈번히 발생할 수 있다는 사실을 인식하였다. 또한 본 개시의 발명자는 이러한 경우 프로세서가 처리할 데이터를 공급받지 못하는 기아(starvation) 또는 대기(idle) 상태가 되어 실제 연산을 할 수 없게 되어 연산 성능이 저하된다는 사실을 인식하였다.
둘째, 본 개시의 발명자는 종래의 알고리즘 레벨에서의 인공신경망모델의 연산 처리 방식의 한계를 인식하였다. 예를 들면, 종래의 프리패치(prefetch) 알고리즘은 인공신경망모델을 개념적인 레이어 단위로 해석하여 각 레이어 단위로 메모리로부터 데이터를 프로세서가 읽어오는 기술이다. 그러나 프리패치 알고리즘은 프로세서-메모리 레벨, 즉, 하드웨어 레벨에 존재하는 인공신경망모델의 워드 단위 또는 메모리 접근 요청 단위로 인공신경망 데이터 지역성을 인식할 수 없다. 본 개시의 발명자는 프리패치 기법 만으로는 프로세서-메모리 레벨에서 데이터 송수신 동작을 최적화 할 수 없다는 사실을 인식하였다.
셋째, 본 개시의 발명자는 인공신경망모델이 가지는 고유한 특성인 “인공신경망 데이터 지역성”에 대하여 인식하였다. 본 개시의 발명자는 프로세서-메모리 레벨에서 워드 단위 또는 메모리 접근 요청 단위로 인공신경망 데이터 지역성이 존재하며 이를 활용하여 실효 메모리 대역폭을 극대화하고, 프로세서에 대한 데이터 공급 지연을 최소화하여 프로세서의 인공신경망 학습/추론 연산 처리 성능을 향상할 수 있다는 사실을 인식하였다.
구체적으로, 본 개시의 발명자가 인식한 인공신경망모델의 “인공신경망 데이터 지역성”이란 프로세서가 특정 인공신경망모델을 처리할 때 해당 인공신경망모델의 구조 및 연산 알고리즘을 따라 수행되는 프로세서가 해당 인공신경망을 연산 처리하는데 필요한 데이터의 워드(word) 단위의 순서 정보를 의미할 수 있다. 더 나아가서, 본 개시의 발명자는 이러한 인공신경망모델의 연산 처리 순서는 프로세서에게 주어지는 인공신경망모델에 대한 반복적인 학습 및/또는 추론의 연산에 대해서 인공신경망 데이터 지역성이 유지되는 특성이 있다는 사실을 인식하였다. 따라서 본 개시의 발명자는 인공신경망 데이터 지역성이 유지될 경우, 프로세서가 처리하는 인공신경망 연산에 필요한 데이터의 처리 순서가 워드 단위로 유지된다는 사실을 인식하였으며, 이러한 정보를 제공받거나 또는 분석하여 인공신경망 연산에 활용할 수 있다는 사실을 인식하였다. 부연 설명하면, 프로세서의 워드 단위는 프로세서가 처리할 수 있는 기본 단위인 엘리먼트 단위를 의미할 수 있다. 예를 들면, 신경망 프로세싱 유닛이 N비트의 입력 데이터와 M비트의 커널 가중치를 곱셈을 처리할 경우 프로세서의 입력 데이터 워드 단위는 N비트이고 가중치 데이터의 워드 단위는 M비트일 수 있다. 또한, 본 개시의 발명자는 프로세서의 워드 단위가 인공신경망모델의 레이어, 특징맵, 커널, 활성화 함수 등에 따라 각각 다르게 설정될 수 있다는 사실도 인식하였다. 따라서 본 개시의 발명자는 각각의 워드 단위의 연산을 위해서는 정교한 메모리 제어 기술이 필요하다는 사실도 인식하였다.
본 개시의 발명자는 컴파일러에 의해서 인공신경망모델이 특정 프로세서에서 실행되도록 컴파일 될 때 인공신경망 데이터 지역성이 구성된다는 사실에 주목하였다. 그리고 컴파일러, 인공신경망모델에 적용된 알고리즘들, 및 프로세서의 동작 특성에 따라서 인공신경망 데이터 지역성이 구성될 수 있다는 사실을 인식하였다. 부연 설명하면, 본 개시의 발명자는 동일한 인공신경망모델의 경우에도 프로세서가 해당 인공신경망모델을 연산하는 방식, 예를 들면, 특징맵 타일링, 프로세싱 엘리먼트의 스테이셔너리(Stationary) 기법 등, 프로세서의 프로세싱 엘리먼트 개수, 프로세서내 특징맵 및 가중치 등의 캐쉬 메모리 용량, 프로세서내의 메모리 계층 구조, 해당 인공신경망모델을 연산 처리하기 위한 프로세서의 연산 동작의 순서를 결정해 주는 컴파일러의 알고리즘 특성 등에 따라서 처리하고자 하는 인공신경망모델의 인공신경망 데이터 지역성이 다르게 구성될 수 있다는 사실을 인식하였다. 왜냐하면, 상술한 각 요인들에 의해서 동일한 인공신경망모델을 연산 처리하더라도 프로세서가 클럭 단위로 매 순간 필요한 데이터의 순서를 상이하게 결정할 수 있기 때문이다. 즉, 본 개시의 발명자는 개념적으로 보면 인공신경망모델의 연산에 필요한 데이터의 순서는 인공신경망의 레이어, 단위 합성곱 및/또는 행렬곱의 연산 순서라는 것을 인식하였다. 더 나아가서, 본 개시의 발명자는, 물리적인 연산 처리에 필요한 데이터의 순서는 워드 단위로 프로세서-메모리 레벨, 즉 하드웨어 레벨에서 해당 인공신경망모델의 인공신경망 데이터 지역성이 구성된다는 사실을 인식하였다. 또한 본 개시의 발명자는, 인공신경망 데이터 지역성은 프로세서와 해당 프로세서에 사용된 컴파일러에 의존적인 특성을 가진다는 사실을 인식하였다.
넷째, 본 개시의 발명자는 인공신경망 데이터 지역성 정보를 제공받아 활용하도록 구성된 인공신경망 메모리 시스템을 제공할 경우, 프로세서-메모리 레벨에서 인공신경망모델의 처리 성능을 극대화 할 수 있다는 사실을 인식하였다.
본 개시의 발명자는 인공신경망 메모리 시스템이 인공신경망모델의 인공신경망 데이터 지역성을 워드 단위까지 정교하게 파악할 수 있는 경우, 프로세서가 인공신경망모델을 처리하는 최소 단위인 워드 단위의 연산 처리 순서 정보까지도 알 수 있다는 사실을 인식하였다. 즉, 인공신경망 데이터 지역성을 활용할 수 있는 인공신경망 메모리 시스템을 제공할 경우, 인공신경망 메모리 시스템은 워드 단위로 정교하게 특정 데이터를 특정 타이밍에 메모리에서 읽어서 프로세서에게 제공할지 여부 또는 특정 데이터를 프로세서가 연산하여 특정 타이밍에 메모리에 저장할지 여부를 사전에 예측할 수 있다는 사실을 인식하였다. 이에 본 개시의 발명자는 인공신경망 메모리 시스템을 제공하여 워드 단위로 프로세서가 요청할 데이터를 사전에 준비할 수 있다는 사실을 인식하였다.
부연 설명하면, 본 개시의 발명자는 인공신경망 메모리 시스템이 인공신경망 데이터 지역성을 알면, 프로세서가 특징맵 타일링과 같은 기법을 사용하여 특정 입력 데이터와 특정 커널의 합성곱을 연산 할 때 커널이 특정 방향으로 이동하면서 처리 되는 합성곱의 연산 처리 순서도 워드 단위로 알 수 있다는 사실을 인식하였다.
즉, 인공신경망 메모리 시스템이 인공신경망 데이터 지역성을 활용하여 프로세서가 어떠한 데이터를 필요로 하는가를 사전에 예측함으로써, 프로세서가 요청할 메모리 읽기/쓰기 동작을 사전에 예측하고, 프로세서가 처리할 데이터를 사전에 준비하여 메모리 실효 대역폭 증가 및/또는 메모리의 데이터 공급 지연을 최소화 하거나 제거할 수 있다는 사실을 인식하였다. 또한 인공신경망 메모리 시스템이 프로세서가 처리할 데이터를 필요한 타이밍에 공급할 수 있다면 프로세서의 기아 또는 대기 상태를 최소화 할 수 있게 된다는 사실을 인식하였다. 따라서, 본 개시의 발명자는 인공신경망 메모리 시스템에 의해서 연산 처리 성능 향상과 전력 소모를 저감 효과가 제공될 수 있다는 사실을 인식하였다.
다섯째, 본 개시의 발명자는, 인공신경망 메모리 제어부가 인공신경망 데이터 지역성 정보를 제공받지 않더라도, 인공신경망 메모리 제어부를 인공신경망모델을 처리하고 있는 프로세서와 메모리의 사이의 통신 채널에 배치한 다음, 프로세서가 특정 인공신경망모델의 연산을 처리할 때 메모리에게 요청하는 데이터 접근 요청을 분석하여, 프로세서가 처리중인 인공신경망모델의 인공신경망 데이터 지역성을 프로세서-메모리간 데이터 접근 요청 단위로 유추할 수 있다는 사실을 인식하였다. 즉, 각각의 인공신경망모델에는 고유한 인공신경망 데이터 지역성이 존재하기 때문에, 프로세서-메모리 레벨에서 프로세서는 인공신경망 데이터 지역성에 따라서 특정한 순서로 데이터 접근 요청을 생성한다는 사실을 인식하였다. 또한 프로세서가 해당 인공신경망모델을 학습/추론 연산을 반복적으로 연산 처리하면서 인공신경망 데이터 지역성은 유지된다는 사실에 기초해 프로세서-메모리간 데이터 요청을 위한 메모리에 저장된 데이터의 액세스 순서도 유지됨을 인식하였다.
이에, 본 개시의 발명자는, 인공신경망 메모리 제어부를 인공신경망모델을 연산 처리하고 있는 프로세서와 메모리의 통신 채널에 배치하였다. 또한, 첫번째 또는 몇차례의 학습 및 추론 연산을 위한 프로세서-메모리간 데이터 접근 요청을 관찰함으로써 인공신경망 메모리 제어부가 데이터 접근 요청 단위로 인공신경망 데이터 지역성을 유추할 수 있다는 사실을 인식하였다. 따라서 본 개시의 발명자는, 인공신경망 데이터 지역성 정보가 제공되지 않더라도, 인공신경망 메모리 제어부에 의해서 인공신경망 데이터 지역성을 유추할 수 있다는 사실을 인식하였다.
이에, 본 개시의 발명자는, 데이터 접근 요청 단위로 재구성된 인공신경망 데이터 지역성에 기초하여 프로세서가 요청할 메모리 읽기/쓰기 동작을 사전에 예측하고, 프로세서가 처리할 데이터를 사전에 준비하여 메모리 실효 대역폭 증가 및/또는 메모리 데이터 공급 지연을 최소화 또는 실질적으로 제거할 수 있다는 사실을 인식하였다. 또한, 본 개시의 발명자는 인공신경망 메모리 시스템이 프로세서가 처리할 데이터를 필요한 타이밍에 공급할 수 있다면 프로세서의 기아 또는 대기 상태 발생률을 최소화 할 수 있게 된다는 사실을 인식하였다.
이에 본 개시가 해결하고자 하는 과제는 프로세서-메모리 레벨에서 동작하는 인공신경망모델의 인공신경망 데이터 지역성을 활용하여, 프로세서의 인공신경망 연산을 최적화할 수 있는 인공신경망 메모리 시스템을 제공하는 것이다.
이에 본 개시가 해결하고자 하는 과제는 프로세서가 생성하는 데이터 접근 요청을 감지하여 프로세서가 처리중인 인공신경망모델의 데이터 지역성 패턴을 생성하여, 프로세서가 요청할 데이터 접근 요청을 사전에 준비하여 메모리의 지연시간 문제를 개선할 수 있는 인공신경망 메모리 제어부를 포함하는 인공신경망 메모리 시스템을 제공하는 것이다. 단 본 개시는 이에 제한되지 않으며, 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따른 인공신경망 메모리 시스템이 제공된다. 상기 시스템은 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된, 적어도 하나의 프로세서, 및 데이터 접근 요청을 순차적으로 기록하여 인공신경망 연산의 인공신경망 데이터 지역성 패턴을 생성하도록 구성되고, 인공신경망 데이터 지역성 패턴에 기초하여 적어도 하나의 프로세서가 생성한 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된, 적어도 하나의 인공신경망 메모리 제어부를 포함하도록 구성될 수 있다.
본 개시의 실시예들에 따른 인공신경망 메모리 시스템은 인공신경망모델을 처리하도록 구성된 적어도 하나의 프로세서 및 인공신경망모델의 인공신경망 데이터 지역성 정보를 저장하도록 구성되고 인공신경망 데이터 지역성 정보에 기초하여 적어도 하나의 프로세서가 요청할 데이터를 예측하여 사전 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 인공신경망 메모리 제어부를 포함하도록 구성될 수 있다.
인공신경망 메모리 시스템은 적어도 하나의 메모리 및 인공신경망 메모리 제어부, 적어도 하나의 프로세서, 및 적어도 하나의 메모리의 통신을 제어하도록 구성된 시스템 버스를 더 포함하도록 구성될 수 있다.
본 개시의 실시예들에 따르면, 인공신경망 메모리 시스템은 프로세서, 메모리 및 캐쉬 메모리를 포함하고, 인공신경망 데이터 지역성 정보에 기초하여 프로세서가 요청할 데이터를 포함하는 사전 데이터 접근 요청을 생성하도록 구성되고, 그리고 메모리로부터 사전 데이터 접근 요청에 대응되는 데이터를 상기 프로세서가 요청하기 전에 상기 캐쉬 메모리에 저장하도록 구성될 수 있다.
본 개시의 실시예들에 따르면, 인공신경망 메모리 시스템은 인공신경망 데이터 지역성 정보를 제공 받아 동작하도록 구성된 제1 모드 또는 프로세서가 생성하는 데이터 접근 요청들을 관찰하여 인공신경망 데이터 지역성 정보를 예측하여 동작하도록 구성된 제2 모드 중 하나의 모드로 동작하도록 구성될 수 있다.
여기서 인공신경망 데이터 지역성은 프로세서-메모리 레벨에서 재구성된 인공신경망 데이터 지역성일 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 사전 데이터 접근 요청을 순차적으로 더 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 다음 데이터 접근 요청 생성 전에 사전 데이터 접근 요청을 생성하도록 구성될 수 있다.
적어도 하나의 프로세서는 적어도 하나의 인공신경망 메모리 제어부에 데이터 접근 요청을 전송하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청에 대응하여 사전 데이터 접근 요청을 출력하도록 구성될 수 있다.
데이터 접근 요청은 메모리 주소를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 메모리의 시작 주소 및/또는 끝 주소를 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 프로세서가 생성한 데이터 접근 요청 및 인공신경망 메모리 제어부가 생성한 사전 데이터 접근 요청 중 하나에 기초하여 메모리 접근 요청을 생성하도록 구성될 수 있다.
데이터 접근 요청은 메모리의 시작 주소와 연속되는 데이터 연속 읽기 (또는 Burst 읽기) 트리거를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 메모리의 시작 주소와 연속되는 데이터의 개수 정보를 더 포함하도록 구성될 수 있다.
데이터 접근 요청 및 사전 데이터 접근은 매칭되는 동일한 메모리 주소의 데이터 접근 요청 토큰을 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 메모리 읽기 또는 쓰기 명령 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 덮어쓰기 명령 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 추론 데이터, 가중치 데이터 및 특징맵 데이터 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성 될 수 있다.
데이터 접근 요청은 학습 데이터 및 평가 데이터 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 인공신경망 연산이 학습을 위한 연산인지 또는 추론을 위한 연산인지 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
적어도 하나의 프로세서가 다음 데이터 접근 요청을 생성할 경우, 적어도 하나의 인공신경망 메모리 제어부는, 사전 데이터 접근 요청과 다음 데이터 접근 요청이 서로 동일한 요청인지를 결정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청과 다음 데이터 접근 요청이 동일할 경우, 상기 인공신경망 데이터 지역성 패턴을 유지하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청과 다음 데이터 접근 요청이 상이할 경우 인공신경망 데이터 지역성 패턴을 갱신하도록 구성될 수 있다.
인공신경망 데이터 지역성 패턴은 데이터 접근 요청들의 메모리의 주소들을 순차적으로 기록한 데이터를 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청에 포함된 메모리 주소의 반복 패턴을 감지하여 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다.
인공신경망 데이터 지역성 패턴은 반복되는 루프 특성을 가지는 메모리 주소들로 구성될 수 있다.
인공신경망 데이터 지역성 패턴은 인공신경망모델의 연산의 시작과 끝을 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
적어도 하나의 프로세서는 데이터 접근 요청에 대응되는 데이터를 인공신경망 메모리 제어부로부터 제공받도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴을 기계학습을 하도록 구성된 인공신경망모델을 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴의 갱신 된 패턴과 이전의 패턴을 저장하여, 인공신경망모델의 변화 여부를 결정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청들이 하나의 인공신경망모델의 요청들인지 또는 복수의 인공신경망모델들의 요청들이 혼합된 것인지 여부를 결정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망모델의 개수가 복수일 경우, 인공신경망모델의 개수에 대응되는 인공신경망 데이터 지역성 패턴들을 더 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴들에 기초하여, 대응되는 사전 데이터 접근 요청들을 각각 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청에 대응되는 메모리 접근 요청을 더 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청을 더 생성하도록 구성될 수 있다.
데이터 접근 요청, 사전 데이터 접근 요청 및 메모리 접근 요청 각각은 대응되는 메모리 주소 값 및 동작 모드를 각각 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는, 데이터 접근 요청 및 사전 데이터 접근 요청에 포함된 정보 중 적어도 일부를 포함하도록 구성된 메모리 접근 요청을 더 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부와 통신하도록 구성된 적어도 하나의 메모리를 더 포함하고, 적어도 하나의 메모리는 적어도 하나의 인공신경망 메모리 제어부에서 출력되는 메모리 접근 요청에 대응하여 동작하도록 구성될 수 있다.
적어도 하나의 메모리는 추론 데이터, 가중치 데이터 및 특징맵 데이터 중 적어도 하나를 저장하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는, 메모리 접근 요청에 응답하여 적어도 하나의 메모리가 전송한 데이터를 저장하도록 구성된 캐쉬 메모리를 더 포함하도록 구성될 수 있다.
적어도 하나의 프로세서가 다음 데이터 접근 요청을 출력할 경우, 적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청과 다음 데이터 접근 요청이 서로 동일한 요청인지를 결정하고, 동일할 경우 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 프로세서에 캐쉬 메모리에 저장된 데이터를 제공하도록 구성되고, 동일하지 않은 경우, 적어도 하나의 인공신경망 메모리 제어부는 다음 데이터 접근 요청에 기초하여 신규 메모리 접근 요청을 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 캐쉬 메모리의 잔여 용량에 기초 하여 메모리 접근 요청을 적어도 하나 이상 순차적으로 생성하여 캐쉬 메모리의 상기 잔여 용량이 최소화되도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는, 메모리 접근 요청에 응답하는 적어도 하나의 메모리의 실효 대역폭을 측정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청에 응답하는 적어도 하나의 메모리의 필요 대역폭을 정보를 제공받도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴의 특정 시간 동안의 반복 횟수를 계산하여 상기 인공신경망 연산의 1초당 추론 횟수(IPS)를 측정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴의 1회 반복에 소요되는 시간 및 데이터 크기를 계산하여 인공신경망 연산이 요구하는 실효 대역폭을 계산하도록 구성될 수 있다.
적어도 하나의 메모리는, 메모리의 셀의 전압을 갱신할 수 있는 리프레쉬 기능을 포함하는 디램(DRAM)을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청에 대응되는 적어도 하나의 메모리의 메모리 주소 영역의 리프레쉬를 선택적으로 제어하도록 구성될 수 있다.
적어도 하나의 메모리는 메모리의 글로벌 비트라인을 특정 전압으로 충전시킬 수 있는 프리차지 기능을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청에 대응되는 적어도 하나의 메모리의 메모리 주소 영역에 프리차지를 선택적으로 제공하도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리의 실효 대역폭을 각각 측정하도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리의 레이턴시를 각각 측정하도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리 각각의 실효 대역폭 및 지연시간에 기초하여 복수의 메모리에 저장되는 데이터를 분할하여 저장하도록 구성될 수 있다.
데이터는 L 비트의 비트 그룹으로 구성되고, 복수의 메모리는 제1 메모리 및 제2 메모리를 더 포함하고, 제1 메모리는 제1 실효 대역폭 또는 제1 지연시간에 기초하여 L 비트의 비트 그룹 중 M 비트의 데이터를 분할하여 저장하도록 구성되고, 제2 메모리는 제2 실효 대역폭 또는 제2 지연시간에 기초하여 L 비트의 비트 그룹 중 N 비트의 데이터를 분할하여 저장하도록 구성되고, M 비트와 N 비트의 합은 L 비트와 같거나 또는 작도록 구성될 수 있다
복수의 메모리는 제3 메모리를 더 포함하고, 제3 메모리는 제3 실효 대역폭 또는 제3 지연시간에 기초하여 L 비트의 비트 그룹 중 O 비트의 데이터를 저장하도록 구성되고, M 비트, N 비트 및 O 비트의 합은 L 비트와 같도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는, 복수의 메모리에 분할되어 저장된 데이터를 병합하여 저장하도록 구성된 캐쉬 메모리를 더 포함하도록 구성될 수 있다.
데이터는 P개의 데이터 묶음으로 구성되고, 복수의 메모리는 제1 메모리 및 제2 메모리를 더 포함하고, 제1 메모리는 제1 실효 대역폭 또는 제1 지연시간에 기초하여 P개의 데이터 묶음 중 R개의 데이터 묶음을 저장하도록 구성되고, 제2 메모리는 제2 실효 대역폭 또는 제2 지연시간에 기초하여 상기 P개의 데이터 묶음 중 S개의 데이터 묶음을 저장하도록 구성되고, R개와 상기 S개의 합은 상기 P개와 같거나 또는 작도록 구성될 수 있다.
복수의 메모리는 제3 메모리를 더 포함하고, 제3 메모리는 제3 실효 대역폭 또는 제3 지연시간에 기초하여 P개의 데이터 묶음 중 T개의 데이터 묶음을 저장하도록 구성되고, R개, 상기 S개 및 상기 T개의 합은 상기 P개와 같도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는, 캐쉬 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리에 분배되어 저장된 데이터를 병합하여 캐쉬 메모리에 저장하도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리에 분할되어 저장된 데이터의 분할 정보를 저장하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청 및 적어도 하나의 메모리의 레이턴시 값에 기초하여 캐쉬 메모리에 레이턴시 만큼 데이터의 일부를 저장하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청 및 적어도 하나의 메모리의 데이터 대역폭 요구량에 기초하여 캐쉬 메모리에 상기 데이터의 일부를 저장하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 프로세서에서 다음 데이터 접근 요청 생성 시, 캐쉬 메모리에 저장된 데이터를 먼저 제공하면서, 데이터의 나머지를 적어도 하나의 메모리로부터 읽기-버스트 모드로 제어하여, 적어도 하나의 메모리의 레이턴시를 저감하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청 및 적어도 하나의 메모리의 레이턴시 값에 기초하여 적어도 하나의 프로세서에서 다음 데이터 접근 요청 생성 시, 레이턴시 값만큼 사전에 적어도 하나의 메모리의 읽기-버스트 모드로 시작하여, 적어도 하나의 메모리의 레이턴시를 저감하도록 구성될 수 있다.
인공신경망 메모리 제어부, 상기 적어도 하나의 프로세서, 및 상기 적어도 하나의 메모리의 통신을 제어하도록 구성된 시스템 버스를 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 시스템 버스의 마스터 권한을 가지도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망모델을 더 포함하고, 인공신경망모델은 사전 데이터 접근 요청이 생성될 경우, 시스템 버스의 제어 권한을 사전 데이터 접근 요청들의 생성되지 않을 때보다 상대적으로 더 높게 증가시키도록 기계 학습될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리가 상기 메모리 접근 요청을 완료할 때까지, 시스템 버스의 실효 대역폭을 확보하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 특정 메모리 접근 요청을 처리하기 위해서 시스템 버스에게 요구되는 특정 대역폭을 계산하고, 적어도 하나의 인공신경망 메모리 제어부는 특정 대역폭에 기초하여 시스템 버스의 실효 대역폭을 제어하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 시스템 버스 내부에 배치되고, 시스템 버스는 시스템 버스 내에서 생성된 인공신경망 데이터 지역성 패턴에 기초하여 시스템 버스의 대역폭을 동적으로 가변 하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청의 처리 시간동안 인공신경망 연산을 우선 처리하도록 동작하고, 이외의 시간 동안 인공신경망 연산 이외의 연산을 처리하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부와 적어도 하나의 프로세서는 직접 통신하도록 구성될 수 있다.
인공신경망 메모리 제어부는 인공신경망 연산 전용 접근 순서인 제1 접근 순서 및 인공신경망 연산 이외의 접근 순서인 제2 접근 순서를 더 포함하고, 인공신경망 메모리 제어부는 우선순위 설정에 따라서 각각의 접근 순서를 선택하여 데이터를 제공하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 계층화 된 복수의 캐쉬 메모리를 더 포함하고 적어도 하나의 인공신경망 메모리 제어부는 계층화 된 복수의 캐쉬 메모리의 계층간 데이터 접근 요청을 기계학습을 하도록 구성된 인공신경망모델을 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 계층화 된 복수의 캐쉬 메모리 각각의 계층의 실효 대역폭, 소비 전력, 및 레이턴시 정보 중 적어도 하나를 더 제공 받도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 시스템은, 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 프로세서 및 컴파일러로부터 생성된 인공신경망 연산의 인공신경망 데이터 지역성 패턴을 저장하도록 구성되고, 인공신경망 데이터 지역성 패턴에 기초하여 적어도 하나의 프로세서가 생성한 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 인공신경망 메모리 제어부 및 적어도 하나의 인공신경망 메모리 제어부와 통신하도록 구성된 적어도 하나의 메모리를 포함하고, 적어도 하나의 메모리는 적어도 하나의 인공신경망 메모리 제어부에서 출력되는 메모리 접근 요청에 대응하여 동작하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 시스템은 적어도 하나의 메모리 및 인공신경망 메모리 제어부, 적어도 하나의 프로세서, 및 적어도 하나의 메모리의 통신을 제어하도록 구성된 시스템 버스를 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 시스템 버스 내에 배치되고, 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리가 메모리 접근 요청에 대한 응답을 완료할 때까지, 상기 시스템 버스의 제어 권한을 상기 메모리 접근 요청이 없을 때보다 상대적으로 더 높게 증가시키도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부의 적어도 일부는 DRAM에 포함되도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부의 적어도 일부는 적어도 하나의 프로세서에 포함되도록 구성될 수 있다.
DRAM을 더 포함하거나 또는 적어도 하나의 메모리는 DRAM이고, 적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청의 접근 순서(access que)를 재조정하도록 구성될 수 있다.
인공신경망 메모리 제어부는 적어도 하나의 접근 순서를 생성하도록 구성될 수 있다.
적어도 하나의 메모리에 인공신경망 메모리 제어부가 포함되고, 인공신경망 메모리 제어부는 인공신경망 연산 전용 접근 순서를 별도로 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청의 접근 순서를 재조정하도록 구성될 수 있다.
적어도 하나의 메모리는 읽기-버스트 기능을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리의 저장 영역을 읽기 버스트 기능을 고려하여 설정하도록 구성될 수 있다.
적어도 하나의 메모리는 읽기-버스트 기능을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리의 저장 영역을 읽기-버스트 기능을 고려하여 쓰기 동작을 처리하도록 구성될 수 있다.
적어도 하나의 프로세서는 복수의 프로세서를 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 프로세서 중 인공신경망 연산을 처리하는 프로세서의 데이터 접근 요청의 우선 순위를 인공신경망 연산 이외의 연산을 처리하는 프로세서보다 더 높게 설정하도록 구성될 수 있다.
본 개시의 실시예들에 따르면, 인공신경망을 처리하는 시스템에서 인공신경망 데이터 지역성에 의해서 프로세서에 대한 메모리의 데이터 공급 지연을 실질적으로 제거하거나 저감할 수 있는 효과가 있다.
본 개시의 실시예들에 따르면, 인공신경망 메모리 제어부는 프로세서-메모리 레벨에서 처리되는 인공신경망모델의 데이터를 프로세서가 요청하기 전에 사전에 준비할 수 있는 효과가 있다.
본 개시의 실시예들에 따르면, 프로세서가 처리하는 인공신경망모델의 학습 및 추론 연산 처리 시간이 단축되어 해당 프로세서의 연산 처리 성능이 향상되며, 시스템 레벨의 연산 처리에 대한 전력 효율성이 향상될 수 있는 효과가 있다.
본 개시에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 개시의 일 실시예에 따른 인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템의 프로세서 및 인공신경망 메모리 제어부를 설명하는 개략적인 블록도이다.
도 1b는 본 개시의 다양한 실시예들에 적용될 수 있는 인공신경망 데이터 지역성 패턴의 재구성의 설명을 위한 예시적인 신경망 프로세싱 유닛의 예시를 나타내는 개략도이다.
도 2는 본 개시의 일 실시예에 따른 인공신경망 데이터 지역성 패턴을 설명하는 개략도이다.
도 3은 본 개시의 다양한 실시예들에 적용될 수 있는 인공신경망 데이터 지역성 패턴의 설명을 위한 예시적인 인공신경망모델을 나타내는 개략도이다.
도 4는 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부가 도 3a의 인공신경망모델을 분석하여 생성한 인공신경망 데이터 지역성 패턴을 설명하는 개략도이다.
도 5는 도 4의 인공신경망 데이터 지역성 패턴에 대응되는 토큰과 식별 정보를 설명하는 개략도이다.
도 6은 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부가 인공신경망 데이터 지역성 패턴에 기초하여 생성한 사전 데이터 접근 요청과 다음 데이터 접근 요청을 설명하는 개략도이다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부의 동작을 개략적으로 설명하는 순서도이다.
도 8은 본 개시의 다른 실시예에 따른 인공신경망 메모리 시스템을 설명하는 개략적인 블록도이다.
도 9는 본 개시의 비교예에 따른 메모리 시스템의 동작을 설명하는 개략도이다.
도 10은 본 개시의 다른 실시예에 따른 메모리 시스템의 설명하는 개략도이다.
도 11은 본 개시의 또 다른 실시예에 따른 인공신경망 메모리 시스템을 설명하는 개략적인 블록도이다.
도 12는 데이터 접근 요청의 예시적인 식별 정보를 설명하는 개략도이다.
도 13은 인공신경망 메모리 시스템의 단위 동작 당 에너지 소모를 설명하는 개략도이다.
도 14는 본 개시의 다양한 실시예들에 따른 인공신경망 메모리 시스템을 설명하는 개략도이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 다양한 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 설명되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 개시의 실시예들은 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 개시에 대한 상세한 설명은, 본 개시가 실시될 수 있는 특정 실시예를 예시로서 설명의 편의를 위해 도면을 참조하여 설명할 수 있다. 본 개시의 다양한 실시예들의 구성요소들이 서로 상이하더라도 특정 실시예에 기재되어 있는 제조 방법, 동작 방법, 알고리즘, 형상, 공정, 구조 및 특성은 다른 실시예와 결합하거나 또는 포함될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 개시의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 본 개시의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 작동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.
본 개시의 실시예들을 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 개시는 도면을 참조하되 이에 한정되지 않는다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭할 수 있다. 또한, 본 개시를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 결정되는 경우 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 구성요소가 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. 구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다. 위치 관계에 대한 설명일 경우, 예를 들면, '~상에', '~상부에', '~하부에', '~옆에', ‘~인접하여’ 등으로 두 구성요소의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 구성요소 사이에 하나의 다른 구성요소가 위치할 수도 있다. 소자 또는 층이 다른 소자 또는 층 "위 (on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다
도 1a는 본 개시의 일 실시예에 따른 인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템의 프로세서 및 인공신경망 메모리 제어부를 설명하는 개략적인 블록도이다.
도 1a를 참조하면, 인공신경망 메모리 시스템(100)은 적어도 하나의 프로세서(110) 및 적어도 하나의 인공신경망 메모리 제어부(120)를 포함하도록 구성될 수 있다. 즉, 본 개시의 실시예들에 따른 프로세서(110)는 적어도 하나 이상이며, 복수 개의 프로세서가 활용될 수 있다. 즉, 본 개시의 실시예들에 따른 인공신경망 메모리 제어부(120)는 적어도 하나이며, 복수개의 인공신경망 메모리 제어부가 활용될 수 있다.
이하 설명의 편의를 위해 적어도 하나의 프로세서(110)가 하나의 프로세서일 경우, 프로세서(110)로 지칭할 수 있다.
이하 설명의 편의를 위해 적어도 하나의 인공신경망 메모리 제어부(120)가 하나의 인공신경망 메모리 제어부(120)일 경우, 인공신경망 메모리 제어부(120)로 지칭할 수 있다.
프로세서(110)는 인공신경망모델을 처리하도록 구성된다. 예를 들어, 프로세서(110)는 특정 추론 기능을 수행하도록 학습된 인공신경망모델의 추론을 처리하여 입력 데이터에 따른 인공신경망모델의 추론 결과를 제공할 수 있다. 예를 들어, 프로세서(110)는 특정 추론 기능을 수행하기 위한 인공신경망모델의 학습을 처리하여 학습된 인공신경망모델을 제공할 수 있다. 특정 추론 기능은, 객체 인식, 음성 인식, 영상 처리 등 인공신경망이 추론할 수 있는 다양한 추론 기능들을 포함할 수 있다.
프로세서(110)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 어플리케이션 프로세서(AP), 디지털 신호 처리 장치(DSP), 산술 논리 연산 장치(ALU) 및 인공 신경망 프로세서(NPU) 중 적어도 하나를 포함하도록 구성될 수 있다. 단, 본 개시의 프로세서(110)는 상술한 프로세서들에 제한되지 않는다.
프로세서(110)는 인공신경망 메모리 제어부(120)와 통신하도록 구성될 수 있다. 프로세서(110)는 데이터 접근 요청을 생성하도록 구성될 수 있다. 데이터 접근 요청은 인공신경망 메모리 제어부(120)로 전송될 수 있다. 여기서 데이터 접근 요청은 프로세서(110)가 인공신경망모델의 추론 또는 학습을 처리할 때 필요한 데이터에 접근하는 요청을 의미할 수 있다.
프로세서(110)는 인공신경망 메모리 제어부(120)에 데이터 접근 요청을 전송하여 인공신경망 메모리 제어부(120)로부터 인공신경망모델의 추론 또는 학습에 필요한 데이터를 제공 받거나, 또는 프로세서(110)가 처리한 인공신경망의 추론 또는 학습 결과를 인공신경망 메모리 제어부(120)에게 제공할 수 있다.
프로세서(110)는 특정 인공신경망모델을 처리한 추론 결과 또는 학습 결과를 제공할 수 있다. 이때 프로세서(110)는 추론 또는 학습을 하기 위한 인공신경망의 연산들을 특정 순서대로 처리하도록 구성될 수 있다.
프로세서(110)가 특정 순서대로 인공신경망 연산을 처리해야 하는 이유는, 각각의 인공신경망모델이 각각의 고유한 인공신경망 구조를 가지도록 구성되었기 때문이다. 즉, 각각의 인공신경망모델은 고유한 인공신경망 구조에 따른 고유한 인공신경망 데이터 지역성을 가지도록 구성된다. 더 나아가서 고유한 인공신경망 데이터 지역성에 따라서 프로세서(110)가 처리하는 인공신경망모델의 연산 순서가 결정되게 된다.
부연 설명하면, 인공신경망 데이터 지역성은 컴파일러에 의해서 인공신경망모델이 특정 프로세서에서 실행되도록 컴파일 될 때 구성될 수 있다. 인공신경망 데이터 지역성은 컴파일러, 인공신경망모델에 적용된 알고리즘들, 및 프로세서의 동작 특성에 따라서 구성될 수 있다.
프로세서(110)가 처리할 인공신경망모델은 프로세서(110)와 인공신경망모델의 알고리즘 특성을 고려할 수 있는 컴파일러에 의해서 컴파일될 수 있다. 즉, 인공신경망모델의 구조 및 알고리즘 정보를 알고, 프로세서(110)의 구동 특성을 알면, 컴파일러는 인공신경망 메모리 제어부(120)에게 워드 단위 순서로 인공신경망 데이터 지역성 정보를 제공하도록 구성될 수 있다.
예를 들면, 종래의 알고리즘 레벨의 특정 인공신경망모델의 특정 레이어의 가중치 값은 레이어 단위로 연산 될 수 있다. 하지만, 본 개시의 실시예들에 따른 프로세서-메모리 레벨의 특정 인공신경망모델의 특정 레이어의 가중치 값은 프로세서(110)가 처리하도록 스케줄된 워드 단위로 연산 될 수 있다.
예를 들면, 프로세서(110)의 캐쉬 메모리의 크기가 처리할 인공신경망모델의 특정 레이어의 가중치 값들의 데이터 크기 보다 작을 경우, 프로세서(110)는 한 번에 특정 레이어의 가중치 값들을 처리하지 않도록 컴파일될 수 있다.
즉, 프로세서(110)가 특정 레이어의 가중치 값들과 노드 값을 연산할 때, 가중치 값이 너무 크기 때문에, 결과 값들을 저장할 캐쉬 메모리 공간이 부족할 수 있다. 이러한 경우, 프로세서(110)가 생성하는 데이터 접근 요청이 복수의 데이터 접근 요청들로 증가될 수 있다. 따라서 프로세서(110)는 증가된 데이터 접근 요청들을 특정 순서로 처리하도록 구성될 수 있다. 이러한 경우, 알고리즘 레벨의 연산 순서와 프로세서-메모리 레벨의 인공신경망 데이터 지역성에 따른 연산 순서는 서로 상이해질 수 있다.
즉, 알고리즘 레벨에서의 인공신경망 연산 순서는 해당 인공신경망모델을 처리할 프로세서 및 메모리의 하드웨어 특성을 고려하여 프로세서-메모리 레벨의 인공신경망 데이터 지역성에 의해 재구성 될 수 있다.
프로세서-메모리 레벨에서 존재하는 인공신경망모델의 인공신경망 데이터 지역성이란 프로세서(110)가 메모리에 요청하는 데이터 접근 요청 순서에 기반하여 프로세서-메모리 레벨에서 프로세서(110)가 처리하는 인공신경망모델의 연산 순서를 예측하게 하는 정보로 정의될 수 있다.
부연 설명하면 동일한 인공신경망모델의 경우에도 프로세서(110)의 연산 기능, 예를 들면, 특징맵 타일링(tiling) 기법, 프로세싱 엘리먼트의 스테이셔너리(Stationary) 기법 등, 프로세서(110)의 프로세싱 엘리먼트 개수, 프로세서(110)내 특징맵 및 가중치 등의 캐쉬 메모리 용량, 프로세서(110) 내의 메모리 계층 구조, 인공신경망모델을 연산 처리하기 위한 프로세서(110)의 연산 동작의 순서를 결정해 주는 컴파일러의 알고리즘 특성 등에 따라서 인공신경망모델의 인공신경망 데이터 지역성이 다르게 구성될 수 있다.
예를 들면, 특징맵 타일링은 합성곱을 분할하는 인공신경망 기법으로, 합성곱 영역이 분할됨에 따라 특징맵이 분할되어 연산된다. 따라서, 타일링 합성곱에 의해서 같은 인공신경망모델이라 할지라도, 인공신경망모델의 인공신경망 데이터 지역성은 서로 상이할 수 있다.
예를 들면, 스테이셔너리 기법은 신경망 프로세싱 유닛에서 프로세싱 엘리먼트들(PE)의 구동 방법을 제어하는 기법이다. 스테이셔너리 기법에 따르면 처리되는 데이터 종류, 예를 들면, 입력 특징맵, 가중치, 및 출력 특징맵 중 하나가 프로세싱 엘리먼트에 고정되어 재사용될 수 있다. 따라서, 프로세서(110)가 메모리에게 요청하는 데이터의 종류 및 순서가 달라질 수 있다.
즉, 동일한 인공신경망모델의 경우라도 다양한 알고리즘 및/또는 기법 등 따라 인공신경망 데이터 지역성은 재구성될 수 있다. 따라서, 인공신경망 데이터 지역성은 프로세서, 컴파일러, 메모리 등 다양한 조건들에 의해서 전체적으로 또는 부분적으로 재구성 될 수 있다.
도 1b는 본 개시의 다양한 실시예들에 적용될 수 있는 인공신경망 데이터 지역성 패턴의 재구성에 관한 설명을 위한 예시적인 신경망 프로세싱 유닛의 예시를 나타내는 개략도이다.
도 1b를 참조하면, 프로세서(110)가 신경망 프로세싱 유닛(NPU)일 경우 적용될 수 있는 예시적인 스테이셔너리 기법들이 도시되어 있다.
프로세싱 엘리먼트들(PE)은 어레이 형태로 구성될 수 있으며, 각각의 프로세싱 엘리먼트는 곱셈기(x)와 덧셈기(＋)를 포함하도록 구성될 수 있다. 프로세싱 엘리먼트들(PE)은 버퍼 메모리 또는 캐쉬 메모리, 예를 들면, 글로벌 버퍼(global buffer)와 연결될 수 있다. 프로세싱 엘리먼트들(PE)은 입력 특징맵 화소(Ifmap pixel; I), 필터 가중치(Filter weight; W), 및 부분합(Psum; P) 중 하나의 데이터를 프로세싱 엘리먼트들(PE)의 레지스터에 고정시킬 수 있다. 그리고 나머지 데이터들을 프로세싱 엘리먼트들(PE)의 입력 데이터로 제공될 수 있다. 부분합(P)의 누산이 완료되면 출력 특징맵 화소가 될 수 있다.
도 1b의 (a)는 가중치 스테이셔너리(Weight-Stationary; WS) 기법을 도시한다. 가중치 스테이셔너리(WS) 기법에 따르면, 프로세싱 엘리먼트들(PE) 각각의 레지스터파일에 필터 가중치들(W0 to W7)이 고정되고, 병렬로 프로세싱 엘리먼트들(PE)에 입력되는 입력 특징맵 화소(I)를 0번째 입력 특징맵 화소(I0)에서 8번째 입력 특징맵 화소(I8)로 이동 시키면서 연산을 실행할 수 있다. 부분합들(P0 to P8)은 직렬로 연결된 프로세싱 엘리먼트들(PE)에 누적될 수 있다. 부분합들(P0 to P8)은 순차적으로 다음 프로세싱 엘리먼트로 이동할 수 있다. 고정된 필터 가중치들(W0 to W7)을 사용하는 모든 MAC(multiply and accumulation) 연산은 직렬 처리를 위해 동일한 프로세싱 엘리먼트들(PE)에 맵핑(mapping) 되어야 한다.
상술한 구성에 따르면, 레지스터파일에서 필터 가중치(W)의 합성곱 연산 시 필터 가중치(W) 재사용을 최대화하여 필터 가중치(W)의 액세스 에너지 소비를 최소화 할 수 있는 효과가 있다.
주목해야할 점은, 컴파일 단계에서 인공신경망모델에 가중치 스테이셔너리(WS) 기법을 적용함에 따라, 인공신경망모델의 인공신경망 데이터 지역성은 프로세서-메모리 레벨에서 가중치 스테이셔너리(WS) 기법에 최적화되기 위해서 재구성된다. 예를 들면, 가중치 스테이셔너리(WS) 기법에서는 연산의 효율성을 위해서 프로세싱 엘리먼트들(PE)에 필터 가중치들(W0 to W7)을 우선적으로 저장하도록 구성될 수 있다. 따라서 인공신경망 데이터 지역성은 필터 가중치(W), 입력 특징맵 화소(I), 및 부분합(P) 순서대로 재구성될 수 있으며, 이에 프로세서(110)가 생성하는 데이터 접근 요청 순서도 재구성된 인공신경망 데이터 지역성에 따라서 결정될 수 있다.
도 1b의 (b)는 출력 스테이셔너리(Output-Stationary; OS) 기법을 도시한다. 출력 스테이셔너리(OS) 기법에 따르면, 프로세싱 엘리먼트들(PE)의 각각의 레지스터파일에 부분합들(P0 to P7)이 고정되어 누산되고, 병렬로 프로세싱 엘리먼트들(PE)에 입력되는 필터 가중치(W)를 0번째 입력 필터 가중치(W0)에서 7번째 필터 가중치(W7)로 이동 시키면서 연산을 실행할 수 있다. 입력 특징맵 화소들(I0 to I7)은 직렬로 연결된 프로세싱 엘리먼트들(PE)로 이동될 수 있다. 각각의 부분합들(P0 to P7)은 각각의 프로세싱 엘리먼트들(PE)에 고정되어 MAC(multiply and accumulation) 연산을 처리하도록 매핑(mapping) 되어야 한다.
상술한 구성에 따르면, 프로세싱 엘리먼트들(PE)에서 필터 가중치(W)의 합성곱 연산 시 부분합(P)을 프로세싱 엘리먼트들(PE)의 레지스터파일에 고정시켜서 부분합(P)의 재사용을 최대화하고 부분합(P)의 이동에 따른 에너지 소비를 최소화할 수 있는 효과가 있다. 고정된 부분합(P)의 누산이 완료되면 출력 특징맵이 될 수 있다.
주목해야할 점은, 프로세서(110)가 출력 스테이셔너리(OS) 기법을 적용함에 따라, 인공신경망모델의 인공신경망 데이터 지역성은 프로세서-메모리 레벨에서 출력 스테이셔너리(OS) 기법에 최적화되기 위해서 재구성된다. 예를 들면, 출력 스테이셔너리(OS) 기법에서는 연산의 효율성을 위해서 프로세싱 엘리먼트들(PE)에 부분합들(P0 to P7)을 우선적으로 저장하도록 구성될 수 있다. 따라서 인공신경망 데이터 지역성은 부분합(P), 필터 가중치(W), 및 입력 특징맵 화소(I) 순서대로 재구성될 수 있으며, 이에 프로세서(110)가 생성하는 데이터 접근 요청 순서도 재구성된 인공신경망 데이터 지역성에 따라서 결정될 수 있다.인공신경망모델 컴파일러는 프로세서(110)와 메모리의 하드웨어 특성정보를 전달받아 인공신경망모델이 프로세서-메모리 레벨에서 동작할 수 있는 코드로 변환할 수 있다. 이때, 인공신경망모델은 프로세서에 의해서 실행되는 코드로 변환되기 때문에, 로우-레벨의 코드로 변환될 수 있다.
즉, 상술한 각 요인들에 의하면 동일한 인공신경망모델을 연산 처리하더라도 프로세서(110)가 클럭 단위로 매 순간 필요한 데이터의 순서를 변경할 수 있다. 따라서 인공신경망모델의 인공신경망 데이터 지역성이 하드웨어 레벨에서 다르게 구성될 수 있다.
다만, 인공신경망 데이터 지역성의 구성이 완료될 경우, 프로세서(110)의 연산 순서 및 해당 연산에 필요한 데이터 처리 순서가 해당 인공신경망모델의 학습 연산 또는 추론 연산마다 정확하게 반복될 수 있다.
이하 상술한 본 개시의 일 실시예에 따른 인공신경망 메모리 시스템(100)은 인공신경망 데이터 지역성이 제공하는 정확한 연산 순서에 기초하여 프로세서(110)가 요청할 다음 데이터를 사전에 예측하여 메모리 지연 문제 및 메모리 대역폭 문제를 개선하여 인공신경망 연산 처리 성능을 향상 시키고, 전력소모 등을 저감하도록 구성될 수 있다.
본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 프로세서(110)가 처리할 인공신경망모델의 인공신경망 데이터 지역성 정보를 제공 받도록 구성되거나 또는 프로세서(110)가 처리중인 인공신경망모델의 인공신경망 데이터 지역성을 분석하도록 구성된 것을 특징으로 한다.
인공신경망 메모리 제어부(120)는 프로세서(110)에서 생성된 데이터 접근 요청을 수신하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)는 프로세서(110)로부터 수신한 데이터 접근 요청을 모니터링 하거나 또는 기록하도록 구성될 수 있다. 인공신경망 메모리 제어부(120)는 인공신경망모델을 처리하고 있는 프로세서(110)가 출력하는 데이터 접근 요청들을 관찰하여 이후에 요청될 데이터 액세스 순서를 정확하게 예측할 수 있는 효과가 있다. 하나의 데이터 접근 요청은 적어도 하나의 워드 단위의 데이터를 포함하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)는 프로세서(110)에서 수신된 데이터 접근 요청을 순차적으로 기록하거나 또는 모니터링하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)가 기록하는 데이터 접근 요청들은 로그 파일(log file), 테이블(table), 리스트(list) 등 다양한 형태로 저장될 수 있다. 단, 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 데이터 접근 요청의 기록된 형태나 양식 등에 제한되지 않는다.
인공신경망 메모리 제어부(120)가 모니터링하는 데이터 접근 요청들은 인공신경망 메모리 제어부(120) 내의 임의의 메모리에 저장될 수 있다. 단, 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 데이터 접근 요청의 모니터링 방식에 제한되지 않는다.
인공신경망 메모리 제어부(120)는 데이터 접근 요청의 기록 또는 모니터링을 위한 임의의 메모리를 더 포함하도록 구성될 수 있다. 단, 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 이에 제한되지 않으며, 외부 메모리와 통신하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)는 프로세서(110)로부터 수신한 데이터 접근 요청을 모니터링 하거나 또는 기록하여 데이터 접근 요청들을 분석하도록 구성될 수 있다.
즉, 인공신경망 메모리 제어부(120)는 수신한 데이터 접근 요청들을 분석하여 프로세서(110)가 처리중인 인공신경망모델의 인공신경망 데이터 지역성을 분석하도록 구성될 수 있다.
즉, 인공신경망 메모리 제어부(120)는 프로세서-메모리 레벨에서 동작하도록 컴파일 된 인공신경망모델의 인공신경망 데이터 지역성을 분석하도록 구성될 수 있다.
즉, 인공신경망 메모리 제어부(120)는 프로세서-메모리 레벨의 인공신경망의 데이터 지역성에 기초하여, 인공신경망의 연산 처리 순서를 프로세서가 생성하는 메모리 접근 요청 단위로 분석하여 인공신경망모델의 인공신경망 데이터 지역성을 분석하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부(120)는 프로세서-메모리 레벨에서 재구성된 인공신경망 데이터 지역성을 분석할 수 있는 효과가 있다.
몇몇 실시예에서는, 컴파일러는 인공신경망모델의 인공신경망 데이터 지역성을 워드(WORD) 단위까지 분석하도록 구성될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는 컴파일러가 분석한 인공신경망 데이터 지역성을 워드 단위로 제공받도록 구성될 수 있다. 여기서 워드 단위는 프로세서(110)의 워드 단위에 따라 8bit, 16bit, 32bit, 64bit 등으로 달라질 수 있다. 여기서 워드 단위는 컴파일 된 인공신경망모델의 커널, 특징맵 등의 양자화 알고리즘에 따라 2bit, 3bit, 5bit 등 각각 다른 워드 단위로 설정될 수 있다.
인공신경망 메모리 제어부(120)는 특수 기능 레지스터(special function register)를 포함하도록 구성될 수 있다. 특수 기능 레지스터는 인공신경망 데이터 지역성 정보를 저장하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 정보의 저장 여부에 따라 서로 다른 모드로 동작하도록 구성될 수 있다.
만약, 인공신경망 메모리 제어부(120)가 인공신경망 데이터 지역성 정보를 저장한 경우, 인공신경망 메모리 제어부(120)는 프로세서(110)가 처리할 인공신경망모델의 데이터 처리 순서를 워드 단위 순서로 미리 예측할 수 있기 때문에, 별도의 데이터 접근 요청을 기록하지 않도록 구성될 수도 있다. 단, 이에 제한되지 않으며, 인공신경망 메모리 제어부(120)는 저장된 인공신경망 데이터 지역성 정보와 프로세서가 생성하는 데이터 접근 요청을 비교하면서, 저장된 인공신경망 데이터 지역성에 오류가 존재하는지 검증하도록 구성될 수 있다.
만약, 인공신경망 메모리 제어부(120)가 인공신경망 데이터 지역성 정보를 제공받지 않은 경우, 인공신경망 메모리 제어부(120)는 프로세서(110)가 생성하는 데이터 접근 요청을 관찰하여 프로세서(110)가 처리하는 인공신경망모델의 인공신경망 데이터 지역성을 예측하는 모드로 동작하도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템은 프로세서, 메모리 및 캐쉬 메모리를 포함하고, 인공신경망 데이터 지역성 정보에 기초하여 프로세서가 요청할 데이터를 포함하는 사전 데이터 접근 요청을 생성하도록 구성될 수 있다. 인공신경망 메모리 시스템은 메모리로부터 사전 데이터 접근 요청에 대응되는 데이터를 프로세서가 요청하기 전에 캐쉬 메모리에 저장하도록 구성될 수 있다. 이때, 인공신경망 메모리 시스템은 인공신경망 데이터 지역성 정보를 제공 받아 동작하도록 구성된 제1 모드 또는 프로세서가 생성하는 데이터 접근 요청들을 관찰하여 인공신경망 데이터 지역성 정보를 예측하여 동작하도록 구성된 제2 모드 중 하나의 모드로 동작하도록 구성될 수 있다. 상술한 구성에 따르면, 인공신경망 메모리 시스템은 인공신경망 데이터 지역성 정보를 제공 받을 경우, 워드 단위로 프로세서가 요청할 데이터를 사전에 예측하여 준비할 수 있는 효과가 있으며, 인공신경망 데이터 지역성 정보가 제공되지 않더라도, 프로세서가 생성하는 데이터 접근 요청들을 일정기간 모니터링함으로써 프로세서가 처리중인 인공신경망 데이터 지역성을 데이터 접근 요청 단위로 예측할 수 있는 효과가 있다. 더 나아가서, 인공신경망 데이터 지역성 정보가 제공되더라도, 인공신경망 메모리 시스템은 자체적으로 데이터 접근 요청을 모니터링 함으로써 인공신경망 데이터 지역성을 재구성하여 제공된 인공신경망 데이터 지역성을 검증하는 용도로 활용할 수도 있다. 따라서 인공신경망모델의 변경, 또는 오류 등의 발생을 감지할 수 있는 효과가 제공될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부와 적어도 하나의 프로세서가 직접 통신하도록 구성될 수 있다. 상술한 구성에 따르면, 인공신경망 메모리 제어부는 프로세서로부터 직접 데이터 접근 요청을 수신할 수 있기 때문에, 프로세서와 인공신경망 메모리 제어부 사이의 시스템버스에 의해서 발생될 수 있는 지연시간을 제거할 수 있는 효과가 있다. 부연 설명하면, 프로세서와 인공신경망 메모리 제어부의 직접 통신을 위해서, 전용 버스를 더 포함하도록 구성될 수 있거나 또는 전용 통신 채널을 더 포함하도록 구성될 수 있다. 단, 이에 제한되지 않는다.
몇몇 실시예에서는, 인공신경망 데이터 지역성 정보는 프로세서(110) 및/또는 인공신경망 메모리 제어부(120)에 선택적으로 저장되도록 구성될 수 있다. 인공신경망 데이터 지역성 정보는 프로세서(110) 및/또는 인공신경망 메모리 제어부(120)에 포함된 특수 목적 레지스터(special function register)에 저장되도록 구성될 수 있다. 단, 이에 제한되지 않으며, 인공신경망 데이터 지역성 정보는 인공신경망 메모리 시스템과 통신할 수 있는 임의의 메모리, 레지스터 등에 저장될 수 있다.
도 2는 본 개시의 일 실시예에 따른 인공신경망 데이터 지역성 패턴을 설명하는 개략도이다. 이하 도 2를 참조하여 인공신경망모델의 인공신경망 데이터 지역성 및 인공신경망 데이터 지역성 패턴에 대해서 설명한다.
인공신경망 메모리 제어부(120)는 프로세서(110)로부터 수신된 데이터 접근 요청을 순서대로 기록 또는 모니터링 하도록 구성된다.
인공신경망 메모리 제어부(120)는 프로세서(110)가 처리중인 인공신경망모델의 데이터 지역성을 포함하는 인공신경망 데이터 지역성 패턴을 생성하도록 구성된다. 즉, 인공신경망 메모리 제어부(120)는 프로세서(110)가 생성하는 인공신경망모델과 관련된 데이터 접근 요청들을 분석하여 반복되는 특정 패턴을 생성하도록 구성될 수 있다. 즉, 데이터 접근 요청을 관찰할 경우, 인공신경망 데이터 지역성 정보는 인공신경망 데이터 지역성 패턴으로 저장될 수 있다.
도 2를 참조하면, 예시적으로 18개의 데이터 접근 요청들이 인공신경망 메모리 제어부(120)에 순차적으로 기록되어 있다. 각각의 데이터 접근 요청들은 식별 정보를 포함하도록 구성된다.
데이터 접근 요청에 포함된 식별 정보는 다양한 정보를 포함하도록 구성될 수 있다.
예를 들면, 식별 정보는 적어도 메모리 주소 값 및 동작 모드(mode) 값을 포함하도록 구성된다.
예를 들면, 메모리 주소 값은 요청된 데이터에 대응되는 메모리 주소 값들을 포함하도록 구성될 수 있다. 단, 본 개시는 이에 제한되지 않는다.
예를 들면, 메모리 주소 값은 요청된 데이터에 대응되는 메모리 주소의 시작 값과 끝 값을 포함하도록 구성될 수 있다. 상술한 구성에 따르면, 메모리 주소의 시작 값과 끝 값 사이에 데이터가 순차적으로 저장된 것으로 간주한다. 따라서 메모리 주소 값들을 저장하는 용량을 저감할 수 있는 효과가 있다.
예를 들면, 메모리 주소 값은 요청된 데이터에 대응되는 메모리 주소의 시작 값과 데이터 연속 읽기 트리거(trigger) 값을 포함하도록 구성될 수 있다. 상술한 구성에 따르면, 메모리 주소의 시작 값부터 연속 읽기 트리거 값이 바뀔 때까지 연속으로 데이터를 읽을 수 있다. 상술한 구성에 따르면, 데이터를 연속으로 읽을 수 있기 때문에 메모리 실효 대역폭을 증가시킬 수 있는 효과가 있다.
예를 들면, 메모리 주소 값은 요청된 데이터에 대응되는 메모리 주소의 시작 값과 데이터의 개수 정보를 포함하도록 구성될 수 있다. 데이터의 개수의 단위는 메모리의 용량의 단위에 기초하여 결정될 수 있다. 단위는 예를 들면, 8비트인 1바이트(byte), 4바이트인 1단어(word), 또는 1024바이트인 1블록(block) 중 하나일 수 있다. 단, 본 개시는 이에 제한되지 않는다. 상술한 구성에 따르면, 메모리 주소의 시작 값부터 설정된 단위 크기의 데이터 개수만큼 연속으로 데이터를 읽을 수 있다. 상술한 구성에 따르면, 데이터를 연속으로 읽을 수 있기 때문에 메모리 실효 대역폭을 증가시킬 수 있는 효과가 있다.
예를 들면, 메모리가 비휘발성 메모리인 경우, 메모리 주소 값은 물리-논리 주소 매핑 테이블 또는 플래시 변환 계층(flash translation layer) 정보를 더 포함할 수 있다. 단, 본 개시는 이에 제한되지 않는다.
예를 들면, 동작 모드는 읽기(read) 모드 및 쓰기(write) 모드를 포함하도록 구성될 수 있다.
예를 들면, 동작 모드는 덮어쓰기(overwrite)를 더 포함하도록 구성될 수 있다. 단, 본 개시는 이에 제한되지 않는다.
인공신경망 메모리 제어부(120)는 데이터 접근 요청들 각각의 식별 정보의 동일 여부를 결정하도록 구성될 수 있다.
예를 들면, 인공신경망 메모리 제어부(120)는 데이터 접근 요청들 각각의 메모리 주소 및 동작 모드의 동일 여부를 결정하도록 구성될 수 있다. 다르게 설명하면, 인공신경망 메모리 제어부(120)는 동일한 메모리 주소 값 및 동일한 동작 모드를 가지는 데이터 접근 요청 값을 감지하도록 구성될 수 있다.
예를 들면, 제1 데이터 접근 요청의 메모리 주소 값 및 동작 모드와 제10 데이터 접근 요청의 메모리 주소 값 및 동작 모드가 서로 동일할 때, 인공신경망 메모리 제어부(120)는 해당 메모리 주소 값 및 동작 모드에 대응되는 인공신경망 데이터 지역성 패턴을 생성하도록 구성된다.
인공신경망 데이터 지역성 패턴은, 데이터 접근 요청들의 메모리의 주소들을 순차적으로 기록한 데이터를 포함하도록 구성될 수 있다.
즉, 인공신경망 메모리 제어부(120)는 동일한 메모리 주소 값 및 동작 모드를 가지는 데이터 접근 요청들의 반복 주기를 감지하여 반복되는 메모리 주소 값 및 동작 모드를 가지는 데이터 접근 요청들로 구성된 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다.
즉, 인공신경망 메모리 제어부(120)는 데이터 접근 요청에 포함된 메모리 주소의 반복 패턴을 감지하여 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다.
도 2를 참조하여 설명하면, 인공신경망 메모리 제어부(120)가 제1 번째 데이터 접근 요청과 제10 번째 데이터 접근 요청의 메모리 주소 값 및 동작 모드가 동일한 것을 확인할 경우, 인공신경망 메모리 제어부(120)는 동일한 데이터 접근 요청들 중 시작되는 데이터 접근 요청부터 반복되는 데이터 접근 요청의 이전 데이터 접근 요청 까지를 하나의 인공신경망 데이터 지역성 패턴으로 생성하도록 구성될 수 있다. 이러한 경우, 인공신경망 메모리 제어부(120)는 제1 데이터 접근 요청 내지 제9 데이터 접근 요청을 포함하는 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다.
즉, 도 2의 예시에 설명된 인공신경망 데이터 지역성 패턴은 제1 데이터 접근 요청, 제2 데이터 접근 요청, 제3 데이터 접근 요청, 제4 데이터 접근 요청, 제5 데이터 접근 요청, 제6 데이터 접근 요청, 제7 데이터 접근 요청, 제8 데이터 접근 요청 및 제9 데이터 접근 요청 순서로 구성된 메모리 주소 값들 동작 모드 값들을 포함하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)가 생성한 인공신경망 데이터 지역성 패턴은 로그 파일(log file), 테이블(table), 리스트(list) 등 다양한 형태로 저장될 수 있으며, 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴의 기록된 형태나 양식 등에 제한되지 않는다.
인공신경망 메모리 제어부(120)가 생성한 인공신경망 데이터 지역성 패턴은 인공신경망 메모리 제어부(120)의 임의의 메모리에 저장될 수 있으며, 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴을 저장하는 메모리의 구조 또는 방식 등에 제한되지 않는다.
인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴 저장을 위한 임의의 메모리를 더 포함하도록 구성될 수 있다. 단, 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 이에 제한되지 않으며, 외부 메모리와 통신하도록 구성될 수 있다.
즉, 본 개시의 일 실시예에 따른 인공신경망 메모리 시스템(100)은 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 프로세서(110) 및 데이터 접근 요청을 순차적으로 기록하여 인공신경망 데이터 지역성 패턴을 생성하도록 구성된 인공신경망 메모리 제어부(120)를 포함하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)가 인공신경망 데이터 지역성 패턴을 생성한 경우, 인공신경망 메모리 제어부(120)는 프로세서(110)로부터 수신되는 각각의 데이터 접근 요청의 메모리 주소 값 및 동작 모드 값이 기 생성된 인공신경망 데이터 지역성 패턴에 포함된 메모리 주소 값들 및 동작 모드 값들 중 어느 하나와 일치하는지 결정하도록 구성될 수 있다.
도 2를 참조하여 설명하면, 인공신경망 메모리 제어부(120)가 제10 데이터 접근 요청을 프로세서(110)로부터 수신할 때, 인공신경망 메모리 제어부(120)는 수신된 데이터 접근 요청이 인공신경망 데이터 지역성 패턴에 포함된 메모리 주소 값과 동일한 메모리 주소 값을 가지고 있는지를 결정하도록 구성될 수 있다.
도 2의 예시를 참조하여 설명하면, 인공신경망 메모리 제어부(120)가 제10 데이터 접근 요청을 수신 받는 경우, 인공신경망 메모리 제어부(120)는 제10 데이터 접근 요청의 메모리 주소 값인 시작 값 [0] 및 끝 값 [0x1000000]과 제1 데이터 접근 요청의 메모리 주소 값인 시작 값 [0] 및 끝 값 [0x1000000]이 서로 동일하다는 것을 감지하고, 제10 데이터 접근 요청의 동작 모드의 읽기 모드 값과 제1 데이터 접근 요청의 동작 모드의 읽기 모드 값이 서로 동일하다는 것을 감지하여, 제10 데이터 접근 요청이 제1 데이터 접근 요청과 서로 동일하고, 제10 데이터 접근 요청은 인공신경망 연산이라고 결정하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)가 제11 데이터 접근 요청을 수신 받는 경우, 제11 데이터 접근 요청의 메모리 주소 값인 시작 값 [0x1100000] 끝 값 [0x1110000]과 제2 데이터 접근 요청의 메모리 주소 값인 시작 값 [0x1100000] 끝 값 [0x1110000]이 동일하다는 것을 감지하고, 제11 데이터 접근 요청의 동작 모드의 쓰기 모드 값과 제2 데이터 접근 요청의 동작 모드의 쓰기 모드 값이 서로 동일하다는 것을 감지하여, 제11 데이터 접근 요청이 제2 데이터 접근 요청과 서로 동일하고, 제11 데이터 접근 요청은 인공신경망 연산이라고 결정하도록 구성될 수 있다.
도 2를 다시 참조하면, 인공신경망 메모리 제어부(120)는 제1 데이터 접근 요청부터 제9 데이터 접근 요청까지는 인공신경망 데이터 지역성 패턴을 생성하지 않은 경우를 예시하고 있다. 이러한 경우는, 인공신경망 메모리 제어부(120)이 초기화 되거나, 프로세서(110)가 인공신경망 연산을 수행하지 않은 경우일 수 있다. 따라서 인공신경망 메모리 제어부(120)는 제9 데이터 접근 요청까지 패턴이 일치되는 경우를 감지하지 않는다. 인공신경망 메모리 제어부(120)는 제10 데이터 접근 요청 시 제1 데이터 접근 요청과 동일성을 결정하고 인공신경망 데이터 지역성 패턴을 생성하고, 패턴의 일치 여부를 기록할 수 있다. 제10 데이터 접근 요청내지 제18 데이터 접근 요청은 제1 데이터 접근 요청내지 제9 데이터 접근 요청과 동일하기 때문에, 인공신경망 메모리 제어부(120)는 제10 데이터 접근 요청내지 제18 데이터 접근의 패턴은 인공신경망 데이터 지역성 패턴과 일치한다고 결정할 수 있다.
즉, 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴을 활용하여 프로세서(110)가 처리중인 연산이 인공신경망 연산인지 여부를 결정하도록 구성될 수 있다. 상술한 구성에 따르면, 인공신경망 메모리 제어부(120)는 프로세서(110)가 생성하는 메모리 주소 값 및 동작 모드 값을 포함하는 데이터 접근 요청만 수신하더라도 프로세서(110)가 인공신경망 연산을 처리중인 것을 결정할 수 있는 효과를 제공할 수 있다. 따라서 인공신경망 메모리 제어부(120)는 별도의 추가적인 식별 정보가 없더라도 인공신경망 데이터 지역성 패턴에 기초하여 프로세서(110)가 현재 인공신경망 연산을 수행하는지 여부를 결정할 수 있는 효과를 제공할 수 있다.
도 2를 참조하여 부연 설명하면, 각각의 데이터 접근 요청은 토큰으로 저장되도록 구성될 수 있다. 예를 들면, 예를 들면, 인공신경망 각각의 데이터 접근 요청은 데이터 접근 요청을 토큰화(tokenization)하여 저장할 수 있다. 예를 들면, 인공신경망 각각의 데이터 접근 요청은 식별 정보를 기초로 토큰화 할 수 있다. 예를 들면, 인공신경망 각각의 데이터 접근 요청은 메모리 주소 값을 기초로 토큰화 할 수 있다. 단, 본 개시의 실시예들은 이에 제한되지 않으며, 토큰은 코드(code) 또는 아이디(ID) 등으로 지칭될 수 있다.
예를 들면, 제1 데이터 접근 요청은 토큰(token) [1]로 저장될 수 있다. 제4 데이터 접근 요청은 토큰 [4]로 저장될 수 있다. 제7 데이터 접근 요청은 토큰 [7]로 저장될 수 있다. 예를 들면, 인공신경망 데이터 지역성 패턴은 토큰 [1-2-3-4-5-6-7-8-9]로 저장될 수 있다. 예를 들면, 제 10 데이터 접근 요청은 토큰 [1]과 동일한 메모리 주소 값 및 동일한 동작 모드 값을 가지기 때문에 토큰 [1]로 저장될 수 있다. 제13 데이터 접근 요청은 토큰 [4]와 동일한 메모리 주소 값 및 동작 모드 값을 가지기 때문에 토큰 [4]로 저장될 수 있다. 따라서 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴의 토큰과 동일한 토큰을 감지하면, 해당 데이터 접근 요청이 인공신경망 연산인 것을 결정하도록 구성될 수 있다.
상술한 구성에 따르면 인공신경망 메모리 제어부(120)는 토큰화 된 인공신경망 데이터 지역성 패턴을 활용하여 데이터 접근 요청을 쉽고 빠르게 인식하고 구분할 수 있는 효과가 있으며, 더 나아가서, 데이터 접근 요청에 추가적인 식별 정보 및/또는 데이터가 더 추가될 경우에도 동일한 토큰을 사용하여, 데이터 접근 요청의 추가 정보가 증가하는 경우에도 토큰을 활용하여 데이터 접근 요청을 쉽고 빠르게 인식하고 구분할 수 있는 효과를 제공할 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부에 저장된 인공신경망 데이터 지역성 패턴이 삭제되거나 또는 초기화 될 수 있다. 예를 들어, 인공신경망 데이터 지역성 패턴이 기 설정된 시간을 초과할 동안 활용되지 않을 경우, 예를 들면, 인공신경망 데이터 지역성 패턴과 매칭되는 데이터 접근 요청이 특정 시간 동안 생성되지 않는 경우, 인공신경망 메모리 제어부는 해당 인공신경망 데이터 지역성 패턴의 활용 빈도가 낮다고 결정하여, 해당 인공신경망 데이터 지역성 패턴을 삭제하거나 또는 초기화 할 수 있다.
상술한 구성에 따르면, 인공신경망 데이터 지역성 패턴을 저장하는 메모리의 저장공간의 활용도를 향상시킬 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴의 갱신된 패턴과 이전의 패턴을 저장하여, 인공신경망모델의 변화 여부를 결정하도록 구성될 수 있다. 즉, 인공신경망 메모리 제어부는 인공신경망모델의 개수가 복수일 경우, 인공신경망모델의 개수에 대응되는 인공신경망 데이터 지역성 패턴들을 더 생성하도록 구성될 수 있다.
예를 들면, 제1 인공신경망 데이터 지역성 패턴은 토큰 [1-2-3-4-5-6-7-8-9]이고 제2 인공신경망 데이터 지역성 패턴은 토큰 [11-12-13-14-15-16]일 경우, 프로세서가 토큰 [1]에 대응되는 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부는 제1 인공신경망 데이터 지역성 패턴을 선택하도록 구성될 수 있다. 또는 프로세서가 토큰 [11]에 대응되는 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부는 제2 인공신경망 데이터 지역성 패턴을 선택하도록 구성될 수 있다.
상술한 구성에 의하면, 인공신경망 메모리 제어부는 복수의 인공신경망 데이터 지역성 패턴을 저장할 수 있으며, 프로세서가 처리하는 인공신경망모델이 다른 인공신경망모델로 바뀔 때, 기 저장된 인공신경망 데이터 지역성 패턴을 빠르게 적용할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 데이터 접근 요청들이 하나의 인공신경망모델의 요청들인지 또는 복수의 인공신경망모델들의 요청들이 혼합된 것인지 여부를 결정하도록 구성될 수 있다. 또한, 인공신경망 메모리 제어부는 복수의 인공신경망모델들 각각의 인공신경망 데이터 지역성에 대응되는 데이터 접근 요청을 각각 예측하도록 구성될 수 있다.
예를 들면, 프로세서는 복수개의 인공신경망모델을 동시에 처리할 수 있으며, 이러한 경우에 프로세서가 생성하는 데이터 접근 요청은 복수개의 인공신경망모델에 대응되는 데이터 접근 요청이 혼합될 수 있다.
예를 들면, 제1 인공신경망 데이터 지역성 패턴은 토큰 [1-2-3-4-5-6-7-8-9]이고 제2 인공신경망 데이터 지역성 패턴은 토큰 [11-12-13-14-15-16]일 경우, 프로세서(110)는 [1-11-2-3-12-13-14-4-5-6-15-16-7-8-9]의 순서로 데이터 접근 요청에 대응되는 토큰을 생성할 수 있다.
인공신경망 메모리 제어부는 각각의 인공신경망 데이터 지역성 패턴을 알기 때문에, 토큰[1]이 생성된 다음 토큰[11]이 생성되더라도, 인공신경망 메모리 제어부는 토큰[2]가 다음에 생성될 것을 예측할 수 있다. 따라서 인공신경망 메모리 제어부는 토큰[2]에 대응되는 사전 데이터 접근을 생성할 수 있다. 또한 토큰[11]이 생성된 다음 토큰[2]가 생성되더라도, 인공신경망 메모리 제어부는 토큰 [12]가 다음에 생성될 것을 예측할 수 있다. 따라서 인공신경망 메모리 제어부는 토큰[12]에 대응되는 사전 데이터 접근을 생성할 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부(120)는 복수의 인공신경망모델을 처리하는 프로세서(110)가 생성할 데이터 접근 요청을 인공신경망모델 별로 각각 예측하여 프로세서(110)가 요청할 데이터를 사전에 예측하여 대비할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 복수개의 인공신경망 데이터 지역성 패턴을 저장하도록 구성될 수 있다.
예를 들어, 프로세서가 2개의 인공신경망모델을 처리할 경우, 인공신경망 메모리 제어부는 각각의 인공신경망모델의 인공신경망 데이터 지역성 패턴을 저장하도록 구성될 수 있다.
상술한 구성에 따르면, 각각의 인공신경망모델의 연산이 처리될 때, 각각의 모델에 대응되는 다음 데이터 접근 요청이 예측될 수 있기 때문에, 본 발명의 실시예는 인공신경망 연산의 처리 속도를 향상시킬 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는, 인공신경망 데이터 지역성 패턴을 기계학습을 하도록 구성된 인공신경망모델을 더 포함하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부의 인공신경망모델은 프로세서가 생성하는 데이터 접근 요청을 실시간으로 강화 학습하도록 구성될 수 있다. 또한 인공신경망 메모리 제어부의 인공신경망모델은 종래에 잘 알려진 인공신경망모델들의 인공신경망 데이터 지역성 패턴들을 학습 자료로 활용하여 학습된 모델일 수 있다. 따라서 인공신경망 메모리 제어부는 다양한 인공신경망모델들을 인공신경망 데이터 지역성 패턴을 추출해 낼 수 있는 효과가 있다. 특히 서버와 같이 다수의 사용자의 요청에 의해서 다양한 인공신경망모델들을 처리할 때 이러한 방식이 효과적일 수 있다.
도 2를 참조하여 부연 설명하면, 인공신경망 메모리 제어부(120)는 프로세서(110)가 처리하는 인공신경망모델을 동적으로 또는 실시간으로 모니터링하고, 인공신경망모델의 변경 여부를 결정하도록 구성될 수 있다.
예를 들면, 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴의 패턴 일치 빈도를 통계적으로 활용하여 인공신경망 데이터 지역성 패턴의 신뢰도를 결정하도록 구성될 수 있다. 데이터 지역성 패턴의 패턴 일치 빈도가 증가할수록 인공신경망 데이터 지역성 패턴의 신뢰도가 증가하도록 구성되고, 데이터 지역성 패턴의 패턴 일치 빈도가 저감될수록 인공신경망 데이터 지역성 패턴의 신뢰도가 감소하도록 구성될 수 있다.
상술한 구성에 따르면, 프로세서(110)가 특정 인공신경망모델을 반복 처리할 때 인공신경망 메모리 제어부(120)는 특정 인공신경망모델의 인공신경망 데이터 지역성 예측 신뢰도가 향상될 수 있는 효과가 있다.
도 3은 본 개시의 다양한 실시예들에 적용될 수 있는 인공신경망 데이터 지역성 패턴의 설명을 위한 예시적인 인공신경망모델을 나타내는 개략도이다.
도 3에 도시된 프로세서(110)가 처리중인 예시적인 인공신경망모델(1300)은 특정 추론 기능을 하도록 학습된 임의의 인공신경망모델일 수 있다. 단지 설명의 편의를 위해서 각각의 모든 노드(node)가 모두 연결된(fully-connected) 인공신경망모델을 도시하였지만, 본 개시는 이에 제한되지 않는다.
도 3에 도시되지 않았지만, 본 개시에 적용될 수 있는 인공신경망모델은 심층 신경망(DNN, Deep Neural Network)의 한 종류인 컨벌루션 신경망(CNN, Convolutional Neural Network)일 수 있다. 예시적인 인공신경망모델은 VGG, VGG16, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 등의 모델이거나 또는 적어도 두 개의 서로 다른 모델들에 기초한 앙상블 모델일 수도 있다 수 있다. 단, 본 개시의 인공신경망모델은 이에 제한되지 않는다.
상술한 예시적인 인공신경망모델들은 인공신경망 데이터 지역성을 가지도록 구성될 수 있다.
다시 도 3을 참조하여 프로세서(110)가 처리하는 인공신경망모델의 인공신경망 데이터 지역성에 대해서 자세히 설명한다.
예시적인 인공신경망모델(1300)은 입력 레이어(1310), 제1 연결망(1320), 제1 은닉 레이어(1330), 제2 연결망(1340), 제2 은닉 레이어(1350), 제3 연결망(1360), 및 출력 레이어(1370)을 포함한다.
인공신경망의 연결망은 대응되는 가중치 값을 가진다. 연결망의 가중치 값은 입력 노드 값과 곱해지고, 곱해진 값들의 누산된 값이 대응되는 출력 레이어의 노드에 저장된다.
부연 설명하면, 인공신경망모델(1300)의 연결망은 선으로 도시되어 있으며 가중치는 ⓧ로 도시되어 있다.
부연 설명하면, 누산된 값에 비선형성을 부여하기 위한 여러 가지 활성화 함수를 추가적으로 제공하도록 구성될 수 있다. 활성화 함수는 예를 들면, 시그모이드 함수, 하이퍼볼릭 탄젠트 함수, 또는 ReLU함수등일 수 있다. 단, 본 개시는 이에 제한되지 않는다.
예시적인 인공신경망모델(1300)의 입력 레이어(1310)는 x1 및 x2 입력 노드를 포함한다.
예시적인 인공신경망모델(1300)의 제1 연결망(1320)은 입력 레이어(1310)의 각각의 노드와 제1 은닉 레이어(1330)의 노드들을 연결하는 6개의 가중치 값을 가지는 연결망들을 포함한다.
예시적인 인공신경망모델(1300)의 제1 은닉 레이어(1330)는 a1, a2, 및 a3 노드를 포함한다. 제1 연결망(1320)의 가중치 값들은 대응되는 입력 레이어(1310)의 노드 값과 곱해지고, 곱해진 값들의 누산된 값이 제1 은닉 레이어(1330)에 저장된다.
예시적인 인공신경망모델(1300)의 제2 연결망(1340)은 제1 은닉 레이어(1330)의 노드들과 제2 은닉 레이어(1350)의 노드들을 연결하는 9개의 가중치 값을 가지는 연결망들을 포함한다.
예시적인 인공신경망모델(1300)의 제2 은닉 레이어(1350)는 b1, b2, 및 b3 노드를 포함한다. 제2 연결망(1340)의 가중치 값은 대응되는 제1 은닉 레이어(1330)의 노드 값과 곱해지고, 곱해진 값들의 누산된 값이 제2 은닉 레이어(1350)에 저장된다.
예시적인 인공신경망모델(1300)의 제3 연결망(1360)은 제2 은닉 레이어(1350)의 각각의 노드와 출력 레이어(1370)의 각각의 노드를 연결하는 6개의 가중치 값을 가지는 연결망들을 포함한다.
예시적인 인공신경망모델(1300)의 출력 레이어(1370)는 y1, 및 y2 노드를 포함한다. 제3 연결망(1360)의 가중치 값은 대응되는 제2 은닉 레이어(1350)의 입력 노드 값과 곱해지고, 곱해진 값들의 누산된 값이 출력 레이어(1370)에 저장된다.
상술한 인공신경망모델(1300)의 구조에 의하면, 각 레이어 별 연산은 순차적으로 수행되어야 한다는 사실을 인식할 수 있다. 즉, 인공신경망모델의 구조가 확정될 경우, 레이어 별 연산순서가 정해져야 하며, 순서를 다르게 연산할 경우, 추론 결과가 부정확해질 수 있는 문제가 발생할 수 있다. 이러한 인공신경망모델의 구조에 따른 연산의 순서 또는 데이터 흐름의 순서를 인공신경망 데이터 지역성으로 정의할 수 있다.
부연 설명하면, 단지 설명의 편의를 위해서 도 2에서 레이어 단위로 설명하였으나, 본 개시의 실시예들은 레이어 단위에 제한되지 않는다. 본 개시의 실시예들에 따른 프로세서(110)는 인공신경망 데이터 지역성에 기초하여 데이터를 처리하기 때문에, 레이어 단위가 아닌 워드 단위 또는 데이터 접근 요청 단위로 동작될 수 있다. 여기서 데이터 접근 요청의 데이터의 크기는 대응되는 레이어의 데이터 크기 이하일 수 있다.
다시 도 3을 참조하여 예를 들면, 제1 연결망(1320)의 가중치 값들과 입력 레이어(1310)의 노드 값의 곱셈 연산을 위해서 프로세서(110)는 레이어 단위로 데이터 접근 요청을 생성할 수 있다.
하지만 프로세서(110)의 특징맵 분할 합성곱, 프로세싱 엘리먼트의 스테이셔너리 기법, 프로세서의 프로세싱 엘리먼트 개수, 프로세서(110)의 캐쉬 메모리 용량, 프로세서(110)의 메모리 계층 구조, 및/또는 프로세서(110)의 컴파일러 알고리즘에 따라서 제1 연결망(1320)의 가중치 값들과 입력 레이어(1310)의 노드 값들의 레이어 연산은 하나의 데이터 접근 요청으로 처리되지 않고, 복수로 분할된 순차적 데이터 접근 요청들로 처리될 수 있다.
프로세서(110)가 요청할 데이터 접근 요청이 복수로 분할될 경우, 분할된 데이터 접근 요청들을 요청하는 순서가 인공신경망 데이터 지역성에 의해서 결정될 수 있다. 이때, 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성을 제공 받아서, 프로세서(110)가 요청할 다음 데이터 접근 요청에 대응되는 데이터를 제공할 준비를 하도록 구성되는 것도 가능하다. 또는, 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성을 예측하여, 프로세서(110)가 요청할 다음 데이터 접근 요청에 대응되는 데이터를 제공할 준비를 하도록 구성되는 것도 가능하다.
도 3에 도시된 인공신경망모델(1300)의 인공신경망 연산 시 프로세서(110)가 생성하는 데이터 접근 요청들과 인공신경망 데이터 지역성에 대해여 설명한다.
프로세서(110)는 인공신경망모델(1300)의 입력 레이어(1310)는 입력 노드 값들을 읽기 위한 제1 데이터 접근 요청을 생성한다. 제1 데이터 접근 요청은 제1 메모리 주소 값 및 읽기 모드 값을 포함한다. 제1 데이터 접근 요청은 토큰[1]로 저장될 수 있다.
다음으로, 프로세서(110)는 인공신경망모델(1300)의 제1 연결망(1320)의 가중치 값들을 읽기 위한 제2 데이터 접근 요청을 생성한다. 제2 데이터 접근 요청은 제2 메모리 주소 값 및 읽기 모드 값을 포함한다. 제2 데이터 접근 요청은 토큰[2]로 저장될 수 있다.
다음으로, 프로세서(110)는 인공신경망모델(1300)의 제1 연결망(1320)의 가중치 값들과 입력 레이어(1310)의 노드 값들을 곱하고 누산한 제1 은닉 레이어(1330)의 노드 값들을 저장하기 위한 제3 데이터 접근 요청을 생성한다. 제3 데이터 접근 요청은 제3 메모리 주소 값 및 쓰기 모드 값을 포함한다. 제3 데이터 접근 요청은 토큰[3]으로 저장될 수 있다.
다음으로, 프로세서(110)는 인공신경망모델(1300)의 제1 은닉 레이어(1330)에 저장된 노드 값들을 읽기 위한 제4 데이터 접근 요청을 생성한다. 제4 데이터 접근 요청은 제3 메모리 주소 값 및 읽기 모드 값을 포함한다. 제4 데이터 접근 요청은 토큰[4]로 저장될 수 있다.
다음으로, 프로세서(110)는 인공신경망모델(1300)의 제2 연결망(1340)의 가중치 값들을 읽기 위한 제5 데이터 접근 요청을 생성한다. 제5 데이터 접근 요청은 제5 메모리 주소 값 및 쓰기 모드 값을 포함한다. 제5 데이터 접근 요청은 토큰[5]로 저장될 수 있다.
다음으로, 프로세서(110)는 인공신경망모델(1300)의 제2 연결망(1340)의 가중치 값들과 제1 은닉 레이어(1330)의 노드 값들을 곱하고 누산한 제2 은닉 레이어(1350)의 노드 값들을 저장하기 위한 제6 데이터 접근 요청을 생성한다. 제6 데이터 접근 요청은 제6 메모리 주소 값 및 쓰기 모드 값을 포함한다. 제6 데이터 접근 요청은 토큰[6]으로 저장될 수 있다.
다음으로, 프로세서(110)는 인공신경망모델(1300)의 제2 은닉 레이어(1350)에 저장된 노드 값들을 읽기 위한 제7 데이터 접근 요청을 생성한다. 제7 데이터 접근 요청은 제6 메모리 주소 값 및 읽기 모드 값을 포함한다. 제7 데이터 접근 요청은 토큰[7]로 저장될 수 있다.
다음으로, 프로세서(110)는 인공신경망모델(1300)의 제3 연결망(1360)의 가중치 값들을 읽기 위한 제8 데이터 접근 요청을 생성한다. 제8 데이터 접근 요청은 제8 메모리 주소 값 및 읽기 모드 값을 포함한다. 제8 데이터 접근 요청은 토큰[8]로 저장될 수 있다.
다음으로, 프로세서(110)는 인공신경망모델(1300)의 제3 연결망(1360)의 가중치 값들과 제2 은닉 레이어(1350)의 노드 값들을 곱하고 누산한 출력 레이어(1370)의 노드 값들을 저장하기 위한 제9 데이터 접근 요청을 생성한다. 제9 데이터 접근 요청은 제9 메모리 주소 값 및 쓰기 모드 값을 포함한다. 제9 데이터 접근 요청은 토큰[9]로 저장될 수 있다. 노드 값들은 특징맵(feature map), 활성화 맵(activation map) 등 일 수 있다. 단, 이에 제한되지 않는다. 가중치 값들은 커널 윈도우일 수 있다. 단, 이에 제한되지 않는다.
즉, 프로세서(110)는 예시적인 인공신경망모델(1300)의 추론을 위해서 제1 내지 제9 데이터 접근 요청을 생성해야 한다. 만약 프로세서(110)가 생성하는 데이터 접근 요청의 순서가 뒤섞일 경우, 인공신경망모델(1300)의 인공신경망 데이터 지역성이 손상되어 인공신경망모델(1300)의 추론 결과에 오류가 발생되거나 정확도가 저해될 수 있다. 예를 들면, 프로세서(110)가 제2 레이어를 먼저 연산하고 제1 레이어를 연산할 경우 등. 따라서 프로세서(110)는 인공신경망 데이터 지역성에 기초하여 데이터 접근 요청을 순차적으로 생성하도록 구성될 수 있다. 따라서 인공신경망 메모리 제어부(120)는 프로세서(110)가 인공신경망 연산 시 인공신경망 데이터 지역성에 기초하여 데이터 접근 요청을 순차적으로 생성한다고 가정할 수 있다.
다만, 상술하였듯이, 각각의 데이터 접근 요청은 프로세서의 하드웨어 특성에 따라서 프로세서-메모리 레벨에서 재해석 될 수 있다. 상술한 예는, 프로세서의 캐쉬 메모리의 가용 용량이 충분하고, 노드 값의 데이터 크기와 가중치 값의 데이터 크기가 캐쉬 메모리의 가용 용량보다 작은 경우를 예시로 설명하였다. 따라서, 각각의 레이어는 한번의 데이터 접근 요청 단위로 처리되는 것으로 설명될 수 있다. 만약, 인공신경망모델의 가중치 값, 특징맵, 커널, 활성화 맵 등의 데이터 크기가 프로세서의 캐쉬 메모리의 가용 용량보다 클 경우, 대응되는 데이터 접근 요청은 복수개로 분할될 수 있으며, 이러한 경우, 인공신경망모델의 인공신경망 데이터 지역성이 재구성될 수 있다.
본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴을 생성할 수 있기 때문에, 능동적으로 프로세서가 처리하는 인공신경망모델의 인공신경망 데이터 지역성에 대응되어 동작될 수 있는 효과가 있다.
즉, 인공신경망 메모리 제어부(120)는 프로세서(110)가 처리중인 인공신경망모델의 실제 인공신경망 데이터 지역성을 모르더라도, 기록된 데이터 접근 요청을 분석하여 인공신경망 데이터 지역성을 실질적으로 분석할 수 있는 효과가 있다.
즉, 인공신경망 메모리 제어부(120)는 프로세서(110)가 처리중인 인공신경망모델의 구조 정보를 제공하지 않더라도, 기록된 데이터 접근 요청을 분석하여 인공신경망 데이터 지역성을 실질적으로 분석할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 프로세서-메모리 레벨에서 기 생성된 인공신경망 데이터 지역성 패턴을 제공받도록 구성될 수 있다.
도 4는 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부가 도 3의 인공신경망모델을 분석하여 생성한 인공신경망 데이터 지역성 패턴을 설명하는 개략도이다. 도 5는 도 4의 인공신경망 데이터 지역성 패턴에 대응되는 토큰과 식별 정보를 설명하는 개략도이다.
도 4에 도시된 인공신경망 데이터 지역성 패턴(1400)은 단지 설명의 편의를 위해 토큰으로 도시되어 있다. 도 1a 내지 도 4를 참조하여 설명하면, 인공신경망모델(1300)의 인공신경망 데이터 지역성 패턴(1400)은 토큰 [1-2-3-4-5-6-7-8-9]으로 저장되어 있다. 도 5에 도시된 인공신경망 데이터 지역성 패턴(1400)에 대응되는 토큰과 대응되는 식별 정보가 도시되어 있다.
각각의 데이터 접근 요청은 식별 정보를 포함하도록 구성될 수 있다. 각각의 데이터 접근 요청은 토큰으로 표현될 수 있다. 단, 이는 단지 설명의 편의를 위한 것이며, 본 개시는 토큰에 제한되지 않는다.
인공신경망 데이터 지역성 패턴(1400)에 따르면, 인공신경망 메모리 제어부(120)는 현재의 토큰 이후에 발생될 토큰의 순서를 순차적으로 예측할 수 있는 효과가 있다.
예를 들면, 인공신경망 데이터 지역성 패턴(1400)은 마지막 토큰에서 시작 토큰으로 순서가 연결되는 루프 형태의 패턴을 가지도록 구성될 수 있다. 단, 본 개시는 이에 제한되지 않는다.
예를 들면, 인공신경망 데이터 지역성 패턴(1400)은 반복되는 루프 특성을 가지는 메모리 주소들로 구성될 수 있다. 단, 본 개시는 이에 제한되지 않는다.
예를 들면, 인공신경망 데이터 지역성 패턴(1400)은 인공신경망모델의 연산의 시작과 끝을 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다. 단, 본 개시는 이에 제한되지 않는다.
예를 들면, 인공신경망 데이터 지역성 패턴(1400)의 시작과 끝은 패턴의 시작 토큰과 마지막 토큰으로 구분하도록 구성될 수 있다. 단, 본 개시는 이에 제한되지 않는다.
상술한 구성에 따르면, 프로세서(110)가 특정 인공신경망모델을 반복하여 추론 할 때, 인공신경망 데이터 지역성 패턴(1400)은 루프 형태의 패턴이기 때문에 특정 인공신경망모델의 현재 추론이 끝나더라도, 다음 추론의 시작을 예측할 수 있는 효과가 있다.
예를 들면, 초당 30 IPS(inference per second) 속도로 자율 주행 자동차에 장착된 전방 카메라의 영상의 물체를 인식하는 인공신경망모델의 경우, 연속적으로 동일한 추론이 특정 주기로 계속 반복된다. 따라서 상술한 루프 형태의 인공신경망 데이터 지역성 패턴을 활용하면, 반복되는 데이터 접근 요청을 예측할 수 있는 효과가 있다.
식별 정보에 대해서 예를 들어 부연 설명하면, 인공신경망 데이터 지역성 패턴(1400)의 토큰 [3]과 토큰 [4]는 동일한 메모리 주소 값을 가지나 동작 모드가 다른 것을 확인할 수 있다. 따라서 인공신경망 메모리 제어부(120)는 메모리 주소 값이 동일하더라도, 동작 모드가 다르기 때문에 제3 데이터 접근 요청과 제4 데이터 접근 요청을 서로 다른 토큰으로 분류하도록 구성될 수 있다. 단, 본 개시의 실시예들의 식별 정보는 동작 모드에 제한되지 않으며, 메모리 주소 값만으로 인공신경망 데이터 지역성 패턴을 예측하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴(1400)에 기초하여 대응되는 사전 데이터 접근 요청을 생성하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴(1400)에 기초하여 사전 데이터 접근 요청을 순차적으로 더 생성하도록 구성될 수 있다.
상술한 구성에 따르면, 프로세서(110)가 인공신경망 데이터 지역성 패턴(1400)에 포함된 특정 데이터 접근 요청을 생성하면 인공신경망 메모리 제어부(120)는 특정 데이터 접근 요청 이후의 데이터 접근 요청들을 적어도 하나 이상 순차적으로 예측할 수 있는 효과가 있다. 예를 들면, 토큰 [1]을 프로세서(110)가 생성하면, 인공신경망 메모리 제어부(120)는 토큰 [2]에 대응되는 데이터 접근 요청이 다음에 생성될 것을 예측할 수 있는 효과가 있다. 예를 들면, 토큰 [3]을 프로세서(110)가 생성하면, 인공신경망 메모리 제어부(120)는 토큰 [4]에 대응되는 데이터 접근 요청이 다음에 생성될 것을 예측할 수 있는 효과가 있다. 예를 들면, 토큰 [1]을 프로세서(110)가 생성하면, 인공신경망 메모리 제어부(120)는 토큰 [2-3-4-5-6-7-8-9] 순서로 대응되는 데이터 접근 요청들이 생성될 것을 예측할 수 있는 효과가 있다.
부연 설명하면, 프로세서(110)가 복수의 인공신경망모델들을 처리할 경우, 인공신경망 데이터 지역성 패턴(1400)의 토큰들 사이에 예측하지 못한 데이터 지역성 패턴이 끼어들 수 있다. 예를 들면, 토큰 [2] 이후에 새로운 토큰[41]이 난입할 수 있다. 하지만 이러한 경우에도, 인공신경망 메모리 제어부(120)는 토큰 [2] 이후에는 프로세서(110)가 토큰[3]을 생성할 것을 예측하고 준비할 수 있는 효과가 있다.
예를 들면, 프로세서(110)가 토큰[9]를 생성하면, 인공신경망 메모리 제어부(120)는 프로세서(110)가 토큰[1]을 생성할 것을 예측할 수 있다.
도 6은 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부가 인공신경망 데이터 지역성 패턴에 기초하여 생성한 사전 데이터 접근 요청과 다음 데이터 접근 요청을 설명하는 개략도이다.
본 개시의 일 실시예에 따른 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴을 활용하여 프로세서(110)가 다음에 요청할 다음 데이터 접근 요청을 예측하여 사전 데이터 접근 요청을 생성하도록 구성될 수 있다.
도 6을 참조하면, 데이터 접근 요청 토큰은 인공신경망 메모리 제어부(120)가 프로세서(110)로부터 수신한 데이터 접근 요청에 대응되는 토큰을 의미한다. 사전 데이터 접근 요청 토큰은 프로세서(110)가 다음에 요청할 데이터 접근 요청을 인공신경망 메모리 제어부(120)가 인공신경망 데이터 지역성 패턴에 기초하여 사전에 예측한 데이터 접근 요청에 대응되는 토큰이다. 다음 데이터 접근 요청 토큰은 사전 데이터 접근 요청 토큰 생성 후 프로세서(110)가 실제 생성한 데이터 접근 요청 토큰이다. 단, 본 개시의 토큰은 단지 설명의 편의를 위한 예시일 뿐이며, 본 개시는 토큰에 제한되지 않는다.
데이터 접근 요청 및 사전 데이터 접근은 데이터 접근 요청 토큰에 대응될 수 있다. 이러한 경우, 특정 데이터 접근 요청 토큰에 매칭되는 데이터 접근 요청 및 사전 데이터 접근 요청은 서로 동일한 메모리 주소를 가지도록 구성될 수 있다. 즉, 데이터 접근 요청 및 사전 데이터 접근은 서로 동일한 메모리 주소를 포함하도록 구성될 수 있다.
예를 들면, 데이터 접근 요청 토큰이 [3]이고 사전 데이터 접근 요청 토큰이 [3]일 경우, 각각의 토큰의 메모리 주소 값은 서로 동일할 수 있다. 즉, 데이터 접근 요청 및 사전 데이터 접근은 서로 동일한 동작 모드 값을 포함하도록 구성될 수 있다. 예를 들면, 데이터 접근 요청 토큰이 [3]이고 사전 데이터 접근 요청 토큰이 [3]일 경우, 각각의 토큰의 동작 모드 값은 서로 동일할 수 있다.
도 6을 참조하면, 프로세서(110)가 토큰 [1]에 대응되는 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(120)는 토큰 [2]에 대응되는 사전 데이터 접근 요청을 생성한다. 프로세서(110)는 사전 데이터 접근 요청 생성 후 토큰 [2]에 대응되는 다음 데이터 접근 요청을 생성하였다. 그리고 인공신경망 메모리 제어부(120)는 사전 데이터 접근 요청이 다음 데이터 접근 요청을 정확히 예측했는지를 결정하도록 구성된다. 인공신경망 메모리 제어부(120)는 사전 데이터 접근 요청과 다음 데이터 접근 요청에 대응되는 토큰이 동일하기 때문에 패턴이 일치한다고 결정할 수 있다.
다음으로 예를 들면, 프로세서(110)가 토큰 [2]에 대응되는 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(120)는 토큰 [3]에 대응되는 사전 데이터 접근 요청을 생성한다. 프로세서(110)는 사전 데이터 접근 요청 생성 후 토큰 [3]에 대응되는 다음 데이터 접근 요청을 생성하였다. 그리고 인공신경망 메모리 제어부(120)는 사전 데이터 접근 요청이 다음 데이터 접근 요청을 정확히 예측했는지를 결정하도록 구성된다. 인공신경망 메모리 제어부(120)는 사전 데이터 접근 요청과 다음 데이터 접근 요청에 대응되는 토큰이 동일하기 때문에 패턴이 일치한다고 결정할 수 있다.
다시 예를 들면, 프로세서(110)가 토큰 [9]에 대응되는 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(120)는 토큰 [1]에 대응되는 사전 데이터 접근 요청을 생성한다. 프로세서(110)는 사전 데이터 접근 요청 생성 후 토큰 [9]에 대응되는 다음 데이터 접근 요청을 생성하였다. 그리고 인공신경망 메모리 제어부(120)는 사전 데이터 접근 요청이 다음 데이터 접근 요청을 정확히 예측했는지를 결정하도록 구성된다. 인공신경망 메모리 제어부(120)는 사전 데이터 접근 요청과 다음 데이터 접근 요청에 대응되는 토큰이 동일하기 때문에 패턴이 일치한다고 결정할 수 있다.
인공신경망 메모리 제어부(120)가 사전 데이터 접근 요청을 생성한 이후, 프로세서(110)가 다음 데이터 접근 요청을 생성할 경우, 인공신경망 메모리 제어부(120)는 사전 데이터 접근 요청과 다음 데이터 접근 요청이 서로 동일한 요청인지를 결정하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 시스템(100)은 프로세서(110)가 처리하는 인공신경망모델의 인공신경망 데이터 지역성의 변화를 감지할 수 있는 효과가 있다. 따라서, 인공신경망 메모리 제어부(120)는 인공신경망모델이 변하더라도 변경된 인공신경망 데이터 지역성을 분석할 수 있는 효과가 있다.
인공신경망 메모리 제어부(120)가 사전 데이터 접근 요청과 다음 데이터 접근 요청이 동일하다고 결정할 경우, 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴을 유지하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 시스템(100)은 프로세서(110)가 처리하는 인공신경망모델이 반복 사용되는 것을 감지하여, 프로세서(110)가 요구하는 데이터를 보다 더 빠르게 준비하거나 또는 제공할 수 있는 효과가 있다.
인공신경망 메모리 제어부(120)가 사전 데이터 접근 요청과 다음 데이터 접근 요청이 상이하다고 결정할 경우, 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴을 갱신하거나 또는 신규 인공신경망 데이터 지역성 패턴을 더 생성하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 시스템(100)은 프로세서(110)가 처리하는 인공신경망모델이 변경된 것을 감지하여, 변경된 인공신경망모델에 대응되는 사전 데이터 접근 요청을 생성할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 연속된 사전 데이터 접근 요청들을 생성하도록 구성될 수 있다.
예를 들면, 데이터 접근 요청 토큰이 [2] 일 경우, 인공신경망 메모리 제어부가 생성하는 사전 데이터 접근 요청은 토큰[3]에 대응되는 데이터 접근 요청일 수 있다. 단, 이에 제한되지 않으며, 예를 들면, 인공신경망 메모리 제어부가 생성하는 사전 데이터 접근 요청은 토큰[3-4]에 대응되는 복수의 데이터 접근 요청들일 수 있다. 단, 이에 제한되지 않으며, 예를 들면, 인공신경망 메모리 제어부가 생성하는 사전 데이터 접근 요청은 토큰[3-4-5-6]에 대응되는 복수의 데이터 접근 요청들일 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여, 계속 반복되는 데이터 접근 요청들의 순서를 모두 예측한 사전 데이터 접근 요청을 생성할 수 있는 효과가 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여, 적어도 일부의 데이터 접근 요청들의 순서를 사전에 예측한 사전 데이터 접근 요청을 생성할 수 있는 효과가 있다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 메모리 제어부의 동작을 개략적으로 설명하는 순서도이다.
도 7을 참조하면, 인공신경망 연산 처리를 위해서 프로세서(110)는 인공신경망 데이터 지역성에 기초하여 인공신경망모델에 대응되는 데이터 접근 요청을 생성하도록 구성될 수 있다.
인공신경망 메모리 제어부(120)는 프로세서(110)에서 생성된 데이터 접근 요청들을 순차적으로 기록하여 인공신경망 데이터 지역성 패턴을 생성한다(S710).
인공신경망 메모리 제어부(120)는 생성된 인공신경망 데이터 지역성 패턴과 프로세서(110)가 생성하는 데이터 접근 요청을 비교하여 프로세서(110)가 생성할 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성될 수 있다.
본 개시의 일 실시예에 따른 인공신경망 메모리 시스템(100)은 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 프로세서(110) 및 데이터 접근 요청을 순차적으로 기록하여 인공신경망 연산의 인공신경망 데이터 지역성 패턴을 생성한다(S720). 메모리 인공신경망 메모리 시스템(100)은 인공신경망 데이터 지역성 패턴에 기초하여 적어도 하나의 프로세서(110)가 생성한 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된, 적어도 하나의 인공신경망 메모리 제어부(120)를 포함하도록 구성될 수 있다.
즉, 적어도 하나의 인공신경망 메모리 제어부(120)는 다음 데이터 접근 요청 생성 전에 사전 데이터 접근 요청을 생성한다(S730).
즉, 적어도 하나의 프로세서(110)는 적어도 하나의 인공신경망 메모리 제어부(120)에 데이터 접근 요청을 전송하도록 구성되고, 적어도 하나의 인공신경망 메모리 제어부(120)는 데이터 접근 요청에 대응하여 사전 데이터 접근 요청을 출력하도록 구성될 수 있다.
본 개시의 일 실시예에 따른 인공신경망 메모리 시스템(100)은 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 프로세서(110) 및 적어도 하나의 프로세서(110)가 생성한 데이터 접근 요청을 순차적으로 기록하여 인공신경망 연산의 인공신경망 데이터 지역성 패턴을 생성하도록 구성되고, 인공신경망 데이터 지역성 패턴에 기초하여 적어도 하나의 프로세서(110)가 생성한 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 인공신경망 메모리 제어부(120)를 포함하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부(120)는 인공신경망 데이터 지역성 패턴에 기초하여 프로세서(110)가 처리중인 인공신경망모델이 생성할 다음 데이터 접근 요청을 사전에 예측할 수 있기 때문에, 프로세서(110)가 요청하기 전에 해당 데이터를 사전에 제공할 준비를 할 수 있는 장점이 있다.
인공신경망 메모리 제어부(120)는 생성된 사전 데이터 접근 요청과 사전 데이터 접근 요청 생성 후 프로세서(110)가 생성한 다음 데이터 접근 요청을 비교하여 인공신경망 데이터 지역성 패턴이 매칭되는지를 결정하도록 구성될 수 있다(S740).
상술한 구성에 따르면, 인공신경망 메모리 제어부(120)는 다음 데이터 접근 요청 생성 전에 사전 데이터 접근 요청을 생성하여 사전에 데이터를 제공할 준비를 할 수 있다. 따라서 인공신경망 메모리 제어부(120)는 프로세서(110)에 데이터를 제공할 때 발생될 수 있는 지연시간을 실질적으로 제거하거나 또는 저감할 수 있는 효과가 있다.
도 8은 본 개시의 다른 실시예에 따른 인공신경망 메모리 시스템을 설명하는 개략적인 블록도이다.
도 8을 참조하면, 인공신경망 메모리 시스템(200)은 프로세서(210), 인공신경망 메모리 제어부(220), 및 메모리(230)를 포함하도록 구성될 수 있다.
본 개시의 다른 실시예에 따른 인공신경망 메모리 시스템(200)을 본 개시의 일 실시예에 따른 인공신경망 메모리 시스템(100)과 비교하면, 인공신경망 메모리 시스템(200)이 메모리(230)를 더 포함하는 것을 제외하곤 실질적으로 동일하기 때문에, 이하 단지 설명의 편의를 위해서 중복 설명은 생략할 수 있다.
본 개시의 다른 실시예에 따른 인공신경망 메모리 시스템(200)은 인공신경망 메모리 제어부(220)와 통신하도록 구성된 메모리(230)를 포함하고, 메모리(230)는 인공신경망 메모리 제어부(220)에서 출력되는 메모리 접근 요청에 대응하여 동작하도록 구성될 수 있다.
프로세서(210)는 인공신경망 메모리 제어부(220)와 통신하도록 구성될 수 있다. 프로세서(210)는 인공신경망 메모리 제어부(220)로 송신할 데이터 접근 요청을 생성하도록 구성될 수 있다. 데이터 접근 요청은 처리중인 인공신경망모델의 인공신경망 데이터 지역성에 기초하여 생성될 수 있다. 프로세서(210)는 데이터 접근 요청에 대응되는 데이터를 인공신경망 메모리 제어부(220)로부터 제공받도록 구성된다.
인공신경망 메모리 제어부(220)는 프로세서(210)에서 생성된 데이터 접근 요청을 수신하도록 구성될 수 있다. 인공신경망 메모리 제어부(220)는 프로세서(210)가 처리중인 인공신경망모델의 인공신경망 데이터 지역성을 분석하여 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다.
인공신경망 메모리 제어부(220)는 메모리 접근 요청을 생성하여 메모리(230)를 제어하도록 구성될 수 있다. 인공신경망 메모리 제어부(220)는 데이터 접근 요청에 대응되는 메모리 접근 요청을 생성하도록 구성될 수 있다. 즉, 인공신경망 메모리 제어부(220)는 프로세서(210)가 생성한 데이터 접근 요청에 대응되는 메모리 접근 요청을 생성하도록 구성될 수 있다. 예를 들면, 인공신경망 메모리 제어부(220)가 인공신경망 데이터 지역성 패턴을 생성하지 않은 경우, 인공신경망 메모리 제어부(220)는 프로세서(210)가 생성한 데이터 접근 요청에 기초하여 메모리 접근 요청을 생성하도록 구성될 수 있다. 이러한 경우 메모리 접근 요청은 데이터 접근 요청에 포함된 식별 정보 중 메모리 주소 값 및 동작 모드 값을 포함하도록 구성될 수 있다.
인공신경망 메모리 제어부(220)는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청을 생성하도록 구성될 수 있다. 즉, 인공신경망 메모리 제어부(220)는 인공신경망 데이터 지역성 패턴에 기초여 생성된 사전 데이터 접근 요청에 기초하여 메모리 접근 요청을 생성하도록 구성될 수 있다. 예를 들면, 인공신경망 메모리 제어부(220)가 인공신경망 데이터 지역성 패턴을 생성한 경우, 인공신경망 메모리 제어부(220)는 사전 데이터 접근 요청에 기초하여 메모리 접근 요청을 생성하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부(220)는 메모리 접근 요청을 통해서 메모리(220)와 데이터를 주고 받을 수 있으며, 해당 메모리 접근 요청이 사전 데이터 접근 요청에 기초하여 생성될 경우, 인공신경망 메모리 시스템(200)은 프로세서(210)에 데이터를 보다 더 빠르게 제공할 수 있는 효과가 있다.
인공신경망 메모리 제어부(220)는 프로세서(210)가 생성한 데이터 접근 요청 및 인공신경망 메모리 제어부(220)가 생성한 사전 데이터 접근 요청 중 하나에 기초하여 메모리 접근 요청을 생성하도록 구성될 수 있다. 즉, 인공신경망 메모리 제어부(220)가 생성하는 메모리 접근 요청은 데이터 접근 요청 또는 사전 데이터 접근 요청에 기초하여 선택적으로 생성될 수 있다.
인공신경망 메모리 제어부(220)는 데이터 접근 요청 및 사전 데이터 접근 요청에 포함된 식별 정보 중 적어도 일부를 포함하는 메모리 접근 요청을 생성하도록 구성될 수 있다. 예를 들면, 프로세서(210)가 생성한 데이터 접근 요청은 메모리 주소 값 및 동작 모드 값을 포함할 수 있다. 이때, 인공신경망 메모리 제어부(220)가 생성한 메모리 접근 요청은 대응되는 데이터 접근 요청의 메모리 주소 값 및 동작 모드 값을 포함하도록 구성될 수 있다.
즉, 데이터 접근 요청, 사전 데이터 접근 요청 및 메모리 접근 요청 각각은 대응되는 메모리 주소 값 및 동작 모드 값을 각각 포함하도록 구성될 수 있다. 동작 모드는 읽기 모드 및 쓰기 모드를 포함하도록 구성될 수 있다. 예를 들면, 인공신경망 메모리 제어부(220)가 생성하는 메모리 접근 요청은 데이터 접근 요청 또는 사전 데이터 접근 요청과 동일한 구조의 데이터 형태로 구성될 수 있다. 따라서 메모리(230)의 입장에서는 데이터 접근 요청과 사전 데이터 접근 요청을 구분하지 않아도, 인공신경망 메모리 제어부(220)의 지시에 따라서 메모리 접근 요청 업무를 수행할 수 있다.
상술한 구성에 따르면, 메모리(230)는 인공신경망 메모리 제어부(220)가 생성하는 메모리 접근 요청이 데이터 접근 요청에 기초한 것인지 또는 사전 데이터 접근 요청에 기초한 것인지 여부와 상관없이 동작할 수 있는 효과가 있다. 따라서 인공신경망 메모리 제어부(220)는 인공신경망 데이터 지역성에 기초하여 동작하더라도, 다양한 종류의 메모리와 호환되어 동작할 수 있는 효과가 있다.
인공신경망 메모리 제어부(220)는 메모리 접근 요청을 메모리(230)에 전달하고, 메모리(230)는 메모리 접근 요청에 대응되는 메모리 동작을 수행하도록 구성된다.
본 개시의 실시예들에 따른 메모리는 다양한 형태로 구현될 수 있다. 메모리는 휘발성 메모리(volatile memory)와 비휘발성 메모리(non-volatile memory)로 구현될 수 있다.
휘발성 메모리는 DRAM(Dynamic RAM)과 SRAM(Static RAM) 등을 포함할 수 있다. 비휘발성 메모리는 PROM(Programmable ROM), EPROM(Erasable PROM), EEPROM(Electrically EPROM), 플래시 메모리(Flash Memory), 강유전체 램(ferroelectric RAM(FRAM)), 마그네틱 램(magnetic RAM(MRAM)), 및 상 변화 메모리 장치(phase change RAM) 등을 포함할 수 있다. 단, 본 개시는 이에 제한되지 않는다.
메모리(230)는 프로세서(210)가 처리중인 인공신경망모델의 추론 데이터, 가중치 데이터 및 특징맵 데이터 중 적어도 하나를 저장하도록 구성될 수 있다. 추론 데이터는 인공신경망모델의 입력신호일 수 있다.
메모리(230)는 인공신경망 메모리 제어부(220)로부터 메모리 접근 요청을 수신하도록 구성될 수 있다. 메모리(230)는 수신한 메모리 접근 요청에 대응되는 메모리 동작을 수행하도록 구성될 수 있다. 메모리 동작을 제어하는 동작 모드는 읽기 모드 또는 쓰기 모드를 포함할 수 있다.
예를 들면, 수신한 메모리 접근 요청의 동작 모드가 쓰기 모드일 경우, 메모리(230)는 대응되는 메모리 주소 값에 인공신경망 메모리 제어부(220)에서 수신된 데이터를 저장할 수 있다.
예를 들면, 수신한 메모리 접근 요청의 동작 모드가 읽기 모드일 경우, 메모리(230)는 대응되는 메모리 주소 값에 저장된 데이터를 인공신경망 메모리 제어부(220)에 전달할 수 있다. 인공신경망 메모리 제어부(220)는 전달받은 데이터를 프로세서(210)에 다시 전달하도록 구성될 수 있다.
메모리(230)는 지연시간(latency)을 가질 수 있다. 메모리(230)의 지연시간은 인공신경망 메모리 제어부(220)가 메모리 접근 요청을 처리할 때 지연되는 시간을 의미할 수 있다. 즉, 메모리(230)가 인공신경망 메모리 제어부(220)에서 메모리 접근 요청을 수신 하면, 특정 클럭 사이클의 지연시간 이후에 실제로 요구된 데이터가 메모리(230)에서 출력된다.
메모리(230)가 메모리 접근 요청을 처리하기 위해서, 메모리(230)는 메모리 접근 요청에 포함된 메모리 주소 값에 접근할 수 있다. 따라서, 메모리 주소 값에 접근하기 위한 시간이 필요하며, 이런 시간을 메모리 지연시간으로 정의할 수 있다. 예를 들면, DDR4 SDRAM 메모리의 CAS 지연시간은 10ns 정도다. 지연시간이 발생하는 동안 프로세서(210)에 데이터가 공급되지 않을 경우, 프로세서(210)는 대기(IDLE) 상태가 되어 실제 연산을 할 수 없게 될 수 있다.
부연 설명하면, 메모리(230)의 한 종류인 DRAM의 경우, 메모리(230)의 Row 주소에 따라 word line 및 bit line을 활성화하는 데 여러 클럭, Column line을 활성화하는 데 여러 클럭, 데이터를 메모리(230) 외부로 전송하는 경로를 통과하는 데 여러 클럭이 소요되며 NAND Flash의 경우에는 한번에 활성화되는 단위가 커서 그 중에서 필요한 주소의 데이터를 탐색하는 데까지 여러 클럭이 추가로 소요될 수도 있다.
메모리(230)는 대역폭(bandwidth)을 가질 수 있다. 메모리(230)의 데이터 전송률을 메모리 대역폭으로 정의할 수 있다. 예를 들면, DDR4 SDRAM 메모리의 대역폭은 4GBytes/sec 정도다. 메모리 대역폭이 높을수록 메모리(230)는 프로세서(210)에 데이터를 빠르게 전송할 수 있다.
즉, 인공신경망 메모리 시스템(200)의 처리 속도는 프로세서(210)의 처리 성능 보다, 프로세서(210)가 처리할 데이터를 공급할 때 발생되는 지연시간과 메모리(230)의 대역폭 성능이 상대적으로 더 많은 영향을 끼친다.
부연 설명하면, 메모리의 대역폭은 점진적으로 증가되고 있으나, 메모리의 지연시간은 대역폭의 개선 속도에 비해서 상대적으로 개선 속도가 느리다. 특히 메모리 접근 요청이 발생될 때마다, 메모리(230)의 지연시간이 발생되기 때문에, 빈번한 메모리 접근 요청은 인공신경망 처리 속도 저하의 중요한 원인이 될 수 있다.
즉, 프로세서(210)의 연산 처리 속도가 빠르더라도, 연산에 필요한 데이터를 가져올 때 지연이 발생되면, 프로세서(210)는 연산을 하지 않는 대기 상태가 될 수 있으며, 이러한 경우 프로세서(210)의 연산 처리 속도가 저하될 수 있다.
이에 본 개시의 실시예들에 따른 인공신경망 메모리 시스템은 메모리(230)의 대역폭 및/또는 지연시간을 개선하도록 구성될 수 있다.
도 9는 본 개시의 비교예에 따른 메모리 시스템의 동작을 설명하는 개략도이다.
도 9를 참조하면, 프로세서가 데이터 접근 요청을 생성하고, 종래의 메모리 시스템은 데이터 접근 요청에 대응되는 메모리 접근 요청을 메모리에 전달할 수 있다. 이때 메모리는 지연시간을 가지기 때문에, 프로세서는 지연시간 동안 대기한 후 요청한 데이터를 메모리에서 제공받을 수 있다.
예를 들면, 프로세서가 생성한 데이터 접근 요청[1]을 종래의 메모리 시스템이 수신하고, 데이터 접근 요청[1]에 대응되는 메모리 접근 요청[1’]을 메모리에 전달한다. 메모리는 지연시간 이후에 메모리 시스템에 데이터[1’’]를 전달 할 수 있다. 따라서, 프로세서는 하나의 데이터 접근 요청마다 메모리의 지연시간만큼 처리 시간이 지연될 수 있다. 따라서, 인공신경망 추론 연산의 시간이 메모리 지연시간 만큼 느려 질 수 있다. 특히, 프로세서가 데이터 접근 요청을 많이 생성할수록, 종래의 메모리 시스템의 인공신경망 추론 연산 시간이 더욱 더 지연될 수 있다.
도 10은 본 개시의 다른 실시예에 따른 메모리 시스템의 설명하는 개략도이다.
도 10을 참조하면, 프로세서(210)가 데이터 접근 요청[1]을 생성하고, 인공신경망 메모리 제어부(220)는 인공신경망 데이터 지역성 패턴에 기초하여 생성된 사전 데이터 접근 요청에 대응되는 메모리 접근 요청을 메모리(230)에 전달할 수 있다. 이때 메모리(230)가 지연시간을 가지더라도, 프로세서(210)는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청을 생성하였기 때문에, 프로세서(210)가 다음 데이터 접근 요청을 생성할 때 인공신경망 메모리 제어부(220)는 프로세서(210)가 요청한 데이터를 바로 프로세서(210)에 제공할 수 있다.
예를 들면, 프로세서(210)가 생성한 데이터 접근 요청[1]을 인공 신경망 메모리 제어부(220)가 수신하여 사전 데이터 접근 요청[2]을 생성하고, 사전 데이터 접근 요청[2]에 대응되는 메모리 접근 요청[2’]을 메모리(230)에 전달한다. 메모리(230)는 지연시간 이후에 인공신경망 메모리 제어부(220)에 데이터[2’’]를 전달할 수 있다. 하지만, 메모리(230)가 제공한 데이터[2’’]는 사전 데이터 접근 요청[2]에 기초한 메모리 접근 요청[2’]에 대응되는 데이터이다. 따라서 프로세서(210)가 다음 데이터 접근 요청[2]를 생성하면, 인공신경망 메모리 제어부(220)는 프로세서(210)에 데이터[2’’]를 즉각 제공할 수 있다.
만약, 사전 데이터 접근 요청에 기초한 메모리 접근 요청과 다음 데이터 접근 요청 사이의 시간이 메모리(230)의 지연시간 이상일 경우, 인공신경망 메모리 제어부(220)는 프로세서(210)에서 다음 데이터 접근 요청을 수신하자 마자 프로세서(210)에 데이터를 제공할 수 있다. 이러한 경우, 인공신경망 메모리 제어부(220)는 메모리(230)의 지연시간을 실질적으로 제거할 수 있는 효과가 있다.
다르게 설명하면, 사전 데이터 접근 요청에 기초한 메모리 접근 요청이 메모리(230)에 전달될 때, 메모리(230)의 지연시간이 사전 데이터 접근 요청 생성부터 다음 데이터 접근 요청 생성 까지의 시간 이하일 수 있다. 이러한 경우, 인공신경망 메모리 제어부(220)는 프로세서(210)가 다음 데이터 접근 요청을 생성하자 마자 지연시간 없이 데이터를 바로 제공할 수 있는 효과가 있다.
만약, 사전 데이터 접근 요청에 기초한 메모리 접근 요청과 다음 데이터 접근 요청 사이의 시간이 메모리(230)의 지연시간 미만이더라도, 메모리 접근 요청과 다음 데이터 접근 요청 사이의 시간만큼 메모리(230)의 지연시간을 실질적으로 감소시킬 수 있는 효과가 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부(220)는 프로세서(210)에 제공할 데이터의 지연시간을 실질적으로 제거하거나 또는 저감할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템의 인공신경망 메모리 제어부는 메모리의 지연시간을 측정하거나 또는 메모리의 지연시간 값을 메모리로부터 제공받도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 메모리의 지연시간에 기초하여 사전 데이터 접근 요청에 기초한 메모리 접근 요청의 생성 시기를 결정하도록 구성될 수 있다. 따라서 인공신경망 메모리 제어부가 메모리의 지연시간을 실질적으로 최소화 시키는 사전 데이터 접근 요청에 기초한 메모리 접근 요청을 생성 할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템의 메모리는 메모리 셀의 전압을 갱신할 수 있는 리프레쉬 기능을 포함하도록 구성된 메모리일 수 있다. 인공신경망 메모리 제어부는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청에 대응되는 메모리의 메모리 주소 영역의 리프레쉬를 선택적으로 제어하도록 구성될 수 있다. 예를 들면, 메모리는 리프레쉬 기능을 포함한 DRAM일 수 있다.
DRAM은 메모리 셀의 전압을 리프레쉬하지 않으면 메모리 셀이 서서히 방전되어, 저장된 데이터가 손실될 수 있다. 따라서 특정 주기마다 메모리 셀의 전압이 리프레쉬되어야 한다. 만약 인공신경망 메모리 제어부가 메모리 접근 요청을 할 때와 리프레쉬 타이밍이 겹칠 경우, 인공신경망 메모리 시스템은 메모리 셀의 전압을 리프레쉬하는 타이밍을 앞당기거나, 또는 지연시키도록 구성될 수 있다.
인공신경망 메모리 시스템은 인공신경망 데이터 지역성 패턴을 기초로 메모리 접근 요청의 생성 타이밍을 예측하거나 또는 계산할 수 있다. 따라서, 인공신경망 메모리 시스템은 메모리 접근 요청 동작 시 메모리 셀의 전압 리프레쉬를 제한하도록 구성될 수 있다.
부연 설명하면, 인공신경망 연산의 추론 연산은 정확도 개념으로 동작하기 때문에, 메모리 셀의 전압 리프레쉬가 지연되어 저장된 데이터에 일부 손실이 발생하더라도, 추론 정확도 저하는 실질적으로 무시할 수 있는 수준일 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 시스템은 메모리 셀의 전압 리프레쉬 주기와 조절하여 메모리 접근 요청에 따른 데이터를 메모리로부터 제공 받을 수 있는 효과가 있다. 따라서 인공신경망 메모리 시스템은 추론 정확도가 실질적으로 저하되지 않게 하면서 메모리 셀의 전압 리프레쉬에 따른 인공신경망 연산 속도 저하를 개선할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템의 메모리는 메모리의 글로벌 비트라인을 특정 전압으로 충전시킬 수 있는 프리차지(Precharge) 기능을 더 포함하도록 구성될 수 있다. 이때, 인공신경망 메모리 제어부는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청에 대응되는 메모리의 메모리 주소 영역에 프리차지를 선택적으로 제공하도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 사전 데이터 접근 요청에 대응되는 메모리 작업을 수행할 메모리의 비트라인을 프리차지 시키거나 또는 지연시키도록 구성될 수 있다.
일반적으로 메모리는 메모리 접근 요청을 입력 받아 읽기 동작 또는 쓰기 동작을 수행하는데 프리차지 동작을 수행한다. 한 번의 메모리 동작이 완료되면, 데이터 읽기 쓰기 동작을 수행한 비트라인 및 각 데이터 입출력 라인에 신호들이 남아 있게 되는데, 이와 같은 라인들을 기 설정된 레벨로 프리차지해야 다음의 메모리 동작을 원활하게 수행할 수 있다. 다만, 프리차지에 소요되는 시간이 상당히 길기 때문에, 메모리 접근 요청 생성 시기와 프리차지 타이밍이 겹칠 경우, 메모리 동작이 프리차지 시간만큼 지연될 수 있다. 따라서 프로세서가 요청한 데이터 접근 요청의 처리 시간이 지연될 수 있다.
인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 특정 순서에 특정 메모리의 비트라인에 메모리 동작이 수행될 것을 예측할 수 있다. 따라서 인공신경망 메모리 제어부는 특정 비트라인에 메모리 동작이 수행될 때와 프리차지 타이밍이 겹치지 않게 프리차지 타이밍을 앞당기거나 또는 지연시킬 수 있다.
부연 설명하면, 인공신경망모델의 추론 연산은 정확도 개념으로 동작하기 때문에, 프리차지가 지연되어 저장된 데이터에 일부 손실이 발생하더라도, 추론 정확도 저하는 실질적으로 무시할 수 있는 수준일 수 있다.
부연 설명하면, 인공신경망은 생물학의 뇌 신경망을 모방하여 모델링한 수학적 모델이다. 뉴런(Neuron)이라 불리는 인간의 신경세포는 시냅스(Synapse)라 불리는 신경세포의 접합부를 통하여 정보를 교환하며 신경세포와 신경세포 간의 정보교환은 매우 단순하지만, 상당한 수의 신경세포가 모여 지능을 만들어 낸다. 이러한 구조는 몇몇의 신경세포가 잘못된 정보를 전달하여도 전체 정보에 큰 영향을 끼치지 않으므로 적은 오류에 매우 강인한 장점을 지닌다. 즉, 상술한 특성 때문에, 인공신경망모델의 데이터를 저장하는 메모리의 프리차지 및 리프레쉬 기능을 선택적으로 제한하더라도 인공신경망모델의 정확도는 실질적으로 문제가 발생하지 않을 수 있으며 프리차지 또는 리프레쉬에 의한 메모리 지연시간을 저감할 수 있는 효과가 있다.
상술한 구성에 따르면, 인공신경망 메모리 시스템은 추론 정확도가 실질적으로 저하되지 않게 하면서 프리차지에 따른 인공신경망 연산 속도 저하를 개선할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 메모리의 리프레쉬 기능 및 프리차지 기능을 각각 제어하도록 구성될 수 있다.
도 11은 본 개시의 또 다른 실시예에 따른 인공신경망 메모리 시스템을 설명하는 개략적인 블록도이다.
도 11을 참조하면, 인공신경망 메모리 시스템(300)은 프로세서(310), 캐쉬 메모리(322)를 포함하는 인공신경망 메모리 제어부(320), 및 메모리(330)를 포함하도록 구성될 수 있다.
본 개시의 또 다른 실시예에 따른 인공신경망 메모리 시스템(300)을 본 개시의 다른 실시예에 따른 인공신경망 메모리 시스템(200)과 비교하면, 인공신경망 메모리 시스템(300)이 캐쉬 메모리(322)를 더 포함하는 것을 제외하곤 실질적으로 동일하기 때문에, 이하 단지 설명의 편의를 위해서 중복 설명은 생략할 수 있다.
본 개시의 또 다른 실시예에 따른 인공신경망 메모리 시스템(300)은 사전 데이터 접근 요청에 기초한 메모리 접근 요청에 응답하여 메모리(330)가 전송한 데이터를 저장하도록 구성된 캐쉬 메모리(322)를 포함하는 인공신경망 메모리 제어부(320)를 포함하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부(320)는 사전 데이터 접근 요청에 기초한 메모리 접근 요청에 응답한 데이터를 메모리(330)에서 읽어와서 캐쉬 메모리(322)에 저장할 수 있다. 따라서 프로세서(310)가 다음 데이터 접근 요청 생성 시, 인공신경망 메모리 제어부(320)는 캐쉬 메모리(322)에 저장된 데이터를 프로세서(310)에 바로 제공할 수 있는 효과가 있다.
캐쉬 메모리(322)의 지연시간은 메모리(330)의 지연시간보다 상대적으로 훨씬 짧다. 캐쉬 메모리(322)의 대역폭은 메모리(330)의 대역폭보다 상대적으로 더 높다.
본 개시의 또 다른 실시예에 따른 캐쉬 메모리(322)를 포함한 인공신경망 메모리 시스템(300)의 인공신경망모델 처리 성능은 본 개시의 다른 실시예에 따른 인공신경망 메모리 시스템(200)보다 상대적으로 더 우수할 수 있는 효과가 있다.
다시, 도 3의 인공신경망모델(1300)을 참조하여 본 개시의 또 다른 실시예에 따른 인공신경망 메모리 시스템(300)을 설명한다.
인공신경망모델(1300)은 특정 컴파일러(compiler)에 의해서 컴파일 되어 프로세서(310)에서 연산 될 수도 있다. 컴파일러는 인공신경망 메모리 제어부(320)에 인공신경망 데이터 지역성 패턴을 제공하도록 구성될 수도 있다.
인공신경망모델(1300)을 추론하기 위해서 프로세서(310)는 인공신경망 데이터 지역성에 기초한 순서대로 데이터 접근 요청들을 생성하도록 구성된다. 따라서 인공신경망 메모리 제어부(320)는 데이터 접근 요청들을 모니터링하여 인공신경망 데이터 지역성 패턴(1400)을 생성할 수 있다. 또는, 인공신경망 메모리 제어부(320)는 기 생성된 인공신경망 데이터 지역성 패턴(1400)을 저장하고 있을 수도 있다.
이하 인공신경망 데이터 지역성 패턴(1400)이 생성되지 않은 경우를 설명한다.
먼저 프로세서(310)는 입력 레이어(1310)의 노드 값 읽기에 대응되는 토큰[1]의 데이터 접근 요청을 생성할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[1]의 메모리 접근 요청을 생성하여 메모리(330)에서 전달 받은 입력 레이어(1310)의 노드 값을 프로세서(310)에 전달할 수 있다.
이어서, 프로세서(310)는 제1 연결망(1320)의 가중치 값 읽기에 대응되는 토큰[2]의 데이터 접근 요청을 생성할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[2]의 메모리 접근 요청을 생성하여 메모리(330)에서 전달 받은 제1 연결망(1320)의 가중치 값을 프로세서(310)에 전달할 수 있다.
이어서, 프로세서(310)는 입력 레이어(1310)의 노드 값과 제1 연결망(1320)의 가중치 값을 전달 받아 제1 은닉 레이어(1330)의 노드 값을 연산할 수 있다. 즉, 프로세서(310)는 제1 은닉 레이어(1330)의 노드 값 쓰기에 대응되는 토큰[3]의 데이터 접근 요청을 생성 할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[3]의 메모리 접근 요청을 생성하여 제1 은닉 레이어(1330)의 노드 값을 메모리(330)에 저장할 수 있다.
이어서, 프로세서(310)는 제1 은닉 레이어(1330)의 노드 값 읽기에 대응되는 토큰[4]의 데이터 접근 요청을 생성할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[4]의 메모리 접근 요청을 생성하여 메모리(330)에서 전달 받은 제1 은닉 레이어(1330)의 노드 값을 프로세서(310)에 전달할 수 있다.
이어서, 프로세서(310)는 제2 연결망(1340)의 가중치 값 읽기에 대응되는 토큰[5]의 데이터 접근 요청을 생성할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[5]의 메모리 접근 요청을 생성하여 메모리(330)에서 전달 받은 제2 연결망(1340)의 가중치 값을 프로세서(310)에 전달할 수 있다.
이어서, 프로세서(310)는 제1 은닉 레이어(1330)의 노드 값과 제2 연결망(1340)의 가중치 값을 전달 받아 제2 은닉 레이어(1350)의 노드 값을 연산할 수 있다. 즉, 프로세서(310)는 제2 은닉 레이어(1350)의 노드 값 쓰기에 대응되는 토큰[6]의 데이터 접근 요청을 생성 할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[6]의 메모리 접근 요청을 생성하여 제2 은닉 레이어(1350)의 노드 값을 메모리(330)에 저장할 수 있다.
이어서, 프로세서(310)는 제2 은닉 레이어(1350)의 노드 값 읽기에 대응되는 토큰[7]의 데이터 접근 요청을 생성할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[7]의 메모리 접근 요청을 생성하여 메모리(330)에서 전달 받은 제2 은닉 레이어(1350)의 노드 값을 프로세서(310)에 전달할 수 있다.
이어서, 프로세서(310)는 제3 연결망(1360)의 가중치 값 읽기에 대응되는 토큰[8]의 데이터 접근 요청을 생성할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[8]의 메모리 접근 요청을 생성하여 메모리(330)에서 전달 받은 제3 연결망(1360)의 가중치 값을 프로세서(310)에 전달할 수 있다.
이어서, 프로세서(310)는 제2 은닉 레이어(1350)의 노드 값과 제3 연결망(1360)의 가중치 값을 전달 받아 출력 레이어(1370)의 노드 값을 연산할 수 있다. 즉, 프로세서(310)는 출력 레이어(1370)의 노드 값 쓰기에 대응되는 토큰[9]의 데이터 접근 요청을 생성 할 수 있다. 따라서, 인공신경망 메모리 제어부(320)는 토큰[9]의 메모리 접근 요청을 생성하여 출력 레이어(1370)의 노드 값을 메모리(330)에 저장할 수 있다.
따라서, 인공신경망 메모리 시스템(300)은 출력 레이어(1370)에 인공신경망모델(1300)의 추론 결과를 저장할 수 있다.
상술한 예시는 인공신경망 메모리 제어부(320)에 인공신경망 데이터 지역성 패턴(1400)이 생성되지 않은 경우이다. 따라서 상술한 예시는 사전 데이터 접근 요청을 생성할 수 없다. 따라서 인공신경망 메모리 제어부(320)가 사전에 데이터를 제공하지 못했기 때문에 각각의 메모리 접근 요청마다 메모리(330)의 지연시간이 발생할 수 있다.
하지만, 인공신경망 메모리 제어부(320)가 데이터 접근 요청들을 기록하였기 때문에 다시 프로세서(310)가 입력 레이어(1310)의 노드 값 읽기에 대응되는 토큰[1]의 데이터 접근 요청을 생성할 경우, 인공신경망 데이터 지역성 패턴(1400)을 생성할 수 있다.
이하에서는 도 4를 다시 참조하여, 인공신경망 데이터 지역성 패턴(1400)이 생성된 경우를 설명한다.
이하의 예시는, 인공신경망 데이터 지역성 패턴(1400)이 생성되고, 프로세서(310)가 인공신경망모델(1300)을 반복 추론 중인 경우일 수 있다. 단, 이에 제한되지 않는다.
프로세서(310)는 반복된 토큰[1]의 데이터 접근 요청을 감지하여 인공신경망 데이터 지역성 패턴(1400)을 생성할 수 있다. 부연 설명하면, 인공신경망 메모리 제어부(320)가 토큰[1] 부터 토큰[9]를 순차적으로 저장하였기 때문에, 인공신경망 메모리 제어부(320)가 토큰[1]을 다시 감지할 때 인공신경망 데이터 지역성을 결정할 수 있다.
다만, 상술하였듯이 본 개시의 실시예들에 따른 인공신경망 메모리 제어부는 토큰에 제한되지 않으며, 토큰은 단지 설명의 편의를 위할 뿐이며, 데이터 접근 요청 및 메모리 접근 요청에 포함된 식별 정보에 의해서 본 개시의 실시예들은 구현될 수 있다.
예를 들면, 프로세서(310)가 토큰[9]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[1]의 사전 데이터 접근 요청을 생성한다. 따라서 인공신경망 메모리 제어부(320)는 토큰[1]의 메모리 접근 요청을 생성하여 입력 레이어(1310)의 노드 값을 사전에 캐쉬 메모리(322)에 저장할 수 있다.
즉, 토큰[9]의 데이터 접근 요청이 인공신경망모델(1300)의 마지막 단계라면, 인공신경망 메모리 제어부(320)는 인공신경망모델(1300)의 시작 단계인 토큰[1]의 데이터 접근 요청이 생성될 것으로 예측할 수 있다.
이어서, 프로세서(310)가 토큰[1]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[1]의 사전 데이터 접근 요청과 토큰[1]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 캐쉬 메모리(322)에 저장된 입력 레이어(1310)의 노드 값을 프로세서(310)에 바로 제공할 수 있다.
이때, 인공신경망 메모리 제어부(320)는 토큰[2]의 사전 데이터 접근 요청을 생성한다.
따라서, 인공신경망 메모리 제어부(320)는 토큰[2]의 메모리 접근 요청을 생성하여 제1 연결망(1320)의 가중치 값을 사전에 캐쉬 메모리(322)에 저장할 수 있다.
이어서, 프로세서(310)가 토큰[2]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[2]의 사전 데이터 접근 요청과 토큰[2]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 캐쉬 메모리(322)에 저장된 제1 연결망(1320)의 노드 값을 프로세서(310)에 바로 제공할 수 있다.
이때, 인공신경망 메모리 제어부(320)는 토큰[3]의 사전 데이터 접근 요청을 생성한다.
이어서, 프로세서(310)는 입력 레이어(1310)의 노드 값과 제1 연결망(1320)의 가중치 값을 전달 받아 제1 은닉 레이어(1330)의 노드 값을 연산할 수 있다. 프로세서(310)가 토큰[3]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[3]의 사전 데이터 접근 요청과 토큰[3]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 연산된 제1 은닉 레이어(1330)의 노드 값이 메모리(330) 및/또는 캐쉬 메모리(322)에 저장될 수 있다.
캐쉬 메모리(322)에 대하여 부연 설명하면, 캐쉬 메모리(322) 없이 동일한 데이터가 토큰[3]의 메모리 접근 요청으로 메모리(330)에 저장되고, 다시 토큰[4]의 메모리 접근 요청으로 메모리(330)에서 읽어 올 경우, 메모리(330)의 지연시간이 2배가 될 수 있다.
이러한 경우, 인공신경망 메모리 제어부(320)는 연속된 토큰들의 메모리 주소 값이 동일하고, 앞선 토큰의 동작 모드는 쓰기 모드이고 다음 토큰의 동작 모드는 읽기 모드인 것을 기초로 연산된 레이어의 노드 값을 저장하고, 해당 노드 값을 다음 레이어의 입력 값으로 사용한다고 결정하도록 구성될 수 있다.
즉, 캐쉬 메모리(322)에 토큰[3]의 데이터가 저장되면, 토큰[3] 및 토큰[4]에 대응되는 데이터 접근 요청이 캐쉬 메모리(322)에서 처리될 수 있다. 따라서 인공신경망 메모리 제어부(320)는 토큰[3]의 데이터 접근 요청과 토큰[4]의 데이터 접근 요청에 대응되는 메모리 접근 요청들을 생성하지 않도록 구성될 수 있다. 상술한 구성에 따르면 토큰[3]의 메모리 접근 요청 및 토큰[4]의 메모리 접근 요청으로 메모리(330)에 의한 메모리(330)의 지연시간을 제거할 수 있는 효과가 있다. 특히 이러한 캐쉬 메모리(322) 운영 정책은 인공신경망 데이터 지역성 패턴(1400)에 기초하여 실행될 수 있다.
이때, 인공신경망 메모리 제어부(320)는 토큰[4]의 사전 데이터 접근 요청을 생성한다.
이어서, 프로세서(310)가 토큰[4]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[4]의 사전 데이터 접근 요청과 토큰[4]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 캐쉬 메모리(322)에 저장된 제1 은닉 레이어(1330)의 노드 값을 프로세서(310)에 바로 제공할 수 있다.
이때, 인공신경망 메모리 제어부(320)는 토큰[5]의 사전 데이터 접근 요청을 생성한다.
따라서, 인공신경망 메모리 제어부(320)는 토큰[5]의 메모리 접근 요청을 생성하여 제2 연결망(1340)의 가중치 값을 사전에 캐쉬 메모리(322)에 저장할 수 있다.
이어서, 프로세서(310)가 토큰[5]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[5]의 사전 데이터 접근 요청과 토큰[5]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 캐쉬 메모리(322)에 저장된 제2 연결망(1340)의 가중치 값을 프로세서(310)에 바로 제공할 수 있다.
이때, 인공신경망 메모리 제어부(320)는 토큰[6]의 사전 데이터 접근 요청을 생성한다.
이어서, 프로세서(310)는 제1 은닉 레이어(1330)의 노드 값과 제2 연결망(1340)의 가중치 값을 전달 받아 제2 은닉 레이어(1350)의 노드 값을 연산할 수 있다. 프로세서(310)가 토큰[6]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[6]의 사전 데이터 접근 요청과 토큰[6]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 연산 된 제2 은닉 레이어(1350)의 노드 값을 메모리(330) 및/또는 캐쉬 메모리(322)에 저장할 수 있다.
이때, 인공신경망 메모리 제어부(320)는 토큰[7]의 사전 데이터 접근 요청을 생성한다.
이어서, 프로세서(310)가 토큰[7]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[7]의 사전 데이터 접근 요청과 토큰[7]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 캐쉬 메모리(322)에 저장된 제2 은닉 레이어(1350)의 노드 값은 프로세서(310)에 바로 제공될 수 있다.
이때, 인공신경망 메모리 제어부(320)는 토큰[8]의 사전 데이터 접근 요청을 생성한다.
따라서, 인공신경망 메모리 제어부(320)는 토큰[8]의 메모리 접근 요청을 생성하여 제3 연결망(1360)의 가중치 값을 사전에 캐쉬 메모리(322)에 저장할 수 있다.
이어서, 프로세서(310)가 토큰[8]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[8]의 사전 데이터 접근 요청과 토큰[8]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 캐쉬 메모리(322)에 저장된 제3 연결망(1360)의 가중치 값을 프로세서(310)에 바로 제공할 수 있다.
이때, 인공신경망 메모리 제어부(320)는 토큰[9]의 사전 데이터 접근 요청을 생성한다.
이어서, 프로세서(310)는 제2 은닉 레이어(1350)의 노드 값과 제3 연결망(1360)의 가중치 값을 전달 받아 출력 레이어(1370)의 노드 값을 연산할 수 있다. 프로세서(310)가 토큰[9]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부(320)는 토큰[9]의 사전 데이터 접근 요청과 토큰[9]의 데이터 접근 요청이 동일한지를 결정한다. 동일하다고 결정된 경우, 연산 된 출력 레이어(1370)의 노드 값을 메모리(330) 및/또는 캐쉬 메모리(322)에 저장할 수 있다.
따라서, 인공신경망 메모리 시스템(300)은 출력 레이어(1370)에 인공신경망모델(1300)의 추론 결과를 저장할 수 있다.
인공신경망 메모리 시스템(300)은 인공신경망 데이터 지역성 패턴(1400)에 의해서 인공신경망모델(1300)의 추론이 끝나더라도 다음 추론을 즉각 시작하도록 준비할 수 있는 효과가 있다.
즉, 본 개시의 또 다른 실시예에 따른 인공신경망 메모리 시스템(300)은 인공신경망 데이터 지역성에 기초하여 사전 데이터 접근 요청을 생성하고, 사전 데이터 접근 요청과 실제 데이터 접근 요청이 동일한지 결정하고, 동일할 경우 다음 순서의 사전 데이터 접근 요청을 더 생성하도록 구성될 수 있다. 상술한 구성에 따르면, 인공신경망 메모리 제어부(320)는 각각의 데이터 접근 요청 처리 시 메모리(320)의 지연시간을 제거 또는 저감할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 사전 데이터 접근 요청을 적어도 하나 이상 생성하여 캐쉬 메모리의 여유 공간을 최소화하도록 동작하도록 구성될 수 있다.
즉, 인공신경망 메모리 제어부는 캐쉬 메모리의 메모리 여유 공간과 저장할 데이터 값의 크기를 비교하여, 캐쉬 메모리의 메모리 여유 공간이 있는 경우, 사전 데이터 접근 요청을 적어도 하나 이상 생성하여 캐쉬 메모리의 여유 공간을 최소화하도록 구성될 수 있다.
즉, 캐쉬 메모리의 용량에 따라 인공신경망 메모리 제어부가 복수개의 사전 데이터 접근 요청들을 생성하도록 구성될 수 있다.
즉, 인공신경망 메모리 제어부는 캐쉬 메모리의 잔여 용량에 기초 하여 메모리 접근 요청을 적어도 하나 이상 순차적으로 생성하여 캐쉬 메모리의 잔여 용량이 최소화되도록 구성될 수 있다.
도 2 내지 도 6을 참조하여 예시를 설명 한다. 프로세서가 토큰[1]의 데이터 접근 요청을 생성하면, 인공신경망 메모리 제어부는 토큰[2]의 사전 데이터 접근 요청을 생성하여 제1 연결망(1320)의 가중치 값을 사전에 캐쉬 메모리에 저장할 수 있다. 이어서, 인공신경망 메모리 제어부는 토큰[3] 및 토큰[4]에 대응되는 제1 은닉 레이어(1330)의 노드 값 연산 처리 결과를 저장하고 읽을 공간을 사전에 캐쉬 메모리에 할당할 수 있다. 이어서 인공신경망 메모리 제어부는 토큰[5]에 대응되는 제2 연결망(1340)의 가중치 값을 사전에 캐쉬 메모리에 저장할 수 있다. 여기서 인공신경망 메모리 제어부는 캐쉬 메모리에 여유가 있을 경우, 인공신경망 데이터 지역성 패턴에 기초하여 사전 데이터 접근 요청을 순차적으로 더 생성하도록 구성될 수 있다. 즉, 캐쉬 메모리에 용량의 여유가 있는 경우, 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 캐쉬 메모리에 가중치 값들을 미리 저장하거나 인공신경망 연산 결과를 저장할 영역을 사전에 확보하도록 구성될 수 있다.
만약, 캐쉬 메모리의 용량이 충분할 경우, 인공신경망모델(1300)의 모든 연결망들의 가중치 값들을 캐쉬 메모리에 저장하도록 구성될 수 있다. 특히, 학습이 완료된 인공신경망모델의 경우 가중치 값들은 고정된다. 따라서 가중치 값들이 캐쉬 메모리에 상주할 경우, 가중치 값들을 읽기 위한 메모리 접근 요청에 의한 메모리 지연시간을 제거할 수 있는 효과가 있다.
상술한 구성에 따르면, 인공신경망 데이터 지역성을 기초로 캐쉬 메모리에 필요한 데이터를 저장함으로 캐쉬 메모리의 가동 효율을 최적화 하고 인공신경망 메모리 시스템(300)의 처리 속도를 향상시킬 수 있는 효과가 있다.
상술한 구성에 따르면 캐쉬 메모리가 인공신경망 데이터 지역성 패턴 및 캐쉬 메모리의 용량을 모두 고려하여 사전 데이터 접근 요청을 순차적으로 생성하기 때문에, 인공신경망 메모리 시스템의 처리 속도가 향상될 수 있는 효과가 있다.
상술한 구성에 따르면, 프로세서가 인공신경망 데이터 지역성 패턴(1400)에 포함된 특정 데이터 접근 요청을 생성하면 인공신경망 메모리 제어부는 특정 데이터 접근 요청 이후의 데이터 접근 요청들을 적어도 하나 이상 순차적으로 예측할 수 있는 효과가 있다. 예를 들면, 토큰[1]의 데이터 접근 요청을 프로세서가 생성하면, 인공신경망 메모리 제어부는 토큰 [2-3-4-5-6-7-8-9] 순서로 대응되는 데이터 접근 요청들이 생성될 것을 예측할 수 있는 효과가 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부(320)는 특정 가중치 값들은 캐쉬 메모리에 특정 기간동안 상주 시킬 수 있다. 예를 들어, 프로세서가 초당 30회 속도로 인공신경망모델을 활용해 추론을 할 경우, 특정 레이어의 가중치 값을 캐쉬 메모리에 상주시킬 수 있다. 이러한 경우, 인공신경망 메모리 제어부는 캐쉬 메모리에 저장된 가중치 값을 각각의 추론마다 재활용할 수 있는 효과가 있다. 따라서 대응되는 메모리 접근 요청을 선택적으로 삭제할 수 있는 효과가 있다. 따라서 메모리 접근 요청에 따른 지연시간을 제거할 수 있는 효과가 있다.
몇몇 실시예에서는, 캐쉬 메모리는 계층화 된 복수의 캐쉬 메모리로 구성될 수 있다. 예를 들면, 가중치 값을 저장하도록 구성된 캐쉬 메모리 또는 특징맵을 저장하도록 구성된 캐쉬 메모리 등을 포함할 수 있다.
몇몇 실시예에서는, 인공신경망 데이터 지역성 패턴(1400)이 생성된 경우, 인공신경망 메모리 제어부는 데이터 접근 요청에 포함된 식별 정보에 기초하여 가중치 값, 노드 값을 예측하도록 구성될 수 있다. 따라서 인공신경망 메모리 제어부는 가중치 값에 대응되는 데이터 접근 요청을 식별하도록 구성될 수 있다. 구체적으로 설명하면, 학습이 완료되어 연결망의 가중치 값이 고정되었다고 가정하면, 인공신경망 데이터 지역성 패턴(1400)에서 가중치 값은 읽기 모드로만 동작하도록 구성될 수 있다. 따라서 인공신경망 메모리 제어부는 토큰[2], 토큰[5], 토큰[8]를 가중치 값으로 결정할 수 있다. 부연 설명하면, 토큰[1]은 추론의 시작 단계이기 때문에 입력 노드 값이라고 결정할 수 있다. 부연 설명하면, 토큰[9]는 추론의 마지막 단계이기 때문에 출력 노드 값이라고 결정할 수 있다. 부연 설명하면, 토큰[3][4]는 동일한 메모리 주소 값의 쓰기 모드 및 읽기 모드의 순서를 가지기 때문에 은닉 레이어의 노드 값이라고 결정할 수 있다. 단, 이는 인공신경망모델의 인공신경망 데이터 지역성에 따라 달라질 수 있다.
인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴을 분석하여 각각의 데이터 접근 요청이 인공신경망모델의 가중치 값, 커널 윈도우 값, 노드 값, 활성화 맵 값 등인지를 결정하도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템은 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된 프로세서, 컴파일러가 생성한 인공신경망 데이터 지역성 패턴을 저장하도록 구성되고, 인공신경망 데이터 지역성 패턴에 기초하여 프로세서가 생성한 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된, 인공신경망 메모리 제어부, 및 인공신경망 메모리 제어부와 통신하도록 구성된 메모리를 포함한다. 메모리는 인공신경망 메모리 제어부에서 출력되는 메모리 접근 요청에 대응하여 동작하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 컴파일러로부터 생성된 인공신경망 데이터 지역성 패턴을 제공받도록 구성될 수 있다. 이러한 경우, 인공신공망 메모리 제어부는 컴파일러가 생성한 인공신경망 데이터 지역성 패턴을 기초로 프로세서가 처리중인 인공신경망모델의 데이터 접근 요청들을 사전에 캐쉬 메모리에 준비시킬 수 있는 효과가 있다. 특히 컴파일러가 생성한 인공신경망 데이터 지역성 패턴은 인공신경망 데이터 지역성을 모니터링하여 생성된 인공신경망 데이터 지역성 패턴보다 더 정확할 수 있는 효과가 있다.
부연 설명하면, 인공신경망 메모리 제어부는 컴파일러에 의해 생성된 인공신경망 데이터 지역성 패턴과 자체적으로 데이터 접근 요청을 모니터링 하여 생성한 인공신경망 데이터 지역성 패턴을 각각 저장하도록 구성될 수 있다.
도 12는 데이터 접근 요청의 예시적인 식별 정보를 설명하는 개략도이다.
본 개시의 실시예들에 따른 프로세서가 생성하는 데이터 접근 요청은 적어도 하나의 추가 식별 정보를 더 포함하도록 구성될 수 있다. 추가 식별 정보는 사이드 밴드 신호 또는 정보로 지칭되는 것도 가능하다.
프로세서가 생성하는 데이터 접근 요청은 특정한 구조의 인터페이스 신호일 수 있다. 즉, 데이터 접근 요청은 프로세서와 인공신경망 메모리 제어부의 통신을 위한 인터페이스 신호일 수 있다. 데이터 접근 요청은 인터페이스 신호에 추가 비트를 더 포함하여 인공신공망 연산에 필요한 식별 정보를 추가적으로 제공하도록 구성될 수 있다. 단, 본 개시는 이에 제한되지 않으며, 다양한 방식으로 추가 식별 정보를 제공하도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템의 데이터 접근 요청은 인공신경망 연산인지 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다. 단, 본 개시의 실시예들은 이에 제한되지 않는다.
예를 들면, 인공신경망 메모리 시스템은 데이터 접근 요청에 1 비트의 식별 코드를 추가하여 인공신경망 메모리 제어부가 수신한 데이터 접근 요청이 인공신경망 연산과 관련된 데이터 접근 요청인지를 식별하도록 구성될 수 있다. 단 본 개시의 실시예들에 따른 식별 코드의 비트 수는 제한되지 않으며, 식별하고자 하는 대상의 경우의 수에 따라 조절될 수 있다.
예를 들면, 식별 코드가 [0]일 경우, 인공신경망 메모리 제어부는 해당 데이터 접근 요청이 인공신경망 연산과 관련 있다고 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [1]일 경우 인공신경망 메모리 제어부는 해당 데이터 접근 요청이 인공신경망 연산과 관련 없다고 결정하도록 구성될 수 있다.
이러한 경우, 인공신경망 메모리 제어부는 데이터 접근 요청에 포함된 식별 정보에 기초하여 인공신경망 연산과 관련된 데이터 접근 요청만 기록하여 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다. 상술한 구성에 따르면, 인공신경망 메모리 제어부는 인공신경망 연산과 관련 없는 데이터 접근 요청은 기록하지 않을 수 있다. 따라서 데이터 접근 요청들을 기록하여 생성되는 인공신경망 데이터 지역성 패턴의 정확도를 향상시킬 수 있는 효과가 있다. 단, 본 개시의 실시예들은 이에 제한되지 않는다.
몇몇 실시예에서는, 인공신경망 메모리 시스템의 데이터 접근 요청은 인공신경망 연산이 학습을 위한 연산인지 또는 추론을 위한 연산인지 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다. 단, 본 개시의 실시예들은 이에 제한되지 않는다.
예를 들면, 인공신경망 메모리 시스템은 데이터 접근 요청에 1 비트의 식별 코드를 추가하여 인공신경망 메모리 제어부가 수신한 데이터 접근 요청이 인공신경망모델의 동작 유형이 학습인지 또는 추론인지를 식별하도록 구성될 수 있다. 단 본 개시의 실시예들에 따른 식별 코드의 비트 수는 제한되지 않으며, 식별하고자 하는 대상의 경우의 수에 따라 조절될 수 있다.
예를 들면, 식별 코드가 [0]일 경우, 인공신경망 메모리 제어부는 해당 데이터 접근 요청이 학습 동작으로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [1]일 경우, 인공신경망 메모리 제어부는 해당 데이터 접근 요청이 추론 동작 결정하도록 구성될 수 있다.
이러한 경우, 인공신경망 메모리 제어부는 학습 동작의 데이터 접근 요청과 추론 동작의 데이터 접근 요청을 구분하여 기록하여 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다. 예를 들면, 학습 모드에선, 인공신경망모델의 각각의 레이어 및/또는 커널 윈도우의 가중치 값들을 갱신할 수 있고, 학습된 인공신경망모델의 추론 정확도를 결정하는 평가 단계가 더 포함될 수 있다. 따라서 인공신경망모델의 구조가 동일하더라도, 프로세서가 처리하는 인공신경망 데이터 지역성은 학습 동작 또는 추론 동작 시 서로 상이할 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 특정 인공신경망모델의 학습 모드의 인공신경망 데이터 지역성 패턴과 추론 모드의 인공신경망 데이터 지역성 패턴을 구분하여 생성하도록 구성될 수 있다. 따라서 인공신경망 메모리 제어부가 데이터 접근 요청들을 기록하여 생성한 인공신경망 데이터 지역성 패턴의 정확도를 향상시킬 수 있는 효과가 있다. 단, 본 개시의 실시예들은 이에 제한되지 않는다.
몇몇 실시예에서는, 인공신경망 메모리 시스템의 데이터 접근 요청은 메모리 읽기 동작 및 메모리 쓰기 동작을 식별할 수 있는 식별 정보를 포함하는 동작 모드로 구성될 수 있다. 단, 이에 제한되지 않으며, 인공신경망 메모리 시스템의 데이터 접근 요청은 덮어쓰기 동작 및/또는 보호 동작을 식별할 수 있는 식별 정보를 더 포함하는 동작 모드로 구성될 수 있다. 단, 본 개시의 실시예들은 이에 제한되지 않는다.
예를 들면, 인공신경망 메모리 시스템의 데이터 접근 요청에 1 비트의 식별 코드를 추가하여 읽기 동작과 쓰기 동작을 포함하도록 구성될 수 있다. 또는 인공신경망 메모리 시스템의 데이터 접근 요청에 2 비트의 식별 코드를 추가하여 읽기 동작, 쓰기 동작, 덮어쓰기 동작, 및 보호 동작을 식별하도록 구성될 수 있다. 단 본 개시의 실시예들에 따른 식별 코드의 비트 수는 제한되지 않으며, 식별하고자 하는 대상의 경우의 수에 따라 조절될 수 있다.
부연 설명하면, 인공신경망 메모리 시스템의 동작을 위해서 데이터 접근 요청은 적어도 메모리 주소 값과 읽기 동작 및 쓰기 동작을 식별할 수 있는 식별 정보를 포함해야 한다. 인공신경망 메모리 제어부는 데이터 접근 요청을 수신하여 대응되는 메모리 접근 요청을 생성하여 메모리 동작을 수행하도록 구성될 수 있다.
예를 들면, 식별 코드가 [00]일 경우, 인공신경망 메모리 제어부는 해당 데이터 접근 요청은 읽기 동작으로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [01]일 경우, 인공신경망 메모리 제어부는 해당 데이터 접근 요청은 쓰기 동작으로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [10]일 경우, 인공신경망 메모리 제어부는 해당 데이터 접근 요청은 덮어쓰기 동작으로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [11]일 경우, 인공신경망 메모리 제어부는 해당 데이터 접근 요청은 보호 동작으로 결정하도록 구성될 수 있다.
단, 본 개시의 실시예들은 이에 제한되지 않는다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 읽기 모드 또는 쓰기 모드에 따라 메모리를 제어하여 인공신경망모델의 다양한 데이터를 메모리로부터 제공받거나 또는 메모리에 저장할 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 인공신경망의 학습 동작 시 덮어쓰기 모드에 의해서 특정 레이어의 가중치 값을 갱신할 수 있다. 특히 갱신된 가중치 값은 동일한 메모리 주소 값에 저장되기 때문에 새로운 메모리 주소를 할당하지 않을 수 있다. 따라서 쓰기 모드보다 덮어쓰기 모드가 학습 동작 시 더 효율적일 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 보호 모드에 의해서 특정 메모리 주소에 저장된 데이터를 보호할 수 있다. 특히 서버와 같은 다수의 사용자가 접근하는 환경에서 인공신경망모델의 데이터가 임의로 삭제되는 것을 방지할 수 있는 효과가 있다. 또한 학습이 완료된 인공신경망모델의 가중치 값들을 보호 모드로 보호하는 것도 가능하다.
몇몇 실시예에서는, 인공신경망 메모리 시스템의 데이터 접근 요청은 추론 데이터, 가중치, 특징맵, 학습 데이터 세트, 평가 데이터 세트 및 기타 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다. 단, 본 개시의 실시예들은 이에 제한되지 않는다.
예를 들면, 인공신경망 메모리 시스템은 데이터 접근 요청에 3 비트의 식별 코드를 추가하여 인공신경망 메모리 제어부가 접근할 데이터의 도메인을 식별하도록 구성될 수 있다. 단 본 개시의 실시예들에 따른 식별 코드의 비트 수는 제한되지 않으며, 식별하고자 하는 대상의 경우의 수에 따라 조절될 수 있다.
예를 들면, 식별 코드가 [000]일 경우, 인공신경망 메모리 제어부는 해당 데이터가 인공신경망모델과 관련 없는 데이터로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [001]일 경우, 인공신경망 메모리 제어부는 해당 데이터가 인공신경망모델의 추론 데이터로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [010]일 경우, 인공신경망 메모리 제어부는 해당 데이터가 인공신경망모델의 특징맵으로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [011]일 경우, 인공신경망 메모리 제어부는 해당 데이터가 인공신경망모델의 가중치로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [100]일 경우, 인공신경망 메모리 제어부는 해당 데이터가 인공신경망모델의 학습 데이터 세트로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [101]일 경우, 인공신경망 메모리 제어부는 해당 데이터가 인공신경망모델의 추론 데이터 세트로 결정하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 인공신경망모델의 데이터의 도메인을 식별하고, 각각의 도메인에 해당되는 데이터가 저장되는 메모리의 주소를 할당하도록 구성될 수 있다. 예를 들면, 인공신경망 메모리 제어부는 각각의 도메인에 할당된 메모리 영역의 시작 수조 및 끝 주소를 설정할 수 있다. 상술한 구성에 따르면, 각각의 도메인에 할당된 데이터를 인공신경망 데이터 지역성 패턴의 순서에 대응되도록 저장할 수 있다.
예를 들면, 인공신경망모델의 각각의 도메인의 데이터들은 각각의 도메인에 할당된 메모리 영역에 순차적으로 저장될 수 있다. 이때 해당 메모리는 읽기-버스트(read-burst) 기능을 지원할 수 있는 메모리일 수 있다. 상술한 구성에 따르면, 인공신경망 메모리 제어부가 메모리에서 특정 도메인의 데이터를 읽어올 때, 특정 데이터가 인공신경망 데이터 지역성 패턴에 따라 저장되었기 때문에 읽기-버스트 기능에 최적화 되도록 구성될 수 있다. 즉, 인공신경망 메모리 제어부는, 메모리의 저장 영역을 읽기-버스트 기능을 고려하여 설정하도록 구성될 수 있다.
몇몇 실시예에서는, 메모리는 읽기-버스트 기능을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는, 적어도 하나의 메모리의 저장 영역을 읽기-버스트 기능을 고려하여 쓰도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템의 데이터 접근 요청은, 인공신경망모델의 양자화를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다. 단, 본 개시의 실시예들은 이에 제한되지 않는다.
예를 들면, 인공신경망 메모리 시스템은 데이터 접근 요청에 적어도 메모리 주소 값, 도메인, 및 양자화 식별 정보가 포함할 경우, 해당 도메인의 데이터의 양자화 정보를 식별하도록 구성될 수 있다.
예를 들면, 식별 코드가 [00001]일 경우, 인공신경망 메모리 제어부는 해당 데이터가 1 비트로 양자화된 데이터로 결정하도록 구성될 수 있다.
예를 들면, 식별 코드가 [11111]일 경우, 인공신경망 메모리 제어부는 해당 데이터가 32 비트로 양자화된 데이터로 결정하도록 구성될 수 있다.
몇몇 실시예에서는 데이터 접근 요청에 다양한 식별 정보가 선택적으로 포함될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 데이터 접근 요청의 식별 코드를 분석하여, 보다 정확한 인공신경망 데이터 지역성 패턴을 생성할 수 있는 효과가 있다. 또한 각각의 식별 정보를 파악함으로 써 메모리의 저장 정책을 선택적으로 제어할 수 있게 하는 효과도 있다.
예를 들면, 학습과 추론을 식별 할 수 있으면, 각각의 인공신경망 데이터 지역성 패턴을 생성할 수 있다.
예를 들면, 데이터의 도메인을 식별할 수 있으면, 인공신경망 데이터 지역성 패턴의 데이터를 특정 메모리 영역에 저장하는 정책을 수립하여, 메모리 동작의 효율성을 향상시킬 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템이 복수의 인공신경망모델을 처리하도록 구성될 경우, 인공신경망 메모리 제어부는 인공신경망모델의 식별 정보, 예를 들면, 제1 인공신경망모델, 제2 인공신경망모델 등의 추가 식별 정보를 더 생성하도록 구성될 수 있다. 이때, 인공신경망 메모리 제어부는 각각의 인공신경망모델의 인공신경망 데이터 지역성에 기초하여 인공신경망모델을 구분하도록 구성될 수 있다. 단, 이에 제한되지 않는다.
도 13은 인공신경망 메모리 시스템의 단위 동작 당 에너지 소모를 설명하는 개략도이다.
도 13을 참조하면, 인공신경망 메모리 시스템(300)의 단위 동작 당 소비되는 에너지를 개략적으로 설명하는 표이다. 에너지 소모는 메모리 액세스, 덧셈 연산 및 곱셈 연산으로 구분하여 설명할 수 있다.
“8b Add”는 가산기의 8비트 정수 덧셈 연산을 의미한다. 8비트 정수 덧셈 연산은 0.03pj의 에너지를 소비할 수 있다.
“16b Add”는 가산기의 16비트 정수 덧셈 연산을 의미한다. 16비트 정수 덧셈 연산은 0.05pj의 에너지를 소비할 수 있다.
“32b Add”는 가산기의 32비트 정수 덧셈 연산을 의미한다. 32비트 정수 덧셈 연산은 0.1pj의 에너지를 소비할 수 있다.
“16b FP Add”는 가산기의 16비트 부동소수점 덧셈 연산을 의미한다. 16비트 부동소수점 덧셈 연산은 0.4pj의 에너지를 소비할 수 있다.
“32b FP Add”는 가산기의 32비트 부동소수점 덧셈 연산을 의미한다. 32비트 부동소수점 덧셈 연산은 0.9pj의 에너지를 소비할 수 있다.
“8b Mult”는 곱셈기의 8비트 정수 곱셈 연산을 의미한다. 8비트 정수 곱셈 연산은 0.2pj의 에너지를 소비할 수 있다.
“32b Mult”는 곱셈기의 32비트 정수 곱셈 연산을 의미한다. 32비트 정수 곱셈 연산은 3.1pj의 에너지를 소비할 수 있다.
“16b FP Mult”는 곱셈기의 16비트 부동소수점 곱셈 연산을 의미한다. 16비트 부동소수점 곱셈 연산은 1.1pj의 에너지를 소비할 수 있다.
“32b FP Mult”는 곱셈기의 32비트 부동소수점 곱셈 연산을 의미한다. 32비트 부동소수점 곱셈 연산은 3.7pj의 에너지를 소비할 수 있다.
“32b SRAM Read”는 인공신경망 메모리 시스템(300)의 캐쉬 메모리(322)가 SRAM(static random access memory)일 경우, 32비트의 데이터 읽기 액세스를 의미한다. 32비트의 데이터를 캐쉬 메모리(322)에서 프로세서(310)로 읽어오는데 5pj의 에너지를 소비할 수 있다.
“32b DRAM Read”는 인공신경망 메모리 시스템(300)의 메모리(330)가 DRAM일 경우, 32비트의 데이터 읽기 액세스를 의미한다. 32비트 데이터를 메모리(330)에서 프로세서(310)로 읽어오는데 640pj의 에너지를 소비할 수 있다. 에너지 단위는 피코-줄(pj)을 의미한다.
인공신경망 메모리 시스템(300)이 32비트 부동소수점 곱셈을 하는 경우와 8비트 정수 곱셈을 하는 경우를 비교하면, 단위 동작 당 에너지 소모는 대략 18.5배 차이가 난다. DRAM으로 구성된 메모리(330)에서 32비트 데이터를 읽어오는 경우와 SRAM으로 구성된 캐쉬 메모리(322)에서 32비트 데이터를 읽어오는 경우 단위 동작 당 에너지 소모는 대략 128배 차이가 난다.
즉, 소비전력 관점에서, 데이터의 비트 크기가 증가할수록 소비전력이 증가한다. 또한 부동 소수점 연산을 사용하면 정수 연산보다 소비전력이 증가한다. 또한 DRAM에서 데이터를 읽어올 경우 소비전력이 급격히 증가한다.
이에 본 개시의 또 다른 실시예에 따른 인공신경망 메모리 시스템(300)은 캐쉬 메모리(322)의 용량을 인공신경망모델(1300)의 데이터 값을 모두 저장할 수 있는 정도의 용량으로 구성될 수 있다.
본 개시의 실시예들에 따른 캐쉬 메모리는 SRAM에 제한되지 않는다. SRAM과 같은 고속 구동이 가능한 정적 메모리는 SRAM, MRAM, STT-MRAM, eMRAM, 및 OST-MRAM 등이 있다. 더 나아가서, MRAM, STT-MRAM, eMRAM, 및 OST-MRAM은 정적 메모리이면서 비휘발성 특성을 가지고 있다. 따라서, 인공신경망 메모리 시스템(300)의 전원이 차단된 후 다시 부팅될 때 메모리(330)에서 인공신경망모델(1300)을 다시 제공받지 않아도 될 수 있는 효과가 있다. 단, 본 개시에 따른 실시예들은 이에 제한되지 않는다.
상술한 구성에 따르면, 인공신경망 메모리 시스템(300)은 인공신경망 데이터 지역성 패턴(1400)에 기초하여 인공신경망모델(1300)의 추론 연산 시 메모리(330)의 읽기 동작에 의한 소비전력을 대폭 저감할 수 있는 효과가 있다.
도 14는 본 개시의 다양한 실시예들에 따른 인공신경망 메모리 시스템을 설명하는 개략도이다.
이하 도 14를 참조하여 본 개시에 따른 다양한 실시예들에 대해서 설명한다. 도 14는 본 개시에 따른 다양한 실시예들이 실시될 수 있는 다양한 경우의 수를 설명할 수 있다.
본 개시의 다양한 실시예들에 따르면, 인공신경망 메모리 시스템(400)은 적어도 하나의 프로세서, 적어도 하나의 메모리, 및 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서에서 데이터 접근 요청을 수신 받아 적어도 하나의 메모리에게 메모리 접근 요청을 제공하도록 구성된 적어도 하나의 인공신경망 메모리 제어부(ADC)를 포함하도록 구성될 수 있다. 적어도 하나의 인공신경망 메모리 제어부(ADC)는 예시적인 인공신경망 메모리 제어부들(120, 220, 320)과 실질적으로 동일하게 구성될 수 있다. 단, 이에 제한되지 않으며, 인공신경망 메모리 시스템(400)의 하나의 인공신경망 메모리 제어부는 다른 인공신경망 메모리 제어부와 서로 상이하게 구성될 수 있다. 이하 인공신경망 메모리 시스템(400)의 인공신경망 메모리 제어부(411, 412, 413, 414, 415, 416, 417)와 상술한 인공신경망 메모리 제어부들(120, 220, 320)의 중복 설명은 단지 설명의 편의를 위해서 생략할 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 프로세서와 적어도 하나의 메모리를 연결하도록 구성된다. 이때, 적어도 하나의 프로세서와 적어도 하나의 메모리 사이의 데이터 이동 경로에는 대응되는 인공신경망 데이터 지역성에 존재할 수 있다. 따라서, 해당 데이터 이동 경로에 위치한 인공신경망 메모리 제어부는 대응되는 인공신경망 데이터 지역성 패턴을 추출하도록 구성될 수 있다.
각각의 인공신경망 메모리 제어부(ADC)는 각각의 데이터 접근 요청을 모니터링해서 각각 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다.인공신경망 메모리 시스템(400)은 적어도 하나의 프로세서를 포함하도록 구성될 수 있다. 적어도 하나의 프로세서는 인공신경망 연산을 단독으로 또는 다른 프로세서와 협력하여 처리하도록 구성될 수 있다.
인공신경망 메모리 시스템(400)은 적어도 하나의 내부 메모리를 포함하도록 구성될 수 있다. 인공신경망 메모리 시스템(400)은 적어도 하나의 외부 메모리와 연결되도록 구성될 수 있다. 내부 메모리 또는 외부 메모리는 DRAM(Dynamic RAM), HBM(High bandwidth memory), SRAM(Static RAM), PROM(Programmable ROM), EPROM(Erasable PROM), EEPROM(Electrically EPROM), 플래시 메모리(Flash Memory), 강유전체 램(ferroelectric RAM(FRAM)), 플래쉬 메모리(flash memory), 마그네틱 램(magnetic RAM(MRAM)), 하드 디스크, 및 상 변화 메모리 장치(phase change RAM) 등을 포함할 수 있다. 단, 본 개시는 이에 제한되지 않는다.
외부 메모리(External MEM 1, External MEM 2) 또는 내부 메모리(Internal MEM1, Internal MEM2)는 대응되는 메모리 인터페이스(External MEM I/F)를 통해서 인공신경망 메모리 시스템(400)과 통신할 수 있다.
프로세서(Processor 1)는 시스템 버스(system bus)와 통신하는 버스 인터페이스 유닛(BIU)을 포함할 수 있다.
인공신경망 메모리 시스템(400)은 외부 메모리(External MEM)와 연결되는 외부 메모리 인터페이스를 포함할 수 있다. 외부 메모리 인터페이스는 메모리 접근 요청을 인공신경망 메모리 시스템(400)의 적어도 하나의 외부 메모리로 전송하고, 적어도 하나의 외부 메모리로부터 메모리 접근 요청에 응답하는 데이터를 수신할 수 있다. 예시적인 인공신경망 메모리 제어부들(120, 220, 320)에 개시된 구성과 기능은 복수의 인공신경망 메모리 제어부(411, 412, 413, 414, 415, 416, 417)로 분산되어 인공신경망 메모리 시스템(400)의 특정 위치에 배치될 수 있다. 몇몇 실시예에서는, 프로세서는 인공신경망 메모리 제어부를 포함하도록 구성될 수 있다.
몇몇 실시예에서는, 메모리는 DRAM일 수 있으며, 이때 인공신경망 메모리 제어부는 DRAM 내부에 포함되도록 구성될 수 있다.
예를 들면, 인공신경망 메모리 제어부들(411, 412, 413, 414, 415, 416, 417) 중 적어도 하나는 캐쉬 메모리를 내장하도록 구성될 수 있다. 또한, 캐쉬 메모리는 프로세서, 내부 메모리, 및/또는 외부 메모리에 포함되도록 구성될 수 있다.
예를 들면, 인공신경망 메모리 제어부들(411, 412, 413, 414, 415, 416, 417) 중 적어도 하나는 메모리와 프로세서 사이의 데이터의 전송 경로에 분산되어 배치되도록 구성될 수 있다.
예를 들면, 인공신경망 메모리 시스템(400)에 구현될 수 있는 인공신경망 메모리 제어부는 독립된 형태로 구성된 인공신경망 메모리 제어부(411), 시스템버스에 포함된 인공신경망 메모리 제어부(412), 프로세서의 인터페이스로 구성된 인공신경망 메모리 제어부(413), 내부 메모리의 메모리 인터페이스와 시스템버스 사이의 Wrapper Block 내에 포함된 인공신경망 메모리 제어부(414), 내부 메모리의 메모리 인터페이스에 포함된 인공신경망 메모리 제어부, 내부 메모리 내에 포함된 인공신경망 메모리 제어부(415), 외부 메모리에 대응하는 메모리 인터페이스에 포함된 인공신경망 메모리 제어부, 외부 메모리의 메모리 인터페이스와 시스템버스 사이의 Wrapper Block 내에 포함된 인공신경망 메모리 제어부(416), 및/또는 외부 메모리 내에 포함된 인공신경망 메모리 제어부(417) 중 하나로 구성될 수 있다. 단, 본 개시의 실시예들에 따른 인공신경망 메모리 제어부는 이에 제한되지 않는다.
예를 들면, 제1 인공신경망 메모리 제어부(411)와 제2 인공신경망 메모리 제어부(412)가 생성하는 각각의 인공신경망 데이터 지역성 패턴들은 서로 같거나 또는 서로 상이할 수 있다.
부연 설명하면, 제1 인공신경망 메모리 제어부(411)는 시스템 버스(system bus)를 통해서 제1 프로세서(processor 1)와 제1 내부 메모리(internal MEM 1)를 연결하도록 구성될 수 있다. 이때 제1 프로세서(processor 1)와 제1 내부 메모리(internal MEM 1) 사이의 데이터 이동 경로에는 대응되는 제1 인공신경망 데이터 지역성이 존재할 수 있다.
이때, 해당 경로에는 제3 인공신경망 메모리 제어부(413)가 도시되어 있으나, 이는 단지 예시를 위한 것이며, 제3 인공신경망 메모리 제어부(413)가 삭제될 수 있다. 즉, 프로세서와 메모리 사이에 적어도 하나의 인공신경망 메모리 제어부가 배치되면 프로세서가 처리하는 인공신경망모델의 인공신경망 데이터 지역성 패턴을 생성할 수 있다.
부연 설명하면, 제2 인공신경망 메모리 제어부(412)는 제2 프로세서(processor 2)와 제1 외부 메모리(external MEM 1)를 연결하도록 구성될 수 있다. 이때 제2 프로세서(processor 2)와 제1 외부 메모리(external MEM 1) 사이의 데이터 이동 경로에는 대응되는 제2 인공신경망 데이터 지역성이 존재할 수 있다.
예를 들면, 제1 프로세서(processor 1)가 처리하는 제1 인공신경망모델은 객체인식모델일 수 있으며, 제2 프로세서(processor 2)가 처리하는 제2 인공신경망모델은 음성인식모델일 수 있다. 따라서 각각의 인공신경망모델을 서로 상이하고, 대응되는 인공신경망 데이터 지역성 패턴들도 서로 상이할 수 있다.
즉, 인공신경망 메모리 제어부들(411, 412, 413, 414, 415, 416, 417) 각각이 생성하는 인공신경망 데이터 지역성 패턴은 대응되는 프로세서가 생성하는 데이터 접근 요청의 패턴 특징에 따라서 결정될 수 있다.
즉, 인공신경망 메모리 시스템(400)의 인공신경망 메모리 제어부는 임의의 프로세서와 임의의 메모리 사이에 배치되더라도, 해당 위치의 인공신경망 데이터 지역성 패턴을 생성할 수 있는 적응력을 제공할 수 있는 효과가 있다.
부연 설명하면, 하나의 인공신경망모델을 두 개의 프로세서가 협력해서 병렬로 처리 할 경우, 해당 인공신경망모델의 인공신경망 데이터 지역성 패턴은 각각의 프로세서에게 분할되어 할당될 수 있다. 예를 들면, 제1 레이어의 컨벌루션 연산은 제1 프로세서가 처리하고 제2 레이어의 컨벌루션 연산은 제2 프로세서가 처리하여 인공신경망모델의 연산을 분산시킬 수 있다. 이러한 경우, 인공신경망모델이 동일하더라도, 각각의 프로세서가 처리하는 인공신경망모델의 인공신경망 데이터 지역성은 데이터 접근 요청 단위로 재구성될 수 있다. 이러한 경우, 각각의 인공신경망 메모리 제어부는 각각의 인공신경망 메모리 제어부가 처리하는 프로세서의 데이터 접근 요청에 대응되는 인공신경망 데이터 지역성 패턴을 각각 생성하도록 구성될 수 있는 적응력을 제공할 수 있는 효과가 있다.
상술한 구성에 따르면, 복수의 프로세서와 복수의 메모리 사이에 복수의 인공신경망 메모리 제어부가 분산 배치 되더라도, 각각의 상황에 맞게 생성되는 인공신경망 데이터 지역성 패턴들에 의해서 인공신경망 메모리 시스템(400)의 성능이 최적화 될 수 있는 효과가 있다. 즉, 각각의 인공신경망 메모리 제어부는 각자 위치한 자리에서 인공신경망 데이터 지역성을 분석할 수 있기 때문에 가변적으로 실시간으로 처리되는 인공신경망 연산에 최적화 될 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부들(411, 412, 413, 414, 415, 416, 417) 중 적어도 하나는 메모리 개수, 메모리 종류, 메모리의 실효 대역폭, 메모리의 지연시간, 메모리 크기 중 적어도 하나의 정보를 확인하도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부들(411, 412, 413, 414, 415, 416, 417) 중 적어도 하나는 메모리 접근 요청에 응답하는 메모리의 실효 대역폭을 측정하도록 구성될 수 있다. 여기서 메모리는 적어도 하나 이상일 수 있으며, 각각의 인공신경망 메모리 제어부는 각각의 메모리와 통신하는 채널의 실효 대역폭을 측정할 수 있다. 실효 대역폭은 인공신경망 메모리 제어부가 메모리 접근 요청을 생성하고, 해당 메모리 접근 요청이 완료되는 시간과 데이터 전송 비트 레이트(bit rate)를 측정하여 계산될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부(411, 412, 413, 414, 415, 416, 417) 중 적어도 하나는 메모리 접근 요청에 응답하는 적어도 하나의 메모리의 필요 대역폭을 정보를 제공받도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템(400)은 복수의 메모리를 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리의 실효 대역폭을 각각 측정하도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템(400)은 복수의 메모리를 포함하고, 적어도 하나의 인공신경망 메모리 제어부는, 복수의 메모리의 지연시간을 각각 측정하도록 구성될 수 있다.
즉, 적어도 하나의 인공신경망 메모리 제어부는 자신과 연결된 각각의 메모리들을 오토 캘리브레이션(auto-calibration) 하도록 구성될 수 있다. 오토 캘리브레이션은 인공신경망 메모리 시스템이 시작할 때 또는 특정 주기마다 실행되도록 구성될 수 있다. 적어도 하나의 인공신경망 메모리 제어부는 오토 캘리브레이션을 통해서 자신과 연결된 메모리의 개수, 메모리의 종류, 메모리의 실효 대역폭, 메모리의 지연신간, 메모리의 크기 등의 정보를 수집하도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 시스템(400)은 인공신경망 메모리 제어부에 대응되는 메모리의 지연시간 및 실효 대역폭을 알 수 있다.
상술한 구성에 따르면, 독립된 형태의 인공신경망 메모리 제어부를 시스템버스에 연결시키더라도, 프로세서가 처리중인 인공신경망모델의 인공신경망 데이터 지역성을 생성하여 메모리를 제어할 수 있는 효과가 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템(400)의 적어도 하나의 인공신경망 메모리 제어부는, 인공신경망 데이터 지역성 패턴의 1회 반복에 소요되는 시간 및 데이터 크기를 계산하여 인공신경망 연산이 요구하는 실효 대역폭을 계산하도록 구성될 수 있다. 구체적으로 설명하면, 인공신경망 데이터 지역성 패턴에 포함된 데이터 접근 요청을 모두 처리할 경우, 프로세서가 인공신경망모델의 추론을 완료했다고 결정할 수 있다. 인공신경망 메모리 시스템(400)은 인공신경망 데이터 지역성 패턴에 기초하여 1회 추론에 걸리는 시간을 측정하여 초당 추론 횟수(IPS; inference per second)를 계산하도록 구성될 수 있다. 또한, 인공신경망 메모리 시스템(400)은 목포 초당 추론 횟수 정보를 프로세서로부터 제공 받을 수 있다. 예를 들면, 특정 어플리케이션은 특정 인공신경망모델의 추론 속도를 30 IPS로 요구할 수 있다. 만약 측정된IPS가 목표 IPS보다 낮을 경우, 인공신경망 메모리 제어부(400)는 프로세서의 인공신경망모델 처리 속도를 향상시키기 위해서 동작하도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 시스템(400)은 인공신경망 메모리 제어부, 프로세서, 및 메모리의 통신을 제어하도록 구성된 시스템버스를 포함하도록 구성될 수 있다. 또한, 적어도 하나의 인공신경망 메모리 제어부는 시스템버스의 마스터 권한을 가지도록 구성될 수 있다.
부연 설명하면, 인공신경망 메모리 시스템(400)은 인공신경망 연산을 위한 전용 장치가 아닐 수 있다. 이러한 경우, 인공신경망 메모리 시스템(400)의 시스템버스에는 와이파이, 디스플레이, 카메라, 마이크 등 다양한 주변 장치들이 연결될 수 있다. 이러한 경우, 인공신경망 메모리 시스템(400)은 안정적인 인공신경망 연산을 위해서 시스템버스의 대역폭을 제어하도록 구성될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는, 메모리 접근 요청의 처리 시간동안 인공신경망 연산을 우선 처리하도록 동작하고, 이외의 시간 동안 인공신경망 연산 이외의 연산을 처리하도록 구성될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리가 메모리 접근 요청을 완료할 때까지, 시스템버스의 실효 대역폭을 확보하도록 구성될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는 시스템버스 내부에 배치되고, 시스템버스는 시스템버스 내에서 생성된 인공신경망 데이터 지역성 패턴에 기초하여 시스템버스의 대역폭을 동적으로 가변 하도록 구성될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는 시스템버스 내에 배치되고, 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리가 메모리 접근 요청에 대한 응답을 완료할 때까지, 시스템버스의 제어 권한을 메모리 접근 요청이 없을 때보다 상대적으로 더 높게 증가시키도록 구성될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는, 복수의 프로세서 중 인공신경망 연산을 처리하는 프로세서의 데이터 접근 요청의 우선 순위를 인공신경망 연산 이외의 연산을 처리하는 프로세서보다 더 높게 설정하도록 구성될 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부가 메모리를 직접 제어하도록 구성될 수 있다.
몇몇 실시예에서는, 메모리에 인공신경망 메모리 제어부가 포함되고, 인공신경망 메모리 제어부는 적어도 하나의 접근 순서(access que)를 생성하도록 구성될 수 있다. 인공신경망 메모리 제어부는 인공신경망 연산 전용 접근 순서를 별도로 생성하도록 구성될 수 있다.
몇몇 실시예에서는, 복수의 메모리 중 적어도 하나는 DRAM일 수 있다. 이러한 경우 적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청의 접근 순서를 재조정하도록 구성될 수 있다. 이러한 접근 순서 재조정은 액세스 큐 리오더(access que re-order)일 수 있다.
몇몇 실시예에서는, 인공신경망 메모리 제어부는 복수의 메모리 접근 요청의 접근 순서를 포함하도록 구성될 수 있다. 이러한 경우 제1 접근 순서는 인공신경망 연산 전용 접근 순서일 수 있으며, 제2 접근 순서는 인공신경망 연산 이외의 접근 순서일 수 있다. 인공신경망 메모리 제어부는 우선순위 설정에 따라서 각각의 접근 순서를 선택하여 데이터를 제공하도록 구성될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 특정 메모리 접근 요청을 처리하기 위해서 시스템버스에게 요구되는 특정 대역폭을 계산하도록 구성되고, 적어도 하나의 인공신경망 메모리 제어부는 특정 대역폭에 기초하여 시스템버스의 실효 대역폭을 제어하도록 구성될 수 있다.
상술한 구성들에 따르면, 인공신경망 메모리 시스템(400)은 다양한 주변 장치의 메모리 접근 요청들의 우선 순위를 낮추거나 또는 인공신경망 데이터 지역성 패턴에 기초한 사전 데이터 접근 요청의 우선순위를 향상시키도록 구성될 수 있다.
상술한 구성들에 따르면, 인공신경망 메모리 제어부는 시스템버스의 데이터 접근 요청의 처리 순서를 재조정하여 인공신경망 연산이 처리되는 동안에는 시스템버스의 대역폭을 최대한 활용하고, 인공신경망 연산이 없는 경우에는 다른 주변 장치의 데이터를 처리를 위해서 대역폭을 양보할 수 있다.
상술한 구성들에 따르면, 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 데이터 접근 요청의 우선순위를 재조정할 수 있다. 또한 데이터 접근 요청에 포함된 식별 정보에 기초하여 우선순위를 재조정할 수 있다. 즉, 인공신경망 연산 관점에서 시스템버스의 실효 대역폭이 동적으로 가변 되어 실효 대역폭이 향상 될 수 있다. 따라서 시스템버스의 동작 효율이 향상될 수 있는 효과가 있다. 따라서 인공신경망 메모리 제어부 입장에서 시스템버스의 실효 대역폭이 향상될 수 있는 효과가 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청을 기계학습 하도록 구성될 수 있다. 즉, 적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴을 기계학습 하도록 구성된 인공신경망모델을 더 포함할 수 있다. 즉 인공신경망 데이터 지역성 패턴은 기계학습되기 때문에, 실제 인공신경망 데이터 지역성에 따른 데이터 접근 요청 처리 중간에 다른 데이터 접근 요청이 인터럽트 하는 특이 패턴들도 학습하여 예측하도록 구성될 수 있다.
인공신경망 메모리 제어부에 내장된 인공신경망모델은 사전 데이터 접근 요청이 생성될 경우, 시스템버스의 제어 권한을 사전 데이터 접근 요청들의 생성되지 않을 때보다 상대적으로 더 높게 증가시키도록 기계학습 될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는, 계층화 된 복수의 캐쉬 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는, 계층화 된 복수의 캐쉬 메모리의 계층간 데이터 접근 요청을 기계학습을 하도록 구성될 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는, 계층화 된 복수의 캐쉬 메모리 각각의 계층의 실효 대역폭, 소비 전력, 및 지연시간 정보 중 적어도 하나를 더 제공 받도록 구성될 수 있다.
상술한 구성에 의하면, 인공신경망 메모리 제어부는 기계학습을 통해서 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있으며, 기계학습 된 인공신경망 데이터 지역성 패턴은 인공신경망 연산과 무관한 다양한 데이터 접근 요청 들이 특정 패턴을 가지고 생성될 때, 이러한 특정 패턴들의 발생 예측 확률을 향상시킬 수 있는 효과가 있다. 또한 강화 학습에 의해서 프로세서가 처리하는 다양한 인공신경망모델 및 다른 연산들의 특성을 예측하여 인공신경망 연산의 효율을 향상시킬 수 있다.
몇몇 실시예에서는, 적어도 하나의 인공신경망 메모리 제어부는, 복수의 메모리 각각의 실효 대역폭 및 지연시간에 기초하여 상기 복수의 메모리에 저장되는 데이터를 분할하여 저장하도록 구성될 수 있다.
예를 들면, 데이터는 L 비트의 비트 그룹으로 구성되고, 복수의 메모리는 제1 메모리 및 제2 메모리를 더 포함하고, 제1 메모리는 제1 실효 대역폭 또는 제1 지연시간에 기초하여 상기 L 비트의 비트 그룹 중 M 비트의 데이터를 분할하여 저장하도록 구성되고, 제2 메모리는 제2 실효 대역폭 또는 제2 지연시간에 기초하여 L 비트의 비트 그룹 중 N 비트의 데이터를 분할하여 저장하도록 구성되고, M 비트와 N 비트의 합은 L 비트와 같거나 또는 작도록 구성될 수 있다. 또한, 복수의 메모리는 제3 메모리를 더 포함하고, 제3 메모리는 제3 실효 대역폭 또는 제3 지연시간에 기초하여 L 비트의 비트 그룹 중 O 비트의 데이터를 저장하도록 구성되고, M 비트, N 비트 및 O 비트의 합은 L 비트와 같도록 구성될 수 있다.
예를 들면, 데이터는 P개의 데이터 묶음으로 구성되고, 복수의 메모리는 제1 메모리 및 제2 메모리를 포함하고, 제1 메모리는 제1 실효 대역폭 또는 제1 지연시간에 기초하여 P개의 데이터 묶음 중 R개의 데이터 묶음을 저장하도록 구성되고, 제2 메모리는 제2 실효 대역폭 또는 제2 지연시간에 기초하여 P개의 데이터 묶음 중 S개의 데이터 묶음을 저장하도록 구성되고, R개와 S개의 합은 상기 P개와 같거나 또는 작도록 구성될 수 있다. 또한 복수의 메모리는 제3 메모리를 더 포함하고, 제3 메모리는 제3 실효 대역폭 또는 제3 지연시간에 기초하여 P개의 데이터 묶음 중 T개의 데이터 묶음을 저장하도록 구성되고, R개, S개 및 T개의 합은 P개와 같도록 구성될 수 있다.
상술한 구성에 따르면, 인공신경망 메모리 제어부는 하나의 메모리의 대역폭이 낮을 때, 복수의 메모리에 데이터를 분산시켜 저장하거나 읽을 수 있기 때문에, 메모리의 실효 대역폭을 향상시킬 수 있는 효과가 있다. 예를 들면, 인공신경망 메모리 제어부는 8비트의 양자화된 가중치 값을 제1 메모리에 4비트 제2 메모리에 4비트씩 분할하여 저장하거나 읽도록 구성될 수 있다. 따라서 인공신경망 메모리 제어부 입장에서 메모리의 실효 대역폭이 향상될 수 있는 효과가 있다.
인공신경망 메모리 제어부는 복수의 메모리에 분할되어 저장된 데이터를 병합하여 저장하도록 구성된 캐쉬 메모리를 더 포함하도록 구성될 수 있다. 즉, 적어도 하나의 인공신경망 메모리 제어부는 캐쉬 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는, 복수의 메모리에 분배되어 저장된 데이터를 병합하여 캐쉬 메모리에 저장하도록 구성될 수 있다. 따라서 프로세서는 병합된 데이터를 제공받을 수 있다.
분할된 데이터를 병합하기 위해서 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리에 분할되어 저장된 데이터의 분할 정보를 저장하도록 구성될 수 있다.본 계시의 다양한 실시예들은 아래와 같이 설명될 수 있다.
본 개시의 실시예들에 따르면, 인공신경망 메모리 시스템은 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 프로세서 및 데이터 접근 요청을 순차적으로 기록하여 상기 인공신경망 연산의 인공신경망 데이터 지역성 패턴을 생성하도록 구성되고, 인공신경망 데이터 지역성 패턴에 기초하여 적어도 하나의 프로세서가 생성한 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 인공신경망 메모리 제어부를 포함하도록 구성될 수 있다. 여기서 인공신경망 데이터 지역성은 프로세서-메모리 레벨에서 재구성된 인공신경망 데이터 지역성일 수 있다.
본 개시의 실시예들에 따르면, 인공신경망 메모리 시스템은 인공신경망모델을 처리하도록 구성된 적어도 하나의 프로세서 및 인공신경망모델의 인공신경망 데이터 지역성 정보를 저장하도록 구성되고 인공신경망 데이터 지역성 정보에 기초하여 적어도 하나의 프로세서가 요청할 데이터를 예측하여 사전 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 인공신경망 메모리 제어부를 포함하도록 구성될 수 있다.
인공신경망 메모리 시스템은 적어도 하나의 메모리 및 인공신경망 메모리 제어부, 적어도 하나의 프로세서, 및 적어도 하나의 메모리의 통신을 제어하도록 구성된 시스템 버스를 더 포함하도록 구성될 수 있다.본 개시의 실시예들에 따르면, 인공신경망 메모리 시스템은 프로세서, 메모리 및 캐쉬 메모리를 포함하고, 인공신경망 데이터 지역성 정보에 기초하여 프로세서가 요청할 데이터를 포함하는 사전 데이터 접근 요청을 생성하도록 구성되고, 그리고 메모리로부터 사전 데이터 접근 요청에 대응되는 데이터를 상기 프로세서가 요청하기 전에 상기 캐쉬 메모리에 저장하도록 구성될 수 있다.
본 개시의 실시예들에 따르면, 인공신경망 메모리 시스템은 인공신경망 데이터 지역성 정보를 제공 받아 동작하도록 구성된 제1 모드 또는 프로세서가 생성하는 데이터 접근 요청들을 관찰하여 인공신경망 데이터 지역성 정보를 예측하여 동작하도록 구성된 제2 모드 중 하나의 모드로 동작하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 사전 데이터 접근 요청을 순차적으로 더 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 다음 데이터 접근 요청 생성 전에 사전 데이터 접근 요청을 생성하도록 구성될 수 있다.
적어도 하나의 프로세서는 적어도 하나의 인공신경망 메모리 제어부에 데이터 접근 요청을 전송하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청에 대응하여 사전 데이터 접근 요청을 출력하도록 구성될 수 있다.
데이터 접근 요청은 메모리 주소를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 메모리의 시작 주소 및 끝 주소를 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 프로세서가 생성한 데이터 접근 요청 및 인공신경망 메모리 제어부가 생성한 사전 데이터 접근 요청 중 하나에 기초하여 메모리 접근 요청을 생성하도록 구성될 수 있다.
데이터 접근 요청은 메모리의 시작 주소와 연속되는 데이터 연속 읽기 트리거(trigger)를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 메모리의 시작 주소와 연속되는 데이터의 개수 정보를 더 포함하도록 구성될 수 있다.
데이터 접근 요청 및 사전 데이터 접근은 매칭되는 동일한 메모리 주소의 데이터 접근 요청 토큰을 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 메모리 읽기 또는 쓰기 명령 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 덮어쓰기 명령 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 추론 데이터, 가중치 데이터 및 특징맵 데이터 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성 될 수 있다.
데이터 접근 요청은 학습 데이터 및 평가 데이터 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
데이터 접근 요청은 인공신경망 연산이 학습을 위한 연산인지 또는 추론을 위한 연산인지 여부를 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
적어도 하나의 프로세서가 다음 데이터 접근 요청을 생성할 경우, 적어도 하나의 인공신경망 메모리 제어부는, 사전 데이터 접근 요청과 다음 데이터 접근 요청이 서로 동일한 요청인지를 결정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청과 다음 데이터 접근 요청이 동일할 경우, 상기 인공신경망 데이터 지역성 패턴을 유지하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청과 다음 데이터 접근 요청이 상이할 경우 인공신경망 데이터 지역성 패턴을 갱신하도록 구성될 수 있다.
인공신경망 데이터 지역성 패턴은 데이터 접근 요청들의 메모리의 주소들을 순차적으로 기록한 데이터를 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청에 포함된 메모리 주소의 반복 패턴을 감지하여 인공신경망 데이터 지역성 패턴을 생성하도록 구성될 수 있다.
인공신경망 데이터 지역성 패턴은 반복되는 루프 특성을 가지는 메모리 주소들로 구성될 수 있다.
인공신경망 데이터 지역성 패턴은 인공신경망모델의 연산의 시작과 끝을 식별할 수 있는 식별 정보를 더 포함하도록 구성될 수 있다.
적어도 하나의 프로세서는 데이터 접근 요청에 대응되는 데이터를 인공신경망 메모리 제어부로부터 제공받도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴을 기계학습을 하도록 구성된 인공신경망모델을 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴의 갱신 된 패턴과 이전의 패턴을 저장하여, 인공신경망모델의 변화 여부를 결정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청들이 하나의 인공신경망모델의 요청들인지 또는 복수의 인공신경망모델들의 요청들이 혼합된 것인지 여부를 결정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망모델의 개수가 복수일 경우, 인공신경망모델의 개수에 대응되는 인공신경망 데이터 지역성 패턴들을 더 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴들에 기초하여, 대응되는 사전 데이터 접근 요청들을 각각 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 데이터 접근 요청에 대응되는 메모리 접근 요청을 더 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청을 더 생성하도록 구성될 수 있다.
데이터 접근 요청, 사전 데이터 접근 요청 및 메모리 접근 요청 각각은 대응되는 메모리 주소 값 및 동작 모드를 각각 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는, 데이터 접근 요청 및 사전 데이터 접근 요청에 포함된 정보 중 적어도 일부를 포함하도록 구성된 메모리 접근 요청을 더 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부와 통신하도록 구성된 적어도 하나의 메모리를 더 포함하고, 적어도 하나의 메모리는 적어도 하나의 인공신경망 메모리 제어부에서 출력되는 메모리 접근 요청에 대응하여 동작하도록 구성될 수 있다.
적어도 하나의 메모리는 추론 데이터, 가중치 데이터 및 특징맵 데이터 중 적어도 하나를 저장하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는, 메모리 접근 요청에 응답하여 적어도 하나의 메모리가 전송한 데이터를 저장하도록 구성된 캐쉬 메모리를 더 포함하도록 구성될 수 있다.
적어도 하나의 프로세서가 다음 데이터 접근 요청을 출력할 경우, 적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청과 다음 데이터 접근 요청이 서로 동일한 요청인지를 결정하고, 동일할 경우 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 프로세서에 캐쉬 메모리에 저장된 데이터를 제공하도록 구성되고, 동일하지 않은 경우, 적어도 하나의 인공신경망 메모리 제어부는 다음 데이터 접근 요청에 기초하여 신규 메모리 접근 요청을 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 캐쉬 메모리의 잔여 용량에 기초 하여 메모리 접근 요청을 적어도 하나 이상 순차적으로 생성하여 캐쉬 메모리의 상기 잔여 용량이 최소화되도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는, 메모리 접근 요청에 응답하는 적어도 하나의 메모리의 실효 대역폭을 측정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청에 응답하는 적어도 하나의 메모리의 필요 대역폭을 정보를 제공받도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴의 특정 시간 동안의 반복 횟수를 계산하여 상기 인공신경망 연산의 1초당 추론 횟수(IPS)를 측정하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴의 1회 반복에 소요되는 시간 및 데이터 크기를 계산하여 인공신경망 연산이 요구하는 실효 대역폭을 계산하도록 구성될 수 있다.
적어도 하나의 메모리는, 메모리의 셀의 전압을 갱신할 수 있는 리프레쉬 기능을 포함하는 디램(DRAM)을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청에 대응되는 적어도 하나의 메모리의 메모리 주소 영역의 리프레쉬를 선택적으로 제어하도록 구성될 수 있다.
적어도 하나의 메모리는 메모리의 글로벌 비트라인을 특정 전압으로 충전시킬 수 있는 프리차지 기능을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청에 대응되는 메모리 접근 요청에 대응되는 적어도 하나의 메모리의 메모리 주소 영역에 프리차지를 선택적으로 제공하도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리의 실효 대역폭을 각각 측정하도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리의 레이턴시를 각각 측정하도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리 각각의 실효 대역폭 및 지연시간에 기초하여 복수의 메모리에 저장되는 데이터를 분할하여 저장하도록 구성될 수 있다.
데이터는 L 비트의 비트 그룹으로 구성되고, 복수의 메모리는 제1 메모리 및 제2 메모리를 더 포함하고, 제1 메모리는 제1 실효 대역폭 또는 제1 지연시간에 기초하여 L 비트의 비트 그룹 중 M 비트의 데이터를 분할하여 저장하도록 구성되고, 제2 메모리는 제2 실효 대역폭 또는 제2 지연시간에 기초하여 L 비트의 비트 그룹 중 N 비트의 데이터를 분할하여 저장하도록 구성되고, M 비트와 N 비트의 합은 L 비트와 같거나 또는 작도록 구성될 수 있다
복수의 메모리는 제3 메모리를 더 포함하고, 제3 메모리는 제3 실효 대역폭 또는 제3 지연시간에 기초하여 L 비트의 비트 그룹 중 O 비트의 데이터를 저장하도록 구성되고, M 비트, N 비트 및 O 비트의 합은 L 비트와 같도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는, 복수의 메모리에 분할되어 저장된 데이터를 병합하여 저장하도록 구성된 캐쉬 메모리를 더 포함하도록 구성될 수 있다.
데이터는 P개의 데이터 묶음으로 구성되고, 복수의 메모리는 제1 메모리 및 제2 메모리를 더 포함하고, 제1 메모리는 제1 실효 대역폭 또는 제1 지연시간에 기초하여 P개의 데이터 묶음 중 R개의 데이터 묶음을 저장하도록 구성되고, 제2 메모리는 제2 실효 대역폭 또는 제2 지연시간에 기초하여 상기 P개의 데이터 묶음 중 S개의 데이터 묶음을 저장하도록 구성되고, R개와 상기 S개의 합은 상기 P개와 같거나 또는 작도록 구성될 수 있다.
복수의 메모리는 제3 메모리를 더 포함하고, 제3 메모리는 제3 실효 대역폭 또는 제3 지연시간에 기초하여 P개의 데이터 묶음 중 T개의 데이터 묶음을 저장하도록 구성되고, R개, 상기 S개 및 상기 T개의 합은 상기 P개와 같도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는, 캐쉬 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리에 분배되어 저장된 데이터를 병합하여 캐쉬 메모리에 저장하도록 구성될 수 있다.
적어도 하나의 메모리는 복수의 메모리를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 메모리에 분할되어 저장된 데이터의 분할 정보를 저장하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청 및 적어도 하나의 메모리의 레이턴시 값에 기초하여 캐쉬 메모리에 레이턴시 만큼 데이터의 일부를 저장하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청 및 적어도 하나의 메모리의 데이터 대역폭 요구량에 기초하여 캐쉬 메모리에 상기 데이터의 일부를 저장하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 프로세서에서 다음 데이터 접근 요청 생성 시, 캐쉬 메모리에 저장된 데이터를 먼저 제공하면서, 데이터의 나머지를 적어도 하나의 메모리로부터 읽기-버스트 모드로 제어하여, 적어도 하나의 메모리의 레이턴시를 저감하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 사전 데이터 접근 요청 및 적어도 하나의 메모리의 레이턴시 값에 기초하여 적어도 하나의 프로세서에서 다음 데이터 접근 요청 생성 시, 레이턴시 값만큼 사전에 적어도 하나의 메모리의 읽기-버스트 모드로 시작하여, 적어도 하나의 메모리의 레이턴시를 저감하도록 구성될 수 있다.
인공신경망 메모리 제어부, 상기 적어도 하나의 프로세서, 및 상기 적어도 하나의 메모리의 통신을 제어하도록 구성된 시스템 버스를 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 시스템 버스의 마스터 권한을 가지도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망모델을 더 포함하고, 인공신경망모델은 사전 데이터 접근 요청이 생성될 경우, 시스템 버스의 제어 권한을 사전 데이터 접근 요청들의 생성되지 않을 때보다 상대적으로 더 높게 증가시키도록 기계 학습될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리가 상기 메모리 접근 요청을 완료할 때까지, 시스템 버스의 실효 대역폭을 확보하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 인공신경망 데이터 지역성 패턴에 기초하여 특정 메모리 접근 요청을 처리하기 위해서 시스템 버스에게 요구되는 특정 대역폭을 계산하고, 적어도 하나의 인공신경망 메모리 제어부는 특정 대역폭에 기초하여 시스템 버스의 실효 대역폭을 제어하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 시스템 버스 내부에 배치되고, 시스템 버스는 시스템 버스 내에서 생성된 인공신경망 데이터 지역성 패턴에 기초하여 시스템 버스의 대역폭을 동적으로 가변 하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청의 처리 시간동안 인공신경망 연산을 우선 처리하도록 동작하고, 이외의 시간 동안 인공신경망 연산 이외의 연산을 처리하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부와 적어도 하나의 프로세서는 직접 통신하도록 구성될 수 있다.
인공신경망 메모리 제어부는 인공신경망 연산 전용 접근 순서인 제1 접근 순서 및 인공신경망 연산 이외의 접근 순서인 제2 접근 순서를 더 포함하고, 인공신경망 메모리 제어부는 우선순위 설정에 따라서 각각의 접근 순서를 선택하여 데이터를 제공하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 계층화 된 복수의 캐쉬 메모리를 더 포함하고 적어도 하나의 인공신경망 메모리 제어부는 계층화 된 복수의 캐쉬 메모리의 계층간 데이터 접근 요청을 기계학습을 하도록 구성된 인공신경망모델을 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 계층화 된 복수의 캐쉬 메모리 각각의 계층의 실효 대역폭, 소비 전력, 및 레이턴시 정보 중 적어도 하나를 더 제공 받도록 구성될 수 있다.
인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 프로세서 및 컴파일러로부터 생성된 인공신경망 연산의 인공신경망 데이터 지역성 패턴을 저장하도록 구성되고, 인공신경망 데이터 지역성 패턴에 기초하여 적어도 하나의 프로세서가 생성한 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된 적어도 하나의 인공신경망 메모리 제어부 및 적어도 하나의 인공신경망 메모리 제어부와 통신하도록 구성된 적어도 하나의 메모리를 포함하고, 적어도 하나의 메모리는 적어도 하나의 인공신경망 메모리 제어부에서 출력되는 메모리 접근 요청에 대응하여 동작하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 시스템은 적어도 하나의 메모리 및 인공신경망 메모리 제어부, 적어도 하나의 프로세서, 및 적어도 하나의 메모리의 통신을 제어하도록 구성된 시스템 버스를 더 포함하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 시스템 버스 내에 배치되고, 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리가 메모리 접근 요청에 대한 응답을 완료할 때까지, 상기 시스템 버스의 제어 권한을 상기 메모리 접근 요청이 없을 때보다 상대적으로 더 높게 증가시키도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부의 적어도 일부는 DRAM에 포함되도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부의 적어도 일부는 적어도 하나의 프로세서에 포함되도록 구성될 수 있다.
DRAM을 더 포함하거나 또는 적어도 하나의 메모리는 DRAM이고, 적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청의 접근 순서(access que)를 재조정하도록 구성될 수 있다. 즉, DRAM의 메모리 컨트롤러의 리-오더 큐(Reorder cue)를 제어하도록 구성될 수 있다.
인공신경망 메모리 제어부가 메모리의 메모리 컨트롤러에게 제공하는 인공신경망 연산 관련 메모리 접근 요청에 메모리의 메모리 컨트롤러가 해석할 수 있는 우선순위 정보를 더 포함하도록 구성될 수 있다.
상술한 구성에 따르면, 메모리의 메모리 컨트롤러는 해당 메모리 접근 요청이 인공신경망 연산과 관련된 것인지 여부와 상관없이 인공신경망 메모리 제어부가 생성한 메모리 접근 요청이 포함하는 우선순위 정보에 기초하여 메모리 컨트롤러 내부의 메모리 접근 순서를 재조정(re-order)하도록 구성될 수 있다. 따라서 인공신경망 연산 처리를 위한 메모리 접근 요청의 접근 순서가 다른 종류의 메모리 접근 요청의 접근 순서에 비해 먼저 처리될 수 있다. 따라서 인공신경망 메모리 제어부는 대응되는 메모리의 실효 대역폭을 상승시킬 수 있는 효과가 있다.
DRAM의 메모리 컨트롤러가 결정한 메모리 접근 요청 처리 순서를 인공신경망 메모리 제어부가 제공하는 우선순위 정보에 의해서 재조정하도록 구성될 수 있다.
예를 들면, 인공신경망 메모리 제어부가 생성한 메모리 접근 요청의 우선순위를 긴급으로 설정하면, DRAM의 메모리 컨트롤러는 해당 메모리 접근 요청의 처리 순서를 제1 순위로 변경할 수도 있다.
인공신경망 메모리 제어부는 적어도 하나의 접근 순서를 생성하도록 구성될 수 있다.
적어도 하나의 메모리에 인공신경망 메모리 제어부가 포함되고, 인공신경망 메모리 제어부는 인공신경망 연산 전용 접근 순서를 별도로 생성하도록 구성될 수 있다.
적어도 하나의 인공신경망 메모리 제어부는 메모리 접근 요청의 접근 순서를 재조정하도록 구성될 수 있다.
적어도 하나의 메모리는 읽기-버스트 기능을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리의 저장 영역을 읽기-버스트 기능을 고려하여 설정하도록 구성될 수 있다.
적어도 하나의 메모리는 읽기-버스트 기능을 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 적어도 하나의 메모리의 저장 영역을 읽기-버스트 기능을 고려하여 쓰기 동작을 처리 하도록 구성될 수 있다.
적어도 하나의 프로세서는 복수의 프로세서를 더 포함하고, 적어도 하나의 인공신경망 메모리 제어부는 복수의 프로세서 중 인공신경망 연산을 처리하는 프로세서의 데이터 접근 요청의 우선 순위를 인공신경망 연산 이외의 연산을 처리하는 프로세서보다 더 높게 설정하도록 구성될 수 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 개시의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 개시의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 개시가 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
인공신경망 메모리 시스템: 100, 200, 300, 400
프로세서: 110, 210, 310, 410
인공신경망 메모리 제어부: 120, 220, 320, 411, 412, 413, 414, 415, 416, 417
메모리: 330
캐쉬 메모리: 322
[이 발명을 지원한 국가연구개발사업]
[과제고유번호]1711117009
[과제번호]2020-0-01303-001
[부처명]과학기술정보통신부
[과제관리(전문)기관명]정보통신기획평가원
[연구사업명]차세대지능형반도체기술개발(설계)(R＆D)
[연구과제명]고성능 AI 서버용 HBM3급 이상 인터페이스 기술 개발
[기여율]1/1
[과제수행기관명]주식회사 딥엑스
[연구기간]2020.04.01 ~ 2020.12.31

Claims (28)

  1. 인공신경망 연산에 대응되는 데이터 접근 요청을 생성하도록 구성된, 적어도 하나의 프로세서; 및
    상기 데이터 접근 요청을 순차적으로 기록하여 상기 인공신경망 연산의 인공신경망 데이터 지역성 패턴을 생성하고, 상기 인공신경망 데이터 지역성 패턴에 기초하여 상기 적어도 하나의 프로세서가 생성한 상기 데이터 접근 요청의 다음 데이터 접근 요청을 예측한 사전 데이터 접근 요청을 생성하도록 구성된, 적어도 하나의 인공신경망 메모리 제어부;를 포함하는, 인공신경망 메모리 시스템.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는,
    상기 인공신경망 데이터 지역성 패턴에 기초하여 상기 사전 데이터 접근 요청을 순차적으로 더 생성하도록 구성된, 인공신경망 메모리 시스템.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는,
    상기 다음 데이터 접근 요청 생성 전에, 상기 사전 데이터 접근 요청을 생성하도록 구성된, 인공신경망 메모리 시스템.
  4. 제 1 항에 있어서,
    상기 데이터 접근 요청은, 메모리의 시작 주소와 연속되는 데이터 연속 읽기 트리거를 더 포함하도록 구성된, 인공신경망 메모리 시스템.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서가 상기 다음 데이터 접근 요청을 생성할 경우,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 상기 사전 데이터 접근 요청과 상기 다음 데이터 접근 요청이 서로 동일한 요청인지를 결정하도록 구성된, 인공신경망 메모리 시스템.
  6. 제 1 항에 있어서,
    상기 인공신경망 데이터 지역성 패턴은, 반복되는 루프 특성을 가지는 메모리 주소들로 구성된, 인공신경망 메모리 시스템.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는,
    상기 인공신경망 데이터 지역성 패턴의 갱신된 패턴과 이전의 패턴을 저장하여, 상기 인공신경망모델의 변화 여부를 결정하도록 구성된, 인공신경망 메모리 시스템.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는,
    상기 데이터 접근 요청들이 하나의 인공신경망모델의 요청들인지 또는 복수의 인공신경망모델들의 요청들이 혼합된 것인지 여부를 결정하도록 구성된, 인공신경망 메모리 시스템.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는,
    상기 인공신경망모델의 개수가 복수일 경우, 상기 인공신경망모델의 개수에 대응되는 인공신경망 데이터 지역성 패턴들을 더 생성하고,
    상기 인공신경망 데이터 지역성 패턴들에 기초하여, 대응되는 사전 데이터 접근 요청들을 각각 생성하도록 구성된, 인공신경망 메모리 시스템.
  10. 제 1 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부와 통신하도록 구성된 적어도 하나의 메모리를 더 포함하고,
    상기 적어도 하나의 메모리는 상기 적어도 하나의 인공신경망 메모리 제어부에서 출력되는 메모리 접근 요청에 대응하여 동작하도록 구성된,
    인공신경망 메모리 시스템.
  11. 제 10 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는,
    상기 메모리 접근 요청에 응답하여 상기 적어도 하나의 메모리가 전송한 데이터를 저장하도록 구성된 캐쉬 메모리를 더 포함하는, 인공신경망 메모리 시스템.
  12. 제 11 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는,
    상기 캐쉬 메모리의 잔여 용량에 기초하여,
    상기 캐쉬 메모리의 상기 잔여 용량이 최소화되도록 상기 메모리 접근 요청을 적어도 하나 이상 순차적으로 생성하도록 구성된, 인공신경망 메모리 시스템.
  13. 제 10 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는,
    상기 메모리 접근 요청에 응답하는 상기 적어도 하나의 메모리의 실효 대역폭을 측정하도록 구성된, 인공신경망 메모리 시스템.
  14. 제 10 항에 있어서,
    상기 적어도 하나의 메모리는, 메모리의 셀의 전압을 갱신할 수 있는 리프레쉬 기능을 포함하는 디램(DRAM)을 더 포함하고,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 상기 사전 데이터 접근 요청에 대응되는 상기 메모리 접근 요청에 대응되는 상기 적어도 하나의 메모리의 메모리 주소 영역의 리프레쉬를 선택적으로 제어하도록 구성된, 인공신경망 메모리 시스템.
  15. 제 10 항에 있어서,
    상기 적어도 하나의 메모리는, 메모리의 글로벌 비트라인을 특정 전압으로 충전시킬 수 있는 프리차지 기능을 더 포함하고,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 상기 사전 데이터 접근 요청에 대응되는 상기 메모리 접근 요청에 대응되는 상기 적어도 하나의 메모리의 메모리 주소 영역에 프리차지를 선택적으로 제공하도록 구성된, 인공신경망 메모리 시스템.
  16. 제 10 항에 있어서,
    상기 적어도 하나의 메모리는, 복수의 메모리를 더 포함하고,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 상기 복수의 메모리에 분할되어 저장된 데이터의 분할 정보를 저장하도록 구성된, 인공신경망 메모리 시스템.
  17. 제 10 항에 있어서,
    상기 인공신경망 메모리 제어부, 상기 적어도 하나의 프로세서, 및 상기 적어도 하나의 메모리의 통신을 제어하도록 구성된 시스템 버스를 더 포함하고,
    상기 적어도 하나의 인공신경망 메모리 제어부는 상기 시스템 버스의 마스터 권한을 가지도록 구성된, 인공신경망 메모리 시스템.
  18. 제 1 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부와 상기 적어도 하나의 프로세서는 직접 통신하도록 구성된, 인공신경망 메모리 시스템.
  19. 제 10 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 계층화 된 복수의 캐쉬 메모리를 더 포함하고,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 상기 계층화 된 복수의 캐쉬 메모리의 계층간 데이터 접근 요청들을 기계학습을 하도록 구성된 인공신경망모델을 더 포함하도록 구성된, 인공신경망 메모리 시스템.
  20. 인공신경망모델을 처리하도록 구성된, 적어도 하나의 프로세서; 및
    상기 인공신경망모델의 인공신경망 데이터 지역성 정보를 저장하고, 상기 인공신경망 데이터 지역성 정보에 기초하여 상기 적어도 하나의 프로세서가 요청할 데이터를 예측하여 사전 데이터 접근 요청을 생성하도록 구성된, 적어도 하나의 인공신경망 메모리 제어부;를 포함하는, 인공신경망 메모리 시스템.
  21. 제 20 항에 있어서,
    적어도 하나의 메모리; 및
    상기 인공신경망 메모리 제어부, 상기 적어도 하나의 프로세서, 및 상기 적어도 하나의 메모리의 통신을 제어하도록 구성된 시스템 버스를 더 포함하는, 인공신경망 메모리 시스템.
  22. 제 21 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 상기 시스템 버스 내에 배치되고,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 상기 적어도 하나의 메모리가 상기 메모리 접근 요청에 대한 응답을 완료할 때 까지, 상기 시스템 버스의 제어 권한을 상기 메모리 접근 요청이 없을 때보다 상대적으로 더 높게 증가시키도록 구성된, 인공신경망 메모리 시스템.
  23. 제 20 항에 있어서,
    DRAM을 더 포함하고,
    상기 적어도 하나의 인공신경망 메모리 제어부의 적어도 일부는 상기 DRAM에 포함되도록 구성된, 인공신경망 메모리 시스템.
  24. 제 20 항에 있어서,
    상기 적어도 하나의 인공신경망 메모리 제어부의 적어도 일부는 상기 적어도 하나의 프로세서에 포함되도록 구성된, 인공신경망 메모리 시스템.
  25. 제 20 항에 있어서,
    DRAM을 더 포함하고,
    상기 적어도 하나의 인공신경망 메모리 제어부는 상기 메모리 접근 요청의 접근 순서(access que)를 재조정하도록 구성된, 인공신경망 메모리 시스템.
  26. 제 20 항에 있어서,
    읽기-버스트 기능을 더 포함하는 적어도 하나의 메모리를 더 포함하고,
    상기 적어도 하나의 인공신경망 메모리 제어부는, 상기 적어도 하나의 메모리의 저장 영역을 상기 읽기-버스트 기능을 고려하여 설정하도록 구성된, 인공신경망 메모리 시스템.
  27. 프로세서, 메모리 및 캐쉬 메모리를 포함하고,
    인공신경망 데이터 지역성 정보에 기초하여 상기 프로세서가 요청할 데이터를 포함하는 사전 데이터 접근 요청을 생성하도록 구성되고, 그리고
    상기 메모리로부터 상기 사전 데이터 접근 요청에 대응되는 데이터를 상기 프로세서가 요청하기 전에 상기 캐쉬 메모리에 저장하도록 구성된, 인공신경망 메모리 시스템.
  28. 제 27 항에 있어서,
    상기 인공신경망 데이터 지역성 정보를 제공 받아 동작하도록 구성된 제1 모드 또는
    상기 프로세서가 생성하는 상기 데이터 접근 요청들을 관찰하여 상기 인공신경망 데이터 지역성 정보를 예측하여 동작하도록 구성된 제2 모드 중 하나의 모드로 동작하도록 구성된, 인공신경망 메모리 시스템.
PCT/KR2020/017576 2020-11-02 2020-12-03 인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템 WO2022092416A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020217024935A KR102661710B1 (ko) 2020-11-02 2020-12-03 인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템
KR1020237037033A KR20230152186A (ko) 2020-11-02 2020-12-03 인공신경망모델을 기초로 메인 메모리의 데이터 이동을 제어하는 메모리 컨트롤러
US17/430,323 US20230297519A1 (en) 2020-11-02 2020-12-03 Memory system of artificial neural network based on artificial neural network data locality
CN202080027581.1A CN114761972A (zh) 2020-11-02 2020-12-03 基于人工神经网络数据局部性的人工神经网络存储器系统
KR1020247013493A KR20240059638A (ko) 2020-11-02 2020-12-03 데이터 지연시간을 최소화시킨 인공신경망 연산 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0144308 2020-11-02
KR20200144308 2020-11-02

Publications (1)

Publication Number Publication Date
WO2022092416A1 true WO2022092416A1 (ko) 2022-05-05

Family

ID=81382805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017576 WO2022092416A1 (ko) 2020-11-02 2020-12-03 인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템

Country Status (4)

Country Link
US (1) US20230297519A1 (ko)
KR (3) KR102661710B1 (ko)
CN (1) CN114761972A (ko)
WO (1) WO2022092416A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836691B1 (en) * 2016-10-27 2017-12-05 Google Inc. Neural network instruction set architecture
US20190187963A1 (en) * 2017-12-19 2019-06-20 Canon Kabushiki Kaisha Memory access optimisation using per-layer computational mapping and memory allocation for cnn application
KR102023487B1 (ko) * 2012-09-17 2019-09-20 삼성전자주식회사 오토 리프레쉬 커맨드를 사용하지 않고 리프레쉬를 수행할 수 있는 반도체 메모리 장치 및 이를 포함하는 메모리 시스템
US20190332525A1 (en) * 2018-04-27 2019-10-31 International Business Machines Corporation Computerized methods for prefetching data based on machine learned sequences of memory addresses

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102382186B1 (ko) * 2018-10-10 2022-04-05 삼성전자주식회사 딥 러닝을 위한 고성능 컴퓨팅 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102023487B1 (ko) * 2012-09-17 2019-09-20 삼성전자주식회사 오토 리프레쉬 커맨드를 사용하지 않고 리프레쉬를 수행할 수 있는 반도체 메모리 장치 및 이를 포함하는 메모리 시스템
US9836691B1 (en) * 2016-10-27 2017-12-05 Google Inc. Neural network instruction set architecture
US20190187963A1 (en) * 2017-12-19 2019-06-20 Canon Kabushiki Kaisha Memory access optimisation using per-layer computational mapping and memory allocation for cnn application
US20190332525A1 (en) * 2018-04-27 2019-10-31 International Business Machines Corporation Computerized methods for prefetching data based on machine learned sequences of memory addresses

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEEOR PELED; URI WEISER; YOAV ETSION: "A neural network memory prefetcher using semantic locality", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 19 March 2018 (2018-03-19), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081555727, DOI: 10.1145/3345000 *

Also Published As

Publication number Publication date
CN114761972A (zh) 2022-07-15
KR20230152186A (ko) 2023-11-02
US20230297519A1 (en) 2023-09-21
KR20220059934A (ko) 2022-05-10
KR20240059638A (ko) 2024-05-07
KR102661710B1 (ko) 2024-04-29

Similar Documents

Publication Publication Date Title
WO2022039334A1 (ko) 신경망 프로세싱 유닛
WO2019245348A1 (en) Neural processor
WO2013115431A1 (ko) 신경망 컴퓨팅 장치 및 시스템과 그 방법
WO2009131376A2 (en) Multiple antenna communication system including adaptive updating and changing of codebooks
WO2016017970A1 (en) Method and device for encrypting or decrypting content
WO2022154471A1 (en) Image processing method, image processing apparatus, electronic device and computer-readable storage medium
WO2020222539A1 (en) Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
WO2020246836A1 (ko) 인공신경망의 데이터 로컬리티 기반의 데이터 캐슁을 이용하여 고속의 인공신경망 오퍼레이션을 지원하는 데이터 관리 장치
WO2020209693A1 (ko) 인공지능 모델을 갱신하는 전자 장치, 서버 및 그 동작 방법
WO2020036297A1 (en) Electronic apparatus and controlling method thereof
WO2020242260A1 (ko) 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
WO2019172685A1 (en) Electronic apparatus and control method thereof
WO2022092988A1 (en) A memory device for an artificial neural network
WO2016064131A1 (ko) 데이터 처리 방법 및 장치
WO2015024482A1 (zh) 变长指令字处理器系统和方法
WO2022092416A1 (ko) 인공신경망 데이터 지역성에 기초한 인공 신경망 메모리 시스템
WO2023080276A1 (ko) 쿼리 기반 데이터베이스 연동 딥러닝 분산 시스템 및 그 방법
WO2017138784A1 (ko) 라디오 어플리케이션을 실행하는 방법 및 단말 장치
WO2016013892A1 (en) Device and method for processing image
WO2021086127A1 (en) Hub device, multi-device system including the hub device and plurality of devices, and operating method of the hub device and multi-device system
WO2019132553A1 (en) Sound output system and voice processing method
WO2022131818A1 (ko) 전기적 스트레스를 제거하는 구조를 포함하는 전자 장치 및 인쇄 회로 기판
WO2021162363A1 (en) Method and apparatus for providing voice assistant service
WO2024010437A1 (ko) 신경 프로세싱 유닛 및 이의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20960033

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14.09.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20960033

Country of ref document: EP

Kind code of ref document: A1