TW202308374A - 影像感測器模組及其操作方法 - Google Patents

影像感測器模組及其操作方法 Download PDF

Info

Publication number
TW202308374A
TW202308374A TW111115437A TW111115437A TW202308374A TW 202308374 A TW202308374 A TW 202308374A TW 111115437 A TW111115437 A TW 111115437A TW 111115437 A TW111115437 A TW 111115437A TW 202308374 A TW202308374 A TW 202308374A
Authority
TW
Taiwan
Prior art keywords
image
storage
memory
data
processing
Prior art date
Application number
TW111115437A
Other languages
English (en)
Inventor
金冏榮
高祥修
金炳秀
河相赫
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202308374A publication Critical patent/TW202308374A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129—Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種影像感測器模組包括：影像感測器，被配置成產生影像資料；記憶體，包括記憶體中處理器（PIM）電路，PIM電路包括被配置成儲存影像資料的儲存體以及多個處理元件；以及訊號處理器，其中記憶體被配置成自儲存體讀取影像資料，使用與儲存體對應的處理元件對影像資料實行第一影像處理操作，且將被實行第一影像處理操作的經影像處理影像資料儲存於儲存體中或者輸出經影像處理影像資料。

Description

影像感測器模組及其操作方法
本發明概念提供影像感測器模組及其操作方法，且更具體而言，提供一種包括用於實行計算處理的記憶體的影像感測器模組及其操作方法。 [相關申請案的交叉參考]
本申請案是基於在2021年4月23日在韓國智慧財產局提出申請的韓國專利申請案第10-2021-0053166號且根據35 U.S.C. §119主張優先於所述韓國專利申請案，所述韓國專利申請案的揭露內容全文併入本案供參考。
影像感測器是一種用於捕獲目標對象的二維影像或三維影像的裝置。影像感測器使用對由目標對象反射的光的強度敏感的光電轉換元件來產生目標對象的影像。近來，隨著互補金屬氧化物半導體（complementary metal-oxide semiconductor，CMOS）技術的發展，CMOS影像感測器已得到廣泛使用。
近來，隨著對高品質及高解析度照片及視訊的需求增大，由影像感測器產生的影像資料的大小一直在增大。同時，當影像資料的大小增大時，高頻寬對於平滑的計算處理而言是有益的。
本發明概念提供包括用於實行計算處理的記憶體的影像感測器模組及其操作方法。
根據本發明概念的態樣，提供一種影像感測器模組，所述影像感測器模組包括：影像感測器，被配置成產生影像資料；記憶體，包括記憶體中處理器（PIM）電路，PIM電路包括被配置成儲存影像資料的儲存體及多個處理元件；以及訊號處理器，其中記憶體被配置成自儲存體讀取影像資料，使用與儲存體對應的處理元件對影像資料實行第一影像處理操作，且將被實行第一影像處理操作的經影像處理影像資料儲存於儲存體中或者輸出經影像處理影像資料。
根據本發明概念的另一態樣，提供一種操作包括影像感測器及記憶體的影像感測器模組的方法，所述方法包括：使用影像感測器獲得影像資料；將影像資料儲存於記憶體中所包括的儲存體中；使用包括於記憶體中且與儲存體對應的處理元件來對影像資料實行影像處理操作；以及將經影像處理影像資料儲存於記憶體中或者自記憶體輸出經影像處理影像資料。
根據本發明概念的另一態樣，提供一種影像感測器模組，所述影像感測器模組包括：影像感測器，被配置成產生影像資料；以及記憶體，被配置成儲存影像資料，其中記憶體包括：記憶體儲存體，包括彼此相鄰的第一儲存體與第二儲存體；記憶體中處理器（PIM）電路，包括連接至第一儲存體的第一處理元件及連接至第二儲存體的第二處理元件；以及區域匯流排，用於在記憶體儲存體與PIM電路之間發射及接收資料。
圖1是示出根據本發明概念一些示例性實施例的影像感測器模組的方塊圖。
影像感測器模組100可感測關於目標對象的影像，對所感測的影像進行處理，將所感測的影像儲存於記憶體中，或者將經處理的影像儲存於記憶體中。根據一些示例性實施例，影像感測器模組100可安裝於數位相機、數位攝錄影機、行動電話、平板個人電腦（personal computer，PC）、可攜式電子裝置等上。可攜式電子裝置可包括膝上型電腦、行動電話、智慧型電話、平板PC、個人數位助理（personal digital assistant，PDA）、企業數位助理（enterprise digital assistant，EDA）、數位靜態相機、數位視訊相機、音訊裝置、可攜式多媒體播放機（portable multimedia player，PMP）、個人導航裝置（personal navigation device，PND）、動畫專家群（Moving Picture Experts Group，MPEG）音訊層3（MPEG Audio Layer-3，MP3）播放機、手持式遊戲主控台、電子書裝置、可穿戴裝置等。另外，影像感測器模組100可作為一部分裝設於以下裝置上：無人機、高級駕駛員輔助系統（advanced drivers assistance system，ADAS）、或者作為車輛、家具、製造設施、門及各種量測裝置的組件而提供的電子裝置。
參照圖1，影像感測器模組100可包括影像感測器110、記憶體120、訊號處理器130及介面140。根據一些示例性實施例，影像感測器模組100可由多個半導體晶片實施。然而，本發明概念並不限於此，且影像感測器模組100亦可由一個半導體晶片實施。
影像感測器模組100可拍攝外部目標對象（或對象）且產生影像資料。影像感測器模組100可包括影像感測器110，影像感測器110可將目標對象的藉由透鏡LS入射的光學訊號轉換成電性訊號。影像感測器110可包括其中多個畫素以二維方式被佈置的畫素陣列且可輸出包括分別與畫素陣列的畫素對應的多個畫素值的影像資料。
畫素陣列可包括多條列線、多條行線及分別連接至列線及行線且以類似矩陣的形式佈置的多個畫素。畫素可各自包括至少一個光電轉換元件（或光感測元件）。光電轉換元件可感測光且將所感測的光轉換成光電荷。舉例而言，光電轉換元件可為包含有機材料或無機材料的光感測元件，例如光電二極體、有機光電二極體、鈣鈦礦光電二極體、光電電晶體、光閘、釘紮光電二極體等。根據一些示例性實施例，畫素可各自包括多個光電轉換元件。
畫素陣列的畫素可各自感測多種參考顏色之中的至少一種顏色的光訊號。舉例而言，參考顏色可包括紅色、綠色及藍色，可包括紅色、綠色、藍色及白色，或者可包括其他顏色。舉例而言，參考顏色可包括青色、黃色、綠色及品紅色。畫素陣列可產生包括關於相應的畫素的參考顏色的資訊的畫素訊號。
可在畫素之上提供用於對特定光譜範圍的光進行透射的彩色濾光片陣列，且根據分別佈置於畫素上的彩色濾光片，可確定可由對應的畫素感測的顏色。然而，本發明概念並不限於此。在一些示例性實施例中，特定的光電轉換元件可根據施加至光電轉換元件的電性訊號的位準而將特定波長帶的光轉換成電性訊號。
在一些示例性實施例中，由影像感測器110產生的影像資料可包括包含藉由自畫素陣列輸出的多個畫素訊號的數位至類比轉換獲得的多個畫素值的原始影像資料，或者可包括藉由對原始影像資料實行預處理而獲得的影像資料。在一些示例性實施例中，影像感測器110可包括驅動及讀取電路，所述驅動及讀取電路用於控制畫素陣列且將自畫素陣列接收的畫素訊號轉換成畫素值。舉例而言，驅動及讀取電路可包括列驅動器、讀出電路、斜坡訊號產生器、時序控制器等。驅動及讀取電路可產生包括分別與所接收的畫素訊號對應的畫素值的原始影像資料。在一些示例性實施例中，影像感測器110可更包括用於對原始影像資料實行預處理的處理邏輯。影像感測器110可將原始影像資料或經預處理的影像資料發射至記憶體120及/或訊號處理器130。
記憶體120可包括記憶體儲存體（memory bank）122、記憶體中處理器（processor in memory，PIM）電路124及控制邏輯126。記憶體儲存體122可包括多個儲存體Bank1至BankN（N是正整數），且儲存體Bank1至BankN可各自包括包含多個記憶胞的記憶胞陣列。儲存體可以多種方式進行界定。舉例而言，儲存體可被界定為包括記憶胞的配置，或者可被界定為包括一或多個周邊電路以及記憶胞的配置。
記憶體120可儲存由影像感測器110產生的影像資料或者由訊號處理器130處理的影像資料。在一些示例性實施例中，記憶體儲存體122可將自影像感測器110或訊號處理器130接收的影像資料儲存於儲存體Bank1至BankN中的至少一者中。舉例而言，記憶體儲存體122可將自影像感測器110或訊號處理器130接收的影像資料劃分成預定的（或者作為另外一種選擇，期望的）大小且將所劃分的影像資料儲存於儲存體Bank1至BankN中的至少一者中。另外，記憶體儲存體122可在影像感測器模組100的控制下讀出預先儲存的影像資料，且將讀出的影像資料發射至訊號處理器130或記憶體介面140。
記憶體120可使用PIM電路124對自影像感測器110接收的影像資料或儲存於記憶體120中的影像資料實行計算處理。在一些示例性實施例中，PIM電路124可使用處理元件（processing element，PE）來實行與各種類型的影像處理操作相關的計算處理。
在一些示例性實施例中，PIM電路124可對影像資料中所包括的影像假影實行各種影像處理操作，如被應用影像增強演算法的操作、分類操作及/或分割操作。被應用影像增強演算法的操作可包括白平衡、去雜訊、去馬賽克、重新馬賽克、鏡頭遮陰（lens shading）及/或伽馬校正（gamma correction）。然而，本發明概念並不限於此，且被應用影像增強演算法的操作可包括各種其他影像處理操作。
在一些示例性實施例中，影像處理操作可被實施成基於神經網路的任務，且PIM電路124可實行基於神經網路的計算處理中的至少一些基於神經網路的計算處理。神經網路可為基於以下中的至少一者的神經網路模型：人工神經網路（Artificial Neural Network，ANN）、卷積神經網路（Convolution Neural Network，CNN）、具有卷積神經網路的區（Region with Convolution Neural Network，R-CNN）、區建議網路（Region Proposal Network，RPN）、遞歸神經網路（Recurrent Neural Network，RNN）、基於堆疊的深度神經網路（Stacking-based Deep Neural Network，S-DNN）、狀態空間動態神經網路（State-Space Dynamic Neural Network，S-SDNN）、去卷積網路、深度信念網路（Deep Belief Network，DBN）、受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）、完全卷積網路、長短期記憶（Long Short-Term Memory，LSTM）網路、分類網路、普通殘差網路（Plain Residual Network）、密集網路、階層式金字塔網路（Hierarchical Pyramid Network）、完全卷積網路等。然而，神經網路模型的類型並不限於上述實例。以下將參照圖2詳細闡述PIM電路124用以實行基於神經網路的計算處理的方法。
在一些示例性實施例中，PIM電路124的PE可自記憶體儲存體122的儲存體Bank1至BankN讀出影像資料且對讀出的影像資料實行上述影像處理操作。記憶體120可將使用PIM電路124對其實行計算處理的影像資料儲存回記憶體儲存體122中。另外，記憶體120可向訊號處理器130提供使用PIM電路124對其實行計算處理的影像資料。另外，記憶體120可藉由介面140將被實行計算處理的影像資料輸出至影像感測器模組100外部的裝置。
控制邏輯126可實行關於記憶體儲存體122及PIM電路124的控制操作。在一些示例性實施例中，控制邏輯126可對被提供至記憶體120的命令及位址實行解碼操作且控制記憶體儲存體122及PIM電路124，使得根據解碼操作的結果實行記憶操作。舉例而言，被提供至記憶體120的命令可包括與如資料的寫入/讀取那般的記憶操作相關的命令及與計算操作相關的命令。根據解碼操作的結果，控制邏輯126可控制記憶體儲存體122實行用於將資料寫入與位址對應的儲存區/自與位址對應的儲存區讀取資料的記憶操作，或者控制PIM電路124基於寫入於與位址對應的儲存區中的資料來實行計算操作。
記憶體120可包括動態隨機存取記憶體（dynamic random access memory，DRAM），如雙倍資料速率同步動態隨機存取記憶體（double data rate synchronous dynamic random access memory，DDR SDRAM）、低功率雙倍資料速率LPDD（low power double data rate LPDD，LPDDR）SDRAM、圖形雙倍資料速率（graphics double data rate，GDDR）SDRAM及蘭巴斯動態隨機存取記憶體（Rambus dynamic random access memory，RDRAM）。然而，本發明概念的示例性實施例並不一定局限於此。舉例而言，記憶體120亦可包括非揮發性記憶體，如快閃記憶體、磁性RAM（magnetic RAM，MRAM）、鐵電RAM（ferroelectric RAM，FeRAM）、相變RAM（phase change RAM，PRAM）、電阻式RAM（resistive RAM，ReRAM）等。
另外，記憶體120可為與包括多個通道（各自具有獨立的介面）的記憶體裝置中的一個半導體晶片或一個通道對應的配置。在一些示例性實施例中，記憶體120可為與記憶體模組對應的配置。在一些示例性實施例中，記憶體模組可包括多個記憶體晶片，且圖1所示記憶體120可與安裝於模組板上的一個記憶體晶片對應。
訊號處理器130可對自影像感測器110或記憶體120接收的影像資料實行計算處理。舉例而言，訊號處理器130可包括中央處理單元（central processing unit，CPU）、微處理器或微控制器單元（microcontroller unit，MCU）。在一些示例性實施例中，訊號處理器130可實行與各種影像處理操作相關的計算處理。舉例而言，訊號處理器130可實行各種影像處理操作，如白平衡、去雜訊、去馬賽克、重新馬賽克、鏡頭遮陰、伽馬校正、分類操作及分割操作。
在一些示例性實施例中，訊號處理器130可接收由記憶體120對其實行特定影像處理操作的影像資料且對所接收的影像資料實行其餘的影像處理操作。舉例而言，訊號處理器130可接收由記憶體120對其實行去雜訊的影像資料，且對所接收的影像資料實行白平衡、去馬賽克、重新馬賽克、鏡頭遮陰、伽馬校正、分類操作及分割操作中的至少一者。
在一些示例性實施例中，訊號處理器130可自影像感測器110接收影像資料且對所接收的影像資料實行各種影像處理操作。接下來，訊號處理器130可將經處理的影像資料發射至記憶體120。記憶體120可儲存自訊號處理器130接收的影像資料。
影像感測器模組100可藉由介面140輸出影像資料。在一些示例性實施例中，介面140可輸出儲存於記憶體120中的影像資料或者由訊號處理器130處理的影像資料。舉例而言，介面140可被實施成基於行動工業處理器介面（mobile industry processor interface，MIPI）的相機串列介面（camera serial interface，CSI）。然而，介面140的類型並不限於此，且介面140可根據各種協定標準來實施。
根據本發明概念一些示例性實施例的影像感測器模組100使用能夠實行計算處理的記憶體120來實行計算處理，且因此，可提高影像處理操作的計算速度。詳言之，由於記憶體120中的記憶體儲存體122與PIM電路124之間的頻寬一般而言高於記憶體120與訊號處理器130之間的頻寬，因此當使用記憶體120實行計算處理時，可提高計算速度。另外，當計算速度提高時，可在相同的時間段內實行被應用更多層的神經網路運算，且因此，可改善影像感測器模組100的計算操作的精度。
另外，在圖1中所示的一些示例性實施例中，PE可包括各種數目的PE。舉例而言，可與一個儲存體對應地提供每一PE，或者可與二或更多個儲存體對應地提供每一PE。
另外，儘管為了便於理解，圖1示出記憶體儲存體122與PIM電路124彼此分離，但本發明概念並不限於此，且記憶體儲存體122與PIM電路124可至少部分地彼此整合。以下將參照圖3A至圖3C給出其詳細說明。
圖2是示出神經網路結構的實例的圖。圖1所示PIM電路124可用於實施圖2所示神經網路NN的結構的至少一部分。
參照圖2，神經網路NN可包括多個層L1至Ln。具有此種多層結構的神經網路可被稱為深度神經網路（DNN）或深度學習架構。層L1至Ln中的每一者可為線性層或非線性層，且在一些示例性實施例中，至少一個線性層與至少一個非線性層可彼此進行組合以被稱為一個層。舉例而言，線性層可包括卷積層及全連接層，且非線性層可包括池化（pooling）層及激活層（activation layer）。
舉例而言，第一層L1可為卷積層，第二層L2可為池化層，且第n層Ln可為作為輸出層的全連接層。神經網路NN可更包括激活層且可更包括用於實行其他類型操作的層。
層L1至Ln可各自接收輸入影像訊框或者在前一層中產生的特徵圖作為輸入特徵圖，且藉由對輸入特徵圖進行處理而產生輸出特徵圖或識別訊號REC。此處，特徵圖是指表達輸入資料的各種特性的資料。特徵圖FM1、FM2、FM3及FMn可各自具有例如包括多個特徵值（或被稱為張量）的二維矩陣形狀或三維矩陣形狀。特徵圖FM1、FM2、FM3及FMn具有寬度W（或行）、高度H（或列）及深度D，寬度W（或行）、高度H（或列）及深度D可分別與坐標系中的x軸、y軸及z軸對應。此處，深度D可被稱為通道數目。
第一層L1可藉由將第一特徵圖FM1與權重圖WM進行卷積來產生第二特徵圖FM2。權重圖WM可具有包括多個權重值的二維矩陣或三維矩陣的形式。權重圖WM亦可被稱為內核。權重圖WM可對第一特徵圖FM1進行過濾且可被稱為過濾器或內核。權重圖WM的深度（例如，通道數目）與第一特徵圖FM1的深度（例如，通道數目）相同，且權重圖WM與第一特徵圖FM1的相同通道可彼此進行卷積。權重圖WM以遍歷作為滑動窗口的第一輸入特徵圖FM1的方式移位。在每一移位期間，權重圖WM中所包括的權重中的每一者可乘以與第一特徵圖FM1交疊的區中的所有特徵值並進行求和。當第一特徵圖FM1與權重圖WM彼此進行卷積時，可產生第二特徵圖FM2的一個通道。儘管在圖2中示出一個權重圖WM，但由於多個權重圖實際上與第一特徵圖FM1進行卷積，因此可產生第二特徵圖FM2的多個通道。換言之，第二特徵圖FM2的通道數目可與權重圖的數目對應。
第二層L2可藉由利用池化改變第二特徵圖FM2的空間大小來產生第三特徵圖FM3。池化可被稱為取樣或下取樣。二維的池化窗口PW可在第二特徵圖FM2上以池化窗口PW的大小為單位移位，且可選擇與池化窗口PM交疊的區中的特徵值的最大值（或平均值）。因此，可自第二特徵圖FM2產生具有經改變的空間大小的第三特徵圖FM3。第三特徵圖FM3的通道數目與第二特徵圖FM2的通道數目相同。
第n層Ln可藉由對第n特徵圖FMn的特徵進行組合而對輸入資料的類別CL進行分類。另外，可產生與相應的類別對應的識別訊號REC。然而，神經網路NN的結構並不限於上述實例，且可省略層L1至Ln中的一些層，或者可另外地提供其他層。
根據本發明概念的一些示例性實施例，圖1所示PIM電路124的PE可實施神經網路NN的卷積層、全連接層、池化層及激活層中的至少一者。舉例而言，PIM電路124的一些PE可被配置成對自儲存體Bank1至BankN讀出的影像資料實行卷積運算，且PIM電路124的一些其他PE可被配置成對卷積運算的結果實行池化運算。
圖3A至圖3C是示出根據本發明概念一些示例性實施例的記憶體的部分的方塊圖。圖3A至圖3C所示記憶體200、200a及200b可各自與圖1所示記憶體120對應。
首先，參照圖3A，記憶體200包括儲存體群組210、PE群組220及區域匯流排230。在一些示例性實施例中，儲存體群組210包括第一儲存體Bank1至第四儲存體Bank4，且PE群組220包括分別與第一儲存體Bank1至第四儲存體Bank4對應的第一PE PE1至第四PE PE4。另外，PE群組220可更包括獨立於儲存體群組210的第五PE PE5。
在一些示例性實施例中，第一儲存體Bank1至第四儲存體Bank4可根據對應關係分別連接至第一PE PE1至第四PE PE4。舉例而言，參照圖3A，第一儲存體Bank1可連接至第一PE PE1，第二儲存體Bank2可連接至第二PE PE2，第三儲存體Bank3可連接至第三PE PE3，且第四儲存體Bank4可連接至第四PE PE4。
在記憶體200的儲存操作期間，儲存體群組210可儲存藉由區域匯流排230發射的資料。在一些示例性實施例中，記憶體200可自圖1所示影像感測器110接收影像資料，且第一儲存體Bank1至第四儲存體Bank4中的至少一者可儲存影像資料的至少一部分。舉例而言，影像資料可被劃分成預設的（或者作為另外一種選擇，期望的）大小的部分且儲存於第一儲存體Bank1至第四儲存體Bank4中的至少一者中。
在記憶體200的計算操作期間，PE群組220的PE中的一些PE（例如，第一PE PE1至第四PE PE4）可各自基於儲存於儲存體群組210的對應的儲存體中的資料來實行計算操作。此時，第一PE PE1至第四PE PE4可並行地實行計算操作。作為非限制性實例，第一PE PE1至第四PE PE4可基於儲存於對應的儲存體中的影像資料來實行神經網路運算之中的卷積運算。換言之，第一PE PE1至第四PE PE4可並行地實行神經網路運算。
舉例而言，參照圖3A，第一PE PE1可基於儲存於第一儲存體Bank1中的資料來實行計算操作，第二PE PE2可基於儲存於第二儲存體Bank2中的資料來實行計算操作，第三PE PE3可基於儲存於第三儲存體Bank3中的資料來實行計算操作，且第四PE PE4可基於儲存於第四儲存體Bank4中的資料來實行計算操作。
在一些示例性實施例中，PE群組220中獨立於儲存體群組210的PE（例如，第五PE PE5）可基於第一PE PE1至第四PE PE4的計算操作的結果來實行計算操作。作為非限制性實例，第五PE PE5可基於第一PE PE1至第四PE PE4的計算操作的結果來實行神經網路運算之中的池化運算。第五PE PE5可藉由區域匯流排230接收第一PE PE1至第四PE PE4的計算操作的結果且基於計算操作的結果來實行池化運算。換言之，第五PE PE5可基於計算操作的結果來實行神經網路運算。
在一些示例性實施例中，PE群組220的計算操作的結果可儲存於儲存體群組210中。舉例而言，第一PE PE1至第四PE PE4的計算操作的結果可分別儲存於對應的儲存體中。另外，第五PE PE5的計算操作的結果可儲存於第一儲存體Bank1至第四儲存體Bank4中的至少一者中。
然而，用於儲存PE群組220的計算操作的結果的位置並不限於此且可獨立於PE與儲存體之間的對應關係。舉例而言，可藉由區域匯流排230將第一PE PE1的計算操作的結果發射至第二儲存體Bank2且將所述結果儲存於第二儲存體Bank2中。
參照圖3B，記憶體200a包括儲存體群組210a、PE群組220a及區域匯流排230a。在一些示例性實施例中，儲存體群組210a包括第一儲存體Bank1至第三儲存體Bank3，且PE群組220a包括分別與第一儲存體Bank1至第三儲存體Bank3對應的第一PE PE1至第三PE PE3。另外，PE群組220a可更包括獨立於儲存體群組210a的第四PE PE4。在下文中，將省略與以上參照圖3A給出的說明一致的說明。
在記憶體200a的儲存操作期間，儲存體群組210a可儲存藉由區域匯流排230a發射的資料。在一些示例性實施例中，記憶體200a可自圖1所示影像感測器110接收影像資料，且第一儲存體Bank1至第四儲存體Bank4中的至少一者可儲存影像資料的至少一部分。舉例而言，影像資料可被劃分成預設的（或者作為另外一種選擇，期望的）大小的部分且儲存於第一儲存體Bank1至第四儲存體Bank4中的至少一者中。
在記憶體200a的計算操作期間，PE群組220a的PE中的一些PE（例如，第一PE PE1至第三PE PE3）可各自基於儲存於儲存體群組210a的對應的儲存體中的資料來實行計算操作。此時，第一PE PE1至第三PE PE3可並行地實行計算操作。作為非限制性實例，第一PE PE1至第三PE PE3可基於儲存於對應的儲存體中的影像資料來實行神經網路運算之中的卷積運算。
在一些示例性實施例中，儘管圖3B所示PE群組220a不包括與第四儲存體Bank4對應的PE，但可藉由區域匯流排230a將儲存於第四儲存體Bank4中的資料發射至PE群組220a。然後，PE群組220a可基於藉由區域匯流排230a接收的第四儲存體Bank4的資料來實行計算操作。
舉例而言，參照圖3B，第一PE PE1至第三PE PE3之中的第一PE PE1可基於儲存於第四儲存體Bank4中的影像資料來實行神經網路運算之中的卷積運算。詳言之，可藉由區域匯流排230a將儲存於第四儲存體Bank4中的目標影像資料發射至連接至第一PE PE1的第一儲存體Bank1且將所述目標影像資料儲存於第一儲存體Bank1中。然後，第一PE PE1可對自第一儲存體Bank1讀出的目標影像資料實行計算操作。另外，根據一些示例性實施例，可藉由區域匯流排230a將儲存於第四儲存體Bank4中的目標影像資料發射至第一PE PE1，而不發射至第一儲存體Bank1、儲存於第一儲存體Bank1中以及自第一儲存體Bank1讀出。然後，第一PE PE1可對藉由區域匯流排230a接收的目標影像資料實行計算操作。在一些示例性實施例中，可藉由如上所述的區域匯流排230a將儲存於第四儲存體Bank4中的目標影像資料發射至第一儲存體Bank1至第三儲存體Bank3及/或第一PE PE1至第三PE PE3中的一或多者。換言之，可將儲存於第四儲存體Bank4中的目標影像資料傳送至一或多個位置，使得處理元件PE（例如，第一PE PE1至第三PE PE3中的一或多者）可對藉由區域匯流排230a接收的目標影像資料實行計算操作。
換言之，根據圖3B的一些示例性實施例的PE不僅可基於儲存於對應的儲存體中的資料來實行計算操作，亦可接收儲存於非對應儲存體中的資料且基於所接收的資料來實行計算操作。因此，即使當PE群組220a包括相對少數目的PE時，亦可對儲存於儲存體群組210a中的資料實行卷積運算。
為了實行如上所述的卷積運算，圖1所示控制邏輯126可基於位址資訊及操作序列資訊來控制圖1所示記憶體儲存體122及圖1所示PIM電路124。舉例而言，控制邏輯126可基於關於第四儲存體Bank4的位址資訊而自第四儲存體Bank4讀出第四影像資料且將第四影像資料發射至第一PE PE1。此時，第一PE PE1可被設定成亦對自第一儲存體Bank1讀出的第一影像資料實行計算處理。因此，根據操作序列資訊，控制邏輯126可在對自第一儲存體Bank1讀出的第一影像資料實行計算處理之前或之後將第四影像資料發射至第一儲存體Bank1且控制第一PE PE1對第四影像資料實行計算處理。
在一些示例性實施例中，獨立於PE群組220a中的儲存體群組210a的PE（例如，第四PE PE4）可基於第一PE PE1至第三PE PE3的計算操作的結果來實行計算操作。作為非限制性實例，第四PE PE4可基於第一PE PE1至第三PE PE3的計算操作的結果來實行神經網路運算之中的池化運算。第四PE PE4可藉由區域匯流排230a接收第一PE PE1至第三PE PE3的計算操作的結果且基於計算操作的結果來實行池化運算。
在一些示例性實施例中，PE群組220a的計算操作的結果可儲存於儲存體群組210a中。舉例而言，第一PE PE1至第三PE PE3的計算操作的結果可分別儲存於對應的儲存體中。在一些示例性實施例中，可藉由區域匯流排230a將第一PE PE1至第三PE PE3的計算操作的結果發射至第四儲存體Bank4且將所述結果儲存於第四儲存體Bank4中。另外，第四PE PE4的計算操作的結果可儲存於第一儲存體Bank1至第四儲存體Bank4中的至少一者中。
然而，用於儲存PE群組220a的計算操作的結果的位置並不限於此且可獨立於PE與儲存體之間的對應關係。舉例而言，可藉由區域匯流排230a將第一PE PE1的計算操作的結果發射至第二儲存體Bank2且將所述結果儲存於第二儲存體Bank2中。
在圖3A及圖3B中所示的一些示例性實施例中，儲存體群組210（儲存體群組210及210a）中所包括的儲存體的所述數目及PE群組220（PE群組220及220a）中所包括的PE的所述數目僅為實例，且本發明概念並不限於此。儲存體群組210及210a可包括更多或更少的儲存體，且PE群組220及220a可包括更多或更少的PE。
另外，在圖3A及圖3B中所示的一些示例性實施例中，已示出並闡述記憶體200或200a包括實行池化運算的PE（例如，圖3A所示第五PE PE5或圖3B所示第四PE PE4），但本發明概念並不限於此。舉例而言，記憶體200或200a可不包括實行池化運算的PE。
參照圖3C，記憶體200b可包括第一儲存體群組210_1b、第二儲存體群組210_2b、第一PE群組220_1b及第二PE群組220_2b。在一些示例性實施例中，第一儲存體群組210_1b包括第一儲存體Bank1至第四儲存體Bank4，且第一PE群組220_1b包括分別與第一儲存體Bank1至第四儲存體Bank4對應的第一PE PE1至第四PE PE4。另外，第二儲存體群組210_2b包括第五儲存體Bank5至第八儲存體Bank8，且第二PE群組220_2b包括分別與第五儲存體Bank5至第八儲存體Bank8對應的第五PE PE5至第八PE PE8。在下文中，將省略與以上參照圖3A及圖3B給出的說明一致的說明。
在一些示例性實施例中，記憶體200b可具有其中第一儲存體群組210_1b與第一PE群組220_1b堆疊於第二儲存體群組210_2b及第二PE群組220_2b上的結構。另外，可藉由區域匯流排230b將記憶體200b的各種資料發射至第一儲存體群組210_1b、第二儲存體群組210_2b、第一PE群組220_1b及第二PE群組220_2b。
在記憶體200b的儲存操作期間，第一儲存體群組210_1b及第二儲存體群組210_2b可儲存藉由區域匯流排230b發射的資料。在一些示例性實施例中，記憶體200b可自圖1所示影像感測器110接收影像資料，且第一儲存體Bank1至第八儲存體Bank8中的至少一者可儲存影像資料的至少一部分。舉例而言，影像資料可被劃分成預設的（或者作為另外一種選擇，期望的）大小的部分且儲存於第一儲存體Bank1至第八儲存體Bank8中的至少一者中。
在記憶體200b的計算操作期間，第一PE群組220_1b可基於儲存於第一儲存體群組210_1b中的資料來實行第一計算操作，且第二PE群組220_2b可基於儲存於第二儲存體群組210_2b中的資料來實行第二計算操作。第一計算操作與第二計算操作可彼此一致或不同，且可在相同的時間或不同的時間處實行。
然而，本發明概念並不限於此，且第一PE群組220_1b可藉由區域匯流排230b接收儲存於第二儲存體群組210_2b中的資料且基於所接收的資料來實行第一計算操作。另外，第二PE群組220_2b可藉由區域匯流排230b接收儲存於第一儲存體群組210_1b中的資料且基於所接收的資料來實行第二計算操作。
另外，根據一些示例性實施例，第一PE群組220_1b可藉由區域匯流排230b接收由第二PE群組220_2b實行的第二計算操作的第二計算結果且基於第二計算結果來實行第一計算操作。另外，第二PE群組220_2b可藉由區域匯流排230b接收由第一PE群組220_1b實行的第一計算操作的第一計算結果且基於第一計算結果來實行第二計算操作。
同時，在圖3C中所示的一些示例性實施例中，已示出並闡述記憶體200b不包括實行池化運算的PE（例如，圖3A所示第五PE PE5或圖3B所示第四PE PE4），但本發明概念並不限於此。舉例而言，記憶體200b可更包括實行池化運算的PE，例如，第一PE群組220_1b與第二PE群組220_2b可共享實行池化運算的PE，或者可各自具有實行池化運算的PE。
圖4是示出根據本發明概念一些示例性實施例的記憶體的結構的方塊圖。圖4所示記憶體300可與圖1所示記憶體120以及圖3A至圖3C所示記憶體200、200a及200b對應。另外，圖4是示出記憶體300中連接至彼此的儲存體與PE的結構的方塊圖，其中所述結構可應用於例如圖3A所示第一儲存體Bank1及第一PE PE1。
參照圖4，記憶體300可包括記憶胞陣列310、位址緩衝器320、列解碼器330、行解碼器340、感測放大器350、輸入/輸出（input/output，I/O）閘控電路360、PE 370、資料I/O電路380及控制邏輯390。
記憶胞陣列310包括以包括列及行的矩陣形式提供的多個記憶胞。記憶胞陣列310包括連接至記憶胞的多條字元線WL及多條位元線BL。字元線WL可連接至記憶胞的列，且多條位元線BL可連接至記憶胞的行。
位址緩衝器320接收位址ADDR。位址ADDR包括對記憶胞陣列310的列進行尋址的列位址RA及對記憶胞陣列310的行進行尋址的行位址CA。位址緩衝器320可將列位址RA發射至列解碼器330且將行位址CA發射至行解碼器340。
列解碼器330可選擇連接至記憶胞陣列310的字元線WL中的任一者。列解碼器330可對自位址緩衝器320接收的列位址RA進行解碼，選擇與列位址RA對應的字元線WL中的任一者，且啟用所選擇的字元線WL。
行解碼器340可自記憶胞陣列310的位元線BL之中選擇預定的（或者作為另外一種選擇，期望的）位元線BL。行解碼器340可藉由對自位址緩衝器320接收的行位址CA進行解碼而產生行選擇訊號且藉由I/O閘控電路360來選擇連接至行選擇訊號的位元線BL。
感測放大器350連接至記憶胞陣列310的位元線BL。感測放大器350感測位元線BL的電壓的改變，使所述變化放大，且輸出經放大的改變。可藉由I/O閘控電路360來選擇被感測放大器350感測並放大的位元線BL。
I/O閘控電路360可包括用於儲存由行選擇訊號選擇的位元線BL的讀取資料的讀取資料鎖存器及用於將寫入資料寫入至記憶胞陣列310的寫入驅動器。可藉由資料I/O電路380將儲存於讀取資料鎖存器中的資料提供至資料接墊DQ。可藉由寫入驅動器將藉由資料接墊DQ被提供至資料I/O電路380的寫入資料寫入至記憶胞陣列310。資料接墊DQ可連接至記憶體300內部的區域匯流排（例如，圖3A所示區域匯流排230）。
PE 370可設置於I/O閘控電路360與資料I/O電路380之間。PE 370可基於自記憶胞陣列310讀出的資料或者自資料I/O電路380接收的資料來實行計算操作。PE 370可為算術邏輯單元（arithmetic logic unit，ALU）。PE 370可將計算結果寫入至記憶胞陣列310，或者藉由資料I/O電路380將計算結果提供至資料接墊DQ。
控制邏輯390可接收時脈訊號CLK及命令CMD且產生用於控制記憶體300的操作時序、記憶操作及/或計算操作的控制訊號CTRLS。控制邏輯390可使用控制訊號CTRLS自記憶胞陣列310讀取資料且將資料寫入至記憶胞陣列310。另外，控制邏輯390可使用控制訊號CTRLS來控制PE 370實行計算處理。
儘管已參照圖4示出並闡述控制邏輯390控制記憶體300的記憶操作及計算操作，但本發明概念並不限於此。舉例而言，記憶體300可包括產生用於控制記憶體300的計算操作的控制訊號的獨立組件（例如，處理控制器）。在一些示例性實施例中，處理控制器可產生用於控制PE 370的控制訊號。
另外，已參照圖4示出並闡述記憶體300包括PE 370，但本發明概念並不限於此。舉例而言，當不存在連接至儲存體的PE（如圖3B所示第四儲存體Bank4的情形那般）時，在圖4所示示例性實施例中可省略PE 370。
圖5是詳細示出根據本發明概念一些示例性實施例的記憶體的結構的圖。詳言之，圖5是詳細示出圖4所示記憶體300的結構的圖。在下文中，將省略與以上參照圖4給出的說明一致的說明。
參照圖4及圖5，記憶體300可更包括與計算操作相關的各種組件。舉例而言，PE 370可包括分別與記憶胞陣列310的多條位元線BL1至BLK（K是正整數）對應的ALU。
ALU可包括第一乘法電路MC1、第二乘法電路MC2及第三乘法電路MC3以及第一加法電路AC1及第二加法電路AC2。第一乘法電路MC1、第二乘法電路MC2及第三乘法電路MC3可藉由在分別自對應的位元線及與所述對應的位元線相鄰的位元線讀出的資料與權重之間實行乘法運算來輸出多個乘法運算結果。
舉例而言，參照圖5，第二乘法電路MC2可藉由在自對應的位元線讀出的資料與第二權重之間實行乘法運算來輸出第二乘法運算結果。第一乘法電路MC1可藉由在自設置於對應的位元線的左側上的位元線讀出的資料與第一權重之間實行乘法運算來輸出第一乘法運算結果。另外，第三乘法電路MC3可藉由在自設置於對應的位元線的右側上的位元線讀出的資料與第三權重之間實行乘法運算來輸出第三乘法運算結果。此處，第一權重至第三權重可彼此一致或不同。另外，分別自對應的位元線及與所述對應的位元線相鄰的位元線讀出的資料可與藉由感測放大器350儲存於讀取資料鎖存器Latch1中的資料對應。
第一加法電路AC1可藉由在第一乘法電路MC1、第二乘法電路MC2及第三乘法電路MC3的第一乘法運算結果、第二乘法運算結果及第三乘法運算結果之間實行加法運算來輸出第一加法運算結果。另外，第二加法電路AC2可藉由在第一加法運算結果與自對應的位元線讀出的資料之間實行加法運算來輸出第二加法運算結果。此處，自對應的位元線讀出的資料可與自記憶胞陣列310直接發射的資料對應，而無需感測放大器350及讀取資料鎖存器Latch1的介入。
如上所述，使用ALU的第一乘法電路MC1、第二乘法電路MC2及第三乘法電路MC3以及第一加法電路AC1及第二加法電路AC2的計算操作不僅是基於對應的位元線的資料來實行，亦是基於與所述對應的位元線相鄰的位元線的資料來實行。因此，所述技術配置可應用於卷積運算。
資料I/O電路380可包括用於儲存由第二加法電路AC2輸出的第二加法運算結果的計算資料鎖存器Latch2、以及用於選擇欲被提供至資料接墊DQ的資料的資料選擇器。計算資料鎖存器Latch2可儲存由第二加法電路AC2輸出的第二乘法運算結果。在一些示例性實施例中，資料選擇器可包括至少一個多工器（未示出）。
儘管圖4及圖5是示出連接至彼此的Bank與PE的結構的圖，但本發明概念並不限於此。舉例而言，在未連接有PE的儲存體（例如，圖3B所示第四儲存體Bank4）的情形中，可省略圖4及圖5所示PE 370以及圖5所示資料I/O電路380中所包括的計算資料鎖存器Latch2。
圖6是示出根據本發明概念一些示例性實施例的彼此相鄰的儲存體的結構的圖。圖7是示出彼此相鄰的影像區的圖。將基於第一儲存體Bank1及第二儲存體Bank2作為實例來闡述圖6所示彼此相鄰的儲存體的結構。第一PE PE1及第二PE PE2可分別佈置於圖6所示第一儲存體Bank1及第二儲存體Bank2處。另外，由於以上參照圖4及圖5闡述的記憶體的結構可應用於圖6所示第一儲存體Bank1及第二儲存體Bank2，因此將省略與以上已參照圖4及圖5給出的說明一致的說明。
在一些示例性實施例中，第一儲存體Bank1及第二儲存體Bank2可儲存一個影像中彼此相鄰的影像區（例如，影像資料的相鄰區）。舉例而言，參照圖7，對於彼此相鄰的第一影像區AR1與第二影像區AR2，第一儲存體Bank1可儲存第一影像區AR1且第二儲存體Bank2可儲存第二影像區AR2。
另外，第一儲存體Bank1的第一PE PE1與第二儲存體Bank2的第二PE PE2可藉由資料線DL連接至彼此。詳言之，第一儲存體Bank1及第二儲存體Bank2可各自包括多個ALU ALU1至ALUK，且彼此相鄰的ALU可藉由資料線DL連接至彼此。
另外，根據本發明概念的一些示例性實施例，第一儲存體Bank1及第二儲存體Bank2中的每一者的ALU ALU1至ALUK之中的最外部的ALU可藉由資料線DL連接至相鄰的儲存體的最外部的ALU。
參照圖6，第一儲存體Bank1的ALU ALUK與第二儲存體Bank2的ALU ALU1可藉由資料線DL連接至彼此。在一些示例性實施例中，第一儲存體Bank1的ALU ALUK可藉由資料線DL接收與第二儲存體Bank2的ALU ALU1對應的位元線BL1的資料。所接收的資料可被輸入至第一儲存體Bank1的ALU ALUK中所包括的第三乘法電路MC3。另外，第二儲存體Bank2的ALU ALU1可藉由資料線DL接收與第一儲存體Bank1的ALU ALUK對應的位元線BLK的資料。所接收的資料可被輸入至第二儲存體Bank2的ALU ALU1中所包括的第一乘法電路MC1。
綜上所述，特定儲存體中所包括的多個ALU之中的最外部的ALU可藉由資料線DL連接至與所述特定儲存體相鄰的儲存體中所包括的多個ALU之中的最外部的ALU。詳言之，最左側（或最右側）的ALU可藉由資料線DL連接至左側（或右側）上的相鄰的儲存體中所包括的最右側（或最左側）的ALU。然而，本發明的概念並不限於此，且相鄰的儲存體可在不同的平面上定向，一者在另一者上方/下方，以及其他配置。
因此，圖6所示第一PE PE1及第二PE PE2可對影像區的邊緣實行計算操作（例如，卷積運算）。舉例而言，參照圖7，由於與彼此相鄰的第一影像區AR1和第二影像區AR2的邊緣對應的資料可藉由資料線DL被輸入至第一PE PE1及第二PE PE2，因此第一PE PE1及第二PE PE2可對第一影像區AR1的邊緣及第二影像區AR2的邊緣實行計算操作。
儘管已參照圖6示出並闡述資料線DL形成於第一PE PE1的ALU1至ALUK與第二PE PE2的ALU1至ALUK之間，但本發明概念並不限於此。舉例而言，資料線DL亦可被實施成連接至ALU ALU1至ALUK及I/O閘控電路的輸出線。舉例而言，第一儲存體Bank1的ALU ALUK可藉由連接至與第二儲存體Bank2的I/O閘控電路的輸出線之中的第一位元線BL1對應的輸出線的資料線DL接收資料。
圖8是示出根據本發明概念一些示例性實施例的彼此相鄰的儲存體的結構的圖。圖8是示出圖6所示一些示例性實施例的可能修改的圖。將基於第一儲存體Bank1、第二儲存體Bank2及第N儲存體BankN作為實例來闡述圖8所示彼此相鄰的儲存體的結構。圖8所示第一儲存體Bank1及第二儲存體Bank2可分別與圖6所示第一儲存體Bank1及第二儲存體Bank2對應，且第N PE PEN可設置於圖8所示第N儲存體BankN處。另外，由於以上參照圖4及圖5闡述的記憶體的結構可應用於圖8所示第一儲存體Bank1、第二儲存體Bank2及第N儲存體BankN，因此將省略與以上已參照圖4及圖5給出的說明一致的說明。
在一些示例性實施例中，第一儲存體Bank1及第二儲存體Bank2可儲存在一個影像中彼此相鄰的影像區，且第一PE PE1及第二PE PE2可對儲存於第一儲存體Bank1及第二儲存體Bank2中的影像區實行計算處理。另外，第N儲存體BankN可儲存用於第一PE PE1及第二PE PE2的計算處理的權重且將所儲存的權重提供至第一儲存體Bank1及第二儲存體Bank2。
舉例而言，參照圖8，第二資料線DL2可將與第N儲存體BankN的記憶胞陣列MCA的位元線BL1至BLK對應的線連接至第一PE PE1及第二PE PE2。第N儲存體BankN可藉由第二資料線DL2將儲存於第N儲存體BankN的記憶胞陣列MCA中的權重發射至第一PE PE1及第二PE PE2。
在一些示例性實施例中，第二資料線DL2可連接至第一PE PE1及第二PE PE2中所包括的ALU。舉例而言，第二資料線DL2可連接至圖5所示ALU，且每一ALU可基於藉由第二資料線DL2接收的權重來實行計算操作。藉由第二資料線DL2接收的權重可為用於ALU的第一乘法電路MC1、第二乘法電路MC2及第三乘法電路MC3以及第一加法電路AC1及第二加法電路AC2中的至少一者的計算操作的權重。
儘管已參照圖8示出並闡述第N儲存體BankN藉由第二資料線DL2將權重發射至第一PE PE1及第二PE PE2，但本發明概念並不限於此。在一些示例性實施例中，即使當未提供第二資料線DL2時，第N儲存體BankN亦可將權重發射至第一PE PE1及第二PE PE2。舉例而言，圖1所示控制邏輯126可控制第N儲存體BankN讀出權重且藉由區域匯流排（例如，圖3A所示區域匯流排230）將權重發射至第一PE PE1及第二PE PE2。
另外，儘管圖8示出第N PE PEN設置於第N儲存體BankN處，但本發明概念並不限於此，且第N PE PEN可不設置於第N儲存體BankN處。
圖9是示出根據本發明概念一些示例性實施例的記憶體的示例性實施方式的方塊圖。
參照圖9，記憶體400可包括第一儲存體群組410_1至第四儲存體群組410_4、第一PE群組420_1至第四PE群組420_4、第一區域匯流排430_1至第四區域匯流排430_4、資料接墊DQ、主匯流排440及控制邏輯450。
第一儲存體群組410_1至第四儲存體群組410_4可各自包括多個儲存體，且第一PE群組420_1至第四PE群組420_4可各自包括多個PE。在一些示例性實施例中，第一PE群組420_1至第四PE群組420_4可分別與第一儲存體群組410_1至第四儲存體群組410_4對應地佈置。另外，第一區域匯流排430_1至第四區域匯流排430_4可分別與第一PE群組420_1至第四PE群組420_4對應地佈置，且可藉由資料接墊DQ向主匯流排440發射資料及自主匯流排440接收資料。主匯流排440可包括用於在記憶體400內部的組件之間傳送資料的路徑。
控制邏輯450可控制用於自第一儲存體群組410_1至第四儲存體群組410_4讀取資料或向第一儲存體群組410_1至第四儲存體群組410_4寫入資料的記憶操作。在一些示例性實施例中，控制邏輯450可控制第一儲存體群組410_1至第四儲存體群組410_4中的至少一者基於與寫入位置對應的位址儲存影像資料，或者控制第一儲存體群組410_1至第四儲存體群組410_4中的至少一者基於與讀取位置對應的位址讀取影像資料。
另外，控制邏輯450可控制第一PE群組420_1至第四PE群組420_4的計算操作。在一些示例性實施例中，控制邏輯450可控制第一儲存體群組410_1至第四儲存體群組410_4中的至少一者以及第一PE群組420_1至第四PE群組420_4中的至少一者，以基於與目標資料的儲存位置對應的位址來讀出用於計算處理的目標資料且實行計算處理。
在一些示例性實施例中，當PE的數目少於儲存體的數目時，可藉由第一區域匯流排430_1至第四區域匯流排430_4中的至少一者將不具有對應PE的特定儲存體的資料發射至與另一儲存體對應的PE，且然後可對所述資料實行計算處理。控制邏輯450可控制儲存體群組將不具有對應PE的特定儲存體的資料發射至與另一儲存體對應的PE且可控制所接收資料的PE實行計算處理。
在一些示例性實施例中，第一儲存體群組410_1至第四儲存體群組410_4中的一些可被配置成儲存與個別訊框對應的影像資料。舉例而言，當記憶體400使用與3個訊框對應的影像資料實行影像處理操作（例如，去雜訊操作）時，控制邏輯450可控制第一儲存體群組410_1儲存與第一訊框對應的影像資料，控制第二儲存體群組410_2儲存與第二訊框對應的影像資料，且控制第三儲存體群組410_3儲存與第三訊框對應的影像資料。另外，控制邏輯450可控制第一PE群組420_1至第三PE群組420_3使用與第一訊框至第三訊框對應的影像資料來實行計算操作。
另外，第一儲存體群組410_1至第四儲存體群組410_4中的一些可被配置成儲存用於神經網路運算的權重。舉例而言，第四儲存體群組410_4可儲存應用於第一PE群組420_1至第三PE群組420_3的計算操作的權重。控制邏輯450可控制第四儲存體群組410_4讀出儲存於第四儲存體群組410_4中的權重且將權重發射至第一PE群組420_1至第三PE群組420_3且可控制第一PE群組420_1至第三PE群組420_3基於所接收的權重來實行計算處理。
然而，本發明概念並不限於此，且一個儲存體群組可包括儲存計算處理的目標資料的儲存體及儲存權重的儲存體二者。另外，在圖9中所示的一些示例性實施例中，記憶體400可包括各種數目的儲存體群組、PE群組及區域匯流排。
圖10是根據本發明概念一些示例性實施例的操作影像感測器模組的方法的流程圖。圖10所示方法可使用以上參照圖1闡述的影像感測器模組100來實行。將理解，參照圖10闡述的操作可由根據示例性實施例中的任意者的影像感測器模組中的任意者來實行。亦將理解，可對圖10中所示的操作的次序進行調整，包括使得操作中的至少一些操作至少部分地同時地（例如，並行地）實行。可自操作根據一些示例性實施例的影像感測器模組的方法省略圖10中所示的操作中的一或多個操作，且可向所述方法添加圖10中未示出的一或多個附加操作。
參照圖1及圖10，影像感測器模組100可藉由影像感測器110獲得影像資料（操作S100）。接下來，影像感測器模組100可將影像資料儲存於記憶體120中所包括的多個儲存體中（操作S200）。在一些示例性實施例中，影像感測器模組100可將一個影像資料劃分成多個影像區且將影像區儲存於儲存體中。舉例而言，影像感測器模組100可將影像資料的第一影像區儲存於第一儲存體中且將影像資料的第二影像區儲存於第二儲存體中。
在一些示例性實施例中，影像感測器模組100可使用包括於記憶體120中且與儲存體對應的PE對所儲存的影像資料實行影像處理操作。詳言之，影像感測器模組100可自多個儲存體讀出影像資料且使用與儲存體對應的PE來對讀出的影像資料實行計算處理。在一些示例性實施例中，影像感測器模組100可讀出儲存於多個儲存體中的多個影像區且使用分別連接至儲存體的PE來對讀出的影像區實行計算處理。在一些示例性實施例中，由影像感測器模組100實行的計算處理可與影像處理操作對應且可與基於神經網路的計算處理對應。
在一些示例性實施例中，影像感測器模組100可藉由連接於多個PE之間的資料線來對與多個影像區的邊緣對應的資料進行交換。舉例而言，彼此相鄰的第一PE與第二PE可藉由資料線來對與第一影像區的邊緣對應的資料與第二影像區的邊緣對應的資料進行交換。
在一些示例性實施例中，影像感測器模組100可使用PE而基於讀出的多個影像區及經交換的資料來實行影像處理操作。舉例而言，第一PE可基於與由其自己讀出的第一影像區的邊緣對應的資料及藉由交換獲得的與第二影像區的邊緣對應的資料來實行影像處理操作。另外，第二PE可基於與由其自己讀出的第二影像區的邊緣對應的資料及藉由交換獲得的與第一影像區的邊緣對應的資料來實行影像處理操作。
在一些示例性實施例中，影像感測器模組100可將經影像處理影像資料儲存於記憶體120中或者自記憶體120輸出經影像處理影像資料（操作S400）。在一些示例性實施例中，影像感測器模組100可將由記憶體120計算處理的影像資料儲存於記憶體120中。在一些示例性實施例中，影像感測器模組100可將由記憶體120計算處理的影像資料直接發射至訊號處理器130。訊號處理器130可對所接收的影像資料實行附加的影像處理操作。在一些示例性實施例中，訊號處理器130可藉由介面140將所接收的影像資料輸出至影像感測器模組100的外部。
圖11是影像感測器模組的分解立體圖，且圖12是影像感測器模組的平面圖。參照圖11及圖12，影像感測器模組100a可具有其中堆疊有第一晶片CH1、第二晶片CH2及第三晶片CH3的結構。在第一晶片CH1上可形成有影像感測器（圖1所示110）的畫素陣列中所包括的多個畫素的畫素核（例如，至少一個光電轉換元件及畫素電路）。在第二晶片CH2上可形成有包括如列驅動器、讀出電路、斜坡訊號產生器及時序控制器等邏輯電路的驅動及讀取電路。在第三晶片CH3上可形成有記憶體（圖1所示120）。第一晶片CH1、第二晶片CH2及第三晶片CH3可藉由連接構件或穿孔電性連接至彼此。然而，本發明概念並不限於此，且影像感測器模組100a亦可由一個半導體晶片實施。
如圖12中所示，第一晶片CH1、第二晶片CH2及第三晶片CH3可各自包括佈置於中心及周邊區處的畫素陣列、邏輯電路及記憶體（圖1所示120）。
在第三方向（Z方向）上延伸的穿孔TV可佈置於第一晶片CH1的周邊區、第二晶片CH2的周邊區及第三晶片CH3的周邊區中。第一晶片CH1與第二晶片CH2可藉由穿孔TV電性耦合至彼此。在第一方向（X方向）或第二方向（Y方向）上延伸的配線（未示出）可形成於第一晶片CH1的周邊區、第二晶片CH2的周邊區及第三晶片CH3的周邊區中。
圖13是根據本發明概念一些示例性實施例的電子裝置的方塊圖。電子裝置1000可被實施成數位相機、數位攝錄影機、行動電話、平板PC、可攜式電子裝置等上。可攜式電子裝置可包括膝上型電腦、行動電話、智慧型電話、平板PC、個人數位助理（PDA）、企業數位助理（EDA）、數位靜態相機、數位視訊相機、音訊裝置、可攜式多媒體播放機（PMP）、個人導航裝置（PND）、MP3播放機、手持式遊戲主控台、電子書裝置、可穿戴裝置等。另外，電子裝置1000可作為一部分裝設於以下裝置上：無人機、高級駕駛員輔助系統（ADAS）、或者作為車輛、家具、製造設施、門及各種量測裝置的組件而提供的電子裝置。參照圖13，電子裝置1000可包括應用處理器1100、相機模組1200、工作記憶體1300、儲存器1400、顯示裝置1600、使用者介面1700及無線收發器1500。
應用處理器1100控制電子裝置1000的整體操作且可被實施成對應用程式、操作系統等進行驅動的系統晶片（system-on-chip，SoC）。應用處理器1100可將自相機模組1200提供的影像資料提供至顯示裝置1600或者將影像資料儲存於儲存器1400中。
以上參照圖1至圖12闡述的影像感測器模組100或100a可應用於相機模組1200。相機模組1200可包括實行計算處理的記憶體1210，且記憶體1210可使用PIM電路對儲存於記憶體1210的儲存體中的影像資料實行計算處理。
應用處理器1100可對自相機模組1200接收的影像資料實行附加的影像處理操作且在顯示裝置1600上顯示經影像處理影像資料或者將經影像處理影像資料儲存於儲存器1400中。
工作記憶體1300可由如動態隨機存取記憶體（DRAM）或靜態RAM（SRAM）那般的揮發性記憶體或者如鐵電RAM（FeRAM）、電阻式RAM（RRAM）或相變RAM（PRAM）那般的非揮發性電阻記憶體來實施。工作記憶體1300可儲存由應用處理器1100處理或執行的程式及/或資料。
儲存器1400可使用非揮發性記憶體裝置（如反及快閃或電阻式記憶體）來實施。舉例而言，儲存器1400可被提供為記憶卡（多媒體卡（multi-media card，MMC）、嵌入式MMC（embedded MMC，eMMC）、安全數位（secure digital，SD）或微型SD等）。儲存器1400可儲存自相機模組1200接收的資料或者由應用處理器1100處理或產生的資料。
使用者介面1700可用能夠接收使用者輸入的各種裝置（例如，鍵盤、幕鍵（curtain key）面板、觸控面板、指紋感測器、麥克風等）來實施。使用者介面1700可接收使用者輸入且向應用處理器1100提供與所接收的使用者輸入對應的訊號。
無線收發器1500可包括收發器1510、數據機1520及天線1530。
在一些示例性實施例中，參照圖式中的任意者在本文中闡述的設備、系統、電子裝置及/或其元件（包括但不限於影像感測器模組100至100a的元件、記憶體200至200b、300、400中的任意者、電子裝置1000等）中的一些或全部及/或其任意部分（包括但不限於任意區塊、模組、處理器、相機等）可包括處理器的一或多個實例（例如：軟體，包括邏輯電路；硬體/軟體組合，例如執行軟體的處理器；或其組合），可包括於處理器的所述一或多個實例中，及/或可由處理器的所述一或多個實例來實施。舉例而言，本文中更具體闡述的處理器可包括但不限於中央處理單元（CPU）、算術邏輯單元（ALU）、圖形處理單元（graphics processing unit，GPU）、應用處理器（application processor，AP）、數位訊號處理器（digital signal processor，DSP）、微型電腦、現場可程式化閘陣列（field programmable gate array，FPGA）及可程式化邏輯單元、微處理器、專用積體電路（application-specific integrated circuit，ASIC）、神經網路處理單元（neural network processing unit，NPU）、電子控制單元（Electronic Control Unit，ECU）、影像訊號處理器（Image Signal Processor，ISP）等。在一些示例性實施例中，處理器可包括：非暫時性電腦可讀取儲存裝置（例如固態驅動器（solid state drive，SSD）），儲存指令的程式；以及處理器硬體的實例（例如CPU），被配置成執行指令的程式以實施由根據示例性實施例中的任意者的設備、系統及/或元件（包括但不限於根據示例性實施例中的任意者的設備、系統及/或元件的任意部分、區塊、模組、處理器、相機等）中的一些或全部實行的功能及方法，包括例如根據示例性實施例中的任意者的方法中的任意者，包括圖10中所示的方法。
儘管已參照本發明概念一些示例性實施例具體示出並闡述本發明概念，但應理解，在不背離以下申請專利範圍的精神及範圍的條件下，可在本文中在形式及細節上進行各種改變。
100、100a:影像感測器模組 110:影像感測器 120、200、200a、200b、300、400:記憶體 122:記憶體儲存體 124:記憶體中處理器（PIM）電路 126、390、450:控制邏輯 130:訊號處理器 140:介面/記憶體介面 210、210a:儲存體群組 210_1b:第一儲存體群組 210_2b:第二儲存體群組 220、220a:PE群組 220_1b:第一PE群組 220_2b:第二PE群組 230、230a、230b:區域匯流排 310、MCA:記憶胞陣列 320:位址緩衝器 330:列解碼器 340:行解碼器 350:感測放大器 360:輸入/輸出（I/O）閘控電路 370:處理元件 380:資料I/O電路 410_1:第一儲存體群組 410_2:第二儲存體群組 410_3:第三儲存體群組 410_4:第四儲存體群組 420_1:第一PE群組 420_2:第二PE群組 420_3:第三PE群組 420_4:第四PE群組 430_1:第一區域匯流排 430_2:第二區域匯流排 430_3:第三區域匯流排 430_4:第四區域匯流排 440:主匯流排 1000:電子裝置 1100:應用處理器 1200:相機模組 1210:記憶體 1300:工作記憶體 1400:儲存器 1500:無線收發器 1510:收發器 1520:數據機 1530:天線 1600:顯示裝置 1700:使用者介面 AC1:第一加法電路 AC2:第二加法電路 ADDR:位址 ALU1～ALUK:算術邏輯單元 AR1:第一影像區 AR2:第二影像區 Bank1:第一儲存體/儲存體 Bank2:第二儲存體/儲存體 Bank3:第三儲存體/儲存體 Bank4:第四儲存體/儲存體 Bank5:第五儲存體/儲存體 Bank6:第六儲存體/儲存體 Bank7:第七儲存體/儲存體 Bank8:第八儲存體/儲存體 Bank9～BankN-1:儲存體 BankN:第N儲存體/儲存體 BL、BL2～BLK:位元線 BL1:第一位元線/位元線 CA:行位址 CH1:第一晶片 CH2:第二晶片 CH3:第三晶片 CL:類別 CLK:時脈訊號 CMD:命令 CTRLS:控制訊號 D:深度 DL:資料線 DL2:第二資料線 DQ:資料接墊 FM1:第一特徵圖/特徵圖/第一輸入特徵圖 FM2:第二特徵圖/特徵圖 FM3:第三特徵圖/特徵圖 FMn:第n特徵圖/特徵圖 H:高度 L1:第一層/層 L2:第二層/層 L3～Ln-1:層 Latch1:讀取資料鎖存器 Latch2:計算資料鎖存器 Ln:第n層/層 LS:透鏡 MC1:第一乘法電路 MC2:第二乘法電路 MC3:第三乘法電路 NN:神經網路 PE1:第一PE PE2:第二PE PE3:第三PE PE4:第四PE PE5:第五PE PE6:第五PE PE7:第七PE PE8:第八PE PEN:第N PE PW:池化窗口 RA:列位址 REC:識別訊號 S100、S200、S300、S400:操作 TV:穿孔 W:寬度 WL:字元線 WM:權重圖 X、Y、Z:方向 x、y、z:軸
根據以下結合附圖的詳細說明，將更清楚地理解本發明概念的示例性實施例，在附圖中： 圖1是示出根據本發明概念一些示例性實施例的影像感測器模組的方塊圖。 圖2是示出神經網路結構的實例的圖。 圖3A至圖3C是示出根據本發明概念一些示例性實施例的記憶體的部分的方塊圖。 圖4是示出根據本發明概念一些示例性實施例的記憶體的結構的方塊圖。 圖5是詳細示出根據本發明概念一些示例性實施例的記憶體的結構的圖。 圖6是示出根據本發明概念一些示例性實施例的彼此相鄰的儲存體的結構的圖。 圖7是示出彼此相鄰的影像區的圖。 圖8是示出根據本發明概念一些示例性實施例的彼此相鄰的記憶體儲存體的結構的圖。 圖9是示出根據本發明概念一些示例性實施例的記憶體的示例性實施方式的方塊圖。 圖10是根據本發明概念一些示例性實施例的操作影像感測器模組的方法的流程圖。 圖11是影像感測器模組的分解立體圖。 圖12是影像感測器模組的平面圖。 圖13是根據本發明概念一些示例性實施例的電子裝置的方塊圖。
100:影像感測器模組
110:影像感測器
120:記憶體
122:記憶體儲存體
124:記憶體中處理器(PIM)電路
126:控制邏輯
130:訊號處理器
140:介面/記憶體介面
Bank1:第一儲存體/儲存體
Bank2:第二儲存體/儲存體
Bank3:第三儲存體/儲存體
Bank4:第四儲存體/儲存體
Bank5:第五儲存體/儲存體
Bank6:第六儲存體/儲存體
Bank7:第七儲存體/儲存體
Bank8:第八儲存體/儲存體
Bank9~BankN-1:儲存體
BankN:第N儲存體/儲存體
LS:透鏡

Claims (20)

  1. 一種影像感測器模組，包括： 影像感測器，被配置成產生影像資料； 記憶體，包括記憶體中處理器（PIM）電路及被配置成儲存所述影像資料的儲存體，所述記憶體中處理器電路包括多個處理元件；以及 訊號處理器， 其中所述記憶體被配置成自所述儲存體讀取所述影像資料，使用所述多個處理元件中與所述儲存體對應的處理元件對所述影像資料實行第一影像處理操作，且將被實行所述第一影像處理操作的經影像處理影像資料儲存於所述儲存體中或者輸出所述經影像處理影像資料。
  2. 如請求項1所述的影像感測器模組，其中，在所述儲存體之中，第一儲存體連接至所述多個處理元件之中的第一處理元件，且 所述第一處理元件基於自所述第一儲存體讀出的資料來實行與所述第一影像處理操作對應的計算處理。
  3. 如請求項2所述的影像感測器模組，其中，在所述儲存體之中，第二儲存體與所述第一儲存體相鄰且連接至所述多個處理元件之中的第二處理元件，且 所述第一處理元件藉由資料線連接至所述第二處理元件。
  4. 如請求項3所述的影像感測器模組，其中所述第一處理元件基於自所述第一儲存體讀出的資料以及自所述第二儲存體讀出的資料的至少一部分來實行與所述第一影像處理操作對應的計算處理。
  5. 如請求項4所述的影像感測器模組，其中所述第一處理元件包括與所述第一儲存體的位元線對應的算術邏輯單元（ALU），且 所述第二處理元件包括與所述第二儲存體的位元線對應的算術邏輯單元。
  6. 如請求項5所述的影像感測器模組，其中，在所述第一處理元件的所述算術邏輯單元之中，與所述第二儲存體相鄰的第一算術邏輯單元藉由資料線連接至所述第二處理元件的所述算術邏輯單元之中與所述第一儲存體相鄰的第二算術邏輯單元。
  7. 如請求項3所述的影像感測器模組，其中所述記憶體包括用於在所述儲存體與所述多個處理元件之間發射及接收資料的區域匯流排。
  8. 如請求項7所述的影像感測器模組，其中，在所述儲存體之中，第三儲存體儲存分別與所述多個處理元件對應的權重資訊且藉由所述區域匯流排將所述權重資訊發射至所述多個處理元件中的至少一者。
  9. 如請求項7所述的影像感測器模組，其中所述記憶體讀出儲存於所述儲存體之中的第四儲存體中的資料且藉由所述區域匯流排將讀出的資料發射至所述第一處理元件或所述第二處理元件。
  10. 如請求項1所述的影像感測器模組，其中所述第一影像處理操作是基於神經網路的計算處理。
  11. 如請求項10所述的影像感測器模組，其中所述多個處理元件實行基於神經網路的計算處理之中的卷積運算及池化運算中的至少一者。
  12. 如請求項10所述的影像感測器模組，其中所述第一影像處理操作包括去雜訊、去馬賽克或重新馬賽克中的至少一者。
  13. 一種操作包括影像感測器及記憶體的影像感測器模組的方法，所述方法包括： 使用所述影像感測器獲得影像資料； 將所述影像資料儲存於所述記憶體中所包括的儲存體中； 使用包括於所述記憶體中且與所述儲存體對應的處理元件來對所述影像資料實行影像處理操作；以及 將經影像處理影像資料儲存於所述記憶體中或者自所述記憶體輸出所述經影像處理影像資料。
  14. 如請求項13所述的方法，其中將所述影像資料儲存於所述儲存體中包括 將所述影像資料劃分成多個影像區；以及 將所述多個影像區儲存於所述儲存體中。
  15. 如請求項14所述的方法，其中實行所述影像處理操作包括 讀出儲存於所述儲存體中的所述多個影像區；以及 使用分別連接至所述儲存體的所述處理元件對所述多個影像區實行影像處理操作。
  16. 如請求項15所述的方法，其中對所述多個影像區實行所述影像處理操作包括 藉由連接於所述處理元件之間的資料線來對與所述多個影像區的邊緣對應的資料進行交換；以及 使用分別連接至所述儲存體的所述處理元件而基於所述多個影像區及經交換的所述資料來對所述多個影像區實行影像處理操作。
  17. 一種影像感測器模組，包括： 影像感測器，被配置成產生影像資料；以及 記憶體，被配置成儲存所述影像資料， 其中所述記憶體包括 記憶體儲存體，包括彼此相鄰的第一儲存體與第二儲存體； 記憶體中處理器（PIM）電路，包括連接至所述第一儲存體的第一處理元件及連接至所述第二儲存體的第二處理元件；以及 區域匯流排，用於在所述記憶體儲存體與所述記憶體中處理器電路之間發射及接收資料。
  18. 如請求項17所述的影像感測器模組，其中 所述記憶體將所述影像資料的第一影像區儲存於所述第一儲存體中； 將所述影像資料的與所述第一影像區相鄰的第二影像區儲存於所述第二儲存體中，且 使用所述第一處理元件及所述第二處理元件對所述第一影像區及所述第二影像區實行影像處理操作。
  19. 如請求項18所述的影像感測器模組，其中 所述第一處理元件包括與所述第一儲存體的位元線對應的算術邏輯單元（ALU），且 所述第二處理元件包括與所述第二儲存體的位元線對應的算術邏輯單元。
  20. 如請求項19所述的影像感測器模組，其中，在所述第一處理元件的所述算術邏輯單元之中，與所述第二儲存體相鄰的第一算術邏輯單元藉由資料線連接至所述第二處理元件的所述算術邏輯單元之中的與所述第一儲存體相鄰的第二算術邏輯單元。
TW111115437A 2021-04-23 2022-04-22 影像感測器模組及其操作方法 TW202308374A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210053166A KR20220146197A (ko) 2021-04-23 2021-04-23 이미지 센서 모듈 및 이의 동작 방법
KR10-2021-0053166 2021-04-23

Publications (1)

Publication Number Publication Date
TW202308374A true TW202308374A (zh) 2023-02-16

Family

ID=83668443

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111115437A TW202308374A (zh) 2021-04-23 2022-04-22 影像感測器模組及其操作方法

Country Status (4)

Country Link
US (1) US20220345624A1 (zh)
KR (1) KR20220146197A (zh)
CN (1) CN115242990A (zh)
TW (1) TW202308374A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115696011B (zh) * 2022-10-27 2024-05-14 华中科技大学 一种基于相变材料的电可控彩色滤光阵列及人工视觉系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018134882A1 (ja) * 2017-01-17 2018-07-26 オリンパス株式会社 メモリアクセス装置、画像処理装置、および撮像装置
KR20210092078A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 병렬 연산 처리를 수행하는 메모리 장치 및 그 동작방법, 그리고 메모리 장치를 제어하는 메모리 컨트롤러의 동작방법

Also Published As

Publication number Publication date
KR20220146197A (ko) 2022-11-01
US20220345624A1 (en) 2022-10-27
CN115242990A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
US20200234124A1 (en) Winograd transform convolution operations for neural networks
US20230124618A1 (en) Image processing device including neural network processor and operating method thereof
CN111258495A (zh) 半导体存储器设备和操作该半导体存储器设备的方法
US11244028B2 (en) Neural network processor and convolution operation method thereof
US11651201B2 (en) Memory device including arithmetic circuit and neural network system including the same
US20230289601A1 (en) Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network
US11562046B2 (en) Neural network processor using dyadic weight matrix and operation method thereof
US20240046082A1 (en) Method and device with neural network implementation
US11830574B2 (en) Dual-port, dual-function memory device
TW202308374A (zh) 影像感測器模組及其操作方法
US20230377111A1 (en) Image processing apparatus including neural network processor and method of operation
US20200356844A1 (en) Neural network processor for compressing featuremap data and computing system including the same
KR20200062014A (ko) 다이어딕 매트릭스 형태의 웨이트를 이용해 뉴럴 네트워크를 가속하는 장치 및 그것의 동작 방법
US20220188612A1 (en) Npu device performing convolution operation based on the number of channels and operating method thereof
US11943557B2 (en) Image sensor module, image processing system, and operating method of image sensor module
CN115862704A (zh) 存储器装置
KR20220096991A (ko) 컨볼루션 sram 및 대각방향 축적 sram을 포함하는 신경망 가속기
Wu et al. High Efficient Bandwidth Utilization Hardware Design and Implement for AI Deep Learning Accelerator
US20240069867A1 (en) Apparatus and method with in-memory computing (imc)
US20240061649A1 (en) In-memory computing (imc) processor and operating method of imc processor