TW202307782A - 影像感測器模組以及影像處理系統 - Google Patents

影像感測器模組以及影像處理系統 Download PDF

Info

Publication number
TW202307782A
TW202307782A TW111115941A TW111115941A TW202307782A TW 202307782 A TW202307782 A TW 202307782A TW 111115941 A TW111115941 A TW 111115941A TW 111115941 A TW111115941 A TW 111115941A TW 202307782 A TW202307782 A TW 202307782A
Authority
TW
Taiwan
Prior art keywords
data
image
memory
image data
image sensor
Prior art date
Application number
TW111115941A
Other languages
English (en)
Inventor
金炳秀
高祥修
金冏榮
河相赫
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202307782A publication Critical patent/TW202307782A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一種影像感測器模組包括：影像感測器，被配置成產生影像資料；以及記憶體，包括儲存影像資料的至少一個記憶體儲存體及記憶體中處理器（PIM）電路，PIM電路包括多個處理元件。記憶體被配置成自記憶體儲存體讀取影像資料；利用所述多個處理元件產生光流資料及圖案密度資料，光流資料指示包括於影像資料中的至少一個對象的時序運動，並且圖案密度資料指示影像資料的圖案的密度；且輸出影像資料、光流資料及圖案密度資料。

Description

影像感測器模組以及影像處理系統
本發明概念是有關於一種影像感測器模組、一種影像處理系統及所述影像感測器模組的一種操作方法，且更具體而言是有關於一種包括實行計算處理的記憶體的影像感測器模組、一種影像處理系統及所述影像感測器模組的一種操作方法。 [相關申請案的交叉參考]
本申請案基於2021年4月27日在韓國智慧財產局提出申請的韓國專利申請案第10-2021-0054523號且主張此韓國專利申請案的優先權，所述韓國專利申請案的揭露內容全文併入本案供參考。
影像感測器可捕獲例如對象的二維（two-dimensional，2D）及/或三維（three-dimensional，3D）影像。影像感測器可利用光電轉換元件產生對象的影像，所述光電轉換元件對自對象反射及/或以其他方式自對象發出的光的強度做出反應。隨著近來互補金屬氧化物半導體（complementary metal-oxide semiconductor，CMOS）技術的發展，利用CMOS的CMOS影像感測器已得到廣泛使用。
隨著近來對高品質及高清晰度照片及影像的需求增大，由影像感測器產生的影像資料的大小正在增大。當影像資料的大小增大時，高頻寬對於例如影像資料等平滑的計算處理而言是必要的。
舉例而言，利用影像感測器的高級駕駛員輔助系統（advanced drivers assistance system，ADAS）需要提高對象偵測的準確度且需要即時地執行對象偵測以確保安全。可藉由高解析度影像資料來確保對象偵測的準確度，且可藉由高頻寬及高計算效能來確保對象偵測的即時執行。
本發明概念提供一種包括實行計算處理的記憶體的影像感測器模組、一種影像處理系統及所述影像感測器模組的一種操作方法。
根據本發明概念的一個態樣，提供一種影像感測器模組，所述影像感測器模組包括被配置成產生影像資料的影像感測器、以及記憶體，所述記憶體包括儲存所述影像資料的至少一個記憶體儲存體（memory bank）及記憶體中處理器（processor-in-memory，PIM）電路，所述PIM電路包括多個處理元件，且所述記憶體被配置成自所述記憶體儲存體讀取所述影像資料、利用所述多個處理元件產生光流資料及圖案密度資料、以及輸出所述影像資料、所述光流資料及所述圖案密度資料，所述光流資料指示包括於所述影像資料中的至少一個對象的時序運動，且所述圖案密度資料指示所述影像資料的圖案的密度。
根據本發明概念的另一態樣，提供一種影像處理系統，所述影像處理系統包括影像感測器模組及影像處理裝置，所述影像感測器模組包括被配置成產生影像資料的影像感測器、以及被配置成利用記憶體中處理器（PIM）電路產生光流資料及圖案密度資料的記憶體，所述光流資料指示包括於所述影像資料中的至少一個對象的時序運動，且所述圖案密度資料指示所述影像資料的圖案的密度，且所述影像處理裝置被配置成基於所述影像資料、所述光流資料及所述圖案密度資料對所述影像資料實行對象偵測。
根據本發明概念的又一態樣，提供一種包括影像感測器及記憶體的模組的操作方法。所述操作方法包括：利用所述影像感測器獲得影像資料；將所述影像資料儲存於包括於所述記憶體中的多個儲存體（bank）中；利用包括於所述記憶體中的處理元件產生關於所述影像資料的光流資料；利用包括於所述記憶體中的所述處理元件產生關於所述影像資料的圖案密度資料；以及輸出所述影像資料、所述光流資料及所述圖案密度資料。
在下文中，將參照附圖詳細闡述實例性實施例，其中相同的參考編號始終指代相同的元件。
儘管在本文中可使用「第一（first）」、「第二（second）」、「第三（third）」等用語闡述各種元件、組件、區、層及/或區段，然而該些用語僅用於區分一個元件、組件、區、層或區段與另一區、層或區段。因此，在不背離本揭露的範圍的條件下，以下論述的第一元件、組件、區、層或區段可替代性地被稱為第二元件、組件、區、層或區段。此外，當稱一個元件位於另一元件「上」、「連接至」、「耦合至」或「相鄰於」另一元件時，所述元件可直接位於所述另一元件上、直接連接至、直接耦合至或直接相鄰於所述另一元件，或者可存在一或多個其他中間元件。
圖1是根據一些實例性實施例的影像處理系統的方塊圖。
參照圖1，影像處理系統10可包括影像感測器模組100及影像處理裝置200。舉例而言，影像處理系統10可包括例如個人電腦（personal computer，PC）、物聯網（Internet of things，IoT）裝置及/或可攜式電子裝置及/或包括於例如個人電腦、物聯網（IoT）裝置及/或可攜式電子裝置中。可攜式電子裝置可包括例如膝上型電腦（laptop computer）、蜂巢式電話（cellular phone）、智慧型電話、平板個人電腦（PC）、個人數位助理（personal digital assistant，PDA）、企業數位助理（enterprise digital assistant，EDA）、數位靜態相機（digital still camera）、數位視訊相機（digital video camera）、音訊裝置、可攜式多媒體播放機（portable multimedia player，PMP）、個人導航裝置（personal navigation device，PND）、動畫專家群（Moving Picture Experts Group，MPEG）音訊層3（MPEG Audio Layer-3，MP3）播放機、手持式遊戲主控台（handheld game console）、電子書、可穿戴裝置及/或類似裝置。影像處理系統10可安裝於以下電子裝置上及/或以下電子裝置中：例如無人機及/或高級駕駛員輔助系統（ADAS）等電子裝置；及/或安裝於作為電子車輛、家具、製造設施、門及/或各種量測設備的組件而提供的電子裝置上（及/或電子裝置中）。
影像感測器模組100可將對象感測為影像、處理感測到的影像及/或將感測到的影像儲存於記憶體中，並將經處理的影像儲存於記憶體中。在一些實施例中，影像感測器模組100可包括影像感測器110、記憶體120、訊號處理器130及介面140。在一些實例性實施例中，影像感測器模組100可實施於多個半導體晶片中及/或包括多個半導體晶片。然而，實施例並不限於此，且影像感測器模組100可實施於單個半導體晶片中及/或包括單個半導體晶片。
影像感測器模組100可捕獲外部對象且產生影像資料。舉例而言，影像感測器模組100的影像感測器110可將對象的經由透鏡LS入射的光學訊號轉換成電性訊號。影像感測器110可包括其中將多個畫素以二（或更多）維方式排列的畫素陣列，且輸出包括與畫素陣列的各個畫素對應的多個畫素值的影像資料。
畫素陣列可包括多條列線、多條行線及以矩陣形式排列的多個畫素，畫素中的每一者連接至列線中的一者及行線中的一者。畫素中的每一者可包括至少一個光電轉換元件（及/或感光裝置）。光電轉換元件可感測光且將光轉換成光電荷。舉例而言，光電轉換元件可包括感光裝置，例如無機光電二極體（inorganic photodiode）、有機光電二極體（organic photodiode）、鈣鈦礦光電二極體（Perovskite photodiode）、光電電晶體（phototransistor）、光閘、包含有機材料或無機材料的釘紮光電二極體（pinned photodiode）及/或類似裝置。在一些實例性實施例中，畫素中的每一者可包括多個光電轉換元件。
在一些實例性實施例中，由影像感測器110產生的影像資料可包括原始影像資料及/或藉由對列影像資料進行預處理而獲得的影像資料，原始影像資料包括藉由對自畫素陣列輸出的多個畫素訊號進行數位至類比轉換而得到的多個畫素值。
在一些實例性實施例中，影像感測器110可包括驅動及讀取電路，所述驅動及讀取電路對畫素陣列進行控制且將自畫素陣列接收的畫素訊號轉換成畫素值。舉例而言，驅動及讀取電路可包括列驅動器、讀出電路、斜坡訊號產生器（ramp signal generator）、時序控制器、及/或類似電路。驅動及讀取電路可產生包括與所接收的畫素訊號對應的畫素值的原始影像資料。在一些實例性實施例中，影像感測器110可更包括對原始影像資料進行預處理的處理邏輯。影像感測器110可將原始影像資料及/或經預處理的影像資料傳送至記憶體120及/或訊號處理器130。
記憶體120可包括記憶體儲存體122、記憶體中處理器（PIM）電路124及控制邏輯126。記憶體儲存體122可包括多個儲存體Bank1至BankN。儲存體Bank1至BankN中的每一者可包括包含多個記憶胞的記憶胞陣列。儲存體可以多種方式進行定義。舉例而言，儲存體可被定義為包括記憶胞的配置及/或包括記憶胞及至少一個周邊電路的配置。
記憶體120可儲存由影像感測器110產生的影像資料及/或由訊號處理器130處理的影像資料。在一些實例性實施例中，記憶體儲存體122可將自影像感測器110及/或訊號處理器130接收的影像資料儲存於儲存體Bank1至BankN中的至少一者中。記憶體儲存體122可在影像感測器模組100的控制下讀取儲存於其中的影像資料且將影像資料傳送至訊號處理器130及/或介面140。
記憶體120可利用PIM電路124對例如自影像感測器110接收的影像資料及/或儲存於其中的影像資料實行計算處理。在一些實例性實施例中，PIM電路124可利用處理元件PE實行與各種類型的影像處理操作相關的計算處理。
在一些實例性實施例中，PIM電路124可實行各種影像處理操作，諸如利用例如影像增強演算法（image enhancement algorithm）的操作、分類操作及/或例如對影像資料的影像假影（artifact）進行的分割操作（segmentation operation）。舉例而言，利用影像增強演算法的操作可包括白平衡、去雜訊（de-noising）、去馬賽克（de-mosaicking）、重新馬賽克（re-mosaicking）、鏡頭遮陰（lens shading）及/或伽瑪校正（gamma correction），但並不限於此。
根據一些實例性實施例，作為實例性影像處理操作，PIM電路124可實行圖案密度偵測操作，及/或PIM電路124可實行光流偵測操作，在圖案密度偵測操作中分析影像資料的多個影像區的圖案且產生影像資料的圖案密度資料、在光流偵測操作中分析影像資料的多個訊框且產生指示對象在所述訊框之間的時序運動的光流資料。
在一些實例性實施例中，影像處理操作可由基於神經網路的任務來實施，且PIM電路124可實行至少一些基於神經網路的計算處理。舉例而言，在一些實施例中，PIM電路124可包括神經網路處理單元（neural network processing unit，NPU）及/或包括於神經網路處理單元中。神經網路可包括基於選自以下中的至少一者的神經網路模型：人工神經網路（artificial neural network，ANN）、卷積神經網路（convolution neural network，CNN）、具有CNN的區（region with CNN，R-CNN）、區建議網路（region proposal network，RPN）、遞歸神經網路（recurrent neural network，RNN）、基於堆疊的深度神經網路（stacking-based deep neural network，S-DNN）、狀態空間動態神經網路（state-space dynamic neural network，S-SDNN）、去卷積網路（deconvolution network）、深度信念網路（deep belief network，DBN）、受限玻爾茲曼機（restricted Boltzmann machine，RBM）、完全卷積網路（fully convolutional network）、長短期記憶（long short-term memory，LSTM）網路、分類網路、普通殘差網路（plain residual network）、密集網路（dense network）、階層式金字塔網路（hierarchical pyramid network）、完全卷積網路、及/或類似網路。舉例而言，神經網路模型的種類不限於以上所述者。將參照圖2詳細闡述由PIM電路124實行的實行基於神經網路的計算處理的方法。
在一些實例性實施例中，PIM電路124的處理元件PE可自記憶體儲存體122的儲存體Bank1至BankN讀取影像資料且對影像資料實行影像處理操作（例如，上述影像處理操作中的至少一者）。記憶體120可將已利用PIM電路124對其實行了計算處理的影像資料及/或已藉由計算處理產生的計算資料儲存於記憶體儲存體122中。記憶體120亦可將已經過計算處理的影像資料及/或計算資料提供至訊號處理器130。記憶體120亦可經由介面140將已經過計算處理的影像資料及/或計算資料輸出至影像感測器模組100的外部裝置。
控制邏輯126可控制記憶體儲存體122及PIM電路124。在一些實例性實施例中，控制邏輯126可對提供至記憶體120的命令及位址進行解碼，且控制記憶體儲存體122及PIM電路124根據解碼結果實行記憶操作。舉例而言，提供至記憶體120的命令可包括與例如資料寫入或讀取操作等記憶體操作相關的命令及與計算操作相關的命令。控制邏輯126可包括處理電路及/或包括於處理電路中，所述處理電路例如為：包括邏輯電路的硬體；例如執行軟體的處理器等硬體/軟體組合；及/或其組合。控制邏輯126可控制記憶體儲存體122根據解碼結果對與位址對應的儲存區實行寫入資料或讀取資料的記憶操作、及/或控制PIM電路124基於寫入至與位址對應的儲存區的資料實行計算操作。
記憶體120可包括動態隨機存取記憶體（dynamic random access memory，DRAM），例如雙倍資料速率（double data rate，DDR）同步DRAM（synchronous DRAM，SDRAM）、低功率DDR（low power DDR，LPDDR）、同步DRAM（SDRAM）、圖形DDR（graphics DDR，GDDR）、蘭巴斯DRAM（Rambus DRAM，RDRAM）、及/或類似記憶體。然而，實例性實施例並不限於此。舉例而言，記憶體裝置亦可包括非揮發性記憶體，例如快閃記憶體、磁性RAM（magnetic RAM，MRAM）、鐵電RAM（ferroelectric RAM，FeRAM）、相變RAM（phase-change RAM，PRAM）、及/或電阻式RAM（resistive RAM，ReRAM）。
記憶體120可對應於單個半導體晶片及/或可對應於包括多個各自具有獨立介面的通道的記憶體裝置中的單個通道。記憶體120可對應於記憶體模組及/或當記憶體模組可包括多個晶片時對應於安裝於模組板（module board）上的單個記憶體晶片。
訊號處理器130可對自影像感測器110及/或記憶體120接收的影像資料實行計算處理。舉例而言，訊號處理器130可包括中央處理單元（central processing unit，CPU）、微處理器及/或微控制器單元（microcontroller unit，MCU）。在一些實例性實施例中，訊號處理器130可實行與各種類型的影像處理操作相關的計算處理。舉例而言，像記憶體120的PIM電路124一樣，訊號處理器130可實行各種影像處理操作，例如白平衡、去雜訊、去馬賽克、重新馬賽克、鏡頭遮陰、伽瑪校正、分類操作、分割操作、及/或類似操作。
舉例而言，在一些實例性實施例中，訊號處理器130可接收已由記憶體120實行特定影像處理操作的影像資料，且對所接收的影像資料實行其它影像處理操作。舉例而言，訊號處理器130可接收已由記憶體120實行去雜訊的影像資料，且對所接收的影像資料實行選自白平衡、去馬賽克、重新馬賽克、鏡頭遮陰、伽瑪校正、分類操作、及/或分割操作中的至少一者。
在一些實施例中，訊號處理器130可自影像感測器110接收影像資料且對影像資料實行各種影像處理操作。此後，訊號處理器130可將經處理的影像資料傳送至記憶體120。記憶體120可儲存自訊號處理器130接收的影像資料。
影像感測器模組100可經由介面140輸出影像資料。舉例而言，在一些實例性實施例中，介面140可輸出儲存於記憶體120中的影像資料及/或由訊號處理器130處理的影像資料。影像感測器模組100亦可經由介面140輸出自記憶體120的計算操作得到的計算資料。舉例而言，介面140可包括基於行動產業處理器介面（mobile industry processor interface，MIPI）的相機串列介面（camera serial interface，CSI）。介面140的類型並不限於此且可根據各種協議標準來實施。
影像處理裝置200可包括介面210及處理器220。影像處理裝置200可經由介面210自影像感測器模組100接收影像資料及/或計算資料。舉例而言，介面210可連接至介面140及/或被配置成與介面140進行通訊。像介面140一樣，介面210可包括MIPI，但並不限於此。影像處理裝置200可將影像資料及/或計算資料儲存於記憶體（未示出）中。
處理器220可例如基於經由介面210接收的影像資料及/或計算資料實行各種影像處理操作。根據本實例性實施例，作為影像處理操作的實例，處理器220可對包括於影像中的至少一個對象實行對象偵測及/或對其實行分割以進行對象偵測。舉例而言，在一些實例性實施例中，處理器220可自影像感測器模組100接收圖案密度資料及光流資料、以及原始影像資料及/或經預處理的影像資料。處理器220可藉由利用圖案密度資料及光流資料分析影像資料來偵測及/或分割包括於影像中的對象。
處理器220可包括各種計算處理裝置及/或包括於各種計算處理裝置中，所述各種計算處理裝置為例如CPU、圖形處理單元（graphics processing unit，GPU）、應用處理器（application processor，AP）、數位訊號處理器（digital signal processor，DSP）、現場可程式化閘陣列（field-programmable gate array，FPGA）、神經網路處理單元（NPU）、電子控制單元（electronic control unit，ECU）、影像訊號處理器（image signal processor，ISP）、及/或類似計算處理裝置。
根據本實例性實施例，影像感測器模組100可藉由利用記憶體120實行計算處理而提高影像處理操作的計算速度。舉例而言，由於記憶體120中的記憶體儲存體122與PIM電路124之間的頻寬通常高於記憶體120與訊號處理器130之間的頻寬，所以當利用記憶體120實行計算處理時，可提高計算速度。當計算速度提高時，可在與之前相同的時間內實行具有更多層的神經網路計算。因此，可提高影像感測器模組100的計算操作的準確度。
舉例而言，在一些實例性實施例中，影像感測器模組100將利用記憶體120產生的圖案密度資料及光流資料提供至影像處理裝置200；且影像處理裝置200基於與影像資料一起接收的圖案密度資料及光流資料實行對象偵測。因此，可提高影像處理系統10的對象偵測操作的計算速度。
在圖1的實施例中，處理元件PE可包括各種數目及各種排列方式的處理元件。舉例而言，每一處理元件可以對應於一個儲存體或至少兩個儲存體的方式進行排列。
儘管為了易於理解及例示，在圖1中示出記憶體儲存體122與PIM電路124分離，但記憶體儲存體122與PIM電路124可至少局部地彼此合併。將參照圖11詳細闡述此種情況的實例。圖2示出神經網路結構的實例。圖1中的PIM電路124可應用於構建圖2的神經網路NN的結構的至少一部分。
參照圖2，神經網路NN可包括多個層，例如，第一層L1至第n層Ln。具有此種多層架構的神經網路NN可被稱為深度神經網路（DNN）及/或深度學習架構（deep learning architecture）。第一層L1至第n層Ln中的每一者可包括線性層（linear layer）及/或非線性層。在一些實例性實施例中，至少一個線性層可與至少一個非線性層進行組合，藉此形成單個層。舉例而言，線性層可包括卷積層及全連接層（fully-connected layer），而非線性層可包括池化層（pooling layer）及活化層（activation layer）。
舉例而言，第一層L1可對應於卷積層，第二層L2可對應於池化層，且第n層Ln可對應於作為輸出層的全連接層。神經網路NN可更包括活化層及/或可更包括實行其它類型的計算的其它層。
第一層L1至第n層Ln中的每一者可接收影像訊框及/或在前一層中產生的特徵圖（feature map）作為輸入特徵圖，且可藉由對輸入特徵圖實行計算而產生輸出特徵圖及/或識別訊號REC。此時，特徵圖是指表示輸入資料的各種特徵的資料。舉例而言，第一特徵圖至第n特徵圖FM1、FM2、FM3及FMn可具有包括多個特徵值的二維及/或三維矩陣（例如，張量）形式。第一特徵圖FM1至第n特徵圖FMn可具有寬度W（例如，行）、高度H（例如，列）及深度D，寬度W（例如，行）、高度H（例如，列）及深度D可分別對應於座標系中的x軸、y軸及z軸。此時，例如，深度D可被稱為通道的數目。
第一層L1可藉由對第一特徵圖FM1及權重圖WM實行卷積而產生第二特徵圖FM2。權重圖WM可具有包括多個權重的二維及/或三維矩陣形式。權重圖WM可被稱為過濾器及/或內核（kernel）。權重圖WM可對第一特徵圖FM1進行過濾。權重圖WM的深度（例如，通道的數目）可與第一特徵圖FM1的深度（例如，通道的數目）相同。可對權重圖WM及第一特徵圖FM1兩者中的相同通道實行卷積。權重圖WM可藉由利用滑動窗口（sliding window）遍歷第一特徵圖FM1而在第一特徵圖FM1上移位。在移位期間，包括於權重圖WM中的每一權重可乘以及/或加至其中權重圖WM與第一特徵圖FM1交疊的區域中的所有特徵值。可藉由對第一特徵圖FM1及權重圖WM實行卷積而產生第二特徵圖FM2的一個通道。儘管在圖2中僅示出一個權重圖WM，但可將多個權重圖WM與第一特徵圖FM1進行卷積而使得可產生第二特徵圖FM2的多個通道。舉例而言，第二特徵圖FM2的通道的數目可對應於權重圖的數目。
第二層L2可藉由透過池化改變第二特徵圖FM2的空間大小而產生第三特徵圖FM3。池化可被稱為取樣及/或降頻取樣（downsampling）。二維的池化窗口（pooling window）PW可在第二特徵圖FM2上以池化窗口PW的大小為單位移位，且可選擇其中池化窗口PW與第二特徵圖FM2交疊的區域中的特徵值之中的最大值（或特徵值的平均值）。如此，可藉由改變第二特徵圖FM2的空間大小而產生第三特徵圖FM3。第三特徵圖FM3的通道的數目可與第二特徵圖FM2的通道的數目相同。
第n層Ln可對第n特徵圖FMn的特徵進行組合且對輸入資料的類別CL進行分類。第n層Ln亦可產生與類別CL對應的識別訊號REC。神經網路NN的結構並不限於上述實例。可自神經網路NN省略第一層L1至第n層Ln中的一些層，或者可對神經網路NN添加額外的層。
根據一些實例性實施例，圖1中PIM電路124的處理元件PE可構成及/或對應於神經網路NN的卷積層、全連接層、池化層及活化層中的至少一者。舉例而言，PIM電路124的一些處理元件PE可被配置成對自儲存體Bank1至BankN讀取的影像資料實行卷積計算，且PIM電路124的處理元件PE中的一些處理元件可被配置成對卷積結果實行池化計算。
根據一些實例性實施例，PIM電路124的處理元件PE可被實施為神經網路模型，所述神經網路模型被訓練成實行圖案密度偵測操作及/或光流偵測操作。
圖3是示出根據一些實例性實施例的記憶體的配置的方塊圖。在一些實例性實施例中，圖3的記憶體120可對應於圖1中的記憶體120。
參照圖3，記憶體儲存體122可將影像資料IDT傳送至PIM電路124。在一些實例性實施例中，記憶體儲存體122可接收影像資料IDT（例如，自圖1中的影像感測器110），對影像資料IDT進行劃分（例如，劃分成特定大小），以及儲存影像資料IDT（例如，儲存於儲存體Bank1至BankN中的至少一者中）。記憶體儲存體122可自儲存體Bank1至BankN中的至少一者讀取影像資料IDT且將影像資料IDT傳送至PIM電路124。
在一些實例性實施例中，PIM電路124可包括實行第一計算操作的第一處理元件群組PEG1及實行第二計算操作的第二處理元件群組PEG2。第一處理元件群組PEG1及第二處理元件群組PEG2中的每一者可包括至少一個處理元件PE。在一些實例性實施例中，第一計算操作及第二計算操作可對應於對影像資料IDT實行的影像處理操作。
第一處理元件群組PEG1可藉由基於影像資料IDT實行第一計算操作而產生第一計算資料ODT1。第二處理元件群組PEG2可藉由基於影像資料IDT實行第二計算操作而產生第二計算資料ODT2。在一些實例性實施例中，第一處理元件群組PEG1及第二處理元件群組PEG2中的每一者可被實施為實行第一計算操作及/或第二計算操作的神經網路模組。在一些實例性實施例中，第一計算資料ODT1及第二計算資料ODT2可儲存於記憶體120的記憶體儲存體122及/或外部裝置（例如，圖1中的影像處理裝置200）中。
根據一些實例性實施例，第一處理元件群組PEG1可被實施為神經網路模組，其被訓練成實行作為第一計算操作的光流偵測操作。第一處理元件群組PEG1可藉由對影像資料IDT實行光流偵測操作來產生光流資料作為第一計算資料ODT1。
在一些實施例中，光流偵測操作需要影像資料IDT的多個訊框。因此，圖1中的影像感測器100可在記憶體儲存體122中儲存在不同時間點產生的影像資料IDT的多個訊框；且第一處理元件群組PEG1可自記憶體儲存體122接收影像資料IDT的所述訊框且實行流偵測操作。
第二處理元件群組PEG2可被實施為神經網路模組，所述神經網路模組被訓練成實行圖案密度偵測操作作為第二計算操作。第二處理元件群組PEG2可藉由對影像資料IDT實行圖案密度偵測操作而產生圖案密度資料作為第二計算資料ODT2。
儘管為了易於理解，在圖3中示出了記憶體儲存體122與PIM電路124分離，但記憶體儲存體122與PIM電路124可至少局部地彼此合併。將參照圖11詳細描述此種情況的實例。
圖4A是用於闡述根據一些實例性實施例的影像感測器模組及影像處理裝置的操作的方塊圖。圖4A中的影像感測器模組100及影像處理裝置200可分別對應於圖1中的影像感測器模組100及影像處理裝置200。
參照圖4A，影像感測器模組100可包括光流模組125及圖案密度模組126，光流模組125對應於被訓練成實行光流偵測操作的神經網路模型，圖案密度模組126對應於被訓練成實行圖案密度偵測操作的神經網路模型。光流模組125可對應於圖3中的第一處理元件群組PEG1，而圖案密度模組126可對應於圖3中的第二處理元件群組PEG2。
光流模組125可自記憶體儲存體122接收影像資料IDT且藉由對影像資料IDT實行光流偵測操作而產生光流資料。圖案密度模組126可自記憶體儲存體122接收影像資料IDT且藉由對影像資料IDT實行圖案密度偵測操作而產生圖案密度資料PD。影像感測器模組100可將影像資料IDT、光流資料OF及圖案密度資料PD傳送至影像處理裝置200。
參照圖4A，影像處理裝置200的處理器220可包括產生深度資訊的深度資訊模組222及實行對象偵測的對象偵測模組224。作為非限制性實例，深度資訊模組222及對象偵測模組224可被實施為神經網路模型。
深度資訊模組222可基於自影像感測器模組100接收的光流資料OF及圖案密度資料PD而產生關於影像資料IDT的深度資訊DI。舉例而言，深度資訊DI可包括與自影像感測器110至包括於影像資料IDT中的對象的距離對應的深度值。在一些實例性實施例中，深度資訊模組222可基於「對象越遠、圖案密度越高」的特徵及「對象越遠、位置隨時間變化越小」的特徵而產生關於影像資料IDT的深度資訊DI。深度資訊模組222可將深度資訊DI提供至對象偵測模組224。
對象偵測模組224可自影像感測器模組100接收影像資料IDT及光流資料OF、以及自深度資訊模組222接收深度資訊DI。對象偵測模組224可例如基於光流資料OF及深度資訊DI對影像資料IDT實行對象偵測。對象偵測模組224可產生對象資訊OI（其可包括關於在影像資料IDT中偵測到的對象的各種資訊）作為對象偵測結果。舉例而言，對象資訊OI可包括三維（3D）資訊（其可包括環繞對象的3D邊界框（bounding box））、對象的形狀、距對象的距離及/或對象的位置；及/或二維（2D）資訊，包括例如對象的邊。下面將參照圖7至圖10詳細闡述由對象偵測模組224實行的產生對象資訊OI的方法。
儘管在圖4A的實施例中闡述了對象偵測模組224基於影像資料IDT、光流資料OF及深度資訊DI實行對象偵測，但當實行對象偵測時，可另外考量其它各種類型的資訊（例如，圖案密度資料PD）。
儘管在圖4A的實施例中示出及闡述了處理器220包括深度資訊模組222及對象偵測模組224兩者，但實施例並不限於此。舉例而言，影像處理裝置200可包括包含深度資訊模組222的處理器220及包含對象偵測模組224的單獨的（例如，第二）處理器。
圖4B是用於闡述根據一些實例性實施例的影像感測器模組及影像處理裝置的操作的方塊圖。圖4B示出圖4A的經修改的實施例。在下文中，不再對以上參照圖4給出的說明予以贅述。
參照圖4B，影像處理裝置200a的處理器220a可包括被配置成實行對象偵測操作的對象偵測模組224a。對象偵測模組224a可自影像感測器模組100接收影像資料IDT、光流資料OF及圖案密度資料PD。對象偵測模組224a可基於光流資料OF及/或圖案密度資料PD對影像資料IDT實行對象偵測。對象偵測模組224a可產生關於影像資料IDT的對象資訊OI。下面將參照圖7至圖10詳細闡述產生對象資訊OI的實例性方法。
在圖4A及圖4B中，深度資訊模組222以及對象偵測模組224及/或224a中的每一者可由韌體及/或軟體實施，且可被加載至影像處理裝置200及/或200a的記憶體（未示出），且然後由處理器220或220a執行。然而，實施例並不限於此。深度資訊模組222及對象偵測模組224或224a中的每一者可由硬體或由軟體與硬體的組合來實施。
如上所述，影像感測器模組100可利用實行計算處理的記憶體120來產生關於影像資料IDT的光流資料OF及圖案密度資料PD。影像處理裝置200及/或200a可基於自影像感測器模組100接收的影像資料IDT、光流資料OF及/或圖案密度資料PD實行對象偵測。
圖5是用於闡述根據一些實例性實施例的多個影像感測器模組及影像處理裝置的操作的方塊圖。圖5所示的實例性實施例是基於圖4A的經修改的實施例。在下文中不再對以上參照圖4A給出的說明予以贅述。
根據一些實例性實施例，可存在多個影像感測器模組。舉例而言，參照圖5，可存在第一影像感測器模組100_1及第二影像感測器模組100_2。在實例性實施例中，第一影像感測器模組100_1及第二影像感測器模組100_2可彼此相鄰且在彼此相似的方向上捕獲影像，且可被稱為立體相機。舉例而言，第一影像感測器模組100_1可捕獲左眼影像，而第二影像感測器模組100_2可捕獲右眼影像。
第一影像感測器模組100_1及第二影像感測器模組100_2中的每一者可相同於及/或相似於圖4A中的影像感測器模組100。在一些實例性實施例中，第一影像感測器模組100_1可包括第一影像感測器110_1及第一PIM電路120_1。第一影像感測器110_1可產生第一影像資料IDT1，且第一PIM電路120_1可基於第一影像資料IDT1產生第一光流資料OF1及第一圖案密度資料PD1。
第二影像感測器模組100_2可包括第二影像感測器110_2及第二PIM電路120_2。第二影像感測器110_2可產生第二影像資料IDT2，且第二PIM電路120_2可基於第二影像資料IDT2產生第二光流資料OF2及第二圖案密度資料PD2。
參照圖5，影像處理裝置200b的處理器220b可包括深度資訊模組222b及對象偵測模組224b。深度資訊模組222b可自第一影像感測器模組100_1及第二影像感測器模組100_2接收第一光流資料OF1及第二光流資料OF2以及第一圖案密度資料PD1及第二圖案密度資料PD2，且基於所接收的資料產生深度資訊DI。舉例而言，第一光流資料OF1及第一圖案密度資料PD1可對應於左眼影像（例如，第一影像資料IDT1），而第二光流資料OF2及第二圖案密度資料PD2對應於右眼影像（例如，第二影像資料IDT2）。深度資訊模組222b可產生深度資訊DI。舉例而言，深度資訊模組222b可確定左眼影像與右眼影像之間的差異，其中所述差異隨著對象距第一影像感測器模組100_1及第二影像感測器模組100_2越遠而減小。深度資訊模組222b可將深度資訊DI提供至對象偵測模組224b。
對象偵測模組224b可自第一影像感測器模組100_1及/或第二影像感測器模組100_2中的至少一者接收影像資料（例如，第一影像資料IDT1）及/或光流資料（例如，第一光流資料OF1）；且自深度資訊模組222b接收深度資訊DI。對象偵測模組224b可藉由基於第一光流資料OF1及深度資訊DI對第一影像資料IDT1實行對象偵測而產生對象資訊OI。
然而，實例性實施例並不限於此。舉例而言，對象偵測模組224b可自第二影像感測器模組100_2接收第二影像資料IDT2及第二光流資料OF2，且自深度資訊模組222b接收深度資訊DI，並實行對象偵測。
圖6A及圖6B是用於描述根據一些實例性實施例的根據影像感測器模組的拍攝模式產生光流資料的方法的圖。參照圖6A及圖6B，以下說明包括圖1中的記憶體120的PIM電路124以及圖4A中的光流模組125。
在一些實例性實施例中，影像感測器模組100可提供正常拍攝模式及/或叢發拍攝模式的功能。在正常拍攝模式下，在參考時間單位內拍攝對象且產生影像資料。在叢發拍攝模式中，可在參考時間單位內連續地多次拍攝對象且產生多條影像資料。
參照圖6A，當影像感測器模組100在正常拍攝模式下進行操作時，可在參考時間單位（例如，每1/60秒）內產生影像資料的單個訊框。舉例而言，影像感測器（例如，圖1的影像感測器110及/或圖5的第一影像感測器110_1及第二影像感測器110_2）可拍攝多個訊框（例如，至少第一訊框Frame1至第四訊框Frame4），並且，PIM電路124可利用例如第一訊框Frame1至第四訊框Frame4來產生第一光流資料OF1及第二光流資料OF2。
舉例而言，當PIM電路124利用三個訊框實行光流偵測操作時，PIM電路124可利用第一訊框Frame1至第三訊框Frame3來產生第一光流資料OF1且利用第二訊框Frame2至第四訊框Frame4來產生第二光流資料OF2。舉例而言，在一些實例性實施例中，PIM電路124產生一條光流資料可能花費六十分之三（3/60）秒（例如，1/20秒）。
參照圖6B，當影像感測器模組100在叢發拍攝模式下進行操作時，可在參考時間單位（例如，每1/60秒）內產生影像資料的多個（例如，三個）訊框。PIM電路124可利用所述多個訊框（例如，第一訊框Frame1至第十二訊框Frame12）來產生第一光流資料OF1至第四光流資料OF4。舉例而言，PIM電路124可利用三個訊框來實行光流偵測操作。舉例而言，PIM電路124產生一條光流資料可能花費1/60秒。
如上所述，當影像感測器模組100支援叢發拍攝模式的功能時，光流偵測操作的計算速度可提高。另外，由於輸入至神經網路模型的影像資料之間的差異減小，因而被訓練成實行光流偵測操作的神經網路模型（例如，圖4A中的光流模組125）可以更簡單的結構來實施。因此，當利用在叢發拍攝模式下拍攝的多個訊框來實行光流偵測時，可在PIM電路124中包括包含更簡單的結構的圖4A所示光流模組125。
儘管在圖6A及圖6B的實施例中已經示出及闡述了PIM電路124利用三個訊框來實行光流偵測操作，但實施例並不限於此。舉例而言，PIM電路124可利用少於三個訊框或多於三個訊框來實行光流偵測操作。
圖7是示出根據一些實例性實施例的對象偵測模組的配置的方塊圖。舉例而言，圖7的對象偵測模組300可相同於或相似於圖4A、圖4B及/或圖5中的對象偵測模組224、224a及/或224b。
參照圖7，對象偵測模組300可包括預處理器310、遮罩產生器320、遮罩單元330、特徵提取器340及偵測器350。
預處理器310可接收影像資料IDT且對影像資料IDT進行降頻取樣，並產生及輸出多個金字塔影像PI。預處理器310可藉由以某個（及/或以其他方式確定的）因子對影像資料IDT的寬度及長度進行降頻取樣來產生第一金字塔影像，且可藉由以所述某個因子對第一金字塔影像進行降頻取樣來產生第二金字塔影像。舉例而言，預處理器310可產生自影像資料IDT導出且具有自影像資料IDT的大小逐漸減小的大小的金字塔影像PI。
遮罩產生器320可接收深度資訊DI，且基於深度資訊DI產生（並輸出）用於金字塔影像PI的多條遮罩資料MK。可利用遮罩資料MK對影像的除了有意義的區（meaningful region）之外的其餘區進行遮罩。
在實例性實施例中，每一金字塔影像PI的有意義的區可根據解析度而不同。舉例而言，偵測遠距離的對象需要相對高的解析度，而相對低的解析度便可足以偵測近距離的對象。因此，隨著為了產生金字塔影像PI而實行的降頻取樣的次數減少（例如，隨著解析度提高），有意義的區可包括與遠距離的對象對應的影像區。相反地，隨著為了產生金字塔影像PI而實行的降頻取樣的次數增加（例如，隨著解析度降低），有意義的區可包括與近的對象對應的影像區。
在實例性實施例中，遮罩產生器320可基於深度資訊DI來辨識與每一金字塔影像PI的解析度對應的深度值且產生包括深度值的遮罩資料MK。舉例而言，當金字塔影像PI的解析度高時遮罩產生器320可辨識出高深度值，而當金字塔影像PI的解析度低時遮罩產生器320可辨識出低深度值。因此，包括深度值的區可對應於金字塔影像PI的有意義的區。
作為另外一種選擇，遮罩產生器320可被配置成接收圖案密度資料PD而非深度資訊DI，且基於圖案密度資料PD產生及輸出用於金字塔影像PI的遮罩資料MK。圖案密度具有當對象距離近時的圖案密度高於當對象距離遠時的圖案密度的特性。因此，高圖案密度可對應於高深度值，而低圖案密度可對應於低深度值。
遮罩單元330可接收金字塔影像PI及遮罩資料MK且藉由將遮罩資料MK應用於金字塔影像PI來產生及輸出多個被遮罩影像IMK。
在一些實例性實施例中，遮罩單元330可基於與金字塔影像PI對應的遮罩資料MK來辨識每一金字塔影像PI的除了有意義的區之外的其餘區，且藉由對所述其餘區進行遮罩來產生遮罩影像IMK。
特徵提取器340可接收被遮罩影像IMK且輸出被遮罩影像IMK的多條特徵資料FD。舉例而言，特徵資料FD可包括以上參照圖2闡述的特徵圖、類別CL及/或識別訊號REC。在一些實施例中，特徵資料FD可由包括每一金字塔影像PIM的未被遮罩區的特徵及/或影像資料IDT在內的各種類型的資料構成。
偵測器350可接收所述多條特徵資料FD，基於所述多條特徵資料FD辨識及/或偵測包括於影像資料IDT中的至少一個對象，且產生包括關於對象的各種類型的資訊的對象資訊OI。
在一些實例性實施例中，偵測器350可另外接收光流資料OF且可基於光流資料OF及所述多條特徵資料FD來偵測對象。由於光流資料OF包括關於對象的時序運動的資訊，因而偵測器350可利用光流資料OF來提高對象偵測的準確度。
圖8A及圖8B是示出根據一些實例性實施例的遮罩資料的圖。圖8A是示出基於深度資訊DI而產生的遮罩資料MK的實例性圖，且圖8B是示出基於圖案密度資料PD而產生的遮罩資料MK的實例性圖。
參照圖8A，遮罩產生器320可基於深度資訊DI辨識分別屬於特定深度範圍的深度值，且基於每一深度範圍中的深度值產生多個遮罩資料（例如，第一遮罩資料MK1至第四遮罩資料MK4）中的一者。
舉例而言，在一些實例性實施例中，遮罩產生器320可自深度資訊DI辨識處於具有相對高的平均值的第一深度範圍中的第一深度值且產生包括第一深度值的第一遮罩資料MK1。遮罩產生器320可自深度資訊DI辨識處於平均值低於第一深度範圍的第二深度範圍中的第二深度值且產生包括第二深度值的第二遮罩資料MK2。遮罩產生器320可自深度資訊DI辨識處於平均值低於第二深度範圍的第三深度範圍中的第三深度值且產生包括第三深度值的第三遮罩資料MK3。遮罩產生器320可自深度資訊DI辨識處於平均值低於第三深度範圍的第四深度範圍中的第四深度值且產生包括第四深度值的第四遮罩資料MK4。
參照圖8B，遮罩產生器320可基於圖案密度資料PD辨識分別屬於特定密度範圍的密度值且基於每一密度範圍中的密度值產生第一遮罩資料MK1至第四遮罩資料MK4中的一者。
舉例而言，在一些實例性實施例中，遮罩產生器320可自圖案密度資料PD辨識處於具有相對高的平均值的第一密度範圍中的第一密度值且產生包括第一密度值的第一遮罩資料MK1。遮罩產生器320可自圖案密度資料PD辨識處於平均值低於第一密度範圍的第二密度範圍中的第二密度值且產生包括第二密度值的第二遮罩資料MK2。遮罩產生器320可自圖案密度資料PD辨識處於平均值低於第二密度範圍的第三密度範圍中的第三密度值且產生包括第三密度值的第三遮罩資料MK3。遮罩產生器320可自圖案密度資料PD辨識處於平均值低於第三密度範圍的第四密度範圍中的第四密度值且產生包括第四密度值的第四遮罩資料MK4。
圖9是用於闡述根據一些實例性實施例的產生被遮罩影像的操作的圖。
參照圖9，可藉由將第一遮罩資料MK1至第四遮罩資料MK4分別應用於第一金字塔影像PI1至第四金字塔影像PI4來產生第一被遮罩影像IMK1至第四被遮罩影像IMK4。舉例而言，遮罩單元330可基於第一遮罩資料MK1至第四遮罩資料MK4中的對應一者而對第一金字塔影像PI1至第四金字塔影像PI4中的每一者的除了其有意義的區之外的其餘區進行遮罩。
在一些實例性實施例中，可根據第一金字塔影像PI1至第四金字塔影像PI4中的每一者的解析度來應用第一遮罩資料MK1至第四遮罩資料MK4。舉例而言，遮罩單元330可將由平均值高的深度值（及/或密度值）構成的第一遮罩資料MK1應用於具有高解析度的第一金字塔影像PI1。遮罩單元330可將由平均值低的深度值（及/或密度值）構成的第四遮罩資料MK4應用於具有低解析度的第四金字塔影像PI4。
第一被遮罩影像IMK1由與第一金字塔影像PI1的一部分對應的第一區C1構成，第二被遮罩影像IMK2由與第二金字塔影像PI2的一部分對應的第二區C2構成，第三被遮罩影像IMK3由與第三金字塔影像PI3的一部分對應的第二區C3構成，且第四被遮罩影像IMK4由與第四金字塔影像PI4的一部分對應的第四區C4構成。第一區C1至第四區C4中的每一者可對應於未被第一遮罩資料MK1至第四遮罩資料MK4中的對應一者遮罩的第一金字塔影像PI1至第四金字塔影像PI4中的對應一者的一部分。
圖10是用於闡述根據一些實例性實施例的特徵提取器340及偵測器350的操作的圖。
參照圖10，特徵提取器340可包括第一特徵提取器340_1至第四特徵提取器340_4。第一特徵提取器340_1至第四特徵提取器340_4可分別接收第一被遮罩影像IMK1至第四被遮罩影像IMK4，且產生（並輸出）關於第一被遮罩影像IMK1至第四被遮罩影像IMK4的第一特徵資料FD1至第四特徵資料FD4。
舉例而言，第一特徵提取器340_1可基於第一被遮罩影像IMK1產生第一特徵資料FD1，第二特徵提取器340_2可基於第二被遮罩影像IMK2產生第二特徵資料FD2，第三特徵提取器340_3可基於第三被遮罩影像IMK3產生第三特徵資料FD3，且第四特徵提取器340_3可基於第四被遮罩影像IMK4產生第四特徵資料FD4。儘管示出及闡述了第一特徵提取器340_1至第四特徵提取器340_4分離，但實施例並不限於此。
在一些實例性實施例中，偵測器350可分別自第一特徵提取器340_1至第四特徵提取器340_4接收第一特徵資料FD1至第四特徵資料FD4且基於第一特徵資料FD1至第四特徵資料FD4實行對象偵測。
圖11是根據一些實例性實施例的記憶體的一部分的方塊圖。圖11的記憶體400可對應於圖1中的記憶體120（及/或包括於圖1中的記憶體120中）。
參照圖11，記憶體400可包括儲存體群組410、處理元件群組420及區域匯流排430。在一些實例性實施例中，儲存體群組410可包括多個儲存體（例如，第一儲存體Bank1至第四儲存體Bank4），且處理元件群組420可包括分別與所述多個儲存體對應的多個處理元件（例如，第一處理元件PE1至第四處理元件PE4）。處理元件群組420可更包括獨立於儲存體群組410的第五處理元件PE5。
在一些實例性實施例中，第一儲存體Bank1至第四儲存體Bank4可根據與第一處理元件PE1至第四處理元件PE4之間的對應關係連接至第一處理元件PE1至第四處理元件PE4。舉例而言，參照圖11，第一儲存體Bank1可連接至第一處理元件PE1，第二儲存體Bank2可連接至第二處理元件PE2，第三儲存體Bank3可連接至第三處理元件PE3，第四儲存體Bank4可連接至第四處理元件PE4等。
在記憶體400的儲存操作中，儲存體群組410可儲存經由區域匯流排430傳送的資料。在一些實例性實施例中，記憶體400可自圖1中的影像感測器110接收影像資料，且第一儲存體Bank1至第四儲存體Bank4中的至少一者可儲存影像資料的至少部分。舉例而言，影像資料可被劃分成特定大小且儲存於第一儲存體Bank1至第四儲存體Bank4中的至少一者中。
在記憶體400的計算操作中，處理元件群組420的一些處理元件（例如，第一處理元件PE1至第四處理元件PE4）中的每一者可基於儲存於儲存體群組410中與其對應的儲存體中的資料實行計算操作。
舉例而言，參照圖11，第一處理元件PE1可基於儲存於第一儲存體Bank1中的資料實行計算操作，第二處理元件PE2可基於儲存於第二儲存體Bank2中的資料實行計算操作，第三處理元件PE3可基於儲存於第三儲存體Bank3中的資料實行計算操作，且第四處理元件PE4可基於儲存於第四儲存體Bank4中的資料實行計算操作。此時，第一處理元件PE1至第四處理元件PE4可並列實行計算操作。舉例而言，在一些實例性實施例中，第一處理元件PE1至第四處理元件PE4中的每一者可基於儲存於對應儲存體中的影像資料而在神經網路計算中實行卷積計算，但實例性實施例並不限於此。
在一些實例性實施例中，處理元件群組420中獨立於儲存體群組410的處理元件（例如，第五處理元件PE5）可基於上述處理元件的計算結果實行計算操作。舉例而言，第五處理元件PE5可基於第一處理元件PE1至第四處理元件PE4的計算結果而在神經網路計算中實行池化計算，但實例性實施例並不限於此。第五處理元件PE5可經由區域匯流排430接收第一處理元件PE1至第四處理元件PE4的計算結果且基於計算結果實行池化計算。
在一些實例性實施例中，處理元件群組420的計算結果可儲存於儲存體群組410中。舉例而言，第一處理元件PE1至第四處理元件PE4的計算結果可分別儲存於第一儲存體Bank1至第四儲存體Bank4中。第五處理元件PE5的計算結果可儲存於第一儲存體Bank1至第四儲存體Bank4中的至少一者中。
儲存處理元件群組420的計算結果的位置不限於上述位置且可獨立於處理元件與儲存體之間的對應關係來設置。舉例而言，可經由區域匯流排430將第一處理元件PE1的計算結果傳送至第二儲存體Bank2且儲存於第二儲存體Bank2中。
儘管在圖11的實施例中示出了第一儲存體Bank1至第四儲存體Bank4分別連接至第一處理元件PE1至第四處理元件PE4，但實施例並不限於此。舉例而言，第一儲存體Bank1至第四儲存體Bank4中的至少一者可被配置成不連接至處理元件的獨立儲存體。
儲存於獨立儲存體中的資料亦可經由區域匯流排430傳送至第一處理元件PE1至第四處理元件PE4。在一些實例性實施例中，第一處理元件PE1至第四處理元件PE4可經由區域匯流排430自獨立儲存體接收資料且立即實行計算處理。作為另外一種選擇，獨立儲存體的資料可儲存於經由區域匯流排430連接至第一處理元件PE1至第四處理元件PE4的第一儲存體Bank1至第四儲存體Bank4中，並且第一處理元件PE1至第四處理元件PE4可自第一儲存體Bank1至第四儲存體Bank4讀取獨立儲存體的資料且實行計算處理。
為了實行上述計算操作，圖1中的控制邏輯126可基於位址資訊及計算次序資訊來控制圖1中的記憶體儲存體122及圖1中的PIM電路124。舉例而言，控制邏輯126可基於關於獨立儲存體的位址資訊自獨立儲存體讀取資料且將資料傳送至第一處理元件PE1。第一處理元件PE1亦可被設置成對自第一儲存體Bank1讀取的第一影像資料實行計算處理。因此，控制邏輯126可基於計算次序資訊，在對自第一儲存體Bank1讀取的第一影像資料實行計算操作之前或之後控制第一處理元件PE1（例如，對獨立儲存體的資料實行計算處理）。
在圖11的實施例中，包括於儲存體群組410中的儲存體的數目及包括於處理元件群組420中的處理元件的數目僅為實例，而實施例並不限於此。亦可包括更少或更多的儲存體及/或處理元件。
儘管在圖11的實施例中示出及闡述了記憶體400包括實行池化計算的處理元件（例如圖11中的第五處理元件PE5），但實施例並不限於此。舉例而言，記憶體400亦可不包括實行（及/或專用於實行）池化計算的處理元件。
圖12是示出根據一些實例性實施例的記憶體的結構的方塊圖。圖12的記憶體500可對應於圖1中的記憶體120及/或圖11的記憶體400。圖12示出在記憶體500中彼此連接的儲存體與處理元件的結構，且可應用於例如圖11中的第一儲存體Bank1及第一處理元件PE1的結構。
參照圖12，記憶體500可包括記憶胞陣列510、位址緩衝器520、列解碼器530、行解碼器540、感測放大器550、輸入/輸出（input/output，I/O）閘控電路560、處理元件570、資料I/O電路580及控制邏輯590。
記憶胞陣列510可包括以列及行形成的矩陣形式排列的多個記憶胞。記憶胞陣列510可包括多條字元線WL及多條位元線BL，其中字元線WL及位元線BL連接至記憶胞。舉例而言，字元線WL中的每一者可連接至記憶胞的列，而位元線BL中的每一者可連接至記憶胞的行。
位址緩衝器520接收位址ADDR。位址ADDR包括對記憶胞陣列510的列進行定址的列位址RA及對記憶胞陣列510的行進行定址的行位址CA。位址緩衝器520可將列位址RA傳送至列解碼器530且將行位址CA傳送至行解碼器540。
列解碼器530可選擇連接至記憶胞陣列510的字元線WL中的一者。列解碼器530可對自位址緩衝器520接收的列位址RA進行解碼，選擇與列位址RA對應的字元線WL，且啟用字元線WL。
行解碼器540可選擇記憶胞陣列510的位元線BL中的一些位元線。行解碼器540可藉由對自位址緩衝器520接收的行位址CA進行解碼來產生行選擇訊號且經由I/O閘控電路560選擇與行選擇訊號對應的位元線BL。
感測放大器550可連接至記憶胞陣列510的位元線BL。感測放大器550可感測位元線BL的電壓變化且放大（及輸出）所述電壓變化。由感測放大器550感測及放大的位元線BL可經由I/O閘控電路560來進行選擇。
I/O閘控電路560可包括讀取資料鎖存器及寫入驅動器，所述讀取資料鎖存器儲存由行選擇訊號選擇的位元線BL的資料，所述寫入驅動器將資料寫入至記憶胞陣列510。儲存於讀取資料鎖存器中的資料可經由資料I/O電路580提供至資料接墊DQ。可經由寫入驅動器將經由資料接墊DQ提供至資料I/O電路580的資料寫入至記憶胞陣列510。資料接墊DQ可連接至記憶體500的區域匯流排（例如，圖11中的區域匯流排430）。
處理元件570可處於I/O閘控電路560與資料I/O電路580之間。處理元件570可基於自記憶胞陣列510讀取的資料或自資料I/O電路580接收的資料來實行計算操作。資料I/O電路580及處理元件570可包括以下所列者（及/或包括於以下所列者中）：包含邏輯電路的硬體；硬體/軟體組合（例如執行軟體的處理器）；及/或其組合。舉例而言，處理元件570可包括以下所列者及/或包括於以下所列者中：算術邏輯單元（arithmetic logic unit，ALU）、數位訊號處理器、微型電腦、現場可程式化閘陣列（FPGA）、及可程式化邏輯單元、微處理器、應用專用積體電路（application-specific integrated circuit，ASIC）等。處理元件570可將計算結果寫入至記憶胞陣列510及/或經由資料I/O電路580將計算結果提供至資料接墊DQ。
控制邏輯590可接收時脈訊號CLK（及/或命令CMD）且產生用於控制記憶體500的操作時序、記憶體操作及/或計算操作的控制訊號CTRLS。控制邏輯590可利用控制訊號CTRLS自記憶胞陣列510讀取資料且將資料寫入至記憶胞陣列510。控制邏輯590亦可利用控制訊號CTRLS來控制處理元件570實行計算處理。
儘管在圖12的實施例中示出及闡述了控制邏輯590控制記憶體500的記憶操作及計算操作，但實例性實施例並不限於此。舉例而言，記憶體500可包括產生用於控制記憶體500的計算操作的控制訊號的單獨的元件（例如，處理控制器）。
在圖12的實施例中示出及闡述了記憶體500包括處理元件570，但實例性實施例並不限於此。舉例而言，當不存在連接至儲存體的處理元件時，可自圖12的實施例省略處理元件570。
圖13是示出根據一些實例性實施例的記憶體的結構的詳圖。詳細而言，圖13是示出圖12的記憶體500的結構的詳圖。在下文中，不再對以上參照圖12給出的說明予以贅述。
參照圖12及圖13，記憶體500可更包括與計算操作相關的各種元件。舉例而言，處理元件570可包括分別與記憶胞陣列510的多條位元線BL1至BLK對應的ALU。
ALU中的每一者可包括多個多重電路（例如，第一乘法電路至第三乘法電路MC1、MC2及MC3）及多個加法電路（第一加法電路AC1及第二加法電路AC2）。舉例而言，所述多個乘法電路（例如，第一乘法電路至第三乘法電路MC1、MC2及MC3）可分別實行權重與自對應位元線及相鄰位元線讀取的資料的乘法且輸出多個乘法結果。
舉例而言，參照圖13，第二乘法電路MC2可實行第二權重與自與ALU對應的位元線讀取的資料的乘法且輸出第二乘法結果。第一乘法電路MC1可實行第一權重與自對應位元線左側的位元線讀取的資料的乘法且輸出第一乘法結果。第三乘法電路MC3可實行第三權重與自對應位元線右側的位元線讀取的資料的乘法且輸出第三乘法結果。在一些實例性實施例中，第一權重至第三權重可彼此相同或不同。自對應位元線及相鄰位元線讀取的資料可對應於經由感測放大器550儲存於讀取資料鎖存器Latch1中的資料。
第一加法電路AC1可實行第一乘法電路至第三乘法電路MC1、MC2及MC3的第一乘法結果至第三乘法結果的加法且輸出第一加法結果。第二加法電路AC2可實行第一加法結果與自對應位元線讀取的資料的加法且輸出第二加法結果。此時，自對應位元線讀取的資料可對應於自記憶胞陣列510傳送而不經過感測放大器550及讀取資料鎖存器Latch1的資料。
如上所述，利用ALU的計算操作是利用自相鄰位元線接收的資料以及與ALU對應的位元線的資料來實行，且因此可應用於卷積計算。上述方法可擴展至自與對應的位元線相鄰且包括於彼此不同的儲存體中的位元線接收資料的實施例。
在一些實例性實施例中，在第一儲存體Bank1或第二儲存體Bank2的多個ALU之中位於彼此相鄰的第一儲存體Bank1與第二儲存體Bank2中的每一者的邊緣中的ALU可經由資料線連接至位於相鄰儲存體的邊緣中的ALU。舉例而言，第一儲存體Bank1的右邊緣中的ALU可經由資料線連接至第二儲存體Bank2的左邊緣中的ALU。資料線可將每一ALU的第一（或第三）乘法電路MC1（或MC3）連接至相鄰的位元線。
資料I/O電路580可包括計算資料鎖存器Latch2以及資料選擇器，計算資料鎖存器Latch2儲存自第二加法電路AC2輸出的第二加法結果，資料選擇器選擇欲提供至資料接墊DQ的資料。計算資料鎖存器Latch2可儲存自第二加法電路AC2輸出的第二加法結果。在一些實例性實施例中，資料選擇器可包括至少一個多工器。
儘管圖12及圖13示出了彼此連接的儲存體與處理元件的結構，但實例性實施例並不限於此。舉例而言，當儲存體未連接至處理元件時，可省略圖12及圖13中的處理元件570及資料I/O電路580的計算資料鎖存器Latch2。
圖14是根據一些實例性實施例的影像感測器模組的操作方法的流程圖。圖14的操作方法可例如利用圖1中的影像感測器模組100來實行。
參照圖1及圖14，在操作S100中，影像感測器模組100可獲得影像資料（例如，經由影像感測器110）。在操作S200中，影像感測器模組100可儲存影像資料（例如，儲存於記憶體120的多個儲存體中）。在一些實例性實施例中，影像感測器模組100可將影像資料劃分成多個影像區且將影像區儲存於多個儲存體中。舉例而言，影像感測器模組100可將影像資料的第一影像區儲存於第一儲存體中且將影像資料的第二影像區儲存於第二儲存體中。
在操作S300中，影像感測器模組100可利用記憶體120的處理元件來產生關於影像資料的光流資料。在操作S400中，影像感測器模組100亦可利用記憶體120的處理元件來產生關於影像資料的圖案密度資料。在一些實例性實施例中，產生光流資料及/或圖案密度資料可對應於基於神經網路的計算處理操作。
在操作S500中，影像感測器模組100可輸出影像資料、光流資料及圖案密度資料。在一些實例性實施例中，影像感測器模組100可將影像資料、光流資料及圖案密度資料輸出至影像處理裝置200。影像處理裝置200可基於光流資料及圖案密度資料對影像資料實行對象偵測。
圖15是影像感測器模組的分解透視圖，且圖16是影像感測器模組的平面圖。參照圖15及圖16，影像感測器模組100a可具有第一晶片CH1、第二晶片CH2及第三晶片CH3的堆疊結構。可在第一晶片CH1中形成在圖1所示影像感測器110的畫素陣列中所包括的多個畫素中的每一者的畫素核心（pixel core）（例如，至少一個光電轉換元件及畫素電路）。可在第二晶片CH2中形成包括邏輯電路（例如，列驅動器、讀出電路、斜坡發生器及/或時序控制器）的驅動器及讀取電路。可在第三晶片CH3中形成圖1中的記憶體120。第一晶片至第三晶片CH1、CH2與CH3可經由連接構件或經由穿孔彼此電性連接。然而，實例性實施例並不限於此。舉例而言，影像感測器模組100a可實施於單個半導體晶片中。
如圖16所示，第一晶片至第三晶片CH1、CH2及CH3可分別在其中心部分中包括圖1中的畫素陣列、邏輯電路及記憶體120，且各自在其外邊緣中包括周邊區。
在第三方向（例如，Z方向）上延伸的穿孔TV可排列於第一晶片至第三晶片CH1、CH2及CH3中的每一者的周邊區中。第一晶片CH1可經由穿孔TV電性耦合至第二晶片CH2。在第一方向（例如，X方向）或第二方向（例如，Y方向）上延伸的配線可形成於第一晶片至第三晶片CH1、CH2及CH3中的每一者的周邊區中。
圖17是根據一些實例性實施例的電子裝置的方塊圖。
參照圖17，電子裝置1000可包括應用處理器1100、相機模組1200、工作記憶體1300、儲存器1400、顯示裝置1600、使用者介面1700及無線收發器1500。
應用處理器1100可包括總體上控制電子裝置1000的操作且運行應用程式、作業系統等的系統晶片（system-on-chip，SoC）。應用處理器1100可將自相機模組1200接收的影像資料提供至顯示裝置1600及/或將影像資料儲存於儲存器1400中。
參照圖1至圖16闡述的影像感測器模組100可應用於相機模組1200。相機模組1200可包括實行計算處理的記憶體1210。記憶體1210可利用PIM電路對儲存於記憶體1210的儲存體中的影像資料實行計算處理（例如，圖案密度偵測及光流偵測）。
處理器220、220a及/或220b（參照圖1至16所述）可應用於應用處理器1100。應用處理器1100可自相機模組1200接收影像資料及計算資料（例如，圖案密度資料及光流資料），並基於計算資料對影像資料實行額外的計算處理（例如，對象偵測）。在實例性實施例中，當電子裝置1000是自動車輛時，應用處理器1100可基於藉由實行對象偵測而獲得的對象資訊來控制自動車輛的驅動單元。
工作記憶體1300可包括揮發性記憶體（例如DRAM或靜態RAM（SRAM））及/或非揮發性電阻式記憶體（例如FeRAM、RRAM及/或PRAM）。工作記憶體1300可儲存由應用處理器1100處理或執行的程式及/或資料。
儲存裝置1400可包括例如反及（NAND）快閃記憶體及/或電阻式記憶體等非揮發性記憶體。舉例而言，儲存器1400可被提供為例如多媒體卡（multimedia card，MMC）、嵌入式MMC（embedded MMC，eMMC）、安全數位（SD）卡及/或微型SD卡等記憶卡。儲存器1400可儲存自相機模組1200接收的影像資料或由應用處理器1100處理或產生的資料。
使用者介面1700可包括可接收使用者輸入的各種裝置，例如鍵盤、按鈕鍵（button key）面板、觸控面板（touch panel）、指紋感測器（fingerprint sensor）及麥克風。使用者介面1700可接收使用者輸入且將對應於使用者輸入的訊號提供至應用處理器1100。儘管被示出為分離的，但在一些實施例中，顯示裝置1600與使用者介面1700可至少局部地合併。舉例而言，顯示裝置1600及使用者介面1700可為（及/或包括）觸控螢幕（touch screen）。
無線收發器1500可包括收發器1510、數據機1520及天線1530。
儘管已參照本發明概念的實施例具體示出並闡述了本發明概念，然而應理解，在不背離以下申請專利範圍的精神及範圍的條件下，可對其進行各種形式及細節上的改變。
10:影像處理系統 100、100a:影像感測器模組 100_1:第一影像感測器模組 100_2:第二影像感測器模組 110:影像感測器 110_1:第一影像感測器 110_2:第二影像感測器 120、400、500、1210:記憶體 120_1:第一PIM電路 120_2:第二PIM電路 122:記憶體儲存體 124:記憶體中處理器（PIM）電路 125:光流模組 126:控制邏輯/圖案密度模組 130:訊號處理器 140、210:介面 200、200a、200b:影像處理裝置 220、220a、220b:處理器 222、222b:深度資訊模組 224、224a、224b、300:對象偵測模組 310:預處理器 320:遮罩產生器 330:遮罩單元 340:特徵提取器 340_1:第一特徵提取器 340_2:第二特徵提取器 340_3:第三特徵提取器 340_4:第四特徵提取器 350:偵測器 410:儲存體群組 420:處理元件群組 430:區域匯流排 510:記憶胞陣列 520:位址緩衝器 530:列解碼器 540:行解碼器 550:感測放大器 560:輸入/輸出（I/O）閘控電路 570:處理元件 580:資料I/O電路 590:控制邏輯 1000:電子裝置 1100:應用處理器 1200:相機模組 1300:工作記憶體 1400:儲存器 1500:無線收發器 1510:收發器 1520:數據機 1530:天線 1600:顯示裝置 1700:使用者介面 AC1:第一加法電路 AC2:第二加法電路 ADDR:位址 Bank1:第一儲存體/儲存體 Bank2:第二儲存體/儲存體 Bank3:第三儲存體/儲存體 Bank4:第四儲存體/儲存體 BankN:儲存體 BL、BL1、BL2、BL3～BLK:位元線 C1:第一區 C2:第二區 C3:第三區 C4:第四區 CA:行位址 CH1:第一晶片 CH2:第二晶片 CH3:第三晶片 CL:類別 CLK:時脈訊號 CMD:命令 CTRLS:控制訊號 D:深度 DI:深度資訊 DQ:資料接墊 FD:特徵資料 FD1:第一特徵資料 FD2:第二特徵資料 FD3:第三特徵資料 FD4:第四特徵資料 FM1:第一特徵圖 FM2:第二特徵圖 FM3:第三特徵圖 FMn:第n特徵圖 Frame1:第一訊框 Frame2:第二訊框 Frame3:第三訊框 Frame4:第四訊框 Frame5:第五訊框 Frame6:第六訊框 Frame7:第七訊框 Frame8:第八訊框 Frame9:第九訊框 Frame10:第十訊框 Frame11:第十一訊框 Frame12:第十二訊框 H:高度 IDT:影像資料 IDT1:第一影像資料 IDT2:第二影像資料 IMK: 被遮罩影像 IMK1:第一被遮罩影像 IMK2:第二被遮罩影像 IMK3:第三被遮罩影像 IMK4:第四被遮罩影像 L1:第一層 L2:第二層 Ln:第n層 Latch1:讀取資料鎖存器 Latch2:計算資料鎖存器 LS:透鏡 MC1:第一乘法電路 MC2:第二乘法電路 MC3:第三乘法電路 MK:遮罩資料 MK1:第一遮罩資料 MK2:第二遮罩資料 MK3:第三遮罩資料 MK4:第四遮罩資料 NN:神經網路 ODT1:第一計算資料 ODT2:第二計算資料 OF:光流資料 OF1:第一光流資料 OF2:第二光流資料 OF3:第三光流資料 OF4:第四光流資料 OI:對象資訊 PD:圖案密度資料 PD1:第一圖案密度資料 PD2:第二圖案密度資料 PE:處理元件 PE1:第一處理元件 PE2:第二處理元件 PE3:第三處理元件 PE4:第四處理元件 PE5:第五處理元件 PEG1:第一處理元件群組 PEG2:第二處理元件群組 PI:金字塔影像 PI1:第一金字塔影像 PI2:第二金字塔影像 PI3:第三金字塔影像 PI4:第四金字塔影像 PW:池化窗口 RA:列位址 REC:識別訊號 S100、S200、S300、S400、S500:操作 TV:穿孔 W:寬度 WL:字元線 WM:權重圖 X、Y、Z:方向 x、y、z:軸
結合附圖閱讀以下詳細說明，將更清楚地理解本發明概念的實例性實施例，在附圖中： 圖1是根據一些實例性實施例的影像處理系統的方塊圖。 圖2示出根據一些實例性實施例的神經網路結構的實例。 圖3是示出根據一些實例性實施例的記憶體的配置的方塊圖。 圖4A及圖4B是用於闡述根據一些實例性實施例的影像感測器模組及影像處理裝置的操作的方塊圖。 圖5是用於闡述根據一些實例性實施例的多個影像感測器模組及影像處理裝置的操作的方塊圖。 圖6A及圖6B是用於闡述根據一些實例性實施例的根據影像感測器模組的拍攝模式產生光流資料的方法的圖。 圖7是示出根據一些實例性實施例的對象偵測模組的配置的方塊圖。 圖8A及圖8B是示出根據一些實例性實施例的遮罩資料的圖。 圖9是用於闡述根據一些實例性實施例的產生被遮罩影像的操作的圖。 圖10是用於闡述根據一些實例性實施例的特徵提取器（feature extractor）及偵測器的操作的圖。 圖11是根據一些實例性實施例的記憶體的一部分的方塊圖。 圖12是示出根據一些實例性實施例的記憶體的結構的方塊圖。 圖13是示出根據一些實例性實施例的記憶體的結構的詳圖。 圖14是根據一些實例性實施例的影像感測器模組的操作方法的流程圖。 圖15是影像感測器模組的分解透視圖。 圖16是影像感測器模組的平面圖。 圖17是根據一些實例性實施例的電子裝置的方塊圖。
10:影像處理系統
100:影像感測器模組
110:影像感測器
120:記憶體
122:記憶體儲存體
124:記憶體中處理器(PIM)電路
126:控制邏輯/圖案密度模組
130:訊號處理器
140、210:介面
200:影像處理裝置
220:處理器
Bank1:第一儲存體/儲存體
BankN:儲存體
LS:透鏡
PE:處理元件

Claims (10)

  1. 一種影像感測器模組，包括： 影像感測器，被配置成產生影像資料；以及 記憶體，包括儲存所述影像資料的至少一個記憶體儲存體、及記憶體中處理器（PIM）電路，所述記憶體中處理器電路包括多個處理元件，且所述記憶體被配置成 自所述至少一個記憶體儲存體讀取所述影像資料， 利用所述多個處理元件產生光流資料及圖案密度資料，所述光流資料指示包括於所述影像資料中的至少一個對象的時序運動，並且所述圖案密度資料指示所述影像資料的圖案的密度，且 輸出所述影像資料、所述光流資料及所述圖案密度資料。
  2. 如請求項1所述的影像感測器模組，其中所述記憶體中處理器電路包括： 第一處理元件，被配置成產生所述光流資料；以及 第二處理元件，被配置成產生所述圖案密度資料。
  3. 如請求項2所述的影像感測器模組，其中所述記憶體中處理器電路包括神經網路模組，所述神經網路模組包括所述第一處理元件及所述第二處理元件。
  4. 如請求項1所述的影像感測器模組，其中所述記憶體更包括： 區域匯流排，被配置成在所述至少一個記憶體儲存體與所述多個處理元件之間傳遞資料。
  5. 如請求項1所述的影像感測器模組，其中 所述影像感測器模組被配置成在正常拍攝模式或叢發拍攝模式中的至少一種模式下進行操作， 所述正常拍攝模式在參考時間單位內產生所述影像資料的一訊框，且 所述叢發拍攝模式在所述參考時間單位內產生連續影像資料的多個訊框。
  6. 如請求項5所述的影像感測器模組，其中 所述影像感測器模組更被配置成在所述叢發拍攝模式下產生所述連續影像資料，且 所述記憶體更被配置成基於所述連續影像資料產生所述光流資料。
  7. 一種影像處理系統，包括： 影像感測器模組；以及 影像處理裝置， 所述影像感測器模組包括 影像感測器，被配置成產生影像資料，以及 記憶體，被配置成利用記憶體中處理器（PIM）電路產生光流資料及圖案密度資料，所述光流資料指示包括於所述影像資料中的至少一個對象的時序運動，並且所述圖案密度資料指示所述影像資料的圖案的密度，且 所述影像處理裝置被配置成基於所述影像資料、所述光流資料及所述圖案密度資料對所述影像資料實行對象偵測。
  8. 如請求項7所述的影像處理系統，其中 所述影像處理裝置更被配置成基於所述光流資料及所述圖案密度資料產生深度資訊，且 所述深度資訊指示所述影像感測器模組與包括於所述影像資料中的所述至少一個對象之間的距離。
  9. 如請求項8所述的影像處理系統，其中所述影像處理裝置更被配置成利用所述深度資訊及所述影像資料對所述影像資料實行所述對象偵測。
  10. 如請求項9所述的影像處理系統，其中所述影像處理裝置包括神經網路模組，所述神經網路模組被訓練成基於所述光流資料及所述圖案密度資料產生所述深度資訊。
TW111115941A 2021-04-27 2022-04-27 影像感測器模組以及影像處理系統 TW202307782A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210054523A KR20220147412A (ko) 2021-04-27 2021-04-27 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법
KR10-2021-0054523 2021-04-27

Publications (1)

Publication Number Publication Date
TW202307782A true TW202307782A (zh) 2023-02-16

Family

ID=83693640

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111115941A TW202307782A (zh) 2021-04-27 2022-04-27 影像感測器模組以及影像處理系統

Country Status (4)

Country Link
US (1) US11943557B2 (zh)
KR (1) KR20220147412A (zh)
CN (1) CN115249204A (zh)
TW (1) TW202307782A (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673120A (en) * 1993-12-24 1997-09-30 Nec Corporation Image output device
US6415038B1 (en) * 1994-05-20 2002-07-02 Fuji Photo Film Co., Ltd. Image analyzing apparatus
TWI355615B (en) 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
US10379772B2 (en) 2016-03-16 2019-08-13 Micron Technology, Inc. Apparatuses and methods for operations using compressed and decompressed data
US20180068451A1 (en) * 2016-09-08 2018-03-08 Qualcomm Incorporated Systems and methods for creating a cinemagraph
KR102631964B1 (ko) * 2016-11-23 2024-01-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
EP3549102B1 (en) 2016-12-02 2021-05-26 Google LLC Determining structure and motion in images using neural networks
DE102017211331A1 (de) 2017-07-04 2019-01-10 Robert Bosch Gmbh Bildauswertung mit zielgerichteter Vorverarbeitung
CN107610108B (zh) * 2017-09-04 2019-04-26 腾讯科技（深圳）有限公司 图像处理方法和装置
US10839266B2 (en) 2018-03-30 2020-11-17 Intel Corporation Distributed object detection processing
US10916031B2 (en) 2018-07-06 2021-02-09 Facebook Technologies, Llc Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
KR20200141813A (ko) 2019-06-11 2020-12-21 삼성전자주식회사 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
KR20210027894A (ko) 2019-09-03 2021-03-11 삼성전자주식회사 주행 보조 시스템, 전자 장치 및 그 동작 방법
US20210004969A1 (en) * 2020-09-23 2021-01-07 Intel Corporation Multi-level optical flow estimation framework for stereo pairs of images based on spatial partitioning

Also Published As

Publication number Publication date
CN115249204A (zh) 2022-10-28
KR20220147412A (ko) 2022-11-03
US20220345592A1 (en) 2022-10-27
US11943557B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
US11074474B2 (en) Apparatus for performing neural network operation and method of operating the same
US11849226B2 (en) Image processing device including neural network processor and operating method thereof
US20200364567A1 (en) Neural network device for selecting action corresponding to current state based on gaussian value distribution and action selecting method using the neural network device
US20230289601A1 (en) Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network
US20200118249A1 (en) Device configured to perform neural network operation and method of operating same
US11651201B2 (en) Memory device including arithmetic circuit and neural network system including the same
US20240046082A1 (en) Method and device with neural network implementation
US20200167637A1 (en) Neural network processor using dyadic weight matrix and operation method thereof
US11838651B2 (en) Image processing apparatus including neural network processor and method of operating the same
US20220345624A1 (en) Image sensor module and method of operating the same
US11943557B2 (en) Image sensor module, image processing system, and operating method of image sensor module
US20220188612A1 (en) Npu device performing convolution operation based on the number of channels and operating method thereof
KR20200062014A (ko) 다이어딕 매트릭스 형태의 웨이트를 이용해 뉴럴 네트워크를 가속하는 장치 및 그것의 동작 방법
US11664818B2 (en) Neural network processor for compressing featuremap data and computing system including the same
US11748862B2 (en) Image processing apparatus including neural network processor and method of operation
US11902676B2 (en) Image signal processor, operation method of image signal processor, and image sensor device including image signal processor
KR20200132660A (ko) 가우시안 가치 분포에 기초하여 현재 상태에 대한 행동을 선택하는 뉴럴 네트워크 장치 및 이를 이용하는 행동 선택 방법