TW202310610A - 影像訊號設備、影像訊號處理器的操作方法以及影像感測器裝置 - Google Patents

影像訊號設備、影像訊號處理器的操作方法以及影像感測器裝置 Download PDF

Info

Publication number
TW202310610A
TW202310610A TW111125524A TW111125524A TW202310610A TW 202310610 A TW202310610 A TW 202310610A TW 111125524 A TW111125524 A TW 111125524A TW 111125524 A TW111125524 A TW 111125524A TW 202310610 A TW202310610 A TW 202310610A
Authority
TW
Taiwan
Prior art keywords
image
domain processing
operations
generate
signal processor
Prior art date
Application number
TW111125524A
Other languages
English (en)
Inventor
崔承源
金一道
崔鍾聲
朴志桓
李瑞勳
林石煥
崔奎烈
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210183767A external-priority patent/KR20230008586A/ko
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202310610A publication Critical patent/TW202310610A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本發明提供影像訊號處理設備及其操作方法。在實施例中，影像訊號處理設備經組態以自影像感測器裝置接收輸入影像。設備進一步經組態以對輸入影像執行分箱及剪裁操作以產生第一影像。設備進一步經組態以對第一影像執行拜耳域處理以產生第二影像。設備進一步經組態以對第二影像執行RGB域處理以產生第三影像。設備進一步經組態以對第三影像執行YUV域處理以產生輸出影像。YUV域處理包括空間去雜訊操作、時間去雜訊操作、運動補償操作、色調映射操作、細節增強操作以及銳化操作中的至少一者。

Description

圖像訊號處理器、圖像訊號處理器的操作方法以及包括圖像訊號處理器的圖像感測器裝置
本文中所描述的本發明概念的實施例是關於一種影像系統，且更特定言之，是關於一種影像訊號處理器、影像訊號處理器的操作方法以及包含影像訊號處理器的影像感測器裝置。 [相關申請案的交叉參考]
本申請案根據35 U.S.C.§ 119主張在韓國智慧財產局於2021年7月7日申請的韓國專利申請案第10-2021-0088960號及於2021年12月21日申請的韓國專利申請案第10-2021-0183767號的優先權，所述申請案的揭露內容以全文引用的方式併入本文中。
包含於智慧型手機、平板電腦、個人電腦（personal computer；PC）或數位攝影機中的影像感測器藉由將自外部物件反射的光轉換成電訊號而獲得關於外部物件的影像資訊。執行各種影像訊號處理操作以將自影像感測器獲得的電訊號轉換成可由個人感知的影像資訊及/或改良影像的品質。
本揭露的實施例提供一種具有改良的效能及減少的功率消耗的影像訊號處理器、影像訊號處理器的操作方法以及包含影像訊號處理器的影像感測器裝置。
根據實施例，一種影像訊號設備包含記憶體儲存器及以通信方式耦接至記憶體儲存器的影像訊號處理器。影像訊號處理器經組態以使得影像訊號設備自第一影像感測器裝置接收第一輸入影像。影像訊號處理器進一步經組態以進一步使得影像訊號設備對第一輸入影像執行分箱及剪裁操作以產生第一影像。影像訊號處理器進一步經組態以進一步使得影像訊號設備對第一影像執行拜耳域處理以產生第二影像。影像訊號處理器進一步經組態以進一步使得影像訊號設備對第二影像執行RGB域處理以產生第三影像。影像訊號處理器進一步經組態以進一步使得影像訊號設備對第三影像執行YUV域處理以產生輸出影像。YUV域處理包含空間去雜訊操作、時間去雜訊操作、運動補償操作、色調映射操作、細節增強操作以及銳化操作中的至少一者。
根據實施例，一種影像訊號處理器的操作方法包含自影像感測器裝置接收輸入影像。操作方法進一步包含對輸入影像執行分箱及剪裁操作以產生第一影像。操作方法進一步包含對第一影像執行拜耳域處理以產生第二影像。操作方法進一步包含對第二影像執行RGB域處理以產生第三影像。操作方法進一步包含對第三影像執行YUV域處理以產生輸出影像。執行YUV域處理包含輸出輸出影像。第二影像的解析度與第三影像的解析度匹配。YUV域處理包含空間去雜訊操作、時間去雜訊操作、運動補償操作、色調映射操作、細節增強操作以及銳化操作中的至少一者。
根據實施例，一種影像感測器裝置包含：像素陣列，包含多個像素；列驅動器，控制多個像素；類比至數位轉換器，將像素訊號轉換為數位訊號；輸出緩衝器，基於數位訊號輸出輸入影像；以及影像訊號處理器，經組態以基於輸入影像產生輸出影像。影像訊號處理器進一步經組態以基於輸入影像產生訊框資訊。影像訊號處理器進一步經組態以對輸入影像執行分箱及剪裁操作以產生第一影像。影像訊號處理器進一步經組態以基於訊框資訊對第一影像執行拜耳域處理以產生第二影像。影像訊號處理器進一步經組態以基於訊框資訊對第二影像執行RGB域處理以產生第三影像。影像訊號處理器進一步經組態以基於訊框資訊對第三影像執行YUV域處理以產生輸出影像。YUV域處理包含空間去雜訊操作、時間去雜訊操作、運動補償操作、色調映射操作、細節增強操作以及銳化操作中的至少一者。
在下文中，可詳細且清楚地描述本揭露的實施例至所屬領域中具有通常知識者容易地實施本發明的程度。在以下描述中，可以軟體、硬體或其組合的形式實施術語「區塊」、「單元」、「模組」等或對應於所述術語的組件。
圖1為示出根據本揭露的實施例的影像系統的方塊圖。參考圖1，影像系統100包含影像感測器裝置110、影像訊號處理器（image signal processor；ISP）120以及記憶體裝置130。影像系統100可包含於各種計算系統中，諸如桌上型電腦、膝上型電腦、平板電腦、智慧型手機、可佩戴裝置、黑盒以及數位攝影機。
影像感測器裝置110可基於自外部入射的光產生影像資料。舉例而言，影像感測器裝置110可包含多個像素。多個像素中的各者可經組態以輸出對應於自外部入射的光的電訊號。影像感測器裝置110可基於電訊號輸出影像資料。在實施例中，藉由影像感測器裝置110產生的影像資料可作為輸入影像IMG_in提供至影像訊號處理器120。
影像訊號處理器120可自影像感測器裝置110接收輸入影像IMG_in。影像訊號處理器120可對接收到的輸入影像IMG_in執行各種訊號處理操作以產生輸出影像IMG_out。舉例而言，影像訊號處理器120可執行各種影像訊號處理操作，諸如去雜訊操作、色調映射操作、細節增強操作、白平衡操作、伽瑪校正操作、去馬賽克操作、銳化操作以及色彩轉換操作。
在實施例中，自影像感測器裝置110輸出的輸入影像IMG_in的域或色彩圖案可不同於自影像訊號處理器120輸出的輸出影像IMG_out的域或色彩圖案。舉例而言，自影像感測器裝置110輸出的輸入影像IMG_in的域或色彩圖案可為拜耳域（BYR域），且自影像訊號處理器120輸出的輸出影像IMG_out的域或色彩圖案可為YUV域。
在實施例中，自影像感測器裝置110輸出的輸入影像IMG_in的域或色彩圖案可與影像感測器裝置110的彩色濾光片陣列（color filter array；CFA）的域或色彩圖案相同（例如，匹配）。自影像感測器裝置110輸出的輸入影像IMG_in的大小（例如，解析度）可不同於自影像訊號處理器120輸出的輸出影像IMG_out的大小（例如，解析度）。
在實施例中，影像訊號處理器120可藉由改變輸入影像IMG_in的域及大小而執行上文所描述的各種影像訊號處理操作。將參考以下圖式詳細地描述根據本揭露的實施例的影像訊號處理器120的操作。
記憶體裝置130可經組態以儲存由影像訊號處理器120使用的各種資料、各種資訊或各種影像資料。在實施例中，記憶體裝置130可為諸如動態隨機存取記憶體（dynamic random access memory；DRAM）的高速記憶體裝置。
圖2為示出圖1的影像訊號處理器的架構的方塊圖。圖3為示出圖2的影像訊號處理器的操作的流程圖。參考圖1、圖2以及圖3，第一影像訊號處理器120_a可包含分箱及剪裁模組121_a、第一拜耳（BYR）域處理模組122_a、第二BYR域處理模組123_a、RGB域處理模組124_a以及YUV域處理模組125_a。
在圖3的操作S110中，第一影像訊號處理器120_a可接收輸入影像IMG_in。舉例而言，第一影像訊號處理器120_a可直接自影像感測器裝置110接收輸入影像IMG_in。替代地或另外，影像感測器裝置110可將輸入影像IMG_in儲存於記憶體裝置130中，且第一影像訊號處理器120_a可存取記憶體裝置130以讀取輸入影像IMG_in。
在實施例中，輸入影像IMG_in的色彩圖案或域可為BYR域。然而，本揭露不限於此。舉例而言，輸入影像IMG_in可具有與影像感測器裝置110的彩色濾光片陣列（CFA）的色彩圖案相同（例如，匹配）的色彩圖案或域（例如，BYR域、四域、九域、六域或十域）。
在圖3的操作S120中，第一影像訊號處理器120_a可藉由對輸入影像IMG_in執行分箱及剪裁操作而產生第a影像IMG_a。舉例而言，第一影像訊號處理器120_a的分箱及剪裁模組121_a可藉由對輸入影像IMG_in執行分箱及剪裁操作而產生第a影像IMG_a。在實施例中，第a影像IMG_a可具有BYR域或拜耳色彩圖案。舉例而言，在輸入影像IMG_in為BYR域的情況下，第a影像IMG_a可具有BYR域，而無需單獨分箱操作。替代地或另外，在輸入影像IMG_in並非BYR域（例如，四域、九域、六域或十域）的情況下，第a影像IMG_a可經由對輸入影像IMG_in進行分箱及剪裁模組121_a的分箱操作而具有BYR域。
在實施例中，第a影像IMG_a的大小可小於或等於輸入影像IMG_in的大小。舉例而言，分箱及剪裁模組121_a可經由對輸入影像IMG_in進行分箱操作而將輸入影像IMG_in的特定區域判定為第a影像IMG_a。藉由分箱及剪裁模組121_a產生的第a影像IMG_a可轉移至第一BYR域處理模組122_a。
在圖3的操作S130中，第一影像訊號處理器120_a可藉由對第a影像IMG_a執行第一BYR域處理而產生第b影像IMG_b及第a訊框資訊FI_a。舉例而言，第一影像訊號處理器120_a的第一BYR域處理模組122_a可基於第a影像IMG_a提取第a訊框資訊FI_a。第a訊框資訊FI_a可包含用於影像訊號處理操作的資訊，諸如關於輸入影像IMG_in的訊框（例如，完整或整個訊框）或各區域（例如，訊框或輸入影像的一部分）的影像金字塔資訊、各區域的平均/分佈/直方圖資訊，或運動資訊。由此產生的第a訊框資訊FI_a可儲存於記憶體裝置130中。
第一影像訊號處理器120_a的第一BYR域處理模組122_a可藉由對第a影像IMG_a執行各種影像訊號處理操作而產生第b影像IMG_b。在實施例中，第b影像IMG_b的大小可小於或等於第a影像IMG_a的大小。第b影像IMG_b可具有BYR域或BYR色彩圖案。
在圖3的操作S140中，第一影像訊號處理器120_a可藉由對第b影像IMG_b執行第二BYR域處理而產生第c影像IMG_c。舉例而言，第一影像訊號處理器120_a的第二BYR域處理模組123_a可藉由使用儲存於記憶體裝置130中的第a訊框資訊FI_a對第b影像IMG_b執行第二BYR域處理而產生第c影像IMG_c。在實施例中，第c影像IMG_c的大小可與第b影像IMG_b的大小相同。第c影像IMG_c可具有RGB域或RGB色彩圖案。
在實施例中，第二BYR域處理模組123_a可對第b影像IMG_b執行時間去雜訊操作。在此情況下，對於時間去雜訊操作，第二BYR域處理模組123_a可將第b影像IMG_b儲存於記憶體裝置130中且可存取儲存於其中的第b影像IMG_b。
在圖3的操作S150中，第一影像訊號處理器120_a可藉由對第c影像執行RGB域處理而產生第d影像IMG_d。舉例而言，第一影像訊號處理器120_a的RGB域處理模組124_a可藉由使用儲存於記憶體裝置130中的第a訊框資訊FI_a對第c影像IMG_c執行RGB域處理而產生第d影像IMG_d。在實施例中，第d影像IMG_d的大小可小於或等於第c影像IMG_c的大小。第d影像IMG_d可具有YUV域或YUV色彩圖案。
舉例而言，RGB域處理模組124_a可基於第c影像IMG_c提取第b訊框資訊FI_b。第b訊框資訊FI_b可包含關於YUV域的訊框資訊（例如，關於整個訊框或各區域的影像金字塔資訊、各區域的平均/分佈/直方圖資訊，或運動資訊）。第二訊框資訊FI_b可儲存於記憶體裝置130中。
在圖3的操作S160中，第一影像訊號處理器120_a可藉由對第d影像MG_d執行YUV域處理而產生輸出影像IMG_out。舉例而言，第一影像訊號處理器120_a的YUV域處理模組125_a可藉由使用儲存於記憶體裝置130中的第二訊框資訊FI_b對第d影像MG_d執行YUV域處理而產生輸出影像IMG_out。
圖4為示出影像訊號處理器的架構的方塊圖。圖5為示出圖4的影像訊號處理器的操作的流程圖。參考圖1、圖4以及圖5，第二影像訊號處理器120_b可包含分箱及剪裁模組121_b、簡化的BYR域處理模組123_b、RGB域處理模組124_b、YUV域處理模組125_b以及子ISP模組126_b。
在圖5的操作S210中，第二影像訊號處理器120_b可接收輸入影像IMG_in。舉例而言，第二影像訊號處理器120_b可直接自影像感測器裝置110接收輸入影像IMG_in。替代地或另外，影像感測器裝置110可將輸入影像IMG_in儲存於記憶體裝置130中，且第二影像訊號處理器120_b可存取記憶體裝置130以讀取輸入影像IMG_in。在實施例中，輸入影像IMG_in可具有與影像感測器裝置110的彩色濾光片陣列（CFA）的色彩圖案相同（例如，匹配）的色彩圖案或域。舉例而言，輸入影像IMG_in的色彩圖案或域可為BYR域。
在圖5的操作S220中，第二影像訊號處理器120_b可藉由對輸入影像IMG_in執行分箱及剪裁操作而產生第一影像IMG_1。舉例而言，第二影像訊號處理器120_b的分箱及剪裁模組121_b可藉由對輸入影像IMG_in執行分箱及剪裁操作而產生第一影像IMG_1。
在實施例中，第一影像IMG_1可具有BYR域或BYR色彩圖案。舉例而言，在輸入影像IMG_in為BYR域的情況下，第一影像IMG_1可具有BYR域，而無需單獨分箱操作。替代地或另外，在輸入影像IMG_in並非BYR域（例如，四域、九域、六域或十域）的情況下，第一影像IMG_1可經由對輸入影像IMG_in進行分箱及剪裁模組121_b的分箱操作而具有BYR域。
在實施例中，第一影像IMG_1的大小可小於或等於輸入影像IMG_in的大小。舉例而言，分箱及剪裁模組121_b可經由對輸入影像IMG_in進行剪裁操作而將輸入影像IMG_in的特定區域判定為第一影像IMG_1。
在實施例中，第一影像IMG_1可為按比例縮小的影像。藉由分箱及剪裁模組121_b產生的第一影像IMG_1可轉移至簡化的BYR域處理模組123_a或子ISP模組126，或可儲存於記憶體裝置130中。
在圖5的操作S221中，第二影像訊號處理器120_b可藉由使用子ISP模組126_b而產生訊框資訊FI。舉例而言，第二影像訊號處理器120_b的子ISP模組126_b可基於藉由分箱及剪裁模組121_b產生的第一影像IMG_1產生訊框資訊FI。在實施例中，訊框資訊FI可包含用於影像訊號處理操作的資訊，諸如關於整個訊框或各區域的影像金字塔資訊、各區域的平均/分佈/直方圖資訊，或運動資訊。由此產生的訊框資訊FI可儲存於記憶體裝置130中。在實施例中，可在操作S230之前執行操作S221。亦即，第二影像訊號處理器120_b的子ISP模組126_b可預先在執行BYR域處理、RGB域處理以及YUV域處理之前產生訊框資訊FI。
在圖5的操作S230中，第二影像訊號處理器120_b可藉由對第一影像IMG_1執行簡化的BYR域處理而產生第二影像IMG_2。舉例而言，第二影像訊號處理器120_b的簡化的BYR域處理模組123_b可藉由使用儲存於記憶體裝置130中的訊框資訊FI對第一影像IMG_1執行簡化的BYR域處理而產生第二影像IMG_2。在實施例中，第二影像IMG_2的大小可小於或等於第一影像IMG_1的大小，且可具有RGB域或RGB色彩圖案。在實施例中，簡化的BYR域處理可意謂與藉由參考圖2所描述的第一BYR域處理模組122_a及第二BYR域處理模組123_a執行的處理操作相比減少的處理操作或相對簡單的處理操作。亦即，經由簡化的BYR域處理，用於原始大小（或相對較大大小）的影像的處理操作可減少或可僅藉由相對簡單的操作來執行。
在操作S240中，第二影像訊號處理器120_b可藉由對第二影像IMG_2執行RGB域處理而產生第三影像IMG_3。舉例而言，第二影像訊號處理器120_b的RGB域處理模組124_b可藉由使用儲存於記憶體裝置130中的訊框資訊FI對第二影像IMG_2執行RGB域處理而產生第三影像IMG_3。在實施例中，第三影像IMG_3的大小可與第二影像IMG_2的大小相同，且可具有YUV域或YUV色彩圖案。
在操作S250中，第二影像訊號處理器120_b可藉由對第三影像IMG_3執行YUV域處理而產生輸出影像IMG_out。第二影像訊號處理器120_b的YUV域處理模組125_b可藉由使用儲存於記憶體裝置130中的訊框資訊FI對第三影像IMG_3執行YUV域處理而產生輸出影像IMG_out。
在實施例中，第二影像訊號處理器120_b的YUV域處理模組125_b可執行藉由第一影像訊號處理器120_a的第二BYR域處理模組123_a執行的影像訊號處理操作。舉例而言，YUV域處理模組125_b可執行時間去雜訊操作。在此情況下，對於時間去雜訊操作，YUV域處理模組125_b可將第二影像IMG_2儲存於記憶體裝置130中且可存取儲存於其中的第二影像IMG_2。
如圖2至圖5中所示出，影像訊號處理器120_a及影像訊號處理器120_b中的各者可藉由對自影像感測器裝置110接收到的輸入影像IMG_in執行各種影像訊號處理操作而產生輸出影像IMG_out。
在實施例中，為了將輸入影像IMG_in的原始資訊應用於輸出影像IMG_out，影像訊號處理器120_a及影像訊號處理器120_b中的各者可在轉換至輸出影像IMG_out的域（例如，YUV域）之前對BYR域執行影像訊號處理操作。作為實例，在用於具有BYR域的影像的訊號處理或計算的量增加的情況下，功率消耗可增加。
在實施例中，輸入影像IMG_in的大小可不同於輸出影像IMG_out的大小。在此情況下，在減小（例如,按比例縮小）輸入影像IMG_in的大小之後，影像訊號處理器120_a及影像訊號處理器120_b中的各者可執行各種訊號處理操作。然而，在對按比例縮小的影像執行訊號處理操作的情況下，最終輸出影像IMG_out的品質可能下降。相比之下，在無需按比例縮小的情況下執行訊號處理操作的情況下，可維持最終輸出影像IMG_out的品質，但功率消耗可能增加。
根據本揭露的實施例的影像訊號處理器（特定言之，120_b）可藉由簡化需要較大功率消耗的BYR域處理以及在YUV域處理中執行將在BYR域處理中執行的一些影像訊號處理操作（例如，去雜訊操作、色調映射操作以及細節增強操作）而總體地減少功率消耗。另外，由於根據本揭露的實施例的影像訊號處理器（特定言之，120_b）僅對按比例縮小的影像執行最小BYR域處理，因此可能減少功率消耗，且可能防止輸出影像IMG_out的品質的下降。
詳言之，為了比較圖2及圖4的影像訊號處理器120_a及影像訊號處理器120_b的功率消耗以及用於存取記憶體裝置130的功率（或頻寬），分別藉由影像訊號處理器120_a及影像訊號處理器120_b產生的影像的大小經界定為如以下表1中所展示。在輸出影像IMG_out的解析度為FHD（亦即，1920×1080）且YUV域處理模組以YUV42格式操作的條件下所獲得的各影像的影像大小及影像位元深度展示於表1中。 [表1]
影像 影像大小 影像位元深度
121_a的輸出及122_a的輸入 IMG_a Ka × La = [4032 × 2268] Na = 10
122_a的輸出及123_a的輸入 IMG_b Kb × Lb = [4032 × 2268] Nb = 12
123_a的輸出及124_a的輸入 IMG_c Kc × Lc = [4032 × 2268] Nc = 12
124_a的輸出及125_a的輸入 IMG_d Kd × Ld = [1920 × 1080] Nd = 12
121_b的輸出及123_b的輸入 IMG_1 K1 × L1 = [4032 × 2268] N1 = 10
123_b的輸出及124_b的輸入 IMG_2 K2 × L2 = [1920 × 1080] N2 = 12
124_b的輸出及125_b的輸入 IMG_3 K3 × L3 = [1920 × 1080] N3 = 12
如表1中所展示，在判定各影像的大小的情況下，用於存取影像訊號處理器120_a及影像訊號處理器120_b中的各者中的記憶體裝置130的功率由以下等式1表示。 [等式1]
Figure 02_image001
Figure 02_image003
Figure 02_image005
在等式1中，MP 120_b可指示圖4的第二影像訊號處理器120_b的功率消耗，MP 120_a可指示圖2的第一影像訊號處理器120_a的功率消耗，Nch可指示呈YUV420格式的YUV影像的有效通道的數目，且Nch可為2。在此情況下，功率消耗指示出於處理一個訊框的目的用於存取記憶體裝置130的功率消耗。如等式1中所展示，圖4的第二影像訊號處理器120_b的功率消耗為圖2的第一影像訊號處理器120_a的功率消耗的57.33%。亦即，可經由圖4中所示出的第二影像訊號處理器120_b的架構減少功率消耗。因此，可藉由簡化用於影像的BYR域處理操作以及在YUV域中執行簡化的操作來減少用於存取記憶體裝置130的功率消耗。
在實施例中，表1及等式1的實施例為影像在圖2的第一影像訊號處理器120_a中的BYR域處理期間並未按比例縮小的實例。亦即，為了減少功率消耗，在圖2的第一影像訊號處理器120_a中，影像可在BYR域處理期間按比例縮小。在此情況下，分別藉由影像訊號處理器120_a及影像訊號處理器120_b產生的影像的大小經界定為如以下表2中所展示。類似於上文所描述的表1，以下表2是關於輸出影像IMG_out的解析度為FHD（亦即，1920×1080）且YUV域處理模組以YUV42格式操作的實例。 [表2]
影像 影像大小 影像位元深度
121_a的輸出及122_a的輸入 IMG_a Ka × La = [4032 × 2268] Na = 10
122_a的輸出及123_a的輸入 IMG_b Kb × Lb = [2880 × 1620] Nb = 12
123_a的輸出及124_a的輸入 IMG_c Kc × Lc = [2880 × 1620] Nc = 12
124_a的輸出及125_a的輸入 IMG_d Kd × Ld = [1920 × 1080] Nd = 12
121_b的輸出及123_b的輸入 IMG_1 K1 × L1 = [4032 × 2268] N1 = 10
123_b的輸出及124_b的輸入 IMG_2 K2 × L2 = [1920 × 1080] N2 = 12
124_b的輸出及125_b的輸入 IMG_3 K3 × L3 = [1920 × 1080] N3 = 12
如表2中所展示，在判定各影像的大小的情況下，用於存取影像訊號處理器120_a及影像訊號處理器120_b中的各者中的記憶體裝置130的功率由以下等式2表示。 [等式2]
Figure 02_image007
Figure 02_image008
Figure 02_image010
上文參考等式1描述等式2的變量，且因此，將省略額外描述以避免冗餘。與表1及等式1的實施例相比，在表2及等式2的實施例中，根據本揭露的實施例的第二影像訊號處理器120_b的功率消耗的縮減比可相對較低。然而，根據表2及等式2的實施例，由於第一影像訊號處理器120_a在BYR域處理期間按比例縮小影像，因此最終輸出影像IMG_out的品質可能下降。
在實施例中，以下表3展示在輸出影像IMG_out的解析度為UHD（亦即，3840×2160）且YUV域處理模組以YUV42格式操作的情況下的影像的大小。 [表3]
影像 影像大小 影像位元深度
121_a的輸出及122_a的輸入 IMG_a Ka × La = [4032 × 2268] Na = 10
122_a的輸出及123_a的輸入 IMG_b Kb × Lb = [3840 × 2160] Nb = 12
123_a的輸出及124_a的輸入 IMG_c Kc × Lc = [3840 × 2160] Nc = 12
124_a的輸出及125_a的輸入 IMG_d Kd × Ld = [3840 × 2160] Nd = 12
121_b的輸出及123_b的輸入 IMG_1 K1 × L1 = [3840 × 2160] N1 = 10
123_b的輸出及124_b的輸入 IMG_2 K2 × L2 = [3840 × 2160] N2 = 12
124_b的輸出及125_b的輸入 IMG_3 K3 × L3 = [3840 × 2160] N3 = 12
如表3中所展示，在判定各影像的大小的情況下，用於存取影像訊號處理器120_a及影像訊號處理器120_b中的各者中的記憶體裝置130的功率由以下等式3表示。 [等式3]
Figure 02_image012
Figure 02_image013
Figure 02_image015
上文參考等式1描述等式3的變量，且因此，將省略額外描述以避免冗餘。與表1及等式1的實施例或表2及等式2的實施例相比，在表3及等式3的實施例中，根據本揭露的實施例的第二影像訊號處理器120_b的功率消耗的縮減比可相對較高。亦即，可相對極大地減少第二影像訊號處理器120_b的功率消耗。功率消耗減少可由第二影像訊號處理器120_b的按比例縮小的比率引起，所述按比例縮小的比率在輸出影像IMG_out的解析度為UHD的情況下可能並不相對較大。
存取第二影像訊號處理器120_b的記憶體裝置130所必需的功率消耗可如參考表1至表3以及等式1至等式3所描述而減少。替代地或另外，包含於第二影像訊號處理器120_b中的模組的計算量可減少。可使用以下等式4判定第一影像訊號處理器120_a及第二影像訊號處理器120_b的各模組的計算量。 [等式4]
Figure 02_image017
Figure 02_image019
參考等式4，可假定第一影像訊號處理器120_a及第二影像訊號處理器120_b中的各者中的1位元影像訊號處理的計算量為「1」。CP 123_b、CP 124_b以及CP 125_b可分別指示第二影像訊號處理器120_b的簡化的BYR域處理模組123_b、RGB域處理模組124_b以及YUV域處理模組125_b的計算量。CP 122_a、CP 123_a、CP 124_a以及CP 125_a分別指示第一影像訊號處理器120_a的第一BYR域處理模組122_a、第二BYR域處理模組123_a、RGB域處理模組124_a以及YUV域處理模組125_a的計算量。
為了比較第一影像訊號處理器120_a及第二影像訊號處理器120_b的計算量，可如等式5中所展示判定各模組的計算量，使得滿足等式4的條件。 [等式5]
Figure 02_image021
,
Figure 02_image023
,
Figure 02_image025
Figure 02_image027
,
Figure 02_image029
,
Figure 02_image031
,
Figure 02_image033
在輸出影像IMG_out的解析度為FHD（亦即，1920×1080）的情況下，分別由第一影像訊號處理器120_a及第二影像訊號處理器120_b處理的影像可具有表1中所展示的大小。在此情況下，第一影像訊號處理器120_a及第二影像訊號處理器120_b的計算量可由以下等式6表示。 [等式6]
Figure 02_image035
Figure 02_image037
Figure 02_image039
參考等式6，Nrgb指示RGB影像（例如，IMG_c或IMG_2）的有效通道的數目。Nrgb可為3。如由等式6所表示，圖4的第二影像訊號處理器120_b的計算量可為圖2的第一影像訊號處理器120_a的計算量的大約45.72%。亦即，可經由圖4的第二影像訊號處理器120_b的架構減小總體計算量。亦即，可藉由簡化影像的BYR域處理操作及在YUV域中執行簡化的操作而減小整體（例如，總體）計算量。
如上文參考表2及表3所描述，在第一影像訊號處理器120_a在BYR域處理期間按比例縮小影像的情況下，各影像可具有以上表2中所展示的大小，且在輸出影像IMG_out的解析度為UHD的情況下，各影像可具有以上表3中所展示的大小。在各影像具有以上表2中所展示的大小的情況下，第一影像訊號處理器120_a及第二影像訊號處理器120_b中的各者的計算量可由以下等式7表示。替代地或另外，在各影像具有以上表3中所展示的大小的情況下，第一影像訊號處理器120_a及第二影像訊號處理器120_b中的各者的計算量可由以下等式8表示。 [等式7]
Figure 02_image041
Figure 02_image043
Figure 02_image045
[等式8]
Figure 02_image047
Figure 02_image049
Figure 02_image051
上文描述等式7及等式8的變量，且因此，將省略額外描述以避免冗餘。如由等式7所表示，在第一影像訊號處理器120_a在BYR域處理期間按比例縮小影像的情況下，第二影像訊號處理器120_b的計算量為第一影像訊號處理器120_a的計算量的大約74.89%。此計算量可低於參考圖6所描述的計算量的縮減比。然而，如上文所描述，在第一影像訊號處理器120_a在BYR域處理期間執行按比例縮小的情況下，輸出影像IMG_out的品質可能下降。
如由等式8所表示，在輸出影像IMG_out為UHD的情況下，第二影像訊號處理器120_b的計算量為第一影像訊號處理器120_a的計算量的125.26%。亦即，在輸出影像IMG_out的解析度為UHD的情況下，第二影像訊號處理器120_b的計算量可變得更大。然而，如參考等式3所描述，在輸出影像IMG_out的解析度為UHD的情況下，由於第二影像訊號處理器120_b在存取記憶體裝置130時的功率消耗相對極大地減少，因此第二影像訊號處理器120_b的整體（例如，總體）功率消耗可相較於第一影像訊號處理器120_a減少。
如上文所描述，根據本揭露的實施例的第二影像訊號處理器120_b可最小化處理相對較大影像的BYR域處理操作，且可增加處理相對較小影像的YUV域處理操作，且因此可減少整體功率消耗。在實施例中，由第二影像訊號處理器120_b的YUV域處理模組125_b執行的影像訊號處理操作可包含在第一影像訊號處理器120_a的BYR域處理期間執行的各種操作中的至少一者，諸如空間去雜訊操作、時間去雜訊操作、運動補償操作、色調映射操作、細節增強操作、銳化操作。
在實施例中，第一影像訊號處理器120_a的第一BYR域處理模組122_a及RGB域處理模組124_a可經組態以產生訊框資訊（例如，FI_a或FI_b）以供後續操作。在此情況下，存取記憶體裝置130的次數或計算時間可增加。相比之下，第二影像訊號處理器120_b可包含經組態以產生訊框資訊FI的子ISP模組126_b。由於訊框資訊FI由單獨的子ISP模組126_b產生，因此存取記憶體裝置130的次數或計算時間可減少。在實施例中，子ISP模組126_b可提供多攝影機結構的優勢，所述多攝影機結構將參考圖12至圖15的實施例詳細描述。
圖6為示出圖1的影像訊號處理器的方塊圖。參考圖1及圖6，第三影像訊號處理器120_c可包含分箱及剪裁模組121_c、簡化的BYR域處理模組123_c、RGB域處理模組124_c以及YUV域處理模組125_c。分箱及剪裁模組121_c、簡化的BYR域處理模組123_c、RGB域處理模組124_c以及YUV域處理模組125_c的操作可類似於參考圖4所描述的彼等操作，且因此，將省略額外描述以避免冗餘。
在實施例中，不同於圖4的第二影像訊號處理器120_b，圖6的第三影像訊號處理器120_c可不包含經組態以產生訊框資訊FI的子ISP模組。在此情況下，簡化的BYR域處理模組123_c可基於第一影像IMG_1產生訊框資訊FI，且所產生訊框資訊FI可儲存於記憶體裝置130中。
根據圖6的實施例，儘管經組態以產生訊框資訊FI的子ISP模組並不存在，但由於相對較大大小的影像的BYR域處理經最小化，因此可減少功率消耗。
圖7為示出圖1的影像訊號處理器的方塊圖。參考圖1及圖7，第四影像訊號處理器120_d可包含分箱及剪裁模組121_d、第一BYR域處理模組122_d、第二BYR域處理模組123_d、RGB域處理模組124_d、YUV域處理模組125_d以及子ISP模組126_d。分箱及剪裁模組121_d、第一BYR域處理模組122_d、第二BYR域處理模組123_d、RGB域處理模組124_d以及YUV域處理模組125_d的操作可類似於參考圖2所描述的彼等操作，且因此，將省略額外描述以避免冗餘。
在實施例中，不同於圖2的第一影像訊號處理器120_a，圖7的第四影像訊號處理器120_d可產生訊框資訊FI，且訊框資訊FI可儲存於記憶體裝置130中。亦即，圖7的第一BYR域處理模組122_d及RGB域處理模組124_d可不產生單獨訊框資訊。
根據圖7的實施例，與第一影像訊號處理器120_a相比，各模組可不在操作及次序上改變；然而，由於提供產生訊框資訊FI的子ISP模組126_d，因此可減少產生訊框資訊FI所必需的存取記憶體裝置130的次數及計算時間。
圖8為示出圖1的影像感測器裝置的方塊圖。參考圖1及圖8，影像感測器裝置110可包含像素陣列111、列驅動器112、類比至數位轉換器113、輸出緩衝器114以及控制邏輯電路115。
像素陣列111可包含多個像素。多個像素可在列方向及行方向上配置。像素陣列111的各像素可取決於自外部接收到的光的強度或量而輸出像素訊號PIXOUT。在此情況下，像素訊號PIXOUT可為對應於自外部接收到的光的強度或量的類比訊號。
列驅動器112可將列控制訊號（例如，RST、TX以及SEL）提供至像素陣列111。像素陣列111的多個像素可回應於自列驅動器112提供的列控制訊號而操作。類比至數位轉換器113可自像素陣列111的多個像素接收像素訊號，且可將接收到的像素訊號轉換且輸出為數位訊號。輸出緩衝器114可儲存自類比至數位轉換器113輸出的數位訊號，且可將所儲存數位訊號輸出為輸入影像IMG_in。可將輸入影像IMG_in提供至影像訊號處理器120，且影像訊號處理器120可藉由基於以上實施例對輸入影像IMG_in執行影像訊號處理來產生輸出影像IMG_out。控制邏輯電路115可控制影像感測器裝置110的總體操作。
參考圖8描述影像感測器裝置110的示意性組態，但本揭露不限於此。可理解，影像感測器裝置110可以能夠由所屬技術領域中具有通常知識者理解的各種結構實施。
在實施例中，像素陣列111可包含彩色濾光片陣列（CFA）。彩色濾光片陣列可以BYR圖案、四圖案、九圖案、六圖案、十圖案或各種色彩圖案實施。在實施例中，輸入影像IMG_in可具有與像素陣列111的彩色濾光片陣列的色彩圖案相同（例如，匹配）的色彩圖案。
圖9為示出根據本揭露的實施例的影像感測器裝置的方塊圖。參考圖1及圖9，影像感測器裝置210可包含像素陣列211、列驅動器212、類比至數位轉換器213、輸出緩衝器214、控制邏輯電路215以及影像訊號處理器216。像素陣列211、列驅動器212、類比至數位轉換器213、輸出緩衝器214以及控制邏輯電路215類似於參考圖8所描述的彼等，且因此，將省略額外描述以避免冗餘。
在參考圖1至圖8所描述的實施例中，影像感測器裝置110及影像訊號處理器120分別藉由單獨組件或單獨硬體實施。相比之下，在圖9的實施例中，影像訊號處理器216可包含於影像感測器裝置210中。亦即，影像感測器裝置210可藉由對輸入影像IMG_in執行各種影像訊號處理操作而產生且輸出輸出影像IMG_out，而非輸出與包含於像素陣列211中的彩色濾光片陣列相同（例如，匹配）的色彩圖案的輸入影像IMG_in。在此情況下，輸出影像IMG_out可具有外部裝置（例如，顯示裝置）可用的格式。
圖10為示出根據本揭露的實施例的影像感測器裝置的方塊圖。參考圖10，影像感測器裝置310可包含像素陣列311、列驅動器312、類比至數位轉換器313、輸出緩衝器314、控制邏輯電路315以及子影像訊號處理器316。像素陣列311、列驅動器312、類比至數位轉換器313、輸出緩衝器314以及控制邏輯電路315類似於參考圖8所描述的彼等，且因此，將省略額外描述以避免冗餘。
子影像訊號處理器316可藉由使用自輸出緩衝器314輸出的輸入影像IMG_in而產生訊框資訊FI。舉例而言，子影像訊號處理器316可執行與上文子ISP模組126_c或子ISP模組126_d相同的功能。藉由子影像訊號處理器316產生的訊框資訊FI可提供至記憶體裝置（例如，130），且輸入影像IMG_in可提供至主影像訊號處理器（例如，120_a、120_b、120_c或120_d）。主影像訊號處理器可取決於以上實施例而對輸入影像IMG_in執行各種訊號處理操作，且因此可產生輸出影像IMG_out。
圖11為用於描述根據本揭露的實施例的影像感測器裝置的堆疊結構的圖。參考圖11，影像感測器裝置410可包含第一晶片WF1、第二晶片WF2以及第三晶片WF3。第一晶片WF1至第三晶片WF3中的各者可形成於單獨半導體晶圓中。第一晶片WF1可堆疊於第二晶片WF2上，且第二晶片WF2可堆疊於第三晶片WF3上。第一晶片WF1至第三晶片WF3可經由各種接合方式（諸如接合方式及矽穿孔（silicon via；TSV）方式）彼此電連接。
第一晶片WF1至第三晶片WF3可包含影像感測器裝置410的各種組件（例如，像素陣列、列驅動器、類比至數位轉換器、輸出緩衝器以及控制邏輯電路）。舉例而言，第一晶片WF1可包含像素陣列及列驅動器，第二晶片WF2可包含類比至數位轉換器及控制邏輯電路，且第三晶片WF3可包含輸出緩衝器。然而，本揭露不限於此。影像感測器裝置410的各種組件可取決於實施的方式以各種形式分佈且安置至第一晶片WF1至第三晶片WF3中。
在實施例中，如上文所描述，在影像感測器裝置410包含ISP 216或子ISP 316的情況下，ISP 216或子ISP 316可包含於第一晶片WF1至第三晶片WF3中的一者中。
圖12為示出根據本揭露的實施例的影像系統的方塊圖。圖13為用於描述圖12的影像訊號處理器的方塊圖。參考圖12及圖13，影像系統500可包含多個影像感測器裝置511至影像感測器裝置51n、影像訊號處理器520以及記憶體裝置530。多個影像感測器裝置511至影像感測器裝置51n可實施多攝影機。舉例而言，多個影像感測器裝置511至影像感測器裝置51n可具有不同視場或不同焦距，且可經組態以捕獲不同前景。多個影像感測器裝置511至影像感測器裝置51n可分別輸出包含所捕獲前景的資訊的多個輸入影像IMG1_in至輸入影像IMGn_in。
影像訊號處理器520可自多個影像感測器裝置511至影像感測器裝置51n接收多個輸入影像IMG1_in至輸入影像至IMGn_in，且可基於接收到的輸入影像IMG1_in至輸入影像IMGn_in產生輸出影像IMG_out。舉例而言，多個影像感測器裝置511至影像感測器裝置51n中的第一影像感測器裝置511可為主控裝置或主控攝影機，且剩餘的影像感測器裝置512至影像感測器裝置51n可為從屬裝置或從屬攝影機。輸出影像IMG_out可基於自主控裝置或主控攝影機產生的輸入影像而產生，且自從屬裝置或從屬攝影機產生的輸入影像可用於增強輸出影像IMG_out的品質。在此情況下，影像訊號處理器520可基於自作為主控攝影機的第一影像感測器裝置511接收到的第一輸入影像IMG1_in而產生輸出影像IMG_out。影像訊號處理器520可基於分別自作為從屬裝置或從屬攝影機的剩餘的影像感測器裝置512至影像感測器裝置51n接收到的第二輸入影像IMG2_in至第n輸入影像IMGn_in而產生訊框資訊FI。
舉例而言，如圖13中所示出，影像訊號處理器520可包含主ISP模組521及子ISP模組522。在實施例中，主ISP模組521可包含訊號處理模組，諸如參考圖1至圖7描述的分箱及剪裁模組、第一BYR域處理模組、第二BYR域處理模組、簡化的BYR域處理模組、RGB域處理模組以及YUV域處理模組。
主ISP模組521可基於自多個影像感測器裝置511至影像感測器裝置51n接收到的多個輸入影像IMG1_in至輸入影像IMGn_in當中的對應於主控裝置或主控攝影機的輸入影像（例如，IMG1_in）而產生輸出影像IMG_out。在實施例中，包含於主ISP模組521中的分箱及剪裁模組可選擇自多個影像感測器裝置511至影像感測器裝置51n接收到的多個輸入影像IMG1_in至輸入影像IMGn_in當中的對應於主控裝置或主控攝影機的輸入影像（例如，IMG1_in），且可對所選擇輸入影像執行分箱及剪裁操作。
子ISP模組522可基於多個輸入影像IMG1_in至輸入影像IMGn_in產生訊框資訊FI。舉例而言，子ISP模組522可基於多個輸入影像IMG1_in至輸入影像IMGn_in當中的對應於主控裝置或主控攝影機的輸入影像（例如，IMG1_in）而產生訊框資訊FI。替代地或另外，子ISP模組522可基於多個輸入影像IMG1_in至輸入影像IMGn_in當中的對應於從屬裝置或從屬攝影機的輸入影像（例如，IMG2_in至IMGn_in）而產生訊框資訊FI。由此產生的訊框資訊FI可儲存於記憶體裝置530中。在實施例中，主ISP模組521可藉由使用儲存於記憶體裝置530中的訊框資訊FI而增強輸出影像IMG_out的品質。
記憶體裝置530可經組態以儲存由影像訊號處理器520使用的各種資料、各種資訊或各種影像資料。在實施例中，記憶體裝置530可為諸如動態隨機存取記憶體（DRAM）的高速記憶體裝置。
如上文所描述，影像訊號處理器520可相對於作為從屬裝置或從屬攝影機的剩餘的影像感測器裝置512至影像感測器裝置51n僅有效地操作子ISP模組522，且因此，可減少整體功率消耗。舉例而言，第一影像感測器裝置511可出於產生輸出影像IMG_out的目的而維持啟用模式，且作為從屬裝置或從屬攝影機的剩餘的影像感測器裝置512至影像感測器裝置51n可維持於待用模式中以最小化關於攝影機切換的時延。在此情況下，整體（例如，總體）功率消耗可藉由相對於作為從屬裝置的第二影像感測器裝置512至第n影像感測器裝置51n僅有效地操作子ISP模組522而減少。另外，在切換攝影機的情況下（亦即，在改變主控攝影機的情況下），攝影機切換可相對快速地執行，此係因為關於作為從屬裝置的第二影像感測器裝置512至第n影像感測器裝置51n的訊框資訊FI已呈獲得的狀態。
在圖12的實施例中，描述提供為一個影像訊號處理器520處理來自多個影像感測器裝置511至影像感測器裝置51n的多個輸入影像IMG1_in至輸入影像IMGn_in，但本揭露不限於此。實體地或邏輯地彼此分離的影像訊號處理器可經提供以分別對應於多個影像感測器裝置511至影像感測器裝置51n，且各影像感測器裝置可取決於對應影像感測器裝置的屬性（亦即，取決於對應影像感測器裝置為主控裝置還是從屬裝置）而判定操作子ISP模組還是主ISP模組。
圖14為示出根據本揭露的實施例的影像系統的方塊圖。參考圖14，影像系統600可包含多個影像感測器裝置611至影像感測器裝置61n、主ISP 620以及記憶體裝置630。多個影像感測器裝置611至影像感測器裝置61n可實施多攝影機。舉例而言，多個影像感測器裝置611至影像感測器裝置61n可具有不同視場或不同焦距，且可經組態以捕獲不同前景。多個影像感測器裝置611至影像感測器裝置61n可分別輸出包含所捕獲前景的資訊的多個輸入影像IMG1_in至輸入影像IMGn_in。
多個影像感測器裝置611至影像感測器裝置61n可分別包含子ISP 611a至子ISP 61na。子ISP 611a至子ISP 61na可經組態以產生關於分別由對應影像感測器裝置611至影像感測器裝置61n產生的輸入影像的訊框資訊FI1至訊框資訊FIn。舉例而言，第一影像感測器裝置611可包含第一子ISP 611a，且第一子ISP 611a可產生關於第一影像感測器裝置611產生的第一輸入影像IMG1_in的第一訊框資訊FI1。第二影像感測器裝置612可包含第二子ISP 612a，且第二子ISP 612a可產生關於第二影像感測器裝置612產生的第二輸入影像IMG2_in的第二訊框資訊FI2。第n影像感測器裝置61n可包含第n子ISP 61na，且第n子ISP 61na可產生關於由第n影像感測器裝置61n產生的第n輸入影像IMGn_in的第n訊框資訊FIn。由此產生的訊框資訊FI1至訊框資訊FIn可儲存於記憶體裝置630中。
主ISP 620可藉由使用儲存於記憶體裝置630中的多個訊框資訊FI1至訊框資訊FIn對多個輸入影像IMG1_in至輸入影像IMGn_in中的至少一者執行各種影像訊號處理操作而產生輸出影像IMG_out。
圖15為示出根據本揭露的實施例的影像系統的方塊圖。參考圖15，影像系統700可包含多個影像感測器裝置711至影像感測器裝置71n、記憶體裝置730以及影像產生器740。多個影像感測器裝置711至影像感測器裝置71n可實施如上文所描述的多攝影機，且因此，將省略額外描述以避免冗餘。
多個影像感測器裝置711至影像感測器裝置71n可分別包含ISP 711b至ISP 71nb。ISP 711b至ISP 71nb可產生關於分別由對應影像感測器裝置產生的輸入影像的訊框資訊FI1至訊框資訊FIn。舉例而言，第一影像感測器裝置711可包含第一ISP 711b，且第一ISP 711b可產生關於第一影像感測器裝置711產生的第一輸入影像的第一訊框資訊FI1。第二影像感測器裝置712可包含第二ISP 712b，且第二ISP 712b可產生關於第二影像感測器裝置712產生的第二輸入影像的第二訊框資訊FI2。第n影像感測器裝置71n可包含第n ISP 71nb，且第n ISP 71nb可產生關於第n影像感測器裝置71n產生的第n輸入影像的第n訊框資訊FIn。由此產生的訊框資訊FI1至訊框資訊FIn可儲存於記憶體裝置730中。
ISP 711b至ISP 71nb可藉由對由對應影像感測器裝置711至影像感測器裝置71n產生的輸入影像執行各種影像訊號處理操作而分別產生輸出影像IMG1_out至輸出影像IMGn_out。舉例而言，第一影像感測器裝置711的第一ISP 711b可藉由使用儲存於記憶體裝置730中的訊框資訊FI1至訊框資訊FIn對第一影像執行各種影像訊號處理操作而產生第一輸出影像IMG1_out。第二影像感測器裝置712的第二ISP 712b可藉由使用儲存於記憶體裝置730中的訊框資訊FI1至訊框資訊FIn對第二影像執行各種影像訊號處理操作而產生第二輸出影像IMG2_out。第n影像感測器裝置71n的第n ISP 71nb可藉由使用儲存於記憶體裝置730中的訊框資訊FI1至訊框資訊FIn對第n影像執行各種影像訊號處理操作而產生第n輸出影像IMGn_out。
在實施例中，包含於多個影像感測器裝置711至影像感測器裝置71n中的ISP 711b至ISP 71nb中的各者可為參考圖4所描述的影像訊號處理器。在實施例中，包含於多個影像感測器裝置711至影像感測器裝置71n當中的作為主控裝置或主控攝影機的影像感測器裝置中的ISP可產生輸出影像及訊框資訊兩者，且包含於作為從屬裝置或從屬攝影機的影像感測器裝置中的ISP可跳過輸出影像的產生（亦即，禁用ISP中的主ISP）。
影像產生器740可自多個影像感測器裝置711至影像感測器裝置71n接收多個輸出影像IMG1_out至輸出影像IMGn_out。影像產生器740可組合多個輸出影像IMG1_out至輸出影像IMGn_out以產生最終輸出影像IMG_out。
圖16為包含多攝影機模組的電子裝置的方塊圖。圖17為詳細示出圖16的攝影機模組的方塊圖。
參考圖16，電子裝置1000可包含攝影機模組群組1100、應用程式處理器1200、PMIC 1300以及外部記憶體1400。
攝影機模組群組1100可包含多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。圖16中示出包含三個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的電子裝置，但本揭露不限於此。在一些實施例中，攝影機模組群組1100可經修改以僅包含兩個攝影機模組。替代地或另外，在一些實施例中，攝影機模組群組1100可經修改以包含「n」個攝影機模組（n為4或大於4的自然數）。
在下文中，將參考圖17更充分地描述攝影機模組1100b的詳細組態，但以下描述可同等地應用於剩餘的攝影機模組1100a及攝影機模組1100c。
參考圖17，攝影機模組1100b可包含稜鏡1105、光徑摺疊元件（optical path folding element；OPFE）1110、致動器1130、影像感測裝置1140以及儲存器1150。
稜鏡1105可包含光反射材料的反射平面1107，且可改變自外部入射的光「L」的路徑。
在一些實施例中，稜鏡1105可使在第一方向（X）上入射的光「L」的路徑改變為垂直於第一方向（X）的第二方向（Y）。替代地或另外，稜鏡1105可藉由使光反射材料的反射平面1107圍繞中心軸1106在方向「A」上旋轉或使中心軸1106在方向「B」上旋轉而將在第一方向（X）上入射的光「L」的路徑改變為垂直於第一（X軸）方向的第二方向（Y）。在此情況下，OPFE 1110可在垂直於第一方向（X）及第二方向（Y）的第三方向（Z）上移動。
在一些實施例中，如圖17中所示出，稜鏡1105在方向「A」上的最大旋轉角可在正A方向上等於或小於15度，且可在負A方向上大於15度，但本揭露不限於此。
在一些實施例中，稜鏡1105可在正B方向或負B方向上在大約20度內、在10度與20度之間或在15度與20度之間移動；此處，稜鏡1105可在正B方向或負B方向上以相同角度移動或可在大約1度內以類似角度移動。
在一些實施例中，稜鏡1105可使光反射材料的反射平面1107在平行於中心軸1106延伸的方向的第三方向（例如，Z方向）上移動。
OPFE 1110可包含由例如「m」個群組（m為自然數）構成的光學透鏡。此處，「m」個透鏡可在第二方向（Y）上移動以改變攝影機模組1100b的光學變焦比率。舉例而言，當攝影機模組1100b的預設光學變焦比率為「Z」時，攝影機模組1100b的光學變焦比率可藉由移動包含於OPFE 1110中的「m」個光學透鏡而改變為3Z、5Z或5Z或大於5Z的光學變焦比率。
致動器1130可將OPFE 1110或光學透鏡（下文中稱為「光學透鏡」）移動至特定位置。舉例而言，致動器1130可調整光學透鏡的位置，使得影像感測器1142置放於光學透鏡的焦距處以用於精確感測。
影像感測裝置1140可包含影像感測器1142、控制邏輯1144以及記憶體1146。影像感測器1142可藉由使用經由光學透鏡提供的光「L」而感測感測目標的影像。控制邏輯1144可控制攝影機模組1100b的總體操作。舉例而言，控制邏輯1144可基於經由控制訊號線CSLb提供的控制訊號而控制攝影機模組1100b的操作。
記憶體1146可儲存攝影機模組1100b的操作所必需的資訊，諸如校準資料1147。校準資料1147可包含攝影機模組1100b藉由使用自外部提供的光「L」而產生影像資料所必需的資訊。校準資料1147可包含例如關於上文所描述的旋轉度的資訊、關於焦距的資訊、關於光軸的資訊等。在以焦距取決於光學透鏡的位置而變化的多狀態攝影機的形式實施攝影機模組1100b的情況下，校準資料1147可包含光學透鏡的各位置（或狀態）的焦距值及關於自動聚焦的資訊。
儲存器1150可儲存經由影像感測器1142所感測的影像資料。儲存器1150可安置於影像感測裝置1140外部，且可以堆疊儲存器1150及構成影像感測裝置1140的感測器晶片的形狀來實施。在一些實施例中，儲存器1150可藉由電可抹除可程式化唯讀記憶體（electrically erasable programmable read only memory；EEPROM）實施，但本揭露不限於此。
一起參考圖16及圖17，在一些實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的各者可包含致動器1130。因而，相同校準資料1147或不同校準資料1147可取決於其中致動器1130的操作而包含於多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中。
在一些實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c當中的一個攝影機模組（例如，1100b）可為包含上文所描述的稜鏡1105及OPFE 1110的摺疊透鏡形狀的攝影機模組，且剩餘的攝影機模組（例如，1100a及1100c）可為並不包含上文所描述的稜鏡1105及OPFE 1110的豎直形狀的攝影機模組；然而，本揭露不限於此。
在一些實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c當中的一個攝影機模組（例如，1100c）可為例如藉由使用紅外線（infrared ray；IR）提取深度資訊的豎直形狀的深度攝影機。在此情況下，應用程式處理器1200可合併自深度攝影機提供的影像資料及自任何其他攝影機模組（例如，1100a或1100b）提供的影像資料，且可產生三維（three-dimensional；3D）深度影像。
在一些實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c當中的至少兩個攝影機模組（例如，1100a及1100b）可具有不同視場。在此情況下，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c當中的至少兩個攝影機模組（例如，1100a及1100b）可包含不同光學透鏡，但本揭露不限於此。
替代地或另外，在一些實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的視場可不同。在此情況下，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可包含不同光學透鏡，不限於此。
在一些實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可安置為彼此實體上分離。亦即，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可不使用一個影像感測器1142的感測區域，但多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可分別在其中包含獨立的影像感測器1142。
返回至圖16，應用程式處理器1200可包含影像處理裝置1210、記憶體控制器1220以及內部記憶體1230。可將應用程式處理器1200實施為與多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c分離。舉例而言，應用程式處理器1200及多個攝影機模組1100a、攝影機1100b以及攝影機模組1100c可藉由單獨的半導體晶片實施。
影像處理裝置1210可包含多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c、影像產生器1214，以及攝影機模組控制器1216。
影像處理裝置1210可包含多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c，所述子影像處理器的數目對應於多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的數目。
分別自攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c產生的影像資料可分別經由單獨的影像訊號線ISLa、影像訊號線ISLb以及影像訊號線ISLc提供至對應的子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c。舉例而言，自攝影機模組1100a產生的影像資料可經由影像訊號線ISLa提供至子影像處理器1212a，自攝影機模組1100b產生的影像資料可經由影像訊號線ISLb提供至子影像處理器1212b，且自攝影機模組1100c產生的影像資料可經由影像訊號線ISLc提供至子影像處理器1212c。此影像資料傳輸可例如藉由基於行動行業處理器介面（Mobile Industry Processor Interface；MIPI）使用攝影機串列介面（camera serial interface；CSI）而執行，但本揭露不限於此。
同時，在一些實施例中，一個子影像處理器可安置為對應於多個攝影機模組。舉例而言，子影像處理器1212a及子影像處理器1212c可整體地實施，而非如12圖中所示出彼此分離；在此情況下，分別自攝影機模組1100a及攝影機模組1100c提供的影像資料的片段中的一者可經由選擇元件（例如，多工器）來選擇，且所選擇影像資料可提供至整合的子影像處理器。
分別提供至子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c的影像資料可提供至影像產生器1214。影像產生器1214可取決於影像產生資訊產生資訊或模式訊號，藉由使用分別自子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c提供的影像資料來產生輸出影像。
詳言之，影像產生器1214可取決於影像產生資訊產生資訊或模式訊號，藉由合併分別自具有不同視場的攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c產生的影像資料的至少一部分來產生輸出影像。替代地或另外，影像產生器1214可取決於影像產生資訊產生資訊或模式訊號，藉由選擇分別自具有不同視場的攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c產生的影像資料中的一者來產生輸出影像。
在一些實施例中，影像產生資訊（例如，「產生資訊」）可包含變焦訊號或變焦因子。替代地或另外，在一些實施例中，模式訊號可為例如基於選自使用者的模式的訊號。
在影像產生資訊產生資訊為變焦訊號（或變焦因子）且攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c具有不同視場的情況下，影像產生器1214可取決於變焦訊號的種類而執行不同操作。舉例而言，在變焦訊號為第一訊號的情況下，影像產生器1214可合併自攝影機模組1100a輸出的影像資料及自攝影機模組1100c輸出的影像資料，且可藉由使用所合併影像訊號及自未用於合併操作的攝影機模組1100b輸出的影像資料而產生輸出影像。在變焦訊號為不同於第一訊號的第二訊號的情況下，在無影像資料合併操作的情況下，影像產生器1214可選擇分別自攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c輸出的影像資料中的一者，且可輸出所選擇影像資料作為輸出影像。然而，本揭露不限於此，且視需要可在無限制的情況下修改處理影像資料的方式。
在一些實施例中，影像產生器1214可藉由自多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的至少一者接收不同曝光時間的多個影像資料且對多個影像資料執行高動態範圍（high dynamic range；HDR）處理而產生具有增加的動態範圍的所合併影像資料。
在實施例中，多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c以及影像產生器1214可為參考圖1至圖15所描述的影像訊號處理器，或可包含於其中。
攝影機模組控制器1216可將控制訊號分別提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。自攝影機模組控制器1216產生的控制訊號可經由彼此分離的控制訊號線CSLa、控制訊號線CSLb以及控制訊號線CSLc分別提供至對應的攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。
多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的一者可取決於包含變焦訊號或模式訊號的影像產生資訊產生資訊而指定為主控攝影機（例如，1100b），且剩餘的攝影機模組（例如，1100a及1100c）可指定為從屬攝影機。上述指定資訊可包含於控制訊號中，且包含指定資訊的控制訊號可經由彼此分離的控制訊號線CSLa、控制訊號線CSLb以及控制訊號線CSLc分別提供至對應的攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。
作為主控器及從屬器操作的攝影機模組可取決於變焦因子或操作模式訊號而改變。舉例而言，在攝影機模組1100a的視場寬於攝影機模組1100b的視場且變焦因子指示低變焦比率的情況下，攝影機模組1100b可作為主控器操作，且攝影機模組1100a可作為從屬器操作。相比之下，在變焦因子指示高變焦比率的情況下，攝影機模組1100a可作為主控器操作，且攝影機模組1100b可作為從屬器操作。
在一些實施例中，自攝影機模組控制器1216提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的各者的控制訊號可包含同步啟用訊號。舉例而言，在攝影機模組1100b用作主控攝影機且攝影機模組1100a及攝影機模組1100c用作從屬攝影機的情況下，攝影機模組控制器1216可將同步啟用訊號傳輸至攝影機模組1100b。具備同步啟用訊號的攝影機模組1100b可基於所提供同步啟用訊號產生同步訊號，且可經由同步訊號線SSL將所產生同步訊號提供至攝影機模組1100a及攝影機模組1100c。攝影機模組1100b以及攝影機模組1100a及攝影機模組1100c可與同步訊號同步，以將影像資料傳輸至應用程式處理器1200。
在一些實施例中，自攝影機模組控制器1216提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的各者的控制訊號可包含根據模式訊號的模式資訊。基於模式資訊，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可相對於感測速度在第一操作模式及第二操作模式中操作。
在第一操作模式中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可在第一速度下產生影像訊號（例如，可產生第一訊框速率的影像訊號），可在第二速度下編碼影像訊號（例如，可編碼高於第一訊框速率的第二訊框速率的影像訊號），且將編碼的影像訊號傳輸至應用程式處理器1200。在此情況下，第二速度可為第一速度的30倍或更小。
應用程式處理器1200可將接收到的影像訊號（亦即，編碼的影像訊號）儲存於設置於其中的內部記憶體1230或置放於應用程式處理器1200外部的外部記憶體1400中。隨後，應用程式處理器1200可自內部記憶體1230或外部記憶體1400讀取及解碼編碼的影像訊號，且可顯示基於解碼的影像訊號產生的影像資料。舉例而言，影像處理裝置1210的子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c當中的對應一者可執行解碼，且亦可對解碼的影像訊號執行影像處理。
在第二操作模式中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可在第三速度下產生影像訊號（例如，可產生低於第一訊框速率的第三訊框速率的影像訊號），且將影像訊號傳輸至應用程式處理器1200。提供至應用程式處理器1200的影像訊號可為未編碼的訊號。應用程式處理器1200可對接收到的影像訊號執行影像處理，或可將影像訊號儲存於內部記憶體1230或外部記憶體1400中。
PMIC 1300可將功率，例如電源電壓分別供應至多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。舉例而言，在應用程式處理器1200的控制下，PMIC 1300可經由功率訊號線PSLa將第一功率供應至攝影機模組1100a，可經由功率訊號線PSLb將第二功率供應至攝影機模組1100b，且可經由功率訊號線PSLc將第三功率供應至攝影機模組1100c。
回應於來自應用程式處理器1200的功率控制訊號PCON，PMIC 1300可產生對應於多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的各者的功率，且可調整功率的位準。功率控制訊號PCON可包含用於多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的各操作模式的功率調整訊號。舉例而言，操作模式可包含低功率模式。在此情況下，功率控制訊號PCON可包含關於在低功率模式下操作的攝影機模組及設定功率位準的資訊。分別提供至多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的功率的位準可彼此相同或可彼此不同。替代地或另外，功率的位準可動態地改變。
圖18為根據實施例的儲存裝置所應用的系統2000的圖。圖18的系統2000可基本上為行動系統，諸如攜帶型通信終端機（例如，行動電話）、智慧型手機、平板個人電腦（PC）、可穿戴裝置、醫護裝置或物聯網（Internet of things；IOT）裝置。然而，圖18的系統2000不必限於行動系統，且可為PC、膝上型電腦、伺服器、媒體播放器或汽車裝置（例如，導航裝置）。
參考圖18，系統2000可包含主處理器2100、記憶體（例如，2200a及2200b）以及儲存裝置（例如，2300a及2300b）。另外，系統2000可包含影像捕獲裝置2410、使用者輸入裝置2420、感測器2430、通信裝置2440、顯示器2450、揚聲器2460、電源供應裝置2470以及連接介面2480中的至少一者。
主處理器2100可控制系統2000的所有操作，更具體言之，包含於系統2000中的其他組件的操作。主處理器2100可實施為通用處理器、專用處理器或應用程式處理器。
主處理器2100可包含至少一個CPU核心2110，且進一步包含經組態以控制記憶體2200a及記憶體2200b及/或儲存裝置2300a及儲存裝置2300b的控制器2120。在一些實施例中，主處理器2100可進一步包含加速器2130，所述加速器為用於高速資料操作（諸如人工智慧（artificial intelligence；AI）資料操作）的專用電路。加速器2130可包含圖形處理單元（graphics processing unit；GPU）、神經處理單元（neural processing unit；NPU）及/或資料處理單元（data processing unit；DPU），且實施為與主處理器2100的其他組件實體分離的晶片。
記憶體2200a及記憶體2200b可用作系統2000的主記憶體裝置。儘管記憶體2200a及記憶體2200b中的各者可包含揮發性記憶體，諸如靜態隨機存取記憶體（static random access memory；SRAM）及/或動態RAM（DRAM），但記憶體2200a及記憶體2200b中的各者可包含非揮發性記憶體，諸如快閃記憶體、相變RAM（phase-change RAM；PRAM）及/或電阻性RAM（resistive RAM；RRAM）。記憶體2200a及記憶體2200b可實施於與主處理器2100相同的封裝中。
儲存裝置2300a及儲存裝置2300b可充當經組態以儲存資料而不管是否向其供應功率的非揮發性儲存裝置，且具有比記憶體2200a及記憶體2200b更大的儲存容量。儲存裝置2300a及儲存裝置2300b可分別包含經組態以經由控制儲存控制器2310a及儲存控制器2310b而儲存資料的儲存控制器（storage controller；STRG CTRL）2310a及儲存控制器2310b以及非揮發性記憶體（Non-Volatile Memory；NVM）2320a及NVM 2320b。儘管NVM 2320a及NVM 2320b可包含具有二維（two-dimensional；2D）結構或三維（3D）V-NAND結構的快閃記憶體，但NVM 2320a及NVM 2320b可包含其他類型的NVM，諸如PRAM及/或RRAM。
儲存裝置2300a及儲存裝置2300b可與主處理器2100實體分離，且包含於系統2000中或實施於與主處理器2100相同的封裝中。另外，儲存裝置2300a及儲存裝置2300b可具有固態裝置（solid-state device；SSD）或記憶體卡的類型，且經由介面（諸如將在下文描述的連接介面2480）以可拆卸方式與系統2000的其他組件組合。儲存裝置2300a及儲存裝置2300b可為應用標準協定的裝置，諸如通用快閃儲存器（universal flash storage；UFS）、嵌入式多媒體卡（embedded multi-media card；eMMC）或非揮發性記憶體標準（non-volatile memory express；NVMe），但不限於此。
影像捕獲裝置2410可捕獲靜態影像或移動影像。影像捕獲裝置2410可包含攝影機、攝錄影機及/或網路攝影機。
使用者輸入裝置2420可接收由系統2000的使用者輸入的各種類型的資料，且包含觸控板、小鍵盤、鍵盤、滑鼠及/或麥克風。
感測器2430可偵測可自系統2000外部獲得的各種類型的物理量，且將偵測到的物理量轉換成電訊號。感測器2430可包含溫度感測器、壓力感測器、照度感測器、位置感測器、加速度感測器、生物感測器及/或陀螺儀感測器。
通信裝置2440可根據各種通信協定在系統2000外部的其他裝置之間傳輸及接收訊號。通信裝置2440可包含天線、收發器及/或數據機。
顯示器2450及揚聲器2460可充當經組態以分別將視覺資訊及聽覺資訊輸出至系統2000的使用者的輸出裝置。
電源供應裝置2470可適當地轉換自嵌入於系統2000中的電池（未繪示）及/或外部電源供應的電力，且將轉換的電力供應至系統2000的組件中的各者。
連接介面2480可在系統2000與外部裝置之間提供連接，所述外部裝置連接至系統2000且能夠將資料傳輸至系統2000且自系統2000接收資料。連接介面2480可藉由使用各種介面方案來實施，諸如先進技術附接（advanced technology attachment；ATA）、串列ATA（serial ATA；SATA）、外部SATA（external SATA；e-SATA）、小型電腦小型介面（small computer small interface；SCSI）、串列附接SCSI（serial attached SCSI；SAS）、周邊組件互連（peripheral component interconnection；PCI）、PCI標準（PCI express；PCIe）、NVMe、IEEE 1394、通用串列匯流排（universal serial bus；USB）介面、安全數位（secure digital；SD）卡介面、多媒體卡（multi-media card；MMC）介面、eMMC介面、UFS介面、嵌入式UFS（embedded UFS；eUFS）介面以及緊湊型快閃（compact flash；CF）卡介面。
在實施例中，影像捕獲裝置2410可包含參考圖1至圖17所描述的影像系統或多攝影機。
根據本揭露，提供一種具有改良的效能及減少的功率消耗的影像訊號處理器、影像訊號處理器的操作方法以及包含影像訊號處理器的影像感測器裝置。
在已參考本揭露的實施例來描述本揭露時，所屬領域中具有通常知識者將顯而易見，可在不脫離如以下申請專利範圍中所闡述的本揭露的精神及範圍的情況下對本揭露進行各種改變及修改。
100、500、600、700:影像系統 110、210、310、410、1140:影像感測器裝置 111、211、311:像素陣列 112、212、312:列驅動器 113、213、313:類比至數位轉換器 114、214、314:輸出緩衝器 115、215、315:控制邏輯電路 120、216、520:影像訊號處理器 120_a:第一影像訊號處理器 120_b:第二影像訊號處理器 120_c:第三影像訊號處理器 120_d:第四影像訊號處理器 121_a、121_b、121_c、121_d:分箱及剪裁模組 122_a、122_d:第一BYR域處理模組 123_a、123_d:第二BYR域處理模組 123_b、123_c:簡化的BYR域處理模組 124_a、124_b、124_c、124_d:RGB域處理模組 125_a、125_b、125_c、125_d:YUV域處理模組 126_b、126_d、522:子ISP模組 130、530、630、730:記憶體裝置 316:子影像訊號處理器 511、611、711:第一影像感測器裝置 512、612、712:第二影像感測器裝置 51n、61n、71n:第n影像感測器裝置 521:主ISP模組 611a:第一子ISP 612a:第二子ISP 61na:第n子ISP 620:主ISP 711b:第一ISP 712b:第二ISP 71nb:第n ISP 740、1214:影像產生器 1000:電子裝置 1100:攝影機模組群組 1100a、1100b、1100c:攝影機模組 1105:稜鏡 1106:中心軸 1107:反射平面 1110:光徑摺疊元件 1130:致動器 1140:影像感測裝置 1142:影像感測器 1144:控制邏輯 1146:記憶體 1147:校準資料 1150:儲存器 1200:應用程式處理器 1210:影像處理裝置 1212a、1212b、1212c:子影像處理器 1216:攝影機模組控制器 1220:記憶體控制器 1230:內部記憶體 1300:PMIC 1400:外部記憶體 2000:系統 2100:主處理器 2110:CPU核心 2120:控制器 2130:加速器 2200a、2200b:記憶體 2300a、2300b:儲存裝置 2310a、2310b:儲存控制器 2320a、2320b:NVM 2410:影像捕獲裝置 2420:使用者輸入裝置 2430:感測器 2440:通信裝置 2450:顯示器 2460:揚聲器 2470:電源供應裝置 2480:連接介面 A、B:方向 CSLa、CSLb、CSLc:控制訊號線 FI:訊框資訊 FI1:第一訊框資訊 FI2:第二訊框資訊 FIn:第n訊框資訊 FI_a:第a訊框資訊 FI_b:第b訊框資訊 IMG1_in:第一輸入影像 IMG2_in:第二輸入影像 IMGn_in:第n輸入影像 IMG_1:第一影像 IMG_2:第二影像 IMG_3:第三影像 IMG_a:第a影像 IMG_b:第b影像 IMG_c:第c影像 IMG_d:第d影像 IMG_in:輸入影像 IMG_out:輸出影像 IMG1_out:第一輸出影像 IMG2_out:第二輸出影像 IMGn_out:第n輸出影像 ISLa、ISLb、ISLc:影像訊號線 L:光 PCON:功率控制訊號 PIXOUT:像素訊號 PSLa、PSLb、PSLc:功率訊號線 RST、TX、SEL:列控制訊號 S110、S120、S130、S140、S150、S160、S210、S220、S221、S230、S240、S250:操作 SSL:同步訊號線 WF1:第一晶片 WF2:第二晶片 WF3:第三晶片 X:第一方向 Y:第二方向 Z:第三方向
本揭露的上述及其他目標以及特徵將藉由參考隨附圖式詳細描述其實施例而變得顯而易見。 圖1為示出根據本揭露的實施例的影像系統的方塊圖。 圖2為示出圖1的影像訊號處理器的架構的方塊圖。 圖3為示出圖2的影像訊號處理器的操作的流程圖。 圖4為示出影像訊號處理器的架構的方塊圖。 圖5為示出圖4的影像訊號處理器的操作的流程圖。 圖6為示出圖1的影像訊號處理器的方塊圖。 圖7為示出圖1的影像訊號處理器的方塊圖。 圖8為示出圖1的影像感測器裝置的方塊圖。 圖9為示出根據本揭露的實施例的影像感測器裝置的方塊圖。 圖10為示出根據本揭露的實施例的影像感測器裝置的方塊圖。 圖11為用於描述根據本揭露的實施例的影像感測器裝置的堆疊結構的圖。 圖12為示出根據本揭露的實施例的影像系統的方塊圖。 圖13為用於描述圖12的影像訊號處理器的方塊圖。 圖14為示出根據本揭露的實施例的影像系統的方塊圖。 圖15為示出根據本揭露的實施例的影像系統的方塊圖。 圖16為包含多攝影機模組的電子裝置的方塊圖。 圖17為圖16的攝影機模組的詳細方塊圖。 圖18為示出根據本揭露的實施例的影像裝置所應用的系統的圖。
120_b:第二影像訊號處理器
121_b:分箱及剪裁模組
123_b:簡化的BYR域處理模組
124_b:RGB域處理模組
125_b:YUV域處理模組
126_b:子ISP模組
130:記憶體裝置
FI:訊框資訊
IMG_1:第一影像
IMG_2:第二影像
IMG_3:第三影像
IMG_in:輸入影像
IMG_out:輸出影像

Claims (20)

  1. 一種影像訊號設備，包括： 記憶體儲存器；以及 影像訊號處理器，以通信方式耦接至所述記憶體儲存器，其中所述影像訊號處理器經組態以使得所述影像訊號設備進行以下操作： 自第一影像感測器裝置接收第一輸入影像； 對所述第一輸入影像執行分箱及剪裁操作以產生第一影像； 對所述第一影像執行拜耳域處理以產生第二影像； 對所述第二影像執行RGB域處理以產生第三影像；以及 對所述第三影像執行YUV域處理以產生輸出影像， 其中所述YUV域處理包括空間去雜訊操作、時間去雜訊操作、運動補償操作、色調映射操作、細節增強操作以及銳化操作中的至少一者。
  2. 如請求項1所述的影像訊號設備，其中 所述第一輸入影像的色彩圖案與包含於所述第一影像感測器裝置中的彩色濾光片陣列的色彩圖案匹配， 所述第一影像具有拜耳色彩圖案， 所述第二影像具有RGB色彩圖案，以及 所述第三影像具有YUV色彩圖案。
  3. 如請求項1所述的影像訊號設備，其中所述第二影像的解析度與所述第三影像的解析度匹配。
  4. 如請求項1所述的影像訊號設備，其中所述第二影像的解析度與所述輸出影像的解析度匹配。
  5. 如請求項1所述的影像訊號設備，其中所述影像訊號處理器進一步經組態以進行以下操作： 自分箱及剪裁模組接收所述第一影像；以及 基於所述第一影像產生關於所述第一輸入影像的第一訊框資訊。
  6. 如請求項5所述的影像訊號設備，其中所述第一訊框資訊包括關於所述第一影像的第一訊框或所述第一影像的各區域的影像金字塔資訊、各區域的平均資訊、各區域的分佈資訊、各區域的直方圖資訊以及運動資訊中的至少一者。
  7. 如請求項6所述的影像訊號設備，其中 所述第一訊框資訊儲存於外部記憶體裝置中，以及 其中所述影像訊號處理器進一步經組態以進行以下操作： 使用儲存於所述外部記憶體裝置中的所述第一訊框資訊對所述第一影像執行所述拜耳域處理以產生所述第二影像； 使用儲存於所述外部記憶體裝置中的所述第一訊框資訊對所述第二影像執行所述RGB域處理以產生所述第三影像；以及 使用儲存於所述外部記憶體裝置中的所述第一訊框資訊對所述第三影像執行所述YUV域處理以產生所述輸出影像。
  8. 如請求項5所述的影像訊號設備，其中所述影像訊號處理器進一步經組態以進行以下操作： 自第二影像感測器裝置接收第二輸入影像；以及 產生關於所述第二輸入影像的第二訊框資訊。
  9. 如請求項1所述的影像訊號設備，其中為了對所述第三影像執行所述時間去雜訊操作，所述影像訊號處理器經組態以將所述第三影像儲存於外部記憶體裝置中且存取儲存於所述外部記憶體裝置中的所述第三影像。
  10. 如請求項1所述的影像訊號設備，其中所述第一影像儲存於外部記憶體裝置中，以及 其中所述影像訊號處理器存取所述外部記憶體裝置以接收所述第一影像。
  11. 一種影像訊號處理器的操作方法，所述操作方法包括： 自影像感測器裝置接收輸入影像； 對所述輸入影像執行分箱及剪裁操作以產生第一影像； 對所述第一影像執行拜耳域處理以產生第二影像； 對所述第二影像執行RGB域處理以產生第三影像；以及 對所述第三影像執行YUV域處理以產生輸出影像， 其中執行所述YUV域處理包括輸出所述輸出影像， 其中所述第二影像的解析度與所述第三影像的解析度匹配，以及 其中所述YUV域處理包括空間去雜訊操作、時間去雜訊操作、運動補償操作、色調映射操作、細節增強操作以及銳化操作中的至少一者。
  12. 如請求項11所述的操作方法，其中 所述輸入影像的色彩圖案與包含於所述影像感測器裝置中的彩色濾光片陣列的色彩圖案匹配， 所述第一影像具有拜耳色彩圖案， 所述第二影像具有RGB色彩圖案，以及 所述第三影像具有YUV色彩圖案。
  13. 如請求項11所述的操作方法，其中所述第二影像的所述解析度與所述第三影像的所述解析度匹配。
  14. 如請求項11所述的操作方法，進一步包括： 基於所述第一影像產生訊框資訊， 其中所述訊框資訊包括關於所述第一影像的訊框或所述第一影像的各區域的影像金字塔資訊、各區域的平均資訊、各區域的分佈資訊、各區域的直方圖資訊以及運動資訊中的至少一者。
  15. 如請求項14所述的操作方法，其中 所述訊框資訊儲存於外部記憶體裝置中， 對所述第一影像執行所述拜耳域處理包括使用儲存於所述外部記憶體裝置中的所述訊框資訊對所述第一影像執行所述拜耳域處理以產生所述第二影像， 對所述第二影像執行所述RGB域處理包括使用儲存於所述外部記憶體裝置中的所述訊框資訊對所述第二影像執行所述RGB域處理以產生所述第三影像，以及 對所述第三影像執行所述YUV域處理包括使用儲存於所述外部記憶體裝置中的所述訊框資訊對所述第三影像執行所述YUV域處理以產生所述輸出影像。
  16. 如請求項14所述的操作方法，其中 所述第一影像儲存於外部記憶體裝置中，以及 對所述第一影像執行所述拜耳域處理包括存取所述外部記憶體裝置以獲得所述第一影像。
  17. 一種影像感測器裝置，包括： 像素陣列，包括多個像素； 列驅動器，經組態以控制所述多個像素； 類比至數位轉換器，經組態以將像素訊號轉換為數位訊號； 輸出緩衝器，經組態以基於所述數位訊號輸出輸入影像；以及 影像訊號處理器，經組態以基於所述輸入影像產生輸出影像， 其中所述影像訊號處理器進一步經組態以進行以下操作： 基於所述輸入影像產生訊框資訊； 對所述輸入影像執行分箱及剪裁操作以產生第一影像； 基於所述訊框資訊對所述第一影像執行拜耳域處理以產生第二影像； 基於所述訊框資訊對所述第二影像執行RGB域處理以產生第三影像；以及 基於所述訊框資訊對所述第三影像執行YUV域處理以產生所述輸出影像， 其中所述YUV域處理包括空間去雜訊操作、時間去雜訊操作、運動補償操作、色調映射操作、細節增強操作以及銳化操作中的至少一者。
  18. 如請求項17所述的影像感測器裝置，其中所述影像訊號處理器進一步經組態以進行以下操作： 自分箱及剪裁模組接收所述第一影像；以及 基於所述第一影像產生關於所述第一輸入影像的第一訊框資訊。
  19. 如請求項18所述的影像感測器裝置，其中所述訊框資訊包括關於所述第一影像的訊框或所述第一影像的各區域的影像金字塔資訊、各區域的平均資訊、各區域的分佈資訊、各區域的直方圖資訊以及運動資訊中的至少一者。
  20. 如請求項18所述的影像感測器裝置，其中所述影像訊號處理器進一步經組態以在所述影像感測器裝置為從屬攝影機時防止執行所述分箱及剪裁操作、所述拜耳域處理、所述RGB域處理以及所述YUV域處理。
TW111125524A 2021-07-07 2022-07-07 影像訊號設備、影像訊號處理器的操作方法以及影像感測器裝置 TW202310610A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210088960 2021-07-07
KR10-2021-0088960 2021-07-07
KR10-2021-0183767 2021-12-21
KR1020210183767A KR20230008586A (ko) 2021-07-07 2021-12-21 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 이미지 센서 장치

Publications (1)

Publication Number Publication Date
TW202310610A true TW202310610A (zh) 2023-03-01

Family

ID=82702952

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111125524A TW202310610A (zh) 2021-07-07 2022-07-07 影像訊號設備、影像訊號處理器的操作方法以及影像感測器裝置

Country Status (4)

Country Link
US (2) US11902676B2 (zh)
EP (1) EP4117278B1 (zh)
CN (1) CN115604590A (zh)
TW (1) TW202310610A (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4794911B2 (ja) 2005-05-31 2011-10-19 キヤノン株式会社 画像処理装置
US8786625B2 (en) 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
KR101217476B1 (ko) 2011-03-07 2013-01-02 주식회사 코아로직 이미지 신호 처리를 위한 장치 및 방법
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
CN102970548B (zh) 2012-11-27 2015-01-21 西安交通大学 一种图像深度感知装置
US9860429B1 (en) * 2016-06-30 2018-01-02 Apple Inc. Scaling of image data in sensor interface based on detection of defective pixels
US10902558B2 (en) 2018-05-18 2021-01-26 Gopro, Inc. Multiscale denoising of raw images with noise estimation
US10916036B2 (en) * 2018-12-28 2021-02-09 Intel Corporation Method and system of generating multi-exposure camera statistics for image processing
KR102680342B1 (ko) * 2019-09-23 2024-07-03 삼성전자주식회사 복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 hdr 처리를 수행하기 위한 전자 장치
KR20210068877A (ko) 2019-12-02 2021-06-10 삼성전자주식회사 카메라 전환에 따른 영상 보정 방법 및 장치
KR20220075028A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치

Also Published As

Publication number Publication date
EP4117278B1 (en) 2024-05-01
CN115604590A (zh) 2023-01-13
US11902676B2 (en) 2024-02-13
EP4117278A1 (en) 2023-01-11
US20240244342A1 (en) 2024-07-18
US20230011755A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
US20160227160A1 (en) Image signal processor and devices including the same
US11323640B2 (en) Tetracell image sensor preforming binning
CN112929560B (zh) 图像处理设备及其方法
US20230073138A1 (en) Image sensor, image processing system including the same, and image processing method
US20230040122A1 (en) Electronic device and method for supporting deblurring of image data
US11722795B2 (en) Image processing device for noise reduction using dual conversion gain and operation method thereof
JP2022019644A (ja) イメージセンサモジュール及びイメージ圧縮方法
US9485483B2 (en) Image sensor and image sensor system including the same
US20220166936A1 (en) Electronic device including image sensor having multi-crop function
US20240089471A1 (en) Image signal processing device and operation method thereof
TW202310610A (zh) 影像訊號設備、影像訊號處理器的操作方法以及影像感測器裝置
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
KR20230008586A (ko) 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 이미지 센서 장치
US20220279127A1 (en) Image signal processor for performing auto zoom and auto focus, image processing method thereof, and image processing system including the image signal processor
US20220053150A1 (en) Mobile electronic devices having multi-camera modules
US20210344834A1 (en) Image compression method, encoder, and camera module including the encoder
TW202209887A (zh) 影像壓縮方法、編碼器和電子裝置
KR102710388B1 (ko) 로컬 톤 맵핑 회로, 이미지 센싱 장치 및 그 동작방법
KR20230035827A (ko) 시스템 온 칩 및 이를 포함하는 모바일 장치
KR20220010297A (ko) 엣지 기반 샤프니스 세기 제어 회로, 이미지 센싱 장치 및 그 동작방법
US11601612B2 (en) Imaging device and method of operating the same
US20240098387A1 (en) Image sensor, mobile device, and image sensor operation method for reducing data transmission latency
US20240257310A1 (en) Image processor and image processing system including the same
US20240305899A1 (en) Image sensor and operating method of image sensor
US20230169909A1 (en) Display controller and display device including the same