TWI797528B - 雙感測器攝像系統及其隱私保護攝像方法 - Google Patents

雙感測器攝像系統及其隱私保護攝像方法 Download PDF

Info

Publication number
TWI797528B
TWI797528B TW109146831A TW109146831A TWI797528B TW I797528 B TWI797528 B TW I797528B TW 109146831 A TW109146831 A TW 109146831A TW 109146831 A TW109146831 A TW 109146831A TW I797528 B TWI797528 B TW I797528B
Authority
TW
Taiwan
Prior art keywords
image
color
infrared
sensor
details
Prior art date
Application number
TW109146831A
Other languages
English (en)
Other versions
TW202211161A (zh
Inventor
彭詩淵
鄭書峻
黃旭鍊
李運錦
賴國銘
Original Assignee
聚晶半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚晶半導體股份有限公司 filed Critical 聚晶半導體股份有限公司
Priority to US17/214,937 priority Critical patent/US11689822B2/en
Publication of TW202211161A publication Critical patent/TW202211161A/zh
Application granted granted Critical
Publication of TWI797528B publication Critical patent/TWI797528B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Burglar Alarm Systems (AREA)
  • Air Bags (AREA)

Abstract

一種雙感測器攝像系統及其隱私保護攝像方法。此系統控制色彩及紅外線感測器採用適於攝像場景下的多個曝光條件分別擷取多張色彩及紅外線影像，適應性選擇能顯露出攝像場景細節的色彩及紅外線影像的組合，偵測色彩影像中具有興趣對象特徵的特徵區域，以及融合色彩及紅外線影像以生成具備攝像場景細節的融合影像，裁切融合影像的特徵區域影像並以非屬於紅外線影像的影像取代，以生成場景影像。

Description

雙感測器攝像系統及其隱私保護攝像方法
本發明是有關於一種攝像系統及方法，且特別是有關於一種雙感測器攝像系統及其隱私保護攝像方法。
相機的曝光條件(包括光圈、快門、感光度)會影響所拍攝影像的品質，因此許多相機在拍攝影像的過程中會自動調整曝光條件，以獲得清晰且明亮的影像。然而，在低光源或是背光等高反差的場景中，相機調整曝光條件的結果可能會產生雜訊過高或是部分區域過曝的結果，無法兼顧所有區域的影像品質。
對此，目前技術有採用一種新的影像感測器架構，其是利用紅外線(IR)感測器高光敏感度的特性，在影像感測器的色彩像素中穿插配置IR像素，以輔助亮度偵測。舉例來說，圖1是習知使用影像感測器擷取影像的示意圖。請參照圖1，習知的影像感測器10中除了配置有紅(R)、綠(G)、藍(B)等顏色像素外，還穿插配置有紅外線(I)像素。藉此，影像感測器10能夠將R、G、B顏色像素所擷取的色彩資訊12與I像素所擷取的亮度資訊14結 合，而獲得色彩及亮度適中的影像16。
然而，在上述單一影像感測器的架構下，影像感測器中每個像素的曝光條件相同，因此只能選擇較適用於顏色像素或紅外線像素的曝光條件來擷取影像，結果仍無法有效地利用兩種像素的特性來改善所擷取影像的影像品質。
本發明提供一種雙感測器攝像系統及其隱私保護攝像方法，可在不侵犯攝像對象隱私的情況下，生成具備攝像場景細節的場景影像。
本發明的雙感測器攝像系統包括至少一個色彩感測器、至少一個紅外線感測器、儲存裝置以及耦接所述色彩感測器、紅外光感測器及儲存裝置的處理器。所述處理器經配置以載入並執行儲存在儲存裝置中的電腦程式以：控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；適應性選擇能顯露出攝像場景的細節的色彩影像及紅外線影像的組合；根據興趣對象的至少一個特徵，偵測所選擇的色彩影像中具有此些特徵的特徵區域；以及融合所選擇的色彩影像及紅外線影像以生成具備攝像場景細節的融合影像，裁切融合影像中的特徵區域的影像並以非屬於紅外線影像的影像取代，以生成場景影像。
本發明的雙感測器攝像系統的隱私保護攝像方法，適用 於包括至少一個色彩感測器、至少一個紅外線感測器及處理器的雙感測器攝像系統。所述方法包括下列步驟：控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；適應性選擇能顯露出攝像場景的細節的色彩影像及紅外線影像的組合；根據興趣對象的至少一個特徵，偵測所選擇的色彩影像中具有所述特徵的特徵區域，以及融合所選擇的色彩影像及紅外線影像以生成具備攝像場景細節的融合影像，裁切融合影像中的特徵區域的影像並以非屬於紅外線影像的影像取代，以生成場景影像。
基於上述，本發明的雙感測器攝像系統及其隱私保護攝像方法利用獨立配置的色彩感測器及紅外線感測器採用適於當前攝像場景的不同曝光條件擷取多張影像，從中選擇出能夠顯露出攝像場景細節的色彩影像及紅外線影像的組合以進行融合，並將其中的敏感區域以非紅外線影像取代，例如：高動態範圍影像，從而在不侵犯攝像對象隱私的情況下，生成具備攝像場景細節的場景影像。
10、20:影像感測器
12:色彩資訊
14:亮度資訊
16:影像
22:色彩感測器
22a、62:色彩影像
24:紅外線感測器
24a、64:紅外線影像
26、66:場景影像
30:雙感測器攝像系統
32:色彩感測器
34:紅外線感測器
36:儲存裝置
38:處理器
62a:人臉區域
R、G、B、I:像素
S402~S408、S502~S510、S702~S720:步驟
圖1是習知使用影像感測器擷取影像的示意圖。
圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。
圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。
圖4是依照本發明一實施例所繪示的雙感測器攝像系統的隱私保護攝像方法的流程圖。
圖5是依照本發明一實施例所繪示的雙感測器攝像系統的隱私保護攝像方法的流程圖。
圖6是依照本發明一實施例所繪示的雙感測器攝像系統的隱私保護攝像方法的範例。
圖7是依照本發明一實施例所繪示的雙感測器攝像系統的隱私保護攝像方法的流程圖。
本發明實施例揭露一種雙感測器攝像系統與隱私保護攝像方法，利用獨立配置的色彩及紅外線感測器分別擷取不同曝光條件下的多張影像，並選擇曝光條件適當的色彩及紅外線影像融合為結果影像，藉此補足色彩影像的紋理細節，提高所攝影像的影像品質。針對紅外線感測器所擷取的紅外線影像可能會有侵害拍攝對象隱私的疑慮，例如會顯露出穿著下的身體細節，本發明實施例的攝像方法可針對特定區域進行處理，從而在提高攝像品質的同時，避免造成上述侵害。
圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。請參照圖2，本發明實施例的影像感測器20採 用獨立配置色彩感測器22與紅外線(IR)感測器24的雙感測器架構，利用色彩感測器22與紅外線感測器24各自的特性，採用適於當前拍攝場景的多個曝光條件分別擷取多張影像，並從中選擇曝光條件適當的色彩影像22a與紅外線影像24a，透過影像融合的方式，使用紅外線影像24a來補足色彩影像22a中缺乏的紋理細節，從而獲得色彩及紋理細節均佳的場景影像26。
圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。請參照圖3，本實施例的雙感測器攝像系統30可配置於手機、平板電腦、筆記型電腦、導航裝置、行車紀錄器、數位相機、數位攝影機等電子裝置中，用以提供攝像功能。雙感測器攝像系統30包括至少一個色彩感測器32、至少一個紅外線感測器34、儲存裝置36及處理器38，其功能分述如下：色彩感測器32例如包括電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他種類的感光元件，而可感測光線強度以產生攝像場景的影像。色彩感測器32例如是紅綠藍(RGB)影像感測器，其中包括紅(R)、綠(G)、藍(B)顏色像素，用以擷取攝像場景中的紅光、綠光、藍光等色彩資訊，並將這些色彩資訊合成以生成攝像場景的色彩影像。
紅外線感測器34例如包括CCD、CMOS元件或其他種類的感光元件，其經由調整感光元件的波長感測範圍，而能夠感測紅外光。紅外線感測器34例如是以上述感光元件作為像素來擷取攝 像場景中的紅外光資訊，並將這些紅外光資訊合成以生成攝像場景的紅外線影像。
儲存裝置36例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器38執行的電腦程式。在一些實施例中，儲存裝置36例如還可儲存由色彩感測器32所擷取的色彩影像及紅外線感測器34所擷取的紅外線影像。
處理器38例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、微控制器(Microcontroller)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合，本發明不在此限制。在本實施例中，處理器38可從儲存裝置36載入電腦程式，以執行本發明實施例的雙感測器攝像系統的隱私保護攝像方法。
圖4是依照本發明一實施例所繪示的雙感測器攝像系統的隱私保護攝像方法的流程圖。請同時參照圖3及圖4，本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的隱私保護攝像方法的詳細步驟。
在步驟S402中，由處理器38控制色彩感測器32及紅外線感測器34採用適用於當前攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像。
在一些實施例中，處理器38例如是控制色彩感測器32及紅外線感測器34中的至少一者採用標準曝光條件來擷取攝像場景的至少一張標準影像，並使用這些標準影像來識別攝像場景。所述標準曝光條件例如包括採用既有測光技術所決定的光圈、快門、感光度等參數，而處理器38則根據在此曝光條件下所擷取之影像的色相(Hue)、明度(Value)、彩度(Chroma)、白平衡等影像參數的強弱或分佈來識別攝像場景，包括攝像場景的位置(室內或室外)、光源(高光源或低光源)、反差(高反差或低反差)、攝像物的種類(物品或人像)或狀態(動態或靜態)等。在其他實施例中，處理器38亦可採用定位方式來識別攝像場景或是直接接收使用者操作來設定攝像場景，在此不設限。
在一些實施例中，處理器38例如是以標準曝光條件中的曝光時間為基準，控制色彩感測器32及紅外線感測器34擷取曝光時間較短或較長的色彩影像，這些色彩影像彼此的曝光時間的差例如為介於-3至3的曝光值(Exposure Value，EV)中的任意值，在此不設限。舉例來說，若A影像比B影像亮一倍，則可將B影像的EV加1，以此類推，曝光值可以有小數(例如+0.3EV)，在此不設限。
在步驟S404中，由處理器38適應性選擇能顯露出攝像 場景的細節的色彩影像及紅外線影像的組合。在一些實施例中，處理器38例如會控制色彩感測器32以適當的曝光時間擷取色彩影像，使得攝像場景的部分顏色細節可被保留，並確保之後融合的影像可顯露出攝像場景的顏色細節。所述適當的曝光時間例如是比會造成所擷取影像過曝的曝光時間還短一預設時間長度的曝光時間，所述預設時間長度例如為0.01至1秒中的任意值，在此不設限。
在一些實施例中，處理器38例如會先根據各張色彩影像的顏色細節，選擇其中一張色彩影像作為基準影像，接著辨識基準影像中缺乏紋理細節的至少一個缺陷區域，然後再根據各張紅外線影像中對應於這些缺陷區域的影像的紋理細節，選擇其中一張紅外線影像作為與基準影像融合的影像。
詳言之，基於色彩感測器32每次只能採用單一曝光條件擷取色彩影像，在攝像場景為低光源或高反差的情況下，每一張色彩影像都可能會出現高雜訊、過曝或曝光不足的區域(即上述的缺陷區域)。此時，處理器38即可利用紅外線感測器34高光敏感度的特性，針對上述的缺陷區域，從先前擷取的多張紅外線影像中，選擇具備該缺陷區域的紋理細節的紅外線影像，而可用以補足色彩影像中缺陷區域的紋理細節。
在步驟S406中，由處理器38根據興趣對象的至少一個特徵，偵測所選擇色彩影像中具有所述特徵的特徵區域。所述特徵例如是人類的身體特徵，例如臉部、軀幹、四肢等，或是人類穿著 的特徵，例如面罩、衣服、褲子，在此不設限。
在一些實施例中，處理器38例如會利用機器學習模型來辨識色彩影像中的興趣對象以偵測特徵區域。其中，所述的機器學習模型例如是利用包括興趣對象的多張色彩影像以及對於各張色彩影像中的興趣對象的辨識結果所訓練。
詳言之，所述的機器學習模型例如是包括輸入層、至少一隱藏層及輸出層的卷積神經網路(Convolutional Neural Network，CNN)、深度神經網路(Deep Neural Network，DNN)、遞迴神經網路(Recurrent Neural Network，RNN)或其他具學習功能的模型，在此不設限。其中，處理器38例如是將包括興趣對象的多張色彩影像依序輸入輸入層，由各個隱藏層的多個神經元利用一激勵函數針對輸入層的輸出計算當次的輸出。所述的激勵函數例如是S(sigmoid)函數或是雙曲正切(tanh)函數，在此不設限，然後由輸出層利用如歸一化指數(softmax)函數的轉換函數將隱藏層的當次輸出轉換為興趣對象的預測結果。然後，處理器38會將預測結果與當次輸入的色彩影像對應的辨識結果比較，以根據比較結果更新隱藏層的各神經元的權重。其中，處理器38例如是以利用機器學習模型所輸出的預測結果與真實的辨識結果，來計算損失函數(loss function)並用以衡量機器學習模型的預測結果是否夠準確，據以更新隱藏層的各個神經元的權重。在其他實施例中，處理器38亦可利用梯度下降法(Gradient Descent，GD)或反向傳播法(Backpropagation，BP)來更新隱藏層的各個神經元的權重，在 此不設限。最後，處理器38將重複上述步驟，藉此訓練機器學習模型來辨識興趣對象，並可取得興趣對象在色彩影像中所佔的區域以作為特徵區域。
在步驟S408中，由處理器38融合所選擇的色彩影像及紅外線影像，以生成具備攝像場景的細節的融合影像，並裁切此融合影像中的特徵區域影像並以非屬於紅外線影像的影像取代，以生成場景影像。所述非屬於紅外線影像的影像例如是上述的色彩影像或是由多張色彩影像經由高動態範圍(high dynamic range，HDR)處理所生成的影像，在此不設限。
在一些實施例中，處理器38例如是採用計算所選擇色彩影像及紅外線影像整張影像中對應像素之像素值的平均或加權平均的方式，或是採用其他影像融合方式，將所選擇的色彩影像及紅外線影像的整張影像直接融合。在一些實施例中，處理器38也可僅針對色彩影像中的缺陷區域，而使用紅外線影像中對應於該缺陷區域的影像來填補或取代色彩影像中缺陷區域的影像，在此不設限。
在一些實施例中，處理器38例如是將所選擇的色彩影像及紅外線影像裁切掉特徵區域影像後再進行融合，之後將非屬於紅外線影像的影像貼上融合影像中的特徵區域，從而生成場景影像。藉此，可減少融合影像所需的計算量。
在一些實施例中，處理器38例如會控制色彩感測器32採用較所選擇的色彩影像的曝光時間長或短的多個曝光時間擷取 多張色彩影像並執行高動態範圍處理，以生成具備特徵區域的細節的高動態範圍影像，並使用此高動態範圍影像來取代所裁切的融合影像中的特徵區域的影像。
詳細而言，處理器38例如會根據其所選擇的色彩影像的曝光時間，使用較此曝光時間為短的曝光時間以及較此曝光時間為長的曝光時間，控制色彩感測器32分別擷取曝光時間較短的色彩影像以及曝光時間較長的色彩影像，而結合使用原曝光時間擷取的色彩影像來實施HDR處理。即，從三張色彩影像中選擇具備較佳顏色及紋理細節的區域來補足其他色彩影像中欠缺細節的區域，從而獲得亮部及暗部細節均佳的高動態範圍影像。
在一些實施例中，處理器38可根據所選擇色彩影像的特徵區域的細節，選擇用以擷取多張色彩影像的曝光時間，使得所擷取的多張色彩影像經高動態範圍處理後，可生成具備此特徵區域細節的高動態範圍影像。舉例來說，若所選擇色彩影像的特徵區域因為過曝而缺乏顏色及紋理細節，則處理器38可選擇多個較短的曝光時間來擷取色彩影像並用以執行高動態範圍處理，藉此生成具備顏色及紋理細節的高動態範圍影像。類似地，若所選擇色彩影像的特徵區域因為曝光不足而缺乏顏色及紋理細節，則處理器38會選擇多個較長的曝光時間來擷取色彩影像並用以執行高動態範圍處理，藉此生成具備顏色及紋理細節的高動態範圍影像。
在一些實施例中，處理器38例如會針對高動態範圍影像執行二維空間降噪(2D spatial denoise)等降噪(noise reduction， NR)處理，以減少高動態範圍影像中的雜訊，提高最終輸出影像的影像品質。
藉由上述方法，雙感測器攝像系統30不僅可生成可包括攝像場景的所有細節(顏色及紋理細節)的影像，且可將影像中特徵區域的影像以非屬於紅外線影像的影像(例如高動態範圍影像)取代，從而在不侵犯攝像對象隱私的情況下，提高所攝影像的影像品質。
圖5是依照本發明一實施例所繪示的雙感測器攝像系統的隱私保護攝像方法的流程圖。請同時參照圖3及圖5，本實施例進一步說明上述針對整張影像進行融合的實施例的詳細實施方式。本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的隱私保護攝像方法的詳細步驟。
在步驟S502中，由處理器38根據各張色彩影像的顏色細節，選擇其中一張色彩影像作為基準影像。在一實施例中，處理器38例如是選擇顏色細節最多的色彩影像作為基準影像。所述顏色細節的多寡例如可由色彩影像中過曝或曝光不足區域的大小來決定。詳言之，過曝區域像素的顏色趨近白色、曝光不足區域像素的顏色趨近黑色，因此這些區域的顏色細節會較少。因此，若色彩影像中包括較多的這類區域，代表其顏色細節較少，處理器38據此即可判斷出哪一張色彩影像的顏色細節最多，而用以作為基準影像。在其他實施例中，處理器38也可依據各張色彩影像的對比 度、飽和度或其他影像參數來分辨其顏色細節的多寡，在此不設限。
在步驟S504中，由處理器38辨識基準影像中缺乏紋理細節的至少一個缺陷區域。所述的缺陷區域例如是上述的過曝區域或曝光不足區域，或是在低光源下所擷取的具較高雜訊的區域，在此不設限。
在步驟S506中，由處理器38根據各張紅外線影像中對應於所述缺陷區域的影像的紋理細節，選擇其中一張紅外線影像。在一實施例中，處理器38例如是選擇對應於所述缺陷區域的影像的紋理細節最多的紅外線影像作為與基準影像融合的影像。其中，處理器38例如是依據各張紅外線影像的對比度或其他影像參數來分辨其紋理細節的多寡，在此不設限。
在步驟S508中，由處理器38對所選擇的色彩影像及紅外線影像執行特徵擷取，以擷取色彩影像及紅外線影像中的多個特徵，並根據所擷取特徵之間的對應關係將色彩影像及紅外線影像對齊。需說明的是，上述的特徵擷取及匹配的方式僅為舉例說明，在其他實施例中，處理器38亦可採用其他種類的影像對齊方式對色彩影像及紅外線影像進行對齊，在此不設限。
在步驟S510，由處理器38對經對齊的紅外線影像與基準影像進行影像融合，以生成補足所述缺陷區域的紋理細節的場景影像。
在一些實施例中，處理器38例如是計算色彩影像及紅外 線影像整張影像中對應像素之像素值的平均或加權平均的方式來對紅外線影像與基準影像進行影像融合。
在一些實施例中，處理器38例如是將基準影像的色彩空間由RGB色彩空間轉換至YUV色彩空間，並將轉換後基準影像的亮度分量以紅外線影像的亮度分量取代，然後將取代後的基準影像的色彩空間轉換回RGB色彩空間，以生成場景影像。在其他實施例中，處理器38亦可將基準影像的色彩空間轉換至YCbCr、CMYK或其他種類的色彩空間，並在取代亮度分量之後再轉換回原本的色彩空間，本實施例不限定色彩空間的轉換方式。
詳言之，由於紅外線影像的亮度分量具有較佳的訊噪比(signal-to-noise ratio，SNR)，且包括較多的攝像場景的紋理細節，因此以紅外線影像的亮度分量直接取代基準影像的亮度分量，可大幅增加基準影像中的紋理細節。
藉由上述方法，雙感測器攝像系統30即可利用紅外線影像來增加色彩影像的紋理細節，特別是針對紋理細節不足的區域，從而提高所攝影像的影像品質。
舉例來說，圖6是依照本發明一實施例所繪示的雙感測器攝像系統的隱私保護攝像方法的範例。請參照圖6，本實施例是通過上述圖5的隱私保護攝像方法，選擇出顏色細節最多的色彩影像62作為基準影像，並針對色彩影像62中缺乏紋理細節的缺陷區域(例如人臉區域62a)，從採用不同曝光條件擷取的多張紅外線影像中選擇出該缺陷區域的紋理細節最多的紅外線影像64， 用以與色彩影像62進行影像融合，從而獲得同時具備較多顏色細節及紋理細節的場景影像66。
在一些實施例中，處理器38例如是將基準影像的色彩空間由RGB色彩空間轉換至YUV色彩空間，並將轉換後基準影像的缺陷區域的影像的亮度分量以紅外線影像的對應於所述缺陷區域的亮度分量取代，然後將取代後的基準影像的色彩空間轉換回RGB色彩空間，以生成場景影像。在其他實施例中，處理器38亦可將基準影像的色彩空間轉換至YCbCr、CMYK或其他種類的色彩空間，並在取代亮度分量之後再轉換回原本的色彩空間，本實施例不限定色彩空間的轉換方式。
藉由上述方法，雙感測器攝像系統30即可利用紅外線影像來補足色彩影像中紋理細節不足的區域，從而提高所攝影像的影像品質。
需說明的是，在一些實施例中，色彩影像中某些缺陷區域的紋理細節可能會因特定因素無法用紅外線影像來增強或補足，例如色彩感測器32與紅外線感測器34之間的視差(parallax)會造成紅外線感測器34被遮蔽。在此情況下，本發明實施例提供一種替代方式來增加缺陷區域的紋理細節，以最大程度地提高所攝影像的影像品質。
圖7是依照本發明一實施例所繪示的雙感測器攝像系統的隱私保護攝像方法的流程圖。請同時參照圖3及圖7，本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器 攝像系統30的各項元件說明本實施例的隱私保護攝像方法的詳細步驟。
在步驟S702中，由處理器38控制色彩感測器32及紅外線感測器34中的至少一者採用標準曝光條件來擷取攝像場景的至少一張標準影像，並使用這些標準影像來識別攝像場景。所述標準曝光條件的定義以及攝像場景的識別方式如前述實施例所述，在此不再贅述。
在步驟S704中，由處理器38控制色彩感測器32及紅外線感測器34採用適用於所識別之攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像。在步驟S706中，由處理器38根據各張色彩影像的顏色細節，選擇其中一張色彩影像作為基準影像。在步驟S708中，由處理器38根據興趣對象的至少一個特徵，偵測所選擇色彩影像中具有所述特徵的特徵區域。在步驟S710中，由處理器38控制色彩感測器32採用較所選擇的色彩影像的曝光時間長或短的多個曝光時間擷取多張色彩影像並執行高動態範圍處理，以生成具備特徵區域的細節的高動態範圍影像。在步驟S712中，由處理器38辨識基準影像中缺乏紋理細節的至少一個缺陷區域。上述步驟的實施方式分別與前述實施例的步驟S402~S408、S502~S504相同或相似，故其細節在此不再贅述。
與前述實施例不同的是，在步驟S714中，處理器38會判斷前述的多張紅外線影像中是否有紅外線影像包括基準影像中缺陷區域的紋理細節。其中，處理器38例如會檢視各張紅外線影 像中對應於所述缺陷區域的區域是否有影像，以判斷紅外線感測器34是否被遮蔽，並判斷是否可用紅外線影像來填補基準影像中缺陷區域的紋理細節。
若有紅外線影像包括此缺陷區域的紋理細節，則在步驟S716中，處理器38會將基準影像中的所述缺陷區域的影像的亮度分量以紅外線影像中對應於所述缺陷區域的亮度分量取代，以生成補足所述缺陷區域的紋理細節的融合影像。
若沒有紅外線影像包括此缺陷區域的紋理細節，則在步驟S718中，處理器38會將基準影像中的缺陷區域的影像以高動態範圍影像中對應於此缺陷區域的影像取代，以生成具備此缺陷區域的紋理細節的融合影像。
在一些實施例中，處理器38可結合上述步驟S716及S718的處理方式，針對基準影像中的多個缺陷區域個別選用適當的處理方式，以最大程度地增加基準影像的細節，從而提高所攝影像的影像品質。
最後，在步驟S720中，由處理器38裁切融合影像中的特徵區域影像並貼上高動態範圍影像中的特徵區域影像，以生成場景影像。
藉由上述方法，雙感測器攝像系統30不僅可針對色彩影像中紋理細節不足的缺陷區域，利用紅外線影像或高動態範圍影像來補足紋理細節，且可進一步將融合影像中特徵區域的影像以高動態範圍影像取代，從而在不侵犯攝像對象隱私的情況下，提高 所攝影像的影像品質。
綜上所述，本發明的雙感測器攝像系統及其隱私保護攝像方法藉獨立配置色彩感測器與紅外線感測器分別擷取多張影像，從中選擇曝光條件適當的影像進行融合，以使用紅外線影像填補或增加色彩影像中缺乏的紋理細節，且將融合影像中可能會侵害拍攝對象隱私的特徵區域以非屬於紅外線影像的影像取代，因此可在不侵犯攝像對象隱私的情況下，生成具備攝像場景細節的場景影像。
S402~S408:步驟

Claims (20)

  1. 一種雙感測器攝像系統，包括：至少一色彩感測器；至少一紅外線感測器；儲存裝置，儲存電腦程式；以及處理器，耦接所述至少一色彩感測器、所述至少一紅外光感測器及所述儲存裝置，經配置以載入並執行所述電腦程式以：控制所述至少一色彩感測器及所述至少一紅外線感測器採用適用於一攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；根據各所述色彩影像的顏色細節，選擇所述多張色彩影像其中之一作為基準影像；辨識所述基準影像中缺乏紋理細節的至少一缺陷區域；判斷各所述紅外線影像是否包括所述至少一缺陷區域的所述紋理細節，在所述多張紅外線影像之中至少一所述紅外線影像包括所述紋理細節時，適應性選擇能顯露出所述攝像場景的細節的所述色彩影像及所述紅外線影像的組合；根據興趣對象的至少一特徵，偵測所選擇的所述色彩影像中具有所述特徵的特徵區域；以及融合所選擇的所述色彩影像及所述紅外線影像以生成具備所述攝像場景的所述細節的融合影像，裁切所述融合影像中的所 述特徵區域的影像並以非屬於所述紅外線影像的影像取代，以生成場景影像。
  2. 如請求項1所述的雙感測器攝像系統，其中所述處理器更包括：控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間長或短的多個曝光時間擷取多張色彩影像並執行高動態範圍(high dynamic range，HDR)處理，以生成具備所述特徵區域的細節的高動態範圍影像，並用以取代所裁切的所述融合影像中的所述特徵區域的影像。
  3. 如請求項2所述的雙感測器攝像系統，其中所述處理器包括：根據所選擇的所述色彩影像的所述特徵區域的所述細節選擇用以擷取所述多張色彩影像的所述曝光時間，使得所擷取的所述多張色彩影像經高動態範圍處理後，生成具備所述特徵區域的細節的所述高動態範圍影像。
  4. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括：控制所述至少一色彩感測器及所述至少一紅外線感測器中的至少一者採用標準曝光條件擷取所述攝像場景的至少一標準影像，並使用所述至少一標準影像識別所述攝像場景。
  5. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括： 根據各所述紅外線影像中對應於所述至少一缺陷區域的影像的紋理細節，選擇所述多張紅外線影像其中之一作為用以與所述基準影像融合的所述紅外線影像。
  6. 如請求項5所述的雙感測器攝像系統，其中所述處理器包括：選擇所述顏色細節最多的所述色彩影像作為所述基準影像；以及選擇對應於所述至少一缺陷區域的影像的所述紋理細節最多的所述紅外線影像作為用以與所述基準影像融合的所述紅外線影像。
  7. 如請求項5所述的雙感測器攝像系統，其中所述處理器包括：將所述基準影像中的所述至少一缺陷區域的影像的亮度分量以所述紅外線影像中對應於所述至少一缺陷區域的影像取代，以生成補足所述至少一缺陷區域的所述紋理細節的所述融和影像。
  8. 如請求項2所述的雙感測器攝像系統，其中所述處理器更包括：判斷各所述紅外線影像是否包括所述至少一缺陷區域的所述紋理細節；以及在各所述紅外線影像均未包括所述紋理細節時，將所述基準影像中的所述至少一缺陷區域的影像以所述高動態範圍影像中對應於所述至少一缺陷區域的影像取代，以生成具備所述至少一缺 陷區域的所述紋理細節的所述融合影像。
  9. 如請求項1所述的雙感測器攝像系統，其中所述處理器更包括：利用一機器學習模型辨識所述色彩影像中的所述興趣對象以偵測所述特徵區域，其中所述機器學習模型是利用包括所述興趣對象的多張色彩影像以及對於各所述色彩影像中的所述興趣對象的辨識結果所訓練。
  10. 如請求項9所述的雙感測器攝像系統，其中所述機器學習模型包括輸入層、至少一隱藏層及輸出層，所述處理器包括：將所述色彩影像依序輸入所述輸入層，由各所述至少一隱藏層的多個神經元利用一激勵函數針對所述輸入層的輸出計算當次的輸出，並由所述輸出層將所述隱藏層當次的所述輸出轉換為所述興趣對象的預測結果；將所述預測結果與當次輸入的所述色彩影像對應的辨識結果比較，以根據比較結果更新所述隱藏層的各所述神經元的權重；以及重複上述步驟，訓練所述機器學習模型以辨識所述興趣對象。
  11. 一種雙感測器攝像系統的隱私保護攝像方法，所述雙感測器攝像系統包括至少一色彩感測器、至少一紅外線感測器及處理器，所述方法包括下列步驟：控制所述至少一色彩感測器及所述至少一紅外線感測器採用 適用於一攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；根據各所述色彩影像的顏色細節，選擇所述多張色彩影像其中之一作為基準影像，以及辨識所述基準影像中缺乏紋理細節的至少一缺陷區域；判斷各所述紅外線影像是否包括所述至少一缺陷區域的所述紋理細節，在所述多張紅外線影像之中至少一所述紅外線影像包括所述紋理細節時；適應性選擇能顯露出所述攝像場景的細節的所述色彩影像及所述紅外線影像的組合；根據興趣對象的至少一特徵，偵測所選擇的所述色彩影像中具有所述特徵的特徵區域；以及融合所選擇的所述色彩影像及所述紅外線影像以生成具備所述攝像場景的所述細節的融合影像，裁切所述融合影像中的所述特徵區域的影像並以非屬於所述紅外線影像的影像取代，以生成場景影像。
  12. 如請求項11所述的方法，更包括：控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間長或短的多個曝光時間擷取多張色彩影像並執行高動態範圍處理，以生成具備所述特徵區域的細節的高動態範圍影像，並使用所述高動態範圍影像取代所裁切的所述融合影像中的所述特徵區域的影像。
  13. 如請求項11所述的方法，其中識別所述雙感測器攝像系統的所述攝像場景的步驟包括：控制所述至少一色彩感測器及所述至少一紅外線感測器中的至少一者採用標準曝光條件擷取所述攝像場景的至少一標準影像，並使用所述至少一標準影像識別所述攝像場景。
  14. 如請求項11所述的方法，其中適應性選擇能顯露出所述攝像場景的細節的所述色彩影像及所述紅外線影像的組合的步驟包括：根據各所述紅外線影像中對應於所述至少一缺陷區域的影像的紋理細節，選擇所述多張紅外線影像其中之一作為用以與所述基準影像融合的所述紅外線影像。
  15. 如請求項14所述的方法，其中適應性選擇能顯露出所述攝像場景的細節的所述色彩影像及所述紅外線影像的組合的步驟包括：選擇所述顏色細節最多的所述色彩影像作為所述基準影像；以及選擇對應於所述至少一缺陷區域的影像的所述紋理細節最多的所述紅外線影像作為用以與所述基準影像融合的所述紅外線影像。
  16. 如請求項14所述的方法，其中融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的所述場景影像的步驟包括： 將所述基準影像中的所述至少一缺陷區域的影像的亮度分量以所述紅外線影像中對應於所述至少一缺陷區域的影像取代，以生成補足所述至少一缺陷區域的所述紋理細節的所述融合影像。
  17. 如請求項12所述的方法，其中在融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的場景影像的步驟之前，所述方法更包括：判斷各所述紅外線影像是否包括所述至少一缺陷區域的所述紋理細節；以及在各所述紅外線影像均未包括所述紋理細節時，將所述基準影像中的所述至少一缺陷區域的影像以所述高動態範圍影像中對應於所述至少一缺陷區域的影像取代，以生成具備所述至少一缺陷區域的所述紋理細節的所述融合影像。
  18. 如請求項11所述的方法，其中根據興趣對象的至少一特徵偵測所選擇的所述色彩影像及所述紅外線影像中具有所述特徵的特徵區域的步驟包括：利用一機器學習模型辨識所述色彩影像中的所述興趣對象以偵測所述特徵區域，其中所述機器學習模型是利用包括所述興趣對象的多張色彩影像以及對於各所述色彩影像中的所述興趣對象的辨識結果所訓練。
  19. 如請求項18所述的方法，其中所述機器學習模型包括輸入層、至少一隱藏層及輸出層，在根據興趣對象的至少一特 徵偵測所選擇的所述色彩影像及所述紅外線影像中具有所述特徵的特徵區域的步驟之前，更包括：將所述色彩影像依序輸入所述輸入層，由各所述至少一隱藏層的多個神經元利用一激勵函數針對所述輸入層的輸出計算當次的輸出，由所述輸出層將所述隱藏層當次的所述輸出轉換為所述興趣對象的預測結果；將所述預測結果與當次輸入的所述色彩影像對應的辨識結果比較，以根據比較結果更新所述隱藏層的各所述神經元的權重；以及重複上述步驟，訓練所述機器學習模型以辨識所述興趣對象。
  20. 如請求項11所述的方法，其中控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間長或短的多個曝光時間擷取多張色彩影像並執行高動態範圍處理，以生成具備所述特徵區域的細節的高動態範圍影像的步驟包括：根據所選擇的所述色彩影像的所述特徵區域的所述細節選擇用以擷取所述多張色彩影像的所述曝光時間，使得所擷取的所述多張色彩影像經高動態範圍處理後，生成具備所述特徵區域的細節的所述高動態範圍影像。
TW109146831A 2020-09-04 2020-12-30 雙感測器攝像系統及其隱私保護攝像方法 TWI797528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/214,937 US11689822B2 (en) 2020-09-04 2021-03-29 Dual sensor imaging system and privacy protection imaging method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063074477P 2020-09-04 2020-09-04
US63/074,477 2020-09-04

Publications (2)

Publication Number Publication Date
TW202211161A TW202211161A (zh) 2022-03-16
TWI797528B true TWI797528B (zh) 2023-04-01

Family

ID=80438521

Family Applications (5)

Application Number Title Priority Date Filing Date
TW109145614A TWI778476B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109145632A TWI767468B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109146831A TWI797528B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其隱私保護攝像方法
TW109146922A TWI767484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其深度圖計算方法
TW109146764A TWI764484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其校準方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW109145614A TWI778476B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109145632A TWI767468B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW109146922A TWI767484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其深度圖計算方法
TW109146764A TWI764484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其校準方法

Country Status (2)

Country Link
CN (5) CN114143443B (zh)
TW (5) TWI778476B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341B (zh) * 2022-12-15 2024-04-02 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461156A (zh) * 2009-06-03 2012-05-16 弗莱尔系统公司 用于双传感器应用的红外相机系统和方法
US20120189293A1 (en) * 2011-01-25 2012-07-26 Dongqing Cao Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
US20180139431A1 (en) * 2012-02-24 2018-05-17 Matterport, Inc. Capturing and aligning panoramic image and depth data
TW201931847A (zh) * 2018-01-09 2019-08-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
US20200045247A1 (en) * 2018-08-01 2020-02-06 Canon Kabushiki Kaisha Imaging apparatus, control method, recording medium, and information processing apparatus
CN111527743A (zh) * 2017-12-28 2020-08-11 伟摩有限责任公司 扩展动态范围的多种操作模式
US20200294214A1 (en) * 2019-03-11 2020-09-17 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium
US20210044763A1 (en) * 2018-02-11 2021-02-11 Zhejiang Uniview Technologies Co., Ltd. Dual-spectrum camera system based on a single sensor and image processing method

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP4244018B2 (ja) * 2004-03-25 2009-03-25 ノーリツ鋼機株式会社 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP3876510A1 (en) * 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
WO2010104490A1 (en) * 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
JP5934375B2 (ja) * 2012-09-25 2016-06-15 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
KR102070778B1 (ko) * 2012-11-23 2020-03-02 엘지전자 주식회사 Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치
WO2014100784A1 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Infrared imaging enhancement with fusion
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
JP6450107B2 (ja) * 2014-08-05 2019-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6597636B2 (ja) * 2014-12-10 2019-10-30 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
WO2016158196A1 (ja) * 2015-03-31 2016-10-06 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
TW201721269A (zh) * 2015-12-11 2017-06-16 宏碁股份有限公司 自動曝光系統及其自動曝光方法
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和系统及其图像处理方法
WO2018141414A1 (en) * 2017-02-06 2018-08-09 Photonic Sensors & Algorithms, S.L. Device and method for obtaining depth information from a scene
CN111988587B (zh) * 2017-02-10 2023-02-07 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN109712102B (zh) * 2017-10-25 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
CN112788249B (zh) * 2017-12-20 2022-12-06 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
JP6574878B2 (ja) * 2018-07-19 2019-09-11 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理系统
US11689785B2 (en) * 2018-09-14 2023-06-27 Zhejiang Uniview Technologies Co., Ltd. Dual-spectrum image automatic exposure method and apparatus, and dual-spectrum image camera and machine storage medium
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
CN109636732B (zh) * 2018-10-24 2023-06-23 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
WO2020168465A1 (zh) * 2019-02-19 2020-08-27 华为技术有限公司 一种图像处理的装置和方法
US10972649B2 (en) * 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking
CN110349117B (zh) * 2019-06-28 2023-02-28 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及系统
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN111383206B (zh) * 2020-06-01 2020-09-29 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461156A (zh) * 2009-06-03 2012-05-16 弗莱尔系统公司 用于双传感器应用的红外相机系统和方法
US20120189293A1 (en) * 2011-01-25 2012-07-26 Dongqing Cao Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
US20180139431A1 (en) * 2012-02-24 2018-05-17 Matterport, Inc. Capturing and aligning panoramic image and depth data
CN111527743A (zh) * 2017-12-28 2020-08-11 伟摩有限责任公司 扩展动态范围的多种操作模式
TW201931847A (zh) * 2018-01-09 2019-08-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
US20210044763A1 (en) * 2018-02-11 2021-02-11 Zhejiang Uniview Technologies Co., Ltd. Dual-spectrum camera system based on a single sensor and image processing method
US20200045247A1 (en) * 2018-08-01 2020-02-06 Canon Kabushiki Kaisha Imaging apparatus, control method, recording medium, and information processing apparatus
US20200294214A1 (en) * 2019-03-11 2020-09-17 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
CN114143443A (zh) 2022-03-04
TW202211165A (zh) 2022-03-16
TWI767484B (zh) 2022-06-11
CN114143419A (zh) 2022-03-04
CN114143418A (zh) 2022-03-04
TWI767468B (zh) 2022-06-11
CN114143419B (zh) 2023-12-26
TWI778476B (zh) 2022-09-21
CN114143421A (zh) 2022-03-04
CN114143421B (zh) 2024-04-05
TWI764484B (zh) 2022-05-11
CN114143420A (zh) 2022-03-04
TW202211674A (zh) 2022-03-16
CN114143418B (zh) 2023-12-01
CN114143443B (zh) 2024-04-05
CN114143420B (zh) 2024-05-03
TW202211160A (zh) 2022-03-16
TW202211673A (zh) 2022-03-16
TW202211161A (zh) 2022-03-16

Similar Documents

Publication Publication Date Title
US11689822B2 (en) Dual sensor imaging system and privacy protection imaging method thereof
Battiato et al. Exposure correction for imaging devices: an overview
US8811733B2 (en) Method of chromatic classification of pixels and method of adaptive enhancement of a color image
US20150170389A1 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
JP6685188B2 (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
WO2007126707A1 (en) Varying camera self-determination based on subject motion
CN106464816A (zh) 图像处理设备及其图像处理方法
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
CN106878605A (zh) 一种基于电子设备的图像生成的方法和电子设备
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
TWI797528B (zh) 雙感測器攝像系統及其隱私保護攝像方法
TW201536052A (zh) 使用曝光參數量測技術之高動態範圍影像產生方法
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
US11568526B2 (en) Dual sensor imaging system and imaging method thereof
US11869224B2 (en) Method and system for establishing light source information prediction model
CN113259634B (zh) 光源信息预测模型建立方法与系统
JP2003259231A (ja) 自動露出制御装置及びそのプログラム
Mangiat et al. Automatic scene relighting for video conferencing
Park et al. High dynamic range image acquisition from multiple low dynamic range images based on estimation of scene dynamic range
CN114697483A (zh) 基于压缩感知白平衡算法的屏下摄像装置及方法
CN118071658A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110166716A (zh) 图像处理设备和图像处理方法