TW202143119A - 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測 - Google Patents

在具有光強度廣泛範圍的場景中利用神經網路之物件偵測 Download PDF

Info

Publication number
TW202143119A
TW202143119A TW110112062A TW110112062A TW202143119A TW 202143119 A TW202143119 A TW 202143119A TW 110112062 A TW110112062 A TW 110112062A TW 110112062 A TW110112062 A TW 110112062A TW 202143119 A TW202143119 A TW 202143119A
Authority
TW
Taiwan
Prior art keywords
image
images
image set
neural network
scene
Prior art date
Application number
TW110112062A
Other languages
English (en)
Inventor
安琪亞斯 幕貝克
安東 雅各森
尼可拉斯 斯文森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202143119A publication Critical patent/TW202143119A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Abstract

本發明係關於用於處理由監視一場景(200)之一相機(202)記錄之影像的方法及裝置，包含電腦程式產品。接收一影像集(一組影像)(204、206、208)。該影像集(204、206、208)包含由該相機(202)記錄之該場景(200)之經不同曝光之影像。藉由一經訓練神經網路(210)處理該影像集(204、206、208)，該經訓練神經網路(210)經組態以執行影像資料中之物件偵測、物件分類及/或物件辨識，其中該神經網路(210)利用來自該影像集(204、206、208)中之至少兩個經不同曝光之影像之影像資料來偵測該影像集(204、206、208)中之物件。

Description

在具有光強度廣泛範圍的場景中利用神經網路之物件偵測
本發明係關於相機，且更明確言之係關於偵測、分類及/或辨識高動態範圍(HDR)影像中之物件。
影像感測器常用於諸如蜂巢式電話、相機及電腦之電子器件中以擷取影像。在一典型配置中，一電子器件具備一單一影像感測器及一單一對應鏡頭。在某些應用中，諸如在獲取具有大範圍的光強度之一場景之靜態或視訊影像時，可期望擷取HDR影像，以免歸因於飽和(即，過亮)或歸因於用一習知相機擷取之影像之低信雜比(即，過暗)而丟失資料。藉由利用HDR影像，可保留原本在一習知影像中將丟失之強光(highlight)及陰影細節。
HDR成像通常藉由合併相同場景之一短曝光及一長曝光而運作工作。有時，可涉及兩次以上曝光。由於藉由相同感測器擷取多次曝光，故需要在略微不同之時間擷取曝光，此可能引起運動假影或重影(ghosting)方面之時間問題。HDR影像之另一問題係對比度假影，此可為色調映射之副作用。因此，雖然HDR能夠減輕與在高對比度環境中擷取影像有關之一些問題，但其亦引入需要解決之一組不同問題。
根據一第一態樣，本發明係關於一種在一電腦系統中用於處理由監視一場景之一相機記錄之影像的方法。該方法包含： •接收一影像集，其中該影像集包含由該相機記錄之該場景之經不同曝光之影像；及 •藉由一經訓練神經網路處理該影像集，該經訓練神經網路經組態以執行以下之一或多者：影像資料中之物件偵測、物件分類及物件辨識，其中該神經網路利用來自該影像集中之至少兩個經不同曝光之影像之影像資料來偵測該影像集中之物件。
此提供一種改良用於偵測、分類及/或辨識其中將習知地利用HDR成像之場景中之物件之技術，同時避免呈運動假影、重影及對比度假影(僅舉幾個實例)之形式之常見HDR影像問題的方式。藉由對自一相機接收之一影像集而非一合併HDR影像進行操作，神經網路將存取更多資訊且可更準確地偵測、分類及/或辨識物件。可根據需要運用子網路擴展神經網路。例如，在一個實施方案中，可存在用於物件偵測及分類之一神經網路，及用於例如藉由參考已知物件例項之一資料庫來辨識物件之另一子網路。此使本發明適用於其中需要判定一影像中之一物件或人之身份的應用，諸如(舉例而言)在人臉辨識應用中。可有利地在一監視攝影機中實施該方法。此係有益的，因為在自相機傳輸一影像時，影像必須以適於傳輸之一格式進行編碼，且在此編碼程序中，可能存在對於神經網路偵測及分類物件有用之資訊之丟失。此外，在需要對相機組件(諸如影像感測器、光學器件、PTZ馬達等)進行調整以獲得更佳影像之情況下，緊靠影像感測器實施該方法最小化任何延時。根據各項實施例，可藉由一使用者起始此等調整或可藉由系統自動起始此等調整。
根據一項實施例，處理影像集可包含：僅處理各影像之一照度通道。照度通道通常含有足以容許物件偵測及分類之資訊，且因此可摒棄一影像中之其他色彩空間資訊。此減少需要傳輸至神經網路之資料量，且其亦減小神經網路之大小，此係因為每影像僅利用一個通道。
根據一項實施例，處理影像集可包含：處理各影像之三個通道。此容許藉由神經網路直接處理在三個色彩平面(諸如RGB、HSV、YUV等)中編碼之影像而不必進行影像之任何類型之預處理。
根據一項實施例，影像集可包含具有不同曝光時間之三個影像。在許多情況中，產生HDR影像之相機利用擷取具有變化曝光時間之影像之一或多個感測器。可利用個別影像作為至神經網路之輸入(而非將其等拼接在一起成為一HDR影像)。此可促進將本發明整合至現有相機系統中。
根據一項實施例，可在執行進一步影像處理之前在相機中執行處理。如上文所提及，此係有益的，因為其避免在處理影像以自相機傳輸時可能發生之任何資料丟失。
根據一項實施例，影像集中之影像表示來自一影像感測器之原始拜耳(Bayer)影像資料。由於神經網路不需要「查看」一影像，而是對值進行操作，故存在將不必創建可被人查看且理解之一影像的情況。代替性地，神經網路可直接對自感測器輸出之原始拜耳影像資料進行操作，此可更進一步改良本發明之準確性，因為其移除在影像感測器資料到達神經網路之前之另一處理步驟。
根據一項實施例，可藉由饋送在變化曝光及位移狀況下描繪之一已知物件之神經網路產生影像而進行訓練神經網路以偵測物件。存在含有已知物件之帶註釋影像之許多公開可用影像資料庫。可利用習知技術以模擬自一影像感測器至神經網路之傳入資料可能看起來像的樣子的方式來操縱此等影像。藉由進行此，且將此等影像連同關於在影像中描繪何物件之資訊一起饋送至神經網路，神經網路可經訓練以偵測將可能出現在藉由一相機擷取之一場景中之物件。此外，此訓練可在很大程度上自動化，此將提高訓練之效率。
根據一項實施例，物件可為一移動物件。即，本發明之各項實施例不僅可應用於靜態物件，而且應用於移動物件，此提高本發明之變通性。
根據一項實施例，影像集可為具有時間重疊或時間接近性之一影像序列、自具有不同信雜比之一或多個感測器獲得之一影像集、具有不同飽和位準之一影像集，及自具有不同解析度之兩個或更多個感測器獲得之一影像集。例如，可存在具有變化解析度或變化大小之數個感測器(一較大感測器每單位面積接收更多光子且通常對光更敏感)。作為另一實例，一個感測器可為一「黑白」感測器，即，不具有一彩色濾光片之一感測器，其將提供較高解析度及較高光敏度。作為又一實例，在一雙感測器設定中，感測器之一者可能比另一者快兩倍且記錄兩個「短曝光影像」，而藉由另一感測器記錄一「長曝光影像」。即，本發明不限於任何特定類型之影像，而是可代替性地適合於在所關注場景處可用之任何成像情境，只要針對相同類型之情況訓練神經網路即可。
根據一項實施例，物件可包含以下之一或多者：人、人臉、車輛及車輛牌照。此等係通常在場景中及在具有準確偵測、分類及辨識非常重要之應用中識別的物件。一般而言，本文中所描述之方法可應用於現有特定使用案例可能關注之任何物件。在此內容背景中，車輛可指代任何類型之車輛，諸如汽車、公共汽車、輕型機踏車、機車、小輪機踏車等(僅舉幾個實例)。
根據一第二態樣，本發明係關於一種用於處理由監視一場景之一相機記錄之影像的系統。記憶體含有在藉由處理器執行時引起該處理器執行一方法之指令，該方法包含： •接收一影像集，其中該影像集包含由該相機記錄之該場景之經不同曝光之影像；及 •藉由一經訓練神經網路處理該影像集，該經訓練神經網路經組態以執行以下之一或多者：影像資料中之物件偵測、物件分類及物件辨識，其中該神經網路利用來自該影像集中之至少兩個經不同曝光之影像之影像資料來偵測該影像集中之物件。
系統優點對應於方法之優點且可類似地變化。
根據一第三態樣，本發明係關於一種用於處理由監視一場景之一相機記錄之影像的電腦程式。該電腦程式含有對應於以下步驟之指令： •接收一影像集，其中該影像集包含由該相機記錄之該場景之經不同曝光之影像；及 •藉由一經訓練神經網路處理該影像集，該經訓練神經網路經組態以執行以下之一或多者：影像資料中之物件偵測、物件分類及物件辨識，其中該神經網路利用來自該影像集中之至少兩個經不同曝光之影像之影像資料來偵測該影像集中之物件。
該電腦程式涉及對應於方法之優點的優點且可類似地變化。
在隨附圖式及下文描述中闡述本發明之一或多項實施例之細節。將自描述及圖式以及自發明申請專利範圍明白本發明之其他特徵及優點。
概述
如上文所描述，本發明之各項實施例之一目標係提供用於偵測、分類及/或辨識HDR成像情境中之物件之經改良技術。本發明源於以下認識：可經訓練以偵測影像中之物件之卷積神經網路(CNN)亦可經訓練以藉由在一起處置影像集中之影像而偵測描繪相同場景但運用不同曝光擷取之一影像集中的物件。即，CNN可直接對輸入影像集進行操作，而非首先必須創建一HDR影像且接著偵測該HDR影像中之物件，如習知應用中之情況般。因此，根據本文中所描述之各項實施例，與一經特別設計且經訓練之CNN協作之一相機系統能夠比利用一HDR相機以及一習知CNN之當前系統更好地處置不同照明狀況。此外，藉由利用數個影像(與一經創建HDR影像相反)，存在可進行各種類型之影像分析之更多可用資料，與習知技術相比，此可導致更準確的物件偵測、分類及辨識。如上文所提及，在需要對相機組件(諸如影像感測器、光學器件、PTZ馬達等)進行調整以獲得更佳影像之情況下，緊靠影像感測器實施方法可最小化任何延時。
可例如藉由應用雜訊模型及數位增益或飽和以及物件之移動以模擬在不同圖框之間可能發生之物件移動、開放具有帶註釋影像之資料集而產生用於CNN之訓練資料，以達成具有物件之不同、人工應用曝光及移動之影像集。如熟習此項技術者認識到，訓練亦可經調適用於由相機監視之場景中之現有特定監視情境。現將藉由實例且參考圖示進一步詳細地描述各項實施例。術語
以下術語清單將在下文描述各項實施例時使用。
場景-一個三維實體空間，其大小及形狀係由記錄場景之一相機之視域定義。
物件-可看見且觸摸之一有形物(material thing)。一場景通常包含一或多個物件。物件可為靜止的(例如，建築物及其他結構)或移動的(例如，車輛)。如本文中使用之物件亦包含人及其他生物體，諸如動物、樹木等。可基於物件共有之共同特徵來將物件劃分為類別。例如，一個類別可為「汽車」；另一類別可為「人」；又一類別可為「家具」等等。在各類別內，可存在處於愈來愈細化級別之子類別。
卷積神經網路(CNN)-一類(a class of)深度神經網路，其最常應用於分析視覺影像(visual imagery)。CNN可匯入一輸入影像，給影像中之各種物件標註重要性(可學習權重及偏差)，且區分一個物件與另一物件。CNN為一般技術者所熟知，且因此本文中將不會詳細定義其等內部工作，而是將在下文描述其等在本發明之內容背景中之應用。
物件偵測-利用一CNN來偵測一影像(通常來自記錄一場景之一相機之一影像)中之一或多個物件的程序。即，CNN回答問題「所擷取影像表示什麼？」或更明確言之「影像中何處存在各類別(例如，汽車、貓、狗、建築物等)之物件？」
物件分類-利用一CNN來判定一或多個經偵測物件之類別，而非物件之特定例項之身份的程序。即，CNN回答諸如「影像中之經偵測狗係拉布拉多犬還是吉娃娃犬？」或「影像中之經偵測汽車係富豪還是賓士？」的問題，但其無法回答諸如「此人係Anton、Niclas還是Andreas？」的一問題。
物件辨識-利用一CNN來判定一物件之一例項之身份(通常透過與獨有物件例項之一參考集進行比較)的程序。即，CNN可比較一影像中分類為一人之一物件與一組已知人，且判定「此影像中之人係Andreas」之可能性。偵測 及分類 物件
以下實例實施例繪示本發明可如何用於偵測及分類由一相機記錄之一場景中之物件。圖1係展示根據一項實施例之用於偵測及分類物件之一方法100之一流程圖。圖2示意性地展示可實施方法之一環境。可根據特定監視場景之要求連續地或按各種間隔自動執行方法100，以有效率地偵測及分類由相機監視之一場景中之物件。
如圖2中可見，一相機202監視其中存在一人之一場景200。方法100以自相機202接收場景200之影像(步驟102)開始。在所繪示實施例中，分別自相機接收三個影像204、206及208。此等影像全部描繪相同場景200，但在變化曝光狀況下。例如，影像204可為一短曝光影像，影像206可為一中等曝光影像，且影像208可為一長曝光影像。通常，如一般技術者所熟知，可在相機202中利用一習知CMOS感測器來擷取影像。影像可在時間上接近，即，藉由一單一感測器在時間上彼此接近地擷取。例如，若一相機利用雙感測器且比如擷取一短曝光影像同時擷取一長曝光影像，則影像亦可能在時間上重疊。可基於監視場景處之現有特定情況來實施許多變動。
如一般技術者所熟知，可利用諸如RGB、YUV、HSV、YCBCR等之多種色彩空間來表示影像。在圖2中所展示之實施方案中，忽略影像204、206及208中之色彩資訊，且僅利用各自影像之照度通道(Y)中之資訊作為至一CNN 210之一輸入。由於照度通道含有可用於偵測及分類物件之特徵方面的全部「相關」資訊，故可摒棄色彩資訊。此外，此減少CNN 210之張量(即，輸入)之數目。例如，在圖2中所展示之特定情境中，CNN 210可具有三個張量，即，將習知地用於處理一單一RGB影像之相同數目個張量。
然而，應認識到，本發明之一般原理可擴展至基本上任何色彩空間。例如，在一個實施方案中，代替提供三個影像之各者之一單一照度通道作為至CNN 210之輸入，CNN 210可被饋送三個RGB影像，在該情況中，CNN 210將需要具有9個張量。即，利用RGB影像作為輸入將需要一較大CNN 210，但相同的一般原理仍將適用，且與每影像僅利用一個通道時相比，將無需對CNN 210進行重大設計改變。
可更進一步擴展此一般理念，使得在一些實施方案中，可甚至根本不需要將來自相機中之影像感測器之原始資料(例如，拜耳資料)內插至全部像素之一RGB表示中。代替性地，來自感測器之原始資料本身可用作至CNN 210之張量之輸入，藉此使CNN 210移動而更加靠近感測器本身且進一步減少可在將感測器資料轉換為一RGB表示時發生之資料丟失。
接著，CNN 210處理經接收影像資料以偵測及分類物件(步驟104)。此可藉由例如以一串接方式(即，在各別連續通道中添加資料，例如，r-長、g-長、b-長、r-短、g-短、b-短)將不同曝光饋送至CNN 210而完成。接著，CNN 210存取運用不同曝光取得之資訊，因此形成對場景之更豐富理解。接著，CNN 210藉由利用經訓練卷積核心繼續以提取且處理來自不同曝光之資料且因此權衡來自(若干)最佳曝光之資訊。為了以此方式處理影像資料，CNN 210必須經訓練以基於CNN 210接收之特定類型之輸入來偵測及分類物件。將在下一章節中描述CNN 210之預訓練。
最終，將來自CNN 210之處理之結果輸出為場景中之一經分類物件集212 (步驟106)，此結束程序。可以例如將容許藉由一人類使用者檢視或藉由其他系統組件進一步處理之任何形式輸出經分類物件集212，以執行物件辨識及類似任務。常見應用包含偵測及辨識人及車輛，但當然，本文中所描述之原理可用於辨識可能出現在由相機202擷取之場景200中之任何種類之物件。訓練神經網路
如上文所提及，必須在CNN 210可用於偵測及分類由相機202擷取之影像中之物件之前訓練CNN 210。可藉由利用帶註釋影像之一開放資料集且將各種類型之雜訊模型及數位增益/飽和以及物件之移動應用於影像，以模擬將習知地採用一HDR相機之一情境中可能發生之狀況，而產生用於CNN 210之訓練資料。藉由具有具人工應用曝光及移動之影像集，同時亦知曉「實況(ground truth)」 (即，物件之類型，諸如人臉、車輛牌照、人類等)，CNN 210可學會在接收到真實HDR影像資料時偵測及分類物件，如上文所論述。在一些實施例中，有利地利用在現實設定中將出現之雜訊模型及數位增益/飽和參數來訓練CNN 210。換言之，利用運用表示將在場景處利用之相機、影像感測器或系統之特定參數更改的影像之一開放資料集來訓練CNN 210。結束語
應注意，雖然已分別關於具有短、中等及長曝光時間之影像描述上述實施例，但相同原理可應用於一相同場景之基本上任何類型之變化曝光。例如，感測器中之不同類比增益可(通常)降低來自感測器之讀出中之雜訊位準。同時，以類似於在延長曝光時間時發生之調整之方式來調整場景之某些較亮部分。此導致影像中之不同SNR及飽和位準，其等可用於本發明之各種實施方案中。再者，應注意，雖然較佳地在相機202本身中執行上述方法，但並非要求如此，且可將影像資料自相機202發送至CNN 210定位於其中之另一處理設備以及可能進一步處理設備。
雖然已關於一單一CNN 210描述上述技術，但應認識到，此僅經進行用於繪示之目的，且在一現實實施方案中，CNN可包含神經網路之數個子集。例如，可利用一骨幹神經網路來發現特徵(例如，指示一「汽車」之特徵對指示一「人臉」之特徵)。另一神經網路可判定一場景內是否存在數個物件(例如，兩個汽車及三個人臉)。可添加又一網路以判定影像中之哪些像素屬於哪一物件等等。因此，在上述技術用於人臉辨識之目的之一實施方案中，可存在神經網路之若干子集。因此，當上文提及CNN 210時，應清楚此可能涉及若干神經網路。
如熟習此項技術者將瞭解，本發明之態樣可體現為一系統、方法或電腦程式產品。相應地，本發明之態樣可採取一完全硬體實施例、一完全軟體實施例(包含韌體、常駐軟體、微程式碼等)或組合軟體及硬體態樣之一實施例(其等全部可在本文中大體稱為一「電路」、「模組」或「系統」)的形式。此外，本發明之態樣可採取體現在具有體現於其上之電腦可讀程式碼之一或多個電腦可讀媒體中之一電腦程式產品的形式。
可利用一或多個電腦可讀媒體之任何組合。電腦可讀媒體可為一電腦可讀信號媒體或一電腦可讀儲存媒體。一電腦可讀儲存媒體可為例如(但不限於)一電子、磁性、光學、電磁、紅外線或半導體系統、裝置或器件，或前述內容之任何適合組合。電腦可讀儲存媒體之更多特定實例(一非詳盡清單)將包含以下：具有一或多個導線之一電連接、一可攜式電腦磁碟、一硬碟、一隨機存取記憶體(RAM)、一唯讀記憶體(ROM)、一可擦除可程式化唯讀記憶體(EPROM或快閃記憶體)、一光纖、一可攜式光碟唯讀記憶體(CD-ROM)、一光學儲存器件、一磁性儲存器件，或前述內容之任何適合組合。在本文件之內容背景中，一電腦可讀儲存媒體可為可含有或儲存一程式以藉由或結合一指令執行系統、裝置或器件利用之任何有形媒體。
一電腦可讀信號媒體可包含具有體現於其中(例如，在基帶中或作為一載波之部分)之電腦可讀程式碼之一傳播資料信號。此一傳播信號可採取多種形式之任何者，包含(但不限於)電磁、光學或其等之任何適合組合。一電腦可讀信號媒體可為任何電腦媒體，其並非一電腦可讀儲存媒體且可傳達、傳播或輸送一程式以藉由或結合一指令執行系統、裝置或器件利用。
可利用包含(但不限於)無線、有線、光纖纜線、RF等或前述內容之任何適合組合的任何適當媒體來傳輸體現於一電腦可讀媒體上之程式碼。用於實行本發明之態樣之操作的電腦程式碼可以一或多種程式設計語言之任何組合撰寫，該一或多種程式設計語言包含一物件導向程式設計語言(諸如Java、Smalltalk、C++或類似者)及習知程序程式設計語言(諸如「C」程式設計語言或類似程式設計語言)。程式碼可完全在使用者之電腦上執行、部分在使用者之電腦上執行(作為一獨立套裝軟體)、部分在使用者之電腦上且部分在一遠端電腦上執行，或完全在遠端電腦或伺服器上執行。在後者案例中，遠端電腦可透過包含一區域網路(LAN)或一廣域網路(WAN)之任何類型之網路連接至使用者之電腦，或可連接至一外部電腦(例如，透過利用一網際網路服務提供商之網際網路)。
參考根據本發明之實施例之方法、裝置(系統)及電腦程式產品之流程圖繪示及/或方塊圖來描述本發明之態樣。可藉由電腦程式指令來實施流程圖繪示及/或方塊圖之各方塊及流程圖繪示及/或方塊圖中之方塊之組合。此等電腦程式指令可提供至一通用電腦、專用電腦或其他可程式化資料處理裝置之一處理器以產生一機器，使得經由電腦或其他可程式化資料處理裝置之處理器執行的指令產生用於實施流程圖及/或方塊圖之一或多個方塊中所指定之功能/動作的構件。
此等電腦程式指令亦可儲存於一電腦可讀媒體中，該電腦可讀媒體可引導一電腦、其他可程式化資料處理裝置或其他器件以一特定方式起作用，使得儲存於電腦可讀媒體中之指令產生包含實施流程圖及/或方塊圖之一或多個方塊中所指定之功能/動作之指令的一製品。
電腦程式指令亦可載入至一電腦、其他可程式化資料處理裝置或其他器件上，以引起在電腦、其他可程式化裝置或其他器件上執行一系列操作步驟以產生一電腦實施程序，使得在電腦或其他可程式化裝置上執行之指令提供用於實施流程圖及/或方塊圖之一或多個方塊中所指定之功能/動作的程序。
圖中之流程圖及方塊圖繪示根據本發明之各項實施例之系統、方法及電腦程式產品之可能實施方案的架構、功能性及操作。在此方面，流程圖或方塊圖中之各方塊可表示指令之一模組、片段或部分，其包括用於實施(若干)指定邏輯功能之一或多個可執行指令。在一些替代實施方案中，方塊中所提及之功能可能不按圖中所述之順序發生。例如，連續展示之兩個方塊事實上可實質上同時執行，或方塊有時可按相反順序執行，此取決於所涉及之功能性。亦將注意，可藉由執行指定功能或動作或實行專用硬體及電腦指令之組合的基於專用硬體之系統來實施方塊圖及/或流程圖繪示之各方塊，及方塊圖及/或流程圖繪示中之方塊之組合。
本發明之各項實施例之描述已出於繪示之目的而呈現，但其不意欲為詳盡的或限於所揭示之實施例。在不脫離所描述實施例之範疇及精神之情況下，許多修改及變動對於一般技術者而言將為顯而易見的。因此，一般技術者可設想落在發明申請專利範圍之範疇內之許多其他變動。
應注意，雖然已藉由實例且關於一CNN描述上述實施方案，但亦可存在利用其他類型之神經網路或其他類型之演算法，且達成相同或類似結果的實施方案。因此，其他實施方案亦落在隨附發明申請專利範圍之範疇內。
本文中所利用之術語經選取以最佳地說明實施例之原理、實際應用或優於在市場上發現之技術之技術改良，或使其他的一般技術者能夠理解本文中所揭示之實施例。
100:方法 102:步驟 104:步驟 106:步驟 200:場景 202:相機 204:影像 206:影像 208:影像 210:卷積神經網路(CNN) 212:經分類物件集
圖1係展示根據一項實施例之用於偵測及分類由監視一場景之一相機記錄之影像中之物件的一方法之一流程圖。
圖2係展示根據一項實施例之擷取一場景之一相機及用於處理影像資料之一神經網路之一示意圖。
各個圖式中之相同元件符號指示相同元件。
100:方法
102:步驟
104:步驟
106:步驟

Claims (12)

  1. 一種用於處理由監視一場景之一相機記錄之影像的方法，該方法包括： 接收一影像集，其中該影像集包含該場景之一長曝光影像及一短曝光影像，其中藉由該相機在極為貼近或重疊之時間記錄該長曝光影像及該短曝光影像；及 藉由一經訓練神經網路處理該影像集，該經訓練神經網路經組態以執行以下之一或多者：影像資料中之物件偵測、物件分類及物件辨識，其中該神經網路利用來自該長曝光影像及該短曝光影像兩者之影像資料來偵測該影像集中之物件。
  2. 如請求項1之方法，其中處理該影像集包含：僅處理各影像之一照度通道。
  3. 如請求項1之方法，其中處理該影像集包含：處理各影像之三個通道。
  4. 如請求項1之方法，其中該影像集包含具有不同曝光時間之三個影像。
  5. 如請求項1之方法，其中在執行進一步影像處理之前在該相機中執行該處理。
  6. 如請求項1之方法，其中該影像集中之該等影像表示來自一影像感測器之原始拜耳影像資料。
  7. 如請求項1之方法，其進一步包括： 藉由饋送在變化之曝光及位移狀況下描繪之一已知物件之神經網路產生影像而訓練該神經網路以偵測物件。
  8. 如請求項1之方法，其中該物件係一移動物件。
  9. 如請求項1之方法，其中該影像集係以下之一者：具有時間重疊或時間接近性之一影像序列、自具有不同信雜比之一或多個感測器獲得之一影像集、具有不同飽和位準之一影像集，及自具有不同解析度之兩個或更多個感測器獲得之一影像集。
  10. 如請求項1之方法，其中該等物件包含以下之一或多者：人、人臉、車輛及車輛牌照。
  11. 一種用於處理由監視一場景之一相機記錄之影像的系統，其包括： 一記憶體；及 一處理器， 其中該記憶體含有在藉由該處理器執行時引起該處理器執行一方法的指令，該方法包含： 接收一影像集，其中該影像集包含由該相機記錄之該場景之經不同曝光之影像；及 藉由一經訓練神經網路處理該影像集，該經訓練神經網路經組態以執行以下之一或多者：影像資料中之物件偵測、物件分類及物件辨識，其中該神經網路利用來自該影像集中之至少兩個經不同曝光之影像之影像資料來偵測該影像集中之物件。
  12. 一種具有隨其體現之程式指令之非暫時性電腦可讀儲存媒體，該等程式指令可藉由一處理器執行以執行一方法，該方法包括： 接收一影像集，其中該影像集包含由一相機記錄之一場景之經不同曝光之影像；及 藉由一經訓練神經網路處理該影像集，該經訓練神經網路經組態以執行以下之一或多者：影像資料中之物件偵測、物件分類及物件辨識，其中該神經網路利用來自該影像集中之至少兩個經不同曝光之影像之影像資料來偵測該影像集中之物件。
TW110112062A 2020-05-07 2021-04-01 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測 TW202143119A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20173368.0 2020-05-07
EP20173368 2020-05-07

Publications (1)

Publication Number Publication Date
TW202143119A true TW202143119A (zh) 2021-11-16

Family

ID=70613715

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110112062A TW202143119A (zh) 2020-05-07 2021-04-01 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測

Country Status (5)

Country Link
US (1) US20210350129A1 (zh)
JP (1) JP2021193552A (zh)
KR (1) KR20210136857A (zh)
CN (1) CN113627226A (zh)
TW (1) TW202143119A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3979618A1 (en) * 2020-10-01 2022-04-06 Axis AB A method of configuring a camera
US11417125B2 (en) * 2020-11-30 2022-08-16 Sony Group Corporation Recognition of license plate numbers from Bayer-domain image data
JP7351889B2 (ja) 2021-12-02 2023-09-27 財団法人車輌研究測試中心 車室内監視・状況理解感知方法及びそのシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
KR101511853B1 (ko) * 2013-10-14 2015-04-13 영남대학교 산학협력단 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
US9674439B1 (en) * 2015-12-02 2017-06-06 Intel Corporation Video stabilization using content-aware camera motion estimation
US10769414B2 (en) * 2018-06-03 2020-09-08 Apple Inc. Robust face detection
US10803565B2 (en) * 2018-07-10 2020-10-13 Intel Corporation Low-light imaging using trained convolutional neural networks
KR20210059712A (ko) * 2018-08-07 2021-05-25 블링크에이아이 테크놀로지스, 아이엔씨. 이미지 향상을 위한 인공지능 기법
US10785419B2 (en) * 2019-01-25 2020-09-22 Pixart Imaging Inc. Light sensor chip, image processing device and operating method thereof
JP2020187409A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 画像認識装置、固体撮像装置、および画像認識方法
JP2020188310A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
JPWO2021095256A1 (zh) * 2019-11-15 2021-05-20

Also Published As

Publication number Publication date
CN113627226A (zh) 2021-11-09
KR20210136857A (ko) 2021-11-17
JP2021193552A (ja) 2021-12-23
US20210350129A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
TW202143119A (zh) 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
CN108764370B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
WO2019233394A1 (zh) 图像处理方法和装置、存储介质、电子设备
EP3579145A1 (en) Method and device for image processing, computer readable storage medium, and electronic device
WO2019233393A1 (zh) 图像处理方法和装置、存储介质、电子设备
EP3579148A1 (en) Method and apparatus for training, classification model, mobile terminal, and readable storage medium
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
CN108322651B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
US20220122360A1 (en) Identification of suspicious individuals during night in public areas using a video brightening network system
Liu et al. Soft prototyping camera designs for car detection based on a convolutional neural network
CN111368698A (zh) 主体识别方法、装置、电子设备及介质
US9189863B2 (en) Method and system for detecting motion capable of removing shadow by heat
CN113128522B (zh) 目标识别方法、装置、计算机设备和存储介质
JP2019028650A5 (zh)
CN112183235A (zh) 针对运动场所进行视频采集的自动控制方法
CN110688926B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN112069880A (zh) 活体检测方法、装置、电子设备和计算机可读介质
CN109982051B (zh) 具有动物识别功能的监控摄像方法、监控相机和存储介质
CN111353330A (zh) 图像处理方法、装置、电子设备及存储介质
WO2022125353A1 (en) Reducing false negatives and finding new classes in object detectors
KR20230064959A (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
CN113067980A (zh) 图像采集方法、装置、电子设备及存储介质
Baishya et al. Luminance Channel Based Camera Model Identification