TW202240273A - 紅外光引導人像重新打光 - Google Patents

紅外光引導人像重新打光 Download PDF

Info

Publication number
TW202240273A
TW202240273A TW110146864A TW110146864A TW202240273A TW 202240273 A TW202240273 A TW 202240273A TW 110146864 A TW110146864 A TW 110146864A TW 110146864 A TW110146864 A TW 110146864A TW 202240273 A TW202240273 A TW 202240273A
Authority
TW
Taiwan
Prior art keywords
image
scene
infrared
rgb
camera
Prior art date
Application number
TW110146864A
Other languages
English (en)
Other versions
TWI834085B (zh
Inventor
傑森 羅倫斯
蘇普瑞斯 阿查爾
夏志豪
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW202240273A publication Critical patent/TW202240273A/zh
Application granted granted Critical
Publication of TWI834085B publication Critical patent/TWI834085B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本發明揭示一種成像系統，其包含：一處理器；一記憶體；一可見光攝影機，其經組態以記錄一場景之一第一影像；及一紅外攝影機，其經組態以記錄該場景之一第二影像。該處理器經組態以執行儲存於該記憶體中之指令以將該第一影像及該第二影像輸入至一神經網路中。該神經網路基於該第二影像之特性重新打光該第一影像以對應於規範照明條件下之該場景之一影像。

Description

紅外光引導人像重新打光
本發明係關於電子成像，且特定言之，本發明係關於用於使場景及人像成像之攝影打光。
數位攝影使用含有電子光偵測器陣列之攝影機來捕捉由一透鏡聚焦之影像。經捕捉影像經數位化且儲存為準備用於進一步數位處理、觀看、電子出版或數位印刷之一電腦檔案。一數位影像或照片僅記錄光、色彩及陰影之圖案；打光在控制影像之品質中最重要。需要適當照明來捕捉適當曝光(例如，不太暗或褪色)之影像，具有正確色彩及陰影，且不受照明假影(例如陰影、閃光反射或條紋等等)影響。在一些類型之攝影(例如人像攝影)中，傳統上使用精細或複雜打光設置(例如，3點打光設置)(例如，在專業攝影師之一工作室設置中)來可控地打光一對象之臉部以獲得對象之臉部之高品質影像再現。消費者數位攝影機(例如，與智慧型手機整合)在現普通消費者(即非專業攝影師)廣泛使用。數位攝影手機改變傳統攝影之概念，主要因為可放在人們口袋內之一攝影手機更易於攜帶。使用者現在各種不受控照明條件下使用數位攝影機自由地拍攝場景(包含(例如)人像)。針對數位攝影機攝影，照明可由一「裝置上」光源(例如，附接至攝影機之一小光源/閃光燈)提供。針對數位攝影機攝影，仍需要小尺寸(例如口袋型)打光設置，其等可複製或模擬用於在較大設置(例如，專業攝影師之一工作室設置)中進行高品質成像之傳統受控打光設置。
在一般態樣中，一種成像系統包含：一可見光攝影機，其經組態以記錄一場景之一第一影像；及一紅外攝影機，其經組態以記錄該場景之一第二影像。該成像系統亦包含一處理器及一記憶體。該成像系統可包含或耦合至一神經網路。該處理器經組態以執行儲存於該記憶體中之指令以將該第一影像及該第二影像輸入至該神經網路中。該神經網路基於該第二影像之特性重新打光該第一影像以對應於規範照明條件下之該場景之一影像。該等規範照明條件包含一三點打光設置之一主光、一補光及一背光。
在一態樣中，該成像系統包含經組態以用紅外照明照明該場景之一紅外光源。該紅外光源可與該紅外攝影機之一投影中心並列。該可見光攝影機及該紅外攝影機可經並列且具有一相同或重疊視場。
在一態樣中，該處理器經組態以操作該可見光攝影機及該紅外攝影機以在一單次曝光週期中同時記錄該第一影像及該第二影像。
在一態樣中，包含於該成像系統中或耦合至該成像系統之該神經網路係一卷積神經網路(例如一U-Net)。該神經網路藉由以下之至少一者來重新打光該第一影像：移除陰影，移除鏡面假影及合成鏡面特徵。
在一般態樣中，一種電腦實施方法包含：接收由一紅綠藍(RGB)攝影機在一打光環境中記錄之一場景之一RGB影像；獲得由一紅外攝影機在該場景之紅外光照明下記錄之該場景之一紅外影像；將該場景之該RGB影像及該紅外影像兩者輸入至基於該場景之該紅外影像之特性重新打光該RGB影像之一神經網路中；及接收該重新打光之RGB影像作為神經網路之一輸出。該神經網路藉由以下之至少一者來重新打光該第一影像：移除陰影，移除鏡面假影及合成鏡面特徵。在一態樣中，獲得該場景之該紅外影像包含使該RGB攝影機及該紅外攝影機並列。
在一態樣中，獲得該場景之該紅外影像包含同時記錄該紅外影像作為該RGB攝影機對該場景之該RGB影像之一記錄。
在一態樣中，該電腦實施方法中使用之該神經網路藉由以下來訓練：提供包含多個光源之一光台以可控地照明場景；提供包含一可見光攝影機及一紅外攝影機之一攝影機系統以在受控照明條件下捕捉該等場景之影像；及使用該攝影機系統來記錄一訓練資料影像集以訓練該神經網路。該訓練包含：透過該神經網路處理來自該訓練資料集之一場景之一對可見光及紅外影像以產生該場景之一重新打光之紅綠藍(RGB)影像作為該場景之一輸出影像；及比較該場景之該重新打光之RGB影像輸出與該場景之一目標規範RGB影像。該訓練進一步包含：調整神經網路參數以減小該場景之該重新打光之RGB影像輸出與該場景之該目標規範RGB影像之間的差異。
在一般態樣中，一種用於訓練一神經網路以重新打光可見光影像之方法包含：提供包含多個光源之一光台以可控地照明場景；提供包含一可見光攝影機及一紅外攝影機之一攝影機系統以在受控照明條件下捕捉該等場景之影像；及使用該攝影機系統來記錄一訓練資料影像集。訓練該神經網路涉及：透過該神經網路處理來自該訓練資料集之一場景之一對可見光及紅外影像以產生該場景之一重新打光之紅綠藍(RGB)影像作為該場景之一輸出影像；比較該場景之該重新打光之RGB影像輸出與該場景之一目標規範RGB影像；及調整神經網路參數以減小該場景之該重新打光之RGB影像輸出與該場景之該目標規範RGB影像之間的差異。
在一態樣中，記錄該訓練資料影像集包含：調整該光台中之該多個光源以對應於該場景之一規範打光環境；及記錄該場景之該目標規範RGB影像。使用該攝影機系統來記錄該訓練資料影像集包含：逐一打開該光台中之該多個光源；及記錄該場景之一次一種光(OLAT) RGB影像及OLAT紅外影像對。
在一態樣中，記錄該訓練資料影像集進一步包含：組合在來自一個光源之照明下獲得之一場景之一第一OLAT RGB影像與在來自一或多個第二光源之照明下獲得之一或多個第二RGB影像以模擬該場景之一組合RGB影像。
在一態樣中，記錄該訓練資料影像集進一步包含：組合在來自一個光源之照明下獲得之一場景之一第一OLAT RGB影像與在來自其他光源之照明下獲得之一或多個RGB影像以模擬一組合RGB影像。
在一態樣中，使用該攝影機系統來記錄該訓練資料影像集進一步包含：記錄複數個不同場景之RGB影像及紅外影像。
在一態樣中，調整該等神經網路參數以減小該場景之該重新打光之RGB影像輸出與該場景之該目標規範RGB影像之間的差異涉及：評估一感知損失函數。
在一態樣中，調整該等神經網路參數以減小該場景之該重新打光之RGB影像輸出與該場景之該目標規範RGB影像之間的差異涉及：評估一最小絕對誤差(L1)函數。
在不受控可見照明(例如，可見波長中或紅綠藍(RGB)波長中之光)下獲得之場景(例如，一對象或一群對象之一人像)之一數位影像可具有不良品質(換言之，受諸如陰影、變色、不均勻打光等等之打光假影之影響)。術語「可見」及「RGB」可在本文中互換使用(例如，如同「可見光」或「RGB光」、「可見光影像」或「RGB影像」等等)。一RGB影像可因此尤其關於可依各種方式編碼之可見光之一影像。例如，一RGB影像可在RGB色彩空間中編碼或可替代地使用一照度-色度格式(諸如YIQ、YUV或YPbPr)編碼。在不受控可見照明下獲得之數位影像(例如一對象之一人像，包含(例如)對象之臉部、身軀及手)可含有照明相關之假影(例如對象之臉部之不均勻打光、來自其他表面之反射、強度斑點、過飽和或欠飽和量測、顯著雜訊、色彩變動、鏡面反射條紋、閃光眩光或斑點、陰影及其他與照明相關之假影等等)，其等降低影像之品質作為場景之一所要再現(例如，符合人像攝影之審美或藝術標準之一再現)。與可見照明相比，紅外照明(例如近紅外(NIR)照明)可為較佳的或更易於控制，例如因為來自近距離光源之紅外光之更簡單反射特性。在紅外照明下獲得之一數位影像中之強度變動比在不受控可見照明下獲得之數位影像中之強度變動或色彩變動更可能更準確地表示場景中之變動。此外，NIR照明在成像情境中更易於控制，例如因為在諸多室內環境中一般不存在環境或背景NIR光源。此外，用NIR光源補充一場景可比使用可見光閃光源破壞性更小。
本文中揭示用於增強在不受控可見照明下獲得之一影像之品質之系統及方法。所提出之解決方案可(例如)允許即使在用於捕捉影像之成像裝置不允許控制場景之一可見照明之情況下亦提供客觀上較佳或甚至具有專業品質之一場景之影像。
所揭示系統及方法可涉及：使用在一場景之紅外照明(例如NIR照明)下獲得之一第二數位影像(「紅外影像」)之特性來重新建構(重新打光)在場景之不受控或任意可見照明下獲得之一第一數位影像(「可見光影像」或「RGB影像」)。第一數位影像可為一黑白影像或一彩色影像，但為使描述簡單，在任一情況中，可在本文中指稱可見光影像或RGB影像。在不受控(或部分受控)可見照明下獲得第一數位影像可(例如)係關於在不控制至少一個照明源之一捕捉場景之照明之情況下捕捉第一影像。例如，包括用於獲得第一影像之一攝影機之一成像系統可甚至不包含或耦合至一人工照明源。此外，例如，即使用於照明場景，一人工照明源亦可不完全或僅部分(例如，僅自一側)照明場景。電腦實施演算法可用於重新建構在不受控可見照明下拍攝之RGB影像以獲得場景之一重新打光之RGB影像。重新建構可(例如)涉及：移除諸如陰影或反射光斑之打光假影及/或校正由打光假影遮蔽之特徵。演算法可取決於場景之紅外影像之特性。重新建構或重新打光之RGB影像可為將在來自一組規範可見光之照明下獲得之場景之一影像。如本文中所使用之術語「規範」照明可係指符合攝影(例如專業品質人像攝影)之一預定標準或可接受程序之照明。規範照明條件可係指由一組預定規範光提供之照明條件。
在實例性實施方案中，機器學習技術可用於訓練(即，判定)一神經網路以基於場景之紅外影像來重新建構或重新打光場景之RGB影像。可在一訓練資料影像集(包含RGB影像及紅外影像兩者)上訓練神經網路。在實例性實施方案中，神經網路可為一前饋「深度」神經網路。在實例性實施方案中，訓練資料影像集可包含在來自「一次一種光」(OLAT)啟動之一組可見或RGB光(例如一組規範RGB光)之點照明下獲得之場景之影像。經訓練用於在一組規範RGB光下重新打光RGB影像之神經網路在本文中可指稱「規範重新打光」之神經網路。
在實例性實施方案中，在不受控RGB照明下拍攝之一場景之一RGB影像及在紅外照明下獲得之場景之一紅外影像兩者可輸入至規範重新打光之神經網路中。接著，規範重新打光之神經網路參數(例如不同網路層之權重)可應用於RGB影像以產生將在一組規範可見或RGB光下獲得之場景之一重新建構或重新打光之RGB影像。紅外照明可(例如)藉由使用一成像系統之至少一個紅外光源來控制(與不受控且因此任意之RGB照明相比)。除RGB攝影機之外，成像系統可包含一紅外攝影機。
針對重新建構或重新打光，規範重新打光之神經網路可應用於一整個影像或影像之一部分(例如由一些類型之影像分割演算法判定之一區域)。在實例性實施方案中，規範重新打光之神經網路可包含或耦合至對應於針對影像分割(即，將一標籤分派給一影像中之每一像素使得具有相同標籤之像素共用某些特性之一程序)開發之一卷積神經網路(例如一U-Net)之一部分。在不受控RGB照明下拍攝之場景之RGB影像及在紅外照明下獲得之場景之紅外影像兩者可輸入至規範重新打光之神經網路之U-Net部分用於影像分割。接著，規範重新打光之神經網路參數(例如不同網路層之權重)可應用於經分割RGB影像以產生將在一組規範可見或RGB光下獲得之場景之一重新建構或重新打光之RGB影像。
圖1係繪示根據本發明之原理之可用於重新建構或重新打光一場景之一RGB影像之一實例性成像系統100的一方塊圖。成像系統100可經組態以在任意(因此，例如不良、微弱及/或非所要)打光條件(例如可見光20)下拍攝(例如)一場景10 (例如一對象12之人像影像)之影像。
成像系統100可包含一處理器150、一記憶體160、一可見光攝影機110、一紅外攝影機120及一紅外光源130。在一些實施方案中，以下組件之一或多對可經並列(換言之，具有相同(或大致相同)投影中心及相同(或大致相同)光軸)以具有相同投影中心(或大致相同投影中心)：可見光攝影機110、紅外攝影機120及紅外光源130。具有相同或大致相同投影中心之並列組件對(例如可見光攝影機110及紅外攝影機120)可具有相等或重疊視場。並列組件對(例如可見光攝影機110及紅外攝影機120)可具有相等或重疊視場。在一些實例性實施方案中，一或多對組件(例如可見光攝影機110及紅外光源130)可不經並列以具有相同或大致相同投影中心，但仍可具有至少重疊視場。在一些實施方案中，可見光攝影機110及紅外攝影機120之功能可組合於一單一攝影機單元中。
處理器150可經組態以執行儲存於(例如)記憶體160中之指令以實施用於處理影像之一神經網路(例如神經網路162)。神經網路可為一經訓練規範重新打光之神經網路。
可見光攝影機110可包含能夠記錄場景10之可見光影像(例如可見光影像40)之一可見光感測器(例如一RGB色彩感測器112)。紅外攝影機120可包含能夠記錄場景10之紅外影像(例如紅外影像50)之一紅外光感測器(例如一近紅外(NIR)感測器122)。在實例性實施方案中，可見光感測器(例如RGB色彩感測器112)及紅外光感測器(例如NIR感測器122)之可見及紅外影像記錄功能可由能夠記錄可見及紅外影像兩者之一單一固態感測器(圖中未展示)提供。在一些實例性實施方案中，如圖1中所展示，可使可見光攝影機110及紅外攝影機120並列(即，具有場景10之一相同視場14)。光學元件(例如一反射器142、一反射器144、分束器146等等)之一總成140可用於將光束重定向至紅外攝影機120且重定向來自紅外攝影機120之光束以達成與可見光攝影機110之並列。在其他實例性實施方案中，可不並列可見光攝影機110及紅外攝影機120 (即，具有場景10之不同視場)(圖中未展示)。
在成像系統100中，紅外光源130可為(例如)一紅外發光二極體(LED)或能夠產生紅外光(例如紅外光30)以照明場景10之其他裝置。在一些實例性實施方案中，紅外光源130可放置於紅外攝影機120旁邊。在一些實例性實施方案中，紅外光源130可與IR攝影機之投影中心並列，例如透過使用一分束器或其他光學裝置。在一些實例性實施方案中，如圖1中所展示，紅外光源130及紅外攝影機120兩者可與可見光攝影機110並列。
在實例性實施方案中，成像系統100可經操作(例如，由處理器150)以使用上述成像系統100之硬體組件(例如攝影機110及攝影機120)來捕捉場景10之一對視覺及紅外影像(例如可見光影像40及紅外影像50)。在一些實例性實施方案中，可見光影像40及紅外影像50可在一單次曝光中同時記錄。在一些實例性實施方案中，可見光影像40及紅外影像50不必在一單次曝光中同時記錄，但可在不同次時間相近曝光(例如連續曝光)中記錄。一可接受時間差可取決於成像場景之靜止或平穩性。運動補償或光學流動演算法可應用於校正此等連續曝光之間不會發生之場景中之任何運動。視覺及紅外影像對(例如可見光影像40及紅外影像50)可輸入至神經網路162中。在實例性實施方案中，規範重新打光之神經網路參數(例如不同網路層之權重)可應用於將可見光影像40重新建構為將在場景之一組規範可見光下獲得之場景之一重新建構或重新打光之可見光影像60。在實例性實施方案中，用於照明場景之一組規範可見光可基於專業人像攝影之原理且包含(例如)平衡輪廓光源、補光源及主光源之美觀「三點打光」。
在一些實施方案中，神經網路162可包含或耦合至一神經網路部分(例如U-Net 164)之分割演算法用於影像分割。U-Net 164可為(例如)針對影像分割(即，將一標籤分派給一影像中之每一像素使得具有相同標籤之像素共用某些特性之一程序)開發之一卷積神經網路。輸入至神經網路162中以重新打光之可見光影像40及紅外影像50可經首次處理且由分割演算法或神經網路部分(例如U-Net 164)分割。神經網路162之規範重新打光之神經網路參數(例如不同網路層之權重)可接著應用於影像區段以將輸入(可見光影像40)重新打光為重新打光之可見光影像60。
系統100可併入任何消費者電子成像裝置(例如數位攝影機、攝錄影機、數位電視機、個人電腦及包含智慧型電話、智慧型眼鏡等等之數個個人裝置)中或與其整合。
圖2繪示用於重新打光由一RGB攝影機在一不受控或任意打光環境中記錄之一場景之一RGB影像之一實例性方法200。在實例性實施方案中，方法200可在(例如)系統100(圖1)上實施。
方法200包含：接收由一RGB攝影機在一不受控或任意打光環境中記錄之一場景之一RGB影像(210)；及獲得由一紅外攝影機在來自一紅外源之紅外照明下記錄之場景之一紅外影像(220)。紅外源可定位成靠近紅外攝影機且經組態以用紅外光照明場景。在一些實施方案中，獲得一紅外影像220可包含使RGB攝影機及紅外攝影機並列。此外，獲得紅外影像220可包含使紅外源與RGB攝影機或紅外攝影機並列。
此外，獲得紅外影像220可包含在記錄場景之RGB影像同時或大致相同時間記錄紅外影像。在實例性實施方案中，RGB影像及紅外影像可由RGB攝影機及紅外攝影機在一單次曝光週期中捕捉或記錄。
方法200進一步包含將RGB影像及紅外影像兩者輸入至一神經網路中(230)。神經網路(例如一U-net)可經訓練以基於場景之共同輸入紅外影像之特性(例如幾何特性或特徵)來重新打光RGB影像。為此目的(即，重新打光RGB影像)，共同輸入之紅外影像之相關特性可為(例如)紅外影像中所識別之場景之幾何特徵。
方法200進一步包含接收重新打光之RGB影像作為神經網路之一輸出(240)。在實例性實施方案中，由經訓練神經網路輸出之重新打光之RGB影像可展示在一規範打光環境下重現呈現之場景。規範打光環境可為根據人像攝影之原理設計之打光環境(例如，包含平衡輪廓光源、補光源及主光源之一美觀「三點打光」設置)。
如先前所提及，系統100 (及/或方法200)中所使用之規範重新打光之神經網路(例如神經網路162)可藉由在一訓練資料影像集上訓練一神經網路來獲得。
圖3展示用於訓練一神經網路以處理可見光影像用於重新打光之一實例性方法300。所得經訓練神經網路可接收(例如)在不受控或任意打光條件下獲得之一場景(例如一人類對象或一群對象)之一RGB影像作為一輸入，且輸出對應於一規範打光環境(例如基於專業人像攝影之原理之一打光環境)之一重新打光之RGB影像。規範打光環境可(例如)包含用於人像對象之「三點打光」之平衡的補光源及主光源。可在(例如)一訓練資料影像集上訓練神經網路。訓練資料影像集可包含複數個場景之RGB影像及紅外影像。
實例性方法300可包含提供包含多個光源之一光台以可控地照明場景(310)，且提供包含一可見光攝影機及一紅外攝影機之一攝影機系統以在受控照明條件下捕捉場景之影像(320)，且使用攝影機系統來記錄一訓練資料影像集以訓練神經網路(330)。訓練資料影像集可包含各場景之RGB及紅外影像對。
在方法300中，光台(步驟310中所提供)可包含經組態以照明場景之可見光及紅外光源對。各對可見光及紅外光源可自一不同各自角度或定向或用一不同強度照明一場景。光台中之光源之各者可經組態以個別地打開或關閉以照明場景。在實例性實施方案中，光台可(例如)包含四對可見光及紅外光源。
在方法300中，提供一攝影機系統320可包含提供包含一並列可見光攝影機及一紅外攝影機(例如，具有一相同視場之攝影機)之一攝影機系統。
圖4A及圖4B展示可在方法300之步驟310及320中提供之一實例性攝影機系統(例如攝影機系統400)及一實例性光台(例如光台450)。
圖4A係繪示實例性攝影機系統400的一圖片。攝影機系統400可包含一可見光攝影機410、一紅外攝影機420及一第二紅外攝影機430。在一些實施方案中，攝影機系統可包含一光校準單元(例如光校準單元480)。在所展示之實例中，可見光攝影機410及紅外攝影機420使用(例如)分束器440來並列以具有一相同或重疊視場。並列之可見光攝影機410及紅外攝影機420可用於收集場景(例如人類對象)之可見光影像及紅外影像以包含於訓練資料影像集中。在實例性實施方案中，訓練資料影像可在由一光台(光台450，圖4B)提供之受控打光環境中之可見光照明及紅外照明下收集。
圖4B係繪示可提供受控的打光環境以收集訓練資料影像之實例性光台450的一圖片。
光台450可包含垂直安裝於一平台470上之一矩形框架460。垂直矩形框架460可定位於一平台(例如平台470)上之攝影機系統400 (圖4A)後面及周圍。一對象(圖中未展示)可坐於或立於平台470前面以面向垂直框架460及攝影機系統400。光台450可包含能夠自不同角度或定向照明攝影機系統400之視場中之對象之若干光源(例如四對可見光(VL)源及近紅外(NIR)光源)。在實例性實施方案中，如圖4B中所展示，四對VL源及NIR光源(例如對(VL 1A、NIR 1B)；對(VL 2A、NIR 2B)；對(VL 3A、NIR 3B)及對(VL 4A、NIR 4B))可固定至框架460之四個角。光台450可經組態使得個別VL源及NIR源可被一次一種光(OLAT)打開(例如，程式化地)以照明攝影機系統400之視場中之對象。
再次參考圖3，在方法300中，使用攝影機系統來記錄訓練資料影像集以訓練神經網路330可包含調整光台中之可見光及紅外光源對以對應於一場景之一規範打光環境(332)，且記錄該規範打光環境中之場景之一目標規範RGB影像(334)。記錄場景之目標規範RGB影像亦可包含記錄規範打光環境中之一規範紅外影像。在334中獲得之目標規範RGB影像可包含於訓練資料影像集中。在一些實施方案中，規範紅外影像亦可包含於訓練資料影像集中。
使用攝影機系統來記錄訓練資料影像集以訓練神經網路330可進一步包含逐一打開光台中之可見光及紅外光源且記錄場景之一次一種光(OLAT) RGB影像及OLAT紅外影像對(336)(例如，使用並列之RGB及紅外攝影機)。在336中獲得之一或多對OLAT RGB影像及OLAT紅外影像可包含於訓練資料影像集中。
一實例性訓練資料影像集可包含在由包含多個光源之一光台(例如光台450，圖4B)之照明下收集之場景(一人類對象)之約350對OLAT RGB影像及OLAT紅外影像。
使用攝影機系統來記錄訓練資料影像集以訓練神經網路330可進一步包含重複步驟332至336以記錄複數個不同場景(例如不同人類對象)之另一者之RGB影像及紅外影像。另一場景之目標規範RGB影像、OLAT RGB影像及OLAT紅外影像可包含於訓練資料影像集中。在實例性實施方案中，約5至20個不同場景(例如5至20個不同人類對象)之影像可包含於訓練資料影像集中。在一些實例性實施方案中，在來自一個光源之照明下獲得之一場景之一RGB影像(OLAT RGB影像)可與在來自一或多個第二光源之照明下獲得之一或多個RGB影像組合以模擬將在不受控或任意打光條件下獲得之一RGB影像(組合RGB影像)。類似地，在來自一個光源之照明下獲得之一紅外影像(OLAT紅外影像)可與在來自其他光源之照明下獲得之一或多個紅外影像組合以模擬將在任意打光條件下獲得之一紅外影像(組合紅外影像)。場景之組合RGB影像及組合紅外影像可包含於訓練資料影像集中。
方法300進一步包含透過神經網路處理來自訓練資料影像集之一場景之一對可見光及紅外影像(例如OLAT RGB影像及對應OLAT紅外影像，及組合RGB影像及對應組合紅外影像)以產生場景之一重新打光之RGB影像作為場景之一輸出影像(340)。神經網路可透過中間網路層處理輸入影像對(在一輸入網路層處接收)以在網路之一輸出層處產生輸出影像。各網路層可由包含(例如)網路層之權重、偏置及激勵函數之網路參數特徵化。
方法300可進一步包含比較場景之重新打光之RGB影像輸出(340)與場景之目標規範RGB影像，且調整神經網路參數以減小神經網路之重新打光之RGB影像輸出與場景之目標規範RGB影像之間的差異(350)。
在一些實例性實施方案中，在350中比較重新打光之RGB影像輸出與場景之目標規範RGB影像可涉及評估感知損失函數及/或最小絕對誤差(L1)函數。
在一些實例性實施方案中，在350中調整神經網路參數可包含調整網路層或各網路層之模型參數(例如權重、偏置及激勵函數)。
針對重新打光影像，神經網路可經訓練以移除陰影、移除非所要鏡面高亮或假影(歸因於不均勻打光)且合成合理鏡面高亮或特徵(例如眼睛)。
圖5A至圖5E及圖6A至圖6H展示可用於訓練所揭示神經網路或係由經訓練神經網路輸出之重新打光之影像(例如，根據方法300)之影像之實例。所展示之部分影像可(例如)使用圖4A及圖4B之設備獲取以包含於神經網路之訓練資料影像集中。
圖5A展示(例如)可包含於訓練資料影像集中之一對象之一OLAT RGB影像500A。圖5B展示(例如)圖5A之對象之一對應OLAT紅外影像500B。在圖5A及圖5B中所展示之實例中，OLAT RGB影像500A包含具有可由(例如)不均勻打光引起之陰影(例如陰影A)之區域。對應OLAT紅外影像500B展示具有陰影之較少對應區域或至少展示對應區域具有不如OLAT RGB影像500A中強烈之陰影。
圖5C展示(例如)藉由組合若干OLAT RGB影像以模擬不受控打光條件下之一RGB影像來獲得之一對象之一組合RGB影像500C，且圖5D展示圖5C之對象之一對應組合紅外影像500D。在圖5C及圖5D中所展示之實例中，組合OLAT RGB影像500C包含具有可(例如)由不均勻打光引起之陰影(例如陰影B)之區域。對應組合OLAT紅外影像500D展示具有陰影之較少對應區域或至少展示對應區域具有不如組合OLAT RGB影像500C中強烈之陰影。
圖5E展示一實例，在一組規範可見光下獲得之圖5C之對象之一目標規範RGB影像500E。在所展示之實例中，目標OLAT RGB影像500C包含具有陰影(例如陰影C)之區域。然而，組合OLAT RGB影像500C (圖5C)中之對象後面之壁上所見之陰影(例如陰影B)減少。圖5F展示藉由透過神經網路處理組合RGB影像500C (圖5C)及組合紅外影像500D (圖5D)獲得之一重新打光RGB影像500F且展示重新打光之RGB影像500F具有可與目標OLAT RGB影像500C之外觀比較之一外觀。
圖6A展示(例如)可包含於訓練資料影像集中之一對象之一紅外影像600A，且圖6B展示(例如)紅外影像600A之一右眼區域之一分解圖；圖6C展示(例如)在一不受控打光環境中獲得之圖6A之對象之一RGB影像600C，且圖6D展示(例如)RGB影像600C之一右眼區域之一分解圖；圖6E展示(例如)在一組規範可見光下獲得之圖6A之對象之一目標規範RGB影像600E，且圖6F展示(例如)目標規範RGB影像600E之一右眼區域之一分解圖；且圖6G展示(例如)藉由透過神經網路處理紅外影像600A及RGB影像600C來獲得之一重新打光之RGB影像600F，且圖6H展示(例如)重新打光之RGB影像600G之一右眼區域之一分解圖。
如可藉由圖6A至圖6G之視覺檢查來注意，紅外影像600A及RGB影像600C中所展示之對象之眼睛缺乏目標規範RGB影像600E中所展示之對象之眼睛中所見之閃光(例如，閃光E)。然而，經訓練神經網路能夠合成或恢復藉由處理紅外影像600A及RGB影像600C來獲得之重新打光之RGB影像600F中之鏡面高亮(例如眼睛)。在(例如)圖6F及圖6G中描繪經合成及恢復之鏡面高亮(例如眼睛中之閃光E)。
圖7展示一電腦裝置700及一行動電腦裝置750之一實例，其等可與成像系統100 (及可併入成像系統100之組件之消費者電子裝置，諸如智慧型眼鏡)及此處所描述之技術一起使用。運算裝置700意欲表示各種形式之數位電腦，諸如膝上型電腦、桌上型電腦、工作台、個人數位助理、伺服器、刀鋒型伺服器、主機及其他適合電腦。運算裝置750意欲表示各種形式之行動裝置，諸如個人數位助理、蜂巢式電話、智慧型電話及其他類似運算裝置。此處所展示之組件、其等連接及關係及其等功能意欲僅為例示性的，且不意欲限制本發明中所描述及/或主張之發明之實施方案。
運算裝置700包含：一處理器702；記憶體704；一儲存裝置706；一高速介面708，其連接至記憶體704及高速擴充埠710；及一低速介面712，其連接至低速匯流排714及儲存裝置706。組件702、704、706、708、710及712之各者使用各種匯流排來互連，且可安裝於一共同母板上或視需要依其他方式安裝。處理器702可處理用於在運算裝置700內執行之指令(包含儲存於記憶體704中或儲存裝置706上之指令)以將一GUI之圖形資訊顯示於一外部輸入/輸出裝置(諸如耦合至高速介面708之顯示器716)上。在一些實施方案中，多個處理器及/或多個匯流排可視需要與多個記憶體及多種記憶體一起使用。此外，可連接多個運算裝置700，其中各裝置提供必要操作之部分(例如，作為一伺服器組、一組刀鋒型伺服器或一多處理器系統)。
記憶體704將資訊儲存於運算裝置700內。在一些實施方案中，記憶體704係一或多個揮發性記憶體單元。在一些實施方案中，記憶體704係一或多個非揮發性記憶體單元。記憶體704亦可為另一形式之電腦可讀媒體，諸如一磁碟或光碟。
儲存裝置706能夠針對運算裝置700提供大容量儲存。在一些實施方案中，儲存裝置706可為或含有一電腦可讀媒體，諸如一軟碟裝置、一硬碟裝置、一光碟裝置或一膠帶裝置、一快閃記憶體或其他類似固態記憶體裝置或一裝置陣列(包含一儲存區域網路或其他組態中之裝置)。電腦程式產品可有形地體現於一資訊載體中。電腦程式產品亦可含有在被執行時執行一或多個方法(諸如上文所描述之方法)之指令。資訊載體係一電腦或機器可讀媒體，諸如記憶體704、儲存裝置706或處理器702上之記憶體。
高速控制器708管理運算裝置700之帶寬密集型操作，而低速控制器712管理較低帶寬密集型操作。此等功能分配僅係例示的。在一些實施方案中，高速控制器708耦合至記憶體704、顯示器716 (例如，透過一圖形處理器或加速器)及高速擴充埠710 (其可接受各種擴充卡(圖中未展示))。在實施方案中，低速控制器712耦合至儲存裝置706及低速擴充埠714。可包含各種通信埠(例如USB、藍芽、乙太網路、無線乙太網路)之低速擴充埠可(例如)透過一網路轉接器耦合至一或多個輸入/輸出裝置(諸如一鍵盤、一指向裝置、一掃描器)或一聯網裝置(諸如一開關或路由器)。
運算裝置700可依數目個不同形式實施，如圖式中所展示。例如，其可實施為一標準伺服器720，或在一組此等伺服器中多次實施。其亦可實施為一機架伺服器系統724之部分。另外，其可在諸如一膝上型電腦722之一個人電腦中實施。替代地，來自運算裝置700之組件可與一行動裝置(圖中未展示)(諸如裝置750)中之其他組件組合。此等裝置之各者可含有運算裝置700、750之一或多者，且一整個系統可由彼此通信之多個運算裝置700、750組成。
運算裝置750包含一處理器752、記憶體764、一輸入/輸出裝置(諸如一顯示器754)、一通信介面766及一收發器768以及其他組件。裝置750亦可具有用於提供額外儲存之一儲存裝置，諸如一微型硬碟或其他裝置。使用各種匯流排來使組件752、754、764、766及768之各者互連，且若干組件可安裝於一共同母板上或視需要依其他方式安裝。
處理器752可執行運算裝置750內之指令，包含儲存於記憶體764中之指令。處理器可實施為包含單獨及多個類比及數位處理器之晶片之一晶片組。處理器可提供(例如)裝置750之其他組件之協調，諸如使用者介面之控制、由裝置750運行之應用程式及裝置750之無線通信。
處理器752可透過耦合至一顯示器754之控制介面758及顯示介面756與一使用者通信。顯示器754可為(例如)一TFT LCD (薄膜電晶體液晶顯示器)或一OLED (有機發光二極體)顯示器，或其他適當顯示技術。顯示介面756可包括用於驅動顯示器754以向一使用者呈現圖形及其他資訊之適當電路系統。控制介面758可接收來自一使用者之命令且將其轉換以提交至處理器752。另外，可提供與處理器752通信以使裝置750能夠與其他裝置近區域通信之一外部介面762。外部介面762可在一些實施方案中提供(例如)有線通信，或在一些實施方案中提供無線通信，且亦可使用多個介面。
記憶體764將資訊儲存於運算裝置750內。記憶體764可實施為一或多個電腦可讀媒體、一或多個揮發性記憶體單元或一或多個非揮發性記憶體單元之一或多者。擴充記憶體774亦可經提供且透過擴充介面772 (其可包含(例如)一SIMM (單列直插記憶體模組)卡介面)連接至裝置750。此等擴充記憶體774可提供裝置750之額外儲存空間，或亦可儲存裝置750之應用程式或其他資訊。明確而言，擴充記憶體774可包含用於實行或補充上述程序之指令，且亦可包含安全資訊。因此，例如，擴充記憶體774可提供為裝置750之一安全模組，其可用容許裝置750之安全使用之指令程式化。另外，安全應用程式可經由SIMM卡與額外資訊一起提供，諸如依一不可破解方式將識別資訊放置於SIMM卡上。
記憶體可包含(例如)快閃記憶體及/或NVRAM記憶體，如下文將討論。在一些實施方案中，一電腦程式產品有形地體現於一資訊載體中。電腦程式產品含有在被執行時執行一或多個方法(諸如上文所描述之方法)之指令。資訊載體係可(例如)通過收發器768或外部介面762接收之一電腦或機器可讀媒體，諸如記憶體764、擴充記憶體774或處理器752上之記憶體。
裝置750可透過通信介面766(其在必要時可包含數位信號處理電路系統)無線通信。通信介面766可提供各種模式或協定下之通信，諸如GSM語音呼叫、SMS、EMS或MMS傳訊、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等。此等通信可(例如)透過射頻收發器768發生。另外，可發生短距離通信，諸如使用一藍芽、Wi-Fi或其他此類收發器(圖中未展示)。另外，GPS (全球定位系統)接收器模組770可向裝置750提供額外導航及位置相關無線資料，其可視需要由在裝置750上運行之應用程式使用。
裝置750亦可使用音訊編解碼器760 (其可接收來自一使用者語音資訊且將其轉換成可用數位資訊)可聽通信。音訊編解碼器760可同樣地針對一使用者產生可聽聲音，諸如透過(例如)裝置750之一手機中之一揚聲器。此聲音可包含來自語音電話呼叫之聲音，可包含記錄聲音(例如語音訊息、音樂檔案等等)且亦可包含由在裝置750上操作之應用程式產生之聲音。
運算裝置750可依數目個不同形式實施，如圖式中所展示。例如，其可實施為一蜂巢式電話780。其亦可實施為一智慧型電話782、個人數位助理或其他類似行動裝置之部分。
此處所描述之系統及技術之各種實施方案可在數位電子電路、積體電路、專門設計之ASIC (專用積體電路)、電腦硬體、韌體、軟體及/或其等之組合中實現。此等各種實施方案可包含在一可程式化系統上可執行及/或可解譯之一或多個電腦程式中之實施方案，該可程式化系統包含至少一個可程式化處理器，其可為特殊或通用的、經耦合以自一儲存系統、至少一個輸入裝置及至少一個輸出裝置接收資料及指令及將資料及指令傳輸至一儲存系統、至少一個輸入裝置及至少一個輸出裝置。此處所描述之系統及技術之各種實施方案可實現為及/或一般在本文中指稱可組合軟體及硬體態樣之一電路、一模組、一區塊或一系統。例如，一模組可包含在一處理器(例如形成於一矽基板、一GaAs基板及其類似者上之一處理器)或一些其他可程式化資料處理設備上執行之功能/動作/電腦程式指令。
以上實例性實施方案之若干者經描述為如流程圖所描繪之程序或方法。儘管流程圖將操作描述為循序程序，但諸多操作可並行、同步或同時執行。另外，可重新配置操作之順序。程序可在其操作完成時終止，但亦可具有不包含於圖式中之額外步驟。程序可對應於方法、功能、程序、子常式、子程式等等。
上文所討論之方法(其等之部分由流程圖繪示)可由硬體、軟體、韌體、中間體、微碼、硬體描述語言或其等之任何組合實施。當在軟體、韌體、中間體或微碼中實施時，用於執行必要任務之程式碼或碼段可儲存於一機器或電腦可讀媒體(諸如一儲存媒體)中。一處理器可執行必要任務。
本文中所揭示之特定結構及功能細節僅為描述實例性實施方案之代表。然而，實例性實施方案可依諸多替代形式體現且不應被解釋為僅限於本文中所闡述之實施方案。
應理解，儘管術語第一、第二等等在本文中可用於描述各種元件，但此等元件不應受此等術語限制。此等術語僅用於區分一元件與另一元件。例如，在不背離實例性實施方案之範疇之情況下，一第一元件可稱為一第二元件，且相似地，一第二元件可稱為一第一元件。如本文中所使用，術語及/或包含相關聯列項之一或多者之任何及全部組合。
應理解，當一元件指稱連接或耦合至另一元件時，其可直接連接或耦合至另一元件或可存在中介元件。相比之下，當一元件指稱直接連接或直接耦合至另一元件時，不存在中介元件。應依一相同方式解譯用於描述元件之間的關係之其他用語(例如「在…之間」對「直接在…之間」、「相鄰」對「直接相鄰」等等)。
本文中所使用之術語僅為描述特定實施方案且不意欲限制實例性實施方案。如本文中所使用，除非內文另有明確指示，否則單數形式一及該意欲亦包含複數形式。應進一步理解，術語包括(comprises/comprising)及/或包含(includes/including)在用於本文中時特指存在所陳述特徵、整體、步驟、操作、元件及/或組件，但不排除存在或添加一或多個其他特徵、整體、步驟、操作、元件、組件及/或其群組。
亦應注意，在一些替代實施方案中，所提及之功能/行為可不依圖式中所提及之順序發生。例如，取決於所涉及之功能性/行為，實際上可同時執行連續所展示之兩個圖式，或有時可依相反順序執行連續所展示之兩個圖式。
除非另有界定，否則本文中所使用之全部術語(包含技術及科學術語)與實例性實施方案所屬之技術領域之熟習技術者一般情況下所理解的意思相同。應進一步理解，術語(例如，在通常所使用之字典中所界定之術語)應解譯為具有與相關技術領域之背景中之其意思一致的意思，且除非本文中明確定義，否則不應在一理想的或過分形式化的意義上進行解譯。
根據一電腦記憶體內之資料位元之操作之軟體、演算法及符號表示來呈現以上實例性實施方案及對應詳細描述之部分。此等描述及表示係熟習技術者將其等工作的實質有效傳達至其他熟習技術者之描述及表示。如此處所使用之術語且如一般使用，一演算法被設想為導致一所要結果之一自行一致操作序列。步驟係需要實體量之實體調處之步驟。通常(但非必然)，此等量採用能夠被儲存、被轉移、被組合、被比較及否則被調處之光學信號、電信號或磁信號之形式。已證實，主要因常用之原因，將此等信號稱作位元、值、元件、符號、字元、術語、數字或類似者有時是方便的。
在以上繪示性實施方案中，對可實施為程式模組或功能程序之操作之動作及符號表示(例如，呈流程圖之形式)之參考包含常式、程式、物件、組件、資料結構等等，其等執行特定任務或實施特定抽象資料類型且可使用既有結構元件處之既有硬體來描述及/或實施。此等既有硬體可包含一或多個中央處理單元(CPU)、數位信號處理器(DSP)、專用積體電路、場可程式化閘陣列(FPGA)電腦或其類似者。
然而，應牢記，所有此等及類似術語應與適當實體量相關聯且僅為應用於此等量之方便標記。除非另有明確說明，或如自討論明白，術語諸如處理或運算或計算或判定顯示或其類似者係指一電腦系統或類似電子運算裝置或行動電子運算裝置之動作及程序，其操縱表示為電腦系統之暫存器及記憶體內之實體(電子)量之資料且將其變換成類似地表示為電腦系統記憶體或暫存器或其他此類資訊儲存、傳輸或顯示裝置內之實體量之其他資料。
亦應注意，實例性實施方案之軟體實施態樣通常編碼於某種形式之非暫時性程式儲存媒體上或通過某種類型之傳輸媒體實施。程式儲存媒體可為磁性的(例如一軟碟或一硬碟)或光學的(例如一光碟-唯讀記憶體或CD ROM)，且可為唯讀或隨機存取的。類似地，傳輸媒體可為雙絞線、同軸電纜、光纖或技術中已知之一些其他適合傳輸媒體。實例性實施方案不限於任何給定實施方案之此等態樣。
最後，亦應注意，儘管隨附申請專利範圍陳述本文中所描述之特徵之特定組合，但本發明之範疇不限於下文所主張之特定組合，而是延伸以涵蓋本文中所揭示之特徵或實施方案之任何組合，不論此時是否在隨附申請專利範圍中明確列舉特定組合。
儘管實例性實施方案可包含各種修改及替代形式，但其實施方案以實例方式展示圖式中且將在本文中詳細描述。然而，應理解，並非意欲使實例性實施方案限於所揭示之特定形式，相反，實例性實施方案將涵蓋落於申請專利範圍之範疇內之所有修改、等效物及替代物。相同元件符號係指全部圖式之描述中之相同元件。
1A:VL 1B:NIR 2A:VL 2B:NIR 3A:VL 3B:NIR 4A:VL 4B:NIR 10:場景 12:對象 14:視場 20:可見光 30:紅外光 40:可見光影像 50:紅外影像 60:重新建構或重新打光之可見光影像 100:成像系統 110:可見光攝影機 112:RGB色彩感測器 120:紅外攝影機 122:近紅外(NIR)感測器 130:紅外光源 140:總成 142:反射器 144:反射器 146:分束器 150:處理器 160:記憶體 162:神經網路 164:U-Net 200:方法 210:接收場景之RGB影像 220:獲得場景之紅外影像 230:將RGB影像及紅外影像輸入至神經網路中 240:接收重新打光之RGB影像 300:方法 310:提供光台 320:提供攝影機系統 330:使用攝影機系統來記錄訓練資料影像集 332:步驟 334:步驟 336:步驟 340:產生場景之重新打光之RGB影像 350:調整神經網路參數 400:攝影機系統 410:可見光攝影機 420:紅外攝影機 430:第二紅外攝影機 440:分束器 450:光台 460:矩形框架 470:平台 480:光校準單元 500A:OLAT RGB影像 500B:對應OLAT紅外影像 500C:組合OLAT RGB影像 500D:對應組合紅外影像 500F:重新打光RGB影像 600A:紅外影像 600C:RGB影像 600E:目標規範RGB影像 600F:重新打光之RGB影像 700:電腦裝置/運算裝置 702:處理器 704:記憶體 706:儲存裝置 708:高速介面/高速控制器 710:高速擴充埠 712:低速介面/低速控制器 714:低速匯流排/擴充埠 716:顯示器 720:標準伺服器 722:膝上型電腦 724:機架伺服器系統 750:行動電腦裝置/運算裝置 752:處理器 754:顯示器 756:顯示介面 758:控制介面 760:音訊編解碼器 762:外部介面 764:記憶體 766:通信介面 768:收發器 770:接收器模組 772:擴充介面 774:擴充記憶體 780:蜂巢式電話 782:智慧型電話 A:陰影 B:陰影 C:陰影 E:閃光
圖1係繪示根據本發明之原理之用於重新建構或重新打光一場景之一RGB影像之一實例性成像系統的一方塊圖。
圖2繪示用於重新打光由一RGB攝影機在一不受控或任意打光環境中記錄之一場景之一RGB影像之一實例性方法。
圖3繪示用於訓練一神經網路以處理可見光影像用於重新打光之一實例性方法。
圖4A係繪示一實例性攝影機系統之一示意圖。
圖4B係繪示可提供受控打光環境用於收集訓練資料影像之一實例性光台的一示意圖。
圖5A至圖5E繪示可用於訓練一神經網路或係由經訓練神經網路輸出之重新打光影像之影像之實例。
圖6A至圖6H展示可用於訓練一神經網路或係由經訓練神經網路輸出之重新打光影像之影像之實例。
圖7繪示可與此處所描述之技術一起使用之一運算裝置及一行動運算裝置之一實例。
應注意，圖式意欲繪示某些實例性實施方案中所利用之方法、結構或材料之一般特性且補充下文將提供之書面描述。然而，圖式不必按比例繪製且可不精確反映任何給定實施方案之精確結構或效能特性，且不應解譯為界定或限制由實例性實施方案涵蓋之值或性質之範圍。在各種圖式中使用類似或相同元件符號意在指示各種圖式中存在一類似或相同元件或特徵。
10:場景
12:對象
14:視場
20:可見光
30:紅外光
40:可見光影像
50:紅外影像
60:重新建構或重新打光之可見光影像
100:成像系統
110:可見光攝影機
112:RGB色彩感測器
120:紅外攝影機
122:近紅外(NIR)感測器
130:紅外光源
140:總成
142:反射器
144:反射器
146:分束器
150:處理器
160:記憶體
162:神經網路
164:U-Net

Claims (22)

  1. 一種成像系統，其包括： 一可見光攝影機，其經組態以記錄一場景之一第一影像； 一紅外攝影機，其經組態以記錄該場景之一第二影像； 一處理器；及 一記憶體， 該處理器經組態以執行儲存於該記憶體中之指令以將該第一影像及該第二影像輸入至一神經網路中，該神經網路基於該第二影像之特性重新打光該第一影像以對應於規範照明條件下之該場景之一影像。
  2. 如請求項1之成像系統，其進一步包括：一紅外光源，其經組態以用紅外照明照明該場景。
  3. 如請求項2之成像系統，其中該紅外光源與該紅外攝影機並列。
  4. 如請求項1至3中任一項之成像系統，其中該可見光攝影機及該紅外攝影機並列且具有一相同或重疊視場。
  5. 如前述請求項中任一項之成像系統，其中該等規範照明條件包含一三點打光設置之一主光、一補光及一背光。
  6. 如前述請求項中任一項之成像系統，其中該處理器經組態以操作該可見光攝影機及該紅外攝影機以在一單次曝光週期中同時記錄該第一影像及該第二影像。
  7. 如前述請求項中任一項之成像系統，其中該神經網路係一卷積神經網路。
  8. 如請求項7之成像系統，其中該卷積神經網路包含一U-Net。
  9. 如前述請求項中任一項之成像系統，其中該神經網路藉由以下之至少一者來重新打光該第一影像： 移除陰影； 移除鏡面假影；及 合成鏡面特徵。
  10. 一種電腦實施方法，其包括： 接收由一紅綠藍(RGB)攝影機在一打光環境中記錄之一場景之一RGB影像； 獲得由一紅外攝影機在該場景之紅外光照明下記錄之該場景之一紅外影像； 將該場景之該RGB影像及該紅外影像兩者輸入至一神經網路中，該神經網路基於該場景之該紅外影像之特性來重新打光該RGB影像；及 接收該重新打光之RGB影像作為神經網路之一輸出。
  11. 如請求項10之方法，其中該神經網路藉由以下之至少一者來重新打光該RGB影像： 移除陰影； 移除鏡面假影；及 合成鏡面特徵。
  12. 如請求項10或11之方法，其中獲得該場景之該紅外影像包含使該RGB攝影機及該紅外攝影機並列。
  13. 如請求項12之方法，其中獲得該紅外影像包含同時記錄該紅外影像作為由該RGB攝影機對該場景之該RGB影像之一記錄。
  14. 如請求項10至13中任一項之方法，其中該神經網路藉由以下來訓練： 提供包含多個光源之一光台以可控地照明場景； 提供包含一可見光攝影機及一紅外攝影機之一攝影機系統以在受控照明條件下捕捉該等場景之影像； 使用該攝影機系統來記錄一訓練資料影像集以訓練該神經網路； 透過該神經網路處理來自該訓練資料集之一場景之一對可見光及紅外影像以產生該場景之一重新打光之紅綠藍(RGB)影像作為該場景之一輸出影像；及 比較該場景之該重新打光之RGB影像輸出與該場景之一目標規範RGB影像，且調整神經網路參數以減小該場景之該重新打光之RGB影像輸出與該場景之該目標規範RGB影像之間的差異。
  15. 一種用於訓練一神經網路以重新打光可見光影像之方法，該方法包括： 提供包含多個光源之一光台以可控地照明場景； 提供包含一可見光攝影機及一紅外攝影機之一攝影機系統以在受控照明條件下捕捉該等場景之影像； 使用該攝影機系統來記錄一訓練資料影像集以訓練該神經網路； 透過該神經網路處理來自該訓練資料集之一場景之一對可見光及紅外影像以產生該場景之一重新打光之紅綠藍(RGB)影像作為該場景之一輸出影像；及 比較該場景之該重新打光之RGB影像輸出與該場景之一目標規範RGB影像，且調整神經網路參數以減小該場景之該重新打光之RGB影像輸出與該場景之該目標規範RGB影像之間的差異。
  16. 如請求項15之方法，其中記錄該訓練資料影像集包含調整該光台中之該多個光源以對應於該場景之一規範打光環境，且記錄該場景之該目標規範RGB影像。
  17. 如請求項15或16之方法，其中使用該攝影機系統來記錄該訓練資料影像集包含逐一打開該光台中之該多個光源，且記錄該場景之一次一種光(OLAT) RGB影像及OLAT紅外影像對。
  18. 如請求項17之方法，其進一步包括組合在來自一個光源之照明下獲得之一場景之一第一OLAT RGB影像與在來自一或多個第二光源之照明下獲得之一或多個第二RGB影像以模擬該場景之一組合RGB影像。
  19. 如請求項17之方法，其進一步包括組合在來自一個光源之照明下獲得之一場景之所有OLAT RGB影像與在來自其他光源之照明下獲得之一或多個RGB影像以模擬一組合RGB影像。
  20. 如請求項15至19中任一項之方法，其中使用該攝影機系統來記錄該訓練資料影像集包含記錄複數個不同場景之RGB影像及紅外影像。
  21. 如請求項15至20中任一項之方法，其中調整該等神經網路參數以減小該場景之該重新打光之RGB影像輸出與該場景之該目標規範RGB影像之間的差異涉及評估一感知損失函數。
  22. 如請求項15至21中任一項之方法，其中調整該等神經網路參數以減小該場景之該重新打光之RGB影像輸出與該場景之該目標規範RGB影像之間的差異涉及評估一最小絕對誤差(L1)函數。
TW110146864A 2020-11-09 2021-12-15 紅外光引導人像重新打光 TWI834085B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063198736P 2020-11-09 2020-11-09
US202063198836P 2020-11-16 2020-11-16
PCT/US2021/070361 WO2022099227A1 (en) 2020-11-09 2021-04-08 Infrared light-guided portrait relighting
WOPCT/US21/70361 2021-04-08

Publications (2)

Publication Number Publication Date
TW202240273A true TW202240273A (zh) 2022-10-16
TWI834085B TWI834085B (zh) 2024-03-01

Family

ID=78821420

Family Applications (2)

Application Number Title Priority Date Filing Date
TW113106495A TW202424629A (zh) 2020-11-09 2021-12-15 紅外光引導人像重新打光
TW110146864A TWI834085B (zh) 2020-11-09 2021-12-15 紅外光引導人像重新打光

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW113106495A TW202424629A (zh) 2020-11-09 2021-12-15 紅外光引導人像重新打光

Country Status (7)

Country Link
US (2) US20230088801A1 (zh)
EP (2) EP4022886A1 (zh)
JP (2) JP7304484B2 (zh)
KR (2) KR20220063763A (zh)
CN (2) CN114830627B (zh)
TW (2) TW202424629A (zh)
WO (2) WO2022099227A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024129062A1 (en) * 2022-12-12 2024-06-20 Zeku, Inc. Method and apparatus for unified multi-stage artificial intelligence-based image signal processing pipeline

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8780161B2 (en) * 2011-03-01 2014-07-15 Hewlett-Packard Development Company, L.P. System and method for modifying images
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
US9842507B1 (en) * 2014-05-01 2017-12-12 Grokker Inc. Video filming and discovery system
JP2017097645A (ja) 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10675955B2 (en) * 2016-11-14 2020-06-09 Google Llc Adaptive glare removal and/or color correction
WO2018154625A1 (ja) * 2017-02-21 2018-08-30 国立研究開発法人産業技術総合研究所 撮像装置、撮像システム、及び撮像方法
JP2019016275A (ja) 2017-07-10 2019-01-31 キヤノン株式会社 画像処理方法、画像処理プログラム、記憶媒体、画像処理装置、および撮像装置
US10733465B2 (en) * 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10497105B2 (en) * 2017-11-01 2019-12-03 Google Llc Digital image auto exposure adjustment
JP7242185B2 (ja) 2018-01-10 2023-03-20 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
US10692276B2 (en) * 2018-05-03 2020-06-23 Adobe Inc. Utilizing an object relighting neural network to generate digital images illuminated from a target lighting direction
JP7284502B2 (ja) * 2018-06-15 2023-05-31 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法
US10803565B2 (en) * 2018-07-10 2020-10-13 Intel Corporation Low-light imaging using trained convolutional neural networks
US11039122B2 (en) * 2018-09-04 2021-06-15 Google Llc Dark flash photography with a stereo camera
US11776095B2 (en) * 2018-09-24 2023-10-03 Google Llc Photo relighting using deep neural networks and confidence learning
US10891527B2 (en) * 2019-03-19 2021-01-12 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
CN113661496A (zh) * 2019-05-23 2021-11-16 谷歌有限责任公司 用于使用预测深反射场重新照明图像的方法、系统以及介质
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN110889813B (zh) * 2019-11-15 2023-11-24 安徽大学 基于红外信息的低光图像增强方法
CN111104889B (zh) * 2019-12-04 2023-09-05 山东科技大学 一种基于U-net的水体遥感识别方法
CN111815750A (zh) * 2020-06-30 2020-10-23 深圳市商汤科技有限公司 对图像打光的方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TWI834085B (zh) 2024-03-01
KR20230079401A (ko) 2023-06-07
KR20220063763A (ko) 2022-05-17
CN118678175A (zh) 2024-09-20
EP4241238A1 (en) 2023-09-13
JP2023553259A (ja) 2023-12-21
TW202424629A (zh) 2024-06-16
EP4022886A1 (en) 2022-07-06
JP7304484B2 (ja) 2023-07-06
CN114830627B (zh) 2024-07-09
US20230088801A1 (en) 2023-03-23
US20230319424A1 (en) 2023-10-05
CN114830627A (zh) 2022-07-29
WO2022099227A1 (en) 2022-05-12
JP2023503761A (ja) 2023-02-01
WO2022099322A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
Grundhöfer et al. Recent advances in projection mapping algorithms, hardware and applications
CN108702437B (zh) 计算深度图的方法、系统、设备和存储介质
US9264630B2 (en) Method and apparatus for creating exposure effects using an optical image stabilizing device
Tocci et al. A versatile HDR video production system
CN105409211B (zh) 用于图像处理的带皮肤色调校正的自动白平衡
US12033309B2 (en) Learning-based lens flare removal
WO2015065386A1 (en) Image capture feedback
CN107800979A (zh) 高动态范围视频拍摄方法及拍摄装置
KR20190041586A (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
CN109040618A (zh) 视频生成方法和装置、存储介质、电子设备
Zhao et al. Adaptive light estimation using dynamic filtering for diverse lighting conditions
TWI834085B (zh) 紅外光引導人像重新打光
JP7277158B2 (ja) 設定装置及び方法、プログラム、記憶媒体
Hertzmann The choices hidden in photography
JP2013062711A (ja) 撮影装置、撮影画像処理方法、およびプログラム
Smirnov et al. Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization
CN106231193A (zh) 一种图像处理方法及终端
JP2007165995A (ja) 画像生成装置、画像生成方法および画像生成プログラム
TWI232313B (en) Portable frequency spectrum image capturing system
US11889196B2 (en) Systems and methods for determining image capture settings
WO2023026543A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230370727A1 (en) High dynamic range (hdr) image generation using a combined short exposure image
Wolf et al. Light, Optics, and Imaging
CN106060506B (zh) 一种图像处理方法及终端
Chang et al. Subjective assessment for inverse rendered composite images in 360-deg images