TW202038604A - 電子設備及其操作方法以及影像處理方法 - Google Patents

電子設備及其操作方法以及影像處理方法 Download PDF

Info

Publication number
TW202038604A
TW202038604A TW108139015A TW108139015A TW202038604A TW 202038604 A TW202038604 A TW 202038604A TW 108139015 A TW108139015 A TW 108139015A TW 108139015 A TW108139015 A TW 108139015A TW 202038604 A TW202038604 A TW 202038604A
Authority
TW
Taiwan
Prior art keywords
depth map
image
module
electronic device
area
Prior art date
Application number
TW108139015A
Other languages
English (en)
Other versions
TWI835907B (zh
Inventor
韓承旼
郭愷
宋成旭
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202038604A publication Critical patent/TW202038604A/zh
Application granted granted Critical
Publication of TWI835907B publication Critical patent/TWI835907B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種設備包括：第一照相機模組，以第一視野提供物體的第一影像；第二照相機模組，以不同於所述第一視野的第二視野提供所述物體的第二影像；第一深度圖產生器，基於所述第一影像及所述第二影像來產生所述第一影像的第一深度圖；以及第二深度圖產生器，基於所述第一影像、所述第二影像及所述第一深度圖來產生所述第二影像的第二深度圖。

Description

電子設備及其操作方法以及影像處理方法
本發明概念是有關於包括多個照相機的設備及其操作方法。
數位照相機已成為非常受歡迎的消費品。大多數智慧型電話包括數位照相機，且數位照相機所提供的功能及能力已成為重要的產品差異化優勢。
早期的數位照相機僅提供基本的擷取（capture）、儲存及傳輸能力。然而，消費者需求推動了數位照相機效能的持續擴張及改良。卓越的影像品質是消費者的強烈期望。亦需要新的特徵、效果及功能。因此，正在對可應用於所擷取影像的各種影像效果進行研究。
本發明概念的實施例提供包括多個照相機的設備及其操作方法，其中所述多個照相機提供同一物體的自不同視野（field of view）拍攝的不同影像。
根據本發明概念的態樣，提供一種電子設備，包括：第一照相機模組，被配置成以第一視野獲得物體的第一影像；第二照相機模組，被配置成以不同於所述第一視野的第二視野獲得所述物體的第二影像；第一深度圖產生器，被配置成基於所述第一影像及所述第二影像來產生所述第一影像的第一深度圖；以及第二深度圖產生器，被配置成基於所述第一影像、所述第二影像及所述第一深度圖來產生所述第二影像的第二深度圖。
根據本發明概念的另一態樣，提供一種由電子設備處理影像的方法。所述方法包括：使用第一照相機模組獲得物體的第一影像；使用第二照相機模組獲得所述物體的第二影像；基於所述第一影像及所述第二影像來產生所述第一影像的第一深度圖；基於所述第一影像及所述第二影像來估計所述第二影像的主要區域（primary region）」與所述第二影像的殘餘區域（residual region）之間的關係；以及基於所述主要區域與所述殘餘區域之間的所估計的所述關係、及所述第一深度圖來產生所述第二影像的第二深度圖。
根據本發明概念的另一態樣，提供一種用於電子設備的操作方法。所述電子設備包括：第一照相機模組及第二照相機模組，所述第一照相機模組使用第一視野提供物體的第一影像，所述第二照相機模組使用較所述第一視野寬的第二視野提供所述物體的第二影像；以及處理器，基於所述第二影像的主要區域及所述第二影像的殘餘區域來產生所述第二影像的深度圖。所述操作方法包括：藉由估計所述第一影像與所述第二影像之間的關係來產生所述主要區域的第一深度圖；基於所述第一影像及所述第二影像來估計所述主要區域與所述殘餘區域之間的關係；藉由基於所述主要區域與所述殘餘區域之間的所估計的所述關係估計所述第二區域的深度圖來產生所述第二影像的第二深度圖；以及藉由融合所述第一深度圖及所述第二深度圖來產生所述第二影像的深度圖。
結合附圖考量以下詳細說明，可更好地理解本發明概念的實施例。
圖（figure，FIG.）1是示出根據本發明概念實施例的電子設備10的方塊圖。
參照圖1，電子設備10可包括第一照相機模組20、第二照相機模組30、顯示器40、記憶體50及處理器100。作為非限制性實例，電子設備10可包括智慧型電話、平板個人電腦（personal computer，PC）、行動電話、影像電話（image telephone）、電子書閱讀器、桌上型PC、膝上型PC、小筆電電腦（netbook computer）、工作站、個人數位助理（personal digital assistant，PDA）、可攜式多媒體播放器（portable multimedia player，PMP）、MP3播放器、行動醫療裝置、照相機及可佩戴裝置中的至少一者。可佩戴裝置可被分類成附件型可佩戴裝置（例如手錶、戒指、手鐲、腳鏈、項鍊、眼鏡、隱形眼鏡或頭戴式裝置（head-mounted-device，HMD））以及移植型可佩戴裝置（例如可植入電路）。
第一照相機模組20及第二照相機模組30可用於擷取電子設備10外部的被攝體（subject）（在下文稱為「物體（object）」）的影像，並產生對應的影像資料。此處，第一照相機模組20可包括第一透鏡22及第一影像感測器24，且第二照相機模組30可包括第二透鏡32及第二影像感測器34。
第一透鏡22及第二透鏡32可用於聚集自物體反射的光。第一透鏡22及第二透鏡32中的每一者可包括變焦透鏡（zoom lens）及聚焦透鏡（focus lens）中的至少一者。亦即，第一透鏡22及第二透鏡32可具有不同的成像視野。例如，第一透鏡22可具有較第二透鏡32相對更窄的視角。換言之，第二透鏡32可具有較第一透鏡22相對更寬的視角。因此，相對於由第一照相機模組20產生的窄角影像，第二照相機模組30可產生物體的寬角影像。亦即，在對同一物體進行成像時，第一照相機模組20可產生第一影像或窄影像N_IMG，即窄角影像，且第二照相機模組30可產生第二影像或寬角影像W_IMG，即寬角影像。
第一影像感測器24及第二影像感測器34可分別用於將由第一透鏡22及第二透鏡32聚集的「光」（即，來自指定頻寬的電磁能量）轉換成對應的電訊號，且然後轉換成影像資料。出於此種目的，在第一影像感測器24及第二影像感測器34中的每一者中，很多個畫素可排列成二維矩陣。
可對所述多個畫素中的每一者分配多個參考顏色中的一種。例如，所述多個參考顏色可包括紅色、綠色及藍色（red, green, and blue，RGB）或者紅色、綠色、藍色及白色。作為一個實例，第一影像感測器24及第二影像感測器34可藉由使用電荷耦合裝置（charge-coupled device，CCD）或互補金屬氧化物半導體（complementary metal-oxide-semiconductor，CMOS）來實作。由第一影像感測器24及第二影像感測器34產生的影像資料可被稱為影像畫面或畫面資料。第一影像感測器24及第二影像感測器34可以預定時間間隔產生新的影像資料。與產生新影像的週期對應的頻率可被稱為畫面率（frame rate）。亦即，畫面率可表示每單位時間新產生的影像資料項的數目。
儘管未示出，但第一照相機模組20及第二照相機模組30中的每一者可更包括能夠對所產生的影像資料執行一或多個處理操作的影像訊號處理器。另外，第一照相機模組20及第二照相機模組30可更包括快門、光圈、類比前端（analog front end，AFE）及時序產生器（timing generator，TG）中的至少一者。
顯示器40可因應於由第一照相機模組20產生的第一影像訊號及/或由第二照相機模組30產生的第二影像訊號而向使用者顯示各種內容（例如，文字、影像、視訊、圖符及/或符號）。顯示器40可包括液晶顯示器（liquid crystal display，LCD）、發光二極體（light emitting diode，LED）顯示器、有機發光二極體（organic light emitting diode，OLED）顯示器、微機電系統（micro-electro-mechanical system，MEMS）顯示器或電子紙顯示器。另外，顯示器40可包括觸控螢幕。例如，顯示器40可接收使用電子筆或使用者身體的一部分所作的觸控、手勢、接近或懸停（hovering）輸入。
記憶體50可用於儲存各種類型的資料，包括：（例如）作業系統（operating system，OS）程式、應用程式、影像資料及由電子設備10以各種方式產生及/或使用的其他資料。記憶體50可包括揮發性記憶體及非揮發性記憶體中的至少一者。非揮發性記憶體可包括唯讀記憶體（read only memory，ROM）、可程式化ROM（programmable ROM，PROM）、電可程式化ROM（electrically programmable ROM，EPROM）、電可抹除可程式化ROM（electrically erasable and programmable ROM，EEPROM）、快閃記憶體、相變隨機存取記憶體（phase-change random access memory，PRAM）、磁性RAM（magnetic RAM，MRAM）、電阻性RAM（resistive RAM，RRAM）及鐵電RAM（ferroelectric RAM，FRAM）。揮發性記憶體可包括動態RAM（dynamic RAM，DRAM）、靜態RAM（static RAM，SRAM）及同步DRAM（synchronous DRAM，SDRAM）。另外，根據實施例，記憶體50可包括硬碟機（hard disk drive，HDD）、固態磁碟機（solid state drive，SSD）、緊湊型快閃（compact flash，CF）記憶體、安全數位（secure digital，SD）記憶體、微型SD記憶體、小型SD記憶體、極限數位（extreme digital，xD）記憶體及記憶棒中的至少一者。記憶體50可半永久或臨時儲存欲由處理器100執行的程式及/或指令。
處理器100可用於控制電子設備10的操作。處理器100可為中央處理單元（central processing unit，CPU），且可包括單個處理器核心或數個處理器核心。處理器100可處理或執行儲存於記憶體50中的程式及/或資料。例如，處理器100可藉由執行儲存於記憶體50中的程式來控制電子設備10的功能。
如圖1所示實例中所示，處理器100可包括第一深度圖產生器110及第二深度圖產生器120。此處，第一深度圖產生器110可基於第一影像N_IMG及第二影像W_IMG來產生第一影像N_IMG的第一深度圖。例如，第一深度圖產生器110可分析第一影像N_IMG與第二影像W_IMG之間的距離關係，以產生第一影像N_IMG的第一深度圖。
在本發明概念的某些實施例中，用語「深度圖」表示包含與影像的至少一個部分的區域對應的深度資訊的資料結構（例如，表格）。用語「深度」是指和左眼影像與右眼影像之間的雙目視差（binocular disparity）程度對應的資訊。因此，影像的深度容許使用者感測到的三維效果發生變化。亦即，當深度為大（即，相對大）且雙目視差相應增加時，三維效果增加。作為另一選擇，當深度為小（即，相對小）且雙目視差相應降低時，三維效果降低。
在本發明概念的某些實施例中，深度圖可對應於灰階表示影像中每一畫素的深度的二維影像。
指定區域可根據畫素單位來劃分，或者可根據大於畫素單位的先前所設定的區域來進一步劃分。因此，第二W_IMG可被劃分成與第一影像N_IMG交疊的區域及第二區域W_IMG的剩餘部分。例如，第一深度圖產生器110產生第一區域的第一深度圖，且第二深度圖產生器120可藉由估計第二區域的第二深度圖來產生第二影像W_IMG的第二深度圖。
因此，在與本發明概念某些實施例一致的一種方法中，第二深度圖產生器120可基於第一影像N_IMG、第二影像W_IMG及第一深度圖來產生第二影像W_IMG的第二深度圖。例如，第二深度圖產生器120可基於第一影像N_IMG及第二影像W_IMG來估計第二影像W_IMG的第一區域與第二區域之間的關係。第二深度圖產生器120可基於第一區域與第二區域之間的所估計關係、及第一深度圖來估計第二區域的深度圖。例如，第二深度圖產生器120可基於類神經網路模型來估計第一區域與第二區域之間的關係或估計第二區域的深度圖。
第一深度圖產生器110及第二深度圖產生器120可利用不同（或變化）的形狀來實作。第一深度圖產生器110及第二深度圖產生器120可分別被實作為軟體及/或硬體。例如，當第一深度圖產生器110及第二深度圖產生器120被實作為硬體時，第一深度圖產生器110及第二深度圖產生器120分別接收第一影像N_IMG及第二影像W_IMG，且可包括能夠產生第一深度圖及第二深度圖的電路。作為另一選擇或另外，當第一深度圖產生器110及第二深度圖產生器120被實作為儲存（例如）於記憶體50中並由處理器100執行的軟體、程式及/或命令時，可執行產生第一深度圖及第二深度圖的操作。
在本發明概念的某些實施例中，處理器100可更包括深度圖融合單元，所述深度圖融合單元能夠藉由基於由第一深度圖產生器110提供的第一深度圖及由第二深度圖產生器120提供的第二深度圖執行融合操作來產生第二影像W_IMG的第三深度圖。深度圖融合單元可藉由對第二深度圖執行偏差移除操作（bias removing operation）來產生被色調映射（tone-map）至第一深度圖的第二深度。例如，深度圖融合單元可藉由對經色調映射的第二深度圖及第一深度圖執行融合操作來產生第三深度圖。作為另一實例，深度圖融合單元可藉由基於第一深度圖及第二影像W_IMG重複地傳播第一深度圖來產生在第二影像W_IMG中所傳播的第一深度圖，且可藉由對所傳播的第一深度圖及經色調映射的第二深度圖執行融合操作來產生第三深度圖。
圖2是示出根據本發明概念實施例的電子設備10獲得影像的操作的一種可能方法的概念圖。
參照圖2，電子設備10可藉由使用圖1所示第一照相機模組20及第二照相機模組30擷取物體的影像IMG來獲得第一影像N_IMG及第二影像W_IMG。例如，電子設備10可使用第一照相機模組20獲得物體的第一影像N_IMG，且可使用第二照相機模組30獲得物體的第二影像W_IMG。在圖2所示的實例中，第二影像W_IMG被劃分成第一區域A1及第二區域A2，第一區域A1與第一影像N_IMG交疊，第二區域A2包括第一區域A1的剩餘部分。在下文，可將所擷取影像IMG（例如，圖2所示寬角影像W_IMG）闡述為包括：（1）「主要區域（例如，窄角影像N_IMG或在所擷取影像IMG內指定的第一區域A1），及「殘餘區域」（例如，所擷取影像IMG的在主要影像之外的剩餘部分）。
圖3是更示出根據本發明概念某些實施例的電子設備10的操作的方塊圖。
參照圖1、圖2及圖3，在擷取同一物體的影像IMG時，第一照相機模組20可獲得第一影像N_IMG，且第二照相機模組30可獲得第二影像W_IMG。因此，第一照相機模組20可將第一影像N_IMG提供至第一深度圖產生器110及第二深度圖產生器120。另外，第二照相機模組30可將第二影像W_IMG提供至第一深度圖產生器110及第二深度圖產生器120。
第一深度圖產生器110可基於第一影像N_IMG及第二影像W_IMG來產生第一深度圖N_DM，並將第一深度圖N_DM提供至第二深度圖產生器120。在一個實施例中，第一深度圖產生器110分析第一影像N_IMG與第二影像W_IMG之間的距離關係，以產生第一深度圖N_DM。亦即，第一深度圖產生器110可設定第一影像N_IMG與第二影像W_IMG中的匹配點，且然後分析匹配點之間的距離關係。在一種可能的方法中，第一深度圖產生器110可基於立體視覺方法（stereo vision method）來分析第一影像N_IMG與第二影像W_IMG之間的距離關係，且可產生第一影像N_IMG的第一深度圖N_DM。
第二深度圖產生器120可基於第一影像N_IMG、第二影像W_IMG及第一深度圖N_DM來產生第二深度圖W_DM，如下文更詳細地闡述。
圖4是在一個實例中更示出根據本發明概念實施例的第二深度圖產生器120的方塊圖。
參照圖4，第二深度圖產生器120可包括關係估計模組122及深度圖估計模組124。在示例性實施例中，關係估計模組122可基於第一影像N_IMG及第二影像W_IMG來估計第二影像W_IMG的第一區域A1（主要區域）與第二區域A2（殘餘區域）之間的關係。例如，關係估計模組122可採用類神經網路模型，且基於經過學習的類神經網路模型來估計第一區域A1與第二區域A2之間的關係。
在一個實施例中，深度圖估計模組124可基於由關係估計模組122估計的第一區域A1與第二區域A2之間的關係、及第一深度圖N_DM來估計第二區域A2的深度圖。例如，深度圖估計模組124可採用類神經網路模型，且基於經過學習的類神經網路模型來估計第二區域A2的深度圖。第二深度圖產生器120可基於第二區域A2的所估計深度圖及第一深度圖N_DM來產生第二影像W_IMG的第二深度圖W_DM。
圖5是概述根據本發明概念某些實施例的電子設備的一種可能操作（例如，電子設備的影像處理方法）的流程圖。
參照圖1、圖2、圖3、圖4及圖5，電子設備10可判斷是否已輸入影像IMG（S10）。例如，基於外部控制訊號（例如，使用者啟動），電子設備10可使用第一照相機20及第二照相機30來擷取物體，以提供物體的第一影像N_IMG及第二影像W_IMG。
當接收到第一影像N_IMG及第二影像W_IMG時（S10=是），電子設備10可提取第二影像W_IMG中為第一影像N_IMG所共有的第一區域A1的第一深度圖N_DM（S20）。例如，第一深度圖N_DM可由接收第一影像N_IMG及第二影像W_IMG的第一深度圖產生器110提取。
接下來，可估計第二影像W_IMG的第一區域A1與第二區域A2之間的關係（S30）。在示例性實施例中，第一區域A1與第二區域A2之間的關係可由接收第一影像N_IMG及第二影像W_IMG的關係估計模組122來估計。例如，關係估計模組122可基於類神經網路模型來估計所述關係。
接下來，估計第二區域A2的深度圖，且可基於第二區域A2的所估計深度圖來產生第二深度圖W_DM（S40）。在示例性實施例中，第二區域A2的深度圖可由深度圖估計模組124估計，深度圖估計模組124接收由關係估計模組122估計的第一區域A1與第二區域A2之間的關係、及第一深度圖N_DM。例如，深度圖估計模組124可基於類神經網路模型來估計深度圖。另外，深度圖估計模組124可基於第一區域A1的第一深度圖N_DM及第二區域A2的所估計深度圖來產生第二影像W_IMG的第二深度圖W_DM。
圖6是示出作為關係估計模組及/或深度圖估計模組的一部分可由本發明概念實施例採用的類神經網路NN的一個實例的概念圖。
參照圖6，類神經網路NN可包括輸入層、隱藏層及輸出層。類神經網路NN可基於所接收輸入資料（例如，I1及12）執行操作，以產生輸出資料（例如，Q1及Q2）。參照圖4、圖5及圖6所示的實例，類神經網路NN由關係估計模組122採用，接收第一影像N_IMG及第二影像W_IMG作為輸入資料，且產生關於第一影像N_IMG與第二影像W_IMG之間的關係的分析資訊（在下文稱為「關係資訊」）作為輸出資料。另外或作為另一選擇，類神經網路NN由深度圖估計模組124採用，接收第一影像N_IMG與第二影像W_IMG之間的關係資訊、及第一深度圖N_DM作為輸入資料，且產生第二區域A2的深度圖作為輸出資料。
類神經網路NN可為深度類神經網路（deep neural network，DNN）、或者包括二或更多個隱藏層的n層類神經網路。例如，如圖6所示，類神經網路NN可為包括輸入層210、第一隱藏層212及第二隱藏層214以及輸出層216的DNN。DNN可為迴旋類神經網路（convolution neural network，CNN）、遞歸類神經網路（recurrent neural network，RNN）、深度信念網路（deep belief network）或受限波茲曼機（restricted Boltzmann machine）。然而，本發明概念並非僅限於此。
當類神經網路NN是DNN時，由於包括能夠提取有效資訊的較多層，因此類神經網路NN可處理相對複雜的資料集。另一方面，圖6所示的類神經網路NN包括層210、212、214及216，但此僅為一個可能的實例。類神經網路NN可包括更多或更少的層。另外，類神經網路NN可包括具有與圖6所示結構不同的各種結構的層。
類神經網路NN中所包括的層210、212、214及216中的每一者可包括多個神經元（neuron）。所述神經元可對應於被稱為處理元件（processing element，PE）、單元或類似用語的多個人工節點。例如，如圖6所示，輸入層210可包括二個神經元（節點），且第一隱藏層212及第二隱藏層214中的每一者可包括三個神經元（節點），此僅為實例。類神經網路NN中所包括的層中的每一者可包括變化數目的神經元（節點）。
類神經網路NN中所包括的層中的每一者中所包括的神經元彼此連接，且可交換資料。神經元可自其他神經元接收資料，可操作所接收資料，且可將操作結果輸出至其他神經元。
神經元（節點）中每一者的輸入及輸出可被稱為輸入啟動（input activation）及輸出啟動（output activation）。亦即，啟動可為與下一層中所包括的神經元的輸出及神經元的輸入對應的參數。另一方面，神經元中的每一者可基於自前一層中所包括的神經元接收的啟動及權重來確定所述每一者的啟動。作為計算每一神經元中的輸出啟動所使用的參數的權重可為分配給神經元之間的連接關係的值。
神經元中的每一者可由用於接收輸入並輸出啟動的計算單元或處理元件處理。神經元中每一者的輸入及輸出可被映射。例如，σ是啟動函數，且
Figure 02_image001
可為自第(i-1)層中所包括的第k神經元至第i層中所包括的第j神經元的權重值。
Figure 02_image003
是第i層中所包括的第j神經元的偏差值（bias value），且
Figure 02_image005
可被稱為第i層的第j神經元的啟動，即，後啟動（post activation）。後啟動
Figure 02_image007
可藉由使用以下方程式1來計算。
Figure 02_image008
)           …[方程1]
如圖6所示，第一隱藏層212的第一神經元的後啟動可表示為
Figure 02_image010
。另外，
Figure 02_image010
可具有為
Figure 02_image012
的值。亦即，後啟動可為藉由對自前一層接收的啟動之和應用啟動函數而獲得的值。方程式1僅為闡述用於在類神經網路NN中處理資料的啟動及權重的實例。本發明概念並非僅限於此。
圖7是示出根據本發明概念實施例產生深度圖的一個可能實例的另一概念圖。
參照圖7，第一影像N_IMG及第二影像W_IMG被提供至第一深度圖產生器110，使得第一深度圖產生器110可產生第一影像N_IMG的第一深度圖N_DM。此處，例如，第一深度圖產生器110可使用立體視覺方法來分析第一影像N_IMG與第二影像W_IMG之間的距離關係，且可基於所分析的距離關係來產生第一影像N_IMG的具有高圖片品質的第一深度圖N_DM。
與圖2所示的前一實例一樣，第二影像W_IMG被劃分成第一（主要）區域A1及第二（殘餘）區域A2。在類似於結合圖4所述實施例的實施例中，關係估計模組122用於基於類神經網路方法來估計第一區域A1與第二區域A2之間的關係。例如，假設關係估計模組122採用類神經網路，所述類神經網路接收第一區域A1及第二區域A2的畫素資料作為輸入資料且基於輸入資料來產生第一區域A1與第二區域A2之間的關係作為輸出資料。
由關係估計模組122產生的第一區域A1與第二區域A2之間的關係、及第一深度圖N_DM被提供至深度圖估計模組124。深度圖估計模組124可基於第一區域A1與第二區域A2之間的關係、及第一深度圖N_DM來估計第二區域A2的深度圖。在一個示例性實施例中，深度圖估計模組124可基於類神經網路方法來估計第二區域A2的深度圖。例如，採用類神經網路NN的深度圖估計模組124接收第一區域A1與第二區域A2之間的關係、及第一深度圖N_DM作為輸入資料，且可基於輸入資料來產生第二區域A2的深度圖作為輸出資料。深度圖估計模組124可基於第二區域A2的所估計深度圖及第一深度圖N_DM來產生第二影像W_IMG的第二深度圖W_DM。
圖8是更示出根據本發明概念實施例的電子設備10的操作的另一實例的方塊圖。將圖3及圖8所示的實施例進行比較，相似的組件利用類似的參考編號來表示。然而，與圖3所示實施例相較，在圖8所示實施例中，電子設備10更包括深度圖融合單元130a。此處，深度圖融合單元130a可用於藉由基於第一深度圖N_DMa及第二深度圖W_DMa執行融合操作來產生第二影像W_IMGa的第三深度圖I_DMa。例如，深度圖融合單元130a對第一深度圖N_DMa及第二深度圖W_DMa執行先前所設定的操作，對被執行了先前所設定的操作的第一深度圖N_DMa及第二深度圖W_DMa執行融合操作，且可產生第二影像W_IMGa的具有改良的圖片品質的第三深度圖I_DMa。深度圖融合單元130a可對第一深度圖N_DMa及第二深度圖W_DMa執行預處理操作、融合操作及後處理操作。例如，深度圖融合單元130a可執行作為預處理操作的色調映射操作及作為後處理操作的深度圖校正操作，如稍後所述。
圖9是在一個實例中更示出圖8所示深度圖融合單元130a的方塊圖。
參照圖9，深度圖融合單元130a可包括色調映射模組132a、融合模組134a及後處理模組136a。在示例性實施例中，色調映射模組132a可基於第二深度圖W_DMa在第二影像W_IMGa的第一區域A1的深度圖與第二影像W_IMGa的第二區域A2的深度圖之間執行色調映射操作。第二深度圖W_DMa可包括第一區域A1的具有高圖片品質的深度圖及第二區域A2的具有低圖片品質的深度圖。亦即，色調映射模組132a可在具有高圖片品質及窄視野的深度圖（第一區域A1的深度圖）與具有低圖片品質及寬視野的深度圖（第二區域A2的深度圖）之間執行色調映射操作。例如，色調映射模組132a可藉由對第二深度圖W_DMa執行偏差移除操作來產生經色調映射的第二深度圖。
融合模組134a可對經色調映射的第二深度圖及第一深度圖N_DMa執行融合操作。融合模組134a可藉由基於各種融合演算法對經色調映射的第二深度圖及第一深度圖N_DMa執行融合操作來產生第二影像W_IMGa的第三深度圖。
後處理模組136a可藉由對由融合模組134a產生的第三深度圖執行後處理操作來產生經後處理的第三深度圖I_DMa。例如，後處理模組136a可對根據融合模組134a的融合操作在第三深度圖中產生的介面執行濾波操作。亦即，後處理模組136a可對在第一區域A1的具有高圖片品質的深度圖與第二區域A2的具有中間圖片品質的深度圖之間形成的介面執行處理操作。
後處理模組136a可包括雙邊濾波器（bilateral filter）。後處理模組136a可基於所述雙邊濾波器來對介面執行處理操作。此處，後處理模組136a可藉由在藉由雙邊濾波器保持邊緣的同時移除雜訊來對介面執行濾波操作，且後處理模組136a可包括高斯濾波器（Gaussian filter）及中值濾波器（Median filter）中的至少一者。
後處理模組136a可包括域變換（domain transform，DT）濾波器。後處理模組136a可基於DT濾波器來移除或阻止根據融合在深度圖中產生的偽影（artifact）。例如，偽影可能意味著異常深度，例如在深度圖中形成的人為斑點及缺陷。
圖10是在一個實例中概述根據本發明概念實施例的電子設備10的操作方法（例如，電子設備10的影像處理方法）的流程圖。
參照圖10，電子設備10可產生第二影像W_IMGa的第二深度圖W_DMa（S100）。此處，電子設備10可基於具有窄視野的第一影像N_IMGa及具有寬視野的第二影像W_IMGa來產生包括第一區域A1的深度圖及第二區域A2的深度圖的第二深度圖W_DMa。亦即，電子設備10可基於第一影像N_IMGa及第二影像W_IMGa來產生包括第一區域A1的具有高圖片品質的深度圖及第二區域A2的具有低圖片品質的深度圖的第二深度圖W_DMa。
接下來，電子設備10可對第二深度圖W_DMa執行色調映射操作（S110）。例如，電子設備10包括色調映射模組132a，且色調映射模組132a可基於第二深度圖W_DMa在第二影像W_IMGa的第一區域A1的深度圖與第二影像W_IMGa的第二區域A2的深度圖之間執行色調映射操作。因此，色調映射操作可在具有高圖片品質及窄視野的深度圖與具有低圖片品質及寬視野的深度圖之間執行。
接下來，電子設備10可對經色調映射的第二深度圖及第一深度圖N_DMa執行融合操作（S120）。例如，電子設備10包括融合模組134a，且融合模組134a可藉由基於融合演算法對經色調映射的第二深度圖及第一深度圖N_DMa執行融合操作來產生第二影像W_IMGa的第三深度圖。
接下來，電子設備10可對由融合模組134a產生的第三深度圖執行後處理操作（S130）。例如，電子設備10可包括後處理模組136a，其中後處理模組136a用於藉由對由融合模組134a產生的第三深度圖執行後處理操作來產生經後處理的第三深度圖I_DMa。此處，後處理模組136a可對根據融合模組134a的融合操作在第三深度圖中產生的介面執行濾波操作。另外，後處理模組136a可移除或阻止根據融合模組134a的融合操作在第三深度圖中產生的偽影。
圖11是示出根據本發明概念實施例的深度圖融合的另一實例的另一概念圖。
參照圖11，第二深度圖W_DMa被提供至色調映射模組132a，且色調映射模組132a可產生經色調映射的第二深度圖M_DMa。此處，第二深度圖W_DMa可包括具有高圖片品質及窄視野的深度圖以及具有低圖片品質及寬視野的深度圖。色調映射模組132a可藉由對第二深度圖W_DMa執行偏差移除操作而在具有高圖片品質及窄視野的深度圖與具有低圖片品質及寬視野的深度圖之間產生經色調映射的第二深度圖M_DMa。
接下來，經色調映射的第二深度圖M_DMa及第一深度圖N_DMa可被輸入至融合模組134a。融合模組134a可藉由對經色調映射的第二深度圖M_DMa及第一深度圖N_DMa執行融合操作來產生第二影像W_IMGa的第三深度圖F_DMa。
接下來，第三深度圖F_DMa可被輸入至後處理模組136a。後處理模組136a可藉由對第三深度圖F_DMa執行各種後處理操作來產生經後處理的第三深度圖I_DMa。例如，後處理模組136a可對根據融合模組134a的融合操作在第三深度圖F_DMa中產生的介面執行濾波操作。另外，例如，後處理模組136a可移除或阻止根據融合模組134a的融合操作在第三深度圖F_DMa中產生的偽影。
因此，在本發明概念的某些實施例中所述的電子設備10可基於具有不同視野的影像來產生形成寬角的影像的深度圖。另外，可藉由基於具有不同視野的影像之間的關係產生形成寬角的影像的深度圖來產生具有改良的圖片品質的深度圖。
圖12是示出根據本發明概念實施例的圖8所示深度圖融合單元的方塊圖。可考量圖9所示實施例，並將其與圖12所示實施例進行比較，相似的組件利用類似的參考編號來表示。
參照圖12，深度圖融合單元130b可更包括傳播模組（propagating module）133b。此處，傳播模組133b可基於第一深度圖N_DMb及第二影像W_IMGb產生在第二影像W_IMGb中所傳播的第一深度圖S_DMb。例如，關於被劃分成第一區域A1及第二區域A2的第二影像W_IMGb，傳播模組133b可迭代地將對應於第一區域A1的第一深度圖N_DMb傳播至第二區域A2。在示例性實施例中，傳播模組133b包括域轉換濾波器（domain-converting filter），且可基於所述域轉換濾波器來執行迭代傳播操作。
在示例性實施例中，融合模組134b可對經色調映射的第二深度圖及所傳播的第一深度圖S_DMb執行融合操作。融合模組134b可藉由基於先前所設定的融合演算法對經色調映射的第二深度圖及所傳播的第一深度圖S_DMb執行融合操作來產生第二影像W_IMGb的第三深度圖。
圖13是示出根據本發明概念實施例的深度圖融合的一個實例的又一概念圖。應考量圖13，並將其與圖11所示實例進行比較，相似的組件利用類似的參考編號來表示。
參照圖13，第一深度圖N_DMb及第二影像W_IMGb被輸入至傳播模組133b，且傳播模組133b可產生在第二影像W_IMGb中所傳播的第一深度圖S_DMb。例如，傳播模組133b可藉由迭代地將與第二影像W_IMGb中的第一區域A1對應的第一深度圖N_DMb傳播至第二區域A2來產生所傳播的第一深度圖S_DMb。
接下來，所傳播的第一深度圖S_DMb及經色調映射的第二深度圖M_DMb可被輸入至融合模組134b。融合模組134b可藉由基於先前所設定的融合演算法對所傳播的第一深度圖S_DMb及經色調映射的第二深度圖M_DMb執行融合操作來產生第二影像W_IMGb的第三深度圖F_DMb。後處理模組136b可藉由基於第三深度圖F_DMb執行後處理操作來產生經後處理的第三深度圖I_DMb。
圖14是概述根據本發明概念實施例操作電子設備10的方法的又一實例的流程圖。
參照圖14，在前述示例性實施例的上下文中，電子設備10可用於獲得被攝體（或物體）的影像（S200）。如前所述，電子設備10可包括第一照相機模組20及第二照相機模組30，且可藉由第一照相機模組20以第一視野獲得物體的第一影像N_IMG並藉由第二照相機模組30以第二視野獲得被攝體的第二影像W_IMG。例如，第一影像N_IMG是基於窄視野，且第二影像W_IMG可基於寬視野。
接下來，電子設備10可執行用以應用影像效果的應用（S210）。此處，應用可儲存於記憶體50中，且可由處理器100因應於外部提供的命令而執行。就此而言，應用影像效果的應用可與自動聚焦、散焦（out-focusing）、前景/背景分離（fore/background separation）、面部識別/偵測、畫面內物體偵測及擴增實境（augmented reality）中的至少一者相關。
接下來，電子設備10可判斷是否已獲得第二影像W_IMG的第一區域A1的深度圖（S220）。第一區域A1可以是第二影像W_IMG中為第一影像N_IMG所共有之處。在示例性實施例中，電子設備10包括第一深度圖產生器110，且第一深度圖產生器110可基於第一影像N_IMG及第二影像W_IMG來獲得第一區域A1的深度圖（或第一深度圖N_DM）。
當獲得第一影像A1的深度圖時，電子設備10可估計第二影像W_IMG的第二區域A2的深度圖（S230）。第二區域A2可為第二影像W_IMG中將第一區域A1排除在外的剩餘區域。在示例性實施例中，電子設備10包括第二深度圖產生器120，且第二深度圖產生器120可基於第一影像N_IMG、第二影像W_IMG及第一深度圖N_DM來估計第二區域A2的深度圖。
接下來，電子設備10可產生整個影像（即，第二影像W_IMG）的深度圖（S240）。在示例性實施例中，第二深度圖產生器120可基於第一深度圖N_DM及第二區域A2的所估計深度圖來產生第二影像W_IMG的第二深度圖W_DM。在另一示例性實施例中，電子設備10更包括深度圖融合單元130a，且深度圖融合單元130a可藉由對第一深度圖N_DM及第二深度圖W_DM執行特定操作並執行融合操作來產生第二影像W_IMG的第三深度圖I_DMa。
接下來，電子設備10可基於所產生的深度圖對第二影像W_IMG應用影像效果（S250）。例如，當應用自動聚焦作為影像效果時，電子設備10可基於第二影像W_IMAG深度圖根據每一畫素的深度來改變焦點。根據當前實施例，電子設備10可藉由獲得具有改良的圖片品質的深度圖來對所獲得的影像執行具有改良的品質的各種影像效果。
圖15是示出根據本發明概念實施例的電子設備1000的一種可能配置的方塊圖。
參照圖15，電子設備1000可包括處理器1100、記憶體1200、輸入及輸出介面1300、顯示器1400、照相機模組1500及匯流排1600。另外，儘管圖式中未示出，但電子設備1000可另外包括例如通訊模組等各種組件。
匯流排1600可包括用於連接電子設備1000中所包括的組件並在組件之間傳送控制訊號或資料的電路。處理器1100可包括中央處理單元（CPU）、應用處理器及通訊處理器中的一或多者。在示例性實施例中，處理器1100可執行與圖1至圖14中的上述深度圖產生相關的各種操作。例如，至少如根據本發明概念實施例的設備（包括單獨或集體模組、功能等）及/或其操作方法的部分可藉由以程式模組的形式儲存於電腦可讀取儲存介質中的命令來實作。當所述命令由處理器1100執行時，處理器1100可執行對應於所述命令的功能。電腦可讀取儲存介質可為記憶體1200。
作為程式（或軟體）的記憶體1200可包括核心1210、中間軟體（middleware）1220、應用程式設計介面（application programming interface，API）1230及應用1240。核心1210、中間軟體1220及API 1230的至少一部分可被稱為作業系統。核心1210可控制或管理用於執行在程式中實作的操作或功能的系統資源（例如，匯流排1600、處理器1100或記憶體1200）。中間軟體1220可充當中介體（go-between），並且因此，API 1230或應用1240與核心1210進行通訊，且可接收資料。應用1240可被實作成對由照相機模組1500獲得的影像執行各種影像效果。
輸入及輸出介面1300將自使用者或另一外部裝置輸入的命令或資料傳送至電子設備100的其他組件，或者可將自電子設備1000的其他組件接收的命令或資料輸出至使用者或另一外部裝置。顯示器1400可向外部顯示由照相機模組1500獲得的影像。作為另一選擇，顯示器1400可向外部顯示在處理器1100中藉由應用1240被應用了影像效果的影像。
照相機模組1500可藉由因應於來自外部的輸入而執行擷取來獲得被攝體的影像。在示例性實施例中，照相機模組1500可包括用於以不同視野獲得影像的第一照相機模組及第二照相機模組。
雖然已參照本發明概念的實施例具體示出及闡述了本發明概念，但應理解，在不背離以下申請專利範圍的精神及範圍的條件下，可對所述實施例在形式及細節上作出各種改變。
10、1000:電子設備 20:第一照相機模組/第一照相機 20a:第一照相機模組 22:第一透鏡 24:第一影像感測器 30:第二照相機模組/第二照相機 30a:第二照相機模組 32:第二透鏡 34:第二影像感測器 40、1400:顯示器 50、1200:記憶體 100、1100:處理器 110、110a:第一深度圖產生器 120、120a:第二深度圖產生器 122:關係估計模組 124:深度圖估計模組 130a、130b:深度圖融合單元 132a、132b:色調映射模組 133b:傳播模組 134a、134b:融合模組 136a、136b:後處理模組 210:輸入層/層 212:第一隱藏層/層 214:第二隱藏層/層 216:輸出層/層 1210:核心 1220:中間軟體 1230:應用程式設計介面（API） 1240:應用 1300:輸入及輸出介面 1500:照相機模組 1600:匯流排 A1:第一區域/主要區域 A2:第二區域/殘餘區域 F_DMa、F_DMb:第三深度圖 I1、I2:輸入資料 I_DMa:經後處理的第三深度圖/第三深度圖 I_DMb:經後處理的第三深度圖 IMG、IMGa:影像 M_DMa、M_DMb:經色調映射的第二深度圖 N_DM、N_DMa、N_DMb:第一深度圖 N_IMG:第一影像/窄影像/窄角影像 N_IMGa:第一影像 NN:類神經網路 Q1、Q2:輸出資料 S10、S20、S30、S40、S100、S110、S120、S130、S200、S210、S220、S230、S240、S250:操作 S_DMb:所傳播的第一深度圖 W_DM、W_DMa、W_DMb:第二深度圖 W_IMG:第二影像/寬角影像 W_IMGa、W_IMGb:第二影像
結合附圖閱讀以下詳細說明，將更清楚地理解本發明概念的實施例，附圖中： 圖1是示出根據本發明概念實施例的電子設備的方塊圖。 圖2是更示出根據本發明概念實施例的電子設備的操作方法的概念圖。 圖3及圖4分別是更示出根據本發明概念實施例的電子設備的操作的方塊圖。 圖5是在一個實例中概述根據本發明概念實施例操作電子設備的方法的流程圖。 圖6是示出由本發明概念的實施例採用的類神經網路的使用的概念圖。 圖7、圖11及圖13分別是概念圖，其各自更示出根據本發明概念實施例的電子設備的操作方法的一個實例。 圖8及圖9分別是示出根據本發明概念實施例的電子設備中的可能變型的方塊圖。 圖10是在另一實例中概述根據本發明概念實施例操作電子設備的方法的流程圖。 圖12是更示出根據本發明概念實施例的深度圖融合單元（depth map fusion unit）的方塊圖。 圖14是在另一實例中概述根據本發明概念實施例操作電子設備的方法的流程圖。 圖15是示出根據本發明概念實施例的電子設備的方塊圖。
20:第一照相機模組/第一照相機
30:第二照相機模組/第二照相機
110:第一深度圖產生器
120:第二深度圖產生器
IMG:影像
N_DM:第一深度圖
N_IMG:第一影像/窄影像/窄角影像
W_DM:第二深度圖
W_IMG:第二影像/寬角影像

Claims (20)

  1. 一種電子設備，包括： 第一照相機模組，被配置成以第一視野獲得物體的第一影像； 第二照相機模組，被配置成以不同於所述第一視野的第二視野獲得所述物體的第二影像； 第一深度圖產生器，被配置成基於所述第一影像及所述第二影像來產生所述第一影像的第一深度圖；以及 第二深度圖產生器，被配置成基於所述第一影像、所述第二影像及所述第一深度圖來產生所述第二影像的第二深度圖。
  2. 如請求項1所述的電子設備，其中所述第一視野是窄角，且所述第二視野是廣角。
  3. 如請求項2所述的電子設備，其中所述第二影像被劃分成主要區域及殘餘區域，且 所述第二深度圖產生器包括： 關係估計模組，被配置成基於所述第一影像及所述第二影像來估計所述主要區域與所述殘餘區域之間的關係；以及 深度圖估計模組，被配置成基於所估計的所述關係及所述第一深度圖來估計所述殘餘區域的深度圖。
  4. 如請求項3所述的電子設備，其中所述關係估計模組及所述深度圖估計模組中的至少一者基於類神經網路模組來執行估計操作。
  5. 如請求項1所述的電子設備，更包括： 深度圖融合單元，被配置成藉由基於所述第一深度圖及所述第二深度圖執行融合操作來產生所述第二影像的第三深度圖。
  6. 如請求項5所述的電子設備，其中所述深度圖融合單元包括： 色調映射模組，被配置成藉由對所述第二深度圖執行偏差移除操作來產生與所述第一深度圖對應的經色調映射的第二深度圖；以及 融合模組，被配置成藉由融合所述經色調映射的第二深度圖及所述第一深度圖來產生所述第三深度圖。
  7. 如請求項6所述的電子設備，其中所述深度圖融合單元更包括傳播模組，所述傳播模組被配置成藉由基於所述第一深度圖及所述第二影像迭代地傳播所述第一深度圖來產生在所述第二影像中所傳播的第一深度圖，且 所述融合模組藉由融合所述經色調映射的第二深度圖及所述所傳播的第一深度圖來產生所述第三深度圖。
  8. 如請求項6所述的電子設備，其中所述深度圖融合單元更包括後處理模組，所述後處理模組被配置成對由所述融合模組產生的所述第三深度圖執行後處理操作，以提供經後處理的所述第三深度圖。
  9. 如請求項8所述的電子設備，其中所述後處理模組藉由對根據所述融合模組的融合在所述第三深度圖中產生的介面進行濾波來執行所述後處理操作。
  10. 如請求項8所述的電子設備，其中所述後處理模組移除根據所述融合模組的融合在所述第三深度圖中產生的偽影。
  11. 如請求項1所述的電子設備，其中所述第一深度圖產生器分析所述第一影像與所述第二影像之間的距離關係，且基於所述距離關係來產生所述第一影像的第一深度圖。
  12. 一種由電子設備處理影像的方法，所述方法包括： 使用第一照相機模組獲得物體的第一影像； 使用第二照相機模組獲得所述物體的第二影像； 基於所述第一影像及所述第二影像來產生所述第一影像的第一深度圖； 基於所述第一影像及所述第二影像來估計所述第二影像的主要區域與所述第二影像的殘餘區域之間的關係；以及 基於所述主要區域與所述殘餘區域之間的所估計的所述關係、及所述第一深度圖來產生所述第二影像的第二深度圖。
  13. 如請求項12所述的方法，其中所述電子設備包括所述第一照相機模組及所述第二照相機模組，所述第一照相機模組包括具有第一視野的第一透鏡，所述第二照相機模組包括具有較所述第一視野寬的第二視野的第二透鏡。
  14. 如請求項13所述的方法，其中產生所述第二深度圖包括： 基於所述主要區域與所述殘餘區域之間的所估計的所述關係、及所述第一深度圖來估計所述殘餘區域的深度圖；以及 基於所述殘餘區域的所述深度圖及所述第一深度圖來產生所述第二深度圖。
  15. 如請求項12所述的方法，其中使用類神經網路模型來執行估計所述第二影像的所述主要區域與所述第二影像的所述殘餘區域之間的所述關係。
  16. 如請求項12所述的方法，更包括： 對所述第二深度圖執行預處理操作；以及 藉由融合被執行了所述預處理操作的所述第二深度圖及所述第一深度圖來產生所述第二影像的第三深度圖。
  17. 如請求項16所述的方法，其中執行所述預處理操作包括基於所述第二深度圖在所述主要區域的深度圖與所述殘餘區域的深度圖之間執行色調映射操作。
  18. 一種用於電子設備的操作方法， 所述電子設備包括：第一照相機模組及第二照相機模組，所述第一照相機模組使用第一視野提供物體的第一影像，所述第二照相機模組使用較所述第一視野寬的第二視野提供所述物體的第二影像，以及 處理器，基於所述第二影像的主要區域及所述第二影像的殘餘區域來產生所述第二影像的深度圖， 所述操作方法包括： 藉由估計所述第一影像與所述第二影像之間的關係來產生所述主要區域的第一深度圖； 基於所述第一影像及所述第二影像來估計所述主要區域與所述殘餘區域之間的關係； 藉由基於所述主要區域與所述殘餘區域之間的所估計的所述關係估計所述殘餘區域的深度圖來產生所述第二影像的第二深度圖；以及 藉由融合所述第一深度圖及所述第二深度圖來產生所述第二影像的深度圖。
  19. 如請求項18所述的操作方法，更包括： 基於所述第二影像的所述深度圖來執行對所述第二影像應用影像效果的應用。
  20. 如請求項19所述的操作方法，其中所述應用基於所述第二影像的所述深度圖對所述第二影像應用自動聚焦、散焦、前景/背景分離、面部識別、畫面內物體偵測及擴增實境中的至少一種影像效果。
TW108139015A 2018-12-14 2019-10-29 電子設備及其操作方法以及影像處理方法 TWI835907B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180162147A KR102606824B1 (ko) 2018-12-14 2018-12-14 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
KR10-2018-0162147 2018-12-14

Publications (2)

Publication Number Publication Date
TW202038604A true TW202038604A (zh) 2020-10-16
TWI835907B TWI835907B (zh) 2024-03-21

Family

ID=71071023

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108139015A TWI835907B (zh) 2018-12-14 2019-10-29 電子設備及其操作方法以及影像處理方法

Country Status (4)

Country Link
US (1) US10848746B2 (zh)
KR (1) KR102606824B1 (zh)
CN (1) CN111327887B (zh)
TW (1) TWI835907B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488359B2 (en) * 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system
US11457196B2 (en) 2019-08-28 2022-09-27 Snap Inc. Effects for 3D data in a messaging system
US11189104B2 (en) 2019-08-28 2021-11-30 Snap Inc. Generating 3D data in a messaging system
KR20220005283A (ko) * 2020-07-06 2022-01-13 삼성전자주식회사 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법
CN114663575A (zh) * 2020-12-23 2022-06-24 日本电气株式会社 图像处理的方法、设备和计算机可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871595B1 (ko) 2007-10-09 2008-12-02 박선의 고속카메라를 이용한 구형물체의 비행정보 측정 시스템
CN101960860B (zh) * 2007-11-09 2013-06-26 汤姆森许可贸易公司 使用基于区域的滤波的深度图提取系统和方法
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
KR101244044B1 (ko) 2012-03-19 2013-03-15 정미애 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법
US10237528B2 (en) * 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera
KR102147133B1 (ko) 2013-05-16 2020-08-24 엘지이노텍 주식회사 스테레오 카메라
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
KR102172992B1 (ko) 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
KR101609188B1 (ko) 2014-09-11 2016-04-05 동국대학교 산학협력단 화각의 향상을 위한 최적 배치를 갖는 깊이 카메라 시스템
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
US10404969B2 (en) 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
CN107534764B (zh) 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
US10291842B2 (en) * 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
US9900584B2 (en) 2016-04-27 2018-02-20 Semyon Nisenzon Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters
KR102622754B1 (ko) * 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
KR102529928B1 (ko) * 2016-09-22 2023-05-09 삼성전자주식회사 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
US10178370B2 (en) * 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10397549B2 (en) * 2016-12-20 2019-08-27 Gopro, Inc. Compact array of imaging devices with supplemental imaging unit
KR101739394B1 (ko) 2016-12-30 2017-05-26 재단법인대구경북과학기술원 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법
US10262238B2 (en) * 2017-04-13 2019-04-16 Facebook, Inc. Panoramic camera systems
CN108230384B (zh) * 2017-11-28 2021-08-24 深圳市商汤科技有限公司 图像深度计算方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
US20200195910A1 (en) 2020-06-18
TWI835907B (zh) 2024-03-21
KR20200073694A (ko) 2020-06-24
KR102606824B1 (ko) 2023-11-27
US10848746B2 (en) 2020-11-24
CN111327887B (zh) 2024-06-14
CN111327887A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
TWI835907B (zh) 電子設備及其操作方法以及影像處理方法
KR102574141B1 (ko) 이미지 디스플레이 방법 및 디바이스
Wang et al. Selective light field refocusing for camera arrays using bokeh rendering and superresolution
Lu et al. Depth enhancement via low-rank matrix completion
US20200145642A1 (en) Method and apparatus for estimating depth of field information
EP3101624B1 (en) Image processing method and image processing device
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
US11663691B2 (en) Method and apparatus for restoring image
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
WO2021030002A1 (en) Depth-aware photo editing
Chen et al. Light field denoising via anisotropic parallax analysis in a CNN framework
US10109076B2 (en) Depth-aware stereo image editing method apparatus and computer-readable medium
US10397498B2 (en) Compressive sensing capturing device and method
US9100563B2 (en) Apparatus, method and computer-readable medium imaging through at least one aperture of each pixel of display panel
Ruan et al. Aifnet: All-in-focus image restoration network using a light field-based dataset
Luo et al. Bokeh rendering from defocus estimation
CN115049783B (zh) 模型的确定方法、场景重建模型、介质、设备及产品
CN113962873A (zh) 一种图像去噪方法、存储介质及终端设备
CN109978928B (zh) 一种基于加权投票的双目视觉立体匹配方法及其系统
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
Guo et al. Low-light color imaging via dual camera acquisition
Anthes Smarter photography
CN111382753A (zh) 光场语义分割方法、系统、电子终端及存储介质
Ruping et al. Removing reflection from images based on BP neural network of motion field
Li et al. Learning to Synthesize Photorealistic Dual-pixel Images from RGBD frames