TW201342308A - 基於結合來自多個照相機之影像之影像增強 - Google Patents

Abstract

提供基於結合多個相關影像(諸如從不同成像角度取得之相同對象之影像)之影像增強之系統及方法。此方法允許模擬使用攝遠透鏡從更長距離攝取之影像。可使用通常用在照相機電話、平板電腦及膝上型電腦上之配備較短焦距透鏡之簡單照相機攝取初始影像。該等初始影像可使用定位在彼此相距特定距離處之兩個不同照相機取得。在各影像中識別一對象或更具體言之該對象之一中心線。該對象通常存在於該等初始影像之該前景部分中。該等初始影像可沿著該對象中心線交錯淡入淡出以產生一結合影像。分離各影像之該前景部分及該背景部分可分離並分開處理，諸如模糊化該背景部分及清晰化該前景部分。

Description

基於結合來自多個照相機之影像之影像增強 相關申請案之交互參考

本申請案係2012年12月18日申請的接續申請案第13/719,079號，該接續申請案主張2012年1月4日申請的美國臨時專利申請案第61/583,144及2012年1月25日申請的美國臨時專利申請案第61/590,656號的權利；且本申請案主張2012年1月25日申請的美國臨時專利申請案第61/590,656號的權利；所有申請案的全文以引用的方式併入本文中。

本申請案大致係關於影像增強且更具體言之係關於用於基於結合來自多個照相機之影像之影像增強之電腦實施系統及方法。

許多現代行動裝置(諸如智慧電話及膝上型電腦)配備照相機。但是，由此等照相機產生之照片及視訊影像之品質通常低於期望。一個問題係此等電子裝置使用舉例而言與專業照相機相比相對便宜之照相機及透鏡。另一問題係行動裝置之相對較小尺寸(特定言之，行動裝置之厚度)要求光學透鏡亦係小的。此外，行動裝置通常緊鄰對象操作(例如，介於300 mm與900 mm之間)且配備短焦距透鏡。因而，所產生之影像通常遭受由緊鄰標的使用短焦距照相機所導致之透視失真。

提供用於基於結合多個相關影像(諸如從不同角度取得之相同對象之影像)之影像增強之電腦實施系統及方法。根據不同實施例，此方法允許來自附近照相機之多個影像結合以模擬來自更遠照相機之單個影像。可使用簡單照相機(諸如具有通常用於照相機電話、平板電腦及膝上型電腦中之短焦距透鏡之照相機)攝取初始影像。使用定位在彼此相距特定距離之兩個不同照相機取得初始影像。在各影像中識別對象或更具體言之對象之中心線。對象通常存在於初始影像之前景上。因而，偵測各影像之前景部分可在中心線識別之前執行。初始影像可對準且交錯淡入淡出。前景部分可與背景部分分離。背景部分可模糊化或更一般而言與前景部分分開處理。過程中的上述步驟無需皆按指定順序完成，而是為方便或高效起見取決於特定應用及其特定要求按不同順序完成。

在一些實施例中，結合多個相關影像以增強影像品質之方法涉及接收兩個初始影像，使得各初始影像包含提供在此影像之前景部分上之對象且各初始影像對應於相對於對象之不同成像角度(例如，右影像及左影像)。亦可提供額外初始影像。舉例而言，在一些實施例中可提供對應於不同成像角度之三個或更多影像(例如，右、中及左影像)。方法可繼續偵測各初始影像中所存在之對象及在各初始影像中決定對象之對象中心線。舉例而言，對象可為人臉而對象中心線可為延伸穿過鼻子之線。應注意在一些實施例中，對象中心線可不一定將對象劃分為等大部分。在一些實施例中，一個部分可稍大於另一部分，其可取決於成像角度。對象中心線之決定可涉及分析兩個影像及在兩個初始影像之各者中決定舉例而言最共同的線，其隨後可允許此等初始影像沿著此等線交錯淡入淡出。方法可繼續沿著對象中心線使多個初始影像交錯淡入淡出使得交錯淡入淡出產生結合影像。交錯淡入淡出可涉及由對象中心線界定之初始影像之部分之操縱。在一些實 施例中，方法涉及沿著對象中心線對準多個初始應影像以特定言之在不同時刻取得影像時確保不同初始影像之適當調平。

在一些實施例中，方法涉及攝取多個初始影像。可使用提供在一個裝置上之兩個或更多個照相機(例如定位在彼此相距介於大約30毫米與150毫米之間之距離之照相機)攝取此等影像。包含此等照相機之裝置可為膝上型電腦系統、平板電腦系統或照相機電話之一者。

在一些實施例中，多個初始影像可為具有立體像差之立體影像。立體像差係依賴其來增強所得影像之兩個初始影像之間之差異之一實例。亦可使用其他類型之差異。在一些實施例中，在各初始影像中偵測對象可包含選自由運動視差、局部聚焦、色彩分組及面部偵測組成之群組之一項或多項技術。當人臉通常係影像之中心對象時，面部偵測可能對於視訊會議特別有用。

在一些實施例中，初始影像之前景部分及背景部分可不同地處理。因而，結合影像可包含結合之前景部分及結合之背景部分。結合之前景部分包含藉由使多個初始影像之對象交錯淡入淡出而形成之結合對象。在一些實施例中，方法亦涉及改變結合前景部分之一或多個性質，諸如改變清晰度以及改變、著色、抑制及改變飽和度。此等性質之一者或多者亦可在結合背景上改變。

在一些實施例中，使用一項或多項技術模糊化結合背景部分，諸如圓形模糊化及高斯(Gaussian)模糊化。結合背景部分可適應地模糊化。適應態樣可取決於前景部分及背景部分上之對象中心線之位置之差異。此等位置之額外差異可驅動背景之更模糊化。此外，適應態樣可應用於決定背景及前景，即調適兩者之間之分離以解決導致改變對象無照相機之間之距離之對象移動。在一些實施例中，結合背景部分用新背景影像取代。

在一些實施例中，方法涉及決定各初始影像之前景部分且亦可 涉及將各初始影像之前景部分與背景部分分離並將各部分分開處理。如上所述，處理或更具體言之交錯淡入淡出多個初始影像可獨立在此等影像之背景部分及前景部分上執行。在一些實施例中，背景部分之交錯淡入淡出涉及使背景部分之至少一些朝向對象中心線偏移。在一些實施例中，方法涉及重複接收、決定、對準及交錯淡入淡出操作至少一次。多個初始影像可代表視訊之一圖框。

在一些實施例中，結合多個相關影像以增強影像品質之方法涉及使用定位在相同裝置上之不同照相機攝取多個初始影像。照相機可定位在舉例而言彼此相距介於大約30毫米與150毫米之間之距離。方法可繼續決定各初始影像之前景部分。方法繼續在多個初始影像之各前景部分中決定對象中心線。方法可繼續沿著對象中心線使多個初始影像之前景部分交錯淡入淡出使得交錯淡入淡出產生結合影像。方法亦可包含將各初始影像之前景部分與背景部分分離，抑制背景部分(例如，模糊化)及/或增強前景部分。

亦提供包含第一照相機及第二照相機之裝置使得第一照相機與第二照相機之間之距離介於大約30毫米與150毫米之間。第一照相機及第二照相機經組態以從不同成像角度攝取相同對象之兩個初始影像。裝置亦包含處理模組，其組態用於在兩個初始影像之各者中偵測對象，在兩個初始影像之各者中決定對象之對象中心線，沿著對象中線線對準兩個初始影像及沿著對象中心線使兩個初始影像交錯淡入淡出產生結合影像。此外，裝置亦包含用於儲存兩個初始影像及結合影像之儲存模組。

102‧‧‧對象

104a‧‧‧右耳

104b‧‧‧左耳

106‧‧‧鼻子

110‧‧‧裝置

114‧‧‧裝置

300‧‧‧俯視圖

302‧‧‧頭部

304a‧‧‧左耳

304b‧‧‧右耳

310‧‧‧裝置

312a‧‧‧照相機

312b‧‧‧照相機

314‧‧‧等效單個照相機

400‧‧‧初始影像

402‧‧‧對象表示

404‧‧‧窗邊緣表示

406‧‧‧對象中心線

408‧‧‧左部分

409‧‧‧右部分

410‧‧‧初始影像

412‧‧‧對象表示

414‧‧‧窗邊緣表示

416‧‧‧對象中心線

418‧‧‧左部分

419‧‧‧右部分

500‧‧‧結合影像

502‧‧‧對象表示

504a‧‧‧表示

504b‧‧‧表示

506‧‧‧對象中心線

508‧‧‧左部分

509‧‧‧右部分

700‧‧‧影像攝取及處理裝置

702‧‧‧第一照相機

704‧‧‧第二照相機

706‧‧‧處理模組

708‧‧‧資料儲存模組

712‧‧‧左照相機

714‧‧‧右照相機

722‧‧‧左照相機

724‧‧‧右照相機

800‧‧‧電腦系統

802‧‧‧處理器

804‧‧‧指令

805‧‧‧主記憶體

806‧‧‧視訊顯示器

810‧‧‧指令

812‧‧‧文數字輸入裝置

814‧‧‧靜態記憶體

815‧‧‧網路介面裝置

816‧‧‧游標控制裝置

820‧‧‧碟機單元

822‧‧‧電腦可讀媒體

824‧‧‧網路

825‧‧‧匯流排

826‧‧‧信號產生裝置

圖1繪示根據一些實施例之對象及定位在相對於對象之不同距離及角度之不同影像攝取裝置之示意俯視圖。

圖2A繪示根據一些實施例之使用長焦距透鏡從遠處攝取之對象 之影像。

圖2B繪示根據一些實施例之使用短焦距透鏡在與對象相距短距離處攝取之相同對象(如圖2A中)之影像。

圖3繪示根據一些實施例之配備兩個照相機及等效單個照相機之裝置之俯視圖，其繪示裝置與對象之相對位置。

圖4A及圖4B繪示根據一些實施例之結合此等影像之前之兩個初始影像。

圖5繪示根據一些實施例之由圖4A及圖4B所示之兩個初始影像之交錯淡入淡出產生之結合影像。

圖6係根據一些實施例之用於處理影像之方法之處理流程圖。

圖7A係根據一些實施例之影像攝取及處理裝置之不同模組之示意圖。

圖7B係根據一些實施例之利用兩個影像之立體像差之示意處理流程。

圖7C係根據一些實施例之不利用立體像差之示意處理流程。

圖8係電腦系統形式之例示性機器之示意圖，其內可執行用於導致機器執行本文所述之方法之任一者或多者之一組指令。

在下文描述中，說明許多特定細節以提供所提出之概念之透徹理解。所提出之概念可在無一些或所有此等特定細節的情況下實踐。在其他實例中，已知處理操作未詳細描述以免不必要地混淆所描述之概念。雖然將結合特定實施例描述一些概念，但是應瞭解此等實施例不旨在限制。

簡介

許多現代裝置配備為此等裝置提供額外功能性之照相機。同時，裝置正逐漸變小以使其等之使用更方便。實例包含照相機電話、 平板電腦、膝上型電腦、數位照相機及其他類似裝置。現將簡述照相機電話實例以提供本揭示內容之一些內容脈絡。照相機電話係行動電話，其能夠攝取影像，諸如靜態照片及/或視訊。目前，所使用的大多數行動電話係照相機電話。照相機電話通常具有比專用數位照相機(特定言之，高階數位照相機，諸如DSLR照相機)簡單之透鏡及感測器。照相機電話通常配備限制其等之效能之較短焦距及定焦透鏡及較小感測器。

成本及大小限制限制可實施在上述裝置上之光學特徵。具體言之，許多裝置之薄外觀尺寸使得使用長透鏡(具有用於攝取高品質有限景深效果(即，清晰標的、模糊背景)之寬孔徑)變得非常困難。有鑑於此，用照相機電話進行近視圖拍攝通常太靠近標的，導致強透視失真。

提供將多個低品質影像結合為一個較高品質影像、藉此產生影像增強之電腦實施系統及方法。此方法藉由結合從短距離攝取之多個影像而允許模擬從較長距離攝取之影像。圖1繪示近照相機及遠照相機之視角之差異，繪示根據一些實施例之對象102及定位在相對於對象102之不同距離處之不同影像攝取裝置110及114之示意俯視圖。為簡明起見，識別對象102之一些特徵，諸如右耳104a、左耳104b及鼻子106。雖然實際上裝置114被偏移至對象102之左側，但是其仍能夠在不相對於鼻子轉動太多的情況下攝取兩耳104a及104b。因而，裝置114(需相對於裝置110配備更長焦距透鏡，例如攝遠透鏡)將取得對象102之高品質及不失真影像。但是，當類似地偏移至對象102左側之短焦距照相機/裝置110試圖取得類似影像時，其經僅能夠攝取左耳104b。此外，鼻子106按銳角攝取，其可能導致其比例相對於其他部分失真。

分別在圖2A及圖2B中展示使用長焦距透鏡及短焦距透鏡之實際 結果。具體言之，圖2A繪示根據一些實施例之使用長焦距(攝遠)透鏡(類似於圖1中之裝置114)從遠處攝取之對象之影像，而圖2B繪示根據不同實施例之使用短焦距(寬角)透鏡(類似於圖1中之裝置110)從與對象相距短距離處攝取之相同對象之影像。

通常舉例而言按兩英尺或更小之量級從短距離取得標的之圖像。這可能舉例而言在視訊會議期間使用安裝在膝上型電腦螢幕之邊框上之照相機時，在使用蜂巢式電話照相機取得手持自拍照及使用攜帶式裝置進行類似照相時發生。當透鏡至標的距離短時，可能存在標的(例如，通常係標的之面部)之逼真透視失真，其具有例如使鼻子看起來大、耳朵縮到頭部後方及面部及頸部看起來不自然地薄的表現。

一些實施例可包含以短照相機至標的距離操作之具有短透鏡且可產生看似具有長透鏡之更遠照相機之影像之照相機，因此使此透視失真效果最小化且形成標的之逼真影像。初始影像可使用簡單照相機攝取，諸如通常使用在照相機電話、平板電腦及膝上型電腦上之短焦距照相機及具有短透鏡之照相機。可使用定位在彼此相距特定距離處之兩個不同照相機取得初始影像。在各影像中識別對象或更具體言之對象之中心線。對象通常存在在初始影像之前景上。因而，偵測各影像之前景部分可在中心線識別之前執行。初始影像可對準並交錯淡入淡出。前景部分可與背景部分分離。背景部分可模糊化或更一般而言與前景部分分開處理。上述過程中之步驟無需皆按指定順序完成，而是可為方便或高效起見取決於特定應用及其特定要求按不同順序完成。

圖3繪示根據一些實施例之配備兩個照相機312a及312b及等效單個照相機314裝置之裝置310之俯視圖300，其繪示裝置310及314至對象(頭部)302之相對位置。照相機312a及312b一起可類似於幾乎等效遠照相機314看見對象302之兩側，而隔離之照相機312a及312b之各者 可能無法看見頭部302之兩側。具體言之，左照相機312a可具有左耳304a之較佳視野及右耳304b之不足視野而右照相機312b可具有右耳304b之較佳視野及左耳304a之不足視野。當由左照相機312a及右照相機312b兩者取得之兩個影像結合時，結合影像包含右耳304及左耳304b之充分表示。

在一些實施例中，將來自左照相機及右照相機之影像結合為複合影像之方法涉及在兩個照相機影像中偵測前景對象(即，標的)。這可舉例而言，對兩個影像使用立體像差及/或面部偵測而完成。方法可繼續對準及在一些實施例中在前景對象之中心上縮放兩個影像。兩個影像隨後交錯淡入淡出為結合(或複合)影像使得影像之左側來自左照相機而影像之右側來自右照相機。交錯淡入淡出區可足夠窄使得影像在其內具有良好對準。方法視需要涉及在複合影像中模糊化背景。

應注意可用於攝取初始影像之兩個照相機系統與展示兩個影像至觀看者之眼睛並為觀看者形成全3D體驗之立體3D照相機不同。而是，在所述方法及系統中僅提供一個結合影像且初始攝取之立體影像不顯示給觀看者。初始影像被結合以從更遠形成單個較高品質影像拍攝之表現。

此等方法之一些應用可包含舉例而言運行在膝上型或桌上型電腦上之視訊會議系統、獨立視訊會議系統、行動裝置(諸如智慧電話)上之視訊會議系統、智慧電話/行動裝置上用於自拍之前置照相機、獨立靜態照相機、獨立視訊照相機、需要不失真影像但將照相機移回與標的相距足夠遠不可行或不切實際之任意照相機及類似物。

在一些實施例中，可使用兩個或更多照相機。舉例而言，使用三個照相機(例如，左、中及右)，複合影像可包括左影像之左部分、中心影像之中心部分及右影像之右部分，導致與從單個遠照相機獲得之影像相比減小之透視失真。

圖4A及圖4B繪示根據一些實施例之經結合以增強所得影像之品質之兩個初始影像400及410之實例。為簡明起見，初始影像400將被稱作左影像，而初始影像410將被稱作右影像。左影像及右影像可使用提供在相同裝置(例如，上文參考圖3所述之裝置)上之兩個照相機或透鏡獲得且實質同時攝取使得對象在兩個影像中維持相同定向(即，不移動)。在一些實施例中，相同照相機或透鏡可用於透過將對象或照相機相對於彼此移動而攝取左影像及右影像。

各初始影像包含相同對象之稍微不同表示，即，左影像400包含對象表示402而右影像410包含對象表示412。此等對象表示中存在微小差異。舉例而言，對象表示402具有更可見之左耳，而右耳不可見。應注意，影像涉及所有特殊定向；實際對象定向可能不同。另一方面，對象表示412可具有更可見之右耳，而左耳僅稍微可見。此外，對象表示402顯示實際對象(人)稍微轉(例如，看)向右，而對象表示顯示實際對象直視且可稍微轉向左。當使用兩個初始影像時，對象表示的差異被稱作立體像差。

使用兩個或多個初始影像的表示的差異以增強此等對象表示並產生具有增強表示之結合影像。但是，歸因於照相機之間隔之太多差異可能導致對準及交錯淡入淡出的問題，導致甚至比初始影像中更低的品質表示。舉例而言，成像角度之太多差異可能導致此等問題。在一些實施例中，照相機定位在彼此相距介於大約30毫米與150毫米之間之距離處。

由相對於對象之不同成像角度導致之對象表示402及412之間之差異在上文中參考圖3描述。應注意，當多個對象之表示存在於兩個或更多初始影像中時，表示可能取決於對象與照相機之鄰近度而變化。舉例而言，主對象可能存在於前景上，而一些額外對象可能存在於背景上。影像400及410包括出現在前景上之對象表示402及412及舉 例而言出現在背景上之窗邊緣表示404及414。雖然兩組表示是在攝取此等影像時維持相同相對位置的相同兩個實際對象(即，人和窗邊緣)，但是其等之表示之位置不同。舉例而言，窗邊緣表示404在左影像400中圍繞頭部之左部分定位，而窗邊緣表示414在右影像410中圍繞頭部之右部分定位。換言之，對象表示之相對位置取決於其等與影像攝取透鏡之距離。為了解決此差異，初始影像可分解為前景部分及背景部分且如下文更詳細所述各類型可獨立於彼此處理。

處理可涉及在初始影像之各者中決定對象中心線。對象中心線可代表對象表示之中心或對應於對象表示之一些其他特徵(例如，鼻子、眼睛之間之分離)。對象中心線通常不對應於初始影像之中心且由中心線劃分之初始影像之部分可能不同。舉例而言，對象中心線406將影像400劃分為左部分408及右部分409。以類似方式，對象中心線416將影像410劃分為左部分418及右部分419。中心線406及416兩者分別垂直延伸穿過對象表示402及412之鼻子之中心。

圖5繪示根據一些實施例之從圖4A及圖4B所示之初始影像400及410中產生之結合影像500。具體言之，對象中心線506通常對應於初始影像400及410之中心線406及416。結合影像500之左部分508代表左影像400之左部分408之經修改版本，而右部分509代表右影像410之右部分419之經修改版本。此等修改可來自交錯淡入淡出以提供更均勻結合影像及兩個部分509與509之間之過渡。舉例而言，左影像400之左部分408可與右影像410之左部分418交錯淡入淡出以形成結合影像之左部分508。僅左部分418之一部分，特定言之沿著中心線416延伸之部分可用於交錯淡入淡出。以類似方式，右影像410之右部分419可與左影像400之右部分409或更具體言之與沿著中心線406延伸之右部分409之部分交錯淡入淡出以形成右部分509。

結合影像500之品質取決於中心線406及416識別之良好程度及交 錯淡入淡出執行之良好程度。有關結合影像500之對象表示502包含兩隻耳之清晰視圖，其在初始影像400及410之任一者中缺失。對象表示502中之對象表現為直視且不像在初始影像400及410中表現為看向左或右。但是，結合影像500中之背景對象之表示不會如此成功。舉例而言，相同實際窗邊緣之窗邊緣表示404及414表現為兩個不同表示504a及504b。此等問題可能具有迷惑性及干擾性。為了解決此等問題，背景可能被模糊化或完全被取代(例如，用替代的背景影像)。此外，初始影像之前景及背景部分之處理可分開執行以解決上述問題。舉例而言，單獨的對象中心線可針對不同對象識別，例如前景上的對象及背景上的對象。交錯淡入淡出可沿著此等不同對象中心線獨立執行。應注意，在處理視訊時，對象可移動且可改變其至照相機的距離。因而，背景對象與前景對象之間之分隔可動態執行。此外，可針對初始影像識別超過兩個(即，背景及前景)深度區且落入各深度區中的影像部分可獨立處理。雖然此方法形成額外計算複雜性，但是其形成更增強之結合影像且可能特別適於靜態影像。應注意，本文所述之技術可用於靜態影像及移動影像兩者(例如，智慧電話或個人電腦上之視訊會議或視訊會議終端)。

影像處理方法之實例

圖6係根據一些實施例之用於處理影像之方法600之處理流程圖。方法600可從在操作610期間攝取一或多個影像開始。在一些實施例中，多個照相機用於攝取不同影像。具有多個照相機之影像攝取裝置之不同實例描述於上文中。在其他實施例中，相同照相機可用於舉例而言以不同成像角度攝取多個影像。來自用於相同處理中的多個照相機之多個影像應與如舉例而言在視訊影像處理期間依序處理之多個影像區分。

應注意，影像攝取裝置可與影像處理裝置實體分離。此等裝置 可使用網路、電纜或一些其他構件連接。在一些實施例中，影像攝取裝置及影像處理裝置可獨立操作且可不具有直接連接。舉例而言，影像可被攝取並儲存達一時間週期。在一段時間後，影像可在用戶需要時被處理。在特定實例中，影像處理功能可提供作為圖形軟體包之一部分。

在一些實施例中，可在操作601期間由不同照相機或更具體言之提供在相同裝置上之不同光學透鏡攝取兩個影像。此等影像可被稱作立體影像。在一些實施例中，兩個照相機分離達介於大約30毫米與150毫米之間。如上所述，此距離在對象與照相機相距300毫米與900毫米內時最合適。可使用具有增大景深之相對較小孔徑之照相機攝取操作601期間所攝取之一或多個影像。換言之，此照相機可提供非常小的深度分離且影像之背景部分及前景部分兩者可具有類似清晰度。

方法600可繼續在操作603期間至少偵測一或多個影像之前景部分。此偵測操作可基於一項或多項下列技術：立體像差、運動視差、局部聚焦、色彩分組及面部偵測。現將更詳細描述此等技術。

運動視差可用於視訊影像。運動視差為由影像中攝取之對象與攝取裝置之相對運動導致之深度線索。通常，視差係沿著兩條不同瞄準線觀看之對象之明顯位置之位移或差異。可由該兩條線之間之傾斜角或傾斜半角表示視差。當從不同位置觀看時，近物具有比更遠對象大之視差，其允許使用視差值以決定距離及分離影像之前景部分及背景部分。

面部偵測技術在任意影像中決定人臉之位置及大小。面部偵測技術在本技術中已知，見例如G.Bradski，A.Kaehler，「Learning OpenCV」，2008年9月，其以引用的方式併入本文中。開源電腦視覺庫(OpenCV)提供主要涉及即時電腦視覺及覆蓋不同應用領域，包含面部識別(包含面部偵測)及立體視覺(包含立體像差)之程式化功能之 開源庫及因此此等已知程式化功能及技術在本文中不作詳細描述。根據非限制實例，分類器可根據不同方法使用以將影像之部分分類為面部或非面部。

在一些實施例中，操作602期間處理之影像具有立體像差。立體像差係左影像與右影像上之對應點之間之差異且在本技術中已知，見例如，以引用的方式併入本文中之M.Okutomi，T.Kanade，「A Multiple-Baseline Stereo」，IEEE Transactions on Pattern Analysis and Machine Intelligence，1993年4月，第15卷第4號且因此在本文中不作詳細描述。如上所述，OpenCV庫提供涉及立體像差之程式化功能。

可在偵測操作602期間使用立體像差來決定立體影像中之各像素或補塊(patch)與照相機之鄰近度及因此至少識別影像之背景部分。

操作603涉及在各初始影像中偵測對象。此操作可涉及用於偵測前景部分之上述一項或多項技術。通常，對象定位在影像之前景上。在視訊會議之內容脈絡中，對象可為人且面部辨識技術可用於偵測對象。

操作604涉及如上文參考圖4A及圖4B所述在各初始影像中決定對象之對象中心線。在一些實施例中，可在操作604期間使用其他對準及/或縮放技術。方法繼續沿著對象中心線使兩個初始影像交錯淡入淡出，藉此在操作605期間產生結合影像。在上文中參考圖5描述此操作之一些態樣。

在操作606中，前景部分可與背景部分分離。在不同實施例中，背景可在操作607中與前景部分分開處理。在一些實施例中，可識別其他影像部分類型，諸如面部、中間部分(即，前景部分與背景部分之間之部分)。將原始影像分為多個部分之目的係使得此等部分之至少一者可獨立於其他部分處理。

操作607中之處理可涉及下列技術之一者或多者：散焦(即，模糊 化)、改變清晰度、變色、抑制及改變飽和度。模糊化可基於不同技術，諸如圓形模糊或高斯模糊。模糊化技術在本領域中已知，見例如G.Bradski,A.Kaehler，「Learning OpenCV」，2008年9月，其以引用的方式併入本文中，其中模糊化亦被稱作平滑化，及Potmesil,M.；Chakravarty,I.(1982)，「Synthetic Image Generation with a Lens and Aperture Camera Model」，ACM Transactions on Graphics，1，ACM，第85頁至108頁，其以引用的方式併入本文中，其亦描述不同模糊產生技術。在一些實施例中，可使用橢圓形或盒狀模糊。有時被稱作高斯平滑化之高斯模糊使用高斯函數模糊化影像。高斯模糊在本領域中已知，見，例如，上文「Learning OpenCV」。

在一些實施例中，影像被處理使得清晰度針對影像之前景部分或背景部分而改變。改變影像之清晰度可能涉及改變影像之邊緣對比度。清晰度改變可涉及低通濾波及再取樣。

在一些實施例中，影像被處理使得影像之背景部分模糊化。這減少干擾及將注意力集中在前景上。前景部分可保持不變。或者，影像之前景部分可清晰化。

在一些實施例中，如選用之操作608所反映，經處理影像被顯示給使用者。使用者可選擇藉由舉例而言改變操作606期間所使用之設定而執行額外調整。此等設定可用於其他影像之未來處理。經處理影像可顯示在(操作602期間)用於攝取原始影像之裝置或一些其他裝置上。舉例而言，經處理影像可傳輸至另一電腦系統作為電話會議的一部分。

在一些實施例中，影像係視訊之一圖框(例如，在視訊會議之內容脈絡中使用之即時視訊)。如決策塊610所反映，操作602至608之一些或所有可針對視訊之各圖框重複。在此情況中，相同設定可用於視訊中之大多數圖框。此外，特定處理(例如，面部偵測)之結果可適於 其他圖框。

影像處理設備實例

圖7A係根據一些實施例之影像攝取及處理裝置700之不同模組之示意圖。具體言之，裝置700包含第一照相機702、處理模組706及儲存模組708。裝置700亦可包含選用之第二照相機704(且可具有第三照相機，未繪示)。一個或兩個照相機702及704可配備具有導致大景深之相對較小透鏡孔徑之透鏡。因而，所得影像之背景可非常干擾，分散觀看者之注意力。上文參考圖3至圖5描述照相機位置之不同細節。

在不同實施例中，處理模組706組態用於偵測立體影像之前景部分或背景部分之至少一者。處理模組706亦可組態用於在兩個初始影像之各者中偵測對象，在兩個初始影像之各者中決定對象之對象中心線，沿著對象中心線對準兩個初始影像及沿著對象中心線使兩個初始影像交錯淡入淡出產生結合影像。如上所述，偵測操作將立體影像分為至少前景部分及背景部分。

儲存模組708組態用於儲存初始影像以及結合影像及用於偵測及處理操作之一或多個設定。儲存模組708可包含有形電腦記憶體，諸如快閃記憶體或其他類型之記憶體。

圖7B係根據一些實施例之利用具有兩個照相機712及714之裝置之示意處理流程710。照相機712可為左照相機，而照相機714可為右照相機。照相機712及714產生立體影像，可從該立體影像決定立體像差(方塊715)。此立體像差可用於偵測至少立體影像之前景部分(方塊716)。面部偵測亦可連同立體像差用於偵測。具體言之，操作718涉及使由照相機712及714攝取之影像對準及交錯淡入淡出。此操作產生結合影像，其可藉由將前景部分及背景部分分離及將背景部分與前景部分分開處理，例如偵測及抑制背景部分及/或增強偵測之前景部分而進一步處理(方塊719)。在一些實施例中，前景部分及背景部分皆 可在方塊716中偵測，免除在方塊719中偵測前景部分之需要。

圖7C係根據一些實施例之利用具有兩個照相機722及724之裝置之另一示意處理流程720。同樣地，照相機722可為左照相機，而照相機724可為右照相機。但是，用照相機722及724攝取之影像可能非從其中決定立體像差之立體影像。立體影像之至少前景部分之靜態偵測可在操作726期間執行。可使用無需立體像差之不同技術，諸如運動視差、局部聚焦、色彩分組及面部偵測。操作728涉及使由照相機722及724攝取之影像對準並交錯淡入淡出。此操作產生結合影像，其可藉由將前景部分及背景部分分離並將背景部分與前景部分分開處理，例如偵測及抑制背景部分及/或增強所偵測之前景部分(方塊729)而進一步處理。在一些實施例中，前景部分及背景部分兩者可在操作726中偵測，免除在方塊729中偵測背景之需要。

電腦系統實例

圖8係電腦系統800之形式之例示性機器之圖示，其內可執行導致機器執行本文所述之方法之任一者或多者之一組指令。在不同例示性實施例中，機器運作為獨立裝置或可連接(例如，網路化)至其他機器。在網路化部署中，機器可在伺服器-用戶端網路環境中以伺服器或用戶端機器之身份運作或在對等式(或分散式)網路環境中運作為對等機器。機器可為個人電腦(PC)、平板PC、機上盒(STB)、個人數位助理(PDA)、蜂巢式電話、攜帶式音樂播放器(例如，攜帶式硬碟音訊裝置，諸如動態影像專家組音訊層面3(MP3)播放器)、網頁裝置、網路路由器、交換器或橋接器或能夠執行指定將由該機器採取之行動之一組(連續或其他)指令之任意機器。此外，雖然僅繪示單個機器，但是術語「機器」亦應被理解為包含個別或聯合執行一組(或多組)指令以執行本文所述之方法之任一者或多者之任意機器組合。

例示性電腦系統800包含處理器或多個處理器802(例如，中央處 理單元(CPU)、圖形處理單元(GPU)、或兩者)及主記憶體805及靜態記憶體814，其等經由匯流排825彼此通信。電腦系統800可進一步包含視訊顯示單元806(例如，液晶顯示器(LCD))。電腦系統800亦可包含文數字輸入裝置812(例如，鍵盤)、游標控制裝置816(例如，滑鼠)、語音辨識或生物測定驗證單元、碟機單元820(本文中亦被稱作硬碟機單元820)、信號產生裝置826(例如，揚聲器)及網路介面裝置815。電腦系統800可進一步包含資料加密模組(未繪示)以加密資料。

硬碟驅動單元820包含電腦可讀媒體822，其上儲存具體體現或利用本文所述之方法或功能之任一者或多者之一或多組指令及資料結構(例如，指令810)。指令810在其被電腦系統800執行期間亦可完全或至少部分駐留在主記憶體805內及/或處理器802內。主記憶體805及處理器802亦可構成機器可讀媒體。

指令810可進一步利用許多已知傳送協定(例如，超文本傳送協定(HTTP))之任一者而經由網路介面裝置815在網路824上傳輸或接收。

雖然電腦可讀媒體822在例示性實施例中繪示為單個媒體，但是術語「電腦可讀媒體」應被理解為包含儲存一組或多組指令之單個媒體或多個媒體(例如，集中式或分散式資料庫及/或相關快取記憶體及伺服器)。術語「電腦可讀媒體」亦應被理解為包含任意媒體，該媒體能夠儲存、編碼或攜載一組指令供機器執行及導致機器執行本申請案之方法之任一者或多者或能夠儲存、編碼或攜載被此一組指令利用或與此一組指令相關聯之資料結構。術語「電腦可讀媒體」應相應地被理解為包含但不限於固態記憶體、光學及磁性媒體及載波信號。此等媒體亦可包含但不限於硬碟、軟碟、快閃記憶體卡、數位視訊碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)及類似物。

本文所述之例示性實施例可實施在包括安裝在電腦上、硬體中或軟體及硬體之組合中之軟體之操作環境中。

雖然已參考特定例示性實施例描述實施例，但是明顯可對此等實施例進行不同修改及變更而不脫離本文所述之系統及方法之更寬泛精神及範疇。因此，說明書及圖式應被視作闡釋性而非限制意義。

300‧‧‧俯視圖

302‧‧‧頭部

304a‧‧‧左耳

304b‧‧‧右耳

310‧‧‧裝置

312a‧‧‧照相機

312b‧‧‧照相機

314‧‧‧等效單個照相機

Claims (30)

1. 一種結合多個相關影像以增強影像品質之方法，該方法包括：接收兩個初始影像，各初始影像包括一對象之一對象表示，該對象表示提供在各初始影像之一前景部分上；各初始影像對應於相對於該對象之一不同成像角度；在各初始影像中偵測該對象；在各初始影像中決定該對象之一對象中心線；及沿著該對象中心線使該兩個初始影像交錯淡入淡出，其中該交錯淡入淡出產生一結合影像。
2. 如請求項1之方法，其進一步包括攝取該兩個初始影像。
3. 如請求項2之方法，其中使用提供在一裝置上之兩個或更多個照相機攝取該兩個初始影像。
4. 如請求項3之方法，其中該兩個或更多個照相機之兩者定位在彼此相距介於大約30毫米與150毫米之間之一距離處。
5. 如請求項3之方法，其中該裝置係一膝上型電腦系統、一平板電腦系統或一照相機電話之一者。
6. 如請求項1之方法，其中該兩個初始影像係立體影像，且該偵測包括分析該立體影像之該立體像差。
7. 如請求項1之方法，其中該偵測進一步包括面部偵測。
8. 如請求項1之方法，其中該偵測該對象包括：選自由運動像差、局部聚焦、色彩分組及面部偵測組成之群組之一項或多項技術。
9. 如請求項1之方法，其中該偵測該對象包括面部偵測。
10. 如請求項1之方法，其中該結合影像包括一結合前景部分及一結 合背景部分，該結合前景部分包括藉由使該兩個初始影像之該等對象交錯淡入淡出而形成之一結合對象。
11. 如請求項10之方法，其進一步包括改變該結合前景部分之一或多個性質，該一或多個性質選自由改變清晰度、變色、抑制及改變飽和度組成之群組。
12. 如請求項10之方法，其進一步包括改變該結合背景部分之一或多個性質，該一或多個性質選自由改變清晰度、變色、抑制及改變飽和度組成之群組。
13. 如請求項12之方法，其中使用包含圓形模糊化及高斯模糊化之至少一者之一項或多項模糊化技術模糊化該結合背景部分。
14. 如請求項12之方法，其中該結合背景部分係適應性模糊化。
15. 如請求項10之方法，其中用一新背景影像取代該結合背景部分。
16. 如請求項1之方法，其進一步包括：決定各初始影像之該前景部分；將各初始影像之該前景部分與一背景部分分離；其中該兩個初始影像之該交錯淡入淡出包括：使該兩個初始影像之該等前景部分交錯淡入淡出；及獨立地使該兩個初始影像之該等背景部分交錯淡入淡出。
17. 如請求項16之方法，其中該兩個初始影像之該等背景部分之該交錯淡入淡出包括：使該等背景部分之至少一些在朝向該對象中心線之一方向上偏移。
18. 如請求項1之方法，其進一步包括重複該接收、決定、對準及交錯淡入淡出至少一次。
19. 如請求項1之方法，其中該兩個初始影像代表一視訊之一圖框。
20. 一種結合多個相關影像以增強影像品質之方法，該方法包括： 使用定位在該相同裝置上之不同照相機攝取兩個初始影像，該等照相機定位在彼此相距介於大約30毫米與150毫米之間之一距離處；決定各初始影像之一前景部分；在該兩個初始影像之各前景部分中決定一對象中心線；及沿著該對象中心線使該兩個初始影像之該等前景部分交錯淡入淡出，其中該交錯淡入淡出產生一結合影像。
21. 一種裝置，其包括：一第一照相機；一第二照相機，其中該第一照相機與該第二照相機之間之一距離介於大約30毫米與150毫米之間，其中該第一照相機及該第二照相機經組態以從不同成像角度攝取該相同對象之兩個初始影像；一處理模組，其組態用於在該兩個初始影像之各者中偵測一對象，在該兩個初始影像之各者中決定該對象之一對象中心線，沿著該對象中心線對準該兩個初始影像及沿著該對象中心線使該兩個初始影像交錯淡入淡出，產生一結合影像；及一儲存模組，其用於儲存該兩個初始影像及該結合影像。
22. 一種處理一影像之電腦實施方法，該方法包括：接收至少一影像；偵測該至少一影像之一前景部分或一背景部分之至少一者，其中該偵測將該至少一影像分為至少該前景部分及該背景部分；及將該前景部分及該背景部分之至少一者彼此獨立處理，其中該背景部分用一新背景影像取代。
23. 如請求項22之電腦實施方法，其進一步包括：接收另一影像，該至少一影像及該另一影像包括一對象之一對象表示；該對象表示提供在該等影像之各者之該前景部分上；該等影像之各者對應於相對於該對象之一不同成像角度；在該等影像之各者中偵測該對象；在該等影像之各者中決定該對象之一對象中心線；及沿著該對象交錯線使該等影像交錯淡入淡出，其中該交錯淡入淡出產生一結合影像。
24. 如請求項23之電腦實施方法，其進一步包括攝取該等影像之各者。
25. 如請求項23之電腦實施方法，其中使用提供在一裝置上之兩個或更多照相機攝取該等影像。
26. 如請求項25之電腦實施方法，其中該兩個或更多個照相機之兩者定位在彼此相距介於大約30毫米與150毫米之間之一距離處。
27. 如請求項25之電腦實施方法，其中該裝置係一膝上型電腦系統、一平板電腦系統或一照相機電話之一者。
28. 如請求項23之電腦實施方法，其中該等影像係立體影像，且該偵測包括分析該立體影像之該立體像差。
29. 如請求項23之電腦實施方法，其中該偵測進一步包括面部偵測。
30. 如請求項23之電腦實施方法，其中該前景部分之該處理包括改變該前景部分之一或多個性質，該一或多個性質選自由改變清晰度、變色、抑制及改變飽和度組成之群組。