TWI707302B - 用於融合具有重疊視場的第一和第二影像的方法，裝置和相機 - Google Patents

用於融合具有重疊視場的第一和第二影像的方法，裝置和相機 Download PDF

Info

Publication number
TWI707302B
TWI707302B TW107139791A TW107139791A TWI707302B TW I707302 B TWI707302 B TW I707302B TW 107139791 A TW107139791 A TW 107139791A TW 107139791 A TW107139791 A TW 107139791A TW I707302 B TWI707302 B TW I707302B
Authority
TW
Taiwan
Prior art keywords
image
overlapping area
area
fusion
overlapping
Prior art date
Application number
TW107139791A
Other languages
English (en)
Other versions
TW201933275A (zh
Inventor
嵩 袁
漢普斯 林森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201933275A publication Critical patent/TW201933275A/zh
Application granted granted Critical
Publication of TWI707302B publication Critical patent/TWI707302B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種用於融合具有重疊視場之一第一影像及一第二影像之方法。該第一影像及該第二影像在一融合區域中融合。基於在擷取該第一影像時使用之一第一相機參數集與在擷取該第二影像時使用之一第二相機參數集之間之類似性來選擇該融合區域之一寬度，使得該寬度隨著類似性之增加而減小。

Description

用於融合具有重疊視場的第一和第二影像的方法，裝置和相機
本發明係關於影像之融合之領域。特定言之，本發明係關於一種用於融合具有重疊視場之一第一影像及一第二影像之方法、裝置及相機。
現今，通常擷取具有重疊視場之數個影像且將其等拼接在一起以便產生具有對應於個別影像之組合視場的一視場之一全景影像。舉例而言，可使用一多感測器相機來同時擷取數個影像且將影像拼接在一起以提供一全景影像。
影像拼接大體上係組合具有重疊視場之多個影像之程序。拼接程序可被劃分成數個程序階段。首先，影像經對準，使得其等轉換為具有匹配視點。舉例而言，若兩個影像將被拼接，則影像之一者可轉換為匹配影像之另一者之視點。接著，對準階段後可接著一融合階段，其中(例如)藉由形成多個影像之影像資料之線性組合而在影像之重疊中組合影像資料。融合之目的係使影像之間之過渡更平滑，使得一使用者將體驗拼接之影像作為一個單一影像。
拼接程序之融合階段通常在運算上要求高，尤其在影像之間之一大重疊將被融合之情況下。因此，存在改良之空間。
鑑於上文，因此本發明之一目標係提供一種融合具有重疊視場之一第一影像及一第二影像之運算有效方式。
根據本發明之一第一態樣，藉由用於融合具有重疊視場之一第一影像及一第二影像之一方法達成上述目標，該方法包括： 接收一第一影像及在擷取該第一影像時使用之一第一相機參數集以及一第二影像及在擷取該第二影像時使用之一第二相機參數集， 其中第一影像及第二影像具有在該第一影像及該第二影像之一重疊區域中重疊且在該第一影像及該第二影像之各者之一非重疊區域中不重疊的視場，且 其中重疊區域具有鄰近第一影像之非重疊區域但不鄰近第二影像之非重疊區域之一第一部分、及鄰近第二影像之非重疊區域但不鄰近第一影像之非重疊區域之一第二部分， 選擇一融合區域作為重疊區域中之彼等像素，其等比距第一部分與第二部分之間之一邊界之一距離更近，其中基於第一相機參數集與第二相機參數集之間之類似性來選擇距離，使得距離隨著類似性之增加而減小，及 在融合區域中融合第一影像及第二影像。
所提出方法依賴於以下認識：當兩個重疊影像差異很大時，影像需要在重疊之一大部分或整體中融合以達成一平滑過渡，而若兩個影像類似，則可達成一平滑過渡，但影像在重疊之一較小部分或根本不在重疊之部分中融合。藉由基於類似性改變其中影像融合之重疊之部分之大小，影像因此僅在賦予一平滑過渡所要求之重疊之一部分中融合。以此方式，融合保持在一最小值且節省運算資源。舉例而言，當在重疊區域之一較小部分中融合足以提供影像之間之一平滑過渡時，處理能力未花費在完全重疊區域中融合。
已進一步認識到，量測影像之間之類似性之一運算有效方式係比較在擷取影像時使用之相機參數。舉例而言，假定一窗在第一影像之視場中而不在第二影像中，導致影像中之光量不同。可自相機參數(諸如自增益及快門速度之值)發現影像之間之此一差異。例如，擷取第一影像之影像感測器將感測與擷取第二影像之影像感測器不同的一光度，且藉此不同地選擇相機參數。藉由基於相機參數之類似性來判斷影像之間之類似性而非評估影像資料自身，可節省進一步運算資源。舉例而言，比較相機參數僅涉及比較幾個給定數字，諸如計算一個或幾個差，而基於影像資料評估類似性將相當於更多涉及的計算，諸如評估強度資料之平均值或直方圖。
融合一第一影像及一第二影像大體上意謂組合第一影像及第二影像之影像資料。
第一影像及第二影像具有重疊之視場意謂存在第一影像及第二影像中之像素，即，重疊區域中之像素，其等描繪場景之相同部分。
第一相機參數集與第二相機參數集之間之類似性意謂第一集合之相機參數與第二集合之對應相機參數之值之間之類似性。可(例如)藉由計算值之間之差而量測類似性。
通常，在一相機中之影像之處理期間，已知向影像提供各種類型之後設資料。然而，影像通常在處理開始時(即，當其等離開影像感測器時)未被提供後設資料。出於本發明之目的，已發現，將相機參數提供為後設資料可能係有效的。更精確地，第一相機參數集可被接收為與第一影像相關聯之後設資料，且第二相機參數集可被接收為與第二影像相關聯之後設資料。以該方式，與一影像相關聯之相機參數可與影像一起容易地獲得且無需單獨接收。
第一相機參數集及第二相機參數集可各自包括一或多個相機參數。儘管一個相機參數(諸如快門速度、增益及白平衡之一者)對於本發明之目的而言可係足夠的，然已發現，若使用一個以上相機參數，則進一步改良結果。
一或多個相機參數可能與第一影像及第二影像中之照度位準有關。使用此等相機參數作為影像之類似性之量度係有利的，此係因為人眼對影像中之照度位準特別敏感。若照度位準類似，則影像將被人類觀察者感知為類似。作為一實例，第一相機參數集及第二相機參數集可包括快門速度及增益之至少一者。因此，快門速度或增益可單獨或組合使用。眾所周知，快門速度控制影像中之曝光，因此影響影像中之照度位準，但亦影響運動模糊。此外，增益調整影像中之光度，但亦將影響影像中之雜訊。相應地，快門速度及增益兩者與影像中之照度位準有關。
一或多個相機參數可進一步與影像中之色彩平衡有關。特定言之，第一相機參數集及第二相機參數集可包括白平衡。儘管相機參數白平衡可單獨使用，然其較佳地用作與影像中之光度有關之相機參數之一補充。
在重疊區域中，在鄰近第一影像之非重疊區域但不鄰近第二影像之非重疊區域的重疊區域之第一部分與鄰近第二影像之非重疊區域但不鄰近第一影像之非重疊區域的重疊區域之第二部分之間界定一邊界。因此，邊界將重疊區域劃分成第一部分及第二部分。如上文中說明，僅在邊界周圍之一區域(所謂的融合區域)中實行融合。邊界周圍之區域可被界定為重疊區域中之比距邊界之一距離更近之彼等像素。
邊界可採取不同形狀。舉例而言，邊界可係一直線。因此，一直線可將重疊區域劃分成兩個部分。此導致將重疊區域劃分成兩個部分之一簡單而有效方式。然而，亦可設想其中邊界取而代之具有一彎曲形狀之實施例。
在一些實施例中，邊界經預界定且因此在重疊區域中具有一給定位置。舉例而言，邊界可預界定為處於重疊區域中間。相應地，重疊區域之第一部分及第二部分可具有相同大小。以此方式，在重疊區域中間實行融合，此係合理的且為大部分應用提供一良好結果。
然而，可能存在以下情境：較佳地不僅能夠動態地調整融合區域之大小，而且能夠動態地調整融合區域在重疊區域內之位置。為達成此，方法可進一步包括選擇邊界在重疊區域中之位置。
關注此之一情境之一實例與數位縮放有關，且特定言之第一影像及第二影像之一部分在組合時待數位地放大。更詳細地，方法可進一步包括： 接收指示對應於待數位地放大之第一影像及第二影像之一部分之一縮放窗的資料， 其中選擇一融合區域之步驟進一步包括基於縮放窗相對於第一影像及第二影像之一大小及一位置之至少一者來選擇邊界在重疊區域中之一位置。
以此方式，吾等可(例如)避免使融合區域處於組合影像中間或處於縮放窗中間，其中可能存在放大之所關注項目。
因此，可取決於縮放窗相對於第一影像及第二影像有多大(即，縮放位準)及縮放窗如何相對於第一影像及第二影像定位(例如，其主要覆蓋第一影像或第二影像)來選擇邊界之位置。因此，可取決於縮放窗相對於第一影像及第二影像之相對重疊來選擇邊界之位置。更明確言之，方法可進一步包括： 計算縮放窗與第一影像之非重疊部分之一第一重合面積，及縮放窗與第二影像之非重疊部分之一第二重合面積， 其中選擇邊界之位置，使得在第一重合面積大於第二重合面積之情況下重疊區域之第一部分大於重疊區域之第二部分，且在第一重合面積小於第二重合面積之情況下重疊區域之第一部分小於重疊區域之第二部分。
運用此配置，融合區域朝向在縮放窗中具有較少部分之影像之非重疊區域偏移。此在其中在第一影像及第二影像之重疊區域上方平移一縮放窗之應用中可係有利的。當縮放窗(例如)沿自第一影像之非重疊部分朝向第二影像之非重疊部分之方向在重疊區域上方平移時，邊界沿相反方向平滑地移動，藉此賦予縮放窗平移之一平滑過渡。舉例而言，可選擇邊界在重疊區域中之位置，使得重疊區域之第一部分之一面積與重疊區域之第二部分之一面積之間之關係相同於第一重合面積與第二重合面積之間之關係。
根據上文，基於相機參數之類似性來選擇以距邊界之距離表達之融合區域之大小。當此與放大第一影像及第二影像之一部分進一步組合時，在組合時，可能必須實行融合區域之進一步調整。由於縮放亦將導致融合區域之放大，故融合區域之大小較佳地隨著縮放位準之增大而減小。更詳細地，可進一步基於縮放窗相對於第一影像及第二影像之大小及位置之至少一者來選擇距離。
方法可進一步包括： 藉由以下各者而自第一影像及第二影像產生一全景影像： 將來自第一影像之影像資料用於對應於第一影像之非重疊部分且對應於融合區域外部之重疊區域之第一部分的全景影像之部分中， 將來自第二影像之影像資料用於對應於第二影像之非重疊部分且對應於融合區域外部之重疊區域之第二部分的全景影像之部分中，及 將融合影像資料用於對應於融合區域的全景影像之一部分中。
以此方式，產生一全景影像，其中融合影像資料僅用於融合區域中。
可藉由使用不同影像感測器而同時擷取第一影像及第二影像。相應地，所提出方法可有利地用於一多感測器相機中。
根據本發明之一第二態樣，藉由用於融合具有重疊視場之一第一影像及一第二影像之一裝置達成上述目標，該裝置包括： 一接收器，其經組態以接收一第一影像及在擷取該第一影像時使用之一第一相機參數集以及一第二影像及在擷取該第二影像時使用之一第二相機參數集， 其中第一影像及第二影像具有在該第一影像及該第二影像之一重疊區域中重疊且在該第一影像及該第二影像之各者之一非重疊區域中不重疊的視場，且 其中重疊區域具有鄰近第一影像之非重疊區域但不鄰近第二影像之非重疊區域之一第一部分、及鄰近第二影像之非重疊區域但不鄰近第一影像之非重疊區域之一第二部分， 一選擇組件，其經組態以選擇一融合區域作為重疊區域中之彼等像素，其等比距第一部分與第二部分之間之一邊界之一距離更近，其中基於第一參數集與第二參數集之間之類似性來選擇距離，使得距離隨著類似性之增加而減小，及 一融合組件，其經組態以在融合區域中融合第一影像及第二影像。
根據一第三態樣，藉由包含第二態樣之裝置之一相機達成上文目標，其中相機經配置以使用第一相機參數集來擷取第一影像，且使用第二相機參數集來擷取第二影像。
根據一第四態樣，藉由包括具有儲存於其上之電腦程式碼指令之一(非暫時性)電腦可讀媒體之一電腦程式產品達成上文目標，該等電腦程式碼指令經調適以在由具有處理能力之一裝置執行時實行第一態樣之方法。
第二態樣、第三態樣及第四態樣可大體上具有與第一態樣相同之特徵及優勢。應進一步注意，本發明係關於特徵之全部可能組合，除非另外明確規定。
現在，下文中將參考隨附圖式來更充分地描述本發明，在隨附圖式中展示本發明之實施例。將在操作期間描述本文中揭示之系統及裝置。
圖1圖解說明其中可實施實施例之一系統100。系統100包括一或多個影像感測器102及一拼接模組104。拼接模組104繼而包括一對準裝置106及一融合裝置108。系統100可包含於一相機中。替代地，一或多個影像感測器102可包含於一相機中，而拼接模組104可定位成遠離相機，諸如定位於經由一網路與相機通信之一用戶端裝置中。實施例亦可用於模組化相機系統中，其中一或多個影像感測器藉由導線連接至一控制單元。在此等系統中，拼接模組可包含於控制單元中。
一或多個影像感測器102 (此處展示為一第一影像感測器102a及一第二影像感測器102b)經配置以擷取一第一影像110a及一第二影像110b。舉例而言，第一影像感測器102a及第二影像感測器102b可分別經配置以同時擷取第一影像110a及第二影像110b。替代地，可藉由一或多個影像感測器102循序地擷取第一影像110a及第二影像110b。第一影像110a及第二影像110b具有重疊但不相同視場。
一或多個影像感測器102在擷取第一影像110a及第二影像110b時使用相機參數。相機參數可(舉例而言)包含快門速度、增益及白平衡。通常藉由相機自動設定所使用相機參數，例如，應用一自動曝光演算法。
一或多個影像感測器102經組態以將第一影像110a及第二影像110b轉送至拼接模組104。另外，一或多個影像感測器102經組態以轉送與第一影像110a相關聯之一第一相機參數集112a及與第二影像110b相關聯之一第二相機參數集112b。第一相機參數集112a及第二相機參數集112b包含由一或多個影像感測器102在擷取第一影像110a及第二影像110b時分別使用之相機參數之一或多者。藉由實例，第一相機參數集112a及第二相機參數集112b可各自包含快門速度、增益及白平衡之一或多者。較佳地，第一相機參數集112a及第二相機參數集112b各自包含至少快門速度及增益。
第一相機參數集112a及第二相機參數集112b可與第一影像110a及第二影像110b分開轉送。然而，根據例示性實施例，第一相機參數集112a及第二相機參數集112b可分別以後設資料之形式與第一影像110a及第二影像110b一起轉送。
對準裝置106經配置以對準第一影像110a及第二影像110b。對準尤其可包含執行鏡筒校正、旋轉影像、及執行將第一影像110a及第二影像110b投射(例如)至一球體或一圓柱體上。後者用於補償以下事實：第一影像感測器102a及第二影像感測器102b未安裝在相同位置，此意謂自不同視點描繪場景。此可藉由執行一投射進行校正，藉此賦予一觀看者自相同視點擷取圖框的印象。對於在影像感測器102之一初始校準之後藉由影像感測器102擷取之各影像而言，待應用之特定對準通常相同。因此，可基於來自相機之影像感測器102之校準之參數來進行對準。對準之後之第一影像及第二影像分別展示為項目114a及114b。
在對準之後，將第一影像114a及第二影像114b及第一相機參數集112a及第二相機參數集112b轉送至經配置以融合第一影像114a及第二影像114b之融合裝置108。最後，融合裝置108可輸出一全景影像116，該全景影像116係第一影像114a及第二影像114b之一組合。
圖2中更詳細地展示融合裝置108。融合裝置108包含一接收器202、一選擇組件204及一融合組件206。
通常，融合裝置108可包括經組態以實施組件202、204、206及更明確言之其等功能性的電路。
在一硬體實施方案中，組件202、204、206之各者可對應於專用且特別設計以提供組件之功能性的電路。電路可呈一或多個積體電路(諸如一或多個特定應用積體電路)之形式。藉由實例，融合組件206因此可包括在使用時融合第一影像114a及第二影像114b的電路。
在一軟體實施方案中，電路可代替地呈一或多個處理器之形式，諸如一或多個微處理器，其結合儲存於一(非暫時性)電腦可讀媒體(諸如一非揮發性記憶體)上之電腦程式碼指令導致融合裝置108實行本文中揭示之任何方法。在該情況中，組件202、204、206因此可各自對應於儲存於電腦可讀媒體上之電腦程式碼指令之一部分，該等電腦程式碼指令在藉由處理器執行時導致融合裝置108實行組件之功能性。
應瞭解，亦可具有一硬體實施方案及一軟體實施方案之一組合，此意謂一些組件202、204、206之功能性在硬體中實施且其他在軟體中實施。
上文中關於以電路(硬體及/或軟體)實施融合裝置108所述之內容加以必要變更亦適用於對準裝置106。
現將參考圖3及圖2、圖4a至圖4b、圖5a至圖5b、圖6a至圖6b及圖7a至圖7b之流程圖來描述融合裝置之操作。
在步驟S02中，接收器202接收第一影像114a、第二影像114b、第一相機參數集112a及第二相機參數集112b。第一相機參數集112a可被提供為第一影像114a之後設資料且第二相機參數集112b可被提供為第二影像114b之後設資料。如上文中說明，藉由接收器202接收之第一影像114a及第二影像114b彼此對準。
圖4a圖解說明第一影像114a及第二影像114b。第一影像114a及第二影像114b具有重疊視場。特定言之，第一影像114a及第二影像114b具有在一重疊區域402中重疊且在第一影像114a之一非重疊區域404a中及在第二影像114b之一非重疊區域404b中不重疊的視場。重疊區域402進一步具有鄰近第一影像114a之非重疊區域404a但不鄰近第二影像114b之非重疊區域404b之一第一部分402a，及鄰近第二影像114b之非重疊部分404b但不鄰近第一影像114a之非重疊區域404a之一第二部分402b。第一部分402a及第二部分402b亦彼此相鄰。特定言之，存在第一部分402a與第二部分402b之間界定之一邊界406。如圖4a中展示，邊界406可係一直線，但在其他實施例中其可具有其他形狀，諸如一曲線。此外，如圖4a中展示，邊界406可將重疊區域402劃分成相等面積之兩個部分，即，第一部分402a及第二部分402b可具有相同大小。
圖5a圖解說明其中第一影像114a及第二影像114b未水平對準之另一實施例。然而，亦在該實施例中，存在其中影像重疊之一重疊區域502，且第一影像114a及第二影像114b之各者具有其中其與第一影像114a及第二影像114b之另一者不重疊的一非重疊區域504a、504b。此外，重疊區域502具有鄰近第一影像114a之非重疊區域504a但不鄰近第二影像114b之非重疊區域之一第一部分502a，及鄰近第二影像114b之非重疊區域504b但不鄰近第一影像114a之非重疊區域之一第二部分502b。重疊區域502中之一邊界506 (此處呈一直線之形式)將重疊區域502劃分成第一部分502a及第二部分502b。
在步驟S04中，選擇組件204繼續選擇一融合區域408、508，如圖4b及圖5b中進一步圖解說明。融合區域408、508係重疊區域402、502之一子集。更明確言之，選擇組件204選擇融合區域408、508，使得其包含重疊區域402、502中之比距邊界406、506之一距離d更近的彼等像素。因此，融合區域408、508沿著邊界406、506延伸且具有對應於距離d之兩倍之一寬度。選擇組件204基於第一相機參數集112a與第二相機參數集112b之間之類似性來設定融合區域408、508之大小(即，面積)。相機參數112a、112b之間之類似性越高，融合區域408、508之大小越小。為設定融合區域408、508之大小，選擇組件204可(例如)藉由設定距邊界406、506之距離d，使得距離d隨著類似者之增加而減小而設定融合區域408、508之寬度。
選擇組件204可藉由比較第一相機參數集112a及第二相機參數集112b之對應參數而評估第一相機參數集112a與第二相機參數集112b之間之類似性。舉例而言，選擇組件204可計算第一集合112a與第二集合112b之對應參數之間之差。在僅使用一個相機參數之情況下，可使用如此計算之差作為類似性之量度。若使用一個以上相機參數，則所計算差可(例如)藉由計算差之絕對值之一加權和、平方差之一加權和或藉由將適於將差組合成一單一值之任何其他函數應用於差而組合成一單一值。接著，選擇組件204可(例如)藉由使用由選擇組件204出於該目的所儲存之一預定義函數或表而將如此計算之類似性量度映射至融合區域408之寬度(或距離d)之一適合值。舉例而言，預定義函數可將類似性量度映射至距離d，使得當類似性量度低於一第一臨限值(距離d之兩倍等於重疊區域402之寬度)時，融合區域408涵蓋整個重疊區域402，當類似性量度超過一第二臨限值時，融合區域408為空(距離d為零)，且當類似性量度增加時，距離d根據此等兩個極值之間之一單調且遞減函數(諸如線性)變化。
在圖4a至圖4b及圖5a至圖5b之實例中，假定邊界406、506經預界定且定位於重疊區域402、502中間，使得其將重疊區域402、502劃分成相等大小之兩個部分402a、402b、502a、502b。然而，在一些實施例中，在選擇融合區域408、508時，選擇組件204亦可選擇邊界406、506在重疊區域中之位置。
圖6a至圖6b及圖7a至圖7b圖解說明此等實施例之實例，其中選擇組件204基於一縮放窗610、710相對於第一影像114a及第二影像114b之一大小及一位置之至少一者來選擇邊界406、506在重疊區域402、502中之位置。
選擇組件204可接收指示對應於待放大之第一影像114a及第二影像114b之一部分之一縮放窗610、710的資料。自所接收資料，選擇組件204可使縮放窗610、710之大小及位置之至少一者與第一影像114a及第二影像114b (即，與第一影像114a及第二影像114b之組合視場)有關。舉例而言，選擇組件204可計算作為其中縮放窗610、710與第一影像114a之非重疊部分404a、504a重合(即，重疊)之面積的一第一重合面積，及作為其中縮放窗610與第二影像114b之非重疊部分404b、504b重合(即，重疊)之面積的一第二重合面積。接著，可基於縮放窗610、710之大小及形狀之至少一者之間之關係來選擇邊界406、506之位置。更明確言之，可選擇邊界406之位置，使得在第一重合面積大於第二重合面積之情況下重疊區域402之第一部分402a大於重疊區域402之第二部分402b，如圖6a及圖7a中展示，且反之亦然，如圖6b及圖7b中展示。特定言之，可選擇邊界406、506之位置，使得重疊區域402、502之第一部分402a、502a與第二部分402b、502b之面積之間之一關係相同於第一重合面積與第二重合面積之間之一關係。相應地，當縮放窗610如圖6a中指示般移動至右側(例如，移動至圖6b中展示之縮放窗之位置)時，第二重合面積相對於第一重合面積增大，藉此導致第二部分402b相對於第一部分402a增大，此意謂邊界406移動至左側(例如，移動至圖6b中展示之邊界406之位置)。此外，當縮放窗710如圖7a中指示般對角向下移動(例如，移動至圖7b中展示之縮放窗710之位置)時，第二重合面積相對於第一重合面積增大，藉此導致第二部分502b相對於第一部分502a增大，此意謂邊界506對角向上移動(例如，移動至圖7b中展示之邊界506之位置)。
如上文中論述，因此基於類似性來選擇融合區域408、508之大小。另外，可(例如)基於一縮放窗之大小及/或位置來選擇融合區域408、508在重疊區域402中之位置。在與縮放有關之實施例中，可進一步基於縮放窗610、710相對於第一影像114a及第二影像114b之大小及位置之至少一者來選擇或調整融合區域408、508之大小。舉例而言，由於縮放亦將導致融合區域408、508之放大，故融合區域408、508之大小較佳地隨著縮放位準之增大(即，當縮放窗之大小相對於第一影像114a及第二影像114b之組合視場之大小減小時)而減小。
此外，在縮放窗610、710與第一影像之重疊大於與第二影像之重疊(或反之亦然)之情況下(即，諸如在圖6a及圖7a中)，減小融合區域408、508之大小可係合理的，儘管兩個影像具有不同相機參數。在極端情況下，在縮放窗未與非重疊部分404a、404b之一者重疊之情況下，融合區域可設定為空的(d等於零)且僅影像之一者(具有與縮放窗重疊之一非重疊部分404a、404b之影像)之影像資料可用於在該情況下創建一全景影像。
在步驟S06中，融合組件206繼續僅在融合區域408、508中融合第一影像114a及第二影像114b。融合大體上意謂諸如藉由形成第一影像114a及第二影像114b之對應像素中之影像資料之線性組合而組合第一影像114a及第二影像114b之影像資料。舉例而言，第一影像114a及第二影像114b可使用如此項技術中已知之所謂的阿爾法融合(alpha blending)而在融合區域408、508中融合。
如先前說明，融合通常係將第一影像114a及第二影像114b拼接在一起以便產生一全景影像116之程序之一部分。全景影像116對應於第一影像114a及第二影像114b之組合視場。因此，全景影像116具有對應於非重疊部分404a、404b、504a、504b、重疊部分402、502及融合區域408、508之部分。在產生全景影像116時，融合組件206將融合之影像資料用於對應於融合區域408、508之全景116之部分中。在全景影像116之全部其他部分中，使用來自第一影像114a或第二影像114b之影像資料。更明確言之，融合組件206可藉由將來自第一影像114a之影像資料用於對應於第一影像114a之非重疊部分404a、504a的全景影像之一部分中且用於對應於融合區域408、508外部之重疊區域之第一部分402a、502a的全景影像116之一部分中而產生全景影像116。同樣地，融合組件206可將來自第二影像114b之影像資料用於對應於第二影像114b之非重疊部分404b、504b的全景影像116之一部分中且用於對應於融合區域408、508外部之重疊區域之第二部分402b、502b的全景影像116之一部分中。
將瞭解，熟習此項技術者可以許多方式修改上述實施例且仍使用如上文實施例中展示之本發明之優勢。舉例而言，儘管上文揭示內容係關於具有重疊視場之兩個影像之融合，然可使用相同方法論來融合具有重疊視場之兩個以上影像。因此，本發明不應限於展示之實施例而應僅藉由隨附發明申請專利範圍定義。另外，如熟習技術者瞭解，可組合所展示之實施例。
100‧‧‧系統 102‧‧‧影像感測器 102a‧‧‧第一影像感測器 102b‧‧‧第二影像感測器 104‧‧‧拼接模組 106‧‧‧對準裝置 108‧‧‧融合裝置 110a‧‧‧第一影像 110b‧‧‧第二影像 112a‧‧‧第一相機參數集 112b‧‧‧第二相機參數集 114a‧‧‧第一影像 114b‧‧‧第二影像 116‧‧‧全景影像 202‧‧‧接收器 204‧‧‧選擇組件 206‧‧‧融合組件 402‧‧‧重疊區域 402a‧‧‧第一部分 402b‧‧‧第二部分 404a‧‧‧非重疊區域 404b‧‧‧非重疊區域 406‧‧‧邊界 408‧‧‧融合區域 502‧‧‧重疊區域 502a‧‧‧第一部分 502b‧‧‧第二部分 504a‧‧‧非重疊區域 504b‧‧‧非重疊區域 506‧‧‧邊界 508‧‧‧融合區域 610‧‧‧縮放窗 710‧‧‧縮放窗 d‧‧‧距離 S02‧‧‧步驟 S04‧‧‧步驟 S06‧‧‧步驟
將參考隨附圖式透過本發明之實施例之以下闡釋性且非限制詳細描述更佳地理解上文以及本發明之額外目標、特徵及優勢，其中相同元件符號將用於類似元件，其中： 圖1圖解說明其中可實施實施例之一系統。 圖2圖解說明根據實施例之一融合裝置之內部組件。 圖3係根據實施例之用於融合具有重疊視場之一第一影像及一第二影像之一方法之一流程圖。 圖4a及圖4b圖解說明根據實施例之具有重疊視場之一第一影像及一第二影像。 圖5a及圖5b圖解說明根據實施例之具有重疊視場之一第一影像及一第二影像。 圖6a及圖6b圖解說明根據實施例之具有重疊視場及一縮放窗之一第一影像及一第二影像。 圖7a及圖7b圖解說明根據實施例之具有重疊視場及一縮放窗之一第一影像及一第二影像。
406‧‧‧邊界
408‧‧‧融合區域
d‧‧‧距離

Claims (15)

  1. 一種用於融合(blending)具有重疊視場之一第一影像及一第二影像之方法，其包括：接收一第一影像及在擷取該第一影像時使用之一第一相機參數集以及一第二影像及在擷取該第二影像時使用之一第二相機參數集，其中該第一影像及該第二影像彼此對準，其中該第一影像及該第二影像具有在該第一影像及該第二影像之一重疊區域中重疊且在該第一影像及該第二影像之各者之一非重疊區域中不重疊的視場，且其中該重疊區域具有彼此相鄰之一第一部分及一第二部分，使得在該第一部分與該第二部分之間界定一邊界(boundary)，該第一部分進一步鄰近該第一影像之該非重疊區域但不鄰近該第二影像之該非重疊區域，且該第二部分進一步鄰近該第二影像之該非重疊區域但不鄰近該第一影像之該非重疊區域，在一融合區域中融合該第一影像及該第二影像；及選擇該融合區域使得在該融合區域中之該等像素係位於距該邊界一距離內且該等像素係該第一影像及該第二影像在該重疊區域中之像素，其中基於該第一相機參數集與該第二相機參數集之間之類似性來選擇該距離，使得該距離隨著類似性之增加而減小。
  2. 如請求項1之方法，其中該第一相機參數集經接收為與該第一影像相關聯之後設資料，且該第二相機參數集經接收為與該第二影像相關聯之後 設資料。
  3. 如請求項1之方法，其中該第一相機參數集及該第二相機參數集包括快門速度及增益之至少一者。
  4. 如請求項1之方法，其中該第一相機參數集及該第二相機參數集包括白平衡。
  5. 如請求項1之方法，其中該邊界係一直線。
  6. 如請求項1之方法，其中該重疊區域之該第一部分及該第二部分具有相同大小。
  7. 如請求項1之方法，其進一步包括：接收指示對應於待數位地放大之該第一影像及該第二影像之一部分之一縮放窗的資料，其中選擇一融合區域之步驟進一步包括基於該縮放窗相對於該第一影像及該第二影像之一大小及一位置之至少一者來選擇該邊界在該重疊區域中之一位置。
  8. 如請求項7之方法，其進一步包括：計算該縮放窗與該第一影像之該非重疊區域之一第一重合面積，及該縮放窗與該第二影像之該非重疊區域之一第二重合面積， 其中選擇該邊界之該位置，使得在該第一重合面積大於該第二重合面積之情況下該重疊區域之該第一部分大於該重疊區域之該第二部分，且在該第一重合面積小於該第二重合面積之情況下該重疊區域之該第一部分小於該重疊區域之該第二部分。
  9. 如請求項8之方法，其中選擇該邊界在該重疊區域中之該位置，使得該重疊區域之該第一部分之一面積與該重疊區域之該第二部分之一面積之間之一關係相同於該第一重合面積與該第二重合面積之間之一關係。
  10. 如請求項7之方法，其中進一步基於該縮放窗相對於該第一影像及該第二影像之該大小及位置之至少一者來選擇該距離。
  11. 如請求項1之方法，其進一步包括：藉由以下各者而自該第一影像及該第二影像產生一全景影像：將來自該第一影像之影像資料用於對應於該第一影像之該非重疊區域且對應於該融合區域外部之該重疊區域之該第一部分的該全景影像之部分中，將來自該第二影像之影像資料用於對應於該第二影像之該非重疊區域且對應於該融合區域外部之該重疊區域之該第二部分的該全景影像之部分中，及將融合影像資料用於對應於該融合區域的該全景影像之一部分中。
  12. 如請求項1之方法，其中藉由使用不同影像感測器而同時擷取該第一 影像及該第二影像。
  13. 一種用於融合具有重疊視場之一第一影像及一第二影像之裝置，其包括：一接收器，其經組態以接收一第一影像及在擷取該第一影像時使用之一第一相機參數集以及一第二影像及在擷取該第二影像時使用之一第二相機參數集，其中該第一影像及該第二影像彼此對準，其中該第一影像及該第二影像具有在該第一影像及該第二影像之一重疊區域中重疊且在該第一影像及該第二影像之各者之一非重疊區域中不重疊的視場，且其中該重疊區域具有彼此相鄰之一第一部分及一第二部分，使得在該第一部分與該第二部分之間界定一邊界，該第一部分進一步鄰近該第一影像之該非重疊區域但不鄰近該第二影像之該非重疊區域，且該第二部分進一步鄰近該第二影像之該非重疊區域但不鄰近該第一影像之該非重疊區域，一融合組件，其經組態以在一融合區域中融合該第一影像及該第二影像；及一選擇組件，其經組態以選擇該融合區域使得在該融合區域中之該等像素係位於距該邊界一距離內且該等像素係該第一影像及該第二影像在該重疊區域中之像素，其中基於該第一相機參數集與該第二相機參數集之間之類似性來選擇該距離，使得該距離隨著類似性之增加而減小。
  14. 一種相機，其包括： 一或多個感測器，其經組態以擷取一第一影像及一第二影像，其中使用一第一相機參數集擷取該第一影像且使用一第二相機參數集擷取該第二影像；一接收器，其經組態以接收該第一影像及在擷取該第一影像時使用之該第一相機參數集以及該第二影像及在擷取該第二影像時使用之該第二相機參數集；其中該第一影像及該第二影像彼此對準；其中該第一影像及該第二影像具有在該第一影像及該第二影像之一重疊區域中重疊且在該第一影像及該第二影像之各者之一非重疊區域中不重疊的視場，且其中該重疊區域具有彼此相鄰之一第一部分及一第二部分，使得在該第一部分與該第二部分之間界定一邊界，該第一部分進一步鄰近該第一影像之該非重疊區域但不鄰近該第二影像之該非重疊區域，且該第二部分進一步鄰近該第二影像之該非重疊區域但不鄰近該第一影像之該非重疊區域；一融合組件，其經組態以在一融合區域中融合該第一影像及該第二影像；及一選擇組件，其經組態以選擇該融合區域使得在該融合區域中之該等像素係位於距該邊界一距離內且該等像素係該第一影像及該第二影像在該重疊區域中之像素，其中基於該第一相機參數集與該第二相機參數集之間之類似性來選擇該距離，使得該距離隨著類似性之增加而減小。
  15. 一種非暫時性電腦可讀儲存媒體，其包含多個指令，該等指令在由 具有一處理能力之一運算裝置執行時，使得該運算裝置執行用於融合具有重疊視場之一第一影像及一第二影像之指令，該等指令使得該運算裝置執行包括以下操作：接收一第一影像及在擷取該第一影像時使用之一第一相機參數集以及一第二影像及在擷取該第二影像時使用之一第二相機參數集，其中該第一影像及該第二影像彼此對準，其中該第一影像及該第二影像具有在該第一影像及該第二影像之一重疊區域中重疊且在該第一影像及該第二影像之各者之一非重疊區域中不重疊的視場，且其中該重疊區域具有彼此相鄰之一第一部分及一第二部分，使得在該第一部分與該第二部分之間界定一邊界，該第一部分進一步鄰近該第一影像之該非重疊區域但不鄰近該第二影像之該非重疊區域，且該第二部分進一步鄰近該第二影像之該非重疊區域但不鄰近該第一影像之該非重疊區域；在一融合區域中融合該第一影像及該第二影像；及選擇該融合區域使得在該融合區域中之該等像素係位於距該邊界一距離內且該等像素係該第一影像及該第二影像在該重疊區域中之像素，其中基於該第一相機參數集與該第二相機參數集之間之類似性來選擇該距離，使得該距離隨著類似性之增加而減小。
TW107139791A 2017-11-16 2018-11-09 用於融合具有重疊視場的第一和第二影像的方法，裝置和相機 TWI707302B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17202029.9A EP3487162B1 (en) 2017-11-16 2017-11-16 Method, device and camera for blending a first and a second image having overlapping fields of view
EP17202029.9 2017-11-16
??17202029.9 2017-11-16

Publications (2)

Publication Number Publication Date
TW201933275A TW201933275A (zh) 2019-08-16
TWI707302B true TWI707302B (zh) 2020-10-11

Family

ID=60382105

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107139791A TWI707302B (zh) 2017-11-16 2018-11-09 用於融合具有重疊視場的第一和第二影像的方法，裝置和相機

Country Status (6)

Country Link
US (1) US10699377B2 (zh)
EP (1) EP3487162B1 (zh)
JP (1) JP6836568B2 (zh)
KR (1) KR102154402B1 (zh)
CN (1) CN109803086B (zh)
TW (1) TWI707302B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493526B (zh) * 2019-09-10 2020-11-20 北京小米移动软件有限公司 基于多摄像模块的图像处理方法、装置、设备及介质
CN111314615B (zh) * 2020-03-13 2021-06-15 浙江大华技术股份有限公司 一种控制双目双变焦摄像机的方法、装置及摄像机
US11928799B2 (en) 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
EP4060982B1 (en) * 2021-03-15 2023-06-28 Axis AB Method and monitoring camera for handling video streams
CN113112404B (zh) * 2021-04-02 2023-04-28 广州图匠数据科技有限公司 一种基于滑动窗口的图像拼接方法及装置
TWI800814B (zh) * 2021-04-12 2023-05-01 宏碁股份有限公司 影像拼接方法
US20230176377A1 (en) * 2021-12-06 2023-06-08 Facebook Technologies, Llc Directional illuminator and display apparatus with switchable diffuser
WO2023107373A1 (en) * 2021-12-06 2023-06-15 Meta Platforms Technologies, Llc Grating-assisted field of view expansion

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030086002A1 (en) * 2001-11-05 2003-05-08 Eastman Kodak Company Method and system for compositing images
US7162102B2 (en) * 2001-12-19 2007-01-09 Eastman Kodak Company Method and system for compositing images to produce a cropped image
TW200903382A (en) * 2007-07-02 2009-01-16 Asustek Comp Inc Image processing method and electric device using the same
US20130329002A1 (en) * 2012-06-06 2013-12-12 Apple Inc. Adaptive Image Blending Operations
US20140300687A1 (en) * 2013-04-04 2014-10-09 Sony Corporation Method and apparatus for applying a border to an image
TW201612853A (en) * 2014-09-30 2016-04-01 Lite On Technology Corp Method for creating depth map and a multi-lens camera system using the method
TW201626782A (zh) * 2015-01-12 2016-07-16 晶睿通訊股份有限公司 可改變縮放比例的影像調整方法及其攝影機與影像處理系統
US20170064203A1 (en) * 2015-08-31 2017-03-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998024243A1 (en) * 1996-11-27 1998-06-04 Princeton Video Image, Inc. Motion tracking using image-texture templates
US6434265B1 (en) 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
KR101341265B1 (ko) * 2006-05-29 2013-12-12 네브테크 비. 브이. 이미지 센서의 이미지 데이터 세트를 처리하는 방법과 시스템, 그 컴퓨터 프로그램 및 그 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체
US8368720B2 (en) * 2006-12-13 2013-02-05 Adobe Systems Incorporated Method and apparatus for layer-based panorama adjustment and editing
JP2010533282A (ja) * 2007-06-08 2010-10-21 テレ アトラス ベスローテン フエンノートシャップ 多視点パノラマを生成する方法及び装置
KR100968378B1 (ko) * 2009-03-05 2010-07-09 주식회사 코아로직 파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록 매체
GB2473059A (en) * 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
US8548269B2 (en) * 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
FR2969353A1 (fr) 2010-12-20 2012-06-22 St Ericsson Sa Procede de realisation d'une image panoramique a partir d'une sequence video et appareil de mise en oeuvre.
US20140267267A1 (en) * 2013-03-15 2014-09-18 Toshiba Medical Systems Corporation Stitching of volume data sets
EP2860699A1 (en) * 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
JP2016046794A (ja) * 2014-08-27 2016-04-04 京セラドキュメントソリューションズ株式会社 画像処理装置及び画像処理方法
KR101614247B1 (ko) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 파노라마 영상의 접합면 표시장치
CN105931186B (zh) * 2016-04-26 2019-04-02 电子科技大学 基于相机自动标定和颜色校正的全景视频拼接系统与方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030086002A1 (en) * 2001-11-05 2003-05-08 Eastman Kodak Company Method and system for compositing images
US7162102B2 (en) * 2001-12-19 2007-01-09 Eastman Kodak Company Method and system for compositing images to produce a cropped image
TW200903382A (en) * 2007-07-02 2009-01-16 Asustek Comp Inc Image processing method and electric device using the same
US20130329002A1 (en) * 2012-06-06 2013-12-12 Apple Inc. Adaptive Image Blending Operations
US20140300687A1 (en) * 2013-04-04 2014-10-09 Sony Corporation Method and apparatus for applying a border to an image
TW201612853A (en) * 2014-09-30 2016-04-01 Lite On Technology Corp Method for creating depth map and a multi-lens camera system using the method
TW201626782A (zh) * 2015-01-12 2016-07-16 晶睿通訊股份有限公司 可改變縮放比例的影像調整方法及其攝影機與影像處理系統
US20170064203A1 (en) * 2015-08-31 2017-03-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Also Published As

Publication number Publication date
JP2019092156A (ja) 2019-06-13
US10699377B2 (en) 2020-06-30
CN109803086A (zh) 2019-05-24
CN109803086B (zh) 2021-05-07
KR20190056292A (ko) 2019-05-24
TW201933275A (zh) 2019-08-16
US20190147564A1 (en) 2019-05-16
EP3487162A1 (en) 2019-05-22
KR102154402B1 (ko) 2020-09-09
JP6836568B2 (ja) 2021-03-03
EP3487162B1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
TWI707302B (zh) 用於融合具有重疊視場的第一和第二影像的方法，裝置和相機
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US10475237B2 (en) Image processing apparatus and control method thereof
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
US10306141B2 (en) Image processing apparatus and method therefor
US10536633B2 (en) Image processing device, imaging system and imaging apparatus including the same, and image processing method
KR20200023651A (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
JP5860663B2 (ja) ステレオ撮像装置
JP2015082768A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6718253B2 (ja) 画像処理装置及び画像処理方法
US20190364201A1 (en) Image processing apparatus, control method for image processing apparatus, and storage medium having correction of effect of virtual light source
US11089236B2 (en) Image processing apparatus and image processing method, and image capturing apparatus
US11158026B1 (en) Field of view extension in a stereo camera system
US11842467B2 (en) Image processing apparatus, image processing method and storage medium
JP6727276B2 (ja) 画像処理装置、その制御方法、プログラム
JP2023005997A (ja) 画像処理装置および画像処理方法
JP2020096249A (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
JP2017151562A (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム