TWI612495B - 用於擷取與呈顯全景或立體影像串流之方法與裝置 - Google Patents

用於擷取與呈顯全景或立體影像串流之方法與裝置 Download PDF

Info

Publication number
TWI612495B
TWI612495B TW102141393A TW102141393A TWI612495B TW I612495 B TWI612495 B TW I612495B TW 102141393 A TW102141393 A TW 102141393A TW 102141393 A TW102141393 A TW 102141393A TW I612495 B TWI612495 B TW I612495B
Authority
TW
Taiwan
Prior art keywords
image
pixel
panoramic
capture
item
Prior art date
Application number
TW102141393A
Other languages
English (en)
Other versions
TW201435792A (zh
Inventor
李察 歐利爾
Original Assignee
吉羅普提克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 吉羅普提克公司 filed Critical 吉羅普提克公司
Publication of TW201435792A publication Critical patent/TW201435792A/zh
Application granted granted Critical
Publication of TWI612495B publication Critical patent/TWI612495B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

要擷取並呈顯一場景的全景或立體影像串流，可利用至少一影像擷取裝置(Ci)按照像素格式對一場景之至少兩個不同的影像進行多次接續擷取作業，該等影像可為重疊或不重疊，該等影像擷取作業是依一頻率(F)進行，而此頻率定義在兩次接續擷取作業之起始間的擷取時間(T)。對於各次擷取作業，(a)對所擷取影像的像素進行數位處理，藉此利用該等像素以形成一最終全景或立體影像，而處理時間是短於或等於該擷取時間(T)，以及(b)在短於或等於該擷取時間之時間間隔的過程裡產生一最終且先前形成的全景或立體影像。各個所擷取影像之各個像素的數位處理(a)至少包含保留或拋除該像素，並且當保留該像素時，將其依一對於該最終全景或立體影像上之各個位置的預定義加權因數(W)指配於該最終全景或立體影像上的其一或多個位置。

Description

用於擷取與呈顯全景或立體影像串流之方法與裝置
本發明是關於一種用於擷取並呈顯立體或全景影像串流的方法與裝置。此全景或立體影像串流可為按如電影方式所儲存、轉傳或發佈，或者是進行處理以自該全景或立體影像串流取得其一或多張靜態影像。
在「單拍」式全景影像擷取的領域裡，眾知現有多款影像擷取裝置，例如CCD或CMOS類型的相機，而各個影像擷取裝置含有影像感測器，像是CCD或CMOS類型的影像感測器，這些感測器是耦接於光學裝置(透鏡)藉以將某場景的影像投射至該影像感測器上。影像擷取裝置光軸的指向會在不同的方向上，並且影像擷取的光學視域可針對於該影像的完整全景視域而重疊。國際專利申請案第WO 2012/032236號案文揭示一種光學裝置，此裝置極為精巧，並且含有三個經標註為「光學群組」的影像擷取裝置，同時可供以360°視域進行「單拍」式全景影像擷取。
在本文中，該詞彙「全景影像」應依其廣泛意義所解讀，不限於擷取單一360°視域的影像，而是更廣泛地適用於依照延伸視域的影像呈顯處理，此延伸視域相較於該全景影像擷取所使用之影像擷取裝置各者所覆蓋的光學視域更為寬廣。
利用這項全景影像擷取方法，該等影像擷取裝置各者可在有限視域內依像素矩陣的形式取得一場景的影像，然後將該等影像轉傳至外部的數位處理裝置，此裝置可供在其等之重疊區域的層級處進行數位方式的影像「縫合」，藉此產生最終的全景影像。
各個像素矩陣代表由一影像擷取裝置所擷取的影像，這是來自於一球形區域之3D表面被該影像擷取裝置所觀看到的二維投射。此二維投射是依據各個影像擷取裝置而定，並且尤其是按照影像擷取透鏡的光學特性，以及影像擷取裝置在影像擷取過程中的空間指向(即偏指(Yaw)、俯仰(Pitch)和橫滾(Roll))，而定。
在先前技藝裡，要將影像經數位縫合以構成一全景影像，可例如在當併行排置由該等影像感測器所遞交的影像時進行，而且是藉由在其等之重疊區域的層級處進行影像數位縫合，藉此方式來得到最終全景影像。在此情況下，實作數位縫合並不對像素的二維投射進行修改，同時該最終全景影像的像素會保留該等所源生自之影像感測器的二維投射。
此數位縫合可為自動地執行，例如像是在國際專利申請案第WO 2011/037964號案文或美國專利申請案第2009/0058988號案文中所揭示者；或者可藉由手動輔助而以半自動的方式執行，即如在國際專利申請案第WO2010/01476號案文中所揭示者。
下文中亦提議一種用於全景影像呈顯的數位影像縫合解決方案，其標題為：「Image Alignment and Stitching：A Tutorial」，作者Richard Szeliski，於2005年元月26日。此文中是對所儲存影像靜態地，然非以動態方式，執行數位縫合，因此在該文章中所揭示的數位縫合解決方案確無法 供以呈顯動態的全景影像串流，更遑論在當正進行影像擷取時按照即時方式呈顯動態的全景影像串流。
而在立體影像擷取的領域裡，眾知該方法可包含擷取某場景的兩個平面影像，隨後是處理這兩張平面影像藉以產生一可供感知深度與廓形的立體3D影像。
前述的全景或立體影像擷取及呈顯方法會有如下缺點，即利用由具備分別或獨立光學裝置之感測器所取得的影像以呈顯一全景或立體影像會在最終數位影像裡出現均質性的問題(無論是全景或立體影像皆然)，特別是在相對色度、白色均衡、曝光時間與自動增益方面尤甚。
此外，前述的影像數位縫合方法需要計算時間，這會不利於如電影般依即時方式進行全景影像的擷取及呈顯作業。
在美國專利申請案第2009/0058988號案文中，為改善處理時間並可供依即時地數位縫合來進行全景影像擷取，即提議一種基於低解析度影像對映的數位縫合解決方案。
廣義而言，本發明之目的為提議一種利用一或多台影像擷取裝置來進行全景或立體影像串流擷取及呈顯的新穎技術性解決方案。
尤其，根據本發明的第一特定特點，此新穎解決方案可供加快數位處理速度，並因而有助於即時地擷取並呈顯全景或立體影像串流。
更進一步，根據本發明的另一特定特點，此新穎解決方案可供修補前述肇因於藉分別或獨立光學裝置之感測器實作方式的不便性，並且特別是可供更簡易地獲得高品質的全景或立體影像。
在本發明中，全景或立體影像串流可為例如按照電影方式所儲存、轉傳或發佈，或者是可供稍後處理以自該串流靜態地取得一或多個全景或立體影像。
根據本發明之第一特點，本發明的主要目的為一種用於擷取與呈顯一場景之全景或立體影像串流的方法，在此過程中是利用至少一影像擷取裝置(Ci)，按照像素格式對該場景的至少兩個不同影像進行多次接續擷取作業，該等影像可為重疊或不重疊，該等接續擷取作業是依一頻率(F)進行，而此頻率定義在兩次接續擷取作業之起始間的擷取時間(T)；以及，對於各次擷取作業，(a)對各個影像的像素進行數位處理，藉此利用該等像素以形成一最終全景或立體影像，而處理時間是短於或等於該擷取時間(T)，以及(b)在短於或等於該擷取時間(T)之時間間隔的過程裡產生一最終且先前形成的全景或立體影像；各個所擷取影像之各個像素的數位處理(a)至少包含保留或拋除該像素，並且當保留該像素時，利用對於該最終全景或立體影像上之各個位置的預定義加權因數(W)將其指配於該最終全景或立體影像裡的其一或多個位置。
本發明之另一目的為一種用於擷取與呈顯全景或立體影像串流的裝置。該裝置含有一或更多影像擷取裝置(Ci)，此等可供擷取至少兩個不同影像作為一組像素，以及用於進行處理的電子裝置，此者可供呈顯全景或立體影像，而利用所擷取影像，該等電子處理裝置可供利用一或更多影像裝置以按照像素格式對一場景的至少兩個不同影像進行多次接續擷取作業，該等影像可為重疊或不重疊，該等接續擷取作業是依一頻率(F)進行，而此頻率定義在兩次接續擷取作業之起始間的擷取時間(T)；該等電子 處理裝置係經調適以，對於各次擷取作業，(a)對各個所擷取影像的像素進行數位處理，藉此利用該等像素以形成一最終全景或立體影像，而處理時間是短於或等於該擷取時間(T)，以及(b)在短於或等於該擷取時間(T)之時間間隔上產生一最終且先前形成的全景或立體影像；利用該等電子處理裝置對各個影像之各個像素的數位處理至少包含保留或拋除該像素，並且當保留該像素時，利用對於該最終全景或立體影像上之各個位置的預定義加權因數(W)將其指配於該最終全景或立體影像裡的其一或多個不同位置。
根據本發明的第二特點，本發明之目的亦在於一種用於擷取與呈顯一場景之全景或立體影像串流的方法，其特徵在於利用至少一影像擷取裝置(Ci)，按照像素格式對該場景的至少兩個不同影像進行多次接續擷取作業，該等影像可為重疊或不重疊，並且在於，在該等影像擷取作業的過程中，該等所擷取影像的像素係經數位處理以形成全景或立體影像，同時產生一全景或立體影像串流，並且在於各個所擷取影像之各個像素的數位處理至少包含保留或拋除該像素，並且當保留該像素時，利用對於該最終全景或立體影像上之各個位置的預定義加權因數(W)將其指配於該最終全景或立體影像上的其一或多個位置。
根據本發明的該項第二特點，本發明之目的亦在於一種用於擷取與呈顯全景或立體影像串流的裝置，其特徵在於該裝置包含一或更多影像擷取裝置(Ci)，此等可供按照像素集組格式擷取至少兩個不同影像，以及電子處理裝置，此等可供該等一或更多影像擷取裝置按照像素格式對一場景的至少兩個不同影像進行多次接續擷取作業，該等影像可為重疊或不重疊，而該等係經調適以在影像擷取作業的過程中對所擷取影像的像素進 行數位處理藉以形成全景或立體影像，同時產生一全景或立體影像串流，並且在於對各個所擷取影像之各個像素的數位處理至少包含保留或拋除該像素，而且當保留該像素時，藉由對於該最終全景或立體影像上之各個位置的預定義加權因數(W)將其指配於該最終全景或立體影像上的其一或多個位置。
根據本發明的第三特點，本發明之目的亦在於一種用於擷取與呈顯一場景之全景或立體影像串流的方法，其特徵在於，在此過程中，利用至少一影像擷取裝置，按照像素格式對該場景的至少兩個不同影像進行多次接續擷取作業，該等影像可為重疊或不重疊，而各個影像擷取裝置可供對按照像素集組格式的影像進行擷取，同時對於各個所擷取影像的輸出遞交至少根據一第一時脈信號(H_Sensor)所同步化的像素串流。各個所擷取影像的各個像素係經數位處理，藉以利用該等像素來產生一最終全景或立體影像而作為至少根據一第二時脈信號(H)所同步化的像素串流。
根據本發明的該項第三特點，本發明之目的亦在於一種用於擷取與呈顯全景或立體影像串流的裝置，該裝置包含一或更多影像擷取裝置，該等可供按照像素格式對一場景的至少兩個不同影像進行多次接續擷取作業，該等影像可為重疊或不重疊，並且該等電子處理裝置可供利用所擷取影像以呈顯一全景或立體影像串流。各個影像擷取裝置係經調適以對於該等所擷取影像之各個像素的輸出遞交至少根據一第一時脈信號(H_Sensor)所同步化的像素串流。該等電子處理裝置係經設計以數位處理該等所擷取影像的各個像素，藉以利用該等像素來產生一最終全景或立體影像而作為至少根據一第二時脈信號(H)所同步化的像素串流。
根據本發明的第四特點，本發明之目的亦在於擷取與呈顯一場景之至少一全景或立體影像，而在此過程中，利用至少一影像擷取裝置(Ci)以擷取該場景的至少兩個不同影像，該等影像可為重疊或不重疊，各個影像擷取裝置可供對按照像素集組格式的影像進行擷取，並且對於各個所擷取影像的輸出遞交一像素串流；各個所擷取影像的像素串流係經數位處理，藉以利用該等像素呈顯至少一最終全景或立體影像，同時對應於各個所擷取影像的像素串流之各個像素的數位處理至少包含保留或拋除該像素，而且當保留該像素時，利用對於該最終全景或立體影像上之各個位置的預定義加權因數(W)將其指配於該最終全景或立體影像上的其一或多個位置。
根據本發明的該項第四特點，本發明之目的亦在於一種用於擷取與呈顯至少一全景或立體影像的裝置，該裝置含有一或更多影像擷取裝置(Ci)，該等可供擷取至少兩個不同影像，該等影像可為重疊或不重疊，而各個影像擷取裝置(Ci)係經調適以對於各個所擷取影像遞交一像素串流，以及電子處理裝置，該等可供在影像擷取作業的過程中利用各個所擷取影像的像素串流呈顯一全景或立體影像。該等電子處理裝置係經設計以處理該所擷取影像像素串流的各個像素而包含保留或拋除該像素，並且當保留該像素時，將其依一對於該最終全景或立體影像上之各個位置的預定義加權因數(W)指配於該最終全景或立體影像上的其一或多個不同位置。
1‧‧‧本發明之全景影像擷取與呈顯裝置
10‧‧‧電子處理裝置
11‧‧‧外部電子處理裝置
Ci‧‧‧影像擷取裝置
F‧‧‧擷取頻率
H‧‧‧第二時脈信號
H_Sensor‧‧‧第一時脈信號
H10‧‧‧基本時脈
T‧‧‧擷取時間
t‧‧‧時間間隔
W‧‧‧加權因數
經閱覽後文中本發明之一或更多較佳具體實施例的詳細說明，並參照於隨附圖式，將隨能知曉本發明的特徵和優點，此等說明係經 提供作為本發明的非限制或窮舉性範例，而其中：圖1為一根據本發明之裝置的電子架構範例略圖。
圖2為圖1裝置之主要電子信號的計時器範例。
圖3表示一「魚眼」透鏡的擷取區域之光學/像素視域間的對應性範例。
圖4為在一最終全景影像之局部中利用影像感測器所擷取像素矩陣的重對映範例。
圖5說明在該最終全景影像之像素Pi,j與利用影像感測器所擷取之像素矩陣間的幾何對應性範例。
圖6A至6I表示對於RAW類型影像之特定情況的不同重對映圖式。
圖7A至7D說明一感測器線段至一全景影像上之重對映的不同範例。
圖8說明對於三張影像為形成一最終全景影像之重對映的特定範例。
圖1表示一種可供擷取與呈顯全景影像之本發明裝置1的特定範例。
在本特定範例裡，該裝置1含有三個例如CCD或CMOS類型的影像擷取裝置C1、C2、C3，而各者可供按像素矩陣格式擷取影像，以及電子處理裝置10，此者可供利用該等影像感測器C1、C2、C3遞交的像素以呈顯一全景影像。一般說來，該等影像擷取裝置C1、C2、C3各者含有像是CCD或CMOS類型的影像感測器，該感測器係經耦接於光學裝置(透鏡)，其中含有一或更多透鏡，而此等係經校準於該影像感測器並可供將光線聚焦於該影像感測器上。
該等影像擷取裝置C1、C2、C3的光軸是按不同方向所指向，同時其等的光學視域會涵蓋整個最終全景影像場域，且該等光學視域最好 是出現重疊。
在本文中，該詞彙「全景影像」應依其廣泛意義所解讀，不限於根據360°視域所呈顯的全景影像，而是更一般性地依照延伸視域所呈顯的影像，此延伸視域相較於該全景影像擷取所使用之影像擷取裝置各者所涵蓋的光學視域更為寬廣。
僅為示範之目的，該等影像擷取裝置C1、C2、C3可例如含有三個精巧光學裝置的光學群組，這可如國際專利申請案第WO 2012/03223號案文中所揭示者並且可供單拍擷取全景影像。
最好，然非必要，本發明裝置1含有可攜式設備，藉以達到簡易搬送並且運用於各種位置之目的。
現參照圖2，該等數位處理裝置10遞交一基本時脈H10，這是利用例如石英所產生，並且可用以對該等影像擷取裝置C1、C2、C3各者之影像感測器的作業進行計時。
在輸出方面，該等影像擷取裝置C1、C2、C3各者之影像感測器會在「Pixels」資料匯流排上對於各個所擷取影像遞交一像素串流，此串流是依照一第一時脈信號(H_sensor)所同步化，而該時脈信號則是由該等影像擷取感測器各者利用該基本時脈H10，以及兩個信號「Line Valid」和「Frame Valid」，所產生。由該等影像擷取感測器各者所產生的時脈信號(H_sensor)會更特別地擁有相同的頻率。
該等電子處理裝置10可供利用由該等影像擷取裝置C1、C2、C3之影像感測器所遞交的像素，並且以一可相較於該等影像擷取裝置C1、C2、C3在該「Pixels」資料匯流排上遞交表示該最終全景影像之像素串流者的方式，來呈顯一全景影像。
這些電子處理裝置10之「Pixels」資料匯流排的大小與該等影像擷取裝置C1、C2、C3之「Pixels」資料匯流排的大小可為相同或者互異， 而且最好是較大。例如，然非限制本發明範疇，該等影像擷取裝置C1、C2、C3的「Pixels」資料匯流排可為八位元，而該等電子處理裝置10的「Pixels」資料匯流排則是16位元。
由該等電子處理裝置10所產生的像素串流是同步於一第二時脈信號(H)，此信號是由該等電子處理裝置10利用該基本時脈信號以及兩個由該等電子處理裝置10所產生的「Line Valid」和「Frame Valid」信號所產生。
圖2說明前述之本發明信號同步作業的一特定且非限制性範例。然此圖式中並未顯示在該「Pixels」資料匯流排所傳送的資料。
現參照圖2，該等接續擷取作業為週期性並且是依一頻率F計時，而此頻率定義等於在兩次接續擷取作業起始間之時間間隔(t)長度的擷取時間T(T=1/F)。
更特定說，在圖2上，該等影像擷取裝置C1、C2、C3各者之信號「Frame Valid」的揚升邊緣是同步於該等影像擷取裝置C1、C2、C3所擷取影像之像素在該等影像擷取裝置C1、C2、C3各者的「Pixels」資料匯流排上之傳輸作業的起始處。而該等影像擷取裝置C1、C2、C3各者之信號「Frame Valid」的落降邊緣則是表示在該「Pixels」資料匯流排上該等影像擷取裝置C1、C2、C3所擷取影像之像素傳輸作業的結束處。這些由該等影像擷取裝置C1、C2、C3所遞交之「Frame Valid」信號的揚升邊緣(分別地落降)會在時間線上略微地移位。
該等影像擷取裝置C1、C2、C3的「Line Valid」信號為同步於該「Frame Valid」信號的各個揚升邊緣，並且表示一串影像像素之傳輸作業的起始處。而該「Frame Valid」信號的落降邊緣則表示一串影像像素之傳輸作業的結束處。該等三個影像擷取裝置C1、C2、C3裡各個「Pixels」資料匯流排上之各個所傳影像的像素是分別地利用該等影像擷取裝置C1、C2、C3 各者所遞交之各個時脈信號「H_sensor」由該等電子處理裝置10依平行方式所取樣。
現參照圖2，由該等電子處理裝置10所遞交之「Frame Valid」信號的揚升邊緣為同步於在電子處理裝置之「Pixels」資料匯流排上運用該等影像擷取裝置C1、C2、C3所遞交像素而呈顯的最終全景影像之傳輸作業的起始。此揚升邊緣是由該等電子處理裝置10利用該等影像擷取裝置C1、C2、C3所遞交之「Frame Valid」信號的揚升邊緣自動地產生，並且特別是在當偵測到最近發生的揚升邊緣時所產生，這也就是在圖2所示特定範例裡由該影像擷取裝置Ci所遞交之「Frame Valid」信號的揚升邊緣。
而由該等電子處理裝置10所遞交之「Frame Valid」信號的落降邊緣則是同步於在電子處理裝置10之「Pixels」資料匯流排上運用該等影像擷取裝置C1、C2、C3所遞交像素而呈顯的最終全景影像之傳輸作業的結束。
由該等電子處理裝置10所遞交的「Line Valid」信號為同步於由該等電子處理裝置10所遞交之「Frame Valid」信號的各個揚升邊緣，並且表示一串全景影像像素之傳輸作業的起始。而由該等電子處理裝置10所遞交之「Line Valid」信號的各個落降邊緣則是表示一串全景影像像素之傳輸作業的結束。
在該等電子處理裝置10的「Pixels」資料匯流排上之各個全景影像的像素寫入處理是按照時脈信號「H」所同步，此信號是由該等電子處理裝置10所產生，並且可由另一外部電子裝置(例如該裝置11)運用以在該資料匯流排上讀取像素。
根據本發明的替代性具體實施例，這個由該等電子處理裝置10所遞交的時脈信號「H」可為同步或非同步於由該等影像擷取裝置C1、C2、C3所遞交的「H_sensor」時脈信號。該「H」時脈信號的頻率可為等於 或不同於由該等影像擷取裝置C1、C2、C3所遞交的「H_sensor」時脈信號。最好，該「H」時脈信號的頻率大於由該等影像擷取裝置C1、C2、C3所遞交的「H_sensor」信號，即如圖2所示者。
在圖2所示的特定情況下，對於各次擷取作業將會利用該等影像擷取裝置C1、C2、C3平行地進行三次影像擷取，同時在此特定情況下，該時間間隔(t)即為分隔該影像擷取裝置Ci，亦即首先在其「Pixels」資料匯流排上傳送像素的影像擷取裝置，之「Frame Valid」信號中兩次接續揚升邊緣的時間間隔。
在分隔兩次接續影像擷取作業起始之時間間隔(t)的過程裡，該等電子處理裝置10會進行：(a)對各個所擷取影像的像素進行數位處理，藉以利用該等像素來呈顯最終全景影像；對於圖1所示架構與圖2所示信號，這些就是在該等影像擷取裝置C1、C2、C3之「Pixels」資料匯流排上傳送至該等電子處理裝置10的像素；並且(b)產生最終全景影像；對於圖1所示架構與圖2所示信號，這些就是該等電子處理裝置10藉由該等電子處理裝置10在該時間間隔(t)過程中遞交之「Frame Valid」信號的揚升與落降邊緣於其等之「Pixels」資料匯流排上所遞交而作為輸出的像素。
故而能夠藉由該等電子處理裝置按照與接續影像擷取作業相同的速率以即時方式產生接續的全景影像串流。例如，若該等影像擷取裝置C1、C2、C3係經設計以每秒遞交25個影像，則於兩次接續影像擷取作業間之各個時間間隔(t)的擷取時間T是等於40ms，此值對應於25Hz的擷取頻率F，並且該等電子處理裝置也是每秒產生25個全景影像(亦即每40ms有一個全景影像)。
該擷取時間T(即兩次接續影像擷取作業間之各個時間間隔 (t)的長度)將是根據該等影像擷取裝置C1、C2、C3的技術而定。實作上，該擷取時間T將最好是短於1秒，並且甚至更佳地為短於或者等於100ms。
最好，在各個分隔兩次接續影像擷取作業起始之時間間隔(t)過程中所產生的最終全景影像是源生自該等像素在此相同時間間隔(t)過程中的數位處理(a)。在此情況下，各個接續全景影像可為即時性地產生，並且是與為呈顯該特定全景影像的影像擷取作業幾乎同時地進行，而在將用於呈顯後續全景影像的後續影像擷取作業之前。
在另一替代性具體實施例裡，在各個分隔兩次接續影像擷取作業起始之時間間隔(t)過程中所產生的最終影像是源生自這些像素在先前時間間隔(t)過程裡，例如前行的時間間隔(t)，所進行的的數位處理(a)。在此情況下，各個接續全景影像可為即時性地產生，並且是相對於為呈顯該全景影像之時間擷取作業而具略微的時間移位。
在另一替代性具體實施例裡，可在一給定擷取週期(N)的過程中開始(即由該等電子處理裝置10所遞交之「Frame Valid」信號的揚升邊緣)產生各個全景影像，並且可在後續的擷取週期(N+1)過程中結束(即由該等電子處理裝置10所遞交之「Frame Valid」信號的落降邊緣)。最好，然非必要，由該等電子處理裝置10所遞交的「Frame Valid」信號之揚升邊緣與落降邊緣間的時間間隔是短於或等於該擷取時間T。
針對各個影像擷取作業所進行的像素處理(a)可相對於影像擷取週期而在時間線上移位。最好，然非必要，在影像擷取作業過程中來自所有擷取影像而待用以呈顯最終全景影像之像素的處理時間會短於或等於該擷取時間T。例如，為形成一最終全景影像，利用在第N個擷取週期過程中所擷取影像之像素的處理(a)可由該等電子處理裝置10在後續的影像擷取週期過程中，例如在第N+1個擷取週期的過程裡，進行。
該等電子處理裝置10可含有電子、數位程式設計資料處理 單元，這可根據本發明無分地運用任何已知的電路裝置所實作，例如像是一或多個FPGA類型的可程式設計電路，及/或一或多個ASIC類型的特定電路，或者是可程式設計處理單元，而其等的電子架構可供具體實作一微控制器或微處理器。
在如圖1所示的本發明特定變化項目中，按如像素集組而由該等電子處理裝置10所遞交的接續全景影像串流會由額外的電子處理裝置11進行處理，這些裝置可包含例如DPS類型電路，並且可供例如儲存在記憶體內，並且/或是將該全景影像串流以電影方式即時地顯示在螢幕上。
在本發明的另一變化項目裡，可將該等額外電子處理裝置11設計為處理由該等電子處理裝置10所遞交的接續全景影像串流以作為自該串流取得一或多個全景影像的擷取裝置。
一般說來，在特定的替代性具體實施例裡，各個影像擷取裝置C1、C2、C3含有「魚眼」透鏡類型的光學裝置，此者連接至一擷取矩陣，並且各個所擷取影像的特徵在於三組空間指向資訊，這些資訊通常稱為偏指(Yaw)、俯仰(Pitch)和橫滾(Roll)，而且在影像擷取的過程中是特定於該影像擷取裝置的空間指向。
現參照圖3，一「魚眼」透鏡顯現一有效球形中心偵測表面(即圖3上的灰色表面及白色表面)，而且由影像感測器所擷取之影像的有效像素已知為獲自於該影像擷取裝置偵測表面之僅一部份的二維投射(即圖3中的864像素乘900像素)。
因此，通常表示由一影像擷取裝置C1、C2或C3所擷取影像的各個像素矩陣是源生自一球形3D表面部份裡被該影像擷取裝置C1、C2或C3所觀看到的二維投射。此二維投射是依據各個影像擷取裝置C1、C2或C3而定，並且尤其是按照該影像擷取裝置C1、C2或C3的光學裝置，以及該影像擷取裝置C1、C2或C3在影像擷取過程中的空間指向(偏指(Yaw)、俯仰 (Pitch)和橫滾(Roll))，而定。
為提供範例，在圖4中顯示一對應於由影像擷取裝置Ci(例如圖1範例裡的影像擷取裝置C1、C2或C3)所擷取之影像的像素矩陣。在該圖中，黑色像素是對應於位在影像擷取裝置Ci「魚眼」透鏡的有效中心圓形部份之外部的像素。利用該影像擷取裝置Ci所擷取之影像的各個像素是源生自一稱為「對映」的作業，此作業對應於如前文所述該球形3D表面部份中被該影像擷取裝置Ci之「魚眼」透鏡所觀看到並且特定於該影像擷取裝置Ci的二維投射。
在本發明之前，為利用各個影像擷取裝置Ci所擷取的影像以呈顯一全景影像，這些影像通常是會在其等的重疊區域層級處經由影像數位「縫合」處理併行排置，藉此得到最終的連續全景影像。然重點是須瞭解在先前技藝中所引用的這種數位縫合處理並不會修改像素的二維投射，故而保留在最終全景影像上。
在本發明中，不同於前述的先前技藝數位縫合，若要呈顯最終全景影像，由各台感測器Ci所擷取之各個影像的有效像素會被重對映在該最終全景影像上，並且該等像素會重對映至該最終全景影像上的至少一部份，最好是當遞交至一新二維投射時，此投射是不同於來自該等影像擷取裝置Ci並由此導出該等像素之影像上的二維投射。所以是利用該等影像擷取裝置C1、C2或C3來呈顯單一台虛擬全景影像擷取裝置。此像素重對映會透過各個所擷取影像之各個像素的方法自動地進行，這些至少包含保留或拋除該像素，而且當保留該像素時，將藉由對於該最終全景影像上之各個位置的加權因數以指配於該最終全景影像上的一或更多位置。
圖4中僅顯示該最終全景影像其一局部，此局部對應至該全景影像中源生於由單一影像擷取裝置Ci所擷取影像之像素重對映的部份。
現參照圖4，位在由影像擷取裝置Ci所擷取影像之第一條直 線上的像素P1,8會被例如以四個位於該最終全景影像第一條直線上之四個不同相鄰位置的像素P1,9、P1,10、P1,11、P1,12重對映到該最終全景影像上，這可轉譯為從該原始影像至該最終全景影像將此像素拉開。所以，此像素P1,8在該最終全景影像上的對映是對應於此像素在該最終全景影像上的二維投射，這是不同於此像素在由影像處理裝置所擷取之原始影像上的二維投射。這個像素在該最終全景影像上被拉開可例如有利地具體實作為部份地或整體地補償影像擷取裝置之「魚眼」透鏡在靠近上方邊緣處的光學扭曲。對於位在下方邊緣處的像素可有利地具體實作相同的像素拉開。
為供比較，由影像擷取裝置Ci所擷取之影像的中心像素P8,8會以唯一像素P11,11等同地重對映至該最終全景影像上，這是因為影像擷取裝置的「魚眼」透鏡在透鏡的中心處並不會或幾乎不會產生光學扭曲。
位在由影像擷取裝置Ci所擷取影像之左下方區域上的像素P10,3是以例如三個在該最終全景影像的兩條相鄰直線上之三個相鄰且不同位置處的像素P17,4、P18,4、P18,5重對映在該最終全景影像上，這對於該原始影像的此像素P10,3而言會轉譯為在兩個方向上放大到該最終全景影像內。從而，此像素P10,3在該最終全景影像上的對映是對應於此像素在該最終全景影像上的二維投射，這是不同於此像素在由影像擷取裝置所擷取之原始影像上的二維投射。
在該原始影像之各個像素的重對映作業過程中，亦即自該影像擷取裝置Ci到該最終全景影像上，像素是可以無需在該最終全景影像上加以保留或復原。這會出現在例如位於由至少兩台影像擷取裝置所擷取影像之重疊區域內的像素。在影像擷取裝置的重疊區域裡，將只會保留來自該等感測器之其一者的單一像素，而對應於其他感測器的其他像素則不會予以保留。在本發明的其他變化項目中，至少兩台影像擷取裝置的重疊區域內，是可以利用原始影像像素的平均值或組合以呈顯最終全景影像。
在像素的重對映作業過程中，當保留像素時並且既已指配該最終全景影像上的一或更多不同位置後，最好是對於該最終全景影像上之各個位置，亦即對於該最終全景影像的各個像素，利用一範圍自0至100%的加權因數以進行該指配作業。參照圖5可更佳地瞭解該加權因數方法以及底層的理由。
現參照圖5，該最終全景影像之像素Pi,j的中心C在實作上並非對應於由一影像擷取裝置Ci所擷取影像之像素的中心，而是幾何地對應於由影像擷取裝置Ci所擷取影像上的一特定真實位置P，此位置在如圖4所表示的特例中是離開中心，位在下方角落的鄰近範圍內，並且對應於由影像擷取裝置Ci所擷取影像之像素P1的左側。因此，在此特定範例裡，將不僅會利用到像素P2，而亦利用其相鄰像素P1、P3、P4並同時藉由各個像素P1、P2、P3、P4的加權因數，例如考量到該位置P相對於各個像素P1、P2、P3、P4之中心的質心，以呈顯該像素Pi,j。在本特定範例裡，該像素Pi,j含有例如25%的像素P1，35%的像素P2，15%的像素P3以及5%的像素P4。
本發明適用於所有類型的影像格式，包含：RAW、YUV及RGB衍生項目。對於RGB影像來說，在進行過色彩呈顯後(稱為對於各個影像像素的R、G、B資訊)，將可利用相鄰像素以實作前述的加權因數。
然對於RAW影像而言，由於各個像素僅表現一個色度成份，因此將會利用具有與該最終全景影像的像素相同之色彩的鄰近像素來實作前述的加權因數。可參照圖6A至6I以更佳地瞭解這種對於RAW格式之加權因數的特定情形。
圖6A至6I說明，對於依RAW類型格式編碼之像素的情況，最終全景影像之像素Pi,j與由影像擷取裝置Ci所擷取影像之像素矩陣間的各種對應方式。在該等圖式中，字母R、G、B分別地對應於「紅光」、「綠光」及「藍光」像素。Wi為由該影像擷取裝置所擷取原始影像的像素Ri、Gi或 Bi之最終影像上的加權因數。
圖6A對應於如下情況，即該最終全景影像之紅光像素Pi,j的中心對應於由影像擷取裝置Ci所擷取之影像裡的真實位置P，而這是位在由該影像擷取裝置Ci所擷取之影像的藍光像素(B)上。在此情況下，會利用鄰近該藍光像素B的紅光像素R1、R2、R3、R4藉由個別地施用加權因數W1、W2、W3、W4以呈顯該最終全景影像的此紅光像素Pi,j。而這些加權因數W1、W2、W3、W4的數值將會是例如依照位置P相對於各個像素R1、R2、R3、R4之中心的質心而定。例如，若該位置P位在該像素P的中心處，在此時所有的加權因數W1、W2、W3、W4都將會是25%。
圖6B對應於如下情況，即該最終全景影像之藍光像素Pi,j的中心對應於由一感測器Ci所擷取之影像裡的真實位置P，而這是位在由一影像擷取裝置Ci所擷取之影像的紅光像素(R)上。
圖6C對應於如下情況，即該最終全景影像之綠光像素Pi,j的中心對應於由一感測器Ci所擷取之影像裡的真實位置P，而這是位在由一影像擷取裝置Ci所擷取之影像的藍光像素(B)上。
圖6D對應於如下情況，即該最終全景影像之綠光像素Pi,j的中心對應於由一感測器Ci所擷取之影像裡的真實位置P，而這是位在由一影像擷取裝置Ci所擷取之影像的紅光像素(R)上。
圖6E對應於如下情況，即該最終全景影像之綠光像素Pi,j的中心對應於由一感測器Ci所擷取之影像裡的真實位置P，而這是位在由一影像擷取裝置Ci所擷取之影像的綠光像素(G5)上。
圖6F對應於如下情況，即該最終全景影像之紅光像素Pi,j的中心對應於由一感測器Ci所擷取之影像裡的真實位置P，而這是位在由一影像擷取裝置Ci所擷取之影像的綠光像素(G)上。
圖6G對應於如下情況，即該最終全景影像之藍光像素Pi,j 的中心對應於由一感測器Ci所擷取之影像裡的真實位置P，而這是位在由一影像擷取裝置Ci所擷取之影像的綠光像素(G)上。
圖6H對應於如下情況，即該最終全景影像之紅光像素Pi,j的中心對應於由一影像擷取裝置Ci所擷取之影像裡的真實位置P，而這是位在由一影像擷取裝置Ci所擷取之影像的紅光像素(R5)上。
圖6I對應於如下情況，即該最終全景影像之藍光像素Pi,j的中心對應於由一感測器Ci所擷取之影像裡的真實位置P，而這是位在由一影像擷取裝置Ci所擷取之影像的藍光像素(B5)上。
最後，無論影像的編碼格式如何，對由一影像擷取裝置Ci所擷取影像中各個像素之最終全景影像的重對映方法皆至少包含保留或拋除該像素，並且當保留該像素時，即藉一對於該最終全景影像之各個位置(亦即對於各個像素)的預定義加權因數以指配於該最終全景或立體影像上的一或更多不同位置。在本文中，最終全景影像上之「位置」的概念是融合於最終全景影像上之「像素」的概念。
根據本發明，當有智慧地進行像素重對映時，確可至少部份地校正例如在各個影像擷取裝置Ci中各個透鏡之最終影像上的扭曲情況。
同時亦根據本發明，可例如由額外電子處理裝置11將該等影像擷取裝置C1、C2、C3以及該等電子處理裝置10視為是對於全景影像的唯一虛擬感測器。因此，該額外電子處理裝置11可對於由該等電子處理裝置10所遞交的最終全景影像具體實作例如已知的影像處理演算法(尤其是用於白色均衡、曝光時間與增益管理的演算法)，而每當適用時，相較於在呈顯該全景影像之前實作這些演算法以對於由該等影像擷取裝置C1,C2,C3遞交的各個影像進行影像處理來說，如此可供獲得更為均勻的最終影像，特別是關於色度、白色均衡及曝光時間與增益方面尤甚。
僅為簡便之目的，然非限制本發明範疇，在圖7A至7D中 提供來自一「魚眼」透鏡的原始影像之直線L的像素重對映特定範例，藉以分解該「魚眼」透鏡的光學扭曲以及其空間指向(偏指(Yaw)、俯仰(Pitch)和橫滾(Roll))。重對映是依照該直線L相較於該「魚眼」透鏡之中心以及下方與上方邊緣的位置而定(參見圖7A、7B、7C)，或者是依照該「魚眼」透鏡的空間指向而定(如圖7D)。
圖8中提供一特定範例，此圖說明分別地由三個影像擷取裝置C1、C2、C3所擷取之三個影像I1、I2、I3，以及自該等影像I1、I2、I3之像素重對映所獲得的最終全景影像(I)。
在本發明的框架裡，是可經由實作不同於該等影像擷取裝置C1、C2、C3之二維投射的任何類型二維投射，例如為在一最終全景影像上自動地併入特殊效果之目的，利用像素重對映來呈顯最終全景影像。尤其可實作下列的已知投射方式：- 平面性或直線性投射；- 圓柱形投射；- 墨卡托投射；- 球形或等長方形投射。
為進行重對映作業，熟諳本項技藝之人士必須依逐一個案的方式預先定義各台影像擷取裝置Ci之各個像素的重對映，針對各台影像擷取裝置Ci的各個像素決定是否保留此像素，而在此情況下對應於該最終全景影像的像素或多個像素，以及此原始像素對於該最終全景影像之各個像素的加權因數。
此重對映可為例如依照下列類型的「對應表」所實作，即對各個影像擷取裝置Ci中獲保留在該最終全景影像上的各個像素PX,Y指配於該最終全景影像上的其一或多個像素(PXpano,Ypano)，而在該最終全景影像的像素(PXpano,Ypano)上具有該像素PX,Y的加權因數。在下列表格裡，為便於簡化，僅按 示範性目的納入圖4中所舉例列出的特定像素。
Figure TWI612495BD00001
對於圖1架構的特定情況，會按照儲存在該等記憶體其一者內的「對應表」，利用該等電子處理裝置10以自動地進行對於各台影像擷取裝置C1、C2、C3中各個像素之最終全景影像的重對映作業。在本發明的另一變化項目裡，亦可藉由該等電子處理裝置10利用儲存在該記憶體內的校準及動態計算演算法以自動地進行對於各台影像擷取裝置C1、C2、C3中各個像素之最終全景影像的重對映計算作業。
在圖1的範例裡，獲自於該重對映作業之全景影像的各個像素(PXpano,Ypano)會被遞交作為該等電子處理裝置10的輸出(「Pixels」)，此者是按照由該等電子處理裝置10遞交的「H」時脈信號所同步化。根據替代性具體實施例，這個由該等電子處理裝置10所遞交的「H」時脈信號可為同步或非同步於由該等影像感測器C1、C2、C3所遞交的「H_sensor」時脈信號。
圖1架構的其一優點為可供額外的電子處理裝置11「觀看」到影像感測器C1、C2、C3，同時該等電子處理裝置10則是作為單一虛擬全景感測器。
圖1的裝置可有利地運用在當該等電子處理裝置10取得該等像素時進行即時性重對映。
本發明不限於實作三台固定的影像擷取裝置C1、C2、C3，而是可更廣泛地以至少兩台固定的影像擷取裝置C1、C2所實作。
在本發明框架裡亦可預期運用單一台行動影像擷取裝置，而各次影像擷取則是對應於該行動影像擷取裝置C1、C2、C3的其一不同指向及/或位置。
在前述具體實施例的特定變化項目中，擷取頻率F是等於該等行動影像擷取裝置C1、C2、C3的擷取頻率。然在其他變化項目裡，該擷取頻率F可為小於該等行動影像擷取裝置C1、C2、C3的擷取頻率，例如該等電子處理裝置僅處理由該等感測器各者所遞交之m個影像(m
Figure TWI612495BD00002
2)中的其一影像，這是對應於該等接續擷取作業的頻率，而此作業頻率是小於由該等行動影像擷取裝置C1、C2、C3遞交影像的頻率。
本發明並不受限於呈顯全景影像。本發明亦可適用於呈顯立體影像。

Claims (31)

  1. 一種用於擷取與形成一場景之全景或立體影像串流的方法，其中，利用至少一影像擷取裝置進行多次接續擷取作業，每一次擷取作業包含按照像素格式對該場景的至少兩個不同影像進行擷取，該等影像可為重疊或不重疊，其中，該等接續擷取作業是按一頻率所計時，其中，在該等影像擷取作業的過程中，所擷取影像的像素係經數位處理而從每一次擷取作業來形成一全景或立體影像，同時在該等影像擷取作業的過程中產生該全景或立體影像的串流，其中，對各個所擷取影像之各個像素的數位處理至少包含保留或拋除該像素，並且當保留該像素時，藉由對於最終全景或立體影像上之各個位置的預定義加權因數將該像素指配於最終全景或立體影像上的其一或多個位置。
  2. 如申請專利範圍第1項所述的方法，其中，該等接續擷取作業的頻率定義兩次接續擷取作業之起始間的擷取時間，其中，對於各次擷取作業，每一次所擷取的影像的像素係經數位處理藉以利用該等像素以形成最終全景或立體影像，而處理時間是短於或等於該擷取時間，以及在短於或等於該擷取時間之時間間隔的過程裡產生最終全景或立體影像。
  3. 如申請專利範圍第1項所述的方法，其中，以與該等接續擷取作業的頻率相同的頻率產生全景或立體影像的串流。
  4. 如申請專利範圍第1項所述的方法，其中該等接續擷取作業的頻率定義兩次接續影像擷取作業之起始間的擷取時間，並且該擷取時間為短於或等於1秒。
  5. 如申請專利範圍第1項所述的方法，其中各個最終全景或立體影像 是在分隔兩次接續影像擷取作業之起始的各個時間間隔過程中接續地產生。
  6. 如申請專利範圍第5項所述的方法，其中在分隔兩次接續擷取作業之起始的時間間隔過程中所產生的最終全景或立體影像是源生自在相同的時間間隔過程中所進行的像素數位處理。
  7. 如申請專利範圍第5項所述的方法，其中在分隔兩次接續擷取作業之起始的時間間隔過程中所產生的最終全景或立體影像是源生自在前行的時間間隔過程中所進行的像素數位處理。
  8. 如申請專利範圍第1項所述的方法，其中進行各個像素的數位處理，使得所擷取影像之像素的至少一部份在經遞交至一不同於該等相同像素之二維投射而映至該等所源自於的影像擷取裝置之影像上的二維投射後會被對映到最終全景或立體影像上。
  9. 如申請專利範圍第1項所述的方法，其中所擷取影像的多個像素各者會被指配最終全景或立體影像上的多個不同位置。
  10. 如申請專利範圍第1項所述的方法，其中所擷取影像的多個像素各者會藉不為零、且嚴格地小於100%的加權因數指配至最終全景或立體影像上的一位置。
  11. 如申請專利範圍第1項所述的方法，其中，利用至少兩個不同的影像擷取裝置以擷取該場景的至少兩個不同影像。
  12. 如申請專利範圍第1項所述的方法，其中，利用至少三個影像擷取裝置以擷取該場景的至少三個不同影像。
  13. 如申請專利範圍第1項所述的方法，其中該等接續擷取作業的頻率 定義兩次接續影像擷取作業之起始間的擷取時間，並且該擷取時間為短於或等於100ms。
  14. 一種用於擷取與形成全景或立體影像串流的裝置，其中，該裝置包含一或更多影像擷取裝置，按照像素集組格式擷取至少兩個不同影像，以及電子處理裝置，利用該等影像擷取裝置進行多次接續擷取作業，每一次擷取作業包含按照像素格式對一場景的至少兩個不同影像進行擷取，該等影像可為重疊或不重疊，而該等接續擷取作業係經調適以在擷取作業的過程中對所擷取影像的像素進行數位處理藉以形成全景或立體影像，同時在擷取作業的過程中產生該等全景或立體影像的串流，其中，該電子處理裝置利用該等影像擷取裝置按一頻率進行該等接續影像擷取作業，其中，對各個所擷取影像之各個像素的數位處理至少包含保留或拋除該像素，而且當保留該像素時，藉由對於最終全景或立體影像上之各個位置的預定義加權因數將該像素指配於最終全景或立體影像上的其一或多個位置。
  15. 如申請專利範圍第14項所述的裝置，其中，該等接續擷取作業的頻率定義兩次接續擷取作業之起始間的擷取時間，其中，對於各次擷取作業，該電子處理裝置係經調適以數位處理各個所擷取影像的像素藉以利用該等像素以形成最終全景或立體影像，而處理時間是短於或等於該擷取時間，以及在短於或等於該擷取時間之時間間隔的過程裡產生先前形成的最終全景或立體影像。
  16. 如申請專利範圍第14項所述的裝置，其中，該等接續擷取作業的頻率定義兩次接續擷取作業之起始間的擷取時間，且其中該電子處理裝置係經調適以按與該擷取頻率相同的頻率來產生該等最終全景或立體影像。
  17. 如申請專利範圍第14項所述的裝置，其中該電子處理裝置利用該(等)影像擷取裝置以按該等接續影像擷取作業的頻率進行該等接續擷取作業，而此頻率定義兩次接續擷取作業之起始間的擷取時間，並且該擷取時間為短於或等於1秒(s)。
  18. 如申請專利範圍第14項所述的裝置，其中該電子處理裝置係經設計以在分隔兩次接續影像擷取作業之起始的各個時間間隔過程中接續地產生各個最終全景或立體影像。
  19. 如申請專利範圍第18項所述的裝置，其中在分隔兩次接續影像擷取作業之起始的時間間隔過程中所產生的最終全景或立體影像是源生自在相同的時間間隔過程中所進行的像素數位處理。
  20. 如申請專利範圍第18項所述的裝置，其中在分隔兩次接續影像擷取作業之起始的時間間隔過程中所產生的最終全景或立體影像是源生自在前行的時間間隔過程中所進行的像素數位處理。
  21. 如申請專利範圍第14項所述的裝置，其中該電子處理裝置係經設計以對各個像素進行數位處理，使得來自所擷取影像之像素的至少一部份在經遞交至一不同於該等相同像素之二維投射而映至該等所源自於的影像擷取裝置之影像上的二維投射後會被對映到最終全景或立體影像上。
  22. 如申請專利範圍第14項所述的裝置，其中該電子處理裝置係經設計以藉由指配至最終全景或立體影像上之其一或多個不同位置各者以對來自所擷取影像的多個像素進行處理。
  23. 如申請專利範圍第14項所述的裝置，其中該電子處理裝置係經設計以藉由利用不為零、且嚴格地小於100%的加權因數，指配各個像素至最終 全景或立體影像上之至少一位置以對來自所擷取影像的多個像素進行處理。
  24. 如申請專利範圍第14項所述的裝置，其中含有至少兩個影像擷取裝置。
  25. 如申請專利範圍第14項所述的裝置，其中含有至少三個影像擷取裝置。
  26. 如申請專利範圍第14項所述的裝置，其中該等影像擷取裝置各者係經設計以遞交一至少依照一第一時脈信號所同步化的像素串流作為對於各個所擷取影像的輸出，並且該電子處理裝置係經調適以遞交各個最終全景或立體影像作為按照至少一第二時脈信號所同步化的像素串流。
  27. 如申請專利範圍第26項所述的裝置，其中該第二時脈信號相較於各個第一時脈信號為非同步。
  28. 如申請專利範圍第26項所述的裝置，其中該第二時脈信號相較於該(等)第一時脈信號為同步。
  29. 如申請專利範圍第14項所述的裝置，其中該電子裝置含有一預先儲存的「對應表」，該表為針對於利用該等至少一影像擷取裝置所擷取之影像的各個像素，而該像素在最終全景或立體影像上的(多個)相對應位置，所編碼；以及針對於該像素在最終全景或立體影像上的各個位置，而經該像素在最終全景或立體影像上的加權因數，所編碼。
  30. 如申請專利範圍第14項所述的裝置，其中，該裝置為可攜式。
  31. 如申請專利範圍第14項所述的裝置，其中該等接續擷取作業的頻率定義兩次接續影像擷取作業之起始間的擷取時間，並且該擷取時間為短於 或等於100ms。
TW102141393A 2012-11-15 2013-11-14 用於擷取與呈顯全景或立體影像串流之方法與裝置 TWI612495B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1260880A FR2998126B1 (fr) 2012-11-15 2012-11-15 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
??1260880 2012-11-15

Publications (2)

Publication Number Publication Date
TW201435792A TW201435792A (zh) 2014-09-16
TWI612495B true TWI612495B (zh) 2018-01-21

Family

ID=47754666

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106135936A TW201804432A (zh) 2012-11-15 2013-11-14 用於擷取與呈顯全景或立體影像串流之方法與裝置
TW102141393A TWI612495B (zh) 2012-11-15 2013-11-14 用於擷取與呈顯全景或立體影像串流之方法與裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW106135936A TW201804432A (zh) 2012-11-15 2013-11-14 用於擷取與呈顯全景或立體影像串流之方法與裝置

Country Status (15)

Country Link
US (1) US20150288864A1 (zh)
EP (1) EP2920956A1 (zh)
JP (2) JP2016503618A (zh)
KR (1) KR20150084807A (zh)
CN (1) CN104782114B (zh)
AU (1) AU2013346603B2 (zh)
BR (1) BR112015010788A8 (zh)
CA (1) CA2889811A1 (zh)
FR (4) FR2998126B1 (zh)
HK (1) HK1212835A1 (zh)
IL (1) IL238622A0 (zh)
IN (1) IN2015DN03812A (zh)
MX (1) MX355297B (zh)
TW (2) TW201804432A (zh)
WO (1) WO2014076402A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
GB2552238A (en) * 2016-04-18 2018-01-17 Argon Design Ltd Blending images
EP3249929A1 (en) 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
US20180018807A1 (en) * 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
KR101925011B1 (ko) * 2017-03-14 2019-02-27 한국과학기술원 워터마크 삽입/검출 방법 및 장치
TWI775869B (zh) * 2017-06-29 2022-09-01 佳能企業股份有限公司 影像擷取裝置及影像處理方法
TWI642301B (zh) * 2017-11-07 2018-11-21 宏碁股份有限公司 影像處理方法與電子系統
WO2020185201A1 (en) * 2019-03-10 2020-09-17 Google Llc 360 degree wide-angle camera with baseball stitch
KR102294071B1 (ko) * 2020-07-21 2021-08-26 금오공과대학교 산학협력단 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법
KR102555534B1 (ko) * 2021-06-28 2023-07-17 한국과학기술원 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135675A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Configurable synchronous or asynchronous bus interface
US20040061787A1 (en) * 2002-09-30 2004-04-01 Zicheng Liu Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
TW200529795A (en) * 2004-03-09 2005-09-16 Chuin-Mu Wang Method and system for examining fitness by photography
CN101119482A (zh) * 2007-09-28 2008-02-06 北京智安邦科技有限公司 一种全景监控方法及设备
CN201118859Y (zh) * 2007-07-27 2008-09-17 浙江大学 单体式实时全景无缝无失真视频摄像机
US20090201361A1 (en) * 2008-02-08 2009-08-13 Google Inc. Panoramic Camera With Multiple Image Sensors Using Timed Shutters
TW201039246A (en) * 2009-04-27 2010-11-01 Asustek Comp Inc Method for continuously outputting character by video-recording

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4499319B2 (ja) * 2001-08-24 2010-07-07 パナソニック株式会社 運転支援装置、運転支援方法および運転ガイドデータ作成方法
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
JP2004159014A (ja) * 2002-11-05 2004-06-03 Nec Corp デジタルカメラ付き携帯通信端末
CA2680813C (en) 2007-03-16 2016-06-14 Kollmorgen Corporation System for panoramic image processing
JP4555399B2 (ja) 2008-07-04 2010-09-29 清正工業株式会社 医療廃棄物処理装置
JP2010252015A (ja) * 2009-04-15 2010-11-04 Panasonic Corp 画像合成装置、画像合成方法およびプログラム
WO2011037964A1 (en) 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
JP2011119974A (ja) * 2009-12-03 2011-06-16 Sony Corp パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム
FR2964757B1 (fr) 2010-09-09 2013-04-05 Giroptic Dispositif optique pour la capture d'images selon un champ de 360°
CN102480622A (zh) * 2010-11-30 2012-05-30 比亚迪股份有限公司 立体图像获取方法及系统、移动终端
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130321573A1 (en) * 2012-05-30 2013-12-05 Texas Instruments Incorporated Identification and display of time coincident views in video imaging

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
US20030135675A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Configurable synchronous or asynchronous bus interface
US20040061787A1 (en) * 2002-09-30 2004-04-01 Zicheng Liu Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
TW200529795A (en) * 2004-03-09 2005-09-16 Chuin-Mu Wang Method and system for examining fitness by photography
CN201118859Y (zh) * 2007-07-27 2008-09-17 浙江大学 单体式实时全景无缝无失真视频摄像机
CN101119482A (zh) * 2007-09-28 2008-02-06 北京智安邦科技有限公司 一种全景监控方法及设备
US20090201361A1 (en) * 2008-02-08 2009-08-13 Google Inc. Panoramic Camera With Multiple Image Sensors Using Timed Shutters
TW201039246A (en) * 2009-04-27 2010-11-01 Asustek Comp Inc Method for continuously outputting character by video-recording

Also Published As

Publication number Publication date
JP2016503618A (ja) 2016-02-04
MX355297B (es) 2018-04-12
HK1212835A1 (zh) 2016-06-17
MX2015006121A (es) 2015-08-06
FR3012000B1 (fr) 2016-05-06
AU2013346603B2 (en) 2017-09-07
FR2998126A1 (fr) 2014-05-16
TW201804432A (zh) 2018-02-01
FR2998126B1 (fr) 2014-12-26
AU2013346603A1 (en) 2015-05-14
JP2019041389A (ja) 2019-03-14
BR112015010788A8 (pt) 2019-10-01
BR112015010788A2 (pt) 2017-07-11
WO2014076402A1 (fr) 2014-05-22
FR3012001B1 (fr) 2016-05-06
CA2889811A1 (fr) 2014-05-22
FR3011968A1 (fr) 2015-04-17
TW201435792A (zh) 2014-09-16
IL238622A0 (en) 2015-06-30
KR20150084807A (ko) 2015-07-22
FR3011968B1 (fr) 2016-05-06
CN104782114A (zh) 2015-07-15
EP2920956A1 (fr) 2015-09-23
US20150288864A1 (en) 2015-10-08
CN104782114B (zh) 2019-05-07
IN2015DN03812A (zh) 2015-10-02
FR3012000A1 (fr) 2015-04-17
FR3012001A1 (fr) 2015-04-17

Similar Documents

Publication Publication Date Title
TWI612495B (zh) 用於擷取與呈顯全景或立體影像串流之方法與裝置
TWI549519B (zh) 高解析度陣列相機
EP3906663B1 (en) High dynamic range processing based on angular rate measurements
JP4661922B2 (ja) 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5353393B2 (ja) 画像処理装置及び画像処理方法等
US9961272B2 (en) Image capturing apparatus and method of controlling the same
TW201618531A (zh) 影像擷取裝置及其數位變焦方法
JP2010183316A (ja) 撮像装置
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
US11908111B2 (en) Image processing including noise reduction
US11563925B2 (en) Multiple tone control
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
TWI353779B (zh)
KR20160137289A (ko) 촬영 장치 및 촬영 장치의 동작방법
JP5959194B2 (ja) 撮像装置
US9743007B2 (en) Lens module array, image sensing device and fusing method for digital zoomed images
CN109218602A (zh) 影像撷取装置、影像处理方法及电子装置
JP2013135408A (ja) 撮像装置
US20220021852A1 (en) Color fringing processing independent of tone mapping
JP6978720B2 (ja) 画像処理装置
JP6425314B2 (ja) 撮像方法および撮像装置
JP2016213747A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees