TWI451358B - 香蕉編碼解碼器 - Google Patents

香蕉編碼解碼器 Download PDF

Info

Publication number
TWI451358B
TWI451358B TW097105275A TW97105275A TWI451358B TW I451358 B TWI451358 B TW I451358B TW 097105275 A TW097105275 A TW 097105275A TW 97105275 A TW97105275 A TW 97105275A TW I451358 B TWI451358 B TW I451358B
Authority
TW
Taiwan
Prior art keywords
image
images
triangular
edge
hemispherical
Prior art date
Application number
TW097105275A
Other languages
English (en)
Other versions
TW200844901A (en
Inventor
Stephane Jean-Louis Jacob
Original Assignee
Photint Venture Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Photint Venture Group Inc filed Critical Photint Venture Group Inc
Publication of TW200844901A publication Critical patent/TW200844901A/zh
Application granted granted Critical
Publication of TWI451358B publication Critical patent/TWI451358B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

香蕉編碼解碼器 發明的技術領域
本發明係大致有關電腦圖形以及影樣處理的技術領域，且更確切來說，本發明係有關用以從多個原始影像產生至少一良好品質影像的技術。
 發明的技術背景
融入式視覺技術提供觀看影像的虛擬化互動經驗，更確切來說，它是把一影像插入到另一個影像中以產生寫實的融入式經驗。透過融入式視覺技術來合併多個影像的動作可產生一個全景影像，即所涵蓋視野較習知相機鏡頭來得廣的視野。一般用以捕捉圓形半球狀靜止影像的裝置是一種配備有超廣角(魚眼)鏡頭的數位相機。此種影像含容極銳利以及相當多的細緻部分。大致來說，融入式技術牽涉到互動式照相術，其係依據對電腦處理器以數位方式輸入利用標準廣角或超廣角(魚眼)鏡頭或鏡子取得的照相影像，以使一廣角影像反射到一標準鏡頭中。此種數位處理技術牽涉到移除任何鏡子、廣角、或超廣角(魚眼)鏡頭的失真問題，並且提供一透視校正影像部分以供依據使用者命令而觀看。
用於融入式視覺系統的超廣角(魚眼)鏡頭為一種可拍攝極廣角圓形影像的廣角鏡頭。在照相學技術領域中，超廣角(魚眼)鏡頭為眾人所知的部分是，捕捉影像的獨特失 真現象。超廣角鏡頭(魚眼)提供影像或視訊的180度視圖。此種視圖多少都有些失真，儘管可利用技藝中已知的技術來充分地校正這種失真現象。為了對使用者提供良好的融入式經驗，目前已經提出了多種融入式視覺系統與方法。
美國專利案號6,947,059揭露一種成像系統，其包含多個用以進行拼接以及轉換以產生全動態立體等矩形影像的影像捕捉裝置。所揭露的方法包含下列步驟：取得多個影像；合併第一與第二影像的部分以產生第一合併等矩形影像；使第一影像之不同部分的數個部分與第三影像的一部份合併以產生第二合併等矩形影像；以及顯示第一與第二合併等矩形影像以產生一立體影像。
美國專利案號6,147,709揭露一種用以把高解析度影像插入到低解析度影像中以產生融入式經驗的方法。上述專利所揭露的方法包括下列步驟：捕捉一低解析度影像；捕捉一高解析度影像；利用影像轉換程序來使該低解析度影像反變形；放大該影像中的細緻部分；覆蓋該高解析度影像；使像素值配對；以及以該低解析度影像中的三個不同對應值來表現該高解析度影像中的至少三個指標點。
美國專利案號6,795,090揭露一種用以從二個原始全景影像產生數個中間全景影像的方法與系統，其中各個全景影像從不同視軸指標點提供一情景的360度視野。首先，將取得成對的平面影像，其中各對影像對應於從該等原始全景影像之各別部分取得的原始平面視圖，其中可從各對平面視圖看見該情景的一相似區域。隨後，將從各對平面 影像產生一中間平面影像，且所得的多個中間平面影像係圓柱式地連接以形成該中間全景影像。
雖然上述的專利揭露了用以合併或沉浸二或更多個影像的程序與系統，但其中並沒有任何專利能提供使終端影像能顯示在一小型螢幕上的彈性。這是因為在大部分已知融入式視覺系統中，拼接二或更多個影像的動作會產生一個增大的等矩形影像。因此，便需要較大的儲存空間來儲存所得影像或視訊。再者，終端影像或視訊的品質往往會低於使用者的期望。因此，便需要一種能在拼接二或更多個影像之後使影像檔案縮小的方法與系統。同樣地，用以拼接二或更多個影像的該種方法與系統應該要能產生具有良好品質的所得影像。
 發明的概要說明
本發明的目的之一是提供一種用以拼接二或更多個靜止及/或移動影像以產生具有良好品質之所得影像的有效方法與系統。
本發明的另一個目的是提供一種用以拼接二或更多個靜止及/或移動影像以產生像素濃度與原始影像相同之所得影像的方法與系統。
本發明的另一個目的是提供一種用以拼接二或更多個靜止及/或移動影像以產生具有縮減檔案大小之所得輸出的方法與系統。
為了達成上述目的，本發明提供一種用以拼接二或更多 個影像的方法，該方法包含下列步驟：－由一影像捕捉構件從至少一指標點以及不同觀看方向捕捉二或更多個影像，以產生半球狀影像；－把各個半球狀影像轉換為一個對應三角形影像；－使至少一個第一三角形影像沿著至少一個第二三角形影像的一邊緣定位，其中該第一三角形影像的一邊緣對應於該第二三角形影像的該邊緣；－使該第一三角形影像之該邊緣上的共同指標點與該第二三角形影像之該邊緣上的對應指標點合併，以形成一個單一拼接矩形影像。
本發明另提供一種用以拼接二或更多個影像的系統，該系統包含：－影像捕捉構件，其用以從至少一指標點以及不同觀看方向捕捉二或更多個半球狀影像；以及－耦合至該影像捕捉構件的影樣處理構件，其用以使二或更多個半球狀影像轉換為三角形影像，並且使該等三角形影像合併為一個單一矩形影像。
已經在本發明說明中揭露上述目的以便能清楚地闡明本發明。然而，不應藉由上述目的及/或優點來限制本發明的範圍。
圖式的簡要說明
本發明的詳細說明係參照下面的圖式來進行。在圖式中，元件編號中的最左邊數字表示該元件編號首先出現的 圖式編號。在圖式中將使用相同的元件編號來表示相同/相似的特徵以及部件。
第1圖展示出根據本發明之一種用以拼接二或更多個影像以產生具有良好品質之所得影像的例示系統。
第2圖以流程圖展示出根據本發明之一種利用香蕉拼接程序來拼接二或更多個影像以產生具有良好品質之所得影像的例示方法。
第3圖以方塊圖展示出第2圖揭露之香蕉拼接模組(150)的例示實行方案。
第4圖展示出二個例示半球狀影像，該等半球狀影像的簡化圖示、以及終端座標。
第5圖以方塊圖展示出一種用以把各個半球狀影像轉換為一個三角形影像的例示方法。
第6圖以方塊圖展示出一種用以改變該等三角形影像之定位的例示程序。
第7圖以流程圖展示出一種用以把該等二個三角形影像拼接為一個單一影像且使其定位的例示程序。
 較佳實施例的詳細說明
本發明揭露一種用以拼接二或更多個影像以產生具有良好品質之所得影像的方法與系統。該系統與方法並不意圖受限於任何特定形式或配置、或本文所述的任何特定實施例或任何特定用途，因為在不偏離本發明精神或範圍的條件下，可對本發明實施例的各種不同細節與關係進行修 改，且本發明展示出的裝置或方法僅具有例示性且僅用於揭示一個可操作實施例，而非展示出體現或操作本發明之各種不同形式或修改方案的全部。
為了有效地拼接透過超廣角(魚眼)鏡頭捕捉到的二或更多個影像，需要一種能產生具有良好品質之所得影像的系統與方法。再者，該種系統應該提供佔據大量儲存空間之一般等矩形影像或視訊的替代方案。於此，本發明揭露的方法與系統揭露拼接利用廣角鏡頭(例如超廣角(魚眼)鏡頭)捕捉的二或更多個影像。在本文中，可由任何類型的超廣角(魚眼)鏡頭來捕捉二或更多個靜止影像或視訊，以產生半球狀形狀。此後將把各個半球狀影像轉換為一個相等三角形影像或視訊。
把半球狀影像轉換為三角形影像之後，便進行拼接該等二個三角形影像的動作。拼接該等二個三角形影像的動作可形成一個矩形影像。各個單一像素一開始將呈現出此程序結束時所得矩形圖形中的一個單一像素，藉此，最後階段之所得拼接影像的像素濃度將與最初欲拼接影像的像素濃度相同。因此，本發明揭露的方法與系統可產生具有所有原始完整無缺細緻部分的超高品質拼接影像。再者，亦能達成在拼接二或更多個影像之後使影像檔案大小縮減的目的而不需要進行任何壓縮動作，且相較於等矩形影像來說，可形成無損的轉換動作。
本發明揭露的技術可用於不同的作業環境與系統中。將參照伴隨圖式在以下段落中討論一種適於實現各種不同實 行方案的例示環境。
例示系統
第1圖展示出一種用以拼接二或更多個影像以產生具有良好品質之所得影像的例示系統100。根據一實施例，例示系統100包括耦合至一或多個圖形處理單元104的一或多個影像捕捉構件102，該一或多個圖形處理單元104耦合至一或多個I/O介面106以及一或多個輸出構件108。影像捕捉構件102為配備有一或多個超廣角(魚眼)鏡頭或接合器的數位視訊相機。該超廣角(魚眼)鏡頭可為一圓形超廣角(魚眼)鏡頭，以便取得每影像至少180度x180度的視野。
在替代實施例中，可透過耦合至系統100的一通訊網路存取影像捕捉構件102。影像捕捉構件102另包括用以在透過I/O介面106把影傳輸到圖形處理單元104之前先數位化該等影像的構件。替代地，該數位化構件可透過I/O介面106耦合至本發明揭露的系統100。
I/O介面106提供系統100的輸入輸出性能。I/O介面106包括用以連接輸入裝置、輸出裝置、類比與數位轉換器等等的一或多個埠。可把I/O介面106組配為能透過一或多個影像捕捉構件102接收經捕捉影像，並且把該經捕捉影像轉換為相關格式，以供由圖形處理單元104進行進一步的處理。可透過I/O介面106把圖形處理單元104產生的所得影像傳送到輸出構件108。例如，I/O介面106 可利用所有現存已知的方法，如快閃碟片、USD連線、WIFI連線，促進把影像遞送到圖形處理單元104的動作。
圖形處理單元104可為一個單一處理實體、或者可為包含多個運算單元的多個處理實體。圖形處理單元104包括耦合至記憶體114的影樣處理引擎112。在替代實施例中，記憶體114常駐在圖形處理單元104外部而作為一個分別實體，或者可透過耦合至系統100的一通言訊網路來存取記憶體114。例如，記憶體114可包括依電性記憶體(例如，RAM)以及非依電性記憶體(例如，ROM、快閃記憶體等)。記憶體114可儲存所接收到的中間與最終影像以及相關資訊。記憶體114另包括由影樣處理引擎112在拼接二或更多個影像之程序中執行的操作指令以及相關資料。
影樣處理引擎112可接收由影像捕捉構件102捕捉而呈相關格式的影像。必須要拍攝至少二個影像，以便取得一個結合至少二個影像的完整360x180視野。所捕捉的影像必須為逐行掃描格式，以便成為至少24位元色彩深度，且需要呈一種可了解的多媒體檔案格式。此檔案可為一個光柵影像、連續的光柵影像、或為經過最小化壓縮的視訊檔案，以便在整個拼接程序中維持良好品質。若原始來源檔案為一視訊且已受到交錯，必須使用技藝中已知的技術來移除該種交錯狀況。替代地，影樣處理引擎112可處理從影像捕捉構件102接收到的影像，以產生半球狀影像。再者，影樣處理引擎112可從各個半球狀影像摘取出多個資訊。影樣處理引擎112可使用經摘取資訊把該半球狀影 像轉換為相等三角形影像，並且進行後續的拼接與定位動作。所揭露的程序能確保所得矩形影像的像素濃度與原始影像相同，相較於目前技藝中的等矩形影像來說，能確保無損轉換目的。後續地，影樣處理引擎112傳送所得拼接影像到輸出構件108以供顯示。在一較佳實施例中，輸出構件108可為耦合至系統100的一顯示器螢幕及/或列印裝置。在替代實施例中，可透過耦合至系統100的一通訊網路來存取輸出構件108。
可把系統100實行為一種獨立式系統，或可把系統100實行為在一網路中連接的一系統。在初始化時，圖形處理單元104可把影像捕捉構件102捕捉的影像、操作指令、以及其他相關資料載入到記憶體114中。影樣處理引擎112從各個影像摘取出多個資訊，包括各個半球狀影像的座標值以及二或更多個影像的對應指標點。影樣處理引擎112另使用儲存在記憶體114中的操作指令來把半球狀影像轉換為一個相等三角形影像。再者，影樣處理引擎112使該等三角形影像中的至少一個旋轉180度，並且沿著一共同基底與至少一個第二三角形影像合併，以產生一拼接影像。再者，影樣處理引擎112促進拼接影像的定位校正動作，以產生像素濃度與原始影像相同的一個矩形影像。將透過I/O介面106把最終影像傳送到輸出構件108。本發明揭露的系統可產生具有超高品質的最終影像，因為它保留了相同的像素數量，且因此具有與原始影像相同的細緻部分。再者，可使輸出檔案的大小縮小22%，而不需要使 用任何壓縮技術，相較於標準等矩形影像來說，能產生更具效率的儲存性能。
例示方法
以下將說明一種用以拼接二或更多個影像以產生具有良好品質之所得影像的例示方法。第2圖至第7圖以邏輯流程圖及/或簡化圖的方塊集合來展示，其代表可由硬體、軟體、或該等之組合實行的一連串操作。在軟體的脈絡中，該等方塊表示在受到一或多個處理器執行時能進行所述操作的電腦指令。並不意圖把解說程序的順序闡述為一項限制，且可利用任何任順序來合併任何所述方塊的數量，以便實行該程序或者一替代程序。此外，在不偏離本發明請求項目之精神與範圍的條件下，可從該程序刪除個別方塊。
第2圖以流程圖展示出根據本發明之一種利用香蕉拼接程序來拼接二或更多個影像以產生具有良好品質之所得影像的例示方法。
在一較佳實施例中，將使用二個來源檔案。該等影像為二個光柵影像，其代表利用設置為彼此背對背之二台數位相機上之二個超廣角(魚眼)鏡頭捕捉的二個超廣角(魚眼)影像。各個鏡頭具有至少180度視野。該等影像為在任何給定時間中所捕捉而呈相同環境的二個影像。色彩深度可為24位元、32位元、或索引色彩。
將利用技藝中已知的方法把該等二個影像，即光柵影像1(110)以及光柵影像2(120)，載入到光柵影像讀取器 (130)。隨後將解壓縮該等二個光柵影像，並且緩衝到光柵影像緩衝器(140)中。光柵影像緩衝器(140)可受到系統之多個元件的存取。輸入光柵資訊係由光柵影像讀取器(130)提供。有關影像選擇的參數則由選擇參數模組(180)透過香蕉拼接模組提供。輸出資訊為發送到香蕉拼接模組(150)的光柵影像。光柵影像緩衝器(140)亦連接至GUI(圖形使用者介面)(170)。
GUI(170)為光柵影像緩衝器(140)、光柵影像寫入器(210)、選擇參數(180)、人機裝置(190)、以及顯示器(200)之間的視覺鏈路。它可連接到拼接影像緩衝器(160)以加速該程序的進行。GUI係與人機裝置(190)進行互動，其中使用者與該系統進行互動。當GUI透過光柵影像緩衝器(140)顯示該等二個原始影像(110)與(120)時，終端使用者將針對用以判定已拼接在一起之各個影像區域的該等影像作出一項選擇。一般選擇的形狀是圓形，其中使用者可判定出中心點以及射線。可使用不同形狀來做出該選擇。此資訊係由人機裝置(190)輸入，且由選擇參數(180)提供並且進行格式化。模組(180)隨後傳送選擇資訊到香蕉拼接模組(150)，其蒐集光柵影像緩衝器(140)中所需的光柵資訊，並且處理該資訊以把經處理影像傳遞到拼接影像緩衝器(160)。以下將參照第4圖來說明香蕉拼接模組(150)的功能。
拼接影像緩衝器(160)蒐集來自香蕉拼接模組(150)的相等三角形影像。在此步驟中，該資訊為一光柵影像。此 資訊隨後由光柵影像寫入器(210)寫入成一種現存格式，例如BMP、JPG TGA等，且並行地傳送到GUI(170)以供顯示。可把光柵相等三角形影像(220)處理成多個訊框，並且在壓縮模組(230)中壓縮成一視訊。本發明揭露的此程序必須要針對該等影像的各個訊框來進行。
第3圖以方塊圖展示出第2圖揭露之香蕉拼接模組(150)的例示實行方案。
光柵影像緩衝器(140)遞送二個來源光柵影像(300)以及(310)到影像處理器CIR對TRI(320)，其具有第2圖之模組(180)提供的選擇資訊。影像處理器(320)依據各個來源光柵影像(300)與(310)的選擇處理各個像素的轉換動作，如下所述。所得資訊為二個光柵影像(330)與(340)。隨後，將透過影像處理器旋轉(350)來處理光柵影像(340)，其中將對所有像素資訊進行一個180度的旋轉動作，如第7圖所示。隨後將把所得資料(360)載入到影像MUX(多工器)(370)中，如第7圖的MUX光柵影像(400)。所得光柵影像便僅有一個影像。
隨後透過影像處理器像素移動器(410)來處理此影像資料，其中將移動各個像素以產生一光柵影像(420)，如第7圖所示。
隨後將由影樣處理裁剪模組(430)裁剪此影像，以產生將被遞送到拼接影像緩衝器(160)的一個最終矩形裁剪影像(44o)。此最後步驟便完成了該拼接程序。
第4圖至第7圖展示出本發明方法所揭露的一種例示拼 接程序。
第4圖展示出二個例示半球狀影像，該等半球狀影像的簡化圖示、以及終端座標。可由影像捕捉構件中的超廣角(魚眼)鏡頭來捕捉二或更多個影像。圖形元件402展示出由包含超廣角(魚眼)鏡頭之影像捕捉構件捕捉到之情景的前視圖。圖形元件404表示圖形元件402的簡化影像，其展示出中心座標以及經捕捉影像的四個終端指標點。相似地，圖形元件406展示出經捕捉情景的後視圖。圖形元件408表示圖形元件406的簡化影像，其展示出中心座標以及經捕捉影像的四個終端指標點。在第4圖中： －TA表示上指標點半球體402 －TB表示上指標點半球體406 －LA表示左指標點半球體402 －LB表示左指標點半球體406 －RA表示右指標點半球體402 －RB表示右指標點半球體406 －BA表示下指標點半球體402 －BB表示下指標點半球體406 －CA表示中央指標點半球體402 －CB表示中央指標點半球體406
第5圖以方塊圖展示出一種用以把各個半球狀影像轉換為一個三角形影像的例示方法。圖形元件502表示半球體的周長或圓周，其表示由超廣角(魚眼)鏡頭捕捉到之一情景的前視圖。圖形元件504表示從該半球體之中心對應 三角形影像發出的射線CARA。將把該半球體的一或多個元件轉譯為對應三角形影像的元件。三角形的底線506(由RABALATARA表示)係由圓周線502形成，即對應半球體的TARABALA。該三角形影像的斜邊508與垂線510則由圖形元件504來表示，即該半球體的射線CARA。
相似地，表示由超廣角(魚眼)鏡頭捕捉到之一情景之後視圖的半球體將被轉換為一個相等三角形。三角形的底線516(由LBTBRBBBLB表示)係由圓周線512形成，即對應半球體的LBTBRBBBLB。三角形影像的斜邊518與垂線520則由圖形元件514來表示，即半球體的射線CBLB。因此，各個半球體的各個像素遵循上述的轉換方式，隨後被配置於新的三角形上，並且取得該等位置，如第5圖所示。
第6圖以方塊圖展示出一種用以改變該等三角形影像之定位的例示程序。一或多個三角形沿著一或多個軸旋轉180度，以便進行設置而供與一或多個影像拼接。在第6圖中，三角形602與604代表半球體形成的三角形影像，其分別表示經捕捉情景的前視圖與後視圖。三角形604進行一個180度的旋轉動作，如第6圖所示，進而產生三角形606。將把原始形狀視為利用二種折射鏡功能轉換而成，相似於一個180度旋轉動作。現在，三角形606處於一個適當定位，以供與三角形602拼接，其表示第7圖所揭露之經捕捉情景的前視圖。
第7圖以流程圖展示出一種用以把該等二個三角形影像拼接為一個單一影像且使其定位的例示程序。將摘取原 始影像的多個元件並且進行儲存以供進一步處理。再者，亦將識別出二或更多個影像的共同元件。為了使三角形影像702與一個翻轉三角形影像704拼接，將識別出代表共同元件之三角形的對應指標點。三角形702與704的對應指標點係由第7圖中的RA&LB、BA&BB、LA&RB、TA&TB以及RA&LB來表示。後續地，將使三角形702與704的對應指標點沿著該等二個三角形702與704的斜邊而合併或者組合，以產生拼接影像706。
最後，將對邊緣RA.LB與CB線進行一項垂直轉譯以取得一個等矩形影像。在所得的等矩形影像中，各個單一像素一開始將呈現出該程序結束時所得矩形圖形中的一個單一像素，藉此最後階段之所得拼接影像的像素濃度將與最初欲拼接影像的像素濃度相同。再者，可使儲存終端影像大小的儲存空間降低至少22%。因此，相較於一種標準等矩形影像，本發明揭露的方法與系統能從二或更多個影像產生具有超高品質的拼接影像。
以上揭露且展示的實施例僅針對例示目的而提出，且不應使本發明概念與原則因此受限。熟知技藝者應該了解的是，在不偏離由以下申請專利範圍界定之本發明精神與範圍的條件下，可對該等元件以及其組態與配置進行各種不同的變化方案。
熟知技藝者應該了解的是，本發明不限於所展示出的特定實施例。因此，在不犧牲本發明主要優點的條件下，可進行屬於以下申請專利範圍之精神與範圍內的變化方案。
100‧‧‧系統
102‧‧‧影像捕捉構件
104‧‧‧圖形處理單元
106‧‧‧I/O介面
108‧‧‧輸出構件
110‧‧‧光柵影像1、原始影像
112‧‧‧影樣處理引擎
114‧‧‧記憶體
120‧‧‧光柵影像2、原始影像
130‧‧‧光柵影像讀取器
140‧‧‧光柵影像緩衝器
150‧‧‧香蕉拼接模組
160‧‧‧拼接影像緩衝器
170‧‧‧GUI(圖形使用者介面)
180‧‧‧選擇參數模組
190‧‧‧人機裝置
200‧‧‧顯示器
210‧‧‧光柵影像寫入器
220‧‧‧光柵相等三角形影像
230‧‧‧壓縮模組
300‧‧‧來源光柵影像、來源資料A CIR形狀
310‧‧‧來源光柵影像、來源資料B CIR形狀
320‧‧‧影像處理器CIR對TRI
330‧‧‧光柵影像、修改資料A TRI形狀
340‧‧‧光柵影像、修改資料B TRI形狀
350‧‧‧影像處理器旋轉
360‧‧‧修改資料B(已旋轉)
370‧‧‧影像MUX(多工器)
400‧‧‧MUX光柵影像
402‧‧‧圖形元件
404‧‧‧圖形元件
406‧‧‧圖形元件
408‧‧‧圖形元件
410‧‧‧影像處理器像素移動器
420‧‧‧移動光柵影像
430‧‧‧影樣處理裁剪模組
440‧‧‧裁剪影像
502‧‧‧圓周線
504‧‧‧圖形元件(射線CARA)
506‧‧‧底線
508‧‧‧斜邊
510‧‧‧垂線
512‧‧‧圓周線
514‧‧‧圖形元件(射線CBLB)
516‧‧‧底線
518‧‧‧斜邊
520‧‧‧垂線
602‧‧‧三角形
604‧‧‧三角形
606‧‧‧三角形
702‧‧‧三角形
704‧‧‧三角形
706‧‧‧拼接影像
第1圖展示出根據本發明之一種用以拼接二或更多個影像以產生具有良好品質之所得影像的例示系統。
第2圖以流程圖展示出根據本發明之一種利用香蕉拼接程序來拼接二或更多個影像以產生具有良好品質之所得影像的例示方法。
第3圖以方塊圖展示出第2圖揭露之香蕉拼接模組(150)的例示實行方案。
第4圖展示出二個例示半球狀影像，該等半球狀影像的簡化圖示、以及終端座標。
第5圖以方塊圖展示出一種用以把各個半球狀影像轉換為一個三角形影像的例示方法。
第6圖以方塊圖展示出一種用以改變該等三角形影像之定位的例示程序。
第7圖以流程圖展示出一種用以把該等二個三角形影像拼接為一個單一影像且使其定位的例示程序。
110‧‧‧光柵影像1
120‧‧‧光柵影像2
130‧‧‧光柵影像讀取器
140‧‧‧光柵影像緩衝器
150‧‧‧香蕉拼接模組
160‧‧‧拼接影像緩衝器
170‧‧‧GUI(圖形使用者介面)
180‧‧‧選擇參數模組
190‧‧‧人機裝置
200‧‧‧顯示器
210‧‧‧光柵影像寫入器
220‧‧‧光柵相等三角形影像
230‧‧‧壓縮模組

Claims (12)

  1. 一種用以拼接二或更多個影像的方法，其包含下列步驟：由一影像捕捉構件從至少一指標點以及不同觀看方向捕捉二或更多個影像，以產生半球狀影像；將各個半球狀影像轉換為一個對應三角形影像；使至少一個第一三角形影像沿著至少一個第二三角形影像的一邊緣來定位，其中該第一三角形影像的一邊緣對應於該第二三角形影像的該邊緣；使該第一三角形影像之該邊緣上的共同指標點與該第二三角形影像之該邊緣上的對應指標點合併，以形成一個單一拼接影像。
  2. 如申請專利範圍第1項之方法，其中該轉換之步驟包含下列步驟：以一對應圓形來表現該等半球狀影像中的各個影像；以該圓形的圓周來表現該三角形的底線；以及以從該圓形之中心發出而到達該圓形之邊緣的一射線來表現該三角形的垂線與斜邊。
  3. 如申請專利範圍第1項之方法，其中該定位之步驟包含使至少一第一三角形影像旋轉180度的步驟。
  4. 如申請專利範圍第1項之方法，其中使該第一三角形影像之該邊緣上的共同指標點與該第二三角形影像之該邊緣上的該對應指標點合併的步驟包含下列步驟： 判定對應於該第二三角形影像之該邊緣之該第一三角形影像之該邊緣上的共同指標點；使該第一三角形影像的該邊緣沿著該等共同指標點與該第二三角形影像的該邊緣合併，以形成一個單一拼接影像；以及轉譯該單一拼接影像的一或多個側邊，以形成一個矩形拼接影像。
  5. 如申請專利範圍第1項之方法，其中該單一拼接影像為像素濃度與原始之該半球狀影像相同的一矩形影像。
  6. 一種用以拼接二或更多個影像的系統，其包含：影像捕捉構件，其用以從至少一指標點以及不同觀看方向捕捉二或更多個半球狀影像；以及耦合至該影像捕捉構件的影樣處理構件，其用以使二或更多個半球狀影像轉換為三角形影像，並且使該等三角形影像合併為一個單一拼接影像。
  7. 如申請專利範圍第6項之系統，其中該影像捕捉構件包括至少一廣角鏡頭。
  8. 如申請專利範圍第6項之系統，其中該影像捕捉構件捕捉靜止以及移動影像。
  9. 如申請專利範圍第6項之系統，其中該單一拼接影像為像素濃度與該半球狀影像相同的一矩形影像。
  10. 如申請專利範圍第6項之系統，其中該系統包含：儲存構件，其用以儲存經捕捉之影像、中間與拼接影像、以及相關影像處理資訊；以及 輸出構件，其用以顯示經捕捉的該等中間與拼接影像。
  11. 如申請專利範圍第6或10項之系統，其中該系統係通訊式地耦合至一通訊網路。
  12. 一種用以拼接二或更多個影像的電腦程式產品，該電腦程式產品包含組配成能執行申請專利範圍第1至5項中任一項所請求之該方法的一或多個電腦可讀媒體。
TW097105275A 2007-02-14 2008-02-14 香蕉編碼解碼器 TWI451358B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IN306DE2007 2007-02-14

Publications (2)

Publication Number Publication Date
TW200844901A TW200844901A (en) 2008-11-16
TWI451358B true TWI451358B (zh) 2014-09-01

Family

ID=39690589

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097105275A TWI451358B (zh) 2007-02-14 2008-02-14 香蕉編碼解碼器

Country Status (16)

Country Link
US (1) US8395657B2 (zh)
EP (1) EP2113119B1 (zh)
JP (1) JP5172863B2 (zh)
KR (1) KR20100105351A (zh)
CN (1) CN101689292B (zh)
AU (1) AU2008215908B2 (zh)
CA (1) CA2677884A1 (zh)
ES (1) ES2452366T3 (zh)
HK (1) HK1142428A1 (zh)
MY (1) MY165337A (zh)
NZ (1) NZ579035A (zh)
PL (1) PL2113119T3 (zh)
PT (1) PT2113119E (zh)
TW (1) TWI451358B (zh)
WO (1) WO2008099269A2 (zh)
ZA (1) ZA200905624B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI419551B (zh) * 2008-08-22 2013-12-11 固態全景影像擷取裝置
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
US9835564B2 (en) 2012-06-08 2017-12-05 SeeScan, Inc. Multi-camera pipe inspection apparatus, systems and methods
CN102968774B (zh) * 2012-11-05 2015-06-24 常州大学 彩色图案的计算机辅助拼接方法
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US9526443B1 (en) 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US9081436B1 (en) 2013-01-19 2015-07-14 Bertec Corporation Force and/or motion measurement system and a method of testing a subject using the same
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US8704855B1 (en) 2013-01-19 2014-04-22 Bertec Corporation Force measurement system having a displaceable force measurement assembly
US8847989B1 (en) * 2013-01-19 2014-09-30 Bertec Corporation Force and/or motion measurement system and a method for training a subject using the same
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
USD755067S1 (en) 2015-10-20 2016-05-03 Bertec Corporation Visual display device for a force and/or motion measurement system
US10102610B2 (en) 2016-04-05 2018-10-16 Qualcomm Incorporated Dual fisheye images stitching for spherical video
US10275928B2 (en) 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US9961261B2 (en) 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10194097B2 (en) 2017-01-13 2019-01-29 Gopro, Inc. Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
US10489897B2 (en) 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
CN108683897B (zh) * 2018-05-07 2020-05-19 长春理工大学 多投影显示系统畸变的智能校正方法
US10928773B2 (en) 2018-11-01 2021-02-23 International Business Machines Corporation Holographic image replication
WO2022271499A1 (en) * 2021-06-25 2022-12-29 Innopeak Technology, Inc. Methods and systems for depth estimation using fisheye cameras

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040113909A1 (en) * 2002-05-10 2004-06-17 Simon Fenney Interface and method of interfacing between a parametric modelling unit and a polygon based rendering system
TW594453B (en) * 2002-07-26 2004-06-21 Gwo-Jen Jan Method for presenting fisheye-camera images
WO2005065272A2 (en) * 2003-12-30 2005-07-21 Trustees Of Stevens Institute Of Technology Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321748A (en) * 1992-07-02 1994-06-14 General Instrument Corporation, Jerrold Communications Method and apparatus for television signal scrambling using block shuffling
JPH0652633A (ja) 1992-07-28 1994-02-25 Sony Corp ディジタルビデオ信号の記録／再生装置
US5684937A (en) * 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
JPH0730855A (ja) 1993-07-08 1995-01-31 Sony Corp ビデオデータの記録方法
JP3802630B2 (ja) * 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
US6147709A (en) * 1997-04-07 2000-11-14 Interactive Pictures Corporation Method and apparatus for inserting a high resolution image into a low resolution interactive image to produce a realistic immersive experience
JPH11298878A (ja) 1998-04-08 1999-10-29 Nec Corp 画像スクランブル方法およびそれを実施する装置
US6435502B2 (en) * 1998-06-05 2002-08-20 Jose R. Matos Encoded image puzzle/decoder
US6535687B1 (en) 1999-07-23 2003-03-18 Sarnoff Corporation Method and system for deterring electronic video piracy through image rearrangement
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
JP2001275111A (ja) 2000-03-28 2001-10-05 Victor Co Of Japan Ltd 動画像符号化復号化方法及び動画像符号化復号化装置
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
JP2002203254A (ja) * 2000-08-30 2002-07-19 Usc Corp 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JP3878408B2 (ja) * 2000-11-16 2007-02-07 株式会社リコー 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US20020147991A1 (en) * 2001-04-10 2002-10-10 Furlan John L. W. Transmission of panoramic video via existing video infrastructure
US6831643B2 (en) * 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
WO2002086420A1 (en) * 2001-04-19 2002-10-31 Dimensional Photonics, Inc. Calibration apparatus, system and method
JP2003069990A (ja) * 2001-06-13 2003-03-07 Usc Corp 遠隔映像認識システム
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US7139440B2 (en) * 2001-08-25 2006-11-21 Eyesee360, Inc. Method and apparatus for encoding photographic images
US6795090B2 (en) * 2001-11-13 2004-09-21 Eastman Kodak Company Method and system for panoramic image morphing
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP4082194B2 (ja) * 2002-12-03 2008-04-30 セイコーエプソン株式会社 画像処理方法および画像処理装置ならびに画像処理プログラム
JP2004266376A (ja) * 2003-02-25 2004-09-24 Matsushita Electric Ind Co Ltd 映像合成装置
JP4501481B2 (ja) * 2004-03-22 2010-07-14 セイコーエプソン株式会社 マルチプロジェクションシステムのための画像補正方法
JP2006003212A (ja) * 2004-06-17 2006-01-05 Konica Minolta Sensing Inc 位相計測システム
KR100511210B1 (ko) * 2004-12-27 2005-08-30 주식회사지앤지커머스 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법
JP2006260527A (ja) * 2005-02-16 2006-09-28 Toshiba Corp 画像マッチング方法およびこれを用いた画像補間方法
JP4729999B2 (ja) * 2005-06-28 2011-07-20 富士ゼロックス株式会社 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム
JP2007013514A (ja) * 2005-06-30 2007-01-18 Taiji Kajikawa ７２０°全方位矩形画像モニタリングシステム
EP1811458A1 (en) * 2006-01-19 2007-07-25 STMicroelectronics (Research & Development) Limited A method of generating an image with antialiasing
US20080253685A1 (en) * 2007-02-23 2008-10-16 Intellivision Technologies Corporation Image and video stitching and viewing method and system
JP4957676B2 (ja) * 2008-03-19 2012-06-20 セイコーエプソン株式会社 画像データ解析装置、画像データ解析方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040113909A1 (en) * 2002-05-10 2004-06-17 Simon Fenney Interface and method of interfacing between a parametric modelling unit and a polygon based rendering system
TW594453B (en) * 2002-07-26 2004-06-21 Gwo-Jen Jan Method for presenting fisheye-camera images
WO2005065272A2 (en) * 2003-12-30 2005-07-21 Trustees Of Stevens Institute Of Technology Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration

Also Published As

Publication number Publication date
TW200844901A (en) 2008-11-16
JP5172863B2 (ja) 2013-03-27
WO2008099269A3 (en) 2009-06-11
CA2677884A1 (en) 2008-08-21
WO2008099269A2 (en) 2008-08-21
JP2010518535A (ja) 2010-05-27
NZ579035A (en) 2012-09-28
ES2452366T3 (es) 2014-04-01
AU2008215908B2 (en) 2012-07-12
HK1142428A1 (zh) 2010-12-03
PL2113119T3 (pl) 2014-05-30
EP2113119B1 (en) 2013-12-11
MY165337A (en) 2018-03-21
US20100097526A1 (en) 2010-04-22
ZA200905624B (en) 2010-10-27
CN101689292A (zh) 2010-03-31
AU2008215908A1 (en) 2008-08-21
CN101689292B (zh) 2014-01-15
PT2113119E (pt) 2014-03-17
US8395657B2 (en) 2013-03-12
KR20100105351A (ko) 2010-09-29
EP2113119A2 (en) 2009-11-04

Similar Documents

Publication Publication Date Title
TWI451358B (zh) 香蕉編碼解碼器
US11257283B2 (en) Image reconstruction method, system, device and computer-readable storage medium
CN110663245B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
KR102458339B1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
US10694102B2 (en) Method to capture, store, distribute, share, stream and display panoramic image or video
EP2328125B1 (en) Image splicing method and device
CN107169924B (zh) 三维全景图像的建立方法和系统
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
CN104246795B (zh) 用于超广角透镜图像的自适应透视修正的方法和系统
KR102208773B1 (ko) 파노라마 영상 압축 방법 및 장치
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
CN108616731A (zh) 一种360度vr全景图形图像及视频实时生成方法
CN107358577B (zh) 一种立方体全景图的快速拼接方法
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
US11288774B2 (en) Image processing method and apparatus, storage medium, and electronic apparatus
CN114926612A (zh) 空中全景图像处理与沉浸式显示系统
Popovic et al. Design and implementation of real-time multi-sensor vision systems
CN115002442B (zh) 一种图像展示方法、装置、电子设备及存储介质
TWI517666B (zh) 以單一影像擷取裝置產生立體影像之方法及其裝置
JP7278720B2 (ja) 生成装置、生成方法及びプログラム
CN113920011A (zh) 一种多目全景视频拼接方法及系统
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
JPH11220758A (ja) ステレオ画像表示方法及び装置
KR100460081B1 (ko) 동영상 가상현실 이미지 제작 시스템 및 방법
Wu et al. Person Detection Based Adaptive Video Synthesis: A Fusion Framework for Ultra HD Panorama and Green Screen Videos

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees