TW200844901A - Banana codec - Google Patents

Banana codec Download PDF

Info

Publication number
TW200844901A
TW200844901A TW097105275A TW97105275A TW200844901A TW 200844901 A TW200844901 A TW 200844901A TW 097105275 A TW097105275 A TW 097105275A TW 97105275 A TW97105275 A TW 97105275A TW 200844901 A TW200844901 A TW 200844901A
Authority
TW
Taiwan
Prior art keywords
image
images
triangular
edge
hemispherical
Prior art date
Application number
TW097105275A
Other languages
English (en)
Other versions
TWI451358B (zh
Inventor
Stephane Jean-Louis Jacob
Original Assignee
Photint Venture Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Photint Venture Group Inc filed Critical Photint Venture Group Inc
Publication of TW200844901A publication Critical patent/TW200844901A/zh
Application granted granted Critical
Publication of TWI451358B publication Critical patent/TWI451358B/zh

Links

Classifications

    • G06T3/047
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Description

200844901 九、發明說明: 【發明所屬技術領域】 發明的技術領域 本發明係大致有關電腦圖形以及影樣處 、 心狂的技術領 5域,且更確切來說,本發明係有關用以從多個原始今像產 生至少一良好品質影像的技術。 如 C先前技術:j 發明的技術背景 融入式視覺技術提供觀看影像的虛擬化互動經驗,更確 10切來說,它是把一影像插入到另一個影像中以產生寫實的 融入式經驗。透過融入式視覺技術來合併多個影像的^作 可產生-個全景影像,即所涵蓋視野較習知相機鏡頭來得 廣的視野…般用以捕捉圓形半球狀靜止影像的裏置是一 種配備有超廣角(魚眼)鏡頭的數位相機。此種影像含容極 15銳利以及相當多的細緻部分。大致來說,融入式技術牵涉 到互動式照相術,其係依據對電腦處理器以數位方式輪入 利用標準廣角或超廣角(魚眼)鏡頭或鏡子取得的照相影 像,以使-廣角影像反射到—標準鏡頭中。此種數位處理 技術牵涉到移除任何鏡子、廣角、或超廣角(魚眼)鏡頭的 20失真問題,亚且提供-透視校正影像部分以供依據使用者 命令而觀看。 用於融入式視覺系統的超廣角(魚眼)鏡頭為-種可拍 攝極廣角圓形影像的廣角鏡頭。在照相學技術領域中,超 廣角(魚眼)鏡頭為眾人所知的部分是,捕捉影像的獨特失 200844901 真現象。超廣角鏡頭(魚眼)提供影像或視訊的18〇度視圖。 2種視圖多少都有些失真,儘管可利用技藝中已知的技術 來充:地;k正这種失真現象。為了對使用者提供良好的融 入式經驗’目前已經提出了多種融入式視覺系統與方法。 美國專利案號6,947,059揭露一種成像系統,其包含多 2用以進行拼接以及轉換以產生全動態立體等矩形影像的 影像捕捉裝置。所揭露的方法包含下列步驟··取得多個影 像,口併第一與第二影像的部分以產生第一合併等矩形影 像;使第-影像之不同部分的數個部分與第三影像的一部 伤口併以產生第二合併等矩形影像;以及顯示第一與第二 合併等矩形影像以產生一立體影像。 美國專利案號6,147,709揭露一種用以把高解析度影像 插入到低解析度影像中以產生融入式經驗的方法。上述專 利所揭露的方法包括下列步驟:捕捉-低解析度影像;捕 捉同解析度影像;利用影像轉換程序來使該低解析度影 像反k形,放大該影像中的細緻部分;覆蓋該高解析度影 像,使像素值配對;以及以該低解析度影像中的三個不同 對應值來表現該高解析度影像中的至少三個指標點。 美國專利案號6,795,090揭露一種用以從二個原始全景 〜像產生數個中間全景影像的方法與系統,其中各個全景 影像從不同視軸指標點提供一情景的360度視野。首先, 將取得成對的平面影像,其中各對影像對應於從該等原始 全景影像之各別部分取得的原始平面視圖,其中可從各對 平面視圖看見該情景的一相似區域。隨後,將從各對平面 6 200844901 影像產生一中間平面影像,且所得的多個中間平面影像係 圓柱式地連接以形成該中間全景影像。 雖然上述的專利揭露了用以合併或沉浸二或更多個影 像的程序與系統,但其中並沒有任何專利能提供使終端影 5 像能顯示在一小型螢幕上的彈性。這是因為在大部分已知 融入式視覺系統中,拼接二或更多個影像的動作會產生一 個增大的等矩形影像。因此,便需要較大的儲存空間來儲 存所得影像或視訊。再者,終端影像或視訊的品質往往會 低於使用者的期望。因此,便需要一種能在拼接二或更多 10 個影像之後使影像檔案縮小的方法與系統。同樣地,用以 拼接二或更多個影像的該種方法與系統應該要能產生具有 良好品質的所得影像。 【發明内容3 發明的概要說明 15 本發明的目的之一是提供一種用以拼接二或更多個靜 止及/或移動影像以產生具有良好品質之所得影像的有效 方法與系統。 本發明的另一個目的是提供一種用以拼接二或更多個 靜止及/或移動影像以產生像素濃度與原始影像相同之所 20 得影像的方法與系統。 本發明的另一個目的是提供一種用以拼接二或更多個 靜止及/或移動影像以產生具有縮減檔案大小之所得輸出 的方法與系統。 為了達成上述目的,本發明提供一種用以拼接二或更多 7 200844901 個影像的方法,該方法包含下列步驟: -由一影像捕捉構件從至少一指標點以及不同觀看方 向捕捉二或更多個影像,以產生半球狀影像; -把各個半球狀影像轉換為一個對應三角形影像; 5 -使至少一個第一三角形影像沿著至少一個第二三角 形影像的一邊緣定位,其中該第一三角形影像的一邊 緣對應於該第二三角形影像的該邊緣; -使該第一三角形影像之該邊緣上的共同指標點與該 第二三角形影像之該邊緣上的對應指標點合併,以形 10 成一個單一拼接矩形影像。 本發明另提供一種用以拼接二或更多個影像的系統,該 系統包含: -影像捕捉構件,其用以從至少一指標點以及不同觀看 方向捕捉二或更多個半球狀影像;以及 15 -耦合至該影像捕捉構件的影樣處理構件,其用以使二 或更多個半球狀影像轉換為三角形影像,並且使該等 三角形影像合併為一個單一矩形影像。 已經在本發明說明中揭露上述目的以便能清楚地闡明 本發明。然而,不應藉由上述目的及/或優點來限制本發明 20 的範圍。 圖式的簡要說明 本發明的詳細說明係參照下面的圖式來進行。在圖式 中,元件編號中的最左邊數字表示該元件編號首先出現的 8 200844901 圖式編號。在圖式中將使用相同的元件編號來表示相同/相 似的特徵以及部件。 第1圖展不出根據本發明之一種用以拼接二或更多個 影像以產生具有良好品質之所得影像的例示系統。 5 帛2 _以處程圖展示出根據本發明之一種利用香焦拼 接程序來拼接二或更多個影像以產生具有良好品質之所得 影像的例示方法。 第3圖以方塊圖展示出第2圖揭露之香蕉拼接模組ο%) 的例示實行方案。 10 第4圖展示出二個例示半球狀影像,該等半球狀影像的 簡化圖示、以及終端座標。 弟5圖以方塊圖展示出一種用以把各個半球狀影像轉 換為一個三角形影像的例示方法。 第6圖以方塊圖展示出一種用以改變該等三角形影像 15 之定位的例示程序。 第7圖以流程圖展示出一種用以把該等二個三角形影像 拼接為一個單一影像且使其定位的例示程序。 I:實施方式】 毯i圭實施例杜逆赵說明 20 树明揭露-種用以拼接二或更多個影像以產生具有 良好品質之所得影像的方法與系統。該系統與方法並不意 圖文限於任何特定形式或配置、或本文所述的任何特定實 施例或任何特定用途,因為在不偏離本發明精神或範圍的 餘件下,可對本發明實施例的各種不同細節與關係進行修 9 200844901 改,且本發明展示出的裝置或方法僅具有例示性且僅用於 揭不-個可操作實施例,而非展示出體現或操作本發明之 各種不同形式或修改方案的全部。 為了有效蘭接透過超廣角(魚眼)鏡翻捉到的二或 5更多個影像,需要-種能產生具有良好品質之所得影像的 系統與方法。再者’該種系統應該提供佔據大量儲存空間 之一般等矩形影像或視訊的替代方案。於此,本發明= 的方法與系統揭露拼接利用廣角鏡頭(例如超廣角(魚眼)鏡 頭)捕捉的二或更多個影像。在本文中,可由任何類型的^ 10廣角(魚眼)鏡頭來捕捉二或更多個靜止影像或視訊,以產 生半球狀形狀。此後將把各個半球狀影像轉換為_個相等 三角形影像或視訊。 ' 把半球狀影像轉換為三角形影像之後,便進行拼接該等 二個三角形影像的動作。拼接該等二個三角形影像的動作 15可形成一個矩形影像。各個單一像素一開始將呈現出此程 序結束時所得矩形圖形中的一個單一像素,藉此,最後階 段之所得拼接影像的像素濃度將與最初欲拼接影像的像素 濃度相同。因此,本發明揭露的方法與系統可產生具有所 有原始完整無缺細緻部分的超高品質拼接影像。再者,亦 2〇能達成在拼接二或更多個影像之後使影像權案大小縮減的 目的而不需要進行任何壓縮動作,且相較於等矩形影像來 說’可形成無損的轉換動作。 本發明揭露的技術可用於不同的作業環境與系統中。將 參照伴隨圖式在以下段落中討論一種適於實現各種不同實 10 200844901 行方案的例示環境。 例示系統 第1圖展示出-種用以拼接二或更多個影像以產生呈 5有良好品質之所得影像的例示系統100。根據—實施例, 例示系統1GQ包括輕合至—❹個圖形處理單元⑽的一 或多個影像捕捉構件1〇2,該一或多個圖形處理單元⑽ 耗合至一或多個1/0介面106以及_或多個輸出構件 108。影像捕捉構件⑽為配備有_或多個超廣角(备眼) Π)鏡頭或接合ϋ岐域帅機。叫廣肖(魚眼)鏡頭可為 -圓形超廣肖u眼)鏡頭,以魏得每影像至少18〇度 Χ180度的視野。 在替代實施例中,可透聽合H統1GG的-通訊網路 存取影像捕捉構件102。影像捕捉構件1〇2另包括用以在 15透過1/〇介面i陶巴影傳輸到圖形處理單元1〇4之前先數 位化該等影像的構件。替代地,該數位化構件可透過ι/〇 介面106耦合至本發明揭露的系統1〇〇。 I/O ;ι面106提供系統⑽的輪人輸出性能。介面 106包括用以連接輸入裝置、輸出裝置、類比與數位轉換 20器等等的一或多個埠。可把1/〇介面1〇6组配為能透過一 或多個影像捕捉構件102接收經捕捉影像,並且把該經捕 捉影像轉換為相式,以供由圖形處理單元1G4進行進 一步的處理。可透過1/0介面1G6把圖形處理單元104產 生的所得影像傳送到輸出構件108。例如,1/0介面106 11 200844901 可利用所有現存已知的方法,如快閃碟片、USD連線、WIFI 連線,促進把影像遞送到圖形處理單元的動作。 圖形處理單it 104可為-個單一處理實體、或者可為包 含多個運算單元的多個處理實體。圖形處理單元1〇4包括 5耦合至記憶體114的影樣處理引擎112。在替代實施例中, 記憶體114常駐在圖形處理單元1〇4外部而作為一個分別 實體,或者可透過耦合至系統100的一通訊網路來存取記 憶體114。例如,記憶體114可包括依電性記憶體(例如, RAM)以及非依電性記憶體(例如,R〇M、快閃記憶體等)。 1〇記憶體114可儲存所接收到的中間與最終影像以及相關資 訊。記憶體114另包括由影樣處理引擎112在拼接二或更 多個影像之程序中執行的操作指令以及相關資料。 影樣處理引擎112可接收由影像捕捉構件1〇2捕捉而 呈相關格式的影像。必須要拍攝至少二個影像,以便取得 15 一個結合至少二個影像的完整360x180視野。所捕捉的影 像必須為逐行掃描格式,以便成為至少24位元色彩深度, 且需要呈一種可了解的多媒體檔案格式。此檔案可為一個 光柵影像、連續的光栅影像、或為經過最小化壓縮的視訊 檔案,以便在整個拼接程序中維持良好品質。若原始來源 2〇檔案為一視訊且已受到交錯,必須使用技藝中已知的技術 來移除該種交錯狀況。替代地,影樣處理引擎112可處理 從影像捕捉構件1〇2接收到的影像,以產生半球狀影像。 再者,影樣處理引擎112可從各個半球狀影像摘取出多個 資訊。影樣處理引擎112可使用經摘取資訊把該半球狀影 12 200844901 像轉換為相等三角形影像,並且進行後續的拼接盘定位動 作。所揭露的程序能確保所得矩形影像的像素濃度與原始 影像相同,相較於目前技藝巾的等矩形影像來說能確保 5 無損轉換目的。後續地,影樣處理引擎112傳送所^拼接 影像到輸出構件⑽以供顯示。在一較佳實施例中=出 構件1〇8可純合至系統⑽的—顯示器螢幕及/_ ^ 置。在替代實施例中,可透過耦合至系統1〇〇的一通訊網 路來存取輸出構件1〇8。 σ… 可把系、統100實行為一麵立式系統,或可把系統⑽ 10貫行為在-網路中連接的一系統。在初始化時,圖形處理 早凡104可把影像捕捉構件102捕捉的影像、操作指令、 以及其他相關資料載入到記憶體114中。影樣處理引擎山 從各個影像摘取出多個資訊,包括各個半球狀影像的座標 值以及二或更多個影像的對應指標點。影樣處理引擎m 15另使用儲存在記憶體114中的操作指令來把半球狀影像轉 換為-個相等三角形影像。再者,影樣處理引擎ιΐ2使該 等三角形影像中的至少一個旋轉18〇冑,並且沿著一共同 基底與至少-個第二三角形影像合併,以產生―拼接与 像。再者,影樣處理引擎112促進拼接影像的定位校正= 作以產生像素浪度與原始景多像相同的一個矩形影像。將 透過I/O介面106把最終影像傳送到輸出構件1〇8。本發 明揭露的系統可產生具有超高品質的最終影像,因為它^ 立留了相同的像素數量,且因此具有與原始影像相同的細緻 部分。再者,可使輸出檔案的大小縮小22%,而不需要使 13 200844901 影像來說,能產生更 用任何壓職術,相較於標準等矩形 具效率的儲存性能。 5 10 15 以下將說明一種用以拼 良好品質之所得影像的例::接—錢多個影像以產生具有 流程圖及/或簡化圖的方塊集^弟2圖至第7圖以邏輯 軟體、或該等之虹π其代表可由硬體、 該等方的~連串操作。在軟體的脈絡中, 制,反㈣ ⑽把解說程序的順序_為-項限 便實行該程= 壬何任順序來合併任何所述方塊的數量,以 灰、或者—替代程序。此外,在不偏離本發明請 ’ ^目之精神與範圍的條件下,可從該程序刪除個別方塊。 第2圖以流程圖展示出根據本發明之一種利用錢拼 接程序來拼接二或更多個影像以產生具有良好品質之所得 衫像的例示方法。 在一較佳實施例中,將使用二個來源财。該等影像為 -個光柵影像,其代表利用設置為彼此背對背之二台數位 相機上之二個超廣角(魚眼)鏡頭捕捉的二個超廣角(魚眼) 2〇 2像。各個鏡頭具有至少180度視野。該等影像為在任何 給定時間中所捕捉而呈相同環境的二個影像。色彩深度可 為24位元、32位元、或索引色彩。 將利用技藝中已知的方法把該等二個影像,即光柵影像 1(11〇)以及光柵影像2(120),載入到光柵影像讀取器 14 200844901 (130)。隨後將解壓縮該等二個光柵影像,並且緩衝到光拇 影像緩衝器(140)中。光栅影像緩衝器(14〇)可受到系統之 多個元件的存取。輸入光栅資訊係由光拇影像讀取器(13〇) 提供。有關影像選擇的參數則由選擇參數模組(18〇)透過香 5蕉拼接权組提供。輸出資訊為發送到香蕉拼接模組(150)的 光栅影像。光柵影像緩衝器(14〇)亦連接至GUI(圖形使用者 介面)(170)。 GUI(170)為光柵影像緩衝器(14〇)、光栅影像寫入器 (21〇)、選擇參數(18〇)、人機裝置(190)、以及顯示器(200) 10之間的視覺鏈路。它可連接到拼接影像緩衝器Q60)以加速 該程序的進行。GUI係與人機裝置(19〇)進行互動,其中使 用者與該系統進行互動。當GUI透過光柵影像緩衝器(140) 顯示該等二個原始影像(110)與(120)時,終端使用者將針 對用以判定已拼接在一起之各個影像區域的該等影像作出 15 一項選擇。一般選擇的形狀是圓形,其中使用者可判定出 中心點以及射線。可使用不同形狀來做出該選擇。此資訊 係由人機裝置(190)輸入,且由選擇參數(180)提供並且進 行格式化。模組(180)隨後傳送選擇資訊到香蕉拼接模組 (150) ’其蒐集光栅影像緩衝器(140)中所需的光柵資訊, 20 並且處理該資訊以把經處理影像傳遞到拼接影像緩衝器 (160)。以下將參照第4圖來說明香蕉拼接模組(150)的功 能。 拼接影像緩衝器(16 0)蒐集來自香蕉拼接模組(15 0)的 相等三角形影像。在此步驟中,該資訊為一光栅影像。此 15 200844901 資訊隨後由光栅影像寫入器(210)寫入成一種現存格式,例 如BMP、JPG TGA等,且並行地傳送到GUI (170)以供顯 示。可把光栅相等三角形影像(220)處理成多個訊框,並且 在壓縮模組(230)中壓縮成一視訊。本發明揭露的此程序必 5須要針對該等影像的各個訊框來進行。 第3圖以方塊圖展示出第2圖揭露之香蕉拼接模組(15〇) 的例示實行方案。 光栅影像緩衝器(140)遞送二個來源光柵影像(3〇〇)以 及(310)到影像處理器CIR對TRI(320),其具有第2圖之 10模組(180)提供的選擇資訊。影像處理器(320)依據各個來 源光柵影像(300)與(310)的選擇處理各個像素的轉換動 作,如下所述。所得資訊為二個光柵影像(33〇)與(34〇)。 隨後’將透過影像處理器旋轉(350)來處理光栅影像 (340),其中將對所有像素資訊進行一個18〇度的旋轉動 15作,如第7圖所示。隨後將把所得資料(360)載入到影像 MUX(多工器)(370)中,如第7圖的MUX光栅影像(4〇〇)。 所得光柵影像便僅有一個影像。 隨後透過影像處理器像素移動器(41〇)來處理此影像資 料,其中將移動各個像素以產生一光栅影像(420),如第7 20 圖所示。 隨後將由影樣處理裁剪模組(430)裁剪此影像,以產生 將被遞送到拼接影像緩衝器(160)的一個最終矩形裁剪爹 像(440)。此最後步驟便完成了該拼接程序。 第4圖至第7圖展示出本發明方法所揭露的一種例示拼 16 200844901 接程序。 第4圖展示出二個例示半球狀影像,該等半球狀影像的 簡化圖示、以及終端座標。可由影像捕捉構件中的超廣角 (魚眼)鏡頭來捕捉二或更多個影像。圖形元件402展示出 5 由包含超廣角(魚眼)鏡頭之影像捕捉構件捕捉到之情景的 前視圖。圖形元件404表示圖形元件402的簡化影像,其 展示出中心座標以及經捕捉影像的四個終端指標點。相似 地,圖形元件406展示出經捕捉情景的後視圖。圖形元件 408表示圖形元件406的簡化影像,其展示出中心座標以 10 及經捕捉影像的四個終端指標點。在第4圖中: -TA表示上指標點半球體402 -TB表示上指標點半球體406 -LA表示左指標點半球體402 -LB表示左指標點半球體406 15 - RA表示右指標點半球體402 -RB表不右指標點半球體406 -BA表示下指標點半球體402 -BB表示下指標點半球體406 -CA表示中央指標點半球體402 20 - CB表示中央指標點半球體406 第5圖以方塊圖展示出一種用以把各個半球狀影像轉 換為一個三角形影像的例示方法。圖形元件502表示半球 體的周長或圓周,其表示由超廣角(魚眼)鏡頭捕捉到之一 情景的前視圖。圖形元件504表示從該半球體之中心對應 17 200844901 三角形影㈣出的㈣CARA。將把該半球體的—或多個元 件轉譯為對應三角形影像的.元件。三角形的底線5〇6(由 RABALATARA表示)係由圓周線5〇2形成即對應半球體的 TARABALA。該三角形影像的斜邊5〇8與垂線51()則由圖 5形元件504來表示,即該半球體的射線CARA。 相似地,表示由超廣角(魚眼)鏡頭捕捉到之一情景之後 視圖的半球體將被轉換為-個相等三角形。三角形的底線 516(由LBTBRBBBLB表示)係由圓周線512形成即對應半 球體的LBTBRBBBLB。三角形影像的斜邊518與垂線52〇 10則由圖形元件514來表示,即半球體的射線CBLB。因此, 各個半球體的各個像素遵循上述的轉換方式,隨後被配置 於新的三角形上,並且取得該等位置,如第5圖所示。 第6圖以方塊圖展示出一種用以改變該等三角形影像 之定位的例示程序。一或多個三角形沿著一或多個軸旋轉 15 180度,以便進行設置而供與一或多個影像拼接。在第6 圖中’二角形6G2與604代表半球體形成的三角形影像, 其分別表示經捕捉情景的前視圖與後視圖。三角形6〇4進 行一個180度的旋轉動作,如第6圖所示,進而產生三角 形606。將把原始形狀視為利用二種折射鏡功能轉換而成, 20相似於一個I80度旋轉動作。現在,三角形606處於一個 適當定位’以供與三角形602拼接,其表示第7圖所揭露 之經捕捉情景的前視圖。 第7圖以流程圖展示出一種用以把該等二個三角形影 像拼接為一個單一影像且使其定位的例示程序。將摘取原 18 200844901 始〜像的多個元件並且進行儲存以供進一步處理。再者, 亦將識別出二或更多個影像的共同元件。為了使三角形影 像702與—個翻轉三角形影像704拼接,將識別出代表共 同兀件之二角形的對應指標點。三角形702與704的對應 心 ^點係、由第 7 圖中的 RA&LB、BA&BB、LA&RB、TA&TB 以及ra&lb來表示。後續地,將使三角形7〇2與7〇4的對 應指標點沿著該等二個三角形702與704料邊而合併或 者組合,以產生拼接影像706。 10 15 π最後將對邊緣RA LB與CB線進行一項垂直轉譯以取 得一個等矩形影像。在所得的等矩形影像巾,各個單一像 素一開始將呈現出該程序結束時所得矩形圖形中的一個單 一像素’藉此最後階段之所㈣接影像的像素濃度將斑最 二接影像的像素濃度相同。再者,可使儲存終端影像 大小的儲存空間降低至少22%。因此,相較於—種桿準等 ===揭露的方法與系統能從二或更多個影像 產生/、有起鬲品質的拼接影像。 20 以上㈣且展㈣實_僅針對·目的而提出, 驗她概询期此受限。熟知技藝者應該了解的 1’,離由以下中請專職圍界定之本發明精神與範 圍的條件下,可對該等元件以及其組 同的變化方案 態與配置進行各種不 知㈣者賴了解的是,本發日林㈣婦示出的特 疋貫施例。因此,在不犧牲本發明主要優點的條件下 進行屬於π”相制之精·範__化方案。 19 200844901 【圖式簡單說明】 第1圖展示出根據本發明之-種用以拼接二或更多個 影像以產生具有良好品質之所得影像的例示系統。 第2圖以流程圖展示出根據本發明之-種利用香萑拼 5接程序來拼接二或更多個影像以產生具有良好品質之所得 影像的例示方法。 第3圖以方塊圖展示出第2圖揭露之香蒸拼接模組(15〇) 的例7F實行方案。 第4圖展示出二個例示半球狀影像,該等半球狀影像的 10 簡化圖示、以及終端座標。 第5圖以方塊圖展示出一種用以把各個半球狀影像轉 換為一個三角形影像的例示方法。 第6圖以方塊圖展示出一種用以改變該等三角形影像 之定位的例示程序。 【主要元件符號說明】 第7圖以流程圖展示出一種用以把該等二個三角形影像 拼接為一個單一影像且使其定位的例示程序。 100 系統 114 記憶體 102 影像捕捉構件 120 光栅影像2、原始影像 104 圖形處理單元 130 ^栅影像讀取器 106 I/O介面 140 光柵影像緩衝器 108 輸出構件 150 香蕉拼接模組 110 光栅影像1、原始影像 160 拼接影像緩衝器 112 影樣處理引擎 170 GUI(圖形使用者介面) 20 200844901 180 選擇參數模組 408 圖形元件 190 人機裝置 410 影像處理器像素移動器 200 顯示器 420 移動光柵影像 210 光栅影像寫入器 430 影樣處理裁剪模組 220 光柵相等三角形影像 440 裁剪影像 230 壓縮模組 502 圓周線 300 來源光栅影像、來源資 504 圖形元件(射線CARA) 料ACIR形狀 506 底線 310 來源光柵影像、來源資 508 斜邊 料B CIR形狀 510 垂線 320 影像處理器CIR對TRI 512 圓周線 330 光柵影像、修改資料A 514 圖形元件(射線CBLB) TRI形狀 516 底線 340 光柵影像、修改資料B 518 斜邊 TRI形狀 520 垂線 350 影像處理器旋轉 602 三角形 360 修改資料B(已旋轉) 604 三角形 370 影像MUX(多工器) 606 三角形 400 MUX光栅影像 702 三角形 402 圖形元件 704 三角形 404 圖形元件 706 拼接影像 406 圖形元件 21

Claims (1)

  1. 200844901 十、申請專利範圍: ι_ 一種用以拼接二或更多個影像的方法,其包含下列步 驟: 由一影像捕捉構件從至少一指標點以及不同觀看方向捕 5 捉二或更多個影像,以產生半球狀影像; 將各個半球狀影像轉換為一個對應三角形影像; 使至少一個第一三角形影像沿著至少一個第二三角形影 像的一邊緣定位,其中該第一三角形影像的一邊緣對應 於該第二三角形影像的該邊緣; 10 使該第一三角形影像之該邊緣上的共同指標點與該第二 三角形影像之該邊緣上的對應指標點合併,以形成一個 單一拼接影像。 2. 如申請專利範圍第1項之方法,其中該轉換步驟包含下 列步驟: 15 以一對應圓形來表現該等半球狀影像中的各個影像; 以該圓形的圓周來表現該三角形的底線;以及 以從該圓形之中心發出而到達該圓形之邊緣的一射線來 表現該三角形的垂線與斜邊。 3. 如申請專利範圍第1項之方法,其中該定位步驟包含使 20 至少一第一三角形影像旋轉達180度的步驟。 4. 如申請專利範圍第1項之方法,其中使該第一三角形影 像之該邊緣上的指標點與該第二三角形影像之該邊緣上 的該對應指標點合併的步驟包含下列步驟: 判定對應於該第二三角形影像之該邊緣之該第一三角形 22 200844901 影像之該邊緣上的共同指標點; 使瀛弟一角形景^像的該邊緣沿著該等共同指標點與該 第二三角形影像的該邊緣合併,以形成一個單一拼接影 像;以及 / 5 轉#汶單景》像的一或多個側邊,以形成一個矩形拼接 影像。 5·如申請專利範圍第1項之方法,其中简接影像為像素 濃度與該原始半球狀影像相同的一矩形影像。 6_ —種用以拼接二或更多個影像的系統,其包含·· 10 影像捕捉構件,其用以從至少一指標點以及不同觀看方 向捕捉二或更多個半球狀影像;以及 耦合至該影像捕捉構件的影樣處理構件,其用以使二或 更多個半球狀影像轉換為三角形影像,並且使該等三角 形影像合併為一個單一拼接影像。 15 7.如申請專利範圍第6項之系統,其中該影像捕捉構件包 括至少一廣角鏡頭。 8·如申請專利範圍第6項之系統,其中該影像捕捉構件捕 捉靜止以及移動影像。 9·:中請專利範圍第6項之系統,其中該拼接影像為像素 • /辰度與该半球狀影像相同的一矩形影像。 讥如申請專利範圍第6項之系統,其中該系統包含: 儲存構件,其用以儲存經捕捉影像、中間與拼接影像、 以及相關影樣處理資訊;以及 輸出構件,其用以顯示經捕捉的中間與拼接影像。 23 200844901 11_如申請專利範圍第6或10項之系統,其中該系統係通 訊式地耦合至一通訊網路。 12_ —種用以拼接二或更多個影像的電腦程式產品,該電腦 程式產品包含組配成能進行申請專利範圍第1至5項中任 5 一項所請求之該方法的一或多個電腦可讀媒體。 24
TW097105275A 2007-02-14 2008-02-14 香蕉編碼解碼器 TWI451358B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IN306DE2007 2007-02-14

Publications (2)

Publication Number Publication Date
TW200844901A true TW200844901A (en) 2008-11-16
TWI451358B TWI451358B (zh) 2014-09-01

Family

ID=39690589

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097105275A TWI451358B (zh) 2007-02-14 2008-02-14 香蕉編碼解碼器

Country Status (16)

Country Link
US (1) US8395657B2 (zh)
EP (1) EP2113119B1 (zh)
JP (1) JP5172863B2 (zh)
KR (1) KR20100105351A (zh)
CN (1) CN101689292B (zh)
AU (1) AU2008215908B2 (zh)
CA (1) CA2677884A1 (zh)
ES (1) ES2452366T3 (zh)
HK (1) HK1142428A1 (zh)
MY (1) MY165337A (zh)
NZ (1) NZ579035A (zh)
PL (1) PL2113119T3 (zh)
PT (1) PT2113119E (zh)
TW (1) TWI451358B (zh)
WO (1) WO2008099269A2 (zh)
ZA (1) ZA200905624B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI419551B (zh) * 2008-08-22 2013-12-11 固態全景影像擷取裝置
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
US9835564B2 (en) 2012-06-08 2017-12-05 SeeScan, Inc. Multi-camera pipe inspection apparatus, systems and methods
CN102968774B (zh) * 2012-11-05 2015-06-24 常州大学 彩色图案的计算机辅助拼接方法
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US8847989B1 (en) * 2013-01-19 2014-09-30 Bertec Corporation Force and/or motion measurement system and a method for training a subject using the same
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US9081436B1 (en) 2013-01-19 2015-07-14 Bertec Corporation Force and/or motion measurement system and a method of testing a subject using the same
US9526443B1 (en) 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US8704855B1 (en) 2013-01-19 2014-04-22 Bertec Corporation Force measurement system having a displaceable force measurement assembly
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
USD755067S1 (en) 2015-10-20 2016-05-03 Bertec Corporation Visual display device for a force and/or motion measurement system
US10102610B2 (en) 2016-04-05 2018-10-16 Qualcomm Incorporated Dual fisheye images stitching for spherical video
US10275928B2 (en) 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US9961261B2 (en) 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10194097B2 (en) 2017-01-13 2019-01-29 Gopro, Inc. Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
US10489897B2 (en) 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
CN108683897B (zh) * 2018-05-07 2020-05-19 长春理工大学 多投影显示系统畸变的智能校正方法
US10928773B2 (en) 2018-11-01 2021-02-23 International Business Machines Corporation Holographic image replication
WO2022271499A1 (en) * 2021-06-25 2022-12-29 Innopeak Technology, Inc. Methods and systems for depth estimation using fisheye cameras

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321748A (en) 1992-07-02 1994-06-14 General Instrument Corporation, Jerrold Communications Method and apparatus for television signal scrambling using block shuffling
JPH0652633A (ja) 1992-07-28 1994-02-25 Sony Corp ディジタルビデオ信号の記録/再生装置
US5684937A (en) * 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
JPH0730855A (ja) 1993-07-08 1995-01-31 Sony Corp ビデオデータの記録方法
JP3802630B2 (ja) * 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
US6147709A (en) * 1997-04-07 2000-11-14 Interactive Pictures Corporation Method and apparatus for inserting a high resolution image into a low resolution interactive image to produce a realistic immersive experience
JPH11298878A (ja) 1998-04-08 1999-10-29 Nec Corp 画像スクランブル方法およびそれを実施する装置
US6435502B2 (en) * 1998-06-05 2002-08-20 Jose R. Matos Encoded image puzzle/decoder
US6535687B1 (en) 1999-07-23 2003-03-18 Sarnoff Corporation Method and system for deterring electronic video piracy through image rearrangement
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
JP2001275111A (ja) 2000-03-28 2001-10-05 Victor Co Of Japan Ltd 動画像符号化復号化方法及び動画像符号化復号化装置
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
JP2002203254A (ja) * 2000-08-30 2002-07-19 Usc Corp 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JP3878408B2 (ja) * 2000-11-16 2007-02-07 株式会社リコー 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US20020147991A1 (en) * 2001-04-10 2002-10-10 Furlan John L. W. Transmission of panoramic video via existing video infrastructure
US6831643B2 (en) * 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
US20030038933A1 (en) * 2001-04-19 2003-02-27 Dimensional Photonics Inc. Calibration apparatus, system and method
JP2003069990A (ja) * 2001-06-13 2003-03-07 Usc Corp 遠隔映像認識システム
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
AU2002324771A1 (en) * 2001-08-25 2003-03-10 Eyesee360, Inc. Method and apparatus for encoding photogrraphic images
US6795090B2 (en) 2001-11-13 2004-09-21 Eastman Kodak Company Method and system for panoramic image morphing
GB2415117B (en) * 2002-05-10 2006-04-12 Imagination Tech Ltd An interface and method of interfacing between a parametric modelling unit and a polygon based rendering system
TW594453B (en) * 2002-07-26 2004-06-21 Gwo-Jen Jan Method for presenting fisheye-camera images
JP4082194B2 (ja) * 2002-12-03 2008-04-30 セイコーエプソン株式会社 画像処理方法および画像処理装置ならびに画像処理プログラム
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP2004266376A (ja) * 2003-02-25 2004-09-24 Matsushita Electric Ind Co Ltd 映像合成装置
WO2005065272A2 (en) * 2003-12-30 2005-07-21 Trustees Of Stevens Institute Of Technology Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration
JP4501481B2 (ja) * 2004-03-22 2010-07-14 セイコーエプソン株式会社 マルチプロジェクションシステムのための画像補正方法
JP2006003212A (ja) * 2004-06-17 2006-01-05 Konica Minolta Sensing Inc 位相計測システム
KR100511210B1 (ko) * 2004-12-27 2005-08-30 주식회사지앤지커머스 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법
JP2006260527A (ja) * 2005-02-16 2006-09-28 Toshiba Corp 画像マッチング方法およびこれを用いた画像補間方法
JP4729999B2 (ja) * 2005-06-28 2011-07-20 富士ゼロックス株式会社 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム
JP2007013514A (ja) * 2005-06-30 2007-01-18 Taiji Kajikawa 720°全方位矩形画像モニタリングシステム
EP1811458A1 (en) * 2006-01-19 2007-07-25 STMicroelectronics (Research & Development) Limited A method of generating an image with antialiasing
US20080253685A1 (en) * 2007-02-23 2008-10-16 Intellivision Technologies Corporation Image and video stitching and viewing method and system
JP4957676B2 (ja) * 2008-03-19 2012-06-20 セイコーエプソン株式会社 画像データ解析装置、画像データ解析方法、およびプログラム

Also Published As

Publication number Publication date
US8395657B2 (en) 2013-03-12
US20100097526A1 (en) 2010-04-22
CN101689292B (zh) 2014-01-15
AU2008215908A1 (en) 2008-08-21
TWI451358B (zh) 2014-09-01
NZ579035A (en) 2012-09-28
CN101689292A (zh) 2010-03-31
CA2677884A1 (en) 2008-08-21
JP5172863B2 (ja) 2013-03-27
WO2008099269A2 (en) 2008-08-21
ES2452366T3 (es) 2014-04-01
AU2008215908B2 (en) 2012-07-12
EP2113119A2 (en) 2009-11-04
EP2113119B1 (en) 2013-12-11
KR20100105351A (ko) 2010-09-29
HK1142428A1 (zh) 2010-12-03
PT2113119E (pt) 2014-03-17
JP2010518535A (ja) 2010-05-27
ZA200905624B (en) 2010-10-27
PL2113119T3 (pl) 2014-05-30
WO2008099269A3 (en) 2009-06-11
MY165337A (en) 2018-03-21

Similar Documents

Publication Publication Date Title
TW200844901A (en) Banana codec
US11257283B2 (en) Image reconstruction method, system, device and computer-readable storage medium
CN107079141B (zh) 用于三维视频的图像拼接
KR102458339B1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
KR102208773B1 (ko) 파노라마 영상 압축 방법 및 장치
JP2019079552A (ja) イメージ形成における及びイメージ形成に関する改良
CN108616731A (zh) 一种360度vr全景图形图像及视频实时生成方法
WO2022002181A1 (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
JPH11259672A (ja) 3次元仮想空間表示装置
CN114730483A (zh) 在消息传送系统中生成3d数据
CN111669564B (zh) 图像重建方法、系统、设备及计算机可读存储介质
CN107862718B (zh) 4d全息视频捕捉方法
CN107430498B (zh) 扩展照片的视场
WO2017128887A1 (zh) 全景图像的校正3d显示方法和系统及装置
CN106780759A (zh) 基于图片构建场景立体全景图的方法、装置及vr系统
CN106851244A (zh) 基于网络视频直播平台观看3d全景视频的方法及系统
JP2021034885A (ja) 画像生成装置、画像表示装置および画像処理方法
JP2000076488A (ja) 3次元仮想空間表示装置及びテクスチャオブジェクト設定情報作成装置
WO2022001865A1 (zh) 深度图及视频处理、重建方法、装置、设备及存储介质
JP2004178036A (ja) 遠隔者の映像を伴う仮想空間の提示装置
JP2003111100A (ja) 画像合成方法および装置
Morvan et al. Handling occluders in transitions from panoramic images: A perceptual study
JP7360366B2 (ja) 仮想視点映像レンダリング装置、方法およびプログラム
Kim Lim et al. A low-cost method for generating panoramic views for a mobile virtual heritage application
KR100460081B1 (ko) 동영상 가상현실 이미지 제작 시스템 및 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees