TW201224996A - Method and system for producing panoramic image - Google Patents

Description

201224996 ,

TW6841PA 六、發明說明： 【發明所屬之技術領域】 本案是有關於一種影像之建立方法及系統，且特別是 有關於一種環場影像之建立方法及系統。 【先前技術】 隨著立體攝影以及立體顯示技術的提升與普及，對於 立體攝影的品質需求也相對的提升。如同平面影像，立體 籲攝影技術也朝著「高解析度」、「大尺寸」、「多使用平台相 容」的目標邁進。但是若要達成以上目標，在設備上有龐 雜的需求，對於拍攝者造成成本與效率上的負擔。 多視角立體影像（Multi-view stereoscopic image) 對拍攝設備的門檻較高，需要多部攝影機同步攝影。游於 高解析度（Super resolution)的立體影像，通常也只能使 用軟體後製’立體品質較差。若要結合製作環景影像 (Panorama image) ’則通常仰賴後製軟體執行多張水平環 鲁拍景》像拼貼技術門捏甚高。 【發明内容】 本案係有關於一種環場影像之建立方法及系統。 根據本案之一實施例，提出一種環場影像之建立方 法。環場影像之建立方法包括以下步驟：提供數張原始影 像’此些原始影像係由一拍攝單元沿數個移動路徑移動的 過程中’連續拍攝所獲得，此些移動路徑係位於同一球表 面。從各個原始影像擷取對應於數個視角之數個像素區 201224996 塊，此些視角之數量大於或等於三。朝士 a 結對應於同-移動路經且對應於同— \ 分別連結成對應於同—移動路徑且對以 單視角環場影像。朝1二連結方向連1㈣視角: 路徑且對應於同一視角之單視角環場影像，二 向解析度單視角環場影像，第-連紝 刀別獲得 -連結方向。交錯排列(=:):Γ上垂直於第 高解析度單視角環場影 ：：不同視角之 影像。 传间解析度多視角環場 根據本案之另一實施例H種 法。環場影像之建立方法包括〜像之建立方 像，此些原始影像係由移2數張原始影 程中’連續_得，移動路徑;位 =!撕對應於數個視角之數個像素區塊此= 數里大於或等於二。連結對應於同一 塊，以連結成對應於同一視角之一 象素°° 排列（interlace)對應於不同視角之單：角二!:广錯 以獲得一多視角環場影像。 衣琢衫像， 根據本案之另-實施例，提出一種環場 去。環場影像之建立方法包括以下 建立方 ，原始影像係由-拍攝單元沿數個移動路徑= =程中，連_取所獲得，此些移動路嫣 面。從各個原始影像擷取對應於一 2球表 朝一第一連結方向連結此些 、 象素區塊。 於同—移動路徑之一單視角環場二= 201224996 ,

TW6841PA 連結對應於不同移動路徑之單視角環場影像，以獲得一高 解析度單視角環場影像，第二連結方向實質上垂直於第一 連結方向。 根據本案之另一實施例，提出一種環場影像之建立系 統。環場影像之建立系統包括一拍攝單元、一多軸腳架、 一像素擷取單元、一第一連結單元、一第二連結單元及一 交錯排列單元。多軸腳架用以帶動拍攝單元沿數個移動路 徑移動。在拍攝單元移動過程中，拍攝單元係連續擷取數 ® 張原始影像。此些移動路徑係位於同一球表面。像素操取 單元用以從各個原始影像擷取對應於數個視角之數個像 素區塊。此些視角之數量大於或等於三。第一連結單元用 以朝一第一連結方向連結對應於同一移動路徑且對應於 同一視角之像素區塊，以分別連結成對應於同一移動路徑 且對應於同一視角之一單視角環場影像。第二連結單元用 以朝一第二連結方向連結對應於不同移動路徑且對應於 同一視角之單視角環場影像，以分別獲得一高解析度單視 角環場影像。第二連結方向實質上垂直於第一連結方向。 交錯排列單元用以交錯排列（i nter 1 ace)對應於不同視 角之高解析度單視角環場影像，以獲得一高解析度多視角 環場影像。 為了對本案之上述及其他方面瞭解，下文特舉實施 例，並配合所附圖式，作詳細說明如下： 【實施方式】 第一實施例 201224996 請參照第1圖，其繪示第一實施例之環場影像之建立 系統100的示意圖。環場影像之建立系統100包括一拍攝 單元110、一多軸腳架120、一像素擷取單元130、一第一 連結單元140、一第二連結單元150、一視差調整單元160 及一交錯排列單元170。拍攝單元110用以拍攝影像，例 如是一單鏡頭之照相機、一單鏡頭之攝影機或一具有照相 /攝影功能之可攜式電子裝置。多軸腳架120用以承載拍 攝單元110，並帶動拍攝單元110以多軸轉動。像素擷取 單元130用以自影像中擷取像素區塊。第一連結單元140 及第二連結單元150用以連結像素區塊或影像以連結成較 大之影像。視差調整單元160用以調整影像之視差量於一 人眼視差範圍内。交錯排列單元170用以交錯排列不同影 像之像素區塊，以組合出一立體影像。像素擷取單元130、 第一連結單元140、第二連結單元150、交錯排列單元160 及視差調整單元170例如是一微處理晶片、一韌體電路或 儲存複數組程式碼之一儲存媒體。 請參照第2圖，其繪示第一實施例之環場影像之建立 方法的流程圖。以下更搭配此流程圖詳細說明本實施例之 環場影像之建立系統100各元件之運作方式。然而，本案 所屬技術領中具有通常知識者均可瞭解本案環場影像之 建立系統100並不侷限應用於第2圖之流程圖，本案環場 影像之建立方法也不侷限應用於第1圖之環場影像之建立 系統10 0。 請參照第3圖，其繪示第1圖之步驟S101之示意圖。 首先，進入步驟S101，以拍攝單元110提供數張原始影像 201224996

TW6841PA 7/’j (在本實施例中，i以1〜 i可以是任何正整數；j以整數為例做說明’然而 麸而i可, 13之正整數為例做說明， 二以疋任何正整數）。請參 像仏係由拍攝單元m徊“ α此二原始衫 中，i以], /σ數個移動路徑及,(在本實施例 拍德张從〜《正整數為例做說明）移動的過程中，連續 拍攝所獲得，此此移動 逑、只 像/.·之h Η 於同—球表面。原始影 Μ以第1個移動!^的第j•張原始影像。

之長fd列拍攝單70 110係承載於多軸腳架120 為轴心在χ-γ平而、豕// 以長桿121之另一端 110沿同—銘=變橫向角度汛’以帶動拍攝單元 同一平^上隸徑^ (例如是i = 1)移動。長桿121在 度仞實皙 、過私中’若長桿121每次改變的橫向角 :拍攝位罢目同時’拍攝單元U〇將會在間隔實質上相同 的拍攝位置拍攝出原始影像/g(例如是i = i，卜卜⑻。 Θ2以ϋ多轴腳架120 '亦可以改變長桿121的縱向角度 再以= 旱121改變到Η，平面。然後多軸腳架120 ^ 知為轴〜在x -Y平面轉動，以帶 、早兀110沿移動路徑A (例如是i = 2)移動。 -1 ^、第3圖為例，拍攝單元110沿著5個移動路徑尺（i 1〜5 ; 1 〜13) # r 拍攝並在每—移動路徑义上拍攝了 13張原始影 J〜13)’所以總共將有5x13 = 65張原始影像心㈠ —f著’請參照第4圖，其緣示視角mewAngle) % ==思圖。在—張原始影像7,，j中同位置的像素區塊係 對應不同的視角％(本實施例之k以卜3之正整數為例 201224996 做說明亦可為大於或等於3之正1 , 然後’進入步驟S103 圖之步_之示意圖。像素類取其緣示第2 影像中，擷取對應於某角;:從各個原始 像素區塊（PiXels) Ρ 例如是k=1)之數個 區塊Ά含數行像素（例如是三行）。 母組像素 然後，像素擷取單元130在各個原始里 取對應於另-視請“例如是k=2)之“：’,掏 如是k=2)。依此類推，像素擷取單元⑽可以對所 始影像々j操取出不同視角％的像素區塊‘（㈣〜3)原 本案之視角^之數量大於或等於三，例如是三。 =5圖為例，每張原始影像&都㈣取-出數組不同 視角“k=l〜3)的像素區塊心“ k=i〜3 例之原始麟Aj(i=1〜5U=1〜13)之數 ^施 65，而視角W3)之數量為3,所以將二 脱3=195組像素區塊‘（i = 1〜5;问〜13會=出 3)，而每一組像素區塊$从係由3行像素所組成。 〜 然後，進入步驟S105。請參照第6圖，其繪示 圖之步驟S105之示意圖。以第一連結單元14〇朝—第一 連結方向D1連結對應於移動路徑(例如是丨二 丄/ Η重十 應於某一視角？^之（例如是k=1)像素區塊化* (例如是 i = l，k=l)，以連結成對應於此移動路徑(例如是i = 1 )且對應於此視角(例如是k= i )之一單視角王^場1影 像（Signa卜view Panoramic Image)肥,·，“ 例如是丄办 k=l)〇 ι—， 201224996

TW6841PA 此移I:::如之是方f朝T-連結方向D1連結對應於 =2)的像素區塊/>。）之另一視角％ (例如是k 應於此移動路徑二二如是(广卜2)’以連結成對 如是k喝之單視角環二;;且對應於此視㈣“例 之早視角％%影像奶“（例如是i = i k=2)。 岸於t孩則再以同樣之方式朝第—連結方向D1連結對 =:路㈣之某一峨的像素區塊‘，以連 嶋路徑㈣應於此順之單視角環 請Γ第6圖為例’對應於同—移動路㈣之原始影像 、見s 一視角％之像素區塊‘將會連結成一張單 寻壤場影像5?/“。本實施例有5個移動路徑^㈤ 且ί、3個視角％ (k=1〜3)’所以將會連結出5x ~~ 5張單視角環場影像^Ί (i = l〜5 ; k=l〜3)。 接著，進入步驟S107。請參照第7圖，其繪示第2 圖之步驟S107之示意圖。以第二連結單元15〇朝一第二 連結方向D2連結對應於不同移動路徑从例如是i = i〜5) $應於某-視角％ (例如是k=1)之單視角環場影像 η ^ (例如是i = l〜5，k=l)’以獲得一高解析度單視角 裒厉〜像（Super-resolution Signal-view Panoramic

Image) 5ΧΡΛ (例如是k=1)。其中，第二連結方向的實 質上垂直於第一連結方向D1。 然後，第二連結單元15〇再繼續朝第二連結方向⑽ 連結對應於不同移動路徑/?,且對應於另一視角厂*之單視 角環場影像汾，以獲得另一高解析度單視角環場影像 201224996 SSPIk 〇 以第7圖為例，本實施例之15張單視角環場影像 （i = l〜5 ; k=l〜3)有3個視角1¾ (k：=1〜3)， 這些單視角環場影像5P/a (i = 1〜5 ; k=1〜3)朝第二 方向D2連結後，將形成3張高解析度單視角環 麟“k==1〜3)。 •年 然後，進入步驟S109。以視差調整單元16〇調整此 些高解析度單視角環場影像(k=1〜3)之視差量於 一人眼視差範圍内。 接著，進入步驟Sill。請參照第8圖，其繪示第2 圖之步驟Sill之示意圖。以交錯排列單元17〇交錯排列 (interlace)對應於不同視角(k=1〜3)之高解析 度單㈣環場影像聊Λ (k=1〜3)，以獲得—高解析度 多視角環場影像（Super-resolution Multi-View Panoramic Image) 。 在此步驟中，由於相鄰之視角的視差實質上等於 人類雙眼之視差。也就是說’這些具有視差之高解析 視角環場影像观/,經過適當地交錯排列後，將可形成具 有立體視覺的高解析度多視角環場影像。 如上所述，沿著-移動路徑尺所拍攝之原始影像/， :以擷取出對應於不同視角％的像素區塊心，所以本實 施例之拍攝單元110可以採用單鏡頭之照相機來建立 立體視覺的影像。並且視角^的數量與鏡頭之數量無 關’只需運算程序做調整即可。 …、 再者，上述步驟係透過第一連結方向D1的連結而 201224996

TW6841PA 能夠連結出環場影像。而透過第二連結方肖D2的連結， 可以在一張影像中加入數倍的晝素，而增加影像的解析 此外’雖然上述實施例係先透過第一連結方向D1進 行連結’再從第二連結方向D2進行連結。然而，本實施 例亦可將此順序顛倒，先透過第二連結方向D2進行連結， 再從第一連結方向D1進行連結亦可。 隹第二實施例 請參照第9及第1〇圖，第9圖繪示第二實施例之環 場影像之建立系統200之示意圖，第10圖繪示第二實施 例之環場影像之建立方法的流程圖。本實施例與第一實施 例不同之處在於：本實施例之環場影像之建立系統2〇〇不 包括第一實施例之第二連結單元15〇，且本實施例之環場 影像之建立方法不包括步驟S107,其餘相同之處不再重複 敛述。 本實施例之步驟S201、S203、S205、S209、S211與 第一實施例之步驟S101、S103、S105、S109、S111類似。 在本實施例之步驟S201、S203、S205、S209、S211中， 拍攝單元11 0僅沿一個移動路徑及移動，並僅針對對應於 一個移動路徑Λ之原始影像來進行處理。在處理過程中， 沒有針對不同的移動路徑Λ進行縱向的連結，所以最後所 獲得的是一張多視角環場影像（Multi-view Panoramic Image) MP/。 201224996 第三實施例

請參照第11及第12圖，第11圖繪示第三實施例之 環場影像之建立系統300之示意圖，第12圖繪示第三實 施例之環場影像之建立方法的流程圖。本實施例與第一實 施例不同之處在於：本實施例之環場影像之建立系統300 不包括第一實施例之視差調整單元160及交錯排列單元 170 ’且本實施例之環場影像之建立方法不包括步驟 及S111 ’其餘相同之處不再重複敘述。 本實施例之步驟S301、S303、S305、S307與第一實 施例之步驟S101、S103、S105、S107類似。在本實施例 之步驟S301、S303、S305、S307中，像素擷取單元U0 僅操取對應於一視角之像素區塊，而沒有操取多個視角之 像素區塊。在處理過程巾，也僅針對—個視角之像素區塊 進饤處理’而沒有視差詞整及交錯排列之步驟，所以最後 =獲侍的疋一張向解析度單視角環場影像 二S〇1Utl〇n Signal-view Panoramic

Image)*SSP/ 〇 ”所述’雖然本案已以實施例揭露如上然其並非 用以限疋本* 〇本案所屬技觸财具有通常知識者，在 ::離：案之精神和範圍内’當可作各種之更動與潤飾。 ^ ’案之保魏圍#視後附之巾請專職圍所界定者 【圖式簡單說明】 第1圖綠示第一實施例之環場影像之建立系統的示 12 201224996 .

TW6841PA 意圖。 第2圖繪示第一實施例之環場影像之建立方法的流 程圖。 第3圖繪示第1圖之步驟S101之示意圖。 第4圖繪示視角之示意圖。 第5圖繪示第2圖之步驟S103之示意圖。 第6圖繪示第2圖之步驟S105之示意圖。 第7圖繪示第2圖之步驟S107之示意圖。 ® 第8圖繪示第2圖之步驟Sill之示意圖。 第9圖繪示第二實施例之環場影像之建立系統之示 意圖。 第10圖繪示第二實施例之環場影像之建立方法的流 程圖。 第11圖繪示第三實施例之環場影像之建立系統之示 意圖。 第12圖繪示第三實施例之環場影像之建立方法的流 ®程圖。 【主要元件符號說明】 100、200 :環場影像之建立系統 110 :拍攝單元 120 :多軸腳架 121 :長桿 130 :像素擷取單元 140 :第一連結單元 13 201224996 150 :第二連結單元 160 :視差調整單元 170 :交錯排列單元 D1 :第一連結方向 D2 :第二連結方向 :原始影像

Mi5/ :多視角環場影像 Ay,* ·像素區塊 穴、尺：移動路徑 SHH、S103、S105、S107、S109、Sm、S2(H、203、 S209、S211、S301、S303、S305、S307 :流程步驟 :高解析度多視角環場影像 SPIi，k :單視苒環場影像 :高解析度單視角環場影像 % :視角 Θ1 :橫向角度 Θ2 :縱向角度 14

Claims (1)

1. 201224996 TW6841FA 七、申請專利範圍： 1. 一種環場影像之建立方法，包括： 提供複數張原始影像，該些原始影像係由一拍攝單元 沿複數個移動路徑移動的過程中，連續拍攝所獲得，該些 移動路徑係位於同一球表面； 從各該原始影像擷取對應於複數個視角之複數個像 素區塊，該些視角之數量大於或等於三； 朝一第一連結方向連結對應於同一該移動路徑且對 • 應於同一該視角之該些像素區塊，以分別連結成對應於同 一該移動路徑且對應於同一該視角之一單視角環場影像； 朝一第二連結方向連結對應於不同該移動路徑且對 應於同一該視角之該些單視角環場影像，以分別獲得一高 解析度單視角環場影像，該第二連結方向實質上垂直於該 第一連結方向；以及 交錯排列（interlace)對應於不同該視角之該些高 解析度單視角環場影像，以獲得一高解析度多視角環場影 ®像。 2. 如申請專利範圍第1項所述之環場影像之建立方 法，其中在交錯排列之該步驟之前，該建立方法更包括： 調整該些高解析度單視角環場影像之視差量於一人 眼視差範圍内。 3. 如申請專利範圍第1項所述之環場影像之建立方 法，其中在提供該些原始影像之該步驟中，沿同一該移動 路徑移動的過程中，相鄰之該些原始影像之拍攝位置的間 隔實質上相同。 15 201224996 ‘ 4.如申請專利範圍第i項所 ，. 法，其尹在類取該些像素區塊=衣W像之建立方 移動路徑且對應於同一兮滿 ^夕驟_ ,對應於同一該 行像素。 視角切麵相塊包含複數 5.如申請專利範圍第〗項 法，其尹在揭取該些像素區塊之該井驟^場影像之建立方 角的視差實質上等於人類雙眼之視相鄰之該些視 6· 一種環場影像之建立方法° 提供複數張原始影像’該些 . 沿-移動路徑移動的過程中^像係由一拍攝單元 徑係位於-球表面； 〜_取所獲得，該移動路 從各該原始影像擷取對應於 素區塊，該些視角之數量大於或等於^個視角之複數個像 連結對應於同-該視角之該些: 應於同職肖之-單㈣環場則^3’以連結成對 =排列（interlac：e)對應於不同視角之該些單視 角衣琢衫像，以獲得一多視角環場影像。 7mt專利範圍第6項所述之環場影像之建立方 其中在交錯排列之該步驟之前，該建立方法更包括： 圍内肩整該些早⑽環場影像之視差量於—人眼視差範 8·如申請專利範圍第6項所述之環場影像之建立方 ^其中在提供該些原始影像之該步驟中，相鄰之該些原 始影像之拍攝位置的間隔實質上相同。 9.如申請專利範圍第6項所述之環場影像之建立方 201224996 , TW6841PA 法，其中在擷取該些像素區塊之該步驟中，對應於同一該 視角之該些像素區塊包含複數行像素。 10. 如申請專利範圍第6項所述之環場影像之建立 方法，其中在擷取該些像素區塊之該步驟中，相鄰之該些 視角的視差實質上等於人類雙眼之視差。 11. 一種環場影像之建立方法，包括： 提供複數張原始影像，該些原始影像係由一拍攝單元 沿複數個移動路徑移動的過程中，連續擷取所獲得，該些 • 移動路徑係位於同一球表面； 從各該原始影像擷取對應於一視角之複數個像素區 塊； 朝一第一連結方向連結該些像素區塊，以分別連結成 對應於同一該移動路徑之一單視角環場影像；以及 朝一第二連結方向連結對應於不同該移動路徑之該 些單視角環場影像，以獲得一高解析度單視角環場影像， 該第二連結方向實質上垂直於該第一連結方向。 12. —種環場影像之建立系統，包括： 一拍攝單元； 一多轴腳架，用以帶動該拍攝單元沿複數個移動路徑 移動，在該拍攝單元移動過程中，該拍攝單元係連續擷取 複數張原始影像，該些移動路徑係位於同一球表面； 一像素擷取單元，用以從各該原始影像擷取對應於複 數個視角之複數個像素區塊，該些視角之數量大於或等於 · 一第一連結單元，用以朝一第一連結方向連結對應於 17 201224996 同一該移動路徑且對應於同一該視角之該些像素區塊，以 分別連結成對應於同一該移動路徑且對應於同一該視角 之一單視角環場影像； 一第二連結單元，用以朝一第二連結方向連結對應於 不同該移動路徑且對應於同一該視角之該些單視角環場 影像，以分別獲得一高解析度單視角環場影像，該第二連 結方向實質上垂直於該第一連結方向；以及 一交錯排列單元，用以交錯排列（interlace)對應 於不同該視角之該些高解析度單視角環場影像，以獲得一 _ 高解析度多視角環場影像。 13.如申請專利範圍第12項所述之環場影像之建立 系統，更包括： 一視差調整單元，用以調整該些高解析度單視角環場 影像之視差量於一人眼視差範圍内。

   18