TW401687B - Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera - Google Patents

Description

五、發明說明（l) 發明 ⑴發明簌圊 本發明一般而言係關於合 關於使用移動感應器來決定 移動感應器的資料會與攝影 組成較大的合成影像。 (2)相關拮毯 現階段的照相和影像處理 部影像。典型上’當意欲要 角透鏡。廣角透鏡具有該等 失真的缺點。該等廣角透鏡 記錄在每平方公釐軟片，而 問題的一方法係使用多重攝 影像。該等多重影像隨後會 為了要在廣角透鏡的視野 影像系統係利用兩或多個攝 間的關係是固定的。因此， 等兩影像有關的資訊會已知 關係。使用兩攝影機的問題 影機昂貴。兩攝影機典型上 和兩組的軟片。 儘管產生一連串要再結合 鏡系統會移動記錄連續的影 在記錄的影像之間造成過度 背景 成•影像之產生。明確而言則係 攝景》機的移動和方向。來自該 機所拍攝的影像同時結合，以 & .统主要係設計使用在重建局 全景相片的時候，便要使用廣 透·鏔;典型上會在影像邊緣產生 #第二缺點是更多拍攝物體會 造成不詳細的記錄影像。解決 影機或電子感應器來記錄多重 再結合，以產生合成影像。 囷場外記錄景物，傳統的全景 影機。理想上，在兩攝影機之 當兩影像再結合的時候，與該 ’因為在兩攝影機之間的固定 是兩攝影機系統會較單一的攝 需要兩透鏡、兩攝影機本身、 影像的第三先前技藝方法，透 像。然而，如此的移動時常會 的重疊。該過度的重疊係表示

40J687 五、發明說明（2) 消耗大量記憶體的過度資料。過度的重疊也需要額外的影 像記錄。這些額外的影像必須也要儲存及處理。 嘗試減少重疊會造成記錄資訊錯誤。記錄充份資訊錯誤 會在影像之間產生縫隙，而使它不容易重建合成影像°因 此，意欲要設計的系統是要能很快和容易地使用組合成單 一合成影像的最適宜重疊區域來產生多重影像。如此的系 統將會在下列的應用中敘述。 發明概述 所要敘述的是用以產生合成影像的系統。該系統係包括 構成在第一方向上記錄第一影像及在第二方向上記錄第二 影像的影像裝置。感應器係偵測影像裝置的移動。所配置 的處理器係利用使用感應器的輸出而藉著將該等第一影像 和第二影像的共同合成而產生全景影像。 圖式之簡單說明 圖1A-1B係敘述用以產生合成影像之影像裝置的一具體 實施例。 圖2係敘述利用圖1的影像裝置而產生兩影像處理的流程 囷。 圖3 A - 3 C係敛述用以產生圍繞影像的本發明之第二具體 貫施例。 圖4係敘述形成單一合成影像之組合兩影像處理的流程 圖。 圖5係敘述用以控制影像裝置的移動而形成最佳化重疊 區域之方法的流程圖。

^01687 五、發明說明（3) 發明之詳細說明 在下列的敘述中，將會敘述使用單— 一 ΐίί 和全景影像的合成景u。全 涵觀超過廣角透鏡視 的，繞影像，其典型上是整個使用者周圍的36〇。弧度。 相卜Ϊ T實施例中’攝影機係包括-組移動感應器，其 矽結構("mems")感應器，可偵測攝影機的線性 ϊίΐΐ動，而藉此可計算攝影機的置換，以決定 攝影機所要放置的位置。或者，全球定位（"Gps")系统可 用來Λ定位置。也可使用的另一移動感應器類型是振動 MEM感應器或商用雷射迴旋儀。利用包括攝影機之定向資 訊和攝影機所拍攝的至少兩影像的位置資訊，處理器能重 建所拍攝物體的合成物或全景影像。 在所連同的敘述中，所提供的某些細節有助於對本發明 =解。例如，規格會利用諸如微結構加速器的特殊mems 感應器類型而針對本發明的敘述。然而，能確定的是可使 2其它的位置感應器或移動偵測器。特別是，Gps系統和 f它的MEMS類型也可使用。所使用的實際感應器係決定在 器ί成本’是否感應器能提供充份的精確資料、感應 二、功率消耗、和感應器的大小。因此，該等所包括的細 =提供有助於對本發明的了解，而不會造成對本發明的 圍限制。 用以產生全景影像的攝影機是在圖丨人和〗^敘述。在圖1Α ΪΗ 第6頁 和1B ’攝影機104是用來產生所拍攝物體108的合成影像。 $拍攝的物體是典型的橫跨廣域的圖場或影像。當拍攝第 景/像的時候’該攝影機是在開始的位置1 1 2。在拍攝第 影像之後’該攝影機會移至第二位置1 1 6。該移動係包 括括箭號120所表示的侧面轉換，並且包括箭號124所敘述 $旋轉運動。在一具體實施例中，在攝影機中的移動感應 器1 28會偵測攝影機的側面轉換和旋轉。為了要偵測侧面 和迴轉運動’理餉上係使用兩MEMS感應器，一MEMS感應器 係僧測侧面的加速1 20，而第二MEMS感應器係偵測旋轉。 在一具體實施例中，避免側面的移動係允許使用單一MEMS 感應器。

在較佳的具體實施例中，MEMS感應器128是貫性的感應 器。如此的感應器係基於由Howe所發展的波峰驅動促動器 技術’而且是在1989年2月於美國猶他州鹽湖城的IEEE M i c r 〇 e 1 e c ΐ r 〇 m e c h a n i c a 1 S y s t e m s W 〇 r k s h ο p 的第 5 3 - 5 9 頁’由 W.C. Tang、T.C. Nguyen、和R.T. Howe 所發表的 名稱"Laterally Driven Polysilicate Resident Micro structures"中敘述。適當的加速器範例是類比裝置的 50N1G加速器。類比裝置也產生與微機器感應器合併的整 合BICMOS裝置，而微機器感應器係用以決定裝置旋轉。這 些感應器是用於進階的汽車煞車系統。這些感應器是由通 用汽車公司商品化，而且由位在密西根州4 8 1 0 9，Ann Arbor，密西根州大學電機系，整合的感應器和電路中心

的 C.H. Mastrangelo 所發表的文章"Overview Of MEMS

五、發明說明（5)

Activities In The u‘S."中敘述。來自Mastrangei〇 的 文章也敘述移動感應器的另_具體實施例’其包括可用來 決定攝影機移動的光學促動器。藉由整合攝影機的加速， 速度便能發展。速度的第二整合會產生攝影機的置換。當 所拍攝的第二影像與攝影機104的第一位置112和方向有關 的時候，此置換資訊可用來決定攝影機〗〇4的第二位 116 〇 包括第一位置112和第二位置116的攝影機相關方向和 位置可記錄在攝影機中的記憶體裝置132或資料可除存在 耦合至攝影機外部記憶體的另一具體實施例。某些移動感 應器，諸如測量加速的感應器不能產生位置資料。在這些 具體實施例中，敘述攝影機移動的資_，例如加速資料， 可吕己錄在記憶體。猶後’處理器可使用該 該相對的移動或位置和方向資料會結：來= 相Λ位置所記錄的每個影像之相互關係，例如第-位置11 2或第二位置丨丨6。 示 所=的每個影像可記錄在照相 。：使用電子感應咖。在-具體實施例中該等；而 互補金屬氧化半導體(⑽s)感應器。在另Λ 或光電二極體以搞：裝置矩陣("CCD") 片上，：影Ϊ = Ϊ，。如果影像是記錄在照相的軟 了糟由使用將化學或光資料轉換成電子資料的掃描器 i

1H 第8頁 1 丨 ^11觀一 五、發明說明（6) 它的方法而完成。如此的掃描器可從數個供應商獲得，包 括位在美國加州Palo Alt0的惠普（Hewlett Packard)& 司。該數位影像是儲存在記憶體裝置1 3 6。 為了要從一所拍攝的兩或多個影像建立單一 :，處理單元140便要取回影像、相對的位置、和方景:資 二而新將它們結合成單一的全景影像。該處理單元 ^處能理在^圖處理11介面卡實現H具體實Λ中 理ί能。ί η:程式的一般微處理器，以處理繪圖處 ΐ ^ _ —生一合成影像之處理兩影像的各種不同方法是 敛述。 圖圖2在係步敘丄用4來的攝影機建立全景影像的步驟流程 :攝ΐίΠνΛ攝第一影像之前，使用者要重新設 上會清ί用以ίL ί影機位置指示器的重新設定理想 連續記錄的第一ί輸出的記憶體⑶，以致於 影像。在大約路座笛一象a考〜像框上錄所拍攝物體的 相對位置和θ 1δ己錄的相同時間上，攝影機的 CCD陣列會產生在疋圖3 =記憶體132。在圖1的攝影機中， 後、，產二的 動裝置會移動攝影機。具體=移二 124。人或馬達驅 腳架附近旋轉，將側面的移動例中，攝影機會在三 J秒動减到最少，並允許不測量侧

I x:薄8步择jr势4 S = o ^ S M S ^ I 齊斗& I S许S fr海雜，貧^$ Intt ^ ^ 却画S…象>U 许雜备玫客泎嗛K)i 通$$齊0迪择柯»ΙΜΜ〇ί[> 舜教画；玫玫一° Μ I Μ I森森 革洳s ， 0 0产S Η雜砵办： 1；°^ it I I. $ I ^ 激：咖a & S » ^ 麻跳 ^ CO w

3S :S 岭 o; j + 〇 V/ ^ ^ > Λ m . 〇r 4i ^ n( ^ g ^ 4 I > ^ fS 3s Q? 00 4 Λ

Qr % I ο 私m > …3"〉 π勵：舜 房I lU雄;農 s跳丨彦辦# s 盈硇SjS Μ Μ, Λ, CO W ^ 4 H ^ ^ ^ to ^ ft t .

\J ij® ® 4 ^ ^ * 刚i ^ JU 4 S度麥$截1<私聲赛nui Μ Μ Hi Μ Μ !' ^ + ：M)-

Et

h« *斗碎辨n # 效 α 1 。 《r 、 u ^ t a^ i ^ u 〇 t . $, r w 奸靡g雜 Λ, # ^ u AL ^ f v v， P _ # ί 雜 y ^ ^ 1¾ I > 泰0 I

Qlll> 孙 森砵 I雜禽 H l· u , ：M U ^ X Ή ^ « m Qfr Ur 〇· ia S雜 II 玫今 齊。 S Si 〇 金 聿捧 4 Di 1 i 命S 鲕舞 p i: σ - a噼捣 命雜犇 1旖卜 卡He势 斧S振 βϋΐίίδ? 五、發明說明（9) 先設定的角位置上，影像會記錄而允許處理器（在圖 未顯示出）再結合該等所記錄的影像，以產生圓柱的影 入立所要組合的該等區段係類似在圖3Β中的圓柱352之組 二j 135〇。所預先設定的角位置係考慮攝影機系統300的 範圍及在毗連影像之間所意欲的重疊區域。當攝影機 =、、先3 0 〇已到達預先設定的位置而且指示影像記錄的時 、該移動感應器或馬達編妈器便能用來決定。 、攝影機系統300也能用來記錄半球面格式。以半球面格 式記錄圍繞影像的一方法係利用連續記錄如圖3C所示的數 =圍繞影像3 6 0、3 6 2、3 6 4、3 6 6。在記錄以所提供的傾斜 影像之後，該鏡子傾斜促動器316會變成毗連預先設定的 =斜位置，所以攝影機系統3 〇 〇會記錄攝影機系統3 〇 〇每個 旋轉的圍繞影像。該預先設定的傾斜位置會考慮在y方向 上的攝影機系統300的視野範圍及在毗連"圍繞影像"之 間所意欲的重疊區域。當攝影機系統3 〇〇已到達預先設定 的傾斜位置的時候’該移動感應器或傾斜編碼器3 2 〇便會 決定。 圖4係敘述由處理器或處理裝置丨4 〇所採取步驟的流程 圖’以使用相對的位置和方向資料重建來自兩或多個影像 的合成影像。在步驟404 ’該處理器係接收來自攝影機的 攝影機位置、方向資訊、和相對的影像資料。該處理器然 後會在步驟408中遵取第—和第二影像的相對點。相對點 是在不同影像中的點或符合所拍攝物體中的遠近相同點。

第12頁

五、發明說明（10) 係相對於所拍攝物 素，而第二影像係相對於所拍：2:影像的第二點或圖 影像中的點及在第_ &你=拍攝物體上的相同點。在第一 如’人的鼻尖是所二對的點。例 影像中的相對點。在、’其具有在第一和第二 軟體是用來決定相，體實施例中，圖案辨識 包括選取在第。決定相對點的第二簡單方法係 選裝置而在第一點上選：：之使用者，利用滑鼠或其它點 中，三個相對的點二區域上：具^ 兩影像所要組合的重複曰期c疋 取的相# 甘 —， ^ ^ 孩等所選 咏 i 、X、y座標會記錄在記憶體裝置所儲存的記 錄。該記錄典也丨卜县-电# βΒ , 丨吨什&7 „匕 錄X和y座標一又工間的記錄’因為每個點必須記 之 在步驟41 6，處理器係確認能用來處理兩影像的操作， 以致於在兩影像中的相對點能夠吻合。特別是，步驟416 係包括在兩至少其中一影像上所要執行的識別旋轉、轉 換、和依比例決定的運算。為了要決定符合相對點的操 ，，來自移動感應器的資料可使用。如果該等移動感應器 是正確而足夠敏感’相對點的確認便不需要，因為與固定 所拍攝物體有關的攝影機移動會以算術計算，以決定影像 的排列。典型上，該電腦會執行包括旋轉、轉換、和^至 少其中一影像依比例處理的操作，以達成在該等兩影像 間正確排列的重疊區域。 第13頁 401687

五、發明說明（11) 當以電子裝置儲存的時候’在兩影像之間的重疊區域會 典型需有兩倍的資料，以產生重疊區域的影像。為了要減 少多f的資料，在一資料影像中的無關資料便可移除。在 组合"貝料的另一方法中’來自重疊區域之兩影像的資料寫 入或平均會發生在兩資料之間，以產生表示重疊區域的單 資料組。疋否要平均或寫入資料或要從一影像刪除資料 的決定係依處理器的計算能力和意欲的轉換精確度而定。 、斤S加的精確度需要增加處理能力，而此處理能力係允許 平均或寫入在重疊區域的資料竄改。 在步驟424 ’定義全景影像的參數會重新計算。特別 是，如果要再結合的影像是三度空間影像，在3_D點組中 的結構表面重新計算、顏色表面、和三角形頂點便會執 行’以產生包括重新定義建構塊或元件的新資 ==在"資料庫中三角形。用於二： 構重新組合的典型規則系統是如在__一―中所敘述的 Delaimi規則系統。如果所要再結合的影像是二产* :丄如此複雜結構重新組合便不需要’而且當：合：二 的合成影像產生的時候，該規劃便完成。 〜保 當=要再結合的影像是三度空間的影像，包 面和新顏色表面的3-D點結構頂點必須要在牛 :構表 算。這些新計算的結構和顏色表面會重新提供仏计 424中所計算的新結構頂點。 在步驟 概栝性而 Γ；τ敬述的虛理# 兩影像產生更廣泛的全景影像。該筮 处里係允許從 第—影像是由在第一也

第14頁 auiea7 五、發明說明（12) 置上拍攝第一影像的攝影機。當攝影機移至拍攝第二影像 的第一位置，移動感應器會偵測攝影機的移動、旋轉、或 位置。藉由使用位置資訊，處理器便能組合該第一影像及 該第二影像，以產生廣泛的全景影像。 =敛述的系統能減少成本，因為只需較少的設備。明確 而言γ只需要一透鏡系統。單一透鏡系統會較先前技藝的 全景影像系統的規模為小。最後，所敘述的系統係適合於 可拍攝多重影像的影像攝影機。這些多重影像可以組合， 以產生移動的全景或圍繞影像資料庫。 述的系統可進—步改良易於使用、攝影機1〇4或攝 =系統300的資料收集能力。圖5係敘述有助於使用者改 ^二，104或攝影機系統300的資料收集能力之方法流程 ^ 嫉，504，該攝影機會從第一位置拍攝物體的第一 影像。然後，該攝影嬙合考饱 杯从植！ A 僻京^機會處理’以計算在步驟508中隨後 所拍攝影像的最佳攝影M彳 φ #笙j & 攝景/機位置。在圖；2的攝影機系統300 甲，該等最適宜的位罟^ itb— 置/、里上具有最小所需的重疊。因 此 該攝影機在母次絲·县彡你> μ 角声的士 I及錄免像之後會以預定的角度旋轉。 月度的大小係決定在視野 點具译& i野而視野係決定在透鏡304的焦 點長度。廣角透鏡允許在寻彡 度，如此需較少的影偾ί ΐ 間以X方向旋轉更大的角 的望遠f γ t I會在週期記錄《具有視野狹窄範圍 在步驟512，攝影機會開始景角度的旋轉 向測量係決定攝影機的方向/像補捉序列。所採取的方 在基於攝影機手動移動的攝 J攝〜機系統中，攝影機會在步

麵 I麵 第15胃 五、發明說明（13) 驟5U提示使用者移動。在一具體實施 以在攝影機取景器所顯示的箭號形 ，該等k不會 :使用者以特殊的方向移動 ，攝係提 殊的方向。該等箭號可利用液晶顯示轉至特 自動調整裝置可用來將信號提供給處理（LCD )顯示。 制顯示器，以輸出信號來提示使 器°該處理器可控 之間的適當重叠量二：持在連續影像 動的時候，該處理器會追縱在視野上的點移 的點到達允許記錄第二影像之使用者’田斤、取 的時候’該攝影機便會信號通知使用 例中，隱S感應器可決定攝影機重新完全定向，;= 2叠區J及調整第二影像記錄。重新定位量係決定在透 鏡的視野範圍。在手動所移動的攝影機中，視覺、聲音、 或語音信號可用纟告訴使用者將攝影機以特殊的方向4 動，或將攝影機旋轉至特殊的方向，以調整該重叠區域。 在步驟420，該攝影機係決定攝影機是否是在所容許的 距離或來自最佳位置的方向^如果該攝影機不是在所容許 的距離，該攝影機便會回到步驟51 6，以提示使用者進一 步以回授配置調整攝影機位置。如果在步驟52〇決定攝影 機是在所容許的距離範圍内，該攝影機便會在步驟524記 錄物體的第二隨後影像。 在步驟528，該攝影機會決定資料庫的所有必要影像是 否已記錄。所需的影像數目是由透鏡視野範圍、意欲的重

第16頁 401687 五、發明說明（14) 疊量所決定，及是$ 如果需要額外的影像、欲要環繞、半球面或全景的影像。 使用者將攝影機^田該攝影機會回到步驟516，以提示 步驟528決定已記錚足ϋ錄隨後影像的隨後位置。當在 凡成，而合成的廣泛影像會重建。吁、I像的纪錄便 當某些具體實施例已詳细私 了解到如此的具體實施例只是U在示的時候，可 而既然各種不同的其它修改=二：並非限制本發明， 内’所以本發明並非局限在此所續；：=的技術範圍 結構。 听々不和敘述的特殊配置和

Claims (1)

1. 六、申請專利範圍 1. 一種用以產生三度空間影像之系統，包括： 一影像裝!，，配置以供在一個第一定向上記錄一個第 一影像及在一第二定向上記錄一個第二影像； 一咸庙突，用以偵元從該第一位置、至該第二定向之該 影像裝置的重新定位；及 一處理器，配置以共同結合該等第一影傻、第二影 像、及一移動感應器輸出以產生一全景影像。 2. 如申請專利範圍第1項之系統，其中該移動感應器是 一MEMS感應器° 3. 如申請專利範圍第1項之系統，其中該定向之變化包 括一種影像裝置的重新定位。 4. 如申請專利範圍第1項之系統，其中該移動感應器是 一雷射迴轉儀。 5. 如申請專利範圍第1項之系統，其中該影像裝置尚包 括： 一透鏡系統； 一電子感應器陣列，用以產生一電子影像。 6. 如申請專利範圍第5項之系統，其中該電子感應器是 電荷耦合裝置陣列之一部分。 \ ' 7. 如申請專利範圍第5項之系統，其中該電子感應器_是 互補金屬氧化物半導體感應器之一部份。 8. 如申請專利範圍第1項之系統，其中該影像裝置是影 像攝影機。 9. 一種產生一全景影像之方法，包括下列步驟：

   ^ϋΐ687

   利用定位於 ^ 疋向中之 影像j將該影像裝置重新定位至一第二定向； 定λ工己=充伤之資#’以便能界定在該第一位置及該第二 疋向之間該影像裝置之重定向； —— ' 妒 =I在該第二定包士之影像裝置記錄一第二影像；及 0該第一麥隻與該第二影像以形成一全景影像。 1:如申請專利範圍第9項之方法，其中結合該第一影像 ι第一影像的步驟尚包括下列步驟： 選取在該等第一及第二 辨識旋轉、轉換、及依 該第二影像。 影像上的對應點；及 比例操作以計量該第一影像及 項之方法’其中該記錄充份資好 位置及第二位置的步驟尚包括下 11.如申請專利範圍第9 以界定在移動後之該第— 列步驟： 偵測一加速；及 記錄該‘ $與加速的時間，俾使一處理器能夠計算該 等影像桊€的置換。 12. 如申請專利範圍第10項之方法，尚包括下列步驟： 產生一三角形網目，以模擬三度空間的表面。 13. —種提示一使用者記錄一物之全景影像釣方法，包 括下列步驟： — 決定一攝影機透鏡的視野範圍； 記錄來自一第一位置之一第一影像；

   提示一使用者移動至一第

   第19頁 六、申請專利範圍 — -—- 與疋向適合攝取二影像，俾用以重建該拍 _ 全景影像；及 記錄該第二影像。 • 14. _如申請專利範圍第13項之方法，其中該第一位置與 該第二位置相同，而且在攝影機改變定向時才改變。 15.如申請專利範圍第13項之方法’尚包括下列步驟： 利用該第一影像及該第二影像重建一全景影像。 > 1 6.如申請專利範圍第丨3項之方法，其中該第一影像的 圮錄及該第二影像的記錄係發生在兩不同時間點上。 1 7·如申請專利範圍第〗3項之方法，其中該全景影 圍繞影像。 18. —種用以產生全景影像之裝置，包括； 一透鏡總成； 一光感應偵測器，以記錄由該透鏡總成所產生的影 像； 一馬達，以旋轉該透鏡總成；及 一解碼器，以在記錄影像時決定透鏡總成的定向。 。19.如申請專利範圍第18項之裝置，尚包括傾斜致動 器，以便將該_鏡總成，斜到所需的角度。 2 〇.如申請專利範圍第1 9項之裝置，尚包括當記錄影像 時，肖b決疋該透鏡總成傾斜角度之大小。 ，