TW202418226A

TW202418226A - 環景影像的地標識別標註系統及其方法

Info

Publication number: TW202418226A
Application number: TW111140743A
Authority: TW
Inventors: 汪家豪; 陳致穎; 黃薰慧; 林謙德
Original assignee: 財團法人資訊工業策進會
Filing date: 2022-10-26
Publication date: 2024-05-01

Abstract

一種環景影像的地標識別標註系統，包含有儲存裝置及後端處理器，儲存裝置用以儲存初始環景影像、姿態資訊、移動軌跡資訊，以及地標清單，後端處理器執行的步驟包含：根據初始環景影像的影像視角與指定視角的差異值，將影像視角調整至指定視角；以及將視角調整後的初始環景影像提供予前端處理器，供前端處理器計算產生結合虛擬空間中地標指引物件的環景影像。

Description

環景影像的地標識別標註系統及其方法

本發明涉及一種地標識別標註系統及其方法，尤指一種環景影像的地標識別標註系統及其方法。

環景影像又稱全景影像，是由全景攝像機或多組攝像機所拍攝涵蓋360度視域(field of view)的全方位影像，除了應用於車用系統中，提供駕駛人全方位的行車視野，現在更基於環景影像提供虛擬導覽服務，方便使用者於環景影像所建立的虛擬空間中進行虛擬互動與體驗。

要透過環景影像建立虛擬空間，一方面必須校正環景影像的視角位置，另一方面需要於虛擬空間中建立地點標註或互動物件，以確保使用者於虛擬空間中互動的品質與穩定度，然而，地標的標註是由人工方式進行處理，相當費時且費工，除了人工處理可能造成的操作誤差外，在標註精準度要求較高的狀況下，可能因影像模糊、晃動過大或物件被遮蔽等因素，需要重新拍攝環景影像，進而導致要重新進行視角校正與地標標註作業，徒增技術人員的作業量與作業負擔。

有鑑於此，本發明提供一種環景影像的地標識別標註系統，由系統進行視角校正與地標標註，以解決人工作業耗時費工的問題。

為達成前述目的，本發明環景影像的地標識別標註系統包含有儲存裝置及後端處理器。

儲存裝置用以儲存初始環景影像、姿態資訊、移動軌跡資訊及地標清單，姿態資訊及移動軌跡資訊係初始環景影像拍攝時由複數感測器所測得。

後端處理器與儲存裝置通訊連接，由後端處理器計算初始環景影像的影像視角與指定視角的差異值，根據差異值將影像視角調整至指定視角，並將視角調整後的初始環景影像提供予前端處理器，由前端處理器生成結合虛擬空間中至少一地標指引物件的環景影像。

本發明另提供環景影像的地標識別標註系統，包含有儲存裝置及前端處理器。

儲存裝置用以儲存初始環景影像及地標清單。

前端處理器與儲存裝置通訊連接，由前端處理器根據初始環景影像計算產生相機座標系；前端處理器執行初始環景影像的相機座標系與現實座標系及虛擬座標系的正規化同步，並根據地標清單生成至少一地標指引物件，將至少一地標指引物件放置於對應初始環景影像的虛擬空間中；以及生成結合虛擬空間中至少一地標指引物件的環景影像。

本發明另提供由前端處理器執行的一種環景影像的地標識別標註方法，環景影像的地標識別標註方法的步驟包含有：根據初始環景影像計算產生相機座標系；執行初始環景影像的相機座標系與現實座標系及虛擬座標系的正規化同步；根據地標清單生成至少一地標指引物件，將至少一地標指引物件放置於對應初始環景影像的虛擬空間中；以及生成結合虛擬空間中至少一地標指引物件的環景影像。

本發明一方面由後端處理器根據初始環景影像其影像視角與預設的指定視角的差異值，進行影像視角的校正，另一方面透過前端處理器將相機座標系與現實座標系、虛擬座標系的正規化同步，作為將至少一地標指引物件放置於對應初始環景影像的虛擬空間中的位置依據，以生成最後的環景影像。本發明藉由後端處理器的運算處理視角校正以及藉由前端處理器的運算處理地標放置，取代人工作業，以克服習知技術由人工操作時，不只耗時費工且可能產生人為誤差的問題，進一步提升作業效率及地標標註的精準度。

在通篇說明書之任何地方之例子，包含在此所討論之任何用詞之例子的使用，僅係用以舉例說明，當然不限制本發明或任何例示用詞之範圍與意義。例如若使用「前端」或「後端」一詞，係指區別不同處理器之用，不應限定其代表意義。同樣地，本發明並不限於此說明書中所提出之各種實施例。本發明特別以下述例子加以描述，這些例子僅係用以舉例說明而已，因為對於熟習此技藝者而言，在不脫離本揭示內容之精神和範圍內，當可作各種之更動與潤飾，例如若使用「裝置、處理器、感測器」等一詞在此係可能包含實體物件或引伸為虛擬物件。此外，若使用「連接」或「通訊連接」一詞在此係包含任何直接及間接的電性或電氣連接手段，亦包含無線或有線之連接手段。舉例而言，若文中描述第一裝置通訊連接於第二裝置，則代表該第一裝置可直接連接於該第二裝置，或透過其他裝置或連接手段間接地連接至該第二裝置。

請參看圖1所示，本發明環景影像的地標識別標註系統SYS包含有儲存裝置30、後端處理器40及前端處理器50，其中輸入環景影像的地標識別標註系統SYS之資訊包含初始環景影像I、姿態資訊P及移動軌跡資訊M，分別為由攝像裝置10對目標場景拍攝的初始環景影像I，以及由複數感測器20於攝像裝置10拍攝初始環景影像I時，所感測對應初始環景影像I的姿態資訊P及移動軌跡資訊M。另外初始環景影像I、姿態資訊P及移動軌跡資訊M亦可取自另一儲存裝置(圖未示)，其中姿態資訊P及移動軌跡資訊M亦與該初始環景影像I相關。姿態資訊P包含姿態角度、加速度及磁力場等數據，移動軌跡資訊M包含拍攝時的經緯度數據，其中，複數感測器20可包含有姿態感測器20(Attitude Sensor)、慣性量測感測器20(Inertial Measurement Unit, IMU)、衛星定位感測器20(GPS)、地磁計、加速度計、陀螺儀、氣壓計等。

本發明環景影像的地標識別標註系統SYS之儲存裝置30可透過與攝像裝置10、複數感測器20通訊連接，以取得攝像裝置10所傳輸的初始環景影像I，以及複數感測器20所感測的姿態資訊P及移動軌跡資訊M，或透過與另一儲存裝置(圖未示)通訊連接，以取得於另一儲存裝置所儲存之初始環景影像I，以及與該初始環景影像I相關的姿態資訊P及移動軌跡資訊M。另外，儲存裝置30另儲存有預先建立的地標清單L，地標清單L紀錄至少一地標及各地標的現實座標及高度資訊，現實座標可由經緯度表示，其中，儲存裝置30可為記憶體、硬碟、伺服器等資料儲存設備；地標清單L中紀錄的至少一地標可包含目標場景中的建築物或其它較為明顯而可供辨識的物件。

後端處理器40與儲存裝置30通訊連接，由後端處理器40對初始環景影像I的影像視角進行視角校正，並將視角調整後的初始環景影像I傳輸至前端處理器50，其中，後端處理器40可為雲端伺服器、控制器、電腦等具備運算功能的電子裝置，且後端處理器40可透過有線或無線通訊技術與儲存裝置30通訊連接。前端處理器50與該儲存裝置30及該後端處理器40通訊連接，由前端處理器50建立初始環景影像I的相機座標系，將相機座標系與現實座標系及虛擬座標系進行正規化同步，再根據地標清單L中各地標的現實座標，將如圖6A及6B所示的至少一地標指引物件A放置於對應初始環景影像I的虛擬空間中，以生成結合虛擬空間中至少一地標指引物件A的環景影像，至少一地標指引物件A可包含地標名稱、指引圖示等，其中，前端處理器50可為手機、控制器、電腦、虛擬實境(VR)主機等具備運算功能的電子裝置，且前端處理器50可透過有線或無線通訊技術與儲存裝置30及後端處理器40通訊連接。

以下進一步說明，本發明環景影像的地標識別標註方法如何由後端處理器40與前端處理器50執行。

請參看圖2所示，後端處理器40先執行初始環景影像I其影像視角的校正，包含以下步驟：

S101：對初始環景影像I、姿態資訊P及移動軌跡資訊M進行時間校正。

S102：融合姿態資訊P及移動軌跡資訊M，以產生三維度姿態資訊T。

S103：根據三維度姿態資訊T，計算差異值，並根據差異值校正影像視角。

步驟S101中，後端處理器40利用動態時間校正演算法進行多項數據的動態時間校正，對齊初始環景影像I、姿態資訊P及移動軌跡資訊M的時間軸，以確保初始環景影像I、姿態資訊P及移動軌跡資訊M的時間同步，完成時間校正。

步驟S102中，後端處理器40結合對齊時間軸後的姿態資訊P及移動軌跡資訊M中的加速度、角加速度、地磁方位角等數據，估算三維度姿態資訊T，三維度姿態資訊T包含攝像裝置10於拍攝初始環景影像I的姿態角度、移動速度及移動方位。進一步而言，後端處理器40透過角加速度計算姿態角度，並透過加速度數據校正角加速度隨時間飄移而產生的誤差，以獲得較穩定的姿態角度，而透過角加速度與加速度計算出的姿態角度僅能得到較為精準的翻滾角(roll軸)及俯仰角(pitch軸)的兩軸姿態，偏航角(yaw軸)則是由角加速度依時間偏移進行估算而得，因此後端處理器40結合地磁方位角與卡爾曼濾波器(Kalman filter)對偏航角(yaw軸)進行校正，以得到包含精確姿態角度的三維度姿態資訊T。

步驟103中，後端處理器40根據三維度姿態資訊T，計算初始環景影像I中，每一畫面的影像視角與預設的指定視角的差異值，再根據差異值調整影像視角至與指定視角一致。進一步參看圖3A至3D所示，後端處理器40進行視角校正時，除了視角的移動，更可調整影像視角的比例及顯示態樣，以圖3A的影像視角為例，後端處理器40將影像視角以如圖3B的360度的水平球面影像顯示，而指定視角可為指定將視角定位點F保持於影像畫面中，差異值為視角定位點F調整至影像畫面中的距離值，避免視角定位點F脫離畫面。圖3A至圖3D以旗子頂端作為視角定位點F，換句話說，指定視角即為將旗子維持固定於畫面中。未經視角校正時，圖3C中旗子已偏離影像視角，影像視角中無法看到旗子(即視角定位點F)，圖3D中後端處理器40根據差異值，將旗子調整至影像視角中，意即將影像視角調整至指定視角，完成視角校正，其中，後端處理器40將三維度姿態資訊T及視角調整後的初始環景影像I傳送至前端處理器50，以供進行後續運算。

請參看圖4所示，前端處理器50進一步執行多座標系的融合，包含以下步驟：

S201：根據初始環景影像I計算相機座標系。

S202：計算相機座標。

S203：根據初始環景影像I的旋轉資訊，將相機座標系與現實座標系及虛擬座標系進行正規化同步。

步驟S201中，前端處理器50計算初始環景影像I中每一幀影像的各個點與拍攝點的距離及相對位置，以建立相機座標系，相機座標系為相對座標系，代表各個位置與攝像裝置10拍攝初始環景影像I的拍攝點的相對距離。

步驟S202中，前端處理器50根據PNP(Perspective-n-Point)演算法計算及相機座標系，計算每一幀影像中各個點的相機座標。

攝像裝置10於拍攝初始環景影像I時，影像視角勢必會因攝像裝置10的移動而旋轉，因相機座標系為相對座標系，當影像視角旋轉或移動時，影像中的每一個點與拍攝點的相對距離都會發生改變，即每一個點的相機座標發生改變，前端處理器50計算每一幀影像之間的一旋轉資訊，旋轉資訊紀錄每一幀影像中各點的相機座標以及相機座標數值的變動，而步驟S203中，前端處理器50透過羅德里格旋轉演算法，計算轉換每一幀影像中各相機座標與各現實座標下旋轉的相對位置，以將各相機座標與現實座標系中的現實座標同步對應，使相機座標系與現實座標系能對齊座標，完成相機座標系與現實座標系的對應。

接著，於步驟S203中，虛擬座標系對應於虛擬空間，虛擬空間為預先建置，且虛擬座標系與現實座標系對應，前端處理器50將已與現實座標系同步的相機座標系，進一步藉由現實座標系，與虛擬座標系同步對齊，以完成相機座標系、現實座標系及虛擬座標系的正規化同步。

請參看圖5所示，前端處理器50接著執行地標的標註，包含以下步驟：

S301：自儲存裝置30讀取地標清單L。

S302：依據地標清單L生成至少一地標指引物件A，並將至少一地標指引物件A放置於虛擬空間中。

S303：調整存在像素重疊的至少一地標指引物件A的擺放位置。

S304：生成結合虛擬空間中至少一地標指引物件A的環景影像。

於步驟S302中，前端處理器50根據地標清單L生成對應至少一地標的至少一地標指引物件A，並透過如Geohash演算法的多維空間索引演算法，將地標清單L所記錄各地標的二維座標轉換應用至三維空間的虛擬空間中，以將各地標指引物件A根據轉換後的現實座標，放置於對應初始環景影像I的虛擬空間中，並同時對應現實座標系的座標位置。

請參看圖6A及圖6B，前端處理器50將至少一地標指引物件A放置於虛擬空間中時，可能發生如圖6A所示，各地標指引物件A距離觀看者位置的遠近不同，但於影像視角中卻出現各地標指引物件A中文字或圖示相互重疊的情況，導致部分地標指引物件A的文字無法顯示，或指引圖示受到遮擋。為避免重疊的地標指引物件A影響使用者的操作體驗，因此，於步驟S303中，前端處理器50透過動態深度演算法，於初始環景影像I中以多種角度擷取多張畫面，對不同角度的畫面進行比較，以計算地標指引物件A其於虛擬空間中每一像素，與另一地標指引物件A其於虛擬空間中每一像素間的距離，並如圖6B所示，重新放置重疊的各地標指引物件A，排除各地標指引物件A重疊的問題。

綜上所述，本發明是由後端處理器40運算初始環景影像I其影像視角與預設的指定視角的差異值，以透過差異值進行初始環景影像I的視角校正，再由前端處理器50將初始環景影像I的相機座標系對應現實座標系及虛擬座標系，作為放置至少一地標指引物件A的座標依據，完成各地標的標註，而本發明所生成的環景影像結合有虛擬空間中的至少一地標指引物件A，環景影像可應用於虛擬與實境融合的相關產業中；與習知技術相比，本發明將過去人工操作的視角校正及地標標註改由系統自動執行，以解決人工操作費時費工問題，提升視角校正與地標標註的效率，並防止人工操作難以避免的人眼誤差，進一步提升視角校正與地標標註的精準度。

10:攝像裝置 20:感測器 30:儲存裝置 40:後端處理器 50:前端處理器 A:地標指引物件 F:視角定位點 I:初始環景影像 L:地標清單 M:移動軌跡資訊 P:姿態資訊 T:三維度姿態資訊 SYS:環景影像的地標識別標註系統

圖1：本發明環景影像的地標識別標註系統的系統方塊圖。圖2：本發明環景影像的地標識別標註方法的第一步驟流程圖。圖3A：初始環景影像未進行影像視角調整的第一畫面示意圖。圖3B：初始環景影像進行影像視角調整後的第一畫面示意圖。圖3C：初始環景影像未進行影像視角調整的第二畫面示意圖。圖3D：初始環景影像進行影像視角調整後的第二畫面示意圖。圖4：本發明環景影像的地標識別標註方法的第二步驟流程圖。圖5：本發明環景影像的地標識別標註方法的第三步驟流程圖。圖6A：虛擬空間中地標指引物件重疊的畫面示意圖。圖6B：虛擬空間中地標指引物件排除物件重疊後的畫面示意圖。

10:攝像裝置

20:感測器

30:儲存裝置

40:後端處理器

50:前端處理器

I:初始環景影像

L:地標清單

M:移動軌跡資訊

P:姿態資訊

T:三維度姿態資訊

SYS:環景影像的地標識別標註系統

Claims

一種環景影像的地標識別標註系統，包含有：一儲存裝置，用以儲存一初始環景影像、一姿態資訊、一移動軌跡資訊及一地標清單，其中該姿態資訊及該移動軌跡資訊係該初始環景影像拍攝時由複數感測器所測得；一後端處理器，與該儲存裝置通訊連接，用以執行以下步驟：計算該初始環景影像的一影像視角與一指定視角的一差異值，根據該差異值將該影像視角調整至該指定視角；以及將視角調整後的該初始環景影像提供予一前端處理器，供該前端處理器計算產生結合至少一地標指引物件的一環景影像。
如請求項1所述之環景影像的地標識別標註系統，該前端處理器與該儲存裝置及該後端處理器通訊連接，該前端處理器更用以執行以下步驟：根據該初始環景影像計算產生一相機座標系；執行該初始環景影像的該相機座標系與一現實座標系及一虛擬座標系的一正規化同步。
如請求項1所述之環景影像的地標識別標註系統，該前端處理器與該儲存裝置及該後端處理器通訊連接，該前端處理器更用以執行以下步驟：根據該地標清單生成至少一地標指引物件，將該至少一地標指引物件放置於對應該初始環景影像的一虛擬空間中；以及生成結合該虛擬空間中該至少一地標指引物件的一環景影像。
如請求項1所述之環景影像的地標識別標註系統，該後端處理器更用以執行以下步驟：對該初始環景影像、該姿態資訊及該移動軌跡資訊進行一時間校正，對齊該初始環景影像、該姿態資訊及該移動軌跡資訊的時間軸；融合該姿態資訊及該移動軌跡資訊，以產生該初始環景影像的三維度姿態資訊；根據該三維度姿態資訊，計算該差異值。
如請求項2所述之環景影像的地標識別標註系統，該前端處理器更用以執行以下步驟：建立該相機座標系後，計算每一幀影像中各點的一相機座標；執行旋轉演算，根據該初始環景影像中每一幀影像的一旋轉資訊，將每一個點的該相機座標與該現實座標系中的一現實座標同步對應；以及透過每一幀影像中已對應的各該相機座標與各該現實座標，將該初始環景影像的該相機座標系與該現實座標系及該虛擬座標系進行正規化同步。
如請求項1所述之環景影像的地標識別標註系統，該地標清單紀錄有至少一地標，以及該至少一地標的一現實座標；該前端處理器與該儲存裝置及該後端處理器通訊連接，該前端處理器更用以執行以下步驟：由該至少一地標建立該至少一地標指引物件；根據該至少一地標的該現實座標，計算該現實座標對應的一虛擬座標，並依該虛擬座標，將該至少一地標指引物件放置於由該虛擬座標系建立的該虛擬空間中。
如請求項1所述之環景影像的地標識別標註系統，該前端處理器與該儲存裝置及該後端處理器通訊連接，該前端處理器更用以執行以下步驟：根據該環景影像中的每一幀影像，計算不同地標指引物件其每一像素之間的相對距離，調整每一幀影像中存在像素重疊的該至少一地標指引物件的擺放位置。
一種環景影像的地標識別標註系統，包含有：一儲存裝置，用以儲存一初始環景影像及一地標清單；一前端處理器，與該儲存裝置通訊連接，用以執行以下步驟：根據該初始環景影像計算產生一相機座標系；執行該初始環景影像的該相機座標系與一現實座標系及一虛擬座標系的一正規化同步；根據該地標清單生成至少一地標指引物件，將該至少一地標指引物件放置於對應該初始環景影像的一虛擬空間中；以及生成結合該虛擬空間中該至少一地標指引物件的一環景影像。
如請求項8所述之環景影像的地標識別標註系統，包含有：一後端處理器，與該儲存裝置及該前端處理器通訊連接，用以計算該初始環景影像的一影像視角與一指定視角的一差異值，根據該差異值將該影像視角調整至該指定視角，並將視角調整後的該初始環景影像提供予該前端處理器。
如請求項9所述之環景影像的地標識別標註系統，該儲存裝置儲存一姿態資訊及一移動軌跡資訊，其中該姿態資訊及該移動軌跡資訊係該初始環景影像拍攝時由複數感測器所測得；該後端處理器更用以執行以下步驟：對該初始環景影像、該姿態資訊及該移動軌跡資訊進行一時間校正，對齊該初始環景影像、該姿態資訊及該移動軌跡資訊的時間軸；融合該姿態資訊及該移動軌跡資訊，以產生該初始環景影像的三維度姿態資訊；根據該三維度姿態資訊，計算該差異值。
如請求項8所述之環景影像的地標識別標註系統，該前端處理器更用以執行以下步驟：建立該相機座標系後，計算每一幀影像中各點的一相機座標；執行旋轉演算，根據該初始環景影像中每一幀影像的一旋轉資訊，將每一個點的該相機座標與該現實座標系中的一現實座標同步對應；以及透過每一幀影像中已對應的各該相機座標與各該現實座標，將該初始環景影像的該相機座標系與該現實座標系及該虛擬座標系進行正規化同步。
如請求項8所述之環景影像的地標識別標註系統，該地標清單紀錄有至少一地標，以及該至少一地標的一現實座標；該前端處理器更用以執行以下步驟：由該至少一地標建立該至少一地標指引物件；根據該至少一地標的該現實座標，計算該現實座標對應的一虛擬座標，並依該虛擬座標，將該至少一地標指引物件放置於由該虛擬座標系建立的該虛擬空間中。
如請求項8所述之環景影像的地標識別標註系統，該前端處理器更用以執行以下步驟：根據該環景影像中的每一幀影像，計算不同地標指引物件其每一像素之間的相對距離，調整每一幀影像中存在像素重疊的該至少一地標指引物件的擺放位置。
一種環景影像的地標識別標註方法，由一前端處理器執行，包含以下步驟：根據該初始環景影像計算產生一相機座標系；執行該初始環景影像的該相機座標系與一現實座標系及一虛擬座標系的一正規化同步；根據一儲存裝置中的一地標清單生成至少一地標指引物件，將該至少一地標指引物件放置於對應該初始環景影像的一虛擬空間中；以及生成結合該虛擬空間中該至少一地標指引物件的一環景影像。
如請求項14所述之環景影像的地標識別標註方法，進一步包含由一後端處理器執行的以下步驟：讀取儲存在一儲存裝置中的一初始環景影像；計算該初始環景影像的一影像視角與一指定視角的一差異值，根據該差異值將該影像視角調整至該指定視角；以及將視角調整後的該初始環景影像提供予該前端處理器。
如請求項15所述之環景影像的地標識別標註方法，進一步包含由該後端處理器執行的以下步驟：讀取儲存在該儲存裝置中的一姿態資訊及一移動軌跡資訊；以及對該初始環景影像、該姿態資訊及該移動軌跡資訊進行一時間校正，對齊該初始環景影像、該姿態資訊及該移動軌跡資訊的時間軸；融合該姿態資訊及該移動軌跡資訊，以產生該初始環景影像的一三維度姿態資訊；以及根據該三維度姿態資訊，計算該差異值。
如請求項14所述之環景影像的地標識別標註方法，進一步包含由該前端處理器執行的以下步驟：建立該相機座標系後，計算每一幀影像中各點的一相機座標；執行旋轉演算，根據該初始環景影像中每一幀影像的一旋轉資訊，將每一個點的該相機座標與該現實座標系中的一現實座標同步對應；以及透過每一幀影像中已對應的各該相機座標與各該現實座標，將該初始環景影像的該相機座標系與該現實座標系及該虛擬座標系進行正規化同步。
如請求項14所述之環景影像的地標識別標註方法，進一步包含由該前端處理器執行的以下步驟：於該地標清單讀取至少一地標，及該至少一地標的一現實座標；由該至少一地標建立該至少一地標指引物件；以及根據該至少一地標的該現實座標，計算該現實座標對應的一虛擬座標，並依該虛擬座標，將該至少一地標指引物件放置於由該虛擬座標系建立的該虛擬空間中。
如請求項14所述之環景影像的地標識別標註方法，進一步包含由該前端處理器執行的以下步驟：根據該環景影像中的每一幀影像，計算不同地標指引物件其每一像素之間的相對距離，調整每一幀影像中存在像素重疊的該至少一地標指引物件的擺放位置。