TWI732398B - 基於等距長方投影的全景地圖的處理模組及其處理方法 - Google Patents

基於等距長方投影的全景地圖的處理模組及其處理方法 Download PDF

Info

Publication number
TWI732398B
TWI732398B TW108147549A TW108147549A TWI732398B TW I732398 B TWI732398 B TW I732398B TW 108147549 A TW108147549 A TW 108147549A TW 108147549 A TW108147549 A TW 108147549A TW I732398 B TWI732398 B TW I732398B
Authority
TW
Taiwan
Prior art keywords
map
unit
panoramic
degrees
module
Prior art date
Application number
TW108147549A
Other languages
English (en)
Other versions
TW202125282A (zh
Inventor
郭峻因
林柏宏
Original Assignee
國立陽明交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立陽明交通大學 filed Critical 國立陽明交通大學
Priority to TW108147549A priority Critical patent/TWI732398B/zh
Priority to US17/101,424 priority patent/US11102406B2/en
Application granted granted Critical
Publication of TW202125282A publication Critical patent/TW202125282A/zh
Publication of TWI732398B publication Critical patent/TWI732398B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一種基於等距長方投影的全景地圖的處理方法,包括:擷取多數個環境影像,且產生等距長方投影全景影像;若判斷三維稀疏點地圖需要被更新,輸出三維稀疏點地圖;若判斷三維稀疏點地圖不需被更新,根據水平角度將等距長方投影全景影像進行即時地透視轉換,產生透視影像;自透視影像萃取出多數個地圖特徵點,若已成功追蹤連續兩幀的多數個地圖特徵點,輸出相機姿態資訊。本發明更包括一種基於等距長方投影的全景地圖的處理模組。

Description

基於等距長方投影的全景地圖的處理模組及其處理方法
本發明係有關一種全景地圖的處理模組及其處理方法,尤指一種基於等距長方投影全景影像的全景地圖的處理模組及其處理方法。
近年來同步定位與地圖建構技術的發展漸趨成熟,又因為相機的成本便宜且設定、校正相對其他感測器而言較為簡單,視覺同步定位與地圖建構(simultaneous localization and mapping,SLAM)逐漸受到重視,但需要克服的難題是演算法較為複雜且運算量較為龐大。在實際應用中,SLAM技術已被應用於無人載具、倉儲AGV(automated guided vehicle)、自動輪椅、自駕車、行星探測車、掃地機器人或人體內部。
視覺SLAM根據使用的像素的區域大小,大致上可分為直接法(direct method)以及特徵點法(feature based method)。所述直接法會直接使用整張影像去進行定位與評估相機姿態,例如LSD-SLAM(Large scale direct SLAM)演算法,雖然較不耗費時間,但對於亮度變化較為敏感,且使用了整張影像進行處理,故儲存地圖占用的體積較大。所述特徵點法則會對整張畫面先進行特徵 點萃取的動作,雖然相較於直接法較耗費時間,但由於輸入的雜訊較少,故對於環境光的抗噪性高,且非使用整張地圖進行處理,故地圖占用的體積較小。
而在輸入感測方面,現有技術可分成單鏡頭以及多鏡頭兩類。其中,單鏡頭關於相機姿態的運算方式相對簡單,但易受限於相機鏡頭的視野(field of view,FOV),例如ORB-SLAM2演算法,導致畫面受到異物阻擋時難以定位,又若使用單個全景相機(omnidirectional camera)來進行拍攝時,雖然水平視野可以達到360度,但垂直視野依然受限。而在多鏡頭的相關文獻中,其方法多為事先定義好鏡頭數量以及各鏡頭的相對位置,不經過任何投影或接合,直接地使用各鏡頭的影像來進行定位及地圖建構。此時,由於多鏡頭各自定位後產生的多張圖像在手動相疊合時,很有可能因為畫面的扭曲或形變而對於同一特徵點來說會產生飄移誤差,進而影響到定位的準確度。
為此,如何設計出一種基於等距長方投影全景影像的全景地圖的處理模組及其處理方法,特別是解決FOV限制、執行效率以及定位準確度的技術問題,乃為本案發明人所研究的重要課題。
本發明之一目的在於提供一種基於等距長方投影的全景地圖的處理方法,解決了單鏡頭之FOV的限制的技術問題,且改善特徵點萃取效率以及提高準確度,達到對全景地圖定位與建構之方便使用且穩定性高之目的。
為了達到前述目的,本發明所提出的基於等距長方投影的全景地圖的處理方法包括:影像擷取模組通過多數個鏡頭擷取多數個環境影像,且產生等距長方投影全景影像。若通過第一條件判斷二進位格式的三維稀疏點地圖需要被更新時,錄製等距長方投影全景影像以產生全景影片檔,地圖建構模組 接收全景影片檔,且輸出二進位格式的三維稀疏點地圖至區域地圖單元。若通過第一條件判斷三維稀疏點地圖不需被更新時,同步定位與地圖建構模組讀取等距長方投影全景影像、三維稀疏點地圖以及水平角度,同步定位與地圖建構模組中的透視轉換單元根據水平角度將等距長方投影全景影像進行即時地透視轉換,而產生透視影像。同步定位與地圖建構模組中的特徵點萃取單元自透視影像萃取出多數個地圖特徵點,同步定位與地圖建構模組中的追蹤單元對連續兩幀的多數個地圖特徵點進行追蹤,若追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,同步定位與地圖建構模組中的區域定位單元輸出相機姿態資訊至相機姿態輸出模組以及區域地圖單元。
進一步而言,相機姿態輸出模組包括輸出通道,相機姿態資訊通過輸出通道傳輸至外部系統或顯示裝置。
進一步而言,若追蹤單元未成功追蹤連續兩幀的多數個地圖特徵點,地圖點關鍵幀生成單元存取區域地圖單元的三維稀疏點地圖,且令區域地圖單元依據至少部分等距長方投影全景影像輸出更新的多數個地圖特徵點或關鍵幀至追蹤單元。
進一步而言,所述之基於等距長方投影的全景地圖的處理方法更包括:迴環檢測單元依據閥值消除各地圖特徵點或各關鍵幀之間的飄移誤差,且將修正後的多數個地圖特徵點以及關鍵幀儲存至區域地圖單元。
進一步而言,當影像擷取模組偵測到其中一鏡頭被異物阻擋時,影像擷取模組令被異物阻擋的鏡頭改變目標角度,直到影像擷取模組偵測到被異物阻擋的鏡頭已不被阻擋為止。
進一步而言,若目標角度介於-90度至0度之間或90度至0度之間,且當追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,則被異物阻擋的鏡頭改變目標角度至0度。若目標角度介於-90度至180度或90度至180度之間,且當追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,則被異物阻擋的鏡頭改變目標角度至180度。
進一步而言,若通過第一條件判斷三維稀疏點地圖需要被更新時,地圖建構模組輪流地對全景影片檔進行順向播放或逆向播放,且地圖建構模組依據最小地圖特徵點數值判斷連續兩幀是否平滑地旋轉水平旋轉角度。
進一步而言,地圖建構模組依據總播放次數輪流地對全景影片檔進行順向播放或逆向播放,當順向播放與逆向播放的次數總和等於總播放次數時,地圖建構模組輸出三維稀疏點地圖至區域地圖單元。
本發明之另一目的在於提供一種基於等距長方投影的全景地圖的處理模組,解決了單鏡頭之FOV的限制的技術問題,且改善特徵點萃取效率以及提高準確度,達到對全景地圖定位與建構之方便使用且穩定性高之目的。
為了達到前述另一目的,本發明所提出的基於等距長方投影的全景地圖的處理模組包括:影像擷取模組、同步定位與地圖建構模組以及一相機姿態輸出模組。其中,影像擷取模組通過多數個鏡頭擷取多數個環境影像,且產生等距長方投影全景影像。同步定位與地圖建構模組耦接影像擷取模組,同步定位與地圖建構模組包括透視轉換單元、特徵點萃取單元、追蹤單元以及區域定位單元。其中,同步定位與地圖建構模組讀取等距長方投影全景影像、二進位格式的三維稀疏點地圖以及水平角度,且將三維稀疏點地圖儲存於區域定位單元。透視轉換單元根據水平角度將等距長方投影全景影像進行即時地透視 轉換,而產生透視影像。特徵點萃取單元自透視影像萃取出多數個地圖特徵點。追蹤單元對連續兩幀的多數個地圖特徵點進行追蹤,若追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,區域定位單元輸出相機姿態資訊至區域地圖單元。相機姿態輸出模組耦接同步定位與地圖建構模組,且自區域定位單元接收相機姿態資訊。其中,若通過第一條件判斷三維稀疏點地圖需要被更新時,同步定位與地圖建構模組錄製多數個等距長方投影全景影像以產生全景影片檔。地圖建構模組接收全景影片檔,且輸出三維稀疏點地圖至區域地圖單元。若通過第一條件判斷三維稀疏點地圖不需被更新時,同步定位與地圖建構模組讀取等距長方投影全景影像、三維稀疏點地圖以及水平角度。
進一步而言,相機姿態輸出模組包括輸出通道,相機姿態資訊通過輸出通道傳輸至外部系統或顯示裝置。
進一步而言,當影像擷取模組偵測到其中一鏡頭被異物阻擋時,影像擷取模組令被異物阻擋的鏡頭改變目標角度,直到影像擷取模組偵測到被異物阻擋的鏡頭已不被阻擋為止。
進一步而言,若目標角度介於-90度至0度之間或0度至90度之間,且當追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,則被異物阻擋的鏡頭改變目標角度至0度。若目標角度介於-90度至180度之間或90度至180度之間,且當追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,則被異物阻擋的鏡頭改變目標角度至180度。
進一步而言,若追蹤單元未成功追蹤連續兩幀的多數個地圖特徵點,地圖點關鍵幀生成單元存取區域地圖單元的三維稀疏點地圖,且令區域地 圖單元依據至少部分等距長方投影全景影像輸出更新的多數個地圖特徵點或關鍵幀至追蹤單元。
進一步而言,所述之基於等距長方投影的全景地圖的處理模組更包括迴環檢測單元,迴環檢測單元依據閥值消除各地圖特徵點或各關鍵幀之間的飄移誤差,且將修正後的多數個地圖特徵點以及關鍵幀儲存至區域地圖單元。
在使用本發明所述之基於等距長方投影的全景地圖的處理模組時,首先,由於影像擷取模組是支援鏡頭數量可改變的架構,無論使用多少個鏡頭,只要能夠接合出符合等距長方投影(equirectangular projection,ERP)之全景影像即可,所述等距可以是相等投影焦距。接著,通過預設的第一條件(例如,地圖特徵點的相對座標改變或視野的改變等)來判斷所述三維稀疏點地圖是否需要被更新。若判斷結果為三維稀疏點地圖需要被更新時,即進入地圖建構模式,同步定位與地圖建構模組錄製多數個等距長方投影全景影像以產生全景影片檔,地圖建構模組接收全景影片檔,且輸出三維稀疏點地圖至區域地圖單元,完成地圖建構的步驟。若通過第一條件判斷三維稀疏點地圖不需被更新時,同步定位與地圖建構模組讀取等距長方投影全景影像、三維稀疏點地圖以及水平角度,進入即時定位模式,特別的是透視轉換單元根據水平角度將等距長方投影全景影像進行即時地透視轉換,且區域定位單元輸出相機姿態資訊至區域地圖單元,以對三維稀疏點地圖進行持續地更新。
為此,本發明所述之基於等距長方投影的全景地圖的處理模組及其處理方法,解決了單鏡頭之FOV的限制的技術問題,亦不受鏡頭擺放位置(例如受到異物阻擋)的限制。此外,使用二進位格式之三維稀疏點地圖能夠在讀取、儲存或更新等速度更快速、更有效率。在實際使用時,使用者可選擇地永久儲 存已被迴環檢測單元更新之三維稀疏點地圖,或僅限當次使用而不儲存供下次繼續使用。故本發明改善特徵點萃取效率以及提高準確度,達到對全景地圖定位與建構之方便使用且穩定性高之目的。
為了能更進一步瞭解本發明為達成預定目的所採取之技術、手段及功效,請參閱以下有關本發明之詳細說明與附圖,相信本發明特徵與特點,當可由此得一深入且具體之瞭解,然而所附圖式僅提供參考與說明用,並非用來對本發明加以限制者。
10:影像擷取模組
20:SLAM模組
21:透視轉換單元
22:特徵點萃取單元
23:追蹤單元
24:區域定位單元
25:區域地圖單元
26:地圖點關鍵幀生成單元
27:迴環檢測單元
30:相機姿態輸出模組
S01~S07:步驟
S11~S31:步驟
S41~S46:步驟
圖1及圖2為本發明基於等距長方投影的全景地圖的處理模組的功能區塊圖;圖3為本發明基於等距長方投影的全景地圖的處理方法的流程圖;圖4A及圖4B為本發明基於等距長方投影的全景地圖的處理方法之關於地圖建構模式的流程圖;以及圖5為本發明基於等距長方投影的全景地圖的處理方法之關於即時定位模式的流程圖。
以下係藉由特定的具體實施例說明本發明之實施方式,熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。本 發明亦可藉由其他不同的具體實例加以施行或應用,本發明說明書中的各項細節亦可基於不同觀點與應用在不悖離本發明之精神下進行各種修飾與變更。
須知,本說明書所附圖式繪示之結構、比例、大小、元件數量等,均僅用以配合說明書所揭示之內容,以供熟悉此技術之人士瞭解與閱讀,並非用以限定本發明可實施之限定條件,故不具技術上之實質意義,任何結構之修飾、比例關係之改變或大小之調整,在不影響本發明所能產生之功效及所能達成之目的下,均應落在本發明所揭示之技術內容得能涵蓋之範圍內。
茲有關本發明之技術內容及詳細說明,配合圖式說明如下。
請參閱圖1及圖2,為本發明基於等距長方投影的全景地圖的處理模組的功能區塊圖。本發明所述基於等距長方投影的全景地圖的處理模組包括影像擷取模組10、同步定位與地圖建構(SLAM)模組20以及相機姿態輸出模組30,且所述處理模組可應用於嵌入式(embedded)平台,與其他可移動裝置(如交通工具或穿戴式裝置)搭配使用。其中,影像擷取模組10通過多數個鏡頭擷取多數個環境影像,且產生等距長方投影全景影像。進一步而言,本發明所述影像擷取模組支援可變數量的鏡頭,無論使用多少鏡頭(至少兩個以上,可避免單鏡頭FOV限制),只要能夠接合出符合等距長方投影(ERP)之全景影像即可,所述等距可以是相等投影焦距。在本發明之所述實施例中,鏡頭的數量可以是兩個彼此背對配置的全周魚眼鏡頭,影像擷取模組10可以是網路攝影機、數位攝影機、智慧型手機、行車紀錄器等電子設備及其組合。
SLAM模組20耦接影像擷取模組10,如圖2所示,所述SLAM模組20包括透視轉換單元21、特徵點萃取單元22、追蹤單元23、區域定位單元24、區域地圖單元25、地圖點關鍵幀生成單元26以及迴環檢測單元27。所述SLAM模 組20全景影像、二進位格式的三維稀疏點地圖以及水平角度,且將三維稀疏點地圖儲存於區域定位單元24。其中,透視轉換單元21根據水平角度將等距長方投影全景影像進行即時地透視轉換(例如,球面座標與平面座標之間的轉換),而產生透視影像。特徵點萃取單元22自透視影像萃取出多數個地圖特徵點,所述多數個地圖特徵點可用於地圖建構或定位的步驟。在本發明之所述實施例中,可通過GPU加速對地圖特徵點的萃取速度。追蹤單元23對連續兩幀的多數個地圖特徵點進行追蹤,若追蹤單元23已成功追蹤連續兩幀的多數個地圖特徵點,區域定位單元24輸出相機姿態資訊至區域地圖單元25。若追蹤單元未成功追蹤連續兩幀的多數個地圖特徵點,地圖點關鍵幀生成單元26存取區域地圖單元25的三維稀疏點地圖,且令區域地圖單元25依據至少部分等距長方投影全景影像(可對應至少一鏡頭)輸出更新的多數個地圖特徵點或關鍵幀至追蹤單元23。迴環檢測單元27依據閥值消除各多數個地圖特徵點或各關鍵幀之間的飄移誤差(drift error),且將修正後的多數個地圖特徵點以及關鍵幀儲存至區域地圖單元25,所述閥值可以是地圖特徵點的數量。進一步而言,所述迴環檢測單元27會計算舊有之地圖特徵點與關鍵幀以及新生成之地圖特徵點與關鍵幀之間的相似度,若判斷相似度高於閥值則會對所有地圖資訊進行優化,並將優化結果回存至三維稀疏點地圖。在本發明之所述實施例中,所述SLAM模組20可以是基於ORB-SLAM或ORB-SLAM2搭配嵌入式系統(如Ubuntu)做調整,所述ORB(oriented FAST and rotated brief)是採用FAST(features from accelerated segment test)演算法來檢測地圖特徵點。
相機姿態輸出模組30耦接SLAM模組20,且自區域定位單元24接收相機姿態資訊。在本發明之所述實施例中,相機姿態輸出模組30可包括輸出 通道(圖中未示),相機姿態資訊可通過輸出通道傳輸至外部系統,或以圖像化形式輸出至顯示裝置。對應所述圖像化形式輸出之輸出通道可以是相容VGA、DVI、HDMI或DP(display port)等通訊協定。進一步而言,相機姿態輸出模組30可更提供相機姿態資訊在三維空間中的一變換矩陣(transformation matrix),或可稱為一mapping矩陣,以供其他系統讀取或用以記錄慣性運動軌跡等用途。
在使用本發明所述之基於等距長方投影的全景地圖的處理模組時,首先,由於影像擷取模組10是支援鏡頭數量可改變的架構,無論使用多少個鏡頭,只要能夠接合出符合等距長方投影(ERP)之全景影像即可,所述等距可以是相等投影焦距。接著,通過預設的第一條件(例如,地圖特徵點的相對座標改變或視野的改變等)來判斷所述三維稀疏點地圖是否需要被更新。若判斷結果為三維稀疏點地圖需要被更新時,即進入地圖建構模式,SLAM模組20錄製多數個等距長方投影全景影像以產生全景影片檔,地圖建構模組接收全景影片檔,且輸出二進位格式的三維稀疏點地圖至區域地圖單元,完成地圖建構的步驟。若通過第一條件判斷三維稀疏點地圖不需被更新時,SLAM模組20讀取等距長方投影全景影像、三維稀疏點地圖以及水平角度,進入即時定位模式,特別的是透視轉換單元21根據水平角度將等距長方投影全景影像進行即時地透視轉換,且區域定位單元24輸出相機姿態資訊至區域地圖單元25,以對三維稀疏點地圖進行持續地更新。
請參閱圖3至圖5,其中,圖3為本發明基於等距長方投影的全景地圖的處理方法的流程圖,圖4A及圖4B為本發明基於等距長方投影的全景地圖的處理方法之關於地圖建構模式的流程圖,以及圖5為本發明基於等距長方投影的全景地圖的處理方法之關於即時定位模式的流程圖。
如圖3所示,本發明中所述基於等距長方投影的全景地圖的處理方法包括下列步驟:影像擷取模組通過多數個鏡頭擷取多數個環境影像,且產生等距長方投影全景影像(步驟S01)。繼而,通過第一條件判斷三維稀疏點地圖是否需要被更新(步驟S02)。
若通過第一條件判斷三維稀疏點地圖需要被更新時,錄製等距長方投影全景影像以產生全景影片檔(步驟S03),地圖建構模組接收全景影片檔(步驟S04),且輸出二進位格式的三維稀疏點地圖至區域地圖單元(對應圖2的元件標號25)(步驟S05)。
若通過第一條件判斷三維稀疏點地圖不需被更新時,SLAM模組(對應圖2的元件標號20)讀取等距長方投影全景影像、三維稀疏點地圖以及水平角度(步驟S06)。詳細而言,SLAM模組中的透視轉換單元(對應圖2的元件標號21)根據水平角度將等距長方投影全景影像進行即時地透視轉換,而產生透視影像。SLAM模組中的特徵點萃取單元(對應圖2的元件標號22)自透視影像萃取出多數個地圖特徵點,SLAM模組中的追蹤單元(對應圖2的元件標號23)對連續兩幀的多數個地圖特徵點進行追蹤,若追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,SLAM模組中的區域定位單元(對應圖2的元件標號24)輸出相機姿態資訊至相機姿態輸出模組(對應圖2的元件標號30)以及區域地圖單元(對應圖2的元件標號25)(步驟S07)。
所述同步定位與地圖建構(SLAM)可以被看做是一個雞生蛋與蛋生雞的問題:理想的定位需要用到一個無飄移偏差的地圖,但這樣的地圖又需要精確的位置來描繪,即是一個疊代數學問題解決策略的起始條件。故如圖3中 所示之步驟S05以及步驟S06之間,在整體系統/模組運行中仍不斷地彼此進行讀取或更新。
如圖4A及圖4B所示,為本發明基於等距長方投影的全景地圖的處理方法之關於地圖建構模式的流程圖。在判斷所述三維稀疏點地圖需要被更新的情況下,待產生全景影片檔(對應圖3的步驟標號S03)之後,即進入地圖建構模式(步驟S11),一開始先讀取預設的參數設定(步驟S12),所述參數設定可以是設定寬高像素值或俯仰角(預設為0度)等,且若使用透視相機之內部參數Fx、Fy、Cx以及Cy的四個數值均為-1時可採用自動計算的數值,除此之外亦可採用手動設定數值。接著,將水平角度歸零以及播放次數歸零(步驟S13),設定總播放次數(步驟S14)。進一步而言,所述地圖建構模組輪流地對全景影片檔進行順向播放或逆向播放。若順向播放先開始,由全景影片檔的第一幀開始順向播放(步驟S15)。由於是順向播放,故接續地讀取下一幀(步驟S16)。此時,SLAM模組中的透視轉換單元(對應圖2的元件標號21)根據當前水平角度(可由使用者自行設定)對當前等距長方投影全景影像進行透視轉換(步驟S17),並開始建構地圖(步驟S18)。所述透視轉換可以是等距長方投影、等角投影、等積投影或等距投影等,在本發明所述之實施例中所述投影為等距長方投影,且所述水平角度可以是介於0度至360度之間。舉例來說,在對所述全景影片檔進行順向播放或逆向播放時,可對應不同的水平角度,為了銜接每次播放所對應之水平角度,因此在進行播放時對所述水平角度進行平滑地旋轉一水平旋轉角度。
所述水平旋轉角度亦可由使用者自行設定,在本發明之所述實施例中,此平滑地旋轉的功能可以是預設平滑地改變5度的水平角度,且以最小地圖特徵點數值作為判斷依據的閥值。例如,若當前場景所擷取到的地圖特徵點 數量較多,且高於閥值,可以視情況增加平滑地旋轉的角度(即加快旋轉速度),使當次播放期間可以更快地旋轉到設定的角度。若當前場景所擷取到的地圖特徵點數量低於閥值,則維持當前的水平角度,不進行任何旋轉(即水平旋轉角度為0),直到已擷取到的地圖特徵點的數量已大於所述閥值,才繼續進行平滑地旋轉。
接著判斷是否所有幀均播放完畢(步驟S19),若否,則繼續回到步驟S16讀取下一幀,若是,則以播放計數器記錄一次(步驟S20)。且比對播放計數器的紀錄是否與預設的總播放次數相符(步驟S21),若是,則完成地圖建構(步驟S31),若否,則繼續輪流地對全景影片檔進行逆向播放(步驟S23至步驟S29)。所述步驟S23至步驟S29與前述步驟S15至步驟S21大致相同,惟播放順序相反(由第一幀至下一幀,或由最後一幀至前一幀),故在此不再贅述。其中,由於全景影片檔進行順向播放或逆向播放時可對應不同的水平角度,故每當進行順向播放後轉換逆向播放(步驟S22)或逆向播放後轉換順向播放(步驟S30),使用者均可以自行設定下一水平角度(步驟S22與步驟S30可以相同或相異)。無論是順向播放或逆向播放最後均回到完成地圖建構(步驟S31)。
進一步而言,如圖3的步驟標號S06與圖5所示,在SLAM模組讀取等距長方投影全景影像、三維稀疏點地圖以及水平角度的期間,首先是讀取等距長方投影全景影像(步驟S41)以及讀取水平角度(步驟S42),接著進行自動視野(FOV)轉換(步驟S43)。在步驟S43中,若影像擷取模組偵測到其中一鏡頭被異物阻擋時,影像擷取模組令被異物阻擋的鏡頭改變一目標角度,直到影像擷取模組偵測到被異物阻擋的鏡頭已不被阻擋為止。在本發明之所述實施例中,所述改變目標角度可以是每次改變任意角度(使用者定義),用以改變欲定位區域 的FOV。如果在改變目標角度之後仍然無法成功定位,將再次增加目標角度直到成功定位為止。進一步而言,若目標角度介於-90度至0度之間或0度至90度之間,且當追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,則被異物阻擋的鏡頭改變目標角度至0度。若目標角度介於-90度至180度之間或90度至180度之間,且當追蹤單元已成功追蹤連續兩幀的多數個地圖特徵點,則被異物阻擋的鏡頭改變目標角度至180度。最後繼續進行透視轉換(步驟S44),且將透視影像萃取出多數個地圖特徵點之後,將讀取到的三維稀疏點地圖(步驟S46)與多數個地圖特徵點一併交由追蹤單元(對應圖2的元件標號23)進行所述同步定位與地圖建構(即SLAM)。進行SLAM期間可對三維稀疏點地圖進行讀取與更新。
為此,本發明所述之基於等距長方投影的全景地圖的處理模組及其處理方法,解決了單鏡頭之FOV的限制的技術問題,亦不受鏡頭擺放位置(例如受到異物阻擋)的限制,尤其是基於等距長方投影的全景地圖可節省地圖建立時間,搭配任意水平角度進行透視轉換的方式,既可通過減少地圖特徵點的擷取範圍與擷取數量來達到加速效果,亦可同時保有全景視野的特性。此外,使用二進位格式之三維稀疏點地圖能夠在讀取、儲存或更新等速度更快速、更有效率。在實際使用時,使用者可選擇地永久儲存已被迴環檢測單元更新之三維稀疏點地圖,或僅限當次使用而不儲存供下次繼續使用。故本發明改善特徵點萃取效率以及提高準確度,達到對全景地圖定位與建構之方便使用且穩定性高之目的。
以上所述,僅為本發明較佳具體實施例之詳細說明與圖式,惟本發明之特徵並不侷限於此,並非用以限制本發明,本發明之所有範圍應以下述之申請專利範圍為準,凡合於本發明申請專利範圍之精神與其類似變化之實施 例,皆應包括於本發明之範疇中,任何熟悉該項技藝者在本發明之領域內,可輕易思及之變化或修飾皆可涵蓋在以下本案之專利範圍。
10:影像擷取模組
20:SLAM模組
21:透視轉換單元
22:特徵點萃取單元
23:追蹤單元
24:區域定位單元
25:區域地圖單元
26:地圖點關鍵幀生成單元
27:迴環檢測單元
30:相機姿態輸出模組

Claims (12)

  1. 一種基於等距長方投影的全景地圖的處理方法,包括:一影像擷取模組通過多數個鏡頭擷取多數個環境影像,且產生一等距長方投影全景影像,其中當該影像擷取模組偵測到其中一該鏡頭被異物阻擋時,該影像擷取模組令被異物阻擋的該鏡頭改變一目標角度,直到該影像擷取模組偵測到被異物阻擋的該鏡頭已不被阻擋為止;若通過一第一條件判斷二進位格式的一三維稀疏點地圖需要被更新時,錄製多數個該等距長方投影全景影像以產生一全景影片檔,一地圖建構模組接收該全景影片檔,且輸出該三維稀疏點地圖至一區域地圖單元;若通過該第一條件判斷該三維稀疏點地圖不需被更新時,一同步定位與地圖建構模組讀取該等距長方投影全景影像、該三維稀疏點地圖以及一水平角度,該同步定位與地圖建構模組中的一透視轉換單元根據該水平角度將該等距長方投影全景影像進行即時地透視轉換,而產生一透視影像;以及該同步定位與地圖建構模組中的一特徵點萃取單元自該透視影像萃取出多數個地圖特徵點,該同步定位與地圖建構模組中的一追蹤單元對連續兩幀的該多數個地圖特徵點進行追蹤,若該追蹤單元已成功追蹤連續兩幀的該多數個地圖特徵點,該同步定位與地圖建構模組中的一區域定位單元輸出一相機姿態資訊至一相機姿態輸出模組以及該區域地圖單元。
  2. 如請求項1所述之基於等距長方投影的全景地圖的處理方法,其中,該相機姿態輸出模組包括一輸出通道,該相機姿態資訊通過該輸出通道傳輸至一外部系統或一顯示裝置。
  3. 如請求項1所述之基於等距長方投影的全景地圖的處理方法,其中,若該追蹤單元未成功追蹤連續兩幀的該多數個地圖特徵點,一地圖 點關鍵幀生成單元存取該區域地圖單元的該三維稀疏點地圖,且令該區域地圖單元依據至少部分該等距長方投影全景影像輸出更新的該多數個地圖特徵點或一關鍵幀至該追蹤單元。
  4. 如請求項3所述之基於等距長方投影的全景地圖的處理方法,更包括:一迴環檢測單元依據一閥值消除各該多數個地圖特徵點或各該關鍵幀之間的飄移誤差,且將修正後的該多數個地圖特徵點以及該關鍵幀儲存至該區域地圖單元。
  5. 如請求項1所述之基於等距長方投影的全景地圖的處理方法,其中,若該目標角度介於-90度至0度之間或90度至0度之間,且當該追蹤單元已成功追蹤連續兩幀的該多數個地圖特徵點,則被異物阻擋的該鏡頭改變目標角度至0度;若該目標角度介於-90度至180度或90度至180度之間,且當該追蹤單元已成功追蹤連續兩幀的該多數個地圖特徵點,則被異物阻擋的該鏡頭改變目標角度至180度。
  6. 如請求項1所述之基於等距長方投影的全景地圖的處理方法,其中,若通過該第一條件判斷該三維稀疏點地圖需要被更新時,該地圖建構模組輪流地對該全景影片檔進行順向播放或逆向播放,且該地圖建構模組依據一最小地圖特徵點數值判斷連續兩幀是否平滑地旋轉一水平旋轉角度。
  7. 如請求項6所述之基於等距長方投影的全景地圖的處理方法,其中,該地圖建構模組依據一總播放次數輪流地對該全景影片檔進行順向播放或逆向播放,當順向播放與逆向播放的次數總和等於該總播放次數時,該地圖建構模組輸出該三維稀疏點地圖至該區域地圖單元。
  8. 一種基於等距長方投影的全景地圖的處理模組,包括: 一影像擷取模組,通過多數個鏡頭擷取多數個環境影像,且產生一等距長方投影全景影像,其中當該影像擷取模組偵測到其中一該鏡頭被異物阻擋時,該影像擷取模組令被異物阻擋的該鏡頭改變一目標角度,直到該影像擷取模組偵測到被異物阻擋的該鏡頭已不被阻擋為止;一同步定位與地圖建構模組,耦接該影像擷取模組,該同步定位與地圖建構模組包括一透視轉換單元、一特徵點萃取單元、一追蹤單元以及一區域定位單元,該同步定位與地圖建構模組讀取該等距長方投影全景影像、二進位格式的一三維稀疏點地圖以及一水平角度,且將該三維稀疏點地圖儲存於該區域定位單元;該透視轉換單元根據該水平角度將該等距長方投影全景影像進行即時地透視轉換,而產生一透視影像;該特徵點萃取單元自該透視影像萃取出多數個地圖特徵點;該追蹤單元對連續兩幀的該多數個地圖特徵點進行追蹤,若該追蹤單元已成功追蹤連續兩幀的該多數個地圖特徵點,該區域定位單元輸出一相機姿態資訊至一區域地圖單元;以及一相機姿態輸出模組,耦接該同步定位與地圖建構模組,且自該區域定位單元接收該相機姿態資訊;其中,若通過一第一條件判斷該三維稀疏點地圖需要被更新時,該同步定位與地圖建構模組錄製多數個該等距長方投影全景影像以產生一全景影片檔,一地圖建構模組接收該全景影片檔,且輸出該三維稀疏點地圖至一區域地圖單元;若通過該第一條件判斷該三維稀疏點地圖不需被更新時,該同步定位與地圖建構模組讀取該等距長方投影全景影像、該三維稀疏點地圖以及該水平角度。
  9. 如請求項8所述之基於等距長方投影的全景地圖的處理模組,其中,該相機姿態輸出模組包括一輸出通道,該相機姿態資訊通過該輸出通道傳輸至一外部系統或一顯示裝置。
  10. 如請求項8所述之基於等距長方投影的全景地圖的處理模組,其中,若該目標角度介於-90度至0度之間或0度至90度之間,且當該追蹤單元已成功追蹤連續兩幀的該多數個地圖特徵點,則被異物阻擋的該鏡頭改變目標角度至0度;若該目標角度介於-90度至180度之間或90度至180度之間,且當該追蹤單元已成功追蹤連續兩幀的該多數個地圖特徵點,則被異物阻擋的該鏡頭改變目標角度至180度。
  11. 如請求項8所述之基於等距長方投影的全景地圖的處理模組,其中,若該追蹤單元未成功追蹤連續兩幀的該多數個地圖特徵點,一地圖點關鍵幀生成單元存取該區域地圖單元的該三維稀疏點地圖,且令該區域地圖單元依據至少部分該等距長方投影全景影像輸出更新的該多數個地圖特徵點或一關鍵幀至該追蹤單元。
  12. 如請求項11所述之基於等距長方投影的全景地圖的處理模組,更包括一迴環檢測單元,該迴環檢測單元依據一閥值消除各該多數個地圖特徵點或各該關鍵幀之間的飄移誤差,且將修正後的該多數個地圖特徵點以及該關鍵幀儲存至該區域地圖單元。
TW108147549A 2019-12-25 2019-12-25 基於等距長方投影的全景地圖的處理模組及其處理方法 TWI732398B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108147549A TWI732398B (zh) 2019-12-25 2019-12-25 基於等距長方投影的全景地圖的處理模組及其處理方法
US17/101,424 US11102406B2 (en) 2019-12-25 2020-11-23 Device of panoramic map based on an equirectangular projection and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108147549A TWI732398B (zh) 2019-12-25 2019-12-25 基於等距長方投影的全景地圖的處理模組及其處理方法

Publications (2)

Publication Number Publication Date
TW202125282A TW202125282A (zh) 2021-07-01
TWI732398B true TWI732398B (zh) 2021-07-01

Family

ID=76546794

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147549A TWI732398B (zh) 2019-12-25 2019-12-25 基於等距長方投影的全景地圖的處理模組及其處理方法

Country Status (2)

Country Link
US (1) US11102406B2 (zh)
TW (1) TWI732398B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130314442A1 (en) * 2012-05-23 2013-11-28 Qualcomm Incorporated Spatially registered augmented video
CN108053473A (zh) * 2017-12-29 2018-05-18 北京领航视觉科技有限公司 一种室内三维模型数据的处理方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839547B2 (en) * 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130314442A1 (en) * 2012-05-23 2013-11-28 Qualcomm Incorporated Spatially registered augmented video
CN108053473A (zh) * 2017-12-29 2018-05-18 北京领航视觉科技有限公司 一种室内三维模型数据的处理方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法

Also Published As

Publication number Publication date
TW202125282A (zh) 2021-07-01
US11102406B2 (en) 2021-08-24
US20210203843A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US10805531B2 (en) Image processing system, image generation apparatus, and image generation method
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
US20110285810A1 (en) Visual Tracking Using Panoramas on Mobile Devices
US9177384B2 (en) Sequential rolling bundle adjustment
US10165157B2 (en) Method and device for hybrid robotic/virtual pan-tilt-zoom cameras for autonomous event recording
WO2017088678A1 (zh) 长曝光全景图像拍摄装置和方法
CN100437639C (zh) 图像处理装置和图像处理方法
CN105488775A (zh) 一种基于六摄像机环视的柱面全景生成装置及方法
US11580616B2 (en) Photogrammetric alignment for immersive content production
CN110022439B (zh) 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
US11657477B2 (en) Image processing device, image processing system, imaging device, image processing method, and recording medium storing program code
WO2021238317A1 (zh) 一种全景拍摄方法及设备
TWI732398B (zh) 基於等距長方投影的全景地圖的處理模組及其處理方法
US20160127617A1 (en) System for tracking the position of the shooting camera for shooting video films
CN111955005B (zh) 处理360度图像内容的方法和系统
CN114898084B (zh) 视觉定位方法、设备和存储介质
WO2019100216A1 (zh) 3d建模方法、电子设备、存储介质及程序产品
KR101790994B1 (ko) 회전 가능한 360도 카메라 기반의 360도 영상 구현 시스템
US10708501B2 (en) Prominent region detection in scenes from sequence of image frames
TW202036369A (zh) 影像處理裝置及其方法
US10013736B1 (en) Image perspective transformation system
TWI823491B (zh) 深度估計模型的優化方法、裝置、電子設備及存儲介質
CN113992857B (zh) 基于十亿级像素的图像采集、识别与分类存储方法和装置
TWI769782B (zh) 用於影像縫合優化之方法及電腦可讀儲存媒介