TWI699661B

TWI699661B - 場景模型之建構系統及其建構方法

Info

Publication number: TWI699661B
Application number: TW108124504A
Authority: TW
Inventors: 陳冠文; 李佳旻; 陳昱達; 黃翊庭
Original assignee: 台達電子工業股份有限公司
Priority date: 2019-07-11
Filing date: 2019-07-11
Publication date: 2020-07-21
Also published as: TW202103022A

Abstract

一種場景模型的建構方法，包含下列步驟：根據複數個場景資料中的位置參數，將場景資料分類至複數個位置分群。根據場景資料彼此間的場景相似度，將場景資料再分類於複數個第一相似影像子分群及複數個第二相似影像子分群中。分別根據第一相似影像子分群及第二相似影像子分群，建立第一相似影像子模型及第二相似影像子模型。將第一相似影像子模型整合為第一位置模型，且將第二相似影像子模型整合為第二位置模型。最後，將第一位置模型及第二相似影像子模型整合為場景模型。

Description

場景模型之建構系統及其建構方法

本揭示內容係關於一種場景模型的建構系統及其建構方法，特別是能對多張場景模型分類，進而建立出立體模型之技術。

目前已有許多建構立體場景模型的方法，但都需要對大量數據進行運算，對於軟體體設備的要求皆極高，而很難普及到一般的使用者。此外，在蒐集大量的場景資料（如：影像），以建構立體場景的方式中，每個場景資料之間亦可能因為使用的座標參數不同，而存在有誤差，難以加以整合。因此，需要一種較為有效率且可提昇整合精確性的建構技術。

本揭示內容之一態樣為一種場景模型之建構方法，包含下列步驟：根據複數個場景資料之複數個位置參數，將場景資料分類於複數個位置分群。位置分群中之第一位置分群所包含的場景資料作為第一分群資料。位置分群中之第二位置分群所包含的場景資料作為複數個第二分群資料。基於第一分群資料彼此間的場景相似度，將第一分群資料分類於複數個第一相似影像子分群中，以作為複數個第一子分群資料。基於第二位置分群資料彼此間的場景相似度，將第二分群資料分類於複數個第二相似影像子分群中，以作為複數個第二子分群資料。根據第一相似影像子分群建立複數個第一相似影像子模型，且根據第二相似子影像分群建立複數個第二相似影像子模型。將第一相似影像子模型整合為第一位置模型，且將第二相似影像子模型整合為第二位置模型。將第一位置模型及第二位置模型整合為場景模型。

本揭示內容之另一態樣為一種場景模型之建構系統，包含複數個終端裝置及處理器。終端裝置用以傳送複數個幀資料。處理器用以自終端裝置接收幀資料，以取得複數個場景資料。處理器用以根據場景資料中的複數個位置參數，將場景資料分類於複數個位置分群，再根據場景資料間的複數個場景相似度，將位置分群分類為複數個相似影像子分群。處理器還用以根據相似影像子分群建立複數個相似影像子模型，再將相似影像子模型整合為複數個位置模型，且將位置模型整合為場景模型。

據此，由於本揭示內容利用了雙層架構依序分類場景資料（位置、相似度），因此能有效縮減運算時間。同時，透過雙層架構依序整合出立體模型時，亦能改善模型整合時可能產生之誤差。

以下將以圖式揭露本案之複數個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本案。也就是說，在本揭示內容部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。

於本文中，當一元件被稱為「連接」或「耦接」時，可指「電性連接」或「電性耦接」。「連接」或「耦接」亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用「第一」、「第二」、…等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。除非上下文清楚指明，否則該用語並非特別指稱或暗示次序或順位，亦非用以限定本發明。

請參閱第1及2圖所示，第1圖為根據本揭示內容之部分實施例所繪示的建構系統100的示意圖。第2圖則為建構系統100所執行的建構方法的示意圖。建構系統100用以接收場景資料，並建立對應的立體場景模型。

在部份實施例中，建構系統100包含伺服器110及多個終端裝置120。伺服器110透過網際網路N與終端裝置120相連線。請參閱第3圖所示，終端裝置120可為智慧型手機、網路設備、個人電腦等具有網路連線能力之裝置，用以將多張幀資料Din1、Din2、Din3上傳網際網路N，並透過網際網路，將幀資料Din1、Din2、Din3傳送至伺服器110。幀資料Din1、Din2、Din3可分別為不同的靜態影像（如：照片），也可為包含多張畫面的一個動態影像（如：影片）。

伺服器110中包含處理器111，用以自終端裝置120接收幀資料Din1、Din2、Din3，並由幀資料Din1、Din2、Din3中取得多個場景資料Din。請參閱第2圖所示，在部份實施例中，伺服器110之處理器111接收到幀資料Din1、Din2、Din3後，將比對幀資料Din1、Din2、Din3中兩相鄰的幀資料，以產生複數個變化量（即，Din1、Din2之間的變化量，或Din2、Din3之間的變化量）。伺服器110之處理器111根據變化量產生場景資料。舉例而言，幀資料Din1、Din2之間的變化極小，而幀資料Din2、Din3之間則有明顯變化，則伺服器110之處理器111判斷變化量大於門檻值的情況下，將會保留幀資料Din2、Din3作為場景資料Din。至於幀資料Din1，因為與幀資料Din2相似，故可省略。據此，將能減少伺服器110在後續處理時的運算負荷。

每一個場景資料Din中皆包含一個位置參數，位置參數可為根據全球定位系統（Global Positioning System，GPS）的座標或者經緯度數據，用以代表場景資料Din所呈現的內容所對應的位置。伺服器110之處理器111根據位置參數，將場景資料Din分類於複數個位置分群G1、G2（Location Clustering），再根據場景資料Din間的場景相似度，將位置分群G1、G2分類為複數個相似影像子分群G1A、G1B、G2A、G2B。伺服器110之處理器111還用以根據相似影像子分群G1A、G1B、G2A、G2B建立相似影像子模型M1A、M1B、M2A、M2B，再將相似影像子模型M1A、M1B、M2A、M2B整合為位置模型ML1、ML2。最後，伺服器110之處理器111即可將位置模型ML1、ML2整合為場景模型Mout。

如第2圖所示，伺服器110係先根據位置參數，對場景資料Din進行第一層的分群，接著，再根據已分群的場景資料Din間的相似度，進行第二層的分群。透過前述「雙層分群」的技術概念，將場景資料Din依序細分為多個影像子分群，能更精確且有效率地整合資訊，並減少運算的時間。同時，在整合出立體模型時，同樣是根據雙層分群的概念依序整合，先整合出小型的相似影像子模型，在整合出中型的位置模型，最後整合產生場景模型Mout。據此，場景模型Mout的建構方法將更有效率、且大幅降低運算的負荷。

此外，前述建構方法不僅能改善處理器111所需之運算量，同時，使用者亦可透過終端裝置120，任意拍攝各場景的影片，作為場景資料Din上傳到伺服器110，讓一般的使用者亦可利用網際網路N，連上伺服器110，建構出場景模型Mout。

為便於說明本揭示內容的實施細節，如第2圖所示，在部份實施例中，位置分群之第一位置分群GL1所包含的場景資料Din係作為第一分群資料D1。位置分群中之第二位置分群GL2所包含的場景資料Din作為第二分群資料D2。此外，相似影像子分群包含第一相似影像子分群G1A、G1B及第二相似影像子分群G2A、G2B。第一相似影像子分群G1A、G1B用以建立第一相似影像子模型M1A、M1B。第二相似影像子分群G2A、G2B用以建立第二相似影像子模型M2A、M2B。位置模型包含第一位置模型ML1及第二位置模型ML2。

承上，伺服器110之處理器111根據第一分群資料D1間的場景相似度（similarity），將第一分群資料D1分類於第一相似影像子分群G1A、G2B中，以作為第一子分群資料D1A、D1B。同理，處理器111還用以根據第二位置分群資料D2彼此間的場景相似度，將第二分群資料D2分類於第二相似影像子分群G2A、G2B中，以作為第二子分群資料D2A、D2B。第一子分群資料D1A、D1B及第二子分群資料D2A、D2B與場景資料Din相同，皆為幀資料，但被分類於不同的集合中。為便於說明本揭示內容的各流程，在此以不同名稱稱呼之。

請參閱第4圖所示，為根據本揭示內容之部分實施例所繪示的建構方法的流程圖。在此說明本揭示內容之建構方法的各項步驟。在步驟S401中，伺服器110接收終端裝置120傳來的多個場景資料Din。在部份實施例中，場景資料Din可由不同終端裝置120於不同時間傳送至伺服器110。

在步驟S402中，伺服器110根據場景資料Din的位置參數，將場景資料Din分類於多個位置分群中。請參閱第1圖所示，在部份實施例中，伺服器110包含處理器111、儲存單元112及傳輸單元113。儲存單元112用以儲存有複數個區域資料，每個區域資料用以代表一個預設區域的位置參數（如：「A街區」，或可由GPS座標劃分），且每個區域資料對應於一個位置分群。在傳輸單元113將接收到場景資料Din傳給處理器111後，處理器111將場景資料Din中的位置參數與區域資料內的位置參數相比對，以將場景資料Din分類至對應的位置分群。在第3圖所示之實施例中，位置分群包含第一位置分群GL1、第二位置分群GL2，但在其他部份實施例中，位置分群的數量可任意調整。如前所述，第一位置分群GL1所包含的場景資料Din作為第一分群資料D1，第二位置分群GL2所包含的場景資料Din作為第二分群資料D2。

在步驟S403中，處理器111計算第一分群資料D1間的場景相似度。舉例而言，若兩個第一分群資料D1呈現的畫面都是「學校」，且畫面中有70％相同，則場景相似度即為70％。場景相似度的計算方式將於後續段落中詳述。

在步驟S404中，處理器111根據第一分群資料D1之間的場景相似度，進一步將第一分群資料D1分類到第一相似影像子分群G1A、G1B中，並作為第一子分群資料D1A、D1B。舉例而言，第一相似影像子分群G1A為「學校正門」、第一相似影像子分群G1B為「學校圍牆」。在部份實施例中，若處理器111係將場景相似度大於門檻值（如：70％）的第一分群資料D1分類至同一個相似影像子分群。同理，處理器111根據第二分群資料D2之間的場景相似度，進一步將第二分群資料D2分類到第二相似影像子分群G2A、G2B中，並作為第二子分群資料D2A、D2B。

在步驟S405中，在分類出第一相似影像子分群G1A、G1B及第二相似影像子分群G2A、G2B後，處理器111根據第一相似影像子分群G1A、G1B建立第一相似影像子模型M1A、M1B，且根據第二相似子影像分群G2A、G2B建立第二相似影像子模型M2A、M2B。

在步驟S406中，處理器111將第一相似影像子模型M1A、M1B整合（combine）為第一位置模型ML1，且將第二相似影像子模型M2A、M2B整合為第二位置模型ML2。最後，在步驟S407中，處理器111將第一位置模型ML1及第二位置模型ML2整合為場景模型Mout。

在部份實施例中，伺服器111將產生的場景模型Mout儲存於儲存單元112中，用以提供雲端服務（例如：地圖實景、虛擬影像引擎等）。場景模型Mout可為三維的空間地圖資訊，當在終端裝置120傳送一個定位請求訊息至伺服器110時，伺服器111會根據定位請求訊息中的一個當前幀資料（如：終端裝置120擷取到的影像）與場景模型Mout進行比對，以取得一個空間座標資訊。例如：判斷出當前幀資料係對應於位置分群G1或位置分群G2，再根據比對到的對應場景資料，取得位置參數。伺服器111將空間座標資訊傳送給終端裝置120。據此，使用者即可快速且準確地利用伺服器110中之場景模型Mout，判斷出當前位置。此外，終端裝置120亦可定期傳送定位請求訊息至伺服器110，使伺服器110得以追蹤終端裝置120之移動軌跡，實現定位追蹤服務。

在其他實施例中，在終端裝置120傳送一個瀏覽請求訊息（如：要求瀏覽線上地圖實景、或要求啟動線上虛擬影像引擎等）至伺服器110時，處理器111亦可將針對要求訊息，根據場景模型Mout產生對應的一筆立體影像資料，並將立體影像資料傳送至終端裝置120，以提供對應的雲端服務。

在部份實施例中，處理器111係根據光流法（optical flow），計算多張幀資料（如：prune image frames）Din1、Din2、Din3中兩相鄰的幀資料間的變化量。處理器111將選擇幀資料Din1、Din2、Din3中變化量大於門檻值的幀資料Din1、Din2、Din3，以作為場景資料Din，或稱關鍵幀（Key frame）。同樣地，處理器111亦能透過光流法，計算第一分群資料D1或第二分群資料D2之間的場景相似度。

此外，處理器111亦能利用特徵向量，計算場景相似度。以第一位置分群GL1中的第一分群資料D1為例，處理器111分別擷取每個第一分群資料D1中的複數個特徵點，該些特徵點對應至多個特徵向量。請參閱第5圖所示，處理器111能透過特徵資訊演算法（如：SURF、SIFT、ORB），由第一分群資料D1中分別擷取多個局部區域作為特徵點，產生特徵點資料D1X，接著，再將每個特徵點解析為特徵向量（如：包含64或128個維度的數值集合），以取得特徵向量資料D1Y。特徵點、特徵向量可視為每個第一分群資料D1的關鍵特徵，因此，處理器111比對每個第一分群資料間相對應之特徵點及特徵向量，即可取得該些第一分群資料彼此間的場景相似度。

在此說明將相似影像子模型整合成位置模型的方式。以第一相似影像子模型M1A、M1B為例，處理器111會判斷第一相似影像子模型M1A、M1B所對應的第一相似影像子分群G1A、G1B，再從第一相似影像子分群G1A、G1B中找出相似部位，作為連接點，合併第一相似影像子模型M1A、M1B。具體來說，在部份實施例中，若處理器111要合併第一相似影像子模型M1A、M1B，則處理器111先比對對應之第一子分群資料D1A、D1B，判斷第一子分群資料D1A及第一子分群資料D1B之間的多個特徵相似度。特徵相似度大於預定值者，即可視為第一子分群資料D1A及第一子分群資料D1B間的連接部位（例如：第一子分群資料D1A及第一子分群資料D1B間都具有相同影像「學校的圍牆」）。處理器111將特徵相似度大於預定值的那些第一子分群資料D1A、D1B設定為「二維連接點」，並透過二維連接點，將第一相似子模型M1A、M1B整合為第一位置模型ML1。同樣地，處理器111能以相同方式將第二相似子模型M2A、M2B整合為第二位置模型ML2。

請參閱第3圖所示，在部份實施例中，在處理器111計算出第一分群資料D1彼此間的場景相似度後，還會根據第一分群資料D1彼此間的場景相似度，排列第一分群資料D1，以根據被分類到第一相似影像子分群G1A中的所有第一子分群資料D1A建立出一個索引結構樹（Vocabulary Tree，亦即，每個相似影像子分群都能被整理為一個索引結構樹）。如第6圖所示，為索引結構樹51之示意圖。在索引結構樹51中，越相似的第一子分群資料D1的分配位置將會越近，且每個第一子分群資料D1A係作為索引結構樹51中的一個二維結構點511～513。例如：二維結構點511、512較為接近，代表其對應的第一子分群資料D1相似度較高。同樣地，分類到第一相似影像子分群G1B中的所有第一子分群資料D1B能被建立為另一個索引結構樹。索引結構樹用以索引第一相似影像子分群G1A、G1B中的各個第一子分群資料D1A、D1B。

承上，處理器111可利用索引結構樹，找出第一相似影像子分群G1A與第一相似影像子分群G1B的連接點，以合併第一相似子模型M1A、M1B。請參閱第7圖所示，係兩個索引結構樹61、62之示意圖。其中，索引結構樹61對應於第一相似影像子分群G1A，索引結構樹62對應於第一相似影像子分群G1B。索引結構樹61包含多個二維結構點61A～61C及611～615。索引結構樹62亦包含多個二維結構點62A～62C及621～624。如前所述，每個二維結構點分別對應於第3圖所示之第一子分群資料D1A、D1B。當建立第一相似影像子模型M1A、M1B後，處理器111會比對不同索引結構樹61、62間的所有二維結構點，以取得二維結構點彼此間的特徵相似度。舉例而言，處理器111會判斷索引結構樹61中的二維結構點611和索引結構樹62中的所有二維結構點62A～62C及621～624的特徵相似度，若特徵相似度大於預定值（如：80％），代表兩者可被視為相同，可被設定為「二維連接點」。如第6圖所示，二維結構點614、622間的特徵相似度大於預定值，處理器111即可將二維結構點614、622設定為二維連接點，用以合併第一相似子模型M1A、M1B。

如第7圖所示，若處理器111比對所有的二維連接點後，發現二維連接點614、622之間的相似度最高，且相似度大於預定值「80％」，則處理器111將設定二維連接點614、622為二維連接點。在找出索引結構樹61、62中的二維連接點後，即可根據二維連接點，推算出第一相似影像子模型M1A、M2A之間相同的立體區塊（如：特定的座標位置），以將第一相似影像子模型M1A、M2A整合為該第一位置模型ML1。

在前述實施例中，處理器111係比對索引結構樹61、62中所有二維結構點，以計算出特徵相似度。在其他部份實施例中，處理器111亦可僅針對索引結構樹61、62中位於最末端的二維結構點（leaf），比對彼此間的特徵相似度。亦即，處理器111將無須比對二維結構點61A～61C及62A～62C與其他二維結構點的相似度。由於索引結構樹61、62中位於最末端的二維結構點，即代表第一相似影像子模型M1A中位於立體模型外圍的區塊，因此此一方式將能降低處理器111所需的運算量。

在部份實施例中，第一相似影像子模型M1A、M1B、第二相似影像子模型M2A、M2B、第一位置模型ML1、第二位置模型ML2皆為由多個座標點構成的立體模型，又稱「點雲」。處理器111可透過運動回復結構（Structure from Motion, SFM）演算法，根據相似影像子分群G1A、G1B、G2A、G2B中的子分群資料D1A、D1B、D2A、D2B建立為立體的點雲模型，即，相似影像子模型M1A、M1B、M2A、M2B。在點雲模型中，每個座標點可視為一個三維結構點。請參閱第8A及8B圖所示，為第一位置模型ML1、第二位置模型ML2的「點雲」局部示意圖。第一位置模型ML1包含多個第一三維結構點71～73。第二位置模型ML2包含多個第二三維結構點74～76。

在部份實施例中，當處理器合併為第一位置模型ML1、第二位置模型ML2時，會先取得第一位置模型ML1、第二位置模型ML2中的多個第一三維結構點71～73及多個第二三維結構點74～76。接著，比對第一三維結構點71～73及第二三維結構點74～76，以取得第一三維結構點71～73及第二三維結構點74～76間的第一空間相似度。舉例而言，處理器111判斷第一三維結構點71與第二三維結構點73的第一空間相似度，若第一空間相似度大於預定值（如：85％），則將第一三維結構點71與第二三維結構點73設定為三維連接點。當找出第一位置模型ML1、第二位置模型ML2間的三維連接點後，處理器111即可將第一位置模型ML1、第二位置模型ML2整合為場景模型Mout。

在部份實施例中，處理器111在整合第一位置模型ML1、第二位置模型ML2時，可僅選擇位於第一位置模型ML1、第二位置模型ML2最外圍的三維結構點來進行比對，因為第一位置模型ML1、第二位置模型ML2的合併位置通常是出現在外圍區域。亦即，處理器111比對之第一三維結構點位於第一位置模型ML1的最外圍、第二三維結構點位於第二位置模型ML2的最外圍。

此外，當處理器根據三維連接點，整合第一位置模型ML1、第二位置模型ML2時，由於第一位置模型ML1、第二位置模型ML2間的距離、比例及方向上都可能存在差異，即便將第一位置模型ML1、第二位置模型ML2中相對應的三維連接點合併在一起，整合出的立體模型亦可能有誤差。因此，在部份實施例中，處理器111還能根據相似影像子模型，對場景模型Mout進行調校。

請參閱第9A～9C圖所示，為第一相似影像子模型M1A及第二相似影像子模型M2A的示意圖。第一相似影像子模型M1A包含多個三維結構點81～83，第二相似影像子模型M2A亦包含多個三維結構點84～86。

在處理器111將第一相似影像子模型M1A、M1B整合為第一位置模型ML1、將第二相似影像子模型M2A、M2B整合為第二位置模型ML2，且根據前述方式，根據三維連接點整合第一位置模型ML1及第二位置模型ML2時，處理器111還用以取得第一相似影像子模型M1A、M1B與第二相似影像子模型M2A、M2B中實質上相同的複數個三維結構點。「實質上相同的三維結構點」的判斷方式如前述，可選擇彼此之間空間相似度高的三維結構點。例如：第9A及9B圖所示之三維結構點81～83及84～86。

承上，根據挑選出的相同的三維結構點81～83及84～86，處理器111調整第一位置模型ML1及第二位置模型ML2於空間中的配置（如：調整座標方向、改變空間結構的比例等），使得第一位置模型ML1於空間中的三維結構點81～83與第二位置模型ML2於空間中的三維結構點84～86的位置能相互對應。如第9C圖所示，若三維結構點81實質上與三維結構點84相同，則處理器111能透過演算法（如： Iterative Closest Point 演算法），計算出拼接方式（如：將第一位置模型ML1轉動一個調整角度R），以使對應之三維結構點81、84重合，據此，即可讓第一位置模型ML1及第二位置模型ML2準確地合併為場景模型Mout。

亦即，在根據第一位置模型ML1及第二位置模型ML2間的三維連接點進行整合時，第一位置模型ML1及第二位置模型ML2間可能會因為座標參數的不同，而有距離、方向上的誤差。因此，藉由進一步比對相似影像子模型，並根據相似影像子模型間實質相同的三維連接點做調整，即可校正誤差，以正確地產生場景模型Mout。

前述各實施例中的各項元件、方法步驟或技術特徵，係可相互結合，而不以本揭示內容中的文字描述順序或圖式呈現順序為限。

雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本發明內容，任何熟習此技藝者，在不脫離本發明內容之精神和範圍內，當可作各種更動與潤飾，因此本發明內容之保護範圍當視後附之申請專利範圍所界定者為準。

100:建構系統

110:伺服器

111:處理器

112:儲存單元

113:傳輸單元

120:終端裝置

Din:場景資料

Din1:幀資料

Din2:幀資料

Din3:幀資料

D1:第一分群資料

D2:第二分群資料

D1A:第一子分群資料

D1B:第一子分群資料

D2A:第二子分群資料

D2B:第二子分群資料

GL1:第一位置分群

GL2:第二位置分群

G1A:第一相似影像子分群

G1B:第一相似影像子分群

G2A:第二相似影像子分群

G2B:第二相似影像子分群

M1A:第一相似影像子模型

M1B:第一相似影像子模型

M2A:第二相似影像子模型

M2B:第二相似影像子模型

ML1:第一位置子模型

ML2:第二位置子模型

Mout:場景模型

S401~S407:步驟

D1X:特徵點資料

D1Y:特徵向量資料

51:索引結構樹

511~513:二維結構點

61:索引結構樹

61A~61C:二維結構點

611~615:二維結構點

62:索引結構樹

62A~62C:二維結構點

621~624:二維結構點

71~73:第一三維結構點

74~76:第二三維結構點

81~86:三維結構點

R:調整角度

N:網際網路

第1圖為根據本揭示內容之部分實施例所繪示的建構系統的示意圖。第2圖為根據本揭示內容之部分實施例所繪示的場景資料的示意圖。第3圖為根據本揭示內容之部分實施例所繪示的建構方法的運作方式示意圖。第4圖為根據本揭示內容之部分實施例所繪示的建構系統方法的流程圖。第5圖為本揭示內容之部分實施例中取得特徵向量之示意圖。第6圖為本揭示內容之部分實施例中之索引結構樹示意圖。第7圖為本揭示內容之部分實施例中之多個索引結構樹之相對關係示意圖。第8A～8B圖為本揭示內容之部分實施例中位置模型的點雲結構示意圖。第9A～9C圖為本揭示內容之部分實施例中相似影像子模型的點雲結構示意圖。