TW202115681A - 立體格局圖產生方法與系統 - Google Patents

Abstract

說明書公開一種立體格局圖產生方法與系統，系統設有主機，其中儲存由全景攝影機拍攝而取得涵蓋一空間中多個區域的全景圖，並執行深度學習以由全景圖產生立體格局圖，在方法中，先取全景圖，利用影像處理技術辨識並標記各區域全景圖中的物件、分類物件，通過深度學習方法根據物件屬性辨識出各區域的空間型態，接著根據各區域的空間型態得出尺寸與格局，以及於各全景圖中定位各區域中的點與線，點與線形成空間內多個區域之間的邊界與相對關係，經結合各區域尺寸與格局，執行一立體空間建模，以形成一立體格局圖。

Description

立體格局圖產生方法與系統

本發明關於一種立體格局圖產生的技術，特別是指基於深度學習方法執行影像辨識與辨識空間型態而生成立體格局圖的方法與系統。

隨著影像辨識技術逐漸成熟，許多的影像應用因應而生，例如有拍攝全景圖（panorama）的技術、取得360度空間圖的技術等，形成立體影像的方式為依據影像的邊界拼接多張影像，且一次僅能處理一個空間的影像。

對於較為複雜與多區域的全景影像處理，習知技術尚缺乏有效形成立體格局圖的方法。

說明書揭示一種立體格局圖產生方法與系統，其目的之一是能根據拍攝的全景圖（panorama）利用深度學習方法取得影像特徵，辨識其中物件與空間的關係，進一步建模而產生立體格局圖。

根據實施例之一，所提出的立體格局圖產生系統包括一主機，其中設有一或多個處理器與儲存器，儲存器儲存由拍攝裝置拍攝而取得涵蓋一空間的一或多張影像，其中一或多張影像為對應此空間內的一或多個區域的全景圖，由處理器執行實現影像辨識之人工智慧的一或多個深度學習方法，以執行一立體格局圖產生方法。

在立體格局圖產生方法中，先取得涵蓋一空間的一或多張影像，一或多張影像為對應空間內的一或多個區域的全景圖，接著利用影像處理技術辨識並標記各區域全景圖中的一或多個物件，並且分類各全景圖中的一或多個物件，用以辨識各區域的空間型態，之後，能根據空間內的一或多個區域的空間型態得出各區域的尺寸與格局。

通過影像處理，還能於各全景圖中定位空間中各區域的點與線，得出點與線在各區域的位置，之後通過結合空間的各全景圖的一或多個物件，可依據各區域的點與線形成一立體格局圖。

優選地，方法中用以辨識各影像中一或多個物件以及辨識各區域的空間型態的影像處理技術採用深度學習方法，可以根據辨識得出各區域的一或多個物件的屬性來辨識出各區域的空間型態。

進一步地，所述空間包括有多個區域，各區域的全景圖定位出的點與線形成多個區域之間的邊界與相對關係，配合各區域中的一或多個物件與空間型態得出多個區域之間的連接關係，執行一立體空間建模，以結合多個區域以形成立體格局圖。

優選地，在所述空間中，由各全景圖辨識的各物件為室內區域內的門、窗、牆、家具與擺設的其中之一，其中採用的深度學習方法之一為雙投射網路，其中採用等距長方全景視圖與透視天花板視圖，根據各區域的全景圖預測各區域的一立體空間的格局。

更者，辨識各影像中物件以及辨識各區域的空間型態的深度學習方法更可包括一深度殘差網路，用於影像識別與分類，以快速地識別與分類各區域的格局。

所述深度學習方法的再一方法為一偵測網路的深度學習演算法，能於分析各區域的全景圖後，從影像中特徵識別出各區域中一或多個物件，並執行定位。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

說明書公開一種立體格局圖產生方法與系統，方法為基於取得的一或多張全景圖，或者進一步地，先取得一個空間（包括多個區域）的多張全景圖。所述全景圖（panorama）是一種影像涵蓋視野達到全景左右360度、上下180度的視野的廣角圖，其應用之一可用於擴增實境（AR）或是虛擬實境（VR）場景，讓使用者穿戴特定虛擬實境裝置時，可以自由地在左右360度與上下180度的視野中瀏覽場景。

圖1顯示拍攝全景圖的裝置實施例示意圖，在此實施例中，終端裝置包括一拍攝影像的拍攝裝置11，拍攝裝置11實現一種全景攝影機（panoramic camera），較佳是配備有可以拍攝超廣角影像的魚眼鏡頭；可以為手機，其中照相機可能不具備魚眼鏡頭的能力，但可以通過外掛鏡頭15的方式達成。

若為了要拍攝整個場景的全景圖，需要涵蓋左右360度與上下180度的視野，此例中，即將拍攝裝置11安裝於一可帶動旋轉拍攝整個場景的承載裝置13，通過旋轉機構135承載拍攝裝置11，其中設有可以帶動拍攝裝置11旋轉的馬達，如步進馬達。

承載裝置13為可以程式化的裝置，可以依照拍攝裝置11的鏡頭15每次拍攝視場的涵蓋範圍決定拍攝每張影像的旋轉角度。例如，當鏡頭15為可以涵蓋上下左右180度視野的鏡頭，為了要拍攝涵蓋左右360度與上下180度視野的全景圖，至少需要在第一次拍攝後，旋轉180度後進行第二次拍攝，如此才能得到涵蓋左右360度與上下180度的全景圖。或者，可以根據鏡頭15涵蓋的視野，通過幾次旋轉後拍攝多次，每次拍攝的影像僅涵蓋特定角度的視野，多張影像之間將包括重疊的特徵，如邊界或角落等區域，作為拼接影像的依據。

經拍攝裝置11配合承載裝置13完成全景圖拍攝後，影像資料除了可以通過拍攝裝置11內處理能力與相關軟體程序達成拼接後形成全景圖，更可以通過網路10或直接連線傳送到主機14（另不排除可以傳送到特定雲端系統處理影像），由主機14執行影像處理，完成拼接而形成全景圖。最後，可以將形成的全景圖儲存在主機14內，或是通過網路10傳送到特定雲端系統，或是分享出去。

需要一提的是，圖1所記載的實施例僅為拍攝全景影像的實施例之一，並非用於限制揭露書所揭示的形成全景圖的方法實施範圍。

在揭露書提出的立體格局圖產生系統，可以以上述主機14或是其他另外提供的主機執行立體格局圖產生方法，主機設有一或多個處理器與儲存器，儲存器可儲存由上述拍攝裝置拍攝而取得涵蓋空間的一或多張影像，一或多張影像為對應空間內的一或多個區域的全景圖，一或多個處理器用以執行實現影像辨識之人工智慧的一或多個深度學習方法，以執行立體格局圖產生方法，在方法中，依據所取得一個空間的一或多張全景圖產生立體格局圖，可參考圖2所示立體格局圖產生方法的流程圖。

在此方法中，從特定資料庫或是由上述實施例描述的拍攝裝置取得涵蓋一個空間的多張影像（步驟S201），這些影像為此空間內一或多個區域對應的全景圖，特別以室內空間為例，接著是通過影像處理技術判斷其中的格局，影像處理技術，如所提出立體格局圖產生方法，採用了實現人工智慧的深度學習方法，通過深度學習演算法根據訓練產生的模型（立體空間建模）辨識影像中的物件（步驟S203）。

接著，可通過軟體程序進一步在影像中標記辨識得出的物件，例如可以文字或符號標示出全景圖中辨識得到的桌子、椅子、門、窗、電腦、燈具等，且必要時進行人工校正（步驟S205），在深度學習的方法中，其中物件標記一旦經過人工或是特定方式校正後，將可用於修正人工智慧中的影像識別參數，改善深度學習。

經辨識後的物件，通過資料庫記載的查表可進一步分類物件（步驟S207），這是可以依據各種室內空間的屬性分類物件，通過影像辨識技術以根據辨識物件，再根據每個區域中的物件屬性辨識空間型態（type）（步驟S209）。舉例來說，例如根據物件的型態判斷此空間屬於室內（有桌子、書本、電腦、窗子、門、牆、沙發等）或是室外（有樹、花、草地、藍天、陽光等）；通過顏色、物件等辨識空間為書房（有書、電腦、檯燈）、臥房（有床、沒有電腦等）、客廳（有沙發、電視、音響等）、廚房（有鍋子、水槽、瓦斯爐等）或是浴室（有浴缸、馬桶等）。

之後，由於得出了各種物件的屬性，表示也能因此估計出各物件的尺寸（dimension），使得通過影像處理技術可以判斷出這些物件屬性與物件在此區域內的空間關係估計出空間尺寸與格局（步驟S211），且進一步地，得出空間中的每個點，以對應到每張全景圖的點，因此可以定位出這個點與線在空間的位置（步驟S213）。

如此，可以結合空間的各全景圖的物件，依據各區域的點與線執行立體空間建模（modeling），形成一立體格局圖（步驟S215）。

接著，以下描述圖3顯示的流程圖，並配合圖4以圖示方法描述立體格局圖產生方法的實施例流程。

一開始，系統取得輸入影像（401，圖4），例如從資料庫或從全景攝影機拍攝取得一個空間內的多個區域的全景圖（步驟S301），一個全景圖對應一個區域，例如，一個房子內可能包括有客廳、一或多個臥室、一或多個浴室、廚房、餐廳等多個區域，每個區域依照裝潢、擺設、家具等物件形成不同的型態（type）。其中用以辨識各影像中一或多個物件以及辨識各區域的空間型態的影像處理技術採用深度學習方法（403，圖4），針對輸入的影像進行特定演算過程（如卷積演算法）取得影像特徵，進而辨識各區域影像內各種物件（步驟S303）。

所述產生立體格局圖的方法中的深度學習（deep learning）是機器學習的分支，是一種以人工神經網路為架構，對資料進行表徵學習的演算法，自動取得影像中足以代表影像特性的特徵（feature），如圖4顯示，可以綜合採用雙投射網路（DuLa-Net（Dual-Projection Network））403a、深度殘差網路（ResNet（Deep Residual Network））403b與偵測網路（Detection Network，DetectNet）403c。

在雙投射網路403a中，採用等距長方全景視圖（equirectangular panorama view）與透視天花板視圖（perspective ceiling view）等習知的立體影像展示技術，以能根據各區域的全景圖預測各區域的一立體空間的格局。深度殘差網路403b則是用於影像識別與分類，以快速地識別與分類各區域的格局。在偵測網路403c中，於分析各區域的全景圖後，從影像中特徵識別出各區域中該一或多個物件，並執行定位。

通過上述深度學習方法後，初步判斷出空間格局、識別影像中物件，並分類物件（405，圖4），深度學習得出的結果如圖4所示，包括預測空間格局405a、識別與分類空間格局405b與識別空間物件405c。

之後，利用軟體程序標記物件（步驟S305），根據上述物件辨識的結果在各區域的全景圖中標記一或多個物件，在影像中形成標註物件（407，圖4），若空間的其中之一區域為一室內區域，由各全景圖辨識的各物件可能為室內區域內的門、窗、牆、家具與擺設的其中之一。之後，依照系統提出資料庫事先的分類記載，可以根據各物件的屬性分類物件（步驟S307），分類物件的目的之一是用以辨識各區域的空間型態，也就是分別出多個區域（步驟S309），以及能夠根據物件辨識各區域屬性（步驟S311），其中採用之深度學習方法可根據辨識得出各區域的一或多個物件的屬性辨識出各區域的空間型態。

同時，可以根據包括這些物件的空間進行分類（409，圖4），依照圖4顯示的範例，經過深度學習所得出的物件屬性還可繼續將空間分類如客廳409a、臥室409b與廁所409c等，實際實施並不限於這些空間型態。當經過物件辨識而判斷出各區域空間型態，還能進一步依照各種空間資訊、物件屬性而判斷各區域尺寸、格局與型式（步驟S313）。

根據圖4顯示之流程，由於所提出的空間具有多個區域，各區域佔有一定的空間比例，且依照各空間中物件關係可以判斷多個區域之間連接關係（步驟S315），並以影像識別技術，依照各全景圖的物件特性，如門、窗、天花板與牆壁，加上可辨識的角落、轉角與物件，可以用以定位空間中各區域的點與線，得出點與線在各區域的位置，並可在影像上產生定位使用的點與線（步驟S317）。

其他定位技術還包括，可在各區域中設有一參考點，使得各區域內的點與此參考點之間具有一角度與一距離關係，使得各區域內多個點之間具有角度與距離的一相對關係，成為結合多個區域時的依據，也就是依據各區域內多個點的相對關係形成立體格局圖。其中採用的即空間整合（411，圖4）技術。

舉例來說，空間整合技術如一種單一空間整合器（Single Room Integrator），用於判斷出空間中不同區域之間的連接關係，其中方法例如通過上述標註物件，如門（或窗），若有兩個區域都標註有同一個門（或窗），加上各區域邊界（boundary）的判斷，可以判斷出同一個門連結的兩個鄰接的房間，例如客廳、臥房與浴室以相同的門、窗連接。

上述得出各點之間相對關係的方式可採用一種影像對應技術（Image correspondence），經設定參考點後，可得出每個點與空間中的參考點的相對位置，以得出一個空間內每個點對應參考點的角度，之後經過識別出的邊界、點，並配合每個區域的屬性，拼接多張影像後得出整個空間的立體格局圖（步驟S319，圖4的413），如圖4顯示分別得出客廳格局413a、臥室格局413b以及廁所格局413c，執行多區域整合（415，圖4），形成全域立體格局圖（417，圖4），也就是根據上述空間中多個區域之間的邊界，以及配合各區域中的物件與空間型態得出多個區域之間的連接關係，加上各區域尺寸、格局，以及各全景圖的一或多個物件，依據各區域的點與線形成一立體格局圖（步驟S321）。

在執行多區域整合時，也就是拼接過程中，匹配空間中每個區域中有共同屬性的物件，經排列組合外，判斷出合理性（如可以根據這個空間的文化背景、種族、類型進行拼接出的結果的合理性判斷），產生最合理的組合，形成一個全域的立體格局圖。

當得出各區域的立體格局圖，系統將這些影像資訊儲存在主機中，使得日後有使用者操作瀏覽時，可以這些立體格局圖呈現內容，例如，當使用者選擇了某個觀察位置，系統即判斷對應這個觀察位置，得出在此觀察位置的空間上的每個點與線形成的全景圖，調入對應的全景圖提供使用者在此觀察位置的空間影像。

使用深度學習方法執行的立體格局圖產生方法可以參考以下實施例的描述，其中採用的深度學習方法的個別演算法為揭露書所揭示發明領域中已知技術，而為相關領域技術人員可理解而可據以實施的深度學習方法，然而，揭露書所提出的立體格局圖的方法即利用這些已知方法達成原來各深度學習方法無法預期的技術目的。

圖5描述雙投射網路（Dual-Projection Network，DuLa-Net）的深度學習方法流程，其中並同時利用了圖6描述的深度殘差網路的深度學習方法。

雙投射網路為一種深度學習架構（deep learning framework），用以根據單一全彩全景圖（RGB panorama）預測一個立體空間的格局（3D room layout），其中，為了要得到更佳的預測準確性（prediction accuracy），可先得出兩個預測結果，例如一為等距長方全景視圖（equirectangular panorama-view），另一為透視天花板視圖（perspective ceiling view），每個預測得出的全景視圖分別包括空間格局（room layout）的不同線索，使得得到更為準確的預測空間格局。其結果更能在深度學習中用於訓練預測平面圖與格局之用，若要學習更複雜的空間格局，更可引入其他包括有不同角落（corner）的空間格局的立體數據。

如圖所示，在雙投射網路的深度學習方法中，採用了兩個影像處理技術，在等距長方全景視圖的應用中，先輸入一個空間內特定區域的全景圖（501），通過特徵擷取（503）得到等距長方全景視圖，其中特徵擷取（503）的步驟利用了深度殘差網路的深度學習方法，用以識別與分類出影像中的空間格局，形成全景機率概圖（505）。另一方面，在透視天花板視圖的應用中，先取得所述區域的天花板視圖（502），同樣在特徵擷取（504）可採用深度殘差網路的深度學習方法，用以識別與分類出影像中的關於天花板的空間特徵，形成平面機率概圖（506）。之後，雙投射網路的深度學習方法進一步結合全景機率概圖（505）與平面機率概圖（506），根據兩個概圖的影像資訊，經過一個平面圖的擬合過程（floor plan fitting），形成一個二維平面圖（2D floor plan）（507），並經立體空間建模後預測區域的立體空間格局（508）。之後的流程即繼續對空間內其他區域演算產生例體格局圖，再通過如圖4的流程得到各區域點、線、多個區域之間的連接關係，建立一全域的立體格局圖。

圖6描述深度殘差網路（Deep Residual Network，ResNet）的深度學習方法流程。

深度殘差網路的深度學習方法為一種用於影像識別與分類用的深度學習方法，特色在於可快速收斂深度學習的誤差，也使得可以實現更深層的學習、提高準確度，使得有效而快速地識別（recognition）與分類（classification）空間格局。

如示意圖所示，先取得空間內各區域的全景圖601，圖中示意表示有客廳、浴室與臥室的全景圖，之後經過深度殘差網路603的演算，包括影像處理631與識別與分類632等深度學習過程，利用深度學習從大數據建立描述各種空間型態的資料集（data set），例如，資料集分別記載了描述一個室內空間的浴室、臥室、餐廳、廚房與客廳等區域的數據，此例中，最後依照深度學習得到的資料集的數據判斷出各區域為客廳605a、浴室605b與臥室605c等格局。

圖7A與7B顯示偵測網路（Detection Network，DetectNet）的深度學習成果的示意圖。

圖7A顯示一個在某一區域內單一視角的全景圖，通過偵測網路的深度學習後，可得出區域內的各種物件，並可在全景圖中標記出來，如圖7B所示的物件一701、物件二702、物件三703、物件四704、物件五705與物件六706等，例如分析單一全景圖後，從影像中特徵識別出空間中各種物件的輪廓與位置，如門、窗、隔牆、桌、椅等，並執行定位。

接著，可以繼續輸入相同區域內的另一視角的全景圖，同樣地，能夠辨識而標記出其中的物件一701、物件二702、物件三703、物件四704、物件五705與物件六706，因此可以根據多個物件的標記判斷出不同視角的全景圖的相互關係，建立包括多個視角的立體格局圖，使得系統可以根據使用者選擇的視角提供對應的立體格局圖，更包括涵蓋多個空間、多個視角的全域的立體格局圖。

圖8顯示利用深度學習識別場景的實施例示意圖。

圖中顯示有一區域800，通過上述各深度學習方法得出各區域的立體格局圖，識別與定位其中物件，加上形成相同區域內不同視角的多個立體格局圖，形成圖示中區域800可辨識的物件識別場景一801、物件識別場景二802與物件識別場景三803，通過空間整合（integration，411，圖4），得出區域的立體格局圖，例如得出客廳格局（413a，圖4）、臥室格局（413b，圖4）與浴室格局（413c，圖4）等。

接著，如圖9所示在二維平面圖中定位區域的實施例示意圖，其中顯示有二維平面圖轉立體格局圖的示意圖91，即先於二維平面圖上根據上述得出的各區域型態，依照於各全景圖中定位空間中各區域的點與線，結合空間的各全景圖的物件，經定位並標示後，結合各區域格局圖，產生所述二維平面圖轉立體格局圖的示意圖91，示意圖顯示空間中多個區域如客廳92、浴室93與臥室94。

經過立體空間建模，其中持續依照上述多個空間的物件特徵、標註物件與連接關係尋求一致性，結合多個區域的立體格局圖，形成圖10所示立體格局圖前建立立體模型的實施例示意圖，最終形成全域的立體格局圖（417，圖4）。

綜上所述，根據上述實施例描述利用深度學習方法通過物件識別、定位、空間型態辨識、立體建模等技術，建立一個空間的各區域立體格局圖，進而形成全域的立體格局圖，以完成多視角的立體格局圖，過程中持續通過校正與學習，不斷地優化深度學習的能力。之後可應用於虛擬實境的觀測應用，提供使用者在一個空間內走動，相關系統能夠依據使用者的視角提供對應的立體格局圖。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

10:網路 14:主機 11:拍攝裝置 15:鏡頭 13:承載裝置 135:旋轉機構 401:輸入影像 403:深度學習 403a:雙投射網路 403b:深度殘差網路 403c:偵測網路 405:初步判斷空間格局、分類與物件 405a:預測空間格局 405b:識別與分類空間格局 405c:識別空間物件 407:標註物件 409:空間分類 409a:客廳 409b:臥室 409c:浴室 411:空間整合 413:形成各區域立體格局圖 413a:客廳格局 413b:臥室格局 413c:浴室格局 415:多區域整合 417:形成全域立體格局圖 501:全景圖 503:特徵擷取 505:全景機率概圖 502:天花板視圖 504:特徵擷取 506:平面機率概圖 507:二維平面圖 508:立體格局圖 601:全景圖 603:深度殘差網路 631:影像處理 632:識別與分類 605a:客廳 605b:浴室 605c:臥室 701:物件一 702:物件二 703:物件三 704:物件四 705:物件五 706:物件六 800:區域 801:物件識別場景一 802:物件識別場景二 803:物件識別場景三 91:二維平面圖轉立體格局圖的示意圖 92:客廳 93:浴室 94:臥室 步驟S201～S215:立體格局圖產生流程之一 步驟S301～S321:立體格局圖產生流程之二

圖1顯示拍攝全景圖的裝置實施例示意圖；

圖2所示為描述立體格局圖產生方法的實施例流程圖之一；

圖3所示為描述立體格局圖產生方法的實施例流程圖之二；

圖4以圖示方法描述立體格局圖產生方法的實施例流程；

圖5描述雙投射網路的深度學習方法流程；

圖6描述深度殘差網路的深度學習方法流程；

圖7A與7B顯示偵測網路的深度學習成果的示意圖；

圖8顯示利用深度學習識別場景的實施例示意圖；

圖9顯示在二維平面圖中定位區域的實施例示意圖；

圖10顯示形成立體格局圖前建立立體模型的實施例示意圖。

401:輸入影像

403:深度學習

403a:雙投射網路

403b:深度殘差網路

403c:偵測網路

405:初步判斷空間格局、分類與物件

405a:預測空間格局

405b:識別與分類空間格局

405c:識別空間物件

407:標註物件

409:空間分類

409a:客廳

409b:臥室

409c:浴室

411:空間整合

413:形成各區域立體格局圖

413a:客廳格局

413b:臥室格局

413c:浴室格局

415:多區域整合

417:形成全域立體格局圖

Claims (18)

1. 一種立體格局圖產生方法，包括： 取得涵蓋一空間的一或多張影像，該一或多張影像為對應該空間內的一或多個區域的全景圖； 利用影像處理技術辨識並標記各區域全景圖中的一或多個物件； 分類各全景圖中的該一或多個物件，用以辨識各區域的空間型態； 根據該空間內的該一或多個區域的空間型態得出各區域的尺寸與格局； 於各全景圖中定位該空間中各區域的點與線，得出該點與線在各區域的位置；以及 結合該空間的各全景圖的該一或多個物件，依據各區域的點與線形成一立體格局圖。
2. 如請求項1所述的立體格局圖產生方法，其中用以辨識各影像中該一或多個物件以及辨識各區域的空間型態的影像處理技術採用深度學習方法。
3. 如請求項2所述的立體格局圖產生方法，其中採用之深度學習方法根據辨識得出各區域的該一或多個物件的屬性辨識出各區域的空間型態。
4. 如請求項3所述的立體格局圖產生方法，其中該空間包括有多個區域，各區域的全景圖定位出的點與線形成該多個區域之間的邊界與相對關係，配合各區域中的該一或多個物件與空間型態得出該多個區域之間的連接關係，執行一立體空間建模，以結合該多個區域以形成全域的立體格局圖。
5. 如請求項4所述的立體格局圖產生方法，其中各區域內的點與該區域內的一參考點之間具有一角度與一距離關係，使得各區域內多個點之間具有角度與距離的一相對關係，於結合該多個區域時，更依據各區域內該多個點的該相對關係形成該立體格局圖。
6. 如請求項5所述的立體格局圖產生方法，其中該空間的其中之一區域為一室內區域，由各全景圖辨識的各物件為該室內區域內的門、窗、牆、家具與擺設的其中之一。
7. 如請求項2至6中任一項所述的立體格局圖產生方法，其中辨識各影像中該一或多個物件以及辨識各區域的空間型態的深度學習方法之一為一雙投射網路，其中採用一等距長方全景視圖與一透視天花板視圖，根據各區域的全景圖預測各區域的一立體空間的格局。
8. 如請求項7所述的立體格局圖產生方法，其中，於該等距長方全景視圖的應用中，根據各區域的全景圖，以一深度殘差網路的深度學習方法識別與分類出影像中的空間格局，形成一全景機率概圖；於該透視天花板視圖的應用中，先取得各區域的一天花板視圖，以該深度殘差網路的深度學習方法識別與分類出該全景圖中的關於天花板的空間特徵，形成一平面機率概圖；之後，結合該全景機率概圖與該平面機率概圖，形成一二維平面圖，經立體空間建模後預測各區域的立體空間格局。
9. 如請求項2至6中任一項所述的立體格局圖產生方法，其中辨識各影像中該一或多個物件以及辨識各區域的空間型態的深度學習方法之一為一深度殘差網路，用於影像識別與分類，以快速地識別與分類各區域的格局。
10. 如請求項9所述的立體格局圖產生方法，其中該深度殘差網路用深度學習從大數據建立描述各種空間型態的資料集，用以判斷出各區域的格局。
11. 如請求項2至6中任一項所述的立體格局圖產生方法，其中辨識各影像中該一或多個物件以及辨識各區域的空間型態的深度學習方法之一為一偵測網路，於分析各區域的全景圖後，從影像中特徵識別出各區域中該一或多個物件，並執行定位。
12. 如請求項11所述的立體格局圖產生方法，其中該偵測網路用以識別並定位各域內的多個物件，並在全景圖中標記出來，當繼續以該偵測網路識別並定位各區域中多個視角的全景圖的該多個物件，根據該多個物件的標記得出各區域不同視角的全景圖的相互關係，建立包括多個視角的立體格局圖。
13. 一種立體格局圖產生系統，包括： 一主機，設有一或多個處理器與一儲存器，該儲存器儲存由一拍攝裝置拍攝而取得涵蓋一空間的一或多張影像，其中該一或多張影像為對應該空間內的一或多個區域的全景圖； 其中，由該主機之該一或多個處理器執行實現影像辨識之人工智慧的一或多個深度學習方法，以執行一立體格局圖產生方法，包括： 取得涵蓋該空間的該一或多張影像； 利用影像處理技術辨識並標記各區域全景圖中的一或多個物件； 分類各全景圖中的該一或多個物件，用以辨識各區域的空間型態； 根據該空間內的該一或多個區域的空間型態得出各區域的尺寸與格局； 於各全景圖中定位該空間中各區域的點與線；以及 結合該空間的各全景圖的該一或多個物件，依據該空間的點與線形成一立體格局圖。
14. 如請求項13所述的立體格局圖產生系統，其中採用之深度學習方法根據辨識得出各區域的該一或多個物件的屬性辨識出各區域的空間型態。
15. 如請求項14所述的立體格局圖產生系統，其中該空間包括有多個區域，各區域的全景圖定位出的點與線形成該多個區域之間的邊界與相對關係，配合各區域中的該一或多個物件與空間型態得出該多個區域之間的連接關係，執行一立體空間建模，以結合該多個區域以形成全域的立體格局圖。
16. 如請求項15所述的立體格局圖產生系統，其中各區域內的點與該區域內的一參考點之間具有一角度與一距離關係，使得各區域內多個點之間具有角度與距離的一相對關係，於結合該多個區域時，更依據各區域內該多個點的該相對關係形成該立體格局圖。
17. 如請求項16所述的立體格局圖產生系統，其中該空間的其中之一區域為一室內區域，由各全景圖辨識的各物件為該室內區域內的門、窗、牆、家具與擺設的其中之一。
18. 如請求項13至17中任一項所述的立體格局圖產生系統，其中辨識各影像中該一或多個物件以及辨識各區域的空間型態的深度學習方法包括一雙投射網路，其中採用一等距長方全景視圖與一透視天花板視圖，根據各區域的全景圖預測各區域的一立體空間的格局；一深度殘差網路，用於影像識別與分類，以快速地識別與分類各區域的格局；以及一偵測網路，於分析各區域的全景圖後，從影像中特徵識別出各區域中該一或多個物件，並執行定位。

Images