TW201635242A - 室內二維平面圖的生成方法、裝置和系統 - Google Patents

室內二維平面圖的生成方法、裝置和系統 Download PDF

Info

Publication number
TW201635242A
TW201635242A TW104135505A TW104135505A TW201635242A TW 201635242 A TW201635242 A TW 201635242A TW 104135505 A TW104135505 A TW 104135505A TW 104135505 A TW104135505 A TW 104135505A TW 201635242 A TW201635242 A TW 201635242A
Authority
TW
Taiwan
Prior art keywords
indoor
feature
line
line feature
base
Prior art date
Application number
TW104135505A
Other languages
English (en)
Other versions
TWI587241B (zh
Inventor
shao-yan Jiang
Bin Jiang
Original Assignee
Baidu online network technology beijing co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu online network technology beijing co ltd filed Critical Baidu online network technology beijing co ltd
Publication of TW201635242A publication Critical patent/TW201635242A/zh
Application granted granted Critical
Publication of TWI587241B publication Critical patent/TWI587241B/zh

Links

Landscapes

  • Image Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申請公開了一種室內二維平面圖的生成方法、裝置和系統。該方法包括：接收由多個相機拍攝的多個室內平面圖像；基於接收到的所述室內平面圖像拼接生成室內全景圖像；提取所述全景圖像中的有效線特徵，所述有效線特徵包括代表牆面與地面交界線的線特徵；以及，基於所述有效線特徵生成室內二維平面圖。按照本申請的方案，能夠基於普通相機採集到的室內平面圖像自動生成室內二維平面圖，且識別準確率較高。

Description

室內二維平面圖的生成方法、裝置和系統
本公開一般涉及電腦技術領域，具體涉及影像處理技術，尤其涉及一種室內二維平面圖的生成方法、裝置和系統。
現有的室內二維平面圖恢復技術，主要有兩大類：一類是基於深度感測器恢復並重建出室內二維平面圖；另一類是基於圖像恢復並重建出室內二維平面圖。
然而現有的室內二維平面圖恢復技術存在如下的問題。
對於第一類技術，需要較為專業的深度感測器，並且大場景中由於感測器存在較大誤差，恢復得到室內二維平面圖會存在較大的誤差。
對於第二類技術，在得到室內二維平面圖的過程中，需要人工參與，效率較低。此外，在第二類技術中，對一些複雜場景的識別準確度較低。
鑒於現有技術中的上述缺陷或不足，期望提供一種室內二維平面圖的生成方法、裝置和系統，其可利用普通相機採集到的室內平面圖像自動的生成室內二維平面圖，且識別準確率較高。
為了實現上述一個或多個目的，本申請實施例提供了一種室內二維平面圖的生成方法，包括：接收由多個相機拍攝的多個室內平面圖像；基於接收到的室內平面圖像拼接生成室內全景圖像；提取全景圖像中的有效線特徵，有效線特徵包括代表牆面與地面交界線的線特徵；基於有效線特徵生成室內二維平面圖。
第二方面，本申請實施例提供了一種室內二維平面圖的生成裝置，包括：接收模組，配置用於接收由多個相機拍攝的多個室內平面圖像；全景圖像生成模組，配置用於基於室內平面圖像拼接生成室內全景圖像；有效線特徵提取模組，配置用於提取有效線特徵，有效線特徵包括代表牆面與地面的交界線的線特徵；平面圖生成模組，配置用於基於有效線特徵生成室內二維平面圖。
第三方面，本申請實施例還提供了一種室內二維平面圖的生成系統，包括採集器和處理器；其中，採集器用於採集多個室內平面圖像；處理器用於基於接收到的室內平面圖像拼接生成室內全景圖像；提取全景圖像中的有效線特徵，有效線特徵包括代表牆面與地面交界線的線特徵；以及，基於有效線特徵生成室內二維平面圖。
第四方面，一種室內二維平面圖的生成設備，包括：處理器；和儲存器，其中，所述儲存器儲存電腦可讀指令，當所述電腦可讀指令被所述處理器執行時，所述處理器：接收由多個相機拍攝的多個室內平面圖像；基於所述室內平面圖像拼接生成室內全景圖像；提取有效線特徵，所述有效線特徵包括代表牆面與地面的交界線的線特徵；基於所述有效線特徵生成室內二維平面圖。
第五方面， 一種非揮發性的電腦儲存媒體，儲存有電腦可讀指令，當所述電腦可讀指令被處理器執行時，所述處理器：接收由多個相機拍攝的多個室內平面圖像；基於接收到的所述室內平面圖像拼接生成室內全景圖像；提取所述全景圖像中的有效線特徵，所述有效線特徵包括代表牆面與地面交界線的線特徵；以及基於所述有效線特徵生成室內二維平面圖。
本申請實施例提供的室內二維平面圖的生成方法、裝置和系統，相較于現有技術，其不需要專用感測器，更加便捷；無需後期處理，更加快速；不需人工參與，可基於獲取到的室內平面圖像自動生成。
此外，由於提取的有效線特徵中包含了尺度資訊，因而最終得到的二維平面圖中的各條線段之間具有相對地空間位置關係，並且每條線段還包含了尺度資訊，從而為後續使用提供了方便。
下面結合圖示和實施例對本申請作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用於解釋相關發明，而非對該發明的限定。另外還需要說明的是，為了便於描述，圖示中僅示出了與發明相關的部分。
需要說明的是，在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互組合。下面將參考圖示並結合實施例來詳細說明本申請。
圖1示出了根據本申請一個實施例的室內二維平面圖的生成方法的示意性流程圖100。
如圖1所示，在步驟110中，接收由多個相機拍攝的多個室內平面圖像。例如，可以將多個相機位置設置在能夠採集到室內場景全貌的任意位置。或者，還可以用具有陀螺儀等可檢測偏轉、傾斜的感測器的帶拍照功能的電子設備來拍攝室內平面圖像。例如，可利用包含陀螺儀的手機的相機來拍攝室內平面圖像。由於手機中的陀螺儀可檢測手機的偏轉和傾斜角度，進而可以獲得與其拍攝到的室內平面圖像相對應的拍攝參數，例如拍攝角度等。
接下來，在步驟120中，基於接收到的室內平面圖像拼接生成室內全景圖像。
從步驟110接收到的多個室內平面圖像中，可以得到每個室內平面圖像的拍攝參數，進而，可利用這些室內平面圖像內包含的拍攝參數資訊來將多個室內平面圖像拼接形成室內全景圖像。
圖2示出了基於接收到的室內平面圖像拼接生成室內全景圖像，也即是圖1中的步驟120的一個實施例的示意性流程圖。
如圖2所示，在步驟121中，提取每個室內平面圖像中的特徵點。例如，可以提取每個室內平面圖像中的尺度不變特徵（Scale-invariant feature transform，SIFT）。例如，可以通過如下的幾個步驟來完成SIFT特徵的提取：首先，可通過例如高斯微分函數來檢測每個室內平面圖像中潛在的對於尺度和旋轉不變的興趣點。接著，在興趣點位置上，確定關鍵點的位置和尺度。接著，基於圖像局部的梯度方向，給每個關鍵點分配方向。最後，在每個關鍵點的領域內測量圖像局部的梯度，並用一個特徵向量來表達。
接著，在步驟122中，基於特徵點確定各室內平面圖像的鄰接關係。例如，在一種實施方式中，如果多個室內平面圖像包含相互匹配的基於SIFT特徵的特徵點構成的特徵向量，則該多個室內平面圖像具有鄰接關係。
接著，在步驟123中，獲取每個室內平面圖像的拍攝參數。拍攝參數例如可以包括相機的焦距、相機的拍攝角度和相機光心距預設參考點的位移量。基於室內平面圖像的拍攝參數，可以得到室內平面圖像在一預定三維坐標系中的座標值。
接著，在步驟124中，基於各室內平面圖像的鄰接關係和每個室內平面圖像的拍攝參數將室內平面圖映射至單位球面坐標系中的對應位置以生成室內全景圖像。其中，單位球面坐標系的球心為預設參考點，且該單位球面坐標系的球半徑為單位值。
需要說明的是，當採用手機等非固定位置的設備作來拍攝各室內平面圖像時，可首先將拍攝每張室內平面圖像時的拍攝參數進行換算，進而對拍攝到的室內平面圖像進行變換，以便於將室內平面圖映射至單位球面坐標系中的對應位置以生成室內全景圖像。
例如，可將採集每張室內平面圖像時，手機與固定參考點的位置轉變為同一數值，再對每張室內平面圖像進行相應的變換，然後再將變換後的室內平面影像對應至單位球面坐標系的對應位置。
此外，作為一種優選方案，在生成室內全景圖像之後，可以對各室內平面圖像的拼接處進行融合處理，從而使得更加真實的反映室內特徵。還可以對生成的室內全景圖像進行勻光、勻色等優化處理，以防止多張室內平面圖像的一些拍攝參數（例如，亮度）的差異對後續步驟產生負面的影響。
接著參考圖1，在步驟130中，提取全景圖像中的有效線特徵，有效線特徵包括代表牆面與地面交界線的線特徵。提取出的有效線特徵，即可作為最終生成室內二維平面圖所用到的線特徵。
在一種實施方式中，步驟130可以包括：
步驟131：提取全景圖像中的全部線特徵。在這裡，全部線特徵代表了各室內平面圖像中所有的直線段。通常在室內平面圖像中，可能會存在很多具有直線特徵的對象，例如牆面的交線、牆面與地面的交線，以及室內擺放的一些傢俱的輪廓（例如床、書桌、衣櫃等等）。
然而，在生成室內二維平面圖時，顯然不需要用到全部的具有直線特徵的線特徵。因此，可以通過對全部線特徵進行過濾，從中提取出生成室內二維平面圖所需要的那部分線特徵。
因此，步驟130還可以包括：
步驟132：從全部線特徵中提取有效線特徵。
圖3示出了提取全景圖像中的全部線特徵，也即步驟131的一種示意性流程圖。
參見圖3所示，在步驟1311中，將全景圖像劃分為多個二進方塊。其中，二進方塊為四邊的像素數為2的冪次方的矩形。
接著，在步驟1312中，遍歷每個二進方塊中的基，當基滿足預設條件時，提取基為二進方塊的最優基。在這裡，基是指兩個端點在二進方塊的邊的任意像素位置的線段。
參見圖4所示，為二進方塊400及其中的一個基401的示意性示意圖。圖4中，顯然二進方塊400為正方形，其各邊邊長包含了24 個像素，基401為該二進方塊400中的一個基。基的垂直分量和水平分量可用數對{p,q}來表示，其中p是其中較大者。在圖4中，顯然基401可表示為{9,5}。
作為一種實施方式，可以將δ&（φ‖γ）為真設為預設條件。
其中，記Y b ＞ε 為δ，記Yb1 ＜ε 1 為φ，並記Yb2 ＜ε 1 為γ。則上述預設條件的運算式的物理意義為，當δ為真，且φ或γ中的至少一者為真，ε, ε1 ,ε2 ∈（0,1）,為預設的閾值。
Y b 、Y b1 和Y b2 分別代表了基401及其兩條平行基（可分別稱為第一平行基和第二平行基）上的像素突變量。第一平行基和第二平行基與基401平行，且第一平行基和第二平行基的端點分別與基的兩個端點相鄰。以圖4中的基401為例，其第一平行基可用數對(10,6)來表示，而第二平行基可用數對(8,4)來表示。
在一種實施方式中，可以用基的能量統計來代表其上的像素突變量。當用基的能量統計來代表其上的像素突變量時，有：
Yb ={|T (b)|/l (b), b∈B}；
其中，T (b)為變換係數，l (b)為基401的長度的對數。
在一種實施方式中，例如可以先對每個二進方塊進行小波變換以突顯二進方塊中可能出現的線特徵，再將經小波變換的二進方塊進行beamlet變換後所得到的變換係數作為T (b)。
接著參考圖1，由於在生成室內二維平面圖時，不需要用到全部的直線段，因此在提取出全景圖像中的全部線特徵後，可採用如圖5的方式從全部線特徵中提取有效線特徵。
圖5示出了從全部線特徵中提取有效線特徵，即圖1中的步驟132的一個實施例的示意性流程圖。
參照圖5所示在步驟1321中，從所有線特徵中，提取候補線特徵。其中，候補線特徵為長度大於預設值的線特徵。例如，可以根據線特徵和與之對應的二進方塊之間的大小比例來設置預設值。
接著，在步驟1322中，在候補線特徵中提取參考線特徵，在這裡，將垂直於地平面的線特徵作為參考線特徵。這樣一來，可以提取出所每兩個牆壁面交接處的線特徵，以及門與牆面交接處的線特徵。
最後，在步驟1323中，在候補線特徵中提取與參考線特徵相交的線特徵作為有效線特徵。這樣一來便可以將牆面與地面的交界線作為最終的有效線特徵提取出來。此外，還能夠通過和門與牆面交界處的線特徵相交這一條件，在有效線特徵中，標注出門的相應位置。
再參照圖1，在提取出有效線特徵後，本實施方式的方法還包括了步驟140，基於有效線特徵生成室內二維平面圖。由於有效線特徵是從單位球面坐標系中的室內全景圖像中提取出來的，因此，室內全景圖像中的每一個像素點，在該單位球面坐標系中，均具有其唯一的座標值。這樣一來，提取出的有效線特徵上的每一個像素點也都包含了唯一的座標值。因此，提取出的有效線特徵包含了尺度資訊。
例如，作為一種實施方式，可將有效線特徵映射至世界坐標系以得到室內二維平面圖。
如圖6所示，為將有效線特徵映射至世界坐標系的一種實施方式的示意圖。
首先，獲取每一條有效線特徵b0 上的任意兩點與單位球面坐標系球心之間的連接線的第一平面S1 。
接著，求取與每一條有效線特徵b0 對應的第一平面S1 與地平面S0 的交線b1 以得到室內二維平面圖中的每一條線。由於線特徵的球面座標可一一映射至世界座標（即三維笛卡爾坐標系中的座標）。因此，在得到每一條交線b1 的同時，可得到在三維笛卡爾坐標系中與該交線b1 對應的尺度。
圖7示出了根據本申請的一個實施例的室內二維平面圖的生成裝置的示意性結構圖700。
在該實施方式中，室內二維平面圖的生成裝置700包括接收模組710、全景圖生成模組720、有效線特徵提取模組730和平面圖生成模組740。
其中，接收模組710配置用於接收由多個相機拍攝的多個室內平面圖像。
全景圖像生成模組720配置用於基於室內平面圖像拼接生成室內全景圖像。
有效線特徵提取模組730配置用於提取有效線特徵。其中，有效線特徵可包括代表牆面與地面的交界線的線特徵。
平面圖生成模組740配置用於基於有效線特徵生成室內二維平面圖。
在一種實施方式中，全景圖像生成模組720可以包括特徵點提取單元721、鄰接關係確定單元722、拍攝參數獲取單元723和映射單元724。
其中，特徵點提取單元721配置用於提取每個室內平面圖像的特徵點。
鄰接關係確定單元722配置用於基於特徵點確定各室內平面圖像的鄰接關係。例如，鄰接關係確定單元722可配置用於在多個室內平面圖像包含相互匹配的基於SIFT特徵的特徵點構成的特徵向量時，確定多個所述室內平面圖像具有鄰接關係。
拍攝參數獲取單元723配置用於獲取每個室內平面圖像的拍攝參數，拍攝參數包括相機的焦距、相機的拍攝角度和相機光心距預設參考點的位移量。
映射單元724配置用於基於各室內平面圖像的鄰接關係和每個室內平面圖像的拍攝參數將室內平面圖映射至單位球面坐標系中的對應位置以生成室內全景圖像，單位球面坐標系的球心為預設參考點。
在一種實施方式中，有效線特徵提取模組730可以包括預提取單元731和過濾單元732。
其中，預提取單元731可配置用於提取全景圖像中的全部線特徵。過濾單元732可配置用於從全部線特徵中提取有效線特徵。
作為一種優選方案，預提取單元731還可以進一步包括二進方塊劃分子單元和最優基提取子單元。
其中，二進方塊劃分子單元可配置用於將全景圖像劃分為多個二進方塊，二進方塊為四邊的像素數為2的冪次方的矩形。最優基提取子單元可配置用於遍歷每個二進方塊中的基，當基滿足預設條件時，提取基為二進方塊的最優基，基為兩個端點在二進方塊的邊的任意像素位置的線段。
在一種實施方式中，預設條件例如可以為：基上的像素值突變量大於第一預設值，以及基的第一平行基上的像素值突變量小於第二預設值或者基的第二平行基的像素值突變量小於第三預設值。
其中，第一平行基和第二平行基與基平行，且第一平行基和第二平行基的端點分別與基的兩個端點相鄰。
作為一種優選方案，過濾單元732可進一步包括候補線特徵提取子單元、參考線特徵提取子單元和有效線特徵提取子單元。
其中，候補線特徵提取子單元可配置用於在所有線特徵中，提取候補線特徵，候補線特徵的長度大於預設值。參考線特徵提取子單元可配置用於在候補線特徵中提參考線特徵，其中，參考線特徵垂直於地平面。有效線特徵提取子單元可配置用於在候補線特徵中提取與參考線特徵相交的線特徵作為有效線特徵。
作為一種優選方案，平面生成模組740可具體配置用於將有效線特徵映射至世界坐標系。
在一種實施方式中，平面生成模組740可包括第一平面獲取單元741和交線求取單元742。
其中，第一平面獲取單元741可配置用於獲取每一條有效線特徵上的任意兩點與單位球面坐標系的球心連接線的第一平面。交線求取單元742可配置用於求取與每一條有效線特徵對應的第一平面與地平面的交線以得到室內二維平面圖中的每一條線。
圖8示出了根據本申請的一個實施例的室內二維平面圖的生成系統的示意性結構圖。
在圖8的實施例中，室內二維平面圖的生成系統800包括採集器810和處理器820。
其中，採集器810用於採集多個室內平面圖像。採集器810可包括多個攝像裝置。攝像裝置的焦平面垂直於地平面。
參見圖9所示，為採集器810的一種實現方式。採集器810可以包含多個採集裝置811。
再參照圖8所示，處理器820用於基於接收到的室內平面圖像拼接生成室內全景圖像，提取全景圖像中的有效線特徵，以及，基於有效線特徵生成室內二維平面圖。其中，有效線特徵包括代表牆面與地面交界線的線特徵。
作為一種優選方案，室內二維平面圖的生成系統還可以包括顯示裝置830。顯示裝置用於顯示處理器820生成的室內二維平面圖。
圖示中的流程圖和框圖，圖示了按照本發明各種實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模組、程式段、或代碼的一部分，所述模組、程式段、或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現中，方框中所標注的功能也可以以不同於圖示中所標注的順序發生。例如，兩個接連地表示的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或操作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
描述於本申請實施例中所涉及到的單元或模組可以通過軟體的方式實現，也可以通過硬體的方式來實現。所描述的單元或模組也可以設置在處理器中，例如，可以描述為：一種處理器包括接收模組、全景圖生成模組、有效特徵提取模組和平面生成模組。其中，這些單元或模組的名稱在某種情況下並不構成對該單元或模組本身的限定，例如，接收模組還可以被描述為“用於接收室內平面圖像的單元”。
作為另一方面，本申請還提供了一種電腦可讀儲存媒體，該電腦可讀儲存媒體可以是上述實施例中所述裝置中所包含的電腦可讀儲存媒體；也可以是單獨存在，未裝配入設備中的電腦可讀儲存媒體。電腦可讀儲存媒體存儲有一個或者一個以上程式，所述程式被一個或者一個以上的處理器用來執行描述於本申請的公式輸入方法。
以上描述僅為本申請的較佳實施例以及對所運用技術原理的說明。本技術領域中具有通常知識者應當理解，本申請中所涉及的發明範圍，並不限於上述技術特徵的特定組合而成的技術方案，同時也應涵蓋在不脫離所述發明構思的情況下，由上述技術特徵或其等同特徵進行任意組合而形成的其它技術方案。例如上述特徵與本申請中公開的(但不限於)具有類似功能的技術特徵進行互相替換而形成的技術方案。
100‧‧‧室內二維平面圖的生成方法
110-140‧‧‧生成步驟
121-124‧‧‧全景圖像生成步驟
131-132‧‧‧全景圖像中的有效線特徵提取步驟
1311-1312‧‧‧全部線特徵提取步驟
1321-1323‧‧‧有效線特徵提取步驟
400‧‧‧二進方塊
401‧‧‧基
700‧‧‧室內二維平面圖的生成裝置
710‧‧‧接收模組
720‧‧‧全景圖生成模組
721‧‧‧特徵點提取單元
722‧‧‧鄰接關係確定單元
723‧‧‧拍攝參數獲取單元723
724‧‧‧映射單元
730‧‧‧有效線特徵提取模組
731‧‧‧預提取單元
732‧‧‧過濾單元
740‧‧‧平面圖生成模組
741‧‧‧第一平面獲取單元
742‧‧‧交線求取單元
800‧‧‧室內二維平面圖的生成系統
810‧‧‧採集器
811‧‧‧採集裝置
820‧‧‧處理器
830‧‧‧顯示器
S0‧‧‧地平面
S1‧‧‧第一平面
b0‧‧‧有效線特徵
b1‧‧‧交線
通過閱讀參照以下圖示所作的對非限制性實施例所作的詳細描述，本申請的其它特徵、目的和優點將會變得更明顯：
圖1示出了根據本申請一個實施例的室內二維平面圖的生成方法的示意性流程圖；
圖2示出了有關基於接收到的室內平面圖像拼接生成室內全景圖像的一個實施例的示意性流程圖；
圖3示出了有關提取全景圖像中的全部線特徵的一個實施例的示意性流程圖；
圖4示出了二進方塊400及其中的一個基401的示意性示意圖；
圖5示出了有關從全部線特徵中提取有效線特徵的一個實施例的示意性流程圖；
圖6示出了有關基於有效線特徵生成室內二維平面圖的一個實施例的示意性流程圖；
圖7示出了根據本申請的一個實施例的室內二維平面圖的生成裝置的示意性結構圖；
圖8示出了根據本申請的一個實施例的室內二維平面圖的生成系統的示意性結構圖；
圖9示出了圖8中採集器810的一個實施例的示意性結構圖。
無
100‧‧‧室內二維平面圖的生成方法
110-140‧‧‧生成步驟

Claims (23)

  1. 一種室內二維平面圖的生成方法，包括： 接收由多個相機拍攝的多個室內平面圖像； 基於接收到的所述室內平面圖像拼接生成室內全景圖像； 提取所述全景圖像中的有效線特徵，所述有效線特徵包括代表牆面與地面交界線的線特徵；以及 基於所述有效線特徵生成室內二維平面圖。
  2. 根據請求項1所述的方法，其中所述基於接收到的所述室內平面圖像拼接生成室內全景圖像包括： 提取每個所述室內平面圖像中的特徵點； 基於所述特徵點確定各所述室內平面圖像的鄰接關係； 獲取每個所述室內平面圖像的拍攝參數，所述拍攝參數包括相機的焦距、相機的拍攝角度和相機光心距預設參考點的位移量； 基於各所述室內平面圖像的鄰接關係和每個所述室內平面圖像的拍攝參數，將所述室內平面圖映射至單位球面坐標系中的對應位置以生成所述室內全景圖像，所述單位球面坐標系的球心為所述預設參考點。
  3. 根據請求項2所述的方法，其中所述基於所述特徵點確定各所述室內平面圖像的鄰接關係包括： 如果多個室內平面圖像包含相互匹配的基於尺度不變特徵的特徵點構成的特徵向量，則所述多個室內平面圖像具有鄰接關係。
  4. 根據請求項1所述的方法，其中所述提取所述全景圖像中的有效線特徵包括： 提取所述全景圖像中的全部線特徵； 從所述全部線特徵中提取有效線特徵。
  5. 根據請求項4所述的方法，其中提取所述全景圖像中的全部線特徵包括： 將所述全景圖像劃分為多個二進方塊，所述二進方塊為四邊的像素數為2的冪次方的矩形； 遍歷每個所述二進方塊中的基，提取滿足預設條件的基為所述二進方塊的最優基，所述基為兩個端點在所述二進方塊的邊的任意像素位置的線段。
  6. 根據請求項5所述的方法，其中所述預設條件為： 所述基上的像素值突變量大於第一預設值，以及 所述基的第一平行基上的像素值突變量小於第二預設值，或者所述基的第二平行基的像素值突變量小於第三預設值； 其中，所述第一平行基和所述第二平行基與所述基平行，且所述第一平行基和所述第二平行基的端點分別與所述基的兩個端點相鄰。
  7. 根據請求項4所述的方法，其中從所述全部線特徵中提取有效線特徵包括： 在所有所述線特徵中，提取候補線特徵，所述候補線特徵的長度大於預設值； 在所述候補線特徵中提取參考線特徵，所述參考線特徵垂直於地平面； 在所述候補線特徵中提取與所述參考線特徵相交的線特徵作為有效線特徵。
  8. 根據請求項1-7任意一項所述的方法，其中所述基於所述有效線特徵生成室內二維平面圖包括： 將所述有效線特徵映射至世界坐標系以得到所述室內二維平面圖。
  9. 根據請求項8所述的方法，其中將所述有效線特徵映射至世界坐標系包括： 獲取每一條有效線特徵上的任意兩點與所述單位球面坐標系的球心連接線的第一平面； 求取與每一條有效線特徵對應的所述第一平面與地平面的交線以得到所述室內二維平面圖中的每一條線。
  10. 一種室內二維平面圖的生成裝置，其中包括： 接收模組，配置用於接收由多個相機拍攝的多個室內平面圖像； 全景圖像生成模組，配置用於基於所述室內平面圖像拼接生成室內全景圖像； 有效線特徵提取模組，配置用於提取有效線特徵，所述有效線特徵包括代表牆面與地面的交界線的線特徵； 平面圖生成模組，配置用於基於所述有效線特徵生成室內二維平面圖。
  11. 根據請求項10所述的裝置，其中全景圖像生成模組包括： 特徵點提取單元，配置用於提取每個所述室內平面圖像中的特徵點； 鄰接關係確定單元，配置用於基於所述特徵點確定各所述室內平面圖像的鄰接關係； 拍攝參數獲取單元，配置用於獲取每個所述室內平面圖像的拍攝參數，所述拍攝參數包括相機的焦距、相機的拍攝角度和相機光心距預設參考點的位移量； 映射單元，配置用於基於各所述室內平面圖像的鄰接關係和每個所述室內平面圖像的拍攝參數將所述室內平面圖映射至單位球面坐標系中的對應位置以生成所述室內全景圖像，所述單位球面坐標系的球心為所述預設參考點。
  12. 根據請求項11所述的裝置，其中所述鄰接關係確定單元還配置用於在多個室內平面圖像包含相互匹配的基於尺度不變特徵的特徵點構成的特徵向量時，確定多個所述室內平面圖像具有鄰接關係。
  13. 根據請求項10所述的裝置，其中所述有效線特徵提取模組包括： 預提取單元，配置用於提取所述全景圖像中的全部線特徵；以及 過濾單元，配置用於從所述全部線特徵中提取有效線特徵。
  14. 根據請求項13所述的裝置，其中所述預提取單元包括： 二進方塊劃分子單元，配置用於將所述全景圖像劃分為多個二進方塊，所述二進方塊為四邊的像素數為2的冪次方的矩形； 最優基提取子單元，配置用於遍歷每個所述二進方塊中的基，提取滿足預設條件的基為所述二進方塊的最優基，所述基為兩個端點在所述二進方塊的邊的任意像素位置的線段。
  15. 根據請求項14所述的裝置，其中所述預設條件為： 所述基上的像素值突變量大於第一預設值，以及 所述基的第一平行基上的像素值突變量小於第二預設值或者所述基的第二平行基的像素值突變量小於第三預設值； 其中，所述第一平行基和所述第二平行基與所述基平行，且所述第一平行基和所述第二平行基的端點分別與所述基的兩個端點相鄰。
  16. 根據請求項13所述的裝置，其中所述過濾單元包括： 候補線特徵提取子單元，配置用於在所有所述線特徵中，提取候補線特徵，所述候補線特徵的長度大於預設值； 參考線特徵提取子單元，配置用於在所述候補線特徵中提參考線特徵，所述參考線特徵垂直於地平面； 有效線特徵提取子單元，配置用於在所述候補線特徵中提取與所述參考線特徵相交的線特徵作為有效線特徵。
  17. 根據請求項10-16任意一項所述的裝置，其中： 所述平面圖生成模組還配置用於將所述有效線特徵映射至世界坐標系。
  18. 根據請求項17所述的裝置，其中所述平面圖生成模組包括： 第一平面獲取單元，配置用於獲取每一條有效線特徵上的任意兩點與所述單位球面坐標系的球心連接線的第一平面； 交線求取單元，配置用於求取與每一條有效線特徵對應的所述第一平面與地平面的交線以得到所述室內二維平面圖中的每一條線。
  19. 一種室內二維平面圖的生成系統，包括：       採集器；及       處理器， 其中，所述採集器用於採集多個室內平面圖像； 所述處理器用於基於接收到的所述室內平面圖像拼接生成室內全景圖像；提取所述全景圖像中的有效線特徵，所述有效線特徵包括代表牆面與地面交界線的線特徵；以及，基於所述有效線特徵生成室內二維平面圖。
  20. 根據請求項19所述的系統，其中： 所述採集器包括多個攝像裝置； 所述攝像裝置的焦平面垂直於地平面。
  21. 根據請求項19或20所述的系統，其中還包括顯示裝置； 所述顯示裝置用於顯示所述處理器生成的所述室內二維平面圖。
  22. 一種室內二維平面圖的生成設備，包括： 處理器；和 儲存器， 其中，所述儲存器儲存電腦可讀指令，當所述電腦可讀指令被所述處理器執行時，所述處理器： 接收由多個相機拍攝的多個室內平面圖像； 基於所述室內平面圖像拼接生成室內全景圖像； 提取有效線特徵，所述有效線特徵包括代表牆面與地面的交界線的線特徵； 基於所述有效線特徵生成室內二維平面圖。
  23. 一種非揮發性的電腦儲存媒體，儲存有電腦可讀指令，當所述電腦可讀指令被處理器執行時，所述處理器： 接收由多個相機拍攝的多個室內平面圖像； 基於接收到的所述室內平面圖像拼接生成室內全景圖像； 提取所述全景圖像中的有效線特徵，所述有效線特徵包括代表牆面與地面交界線的線特徵；以及 基於所述有效線特徵生成室內二維平面圖。
TW104135505A 2015-03-31 2015-10-28 Method, device and system for generating two - dimensional floor plan TWI587241B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510150509.9A CN104700355A (zh) 2015-03-31 2015-03-31 室内二维平面图的生成方法、装置和系统

Publications (2)

Publication Number Publication Date
TW201635242A true TW201635242A (zh) 2016-10-01
TWI587241B TWI587241B (zh) 2017-06-11

Family

ID=53347444

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104135505A TWI587241B (zh) 2015-03-31 2015-10-28 Method, device and system for generating two - dimensional floor plan

Country Status (5)

Country Link
JP (1) JP6174104B2 (zh)
KR (1) KR101759798B1 (zh)
CN (1) CN104700355A (zh)
HK (1) HK1209884A1 (zh)
TW (1) TWI587241B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269229B (zh) * 2016-12-30 2021-08-06 央视国际网络无锡有限公司 一种全景图像或视频的像素位置分布优化方法
KR102700693B1 (ko) 2017-10-31 2024-08-28 가부시키가이샤 아데카 시트형 탈세포화 재료 및 동 재료를 사용하는 인공 혈관
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
CN113052977A (zh) * 2021-03-30 2021-06-29 联想(北京)有限公司 处理方法及装置
CN113269877B (zh) * 2021-05-25 2023-02-21 三星电子（中国）研发中心 获取房间布局平面图的方法和电子设备
KR20230039097A (ko) * 2021-09-13 2023-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN114529566B (zh) * 2021-12-30 2022-11-22 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
CN116993949A (zh) * 2022-12-21 2023-11-03 腾讯科技（深圳）有限公司 虚拟环境的显示方法、装置、可穿戴电子设备及存储介质
KR102659582B1 (ko) 2024-01-05 2024-04-22 주식회사 커넥트코리아 건축 구조 기반 평면도 생성 및 편집 방법, 장치 및 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119529B2 (ja) * 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP3466970B2 (ja) * 1999-09-08 2003-11-17 キヤノン株式会社 視点位置設定方法
JP4809746B2 (ja) * 2006-09-20 2011-11-09 株式会社中電工 画像処理装置および画像処理プログラム
TWI362628B (en) * 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
RU2488881C2 (ru) * 2008-07-17 2013-07-27 Самсунг Электроникс Ко., Лтд. Способ определения линии поверхности земли
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
CN101825840A (zh) * 2010-05-06 2010-09-08 浙江大学 一种多镜头实时全景成像系统
KR101233948B1 (ko) * 2010-09-01 2013-02-15 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템
JP5770486B2 (ja) * 2011-02-21 2015-08-26 株式会社トプコン 全周画像計測装置
JP2013046270A (ja) * 2011-08-25 2013-03-04 Olympus Corp 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム
CN103729850B (zh) * 2013-12-31 2017-01-11 楚天科技股份有限公司 一种在全景图中提取直线的方法
CN104240247B (zh) * 2014-09-10 2017-04-12 无锡儒安科技有限公司 一种基于单张图片的建筑物俯视轮廓的快速提取方法

Also Published As

Publication number Publication date
TWI587241B (zh) 2017-06-11
HK1209884A1 (zh) 2016-04-08
JP2016194895A (ja) 2016-11-17
JP6174104B2 (ja) 2017-08-02
CN104700355A (zh) 2015-06-10
KR101759798B1 (ko) 2017-07-31
KR20160117143A (ko) 2016-10-10

Similar Documents

Publication Publication Date Title
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
JP7328366B2 (ja) 情報処理方法、測位方法及び装置、電子機器並びに記憶媒体
Adel et al. Image stitching based on feature extraction techniques: a survey
CN101630406B (zh) 摄像机的标定方法及摄像机标定装置
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
CN108288292A (zh) 一种三维重建方法、装置及设备
CN105005964B (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN106462943A (zh) 将全景成像与航拍成像对齐
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN103824303A (zh) 基于被摄物的位置、方向调整图像透视畸变的方法和装置
Aly et al. Street view goes indoors: Automatic pose estimation from uncalibrated unordered spherical panoramas
Ma et al. 3d reconstruction from full-view fisheye camera
JP2024537798A (ja) 撮影測定方法、装置、機器及び記憶媒体
Hafeez et al. Image based 3D reconstruction of texture-less objects for VR contents
CN103489165B (zh) 一种面向视频拼接的小数查找表生成方法
Ventura et al. Structure and motion in urban environments using upright panoramas
Gava et al. Dense scene reconstruction from spherical light fields
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
Pulli et al. Mobile panoramic imaging system
Nguyen et al. Modelling of 3d objects using unconstrained and uncalibrated images taken with a handheld camera
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
CN111131689B (zh) 全景图像修复方法和系统
CN106846469B (zh) 基于特征点追踪由聚焦堆栈重构三维场景的方法和装置
Coito et al. Building and evaluation of a mosaic of images using aerial photographs