JP6174104B2

JP6174104B2 - 室内２ｄ平面図の生成方法、装置及びシステム

Info

Publication number: JP6174104B2
Application number: JP2015232566A
Authority: JP
Inventors: ジャオイェンジャン; ビンジャン
Original assignee: バイドゥオンラインネットワークテクノロジー（ベイジン）カンパニーリミテッド
Priority date: 2015-03-31
Filing date: 2015-11-30
Publication date: 2017-08-02
Anticipated expiration: 2035-11-30
Also published as: JP2016194895A; HK1209884A1; CN104700355A; TW201635242A; KR20160117143A; KR101759798B1; TWI587241B

Description

本願は一般的にコンピュータ技術分野に関して、具体的には、画像処理技術、特に、室内２Ｄ平面図の生成方法、装置及びシステムに関する。

従来の室内２Ｄ平面図回復技術は主に２種類があって、つまり、深度センサに基づいて回復して室内２Ｄ平面図を再構築する第１の種類と画像に基づいて回復して室内２Ｄ平面図を再構築する第２の種類である。

しかし、従来の室内２Ｄ平面図回復技術は以下の問題がある。

第１の種類の技術について、専門の深度センサが必要であり、且つ大きいシーンの場合、センサの誤差が大きいので、回復して得られた室内２Ｄ平面図の誤差も大きい。

第２の種類の技術について、室内２Ｄ平面図を取得する過程において、人工が必要であるので、効率が低い。そして、第２の種類の技術において、複雑なシーンを認識する精度は低い。

従来技術の上記した欠陥または不足に鑑みて、普通のカメラで収集された室内平面画像を利用して室内２Ｄ平面図を自動的に生成し、且つ認識精度が高い室内２Ｄ平面図の生成方法、装置及びシステムを提供することが期望されている。

上記した１つまたは複数の目的を達成するため、本願の実施例は室内２Ｄ平面図の生成方法を提供しており、複数のカメラで撮影された複数の室内平面画像を受信するステップと、受信された室内平面画に基づいて室内パノラマ画像をモザイキングして生成するステップと、パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するステップと、有効線特徴に基づいて室内２Ｄ平面図を生成するステップと、を含む。

第２の形態において、本願の実施例は室内２Ｄ平面図の生成装置を提供しており、複数のカメラで撮影された複数の室内平面画像を受信するための受信モジュールと、受信された室内平面画像に基づいて室内パノラマ画像を信するための受信モジュール、受信された室内平面画像に基づいて室内パノラマ成するためのパノラマ画像生成モジュールと、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するための有効線特徴抽出モジュールと、及び有効線特徴に基づいて室内２Ｄ平面図を生成するための平面図生成モジュールと、を含む。

第３の形態において、本願の実施例は室内２Ｄ平面図の生成システムをさらに提供しており、コレクタとプロセッサを含み、そのうち、コレクタが複数の室内平面画像を収集することに用いられ、プロセッサが受信された室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、及び有効線特徴に基づいて室内２Ｄ平面図を生成することに用いられる。

従来技術を比べると、本願の実施例による室内２Ｄ平面図の生成方法、装置及びシステムは、専用センサを必要とせず、より便利になり、後処理を必要とせず、より速くなり、人工を必要とせず、取得された室内平面画像に基づいて自動的に生成できる。

そして、抽出された有効線特徴にスケール情報が含まれているので、最終に得られた２Ｄ平面図における各線分の間には相対的な空間位置関係を有し、且つ各線分にスケール情報がさらに含まれているので、後で使用するために利便性を提供する。

以下の図面を参照しながら非限定的な実施例を詳しく説明することにより、本願の他の特徴、目的及び利点はより明らかになる。
図１は本願の一実施例に係る室内２Ｄ平面図の生成方法の概略フローチャートである。図２は受信された室内平面画像に基づいて室内パノラマ画像をモザイキングする一実施例の概略フローチャートである。図３はパノラマ画像における全ての線特徴を抽出する一実施例の概略フローチャートである。図４は２進スクエア４００とその中の１つのビームレット４０１の概略図である。図５はすべての線特徴から有効線特徴を抽出する一実施例の概略フローチャートである。図６は有効線特徴に基づいて室内２Ｄ平面図を生成する一実施例の概略フローチャートである。図７は本願の一実施例に係る室内２Ｄ平面図の生成装置の概略構造図である。図８は本願の一実施例に係る室内２Ｄ平面図の生成システムの概略構造図である。図９は図８のコレクタ８１０の一実施例の概略構造図である。

以下、図面と実施例を参照しながら、本願をさらに詳しく説明する。ここで説明する具体的な実施例は係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないことを理解することができる。なお、説明の便宜上、図面に本発明と関連する部分のみ示されている。

ただし、衝突がない限り、本願における実施例及び実施例における特徴は互いに組み合せることができる。以下、図面を参照しながら実施例に基づいて本願を詳しく説明する。

図１は本願の一実施例に係る室内２Ｄ平面図の生成方法の概略フローチャート１００である。

図１に示すように、ステップ１１０において、複数のカメラで撮影された複数の室内平面画像を受信する。例えば、複数のカメラの位置が室内シーンの全体像を収集可能な任意の位置に設定されてもよい。または、ジャイロスコープなどの偏位と傾斜を検出可能なセンサを備える、カメラ機能付き電子機器で室内平面画像を撮影してもよい。例えば、ジャイロスコープ付き携帯電話のカメラで室内平面画像を撮影してもよい。携帯電話のジャイロスコープは携帯電話の偏位と傾斜角を検査することができるので、撮影された室内平面画像に対応する撮影パラメータ（例えば、撮影角）をさらに取得できる。

次に、ステップ１２０において、受信された室内平面画像に基づいて室内パノラマ画像をモザイキングして生成する。

ステップ１１０で受信された複数の室内平面画像から、各室内平面画像の撮影パラメータを取得することができ、さらに、これらの室内平面画像に含まれる撮影パラメータ情報により複数の室内平面画像をモザイキングして、室内パノラマ画像を生成することができる。

図２は受信された室内平面画像をモザイキングして、室内パノラマ画像を生成するステップ、すなわち、図１のステップ１２０の一実施例の概略フローチャートである。

図２に示すように、ステップ１２１において、各室内平面画像における特徴点を抽出する。例えば、各室内平面画像におけるスケール不変特徴量変換（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）を抽出することができる。例えば、ＳＩＦＴ特徴の抽出は以下のステップによって実行してもよい。まず、各室内平面画像に潜在的な、スケールと回転に対して不変の注目ポイントを例えばガウス微分関数により検出してもよい。続いて、注目ポイントの位置にキーポイントの位置とスケールを確定する。そして、画像の局部の勾配方向に基づいて、各キーポイントに方向を分配する。最後、各キーポイントの領域に画像の局部の勾配を測定して、且つ１つの特徴ベクトルで表す。

次に、ステップ１２２において、特徴点に基づいて各室内平面画像の隣接関係を確定する。例えば、一実施形態において、複数の室内平面画像は互いにマッチングする、ＳＩＦＴ特徴の特徴点に基づいて構成される特徴ベクトルを含まれば、当該複数の室内平面画像は隣接関係がある。

続いて、ステップ１２３において、各室内平面画像の撮影パラメータを取得する。撮影パラメータは例えば、カメラの焦点距離、カメラの撮影角及びカメラの光学中心間からプリセット基準点までの変位量を含んでもよい。室内平面画像の撮影パラメータに基づいて、室内平面画像の一つの所定三次元座標系での座標値が取得できる。

続いて、ステップ１２４において、各室内平面画像の隣接関係と各室内平面画像の撮影パラメータに基づいて、室内平面図を単位球面座標系における対応位置にマッピングして室内パノラマ画像を生成する。ここで、単位球面座標系の球心はプレセット基準点であり、且つ当該単位球面座標系の球の半径は単位値である。

ただし、携帯電話などの非固定の装置で各室内平面画像を撮影する場合、室内平面図を単位球面座標系における対応位置にマッピングして室内パノラマ画像を生成するために、まずは各室内平面画像を撮影する時の撮影パラメータを換算して、さらに撮影された室内平面画像を変換してもよい。

例えば、各室内平面画像を収集する時に携帯電話と固定基準点の位置を同じ数値に変換してから、各室内平面画像を相応に変換し、変換された室内平面画像を単位球面座標系における対応位置にマッピングしてもよい。

また、好ましい技術案として、室内パノラマ画像を生成した後に、各室内平面画像のモザイキングされる所に対して融合処理を行ってもよく、それによって、より真実的に室内の特徴を反映する。さらに、生成された室内パノラマ画像に対して光均一にしたり、色を均一にしたりするなど最適化処理を行って、複数の室内平面画像の撮影パラメータ（例えば、明るさ）のばらつきが後続ステップに悪影響を与えることを防止する。

続いて、図１を参照して、ステップ１３０において、パノラマ画像の有効線特徴を抽出し、当該有効線特徴は壁面と地面の境界線を代表する線特徴を含む。抽出された有効線特徴は室内２Ｄ平面図を最終に生成するための線特徴とすることができる。

一実施形態において、ステップ１３０は、
パノラマ画像におけるすべての線特徴を抽出するステップ１３１を含んでもよい。ここで、すべての線特徴は各室内平面画像のすべての直線段を代表している。通常には、室内平面画像において、例えば壁面の交線、壁面と地面の交線、及び室内のある家具の輪郭（例えば、ベッド、机、洋服ダンスなど）の直線特徴を有するオブジェクトが多く存在する可能性がある。

しかし、室内２Ｄ平面図を生成する時に、すべての直線特性特徴を有する線特徴を必要としないことが明らかである。従って、すべての線特徴をフィルターして、室内２Ｄ平面図を生成するために必要な線特徴を抽出する。

従って、ステップ１３０は、
すべての線特徴から有効線特徴を抽出するステップ１３２をさらに含んでもよい。
図３はパノラマ画像におけるすべての線特徴を抽出するステップ、すなわち、ステップ１３１の概略フローチャートである。

図３に示すように、ステップ１３１１において、パノラマ画像を複数の２進スクエアに区画する。そのうち、２進スクエアは四つの辺の画素数が２の冪である矩形である。

続いて、ステップ１３１２において、各２進スクエアのビームレットをトラバースし、ビームレットがプリセット条件を満たす場合、抽出されたビームレットが２進スクエアの最適なビームレットである。ここで、ビームレットとは２つの端点が２進スクエアの辺の任意画素位置にある線分である。

図４は２進スクエア４００とその中の１つのビームレット４０１の概略図である。図４において、２進スクエア４００は正方形で、各辺の辺長が２^４個の画素を含み、ビームレット４０１は当該２進スクエア４００における１つのビームレットである。ビームレットの垂直成分と水平成分は数の対｛ｐ、ｑ｝で表し、ここで、ｐはより大きい数である。図４において、ビームレット４０１を｛９、５｝で表すことが明らかである。

一実施形態として、δ＆（φ||γ）が真であることをプリセット条件として設定してもよい。

そのうち、Ｙ_ｂ＞εをδとし、Ｙ_ｂ１＜ε_１をφとし、Ｙ_ｂ２＜ε_１をγとする。従って、上記プリセット条件の表現式の物理的意味は、δが真で、且つφまたはγのうちの少なくとも一つが真である場合に、ε、ε_１、ε_２∈（０、１）がプリセットの閾値である。

Ｙ_ｂ、Ｙ_ｂ１及びＹ_ｂ２はそれぞれビームレット４０１及び２本の平行ビームレット（それぞれ第１の平行ビームレットと第２の平行ビームレットと呼ばれる。）における画素の突然の変化量を表す。第１の平行ビームレットと第２の平行ビームレットはビームレット４０１に平行し、且つ第１の平行ビームレットと第２の平行ビームレットの端点はそれぞれビームレットの２つの端点と隣接する。図４のビームレット４０１を例として、第１の平行ビームレットは数の対（１０、６）で表し、第２の平行ビームレットは数の対（８、４）で表すことができる。

一実施形態において、ビームレットのエネルギー統計で画素の突然の変化量を表すことができる。この場合に、
Ｙ_ｂ＝｛｜Ｔ（ｂ）｜／ｌ（ｂ）、ｂ∈Ｂ｝
ここで、Ｔ（ｂ）は変換係数であり、ｌ（ｂ）はビームレット４０１の長さの対数である。

一実施形態において、例えば、まず、各２進スクエアをウェーブレット変換して２進スクエアに現れ可能な線特徴を目立たせ、さらにウェーブレット変換された２進スクエアをビームレット変換して取得された変換係数をＴ（ｂ）とする。

続いて、図１を参照して、室内２Ｄ平面図を生成する時、すべての直線段を必要とされるわけではないので、パノラマ画像におけるすべての線特徴を抽出した後に、図５のような方式ですべての線特徴から有効線特徴を抽出することができる。

図５はすべての線特徴から有効線特徴を抽出するステップ、即ち、図１のステップ１３２の一実施例の概略フローチャートである。

図５のように、ステップ１３２１において、すべての線特徴から候補線特徴を抽出する。そのうち、候補線特徴は長さがプリセット値より大きい線特徴である。例えば、線特徴とそれに対応する２進スクエアとの間のサイズ比に基づいてプリセット値を設定してもよい。

続いて、ステップ１３２２において、候補線特徴から基準線特徴を抽出し、ここで、地平面に垂直な線特徴を基準線特徴とされる。こうすると、２つずつの壁面との接合部の線特徴及びドアと壁面との接合部の線特徴を抽出することができる。

最後に、ステップ１３２３において、候補線特徴から基準線特徴と交差する線特徴を有効線特徴として抽出する。こうすると、壁面と地面の境界線を最終的な有効線特徴として抽出する。なお、ドアと壁面との接合部の線特徴と交差する条件によって、有効線特徴にドアの対応位置をマークすることができる。

もう一度図１を参照して、有効線特徴が抽出された後に、本実施形態の方法は、有効線特徴に基づいて室内２Ｄ平面図を生成するステップ１４０をさらに含む。有効線特徴が単位球面座標系における室内パノラマ画像から抽出されたので、室内パノラマ画像の各々の画素点は当該単位球面座標系においていずれも唯一的な座標値を有する。こうなると、抽出された有効線特徴における各々の画素点にも唯一的な座標値を含む。従って、抽出された有効線特徴はスケール情報を含む。

例えば、一実施形態として、有効線特徴をワールド座標系にマッピングして、室内２Ｄ平面図を取得してもよい。

図６は有効線特徴をワールド座標系にマッピングする一実施形態の概略図である。

まず、各有効線特徴ｂ_０における任意の２つの点と単位球面座標系の球心との間の接続線を含む第１の平面Ｓ_１を取得する。

続いて、各有効線特徴ｂ_０に対応する第一平面Ｓ_１と地平面Ｓ_０との交線ｂ_１を取得することによって、室内２Ｄ平面図における各線を取得する。線特徴の球面座標はいちいちワールド座標（即ち、三次元デカルト座標系における座標）にマッピングすることができるので、各交線ｂ_１を取得する同時に、三次元デカルト座標系における当該交線ｂ_１に対応するスケールを取得することができる。

図７は本願の一実施例に係る室内２Ｄ平面図の生成装置７００の概略図である。

該実施形態において、室内２Ｄ平面図の生成装置７００は受信モジュール７１０、パノラマ画像生成モジュール７２０、有効線特徴抽出モジュール７３０、及び平面図生成モジュール７４０を含む。

そのうち、受信モジュール７１０は複数のカメラで撮影された複数の室内平面画像を受信するよういに配置されている。

パノラマ画像生成モジュール７２０は室内平面画像に基づいて室内パノラマ画像をモザイキングして生成するように配置されている。

有効線特徴抽出モジュール７３０は有効線特徴を抽出するように配置されている。そのうち、有効線特徴は壁面と地面の境界線を代表する線特徴を含んでもよい。

平面図生成モジュール７４０は有効線特徴に基づいて室内２Ｄ平面図を生成するように配置されている。

一実施形態において、パノラマ画像生成モジュール７２０は特徴点抽出ユニット７２１、隣接関係確定ユニット７２２、撮影パラメータ取得ユニット７２３、及びマッピングユニット７２４を含む。

そのうち、特徴点抽出ユニット７２１は各室内平面画像の特徴点を抽出するように配置されている。

隣接関係確定ユニット７２２は特徴点に基づいて各室内平面画像の隣接関係を確定するように配置されている。例えば、隣接関係確定ユニット７２２は、複数の室内平面画像が互いにマッチングする、ＳＩＦＴ特徴の特徴点に基づいて構成する特徴ベクトルを含む時に、複数の前記室内平面画像が隣接関係を持っていると確定するように配置されている。

撮影パラメータ取得ユニット７２３は各室内平面画像の撮影パラメータを取得するように配置されており、当該撮影パラメータはカメラの焦点距離、カメラの撮影角、及びカメラの光学中心から既定基準点までの変位量を含む。

マッピングユニット７２４は各室内平面画像の隣接関係と各室内平面画像の撮影パラメータに基づいて、室内平面図を単位球面座標系における対応位置にマッピングして室内パノラマ画像を生成するように配置されており、単位球面座標系の球心はプリセットの基準点である。

一実施形態において、有効線特徴抽出モジュール７３０は事前抽出ユニット７３１とフィルターユニット７３２を含んでもよい。

そのうち、事前抽出ユニット７３１はパノラマ画像におけるすべての線特徴を抽出するように配置されていてもよい。フィルターユニット７３２はすべての線特徴から有効線特徴を抽出することように配置されていてもよい。

好ましい技術案として、事前抽出ユニット７３１は２進スクエア区画サブユニットと最適ビームレット抽出サブユニットをさらに含んでもよい。

そのうち、２進スクエア区画サブユニットはパノラマ画像を複数の２進スクエアに区画するように配置されており、当該２進スクエアは４つの辺の画素数が２の冪である矩形である。最適ビームレット抽出サブユニットは各２進スクエアにおけるビームレットをトラバースし、ビームレットがプリセット条件を満たすと、ビームレットを２進スクエアの最適なビームレットとして抽出するように配置されており、該ビームレットは２つの端点が２進スクエアの辺の任意の画素位置にある線分である。

一実施形態において、プリセット条件は、例えば、ビームレットにおける画素値の突然の変化量が第１のプリセット値より大きく、かつビームレットの第１の平行ビームレットにおける画素値の突然の変化量が第２のプリセット値より小さいまたはビームレットの第２の平行ビームレットの画素値の突然の変化量が第３のプリセット値より小さいことであってもよい。

そのうち、第１の平行ビームレットと第２の平行ビームレットはビームレットに平行し、且つ第１の平行ビームレットと第２の平行ビームレットの端点はそれぞれビームレットの２つの端点に隣接する。

好ましい技術案として、フィルターユニット７３２は候補線特徴抽出サブユニット、基準線特徴抽出サブユニット及び有効線特徴抽出サブユニットをさらに含んでもよい。

そのうち、候補線特徴抽出サブユニットはすべての線特徴から候補線特徴を抽出するように配置されていてもよく、当該候補線特徴の長さはプリセット値より大きい。基準線特徴抽出サブユニットは候補線特徴から基準線特徴を抽出するように配置されていてもよく、ここで、基準線特徴は地平面に垂直である。有効線特徴抽出サブユニットは候補線特徴から基準線特徴と交差する線特徴を有効線特徴として抽出するように配置されていてもよい。

好ましい技術案として、平面生成モジュール７４０は具体的に、有効線特徴をワールド座標系にマッピングするように配置されていてもよい。

一実施形態において、平面生成モジュール７４０は第１の平面取得ユニット７４１と交線算出ユニット７４２を含んでもよい。

そのうち、第１の平面取得ユニット７４１は各有効線特徴における任意の２つの点と単位球面座標系の球心との接続線を含む第１の平面を取得するように配置されていてもよい。交線算出ユニット７４２は各有効線特徴に対応する第１の平面と地平面の交線を算出することによって、室内２Ｄ平面図の各線を取得するように配置されていてもよい。

図８は本願の一実施例に係る室内２Ｄ平面図の生成システムの概略構造図である。

図８の実施例において、室内２Ｄ平面図の生成システム８００はコレクタ８１０とプロセッサ８２０を含む。

そのうち、コレクタ８１０は複数の室内平面画像を収集することに用いられる。コレクタ８１０は複数の撮像装置を含んでもよい。撮像装置の焦点面は地平面に垂直である。

図９はコレクタ８１０の一実施形態である。コレクタ８１０は複数の収集装置８１１を含んでもよい。

また、図８のように、プロセッサ８２０は、受信された室内平面画像をモザイキングして室内パノラマ画像を生成し、パノラマ画像における有効線特徴を抽出し、有効線特徴に基づいて室内２Ｄ平面図を生成するように配置されている。そのうち、有効線特徴は壁面と地面の境界線を代表する線特徴を含む。

好ましい技術案として、室内２Ｄ平面図の生成システムは表示装置８３０をさらに含んでもよい。表示装置はプロセッサ８２０が生成した室内２Ｄ平面図を表示するように配置されている。

図面のフローチャートとブロック図は本発明の各実施例のシステム、方法及びコンピュータプログラム製品による実現可能な体系構造、機能及び操作を示す。ここで、フローチャートまたはブロック図における各枠は１つのモジュール、プログラムセグメント、またはコードの一部を代表することができ、前記モジュール、プログラムセグメント、またはコードの一部は規定された論理機能を達成するための１つまたは複数の実行可能な命令を含む。なお、いくつかの代替実施態様として、枠にマークされた機能は図面にマークされた順序と異なる順序で実行してもよい。例えば、２つの接続に示される枠は実際的に、係る機能に応じて、ほぼ並行的に実行されてもよく、反対の順序で実行されてもよい。なお、ブロック図及び／またはフローチャートにおける各枠、及びブロック図及び／またはフローチャートにおける枠の組合せは規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、または、専用ハードウェアとコンピュータの命令の組合せで実行してもよい。

本願の実施例に記述されたユニットまたはモジュールはソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記述されたユニットまたはモジュールをプロセッサに設定してもよく、例えば、受信モジュール、パノラマ画面生成モジュール、有効特徴抽出モジュール及び平面生成モジュールを含むプロセッサと記述されてもよい。そのうち、これらのユニットまたはモジュールの名称はある場合に当該ユニットまたはモジュールの自体を限定するものではなく、例えば、受信モジュールは「室内平面画像受信ユニット」と呼ばれてもよい。

一方、本願はコンピュータ可読記憶媒体をさらに提供し、当該コンピュータ可読記憶媒体は上記実施例の前記装置に含まれるコンピュータ可読記憶媒体であってもよく、独立に存在して、装置に組み立てされていないコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は１つ又は１つ以上のプログラムを格納し、前記プログラムは１つ又は１つ以上のプロセッサに本願に記述された公式の入力方法を実行することに用いられる。

以上の記述は本願の最適実施例及び使用された技術的原理の説明に過ぎない。当業者が理解すべきであることは、本願に係る発明の範囲は上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術的解決手段も含むべきである。例えば、上記の特徴と本願に開示された（これに限定されない）類似の機能を持っている技術特徴を互いに置き換えてなる技術案が挙げられる。

Claims

室内２Ｄ平面図の生成方法であって、
複数のカメラで撮影された複数の室内平面画像を受信するステップと、
受信された前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成するステップと、
前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するステップと、
前記有効線特徴をワールド座標系にマッピングして室内２Ｄ平面図を生成するステップと、を含み、
前記室内パノラマ画像における有効線特徴を抽出するステップにおいて、
前記室内パノラマ画像におけるすべての線特徴を抽出するステップと、
前記すべての線特徴から有効線特徴を抽出するステップとを含み、
前記すべての線特徴から有効線特徴を抽出するステップにおいて、
すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出するステップと、
前記候補線特徴から、地平面に垂直な基準線特徴を抽出するステップと、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出するステップと、を含むことを特徴とする室内２Ｄ平面図の生成方法。
前記の受信された前記室内平面画像に基づいて、室内パノラマ画像をモザイキングして生成するステップにおいて、
各前記室内平面画像における特徴点を抽出するステップと、
前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するステップと、
各前記室内平面画像の、カメラの焦点距離、カメラの撮影角及びカメラの光学中心からプリセット基準点までの変位量を含む撮影パラメータを取得するステップと、
各前記室内平面画像の隣接関係及び各前記室内平面画像の撮影パラメータに基づいて、前記室内平面画像を球心がプリセット基準点である単位球面座標系における対応位置にマッピングして前記室内パノラマ画像を生成するステップと、を含むことを特徴とする請求項１に記載の方法。
前記の前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するステップにおいて、
複数の室内平面画像がそれぞれ互いにマッチングする、スケール不変特徴量変換の特徴点に基づいて構成された特徴ベクトルを含む場合、前記複数の室内平面画像は隣接関係を持っている、ことを特徴とする請求項２に記載の方法。
前記室内パノラマ画像におけるすべての線特徴を抽出するステップにおいて、
前記室内パノラマ画像を複数の２進スクエアに区画するステップと、
各前記２進スクエアの中のビームレットから、プリセット条件を満たすビームレットを前記２進スクエアの最適なビームレットとして抽出するステップと、を含んでおり、
ここで、前記２進スクエアは４つの辺の画素数が２の冪である矩形であって、前記ビームレットは２つの端点が前記２進スクエアの辺の任意画素位置にある線分であることを特徴とする請求項１に記載の方法。
前記プリセット条件は、
前記ビームレットにおける画素値の突然の変化量が第１のプリセット値より大きく、かつ、
前記ビームレットの第１の平行ビームレットにおける画素値の突然の変化量が第２のプリセット値より小さく、又は前記ビームレットの第２の平行ビームレットにおける画素値の突然の変化量が第３のプリセット値より小さいことであり、
ここで、前記第１の平行ビームレットと前記第２の平行ビームレットは前記ビームレットに平行し、且つ前記第１の平行ビームレットと前記第２の平行ビームレットの端点はそれぞれ前記ビームレットの２つの端点に隣接する、ことを特徴とする請求項４に記載の方法。
前記の前記有効線特徴をワールド座標系にマッピングして室内２Ｄ平面図を生成するステップにおいて、
各有効線特徴における任意の２つの点と単位球面座標系の球心との接続線を含む第１の平面を取得するステップと、
前記室内２Ｄ平面図の各線を取得するために、各有効線特徴に対応する前記第１の平面と地平面の交線を算出するステップと、を含むことを特徴とする請求項１に記載の方法。
室内２Ｄ平面図の生成装置であって、
複数のカメラで撮影された複数の室内平面画像を受信するように配置されている受信モジュールと、
前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成するように配置されているパノラマ画像生成モジュールと、
壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するように配置されている有効線特徴抽出モジュールと、
前記有効線特徴をワールド座標系にマッピングして室内２Ｄ平面図を生成するように配置されている平面図生成モジュールと、を含み、
前記有効線特徴抽出モジュールは、
前記室内パノラマ画像におけるすべての線特徴を抽出するように配置されている前抽出ユニットと
前記すべての線特徴から有効線特徴を抽出するように配置されているフィルターユニットと、を含み、
前記フィルターユニットは、
すべての前記線特徴から長さがプリセット値より大きい候補線特徴を抽出するように配置されている候補線特徴抽出サブユニットと、
前記候補線特徴から地平面に垂直な基準線特徴を抽出するように配置されている基準線特徴抽出サブユニットと、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出するように配置されている有効線特徴抽出サブユニットと、を含むことを特徴とする室内２Ｄ平面図の生成装置。
前記パノラマ画像生成モジュールは、
各前記室内平面画像における特徴点を抽出するように配置されている特徴点抽出ユニットと、
前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するように配置されている隣接関係確定ユニットと、
各前記室内平面画像の、カメラの焦点距離、カメラの撮影角及びカメラの光学中心からプリセット基準点までの変位量を含む撮影パラメータを取得するように配置されている撮影パラメータ取得ユニットと、
各前記室内平面画像の隣接関係と各前記室内平面画像の撮影パラメータに基づいて前記室内平面画像を球心が前記プリセット基準点である単位球面座標系における対応位置にマッピングして前記室内パノラマ画像を生成するように配置されているマッピングユニットと、を含むことを特徴とする請求項７に記載の装置。
前記隣接関係確定ユニットはさらに、複数の室内平面画像がそれぞれマッチングする、スケール不変特徴量変換の特徴点に基づいて構成される特徴ベクトルを含む場合に、複数の前記室内平面画像が隣接関係を持っていることを確定するように配置されていることを特徴とする請求項８に記載の装置。
前記前抽出ユニットは、
前記室内パノラマ画像を複数の２進スクエアに区画するように配置されている２進スクエア区画サブユニットと、
各前記２進スクエアの中のビームレットから、プリセット条件を満たすビームレットを前記２進スクエアの最適ビームレットとして抽出するように配置されている最適ビームレット抽出サブユニットと、を含んでおり、
ここで、前記２進スクエアは４つの辺の画素数が２の冪である矩形であり、前記ビームレットは２つの端点が前記２進スクエアの辺の任意画素位置にある線分であることを特徴とする請求項７に記載の装置。
前記プリセット条件は、
前記ビームレットにおける画素値の突然の変化量が第１のプリセット値より大きく、かつ、
前記ビームレットの第１の平行ビームレットにおける画素値の突然の変化量が第２のプリセット値より小さく、又は前記ビームレットの第２の平行ビームレットにおける画素値の突然の変化量が第３のプリセット値より小さいことであり、
ここで、前記第１の平行ビームレットと前記第２の平行ビームレットは前記ビームレットに平行し、且つ前記第１の平行ビームレットと前記第２の平行ビームレットの端点はそれぞれ前記ビームレットの２つの端点に隣接することを特徴とする請求項１０に記載の装置。
前記平面図生成モジュールは、
各有効線特徴の任意の２つの点と単位球面座標系の球心との接続線を含む第１の平面を取得するように配置されている第１の平面取得ユニットと
前記室内２Ｄ平面図における各線を取得するために、各有効線特徴に対応する前記第１の平面と地平面の交線を算出するように配置されている交線算出ユニットと、を含むことを特徴とする請求項７に記載の装置。
室内２Ｄ平面図の生成システムであって、
複数の室内平面画像を収集することに用いられるコレクタと、
受信された前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、前記有効線特徴をワールド座標系にマッピングして室内２Ｄ平面図を生成することに用いられるプロセッサと、を含み、
前記プロセッサは、
前記室内パノラマ画像における有効線特徴を抽出する際に、
前記室内パノラマ画像におけるすべての線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出する際に、
すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする室内２Ｄ平面図の生成システム。
前記コレクタは複数の撮像装置を含み、
前記撮像装置の焦点面は地平面に垂直であることを特徴とする請求項１３に記載のシステム。
前記プロセッサで生成された前記室内２Ｄ平面図を表示することに用いられる表示装置をさらに含む、ことを特徴とする請求項１３または１４に記載のシステム。
室内２Ｄ平面図の生成装置であって、
プロセッサと、
記憶部を備えており、
前記記憶部はコンピュータ可読命令を記憶し、前記コンピュータ可読命令が前記プロセッサより実行される場合に、前記プロセッサは、
複数のカメラで撮影された複数の室内平面画像を受信し、
前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、
壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、
前記有効線特徴をワールド座標系にマッピングして室内２Ｄ平面図を生成し、
前記室内パノラマ画像における有効線特徴を抽出する際に、
前記室内パノラマ画像におけるすべての線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出する際に、
すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする室内２Ｄ平面図の生成装置。
不揮発性のコンピュータ記憶媒体であって、コンピュータ可読命令を記憶しており、前記コンピュータ可読命令がプロセッサより実行される場合に、前記プロセッサは、
複数のカメラで撮影された複数の室内平面画像を受信し、
受信された前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、
前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、
前記有効線特徴をワールド座標系にマッピングして室内２Ｄ平面図を生成し、
前記室内パノラマ画像における有効線特徴を抽出する際に、
前記室内パノラマ画像におけるすべての線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出する際に、
すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする不揮発性のコンピュータ記憶媒体。