JP6174104B2 - 室内2d平面図の生成方法、装置及びシステム - Google Patents

室内2d平面図の生成方法、装置及びシステム Download PDF

Info

Publication number
JP6174104B2
JP6174104B2 JP2015232566A JP2015232566A JP6174104B2 JP 6174104 B2 JP6174104 B2 JP 6174104B2 JP 2015232566 A JP2015232566 A JP 2015232566A JP 2015232566 A JP2015232566 A JP 2015232566A JP 6174104 B2 JP6174104 B2 JP 6174104B2
Authority
JP
Japan
Prior art keywords
indoor
line
feature
beamlet
line feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015232566A
Other languages
English (en)
Other versions
JP2016194895A (ja
Inventor
ジャオイェン ジャン
ジャオイェン ジャン
ビン ジャン
ビン ジャン
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Publication of JP2016194895A publication Critical patent/JP2016194895A/ja
Application granted granted Critical
Publication of JP6174104B2 publication Critical patent/JP6174104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本願は一般的にコンピュータ技術分野に関して、具体的には、画像処理技術、特に、室内2D平面図の生成方法、装置及びシステムに関する。
従来の室内2D平面図回復技術は主に2種類があって、つまり、深度センサに基づいて回復して室内2D平面図を再構築する第1の種類と画像に基づいて回復して室内2D平面図を再構築する第2の種類である。
しかし、従来の室内2D平面図回復技術は以下の問題がある。
第1の種類の技術について、専門の深度センサが必要であり、且つ大きいシーンの場合、センサの誤差が大きいので、回復して得られた室内2D平面図の誤差も大きい。
第2の種類の技術について、室内2D平面図を取得する過程において、人工が必要であるので、効率が低い。そして、第2の種類の技術において、複雑なシーンを認識する精度は低い。
従来技術の上記した欠陥または不足に鑑みて、普通のカメラで収集された室内平面画像を利用して室内2D平面図を自動的に生成し、且つ認識精度が高い室内2D平面図の生成方法、装置及びシステムを提供することが期望されている。
上記した1つまたは複数の目的を達成するため、本願の実施例は室内2D平面図の生成方法を提供しており、複数のカメラで撮影された複数の室内平面画像を受信するステップと、受信された室内平面画に基づいて室内パノラマ画像をモザイキングして生成するステップと、パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するステップと、有効線特徴に基づいて室内2D平面図を生成するステップと、を含む。
第2の形態において、本願の実施例は室内2D平面図の生成装置を提供しており、複数のカメラで撮影された複数の室内平面画像を受信するための受信モジュールと、受信された室内平面画像に基づいて室内パノラマ画像を信するための受信モジュール、受信された室内平面画像に基づいて室内パノラマ成するためのパノラマ画像生成モジュールと、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するための有効線特徴抽出モジュールと、及び有効線特徴に基づいて室内2D平面図を生成するための平面図生成モジュールと、を含む。
第3の形態において、本願の実施例は室内2D平面図の生成システムをさらに提供しており、コレクタとプロセッサを含み、そのうち、コレクタが複数の室内平面画像を収集することに用いられ、プロセッサが受信された室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、及び有効線特徴に基づいて室内2D平面図を生成することに用いられる。
従来技術を比べると、本願の実施例による室内2D平面図の生成方法、装置及びシステムは、専用センサを必要とせず、より便利になり、後処理を必要とせず、より速くなり、人工を必要とせず、取得された室内平面画像に基づいて自動的に生成できる。
そして、抽出された有効線特徴にスケール情報が含まれているので、最終に得られた2D平面図における各線分の間には相対的な空間位置関係を有し、且つ各線分にスケール情報がさらに含まれているので、後で使用するために利便性を提供する。
以下の図面を参照しながら非限定的な実施例を詳しく説明することにより、本願の他の特徴、目的及び利点はより明らかになる。
図1は本願の一実施例に係る室内2D平面図の生成方法の概略フローチャートである。 図2は受信された室内平面画像に基づいて室内パノラマ画像をモザイキングする一実施例の概略フローチャートである。 図3はパノラマ画像における全ての線特徴を抽出する一実施例の概略フローチャートである。 図4は2進スクエア400とその中の1つのビームレット401の概略図である。 図5はすべての線特徴から有効線特徴を抽出する一実施例の概略フローチャートである。 図6は有効線特徴に基づいて室内2D平面図を生成する一実施例の概略フローチャートである。 図7は本願の一実施例に係る室内2D平面図の生成装置の概略構造図である。 図8は本願の一実施例に係る室内2D平面図の生成システムの概略構造図である。 図9は図8のコレクタ810の一実施例の概略構造図である。
以下、図面と実施例を参照しながら、本願をさらに詳しく説明する。ここで説明する具体的な実施例は係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないことを理解することができる。なお、説明の便宜上、図面に本発明と関連する部分のみ示されている。
ただし、衝突がない限り、本願における実施例及び実施例における特徴は互いに組み合せることができる。以下、図面を参照しながら実施例に基づいて本願を詳しく説明する。
図1は本願の一実施例に係る室内2D平面図の生成方法の概略フローチャート100である。
図1に示すように、ステップ110において、複数のカメラで撮影された複数の室内平面画像を受信する。例えば、複数のカメラの位置が室内シーンの全体像を収集可能な任意の位置に設定されてもよい。または、ジャイロスコープなどの偏位と傾斜を検出可能なセンサを備える、カメラ機能付き電子機器で室内平面画像を撮影してもよい。例えば、ジャイロスコープ付き携帯電話のカメラで室内平面画像を撮影してもよい。携帯電話のジャイロスコープは携帯電話の偏位と傾斜角を検査することができるので、撮影された室内平面画像に対応する撮影パラメータ(例えば、撮影角)をさらに取得できる。
次に、ステップ120において、受信された室内平面画像に基づいて室内パノラマ画像をモザイキングして生成する。
ステップ110で受信された複数の室内平面画像から、各室内平面画像の撮影パラメータを取得することができ、さらに、これらの室内平面画像に含まれる撮影パラメータ情報により複数の室内平面画像をモザイキングして、室内パノラマ画像を生成することができる。
図2は受信された室内平面画像をモザイキングして、室内パノラマ画像を生成するステップ、すなわち、図1のステップ120の一実施例の概略フローチャートである。
図2に示すように、ステップ121において、各室内平面画像における特徴点を抽出する。例えば、各室内平面画像におけるスケール不変特徴量変換(Scale−invariant feature transform、SIFT)を抽出することができる。例えば、SIFT特徴の抽出は以下のステップによって実行してもよい。まず、各室内平面画像に潜在的な、スケールと回転に対して不変の注目ポイントを例えばガウス微分関数により検出してもよい。続いて、注目ポイントの位置にキーポイントの位置とスケールを確定する。そして、画像の局部の勾配方向に基づいて、各キーポイントに方向を分配する。最後、各キーポイントの領域に画像の局部の勾配を測定して、且つ1つの特徴ベクトルで表す。
次に、ステップ122において、特徴点に基づいて各室内平面画像の隣接関係を確定する。例えば、一実施形態において、複数の室内平面画像は互いにマッチングする、SIFT特徴の特徴点に基づいて構成される特徴ベクトルを含まれば、当該複数の室内平面画像は隣接関係がある。
続いて、ステップ123において、各室内平面画像の撮影パラメータを取得する。撮影パラメータは例えば、カメラの焦点距離、カメラの撮影角及びカメラの光学中心間からプリセット基準点までの変位量を含んでもよい。室内平面画像の撮影パラメータに基づいて、室内平面画像の一つの所定三次元座標系での座標値が取得できる。
続いて、ステップ124において、各室内平面画像の隣接関係と各室内平面画像の撮影パラメータに基づいて、室内平面図を単位球面座標系における対応位置にマッピングして室内パノラマ画像を生成する。ここで、単位球面座標系の球心はプレセット基準点であり、且つ当該単位球面座標系の球の半径は単位値である。
ただし、携帯電話などの非固定の装置で各室内平面画像を撮影する場合、室内平面図を単位球面座標系における対応位置にマッピングして室内パノラマ画像を生成するために、まずは各室内平面画像を撮影する時の撮影パラメータを換算して、さらに撮影された室内平面画像を変換してもよい。
例えば、各室内平面画像を収集する時に携帯電話と固定基準点の位置を同じ数値に変換してから、各室内平面画像を相応に変換し、変換された室内平面画像を単位球面座標系における対応位置にマッピングしてもよい。
また、好ましい技術案として、室内パノラマ画像を生成した後に、各室内平面画像のモザイキングされる所に対して融合処理を行ってもよく、それによって、より真実的に室内の特徴を反映する。さらに、生成された室内パノラマ画像に対して光均一にしたり、色を均一にしたりするなど最適化処理を行って、複数の室内平面画像の撮影パラメータ(例えば、明るさ)のばらつきが後続ステップに悪影響を与えることを防止する。
続いて、図1を参照して、ステップ130において、パノラマ画像の有効線特徴を抽出し、当該有効線特徴は壁面と地面の境界線を代表する線特徴を含む。抽出された有効線特徴は室内2D平面図を最終に生成するための線特徴とすることができる。
一実施形態において、ステップ130は、
パノラマ画像におけるすべての線特徴を抽出するステップ131を含んでもよい。ここで、すべての線特徴は各室内平面画像のすべての直線段を代表している。通常には、室内平面画像において、例えば壁面の交線、壁面と地面の交線、及び室内のある家具の輪郭(例えば、ベッド、机、洋服ダンスなど)の直線特徴を有するオブジェクトが多く存在する可能性がある。
しかし、室内2D平面図を生成する時に、すべての直線特性特徴を有する線特徴を必要としないことが明らかである。従って、すべての線特徴をフィルターして、室内2D平面図を生成するために必要な線特徴を抽出する。
従って、ステップ130は、
すべての線特徴から有効線特徴を抽出するステップ132をさらに含んでもよい。
図3はパノラマ画像におけるすべての線特徴を抽出するステップ、すなわち、ステップ131の概略フローチャートである。
図3に示すように、ステップ1311において、パノラマ画像を複数の2進スクエアに区画する。そのうち、2進スクエアは四つの辺の画素数が2の冪である矩形である。
続いて、ステップ1312において、各2進スクエアのビームレットをトラバースし、ビームレットがプリセット条件を満たす場合、抽出されたビームレットが2進スクエアの最適なビームレットである。ここで、ビームレットとは2つの端点が2進スクエアの辺の任意画素位置にある線分である。
図4は2進スクエア400とその中の1つのビームレット401の概略図である。図4において、2進スクエア400は正方形で、各辺の辺長が2個の画素を含み、ビームレット401は当該2進スクエア400における1つのビームレットである。ビームレットの垂直成分と水平成分は数の対{p、q}で表し、ここで、pはより大きい数である。図4において、ビームレット401を{9、5}で表すことが明らかである。
一実施形態として、δ&(φ||γ)が真であることをプリセット条件として設定してもよい。
そのうち、Y>εをδとし、Yb1<εをφとし、Yb2<εをγとする。従って、上記プリセット条件の表現式の物理的意味は、δが真で、且つφまたはγのうちの少なくとも一つが真である場合に、ε、ε、ε∈(0、1)がプリセットの閾値である。
、Yb1及びYb2はそれぞれビームレット401及び2本の平行ビームレット(それぞれ第1の平行ビームレットと第2の平行ビームレットと呼ばれる。)における画素の突然の変化量を表す。第1の平行ビームレットと第2の平行ビームレットはビームレット401に平行し、且つ第1の平行ビームレットと第2の平行ビームレットの端点はそれぞれビームレットの2つの端点と隣接する。図4のビームレット401を例として、第1の平行ビームレットは数の対(10、6)で表し、第2の平行ビームレットは数の対(8、4)で表すことができる。
一実施形態において、ビームレットのエネルギー統計で画素の突然の変化量を表すことができる。この場合に、
={|T(b)|/l(b)、b∈B}
ここで、T(b)は変換係数であり、l(b)はビームレット401の長さの対数である。
一実施形態において、例えば、まず、各2進スクエアをウェーブレット変換して2進スクエアに現れ可能な線特徴を目立たせ、さらにウェーブレット変換された2進スクエアをビームレット変換して取得された変換係数をT(b)とする。
続いて、図1を参照して、室内2D平面図を生成する時、すべての直線段を必要とされるわけではないので、パノラマ画像におけるすべての線特徴を抽出した後に、図5のような方式ですべての線特徴から有効線特徴を抽出することができる。
図5はすべての線特徴から有効線特徴を抽出するステップ、即ち、図1のステップ132の一実施例の概略フローチャートである。
図5のように、ステップ1321において、すべての線特徴から候補線特徴を抽出する。そのうち、候補線特徴は長さがプリセット値より大きい線特徴である。例えば、線特徴とそれに対応する2進スクエアとの間のサイズ比に基づいてプリセット値を設定してもよい。
続いて、ステップ1322において、候補線特徴から基準線特徴を抽出し、ここで、地平面に垂直な線特徴を基準線特徴とされる。こうすると、2つずつの壁面との接合部の線特徴及びドアと壁面との接合部の線特徴を抽出することができる。
最後に、ステップ1323において、候補線特徴から基準線特徴と交差する線特徴を有効線特徴として抽出する。こうすると、壁面と地面の境界線を最終的な有効線特徴として抽出する。なお、ドアと壁面との接合部の線特徴と交差する条件によって、有効線特徴にドアの対応位置をマークすることができる。
もう一度図1を参照して、有効線特徴が抽出された後に、本実施形態の方法は、有効線特徴に基づいて室内2D平面図を生成するステップ140をさらに含む。有効線特徴が単位球面座標系における室内パノラマ画像から抽出されたので、室内パノラマ画像の各々の画素点は当該単位球面座標系においていずれも唯一的な座標値を有する。こうなると、抽出された有効線特徴における各々の画素点にも唯一的な座標値を含む。従って、抽出された有効線特徴はスケール情報を含む。
例えば、一実施形態として、有効線特徴をワールド座標系にマッピングして、室内2D平面図を取得してもよい。
図6は有効線特徴をワールド座標系にマッピングする一実施形態の概略図である。
まず、各有効線特徴bにおける任意の2つの点と単位球面座標系の球心との間の接続線を含む第1の平面Sを取得する。
続いて、各有効線特徴bに対応する第一平面Sと地平面Sとの交線bを取得することによって、室内2D平面図における各線を取得する。線特徴の球面座標はいちいちワールド座標(即ち、三次元デカルト座標系における座標)にマッピングすることができるので、各交線bを取得する同時に、三次元デカルト座標系における当該交線bに対応するスケールを取得することができる。
図7は本願の一実施例に係る室内2D平面図の生成装置700の概略図である。
該実施形態において、室内2D平面図の生成装置700は受信モジュール710、パノラマ画像生成モジュール720、有効線特徴抽出モジュール730、及び平面図生成モジュール740を含む。
そのうち、受信モジュール710は複数のカメラで撮影された複数の室内平面画像を受信するよういに配置されている。
パノラマ画像生成モジュール720は室内平面画像に基づいて室内パノラマ画像をモザイキングして生成するように配置されている。
有効線特徴抽出モジュール730は有効線特徴を抽出するように配置されている。そのうち、有効線特徴は壁面と地面の境界線を代表する線特徴を含んでもよい。
平面図生成モジュール740は有効線特徴に基づいて室内2D平面図を生成するように配置されている。
一実施形態において、パノラマ画像生成モジュール720は特徴点抽出ユニット721、隣接関係確定ユニット722、撮影パラメータ取得ユニット723、及びマッピングユニット724を含む。
そのうち、特徴点抽出ユニット721は各室内平面画像の特徴点を抽出するように配置されている。
隣接関係確定ユニット722は特徴点に基づいて各室内平面画像の隣接関係を確定するように配置されている。例えば、隣接関係確定ユニット722は、複数の室内平面画像が互いにマッチングする、SIFT特徴の特徴点に基づいて構成する特徴ベクトルを含む時に、複数の前記室内平面画像が隣接関係を持っていると確定するように配置されている。
撮影パラメータ取得ユニット723は各室内平面画像の撮影パラメータを取得するように配置されており、当該撮影パラメータはカメラの焦点距離、カメラの撮影角、及びカメラの光学中心から既定基準点までの変位量を含む。
マッピングユニット724は各室内平面画像の隣接関係と各室内平面画像の撮影パラメータに基づいて、室内平面図を単位球面座標系における対応位置にマッピングして室内パノラマ画像を生成するように配置されており、単位球面座標系の球心はプリセットの基準点である。
一実施形態において、有効線特徴抽出モジュール730は事前抽出ユニット731とフィルターユニット732を含んでもよい。
そのうち、事前抽出ユニット731はパノラマ画像におけるすべての線特徴を抽出するように配置されていてもよい。フィルターユニット732はすべての線特徴から有効線特徴を抽出することように配置されていてもよい。
好ましい技術案として、事前抽出ユニット731は2進スクエア区画サブユニットと最適ビームレット抽出サブユニットをさらに含んでもよい。
そのうち、2進スクエア区画サブユニットはパノラマ画像を複数の2進スクエアに区画するように配置されており、当該2進スクエアは4つの辺の画素数が2の冪である矩形である。最適ビームレット抽出サブユニットは各2進スクエアにおけるビームレットをトラバースし、ビームレットがプリセット条件を満たすと、ビームレットを2進スクエアの最適なビームレットとして抽出するように配置されており、該ビームレットは2つの端点が2進スクエアの辺の任意の画素位置にある線分である。
一実施形態において、プリセット条件は、例えば、ビームレットにおける画素値の突然の変化量が第1のプリセット値より大きく、かつビームレットの第1の平行ビームレットにおける画素値の突然の変化量が第2のプリセット値より小さいまたはビームレットの第2の平行ビームレットの画素値の突然の変化量が第3のプリセット値より小さいことであってもよい。
そのうち、第1の平行ビームレットと第2の平行ビームレットはビームレットに平行し、且つ第1の平行ビームレットと第2の平行ビームレットの端点はそれぞれビームレットの2つの端点に隣接する。
好ましい技術案として、フィルターユニット732は候補線特徴抽出サブユニット、基準線特徴抽出サブユニット及び有効線特徴抽出サブユニットをさらに含んでもよい。
そのうち、候補線特徴抽出サブユニットはすべての線特徴から候補線特徴を抽出するように配置されていてもよく、当該候補線特徴の長さはプリセット値より大きい。基準線特徴抽出サブユニットは候補線特徴から基準線特徴を抽出するように配置されていてもよく、ここで、基準線特徴は地平面に垂直である。有効線特徴抽出サブユニットは候補線特徴から基準線特徴と交差する線特徴を有効線特徴として抽出するように配置されていてもよい。
好ましい技術案として、平面生成モジュール740は具体的に、有効線特徴をワールド座標系にマッピングするように配置されていてもよい。
一実施形態において、平面生成モジュール740は第1の平面取得ユニット741と交線算出ユニット742を含んでもよい。
そのうち、第1の平面取得ユニット741は各有効線特徴における任意の2つの点と単位球面座標系の球心との接続線を含む第1の平面を取得するように配置されていてもよい。交線算出ユニット742は各有効線特徴に対応する第1の平面と地平面の交線を算出することによって、室内2D平面図の各線を取得するように配置されていてもよい。
図8は本願の一実施例に係る室内2D平面図の生成システムの概略構造図である。
図8の実施例において、室内2D平面図の生成システム800はコレクタ810とプロセッサ820を含む。
そのうち、コレクタ810は複数の室内平面画像を収集することに用いられる。コレクタ810は複数の撮像装置を含んでもよい。撮像装置の焦点面は地平面に垂直である。
図9はコレクタ810の一実施形態である。コレクタ810は複数の収集装置811を含んでもよい。
また、図8のように、プロセッサ820は、受信された室内平面画像をモザイキングして室内パノラマ画像を生成し、パノラマ画像における有効線特徴を抽出し、有効線特徴に基づいて室内2D平面図を生成するように配置されている。そのうち、有効線特徴は壁面と地面の境界線を代表する線特徴を含む。
好ましい技術案として、室内2D平面図の生成システムは表示装置830をさらに含んでもよい。表示装置はプロセッサ820が生成した室内2D平面図を表示するように配置されている。
図面のフローチャートとブロック図は本発明の各実施例のシステム、方法及びコンピュータプログラム製品による実現可能な体系構造、機能及び操作を示す。ここで、フローチャートまたはブロック図における各枠は1つのモジュール、プログラムセグメント、またはコードの一部を代表することができ、前記モジュール、プログラムセグメント、またはコードの一部は規定された論理機能を達成するための1つまたは複数の実行可能な命令を含む。なお、いくつかの代替実施態様として、枠にマークされた機能は図面にマークされた順序と異なる順序で実行してもよい。例えば、2つの接続に示される枠は実際的に、係る機能に応じて、ほぼ並行的に実行されてもよく、反対の順序で実行されてもよい。なお、ブロック図及び/またはフローチャートにおける各枠、及びブロック図及び/またはフローチャートにおける枠の組合せは規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、または、専用ハードウェアとコンピュータの命令の組合せで実行してもよい。
本願の実施例に記述されたユニットまたはモジュールはソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記述されたユニットまたはモジュールをプロセッサに設定してもよく、例えば、受信モジュール、パノラマ画面生成モジュール、有効特徴抽出モジュール及び平面生成モジュールを含むプロセッサと記述されてもよい。そのうち、これらのユニットまたはモジュールの名称はある場合に当該ユニットまたはモジュールの自体を限定するものではなく、例えば、受信モジュールは「室内平面画像受信ユニット」と呼ばれてもよい。
一方、本願はコンピュータ可読記憶媒体をさらに提供し、当該コンピュータ可読記憶媒体は上記実施例の前記装置に含まれるコンピュータ可読記憶媒体であってもよく、独立に存在して、装置に組み立てされていないコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は1つ又は1つ以上のプログラムを格納し、前記プログラムは1つ又は1つ以上のプロセッサに本願に記述された公式の入力方法を実行することに用いられる。
以上の記述は本願の最適実施例及び使用された技術的原理の説明に過ぎない。当業者が理解すべきであることは、本願に係る発明の範囲は上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術的解決手段も含むべきである。例えば、上記の特徴と本願に開示された(これに限定されない)類似の機能を持っている技術特徴を互いに置き換えてなる技術案が挙げられる。

Claims (17)

  1. 室内2D平面図の生成方法であって、
    複数のカメラで撮影された複数の室内平面画像を受信するステップと、
    受信された前記室内平面画に基づいて室内パノラマ画像をモザイキングして生成するステップと、
    前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するステップと、
    前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成するステップと、を含み、
    前記室内パノラマ画像における有効線特徴を抽出するステップにおいて、
    前記室内パノラマ画像におけるすべての線特徴を抽出するステップと、
    前記すべての線特徴から有効線特徴を抽出するステップとを含み、
    前記すべての線特徴から有効線特徴を抽出するステップにおいて、
    すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出するステップと、
    前記候補線特徴から、地平面に垂直な基準線特徴を抽出するステップと、
    前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出するステップと、を含むことを特徴とする室内2D平面図の生成方法。
  2. 前記の受信された前記室内平面画に基づいて、室内パノラマ画像をモザイキングして生成するステップにおいて、
    各前記室内平面画像における特徴点を抽出するステップと、
    前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するステップと、
    各前記室内平面画像の、カメラの焦点距離、カメラの撮影角及びカメラの光学中心からプリセット基準点までの変位量を含む撮影パラメータを取得するステップと、
    各前記室内平面画像の隣接関係及び各前記室内平面画像の撮影パラメータに基づいて、前記室内平面画像を球心がプリセット基準点である単位球面座標系における対応位置にマッピングして前記室内パノラマ画像を生成するステップと、を含むことを特徴とする請求項1に記載の方法。
  3. 前記の前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するステップにおいて、
    複数の室内平面画像がそれぞれ互いにマッチングする、スケール不変特徴量変換の特徴点に基づいて構成された特徴ベクトルを含む場合、前記複数の室内平面画像は隣接関係を持っている、ことを特徴とする請求項2に記載の方法。
  4. 前記室内パノラマ画像におけるすべての線特徴を抽出するステップにおいて、
    前記室内パノラマ画像を複数の2進スクエアに区画するステップと、
    各前記2進スクエアの中のビームレットから、プリセット条件を満たすビームレットを前記2進スクエアの最適なビームレットとして抽出するステップと、を含んでおり、
    ここで、前記2進スクエアは4つの辺の画素数が2の冪である矩形であって、前記ビームレットは2つの端点が前記2進スクエアの辺の任意画素位置にある線分であることを特徴とする請求項に記載の方法。
  5. 前記プリセット条件は、
    前記ビームレットにおける画素値の突然の変化量が第1のプリセット値より大きく、かつ、
    前記ビームレットの第1の平行ビームレットにおける画素値の突然の変化量が第2のプリセット値より小さく、又は前記ビームレットの第2の平行ビームレットにおける画素値の突然の変化量が第3のプリセット値より小さいことであり、
    ここで、前記第1の平行ビームレットと前記第2の平行ビームレットは前記ビームレットに平行し、且つ前記第1の平行ビームレットと前記第2の平行ビームレットの端点はそれぞれ前記ビームレットの2つの端点に隣接する、ことを特徴とする請求項に記載の方法。
  6. 前記の前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成するステップにおいて、
    各有効線特徴における任意の2つの点と単位球面座標系の球心との接続線を含む第1の平面を取得するステップと、
    前記室内2D平面図の各線を取得するために、各有効線特徴に対応する前記第1の平面と地平面の交線を算出するステップと、を含むことを特徴とする請求項に記載の方法。
  7. 室内2D平面図の生成装置であって、
    複数のカメラで撮影された複数の室内平面画像を受信するように配置されている受信モジュールと、
    前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成するように配置されているパノラマ画像生成モジュールと、
    壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するように配置されている有効線特徴抽出モジュールと、
    前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成するように配置されている平面図生成モジュールと、を含み、
    前記有効線特徴抽出モジュールは、
    前記室内パノラマ画像におけるすべての線特徴を抽出するように配置されている前抽出ユニットと
    前記すべての線特徴から有効線特徴を抽出するように配置されているフィルターユニットと、を含み、
    前記フィルターユニットは、
    すべての前記線特徴から長さがプリセット値より大きい候補線特徴を抽出するように配置されている候補線特徴抽出サブユニットと、
    前記候補線特徴から地平面に垂直な基準線特徴を抽出するように配置されている基準線特徴抽出サブユニットと、
    前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出するように配置されている有効線特徴抽出サブユニットと、を含むことを特徴とする室内2D平面図の生成装置。
  8. 前記パノラマ画像生成モジュールは、
    各前記室内平面画像における特徴点を抽出するように配置されている特徴点抽出ユニットと、
    前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するように配置されている隣接関係確定ユニットと
    各前記室内平面画像の、カメラの焦点距離、カメラの撮影角及びカメラの光学中心からプリセット基準点までの変位量を含む撮影パラメータを取得するように配置されている撮影パラメータ取得ユニットと、
    各前記室内平面画像の隣接関係と各前記室内平面画像の撮影パラメータに基づいて前記室内平面画像を球心が前記プリセット基準点である単位球面座標系における対応位置にマッピングして前記室内パノラマ画像を生成するように配置されているマッピングユニットと、を含むことを特徴とする請求項に記載の装置。
  9. 前記隣接関係確定ユニットはさらに、複数の室内平面画像がそれぞれマッチングする、スケール不変特徴量変換の特徴点に基づいて構成される特徴ベクトルを含む場合に、複数の前記室内平面画像が隣接関係を持っていることを確定するように配置されていることを特徴とする請求項に記載の装置。
  10. 前記前抽出ユニットは、
    前記室内パノラマ画像を複数の2進スクエアに区画するように配置されている2進スクエア区画サブユニットと、
    各前記2進スクエアの中のビームレットから、プリセット条件を満たすビームレットを前記2進スクエアの最適ビームレットとして抽出するように配置されている最適ビームレット抽出サブユニットと、を含んでおり、
    ここで、前記2進スクエアは4つの辺の画素数が2の冪である矩形であり、前記ビームレットは2つの端点が前記2進スクエアの辺の任意画素位置にある線分であることを特徴とする請求項に記載の装置。
  11. 前記プリセット条件は、
    前記ビームレットにおける画素値の突然の変化量が第1のプリセット値より大きく、かつ、
    前記ビームレットの第1の平行ビームレットにおける画素値の突然の変化量が第2のプリセット値より小さく、又は前記ビームレットの第2の平行ビームレットにおける画素値の突然の変化量が第3のプリセット値より小さいことであり、
    ここで、前記第1の平行ビームレットと前記第2の平行ビームレットは前記ビームレットに平行し、且つ前記第1の平行ビームレットと前記第2の平行ビームレットの端点はそれぞれ前記ビームレットの2つの端点に隣接することを特徴とする請求項10に記載の装置。
  12. 前記平面図生成モジュールは、
    各有効線特徴の任意の2つの点と単位球面座標系の球心との接続線を含む第1の平面を取得するように配置されている第1の平面取得ユニットと
    前記室内2D平面図における各線を取得するために、各有効線特徴に対応する前記第1の平面と地平面の交線を算出するように配置されている交線算出ユニットと、を含むことを特徴とする請求項に記載の装置。
  13. 室内2D平面図の生成システムであって、
    複数の室内平面画像を収集することに用いられるコレクタと、
    受信された前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成することに用いられるプロセッサと、を含み、
    前記プロセッサは、
    前記室内パノラマ画像における有効線特徴を抽出する際に、
    前記室内パノラマ画像におけるすべての線特徴を抽出し、
    前記すべての線特徴から有効線特徴を抽出し、
    前記すべての線特徴から有効線特徴を抽出する際に、
    すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
    前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
    前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする室内2D平面図の生成システム。
  14. 前記コレクタは複数の撮像装置を含み、
    前記撮像装置の焦点面は地平面に垂直であることを特徴とする請求項13に記載のシステム。
  15. 前記プロセッサで生成された前記室内2D平面図を表示することに用いられる表示装置をさらに含む、ことを特徴とする請求項13または14に記載のシステム。
  16. 室内2D平面図の生成装置であって、
    プロセッサと、
    記憶部を備えており、
    前記記憶部はコンピュータ可読命令を記憶し、前記コンピュータ可読命令が前記プロセッサより実行される場合に、前記プロセッサは、
    複数のカメラで撮影された複数の室内平面画像を受信し、
    前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、
    壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、
    前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成し、
    前記室内パノラマ画像における有効線特徴を抽出する際に、
    前記室内パノラマ画像におけるすべての線特徴を抽出し、
    前記すべての線特徴から有効線特徴を抽出し、
    前記すべての線特徴から有効線特徴を抽出する際に、
    すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
    前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
    前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする室内2D平面図の生成装置。
  17. 不揮発性のコンピュータ記憶媒体であって、コンピュータ可読命令を記憶しており、前記コンピュータ可読命令がプロセッサより実行される場合に、前記プロセッサは、
    複数のカメラで撮影された複数の室内平面画像を受信し、
    受信された前記室内平面画に基づいて室内パノラマ画像をモザイキングして生成し、
    前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、
    前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成し、
    前記室内パノラマ画像における有効線特徴を抽出する際に、
    前記室内パノラマ画像におけるすべての線特徴を抽出し、
    前記すべての線特徴から有効線特徴を抽出し、
    前記すべての線特徴から有効線特徴を抽出する際に、
    すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
    前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
    前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする不揮発性のコンピュータ記憶媒体
JP2015232566A 2015-03-31 2015-11-30 室内2d平面図の生成方法、装置及びシステム Active JP6174104B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510150509.9A CN104700355A (zh) 2015-03-31 2015-03-31 室内二维平面图的生成方法、装置和系统
CN201510150509.9 2015-03-31

Publications (2)

Publication Number Publication Date
JP2016194895A JP2016194895A (ja) 2016-11-17
JP6174104B2 true JP6174104B2 (ja) 2017-08-02

Family

ID=53347444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232566A Active JP6174104B2 (ja) 2015-03-31 2015-11-30 室内2d平面図の生成方法、装置及びシステム

Country Status (5)

Country Link
JP (1) JP6174104B2 (ja)
KR (1) KR101759798B1 (ja)
CN (1) CN104700355A (ja)
HK (1) HK1209884A1 (ja)
TW (1) TWI587241B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269229B (zh) * 2016-12-30 2021-08-06 央视国际网络无锡有限公司 一种全景图像或视频的像素位置分布优化方法
WO2019087880A1 (ja) 2017-10-31 2019-05-09 株式会社Adeka シート状脱細胞化材料及び同材料を用いる人工血管
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
CN113052977A (zh) * 2021-03-30 2021-06-29 联想(北京)有限公司 处理方法及装置
CN113269877B (zh) * 2021-05-25 2023-02-21 三星电子(中国)研发中心 获取房间布局平面图的方法和电子设备
KR20230039097A (ko) * 2021-09-13 2023-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN114529566B (zh) * 2021-12-30 2022-11-22 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
KR102659582B1 (ko) 2024-01-05 2024-04-22 주식회사 커넥트코리아 건축 구조 기반 평면도 생성 및 편집 방법, 장치 및 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119529B2 (ja) * 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP3466970B2 (ja) * 1999-09-08 2003-11-17 キヤノン株式会社 視点位置設定方法
JP4809746B2 (ja) * 2006-09-20 2011-11-09 株式会社中電工 画像処理装置および画像処理プログラム
TWI362628B (en) * 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
RU2488881C2 (ru) * 2008-07-17 2013-07-27 Самсунг Электроникс Ко., Лтд. Способ определения линии поверхности земли
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
CN101825840A (zh) * 2010-05-06 2010-09-08 浙江大学 一种多镜头实时全景成像系统
KR101233948B1 (ko) * 2010-09-01 2013-02-15 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템
JP5770486B2 (ja) * 2011-02-21 2015-08-26 株式会社トプコン 全周画像計測装置
JP2013046270A (ja) * 2011-08-25 2013-03-04 Olympus Corp 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム
CN103729850B (zh) * 2013-12-31 2017-01-11 楚天科技股份有限公司 一种在全景图中提取直线的方法
CN104240247B (zh) * 2014-09-10 2017-04-12 无锡儒安科技有限公司 一种基于单张图片的建筑物俯视轮廓的快速提取方法

Also Published As

Publication number Publication date
HK1209884A1 (en) 2016-04-08
KR20160117143A (ko) 2016-10-10
TWI587241B (zh) 2017-06-11
KR101759798B1 (ko) 2017-07-31
JP2016194895A (ja) 2016-11-17
TW201635242A (zh) 2016-10-01
CN104700355A (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
JP6174104B2 (ja) 室内2d平面図の生成方法、装置及びシステム
Fathi et al. Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features
Adel et al. Image stitching based on feature extraction techniques: a survey
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
Fiala et al. Panoramic stereo reconstruction using non-SVP optics
Mistry et al. Image stitching using Harris feature detection
CN104966063A (zh) 基于gpu与cpu协同计算的矿井多摄像机视频融合方法
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN111724446B (zh) 一种用于建筑物三维重建的变焦距相机外参数标定方法
Somogyi et al. Comparison of spatial reconstruction software packages using DSLR images
Xie et al. OmniVidar: omnidirectional depth estimation from multi-fisheye images
JP2016114445A (ja) 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Chuang et al. Rectified feature matching for spherical panoramic images
Aliakbarpour et al. Multi-sensor 3D volumetric reconstruction using CUDA
Yang et al. Design flow of motion based single camera 3D mapping
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
Kim et al. 3d modelling of static environments using multiple spherical stereo
Paudel et al. 2D–3D synchronous/asynchronous camera fusion for visual odometry
Kim et al. Environment modelling using spherical stereo imaging
CN104157008A (zh) 一种基于asift的深度像匹配方法
Ranade et al. Mapping of sparse 3d data using alternating projection
Chen et al. Stereo with zooming
CN116597000A (zh) 一种基于cnn模型的多相机融合方法
Liu et al. Video Mosaic of Arbitrary Viewing Direction Oriented on DAS

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170705

R150 Certificate of patent or registration of utility model

Ref document number: 6174104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250