JP6174104B2 - 室内2d平面図の生成方法、装置及びシステム - Google Patents
室内2d平面図の生成方法、装置及びシステム Download PDFInfo
- Publication number
- JP6174104B2 JP6174104B2 JP2015232566A JP2015232566A JP6174104B2 JP 6174104 B2 JP6174104 B2 JP 6174104B2 JP 2015232566 A JP2015232566 A JP 2015232566A JP 2015232566 A JP2015232566 A JP 2015232566A JP 6174104 B2 JP6174104 B2 JP 6174104B2
- Authority
- JP
- Japan
- Prior art keywords
- indoor
- line
- feature
- beamlet
- line feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000000605 extraction Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
パノラマ画像におけるすべての線特徴を抽出するステップ131を含んでもよい。ここで、すべての線特徴は各室内平面画像のすべての直線段を代表している。通常には、室内平面画像において、例えば壁面の交線、壁面と地面の交線、及び室内のある家具の輪郭(例えば、ベッド、机、洋服ダンスなど)の直線特徴を有するオブジェクトが多く存在する可能性がある。
すべての線特徴から有効線特徴を抽出するステップ132をさらに含んでもよい。
図3はパノラマ画像におけるすべての線特徴を抽出するステップ、すなわち、ステップ131の概略フローチャートである。
Yb={|T(b)|/l(b)、b∈B}
ここで、T(b)は変換係数であり、l(b)はビームレット401の長さの対数である。
Claims (17)
- 室内2D平面図の生成方法であって、
複数のカメラで撮影された複数の室内平面画像を受信するステップと、
受信された前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成するステップと、
前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するステップと、
前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成するステップと、を含み、
前記室内パノラマ画像における有効線特徴を抽出するステップにおいて、
前記室内パノラマ画像におけるすべての線特徴を抽出するステップと、
前記すべての線特徴から有効線特徴を抽出するステップとを含み、
前記すべての線特徴から有効線特徴を抽出するステップにおいて、
すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出するステップと、
前記候補線特徴から、地平面に垂直な基準線特徴を抽出するステップと、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出するステップと、を含むことを特徴とする室内2D平面図の生成方法。 - 前記の受信された前記室内平面画像に基づいて、室内パノラマ画像をモザイキングして生成するステップにおいて、
各前記室内平面画像における特徴点を抽出するステップと、
前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するステップと、
各前記室内平面画像の、カメラの焦点距離、カメラの撮影角及びカメラの光学中心からプリセット基準点までの変位量を含む撮影パラメータを取得するステップと、
各前記室内平面画像の隣接関係及び各前記室内平面画像の撮影パラメータに基づいて、前記室内平面画像を球心がプリセット基準点である単位球面座標系における対応位置にマッピングして前記室内パノラマ画像を生成するステップと、を含むことを特徴とする請求項1に記載の方法。 - 前記の前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するステップにおいて、
複数の室内平面画像がそれぞれ互いにマッチングする、スケール不変特徴量変換の特徴点に基づいて構成された特徴ベクトルを含む場合、前記複数の室内平面画像は隣接関係を持っている、ことを特徴とする請求項2に記載の方法。 - 前記室内パノラマ画像におけるすべての線特徴を抽出するステップにおいて、
前記室内パノラマ画像を複数の2進スクエアに区画するステップと、
各前記2進スクエアの中のビームレットから、プリセット条件を満たすビームレットを前記2進スクエアの最適なビームレットとして抽出するステップと、を含んでおり、
ここで、前記2進スクエアは4つの辺の画素数が2の冪である矩形であって、前記ビームレットは2つの端点が前記2進スクエアの辺の任意画素位置にある線分であることを特徴とする請求項1に記載の方法。 - 前記プリセット条件は、
前記ビームレットにおける画素値の突然の変化量が第1のプリセット値より大きく、かつ、
前記ビームレットの第1の平行ビームレットにおける画素値の突然の変化量が第2のプリセット値より小さく、又は前記ビームレットの第2の平行ビームレットにおける画素値の突然の変化量が第3のプリセット値より小さいことであり、
ここで、前記第1の平行ビームレットと前記第2の平行ビームレットは前記ビームレットに平行し、且つ前記第1の平行ビームレットと前記第2の平行ビームレットの端点はそれぞれ前記ビームレットの2つの端点に隣接する、ことを特徴とする請求項4に記載の方法。 - 前記の前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成するステップにおいて、
各有効線特徴における任意の2つの点と単位球面座標系の球心との接続線を含む第1の平面を取得するステップと、
前記室内2D平面図の各線を取得するために、各有効線特徴に対応する前記第1の平面と地平面の交線を算出するステップと、を含むことを特徴とする請求項1に記載の方法。 - 室内2D平面図の生成装置であって、
複数のカメラで撮影された複数の室内平面画像を受信するように配置されている受信モジュールと、
前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成するように配置されているパノラマ画像生成モジュールと、
壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出するように配置されている有効線特徴抽出モジュールと、
前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成するように配置されている平面図生成モジュールと、を含み、
前記有効線特徴抽出モジュールは、
前記室内パノラマ画像におけるすべての線特徴を抽出するように配置されている前抽出ユニットと
前記すべての線特徴から有効線特徴を抽出するように配置されているフィルターユニットと、を含み、
前記フィルターユニットは、
すべての前記線特徴から長さがプリセット値より大きい候補線特徴を抽出するように配置されている候補線特徴抽出サブユニットと、
前記候補線特徴から地平面に垂直な基準線特徴を抽出するように配置されている基準線特徴抽出サブユニットと、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出するように配置されている有効線特徴抽出サブユニットと、を含むことを特徴とする室内2D平面図の生成装置。 - 前記パノラマ画像生成モジュールは、
各前記室内平面画像における特徴点を抽出するように配置されている特徴点抽出ユニットと、
前記特徴点に基づいて各前記室内平面画像の隣接関係を確定するように配置されている隣接関係確定ユニットと、
各前記室内平面画像の、カメラの焦点距離、カメラの撮影角及びカメラの光学中心からプリセット基準点までの変位量を含む撮影パラメータを取得するように配置されている撮影パラメータ取得ユニットと、
各前記室内平面画像の隣接関係と各前記室内平面画像の撮影パラメータに基づいて前記室内平面画像を球心が前記プリセット基準点である単位球面座標系における対応位置にマッピングして前記室内パノラマ画像を生成するように配置されているマッピングユニットと、を含むことを特徴とする請求項7に記載の装置。 - 前記隣接関係確定ユニットはさらに、複数の室内平面画像がそれぞれマッチングする、スケール不変特徴量変換の特徴点に基づいて構成される特徴ベクトルを含む場合に、複数の前記室内平面画像が隣接関係を持っていることを確定するように配置されていることを特徴とする請求項8に記載の装置。
- 前記前抽出ユニットは、
前記室内パノラマ画像を複数の2進スクエアに区画するように配置されている2進スクエア区画サブユニットと、
各前記2進スクエアの中のビームレットから、プリセット条件を満たすビームレットを前記2進スクエアの最適ビームレットとして抽出するように配置されている最適ビームレット抽出サブユニットと、を含んでおり、
ここで、前記2進スクエアは4つの辺の画素数が2の冪である矩形であり、前記ビームレットは2つの端点が前記2進スクエアの辺の任意画素位置にある線分であることを特徴とする請求項7に記載の装置。 - 前記プリセット条件は、
前記ビームレットにおける画素値の突然の変化量が第1のプリセット値より大きく、かつ、
前記ビームレットの第1の平行ビームレットにおける画素値の突然の変化量が第2のプリセット値より小さく、又は前記ビームレットの第2の平行ビームレットにおける画素値の突然の変化量が第3のプリセット値より小さいことであり、
ここで、前記第1の平行ビームレットと前記第2の平行ビームレットは前記ビームレットに平行し、且つ前記第1の平行ビームレットと前記第2の平行ビームレットの端点はそれぞれ前記ビームレットの2つの端点に隣接することを特徴とする請求項10に記載の装置。 - 前記平面図生成モジュールは、
各有効線特徴の任意の2つの点と単位球面座標系の球心との接続線を含む第1の平面を取得するように配置されている第1の平面取得ユニットと
前記室内2D平面図における各線を取得するために、各有効線特徴に対応する前記第1の平面と地平面の交線を算出するように配置されている交線算出ユニットと、を含むことを特徴とする請求項7に記載の装置。 - 室内2D平面図の生成システムであって、
複数の室内平面画像を収集することに用いられるコレクタと、
受信された前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成することに用いられるプロセッサと、を含み、
前記プロセッサは、
前記室内パノラマ画像における有効線特徴を抽出する際に、
前記室内パノラマ画像におけるすべての線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出する際に、
すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする室内2D平面図の生成システム。 - 前記コレクタは複数の撮像装置を含み、
前記撮像装置の焦点面は地平面に垂直であることを特徴とする請求項13に記載のシステム。 - 前記プロセッサで生成された前記室内2D平面図を表示することに用いられる表示装置をさらに含む、ことを特徴とする請求項13または14に記載のシステム。
- 室内2D平面図の生成装置であって、
プロセッサと、
記憶部を備えており、
前記記憶部はコンピュータ可読命令を記憶し、前記コンピュータ可読命令が前記プロセッサより実行される場合に、前記プロセッサは、
複数のカメラで撮影された複数の室内平面画像を受信し、
前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、
壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、
前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成し、
前記室内パノラマ画像における有効線特徴を抽出する際に、
前記室内パノラマ画像におけるすべての線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出する際に、
すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする室内2D平面図の生成装置。 - 不揮発性のコンピュータ記憶媒体であって、コンピュータ可読命令を記憶しており、前記コンピュータ可読命令がプロセッサより実行される場合に、前記プロセッサは、
複数のカメラで撮影された複数の室内平面画像を受信し、
受信された前記室内平面画像に基づいて室内パノラマ画像をモザイキングして生成し、
前記室内パノラマ画像における、壁面と地面の境界線を代表する線特徴を含む有効線特徴を抽出し、
前記有効線特徴をワールド座標系にマッピングして室内2D平面図を生成し、
前記室内パノラマ画像における有効線特徴を抽出する際に、
前記室内パノラマ画像におけるすべての線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出し、
前記すべての線特徴から有効線特徴を抽出する際に、
すべての前記線特徴から、長さがプリセット値より大きい候補線特徴を抽出し、
前記候補線特徴から、地平面に垂直な基準線特徴を抽出し、
前記候補線特徴から前記基準線特徴と交差する線特徴を有効線特徴として抽出することを特徴とする不揮発性のコンピュータ記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510150509.9A CN104700355A (zh) | 2015-03-31 | 2015-03-31 | 室内二维平面图的生成方法、装置和系统 |
CN201510150509.9 | 2015-03-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016194895A JP2016194895A (ja) | 2016-11-17 |
JP6174104B2 true JP6174104B2 (ja) | 2017-08-02 |
Family
ID=53347444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015232566A Active JP6174104B2 (ja) | 2015-03-31 | 2015-11-30 | 室内2d平面図の生成方法、装置及びシステム |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP6174104B2 (ja) |
KR (1) | KR101759798B1 (ja) |
CN (1) | CN104700355A (ja) |
HK (1) | HK1209884A1 (ja) |
TW (1) | TWI587241B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108269229B (zh) * | 2016-12-30 | 2021-08-06 | 央视国际网络无锡有限公司 | 一种全景图像或视频的像素位置分布优化方法 |
WO2019087880A1 (ja) | 2017-10-31 | 2019-05-09 | 株式会社Adeka | シート状脱細胞化材料及び同材料を用いる人工血管 |
CN111489288B (zh) * | 2019-01-28 | 2023-04-07 | 北京魔门塔科技有限公司 | 一种图像的拼接方法和装置 |
CN113052977A (zh) * | 2021-03-30 | 2021-06-29 | 联想(北京)有限公司 | 处理方法及装置 |
CN113269877B (zh) * | 2021-05-25 | 2023-02-21 | 三星电子(中国)研发中心 | 获取房间布局平面图的方法和电子设备 |
KR20230039097A (ko) * | 2021-09-13 | 2023-03-21 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
CN114529566B (zh) * | 2021-12-30 | 2022-11-22 | 北京城市网邻信息技术有限公司 | 图像处理方法、装置、设备及存储介质 |
KR102659582B1 (ko) | 2024-01-05 | 2024-04-22 | 주식회사 커넥트코리아 | 건축 구조 기반 평면도 생성 및 편집 방법, 장치 및 시스템 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4119529B2 (ja) * | 1998-06-17 | 2008-07-16 | オリンパス株式会社 | 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体 |
JP3466970B2 (ja) * | 1999-09-08 | 2003-11-17 | キヤノン株式会社 | 視点位置設定方法 |
JP4809746B2 (ja) * | 2006-09-20 | 2011-11-09 | 株式会社中電工 | 画像処理装置および画像処理プログラム |
TWI362628B (en) * | 2007-12-28 | 2012-04-21 | Ind Tech Res Inst | Methof for producing an image with depth by using 2d image |
RU2488881C2 (ru) * | 2008-07-17 | 2013-07-27 | Самсунг Электроникс Ко., Лтд. | Способ определения линии поверхности земли |
US8610758B2 (en) * | 2009-12-15 | 2013-12-17 | Himax Technologies Limited | Depth map generation for a video conversion system |
CN101825840A (zh) * | 2010-05-06 | 2010-09-08 | 浙江大学 | 一种多镜头实时全景成像系统 |
KR101233948B1 (ko) * | 2010-09-01 | 2013-02-15 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템 |
JP5770486B2 (ja) * | 2011-02-21 | 2015-08-26 | 株式会社トプコン | 全周画像計測装置 |
JP2013046270A (ja) * | 2011-08-25 | 2013-03-04 | Olympus Corp | 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム |
CN103729850B (zh) * | 2013-12-31 | 2017-01-11 | 楚天科技股份有限公司 | 一种在全景图中提取直线的方法 |
CN104240247B (zh) * | 2014-09-10 | 2017-04-12 | 无锡儒安科技有限公司 | 一种基于单张图片的建筑物俯视轮廓的快速提取方法 |
-
2015
- 2015-03-31 CN CN201510150509.9A patent/CN104700355A/zh active Pending
- 2015-10-22 HK HK15110422.0A patent/HK1209884A1/xx unknown
- 2015-10-28 TW TW104135505A patent/TWI587241B/zh active
- 2015-11-30 JP JP2015232566A patent/JP6174104B2/ja active Active
- 2015-11-30 KR KR1020150168937A patent/KR101759798B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
HK1209884A1 (en) | 2016-04-08 |
KR20160117143A (ko) | 2016-10-10 |
TWI587241B (zh) | 2017-06-11 |
KR101759798B1 (ko) | 2017-07-31 |
JP2016194895A (ja) | 2016-11-17 |
TW201635242A (zh) | 2016-10-01 |
CN104700355A (zh) | 2015-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6174104B2 (ja) | 室内2d平面図の生成方法、装置及びシステム | |
Fathi et al. | Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features | |
Adel et al. | Image stitching based on feature extraction techniques: a survey | |
US20150262346A1 (en) | Image processing apparatus, image processing method, and image processing program | |
Fiala et al. | Panoramic stereo reconstruction using non-SVP optics | |
Mistry et al. | Image stitching using Harris feature detection | |
CN104966063A (zh) | 基于gpu与cpu协同计算的矿井多摄像机视频融合方法 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN111724446B (zh) | 一种用于建筑物三维重建的变焦距相机外参数标定方法 | |
Somogyi et al. | Comparison of spatial reconstruction software packages using DSLR images | |
Xie et al. | OmniVidar: omnidirectional depth estimation from multi-fisheye images | |
JP2016114445A (ja) | 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置 | |
KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
Chuang et al. | Rectified feature matching for spherical panoramic images | |
Aliakbarpour et al. | Multi-sensor 3D volumetric reconstruction using CUDA | |
Yang et al. | Design flow of motion based single camera 3D mapping | |
Skuratovskyi et al. | Outdoor mapping framework: from images to 3d model | |
Kim et al. | 3d modelling of static environments using multiple spherical stereo | |
Paudel et al. | 2D–3D synchronous/asynchronous camera fusion for visual odometry | |
Kim et al. | Environment modelling using spherical stereo imaging | |
CN104157008A (zh) | 一种基于asift的深度像匹配方法 | |
Ranade et al. | Mapping of sparse 3d data using alternating projection | |
Chen et al. | Stereo with zooming | |
CN116597000A (zh) | 一种基于cnn模型的多相机融合方法 | |
Liu et al. | Video Mosaic of Arbitrary Viewing Direction Oriented on DAS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6174104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |