JP3095406B2 - 室内３次元モデル作成方法とその装置 - Google Patents
室内３次元モデル作成方法とその装置Info
- Publication number
- JP3095406B2 JP3095406B2 JP02254206A JP25420690A JP3095406B2 JP 3095406 B2 JP3095406 B2 JP 3095406B2 JP 02254206 A JP02254206 A JP 02254206A JP 25420690 A JP25420690 A JP 25420690A JP 3095406 B2 JP3095406 B2 JP 3095406B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- plane
- target space
- grid
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は各種シミュレーション,3次元CADの入力，室
内への機器配置選択，室内移動ロボットの環境地図作成
などのための室内３次元モデル自動作成方法とその装置
に関する。
内への機器配置選択，室内移動ロボットの環境地図作成
などのための室内３次元モデル自動作成方法とその装置
に関する。
各種シミュレーション,3次元CADの入力，室内への機
器配置選択，室内移動ロボットの環境地図作成などのた
めに行う３次元復元技術としては，エッジを検出して断
片的な線図から立体を構成する技法がよく使用されてい
る。
器配置選択，室内移動ロボットの環境地図作成などのた
めに行う３次元復元技術としては，エッジを検出して断
片的な線図から立体を構成する技法がよく使用されてい
る。
たとえば，室内復元としては，単眼で得た画像から構
造線を検出してモデルを当てはめる手法が提案されてい
る（たとえば,Tsukiyama,et.al,"Incremental Reconstr
ucton of a Scene Model for Mobile Robots from a Se
quence of Monocular Images",Proc.IEEE Int.Workshop
Intell.Robots and Systems,1988,pp.665−670,参
照）。また，屋外ではステレオ画像から構造線を検出し
てモデルを当てはめる手法が提案されている（たとえ
ば,E.L.Walker,et.al,"Geometric Reasoning for const
ructing 3D Sence Descriptions from Image",Artifici
al Intelligence 37,1988,pp.275−290,参照）。
造線を検出してモデルを当てはめる手法が提案されてい
る（たとえば,Tsukiyama,et.al,"Incremental Reconstr
ucton of a Scene Model for Mobile Robots from a Se
quence of Monocular Images",Proc.IEEE Int.Workshop
Intell.Robots and Systems,1988,pp.665−670,参
照）。また，屋外ではステレオ画像から構造線を検出し
てモデルを当てはめる手法が提案されている（たとえ
ば,E.L.Walker,et.al,"Geometric Reasoning for const
ructing 3D Sence Descriptions from Image",Artifici
al Intelligence 37,1988,pp.275−290,参照）。
しかしながら，上述した手法を適用した場合，通常の
室内では構造を決定する重要な境界線が障害物で遮られ
てその画像からは検出できない，あるいは，壁面と同じ
色で構成されているためその画像からは検出できない場
合が多いという問題に遭遇している。また，断片的な縁
にモデルを当てはめる場合,1シーン中の物体の数が増加
するに伴って組合せ数が増大するという問題に遭遇して
いる。
室内では構造を決定する重要な境界線が障害物で遮られ
てその画像からは検出できない，あるいは，壁面と同じ
色で構成されているためその画像からは検出できない場
合が多いという問題に遭遇している。また，断片的な縁
にモデルを当てはめる場合,1シーン中の物体の数が増加
するに伴って組合せ数が増大するという問題に遭遇して
いる。
また，奥行きを検出するための従来の手法としては，
アクティブセンシングによる計測方法，たとえば,time
−of−flight法（たとえば,M.Herbert,el al."3D Visio
n Techniques for Autonomous Vehicles",Technical Re
port CMU−RI−TR−88−12,Carnegie Mellon Universit
y,1988参照），光切断法（たとえば,S.Shirai,et al.,"
Recognition of Polyhedrons with a Range Finder",Pr
oc.2nd Joint Conf.on Artificial Intell.,1971,pp.80
−87参照）などが提案されており，各種の高速化の手法
も検討されている（たとえば,K.Kanada,el al.,"A VLSI
Sensor Based Rangefinding System",5th Int.Symp.Ro
botics Res.,1989,pp.28−31,および,T.Yoshimi,et a
l.,"Multi Light Sources Range Finder System",Proc.
LAPR Workshop on C.V.,1988,PP.245−248参照）。
アクティブセンシングによる計測方法，たとえば,time
−of−flight法（たとえば,M.Herbert,el al."3D Visio
n Techniques for Autonomous Vehicles",Technical Re
port CMU−RI−TR−88−12,Carnegie Mellon Universit
y,1988参照），光切断法（たとえば,S.Shirai,et al.,"
Recognition of Polyhedrons with a Range Finder",Pr
oc.2nd Joint Conf.on Artificial Intell.,1971,pp.80
−87参照）などが提案されており，各種の高速化の手法
も検討されている（たとえば,K.Kanada,el al.,"A VLSI
Sensor Based Rangefinding System",5th Int.Symp.Ro
botics Res.,1989,pp.28−31,および,T.Yoshimi,et a
l.,"Multi Light Sources Range Finder System",Proc.
LAPR Workshop on C.V.,1988,PP.245−248参照）。
しかしながら，これらの手法は，原理的にドアや窓の
ように境界で奥行きの差がほとんどないような面を検出
できないという問題がある。
ように境界で奥行きの差がほとんどないような面を検出
できないという問題がある。
したがって，本発明は上述した問題を解決すべく，室
内の枠組みを構成する平面を簡便に検出して室内復元の
信頼性を向上させ，かつ，復元過程を簡略して復元を高
速で行い得る室内３次元モデル作成方法とその装置を提
供することを目的とする。
内の枠組みを構成する平面を簡便に検出して室内復元の
信頼性を向上させ，かつ，復元過程を簡略して復元を高
速で行い得る室内３次元モデル作成方法とその装置を提
供することを目的とする。
上記問題を解決するため、本発明においては、モデル
作成対象空間にグリッド（格子状）光を投影し、その対
象空間の投影像を撮影し、撮影した画像について前記グ
リッド光の投影に基づくグリッド状のパターン画像とグ
リッド状のパターン画像ではない通常画像とに分離し、
分離されたパターン画像に基づいて前記対象空間の平面
の位置およびその傾きを検出し、この処理と並行して分
離された通常画像について小領域に分割したときの階調
値の分散を求めて分散値がしきい値以下の領域を面とし
て領域を分割し、前記検出された位置および傾き、なら
びに、前記領域分割結果から前記対象空間の平面を検出
し、該平面検出データに基づいて構造解析して前記対象
空間を復元する室内３次元モデル作成方法、および、こ
の方法を用いた装置を提供する。
作成対象空間にグリッド（格子状）光を投影し、その対
象空間の投影像を撮影し、撮影した画像について前記グ
リッド光の投影に基づくグリッド状のパターン画像とグ
リッド状のパターン画像ではない通常画像とに分離し、
分離されたパターン画像に基づいて前記対象空間の平面
の位置およびその傾きを検出し、この処理と並行して分
離された通常画像について小領域に分割したときの階調
値の分散を求めて分散値がしきい値以下の領域を面とし
て領域を分割し、前記検出された位置および傾き、なら
びに、前記領域分割結果から前記対象空間の平面を検出
し、該平面検出データに基づいて構造解析して前記対象
空間を復元する室内３次元モデル作成方法、および、こ
の方法を用いた装置を提供する。
以下，上記作用を分説する。
（１）平面計測 第１図は復元しようとする室内１の斜視図を示す。こ
の室内に対してグリッド光を放射する光源２が設けられ
ている。また，光源２からのグリッド光を受けた室内１
の投影像を観測する撮像手段３が光源２とは異なる位置
に配設されている。室内１内のグリッド投影光のある格
子の交点の近傍の領域Γを取り出したときの第１図の幾
何学モデルを第２図に示す。
の室内に対してグリッド光を放射する光源２が設けられ
ている。また，光源２からのグリッド光を受けた室内１
の投影像を観測する撮像手段３が光源２とは異なる位置
に配設されている。室内１内のグリッド投影光のある格
子の交点の近傍の領域Γを取り出したときの第１図の幾
何学モデルを第２図に示す。
第２図において，撮像手段３の座標系を（o,x,y,x）
とし，光源２の座標系を（ｏ′,x′,y′,z′）とする。
光源２の座標系（ｏ′,x′,y′,z′）は撮像手段３の座
標系（o,x,y,z）に対して位置の傾きとが既知である。
なお，これらの座標系は直交座標系には限定されない。
グリッド光の垂直面の法線をｘ′とし，水平面の法線を
ｙ′とし，これらの面Γにおけるグリッド光による投影
像をそれぞれL1,L2とする。交点Ｎは点Ｐにおける面Γ
の法線を示す。U,Vを画像平面Γに投影された投影像L1,
L2の単位方向ベクトルとし,Wを画像面Γ上の交点Ｐを指
向す単位ベクトルとすると，交点Ｎは下記第１式で表さ
れる。
とし，光源２の座標系を（ｏ′,x′,y′,z′）とする。
光源２の座標系（ｏ′,x′,y′,z′）は撮像手段３の座
標系（o,x,y,z）に対して位置の傾きとが既知である。
なお，これらの座標系は直交座標系には限定されない。
グリッド光の垂直面の法線をｘ′とし，水平面の法線を
ｙ′とし，これらの面Γにおけるグリッド光による投影
像をそれぞれL1,L2とする。交点Ｎは点Ｐにおける面Γ
の法線を示す。U,Vを画像平面Γに投影された投影像L1,
L2の単位方向ベクトルとし,Wを画像面Γ上の交点Ｐを指
向す単位ベクトルとすると，交点Ｎは下記第１式で表さ
れる。
Ｎ〔ｘ′ｘ（VxW）〕 ｘ〔（ｙ′xUxW）〕 ＝〔（ｘ′・Ｗ）Ｖ−（ｘ′・Ｖ）Ｗ〕 ｘ〔（ｙ′・Ｗ）Ｕ−（ｙ′・Ｕ）Ｗ〕・・（１） ただし，グリッド光が撮像手段３の中心ｏを通る場合
を除く。
を除く。
この式が成立することの証明は論文「平面の検出に基
づく室内の復元」（星野，他，コンピュータビジョン65
−3,1990.3.27）を参照されたい。
づく室内の復元」（星野，他，コンピュータビジョン65
−3,1990.3.27）を参照されたい。
また,3次元空間内の任意の点をｐ＝（x,y,z）とおく
と，縦方向のグリッド光の方程式は第２式で表せる。
と，縦方向のグリッド光の方程式は第２式で表せる。
ｘ′・（ｐ−ｏ′）＝０ ・・（２） 交点ＰをＰ＝kWと置いて第２式に代入すると，交点Ｐ
は次の式で表せる。
は次の式で表せる。
Ｐ＝〔（ｘ′・ｏ′）／（ｘ′・Ｗ）〕Ｗ・・（３） グリッド光として縦方向にｎ本，横方向にｍ本のスリ
ット光で構成されるグリッド光を室内１に投影した場
合,nxm個の交点の近傍領域について，上記方法で面の位
置Ｐおよび法線Ｎを求める。
ット光で構成されるグリッド光を室内１に投影した場
合,nxm個の交点の近傍領域について，上記方法で面の位
置Ｐおよび法線Ｎを求める。
平面の位置と傾きを計測するためには投影像からグリ
ッドを構成する各線分の区別を行うとともに，画像面上
での交点の位置をも求める。
ッドを構成する各線分の区別を行うとともに，画像面上
での交点の位置をも求める。
この区別および交点の位置を迅速にかつ信頼性高く求
める方法について述べる。
める方法について述べる。
第３図および第４図に示すように，画像面Ｓと同じ位
置に仮想的な面Ｓ′をとり，仮想面Ｓ′上で投影像を管
理する。仮想面Ｓ′上で各スリット光の無限遠点での位
置を予め計算しておく。
置に仮想的な面Ｓ′をとり，仮想面Ｓ′上で投影像を管
理する。仮想面Ｓ′上で各スリット光の無限遠点での位
置を予め計算しておく。
投影像の変位は，第３図に示すように，投影面までの
長短距離をlmin,各スリット光の座標系原点までの距離
をTH,TV,焦点距離をｆとすると，エピポーラ線上での最
大幅CH,CVは視差拘束により，下記の如く規定される。
長短距離をlmin,各スリット光の座標系原点までの距離
をTH,TV,焦点距離をｆとすると，エピポーラ線上での最
大幅CH,CVは視差拘束により，下記の如く規定される。
CH＝fTH/lmin ・・（４） CV＝fTV/lmin ・・（５） したがって，画像面Ｓ上の投影像の点列は，第４図に
示すように，幅がCH,CV,の仮想的な面Ｓ′の格子上の各
点に１対１に写像することができる。仮想的な面Ｓ′上
の各点が対応する画像面Ｓ上の点の位置を持つことによ
り，従来技術のように時間のかかるラベル付けを行うこ
となく投影像を区別できる。その結果として，複数のプ
ロセッサに割り当てて計算させることが容易になる。
示すように，幅がCH,CV,の仮想的な面Ｓ′の格子上の各
点に１対１に写像することができる。仮想的な面Ｓ′上
の各点が対応する画像面Ｓ上の点の位置を持つことによ
り，従来技術のように時間のかかるラベル付けを行うこ
となく投影像を区別できる。その結果として，複数のプ
ロセッサに割り当てて計算させることが容易になる。
交点の正確な位置は直線を当てはめて計算することに
よって求めることができる。
よって求めることができる。
（２）平面領域の抽出 交点近傍の領域について，通常の室内では，パターン
光の投影像か室内画像かいずれか一方では連続した平面
か否か判別出来ない場合が多い。たとえば，ドアと壁面
のように奥行きの変化がほとんどない場合，あるいは，
同じ色で壁面が構成されており明度の変化がほとんど識
別できない領域がある。これに関して，本発明において
は，グリッドの投影像から計算した不連続度と画像の双
方から平面の連続性を判定して領域を決定する。
光の投影像か室内画像かいずれか一方では連続した平面
か否か判別出来ない場合が多い。たとえば，ドアと壁面
のように奥行きの変化がほとんどない場合，あるいは，
同じ色で壁面が構成されており明度の変化がほとんど識
別できない領域がある。これに関して，本発明において
は，グリッドの投影像から計算した不連続度と画像の双
方から平面の連続性を判定して領域を決定する。
グリッドを構成する線分L1,L2の画像面Ｓ上における
形状は，グリッドの近傍領域Γが平面のときは直線とな
り，空間的な不連続がある場合は折れ曲がるか切断され
る。２次元平面上での直線を ρ＝xcosθ＋ysinθ ・・（６） で表し，直線パラメータρ，θから面の連続性を間接的
に判定する。
形状は，グリッドの近傍領域Γが平面のときは直線とな
り，空間的な不連続がある場合は折れ曲がるか切断され
る。２次元平面上での直線を ρ＝xcosθ＋ysinθ ・・（６） で表し，直線パラメータρ，θから面の連続性を間接的
に判定する。
この判定においては，ざらざらした面にパターン光が
当たった場合の細かい揺らぎあるいは突発的なノイズに
左右されないようにしておく。
当たった場合の細かい揺らぎあるいは突発的なノイズに
左右されないようにしておく。
領域Γ内でL1を構成する各点から２点（xi,yi），（x
j,yj）を取り出し，直線パラメータ〔ρij〕，〔θij〕
を求める。
j,yj）を取り出し，直線パラメータ〔ρij〕，〔θij〕
を求める。
θij＝tan-1〔（xi−xj）／（yi−yj）〕 ・・・（８） 第５図に示すように，直線パラメータ〔ρij〕，〔θ
ij〕のヒストグラムを作成し，各ヒストグラムを２つの
クラスを分類したときの分離度をλ1,λ２とする。この
とき，投影像から求めた領域Γの不連続度ｄを次の式で
表す。
ij〕のヒストグラムを作成し，各ヒストグラムを２つの
クラスを分類したときの分離度をλ1,λ２とする。この
とき，投影像から求めた領域Γの不連続度ｄを次の式で
表す。
ｄ＝１−λ１・λ２ ・・（９） 上述した処理を画像面Ｓ内の（mxn）個のグリッドの
交点近傍の集合R9＝〔rk（ｋ＝0,1,・・,mx1−１）〕に
ついて行った結果をdkとする。以上により，集合Rg内の
領域は属性として不連続度dkに加えて３次元空間内での
法線Nkおよび位置Pkを持っている。
交点近傍の集合R9＝〔rk（ｋ＝0,1,・・,mx1−１）〕に
ついて行った結果をdkとする。以上により，集合Rg内の
領域は属性として不連続度dkに加えて３次元空間内での
法線Nkおよび位置Pkを持っている。
画像上方との融合を図るため以下の処理を行う。
まず，室内画像を小領域に分割したときの小領域内の
分散をσｋとし，しきい値をthとすると，σｋ＜thの領
域を面とみなして領域分割を行い，領域の場合R0＝
〔ｒ′ｋ〕を得る。
分散をσｋとし，しきい値をthとすると，σｋ＜thの領
域を面とみなして領域分割を行い，領域の場合R0＝
〔ｒ′ｋ〕を得る。
ついで，投影像から求めた領域の集合Rgと上記集合R0
を重ね合わせる。R0内のある領域ｒ′ｋ内の不連続度dk
が観測誤差以上である場合３次元内では異なる面から構
成されていると考えられる。不連続度dkは交点近傍にお
ける領域について求めているから境界の位置は正確には
求めることができない。そこで，空間内での交点を求め
て透視変換を行い，集合Rg内での不連続と判断する領域
のみを，第６図に示すように，強制的に切断する。
を重ね合わせる。R0内のある領域ｒ′ｋ内の不連続度dk
が観測誤差以上である場合３次元内では異なる面から構
成されていると考えられる。不連続度dkは交点近傍にお
ける領域について求めているから境界の位置は正確には
求めることができない。そこで，空間内での交点を求め
て透視変換を行い，集合Rg内での不連続と判断する領域
のみを，第６図に示すように，強制的に切断する。
集合R0を初期値として全ての領域について上記処理操
作を行い，それによって得られた領域の集合をRf∈
〔ri〕とする。
作を行い，それによって得られた領域の集合をRf∈
〔ri〕とする。
（３）室内構造の復元 領域の集合Rfを組み合わせて局所3D空間の復元を行
う。まず，画像面上での集合Rfの隣接関係を求めて面の
位置関係を基に分類する。その結果を階層的に管理され
たグラフで表現して構造線の復元を行う。以下，その処
理内容を詳述する。
う。まず，画像面上での集合Rfの隣接関係を求めて面の
位置関係を基に分類する。その結果を階層的に管理され
たグラフで表現して構造線の復元を行う。以下，その処
理内容を詳述する。
（３−１）２次元平面上での隣接関係 画像面Ｓ上の領域ri∈Rfとある点ｐに対して最短距離
ｄ（p,r,i）を下記式で定義する。
ｄ（p,r,i）を下記式で定義する。
ｄ（p,r,i）＝min d（p,q） ｑ∈ri ・・・（10） このときのボロノイ領域は，第７図に示すように，下
記式で表される。
記式で表される。
Ｖ（ri）＝〔ｐ∈S|d（p,r,i）＜ ｄ（p,r,j）∀ｊ≠ｊ］ ・・・（11） 全ての領域についてボロノイ領域を求めて，境界線を
共有する２つの領域を隣接しているとみなす。隣接して
いる２つの領域をri,rjの関係を枝eijで表し，枝の集合
をＥ＝〔eij〕とするとき，領域Rfの隣接関係は平面グ
ラフＧ＝（Rf,E）で表すことができる。
共有する２つの領域を隣接しているとみなす。隣接して
いる２つの領域をri,rjの関係を枝eijで表し，枝の集合
をＥ＝〔eij〕とするとき，領域Rfの隣接関係は平面グ
ラフＧ＝（Rf,E）で表すことができる。
（３−２）隣接関係の分類 分類−１ 集合Rf内の全ての領域riについてriと隣接した領域に
対して不連続度と平面の位置および傾きから境界の種類
を判定する。たとえば，第８図に示すように，室内を構
成する平面の隣接関係を３種類，折れ目，段差境界，面
内境界に分類する。これら３種類の定義を下記に記す。
対して不連続度と平面の位置および傾きから境界の種類
を判定する。たとえば，第８図に示すように，室内を構
成する平面の隣接関係を３種類，折れ目，段差境界，面
内境界に分類する。これら３種類の定義を下記に記す。
折れ目（Ceases）：壁面と床の境界など連続している
面が面の方向が不連続になっている部分。
面が面の方向が不連続になっている部分。
段差境界（Jump boundaries）：机と床の境界など，
面の奥行きが不連続になっている部分。
面の奥行きが不連続になっている部分。
面内境界（Lines）：奥行きや傾きの不連続性はない
が，画像から境界として認められる部分。ドアと壁面の
境界など，室内を構成する単位とは異なる面と考える。
が，画像から境界として認められる部分。ドアと壁面の
境界など，室内を構成する単位とは異なる面と考える。
分類−２ 領域riと領域rjとの境界ｅ（ri,rj）において，その
近傍のグリッド像から判定した不連続度をdkとする。第
９図に示すように，隣接した領域の境界付近の位置Pi,P
j,法線Ni,Njと位置および傾き計測の誤差分布関数f1,f2
を用いて,2つの平面の位置と傾きの一致度ε1,ε２を求
める。
近傍のグリッド像から判定した不連続度をdkとする。第
９図に示すように，隣接した領域の境界付近の位置Pi,P
j,法線Ni,Njと位置および傾き計測の誤差分布関数f1,f2
を用いて,2つの平面の位置と傾きの一致度ε1,ε２を求
める。
ε１＝f1（|z・（Pi−Pj）｜） ・・・（12） ε２＝f2（|Ni−Nj|） ・・・（13） これらε1,ε２と投影像から判定した不連続度dkから
隣接関係が折れ目，段差境界，面内境界である確立Ｐ
（A/X）,P（B/X）,P（C/X）を求める。
隣接関係が折れ目，段差境界，面内境界である確立Ｐ
（A/X）,P（B/X）,P（C/X）を求める。
ただし，ω＝［A,B,C］である。
Ｐ（X/A）＝dij・ε１（１−ε２） ・・（15） Ｐ（X/B）＝dij（１−ε１）（１−ε２）・・（16） Ｐ（X/C）＝（１−dij）ε１・ε２ ・・（17） 第10図（ａ）〜（ｄ）は３種類の分類を各層に対応づ
けて表し，各層を組み合わせて全体の室内を復元するこ
とを示すグラフである。この図は床などの面の関係のほ
かに壁面とドアなどの２次元平面の関係をも表してい
る。室内環境の認識，ロボットにおけるナビゲーション
の際には段差境界，面内境界などの情報が必要になる
が,3次元構造を復元するときには面の交線として計算で
きるのは折れ目しかない。これらの区別を容易にするた
め，層（layer:レイヤー）という概念を導入する。
けて表し，各層を組み合わせて全体の室内を復元するこ
とを示すグラフである。この図は床などの面の関係のほ
かに壁面とドアなどの２次元平面の関係をも表してい
る。室内環境の認識，ロボットにおけるナビゲーション
の際には段差境界，面内境界などの情報が必要になる
が,3次元構造を復元するときには面の交線として計算で
きるのは折れ目しかない。これらの区別を容易にするた
め，層（layer:レイヤー）という概念を導入する。
第10図（ａ）〜（ｄ）に示した例示において，レイヤ
ー１は面内境界，レイヤー２は折れ目，レイヤー３は段
差境界を割当ている。上位のレイヤーにあるノードを下
位のレイヤーに継承するとき部分グラフGiをマージす
る。たとえば，第11図において，レイヤー１で領域r1と
r2とをマージして新しい領域r1′を生成する。このとき
領域r1′の隣接する面は領域r1とr2とを部分グラフとす
るカットセットから求めることができる。これらの処理
を行った結果として，レイヤー２は壁面と床などの室内
の枠組を構成する面の３次元空間内での連結関係を示し
ている。またレイヤー３に表れているノードは机，黒板
などの単体で存在し，周囲とのつながりを持たない平面
を示している。
ー１は面内境界，レイヤー２は折れ目，レイヤー３は段
差境界を割当ている。上位のレイヤーにあるノードを下
位のレイヤーに継承するとき部分グラフGiをマージす
る。たとえば，第11図において，レイヤー１で領域r1と
r2とをマージして新しい領域r1′を生成する。このとき
領域r1′の隣接する面は領域r1とr2とを部分グラフとす
るカットセットから求めることができる。これらの処理
を行った結果として，レイヤー２は壁面と床などの室内
の枠組を構成する面の３次元空間内での連結関係を示し
ている。またレイヤー３に表れているノードは机，黒板
などの単体で存在し，周囲とのつながりを持たない平面
を示している。
構造線の復元 構造線を復元する場合はレイヤー２の上にある面の境
界を計算して交線を求め，その他のレイヤーの境界は画
像中の領域の境界を近似して求める。このとき,3つの線
分が交わっている交点は誤差のため必ずしも１点で交わ
らない。そこで，第12図に示したように，ある３つのノ
ードをとったときにレイヤー２の上で閉曲線をなしてい
る所に交点があることを利用して一致させる。第12図は
レイヤー２上でのグラフと縁（エッジ）との関係を示
す。
界を計算して交線を求め，その他のレイヤーの境界は画
像中の領域の境界を近似して求める。このとき,3つの線
分が交わっている交点は誤差のため必ずしも１点で交わ
らない。そこで，第12図に示したように，ある３つのノ
ードをとったときにレイヤー２の上で閉曲線をなしてい
る所に交点があることを利用して一致させる。第12図は
レイヤー２上でのグラフと縁（エッジ）との関係を示
す。
また本発明の３次元モデルを作成する装置は上述した
処理を行う。
処理を行う。
本発明の室内３次元モデル作成方法とその装置の１実
施例を第13図を参照して述べる。
施例を第13図を参照して述べる。
室内１に対して，グリッド光放射手段（プロジェク
タ）としての光源２であるHe・Neレーザ2Aがグリッド光
を放射する。室内１の投影像は撮像手段３としてのCCD
カメラ3Aによって撮影される。
タ）としての光源２であるHe・Neレーザ2Aがグリッド光
を放射する。室内１の投影像は撮像手段３としてのCCD
カメラ3Aによって撮影される。
CCDカメラ3Aには信号処理装置４が接続されている。
信号処理装置４は映像分離部41,位置および傾き検出部4
2,領域分割部43,平面検出部44,構造解析部45,出力部46
が図示の如く接続されている。信号処理装置４はマイク
ロプロセッサを用いて構成している。
信号処理装置４は映像分離部41,位置および傾き検出部4
2,領域分割部43,平面検出部44,構造解析部45,出力部46
が図示の如く接続されている。信号処理装置４はマイク
ロプロセッサを用いて構成している。
第13図に示した装置の概略動作について述べる。
He・Neレーザ2Aによってグリッド光を室内１に投影
し,CCDカメラ3Aで投影像を撮影する。信号処理装置４内
の映像分離部41は格子状のパターン像と通常の室内画像
を分離する。分離されたグリッド像は位置および傾き検
出部42に入力され，室内画像は領域分割部43に入力され
る。位置および傾き検出部42の出力と領域分割部43の出
力は平面検出部44に入力されて室内の枠組を構成する平
面が求められる。すなわち，パターン像と通常像の両者
について信号処理を行う。構造解析部45において平面間
の構造の解析が行われ，出力部46,たとえば,CRTディス
プレーに３次元復元された様子のグラフィク表示，機器
配置表示が行われる。
し,CCDカメラ3Aで投影像を撮影する。信号処理装置４内
の映像分離部41は格子状のパターン像と通常の室内画像
を分離する。分離されたグリッド像は位置および傾き検
出部42に入力され，室内画像は領域分割部43に入力され
る。位置および傾き検出部42の出力と領域分割部43の出
力は平面検出部44に入力されて室内の枠組を構成する平
面が求められる。すなわち，パターン像と通常像の両者
について信号処理を行う。構造解析部45において平面間
の構造の解析が行われ，出力部46,たとえば,CRTディス
プレーに３次元復元された様子のグラフィク表示，機器
配置表示が行われる。
以下，第13図の装置の主要部の詳細な動作について述
べる。
べる。
映像分離部41によって分離されたグリッド像は位置お
よび傾き検出部42に入力されてグリッド像の各線分のみ
かけ上の傾きと交点の位置，そして,He・Neレーザ2AとC
CDカメラ3Aとの座標位置関係から平面の３次元位置とそ
の傾きが計測される。その計測方法は，前述した第１式
〜第３式を参照して述べた計測原理に基づく。
よび傾き検出部42に入力されてグリッド像の各線分のみ
かけ上の傾きと交点の位置，そして,He・Neレーザ2AとC
CDカメラ3Aとの座標位置関係から平面の３次元位置とそ
の傾きが計測される。その計測方法は，前述した第１式
〜第３式を参照して述べた計測原理に基づく。
一方，通常の室内画像は領域分割部43に入力される。
領域分割部43は，前述した原理に基づき，室内画像を小
領域に分割したときの階調値の分散を求め，しきい値以
下の領域を面とみなして領域分割を行う。
領域分割部43は，前述した原理に基づき，室内画像を小
領域に分割したときの階調値の分散を求め，しきい値以
下の領域を面とみなして領域分割を行う。
位置および傾き検出部42の出力である平面の位置とそ
の傾き，ならびに，領域分割部43の領域分割結果が平面
検出部44に入力される。この平面検出部44において，領
域分割部43において検出できなかった空間的な不連続を
位置および傾き検出部42の３次元情報を補って検出す
る。すなわち，同一領域内に観測誤差以上の傾きの不連
続があった場合,3次元空間内で面の交線を求め，透視変
換を行って強制的に領域を分割する。平面検出部44の出
力としては，平面の３次元空間内での位置P,法線Ｎおよ
び領域の形状が得られる。
の傾き，ならびに，領域分割部43の領域分割結果が平面
検出部44に入力される。この平面検出部44において，領
域分割部43において検出できなかった空間的な不連続を
位置および傾き検出部42の３次元情報を補って検出す
る。すなわち，同一領域内に観測誤差以上の傾きの不連
続があった場合,3次元空間内で面の交線を求め，透視変
換を行って強制的に領域を分割する。平面検出部44の出
力としては，平面の３次元空間内での位置P,法線Ｎおよ
び領域の形状が得られる。
平面検出部44の出力は構造解析部45に入力される。構
造解析部45は，まず，第７図に示すボロノイ図を用いて
画像面内でどの平面が隣接しているかどうかを求める。
隣接している２つの領域をri,rjの関係を前述したよう
に枝eijで表し，領域間の関係をグラフＧ＝（R,E）で表
す。次いで，隣接している平面の関係を折れ目，段差境
界および面内境界の３種類に分類する。次いで，構造解
析部45は，以上の結果に基づいてグラフＧを第10図
（ａ）〜（ｄ）に示したようにレイヤー１〜３からなる
部分グラフに分割する。そして，このグラフを用いて室
内の構造線（ワイヤーフレーム）を計算する。ここで，
室内の構造線を復元する際に計算で境界線を求めること
ができるのは折れ目（レイヤー２）だけである。したが
って，他の境界は領域の形状から求める。
造解析部45は，まず，第７図に示すボロノイ図を用いて
画像面内でどの平面が隣接しているかどうかを求める。
隣接している２つの領域をri,rjの関係を前述したよう
に枝eijで表し，領域間の関係をグラフＧ＝（R,E）で表
す。次いで，隣接している平面の関係を折れ目，段差境
界および面内境界の３種類に分類する。次いで，構造解
析部45は，以上の結果に基づいてグラフＧを第10図
（ａ）〜（ｄ）に示したようにレイヤー１〜３からなる
部分グラフに分割する。そして，このグラフを用いて室
内の構造線（ワイヤーフレーム）を計算する。ここで，
室内の構造線を復元する際に計算で境界線を求めること
ができるのは折れ目（レイヤー２）だけである。したが
って，他の境界は領域の形状から求める。
以上によれば，ノイズや障害物などにより領域の一部
が欠けた場合でも隣接関係はほとんど変わらないので平
面の交線として構造線を安定に復元させることができ
る。
が欠けた場合でも隣接関係はほとんど変わらないので平
面の交線として構造線を安定に復元させることができ
る。
実験例 以上の例示した本発明の実施例に基づく実験例を以下
に示す。
に示す。
CCDカメラ3Aからの投影画像を信号処理装置４の入力
信号処理回路（図示せず）において,512x512画素，各画
素が256階調のデータに量子化した。この量子化データ
について上述した処理を行った。なお,He・Heレーザ2A
から室内１への各スリット光の位置，角度の読み取り精
度はそれぞれ1mm,0.1度であった。量子化データのピー
クを検出して２値化を行い複数のデータについてHough
変換を施して仮の直線を当てはめた後，近傍の点列につ
いて最小２乗近似を用いて正確な直線を予測した。
信号処理回路（図示せず）において,512x512画素，各画
素が256階調のデータに量子化した。この量子化データ
について上述した処理を行った。なお,He・Heレーザ2A
から室内１への各スリット光の位置，角度の読み取り精
度はそれぞれ1mm,0.1度であった。量子化データのピー
クを検出して２値化を行い複数のデータについてHough
変換を施して仮の直線を当てはめた後，近傍の点列につ
いて最小２乗近似を用いて正確な直線を予測した。
平面計測の原理を確認するため，予め位置と傾きが既
知である面にHe・Neレーザ2Aからグリッド光を投影して
CCDカメラ3Aが撮影した画像を用いて計測した。投影面
までの距離を4mに一定に保ち，−61度〜＋61度の範囲で
ｚ軸となす角度を変化させて測定を行った結果を第14図
に示す。横軸は方角（度），縦軸は測定値誤差（度）を
示す。誤差の平均は0.81度，標準偏差は0.43度出あっ
た。
知である面にHe・Neレーザ2Aからグリッド光を投影して
CCDカメラ3Aが撮影した画像を用いて計測した。投影面
までの距離を4mに一定に保ち，−61度〜＋61度の範囲で
ｚ軸となす角度を変化させて測定を行った結果を第14図
に示す。横軸は方角（度），縦軸は測定値誤差（度）を
示す。誤差の平均は0.81度，標準偏差は0.43度出あっ
た。
また，投影面を角度を一定に保ち,Z軸方向に2.9m〜4.
7mの範囲で30cmづつ移動させて測定を行った結果を第15
図に示す。横軸は位置（cm），縦軸は測定誤差（cm）を
示す。誤差は0.4〜2.3％，平均1.2％，標準偏差6.63cm
であった。
7mの範囲で30cmづつ移動させて測定を行った結果を第15
図に示す。横軸は位置（cm），縦軸は測定誤差（cm）を
示す。誤差は0.4〜2.3％，平均1.2％，標準偏差6.63cm
であった。
誤差の要因は，面の実測誤差,He・Neレーザ2AとCCDカ
メラ3Aの設定誤差に依存するところが大きいが，そのノ
イズ，細かい障害物に対して影響を受けない３次元モデ
ルの復元（再現）が可能である。
メラ3Aの設定誤差に依存するところが大きいが，そのノ
イズ，細かい障害物に対して影響を受けない３次元モデ
ルの復元（再現）が可能である。
以上,3次元モデル作成について述べたが，本発明を各
種のシミュレーション,3次元CAD,室内移動（警戒）ロボ
ットなどに適用できることは明らかである。
種のシミュレーション,3次元CAD,室内移動（警戒）ロボ
ットなどに適用できることは明らかである。
以上述べたように，本発明の室内３次元モデル作成方
法とその装置によれば，室内を構成する大きな平面を基
にして復元を行うので，照明などによる局所的なノイズ
や小さい障害物が存在しても隣接関係はほとんど変化せ
ず，安定に３次元構造の復元ができ，信頼性の高い３次
元モデル作成が可能となる。
法とその装置によれば，室内を構成する大きな平面を基
にして復元を行うので，照明などによる局所的なノイズ
や小さい障害物が存在しても隣接関係はほとんど変化せ
ず，安定に３次元構造の復元ができ，信頼性の高い３次
元モデル作成が可能となる。
また本発明によれば，光源からグリッド光を室内に投
影することにより，多数の測定点が同時に得ることがで
きる。そして，本発明に基づく方法によれば，各想定点
について複数独立して同時的に処理することができるか
ら，モデル作成または復元を高速に行うことができる。
影することにより，多数の測定点が同時に得ることがで
きる。そして，本発明に基づく方法によれば，各想定点
について複数独立して同時的に処理することができるか
ら，モデル作成または復元を高速に行うことができる。
さらに，本発明によれば，グリッド光の投影によって
得られた３次元画像情報と通常の画像による２次元情報
を併用しており，奥行きの変化の少ないドア，窓なども
識別でき，室内を正確に復元することができる。
得られた３次元画像情報と通常の画像による２次元情報
を併用しており，奥行きの変化の少ないドア，窓なども
識別でき，室内を正確に復元することができる。
第１図は本発明が適用する例示としての室内，光源およ
び撮像手段の斜視図， 第２図は第１図を幾何学的に表した図， 第３図は本発明における視差拘束を示す図， 第４図は本発明の仮想面の概念を示す図， 第５図は本発明の不連続度のヒストグラム， 第６図は本発明の領域切断を示す図， 第７図は本発明におけるボロノイ図の定義を示す図， 第８図および第９図は本発明における例示としての隣接
関係の分類を図解する図， 第10図（ａ）〜（ｄ）は本発明における隣接関係をレイ
ヤーの概念を用いて表した例示的な図， 第11図は本発明におけるグラフ変換を示す図， 第12図は本発明における例示としてレイヤー２のグラフ
とエッジの関係を示す図， 第13図は本発明の室内３次元モデル作成装置の構成図， 第14図および第15図は第13図の室内３次元モデル作成装
置を用いた実験結果を示すグラフである。 （符号の説明） １……室内， ２……光源， 2A……He・Neレーザ， ３……撮像手段， 3A……CCDカメラ， ４……信号処理装置， 41……映像分離部， 42……位置および傾き検出部， 43……領域分割部， 44……平面検出部， 45……構造解析部， 46……出力部。
び撮像手段の斜視図， 第２図は第１図を幾何学的に表した図， 第３図は本発明における視差拘束を示す図， 第４図は本発明の仮想面の概念を示す図， 第５図は本発明の不連続度のヒストグラム， 第６図は本発明の領域切断を示す図， 第７図は本発明におけるボロノイ図の定義を示す図， 第８図および第９図は本発明における例示としての隣接
関係の分類を図解する図， 第10図（ａ）〜（ｄ）は本発明における隣接関係をレイ
ヤーの概念を用いて表した例示的な図， 第11図は本発明におけるグラフ変換を示す図， 第12図は本発明における例示としてレイヤー２のグラフ
とエッジの関係を示す図， 第13図は本発明の室内３次元モデル作成装置の構成図， 第14図および第15図は第13図の室内３次元モデル作成装
置を用いた実験結果を示すグラフである。 （符号の説明） １……室内， ２……光源， 2A……He・Neレーザ， ３……撮像手段， 3A……CCDカメラ， ４……信号処理装置， 41……映像分離部， 42……位置および傾き検出部， 43……領域分割部， 44……平面検出部， 45……構造解析部， 46……出力部。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−291106（ＪＰ，Ａ) 特開 平３−148775（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 G01B 11/25
Claims (2)
- 【請求項１】モデル作成対象空間にグリッド光を投影
し、 前記対象空間の投影像を撮影し、 該撮影した画像について、前記グリッド光の投影に基づ
くグリッド状のパターン画像と、グリッド状のパターン
画像ではない通常画像とに分離し、 該分離されたパターン画像に基づいて前記対象空間の平
面の位置およびその傾きを検出し、この処理と並行して
前記分離された通常画像について小領域に分割したとき
の階調値の分散を求め、分散値がしきい値以下の領域を
面として領域を分割し、 前記検出された位置および傾き、ならびに、前記領域分
割結果から前記対象空間の平面を検出し、 該平面検出データに基づいて構造解析して 前記対象空間を復元する室内３次元モデル作成方法。 - 【請求項２】対象空間にグリッド光を投影する光源、 前記対象空間の投影像を撮影する撮影手段、 該撮像手段で該撮影した画像について、前記グリッド光
の投影に基づくグリッド状のパターン画像と、グリッド
状のパターン画像ではない通常画像とに分離する画像分
離手段、 該画像分離手段で該分離したパターン画像に基づいて前
記対象空間の平面の位置およびその傾きを検出する位置
および傾き検出手段、 該検出手段における位置およびその傾きの検出処理と並
行して前記分離された通常画像について小領域に分割し
たときの階調値の分散を求め、分散値がしきい値以下の
領域を面として領域を分割する領域分割手段、 前記検出手段で検出された位置および傾き、ならびに、
前記領域分割手段における前記領域分割結果から前記対
象空間の平面を検出する平面検出手段、 該平面検出手段で検出した平面検出データに基づいて構
造解析して前記対象空間を復元する復元手段、 を具備する室内３次元モデル作成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02254206A JP3095406B2 (ja) | 1990-09-26 | 1990-09-26 | 室内３次元モデル作成方法とその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02254206A JP3095406B2 (ja) | 1990-09-26 | 1990-09-26 | 室内３次元モデル作成方法とその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04133184A JPH04133184A (ja) | 1992-05-07 |
| JP3095406B2 true JP3095406B2 (ja) | 2000-10-03 |
Family
ID=17261733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02254206A Expired - Fee Related JP3095406B2 (ja) | 1990-09-26 | 1990-09-26 | 室内３次元モデル作成方法とその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3095406B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3026712U (ja) * | 1996-01-11 | 1996-07-23 | 大進ホーム株式会社 | 建築物の固定金具 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105264566B (zh) * | 2013-05-31 | 2018-06-12 | 松下知识产权经营株式会社 | 建模装置、三维模型生成装置、建模方法和布局模拟器 |
| WO2016084389A1 (ja) * | 2014-11-28 | 2016-06-02 | パナソニックＩｐマネジメント株式会社 | モデリング装置、３次元モデル生成装置、モデリング方法、プログラム |
| CN111814257B (zh) * | 2020-07-20 | 2021-07-30 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 民用飞机的运营可靠度分析方法、系统及电子设备 |
-
1990
- 1990-09-26 JP JP02254206A patent/JP3095406B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3026712U (ja) * | 1996-01-11 | 1996-07-23 | 大進ホーム株式会社 | 建築物の固定金具 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04133184A (ja) | 1992-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461912B2 (en) | Gaussian mixture models for temporal depth fusion | |
| US9933264B2 (en) | System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation | |
| US10665115B2 (en) | Controlling unmanned aerial vehicles to avoid obstacle collision | |
| Liu et al. | Indoor localization and visualization using a human-operated backpack system | |
| Murray et al. | Using real-time stereo vision for mobile robot navigation | |
| Palazzolo et al. | Fast image-based geometric change detection given a 3d model | |
| CN110807350A (zh) | 用于面向扫描匹配的视觉slam的系统和方法 | |
| Nieuwenhuisen et al. | Multimodal obstacle detection and collision avoidance for micro aerial vehicles | |
| Muñoz-Bañón et al. | Targetless camera-LiDAR calibration in unstructured environments | |
| JPH10143659A (ja) | 物体検出装置 | |
| Alidoost et al. | An image-based technique for 3D building reconstruction using multi-view UAV images | |
| Alizadeh | Object distance measurement using a single camera for robotic applications | |
| Pentek et al. | A flexible targetless LiDAR–GNSS/INS–camera calibration method for UAV platforms | |
| Nedevschi | Online cross-calibration of camera and lidar | |
| Khurana et al. | Extrinsic calibration methods for laser range finder and camera: A systematic review | |
| Rosero et al. | Calibration and multi-sensor fusion for on-road obstacle detection | |
| Mariotti et al. | Spherical formulation of geometric motion segmentation constraints in fisheye cameras | |
| Li et al. | Indoor layout estimation by 2d lidar and camera fusion | |
| JP3095406B2 (ja) | 室内３次元モデル作成方法とその装置 | |
| Thakur et al. | LiDAR and Camera Raw Data Sensor Fusion in Real-Time for Obstacle Detection | |
| Biber et al. | 3d modeling of indoor environments for a robotic security guard | |
| Bulatov et al. | On Applications of Sequential Multi-view Dense Reconstruction from Aerial Images. | |
| CN115855086A (zh) | 基于自旋转的室内场景自主重建方法、系统及介质 | |
| Ristić-Durrant et al. | Low-level sensor fusion-based human tracking for mobile robot | |
| Bonin-Font et al. | A monocular mobile robot reactive navigation approach based on the inverse perspective transformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |