JP3991595B2 - 物体の三次元形状モデル作製装置 - Google Patents
物体の三次元形状モデル作製装置 Download PDFInfo
- Publication number
- JP3991595B2 JP3991595B2 JP2001029448A JP2001029448A JP3991595B2 JP 3991595 B2 JP3991595 B2 JP 3991595B2 JP 2001029448 A JP2001029448 A JP 2001029448A JP 2001029448 A JP2001029448 A JP 2001029448A JP 3991595 B2 JP3991595 B2 JP 3991595B2
- Authority
- JP
- Japan
- Prior art keywords
- combined
- data
- coordinate system
- model
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、物体の三次元形状モデル作製装置に関する。詳しくは、カメラによって得られた画像データを使用して、工業部品等の対象物体の三次元形状データを生成し、それにより物体認識処理等に用いる物体の三次元形状モデルを作製する装置に関するものである。
【０００２】
【従来の技術】
三次元形状モデルを作製する方法として幾つかの提案を行っている。
特開平11-323864号、特開平11-323865号、特願2000-40858号、特願2000-93627号（以降これらを”先件提案”と呼ぶ）では、画面上で設定した長方形範囲内（以降これを”モデル計測範囲”と呼ぶ）に格子状に設定した点（以降これを”モデル計測点”と呼ぶ）についてステレオ計測により三次元位置データを計測し、三次元位置データを持つ点データ（以降これを”モデル構成点”と呼ぶ）の集合（以降これを”三次元形状データ”と呼ぶ）として物体の三次元形状モデルを構成した。
【０００３】
【発明が解決しようとする課題】
先件提案では、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば、建造物、若しくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
【０００４】
この場合、作製される三次元形状モデルの精巧さはカメラの解像度やカメラで撮影された対象物体の画像の分解能に依存する。
このため、例えば、建造物、若しくは山肌、崖といった自然の地形のような大きな対象物をカメラのフレーム内に入るようにして撮影した左右一組の画像より三次元形状モデルを作製した場合、各部分に対する分解能は小さくなるため精巧なモデルは期待できない。
また、例えば、柱、棒、橋のような縦横比の大きな対象物の全体がカメラのフレーム内に入るようにして撮影した場合、対象物の映っている部分に対する余白部分の割合が大きく、画像データの無駄が大きい。
【０００５】
【課題を解決するための手段】
上記課題を解決する本発明の請求項１に係る物体の三次元形状モデル作製装置は、対象物体を複数箇所に分けて撮影し、複数組の左右画像を用いてステレオ計測により、複数個の三次元形状データを作製した後、結合座標系を絶対座標系と各対象物座標系の原点位置から設定し、複数個の三次元形状データを貼り付けるための結合データ平面を対象物体の長手方向に対する結合座標系の軸平面に平行な平面に設定し、複数個の三次元形状データのモデル構成点を結合座標系上の点へ座標変換した後結合データ平面へ正射影し、正射影した位置に対応する結合三次元形状データ配列上の位置へ結合座標系へ座標変換した複数個の三次元形状データのモデル構成点のデータを保存し、結合三次元形状データ配列の一つの枠に複数個のモデル構成点が対応する場合は、結合データ平面に垂直な方向の座標値の平均値を結合モデル構成点のデータとすることで、複数個の三次元形状データを一つの結合三次元形状データヘ結合し、三次元形状モデルを構成することを特徴とする。
【０００６】
上記課題を解決する本発明の請求項２に係る物体の三次元形状モデル作製装置は、請求項１記載の装置の結合座標系を設定する部分において、結合座標を絶対座標系と各対象物座標系の原点位置から設定する代わりに、結合座標系を各対象物座標系の平均化、即ち、結合座標系の原点位置を各対象物座標系の原点位置の重心位置に設定すると共に各対象座標系の前記カメラから見て縦軸にあたる方向成分を持つベクトルを結合座標系のＹ軸に設定し、また、各対象座標系の原点位置を結ぶ直線を最小二乗法等によって求めて、該直線の方向ベクトルを結合座標系のＸ軸に設定し、更に、前記Ｙ軸と前記Ｘ軸の外積の方向を結合座標系のＺ軸に設定することによって設定し、複数個の三次元形状データを一つの結合三次元形状データヘ結合し、三次元形状モデルを構成することを特徴とする。
【０００７】
上記課題を解決する本発明の請求項３に係る物体の三次元形状モデル作製装置は、請求項１記載の装置の処理により結合三次元形状データを生成した後、結合モデル構成点を設定する際に発生した結合データ欠落点について、その上下および左右方同に結合モデル構成点があるかどうかを検査し、上下左右方向に結合モデル構成点が予め設定しておいた数以上存在した場合はこの結合データ欠落点を結合補間対象点とし、検出した結合モデル構成点と結合データ欠落点の結合三次元データ配列上の位置から結合補間点距離を計算し、その結合補間点距離を結合補間点距離の総計で割った値を重みとして、結合補間対象点の奥行きデータを先に検出した結合モデル構成点の重み付き平均により求め、その奥行きデータと結合三次元形状データ配列上の位置から結合補間対象点の三次元位置を計算して結合モデル構成点を設定することで、データ欠落部分のない結合三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【０００８】
上記課題を解決する本発明の請求項４に係る物体の三次元形状モデル作製装置は、請求項３記載の装置の処理により結合三次元形状データを生成した後、メディアンフィルタによりデータの平滑化処理を行い、平滑化した結合モデル構成点により結合三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【０００９】
【発明の実施の形態】
(1）基本的な考え方
本発明の目的は、カメラで撮影で撮影した画像から対象物の三次元形状データを生成し、それにより物体の三次元形状モデルを作製することである。
先件提案では、基準画面上で設定したモデル計測範囲に格子状に設定したモデル計測点についてステレオ計測により三次元位置データを計測し、三次元位置データを持つモデル構成点の集合である三次元形状データを生成し、物体の三次元形状モデルを構成した。
【００１０】
本発明による物体の三次元形状モデル作製装置は、図３に示すように、画像入力部１００、三次元形状データ生成部２００、結合画像系設定部３００、結合データ平面設定部４００、データ射影部５００、結合三次元形状データ配列データ保存部６００及びメモリ７００とからなり、以下の手順▲１▼〜▲７▼により、三次元形状モデルを作製する。
【００１１】
▲１▼ 先ず、画像入力部１００は、対象物体を複数箇所に分けて撮影し、三次元形状データ生成部２００は、複数組の左右画像を用いて先件提案の方法により複数個の三次元形状データを作製する。
例えば、図１（ａ）に示すように、ステレオカメラａ，ｂの二箇所から、左右に長い対象物体ｃを一部重複して撮影した場合、ステレオカメラａ，ｂで撮影した左右画像は、同図（ｂ）（ｃ）に示すように異なる座標系により表示されることになる。
【００１２】
別々にステレオ計測され、求めた三次元形状データは、それぞれ座標系が異なるために、単純には結合できない。
ここで、三次元形状データとは、対象物体ｃの表面の座標データのことを言う。
尚、図１において、対象物体ｃに対する絶対座標系（ｘ−ｙ−ｚ）に対し、各ステレオカメラａ，ｂで撮影した左右画像における座標系はそれぞれ座標系（ｘa−ｙa−ｚa），（ｘb−ｙb−ｚb）とする。
【００１３】
▲２▼ 次に、結合座標系設定部３００は、複数箇所で撮影された各対象物体上に設定された座標系（以降これを”対象物座標系”と呼ぶ）を代表する座標系（以降この代表の座標系を”結合座標系”と呼ぶ）１０を後述する「結合座標系設定方法１」により設定する。
結合座標系１０は、個々の座標系に基づいた新たな座標系をいい、例えば、図２に示すように、座標系（ｘ′−ｙ′−ｚ′）で表されるとする。
図２における中央部分ｄは、結合座標系１０で複数の画像が重複する領域である。
【００１４】
▲３▼ 引き続き、結合データ平面設定部４００は、複数個の三次元形状データを貼り付けるために対象物体の長手方向に対する結合座標系１０の軸平面に平行な平面（以降この平面を”結合データ平面”と呼ぶ）２０を設定する。
結合座標系１０が、上述したように、座標系（ｘ′−ｙ′−ｚ′）で表されるとすると、結合データ平面２０は、同図中に示すように座標系（ｘ′−ｙ′）で表されることになる。
【００１５】
▲４▼ そして、データ射影部５００は、複数個の三次元形状データの構成点を結合座標系１０上の点へ座標変換した後、例えば、図２に示すように、結合データ平面２０へ正射影する。
【００１６】
▲５▼ その後、結合三次元形状データ配列データ保存部６００は、結合データ平面２０へ正射影した位置に対応する複数個の三次元形状データを一つのデータとしてまとめるために用意した二次元配列状データ（以降これを”結合三次元形状データ配列”と呼ぶ）３０上の位置へ結合データ平面２０へ座標変換したモデル構成点の位置データを保存する。
例えば、図９（ａ）に示すように、結合データ平面２０上のデータの集合（ｘ0′，ｙ0′）…（ｘn′，ｙn′）が、結合三次元形状データ配列３０上の位置である（ｕ0，ｖ0）…（ｕn，ｖn）に座標変換されることになる。
【００１７】
結合三次元形状データ配列３０は、メモリ空間上の座換（インデックス）としてデータを管理する場合の集合であり、コンピュータで扱いやすいようにスケールを変更したものである。
また、結合三次元形状データ配列３０の（ｕ，ｖ）は、整数化されたものであるため、図９（ｂ）で格子状の枠で仕切られる。
結合データ平面２０からメモリに格納される時には、図１０（ａ）（ｂ）に示すように、データの量子化が行われる。
また、結合三次元形状データ配列３０の（ｕ，ｖ）は、データを参照するためのインデックスであり、実データにはｚ′が格納される。
【００１８】
▲６▼ 更に、結合三次元形状データ配列３０の一つの枠に複数個のモデル構成点が対応する場合は、その平均値を結合三次元形状データ配列３０のその枠のもつ点のデータ（以降この点を”結合モデル構成点”と呼ぶ）とする。
例えば、図１０（ａ）に示すように、結合データ平面２０において、データ（ｘ0′，ｙ0′），（ｘ1′，ｙ1′）が下式（１）で表される結合平面上の同一の枠に含まれるため、量子化によって（ｎ，ｍ）の代表点（メモリ空間のインデックス）に移される。
斜影平面上でのデータの重複部等によって、図１０（ａ）のように複数点が対応する場合、同図（ｂ）のようにｚを平均値とする。
【００１９】
▲７▼ これにより、複数個の三次元形状データを一つの大きなデータ（以降結合した三次元形状データを”結合三次元形状データ”と呼ぶ）ヘ結合する。
本実施例に係る物体の三次元形状モデル作製装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、対象物が大きい場合や縦横比が大きい場合、対象物を撮影する箇所を複数箇所に分割して撮影した複数組の画像データから一つの結合三次元形状データを生成できるため、精巧な三次元形状データを得ることができる。
更に、対象物体が比較的小さな場合でもより精巧な三次元形状データを得たい場合、対象物体を拡大した複数個の部分の画像データを利用することで対応できる。
【００２０】
(2）結合座標系設定方法
(2.1）結合座標系設定方法１
この方法は、図４に示すように、結合座標系１０を各座標系の基準となる絶対座標系４０と各対象物座標系１〜４の原点位置から設定するものである。
▲１▼ 先ず、結合座標系１０の原点位置を各対象物座標系１〜４の原点位置の重心位置に設定する。
▲２▼ 次に、結合座標系１０のｙ軸を絶対座標系４０のｚ軸と同じ方向に設定する。
【００２１】
▲３▼ 引き続き、各対象物座標系１〜４の原点位置を結ぶ直線を最小二乗法等で求め、その直線を絶対座標系４０のｘ−ｙ平面へ投影した直線の方向ベクトルを結合座標系１０のｘ軸に設定する。
ただし、結合する箇所が一つの場合は、カメラから見て横軸にあたる対象物座標系１〜４のｘ軸を絶対座標系４０のｘ−ｙ平面へ投影した軸を結合座標系１０のｘ軸に設定する。
▲４▼ 更に、ｘ軸とｙ軸との外積の方向を結合座標系１０のｚ軸に設定する。
各対象物の三次元形状データを構成する全ての点について、設定した結合座標系１０における各軸の最小値最大値を求め、ｙ軸に対してはその中央位置へ、ｘ軸に対してはその中央位置へ、ｚ軸に対してはその最小位置へ原点をシフトし、これを新たに結合座標系１０の原点として設定する。
【００２２】
この方法で設定した結合座標系１０は、作られる結合データ平面２０の縦軸方向が絶対座標系４０のｚ軸方向と同じであるため、結合モデル構成点の位置データが感覚的に分かり易く、また、絶対座標系４０を基準に考えた等高線や断面形状などの、結合三次元形状データを利用した以降の計算処理での加工が行い易いメリットがある。
【００２３】
(2.2）結合座標系設定方法２
この方法は、図５に示すように、結合座標系１０を各対象物座標系１〜４の平均化によって設定するものである。
▲１▼ 先ず、結合座標系１０の原点位置を各対象物座標系１〜４の原点位置の重心位置に設定する。
▲２▼ 次に、各対象物座標系１〜４のカメラから見て縦軸にあたるｙ軸の方向成分を平均した成分を持つ方向ベクトルを結合座標系１０の仮のｙ軸に設定する。
▲３▼ 引き続き、各対象物座標系１〜４の原点位置を結ぶ直線を最小二乗法等で求め、その直線の方向ベクトルを結合座標系１０のｘ軸に設定する。
ただし、結合する箇所が一つの場合は、カメラから見て横軸にあたる対象物座標系１〜４のｘ軸を結合座標系１０のｘ軸に設定する。
【００２４】
▲４▼ 更に、ｘ軸と仮のｙ軸との外積の方向を結合座標系１０のｚ軸に設定する。
▲５▼ そして、ｚ軸とｘ軸との外積の方向を結合座標系１０のｙ軸に設定する。
▲６▼ また、各対象物の三次元形状データを構成する全ての点について、設定した結合座標系１０における各軸の最小値最大値を求め、ｙ軸に対してはその中央位置へ、ｘ軸に対してはその中央位置へ、ｚ軸に対してはその最小位置へ原点をシフトし、これを新たに結合座標系１０の原点として設定する。
【００２５】
この方法で設定した結合座標系１０は、対象物の各計測箇所と平均的に正対するため、結合三次元形状データ配列３０へ結合モデル構成点を設定する際、元のデータであるモデル構成点が結合三次元形状データ配列３０の一つの枠に重複する場合が少なく、データを有効に利用できる。
また、正対することでカメラ光軸と結合座標系１０のｚ軸の方向が近くなり、三次元形状データの見かけ上の形が感覚的に分かり易いメリットがある。
【００２６】
(3）その他の実施例
(3.1）結合座標系設定方法２を用いた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置のうち、図６に示すように、結合座標系１０を設定する部分において、結合座標系設定方法１を用いる結合座標系設定部３００に代えて、結合座標系設定方法２により結合座標系１０を設定する結合座標系設定部３０１を使用して結合三次元形状データを生成し、三次元形状モデルを作製するものである。
【００２７】
従って、この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、対象物が大きい場合や縦横比が大きい場合、対象物を撮影する箇所を複数箇所に分割して撮影した複数組の画像データから一つの結合三次元形状データを生成できるため、精巧な三次元形状データを得ることができる。
【００２８】
更に、対象物体が比較的小さな場合でも精巧な三次元形状データを得たい場合、対象物体を拡大した複数個の部分の画像データを利用することで対応できる。
また、この装置による結合座標系１０は対象物の各計測箇所と平均的に正対するため、結合三次元形状データ配列３０へ結合モデル構成点を設定する際、元のデータであるモデル構成点が結合三次元形状データ配列３０の一つの枠に重複する場合が少なく、データを有効に利用できる。
また、正対することでカメラ光軸と結合座標系１０の奥行き方向の水平軸が近くなり、三次元形状データの見かけ上の形が感覚的に分かり易い。
【００２９】
(3.2）補間処理を加えた三次元形状モデル作製装置
この装置は、図７に示すように、基本的な考え方で述べた装置に対して、補完処理部８００を追加したものである。
この補完処理部８００は、以下の手順▲１▼〜▲４▼により、三次元形状モデルを作製する。
▲１▼ 先ず、基本的な考え方で述べた装置の処理により、結合三次元形状データを生成した後、結合モデル構成点を設定する際に結合三次元形状データ配列３０の枠へ入れるための量子化等によって結合モデル構成点が得られなかった点（以降これを”結合データ欠落点”と呼ぶ）について、その上下及び左右方向に結合モデル構成点があるかどうかを検査する。
▲２▼ 次いで、上下左右方向に結合モデル構成点が予め設定しておいた数以上存在した場合は、この結合データ欠落点を補間の必要な点（以降これを”結合補間対象点”と呼ぶ）とする。
【００３０】
▲３▼ 引き続き、結合補間対象点から検出した結合モデル構成点の結合三次元データ配列上での距離（以降これを”結合補間点距離”と呼ぶ）を計算し、その結合補間点距離を結合補間点距離の総計で割った値を重みとして、結合補間対象点の奥行きデータを先に検出した結合モデル構成点の重み付き平均により求める。
例えば、図１１において、結合モデル構成点が得られた点を有データとして斜線を入れて示し、また、結合モデル構成点が得られなかった結合データ欠落点を白抜きで示すように、結合データ欠落点（ｎ，ｍ）の結合データ三次元形状データは、ｘ′，ｙ′については特定されるが（ｘ′＝ｎｋx，ｙ′＝ｍｋy）、ｚ′については不明となる。
【００３１】
そこで、例えば、下式（２）に示すように、ｕｖ平面上で上下左右の最も近い有データ部（図中におけるａ，ｂ，ｃ，ｄ）のｚ′座標の重み付き平均値（距離に反比例）を求めることとする。
Ｚ＝（Ｚa／Ｌa＋Ｚb／Ｌb＋Ｚc／Ｌc＋Ｚd／Ｌd）／Σ（１／Ｌ）…（２）
但し、
Ｚ：（ｎ，ｍ→ｘ′，ｙ′のときのｚ′の座標）
Ｌa，Ｌb，Ｌc，Ｌd：点ａ，ｃ，ｂ，ｄの結合平面上での距離
従って、（ｕｖ平面での距離）×ｋx（又はｋy）である。
Ｚa，Ｚb，Ｚc，Ｚd：点ａ，ｃ，ｂ，ｄのｚ′座標
Σ（１／Ｌ）：１／Ｌa〜１／Ｌdの総和（重みを正規化するため）
【００３２】
▲４▼ 更に、その奥行きデータと結合三次元形状データ配列３０上の位置から結合補間対象点の三次元位置を計算して結合モデル構成点を設定することで、データ欠落部分のない結合三次元形状データを生成し、三次元形状モデルを構成する。
従って、この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【００３３】
また、対象物が大きい場合や縦横比が大きい場合、対象物を撮影する箇所を複数箇所に分割して撮影した複数組の画像データから一つの結合三次元形状データを生成できるため、精巧な三次元形状データを得ることができる。
更に、対象物体が比較的小さな場合でも精巧な三次元形状データを得たい場合、対象物体を拡大した複数個の部分の画像データを利用することで対応できる。
また、各対象物毎の三次元形状データを結合三次元形状データヘ移す際の量子化等によるデータの欠落を抑えるため、データ欠落のない結合三次元形状データを得ることができる。
【００３４】
(3.3）平滑化処理を加えた三次元形状モデル作製装置
この装置は、(3.2）で述べた装置に対し、図８に示すように平滑化処理部９００を追加したものである。
即ち、平滑化処理部９００は、補完処理部８００の処理により結合三次元形状データが生成された後、メディアンフィルタ（参考「画像解析ハンドブック」高木幹雄，下田陽久監修，東京大学出版会,pp539-540）によりデータの平滑化処理を行う機能を加え、平滑化した結合モデル構成点により結合三次元形状データを生成し、三次元形状モデルを構成するものである。
【００３５】
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、対象物が大きい場合や縦横比が大きい場合、対象物を撮影する箇所を複数箇所に分割して撮影した複数組の画像データから一つの結合三次元形状データを生成できるため、精巧な三次元形状データを得ることができる。
【００３６】
更に、対象物体が比較的小さな場合でも精巧な三次元形状データを得たい場合、対象物体を拡大した複数個の部分の画像データを利用することで対応できる。また、各対象物毎の三次元形状データを結合三次元形状データヘ移す際の量子化等によるデータの欠落を抑えるため、データ欠落のない結合三次元形状データを得ることができる。
更に、平滑化処理を行うことにより各箇所の三次元形状データを滑らかに接合した結合三次元形状データを得ることができる。
【００３７】
上述したように、本発明の全体的なイメージは、図１２に示すように、先ず、絶対座標系で表される対象物体を、一部重複して分割して撮影し、それぞれ対象物体座標系で表される三次元形状データを求め、次に、撮影箇所の重複部（データも重複）を介してこれらの三次元形状データを結合して結合座標系で表し、そして、結合座標系で表される三次元形状データを結合データ平面に座標変換し、更に、結合データ平面に座標変換される三次元形状データを結合三次元形状データ配列に量子化してメモリに格納するのである。
【００３８】
【発明の効果】
本発明は物体の三次元形状モデルを作製する処理に関するものである。
(1）データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば、建造物、若しくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
(2）データの入力手段としてカメラによる入力画像を用いているため、対象物に触ることなく非接触で物体の三次元形状モデルを作製することができる。
(3）三次元形状データを構成するデータとして、三次元位置データを持つモデル構成点の集合を用いるため、円柱や球面のような滑らかな曲面を持つ物体に対しても三次元形状モデルを作製することができる。
(4）対象物体上に関してモデル構成点を格子状にまんべんなく設定するため、対象物上に異物が存在する場合は、それを容易に検知できる。
(5）対象物体を複数箇所に分割して撮影できるため、大きな対象物を一つのフレーム内に入れる必要が無く、必要な精度に合わせた分解能の画像を用いることで、大きな対象物に対しても高精度な三次元形状モデルを作製できる。
(6）対象物体を複数箇所に分割して撮影できるため、縦横比の大きな対象物を一つのフレーム内に入れる必要が無く、適当な箇所に分割して各部分を大きく撮影した画像データを用いることで画像中の余白の割合を抑え、画像データを有効活用できる。
(7）対象物体を複数箇所に分割して撮影できるため、精巧な三次元形状モデルを得たい場合は対象物体を複数箇所に分けて大きく映した画像データを取得し、それらの箇所の三次元形状データを結合することで、全体として精巧な結合三次元形状データを生成することができる。
【図面の簡単な説明】
【図１】図１（ａ）は対象物体の全体外観図、図１（ｂ）（ｃ）はそれぞれ異なるカメラで撮影された対象物体の部分的な外観図である。
【図２】結合座標系と結合データ平面の関係を示す説明図である。
【図３】本発明の第一の実施例に係る物体の三次元形状モデル作製装置を示すブロック図である。
【図４】結合座標系設定方法１により設定された結合座標系の説明図である。
【図５】結合座標系設定方法２により設定された結合座標系の説明図である。
【図６】本発明の第二の実施例に係る物体の三次元形状モデル作製装置を示すブロック図である。
【図７】本発明の第三の実施例に係る物体の三次元形状モデル作製装置を示すブロック図である。
【図８】本発明の第四の実施例に係る物体の三次元形状モデル作製装置を示すブロック図である。
【図９】図９（ａ）は結合データ平面と結合三次元形状データ配列との関係を示すイメージ図、図９（ｂ）は結合三次元形状データ配列のイメージ図である。
【図１０】結合データ平面から結合三次元形状データ配列へ変換される際のデータの量子化を示す説明図である。
【図１１】データ欠落部に対する補間を示す説明図である。
【図１２】本発明の全体的なイメージを示す説明図である。
【符号の説明】
１０ 結合座標系
２０ 結合データ平面
３０ 結合三次元形状データ配列
１００ 画像入力部
２００ 三次元形状データ生成部
３００，３０１ 結合画像系設定部
４００ 結合データ平面設定部
５００ データ射影部
６００ 結合三次元形状データ配列データ保存部
７００ メモリ
８００ 補間処理部
９００ 平滑化処理部
【発明の属する技術分野】
本発明は、物体の三次元形状モデル作製装置に関する。詳しくは、カメラによって得られた画像データを使用して、工業部品等の対象物体の三次元形状データを生成し、それにより物体認識処理等に用いる物体の三次元形状モデルを作製する装置に関するものである。
【０００２】
【従来の技術】
三次元形状モデルを作製する方法として幾つかの提案を行っている。
特開平11-323864号、特開平11-323865号、特願2000-40858号、特願2000-93627号（以降これらを”先件提案”と呼ぶ）では、画面上で設定した長方形範囲内（以降これを”モデル計測範囲”と呼ぶ）に格子状に設定した点（以降これを”モデル計測点”と呼ぶ）についてステレオ計測により三次元位置データを計測し、三次元位置データを持つ点データ（以降これを”モデル構成点”と呼ぶ）の集合（以降これを”三次元形状データ”と呼ぶ）として物体の三次元形状モデルを構成した。
【０００３】
【発明が解決しようとする課題】
先件提案では、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば、建造物、若しくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
【０００４】
この場合、作製される三次元形状モデルの精巧さはカメラの解像度やカメラで撮影された対象物体の画像の分解能に依存する。
このため、例えば、建造物、若しくは山肌、崖といった自然の地形のような大きな対象物をカメラのフレーム内に入るようにして撮影した左右一組の画像より三次元形状モデルを作製した場合、各部分に対する分解能は小さくなるため精巧なモデルは期待できない。
また、例えば、柱、棒、橋のような縦横比の大きな対象物の全体がカメラのフレーム内に入るようにして撮影した場合、対象物の映っている部分に対する余白部分の割合が大きく、画像データの無駄が大きい。
【０００５】
【課題を解決するための手段】
上記課題を解決する本発明の請求項１に係る物体の三次元形状モデル作製装置は、対象物体を複数箇所に分けて撮影し、複数組の左右画像を用いてステレオ計測により、複数個の三次元形状データを作製した後、結合座標系を絶対座標系と各対象物座標系の原点位置から設定し、複数個の三次元形状データを貼り付けるための結合データ平面を対象物体の長手方向に対する結合座標系の軸平面に平行な平面に設定し、複数個の三次元形状データのモデル構成点を結合座標系上の点へ座標変換した後結合データ平面へ正射影し、正射影した位置に対応する結合三次元形状データ配列上の位置へ結合座標系へ座標変換した複数個の三次元形状データのモデル構成点のデータを保存し、結合三次元形状データ配列の一つの枠に複数個のモデル構成点が対応する場合は、結合データ平面に垂直な方向の座標値の平均値を結合モデル構成点のデータとすることで、複数個の三次元形状データを一つの結合三次元形状データヘ結合し、三次元形状モデルを構成することを特徴とする。
【０００６】
上記課題を解決する本発明の請求項２に係る物体の三次元形状モデル作製装置は、請求項１記載の装置の結合座標系を設定する部分において、結合座標を絶対座標系と各対象物座標系の原点位置から設定する代わりに、結合座標系を各対象物座標系の平均化、即ち、結合座標系の原点位置を各対象物座標系の原点位置の重心位置に設定すると共に各対象座標系の前記カメラから見て縦軸にあたる方向成分を持つベクトルを結合座標系のＹ軸に設定し、また、各対象座標系の原点位置を結ぶ直線を最小二乗法等によって求めて、該直線の方向ベクトルを結合座標系のＸ軸に設定し、更に、前記Ｙ軸と前記Ｘ軸の外積の方向を結合座標系のＺ軸に設定することによって設定し、複数個の三次元形状データを一つの結合三次元形状データヘ結合し、三次元形状モデルを構成することを特徴とする。
【０００７】
上記課題を解決する本発明の請求項３に係る物体の三次元形状モデル作製装置は、請求項１記載の装置の処理により結合三次元形状データを生成した後、結合モデル構成点を設定する際に発生した結合データ欠落点について、その上下および左右方同に結合モデル構成点があるかどうかを検査し、上下左右方向に結合モデル構成点が予め設定しておいた数以上存在した場合はこの結合データ欠落点を結合補間対象点とし、検出した結合モデル構成点と結合データ欠落点の結合三次元データ配列上の位置から結合補間点距離を計算し、その結合補間点距離を結合補間点距離の総計で割った値を重みとして、結合補間対象点の奥行きデータを先に検出した結合モデル構成点の重み付き平均により求め、その奥行きデータと結合三次元形状データ配列上の位置から結合補間対象点の三次元位置を計算して結合モデル構成点を設定することで、データ欠落部分のない結合三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【０００８】
上記課題を解決する本発明の請求項４に係る物体の三次元形状モデル作製装置は、請求項３記載の装置の処理により結合三次元形状データを生成した後、メディアンフィルタによりデータの平滑化処理を行い、平滑化した結合モデル構成点により結合三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【０００９】
【発明の実施の形態】
(1）基本的な考え方
本発明の目的は、カメラで撮影で撮影した画像から対象物の三次元形状データを生成し、それにより物体の三次元形状モデルを作製することである。
先件提案では、基準画面上で設定したモデル計測範囲に格子状に設定したモデル計測点についてステレオ計測により三次元位置データを計測し、三次元位置データを持つモデル構成点の集合である三次元形状データを生成し、物体の三次元形状モデルを構成した。
【００１０】
本発明による物体の三次元形状モデル作製装置は、図３に示すように、画像入力部１００、三次元形状データ生成部２００、結合画像系設定部３００、結合データ平面設定部４００、データ射影部５００、結合三次元形状データ配列データ保存部６００及びメモリ７００とからなり、以下の手順▲１▼〜▲７▼により、三次元形状モデルを作製する。
【００１１】
▲１▼ 先ず、画像入力部１００は、対象物体を複数箇所に分けて撮影し、三次元形状データ生成部２００は、複数組の左右画像を用いて先件提案の方法により複数個の三次元形状データを作製する。
例えば、図１（ａ）に示すように、ステレオカメラａ，ｂの二箇所から、左右に長い対象物体ｃを一部重複して撮影した場合、ステレオカメラａ，ｂで撮影した左右画像は、同図（ｂ）（ｃ）に示すように異なる座標系により表示されることになる。
【００１２】
別々にステレオ計測され、求めた三次元形状データは、それぞれ座標系が異なるために、単純には結合できない。
ここで、三次元形状データとは、対象物体ｃの表面の座標データのことを言う。
尚、図１において、対象物体ｃに対する絶対座標系（ｘ−ｙ−ｚ）に対し、各ステレオカメラａ，ｂで撮影した左右画像における座標系はそれぞれ座標系（ｘa−ｙa−ｚa），（ｘb−ｙb−ｚb）とする。
【００１３】
▲２▼ 次に、結合座標系設定部３００は、複数箇所で撮影された各対象物体上に設定された座標系（以降これを”対象物座標系”と呼ぶ）を代表する座標系（以降この代表の座標系を”結合座標系”と呼ぶ）１０を後述する「結合座標系設定方法１」により設定する。
結合座標系１０は、個々の座標系に基づいた新たな座標系をいい、例えば、図２に示すように、座標系（ｘ′−ｙ′−ｚ′）で表されるとする。
図２における中央部分ｄは、結合座標系１０で複数の画像が重複する領域である。
【００１４】
▲３▼ 引き続き、結合データ平面設定部４００は、複数個の三次元形状データを貼り付けるために対象物体の長手方向に対する結合座標系１０の軸平面に平行な平面（以降この平面を”結合データ平面”と呼ぶ）２０を設定する。
結合座標系１０が、上述したように、座標系（ｘ′−ｙ′−ｚ′）で表されるとすると、結合データ平面２０は、同図中に示すように座標系（ｘ′−ｙ′）で表されることになる。
【００１５】
▲４▼ そして、データ射影部５００は、複数個の三次元形状データの構成点を結合座標系１０上の点へ座標変換した後、例えば、図２に示すように、結合データ平面２０へ正射影する。
【００１６】
▲５▼ その後、結合三次元形状データ配列データ保存部６００は、結合データ平面２０へ正射影した位置に対応する複数個の三次元形状データを一つのデータとしてまとめるために用意した二次元配列状データ（以降これを”結合三次元形状データ配列”と呼ぶ）３０上の位置へ結合データ平面２０へ座標変換したモデル構成点の位置データを保存する。
例えば、図９（ａ）に示すように、結合データ平面２０上のデータの集合（ｘ0′，ｙ0′）…（ｘn′，ｙn′）が、結合三次元形状データ配列３０上の位置である（ｕ0，ｖ0）…（ｕn，ｖn）に座標変換されることになる。
【００１７】
結合三次元形状データ配列３０は、メモリ空間上の座換（インデックス）としてデータを管理する場合の集合であり、コンピュータで扱いやすいようにスケールを変更したものである。
また、結合三次元形状データ配列３０の（ｕ，ｖ）は、整数化されたものであるため、図９（ｂ）で格子状の枠で仕切られる。
結合データ平面２０からメモリに格納される時には、図１０（ａ）（ｂ）に示すように、データの量子化が行われる。
また、結合三次元形状データ配列３０の（ｕ，ｖ）は、データを参照するためのインデックスであり、実データにはｚ′が格納される。
【００１８】
▲６▼ 更に、結合三次元形状データ配列３０の一つの枠に複数個のモデル構成点が対応する場合は、その平均値を結合三次元形状データ配列３０のその枠のもつ点のデータ（以降この点を”結合モデル構成点”と呼ぶ）とする。
例えば、図１０（ａ）に示すように、結合データ平面２０において、データ（ｘ0′，ｙ0′），（ｘ1′，ｙ1′）が下式（１）で表される結合平面上の同一の枠に含まれるため、量子化によって（ｎ，ｍ）の代表点（メモリ空間のインデックス）に移される。
【００１９】
▲７▼ これにより、複数個の三次元形状データを一つの大きなデータ（以降結合した三次元形状データを”結合三次元形状データ”と呼ぶ）ヘ結合する。
本実施例に係る物体の三次元形状モデル作製装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、対象物が大きい場合や縦横比が大きい場合、対象物を撮影する箇所を複数箇所に分割して撮影した複数組の画像データから一つの結合三次元形状データを生成できるため、精巧な三次元形状データを得ることができる。
更に、対象物体が比較的小さな場合でもより精巧な三次元形状データを得たい場合、対象物体を拡大した複数個の部分の画像データを利用することで対応できる。
【００２０】
(2）結合座標系設定方法
(2.1）結合座標系設定方法１
この方法は、図４に示すように、結合座標系１０を各座標系の基準となる絶対座標系４０と各対象物座標系１〜４の原点位置から設定するものである。
▲１▼ 先ず、結合座標系１０の原点位置を各対象物座標系１〜４の原点位置の重心位置に設定する。
▲２▼ 次に、結合座標系１０のｙ軸を絶対座標系４０のｚ軸と同じ方向に設定する。
【００２１】
▲３▼ 引き続き、各対象物座標系１〜４の原点位置を結ぶ直線を最小二乗法等で求め、その直線を絶対座標系４０のｘ−ｙ平面へ投影した直線の方向ベクトルを結合座標系１０のｘ軸に設定する。
ただし、結合する箇所が一つの場合は、カメラから見て横軸にあたる対象物座標系１〜４のｘ軸を絶対座標系４０のｘ−ｙ平面へ投影した軸を結合座標系１０のｘ軸に設定する。
▲４▼ 更に、ｘ軸とｙ軸との外積の方向を結合座標系１０のｚ軸に設定する。
各対象物の三次元形状データを構成する全ての点について、設定した結合座標系１０における各軸の最小値最大値を求め、ｙ軸に対してはその中央位置へ、ｘ軸に対してはその中央位置へ、ｚ軸に対してはその最小位置へ原点をシフトし、これを新たに結合座標系１０の原点として設定する。
【００２２】
この方法で設定した結合座標系１０は、作られる結合データ平面２０の縦軸方向が絶対座標系４０のｚ軸方向と同じであるため、結合モデル構成点の位置データが感覚的に分かり易く、また、絶対座標系４０を基準に考えた等高線や断面形状などの、結合三次元形状データを利用した以降の計算処理での加工が行い易いメリットがある。
【００２３】
(2.2）結合座標系設定方法２
この方法は、図５に示すように、結合座標系１０を各対象物座標系１〜４の平均化によって設定するものである。
▲１▼ 先ず、結合座標系１０の原点位置を各対象物座標系１〜４の原点位置の重心位置に設定する。
▲２▼ 次に、各対象物座標系１〜４のカメラから見て縦軸にあたるｙ軸の方向成分を平均した成分を持つ方向ベクトルを結合座標系１０の仮のｙ軸に設定する。
▲３▼ 引き続き、各対象物座標系１〜４の原点位置を結ぶ直線を最小二乗法等で求め、その直線の方向ベクトルを結合座標系１０のｘ軸に設定する。
ただし、結合する箇所が一つの場合は、カメラから見て横軸にあたる対象物座標系１〜４のｘ軸を結合座標系１０のｘ軸に設定する。
【００２４】
▲４▼ 更に、ｘ軸と仮のｙ軸との外積の方向を結合座標系１０のｚ軸に設定する。
▲５▼ そして、ｚ軸とｘ軸との外積の方向を結合座標系１０のｙ軸に設定する。
▲６▼ また、各対象物の三次元形状データを構成する全ての点について、設定した結合座標系１０における各軸の最小値最大値を求め、ｙ軸に対してはその中央位置へ、ｘ軸に対してはその中央位置へ、ｚ軸に対してはその最小位置へ原点をシフトし、これを新たに結合座標系１０の原点として設定する。
【００２５】
この方法で設定した結合座標系１０は、対象物の各計測箇所と平均的に正対するため、結合三次元形状データ配列３０へ結合モデル構成点を設定する際、元のデータであるモデル構成点が結合三次元形状データ配列３０の一つの枠に重複する場合が少なく、データを有効に利用できる。
また、正対することでカメラ光軸と結合座標系１０のｚ軸の方向が近くなり、三次元形状データの見かけ上の形が感覚的に分かり易いメリットがある。
【００２６】
(3）その他の実施例
(3.1）結合座標系設定方法２を用いた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置のうち、図６に示すように、結合座標系１０を設定する部分において、結合座標系設定方法１を用いる結合座標系設定部３００に代えて、結合座標系設定方法２により結合座標系１０を設定する結合座標系設定部３０１を使用して結合三次元形状データを生成し、三次元形状モデルを作製するものである。
【００２７】
従って、この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、対象物が大きい場合や縦横比が大きい場合、対象物を撮影する箇所を複数箇所に分割して撮影した複数組の画像データから一つの結合三次元形状データを生成できるため、精巧な三次元形状データを得ることができる。
【００２８】
更に、対象物体が比較的小さな場合でも精巧な三次元形状データを得たい場合、対象物体を拡大した複数個の部分の画像データを利用することで対応できる。
また、この装置による結合座標系１０は対象物の各計測箇所と平均的に正対するため、結合三次元形状データ配列３０へ結合モデル構成点を設定する際、元のデータであるモデル構成点が結合三次元形状データ配列３０の一つの枠に重複する場合が少なく、データを有効に利用できる。
また、正対することでカメラ光軸と結合座標系１０の奥行き方向の水平軸が近くなり、三次元形状データの見かけ上の形が感覚的に分かり易い。
【００２９】
(3.2）補間処理を加えた三次元形状モデル作製装置
この装置は、図７に示すように、基本的な考え方で述べた装置に対して、補完処理部８００を追加したものである。
この補完処理部８００は、以下の手順▲１▼〜▲４▼により、三次元形状モデルを作製する。
▲１▼ 先ず、基本的な考え方で述べた装置の処理により、結合三次元形状データを生成した後、結合モデル構成点を設定する際に結合三次元形状データ配列３０の枠へ入れるための量子化等によって結合モデル構成点が得られなかった点（以降これを”結合データ欠落点”と呼ぶ）について、その上下及び左右方向に結合モデル構成点があるかどうかを検査する。
▲２▼ 次いで、上下左右方向に結合モデル構成点が予め設定しておいた数以上存在した場合は、この結合データ欠落点を補間の必要な点（以降これを”結合補間対象点”と呼ぶ）とする。
【００３０】
▲３▼ 引き続き、結合補間対象点から検出した結合モデル構成点の結合三次元データ配列上での距離（以降これを”結合補間点距離”と呼ぶ）を計算し、その結合補間点距離を結合補間点距離の総計で割った値を重みとして、結合補間対象点の奥行きデータを先に検出した結合モデル構成点の重み付き平均により求める。
例えば、図１１において、結合モデル構成点が得られた点を有データとして斜線を入れて示し、また、結合モデル構成点が得られなかった結合データ欠落点を白抜きで示すように、結合データ欠落点（ｎ，ｍ）の結合データ三次元形状データは、ｘ′，ｙ′については特定されるが（ｘ′＝ｎｋx，ｙ′＝ｍｋy）、ｚ′については不明となる。
【００３１】
そこで、例えば、下式（２）に示すように、ｕｖ平面上で上下左右の最も近い有データ部（図中におけるａ，ｂ，ｃ，ｄ）のｚ′座標の重み付き平均値（距離に反比例）を求めることとする。
Ｚ＝（Ｚa／Ｌa＋Ｚb／Ｌb＋Ｚc／Ｌc＋Ｚd／Ｌd）／Σ（１／Ｌ）…（２）
但し、
Ｚ：（ｎ，ｍ→ｘ′，ｙ′のときのｚ′の座標）
Ｌa，Ｌb，Ｌc，Ｌd：点ａ，ｃ，ｂ，ｄの結合平面上での距離
従って、（ｕｖ平面での距離）×ｋx（又はｋy）である。
Ｚa，Ｚb，Ｚc，Ｚd：点ａ，ｃ，ｂ，ｄのｚ′座標
Σ（１／Ｌ）：１／Ｌa〜１／Ｌdの総和（重みを正規化するため）
【００３２】
▲４▼ 更に、その奥行きデータと結合三次元形状データ配列３０上の位置から結合補間対象点の三次元位置を計算して結合モデル構成点を設定することで、データ欠落部分のない結合三次元形状データを生成し、三次元形状モデルを構成する。
従って、この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【００３３】
また、対象物が大きい場合や縦横比が大きい場合、対象物を撮影する箇所を複数箇所に分割して撮影した複数組の画像データから一つの結合三次元形状データを生成できるため、精巧な三次元形状データを得ることができる。
更に、対象物体が比較的小さな場合でも精巧な三次元形状データを得たい場合、対象物体を拡大した複数個の部分の画像データを利用することで対応できる。
また、各対象物毎の三次元形状データを結合三次元形状データヘ移す際の量子化等によるデータの欠落を抑えるため、データ欠落のない結合三次元形状データを得ることができる。
【００３４】
(3.3）平滑化処理を加えた三次元形状モデル作製装置
この装置は、(3.2）で述べた装置に対し、図８に示すように平滑化処理部９００を追加したものである。
即ち、平滑化処理部９００は、補完処理部８００の処理により結合三次元形状データが生成された後、メディアンフィルタ（参考「画像解析ハンドブック」高木幹雄，下田陽久監修，東京大学出版会,pp539-540）によりデータの平滑化処理を行う機能を加え、平滑化した結合モデル構成点により結合三次元形状データを生成し、三次元形状モデルを構成するものである。
【００３５】
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、対象物が大きい場合や縦横比が大きい場合、対象物を撮影する箇所を複数箇所に分割して撮影した複数組の画像データから一つの結合三次元形状データを生成できるため、精巧な三次元形状データを得ることができる。
【００３６】
更に、対象物体が比較的小さな場合でも精巧な三次元形状データを得たい場合、対象物体を拡大した複数個の部分の画像データを利用することで対応できる。また、各対象物毎の三次元形状データを結合三次元形状データヘ移す際の量子化等によるデータの欠落を抑えるため、データ欠落のない結合三次元形状データを得ることができる。
更に、平滑化処理を行うことにより各箇所の三次元形状データを滑らかに接合した結合三次元形状データを得ることができる。
【００３７】
上述したように、本発明の全体的なイメージは、図１２に示すように、先ず、絶対座標系で表される対象物体を、一部重複して分割して撮影し、それぞれ対象物体座標系で表される三次元形状データを求め、次に、撮影箇所の重複部（データも重複）を介してこれらの三次元形状データを結合して結合座標系で表し、そして、結合座標系で表される三次元形状データを結合データ平面に座標変換し、更に、結合データ平面に座標変換される三次元形状データを結合三次元形状データ配列に量子化してメモリに格納するのである。
【００３８】
【発明の効果】
本発明は物体の三次元形状モデルを作製する処理に関するものである。
(1）データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば、建造物、若しくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
(2）データの入力手段としてカメラによる入力画像を用いているため、対象物に触ることなく非接触で物体の三次元形状モデルを作製することができる。
(3）三次元形状データを構成するデータとして、三次元位置データを持つモデル構成点の集合を用いるため、円柱や球面のような滑らかな曲面を持つ物体に対しても三次元形状モデルを作製することができる。
(4）対象物体上に関してモデル構成点を格子状にまんべんなく設定するため、対象物上に異物が存在する場合は、それを容易に検知できる。
(5）対象物体を複数箇所に分割して撮影できるため、大きな対象物を一つのフレーム内に入れる必要が無く、必要な精度に合わせた分解能の画像を用いることで、大きな対象物に対しても高精度な三次元形状モデルを作製できる。
(6）対象物体を複数箇所に分割して撮影できるため、縦横比の大きな対象物を一つのフレーム内に入れる必要が無く、適当な箇所に分割して各部分を大きく撮影した画像データを用いることで画像中の余白の割合を抑え、画像データを有効活用できる。
(7）対象物体を複数箇所に分割して撮影できるため、精巧な三次元形状モデルを得たい場合は対象物体を複数箇所に分けて大きく映した画像データを取得し、それらの箇所の三次元形状データを結合することで、全体として精巧な結合三次元形状データを生成することができる。
【図面の簡単な説明】
【図１】図１（ａ）は対象物体の全体外観図、図１（ｂ）（ｃ）はそれぞれ異なるカメラで撮影された対象物体の部分的な外観図である。
【図２】結合座標系と結合データ平面の関係を示す説明図である。
【図３】本発明の第一の実施例に係る物体の三次元形状モデル作製装置を示すブロック図である。
【図４】結合座標系設定方法１により設定された結合座標系の説明図である。
【図５】結合座標系設定方法２により設定された結合座標系の説明図である。
【図６】本発明の第二の実施例に係る物体の三次元形状モデル作製装置を示すブロック図である。
【図７】本発明の第三の実施例に係る物体の三次元形状モデル作製装置を示すブロック図である。
【図８】本発明の第四の実施例に係る物体の三次元形状モデル作製装置を示すブロック図である。
【図９】図９（ａ）は結合データ平面と結合三次元形状データ配列との関係を示すイメージ図、図９（ｂ）は結合三次元形状データ配列のイメージ図である。
【図１０】結合データ平面から結合三次元形状データ配列へ変換される際のデータの量子化を示す説明図である。
【図１１】データ欠落部に対する補間を示す説明図である。
【図１２】本発明の全体的なイメージを示す説明図である。
【符号の説明】
１０ 結合座標系
２０ 結合データ平面
３０ 結合三次元形状データ配列
１００ 画像入力部
２００ 三次元形状データ生成部
３００，３０１ 結合画像系設定部
４００ 結合データ平面設定部
５００ データ射影部
６００ 結合三次元形状データ配列データ保存部
７００ メモリ
８００ 補間処理部
９００ 平滑化処理部
Claims (4)
- 対象物体を複数箇所に分けて撮影し、複数組の左右画像を用いてステレオ計測により、複数個の三次元形状データを作製した後、結合座標系を絶対座標系と各対象物座標系の原点位置から設定し、複数個の三次元形状データを貼り付けるための結合データ平面を対象物体の長手方向に対する結合座標系の軸平面に平行な平面に設定し、複数個の三次元形状データのモデル構成点を結合座標系上の点へ座標変換した後結合データ平面へ正射影し、正射影した位置に対応する結合三次元形状データ配列上の位置へ結合座標系へ座標変換した複数個の三次元形状データのモデル構成点のデータを保存し、結合三次元形状データ配列の一つの枠に複数個のモデル構成点が対応する場合は、結合データ平面に垂直な方向の座標値の平均値を結合モデル構成点のデータとすることで、複数個の三次元形状データを一つの結合三次元形状データヘ結合し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。
- 請求項１記載の装置の結合座標系を設定する部分において、結合座標を絶対座標系と各対象物座標系の原点位置から設定する代わりに、結合座標系を各対象物座標系の平均化、即ち、結合座標系の原点位置を各対象物座標系の原点位置の重心位置に設定すると共に各対象座標系の前記カメラから見て縦軸にあたる方向成分を持つベクトルを結合座標系のＹ軸に設定し、また、各対象座標系の原点位置を結ぶ直線を最小二乗法等によって求めて、該直線の方向ベクトルを結合座標系のＸ軸に設定し、更に、前記Ｙ軸と前記Ｘ軸の外積の方向を結合座標系のＺ軸に設定することによって設定し、複数個の三次元形状データを一つの結合三次元形状データヘ結合し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。
- 請求項１記載の装置の処理により結合三次元形状データを生成した後、結合モデル構成点を設定する際に発生した結合データ欠落点について、その上下および左右方同に結合モデル構成点があるかどうかを検査し、上下左右方向に結合モデル構成点が予め設定しておいた数以上存在した場合はこの結合データ欠落点を結合補間対象点とし、検出した結合モデル構成点と結合データ欠落点の結合三次元データ配列上の位置から結合補間点距離を計算し、その結合補間点距離を結合補間点距離の総計で割った値を重みとして、結合補間対象点の奥行きデータを先に検出した結合モデル構成点の重み付き平均により求め、その奥行きデータと結合三次元形状データ配列上の位置から結合補間対象点の三次元位置を計算して結合モデル構成点を設定することで、データ欠落部分のない結合三次元形状データを生成し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。
- 請求項３記載の装置の処理により結合三次元形状データを生成した後、メディアンフィルタによりデータの平滑化処理を行い、平滑化した結合モデル構成点により結合三次元形状データを生成し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001029448A JP3991595B2 (ja) | 2001-02-06 | 2001-02-06 | 物体の三次元形状モデル作製装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001029448A JP3991595B2 (ja) | 2001-02-06 | 2001-02-06 | 物体の三次元形状モデル作製装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002230529A JP2002230529A (ja) | 2002-08-16 |
| JP3991595B2 true JP3991595B2 (ja) | 2007-10-17 |
Family
ID=18893798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001029448A Expired - Fee Related JP3991595B2 (ja) | 2001-02-06 | 2001-02-06 | 物体の三次元形状モデル作製装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3991595B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5748355B2 (ja) * | 2011-10-12 | 2015-07-15 | 日本電信電話株式会社 | ３次元座標算出装置、３次元座標算出方法、及びプログラム |
| JP6888411B2 (ja) * | 2017-05-15 | 2021-06-16 | 富士フイルムビジネスイノベーション株式会社 | 三次元形状データの編集装置、及び三次元形状データの編集プログラム |
| KR102027093B1 (ko) * | 2019-07-02 | 2019-11-04 | 백승원 | 3d 스캔 데이터 변환 장치, 변환 방법 및 변환 어플리케이션 |
-
2001
- 2001-02-06 JP JP2001029448A patent/JP3991595B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002230529A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110383343B (zh) | 不一致检测系统、混合现实系统、程序和不一致检测方法 | |
| JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
| CN113570721B (zh) | 三维空间模型的重建方法、装置和存储介质 | |
| WO2019127347A1 (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| JP6996594B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| Sequeira et al. | Automated 3D reconstruction of interiors with multiple scan views | |
| JP6573419B1 (ja) | 位置決め方法、ロボット及びコンピューター記憶媒体 | |
| JP5018721B2 (ja) | 立体模型の作製装置 | |
| KR101988372B1 (ko) | 사진 이미지를 이용한 3차원 건축물 모델 역설계 장치 및 방법 | |
| KR20130138247A (ko) | 신속 3ｄ 모델링 | |
| CN104661010A (zh) | 三维立体模型的建立方法和装置 | |
| JP4102324B2 (ja) | 測量データ処理システム、測量データ処理プログラム及び電子地図表示装置 | |
| JP2010109783A (ja) | 電子カメラ | |
| JP5366258B2 (ja) | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム | |
| KR102152436B1 (ko) | 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 | |
| JP2000011172A (ja) | 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体 | |
| US20230351625A1 (en) | A method for measuring the topography of an environment | |
| TWM565860U (zh) | 智慧工程資訊系統 | |
| JP4354708B2 (ja) | 多視点カメラシステム | |
| Lee et al. | Interactive 3D building modeling using a hierarchical representation | |
| JP3991595B2 (ja) | 物体の三次元形状モデル作製装置 | |
| JPH06348815A (ja) | Ｃｇシステムにおける建物の景観の３次元モデルの設定方法 | |
| Kurillo et al. | Framework for hierarchical calibration of multi-camera systems for teleimmersion | |
| JPH07152810A (ja) | 環境モデル作成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070703 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070716 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |