JP3052926B2

JP3052926B2 - 三次元座標計測装置

Info

Publication number: JP3052926B2
Application number: JP10064720A
Authority: JP
Inventors: 浩三里田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-02-27
Filing date: 1998-02-27
Publication date: 2000-06-19
Anticipated expiration: 2018-02-27
Also published as: JPH11248435A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、三次元座標計測装
置に関し、特に、撮像装置で物体や風景を撮影し、撮像
装置の位置と物体や風景の特徴点の三次元座標の計測を
行う三次元座標計測装置に関する。

【０００２】

【従来の技術】従来、画像中の物体の三次元座標を計測
する方式として、例えば特開昭６１−２８６９７９号公
報に記載されているように、三角測量の原理により画素
の三次元座標を計測する方式が知られている。この従来
の計測方式は、２台の撮像装置で撮影した画像の画素の
対応を探索し、画素の対応と撮像装置の位置関係から三
角測量の原理により画素の三次元座標を計測するもので
ある。

【０００３】

【発明が解決しようとする課題】しかしながら、この従
来方式は、画素の三次元座標を求めるために、２台の撮
像装置の位置関係を正確に求めることが必要であり、そ
のために、撮像装置を固定する撮影条件や、計算機等に
より撮像位置を正確に制御できる構成を必要とし、装置
構成が複雑であり、撮影条件の設定作業等が煩雑であ
る、という問題があった。

【０００４】一方、実在する物体を撮影した実写画像を
利用して物体の三次元モデルを生成する手法が知られて
いる。例えば特開平９−９７３５５号公報には、システ
ムのオペレータが予め用意された物体の形状モデルを選
択し、マウスドラッギング操作によりモデルを変形する
ようにしたモデリングシステムが提案されている。この
システムは、実画像上にそのモデルの投影像を合成し、
形状モデルの投影像と実写画像中の物体が一致するよう
に修正することで、オペレータが視覚により直感的にモ
デルを作成できるようにしたものである。

【０００５】しかし、この従来のシステムにおいては、
オペレータが手軽に作業できるものの、モデリングでき
る物体は、形状モデルを用意できるような簡単な物体に
限られる、という問題点を有している。

【０００６】ところで、実写画像に写っている物体と既
存モデルの投影像とが一致するように修正を行う作業
は、直感的で手軽に作業できるため、この手法を用い
て、撮像装置の位置関係を画像から求める。

【０００７】そして、撮像装置の位置関係と画素間の対
応関係を求めることができれば画素の三次元座標を計算
することができる。

【０００８】したがって、本発明は、上記問題点に鑑
み、本発明者による上記技術的認識に基づき創案された
ものであって、その目的は、簡単な形状モデルと実写画
像などの二次元画像を利用することにより、手軽に撮像
装置の位置関係を求めることができ、三角測量の原理を
用いて、画素間の対応がわかる任意の画素の三次元座標
計測装置を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、本発明の三次元座標計測装置は、簡単な物体の形状
モデルを管理する基本形状管理手段と、撮像装置により
ある位置で撮影された画像を入力することができる複数
の画像入力手段と、各画像入力手段で入力された画像中
に共通に写っている比較的形状が簡単な物体に、基本形
状管理手段で管理された形状モデルから適当な形状モデ
ルを選択して画像上に投影し、画像中の物体像と一致す
るように形状モデルの投影像を修正する形状適用手段
と、前記形状適用手段で各画像に写っている形状が簡単
な物体に一致させるために形状モデルの投影像を修正し
たパラメータから各画像を撮影した撮像装置の位置関係
を計算する撮像位置計算手段とを含む。

【００１０】また本発明は、前記画像入力手段に入力さ
れた画像から特徴のある点を入力する特徴点入力手段
と、前記撮像位置計算手段で計算された撮像位置の位置
関係と、前記特徴入力手段で入力した特徴点から、前記
特徴点の三次元座標を計算する三次元座標計算手段と、
を備える。

【００１１】さらに、本発明は、前記撮像位置計算手段
で計算された前記撮像装置の位置関係を基に、前記画像
入力手段で入力された画像の画素の対応関係を計算する
対応計算手段と、前記対応計算手段で計算された画素の
対応関係と、前記撮像位置計算手段で計算された前記撮
像装置の位置関係とから、対応画素の三次元座標を計算
する三次元座標計算手段と、を備える。

【００１２】そして本発明は、記三次元座標計算手段で
計算された特徴点又は対応画素の三次元座標から三次元
形状のモデルを生成する三次元モデル生成手段を備える
構成としてもよい。

【００１３】

【発明の実施の形態】本発明の実施の形態について以下
に説明する。

【００１４】本発明の三次元座標計測装置は、その好ま
しい実施の形態において、図１を参照すると、簡単な物
体の形状モデルを管理する基本形状管理手段（３）と、
撮像装置により、ある位置で撮影された画像を入力する
ことができる複数の画像入力手段（１ａ，１ｂ…）と、
各画像入力手段（１ａ，１ｂ…）で入力された画像中に
共通に写っている、比較的形状が簡単な物体像に、基本
形状管理手段（３）で管理されている形状モデルから適
当な形状モデルを選択して画像上に投影し、画像中の物
体像と一致するように、選択した形状モデルの投影像を
修正する形状適用手段（２ａ，２ｂ，…）と、形状適用
手段（２ａ，２ｂ，…）で各画像に写っている形状が簡
単な物体に一致させるために形状モデルの投影像を修正
したパラメータから各画像を撮影した撮像装置の位置関
係を計算する撮像位置計算手段（４）と、を有する。

【００１５】本発明の、三次元座標計測装置は、その好
ましい実施の形態において、各形状適用手段（２ａ，２
ｂ，…）は、図２を参照すると、画像入力手段で得られ
た画像を蓄積しておくことができる入力画像蓄積手段
（２１）と、オペレータが入力を行うことができる入力
手段（３１）と、オペレータの入力を解析する入力解析
手段（２３）と、解析されたオペレータの入力によっ
て、形状モデルの投影像を修正するパラメータを計算す
る投影パラメータ生成手段（２４）と、オペレータの入
力により基本形状管理手段（３）で管理された形状モデ
ルから適当な形状モデルを入力し、形状モデルの投影像
を修正するパラメータによってその形状モデルの投影像
を修正し、これを画像に投影する基本形状投影手段（２
２）と、入力画像と投影された形状モデルを合成する基
本形状表示手段（２５）と、合成された画像をオペレー
タに提示する表示手段（３０）と、を備え、前記投影パ
ラメータ生成手段（２４）は、投影された形状モデルと
一致するとオペレータが判断した場合、撮像位置計算手
段（４）に対して、形状モデルの投影像を修正するパラ
メータを出力する。

【００１６】また、本発明の三次元座標計測装置は、そ
の好ましい第２の実施の形態において、図３を参照する
と、前記した画像入力手段（１ａ，１ｂ…）、形状適用
手段（２ａ，２ｂ…）、基本形状管理手段（３）、撮像
位置計算手段（４）に加え、三次元座標を計測するた
め、複数の画像入力手段（１ａ，１ｂ…）が取得した各
画像中に共通に写っている点を特徴点として指示するた
めの特徴点入力手段（５）と、撮像位置計算手段（４）
が計算した各画像の撮像位置を用いて特徴点入力手段
（５）により指示された特徴点の三次元座標を計算する
三次元座標計算手段（６）と、を有する。

【００１７】また本発明の三次元座標計測装置は、その
好ましい第３の実施の形態において、図４を参照する
と、前記した画像入力手段（１ａ，１ｂ…）、形状適用
手段（２ａ，２ｂ…）、基本形状管理手段（３）、撮像
位置計算手段（４）に加え、撮像位置計算手段（４）が
計算した各画像の撮像装置の位置関係を用いて画像入力
手段（１ａ，１ｂ…）が取得した画像間で画素の対応を
検出する対応計算手段（７）と、撮像位置計算手段
（４）が計算した各画像の撮像位置を用いて対応計算手
段（７）よって検出された複数画像間で対応付けられた
画素の三次元座標を計算する三次元座標計算手段（６）
と、を有する。

【００１８】さらに本発明の三次元座標計測装置は、そ
の好ましい第４の実施の形態において、図５を参照する
と、前記第２の実施の形態の構成に加え、前記三次元座
標計算手段（６）で計算された特徴点や画素の三次元座
標から、三次元パッチを貼ることにより、三次元モデル
を作成する三次元モデル生成手段（８）を備える。

【００１９】

【実施例】上記した本発明の実施の形態についてさらに
詳細に説明すべく、本発明の実施例について図面を参照
して以下に詳細に説明する。

【００２０】［実施例１］図１は、本発明に係る三次元
座標計測装置の第１の実施例の構成を示すブロック図で
ある。図１を参照すると、本発明の第１の実施例におい
て、対象となる物体や風景を撮影するカメラ（撮像装
置）からの画像を入力する複数の画像入力部１ａ、１ｂ
…と、簡単な形状モデルを管理する基本形状管理部３
と、各画像入力部１ａ、１ｂ…に対応して設けられ、各
画像入力部１ａ、１ｂ…で撮影された各画像に共通に写
っている、比較的形状が簡単な、物体（このような物体
を「基本物体」という）に、基本形状管理部３で管理さ
れる簡単な形状モデルを、画像上に投影し、その投影像
を修正して基本物体の像と基本形状の投影像が一致する
ように当てはめる形状適用部２ａ、２ｂ…と、複数の形
状適用部２ａ、２ｂで当てはめるために、形状モデルの
投影像を修正したパラメータから、各画像を撮影した撮
像装置の位置関係を計算する撮像位置計算部４と、を備
えて構成される

【００２１】本発明の三次元座標計測装置の第１の実施
例の動作について以下に説明する。まず、画像入力部１
ａ、１ｂ…で三次元座標計測の対象となる物体や風景を
カメラで撮影する。画像入力部は複数用意し、それぞれ
異なるカメラあるいは一台のカメラで複数枚撮影した画
像を入力する。

【００２２】形状適用部２ａ、２ｂ…では、各画像入力
部１ａ、１ｂ…から入力された画像に共通に写っている
基本物体を選ぶ。ここで、選択される基本物体とは、ど
のようなものであってもよいが、適用の容易さから、例
えば長方形、直方体など、簡単な幾何学的な形状を有す
ることが好ましい。

【００２３】次に、選択した基本物体の像に適用するた
めの形状モデルを、基本形状管理部３で選択し、形状適
用部２ａ、２ｂ…にそれぞれ入力する。

【００２４】図６には、形状モデルを当てはめる例を説
明するための画像の一例が示されている。図６を参照す
ると、室内の情景を撮影したＳ１の画像の窓部分を基本
物体とし、長方形を形状モデルとして、この長方形Ｐ１
を、画像中の窓部分に当てはめている。

【００２５】図７に示すように、形状モデルとして与え
られる物体には、基本物体固有の座標系を持つものとす
る。また、物体座標系のＸｏ、Ｙｏ、Ｚｏ軸は、カメラ
座標系でＸｏ´、Ｙｏ´、Ｚｏ´の方向ベクトルを持
ち、物体座標系の原点Ｏｏはカメラ座標系でＯｏ´の位
置にあるものとする。図８にカメラの座標系を示す。図
８において、Ｏｃはカメラ座標系の原点、Ｓｃはカメラ
の投影面、ｆはカメラの焦点距離、Ｘｃ、Ｙｃ、Ｚｃは
カメラ座標系のＸ、Ｙ、Ｚ軸である。

【００２６】また、基本物体を、各軸方向にｓｘ、ｓ
ｙ、ｓｚ倍した場合、物体座標系で（ｘ、ｙ、ｚ）にあ
る点Ｐがカメラ座標系でＰ´（ｘ´、ｙ´、ｚ´）に変
換されたとすると、次式（１）で表わされる。

【００２７】

【数１】

【００２８】ただし、Ｒは３ｘ３行列であり、各列はＸ
ｏ´、Ｙｏ´、Ｚｏ´の三次元列ベクトル成分である。

【００２９】これを画像中に投影した場合、投影される
画素（ｕ、ｖ）のｕ、ｖは、それぞれ次式の（２）、
（３）で表わされる。

【００３０】

【数２】

【００３１】ただし、ｆはカメラの焦点距離、ｃｘ、ｃ
ｙは画像中心である。

【００３２】例えば、図６の長方形Ｐ１を形状モデルと
して選んだ場合、４点（０．５、０．５、０）、（０．
５、−０．５、０）、（−０．５、−０．５、０）、
（−０．５、０．５、０）の投影点と、これらを結んだ
４本の辺の投影像が選択した画像中の物体に一致するよ
うに、Ｒ、Ｏｏ´、ｓｘ、ｓｙ、ｓｚを選ぶ。

【００３３】以上が形状適用部２ａ、２ｂ…の動作であ
る。

【００３４】形状適用部２ａ、２ｂ…では、各画像入力
部１ａ、１ｂ…に対して入力された画像すべてに対し
て、Ｒ、Ｏｏ’を求める。

【００３５】ここで、複数の画像のすべての画像に対し
て、同じ形状モデルを基本形状管理部３から選択して用
いているため、ｓｘ、ｓｙ、ｓｚはすべての画像で同一
である。

【００３６】一方、Ｒ、Ｏｏ´は各画像で異なり、画像
ｎのＲ、Ｏｏ´を、Ｒｎ、Ｏｏｎ´と呼ぶことにする。

【００３７】２枚の画像ｍ、ｎで、形状適用後のパラメ
ータが、Ｒｍ、Ｏｏｍ´、Ｒｎ、Ｏｏｎ´とすると、画
像ｍ、ｎを撮影したカメラの位置関係は、画像ｎのカメ
ラ座標系で座標Ｐｎである点が、画像ｍのカメラ座標系
では、次式（４）のように記述される。

【００３８】

【数３】

【００３９】撮像位置計算部３では、この関係式を出力
する。

【００４０】このように、本発明の第１の実施例によれ
ば、対象となる物体や風景を撮影し、画像入力部１ａ、
１ｂ…に入力された画像に対して、基本形状管理部３で
管理されている形状モデルを選択し、形状適用部２ａ、
２ｂ…で、その形状モデルを変形、回転、移動を行い、
その投影像と、画像中に共通に写っている基本物体の画
像とが一致するようにする。

【００４１】この形状モデルの投影像が画像中で基本物
体と一致するように変形したパラメータから、撮像位置
計算部３で各画像を撮影した位置の関係を計算する。こ
のように、形状適用部２ａ、２ｂ…と撮像位置計算部３
を有することで、カメラの位置関係を求めるために特殊
な機器が必要でなく、簡単に、カメラの位置関係を求め
ることができる。

【００４２】［実施例２］本発明の第２の実施例につい
て説明する。図２は、本発明における形状適用部２の構
成の一例を示した図である。図２を参照すると、形状適
用部２は、入力画像蓄積部２１と、マウスやキーボード
などのポインティングデバイスを用いた入力機器３１
と、オペレータが入力機器３１を通じて入力した結果を
解析する入力解析部２３と、入力解析部２３で解析され
た結果から形状モデルを画像上へ投影するためのパラメ
ータを生成する投影パラメータ生成部２４と、基本形状
管理部３で管理されている形状モデルからオペレータが
適当な形状モデルを選択し、投影パラメータ生成部２４
で生成される投影パラメータによって画像上に投影する
基本形状投影部２２と、入力画像蓄積部２１で貯えられ
ている画像と基本形状投影部２２で形状モデルを投影し
た画像とを合成する基本形状表示部２５と、これを表示
するＣＲＴなどの表示機器３０からなる。

【００４３】本実施例の形状適用部２の動作について説
明する。以下では、図６に示すような室内の情景を撮影
した画像の窓に対して形状モデルとして長方形を当ては
める場合を例に説明する。

【００４４】入力画像蓄積部２１には画像入力部１から
室内画像が送られてくる。オペレータはＳ１（図６参
照）を見て、基本形状管理部３に管理されている形状モ
デルのうち長方形のモデルを窓部分に当てはめるのが適
当であると判断するとする。もちろん、基本物体と形状
モデルの組み合わせはどのようなものであってもよい。

【００４５】形状モデルとそれを当てはめるべき基本物
体を選択すれば、オペレータは形状モデルの回転、移
動、サイズ変更を行い、画像上に形状モデルを投影す
る。この時、マウスなどのポインティングデバイスを入
力機器３１として、オペレータが操作し、その操作入力
を入力解析部２３が解析する。

【００４６】例えば、（１）基本物体の各座標軸をマウスの右ボタンを押しな
がらマウスドラッギングを行うと、マウスの移動分だけ
その軸方向の大きさが変化する（サイズ変更）。

【００４７】（２）基本物体の物体座標系のＸ軸をマウ
スドラッギングにより横方向に移動した場合は、横方向
移動分だけ物体をＹ軸周りに回転を行う。縦方向の移動
の場合はＺ軸周りの回転を行う。Ｙ軸、Ｚ軸のドラッグ
も同様にある軸まわりに回転を行う（回転）。

【００４８】（３）原点Ｏをマウスドラッギングにより
動かすと物体をマウス移動分だけ移動を行う（移動）。

【００４９】（４）原点Ｏをマウスの右ボタンを押しな
がらマウスドラッギングを行うと、マウス移動分だけ物
体が前後に移動する（移動）。

【００５０】以上のようなルールをあらかじめ決めてお
き、上記操作入力によって、移動、回転、サイズ変更の
パラメータを計算する。

【００５１】また、他の入力として、カメラの焦点距離
ｆなどの数値データをキーボードにより入力することも
可能であり、そのような入力を入力解析部２３で解析す
る。

【００５２】入力解析部２３で解析された移動、回転、
サイズのパラメータから、投影パラメータ生成部２４
で、物体座標系とカメラ座標系の間の回転行列と並進ベ
クトルを求める。これは、上式（１）で示すところの
Ｒ、Ｓ、Ｏｏ´である。

【００５３】投影パラメータが求まると、基本形状投影
部２３で、選択した形状モデルの各頂点、各辺が画像中
でどこに投影されるか計算を行い、基本形状表示部２５
で入力画像上に上書きされる。

【００５４】その結果が表示機器３０によってオペレー
タに提示され、オペレータは形状モデルの投影図と基本
物体の画像がうまく一致するまでこの作業を繰り返す。

【００５５】図６に示すように、最初はＳ１のように、
窓にあてはめようとする長方形は何も変換されずにその
まま投影されるが、オペレータの指示に従い、適当なパ
ラメータが生成されると、図６のＳ２に示すように、長
方形のモデルが窓にぴったりと合うことになる。この場
合のパラメータが、形状適用部２で求めるべき回転、移
動のパラメータである。

【００５６】以上の説明では、形状モデルに形が近いも
のを画像中から選択して既存モデルを当てはめていた。
しかし、実際にはそのような物体が写っていない場合が
ある。この場合を模式的に説明したものが図９である。

【００５７】例えば、Ｏ１のようにコーヒーカップが、
既存モデルを当てはめるべき基本物体であるものとす
る。これに合うような形状モデルが用意されていない場
合、例えば形状モデルとして、直方体Ｐ２を用意し、こ
れをＯ１に当てはめる（Ｓ３）。

【００５８】この場合、別の画像中でもＯ１にＰ２を当
てはめるが、コーヒーカップの口や把っ手またはカップ
の模様などを手がかりにして、Ｏ１とＰ２の関係が、Ｓ
１と同じになるように、回転、移動、サイズ変更を行う
ようにして、Ｓ４のような当てはめを行う。

【００５９】このような場合、手がかりとなるものとし
て、頂点や辺といった合わせやすいものがないため、オ
ペレータの作業が増えるが、カメラの位置関係は計算で
きることとなる。

【００６０】このように、本実施例によれば、オペレー
タが対話的に物体と形状モデルの位置あわせを確認しな
がら行うことができるため、オペレータの作業が直感的
に行うことができ、手軽にカメラの位置関係を求めるこ
とができる。

【００６１】［実施例３］図３は、本発明の第３の実施
例の構成を示す図である。図３を参照すると、本発明の
第２の実施例は、対象となる物体や風景を撮影する撮像
装置からの画像を入力する複数の画像入力部１ａ、１ｂ
…と、画像入力部で撮影された各画像に共通に写ってい
る物体に簡単な形状モデルを当てはめる形状適用部２
ａ、２ｂ…と、形状モデルを管理する基本形状管理部３
と、形状適用部２ａ、２ｂ…で当てはめるために形状モ
デルの投影像を修正したパラメータから各画像を撮影し
た撮像装置の位置関係を計算する撮像位置計算部４と、
撮像位置計算部４で計算された各カメラの位置関係と画
像入力部１ａ、１ｂ…に入力された画像中に共通に写っ
ている特徴点を指示する特徴点入力部５と、撮像位置計
算部４で計算された各画像を撮影した撮像装置の位置関
係と特徴点入力部５で入力した特徴点の対応から特徴点
の三次元座標を計算する三次元座標計算部６と、を備え
て構成される。

【００６２】前記した実施例では、複数の画像入力部１
ａ、１ｂ…に入力された画像を撮影したカメラの位置関
係を求めることができる。

【００６３】本発明の第３の実施例では、画像入力部１
ａ、１ｂ…で入力された画像に、特徴点入力部５におい
てキーボードやマウス等の入力手段を用いて、画像中の
特徴点の位置とその対応関係が入力される。ここで、特
徴点とは、すべての画像中に共通に撮影されている三次
元上の点ならば、どのようなものでも構わない。しか
し、何もないところでは特徴点の指示が困難であること
から、色の変わり目や物体の角のように識別しやすい点
を指示するのが常である。なお、撮影環境により可能な
場合は特殊な色の物体や発光する電球などの特徴的な物
体をカメラで撮影する範囲内に配置しておき、特殊な色
や発光体を画像処理により抽出しても良い。

【００６４】このようにして、撮像位置計算部４で計算
された撮像位置の位置関係と、特徴点入力部５で入力さ
れた特徴点の対応関係から、その特徴点の三次元座標を
三角測量の原理によって三次元座標計算部６で計算す
る。

【００６５】本発明の第３の実施例によれば、前記実施
例によって求めることができるカメラの位置関係と、オ
ペレータが入力する特徴点の対応によって、特徴点の三
次元座標を計算することができる。

【００６６】［実施例４］図４は、本発明の第４の実施
例の構成を示す図である。前記第３の実施例では、三次
元座標計算部６において特徴点入力部５で入力された特
徴点の画像中における座標位置を入力し、この特徴点の
三次元座標のみを計算することにしているが、本発明の
第４の実施例では、図４に示すように、各画像中のすべ
ての画素の対応関係を探索する対応計算部７を設けてい
る。

【００６７】この対応計算部７には、画像入力部１ａ，
１ｂ…に入力されたすべての画像と、撮像位置計算部４
で計算された各カメラの位置関係が入力される。そし
て、このカメラの位置関係を基にエピポーラ条件を求
め、すべての画素の対応関係を計算する。

【００６８】三次元座標計算部６においては、対応探索
部６で探索された画素の対応関係と、撮像位置計算部４
で計算したカメラの撮像位置との対応関係と、から各画
素の三次元座標を計算する。

【００６９】このように、本発明の第４の実施例によれ
ば、対応探索部７を設けることにより、特徴点入力部５
で与えた特徴点だけでなく、画像に写っているすべての
画素の三次元座標を計算することができる。

【００７０】［実施例５］図５は、本発明の第５の実施
例の構成を示すブロック図である。図５を参照すると、
本発明の第５の実施例は、前記第３、第４の実施例に、
三次元座標計算部６で求めた特徴点の三次元座標を結
び、平面のポリゴンを作ることで三次元モデルを作るこ
とができる三次元モデル生成部８を加えて構成されてい
る。

【００７１】特徴点入力部５で入力した特徴点や、対応
計算部７で計算した画素の三次元座標から三次元モデル
を生成する三次元モデル生成部８では、主に点を３点ず
つ選んで三角形のパッチを作っていく。この手法は、パ
ッチの頂点をマウス等でオペレータが与える手法が最も
簡単である。

【００７２】このように構成することで、特徴点の三次
元座標だけでなく、三次元のＣＧ（コンピュータグラフ
ィックス）モデルを生成することができる。

【００７３】

【発明の効果】以上説明したように、本発明によれば下
記記載の効果を奏する。

【００７４】本発明の第１の効果は、直感的で手軽な手
法により画像を撮影した撮像装置の位置関係を計算する
ことができる、ということである。

【００７５】その理由は、本発明においては、基本形状
管理手段にあらかじめ用意された直方体や長方形などの
モデルを、形状適用手段において回転、移動、サイズ変
更を行い、そのモデルを画像上に投影し、画像中に写っ
ている物体像と一致するようにあわせ、撮像位置計算手
段で画像を撮影したカメラの位置関係を求めるように構
成したためである。

【００７６】本発明の第２の効果は、直感的で手軽な手
法により求めた撮像装置の位置関係と入力した特徴点の
三次元座標を計算することができる、ということであ
る。

【００７７】その理由は、本発明においては、撮像位置
計算手段で計算されたカメラの位置関係を用いて、特徴
点入力手段で入力された特徴点や画像に写っている画素
の三次元座標の計算を行うように構成したためである。

【００７８】本発明の第３の効果は、撮像装置の位置関
係を簡単に求めることができ、画素の対応関係を探索す
ることにより任意の画素の三次元座標を計算することが
できる、ということである。

【００７９】また、本発明の第４の効果は、求めた画素
の三次元座標に三次元の平面パッチを貼ることで、三次
元モデルを生成することができる、ということである。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】本発明の第２の実施例として形状適用部の構成
を示すブロック図である。

【図３】本発明の第３の実施例の構成を示すブロック図
である。

【図４】本発明の第４の実施例の構成を示すブロック図
である。

【図５】本発明の第５の実施例の構成を示すブロック図
である。

【図６】本発明の実施例を説明するための図であり、形
状適用部で形状適用作業を行う時の画面の例を説明する
図である。

【図７】本発明の実施例を説明するための図であり、基
本物体の座標系を説明する図である。

【図８】本発明の実施例を説明するための図であり、カ
メラの座標系を説明する図である。

【図９】本発明の実施例を説明するための図であり、管
理している既存モデルに似ていない物体に既存モデルを
適用する場合の作業を説明する模式的図である。

【符号の説明】

１画像入力部１ａ１台目の撮像装置の画像入力部１ｂ１台目の撮像装置の画像入力部２形状適用部２ａ画像入力部１ａに対する形状適用部２ｂ画像入力部１ａに対する形状適用部３基本形状管理部４撮像位置計算部２１入力画像蓄積部２２基本形状投影部２３入力解析部２４投影パラメータ計算部２５基本形状表示部３０コンピュータシステムの表示画面３１コンピュータシステムの入力機器５特徴点入力部６三次元座標計算部７対応計算部８三次元モデル生成部Ｓ１基本形状をそのままあてはめた画面例Ｓ２基本形状を回転、移動、拡大縮小により物体にあ
てはめた画面例Ｐ１基本物体の例（長方形）Ｐ２基本物体の例（長方形）Ｐ３基本物体の例（直方体）Ｏｏ基本物体の座標系の原点の位置Ｘｏ基本物体の座標系のＸ軸Ｙｏ基本物体の座標系のＹ軸Ｚｏ基本物体の座標系のＺ軸Ｏｃカメラ座標系の原点の位置Ｘｃカメラ座標系のＸ軸Ｙｃカメラ座標系のＹ軸Ｚｃカメラ座標系のＺ軸Ｓｃカメラの投影面ｆカメラの焦点距離Ｏ１基本形状に似ていない当てはめ物体の例Ｓ３第１の画面で基本形状をあてはめた例Ｓ４第２の画面で基本形状を回転、移動、拡大縮小に
より物体にあてはめた例

Claims

(57)【特許請求の範囲】

【請求項１】物体の形状モデルを管理する基本形状管理
手段と、撮像装置によりある位置で撮影された画像を入力する複
数の画像入力手段と、前記複数の画像入力手段の各々に対応して設けられ、前
記基本形状管理手段で管理されている形状モデルを、前
記各画像入力手段に入力された画像中に投影し、その投
影像を修正することで前記画像中に映っている物体の画
像と一致させる形状適用手段と、前記複数の前記形状適用手段における前記形状モデルの
修正パラメータから前記各画像入力手段に入力された画
像の前記撮像装置の位置関係を算出する撮像位置計算手
段と、を備えたことを特徴とする三次元座標計測装置。
【請求項２】前記形状適用手段が、前記画像入力手段か
ら入力された画像を蓄積しておく入力画像蓄積手段と、オペレータが入力を行うための入力手段と、前記入力手段からの入力を解析する入力解析手段と、前記入力解析手段で解析されたオペレータの入力によっ
て、前記基本形状管理手段で管理する物体の形状モデル
の投影像を修正するパラメータを算出する投影パラメー
タ生成手段と、前記基本形状管理手段からオペレータの要求により必要
な形状モデルを入力し、前記投影パラメータ生成手段で
算出された形状モデルの投影像を修正するパラメータに
よって、前記形状モデルを、画像上に投影する基本形状
投影手段と、前記画像入力手段によって入力された画像と前記投影さ
れた形状モデルの像を合成する基本形状表示制御手段
と、前記基本形状表示制御手段で合成された画像をオペレー
タに提示する表示出力手段と、を備え、前記投影パラメータ生成手段は、オペレータが投影され
た形状モデルと一致すると判断した際に、前記撮像位置
計算手段に対して、形状モデルの投影像を修正するパラ
メータを出力する、ことを特徴とする請求項１記載の三
次元座標計測装置。
【請求項３】前記画像入力手段に入力された画像から特
徴のある点（「特徴点」という）を入力する特徴点入力
手段と、前記撮像位置計算手段で計算された撮像位置の位置関係
と、前記特徴入力手段で入力した特徴点から、前記特徴
点の三次元座標を計算する三次元座標計算手段と、を備えたことを特徴とする請求項１又は２記載の三次元
座標計測装置。
【請求項４】前記撮像位置計算手段で計算された前記撮
像装置の位置関係を基に、前記画像入力手段で入力され
た画像の画素の対応関係を計算する対応計算手段と、前記対応計算手段で計算された画素の対応関係と、前記
撮像位置計算手段で計算された前記撮像装置の位置関係
とから、対応画素の三次元座標を計算する三次元座標計
算手段と、を備えたことを特徴とする請求項１乃至３のいずれか一
に記載の三次元座標計測装置。
【請求項５】前記三次元座標計算手段で計算された特徴
点又は対応画素の三次元座標から三次元形状のモデルを
生成する三次元モデル生成手段を備えたことを特徴とす
る請求項３又は４記載の三次元座標計測装置。
【請求項６】（ａ）一又は複数の撮像装置が撮影した画
像を入力する画像入力手段から入力された複数の画像に
ついて各画像に共通に写っている物体像に対して、あら
かじめ用意されている直方体や長方形など比較的簡単な
幾何学的形状を有する形状モデルの中から選択された形
状モデルを必要に応じて、回転、移動、さらにサイズ変
更を行うことで前記画像上に投影し前記形状モデルの投
影像と画前記像中に写っている物体像とが一致するよう
に当はめる手段と、（ｂ）前記選択された形状モデルについて、その投影像
が前記物体像と一致するように修正したパラメータから
前記各画像を撮影した前記撮像装置の位置関係を求める
手段と、を備えたこと特徴とする三次元座標計算装置。
【請求項７】前記入力された複数の画像について各画像
中に共通に写っている特徴点の画像中での座標位置を入
力し、前記各画像を撮像した撮像装置の位置関係と、前
記特徴点との対応から、前記特徴点の三次元座標を求め
る手段をさらに備えたこと特徴とする請求項６記載の三
次元座標計算装置。
【請求項８】前記求められた各画像を撮像した撮像装置
の位置関係を用いて、前記入力された複数の画像間の画
素の対応関係を求め、前記求められた各画像を撮像した
撮像装置の位置から前記複数画像間で対応付けられた画
素の三次元座標を算出する手段をさらに備えたこと特徴
とする請求項６記載の三次元座標計算装置。
【請求項９】（ａ）一又は複数の撮像装置が撮影した画
像を入力する画像入力手段から入力された複数の画像に
ついて各画像に共通に写っている物体像に対して、あら
かじめ用意されている直方体や長方形などの形状モデル
の中から選択された形状モデルを必要に応じて、回転、
移動、さらにサイズ変更を行うことで前記画像上に投影
し、前記形状モデルの投影像と画前記像中に写っている
物体像とが一致するように当はめる手段、及び、（ｂ）前記選択された形状モデルについて、その投影像
が前記物体像と一致するように修正したパラメータか
ら、各画像を撮影した前記撮像装置の位置関係を求める
手段、の上記（ａ）、（ｂ）の各手段を三次元座標計算装置を
構成するコンピュータで機能させるためのプログラムを
記録した記録媒体。