JPH11136575A - 撮像装置及び撮像画像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】分割画像を合成する際の歪を軽減して高精細な
平面画像を入力する。 【解決手段】画像撮像部１は一部が重複するようにして
異なる視点から入力対象平面を撮像する。運動検出部２
は各視点における画像撮像部１の姿勢角変化と視点の位
置の変化を検出する。対応関係抽出部３は先に撮像した
画像から複数の特徴点を抽出し、次ぎに撮像した画像の
対応点を抽出する。３次元位置算出部４は検出した姿勢
角と視点の位置の変化と抽出した特徴点及び対応点を基
に各特徴点の３次元位置を算出する。平面算出部５は各
特徴点が存在する平面の情報を示す平面方程式を算出す
る。投影部６は各視点における姿勢角と位置の変化と平
面算出部５が算出した平面の情報を基に、撮像した各画
像を任意の同一画像面に投影して複数の視点から撮像し
た画像を合成し、入力対象平面上の画像を復元する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は入力対象平面上の
画像を一部が重なるようにして複数回撮像し、撮像した
各画像を１画面上に合成して復元する撮像装置及び撮像
画像合成方法、特に撮像対象となる入力対象平面が大き
い場合等に分割した画像の歪を軽減して、高精細な平面
画像の合成に関するものである。

【０００２】

【従来の技術】平面上の文字又は写真を簡便、且つ、高
精度に入力及び復元する装置が求められている。Ａ４サ
イズ又はＡ３サイズ等の通常サイズの紙面上の画像の場
合には複写機又はスキャナ等で高精度な画像入力が可能
である。このように複写機又はスキャナ等は通常サイズ
の紙面上の画像を高精度に読み込むことができるが、大
きな紙面上の情報、壁に書かれた情報又はパネルに掲げ
られた情報等のように大きい画像あるいは動かすことの
できない媒体に描かれた画像等を入力することができな
い。そこで、電子カメラを用いてこれらの大きい画像あ
るいは動かすことのできない媒体に描かれた画像などを
入力する装置として、例えば特開平６−１４１２２８号
公報に示された電子カメラや特開平９-９０５３０号公
報に示されたパノラマ画像合成装置等が使用されてい
る。

【０００３】特開平６−１４１２２８号公報に示された
電子カメラは、被写体像を撮影レンズ及び鏡を介して撮
像素子上に結像し、前画像の一部に現画像の一部が重な
るように被写体像を間欠的に複数回取り込み、現画像を
前画像に適切に接続する位置に移動している。また、特
開平９−９０５３０号公報に示されたパノラマ画像合成
装置は、画像を合成するためのパラメータを算出し、算
出したパラメータに基づいて画像を合成することによ
り、電子カメラの分割画像から高精度な画像を得ようと
している。

【０００４】

【発明が解決しようとする課題】しかしながら、特開平
６−１４１２２８号公報に掲載された電子カメラでは、
鏡及びその駆動機構が必要となり、装置規模が大きくな
るので、通常の電子カメラに搭載することは困難であ
る。

【０００５】また、原稿又はパネル上の画像を撮像する
場合、カメラと被写体との距離は近ため、特開平９−９
０５３０号公報に掲載されたパノラマ画像合成装置で
は、カメラの並進移動による透視投影の影響により合成
画像に歪が生じる。また、人間が電子カメラを保持して
いるため任意に回転が画像に生じ、これが合成画像の歪
の原因になる。

【０００６】この発明はかかる短所を解消するためにな
されたものであり、分割画像を合成する際の歪を軽減す
ることにより、簡便、且つ、高精細な平面画像を入力す
ることができる撮像装置及び撮像画像合成方法を提供す
ることを目的とするものである。

【０００７】

【課題を解決するための手段】この発明に係る撮像装置
は、画像撮像部と運動検出部と対応関係抽出部と３次元
位置算出部と平面算出部と投影部を有し、画像撮像部は
先に撮像した画像と一部が重複するようにして複数の視
点から入力対象平面を撮像し、運動検出部は画像撮像部
による各撮像の際の視点における画像撮像部の角度であ
る姿勢角の変化及び視点の位置の変化を検出し、対応関
係抽出部は先に撮像した画像から複数の特徴点を抽出
し、特徴点を抽出した画像の次ぎに撮像した画像におい
て先の画像で抽出した特徴点に対応する点である対応点
を抽出し、３次元位置算出部は運動検出部が検出した姿
勢角変化及び視点位置変化並びに対応関係抽出部が抽出
した特徴点及び対応点を基に各特徴点の３次元位置を算
出し、平面算出部は対応関係抽出部が抽出した各特徴点
が同一平面上にあるものとして、３次元位置算出部が計
測した各特徴点の３次元位置を基に各特徴点が存在する
平面の情報を算出し、投影部は運動検出部が検出した姿
勢角変化及び視点位置変化並びに平面算出部が算出した
平面の情報を基に、画像撮像部が撮像した入力対象平面
の各画像を任意な同一画像面に投影して、複数の視点か
ら撮像した各画像を合成して、入力対象平面上の画像を
復元することを特徴とする。

【０００８】この発明に係る第２の撮像装置は、画像撮
像部と姿勢検出部と対応関係抽出部と並進運動検出部と
３次元位置算出部と平面算出部と投影部を有し、画像撮
像部は先に撮像した画像と一部が重複するようにして複
数の視点から入力対象平面を撮像し、姿勢検出部は画像
撮像部による各撮像の際の視点における画像撮像部の角
度である姿勢角を検出し、対応関係抽出部は先に撮像し
た画像から複数の特徴点を抽出し、特徴点を抽出した画
像の次ぎに撮像した画像において先の画像で抽出した特
徴点に対応する点である対応点を抽出し、並進運動検出
部は姿勢検出部が検出した姿勢角並びに対応関係抽出部
が抽出した特徴点及び対応点を基に画像撮像部の並進運
動成分を検出し、３次元位置算出部は姿勢検出部が検出
した姿勢角、対応関係抽出部が抽出した特徴点及び対応
点並びに並進運動検出部が検出した並進運動成分を基に
各特徴点の３次元位置を算出し、平面算出部は対応関係
抽出部が抽出した各特徴点が同一平面上にあるものとし
て、３次元位置算出部が計測した各特徴点の３次元位置
を基に各特徴点が存在する平面の情報を算出し、投影部
は姿勢検出部が検出した姿勢角、並進運動検出部が検出
した各特徴点の並進運動成分並びに平面算出部が算出し
た平面の情報を基に、画像撮像部が撮像した入力対象平
面の各画像を任意な同一画像面に投影し、姿勢角の変化
による影響を取り除いて、複数の視点から撮像した画像
をさらに正確に合成することを特徴とする。

【０００９】上記姿勢検出部は互いに直交する２軸方向
又は３軸方向の磁気を検出する磁気検出部を備えること
により、簡単、且つ、正確に画像撮像部の各撮像の際の
姿勢角を検出する。

【００１０】また、上記姿勢検出部は互いに直交する２
軸方向又は３軸方向の磁気を検出する磁気検出部と重力
方向を検出する重力方向検出部とを備えることにより、
より正確に画像撮像部の各撮像の際の姿勢角を検出す
る。

【００１１】さらに、上記姿勢検出部は互いに直交する
２軸周り又は３軸周りの角速度を検出する角速度検出部
を備えることにより、磁気の検出が困難な場合であって
も簡単に画像撮像部の各撮像の際の姿勢角を検出する。

【００１２】また、上記各視点において撮像した入力対
象平面の画像を投影した際に、その重複部分の相互相関
値が最大になるように投影位置及びスケールを微調整す
る調整部を有して、さらに歪のない高精度の画像復元を
行なう。

【００１３】この発明に係る第３の撮像装置は、画像撮
像部と位置検出部と対応関係抽出部と３次元位置算出部
と平面算出部及び投影部を有し、画像撮像部は先に撮像
した画像と一部が重複するようにして複数の視点から入
力対象平面を撮像し、位置検出部は複数の視点における
画像面の位置と姿勢角を検出し、対応関係抽出部はある
視点で撮像した画像の重複部分から複数の特徴点を抽出
し、他の視点で撮像した画像上の特徴点に相当する対応
点を抽出し、３次元位置算出部は位置検出部が検出した
複数の視点における画像面の位置と姿勢角及び対応関係
抽出部が抽出した特徴点と対応点を基に特徴点に相当す
る入力対象平面上の各点の３次元位置を算出し、平面算
出部は３次元位置算出部で算出した入力対象平面上の各
点の３次元位置から、入力対象平面上の各点を通る平面
の情報を示す平面方程式を算出し、投影部は平面算出部
で算出した平面方程式で表せられる画像面に各視点で得
られた撮像画像を再投影して画像を合成することを特徴
とする。

【００１４】上記位置検出部は、加速度センサと磁気方
位センサとジャイロのいずれか又はそれらの組み合わせ
を有し、各視点における画像撮像部の姿勢角を算出する
姿勢算出部と、算出した姿勢角の各視点で得られた画像
面の基準座標系に対する姿勢角を算出し、算出した画像
面の基準座標系に対する姿勢角と対応関係抽出部で得ら
れた対応関係により画像撮像部の並進移動成分を算出す
る並進計算部を有すると良い。

【００１５】また、上記位置検出部は画像撮像部が、加
速度センサとジャイロを有し、視点を移動するときの姿
勢角の変化と並進移動成分を検出する運動検出部と、検
出した姿勢角の変化と並進移動成分に基づき各視点で得
られた画像面の基準座標系に対する位置と姿勢を算出す
る位置姿勢計算部を有しても良い。

【００１６】さらに、上記位置検出部を対応関係抽出部
で得られた複数の特徴点と対応点の位置関係から視点間
の姿勢変化と並進移動を算出する運動計算部で構成して
も良い。

【００１７】また、上記投影部で再投影するときに、隣
接画像間で位置合わせを行い、より歪のない画像形成を
行う。

【００１８】この発明に係る第４の撮像装置は、画像撮
像部と３次元位置検出部と平面算出部と投影部及び再調
整部を有し、画像撮像部は複数の視点から入力対象平面
を撮像し、３次元位置検出部は入力対象平面の複数の点
の距離を計測して入力対象平面上の複数点の３次元位置
を検出し、平面算出部は３次元位置検出部で検出した入
力対象平面上の複数点の３次元位置から、各視点毎に入
力対象平面上の各点を通る平面の情報を示す平面方程式
を算出し、投影部は平面算出部で算出した平面方程式で
表せられる画像面に各視点で得られた撮像画像を再投影
して画像を合成し、再調整部は投影部で画像を合成する
ときに各画像面の位置と姿勢を調整することを特徴とす
る。

【００１９】この発明に係る第５の撮像装置は、画像撮
像部と３次元位置検出部と姿勢検出部と平面算出部と投
影部及び再調整部を有し、画像撮像部は複数の視点から
入力対象平面を撮像し、３次元位置検出部は入力対象平
面の複数の点の距離を計測して入力対象平面上の複数点
の３次元位置を検出し、姿勢検出部は各視点における画
像撮像部の姿勢角を検出し、平面算出手段は３次元位置
検出部で検出した入力対象平面上の点の３次元位置と姿
勢検出部で検出した各視点における画像撮像部の姿勢角
とから、各視点毎に入力対象平面上の各点を通る平面の
情報を示す平面方程式を算出し、投影部は平面算出部で
算出した平面方程式で表せられる画像面に各視点で得ら
れた撮像画像を再投影して画像を合成し、再調整部は投
影部で画像を合成するときに各画像面の位置と姿勢を調
整することを特徴とする。

【００２０】上記３次元位置検出部は測距センサで距離
を検出したり、あるいは入力対象平面上の点が画像面で
合焦するときのレンズと画像面の位置より入力対象平面
の複数の点の距離を算出すると良い。

【００２１】この発明の撮像画像合成方法は、先に撮像
した画像と一部が重複するようにして複数の視点から入
力対象平面を撮像し、各撮像の際の視点における撮像角
度である姿勢角の変化及び視点の位置の変化を検出し、
先に撮像した画像から複数の特徴点を抽出し、特徴点を
抽出した画像の次ぎに撮像した画像において先の画像で
抽出した特徴点に対応する点である対応点を抽出し、検
出した姿勢角変化及び視点位置変化並びに抽出した特徴
点及び対応点を基に各特徴点の３次元位置を算出し、抽
出した各特徴点が同一平面上にあるものとして、計測し
た各特徴点の３次元位置を基に各特徴点が存在する平面
の情報を算出し、検出した姿勢角変化及び視点位置変化
並びに算出した平面の情報を基に、入力対象平面を撮像
した各画像を任意な同一画像面に投影して、複数の視点
から撮像した画像を合成する。

【００２２】この発明の第２の撮像画像合成方法は、先
に撮像した画像と一部が重複するようにして複数の視点
から入力対象平面を撮像し、各撮像の際の視点における
撮像角度である姿勢角を検出し、先に撮像した画像から
複数の特徴点を抽出し、特徴点を抽出した画像の次ぎに
撮像した画像において先の画像で抽出した特徴点に対応
する点である対応点を抽出し、検出した姿勢角並びに抽
出した特徴点及び対応点を基に各特徴点の並進運動成分
を検出し、検出した姿勢角、抽出した特徴点及び対応点
並びに検出した各特徴点の並進運動成分を基に各特徴点
の３次元位置を算出し、抽出した各特徴点が同一平面上
にあるものとして、計測した各特徴点の３次元位置を基
に各特徴点が存在する平面の情報を算出し、検出した姿
勢角、検出した各特徴点の並進運動成分並びに算出した
平面の情報を基に、入力対象平面を撮像した各画像を任
意な同一画像面に投影して、複数の視点から撮像した画
像を合成する。

【００２３】この発明の第３の撮像画像合成方法は、先
に撮像した画像と一部が重複するようにして複数の視点
から入力対象平面を撮像し、複数の視点における画像面
の位置と姿勢角を検出し、ある視点で撮像した画像の重
複部分から複数の特徴点を抽出し、他の視点で撮像した
画像上の特徴点に相当する対応点を抽出し、検出した複
数の視点における画像面の位置と姿勢角及び抽出した特
徴点と対応点を基に特徴点に相当する入力対象平面上の
各点の３次元位置を算出し、算出した入力対象平面上の
各点の３次元位置から、入力対象平面上の各点を通る平
面の情報を示す平面方程式を算出し、算出した平面方程
式で表せられる画像面に各視点で得られた撮像画像を再
投影して画像を合成することを特徴とする。

【００２４】上記各視点において撮像した入力対象平面
の画像の重複部分の相互相関値が最大になるように投影
位置及びスケールを微調整することが望ましい。

【００２５】この発明の第４の撮像画像合成方法は、複
数の視点から入力対象平面を撮像し、入力対象平面の複
数の点の距離を計測して入力対象平面上の複数点の３次
元位置を検出し、検出した入力対象平面上の複数点の３
次元位置から、各視点毎に入力対象平面上の各点を通る
平面の情報を示す平面方程式を算出し、算出した平面方
程式で表せる画像面に各視点で得られた撮像画像を再投
影して画像を合成し、画像を合成するときに各画像面の
位置と姿勢を調整することを特徴とする。

【００２６】この発明の第５の撮像画像合成方法は、複
数の視点で入力対象平面を撮像し、入力対象平面の複数
の点の距離を計測して入力対象平面上の複数点の３次元
位置を検出し、各視点における画像撮像部の姿勢角を検
出し、検出した入力対象平面上の点の３次元位置と検出
した各視点における画像撮像部の姿勢角とから、各視点
毎に入力対象平面上の各点を通る平面の情報を示す平面
方程式を算出し、算出した平面方程式で表せられる画像
面に各視点で得られた撮像画像を再投影して画像を合成
し、画像を合成するときに各画像面の位置と姿勢を調整
することを特徴とする。

【００２７】

【発明の実施の形態】この発明の撮像装置は、画像撮像
部と運動検出部と対応関係抽出部と３次元位置算出部と
平面算出部と投影部とを有する。画像撮像部は先に撮像
した画像と一部が重複するようにして異なる複数例えば
２点の視点から入力対象平面を撮像する。運動検出部は
画像撮像部による各撮像の際の視点における画像撮像部
の角度である姿勢角の変化及び視点の位置の変化を検出
する。対応関係抽出部は先に撮像した画像から複数の特
徴点を抽出し、特徴点を抽出した画像の次ぎに撮像した
画像において先の画像で抽出した特徴点に対応する点で
ある対応点を抽出する。３次元位置算出部は運動検出部
が検出した姿勢角変化及び視点位置変化並びに対応関係
抽出部が抽出した特徴点及び対応点を基に各特徴点の３
次元位置を算出する。この特徴点の３次元位置を算出す
るには、例えば先に撮像した第１視点から次ぎに撮像し
た第２視点への姿勢変化を基に、第１視点の光学中心か
ら各特徴点までの視線ベクトルと第２視点の光学中心か
ら各対応点までの視線ベクトルを算出し、算出した視線
ベクトルと第１視点と第２視点の位置変化を基に三角測
量の原理により、各特徴点の３次元位置を算出する。

【００２８】平面算出部は対応関係抽出部が抽出した各
特徴点が同一平面上にあるものとして、３次元位置算出
部が計測した各特徴点の３次元位置を基に、例えば最小
自乗法を用いて各特徴点が存在する平面の情報を示す平
面方程式を算出する。投影部は運動検出部が検出した姿
勢角変化及び視点位置変化並びに平面算出部が算出した
平面の情報を基に、画像撮像部が撮像した各画像を任意
な同一画像面に投影して複数の視点から撮像した画像を
合成し、入力対象平面上の画像を復元する。

【００２９】

【実施例】図１はこの発明の一実施例の撮像装置の構成
図である。図に示すように、撮像装置は、例えば画像撮
像部１と運動検出部２と対応関係抽出部３と３次元位置
算出部４と平面算出部５と投影部６と調整部７とを有す
る。画像撮像部１は、例えばＣＣＤエリアセンサ等を備
え、図２（ａ）に示すように、被写体１０の入力対象平
面Ｇｃを第１視点Ｏｎと第２視点Ｏ（ｎ＋１）でそれぞ
れ撮像した画像の一部が、図２（ｂ）及び図２（ｃ）に
示すように重複するようにして撮像する。図２（ｂ）に
示す第１視点Ｏｎで撮像した画像Ｇｎの１つの特徴点Ａ
を定めると、図２（ｂ）に示す第２視Ｏ（ｎ＋１）で撮
像した画像Ｇ（ｎ＋１）において画像Ｇｎの特徴点Ａに
対応する対応点は点Ｂになる。

【００３０】運動検出部２は画像撮像部１による各撮像
の際の入力対象平面Ｇｃに対する画像撮像部１の角度で
ある姿勢角の変化及び視点の位置の変化を検出する。対
応関係抽出部３は第１視点Ｏｎで撮像した第１画像Ｇｎ
から複数の特徴点Ａｉ（ｉは整数であり、各特徴点の順
番を表わす。）を抽出し、第２視点Ｏ（ｎ＋１）で撮像
した第２画像Ｇ（ｎ＋１）において第１画像Ｇｎの特徴
点Ａｉに対応する第２画像Ｇ（ｎ＋１）の対応点Ｂｉを
抽出する。３次元位置算出部４は運動検出部２が検出し
た姿勢角変化と視点位置変化及び対応関係抽出部３が抽
出した特徴点Ａｉと対応点Ｂｉを基に各特徴点Ａｉの３
次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する。この
ように特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ
１）を算出するには、第１視点Ｏｎで撮像した第１画像
面の光学中心を原点とし、第１視点Ｏｎから第２視点Ｏ
（ｎ＋１）に移動したときの画像撮像部１の姿勢変化を
基に、第１視点Ｏｎの光学中心から各特徴点Ａｉまでの
視線ベクトルＶ１ｉと第２視点Ｏ（ｎ＋１）の光学中心
から対応点Ｂｉまでの視線ベクトルＶ２ｉを算出し、算
出した視線ベクトルＶ１ｉ，Ｖ２ｉと各視点の位置変化
を基に三角測量の原理により、各特徴点Ａｉの３次元位
置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する。

【００３１】平面算出部５は対応関係抽出部３が抽出し
た各特徴点Ａｉが同一平面上にあるとして、３次元位置
算出部４が計測した各特徴点Ａｉの３次元位置（Ｘｉ
１，Ｙｉ１，Ｚｉ１）を基に、例えば最小自乗法を用い
て各特徴点Ａｉが存在する平面の情報として平面方程式
を算出する。投影部６は運動検出部５が検出した姿勢角
変化及び視点位置変化並びに平面算出部５が算出した平
面方程式を基に、画像撮像部１が撮像した各画像を任意
の同一画像面に投影して、複数の視点から撮像した各画
像を合成する。ここで、画像撮像部１が撮像した各画像
を任意の同一画像面に投影する動作について、図３を参
照して説明する。

【００３２】ある視点で得た画像面Ｉｎ上の点Ｐｎとこ
の視点の光学中心Ｏｎとを結ぶ直線が平面算出部５が算
出した平面Ｇｃと交差する点をＰｃとする。また、新た
に合成する画像を投影する画像面をＩｍとし、この光学
中心をＯｍとする。点Ｐｃと光学中心Ｏｍとを結ぶ直線
が画像面Ｉｍと交差する点Ｐｍに画素をマッチングす
る。この動作を必要な画素全てに対して行なうことによ
り、図４に示すように画像面Ｉｍに新たな画像を形成す
る。この処理を画像撮像部１が撮像した各画像に対して
行ない、画像撮像部１が撮像した各画像を任意な同一画
像面に投影することにより複数の視点から撮像した画像
を合成する。ここで、このようにして形成した画像は記
憶装置に保存しても良いし、表示装置に表示したり、印
刷装置から印刷するようにしても良い。

【００３３】調整部７は、画像撮像部１が撮像した各画
像を画像面に投影した際にその重複部分の相互相関値が
最大になるように投影位置及びスケールを微調整する。
入力対象平面Ｇｃ上の画像は一部が重複するように撮像
されているので、画像を投影する画像面Ｉｍにおいて重
複して撮像された領域は重複して投影されている。第１
画像の重複部画像をＩｎ（ｘ，ｙ）とし、第２画像の重
複部画像をＩｍ（ｘ，ｙ）としたとき、下記（１）式で
示す相関関数の値Ｓが最大となるようにδｘ及びδｙを
求め、第２画像の全画素をδｘ及びδｙだけシフトす
る。

【００３４】

【数１】

【００３５】上記のように構成した撮像装置の動作を図
５のフローチャートを参照して説明する。画像撮像部１
は入力対象平面Ｇｃを第１視点から撮像し、撮像した第
１画像を記憶装置に記憶する（ステップＳ１，Ｓ２）。
その後、ユーザが画像撮像部１を撮像した画像の一部が
重複するように第２視点に移動した後に第２視点から撮
像し、撮像した第２画像を記憶装置に記憶する（ステッ
プＳ３，Ｓ４）。このように、第１画像と第２画像の一
部が重複するように撮像するので、画像撮像部１が撮像
した各画像の関連を容易に検出することができる。

【００３６】運動検出部２は第１画像を撮像した際から
第２画像を撮像する際までの画像撮像部１の姿勢角の変
化及び視点の位置の変化を検出する（ステップＳ５）。
対応関係抽出部３は第１画像から複数の特徴点Ａｉを抽
出し、第２画像から対応点Ｂｉを抽出する（ステップＳ
６）。これにより、第１画像と第２画像との対応関係を
検出することができる。３次元位置算出部４は運動検出
部２が検出した姿勢角変化及び視点位置変化並びに対応
関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に
して各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ
１）を算出する（ステップＳ７）。平面算出部５は対応
関係抽出部３が抽出した各特徴点Ａｉが同一平面上にあ
るものとして、３次元位置算出部４が計測した各特徴点
Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を基に最
小自乗法を用いて各特徴点Ａｉが存在する平面の平面方
程式を算出する（ステップＳ８）。投影部６は運動検出
部５が検出した姿勢角変化及び視点位置変化並びに平面
算出部５が算出した平面方程式を基に、画像撮像部１が
撮像した各画像を任意の同一画像面Ｉｍに投影して、複
数の視点から撮像した各画像を合成する（ステップＳ
９）。このようにして、画像撮像部１が並進移動するこ
とによる影響により合成画像に歪が生じることを防止で
きるとともに、画像撮像部１の回転が合成画像の歪の原
因になることを防止できる。

【００３７】調整部７は、画像撮像部１が撮像した各画
像を画像面に投影した際にその重複部分の相互相関値が
最大になるように投影位置及びスケールを微調整する
（ステップＳ１０）。これにより、合成した各画像にず
れが生じることを防止でき、さらに正確に画像の合成を
行なうことができる。

【００３８】次ぎに、この発明の第２の実施例の撮像装
置について説明する。第２の実施例の撮像装置は、図６
の構成図に示すように、画像撮像部１と姿勢検出部８と
対応関係抽出部３と並進運動検出部９と３次元位置算出
部４と平面算出部５と投影部６と調整部７を有する。

【００３９】姿勢検出部８は、例えば図７に示すように
Ｘ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ
８１と姿勢角検知部８３とを有する。Ｘ軸方向磁気方位
センサ８１とＺ軸方向磁気方位センサ８２はそれぞれ画
像面に垂直な方向をＺ軸とした場合のＸ軸方向とＺ軸方
向の磁気の検出信号を出力する。ここで検出する磁気方
位は地磁気によるものでも、人工的に発生させた磁界に
よるものでも良い。姿勢角検知部８３はＸ軸方向磁気方
位センサ８１とＺ軸方向磁気方位センサ８２からの信号
を基に画像撮像部１で撮像するときの各視点における画
像撮像部１の角度である姿勢角を検知する。

【００４０】並進運動検出部９は姿勢検出部８が検出し
た姿勢角並びに対応関係抽出部３が抽出した特徴点Ａｉ
及び対応点Ｂｉを基に画像撮像部１の並進運動成分Ｔを
算出する。並進運動成分Ｔを算出するには、例えば並進
運動検出部９は姿勢検出部８が検出した第１画像撮像の
際の姿勢角と第２画像撮像の際の姿勢角から姿勢角の変
化を算出し、図８に示すような同じ座標系で特徴点Ａｉ
を通る視線ベクトルＶ１ｉと対応点Ｂｉを通る視線ベク
トルＶ２ｉを算出する。視線ベクトルＶ１ｉ，Ｖ２ｉと
並進運動ベクトルＴのスカラーの三重積は理想的には
「０」である。そこで、並進運動ベクトルＴは各特徴点
Ａｉにおけるスカラーの三重積の総和である下記（２）
式に示す値を最小化する値として算出する。

【００４１】

【数２】

【００４２】３次元位置算出部４は、姿勢検出部８が検
出した姿勢角と対応関係抽出部３が抽出した特徴点Ａｉ
と対応点Ｂｉ及び並進運動検出部９が検出した並進運動
ベクトルＴを基に三角測量の原理を用いて各特徴点Ａｉ
の３次元位置を算出する。

【００４３】上記のように構成した撮像装置の動作を図
９のフローチャートを参照して説明する。画像撮像部１
は入力対象平面Ｇｃを第１視点で撮像し、撮像した第１
画像を記憶装置に記憶する（ステップＳ１１）。姿勢検
出部８は画像撮像部１が第１視点から撮像した際の画像
撮像部１の姿勢角を検出する（ステップＳ１２）。その
後、ユーザが画像撮像部１をそれぞれ撮像した画像の一
部が重複するように第２視点に移動した後に第２視点で
撮像し、撮像した第２画像を記憶装置に記憶する（ステ
ップＳ１３）。姿勢検出部８は画像撮像部１が第１視点
から撮像した際と同様に画像撮像部１が第１視点から撮
像した際の画像撮像部１の姿勢角を検出し、さらに第１
視点から撮像した際の姿勢角と第２視点から撮像した際
の姿勢角の変化を検出する（ステップＳ１４）。このよ
うに、第１画像と第２画像の一部が重複するように撮像
するとともにその際の姿勢角を検出するので、画像撮像
部１が撮像した各画像の関連を容易に検出することがで
きるとともに画像撮像部１の姿勢角の変化による影響を
なくすことができる。

【００４４】対応関係抽出部３は第１画像から複数の特
徴点Ａｉを抽出し、第２画像から対応点Ｂｉを抽出する
（ステップＳ１５）。これにより第１画像と第２画像と
の対応関係を検出することができる。並進運動検出部９
は姿勢検出部８が検出した姿勢角並びに対応関係抽出部
３が抽出した特徴点Ａi及び対応点Ｂiを基に画像撮像部
１の並進運動ベクトルＴを算出する（ステップＳ１
６）。３次元位置算出部４は運動検出部２が検出した姿
勢角変化と視点位置変化と対応関係抽出部３が抽出した
特徴点Ａｉと対応点Ｂｉ及び並進運動検出部９が検出し
た並進運動ベクトルＴを基に各特徴点Ａｉの３次元位置
（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する（ステップＳ１
７）。平面算出部５は対応関係抽出部３が抽出した各特
徴点Ａｉが同一平面上にあるものとして、３次元位置算
出部４が計測した各特徴点Ａｉの３次元位置（Ｘｉ１，
Ｙｉ１，Ｚｉ１）を基に最小自乗法を用いて各特徴点Ａ
ｉが存在する平面の平面方程式を算出する（ステップＳ
１８）。投影部６は運動検出部５が検出した姿勢角変化
及び視点位置変化並びに平面算出部５が算出した平面方
程式を基に、画像撮像部１が撮像した各画像を任意な同
一画像面Ｉｍに投影して、複数の視点から撮像した各画
像を合成する（ステップＳ１９）。これにより、画像撮
像部１が平行移動することによる影響により合成画像に
歪が生じることを防止できるとともに、画像撮像部１の
回転が合成画像の歪の原因になることを防止できる。調
整部７は、画像撮像部１が撮像した各画像を画像面に投
影した際にその重複部分の相互相関値が最大になるよう
に投影位置及びスケールを微調整する（ステップＳ２
０）。これにより、合成した各画像にずれが生じること
を防止でき、さらに正確に画像の合成を行なうことがで
きる。

【００４５】上記実施例では姿勢検出部８にＸ軸方向磁
気方位センサ８１とＺ軸方向磁気方位センサ８２と姿勢
角検知部８３を設けた場合について説明したが、さらに
Ｙ軸方向磁気方位センサを設けても良い。

【００４６】また、姿勢検出部８に、例えば図１０に示
すようにＸ軸方向磁気方位センサ８１とＹ軸方向磁気方
位センサ８４と画像撮像部１の重力方向に対する角度を
検出する重力方向検出器８５と姿勢角検知部８３を設け
ても良い。ここで重力方向検出器８５としては、例えば
Ｘ軸，Ｙ軸，Ｚ軸の各軸方向の加速度を検出する加速度
センサを用いて画像撮像部１の姿勢角を検出するように
しても良いし、水準器を用いて姿勢角を検出するように
しても良い。このように重力方向に対する角度を重力方
向検出器８５で検出し、重力方向周りの回転角度をＸ軸
方向磁気方位センサ８１とＹ軸方向磁気方位センサ８４
で検出することができるので、より正確に姿勢角を検出
することができる。また重力方向検出器８は、２軸方向
の磁気を検出するもので良いが、大きく傾く場合には３
軸回り磁気を検出するようにすると良い。

【００４７】さらに、姿勢検出部８に、例えば図１１に
示すようにＸ軸回りジャイロ８６とＹ軸回りジャイロ８
７と姿勢角検知部８３を設けても良い。Ｘ軸回りジャイ
ロ８６とＹ軸回りジャイロ８７は、Ｘ軸回りとＹ軸回り
の回転角速度を検出する角速度検出部としての機能を有
し、それぞれＸ軸回りの回転角速度及びＹ軸回りの回転
角速度を示す信号を出力する。姿勢角検知部８３はＸ軸
回りジャイロ８６とＹ軸回りジャイロ８７が出力した信
号をデジタル変換した後に積分して姿勢角を検出する。
このようにして磁気が不安定な場所又は磁気を検出する
のが困難な場合であっても正確に画像撮像部１の姿勢角
を検出することができる。

【００４８】次ぎにこの発明の第３の実施例の撮像装置
について説明する。第３の実施例の撮像装置は、図１２
の構成図に示すように、画像撮像部１と位置検出部１１
と対応関係抽出部３と３次元位置算出部４と平面算出部
５と投影部６を有する。位置検出部１１は、図２に示す
ように、画像撮像部１で入力対象平面Ｇｃを第１視点Ｏ
ｎと第２視点Ｏ（ｎ＋１）でそれぞれ撮像したときの画
像面の基準座標系における位置と姿勢角を検出する。３
次元位置算出部４は、位置検出部１１で検出した画像面
の基準座標系における位置と姿勢角及び対応関係抽出部
３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ
（ｎ＋１）の対応点Ｂｉを基に各特徴点Ａｉの３次元座
標値を算出する。

【００４９】上記のように構成された撮像装置の動作を
図１３のフローチャートを参照して説明する。画像撮像
部１で対象物を第１視点Ｏｎにおいて撮像したときの画
像Ｇｎを記憶し、位置検出部１１で基準座標系における
画像面の位置と姿勢を算出する（ステップＳ２１）。そ
の後、画像撮像部１を第２視点Ｏ（ｎ＋１）に移動して
対象物を撮像し、撮像した画像Ｇ（ｎ＋１）を記憶し、
位置検出部１１で基準座標系における画像面の位置と姿
勢を算出して３次元位置算出部４に送る（ステップＳ２
２）。対応関係抽出部３は第１視点Ｏｎにおいて撮像し
た画像Ｇｎ上の特徴点Ａｉを抽出し（ステップＳ２
３）、第２視点Ｏ（ｎ＋１）で撮像した画像Ｇ（ｎ＋
１）の特徴点Ａｉに対応する対応点Ｂｉを抽出し３次元
位置算出部４に送る（ステップＳ２４）。３次元位置算
出部４は位置検出部１１で検出した各視点Ｏｎ，Ｏ（ｎ
＋１）における画像面の位置と姿勢角及び対応関係抽出
部３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ
（ｎ＋１）の対応点Ｂｉを基に各特徴点Ａｉの３次元座
標値を算出し平面算出部５に送る（ステップＳ２５）。
平面算出部５は複数の対象平面上の各特徴点Ａｉの座標
値より平面方程式を算出する（ステップＳ２６）。投影
部６は平面算出部５で算出した平面方程式で表せる画像
面に各視点Ｏｎ，Ｏ（ｎ＋１）で撮像した画像を再投影
して合成する（ステップＳ２７）。複数の視点で画像を
撮像した場合は、上記処理を繰り返す（ステップＳ２
８，Ｓ２９）。そして必要な場合、別の画像面へ再投影
する（ステップＳ３０）。

【００５０】このようにして複数の視点で分割した撮像
した画像を簡単に合成することができるとともに、歪が
なく精細な画像を得ることができる。

【００５１】上記第３の実施例の位置検出部１１を、図
１４に示すように、姿勢算出部１２と並進計算部１３で
構成しても良い。姿勢算出部１２は、例えば加速度セン
サと磁気方位センサとジャイロのいずれか又はこれらの
組合せを有し、各視点における画像撮像部１の姿勢角あ
るいは姿勢角変化を算出する。並進計算部１３は姿勢算
出部１２で算出した姿勢角から各視点で得られた画像面
の基準座標系に対する姿勢角を算出し、対応関係抽出部
３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ
（ｎ＋１）の対応点Ｂｉの対応関係より、図８に示す画
像撮像部１の並進運動ベクトルＴを算出する。この並進
計算部１３で算出した各視点で得られた画像面の基準座
標系に対する姿勢角と画像撮像部１の並進運動ベクトル
Ｔ及び対応関係抽出部３が抽出した特徴点Ａｉと対応点
Ｂｉを基に３次元位置算出部４で三角測量の原理を用い
て各特徴点Ａｉの３次元位置を算出する。

【００５２】姿勢算出部１２として３軸加速度センサと
２軸磁気方位センサを用いた場合、図１５に示すよう
に、重力方向をＹ軸とした基準座標系Ｘ，Ｙ，Ｚ軸及び
画像撮像部１の光軸をＷ軸と一致させた撮像部座標系
Ｕ，Ｖ，Ｗ軸を定義し、基準座標系Ｘ，Ｙ，Ｚ軸に対す
る撮像部座標系Ｕ，Ｖ，Ｗ軸の傾きを姿勢角θ（Ｕ），
θ（Ｖ），θ（Ｗ）とする。回転の順序は、基準座標系
と撮像部座標系が一致する状態からＶ（Ｙ）軸回りにθ
（Ｖ）だけ回転させてから、移動した撮像部座標系を基
準にＵ軸回りにθ（Ｕ）だけ回転させ、移動した撮像部
座標系を基準にＷ軸回りにθ（Ｗ）だけ回転させる。そ
れぞれの回転行列をＲ（Ｖ），Ｒ（Ｕ），Ｒ（Ｕ）とし
て、回転行列Ｒ＝Ｒ（Ｖ）・Ｒ（Ｕ）・Ｒ（Ｗ）を下記
（３）式で表す。

【００５３】

【数３】

【００５４】また、３軸加速度センサの出力Ａと２軸磁
気方位センサの出力Ｍを下記（４）式で表す。

【００５５】

【数４】

【００５６】ただし、２軸磁気方位センサを用いる場合
Ｍ（Ｙ）は不定である。また、重力加速度ベクトルＧは
下記（５）式で表せる。

【００５７】

【数５】

【００５８】ここで地磁気の伏角φを既知とすると、地
磁気べクトルＤは下記（６）式となる。

【００５９】

【数６】

【００６０】ここで回転行列Ｒと３軸加速度センサの出
力Ａと重力加速度ベクトルＧは下記（７）式の関係があ
るから（８）式が得られる。

【００６１】

【数７】

【００６２】（８）式より姿勢角θ（Ｕ），θ（Ｗ）は
下記（９）式で得られる。（９）式においてcosθ
（Ｕ）が０の場合、θ（Ｗ）は任意に定めて良い。

【００６３】

【数８】

【００６４】さらに、回転行列Ｒと２軸磁気方位センサ
の出力Ｍと地磁気べクトルＤは下記（１０）式の関係が
あるから（１１）式が得られる。

【００６５】

【数９】

【００６６】（１１）式より下記（１２）式が算出さ
れ、（１２）式より姿勢角θ（Ｖ）は（１３）式で得ら
れる。

【００６７】

【数１０】

【００６８】このようにして姿勢算出部１２により３軸
加速度センサと２軸磁気方位センサの出力から基準座標
系Ｘ，Ｙ，Ｚ軸に対する画像撮像部座標系Ｕ，Ｖ，Ｗ軸
の傾きを姿勢角θ（Ｕ），θ（Ｖ），θ（Ｗ）を算出す
ることができる。

【００６９】次ぎに、姿勢算出部１２として３軸加速度
センサと３軸磁気方位センサの出力から基準座標系Ｘ，
Ｙ，Ｚ軸に対する画像撮像部座標系Ｕ，Ｖ，Ｗ軸の傾き
を姿勢角θ（Ｕ），θ（Ｖ），θ（Ｗ）を算出する場合
を示す。この場合、姿勢角θ（Ｕ），θ（Ｗ）は上記
（９）式で得られる。ここで地磁気の伏角は未知として
良く、地磁気ベクトルＤを下記（１４）とする。

【００７０】

【数１１】

【００７１】ここでベクトルＤ１を下記（１５）とおく
と（１６）式が得られる。

【００７２】

【数１２】

【００７３】（１６）式より（１７）式が得られる。

【００７４】

【数１３】

【００７５】（１７）式より姿勢角θ（Ｖ）が下記（１
８）式で得ることができる。

【００７６】

【数１４】

【００７７】また、位置検出部１１を、図１６に示すよ
うに、運動検出部１４と位置姿勢計算部１５で構成して
も良い。運動検出部１４は、例えば加速度センサとジャ
イロからなり、画像撮像部１が視点を変えて撮像すると
きに、画像撮像部１が移動する過程における姿勢角変化
と並進運動成分を検出する。位置姿勢計算部１５は検出
した画像撮像部１の姿勢角変化と並進運動成分から各視
点で得られた画像面の基準座標系に対する位置と姿勢を
算出する。この算出した各視点で得られた画像面の基準
座標系に対する位置と姿勢及び対応関係抽出部３が抽出
した特徴点Ａｉと対応点Ｂｉを基に３次元位置算出部４
で三角測量の原理を用いて各特徴点Ａｉの３次元位置を
算出する。

【００７８】さらに、図１７に示すように、運動計算部
１６で基準座標系に対する各画像面の位置と姿勢を算出
するようにしても良い。この場合、運動計算部１６は対
応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉの対
応関係より視点間の画像撮像部１の位置変化と姿勢角変
化を求め、求めた位置変化と姿勢角変化より基準座標系
における各画像面の位置と姿勢を算出する。この算出し
た各視点で得られた画像面の基準座標系に対する位置と
姿勢及び対応関係抽出部３が抽出した特徴点Ａｉと対応
点Ｂｉを基に３次元位置算出部４で三角測量の原理を用
いて各特徴点Ａｉの３次元位置を算出する。

【００７９】また、上記各実施例で投影部６において各
撮像画像を任意の位置と姿勢の画像面に再投影後、その
位置を微調整することにより合成画像の歪みを軽減する
ことができる。すなわち、被写体は一部が重なるよう撮
像されているので、再投影される画像面において、その
領域は重複して投影される。そこで第１視点から投影さ
れるこの重複部画像と第２視点から投影される重複部画
像のの（１）式に示す相関関数が最大となる微小量δ
ｘ、δｙを求め、第２視点から投影される全画像に対し
て、δｘ、δｙだけ平行移動させる。ここで位置の微調
整は相互相関値を用いるものに限られず、サブピクセル
レベルの位置合わせを行っても良い。

【００８０】次ぎにこの発明の他の実施例の撮像装置に
ついて説明する。この実施例の撮像装置は、図１８の構
成図に示すように、画像撮像部１と３次元位置検出部１
７と平面算出部５ａと投影部６ａ及び再調整部１８を有
する。画像撮像部１は、図２（ａ）に示すように，平面
状の被写体１０を視点を変えて撮像する。この視点を変
えて撮像するときに、撮像する画像の一部が必ずしも重
なり合っていなくても良い。３次元位置検出部１７は、
例えば超音波やレーザーなどを用いた測距センサからな
り、視点を変えて撮像したときに撮像対象物平面の複数
の特徴点の距離を計測して各特徴点の３次元位置を検出
する。平面算出部５ａは３次元位置検出部１７で検出し
た各特徴点の３次元位置から、最小自乗法などにより、
被写体１０の面の空間上での平面方程式を算出する。た
だし、この場合、算出した平面は各視点を基準とした平
面となり、視点の数だけ存在し、図１９に示すように、
視点Ｏｎと視点Ｏ（ｎ＋１）で撮像したとき、視点Ｏｎ
を基準にした平面Ｇｃｎと視点Ｏ（ｎ＋１）を基準とし
た平面Ｇｃ（ｎ＋１）を算出する。投影部６ａは視点Ｏ
ｎで撮像した画像Ｇｎを平面Ｇｃｎへ再投影し、視点Ｏ
（ｎ＋１）で撮像した画像Ｇ（ｎ＋１）を平面Ｇｃ（ｎ
＋１）へ再投影する。再調整部１８は画像Ｇｎを投影し
た平面Ｇｃｎと画像Ｇ（ｎ＋１）を投影した平面Ｇｃ
（ｎ＋１）の位置と姿勢を調整して合成画像を得る。こ
の調整方法としては、画像Ｇｎと画像Ｇ（ｎ＋１）に重
なる部分がある場合は、それらが適合するように調整
し、重なる部分がほとんどない場合は、画像Ｇｎと画像
Ｇ（ｎ＋１）が滑らかにつながるよう調整する。投影部
６ａは調整して合成画像を、必要ならば任意の仮想的な
視点の画像面Ｇｐへ投影して新たな画像を得る。

【００８１】上記のように構成した撮像装置の動作を図
２０のフローチャートを参照して説明する。第１視点に
おいて画像撮像部１で対象物を撮像したときの画像Ｇｎ
を記憶し、３次元位置検出部１７で撮像対象物平面の複
数の特徴点の距離を計測して、各特徴点の３次元位置を
求める。平面算出部５ａは各特徴点の３次元位置により
画像撮像部１に対する対象平面Ｇｃｎの位置と姿勢を示
す平面方程式を算出する（ステップＳ３１）。投影部６
ａは算出した平面Ｇｃｎに撮像した画像Ｇｎを投影する
（ステップＳ３２）。次ぎに第２視点において画像撮像
部１で対象物を撮像したときの画像Ｇ（ｎ＋１）を記憶
し、３次元位置検出部１７で撮像対象物平面の複数の特
徴点の距離を計測し、各特徴点の３次元位置を求める。
平面算出部５ａは各特徴点の３次元位置から画像撮像部
１に対する対象平面Ｇｃ（ｎ＋１）の位置と姿勢を示す
平面方程式を算出する（ステップＳ３３，Ｓ３４）。投
影部６ａは算出した平面Ｇｃ（ｎ＋１）に撮像した画像
Ｇ（ｎ＋１）を投影する（ステップＳ３５）。再調整部
１８は画像Ｇｎを投影した平面Ｇｃｎと画像Ｇ（ｎ＋
１）を投影した平面Ｇｃ（ｎ＋１）の位置と姿勢を調整
して合成画像を得る（ステップＳ３６）。この処理を視
点を変えて撮像するたびに繰り返し、所定の各視点で撮
像と処理が終了したら（ステップＳ３７）、投影部６ａ
は合成した画像を別の画像面へ再投影する（ステップＳ
３８）。

【００８２】このように各視点で複数の特徴点の距離を
直接検出して対象平面の位置と姿勢を定めるから、対象
平面を算出する処理の高速化を図ることができる。

【００８３】上記実施例は３次元位置検出部１７に超音
波やレーザーなどを用いた測距センサを使用した場合に
ついて説明したが、画像撮像部１の画像面に対象物平面
上の特徴点が合焦したときのレンズと画像面の位置関係
から特徴点の距離を算出するようにしても良い。

【００８４】また、図２１に示すように、３次元位置検
出部１７とともに姿勢算出部１２を設け、３次元位置検
出部１７で検出した各特徴点の３次元位置と姿勢算出部
１２で得られた画像撮像部１の姿勢から基準座標系にお
ける平面方程式を算出することにより、対象平面の位置
と姿勢を示す平面方程式を算出するとき、姿勢角の調整
を行う必要がなく処理の高速化を図ることができる。

【００８５】この場合の動作を図２２のフローチャート
を参照して説明する。第１視点において、画像撮像部１
で対象物を撮像したときの画像Ｇｎを記憶し、３次元位
置検出部１７で撮像対象物平面の複数の特徴点の距離を
計測して、各特徴点の３次元位置を求め、姿勢算出部１
２で画像撮像部１の基準座標に対する姿勢を算出する。
平面算出部５ａは各特徴点の３次元位置から、画像撮像
部１に対する対象平面の位置と姿勢を示す平面方程式を
算出する（ステップＳ４１）。この平面方程式を画像撮
像部１の基準座標に対する姿勢をもとに基準座標へ変換
する（ステップＳ４２）。投影部６ａは変換した平面方
程式で示す平面に画像Ｇｎを投影する（ステップＳ４
３）。次ぎに第２視点において画像撮像部１で対象物を
撮像したときの画像Ｇ（ｎ＋１）を記憶し、３次元位置
検出部１７で撮像対象物平面の複数の特徴点の距離を計
測して、各特徴点の３次元位置を求め、姿勢算出部１２
で画像撮像部１の基準座標に対する姿勢を算出する。平
面算出部５ａは各特徴点の３次元位置から、画像撮像部
１に対する対象平面の位置と姿勢を示す平面方程式を算
出し（ステップＳ４４，Ｓ４５）、平面方程式を画像撮
像部１の基準座標に対する姿勢をもとに基準座標へ変換
する（ステップＳ４６）。投影部６ａは変換した平面方
程式で示す平面に画像Ｇ（ｎ＋１）を投影する（ステッ
プＳ４７）。再調整部１８は画像Ｇｎを投影した平面と
画像Ｇ（ｎ＋１）を投影した平面の位置と姿勢を調整し
て合成画像を得る（ステップＳ４８）。この処理を視点
を変えて撮像するたびに繰り返し、各視点で撮像と処理
が終了したら（ステップＳ４９）、投影部６ａは合成し
た画像を別の画像面へ再投影する（ステップＳ５０）。

【００８６】

【発明の効果】この発明は以上説明したように、入力対
象平面をそれぞれ一部が重複するようにして複数の視点
から撮像した際の姿勢角の変化と視点の位置の変化及び
視点を変えたときの各画像の対応関係から各特徴点の３
次元位置を算出し、各特徴点の３次元位置を基に各特徴
点が存在する平面の情報を算出し、姿勢角変化と視点位
置変化及び平面の情報を基に、撮像した入力対象平面の
各画像を任意の同一画像面に投影して、複数の視点で撮
像した各画像を合成するようにしたから、姿勢角の変化
による影響を取り除いて、複数の視点から撮像した画像
を正確に復元することができる。

【００８７】また、複数の視点から撮像した画像を合成
し、入力対象平面上の画像を復元するので、入力対象平
面上の画像が大きい場合及び入力対象平面を有する対象
物を移動できない場合であっても画像を撮像し復元をす
ることができる。

【００８８】さらに、姿勢角と特徴点及び対応点を基に
視点を変えたときの並進運動成分を検出し、姿勢角と特
徴点と対応点及び並進運動成分を基に各特徴点の３次元
位置を算出して撮像した入力対象平面の各画像を任意の
同一画像面に投影するので、姿勢角の変化による影響を
取り除いて、複数の視点から撮像した画像をより正確に
合成することができる。

【００８９】また、互いに直交する２軸方向又は３軸方
向の磁気方位で撮像するときの姿勢角を検出するので、
簡単でかつ正確に姿勢角を検出することができる。

【００９０】さらに、重力方向と互いに直交する２軸方
向又は３軸方向の磁気方位で撮像するときの姿勢角を検
出することにより、より正確に姿勢角を検出することが
できる。

【００９１】また、互いに直交する２軸周り又は３軸周
りの角速度から撮像するときの姿勢角を検出することに
より、磁気による方位検出が困難な場合であっても簡単
に撮像するときの姿勢角を検出することができる。

【００９２】また、各視点において撮像した入力対象平
面の画像を投影した際に、その重複部分の相互相関値が
最大になるように投影位置及びスケールを微調整するの
で、歪のない高精度の画像を再生することができる。

【００９３】また、視点を変えて撮像するときに、基準
座標系における画像面の位置と姿勢を算出し、各視点に
おける画像面の位置と姿勢角及び各画像の対応関係から
各特徴点の３次元座標値を算出して平面方程式を算出す
るから、平面状の被写体を分割撮像して合成するとき
に、歪みなしで合成することができ、簡単な構成で高精
細な画像を得ることができる。

【００９４】また、各視点で撮像するときの姿勢角を算
出し、各視点で得られた画像面の基準座標系に対する姿
勢角を算出し、算出した画像面の基準座標系に対する姿
勢角と各視点で撮像した画像の対応関係から視点を変え
たときの並進移動成分を算出するから、視点を変えたと
きの位置と姿勢を簡単に検出することができ、各特徴点
の３次元座標値を算出して平面方程式を簡単に算出する
ことができる。

【００９５】さらに、視点を移動するときの姿勢角の変
化と並進移動成分を加速度センサとジャイロ等で直接検
出することにより、画像情報を用いずに画像面の基準座
標系に対する位置と姿勢を算出することができ、撮像画
像にノイズが含まれていても、精度良く位置と姿勢を算
出することができる。

【００９６】また、視点を変えて撮像した画像の対応関
係から視点間の姿勢変化と並進移動を算出することによ
り、撮像部の動きを検出するセンサが不要となり、装置
全体の構成を簡略化できる。

【００９７】さらに、各視点で撮像した画像を合成する
ときに隣接画像間で位置合わせを行うから、良質な合成
画像を得ることができる。

【００９８】また、複数の視点で撮像したときに、各視
点で入力対象平面の複数の点の距離を計測して入力対象
平面上の複数点の３次元位置を検出することにより撮像
対象物上の点の奥行きを直接検出し、検出した入力対象
平面上の複数点の３次元位置から、各視点毎に入力対象
平面上の各点を通る平面の平面方程式を算出し、算出し
た平面方程式で表せられる画像面に各視点で得られた撮
像画像を再投影して画像を合成し、画像を合成するとき
に各画像面の位置と姿勢を調整するから、姿勢角の調整
を行う必要がなく、処理を簡略化して高速化を図ること
ができる。

【００９９】さらに、直接検出した撮像対象物上の点の
奥行きと各視点で撮像するときの姿勢から基準座標系に
おける平面方程式を算出することにより、対象平面の位
置と姿勢を示す平面方程式を算出するとき、姿勢角の調
整を行う必要がなく処理の高速化を図ることができる。

【０１００】また、各視点で入力対象平面の複数の点の
距離を測距センサで直接検出することにより、複数の点
の距離を正確に測定でき、良質な画像を合成することが
できる。

【０１０１】さらに、入力対象平面上の点が画像面で合
焦するときのレンズと画像面の位置より入力対象平面の
複数の点の距離を算出することにより、精度の高い３次
元位置検出を簡単な構成で行うことができる。

【図面の簡単な説明】

【図１】この発明の実施例を示す構成図である。

【図２】入力対象平面に対する第１画像及び第２画像の
関係を示す説明図である。

【図３】画像投影の原理を示す説明図である。

【図４】画像合成の原理を示す説明図である。

【図５】撮像装置の動作を示すフローチャートである。

【図６】第２の実施例の構成図である。

【図７】姿勢検出部の構成図である。

【図８】並進運動ベクトルを算出する原理を示す説明図
である。

【図９】第２の実施例の動作を示すフローチャートであ
る。

【図１０】重力方向検出器を有する姿勢検出部の構成図
である。

【図１１】ジャイロを有する姿勢検出部の構成図であ
る。

【図１２】第３の実施例の構成図である。

【図１３】第３の実施例の動作を示すフローチャートで
ある。

【図１４】第４の実施例の構成図である。

【図１５】基準座標系と画像撮像部座標系を示す説明図
であ。

【図１６】第５の実施例の構成図である。

【図１７】第６の実施例の構成図である。

【図１８】第７の実施例の構成図である。

【図１９】第７の実施例の画像合成を示す説明図であ
る。

【図２０】第７の実施例の動作を示すフローチャートで
ある。

【図２１】第８の実施例の構成図である。

【図２２】第８の実施例の動作を示すフローチャートで
ある。

【符号の説明】

１ 画像撮像部 ２ 運動検出部 ３ 対応関係抽出部 ４ ３次元位置算出部 ５ 平面算出部 ６ 投影部 ７ 調整部 ８ 姿勢検出部 ９ 並進運動検出部 １１ 位置検出部 １２ 姿勢算出部 １３ 並進計算部 １４ 運動検出部 １５ 位置姿勢計算部 １６ 運動計算部 １７ ３次元位置検出部 １８ 再調整部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０６Ｆ 15/66 ４７０Ｊ

Claims (23)

【特許請求の範囲】
1. 【請求項１】 画像撮像部と運動検出部と対応関係抽出
   部と３次元位置算出部と平面算出部と投影部を有し、 画像撮像部は先に撮像した画像と一部が重複するように
   して複数の視点から入力対象平面を撮像し、 運動検出部は画像撮像部による各撮像の際の視点におけ
   る画像撮像部の角度である姿勢角の変化及び視点の位置
   の変化を検出し、 対応関係抽出部はある視点で撮像した画像の重複部分か
   ら複数の特徴点を抽出し、他の視点で撮像した画像上の
   特徴点に相当する対応点を抽出し、 ３次元位置算出部は運動検出部が検出した姿勢角変化と
   視点位置変化及び対応関係抽出部が抽出した特徴点と対
   応点を基に各特徴点の３次元位置を算出し、 平面算出部は対応関係抽出部が抽出した各特徴点が同一
   平面上にあるものとして、３次元位置算出部が計測した
   各特徴点及び各対応点の３次元位置を基に各特徴点が存
   在する平面の情報を算出し、 投影部は運動検出部が検出した姿勢角変化及び視点位置
   変化並びに平面算出部が算出した平面の情報を基に、画
   像撮像部が撮像した各画像を任意の同一画像面に投影し
   て複数の視点から撮像した画像を合成することを特徴と
   する撮像装置。
2. 【請求項２】 画像撮像部と姿勢検出部と対応関係抽出
   部と並進運動検出部と３次元位置算出部と平面算出部と
   投影部を有し、 画像撮像部は先に撮像した画像と一部が重複するように
   して複数の視点から入力対象平面を撮像し、 姿勢検出部は画像撮像部による各撮像の際の視点におけ
   る画像撮像部の角度である姿勢角を検出し、 対応関係抽出部はある視点で撮像した画像の重複部分か
   ら複数の特徴点を抽出し、他の視点で撮像した画像上の
   特徴点に相当する対応点を抽出し、 並進運動検出部は姿勢検出部が検出した姿勢角並びに対
   応関係抽出部が抽出した特徴点及び対応点を基に画像撮
   像部の並進運動成分を検出し、 ３次元位置算出部は姿勢検出部が検出した姿勢角と対応
   関係抽出部が抽出した特徴点と対応点及び並進運動検出
   部が検出した並進運動成分を基に各特徴点の３次元位置
   を算出し、 平面算出部は対応関係抽出部が抽出した各特徴点が同一
   平面上にあるものとして、３次元位置算出部が計測した
   各特徴点の３次元位置を基に各特徴点が存在する平面の
   情報を算出し、 投影部は姿勢検出部が検出した姿勢角、並進運動検出部
   が検出した各特徴点の並進運動成分並びに平面算出部が
   算出した平面の情報を基に、画像撮像部が撮像した各画
   像を任意な同一画像面に投影して複数の視点から撮像し
   た画像を合成することを特徴とする撮像装置。
3. 【請求項３】 上記姿勢検出部は互いに直交する２軸方
   向又は３軸方向の磁気を検出する磁気検出部を備える請
   求項２記載の撮像装置。
4. 【請求項４】 上記姿勢検出部は互いに直交する２軸方
   向又は３軸方向の磁気を検出する磁気検出部と重力方向
   を検出する重力方向検出部とを備える請求項２記載の撮
   像装置。
5. 【請求項５】 上記姿勢検出部は互いに直交する２軸周
   り又は３軸周りの角速度を検出する角速度検出部を備え
   る請求項２記載の撮像装置。
6. 【請求項６】 上記各視点において撮像した入力対象平
   面の画像を投影した際にその重複部分の相互相関値が最
   大になるように投影位置及びスケールを微調整する調整
   部を有する請求項１乃至５のいずれかに記載の撮像装
   置。
7. 【請求項７】 画像撮像部と位置検出部と対応関係抽出
   部と３次元位置算出部と平面算出部及び投影部を有し、 画像撮像部は先に撮像した画像と一部が重複するように
   して複数の視点から入力対象平面を撮像し、 位置検出部は複数の視点における画像面の位置と姿勢角
   を検出し、 対応関係抽出部はある視点で撮像した画像の重複部分か
   ら複数の特徴点を抽出し、他の視点で撮像した画像上の
   特徴点に相当する対応点を抽出し、 ３次元位置算出部は位置検出部が検出した複数の視点に
   おける画像面の位置と姿勢角及び対応関係抽出部が抽出
   した特徴点と対応点を基に特徴点に相当する入力対象平
   面上の各点の３次元位置を算出し、 平面算出部は３次元位置算出部で算出した入力対象平面
   上の各点の３次元位置から、入力対象平面上の各点を通
   る平面の情報を示す平面方程式を算出し、 投影部は平面算出部で算出した平面方程式で表せられる
   画像面に各視点で得られた撮像画像を再投影して画像を
   合成することを特徴とする撮像装置。
8. 【請求項８】 上記位置検出部は各視点における画像撮
   像部の姿勢角を算出する姿勢算出部と、算出した姿勢角
   の各視点で得られた画像面の基準座標系に対する姿勢角
   を算出し、算出した画像面の基準座標系に対する姿勢角
   と対応関係抽出部で得られた対応関係により画像撮像部
   の並進移動成分を算出する並進計算部を有する請求項７
   記載の撮像装置。
9. 【請求項９】 上記位置検出部は画像撮像部が視点を移
   動するときの姿勢角の変化と並進移動成分を検出する運
   動検出部と、検出した姿勢角の変化と並進移動成分に基
   づき各視点で得られた画像面の基準座標系に対する位置
   と姿勢を算出する位置姿勢計算部を有する請求項７記載
   の撮像装置。
10. 【請求項１０】 上記位置検出部は対応関係抽出部で得
    られた複数の特徴点と対応点の位置関係から視点間の姿
    勢変化と並進移動を算出する運動計算部からなる請求項
    ７記載の撮像装置。
11. 【請求項１１】 上記姿勢検出部が加速度センサと磁気
    方位センサとジャイロのいずれか又はそれらの組み合わ
    せである請求項８記載の撮像装置。
12. 【請求項１２】 上記運動検出部が加速度センサとジャ
    イロである請求項９記載の撮像装置。
13. 【請求項１３】 上記投影部で再投影するときに、隣接
    画像間で位置合わせを行う請求項７乃至１２のいずれか
    に記載の撮像装置。
14. 【請求項１４】 画像撮像部と３次元位置検出部と平面
    算出部と投影部及び再調整部を有し、 画像撮像部は複数の視点から入力対象平面を撮像し、 ３次元位置検出部は入力対象平面の複数の点の距離を計
    測して入力対象平面上の複数点の３次元位置を検出し、 平面算出部は３次元位置検出部で検出した入力対象平面
    上の複数点の３次元位置から、各視点毎に入力対象平面
    上の各点を通る平面の情報を示す平面方程式を算出し、 投影部は平面算出部で算出した平面方程式で表せられる
    画像面に各視点で得られた撮像画像を再投影して画像を
    合成し、 再調整部は投影部で画像を合成するときに各画像面の位
    置と姿勢を調整することを特徴とする撮像装置。
15. 【請求項１５】 画像撮像部と３次元位置検出部と姿勢
    検出部と平面算出部と投影部及び再調整部を有し、 画像撮像部は複数の視点から入力対象平面を撮像し、 ３次元位置検出部は入力対象平面の複数の点の距離を計
    測して入力対象平面上の複数点の３次元位置を検出し、 姿勢検出部は各視点における画像撮像部の姿勢角を検出
    し、 平面算出手段は３次元位置検出部で検出した入力対象平
    面上の点の３次元位置と姿勢検出部で検出した各視点に
    おける画像撮像部の姿勢角とから、各視点毎に入力対象
    平面上の各点を通る平面の情報を示す平面方程式を算出
    し、 投影部は平面算出部で算出した平面方程式で表せられる
    画像面に各視点で得られた撮像画像を再投影して画像を
    合成し、 再調整部は投影部で画像を合成するときに各画像面の位
    置と姿勢を調整することを特徴とする撮像装置。
16. 【請求項１６】 上記３次元位置検出部は測距センサか
    らなる請求項１４又は１５記載の撮像装置。
17. 【請求項１７】 上記３次元位置検出部は入力対象平面
    上の点が画像面で合焦するときのレンズと画像面の位置
    より入力対象平面の複数の点の距離を算出する請求項１
    ４又は１５記載の撮像装置。
18. 【請求項１８】 先に撮像した画像と一部が重複するよ
    うにして複数の視点から入力対象平面を撮像し、各撮像
    の際の視点における撮像角度である姿勢角の変化及び視
    点の位置の変化を検出し、先に撮像した画像から複数の
    特徴点を抽出し、特徴点を抽出した画像の次ぎに撮像し
    た画像において先の画像で抽出した特徴点に対応する点
    である対応点を抽出し、検出した姿勢角変化及び視点位
    置変化並びに抽出した特徴点及び対応点を基に各特徴点
    の３次元位置を算出し、抽出した各特徴点が同一平面上
    にあるものとして、計測した各特徴点の３次元位置を基
    に各特徴点が存在する平面の情報を算出し、検出した姿
    勢角変化及び視点位置変化並びに算出した平面の情報を
    基に、入力対象平面を撮像した各画像を任意な同一画像
    面に投影して、複数の視点から撮像した画像を合成する
    ことを特徴とする撮像画像合成方法。
19. 【請求項１９】 先に撮像した画像と一部が重複するよ
    うにして複数の視点から入力対象平面を撮像し、各撮像
    の際の視点における撮像角度である姿勢角を検出し、先
    に撮像した画像から複数の特徴点を抽出し、特徴点を抽
    出した画像の次ぎに撮像した画像において先の画像で抽
    出した特徴点に対応する点である対応点を抽出し、検出
    した姿勢角並びに抽出した特徴点及び対応点を基に視点
    を変えたときの並進運動成分を検出し、検出した姿勢角
    と抽出した特徴点と対応点及び視点を変えたときの並進
    運動成分を基に各特徴点の３次元位置を算出し、抽出し
    た各特徴点が同一平面上にあるものとして、計測した各
    特徴点の３次元位置を基に各特徴点が存在する平面の情
    報を算出し、検出した姿勢角、算出した平面の情報並び
    に検出した各特徴点の並進運動成分を基に、入力対象平
    面を撮像した各画像を任意な同一画像面に投影して、複
    数の視点から撮像した画像を合成することを特徴とする
    撮像画像合成方法。
20. 【請求項２０】 先に撮像した画像と一部が重複するよ
    うにして複数の視点から入力対象平面を撮像し、複数の
    視点における画像面の位置と姿勢角を検出し、ある視点
    で撮像した画像の重複部分から複数の特徴点を抽出し、
    他の視点で撮像した画像上の特徴点に相当する対応点を
    抽出し、検出した複数の視点における画像面の位置と姿
    勢角及び抽出した特徴点と対応点を基に特徴点に相当す
    る入力対象平面上の各点の３次元位置を算出し、算出し
    た入力対象平面上の各点の３次元位置から、入力対象平
    面上の各点を通る平面の情報を示す平面方程式を算出
    し、算出した平面方程式で表せられる画像面に各視点で
    得られた撮像画像を再投影して画像を合成することを特
    徴とする撮像画像合成方法。
21. 【請求項２１】 上記各視点において撮像した入力対象
    平面の画像の重複部分の相互相関値が最大になるように
    投影位置及びスケールを微調整する請求項１８，１９又
    は２０記載の撮像画像合成方法。
22. 【請求項２２】 複数の視点から入力対象平面を撮像
    し、入力対象平面の複数の点の距離を計測して入力対象
    平面上の複数点の３次元位置を検出し、検出した入力対
    象平面上の複数点の３次元位置から、各視点毎に入力対
    象平面上の各点を通る平面の情報を示す平面方程式を算
    出し、算出した平面方程式で表せられる画像面に各視点
    で得られた撮像画像を再投影して画像を合成し、画像を
    合成するときに各画像面の位置と姿勢を調整することを
    特徴とする撮像画像合成方法。
23. 【請求項２３】 複数の視点から入力対象平面を撮像
    し、入力対象平面の複数の点の距離を計測して入力対象
    平面上の複数点の３次元位置を検出し、各視点で撮像す
    るときの画像撮像部の姿勢角を検出し、検出した入力対
    象平面上の点の３次元位置と検出した各視点における画
    像撮像部の姿勢角とから、各視点毎に入力対象平面上の
    各点を通る平面の情報を示す平面方程式を算出し、算出
    した平面方程式で表せられる画像面に各視点で得られた
    撮像画像を再投影して画像を合成し、画像を合成すると
    きに各画像面の位置と姿勢を調整することを特徴とする
    撮像画像合成方法。