JP3957888B2 - Imaging apparatus and captured image composition method - Google Patents
Imaging apparatus and captured image composition method Download PDFInfo
- Publication number
- JP3957888B2 JP3957888B2 JP23218198A JP23218198A JP3957888B2 JP 3957888 B2 JP3957888 B2 JP 3957888B2 JP 23218198 A JP23218198 A JP 23218198A JP 23218198 A JP23218198 A JP 23218198A JP 3957888 B2 JP3957888 B2 JP 3957888B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- plane
- captured
- angle
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は入力対象平面上の画像を一部が重なるようにして複数回撮像し、撮像した各画像を1画面上に合成して復元する撮像装置及び撮像画像合成方法、特に撮像対象となる入力対象平面が大きい場合等に分割した画像の歪を軽減して、高精細な平面画像の合成に関するものである。
【0002】
【従来の技術】
平面上の文字又は写真を簡便、且つ、高精度に入力及び復元する装置が求められている。A4サイズ又はA3サイズ等の通常サイズの紙面上の画像の場合には複写機又はスキャナ等で高精度な画像入力が可能である。このように複写機又はスキャナ等は通常サイズの紙面上の画像を高精度に読み込むことができるが、大きな紙面上の情報、壁に書かれた情報又はパネルに掲げられた情報等のように大きい画像あるいは動かすことのできない媒体に描かれた画像等を入力することができない。そこで、電子カメラを用いてこれらの大きい画像あるいは動かすことのできない媒体に描かれた画像などを入力する装置として、例えば特開平6−141228号公報に示された電子カメラや特開平9-90530号公報に示されたパノラマ画像合成装置等が使用されている。
【0003】
特開平6−141228号公報に示された電子カメラは、被写体像を撮影レンズ及び鏡を介して撮像素子上に結像し、前画像の一部に現画像の一部が重なるように被写体像を間欠的に複数回取り込み、現画像を前画像に適切に接続する位置に移動している。また、特開平9−90530号公報に示されたパノラマ画像合成装置は、画像を合成するためのパラメータを算出し、算出したパラメータに基づいて画像を合成することにより、電子カメラの分割画像から高精度な画像を得ようとしている。
【0004】
【発明が解決しようとする課題】
しかしながら、特開平6−141228号公報に掲載された電子カメラでは、鏡及びその駆動機構が必要となり、装置規模が大きくなるので、通常の電子カメラに搭載することは困難である。
【0005】
また、原稿又はパネル上の画像を撮像する場合、カメラと被写体との距離は近ため、特開平9−90530号公報に掲載されたパノラマ画像合成装置では、カメラの並進移動による透視投影の影響により合成画像に歪が生じる。また、人間が電子カメラを保持しているため任意に回転が画像に生じ、これが合成画像の歪の原因になる。
【0006】
この発明はかかる短所を解消するためになされたものであり、分割画像を合成する際の歪を軽減することにより、簡便、且つ、高精細な平面画像を入力することができる撮像装置及び撮像画像合成方法を提供することを目的とするものである。
【0007】
【課題を解決するための手段】
この発明に係る撮像装置は、先に撮像した画像と一部が重複するようにして複数の視点から入力対象平面を撮像する手段と、前記撮像手段により各画像を撮像する際の前記入力対象面に対する前記撮像する手段の角度である姿勢角を検出する手段と、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出する手段と、前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記撮像する手段の並進運動成分を検出する手段と、前記検出した姿勢角と、前記抽出した特徴点及び対応点と、前記検出された並進運動成分とにより前記各特徴点の3次元位置を算出する手段と、前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の3次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出する手段と、前記検出した姿勢角と、各特徴点の並進運動成分と、前記算出した平面の情報とに基づいて前記撮像した各画像を任意の同一画像面に投影して前記画像を合成する手段とを備えたことを特徴とする。
【0012】
前記画像を合成する手段は、前記先に撮像した画像と後に撮像した画像との重複部分の相互相関値が最大になるように前記画像の投影位置及びスケールを微調整する手段を有して、さらに歪のない高精度の画像復元を行なう。
【0013】
この発明に係る第2の撮像装置は、先に撮像した画像と一部が重複するようにして入力対象平面を撮像する手段と、前記撮像する手段により各画像を撮像する際の前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段と、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記の特徴点に相当する対応点を抽出する手段と、前記検出した画像面の位置と姿勢角変化及び視点位置変化と、前記抽出した特徴点及び対応点とに基づいて前記各特徴点に相当する入力対象平面上の各点の3次元位置を算出する手段と、前記算出した入力対象平面上の各点の3次元位置に基づいて入力対象平面上の各点を通る平面の情報を示す平面方程式を算出する手段と、前記算出した平面方程式で表せられる画像面に、前記撮像した各画像を再投影して画像を合成する手段とを備え、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに得られた画像面の基準座標系に対する姿勢角を算出する手段と、前記算出した画像面の基準座標系に対する姿勢角と、前記対応点を抽出する手段で得られた対応関係により前記撮像する手段の並進移動成分を算出する手段とを有することを特徴とする。
【0015】
また、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに検出した前記画像面の姿勢角の変化と並進移動成分を検出する手段と、前記検出した姿勢角の変化と並進移動成分とに基づいて前記各画像を撮像したときに得られた画像面の基準座標系に対する位置と姿勢を算出する手段とを有しても良い。
【0016】
さらに、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記対応点を抽出する手段で得られた複数の特徴点と対応点の位置関係から前記撮像する手段の姿勢変化と並進移動を算出する手段と、前記算出した前記撮像する手段の姿勢変化と並進移動とに基づいて前記各画像を撮像したときに得られた画像面の基準座標系に対する位置と姿勢を算出する手段とを有しても良い。
【0021】
この発明の撮像画像合成方法は、先に撮像した画像と一部が重複するようにして入力対象平面を撮像し、前記各画像を撮像する際の前記入力対象面に対する撮像角度である姿勢角を検出し、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出し、前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記各画像を撮像したときの並進運動成分を検出し、前記検出した姿勢角と、前記抽出した特徴点及び対応点と前記検出された並進運動成分とにより前記各特徴点の3次元位置を算出し、前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の3次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出し、前記検出した姿勢角と各特徴点の並進運動成分と前記算出した平面の情報とに基づいて、前記撮像した各画像を任意の同一画像面に投影して前記画像を合成することを特徴とする。
【0024】
前記先に撮像した画像と後に撮像した画像との重複部分の相互相関値が最大になるように前記画像の投影位置及びスケールを微調整することが望ましい。
【0027】
【発明の実施の形態】
この発明の撮像装置は、画像撮像部と運動検出部と対応関係抽出部と3次元位置算出部と平面算出部と投影部とを有する。画像撮像部は先に撮像した画像と一部が重複するようにして異なる複数例えば2点の視点から入力対象平面を撮像する。運動検出部は画像撮像部による各撮像の際の視点における画像撮像部の角度である姿勢角の変化及び視点の位置の変化を検出する。対応関係抽出部は先に撮像した画像から複数の特徴点を抽出し、特徴点を抽出した画像の次ぎに撮像した画像において先の画像で抽出した特徴点に対応する点である対応点を抽出する。3次元位置算出部は運動検出部が検出した姿勢角変化及び視点位置変化並びに対応関係抽出部が抽出した特徴点及び対応点を基に各特徴点の3次元位置を算出する。この特徴点の3次元位置を算出するには、例えば先に撮像した第1視点から次ぎに撮像した第2視点への姿勢変化を基に、第1視点の光学中心から各特徴点までの視線ベクトルと第2視点の光学中心から各対応点までの視線ベクトルを算出し、算出した視線ベクトルと第1視点と第2視点の位置変化を基に三角測量の原理により、各特徴点の3次元位置を算出する。
【0028】
平面算出部は対応関係抽出部が抽出した各特徴点が同一平面上にあるものとして、3次元位置算出部が計測した各特徴点の3次元位置を基に、例えば最小自乗法を用いて各特徴点が存在する平面の情報を示す平面方程式を算出する。投影部は運動検出部が検出した姿勢角変化及び視点位置変化並びに平面算出部が算出した平面の情報を基に、画像撮像部が撮像した各画像を任意な同一画像面に投影して複数の視点から撮像した画像を合成し、入力対象平面上の画像を復元する。
【0029】
【実施例】
図1はこの発明の一実施例の撮像装置の構成図である。図に示すように、撮像装置は、例えば画像撮像部1と運動検出部2と対応関係抽出部3と3次元位置算出部4と平面算出部5と投影部6と調整部7とを有する。画像撮像部1は、例えばCCDエリアセンサ等を備え、図2(a)に示すように、被写体10の入力対象平面Gcを第1視点Onと第2視点O(n+1)でそれぞれ撮像した画像の一部が、図2(b)及び図2(c)に示すように重複するようにして撮像する。図2(b)に示す第1視点Onで撮像した画像Gnの1つの特徴点Aを定めると、図2(b)に示す第2視O(n+1)で撮像した画像G(n+1)において画像Gnの特徴点Aに対応する対応点は点Bになる。
【0030】
運動検出部2は画像撮像部1による各撮像の際の入力対象平面Gcに対する画像撮像部1の角度である姿勢角の変化及び視点の位置の変化を検出する。対応関係抽出部3は第1視点Onで撮像した第1画像Gnから複数の特徴点Ai(iは整数であり、各特徴点の順番を表わす。)を抽出し、第2視点O(n+1)で撮像した第2画像G(n+1)において第1画像Gnの特徴点Aiに対応する第2画像G(n+1)の対応点Biを抽出する。3次元位置算出部4は運動検出部2が検出した姿勢角変化と視点位置変化及び対応関係抽出部3が抽出した特徴点Aiと対応点Biを基に各特徴点Aiの3次元位置(Xi1,Yi1,Zi1)を算出する。このように特徴点Aiの3次元位置(Xi1,Yi1,Zi1)を算出するには、第1視点Onで撮像した第1画像面の光学中心を原点とし、第1視点Onから第2視点O(n+1)に移動したときの画像撮像部1の姿勢変化を基に、第1視点Onの光学中心から各特徴点Aiまでの視線ベクトルV1iと第2視点O(n+1)の光学中心から対応点Biまでの視線ベクトルV2iを算出し、算出した視線ベクトルV1i,V2iと各視点の位置変化を基に三角測量の原理により、各特徴点Aiの3次元位置(Xi1,Yi1,Zi1)を算出する。
【0031】
平面算出部5は対応関係抽出部3が抽出した各特徴点Aiが同一平面上にあるとして、3次元位置算出部4が計測した各特徴点Aiの3次元位置(Xi1,Yi1,Zi1)を基に、例えば最小自乗法を用いて各特徴点Aiが存在する平面の情報として平面方程式を算出する。投影部6は運動検出部5が検出した姿勢角変化及び視点位置変化並びに平面算出部5が算出した平面方程式を基に、画像撮像部1が撮像した各画像を任意の同一画像面に投影して、複数の視点から撮像した各画像を合成する。ここで、画像撮像部1が撮像した各画像を任意の同一画像面に投影する動作について、図3を参照して説明する。
【0032】
ある視点で得た画像面In上の点Pnとこの視点の光学中心Onとを結ぶ直線が平面算出部5が算出した平面Gcと交差する点をPcとする。また、新たに合成する画像を投影する画像面をImとし、この光学中心をOmとする。点Pcと光学中心Omとを結ぶ直線が画像面Imと交差する点Pmに画素をマッチングする。この動作を必要な画素全てに対して行なうことにより、図4に示すように画像面Imに新たな画像を形成する。この処理を画像撮像部1が撮像した各画像に対して行ない、画像撮像部1が撮像した各画像を任意な同一画像面に投影することにより複数の視点から撮像した画像を合成する。ここで、このようにして形成した画像は記憶装置に保存しても良いし、表示装置に表示したり、印刷装置から印刷するようにしても良い。
【0033】
調整部7は、画像撮像部1が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する。入力対象平面Gc上の画像は一部が重複するように撮像されているので、画像を投影する画像面Imにおいて重複して撮像された領域は重複して投影されている。第1画像の重複部画像をIn(x,y)とし、第2画像の重複部画像をIm(x,y)としたとき、下記(1)式で示す相関関数の値Sが最大となるようにδx及びδyを求め、第2画像の全画素をδx及びδyだけシフトする。
【0034】
【数1】
【0035】
上記のように構成した撮像装置の動作を図5のフローチャートを参照して説明する。画像撮像部1は入力対象平面Gcを第1視点から撮像し、撮像した第1画像を記憶装置に記憶する(ステップS1,S2)。その後、ユーザが画像撮像部1を撮像した画像の一部が重複するように第2視点に移動した後に第2視点から撮像し、撮像した第2画像を記憶装置に記憶する(ステップS3,S4)。このように、第1画像と第2画像の一部が重複するように撮像するので、画像撮像部1が撮像した各画像の関連を容易に検出することができる。
【0036】
運動検出部2は第1画像を撮像した際から第2画像を撮像する際までの画像撮像部1の姿勢角の変化及び視点の位置の変化を検出する(ステップS5)。対応関係抽出部3は第1画像から複数の特徴点Aiを抽出し、第2画像から対応点Biを抽出する(ステップS6)。これにより、第1画像と第2画像との対応関係を検出することができる。3次元位置算出部4は運動検出部2が検出した姿勢角変化及び視点位置変化並びに対応関係抽出部3が抽出した特徴点Aiと対応点Biを基にして各特徴点Aiの3次元位置(Xi1,Yi1,Zi1)を算出する(ステップS7)。平面算出部5は対応関係抽出部3が抽出した各特徴点Aiが同一平面上にあるものとして、3次元位置算出部4が計測した各特徴点Aiの3次元位置(Xi1,Yi1,Zi1)を基に最小自乗法を用いて各特徴点Aiが存在する平面の平面方程式を算出する(ステップS8)。投影部6は運動検出部5が検出した姿勢角変化及び視点位置変化並びに平面算出部5が算出した平面方程式を基に、画像撮像部1が撮像した各画像を任意の同一画像面Imに投影して、複数の視点から撮像した各画像を合成する(ステップS9)。このようにして、画像撮像部1が並進移動することによる影響により合成画像に歪が生じることを防止できるとともに、画像撮像部1の回転が合成画像の歪の原因になることを防止できる。
【0037】
調整部7は、画像撮像部1が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する(ステップS10)。これにより、合成した各画像にずれが生じることを防止でき、さらに正確に画像の合成を行なうことができる。
【0038】
次ぎに、この発明の第2の実施例の撮像装置について説明する。第2の実施例の撮像装置は、図6の構成図に示すように、画像撮像部1と姿勢検出部8と対応関係抽出部3と並進運動検出部9と3次元位置算出部4と平面算出部5と投影部6と調整部7を有する。
【0039】
姿勢検出部8は、例えば図7に示すようにX軸方向磁気方位センサ81とZ軸方向磁気方位センサ81と姿勢角検知部83とを有する。X軸方向磁気方位センサ81とZ軸方向磁気方位センサ82はそれぞれ画像面に垂直な方向をZ軸とした場合のX軸方向とZ軸方向の磁気の検出信号を出力する。ここで検出する磁気方位は地磁気によるものでも、人工的に発生させた磁界によるものでも良い。姿勢角検知部83はX軸方向磁気方位センサ81とZ軸方向磁気方位センサ82からの信号を基に画像撮像部1で撮像するときの各視点における画像撮像部1の角度である姿勢角を検知する。
【0040】
並進運動検出部9は姿勢検出部8が検出した姿勢角並びに対応関係抽出部3が抽出した特徴点Ai及び対応点Biを基に画像撮像部1の並進運動成分Tを算出する。並進運動成分Tを算出するには、例えば並進運動検出部9は姿勢検出部8が検出した第1画像撮像の際の姿勢角と第2画像撮像の際の姿勢角から姿勢角の変化を算出し、図8に示すような同じ座標系で特徴点Aiを通る視線ベクトルV1iと対応点Biを通る視線ベクトルV2iを算出する。視線ベクトルV1i,V2iと並進運動ベクトルTのスカラーの三重積は理想的には「0」である。そこで、並進運動ベクトルTは各特徴点Aiにおけるスカラーの三重積の総和である下記(2)式に示す値を最小化する値として算出する。
【0041】
【数2】
【0042】
3次元位置算出部4は、姿勢検出部8が検出した姿勢角と対応関係抽出部3が抽出した特徴点Aiと対応点Bi及び並進運動検出部9が検出した並進運動ベクトルTを基に三角測量の原理を用いて各特徴点Aiの3次元位置を算出する。
【0043】
上記のように構成した撮像装置の動作を図9のフローチャートを参照して説明する。画像撮像部1は入力対象平面Gcを第1視点で撮像し、撮像した第1画像を記憶装置に記憶する(ステップS11)。姿勢検出部8は画像撮像部1が第1視点から撮像した際の画像撮像部1の姿勢角を検出する(ステップS12)。その後、ユーザが画像撮像部1をそれぞれ撮像した画像の一部が重複するように第2視点に移動した後に第2視点で撮像し、撮像した第2画像を記憶装置に記憶する(ステップS13)。姿勢検出部8は画像撮像部1が第1視点から撮像した際と同様に画像撮像部1が第1視点から撮像した際の画像撮像部1の姿勢角を検出し、さらに第1視点から撮像した際の姿勢角と第2視点から撮像した際の姿勢角の変化を検出する(ステップS14)。このように、第1画像と第2画像の一部が重複するように撮像するとともにその際の姿勢角を検出するので、画像撮像部1が撮像した各画像の関連を容易に検出することができるとともに画像撮像部1の姿勢角の変化による影響をなくすことができる。
【0044】
対応関係抽出部3は第1画像から複数の特徴点Aiを抽出し、第2画像から対応点Biを抽出する(ステップS15)。これにより第1画像と第2画像との対応関係を検出することができる。並進運動検出部9は姿勢検出部8が検出した姿勢角並びに対応関係抽出部3が抽出した特徴点Ai及び対応点Biを基に画像撮像部1の並進運動ベクトルTを算出する(ステップS16)。3次元位置算出部4は運動検出部2が検出した姿勢角変化と視点位置変化と対応関係抽出部3が抽出した特徴点Aiと対応点Bi及び並進運動検出部9が検出した並進運動ベクトルTを基に各特徴点Aiの3次元位置(Xi1,Yi1,Zi1)を算出する(ステップS17)。平面算出部5は対応関係抽出部3が抽出した各特徴点Aiが同一平面上にあるものとして、3次元位置算出部4が計測した各特徴点Aiの3次元位置(Xi1,Yi1,Zi1)を基に最小自乗法を用いて各特徴点Aiが存在する平面の平面方程式を算出する(ステップS18)。投影部6は運動検出部5が検出した姿勢角変化及び視点位置変化並びに平面算出部5が算出した平面方程式を基に、画像撮像部1が撮像した各画像を任意な同一画像面Imに投影して、複数の視点から撮像した各画像を合成する(ステップS19)。これにより、画像撮像部1が平行移動することによる影響により合成画像に歪が生じることを防止できるとともに、画像撮像部1の回転が合成画像の歪の原因になることを防止できる。調整部7は、画像撮像部1が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する(ステップS20)。これにより、合成した各画像にずれが生じることを防止でき、さらに正確に画像の合成を行なうことができる。
【0045】
上記実施例では姿勢検出部8にX軸方向磁気方位センサ81とZ軸方向磁気方位センサ82と姿勢角検知部83を設けた場合について説明したが、さらにY軸方向磁気方位センサを設けても良い。
【0046】
また、姿勢検出部8に、例えば図10に示すようにX軸方向磁気方位センサ81とY軸方向磁気方位センサ84と画像撮像部1の重力方向に対する角度を検出する重力方向検出器85と姿勢角検知部83を設けても良い。ここで重力方向検出器85としては、例えばX軸,Y軸,Z軸の各軸方向の加速度を検出する加速度センサを用いて画像撮像部1の姿勢角を検出するようにしても良いし、水準器を用いて姿勢角を検出するようにしても良い。このように重力方向に対する角度を重力方向検出器85で検出し、重力方向周りの回転角度をX軸方向磁気方位センサ81とY軸方向磁気方位センサ84で検出することができるので、より正確に姿勢角を検出することができる。また重力方向検出器8は、2軸方向の磁気を検出するもので良いが、大きく傾く場合には3軸回り磁気を検出するようにすると良い。
【0047】
さらに、姿勢検出部8に、例えば図11に示すようにX軸回りジャイロ86とY軸回りジャイロ87と姿勢角検知部83を設けても良い。X軸回りジャイロ86とY軸回りジャイロ87は、X軸回りとY軸回りの回転角速度を検出する角速度検出部としての機能を有し、それぞれX軸回りの回転角速度及びY軸回りの回転角速度を示す信号を出力する。姿勢角検知部83はX軸回りジャイロ86とY軸回りジャイロ87が出力した信号をデジタル変換した後に積分して姿勢角を検出する。このようにして磁気が不安定な場所又は磁気を検出するのが困難な場合であっても正確に画像撮像部1の姿勢角を検出することができる。
【0048】
次ぎにこの発明の第3の実施例の撮像装置について説明する。第3の実施例の撮像装置は、図12の構成図に示すように、画像撮像部1と位置検出部11と対応関係抽出部3と3次元位置算出部4と平面算出部5と投影部6を有する。位置検出部11は、図2に示すように、画像撮像部1で入力対象平面Gcを第1視点Onと第2視点O(n+1)でそれぞれ撮像したときの画像面の基準座標系における位置と姿勢角を検出する。3次元位置算出部4は、位置検出部11で検出した画像面の基準座標系における位置と姿勢角及び対応関係抽出部3で抽出した第1画像Gnの特徴点Aiと第2画像G(n+1)の対応点Biを基に各特徴点Aiの3次元座標値を算出する。
【0049】
上記のように構成された撮像装置の動作を図13のフローチャートを参照して説明する。画像撮像部1で対象物を第1視点Onにおいて撮像したときの画像Gnを記憶し、位置検出部11で基準座標系における画像面の位置と姿勢を算出する(ステップS21)。その後、画像撮像部1を第2視点O(n+1)に移動して対象物を撮像し、撮像した画像G(n+1)を記憶し、位置検出部11で基準座標系における画像面の位置と姿勢を算出して3次元位置算出部4に送る(ステップS22)。対応関係抽出部3は第1視点Onにおいて撮像した画像Gn上の特徴点Aiを抽出し(ステップS23)、第2視点O(n+1)で撮像した画像G(n+1)の特徴点Aiに対応する対応点Biを抽出し3次元位置算出部4に送る(ステップS24)。3次元位置算出部4は位置検出部11で検出した各視点On,O(n+1)における画像面の位置と姿勢角及び対応関係抽出部3で抽出した第1画像Gnの特徴点Aiと第2画像G(n+1)の対応点Biを基に各特徴点Aiの3次元座標値を算出し平面算出部5に送る(ステップS25)。平面算出部5は複数の対象平面上の各特徴点Aiの座標値より平面方程式を算出する(ステップS26)。投影部6は平面算出部5で算出した平面方程式で表せる画像面に各視点On,O(n+1)で撮像した画像を再投影して合成する(ステップS27)。複数の視点で画像を撮像した場合は、上記処理を繰り返す(ステップS28,S29)。そして必要な場合、別の画像面へ再投影する(ステップS30)。
【0050】
このようにして複数の視点で分割した撮像した画像を簡単に合成することができるとともに、歪がなく精細な画像を得ることができる。
【0051】
上記第3の実施例の位置検出部11を、図14に示すように、姿勢算出部12と並進計算部13で構成しても良い。姿勢算出部12は、例えば加速度センサと磁気方位センサとジャイロのいずれか又はこれらの組合せを有し、各視点における画像撮像部1の姿勢角あるいは姿勢角変化を算出する。並進計算部13は姿勢算出部12で算出した姿勢角から各視点で得られた画像面の基準座標系に対する姿勢角を算出し、対応関係抽出部3で抽出した第1画像Gnの特徴点Aiと第2画像G(n+1)の対応点Biの対応関係より、図8に示す画像撮像部1の並進運動ベクトルTを算出する。この並進計算部13で算出した各視点で得られた画像面の基準座標系に対する姿勢角と画像撮像部1の並進運動ベクトルT及び対応関係抽出部3が抽出した特徴点Aiと対応点Biを基に3次元位置算出部4で三角測量の原理を用いて各特徴点Aiの3次元位置を算出する。
【0052】
姿勢算出部12として3軸加速度センサと2軸磁気方位センサを用いた場合、図15に示すように、重力方向をY軸とした基準座標系X,Y,Z軸及び画像撮像部1の光軸をW軸と一致させた撮像部座標系U,V,W軸を定義し、基準座標系X,Y,Z軸に対する撮像部座標系U,V,W軸の傾きを姿勢角θ(U),θ(V),θ(W)とする。回転の順序は、基準座標系と撮像部座標系が一致する状態からV(Y)軸回りにθ(V)だけ回転させてから、移動した撮像部座標系を基準にU軸回りにθ(U)だけ回転させ、移動した撮像部座標系を基準にW軸回りにθ(W)だけ回転させる。それぞれの回転行列をR(V),R(U),R(U)として、回転行列R=R(V)・R(U)・R(W)を下記(3)式で表す。
【0053】
【数3】
【0054】
また、3軸加速度センサの出力Aと2軸磁気方位センサの出力Mを下記(4)式で表す。
【0055】
【数4】
【0056】
ただし、2軸磁気方位センサを用いる場合M(Y)は不定である。また、重力加速度ベクトルGは下記(5)式で表せる。
【0057】
【数5】
【0058】
ここで地磁気の伏角φを既知とすると、地磁気べクトルDは下記(6)式となる。
【0059】
【数6】
【0060】
ここで回転行列Rと3軸加速度センサの出力Aと重力加速度ベクトルGは下記(7)式の関係があるから(8)式が得られる。
【0061】
【数7】
【0062】
(8)式より姿勢角θ(U),θ(W)は下記(9)式で得られる。(9)式においてcosθ(U)が0の場合、θ(W)は任意に定めて良い。
【0063】
【数8】
【0064】
さらに、回転行列Rと2軸磁気方位センサの出力Mと地磁気べクトルDは下記(10)式の関係があるから(11)式が得られる。
【0065】
【数9】
【0066】
(11)式より下記(12)式が算出され、(12)式より姿勢角θ(V)は(13)式で得られる。
【0067】
【数10】
【0068】
このようにして姿勢算出部12により3軸加速度センサと2軸磁気方位センサの出力から基準座標系X,Y,Z軸に対する画像撮像部座標系U,V,W軸の傾きを姿勢角θ(U),θ(V),θ(W)を算出することができる。
【0069】
次ぎに、姿勢算出部12として3軸加速度センサと3軸磁気方位センサの出力から基準座標系X,Y,Z軸に対する画像撮像部座標系U,V,W軸の傾きを姿勢角θ(U),θ(V),θ(W)を算出する場合を示す。この場合、姿勢角θ(U),θ(W)は上記(9)式で得られる。ここで地磁気の伏角は未知として良く、地磁気ベクトルDを下記(14)とする。
【0070】
【数11】
【0071】
ここでベクトルD1を下記(15)とおくと(16)式が得られる。
【0072】
【数12】
【0073】
(16)式より(17)式が得られる。
【0074】
【数13】
【0075】
(17)式より姿勢角θ(V)が下記(18)式で得ることができる。
【0076】
【数14】
【0077】
また、位置検出部11を、図16に示すように、運動検出部14と位置姿勢計算部15で構成しても良い。運動検出部14は、例えば加速度センサとジャイロからなり、画像撮像部1が視点を変えて撮像するときに、画像撮像部1が移動する過程における姿勢角変化と並進運動成分を検出する。位置姿勢計算部15は検出した画像撮像部1の姿勢角変化と並進運動成分から各視点で得られた画像面の基準座標系に対する位置と姿勢を算出する。この算出した各視点で得られた画像面の基準座標系に対する位置と姿勢及び対応関係抽出部3が抽出した特徴点Aiと対応点Biを基に3次元位置算出部4で三角測量の原理を用いて各特徴点Aiの3次元位置を算出する。
【0078】
さらに、図17に示すように、運動計算部16で基準座標系に対する各画像面の位置と姿勢を算出するようにしても良い。この場合、運動計算部16は対応関係抽出部3が抽出した特徴点Aiと対応点Biの対応関係より視点間の画像撮像部1の位置変化と姿勢角変化を求め、求めた位置変化と姿勢角変化より基準座標系における各画像面の位置と姿勢を算出する。この算出した各視点で得られた画像面の基準座標系に対する位置と姿勢及び対応関係抽出部3が抽出した特徴点Aiと対応点Biを基に3次元位置算出部4で三角測量の原理を用いて各特徴点Aiの3次元位置を算出する。
【0079】
また、上記各実施例で投影部6において各撮像画像を任意の位置と姿勢の画像面に再投影後、その位置を微調整することにより合成画像の歪みを軽減することができる。すなわち、被写体は一部が重なるよう撮像されているので、再投影される画像面において、その領域は重複して投影される。そこで第1視点から投影されるこの重複部画像と第2視点から投影される重複部画像の(1)式に示す相関関数が最大となる微小量δx、δyを求め、第2視点から投影される全画像に対して、δx、δyだけ平行移動させる。ここで位置の微調整は相互相関値を用いるものに限られず、サブピクセルレベルの位置合わせを行っても良い。
【0080】
次ぎにこの発明の他の実施例の撮像装置について説明する。この実施例の撮像装置は、図18の構成図に示すように、画像撮像部1と3次元位置検出部17と平面算出部5aと投影部6a及び再調整部18を有する。画像撮像部1は、図2(a)に示すように,平面状の被写体10を視点を変えて撮像する。この視点を変えて撮像するときに、撮像する画像の一部が必ずしも重なり合っていなくても良い。3次元位置検出部17は、例えば超音波やレーザーなどを用いた測距センサからなり、視点を変えて撮像したときに撮像対象物平面の複数の特徴点の距離を計測して各特徴点の3次元位置を検出する。平面算出部5aは3次元位置検出部17で検出した各特徴点の3次元位置から、最小自乗法などにより、被写体10の面の空間上での平面方程式を算出する。ただし、この場合、算出した平面は各視点を基準とした平面となり、視点の数だけ存在し、図19に示すように、視点Onと視点O(n+1)で撮像したとき、視点Onを基準にした平面Gcnと視点O(n+1)を基準とした平面Gc(n+1)を算出する。投影部6aは視点Onで撮像した画像Gnを平面Gcnへ再投影し、視点O(n+1)で撮像した画像G(n+1)を平面Gc(n+1)へ再投影する。再調整部18は画像Gnを投影した平面Gcnと画像G(n+1)を投影した平面Gc(n+1)の位置と姿勢を調整して合成画像を得る。この調整方法としては、画像Gnと画像G(n+1)に重なる部分がある場合は、それらが適合するように調整し、重なる部分がほとんどない場合は、画像Gnと画像G(n+1)が滑らかにつながるよう調整する。投影部6aは調整して合成画像を、必要ならば任意の仮想的な視点の画像面Gpへ投影して新たな画像を得る。
【0081】
上記のように構成した撮像装置の動作を図20のフローチャートを参照して説明する。第1視点において画像撮像部1で対象物を撮像したときの画像Gnを記憶し、3次元位置検出部17で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の3次元位置を求める。平面算出部5aは各特徴点の3次元位置により画像撮像部1に対する対象平面Gcnの位置と姿勢を示す平面方程式を算出する(ステップS31)。投影部6aは算出した平面Gcnに撮像した画像Gnを投影する(ステップS32)。次ぎに第2視点において画像撮像部1で対象物を撮像したときの画像G(n+1)を記憶し、3次元位置検出部17で撮像対象物平面の複数の特徴点の距離を計測し、各特徴点の3次元位置を求める。平面算出部5aは各特徴点の3次元位置から画像撮像部1に対する対象平面Gc(n+1)の位置と姿勢を示す平面方程式を算出する(ステップS33,S34)。投影部6aは算出した平面Gc(n+1)に撮像した画像G(n+1)を投影する(ステップS35)。再調整部18は画像Gnを投影した平面Gcnと画像G(n+1)を投影した平面Gc(n+1)の位置と姿勢を調整して合成画像を得る(ステップS36)。この処理を視点を変えて撮像するたびに繰り返し、所定の各視点で撮像と処理が終了したら(ステップS37)、投影部6aは合成した画像を別の画像面へ再投影する(ステップS38)。
【0082】
このように各視点で複数の特徴点の距離を直接検出して対象平面の位置と姿勢を定めるから、対象平面を算出する処理の高速化を図ることができる。
【0083】
上記実施例は3次元位置検出部17に超音波やレーザーなどを用いた測距センサを使用した場合について説明したが、画像撮像部1の画像面に対象物平面上の特徴点が合焦したときのレンズと画像面の位置関係から特徴点の距離を算出するようにしても良い。
【0084】
また、図21に示すように、3次元位置検出部17とともに姿勢算出部12を設け、3次元位置検出部17で検出した各特徴点の3次元位置と姿勢算出部12で得られた画像撮像部1の姿勢から基準座標系における平面方程式を算出することにより、対象平面の位置と姿勢を示す平面方程式を算出するとき、姿勢角の調整を行う必要がなく処理の高速化を図ることができる。
【0085】
この場合の動作を図22のフローチャートを参照して説明する。第1視点において、画像撮像部1で対象物を撮像したときの画像Gnを記憶し、3次元位置検出部17で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の3次元位置を求め、姿勢算出部12で画像撮像部1の基準座標に対する姿勢を算出する。平面算出部5aは各特徴点の3次元位置から、画像撮像部1に対する対象平面の位置と姿勢を示す平面方程式を算出する(ステップS41)。この平面方程式を画像撮像部1の基準座標に対する姿勢をもとに基準座標へ変換する(ステップS42)。投影部6aは変換した平面方程式で示す平面に画像Gnを投影する(ステップS43)。次ぎに第2視点において画像撮像部1で対象物を撮像したときの画像G(n+1)を記憶し、3次元位置検出部17で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の3次元位置を求め、姿勢算出部12で画像撮像部1の基準座標に対する姿勢を算出する。平面算出部5aは各特徴点の3次元位置から、画像撮像部1に対する対象平面の位置と姿勢を示す平面方程式を算出し(ステップS44,S45)、平面方程式を画像撮像部1の基準座標に対する姿勢をもとに基準座標へ変換する(ステップS46)。投影部6aは変換した平面方程式で示す平面に画像G(n+1)を投影する(ステップS47)。再調整部18は画像Gnを投影した平面と画像G(n+1)を投影した平面の位置と姿勢を調整して合成画像を得る(ステップS48)。この処理を視点を変えて撮像するたびに繰り返し、各視点で撮像と処理が終了したら(ステップS49)、投影部6aは合成した画像を別の画像面へ再投影する(ステップS50)。
【0086】
【発明の効果】
この発明は以上説明したように、入力対象平面をそれぞれ一部が重複するようにして複数の視点から撮像した際の姿勢角を算出し、算出した姿勢角と各視点で撮像した画像の対応関係から視点を変えたときの並進移動成分を検出し、姿勢角と特徴点と対応点及び並進運動成分を基に各特徴点に相当する入力対象平面上の3次元位置を算出して撮像した入力対象平面の各画像を任意の同一画像面に投影するので、姿勢角の変化による影響を取り除いて、複数の視点から撮像した画像をより正確に合成することができる。
【0087】
また、複数の視点から撮像した画像を合成し、入力対象平面上の画像を復元するので、入力対象平面上の画像が大きい場合及び入力対象平面を有する対象物を移動できない場合であっても画像を撮像し復元をすることができる。
【0091】
また、互いに直交する2軸周り又は3軸周りの角速度から撮像するときの姿勢角を検出することにより、磁気による方位検出が困難な場合であっても簡単に撮像するときの姿勢角を検出することができる。
【0092】
また、各視点において撮像した入力対象平面の画像を投影した際に、その重複部分の相互相関値が最大になるように投影位置及びスケールを微調整するので、歪のない高精度の画像を再生することができる。
【0093】
また、視点を変えて撮像するときに、基準座標系における画像面の位置と姿勢を算出し、各視点における画像面の位置と姿勢角及び各画像の対応関係から各特徴点の3次元座標値を算出して平面方程式を算出するから、平面状の被写体を分割撮像して合成するときに、歪みなしで合成することができ、簡単な構成で高精細な画像を得ることができる。
【0094】
また、各視点で撮像するときの姿勢角を算出し、各視点で得られた画像面の基準座標系に対する姿勢角を算出し、算出した画像面の基準座標系に対する姿勢角と各視点で撮像した画像の対応関係から視点を変えたときの並進移動成分を算出するから、視点を変えたときの位置と姿勢を簡単に検出することができ、各特徴点の3次元座標値を算出して平面方程式を簡単に算出することができる。
【0096】
また、視点を変えて撮像した画像の対応関係から視点間の姿勢変化と並進移動を算出することにより、撮像部の動きを検出するセンサが不要となり、装置全体の構成を簡略化できる。
【0097】
さらに、各視点で撮像した画像を合成するときに隣接画像間で位置合わせを行うから、良質な合成画像を得ることができる。
【図面の簡単な説明】
【図1】この発明の実施例を示す構成図である。
【図2】入力対象平面に対する第1画像及び第2画像の関係を示す説明図である。
【図3】画像投影の原理を示す説明図である。
【図4】画像合成の原理を示す説明図である。
【図5】撮像装置の動作を示すフローチャートである。
【図6】第2の実施例の構成図である。
【図7】姿勢検出部の構成図である。
【図8】並進運動ベクトルを算出する原理を示す説明図である。
【図9】第2の実施例の動作を示すフローチャートである。
【図10】重力方向検出器を有する姿勢検出部の構成図である。
【図11】ジャイロを有する姿勢検出部の構成図である。
【図12】第3の実施例の構成図である。
【図13】第3の実施例の動作を示すフローチャートである。
【図14】第4の実施例の構成図である。
【図15】基準座標系と画像撮像部座標系を示す説明図であ。
【図16】第5の実施例の構成図である。
【図17】第6の実施例の構成図である。
【図18】第7の実施例の構成図である。
【図19】第7の実施例の画像合成を示す説明図である。
【図20】第7の実施例の動作を示すフローチャートである。
【図21】第8の実施例の構成図である。
【図22】第8の実施例の動作を示すフローチャートである。
【符号の説明】
1 画像撮像部
2 運動検出部
3 対応関係抽出部
4 3次元位置算出部
5 平面算出部
6 投影部
7 調整部
8 姿勢検出部
9 並進運動検出部
11 位置検出部
12 姿勢算出部
13 並進計算部
14 運動検出部
15 位置姿勢計算部
16 運動計算部
17 3次元位置検出部
18 再調整部[0001]
BACKGROUND OF THE INVENTION
The present invention captures an image on an input target plane a plurality of times so as to partially overlap each other, combines the captured images on one screen, and restores the captured image, and a captured image combining method, particularly an input to be captured The present invention relates to the synthesis of a high-definition flat image by reducing distortion of the divided image when the target plane is large.
[0002]
[Prior art]
There is a need for a device that can easily and accurately input and restore text or photographs on a plane. In the case of an image on a normal size paper such as A4 size or A3 size, high-accuracy image input is possible with a copying machine or a scanner. As described above, a copying machine or a scanner can read an image on a normal size paper with high accuracy, but it is large as information on a large paper, information written on a wall, information displayed on a panel, or the like. An image or an image drawn on a medium that cannot be moved cannot be input. Therefore, as an apparatus for inputting such a large image or an image drawn on a medium that cannot be moved using an electronic camera, for example, an electronic camera disclosed in Japanese Patent Laid-Open No. 6-141228 or Japanese Patent Laid-Open No. 9-90530. A panoramic image synthesizing apparatus or the like disclosed in the publication is used.
[0003]
The electronic camera disclosed in Japanese Patent Application Laid-Open No. 6-141228 forms a subject image on an image sensor via a photographing lens and a mirror, and the subject image so that a part of the current image overlaps a part of the previous image. Are intermittently captured a plurality of times and moved to a position where the current image is properly connected to the previous image. Further, the panoramic image synthesizing apparatus disclosed in Japanese Patent Application Laid-Open No. 9-90530 calculates parameters for synthesizing images, and synthesizes images based on the calculated parameters, thereby increasing the height of the divided images of the electronic camera. I'm trying to get an accurate image.
[0004]
[Problems to be solved by the invention]
However, the electronic camera disclosed in Japanese Patent Application Laid-Open No. 6-141228 requires a mirror and its driving mechanism, which increases the scale of the apparatus and is difficult to be mounted on a normal electronic camera.
[0005]
Further, when an image on a document or a panel is captured, the distance between the camera and the subject is short, so in the panorama image composition device disclosed in Japanese Patent Laid-Open No. 9-90530, the effect of perspective projection due to the translational movement of the camera. Distortion occurs in the composite image. Further, since a human holds the electronic camera, arbitrary rotation occurs in the image, which causes distortion of the composite image.
[0006]
The present invention has been made in order to eliminate such disadvantages, and an imaging apparatus and a captured image that can input a simple and high-definition planar image by reducing distortion when combining divided images. The object is to provide a synthesis method.
[0007]
[Means for Solving the Problems]
An imaging apparatus according to the present invention isMeans for capturing an input target plane from a plurality of viewpoints so that a part thereof overlaps with the previously captured image, and an angle of the image capturing means with respect to the input target plane when each image is captured by the image capturing means; Means for detecting a certain posture angle;Means for extracting a plurality of feature points of the previously captured image from an overlapping portion between the previously captured image and the subsequently captured image, and extracting corresponding points corresponding to the feature points from the subsequently captured image;Means for detecting a translational motion component of the means for imaging based on the detected posture angle and the extracted feature points and corresponding points; the detected posture angle; and the extracted feature points and corresponding points; Based on the detected three-dimensional position of each feature point, the means for calculating the three-dimensional position of each feature point based on the detected translational movement component and the extracted feature points are on the same plane. The imaging is performed on the basis of means for calculating information on a plane in which each feature point exists on the same plane, the detected attitude angle, the translational motion component of each feature point, and the calculated plane information. Means for projecting each image onto an arbitrary same image plane and synthesizing the images.
[0012]
The means for synthesizing the image includes the first captured image and the later captured image.OverlapMeans for finely adjusting the projection position and scale of the image so that the cross-correlation value of the image becomes the maximum, and further highly accurate image restoration without distortion is performed.
[0013]
According to this inventionThe second imaging deviceA posture angle which is a position and an angle of an image plane of the image capturing unit when the image capturing unit captures each image so as to partially overlap the previously captured image, and the image capturing unit captures each image. And a plurality of feature points of the previously captured image from the overlapping portion of the previously captured image and the later captured image, and corresponding points corresponding to the feature points from the later captured image Of each point on the input target plane corresponding to each feature point based on the detected image plane position, posture angle change and viewpoint position change, and the extracted feature points and corresponding points. Means for calculating a three-dimensional position; means for calculating a plane equation indicating information of a plane passing through each point on the input target plane based on the calculated three-dimensional position of each point on the input target plane; Expressed by the plane equation The image plane, and means for synthesizing an image by re-projecting each image of which an image is capturedMeans for detecting an attitude angle which is a position and an angle of an image plane of the imaging means; means for calculating an attitude angle with respect to a reference coordinate system of an image plane obtained when the images are captured; and the calculation And a means for calculating a translational movement component of the image pickup means based on the correspondence angle obtained by the means for extracting the corresponding point and the attitude angle of the image plane with respect to the reference coordinate system.
[0015]
Further, the means for detecting the attitude angle which is the position and angle of the image plane of the imaging means is a means for detecting a change in the attitude angle of the image plane detected when each image is captured and a translational movement component. And a means for calculating the position and orientation of the image plane obtained with respect to the reference coordinate system obtained when each of the images is captured based on the detected change in the orientation angle and the translational movement component.
[0016]
Further, the means for detecting the posture angle which is the position and angle of the image plane of the image pickup means is the image pickup means based on the positional relationship between the plurality of feature points and the corresponding points obtained by the means for extracting the corresponding points. The position and orientation relative to the reference coordinate system of the image plane obtained when each image is imaged based on the orientation change and translational movement, and the calculated orientation change and translational movement of the imaging means. And means for calculating.
[0021]
The captured image composition method of the present invention captures an input target plane so that a part of the captured image overlaps with the previously captured image,Detecting an attitude angle that is an imaging angle with respect to the input target surface when imaging each image;Extracting a plurality of feature points of the previously captured image from the overlapping portion of the previously captured image and the subsequently captured image, and extracting corresponding points corresponding to the feature points from the subsequently captured image;Based on the detected posture angle and the extracted feature points and corresponding points, a translational motion component when each image is captured is detected, and the detected posture angles, the extracted feature points and corresponding points are Based on the detected translational motion component, a three-dimensional position of each feature point is calculated, and the extracted feature points are assumed to be on the same plane, based on the calculated three-dimensional position of each feature point. Information on a plane in which each feature point exists on the same plane is calculated, and each captured image is arbitrarily selected based on the detected attitude angle, the translational motion component of each feature point, and the calculated plane information. The image is synthesized by projecting on the same image plane.
[0024]
Between the previously captured image and the later captured image.OverlapIt is desirable to finely adjust the projection position and scale of the image so that the cross-correlation value becomes the maximum.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
The imaging apparatus of the present invention includes an image imaging unit, a motion detection unit, a correspondence relationship extraction unit, a three-dimensional position calculation unit, a plane calculation unit, and a projection unit. The image capturing unit captures an input target plane from a plurality of different viewpoints, for example, two viewpoints so that a part of the image capturing unit overlaps with the previously captured image. The motion detection unit detects a change in posture angle, which is an angle of the image capturing unit at the viewpoint at the time of each imaging by the image capturing unit, and a change in the position of the viewpoint. The correspondence relationship extraction unit extracts a plurality of feature points from the previously captured image, and extracts corresponding points that correspond to the feature points extracted in the previous image in the image captured next to the image from which the feature points have been extracted. To do. The three-dimensional position calculation unit calculates the three-dimensional position of each feature point based on the posture angle change and the viewpoint position change detected by the motion detection unit, and the feature point and the corresponding point extracted by the correspondence relationship extraction unit. In order to calculate the three-dimensional position of the feature point, for example, the line of sight from the optical center of the first viewpoint to each feature point based on the posture change from the first viewpoint captured first to the second viewpoint captured next. A line-of-sight vector from the optical center of the vector and the second viewpoint to each corresponding point is calculated, and the three-dimensional of each feature point is calculated by the principle of triangulation based on the calculated line-of-sight vector and the position change of the first viewpoint and the second viewpoint. Calculate the position.
[0028]
The plane calculation unit assumes that the feature points extracted by the correspondence relationship extraction unit are on the same plane, and uses each of the feature points measured by the 3D position calculation unit, for example, using the least square method. A plane equation indicating the plane information where the feature point exists is calculated. Based on the posture angle change and viewpoint position change detected by the motion detection unit and the plane information calculated by the plane calculation unit, the projection unit projects each image captured by the image imaging unit onto an arbitrary same image plane, and The images taken from the viewpoint are synthesized and the image on the input target plane is restored.
[0029]
【Example】
FIG. 1 is a block diagram of an image pickup apparatus according to an embodiment of the present invention. As shown in the drawing, the imaging apparatus includes, for example, an
[0030]
The motion detection unit 2 detects a change in posture angle, which is an angle of the
[0031]
The
[0032]
Let Pc be the point where a straight line connecting the point Pn on the image plane In obtained from a certain viewpoint and the optical center On of this viewpoint intersects the plane Gc calculated by the
[0033]
The
[0034]
[Expression 1]
[0035]
The operation of the imaging apparatus configured as described above will be described with reference to the flowchart of FIG. The
[0036]
The motion detection unit 2 detects a change in posture angle and a change in viewpoint position of the
[0037]
The
[0038]
Next, an image pickup apparatus according to a second embodiment of the present invention will be described. As shown in the block diagram of FIG. 6, the image pickup apparatus of the second embodiment includes an
[0039]
The
[0040]
The translational
[0041]
[Expression 2]
[0042]
The three-dimensional
[0043]
The operation of the imaging apparatus configured as described above will be described with reference to the flowchart of FIG. The
[0044]
The
[0045]
In the above embodiment, the case where the X axis direction
[0046]
Further, for example, as shown in FIG. 10, the
[0047]
Further, the
[0048]
Next, an image pickup apparatus according to a third embodiment of the present invention will be described. As shown in the block diagram of FIG. 12, the image pickup apparatus of the third embodiment includes an
[0049]
The operation of the imaging apparatus configured as described above will be described with reference to the flowchart of FIG. The image Gn when the object is imaged at the first viewpoint On is stored by the
[0050]
In this way, the captured images divided from a plurality of viewpoints can be easily combined, and a fine image without distortion can be obtained.
[0051]
As shown in FIG. 14, the
[0052]
When a three-axis acceleration sensor and a two-axis magnetic azimuth sensor are used as the
[0053]
[Equation 3]
[0054]
The output A of the triaxial acceleration sensor and the output M of the biaxial magnetic azimuth sensor are expressed by the following equation (4).
[0055]
[Expression 4]
[0056]
However, M (Y) is indefinite when a biaxial magnetic azimuth sensor is used. The gravitational acceleration vector G can be expressed by the following equation (5).
[0057]
[Equation 5]
[0058]
Here, assuming that the dip angle φ of geomagnetism is known, the geomagnetic vector D is expressed by the following equation (6).
[0059]
[Formula 6]
[0060]
Here, since the rotation matrix R, the output A of the triaxial acceleration sensor, and the gravitational acceleration vector G have the relationship of the following equation (7), equation (8) is obtained.
[0061]
[Expression 7]
[0062]
The posture angles θ (U) and θ (W) can be obtained from the following equation (9) from the equation (8). In the equation (9), when cos θ (U) is 0, θ (W) may be arbitrarily determined.
[0063]
[Equation 8]
[0064]
Furthermore, since the rotation matrix R, the output M of the biaxial magnetic azimuth sensor, and the geomagnetic vector D have the relationship of the following equation (10), equation (11) is obtained.
[0065]
[Equation 9]
[0066]
The following expression (12) is calculated from the expression (11), and the posture angle θ (V) is obtained from the expression (13) from the expression (12).
[0067]
[Expression 10]
[0068]
In this way, the
[0069]
Next, the inclination of the image capturing unit coordinate system U, V, and W axes with respect to the reference coordinate system X, Y, and Z axes is calculated from the outputs of the triaxial acceleration sensor and the triaxial magnetic azimuth sensor as the
[0070]
## EQU11 ##
[0071]
Here, when the vector D1 is set as the following (15), the equation (16) is obtained.
[0072]
[Expression 12]
[0073]
Equation (17) is obtained from Equation (16).
[0074]
[Formula 13]
[0075]
The posture angle θ (V) can be obtained from the following equation (18) from the equation (17).
[0076]
[Expression 14]
[0077]
Further, as shown in FIG. 16, the
[0078]
Further, as shown in FIG. 17, the
[0079]
In each of the above embodiments, the
[0080]
Next, an image pickup apparatus according to another embodiment of the present invention will be described. As shown in the block diagram of FIG. 18, the imaging apparatus of this embodiment includes an
[0081]
The operation of the imaging apparatus configured as described above will be described with reference to the flowchart of FIG. An image Gn obtained when the
[0082]
As described above, since the distance and the posture of the target plane are determined by directly detecting the distances of the plurality of feature points at each viewpoint, it is possible to speed up the process of calculating the target plane.
[0083]
In the above embodiment, the case where a distance measuring sensor using an ultrasonic wave or a laser is used for the three-dimensional
[0084]
In addition, as shown in FIG. 21, the
[0085]
The operation in this case will be described with reference to the flowchart of FIG. At the first viewpoint, the image Gn when the
[0086]
【The invention's effect】
As described above, the present invention is obtained when images are taken from a plurality of viewpoints so that the input target planes partially overlap each other.Calculate the attitude angle, detect the translational movement component when the viewpoint is changed from the correspondence between the calculated attitude angle and the image captured at each viewpoint, and each based on the attitude angle, the feature point, the corresponding point, and the translational motion component Since the three-dimensional position on the input target plane corresponding to the feature point is calculated and each image of the input target plane that is captured is projected on the same arbitrary image plane, the influence of the change in the attitude angle is removed, and from a plurality of viewpoints The captured images can be synthesized more accurately.
[0087]
In addition, since the images captured from a plurality of viewpoints are combined and the image on the input target plane is restored, the image is displayed even when the image on the input target plane is large and the object having the input target plane cannot be moved. Can be imaged and restored.
[0091]
In addition, by detecting the posture angle when imaging from the angular velocities around two or three axes orthogonal to each other, the posture angle when imaging is easily detected even when it is difficult to detect the direction by magnetism. be able to.
[0092]
Also, when projecting an input target plane image captured at each viewpoint, the projection position and scale are fine-tuned so that the cross-correlation value of the overlapped portion is maximized, so that high-precision images without distortion are reproduced. can do.
[0093]
In addition, when imaging is performed with different viewpoints, the position and orientation of the image plane in the reference coordinate system are calculated, and the three-dimensional coordinate value of each feature point is calculated from the position and orientation angle of the image plane at each viewpoint and the correspondence between the images. Therefore, when a plane subject is divided and imaged and synthesized, it can be synthesized without distortion, and a high-definition image can be obtained with a simple configuration.
[0094]
In addition, the attitude angle when imaging from each viewpoint is calculated, the attitude angle of the image plane obtained at each viewpoint with respect to the reference coordinate system is calculated, and the attitude angle with respect to the reference coordinate system of the calculated image plane and imaging is performed at each viewpoint Because the translational movement component when the viewpoint is changed is calculated from the correspondence between the images, the position and orientation when the viewpoint is changed can be easily detected, and the three-dimensional coordinate value of each feature point is calculated. The plane equation can be easily calculated.
[0096]
Also, by calculating the posture change and translational movement between the viewpoints from the correspondence relationship of the images picked up by changing the viewpoint, a sensor for detecting the movement of the imaging unit is unnecessary, and the configuration of the entire apparatus can be simplified.
[0097]
Furthermore, since the alignment is performed between the adjacent images when the images captured from the respective viewpoints are combined, a high-quality combined image can be obtained.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of the present invention.
FIG. 2 is an explanatory diagram illustrating a relationship between a first image and a second image with respect to an input target plane.
FIG. 3 is an explanatory diagram showing the principle of image projection.
FIG. 4 is an explanatory diagram showing the principle of image composition.
FIG. 5 is a flowchart illustrating an operation of the imaging apparatus.
FIG. 6 is a configuration diagram of a second embodiment.
FIG. 7 is a configuration diagram of a posture detection unit.
FIG. 8 is an explanatory diagram showing the principle of calculating a translational motion vector.
FIG. 9 is a flowchart showing the operation of the second embodiment.
FIG. 10 is a configuration diagram of an attitude detection unit having a gravity direction detector.
FIG. 11 is a configuration diagram of an attitude detection unit having a gyro.
FIG. 12 is a configuration diagram of a third embodiment.
FIG. 13 is a flowchart showing the operation of the third embodiment.
FIG. 14 is a configuration diagram of a fourth embodiment.
FIG. 15 is an explanatory diagram showing a reference coordinate system and an image capturing unit coordinate system.
FIG. 16 is a block diagram of a fifth embodiment.
FIG. 17 is a block diagram of a sixth embodiment.
FIG. 18 is a block diagram of a seventh embodiment.
FIG. 19 is an explanatory diagram showing image composition in the seventh embodiment.
FIG. 20 is a flowchart showing the operation of the seventh embodiment.
FIG. 21 is a block diagram of an eighth embodiment.
FIG. 22 is a flowchart showing the operation of the eighth embodiment.
[Explanation of symbols]
1 Image capturing unit
2 motion detector
3 correspondence extraction part
4 3D position calculator
5 Plane calculation part
6 Projection unit
7 Adjustment section
8 Attitude detection unit
9 Translational motion detector
11 Position detector
12 Attitude calculation unit
13 Translation calculator
14 Motion detector
15 Position and orientation calculator
16 motion calculator
17 3D position detector
18 Readjustment section
Claims (7)
前記撮像手段により各画像を撮像する際の前記入力対象面に対する前記撮像する手段の角度である姿勢角を検出する手段と、
前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出する手段と、
前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記撮像する手段の並進運動成分を検出する手段と、
前記検出した姿勢角と、前記抽出した特徴点及び対応点と、前記検出された並進運動成分とにより前記各特徴点の3次元位置を算出する手段と、
前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の3次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出する手段と、
前記検出した姿勢角と、各特徴点の並進運動成分と、前記算出した平面の情報とに基づいて前記撮像した各画像を任意の同一画像面に投影して前記画像を合成する手段と、
を備えたことを特徴とする撮像装置。Means for capturing an input target plane from a plurality of viewpoints so that a part of the image captured previously overlaps;
Means for detecting an attitude angle that is an angle of the image capturing unit with respect to the input target surface when each image is captured by the image capturing unit;
Means for extracting a plurality of feature points of the previously captured image from an overlapping portion between the previously captured image and the subsequently captured image, and extracting corresponding points corresponding to the feature points from the subsequently captured image;
Means for detecting a translational motion component of the means for imaging based on the detected attitude angle and the extracted feature points and corresponding points;
Means for calculating a three-dimensional position of each feature point from the detected posture angle, the extracted feature point and corresponding point, and the detected translational motion component;
Means for calculating information on a plane in which each feature point exists on the same plane based on the three-dimensional position of each calculated feature point, assuming that each extracted feature point is on the same plane;
Means for projecting the captured images on any same image plane based on the detected posture angle, the translational motion component of each feature point, and the calculated plane information, and combining the images;
An imaging apparatus comprising:
前記撮像する手段により各画像を撮像する際の前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段と、
前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記の特徴点に相当する対応点を抽出する手段と、
前記検出した画像面の位置と姿勢角変化及び視点位置変化と、前記抽出した特徴点及び対応点とに基づいて前記各特徴点に相当する入力対象平面上の各点の3次元位置を算出する手段と、
前記算出した入力対象平面上の各点の3次元位置に基づいて入力対象平面上の各点を通る平面の情報を示す平面方程式を算出する手段と、
前記算出した平面方程式で表せられる画像面に、前記撮像した各画像を再投影して画像を合成する手段とを備え、
前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに得られた画像面の基準座標系に対する姿勢角を算出する手段と、前記算出した画像面の基準座標系に対する姿勢角と、前記対応点を抽出する手段で得られた対応関係により前記撮像する手段の並進移動成分を算出する手段とを有することを特徴とする撮像装置。Means for imaging the input target plane so that a part of the previously captured image overlaps;
Means for detecting a posture angle which is a position and an angle of an image plane of the image capturing means when each image is captured by the image capturing means;
Means for extracting a plurality of feature points of a previously captured image from an overlapping portion between the previously captured image and a later captured image, and extracting corresponding points corresponding to the feature points from the subsequently captured image;
A three-dimensional position of each point on the input target plane corresponding to each feature point is calculated based on the detected image plane position, posture angle change, viewpoint position change, and the extracted feature points and corresponding points. Means,
Means for calculating a plane equation indicating information of a plane passing through each point on the input target plane based on the calculated three-dimensional position of each point on the input target plane;
Means for re-projecting each captured image and synthesizing the image on the image plane represented by the calculated plane equation;
The means for detecting the attitude angle, which is the position and angle of the image plane of the imaging means, calculates the attitude angle with respect to the reference coordinate system of the image plane obtained when each of the images is captured, and the calculated An image pickup apparatus comprising: an orientation angle of an image plane with respect to a reference coordinate system; and means for calculating a translational movement component of the image pickup means based on a correspondence obtained by the means for extracting the corresponding points.
前記各画像を撮像する際の前記入力対象面に対する撮像角度である姿勢角を検出し、
前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出し、
前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記各画像を撮像したときの並進運動成分を検出し、
前記検出した姿勢角と、前記抽出した特徴点及び対応点と前記検出された並進運動成分とにより前記各特徴点の3次元位置を算出し、
前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の3次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出し、
前記検出した姿勢角と各特徴点の並進運動成分と前記算出した平面の情報とに基づいて、前記撮像した各画像を任意の同一画像面に投影して前記画像を合成することを特徴とする撮像画像合成方法。Capture the input target plane so that part of it overlaps with the previously captured image,
Detecting an attitude angle that is an imaging angle with respect to the input target surface when imaging each image;
Extracting a plurality of feature points of the previously captured image from the overlapping portion of the previously captured image and the subsequently captured image, and extracting corresponding points corresponding to the feature points from the subsequently captured image;
Detecting a translational motion component when each of the images is captured based on the detected posture angle and the extracted feature points and corresponding points;
A three-dimensional position of each feature point is calculated from the detected posture angle, the extracted feature points and corresponding points, and the detected translational motion component,
Assuming that each extracted feature point is on the same plane, the information on the plane where each feature point exists on the same plane is calculated based on the calculated three-dimensional position of each feature point;
Based on the detected posture angle, the translational motion component of each feature point, and the calculated plane information, the captured images are projected onto an arbitrary same image plane to synthesize the images. Captured image composition method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23218198A JP3957888B2 (en) | 1997-08-20 | 1998-08-19 | Imaging apparatus and captured image composition method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-237854 | 1997-08-20 | ||
JP23785497 | 1997-08-20 | ||
JP23218198A JP3957888B2 (en) | 1997-08-20 | 1998-08-19 | Imaging apparatus and captured image composition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11136575A JPH11136575A (en) | 1999-05-21 |
JP3957888B2 true JP3957888B2 (en) | 2007-08-15 |
Family
ID=26530325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23218198A Expired - Fee Related JP3957888B2 (en) | 1997-08-20 | 1998-08-19 | Imaging apparatus and captured image composition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3957888B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8264554B2 (en) | 2007-07-27 | 2012-09-11 | Ricoh Company, Ltd. | Imaging apparatus and method of obtaining a roll angle of the imaging apparatus, and correcting detected roll angle |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997018668A1 (en) * | 1995-11-14 | 1997-05-22 | Sony Corporation | Device and method for processing image |
JP3433204B2 (en) * | 2000-04-27 | 2003-08-04 | 株式会社東北テクノアーチ | 3D model construction device |
JP3515751B2 (en) * | 2000-11-29 | 2004-04-05 | 東京商船大学長 | Reconstruction method of three-dimensional submarine structure |
CN100366059C (en) * | 2001-02-15 | 2008-01-30 | 英业达股份有限公司 | Image playing method and system |
JP3975736B2 (en) | 2001-12-07 | 2007-09-12 | ソニー株式会社 | Image processing apparatus, image processing method, storage medium, and computer program |
JP2004153691A (en) * | 2002-10-31 | 2004-05-27 | Casio Comput Co Ltd | Image pickup device, image pickup method and program |
JP4536524B2 (en) * | 2005-01-11 | 2010-09-01 | 株式会社エヌ・ティ・ティ・データ | Mosaic image composition device, mosaic image composition method, and mosaic image composition program |
JP3837710B2 (en) * | 2005-02-07 | 2006-10-25 | 株式会社日立製作所 | Digital camera |
JP4784329B2 (en) * | 2006-02-15 | 2011-10-05 | トヨタ自動車株式会社 | Image processing apparatus, method thereof, and image processing program |
US8395672B2 (en) | 2007-07-13 | 2013-03-12 | Panasonic Corporation | Imaging device that detects inclination of image and apparatus in a rolling direction |
JP4962460B2 (en) * | 2008-10-03 | 2012-06-27 | ソニー株式会社 | Imaging apparatus, imaging method, and program |
JP5363878B2 (en) * | 2009-06-02 | 2013-12-11 | 株式会社トプコン | Stereo image photographing apparatus and method thereof |
JP5554654B2 (en) * | 2010-07-13 | 2014-07-23 | キヤノン電子株式会社 | Image processing method, portable information terminal, and program |
JP2019097050A (en) * | 2017-11-24 | 2019-06-20 | 京セラドキュメントソリューションズ株式会社 | Image reading device and image reading program |
JP6717887B2 (en) * | 2018-07-12 | 2020-07-08 | ファナック株式会社 | Distance measuring device having distance correction function |
CN114909999A (en) * | 2022-07-18 | 2022-08-16 | 深圳市超准视觉科技有限公司 | Three-dimensional measurement system and method based on structured light |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0667293A (en) * | 1992-08-14 | 1994-03-11 | Olympus Optical Co Ltd | Camera |
JPH06105214A (en) * | 1992-09-24 | 1994-04-15 | Ricoh Co Ltd | Camera with gyro sensor and video printer |
JP2883265B2 (en) * | 1993-09-24 | 1999-04-19 | キヤノン株式会社 | Image processing device |
JPH08191419A (en) * | 1995-01-10 | 1996-07-23 | Yamaha Corp | Head mount display system |
JP3253478B2 (en) * | 1995-03-20 | 2002-02-04 | シャープ株式会社 | Video recording device |
JPH0918750A (en) * | 1995-06-29 | 1997-01-17 | Canon Inc | Electronic camera, electronic camera system using it image pickup device and signal processing unit |
-
1998
- 1998-08-19 JP JP23218198A patent/JP3957888B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8264554B2 (en) | 2007-07-27 | 2012-09-11 | Ricoh Company, Ltd. | Imaging apparatus and method of obtaining a roll angle of the imaging apparatus, and correcting detected roll angle |
Also Published As
Publication number | Publication date |
---|---|
JPH11136575A (en) | 1999-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3957888B2 (en) | Imaging apparatus and captured image composition method | |
US6038074A (en) | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image | |
JP5491235B2 (en) | Camera calibration device | |
JP5163409B2 (en) | Imaging apparatus, imaging method, and program | |
JP4770924B2 (en) | Imaging apparatus, imaging method, and program | |
JP4962460B2 (en) | Imaging apparatus, imaging method, and program | |
JP4010753B2 (en) | Shape measuring system, imaging device, shape measuring method, and recording medium | |
JP4618370B2 (en) | Imaging apparatus, imaging method, and program | |
JP5771117B2 (en) | Moving distance measuring device and photographing camera | |
JP3732335B2 (en) | Image input apparatus and image input method | |
JP2010136302A (en) | Imaging apparatus, imaging method and program | |
JP2004213355A (en) | Information processing method | |
JPH11118425A (en) | Calibration method and device and calibration data production | |
US6809771B1 (en) | Data input apparatus having multiple lens unit | |
JP2000283720A (en) | Method and device for inputting three-dimensional data | |
JP4809134B2 (en) | Image processing apparatus and processing method thereof | |
JP2000134537A (en) | Image input device and its method | |
JPH1023465A (en) | Image pickup method and its device | |
JP2001057652A (en) | Image input device and image input method | |
US20080252746A1 (en) | Method and apparatus for a hybrid wide area tracking system | |
JPH1118007A (en) | Omnidirectional image display system | |
TWI672950B (en) | Image device capable of compensating image variation | |
JP3655065B2 (en) | Position / attitude detection device, position / attitude detection method, three-dimensional shape restoration device, and three-dimensional shape restoration method | |
JP2001177850A (en) | Image signal recorder and method, image signal reproducing method and recording medium | |
JP2011055084A (en) | Imaging apparatus and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050801 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070509 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |