JP4346366B2

JP4346366B2 - 複数画像の合成方法

Info

Publication number: JP4346366B2
Application number: JP2003201916A
Authority: JP
Inventors: 公一江尻; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-07-25
Filing date: 2003-07-25
Publication date: 2009-10-21
Anticipated expiration: 2023-07-25
Also published as: JP2005044077A

Description

【０００１】
【発明の属する技術分野】
本発明は風景画のパノラマ画像の合成方法及びカメラで撮影された文書画像の合成方法に関する。
【０００２】
【従来の技術】
パノラマ画像は従来風景画像の広角の合成方法に適用されてきたが、その際隣接する画像フレームのオーバーラップ領域は、十分な大きさ（通常、１フレームの３０％程度以上）が必要であった。これは、隣接画像の光軸角度の精度を高くするためには止むを得ない制約であった。しかし、それでも画像の対応点を利用して抽出する光軸角は誤差が大きく、専門家の視察には耐えないことがしばしばあった。
【０００３】
対象物を複数の画像に分けて撮影し、それら画像を貼り合わせて１枚の高解像度画像又は広角画像を合成するする方法で、隣り合う要素画像のオーバーラップ領域を利用して要素画像の相対的な位置を測定するのが一般的である（特許文献１参照）。
【０００４】
図１に示すように、パノラマ画像を合成するためには、隣接する画像フレーム（画像）Ａ，Ｂにおいて、オーバーラップ領域から、共通の画像特徴を抽出する。この例では、星印で示した１，２，３，４が対応点（特徴点）である。多くの場合、重なり領域の幅Ｗ_Ｘは広くない。この幅を広くすることは、一定の角度をカバーするために撮影回数を増やすことになるため、通常のユーザーは無意識に重なり領域幅を狭くする傾向になる。
【０００５】
更に、隣接画像フレームＡとＢの角度はそれほど大きくない。通常のカメラでは数度から２０度の間である。従って、画像フレームＡの上で計測する対応点３と２の水平方向の幅Ｗ_ＡＸと、画像フレームＢの上で計測する対応点３と２の水平方向の幅Ｗ_ＢＸの差によって、画像フレームＡとＢの角度θ_２（図３参照）を算出するのであるから、ずれ量は、２つの対応する画像中の特徴量の位置のずれであり、この値をもとに、両画像の幾何学的関係を算出する。したがって、ずれのおき差が小さいということは有効数字の変量が十分取れないことになるから、算出される幾何学的関係を表す数値の有効数字の変量も不足し、誤差が大きいことになる。つまり、従来のように、対応点の位置計測によって隣接フレーム角度を計算することは適当でない。
一方、人間の視覚は、直線図形の湾曲や歪みにはきわめて敏感である。角度が１度傾いても容易に検知することができる。貼り合わせ誤差も容易に認知することができる。
しかし、マニュアル操作を可能にしたパノラマ画像の合成方法は存在しなかった。
【０００６】
【特許文献１】
特開平７−８５２４６号公報
【０００７】
【発明が解決しようとする課題】
本発明の第１の目的は、隣接画像フレーム間のオーバーラップ領域が極めて狭い場合、あるいは、対応点となるべき画像特徴点が見つかりにくい場合、操作（マニュアル）によって精度の良いパノラマ画像を合成する方法を与えることである。
第２の目的は、貼り合わせにともなう精度の低い部分を、感度の高い人間の視覚に置き換え（人手操作）、結果として高精度のパノラマ画像を合成することである。
【０００８】
【課題を解決するための手段】
本発明は、互いに共通の対応点を有する二つの画像のうち、一方の画像の遠近度を表す投影パラメータを計算するステップと、前記画像の合成に適正な角度を判定するため、前記計算した投影パラメータを下記角度θ _２角度パラメータとして変化させた画像を表示するステップと、を有する画像合成方法であって、前記投影パラメータを算出するステップは、前記一方の画像の座標系を座標系（x,y,z）とし、他の画像の座標系を座標系（X,Y,Z）で表したとき、二つの画像が共通に持つ被写体中の二つの対応点をＰ ₁ 、Ｐ _２として、対応点Ｐ _１を原点とし、Ｐ _１、Ｐ _２方向にｙ座標軸を持つ回転座標系（x',y',z'）に座標変換し、前記座標系（x',y',z'）を同じ原点を持ち、y'軸を中心に垂直方向に角度θ _２だけ回転した座標系（X'、Y' 、Z'、但しX'=x'cosθ ₂ , Y'=y’,Z'=x'sinθ ₂ ）に座標変換し、角度φを、Ｘ座標軸を平面に射影した軸と座標軸X’のなす角度としたとき、前記座標X',Y',Z'を、Z'軸を中心に角度φだけ回転した座標系（X''、Y'' 、Z'' ）(但し、X''=X’cosφ-Y’sinφ,Y''=X’sinφ+Y’cosφ,Z''=Z’)に座標変換し、X''座標軸とX座標軸のなす角度をθとしたとき、前記座標系（X'',Y'',Z''）を、座標系（X、Y 、Z 、但し、X=X''’cosθ-Z''sinθ+X1,Y=Y''+Y1, Z=Z''cos θ+X''sinNθ )に変換し、αを倍率として設定したとき、前記座標系（X,Y,Z）を、座標系（u、v、w、但し、u=X×α(Z),v=Y×α(Z), w=0)に投影変換する、各ステップからなることを特徴とする複数画像の合成方法である。
【００３０】
【発明の実施の形態】
図１、図２及び図３は本発明のパノラマ画像の合成方法を説明するための概略図であり、図４は、図２及び図３に示されたパノラマ画像の合成方法を立体的に説明するための概略図であり、図５は、図３に示されたパノラマ画像の合成方法の概略側面図である。
【００３１】
通常、複数の撮影画像は光軸方向が一致していないため、同一平面状の画像として表現が不可能である。そのため、パースペクティブ（遠近感覚）が異なっている。複数の画像のパースペクティブを統一するとは、１枚の平面上に、同一光軸画像となるように、再投影合成することである。ここでは、接続（合成）する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、そのパラメータに対応した画像、又はその一部を表示し、表示された画像から、操作者が画質確認を行いながら、複数画像の合成を行う。
図６に示す画像（原画）Ａ及び画像（原画）Ｂは合成しようとする目視のための表示画面であり、図７に示すものは破線を利用して表示した操作途中の画面であり、すべての処理が終了すると、図８に示すような最終合成画面が完成する。
【００３２】
カメラなどの撮像装置に加速度センサーやＧＰＳ装置を装着する場合があり、これらの方位センサーから撮像装置の相対的な位置や角度などのデータが得られる。このデータを用いて、画像貼り合わせの初期設定に利用できるので、マニュアルの操作はかなり簡単になる。
【００３３】
カメラなどの撮像装置の初期位置と角度が分かると画像の投影パラメータを計算できる。それによって、画像を投影パラメータにしたがって、自動的に変形させ、画面上に変形させた画像と他の１枚の画像を並べて表示し、操作者はさらに微調整すれば良いので、マニュアル調整の作業量はかなり軽減する。
【００３４】
画像合成操作において、先ず、倍率に相当するαを設定するが、これが第１のパラメータであり、次に徐々に変化させるパラメータとして、角度θ_２が第２のパラメータである。変化させるパラメータが２個となっているが、パラメータが多いとマニュアル操作が困難となる。
【００３５】
画像合成操作において、変化させる投影パラメータを１個とする画像合成方法である場合。
これは、α＝１、θ＝０の特別な場合の画像合成方法であり、フラットベッドスキャナーのように光軸方向が一定であることが保証されている２つの画像では、パースペクティブ（遠近感覚）の調整は不要である。同一平面内の回転φと平行移動だけでよい。一般に、平行移動は画像処理による対応点探索の方が精度が良い。そのため、平行移動をプログラム処理し、回転だけをマニュアル処理することが望ましい。
【００３６】
画像合成操作において、最初に隣接する画像の共通特徴点を対応させしかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定する。
２つのパラメータの調整順序は任意ではなく、効率的に実行するには、適切な順序を守る必要がある。画像合成操作において、最初に隣接する画像の共通特徴点を対応させるには、汎用の全自動マッチング処理でも良いし、マニュアルで大雑把に位置合わせした後、画像処理によるマッチングを行う。しかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定する。
【００３７】
マニュアル操作で重要なことは、操作性、精度の確保である。ここでは、精度を確保するため、従来から利用されているように、画像の直線部分や、高コントラスト部分を利用する。視察において、隣接画像の差を強調するため、画像の重要部分を拡大表示したり、部分切り出したりする。図７に示されたものはその例である。
【００３８】
重要部分は、対象とする画像や、処理内容に依存する。従って、これを適宜選択する必要がある。図７に示された例で言えば、下部の細長い領域選択は、操作する人が選択する。
【００３９】
視察で処理結果を判定するため、視察を補助する機能は重要となる。一般的には、コントラスト強調したり、あるいは、図７に示された例のように、対応点を結ぶ線を破線で表示して、判断を補助する。
【００４０】
座標変換式中のパラメータθとθ_２を等しいとみなして演算し、マニュアル画像の合成方法について、オーバーラップ領域が狭いときは、２つの隣接する画像平面を傾斜させる方向が、合成前の水平軸と、合成後の水平軸の角度にほぼ等しいことを利用して、演算を簡略化することができる
【００４１】
マニュアル操作（人手操作）の前提として、複雑な操作を人間に期待するのは無理がある。簡単な操作によって、だれでも容易にパノラマ画像を合成できることが望ましい。
２つの貼り合わせ対象画像（画像シート）をＡ，Ｂとする。この各々の局地座標系をそれぞれ（Ｘ，Ｙ，Ｚ）、（ｘ，ｙ，ｚ）とする。そして、どちらも、画像の中心を原点とする。（図２）
２つの画像が共通に持っている被写体中の２つの点をＰ_１，Ｐ_２とする。共通の被写体なので、２つの座標系で表すことができる。
画像Ｂの原点を、対応点Ｐ_１を原点にもち、Ｐ_１Ｐ_２方向にｙ座標軸をもつ回転座標系に座標変換すると（ｘ，ｙ，ｚ）⇒（ｘ’，ｙ’，ｚ’）は
【００４２】
x’=(x-x₁)cosθ₁-(y-y₁)sinθ₁
y’=(y-y₁)sinθ₁+(y-y₁)cosθ₁
ただし、
【００４３】
【数１】

【００４４】
次に（Ｘ’，Ｙ’，Ｚ’）座標系を定義する。これは（ｘ’，ｙ’，ｚ’）と同じ原点を持ち、Ｐ_１Ｐ_２軸（ｙ’）を中心に画像Ｂを紙面から垂直方向にθ_２だけ回転した座標系である。すなわち、
θ_２＝座標軸ｘ’と座標軸Ｘ’のなす角度
と定義すると、（ｘ’，ｙ’，ｚ’）⇒（Ｘ’，Ｙ’，Ｚ’）座標系変換は、以下のように表せる
X’=x’cosθ₂
Y’=y’
X’=x’sinθ₂
【００４５】
これを、（Ｘ’，Ｙ’，Ｚ’）座標系内で、（ｘ_１，ｙ_１）に存在するＺ’軸を中心に角度φだけ回転したものを（Ｘ’’，Ｙ’’，Ｚ’’）座標系とおくと、
X’’=X’cosφ-Y’sinφ
Y’’=X’sinφ+Y’cosφ
Z’’=Z’
ここで、角度φはＡ画像のＸ座標軸をＢ画像の（Ｘ’，Ｙ’）平面に射影した軸（これをＸ’’と表現する）とＸ’のなす角度である。
【００４６】
最後に、（Ｘ’’，Ｙ’’，’Ｚ’）座標系から（Ｘ，Ｙ，’Ｚ）座標系に変換する。これは、画像Ａの中心に原点をもつ座標系であり、ワールド座標系も兼ねているとする。
Ｘ’’軸とＸ軸のなす角度をθ他と表すとすると、この変換式は
X=X’’cosθ-Z’’sinθ+X₁
Y=Y’’+Y₁
Z=Z’’cosθ+X’’sinθ
ここで、（Ｘ₁，Ｙ₁）は、画像Ａの座標系から見たＰ_１の座標値である。
さらに、投影変換を最後に実施する。
投影変換の中心はＺ軸上にあるから、投影変換後の座標値（ｕ，ｖ，ｗ）は
【００４７】
【数２】

【００４８】
の関係があるから、
【００４９】
【数３】

【００５０】
と置くと、
u=X×α(Z)
v=Y×α(Z)
w=0
の関係が成り立つ。
図４を参照しながら全体の流れを示すと、
１）対応点Ｐ_１，Ｐ_２をマニュアル指定し、プログラムで詳細位置を決定する。同時に、レンズの開口率、あるいは、焦点距離に相当する投影中心の高さ、あるいは、αをマニュアル指定する。（半自動）
２）（ｘ，ｙ，ｚ）⇒（ｘ’，ｙ’，ｚ’）座標変換（自動）
３）（ｘ’，ｙ’，ｚ’）⇒（Ｘ’，Ｙ’，Ｚ’）座標変換（自動）
４）（Ｘ’，Ｙ’，Ｚ’）⇒（Ｘ’’，Ｙ’’，Ｚ’’）座標変換（自動）
５）（Ｘ’’，Ｙ’’，Ｚ’’）⇒（Ｘ，Ｙ，Ｚ）座標変換（自動）
６）（Ｘ，Ｙ，Ｚ）⇒（ｕ，ｖ，ｗ）座標変換（自動）
７）θ₂のマニュアル設定。変換画像の目視確認によるパラメータ設定。
上記２）〜６）の変換全体を、行列Ｔ(θ₂)で表すと、次式のようになる。
【００５１】
【数４】

【００５２】
処理のプロセスは上記の通りであるが、画質を確保するためにはまず（ｕ，ｖ，ｗ）座標値を決定し、これに対応する（ｘ，ｙ，ｚ）座標値とその輝度を求めるから、（１）式の逆変換を計算する。
【００５３】
【数５】

【００５４】
マニュアル操作のパラメータは、θ₂である。このパラメータを徐々に変化させながら貼り合わせ画像を合成し、適当な画面で停止すればよい。以上まとめると、
１）対応点Ｐ_１，Ｐ_２をマニュアル指定し、プログラムで詳細位置を決定する。同時に、レンズの開口率、あるいは、焦点距離に相当する投影中心の高さ、あるいは、αをマニュアル指定する。（半自動）
２）適当なθ₂をマニュアル設定する。
３）（２）式によって、貼り合わせ画像を合成
４）視察による合成画像評価。もし、これで良ければ、処理終了。不満足なら、２）に戻る。
【００５５】
カメラなどの撮影装置から撮影装置の位置情報、角度情報を得られることがある。例えば、カメラに加速度センサーを装着する場合もしくはＧＰＳ装置を装着する場合、複数回撮影した場合それぞれのカメラの相対的な位置情報が得られる。撮影装置の位置情報から対応点Ｐ１、Ｐ２を自動的に算出できるのでステップ１）を省略できる。また、撮影装置の相対的な位置からθの初期値を計算もできるので、θのマニュアル設定は簡単になる
【００５６】
【発明の効果】
本発明によれば、隣接画像フレーム間のオーバーラップ領域が極めて狭い場合、あるいは、対応点となるべき画像特徴点が見つかりにくい場合にも、投影パラメータを変化させることで、精度の良いパノラマ画像を合成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図２】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図３】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図４】図２及び図３に示されたパノラマ画像の合成方法を立体的に説明するための概略図である。
【図５】図３に示されたすパノラマ画像の合成方法を説明するための概略側面図である。
【図６】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。（合成画像前）
【図７】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。（画像の重要部分を拡大表示したり、部分切りだし例）
【図８】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図（合成画像が完成）である。
【符号の説明】
Ａ…画像、Ｂ…画像、１…特徴点、２…特徴点、３…特徴点、４…特徴点。

Claims

互いに共通の対応点を有する二つの画像のうち、一方の画像の遠近度を表す投影パラメータを計算するステップと、
前記画像の合成に適正な角度を判定するため、前記計算した投影パラメータを下記角度θ _２角度パラメータとして変化させた画像を表示するステップと、を有する画像合成方法であって、
前記投影パラメータを算出するステップは、
前記一方の画像の座標系を座標系（x,y,z）とし、他の画像の座標系を座標系（X,Y,Z）で表したとき、二つの画像が共通に持つ被写体中の二つの対応点をＰ ₁ 、Ｐ _２として、対応点Ｐ _１を原点とし、Ｐ _１、Ｐ _２方向にｙ座標軸を持つ回転座標系（x',y',z'）に座標変換し、
前記座標系（x',y',z'）を同じ原点を持ち、y'軸を中心に垂直方向に角度θ _２だけ回転した座標系（X'、Y' 、Z'、但しX'=x'cosθ ₂ , Y'=y’,Z'=x'sinθ ₂ ）に座標変換し、
角度φを、Ｘ座標軸を平面に射影した軸と座標軸X’のなす角度としたとき、前記座標X',Y',Z'を、Z'軸を中心に角度φだけ回転した座標系（X''、Y'' 、Z'' ）(但し、X''=X’cosφ-Y’sinφ,Y''=X’sinφ+Y’cosφ,Z''=Z’)に座標変換し、
X''座標軸とX座標軸のなす角度をθとしたとき、前記座標系（X'',Y'',Z''）を、座標系（X、Y、Z 、但し、X=X''’cosθ-Z''sinθ+X1,Y=Y''+Y1,Z=Z''cos θ+X''sinNθ )に変換し、
αを倍率として設定したとき、前記座標系（X,Y,Z）を、座標系（u、v、w、但し、u=X×α(Z),v=Y×α(Z), w=0)に投影変換する、各ステップからなることを特徴とする複数画像の合成方法。