JP4240666B2 - 画像合成方法および画像表示方法 - Google Patents
画像合成方法および画像表示方法 Download PDFInfo
- Publication number
- JP4240666B2 JP4240666B2 JP22425899A JP22425899A JP4240666B2 JP 4240666 B2 JP4240666 B2 JP 4240666B2 JP 22425899 A JP22425899 A JP 22425899A JP 22425899 A JP22425899 A JP 22425899A JP 4240666 B2 JP4240666 B2 JP 4240666B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- resolution
- viewpoint
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の視点位置、方向、ズームの異なる画像を結合してパノラマ画像を生成する画像合成方法、及び所望の画像を選択して表示する画像表示方法に関する。
【０００２】
【従来の技術】
パノラマ画像の生成、および、表示については従来数多くの技術が提案されている。視点位置、方向の異なる複数の画像に対し、重なる部分を検出し結合してパノラマ画像を生成する技術、表示の際、複数の画像を選択、または、中間画像を生成する技術、また、撮影の際、重ね合わせ部分が滑らかになるように特別の撮像装置を用いる技術等々である。
【０００３】
【発明が解決しようとする課題】
しかし、何れもズームの異なる画像間に発生する諸間題を考慮してはいない。例えば、視野中、暗い部分にズームインするとカメラの絞りが変わりその部分が明るく見えてくる。そして、明るくなった部分に違うものが見えてくる場合がある。このように、同じ部分にも関わらず明るさが異なったり、オクルージョン（一方では見えてもう一方では見えないこと）が起こる場合を想定した技術はない。また、表示においても同一箇所に対して複数の画像がある際、画像間の解像度の差を考慮した技術はない。
【０００４】
本発明は、カメラの視点のみならずズームを変更した際に起こる現象に対処して、複数画像を適切に合成又は表示できる方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明にかかる画像合成・表示方法は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する工程と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る工程と、画像間で重畳する領域に対して明度分布を測定する工程と、得られた画像間の相関に基づき画像の座標変換を行うとともに、重畳領域については明度分布の広い方の画像の情報を優先するように部分的に明度調整を行ってパノラマ画像を生成する工程と、パノラマ画像から表示視点・視方向に合わせて表示画像を切出し、表示する工程とを備えたことを特徴とする。
【０００６】
上記構成によれば、視点・視方向のみならずズームや解像度が異なる複数の画像に対し、画像内の対象が画像間で見えたり見えなかったりしても、オクルージョンにより影響されず、画像間の相関関係を的確に決定できる。表示に際しては、明度調整により画像内の対象が明るくまたは暗く飽和することがない。
【０００７】
好ましくは、パノラマ画像を生成する際、重畳領域は解像度の高い方の画像の情報を優先するように明度調整を行う。
【０００８】
また、好ましくは、パノラマ画像を表示する際、表示視点・視方向に合わせてパノラマ画像を切出した後、表示解像度に合わせて切出し画像を拡大・縮小し、表示領域の明度を表示明度内に納まるように明度変換を行って表示する。
【０００９】
また、本発明にかかる画像表示方法は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する工程と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る工程と、得られた画像間の相関に基づき原画像の視点・視方向、解像度を算出し記憶する工程と、記憶された原画像の視点・視方向、解像度のデータに基づき、表示視点・視方向、表示解像度に合わせて原画像を選択し、表示する工程とを備えたことを特徴とする。
【００１０】
上記構成によれば、視点・視方向のみならずズームが異なる複数の画像に対し、画像内の対象が画像間で見えたり見えなかったりしても、オクルージョンにより影響されずに画像間の相関関係を的確に決定できる。また、あらかじめパノラマ画像のデータを格納することなく、容易に所望の画像を閲覧することを可能とする。
【００１１】
好ましくは、表示の際、表示視点・視方向、解像度に合わせて原画像を選択し、原画像の視点・視方向・解像度が表示視点・視方向・解像度と大きく異なる場合は、原画像を座標変換、拡大・縮小して表示する。
【００１２】
また、好ましくは、表示の際、表示領域内の明度を、表示可能明度に正規化してから表示する。
【００１３】
更に、本発明にかかる画像表示方法は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する工程と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る工程と、得られた画像間の相関に基づき画像の視点・視方向、解像度を算出するとともに、重畳領域の明度分布を測定し記憶する工程と、記憶された原画像の視点・視方向、解像度のデータに基づき、表示視点・視方向、表示解像度に合わせて原画像を複数選択する工程と、重畳領域の差異、明度分布差に基づき合成比率を決定する工程と、表示領域内のすべての画像情報の明度値が所定の表示明度内に均一に収まるように、画像ごとに明度調整して画像を合成して表示する工程とを備えたことを特徴とする。
【００１４】
上記構成によれば、上述の他の発明と同様の効果を、複数の原画像を組み合わせて表示する際にも奏することが可能で、画像間のバランスを最適に調整して表示することができる。
【００１５】
好ましくは、画像合成の際に、重畳領域は最も解像度の高い画像の情報が優先されるよう画像ごとに明度調整を行う。
【００１６】
また、好ましくは、画像合成の際に、重畳領域は最も明度分布の広い画像の情報が優先されるよう画像ごとに明度調整を行う。
【００１７】
また、好ましくは、明度と重畳領域内か否かの判断に基づき、画像の部分部分に応じて重畳領域の明度分布を表示明度内に均一に収まるように明度調整を施し、合成して表示する。その際、重畳領域は最も解像度の高い画像の情報が優先されるよう画像の部分部分に応じて明度調整を行うことが好ましい。または、重畳領域は最も明度分布の広い画像の情報が優先されるよう画像の部分部分に応じて明度調整を行うことが好ましい。更に、重畳領域の明度分布は事前に測定し記憶しておくのではなく、合成表示の際に測定することもできる。
【００１８】
以上の本発明においては、視方向、視点、ズーム及び解像度を計測できる撮影装置によって複数の視方向、視点、ズームの異なる画像を撮影し、各画像の相関を求める処理を省く構成にすることもできる。
【００１９】
本発明にかかる上記の画像合成・表示方法を実施するための装置は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する原画像記憶部と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る画像相関獲得部と、得られた画像間の相関に基づき画像の座標変換を行う原画像座標変換部と、重畳領域は明度分布の広い方の画像の情載を優先するように部分的に明度調整を行う原画像明度値部分調整部と、原画像座標変換部及び原画像明度値部分調整部の出力に基づきパノラマ画像を生成するパノラマ画像合成部と、パノラマ画像から、画像表示視点・視方向に合わせて表示画像を切出し、表示解像度に合わせて切出した画像を拡大・縮小して表示する画像表示部とを備えた構成を有する。
【００２０】
また、本発明にかかる上記の画像合成・表示方法を実施するための画像合成・表示装置は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する原画像記憶部と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る画像相関獲得部と、得られた画像間の相関に基づき原画像の視点・視方向を算出する視点・視方向算出部と、算出された原画像の視点・視方向を格納する視点・視方向記憶部と、格納された原画像の視点・視方向、解像度のデータに基づき、表示視点・視方向、表示解像度に合わせて原画像を選択する表示原画像選択部と、選択された原画像に基づく画像を表示する画像表示部とを備えた構成を有する。
【００２１】
本発明にかかる記録媒体は、原画像から画像を合成し表示する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納するステップと、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得るステップと、画像間で重畳する領域に対して明度分布を測定するステップと、得られた前記画像間の相関に基づき画像の座標変換を行うとともに、重畳領域については明度分布の広い方の画像の情報を優先するように部分的に明度調整を行ってパノラマ画像を生成するステップと、パノラマ画像から表示視点・視方向に合わせて表示画像を切出し、表示するステップとを備えた、コンピュータに実行させるプログラムを記録した構成を有する。
【００２２】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１における画像合成・表示方法を実施するための装置について、図面を参照しながら説明する。図１は画像合成・表示装置の構成を示すブロック図である。
【００２３】
１は画像入力装置であり、対象シーンを視点位置、視方向、ズームを変えて撮影した複数枚の画像信号を供給する。その画像信号は、原画像記憶部２に入力され、記憶される。
【００２４】
画像相関獲得部３は、原画像記憶部２に記憶された画像を読み込み、画像間の相関を求める。相関を求めるに際しては、先ず画像全体についての相関を求める。その結果に基づき、相関計算領域決定部４で相関計算を行う領域を決めなおし、再度、画像相関獲得部３で画像間の相関を求める。相関計算領域決定部４で相関計算領域を修整する必要がなくなるまで以上の処理を繰り返す。
【００２５】
画像相関獲得部３により得られた画像間相関情報に基づき、カメラ視点・視方向算出部５、解像度算出部６は、画像毎にカメラ視点・視方向、解像度を各々算出する。画像間で重畳する領域に対しては、重畳領域明度分布測定部７により明度分布を測定する。
【００２６】
上記のようにして得られたカメラ視点・視方向のデータを用いて、原画像座標変換部８は、原画像の座標変換を行う。同様に解像度のデータを用いて、原画像解像度調整部９は、画像間で解像度をそろえるための解像度調整を行う。原画像明度値部分調整部１０は、重畳領域の明度分布のデータを用いて、各画像について重畳領域の明度を調整するための、部分的な明度調整を行う。
【００２７】
上記のように加工された原画像は、パノラマ画像合成部１１により、一つにつなぎ合わせられる。合成されたパノラマ画像は、パノラマ画像出力部１２によりパノラマ画像記憶部１３に格納される。
【００２８】
表示視点・視方向獲得部１４は、閲覧者から表示視点・視方向を獲得する。得られた表示視点・視方向に従い、パノラマ画像切出部１５は、パノラマ画像記憶部１３に格納されたパノラマ画像から、表示すべき部分を切り出す。そして、表示解像度獲得部１６によって得られた表示解像度に従い、パノラマ画像拡大・縮小部１７によって画像の拡大または縮小が行われる。最終的に得られた画像が、画像表示部１８によって画像出力装置１９に表示される。
【００２９】
上記の構成において、画像相関獲得部３及び相関計算領域決定部４により画像の相関を求める際には、上記のように、視方向、視点、ズームの異なる画像間での明度差、オクルージョンを考慮して、最適な処理が行われるように調整さるれが、その方法について以下に説明する。
【００３０】
先ず、シーンに対して直交３次元座標系を設定する。これをシーン座標系と名付ける。各画像を撮影したカメラに対しその視方向、視点を、シーン座標系を用いて表す。視点は３次元ベクトルとして、視方向は３次元ベクトルとその回転で表すことができる。ズームの変更はカメラ視点の奥行き方向の移動と等価なので、視点情報の３次元ベクトルにより表現できる。
【００３１】
画像間に相関があるということは、シーン空間に設定した平面モデルなり、円柱モデルなり、または、実際に物体に即した立体モデルなりに、カメラの視点、視方向に基づいて画像を透視投影や正射影や擬似透視投影などによって投影したとき、重畳領域の各ピクセルの明度値、色相値、彩度値、または、ＲＧＢ値、ＹＩＱ値などが近似することである。
【００３２】
明度差、オクルージョンを考慮しなければ、相関関数を表わす指標を不一致度とすると、不一致度を重畳領域の画像模様の差として、該当部分の画像の色情報の差をユークリッド距離、街区画距離によって表し、その不一致度を重畳領域にわたって累積した値を最小にする視点、視方向を総当り方法、反復近似法、粗密探索法、その他の探索法にて探索すればよい。
【００３３】
明度差を考慮するためには、与えられる複数の画像中、一つの画像の明度Ｉが、他の画像の明度Ｉ’にＩ’＝ａ×Ｉや、Ｉ’＝Ｉ＋ｂや、Ｉ’＝ｃ×Ｉ＋ｄ等々に変換されるものとして、変換式中の未知数を同時に求めればよい。
【００３４】
オクルージョンを考慮するためには、仮に探索した後、不一致度を累積する際、各画像について重畳領域全体を対象にするのではなく、不一致度の高い部分を除外して探索し直すという作業を繰り返せばよい。
【００３５】
不一致度の計算は、特徴のある部分だけに限ってもよい。例えば、特徴のある部分は、インタレストオペレータ、ソーベルオペレータ、ガウシアンフィルタ等々、エッジ要素を導き出すフィルタをかけ、エッジ強度が高い部分として定義すればよい。色情報のヒストグラムを作成し、ヒストグラム上で孤立した部分に相当する部分として定義するなど、統計的手法を用いて定義してもよい。そして、特徴ある部分に対して、その特徴を導き出したときに基準となった特徴量、すなわち、上記の例では、エッジ強度、エッジ位置、または、色情報量、統計量、などに関して不一致度を計算すればよい。オクルージョンが起こっている部分は、上記特徴量が一致しないとして外される。
【００３６】
解像度の差を考慮した画像間の位置付けを行うことも有効である。例えば、ある部分にズームイン画像が存在した場合、その画像聞の位置関係を決定するために明度値の相関を求める際、解像度の高い画像の明度値は重みを抑える。つまり、同じ物体を撮影した映像でも、解像度の高い画像ではその模様なり境界がはっきりしているのに対して、解像度の低い画像では曖昧である。従って、そのような画像どうしの相関を直接求めると、位置関係検出に誤差を生じる。そこで、解像度の高い画像については、ぼかしをかけて相関を求めれば、位置関係検出について高い精度を得ることができる。
【００３７】
以上の処理に際して現れた未知数は、同時に求めてもよいし、順番に求めてもよい。また仮に求めた値を反復法により修整してもよい。
【００３８】
上記のように、画像相関獲得部３及び相関計算領域決定部４により行われる、明度差、オクルージョンを考慮した画像相関を求める処理の流れについて、図２を参照して説明する。先ず２枚の画像を準備する（ステップＳ１０１）。次に領域Ｒを一方の画像全体を覆う領域として設定する（ステップＳ１０２）。更に、領域Ｑを空に設定する（ステップＳ１０３）。次に、領域Ｒに対し重畳領域の明度評価値I'の差の累積が最小になる対応位置、及び明度評価パラメータを探索する（ステップＳ１０４）。その結果に関し、領域Ｒ内で明度評価値I'が所定値以上の領域Ｓがあるか否かを判断する（ステップＳ１０５）。無ければ処理は終了である。あれば、領域Ｒから領域Ｓを除外する（ステップＳ１０６）。次に、領域Ｑ内で明度評価値I'の差が所定値以下の領域Ｐを領域Ｒに追加する（ステップＳ１０７）。更に、領域Ｑから領域Ｐを除外し（ステップＳ１０８）、領域Ｑに領域Ｓを追加（ステップＳ９）した後、ステップＳ１０４の処理に戻る。
【００３９】
次に、重畳領域明度分布測定部７による画像の明度分布を測定する方法について説明する。明度分布を測定するためには、画像の色情報から明度を計算し、そのヒストグラムを作成すればよい。色情報がＲＧＢ値によって表現される場合、明度Ｉは、Ｉ＝（Ｒ＋Ｇ＋Ｂ）／３または、Ｉ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂにより計算できる。明度分布は、そのヒストグラムを記憶すればよい。また、ヒストグラムの最大値、最小値、平均値、標準偏差値のみを記憶してもよい。また、ヒストグラムの最大値、最小値の代わりに、ヒストグラムから例外値を除いた部分の上限値、下限値を用いてもよい。ヒストグラムの例外値は、偏差値が分散値の２倍または任意定義の倍数を超える部分として定義したり、中央値を中心として全体の９割または任意割合に含まれない部分として定義したり、他の統計的手法により定義してよい。
【００４０】
次に、原画像解像度調整部９における、画像間で解像度をそろえるための解像度調整の処理について説明する。
【００４１】
入力画像中の所定の２枚の画像間に相関があり、原画像座標変換部による原画像座標変換後、その２枚の画像が図３（ａ）に示すように重畳した場合を想定する。このとき、２枚の画像を合わせて得られるパノラマ画像としては、第１の画像ｐ１と第２の画像ｐ２をどちらも含む外接矩形からなる出力画像を生成することになる。原画像解像度調整部９では、次の手順により画像を生成する。
【００４２】
１） 第１の画像ｐ１と第２の画像ｐ２を座標変換して、この外接矩形に投影したときに、原画像における画素のうち、図３（ｂ）に示す画素Ａのように最も小さく投影される画素を求める。
【００４３】
２） １）で求めた画素が出力画像において１画素に相当するように、出力画像の大きさを計算する。
【００４４】
３） ２）で求めた大きさの出力画像に第１の画像ｐ１と第２の画像ｐ２を投影する。この場合、最小ではない画素は拡大されることになる。拡大する際には、補間等を行う。
【００４５】
以上のような処理を行うことにより、最も小さい画素がつぶれることがなくなる。なお、重畳領域の画素の明度値は、原画像明度値部分調整部１０により決定する。入力画像が３枚以上の場合は、すべての画像の中で最も小さく投影される画素が、出力画像において１画素の大きさに相当するように、出力画像の大きさを計算し投影する。
【００４６】
次に、原画像明度値部分調整部１０による、各々の画像における重畳領域の明度を調整するための、部分的な明度調整の方法について説明する。
【００４７】
先ず重畳領域明度分布測定部７の測定結果より、重畳する各画像の明度分布の範囲を調べる。そして、重畳部分が映っている部分を頼りに明度分布の相対関係を求め、そのうち一つの画像を基準にして全体の明度分布を算出する。そして、全体の明度分布の上限下限が表示明度の上限下限に一致するように、明度の一次変換または二次以上の変換をする。全体の明度分布を算出する際、解像度の高い画像を優先してもよい。その場合は、最も解像度の高い画像の明度分布の上限下限が表示明度の上限下限に一致するように明度を変換する。他の画像が表示明度をはみだすような場合は、その画像の表示明度の上限または下限を最も解像度の高い画像の表示明度の上限または下限の値に修整する。
【００４８】
全体の明度分布を算出する際、最も明度分布の広い画像を優先してもよい。その場合は、最も明度分布の広い画像の明度分布の上限下限が表示明度の上限下限に一致するように明度を変換する。他の画像が表示明度をはみだすような場合は、その画像の表示明度の上限または下限を最も明度分布の広い画像の表示明度の上限または下限の値に修整する。重畳領域とそうでない領域との境目付近は明度調整の効果を抑えてもよい。
【００４９】
次に、パノラマ画像切出部１５においてパノラマ画像の一部を切出し、表示する方法について説明する。先ず、表示視点・視方向獲得部１４から得た表示視点・視方向、及び表示解像度獲得部１６から得た解像度に基づいて、上記の画像の相関を求める方法の説明において定義したシーン座標系における、閲覧者が見ている領域を求める。そして、その領域に含まれるパノラマ画像を切出せばよい。切出した画像の大きさが表示領域と一致しない場合は、表示領域に合わせて拡大・縮小すればよい。拡大・縮小は切出し領域に対して均一に行ってもよいし、表示画素に合わせて適応的に行ってもよい。
【００５０】
表示視点・視方向獲得部１４及び表示解像度獲得部１６により、表示視点・視方向・解像度を閲覧者から獲得する方法としては、広く普及している３次元ブラウザと同等の方法を用いることができる。
【００５１】
（実施の形態２）
本発明の実施の形態２における画像合成・表示方法を実施するための装置について、図面を参照しながら説明する。図４は画像合成・表示装置の構成を示すブロック図である。
【００５２】
画像入力装置１、原画像記憶部２、画像相関獲得部３、相関計算領域決定部４、カメラ視点・視方向算出部５、及び解像度算出部６は、上記実施の形態１における同一番号を付与した要素と同様の機能を有するものであり、説明を省略する。カメラ視点・視方向算出部５、解像度算出部６によりそれぞれ得られた視点、解像度は、視点・視方向・解像度記憶部２１に格納される。実施の形態２においては、実施の形態１と異なり、あらかじめパノラマ画像を生成して記憶する構成は採らず、画像入力後、表示前の処理としては、入力画像間の位置関係のみ調べておく。そして、表示の際、視野内に含まれるすべての画像間の相対明度を調べ、正規化した上で表示する。
【００５３】
画像表示に際して、表示視点・視方向獲得部２２は、閲覧者から表示視点・視方向を獲得し、表示解像度獲得部２３は、表示解像度を獲得する。表示視点・視方向獲得部２２及び表示解像度獲得部２３は、実施の形態１における同一名称を付与した要素と同様の機能を有し、同様のものを用いることができる。表示原画像選択部２４は、得られた表示視点・視方向及び表示解像度に最も近い原画像を選択する。選択された原画像は、画像表示部２５により画像出力装置２６に表示される。
【００５４】
表示原画像選択部２４は、複数の原画像の中から表示視点・視方向・解像度に合わせて画像を選択する際に、視点・視方向・解像度記憶部２１に格納された、各画像について計測済みの視点・視方向・解像度のデータを用いて、画像を選択する。例えば、画像の視点が表示視点に最も近いものを選び、近いものがある範囲内で複数ある場合は、その中で画像の視方向と表示の視方向が最も近いものを選ぶ。さらにその中に近いものが所定の範囲内で複数ある場合は、その中で画像の解像度と表示の解像度が最も近いものを選べばよい。または、画像の視点と表示視点の差、画像の視方向と表示の視方向の差、画像の解像度と表示の解像度の差を、ユークリッド距離、街区画距離、重み付けユークリッド距離、重み付け街区画距離などによって混合し、その値が最も小さい画像を選べばよい。
【００５５】
選択した画像を、画像表示部２５により表示する際に、表示視点・視方向、解像度と大きく違う場合は次のようにする。すなわち、選択した画像をシーン座標系のモデルに投影し、さらにその投影画像を表示視点・視方向、表示解像度に基づいて観察したときの映像を生成し、その映像を表示すればよい。その映像が原画像の一部を観察することになる場合は、観察領域の明度の上限下限が表示明度の上限下限に一致するように、明度変換を行ってもよい。
【００５６】
以上の構成により、画像を切り替え表示する際には、オクルージョンを考慮した切り替え表示を行うことが望ましい。例えば、同一部分の模様が変化するような場合は、見る人に違和感を与えないように、切り替えのタイミングまたは画像混合の割合を調節する。
【００５７】
（実施の形態３）
本発明の実施の形態３における画像合成・表示方法を実施するための装置について、図面を参照しながら説明する。図５は画像合成・表示装置の構成を示すブロック図である。
【００５８】
画像入力装置１、原画像記憶部２、画像相関獲得部３、相関計算領域決定部４、 カメラ視点・視方向算出部５、解像度算出部６、及び重畳領域明度分布測定部７、は、上記実施の形態１における同一番号を付与した要素と同様であり、説明を省略する。カメラ視点・視方向算出部５、解像度算出部６、重畳領域明度分布測定部７によりそれぞれ得られた視点・視方向、解像度、明度分布は、視点・視方向・解像度・明度分布記憶部３１に格納される。実施の形態３においても、実施の形態２と同様に、あらかじめパノラマ画像を合成して記憶する構成は採らず、画像入力後、表示前の処理としては、入力画像間の位置関係のみ調べておく。そして、表示の際に、それらのデータを用いて画像間の調整を行う。
【００５９】
表示原画像選択部３５は、表示視点・視方向獲得部３２によって得られた表示視点・視方向と、表示解像度獲得部３３によって得られた表示解像度に近い原画像を複数選択する。ここで、表示視点・視方向獲得部３２及び表示解像度獲得部３３は、実施の形態１における同一名称を付与した要素と同様の機能を有し、同様のものを用いることができる。
【００６０】
原画像座標変換部３６は、表示視点・視方向と表示解像度に基づき、表示に合わせた拡大・縮小を含む画像座標変換を行う。
【００６１】
表示領域明度分布獲得部３４は、選択した複数の画像の中で表示に関わる領域の明度分布をにより求める。原画像明度値部分調整部３７は、重畳領域の明度分布を比較することにより明度調整量を決定し、原画像の重畳領域における明度を調整する。
【００６２】
合成画像間差異検出部４０は、表示原画像選択部３５により選択された画像について、画像間で重複する領域の明度を変更したとしても差異が現れる部分を求める。得られた画像間の差異部分のデータ、及び表示視点・視方向と表示解像度とに基づき、合成比率決定部３９は、複数の画像を合成する際の合成比率を決定する。得られた合成比率に基づき、表示画像合成部３８は、原画像座標変換部３６によって得られた複数の画像を合成する。合成した画像は画像表示部４１により画像出力装置４２に表示される。
【００６３】
合成画像間差異検出部４０により、重畳領域間の差異の箇所を検出するためには、画像をシーン空間上の板モデルヘの投影したときに色情報が異なる部分、またはある程度以上異なる部分を検出する方法を用いればよい。
【００６４】
表示原画像選択部３５により、複数の原画像の中から表示視点・視方向・解像度に合わせて画像を選択するには、各画像に対して計測済みの視点・視方向・解像度の近さを基準として画像を選択すればよい。例えば、画像の視点が表示視点に最も近いものを選び、近いものがある範囲内で複数ある場合は、その中で画像の視方向と表示の視方向が最も近いものを選び、さらにその中に近いものが所定の範囲内で複数ある場合は、その中で画像の解像度と表示の解像度が最も近いものを選べばよい。または、画像の視点と表示視点の差、画像の視方向と表示の視方向の差、画像の解像度と表示の解像度の差を、ユークリッド距離、街区画距離、重み付けユークリッド距離、重み付け街区画距離などによって混合し、その値の小ささを基準として画像を選べばよい。画像を複数選択する場合、上記前者の順序、または、上記後者の値に応じて、上位の画像を複数選択すればよい。
【００６５】
選択した画像が、表示視点・視方向、解像度と大きく違う場合は、修整して表示する。例えば、選択した画像をシーン座標系のモデルに投影し、さらにその投影画像を、表示視点・視方向、表示解像度に基づいて観察したときの映像を生成する。その映像が原画像の一部を観察することになる場合は、観察領域の明度の上限下限が表示明度の上限下限に一致するように、明度変換を行ってもよい。選択された複数の画像に対して上記処理を行い、表示画像合成部３８により合成する。
【００６６】
次に、原画像明度値部分調整部３７において、複数の画像を合成する際の合成比率を決定する処理について説明する。この処理は、記憶しておいた原画像間の対応関係に基づき、表示の際、複数の原画像を合成するために行う。
【００６７】
合成比率は画素毎に決定する。ここで、表示装置のいずれかの点に対応する第１の画像の画素を表示装置に投影したときの解像度をｒ1、第２の画像の画素を表示装置に投影したときの解像度をｒ2とする。図６に示すように、ｒ2＜ｒ1とし、ｒ2＜ｒ3＜ｒ4＜ｒ1となるように、ｒ3、ｒ4を設定する。
【００６８】
第１の画像の画素の合成比率をｔ（ｔ≦１）で表せば、第２の画像の画素の合成比率は（１−ｔ）となる。図６のグラフで示されるように、表示解像度ｒがｒ4＜ｒ＜ｒ1の場合は、ｔ＝１とする。この場合、第１の画像の画素と第２の画像の画素の合成比は１：０となる。ｒ2＜ｒ＜ｒ3の場合は、ｔ＝０とする。この場合、第１の画像の画素と第２の画像の画素の合成比は０：１となる。
【００６９】
また、ｒ3＜ｒ＜ｒ4であって、２つの画素間に合成画像間差異検出部４０で差異が検出されない場合には、合成比率を線ａで示すような１次線形に従い滑らかに変わるように設定する。また、差異が検出された場合は、２つの画素の合成比率が急激に変化するように、合成比率の推移を線ｂで示すような高次の関数により決定する。
【００７０】
明度変換後における第１の画像の画素の濃度値をＩ1、第２の画像の画素の濃度値をＩ2とすれば、合成比率ｔで２つの画像を合成したときの、表示画像の濃度値は、
Ｉ＝ｔＩ1＋（１−ｔ）Ｉ2
と表される。
【００７１】
表示装置のいずれかの点にｎ枚（ｎ≧３）の画像が重なっていた場合には次のように処理する。ここで、その点に対応する各画像上の画素をＰi、各画素の解像度をｒi（１≦ｉ≦ｎ、ｒi＜ｒi+1）とする。そして合成比率を各画素の重みｗiを要素に持つｎ次元のベクトルＷで表すものとする。このとき、表示解像度ｒがｒ＜ｒ1の場合は、ｗ1＝１、ｗi＝０（ｉ＞１）、ｒ＞ｒnの場合は、ｗn＝１、ｗi＝０（ｉ＜ｎ）とする。また、ｒi＜ｒ＜ｒi+1の場合は、ｗj＝０（ｊ＜ｉ∧ｉ＋１＜ｊ）とし、ｗi、ｗi+1は２枚の画像の合成の場合に準じて決定する。
【００７２】
なお、以上の実施の形態においては、視方向、視点、ズームに関するデータを、画像間の相関を求める処理により得ていたが、それらのデータを計測できる撮影装置を用いて、撮影時にそれらのデータを計測してもよい。例えば、視方向、視点は、モーションコントロールカメラを用いる、ＧＰＳを搭載する、カメラを台車に固定し台車を目盛りのついたレール上を移動させる、あるいは、三脚の接合部に角度を記した目盛りを付ける、等により計測できる。ズームは、モーションコントロールカメラを用いる、あるいは、ズームを変更する取っ手に目盛りをつける、等により計測できる。
【００７３】
以上の実施の形態１〜３で説明した画像処理装置を構成する各機能は、コンピュータのプログラムにより実現することができる。図７に、実施の形態１における画像処理装置を実現するプログラムの処理の流れを示す。
【００７４】
図７において、先ず、対象シーンを視点位置、視方向、ズームを変えて撮影した複数枚の画像を入力する（ステップＳ２０１）。次に一旦画像間の相関を求め（ステップＳ２０２）、その際の相関計算領域が妥当か否かを検査する（ステップＳ２０３）。妥当でなければ、相関計算領域を修正して（ステップＳ２０４）、もう一度画像の相関を求める（ステップＳ２０２）。この繰り返しの後、相関計算領域が妥当になれば、その相関データを用いて、カメラ視点・視方向を算出する（ステップＳ２０５）。その結果に基づき、原画像の座標変換（ステップＳ２０６）を行い、更に原画像解像度を調整し（ステップＳ２０７）、原画像の明度値を部分的に調整する（ステップＳ２０８）。次に、以上の結果得られたデータを用いて、パノラマ画像を合成し、記憶する（ステップＳ２０９）。次に、閲覧者から表示視点・視方向のデータを獲得し（ステップＳ２１０）、それに基づいてパノラマ画像を切り出し、表示する（ステップＳ２１１）。
【００７５】
また、本発明の画像処理装置を実現するプログラムは、図８に示すように、ＣＤ−ＲＯＭ６１ａやフレキシブルディスク６１ｂ等の可搬型記録媒体６１に格納して用いることができる。更に、通信回線６２の先に備えられた他の記憶装置６３や、コンピュータ６４のハードディスクやＲＡＭ等の記録媒体６５のいずれにも格納して用いることが可能である。格納したプログラムは、本発明の画像処理装置を使用する場合に、コンピュータにローディングされ、主メモリ上で実行される。
【００７６】
【発明の効果】
以上のように本発明にかかる画像合成・表示方法によれば、視点・視方向のみならずズームが異なる複数の画像に対し、ズームイン、ズームアウトによりカメラの絞りが大きく異なっても、明度調整により画像内の対象が明るくまたは暗く飽和することがなく、絞りの変化によって画像内の対象が画像間で見えたり見えなかったりしても、オクルージョンによる影響を受けることなく画像間の相関関係を的確に決定できる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における画像合成・表示方法を実施する装置の概略構成を示す機能ブロック図
【図２】 本発明の実施の形態１における画像間相関を求める処理を示すフローチャート
【図３】 図１の装置の原画像解像度調整部における解像度調整の処理について説明するための図
【図４】 本発明の実施の形態２における画像合成・表示方法を実施する装置の概略構成を示す機能ブロック図
【図５】 本発明の実施の形態３における画像合成・表示方法を実施する装置の概略構成を示す機能ブロック図
【図６】 図５の装置の合成比率決定部における処理を説明するための図
【図７】 本発明の実施の形態１における画像合成・表示方法を実行するプログラムの処理の流れを示すフローチャート
【図８】 本発明の実施の形態における画像処理・表示方法を実行するプログラムを格納した記録媒体の例を示す図
【符号の説明】
１ 画像入力装置
２ 原画像記憶部
３ 画像相関獲得部
４ 相関計算領域決定部
５ カメラ視点・視方向算出部
６ 解像度算出部
７ 及び重畳領域明度分布測定部
８ 原画像座標変換部
９ 原画像解像度調整部
１０ 原画像明度値部分調整部
１１ パノラマ画像合成部
１２ パノラマ画像出力部
１３ パノラマ画像記憶部
１４ 表示視点・視方向獲得部
１５ パノラマ画像切出部
１６ 表示解像度獲得部
１７ パノラマ画像拡大・縮小部
１８ 画像表示部
１９ 画像出力装置
２１ 視点・視方向・解像度記憶部
２２ 表示視点・視方向獲得部
２３ 表示解像度獲得部
２４ 表示原画像選択部
２５ 画像表示部
２６ 画像出力装置
３１ 視点・視方向・解像度・明度分布記憶部
３２ 表示視点・視方向獲得部
３３ 表示解像度獲得部
３４ 表示領域明度分布獲得部
３５ 表示原画像選択部
３６ 原画像座標変換部
３７ 原画像明度値部分調整部
３８ 表示画像合成部
３９ 合成比率決定部
４０ 合成画像間差異検出部
４１ 画像表示部
４２ 画像出力装置
【発明の属する技術分野】
本発明は、複数の視点位置、方向、ズームの異なる画像を結合してパノラマ画像を生成する画像合成方法、及び所望の画像を選択して表示する画像表示方法に関する。
【０００２】
【従来の技術】
パノラマ画像の生成、および、表示については従来数多くの技術が提案されている。視点位置、方向の異なる複数の画像に対し、重なる部分を検出し結合してパノラマ画像を生成する技術、表示の際、複数の画像を選択、または、中間画像を生成する技術、また、撮影の際、重ね合わせ部分が滑らかになるように特別の撮像装置を用いる技術等々である。
【０００３】
【発明が解決しようとする課題】
しかし、何れもズームの異なる画像間に発生する諸間題を考慮してはいない。例えば、視野中、暗い部分にズームインするとカメラの絞りが変わりその部分が明るく見えてくる。そして、明るくなった部分に違うものが見えてくる場合がある。このように、同じ部分にも関わらず明るさが異なったり、オクルージョン（一方では見えてもう一方では見えないこと）が起こる場合を想定した技術はない。また、表示においても同一箇所に対して複数の画像がある際、画像間の解像度の差を考慮した技術はない。
【０００４】
本発明は、カメラの視点のみならずズームを変更した際に起こる現象に対処して、複数画像を適切に合成又は表示できる方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明にかかる画像合成・表示方法は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する工程と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る工程と、画像間で重畳する領域に対して明度分布を測定する工程と、得られた画像間の相関に基づき画像の座標変換を行うとともに、重畳領域については明度分布の広い方の画像の情報を優先するように部分的に明度調整を行ってパノラマ画像を生成する工程と、パノラマ画像から表示視点・視方向に合わせて表示画像を切出し、表示する工程とを備えたことを特徴とする。
【０００６】
上記構成によれば、視点・視方向のみならずズームや解像度が異なる複数の画像に対し、画像内の対象が画像間で見えたり見えなかったりしても、オクルージョンにより影響されず、画像間の相関関係を的確に決定できる。表示に際しては、明度調整により画像内の対象が明るくまたは暗く飽和することがない。
【０００７】
好ましくは、パノラマ画像を生成する際、重畳領域は解像度の高い方の画像の情報を優先するように明度調整を行う。
【０００８】
また、好ましくは、パノラマ画像を表示する際、表示視点・視方向に合わせてパノラマ画像を切出した後、表示解像度に合わせて切出し画像を拡大・縮小し、表示領域の明度を表示明度内に納まるように明度変換を行って表示する。
【０００９】
また、本発明にかかる画像表示方法は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する工程と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る工程と、得られた画像間の相関に基づき原画像の視点・視方向、解像度を算出し記憶する工程と、記憶された原画像の視点・視方向、解像度のデータに基づき、表示視点・視方向、表示解像度に合わせて原画像を選択し、表示する工程とを備えたことを特徴とする。
【００１０】
上記構成によれば、視点・視方向のみならずズームが異なる複数の画像に対し、画像内の対象が画像間で見えたり見えなかったりしても、オクルージョンにより影響されずに画像間の相関関係を的確に決定できる。また、あらかじめパノラマ画像のデータを格納することなく、容易に所望の画像を閲覧することを可能とする。
【００１１】
好ましくは、表示の際、表示視点・視方向、解像度に合わせて原画像を選択し、原画像の視点・視方向・解像度が表示視点・視方向・解像度と大きく異なる場合は、原画像を座標変換、拡大・縮小して表示する。
【００１２】
また、好ましくは、表示の際、表示領域内の明度を、表示可能明度に正規化してから表示する。
【００１３】
更に、本発明にかかる画像表示方法は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する工程と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る工程と、得られた画像間の相関に基づき画像の視点・視方向、解像度を算出するとともに、重畳領域の明度分布を測定し記憶する工程と、記憶された原画像の視点・視方向、解像度のデータに基づき、表示視点・視方向、表示解像度に合わせて原画像を複数選択する工程と、重畳領域の差異、明度分布差に基づき合成比率を決定する工程と、表示領域内のすべての画像情報の明度値が所定の表示明度内に均一に収まるように、画像ごとに明度調整して画像を合成して表示する工程とを備えたことを特徴とする。
【００１４】
上記構成によれば、上述の他の発明と同様の効果を、複数の原画像を組み合わせて表示する際にも奏することが可能で、画像間のバランスを最適に調整して表示することができる。
【００１５】
好ましくは、画像合成の際に、重畳領域は最も解像度の高い画像の情報が優先されるよう画像ごとに明度調整を行う。
【００１６】
また、好ましくは、画像合成の際に、重畳領域は最も明度分布の広い画像の情報が優先されるよう画像ごとに明度調整を行う。
【００１７】
また、好ましくは、明度と重畳領域内か否かの判断に基づき、画像の部分部分に応じて重畳領域の明度分布を表示明度内に均一に収まるように明度調整を施し、合成して表示する。その際、重畳領域は最も解像度の高い画像の情報が優先されるよう画像の部分部分に応じて明度調整を行うことが好ましい。または、重畳領域は最も明度分布の広い画像の情報が優先されるよう画像の部分部分に応じて明度調整を行うことが好ましい。更に、重畳領域の明度分布は事前に測定し記憶しておくのではなく、合成表示の際に測定することもできる。
【００１８】
以上の本発明においては、視方向、視点、ズーム及び解像度を計測できる撮影装置によって複数の視方向、視点、ズームの異なる画像を撮影し、各画像の相関を求める処理を省く構成にすることもできる。
【００１９】
本発明にかかる上記の画像合成・表示方法を実施するための装置は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する原画像記憶部と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る画像相関獲得部と、得られた画像間の相関に基づき画像の座標変換を行う原画像座標変換部と、重畳領域は明度分布の広い方の画像の情載を優先するように部分的に明度調整を行う原画像明度値部分調整部と、原画像座標変換部及び原画像明度値部分調整部の出力に基づきパノラマ画像を生成するパノラマ画像合成部と、パノラマ画像から、画像表示視点・視方向に合わせて表示画像を切出し、表示解像度に合わせて切出した画像を拡大・縮小して表示する画像表示部とを備えた構成を有する。
【００２０】
また、本発明にかかる上記の画像合成・表示方法を実施するための画像合成・表示装置は、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する原画像記憶部と、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得る画像相関獲得部と、得られた画像間の相関に基づき原画像の視点・視方向を算出する視点・視方向算出部と、算出された原画像の視点・視方向を格納する視点・視方向記憶部と、格納された原画像の視点・視方向、解像度のデータに基づき、表示視点・視方向、表示解像度に合わせて原画像を選択する表示原画像選択部と、選択された原画像に基づく画像を表示する画像表示部とを備えた構成を有する。
【００２１】
本発明にかかる記録媒体は、原画像から画像を合成し表示する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納するステップと、原画像から、明度差、オクルージョン、ズーム及び解像度による影響を抑制して画像間の相関を得るステップと、画像間で重畳する領域に対して明度分布を測定するステップと、得られた前記画像間の相関に基づき画像の座標変換を行うとともに、重畳領域については明度分布の広い方の画像の情報を優先するように部分的に明度調整を行ってパノラマ画像を生成するステップと、パノラマ画像から表示視点・視方向に合わせて表示画像を切出し、表示するステップとを備えた、コンピュータに実行させるプログラムを記録した構成を有する。
【００２２】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１における画像合成・表示方法を実施するための装置について、図面を参照しながら説明する。図１は画像合成・表示装置の構成を示すブロック図である。
【００２３】
１は画像入力装置であり、対象シーンを視点位置、視方向、ズームを変えて撮影した複数枚の画像信号を供給する。その画像信号は、原画像記憶部２に入力され、記憶される。
【００２４】
画像相関獲得部３は、原画像記憶部２に記憶された画像を読み込み、画像間の相関を求める。相関を求めるに際しては、先ず画像全体についての相関を求める。その結果に基づき、相関計算領域決定部４で相関計算を行う領域を決めなおし、再度、画像相関獲得部３で画像間の相関を求める。相関計算領域決定部４で相関計算領域を修整する必要がなくなるまで以上の処理を繰り返す。
【００２５】
画像相関獲得部３により得られた画像間相関情報に基づき、カメラ視点・視方向算出部５、解像度算出部６は、画像毎にカメラ視点・視方向、解像度を各々算出する。画像間で重畳する領域に対しては、重畳領域明度分布測定部７により明度分布を測定する。
【００２６】
上記のようにして得られたカメラ視点・視方向のデータを用いて、原画像座標変換部８は、原画像の座標変換を行う。同様に解像度のデータを用いて、原画像解像度調整部９は、画像間で解像度をそろえるための解像度調整を行う。原画像明度値部分調整部１０は、重畳領域の明度分布のデータを用いて、各画像について重畳領域の明度を調整するための、部分的な明度調整を行う。
【００２７】
上記のように加工された原画像は、パノラマ画像合成部１１により、一つにつなぎ合わせられる。合成されたパノラマ画像は、パノラマ画像出力部１２によりパノラマ画像記憶部１３に格納される。
【００２８】
表示視点・視方向獲得部１４は、閲覧者から表示視点・視方向を獲得する。得られた表示視点・視方向に従い、パノラマ画像切出部１５は、パノラマ画像記憶部１３に格納されたパノラマ画像から、表示すべき部分を切り出す。そして、表示解像度獲得部１６によって得られた表示解像度に従い、パノラマ画像拡大・縮小部１７によって画像の拡大または縮小が行われる。最終的に得られた画像が、画像表示部１８によって画像出力装置１９に表示される。
【００２９】
上記の構成において、画像相関獲得部３及び相関計算領域決定部４により画像の相関を求める際には、上記のように、視方向、視点、ズームの異なる画像間での明度差、オクルージョンを考慮して、最適な処理が行われるように調整さるれが、その方法について以下に説明する。
【００３０】
先ず、シーンに対して直交３次元座標系を設定する。これをシーン座標系と名付ける。各画像を撮影したカメラに対しその視方向、視点を、シーン座標系を用いて表す。視点は３次元ベクトルとして、視方向は３次元ベクトルとその回転で表すことができる。ズームの変更はカメラ視点の奥行き方向の移動と等価なので、視点情報の３次元ベクトルにより表現できる。
【００３１】
画像間に相関があるということは、シーン空間に設定した平面モデルなり、円柱モデルなり、または、実際に物体に即した立体モデルなりに、カメラの視点、視方向に基づいて画像を透視投影や正射影や擬似透視投影などによって投影したとき、重畳領域の各ピクセルの明度値、色相値、彩度値、または、ＲＧＢ値、ＹＩＱ値などが近似することである。
【００３２】
明度差、オクルージョンを考慮しなければ、相関関数を表わす指標を不一致度とすると、不一致度を重畳領域の画像模様の差として、該当部分の画像の色情報の差をユークリッド距離、街区画距離によって表し、その不一致度を重畳領域にわたって累積した値を最小にする視点、視方向を総当り方法、反復近似法、粗密探索法、その他の探索法にて探索すればよい。
【００３３】
明度差を考慮するためには、与えられる複数の画像中、一つの画像の明度Ｉが、他の画像の明度Ｉ’にＩ’＝ａ×Ｉや、Ｉ’＝Ｉ＋ｂや、Ｉ’＝ｃ×Ｉ＋ｄ等々に変換されるものとして、変換式中の未知数を同時に求めればよい。
【００３４】
オクルージョンを考慮するためには、仮に探索した後、不一致度を累積する際、各画像について重畳領域全体を対象にするのではなく、不一致度の高い部分を除外して探索し直すという作業を繰り返せばよい。
【００３５】
不一致度の計算は、特徴のある部分だけに限ってもよい。例えば、特徴のある部分は、インタレストオペレータ、ソーベルオペレータ、ガウシアンフィルタ等々、エッジ要素を導き出すフィルタをかけ、エッジ強度が高い部分として定義すればよい。色情報のヒストグラムを作成し、ヒストグラム上で孤立した部分に相当する部分として定義するなど、統計的手法を用いて定義してもよい。そして、特徴ある部分に対して、その特徴を導き出したときに基準となった特徴量、すなわち、上記の例では、エッジ強度、エッジ位置、または、色情報量、統計量、などに関して不一致度を計算すればよい。オクルージョンが起こっている部分は、上記特徴量が一致しないとして外される。
【００３６】
解像度の差を考慮した画像間の位置付けを行うことも有効である。例えば、ある部分にズームイン画像が存在した場合、その画像聞の位置関係を決定するために明度値の相関を求める際、解像度の高い画像の明度値は重みを抑える。つまり、同じ物体を撮影した映像でも、解像度の高い画像ではその模様なり境界がはっきりしているのに対して、解像度の低い画像では曖昧である。従って、そのような画像どうしの相関を直接求めると、位置関係検出に誤差を生じる。そこで、解像度の高い画像については、ぼかしをかけて相関を求めれば、位置関係検出について高い精度を得ることができる。
【００３７】
以上の処理に際して現れた未知数は、同時に求めてもよいし、順番に求めてもよい。また仮に求めた値を反復法により修整してもよい。
【００３８】
上記のように、画像相関獲得部３及び相関計算領域決定部４により行われる、明度差、オクルージョンを考慮した画像相関を求める処理の流れについて、図２を参照して説明する。先ず２枚の画像を準備する（ステップＳ１０１）。次に領域Ｒを一方の画像全体を覆う領域として設定する（ステップＳ１０２）。更に、領域Ｑを空に設定する（ステップＳ１０３）。次に、領域Ｒに対し重畳領域の明度評価値I'の差の累積が最小になる対応位置、及び明度評価パラメータを探索する（ステップＳ１０４）。その結果に関し、領域Ｒ内で明度評価値I'が所定値以上の領域Ｓがあるか否かを判断する（ステップＳ１０５）。無ければ処理は終了である。あれば、領域Ｒから領域Ｓを除外する（ステップＳ１０６）。次に、領域Ｑ内で明度評価値I'の差が所定値以下の領域Ｐを領域Ｒに追加する（ステップＳ１０７）。更に、領域Ｑから領域Ｐを除外し（ステップＳ１０８）、領域Ｑに領域Ｓを追加（ステップＳ９）した後、ステップＳ１０４の処理に戻る。
【００３９】
次に、重畳領域明度分布測定部７による画像の明度分布を測定する方法について説明する。明度分布を測定するためには、画像の色情報から明度を計算し、そのヒストグラムを作成すればよい。色情報がＲＧＢ値によって表現される場合、明度Ｉは、Ｉ＝（Ｒ＋Ｇ＋Ｂ）／３または、Ｉ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂにより計算できる。明度分布は、そのヒストグラムを記憶すればよい。また、ヒストグラムの最大値、最小値、平均値、標準偏差値のみを記憶してもよい。また、ヒストグラムの最大値、最小値の代わりに、ヒストグラムから例外値を除いた部分の上限値、下限値を用いてもよい。ヒストグラムの例外値は、偏差値が分散値の２倍または任意定義の倍数を超える部分として定義したり、中央値を中心として全体の９割または任意割合に含まれない部分として定義したり、他の統計的手法により定義してよい。
【００４０】
次に、原画像解像度調整部９における、画像間で解像度をそろえるための解像度調整の処理について説明する。
【００４１】
入力画像中の所定の２枚の画像間に相関があり、原画像座標変換部による原画像座標変換後、その２枚の画像が図３（ａ）に示すように重畳した場合を想定する。このとき、２枚の画像を合わせて得られるパノラマ画像としては、第１の画像ｐ１と第２の画像ｐ２をどちらも含む外接矩形からなる出力画像を生成することになる。原画像解像度調整部９では、次の手順により画像を生成する。
【００４２】
１） 第１の画像ｐ１と第２の画像ｐ２を座標変換して、この外接矩形に投影したときに、原画像における画素のうち、図３（ｂ）に示す画素Ａのように最も小さく投影される画素を求める。
【００４３】
２） １）で求めた画素が出力画像において１画素に相当するように、出力画像の大きさを計算する。
【００４４】
３） ２）で求めた大きさの出力画像に第１の画像ｐ１と第２の画像ｐ２を投影する。この場合、最小ではない画素は拡大されることになる。拡大する際には、補間等を行う。
【００４５】
以上のような処理を行うことにより、最も小さい画素がつぶれることがなくなる。なお、重畳領域の画素の明度値は、原画像明度値部分調整部１０により決定する。入力画像が３枚以上の場合は、すべての画像の中で最も小さく投影される画素が、出力画像において１画素の大きさに相当するように、出力画像の大きさを計算し投影する。
【００４６】
次に、原画像明度値部分調整部１０による、各々の画像における重畳領域の明度を調整するための、部分的な明度調整の方法について説明する。
【００４７】
先ず重畳領域明度分布測定部７の測定結果より、重畳する各画像の明度分布の範囲を調べる。そして、重畳部分が映っている部分を頼りに明度分布の相対関係を求め、そのうち一つの画像を基準にして全体の明度分布を算出する。そして、全体の明度分布の上限下限が表示明度の上限下限に一致するように、明度の一次変換または二次以上の変換をする。全体の明度分布を算出する際、解像度の高い画像を優先してもよい。その場合は、最も解像度の高い画像の明度分布の上限下限が表示明度の上限下限に一致するように明度を変換する。他の画像が表示明度をはみだすような場合は、その画像の表示明度の上限または下限を最も解像度の高い画像の表示明度の上限または下限の値に修整する。
【００４８】
全体の明度分布を算出する際、最も明度分布の広い画像を優先してもよい。その場合は、最も明度分布の広い画像の明度分布の上限下限が表示明度の上限下限に一致するように明度を変換する。他の画像が表示明度をはみだすような場合は、その画像の表示明度の上限または下限を最も明度分布の広い画像の表示明度の上限または下限の値に修整する。重畳領域とそうでない領域との境目付近は明度調整の効果を抑えてもよい。
【００４９】
次に、パノラマ画像切出部１５においてパノラマ画像の一部を切出し、表示する方法について説明する。先ず、表示視点・視方向獲得部１４から得た表示視点・視方向、及び表示解像度獲得部１６から得た解像度に基づいて、上記の画像の相関を求める方法の説明において定義したシーン座標系における、閲覧者が見ている領域を求める。そして、その領域に含まれるパノラマ画像を切出せばよい。切出した画像の大きさが表示領域と一致しない場合は、表示領域に合わせて拡大・縮小すればよい。拡大・縮小は切出し領域に対して均一に行ってもよいし、表示画素に合わせて適応的に行ってもよい。
【００５０】
表示視点・視方向獲得部１４及び表示解像度獲得部１６により、表示視点・視方向・解像度を閲覧者から獲得する方法としては、広く普及している３次元ブラウザと同等の方法を用いることができる。
【００５１】
（実施の形態２）
本発明の実施の形態２における画像合成・表示方法を実施するための装置について、図面を参照しながら説明する。図４は画像合成・表示装置の構成を示すブロック図である。
【００５２】
画像入力装置１、原画像記憶部２、画像相関獲得部３、相関計算領域決定部４、カメラ視点・視方向算出部５、及び解像度算出部６は、上記実施の形態１における同一番号を付与した要素と同様の機能を有するものであり、説明を省略する。カメラ視点・視方向算出部５、解像度算出部６によりそれぞれ得られた視点、解像度は、視点・視方向・解像度記憶部２１に格納される。実施の形態２においては、実施の形態１と異なり、あらかじめパノラマ画像を生成して記憶する構成は採らず、画像入力後、表示前の処理としては、入力画像間の位置関係のみ調べておく。そして、表示の際、視野内に含まれるすべての画像間の相対明度を調べ、正規化した上で表示する。
【００５３】
画像表示に際して、表示視点・視方向獲得部２２は、閲覧者から表示視点・視方向を獲得し、表示解像度獲得部２３は、表示解像度を獲得する。表示視点・視方向獲得部２２及び表示解像度獲得部２３は、実施の形態１における同一名称を付与した要素と同様の機能を有し、同様のものを用いることができる。表示原画像選択部２４は、得られた表示視点・視方向及び表示解像度に最も近い原画像を選択する。選択された原画像は、画像表示部２５により画像出力装置２６に表示される。
【００５４】
表示原画像選択部２４は、複数の原画像の中から表示視点・視方向・解像度に合わせて画像を選択する際に、視点・視方向・解像度記憶部２１に格納された、各画像について計測済みの視点・視方向・解像度のデータを用いて、画像を選択する。例えば、画像の視点が表示視点に最も近いものを選び、近いものがある範囲内で複数ある場合は、その中で画像の視方向と表示の視方向が最も近いものを選ぶ。さらにその中に近いものが所定の範囲内で複数ある場合は、その中で画像の解像度と表示の解像度が最も近いものを選べばよい。または、画像の視点と表示視点の差、画像の視方向と表示の視方向の差、画像の解像度と表示の解像度の差を、ユークリッド距離、街区画距離、重み付けユークリッド距離、重み付け街区画距離などによって混合し、その値が最も小さい画像を選べばよい。
【００５５】
選択した画像を、画像表示部２５により表示する際に、表示視点・視方向、解像度と大きく違う場合は次のようにする。すなわち、選択した画像をシーン座標系のモデルに投影し、さらにその投影画像を表示視点・視方向、表示解像度に基づいて観察したときの映像を生成し、その映像を表示すればよい。その映像が原画像の一部を観察することになる場合は、観察領域の明度の上限下限が表示明度の上限下限に一致するように、明度変換を行ってもよい。
【００５６】
以上の構成により、画像を切り替え表示する際には、オクルージョンを考慮した切り替え表示を行うことが望ましい。例えば、同一部分の模様が変化するような場合は、見る人に違和感を与えないように、切り替えのタイミングまたは画像混合の割合を調節する。
【００５７】
（実施の形態３）
本発明の実施の形態３における画像合成・表示方法を実施するための装置について、図面を参照しながら説明する。図５は画像合成・表示装置の構成を示すブロック図である。
【００５８】
画像入力装置１、原画像記憶部２、画像相関獲得部３、相関計算領域決定部４、 カメラ視点・視方向算出部５、解像度算出部６、及び重畳領域明度分布測定部７、は、上記実施の形態１における同一番号を付与した要素と同様であり、説明を省略する。カメラ視点・視方向算出部５、解像度算出部６、重畳領域明度分布測定部７によりそれぞれ得られた視点・視方向、解像度、明度分布は、視点・視方向・解像度・明度分布記憶部３１に格納される。実施の形態３においても、実施の形態２と同様に、あらかじめパノラマ画像を合成して記憶する構成は採らず、画像入力後、表示前の処理としては、入力画像間の位置関係のみ調べておく。そして、表示の際に、それらのデータを用いて画像間の調整を行う。
【００５９】
表示原画像選択部３５は、表示視点・視方向獲得部３２によって得られた表示視点・視方向と、表示解像度獲得部３３によって得られた表示解像度に近い原画像を複数選択する。ここで、表示視点・視方向獲得部３２及び表示解像度獲得部３３は、実施の形態１における同一名称を付与した要素と同様の機能を有し、同様のものを用いることができる。
【００６０】
原画像座標変換部３６は、表示視点・視方向と表示解像度に基づき、表示に合わせた拡大・縮小を含む画像座標変換を行う。
【００６１】
表示領域明度分布獲得部３４は、選択した複数の画像の中で表示に関わる領域の明度分布をにより求める。原画像明度値部分調整部３７は、重畳領域の明度分布を比較することにより明度調整量を決定し、原画像の重畳領域における明度を調整する。
【００６２】
合成画像間差異検出部４０は、表示原画像選択部３５により選択された画像について、画像間で重複する領域の明度を変更したとしても差異が現れる部分を求める。得られた画像間の差異部分のデータ、及び表示視点・視方向と表示解像度とに基づき、合成比率決定部３９は、複数の画像を合成する際の合成比率を決定する。得られた合成比率に基づき、表示画像合成部３８は、原画像座標変換部３６によって得られた複数の画像を合成する。合成した画像は画像表示部４１により画像出力装置４２に表示される。
【００６３】
合成画像間差異検出部４０により、重畳領域間の差異の箇所を検出するためには、画像をシーン空間上の板モデルヘの投影したときに色情報が異なる部分、またはある程度以上異なる部分を検出する方法を用いればよい。
【００６４】
表示原画像選択部３５により、複数の原画像の中から表示視点・視方向・解像度に合わせて画像を選択するには、各画像に対して計測済みの視点・視方向・解像度の近さを基準として画像を選択すればよい。例えば、画像の視点が表示視点に最も近いものを選び、近いものがある範囲内で複数ある場合は、その中で画像の視方向と表示の視方向が最も近いものを選び、さらにその中に近いものが所定の範囲内で複数ある場合は、その中で画像の解像度と表示の解像度が最も近いものを選べばよい。または、画像の視点と表示視点の差、画像の視方向と表示の視方向の差、画像の解像度と表示の解像度の差を、ユークリッド距離、街区画距離、重み付けユークリッド距離、重み付け街区画距離などによって混合し、その値の小ささを基準として画像を選べばよい。画像を複数選択する場合、上記前者の順序、または、上記後者の値に応じて、上位の画像を複数選択すればよい。
【００６５】
選択した画像が、表示視点・視方向、解像度と大きく違う場合は、修整して表示する。例えば、選択した画像をシーン座標系のモデルに投影し、さらにその投影画像を、表示視点・視方向、表示解像度に基づいて観察したときの映像を生成する。その映像が原画像の一部を観察することになる場合は、観察領域の明度の上限下限が表示明度の上限下限に一致するように、明度変換を行ってもよい。選択された複数の画像に対して上記処理を行い、表示画像合成部３８により合成する。
【００６６】
次に、原画像明度値部分調整部３７において、複数の画像を合成する際の合成比率を決定する処理について説明する。この処理は、記憶しておいた原画像間の対応関係に基づき、表示の際、複数の原画像を合成するために行う。
【００６７】
合成比率は画素毎に決定する。ここで、表示装置のいずれかの点に対応する第１の画像の画素を表示装置に投影したときの解像度をｒ1、第２の画像の画素を表示装置に投影したときの解像度をｒ2とする。図６に示すように、ｒ2＜ｒ1とし、ｒ2＜ｒ3＜ｒ4＜ｒ1となるように、ｒ3、ｒ4を設定する。
【００６８】
第１の画像の画素の合成比率をｔ（ｔ≦１）で表せば、第２の画像の画素の合成比率は（１−ｔ）となる。図６のグラフで示されるように、表示解像度ｒがｒ4＜ｒ＜ｒ1の場合は、ｔ＝１とする。この場合、第１の画像の画素と第２の画像の画素の合成比は１：０となる。ｒ2＜ｒ＜ｒ3の場合は、ｔ＝０とする。この場合、第１の画像の画素と第２の画像の画素の合成比は０：１となる。
【００６９】
また、ｒ3＜ｒ＜ｒ4であって、２つの画素間に合成画像間差異検出部４０で差異が検出されない場合には、合成比率を線ａで示すような１次線形に従い滑らかに変わるように設定する。また、差異が検出された場合は、２つの画素の合成比率が急激に変化するように、合成比率の推移を線ｂで示すような高次の関数により決定する。
【００７０】
明度変換後における第１の画像の画素の濃度値をＩ1、第２の画像の画素の濃度値をＩ2とすれば、合成比率ｔで２つの画像を合成したときの、表示画像の濃度値は、
Ｉ＝ｔＩ1＋（１−ｔ）Ｉ2
と表される。
【００７１】
表示装置のいずれかの点にｎ枚（ｎ≧３）の画像が重なっていた場合には次のように処理する。ここで、その点に対応する各画像上の画素をＰi、各画素の解像度をｒi（１≦ｉ≦ｎ、ｒi＜ｒi+1）とする。そして合成比率を各画素の重みｗiを要素に持つｎ次元のベクトルＷで表すものとする。このとき、表示解像度ｒがｒ＜ｒ1の場合は、ｗ1＝１、ｗi＝０（ｉ＞１）、ｒ＞ｒnの場合は、ｗn＝１、ｗi＝０（ｉ＜ｎ）とする。また、ｒi＜ｒ＜ｒi+1の場合は、ｗj＝０（ｊ＜ｉ∧ｉ＋１＜ｊ）とし、ｗi、ｗi+1は２枚の画像の合成の場合に準じて決定する。
【００７２】
なお、以上の実施の形態においては、視方向、視点、ズームに関するデータを、画像間の相関を求める処理により得ていたが、それらのデータを計測できる撮影装置を用いて、撮影時にそれらのデータを計測してもよい。例えば、視方向、視点は、モーションコントロールカメラを用いる、ＧＰＳを搭載する、カメラを台車に固定し台車を目盛りのついたレール上を移動させる、あるいは、三脚の接合部に角度を記した目盛りを付ける、等により計測できる。ズームは、モーションコントロールカメラを用いる、あるいは、ズームを変更する取っ手に目盛りをつける、等により計測できる。
【００７３】
以上の実施の形態１〜３で説明した画像処理装置を構成する各機能は、コンピュータのプログラムにより実現することができる。図７に、実施の形態１における画像処理装置を実現するプログラムの処理の流れを示す。
【００７４】
図７において、先ず、対象シーンを視点位置、視方向、ズームを変えて撮影した複数枚の画像を入力する（ステップＳ２０１）。次に一旦画像間の相関を求め（ステップＳ２０２）、その際の相関計算領域が妥当か否かを検査する（ステップＳ２０３）。妥当でなければ、相関計算領域を修正して（ステップＳ２０４）、もう一度画像の相関を求める（ステップＳ２０２）。この繰り返しの後、相関計算領域が妥当になれば、その相関データを用いて、カメラ視点・視方向を算出する（ステップＳ２０５）。その結果に基づき、原画像の座標変換（ステップＳ２０６）を行い、更に原画像解像度を調整し（ステップＳ２０７）、原画像の明度値を部分的に調整する（ステップＳ２０８）。次に、以上の結果得られたデータを用いて、パノラマ画像を合成し、記憶する（ステップＳ２０９）。次に、閲覧者から表示視点・視方向のデータを獲得し（ステップＳ２１０）、それに基づいてパノラマ画像を切り出し、表示する（ステップＳ２１１）。
【００７５】
また、本発明の画像処理装置を実現するプログラムは、図８に示すように、ＣＤ−ＲＯＭ６１ａやフレキシブルディスク６１ｂ等の可搬型記録媒体６１に格納して用いることができる。更に、通信回線６２の先に備えられた他の記憶装置６３や、コンピュータ６４のハードディスクやＲＡＭ等の記録媒体６５のいずれにも格納して用いることが可能である。格納したプログラムは、本発明の画像処理装置を使用する場合に、コンピュータにローディングされ、主メモリ上で実行される。
【００７６】
【発明の効果】
以上のように本発明にかかる画像合成・表示方法によれば、視点・視方向のみならずズームが異なる複数の画像に対し、ズームイン、ズームアウトによりカメラの絞りが大きく異なっても、明度調整により画像内の対象が明るくまたは暗く飽和することがなく、絞りの変化によって画像内の対象が画像間で見えたり見えなかったりしても、オクルージョンによる影響を受けることなく画像間の相関関係を的確に決定できる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における画像合成・表示方法を実施する装置の概略構成を示す機能ブロック図
【図２】 本発明の実施の形態１における画像間相関を求める処理を示すフローチャート
【図３】 図１の装置の原画像解像度調整部における解像度調整の処理について説明するための図
【図４】 本発明の実施の形態２における画像合成・表示方法を実施する装置の概略構成を示す機能ブロック図
【図５】 本発明の実施の形態３における画像合成・表示方法を実施する装置の概略構成を示す機能ブロック図
【図６】 図５の装置の合成比率決定部における処理を説明するための図
【図７】 本発明の実施の形態１における画像合成・表示方法を実行するプログラムの処理の流れを示すフローチャート
【図８】 本発明の実施の形態における画像処理・表示方法を実行するプログラムを格納した記録媒体の例を示す図
【符号の説明】
１ 画像入力装置
２ 原画像記憶部
３ 画像相関獲得部
４ 相関計算領域決定部
５ カメラ視点・視方向算出部
６ 解像度算出部
７ 及び重畳領域明度分布測定部
８ 原画像座標変換部
９ 原画像解像度調整部
１０ 原画像明度値部分調整部
１１ パノラマ画像合成部
１２ パノラマ画像出力部
１３ パノラマ画像記憶部
１４ 表示視点・視方向獲得部
１５ パノラマ画像切出部
１６ 表示解像度獲得部
１７ パノラマ画像拡大・縮小部
１８ 画像表示部
１９ 画像出力装置
２１ 視点・視方向・解像度記憶部
２２ 表示視点・視方向獲得部
２３ 表示解像度獲得部
２４ 表示原画像選択部
２５ 画像表示部
２６ 画像出力装置
３１ 視点・視方向・解像度・明度分布記憶部
３２ 表示視点・視方向獲得部
３３ 表示解像度獲得部
３４ 表示領域明度分布獲得部
３５ 表示原画像選択部
３６ 原画像座標変換部
３７ 原画像明度値部分調整部
３８ 表示画像合成部
３９ 合成比率決定部
４０ 合成画像間差異検出部
４１ 画像表示部
４２ 画像出力装置
Claims (6)
- 視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する原画像記録部と、
前記複数の原画像を、各原画像の視点および視方向それぞれを表す３次元ベクトルを用いて１の面に投影した場合の重畳領域における画像間の不一致度を計算する処理を繰り返すことにより、前記不一致度を最小にするような前記各原画像の視点、視方向および解像度と、画像間の明度差とを探索する画像相関獲得部と、
画像間で重畳する領域に対して明度分布を測定する重複領域明度分布測定部と、
前記画像相関獲得部で探索された視点、視方向、解像度、明度差に基づいて各原画像を１つの投影面に投影するとともに、当該投影面における画像間の重畳領域については明度分布の広い方の画像の情報を優先するように部分的に明度調整を行って、前記投影された画像をつなぎ合わせてパノラマ画像を生成するパノラマ画像生成部と、
前記パノラマ画像を表示する画像表示部とを備え、
前記画像相関獲得部は、前記重畳領域における画像間の不一致度を計算する際に画像間の重畳領域において不一致度の高い部分を除外して、前記不一致度の計算を繰り返すことにより、明度差、オクルージョン、ズーム及び解像度による影響を抑制して前記探索を行うことを特徴とする画像合成・表示装置。 - 互いに重畳する複数の原画像を投影した画像における１画素あたりの面積が、最も小さく投影される原画像の１画素あたりの面積に相当するように、前記複数の原画像の解像度を調整する原画像解像度調整部をさらに備える、請求項１に記載の画像合成・表示装置。
- 視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する原画像記録部と、
前記複数の原画像を、各原画像の視点および視方向それぞれを表す３次元ベクトルを用いて１の面に投影した場合の重畳領域における画像間の不一致度を計算する処理を繰り返すことにより、前記不一致度を最小にするような前記各原画像の視点、視方向、解像度と、画像間の明度差とを探索する画像相関獲得部と、
前記画像相関獲得部で探索された前記各原画像の視点・視方向、解像度を記憶する視点・視方向・解像度記憶部と、
視点・視方向・解像度記憶部に記憶された前記各原画像の視点・視方向、解像度に基づき、閲覧者から獲得した表示視点・視方向、表示解像度と近い視点・視方向、解像度を持つ原画像を選択する表示原画像選択部と、
選択された原画像に基づく画像を表示する画像表示部とを備え、
前記画像相関獲得部は、前記重畳領域における画像間の不一致度を計算する際に画像間の重畳領域において不一致度の高い部分を除外して、前記不一致度の計算を繰り返すことにより、明度差、オクルージョン、ズーム及び解像度による影響を抑制して前記探索を行うことを特徴とする画像生成・表示装置。 - 視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する原画像記録部と、
前記複数の原画像を、各原画像の視点および視方向それぞれを表す３次元ベクトルを用いて１の面に投影した場合の重畳領域における画像間の不一致度を計算する処理を繰り返すことにより、前記不一致度を最小にするような前記各原画像の視点、視方向、解像度と、画像間の明度差とを探索する画像相関獲得部と、
前記画像相関獲得部で探索された前記各原画像の視点・視方向、解像度を記憶する視点・視方向・解像度記憶部と、
前記画像間で重畳する領域に対して重畳領域の明度分布を測定し記憶する重複領域明度分布測定部と、
記憶された前記原画像の視点・視方向、解像度のデータに基づき、閲覧者から獲得した表示視点・視方向、表示解像度と近い視点・視方向、解像度を持つ原画像を複数選択する表示原画像選択部と、
前記表示原画像選択部で選択された前記複数の原画像について、前記画像相関獲得部で探索された各原画像の視点、視方向、明度差、解像度差に基づいて各原画像を１つの投影面に投影した場合の画像間の重畳領域の差異、明度分布差に基づき合成比率を決定する合成比率決定部と、
前記合成比率決定部で決定された合成比率に基づいて、表示領域内のすべての画像情報の明度値が表示明度内に均一に収まるように、画像ごとに明度調整して、画像を合成する表示画像合成部と、
合成された画像を表示する画像表示部とを備え、
前記画像相関獲得部は、前記重畳領域における画像間の不一致度を計算する際に画像間の重畳領域において不一致度の高い部分を除外して、前記不一致度の計算を繰り返すことにより、明度差、オクルージョン、ズーム及び解像度による影響を抑制して前記探索を行うことを特徴とする画像合成・表示装置。 - 前記画像相関獲得部は、画像間の重畳領域において不一致度を累積した値が最小となる対応位置を探索する処理を、画像間の重畳領域において不一致度の高い部分を除外して繰り返すことにより、前記画像間の相関を得る、請求項１〜４のいずれか１項に記載の画像合成・表示装置。
- 原画像から画像を合成し表示する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
視方向、視点、ズーム及び解像度の異なる複数の入力原画像を格納する処理と 、
前記複数の原画像を、各原画像の視点および視方向それぞれを表す３次元ベクトルを用いて１の面に投影した場合の重畳領域における画像間の不一致度を計算する処理を繰り返すことにより、前記不一致度を最小にするような前記各原画像の視点、視方向、解像度と、画像間の明度差とを探索する画像相関獲得処理と、
画像間で重畳する領域に対して明度分布を測定する処理と、
前記画像相関獲得部で探索された視点、視方向、解像度、明度差に基づいて各原画像を１つの投影面に投影するとともに、当該投影面における画像間の重畳領域については明度分布の広い方の画像の情報を優先するように部分的に明度調整を行って、前記投影された画像をつなぎ合わせてパノラマ画像を生成する処理と、
前記パノラマ画像を表示する処理とをコンピュータに実行させ、
前記画像相関獲得処理は、前記重畳領域における画像間の不一致度を計算する際に画像間の重畳領域において不一致度の高い部分を除外して、前記不一致度の計算を繰り返すことにより、明度差、オクルージョン、ズーム及び解像度による影響を抑制して前記探索を行う処理であることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22425899A JP4240666B2 (ja) | 1999-08-06 | 1999-08-06 | 画像合成方法および画像表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22425899A JP4240666B2 (ja) | 1999-08-06 | 1999-08-06 | 画像合成方法および画像表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001052146A JP2001052146A (ja) | 2001-02-23 |
| JP4240666B2 true JP4240666B2 (ja) | 2009-03-18 |
Family
ID=16810967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22425899A Expired - Fee Related JP4240666B2 (ja) | 1999-08-06 | 1999-08-06 | 画像合成方法および画像表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4240666B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3603118B2 (ja) | 2001-06-08 | 2004-12-22 | 東京大学長 | 擬似３次元空間表現システム、擬似３次元空間構築システム、ゲームシステム、及び電子地図提供システム |
| KR101843450B1 (ko) * | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
| JP5764097B2 (ja) * | 2012-07-03 | 2015-08-12 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2019057264A (ja) | 2016-12-28 | 2019-04-11 | 株式会社リコー | 画像処理装置、撮影システム、画像処理方法、及びプログラム |
| JP2019100995A (ja) * | 2017-12-08 | 2019-06-24 | 株式会社トプコン | 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム |
-
1999
- 1999-08-06 JP JP22425899A patent/JP4240666B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001052146A (ja) | 2001-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11115638B2 (en) | Stereoscopic (3D) panorama creation on handheld device | |
| KR100929085B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체 | |
| US6393162B1 (en) | Image synthesizing apparatus | |
| US6785427B1 (en) | Image matching using resolution pyramids with geometric constraints | |
| JP5179398B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| JP6436783B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
| JP4758842B2 (ja) | 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム | |
| US20120019614A1 (en) | Variable Stereo Base for (3D) Panorama Creation on Handheld Device | |
| US20120019613A1 (en) | Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device | |
| US20110141300A1 (en) | Panorama Imaging Using a Blending Map | |
| EP1993278A1 (en) | Imaging device, processing method for obtaining high-resolution, processing program for obtaining high-resolution, and recording medium | |
| US8538192B2 (en) | Image processing device, image processing method and storage medium | |
| US20110141226A1 (en) | Panorama imaging based on a lo-res map | |
| US20110141224A1 (en) | Panorama Imaging Using Lo-Res Images | |
| US8644645B2 (en) | Image processing device and processing method thereof | |
| WO2020218024A1 (ja) | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム | |
| US20060008268A1 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
| JP2004342067A (ja) | 画像処理方法、画像処理装置、及びコンピュータプログラム | |
| JP2010187348A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| JP4240666B2 (ja) | 画像合成方法および画像表示方法 | |
| JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JPH10126665A (ja) | 画像合成装置 | |
| JP4169464B2 (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2005141655A (ja) | ３次元モデリング装置及び３次元モデリング方法 | |
| JP3282332B2 (ja) | 画像入力システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070628 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070705 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |