JP4007619B2 - 一般化されたパノラマ式モザイク - Google Patents

Description

本発明の分野
本発明は或る情景のパノラマのモザイク画像（全景集成写真）を得るためのビデオ画像のモザイク化に関する。
従来法
本発明の背景として適当と考えられる従来法の参照文献を下記に示す。ここに掲げられた参考文献はそれらが本発明の特許性に何らかの方法で関連していると考えるべきではない。各参考文献は角括弧を付けて掲げられているから、本明細書を通じこれらの従来法は角括弧を付けた参考文献の番号によって参照される。

本発明の背景
カメラの視野は人の視野よりも狭いために、写真術が始まって以来、写真を組み合わせてパノラマのモザイク写真にしようという要求は以前から存在していた。また大きな対象体を１枚の写真の中に捕らえることができないことが極めて頻繁に起こり、完全な画面を作るには写真をモザイク化することによってのみ可能である。ディジタル写真術はモザイク化の技術に新しい応用分野をつくり［１４，１５，１６，４，２４，２３］、これらの方法は最初航空写真および衛星の画像に対して実現された。
伝統的な画像のモザイク化においては次の三つの主要な事項が重要である。
（ｉ）画像の整合（ａｌｉｇｎｍｅｎｔ）。これは組み合わせるべき画像を整合させて一つの画像にする変換を決定する。印画紙の写真のモザイク化では整合を行うために固定的な変換が使用される。ディジタル処理ではアフィン（ａｆｆｉｎｅ）変換または平面投影変換のようなもっと一般的な変換を使用することができる。
（ｉｉ）パノラマのモザイクの大部分の区域は重なり合っており、全画面は１枚より多い枚数の写真で覆われているから、画像の切取りおよび貼付けが必要である。切取りおよび貼付けの処理はそれぞれの重なった区域に対し単一の画像を選択するか、或いはすべての重なり合った画像を組み合わせる操作を含んでいる。
（ｉｉｉ）画像の間の強度の差を克服するために画像の混ぜ合わせが必要である。このような差は完全に整合が取れた画像の場合にも存在し、カメラの感度を動的に変化させることによってつくられる。
最も簡単なモザイクは、相互のずれが純粋な画像面の並進運動であるような一組の画像からつくられる。或る種の衛星画像の場合がほぼこれに似ている。このような並進運動は手動で対応する点を指し示すことにより、或いは画像補正法により計算することができる。他の簡単なモザイクは、特殊な装置を使用してカメラをその光学中心の周りに回転させ、その情景の円筒［７，１１，１２，１３］または球の上への投影を表すパノラマ画像をつくることによって製作される。光学中心の周りに純粋な回転を確実に行うことは簡単ではないから、このようなモザイクは限定された場合にだけ使用することができる。
カメラの並進とカメラの回転の両方を含むもっと一般的なカメラの運動においては、画像の整合のためのもっと一般的な変換が用いられる［５，８，９，１０，１８］。大部分の場合、アフィン変換または平面投影変換のようなパラメータ的な変換を使用して画像を対にして整合を行う（例えば［２６］参照）。これらの変換には、例えば平面であるというような情景の構造に関する固有の仮定が含まれる。一つの参照フレームを選び、この参照フレームを用いてすべての画像を整合させ、これを組み合わせてパノラマのモザイクをつくる。したがってこれらの方法は参照フレームに基づいた方法と呼ばれる。
カメラが非常に遠くにあり、その運動が主として側方への並進運動および光軸の周りの回転である場合には、単一の参照フレームに対しすべてのフレームを整合させる方法は合理的である。カメラの運動が他の回転を含む場合には著しい歪みが生じる。図１には参照フレームに基づいた方法に対する大きな回転の効果が示されている。対象物ａ、ｂ、ｘ、ｙ、ｃ、ｄ、ｗ、ｚは二つのカメラＣ１およびＣ２から見られている。画像Ｉ１を参照フレームとして選び、画像Ｉ２をこの参照フレームに投影する。大きな回転は参照フレームに投影した場合歪みを生じ、このように回転したフレームから導かれる情報は埋もれてしまい殆ど役に立たない。さらにカメラが複雑な経路を移動する長い連鎖になった画像で、一つのフレームを参照フレームとして長い間使用することはできず、一連の全画像のこのフレームへの投影は実際には使用できなくなる。
一次元の線形の配列を用いて或る情景を走査することによりモザイクをつくる多様体投影はが紹介された［２５］。
最近、もっと一般的な場合にモザイクをつくるための「多様体投影法（Ｍａｎｉｆｏｌｄ Ｐｒｏｊｅｃｔｉｏｎ）」［２２］と呼ばれる方法が提案された。この方法では画像面の並進および回転だけを使用して整合を行い、中心にある画像の大部分からモザイクを構成し、画像を混ぜ合わせて継ぎ目のないパノラマをつくる。多様体投影は、一次元の線形の配列を用いて或る情景を走査することによりモザイクをつくる［２５］に記載された方法と非常に良く似ている。しかし、文献［２５］ではカメラの運動は外部装置で測定されるが、［２２］ではカメラの運動は一連の画像から測定される。
しかし上記の方法はどれも視差のために画像の整合ができない場合、或いはズームまたは前進運動の場合を取り扱うことはできない。
多様体投影法では直線状の一次元のセンサーの配列を使用して一つの情景を掃引するのに似た操作を行う。図２参照。このような一次元のセンサーは回転と並進の任意の組み合わせによってその情景を掃引することができ、入ってくる一次元の画像のストリップを整合させる方法が見つかりさえすれば、すべての場合においてこの掃引により品質の良いパノラマ画像が得られる。或る種の衛星の画像は回転鏡を使用する一次元センサーの配列で地球を掃引してつくられている。この場合センサーの整合は衛星の場所と鏡の位置を用いて行われるから、二次元のパノラマ画像が容易に得られる。図２は線形の一次元掃引システムを使用する航空写真を示す。
もっと一般的な場合には、掃引面の運動は判らなくても良い。任意の掃引面から入ってくる一次元画像のストリップを整合させることは不可能に見えるが、入力がビデオの連続画像である場合には問題は易しくなる。ビデオの連続画像の二次元のフレームは、画像の中心のどこかにある一次元のストリップ（「中心ストリップ」）をもち、これが二次元の画像の中に埋め込まれ整合を容易にしていると見做すことができる。従って掃引面の運動を全画像から計算し、これを中心ストリップに適用して整合とモザイク化を行うことができる。
掃引面によってつくられた一次元のストリップの画像の変換は固定的な変換、即ち画像面の並進と回転による変換だけである。従って固定的な変換は多様体投影にも使用される。一般的なカメラの運動は一般に固定的ではない画像面の変換を誘起する。しかし面の掃引に似せるために中心ストリップに対しては固定的な変換だけが使用される。
整合された一次元の中心ストリップを組み合わせてつくられたパノラマのモザイクは多様体投影を生じる。これはその情景の一般的な多様体への投影であり、この一般的な多様体はモザイクを構成するすべての画像面の中心を通過する滑らかな多様体である。カメラの運動が純粋な並進の場合（図３ａ）には、多様体投影は一つの面への平行な投影であることが判る。カメラの運動が純粋な回転の場合（図３ｂ）、これは主軸が回転軸である円筒への投影である。しかし図３ｃのようにカメラの運動に並進と回転との両方が含まれる場合には、多様体はもはや簡単な多様体ではない。図３ａ、３ｂおよび３ｃにおいては、カメラは「視野」円錐の頂点におかれており、画像面は実線の部分で示されている。カメラの回転と並進とのこのような任意の組み合わせを取り扱い得ることが多様体投影と従来のすべてのモザイク化法との主な相違点である。
以上の観点から、従来法で取り扱われなかった場合において、パノラマ画像のモザイクをつくる方法が必要なことは明白である。画像に視差がある際のカメラの並進運動；前進運動；並進と回転とが組み合わされたカメラの運動；およびズーム操作がこのような場合に含まれる。
本発明の概要
「ビデオ」、「映画」、「フレーム」、「写真」または「画像」という言葉が使用される時は常に、これらの言葉は写真または映画（動画）の任意の表現を意味することを指摘しておくことは重要である。静止した写真は伝統的なカメラ、ディジタルカメラ、スキャナー、または静止画像を記録する他の任意の装置で記録することができる。ビデオ（または動画）はフィルムカメラ、アナログまたはディジタルのビデオテープ、または動画を記録する任意の他の装置によって記録することができる。一般的に言えば画像のモザイク化を行う分野、特定的には本発明は、機械的、光学的、またはディジタル、或いは他の任意の技術の如何にかかわらず、適当な装置によって操作し得るすべての画像に適用することができる。
パノラマのモザイクは一連の連続画像からストリップ（画像片、ｓｔｒｉｐ）を組み合わせることによって構成される。本発明に従えば、ストリップの形、大きさおよび位置はカメラの運動のタイプに従い各画像に対して決定される。ストリップを画像から切取り、得られるモザイクが連続性を保つように変換を行った後、貼付けてパノラマのモザイクにする。
本発明に従えば、一般的な画像面の変換を取り扱うために下記のような拘束条件を使用することが好ましい（但し必要ではない）。
（ａ）ストリップは光学的な流れ（ｏｐｔｉｃａｌ ｆｌｏｗ）にほぼ垂直でなければならない。
（ｂ）貼付けるために集められたストリップは曲げた後に貼付けを行ってパノラマ画像にされるが、この際元の光学的な流れは曲げられた後、パノラマのモザイクをつくる方向にそれがほぼ平行になるようにする。
これらの条件下において、ズームおよび前進運動の場合を他の簡単な場合と同様に取り扱うことができる。例えば、ズームまたは前進運動の場合には、これらの性質によって円形のストリップを切取り、これらを適切に曲げた後貼付けを行ってパノラマ画像にする。
また本発明によればストリップの幅を決定する方法が提供される。例えば画像の視差を適切に取り扱うために、ストリップの大きさは、例えば運動の連鎖自身から計算できるか、または外部装置よって測定し得るようなカメラの三次元の運動から決定することができる。
組み合わせるべきフレームが異なった視点から撮られ、かなりの視差が含まれている場合でも滑らかなモザイクを得ることができるようにするために、中間のカメラの位置に対する被写画面（ｖｉｅｗ）を合成することができる。最も滑らかなモザイクを得るためには、例えばストリップが唯１個のピクセルから成るような狭い幅をもつように中間のカメラの位置の数を選ぶ。
本発明においては、或る情景の一連の二次元的画像を組み合わせて該情景のパノラマのモザイクを得る方法であって、該一連の二次元画像は該情景に関して相対的に該カメラを動かすことによって得られ、該カメラは光学中心をもち、このカメラの運動によって画像の間に光学的な流れがつくられる方法において、該方法は
画像を曲げ、
該画像をパノラマの画像の中へ貼り付け、
モザイクがつくられる方向に対し光学的な流れが実質的に平行になるようにする段階を含むことを特徴とする方法が提供される。
また本発明においては、或る情景の一連の二次元画像を組み合わせて該情景のパノラマのモザイクを得る方法であって、該一連の二次元画像は該情景に関して相対的に該カメラを動かすことによって得られ、該カメラは光学中心をもち、このカメラの運動によって画像の間に光学的な流れがつくられる方法において、該方法は
（ａ）該一連の画像の各々に対し各ストリップが該光学的な流れに実質的に垂直になるように少なくとも一つの非直線のストリップを選び、該非直線のストリップは前方の縁と後方の縁とを有し、該光学的な流れは該前方の縁からストリップの中に入り後方の縁を通ってストリップから出て行くようにし、
（ｂ）隣接した画像からの該ストリップを一緒に貼付けてパノラマのモザイクをつくる段階を含むことを特徴とする方法が提供される。
一具体化例において本発明方法は、さらに（ａ’）二次元の画像の上に定義されたストリップの前方の縁を、それが隣接した二次元の画像の上で定義されるストリップの後方の縁と実質的に整合するように曲げる段階を含んでいる。
他の具体化例によれば、ストリップを一緒に貼付ける前に、これを曲げて任意の形の縁を有するストリップにする。
さらに他の具体化例によれば、ストリップを一緒に組み合わせる前に、これを曲げて直線の縁を有するストリップにする。
さらに他の具体化例に従えば、二次元の画像はアフィン変換により、或いは平面投影変換により関連付けられている。
さらに他の具体化例に従えば、主軸が該画像のカメラの中心の経路に近似できる三次元の円筒の上に該画像を投影し、投影された二次元の画像を該三次元の円筒の円筒面に実質的に沿って並進させることによりストリップの組み合わせを行う。
さらに他の具体化例に従えば、どの二つの連続した画像も自分自身の円筒を規定し、該円筒は主軸が該画像のカメラの中心の経路に近似でき、また該円筒は該連続した画像に実質的に沿って連鎖状に繋がっている。
さらに他の具体化例に従えば、所望の視点に依存してパノラマのモザイクに対し変換が行われる。
さらに他の具体化例に従えば、一連の画像の中の画像に対して中間的な内挿された画像の組によって一連の画像を増やし、内挿された画像のにつくられたストリップを用いてストリップを増加させる。
さらに他の具体化例に従えば、或る情景の一連の二次元画像を組み合わせて該情景のパノラマのモザイクを得るシステムであって、該一連の二次元画像は該情景に関して相対的に該カメラを動かすことによって得られ、該カメラは光学中心をもち、このカメラの運動によって画像の間に光学的な流れがつくられるシステムにおいて、該システムは
画像を曲げる曲げ装置、および
モザイクがつくられる方向に対し光学的な流れが実質的に平行になるように該画像をパノラマの画像の中に貼り付ける貼付け装置を含んでいる。
さらに他の具体化例に従えば、或る情景の一連の二次元画像を組み合わせて該情景のパノラマのモザイクを得るシステムであって、該一連の二次元画像は該情景に関して相対的に該カメラを動かすことによって得られ、該カメラは光学中心をもち、このカメラの運動によって画像の間に光学的な流れがつくられるシステムにおいて、該システムは
画像を包む包み込み装置、および
モザイクがつくられる方向に対し光学的な流れが実質的に平行になるように該画像をパノラマの画像の中に貼り付ける貼付け装置を含んでいる。
さらに他の具体化例に従えば、或る情景の一連の二次元画像を組み合わせて該情景のパノラマのモザイクを得るシステムであって、該一連の二次元画像は該情景に関して相対的に該カメラを動かすことによって得られ、該カメラは光学中心をもち、このカメラの運動によって画像の間に光学的な流れがつくられるシステムにおいて、該システムは
（ａ）該一連の画像の各々に対し各ストリップが該光学的な流れに実質的に垂直になるように少なくとも一つのストリップを選び、該ストリップは前方の縁と後方の縁を有し、光学的な流れは該前方の縁からストリップの中に入り後方の縁を通ってストリップから出て行くようにする選択装置、および
（ｂ）或る一つの画像の上でつくられたストリップの前方の縁が隣接した画像の上でつくられたストリップの後方の縁と実質的に整合するように隣接した画像からの該ストリップを一緒に貼付ける貼付け装置を含んでいる。
さらにまた本発明によれば、或る情景のパノラマ的なモザイクを表すファイルを含む記憶装置が提供される。
本発明方法はまた、主軸がカメラの運動の方向に向いた円筒（「パイプ」）の上への画像の三次元的投影を用いて解釈を行うこともできる。このような投影によって光学的な流れが平行になるように画像を曲げることができる。
【図面の簡単な説明】
本発明の理解をさらに良くするために、次に添付図面を参照して実施例により本発明の説明を行う。これらの実施例は本発明を限定するものではない。添付図面において、
図１は参照フレームに基づく方法に対する大きな回転の効果を示す。
図２は一次元の掃引システムを用いた航空写真術を示す。
図３ａは純粋な並進を行うカメラに対する多様体投影を示し、この投影は一つの平面に対する平行投影である。
図３ｂは純粋な回転を行うカメラに対する多様体投影を示し、この投影は一つの円筒多様体に対する投影である。
図３ｃは並進と回転の両方を行うカメラに対する多様体投影を示し、この投影は幾何学的形状が簡単ではない多様体に対する投影である。
図４は本発明のパノラマを製作する主要な段階の一般的な流れ図を示す。
図５は整合および混ぜ合わせの工程に対する視差の効果を示す。
図６はカメラの光軸および光学的な流れに対して垂直の方向をもつ垂直な線形のストリップを使用し、側方運動を行うカメラによって撮られた画像からつくられたモザイクを示す。該光学的な流れはカメラが左から右へ移動する際には右から左へと向かっている。
図７ａはカメラの光軸に沿った並進および随時ズームを行いながら前進運動を行うカメラによって撮られた画像からつくられたモザイクを示す。光学的な流れは画像の中心から半径方向に外側へ向かっており、ストリップは円形である。
図７ｂは全画像に対しストリップを「曲げる」変換を行った結果を示す。
図８は光軸に対し中間的な角度（０〜９０°の間）をなす線に沿って左から右へと並進するカメラによって撮られた画像からつくられたモザイクを示す。光学的な流れは画像の右にある拡大焦点から半径方向に向かっている。ストリップは円または楕円の弧である。
図９は種々のアフィン運動の場合に対するストリップの形を示す。
図９ａは水平運動に対する直線状の垂直のストリップである。
図９ｂは垂直運動に対する直線状の水平のストリップである。
図９ｃは前進運動に対する円形のストリップである。
図９ｄは一般的な運動に対する楕円形のストリップである。
図１０はａはアフィン運動の場合にストリップを切取り貼付ける例を示す。
図１０ａ〜１０ｃは光学的な流れに垂直なストリップを示す。線Ｌ２は画像Ｉ２の中に選ばれ、線Ｆ３は画像Ｉ３の中に選ばれる。同じアフィン変換を用いた画像Ｉ２への線３（Ｉ３の中の）の写像は線Ｆ３’である。画像Ｉ２からとられたストリップＳ２破線Ｆ２とＦ３’の間に囲まれている。
図１０ｄは、光学的な流れが平行になり、後側が固定され（例えばストリップＳ２のＦ２）、表側（例えばストリップＳ２のＦ３’）が曲げられて次のストリップの後側に合うように曲げて貼付けられている。
図１１は平行の光学的な流れを得るためのパイプ上への画像の投影を示す。
図１２ａは画像をパイプへ投影する際に各画像から得られる分解能に従って異なった画像からのストリップの選択を示す。
図１２はカメラの複雑な経路の場合におけるパイプの連結を示す。
図１３は純粋な回転の場合元の分解能を保存するために必要なストリップの幅の選択を示す。
図１４は純粋な並進の場合元の分解能を保存するために必要なストリップの幅の選択を示す。
図１５は、中間的なカメラの位置から合成被写画面をつくり、各中間的な被写画面からモザイクをつくるための狭いストリップをとることにより、並進Ｐ１または回転Ｐ２のいずれの場合に対しても被写画面の内挿を使用してパノラマ画像を生成する方法を示す。
図１６は視差が存在する場合に矛盾のないパノラマのモザイクをつくる方法を示す。
本発明の詳細な説明
最初に、本発明のパノラマ画像の製作工程の原理的な段階の一般的な流れ図を示す図４に注目しよう。運動の取込みは段階４０１において行われる。この段階は画像並びに任意の外部の運動の情報を使用することができる。新しい画面の合成は段階４０２で行われる。この段階は入力画像および運動の情報を使用することができる。ストリップの大きさの決定は段階４０３で行われる。この段階もまた運動の情報を使用することができる。ストリップの形の決定は段階４０４で行われる。切取りと貼付け工程は段階４０５で行われる。この段階は入力画像、中間の画面のための合成画像、運動の情報、ストリップの大きさ、およびストリップの形を使用することができる。この処理を行った結果現実的なパノラマが得られる。段階４０２、４０３および４０４は随意的な段階であるが、これらの工程もまた本発明の範囲内に含まれる。
次に本発明方法の詳細な実施例を極めて一般的な場合として説明するが、これらの場合において二つの連続した画像の間の運動を一つの二次元の変換（ａｆｆｉｎｅ）運動としてモデル的に取り扱う。これは最も簡単なシナリオを含み、また平面の情景の場合には画像面に平行はズームおよび前進運動が含まれる。生成されるモザイク画像は、全体的なスケーリングが行われていないから、元の画像に比べて最低限の歪みしかもっていない。
次に一般的なカメラの移動に対し、本発明方法に対する可能な幾何学的説明を行う。これは所謂パイプ投影（Ｐｉｐｅ Ｐｒｏｊｅｃｔｉｏｎ）と呼ばれる投影法を用いて行われる。このパイプ投影法は、三次元のカメラの運動を取込むことができる場合、提案された方法を実現する手段として使用することができる。この説明法によれば、提案された方法を用いると、斜めの被写画面から成る複雑な場合をも取り扱い得るような方法で、ストリップを集め変換できることが示される。
この方法に対する示唆された三次元の説明法では、ビデオの中で連続になった画像は、画像の斜めの投影によって、中心軸がカメラの軌跡により定義される視野パイプ（ｖｉｅｗｉｎｇ ｐｉｐｅ）に変換される。この変換を行った後、フレームの間の光学的な流れは平行になり、簡単な切取りおよび貼付けの手法を用いて視野パイプに沿いフレームを容易にモザイク化することができる。この方法でつくられたパイプのモザイクは動いているカメラによって観察される殆どの詳細点を含んでおり、この場合各領域は最高の分解能で撮影された場合の画像から取り出される。このパイプのモザイクを種々の方向から見れば、二次元的な手段を用いて得られるのと同等な結果を得ることができる。
ストリップの形
視差がない場合、純粋な画像変換法を用いれば、画像からパノラマを構築することは簡単である。二つの画像が重なった区域では整合が非常に良いから、或る与えられた区域を含む特定の画像を選ぶことは通常あまり面倒ではない。視差がない時には、ズームにおけるような画像の拡大を行う殆どの場合、ストリップの形が重要になる。しかし画像の視差がある場合には、画像の間の重なった区域の整合が完全ではなく、どの画像がパノラマの中の或る区域を覆うかを選ぶことが重要になる。
図５は整合および混ぜ合わせの工程における視差の効果を示す。対象物Ａ、Ｂ、Ｃ、Ｄ、Ｅはこの図の上方の平面上に配置されている。対象物Ｃ、ＸおよびＹはＣ１およびＣ２にある移動カメラによって撮影された二つの入力画像Ｉ１およびＩ２の中の視差を含んでいる。対象物Ｃ、ＸまたはＹはいずれも整合された区域として使用することができ、従ってこの図の下方にＰ１、Ｐ２およびＰ３として示されているようにパノラマ画像をつくる三つの異なった方法が得られる。
このモザイク化の方法は各画像から「ストリップ」を切取り、これらのストリップをより大きなパノラマに貼付ける方法として表すことができる。カメラの運動のタイプがこれらのストリップの形を決定することが示される。このことは画像からパノラマのモザイクをつくるのに「Ｖｏｒｏｎｏｉのモザイク化（Ｔｅｓｓｅｌａｔｉｏｎ）」を用いる従来の考えとは対照的である。従来の考えでは三次元のカメラの運動は全く考慮せず、画像の中心の二次元的な画像の移動だけを考慮していた。
例えば、ストリップの境界をカメラの運動によってつくられる「光学的な流れ」（局所的な画像のずれ）にほぼ垂直にとれば良好なモザイク化が得られるであろう。その例はカメラの並進運動、側方運動、前進運動、および一般的な移動、並びにカメラのズームである。
側方運動においては、図６に示すように、ストリップは画像の中心にある線状のストリップであることができる。三つの入力フレーム６０１、６０２および６０３が与えられると、画像６０１からストリップＳ１、画像６０２からストリップＳ２、および画像６０３からストリップＳ３を取り込むことによりパノラマのモザイク６０４がつくられる。これらの画像は、画像６０１の中の区域Ｓ１が画像６０２の中の区域Ｓ１と合致し、画像６０２の中の区域Ｓ２が画像６０１および６０３の中の区域Ｓ２と合致し、画像６０３の中の区域Ｓ３が画像６０２の中の区域Ｓ３と合致するように整合が行われる。
前進運動およびズームの場合には、ストリップの境界は直線ではあり得ない。これらの場合ストリップは好ましくは円であり、その中心は画像の拡大焦点のところにある。画像７０１からストリップＳ１を、画像７０２からストリップＳ２を、また画像７０３からストリップＳ３を「拡げて（ｕｎｆｏｌｄｉｎｇ）」取り出し、これを互いに隣接して配置することによりパノラマのモザイク７０４がつくられる。
ストリップの幅が広い場合、これを（曲げて）「拡げる」と矩形ではない形のストリップがつくられる。また継ぎ目を横切るスケールの差のためにストリップは整合しない。この場合には各ストリップのスケールを合わせ直して矩形のストリップをつくり、パノラマのモザイク７０４から連続的なパノラマのモザイク７０５にする。このようにスケールを合わせ直すことにより継ぎ目を横切る整合が改善される。円を拡げる前に「開く」場所は任意であり、パノラマのモザイクをつくる方向によって決定することができる。このようにしてつくられたパノラマのモザイク画像は、この方法の三次元的な説明を参照して下記に詳細に説明するように、円筒の表面と考えることができる。
円形のストリップを拡げて直線のストリップにすると、モザイク７０５は歪んで見えることに注意すべきである。このようなモザイクからはその一部だけ、例えば画像の上部に関連した部分、または画像の左側に関連した部分だけが使用されることが期待される。このような部分は通常モザイク７０５の矩形の部分モザイクである。このような部分を表示する前に、直線の側辺を「曲げ」て半径が例えば元の円形のストリップ（例えば画像７０３のストリップＳ３）の外側の半径であるような円弧にすることによりモザイクを修正することができる。
画像７０１の中のストリップＳ１をモザイク７０５の中のストリップＳ１に写像する変換は、画像７０１における半径方向の光学的な流れを画像７０５においてはけいこ得な光学的な流れに変える。同じ変換をストリップＳ１だけではなく画像７０１全体に適用すると、変換された画像は図７ｂに示されるような形になるであろう。下記に詳細に説明するように、このような変換は円筒への投影を使用して二次元的な説明によりモデル化することができる。
カメラのズームの場合は特に興味がある。遠い情景へとズーミングを行い図７ａのようにモザイク化すると、画像の中心に関する位置で高い分解能をもったモザイク画像がつくられるが、側方から対象物を見るカメラの場合は事情が異なる。カメラが非常に長い壁の側方にあり、光軸がこの壁に平行であると仮定しよう（図７）。この場合壁の最も近い部分は画像の縁の所で詳細に見えるが、壁の遠い方の部分は画像の中心に近い所では小さく見える。さらにズームインを行うと、他の部分が拡大され画像の縁の近くになり、従ってモザイクでは最高の分解能で壁の再構築が行われるあろう。或る条件下では全体として均一な分解能をもって前方から見たように壁を再構築することができる。
図８に示すようなカメラの移動のもっと一般的な場合には、カメラの運動と光軸との間の角度は任意であることができる。この例では光学的な流れは画像の幾分外側にある拡大焦点から半径方向に向かい、従ってストリップの好適な形は円または楕円の弧である。三つの入力フレーム８０１、８０２および８０３が与えられると、画像８０１からストリップＳ１を、画像８０２からストリップＳ２を、また画像８０３からストリップＳ３をとることによってパノラマのモザイク８０４がつくられる。画像８０１の中のストリップＳ１が画像８０２の中のストリップＳ１と合致し、画像８０２の中のストリップＳ２が画像８０１および８０３の中のストリップＳ２と合致し、また画像８０３の中のストリップＳ３が画像８０２の中のストリップＳ３と合致するように画像が合わせられる。
入力画像の中のストリップは、画像８０１のストリップＳ１および画像８０２のストリップＳ２と同様に、拡大焦点に中心をもつ同心円の弧によって囲まれている。この二つの円の半径は異なっているから、曲率も異なっており、ストリップの縁の間に間隙をつくらずにこれらのストリップを貼合わせることはできない。間隙をつくらずにストリップの貼付けを行うためには、貼付け前にストリップを曲げる。
ストリップ８１０は入力画像から切取られた元の円形のストリップの例である。左の円弧８１１の半径ｒ₁は拡大の焦点に近い右の円弧８１２の半径ｒ₂よりも大きい．ストリップ８１０は曲げてストリップ８２０にすることができるが、これは次の性質をもっている。円弧８１２および円弧８２２は両方とも半径がｒ₁であり、円弧８１２の長さは円弧８１１の長さと同じである。円弧８２２の長さは円弧８１２の長さにｒ₁／ｒ₂を乗じた値である。この配置によればストリップが間隙を生じることなく合致するばかりでなく、継ぎ目を横切る良好な整合が得られるように画像の特徴を適切に実現することができる。
ストリップの形に関する上記の議論では一連の情景に沿った均一なカメラの運動が仮定されているが、カメラの運動を変えることができるが、それによってストリップの形は影響を受ける。例えばフレームＩ１とＩ２の間では前進運動を、フレームＩ₂とＩ₃の間では側方運動を仮定しよう。フレームＩ₂からとられたストリップはフレームＩ₁の側では円弧の境界をもち、フレームＩ₃の側では直線の境界をもつことができる。
例：アフィン運動に対するモザイク化
次にアフィン運動の特別な場合に対してストリップの形の例を述べよう。アフィン運動はアフィン変換に基づいており、多くの型の運動に対し良い近似となる。下記に述べる詳細な説明に基づけば、他の型の運動も同様な方法で取り扱い得ることは当業界の専門家には明らかであろう。
アフィン変換は次のように表すことができる。

ここでＰ_n-1＝（ｘ_n-1，ｙ_n-1）、Ｐ_n＝（ｘ_n，ｙ_n）は画像Ｉ_n-1およびＩ_nの対応する点の座標であり、アフィン変換Ａのパラメータは（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）である。（ｕ，ｖ）は位置（ｘ_n，ｙ_n）の関数としての光学的な流れのベクトルである。変換Ａ（および光学的な流れ）は一連の画像に沿って連続的に変化する。アフィン変換のパラメータを取込む数値的な方法が存在する［２１，１８］が、ここでは説明しない。
本発明に従えば、ストリップの形を定義するためには、光学的な流れに垂直な線Ｆ（ｘ，ｙ）＝０を見いだす必要がある。この線は必ずしも直線ではなく、曲線であることができる。線Ｆ＝０に対する法線は（∂Ｆ／∂ｘ，∂Ｆ／∂ｙ）の方向をもち、従って（ｕ，ｖ）と同じ方向でなければならない。この拘束条件は或るｋの値に対し、下記のように表すことができる。

積分すれば、ｅ＝ｃの場合、下記の線形方程式を得る。

この線形方程式はｅ＝ｃの場合にのみ存在することに注目されたい。大部分の場合、ｃとｅとの値の差は光軸の周りに画像がω（ラジアン単位の角度）だけ回転することによるものであり、この角度はｃに対しては−ω、ｅに対しては＋ωの寄与をする。従って条件ｅ≒ｃ≒（ｅ＋ｃ）／２を近似的に満足するためには、アフィン変換が回復された後に、画像をその中心の周りにω≒（ｅ−ｃ）／２だけ回転し、次いでアフィン変換を再計算することができる。
その結果式（３）によりすべて光学的な流れに垂直な一連の線が定義される。特定の線を選ぶためにＭを使用する。Ｍはその線が画像の内部において最大個数のピクセルを含む値に等しくすることが示唆されている。多くの選択肢が存在する場合、レンズの歪みを最低限度に抑制するためにできるだけ画像の中心近くに来るように線を選ぶことが示唆されている。この選択は、モザイクの中に用いられるピクセルがその場所において最良の分解能をもつ画像から得られるように行われなければならない。
式（３）は幾つかの簡単な場合には容易に理解することができる。
（ｉ）光学的な流れが均一で水平な場合（カメラのパンが小さいか、またはカメラを側方へ移動する場合）、アフィン変換ＡはＡ＝（ａ，０，０，０，０，０）の形をとり、従って選ばれる線９０１は０＝Ｆ（ｘ，ｙ）＝ａｘ＋Ｍとなる。これは垂直の直線である（図９ｂ参照）。
（ｉｉ）光学的な流れが均一で垂直な場合（カメラをわずかに傾けるか、またはカメラを垂直に移動させる場合）、アフィン変換ＡはＡ＝（０，０，０，ｄ，０，０）の形をとり、従って選ばれる線９０２は０＝Ｆ（ｘ，ｙ）＝ｄｙ＋Ｍとなる。これは水平の直線である（図９ｂ参照）。
（ｉｉｉ）ズームまたは前進運動の場合（画像平面に平行な面の表面の方への運動）、アフィン変換ＡはＡ＝（０，ｂ，０，０，０，０）の形をとり、ここでｂはスケーリング因子である（ｆ＝ｂ）。その結果選ばれる線９０３は０＝Ｆ（ｘ，ｙ）＝（ｂ／２）（ｘ²＋ｙ²）＋Ｍになり、これは画像９０４の中心の周りの円である（図９ｃ参照）。
カメラの一般的な移動に対しては、線は拡大焦点の周りの円である。もっと一般的な場合には線は下記の楕円曲線９０５によって近似することができる。０＝Ｆ（ｘ，ｙ）＝ａｘ＋ｄｙ＋（ｂ／２）ｘ²＋（ｓ／２）ｙ²ｃｘｙ＋Ｍ（図９ｄ参照）。
モザイクは元の画像からとられたストリップを一緒に貼合わせることによってつくられる。ストリップの形およびその幅は画像の運動に依存している。最良の分解能を選ぶ方法論の模範とするために、或る一つのアフィン運動の場合にどのようにしてこれらのストリップを決定するかの例を下記に説明する。他の型の画像の運動に対するストリップの選択も同様にして行うことができる。
一連の画像に沿ったストリップの集合を記述するために下記の記号を使用する。線Ｆ_n（ｘ_n，ｙ_n）＝０はアフィン変換Ａ_n＝（ａ_n，ｂ_n，ｃ_n，ｄ_n，ｅ_n，ｆ_n）によって記述される光学的な流れに垂直な座標系の中における画像Ｉ_nの中の線である。このアフィン変換Ａ_nは画像Ｉ_nの中の点ｐ_nを画像Ｉ_n-1の中の対応する点ｐ_n-1に対応付ける。
画像Ｉ_nからとるべきストリップを決定するためには、先行するフレームＩ_n-1および直ぐ後に来るフレームＩ_n+1を考えなければならない。画像Ｉ_nの中の点ｐ_n＝（ｘ_n，ｙ_n）を画像Ｉ_n-1の中の対応する点ｐ_n-1＝（ｘ_n-1，ｙ_n-1）に関連付けるアフィン変換をＡｎとし、画像Ｉ_nの中の点ｐ_n+1＝（ｘ_n+1，ｙ_n+1）を画像Ｉ_nの中の対応する点ｐ_n＝（ｘ_n，ｙ_n）に関連付けるアフィン変換をＡ_n+1としよう。
アフィン変換Ａ_nおよびＡ_n+1が与えられると、線Ｆ_n（ｘ_n，ｙ_n）＝０およびＦ_n+1（ｘ_n+1，ｙ_n+1）＝０がそれぞれ選ばれる（図１０ａ〜１０ｃ参照）。Ｉ_nの中の線Ｆ_n（ｘ_n，ｙ_n）＝０はアフィン変換Ａ_nを使用するとＩ_n-1の中の線Ｆ’ｎ（ｘ_n-1，ｙ_n-1）＝０に対応する。同じ方法でＩ_n+1の中の線Ｆ_n+1（ｘ_n+1，ｙ_n+1）＝０はアフィン変換Ａ_n+1を使用するとＩｎの中の線Ｆ’_n+1（ｘ_n，ｙ_n）＝０に対応する。
画像Ｉ_nからとられたストリップはＩ_nの中で二つの線、即ちＩ_n-1の中の線Ｆ_n（ｘ_n，ｙ_n）＝０と線Ｆ’_n+1（ｘ_n，ｙ_n）＝０に囲まれている（図１０ａ〜１０ｃ参照）。例えば図１０ｂでは線Ｆ２が画像Ｉ２の中で選ばれ、図１０ｃでは線Ｆ３が画像Ｉ３の中で選ばれている。アフィン変換を用いる線Ｆ３（Ｉ３の中）の画像Ｉ２への写像は線Ｆ３’である。従って図１０ｂの画像Ｉ２からとったストリップＳ２は線Ｆ２およびＦ３’で囲まれている。ストリップＳ１、Ｓ２およびＳ３は光学的な流れ１００１に垂直であることに注目されたい。
この選択を用いれば、ストリップの第１の境界は選ばれた線によって定義され、従って前の画像に関し光学的な流れに正確に垂直である。このストリップの第２の境界は線Ｆ’_n+1によって定義されるが、これは次の画像で同じ性質をもった現在の画像Ｉ_nの上への線Ｆ_n+1の投影である。
ストリップの境界をこのように選ぶことによって、光学的な流れが保持されるため、ストリップの集合の中でいかなる情報も失われず、また重複することもない。
参照フレームとしてフレームの一つを使用し、他のすべてのフレームは貼付けを行う前にこの参照フレームに整合させるモザイク化の普通の方法を考えよう。ストリップに関して言えば、第１のストリップはそのままパノラマ画像の中に入れられる。第１のストリップの境界に合わせるために第２のストリップを曲げる。次に既に曲げた第２のストリップの境界に合わせるために第３のストリップを曲げる。その結果モザイク画像は連続的になる。しかし主な歪みは曲げを何回も行い歪みがたまることによって起こる。大きな回転は取り扱うことはできず、前進運動およびズームのような場合には通常画像の不都合な拡大（または縮小）の原因となる。
歪みを蓄積させることなく連続的なモザイク画像をつくるために、本発明においては、前の歪みの履歴には無関係に、隣接した元のフレームだけに依存してストリップの曲げを行わなければならないことが提案される。
本発明に従えば、各ストリップの片側、例えば後側は曲げない。これは、画像Ｉ_n-1と画像Ｉ_nとの間の境界に対応しＦ_nで定義されるストリップの側である。例えば図１０ｂにおいては、線Ｆ２は画像Ｉ２のストリップＳ２の裏側である。画像Ｉ_nと画像Ｉ_n+1との間にありＦ’_n+1によって定義される境界である。例えば図１０ｂにおいては線Ｆ３’は画像Ｉ２のストリップＳ２の表側である。
図１０ｄに示された例においては、第１のストリップＳ１では、左側（即ち裏側）１００２は変えず、右側（即ち表側）１００３を曲げて元の第２のストリップＳ２の左側に合うようにする。第２のストリップＳ２では、左側１００４は変えず、右側１００５を曲げて第３のストリップＳ３の左側１００６に合うようにする。
その結果、つくられた画像は連続的になる。またストリップが曲げられたのと同じように元の光学的な流れが曲げられている場合には、得られる光学的な流れはパノラマのモザイクがつくられる方向にほぼ平行になる。さらに、各ストリップは他の元のストリップに丁度合うように曲げられ、曲げの蓄積が避けられるから、蓄積された歪みは生じない。
ストリップの形の形成に関する可能な三次元的説明
一般的なカメラの運動において、光学的な流れはカメラの移動およびカメラの回転によって誘起される。回転する部分は元に戻すことができ、情景の構造には無関係だから、必要に応じ補償することができる（例えば［１７］参照）。カメラの並進（およびズーム）は、光学的な流れが平行である側方移動の特異な場合を除き、拡大焦点から生じる半径方向の光学的な流れを誘起する。
半径方向の光学的な流れの場合は、それは平行ではなく情景の構造に依存するから、モザイク化が遥かに複雑になる。
本発明に従えば、提案されたモザイク化の方法の可能な三次元的説明が提供される。三次元的な運動の情報が画像から［２１，１７］、或いは外部装置から得られる場合に対し、本発明で提案されたモザイク化の方法を実現するためには次にような説明が可能である。光学的な流れにほぼ垂直な曲がったストリップを選び、貼付けを行う際に互いに合うようにこれを曲げる方法は、中心軸がカメラの軌跡によって定義される視野パイプの上に画像を斜めに投影することによって一連のビデオ画像を変換する方法として考えることができる。この変換後、投影された画像の間の光学的な流れはパイプの中心軸にほぼ平行になり、パイプに沿った簡単な（伝統的な）ストリップの切取り貼付け法で容易にモザイク化することができる。この方法でつくられたパイプのモザイクは動いているカメラで観測される詳細点を大部分含んでおり、この場合各区域は最高の分解能で撮影された画像からとられ、該画像の中でストリップがつくられる。
パイプの上への投影を定義するために、下記の記号を使用する。共通の原点を有する二つのデカルト座標の原点を示すために文字Ｏを使用する。一つの座標系はＸ，Ｙ，Ｚで表される軸をもった全体的な座標である。カメラはこの原点に置かれ、画像面はＺ＝ｆ_cの所にある。ここでｆ_cは焦点距離である。他の座標系はパイプを定義し、これについては下記に説明する。三次元空間の中の点Ｐの位置はいずれかの座標系の中の座標によって与えられる。、例えば，Ｘ，Ｙ，Ｚ座標系の中ではＰ＝（Ｐ_x，Ｐ_y，Ｐ_z）。ベクトル

もまた文字Ｐで表される。
移動するカメラで撮られた一連の画像が与えられると、本発明方法によれば、半径方向の光学的な流れが変換された表現においてはほぼ平行な光学的な流れに変わるような方法で画像が変換されることが示唆される。必要な変換が達成されるために、二次元の画像をここでは「パイプ」１１０１（図１１参照）と呼ばれる三次元の円筒の上に投影する。このパイプの軸はカメラの光学的中心Ｏ＝（０，０，０）および拡張焦点Ｓ＝（ｓｘ，ｓ_y，ｆ_c）を通るように選ばれる。ここでｆ_cは焦点距離である。この軸はカメラの三次元的な現在の位置から次のフレームの三次元のカメラの位置へ向かう軌跡である。パイプの軸の方向は単位ベクトル

によって与えられる。画像面１１０３の中の各画像点Ｐ＝（ｘ，ｙ，ｆ_c）はパイプ上の対応する点Ｑの上に投影される。点ＱはＯおよびＰと同じ直線上にあり、パイプの軸１１０２からの距離はＲ（パイプの半径）である。
画像のパイプ表現においては、パイプ上のそれぞれ対応する点Ｑの光学的な流れはパイプの軸（１１０２）の方向にほぼ平行である。パイプ上に投影した後、前の画像と整合させるためには以後の画像をパイプに沿って移動させることだけが必要だから、これによってパイプ自身の上における簡単なモザイク化が可能になる。このパイプに沿った移動では、参照フレームを用いた整合に基づくモザイク化の方法に通常起こるような分解能の減少は起こらない。
パイプに固定されたデカルト座標系は３個の単位ベクトル

によって定義される。ここで

はパイプの軸の方向の単位ベクトルであり、

は互いに、またｓに垂直に選ばれる。
点Ｌをパイプ１１０１の軸１１０２の上の点Ｑの投影とし、ｋをＱからのＬの距離とする。角度αはＬとＱを結ぶ線と単位ベクトル

との間の角度とする。従ってｋとαとがパイプ１１０１上での点Ｑの位置を決定する。パイプ１１０１上での点Ｑの三次元的な位置はデカルト座標（Ｑ_x，Ｑ_y，Ｑ_z）によって与えられ、これはパイプに固定された系に対するベクトル

の成分から得ることができる。点Ｑに対する画像面の中の対応するピクセルはＰ＝（ｘ，ｙ，ｆ_c）＝（ｆ_cＱ_x／Ｑ_y，ｆ_cＱ_y／Ｑ_z，ｆ_c）である。
軸１１０２からのもとの距離がＲよりも短い画像面１１０３の中のピクセルはパイプ上では拡大されるが、画像へと投影して戻されるとその分解能を回復する。しかしＲよりも距離が長いピクセルはパイプ上で収縮し、従って元の分解能を失う。この理由のために、Ｒを（ｆ_c ²＋（ｗ／２）²＋（ｈ／２）²）^1/2に等しいとすることが推奨される。ここでｗおよびｈは画像の幅および高さであり、従ってパイプ上に投影した場合ピクセルの分解能は減少しないことが保証される。別法として、多くの簡単なシナリオにおいてはＲをｆ_cに等しいと選ぶだけで十分である。
パイプ表現においては、パイプの画像はパイプの主軸に沿って簡単な並進により互いに整合され、パイプのモザイクの生成はパイプの各点に対するすべての投影された画像の中で最良の分解能をもったピクセルをとる操作を含んでいる。超分解能法（ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｍｅｔｈｏｄ）を含み、パイプ上の各点に対する値を選ぶ他の方法を使用することもできることを注意しておく。パイプ上に投影した場合、ピクセルの面積がピクセル１×１個分になるようなピクセルに対し（即ち単一のピクセルを人工的なスケーリングを行うことなくパイプ上の単一のピクセルの上に投影した時）分解能は最も良く保存される。この基準を使用すれば、そのパイプの上で使われる面積と元の画像フレーム上の面積との間の割合は、この割合ができるだけ１に近づいた場合分解能が最も良く保存される目安と考えることができる。その結果パイプ上の各点に対し、画像の中の対応するピクセルを考え、この割合が１に最も近いものを最良の分解能として選ぶことができる。経験的にはこの割合は粗い近似としてＺ軸に沿った距離の割合Ｑ_z／ｆ_cと考えることができる。この値はできるだけ１に近くなければならない。この近似的な目安を用い、パイプと画像との交差点における画像上のピクセル（Ｑ_z＝ｆ_c）は分解能を最も良く保存すると考えられ、分解能の保存率は｜Ｑ_z−ｆ_c｜に従って減少する。パイプ上の各点に対し画像の値（例えば色および強度）は｜Ｑ_z−ｆ_c｜の値が最低であり従って分解能の保存が最良の画像からとられる。これは、パイプ上に投影した場合他の画像の対応する区域に比べ、各画像の中において最も良く分解能を保存する区域としてのストリップの定義である。（図１２ａ参照）。
このパイプ表現は伝統的なモザイク化の方法に対しても一般化された解釈を提供する。参照フレームへの整合に基づいた方法は、選ばれた参照フレームと同じ方向からパイプを見る方法と模擬的に考えることができる。純粋な側方への並進に限定した方法は、画像をパイプの側方へ投影するパイプのモザイクを用いるのと同一の結果を与える。
斜め方向からの観察、前進運動、およびズームのような場合もパイプ投影法を用いて十分に定義することができ最適の結果が得られるが、これらの場合従来のモザイク化の方法ではうまくゆかない。本発明のモザイク化の方法は一般的なストリップ（運動および分解能を考慮して決定された形、大きさおよび曲げ方法をもつストリップ）を使用し、パイプのモザイク化に関する上記説明によって解釈することができ、従って問題がある場合でもうまく動作するように既知の方法を一般化することができる。パイプ表現はカメラの経路に沿ったパイプの連結により複雑な軌跡および回転を取り扱うように一般化することができる（図１２ｂ参照）。
三次元表現におけるストリップの幅
三次元的なカメラの運動Ｔ＝（Ｔ_x，Ｔ_y，Ｔ_z）および＝（Ω_x，Ω_y，Ω_z）（並進および回転）が外部装置から、或いは画像からのカメラの運動の復帰に対するアルゴリズムを用いて［２１，１７］得られる場合、そのいずれかを使用してストリップの大きさを設定できる。
「パイプ」を用いるモザイク化の方法の説明の後に、パイプ上における二つの画像の投影をパイプの軸に沿った簡単な移動により互いに整合させることができる。投影された画像をＬ個のピクセルだけ移動させると、Ｌ個のピクセルの幅をもったストリップができる。次に二つの入力フレームに対するストリップの幅Ｌの近似を行う方法を説明する。
他の値も可能ではあるが、この節ではパイプの半径はＲ＝ｆ_cになるように選ぶと仮定し、それに従ってＬの値のスケーリングを行うことに注意されたい。
得られるパノラマの画像の分解能が元の一連の画像の分解能よりも低くならないような方法でストリップの幅Ｌを計算することが必要である。例えば視差がない場合ストリップの幅は二つのフレームの間の画像のずれに等しいとすることができる。
図１３は純粋な回転の場合に対し元の分解能を保存するのに必要なストリップの幅の選択を示す。画像Ｉ₁の中心からＩ₂の中心に至るストリップＬの幅はＬ＝｜Ω×（０，０，ｆ_c）^t｜＝ｆ_c（Ω_x ²＋Ω_y ²）^1/2とおくことができる。ここでｆ_cはカメラの焦点距離（またはパイプの半径）であり、×はクロス積の演算子、（）^tは転置演算子である。これは純粋な回転に制限された他のパノラマのモザイク化の方法と同様な結果を与える。
図１４は純粋な並進に対する元の分解能を保存するのに必要なストリップの幅の選択を示す。純粋な並進の場合には、その結果が垂直な投影（視差に無関係な）と同じ効果を与えるならば最良であろう。従って得られる分解能は、カメラからの距離が少なくともＺ_minであるすべての対象に対し分解能が維持または改善されるような方法で得られたと考えられることが示唆されている。Ｚ_minは応用分野に応じて定義することができ、一般的には画像（またはパイプ）のずれが最大の最も近い対象物に対応している。
例えば図１４はカメラに対して或る距離Ｚ_minよりも近くにない所に対象物が存在する情景を示している。長さＭの対象物は画像面の中に最高ｍ＝ｆ_cＭ／Ｚ_min個のピクセルをもっているであろう。ここでｆ_cはカメラの焦点距離である。第１の画像の中心が対象物の一端の所に見え、第２の画像の中心が該対象物の他の端の所に見えるように｜Ｔ｜＝Ｍで並進運動をするカメラを考えよう。このことはカメラが該対象物を一端から他端へと通り過ぎ、従ってパノラマの画像の中に対象物の元の分解能を保存するためにはその間にＬ＝ｍ個のピクセルが必要であるということを意味する。その結果定義に従い純粋な並進の場合には一つのストリップの幅に対しＬ＝ｆ_c｜Ｔ｜／Ｚ_minが提案される。ここでｆ_cは焦点距離（またはパイプの半径）である。幅が少なくともＬ個のピクセルであるストリップ（或いはそれよりも狭いストリップ、例えば下記に説明するように、Ｌ個の中間的な被写画面から得られるそれぞれ１個のピクセルの幅をもったＬ個のストリップ）をパノラマ画像をつくるのに使用することができる。この定義により距離Ｚ＞Ｚ_minにあるすべての対象物が元の一連の画像より良い分解能をもつことができる。
一般的な運動の場合には、Ｉ１とＩ２との間のストリップの幅Ｌはｆ_c（焦点距離）、Ｔ（並進ベクトル）およびΩ（回転ベクトル）から直接決定することができる。例えば下記の式を使用することができる。
Ｌ＝ｆ_c｜Ｔ／Ｚ_min＋Ω×（０，０，１）^t｜
ＴおよびＺはスケール因子までしか復帰できないが、これらの間の関係は独特な方法で復帰させることができる。ｆ_c｜Ｔ｜／Ｚ_minの項は復帰可能なカメラの並進運動によって誘起される光学的な流れの最大の大きさを定義する。この定義は画像の中の任意の特定の区域には依存せず、カメラの運動のパラメータだけに依存するから、一連の画像に沿って矛盾野内実現可能なパノラマのモザイクをつくることができる。
新しい被写画面の生成を用いるモザイク化
多様体投影をつくるためには、画像を情景の一次元的な（直線の必要はない）掃引であると考える。これはカメラの運動方向にほぼ垂直なストリップの集合である。
ストリップの幅が１個のピクセルよりも多い異なった画像からストリップを取り出すことは、視差がない場合だけうまく行うことができる。視差を含む一般的な場合には、Ｌ個のピクセルの幅をもつストリップをとる代りに、中間的な画像を合成して狭いストリップを使用することができる。例えば、それぞれ１個のピクセルの幅のＬ個のストリップの集合を元のカメラの位置の間で内挿された被写画面からとることができる。
図１５では、一つは並進の場合、もう一つは回転の場合の二つの例に対し、中間のカメラの位置から見た合成された被写画面をつくることにより被写画面の内挿を行ってパノラマの画像をつくる方法が示されている。並進の場合には、対象物Ａ、Ｂ、Ｘ、Ｙ、Ｃ、Ｄは位置Ｃ１から位置Ｃ２へと並進したカメラによって撮られた二つの後続のフレームＩ１およびＩ２の中で見ることができる。必要なすべての中間的な画像は中間の被写画面Ｎ１、Ｎ２、・・・に対してつくられ、単一のストリップ（幅１ピクセル）はそれぞれの中間の画像から取られている。その結果これらの中間の被写画面をつくりこれらのストリップを集める方法によってパノラマのモザイクが得られる。このパノラマは実現可能であり、視差の効果の影響を受けない。
回転の場合にも同じ機構が適用される。この場合対象物Ｅ、Ｆ、Ｗ、Ｚ、Ｌ、Ｍは、位置を固定され方向がＣ２からＣ４へと変えられたカメラによって撮られた二つの後続のフレームの中で見ることができる。必要なすべての中間的な画像は中間の被写画面Ｎ１、Ｎ２、・・・に対してつくられ、狭いストリップ（幅１ピクセル）はそれぞれの中間の画像から取られる。このパノラマは、純粋な回転では視差の効果が生じないから、いくつかの以前の方法によってつくられたパノラマと同程度に良質である。
新しい被写画面を合成するためには、種々の公知方法、例えば光学的な流れの内挿法［６，１９］、三線テンソル法（Ｔｒｉｌｉｎｅａｒ ｔｅｎｓｏｒ ｍｅｔｈｏｄ）［１７］その他を使用することができる。大部分の場合、近似的方法が好結果を与える。大部分の応用では被写画面の外挿は必要がないから、中間の被写画面をつくるには被写画面の内挿だけが必要である。
ストリップの集合に中間的な被写画面を使用すると、垂直投影の効果が得られ、視差による不連続性が避けられる。例えば図１６では、視差が存在する場合に矛盾のないパノラマのモザイクをつくる方法が示されている。上記の方法は被写画面の内挿を使って視差の困難性を克服しており、その結果も実現可能である。
以上本発明を或る程度詳細に説明したが、下記に請求の範囲に記載した本発明の精神および範囲を逸脱することなく種々の改変および変更を行うできることを理解されたい。

Claims (17)

1. 或る情景の一連の二次元画像を組み合わせて該情景のパノラマのモザイクを得る方法であって、該一連の二次元画像は該情景に関して相対的に該カメラを動かすことによって得られ、上記相対的な動きが、画像の間に光学的な流れをつくり、光学的流れのベクトルの少なくとも一部が、相互に平行ではない方法において、
   a）画像を曲げて、光学的流れのベクトルの方向を、相互に及びモザイクがつくられる方向に対して実質的に平行にすること、
   b）該一連の二次元画像を該情景のために連続するように、該曲げられた画像を貼り付け、
   これによって、該情景の該パノラマのモザイクをつくる
   ことを特徴とする方法。
2. 或る情景の一連の二次元画像を組み合わせて該情景のパノラマのモザイクを得る方法であって、該一連の二次元画像は該情景に関して相対的に該カメラを動かすことによって得られ、該カメラの運動によって画像の間に光学的な流れがつくられる方法において、
   a）該一連の二次元画像の画像の各々に対して、該光学的な流れに垂直なラインの少なくとも１つのフアミリを選択し、各ストリップが該光学的な流れに実質的に垂直になるように、該光学的な流れが入る前縁と該光学的な流れが出る後縁とを有するストリップを規定すること、
   b）ストリップを貼り付けて、該光学的な流れが、該モザイクが作られる方向に実質的に平行になるように、非矩形のストリップを作ること、
   c）一連の二次元画像が該情景に対して連続するように、該非矩形ストリップを貼り付けることを含むことを特徴とする方法。
3. ストリップを曲げる工程ｂ）が、ストリップを、隣接するストリップの縁に合った前縁と後縁の少なくとも１つを有するストリップに変換することを含む請求項２の方法。
4. ストリップを曲げる工程ｂ）が、ストリップが一緒に結合される前に、ストリップを直線の縁を有するストリップに変換することを含む請求項２の方法。
5. ストリップを曲げる工程ｂ）が、二次元の画像の上で規定された該ストリップを、矩形のストリップにリスケーリングして、前縁が、隣接した二次元の画像の上で定められるストリップの後縁に、実質的に整合せしめられる請求項２の方法、
6. ストリップが円形のストリップであり、円形のストリップの前縁が、半径ｒ１を有する長さｌ１の弧であり、円形のストリップの後縁が、半径ｒ２を有する長さｌ２と有する弧であり、リスケーリングがｌ１にｒ１／ｒ２を掛けることを含む請求項５の方法。
7. 該一連の二次元の画像の画像の各々に対して、少なくとも１のフアミリ選択し、少なくとも１つのストリップを規定する工程ａ）が、
   − ストリップのために形を決定すること；
   − ストリップのためにサイズと幅を決定すること；
   − 二次元の画像でストリップの位置を定めること；
   − 二次元の画像からストリップを切ること
   を含む請求項２の方法。
8. 二次元の画像の対の間の光学的な流れが、アフィン変換によってまたは平面投影変換である請求項１または２の方法。
9. 画像が、主軸がカメラ光学的中心の経路に近似できる三次元の円筒の円筒面に投影され、ストリップの組合せが、二次元の画像を該三次元の円筒の円筒面に実質的に沿って並進運動させることによって達成される請求項１または２の方法。
10. どの２つの連続した画像もカメラの光学的中心を実質的に通っており、円筒が、連続した画像に実施的に沿って連結されている請求項１０の方法。
11. 一連の二次元画像が、中間のカメラの位置から見た合成された画像で作られる請求項１または２の方法。
12. 情景のパノラマのモザイクの記憶データを導き出して、該記録データをメモリに記憶することを更に含む請求項１−１１のいずれか１の方法。
13. プログラムがコンピュータで動くとき、請求項１−１２のいずれかの全ての工程を実行するための、コンピュータープログラム・コード手段を具備することを特徴とするコンピュータープログラム。
14. コンピュータ読み込み可能な媒体に入れられた請求項１３に記載のコンピュータープログラム。
15. 画像視差、カメラ・ズーム、前カメラ運動、及び並進と回転とを組み合わせる一般的なカメラ運動からなるグループから少なくとも１つのケースを取り扱うための請求項１又は２の方法の使用。
16. ある情景のパノラマのモザイクを得るための、一連の二次元の画像を結合するためのシステムであって、一連の画像が、情景に対して相対的な運動においてカメラで得られ、相対的な運動が、画像の間で光学流れを引き起こし、光学的流れベクトルの一部は互いに平行でないシステムであって、
    画像の間の光学的流れベクトルの方向が、互いに及びモザイクが造られる方向に実質的に平行になるように、画像を曲げるための曲げ装置、及び
    一連の二次元の画像が情景に対して連続的であるように、曲がった画像を貼り付ける貼り付け装置
    を具備することを特徴とするシステム。
17. 或る情景の一連の二次元画像を組み合わせて該情景のパノラマのモザイクを得るシステムであって、該一連の二次元画像は該情景に関して相対的に該カメラを動かすことによって得られ、このカメラの運動によって画像の間に光学的な流れがつくられるシステムにおいて、
    該一連の二次元画像の各々の画像に対して、該光学的な流れに垂直な線の少なくとも１つの組を選び、前方の縁と光学的な流れを介して後方の縁を有する少なくとも１つのストリップを規定し、これを介して該光学的な流れが出て、ストリップの各々が、該光学的な流れに実質的に垂直である選択装置、
    該光学的な流れが、該モザイクが形成される方向に実質的に平行になるように、該ストリップが非矩形ストリップを形成するように曲げる曲げ装置、及び
    該一連の二次元画像が、該情景のために連続するように、該非矩形画像を張り付ける張り付け装置
    を具備することを特徴とするシステム。

Images