JP5172863B2 - バナナ・コーデック - Google Patents

Description

本発明は、一般に、コンピュータ・グラフィックスおよび画像処理の分野に関し、特に、複数の元画像から少なくとも一つの高画質の画像を生成する技術に関する。

没入型ビジュアル技術により、画像を見るというバーチャルでインタラクティブな体験、特に、ある画像を別の画像に挿入してリアルな没入型体験をすることが可能になった。パノラマ画像は、没入型ビジュアル技術により複数の画像を合成することで作成されるものであり、従来のカメラレンズで実現されるものよりも視野が広い。円形の半球静止画像を撮影するうえでよく使われる装置としては、魚眼レンズを搭載したデジタルカメラがある。その画像は極めて鮮明で驚くべき画質となる。一般に、没入型技術ではインタラクティブな写真が必要とされる。そして、そのインタラクティブな写真は、標準的な広角レンズ、魚眼レンズ、または広角画像を標準レンズに反射するミラーを用いて得られた写真画像をコンピュータ・プロセッサにデジタル入力したものに基づく。また、デジタル処理では、ミラー、広角レンズ、あるいは魚眼レンズによるいかなる歪みも除去し、遠近感のある補正画像部分をユーザが思いのままに見られるようにすることが必要とされる。

没入型ビジュアル・システムで用いられる魚眼レンズは、極めて広い円環像を取り込む広角レンズである。写真撮影の分野では、魚眼レンズは、撮影した画像に独特の歪みを現すことで知られている。そして、魚眼レンズは、画像または映像中に１８０度の景色を現すが、この景色は、若干歪んでいることが多い。そのような歪みは、従来公知の技術を用いて充分に補正することができるものの、ユーザに優れた画質の画像による没入型体験を提供するために、多くの没入型ビジュアル・システムおよび方法が提案されている。

米国特許第６，９４７，０５９号明細書には、結合と変換によってフルモーションで立体的な正距円筒画像を生成する複数の撮像装置を含む画像化システムが開示されている。この方法は、複数の画像を得る工程と、第一および第二の画像それぞれの一部を合成して第一の合成正距円筒画像を生成する工程と、第一の画像の別の一部と第三の画像の一部を合成して第二の合成正距円筒画像を生成する工程と、第一および第二の合成正距円筒画像を物体に表示して立体画像を生成する工程と、を含む。

米国特許第６，１４７，７０９号明細書には、低解像度画像に高解像度画像を挿入して没入型体験をさせる方法が開示されている。この方法は、低解像度画像を撮影する工程と、高解像度画像を撮影する工程と、画像変換処理を用いて低解像度の歪みを除去する工程と、画像の詳細を拡大する工程と、高解像度画像を重畳する工程と、画素値を合わせる工程と、高解像度画像における少なくとも三点を、低解像度画像における三つの異なる変換値で表す工程と、を含む。

米国特許第６，７９５，０９０号明細書には、それぞれ異なる結節点から一つの景色を３６０度の視野で捉えた二つのパノラマ画像から中間パノラマ画像を生成する方法およびシステムが記載されている。これによると、まず、平面画像対が得られ、各平面画像対は、元のパノラマ画像それぞれの一部から得られた元の平面像に対応しており、各平面像対からは当該景色の類似領域が見える。次に、各平面画像対から中間平面画像が生成され、その結果として生じる一連の中間平面画像が円筒状に連結されて、前記中間パノラマ画像を形成する。

これらの特許文献には、２以上の画像を合成するまたは埋め込む処理およびシステムが開示されているものの、そのいずれもが、最終画像を小さなスクリーンに表示することを可能にする柔軟性に欠けている。これは、公知の没入型ビジュアル・システムの多くでは、２以上の画像を結合すると、正距円筒画像が拡大された状態で取得されることに起因する。結果として、得られた画像または映像は、多くの記憶容量を必要とする。さらに、最終画像の画質は、ユーザの期待を下回ることが多い。それゆえ、２以上の画像を結合した後に画像ファイルのサイズ縮小を容易にする方法およびシステムが必要となる。また、そのような２以上の画像を結合する方法およびシステムは、取得される画像の画質が優れていることを要求される。

米国特許第６，９４７，０５９号明細書（２００５年９月２０日） 米国特許第６，１４７，７０９号明細書（２０００年１１月１４日） 米国特許第６，７９５，０９０号明細書（２００４年９月２１日）

本発明の目的は、２以上の静止画および／または動画を結合して、高画質の合成画像を生成する効率的な方法およびシステムを提供することである。

また、本発明の別の目的は、２以上の静止画および／または動画を結合して、元画像と同じ画素数を有する合成画像を生成する方法およびシステムを提供することである。

また、本発明のさらに別の目的は、２以上の静止画および／または動画を結合して、ファイルサイズの小さい合成出力を生成する方法およびシステムを提供することである。

これらの目的を達成するために、本発明は、２以上の画像を結合する方法であって、
（ａ）少なくとも１つの地点における異なる視方向から、半球画像となるように２以上の画像を撮像手段によって撮像する撮像工程と、
（ｂ）前記半球画像をそれぞれ、対応する三角画像に変換する変換工程と、
（ｃ）少なくとも第１の三角画像を少なくとも第２の三角画像の端部に沿って位置決めして、前記第１の三角画像の端部を前記第２の三角画像の端部に一致させる位置決め工程と、
（ｄ）前記第１の三角画像の端部に存在する共通点を前記第２の三角画像の端部に存在する対応点に合成して、１つの矩形の結合画像を形成する合成工程、を含む方法を提供する。

さらに、本発明は、２以上の画像を結合するシステムであって、
少なくとも１つの地点における異なる視方向から、２以上の半球画像を撮像する撮像手段と、
前記撮像手段に接続されており、前記２以上の半球画像を三角画像に変換し、それら三角画像を合成して一つの結合画像を形成する画像処理手段と、を備えるシステムを提供する。

本明細書において、これらの目的は、本発明を詳細に明らかにするために開示されたものであり、本発明の範囲は、これらの目的および／または利点に制約または限定されるものではない。

図面に基づいて詳細に説明する。図面において、各符号の最も左の桁は、当該符号が初めて出てくる図面を示す。全図面にわたって、同じ符号を用いて同様の特徴や構成要素を示す。
本発明で開示したように、２以上の画像を結合して高画質の画像を生成するシステム例を示す図である。 本発明で開示したように、バナナ結合処理（banana stitching process）を用いて、２以上の画像を結合して高画質の合成画像を生成する方法例を示すフロー図である。 図２に示すバナナ結合モジュール（１５０）の実施例を示すブロック図である。 二つの半球画像例、およびそれらの略図と終点座標を示す図である。 各半球画像を三角画像に変換する方法例を示すブロック図である。 三角画像の向きを変更する処理例を示すブロック図である。 二つの三角画像を一つの画像に結合して、その向きを変更する処理例を示すフロー図である。

以下、２以上の静止画および／または動画を結合して、高画質の合成画像を生成する方法およびシステムについて説明する。これらの方法およびシステムは、ここに開示されたいかなる特定の形式や構成、具体的な実施形態、または具体的な使用にも制限されるものではなく、以上に示して説明する、請求の範囲に記載されている発明の精神または範囲から離れることなくして、種々の特定事項または関係に変形することが可能であり、その発明の装置または方法は、具体的な実施例を図示および開示するためだけのものであり、本発明が実施または操作され得る種々の形式または変形例のすべてを示すものではない。

魚眼レンズを通して撮影された２以上の画像を効率良く結合するために、画質の優れた合成画像を生成するシステムおよび方法が必要である。さらに、そのようなシステムには、多くの記憶容量を占める通常の正距円筒画像または映像に代わるものが要求される。このため、本発明に開示された方法およびシステムでは、魚眼レンズ等の広角レンズによって撮影された２以上の画像の結合が行われる。ここで、２以上の静止画像または映像は、任意のタイプの魚眼レンズによって撮影され、半球形状をなす。その後、各半球画像は、等三角画像（equitriangularimage）または映像に変換される。

半球画像の三角画像への変換の後、二つの三角画像が結合される。この二つの三角画像の結合によって、矩形画像が形成される。得られた矩形画像における各画素は、処理終了時における一画素を表し、よって最終的には、結合される最初の画像と同じ画素数となる。従って、本発明に開示された方法およびシステムによると、元の内容を一切損なうことなく、画質の優れた結合画像を得ることができる。さらに、正距円筒画像に比べて可逆変換をもたらす圧縮を一切行うことなく、２以上の画像を結合した後に画像ファイルのサイズを縮小することができる。

ここに説明する技術は、種々の動作環境やシステムにおいて使用することが可能である。以下、種々の形態を実施するのに適した環境例を図面に基づいて検討する。
（システム例）
図１は、２以上の画像を結合して画質の優れた画像を生成するシステム例１００を示す図である。実施の一形態によると、システム例１００は、１以上のグラフィカル処理ユニット１０４に接続された１以上の撮像手段１０２を備える。そのグラフィカル処理ユニット１０４は、１以上の入出力インターフェース１０６および１以上の出力手段１０８に接続されている。撮像手段１０２としては、１以上の魚眼レンズまたはアダプターを搭載したデジタルカメラを用いることができる。魚眼レンズとしては、画像ごとに少なくとも１８０度×１８０度の視野を得るために、円魚眼レンズを用いることができる。

他の実施の形態では、撮像手段１０２は、システム１００に接続された通信ネットワーク上でアクセスできる。撮像手段１０２は、入出力インターフェース１０６を介してグラフィカル処理ユニット１０４に転送する前に画像をデジタル化する手段をさらに備えることができる。また、そのデジタル化手段は、入出力インターフェース１０６を介して、前記システム１００に接続されてもよい。

システム１００は、入出力インターフェース１０６によって入出力性能を備える。入出力インターフェース１０６は、入力装置、出力装置、ＡＤ変換器等を接続するための１以上のポートを備えることができる。入出力インターフェース１０６は、１つ以上の撮像手段１０２を介して撮影された画像を受信し、グラフィカル処理ユニット１０４によるさらなる処理に適切な形式に変換するように構成できる。グラフィカル処理ユニット１０４によって生成された合成画像は、入出力インターフェース１０６を介して出力手段１０８に送信されうる。例えば、入出力インターフェース１０６は、Ｆｌａｓｈディスク、ＵＳＤ接続、ＷＩＦＩ接続等のあらゆる従来の方法を用いて、グラフィカル処理ユニット１０４への画像の配信を容易にすることができる。

グラフィカル処理ユニット１０４は、複数の演算器を備えた単体の構成要素であってもよいし、複数の構成要素であってもよい。グラフィカル処理ユニット１０４は、メモリ１１４に接続された画像処理エンジン１１２を備えることができる。他の実施の形態としては、メモリ１１４は、グラフィカル処理ユニット１０４の外部に、別個の構成要素として配置されうる。または、メモリ１１４は、システム１００に接続された通信ネットワーク上でアクセスできる。メモリ１１４は、例えば、揮発性メモリ（ＲＡＭ等）および不揮発性メモリ（ＲＯＭ，フラッシュメモリ等）を含む。メモリ１１４は、受信画像、中間画像、最終画像、および関連情報を記憶しうる。メモリ１１４は、さらに、画像処理エンジン１１２によって動作指令および関連データを記憶しうる。

画像処理エンジン１１２は、撮像手段１０２によって撮影された画像を適切な形式で受信できる。少なくとも二つの画像を合成してフル３６０×１８０の視野を得るためには、少なくとも二つの画像が撮影されなければならない。撮影された画像は、少なくとも２４ビットの色の深みを実現するためにプログレッシブ・スキャン形式でなければならず、かつ、解読可能なマルチメディア・ファイル形式である必要がある。このファイルとしては、結合処理において高画質を維持するために、最低限の圧縮を施したラスター画像、一連のラスター画像、またはビデオ・ファイルを用いることができる。元のソースファイルが映像であり、かつ、インターレース(interlace)されている場合、従来公知の技術を用いて、インターリーブ(interleave)を除去する必要がある。あるいは、画像処理エンジン１１２は、撮像手段１０２から受信した画像を処理して、半球画像を得ることができる。また、画像処理エンジン１１２は、各半球画像から複数の情報を抽出し、抽出した情報を用いて、半球画像を対応する三角画像に変換して、それらを結合および位置決めできる。開示された処理によると、得られた画像は、画素数が元画像と同数になり、その結果、従来公知の正距円筒画像に比べて可逆変換を確実に行うことができる。その後、画像処理エンジン１１２は、得られた結合画像を出力手段１０８に送信し、その合成画像は表示される。好ましい実施の形態では、出力手段１０８として、システム１００に接続された表示画面および／または印刷装置を用いることができる。他の実施の形態では、出力手段１０８は、システム１００に接続された通信ネットワーク上でアクセスできる。

システム１００は、スタンドアロン型のシステムとして、またはネットワークに接続されたシステムとして実施できる。まず、グラフィカル処理ユニット１０４は、撮像手段１０２によって撮影された画像、動作指令、および他の関連データをメモリ１１４に取り込むことができる。画像処理エンジン１１２は、各半球画像の座標値と２以上の画像の対応点とを含む複数の情報を各画像から抽出する。さらに、画像処理エンジン１１２は、メモリ１１４に記憶された動作指令を用いて、半球画像を対応する三角画像に変換する。また、画像処理エンジン１１２は、三角画像の少なくとも一つを１８０度回転させ、共通の底辺に沿って少なくとも第２の三角画像に合成して、結合画像を生成する。また、画像処理エンジン１１２は、結合画像の位置決め補正を行い、元画像と同じ画素数の矩形画像を生成する。最終画像は、入出力インターフェース１０６を介して出力手段１０８に送信される。本発明において開示されたシステムによって生成された最終画像は、元画像と同数の画素を保持し、よって同等の内容を保持しているため、高画質であると認められる。また、出力ファイルのサイズが、圧縮技術を使わずに、約２２％縮小されるため、標準的な正距円筒画像に比べてより効率的に記憶できる。

（方法例）
以下、２以上の画像を結合して、画質の優れた合成画像を生成する方法例について説明する。図２〜８は、論理フロー・グラフおよび／または略図におけるブロックの集合として図示され、ハードウェア、ソフトウェア、またはその組み合わせにおいて実施され得る一連の動作を表す。ソフトウェアの場合、これらのブロックはコンピュータ指令を表す。なお、そのコンピュータ指令は、１以上のプロセッサが実行することにより、記載された動作を行うものである。処理の記載順序はこれに限定されるものでなく、記載されたブロックをいくつでも任意の順序に組み合わせて、前記処理または別の処理を実施できる。加えて、個々のブロックは、ここに記載されている主題の精神または範囲から離れることなくして、前記処理から削除できる。

図２は、本発明で開示したように、バナナ結合処理を用いて、２以上の画像を結合して高画質の合成画像を生成する方法システム例を示すフロー図である。

好ましい実施の形態においては、二つのソースファイルが使用される。これらの画像は、背中合わせに配置された二台のデジタルカメラに搭載された二枚の魚眼レンズを用いて撮影された二つの魚眼画像を表す二つのラスター画像である。各レンズは、少なくとも１８０度の視野を有している。これらの画像は、任意の時点で同じ環境を撮影した二つの画像である。色の深みとしては、２４ビット、３４ビット、またはインデックスカラーを採用できる。

二つの画像、すなわち、ラスター画像１（１１０）およびラスター画像２（１２０）は、公知の方法によって、ラスター画像読取部（１３０）に取り込まれる。そして、これら二つのラスター画像は、展開されて、ラスター画像バッファ（１４０）に一旦保持される。ラスター画像バッファ（１４０）は、前記システムの複数の要素によってアクセスできる。入力ラスター情報は、ラスター画像読取部（１３０）により供給される。画像選択に関するパラメータは、（１５０）を介して選択パラメータモジュール（１８０）により供給される。出力情報は、バナナ結合モジュール（１５０）に送信されたラスター画像である。また、ラスター画像バッファ（１４０）は、ＧＵＩ（グラフィカル・ユーザ・インターフェース）（１７０）に接続される。

ＧＵＩ（１７０）は、ラスター画像バッファ（１４０）、ラスター画像書込部（２１０）、選択パラメータ（１８０）、ヒューマン・マシン・デバイス（１９０）、およびディスプレイ（２００）の間をつなぐビジュアルリンクであり、結合画像バッファ（１６０）に接続して処理を早めることも可能である。ＧＵＩは、ユーザとシステムとの間をつなぐヒューマン・マシン・デバイス（１９０）に連動している。ＧＵＩは、ラスター画像バッファ（１４０）を介して二つのラスター画像（１１０）とラスター画像（１２０）とを表示すると、エンドユーザは、これらの画像それぞれにおける、結合すべき領域を選択・決定する。選択される形としては、ユーザが中心および半径を決定できる円形であることが多い。この選択には、異なる形を使ってもよい。この情報は、ヒューマン・マシン・デバイス（１９０）によって入力され、選択パラメータ（１８０）によって供給およびフォーマットされる。そして、モジュール（１８０）は、前記の選択された情報をバナナ結合モジュール（１５０）に送信する。そのバナナ結合モジュール（１５０）は、必要とされるラスター情報を（１４０）にて受け取り、それらを処理し、処理された画像を結合画像バッファ（１６０）に供給するものである。なお、バナナ結合モジュール（１５０）の機能については、図４の記載に基づいて後述する。

結合画像バッファ（１６０）は、バナナ結合モジュール（１５０）から等三角画像を受け取る。この工程では、情報はラスター画像である。そして、この情報は、ラスター画像書込部（２１０）によって、ＢＭＰ、ＪＰＧ、ＴＧＡ等の従来の形式で書き込まれ、ＧＵＩ（１７０）に並行して送信され、表示される。そして、（２２０）では、ラスター等三角画像は、複数のフレームとして処理され、圧縮モジュール（２３０）において映像として圧縮される。以上に開示された処理は、画像の各フレームごとに行う必要がある。

図３は、図２に示すバナナ結合モジュール（１５０）の実施例を示すブロック図である。

ラスター画像バッファ（１４０）は、二つのソースラスター画像（３００）とソースラスター画像（３１０）とを、図２のモジュール（１８０）によって供給された選択情報と共に、画像処理プロセッサＣＩＲまたはＴＲＩ（３２０）に送る。以下に説明するように、画像処理プロセッサ（３２０）は、（３００）および（３１０）のそれぞれの選択を受けて、各画素の変換を処理する。こうして得られた情報が、二つのラスター画像（３３０）およびラスター画像（３４０）である。そして、ラスター画像（３４０）は、画像処理プロセッサ回転（３５０）を介して処理され、図７に示すように、すべての画素情報に対して１８０度回転が行われる。そして、得られたデータ（３６０）は、図８に示すように、ＭＵＸ（マルチプレクサ）ラスター画像（４００）として画像ＭＵＸ（マルチプレクサ）（３７０）に取り込まれる。こうして得られたラスター画像は、一つの画像である。

そして、画像データは、画像処理プロセッサ画素移動部（４１０）を介して処理され、図８に示すように、各画素を移動させてラスター画像（４２０）を生成する。

そして、その画像は、画像処理トリミングモジュール（４３０）によってトリミングされ、矩形のトリミング画像（４４０）が得られ、結合画像バッファ（１６０）に送られる。この工程で、結合処理が終了する。

図４〜８に、本発明の方法によって開示された結合処理の例を図示する。

図４は、二つの半球画像、およびそれらの略図と終点座標を示す図である。２以上の画像が撮像装置の魚眼レンズによって捕捉される。図形要素４０２は、魚眼レンズを備えた撮像手段によって撮影された景色の正面図であり、図形要素４０４は、図形要素４０２を簡略化した画像を表し、撮影した画像の中心および四つの終点の座標を示す。同様に、図形要素４０６は、撮影した景色の背面図を示し、図形要素４０８は、図形要素４０２を簡略化した画像を表し、この画像の中心および四つの終点の座標を示す。図４において、ＴＡは半球４０２の頂点を指し、ＴＢは半球４０６の頂点を指し、ＬＡは半球４０２の左点を指し、ＬＢは半球４０６の左点を指し、ＲＡは半球４０２の右点を指し、ＲＢは半球４０６の左点を指し、ＢＡは半球４０２の底点を指し、ＢＢは半球４０６の底点を指し、ＣＡは半球４０２の中心点を指し、ＣＢは半球４０６の中心点を指すものとする。

図５は、各半球画像の対応する三角画像への変換を示すフロー図である。図形要素５０２は、魚眼レンズによって撮影された景色の正面図を表す半球の円周または外周を表し、図形要素５０４は、当該半球の中心を起点とした半径ＣＡＲＡを表す。この半球の１以上の要素が、対応する三角画像の要素に変換される。ＲＡＢＡＬＡＴＡＲＡで表された三角形の底５０６は、外線５０２、すなわち、対応する半球のＴＡＲＡＢＡＬＡによって形成される。一方、三角画像の斜辺５０８および垂線５１０は、図形要素５０４、すなわち、半球の半径ＣＡＲＡによって表される。

同様に、魚眼レンズによって撮影された景色の背面図を表す半球は、対応する三角形に変換される。ＬＢＴＢＲＢＢＢＬＢで表された三角形の底５１６は、外線５１２、すなわち、対応する半球のＬＢＴＢＲＢＢＢＬＢによって形成される。一方、三角画像の斜辺５１８および垂線５２０は、図形要素５１４、すなわち、半球の半径ＣＢＬＢによって表される。各半球の各画素は、前記の変換に従い、新たな三角形上に配置され、図５に示すように位置する。

図６は、三角画像の向きを変更する処理を示すフロー図である。１以上の三角形を１以上の軸に沿って１８０度回転させ、１以上の画像と結合させる位置に置く。図６において、三角形６０２および６０４は、それぞれ、撮影された景色の正面図および背面図を表す半球によって形成された三角画像を表す。三角形６０４は、図６に示すように、１８０度回転を経て、三角形６０６となる。元画像は、１８０度回転と同様の、２フリップミラー機能（2 flip mirror functions）を用いて変換されたものと考えてよい。これにより、三角形６０６は、図７の記載に示すように、撮影された景色の正面図を表す三角形６０２と結合するのに適した方向となる。

図７は、二つの三角画像を結合して一つの画像にしてその向きを変更する処理を示すフロー図である。元画像の複数の要素が、さらに処理するために抽出・記憶される。また、２以上の画像に共通の要素も特定される。三角画像７０２を反転三角画像７０４と結合させるため、共通の要素を表すこれらの三角形の対応点が特定される。図８に、三角画像７０２と７０４との対応点を、ＲＡおよびＬＢ、ＢＡおよびＢＢ、ＬＡおよびＲＢ、ＴＡおよびＴＢ、並びに、ＲＡおよびＬＢで表す。その後、三角画像７０２と７０４との対応点は、三角画像７０２および７０４の斜線に沿って重ね合わせられ、結合画像７０６となる。

最後に、端点ＲＡ、ＬＢ、およびＣＢ線において、垂直移動が行われ、正距円筒画像が得られる。こうして得られた正距円筒画像における各画素は、処理終了時における一画素を表し、よって最終的には、結合される最初の画像と同じ画素数となる。そして、最終画像のサイズは、記憶容量が少なくとも２２％縮小される。このように、本発明において開示された方法およびシステムは、２以上の画像から、標準的な正距円筒画像よりも高画質の結合画像を生成する。

前記説明および図示した各実施形態は、一例として提示されているものにすぎず、本発明の概念および原理を限定するものではない。従って、請求の範囲に記載されている発明の精神または範囲から離れることなくして、構成要素やその構成・配置において種々の変更が可能であることは、当業者に充分に理解され得るであろう。

本発明がここに示す具体的な実施形態に限定されるものではないということは、当業者に容易に理解され得るであろう。従って、本発明の主な利点を犠牲にすることなく、添付の請求項の範囲と精神において、変更することが可能である。

Claims (12)

1. ２以上の画像を結合する方法であって、
   少なくとも１つの地点における異なる視方向から、半球画像となるように２以上の画像を撮像手段によって撮像する撮像工程と、
   前記半球画像をそれぞれ、対応する三角画像に変換する変換工程と、
   少なくとも第１の三角画像を少なくとも第２の三角画像の端部に沿って位置決めして、前記第１の三角画像の端部を前記第２の三角画像の端部に一致させる位置決め工程と、
   前記第１の三角画像の端部に存在する共通点を前記第２の三角画像の端部に存在する対応点に合成して、１つの結合画像を形成する合成工程と、を含むことを特徴とする２以上の画像を結合する方法。
2. 前記変換工程は、
   前記半球画像をそれぞれ対応する円で表す工程と、
   前記三角形の底辺を前記円の外周で表す工程と、
   前記三角形の垂線および斜辺を、前記円の中心から前記円の端部までの長さによる半径で表す工程と、を含むことを特徴とする請求項１に記載の２以上の画像を結合する方法。
3. 前記位置決め工程は、少なくとも第１の三角画像を１８０度回転させる工程を含むことを特徴とする請求項１に記載の２以上の画像を結合する方法。
4. 前記第１の三角画像の端部にある点を前記第２の三角画像の端部にある対応点に合成する合成工程は、
   前記第２の三角画像の端部に対応する、前記第１の三角画像の端部にある共通点を決定する決定工程と、
   前記共通点に沿って前記第１の三角画像の端部を前記第２の三角画像の端部に合成して、１つの結合画像を形成する合成工程と、
   前記１つの結合画像の１以上の辺を移動させて、矩形の結合画像を形成する移動工程と、を含むことを特徴とする請求項１に記載の２以上の画像を結合する方法。
5. 前記結合画像は、元の半球画像と同じ画素数を有する矩形画像であることを特徴とする請求項１に記載の２以上の画像を結合する方法。
6. ２以上の画像を結合するシステムであって、
   少なくとも１つの地点における異なる視方向から、２以上の半球画像を撮像する撮像手段と、
   前記撮像手段に接続されており、前記２以上の半球画像を三角画像に変換し、それら三角画像を合成して一つの結合画像を形成する画像処理手段と、を備えることを特徴とする２以上の画像を結合するシステム。
7. 前記撮像手段は、少なくとも一つの広角レンズを備えることを特徴とする請求項６に記載の２以上の画像を結合するシステム。
8. 前記撮像手段は、静止画および動画を撮影することを特徴とする請求項６に記載の２以上の画像を結合するシステム。
9. 前記結合画像は、元の半球画像と同じ画素数を有する矩形画像であることを特徴とする請求項６に記載の２以上の画像を結合するシステム。
10. 撮影画像、中間画像、結合画像、および関連画像処理情報を記憶する記憶手段と、
    撮影画像、中間画像、および合成画像を表示させるための出力手段と、を備えることを特徴とする請求項６に記載の２以上の画像を結合するシステム。
11. 通信ネットワークと通信可能に接続されていることを特徴とする請求項６または１０に記載の２以上の画像を結合するシステム。
12. 請求項１から５のいずれか１項に記載の２以上の画像を結合する方法を実行させるプログラムであって、コンピュータに上記各工程を実行させるためのプログラム。

Images