JP3962676B2 - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置 Download PDFInfo
- Publication number
- JP3962676B2 JP3962676B2 JP2002348727A JP2002348727A JP3962676B2 JP 3962676 B2 JP3962676 B2 JP 3962676B2 JP 2002348727 A JP2002348727 A JP 2002348727A JP 2002348727 A JP2002348727 A JP 2002348727A JP 3962676 B2 JP3962676 B2 JP 3962676B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- brightness
- hue
- camera
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像を合成してパノラマ画像を生成するための画像処理技術に関し、特に元画像の継ぎ目における色合い又は明るさの不連続性を軽減することの可能な画像処理技術に関する。
【０００２】
【従来の技術】
移動体に搭載された撮像装置によって現実空間を撮像し、撮像された実写画像データをもとに、撮像した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（たとえば、非特許文献１又は非特許文献２等を参照）。
【０００３】
移動体に搭載された撮像装置によって撮像された実写画像データをもとに、撮像した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage-Based Rendering（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【０００４】
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、使用者（ウォークスルーを体験する者）の、仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、使用者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。
【０００５】
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Global Positioning System）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、例えば特許文献１に示されるように、タイムコードを用いて対応付ける手法が提案されている。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
【０００６】
このような仮想空間内のウォークスルーにおいては、使用者が各位置で所望の方向を見ることができるようにする。このようにするために、各位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ実写画像で保存しておき、使用者の仮想空間における位置と視線方向とに基づいてパノラマ実写画像から再生すべき部分画像を切り出し、これを表示する。
【０００７】
従来パノラマ実写画像を得る場合、たとえば複数のカメラを用いていた。一般にはまず所望の視界（たとえば全周方向の視界等）を複数のカメラの視界で網羅できるように夫々のカメラを放射状に配置する。そして夫々のカメラで得られる画像を例えば光学又は磁気記憶媒体を用いる記憶装置に一時的に記憶しておく。
【０００８】
そして同一位置において夫々のカメラで撮像した画像を繋ぎ合わせることで、当該位置におけるパノラマ実写画像を得ることができる。その際、夫々のカメラで撮像した画像同士の繋ぎ目に発生する色合い又は明るさの不連続性を軽減させるために、隣接するカメラで撮影した画像の重なり部分で連続的に混合させることが行われていた。
【０００９】
ここで、パノラマ実写画像のデータ形式としては、単一視点からの同時刻における広視野（全周を含む）画像であることが望ましい。このような画像を撮像したい場合、多角錐ミラーの各面の反射像をそれぞれ１台のカメラで撮像する装置が用いられていた。このような装置の例を図３に示す。
【００１０】
図３に示すように、多角錐ミラー１２はカメラ部１１を構成する複数のカメラと同じ数の平面鏡から構成される。カメラ部１１を構成するそれぞれのカメラは、対応する平面鏡に反射した周囲の情景を撮像する。各平面鏡による各カメラのレンズ中心の虚像が一致するようにカメラを配置すれば、各カメラで撮像された画像は１つの視点からの同時刻の画像となる。従って、各カメラで撮像された画像を合成することにより、単一視点からの同時刻における全周パノラマ画像を生成できる。
【００１１】
【特許文献１】
特開平１１-１６８７５４号公報
【００１２】
【非特許文献１】
遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ、PA-3-4、pp。276-277、1997年）
【００１３】
【非特許文献２】
廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築(2)−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第2回大会論文集、pp。67-70、1997年）
【００１４】
【発明が解決しようとする課題】
しかしながら図３に示すような撮像装置では、隣接する平面鏡に対応するカメラで撮像される画像間に重なり部分がほとんど無くなるため、画像を合成する際に重なり部分を利用して色合い又は明るさの不連続性を軽減させるという従来の手法は適用できず、継ぎ目が目立つという課題を有していた。
【００１５】
本発明は以上の問題に鑑みてなされたものであり、複数の画像を合成して生成される合成画像において、元画像の繋ぎ目に発生する色合い又は明るさの不連続性を軽減することを目的とする。
【００１６】
【課題を解決するための手段】
すなわち、本発明の要旨は、第１の画像と第２の画像を合成してパノラマ画像を生成する画像処理方法であって、第１の画像、第２の画像、および第１の画像と第２の画像の両方と重なりを有する参照画像を取得し、第１の画像の色合い又は明るさを参照画像の色合い又は明るさに合わせるための第１の変換条件を求め、第２の画像の色合い又は明るさを参照画像の色合い又は明るさに合わせるための第２の変換条件を求め、第１の画像を第１の変換条件に基づき変換した画像と、第２の画像を第２の変換条件に基づき変換した画像とを合成し、パノラマ画像を生成することを特徴とする画像処理方法に存する。
【００１７】
また、本発明の要旨は、本発明の画像処理方法をコンピュータ装置に実施させるためのコンピュータプログラムを格納した、コンピュータ装置読み取り可能な記憶媒体に存する。
【００１８】
また、本発明の別の要旨は、第１の画像と第２の画像を合成してパノラマ画像を生成する画像処理装置であって、第１の画像、第２の画像、および第１の画像と第２の画像の両方と重なりを有する参照画像を取得する手段と、第１の画像の色合い又は明るさを参照画像の色合い又は明るさに合わせるための第１の変換条件を求める手段と、第２の画像の色合い又は明るさを参照画像の色合い又は明るさに合わせるための第２の変換条件を求める手段と、第１の画像を第１の変換条件に基づき変換した画像と、第２の画像を第２の変換条件に基づき変換した画像とを合成し、パノラマ画像を生成する手段とを有することを特徴とする画像処理装置に存する。
【００１９】
【発明の実施の形態】
以下、添付図面を用い、本発明をその好適な実施形態に基づいて詳細に説明する。
本発明は、各々が、少なくとも１つの他の元画像と重なりを有する複数の元画像を合成して合成画像を生成する画像処理方法であって、元画像の１つ及び、元画像の１つと合成すべき他の元画像の両方と重なりを有する参照画像を取得し、元画像の１つ及び、元画像の１つと合成すべき他の元画像の各々について、参照画像との色合い又は明るさに基づく変換を生成し、生成した変換に基づき、元画像の１つ及び、元画像の１つと合成すべき他の元画像を変換する変換し、変換した元画像の１つ及び、元画像の１つと合成すべき他の元画像を合成して、合成画像を生成する画像処理方法である。
【００２０】
このような本発明は、具体的に図１〜図２１に示す構成において、以下の実施形態と対応して実現できる
【００２１】
［第１の実施形態］
本実施形態は、参照画像が、元画像の１つ及び、元画像の１つと合成すべき他の元画像と同時刻に撮像された画像であることを特徴とする。すなわち、複数のカメラで撮影したパノラマ画像用の元画像の他に、色合い又は明るさ参照用のカメラを用いて撮影した画像を用いてパノラマ画像を生成することによって、パノラマ画像用の元画像における重なり部分が少ない場合であっても、画像同士の繋ぎ目に発生する色合い又は明るさの不連続性が軽減されたパノラマ画像を実現する。
【００２２】
なお、本実施形態は重なりの少ない画像を用いてパノラマ画像を生成する際に特に効果的ではあるが、重なりの量が多い場合であっても適用可能であり、同様の効果が得られることは言うまでもない。
【００２３】
図１に示すように、本実施形態に係る画像処理システム１は、パノラマ画像の元となる画像を撮像する撮像部１０と、撮像された画像からパノラマ画像を生成する画像処理部２０とから構成される。ただし、後述するパノラマ画像生成に必要な画像が予め撮像されている場合、撮像部１０は必ずしも必要でない。
【００２４】
撮像部１０は、複数のカメラ１１を含み、撮影する視野に重なりのある複数のカメラを用いて所定の連続した視野を撮像する基本構成に、本実施形態に特徴的な参照用カメラを付加した構成を有する。
【００２５】
画像処理部２０は、撮像部１０で撮像した画像信号を入力し、Ａ／Ｄ変換等の信号処理を行う画像入力部２１と、撮像した画像や、アプリケーションプログラム等を記憶する記憶部２２と、画像処理部２０全体の制御を行う制御部２３を有する。
【００２６】
本実施形態において、制御部２３はコンピュータネットワークに接続可能なパーソナルコンピュータ等の汎用コンピュータによって実現できる。
【００２７】
図２は本実施形態における制御部２３として利用可能なコンピュータ装置の構成例を示すブロック図である。
【００２８】
図において、１０１はアプリケーションプログラムによって処理中のデータの情報、各種メッセージメニューなどを表示するディスプレイであり、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ(Liquid Crystal Display)等から構成される。１０２はディスプレイ１０１の画面に表示されるイメージを展開するビデオＲＡＭ（以下、ＶＲＡＭ）を示している。１０３及び１０４は、画面上で文字などを入力したり、ＧＵＩ（Graphical User Interface）におけるアイコンやボタンなどを指し示すためなどに用いられるキーボード及びポインティングデバイスをそれぞれ示す。１０５はコンピュータ装置全体の制御を司るＣＰＵである。
【００２９】
１０６はＣＰＵ１０５の動作処理手順（プログラム）を記憶しているＲＯＭ（Read Only Memory）である。なおこのＲＯＭ１０６には各種データ処理に係るアプリケーションプログラムやエラー処理プログラムをはじめ、後述するフローチャートに係るプログラムも記憶されている。１０７は上述した各種プログラムをＣＰＵ１０５が実行する時のワークエリア、エラー処理時の一時退避エリア等として用いられるＲＡＭ（Random Access Memory）を示している。
【００３０】
１０８はハードディスクドライプ（以下、ＨＤＤ）、１０９はフロッピー（登録商標）ディスクドライプ（以下、ＦＤＤ）をそれぞれ示し、ＯＳや、ブラウザ等のアプリケーションプログラム、データ、ライプラリなどの記憶領域として用いられる。また、ＦＤＤの替わりに、あるいは追加してＭＯやフラッシュメモリ等のリムーバブルメディアを用いる記憶装置を設けても良い。なお、ハードディスクドライブ１０８の一部を、記憶部２２として用いても良い。
【００３１】
１１０はＣＤ／ＤＶＤ−ＲＯＭ／Ｒ／ＲＷドライブであり、ＣＤ／ＤＶＤ−ＲＯＭ／ＣＤ−Ｒ／ＲＷメディアに対する読み書きを行う。このほか、必要に応じてテープストリーマ、ＤＤＳなどの磁気テープドライブ等の外部記憶装置を設けてもよい。
【００３２】
１１１はコンピュータ装置をイーサネット（登録商標）等のコンピュータネットワークに接続するためのネットワークインターフェイスである。１１２は上述した各ユニット間を接続するバス（アドレスバス、データバスおよび制御バスからなる）である。また、ネットワークインタフェース１１１の他に、ＲＳ−２３２Ｃ、ＲＳ−４２２、ＵＳＢ(Universal Serial Bus)、ＩＥＥＥ１３９４等のシリアルインタフェースや、ＩＥＥＥ１２８４等のパラレルインタフェースを有し、モデムやプリンタ等の外部機器との接続を可能にしている。
【００３３】
画像入力部２１は、例えばこれらシリアルもしくはパラレルインタフェースに接続されるビデオ入力機器であっても良いし、バス１１２に接続されるビデオ入力カードの様な拡張カードとして実現されても良い。
【００３４】
このような汎用コンピュータ装置は、ＯＳや必要なドライバソフトウェア等を用いることによって、ネットワークインタフェース１１１を介して接続されるルータ（ダイアルアップルータを含む）や、シリアルインタフェースを介して接続されるモデムやＴＡ等を用いて、コンピュータネットワークや公衆電話網上の他の機器と通信する。
【００３５】
本実施形態において、撮像部１０の基本構成としては、撮影する視野に重なりのある複数のカメラを用いて所定の連続した視野を撮像することが可能な構成であれば、図３に示したような多角錐ミラーを用いた構成を始め、複数のカメラを放射状に配置した構成等、任意の構成を使用することが可能である。
【００３６】
本実施形態においては、例としてパノラマ元画像の撮像用に２台のカメラと、色合い又は明るさの参照画像撮像用に１台のカメラを用いた例を説明する。以下の説明においては、原理の理解を助けるため、図３に示した多角錐ミラーを用いた構成ではなく、カメラを放射状に配置した構成を用いて説明する。なお、多角錐ミラーを用いた場合、例えば、参照画像撮像用カメラが、ミラーの反射像を撮像するのではなく、対象物を直接撮影するように配置すれば、カメラを放射状に配置した場合と共通の処理で対応できる。
【００３７】
図４は、本実施形態における画像処理システムの撮像部１０のカメラ１１の配置を上から見た図である。２０１及び２０２はパノラマ画像撮像用のカメラであり、それぞれ視界２１１及び２１２を有する。２６１は色合い又は明るさ参照用のカメラであり、視界２７１を有する。ここで、視界２１１と視界２１２はほとんど重なり部分を有さない。これに対し、視界２７１は、視界２１１及び視界２１２のそれぞれと重なり部分を有する。
【００３８】
上述の各カメラの配置を有する撮像部１０で撮影した画像から、パノラマ画像を生成する処理を、図５に示すフローチャートを用いて説明する。なお、当該処理は制御部２３としての上述のコンピュータ装置がハードディスクドライブ１０８等に格納されたプログラムを実行することによって実現される。また、図５に示す処理は、各カメラで同一時間に撮像した静止画像又は動画フレームに対して行われる。
【００３９】
まずステップＳ３０１で、図６に示すように、カメラ２０１によって撮像される画像２２１の色合い又は明るさを、カメラ２６１によって撮像される画像２８１の色合い又は明るさに合わせるための変換Ｈ２１１と、カメラ２０２によって撮像される画像２２２の色合い又は明るさを、画像２８１の色合い又は明るさに合わせるための変換Ｈ２２１を求める。
【００４０】
変換Ｈ２１１は、たとえば次のような手順で求めることができる。まず、画像２２１と画像２８１において画像中のエッジ（輪郭）を抽出する。次に、エッジの抽出結果に基づいて、画像２２１と画像２８１で同一の対象物が写った対応領域をいくつか求める。そして、それぞれの対応領域において対応する画素の色成分や輝度の差などに基づいて、画像２２１の色合い又は明るさを画像２８１の色合い又は明るさに変換する数式または行列を求め、最小二乗法などを用いて一つの変換を決定する。変換Ｈ２２１も同様の手順で求めることができる。
【００４１】
ここで、変換Ｈ２１１及び変換Ｈ２２１は、数式や行列に限らず、対応表などで表してもよい。
なお、画像２８１の色合い又は明るさをさらに所定の色合い又は明るさ（２８１’）に変換する変換Ｈ２８１を求めておいてもよい。
【００４２】
次にステップＳ３０２で、図７に示すように、画像２２１に変換Ｈ２１１を施して画像２４１を生成し、画像２２２に変換Ｈ２２１を施して画像２４２を生成する。
なお、画像２４１及び画像２４２にさらに変換Ｈ２８１を施してもよい。あるいはその代わりに、画像２２１に変換Ｈ２１１と変換Ｈ２８１を合成した変換を施し、画像２２２に変換Ｈ２２１と変換Ｈ２８１を合成した変換を施してもよい。
【００４３】
最後にステップＳ３０３で、図８に示すように、画像２４１と画像２４２を繋ぎ合わせて１つのパノラマ画像２４９を生成する。
ここで、ステップＳ３０２とＳ３０３を同時に行ってもよい。つまり、たとえば画像２２１に対する変換Ｈ２１１と画像２２２に対する変換Ｈ２２１と画像の繋ぎ合わせを同時に行ってもよい。
【００４４】
以上の処理により、画像２２１の色合い又は明るさと画像２２２の色合い又は明るさがそれぞれ画像２８１の色合い又は明るさに変換されるので、画像２２１と画像２２２の継ぎ目における色合い又は明るさの不連続性を軽減させることができる。
【００４５】
（第１の実施形態の変形例１）
次に、第１の実施形態の変形例として、全周パノラマ画像を生成するための撮像部の構成及び全周パノラマ画像の生成方法について説明する。
【００４６】
本変形例では、全周方向の情景を視界に入れるために、パノラマ画像撮像用の４台のカメラと、色合い又は明るさ参照用の４台のカメラを用いるものとする。このような構成の例を図４と同様な方法で図９に示す。同図に示した撮像部の構成は基本的には図４に示した構成を拡張したものであり、図４に示した構成ではパノラマ画像の撮像用に２台のカメラ（２０１、２０２）と、色合い又は明るさ参照用に１台のカメラ（２６１）を用いていたが、図６に示した構成では更にパノラマ画像の撮像用に２台のカメラと、色合い又は明るさ参照用に３台のカメラを設けている。
【００４７】
図９において、７０１〜７０４はパノラマ撮像用のカメラであり、それぞれ視界７１１〜７１４を有する、７６１〜７６４は色合い又は明るさ参照用のカメラであり、それぞれ視界７７１〜７７４を有する。ここで、視界７１１〜７１４は合計で全周をカバーするが、隣接する視界は重なり部分をほとんど有さない。これに対し、視界７７１は、視界７１１及び７１２のそれぞれと重なり部分を有し、視界７７２は、視界７１２及び７１３のそれぞれと重なり部分を有し、視界７７３は、視界７１３及び７１４のそれぞれと重なり部分を有し、視界７７４は、視界７１４及び７１１のそれぞれと重なり部分を有する。
【００４８】
なお、静止した状態で撮影を行う場合には、色合い又は明るさ参照用に４台のカメラ７６１〜７６４を設けずに、１台のカメラを図９に示す７６１〜７６４の位置に順次配置して色合い又は明るさ参照用の撮影を行っても良い。
【００４９】
このような構成の撮像部を用いて撮像した画像を用いて全周パノラマ画像を生成する基本的な手順は、図５のフローチャートを用いて説明した手順と同様であるが、全周パノラマ画像の場合には、合成時に考慮すべき参照用画像が複数となるため、若干変換の内容が異なる。ここではカメラ７０２によって撮像される画像７２２の変換処理に関して説明するが、カメラ７０１、７０３、７０４によってそれぞれ撮像される画像７２１、７２３、７２４に関しても同様に処理を行った後、隣接した画像を合成することにより全周パノラマ画像が得られる。
【００５０】
すなわち、図１０に示すように、画像７２２の色合い又は明るさを、左側に隣接する参照用カメラ７６１によって撮像される第１の参照画像７８１の色合い又は明るさに合わせるための変換をＨ７２１、画像７２２の色合い又は明るさを、右側に隣接する参照用カメラ７６２によって撮像される第２の参照画像７８２の色合い又は明るさに合わせるための変換をＨ７２２とする。
【００５１】
合成時の継ぎ目を目立たなくするためには、画像７２２の色は、左側に隣接するパノラマ画像の元画像である画像７２１との繋ぎ目に近い部分ほど、第１の参照画像７８１の色合い又は明るさに近くなり、右側に隣接するパノラマ画像の元画像である画像７２３との繋ぎ目に近いほど第２の参照画像７８２の色合い又は明るさに近くなるように変換されることが望ましい。そのため、図１１に示すように、画像７２２には画像の両端からの距離に応じてＨ７２１、Ｈ７２２の重み付けを行った変換を行って画像７４２を生成する。この変換をＨ７２とすると、たとえば以下の式で示される。
Ｈ７２＝α×Ｈ７２１＋（１−α）×Ｈ７２２ただし、αは画像の左端を０、右端を１とした際の、左端からの距離を表す値であり、０≦α≦１である。
【００５２】
また、これ以外の変換の施し方も考えられる。たとえば、図１２に示すように、画像７２２と画像７８１の重なり部分には変換Ｈ７２１を施し、画像７２２と画像７８２の重なり部分には変換Ｈ７２２を施し、画像７２２の、画像７８１とも画像７８２とも重なっていない部分には、重なっていない部分の両端からの距離に応じてＨ７２１、Ｈ７２２の重み付けを行った変換を行う方法が考えられる。重なっていない部分に対する変換の式は、たとえば上と同じ式で示される。ただし、この場合α＝０の位置は重なっていない部分の左端、α＝１の位置は重なっていない部分の右端とした場合のαの値が用いられる。
【００５３】
以上の処理をカメラ７０１、７０３、７０４によってそれぞれ撮像される画像７２１、７２３、７２４に関しても行うことにより、画像７２１〜７２４を合成して全周パノラマ画像を生成した際の継ぎ目における色合い又は明るさの不連続性を軽減させることができ、自然な全周パノラマ画像を得ることができる。
【００５４】
（第１の実施形態の変形例２）
上述の変形例１では、４台の参照画像撮影用カメラを設けた全周パノラマ画像作成用の撮像部を用いたが、本変形例においては、参照画像撮影用カメラとして、魚眼レンズ（視野角３６０°）を装着した１台のカメラを用いる。この場合、参照画像撮影用カメラは上方に向けて設置される。
【００５５】
すなわち、図１３に示すように、パノラマ画像の元画像を撮影するためのカメラ１１０１〜１１０４は図９のカメラ７０１〜７０４と同様の構成及び配置であるのに対し、参照画像撮影用のカメラ１１６１は１台である。
【００５６】
なお、参照画像撮影用カメラ１１６１としては、魚眼レンズの代わりに、たとえば双曲面ミラーと通常のレンズの組み合わせなど、１台のカメラで全周方向の情景を視界に入れることが可能な任意の構成を用いることが可能である。
【００５７】
図１３において、カメラ１１０１〜１１０４はパノラマ画像撮像用のカメラであり、それぞれ視界１１１１〜１１１４を有する。また、参照画像撮影用のカメラ１１６１は全周方向の視界１１７１を有する。ここで、視界１１１１〜１１１４は重なり部分をほとんど有さないものとする。これに対し、視界１１７１は、視界１１１１〜１１１４のそれぞれと重なり部分を有する。
【００５８】
このような構成を有する撮像部を用いて撮影した画像を用いて全周パノラマ画像を生成する手順は上述の変形例１と同様である。しかしながら、本変形例においては参照画像が全周方向に渡っていること、また撮像された参照画像は魚眼レンズ等の効果によって特有のひずみを有している等の相違がある。そのため、全周の情景を含む参照画像から、パノラマ元画像の変換に使用する部分の切り出し及び、通常のレンズで撮像した画像への変換処理が必要となる。
【００５９】
この切り出し処理は、参照画像から例えば図９における参照画像撮影用カメラ７６１〜７６４の視野に対応する部分を取り出すことによって行うことが可能である。すなわち、撮像部を構成するカメラの相対位置は固定されているため、撮像された参照画像の中から、予めどの部分が図９のカメラ７６１〜７６４の視野に対応するかを予め調べておき、その領域を抜き出せばよい。
【００６０】
また、画像処理によりレンズの画角を変換した効果を持たせる処理は周知であるので、抜き出した領域の画像に対し、カメラ７６１〜７６４の視野に相当する画角への変換処理を施すことによって、図１０で示した参照画像７８１、７８２等を得ることができる。もちろん、カメラ１１０１〜１１０４で撮影したパノラマ元画像１１１１〜１１１４をカメラ１１６１で撮像した参照画像１１８１と同等の状態に変換して、必要な変換を作成することも可能である。
【００６１】
その結果、カメラ１１０１によって撮像される画像１１２１及びカメラ１１０２によって撮像される画像１１２２及びカメラ１１０３によって撮像される画像１１２３及びカメラ１１０４によって撮像される画像１１２４の色合い又は明るさを、カメラ１１６１によって撮像される画像１１８１の色合い又は明るさに合わせる処理が行われる。
【００６２】
そして、変換後の各画像１１１１〜１１１４を合成することにより、継ぎ目における色合い又は明るさの不連続性が軽減させた全周パノラマ画像を生成することができる。
【００６３】
このように、本実施形態によれば、重なりを有する２画像を合成する際、当該２画像の両方と重なりを有する参照画像に合わせて変換してから合成することによって、重なりがほとんど無い画像を合成する場合であっても、色合い又は明るさの不連続性が軽減された、継ぎ目の目立たないパノラマ画像を生成することが可能となる。
【００６４】
なお本実施形態ではカメラ４台で全周方向の情景を撮像する撮像部を用いた場合のみを説明したが、撮像部が用いるパノラマ元画像撮影用カメラの台数は２以上であれば任意であることは言うまでもない。また本実施形態におけるカメラは、動画像を撮像するものでも静止画像を撮像するものでもよい。そして、動画像を撮像するカメラを用い、連続的にパノラマ画像を生成する場合、本実施形態にかかる処理を各画像フレームに対して常に行う必要はなく、たとえば、照明条件の変化などにより画像の色合い又は明るさが閾値よりも大きく変化した場合に実行すればよい。
【００６５】
［第２の実施形態］
第１の実施形態では、パノラマ元画像撮影用カメラ以外に設けたカメラによって撮影した、合成する２つの元画像と重なり合いをもつ参照画像を用いることにより、色合い又は明るさの不連続性を軽減したパノラマ画像の生成を実現した。これに対し、本実施形態では、パノラマ画像撮像用の複数のカメラを移動させて撮影した画像を参照画像として用いることにより、参照画像用のカメラを用いずに同様の効果を実現することを特徴とする。すなわち、参照画像が、元画像の１つ及び、元画像の１つと合成すべき他の元画像と異なる時刻に撮像された画像であることを特徴とする。
【００６６】
なお、本実施形態に係る画像処理システムの構成は図１に示したものと共通で良いため、ここでの説明は省略する。
【００６７】
図１４に、本実施形態係る画像処理システムの撮像部１０におけるカメラ配置例を示す。ここでは、２台のカメラで撮影した画像を合成したパノラマ画像を生成するものとする。
【００６８】
図１４において、１２０１及び１２０２はパノラマ元画像撮像用のカメラであり、それぞれ視界１２１１及び１２１２を有する。ここで、視界１２１１と１２１２はほとんど重なり部分を有さないものとする。これらカメラが矢印の方向に移動する移動体に設置されているとすると、所定時間後にはカメラ１２０１及び１２０２はそれぞれ１２０１’及び１２０２’の位置に移動する。そして、移動後におけるカメラ１２０１’の視界１２１５は、移動前のカメラ１２０２の視界１２１２と重なりを有する。
【００６９】
上述の各カメラの配置に基づいて、色合い又は明るさの不連続性を軽減させる処理を、図１５に示す同処理のフローチャートを用いて説明する。
まずステップＳ１３０１で、図１６に示すように、カメラ１２０２によって撮像される画像１２２２の色合い又は明るさを移動後のカメラ１２０１’によって撮像される画像１２２５の色合い又は明るさに合わせるための変換Ｈ１２２５を求める。
【００７０】
カメラ群が移動する間に画像の色合い又は明るさがほとんど変化しなければ、つまりカメラ１２０１によって撮像される画像１２２１と画像１２２５の色合い又は明るさがほぼ同一であれば、変換Ｈ１２２５は、画像１２２２の色合い又は明るさと画像１２２１の色合い又は明るさとの間の変換Ｈ１２２１とほぼ同一となる。
【００７１】
変換Ｈ１２２５は、たとえば次のような手順で求めることができる。まず、画像１２２２と画像１２２５において画像中の輪郭を抽出する。次に、輪郭の抽出結果に基づいて、画像１２２２と画像１２２５で同一の対象物が写った対応領域をいくつか求める。そして、それぞれの対応領域において対応する画素の色成分や輝度の差などに基づいて、画像１２２２の色合い又は明るさを画像１２２５の色合い又は明るさに変換する数式または行列を求め、最小二乗法などを用いて一つの変換を決定する。
ここで、変換Ｈ１２２５は、数式や行列に限らず、対応表などで表してもよい。
【００７２】
次にステップＳ１３０２で、図１７に示すように、画像１２２２に変換Ｈ１２２５を施して画像１２４２を生成する。
最後にステップＳ１３０３で、図１８に示すように、画像１２２１と画像１２４２を繋ぎ合わせて１つのパノラマ画像１２４９を生成する。
ここで、ステップＳ１３０２とＳ１３０３を同時に行ってもよい。つまり、たとえば画像１２２２に対する変換Ｈ１２２５と画像の繋ぎ合わせを同時に行ってもよい。
【００７３】
このように、画像１２２２の色合い又は明るさを、画像１２２１の色合い又は明るさとほぼ同一な画像１２２５の色合い又は明るさに変換した後に合成を行うことにより、画像１２２１と画像１２２２の継ぎ目における色合い又は明るさの不連続性を軽減したパノラマ画像を生成することができる。
【００７４】
（第２の実施形態の変形例１）
次に、第２の実施形態の変形例として、全周パノラマ画像を生成するための撮像部の構成及び全周パノラマ画像の生成方法について説明する。
【００７５】
本変形例では、全周方向の情景を視界に入れるために、パノラマ画像の撮像用に４台のカメラを用いた。カメラの配置例を図１９に示す。同図に示したカメラの構成は基本的には図１４に示した構成を拡張したものであり、図１４に示した構成ではパノラマ画像の撮像用に２台のカメラ（１２０１、１２０２）を用いていたが、図１９に示した構成では更にパノラマ画像の撮像用に２台のカメラを設けている。
【００７６】
図１９において、カメラ１７０１〜１７０４はパノラマ元画像撮像用のカメラであり、それぞれ視界１７１１〜１７１４を有する。ここで、視界１７１１〜１７１４は隣接する視界同士でも重なり部分をほとんど有さないものとする。
【００７７】
そして、カメラ群が矢印の方向に所定距離移動すると、各カメラ１７０１’〜１７０４’の視界は１７１５〜１７１８となる。この結果、移動後のカメラ１７０１の視界１７１５は、移動前のカメラ１７０２及び１７０４の視界１７１２及び１７１４のそれぞれと重なり部分を有し、また移動前のカメラ１７０３の視界１７１３は、移動後のカメラ１７０２の視界１７１６、及び移動後のカメラ１７０４の視界１７１８と重なり部分を有するようになる。
【００７８】
このような構成の撮像部を用いて撮像した画像を用いて全周パノラマ画像を生成する基本的な手順は、図１５のフローチャートを用いて説明した手順と同様であるが、全周パノラマ画像であるため、若干変換の内容が異なる。ここではカメラ１７０２によって撮像される画像１０２２の変換処理に関して説明するが、カメラ１７０１、１７０３、１７０４によってそれぞれ撮像される画像１７２１、１７２３、１７２４に関しても同様に処理を行った後、隣接した画像を合成することにより全周パノラマ画像が得られる。
【００７９】
すなわち、図２０に示すように、カメラ１７０２の移動前の画像１７２２の色合い又は明るさを、移動後のカメラ１７０１によって撮像される画像１７２５の色合い又は明るさとの平均値に合わせるための変換をＨ１７２５、移動後のカメラ１７０２によって撮像される画像１７２６の色合い又は明るさを、移動前のカメラ１７０３による画像１７２３の色合い又は明るさとの平均値に合わせるための変換をＨ１７６３とする。
【００８０】
カメラ群が移動する間に画像の色合い又は明るさがほとんど変化しなければ、つまりカメラ１７０１による移動前の画像１７２１と移動後の画像１７２５の色合い又は明るさがほぼ同一であり、カメラ１７０２による移動前の画像１７２２と移動後の画像１７２６の色合い又は明るさがほぼ同一であれば、変換Ｈ１７２５は、移動前のカメラ１７０２の画像１７２２の色合い又は明るさを移動前のカメラ１７０１の画像１７２１の色合い又は明るさとの平均値に合わせるための変換Ｈ１７２１とほぼ同一と見なすことができる。また、同様に、変換Ｈ１７６３は、移動前のカメラ１７０２の画像１７２２の色合い又は明るさを移動前のカメラ１７０３の画像１７２３の色合い又は明るさとの平均値に合わせるための変換Ｈ１７２３とほぼ同一と見なすことができる。
【００８１】
カメラ１７０２の画像１７２２の色は、カメラ１７０１の画像１７２１との継ぎ目に近いほど画像１７２１と画像１７２２の色合い又は明るさの平均値に近くなり、カメラ１７０３の画像１７２３との継ぎ目に近いほどカメラ１７０２の画像１７２２とカメラ１７０３の画像１７２３の色合い又は明るさの平均値に近くなるように変換されることが望ましいため、図２１に示すように、画像１７２２には画像の両端からの距離に応じてＨ１７２５、Ｈ１７６３の重み付けを行った変換を行って画像１７４２を生成する。この変換をＨ１７２とすると、たとえば以下の式で示される。
Ｈ１７２＝β×Ｈ１７２５＋（１−β）×Ｈ１７６３ただし、βは画像の左端を０、右端を１とした際の、左端からの距離を表し、０≦β≦１である。なお、変換の施し方はこれに限られたものではない。
【００８２】
同様の処理をカメラ１７０１、１７０３、１７０４によってそれぞれ撮像される画像１７２１、１７２３、１７２４に関しても行うことにより、画像１７２１〜１７２４を合成して全周パノラマ画像を生成した際の継ぎ目における色合い又は明るさの不連続性を軽減させることができ、自然な全周パノラマ画像を得ることができる。
【００８３】
（第２の実施形態の変形例２）
本実施形態においては、カメラ群（撮像部１０）が所定距離移動した場所で撮像された画像を第１の実施形態における参照画像として用いる場合についてのみ説明したが、これに限定されることなく、参照画像撮影用のカメラを用いずに参照画像相当の画像を撮像可能な任意の方法を適用することが可能である。例えば、カメラ群を同位置で若干異なる向きに回転させて撮像した画像を用いてもよい。
【００８４】
これは、第１の実施形態において、パノラマ元画像撮影用のカメラを、参照画像撮影用のカメラとして利用することに相当する。参照画像とパノラマ元画像との撮影時間にずれを生じるが、その時間差内で明るさや色合いに大きな変化が情景に生じなければ、実質的に同時刻に撮影された参照画像として使用することが可能である。
【００８５】
具体的には、例えば図１４に示したカメラ配置を有する撮像部１０を用いるとすると、まずカメラ１２０１及び１２０２でパノラマ元画像を撮影し、次いでこれらカメラを例えば反時計回りに所定角度（例えば４５°）回転させて、カメラ１２０２により撮影する。
【００８６】
そして、図１５のステップＳ１３０１において、パノラマ元画像の色合い又は明るさを、回転後のカメラ１２０２により撮影した、移動前の２台のカメラの視界と重なりを持つ画像の色合い又は明るさに合わせるための変換を求め、ステップＳ１３０２において、パノラマ撮像用のカメラで元の向きで撮像された画像に変換を施すようにすればよい。４台のカメラを用いて全周方向の情景を視界に入れる場合も同様である。
【００８７】
なお、カメラの回転角は隣接するパノラマ元画像を撮影するカメラの視界の両方と重なりをもつ視界が得られれば、任意の角度でよい。
【００８８】
このように、本実施形態によれば、重なりを有する２画像を合成する際、当該２画像を撮影したカメラの視界の両方と重なりを有する視界を有するカメラで撮影した画像に合わせて変換してから合成することによって、重なりがほとんど無い画像を合成する場合であっても、色合い又は明るさの不連続性が軽減された、継ぎ目の目立たないパノラマ画像を生成することが可能となる。
【００８９】
なお本実施形態ではカメラ４台で全周方向の情景を撮像する撮像部を用いた場合のみを説明したが、撮像部が用いるパノラマ元画像撮影用カメラの台数は２以上であれば任意であることは言うまでもない。また本実施形態におけるカメラは、動画像を撮像するものでも静止画像を撮像するものでもよい。そして、動画像を撮像するカメラを用い、連続的にパノラマ画像を生成する場合、本実施形態にかかる処理を各画像フレームに対して常に行う必要はなく、たとえば、照明条件の変化などにより画像の色合い又は明るさが閾値よりも大きく変化した場合に実行すればよい。
【００９０】
【他の実施形態】
なお、上述の実施形態においては、水平方向に複数の画像を合成する場合のみを説明したが、本発明は垂直方向に複数の画像を合成する場合、すなわち、上下に重なりを有する複数の画像を合成する場合であっても適用可能である。
また、上記実施形態では、色合い又は明るさを合わせていたが、色合いおよび明るさの両方を合わせるようにしても構わない。
【００９１】
上述の実施形態においては、１つの機器から構成される画像処理部についてのみ説明したが、本発明の画像処理部と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００９２】
尚、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態で説明したいずれか１つ以上のフローチャートに対応したプログラム）を、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００９３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００９４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００９６】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００９７】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００９８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１００】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０１】
【発明の効果】
以上説明したように本発明によれば、複数の画像を合成して生成される合成画像において、元画像の繋ぎ目に発生する色合い又は明るさの不連続性を軽減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理システムの構成例を示すブロック図である。
【図２】図１における制御部２３もしくは画像処理部として使用可能なコンピュータの構成例を示す図である。
【図３】多角錐ミラーを用いて広視野画像を撮像する撮像部の構成例を示す図である。
【図４】本発明の第１の実施形態に係る撮像部のカメラ配置例を示す図である。
【図５】本発明の第１の実施形態に係るパノラマ画像生成処理を説明するフローチャートである。
【図６】本発明の第１の実施形態における変換処理を説明する図である。
【図７】本発明の第１の実施形態における変換処理を説明する図である。
【図８】本発明の第１の実施形態における合成処理を説明する図である。
【図９】本発明の第１の実施形態の変形例１に係る撮像部のカメラ配置例を示す図である。
【図１０】本発明の第１の実施形態の変形例１における変換処理を説明する図である。
【図１１】本発明の第１の実施形態の変形例１における変換処理を説明する図である。
【図１２】本発明の第１の実施形態の変形例１における他の変換処理を説明する図である。
【図１３】本発明の第１の実施形態の変形例２に係る撮像部のカメラ配置例を示す図である。
【図１４】本発明の第２の実施形態に係る撮像部のカメラ配置例及び、合成処理の原理を説明する図である。
【図１５】本発明の第２の実施形態に係るパノラマ画像生成処理を説明するフローチャートである。
【図１６】本発明の第２の実施形態における変換処理を説明する図である。
【図１７】本発明の第２の実施形態における変換処理を説明する図である。
【図１８】本発明の第２の実施形態における合成処理を説明する図である。
【図１９】本発明の第２の実施形態の変形例１に係る撮像部のカメラ配置例及び、合成処理の原理を説明する図である。
【図２０】本発明の第２の実施形態の変形例１における変換処理を説明する図である。
【図２１】本発明の第２の実施形態の変形例１における変換処理を説明する図である。
【発明の属する技術分野】
本発明は、複数の画像を合成してパノラマ画像を生成するための画像処理技術に関し、特に元画像の継ぎ目における色合い又は明るさの不連続性を軽減することの可能な画像処理技術に関する。
【０００２】
【従来の技術】
移動体に搭載された撮像装置によって現実空間を撮像し、撮像された実写画像データをもとに、撮像した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（たとえば、非特許文献１又は非特許文献２等を参照）。
【０００３】
移動体に搭載された撮像装置によって撮像された実写画像データをもとに、撮像した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage-Based Rendering（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【０００４】
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、使用者（ウォークスルーを体験する者）の、仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、使用者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。
【０００５】
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Global Positioning System）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、例えば特許文献１に示されるように、タイムコードを用いて対応付ける手法が提案されている。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
【０００６】
このような仮想空間内のウォークスルーにおいては、使用者が各位置で所望の方向を見ることができるようにする。このようにするために、各位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ実写画像で保存しておき、使用者の仮想空間における位置と視線方向とに基づいてパノラマ実写画像から再生すべき部分画像を切り出し、これを表示する。
【０００７】
従来パノラマ実写画像を得る場合、たとえば複数のカメラを用いていた。一般にはまず所望の視界（たとえば全周方向の視界等）を複数のカメラの視界で網羅できるように夫々のカメラを放射状に配置する。そして夫々のカメラで得られる画像を例えば光学又は磁気記憶媒体を用いる記憶装置に一時的に記憶しておく。
【０００８】
そして同一位置において夫々のカメラで撮像した画像を繋ぎ合わせることで、当該位置におけるパノラマ実写画像を得ることができる。その際、夫々のカメラで撮像した画像同士の繋ぎ目に発生する色合い又は明るさの不連続性を軽減させるために、隣接するカメラで撮影した画像の重なり部分で連続的に混合させることが行われていた。
【０００９】
ここで、パノラマ実写画像のデータ形式としては、単一視点からの同時刻における広視野（全周を含む）画像であることが望ましい。このような画像を撮像したい場合、多角錐ミラーの各面の反射像をそれぞれ１台のカメラで撮像する装置が用いられていた。このような装置の例を図３に示す。
【００１０】
図３に示すように、多角錐ミラー１２はカメラ部１１を構成する複数のカメラと同じ数の平面鏡から構成される。カメラ部１１を構成するそれぞれのカメラは、対応する平面鏡に反射した周囲の情景を撮像する。各平面鏡による各カメラのレンズ中心の虚像が一致するようにカメラを配置すれば、各カメラで撮像された画像は１つの視点からの同時刻の画像となる。従って、各カメラで撮像された画像を合成することにより、単一視点からの同時刻における全周パノラマ画像を生成できる。
【００１１】
【特許文献１】
特開平１１-１６８７５４号公報
【００１２】
【非特許文献１】
遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ、PA-3-4、pp。276-277、1997年）
【００１３】
【非特許文献２】
廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築(2)−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第2回大会論文集、pp。67-70、1997年）
【００１４】
【発明が解決しようとする課題】
しかしながら図３に示すような撮像装置では、隣接する平面鏡に対応するカメラで撮像される画像間に重なり部分がほとんど無くなるため、画像を合成する際に重なり部分を利用して色合い又は明るさの不連続性を軽減させるという従来の手法は適用できず、継ぎ目が目立つという課題を有していた。
【００１５】
本発明は以上の問題に鑑みてなされたものであり、複数の画像を合成して生成される合成画像において、元画像の繋ぎ目に発生する色合い又は明るさの不連続性を軽減することを目的とする。
【００１６】
【課題を解決するための手段】
すなわち、本発明の要旨は、第１の画像と第２の画像を合成してパノラマ画像を生成する画像処理方法であって、第１の画像、第２の画像、および第１の画像と第２の画像の両方と重なりを有する参照画像を取得し、第１の画像の色合い又は明るさを参照画像の色合い又は明るさに合わせるための第１の変換条件を求め、第２の画像の色合い又は明るさを参照画像の色合い又は明るさに合わせるための第２の変換条件を求め、第１の画像を第１の変換条件に基づき変換した画像と、第２の画像を第２の変換条件に基づき変換した画像とを合成し、パノラマ画像を生成することを特徴とする画像処理方法に存する。
【００１７】
また、本発明の要旨は、本発明の画像処理方法をコンピュータ装置に実施させるためのコンピュータプログラムを格納した、コンピュータ装置読み取り可能な記憶媒体に存する。
【００１８】
また、本発明の別の要旨は、第１の画像と第２の画像を合成してパノラマ画像を生成する画像処理装置であって、第１の画像、第２の画像、および第１の画像と第２の画像の両方と重なりを有する参照画像を取得する手段と、第１の画像の色合い又は明るさを参照画像の色合い又は明るさに合わせるための第１の変換条件を求める手段と、第２の画像の色合い又は明るさを参照画像の色合い又は明るさに合わせるための第２の変換条件を求める手段と、第１の画像を第１の変換条件に基づき変換した画像と、第２の画像を第２の変換条件に基づき変換した画像とを合成し、パノラマ画像を生成する手段とを有することを特徴とする画像処理装置に存する。
【００１９】
【発明の実施の形態】
以下、添付図面を用い、本発明をその好適な実施形態に基づいて詳細に説明する。
本発明は、各々が、少なくとも１つの他の元画像と重なりを有する複数の元画像を合成して合成画像を生成する画像処理方法であって、元画像の１つ及び、元画像の１つと合成すべき他の元画像の両方と重なりを有する参照画像を取得し、元画像の１つ及び、元画像の１つと合成すべき他の元画像の各々について、参照画像との色合い又は明るさに基づく変換を生成し、生成した変換に基づき、元画像の１つ及び、元画像の１つと合成すべき他の元画像を変換する変換し、変換した元画像の１つ及び、元画像の１つと合成すべき他の元画像を合成して、合成画像を生成する画像処理方法である。
【００２０】
このような本発明は、具体的に図１〜図２１に示す構成において、以下の実施形態と対応して実現できる
【００２１】
［第１の実施形態］
本実施形態は、参照画像が、元画像の１つ及び、元画像の１つと合成すべき他の元画像と同時刻に撮像された画像であることを特徴とする。すなわち、複数のカメラで撮影したパノラマ画像用の元画像の他に、色合い又は明るさ参照用のカメラを用いて撮影した画像を用いてパノラマ画像を生成することによって、パノラマ画像用の元画像における重なり部分が少ない場合であっても、画像同士の繋ぎ目に発生する色合い又は明るさの不連続性が軽減されたパノラマ画像を実現する。
【００２２】
なお、本実施形態は重なりの少ない画像を用いてパノラマ画像を生成する際に特に効果的ではあるが、重なりの量が多い場合であっても適用可能であり、同様の効果が得られることは言うまでもない。
【００２３】
図１に示すように、本実施形態に係る画像処理システム１は、パノラマ画像の元となる画像を撮像する撮像部１０と、撮像された画像からパノラマ画像を生成する画像処理部２０とから構成される。ただし、後述するパノラマ画像生成に必要な画像が予め撮像されている場合、撮像部１０は必ずしも必要でない。
【００２４】
撮像部１０は、複数のカメラ１１を含み、撮影する視野に重なりのある複数のカメラを用いて所定の連続した視野を撮像する基本構成に、本実施形態に特徴的な参照用カメラを付加した構成を有する。
【００２５】
画像処理部２０は、撮像部１０で撮像した画像信号を入力し、Ａ／Ｄ変換等の信号処理を行う画像入力部２１と、撮像した画像や、アプリケーションプログラム等を記憶する記憶部２２と、画像処理部２０全体の制御を行う制御部２３を有する。
【００２６】
本実施形態において、制御部２３はコンピュータネットワークに接続可能なパーソナルコンピュータ等の汎用コンピュータによって実現できる。
【００２７】
図２は本実施形態における制御部２３として利用可能なコンピュータ装置の構成例を示すブロック図である。
【００２８】
図において、１０１はアプリケーションプログラムによって処理中のデータの情報、各種メッセージメニューなどを表示するディスプレイであり、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ(Liquid Crystal Display)等から構成される。１０２はディスプレイ１０１の画面に表示されるイメージを展開するビデオＲＡＭ（以下、ＶＲＡＭ）を示している。１０３及び１０４は、画面上で文字などを入力したり、ＧＵＩ（Graphical User Interface）におけるアイコンやボタンなどを指し示すためなどに用いられるキーボード及びポインティングデバイスをそれぞれ示す。１０５はコンピュータ装置全体の制御を司るＣＰＵである。
【００２９】
１０６はＣＰＵ１０５の動作処理手順（プログラム）を記憶しているＲＯＭ（Read Only Memory）である。なおこのＲＯＭ１０６には各種データ処理に係るアプリケーションプログラムやエラー処理プログラムをはじめ、後述するフローチャートに係るプログラムも記憶されている。１０７は上述した各種プログラムをＣＰＵ１０５が実行する時のワークエリア、エラー処理時の一時退避エリア等として用いられるＲＡＭ（Random Access Memory）を示している。
【００３０】
１０８はハードディスクドライプ（以下、ＨＤＤ）、１０９はフロッピー（登録商標）ディスクドライプ（以下、ＦＤＤ）をそれぞれ示し、ＯＳや、ブラウザ等のアプリケーションプログラム、データ、ライプラリなどの記憶領域として用いられる。また、ＦＤＤの替わりに、あるいは追加してＭＯやフラッシュメモリ等のリムーバブルメディアを用いる記憶装置を設けても良い。なお、ハードディスクドライブ１０８の一部を、記憶部２２として用いても良い。
【００３１】
１１０はＣＤ／ＤＶＤ−ＲＯＭ／Ｒ／ＲＷドライブであり、ＣＤ／ＤＶＤ−ＲＯＭ／ＣＤ−Ｒ／ＲＷメディアに対する読み書きを行う。このほか、必要に応じてテープストリーマ、ＤＤＳなどの磁気テープドライブ等の外部記憶装置を設けてもよい。
【００３２】
１１１はコンピュータ装置をイーサネット（登録商標）等のコンピュータネットワークに接続するためのネットワークインターフェイスである。１１２は上述した各ユニット間を接続するバス（アドレスバス、データバスおよび制御バスからなる）である。また、ネットワークインタフェース１１１の他に、ＲＳ−２３２Ｃ、ＲＳ−４２２、ＵＳＢ(Universal Serial Bus)、ＩＥＥＥ１３９４等のシリアルインタフェースや、ＩＥＥＥ１２８４等のパラレルインタフェースを有し、モデムやプリンタ等の外部機器との接続を可能にしている。
【００３３】
画像入力部２１は、例えばこれらシリアルもしくはパラレルインタフェースに接続されるビデオ入力機器であっても良いし、バス１１２に接続されるビデオ入力カードの様な拡張カードとして実現されても良い。
【００３４】
このような汎用コンピュータ装置は、ＯＳや必要なドライバソフトウェア等を用いることによって、ネットワークインタフェース１１１を介して接続されるルータ（ダイアルアップルータを含む）や、シリアルインタフェースを介して接続されるモデムやＴＡ等を用いて、コンピュータネットワークや公衆電話網上の他の機器と通信する。
【００３５】
本実施形態において、撮像部１０の基本構成としては、撮影する視野に重なりのある複数のカメラを用いて所定の連続した視野を撮像することが可能な構成であれば、図３に示したような多角錐ミラーを用いた構成を始め、複数のカメラを放射状に配置した構成等、任意の構成を使用することが可能である。
【００３６】
本実施形態においては、例としてパノラマ元画像の撮像用に２台のカメラと、色合い又は明るさの参照画像撮像用に１台のカメラを用いた例を説明する。以下の説明においては、原理の理解を助けるため、図３に示した多角錐ミラーを用いた構成ではなく、カメラを放射状に配置した構成を用いて説明する。なお、多角錐ミラーを用いた場合、例えば、参照画像撮像用カメラが、ミラーの反射像を撮像するのではなく、対象物を直接撮影するように配置すれば、カメラを放射状に配置した場合と共通の処理で対応できる。
【００３７】
図４は、本実施形態における画像処理システムの撮像部１０のカメラ１１の配置を上から見た図である。２０１及び２０２はパノラマ画像撮像用のカメラであり、それぞれ視界２１１及び２１２を有する。２６１は色合い又は明るさ参照用のカメラであり、視界２７１を有する。ここで、視界２１１と視界２１２はほとんど重なり部分を有さない。これに対し、視界２７１は、視界２１１及び視界２１２のそれぞれと重なり部分を有する。
【００３８】
上述の各カメラの配置を有する撮像部１０で撮影した画像から、パノラマ画像を生成する処理を、図５に示すフローチャートを用いて説明する。なお、当該処理は制御部２３としての上述のコンピュータ装置がハードディスクドライブ１０８等に格納されたプログラムを実行することによって実現される。また、図５に示す処理は、各カメラで同一時間に撮像した静止画像又は動画フレームに対して行われる。
【００３９】
まずステップＳ３０１で、図６に示すように、カメラ２０１によって撮像される画像２２１の色合い又は明るさを、カメラ２６１によって撮像される画像２８１の色合い又は明るさに合わせるための変換Ｈ２１１と、カメラ２０２によって撮像される画像２２２の色合い又は明るさを、画像２８１の色合い又は明るさに合わせるための変換Ｈ２２１を求める。
【００４０】
変換Ｈ２１１は、たとえば次のような手順で求めることができる。まず、画像２２１と画像２８１において画像中のエッジ（輪郭）を抽出する。次に、エッジの抽出結果に基づいて、画像２２１と画像２８１で同一の対象物が写った対応領域をいくつか求める。そして、それぞれの対応領域において対応する画素の色成分や輝度の差などに基づいて、画像２２１の色合い又は明るさを画像２８１の色合い又は明るさに変換する数式または行列を求め、最小二乗法などを用いて一つの変換を決定する。変換Ｈ２２１も同様の手順で求めることができる。
【００４１】
ここで、変換Ｈ２１１及び変換Ｈ２２１は、数式や行列に限らず、対応表などで表してもよい。
なお、画像２８１の色合い又は明るさをさらに所定の色合い又は明るさ（２８１’）に変換する変換Ｈ２８１を求めておいてもよい。
【００４２】
次にステップＳ３０２で、図７に示すように、画像２２１に変換Ｈ２１１を施して画像２４１を生成し、画像２２２に変換Ｈ２２１を施して画像２４２を生成する。
なお、画像２４１及び画像２４２にさらに変換Ｈ２８１を施してもよい。あるいはその代わりに、画像２２１に変換Ｈ２１１と変換Ｈ２８１を合成した変換を施し、画像２２２に変換Ｈ２２１と変換Ｈ２８１を合成した変換を施してもよい。
【００４３】
最後にステップＳ３０３で、図８に示すように、画像２４１と画像２４２を繋ぎ合わせて１つのパノラマ画像２４９を生成する。
ここで、ステップＳ３０２とＳ３０３を同時に行ってもよい。つまり、たとえば画像２２１に対する変換Ｈ２１１と画像２２２に対する変換Ｈ２２１と画像の繋ぎ合わせを同時に行ってもよい。
【００４４】
以上の処理により、画像２２１の色合い又は明るさと画像２２２の色合い又は明るさがそれぞれ画像２８１の色合い又は明るさに変換されるので、画像２２１と画像２２２の継ぎ目における色合い又は明るさの不連続性を軽減させることができる。
【００４５】
（第１の実施形態の変形例１）
次に、第１の実施形態の変形例として、全周パノラマ画像を生成するための撮像部の構成及び全周パノラマ画像の生成方法について説明する。
【００４６】
本変形例では、全周方向の情景を視界に入れるために、パノラマ画像撮像用の４台のカメラと、色合い又は明るさ参照用の４台のカメラを用いるものとする。このような構成の例を図４と同様な方法で図９に示す。同図に示した撮像部の構成は基本的には図４に示した構成を拡張したものであり、図４に示した構成ではパノラマ画像の撮像用に２台のカメラ（２０１、２０２）と、色合い又は明るさ参照用に１台のカメラ（２６１）を用いていたが、図６に示した構成では更にパノラマ画像の撮像用に２台のカメラと、色合い又は明るさ参照用に３台のカメラを設けている。
【００４７】
図９において、７０１〜７０４はパノラマ撮像用のカメラであり、それぞれ視界７１１〜７１４を有する、７６１〜７６４は色合い又は明るさ参照用のカメラであり、それぞれ視界７７１〜７７４を有する。ここで、視界７１１〜７１４は合計で全周をカバーするが、隣接する視界は重なり部分をほとんど有さない。これに対し、視界７７１は、視界７１１及び７１２のそれぞれと重なり部分を有し、視界７７２は、視界７１２及び７１３のそれぞれと重なり部分を有し、視界７７３は、視界７１３及び７１４のそれぞれと重なり部分を有し、視界７７４は、視界７１４及び７１１のそれぞれと重なり部分を有する。
【００４８】
なお、静止した状態で撮影を行う場合には、色合い又は明るさ参照用に４台のカメラ７６１〜７６４を設けずに、１台のカメラを図９に示す７６１〜７６４の位置に順次配置して色合い又は明るさ参照用の撮影を行っても良い。
【００４９】
このような構成の撮像部を用いて撮像した画像を用いて全周パノラマ画像を生成する基本的な手順は、図５のフローチャートを用いて説明した手順と同様であるが、全周パノラマ画像の場合には、合成時に考慮すべき参照用画像が複数となるため、若干変換の内容が異なる。ここではカメラ７０２によって撮像される画像７２２の変換処理に関して説明するが、カメラ７０１、７０３、７０４によってそれぞれ撮像される画像７２１、７２３、７２４に関しても同様に処理を行った後、隣接した画像を合成することにより全周パノラマ画像が得られる。
【００５０】
すなわち、図１０に示すように、画像７２２の色合い又は明るさを、左側に隣接する参照用カメラ７６１によって撮像される第１の参照画像７８１の色合い又は明るさに合わせるための変換をＨ７２１、画像７２２の色合い又は明るさを、右側に隣接する参照用カメラ７６２によって撮像される第２の参照画像７８２の色合い又は明るさに合わせるための変換をＨ７２２とする。
【００５１】
合成時の継ぎ目を目立たなくするためには、画像７２２の色は、左側に隣接するパノラマ画像の元画像である画像７２１との繋ぎ目に近い部分ほど、第１の参照画像７８１の色合い又は明るさに近くなり、右側に隣接するパノラマ画像の元画像である画像７２３との繋ぎ目に近いほど第２の参照画像７８２の色合い又は明るさに近くなるように変換されることが望ましい。そのため、図１１に示すように、画像７２２には画像の両端からの距離に応じてＨ７２１、Ｈ７２２の重み付けを行った変換を行って画像７４２を生成する。この変換をＨ７２とすると、たとえば以下の式で示される。
Ｈ７２＝α×Ｈ７２１＋（１−α）×Ｈ７２２ただし、αは画像の左端を０、右端を１とした際の、左端からの距離を表す値であり、０≦α≦１である。
【００５２】
また、これ以外の変換の施し方も考えられる。たとえば、図１２に示すように、画像７２２と画像７８１の重なり部分には変換Ｈ７２１を施し、画像７２２と画像７８２の重なり部分には変換Ｈ７２２を施し、画像７２２の、画像７８１とも画像７８２とも重なっていない部分には、重なっていない部分の両端からの距離に応じてＨ７２１、Ｈ７２２の重み付けを行った変換を行う方法が考えられる。重なっていない部分に対する変換の式は、たとえば上と同じ式で示される。ただし、この場合α＝０の位置は重なっていない部分の左端、α＝１の位置は重なっていない部分の右端とした場合のαの値が用いられる。
【００５３】
以上の処理をカメラ７０１、７０３、７０４によってそれぞれ撮像される画像７２１、７２３、７２４に関しても行うことにより、画像７２１〜７２４を合成して全周パノラマ画像を生成した際の継ぎ目における色合い又は明るさの不連続性を軽減させることができ、自然な全周パノラマ画像を得ることができる。
【００５４】
（第１の実施形態の変形例２）
上述の変形例１では、４台の参照画像撮影用カメラを設けた全周パノラマ画像作成用の撮像部を用いたが、本変形例においては、参照画像撮影用カメラとして、魚眼レンズ（視野角３６０°）を装着した１台のカメラを用いる。この場合、参照画像撮影用カメラは上方に向けて設置される。
【００５５】
すなわち、図１３に示すように、パノラマ画像の元画像を撮影するためのカメラ１１０１〜１１０４は図９のカメラ７０１〜７０４と同様の構成及び配置であるのに対し、参照画像撮影用のカメラ１１６１は１台である。
【００５６】
なお、参照画像撮影用カメラ１１６１としては、魚眼レンズの代わりに、たとえば双曲面ミラーと通常のレンズの組み合わせなど、１台のカメラで全周方向の情景を視界に入れることが可能な任意の構成を用いることが可能である。
【００５７】
図１３において、カメラ１１０１〜１１０４はパノラマ画像撮像用のカメラであり、それぞれ視界１１１１〜１１１４を有する。また、参照画像撮影用のカメラ１１６１は全周方向の視界１１７１を有する。ここで、視界１１１１〜１１１４は重なり部分をほとんど有さないものとする。これに対し、視界１１７１は、視界１１１１〜１１１４のそれぞれと重なり部分を有する。
【００５８】
このような構成を有する撮像部を用いて撮影した画像を用いて全周パノラマ画像を生成する手順は上述の変形例１と同様である。しかしながら、本変形例においては参照画像が全周方向に渡っていること、また撮像された参照画像は魚眼レンズ等の効果によって特有のひずみを有している等の相違がある。そのため、全周の情景を含む参照画像から、パノラマ元画像の変換に使用する部分の切り出し及び、通常のレンズで撮像した画像への変換処理が必要となる。
【００５９】
この切り出し処理は、参照画像から例えば図９における参照画像撮影用カメラ７６１〜７６４の視野に対応する部分を取り出すことによって行うことが可能である。すなわち、撮像部を構成するカメラの相対位置は固定されているため、撮像された参照画像の中から、予めどの部分が図９のカメラ７６１〜７６４の視野に対応するかを予め調べておき、その領域を抜き出せばよい。
【００６０】
また、画像処理によりレンズの画角を変換した効果を持たせる処理は周知であるので、抜き出した領域の画像に対し、カメラ７６１〜７６４の視野に相当する画角への変換処理を施すことによって、図１０で示した参照画像７８１、７８２等を得ることができる。もちろん、カメラ１１０１〜１１０４で撮影したパノラマ元画像１１１１〜１１１４をカメラ１１６１で撮像した参照画像１１８１と同等の状態に変換して、必要な変換を作成することも可能である。
【００６１】
その結果、カメラ１１０１によって撮像される画像１１２１及びカメラ１１０２によって撮像される画像１１２２及びカメラ１１０３によって撮像される画像１１２３及びカメラ１１０４によって撮像される画像１１２４の色合い又は明るさを、カメラ１１６１によって撮像される画像１１８１の色合い又は明るさに合わせる処理が行われる。
【００６２】
そして、変換後の各画像１１１１〜１１１４を合成することにより、継ぎ目における色合い又は明るさの不連続性が軽減させた全周パノラマ画像を生成することができる。
【００６３】
このように、本実施形態によれば、重なりを有する２画像を合成する際、当該２画像の両方と重なりを有する参照画像に合わせて変換してから合成することによって、重なりがほとんど無い画像を合成する場合であっても、色合い又は明るさの不連続性が軽減された、継ぎ目の目立たないパノラマ画像を生成することが可能となる。
【００６４】
なお本実施形態ではカメラ４台で全周方向の情景を撮像する撮像部を用いた場合のみを説明したが、撮像部が用いるパノラマ元画像撮影用カメラの台数は２以上であれば任意であることは言うまでもない。また本実施形態におけるカメラは、動画像を撮像するものでも静止画像を撮像するものでもよい。そして、動画像を撮像するカメラを用い、連続的にパノラマ画像を生成する場合、本実施形態にかかる処理を各画像フレームに対して常に行う必要はなく、たとえば、照明条件の変化などにより画像の色合い又は明るさが閾値よりも大きく変化した場合に実行すればよい。
【００６５】
［第２の実施形態］
第１の実施形態では、パノラマ元画像撮影用カメラ以外に設けたカメラによって撮影した、合成する２つの元画像と重なり合いをもつ参照画像を用いることにより、色合い又は明るさの不連続性を軽減したパノラマ画像の生成を実現した。これに対し、本実施形態では、パノラマ画像撮像用の複数のカメラを移動させて撮影した画像を参照画像として用いることにより、参照画像用のカメラを用いずに同様の効果を実現することを特徴とする。すなわち、参照画像が、元画像の１つ及び、元画像の１つと合成すべき他の元画像と異なる時刻に撮像された画像であることを特徴とする。
【００６６】
なお、本実施形態に係る画像処理システムの構成は図１に示したものと共通で良いため、ここでの説明は省略する。
【００６７】
図１４に、本実施形態係る画像処理システムの撮像部１０におけるカメラ配置例を示す。ここでは、２台のカメラで撮影した画像を合成したパノラマ画像を生成するものとする。
【００６８】
図１４において、１２０１及び１２０２はパノラマ元画像撮像用のカメラであり、それぞれ視界１２１１及び１２１２を有する。ここで、視界１２１１と１２１２はほとんど重なり部分を有さないものとする。これらカメラが矢印の方向に移動する移動体に設置されているとすると、所定時間後にはカメラ１２０１及び１２０２はそれぞれ１２０１’及び１２０２’の位置に移動する。そして、移動後におけるカメラ１２０１’の視界１２１５は、移動前のカメラ１２０２の視界１２１２と重なりを有する。
【００６９】
上述の各カメラの配置に基づいて、色合い又は明るさの不連続性を軽減させる処理を、図１５に示す同処理のフローチャートを用いて説明する。
まずステップＳ１３０１で、図１６に示すように、カメラ１２０２によって撮像される画像１２２２の色合い又は明るさを移動後のカメラ１２０１’によって撮像される画像１２２５の色合い又は明るさに合わせるための変換Ｈ１２２５を求める。
【００７０】
カメラ群が移動する間に画像の色合い又は明るさがほとんど変化しなければ、つまりカメラ１２０１によって撮像される画像１２２１と画像１２２５の色合い又は明るさがほぼ同一であれば、変換Ｈ１２２５は、画像１２２２の色合い又は明るさと画像１２２１の色合い又は明るさとの間の変換Ｈ１２２１とほぼ同一となる。
【００７１】
変換Ｈ１２２５は、たとえば次のような手順で求めることができる。まず、画像１２２２と画像１２２５において画像中の輪郭を抽出する。次に、輪郭の抽出結果に基づいて、画像１２２２と画像１２２５で同一の対象物が写った対応領域をいくつか求める。そして、それぞれの対応領域において対応する画素の色成分や輝度の差などに基づいて、画像１２２２の色合い又は明るさを画像１２２５の色合い又は明るさに変換する数式または行列を求め、最小二乗法などを用いて一つの変換を決定する。
ここで、変換Ｈ１２２５は、数式や行列に限らず、対応表などで表してもよい。
【００７２】
次にステップＳ１３０２で、図１７に示すように、画像１２２２に変換Ｈ１２２５を施して画像１２４２を生成する。
最後にステップＳ１３０３で、図１８に示すように、画像１２２１と画像１２４２を繋ぎ合わせて１つのパノラマ画像１２４９を生成する。
ここで、ステップＳ１３０２とＳ１３０３を同時に行ってもよい。つまり、たとえば画像１２２２に対する変換Ｈ１２２５と画像の繋ぎ合わせを同時に行ってもよい。
【００７３】
このように、画像１２２２の色合い又は明るさを、画像１２２１の色合い又は明るさとほぼ同一な画像１２２５の色合い又は明るさに変換した後に合成を行うことにより、画像１２２１と画像１２２２の継ぎ目における色合い又は明るさの不連続性を軽減したパノラマ画像を生成することができる。
【００７４】
（第２の実施形態の変形例１）
次に、第２の実施形態の変形例として、全周パノラマ画像を生成するための撮像部の構成及び全周パノラマ画像の生成方法について説明する。
【００７５】
本変形例では、全周方向の情景を視界に入れるために、パノラマ画像の撮像用に４台のカメラを用いた。カメラの配置例を図１９に示す。同図に示したカメラの構成は基本的には図１４に示した構成を拡張したものであり、図１４に示した構成ではパノラマ画像の撮像用に２台のカメラ（１２０１、１２０２）を用いていたが、図１９に示した構成では更にパノラマ画像の撮像用に２台のカメラを設けている。
【００７６】
図１９において、カメラ１７０１〜１７０４はパノラマ元画像撮像用のカメラであり、それぞれ視界１７１１〜１７１４を有する。ここで、視界１７１１〜１７１４は隣接する視界同士でも重なり部分をほとんど有さないものとする。
【００７７】
そして、カメラ群が矢印の方向に所定距離移動すると、各カメラ１７０１’〜１７０４’の視界は１７１５〜１７１８となる。この結果、移動後のカメラ１７０１の視界１７１５は、移動前のカメラ１７０２及び１７０４の視界１７１２及び１７１４のそれぞれと重なり部分を有し、また移動前のカメラ１７０３の視界１７１３は、移動後のカメラ１７０２の視界１７１６、及び移動後のカメラ１７０４の視界１７１８と重なり部分を有するようになる。
【００７８】
このような構成の撮像部を用いて撮像した画像を用いて全周パノラマ画像を生成する基本的な手順は、図１５のフローチャートを用いて説明した手順と同様であるが、全周パノラマ画像であるため、若干変換の内容が異なる。ここではカメラ１７０２によって撮像される画像１０２２の変換処理に関して説明するが、カメラ１７０１、１７０３、１７０４によってそれぞれ撮像される画像１７２１、１７２３、１７２４に関しても同様に処理を行った後、隣接した画像を合成することにより全周パノラマ画像が得られる。
【００７９】
すなわち、図２０に示すように、カメラ１７０２の移動前の画像１７２２の色合い又は明るさを、移動後のカメラ１７０１によって撮像される画像１７２５の色合い又は明るさとの平均値に合わせるための変換をＨ１７２５、移動後のカメラ１７０２によって撮像される画像１７２６の色合い又は明るさを、移動前のカメラ１７０３による画像１７２３の色合い又は明るさとの平均値に合わせるための変換をＨ１７６３とする。
【００８０】
カメラ群が移動する間に画像の色合い又は明るさがほとんど変化しなければ、つまりカメラ１７０１による移動前の画像１７２１と移動後の画像１７２５の色合い又は明るさがほぼ同一であり、カメラ１７０２による移動前の画像１７２２と移動後の画像１７２６の色合い又は明るさがほぼ同一であれば、変換Ｈ１７２５は、移動前のカメラ１７０２の画像１７２２の色合い又は明るさを移動前のカメラ１７０１の画像１７２１の色合い又は明るさとの平均値に合わせるための変換Ｈ１７２１とほぼ同一と見なすことができる。また、同様に、変換Ｈ１７６３は、移動前のカメラ１７０２の画像１７２２の色合い又は明るさを移動前のカメラ１７０３の画像１７２３の色合い又は明るさとの平均値に合わせるための変換Ｈ１７２３とほぼ同一と見なすことができる。
【００８１】
カメラ１７０２の画像１７２２の色は、カメラ１７０１の画像１７２１との継ぎ目に近いほど画像１７２１と画像１７２２の色合い又は明るさの平均値に近くなり、カメラ１７０３の画像１７２３との継ぎ目に近いほどカメラ１７０２の画像１７２２とカメラ１７０３の画像１７２３の色合い又は明るさの平均値に近くなるように変換されることが望ましいため、図２１に示すように、画像１７２２には画像の両端からの距離に応じてＨ１７２５、Ｈ１７６３の重み付けを行った変換を行って画像１７４２を生成する。この変換をＨ１７２とすると、たとえば以下の式で示される。
Ｈ１７２＝β×Ｈ１７２５＋（１−β）×Ｈ１７６３ただし、βは画像の左端を０、右端を１とした際の、左端からの距離を表し、０≦β≦１である。なお、変換の施し方はこれに限られたものではない。
【００８２】
同様の処理をカメラ１７０１、１７０３、１７０４によってそれぞれ撮像される画像１７２１、１７２３、１７２４に関しても行うことにより、画像１７２１〜１７２４を合成して全周パノラマ画像を生成した際の継ぎ目における色合い又は明るさの不連続性を軽減させることができ、自然な全周パノラマ画像を得ることができる。
【００８３】
（第２の実施形態の変形例２）
本実施形態においては、カメラ群（撮像部１０）が所定距離移動した場所で撮像された画像を第１の実施形態における参照画像として用いる場合についてのみ説明したが、これに限定されることなく、参照画像撮影用のカメラを用いずに参照画像相当の画像を撮像可能な任意の方法を適用することが可能である。例えば、カメラ群を同位置で若干異なる向きに回転させて撮像した画像を用いてもよい。
【００８４】
これは、第１の実施形態において、パノラマ元画像撮影用のカメラを、参照画像撮影用のカメラとして利用することに相当する。参照画像とパノラマ元画像との撮影時間にずれを生じるが、その時間差内で明るさや色合いに大きな変化が情景に生じなければ、実質的に同時刻に撮影された参照画像として使用することが可能である。
【００８５】
具体的には、例えば図１４に示したカメラ配置を有する撮像部１０を用いるとすると、まずカメラ１２０１及び１２０２でパノラマ元画像を撮影し、次いでこれらカメラを例えば反時計回りに所定角度（例えば４５°）回転させて、カメラ１２０２により撮影する。
【００８６】
そして、図１５のステップＳ１３０１において、パノラマ元画像の色合い又は明るさを、回転後のカメラ１２０２により撮影した、移動前の２台のカメラの視界と重なりを持つ画像の色合い又は明るさに合わせるための変換を求め、ステップＳ１３０２において、パノラマ撮像用のカメラで元の向きで撮像された画像に変換を施すようにすればよい。４台のカメラを用いて全周方向の情景を視界に入れる場合も同様である。
【００８７】
なお、カメラの回転角は隣接するパノラマ元画像を撮影するカメラの視界の両方と重なりをもつ視界が得られれば、任意の角度でよい。
【００８８】
このように、本実施形態によれば、重なりを有する２画像を合成する際、当該２画像を撮影したカメラの視界の両方と重なりを有する視界を有するカメラで撮影した画像に合わせて変換してから合成することによって、重なりがほとんど無い画像を合成する場合であっても、色合い又は明るさの不連続性が軽減された、継ぎ目の目立たないパノラマ画像を生成することが可能となる。
【００８９】
なお本実施形態ではカメラ４台で全周方向の情景を撮像する撮像部を用いた場合のみを説明したが、撮像部が用いるパノラマ元画像撮影用カメラの台数は２以上であれば任意であることは言うまでもない。また本実施形態におけるカメラは、動画像を撮像するものでも静止画像を撮像するものでもよい。そして、動画像を撮像するカメラを用い、連続的にパノラマ画像を生成する場合、本実施形態にかかる処理を各画像フレームに対して常に行う必要はなく、たとえば、照明条件の変化などにより画像の色合い又は明るさが閾値よりも大きく変化した場合に実行すればよい。
【００９０】
【他の実施形態】
なお、上述の実施形態においては、水平方向に複数の画像を合成する場合のみを説明したが、本発明は垂直方向に複数の画像を合成する場合、すなわち、上下に重なりを有する複数の画像を合成する場合であっても適用可能である。
また、上記実施形態では、色合い又は明るさを合わせていたが、色合いおよび明るさの両方を合わせるようにしても構わない。
【００９１】
上述の実施形態においては、１つの機器から構成される画像処理部についてのみ説明したが、本発明の画像処理部と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００９２】
尚、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態で説明したいずれか１つ以上のフローチャートに対応したプログラム）を、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００９３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００９４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００９６】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００９７】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００９８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１００】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０１】
【発明の効果】
以上説明したように本発明によれば、複数の画像を合成して生成される合成画像において、元画像の繋ぎ目に発生する色合い又は明るさの不連続性を軽減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理システムの構成例を示すブロック図である。
【図２】図１における制御部２３もしくは画像処理部として使用可能なコンピュータの構成例を示す図である。
【図３】多角錐ミラーを用いて広視野画像を撮像する撮像部の構成例を示す図である。
【図４】本発明の第１の実施形態に係る撮像部のカメラ配置例を示す図である。
【図５】本発明の第１の実施形態に係るパノラマ画像生成処理を説明するフローチャートである。
【図６】本発明の第１の実施形態における変換処理を説明する図である。
【図７】本発明の第１の実施形態における変換処理を説明する図である。
【図８】本発明の第１の実施形態における合成処理を説明する図である。
【図９】本発明の第１の実施形態の変形例１に係る撮像部のカメラ配置例を示す図である。
【図１０】本発明の第１の実施形態の変形例１における変換処理を説明する図である。
【図１１】本発明の第１の実施形態の変形例１における変換処理を説明する図である。
【図１２】本発明の第１の実施形態の変形例１における他の変換処理を説明する図である。
【図１３】本発明の第１の実施形態の変形例２に係る撮像部のカメラ配置例を示す図である。
【図１４】本発明の第２の実施形態に係る撮像部のカメラ配置例及び、合成処理の原理を説明する図である。
【図１５】本発明の第２の実施形態に係るパノラマ画像生成処理を説明するフローチャートである。
【図１６】本発明の第２の実施形態における変換処理を説明する図である。
【図１７】本発明の第２の実施形態における変換処理を説明する図である。
【図１８】本発明の第２の実施形態における合成処理を説明する図である。
【図１９】本発明の第２の実施形態の変形例１に係る撮像部のカメラ配置例及び、合成処理の原理を説明する図である。
【図２０】本発明の第２の実施形態の変形例１における変換処理を説明する図である。
【図２１】本発明の第２の実施形態の変形例１における変換処理を説明する図である。
Claims (5)
- 第１の画像と第２の画像を合成してパノラマ画像を生成する画像処理方法であって、
前記第１の画像、前記第２の画像、および該第１の画像と第２の画像の両方と重なりを有する参照画像を取得し、
前記第１の画像の色合い又は明るさを前記参照画像の色合い又は明るさに合わせるための第１の変換条件を求め、
前記第２の画像の色合い又は明るさを前記参照画像の色合い又は明るさに合わせるための第２の変換条件を求め、
前記第１の画像を前記第１の変換条件に基づき変換した画像と、前記第２の画像を前記第２の変換条件に基づき変換した画像とを合成し、パノラマ画像を生成することを特徴とする画像処理方法。 - 前記参照画像、前記第１の画像および前記第２の画像は同時刻に撮影された画像であることを特徴とする請求項１記載の画像処理方法。
- さらに、第３の画像を合成してパノラマ画像を生成することを特徴とする請求項２記載の画像処理方法。
- 第１の画像と第２の画像を合成してパノラマ画像を生成する画像処理方法をコンピュータ装置に実行させるコンピュータプログラムを格納したコンピュータ装置読み取り可能な記憶媒体であって、前記コンピュータプログラムが、
前記第１の画像、前記第２の画像、および該第１の画像と第２の画像の両方と重なりを有する参照画像を取得する工程のプログラムと、
前記第１の画像の色合い又は明るさを前記参照画像の色合い又は明るさに合わせるための第１の変換条件を求める工程のプログラムと、
前記第２の画像の色合い又は明るさを前記参照画像の色合い又は明るさに合わせるための第２の変換条件を求める工程のプログラムと、
前記第１の画像を前記第１の変換条件に基づき変換した画像と、前記第２の画像を前記第２の変換条件に基づき変換した画像とを合成し、パノラマ画像を生成する工程のプログラムを有することを特徴とする記憶媒体。 - 第１の画像と第２の画像を合成してパノラマ画像を生成する画像処理装置であって、
前記第１の画像、前記第２の画像、および該第１の画像と第２の画像の両方と重なりを有する参照画像を取得する手段と、
前記第１の画像の色合い又は明るさを前記参照画像の色合い又は明るさに合わせるための第１の変換条件を求める手段と、
前記第２の画像の色合い又は明るさを前記参照画像の色合い又は明るさに合わせるための第２の変換条件を求める手段と、
前記第１の画像を前記第１の変換条件に基づき変換した画像と、前記第２の画像を前記第２の変換条件に基づき変換した画像とを合成し、パノラマ画像を生成する手段とを有することを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002348727A JP3962676B2 (ja) | 2002-11-29 | 2002-11-29 | 画像処理方法及び装置 |
| US10/721,875 US7388982B2 (en) | 2002-11-29 | 2003-11-26 | Image processing method and apparatus for generating panoramic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002348727A JP3962676B2 (ja) | 2002-11-29 | 2002-11-29 | 画像処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004185132A JP2004185132A (ja) | 2004-07-02 |
| JP3962676B2 true JP3962676B2 (ja) | 2007-08-22 |
Family
ID=32751562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002348727A Expired - Fee Related JP3962676B2 (ja) | 2002-11-29 | 2002-11-29 | 画像処理方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7388982B2 (ja) |
| JP (1) | JP3962676B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8182422B2 (en) | 2005-12-13 | 2012-05-22 | Avantis Medical Systems, Inc. | Endoscope having detachable imaging device and method of using |
| WO2007087421A2 (en) | 2006-01-23 | 2007-08-02 | Avantis Medical Systems, Inc. | Endoscope |
| US8224018B2 (en) | 2006-01-23 | 2012-07-17 | Digimarc Corporation | Sensing data from physical objects |
| CN101523408B (zh) | 2006-01-23 | 2013-11-20 | 数字标记公司 | 一种识别物品的方法 |
| EP2023794A2 (en) * | 2006-05-19 | 2009-02-18 | Avantis Medical Systems, Inc. | System and method for producing and improving images |
| US8064666B2 (en) | 2007-04-10 | 2011-11-22 | Avantis Medical Systems, Inc. | Method and device for examining or imaging an interior surface of a cavity |
| EP2018049B1 (en) | 2007-07-18 | 2013-05-01 | Samsung Electronics Co., Ltd. | Method of assembling a panoramic image and camera therefor |
| US8717412B2 (en) * | 2007-07-18 | 2014-05-06 | Samsung Electronics Co., Ltd. | Panoramic image production |
| US8068693B2 (en) * | 2007-07-18 | 2011-11-29 | Samsung Electronics Co., Ltd. | Method for constructing a composite image |
| EP2385705A4 (en) | 2008-12-30 | 2011-12-21 | Huawei Device Co Ltd | METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE |
| JP2012105145A (ja) * | 2010-11-11 | 2012-05-31 | Canon Inc | 画像処理装置、画像処理方法、及び、プログラム |
| US9007432B2 (en) | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
| US9036001B2 (en) | 2010-12-16 | 2015-05-19 | Massachusetts Institute Of Technology | Imaging system for immersive surveillance |
| JP5655667B2 (ja) * | 2011-03-31 | 2015-01-21 | カシオ計算機株式会社 | 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム |
| US8890894B2 (en) | 2012-06-28 | 2014-11-18 | The University Of Utah Research Foundation | Seam processing for panorama weaving |
| US9275485B2 (en) | 2012-06-28 | 2016-03-01 | The University Of Utah Research Foundation | Seam network processing for panorama weaving |
| WO2014071291A2 (en) | 2012-11-02 | 2014-05-08 | Strongwatch Corporation, Nevada C Corp | Wide area imaging system and method |
| CN105765966B (zh) * | 2013-12-19 | 2020-07-10 | 英特尔公司 | 碗形成像系统 |
| US10442355B2 (en) | 2014-09-17 | 2019-10-15 | Intel Corporation | Object visualization in bowl-shaped imaging systems |
| JP6789676B2 (ja) * | 2015-06-11 | 2020-11-25 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US9965881B2 (en) * | 2015-08-28 | 2018-05-08 | Panasonic Intellectual Property Corporation Of America | Method for generating image and image generation system |
| US10957047B2 (en) | 2017-02-15 | 2021-03-23 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device and image processing method |
| JP6545229B2 (ja) * | 2017-08-23 | 2019-07-17 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
| CN108377345B (zh) * | 2018-04-11 | 2020-04-03 | 浙江大华技术股份有限公司 | 一种曝光参数值确定方法、装置、多目摄像机及存储介质 |
| CN109166076B (zh) * | 2018-08-10 | 2020-08-07 | 影石创新科技股份有限公司 | 多相机拼接的亮度调整方法、装置及便携式终端 |
| JP7269607B2 (ja) * | 2021-03-31 | 2023-05-09 | 学校法人明治大学 | 情報処理装置、情報処理方法、及びプログラム |
| CN116295282A (zh) * | 2022-12-30 | 2023-06-23 | 圆周率科技(常州)有限公司 | 定位方法、装置及终端设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11168754A (ja) * | 1997-12-03 | 1999-06-22 | Mr System Kenkyusho:Kk | 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 |
| JPH11234501A (ja) | 1998-02-10 | 1999-08-27 | Sharp Corp | 静止画像の合成方法 |
| JPH11289447A (ja) | 1998-04-02 | 1999-10-19 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置 |
| US6434265B1 (en) * | 1998-09-25 | 2002-08-13 | Apple Computers, Inc. | Aligning rectilinear images in 3D through projective registration and calibration |
| JP2003004427A (ja) * | 2001-06-22 | 2003-01-08 | Hitachi Ltd | 画像比較による欠陥検査方法及びその装置 |
| JP4072330B2 (ja) * | 2001-10-31 | 2008-04-09 | キヤノン株式会社 | 表示装置および情報処理方法 |
| US7411594B2 (en) * | 2002-01-15 | 2008-08-12 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| AU2003298666A1 (en) * | 2002-11-15 | 2004-06-15 | Warner Bros. Entertainment Inc. | Reality-based light environment for digital imaging in motion pictures |
-
2002
- 2002-11-29 JP JP2002348727A patent/JP3962676B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-26 US US10/721,875 patent/US7388982B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7388982B2 (en) | 2008-06-17 |
| US20040228544A1 (en) | 2004-11-18 |
| JP2004185132A (ja) | 2004-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3962676B2 (ja) | 画像処理方法及び装置 | |
| JP6673381B2 (ja) | 画像処理装置 | |
| JP3975736B2 (ja) | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム | |
| CN105144230A (zh) | 图像处理设备、图像处理方法和程序 | |
| JP2000322602A (ja) | 画像処理装置および方法、並びに媒体 | |
| CN104321803A (zh) | 图像处理装置、图像处理方法和程序 | |
| CN115941862B (zh) | 融合大视场视频与三维场景的方法、装置 | |
| JP4966231B2 (ja) | スタジオシステム | |
| JP3352475B2 (ja) | 画像表示装置 | |
| JP2006171939A (ja) | 画像処理装置及び方法 | |
| JP2005175620A (ja) | 画像処理方法及び装置 | |
| JP4148817B2 (ja) | パノラマ画像撮影装置及びパノラマ画像撮影方法 | |
| JP2013214158A (ja) | 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム | |
| JPH11328443A (ja) | 三次元パノラマ画像生成システム、三次元パノラマ画像生成方法及び記録媒体 | |
| JPH11213141A5 (ja) | ||
| JP2004072677A (ja) | 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 | |
| JP3660108B2 (ja) | 画像保存方法及び機械読み取り可能媒体 | |
| JP5523295B2 (ja) | 動画生成装置 | |
| JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
| JP2005174024A (ja) | 画像生成装置及び方法 | |
| CN114339029B (zh) | 拍摄方法、装置及电子设备 | |
| JP2004258794A (ja) | ３次元モデルの編集方法および装置並びにコンピュータプログラム | |
| JP4082546B2 (ja) | ３次元仮想空間構築システム | |
| CN113947671A (zh) | 全景360度图像分割合成方法、系统及介质 | |
| JP2003216977A (ja) | 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3962676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |