WO2004036498A1

WO2004036498A1 - 複数の画像データのパノラマ合成処理

Info

Publication number: WO2004036498A1
Application number: PCT/JP2003/013217
Authority: WO
Inventors: Makoto Ouchi
Original assignee: Seiko Epson Corporation
Priority date: 2002-10-15
Filing date: 2003-10-15
Publication date: 2004-04-29
Also published as: EP1553521A4; EP1553521A1; CN1703725A; CN100401320C; JP4487775B2; US20060062487A1; JPWO2004036498A1

Abstract

本発明は、複数の平面画素が平面上に配列された平面画像として構成された画像データと画像属性情報とを含む複数の画像ファイルに応じて、１つの連続する連続平面画像を表す画像データを生成する画像処理装置である。本画像処理装置は、球面状あるいは円筒状の投影面を、複数の画像データを合成するための領域として設定する。

Description

明細書

複数の画像データのパノラマ合成処理

技術分野

本発明は、複数の画像データを合成する画像処理技術に関する。

背景技術

近年、デジタルスチルカメラ（D S C ) を用いて写真を撮影し、その写真を表す画像データをコンピュータ内に保存することが日常的に行われるようになってきた。また、複数の画像データを合成して連続する 1つの画像を表す画像データを生成するパノラマ合成処理と呼ばれる処理も行われている。

しカヽし、デジタルスチルカメラによって生成された画像は、特に周辺部において歪みを有している。この歪みは、複数の画像データを合成する場合において、接続される画像領域の画質を劣化させるという問題の原因となっていた。この歪みの 1つの要因は、デジタルスチルカメラの光学系から入力された光が平面の受光面を有する撮像素子に投影されることに起因するものである。

発明の開示

この発明は、従来技術における上述の課題を解決するためになされたものであリ、平面の撮像素子を用いて生成された複数の画像データの合成処理において生ずる画質の劣化を抑制する技術を提供することを目的とする。

上述の課題の少なくとも一部を解決するため、本発明の第 1の態様は、複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファィルに応じて、前記複数の画像ファィルに含まれた複数の画像デー夕が合成された 1つの連続する連続平面画像を表す画像データを生成する画像処理装置であって、所定の点を中心とする球面状の投影面を、前記複数の画像データを合成するための領域として設定する合成領域設定部と、前記各画像データが表す各平面画像を、前記投影面に投影することにより複数の球面画像を生成する球面画像生成部と、前記複数の球面画像の各々から所定の特徴を有する領域である特徴点を抽出する特徴点抽出部と、前記複数の球面画像相互間において、前記抽出された特徴点の対応関係を決定する対応関係決定部と、前記決定された対応関係に応じて、前記球面画像の各々を表す複数の画像データを合成することによって、一つの連続する球面画像を表す画像データである連続球面画像データを生成する球面画像合成部と、前記連続球面画像データから前記連続平面画像を表す画像データを生成する平面画像生成部と、を備えることを特徴とする。

本発明の第 1の態様によれば、所定の点を中心とする球面状の投影面が、これらの複数の画像データを合成するための領域として設定されるとともに、これらの複数の画像データの各々が表す各平面画像を、設定された投影面に投影することにより複数の球面画像が生成され、この球面画像が合成される。このように本態様では、球面状の投影面上で画像が合成されるので、平面の撮像素子を用いて生成された複数の画像データの合成処理において生ずる画質の劣化を抑制することができる。

上記画像処理装置において、前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、

前記画像処理装置は、さらに、前記画像属性情報に応じて、前記複数の画像データの生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部を備え、

前記球面画像生成部は、前記各画像データが表す各平面画像を、前記各画像デ一夕に対応する前記焦点距離だけ前記所定の点から前記投影面側に離れた位置に配置して、前記投影面に投影することによリ複数の球面画像を生成するようにしても良い。

こうすれば、複数の画像データがたとえば撮影時におけるズーム操作によって異なる倍率で生成されていてもパノラマ合成を行うことができる。上記画像処理装置において、前記画像属性情報は、撮影レンズの実焦点距離を表すレンズ焦点距離と、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、前記焦点距離決定部は、前記レンズ焦点距離を前記焦点距離に決定し、前記球面画像生成部は、前記焦点面解像度単位を前記焦点面の幅の解像度で除することにより幅方向の画素の大きさを決定するとともに、前記焦点面解像度単位を前記焦点面の高さの解像度で除することにより高さ方向の画素の大きさを決定するようにしても良いし、

前記画像属性情報は、 3 5 m mフィルムカメラに換算した焦点距離の値である 3 5 m m換算レンズ焦点距離を含んでおり、前記焦点距離決定部は、前記 3 5 m m換算レンズ焦点距離を前記焦点距離に決定し、前記球面画像生成部は、 3 5 m mフィルムサイズを前記平面画像のサイズに決定するようにしても良い。

上記画像処理装置において、前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたリの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおリ、前記球面画像生成部は、前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで除した角度で高さ方向に分割されるとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を球面画素として前記球面上に設定する球面画素設定部と、前記球面画素の各々に投影される平面画素の画素値に応じて、前記球面画素の各々の画素値を決定する球面画素値決定部とを備えるようにすることが好ましい。

このように、決定された焦点距離のうちの最大のものを基準にして球面画素を設定するようにすれば、最も小さな画素を有する平面画像の情報量を減らすことなく、さらに、平面画像から生成される球面画像の情報量を過大とすることもなくパノラマ合成処理を行うことができる。

本発明の第 2の態様は、複数の平面画素が平面上に配列された平面画像として構成された画像データと、前記画像データの属性情報である画像属性情報とをそれぞれ含む複数の画像ファィルに応じて、前記複数の画像フアイルに含まれた複数の画像データが合成された 1つの連続する連続平面画像を表す画像データを生成する画像処理装置であって、前記画像属性情報に応じて、前記複数の画像デ一夕の生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部と、所定の軸を中心とする円筒状の投影面を、前記複数の画像データを合成するための領域として設定する合成領域設定部と、前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の軸から前記投影面側に離れた位置に配置して、前記投影面に投影することによリ複数の円筒画像を生成する円筒画像生成部と、前記複数の円筒画像の各々から所定の特徴を有する領域である特徴点を抽出する特徴点抽出部と、前記複数の円筒画像相互間において、前記抽出された特徴点の対応関係を決定する対応関係決定部と、前記決定された対応関係に応じて、前記円筒画像の各々を表す複数の画像データを合成することによって、一つの連続する円筒画像を表す画像データである連続円筒画像データを生成する円筒画像合成部と、前記連続円筒画像データから前記連続平面画像を表す画像データを生成する平面画像生成部とを備えることを特徴とする。

上記画像処理装置において、前記円筒画像生成部は、前記画像データにおいて設定された高さ方向と平行に前記軸を設定するようにすることが好ましい。

こうすれば、一般に幅方向に接続される場合が多いパノラマ合成処理において, 各画像の幅方向の画像の歪みを抑制することができる。

なお、本発明は、種々の態様で実現することが可能であり、たとえば画像処理方法、それらの方法または装置の機能を実現するためのコンピュータプログラム, そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。図面の簡単な説明図 1は、本発明の一実施例としての画像処理システムを示す説明図である。図 2は、画像データを生成する入力装置としてのデジタルスチルカメラの構成の概略を示すブロック図である。

. 図 3は、画像データを出力する出力装置としてのコンピュータ PCとカラ一プリンタの構成の概略を示すプロック図である。

図 4は、本発明の実施例における画像ファイル G Fの構造の概略示す説明図である。

図 5は、画像ファイル G Fの Exif IFDに格納される付属情報の一例を示す説明図である。

図 6は、コンピュータ PCにおけるパノラマ合成処理の処理ルーチンを示すフローチヤ一卜である。

図 7 (a) および図 7 (b) は、平面 RG Bデータと円筒座標系との間の立置関係を示す説明図である。

図 8は、本発明の第 1実施例における座標変換処理の処理ルーチンを示す説明図である。

図 9 (a) および図 9 (b) は、軸 C a x i sの方向から見た平面 R G Bデ一夕と投影面 C Y Lとの間の位置関係を示す説明図である。

図 1 0は、平面の撮像素子を用いて画像データを生成する際に生ずる画像の歪みを示す説明図である。

図 1 1は、平面 RG Bデータと球座標系との間の関係を示す説明図である。図 1 2 (a)、図 Ί 2 (b)、および図 1 2 (c) は、風景から焦点距離が同一の 2つの円筒画像データが生成される様子を示す説明図である。

図 1 3 (a)、図 1 3 (b)、および図 1 3 (c) は、各円筒画像データにおいて抽出された特徴点を示す説明図である。

図 1 4は、対応点探索処理が行われる様子を示す説明図である。

図 1 5 (a) および図 1 5 (b) は、合成処理の内容を示す説明図である。図 1 6 (a)、図 1 6 (b)、および図 1 6 (c) は、焦点距離が異なる 2つの画像データから連続する 1つの画像を表す画像データが生成される様子を示す説明図である。

図 1 7は、焦点距離が異なる 2つの画像データから 2つの円筒画像データが生成される様子を示す説明図である。発明を実施するための最良の形態

次に、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。

A. 画像処理システムの構成：

B. 画像ファイルの構成：

C. 第 1実施例におけるパノラマ合成処理：

D. 第 2実施例におけるパノラマ合成処理：

E . 変形例：

A. 画像処理システムの構成：

図 1は、本発明の一実施例としての画像処理システム 1 0を示す説明図である。画像処理システム 1 0は、元画像データを生成する入力装置としてのデジタルスチルカメラ 1 2と、デジタルスチルカメラ 1 2で生成された元画像デー夕に対して画像処理を行う画像処理装置としてのパーソナルコンピュ一夕 P C と、処理された画像を出力する出力装置としてのカラープリン夕 20とを備えている。

デジタルスチルカメラ 1 2、パーソナルコンピュータ P C、および力ラープリンタ 2 0は、相互にケーブル C Vで接続可能である。ケーブル C Vにより接続されている場合には、デジタルスチルカメラ 1 2等は、ケーブル C Vを経由して画像ファイルを送受信することが可能である。ケーブル C Vで接続されていない場合にも、デジタルスチルカメラ 1 2等は、メモリカード M Cを用いて画像ファイルのやりとリを行うことができる。

図 2は、画像データを生成する入力装置としてのデジタルスチルカメラ 1 2 の構成の概略を示すブロック図である。デジタルスチルカメラ 1 2は、光学レンズを通して電荷結合素子（C C D ) 上にイメージを結像することにより、電気的に静止画を記録するカメラである。

デジタルスチルカメラ 1 2は、光信号を電気信号に変換する C C Dを有する光学回路 1 2 1と、光学回路 1 2 1を制御して画像を取得するための画像取得回路 1 2 2と、取得した画像データを加工処理するための画像処理回路 1 2 3 と、これらの各回路を制御する制御回路 1 2 4とを備えている。デジタルスチルカメラ 1 2は、さらに、ユーザインタ一フェースとしての選択 '決定ポタン 1 2 6と、撮影画像のプレビューやユーザインターフェースとして用いられる液晶ディスプレイ 1 2 7とを備えている。

デジタルスチルカメラ 1 2による撮影処理（画像データの取得処理）は、（1 ) ユーザによる撮影モードの設定、（2 )撮像（画像データの入力）、（3 )画像処理、（4 )画像ファイルの記録の順に行われる。撮影モードの設定には、レンズ焦点距離の設定が含まれている。レンズ焦点距離の設定は、レンズ（図示せず）の交換やズームレンズ（図示せず）の操作によって行われる。

撮像は、ユーザがシャッターを押すことにより行われる。シャッターが押されると、デジタルスチルカメラ 1 2に装着されたレンズで利用可能な焦点距離で撮像が行われる。たとえばユーザの操作で焦点距離を変更可能なズームレンズを使用して撮影した場合には、ユーザによって設定された焦点距離で撮像が行われ、元画像データが生成されることになる。

元画像データが生成されると、この画像データに保存用の画像処理が施される。この画像処理は、メモリカード MCに保存するための前処理である。一般的には、元画像データは写真画像の保存に適した J PEG形式に変換される。

J P EG形式に変換された後、この変換された画像データに撮影情報 P Iが加えられて画像ファイルが生成される。

撮影情報 P Iとは、撮影条件を表す情報であり、選択された測光方式を表す情報を含んでいる。デジタルスチルカメラ 1 2における画像データの取得処理は、画像ファイルをメモリカード MCに記録することにより完了する。なお、画像ファイルの構成については後述する。

図 3は、画像データを出力する出力装置としてのコンピュータ P Cとカラープリンタ 20の構成の概略を示すブロック図である。コンピュータ PCは、メモリカード MCから画像ファイルを読み出すことが可能なスロット 22と、力ラープリンタ 20に印刷を行わせるための印刷データを生成するための印刷データ生成回路 23とを備えている。印刷データ生成回路 23は、印刷データ生成のための演算処理を実行する演算処理装置（CPU) 231 と、 CPU 23 1において実行されるプログラムや CPU 231における演算処理結果その他のデータを格納するハードディスク 232と、これらのプログラムやデータを一時的に格納するランダムアクセスメモリ（RAM) 233とを備えている。カラ一プリンタ 20は、カラー画像の出力が可能なプリンタである。カラープリンタ 20は、たとえば、シアン（C)、マゼンタ（M)、イェロー（Y)、ブラック（Κ)の 4色のインクを印刷媒体上に吐出してドットパターンを形成し、これにより印刷画像を形成するインクジエツ卜方式のプリンタである。

Β. 画像ファイルの構造：

図 4は、本発明の実施例における画像ファイル G Fの構造の概略を示す説明図である。画像ファイル G Fは、デジタルスチルカメラ用画像ファイルフォーマット規格（Exif) に従ったファイル構造を有している。この規格は、日本電子情報技術産業協会（J E I TA) によって定められている。この規格では、画像データとして圧縮タイプの J P EGデータを格納する JPEG-Exif フアイルを、 Exifファイル（Ex 規格のファイル）に含めることが規定されている。画像ファイル G「は、圧縮データの先頭を示す SO Iマーカセグメント 1 0 1 と、 Exif の付属情報を格納する A P P 1マーカセグメント 1 02と、 Exif 拡張データを格納する AP P 2マーカセグメント 1 03と、量子化テーブルを定義する DQTマーカセグメント 1 04と、ハフマンテーブルを定義する DH Tマーカセグメント 1 05と、リスター卜マーカの揷入間隔を定義する DR I マーカセグメント 1 06と、フレームに関する各種パラメータを示す SO「マ一力セグメン卜 1 07と、スキャンに関する各種パラメータを示す SOSマ一力セグメント 1 08と、圧縮データの終了を示す EO Iマーカセグメント 1 0 9と、画像データ格納領域 1 1 0とを含んでいる。

A P P 1マ一力セグメト 1 02は、 A P P 1マーカ 1 021と、 Exif識別コード 1 022と、 T I F Fへッダその他の付属情報 1 023と、サムネイル画像 1 024とを格納している。この付属情報 1 023は、ファイルヘッダ（T I F Fヘッダ）を含む TIFFの構造を取つておリ、 Exif- JPEGでは、圧縮画像データに関する付属情報を格納する Oth IFD と、撮影情報 P Iを始めとする Exぱ固有の付属情報を格納する Ex IFDと、サムネイル画像に関する付属情報を格納する 1 stIFDとを含んでいる。 ExiflFDは、 Oth IFDに格納されている TIFFヘッダからのオフセットでポイントされる。 IFDでは、各情報を特定するためにタグが用いられておリ、各情報はタグ名によつて呼ばれることがあ。

図 5は、画像ファイル G Fの Exif IFDに格納される付属情報の一例を示す説明図である。付属情報には、バージョンに関するタグや撮影条件に関するタグを含む各種のタグが含まれている。撮影条件に関するタグには、露出時間やレンズ F値、 I SO感度、シャッタースピード、絞り値、輝度値、レンズ焦点距離、焦点面の幅の解像度、焦点面の高さの解像度、焦点面解像度単位、 35 _mm換算レンズ焦点距離その他の各パラメータ値が既定のオフセッ卜に従って撮影情報 P I として格納されている。撮影情報 P Iの記録は、前述のようにデジタルスチルカメラ 1 2において撮影時に行われる。

C. 第 1実施例におけるパノラマ合成処理：

図 6は、コンピュータ P Cにおけるパノラマ合成処理の処理ルーチンを示すフローチヤ一トである。ステップ S 1 00では、 C P U 231は、スロット 2 2に差し込まれたメモリカード MCから画像ファイル G Fを読み出すとともに、これを印刷データ生成回路 23が有する RAM 233に格納する。画像フアイル G Fは、 J PEGファイル形式の画像データを画像データ GDとして格納している。 J P EGファイル形式の画像データは、圧縮された Y C b C rデータとして構成されている。

ステップ S 1 1 0では、 C P U 231は、圧縮された Y C b C rデータを伸張した上で色変換処理を行う。この色変換処理により、 YCb C rデータは R GBデータに変換される。 RGBデータに変換するのは、パーソナルコンビュータ P Cやカラープリンタ 20における画像処理では、 RGBデータが用いられているからである。なお、 RG Bデータと Y C b C rデータは、いずれも複数の平面の画素（本明細書では平面画素とも呼ばれる。）が平面上に配列された平面画像として構成されている。

ステップ S 1 20では、 CPU 231は、 RGBデータに対して座標系変換処理を行う。この座標変換処理は、具体的には、平面画像である RGBデータを円筒座標系上に配置された円筒面に投影して円筒面上の画像データを生成する処理である。なお、以下では、このようにして生成された画像データを円筒 RGBデータと呼び、平面画像として構成された RGBデータを平面 RGBデ一夕と呼ぶ。

図 7 (a) および図 7 (b) は、平面 RGBデータ M I と円筒座標系上の投影面 CY Lとの間の位置関係を示す説明図である。図 7 (a) は、デジタルスチルカメラ 1 2の光学系と撮像素子との間の位置関係を示している。この光学系は、レンズ Lとして示されている。撮像素子は、平面の受光面をする CCD (Ch a r g e— Co u p l e d D e v i c e) として構成されている。レンズ Lは、デジタルスチルカメラ 1 2の光学系が有する複数のレンズを、同一の効果を有する 1枚のレンズに置き換えたものである。レンズ Lの中心は主点と呼ばれ、主点を通り光軸 L a x i sに垂直な面は主平面と呼ばれる。レンズ Lに関しては、さらに被写体を示す物体面と、被写体からの光を結像する結像面とが定義されている。物体面および結像面は、主平面から光軸方向に、それぞれ被写体側距離 a，結像面側距離 bだけ離れた位置に定義されている。撮像素子は、この結像面に受光面を一致させるように配置されている。これによリ物体面上の被写体からの光がレンズ Lを通つて撮像素子の受光面上に結 I»口像されることになる。

図 7 (b) は、平面 RGBデータ M Iが投影面 CY L上に投影される様子を示している。平面 RGBデータ M Iは撮像素子を用いて生成された画像データなので、その各平面画素 PX Lの画素値は、もともとは結像面に配置された撮像画素に入射した光に応じて生成された値ということになる。

投影面 CY Lは、円筒座標系の軸 Ca x i sから結像面側距離 bだけ離れた複数の点の集合である円筒面の一部として設定されている。軸 Ca x ί sは、図 7 (a) の主点に対応する点 P Pを通り平面 RGBデータ M Iの上下方向に伸びる軸である。結像面側距離 bは、レンズ焦点距離にほぼ一致することが分かっている。レンズ焦点距離は、画像ファイル G Fの ExiflFD (図 5) に格納されているものを利用することができる。これにより、軸 Ca x i s方向の大きさ Zoと角度 θ₀とで定義された複数の円筒画素を有する円筒画像を投影面 C Y L上に構成可能となる。

図 8は、本発明の第 1実施例における座標変換処理の処理ルーチンを示す説明図である。ステップ S 2 1 0では、 C P U 2 3 1は、画像ファイル G Fから座標変換処理に用いるデータを読み出す。座標変換処理に用いるデータには、レンズ焦点距離と、焦点面解像度単位と、焦点面の幅の解像度と、焦点面の高さの解像度とが含まれている。レンズ焦点距離とは、撮影レンズの実焦点距離であり、前述のように仮想の 1枚の凸レンズの中心から光が結像する撮像素子までの距離とほぼ一致する。

焦点面解像度単位とは、焦点面の幅の解像度および焦点面の高さの解像度の測定単位を規定している。焦点面の幅の解像度は、焦点面解像度単位あたりの画像幅方向の画素数を表している。焦点面の高さの解像度は、焦点面解像度単位あたりの画像高さ方向の画素数を表している。ここで焦点面とは、被写体からの光を結像する結像面であり、前述のように撮像素子の受光面と一致する。ステップ S 2 2 0では、 C P U 2 3 1は以下の処理を行う。

( 1 ) 図 7 ( b ) に示される円筒座標系を定義する。

( 2 ) 円筒座標系上に円筒座標系の軸 C a X i sを中心とする円筒面を設定する。なお、本実施例では、説明を分かりやすくするためにレンズ焦点距離を上述の一定の距離としている。

( 3 ) 円筒座標系上の所定の位置に平面 R G Bデータを配置する。

平面 R G Bデータの配置は、軸 C a x i sからレンズ焦点距離だけ離れた位置に、平面 R G Bデータの高さ方向に伸びる中心線 C Lが軸 C a X i sと平行となる向きで行われる。平面 R G Bデータの高さ方向に伸びる中心線 C Lが軸 C a x i sと平行となる向きに配置するのは、一般に幅方向に接続される場合が多いパノラマ合成処理において、各画像の幅方向の画像の歪みを抑制するためである。

ステップ S 2 3 0では、 C P U 2 3 1は、平面 R G Bデータの平面画素の大きさと、投影面 CY L上の円筒画素の大きさとを決定する。平面画素の大きさは、具体的には、焦点面解像度単位を焦点面の幅の解像度で除することにより幅方向の画素の大きさが、焦点面解像度単位を焦点面の高さの解像度で除することにより高さ方向の画素の大きさが、それぞれ決定できる。このようにして決定された平面画素の大きさは、撮像素子から得られるデータをリサンプリングしない場合には、撮像素子の画素の大きさに一致することになる。

図 9 (a) および図 9 (b) は、軸 C a x i sの方向から見た平面 R G Bデ一夕と投影面 CY Lとの間の位置関係を示す説明図である。図 9 (a) は、図 7 (b) を上方から見た図である。図 9 (b) は、図 9 (a) の一部を拡大した図である。図 9 (a) には、平面 RG Bデータ M I内に複数の平面画素列 C が示されている。平面画素列 Cとは、平面 RGBデータ M I内において高さ方向に並ぶ複数の平面画素から構成される画素列である。図 9 (a) には、平面画素列 C 5 Lから平面画素列 C 5 Rまでの 1 1列の平面画素列が示されている c 各平面画素列 Cに含まれる平面画素は、すべて同一の高さ Zo (軸 C a X i s方向）を有している。

図 9 (a) には、さらに投影面 CY L内に複数の円筒画素列 Pが示されている。円筒画素列 Pは、投影面 CY L内において高さ方向に並ぶ複数の円筒画素から構成される画素列である。図 9 (a) には、円筒画素列 P 4 Lから円筒画素列 P 4 Rまでの 9列の円筒画素列 Pが示されている。各円筒画素列 Pは、すベて同一の角度 θοの幅を有している。各円筒画素列 Ρに含まれる円筒画素は、平面画素と同様にすベて同一の高さ Zo (図示せず）を有している。

円筒画素の幅を表す角度 θ₀は、光軸 L a X i sの近傍の平面画素 PX Lを基準に設定される。具体的には、平面画素列 COを投影面 CY Lに投影することにより円筒画素列 P 0が決定され、この決定された円筒画素列 P Oの角度 θ₀ が各円筒画素列の角度となる。このように円筒画素（図示せず）を設定することにより、投影面 CY Lに円筒画像を構成することが可能となる（ステップ S 240)。

ステップ S 250では、 CP U 231は、平面 RGBデータ M Iの平面画素の各画素値から円筒画素の各画素値を算出する。図 9 (b) は、前述のように図 9 (a) の一部を拡大した図であり、共 1次内挿法で円筒画素の各画素値を算出する方法を説明するための図である。なお、以下の算出例では、説明を分かりやすくするために平面 RGBデータは、高さ方向に 1行のみの平面画素を有する 1次元のデータと仮定しているが、高さ方向に同様の処理を行うことによリ容易に 2次元データへも拡張することができる。

図 9 (b)には、円筒画素 P 3 Rと、円筒画素 P 3 Rの中心線 P 3 RC Lと、中心線 P 3 RC Lの平面 RGB画像データ M Iへの投影点 X 1とが示されている。中心線 P 3 RC Lは、軸 C a X i s (図 9 (a)) から円筒画素 P 3 Rの中心に向かって伸びる線である。

円筒画素 P 3 Rの画素値は、平面画素 C3 R、 C 4 Rの画素値から以下のようにして算出することができる。投影点 X 1は、平面画素 C 3 R中に投影されており、平面画素 C 3 Rの中心位置から距離 50 a、平面画素 C 4 Rの中心位置から距離 50 bだけ離れた位置にある。これらの距離 50 a、 5 O bは、 C P U 231によって平面 RGBデータとレンズ焦点距離とから求めることができる。

円筒画素 P 3 Rの画素値は、共 1次内挿法による場合には計算式（（平面画素 C 3 Rの画素値 X距離 50 b +平面画素 C 4 Rの画素値 X距離 50 a ) （距離 50 a +距離 50 b))で容易に出することができる。なお、計算方法としては、 3次畳み込み内挿法その他の算出方法がある。このように、画像データの合成に先立って平面 RGBデータ M Iを円筒面に投影する理由は以下のとおりである。

図 1 0は、平面の撮像素子を用いて画像データを生成する際に生ずる画像の歪みを示す説明図である。この図には、同一地点から同一の被写体 mを別々の角度で撮影することにより生成された 2つの平面 RGBデータ M 1 , M2が示されている。 2つの平面 RG Bデータ M 1， M2は、それぞれ 2つの光軸 L a X i s 1、 L a X i s 2で撮影されたものである。平面 R G Bデータ M 1では、被写体 mは画像の中央部に配置されているのに対し、平面 R G Bデータ M 2では、被写体 mは画像の左端部に配置されている。

図 1 0から分かるように、被写体 mは、平面 RGBデータ M 1では平面画素とほぼ同一の見かけ大きさを有するのに対して、平面 RG Bデータ M2では平面画素より大きな見かけの大きさを有する。このように、被写体 mの平面 RG Bデータにおける見かけの大きさは、被写体 mが画像のどの位置に配置されているかで異なる。この結果、画像の歪みが生ずることになる。

一方、図 1 0から分かるように、円筒面上に生成された円筒画像では、被写体 mの画像上の位置に拘わらず被写体 mの見かけ上の大きさが同一である。このように、平面画像を円筒状の投影面に投影して円筒画像に変換することによリ上記の幅方向の歪みを小さくすることが可能である。また、図 1 1に示されるような球座標面に投影するようにすれば、高さ方向と幅方向の双方に生ずる歪みを小さくすることができる。このような構成は、複数の画像を高さ方向に合成する場合に顕著な効果を奏する。

図 1 2は、風景 V i ewから焦点距離が同一の 2つの円筒画像データが生成される様子を示す説明図である。 2つの円筒画像データは、図 1 2 (a) に示される 2つのフレーム Fa 1、 F b 1で撮影することにより生成されたデータである。図 1 2 (b) に示される画像データは、フレーム F a 1で撮影され円筒画像に変換されたデータを展開したものであり、図 1 2 (c) に示される画像データは、フレーム F b 1で撮影され円筒画像に変換されたデータを展開したものである。

ステップ S 1 30では、 CPU 231は、 2つの円筒画像データに対して特徵点抽出処理を行う。特徴点抽出処理は、画像中の被写体の外観的特徴を良く表す特徴点を抽出するための処理である。図 1 3 (a)、図 1 3 (b)、および図 1 3 (c) は、各円筒画像データにおいて抽出された特徴点を示す説明図である。なお、各特徴点は、必ずしも画素 1個分の大きさである必要はなく、複数の画素から構成される領域であっても良い。

特徴点抽出処理は、たとえば以下に示す方法で行うことが可能である。まず、 CPU 231は、ソーベルフィルタその他の輪郭線抽出フィルタを用いて点の集合としての輪郭線を抽出する。図 1 3 (a) は、円筒画像データ P I CT a

0 (図 1 2 (b)) に対して輪郭線抽出処理を行って生成された輪郭線データ P

1 CT a 1を示している。

つぎに CPU 231は、抽出された輪郭線としての点の集合から S RA(S ί d e e f f e c t r e s amp l i n g A I g o r i t mノその他の再標本化アルゴリズムを用いて特徴点を抽出する。図 1 3 (b) は、輪郭線データ P I CT a 1に対して特徴点抽出処理を行って生成された特徴点データ P I CT a 2を示している。図 1 3 (c) は、輪郭線データ P I CT b 1 (図示せず）に対して特徴点抽出処理を行って生成された特徴点データ P I CT b 2を示している。

特徴点データ P I C T a 2は、 2つの特徴点 C a 1 , C a 2を含んでおリ、特徴点データ P I C T b 2は、 2つの特徵点 C b 1 , C b 2を含んでいる。なお、図 1 3 (b) および図 1 3 (c) では、説明を分かりやすくするために輪郭線が重畳して示されている。

ステップ S 1 40では、 C P U 231は、 2つの特徵点データ P I CT a 2、 P I CT b 2に対して対応点探索処理を行う。対応点探索処理とは、複数の画像相互間において対応する特徴点を探索する処理である。この処理は、パノラマ合成の対象となる複数の画像データ相互間において同一の被写体中の同一の部位を決定するための処理である。

対応点探索処理は、たとえば以下の基準を満たす複数の特徴点の集合を探索することにより処理することができる。

(1 ) 特徵点の周囲の画素（たとえば 3x3の画素）の画素値の差が所定の闘値内である。このようにして対応づけられた特徴点を近似特徴点と呼ぶ。

(2) 各特徴点データにおいて複数の近似特徴点が同一の位置関係を有する。このようにして対応づけられた近似特徴点が対応点と判断される。

図 1 4は、対応点探索処理が行われる様子を示す説明図である。特徴点データ P I C T a 2は、 2つの特徵点 C a 1 , C a 2を含んでおリ、 P I C T b 2 は、 2つの特徴点 C b 1， C b 2を含んでいる。特徴点 C a 1 と特徵点 C b 1 は、同一の被写体を表しているので周囲の画素の画素値が近似している。この結果、特徴点 Ca 1 と特徴点 C b 1は、それぞれ対応する近似特徴点となる。また、特徴点 Ca 2と特徴点 C b 2も同様に対応する近似特徴点となる。

特徴点データ P I CT a 2においては、近似特徴点 C a 1の上方右側に近似特徴点 C a 2が配置されているという位置関係が認められる。一方、特徴点データ P I C T b 2においては、近似特徴点 C a 1に近似する近似特徴点 C b 1 の上方お側に近似特徴点 C a 2に近似する近似特徴点 C b 2が配置されている _c このように各特徴点データ P I CT a 2、 P I CT b 2において複数の近似特徵点が同一の位置関係を有していることが分かる。これにより、特徴点データ P I CT a 2の特徴点 C a 1は、特徴点データ P I C T b 2の特徴点 C b 1に対応し、特徴点データ P I C T a 2の特徴点 C a 2は、特徴点データ P I CT b 2の特徴点 C b 2に対応していることが判断できる。

ステップ S 1 50では、 CPU231は、 2つの円筒画像データの合成処理を行う。合成処理とは、対応する特徴点が一致するように複数の画像データを合成する処理である。

図 1 5 (a) および図 1 5 (b) は、合成処理の内容を示す説明図である。合成処理は、対応する特徴点が近づくように 2つの画像の位置関係を決定した後に、対応する特徴点の位置が一致するように各画像を局所的に変形させることにより行われる。

図 1 5 ( a ) は、対応する特徴点が近づくように 2つの特徴点データ P I C T a 2、 P I C T b 2が配置された様子を示している。この例では、特徴点データ P I C T a 2が有する特徴点 C a 1は、特徴点データ P I C T b 2が有する特徴点 C b 1の右側近傍に存在する。また、特徴点データ P I C T a 2が有する特徴点 C a 2は、特徴点データ P I C T b 2が有する特徴点 C b 2の左側近傍に存在する。

このような配置となっているのは、本実施例では、各画像の歪みにより特徴点 C a 1と特徴点 C a 2との間の距離が、特徴点 C b 1と特徴点 C b 2との間の距離よりも、画像の歪みによって小さくなつているからである。各画像の歪みが存在するのは、図 1 0に示される画像の歪みが抑制されているものの、レンズの収差による歪みが残つているからである。このように各画像が歪んでいることを想定する場合には、たとえば対応する特徴点の距離の二乗和が最小となるように 2つの画像の位置関係を決定することが好ましい。

つぎに各対応点の位置関係をべクトルデータとして生成する。このべクトルデータは、各対応点が一致するように各画像データを局所的にァフィン変換する際に用いられる。このようにして、合成された 1つの円筒画像が図 1 5 ( b ) に示されている。この円筒画像を幅方向に展開することにより連続する平面画像を生成することができる（ステップ S 1 6 0 )。

このように、本実施例では、デジタルスチルカメラ 1 2において画像データを生成する際の光学系と撮像素子の位置関係を再現した円筒座標系で画像を合成することにより、同一の焦点距離で平面の撮像素子を用いて画像を生成する際に生ずる幅方向の画像の歪みが低減されているので、平面の撮像素子を用いて生成された複数の画像データの合成処理において生ずる画質の劣化を抑制することができる。

なお、特許請求の範囲における焦点距離決定部、合成領域設定部、球面画像生成部、特徴点抽出部、対応関係決定部、球面画像合成部、および平面画像生成部の機能は、 CPU 231によって果たされる。

D. 第 2実施例におけるパノラマ合成処理：

図 1 6 ( 3)、図1 6 (b)、および図 1 6 (c) は、焦点距離が異なる 2つの画像データから連続する 1つの画像を表す画像データが生成される様子を示す説明図である。 2つの円筒画像データは、図 1 6 (a) に示される 2つのフレーム F f 1、 F n 1で撮影することにより生成された画像データである。 2 つのフレーム F f 1、 F n 1のサイズ（画角）が異なっているのは、ズームレンズの操作やレンズの交換によって焦点距離が変更されているからである。具体的には、比較的長い焦点距離でフレーム F f 1の画像データが生成され、比較的短い焦点距離でフレーム F n 1の画像データが生成されている。

図 1 6 (b) は、 2つの画像データから生成される 1つの画像データのフレ —ム F 3を示している。フレーム F 3のサイズは、 2つのフレーム F f 1、 F n 1を合成して生成された画像の幅を有し、 2つのフレーム F f 1、 F n 1のうち焦点距離が長い（画角が小さい）側のフレーム F f 1が有する高さにトリムされている。図 1 6 (c) は、このようにして決定されたフレーム F3を有するように生成された連続平面画像 P I CT 2を示している。

図 1 7は、焦点距離が異なる 2つの画像データから 2つの円筒画像データが生成される様子を示す説明図である。平面 RGBデータ M I nは、フレーム F n 1で撮影することにより生成された画像データである。平面 RGBデータ M I f は、フレーム F f 1 (図 1 6 (a)) で撮影することにより生成された画像データである。平面 RGBデータ M I nと平面 RGBデータ M I f は、円筒座標系の軸 Ca x i sから光軸 L a x i _S方向に、それぞれ焦点距離 R nと焦点距離 R f だけ離れた位置に配置されている。焦点距離 R nおよび焦点距離 R f は、各画像ファイル G Fの E X i f I F Dから読み出されたレンズ焦点距離の値である。円筒座標系上の投影面 CY Lは、円筒座標系の軸 Ca x i sを中心にして焦点距離 R f を半径として設定された投影面である。焦点距離 R f は、 2つの平面 RGBデータ M I n、 M I f の撮影で設定された異なる 2つの焦点距離のうち長い方である。円筒画素の幅を表す角度 θοは、平面 RGBデータ M I f の平面画素（図示せず）を基準にして第 1実施例と同様の方法（図 9 (a)) で設定される。

平面 RGBデータ M I f の平面画素を基準にして円筒画素の角度 θ₀を設定しているのは、平面 RGBデータ M I nを基準とすると、平面 RGBデータ M I f に対して円筒画素の角度 θ₀が過大となって平面 RGBデータ M I f が有する情報を失うことになるからである。一方、円筒画素の角度 θ₀をこれ以上に小さくすると、円筒画像のデータ量が平面 RGBデータ M I f 、 M I nが有する情報に対して過大となるからである。

円筒画素 P 4 Lの画素値は、第 1実施例と同様に平面 RGBデータ M I f 、 M I nの平面画素の画素値から以下のようにして算出することができる。平面 RGBデータ M I f を変換して生成される円筒画像の画素 P 4 Lは、平面 RG Bデータ M I f の 2つの画素 C 4 L f 、 C 5 L f の画素値から算出される。一方、平面 RGBデータ M I nを変換して生成される円筒画像の画素 P 4 Lは、平面 RGBデータ M I nの 2つの画素 C 2 L n、 C 3 L nの画素値から算出される。

このように、本発明は、焦点距離が異なる 2つの画像データに対してパノラマ合成処理を行う場合にも適用することができる。

E. 変形例：

なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

E— 1. 上記各実施例では、円筒形状を有する投影面上に配置された円筒画像データを展開することによって連続する 1つの平面画像を生成しているが、たとえば円筒形状や球形状を有する投影面上に構成された画像データを平面に投影することによって連続する 1つの平面画像を生成するようにしても良い。本発明で使用される平面画像生成部は、一般に、球面画像データや円筒画像データといった画像データから連続する平面画像を表す画像データを生成するように構成されたものであれば良い。

E - 2 . 上記各実施例では、各画像ファイル G Fの E X I F I F Dに格納されたレンズ焦点距離を用いて円筒座標系に座標変換しているが、たとえば各画像ファイル G Fの E X I F I F Dに格納された 3 5 m m換算レンズ焦点距離を用いて円筒座標系に座標変換するようにしても良い。

この場合には、平面 R G Bデータの平面画素の大きさは、 3 5 m mフィルムサイズと画素数とに応じて決定することができる。具体的には、画素の高さは、 3 5 mmフィルムサイズの高さ方向の長さを高さ方向の画素数で除することによって算出することができ、画素の幅は、 3 5 m mフィルムサイズの幅方向の長さを幅方向の画素数で除することによって算出することができる。

E— 3 .上記各実施例では、 Y C b C rデータを R G Bデータに変換した後に、パノラマ合成処理が行われているが、 Y C b C rデータを R G Bデータに変換する前に、パノラマ合成処理を行うようにしても良い。後者の場合には、たとえば人間の感度が高い輝度情報のみに基づいて特徴点の抽出や対応点の探索を行うように構成することができる。こうすれば、画質を過度に劣化させることなく少ない計算量でパノラマ合成処理を実現することができるという利点がある。

E— 4 . 上記実施例では、パーソナルコンピュータが画像処理装置として機能しているが、たとえばカラ一プリンタやデジタルスチルカメラが画像処理装置の機能を有するようにしても良い。また、本発明は、カラー印刷だけでなくモノクロ印刷にも適用可能である。 E-5. 上記実施例では、出力装置としてインクジェットカラープリンタが使用されているが、本発明は、 CRTディスプレイや LCDディスプレイといつたモニタの他プロジェクタその他の画像を表示可能な装置を出力装置として用いる場合に適用できる。

本発明の機能の一部または全部がソフトウエアで実現される場合には、そのソフトウエア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンビュータ読み取り可能な記録媒体」とは、フレキシブルディスクや CD— ROMのような携帯型の記録媒体に限らず、各種の RAMや ROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。産業上の利用可能性

この発明は、コンピュータの出力装置に適用可能である。

Claims

請求の範囲

1 . 複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された 1つの連続する連続平面画像を表す画像データを生成する画像処理装置であって、

所定の点を中心とする球面状の投影面を、前記複数の画像データを合成するための領域として設定する合成領域設定部と、

前記各画像データが表す各平面画像を、前記投影面に投影することにょリ複数の球面画像を生成する球面画像生成部と、

前記複数の球面画像の各々から所定の特徴を有する領域である特徴点を抽出する特徴点抽出部と、

前記複数の球面画像相互間において、前記抽出された特徴点の対応関係を決定する対応関係決定部と、

前記決定された対応関係に応じて、前記球面画像の各々を表す複数の画像デ一夕を合成することによって、一つの連続する球面画像を表す画像データである連続球面画像データを生成する球面画像合成部と、

前記連続球面画像データから前記連続平面画像を表す画像データを生成する平面画像生成部と、

を備えることを特徴とする、画像処理装置。

2 . 請求項 1記載の画像処理装置であって、

前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、

前記画像処理装置は、さらに、前記画像属性情報に応じて、前記複数の画像データの生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部を備え、前記球面画像生成部は、前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の点から前記投影面側に離れた位置に配置して、前記投影面に投影することにより複数の球面画像を生成する、画像処理装置。

3 . 請求項 1または 2に記載の画像処理装置であって、

前記画像属性情報は、撮影レンズの実焦点距離を表すレンズ焦点距離と、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、

前記焦点距離決定部は、前記レンズ焦点距離を前記焦点距離に決定し、— 前記球面画像生成部は、前記焦点面解像度単位を前記焦点面の幅の解像度で除することにより幅方向の画素の大きさを決定するとともに、前記焦点面解像度単位を前記焦点面の高さの解像度で除することにより高さ方向の画素の大きさを決定する、画像処理装置。

4 . 請求項 1または 2に記載の画像処理装置であって、

前記画像属性情報は、 3 5 m mフイルムカメラに換算した焦点距離の値である 3 5 m m換算レンズ焦点距離を含んでおり、

前記焦点距離決定部は、前記 3 5 m m換算レンズ焦点距離を前記焦点距離に決定し、

前記球面画像生成部は、 3 5 m mフイルムサイズを前記平面画像のサイズに決定する、画像処理装置。

5 . 請求項〗ないし 4のいずれかに記載の画像処理装置であって、前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおリ、

前記球面画像生成部は、

前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで除した角度で高さ方向に分割されるとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を球面画素として前記球面上に設定する球面画素設定部と、

前記球面画素の各々に投影される平面画素の画素値に応じて、前記球面画素の各々の画素値を決定する球面画素値決定部と、

を備える画像処理装置。

6 . 複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファィルに応じて、前記複数の画像ファィルに含まれた複数の画像データが合成された 1つの連続する連続平面画像を表す画像データを生成する画像処理装置であって、

所定の軸を中心とする円筒状の投影面を、前記複数の画像データを合成するための領域として設定する合成領域設定部と、

前記各画像データが表す各平面画像を、前記投影面に投影することによリ複数の円筒画像を生成する円筒画像生成部と、

前記複数の円筒画像の各々から所定の特徴を有する領域である特徴点を抽出する特徴点抽出部と、

前記複数の円筒画像相互間において、前記抽出された特徴点の対応関係を決定する対応関係決定部と、

前記決定された対応関係に応じて、前記円筒画像の各々を表す複数の画像データを合成することによって、一つの連続する円筒画像を表す画像データである連続円筒画像データを生成する円筒画像合成部と、

前記連続円筒画像データから前記連続平面画像を表す画像データを生成する平面画像生成部と、

を備えることを特徴とする、画像処理装置。

7 . 請求項 6記載の画像処理装置であって、

前記円筒画像生成部は、前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の軸から前記投影面側に離れた位置に配置して、前記投影面に投影することにより複数の円筒画像を生成する、画像処理装置。

8 . 請求項 6または 7に記載の画像処理装置であって、

前記円筒画像生成部は、前記画像データにおいて設定された高さ方向と平行に前記軸を設定する、画像処理装置。

9 . 請求項 6ないし 8のいずれかに記載の画像処理装置であって、前記画像属性情報は、撮影レンズの実焦点距離を表すレンズ焦点距離と、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、

前記焦点距離決定部は、前記レンズ焦点距離を前記焦点距離に決定し、前記球面画像生成部は、前記焦点面解像度単位を前記焦点面の幅の解像度で除することにより幅方向の画素の大きさを決定するとともに、前記焦点面解像度単位を前記焦点面の高さの解像度で除することにより高さ方向の画素の大きさを決定する、画像処理装置。

1 0 . 請求項 6ないし 8のいずれかに記載の画像処理装置であって、前記画像属性情報は、 3 5 m mフイルムカメラに換算した焦点距離の値である 3 5 m m換算レンズ焦点距離を含んでおリ、

前記焦点距離決定部は、前記 3 5 m m換算レンズ焦点距離を前記焦点距離として決定し、

前記球面画像生成部は、 3 5 m mフィルムサイズを前記平面画像のサイズとして決定する、画像処理装置。

1 1 . 請求項 6ないし 1 0のいずれかに記載の画像処理装置であって、前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたリの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおリ、

前記円筒画像生成部は、

前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで値で前記軸方向に分割されるとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を円筒画素として前記円筒上に設定する円筒画素設定部と、

前記円筒画素の各々に投影される平面画素の画素値に応じて、前記円筒画素の各々の画素値を決定する円筒画素値決定部と、

を備える画像処理装置。

1 2 . 複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファィルに含まれた複数の画像データが合成された 1つの連続する連続平面画像を表す画像データを生成する画像処理方法であって、

( a ) 所定の点を中心とする球面状の投影面を、前記複数の画像データを合成するための領域として設定する工程と、

(b) 前記各画像データが表す各平面画像を、前記投影面に投影することによリ複数の球面画像を生成する工程と、

(c) 前記複数の球面画像の各々から所定の特徴を有する領域である特徴点を抽出する工程と、

(d) 前記複数の球面画像相互間において、前記抽出された特徴点の対応関係を決定する工程と、

(e) 前記決定された対応関係に応じて、前記球面画像の各々を表す複数の画像データを合成することによって、一つの連続する球面画像を表す画像データである連続球面画像データを生成する工程と、

( f ) 前記連続球面画像データから前記連続平面画像を表す画像データを生成する工程と、

を備えることを特徴とする、画像処理方法。

1 3. 複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された 1つの連続する連続平面画像を表す画像デ -タを生成する画像処理方法であって、

(a) 所定の軸を中心とする円筒状の投影面を、前記複数の画像データを合成するための領域として設定する工程と、

(b) 前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の軸から前記投影面側に離れた位置に配置して、前記投影面に投影することにより複数の円筒画像を生成する工程と、

(c) 前記複数の円筒画像の各々から所定の特徴を有する領域である特徴点を抽出する工程と、

(d) 前記複数の円筒画像相互間において、前記抽出された特徴点の対応関係を決定する工程と、 ( e ) 前記決定された対応関係に応じて、前記円筒画像の各々を表す複数の画像データを合成することによって、一つの連続する円筒画像を表す画像データである連続円筒画像データを生成する工程と、

( f ) 前記連続円筒画像データから前記連続平面画像を表す画像データを生成する工程と、

を備えることを特徴とする、画像処理方法。

1 4 . 複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファィルに応じて、前記複数の画像ファィルに含まれた複数の画像データが合成された 1つの連続する連続平面画像を表す画像デ一夕の生成をコンピュータに行わせるためのコンピュータプログラム製品であつて、

コンピュータ読み取り可能な媒体と、

前記コンピュータ読み取リ可能な媒体に格納されたコンピュータプログラムを備え、

前記コンピュータプログラムは、

所定の点を中心とする球面状の投影面を、前記複数の画像データを合成するための領域として前記コンピュータに設定させる第 1のプログラムと、前記各画像データが表す各平面画像を、前記投影面に投影することによリ複数の球面画像を前記コンピュータに生成させる第 2のプログラムと、

前記複数の球面画像の各々から所定の特徴を有する領域である特徴点を前記コンピュータに抽出させる第 3のプログラムと、

前記複数の球面画像相互間において、前記抽出された特徴点の対応関係を前記コンピュータに決定させる第 4のプログラムと、

前記決定された対応関係に応じて、前記球面画像の各々を表す複数の画像データを合成することによって、一つの連続する球面画像を表す画像データである連続球面画像データを前記コンピュータに生成させる第 5のプログラムと、前記連続球面画像データから前記連続平面画像を表す画像データを前記コンピュータに生成させる第 6のプログラムと、

を備えるコンピュータプログラム製品。

1 5 . 複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファィルに応じて、前記複数の画像ファィルに含まれた複数の画像データが合成された 1つの連続する連続平面画像を表す画像デ一夕の生成をコンピュータに行わせるためのコンピュータプログラム製品であつて、

コンピュータ読み取り可能な媒体と、

所定の軸を中心とする円筒状の投影面を、前記複数の画像データを合成するための領域として前記コンピュータに設定させる第 1のプログラムと、前記各画像データが表す各平面画像を、前記投影面に投影することによリ複数の円筒画像を前記コンピュータに生成させる第 2のプログラムと、

前記複数の円筒画像の各々から所定の特徴を有する領域である特徴点をコンピュータに抽出させる第 3のプログラムと、

前記複数の円筒画像相互間において、前記抽出された特徴点の対応関係を前記コンピュータに決定させる第 4のプログラムと、

前記決定された対応関係に応じて、前記円筒画像の各々を表す複数の画像デ一夕を合成することによって、一つの連続する円筒画像を表す画像データである連続円筒画像データを前記コンピュータに生成させる第 5のプログラムと、前記連続円筒画像データから前記連続平面画像を表す画像データを前記コンピュータに生成させる第 6のプログラムと、を備えるコンピュータプログラム製品。