JP4487775B2

JP4487775B2 - 複数の画像データのパノラマ合成処理

Info

Publication number: JP4487775B2
Application number: JP2004544960A
Authority: JP
Inventors: 真大内
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-10-15
Filing date: 2003-10-15
Publication date: 2010-06-23
Anticipated expiration: 2023-10-15
Also published as: EP1553521A1; WO2004036498A1; US20060062487A1; CN1703725A; JPWO2004036498A1; CN100401320C; EP1553521A4

Description

本発明は、複数の画像データを合成する画像処理技術に関する。

近年、デジタルスチルカメラ（ＤＳＣ）を用いて写真を撮影し、その写真を表す画像データをコンピュータ内に保存することが日常的に行われるようになってきた。また、複数の画像データを合成して連続する１つの画像を表す画像データを生成するパノラマ合成処理と呼ばれる処理も行われている。
しかし、デジタルスチルカメラによって生成された画像は、特に周辺部において歪みを有している。この歪みは、複数の画像データを合成する場合において、接続される画像領域の画質を劣化させるという問題の原因となっていた。この歪みの１つの要因は、デジタルスチルカメラの光学系から入力された光が平面の受光面を有する撮像素子に投影されることに起因するものである。

この発明は、従来技術における上述の課題を解決するためになされたものであり、平面の撮像素子を用いて生成された複数の画像データの合成処理において生ずる画質の劣化を抑制する技術を提供することを目的とする。
上述の課題の少なくとも一部を解決するため、本発明の第１の態様は、複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された１つの連続する連続平面画像を表す画像データを生成する画像処理装置であって、所定の点を中心とする球面状の投影面を、前記複数の画像データを合成するための領域として設定する合成領域設定部と、前記各画像データが表す各平面画像を、前記投影面に投影することにより複数の球面画像を生成する球面画像生成部と、前記複数の球面画像の各々から所定の特徴を有する領域である特徴点を抽出する特徴点抽出部と、前記複数の球面画像相互間において、前記抽出された特徴点の対応関係を決定する対応関係決定部と、前記決定された対応関係に応じて、前記球面画像の各々を表す複数の画像データを合成することによって、一つの連続する球面画像を表す画像データである連続球面画像データを生成する球面画像合成部と、前記連続球面画像データから前記連続平面画像を表す画像データを生成する平面画像生成部と、を備えることを特徴とする。
本発明の第１の態様によれば、所定の点を中心とする球面状の投影面が、これらの複数の画像データを合成するための領域として設定されるとともに、これらの複数の画像データの各々が表す各平面画像を、設定された投影面に投影することにより複数の球面画像が生成され、この球面画像が合成される。このように本態様では、球面状の投影面上で画像が合成されるので、平面の撮像素子を用いて生成された複数の画像データの合成処理において生ずる画質の劣化を抑制することができる。
上記画像処理装置において、前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、
前記画像処理装置は、さらに、前記画像属性情報に応じて、前記複数の画像データの生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部を備え、
前記球面画像生成部は、前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の点から前記投影面側に離れた位置に配置して、前記投影面に投影することにより複数の球面画像を生成するようにしても良い。
こうすれば、複数の画像データがたとえば撮影時におけるズーム操作によって異なる倍率で生成されていてもパノラマ合成を行うことができる。
上記画像処理装置において、前記画像属性情報は、撮影レンズの実焦点距離を表すレンズ焦点距離と、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、前記焦点距離決定部は、前記レンズ焦点距離を前記焦点距離に決定し、前記球面画像生成部は、前記焦点面解像度単位を前記焦点面の幅の解像度で除することにより幅方向の画素の大きさを決定するとともに、前記焦点面解像度単位を前記焦点面の高さの解像度で除することにより高さ方向の画素の大きさを決定するようにしても良いし、
前記画像属性情報は、３５ｍｍフィルムカメラに換算した焦点距離の値である３５ｍｍ換算レンズ焦点距離を含んでおり、前記焦点距離決定部は、前記３５ｍｍ換算レンズ焦点距離を前記焦点距離に決定し、前記球面画像生成部は、３５ｍｍフィルムサイズを前記平面画像のサイズに決定するようにしても良い。
上記画像処理装置において、前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、前記球面画像生成部は、前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで除した角度で高さ方向に分割されるとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を球面画素として前記球面上に設定する球面画素設定部と、前記球面画素の各々に投影される平面画素の画素値に応じて、前記球面画素の各々の画素値を決定する球面画素値決定部とを備えるようにすることが好ましい。
このように、決定された焦点距離のうちの最大のものを基準にして球面画素を設定するようにすれば、最も小さな画素を有する平面画像の情報量を減らすことなく、さらに、平面画像から生成される球面画像の情報量を過大とすることもなくパノラマ合成処理を行うことができる。
本発明の第２の態様は、複数の平面画素が平面上に配列された平面画像として構成された画像データと、前記画像データの属性情報である画像属性情報とをそれぞれ含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された１つの連続する連続平面画像を表す画像データを生成する画像処理装置であって、前記画像属性情報に応じて、前記複数の画像データの生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部と、所定の軸を中心とする円筒状の投影面を、前記複数の画像データを合成するための領域として設定する合成領域設定部と、前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の軸から前記投影面側に離れた位置に配置して、前記投影面に投影することにより複数の円筒画像を生成する円筒画像生成部と、前記複数の円筒画像の各々から所定の特徴を有する領域である特徴点を抽出する特徴点抽出部と、前記複数の円筒画像相互間において、前記抽出された特徴点の対応関係を決定する対応関係決定部と、前記決定された対応関係に応じて、前記円筒画像の各々を表す複数の画像データを合成することによって、一つの連続する円筒画像を表す画像データである連続円筒画像データを生成する円筒画像合成部と、前記連続円筒画像データから前記連続平面画像を表す画像データを生成する平面画像生成部とを備えることを特徴とする。
上記画像処理装置において、前記円筒画像生成部は、前記画像データにおいて設定された高さ方向と平行に前記軸を設定するようにすることが好ましい。
こうすれば、一般に幅方向に接続される場合が多いパノラマ合成処理において、各画像の幅方向の画像の歪みを抑制することができる。
なお、本発明は、種々の態様で実現することが可能であり、たとえば画像処理方法、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。

図１は、本発明の一実施例としての画像処理システムを示す説明図である。
図２は、画像データを生成する入力装置としてのデジタルスチルカメラの構成の概略を示すブロック図である。
図３は、画像データを出力する出力装置としてのコンピュータＰＣとカラープリンタの構成の概略を示すブロック図である。
図４は、本発明の実施例における画像ファイルＧＦの構造の概略示す説明図である。
図５は、画像ファイルＧＦのＥｘｉｆＩＦＤに格納される付属情報の一例を示す説明図である。
図６は、コンピュータＰＣにおけるパノラマ合成処理の処理ルーチンを示すフローチャートである。
図７（ａ）および図７（ｂ）は、平面ＲＧＢデータと円筒座標系との間の位置関係を示す説明図である。
図８は、本発明の第１実施例における座標変換処理の処理ルーチンを示す説明図である。
図９（ａ）および図９（ｂ）は、軸Ｃａｘｉｓの方向から見た平面ＲＧＢデータと投影面ＣＹＬとの間の位置関係を示す説明図である。
図１０は、平面の撮像素子を用いて画像データを生成する際に生ずる画像の歪みを示す説明図である。
図１１は、平面ＲＧＢデータと球座標系との間の関係を示す説明図である。
図１２（ａ）、図１２（ｂ）、および図１２（ｃ）は、風景から焦点距離が同一の２つの円筒画像データが生成される様子を示す説明図である。
図１３（ａ）、図１３（ｂ）、および図１３（ｃ）は、各円筒画像データにおいて抽出された特徴点を示す説明図である。
図１４は、対応点探索処理が行われる様子を示す説明図である。
図１５（ａ）および図１５（ｂ）は、合成処理の内容を示す説明図である。
図１６（ａ）、図１６（ｂ）、および図１６（ｃ）は、焦点距離が異なる２つの画像データから連続する１つの画像を表す画像データが生成される様子を示す説明図である。
図１７は、焦点距離が異なる２つの画像データから２つの円筒画像データが生成される様子を示す説明図である。

次に、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。
Ａ．画像処理システムの構成：
Ｂ．画像ファイルの構成：
Ｃ．第１実施例におけるパノラマ合成処理：
Ｄ．第２実施例におけるパノラマ合成処理：
Ｅ．変形例：
Ａ．画像処理システムの構成：
図１は、本発明の一実施例としての画像処理システム１０を示す説明図である。画像処理システム１０は、元画像データを生成する入力装置としてのデジタルスチルカメラ１２と、デジタルスチルカメラ１２で生成された元画像データに対して画像処理を行う画像処理装置としてのパーソナルコンピュータＰＣと、処理された画像を出力する出力装置としてのカラープリンタ２０とを備えている。
デジタルスチルカメラ１２、パーソナルコンピュータＰＣ、およびカラープリンタ２０は、相互にケーブルＣＶで接続可能である。ケーブルＣＶにより接続されている場合には、デジタルスチルカメラ１２等は、ケーブルＣＶを経由して画像ファイルを送受信することが可能である。ケーブルＣＶで接続されていない場合にも、デジタルスチルカメラ１２等は、メモリカードＭＣを用いて画像ファイルのやりとりを行うことができる。
図２は、画像データを生成する入力装置としてのデジタルスチルカメラ１２の構成の概略を示すブロック図である。デジタルスチルカメラ１２は、光学レンズを通して電荷結合素子（ＣＣＤ）上にイメージを結像することにより、電気的に静止画を記録するカメラである。
デジタルスチルカメラ１２は、光信号を電気信号に変換するＣＣＤを有する光学回路１２１と、光学回路１２１を制御して画像を取得するための画像取得回路１２２と、取得した画像データを加工処理するための画像処理回路１２３と、これらの各回路を制御する制御回路１２４とを備えている。デジタルスチルカメラ１２は、さらに、ユーザインターフェースとしての選択・決定ボタン１２６と、撮影画像のプレビューやユーザインターフェースとして用いられる液晶ディスプレイ１２７とを備えている。
デジタルスチルカメラ１２による撮影処理（画像データの取得処理）は、（１）ユーザによる撮影モードの設定、（２）撮像（画像データの入力）、（３）画像処理、（４）画像ファイルの記録の順に行われる。撮影モードの設定には、レンズ焦点距離の設定が含まれている。レンズ焦点距離の設定は、レンズ（図示せず）の交換やズームレンズ（図示せず）の操作によって行われる。
撮像は、ユーザがシャッターを押すことにより行われる。シャッターが押されると、デジタルスチルカメラ１２に装着されたレンズで利用可能な焦点距離で撮像が行われる。たとえばユーザの操作で焦点距離を変更可能なズームレンズを使用して撮影した場合には、ユーザによって設定された焦点距離で撮像が行われ、元画像データが生成されることになる。
元画像データが生成されると、この画像データに保存用の画像処理が施される。この画像処理は、メモリカードＭＣに保存するための前処理である。一般的には、元画像データは写真画像の保存に適したＪＰＥＧ形式に変換される。ＪＰＥＧ形式に変換された後、この変換された画像データに撮影情報ＰＩが加えられて画像ファイルが生成される。
撮影情報ＰＩとは、撮影条件を表す情報であり、選択された測光方式を表す情報を含んでいる。デジタルスチルカメラ１２における画像データの取得処理は、画像ファイルをメモリカードＭＣに記録することにより完了する。なお、画像ファイルの構成については後述する。
図３は、画像データを出力する出力装置としてのコンピュータＰＣとカラープリンタ２０の構成の概略を示すブロック図である。コンピュータＰＣは、メモリカードＭＣから画像ファイルを読み出すことが可能なスロット２２と、カラープリンタ２０に印刷を行わせるための印刷データを生成するための印刷データ生成回路２３とを備えている。印刷データ生成回路２３は、印刷データ生成のための演算処理を実行する演算処理装置（ＣＰＵ）２３１と、ＣＰＵ２３１において実行されるプログラムやＣＰＵ２３１における演算処理結果その他のデータを格納するハードディスク２３２と、これらのプログラムやデータを一時的に格納するランダムアクセスメモリ（ＲＡＭ）２３３とを備えている。
カラープリンタ２０は、カラー画像の出力が可能なプリンタである。カラープリンタ２０は、たとえば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色のインクを印刷媒体上に吐出してドットパターンを形成し、これにより印刷画像を形成するインクジェット方式のプリンタである。
Ｂ．画像ファイルの構造：
図４は、本発明の実施例における画像ファイルＧＦの構造の概略を示す説明図である。画像ファイルＧＦは、デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）に従ったファイル構造を有している。この規格は、日本電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。この規格では、画像データとして圧縮タイプのＪＰＥＧデータを格納するＪＰＥＧ−Ｅｘｉｆファイルを、Ｅｘｉｆファイル（Ｅｘｉｆ規格のファイル）に含めることが規定されている。
画像ファイルＧＦは、圧縮データの先頭を示すＳＯＩマーカセグメント１０１と、Ｅｘｉｆの付属情報を格納するＡＰＰ１マーカセグメント１０２と、Ｅｘｉｆ拡張データを格納するＡＰＰ２マーカセグメント１０３と、量子化テーブルを定義するＤＱＴマーカセグメント１０４と、ハフマンテーブルを定義するＤＨＴマーカセグメント１０５と、リスタートマーカの挿入間隔を定義するＤＲＩマーカセグメント１０６と、フレームに関する各種パラメータを示すＳＯＦマーカセグメント１０７と、スキャンに関する各種パラメータを示すＳＯＳマーカセグメント１０８と、圧縮データの終了を示すＥＯＩマーカセグメント１０９と、画像データ格納領域１１０とを含んでいる。
ＡＰＰ１マーカセグメント１０２は、ＡＰＰ１マーカ１０２１と、Ｅｘｉｆ識別コード１０２２と、ＴＩＦＦヘッダその他の付属情報１０２３と、サムネイル画像１０２４とを格納している。この付属情報１０２３は、ファイルヘッダ（ＴＩＦＦヘッダ）を含むＴＩＦＦの構造を取っており、Ｅｘｉｆ−ＪＰＥＧでは、圧縮画像データに関する付属情報を格納するＯｔｈＩＦＤと、撮影情報ＰＩを始めとするＥｘｉｆ固有の付属情報を格納するＥｘｉｆＩＦＤと、サムネイル画像に関する付属情報を格納する１ｓｔＩＦＤとを含んでいる。ＥｘｉｆＩＦＤは、ＯｔｈＩＦＤに格納されているＴＩＦＦヘッダからのオフセットでポイントされる。ＩＦＤでは、各情報を特定するためにタグが用いられており、各情報はタグ名によって呼ばれることがある。
図５は、画像ファイルＧＦのＥｘｉｆＩＦＤに格納される付属情報の一例を示す説明図である。付属情報には、バージョンに関するタグや撮影条件に関するタグを含む各種のタグが含まれている。撮影条件に関するタグには、露出時間やレンズＦ値、ＩＳＯ感度、シャッタースピード、絞り値、輝度値、レンズ焦点距離、焦点面の幅の解像度、焦点面の高さの解像度、焦点面解像度単位、３５ｍｍ換算レンズ焦点距離その他の各パラメータ値が既定のオフセットに従って撮影情報ＰＩとして格納されている。撮影情報ＰＩの記録は、前述のようにデジタルスチルカメラ１２において撮影時に行われる。
Ｃ．第１実施例におけるパノラマ合成処理：
図６は、コンピュータＰＣにおけるパノラマ合成処理の処理ルーチンを示すフローチャートである。ステップＳ１００では、ＣＰＵ２３１は、スロット２２に差し込まれたメモリカードＭＣから画像ファイルＧＦを読み出すとともに、これを印刷データ生成回路２３が有するＲＡＭ２３３に格納する。画像ファイルＧＦは、ＪＰＥＧファイル形式の画像データを画像データＧＤとして格納している。ＪＰＥＧファイル形式の画像データは、圧縮されたＹＣｂＣｒデータとして構成されている。
ステップＳ１１０では、ＣＰＵ２３１は、圧縮されたＹＣｂＣｒデータを伸張した上で色変換処理を行う。この色変換処理により、ＹＣｂＣｒデータはＲＧＢデータに変換される。ＲＧＢデータに変換するのは、パーソナルコンピュータＰＣやカラープリンタ２０における画像処理では、ＲＧＢデータが用いられているからである。なお、ＲＧＢデータとＹＣｂＣｒデータは、いずれも複数の平面の画素（本明細書では平面画素とも呼ばれる。）が平面上に配列された平面画像として構成されている。
ステップＳ１２０では、ＣＰＵ２３１は、ＲＧＢデータに対して座標系変換処理を行う。この座標変換処理は、具体的には、平面画像であるＲＧＢデータを円筒座標系上に配置された円筒面に投影して円筒面上の画像データを生成する処理である。なお、以下では、このようにして生成された画像データを円筒ＲＧＢデータと呼び、平面画像として構成されたＲＧＢデータを平面ＲＧＢデータと呼ぶ。
図７（ａ）および図７（ｂ）は、平面ＲＧＢデータＭＩと円筒座標系上の投影面ＣＹＬとの間の位置関係を示す説明図である。図７（ａ）は、デジタルスチルカメラ１２の光学系と撮像素子との間の位置関係を示している。この光学系は、レンズＬとして示されている。撮像素子は、平面の受光面をするＣＣＤ（Ｃｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）として構成されている。
レンズＬは、デジタルスチルカメラ１２の光学系が有する複数のレンズを、同一の効果を有する１枚のレンズに置き換えたものである。レンズＬの中心は主点と呼ばれ、主点を通り光軸Ｌａｘｉｓに垂直な面は主平面と呼ばれる。レンズＬに関しては、さらに被写体を示す物体面と、被写体からの光を結像する結像面とが定義されている。物体面および結像面は、主平面から光軸方向に、それぞれ被写体側距離ａ，結像面側距離ｂだけ離れた位置に定義されている。
撮像素子は、この結像面に受光面を一致させるように配置されている。これにより物体面上の被写体からの光がレンズＬを通って撮像素子の受光面上に結像されることになる。
図７（ｂ）は、平面ＲＧＢデータＭＩが投影面ＣＹＬ上に投影される様子を示している。平面ＲＧＢデータＭＩは撮像素子を用いて生成された画像データなので、その各平面画素ＰＸＬの画素値は、もともとは結像面に配置された撮像画素に入射した光に応じて生成された値ということになる。
投影面ＣＹＬは、円筒座標系の軸Ｃａｘｉｓから結像面側距離ｂだけ離れた複数の点の集合である円筒面の一部として設定されている。軸Ｃａｘｉｓは、図７（ａ）の主点に対応する点ＰＰを通り平面ＲＧＢデータＭＩの上下方向に伸びる軸である。結像面側距離ｂは、レンズ焦点距離にほぼ一致することが分かっている。レンズ焦点距離は、画像ファイルＧＦのＥｘｉｆＩＦＤ（図５）に格納されているものを利用することができる。これにより、軸Ｃａｘｉｓ方向の大きさＺ_０と角度θ_０とで定義された複数の円筒画素を有する円筒画像を投影面ＣＹＬ上に構成可能となる。
図８は、本発明の第１実施例における座標変換処理の処理ルーチンを示す説明図である。ステップＳ２１０では、ＣＰＵ２３１は、画像ファイルＧＦから座標変換処理に用いるデータを読み出す。座標変換処理に用いるデータには、レンズ焦点距離と、焦点面解像度単位と、焦点面の幅の解像度と、焦点面の高さの解像度とが含まれている。レンズ焦点距離とは、撮影レンズの実焦点距離であり、前述のように仮想の１枚の凸レンズの中心から光が結像する撮像素子までの距離とほぼ一致する。
焦点面解像度単位とは、焦点面の幅の解像度および焦点面の高さの解像度の測定単位を規定している。焦点面の幅の解像度は、焦点面解像度単位あたりの画像幅方向の画素数を表している。焦点面の高さの解像度は、焦点面解像度単位あたりの画像高さ方向の画素数を表している。ここで焦点面とは、被写体からの光を結像する結像面であり、前述のように撮像素子の受光面と一致する。
ステップＳ２２０では、ＣＰＵ２３１は以下の処理を行う。
（１）図７（ｂ）に示される円筒座標系を定義する。
（２）円筒座標系上に円筒座標系の軸Ｃａｘｉｓを中心とする円筒面を設定する。なお、本実施例では、説明を分かりやすくするためにレンズ焦点距離を上述の一定の距離としている。
（３）円筒座標系上の所定の位置に平面ＲＧＢデータを配置する。
平面ＲＧＢデータの配置は、軸Ｃａｘｉｓからレンズ焦点距離だけ離れた位置に、平面ＲＧＢデータの高さ方向に伸びる中心線ＣＬが軸Ｃａｘｉｓと平行となる向きで行われる。平面ＲＧＢデータの高さ方向に伸びる中心線ＣＬが軸Ｃａｘｉｓと平行となる向きに配置するのは、一般に幅方向に接続される場合が多いパノラマ合成処理において、各画像の幅方向の画像の歪みを抑制するためである。
ステップＳ２３０では、ＣＰＵ２３１は、平面ＲＧＢデータの平面画素の大きさと、投影面ＣＹＬ上の円筒画素の大きさとを決定する。平面画素の大きさは、具体的には、焦点面解像度単位を焦点面の幅の解像度で除することにより幅方向の画素の大きさが、焦点面解像度単位を焦点面の高さの解像度で除することにより高さ方向の画素の大きさが、それぞれ決定できる。このようにして決定された平面画素の大きさは、撮像素子から得られるデータをリサンプリングしない場合には、撮像素子の画素の大きさに一致することになる。
図９（ａ）および図９（ｂ）は、軸Ｃａｘｉｓの方向から見た平面ＲＧＢデータと投影面ＣＹＬとの間の位置関係を示す説明図である。図９（ａ）は、図７（ｂ）を上方から見た図である。図９（ｂ）は、図９（ａ）の一部を拡大した図である。図９（ａ）には、平面ＲＧＢデータＭＩ内に複数の平面画素列Ｃが示されている。平面画素列Ｃとは、平面ＲＧＢデータＭＩ内において高さ方向に並ぶ複数の平面画素から構成される画素列である。図９（ａ）には、平面画素列Ｃ５Ｌから平面画素列Ｃ５Ｒまでの１１列の平面画素列が示されている。各平面画素列Ｃに含まれる平面画素は、すべて同一の高さＺ_０（軸Ｃａｘｉｓ方向）を有している。
図９（ａ）には、さらに投影面ＣＹＬ内に複数の円筒画素列Ｐが示されている。円筒画素列Ｐは、投影面ＣＹＬ内において高さ方向に並ぶ複数の円筒画素から構成される画素列である。図９（ａ）には、円筒画素列Ｐ４Ｌから円筒画素列Ｐ４Ｒまでの９列の円筒画素列Ｐが示されている。各円筒画素列Ｐは、すべて同一の角度θ_０の幅を有している。各円筒画素列Ｐに含まれる円筒画素は、平面画素と同様にすべて同一の高さＺ_０（図示せず）を有している。
円筒画素の幅を表す角度θ_０は、光軸Ｌａｘｉｓの近傍の平面画素ＰＸＬを基準に設定される。具体的には、平面画素列Ｃ０を投影面ＣＹＬに投影することにより円筒画素列Ｐ０が決定され、この決定された円筒画素列Ｐ０の角度θ_０が各円筒画素列の角度となる。このように円筒画素（図示せず）を設定することにより、投影面ＣＹＬに円筒画像を構成することが可能となる（ステップＳ２４０）。
ステップＳ２５０では、ＣＰＵ２３１は、平面ＲＧＢデータＭＩの平面画素の各画素値から円筒画素の各画素値を算出する。図９（ｂ）は、前述のように図９（ａ）の一部を拡大した図であり、共１次内挿法で円筒画素の各画素値を算出する方法を説明するための図である。なお、以下の算出例では、説明を分かりやすくするために平面ＲＧＢデータは、高さ方向に１行のみの平面画素を有する１次元のデータと仮定しているが、高さ方向に同様の処理を行うことにより容易に２次元データへも拡張することができる。
図９（ｂ）には、円筒画素Ｐ３Ｒと、円筒画素Ｐ３Ｒの中心線Ｐ３ＲＣＬと、中心線Ｐ３ＲＣＬの平面ＲＧＢ画像データＭＩへの投影点Ｘ１とが示されている。中心線Ｐ３ＲＣＬは、軸Ｃａｘｉｓ（図９（ａ））から円筒画素Ｐ３Ｒの中心に向かって伸びる線である。
円筒画素Ｐ３Ｒの画素値は、平面画素Ｃ３Ｒ、Ｃ４Ｒの画素値から以下のようにして算出することができる。投影点Ｘ１は、平面画素Ｃ３Ｒ中に投影されており、平面画素Ｃ３Ｒの中心位置から距離５０ａ、平面画素Ｃ４Ｒの中心位置から距離５０ｂだけ離れた位置にある。これらの距離５０ａ、５０ｂは、ＣＰＵ２３１によって平面ＲＧＢデータとレンズ焦点距離とから求めることができる。
円筒画素Ｐ３Ｒの画素値は、共１次内挿法による場合には計算式（（平面画素Ｃ３Ｒの画素値×距離５０ｂ＋平面画素Ｃ４Ｒの画素値×距離５０ａ）／（距離５０ａ＋距離５０ｂ））で容易に算出することができる。なお、計算方法としては、３次畳み込み内挿法その他の算出方法がある。このように、画像データの合成に先立って平面ＲＧＢデータＭＩを円筒面に投影する理由は以下のとおりである。
図１０は、平面の撮像素子を用いて画像データを生成する際に生ずる画像の歪みを示す説明図である。この図には、同一地点から同一の被写体ｍを別々の角度で撮影することにより生成された２つの平面ＲＧＢデータＭ１，Ｍ２が示されている。２つの平面ＲＧＢデータＭ１，Ｍ２は、それぞれ２つの光軸Ｌａｘｉｓ１、Ｌａｘｉｓ２で撮影されたものである。平面ＲＧＢデータＭ１では、被写体ｍは画像の中央部に配置されているのに対し、平面ＲＧＢデータＭ２では、被写体ｍは画像の左端部に配置されている。
図１０から分かるように、被写体ｍは、平面ＲＧＢデータＭ１では平面画素とほぼ同一の見かけ大きさを有するのに対して、平面ＲＧＢデータＭ２では平面画素より大きな見かけの大きさを有する。このように、被写体ｍの平面ＲＧＢデータにおける見かけの大きさは、被写体ｍが画像のどの位置に配置されているかで異なる。この結果、画像の歪みが生ずることになる。
一方、図１０から分かるように、円筒面上に生成された円筒画像では、被写体ｍの画像上の位置に拘わらず被写体ｍの見かけ上の大きさが同一である。このように、平面画像を円筒状の投影面に投影して円筒画像に変換することにより上記の幅方向の歪みを小さくすることが可能である。また、図１１に示されるような球座標面に投影するようにすれば、高さ方向と幅方向の双方に生ずる歪みを小さくすることができる。このような構成は、複数の画像を高さ方向に合成する場合に顕著な効果を奏する。
図１２は、風景Ｖｉｅｗから焦点距離が同一の２つの円筒画像データが生成される様子を示す説明図である。２つの円筒画像データは、図１２（ａ）に示される２つのフレームＦａ１、Ｆｂ１で撮影することにより生成されたデータである。図１２（ｂ）に示される画像データは、フレームＦａ１で撮影され円筒画像に変換されたデータを展開したものであり、図１２（ｃ）に示される画像データは、フレームＦｂ１で撮影され円筒画像に変換されたデータを展開したものである。
ステップＳ１３０では、ＣＰＵ２３１は、２つの円筒画像データに対して特徴点抽出処理を行う。特徴点抽出処理は、画像中の被写体の外観的特徴を良く表す特徴点を抽出するための処理である。図１３（ａ）、図１３（ｂ）、および図１３（ｃ）は、各円筒画像データにおいて抽出された特徴点を示す説明図である。なお、各特徴点は、必ずしも画素１個分の大きさである必要はなく、複数の画素から構成される領域であっても良い。
特徴点抽出処理は、たとえば以下に示す方法で行うことが可能である。まず、ＣＰＵ２３１は、ソーベルフィルタその他の輪郭線抽出フィルタを用いて点の集合としての輪郭線を抽出する。図１３（ａ）は、円筒画像データＰＩＣＴａ０（図１２（ｂ））に対して輪郭線抽出処理を行って生成された輪郭線データＰＩＣＴａ１を示している。
つぎにＣＰＵ２３１は、抽出された輪郭線としての点の集合からＳＲＡ（ＳｉｄｅｅｆｆｅｃｔｒｅｓａｍｐｌｉｎｇＡｌｇｏｒｉｔｈｍ）その他の再標本化アルゴリズムを用いて特徴点を抽出する。図１３（ｂ）は、輪郭線データＰＩＣＴａ１に対して特徴点抽出処理を行って生成された特徴点データＰＩＣＴａ２を示している。図１３（ｃ）は、輪郭線データＰＩＣＴｂ１（図示せず）に対して特徴点抽出処理を行って生成された特徴点データＰＩＣＴｂ２を示している。
特徴点データＰＩＣＴａ２は、２つの特徴点Ｃａ１，Ｃａ２を含んでおり、特徴点データＰＩＣＴｂ２は、２つの特徴点Ｃｂ１，Ｃｂ２を含んでいる。なお、図１３（ｂ）および図１３（ｃ）では、説明を分かりやすくするために輪郭線が重畳して示されている。
ステップＳ１４０では、ＣＰＵ２３１は、２つの特徴点データＰＩＣＴａ２、ＰＩＣＴｂ２に対して対応点探索処理を行う。対応点探索処理とは、複数の画像相互間において対応する特徴点を探索する処理である。この処理は、パノラマ合成の対象となる複数の画像データ相互間において同一の被写体中の同一の部位を決定するための処理である。
対応点探索処理は、たとえば以下の基準を満たす複数の特徴点の集合を探索することにより処理することができる。
（１）特徴点の周囲の画素（たとえば３×３の画素）の画素値の差が所定の閾値内である。このようにして対応づけられた特徴点を近似特徴点と呼ぶ。
（２）各特徴点データにおいて複数の近似特徴点が同一の位置関係を有する。このようにして対応づけられた近似特徴点が対応点と判断される。
図１４は、対応点探索処理が行われる様子を示す説明図である。特徴点データＰＩＣＴａ２は、２つの特徴点Ｃａ１，Ｃａ２を含んでおり、ＰＩＣＴｂ２は、２つの特徴点Ｃｂ１，Ｃｂ２を含んでいる。特徴点Ｃａ１と特徴点Ｃｂ１は、同一の被写体を表しているので周囲の画素の画素値が近似している。この結果、特徴点Ｃａ１と特徴点Ｃｂ１は、それぞれ対応する近似特徴点となる。また、特徴点Ｃａ２と特徴点Ｃｂ２も同様に対応する近似特徴点となる。
特徴点データＰＩＣＴａ２においては、近似特徴点Ｃａ１の上方右側に近似特徴点Ｃａ２が配置されているという位置関係が認められる。一方、特徴点データＰＩＣＴｂ２においては、近似特徴点Ｃａ１に近似する近似特徴点Ｃｂ１の上方右側に近似特徴点Ｃａ２に近似する近似特徴点Ｃｂ２が配置されている。このように各特徴点データＰＩＣＴａ２、ＰＩＣＴｂ２において複数の近似特徴点が同一の位置関係を有していることが分かる。これにより、特徴点データＰＩＣＴａ２の特徴点Ｃａ１は、特徴点データＰＩＣＴｂ２の特徴点Ｃｂ１に対応し、特徴点データＰＩＣＴａ２の特徴点Ｃａ２は、特徴点データＰＩＣＴｂ２の特徴点Ｃｂ２に対応していることが判断できる。
ステップＳ１５０では、ＣＰＵ２３１は、２つの円筒画像データの合成処理を行う。合成処理とは、対応する特徴点が一致するように複数の画像データを合成する処理である。
図１５（ａ）および図１５（ｂ）は、合成処理の内容を示す説明図である。合成処理は、対応する特徴点が近づくように２つの画像の位置関係を決定した後に、対応する特徴点の位置が一致するように各画像を局所的に変形させることにより行われる。
図１５（ａ）は、対応する特徴点が近づくように２つの特徴点データＰＩＣＴａ２、ＰＩＣＴｂ２が配置された様子を示している。この例では、特徴点データＰＩＣＴａ２が有する特徴点Ｃａ１は、特微点データＰＩＣＴｂ２が有する特徴点Ｃｂ１の右側近傍に存在する。また、特徴点データＰＩＣＴａ２が有する特徴点Ｃａ２は、特徴点データＰＩＣＴｂ２が有する特徴点Ｃｂ２の左側近傍に存在する。
このような配置となっているのは、本実施例では、各画像の歪みにより特徴点Ｃａ１と特徴点Ｃａ２との間の距離が、特徴点Ｃｂ１と特徴点Ｃｂ２との間の距離よりも、画像の歪みによって小さくなっているからである。各画像の歪みが存在するのは、図１０に示される画像の歪みが抑制されているものの、レンズの収差による歪みが残っているからである。このように各画像が歪んでいることを想定する場合には、たとえば対応する特徴点の距離の二乗和が最小となるように２つの画像の位置関係を決定することが好ましい。
つぎに各対応点の位置関係をベクトルデータとして生成する。このベクトルデータは、各対応点が一致するように各画像データを局所的にアフィン変換する際に用いられる。このようにして、合成された１つの円筒画像が図１５（ｂ）に示されている。この円筒画像を幅方向に展開することにより連続する平面画像を生成することができる（ステップＳ１６０）。
このように、本実施例では、デジタルスチルカメラ１２において画像データを生成する際の光学系と撮像素子の位置関係を再現した円筒座標系で画像を合成することにより、同一の焦点距離で平面の撮像素子を用いて画像を生成する際に生ずる幅方向の画像の歪みが低減されているので、平面の撮像素子を用いて生成された複数の画像データの合成処理において生ずる画質の劣化を抑制することができる。
なお、特許請求の範囲における焦点距離決定部、合成領域設定部、球面画像生成部、特徴点抽出部、対応関係決定部、球面画像合成部、および平面画像生成部の機能は、ＣＰＵ２３１によって果たされる。
Ｄ．第２実施例におけるパノラマ合成処理：
図１６（ａ）、図１６（ｂ）、および図１６（ｃ）は、焦点距離が異なる２つの画像データから連続する１つの画像を表す画像データが生成される様子を示す説明図である。２つの円筒画像データは、図１６（ａ）に示される２つのフレームＦｆ１、Ｆｎ１で撮影することにより生成された画像データである。２つのフレームＦｆ１、Ｆｎ１のサイズ（画角）が異なっているのは、ズームレンズの操作やレンズの交換によって焦点距離が変更されているからである。具体的には、比較的長い焦点距離でフレームＦｆ１の画像データが生成され、比較的短い焦点距離でフレームＦｎ１の画像データが生成されている。
図１６（ｂ）は、２つの画像データから生成される１つの画像データのフレームＦ３を示している。フレームＦ３のサイズは、２つのフレームＦｆ１、Ｆｎ１を合成して生成された画像の幅を有し、２つのフレームＦｆ１、Ｆｎ１のうち焦点距離が長い（画角が小さい）側のフレームＦｆ１が有する高さにトリムされている。図１６（ｃ）は、このようにして決定されたフレームＦ３を有するように生成された連続平面画像ＰＩＣＴ２を示している。
図１７は、焦点距離が異なる２つの画像データから２つの円筒画像データが生成される様子を示す説明図である。平面ＲＧＢデータＭＩｎは、フレームＦｎ１で撮影することにより生成された画像データである。平面ＲＧＢデータＭＩｆは、フレームＦｆ１（図１６（ａ））で撮影することにより生成された画像データである。平面ＲＧＢデータＭＩｎと平面ＲＧＢデータＭＩｆは、円筒座標系の軸Ｃａｘｉｓから光軸Ｌａｘｉｓ方向に、それぞれ焦点距離Ｒｎと焦点距離Ｒｆだけ離れた位置に配置されている。焦点距離Ｒｎおよび焦点距離Ｒｆは、各画像ファイルＧＦのＥｘｉｆＩＦＤから読み出されたレンズ焦点距離の値である。
円筒座標系上の投影面ＣＹＬは、円筒座標系の軸Ｃａｘｉｓを中心にして焦点距離Ｒｆを半径として設定された投影面である。焦点距離Ｒｆは、２つの平面ＲＧＢデータＭＩｎ、ＭＩｆの撮影で設定された異なる２つの焦点距離のうち長い方である。円筒画素の幅を表す角度θ_０は、平面ＲＧＢデータＭＩｆの平面画素（図示せず）を基準にして第１実施例と同様の方法（図９（ａ））で設定される。
平面ＲＧＢデータＭＩｆの平面画素を基準にして円筒画素の角度θ_０を設定しているのは、平面ＲＧＢデータＭＩｎを基準とすると、平面ＲＧＢデータＭＩｆに対して円筒画素の角度θ_０が過大となって平面ＲＧＢデータＭＩｆが有する情報を失うことになるからである。一方、円筒画素の角度θ_０をこれ以上に小さくすると、円筒画像のデータ量が平面ＲＧＢデータＭＩｆ、ＭＩｎが有する情報に対して過大となるからである。
円筒画素Ｐ４Ｌの画素値は、第１実施例と同様に平面ＲＧＢデータＭＩｆ、ＭＩｎの平面画素の画素値から以下のようにして算出することができる。平面ＲＧＢデータＭＩｆを変換して生成される円筒画像の画素Ｐ４Ｌは、平面ＲＧＢデータＭＩｆの２つの画素Ｃ４Ｌｆ、Ｃ５Ｌｆの画素値から算出される。一方、平面ＲＧＢデータＭＩｎを変換して生成される円筒画像の画素Ｐ４Ｌは、平面ＲＧＢデータＭＩｎの２つの画素Ｃ２Ｌｎ、Ｃ３Ｌｎの画素値から算出される。
このように、本発明は、焦点距離が異なる２つの画像データに対してパノラマ合成処理を行う場合にも適用することができる。
Ｅ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
Ｅ−１．上記各実施例では、円筒形状を有する投影面上に配置された円筒画像データを展開することによって連続する１つの平面画像を生成しているが、たとえば円筒形状や球形状を有する投影面上に構成された画像データを平面に投影することによって連続する１つの平面画像を生成するようにしても良い。本発明で使用される平面画像生成部は、一般に、球面画像データや円筒画像データといった画像データから連続する平面画像を表す画像データを生成するように構成されたものであれば良い。
Ｅ−２．上記各実施例では、各画像ファイルＧＦのＥＸＩＦＩＦＤに格納されたレンズ焦点距離を用いて円筒座標系に座標変換しているが、たとえば各画像ファイルＧＦのＥＸＩＦＩＦＤに格納された３５ｍｍ換算レンズ焦点距離を用いて円筒座標系に座標変換するようにしても良い。
この場合には、平面ＲＧＢデータの平面画素の大きさは、３５ｍｍフィルムサイズと画素数とに応じて決定することができる。具体的には、画素の高さは、３５ｍｍフィルムサイズの高さ方向の長さを高さ方向の画素数で除することによって算出することができ、画素の幅は、３５ｍｍフィルムサイズの幅方向の長さを幅方向の画素数で除することによって算出することができる。
Ｅ−３．上記各実施例では、ＹＣｂＣｒデータをＲＧＢデータに変換した後に、パノラマ合成処理が行われているが、ＹＣｂＣｒデータをＲＧＢデータに変換する前に、パノラマ合成処理を行うようにしても良い。後者の場合には、たとえば人間の感度が高い輝度情報のみに基づいて特徴点の抽出や対応点の探索を行うように構成することができる。こうすれば、画質を過度に劣化させることなく少ない計算量でパノラマ合成処理を実現することができるという利点がある。
Ｅ−４．上記実施例では、パーソナルコンピュータが画像処理装置として機能しているが、たとえばカラープリンタやデジタルスチルカメラが画像処理装置の機能を有するようにしても良い。また、本発明は、カラー印刷だけでなくモノクロ印刷にも適用可能である。
Ｅ−５．上記実施例では、出力装置としてインクジェットカラープリンタが使用されているが、本発明は、ＣＲＴディスプレイやＬＣＤディスプレイといったモニタの他プロジェクタその他の画像を表示可能な装置を出力装置として用いる場合に適用できる。
本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

この発明は、コンピュータの出力装置に適用可能である。

Claims

複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された１つの連続する連続平面画像を表す画像データを生成する画像処理装置であって、
所定の点を中心とする球面状の投影面を、前記複数の画像データを合成するための領域として設定する合成領域設定部と、
前記各画像データが表す各平面画像を、前記投影面に投影することにより複数の球面画像を生成する球面画像生成部と、
前記複数の球面画像の各々から所定の特徴を有する領域である特徴点を抽出する特徴点抽出部と、
前記複数の球面画像相互間において、前記抽出された特徴点の対応関係を決定する対応関係決定部と、
前記決定された対応関係に応じて、前記球面画像の各々を表す複数の画像データを合成することによって、一つの連続する球面画像を表す画像データである連続球面画像データを生成する球面画像合成部と、
前記連続球面画像データから前記連続平面画像を表す画像データを生成する平面画像生成部と、
を備え、
前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、
前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、
前記球面画像生成部は、
前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで除した角度で高さ方向に分割されるとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を球面画素として前記球面上に設定する球面画素設定部と、
前記球面画素の各々に投影される平面画素の画素値に応じて、前記球面画素の各々の画素値を決定する球面画素値決定部と、
を備えることを特徴とする、画像処理装置。
請求項１記載の画像処理装置であって、
前記画像処理装置は、さらに、前記画像属性情報に応じて、前記複数の画像データの生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部を備え、
前記球面画像生成部は、前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の点から前記投影面側に離れた位置に配置して、前記投影面に投影することにより複数の球面画像を生成する、画像処理装置。
請求項２に記載の画像処理装置であって、
前記画像属性情報は、撮影レンズの実焦点距離を表すレンズ焦点距離と、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、
前記焦点距離決定部は、前記レンズ焦点距離を前記焦点距離に決定し、
前記球面画像生成部は、前記焦点面解像度単位を前記焦点面の幅の解像度で除することにより幅方向の画素の大きさを決定するとともに、前記焦点面解像度単位を前記焦点面の高さの解像度で除することにより高さ方向の画素の大きさを決定する、画像処理装置。
請求項２に記載の画像処理装置であって、
前記画像属性情報は、３５ｍｍフィルムカメラに換算した焦点距離の値である３５ｍｍ換算レンズ焦点距離を含んでおり、
前記焦点距離決定部は、前記３５ｍｍ換算レンズ焦点距離を前記焦点距離に決定し、
前記球面画像生成部は、３５ｍｍフィルムサイズを前記平面画像のサイズに決定する、画像処理装置。
複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された１つの連続する連続平面画像を表す画像データを生成する画像処理装置であって、
所定の軸を中心とする円筒状の投影面を、前記複数の画像データを合成するための領域として設定する合成領域設定部と、
前記各画像データが表す各平面画像を、前記投影面に投影することにより複数の円筒画像を生成する円筒画像生成部と、
前記複数の円筒画像の各々から所定の特徴を有する領域である特徴点を抽出する特徴点抽出部と、
前記複数の円筒画像相互間において、前記抽出された特徴点の対応関係を決定する対応関係決定部と、
前記決定された対応関係に応じて、前記円筒画像の各々を表す複数の画像データを合成することによって、一つの連続する円筒画像を表す画像データである連続円筒画像データを生成する円筒画像合成部と、
前記連続円筒画像データから前記連続平面画像を表す画像データを生成する平面画像生成部と、
を備え、
前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、
前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、
前記円筒画像生成部は、
前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで値で前記軸方向に分割されるとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を円筒画素として前記円筒上に設定する円筒画素設定部と、
前記円筒画素の各々に投影される平面画素の画素値に応じて、前記円筒画素の各々の画素値を決定する円筒画素値決定部と、
を備えることを特徴とする、画像処理装置。
請求項５記載の画像処理装置であって、
前記画像処理装置は、さらに、前記画像属性情報に応じて、前記複数の画像データの生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部を備え、
前記円筒画像生成部は、前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の軸から前記投影面側に離れた位置に配置して、前記投影面に投影することにより複数の円筒画像を生成する、画像処理装置。
請求項６に記載の画像処理装置であって、
前記円筒画像生成部は、前記画像データにおいて設定された高さ方向と平行に前記軸を設定する、画像処理装置。
請求項６または７に記載の画像処理装置であって、
前記画像属性情報は、撮影レンズの実焦点距離を表すレンズ焦点距離と、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、
前記焦点距離決定部は、前記レンズ焦点距離を前記焦点距離に決定し、
前記球面画像生成部は、前記焦点面解像度単位を前記焦点面の幅の解像度で除することにより幅方向の画素の大きさを決定するとともに、前記焦点面解像度単位を前記焦点面の高さの解像度で除することにより高さ方向の画素の大きさを決定する、画像処理装置。
請求項６または７に記載の画像処理装置であって、
前記画像属性情報は、３５ｍｍフィルムカメラに換算した焦点距離の値である３５ｍｍ換算レンズ焦点距離を含んでおり、
前記焦点距離決定部は、前記３５ｍｍ換算レンズ焦点距離を前記焦点距離として決定し、
前記球面画像生成部は、３５ｍｍフィルムサイズを前記平面画像のサイズとして決定する、画像処理装置。
複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された１つの連続する連続平面画像を表す画像データを生成する画像処理方法であって、
（ａ）所定の点を中心とする球面状の投影面を、前記複数の画像データを合成するための領域として設定する工程と、
（ｂ）前記各画像データが表す各平面画像を、前記投影面に投影することにより複数の球面画像を生成する工程と、
（ｃ）前記複数の球面画像の各々から所定の特徴を有する領域である特徴点を抽出する工程と、
（ｄ）前記複数の球面画像相互間において、前記抽出された特徴点の対応関係を決定する工程と、
（ｅ）前記決定された対応関係に応じて、前記球面画像の各々を表す複数の画像データを合成することによって、一つの連続する球面画像を表す画像データである連続球面画像データを生成する工程と、
（ｆ）前記連続球面画像データから前記連続平面画像を表す画像データを生成する工程と、
を備え、
前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、
前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、
前記工程（ｅ）は、
前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで除した角度で高さ方向に分割するとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を球面画素として前記球面上に設定する工程と、
前記球面画素の各々に投影される平面画素の画素値に応じて、前記球面画素の各々の画素値を決定する工程と、
を備えることを特徴とする、画像処理方法。
複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された１つの連続する連続平面画像を表す画像データを生成する画像処理方法であって、
（ａ）所定の軸を中心とする円筒状の投影面を、前記複数の画像データを合成するための領域として設定する工程と、
（ｂ）前記各画像データが表す各平面画像を、前記各画像データに対応する前記焦点距離だけ前記所定の軸から前記投影面側に離れた位置に配置して、前記投影面に投影することにより複数の円筒画像を生成する工程と、
（ｃ）前記複数の円筒画像の各々から所定の特徴を有する領域である特徴点を抽出する工程と、
（ｄ）前記複数の円筒画像相互間において、前記抽出された特徴点の対応関係を決定する工程と、
（ｅ）前記決定された対応関係に応じて、前記円筒画像の各々を表す複数の画像データを合成することによって、一つの連続する円筒画像を表す画像データである連続円筒画像データを生成する工程と、
（ｆ）前記連続円筒画像データから前記連続平面画像を表す画像データを生成する工程と、
を備え、
前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、
前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、
前記工程（ｅ）は、
前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで値で前記軸方向に分割されるとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を円筒画素として前記円筒上に設定する工程と、
前記円筒画素の各々に投影される平面画素の画素値に応じて、前記円筒画素の各々の画素値を決定する工程と、
を備えることを特徴とする、画像処理方法。
複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された１つの連続する連続平面画像を表す画像データの生成をコンピュータに行わせるためのコンピュータプログラムであって、
所定の点を中心とする球面状の投影面を、前記複数の画像データを合成するための領域として前記コンピュータに設定させる第１の機能と、
前記各画像データが表す各平面画像を、前記投影面に投影することにより複数の球面画像を前記コンピュータに生成させる第２の機能と、
前記複数の球面画像の各々から所定の特徴を有する領域である特徴点を前記コンピュータに抽出させる第３の機能と、
前記複数の球面画像相互間において、前記抽出された特徴点の対応関係を前記コンピュータに決定させる第４の機能と、
前記決定された対応関係に応じて、前記球面画像の各々を表す複数の画像データを合成することによって、一つの連続する球面画像を表す画像データである連続球面画像データを前記コンピュータに生成させる第５の機能と、
前記連続球面画像データから前記連続平面画像を表す画像データを前記コンピュータに生成させる第６の機能と、
をコンピュータに実現させ、
前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、
前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、
前記第５の機能は、
前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで除した角度で高さ方向に分割するとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を球面画素として前記球面上に設定する機能と、
前記球面画素の各々に投影される平面画素の画素値に応じて、前記球面画素の各々の画素値を決定する機能とを含むコンピュータプログラム。
複数の平面画素が平面上に配列された平面画像として構成された画像データを含む複数の画像ファイルに応じて、前記複数の画像ファイルに含まれた複数の画像データが合成された１つの連続する連続平面画像を表す画像データの生成をコンピュータに行わせるためのコンピュータプログラムであって、
所定の軸を中心とする円筒状の投影面を、前記複数の画像データを合成するための領域として前記コンピュータに設定させる第１の機能と、
前記各画像データが表す各平面画像を、前記投影面に投影することにより複数の円筒画像を前記コンピュータに生成させる第２の機能と、
前記複数の円筒画像の各々から所定の特徴を有する領域である特徴点をコンピュータに抽出させる第３の機能と、
前記複数の円筒画像相互間において、前記抽出された特徴点の対応関係を前記コンピュータに決定させる第４の機能と、
前記決定された対応関係に応じて、前記円筒画像の各々を表す複数の画像データを合成することによって、一つの連続する円筒画像を表す画像データである連続円筒画像データを前記コンピュータに生成させる第５の機能と、
前記連続円筒画像データから前記連続平面画像を表す画像データを前記コンピュータに生成させる第６の機能と、
を備え、
前記複数の画像ファイルは、さらに、前記画像データの属性情報である画像属性情報を含み、
前記画像属性情報は、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の高さ方向の画素数を表す焦点面の高さの解像度と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、
前記第５の機能は、
前記焦点面解像度単位を、前記決定された焦点距離のうちの最大のものである最大焦点距離と、前記高さの解像度とで値で前記軸方向に分割されるとともに、前記焦点面解像度単位を前記最大焦点距離と前記幅の解像度とで除した角度で幅方向に分割された各領域を円筒画素として前記円筒上に設定する機能と、
前記円筒画素の各々に投影される平面画素の画素値に応じて、前記円筒画素の各々の画素値を決定する機能と、
を含むコンピュータプログラム。