JP4507948B2 - 撮影装置、撮影画像の画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影装置、撮影画像の画像処理方法及びプログラムに関するものである。

デジタル画像は、パーソナルコンピュータ等にデジタルデータとして保存され、この画像を管理することができるので、従来の写真保存のアルバムと比較して保存に必要なスペースをあまり必要とせず、かつ、画像の劣化の少ないという特徴を有している。

このようなデジタル画像の利点から、従来、銀塩カメラで撮影した写真を、スキャナ等でデジタル化して、デジタルカメラで撮影した画像と同じように保存して管理する方法が実用化されている（例えば、特許文献１参照）。しかし、スキャナで読み込むには、以下のような問題がある。

これらの写真は、アルバムの台紙に貼り付けられており、場合によっては、台紙から剥がしてスキャナに読み込ませる必要が生じる。この際、台紙から剥がすときに写真が破れるおそれもある。従って、スキャナに代えてデジタルカメラを用いて写真を読み込むことが考えられる。
特開平７−２７６７１０号公報（第４頁、図１）

しかし、デジタルカメラでこのような写真の撮影を行う場合、被写体から離れた位置で撮影することになるので、特に、写真のような光沢紙の場合、照明の映り込み等の影響を受ける場合がある。

本発明は、このような従来の問題点に鑑みてなされたもので、照明光の映り込みの影響を低減することが可能な撮影装置、撮影画像の画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
被写体を撮影する撮影装置において、
前記被写体を異なる方向から複数回撮影することによって得られた複数の撮影画像の歪みを補正して、歪み補正画像を取得する補正部と、
前記補正部が補正した複数の歪み補正画像の各画素を対応させて、前記被写体を撮影する時の光の映り込みによって生じた画素値の変化を低減させるような演算法を用いて、前記複数の歪み補正画像の各画素値に対する演算を行い、前記演算が行われた複数の歪み補正画像を合成する画像合成部と、を備え、
前記画像合成部は、前記演算法として、
前記複数の歪み補正画像の各画素値から、それぞれ、前記被写体を撮影する時の光の光強度を示すパラメータを取得し、
被合成画像を第１の画像、前記第１の画像に合成する画像を第２の画像として、前記第１の画像、前記第２の画像から、それぞれ、前記パラメータを画素毎に取得して、前記第２の画像のパラメータの値から前記第１の画像のパラメータの値を差し引いた差を求め、
前記求めた差が予め設定された第１の閾値未満である場合に、前記第２の画像の画素値を合成画像の画素値とし、
前記第１の画像が既に合成した合成画像であり、かつ前記求めた差が予め設定された第２の閾値より大きい場合に、前記第１の画像の画素値を合成画像の画素値とし、
その他の場合には、前記第１の画像の画素値と第２の画像の画素値とを画像合成の回数に基づいて加重平均した値を合成画像の画素値とする演算方法を用いて、
前記複数の歪み補正画像を合成する、
ことを特徴とする。

前記画像合成部は、
前記パラメータとして、各歪み補正画像の輝度値を用いるようにしてもよい。

前記画像合成部は、
前記パラメータとして、各歪み補正画像の色相値を用いるようにしてもよい。

本発明の第２の観点に係る撮影画像の画像処理方法は、
被写体を撮影することによって得られた撮影画像の画像処理方法において、
前記被写体を異なる方向から複数回撮影し、前記撮影によって得られた複数の撮影画像の歪みを補正して、複数の歪み補正画像を取得するステップと、
前記複数の歪み補正画像の各画素を対応させるステップと、
前記被写体を撮影する時の光の映り込みによって生じた画素値の変化を低減させるような演算法を用いて、前記複数の歪み補正画像の各画素値に対する演算を行い、前記演算が行われた複数の歪み補正画像を合成するステップと、を備え、
前記演算法として、
前記複数の歪み補正画像の各画素値から、それぞれ、前記被写体を撮影する時の光の光強度を示すパラメータを取得し、
被合成画像を第１の画像、前記第１の画像に合成する画像を第２の画像として、前記第１の画像、前記第２の画像から、それぞれ、前記パラメータを画素毎に取得して、前記第２の画像のパラメータの値から前記第１の画像のパラメータの値を差し引いた差を求め、
前記求めた差が予め設定された第１の閾値未満である場合に、前記第２の画像の画素値を合成画像の画素値とし、
前記第１の画像が既に合成した合成画像であり、かつ前記求めた差が予め設定された第２の閾値より大きい場合に、前記第１の画像の画素値を合成画像の画素値とし、
その他の場合には、前記第１の画像の画素値と第２の画像の画素値とを画像合成の回数に基づいて加重平均した値を合成画像の画素値とする演算方法を用いる、
ことを特徴とする。

前記パラメータとして、各歪み補正画像の輝度値を用いるようにしてもよい。

前記パラメータとして、各歪み補正画像の色相値を用いるようにしてもよい。

本発明の第３の観点に係るプログラムは、
撮像手段を備えたコンピュータに、
被写体を異なる方向から複数回撮影し、前記撮影によって得られた複数の撮影画像の歪みを補正して、複数の歪み補正画像を取得する手順と、
前記複数の歪み補正画像の各画素を対応させる手順と、
前記被写体を撮影する時の光の映り込みによって生じた画素値の変化を低減させるような演算法を用いて、前記複数の歪み補正画像の各画素値に対する演算を行い、前記演算が行われた複数の歪み補正画像を合成する手順と、
を実行させ、
前記演算法として、
前記複数の歪み補正画像の各画素値から、それぞれ、前記被写体を撮影する時の光の光強度を示すパラメータを取得し、
被合成画像を第１の画像、前記第１の画像に合成する画像を第２の画像として、前記第１の画像、前記第２の画像から、それぞれ、前記パラメータを画素毎に取得して、前記第２の画像のパラメータの値から前記第１の画像のパラメータの値を差し引いた差を求め、
前記求めた差が予め設定された第１の閾値未満である場合に、前記第２の画像の画素値を合成画像の画素値とし、
前記第１の画像が既に合成した合成画像であり、かつ前記求めた差が予め設定された第２の閾値より大きい場合に、前記第１の画像の画素値を合成画像の画素値とし、
その他の場合には、前記第１の画像の画素値と第２の画像の画素値とを画像合成の回数に基づいて加重平均した値を合成画像の画素値とする演算方法を用いる、
ことを特徴とする。

前記パラメータとして、各歪み補正画像の輝度値を用いるようにしてもよい。

前記パラメータとして、各歪み補正画像の色相値を用いるようにしてもよい。

本発明によれば、照明光の映り込みの影響を低減することができる。

以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。尚、本実施形態では、撮影装置をデジタルカメラとして説明する。

本実施形態に係るデジタルカメラ１の構成を図１に示す。
本実施形態に係るデジタルカメラ１は、光沢紙等を用いた銀塩写真２、原稿を被写体として、複数の異なる方向から撮影して、撮影によって得られた複数の撮影画像に対して、画像の歪みを検出して補正し、あたかも正面から撮影したような画像を生成する。また、このデジタルカメラ１は、撮影によって得られた画像から、照明光の映り込みを低減するように画像合成を行うものである。デジタルカメラ１は、撮影レンズ部１１と、液晶モニタ１２と、シャッタボタン１３と、を備える。

撮影レンズ部１１は、光を集光するレンズ等を備え、銀塩写真２等を含む被写体からの光を集光するものである。

液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。
シャッタボタン１３は、撮影対象を撮影するときに押下するものである。

このデジタルカメラ１は、図２に示すように、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、を備えて構成される。

光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に、銀塩写真２を含む被写体からの光を集光させて像を結像させる。

イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device：電荷結合素子）等によって構成される。

イメージセンサ２２は、ＣＰＵ３０によって制御されて、低解像度、高解像度の画像データとして、Bayer配列の画像データを生成する。ＣＰＵ３０によって撮影モードが低解像度撮影モードにされた場合、イメージセンサ２２は、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒３０枚程度の間隔で、定期的にメモリ２３に送出する。

また、ＣＰＵ３０によって撮影モードが高解像度撮影モードにされた場合、イメージセンサ２２は、高解像度のBayer配列の画像データを生成し、生成した画像データをメモリ２３に送出する。

メモリ２３は、画像データ等を記憶するものである。メモリ２３は、図３に示すように、センサ画像記憶領域２３ａと、処理画像記憶領域２３ｂと、表示画像記憶領域２３ｃと、作業データ記憶領域２３ｄと、合成画像記憶領域２３ｅと、を有する。

センサ画像記憶領域２３ａは、イメージセンサ２２が送出した画像データを、撮影する毎に一時記憶するための領域である。処理画像記憶領域２３ｂは、画像処理装置２５が処理に必要な画像データを記憶するための領域である。表示画像記憶２３ｃは、画像処理を施した表示用の画像データを記憶するための領域である。作業データ記憶領域２３ｄは、座標データ等、作業に必要なデータを記憶するための領域である。

表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３の表示画像記憶領域２３ｃに一時記憶された低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。

画像処理装置２５は、メモリ２３の処理画像記憶領域２３ｂに一時記憶された画像データに対して、圧縮、歪み補正、画像合成等の画像処理を行うためのものである。

画像処理装置２５は、画像処理として、主に以下の処理を行う。
（１）連写画像の画像合成処理
（２）画像変換処理
（３）画像データの圧縮処理
（４）画像保存処理

以下、これらの画像処理の内容について説明する。
（１）連写画像の画像合成処理
画像処理装置２５は、銀塩写真２を保存用として撮影する際の照明光の映り込み等の影響を低減するため、異なる方向から撮影した複数の撮影画像を合成する。この際、画像処理装置２５は、複数の撮影画像に対して、歪み補正として台形補正を行って複数の撮影画像の歪みを補正する。

デジタルカメラ１が、図４（ａ）にそれぞれ示すように、文字ｗ等を、向かって左方向、右方向から撮影すると、液晶モニタ１２には、図４（ｂ），（ｃ）に示すように、文字、図、写真等が歪んだ画像Ｗが表示される。画像処理装置２５は、この図４（ｂ），（ｃ）に示すような画像Ｗに対して画像処理を施すことにより、図４（ｄ）に示すような、正面から撮影したような画像Ｗ'を生成する。

写真を異なる方向から撮影した場合、照明光の映り込み部分が２枚の画像で異なる。このため、画像処理装置２５は、照明光の映り込み部分が２枚の画像で異なることを利用して、異なる方向から撮影した２枚の画像を合成する。

デジタルカメラ１は、図５（ａ）に示すように、文字「あ」を連続撮影して、複数の画像Ｐin[1]，Ｐin[2]，・・・を取得する。デジタルカメラ１が、この複数の画像Ｐin[1]，Ｐin[2]，・・・を重ね合わせて、図５（ｂ）に示すような出力画像Ｐout[1]，Ｐout[2]，・・・を生成する場合、手振れ等のため、文字等はきれいに重ならない場合が多い。

このため、画像処理装置２５は、画像間で動き検出等を行って、画像間で動きベクトルを予測して重ね合わせて、画像を合成する。

画像処理装置２５は、このような画像処理を行うため、図６に示すように、ＲＧＢ画像生成部２５−１と、輝度画像生成部２５−２と、キーフレーム特徴点抽出部２５−３と、エッジ処理部２５−４と、矩形検出部２５−５と、Ｈt生成部２５−６と、Ｈf~生成部２５−７と、特徴点追跡処理部２５−８と、Ｈf生成部２５−９と、Ｈti生成部２５−１０と、アフィン変換部２５−１１と、画像合成部２５−１２と、によって構成される。

ＲＧＢ画像生成部２５−１は、メモリ２３のセンサ画像記憶領域２３ａからBayer配列の画像データを読み出して、読み出したBayer配列の画像をＲＧＢ画像ｐに変換するものである。ＲＧＢ画像生成部２５−１は、変換したＲＧＢ画像ｐを、画像合成用の画像として、メモリ２３の処理画像記憶領域２３ｂに記憶する。

輝度画像生成部２５−２は、ＲＧＢ画像生成部２５−１が生成したＲＧＢ画像ｐに対して輝度変換を行い、輝度画像Ｙを生成するものである。輝度画像Ｙは、輝度信号による画像であり、輝度信号は、各画素の濃淡を示す２次元配列によって表される。

キーフレーム特徴点抽出部２５−３は、入力画像がキーフレーム画像であるとき、輝度画像生成部２５−２が生成した輝度画像Ｙから、画素の特徴点を抽出するものである。特徴点は、画像のエッジのように、画像の特徴を表す点である。キーフレームとは連続撮影時において一枚目の撮影画像の画像データ又はその画像処理タイミングを指す。

キーフレーム特徴点抽出部２５−３は、例えば、輝度画像生成部２５−２が生成したキーフレームの輝度画像Ｙから、ＫＬＴ法等の手法を用いて画素の特徴点を５０以上抽出する。

キーフレーム特徴点抽出部２５−３は、特徴点リストList_1を作成して、作成した特徴点リストList_1に、抽出した複数の特徴点を記録する。キーフレーム特徴点抽出部２５−３は、この特徴点リストList_1をメモリ２３の作業データ記憶領域２３ｄに記憶する。

エッジ処理部２５−４と、矩形検出部２５−５と、Ｈt生成部２５−６とは、像の歪みを補正するための正面補正パラメータＨtを取得するためのものである。エッジ処理部２５−４は、輝度画像生成部２５−２が変換した輝度画像Ｙに対してエッジ処理を行い、２値エッジ画像Ｅを生成するものである。

矩形検出部２５−５は、エッジ処理部２５−４が生成した２値エッジ画像Ｅから、矩形情報Ｒを取得するためのものである。

Ｈt生成部２５−６は、矩形検出部２５−５が取得した矩形情報Ｒに基づいて正面画像補正用のアフィンパラメータＨtを生成するものである。アフィンパラメータＨtは、アフィン変換パラメータの同次座標（Homogeneous coodinates）の表示方法に従い、次の数４によって表される。

数４に示す(x0,y0)，(x1,y1)，(x2,y2)，(x3,y3)は、矩形情報Ｒに含まれる矩形の頂点座標である。また、数４に示すα、βは射影係数であり、射影係数α、βは、次の数５によって表される。

また、数４に示すUsc，Vscは、縮尺比であり、縮尺比Usc，Vscは、入力画像の縦横比と出力画像サイズ（umax,vmax）とが対応するように決定される。

まず、入力画像の縦横比ｋは、次の数６に従って求められる。数６に示すｆは焦点距離を表すカメラパラメータであって予め与えられるスカラー量である。また、出力画像サイズ(umax,vmax)は予め任意に決めることができるパラメータであり、通常は入力画像サイズと同じとされる。

従って、縮尺比Usc，Vscは、次の数７に従って決定される。

Ｈt生成部２５−６は、矩形情報Ｒの頂点座標が供給されて、数４〜数７に従ってアフィンパラメータＨtを生成する。

次に、このアフィンパラメータＨtを用いた座標変換の説明を行う。出力座標系を（u,v）、入力画像の座標系を（x,y）として、アフィン変換は、次の数８に示すアフィンパラメータＨtを用いて行われる。

そして、最終的な座標（x,y）は、次の数９によって表される。

尚、座標(x,y)は、整数になるとは限らないため、出力画素Ｐの座標(u,v)の画素値Ｐ(u,v)は、入力画像ｐの座標(x,y)の周辺の画素値からバイリニア法による補間方法を用いて求められる。バイリニア法による補間方法は、次の数１０によって表される。

Ｈf~生成部２５−７は、動き予測パラメータＨf~を生成するものである。動き予測パラメータＨf~は、キーフレームに対する今回の画像の動きを予測するパラメータである。Ｈf~生成部２５−７は、１枚目の画像のアフィンパラメータＨtの逆行列Ｈtk^-1と、今回の画像のアフィンパラメータＨt2とから、次の数１１に従って、動き予測パラメータＨf~を生成する。

特徴点追跡処理部２５−８は、Ｈf~生成部２５−７から動き予測パラメータＨf~を取得し、メモリ２３の作業データ記憶領域２３ｄから特徴点リストList_1を取得して、取得した動き予測パラメータＨf~と特徴点リストList_1とに基づいて特徴点を追跡するためのものである。

特徴点追跡処理部２５−８は、キーフレーム特徴点抽出部２５−３が作成した特徴点リストList_1の各特徴点の座標を、数９に代入し、得られた座標から、数１１に示す動き予測パラメータＨf~を用いて、今回の画像において、各座標点が移動した特徴点の座標を取得する。

特徴点追跡処理部２５−８は、取得したこの特徴点の座標を初期値として２枚の画像のそれぞれの特徴点の座標について、オプティカルフローを用いて、正確な特徴点座標を取得する。特徴点追跡処理部２５−８は、座標点リストList_2を作成し、取得した特徴点座標を座標点リストList_2に記録する。

Ｈf生成部２５−９は、キーフレームとの相対関係を示すアフィンパラメータＨfを生成するものである。Ｈf生成部２５−９は、それぞれ、キーフレーム特徴点抽出部２５−３、特徴点追跡処理部２５−８が取得した特徴点リストList_1，List_2から特徴点を取得し、最小２乗誤差法を用い、取得した特徴点に基づいてアフィンパラメータＨfを生成する。

アフィン変換パラメータＨfは、Ｈf~生成部２５−７が生成した動き予測パラメータＨf~とほぼ同じ値とはなるものの、撮影画像全体から画像の関係を求めているため、より精度の高いパラメータとなる。

Ｈti生成部２５−１０は、Ｈf生成部２５−９が生成したアフィンパラメータＨfに基づいて、アフィンパラメータＨtiを生成するものである。アフィンパラメータＨtiは、次の数１２によって表され、Ｈti生成部２５−１０は、この数１２に基づいてアフィンパラメータＨtiを生成する。

アフィン変換部２５−１１は、画像合成部２５−１２から指定される正面化補正後の座標(u,v)に対して、アフィンパラメータＨに従ってアフィン変換を行い、正面化補正前の座標(x,y)に対応するＲＧＢ画像データを処理画像記憶領域２３ｂから読み出すものである。

アフィン変換部２５−１１は、キーフレーム信号Ｓkfが供給され、数１３に従って、アフィンパラメータＨt及びＨtiのうち、いずれか一方を選択する。

アフィン変換部２５−１１は、数１３に従ってＨtを選択すると、選択したＨtをアフィンパラメータＨとして用い、入力座標(u,v)に対応する正面補正前の座標(x,y)を得る。また、アフィン変換部２５−１１は、数１０に示すバイリニア法による補間方法を用い、座標点(x,y)について画素値Ｐ(u,v)を求める。

画像合成部２５−１２は、アフィン変換部２５−１１が変換した画像を合成するものである。画像合成部２５−１２は、次の数１４に従い、複数の歪み補正画像の各画素を対応させて画像を合成する。

ここで、Countは、画像の合成回数を示すカウント値であり、画像合成部２５−１２は、画像合成を行う毎に、数１５に従ってカウント値Countをインクリメントする。

そして、画像合成部２５−１２は、カウント値Countをメモリ２３の作業データ記憶領域２３ｄに記憶する。

尚、数１４は、複数の歪み補正画像の画素値の加算平均値を画素毎に取得する加算平均を示す。照明光の映り込み領域が存在する場合、この領域の画素値は、映り込みがない領域の画素値と加算平均されて、映り込みがない領域の画素値に近づく。

また、合成する画像が増えるに従って、照明光の映り込み領域の画素値は、映り込みがない領域の画素値に、より近づくようになる。即ち、画像合成部２５−１２は、この数１４に従って加算平均を行うことにより、照明光の映り込みによって生じた画素値の変化を低減させている。

（２）画像変換処理
画像変換処理は、低解像度Bayer画像から低解像度RGB画像への変換、高解像度RGB画像から低解像度画像への変換、Bayer画像からYUV画像への変換を行う処理である。

画像処理装置２５は、ＣＰＵ３０によって撮影モードが低解像度撮影モードに設定されている場合、メモリ２３のセンサ画像記憶領域２３ａから低解像度Bayer配列の画像データを読み出して、読み出した低解像度Bayer配列の画像データを低解像度RGB画像のデータに変換する。この低解像度RGB画像は、プレビュー画像表示のための画像である。画像処理装置２５は、変換した低解像度RGB画像のデータをメモリ２３の表示画像記憶領域２３ｃに記憶する。

画像処理装置２５は、画像合成処理の実行後、高解像度RGB形式の画像データを、プレビュー表示のための低解像度RGB画像のデータに変換する。画像処理装置２５は、変換した低解像度RGB画像をメモリ２３の表示画像記憶領域２３ｃに記憶する。

画像処理装置２５は、画像合成処理の実行後、保存キーが押下された場合、合成画像データをメモリ２３の合成画像記憶領域２３ｅから読み出してYUV画像のデータに変換する。

（３）画像データの圧縮処理
画像データの圧縮処理は、メモリカード３１に画像データを保存する際に、画像データをＪＰＥＧ圧縮する処理である。画像処理装置２５は、画像変換処理において合成画像データをYUV画像のデータに変換すると、この処理を実行する。

（４）画像保存処理
画像をメモリカード３１に保存する処理であり、画像処理装置２５は、ＪＰＥＧ圧縮したYUV画像の画像データを、外部記憶ＩＯ装置２８を介してメモリカード３１に保存する。尚、画像処理装置２５は、メモリカード３１には、画像データを画像ファイルに分けて記録する。メモリカード３１は、画像データに関するヘッダ情報のためのヘッダ情報記憶領域を備え、画像処理装置２５は、画像データをメモリカード３１に記録する際、画像データに関するヘッダ情報もヘッダ情報記憶領域に記録する。

操作部２６は、デジタルカメラ１の機能を制御するためのスイッチ、キーを備えたスイッチ群である。操作部２６は、これらのスイッチ、キーとして、シャッターボタン１３、電源キー、保存キー等を備える。

電源キーは、デジタルカメラ１の電源をオンするときに押下されるキーである。保存キーは、撮影によって得られた画像のデータを記憶するときに押下されるキーである。操作部２６は、ユーザが、これらのキー、スイッチを押下すると、応答してこのときの操作情報をＣＰＵ３０に送信する。

コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、デジタルカメラ１にコンピュータ（図示せず）が接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。

プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。

操作部２６のスイッチ、キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４，画像処理装置２５等を制御する。

具体的には、ＣＰＵ３０は、操作部２６からの操作情報に基づいて、電源キーが押下されているか否かを判定し、操作部２６から、電源キーが押下された旨の操作情報が送信されると、後述するフローチャートに従って、カメラ制御処理を実行する。

デジタルカメラ１が起動すると、ＣＰＵ３０は、デジタルカメラ１の初期化、メモリ２３の初期化、合成処理の初期化、撮影モードの初期化等を行う。デジタルカメラ１の処理化は、カメラ撮影を行うための条件と撮影モードとの初期化である。撮影条件にはデジタルカメラ１のフォーカス、シャッター速度（露光時間）、絞り等の露出、ホワイトバランス、感度等が含まれ、ＣＰＵ３０は、これらの撮影条件の初期化を行う。

ＣＰＵ３０は、合成処理の初期化として、キーフレーム信号Ｓkfを１にセットする。キーフレーム信号Ｓkfは、撮影画像が１枚目のキーフレームか否かを判別するための信号である。Ｓkf＝１は、撮影画像がキーフレームであることを示す。尚、画像処理装置２５が画像合成処理を実行すると、ＣＰＵ３０は、このキーフレーム信号Ｓkfをクリアして０とする。Ｓkf＝０は、撮影画像が２枚目以降の画像であることを示す。ＣＰＵ３０は、キーフレーム信号Ｓkfの値を作業データ記憶領域２３ｄに記憶する。

また、ＣＰＵ３０は、合成処理の初期化として、作業データ記憶領域２３ｄに記憶されているカウント値Countを０に初期化し、合成画像記憶領域２３ｅに記憶されている画像Ｑ(u,v)を０に初期化する。

また、ＣＰＵ３０は、操作部２６からの操作情報に基づいて、シャッターボタン１３が押下されたか否かを判定する。そして、シャッターボタン１３が押下されていない場合、ＣＰＵ３０は、撮影モードを低解像度撮影モードに設定し、シャッターボタン１３が押下されている場合、ＣＰＵ３０は、撮影モードを高解像度撮影モードに設定する。

また、ＣＰＵ３０は、操作部２６からの操作情報に基づいて、保存キーが押下されたか否かを判定し、押下されたと判定した場合、画像処理装置２５を制御して、合成ＲＧＢ画像からYUV画像への画像変換処理を実行させる。また、ＣＰＵ３０は、画像処理装置２５に、画像データの圧縮処理を実行させ、画像保存処理を実行させる。

尚、ＣＰＵ３０は、保存キーが設定時間内に押下されたか否かを判定し、設定時間内に押下されなかったと判定した場合、操作部２６からの操作情報に基づいて、電源キーが押下されたか否かを判定する。そして、電源キーが押下されたと判定した場合、ＣＰＵ３０は、デジタルカメラ１をオフする。

電源キーが押下されなかったと判定した場合、ＣＰＵ３０は、再び、シャッターボタンが押下されたか否かを判定して、判定結果に基づいて撮影モードを設定する。

次に本実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源キーを押下すると、ＣＰＵ３０は、起動してプログラムコード記憶装置２９に記憶されているプログラムのデータを取得する。

ユーザが撮影ボタンを押下すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０はこの操作情報を受信し、ＣＰＵ３０、画像処理装置２５等は、図７及び図８に示すフローチャートに従ってカメラ制御処理を実行する。

ＣＰＵ３０は、デジタルカメラ１の初期化、メモリ２３の初期化を行う（ステップＳ１１）。

ＣＰＵ３０は、合成処理の初期化を行う（ステップＳ１２）。ＣＰＵ３０は、合成処理の初期化として、キーフレーム信号Ｓkfを１にセットして、Ｓkf＝１をメモリ２３の作業データ記憶領域２３ｄに記憶する。また、ＣＰＵ３０は、作業データ記憶領域２３ｄに記憶されているカウント値Countを０に初期化し、合成画像記憶領域２３ｅに記憶されている画像Ｑ(u,v)を０に初期化する。

ＣＰＵ３０は、操作部２６からの操作情報に基づいて、シャッターボタン１３が押下されたか否かを判定する（ステップＳ１３）。

シャッターボタン１３が押下されていないと判定した場合（ステップＳ１３においてＮｏ）、ＣＰＵ３０は、撮影モードを低解像度撮影モードに設定する（ステップＳ１４）。

ＣＰＵ３０は、撮影モードを低解像度撮影モードに設定すると、撮影レンズ部１１、光学レンズ装置２１を制御して、低解像度撮影を行う（ステップＳ１５）。イメージセンサ２２は、低解像度のBayer配列の画像データを生成し、生成した低解像度のBayer配列の画像データをメモリ２３に送出する。そして、メモリ２３は、この低解像度の画像データをセンサ画像記憶領域２３ａに記憶する。

画像処理装置２５は、低解像度のBayer配列の画像データをメモリ２３のセンサ画像記憶領域２３ａから読み出す（ステップＳ１６）。

画像処理装置２５は、読み出した低解像度Bayer配列の画像データの形式変換を行って、プレビュー用の低解像度ＲＧＢ画像を生成する（ステップＳ１７）。

画像処理装置２５は、生成した低解像度ＲＧＢ画像の画像データをメモリ２３の表示画像記憶領域２３ｃに記憶する。表示装置２４は、表示画像記憶領域２３ｃから低解像度ＲＧＢ画像の画像データを読み出して、低解像度ＲＧＢ画像を液晶モニタ１２に表示する（ステップＳ１８）。

ＣＰＵ３０は、操作部２６からの操作情報に基づいて、電源キーが押下されたか否かを判定する（ステップＳ１９）。

電源キーが押下されていないと判定した場合（ステップＳ１９においてＮｏ）、ＣＰＵ３０は、再度、シャッターボタン１３が押下されたか否かを判定する（ステップＳ１３）。

シャッターボタン１３が押下されたと判定した場合（ステップＳ１３においてＹｅｓ）、ＣＰＵ３０は、撮影モードを高解像度撮影モードに設定する（ステップＳ２１）。

ＣＰＵ３０は、撮影モードを高解像度撮影モードに設定すると、撮影レンズ部１１、光学レンズ装置２１を制御して、高解像度画像撮影を行う（ステップＳ２２）。

イメージセンサ２２は、高解像度のBayer配列の画像データを生成し、この高解像度画像のデータをメモリ２３に送出する。メモリ２３は、この画像データをセンサ画像記憶領域２３ａに記憶する。

画像処理装置２５は、メモリ２３のセンサ画像記憶領域２３ａから高解像度のBayer配列の画像データをメモリ２３のセンサ画像記憶領域２３ａから読み出す（ステップＳ２３）。

画像処理装置２５は、読み出した高解像度のBayer配列の画像データに対する画像合成処理を実行する（ステップＳ２４）。

画像処理装置２５は、図９に示すフローチャートに従って、画像合成処理を実行する。
ＲＧＢ画像生成部２５−１は、このBayer配列の画像をＲＧＢ画像ｐに変換し、変換したＲＧＢ画像ｐをメモリ２３の処理画像記憶領域２３ｂに記憶する（ステップＳ４１）。

輝度画像生成部２５−２は、ＲＧＢ画像生成部２５−１が変換したＲＧＢ画像ｐに対して輝度変換を行い、輝度画像Ｙを生成する（ステップＳ４２）。

画像処理装置２５は、メモリ２３の作業データ記憶領域２３ｄに記憶されているキーフレーム信号Ｓkfを参照し、キーフレーム信号Ｓkfが１にセットされているか否かを判定する（ステップＳ４３）。

キーフレーム信号Ｓkfが１にセットされていると判定した場合（ステップＳ４３においてＹｅｓ）、画像処理装置２５は、メモリ２３の処理画像記憶領域２３ｂから読み出した画像データがキーフレームの画像データと判定する。

この場合、キーフレーム特徴点抽出部２５−３は、輝度画像生成部２５−２が生成したキーフレームの輝度画像Ｙから、複数の特徴点を抽出し、特徴点リストList_1を生成する（ステップＳ４４）。キーフレーム特徴点抽出部２５−３は、生成した特徴点リストList_1をメモリ２３の作業データ記憶領域２３ｄに記憶する。

エッジ処理部２５−４は、輝度画像生成部２５−２が生成した輝度画像Ｙに対してエッジ処理を行い、２値エッジ画像Ｅを生成する（ステップＳ４５）。

矩形検出部２５−５は、エッジ処理部２５−４が生成した２値エッジ画像Ｅから、矩形情報Ｒを取得する（ステップＳ４６）。

Ｈt生成部２５−６は、矩形検出部２５−５が取得した矩形情報Ｒに基づいて、数４〜数７に従って、アフィンパラメータＨtを生成する（ステップＳ４７）。

Ｈt生成部２５−６は、生成したアフィンパラメータＨtをメモリ２３の処理画像記憶領域２３ｂに記憶する（ステップＳ４８）。

アフィン変換部２５−１１は、Ｓkf＝１のため、数１３に従ってアフィンパラメータＨtを選択する。そして、アフィン変換部２５−１１は、数９にアフィンパラメータＨtと、順次、正面補正化後の各画素座標(u,v)を代入し、アフィン変換を行い、アフィン変換によって得られた正面化補正前の歪み画像の対応画素を得る。さらに、アフィン変換部２５−１１は、数１０に示すバイリニア方による補間方法を用い、出力範囲全ての座標点について画素値Ｐ(u,v)を求める（ステップＳ５６）。

画像合成部２５−１２は、画像合成を行う（ステップＳ５７）。即ち、画像合成部２５−１２は、アフィン変換部２５−１１が求めた画像Ｐ(u,v)から、数１４に従い、合成処理を行い、合成画像Ｑ(u,v)を生成する。初期状態ではCount＝０であるので、画像Ｐ(u,v)の値が、そのまま、合成画像Ｑ(u,v)となる。

画像合成部２５−１２は、生成した画像合成Ｑ(u,v)をメモリ２３の合成画像記憶領域２３ｅに記憶する。また、画像合成部２５−１２は、作業データ記憶領域２３ｄに記憶したカウンタ値Countを、数１５に従ってインクリメントする。

このように画像処理装置２５が画像合成処理を実行すると、ＣＰＵ３０は、キーフレーム信号Ｓkfをクリアする（図８のステップＳ２５）。ＣＰＵ３０は、このキーフレーム信号Ｓkfをメモリ２３の作業データ記憶領域２３ｄに記憶する。

画像処理装置２５は、画像合成処理において生成した高解像度ＲＧＢ画像の解像度を変換し、プレビュー表示用としての低解像度ＲＧＢ画像を生成する（ステップＳ２６）。

画像処理装置２５は、生成した低解像度ＲＧＢ画像のデータをメモリ２３の表示画像記憶領域２３ｃに記憶する。表示装置２４は、低解像度ＲＧＢ画像のデータをメモリ２３の表示画像記憶領域２３ｃから読み出して、この画像を液晶モニタ１２にプレビュー表示する（ステップＳ２７）。

ＣＰＵ３０は、操作部２６からの操作情報に基づいて、保存キーが押下されたか否かを判定する（ステップＳ２８）。

保存キーが押下されていないと判定した場合（ステップＳ２８においてＮｏ）、ＣＰＵ３０は、プレビュー表示が設定時間を経過したか否かを判定する（ステップＳ２９）。

プレビュー表示が設定時間を経過したと判定した場合（ステップＳ２９においてＹｅｓ）、ＣＰＵ３０は、操作部２６からの操作情報に基づいて、電源キーが押下されたか否かを判定する（図７のステップＳ１９）。

電源キーが押下されていないと判定した場合（ステップＳ１９においてＮｏ）、ＣＰＵ３０は、再び、操作部２６からの操作情報に基づいて、シャッターが押下されたか否かを判定する（ステップＳ１３）。

シャッターが押下されたと判定した場合（ステップＳ１３においてＹｅｓ）、ＣＰＵ３０は、再び、撮影モードを高解像度撮影モードに設定し、高解像度画像撮影を行う（図８のステップＳ２１，Ｓ２２）。

イメージセンサ２２は、高解像度のBayer配列の画像データを生成し、この高解像度画像のデータをメモリ２３に送出し、メモリ２３は、この画像データをセンサ画像記憶領域２３ａに記憶する。

画像処理装置２５は、高解像度画像のデータをメモリ２３のセンサ画像記憶領域２３ａから読み出して、画像合成処理を実行する（ステップＳ２３，Ｓ２４）。

画像処理装置２５のＲＧＢ画像生成部２５−１は、このBayer配列の画像をＲＧＢ画像ｐに変換し、変換したＲＧＢ画像ｐをメモリ２３の処理画像記憶領域２３ｂに記憶し、輝度画像生成部２５−２は、輝度画像Ｙを生成する（図９のステップＳ４１、Ｓ４２）。

画像処理装置２５は、メモリ２３の作業データ記憶領域２３ｄに記憶されているキーフレーム信号Ｓkfを参照し、キーフレーム信号Ｓkfが１にセットされているか否かを判定する（ステップＳ４３）。

この場合、キーフレーム信号Ｓkfはクリアされているため、画像処理装置２５は、メモリ２３の処理画像記憶領域２３ｂから読み出した画像データはキーフレームの画像データではないと判定する（ステップＳ４３においてＮｏ）。

この場合、ステップＳ４５〜Ｓ４７と同様に、エッジ処理部２５−４は、２値エッジ画像Ｅを生成し、矩形検出部２５−５は、２値エッジ画像Ｅから矩形情報Ｒを取得する（ステップＳ４９，Ｓ５０）。

そして、Ｈt生成部２５−６は、矩形検出部２５−５が取得した矩形情報Ｒに基づいて、数４〜数７に従って、アフィンパラメータＨtを生成する（ステップＳ５１）。

Ｈf~生成部２５−７は、１枚目の画像のアフィンパラメータＨtの逆行列Ｈtk^-1と、今回の画像のアフィンパラメータＨt2とから、数１１に従って、動き予測パラメータＨf~を生成する（ステップＳ５２）。

特徴点追跡処理部２５−８は、Ｈf~生成部２５−７から動き予測パラメータＨf~を取得し、メモリ２３の作業データ記憶領域２３ｄから特徴点リストList_1を取得して、取得した動き予測パラメータＨf~と特徴点リストList_1とに基づいて数９とオプティカルフローとを用いて、正確な特徴点座標を取得し、特徴点リストList_2を作成する（ステップＳ５３）。

Ｈf生成部２５−９は、キーフレーム特徴点抽出部２５−３、特徴点追跡処理部２５−８が、それぞれ、取得した特徴点リストList_1，List_2から特徴点を取得し、取得した特徴点に基づいて、最小２乗法によってキーフレームとの相対関係を示すアフィンパラメータＨfを生成する（ステップＳ５４）。

Ｈti生成部２５−１０は、Ｈf生成部２５−９が生成したアフィンパラメータＨfに基づいて、数１２によって表されるアフィンパラメータＨtiを生成する（ステップＳ５５）。

アフィン変換部２５−１１は、Ｓkf＝０のため、数１３に従ってアフィンパラメータＨtiを選択する。そして、アフィン変換部２５−１１は、前述の処理を実行し、出力範囲全ての座標点について画素値を求める（ステップＳ５６）。

画像合成部２５−１２は、画像合成を行う（ステップＳ５７）。即ち、画像合成部２５−１２は、前回の撮影時に求めた画像Ｑ(u,v)をメモリ２３の合成記憶領域２３ｅから読み出して、アフィン変換部２５−１１が求めた画像Ｐ(u,v)と、読み出した画像Ｑ(u,v)とを、数１４に従って合成し、合成画像Ｑ(u,v)を生成する。

画像合成部２５−１２は、生成した合成画像Ｑ(u,v)を再びメモリ２３の合成画像記憶領域２３ｅに記憶する。また画像合成部２５−１２は、作業データ記憶領域に記憶したカウント値Countを、数１５に従ってインクリメントする。

このように画像処理装置２５が画像合成処理を実行すると、ＣＰＵ３０は、キーフレーム信号Ｓkfを再度クリアする（図８のステップＳ２５）。

画像処理装置２５は、生成した低解像度ＲＧＢ画像のデータをメモリ２３の表示画像記憶領域２３ｃに記憶する。表示装置２４は、低解像度ＲＧＢ画像のデータをメモリ２３の表示画像記憶領域２３ｃから読み出して、この画像を液晶モニタ１２にプレビュー表示する（ステップＳ２７）。

ＣＰＵ３０は、操作部２６からの操作情報に基づいて、保存キーが押下されたか否かを判定する（ステップＳ２８）。

保存キーが押下されていないと判定した場合（ステップＳ２８においてＮｏ）、ＣＰＵ３０は、プレビュー表示が設定時間を経過したか否かを判定する（ステップＳ２９）。

プレビュー表示が設定時間を経過していないと判定した場合（ステップＳ２９においてＮｏ）、ＣＰＵ３０は、再び、操作部２６からの操作情報に基づいて、保存キーが押下されたか否かを判定する（ステップＳ２８）。

保存キーが押下されたとＣＰＵ３０が判定した場合（ステップＳ２８においてＹｅｓ）、画像処理装置２５は、合成ＲＧＢ画像データをメモリ２３の合成画像記憶領域２３ｅから読み出して、形式を変換し、YUV画像のデータを生成する（ステップＳ３０）。

画像処理装置２５は、YUV画像のデータをＪＰＥＧ圧縮する（ステップＳ３１）。
画像処理装置２５は、ＪＰＥＧ圧縮したYUV画像の画像データを、外部記憶ＩＯ装置２８を介してメモリカード３１に保存する（ステップＳ３２）。

ＣＰＵ３０は、操作部２６からの操作情報に基づいて、再度、シャッターボタン１３が押下されたか否かを判定する（図７のステップＳ１３）。

シャッターボタン１３が押下されていないと判定した場合（ステップＳ１３においてＮｏ）、ＣＰＵ３０は、撮影モードを低解像度撮影モードに設定する（ステップＳ１４）。
そして、ＣＰＵ３０は、操作部２６からの操作情報に基づいて、電源キーが押下されたか否かを判定する（ステップＳ１９）。

電源キーが押下されたと判定した場合（ステップＳ１９においてＹｅｓ）、ＣＰＵ３０は、デジタルカメラ１のオフ処理を行う（ステップＳ２０）。そして、ＣＰＵ３０は、このカメラ制御処理を終了させる。

以上説明したように、本実施形態によれば、画像処理装置２５は、複数の画像を合成し、合成する画像を加算平均するようにした。
従って、光沢紙等を撮影した場合のように、照明光等の映り込みが生じた場合でも、映り込み領域の画素値が、映り込みがない領域の画素値に近づき、映り込みの影響を低減することができる。

また、画像処理装置２５は、画像間で動き検出等を行って、画像間で動きベクトルを予測して重ね合わせて、画像を合成するようにした。従って、撮影画像にノイズ等が存在した場合でも、画像の周波数成分として、高域成分を損なうことなく、Ｓ／Ｎ比を改善することができる。

即ち、画像処理装置２５は、このような手法に従って画像を合成することにより、文字部分がきれいに重なり、その結果として、作成された合成画像は、１枚１枚に含まれているランダムなＣＣＤノイズは平均化されてＳ／Ｎが改善される。

言い換えれば、１枚１枚の画像が必要とする露光時間が不足する場合でも、合成される画像の露光時間の総和が、合成画像の露光時間と考えられ、合成画像の露光時間は、必要とされる時間に達することになる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施形態では、画像処理装置２５の画像合成部２５−１２は、数１４に従い、加算平均を行うことにより、照明光の映り込みの影響を低減するようにした。しかし、演算法は、このものに限られるものではない。

例えば、画像合成部２５−１２は、演算法として、数１６に示すような画素値の最小値を選択する方法を用いることができる。

この場合、Ｐ，Ｑは、ＲＧＢの３要素を有しているので、画像合成部２５−１２は、それぞれの要素毎に独立して演算を行う。

また、画像合成部２５−１２は、照明光の光強度を示すパラメータを、複数の画像の各画素値から取得して、複数の画像の対応する画素毎に、取得したパラメータを比較することにより映り込みが少ないと考えられる画素データを選択する選択法を用いることができる。

この場合、画像合成部２５−１２は、次の数１７に従って、複数の画像の各画素値に対する演算を行い、複数の画像を合成する。

数１７において、s()は、映り込み度合いを評価する尺度関数であり、s(Ｐ(u,v))，s(Ｑ(u,v))は、それぞれ、３次元ＲＧＢデータの画像Ｐ(u,v)、画像Ｑ(u,v)の尺度関数を示す。この関数s()の値は、デジタルカメラ１が被写体を撮影する時の照明光の光強度を示すパラメータである。

この関数s()には、種々のものが考えられる。例えば、照明光の光強度が大きくなるに従って、輝度値が大きくなるので、輝度値をパラメータとして用いることができる。この場合、入力RGB画像の成分をＰ＝（Ｒ，Ｇ，Ｂ）として、関数s()は、次の数１８によって表される。

また、照明光の映り込みによって、映り込み領域の光強度が大きくなり、それに従って、色相は小さくなるので、この色相をパラメータとして用いることができる。この場合、関数s()は、次の数１９によって表される。

また、画像処理装置２５は、次の数２０を用いて画像合成を行う方法も考えられる。

数２０に示す関数Ds()の値が正のときは、入力画像Ｐ(u,v)の方が映り込みが大きいことになる。尚、ＣＰＵ３０は、合成処理の初期化として、画像の合成回数を示すＮ(u,v)をすべて０に初期化する。

数２０の第１行の条件は、画像が最初の１枚目の画像であるか、該当画素において、関数Dsの値が第１の閾値DSLよりも小さいので,今回の画像Ｐ(u,v)の方が映り込みが著しく小さいことを示している。この場合、画像処理装置２５は、現在の合成画像Ｑ(u,v)を放棄して今回の画像Ｐ(u,v)を採用する。

数２０の第２行の条件は、入力画像が２枚目以降の画像であって、その映り込みが著しく大きい場合であることを示している。この場合、画像処理装置２５は、今回の画像Ｐ(u,v)を合成には用いないようにする。

数２０の第３行の条件は、それ以外の条件を示している。この場合、画像処理装置２５は、加算平均を行う。

この動作によって映り込みが少ない画像の画素点だけが加算される。これによりＳ／Ｎを改善しつつ、映り込みの少ない画像を合成することができる。

また、周波数の高い被写体の撮影を行った場合、空間的な特徴を考慮した尺度を用いることができる。この場合、尺度ｓをＲＧＢデータからだけではなく、画像データ全体又はその画素の近傍を用いて求めることとする。尺度を画像データも入力できるように拡張を行い、関数Se(P,u,v)を定義することもできる。

そして、数１８の考え方を拡張して、注目している画素点(u,v)の近傍(2N+1)×(2N+1)領域の輝度のガウス分布で重み付けしたものを、その注目点の関数Se（）とすることができる。その関数Se（）は、次の数２１によって表される。

画像処理装置２５がこのような数２１に示す演算法を用いて画像合成を行った場合、被写体が周波数の高いものである場合でも、注目する画素の画素値は、隣接する画素と関連性を有することになる。特に、画像の位置ずれが生じた場合、位置ずれによって生じる誤差の影響を低減することができる。

また、輝度の小さい画像、色彩の強い画像が優先的に選択されることもないので、結果として、画像の高域成分は抑制されず、輪郭のはっきりとした画像、抑揚が大きなカラー画像を生成することができる。

尚、画像処理装置２５が、この数２１に示す関数Se（）を、数１７に示す関数s()の代わりに代入し、画像合成を行うことにより、空間を考慮した選択法による映り込みの低減が可能になる。

また、空間を考慮した選択加算平均法として、画像処理装置２５は、数２０に示す関数Ds()の代わりに、次の数２２に示す関数Ds()を用いることも可能である。関数Se()には、前述の数２１を用いればよい。

これにより高域周波数成分を保持しつつ、良好な映り込みの影響を低減することができる。

上記実施形態では、デジタルカメラ１を１台として説明した。しかし、デジタルカメラ１を複数台備えてもよい。

上記実施形態では、図５に示すように、被写体として文字等を用いる場合について説明した。しかし、被写体は、文字に限られるものではなく、風景、人物であっても同様に画像の合成を行うことができる。

上記実施形態では、映り込みを照明光によるものとして説明した。しかし、映り込みは、これだけではなく、例えば、屋外からの環境光による場合もあり、この場合でも、本実施形態を適用できる。

上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮影装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係るデジタルカメラの外観を示す図である。 本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。 図２に示すメモリの各記憶領域を示すブロック図である。 図２に示す画像処理装置が行う台形補正を示す図である。 画像合成を示す図である。 図２に示す画像処理装置の構成を示す図である。 デジタルカメラが実行するカメラ制御処理（１）を示すフローチャートである。 デジタルカメラが実行するカメラ制御処理（２）を示すフローチャートである。 図２に示す画像処理装置が実行する画像合成処理を示すフローチャートである。

符号の説明

１・・・デジタルカメラ、１１・・・撮影レンズ部、１２・・・液晶モニタ、１３・・・シャッタボタン、２１・・・光学レンズ装置、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示装置、２５・・・画像処理装置、２５−１１・・・アフィン変換部、２５−１２・・・画像合成部、３０・・・ＣＰＵ、３１・・・メモリカード

Claims (9)

1. 被写体を撮影する撮影装置において、
   前記被写体を異なる方向から複数回撮影することによって得られた複数の撮影画像の歪みを補正して、歪み補正画像を取得する補正部と、
   前記補正部が補正した複数の歪み補正画像の各画素を対応させて、前記被写体を撮影する時の光の映り込みによって生じた画素値の変化を低減させるような演算法を用いて、前記複数の歪み補正画像の各画素値に対する演算を行い、前記演算が行われた複数の歪み補正画像を合成する画像合成部と、を備え、
   前記画像合成部は、前記演算法として、
   前記複数の歪み補正画像の各画素値から、それぞれ、前記被写体を撮影する時の光の光強度を示すパラメータを取得し、
   被合成画像を第１の画像、前記第１の画像に合成する画像を第２の画像として、前記第１の画像、前記第２の画像から、それぞれ、前記パラメータを画素毎に取得して、前記第２の画像のパラメータの値から前記第１の画像のパラメータの値を差し引いた差を求め、
   前記求めた差が予め設定された第１の閾値未満である場合に、前記第２の画像の画素値を合成画像の画素値とし、
   前記第１の画像が既に合成した合成画像であり、かつ前記求めた差が予め設定された第２の閾値より大きい場合に、前記第１の画像の画素値を合成画像の画素値とし、
   その他の場合には、前記第１の画像の画素値と第２の画像の画素値とを画像合成の回数に基づいて加重平均した値を合成画像の画素値とする演算方法を用いて、
   前記複数の歪み補正画像を合成する、
   ことを特徴とする撮影装置。
2. 前記画像合成部は、
   前記パラメータとして、各歪み補正画像の輝度値を用いる、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記画像合成部は、
   前記パラメータとして、各歪み補正画像の色相値を用いる、
   ことを特徴とする請求項１に記載の撮影装置。
4. 被写体を撮影することによって得られた撮影画像の画像処理方法において、
   前記被写体を異なる方向から複数回撮影し、前記撮影によって得られた複数の撮影画像の歪みを補正して、複数の歪み補正画像を取得するステップと、
   前記複数の歪み補正画像の各画素を対応させるステップと、
   前記被写体を撮影する時の光の映り込みによって生じた画素値の変化を低減させるような演算法を用いて、前記複数の歪み補正画像の各画素値に対する演算を行い、前記演算が行われた複数の歪み補正画像を合成するステップと、を備え、
   前記演算法として、
   前記複数の歪み補正画像の各画素値から、それぞれ、前記被写体を撮影する時の光の光強度を示すパラメータを取得し、
   被合成画像を第１の画像、前記第１の画像に合成する画像を第２の画像として、前記第１の画像、前記第２の画像から、それぞれ、前記パラメータを画素毎に取得して、前記第２の画像のパラメータの値から前記第１の画像のパラメータの値を差し引いた差を求め、
   前記求めた差が予め設定された第１の閾値未満である場合に、前記第２の画像の画素値を合成画像の画素値とし、
   前記第１の画像が既に合成した合成画像であり、かつ前記求めた差が予め設定された第２の閾値より大きい場合に、前記第１の画像の画素値を合成画像の画素値とし、
   その他の場合には、前記第１の画像の画素値と第２の画像の画素値とを画像合成の回数に基づいて加重平均した値を合成画像の画素値とする演算方法を用いる、
   ことを特徴とする撮影画像の画像処理方法。
5. 前記パラメータとして、各歪み補正画像の輝度値を用いる、
   ことを特徴とする請求項４に記載の撮影画像の画像処理方法。
6. 前記パラメータとして、各歪み補正画像の色相値を用いる、
   ことを特徴とする請求項４に記載の撮影画像の画像処理方法。
7. 撮像手段を備えたコンピュータに、
   被写体を異なる方向から複数回撮影し、前記撮影によって得られた複数の撮影画像の歪みを補正して、複数の歪み補正画像を取得する手順と、
   前記複数の歪み補正画像の各画素を対応させる手順と、
   前記被写体を撮影する時の光の映り込みによって生じた画素値の変化を低減させるような演算法を用いて、前記複数の歪み補正画像の各画素値に対する演算を行い、前記演算が行われた複数の歪み補正画像を合成する手順と、
   を実行させ、
   前記演算法として、
   前記複数の歪み補正画像の各画素値から、それぞれ、前記被写体を撮影する時の光の光強度を示すパラメータを取得し、
   被合成画像を第１の画像、前記第１の画像に合成する画像を第２の画像として、前記第１の画像、前記第２の画像から、それぞれ、前記パラメータを画素毎に取得して、前記第２の画像のパラメータの値から前記第１の画像のパラメータの値を差し引いた差を求め、
   前記求めた差が予め設定された第１の閾値未満である場合に、前記第２の画像の画素値を合成画像の画素値とし、
   前記第１の画像が既に合成した合成画像であり、かつ前記求めた差が予め設定された第２の閾値より大きい場合に、前記第１の画像の画素値を合成画像の画素値とし、
   その他の場合には、前記第１の画像の画素値と第２の画像の画素値とを画像合成の回数に基づいて加重平均した値を合成画像の画素値とする演算方法を用いる、
   ことを特徴とするプログラム。
8. 前記パラメータとして、各歪み補正画像の輝度値を用いる、
   ことを特徴とする請求項７に記載のプログラム。
9. 前記パラメータとして、各歪み補正画像の色相値を用いる、
   ことを特徴とする請求項７に記載のプログラム。

Images