JP4700544B2 - 撮像装置，及び撮像方法 - Google Patents

Description

本発明は，画像を撮影することが可能な撮像装置，及び撮像方法に関する。

従来，手ブレを抑制する技術としては，撮像面に対するレンズの位置を手ブレ方向と反対方向にシフトすることにより，手ブレをキャンセルする光学的手ブレ補正方法が知られている。また，高速シャッターを用いて複数枚の画像を撮影し，被写体の特徴点を基準にして，各画像を合成することにより電子手ブレ補正を行う技術も知られている（例えば，特許文献１を参照）。特に，低速シャッターによる撮影が必要な低輝度シーンでは，この電子手ブレ補正機能が有効である。

特開２００５−２９５３０２号公報

しかし，従来の電子手ブレ補正機能を搭載した撮像装置は，高速シャッターを用いて撮影された時分割画像を合成した後に，ノイズ低減処理を施していた。その為，時分割画像のノイズレベルが大きい場合には，ノイズ低減処理の効果が十分に発揮されないという問題があった。

そこで，本発明は，上記問題に鑑みてなされたものであり，本発明の目的とするところは，画像に含まれるノイズを低減することが可能な，新規かつ改良された撮像装置，及び撮像方法を提供することにある。

上記課題を解決するために，本発明のある観点によれば，時分割露光により撮影された複数の画像を合成することにより，電子手ブレ補正をすることが可能な撮像装置が提供される。該撮像装置は，隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する特徴点抽出部と；前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，前記輝度値のブレ幅を補正する輝度補正部と；前記時分割画像を合成して合成画像を生成する際，前記対応画素の補正された輝度値を合算して，前記合成画像に含まれる各画素の輝度値を算出する合成輝度算出部と；を備えることを特徴とする。

上記撮像装置が備える特徴点抽出部は，該撮像装置は，隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する。また，上記輝度補正部は，前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，前記輝度値のブレ幅を補正する。上記合成輝度算出部は，前記時分割画像を合成して合成画像を生成する際，前記対応画素の補正された輝度値を合算して，前記合成画像に含まれる各画素の輝度値を算出する。かかる構成により，各画素毎に輝度値を補正することで，より高いノイズ低減効果が見込める。

さらに，前記対応画素の輝度値について，代表値を決定する代表値決定部を備えてもよい。また，前記輝度補正部は，前記対応画素の輝度値について，前記代表値を基準とした所定の許容範囲に収まるように補正するとしてもよい。かかる構成により，各画素毎の輝度値を代表値を基準とした輝度範囲に収束させることが可能になり，ノイズ抑制の効果が見込める。

前記撮像装置は，前記所要の撮影数に加えて，さらにｎ（≧１）枚の画像を撮影してもよい。また，前記対応画素の輝度値について，代表値を決定する代表値決定部をさらに備えてもよい。さらに，前記合成輝度算出部は，前記代表値との差が大きいｎ個の輝度値を除外して合算するとしてもよい。かかる構成により，代表値から大きく離れた輝度値を含んでいたとしても，これらのノイズを効果的に除去することができる。

また，上記課題を解決するために，本発明の他の観点によれば，時分割露光により撮影された複数の画像を合成することにより，電子手ブレ補正をすることが可能な撮像装置が提供される。該撮像装置は，隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する特徴点抽出部と；前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，前記輝度値に関する統計値を算出する統計値算出部と；前記時分割画像を合成して合成画像を生成した後に実施するノイズ低減処理の度合いを算出するノイズ処理強度算出部と；を備えることを特徴とする。

上記撮像装置が備える特徴点抽出部は，該撮像装置は，隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する。また，上記統計値算出部は，前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，前記輝度値に関する統計値を算出する。さらに，上記ノイズ処理強度算出部は，前記時分割画像を合成して合成画像を生成した後に実施するノイズ低減処理の度合いを算出する。かかる構成により，各画素毎の輝度値に関する情報に基づいて，ノイズ処理に係るパラメータを決定することで，より高いノイズ低減効果が見込める。

さらに，上記課題を解決するために，本発明の別の観点によれば，時分割露光により撮影された複数の画像を合成することにより，電子手ブレ補正をすることが可能な撮像方法が提供される。該撮像方法は，隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する特徴点抽出過程と；前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，前記輝度値のブレ幅を補正する輝度補正過程と；前記時分割画像を合成して合成画像を生成する際，前記対応画素の補正された輝度値を合算して，前記合成画像に含まれる各画素の輝度値を算出する合成輝度算出過程と；を含むことを特徴とする。かかる構成により，各画素毎に輝度値を補正することで，より高いノイズ低減効果が見込める。

さらに，前記対応画素の輝度値について，代表値を決定する代表値決定過程を含んでいてもよい。また，前記輝度補正過程は，前記対応画素の輝度値について，前記代表値を基準とした所定の許容範囲に収まるように補正するとしてもよい。かかる構成により，各画素毎の輝度値を代表値を基準とした輝度範囲に収束させることが可能になり，ノイズ抑制の効果が見込める。

前記撮像方法は，前記所要の撮影数に加えて，さらにｎ（≧１）枚の画像を撮影してもよい。また，前記対応画素の輝度値について，代表値を決定する代表値決定過程をさらに含んでもよい。さらに，前記合成輝度算出過程は，前記代表値との差が大きいｎ個の輝度値を除外して合算するとしてもよい。かかる構成により，代表値から大きく離れた輝度値を含んでいたとしても，これらのノイズを効果的に除去することができる。

また，上記課題を解決するために，本発明のさらに別の観点によれば，時分割露光により撮影された複数の画像を合成することにより，電子手ブレ補正をすることが可能な撮像方法が提供される。該撮像方法は，隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する特徴点抽出過程と；前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，前記輝度値に関する統計値を算出する統計値算出過程と；前記時分割画像を合成して合成画像を生成した後に実施するノイズ低減処理の度合いを算出するノイズ処理強度算出過程と；を含むことを特徴とする。

上記撮像方法が含む特徴点抽出過程では，隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する。また，上記統計値算出過程では，前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，前記輝度値に関する統計値を算出する。上記ノイズ処理強度算出過程では，前記時分割画像を合成して合成画像を生成した後に実施するノイズ低減処理の度合いを算出する。かかる構成により，各画素毎の輝度値に関する情報に基づいて，ノイズ処理に係るパラメータを決定することで，より高いノイズ低減効果が見込める。

また，本発明に係る撮像装置は，例えば，焦点距離に応じて，所要の露光量が得られる適正シャッター速度を決定する露光制御部と；適正シャッター速度よりも高速な所定の高速シャッター速度により，適正シャッター速度を除算し，適正露光を得るのに必要な時分割画像の撮影数を設定する分割撮影数設定部と；高速シャッター速度において，時分割画像を撮影する時分割画像撮影部と；時分割画像毎に，各画素の輝度値が記録される輝度記録部と；隣接画素間の輝度値の変化量に基づいて，各時分割画像の特徴点を抽出する特徴点抽出部と；特徴点の位置を基準として時分割画像を合成したとき，各時分割画像の画像領域が重複する有効画素領域を抽出する有効画素領域抽出部と；各時分割画像に含まれ，有効画素領域の一画素に対応する一の画素群を抽出する対応画素抽出部と；一の画素群に含まれる対応画素の輝度値から，統計値を算出する統計値算出部と；算出された統計値に基づいて，各対応画素の輝度値を補正する輝度補正部と；時分割画像を合成して合成画像を生成する際，対応画素の補正された輝度値を合算して，合成画像に含まれる各画素の輝度値を算出する合成輝度算出部と；を備えていてもよい。

また，上記統計値算出部は，対応画素の輝度値から，中間値を算出する中間値算出部をさらに備えていてもよい。さらに，上記撮像装置は，中間値に所定の許容値を加算した値を上限値として設定し，かつ，中間値から許容値を減算した値を下限値として設定する許容域設定部と；対応画素の輝度値のうち，上限値を上回る輝度値を上限値に置換し，かつ，下限値を下回る輝度値を下限値に置換する輝度置換部と；をさらに備えていてもよい。

上記時分割画像撮影部は，所要の撮影数に加えて，さらに少なくとも２の画像を撮影してもよい。また，統計値算出部は，対応画素の輝度値について，最大輝度値と最小輝度値とを抽出するピーク輝度抽出部をさらに備えていてもよい。合成輝度算出部は，対応画素の輝度値のうち，最大輝度値と最小輝度値とを除外して合算してもよい。

上記統計値算出部は，有効画素領域に含まれる画素毎に，対応画素の輝度値に関する分散値を算出する分散値算出部と；全ての分散値について平均した分散平均値を算出する分散平均値算出部を備える。また，上記撮像装置は，分散平均値に基づいて，合成画像の全画素に共通して適用される空間フィルタの係数を算出する空間フィルタ係数算出部と；空間フィルタの係数に基づいて，合成画像の各画素に対し，空間フィルタ処理を適用する空間フィルタ処理部と；を備えていてもよい。

上記統計値算出部は，有効画素領域に含まれる画素毎に，対応画素の輝度値に関する分散値を算出する分散値算出部をさらに備えていてもよい。また，上記撮像装置は，有効画素領域の一の画素に対応する分散値に基づいて，一の画素に適用される空間フィルタの係数を算出する空間フィルタ係数算出部と；各時分割画像に対し，有効画素領域に含まれる画素毎に，空間フィルタの係数に基づいて，空間フィルタ処理を適用する空間フィルタ処理部と；をさらに備えていてもよい。また，合成輝度算出部は，空間フィルタ処理が適用された後，各対応画素の輝度値を合算して，合成画像の各画素に対応する輝度値を算出してもよい。

以上説明したように本発明によれば，画像に含まれるノイズを低減することができる。

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（撮像装置の構成）
図１を参照しながら，本発明の実施形態に係る撮像装置の構成について説明する。

本発明の実施形態に係る撮像装置は，主に，光学系１０２と，ドライバ１０４，１０６，１０８と，タイミング制御部１１０と，ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）１１２と，相関二重サンプリング回路（ＣＤＳ；Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）／増幅器（ＡＭＰ；Ａｍｐｌｉｆｉｅｒ）１１４と，Ａ／Ｄ変換部１１６と，画像入力制御部１１８と，ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０と，操作部１２２と，画像信号処理部１２４と，ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２６と，圧縮処理部１２８と，メモリ１３０と，表示部１３２と，ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）ドライバ１３４と，記録メディア制御部１３６と，記録メディア１３８と，により構成される。さらに，時分割画像撮影部（図示せず）の機能は，上記各部が協働することで実現される。

光学系１０２は，レンズを通して被写体をＣＣＤ１１２に結像させる。ドライバ１０４は，光学系１０２のズーム機構を駆動する。ドライバ１０６は，光学系１０２の絞り機構を駆動する。ドライバ１０８は，光学系１０２のフォーカス機構を駆動する。タイミング制御部１１０は，ＣＣＤ１１２を構成する各画素による露光期間の制御や電荷読出しの制御を行う。ＣＣＤ１１２は，光電変換が可能な素子により構成され，各素子が受け取った光に応じて電気信号を生成する。ＣＤＳ／ＡＭＰ１１４は，ＣＣＤ１１２から得られた電気信号に含まれる低周波ノイズを除去すると共に，電気信号を一定レベルまで増幅する。Ａ／Ｄ変換部１１６は，アナログの電気信号をデジタル信号に変換する。画像入力制御部１１８は，ＣＰＵ１２０からの動作指令を受けて，画像の入力に係るＣＣＤ１１２，ＣＤＳ／ＡＭＰ１１４，及びＡ／Ｄ変換部１１６の動作を制御する。操作部１２２は，電源スイッチ，モード切替手段，及びシャッター釦等から構成され，シャッター速度，及びＩＳＯ感度等の設定をユーザが行う為に用いられる。

ＶＲＡＭ１２６は，画像表示用のメモリであり，表示画像の書込みと表示部１３２への表示を同時に実行できるように，複数のチャネルを有するメモリにより構成される。圧縮処理部１２８は，入力画像データをＪＰＥＧ圧縮形式，又はＬＺＷ圧縮形式等の形式に圧縮処理する。メモリ１３０は，ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）等の半導体記憶素子により構成されていてもよく，時分割撮影された高速シャッター画像が保存される。また，画像信号処理部１２４により合成された合成画像が記録されてもよく，ＣＰＵ１２０の動作プログラムが保存されてもよい。

表示部１３２は，ＬＣＤ等の表示手段により構成され，ＶＲＡＭ１２６から読み出された画像が表示される。ＬＣＤドライバ１３４は，表示部１３２を駆動し，表示部１３２の出力を制御する。

記録メディア制御部１３６は，記録メディア１３８への画像データの書込み，又は記録メディア１３８に記録された画像データや設定情報等の読出しを制御する。記録メディア１３８は，光学式記憶媒体，光磁気ディスク，磁気ディスク，又は半導体記憶媒体等により構成され，撮影された画像データを記録することができる。また，記録メディア１３８は，当該撮像装置から着脱可能に構成されてもよい。

さらに，図２を参照すると，ＣＰＵ１２０は，露光制御部２００と，分割撮影数設定部２０２と，統計値算出部２０４と，輝度補正部２０６と，合成輝度算出部２０８と，許容域設定部２１０と，輝度置換部２１２と，空間フィルタ係数算出部２１４と，を含む。つまり，上記各部が実現すべき処理機能を備える。もちろん，各部をＣＰＵ１２０とは別体のハードウェアブロックにより構成してもよい。

露光制御部２００は，被写体の明度を基に，自動露光制御により，被写体の明度等に応じて，適正な露光量を決定し，該露光量に対応する適正シャッター速度を設定する。分割撮影数設定部２０２は，適正シャッター速度よりも高速なシャッター速度が設定されている場合，該高速シャッター速度により，上記の適正シャッター速度を除算することにより，適性露光量が得られる撮影枚数を決定する。つまり，高速シャッターにより撮影された時分割画像を合成した際に，合成画像の明度が，適正露光により撮影された画像の明度と同等になるような撮影枚数を算出する。

統計値算出部２０４は，高速シャッター速度で時分割撮影された時分割画像を合成する際に，各時分割画像に含まれる画素であり，かつ，同位置に合成される画素群について，各画素の輝度値を基に統計値を算出する。該画素群に含まれる画素のことを，以下，対応画素と呼ぶことにする。特に，後述する各時分割画像の特徴点を基準として，時分割画像の合成を行う際に，合成画素上の位置が一致する各画素のことを示す。なお，統計値とは，各対応画素の輝度値について算出される，中間値，最大値，最小値，及び分散値等の統計量であってもよい。つまり，上記統計量のうち，中間値，最大値，最小値は，対応画素の輝度に関する代表値の一例である。もちろん，代表値決定部により決定される代表値は，これに限定されるものではなく，適宜，設定されうる。

輝度補正部２０６は，統計値算出部２０４により算出された統計値に基づいて，上記対応画素の輝度値を補正する。例えば，中間値を基準として，上下に所定量の幅を持たせた許容領域を設定し，対応画素の輝度値のうち，該許容範囲内に収まらない値を所定の値により置換する等である。特に，この置換処理については，輝度置換部２１２により処理されてもよい。

合成輝度算出部２０８は，輝度補正部２０６等により補正された輝度値に基づいて，合成画像の各画素に対応する輝度値を算出する。例えば，輝度補正部２０６により，対応画素の輝度値が補正され，補正後の輝度値を合算することで，合成画像の各輝度値が算出される。

許容域設定部２１０は，所定の許容値に基づいて，各対応画素の輝度値に対する許容領域を設定する。つまり，撮像装置に設定された撮影感度等に基づいて，所定の許容値が設定されると，対応画素の輝度値から算出された中間値を基準にして，許容範囲の上限値と下限値とが設定される。例えば，（中間値＋許容値）を上限値とし，（中間値−許容値）を下限値としてもよい。

空間フィルタ係数算出部２１４は，対応画素の輝度値に基づいて算出された分散値を参照して，空間フィルタの注目画素に対応するフィルタ係数を決定する。例えば，空間フィルタとして，３＊３の画素領域を対象とする等方性フィルタを考えると，中央に位置する注目画素のフィルタ係数は，上記分散値Ｖの関数ｆ（Ｖ）により決定される。一例として，ｆ（Ｖ）＝Ｉｎｔｅｇｅｒ（１０−Ｖ／５）のように設定することもできる。Ｉｎｔｅｇｅｒ（・）は，整数部分のみを抽出する関数である。Ｃ（Ｖ）＝ｆ（Ｖ）＋２＊４＋１＊４とし，下表のように，フィルタ係数を設定してもよい。

フィルタ係数が決定された後，３＊３の画素領域に含まれる各画素の輝度値に，各フィルタ係数が乗算され，乗算値が合算された値が注目画素の輝度値として設定されうる。もちろん，フィルタ係数の算出方法については，これに限られず，空間フィルタの種類や，関数ｆ（Ｖ）の設定は，撮像環境や撮像装置の性能等に応じて，適宜，変更することが可能である。上述のように，統計値を参照して，ノイズ低減処理の強度が算出される。空間フィルタ係数算出部２１４は，ノイズ処理強度算出部の具体的な一例である。もちろん，ノイズ処理強度の算出方法はこれに限定されるものではなく，適宜，設定される。従って，ノイズ処理強度算出部は，多様な方法を実施可能に構成されてもよい。

さらに，図３を参照すると，上記の統計値算出部２０４は，中間値算出部４０２と，ピーク輝度抽出部４０４と，分散値算出部４０６と，分散平均値算出部４０８と，をさらに備える。上述のように，統計値算出部２０４は，対応画素の輝度値に基づいて，統計量を算出する。該統計量のうち，中間値算出部４０２は，中間値を算出する。ピーク輝度抽出部４０４は，最大値と最小値とを抽出する。分散値算出部４０６は，分散値を算出する。また，分散平均値算出部４０８は，有効画素領域の各画素毎に算出された分散値の全てについて，平均値を算出する。つまり，全有効画素の分散値について平均した分散平均値を算出する。

さらに，図４を参照すると，画像信号処理部１２４は，特徴点抽出部３０２と，有効画素領域抽出部３０４と，対応画素抽出部３０６と，空間フィルタ処理部３０８とを備える。特徴点抽出部３０２は，撮影された各画像の輝度値に基づいて特徴点を抽出する。例えば，画素間の輝度値の変化量を検出して，該変化量の大きい被写体のエッジ部分等を特徴点として抽出することも可能である。合成画像領域抽出部３０４は，特徴点を基準として，時分割画像を合成した場合に，画像領域が重複する有効画素領域を抽出する。また，有効画素領域が予め設定されていてもよい。

対応画素抽出部３０６は，特徴点を基準として時分割画像を照合した際に，同一の位置に照合される各時分割画像の対応画素を抽出する。空間フィルタ処理部３０８は，空間フィルタ係数算出部２１４により算出された空間フィルタ係数に基づいて，空間フィルタ処理を施す。また，画像信号処理部１２４は，自動露光制御（ＡＥ；Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）により設定された露光量の評価値を算出すると共に，自動焦点制御（ＡＦ；Ａｕｔｏ−Ｆｏｃｕｓ）により設定された焦点距離の評価値を算出する。

以上，本発明の実施形態に係る撮像装置の構成について説明した。以下では，該撮像装置による撮像方法について説明する。

まず，一般的な電子手ブレ補正の方法について具体例を挙げて説明する。一例として，シャッター速度１／８秒，Ｆ値２．８の場合に適正露光が得られるシーンについて考える。通常，焦点距離が長くなる程，手ブレが発生しやすいが，焦点距離が短い場合でも，シャッター速度１／８秒程度の場合には，手持ち撮影すると手ブレが発生してしまう。焦点距離が２８ｍｍ程度の場合であれば，１／６４秒程度のシャッター速度で撮影することで，手ブレが抑制できる。そこで，電子手ブレ補正機能を有効にした撮像装置は，１／８秒のシャッター速度で撮影する代わりに，手ブレが発生しにくい１／６４秒のシャッター速度で８枚の画像を撮影し，画像を合成することで，手ブレを抑制する。

一般に，手ブレが発生しやすくなるシャッター速度の目安は，３５ｍｍフィルムカメラの焦点距離に換算したときの焦点距離［ｍｍ］の逆数秒より長いとされている。例えば，焦点距離が２００ｍｍのときは１／２００秒である。また，撮影者がズーミングするにつれて，手ブレが発生しやすくなる為，高速のシャッター速度が求められる。

図５に，シャッター速度１／６４秒で撮影された画像と，シャッター速度１／８秒で撮影された画像とを模式的に示した。Ａ図のように，１／６４秒の高速シャッター速度で撮影された画像は，露光量が少なく，全体的に暗い画像となる。しかし，上述のように，Ａ図に示した高速シャッター画像を８枚合成することにより，Ｂ図と同じ明度の画像が生成される。このとき，各画像の特徴点が抽出され，特徴点を基準として，画像の合成が行われる。この処理により，手ブレが補正される。

このように，適正露光が得られるシャッター速度よりも十分に高速なシャッター速度により，複数の時分割画像を撮影して，合成する電子手ブレ補正機能は，低輝度シーンにおいて有効である。高速シャッター速度は，撮像素子の感度やサイズ，対応する焦点距離等の諸条件により制限があるが，上記の例と同様に，十分に手ブレが抑制可能であると思われるシャッター速度を予め設定しておいてもよい。適正露光が得られる適正シャッター速度は，被写体の明度を基に，自動露光制御により設定される。従って，高速シャッターにより時分割撮影される撮影枚数は，適正シャッター速度を所定の高速シャッター速度により除算することで算出が可能である。もちろん，高速シャッター速度，又は，時分割撮影される撮影枚数は，ユーザが設定可能に構成してもよい。また，被写体の明度，使用する光学系の種類等に応じて設定されるように構成してもよい。

ところで，上記特徴点は，画像に含まれる各画素の輝度データを解析し，隣接する画素間において，輝度値が大きく異なるエッジ部分を検出することにより，抽出することができる。つまり，画素の位置座標に対して輝度値をプロットし，プロットされた各点を結んだ輝度グラフについて，各点の微分値を計算し，微分値が最大になる点を特徴点としてもよい。もちろん，上記の微分値に基づいて，複数の特徴点が抽出されてもよく，該特徴点の位置が一致するように，各高速シャッター画像が合成されてもよい。このとき，各高速シャッター画像は，その位置がシフトされるだけでなく，回転されてもよい。

以上，一般的な電子手ブレ補正方法について説明した。次に，一般的なノイズ低減処理について簡単に説明する。通常，露光時間が長くなるにつれて，撮像素子で発生するランダムノイズが多くなりＳ／Ｎ比が低下するという特性がある。しかし，一般的な撮像装置は，上記の電子手ブレ補正を実施し，各高速シャッター画像を合成した後，ノイズ低減処理を行っていた。この場合，各高速シャッター画像に含まれるノイズレベルが小さいとしても，合成された画像には，長時間露光した画像と同等のノイズが発生してしまう。

例えば，被写体の輪郭部を除く領域を平均化処理するノイズ低減処理について考えると，ノイズ処理する元画像のノイズレベルが大きい場合には，平均化処理を施したとしても，斑が残存してしまい，十分なノイズ低減効果が得られない。しかし，露光時間の短い高速シャッターによる画像に対してノイズ低減処理を施せば，元々ノイズレベルが小さい為，大きなノイズ低減効果を期待する事ができる。

そこで，本発明の実施形態に係る撮像装置は，図６に示すように，上記の各高速シャッター画像にノイズ低減処理を実施した後，高速シャッター画像を合成する構成とした。以下，ノイズ低減処理の詳細について説明する。

（第１の実施形態）
以下，図７を参照しながら，本発明の第１の実施形態に係る撮像装置のノイズ低減処理方法について詳述する。図７は，本実施形態に係る撮像工程を示したフローチャートである。

本実施形態に係る撮像装置は，電子手ブレ補正機能が有効か否かを判断し（Ｓ１０２），無効であれば，通常撮影を実行する（Ｓ１４６）。電子手ブレ補正機能が有効であれば，シャッター速度と，合成撮影枚数（ｒ）と，許容値（ｋ）とが設定される（Ｓ１０４）。時分割撮影をするための高速シャッター速度は，焦点距離，又は撮像素子の感度等の情報に基づいて決定されてもよいが，予め設定された値でもよい。合成撮影枚数は，高速シャッター速度との積が，適正露光を得るのに必要なシャッター速度になるように決定されてもよいし，予め設定された値でもよい。合成撮影枚数が予め設定されている場合には，適正露光が得られるシャッター速度と該合成撮影枚数とに基づいて，上記高速シャッター速度が決定される。許容値について後述するが，設定された撮像装置の感度設定に基づいて設定される値である。

上述のように，所要のパラメータが設定された後，設定された合成撮影枚数の高速シャッター画像が撮影される（Ｓ１０６，Ｓ１０８，Ｓ１１２）。このとき，高速シャッター画像の各画素について，輝度データ（Ｔｎ）が記録される（Ｓ１１０）。

所要数の高速シャッター画像が撮影され，各画素の輝度データが記録されると，記録された輝度データを基に画像の特徴点が検出される（Ｓ１１４）。特徴点が検出されると，特徴点を基準として高速シャッター画像を合成した場合に，位置が一致する画素が照合される（Ｓ１１６）。以下では，便宜上，照合された画素の位置を番号ｐにより表現する。例えば，特徴点を基準としてｎ枚目の高速シャッター画像とｍ枚目の高速シャッター画像とを合成した場合，ｎ枚目の高速シャッター画像に含まれるｐ番目の画素の位置と，ｍ枚目の高速シャッター画像に含まれるｐ番目の画素の位置とが一致する。以降，ｎ枚目の高速シャッター画像に含まれるｐ番目の画素に対応する輝度データをＴｎ［ｐ］と表記する。

特徴点を基準として，各高速シャッター画像に含まれる画素の位置が照合された後，有効画素数（Ｓ）が決定される（Ｓ１１８）。有効画素領域は，撮影された全ての高速シャッター画像が重畳する領域により決定される。従って，該有効画素領域に含まれる画素数により，有効画素数が決定される。

各画素の輝度データが抽出され，有効画素領域が決定されると，各高速シャッター画像の画素毎にノイズ低減処理が実行される（Ｓ１２０〜Ｓ１４６）。ここで，ノイズ低減処理について，具体例を挙げて説明する。

例えば，合成画像枚数（ｒ）が８枚，許容値（ｋ）が５の場合を考える。照合されたｐ番目の位置にある画素の輝度データＴｎ［ｐ］（ｎ＝１〜８）の一例を下表に示す。また，下表には，輝度データＴｎ［ｐ］から算出された中間値と，該中間値に基づいて，補正された輝度データ（クリップ値）とを併せて掲載した。

まず，輝度データＴｎ［ｐ］が得られると，Ｔ１［ｐ］〜Ｔ８［ｐ］の中間値が算出される。この中間値（１０４）を基準として，前後に所定の許容値（５）だけ幅を持たせた許容範囲（９９〜１０９）が設定される。この許容値は，撮像装置に設定されたＩＳＯ感度に応じて，予め設定されていてもよい。例えば，ｋ＝３（ＩＳＯ５０），ｋ＝５（ＩＳＯ１００），ｋ＝９（ＩＳＯ２００），ｋ＝１５（ＩＳＯ４００），．．．等である。

次に，輝度データが許容範囲内に収まるように修正される。具体的には，下限値（９９）を下回った輝度データを下限値（９９）に置換し，かつ，上限値（１０９）を上回った輝度データを上限値（１０９）に置換する。これらの修正を実施した後の値が，下段に示したクリップ値である。上表の例では，第２画像の輝度データ（１１０）は，上限値（１０９）を上回っている為，上限値へと変更される（１１０→１０９）。さらに，第６画像の輝度データ（９６）は，下限値（９９）を下回っている為，下限値へと変更される（９６→９９）。修正された輝度データは，合算されて，合成画像に含まれるｐ番目の画素の輝度データとして参照される。その結果，合成画像の該画素に対する輝度値は，
補正前：１０１＋１１０＋１０７＋９９＋１０４＋９６＋１０４＋１０６＝８２７，
補正後：１０１＋１０９＋１０７＋９９＋１０４＋９９＋１０４＋１０６＝８２９，
と補正される。

上述の処理フローについて簡単に纏める。まず，ｐ（＝１〜Ｓ）番目の画素について，画像を合成した際の輝度データＳｕｍを初期化する（Ｓ１２２）。次に，ｐ番目の画素の輝度データＴ１［ｐ］〜Ｔｒ［ｐ］について，中間値Ｍを算出する（Ｓ１２４）。また，中間値Ｍと許容値ｋとにより，上限値（Ｍ＋ｋ）と下限値（Ｍ−ｋ）とを算出する。

輝度データＴ１［ｐ］〜Ｔｒ［ｐ］のうち，下限値（Ｍ−ｋ）を下回る輝度データを下限値（Ｍ−ｋ）に置換する（Ｓ１２６〜Ｓ１３２）。同様に，輝度データＴ１［ｐ］〜Ｔｒ［ｐ］のうち，上限値（Ｍ＋ｋ）を上回る輝度データを上限値（Ｍ＋ｋ）に置換する（Ｓ１３４〜Ｓ１４０）。

上述の置換処理により補正された輝度データＴ１［ｐ］〜Ｔｒ［ｐ］を合計し（Ｓ１４２），合成画像のｐ番目の画素に対応する輝度データＢ［ｐ］を算出する（Ｓ１４４）。

上述の工程を有効画素領域に含まれる各画素について実行することにより（Ｓ１２０，Ｓ１４６），効果的なノイズ低減処理を実施することができる。

（第２の実施形態）
以下，図８を参照しながら，本発明の第２の実施形態に係る撮像装置のノイズ低減処理方法について詳述する。図８は，本実施形態に係る撮像工程を示したフローチャートである。なお，上記実施形態と重複する説明については，適宜，省略する。

本実施形態に係る撮像装置は，電子手ブレ補正機能が有効か否かを判断し（Ｓ２０２），無効であれば，通常撮影を実行する（Ｓ２４０）。電子手ブレ補正機能が有効であれば，シャッター速度と，合成撮影枚数（ｒ）とが設定される（Ｓ２０４）。

上述のように，所要のパラメータが設定された後，設定された合成撮影枚数に２枚加えた枚数の高速シャッター画像が撮影される（Ｓ２０６，Ｓ２０８，Ｓ２１２）。２枚余分に撮影する理由については後述する。このとき，高速シャッター画像の各画素について，輝度データ（Ｔｎ）が記録される（Ｓ２１０）。

所要数の高速シャッター画像が撮影され，各画素の輝度データが記録されると，記録された輝度データを基に画像の特徴点が検出される（Ｓ２１４）。特徴点が検出されると，特徴点を基準として高速シャッター画像を合成した場合に，位置が一致する画素が照合される（Ｓ２１６）。以降，ｎ枚目の高速シャッター画像に含まれるｐ番目の画素に対応する輝度データをＴｎ［ｐ］と表記する。

特徴点を基準として，各高速シャッター画像に含まれる画素の位置が照合された後，有効画素数（Ｓ）が決定される（Ｓ２１８）。有効画素領域は，撮影された全ての高速シャッター画像が重畳する領域により決定される。従って，該有効画素領域に含まれる画素数により，有効画素数が決定される。

各画素の輝度データが抽出され，有効画素領域が決定されると，各高速シャッター画像の画素毎にノイズ低減処理が実行される（Ｓ２２０〜Ｓ２３８）。ここで，ノイズ低減処理について，具体例を挙げて説明する。

例えば，合成画像枚数（ｒ）が８枚の場合について考える。つまり，１０枚の高速シャッター画像が撮影された場合を考える。照合されたｐ番目の位置にある画素の輝度データＴｎ［ｐ］（ｎ＝１〜１０）の一例を下表に示す。

まず，上表の輝度データから，最大値（１１０）と最小値（９６）とを抽出する。次に，抽出された最大値と最小値とを除いた輝度データを合計し，合成画像の当該画素に対応する輝度データとする。つまり，合成画像が含むｐ番目の画素に対応する輝度データは，
輝度：１０１＋１０７＋９９＋１０４＋１０４＋１０６＋１０５＋１０９＝８３５
となる。このように，輝度データの最大値と最小値とを削除する為，余分に２枚の高速シャッター画像を撮影したのである。

上述の処理フローについて簡単に纏める。まず，ｐ（＝１〜Ｓ）番目の画素について，仮輝度データＳｕｍを初期化する（Ｓ２２２）。次に，ｐ番目の画素の輝度データＴ１［ｐ］〜Ｔ（ｒ＋２）［ｐ］について，最大値Ｘと最小値Ｙとを抽出する（Ｓ２２４）。

ｑ（＝１〜（ｒ＋２））枚目の高速シャッター画像に含まれるｐ番目の画素について（Ｓ２２６），輝度データＴｑ［ｐ］が最大値Ｘと等しいか否かを判断し（Ｓ２２８），最大値Ｘと等しくない場合には，輝度データＴｑ［ｐ］が最小値Ｙと等しいか否かを判断する（Ｓ２３０）。輝度データＴｑ［ｐ］が最大値Ｘにも，最小値Ｙにも等しくない場合には，Ｔｑ［ｐ］を仮輝度データＳｕｍに加算する（Ｓ２３２）。上記の工程が完了すると（Ｓ２３４），仮輝度データＳｕｍを合成画像が含むｐ番目の画素の輝度データＢ［ｐ］として設定する（Ｓ２３６）。以上の処理を有効画素領域の全画素について実行することにより（Ｓ２２０，Ｓ２３８），好適なノイズ低減処理が可能になる。

（第３の実施形態）
以下，図９を参照しながら，本発明の第３の実施形態に係る撮像装置のノイズ低減処理方法について詳述する。図９は，本実施形態に係る撮像工程を示したフローチャートである。なお，上記実施形態と重複する説明については，適宜，省略する。

本実施形態に係る撮像装置は，電子手ブレ補正機能が有効か否かを判断し（Ｓ３０２），無効であれば，通常撮影を実行する（Ｓ３３６）。電子手ブレ補正機能が有効であれば，シャッター速度と，合成撮影枚数（ｒ）とが設定される（Ｓ３０４）。

上述のように，所要のパラメータが設定された後，設定された合成撮影枚数の高速シャッター画像が撮影される（Ｓ３０６，Ｓ３０８，Ｓ３１２）。このとき，高速シャッター画像の各画素について，輝度データ（Ｔｎ）が記録される（Ｓ３１０）。

所要数の高速シャッター画像が撮影され，各画素の輝度データが記録されると，記録された輝度データを基に画像の特徴点が検出される（Ｓ３１４）。特徴点が検出されると，特徴点を基準として高速シャッター画像を合成した場合に，位置が一致する画素が照合される（Ｓ３１６）。以降，ｎ枚目の高速シャッター画像に含まれるｐ番目の画素に対応する輝度データをＴｎ［ｐ］と表記する。

特徴点を基準として，各高速シャッター画像に含まれる画素の位置が照合された後，有効画素数（Ｓ）が決定される（Ｓ３１８）。有効画素領域は，撮影された全ての高速シャッター画像が重畳する領域により決定される。従って，該有効画素領域に含まれる画素数により，有効画素数が決定される。

各画素の輝度データが抽出され，有効画素領域が決定されると，各高速シャッター画像の画素毎にノイズ低減処理が実行される（Ｓ３２０〜Ｓ３３４）。ここで，ノイズ低減処理について，具体例を挙げて説明する。

例えば，合成画像枚数（ｒ）が８枚の場合について考える。照合されたｐ番目の位置にある画素の輝度データＴｎ［ｐ］（ｎ＝１〜８）の一例を下表に示す。また，下表には，輝度データＴｎ［ｐ］から算出された分散値を併せて掲載した。

まず，輝度データＴ１［ｐ］〜Ｔ８［ｐ］の分散値（２０．５５）を算出する。以下，ｐ番目の画素の分散値をＶ［ｐ］と表記する。同様にして，有効画素領域に含まれる全ての画素について，分散値Ｖ［ｐ］（ｐ＝１〜Ｓ）を算出する。その後，算出された分散値Ｖ［１］〜Ｖ［Ｓ］について，平均値ａｖｅＶを計算する。以降，この平均値ａｖｅＶを分散平均値と呼ぶことにする。

次に，算出された分散平均値ａｖｅＶに基づいて，注目画素の空間フィルタ係数が決定される。なお，空間フィルタとしては，メディアンフィルタ，ガウシアンフィルタ，又はソーベルフィルタ等，種々のフィルタが適用可能である。また，上記注目画素とは，ガウシアンフィルタ等，等方性の空間フィルタにおける中央画素のことである。下表に，注目画素を中心とする３＊３の画素について，空間フィルタを施す場合に用いる空間フィルタ係数の一例を示す。但し，Ｃ（ｍ）＝ｍ＋２＊４＋１＊４である。

このとき，空間フィルタ係数を決定する係数ｍは，上述の分散平均値から決定される。例えば，このｍは，ｍ＝１０−ａｖｅＶ／５のように設定される。但し，ｍは周囲の係数よりも大きくなくてはならない為，上記の例では，ｍが３以上の条件が課せられる。

以上のように，空間フィルタ係数が決定されると，該当する各画素の輝度値に空間フィルタ係数が乗算された後で合算されることにより，注目画素の輝度値が決定される。本実施形態に係るノイズ低減処理においては，上記の空間フィルタ係数を有効画素領域の各画素に適用して，合成画像のノイズ低減処理が行われる。

ここで，上述の処理フローについて簡単に纏める。まず，有効画素領域に含まれる各画素（ｐ＝１〜Ｓ）について，輝度データＴ１［ｐ］〜Ｔｒ［ｐ］の分散値Ｖ［ｐ］を算出する（Ｓ３２０，Ｓ３２２，Ｓ３２４）。次に，分散値Ｖ［１］〜Ｖ［Ｓ］の平均値である分散平均値ａｖｅＶを算出する（Ｓ３２６）。さらに，算出された分散平均値ａｖｅＶに基づいて，注目画素の空間フィルタ係数を算出する（Ｓ３２８）。算出された空間フィルタ係数に基づき，有効画素領域に含まれる合成画像の各画素に対して，空間フィルタ処理を実施する（Ｓ３３０，Ｓ３３２，Ｓ３３４）。

上述のように，特徴点を基準にして照合された各画素の輝度データに基づいて，注目画素の空間フィルタ係数を算出することが可能になり，撮像装置に設定されたＩＳＯ感度に基づいて一義的に空間フィルタ係数を算出するよりも，撮影状況に応じた，好適なノイズ低減処理が可能になる。

（第４の実施形態）
以下，図１０を参照しながら，本発明の第４の実施形態に係る撮像装置のノイズ低減処理方法について詳述する。図１０は，本実施形態に係る撮像工程を示したフローチャートである。なお，上記他の実施形態と重複する説明については，適宜，省略する。

本実施形態に係る撮像装置は，電子手ブレ補正機能が有効か否かを判断し（Ｓ４０２），無効であれば，通常撮影を実行する（Ｓ４４０）。電子手ブレ補正機能が有効であれば，シャッター速度と，合成撮影枚数（ｒ）とが設定される（Ｓ４０４）。

上述のように，所要のパラメータが設定された後，設定された合成撮影枚数の高速シャッター画像が撮影される（Ｓ４０６，Ｓ４０８，Ｓ４１２）。このとき，高速シャッター画像の各画素について，輝度データ（Ｔｎ）が記録される（Ｓ４１０）。

所要数の高速シャッター画像が撮影され，各画素の輝度データが記録されると，記録された輝度データを基に画像の特徴点が検出される（Ｓ４１４）。特徴点が検出されると，特徴点を基準として高速シャッター画像を合成した場合に，位置が一致する画素が照合される（Ｓ４１６）。以降，ｎ枚目の高速シャッター画像に含まれるｐ番目の画素に対応する輝度データをＴｎ［ｐ］と表記する。

特徴点を基準として，各高速シャッター画像に含まれる画素の位置が照合された後，有効画素数（Ｓ）が決定される（Ｓ４１８）。有効画素領域は，撮影された全ての高速シャッター画像が重畳する領域により決定される。従って，該有効画素領域に含まれる画素数により，有効画素数が決定される。

各画素の輝度データが抽出され，有効画素領域が決定されると，各高速シャッター画像の画素毎にノイズ低減処理が実行される（Ｓ４２０〜Ｓ４３８）。

ここで，本実施形態に係るノイズ低減処理のフローについて説明する。まず，有効画素領域に含まれる各画素（ｐ＝１〜Ｓ）について，輝度データＴ１［ｐ］〜Ｔｒ［ｐ］の分散値Ｖ［ｐ］を算出する（Ｓ４２２）。次に，分散値Ｖ［ｐ］に基づいて，注目画素の空間フィルタ係数を算出する（Ｓ４２４）。ここで，空間フィルタ処理後の輝度値を一時的に格納する仮輝度値Ｓｕｍが初期化される（Ｓ４２６）。その後，算出された空間フィルタ係数に基づき，ｐ番目の高速シャッター画像に含まれる各画素に対して，空間フィルタ処理（Ｔｑ［ｐ］→Ｂｑ［ｐ］）を実施する（Ｓ４３０）。但し，Ｂｑ［ｐ］は，空間フィルタ処理を実施後の輝度値を示す。空間フィルタ処理された輝度値Ｂｑ［ｐ］は，仮輝度値Ｓｕｍに加算され，合成撮影枚数の分だけ合算される（Ｓ４３２）。各高速シャッター画像について，空間フィルタ処理が施され，ｐ番目の画素に対する補正後の輝度値が仮輝度値Ｓｕｍとして算出されるので（Ｓ４３４），この仮輝度値Ｓｕｍを輝度値Ｂ［ｐ］として設定する（Ｓ４３６）。上記の工程を有効画素領域に含まれる各画素について実施することで（Ｓ４２０，Ｓ４３８），ノイズ低減処理が可能になる。

上述のように，特徴点を基準にして照合された各画素の輝度データに基づいて，注目画素の空間フィルタ係数を算出することが可能になり，撮像装置に設定されたＩＳＯ感度に基づいて一義的に空間フィルタ係数を算出するよりも，撮影状況に応じた，好適なノイズ低減処理が可能になる。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば，第３の実施形態，及び第４の実施形態において，空間フィルタ係数を決定する基準に，各画素の分散平均値を利用した。しかし，合成撮像枚数が少ない場合などにおいては，分散値の情報がノイズの状態を適切に反映していない場合がある。こうした状況においては，一の画素に関する分散値を算出するのではなく，隣接する画素の輝度データを考慮して導出された分散値を用いることも可能である。また，他の例としては，所定の輝度データのレンジを設定し，検出された輝度データに応じて，適用する空間フィルタ係数を設定してもよい。

本発明の実施形態に係る撮像装置の構成を示すブロック図である。 同実施形態に係る撮像装置が備えるＣＰＵの機能を示すブロック図である。 同実施形態に係る統計値算出部の構成を示すブロック図である。 同実施形態に係る画像信号処理部の構成を示すブロック図である。 高速シャッター画像と低速シャッター画像とを示す模式図である。 高速シャッター画像が合成される工程を示した模式図である。 本発明の第１の実施形態に係る撮像工程を示すフローチャートである。 本発明の第２の実施形態に係る撮像工程を示すフローチャートである。 本発明の第３の実施形態に係る撮像工程を示すフローチャートである。 本発明の第４の実施形態に係る撮像工程を示すフローチャートである。

符号の説明

１１８ 画像信号処理部
１２０ ＣＰＵ
１３０ メモリ（輝度記録部）
２００ 露光制御部
２０２ 分割撮影数設定部
２０４ 統計値算出部
２０６ 輝度補正部
２０８ 合成輝度算出部
２１０ 許容域設定部
２１２ 輝度置換部
２１４ 空間フィルタ係数算出部
３０２ 特徴点抽出部
３０４ 有効画素領域抽出部
３０６ 対応画素抽出部
３０８ 空間フィルタ処理部
４０２ 中間値算出部
４０４ ピーク輝度抽出部
４０６ 分散値算出部
４０８ 分散平均値算出部

Claims (8)

1. 時分割露光により撮影された複数の画像を合成することにより，電子手ブレ補正をすることが可能な撮像装置において:
   隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する特徴点抽出部と；
   前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，対応画素の輝度値から算出される代表値を基準とした許容範囲内に各対応画素の輝度値が収まるように各対応画素の輝度値を補正する輝度補正部と；
   前記時分割画像を合成して合成画像を生成する際，前記対応画素の補正された輝度値を合算して，前記合成画像に含まれる各画素の輝度値を算出する合成輝度算出部と；
   を備えることを特徴とする，
   撮像装置。
2. さらに，前記対応画素の輝度値について，代表値を決定する代表値決定部を備え，
   前記輝度補正部は，
   前記対応画素の輝度値について，前記代表値を基準とした所定の許容範囲に収まるように補正することを特徴とする，
   請求項１に記載の撮像装置。
3. 前記撮像装置は，
   前記所要の撮影数に加えて，さらにｎ（≧１）枚の画像を撮影し，
   前記対応画素の輝度値について，代表値を決定する代表値決定部をさらに備え，
   前記合成輝度算出部は，
   前記代表値との差が大きいｎ個の輝度値を除外して合算することを特徴とする，
   請求項１に記載の撮像装置。
4. 時分割露光により撮影された複数の画像を合成することにより，電子手ブレ補正をすることが可能な撮像装置において:
   隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する特徴点抽出部と；
   前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，対応画素の輝度値に関する統計値を算出する統計値算出部と；
   前記統計値算出部により算出された統計値に基づき、前記時分割画像を合成して合成画像を生成した後に実施するノイズ低減処理の度合いを算出するノイズ処理強度算出部と；
   を備えることを特徴とする，
   撮像装置。
5. 時分割露光により撮影された複数の画像を合成することにより，電子手ブレ補正をすることが可能な撮像方法において:
   隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する特徴点抽出過程と；
   前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，対応画素の輝度値から算出される代表値を基準とした許容範囲内に各対応画素の輝度値が収まるように各対応画素の輝度値を補正する輝度補正過程と；
   前記時分割画像を合成して合成画像を生成する際，前記対応画素の補正された輝度値を合算して，前記合成画像に含まれる各画素の輝度値を算出する合成輝度算出過程と；
   を含むことを特徴とする，
   撮像方法。
6. さらに，前記対応画素の輝度値について，代表値を決定する代表値決定過程を含み，
   前記輝度補正過程は，
   前記対応画素の輝度値について，前記代表値を基準とした所定の許容範囲に収まるように補正することを特徴とする，
   請求項５に記載の撮像方法。
7. 前記撮像方法は，
   前記所要の撮影数に加えて，さらにｎ（≧１）枚の画像を撮影し，
   前記対応画素の輝度値について，代表値を決定する代表値決定過程をさらに含み，
   前記合成輝度算出過程は，
   前記代表値との差が大きいｎ個の輝度値を除外して合算することを特徴とする，
   請求項５に記載の撮像方法。
8. 時分割露光により撮影された複数の画像を合成することにより，電子手ブレ補正をすることが可能な撮像方法において:
   隣接画素間の輝度値の変化量に基づいて，前記各時分割画像の特徴点を抽出する特徴点抽出過程と；
   前記特徴点を基準にして前記時分割画像を合成する際に，前記時分割露光により撮影された各画像に含まれ，位置が対応する対応画素について，対応画素の輝度値に関する統計値を算出する統計値算出過程と；
   前記統計値算出過程で算出された統計値に基づき、前記時分割画像を合成して合成画像を生成した後に実施するノイズ低減処理の度合いを算出するノイズ処理強度算出過程と；
   を含むことを特徴とする，
   撮像方法。

Images