JP5521836B2 - 撮像装置及び画像処理装置 - Google Patents

Description

本発明は、撮像装置及び画像処理装置に関し、より詳細には、被写体の動きに対して的確なノイズ除去処理を実行する、撮像装置及び画像処理装置に関する。

周知のように、撮像装置であるデジタルカメラは広く一般に浸透している。そして、デジタルカメラの撮像能力に対する市場の要求は極めて高い。市場では常に、従来より鮮明で美しい画像が撮影できるデジタルカメラが求められている。
デジタルカメラが鮮明で美しい画像を撮影するためには、大別して二つのアプローチがある。一つは、撮像素子自体の技術革新である。もう一つは、撮像した画像データを加工する技術である。

一般的に、デジタルカメラを用いて、暗い場所で何らかの被写体を撮影すると、画像データにノイズが乗り易くなる。本来滑らかである筈の被写体の表面はノイズで荒れてしまい、撮影画像の美観が損なわれる。
このような撮影画像中のノイズを除去して、鮮明で美しい画像を得るための手法として、「連写加算ノイズリダクション」という技術がある。

連写加算ノイズリダクションとは、（１）先ず、短時間に連続して撮影（連写）して複数枚の静止画データを得て、（２）次に一枚目の静止画データに対して二枚目以降の静止画データを位置合わせしながら加算することで、ノイズを除去した一枚の静止画データを得る、という方法である。特許文献１には、この連写加算ノイズリダクションに関する技術内容が開示されている。

特開２００９−１０４２８４号公報

特許文献１等に代表される従来技術の連写加算ノイズリダクションの多くは、画像データ同士の位置合わせを実現する技術として、周知のブロックマッチングという技術を用いる。
ブロックマッチングは、一般的な風景や人物の撮影には良好に作用する。しかし、ブロックマッチングの基本は、画像内のテクスチャ、つまり色彩及び明度（コントラスト）の変化のパターンの類似度を探す、という処理である。このことは、ブロックマッチングが画像内のテクスチャに依存することを意味する。
そして、ブロックマッチングはテクスチャが平坦な画像に弱い、ということも言える。表面の凹凸が極めて少なく、且つ、光源の光を明瞭に反射できるほど滑らかな面ではない撮影対象の場合、デジタルカメラにとってテクスチャの認識は極めて難しい。
このようなテクスチャが極めて少ない被写体は、例えば、乳幼児の顔がこれに該当する。

デジタルカメラの撮影枠内に乳幼児の顔が大きめに占有している状態で、連写加算ノイズリダクションを実行すると、作成された画像データにブロックノイズのような加算失敗に因る画像ムラを生じる可能性があった。乳幼児は動きがちな被写体であるから、ブロックマッチングは被写体の動きベクトルを、画像全体の中で被写体が移動していることを示す情報、つまり「ローカルモーション」として捉えられなければならない。しかし、被写体のテクスチャが乏しいために、画像全体が移動していることを示す情報、つまり「グローバルモーション」として誤認識してしまう場合があり、これが加算失敗に因る画像ムラを生じる原因であった。

加算失敗に因る画像ムラを防ぐには、ブロックマッチングをより緻密に行う、という手法が考えられる。しかし、元来、ブロックマッチングは膨大な演算処理である。そしてデジタルカメラは可搬型の典型的な組み込みシステム（マイクロコンピュータシステム）に属する。したがって、パーソナルコンピュータ（以下「パソコン」）等の高速な演算処理は望めない。デジタルカメラは、限られた演算能力及び消費電力の範囲内で、このような課題を解決しなければならない。

本発明はかかる課題を解決し、極めて少ない演算処理を追加するだけで、ブロックマッチングが苦手とする被写体に対しても効果的に連写加算ノイズリダクションを実行でき、その際に加算失敗に因る画像ムラを生じ難く、殆どの被写体に対して良好な静止画像データの撮影を実現する、撮像装置及び画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、所定の撮影指令を受けて、被写体を連続して撮影して複数枚の画像データを出力する撮影処理部と、複数枚の画像データを記憶する画像メモリと、この画像メモリから画像データを順次読み出して、１枚目の画像データと２枚目以降の画像データとの間の変化に基づく加算強度を算出する加算強度算出部を備える。
また、加算強度算出部が出力する前記加算強度を記憶する加算強度テーブルと、画像メモリから画像データを順次読み出して、１枚目の画像データと２枚目以降の画像データとの間の動きベクトルを出力する動き検出部と、画像メモリから画像データを順次読み出して、１枚目の画像データに対して２枚目以降の画像データを動き検出部が出力する動きベクトルと、加算強度テーブルから順次読み出す加算強度に基づいて加算処理を行う加算処理部を備える。
そして、加算強度算出部は、撮影処理部から得られる被写体とのフォーカス距離情報を参照して、このフォーカス距離情報が所定の値を下回る場合は、加算強度をフォーカス距離情報が所定の値以上の場合と比べて小さい値として算出するようにしている。

予め、１枚目の画像データと２枚目以降の画像データとの間の変化に基づいて加算強度を算出しておく。連写加算処理を行う際、この加算強度で加算の度合いを変化させることで、加算失敗に起因する画像ムラの発生を防ぐ。

本発明によれば、極めて少ない演算処理を追加するだけで、ブロックマッチングが苦手とする被写体に対しても効果的に連写加算ノイズリダクションを実行でき、その際に加算失敗に因る画像ムラを生じ難く、殆どの被写体に対して良好な静止画像データの撮影を実現する、撮像装置及び画像処理装置を提供することができる。

はデジタルカメラの正面の外観図と、デジタルカメラの背面の外観図である。 デジタルカメラのハードウェアのブロック図である。 デジタルカメラの機能ブロック図である。 加算強度算出部の機能ブロック図である。 現像処理部の機能ブロック図である。 本実施形態のデジタルカメラの、連写加算ノイズリダクションを用いた撮影の動作の流れを示すフローチャートである。 加算強度算出部による加算強度算出処理の動作の流れを示すフローチャートである。 現像処理部による現像処理の動作の流れを示すフローチャートである。 デジタルカメラの機能ブロック図である。 画像処理装置の機能ブロック図である。

図１（ａ）はデジタルカメラの正面の外観図であり、図１（ｂ）はデジタルカメラの背面の外観図である。
デジタルカメラ１０１は筐体１０２の正面に図示しないズーム機構及びフォーカス調整機構を内蔵する鏡筒１０３が設けられており、鏡筒１０３の中にはレンズ１０４が組み付けられている。また、鏡筒１０３の側にはストロボ１０５が設けられている。
筐体１０２の上側にはシャッターボタン１０６が設けられている。
筐体１０２の裏面にはファインダーを兼用する液晶ディスプレイモニタ１０７が設けられている。液晶ディスプレイモニタ１０７の右側には操作ボタン１０８が複数設けられている。
図示しない筐体１０２の下側には不揮発性ストレージであるフラッシュメモリを格納する蓋が設けられている。

本実施形態に係るデジタルカメラ１０１は、いわゆるデジタルスチルカメラであり、被写体を撮影して静止画像データを作成し、不揮発性ストレージに記録する。なお、デジタルカメラ１０１は動画撮影機能も備えているが、本実施形態では説明を割愛する。

図２は、デジタルカメラ１０１のハードウェアのブロック図である。
デジタルカメラ１０１は、一般的なマイクロコンピュータを構成する。
バス２０１には、デジタルカメラ１０１全体の制御に必要な、周知のＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４が接続されている他、ＤＳＰ２０５が接続されている。ＤＳＰ２０５は、本実施形態で説明する連写加算ノイズリダクションを実現するために必要な、デジタル画像データという大量のデータに対する、大量の演算処理を担当する。

撮像素子２０６は、レンズ１０４によって結像される被写体が発する光を電気信号に変換する。撮像素子２０６が出力するアナログ信号は、Ａ／Ｄ変換器２０７によってＲＧＢのデジタル信号に変換される。
モータドライバ２０８によって駆動されるモータ２０９は、鏡筒１０３を通じてレンズ１０４を駆動し、ピントとズームの制御を行う。
ストロボ１０５はストロボドライバ２１０によって発光駆動される。
撮影されたデジタル画像データは、ファイルとして不揮発性ストレージ２１１に記録される。
パソコン等の外部機器と不揮発性ストレージ２１１に格納されているファイルの送受信を行うために、ＵＳＢインターフェース２１２が設けられている。
表示部２１３は液晶ディスプレイモニタ１０７である。
操作部２１４はシャッターボタン１０６及び操作ボタン１０８である。

図３は、デジタルカメラ１０１の機能ブロック図である。
選択スイッチ３０１が画像メモリ３０２とデータ処理部３０３を接続させている時、被写体から発される光はレンズ１０４によって撮像素子２０６上に結像して、電気信号に変換される。変換された信号はＡ／Ｄ変換器２０７によってＲＧＢのデジタル信号に変換された後、データ処理部３０３によってデータの並べ替えや欠陥補正、サイズ変更等の各種処理が行われて、選択スイッチ３０１を通じてＲＡＭ２０４内に構成される画像メモリ３０２に一旦蓄えられる。
画像メモリ３０２は連写加算ノイズリダクションを実施するために必要な撮影回数（枚数）分の記憶容量を備えている。一例として、本実施形態では６枚（ｎ＝６）とする。
以上、レンズ１０４、撮像素子２０６、Ａ／Ｄ変換器２０７及びデータ処理部３０３は、生のデジタル画像データを形成して画像メモリ３０２に記憶させる、撮影処理部であるとも言える。

なお、選択スイッチ３０１は明示的にハードウェアとして存在する訳ではなく、デジタル画像データの流れを明示的に説明するために設けた、概念的な存在である。

選択スイッチ３０１には、本発明において重要な構成要素の一つである、加算強度算出部３０４も接続されている。
選択スイッチ３０１が画像メモリ３０２と加算強度算出部３０４を接続させている時、加算強度算出部３０４は、画像メモリ３０２に記憶された６枚分のデジタル画像データを順次読み込み、１枚目のデジタル画像データに対して２枚目以降のデジタル画像データがどの程度変化を生じているのかを大まかに検出する。そして、得られた値に基づいて、後述する現像処理部３０５に対し、加算処理の際にどの程度加算すべきかを示す「加算強度」という係数を作成する。作成した加算強度は、ＲＡＭ２０４内に構成される加算強度テーブル３０６に順次記憶させる。

選択スイッチ３０１には、現像処理部３０５も接続されている。
選択スイッチ３０１が画像メモリ３０２と現像処理部３０５を接続させている時、現像処理部３０５は、画像メモリ３０２に記憶された６枚分のデジタル画像データを順次読み込み、１枚目のデジタル画像データに対して２枚目以降のデジタル画像データがどの程度動いているのかを、周知のブロックマッチングのアルゴリズムを用いて詳細に検出する。そして、得られた動きベクトルに基づいて、加算処理を行う。この加算処理の際、加算強度算出部３０４が作成した加算強度テーブル３０６を参照する。そして、周知のＪＰＥＧフォーマット等に変換して、不揮発性ストレージ２１１にファイルとして記録する。

本実施形態のデジタルカメラ１０１は、連写加算ノイズリダクションを用いた撮影を行う。連写加算ノイズリダクションを用いた撮影は、以下のような処理の流れになる。
（１）先ず選択スイッチ３０１が画像メモリ３０２とデータ処理部３０３を接続した状態で、撮影処理部が生のデジタル画像データを画像メモリ３０２に蓄積する（撮影処理）。
（２）次に選択スイッチ３０１が画像メモリ３０２と加算強度算出部３０４を接続した状態で、加算強度算出部３０４が画像メモリ３０２からデジタル画像データを順次読み出して、加算強度を算出し、加算強度テーブル３０６に記憶させる（加算強度算出処理）。
（３）そして、最後に選択スイッチ３０１が画像メモリ３０２と現像処理部３０５を接続した状態で、現像処理部３０５が画像メモリ３０２からデジタル画像データを順次読み出して、加算処理及びＪＰＥＧフォーマットへの変換処理を行って、不揮発性ストレージ２１１にＪＰＥＧエンコード処理された画像データファイルを記録する（現像処理）。

制御部３０７は、操作部２１４の操作等に応じて、撮像素子２０６、Ａ／Ｄ変換器２０７、データ処理部３０３、加算強度算出部３０４、選択スイッチ３０１及び現像処理部３０５を制御する。また、撮像素子２０６に結像している画像を表示部２１３を通じて表示させると共に、操作部２１４の操作に応じて種々の設定画面を表示させる。

図４は、加算強度算出部３０４の機能ブロック図である。
検波部４０１は、選択スイッチ４０２を通じて画像メモリ３０２に記憶されている生のデジタル画像データを読み込み、「検波処理」を行う。本実施形態における検波処理とは、マルチパターン測光枠の輝度算出処理である。つまり、デジタル画像データを縦横に予め定められた均等な大きさの「枠」で分割して、その枠に含まれるピクセルデータの輝度の積分値を算出する。検波部４０１が出力するデータは、測光枠毎の積分値が、測光枠の数だけ存在することとなる。

マルチパターン測光枠は、例えば画像を縦と横でそれぞれ２０分割する、格子状の枠である。実際の処理では、明示的に「枠」のデータを持つのではなく、ある「枠」のアドレスに属するピクセルを一つの配列データとして扱う。
なお、選択スイッチ４０２は図３の選択スイッチ３０１とは異なるが、選択スイッチ３０１と同様に明示的にハードウェアとして存在する訳ではなく、デジタル画像データの流れを明示的に説明するために設けた、概念的な存在である。

検波部４０１の出力側には切替スイッチ４０３が接続されている。検波部４０１は、画像メモリ３０２に記憶されている一枚目のデジタル画像データを読み込んで所定の演算処理をしたら、切替スイッチ４０３を通じて基準値テーブル４０４にデータを出力する。同様に、検波部４０１は、画像メモリ３０２に記憶されている二枚目以降のデジタル画像データについては、切替スイッチ４０３を通じて比較値テーブル４０５にデータを出力する。

基準値テーブル４０４及び比較値テーブル４０５は、画像メモリ３０２と同様に、ＲＡＭ２０４内に設けられている。そして、基準値テーブル４０４と比較値テーブル４０５のレコード数は、マルチパターン測光枠に設けられている測光枠の数と等しい。このため、比較値テーブル４０５は検波部４０１が画像メモリ３０２に記憶されている二枚目以降のデジタル画像データを読み込んでデータを出力する際、デジタル画像データを読み込む毎に比較値テーブル４０５の内容を上書きすることとなる。

第一減算器４０６は、基準値テーブル４０４の各レコードに格納されている輝度値から、比較値テーブル４０５に格納されている各レコードの輝度値を、レコード毎に減算処理し、得られたデータをずれ量テーブル４０７に格納する。ずれ量テーブル４０７も画像メモリ３０２と同様に、ＲＡＭ２０４内に設けられている。

ずれ量テーブル４０７の各レコードに格納されている輝度の差の値（以下「輝度差値」）は、平均値算出部４０８と最大値算出部４０９に読み込まれる。
平均値算出部４０８は、ずれ量テーブル４０７の各レコードの輝度差値の平均値を算出して、平均値メモリ４１０に記憶する。平均値メモリ４１０はＲＡＭ２０４内に設けられる変数である。
最大値算出部４０９は、ずれ量テーブル４０７の各レコードの輝度差値の絶対値と、平均値メモリ４１０に記憶されている平均値とを比較して、最も差が大きい値を最大値として取り出し、最大値メモリ４１１に記憶する。最大値メモリ４１１も平均値メモリ４１０と同様に、ＲＡＭ２０４内に設けられる変数である。

平均値メモリ４１０に記憶されている平均値と、最大値メモリ４１１に記憶されている最大値は、第二減算器４１２に入力され、最大値から平均値を減算した値が出力される。この値は、画像全体の大まかな動き量という意味を持つ。
もし、比較基準となる一枚目のデジタル画像データと、比較対象となるデジタル画像データとの間に全く動きが無いなら、ずれ量テーブル４０７の各レコードの値は全て「０」であり、平均値も最大値も「０」となり、第二減算器４１２の出力値も「０」となる。しかし、比較基準のデジタル画像データと比較対象のデジタル画像データとの間に動きが生じていれば、マルチパターン測光枠毎に輝度を比較すると、何れかの測光枠で輝度の変化が生じる可能性がある。この輝度の変化を、平均値と絶対値との差で導出することで、画像全体に動きが生じているか否かを大まかに検出できる。

第二減算器４１２から出力される減算値は、加算強度導出部４１３に入力される。加算強度導出部４１３は、制御部３０７によって選択ポインタ４１５を通じて選択される、シーン別変換テーブル群４１４のうちの一つのレコードに含まれる変換テーブルを参照して、減算値に対応する加算強度を導き出して、加算強度テーブル３０６に記録する。また、制御部３０７から与えられるフォーカス情報に応じて、導き出す加算強度を変更する。

シーン別変換テーブル群４１４は、ＲＯＭ２０３に設けられ、撮影シーン毎に格納されている変換テーブルの集合体である。変換テーブルとは、第二減算器４１２から入力される減算値を加算強度に変換するためのテーブルである。
例えば、減算値が「０」以上「３」未満であれば加算強度を「１０」とし、減算値が「３」以上「１０」未満であれば加算強度を「５」とし、減算値が「１０」以上「１５」未満であれば加算強度を「３」とし、減算値が「１５」以上であれば加算強度を「０」とする、というような、減算値に対応する加算強度の対応表である。

撮影シーンとは、被写体の種別に応じて最適な撮影状態を設定するための選択値であり、近年のコンパクトデジタルカメラや携帯電話のデジタルカメラ機能に搭載されている機能である。例えば、平均的な設定値であらゆる被写体に対して柔軟に対応可能な「オート（ＡＵＴＯ）」、屋内の人物に最適な「屋内人物」、屋外の人物に最適な「屋外人物」、屋外の風景に最適な「屋外風景」、夜景に最適な「夜景」、接写に最適な「接写」、逆光状態で最適な「逆光」、乳幼児の近接撮影に最適な「赤ちゃん」等である。ＲＡＭ２０４には、予め制御部３０７がＲＯＭ２０３内に格納されている既定値としての「オート（ＡＵＴＯ）」か、或はデジタルカメラ１０１のユーザの操作によって設定された撮影シーンの指定情報が格納されている。

シーン別変換テーブル群４１４は、各レコードにこれら撮影シーン、つまり撮影対象となる被写体に最適な変換テーブルが格納されている。各レコードの変換テーブルに設定されている変換値は、被写体に想定されるデジタルカメラ１０１との距離と、撮影シーンの明るさと、テクスチャを考慮して決定される。

例えば、「屋外風景」の場合は、被写体との距離は遠いので画像全体の動きは少なく、テクスチャも明瞭に把握可能であるので、加算強度は大きな値を設定できる。
一方、「赤ちゃん」の場合は、被写体との距離は極めて近く、被写体はよく動くので画像全体の動きは大きくなりがちであり、テクスチャの把握が困難な場合があるので、加算強度を大きくすると加算ミスを引き起こす可能性があるので、加算強度を小さくすることが望ましい。

更に、加算強度導出部４１３は制御部３０７から与えられるフォーカス情報を参照して、変換テーブルから導き出す加算強度に変化を与えることができる。
画像の動きは、被写体自体の動きのみならず、デジタルカメラ１０１のユーザの手ブレや、ユーザの意志に基づくデジタルカメラ１０１の移動によって引き起こされる。この画像の動きは、デジタルカメラ１０１に対する被写体との距離が近ければ近いほど大きくなる。そこで、制御部３０７がモータ２０９を駆動制御することで得たフォーカス情報を利用して、変換テーブルから導き出す加算強度に変化を与える。

例えば、被写体がデジタルカメラ１０１から約５０ｃｍ以内の距離に存在する場合は、変換テーブルから導き出す加算強度に対して定数「０．６」を乗算して一律に小さく設定し、そうでない場合は加算強度に対して変化を与えないようにする。

以上の手順を経て導き出された加算強度は、選択ポインタ４１６を通じて加算強度テーブル３０６に記憶される。加算強度テーブル３０６のレコード数は、画像メモリ３０２に格納されるデジタル画像データの枚数から一枚少ない数となる。本実施形態の場合、画像メモリ３０２には６枚のデジタル画像データが格納されるので、加算強度テーブル３０６のレコード数は５個となる。

図５は、現像処理部３０５の機能ブロック図である。
動き検出部５０１は、選択スイッチ５０２を通じて画像メモリ３０２に記憶された６枚分のデジタル画像データを順次読み込み、１枚目のデジタル画像データに対して２枚目以降のデジタル画像データがどの程度動いているのかを、周知のブロックマッチングのアルゴリズムを用いて詳細に検出し、動きベクトルを算出する。

加算処理部５０３は、動き検出部５０１によって得られた動きベクトルに基づいて、加算処理を行う。この加算処理の際、２枚目以降のデジタル画像データを加算する際の係数として、加算強度算出部３０４が作成した加算強度テーブル３０６の値を用いて、加算処理を行う。
加算処理部５０３が加算処理を完遂したら、エンコーダ５０４で周知のＪＰＥＧフォーマット等に変換して、不揮発性ストレージ２１１にファイルとして記録する。

［動作］
図６は、本実施形態のデジタルカメラ１０１の、連写加算ノイズリダクションを用いた撮影の動作の流れを示すフローチャートである。
シャッターボタン１０６を押すと（Ｓ６０１）、最初に撮影処理部はｎ枚の連写撮影処理を行って、画像メモリ３０２にｎ枚の画像データを記憶させる（Ｓ６０２）。次に加算強度算出部３０４は加算強度算出処理を行う（Ｓ６０３）。最後に現像処理部３０５は現像処理を行って（Ｓ６０４）、一連の処理を終了する（Ｓ６０５）。

図７は、加算強度算出部３０４による加算強度算出処理の動作の流れを示すフローチャートである。図６のステップＳ６０３の詳細である。
処理を開始すると（Ｓ７０１）、最初に検波部４０１は制御部３０７によって制御される選択スイッチ４０２を通じて画像メモリ３０２内の１枚目の画像データを読み込み、検波処理、すなわちマルチパターン測光枠の輝度算出処理を行う。そして、輝度算出処理の結果の値を切替スイッチ４０３を通じて基準値テーブル４０４に格納する（Ｓ７０２）。
次に、制御部３０７はＲＡＭ２０４内にカウンタ変数ｉを設け、初期値として「２」を格納する（Ｓ７０３）。

これ以降はループ処理である。
検波部４０１は制御部３０７によって制御される選択スイッチ４０２を通じて画像メモリ３０２内のｉ枚目の画像データを読み込み、検波処理を行う。そして、輝度算出処理の結果の値を制御部３０７によって制御される切替スイッチ４０３を通じて比較値テーブル４０５に格納する（Ｓ７０４）。

比較値テーブル４０５の全てのレコードに輝度算出処理の結果の値が格納されたら、第一減算器４０６は基準値テーブル４０４の各レコードの値から、比較値テーブル４０５の各レコードの値をそれぞれ減算して、得られた値をずれ量テーブル４０７に格納する（Ｓ７０５）。

ずれ量テーブル４０７の全てのレコードに第一減算器４０６の演算結果の値が格納されたら、次に平均値算出部４０８はずれ量テーブル４０７の全てのレコードの値の平均値を算出して、平均値メモリ４１０に格納する（Ｓ７０６）。
次に、最大値算出部４０９はずれ量テーブル４０７の全てのレコードの値の絶対値を導き出した後に平均値メモリ４１０に格納されている平均値を参照して、絶対値の最大値を抽出し、最大値メモリ４１１に格納する（Ｓ７０７）。
ステップＳ７０６及びＳ７０７を経て、ずれ量テーブル４０７という配列データ（ベクトルデータ）は、平均値と最大値というスカラ値に変換される。

平均値メモリ４１０と最大値メモリ４１１にそれぞれ平均値と最大値が格納されたら、第二減算器４１２は最大値から平均値を減算して、スカラ値である「動き量」を算出する（Ｓ７０８）。

第二減算器４１２が出力する動き量は、加算強度導出部４１３に供給される。加算強度導出部４１３は、制御部３０７から得られるシーン情報に基づいて選択ポインタ４１５を通じてシーン別変換テーブル群４１４から該当する撮影シーンの変換テーブルを読み込む。次に、動き量を変換テーブルに照らし合わせて、加算強度を導き出す。そして、制御部３０７からフォーカス距離を得て、予め定められた閾値と比較する。閾値は、例えば５０ｃｍである。フォーカス距離が閾値を下回っている場合は、加算強度を小さく設定させなければならないので、加算強度に予め定められた所定の係数を乗算する。係数は、例えば０．７である。
こうして得られた加算強度は、選択ポインタ４１６を通じて、加算強度テーブル３０６のｉ−１番目のレコードに格納する（Ｓ７０９）。

次に、制御部３０７はカウンタ変数ｉをインクリメントして（Ｓ７１０）、カウンタ変数ｉが画像メモリ３０２に格納されている画像データの数を超えてしまったか否かを検証する（Ｓ７１１）。カウンタ変数ｉが画像データの数以下であれば（Ｓ７１１のＮＯ）、再度ステップＳ７０４から処理を繰り返す。カウンタ変数ｉが画像データの数を超えていれば（Ｓ７１１のＹＥＳ）、一連の処理を終了する（Ｓ７１２）。

図８は、現像処理部３０５による現像処理の動作の流れを示すフローチャートである。図６のステップＳ６０４の詳細である。
処理を開始すると（Ｓ８０１）、制御部３０７は最初にＲＡＭ２０４内にカウンタ変数ｉを設け、初期値として「１」を格納する（Ｓ８０２）。

これ以降はループ処理である。
動き検出部５０１は、制御部３０７によって制御される選択スイッチ５０２を通じて、１枚目のデジタル画像データに対してｉ枚目のデジタル画像データがどの程度動いているのかを、周知のブロックマッチングのアルゴリズムを用いて詳細に検出し、動きベクトルを算出する（Ｓ８０３）。

次に、加算処理部５０３は、動き検出部５０１によって得られた動きベクトルに基づいて、１枚目のデジタル画像データに対してｉ枚目のデジタル画像データの加算処理を行う。この加算処理の際、加算強度算出部３０４が作成した加算強度テーブル３０６のｉ番目のレコードの値を読み込み、加算処理の係数として用いて、加算処理を行う（Ｓ８０４）。

次に、制御部３０７はカウンタ変数ｉをインクリメントして（Ｓ８０５）、カウンタ変数ｉが画像メモリ３０２に格納されている画像データの数以上になってしまったか否かを検証する（Ｓ８０６）。カウンタ変数ｉが画像データの数未満であれば（Ｓ８０６のＮＯ）、再度ステップＳ８０２から処理を繰り返す。カウンタ変数ｉが画像データの数以上であれば（Ｓ８０６のＹＥＳ）、加算処理部５０３の加算処理は終了しているので、得られた画像データを所定の画像フォーマットにエンコードして（Ｓ８０７）、画像データファイルを不揮発性ストレージ２１１に記録して（Ｓ８０８）、一連の処理を終了する（Ｓ８０９）。

本実施形態は、以下のような応用例が可能である。
（１）前述の本実施形態に係るデジタルカメラ１０１で実現される発明は、連写加算ノイズリダクションの改良である。図３及び図６を参照すると、撮影処理部の処理以外の、撮影後の画像処理の改良である。そして、このことは図２を参照すると、マイコンの制御プログラムとＤＳＰの演算処理プログラム、つまりソフトウェアの改良である。
そこで、近年大容量化の傾向にあるフラッシュメモリの特性を生かし、デジタルカメラ自身は連写加算ノイズリダクションの画像処理部分を行わず、連写のみを実行し、画像処理部分をパソコン等の外部の情報処理装置に任せる、というシステム構築も考えられる。

図９はデジタルカメラの機能ブロック図である。図３のデジタルカメラ１０１と比べると、選択スイッチ３０１、画像メモリ３０２、加算強度算出部３０４、加算強度テーブル３０６、現像処理部３０５といった、連写加算ノイズリダクションの改良に係る機能ブロックが欠落している。

図９に示すデジタルカメラ９０１は、連写機能のみを実行し、エンコーダ９０２は画像の劣化を防ぐために可逆圧縮アルゴリズムを用いたエンコード処理を行う。つまり、現在周知の非可逆圧縮方式であるＪＰＥＧではなく、可逆圧縮アルゴリズムを採用するＪＰＥＧ ＥＸやＰＮＧ、ＴＩＦＦ等のフォーマットで不揮発性ストレージ２１１に連写した画像データファイル９０３を記録する。なお、この時の撮影情報として、最低限、フォーカス距離の情報を別途記憶しておく必要がある。そこで、撮影情報ファイル９０４に撮影情報を記述して、不揮発性ストレージ２１１に記録する。

図１０は画像処理装置の機能ブロック図である。パソコンに連写加算ノイズリダクションの画像処理に係るプログラムを読み込ませて実行することで、パソコンは画像処理装置１００１の機能を実現する。

デジタルカメラ９０１から取り出したフラッシュメモリ等の不揮発性ストレージ２１１を図示しないインターフェースを通じてパソコンに接続するか、デジタルカメラ９０１をＵＳＢインターフェース２１２を通じてパソコンに接続することで、不揮発性ストレージ２１１をパソコン内のデコーダ１００２に接続する。デコーダ１００２は不揮発性ストレージ２１１内に記録されている連写の結果の画像データファイル９０３を読み込み、生の画像データに変換した後、選択スイッチ３０１を介して画像メモリ３０２に記憶させる。また、不揮発性ストレージ２１１には撮影情報ファイル９０４も存在するので、制御部１００３は撮影情報ファイル９０４を読み込み、フォーカス距離を取得する。
画像メモリ３０２に画像データが記憶された以降の動作は、図３のデジタルカメラ９０１と同等である。

このようにデジタルカメラ９０１及び画像処理装置１００１を構成すると、演算処理能力が十分でない旧世代のデジタルカメラに対し、連写機能と可逆圧縮アルゴリズムを用いるエンコーダを搭載するファームウェアの更新作業だけで、旧世代のデジタルカメラのユーザが連写加算ノイズリダクションの機能を実質的に享受できる、という利点がある。

なお、図１０の画像処理装置１００１は撮影済みの画像データファイル９０３と撮影情報ファイル９０４を用いて、後処理を実施する装置である。したがって、設定される撮影シーンを切り替えて加算強度算出部３０４を稼働させて、何度でも連写加算ノイズリダクション処理をやり直すことが可能である。また、一般的にパソコンはデジタルカメラ９０１よりも演算能力が高いので、このように後処理の部分をデジタルカメラ９０１から分離してパソコンに任せる設計にすると、デジタルカメラ９０１は大容量の不揮発性ストレージ２１１と可逆圧縮アルゴリズムのエンコーダ９０２さえあればよいこととなる。つまり、デジタルカメラ９０１は必ずしも大規模な演算能力が必要ではなくなるので、デジタルカメラ９０１自体の更なる小型化及び低消費電力化に貢献できる。

（２）検波部４０１の検波処理に使用するマルチパターン測光枠は、画面全体の大まかな動きさえ検出できればよいので、動き検出部５０１で用いる動き検出のための枠より大きい枠であってもよい。また、マルチパターン測光枠のアスペクト比は必ずしも画面全体のアスペクト比と等しくなくてもよい。

（３）図８のステップＳ８０４で、加算処理部５０３が加算処理を行う際、加算強度テーブル３０６から読み出す加算強度を所定の閾値と比較した結果、加算強度が閾値より下回る場合、加算処理をする意味がないと判断できるので、それ以降の加算処理をしない、という処理を追加することができる。例えば、３枚目の画像データに対応する加算強度が閾値「０．２」より小さい場合、もう加算処理を行う意味が無い、と判断できる。そして、「連写」という性格上、それ以降の画像データの動きが小さくなる可能性は殆どない。転じて、それ以降の画像データに対応する加算強度が、閾値を上回る可能性は殆どない。よって、３枚目の画像データについて加算処理を行わないと判断したら、もう加算処理自体を打ち切ることで、動き検出部５０１及び加算処理部５０３の処理を省くことができ、現像処理全体にかかる時間を短縮することができる。

（４）シーン別変換テーブル群４１４に、変換テーブルの代わりに所定の関数或は擬似関数を設定し、第二減算器４１２の演算結果の変化に対して加算強度を連続的に変化させることもできる。

（５）加算強度導出部４１３に、フォーカス距離に対応して変化するバイアス関数を設定して、フォーカス距離の変化に対して加算強度を連続的に変化させることもできる。

本実施形態ではデジタルカメラ及び画像処理装置を開示した。
連写加算ノイズリダクションを実行する際、マルチパターン測光枠毎の輝度の平均値を算出し、画面全体の輝度の平均値と絶対値の最大値とのずれ量を算出して、画面全体の動きの指標とする。撮影シーンに応じた変換テーブルとフォーカス距離を参照して、加算強度を算出し、加算処理の係数とする。
従来の連写加算ノイズリダクションが苦手とする、テクスチャが少なく、フォーカス距離が近く、動きの多い被写体を撮影する際、ブロックマッチングに基づく動きベクトルの検出にミスが生じる可能性を、計算量が少ない処理で加算処理の係数として導き出し、加算処理を弱めることで排除し、加算ムラに起因する画像の乱れを防ぐことができる。

以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

１０１…デジタルカメラ、１０２…筐体、１０３…鏡筒、１０４…レンズ、１０５…ストロボ、１０６…シャッターボタン、１０７…液晶ディスプレイモニタ、１０８…操作ボタン、２０１…バス、２０２…ＣＰＵ、２０３…ＲＯＭ、２０４…ＲＡＭ、２０５…ＤＳＰ、２０６…撮像素子、２０７…Ａ／Ｄ変換器、２０８…モータドライバ、２０９…モータ、２１０…ストロボドライバ、２１１…不揮発性ストレージ、２１２…ＵＳＢインターフェース、２１３…表示部、２１４…操作部、３０１…選択スイッチ、３０２…画像メモリ、３０３…データ処理部、３０４…加算強度算出部、３０５…現像処理部、３０６…加算強度テーブル、３０７…制御部、４０１…検波部、４０２…選択スイッチ、４０３…切替スイッチ、４０４…基準値テーブル、４０５…比較値テーブル、４０６…第一減算器、４０７…量テーブル、４０８…平均値算出部、４０９…値算出部、４１０…平均値メモリ、４１１…値メモリ、４１２…第二減算器、４１３…加算強度導出部、４１４…シーン別変換テーブル群、４１５…選択ポインタ、４１６…選択ポインタ、５０１…動き検出部、５０２…選択スイッチ、５０３…加算処理部、５０４…エンコーダ、９０１…デジタルカメラ、９０２…エンコーダ、９０３…画像データファイル、９０４…撮影情報ファイル、１００１…画像処理装置、１００２…デコーダ、１００３…制御部

Claims (8)

1. 所定の撮影指令を受けて、被写体を連続して撮影して複数枚の画像データを出力する撮影処理部と、
   前記複数枚の画像データを記憶する画像メモリと、
   前記画像メモリから前記画像データを順次読み出して、１枚目の前記画像データと２枚目以降の前記画像データとの間の変化に基づく加算強度を算出する加算強度算出部と、
   前記加算強度算出部が出力する前記加算強度を記憶する加算強度テーブルと、
   前記画像メモリから前記画像データを順次読み出して、１枚目の前記画像データと２枚目以降の前記画像データとの間の動きベクトルを出力する動き検出部と、
   前記画像メモリから前記画像データを順次読み出して、１枚目の前記画像データに対して２枚目以降の前記画像データを前記動き検出部が出力する動きベクトルと、前記加算強度テーブルから順次読み出す前記加算強度に基づいて加算処理を行う加算処理部と
   を備え、
   前記加算強度算出部は、前記撮影処理部から得られる前記被写体とのフォーカス距離情報を参照して、前記フォーカス距離情報が所定の値を下回る場合は、前記加算強度を前記フォーカス距離情報が所定の値以上の場合と比べて小さい値として算出する、撮像装置。
2. 前記加算強度算出部は、
   入力される前記画像データに対し、マルチパターン測光枠毎に輝度平均値を算出する検波部と、
   前記検波部の出力データに基づいて、前記画像データの輝度の平均値を算出する平均値算出部と、
   前記検波部の出力データに基づいて、前記画像データの輝度の絶対値の最大値を算出する最大値算出部と、
   前記最大値から前記平均値の差の値に対応する加算強度を導き出すための変換テーブルと、
   前記最大値から前記平均値の差の値と前記変換テーブルとに基づいて前記加算強度を導き出す加算強度導出部と
   を備える請求項１に記載の撮像装置。
3. 前記変換テーブルは撮影シーン毎に複数存在する、請求項１または２に記載の撮像装置。
4. 前記加算強度が所定値を下回る場合は、前記加算処理部の加算処理を打ち切る、請求項１〜３のいずれかに記載の撮像装置。
5. 連写により得られる複数の画像データを記憶する画像メモリと、
   前記複数の画像データに含まれる第一の画像データと、前記複数の画像データに含まれる第二の画像データとの間の変化に基づき加算強度を算出する加算強度算出部と、
   前記加算強度に基づいて、前記第一の画像と前記第二の画像との加算処理を行う加算処理部と、を備え、
   前記第一の画像データは、前記連写における第一回目の撮影の基づく画像データであり、
   前記加算強度算出部は、前記第一の画像データと、前記第一の画像データを除く前記複数の画像データに含まれる個々の画像データとの間の変化に基づき、前記個々の画像データに対する加算強度をそれぞれ算出し、
   前記加算処理部は、前記個々の画像データに対する加算強度に基づいて、前記第一の画像データと、前記第一の画像データを除く前記複数の画像データの加算処理を行い、
   前記変化は、マルチパターン測光枠毎に検出される輝度に基づき検出される変化である、
   画像処理装置。
6. 前記加算強度算出部は、前記個々の画像データ毎に対応するフォーカス情報に基づき、前記個々の画像データに対する前記加算強度を算出する、
   請求項５に記載の画像処理装置。
7. 前記加算強度算出部は、前記画像データが撮影されたときの撮影シーンに基づき前記加算強度を算出する、
   請求項５または６に記載の画像処理装置。
8. 前記加算処理部は、前記複数の画像データを前記連写における撮影の順に加算処理を行い、前記加算強度が所定の値よりも小さくなった場合は、以降の加算処理を打ち切る、
   請求項５〜７のいずれかに記載の画像処理装置。

Images