JP4911621B2 - 画像処理装置 - Google Patents

Description

この発明は、画像処理装置に関し、特にたとえばイメージセンサで捉えられた時系列に従う複数の被写界像に手ぶれ補正，ノイズ除去等の画像処理を施す、画像処理装置に関する。

この種の装置の一例が特許文献１に開示されている。この背景技術では、時系列に連続する複数の被写界像を位置をずらしつつ互いに加重加算することにより、各被写界像のランダムノイズを抑制する（３ＤＤＮＲ：Three Dimensional Digital Noise Reduction）。加重加算にあたっては、各被写界像に乗算される係数を被写界像間の動きの大小によって変化させる。被写界像間の動きの大小は、被写界像（フレームないしフィールド）単位で判別される。

他の一例が特許文献２に開示されている。この背景技術でも３ＤＤＮＲを行うが、動きの大小は画素単位で判別され、各被写界像内の動きの小さい部分に対してだけ３ＤＤＮＲが施される。
特開２００６−１９７４５５号公報［H04N 5/21, 5/232, 101/00］ 特開２００６−２３７７１６号公報［H04N 5/21］

しかし、特許文献１では、被写界内にサイズが小さくて動きの早い被写体（打球など）が含まれている場合、その被写体部分の画像が３ＤＤＮＲによってぼやけてしまう。

この点、特許文献２では、３ＤＤＮＲは動きの小さい部分にだけ施されるので、動きの大きい部分のぼやけが回避される。しかし、動きの大小は画素単位で判別されるので、処理量が膨大となる。

また、イメージセンサとしてＣＭＯＳ(Complementary Metal- Oxide Semiconductor)を用いる場合は特に、ランダムノイズに加えて、ＦＰＮ(Fixed Pattern Noise)を抑制する必要性が高い。さらには、ノイズだけでなく、手ぶれに起因する被写界像間の動き（時間軸方向の動き成分）を抑制することも重要である。

それゆえに、この発明の主たる目的は、新規な、画像処理装置を提供することである。

この発明の他の目的は、少ない処理量でランダムノイズを適切に抑制でき、しかもＦＰＮおよび手ぶれによる被写界像間の動きの各々をも抑制できる、画像処理装置を提供することである。

この発明のその他の目的は、さらに、必要メモリ容量および消費電力の各々を削減できる、画像処理装置を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明に従う画像処理装置は、被写界の光学像を繰り返し捉える撮像手段から出力された時系列に従う複数の被写界像に画像処理を施す画像処理装置であって、複数の被写界像の間で特徴点の動きを検出する動き検出手段、複数の被写界像の各々に対して動き検出手段の検出結果に基づく位置で切出し処理を施す第１切出し手段、および第１切出し手段を経た後の複数の被写界像の各々に対して、当該被写界像に時間的に近接する１つまたは複数の被写界像を加算する加算処理を施す加算手段を備え、加算手段は、互いに加算されるべき一組の被写界像の各々を共通の部分画像に分割する分割手段、被写界像間の動きによって変化する係数を共通の部分画像毎に決定する係数決定手段、および分割手段の分割結果を共通の部分画像毎の係数で重み付けして互いに加算する加重加算手段を含む。

第１の発明では、被写界の光学像が撮像手段（１４）により繰り返し捉えられ、画像処理装置（１０，１０Ａ）は、撮像手段から出力された時系列に従う複数の被写界像に画像処理を施す。

画像処理装置では、動き検出手段（２２）が複数の被写界像の間で特徴点の動きを検出し、第１切出し手段（２６）は複数の被写界像の各々に対して動き検出手段の検出結果に基づく位置で切出し処理を施す。すなわち、第１切出し手段の切出し位置は、特徴点の動きに応じて移動する。こうして、切出し位置を特徴点の動きに追従させることで、複数の被写界像の間の動きが抑制される。

第１切出し手段を経た後の複数の被写界像の各々は、加算手段（２８，２８Ａ）に与えられ、当該被写界像に時間的に近接する１つまたは複数の被写界像を加算する加算処理を施される。こうして近接被写界像を加算することで、複数の被写界像の各々に含まれるランダムノイズが抑制される。

加えて、第１切出し手段の後段に加算手段を配したことで、ＦＰＮも抑制される。切出し位置が移動することで、ＦＰＮはランダムノイズとしての性質を持つこととなり、このようなノイズ成分もまた、加算処理によって抑制されるからである。

また、加算手段では、分割手段（５０ａ，５０ｂ，５２ａ，５２ｂ）が互いに加算されるべき一組の被写界像の各々を共通の部分画像（Ｂ１１〜Ｂ６６）に分割し、係数決定手段（６０，Ｓ３５〜Ｓ３９）は被写界像間の動きによって変化する係数を共通の部分画像毎に決定し、加重加算手段（５４ａ，５４ｂ，５６）は分割手段の分割結果を共通の部分画像毎の係数で重み付けして互いに加算する。重み付けのための係数を共通の部分画像毎に決定することで、動きの大きい部分のぼやけを回避することが可能となる。

ここで、共通の部分画像は、単一の画素でも、ｍ画素×ｎ画素（ｍ，ｎは１以上の整数）のブロックでもよいが、共通の部分画像のサイズを適切に選ぶことで（たとえば数画素×数画素程度）、係数決定のための処理量を抑制できる。

第１の発明によれば、少ない処理量でランダムノイズを適切に抑制でき、しかもＦＰＮおよび手ぶれによる被写界像間の動きの各々をも抑制することが可能となる。

第２の発明に従う画像処理装置は、第１の発明に従属し、検出手段は、複数の被写界像の各々に複数の検出エリアを割り当てて、検出エリア毎に動き検出を行い、係数決定手段は、複数の検出エリアのうち各共通の部分画像と対応する検出エリアを特定して、検出手段の検出結果のうち特定された検出エリアの動きに基づいて係数決定を行う。

第２の発明では、複数の被写界像の各々に複数の検出エリア（Ｅ１１〜Ｅ３３）が割り当てられ、動き検出は検出エリア毎に行われる。加算にあたっては、係数決定手段（６０，Ｓ３５〜Ｓ３９）が係数を共通の部分画像毎に決定する。具体的には、複数の検出エリアのうち各共通の部分画像と対応する検出エリアを特定し（８６，図６）、検出された複数の動きのうち特定された検出エリアの動きに基づいて係数を決定する（図８）。

第２の発明によれば、動き検出手段の検出結果を係数決定にも利用することで、処理量のさらなる抑制が可能となる。

第３の発明に従う画像処理装置は、第１の発明に従属し、加算手段は、分割手段の分割結果の間の差分を共通の部分画像毎に算出する差分算出手段をさらに含み、係数決定手段は差分算出手段の算出結果に基づいて係数決定を行う。

第３の発明では、加算にあたって、分割手段の分割結果の間の差分が差分算出手段（５３）によって共通の部分画像毎に算出される。係数は、この算出結果に基づいて、係数決定手段（５５，６０，Ｓ３４およびＳ３６）によって決定される（式（１））。

第３の発明によれば、差分に基づいて係数を決定するので、ランダムノイズをより適切に抑制することが可能となる。

第４の発明に従う画像処理装置は、第１ないし第３のいずれかの発明に従属し、複数の被写界像にＦＰＮ補正処理を施すＦＰＮ補正手段、動き検出手段によって検出された動きが閾値を上回るか否かを繰り返し判別する第１判別手段、および第１判別手段の判別結果が肯定的であるときＦＰＮ補正手段を無効化する一方、第１判別手段の判別結果が否定的であるときＦＰＮ補正手段を有効化する第１制御手段をさらに備える。

第４の発明では、ＦＰＮ補正手段（１８ａ）が複数の被写界像にＦＰＮ補正処理を施し、第１判別手段（Ｓ５）は、動き検出手段によって検出された動きが閾値を上回るか否かを繰り返し判別する。第１制御手段（Ｓ７，Ｓ９）は、第１判別手段の判別結果が肯定的であるときＦＰＮ補正手段を無効化する一方、第１判別手段の判別結果が否定的であるときＦＰＮ補正手段を有効化する。

第４の発明によれば、動きが閾値を上回っている期間は、ＦＰＮ補正手段が無効化されるので、消費電力を削減できる。こうしてＦＰＮ補正手段を無効化しても、ＦＰＮは、第１切出し手段による切出し処理およびその後段の加算手段による加算処理を通じて抑制される。

第５の発明に従う画像処理装置は、第４の発明に従属し、撮像手段に固有のＦＰＮ情報が書き込まれる第１メモリをさらに備え、ＦＰＮ補正手段は第１メモリに格納されたＦＰＮ情報に基づいてＦＰＮ補正処理を実行する。

第５の発明では、撮像手段に固有のＦＰＮ情報が第１メモリ（１８ａ）に書き込まれ、ＦＰＮ補正手段は第１メモリに格納されたＦＰＮ情報に基づいてＦＰＮ補正処理を実行する。

第５の発明によれば、ＦＰＮ補正が無効化されている期間は、第１メモリを開放可能であり、必要メモリ容量を削減できる。

第６の発明に従う画像処理装置は、第５の発明に従属し、ＦＰＮ情報はＦＰＮのサイズを示すサイズ情報を含み、閾値はサイズ情報に関連した値である。

第７の発明に従う画像処理装置は、第６の発明に従属し、閾値はサイズ情報の示す値よりも大きい。

第６または第７の発明によれば、ＦＰＮを適切に抑制できる。

第８の発明に従う画像処理装置は、第７の発明に従属し、ＦＰＮ情報はＦＰＮの有無を示す有無情報を含み、手ぶれ補正モードの有効無効を示すモード情報が書き込まれる第２メモリ、および第２メモリに格納されたモード情報をモード切替え操作に応答して更新する更新手段をさらに備え、第１判別手段は第１メモリに格納された有無情報がＦＰＮ有を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すとき判別処理を実行する。

第８の発明では、ＦＰＮ情報にＦＰＮの有無を示す有無情報が含まれており、第２メモリ（８４）には手ぶれ補正モードの有効無効を示すモード情報が書き込まれる。第２メモリに格納されたモード情報は、モード切替え操作が行われたとき更新手段（２４，８２ｃ）によって更新される。第１判別手段の判別処理は、第１メモリに格納された有無情報がＦＰＮ有を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すとき実行される。

第９の発明に従う画像処理装置は、第８の発明に従属し、第１制御手段は第１判別手段の判別結果に関わらず第１切り出し手段を有効化する。

第９の発明では、ＦＰＮ有かつ手ぶれ補正モード有効の場合、第１切り出し手段は常に有効化される。

第１０の発明に従う画像処理装置は、第８または第９の発明に従属し、第１メモリに格納された有無情報がＦＰＮ有を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すときＦＰＮ補正手段を有効化しかつ第１切出し手段を無効化する第２制御手段をさらに備える。

第１０の発明では、第２制御手段（Ｓ１１）は、第１メモリに格納された有無情報がＦＰＮ有を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すとき、ＦＰＮ補正手段を有効化しかつ第１切出し手段を無効化する。

第１０の発明によれば、ＦＰＮ有かつ手ぶれ補正モード無効の場合、ＦＰＮ補正手段を有効化しかつ第１切出し手段を無効化するので、ＦＰＮを抑制しつつ消費電力を削減できる。

第１１の発明に従う画像処理装置は、第１０の発明に従属し、有無情報がＦＰＮ無を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すときＦＰＮ補正手段を無効化しかつ第１切出し手段を有効化する第３制御手段をさらに備える。

第１１の発明では、第３制御手段（Ｓ１５）は、有無情報がＦＰＮ無を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すときＦＰＮ補正手段を無効化しかつ第１切出し手段を有効化する。

第１１の発明によれば、ＦＰＮ無かつ手ぶれ補正モード有効の場合、ＦＰＮ補正は無用で、ＦＰＮ補正手段が無効化されるので、消費電力を削減できる。

第１２の発明に従う画像処理装置は、第１１の発明に従属し、有無情報がＦＰＮ無を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すときＦＰＮ補正手段および第１切出し手段の各々を無効化する第４制御手段をさらに備える。

第１２の発明では、第４制御手段（Ｓ１７）は、有無情報がＦＰＮ無を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すとき、ＦＰＮ補正手段および第１切出し手段の各々を無効化する。

第１２の発明によれば、ＦＰＮ無かつ手ぶれ補正モード無効の場合、ＦＰＮ補正および手ぶれ補正はいずれも無用で、ＦＰＮ補正手段および第１切出し手段の各々が無効化されるので、消費電力を削減できる。

第１３の発明に従う画像処理装置は、第１２の発明に従属し、複数の被写界像の各々に対して固定位置で切出し処理を施す第２切出し手段をさらに備え、第１制御手段および第３制御手段の各々はさらに、第１切出し手段の有効化処理に応答して第２切出し手段を無効化し、第２制御手段および第４制御手段の各々はさらに、第１切出し手段の無効化処理に応答して第２切出し手段を有効化する。

第１３の発明では、複数の被写界像の各々に対し、固定位置での切出し処理が第２切出し手段（３２）により施される。第２切出し手段は、第１制御手段または第３制御手段によって第１切出し手段が無効化されると有効化され、第２制御手段または第４制御手段によって第１切出し手段が有効化されると無効化される。

第１３の発明によれば、第１切出し手段の無効化／有効化による画像サイズの変化を抑制できる。

第１４の発明に従う画像処理装置は、第１ないし第１３のいずれかの発明に従属し、撮像手段はＣＭＯＳを含む。

ＣＭＯＳでは一般に、ＣＣＤなど他の撮像素子よりもＦＰＮが発生しやすく、ＦＰＮ補正の必要性が高い。このため、第１４の発明では、ＦＰＮ補正に関連する効果が顕著となる。

第１５の発明に従う画像処理装置は、第１ないし第１４のいずれかの発明に従属し、撮像手段をさらに備える。

第１５の発明では、撮像手段は画像処理装置の一構成要素である。

この発明によれば、少ない処理量でランダムノイズを適切に抑制でき、しかもＦＰＮおよび手ぶれによる被写界像間の動きの各々をも抑制できる。加えて、必要メモリ容量および消費電力の各々を削減できる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルムービーカメラ１０は光学レンズ１２，イメージセンサ１４，信号前処理回路１６，ＦＰＮ補正回路１８ａ，ラインメモリ１８ｂ，ＤＲＡＭ２０，動き検出回路２２，ＣＰＵ２４，第１切出し回路２６，３ＤＤＮＲ回路２８，信号後処理回路３０，第２切出し回路３２，表示系回路３４，記録系回路３６，フラッシュメモリ３８およびキー入力装置４０を含む。

なお、イメージセンサ１４は、好ましくはＣＭＯＳ(Complementary Metal- Oxide Semiconductor)で構成されるが、ＣＣＤ(Charge- Coupled Device)など他の撮像素子で構成されてもよい。

これらの構成要素のうち、ＦＰＮ補正回路１８ａ，ラインメモリ１８ｂ，第１切出し回路２６および第２切出し回路３２の各々は、ＦＰＮの有無，手ぶれ補正モードのＯＮ／ＯＦＦ状態，および動きベクトルの大小に基づいて、ＣＰＵ２４によりＯＮ／ＯＦＦされる。このＯＮ／ＯＦＦ制御（図１１参照）は、フラッシュメモリ３８に格納されたＦＰＮ補正＆切出しＯＮ／ＯＦＦ制御プログラム（８２ｄ：図４参照）に基づく。なお、３ＤＤＮＲ回路２８は、常時ＯＮ状態に置かれる。

ここで、ディジタルムービーカメラ１０のソフトウェア構成について説明しておく。フラッシュメモリ３８のメモリマップの一部を図４に示す。図４を参照して、フラッシュメモリ３８にはＦＰＮ情報エリア８０，プログラムエリア８２，モード情報エリア８４および対応情報エリア８６が形成される。

ＦＰＮ情報エリア８０にはイメージセンサ１４に関するＦＰＮ情報が格納される。ＦＰＮ情報はＦＰＮフラグ８０ａおよびサイズ，発生位置＆補正値情報８０ｂを含む。ＦＰＮフラグ８０ａはＦＰＮの有無を示すフラグであり、サイズ，発生位置＆補正値情報８０ｂはＦＰＮのサイズ，発生位置およびこれに対応する補正値を記述した情報である。ＦＰＮのサイズ，および生位置はフレームを構成する複数のラインの間で共通なので、サイズ，発生位置＆補正値情報８０ｂは１ライン分あれば足りる。なお、ＦＰＮが無い場合には、サイズ，発生位置＆補正値情報８０ｂは省略してよい。

プログラムエリア８２には切出し位置制御プログラム８２ａ，ラインメモリ制御プログラム８２ｂ，モード切替え制御プログラム８２ｃ，ＦＰＮ補正＆切出しＯＮ／ＯＦＦ制御プログラム８２ｄなどが格納される。切出し位置制御プログラム８２ａは、動き検出回路２２の検出結果（ＣＰＵ２４に内蔵されたメモリＲ内の動きベクトルエリア７０〜７８に格納された動きベクトルデータ：図３参照）に基づいて切出し位置を算出し、算出結果（メモリＲ内の切出し位置エリア７９に格納された切出し位置データ）を第１切出し回路２６に通知するためのプログラムである。

ラインメモリ制御プログラム８２ｂは、ＦＰＮ情報エリア８０からサイズ，発生位置＆補正値情報８０ｂ（図４参照）を読み出し、これをラインメモリ１８ｂに書き込むためのプログラムである。モード切替え制御プログラム８２ｃは、キー入力装置４０によるモード切替ええ操作を受け付け、モード情報エリア８４内のモード情報を操作結果に従って更新するためのプログラムである。

ＦＰＮ補正＆切出しＯＮ／ＯＦＦ制御プログラム８２ｄは、ＦＰＮの有無（ＦＰＮフラグ８０ａ），手ぶれ補正モードのＯＮ／ＯＦＦ状態（手ぶれ補正モードフラグ８４ａ：後述），および動きベクトル（検出エリアＥ１１〜Ｅ３３用の動きベクトルエリア７０〜７８：図３参照）の大小に基づいて、ＦＰＮ補正回路１８ａ，第１切出し回路２６および第２切出し回路３２のＯＮ／ＯＦＦ制御を行うためのプログラムである。

モード情報エリア８４には手ぶれ補正モードフラグ８４ａが格納される。手ぶれ補正モードフラグ８４ａは、手ぶれ補正モードのＯＮ／ＯＦＦ状態を示すフラグであり、モード切替え制御プログラム８２ｃにより制御される。

対応情報エリア８６には、動き検出回路２２の検出エリア（Ｅ１１〜Ｅ３３）と、３ＤＤＮＲ回路２８による加重加算処理（後述）の単位であるブロック（Ｂ１１〜Ｂ６６）との間の対応関係（図６参照）を示す情報が格納される。

なお、上述した情報／プログラムは、出荷前にフラッシュメモリ３８に書き込まれる。手ぶれ補正モードフラグ８４ａは、出荷時点では“ＯＦＦ”であり、その後キー入力装置４０によるモード切替え操作に応じて更新される。また、ＣＰＵ２４は、μＩＴＲＯＮなどのマルチタスクＯＳの制御下で、これらのプログラム（８２ａ，８２ｂ，…）を並列的に処理することができる。

さて、ＦＰＮ補正＆切出しＯＮ／ＯＦＦ制御プログラム８２ｄに対応するフローチャートが図１１に示されている。図１１を参照して、ＣＰＵ２４は、まずステップＳ１で、ＦＰＮの有無をＦＰＮフラグ８０ａ（図４参照）に基づいて判別する。ステップＳ１の判別結果がＹＥＳつまり“ＦＰＮ有”であれば、ステップＳ３に移る。

ステップＳ３では、手ぶれ補正モードがＯＮ状態であるか否かを手ぶれ補正モードフラブ８４ａに基づいて判別する。ステップＳ３の判別結果がＹＥＳつまり“手ぶれ補正ＯＮ状態”であればステップＳ５に移る一方、判別結果がＮＯつまり“手ぶれ補正ＯＦＦ状態”であればステップＳ１１に移る。

ステップＳ５では、第ｋフレームの第（ｋ−１）フレームに対する動きベクトル（以下これを“ｋ：ｋ−１”のように記述する）の大きさが閾値（Ｔｈ１）より大であるか否かを、メモリＲに格納された動きベクトルデータに基づいて判別する。なお、閾値Ｔｈ１は、ＦＰＮのサイズに関連して決定された値であり、好ましくは、サイズ，発生位置＆補正値情報８０ｂに記述されたＦＰＮサイズよりもわずかに大きな値が選ばれる。

ここで図３を参照して、メモリＲは９つの検出エリアＥ１１〜Ｅ３３にそれぞれ対応する９つの動きベクトルエリア７０〜７８を含む。動きベクトルエリア７０〜７８には、検出エリアＥ１１〜Ｅ３３で検出された動きベクトルを示すデータがそれぞれ格納されている。

動きベクトルエリア７０〜７８に格納された９つの“ｋ：ｋ−１”のうち１つでも大きさが閾値を超えるものがあれば、ステップＳ５でＹＥＳと判別してステップＳ７に移る。一方、大きさがどれも閾値以下であれば、ステップＳ５でＮＯと判別してステップＳ９に移る。

ステップＳ７では、ＦＰＮ補正回路１８ａをＯＦＦして、第１切出し回路２６をＯＮする一方、第２切出し回路３２をＯＦＦする。ステップＳ９では、ＦＰＮ補正回路１８ａをＯＮして、第１切出し回路２６をＯＮする一方、第２切出し回路３２をＯＦＦする。ステップＳ１１では、ＦＰＮ補正回路１８ａをＯＮして、第１切出し回路２６をＯＦＦする一方、第２切出し回路３２をＯＮする。その後、ステップＳ１に戻る。

ステップＳ１の判別結果がＮＯつまり“ＦＰＮ無”であれば、ステップＳ１３に移る。ステップＳ１３では、ステップＳ３と同様に、手ぶれ補正モードがＯＮ状態であるか否かを手ぶれ補正モードフラブ８４ａに基づいて判別する。ステップＳ１３の判別結果がＹＥＳであればステップＳ１５に移る一方、判別結果がＮＯであればステップＳ１７に移る。

ステップＳ１５では、ステップＳ７と同様に、ＦＰＮ補正回路１８ａをＯＦＦして、第１切出し回路２６をＯＮする一方、第２切出し回路３２をＯＦＦする。ステップＳ１７では、ＦＰＮ補正回路１８ａをＯＦＦして、第１切出し回路２６をＯＦＦする一方、第２切出し回路３２をＯＮする。その後、ステップＳ１に戻る。

したがって、ＦＰＮがあるディジタルムービーカメラ１０のＦＰＮ補正＆切出しに関する状態は、ステップＳ７が実行されている期間に対応する状態（以下これを“Ｓ７状態”と呼ぶ），ステップＳ９が実行されている期間に対応する状態（Ｓ９状態），およびステップＳ１１が実行されている期間に対応する状態（Ｓ１１状態）、の３状態の間で遷移する。

一方、ＦＰＮがないディジタルムービーカメラ１０のＦＰＮ補正＆切出しに関する状態は、ステップＳ１５が実行されている期間に対応する状態（Ｓ１５状態），およびステップＳ１７が実行されている期間に対応する状態（Ｓ１７状態）、の２状態の間で遷移する。

最初、“Ｓ７状態”における動作について説明する。再び図１を参照して、光学レンズ１２を経た被写界の光学像は、イメージセンサ１４の受光面つまり撮像面に照射され、撮像面では、光電変換によって被写界の光学像に対応する電荷つまり生画像信号が生成される。イメージセンサ１４は、露光時間Ｔに渡る露光とこれによって生成された生画像信号の読出しとを、たとえば１／６０秒周期で繰り返し実行する。イメージセンサ１４からは、被写界の光学像に対応する生画像信号が出力される。出力された生画像信号は、信号前処理回路１６によってＡ／Ｄ変換，クランプなどの前処理を施され、これにより生画像データが作成される。作成された生画像データは、ＦＰＮ補正回路１８ａに与えられる。

このとき、ＦＰＮ補正回路１８ａは休止状態にあり、ＣＰＵ２４によるラインメモリ１８ｂへの書込み処理（後述）も実行されていない。与えられた生画像データは、ＦＰＮ補正回路１８ａを素通りして、ＤＲＡＭ２０の第１生画像エリア６０（図２）に書き込まれる。

信号前処理回路１６によって作成された生画像データはまた、動き検出回路２２に与えられる。動き検出回路２２は、与えられた生画像データに基づいて動きベクトルを検出する。詳しくは、９つの検出エリアＥ１１〜Ｅ３３を被写界に割り当て（図６参照）、そして検出エリア毎に、現在のフレーム（ｋ）およびその１つ前のフレーム（ｋ−１）の間で特徴点の動きつまり動きベクトルを繰り返し検出する。動き検出回路２２の検出結果、つまり９つの検出エリアＥ１１〜Ｅ３３に対応する９個の“ｋ：ｋ−１”は、ＣＰＵ２４に内蔵されたメモリＲに書き込まれる（図３参照）。

ＣＰＵ２４は、メモリＲに格納された動きベクトルに基づいて、手ぶれに起因する被写界像の動きが打ち消されるような切出し位置をフレーム毎に算出し、算出結果を示す切出し位置情報を第１切出し回路２６に通知する。

第１生画像エリア６０に格納された生画像データはその後、第１切出し回路２６に与えられる。第１切出し回路２６の切出しエリアＥ１は移動可能であり（図５（Ａ）参照）、第１切出し回路２６は、ＣＰＵ２４から通知された切出し位置情報に基づいて切出しエリアＥ１を移動しつつ、与えられた生画像データに対して各フレームから切出しエリアＥ１に対応する部分を切り出す処理を施していく。この第１切出し処理によって、生画像データに含まれる手ぶれに起因する時間軸方向の動き成分が抑制される。

第１切出し回路２６から出力された生画像データはその後、３ＤＤＮＲ回路２８に与えられる。このとき、第２生画像エリア６２に格納された１フレーム前の生画像データが参照データとして３ＤＤＮＲ回路２８にさらに与えられ、ＣＰＵ２４はメモリＲに格納された動きベクトルを３ＤＤＮＲ回路２８に通知する。つまり、３ＤＤＮＲ回路２８へは、第ｋおよび第（ｋ−１）の２フレームの生画像データと、これら２フレーム間の９個の動きベクトル“ｋ：ｋ−１”とが共通のタイミングで入力される。

３ＤＤＮＲ回路２８は、第ｋフレームの生画像データおよび第（ｋ−１）フレームの生画像データに対し、９個の動きベクトル“ｋ：ｋ−１”に基づく加重加算処理を施す。ここで、３ＤＤＮＲ回路２８およびこれが実行する加重加算処理について、図７，図８および図１２により詳しく説明する。

図７を参照して、３ＤＤＮＲ回路２８は、バッファ５０ａおよびコントローラ５０ｂ，バッファ５２ａおよびコントローラ５２ｂ，一対の乗算回路５４ａおよび５４ｂ，加算回路５６，バッファ５８ａおよびコントローラ５８ｂならびにＣＰＵ６０を含む。第１切出し回路２６からの生画像データはバッファ５０ａに、ＤＲＡＭ２０からの生画像データはバッファ５２ａにそれぞれ書き込まれる。

バッファ５０ａに第ｋフレームが、バッファ５２ａに第（ｋ−１）フレームがそれぞれ格納されると、コントローラ５０ｂおよびコントローラ５２ｂはそれぞれ、バッファ５０ａおよびバッファ５２ａに格納されたフレームを６×６の３６ブロック（Ｂ１１〜Ｂ６６：図６参照）に分割し、これら３６ブロックをＣＰＵ６０が繰り返し発行するブロック読出し命令に応じて順番に読み出していく。

読み出された一対のブロック、つまりバッファ５０ａから読み出されたブロックＢｉｊおよびバッファ５２ａから読み出されたブロックＢｉｊは、乗算回路５４ａおよび乗算回路５４ｂにそれぞれ入力される。このとき、ＣＰＵ６０が９個の動きベクトル“ｋ：ｋ−１”のうちブロックＢｉｊに対応するものを特定し、特定された動きベクトルに基づいて係数αを決定する。

乗算回路５４ａには係数“α”が与えられ、乗算回路５４ａは入力されたブロックＢｉｊに与えられた係数“α”を乗算する。一方、乗算回路５４ｂには係数“１−α”が与えられ、乗算回路５４ｂは入力されたブロックＢｉｊに係数“１−α”を乗算する。

乗算回路５４ａの乗算結果および乗算回路５４ｂの乗算結果は、加算回路５６で互いに加算される。そして、加算回路５６の加算結果、つまり加重加算を施された後のブロックＢｉｊが、バッファ５８ａに書き込まれる。

バッファ５８ａに第ｋフレームの最後のブロックつまりブロックＢ６６が書き込まれると、ＣＰＵ６０はコントローラ５８ｂに向けてフレーム読出し命令を発行し、コントローラ５８ｂはバッファ５８ａに格納された３６ブロックを１フレームとして出力する。

上記のようなＣＰＵ６０の処理は、図１２のフローチャートに従う。図１２を参照して、最初のステップＳ３１では、バッファ５０ａおよびバッファ５２ａにそれぞれフレームが格納されているか否かを判別し、判別結果がＮＯであれば待機する。ステップＳ３１の判別結果がＹＥＳであればステップＳ３３に移って、コントローラ５０ｂおよびコントローラ５２ｂの各々にブロック読出し命令を発行する。その後、ステップＳ３５に進む。

ステップＳ３５では、ブロック読出し命令に応じて読み出された一対のブロック、つまり第ｋフレームのブロックＢｉｊと第（ｋ−１）フレームのブロックＢｉｊとの間の動きが大きいか否かを、ＣＰＵ２４から通知された動きベクトル情報に基づいて判別する。

具体的には、まず、対応情報エリア８６に格納された対応情報８６ａ〜８６ｉに基づいて一対のブロックに対応する検出エリアを特定する。たとえば一対のブロックが“Ｂ１１”である場合、“Ｂ１１”は対応情報８６ａに記述されていることから、対応する検出エリアは“Ｅ１１”であることがわかる。

次に、ＣＰＵ２４から通知された９つの検出エリアＥ１１〜Ｅ３３に対応する９つの動きベクトル“ｋ：ｋ−１”の中から、上記のようにして特定された検出エリアに対応するものを選出し、選出された“ｋ：ｋ−１”の大きさを閾値（Ｔｈ２）と比較する。そして“｜ｋ：ｋ−１｜＞Ｔｈ２”であれば、動き大と判別する一方、“｜ｋ：ｋ−１｜≦Ｔｈ２”であれば動き小と判別する。

ステップＳ３５の判別結果がＹＥＳつまり動き大であれば、ステップＳ３７で係数αを最大値αｍａｘ（たとえば０．８）とする。ステップＳ３５の判別結果がＮＯつまり動き小であれば、ステップＳ３９で係数αを算出する。この算出処理は、動きつまり｜ｋ：ｋ−１｜と係数αとの関係を規定する関数ないしテーブルに基づく。このような関数の一例を図８に示す。

図８を参照して、この関数は、２点（０，０．５）および（Ｔｈ２，０．８）両端とする線分に対応し、動きがＴｈ２を越える区間ではα＝０．８となる。一般には、動きが“０”のときαが最小で、動きの増大につれてαも大きくなり、そして動きが“Ｔｈ２”のときαが最大となる関数であればよい。テーブルを用いる場合には、関数から算出される離散値、たとえば（０，０．５），（１，０．６），…，（Ｔｈ２，０．８）が登録される。

図１２に戻って、ステップＳ３７またはＳ３９で係数が決定されると、ステップＳ４１に進む。ステップＳ４１では、乗算回路５４ａおよび５４ｂに係数“α”および“１−α”をそれぞれ通知する。続くステップＳ４３では、直前に読み出されたブロックがフレームの最終ブロックであるか否かを判別し、ＮＯであればステップＳ３３に戻る。ステップＳ４３でＹＥＳであれば、ステップＳ４５に移ってコントローラ５８ｂにフレーム出力命令を発行し、その後ステップＳ３１に戻る。

このような加重加算処理によって、生画像データに含まれるランダムノイズが抑制される。

再び図１を参照して、３ＤＤＮＲ回路２８から出力された生画像データは、ＲＡＭ２０の第２生画像エリア６２（図２参照）に書き込まれる。こうして第２生画像エリア６２に格納された生画像データはその後、参照データとして３ＤＤＮＲ回路２８に与えられる。

３ＤＤＮＲ回路２８から出力された生画像データはまた、信号後処理回路３０にも与えられる。信号後処理回路３０は、与えられた生画像データに対し、色分離，ガンマ補正，ＹＵＶ変換などの後処理を施す。これにより、生画像データはＹＵＶ画像データに変換される。

こうして得られたＹＵＶ画像データは、ＤＲＡＭ２０内のＹＵＶ画像エリア６４（図２参照）に書き込まれる。ＹＵＶ画像エリア６４に格納されたＹＵＶ画像データはその後、第２切出し回路３２に与えられる。このとき、第２切出し回路３２は休止状態にあり、与えられたＹＵＶ画像データは、第２切出し回路３２を素通りして、表示系回路３４および記録系回路３６の各々に与えられる。

表示系回路３４では、与えられたＹＵＶ画像データでＬＣＤモニタ（図示せず）を駆動する処理などが実行される。記録系回路３６では、与えられたＹＵＶ画像データを圧縮する処理，圧縮された画像データを記録媒体（図示せず）に記録する処理などが実行される。

次に、“Ｓ９状態”における動作について説明する。再び図１を参照して、イメージセンサ１４は、“Ｓ７状態”においてと同様に、露光とこれによって生成された生画像信号の読出しとを繰り返し実行する。イメージセンサ１４から出力された生画像信号は、信号前処理回路１６で前処理を施され、これにより作成された生画像データがＦＰＮ補正回路１８ａにライン単位で与えられる。

ＣＰＵ２４は、フラッシュメモリ３８からサイズ，発生位置＆補正値８０ｂ（図４参照）読み出し、これをラインメモリ１８ｂに書き込む。この書込み処理は、ラインメモリ書込み制御プログラム８２ｂ（図４参照）に基づく。ＦＰＮ補正回路１８ａは、ラインメモリ１８ｂに格納されたサイズ，発生位置＆補正値８０ｂに基づいて、与えられた生画像データにＦＰＮ補正を施す。これによって、生画像データに含まれるＦＰＮが抑制される。

第１生画像エリア６０に格納された生画像データはその後、第１切出し回路２６に与えられ、同様の第１切出し処理を施される。

このとき、“Ｓ７状態”においてと同様に、第２生画像エリア６２に格納された１フレーム前の生画像データが参照データとして３ＤＤＮＲ回路２８にさらに与えられる。動き検出回路２２は同様の動きベクトル検出を行っており、検出結果がＣＰＵ２４を通して３ＤＤＮＲ回路２８に通知される。３ＤＤＮＲ回路２８は、与えられた生画像データに対して通知された動きベクトルに基づく加重加算処理を実行する。

３ＤＤＮＲ回路２８から出力された生画像データは、ＲＡＭ２０の第２生画像エリア６２に書き込まれ、その後参照データとして３ＤＤＮＲ回路２８に与えられる。３ＤＤＮＲ回路２８から出力された生画像データはまた、信号後処理回路３０にも与えられ、ＹＵＶ画像データに変換される。ＹＵＶ画像データは、ＤＲＡＭ２０内のＹＵＶ画像エリア６４に書き込まれ、その後第２切出し回路３２に与えられる。

このとき、“Ｓ７状態”においてと同様に、第２切出し回路３２は休止状態にあり、与えられたＹＵＶ画像データは、第２切出し回路３２を素通りして、表示系回路３４および記録系回路３６の各々に与えられる。表示系回路３４ではＬＣＤ駆動処理などが、記録系回路３６では圧縮処理，記録処理などがそれぞれ実行される。

ここで、“Ｓ７状態”から“Ｓ９状態”への状態遷移を図９のタイミングチャートに示す。図９を参照して、動きベクトルの大きさが閾値以下である間は、第１切出し，ＦＰＮ補正および３ＤＤＮＲの各処理が継続され、第２切出し処理は休止している。動きベクトルの大きさが閾値を超えると、ＦＰＮ補正処理が停止する。第１切出しおよび３ＤＤＮＲの各処理は継続され、第２切出し処理は休止したままである。

次に、Ｓ１１状態における動作について説明する。“Ｓ１１状態”は、“Ｓ９状態”において、第１切出し回路２６が休止する一方、第２切出し回路３２が起動した状態である。したがって、“Ｓ１１状態”では、ＣＰＵ２４による切出し位置算出および通知処理も実行されていない。このため、第１生画像エリア６０の生画像データは、第１切出し回路２６を素通りして３ＤＤＮＲ回路２８に与えられることになる。一方、ＹＵＶ画像エリア６４からのＹＵＶ画像データは、第２切出し回路３２の第２切出し処理を施された後、表示系回路３４および記録系回路３６の各々に与えられる。

第２切出し回路３２の切出しエリアＥ２は固定であり（図５（Ｂ））、第２切出し回路３２は、与えられたＹＵＶ画像データに対して、各フレームから切出しエリアＥ２に対応する部分を切り出す切出し処理を施していく。第１切出しの停止／再開による画像サイズの変化は、このような第２切出し処理を実行することで解消される。この点以外は、“Ｓ９状態”における動作と同様である。

ここで、“Ｓ７状態”から“Ｓ１１状態”への状態遷移を図１０のタイミングチャートに示す。図１０を参照して、手ぶれ補正がＯＮである間は、第１切出しおよび３ＤＤＮＲの各処理が継続され、第２切出しおよびＦＰＮ補正の各処理は休止している。手ぶれ補正がＯＦＦされると、第１切出し処理は停止され、ＦＰＮ補正および第２切出しの各処理が起動される。３ＤＤＮＲ処理は継続される。

最後に、Ｓ１５およびＳ１７の各状態における動作について、簡単に説明する。“Ｓ１５状態”は“Ｓ７状態”と同じ状態であり、行われる動作も両状態の間で共通する。

“Ｓ１７状態”は、“Ｓ１１状態”において、ＦＰＮ補正回路１８ａがさらに休止した状態である。したがって、“Ｓ１７状態”では、信号前処理回路１６からの生画像データは、ＦＰＮ補正回路１８ａを素通りしてＤＲＡＭ２０の第１生画像エリア６０に書き込まれる。この点以外は、“Ｓ１１状態”における動作と同様である。

以上から明らかなように、この実施例では、被写界の光学像がイメージセンサ１４により繰り返し捉えられ、イメージセンサ１４から時系列に従う複数の被写界像が出力される。ＦＰＮ補正回路１８ａは複数の被写界像にＦＰＮ補正処理を施し、動き検出回路２２は複数の被写界像の間で特徴点の動きを検出する。

第１切出し回路２６は、複数の被写界像の各々に対し、動き検出手段の検出結果に基づく位置での切出し処理を施す。すなわち、第１切出し回路２６の切出し位置は、特徴点の動きに応じて移動する。こうして、切出し位置を特徴点の動きに追従させることで、複数の被写界像の間の動きが抑制される。

そして、第１切出し回路２６による切出し処理が施された後の時系列に従う複数の被写界像の各々に対して、その被写界像に直前の被写界像を加算する加算処理が、３ＤＤＮＲ回路２８によって施される。これによって、複数の被写界像の各々に含まれるランダムノイズが抑制される。

一方、ＣＰＵ２４は、動き検出手段によって検出された動きが閾値を上回るか否かを繰り返し判別して（Ｓ５）、判別結果が肯定的であるときＦＰＮ補正回路１８ａを無効化する（Ｓ７）一方、判別結果が否定的であるときＦＰＮ補正回路１８ａを有効化する（Ｓ９）。

したがって、動きが閾値を上回っている期間は、ＦＰＮ補正回路１８ａが無効化されるので、消費電力を削減できる。こうしてＦＰＮ補正回路１８ａを無効化しても、ＦＰＮは、第１切出し回路２６による切出し処理およびその後段の３ＤＤＮＲ回路２８による加算処理を通じて抑制される。なぜなら、切出し位置が移動することで、ＦＰＮはランダムノイズとしての性質を持つ結果となり、３ＤＤＮＲ回路２８で抑制されるからである。

この実施例ではまた、３ＤＤＮＲ回路２８において、バッファ５０ａおよびコントローラ５０ｂならびにバッファ５２ａおよびコントローラ５２ｂが、互いに加算されるべき一対の被写界像の各々をブロックＢ１１〜Ｂ６６（共通の部分画像）に分割し、乗算回路５４ａおよび５４ｂならびに加算回路５６は分割結果をブロック毎の係数で重み付けして互いに加算する。重み付けのための係数（α）は、動き検出回路２２からＣＰＵ２４経由で通知された動きベクトルに基づいて、ＣＰＵ６０がブロック毎に決定する。こうして、係数を共通の部分画像毎に決定することで、動きの大きい部分のぼやけを回避することが可能となる。

そして、ブロックＢ１１〜Ｂ６６は、単一の画素でも、ｍ画素×ｎ画素（ｍ，ｎは１以上の整数）でもよいが、ブロックのサイズを適切に選ぶことで（たとえば数画素×数画素程度）、係数決定のための処理量を抑制できる。これにより、少ない処理量でランダムノイズを適切に抑制できる。

なお、この実施例の３ＤＤＮＲ回路２８では、ＣＰＵ６０は、動き検出回路２２からＣＰＵ２４経由で通知された動きベクトルに基づいて係数αを決定したが、代わりに、バッファ５０ａおよびバッファ５２ａから出力される一対のブロックＢｉｊおよびＢｉｊの間の差分を求め、この差分に基づいて係数を決定してもよい。このような実施例を、図１３および図１４に示す。

図１３を参照して、ディジタルムービーカメラ１０Ａは、図１のディジタルムービーカメラ１０において、ＣＰＵ２４からＣＰＵ６０への動きベクトル通知を省略し、３ＤＤＮＲ回路２８を３ＤＤＮＲ回路２８Ａに置き換えたものである。

図１４を参照して、３ＤＤＮＲ回路２８Ａは、図７の３ＤＤＮＲ回路２８において、バッファ５０ａおよび５２ａからそれぞれ出力されるブロックＢｉｊおよびＢｉｊの間の差分を算出する差分算出回路５３，およびこの算出結果に基づいて係数αを算出する係数算出回路５５を追加したものである。

差分算出回路５３の算出結果は、係数算出回路５５およびＣＰＵ６０の各々に与えられる。係数算出回路５５は、与えられた差分に基づいて、次式（１）により係数αを算出する。

α＝｛差分｝×β＋η …（１）
ここでβおよびηは、直線の傾きおよび切片に相当するパラメータであり、ＣＰＵ６０によって設定される。

ＣＰＵ６０は、与えられた差分に基づいて、上式（１）におけるパラメータβおよびηを決定し、決定結果を差分算出回路５３に設定する。この場合のＣＰＵ６０の動作フローを図１５に示す。

図１５のフローは、図１１のフローにおいて、ステップＳ３５〜Ｓ４１に代えてステップＳ３４およびＳ３６を備える。ステップＳ３４では差分算出回路５３からの差分に基づいてパラメータβおよびηを決定し、ステップＳ３６では決定結果を係数算出回路５５に設定する。この係数設定処理に応答して、係数算出回路５５から係数αおよび“１−α”が乗算回路５４ａおよび５４ｂに出力される。

なお、パラメータβおよびηは、差分とは無関係に決定されてもよく、固定値でもよい。このような場合には、差分算出回路５３の算出結果をＣＰＵ６０に通知する必要はない。

これにより、ランダムノイズをより適切に抑制できる。

なお、図１および図１３の各実施例では、動き検出回路２２の検出エリアの数は９で、これら９個の検出エリアをフレーム上に３行３列の行列態様で配置したが（図６参照）、数および配置はこれに限らない。たとえば、フレームの四隅に配された４つの検出エリアＥ１１，Ｅ３１，Ｅ１３およびＥ３３を省略し、検出エリアの割り当てがない部分では係数αを最小値（たとえば０．５）に固定してもよい。ただし、第１切出し回路２６で手ブレに起因するフレーム間の動き成分を適切に除去し、また３ＤＤＮＲ回路２８，２８Ａでランダムノイズ（これには手ブレに起因するフレーム内の動き成分も含まれる）を適切に除去するためには、ｍ行ｎ列（ｍは３以上の整数，ｎは３以上の整数）の行列態様が好ましい。

なお、各実施例では、検出エリアＥ１１〜Ｅ３３の間に隙間があるが、こうした隙間をなくしてもよい。隣り合う検出エリアが一部重複しても構わない。その形状も矩形とは限らず、円形，多角形などでもよい。

また、各実施例では、動き検出回路２２が現在のフレーム（ｋ）およびその直前のフレーム（ｋ−１）の間で特徴点の動きを検出し、第１切出し回路２６は検出結果に基づく切出しを行っているが、動き検出回路２２の検出処理の後に、ＣＰＵ２４が検出結果に基づいて現在のフレーム（ｋ）およびその直後のフレーム（ｋ＋１）の間で特徴点の動きを予測し、第１切出し回路２６は予測結果に基づく切出しを行うようにしてもよい。図１３実施例の場合、３ＤＤＮＲ回路２８もまた、予測結果を利用してよい。

また、各実施例では、ＦＰＮ情報は固定的であるが、たとえばＣＰＵ２４が、ＦＰＮ補正回路１８ａを通してイメージセンサ１４のＦＰＮを随時検出し、検出結果に基づいてＦＰＮ情報を更新してもよい。

以上では、一例としてディジタルムービーカメラ（１０，１０Ａ）について説明したが、この発明は、イメージセンサで捉えられた時系列に従う複数の被写界像を処理する、画像処理装置に適用できる。この場合の画像処理装置は、イメージセンサを構成要素とするもの（たとえばディジタルスチルカメラ，カメラ付き携帯端末など）だけでなく、イメージセンサを構成要素としないもの（たとえば外部のイメージセンサで捉えられた被写界像を取り込むことができるパソコン，ディジタルビデオ再生機など）も含まれる。

この発明の一実施例の構成を示すブロック図である。 ＤＲＡＭのメモリマップの一部を示す図解図である。 ＣＰＵ２４の内蔵メモリのメモリマップの一部を示す図解図である。 フラッシュメモリのメモリマップの一部を示す図解図である。 （Ａ）は第１切出し回路の切出しエリアを示す図解図であり、（Ｂ）は第２切出し回路の切出しエリアを示す図解図である。 動き検出回路の検出エリアおよび３ＤＤＮＲ回路の分割ブロックの間の対応関係を示す図解図である。 図１実施例に適用される３ＤＤＮＲ回路の構成例をブロック図である。 ３ＤＤＮＲ回路での加重加算処理に利用される関数を示す図解図である。 図１実施例の各要素の動作例を示すタイミングチャートである。 図１実施例の各要素の他の動作例を示すタイミングチャートである。 図１実施例に適用されるＣＰＵ２４の動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ６０の動作の一部を示すフロー図である。 この発明の他の実施例の構成を示すブロック図である。 図１３実施例に適用される３ＤＤＮＲ回路の構成例をブロック図である。 図１３実施例に適用されるＣＰＵ６０の動作の一部を示すフロー図である。

符号の説明

１０，１０Ａ …ディジタルムービーカメラ
１４ …イメージセンサ
１６ …信号前処理回路
１８ａ …ＦＰＮ補正回路
１８ｂ …ラインメモリ
２０ …ＤＲＡＭ
２２ …動き検出回路
２４，６０ …ＣＰＵ
２６ …第１切出し回路
２８，２８Ａ …３ＤＤＮＲ回路
３０ …信号後処理回路
３２ …第２切出し回路
３８ …フラシュメモリ
４０ …キー入力装置
５０ａ，５２ａ，５８ａ …バッファ
５０ｂ，５２ｂ，５８ｂ …コントローラ
５４ａ，５４ｂ …乗算回路
５３ …差分算出回路
５５ …係数算出回路
５６ …加算回路

Claims (15)

1. 被写界の光学像を繰り返し捉える撮像手段から出力された時系列に従う複数の被写界像に画像処理を施す画像処理装置であって、
   前記複数の被写界像の間で特徴点の動きを検出する動き検出手段、
   前記複数の被写界像の各々に対して前記動き検出手段の検出結果に基づく位置で切出し処理を施す第１切出し手段、および
   前記第１切出し手段を経た後の前記複数の被写界像の各々に対して、当該被写界像に時間的に近接する１つまたは複数の被写界像を加算する加算処理を施す加算手段を備え、
   前記加算手段は、互いに加算されるべき一組の被写界像の各々を共通の部分画像に分割する分割手段、被写界像間の動きによって変化する係数を共通の部分画像毎に決定する係数決定手段、および前記分割手段の分割結果を共通の部分画像毎の係数で重み付けして互いに加算する加重加算手段を含む、画像処理装置。
2. 前記検出手段は、前記複数の被写界像の各々に複数の検出エリアを割り当てて、検出エリア毎に動き検出を行い、
   前記係数決定手段は、前記複数の検出エリアのうち各共通の部分画像と対応する検出エリアを特定して、前記検出手段の検出結果のうち特定された検出エリアの動きに基づいて係数決定を行う、請求項１記載の画像処理装置。
3. 前記加算手段は、前記分割手段の分割結果の間の差分を共通の部分画像毎に算出する差分算出手段をさらに含み、
   前記係数決定手段は前記差分算出手段の算出結果に基づいて係数決定を行う、請求項１記載の画像処理装置。
4. 前記複数の被写界像にＦＰＮ補正処理を施すＦＰＮ補正手段、
   前記動き検出手段によって検出された動きが閾値を上回るか否かを繰り返し判別する第１判別手段、および
   前記第１判別手段の判別結果が肯定的であるとき前記ＦＰＮ補正手段を無効化する一方、前記第１判別手段の判別結果が否定的であるとき前記ＦＰＮ補正手段を有効化する第１制御手段をさらに備える、請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記撮像手段に固有のＦＰＮ情報が書き込まれる第１メモリをさらに備え、
   前記ＦＰＮ補正手段は前記第１メモリに格納されたＦＰＮ情報に基づいてＦＰＮ補正処理を実行する、請求項４記載の画像処理装置。
6. 前記ＦＰＮ情報はＦＰＮのサイズを示すサイズ情報を含み、前記閾値は前記サイズ情報に関連した値である、請求項５記載の画像処理装置。
7. 前記閾値は前記サイズ情報の示す値よりも大きい、請求項６記載の画像処理装置。
8. 前記ＦＰＮ情報はＦＰＮの有無を示す有無情報を含み、
   手ぶれ補正モードの有効無効を示すモード情報が書き込まれる第２メモリ、および
   前記第２メモリに格納されたモード情報をモード切替え操作に応答して更新する更新手段をさらに備え、
   前記第１判別手段は前記第１メモリに格納された有無情報がＦＰＮ有を示しかつ前記第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すとき判別処理を実行する、請求項７記載の画像処理装置。
9. 前記第１制御手段は前記第１判別手段の判別結果に関わらず前記第１切り出し手段を有効化する、請求項８記載の画像処理装置。
10. 前記第１メモリに格納された有無情報がＦＰＮ有を示しかつ前記第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すとき前記ＦＰＮ補正手段を有効化しかつ前記第１切出し手段を無効化する第２制御手段をさらに備える、請求項８または９記載の画像処理装置。
11. 前記有無情報がＦＰＮ無を示しかつ前記第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すとき前記ＦＰＮ補正手段を無効化しかつ前記第１切出し手段を有効化する第３制御手段をさらに備える、請求項１０記載の画像処理装置。
12. 前記有無情報がＦＰＮ無を示しかつ前記第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すとき前記ＦＰＮ補正手段および前記第１切出し手段の各々を無効化する第４制御手段をさらに備える、請求項１１記載の画像処理装置。
13. 前記複数の被写界像の各々に対して固定位置で切出し処理を施す第２切出し手段をさらに備え、
    前記第１制御手段および前記第３制御手段の各々はさらに、前記第１切出し手段の有効化処理に応答して前記第２切出し手段を無効化し、
    前記第２制御手段および前記第４制御手段の各々はさらに、前記第１切出し手段の無効化処理に応答して前記第２切出し手段を有効化する、請求項１２記載の画像処理装置。
14. 前記撮像手段はＣＭＯＳを含む、請求項１ないし１３のいずれかに記載の画像処理装置。
15. 前記撮像手段をさらに備える、請求項１ないし１４のいずれかに記載の画像処理装置。

Images