JP6230333B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

従来より、複数の画像を合成して時間方向のノイズを除去する処理において、フレームメモリに記憶された画像のうち、最初の画像または最後の画像である基準画像に対して後続の画像のみ、もしくは先行の画像のみを順番に合成する方法が知られている（例えば、特許文献１参照）。

特開２０１２−１８６５９３号公報

しかしながら、特許文献１に記載の技術では、基準画像に対して、時間的に前に撮影した画像のみ、もしくは後に撮影した画像のみを使用している。そのため、基準画像に対して時間的に近い画像のうち、使用することができない画像がある。従って、合成に適する画像が少なく、必要な合成枚数（必要なノイズ低減効果）を得ることができない場合がある。また、必要な合成枚数の画像を得るために必要な処理時間が増大する可能性がある。

そこで、本発明の幾つかの態様は、より合成に適した画像を用いて合成画像を生成することができる画像処理装置、画像処理方法およびプログラムを提供する。

本発明の一態様は、撮影された複数の画像が記憶されるメモリと、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する画像選択部と、前記画像選択部が選択した前記基準画像に対して、前記画像選択部が選択した前記合成対象画像を合成して合成画像を生成する合成処理部と、を備え、前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、前記合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択し、選択した合成対象画像の枚数が予め決めた合成対象画像の枚数に到達したかどうかを判定し、予め決めた合成対象画像の枚数に到達したならば、前記合成対象画像として用いるか否かの判定処理を終了することを特徴とする画像処理装置である。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像の撮影時刻と、撮影時刻が最も新しい画像の撮影時刻との中間の撮影時刻に最も近い画像を前記基準画像として選択することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻の前に撮影された画像の枚数と、前記基準画像の撮影時刻の後に撮影された画像の枚数とが、最も近づくように、前記基準画像を選択することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像内の被写体の動き量を推定する動き量推定部をさらに備え、前記画像選択部は、前記動き量推定部が推定する推定動き量に基づいて前記基準画像を選択することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記動き量推定部は、複数の画像を比較することで、画像内の被写体の動き量を推定することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記動き量推定部は、前記複数の画像を撮影する撮像素子の動き量を検出することで、画像内の被写体の動き量を推定することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像の中から、前記基準画像を選択することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像の中から、撮影時刻が最も古い画像と、撮影時刻が最も新しい画像とを、前記基準画像の選択肢から除外することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記メモリ内に記憶される画像の枚数よりも少ない枚数であって、かつ撮影時刻順に連続する所定枚数の画像によって構成される画像区間から前記基準画像を選択するものであって、前記画像区間は、当該画像区間を構成する複数の画像における、前記推定動き量の積算値が最小となる区間であることを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記画像区間を構成する複数の画像のうち、撮影時刻が最も古い画像と、撮影時刻が最も新しい画像とを、前記基準画像の選択肢から除外することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記推定動き量が最低となる画像を前記基準画像として選択することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、所定枚数の画像を連続して前記合成対象画像として用いないと判定した場合、前記合成対象画像の判定処理を終了することを特徴とする。

また、本発明の他の態様は、前記メモリ内に記憶される前記複数の画像のノイズ量を推定するノイズ量推定部を備え、前記画像選択部は、前記ノイズ量推定部が推定した前記ノイズ量に基づいて、前記合成画像を生成するために必要な画像の枚数である必要合成枚数を決定することを特徴とする画像処理装置である。

また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像から、前記合成対象画像を選択することを特徴とする。

また、本発明の他の態様は、メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択する基準画像選択ステップと、前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する合成対象画像選択ステップと、前記基準画像選択ステップにて選択された基準画像に対して、前記合成対象画像選択ステップにて選択された合成対象画像を合成することで、前記合成画像を生成する合成処理ステップと、を含み、前記合成対象画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、前記合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択し、選択した合成対象画像の枚数が予め決めた合成対象画像の枚数に到達したかどうかを判定し、予め決めた合成対象画像の枚数に到達したならば、前記合成対象画像として用いるか否かの判定処理を終了することを特徴とする画像処理方法である。

また、本発明の他の態様の画像処理方法において、前記基準画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像の撮影時刻と、撮影時刻が最も新しい画像の撮影時刻との中間の撮影時刻に最も近い画像を前記基準画像として選択することを特徴とする。

また、本発明の他の態様の画像処理方法において、前記基準画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻の前に撮影された画像の枚数と、前記基準画像の撮影時刻の後に撮影された画像の枚数とが、最も近づくように前記基準画像を選択することを特徴とする。

また、本発明の他の態様は、さらに、他の画像と本画像とを比較することで、前記本画像内の被写体の動き量を推定する動き量推定ステップを含み、前記基準画像選択ステップでは、前記動き量推定ステップで推定された推定動き量に基づいて前記基準画像を選択することを特徴とする画像処理方法である。

また、本発明の他の態様の画像処理方法において、前記合成対象画像選択ステップでは、前記推定動き量が予め定めた閾値以下の複数の画像から前記合成対象画像を選択することを特徴とする。

また、本発明は、メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択する基準画像選択ステップと、前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する合成対象画像選択ステップと、前記基準画像選択ステップにて選択された基準画像に対して、前記合成対象画像選択ステップにて選択された合成対象画像を合成することで、前記合成画像を生成する合成処理ステップと、をコンピュータに実行させるためのプログラムであって、前記合成対象画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、前記合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択し、選択した合成対象画像の枚数が予め決めた合成対象画像の枚数に到達したかどうかを判定し、予め決めた合成対象画像の枚数に到達したならば、前記合成対象画像として用いるか否かの判定処理を終了することを特徴とするプログラムである。

本発明の幾つかの態様によれば、メモリには、撮影された複数の画像が記憶される。また、画像選択部は、メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択し、複数枚の画像のうち基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する。また、合成処理部は、画像選択部が選択した基準画像に対して、画像選択部が選択した合成対象画像を合成して合成画像を生成する。これにより、より合成に適した画像を用いて合成画像を生成することができる。

第１の実施形態における画像処理装置の構成を示したブロック図である。 第１の実施形態におけるフレームメモリが記憶するフレームの例を示した概略図である。 第１の実施形態において、撮像素子が画像を撮像するタイミングと撮像素子の位置との関係を示した概略図である。 従来知られている、フレームＦ_０とフレームＦ_Ｎとを合成し、合成画像を生成する際の処理手順を示した概略図である。 第１の実施形態において、時刻ｔ_０に撮影したフレームＦ_０を基準画像とした場合での、許容される撮像素子の動き量Ｘを示したグラフである。 第１の実施形態において、時刻ｔ_Ｎ／２に撮影したフレームＦ_Ｎ／２を基準画像とした場合での、許容される撮像素子の動き量Ｘを示したグラフである。 第１の実施形態における画像処理装置が合成画像を生成する手順を示したフローチャートである。 第２の実施形態における画像処理装置の構成を示したブロック図である。 第２の実施形態における画像処理装置が合成画像を生成する手順を示したフローチャートである。 第２の実施形態において、撮像素子の動きの一例を示した概略図である。 第２の実施形態において、撮像素子の動き量と、時刻ｔとの関係の一例を示したグラフである。 第２の実施形態において、撮像素子の動きの一例を示した概略図である。 第２の実施形態において、撮像素子の動き量と、時刻ｔとの関係の一例を示したグラフである。 第３の実施形態における画像処理装置の構成を示したブロック図である。 第３の実施形態における画像処理装置が合成画像を生成する手順を示したフローチャートである。 第４の実施形態における画像処理装置の構成を示したブロック図である。 第４の実施形態における画像処理装置が合成画像を生成する手順を示したフローチャートである。 第４の実施形態において、フレームメモリ内の各フレームにおける撮像素子の動き量と時刻ｔとの関係の一例を示したグラフである。 第４の実施形態において、撮像素子の動き量と、時刻ｔとの関係の一例を示したグラフである。 第４の実施形態において、基準画像の選択例を示した概略図である。 第５の実施形態における内視鏡装置の構成を示したブロック図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における画像処理装置１０の構成を示したブロック図である。図示する例では、画像処理装置１０は、合成制御部１１とフレームメモリ１２とを備えている。合成制御部１１は、画像選択部１３と合成処理部１４とを備えており、合成画像を生成する。フレームメモリ１２は、入力された映像信号を記憶する。映像信号は、例えば動画像であり、連続して撮影されたフレームを含んでいる。

画像選択部１３は、合成指示が入力されると、フレームメモリ１２が記憶している映像信号に含まれるフレームの中から合成の基準となる基準画像と、基準画像に対して合成する複数の合成対象画像とを選択する。合成処理部１４は、画像選択部１３が選択した基準画像に対して合成対象画像を合成し、合成画像を生成する。合成処理部１４が生成する合成画像は、基準画像の時間方向のノイズを除去した画像である。すなわち、合成処理部１４は、基準画像に対して合成対象画像を合成することにより、基準画像のノイズ除去処理を行う。

次に、フレームメモリ１２が記憶するフレームの例について説明する。図２は、本実施形態におけるフレームメモリ１２が記憶するフレームの例を示した概略図である。図示する例では、フレームメモリ１２は、撮影時刻ｔが異なるＮ枚のフレームＦ_０，Ｆ_１，Ｆ_２・・・Ｆ_Ｍ−１，Ｆ_Ｍ，Ｆ_Ｍ＋１・・・Ｆ_Ｎ−２，Ｆ_Ｎ−１，Ｆ_Ｎを記憶している（Ｎは自然数、Ｍは０以上Ｎ以下の整数）。また、図示する例では、フレームＦ_０からフレームＦ_Ｎまで順に撮影されており、フレームＦ_０の撮影時刻が最も古く、フレームＦ_Ｎの撮影時刻が最も新しい。例えば、フレームＦ_０の撮影時刻はｔ_０であり、フレームＦ_１の撮影時刻はｔ_１である。その他のフレームＦ_２〜Ｆ_Ｎの撮影時刻も同様にｔ_２〜ｔ_Ｎである。

次に、フレームメモリ１２に入力される映像信号について説明する。例えば、フレームメモリ１２に入力される映像信号は、内視鏡装置の先端部が備える撮像素子が撮像した映像信号である。図３は、内視鏡装置の先端部に設けられた撮像素子１０４が画像を撮像するタイミングと撮像素子１０４の位置との関係を示した概略図である。図示する例では、撮像素子１０４は、時刻ｔ_０から時刻ｔ_Ｎまでの間、被写体を撮像する。そして、撮像素子１０４は、時刻ｔ_０でフレームＦ_０を出力し、時刻Ｔ_ＮでフレームＦ_Ｎを出力する（図２参照）。また、時刻ｔ_０と時刻ｔ_Ｎとでは撮像素子１０４の位置が異なっている。この撮像素子１０４の位置の変化量を動き量Ｘとする。図示する例では、時刻ｔ_０における撮像素子１０４と時刻ｔ_Ｎにおける撮像素子１０４との間の動き量ＸはＸ_Ｎである。

従って、被写体が静止している場合には、撮像素子１０４が動いているため、フレームＦ_０での被写体の位置とフレームＦ_Ｎでの被写体の位置とは異なる。従って、フレームＦ_０とフレームＦ_Ｎとを合成して合成画像を生成する場合には、フレームＦ_０の被写体の位置とフレームＦ_Ｎの被写体の位置とが同じ位置となるように位置合わせを行った後に合成処理を行う必要がある。

図４は、フレームＦ_０とフレームＦ_Ｎとを合成し、合成画像を生成する際の、既知の処理手順を示した概略図である。図示する例では、図３に示した撮像素子１０４が出力したフレームＦ_０を基準画像とし、フレームＦ_Ｎを合成対象画像としている（フレームについては図２を参照のこと）。また、被写体として「Ａ」という文字を撮影している。また、フレームＦ_０とフレームＦ_Ｎには共にノイズが含まれている。

図４（Ａ）は、フレームＦ_０とフレームＦ_Ｎとを重ね合わせた画像を示した概略図である。フレームＦ_０を撮影した時刻ｔ_０と、フレームＦ_Ｎを撮影した時刻ｔ_Ｎとでは撮像素子１０４の位置が異なっている。そのため、図示する例では、フレームＦ_０における被写体「Ａ」４０１の位置と、フレームＦ_Ｎにおける被写体「Ａ」４０２の位置とは、動き量Ｘ_Ｎだけ異なる。なお、合成対象画像（フレームＦ_Ｎ）における被写体「Ａ」が、基準画像（フレームＦ_０）における被写体「Ａ」からずれている量をぶれ量とする。

図４（Ｂ）は、フレームＦ_０の被写体「Ａ」と、フレームＦ_Ｎの被写体「Ａ」の位置を合わせた状態の、互いのフレームを示した概略図である。図示する例では、フレームＦ_０が基準画像であるため、合成処理部１４では合成対象画像であるフレームＦ_Ｎにおける被写体「Ａ」４０２の位置を、フレームＦ_０における被写体「Ａ」４０１の位置に合わせる処理を行う。このようにフレームＦ_Ｎの位置を移動させるため、被写体の位置合わせを行った場合には、フレームＦ_０とフレームＦ_Ｎが重複する領域と、重複しない領域とが生じる。

図４（Ｃ）は、位置合わせを行ったフレームＦ_０とフレームＦ_Ｎとを加重平均して生成した合成画像５００を示した概略図である。合成画像５００の領域は、基準画像であるフレームＦ_０の領域と同一である。図示する例では、フレームＦ_０とフレームＦ_Ｎとが重複する領域のノイズは低減されている。しかしながら、合成画像５００は、フレームＦ_０とフレームＦ_Ｎとを加重平均することにより生成されるため、フレームＦ_０とフレームＦ_Ｎとが重複しない領域５０１は、その輝度が暗くなる。

従って、領域５０１の許容範囲に応じて、許容される合成対象画像の最大ぶれ量が決まる。つまり、合成画像５００を生成する際に用いる合成対象画像には最大ぶれ量が規定される。例えば、領域５０１の許容範囲が広い場合には、合成画像５００を生成する際にぶれ量が大きい合成対象画像を用いることができる。また、領域５０１の許容範囲が狭い場合には、合成画像５００を生成する際にぶれ量が大きい合成対象画像を用いることができない。なお、撮像素子１０４の動き量Ｘが大きくなると合成対象画像のぶれ量が大きくなる。従って、領域５０１の許容範囲に応じて、許容される撮像素子１０４の動き量Ｘが決まる。

次に、基準画像と、許容される撮像素子１０４の動き量Ｘと、合成対象画像として選択が許容される範囲との関係について説明する。
図５は、フレームメモリ１２内に記憶されている複数のフレームのうち、最も撮影時刻が古い時刻ｔ_０に撮影したフレームＦ_０を基準画像に設定した場合での、許容される撮像素子１０４の動き量Ｘを示したグラフである。図示するグラフの縦軸は、撮像素子１０４の動き量であり、横軸は時刻ｔである。なお、撮像素子１０４は、等速直線運動している。また、許容される撮像素子１０４の動き量ＸをＸ_ａとする。

図示する例では、撮像素子１０４の動き量Ｘは、時刻ｔ_Ｍの時点で許容される動き量Ｘ_ａを超える。従って、合成画像５００を生成する際に合成対象画像として用いることができるフレームＦは、時刻ｔ_０から時刻ｔ_Ｍまでに撮影されたフレームＦ_０〜Ｆ_Ｍである（図２参照）。すなわち、フレームＦ_０を基準画像に設定した場合には、時刻ｔ_Ｍより後に撮影されたフレームＦ_Ｍ＋１〜Ｆ_Ｎは、合成対象画像として用いることができない。

図６は、本実施形態において、時刻ｔ_Ｎ／２に撮影したフレームＦ_Ｎ／２を基準画像に設定した場合での、許容される撮像素子１０４の動き量Ｘを示したグラフである。なお、図示するグラフの縦軸、横軸、許容される撮像素子１０４の動き量Ｘ_ａについては図５と同様である。
本実施形態においては、基準画像としては、フレームメモリ１２内において、撮影時刻が最も古い撮影時刻ｔ_０にときに撮影したフレームＦ_０、及び撮影時刻が最も新しい撮影時刻ｔ_Ｎにときに撮影したフレームＦ_Ｎを除き、残ったフレームの中から選択される。より具体的には、フレームＦ_０の撮影時刻とフレームＦ_Ｎの撮影時刻との中間の時刻に最も近い時刻ｔ_Ｎ／２に撮影したフレームＦ_Ｎ／２が基準画像として選択されている。

図示する例では、時刻ｔ_Ｎ／２に撮影したフレームＦ_Ｎ／２が基準画像に設定されている。そのため、基準画像であるフレームＦ_Ｎ／２を撮影した際の撮像素子１０４の位置と、時刻ｔ_０での撮像素子１０４の位置とに基づいた動き量Ｘ、及び、基準画像であるフレームＦ_Ｎ／２を撮影した際の撮像素子１０４の位置と、時刻ｔ_Ｎでの撮像素子１０４の位置とに基づいた動き量Ｘは、共に許容される動き量Ｘ_ａを超えない。従って、合成画像５００を生成する際には、基準画像であるフレームＦ_Ｎ／２より前のフレームのすべて、及び基準画像であるフレームＦ_Ｎ／２より後のフレームのすべてを、合成対象画像として用いることができる。すなわち、時刻ｔ_０から時刻ｔ_Ｎまでに撮影された全てのフレームＦ_０〜Ｆ_Ｎを合成対象画像として用いることができる。

このように、撮影時刻が最も古いフレームＦ_０の撮影時刻ｔ_０と、撮影時刻が最も新しいフレームＦ_Ｎの撮影時刻ｔ_Ｎとの中間の時刻ｔ_Ｎ／２に最も近い時刻に撮影したフレームＦ_Ｎ／２を基準画像として用いることで、フレームメモリ１２が記憶している、より多くのフレームを合成対象画像として用いることができ、これにより高いノイズ低減効果が期待できる。特に、フレームメモリ１２内において、基準画像の撮影時刻よりも古い撮影時刻のフレーム群及びその基準画像の撮影時刻よりも新しい撮影時刻のフレーム群の両方から合成対象画像を選択することで、より多くのフレームを合成対象画像として用いることができる。

なお、本実施形態では、時刻ｔ_Ｎ／２に最も近い時刻に撮影したフレームＦ_Ｎ／２を基準画像として用いたが、これに限られることはなく、フレームメモリ１２内において、撮影時刻が最も古い撮影時刻ｔ_０にときに撮影したフレームＦ_０、及び撮影時刻が最も新しい撮影時刻ｔ_Ｎにときに撮影したフレームＦ_Ｎを除き、残ったフレームの中から基準画像を選択してもよい。

次に、画像処理装置１０が、合成画像を生成する手順について説明する。図７は、本実施形態における画像処理装置１０が合成画像を生成する手順を示したフローチャートである。なお、本実施形態では、フレームメモリ１２には、外部からフレームが一枚ずつ入力される。

（ステップＳ１０１）フレームメモリ１２は、入力されたフレーム（映像信号）を記憶する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）合成制御部１１は、合成指示の入力を受け付けたか否かを判定する。合成指示の入力を受け付けたと合成制御部１１が判定した場合にはステップＳ１０３の処理に進み、それ以外の場合にはステップＳ１０１の処理に戻る。なお、以降の説明では、フレームメモリ１２には複数のフレームが記憶されているものとして説明する。

（ステップＳ１０３）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームのうち、まず、撮影時刻が最も古い撮影時刻に撮影したフレーム_、及び撮影時刻が最も新しい撮影時刻に撮影したフレームＦ_Ｎを除き、残ったフレーム群の中から基準画像を選択する。なお、本実施形態では、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影したフレームを基準画像として選択する。その後、ステップＳ１０４の処理に進む。

（ステップＳ１０４）画像選択部１３は、基準画像として選択されたフレーム以外の複数のフレームの中から、基準画像として選択したフレームの撮影時刻に最も近いフレームを１つ、参照画像として選択する。参照画像は、合成対象画像を選択する際の合成対象画像の候補となる画像である。その後、ステップＳ１０５の処理に進む。なお、後述するステップＳ１０６の処理を経て再びステップＳ１０４の処理を行う場合には、画像選択部１３は、まだステップＳ１０６の判定処理を行っていないフレームの中から、基準画像として選択したフレームの撮影時刻に最も近いフレームを１つ選択する。なお、画像選択部１３は、基準画像に対して、撮影時刻が古いフレーム及び撮影時刻が新しいフレームの両方から参照画像を順次選択していく。

（ステップＳ１０５）画像選択部１３は、ステップＳ１０４の処理で選択した参照画像としてのフレームを、合成対象画像として用いることができるか否かを判定する。画像選択部１３は、合成対象画像として用いることができると判定したフレームを合成対象画像として設定する。その後、ステップＳ１０６の処理に進む。なお、合成対象画像として用いることができるか否かの判定は、例えば、以下の方法で行われる。画像選択部１３は、基準画像における被写体と参照画像における被写体との位置合わせを行い、基準画像の被写体に対する参照画像における被写体のぶれ量を算出する。そして、算出したぶれ量が閾値未満である場合には合成対象画像として用いることができると判定し、算出したぶれ量が閾値以上である場合には合成対象画像として用いることができないと判定する。なお、閾値は、例えば図４に示した領域５０１の許容範囲に応じて設定する。また、閾値は予め決められていてもよく、任意に設定できるようにしてもよい。

（ステップＳ１０６）画像選択部１３は、フレームメモリ１２が記憶するフレームのうち、基準画像として選択されたフレームを除いた全てのフレームに対して、ステップＳ１０５の判定処理を行ったか否かを判定する。基準画像として選択されたフレームを除く全てのフレームに対して、ステップＳ１０５の処理を行ったと画像選択部１３が判定した場合には、ステップＳ１０７の処理に進み、それ以外の場合にはステップＳ１０４の処理に戻る。

（ステップＳ１０７）合成処理部１４は、ステップＳ１０３の処理で選択した基準画像に対して、ステップＳ１０５の処理で設定した全ての合成対象画像を合成し、合成画像を生成する。その後、処理を終了する。

上述したとおり、本実施形態では、画像選択部１３は、フレームメモリ１２に記憶された複数のフレームの中から、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影されたフレームを基準画像として選択する。また、画像選択部１３は、基準画像の撮影時刻よりも撮影時刻が前のフレーム群および後のフレーム群の両方から、参照画像としてのフレームを選択することが可能となる。そして、画像選択部１３は、参照画像として選択されたフレームのうち、合成対象画像として用いることができるフレームを合成対象画像として設定する。すなわち、基準画像の撮影時刻よりも撮影時刻が前のフレーム群および後のフレーム群の両方から、合成対象画像としてのフレームを選択することが可能となる。このため、本実施形態によれば、画像処理装置１０は、フレームメモリ１２が記憶している、より多くのフレームを合成対象画像として用いて合成画像を生成することができるため、より高いノイズ低減効果が期待できる。

なお、本実施形態では、フレームメモリ１２内において、撮影時刻が最も古い撮影時刻ｔ_０にときに撮影したフレームＦ_０、及び撮影時刻が最も新しい撮影時刻ｔ_Ｎにときに撮影したフレームＦ_Ｎを除き、残ったフレームの中から基準画像を選択する好適な例として、フレームメモリ１２に記憶された複数のフレームの中から、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影されたフレームを基準画像として選択したが、これに限定されない。例えば、基準画像として設定するフレームの撮影時刻よりも前に撮影され記憶されたフレームの枚数と、基準画像として設定するフレームの撮影時刻よりも後に撮影され記憶されたフレームの枚数とが、最も近づくように、より好ましくは同一になるように、基準画像を選択してもよい。

なお、上述した例では、画像選択部１３がフレームメモリ１２に記憶されている全てのフレーム（基準画像を除く）を参照画像として選択・設定し、その参照画像のすべてを合成対象画像として用いることができるか否かを判定しているが、これに限らない。例えば、合成対象画像の枚数を予め決めておくこともできる。この場合、ステップＳ１０６では、合成対象画像として設定された枚数を計数し、その計数結果が予め決められた合成対象画像枚数に到達したかどうかを判定する。そして、まだ合成対象画像として用いるか否かの判定を行っていない参照画像が残っていたとしても、合成対象画像として設定された枚数が予め決められた枚数に到達した時点で、ステップＳ１０７の処理に進むようにすればよい。

また、このように、合成対象画像の枚数を予め決めておく場合では、特に、基準画像の撮影時刻と撮影時刻が近いフレームから順に参照画像を選択することは、後段の合成処理の効率化の点で有用である。基準画像の撮影時刻と撮影時刻が近い参照画像は、基準画像に対してぶれ量が小さいフレームである可能性が極めて高いため、設定される合成対象画像は、基準画像とのぶれ量が小さいフレームから優先的に設定される可能性が高くなるからである。よって、合成画像を生成するにあたり効率化を図ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について図面を参照して説明する。なお、本実施形態では、後述する動き量推定部２１が推定する被写体の動き量に基づいて基準画像を選定する。
図８は、本実施形態における画像処理装置２０の構成を示したブロック図である。図示する例では、画像処理装置２０は、合成制御部１１と、フレームメモリ１２と、動き量推定部２１とを備えている。合成制御部１１と、フレームメモリ１２とは、第１の実施形態における各部と同様である。動き量推定部２１は、被写体の動き量Ｘを推定する。なお、被写体の動き量の推定方法はいくつかある。例えば、新たに入力されたフレームと、このフレームの１つ前に入力されたフレームとの輝度値を比較することで、新たに入力されたフレーム内の被写体の動き量を推定する方法や、被写体そのものの動きがほとんど無い環境においては撮像素子１０４の動き量Ｘをセンサで検出し、検出された撮像素子の動き量Ｘでもって被写体の動き量としてみなす方法など考えられるが、本実施形態における動き量推定部２１はいずれの推定方法を採用しても良い。
なお、ここではフレーム処理として説明しているが、インターレースで処理する場合においては、新たに入力されたインターレース画像と１つ前に入力されたインターレース画像を用いて被写体の動き量Ｘを推定してもよい。

以下、本実施形態における合成画像の生成手順について説明する。図９は、本実施形態における画像処理装置２０が合成画像を生成する手順を示したフローチャートである。なお、ぶれ量については、前述した実施形態の説明と重複するため、極力説明を割愛することとする。
（ステップＳ２０１）フレームメモリ１２は、外部から一枚ずつ入力されるフレーム（映像信号）を記憶する。その後、ステップＳ２０２の処理に進む。

（ステップＳ２０２）動き量推定部２１は、ステップＳ２０１の処理でフレームメモリ１２が記憶したフレームを撮影した際の被写体の動き量Ｘを推定する。その後、ステップＳ２０２の処理に進む。なお、被写体の動き量Ｘは、例えば上述したとおり、ステップＳ２０１の処理でフレームメモリ１２が記憶したフレームと、このフレームの１つ前のフレームとを比較することで推定できる。

（ステップＳ２０３）フレームメモリ１２は、ステップＳ２０２の処理で動き量推定部２１が推定した動き量Ｘを、ステップＳ２０１の処理で記憶したフレームに関連付けて記憶する。その後、ステップＳ２０４の処理に進む。

（ステップＳ２０４）合成制御部１１は、合成指示の入力を受け付けたか否かを判定する。合成指示の入力を受け付けたと合成制御部１１が判定した場合にはステップＳ２０５の処理に進み、それ以外の場合にはステップＳ２０１の処理に戻る。

（ステップＳ２０５）画像選択部１３は、被写体の動き量Ｘが閾値としての規定動き量Ｘ_ａ以下のときに撮影された複数のフレームの中から基準画像を選択する。本実施形態では、画像選択部１３は、被写体の動き量Ｘが規定動き量Ｘ_ａ以下のときに撮影された複数のフレームのうち、撮影時刻が最も古いフレームＦ_０と撮影時刻が最も新しいフレームＦ_Ｎとを除き、さらに、その残った複数のフレームから被写体の動き量Ｘが最低のときに撮影されたフレームを基準画像として選択する。なお、上記の条件に当てはまるフレームが複数存在する場合には、撮影時刻が最も古いフレームＦ_０の撮影時刻ｔ_０と、撮影時刻が最も新しいフレームＦ_Ｎの撮影時刻ｔ_Ｎとの中間の時刻ｔ_Ｎ／２に最も近い時刻に撮影したフレームを基準画像として用いる。その後、ステップＳ２０６の処理に進む。

（ステップＳ２０６）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームの中から参照画像を１つ選択する。詳細には、画像選択部１３は、基準画像として選択されたフレーム及びステップＳ２０７の処理を既に行ったフレームを除き、残ったフレームの中から基準画像の撮影時刻に最も近いフレームを選択し、その選択したフレームの推定動き量Ｘが後述する閾値となる既定の規定動き量Ｘ_ａ未満であれば、その選択したフレームを参照画像として選択する。つまり、合成対象画像は、推定動き量Ｘが規定動き量Ｘ_ａ未満のフレーム群から選択されることになる。言い換えると、画像選択部１３は、各フレームに関連付けて記憶されている推定動き量Ｘを読み出し、その推定動き量Ｘが規定動き量Ｘ_ａ以上のフレームを参照画像、すなわち合成対象画像として選択しないようにしている。この処理により、後述する合成対象画像か否かの判定の処理の負荷を軽減することが可能となる。その後、ステップＳ２０７の処理に進む。

（ステップＳ２０７）画像選択部１３は、ステップＳ２０６の処理で選択した参照画像を合成対象画像として用いることができるか否かを判定する。合成対象画像として用いることができるか否かの判定及び合成対象画像の設定の処理は、第１の実施形態と同様であるので説明を割愛する。その後、ステップＳ２０８の処理に進む。

（ステップＳ２０８）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームのうち基準画像として選択されたフレーム及び推定動き量Ｘが規定動き量Ｘ_ａ以上のフレームを除く全てのフレームに対して、ステップＳ２０７の処理を行ったか否かを判定する。画像選択部１３が、全てのフレームに対して、ステップＳ２０７の処理を行ったと判定した場合にはステップＳ２０８の処理に進み、それ以外の場合にはステップＳ２０６の処理に戻る。

（ステップＳ２０９）合成処理部１４は、選択された基準画像に対して、ステップＳ２０７の処理で設定した合成対象画像を合成することで、合成画像を生成する。その後、処理を終了する。

なお、被写体の動き量Ｘが規定動き量Ｘ_ａ以上の場合、被写体のぶれ量が許容値を超えて撮影される。そのため、被写体の動き量Ｘが規定動き量Ｘ_ａ以上のときに撮影されたフレームを、参照画像に用いないことが、合成処理の効率化の観点で望ましい。つまり、画像処理装置２０は、被写体の動き量Ｘが規定動き量Ｘ_ａ未満の時に撮影されたフレームのみを用いて合成対象画像として用いるか否かを判定することが、合成処理の効率化の観点で望ましいといえる。さらに言い換えると、画像処理装置２０は、被写体の動き量Ｘが規定動き量Ｘ_ａ未満の時に撮影されたフレームから合成対象画像を選択することになるので、合成処理の効率化の観点で望ましいといえる。
このため、本実施形態では、被写体の動き量Ｘが規定動き量Ｘ_ａ以上のときに撮影されたフレームを参照画像として選択しないことで、合成対象画像か否かの判定の処理の負荷を軽減している。

なお、閾値としての規定動き量Ｘ_ａは、予め決められていてもよく、任意に設定できるようにしてもよい。例えば、シャッター速度が速い場合には、撮像素子１０４の速度が速くても被写体の動き量は小さくぶれにくい。また、シャッター速度が遅い場合には、撮像素子１０４の速度が遅くても被写体の動き量は大きくなりぶれやすい。そのため、シャッター速度が速い場合には規定動き量Ｘ_ａをより遅い速度に設定し、シャッター速度が遅い場合には規定動き量Ｘ_ａをより速い速度に設定するようにしてもよい。このように、フレームを撮影する際のシャッター速度によって規定動き量Ｘ_ａは異なるため、規定動き量Ｘ_ａは、シャッター速度に応じて変更するようにしてもよい。

本実施形態の理解を促進する上で、被写体の動きの要因が撮像素子の動きにあるものと捉え、撮像素子１０４の動き方に応じて、本実施形態がどのように適用されるかを、以下参考例を用いて説明する。
まず、撮像素子１０４が規則的な振動をしている参考例１について説明する。図１０は撮像素子１０４の動きの一例を示した概略図、図１１は撮像素子１０４が図１０に図示するような振動運動を行った場合の、各フレームの撮影時における撮像素子１０４の動き量Ｘと、撮影時刻ｔとの関係を示したグラフである。図示する例では、撮像素子１０４は時刻ｔ_０〜ｔ_Ｎまでの間、規則的な振動を行っている。

図示する例では、時刻ｔ_０から時刻ｔ_Ｎまで撮像素子１０４の動き量Ｘは、常に規定動き量Ｘ_ａ未満である。従って、画像選択部１３は、時刻ｔ_０から時刻ｔ_Ｎまでに撮影された全てのフレームＦ_０〜Ｆ_Ｎを基準画像および参照画像として用いることができると判定する。

次に、本参考例１における基準画像の選択方法について説明する。画像選択部１３は、図９のステップＳ２０５にて説明したように、まず、撮像素子１０４の動き量Ｘが規定動き量Ｘ_ａ以下のときに撮影されたフレームのうち、撮影時刻が最も古いフレームＦ_０と撮影時刻が最も新しいフレームＦ_Ｎとを除く。そして画像選択部１３は、残ったフレームの中から、撮像素子１０４の動き量が最低のときに撮影されたフレームＦ_ＸとフレームＦ_Ｚとを選択し、これらを基準画像の候補フレームとする。

このように、基準画像の選定条件に当てはまるフレームが複数存在する場合には、撮影時刻が最も古いフレームＦ_０の撮影時刻ｔ_０と、撮影時刻が最も新しいフレームＦ_Ｎの撮影時刻ｔ_Ｎとの中間の時刻ｔ_Ｎ／２に最も近い時刻に撮影したフレームを基準画像として用いる。従って、本参考例１では、画像選択部１３は、フレームＦ_Ｚを基準画像として選択する。そして、時刻ｔ_０から時刻ｔ_Ｎまでに撮影された全てのフレームＦ_０〜Ｆ_Ｎから基準画像を除いたフレーム群が参照画像の候補となる。

次に参照画像の選択方法について説明する。本参考例１では、図１１に示すように、参照画像の候補となる全てのフレームが、規定動き量Ｘ_ａを下回る動き量のときに撮影されている。このため、基準画像を除くフレームメモリ１２内のすべてのフレームが参照画像として選択されうる。

次に、撮像素子１０４が不規則に動く参考例２について説明する。図１２は、撮像素子１０４の動きの一例を示した概略図、図１３は、撮像素子１０４が図１２に図示するような不規則な運動を行った場合の、各フレームの撮影時における撮像素子１０４の動き量Ｘと、撮影時刻ｔとの関係を示したグラフである。図示する例では、撮像素子１０４は時刻ｔ_０〜ｔ_Ｎまでの間、不規則に動いている。

図示する例では、撮像素子１０４の動き量が規定動き量Ｘ_ａ以上のときに撮影されたフレームが存在する。例えば、フレームＦ_Ｙがそうであり、図示するように、フレームＦ_Ｙにおける被写体「Ａ」４０３のぶれは大きい。
また、例えば、フレームＦ_ＸとフレームＦ_Ｚとは、撮像素子１０４の動き量Ｘが規定動き量Ｘ_ａ未満のときに撮影されたフレームである。従って、画像選択部１３は、撮像素子１０４の動き量Ｘが規定動き量Ｘ_ａ未満のときに撮影されたフレーム群（フレームＦ_ＸとフレームＦ_Ｚとを含む）を、基準画像および参照画像として用いることができると判定する。

次に、本参考例２における基準画像の選択方法について説明する。画像選択部１３は、図９のステップＳ２０５にて説明したように、まず、撮像素子１０４の動き量Ｘが規定動き量Ｘ_ａ未満のときに撮影されたフレームのうち、撮影時刻が最も古いフレームＦ_０と撮影時刻が最も新しいフレームＦ_Ｎとを除く。そして画像選択部１３は、残ったフレームの中から、撮像素子１０４の動き量Ｘが最低のときに撮影されたフレームＦ_Ｘを選択し、これを基準画像として選択し、設定する。

次に、参照画像の選択方法について説明する。画像選択部１３は、基準画像の撮影時刻に近いフレームから順に、推定動き量Ｘが規定動き量Ｘ_ａ未満かどうかを判断しながら参照画像を選択していく。本参考例２では、図１３に示すように、フレームメモリ１２内の複数のフレームの中には、推定動き量Ｘが規定動き量Ｘ_ａ以上のフレームが存在している。例えばフレームＦ_Ｙである。

画像選択部１３は、各フレームに関連付けてフレームメモリ１２内に記憶された各フレームの推定動き量Ｘを読み出し、フレームＦ_Ｙのような推定動き量Ｘが既定動き量Ｘ_ａ以上のフレームをそもそも参照画像として選択せず、次あるいは別のフレームを確認しにいく。この結果、画像選択部１３は、推定動き量Ｘが既定動き量Ｘ_ａ未満のフレームのみを参照画像として選択することになる。このため、本参考例２の場合、参照画像として選択されるフレームの枚数が、上述した参考例１に比して少なくなる。しかしながら、推定動き量Ｘが規定動き量Ｘ_ａ以上のフレームは、そもそも合成対象画像にはなり得ないことが明白である故、そのようなフレームを合成対象画像か否かの判定処理にまわすことは、処理速度の低下や処理の高負荷を招くことになる。よって、そのような不適格フレームを合成対象画像か否かの判定処理にまわすことなく、その前段の処理である参照画像の選択処理の際に参照画像として選択しないことで、合成対象画像か否かの判定処理の負荷軽減につながり、処理の効率化が図れる。

上述したとおり、本実施形態では、画像選択部１３は、被写体の動き量Ｘが規定動き量Ｘ_ａ以下のときに撮影された複数のフレームの中から、基準画像を選択する。より好ましくは、被写体の動き量Ｘが規定動き量Ｘ_ａ以下のときに撮影された複数のフレームの中から、撮影時刻が最も古いフレームＦ_０と撮影時刻が最も新しいフレームＦ_Ｎとを除くと共に、残った複数のフレームの中から被写体の動き量Ｘが最低のときに撮影されたフレームを基準画像として選択する。もし被写体の動き量Ｘが最低のときに撮影されたフレームが複数ある場合には、画像選択部１３は、撮影時刻が最も古いフレームＦ_０の撮影時刻ｔ_０と、撮影時刻が最も新しいフレームＦ_Ｎの撮影時刻ｔ_Ｎとの中間の時刻ｔ_Ｎ／２に最も近い時刻に撮影したフレームを基準画像として選択する。

また、画像選択部１３は、基準画像よりも撮影時刻が前および後のフレームの両方から、被写体の動き量Ｘが規定動き量Ｘ_ａ未満のときに撮影されたフレームのみを参照画像として選択する。つまり、合成対象画像として不適切であることが明らかなフレームを、合成対象画像か否かを判定する処理にまわさない、即ち合成対象画像として選択することができないようにすることで、当該処理の負荷を軽減することができる。

なお、上述した例では、参照画像として選択された全てのフレームに対して合成対象画像として用いることができるか否かを判定しているが、これに限らない。例えば、あらかじめ所定の枚数を設定しておき、合成対象画像として設定されたフレーム数がその所定枚数に達した時点で、まだ未判断の参照画像が残っていたとしても、ステップＳ２０９の処理に進むようにしてもよい。特に、この場合、合成対象画像か否かの判断処理を、基準画像の撮影時刻により近い参照画像から優先的に行うことで、より合成画像の生成処理を効率的に行うことが可能となる。

なお、被写体の動き量を推定する方法は、既知の技術を用いても良い。例えば、連続する２枚のフレームのそれぞれの輝度値を比較することで、あるいは、撮像素子の動き量をセンサで検出することで、被写体の動きを推定しても良い。さらに、被写体の動き量を直接求めもよいし、また被写体の動き量に代えられる他の動き量含めた要素を求めてもよい。例えば、フレームの撮影間隔がわかっている場合には、動き量の代わりに速度、即ち被写体や撮像素子の速度を求めてもよい。

（第３の実施形態）
次に、本発明の第３の実施形態について図面を参照して説明する。本実施形態では、各フレームに含まれるノイズ量に基づいて、基準画像と合成対象画像との合計の必要最低限枚数（以下、必要合成枚数と称する）を設定する。
図１４は、本実施形態における画像処理装置３０の構成を示したブロック図である。図示する例では、画像処理装置３０は、合成制御部１１と、フレームメモリ１２と、ノイズ量推定部３１とを備えている。合成制御部１１と、フレームメモリ１２とは、第２の実施形態における各部と同様である。

ノイズ量推定部３１は、フレームのノイズ量を推定する。ノイズ量の推定方法としては、例えば、ゲイン値に基づいて推定する。ノイズ量推定部３１は、ＡＥ制御等により決定されるゲイン値を用いる。一般的にゲイン値が高いほどノイズ量は増え、ゲイン値が低いほどノイズ量は減る。よって、例えば、ゲイン値が高い場合にはノイズ量推定部３１が推定するノイズ量はより多くなり、ゲイン値が低い場合にはノイズ量推定部３１が推定するノイズ量はより少なくなる。なお、フレームのノイズ量を推定することができる方法であれば、どのような方法を用いてもよい。

一般的には、合成するフレーム（合成対象画像）の枚数が多くなるほど、ノイズの除去量も多くなる。従って、本実施形態では、ノイズ量推定部３１が推定したノイズ量が多い場合には、画像選択部１３は合成対象画像の枚数を多く設定する。また、ノイズ量推定部３１が推定したノイズ量が少ない場合には、画像選択部１３は合成対象画像の枚数を少なく設定する。以下では、ノイズ量に応じて必要とする合成対象画像の枚数に、基準画像の枚数（１枚）を加えた枚数を、必要合成枚数Ｋと呼ぶことにする。

次に、本実施形態における合成画像の生成手順について説明する。図１５は、本実施形態における画像処理装置３０が合成画像を生成する手順を示したフローチャートである。なお、第１，２の実施形態で説明した内容と重複する場合には、極力説明を割愛することとする。
（ステップＳ３０１）フレームメモリ１２は、外部から一枚ずつ入力されるフレーム（映像信号）を記憶する。

（ステップＳ３０２）ノイズ量推定部３１は、フレームメモリ１２が記憶する各フレームのノイズ量を推定する。その後、ステップＳ３０３の処理に進む。
（ステップＳ３０３）フレームメモリ１２は、ステップＳ３０２の処理でノイズ量推定部２１が推定したノイズ量を、ステップＳ３０１の処理で記憶したフレームに関連付けて記憶する。その後、ステップＳ３０４の処理に進む。
（ステップＳ３０４）合成制御部１１は、合成指示の入力を受け付けたか否かを判定する。合成指示の入力を受け付けたと合成制御部１１が判定した場合にはステップＳ３０５の処理に進み、それ以外の場合にはステップＳ３０１の処理に戻る。

（ステップＳ３０５）ノイズ量推定部３１は、フレームメモリ１２に記憶された各フレームのノイズ量に基づき、フレームメモリ１２に記憶されたフレームのノイズ量の平均値を算出する。その後、ステップＳ３０６の処理に進む。
（ステップＳ３０６）画像選択部１３は、ステップＳ３０５の処理で算出されたノイズ量の平均値に基づいて、必要合成枚数Ｋを算出する。その後、ステップＳ３０７の処理に進む。

（ステップＳ３０７）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームのうち、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影したフレームを基準画像として選択する。この処理は、図７のステップＳ１０３と同様である。その後、ステップＳ３０８の処理に進む。

（ステップＳ３０８）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームの中から参照画像を１つ選択する。詳細には、参照画像は、基準画像として選択されたフレーム及びステップＳ３０９の処理を既に行ったフレームを除き、残ったフレームの中から、基準画像の撮影時刻に最も近いフレームから優先的に選択される。この処理は、図９のステップＳ２０６と同様である。すなわち、後述する合成対象画像の選択は、基準画像の撮影時刻に最も近いフレームから優先的に選択される。その後、ステップＳ３０９の処理に進む。

（ステップＳ３０９）画像選択部１３は、ステップＳ３０８の処理で選択した参照画像を合成対象画像として用いることができるか否かを判定する。判定処理の方法は図７のステップＳ１０５と同様であるので、ここでは説明を割愛する。画像選択部１３は、合成対象画像として用いることができると判定した参照画像を、合成対象画像として設定する。その後、ステップＳ３１０の処理に進む。

（ステップＳ３１０）画像選択部１３は、基準画像の枚数と、設定された合成対象画像の枚数との合計が、ステップＳ３０６の処理で求めた必要合成枚数Ｋと同じか否かを判定する。画像選択部１３が「同じ」であると判定した場合には、まだ参照画像として選択していないフレームが残っていたとしても、合成対象画像として用いることができるか否かを判定する処理を終了する。そしてステップＳ３１１の処理に進む。また、画像選択部１３が「同じでない（Ｋに達していない）」と判定した場合には、ステップＳ３０８の処理に戻り、基準画像の枚数と、設定された合成対象画像の枚数との合計が、必要合成枚数Ｋに達するまでステップＳ３０８、Ｓ３０９の処理を繰り返す。

（ステップＳ３１１）合成処理部１４は、ステップＳ３０７の処理で選択された基準画像に対して、ステップＳ３０９の処理で選択された合成対象画像（（Ｋ−１）枚）を合成し、合成画像を生成する。その後、処理を終了する。

上述したとおり、本実施形態によれば、画像選択部１３は、フレームメモリ１２が記憶する複数のフレームのうち、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影したフレームを基準画像として選択する。
また、ノイズ量推定部３１は、各フレームのノイズ量を推定し、その平均値を求める。また、画像選択部１３は、ノイズ量推定部３１が求めたノイズ量の平均値に基づいて、合成画像の生成に用いるフレームの枚数（必要合成枚数Ｋ）を決定する。そして、この必要合成枚数Ｋ分だけ用いて合成処理を行う。従って、合成処理部１４は、ノイズ量に応じた枚数のフレームのみ、即ち必要最低限の枚数のフレームを用いて合成画像を生成するため、合成処理の負荷を軽減することができる。
また、画像選択部１３によって選択される合成対象画像は、基準画像の撮影時刻に近い、比較的ぶれの小さいフレームから優先的に設定されうるので、より合成画像の生成処理を効率的に行うことが可能となる。

（第４の実施形態）
次に、本発明の第４の実施形態について図面を参照して説明する。本実施形態では、基準画像を選択する前に、複数枚（フレームメモリに記憶されているフレーム枚数よりも少ない枚数）のフレームからなるフレーム区間を、被写体の推定動き量Ｘに基づいて設定する。言い換えると、被写体の推定動き量Ｘに基づいて、撮影時刻順に連続する複数枚のフレームからなる基準画像選定フレーム区間を設定し、その基準画像選定フレーム区間を構成する複数のフレームの中から基準画像を選択するようにしている。
なお、本実施形態では、フレーム区間を構成するフレームの枚数を必要合成枚数Ｋであり、基準画像選定フレーム区間は推定動き量の積算値が最小となるフレーム区間として説明する。

図１６は、本実施形態における画像処理装置４０の構成を示したブロック図である。図示する例では、画像処理装置４０は、合成制御部１１と、フレームメモリ１２と、動き量推定部２１と、ノイズ量推定部３１とを備えている。合成制御部１１と、フレームメモリ１２と、動き量推定部２１とは、第２の実施形態における各部と同様である。ノイズ量推定部３１は、第３の実施形態におけるノイズ量推定部３１と同様である。

図１７は、本実施形態における画像処理装置４０が合成画像を生成する手順を示したフローチャートである。なお、第１，２，３の実施形態で説明した内容と重複する場合には、極力説明を割愛することとする。
（ステップＳ４０１）フレームメモリ１２は、外部から一枚ずつ入力されるフレーム（映像信号）を記憶する。

（ステップＳ４０２、Ｓ４０３）動き量推定部２１は、ステップＳ４０１の処理でフレームメモリ１２に記憶されている各フレームについて、そのフレームが撮影された際の被写体の動き量Ｘを推定する。その後、フレームメモリ１２は、推定した動き量Ｘを、フレームに関連付けて記憶する。なお、この処理は図９のステップＳ２０２、Ｓ２０３と同様である。

（ステップＳ４０４、Ｓ４０５）ノイズ量推定部３１は、フレームメモリ１２が記憶する各フレームのノイズ量を推定する。その後、フレームメモリ１２は、推定されたノイズ量をフレームに関連付けて記憶する。なお、この処理は図１５のステップＳ３０２、Ｓ３０３と同様である。

（ステップＳ４０６）合成制御部１１は、合成指示の入力を受け付けたか否かを判定する。合成指示の入力を受け付けたと合成制御部１１が判定した場合にはステップＳ４０７の処理に進み、それ以外の場合にはステップＳ４０１の処理に戻る。

（ステップＳ４０７）ノイズ量推定部３１は、フレームメモリ１２に記憶された各フレームのノイズ量に基づき、フレームメモリ１２に記憶されたフレームのノイズ量の平均値を算出する。その後、ステップＳ４０８の処理に進む。
（ステップＳ４０８）画像選択部１３は、ステップＳ４０７の処理でノイズ量推定部３１が算出したノイズ量の平均値に基づいて、合成画像の生成に用いる必要最低限のフレーム枚数、即ち基準画像と合成対象画像のそれぞれの合計の枚数である必要合成枚数Ｋを算出する。その後、ステップＳ４０９の処理に進む。なお、この処理は図１５のステップＳ３０６と同様である。

（ステップＳ４０９）画像選択部１３は、基準画像を選択するにあたり、まず、フレームメモリ１２内の複数のフレームから、閾値となる規定動き量Ｘ_ａ未満のフレームがＫ枚含まれるフレーム区間を特定する。フレーム区間は、撮影時刻が古いフレームを先頭とする、連続する複数フレーム群である。そして、フレーム区間の先頭フレームを１つずつ後ろにずらすことで、複数のフレーム区間を順次特定していく。この処理について、図１８を参照して説明する。

図１８は、フレームメモリ１２内の各フレームにおける撮像素子１０４の動き量Ｘと、時刻ｔとの関係の一例を示したグラフである。グラフ内の丸印はフレームを示し、黒丸は規定動き量Ｘ_ａ未満のフレーム、白丸は規定動き量Ｘ_ａ以上のフレームを示す。

画像選択部１３は、まず撮影時刻が最も古い撮影時刻ｔ_０のときに撮影されたフレームＦ_０を先頭とするフレーム区間Ｔ_０を特定する。先頭フレームであるフレームＦ_０の推定動き量Ｘをフレームメモリ１２から読み出し、その推定動き量Ｘが規定動き量Ｘ_ａ未満か否かを判断する。推定動き量Ｘが規定動き量Ｘ_ａ未満であれば、画像選択部１３は、フレームＦ_０が規定動き量Ｘ_ａ未満のフレームであるとして計数する。画像選択部１３は、フレームＦ_０の判断が終了したならば、フレームＦ_０の次に撮影されたフレームＦ_１について、その推定動き量Ｘが規定動き量Ｘ_ａ未満か判断し、推定動き量Ｘが規定動き量Ｘ_ａ未満であれば、フレームＦ_０を規定動き量Ｘ_ａ未満のフレームとして計数する。この処理を、計数した枚数が必要合成枚数Ｋに達するまで繰り返す。そして、計数結果が必要合成枚数Ｋに達したところで、Ｋ枚目として計数されたフレームをフレーム区間Ｔ_０の末尾フレームとする。こうすることで、フレーム区間Ｔ_０を特定する。なお、図１８ではＫ＝９の例について図示されており、フレーム区間Ｔ_０はフレームＦ_０からフレームＦ_１１までの区間となる。

画像選択部１３は、フレーム区間Ｔ_０が特定できたならば、次のフレーム区間を特定する。先頭となるフレームを、次に撮影されたフレームＦ_１にずらし、このフレームＦ_１を先頭フレームとするフレーム区間Ｔ_１の特定処理に移行する。以降、フレーム区間Ｔ_０の特定作業と同様に、規定動き量Ｘ_ａ未満のフレームの探索及びその枚数の計数を行い、計数結果が必要合成枚数Ｋに達した時点でそのフレームをフレーム区間の末尾に設定し、フレーム区間Ｔ_１を特定する。画像選択部１３はこの処理を、フレームメモリ１２内に記憶されているフレームの中で、撮影時刻が最も新しいフレームＦ_Ｎを先頭フレームに設定するまで繰り返す。そして、画像選択部１３は、フレーム区間内に規定動き量Ｘ_ａ未満のフレームがＫ枚含まれなかった区間については、その区間をフレーム区間として設定しない。以上の処理を行うことで、フレーム区間Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３・・・が特定される。

（ステップＳ４１０）次に画像選択部１３は、特定された複数のフレーム区間Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３・・・の中から、被写体の動き量Ｘの積算値が最小となる基準画像選定フレーム区間を特定する。画像選択部１３は、各フレーム区間に含まれる規定動き量Ｘ_ａ未満のフレームに基づいて、それぞれの推定動き量の積算値を各フレーム区間毎に算出する。そして、画像選択部１３は、この算出処理をステップＳ４０９で求めた全てのフレーム区間Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３・・・に対して行う。そして画像選択部１３は、算出した動き量の積算値が最も小さいフレーム区間を基準画像選定フレーム区間として特定する。

図１９には、複数のフレーム区間の中から、フレームＦ_０を先頭とするフレーム区間Ｔ_０とフレームＦ_ｓを先頭とするフレーム区間Ｔ_ｓのみを表示したグラフが示されている。フレーム区間Ｔ_ｓに含まれる、規定動き量Ｘ_ａ未満のフレームにおける被写体の推定動き量Ｘは、全般的にフレーム区間Ｔ_０に含まれる規定動き量Ｘ_ａ未満のフレームにおけるそれよりも小さかったとする。このような場合、画像選択部１３は、フレーム区間Ｔ_ｓを基準画像選定フレーム区間として特定する。

（ステップＳ４１１）画像選択部１３は、特定した基準画像選定フレーム区間に含まれる複数のフレームから基準画像を選択する。具体的には、画像選択部１３は、まず基準画像選定フレーム区間内の、撮影時刻が最も古いフレームと、撮影時刻が最も新しいフレームとを基準画像の候補から除外する。そして、残りのフレームの中から、被写体の推定動き量Ｘが最低のときに撮影されたフレームを基準画像として選択する。

この処理を、図２０を参照して説明する。図２０は、図１９で示した基準画像選定フレーム区間Ｔ_ｓに関して、グラフ内に黒丸でフレームを示している。画像選択部１３は、まず、基準画像選定フレーム区間Ｔ_ｓ内の先頭フレームＦ_ｓと末尾フレームＦ_ｔとを、基準画像の候補から除外する。そして残ったフレームについて推定動き量をフレームメモリ１２から読み出し、推定動き量が最も小さいフレームを探索する。そして画像選択部１３は、撮影時刻ｔ_ｍのときに撮影されたフレームＦ_ｍを基準画像として選択する。

（ステップＳ４１２）画像選択部１３は、基準画像の選択処理が終了した後、次に参照画像の選択処理に移行する。画像選択部１３は、まずフレームメモリ１２内の複数のフレームの中から、基準画像及び後述するステップＳ４１３の処理を既に行ったフレームを除く。そして、残ったフレームの中から、基準画像の撮影時刻に最も近いフレームを参照画像の候補として選択する。次に、参照画像の候補として選択したフレームの動き量Ｘが規定動き量Ｘ_ａ未満であれば、画像選択部１３は、選択したフレームを参照画像として選択する。もし、参照画像の候補として選択したフレームの動き量が規定動き量Ｘ_ａ以上の場合には、当該フレームの次に基準画像の撮影時刻に近いフレームを参照画像の候補として選択する。この処理は、図９のステップＳ２０６と同様である。

なお、画像選択部１３は、参照画像の候補として選択したフレームが参照画像でないと判定され、次に選択した参照画像の候補も参照画像でないと判定され、結果的に所定回数連続して参照画像ではないと判定した場合、参照画像の選択処理を終了してもよい。この場合、再度基準画像の選択処理からやり直す。なお、所定回数は予め決められていてもよく、任意に設定できるようにしてもよい。

また、ここで選択される参照画像は、先に求めた基準画像選定フレーム区間内のフレームから優先的に選択されるものの、基準画像選定フレーム区間外のフレームから選択されてもよい。画像選択部１３は、基準画像選定フレーム区間内のフレーム全てについて参照画像として選択し、合成対象画像か否かを判定した結果、合成対象画像として設定されたフレーム数が、基準画像を含めて必要合成枚数Ｋに達しなかった場合には、画像選択部１３は基準画像選定フレーム区間外のフレームであって、かつ基準画像の撮影時刻に最も近いフレームを参照画像として選択する。その後、ステップＳ４１３の処理に進む。

（ステップＳ４１３）画像選択部１３は、ステップＳ４１２の処理で選択した参照画像を合成対象画像として用いることができるか否かを判定し、用いることができると判定されたならば、その参照画像として選択されたフレームを合成対象画像として設定する。判定処理の方法は図９のステップＳ２０７と同様である。その後、ステップＳ４１４の処理に進む。

なお、画像選択部１３は、参照画像として選択したフレームが合成対象画像として用いることができないと、所定回数連続して判定した場合、合成対象画像として用いるか否かの判定処理を終了してもよい。この場合、再度基準画像の選択処理からやり直す。なお、所定回数は予め決められていてもよく、任意に設定できるようにしてもよい。

（ステップＳ４１４）画像選択部１３は、基準画像の枚数と、設定された合成対象画像の枚数との合計が、ステップＳ４０８で求めた必要合成枚数Ｋと同じか否かを判定する。画像選択部１３が「同じである」と判定した場合には、ステップＳ４１５の処理に進み、それ以外の場合にはステップＳ４１２の処理に戻り、基準画像の枚数と、設定された合成対象画像の枚数との合計が、必要合成枚数Ｋに達するまでステップＳ４１２及びＳ４１３の処理を繰り返す。

（ステップＳ４１５）合成処理部１４は、合成対象画像として設定された（Ｋ−１）枚のフレームを、基準画像に対して合成し、合成画像を生成する。

上述したとおり、本実施形態によれば、被写体の動き量が最小となるフレーム区間（基準画像選定フレーム区間）内のフレームの中から基準画像を選択するとともに、その基準画像に対して撮影時刻が近いフレームから優先的に合成対象画像を設定することになるので、基準画像に対するぶれ量や動き量が比較的小さい合成対象画像を優先的に設定することができる。これにより、より合成に適したフレームを用いて合成画像を生成することができるため、合成処理の効率化を図ることができる。

（第５の実施形態）
次に、本発明の第５の実施形態について図面を参照して説明する。図２１は、本実施形態における内視鏡装置の構成を示したブロック図である。図示する例では、内視鏡装置１０１は、細長の挿入部１０２と、本体部１０３と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）１３０とを有する。また、本体部１０３には記録媒体１３２が取り付け可能であり、記録媒体１３２に、内視鏡装置１０１が撮影した静止画像や動画像などを記録することが可能である。

挿入部１０２は、対物レンズ１２７と、撮像素子（ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子））１０４と、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、発光ダイオード）１０６と、ワイヤー固定部１１９とを有する。対物レンズ１２７と、撮像素子１０４と、ＬＥＤ１０６と、ワイヤー固定部１１９とは、挿入部１０２の先端部１２８（内視鏡先端部）に配置されている。

本体部１０３は、撮像素子ドライブ回路１０５と、プリアンプ１３１と、画像処理手段１０７と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ、アナログフロントエンド）１０９と、システム制御手段１１０と、ユーザインターフェース１１１と、ＬＥＤドライブ回路１１３と、ＵＤ（上下）湾曲モータ１２０と、ＲＬ（左右）湾曲モータ１２１と、湾曲制御手段１２２と、画像記録手段１１５と、ＬＣＤコントローラ１１７とを有する。また、内視鏡装置１０１は、挿入部１０２の先端部１２８を上下左右に湾曲させるための４本のワイヤー１２３〜１２６を有する。

ユーザインターフェース１１１は、スイッチや内視鏡の先端を湾曲させるためのジョイスティックなどを備え、ユーザからの指示の入力を受け付け、受け付けた入力に基づいた信号をシステム制御手段１１０に出力する。ユーザからの指示としては、例えば、ズーム倍率の指示や、撮像する画像の明るさの指示や、ＬＥＤ１０６の点灯および消灯の指示や、挿入部１０２の先端部１２８の湾曲の指示や、記録媒体１３２に画像を記録させる指示や、ＬＣＤ１３０への画像の表示指示などがある。

システム制御手段１１０は、ユーザインターフェース１１１から入力された信号に基づいた処理を実行するように、内視鏡装置１０１が有する各部の制御を行う。例えば、ユーザインターフェース１１１が、ズーム倍率を指示する入力や、撮像する画像の明るさを指示する入力を受け付けた場合、システム制御手段１１０は、ユーザインターフェース１１１が受け付けた入力に基づいた処理を実行するように、画像処理手段１０７を制御する。また、ユーザインターフェース１１１が、ＬＥＤ１０６の点灯および消灯を指示する入力を受け付けた場合、システム制御手段１１０は、ユーザインターフェース１１１が受け付けた入力に基づいた処理を実行するように、ＬＥＤドライブ回路１１３を制御する。また、ユーザインターフェース１１１が、挿入部１０２の先端部１２８の湾曲を指示する入力を受け付けた場合、システム制御手段１１０は、ユーザインターフェース１１１が受け付けた入力に基づいた処理を実行するように、湾曲制御手段１２２を制御する。また、ユーザインターフェース１１１が、記録媒体１３２への画像の記録を指示する入力や、ＬＣＤ１３０への画像の表示を指示する入力を受け付けた場合、システム制御手段１１０は、ユーザインターフェース１１１が受け付けた入力に基づいた処理を実行するように、画像記録手段１１５を制御する。

ワイヤー固定部１１９は、挿入部１０２の先端部１２８を上下左右に湾曲させるための４本のワイヤー１２３〜１２６を固定する。４本のワイヤー１２３〜１２６のうち、挿入部１０２の先端部１２８を上下方向に湾曲させるための２本のワイヤー１２３，１２４は、ＵＤ湾曲モータ１２０に接続されている。また、挿入部１０２の先端部１２８を左右方向に湾曲させるための２本のワイヤー１２５，１２６は、ＲＬ湾曲モータ１２１に接続されている。

ＵＤ湾曲モータ１２０及びＲＬ湾曲モータ１２１は、湾曲制御手段１２２に接続されている。湾曲制御手段１２２はシステム制御手段１１０と接続されている。湾曲制御手段１２２は、システム制御手段１１０から入力される上下方向に関する湾曲指示信号に基づいてＵＤ湾曲モータ１２０の駆動を制御し、システム制御手段１１０から入力される左右方向に関する湾曲指示信号に基づいてＲＬ湾曲モータ１２１の駆動を制御する。ＵＤ湾曲モータ１２０は、湾曲制御手段１２２の制御に基づいて、２本のワイヤー１２３，１２４を牽引することで挿入部１０２の先端部１２８を上下方向に湾曲させる。また、ＲＬ湾曲モータ１２１は、湾曲制御手段１２２の制御に基づいて、２本のワイヤー１２５，１２６を牽引することで挿入部１０２の先端部１２８を左右方向に湾曲させる。

この構成により、ユーザが、ユーザインターフェース１１１が備えるジョイスティックを上下方向に傾倒させると、システム制御手段１１０は湾曲制御手段１２２に上下方向に関する湾曲指示信号を送信する。湾曲制御手段１２２は受信した湾曲指示信号に基づいてＵＤ湾曲モータ１２０を駆動制御して、ＵＤ湾曲モータ１２０に接続されているワイヤー１２３，１２４を牽引する。これにより、内視鏡装置１０１は、挿入部１０２の先端部１２８を上下方向に湾曲させることができる。左右方向の湾曲も同様であり、ユーザが、ジョイスティックを左右方向に傾倒させると、システム制御手段１１０は湾曲制御手段１２２に左右方向に関する湾曲指示信号を送信する。湾曲制御手段１２２は受信した湾曲指示信号に基づいて、ＲＬ湾曲モータ１２１を駆動制御してＲＬ湾曲モータ１２１に接続されているワイヤーを牽引する。これにより、内視鏡装置１０１は、挿入部１０２の先端部１２８を左右方向に湾曲させることができる。

ＬＥＤ１０６は、ケーブルを通してＬＥＤドライブ回路１１３と接続されている。ＬＥＤドライブ回路１１３は、システム制御手段１１０と接続されている。ＬＥＤドライブ回路１１３は、システム制御手段１１０から入力されるＬＥＤ点灯信号に基づいて、ＬＥＤ１０６の点灯および消灯を制御する。ＬＥＤ１０６は、ＬＥＤドライブ回路１１３の制御に基づいて点灯および消灯する。

対物レンズ１０３は、ＬＥＤ１０６によって照明された被写体の像を撮像素子１０４の受光面に結像する。撮像素子１０４は、複合同軸ケーブルにより、撮像素子ドライブ回路１０５及びプリアンプ１３１に接続されている。撮像素子ドライブ回路１０５は、画像処理手段１０７内に設けられているタイミングジェネレータから、撮像素子１０４を駆動するためのタイミング信号を受信する。そして、撮像素子ドライブ回路１０５は、受信したタイミング信号に対して撮像素子１０４までの伝送路長（複合同軸ケーブルの長さ）に応じたドライブ処理を施して、処理されたタイミング信号を撮像素子駆動信号として撮像素子１０４に伝送する。

撮像素子１０４は、伝送された撮像素子駆動信号のタイミングに基づいて、受光面に結像された光を光電変換し、光電変換した信号を撮像素子出力信号として出力する。撮像素子１０４が出力した撮像素子出力信号は、複合同軸ケーブルを介してプリアンプ１３１に入力される。プリアンプ１３１は、複合同軸ケーブルでの伝送により減衰した信号レベルを補うために撮像素子出力信号を増幅する。プリアンプ１３１で増幅された撮像素子出力信号はＡＦＥ１０９に入力される。ＡＦＥ１０９は、入力された撮像素子出力信号に対して、ＣＤＳ処理（相関２重サンプリング処理）や、ＡＧＣ処理（オートゲイン処理）や、ＡＤ変換処理（アナログ／デジタル変換処理）を行う。ＡＦＥ１０９で処理された撮像素子出力信号（フレーム）は、画像処理手段１０７に入力される。

画像処理手段１０７は、第１の実施形態における画像処理装置１０と、第２の実施形態における画像処理装置２０と、第３の実施形態における画像処理装置３０と、第４の実施形態における画像処理装置４０とのうち、１つまたは複数を備えている。画像処理手段１０７は、システム制御手段１１０の制御に基づいて、入力された撮像素子出力信号（フレーム）を用いて合成画像を生成することでノイズ除去処理を行う。なお、本実施形態における画像処理手段１０７は、自身が備えている画像処理装置１０，２０，３０，４０に応じて、第１の実施形態〜第４の実施形態における複数の生成方法のうち、いずれかの生成方法を用いて合成画像を生成する。

また、画像処理手段１０７は、ホワイトバランス補正、ガンマ補正、輪郭補正、電子ズーム処理、色補正、コントラスト補正、ＡＥ制御、等の各種カメラ信号処理を行うようにしてもよい。また、画像処理手段１０７は、生成した合成画像を画像データとして画像記録手段１１５に出力する。

画像記録手段１１５は、入力された画像データをＬＣＤコントローラ１１７に出力する。また、画像記録手段１１５は、ＬＣＤ１３０に表示する画像を静止画とするフリーズ処理を行う。また、画像記録手段１１５は、入力された画像データを、エンコーダにて圧縮し、静止画像データもしくは動画像データとして記録媒体１０６に記録する。この画像記録動作は、ユーザインターフェース１１１からの入力に基づいて、システム制御手段１１０が記録信号を画像記録手段１１５に送信し、画像記録手段１１５が記録信号を受信した場合に行われる。

なお、内視鏡装置１０１は、画像記録手段１１５がフリーズ処理を行った後に画像の記録を行う場合には静止画の撮影を行い、フリーズ処理を行わずに画像の記録を行う場合には動画像の撮影を行う。また、画像記録手段１１５は、記録媒体１３２から静止画像データや動画像データを読み出し、デコーダにて伸張してＬＣＤコントローラ１１７に出力する画像再生動作を行う。この画像再生動作は、システム制御手段１１０がユーザインターフェース１１１から画像表示信号を受信した場合に行われる。

ＬＣＤコントローラ１１７は、画像記録手段１１５から入力された各種画像データに対して、接続されているＬＣＤ１３０に最適な画像処理（ガンマ補正、スケーリング、ＲＧＢ変換など）を施し、ＬＣＤ１３０に出力する。ＬＣＤ１３０は、入力された画像データに基づいて画像を表示する。

上述したとおり、内視鏡装置１０１の画像処理手段１０７は、第１の実施形態における画像処理装置１０と、第２の実施形態における画像処理装置２０と、第３の実施形態における画像処理装置３０と、第４の実施形態における画像処理装置４０とのうち、１つまたは複数を備えている。従って、画像処理手段１０７は、内視鏡装置１０１の撮像素子１０４が撮像したフレームのうち、より合成に適したフレームを用いて合成画像を生成することができる。また、画像処理手段１０７は、自身が備えている画像処理装置１０，２０，３０，４０に応じて、各画像処理装置１０，２０，３０，４０と同様の効果を得ることができる。

以上、この発明の複数の実施形態について図面を参照して詳述してきたが、具体的な構成は上述した複数の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

なお、上述した実施形態における画像処理装置１０，２０，３０，４０が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含む。

また、典型的には「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録部を含むが、必ずしもこれらに限定されるものではない。さらに「コンピュータ読み取り可能な記録媒体」に代え、以下の手段を用いてもよい。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持する媒体を用いてもよい。また、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持している媒体を用いてもよい。また上記プログラムは、前述した機能の一部を実現しても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現してもよい。

１０，２０，３０，４０・・・画像処理装置、１１・・・合成制御部、１２・・・フレームメモリ、１３・・・画像選択部、１４・・・合成処理部、２１・・・動き量推定部、３１・・・ノイズ量推定部、１０１・・・内視鏡装置、１０２・・・挿入部、１０３・・・本体部、１０４・・・撮像素子、１０５・・・撮像素子ドライブ回路、１０６・・・ＬＥＤ、１０７・・・画像処理手段、１０９・・・ＡＦＥ、１１０・・・システム制御手段、１１１・・・ユーザインターフェース、１１３・・・ＬＥＤドライブ回路、１１５・・・画像記録手段、１１７・・・ＬＣＤコントローラ、１１９・・・ワイヤー固定部、１２０・・・ＵＤ湾曲モータ、１２１・・・ＲＬ湾曲モータ、１２２・・・湾曲制御手段、１２３〜１２６・・・ワイヤー、１２７・・・対物レンズ、１２８・・・先端部、１３０・・・ＬＣＤ、１３１・・・プリアンプ、１３２・・・記録媒体

Claims (21)

1. 撮影された複数の画像が記憶されるメモリと、
   前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する画像選択部と、
   前記画像選択部が選択した前記基準画像に対して、前記画像選択部が選択した前記合成対象画像を合成して合成画像を生成する合成処理部と、
   を備え、
   前記画像選択部は、
   前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、前記合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択し、
   選択した合成対象画像の枚数が予め決めた合成対象画像の枚数に到達したかどうかを判定し、予め決めた合成対象画像の枚数に到達したならば、前記合成対象画像として用いるか否かの判定処理を終了する
   ことを特徴とする画像処理装置。
2. 前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像の撮影時刻と、撮影時刻が最も新しい画像の撮影時刻との中間の撮影時刻に最も近い画像を前記基準画像として選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻の前に撮影された画像の枚数と、前記基準画像の撮影時刻の後に撮影された画像の枚数とが、最も近づくように、前記基準画像を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像内の被写体の動き量を推定する動き量推定部
   をさらに備え、
   前記画像選択部は、前記動き量推定部が推定する推定動き量に基づいて前記基準画像を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記動き量推定部は、複数の画像を比較することで、画像内の被写体の動き量を推定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記動き量推定部は、前記複数の画像を撮影する撮像素子の動き量を検出することで、画像内の被写体の動き量を推定する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像の中から、前記基準画像を選択する
   ことを特徴とする請求項４に記載の画像処理装置。
8. 前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像の中から、撮影時刻が最も古い画像と、撮影時刻が最も新しい画像とを、前記基準画像の選択肢から除外する
   ことを特徴とする請求項４に記載の画像処理装置。
9. 前記画像選択部は、前記メモリ内に記憶される画像の枚数よりも少ない枚数であって、かつ撮影時刻順に連続する所定枚数の画像によって構成される画像区間から前記基準画像を選択するものであって、
   前記画像区間は、当該画像区間を構成する複数の画像における、前記推定動き量の積算値が最小となる区間である
   ことを特徴とする請求項４に記載の画像処理装置。
10. 前記画像選択部は、前記画像区間を構成する複数の画像のうち、撮影時刻が最も古い画像と、撮影時刻が最も新しい画像とを、前記基準画像の選択肢から除外する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記画像選択部は、前記推定動き量が最低となる画像を前記基準画像として選択する
    ことを特徴とする請求項４から請求項１０のいずれか１項に記載の画像処理装置。
12. 前記画像選択部は、所定枚数の画像を連続して前記合成対象画像として用いないと判定した場合、前記合成対象画像の判定処理を終了する
    ことを特徴とする請求項１に記載の画像処理装置。
13. 前記メモリ内に記憶される前記複数の画像のノイズ量を推定するノイズ量推定部
    を備え、
    前記画像選択部は、前記ノイズ量推定部が推定した前記ノイズ量に基づいて、前記合成画像を生成するために必要な画像の枚数である必要合成枚数を決定する
    ことを特徴とする請求項１から請求項１２のいずれか１項に記載の画像処理装置。
14. 前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像から、前記合成対象画像を選択する
    ことを特徴とする請求項４に記載の画像処理装置。
15. メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、
    前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択する基準画像選択ステップと、
    前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する合成対象画像選択ステップと、
    前記基準画像選択ステップにて選択された基準画像に対して、前記合成対象画像選択ステップにて選択された合成対象画像を合成することで、前記合成画像を生成する合成処理ステップと、
    を含み、
    前記合成対象画像選択ステップでは、
    前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、前記合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択し、
    選択した合成対象画像の枚数が予め決めた合成対象画像の枚数に到達したかどうかを判定し、予め決めた合成対象画像の枚数に到達したならば、前記合成対象画像として用いるか否かの判定処理を終了する
    ことを特徴とする画像処理方法。
16. 前記基準画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像の撮影時刻と、撮影時刻が最も新しい画像の撮影時刻との中間の撮影時刻に最も近い画像を前記基準画像として選択する
    ことを特徴とする請求項１５に記載の画像処理方法。
17. 前記基準画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻の前に撮影された画像の枚数と、前記基準画像の撮影時刻の後に撮影された画像の枚数とが、最も近づくように前記基準画像を選択する
    ことを特徴とする請求項１５に記載の画像処理方法。
18. さらに、他の画像と本画像とを比較することで、前記本画像内の被写体の動き量を推定する動き量推定ステップを含み、
    前記基準画像選択ステップでは、前記動き量推定ステップで推定された推定動き量に基づいて前記基準画像を選択する
    ことを特徴とする請求項１５に記載の画像処理方法。
19. 前記基準画像選択ステップでは、前記動き量推定ステップで推定された動き量が最低の画像を前記基準画像として選択する
    ことを特徴とする請求項１８に記載の画像処理方法。
20. 前記合成対象画像選択ステップでは、前記推定動き量が予め定めた閾値以下の複数の画像から前記合成対象画像を選択する
    ことを特徴とする請求項１８に記載の画像処理方法。
21. メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、
    前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択する基準画像選択ステップと、
    前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する合成対象画像選択ステップと、
    前記基準画像選択ステップにて選択された基準画像に対して、前記合成対象画像選択ステップにて選択された合成対象画像を合成することで、前記合成画像を生成する合成処理ステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記合成対象画像選択ステップでは、
    前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、前記合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択し、
    選択した合成対象画像の枚数が予め決めた合成対象画像の枚数に到達したかどうかを判定し、予め決めた合成対象画像の枚数に到達したならば、前記合成対象画像として用いるか否かの判定処理を終了する
    ことを特徴とするプログラム。

Images