JP6751763B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、生体の管腔内を撮像することによって取得された画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。

従来、内視鏡において、所定の波長帯域を有する照明光を被写体に照射し、この被写体を撮像後、生体組織のヘモグロビン吸光特性において狭帯域の分光特性を有する第１の画像信号と、この第１の画像信号よりも吸収特性における値が低い分光特性を有する第２の画像信号と、の差異に基づいて、第１の画像信号を強調する補正処理を施して画像信号を生成する技術が知られている（特許文献１参照）。

国際公開第２０１３／１４５４０９号

しかしながら、上述した特許文献１の技術を用いて時間的に連続する時系列画像群を閲覧した場合、各画像に施す補正処理の補正量が異なることによって、時間的に隣接する画像間において画像が変化してしまい、時系列画像群がブレて見えてしまうという問題点があった。

本発明は、上記に鑑みてなされたものであって、時系列画像群のブレを抑制することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、照明光が照射された被写体を連続的に撮像して生成された時間的に連続する複数の画像を取得する画像取得部と、前記複数の画像のうち補正対象フレームに基づいて、補正係数を算出する補正係数算出部と、前記補正対象フレームの撮影時刻から予め設定された所定の時間内における複数のフレームの各々の前記補正係数に基づいて、前記補正対象フレームの前記補正係数を修正する補正係数修正部と、前記補正対象フレームと前記補正係数とに基づいて、表示画像を作成する画像作成部と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、照明光が照射された被写体を連続的に撮像して生成された時間的に連続する複数の画像を取得する画像取得ステップと、前記複数の画像のうち補正対象フレームに基づいて、前記複数の画像の各々を補正するための補正係数を算出する補正係数算出ステップと、前記補正対象フレームの撮影時刻から予め設定された所定の時間内における複数のフレームの各々の前記補正係数に基づいて、前記補正対象フレームの前記補正係数を修正する補正係数修正ステップと、前記補正対象フレームと前記補正係数とに基づいて、表示画像を作成する画像作成ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、画像処理装置に、照明光が照射された被写体を連続的に撮像して生成された時間的に連続する複数の画像を取得する画像取得ステップと、前記複数の画像のうち補正対象フレームに基づいて、前記複数の画像の各々を補正するための補正係数を算出する補正係数算出ステップと、前記補正対象フレームの撮影時刻から予め設定された所定の時間内における複数のフレームの各々の前記補正係数に基づいて、前記補正対象フレームの前記補正係数を修正する補正係数修正ステップと、前記補正対象フレームと前記補正係数とに基づいて、表示画像を作成する画像作成ステップと、を実行させることを特徴とする。

本発明によれば、時系列画像群のブレを抑制することができるという効果を奏する。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が実行する画像処理の概要を示すフローチャートである。 図３は、図２の補正係数修正処理の概要を示すフローチャートである。 図４は、図３の代表値算出処理の概要を示すフローチャートである。 図５は、従来の時系列画像の一例を模式的に示す図である。 図６は、本発明の実施の形態１に係る画像処理装置による画像処理後の時系列画像の一例を模式的に示す図である。 図７は、本発明の実施の形態１に係る画像処理装置による画像処理後の時系列画像の別の一例を模式的に示す図である。 図８は、本発明の実施の形態１の変形例に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。 図９は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１０は、本発明の実施の形態２に係る画像処理装置が実行する画像処理の概要を示すフローチャートである。 図１１は、図１０の補正係数修正処理の概要を示すフローチャートである。 図１２は、図１１の乖離度算出処理の概要を示すフローチャートである。 図１３は、図１１の代表値算出処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態２の変形例１に係る画像処理装置が実行する乖離度算出処理の概要を示すフローチャートである。 図１５は、本発明の実施の形態２の変形例２に係る画像処理装置が実行する乖離度算出処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態２の変形例３に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。 図１７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１８は、本発明の実施の形態３に係る画像処理装置が実行する画像処理の概要を示すフローチャートである。 図１９は、図１８の補正係数修正処理の概要を示すフローチャートである。 図２０は、図１９の状況判定処理の概要を示すフローチャートである。 図２１は、図１９の代表値算出処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態３の変形例１に係る代表値算出処理の概要を示すフローチャートである。 図２３は、本発明の実施の形態３の変形例２に係る代表値算出処理の概要を示すフローチャートである。 図２４は、本発明の実施の形態３の変形例３に係る画像処理装置の構成を示すブロック図である。 図２５は、本発明の実施の形態３の変形例３に係る画像処理装置が実行する状況判定処理の概要を示すフローチャートである。 図２６は、本発明の実施の形態３の変形例３に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。

（実施の形態１）
〔画像処理装置の構成〕
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、所定の波長帯域の光が照射された生体の管腔を連続的に撮像することにより取得された時間的に連続する複数の管腔内画像で構成された管腔内画像群（管腔内画像の動画データ）に対して、生体の組織、粘膜、血管および病変等を強調した表示画像、画像の明るさを補正した表示画像、血管を観察しやすくするように補正した表示画像および散乱物質を観察しやすくするように補正した表示画像のいずれかを生成する画像処理を実行する装置である。また、管腔内画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。

図１に示す画像処理装置１は、内視鏡によって撮像された画像に対応する画像データ（画像信号）や被写体を連続的に撮像して生成された時間的に連続する複数の画像によって構成された時系列画像（動画データ）を内視鏡または外部から取得する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、画像や各種情報を表示する表示部４と、画像取得部２によって取得された画像データ、動画データおよび各種プログラムを記録する記録部５と、画像処理装置１全体の動作を制御する制御部６と、画像や管腔内画像群に対して所定の画像処理を行う演算部７と、を備える。

画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部２は、内視鏡によって撮像された画像データを記録するサーバを用いる場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部２は、内視鏡からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。

入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部６へ出力する。

表示部４は、液晶や有機ＥＬ（Electro Luminescence）の表示パネル等の表示装置によって実現され、制御部６の制御のもと、管腔内画像を含む各種画面を表示する。

記録部５は、フラッシュメモリ、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random
Access Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部５は、画像取得部２によって取得された画像データや動画データの他、画像処理装置１を動作させるとともに、種々の機能を画像処理装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部５は、管腔内画像群に対して生体内の組織、粘膜、血管および病変等を強調した強調画像を生成する画像処理プログラム５１、および、このプログラムの実行中に使用される種々の情報等を記録する。

制御部６は、ＣＰＵ（Central Processing Unit）等を用いて実現され、記録部５に記録された各種プログラムを読み込むことにより、画像取得部２から入力される画像データや入力部３から入力される入力信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

演算部７は、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラム５１を読み込むことによって画像群に対して生体内の組織、粘膜、血管および病変（以下、「特定部位」という）を強調した表示画像を生成する画像処理を実行する。

〔演算部の詳細な構成〕
次に、演算部７の詳細な構成について説明する。
演算部７は、補正係数算出部１０と、補正係数修正部１１と、画像作成部１２と、を備える。

補正係数算出部１０は、画像取得部２が取得した複数の画像のうち補正対象フレームの画像に基づいて、複数の画像の各々を補正するための補正係数を算出する。

補正係数算出部１０は、補正対象フレームの画像の撮影時刻から予め設定された所定の時間内における複数のフレーム（以下、「時系列近傍フレーム」という）の各々の複数の補正係数に基づいて、補正対象フレームの画像の補正係数を修正する。補正係数算出部１０は、フレーム設定部１１１と、代表値算出部１１２と、を有する。

フレーム設定部１１１は、代表値を設定するために用いる時系列近傍のフレームを設定する。

代表値算出部１１２は、補正対象フレームの補正係数と、フレーム設定部１１１が設定した時系列近傍フレームの補正係数と、に基づいて、代表値を算出する。

画像作成部１２は、補正対象フレームの画像と補正係数とに基づいて、表示画像を作成し、この作成した補正画像を記録部５に記録または制御部６を介して表示部４に出力する。

〔画像処理装置の処理〕
次に、画像処理装置１が実行する画像処理方法について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。

図２に示すように、まず、画像取得部２は、外部から内視鏡等によって撮像された画像を取得し、取得した画像を記録部５に記録する（ステップＳ１）。ここで、画像としては、消化管、血管および臓器のいずれかを撮像した管腔内画像が含まれる。また、管腔内画像を撮像した際の照明光は、自然光、ＬＥＤ（Light Emitting Diode）光源による照明光、レーザ光源による照明光、ハロゲンランプによる照明光のいずれかである。さらに、管腔内画像を撮像した際の照明光は、意図的に所定の波長帯域に制限した照明光であってもよい。所定の波長帯域としては、例えば７７０ｎｍ近傍の波長帯域を有する照明光、３９５ｎｍから４４５ｎｍの波長帯域を有する照明光、５３０ｎｍから５５０ｎｍの波長帯域を有する照明光、５８５ｎｍから６１５ｎｍの波長帯域を有する照明光および６１０ｎｍから７３０ｎｍの波長帯域を有する照明光のいずれかである。

続いて、補正係数算出部１０は、画像から補正係数を算出する（ステップＳ２）。具体的には、補正係数算出部１０は、画像の明るさを補正したり、特定部位を強調したり、血管を観察しやすくするように補正したり、散乱物質を観察しやすくするように補正したりする補正係数を算出する。例えば、補正係数としては、複数枚の画像に基づいて、特定深度における血管を抽出し、この抽出した血管を任意の画像に合成する処理の場合、この画像に合成される血管に関する血管情報である。

その後、補正係数修正部１１は、補正対象フレームおよび時系列近傍フレームの複数フレームの補正係数に基づいて代表値を算出し、この算出した代表値を補正係数として修正する補正係数修正処理を実行する（ステップＳ３）。

図３は、図２のステップＳ３における補正係数修正処理の概要を示すフローチャートである。図３に示すように、フレーム設定部１１１は、代表値を算出するために用いる時系列近傍の複数フレームを設定する（ステップＳ１１）。例えば、フレーム設定部１１１は、補正対象フレームを含まない補正対象フレームの画像の撮影時刻より時系列前（撮影時刻が前）の１つ以上のフレームの画像、または補正対象フレームを含まない補正対象フレームの撮影時刻より時系列後（撮影時刻が後）の１つ以上のフレームの画像を、代表値を算出するために用いる時系列近傍の複数フレームとして設定する。なお、フレーム設定部１１は、代表値を算出するために用いる時系列近傍の複数フレームに、補正対象フレームを含めてもよい。

続いて、代表値算出部１１２は、補正対象フレームの補正係数と時系列近傍フレームにおける補正係数とに基づいた情報により代表値を算出して補正対象フレームの補正係数を修正する代表値算出処理を実行する（ステップＳ１２）。ステップＳ１２の後、画像処理装置１は、図２のメインルーチンへ戻る。

図４は、図３のステップＳ１２における代表値算出処理の概要を示すフローチャートである。図４に示すように、代表値算出部１１２は、補正対象フレームの補正係数と時系列近傍フレームの補正係数との平均値を補正対象フレームの補正係数に修正する（ステップＳ２１）。

従来では、補正係数がフレーム間で極端に変化した場合において、補正結果を反映した画像を動画として表示したとき、画像にブレが生じるため、ユーザにとって観察し難くなる。具体的には、図５に示すように、時系列近傍フレームをｔ−３からｔまでとし、画像Ｐ１の補正係数をＫ_ｔ−３、画像Ｐ２の補正係数をＫ_ｔ−２、画像Ｐ３の補正係数をＫ_ｔ−１、画像Ｐ４の補正係数をＫ_ｔとした場合、補正係数が時系列で大きく変化しているため、画像Ｐ４の特定部位Ｂ１がブレる（破線部分）。

これに対して、本実施の形態１に係る代表値算出部１１２は、補正対象フレームの補正係数と時系列近傍フレームの各補正係数との平均値を補正対象フレームの補正係数に修正することによって、フレーム間における補正係数の変化を小さくすることができるので、ブレを抑制することができる。具体的には、図６に示すように、時系列近傍フレームをｔ−３からｔまでとし、画像Ｐ１の補正係数をＫ_ｔ−３、画像Ｐ２の補正係数をＫ_ｔ−２、画像Ｐ３の補正係数をＫ_ｔ−１、画像Ｐ４の補正係数をＫ_ｔとした場合、代表値算出部１１２は、補正対象フレームの補正係数と時系列近傍フレームの補正係数との平均値（（（Ｋ_ｔ−３）＋（Ｋ_ｔ−２）＋（Ｋ_ｔ−１）＋（Ｋ_ｔ））／４）を補正対象フレームの補正係数に修正する。これにより、補正係数が時系列で変化しないため、ブレを抑制することができる。また、図７に示すように、時系列近傍フレームをｔ−３からｔ−１までとした場合、代表値算出部１１２は、補正対象フレームの補正係数と時系列近傍フレームの補正係数との平均値（（（Ｋ_ｔ−３）＋（Ｋ_ｔ−２）＋（Ｋ_ｔ−１）／３）を補正対象フレームの補正係数に修正する。これにより、ブレを防止することができる。

また、代表値算出部１１２は、平均値を算出する場合、フレーム間で各画素の位置合わせを行った後に、補正対象フレームの補正係数と時系列近傍フレームの各補正係数との平均値を算出してもよい。なお、代表値算出部１１２は、補正対象フレームの補正係数と時系列近傍フレームの各補正係数との平均値を代表値として算出し、この代表値を補正対象フレームの補正係数に修正していたが、対象画像の被写体の種別によって算出方法を変更、例えば平均値に換えて中央値等を算出してもよい。ステップＳ２１の後、画像処理装置１は、図３の補正係数修正処理へ戻る。

図２に戻り、ステップＳ４以降の説明を続ける。
ステップＳ４において、画像作成部１２は、補正係数に基づいた補正画像を作成する。具体的には、画像作成部１２は、補正対象フレームの画像と補正係数とに基づいた補正画像を作成する。ステップＳ４の後、画像処理装置１は、本処理を終了する。

以上説明した本発明の実施の形態１によれば、画像のブレを抑制することができる。

（実施の形態１に係る変形例）
次に、本発明の実施の形態１に係る変形例について説明する。本実施の形態１に係る変形例は、画像処理装置が実行する代表値算出処理が異なる。以下においては、本実施の形態１の変形例に係る画像処理装置が実行する代表値算出処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

図８は、本実施の形態１の変形例に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。図８に示すように、代表値算出部１１２は、補正対象フレームおよび時系列近傍フレームの補正係数における最大値を補正対象フレームの補正係数に修正する（ステップＳ２２）。従来では、補正係数がフレーム毎にばらついている場合において、補正結果を反映した画像を動画として表示したとき、画像がちらつくため、ユーザにとって観察し難くなる（上述した図５を参照）。これに対して、本実施の形態１の変形例に係る代表値算出部１１２は、補正対象フレームおよび時系列近傍フレームの各補正係数における最大値を補正対象フレームの補正係数に修正することによって、フレームが変化しても補正係数が変化しにくくなるので（類似した画像を出力することができるので）、画像のちらつきを軽減することができる（上述した図６を参照）。なお、代表値算出部１１２は、上述した実施の形態１と同様に、最大値を算出する場合、フレーム間で各画素の位置合わせを行った後に、補正対象フレームおよび時系列近傍フレームの各々の補正係数における最大値を算出してもよい。なお、代表値算出部１１２は、補正対象フレームおよび時系列近傍フレームの各々の補正係数における最大値を代表値として算出し、この代表値を補正対象フレームの補正係数に修正していたが、対象画像の被写体の種別によって算出方法を変更、例えば最小値等を算出してもよい。ステップＳ２２の後、画像処理装置１は、図３の補正係数修正処理へ戻る。

以上説明した本発明の実施の形態１の変形例によれば、時系列画像群のブレを抑制することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１と構成が異なる。以下において、本実施の形態２に係る画像処理装置の構成を説明後、本実施の形態２に係る画像処理装置が実行する画像処理方法について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

〔画像処理装置の構成〕
図９は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図９に示す画像処理装置１ａは、上述した実施の形態１に係る画像処理装置１の演算部７に換えて、演算部７ａを備える。

演算部７ａは、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラム５１を読み込むことによって画像群に基づいて表示画像を生成する画像処理を実行する。

〔演算部の詳細な構成〕
次に、演算部７ａの詳細な構成について説明する。
演算部７ａは、上述した実施の形態１に係る演算部７の補正係数修正部１１に換えて、補正係数修正部１１ａを備える。

補正係数修正部１１ａは、フレーム設定部１１１と、乖離度算出部１１３と、代表値算出部１１４と、を有する。

乖離度算出部１１３は、特定の時系列区間内のフレームにおける補正係数に対する、補正対象フレームの補正係数または時系列近傍フレームにおける１つ以上のフレームの補正係数の乖離度を算出する。また、乖離度算出部１１３は、時系列近傍フレームの各々の補正係数に基づく分布状態から、特定の時系列区間内のフレームにおける補正係数に対する乖離度を算出する統計的乖離度算出部１１３ａを有する。

代表値算出部１１４は、補正対象フレームの補正係数と、フレーム設定部１１１が設定した１つ以上のフレームの補正係数と、に基づいて、代表値を算出する。また、代表値算出部１１４は、乖離度に基づいて補正対象フレームの補正係数の代表値を算出する乖離度代表値算出部１１４ａを有する。

〔画像処理装置の処理〕
次に、画像処理装置１ａが実行する画像処理方法について説明する。図１０は、画像処理装置１ａが実行する画像処理の概要を示すフローチャートである。図１０において、ステップＳ３１、ステップＳ３２およびステップＳ３４は、上述した図２のステップＳ１、ステップＳ２およびステップＳ４それぞれと同様のため、説明を省略する。

ステップＳ３３において、補正係数修正部１１ａは、補正対象フレームにおける時系列近傍フレームの補正係数に基づいて代表値を算出し、この算出した代表値を補正係数として修正する補正係数修正処理を実行する。ステップＳ３３の後、画像処理装置１ａは、ステップＳ３４へ移行する。

図１１は、図１０のステップＳ３３の補正係数修正処理の概要を示すフローチャートである。図１１において、ステップＳ４１は、上述した図３のステップＳ１１と同様のため、説明を省略する。

ステップＳ４２において、乖離度算出部１１３は、特定の時系列区間内のフレームにおける補正係数に対する、補正対象フレームの補正係数または時系列近傍フレームにおける１つ以上のフレームの補正係数の乖離度を算出する乖離度算出処理を実行する。特定の時系列区間内のフレームの設定方法としては、時系列近傍フレームを特定の時系列区間内のフレームとして設定してもよい。また、乖離度算出部１１３による算出方法としては、例えば時系列区間内のフレームの補正係数と補正対象フレームの補正係数との差を乖離度として算出したり、または時系列区間内のフレームの補正係数と、時系列近傍フレームにおける１つ以上のフレームの補正係数との差を乖離度として算出したりしてもよい。ステップＳ４２の後、画像処理装置１ａは、後述するステップＳ４３へ移行する。

図１２は、図１１のステップＳ４２の乖離度算出処理の概要を示すフローチャートである。図１２に示すように、画像処理装置１ａが統計情報を利用する場合（ステップＳ５１：Ｙｅｓ）、画像処理装置１ａは、後述するステップＳ５２へ移行する。これに対して、画像処理装置１ａが統計情報を利用しない場合（ステップＳ５１：Ｎｏ）、画像処理装置１ａは、後述するステップＳ５３へ移行する。なお、ユーザが入力部３を操作することによって入力された指示信号に応じた設定に応じて統計情報を利用するか否かを演算部７ａが判断する。なお、演算部７ａは、補正係数の大小関係によって統計情報を利用するか否かを自動的に判断してもよい。

ステップＳ５２において、統計的乖離度算出部１１３ａは、時系列区間内のフレームにおける補正係数の分布状態から中央値を算出し、この算出した中央値と補正対象フレームの補正係数または時系列近傍フレームにおける１つ以上の特定フレームの補正係数との差分を算出する。これにより、補正対象フレームの乖離度、または時系列近傍フレームにおける１つ以上の特定フレームの乖離度が算出されるので、１または複数の乖離度が算出される。ステップＳ５２の後、画像処理装置１ａは、図１１の補正係数修正処理へ戻る。

ステップＳ５３において、乖離度算出部１１３は、時系列区間内の特定フレームにおける補正係数と、補正対象フレームの補正係数または時系列近傍フレームにおける特定フレームの補正係数との差分を算出する。この場合、乖離度算出部１１３は、時系列区間内に特定フレームが複数存在するとき、複数の特定フレームの各々の補正係数と、補正対象フレームの補正係数または時系列近傍フレームにおける特定フレームの補正係数との差分を算出し、この算出した差分の合計値を乖離度として算出してもよい。これにより、補正対象フレームの乖離度、または時系列近傍フレームにおける１つ以上の特定フレームの乖離度が算出されるので、１または複数の乖離度が算出される。なお、乖離度算出部１１３は、複数の特定フレームの各々の補正係数と、補正対象フレームの補正係数または時系列近傍フレームにおける特定フレームの補正係数との差分の合計値に代えて、差分の平均値であってもよい。さらに、乖離度算出部１１３は、上述した実施の形態１と同様に、画素の位置合わせを行った後に、画素単位で行ってもよく、画像全体における各画素の補正係数の平均値等を用いて画像単位で行ってもよい。ステップＳ５３の後、画像処理装置１ａは、図１１の補正係数修正処理へ戻る。

図１１に戻り、ステップＳ４３以降の説明を続ける。
ステップＳ４３において、代表値算出部１１４は、乖離度と、補正対象フレームの補正係数と、時系列近傍フレームにおける補正係数と、に基づいた情報により代表値を算出する。ステップＳ４３の後、画像処理装置１ａは、図１０のメインルーチンへ戻る。

図１３は、図１１のステップＳ４３における代表値算出処理の概要を示すフローチャートである。図１３に示すように、乖離度代表値算出部１１４ａは、乖離度に基づいて、補正対象フレームの補正係数と時系列近傍フレームの補正係数の各々に重みを設定し、重みに基づいて代表値を算出する（ステップＳ６１）。具体的には、乖離度代表値算出部１１４ａは、乖離度が大きいほど重みの値が小さくなるように設定する。例えば、乖離度代表値算出部１１４ａは、事前に乖離度と補正係数の差が大きいほど重みの値が小さくなるテーブルを参照して、重みの値を設定する。その後、乖離度代表値算出部１１４ａは、各フレームにおける補正係数の重みと補正係数とを乗算した後、乗算後の各フレームの補正係数の平均値を代表値として算出する。ステップＳ６１の後、画像処理装置１ａは、図１１の補正係数修正処理へ戻る。

以上説明した本発明の実施の形態２によれば、時系列画像群のブレを抑制することができる。

（実施の形態２の変形例１）
次に、本発明の実施の形態２に係る変形例１について説明する。本実施の形態２に係る変形例１は、画像処理装置が実行する乖離度算出処理が異なる。以下においては、本実施の形態２の変形例１に係る画像処理装置が実行する乖離度算出処理について説明する。なお、上述した実施の形態２に係る画像処理装置１ａと同一の構成には同一の符号を付して説明を省略する。

図１４は、本実施の形態２の変形例１に係る画像処理装置１ａが実行する乖離度算出処理の概要を示すフローチャートである。図１４において、ステップＳ７１およびステップＳ７３は、上述した図１２のステップＳ５１およびステップＳ５３それぞれに対応するため、説明を省略する。

ステップＳ７２において、統計的乖離度算出部１１３ａは、時系列区間内のフレームにおける補正係数の分布状態から平均値を算出し、この算出した平均値と補正対象フレームの補正係数または時系列近傍フレームにおける１つ以上の特定フレームの補正係数との差分を算出する。これにより、補正対象フレームの乖離度、または時系列近傍フレームにおける１つ以上の特定フレームの乖離度が算出されるので、１または複数の乖離度が算出される。ステップＳ７２の後、画像処理装置１ａは、図１１の補正係数修正処理へ戻る。

以上説明した本発明の実施の形態２の変形例１によれば、時系列画像群のブレを抑制することができる。

（実施の形態２の変形例２）
次に、本発明の実施の形態２に係る変形例２について説明する。本実施の形態２に係る変形例２は、画像処理装置が実行する乖離度算出処理が異なる。以下においては、本実施の形態２の変形例２に係る画像処理装置が実行する乖離度算出処理について説明する。なお、上述した実施の形態２に係る画像処理装置１ａと同一の構成には同一の符号を付して説明を省略する。

図１５は、本実施の形態２の変形例２に係る画像処理装置が実行する乖離度算出処理の概要を示すフローチャートである。図１５において、ステップＳ８１およびステップＳ８３は、上述した図１２のステップＳ５１およびステップＳ５３それぞれに対応するため、説明を省略する。

ステップＳ８２において、時系列区間内のフレームにおける補正係数の分布状態からマハラノビス距離を算出する。これにより、補正対象フレームの乖離度、または時系列近傍フレームにおける１つ以上の特定フレームの乖離度が算出されるので、１つまたは複数の乖離度が算出される。ステップＳ８２の後、画像処理装置１ａは、図１１の補正係数修正処理へ戻る。

以上説明した本発明の実施の形態２の変形例２によれば、時系列画像群のブレを抑制することができる。

（実施の形態２の変形例３）
次に、本発明の実施の形態２に係る変形例３について説明する。本実施の形態２の変形例３は、画像処理装置が実行する代表値算出処理が異なる。以下においては、本実施の形態２の変形例３に係る画像処理装置が実行する代表値算出処理について説明する。なお、上述した実施の形態２に係る画像処理装置１ａと同一の構成には同一の符号を付して説明を省略する。

図１６は、本実施の形態２の変形例３に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。

図１６に示すように、制御部６は、乖離度算出部１１３が算出した乖離度が所定値より大きいか否かを判断する（ステップＳ９１）。制御部６によって乖離度算出部１１３が算出した乖離度が所定値より大きいと判断された場合（ステップＳ９１：Ｙｅｓ）、画像処理装置１ａは、後述するステップＳ９２へ移行する。これに対して、制御部６によって乖離度算出部１１３が算出した乖離度が所定値より大きくないと判断された場合（ステップＳ９１：Ｎｏ）、画像処理装置１ａは、後述するステップＳ９３へ移行する。

ステップＳ９２において、代表値算出部１１４は、時系列近傍フレームの補正係数に基づいて代表値を算出する。具体的には、補正対象フレームの乖離度のみを用いる場合において、乖離度が所定値より大きいとき、補正対象フレームの補正係数が中央値から離れているため、補正対象フレームの補正係数の信頼度が考えられる。このため、代表値算出部１１４は、時系列近傍フレームの補正係数に基づいて代表値を算出する。例えば、上述した図１３と同様に、乖離度に基づいて、補正対象フレームの補正係数と時系列近傍フレームの補正係数の各々に重みを設定し、各フレームにおける補正係数の重みと補正係数とを乗算した後、乗算後の各フレームの補正係数の平均値を代表値として算出する。ステップＳ９２の後、画像処理装置１ａは、図１１の補正係数修正処理へ戻る。

ステップＳ９３において、代表値算出部１１４は、乖離度の算出に用いたフレームの最大値を代表値として算出する。具体的には、乖離度が所定値より大きくない場合、補正係数に大きな変化が発生しない。このため、代表値算出部１１４は、補正対象フレームの補正係数および時系列近傍フレームの補正係数のうち最大値の補正係数を代表値として算出する。フレーム毎に補正係数を適応するよりも、最大値を用いることによって、フレーム毎のちらつきを軽減することができる。

以上説明した本発明の実施の形態２の変形例３によれば、時系列画像群のブレを抑制することができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１と構成が異なる。以下において、本実施の形態３に係る画像処理装置の構成を説明後、本実施の形態３に係る画像処理装置が実行する画像処理方法について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

〔画像処理装置の構成〕
図１７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。図１７に示す画像処理装置１ｂは、上述した実施の形態１に係る画像処理装置１の演算部７に換えて、演算部７ｂを備える。

演算部７ｂは、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラム５１を読み込むことによって画像群に基づいて表示画像を生成する画像処理を実行する。

〔演算部の詳細な構成〕
次に、演算部７ｂの詳細な構成について説明する。
演算部７ｂは、上述した実施の形態１に係る演算部７の補正係数修正部１１に換えて、補正係数修正部１１ｂを備える。

補正係数修正部１１ｂは、フレーム設定部１１１と、状況判定部１１５と、代表値算出部１１６と、を有する。

状況判定部１１５は、補正に利用する画像の取得タイミングまたは補正係数の求め易さを判定する。

代表値算出部１１６は、補正対象フレームの補正係数と、複数のフレームの各々の前記補正係数と、に基づいて、代表値を算出する。また、代表値算出部１１６は、状況判定部１１５の判定結果に基づいて、代表値を算出する状況代表値算出部１１６ａを有する。さらに、状況代表値算出部１１６ａは、状況算出部１１５ａが算出した算出結果に基づいて、前記代表値を算出する取得状況代表値算出部１１６ｂを有する。

〔画像処理装置の処理〕
次に、画像処理装置１ｂが実行する画像処理方法について説明する。図１８は、画像処理装置１ｂが実行する画像処理の概要を示すフローチャートである。図１８において、ステップＳ１０１、ステップＳ１０２、ステップＳ１０４は、上述した図２のステップＳ１、ステップＳ２およびステップＳ４それぞれと同様のため、説明を省略する。

ステップＳ１０３において、補正係数修正部１１ｂは、時系列近傍フレームの１つ以上のクレームの各補正係数に基づいて代表値を算出し、この算出した代表値を補正係数として修正する補正係数修正処理を実行する。ステップＳ１０３の後、画像処理装置１ｂは、ステップＳ１０４へ移行する。

図１９は、図１８のステップＳ１０３における補正係数修正処理の概要を示すフローチャートである。ステップＳ２０１は、上述した図３のステップＳ１１と同様のため、説明を省略する。

ステップＳ２０２において、状況判定部１１５は、補正フレームの補正係数を修正するために用いる画像の状況を判定する状況判定処理を実行する。ステップＳ２０２の後、画像処理装置１ｂは、ステップＳ２０３へ移行する。

図２０は、図１９のステップＳ２０２における状況判定処理の概要を示すフローチャートである。図２０に示すように、状況算出部１１５ａは、補正フレームの補正係数を修正するために用いる画像の状況（取得タイミング）を判定する（ステップＳ３０１）。具体的には、状況算出部１１５ａは、取得タイミングを把握するフレームを、補正対象の画像、または補正したい情報が高いコントラストで表れる画像のいずれかによって判定する。ステップＳ３０１の後、画像処理装置１ｂは、図１９の補正係数修正処理へ戻る。

図１９に戻り、ステップＳ２０３以降の説明を続ける。
ステップＳ２０３において、代表値算出部１１６は、補正対象フレームおよび時系列近傍フレームにおける補正係数に基づいた情報により代表値を算出する。ステップＳ２０３の後、画像処理装置１ｂは、図１８のメインルーチンへ戻る。

図２１は、図１９のステップＳ２０３における代表値算出処理の概要を示すフローチャートである。図２１に示すように、状況代表値算出部１１６ａは、補正に用いる画像間の取得タイミングが近傍なフレームほど重みを大きくし、重みに基づいて代表値を算出する（ステップＳ４０１）。例えば、状況代表値算出部１１６ａは、状況算出部１１５ａが画像信号の近傍フレーム、例えば画像が面順次の内視鏡によって生成されている場合、補正対象フレームを含めて１枚の画像となるフレーム間の時系列近傍フレームの補正係数に対する重みを大きく設定し、各フレームにおける補正係数の重みと補正係数とを乗算した後、乗算後の各フレームの補正係数の平均値を代表値として算出する。ステップＳ４０１の後、画像処理装置１ｂは、図１９の補正係数修正処理へ戻る。

以上説明した本発明の実施の形態３によれば、時系列画像群のブレを抑制することができる。

（実施の形態３の変形例１）
次に、本発明の実施の形態３の変形例１について説明する。本実施の形態３の変形例１は、画像処理装置が実行する代表値算出処理が異なる。以下においては、本実施の形態３の変形例１に係る画像処理装置が実行する代表値算出処理について説明する。なお、上述した実施の形態３に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。

図２２は、本実施の形態３の変形例１に係る画像処理装置１ｂが実行する代表値算出処理の概要を示すフローチャートである。図２２に示すように、状況代表値算出部１１６ａは、補正対象の画像が更新されたフレームである程重みを大きくし、重みに基づいて代表値を算出する（ステップＳ５０１）。補正対象の画像が更新された場合において、前回の更新時から状況が変化している可能性がある（例えば明るさ変化等）。このとき、過去の補正係数は、変化前の状況で算出された可能性がある。このため、状況代表値算出部１１６ａは、補正対象の画像が更新されたフレームである程、補正係数に対する重みを大きく設定し、各フレームにおける補正係数の重みと補正係数とを乗算した後、乗算後の各フレームの補正係数の平均値を代表値として算出する。ステップＳ５０１の後、画像処理装置１ｂは、図１９の補正係数修正処理へ戻る。

以上説明した本発明の実施の形態３の変形例１によれば、時系列画像群のブレを抑制することができる。

（実施の形態３の変形例２）
次に、本発明の実施の形態３の変形例２について説明する。本実施の形態３の変形例２は、画像処理装置が実行する代表値算出処理が異なる。以下においては、本実施の形態３の変形例２に係る画像処理装置が実行する代表値算出処理について説明する。なお、上述した実施の形態３に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。

図２３は、本実施の形態３の変形例２に係る画像処理装置１ｂが実行する代表値算出処理の概要を示すフローチャートである。図２３に示すように、状況代表値算出部１１６ａは、補正対象の情報が高コントラストで表される画像が更新されたフレームほど重みを大きくし、重みに基づいて代表値を算出する（ステップＳ６０１）。補正対象の画像が更新された場合において、前回の更新時から状況が変化している可能性がある（例えばコントラスト変化等）。このとき、過去の補正係数は、変化前の状況で算出された可能性がある。このため、状況代表値算出部１１６ａは、補正対象の情報が高コントラストで表される画像が更新されたフレームであるほど、補正係数に対する重みを大きく設定し、各フレームにおける補正係数の重みと補正係数とを乗算した後、乗算後の各フレームの補正係数の平均値を代表値として算出する。ステップＳ６０１の後、画像処理装置１ｂは、図１９の補正係数修正処理へ戻る。

以上説明した本発明の実施の形態３の変形例２によれば、時系列画像群のブレを抑制することができる。

（実施の形態３の変形例３）
次に、本発明の実施の形態３の変形例３について説明する。本実施の形態３の変形例３に係る画像処理装置は、上述した実施の形態３に係る画像処理装置１ｂと構成が異なるうえ、状況判定処理および代表値算出処理が異なる。以下においては、本実施の形態３の変形例３に係る画像処理装置の構成を説明後、本実施の形態３の変形例３に係る画像処理装置が実行する状況判定処理および代表値算出処理について説明する。なお、上述した実施の形態３に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。

〔画像処理装置の構成〕
図２４は、本発明の実施の形態３の変形例３に係る画像処理装置の構成を示すブロック図である。図２４に示す画像処理装置１ｃは、上述した実施の形態３に係る画像処理装置１ｂの演算部７ｂに換えて、演算部７ｃを備える。

演算部７ｃは、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラム５１を読み込むことによって画像群に基づいて表示画像を生成する画像処理を実行する。

〔演算部の詳細な構成〕
次に、演算部７ｃの詳細な構成について説明する。
演算部７ｃは、上述した実施の形態３に係る演算部７の補正係数修正部１１ｂに換えて、補正係数修正部１１ｃを備える。

補正係数修正部１１ｃは、フレーム設定部１１１と、状況判定部１１７と、代表値算出部１１８と、を有する。

状況判定部１１７は、補正に利用する前記画像の取得状況を判定する。また、状況判定部１１７は、補正に利用する画像間の位置ズレ量を算出する位置ズレ量算出部１１７ａを有する。

代表値算出部１１８は、補正対象フレームの補正係数と、フレーム設定部１１１が設定した１つ以上のフレームの補正係数と、に基づいて、代表値を算出する。状況判定部１１７の判定結果に基づいて、代表値を算出する状況代表値算出部１１８ａを有する。さらに、状況代表値算出部１１８ａは、位置ズレ量に基づいて、補正対象フレームおよび複数のフレームの各々の補正係数に対する重みを算出し、この重みに基づいて代表値を算出する位置ズレ代表値算出部１１８ｂを有する。

〔画像処理装置の処理〕
次に、画像処理装置１ｃが実行する画像処理装置について説明する。画像処理装置１ｃが実行する画像処理方法は、上述した実施の形態３に係る画像処理装置１ｂが実行する画像処理方法の各処理のうち、状況判定処理および代表値算出処理のみ異なる。このため、以下においては、画像処理装置１ｃが実行する状況判定処理および代表値算出処理について説明する。

図２５は、画像処理装置１ｃが実行する状況判定処理の概要を示すフローチャートである。図２５に示すように、位置ズレ量算出部１１７ａは、補正に利用する画像間の位置ズレ量を算出する（ステップＳ７０１）。具体的には、位置ズレ量算出部１１７ａは、各画像で算出した移動ベクトルの差分、各画像を撮像した際にジャイロセンサ等に検出された移動量等の一般的な技術を用いて各画像間の位置ズレ量を算出する。この場合において、位置ズレ量算出部１１７ａは、ジャイロセンサ等による移動量を用いるとき、各画像のメタデータやヘッダ情報に格納されたジャイロセンサ等の検出結果を用いて、各画像間の位置ズレ量を算出する。ステップＳ７０１の後、画像処理装置１ｃは、図１９の補正係数修正処理へ戻る。

図２６は、画像処理装置１ｃが実行する代表値算出処理の概要を示すフローチャートである。図２６に示すように、位置ズレ代表値算出部１１８ｂは、位置ズレ量算出部１１７ａが算出した位置ズレ量に基づいて重みを設定し、重みに基づいて代表値を算出する（ステップＳ８０１）。具体的には、補正対象フレームと時系列近傍フレームの位置ズレ量が所定値より大きい場合、画像が大きく変化していると考えられるため、補正対象フレームより過去の時系列近傍フレームの補正係数を考慮する必要がなくなる。よって、位置ズレ代表値算出部１１８ｂは、補正対象フレームの重みを大きくし、時系列近傍フレームの補正係数の重みを小さくして代表値を算出する。これに対して、位置ズレ代表値算出部１１８ｂは、補正対象フレームと時系列近傍フレームの位置ズレ量が所定値以下である場合、画像があまり変化していないと考えられるため、補正フレームおよび時系列近傍フレームの各々の補正係数に対する重みを同等にして代表値を算出する。なお、位置ズレ代表値算出部１１８ｂは、時系列近傍フレーム内において、位置ズレ量が所定値より大きい場合、位置ズレ量が所定値より大きいフレームの重みを小さくする一方、位置ズレ量が所定値以下の場合、位置ズレ量が所定値以下のフレームの重みを大きくしてもよい。ステップＳ８０１の後、画像処理装置１ｂは、図１９の補正係数修正処理へ戻る。

以上説明した本発明の実施の形態３の変形例３によれば、時系列画像群のブレを抑制することができる。

（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜２およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

なお、本発明は、実施の形態１〜３およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１，１ａ，１ｂ，１ｃ 画像処理装置
２ 画像取得部
３ 入力部
４ 表示部
５ 記録部
６ 制御部
７，７ａ，７ｂ，７ｃ 演算部
１０ 補正係数算出部
１１，１１ａ，１１ｂ，１１ｃ 補正係数修正部
１２ 画像作成部
５１ 画像処理プログラム
１１１ フレーム設定部
１１２ 代表値算出部
１１３ 乖離度算出部
１１３ａ 統計的乖離度算出部
１１４，１１６，１１８ 代表値算出部
１１４ａ 乖離度代表値算出部
１１５，１１７ 状況判定部
１１６ａ，１１８ａ 状況代表値算出部
１１６ｂ 取得状況代表値算出部
１１７ａ 位置ズレ量算出部
１１８ｂ 位置ズレ代表値算出部

Claims (20)

1. 照明光が照射された被写体を連続的に撮像して生成された時間的に連続する複数の画像を取得する画像取得部と、
   前記複数の画像の各々の補正係数を算出する補正係数算出部と、
   前記複数の画像のうち補正対象フレームの撮影時刻から予め設定された所定の時間内における複数のフレームの各々の前記補正係数に基づいて、前記補正対象フレームの前記補正係数を修正する補正係数修正部と、
   前記補正対象フレームと前記補正係数とに基づいて、表示画像を作成する画像作成部と、
   を備えたことを特徴とする画像処理装置。
2. 前記複数の画像の各々は、被写体に所定の波長帯域を有する照明光が照射されて撮像されることによって生成された画像または生体内管腔を撮像されて生成された画像の少なくとも一方であることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正係数修正部は、
   前記補正係数の代表値を算出するために用いる前記複数のフレームを設定するフレーム設定部と、
   前記補正対象フレームの前記補正係数と、前記複数のフレームの各々の前記補正係数と、に基づいて、前記補正係数の代表値を算出する代表値算出部と、
   を有し、
   前記補正係数修正部は、前記代表値を修正後の前記補正対象フレームの前記補正係数とすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正係数修正部は、
   特定の時系列区間内のフレームにおける前記補正係数に対する、前記補正対象フレームの前記補正係数または前記複数のフレームにおける１つ以上の前記補正係数の乖離度を算出する乖離度算出部をさらに有することを特徴とする請求項３に記載の画像処理装置。
5. 前記乖離度算出部は、前記補正対象フレームの前記補正係数と前記複数のフレームにおける１つ以上の前記補正係数との差分を前記乖離度として算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記乖離度算出部は、前記複数のフレームの各々の前記補正係数に基づく前記補正係数の分布状態から前記乖離度を算出する統計的乖離度算出部をさらに有することを特徴とする請求項４に記載の画像処理装置。
7. 前記統計的乖離度算出部は、前記分布状態から中央値、平均値およびマハラノビス距離のいずれか１つを算出し、前記中央値または前記平均値と前記補正対象フレームの前記補正係数との差分または前記マハラノビス距離を前記乖離度として算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記代表値算出部は、
   前記乖離度に基づいて前記補正対象フレームの前記補正係数の前記代表値を算出する乖離度代表値算出部をさらに備えることを特徴とする請求項４に記載の画像処理装置。
9. 前記乖離度代表値算出部は、前記乖離度に基づいて、前記補正対象フレームおよび前記複数のフレームの各々の前記補正係数に対する重みを算出し、この重みに基づいて前記代表値を算出することを特徴とする請求項８に記載の画像処理装置。
10. 前記乖離度代表値算出部は、前記乖離度が所定値より大きい場合、前記複数のフレームの各々の前記補正係数に基づいて、前記代表値を算出する一方、前記乖離度が前記所定値以下の場合、前記乖離度の算出に用いた前記複数のフレームにおける前記補正係数の最大値を前記代表値として算出することを特徴とする請求項８に記載の画像処理装置。
11. 前記補正係数修正部は、
    補正に利用する前記画像の取得タイミングまたは前記補正係数の求め易さを判定する状況判定部をさらに有し、
    前記代表値算出部は、
    前記状況判定部の判定結果に基づいて、前記代表値を算出する状況代表値算出部と、
    を有することを特徴とする請求項３に記載の画像処理装置。
12. 前記状況判定部は、補正に利用する前記画像の取得状況を判定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記状況代表値算出部は、前記状況判定部の判定結果に基づいて、前記代表値を算出する取得状況代表値算出部を有することを特徴とする請求項１２に記載の画像処理装置。
14. 前記取得状況代表値算出部は、前記状況判定部の判定結果に基づいて、前記補正対象フレームおよび前記複数のフレームの各々の前記補正係数に対する重みを算出し、該重みに基づいて前記代表値を算出することを特徴とする請求項１３に記載の画像処理装置。
15. 前記取得状況代表値算出部は、前記補正対象フレームの撮影時刻に近いフレーム、前記補正対象フレームの画像が更新されたフレームおよび前記補正対象フレームの情報が高コントラストで表れる画像が更新されたフレームのいずれか１つであるほど前記複数のフレームの各々の前記補正係数に対する重みを大きくして前記代表値を算出することを特徴とする請求項１４に記載の画像処理装置。
16. 前記状況判定部は、
    補正に利用する画像間の位置ズレ量を算出する位置ズレ量算出部を有することを特徴とする請求項１１に記載の画像処理装置。
17. 前記状況代表値算出部は、
    前記位置ズレ量に基づいて、補正対象フレームおよび前記複数のフレームの各々の前記補正係数に対する重みを算出し、該重みに基づいて前記代表値を算出する位置ズレ量代表値算出部を有することを特徴とする請求項１６に記載の画像処理装置。
18. 前記補正係数は、生体内の組織、粘膜および血管のいずれか１つ以上を強調する際の係数または画像を合成する際の係数であることを特徴とする請求項１に記載の画像処理装置。
19. 画像処理装置が実行する画像処理方法であって、
    照明光が照射された被写体を連続的に撮像して生成された時間的に連続する複数の画像を取得する画像取得ステップと、
    前記複数の画像の各々の補正係数を算出する補正係数算出ステップと、
    前記複数の画像のうち補正対象フレームの撮影時刻から予め設定された所定の時間内における複数のフレームの各々の前記補正係数に基づいて、前記補正対象フレームの前記補正係数を修正する補正係数修正ステップと、
    前記補正対象フレームと前記補正係数とに基づいて、表示画像を作成する画像作成ステップと、
    を含むことを特徴とする画像処理方法。
20. 画像処理装置に、
    照明光が照射された被写体を連続的に撮像して生成された時間的に連続する複数の画像を取得する画像取得ステップと、
    前記複数の画像の各々の補正係数を算出する補正係数算出ステップと、
    前記複数の画像のうち補正対象フレームの撮影時刻から予め設定された所定の時間内における複数のフレームの各々の前記補正係数に基づいて、前記補正対象フレームの前記補正係数を修正する補正係数修正ステップと、
    前記補正対象フレームと前記補正係数とに基づいて、表示画像を作成する画像作成ステップと、
    を実行させることを特徴とするプログラム。

Images