JPWO2016208016A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

管腔内の状態を適切に反映した学習サンプルを取得することができる画像処理装置等を提供する。画像処理装置１は、生体の管腔内を撮像した管腔内画像から粘膜領域を抽出する粘膜領域抽出部１１０と、粘膜領域の表面性状を取得し、該表面性状に基づいて管腔内画像における粘膜領域を加工することにより、上記管腔内画像とは異なる画像を生成する画像生成部１２０とを備える。

Description

本発明は、生体の管腔内を撮像した画像に対して画像処理を行う画像処理装置、画像処理方法、及び画像処理プログラムに関する。

内視鏡等の医用観察装置を用いて生体の管腔内（消化管内）を撮像した管腔内画像に対し、識別基準を用いて異常領域等の特定領域を検出する技術が知られている。この際に用いられる識別基準は、通常、学習サンプルとして管腔内画像から抽出された様々なバリエーションの粘膜領域や異常領域の画像をもとに作成される。

画像の識別に関する技術として、例えば特許文献１には、学習サンプルとして取得した画像に対し、任意の注目領域の位置、方向、外観を変更したり、注目領域を拡大縮小又は回転させたりといった処理を行うことにより新たな画像を生成し、新たな画像及びもとの画像から特徴量を算出して識別基準を作成する技術が開示されている。

米国特許第８９０３１６７号明細書

しかし、上記特許文献１に開示された技術を管腔内画像に適用しようとした場合、注目領域に対して上述したような幾何学的な処理を行うだけでは、管腔内の状態を適切に反映した学習サンプルを取得することは困難である。

本発明は、上記に鑑みて為されたものであって、管腔内の状態を適切に反映した学習サンプルを取得することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内を撮像した管腔内画像から粘膜領域を抽出する粘膜領域抽出部と、前記粘膜領域の表面性状を取得し、該表面性状に基づいて前記管腔内画像における前記粘膜領域を加工することにより、前記管腔内画像とは異なる画像を生成する画像生成部と、を備えることを特徴とする。

本発明に係る画像処理方法は、生体の管腔内を撮像した管腔内画像から粘膜領域を抽出する粘膜領域抽出ステップと、前記粘膜領域の表面性状を取得し、該表面性状に基づいて前記管腔内画像における前記粘膜領域を加工することにより、前記管腔内画像とは異なる画像を生成する画像生成ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、生体の管腔内を撮像した管腔内画像から粘膜領域を抽出する粘膜領域抽出ステップと、前記粘膜領域の表面性状を取得し、該表面性状に基づいて前記管腔内画像における前記粘膜領域を加工することにより、前記管腔内画像とは異なる画像を生成する画像生成ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、管腔内画像から抽出した粘膜領域の表面性状に基づいて、この粘膜領域を加工することにより上記管腔内画像とは異なる画像を生成するので、管腔内の状態を適切に反映した学習サンプルを取得することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す演算部の動作を示すフローチャートである。 図３は、管腔内画像から抽出された粘膜領域を示す模式図である。 図４は、粘膜領域に絨毛領域を合成した画像を示す模式図である。 図５は、粘膜領域に絨毛領域及び血管領域を合成した画像を示す模式図である。 図６は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図７は、図６に示す演算部の動作を示すフローチャートである。 図８は、図７に示す識別基準の作成処理を示すフローチャートである。 図９は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１０は、図９に示す演算部の動作を示すフローチャートである。 図１１は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１２は、図１１に示す演算部の動作を示すフローチャートである。 図１３は、図１２に示す粘膜領域の属性の判定処理を示すフローチャートである。 図１４は、本発明の実施の形態５に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１５は、図１４に示す演算部の動作を示すフローチャートである。 図１６は、図１５に示す新たな画像の生成処理を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、内視鏡等の医用観察装置を用いて生体の管腔内を撮像することにより取得された管腔内画像から粘膜領域を抽出し、この粘膜領域の表面性状に基づいて、もとの管腔内画像とは異なる新たな画像を生成する画像処理を実行する装置である。管腔内画像は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。なお、生体内を撮像する内視鏡は、カプセル内視鏡、軟性内視鏡、硬性内視鏡等のいずれであっても良い。

図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、医用観察装置が管腔内を撮像して生成した管腔内画像の画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記憶部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

制御部１０は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１０が汎用プロセッサである場合、記憶部５０が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、制御部１０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部５０が記憶する各種データ等を用いることで、プロセッサと記憶部５０が協働又は結合して種々の処理を実行しても良い。

画像取得部２０は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置を画像処理装置１に接続する場合、画像取得部２０は、医用観察装置において生成された画像データを取り込むインタフェースによって構成される。また、医用観察装置によって生成された画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、医用観察装置によって生成された画像データを、可搬型の記憶媒体を用いて受け渡ししても良く、この場合、画像取得部２０は、可搬型の記憶媒体を着脱自在に装着し、記憶された画像の画像データを読み出すリーダ装置によって構成される。

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。

表示部４０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro-Luminescence）ディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

記憶部５０は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）といった各種ＩＣ（integrated circuit）メモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって実現される。記憶部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記憶部５０は、管腔内画像から粘膜領域を抽出し、この粘膜領域の表面性状に基づいて、もとの管腔内画像とは異なる新たな画像を生成する画像処理プログラムを格納するプログラム記憶部５１を有する。また、記憶部５０は、該画像処理において用いられる識別基準等の情報を格納する。

演算部１００は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１００が汎用プロセッサである場合、プログラム記憶部５１が記憶する画像処理プログラムを読み込むことにより、管腔内画像から粘膜領域を抽出し、この粘膜領域の表面性状に基づいて、もとの管腔内画像とは異なる新たな画像を生成する画像処理を実行する。また、演算部１００が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部５０が記憶する各種データ等を用いることで、プロセッサと記憶部５０が協働又は結合して画像処理を実行しても良い。

次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、管腔内画像から粘膜領域を抽出する粘膜領域抽出部１１０と、粘膜領域の表面性状を取得し、この表面性状に基づいて管腔内画像における粘膜領域を加工することにより上記新たな画像を生成する画像生成部１２０とを備える。

画像生成部１２０は、粘膜表面の微細構造を表す新たな画像を生成する微細構造生成部１２１を備える。詳細には、微細構造生成部１２１は、粘膜表面に存在する絨毛を表す絨毛領域を生成する絨毛生成部１２１ａと、粘膜表面に透見する血管を表す血管領域を生成する血管生成部１２１ｂとを有する。

絨毛生成部１２１ａは、絨毛を表すモデルを格納しており、このモデルを粘膜領域に貼り付けることにより、新たな画像を生成する。以下、絨毛を表すモデルを絨毛モデルという。絨毛モデルは、生体の管腔内画像から１つ以上の絨毛を含む領域を抽出することにより予め１つ以上作成しておく。

血管生成部１２１ｂは、血管を表すモデルを格納しており、このモデルを粘膜領域に貼り付けることにより、新たな画像を生成する。以下、血管を表すモデルを血管モデルという。血管モデルは、生体の管腔内画像から１つ以上の血管を含む領域を抽出することにより予め１つ以上作成しておく。

次に、演算部１００の動作を説明する。図２は、演算部１００の動作を示すフローチャートである。まず、ステップＳ１０において、演算部１００は、医用観察装置により取得された管腔内画像を記憶部５０から読み出すことにより取得する。

続くステップＳ１１において、粘膜領域抽出部１１０は、管腔内画像から粘膜領域を抽出する。詳細には、粘膜領域抽出部１１０は、管腔内画像を構成する各画素の画素値に基づき、画素ごと、或いは管腔内画像を複数の区画に分画した区画ごとに特徴量を算出し、この特徴量と事前に作成された判別基準を用いて閾値処理を行うことにより、粘膜領域を抽出する。

粘膜領域を抽出するための特徴量としては、色特徴量や、形状特徴量や、テクスチャ特徴量が挙げられる。色特徴量としては、各画素の画素値（Ｒ、Ｇ、Ｂ成分の各値）、Ｇ／Ｒ値又はＢ／Ｇ値等の色比、色相、彩度、明度、色差等が挙げられる。形状特徴量としては、管腔内画像から抽出される領域の面積（画素数）、周囲長、水平フェレ径又は垂直フェレ径を含むフェレ径、ＨＯＧ特徴量（Histogram of Oriented Gradients）やＳＩＦＴ特徴量（Scale Invariant Feature Transform）等が挙げられる。テクスチャ特徴量としては、例えばLocal Binary Pattern（ＬＢＰ）が挙げられる。ＬＢＰは、注目画素とその周囲８方向の画素との画素値の大小関係を、２の８乗である２５６次元のヒストグラムで表した特徴量である。

粘膜領域抽出部１１０は、このような特徴量を算出し、事前に作成しておいた判別基準に基づき、管腔内画像内を、絨毛領域や血管領域を含む粘膜領域とそれ以外の領域、具体的には残渣領域や泡領域や暗部領域等を含む非粘膜領域とに判別し、粘膜領域を抽出する。なお、粘膜領域としては、粘膜領域の輪郭で囲まれる領域を抽出しても良いし、粘膜領域を含む矩形領域を抽出しても良い。或いは、粘膜領域が検出された管腔内画像全体を粘膜領域として抽出しても良い。図３は、管腔内画像から抽出された粘膜領域を示す模式図である。図３においては、粘膜領域を含む矩形領域が抽出された例を示している。

粘膜領域抽出部１１０は、抽出した粘膜領域の画像を画像生成部１２０に出力すると共に、記憶部５０に記憶させる。

続くステップＳ１２において、画像生成部１２０は、ステップＳ１１において抽出された粘膜領域の表面性状を取得する。粘膜領域の表面性状とは、粘膜の凹凸状態、粘膜の色、ハレーション領域の有無、残渣や泡など、観察に不要な不要領域の有無、絨毛の有無、絨毛の色、血管の有無、血管の形状や色、出血の有無等の状態のことである。これらの表面性状は、粘膜領域に対し、上記ステップＳ１１において列挙した色特徴量、形状特徴量、テクスチャ特徴量を算出することにより取得することができる。

続くステップＳ１３において、画像生成部１２０は、粘膜領域の表面性状に基づいて管腔内画像における粘膜領域を加工することにより、新たな画像を生成する。具体的には、粘膜領域に対して絨毛モデルや血管モデルを貼り付ける処理や、粘膜領域の色や形状やテクスチャを変化させる処理が挙げられる。本実施の形態１においては、粘膜領域に絨毛モデル及び血管モデルを貼り付ける処理を説明する。

絨毛生成部１２１ａは、粘膜領域に絨毛モデルを貼り付けることにより、粘膜領域に絨毛領域が合成された新たな画像を生成する。詳細には、絨毛生成部１２１ａは、予め格納している絨毛モデルの中からいずれかの絨毛モデルを選択して粘膜領域に貼り付ける。絨毛モデルの選択方法としては、複数の絨毛モデルを表示部４０（図１参照）に表示するなどしてユーザに任意の絨毛モデルを選択させても良いし、絨毛生成部１２１ａがランダムに選択しても良い。或いは、以下に説明するように、粘膜領域の表面性状に応じて絨毛生成部１２１ａが絨毛モデルを適宜選択しても良い。以下、粘膜領域の表面性状に応じた絨毛モデルの選択方法及び調整方法を説明する。

（１−１）粘膜と内視鏡に設けられた撮像素子との位置関係を考慮する場合
絨毛生成部１２１ａは、管腔内画像に写った粘膜と、この管腔内画像を撮像した内視鏡に設けられた撮像素子との位置関係、具体的には、内視鏡が正面から粘膜を撮像したか、或いは内視鏡が斜め方向から粘膜を撮像したかという位置関係を取得する。この位置関係は、粘膜領域から抽出したエッジの形状から判断することができる。具体的には、エッジの円形度が大きいほど、即ちエッジの形状が真円に近いほど、粘膜に対して内視鏡の撮像素子が正面に近い方向を向いていると判断され、エッジの円形度が小さいほど、即ちエッジの形状が真円から遠いほど、粘膜に対して内視鏡の撮像素子が斜め方向を向いていると判断される。或いは、管腔内画像を撮像した内視鏡に加速度センサが設けられ、この加速度センサの検出値が画像付帯情報として管腔内画像に付帯されている場合には、この画像付帯情報に基づいて粘膜と内視鏡との位置関係を取得しても良い。

粘膜に対して内視鏡の撮像素子が正面に近い方向を向いている場合、粘膜表面に存在する絨毛の先端は内視鏡の撮像素子の方を向いている。そのため、管腔内画像においては円形状に近い絨毛が観察される。この場合、絨毛生成部１２１ａは、円形状に近い絨毛モデルを選択して粘膜領域に貼り付ける。

一方、粘膜に対して内視鏡の撮像素子が斜めを向いている場合、内視鏡は粘膜表面に存在する絨毛を横向きに近い方向から撮像する。そのため、管腔内画像においては基端側から先端側に向かって突出する細長い形状の絨毛が観察される。そこで、この場合、絨毛生成部１２１ａは、一般的に知られる細長い形状の絨毛モデルを選択する。

細長い形状の絨毛モデルを選択した際、絨毛生成部１２１ａは、絨毛モデルを貼り付ける向きを決定する。具体的には、絨毛モデルの基端部が管腔の手前側、絨毛モデルの先端部が管腔の奥側となるように、絨毛モデルの向きを調整する。

管腔の奥側、手前側といった向きは、管腔内画像において輝度が所定値よりも低く且つ面積が所定値よりも大きい領域を抽出し、この領域内において輝度が最も低い位置を管腔の奥とすることで決定することができる。この奥の方に絨毛モデルの先端側が向くように絨毛モデルを回転させて粘膜領域に貼り付ける。

（１−２）粘膜領域の奥行を考慮する場合
管腔内画像における粘膜領域の奥行を考慮する場合、絨毛生成部１２１ａはまず、管腔内画像を構成する各画素の輝度を算出し、輝度値が相対的に低い領域を奥行が深いと判断し、輝度値が相対的に高い領域を奥行が浅いと判断する。奥行が深い場合、絨毛は小さく写り、奥行が浅い場合、絨毛は大きく写る。そこで、絨毛生成部１２１ａは、管腔内画像における粘膜領域の奥行に応じた大きさの絨毛モデルを選択して粘膜領域に貼り付ける。或いは、絨毛生成部１２１ａは、任意に選択された絨毛モデルを、粘膜領域の奥行に応じて拡大又は縮小して粘膜領域に貼り付けても良い。

或いは、絨毛生成部１２１ａは、粘膜領域に写った絨毛の大きさに合わせて絨毛モデルを選択しても良い。詳細には、絨毛生成部１２１ａはまず、粘膜領域からエッジを抽出する。このエッジは１つ１つの絨毛の輪郭を表す。絨毛生成部１２１ａは、このエッジ同士の間隔に近い大きさの絨毛モデルを選択する。或いは、絨毛生成部１２１ａは、任意に選択された絨毛モデルを、エッジ同士の間隔に応じて拡大又は縮小しても良い。

（１−３）粘膜領域の明るさを考慮する場合
絨毛生成部１２１ａは、まず、粘膜領域を構成する各画素の画素値から輝度を算出し、さらに、各画素の輝度の平均値（平均輝度値）を算出する。そして、絨毛生成部１２１ａは、予め格納している絨毛モデルの平均輝度値を粘膜領域の平均輝度値と比較し、粘膜領域の平均輝度値と等しい、又は粘膜領域の平均輝度値の所定範囲内（例えば±数１０％以内）である平均輝度値を有する絨毛モデルを選択する。この条件に合う絨毛モデルを格納していない場合、絨毛生成部１２１ａは、粘膜領域の平均輝度値に対して最も近い平均輝度値を有する絨毛モデルを選択しても良い。

続いて、絨毛生成部１２１ａは、粘膜領域内において、絨毛モデルを貼り付ける領域とその周辺領域との間で輝度の差が大きくなり過ぎないように、絨毛モデルの輝度を調整する。具体的には、粘膜領域のうち輝度が比較的高い領域に対しては、絨毛モデルの輝度を高く調整した上で、絨毛モデルを貼り付ける。反対に、粘膜領域のうち輝度が比較的低い領域に対しては、絨毛モデルの輝度を低く調整した上で、絨毛モデルを貼り付ける。

（１−４）粘膜領域の色を考慮する場合
絨毛生成部１２１ａは、まず、粘膜領域を構成する各画素の画素値のうちのＲ値を抽出し、各画素のＲ値の平均値（平均Ｒ値）を算出する。絨毛生成部１２１ａは、予め格納している絨毛モデルの平均Ｒ値を粘膜領域の平均Ｒ値と比較し、粘膜領域の平均Ｒ値と等しい、又は粘膜領域の平均Ｒ値の所定範囲内（例えば数１０％以内）である平均Ｒ値を有する絨毛モデルを選択する。この条件に合う絨毛モデルを格納していない場合、絨毛生成部１２１ａは、粘膜領域の平均Ｒ値に対して最も近い平均Ｒ値を有する絨毛モデルを選択しても良い。

続いて、絨毛生成部１２１ａは、選択した絨毛モデルにおけるＲ値のヒストグラムを作成し、絨毛モデルにおけるＲ値の中央値が粘膜領域におけるＲ値の中央値と等しくなるようにヒストグラムを係数倍することにより、絨毛モデルにおけるＲ値を調整する。そして、Ｒ値を調整した絨毛モデルを粘膜領域に貼り付ける。

絨毛生成部１２１ａは、同様の手法により、絨毛モデルにおけるＧ値、Ｂ値、Ｒ／Ｇ値、Ｒ／Ｂ値等を調整しても良い。

（１−５）粘膜領域の密度を考慮する場合
絨毛生成部１２１ａは、まず、粘膜領域に対してフーリエ変換を行うことにより、粘膜領域の画像を周波数空間の画像に変換し、周波数分布に基づいて周波数を取得する。取得する周波数は、例えば、強度が最大の周波数でも良いし、強度が最低の周波数でも良い。或いは、周波数分布の中央値であっても良い。絨毛生成部１２１ａは、取得した粘膜領域の周波数に対して周波数が所定範囲内である絨毛モデルを選択する。或いは、粘膜領域の周波数に対して周波数が最も近い絨毛モデルを選択しても良い。

絨毛生成部１２１ａは、選択した絨毛モデルに複数の絨毛の画像が含まれる場合、選択した絨毛モデルをそのまま粘膜領域に貼り付ける。一方、選択した絨毛モデルに絨毛の画像が１つしか含まれない場合、この絨毛モデルを複製し、粘膜領域の周波数と近くなるように絨毛モデルの配置間隔を調整して粘膜領域に貼り付ける。

絨毛生成部１２１ａは、上記（１−１）〜（１−５）の手法を単独で実行しても良いし、適宜組み合わせて実行しても良い。一例として、粘膜と内視鏡との位置関係を考慮して選択した絨毛モデルを、粘膜領域の奥行に合わせて拡大又は縮小したり、粘膜領域の色や明るさに合わせて絨毛モデルの色や明るさを調整したりしても良い。

複数の手法を組み合わせる場合や、異なる手法により選択された複数の絨毛モデルを同じ粘膜領域に貼り付ける場合には、絨毛モデルを粘膜領域に貼り付けた後、さらに平滑化処理等を追加することで、絨毛モデルと粘膜領域との境界における違和感を低減させることができる。図４は、図３に示す粘膜領域に絨毛モデルを貼り付けることにより生成した新たな画像を示す模式図である。

また、血管生成部１２１ｂは、粘膜領域に血管モデルを貼り付けることにより、粘膜領域に血管領域が合成された新たな画像を生成する。詳細には、血管生成部１２１ｂは、予め格納している血管モデルの中からいずれかの血管モデルを選択して粘膜領域に貼り付ける。或いは、粘膜領域に絨毛領域が合成された画像（図４参照）に対して、さらに血管モデルを貼り付けても良い。

血管モデルの選択方法としては、複数の血管モデルを表示部４０（図１参照）に表示するなどしてユーザに任意の血管モデルを選択させても良いし、血管生成部１２１ｂがランダムに選択しても良い。或いは、以下に説明するように、粘膜領域の表面性状に応じて血管生成部１２１ｂが血管モデルを適宜選択しても良い。以下、粘膜領域の表面性状に応じた血管モデルの選択方法及び調整方法を説明する。

（２−１）粘膜と内視鏡に設けられた撮像素子との位置関係を考慮する場合
血管生成部１２１ｂは、まず、粘膜と内視鏡に設けられた撮像素子との位置関係を取得する。粘膜と内視鏡の撮像素子との位置関係は、粘膜領域を構成する各画素のＲ値から血管領域を抽出し、この血管領域のエッジから算出される血管の太さをもとに判断することができる。即ち、血管の一端と他端との太さの比が所定範囲内である場合、粘膜に対して内視鏡が正面を向いていると判断され、血管の一端と他端との太さの比が所定範囲を超えている場合、粘膜に対して内視鏡の撮像素子が斜めを向いていると判断される。或いは、管腔内画像を撮像した内視鏡に加速度センサが設けられ、この加速度センサの検出値が画像付帯情報として管腔内画像に付帯されている場合には、この画像付帯情報に基づいて粘膜と内視鏡との位置関係を取得しても良い。

粘膜に対して内視鏡の撮像素子が正面に近い方向を向いている場合、血管の太さは粘膜領域において大きくは変化しない。そのため、血管生成部１２１ｂは、太さが一様な血管モデルを選択して粘膜領域に貼り付ける。

一方、粘膜に対して内視鏡の撮像素子が斜めを向いている場合、血管の太さは粘膜領域において大きく変化することがある。そのため、血管生成部１２１ｂは、太さが一様でない血管モデルを選択する。さらに、血管生成部１２１ｂは、粘膜と内視鏡の撮像素子との位置関係を判定する際に抽出した血管領域のエッジから血管の一端と他端との太さの比を算出し、血管の一端と他端との太さの比が類似するように血管モデルを回転させた上で粘膜領域に貼り付ける。具体例として、血管の太さが画面の左から右に向かって細くなっている場合、血管モデルも画面の左から右に向かって細くなるように回転させた上で粘膜領域に貼り付ける。

（２−２）粘膜領域の奥行を考慮する場合
血管生成部１２１ｂは、まず、上記（１−２）と同様にして管腔内画像における粘膜領域の奥行を判断する。奥行が深い場合、血管は細く写り、奥行が浅い場合、血管は太く写るため、血管生成部１２１ｂは、粘膜領域の奥行に応じた太さの血管モデルを選択する。或いは、血管生成部１２１ｂは、任意に選択した血管モデルを、粘膜領域の奥行に応じて拡大又は縮小しても良い。具体的には、奥行が深い場合には血管モデルを縮小し、奥行が浅い場合には血管モデルを拡大する。この際の血管モデルの拡大率又は縮小率は、粘膜領域から抽出される血管領域のエッジをもとに算出した血管の太さに基づいて、粘膜領域に存在する血管領域の太さと、血管モデルの太さとが近い値となるように決定する。

（２−３）血管の明るさを考慮する場合
血管生成部１２１ｂは、まず、粘膜領域内の血管領域を構成する各画素の画素値から輝度を算出し、さらに、各画素の輝度の平均値（平均輝度値）を算出する。そして、血管生成部１２１ｂは、予め格納している血管モデルの平均輝度値を血管領域の平均輝度値と比較し、血管領域の平均輝度値と等しい、又は血管領域の平均輝度値の所定範囲内（例えば±数１０％以内）である平均輝度値を有する血管モデルを選択する。この条件に合う血管モデルを格納していない場合、血管生成部１２１ｂは、血管領域の平均輝度値に対して最も近い平均輝度値を有する血管モデルを選択しても良い。

続いて、血管生成部１２１ｂは、粘膜領域内において、血管モデルを貼り付ける領域とその周辺の血管領域との間で輝度の差が大きくなり過ぎないように、血管モデルの輝度を変更する。具体的には、周辺の血管領域の輝度が高い領域に対しては、血管モデルの輝度を高く調整した上で、血管モデルを貼り付ける。反対に、周辺の血管領域の輝度が低い領域に対しては、血管モデルの輝度を低く調整した上で、血管モデルを貼り付ける。

（２−４）血管領域の色を考慮する場合
血管生成部１２１ｂは、まず、粘膜領域内の血管領域を構成する各画素の画素値のうちのＲ値を抽出し、各画素のＲ値の平均値（平均Ｒ値）を算出する。血管生成部１２１ｂは、予め格納している血管モデルの平均Ｒ値を血管領域の平均Ｒ値と比較し、血管領域の平均Ｒ値と等しい、又は血管領域の平均Ｒ値の所定範囲内（例えば数１０％以内）である平均Ｒ値を有する血管モデルを選択する。この条件に合う血管モデルを格納していない場合、血管生成部１２１ｂは、血管領域の平均Ｒ値に対して最も近い平均Ｒ値を有する血管モデルを選択しても良い。

続いて、血管生成部１２１ｂは、選択した血管モデルにおけるＲ値のヒストグラムを作成し、血管モデルにおけるＲ値の中央値が血管領域におけるＲ値の中央値と等しくなるようにヒストグラムを係数倍することにより、血管モデルにおけるＲ値を調整する。そして、Ｒ値を調整した血管モデルを粘膜領域に貼り付ける。

血管生成部１２１ｂは、同様の手法により、血管モデルにおけるＧ値、Ｂ値、Ｒ／Ｇ値、Ｒ／Ｂ値等を調整しても良い。

（２−５）血管領域の密度を考慮する場合
血管生成部１２１ｂは、まず、粘膜領域内の血管領域のエッジを抽出することにより、血管領域同士のピッチを算出する。そして、複数の血管モデルの中から、血管領域同士のピッチの所定範囲内（例えば数１０％以内）であるピッチを有する血管モデルを選択する。上記所定範囲内であるピッチを有する血管モデルが血管生成部１２１ｂに格納されていない場合には、血管生成部１２１ｂが格納する血管モデルのうち、血管領域同士のピッチに最も近いピッチを有する血管モデルを選択する。

血管生成部１２１ｂは、選択した血管モデルに複数の血管が含まれる場合、選択した血管モデルをそのまま粘膜領域に貼り付ける。一方、選択した血管モデルに血管が１つしか含まれていない場合、血管モデルを複製し、血管領域同士の間隔と近くなるように血管モデルの配置間隔を調整して粘膜領域に貼り付ける。

（２−６）血管の形状を考慮する場合、
血管生成部１２１ｂは、血管の形状、即ち、血管の分岐数や太さや長さに基づいて血管モデルを選択又は調整しても良い。詳細には、血管生成部１２１ｂは、粘膜領域内の血管領域からエッジを抽出し、抽出したエッジ同士の交点をカウントする。この交点の数が血管の分岐数である。血管生成部１２１ｂは、任意に選択した血管モデルにおけるエッジと粘膜領域内の血管領域から抽出したエッジとが交差するように血管モデルを粘膜領域に貼り付けることにより、分岐数を増加させる。

或いは、血管生成部１２１ｂは、粘膜領域内の血管領域を、周囲の画素の画素値を用いて埋めることにより、分岐数を減少させても良い。

また、血管生成部１２１ｂは、粘膜領域内の血管領域から抽出したエッジをもとに血管領域の太さを算出し、この太さと異なる太さの血管モデルを選択して粘膜領域に貼り付ける。それにより、粘膜領域内の血管領域の太さを変化させることができる。

また、血管生成部１２１ｂは、粘膜領域内の血管領域から抽出したエッジをもとに血管領域の長さを算出し、この長さと異なる長さの血管モデルを選択して粘膜領域に貼り付ける。それにより、粘膜領域内の血管領域の長さを変化させることができる。

血管生成部１２１ｂは、上記（２−１）〜（２−６）の手法を単独で実行しても良いし、適宜組み合わせて実行しても良い。一例として、血管領域の色を考慮して選択された血管モデルを、粘膜領域の奥行に合わせて拡大又は縮小しても良い。複数の手法を組み合わせる場合や、異なる手法により選択された複数の血管モデルを同じ粘膜領域に貼り付ける場合には、血管モデルを粘膜領域に貼り付けた後、さらに平滑化処理等を追加することで、血管モデルと粘膜領域との境界における違和感を低減させることができる。図５は、図４に示す画像に対し、さらに血管モデルを貼り付けることにより生成した新たな画像を示す模式図である。

再び図２を参照すると、ステップＳ１３に続くステップＳ１４において、画像生成部１２０は、新たに生成した画像を出力し、学習サンプルとして記憶部５０に記憶させる。その後、演算部１００の動作は終了する。

以上説明したように、本発明の実施の形態１によれば、管腔内画像から抽出した粘膜領域に対し、粘膜領域の表面性状に基づいて選択及び調整された絨毛モデルや血管モデルを貼り付けることにより新たな画像を生成するので、管腔内の状態を適切に反映した学習サンプルを得ることができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図６は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。本実施の形態２に係る画像処理装置は、図１に示す演算部１００の代わりに、図６に示す演算部２００を備える。演算部２００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

演算部２００は、粘膜領域抽出部１１０及び画像生成部１２０に加えて、画像生成部１２０が生成した新たな画像を用いて管腔内画像内の領域を識別するための識別基準を作成する識別基準作成部２１０を備える。このうち、粘膜領域抽出部１１０及び画像生成部１２０の構成及び動作は実施の形態１と同様である。

識別基準作成部２１０は、病変や病変と疑われる病変候補など、正常な粘膜とは異なる特定の特徴を有する領域を異常領域として、粘膜領域から識別するための基準を作成する。識別基準作成部２１０は、管腔内画像から抽出された粘膜領域から算出された特徴量と、画像生成部１２０が生成した新たな画像から算出された特徴量とに対して異なる重みを設定する重み設定部２１１を有する。

次に、演算部２００の動作について説明する。図７は、演算部２００の動作を示すフローチャートである。なお、図７のステップＳ１０〜Ｓ１４は全体として実施の形態１と同様であるが、ステップＳ１１において抽出された粘膜領域を記憶部５０に記憶する際には、もとの粘膜領域である旨を示すフラグを付加すると共に、ステップＳ１３において生成された画像を記憶部５０に記憶する際には、新たに生成された画像であることを示すフラグを付加しておく。以下、ステップＳ１３において生成された画像を生成画像ともいう。

ステップＳ１４に続くステップＳ２１において、識別基準作成部２１０は、ステップＳ１１において抽出された粘膜領域と、ステップＳ１３において生成された生成画像とを記憶部５０から読み出し、粘膜領域及び生成画像に基づいて識別基準を作成する。

図８は、ステップＳ２１における識別基準の作成処理を示すフローチャートである。まず、ステップＳ２１１において、識別基準作成部２１０は、粘膜領域及び生成画像の特徴量として、色特徴量、形状特徴量、テクスチャ特徴量を算出する。各特徴量の種類については、ステップＳ１１において説明したものと同様である。

続くステップＳ２１２において、重み設定部２１１は、管腔内画像から抽出された粘膜領域及び生成画像からそれぞれ算出された特徴量に対して重みを設定する。詳細には、重み設定部２１１は、粘膜領域及び生成画像に付加されたフラグをもとに、粘膜領域と生成画像とを判別し、粘膜領域の特徴量に与えられる重みの方が生成画像の特徴量に与えられる重みよりも大きくなるように、それぞれの重みを設定する。粘膜領域は、管腔内画像から抽出された実際の粘膜を写したものであるから信頼度が高く、それに対して、生成画像は、様々な仮定をもとにモデルから作成したものであるから粘膜領域よりも相対的に信頼度が低いためである。

続くステップＳ２１３において、識別基準作成部２１０は、ステップＳ２１１において算出した特徴量に対してステップＳ２１２において設定した重みを掛けあわせた上で特徴量分布を作成し、この特徴量分布に基づき、サポートベクターマシン（ＳＶＭ）等の学習器を用いて識別基準を作成する。この際、ステップＳ２１２において設定された重みを、粘膜領域及び生成画像のそれぞれの特徴量に乗じて演算を行う。

ステップＳ２１に続くステップＳ２２において、識別基準作成部２１０は、作成した識別基準を出力して記憶部５０に記憶させる。その後、演算部２００の動作は終了する。

以上説明したように、本発明の実施の形態２によれば、管腔内画像から抽出された粘膜領域、及び粘膜領域をもとに生成された画像を学習サンプルとして用いて識別基準を作成するので、信頼性の高い識別基準を作成することができる。この際に、粘膜領域及び生成画像の特徴量に与えられる重みを変えることで、識別基準の信頼性をさらに向上させることが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図９は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。本実施の形態３に係る画像処理装置は、図１に示す演算部１００の代わりに、図９に示す演算部３００を備える。演算部３００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

演算部３００は、粘膜領域抽出部１１０及び画像生成部３１０を備える。このうち、粘膜領域抽出部１１０の動作は実施の形態１と同様である。

画像生成部３１０は、粘膜領域抽出部１１０が抽出した粘膜領域を加工することにより、新たな画像を生成する。より詳細には、画像生成部３１０は、生体の粘膜以外の被写体を表す領域、即ち非粘膜領域を生成する非粘膜領域生成部３１１を有する。

非粘膜領域生成部３１１は、粘膜領域に対し、泡領域、残渣領域、若しくは処置具が写った処置具領域等を合成することにより、新たな画像を生成する。或いは、粘膜領域に対してハレーション領域若しくは暗部領域を生成又は消去することにより、新たな画像を生成する。非粘膜領域生成部３１１は、泡を表す泡モデル、残渣を表す残渣モデル、及び処置具を表す処置具モデルを各々１つ以上格納している。

次に、演算部３００の動作を説明する。図１０は、演算部３００の動作を示すフローチャートである。なお、図１０のステップＳ１０〜Ｓ１２は実施の形態１と同様である。

ステップＳ１２に続くステップＳ３１において、画像生成部３１０は、粘膜領域の表面性状に基づいて、粘膜領域に非粘膜領域を合成した新たな画像を生成する。以下、新たな画像の生成処理を、非粘膜領域の種類ごとに説明する。

（３−１）粘膜領域に対して泡領域を合成する場合
非粘膜領域生成部３１１は、粘膜領域に泡モデルを貼り付けることにより、粘膜領域に泡領域が合成された新たな画像を生成する。詳細には、非粘膜領域生成部３１１は、予め格納している泡モデルの中からいずれかの泡モデルを選択して粘膜領域に貼り付ける。泡モデルの選択方法としては、複数の泡モデルを表示部４０（図１参照）に表示するなどしてユーザに任意の泡モデルを選択させても良いし、非粘膜領域生成部３１１がランダムに選択しても良い。或いは、以下に説明するように、粘膜領域の表面性状に応じて非粘膜領域生成部３１１が泡モデルを適宜選択しても良い。以下、粘膜領域の表面性状に応じた泡モデルの選択方法及び調整方法を説明する。

（３−１−１）粘膜領域の奥行を考慮する場合
非粘膜領域生成部３１１は、まず、実施の形態１における（１−２）と同様にして管腔内画像における粘膜領域の奥行を判断する。奥行が深い場合、泡は小さく写り、奥行が浅い場合、泡は大きく写るため、非粘膜領域生成部３１１は、粘膜領域の奥行に応じた大きさの泡モデルを選択して粘膜領域に貼り付ける。或いは、任意に選択した泡モデルを、粘膜領域の奥行に応じて拡大又は縮小した上で粘膜領域に貼り付けても良い。

（３−１−２）粘膜領域の明るさを考慮する場合
非粘膜領域生成部３１１は、まず、粘膜領域を構成する各画素の画素値から輝度を算出し、さらに、各画素の輝度の平均値（平均輝度値）を算出する。そして、非粘膜領域生成部３１１は、予め格納している泡モデルの平均輝度値を粘膜領域の平均輝度値と比較し、粘膜領域の平均輝度値と等しい、又は粘膜領域の平均輝度値の所定範囲内（例えば±数１０％以内）である平均輝度値を有する泡モデルを選択する。この条件に合う泡モデルを格納していない場合、非粘膜領域生成部３１１は、粘膜領域の平均輝度値に対して最も近い平均輝度値を有する泡モデルを選択しても良い。

続いて、非粘膜領域生成部３１１は、粘膜領域内において、泡モデルを貼り付ける領域とその周辺領域との間で輝度の差が大きくなり過ぎないように、泡モデルの輝度を調整する。具体的には、粘膜領域のうち輝度が比較的高い領域に対しては、泡モデルの輝度を高く調整した上で、泡モデルを貼り付ける。反対に、粘膜領域のうち輝度が比較的低い領域に対しては、泡モデルの輝度を低く調整した上で、泡モデルを貼り付ける。

（３−１−３）泡の密度を考慮する場合
非粘膜領域生成部３１１は、粘膜領域に貼り付ける泡モデルのピッチの範囲を決定する。このピッチの範囲は、所定の範囲内でランダムに決定しても良いし、ユーザに任意のピッチの範囲を入力させることとしても良い。そして、非粘膜領域生成部３１１は、任意に選択した泡モデルを、先に決定したピッチの範囲内に収まるように重ね合わせたり、或いは間隔を開けたりしながら粘膜領域に貼り付ける。

非粘膜領域生成部３１１は、上記（３−１−１）〜（３−１−３）の手法を単独で実行しても良いし、複数の手法を適宜組み合わせて実行しても良い。複数の手法を組み合わせる場合や、形状や大きさの異なる複数の泡モデルを組み合わせて使用する場合には、泡モデルを粘膜領域に貼り付けた後、さらに平滑化処理等を追加することで、泡モデルと粘膜領域との境界における違和感を低減させることができる。

（３−２）粘膜領域に対して残渣領域を合成する場合
非粘膜領域生成部３１１は、粘膜領域に残渣モデルを貼り付けることにより、粘膜領域に残渣モデルが合成された画像を生成する。詳細には、非粘膜領域生成部３１１は、予め格納している残渣モデルの中からいずれかの残渣モデルを選択して粘膜領域に貼り付ける。残渣モデルはユーザに選択させても良いし、非粘膜領域生成部３１１がランダムに選択しても良い。或いは、以下に説明するように、粘膜領域の表面性状に応じて非粘膜領域生成部３１１が残渣モデルを適宜選択しても良い。以下、粘膜領域の表面性状に応じた残渣モデルの選択方法及び調整方法を説明する。

（３−２−１）粘膜領域の奥行を考慮する場合
非粘膜領域生成部３１１は、まず、実施の形態１における（１−２）と同様にして管腔内画像における粘膜領域の奥行を判断する。奥行が深い場合、残渣は小さく写り、奥行が浅い場合、残渣は大きく写るため、非粘膜領域生成部３１１は、粘膜領域の奥行に応じた大きさの残渣モデルを選択して粘膜領域に貼り付ける。或いは、任意に選択した残渣モデルを、粘膜領域の奥行に応じて拡大又は縮小した上で粘膜領域に貼り付けても良い。

（３−２−２）粘膜領域の明るさを考慮する場合
非粘膜領域生成部３１１は、上記（３−１−２）と同様にして粘膜領域の平均輝度値を算出する。そして、非粘膜領域生成部３１１は、予め格納している残渣モデルの平均輝度値を粘膜領域の平均輝度値と比較し、粘膜領域の平均輝度値と等しい、又は粘膜領域の平均輝度値の所定範囲内（例えば±数１０％以内）である平均輝度値を有する残渣モデルを選択する。この条件に合う残渣モデルを格納していない場合、非粘膜領域生成部３１１は、粘膜領域の平均輝度値に対して最も近い平均輝度値を有する残渣モデルを選択しても良い。

続いて、非粘膜領域生成部３１１は、粘膜領域内において、残渣モデルを貼り付ける領域とその周辺領域との間で輝度の差が大きくなり過ぎないように、残渣モデルの輝度を調整する。具体的には、粘膜領域のうち輝度が比較的高い領域に対しては、残渣モデルの輝度を高く調整した上で、残渣モデルを貼り付ける。反対に、粘膜領域のうち輝度が比較的低い領域に対しては、残渣モデルの輝度を低く調整した上で、残渣モデルを貼り付ける。

（３−２−３）残渣の密度を考慮する場合
非粘膜領域生成部３１１は、粘膜領域に貼り付ける残渣モデルのピッチの範囲を決定する。このピッチの範囲は、所定の範囲内でランダムに決定しても良いし、ユーザに任意のピッチの範囲を入力させることとしても良い。そして、非粘膜領域生成部３１１は、任意に選択した残渣モデルを、先に決定したピッチの範囲内に収まるように重ね合わせたり、或いは間隔を開けたりしながら粘膜領域に貼り付ける。

非粘膜領域生成部３１１は、上記（３−２−１）〜（３−２−３）の手法を単独で実行しても良いし、複数の手法を適宜組み合わせて実行しても良い。複数の手法を組み合わせる場合や、形状や大きさの異なる複数の残渣モデルを組み合わせて使用する場合には、残渣モデルを粘膜領域に貼り付けた後、さらに平滑化処理等を追加することで、残渣モデルと粘膜領域との境界における違和感を低減させることができる。

（３−３−１）粘膜領域にハレーション領域を生成する場合
非粘膜領域生成部３１１は、粘膜領域上でハレーション領域を生成する領域を決定する。ハレーション領域を生成する領域は、非粘膜領域生成部３１１がランダムに決定しても良いし、粘膜領域を表示部４０に表示してユーザに指定させても良い。非粘膜領域生成部３１１は、決定した領域における輝度値を所定の閾値よりも高くすることにより、当該領域をハレーション領域とする。

（３−３−２）粘膜領域からハレーション領域を消去する場合
非粘膜領域生成部３１１は、粘膜領域からハレーション領域を抽出する。詳細には、粘膜領域を構成する各画素の画素値から輝度値を算出し、輝度値が所定の閾値よりも高い領域をハレーション領域として判断する。或いは、粘膜領域を表示部４０に表示して、ハレーション領域をユーザに指定させることとしても良い。非粘膜領域生成部３１１は、ハレーション領域の周囲の画素の画素値を用いて当該ハレーション領域を補間することにより、ハレーション領域を消去する。

なお、非粘膜領域生成部３１１は、（３−３−１）及び（３−３−２）において説明したハレーション領域の生成及び消去のうちのいずれか一方を単独で実行しても良いし、両者を組み合わせて実行しても良い。

（３−４−１）粘膜領域に暗部領域を生成する場合
非粘膜領域生成部３１１は、粘膜領域上で暗部領域を生成する領域を決定する。暗部領域を生成する領域は、非粘膜領域生成部３１１がランダムに決定しても良いし、粘膜領域を表示部４０に表示してユーザに指定させても良い。非粘膜領域生成部３１１は、決定した領域における輝度値を所定の閾値よりも低くすることにより、当該領域を暗部領域とする。

（３−４−２）粘膜領域から暗部領域を消去する場合
非粘膜領域生成部３１１は、粘膜領域から暗部領域を抽出する。詳細には、粘膜領域を構成する各画素の画素値から輝度値を算出し、輝度値が所定の閾値よりも低い領域を暗部領域として判断する。或いは、粘膜領域を表示部４０に表示して、暗部領域をユーザに指定させることとしても良い。非粘膜領域生成部３１１は、暗部領域の周囲の画素の画素値を用いて当該暗部領域を補間することにより、暗部領域を消去する。

なお、非粘膜領域生成部３１１は、（３−４−１）及び（３−４−２）において説明した暗部領域の合成及び消去のうちのいずれか一方を単独で実行しても良いし、両者を組み合わせて実行しても良い。

（３−５）粘膜領域に処置具領域を合成する場合
非粘膜領域生成部３１１は、粘膜領域に処置具モデルを貼り付けることにより、粘膜領域に処置具領域が合成された新たな画像を生成する。詳細には、非粘膜領域生成部３１１は、予め格納している処置具モデルの中からいずれかの処置具モデルを選択して粘膜領域に貼り付ける。処置具モデルの選択方法としては、複数の処置具モデルを表示部４０に表示するなどしてユーザに任意の処置具モデルを選択させても良いし、非粘膜領域生成部３１１がランダムに選択しても良い。或いは、以下に説明するように、粘膜領域の表面性状に応じて非粘膜領域生成部３１１が処置具モデルを適宜選択しても良い。以下、粘膜領域の表面性状に応じた処置具モデルの選択方法及び調整方法を説明する。

（３−５−１）粘膜領域の奥行を考慮する場合
非粘膜領域生成部３１１は、まず、実施の形態１における（１−２）と同様にして管腔内画像における粘膜領域の奥行を判断する。奥行が深い場合、処置具は小さく写り、奥行が浅い場合、処置具は大きく写るため、非粘膜領域生成部３１１は、粘膜領域の奥行に応じた大きさの処置具モデルを選択して粘膜領域に貼り付ける。或いは、任意に選択した処置具モデルを、粘膜領域の奥行に応じて拡大又は縮小した上で粘膜領域に貼り付けても良い。

（３−５−２）粘膜領域の明るさを考慮する場合
非粘膜領域生成部３１１は、上記（３−１−２）と同様にして粘膜領域の平均輝度値を算出する。そして、非粘膜領域生成部３１１は、予め格納している処置具モデルの平均輝度値を粘膜領域の平均輝度値と比較し、粘膜領域の平均輝度値と等しい、又は粘膜領域の平均輝度値の所定範囲内（例えば±数１０％以内）である平均輝度値を有する処置具モデルを選択する。この条件に合う処置具モデルを格納していない場合、非粘膜領域生成部３１１は、粘膜領域の平均輝度値に対して最も近い平均輝度値を有する処置具モデルを選択しても良い。

続いて、非粘膜領域生成部３１１は、粘膜領域内において、処置具モデルを貼り付ける領域とその周辺領域との間で輝度の差が大きくなり過ぎないように、処置具モデルの輝度を調整する。具体的には、粘膜領域のうち輝度が比較的高い領域に対しては、処置具モデルの輝度を高く調整した上で、処置具モデルを貼り付ける。反対に、粘膜領域のうち輝度が比較的低い領域に対しては、処置具モデルの輝度を低く調整した上で、処置具モデルを貼り付ける。

非粘膜領域生成部３１１は、上記（３−５−１）及び（３−５−２）の手法を単独で実行しても良いし、複数の手法を適宜組み合わせて実行しても良い。複数の手法を組み合わせる場合や、形状や大きさの異なる複数の処置具モデルを組み合わせて使用する場合には、処置具モデルを粘膜領域に貼り付けた後、さらに平滑化処理等を追加することで、処置具モデルと粘膜領域との境界における違和感を低減させることができる。

ステップＳ３１に続くステップＳ３２において、画像生成部３１０は、新たに生成した画像を出力し、学習サンプルとして記憶部５０に記憶させる。その後、演算部３００の動作は終了する。

以上説明したように、本発明の実施の形態３によれば、管腔内画像から抽出した粘膜領域に対し、粘膜領域の表面性状に基づいて選択及び調整された泡モデル、残渣モデル、処置具モデルを貼り付ける、或いは、粘膜領域に対してハレーション領域又は暗部領域を生成又は消去することにより新たな画像を生成するので、管腔内の状態を適切に反映した学習サンプルを得ることができる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。図１１は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。本実施の形態４に係る画像処理装置は、図１に示す演算部１００の代わりに、図１１に示す演算部４００を備える。演算部４００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

演算部４００は、粘膜領域抽出部１１０及び画像生成部１２０に加えて、粘膜領域の属性を判定する粘膜領域属性判定部４１０と、粘膜領域の属性に基づいて新たな画像の生成方法を決定する生成方法決定部４２０とを備える。なお、粘膜領域抽出部１１０及び画像生成部１２０の構成及び動作は実施の形態１と同様である。

ここで、粘膜領域の属性には、粘膜領域内に正常な粘膜とは異なる特徴を有する異常領域が存在するか否か、異常領域が存在する場合にはその異常領域の種類、当該粘膜領域が位置する臓器の種類、粘膜領域が観察に適さない不要領域であるか否かいった特徴や性質が含まれる。このうち、観察に適さない不要領域とは、画像がボケているボケ領域や、画像に色ズレが生じている色ズレ領域のことである。

詳細には、粘膜領域属性判定部４１０は、粘膜領域から異常領域を抽出する異常領域抽出部４１１と、抽出された異常領域の種類を推定する異常種類推定部４１２と、当該粘膜領域が位置する臓器の種類を判別する臓器判別部４１３と、粘膜領域が観察に適さない不要領域であるか否かを判定する不要領域判定部４１４とを備える。

生成方法決定部４２０は、粘膜領域属性判定部４１０の判定結果、即ち粘膜領域の属性に基づいて、新たに生成する画像の数を決定する生成数決定部４２１を備える。

次に、演算部４００の動作を説明する。図１２は、演算部４００の動作を示すフローチャートである。なお、図１２のステップＳ１０、Ｓ１１は、実施の形態１と同様である。

ステップＳ１１に続くステップＳ４１において、粘膜領域属性判定部４１０は、ステップＳ１１において抽出された粘膜領域の属性を判定する。図１３は、粘膜領域の属性の判定処理を示すフローチャートである。

ステップＳ４１１において、異常領域抽出部４１１は、粘膜領域から異常領域を抽出する。詳細には、異常領域抽出部４１１は、まず、粘膜領域を構成する各画素の画素値をもとに色特徴量を算出し、予め作成されている正常な粘膜領域の識別基準を用いて閾値処理を行うことにより、正常な粘膜の特徴を有する粘膜領域を正常領域として抽出し、正常領域以外の粘膜領域を異常領域として抽出する。色特徴量としては、画素値のうちのＲ値、Ｇ値、Ｂ値や、これらの値をもとに２次的に算出される値、具体的には、Ｇ／Ｒ値又はＢ／Ｇ値等の色比、色相、彩度、明度、色差等が挙げられる。また、識別基準は、事前に収集された異常領域の色特徴量に基づいて作成されたものである。

続くステップＳ４１２において、異常種類推定部４１２は、ステップＳ４１１において抽出された異常領域の各々に対し、異常領域の種類を推定する。詳細には、まず、異常種類推定部４１２は、各異常領域について色特徴量、形状特徴量、及びテクスチャ特徴量を算出し、予め異常領域の種類別に作成されている判別基準を用いてこれらの特徴量を判別する。色特徴量としては、ステップＳ４１１において列挙した色特徴量等が用いられる。また、形状特徴量としては、異常領域の面積（画素数）、周囲長、水平フェレ径又は垂直フェレ径を含むフェレ径、ＨＯＧ特徴量、ＳＩＦＴ特徴量等が用いられる。テクスチャ特徴量としては、ＬＢＰ等が挙げられる。また、異常領域の判別基準は、種類別に事前に収集された異常領域の特徴量分布から確率密度関数を作成することにより求められる。異常種類推定部４１２は、種類別に作成された判別基準を用いて、各異常領域を出血、潰瘍、腫瘍、絨毛異常のいずれかとして推定する。

続くステップＳ４１３において、臓器判別部４１３は、粘膜領域が位置する臓器の種類を判別する。詳細には、臓器判別部４１３は、当該粘膜領域が抽出された管腔内画像の平均Ｒ値、平均Ｇ値、及び平均Ｂ値を算出し、これらの値に基づいて、管腔内画像が撮像された臓器が、食道、胃、小腸、大腸のいずれかであるかを判別する。

具体的には、臓器判別部４１３は、管腔内画像の平均Ｒ値、平均Ｇ値、及び平均Ｂ値が、食道、胃、小腸、大腸のそれぞれについて予め設定されているＲ、Ｇ、Ｂの各色要素のいずれの範囲内に含まれるかを判別する。例えば、管腔内画像の平均Ｒ値、平均Ｇ値、及び平均Ｂ値が食道のＲ、Ｇ、Ｂの各色要素の範囲内である場合、臓器判別部４１３は、判別対象の粘膜領域は食道に位置すると判別する。胃、小腸、大腸についても同様である（参考：特開２００６−２８８６１２号公報）。

続くステップＳ４１４において、不要領域判定部４１４は、当該粘膜領域が観察に適さない不要領域であるか否か、具体的には、粘膜領域がボケているか否か又は粘膜領域に色ズレが生じているか否かを判定する。

粘膜領域がボケているか否かの判定は次のように行われる。即ち、不要領域判定部４１４は、粘膜領域に対してソーベル（sobel）フィルタ、ラプラシアン（Laplacian）フィルタ等の処理を施すことにより、粘膜領域内からエッジを抽出し、粘膜領域におけるエッジ強度が所定値以下の場合、当該粘膜領域はボケていると判定する。

また、粘膜領域に色ズレが生じているか否かの判定は次のように行われる。即ち、不要領域判定部４１４は、粘膜領域内の注目画素におけるＲ、Ｇ、Ｂの各値と、注目画素と隣接する隣接画素におけるＲ、Ｇ、Ｂの各値との差を算出し、各値の差が閾値以下であるか否かを判定する。そして、不要領域判定部４１４は、Ｒ、Ｇ、Ｂの中の少なくとも１つにおいて、差が閾値よりも大きくなる場合に、注目画素に色ズレが生じていると判定する。このような注目画素に対する処理を粘膜領域全体について行うことにより、粘膜領域全体における色ズレを判定する。詳細には、色ズレが生じている画素数の合計が所定値以上である場合や、粘膜領域の画素数に対する色ズレが生じている画素数の割合が所定値以上である場合に、当該粘膜領域を色ズレ領域と判定する。その後、処理はメインルーチンに戻る。

ステップＳ４１に続くステップＳ４２において、生成数決定部４２１は、ステップＳ４１において判定された異常領域の種類、臓器の種類、及び不要領域の判定結果に基づいて、新たな画像を生成する数を決定する。詳細には、以下のように決定する。

生成数決定部４２１は、異常領域の種類の重要度に応じて、画像の生成数を決定する。具体的には、異常領域の重要度は、絨毛異常、腫瘍、潰瘍、出血の順に高くなるため、画像の生成数も、絨毛異常、腫瘍、潰瘍、出血の順に増加させる。

また、生成数決定部４２１は、臓器の種類に応じて画像の生成数を決定する。具体的には、当該内視鏡検査の検査対象である臓器の種類と、判別対象の粘膜領域が位置する臓器の種類とが一致する場合に、生成する画像の数を多く設定する。なお、検査対象である臓器の種類は、入力部３０によりユーザに入力させることとしても良いし、管腔内画像の関連情報として記憶部５０に予め記憶させておいても良い。

また、生成数決定部４２１は、当該粘膜領域が不要領域である場合、画像の生成数を少なく設定する。

続くステップＳ４３において、画像生成部１２０は、粘膜領域の表面性状を取得する。粘膜領域の表面性状の取得処理は、実施の形態１と同様である（図２のステップＳ１２参照）。

続くステップＳ４４において、画像生成部１２０は、粘膜領域の表面性状に基づいて、ステップＳ４２において決定した数の画像を新たに生成する。新たな画像を生成する個別の処理は、実施の形態１と同様である（図２のステップＳ１３参照）。

続くステップＳ４５において、画像生成部１２０は、新たに生成した画像を出力し、学習サンプルとして記憶部５０に記憶させる。その後、演算部４００の動作は終了する。

以上説明したように、本発明の実施の形態４によれば、粘膜領域の属性に応じて、当該粘膜領域をもとに生成する画像の数を変化させるので、重要な異常領域が抽出された粘膜領域や検査対象の臓器内の粘膜領域から、より多くの学習サンプルを取得することが可能となる。

（実施の形態５）
次に、本発明の実施の形態５について説明する。図１４は、本発明の実施の形態５に係る画像処理装置が備える演算部の構成を示すブロック図である。本実施の形態５に係る画像処理装置は、図１に示す演算部１００の代わりに、図１４に示す演算部５００を備える。演算部５００以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

演算部５００は、粘膜領域抽出部１１０と、粘膜領域の表面性状に基づいて新たな画像を生成する画像生成部５１０と、粘膜領域の属性を判定する粘膜領域属性判定部５２０と、粘膜領域の属性に基づいて新たな画像の生成方法を決定する生成方法決定部５３０とを備える。このうち、粘膜領域抽出部１１０の動作は実施の形態１と同様である。

画像生成部５１０は、管腔内画像から抽出された粘膜領域に対し、該粘膜領域における色情報や形状情報やテクスチャ情報を変化させることにより微細構造を生成する微細構造生成部５１１を備える。詳細には、微細構造生成部５１１は、粘膜領域の色情報を変更する色情報変更部５１１ａと、粘膜領域の形状情報を変更する形状情報変更部５１１ｂと、粘膜領域のテクスチャ情報を変更するテクスチャ情報変更部５１１ｃとを有する。

粘膜領域属性判定部５２０は、粘膜領域から異常領域を抽出する異常領域抽出部５２１と、抽出された異常領域の種類を推定する異常種類推定部５２２と、当該粘膜領域が位置する臓器の種類を判別する臓器判別部５２３とを備える。

生成方法決定部５３０は、粘膜領域属性判定部５２０による判定結果に基づいて、新たに生成される画像における微細構造の生成方法を決定する。生成方法決定部５３０は、微細構造生成部５１１が粘膜領域の色情報、形状情報、及びテクスチャ情報を変化させる際に、それぞれの情報にパラメータとして与えられる重みを決定する重み決定部５３１を備える。

次に、演算部５００の動作を説明する。図１５は、演算部５００の動作を示すフローチャートである。なお、図１５のステップＳ１０、Ｓ１１は実施の形態１と同様である（図２参照）。

ステップＳ１１に続くステップＳ５１において、粘膜領域属性判定部５２０は、ステップＳ１１において抽出された粘膜領域の属性を判定する。詳細には、異常領域抽出部５２１が粘膜領域から異常領域を抽出し、異常種類推定部５２２がこの異常領域の種類を推定する。また、臓器判別部５２３が、粘膜領域が位置する臓器の種類を判別する。異常領域の抽出処理、異常領域の種類の推定処理、及び臓器の種類の判別処理は、実施の形態４と同様である（図１３のステップＳ４１１〜Ｓ４１３参照）。

続くステップＳ５２において、生成方法決定部５３０は、粘膜領域の属性に基づいて、新たな画像の生成方法を決定する。詳細には、粘膜領域における色情報、形状情報、及びテクスチャ情報を変更する際にそれぞれの情報に与えられる重みを設定する。以下、粘膜領域の属性に基づく重みの設定方法を説明する。なお、色情報、形状情報、及びテクスチャ情報にそれぞれ与えられる重みは、合計が１となるように規格化される。

（５−１−１）異常領域が出血である場合
この場合、粘膜領域の表面の微細構造に対して色情報を優先的に変更するために、色情報の重みを形状情報及びテクスチャ情報の重みよりも大きくする。なお、形状情報及びテクスチャ情報の重みは同程度であって良い。

（５−１−２）異常領域が潰瘍である場合
この場合、粘膜領域の表面の微細構造に対して色情報及び形状情報を優先的に変更するために、色情報及び形状情報の重みをテクスチャ情報の重みよりも大きくする。なお、色情報及び形状情報の重みは同程度であって良い。

（５−１−３）異常領域が腫瘍である場合
この場合、粘膜領域の表面の微細構造に対して形状情報を優先的に変更するために、形状情報の重みを色情報及びテクスチャ情報の重みよりも大きくする。なお、色情報及びテクスチャ情報の重みは同程度であって良い。

（５−１−４）異常領域が絨毛異常である場合
この場合、粘膜領域の表面の微細構造に対してテクスチャ情報を優先的に変更するために、テクスチャ情報の重みを色情報及び形状情報の重みよりも大きくする。なお、色情報及び形状情報の重みは同程度であって良い。

（５−２−１）臓器が胃である場合
この場合、粘膜領域の表面の微細構造に対して色情報を優先的に変更するために、色情報の重みを形状情報及びテクスチャ情報の重みよりも大きくする。なお、形状情報及びテクスチャ情報の重みは同程度であって良い。

（５−２−２）臓器が小腸である場合
この場合、粘膜領域の表面の微細構造に対してテクスチャ情報を優先的に変更するために、テクスチャ情報の重みを色情報及び形状情報の重みよりも大きくする。なお、色情報及び形状情報の重みは同程度であって良い。

（５−２−３）臓器が大腸である場合
この場合、粘膜領域の表面の微細構造に対して形状情報を優先的に変更するために、形状情報の重みを色情報及びテクスチャ情報の重みよりも大きくする。なお、色情報及びテクスチャ情報の重みは同程度であって良い。

重み決定部５３１は、異常領域の種類と臓器の種類とのいずれかに基づいて重みを決定しても良いし、異常領域の種類と臓器の種類との両方に基づいて重みを決定しても良い。後者の場合、異常領域の種類に基づいて決定した重み（上記（５−１−１）〜（５−１−４）参照）と、臓器の種類に基づいて決定した重み（上記（５−２−１）〜（５−２−３）参照）との平均値を算出すれば良い。

ステップＳ５２に続くステップＳ５３において、画像生成部５１０は、ステップＳ１１において抽出された粘膜領域の表面性状を取得する。具体的には、粘膜領域の色情報として各画素の色相、形状情報として粘膜領域の輪郭、及びテクスチャ情報として各画素の輝度値を取得する。

続くステップＳ５４において、微細構造生成部５１１は、粘膜領域の表面性状に基づいて、新たな画像をステップＳ５２において決定した生成方法で生成する。この際、色情報、形状情報、テクスチャ情報の変更は個別に実行しても良いし、複数種類の情報の変更を組み合わせて実行しても良い。図１６は、新たな画像の生成処理を示すフローチャートである。以下においては、複数種類の情報の変更を組み合わせる場合を説明する。

まず、ステップＳ５４１において、色情報変更部５１１ａは、ステップＳ１１において抽出された粘膜領域の色情報を変更する。詳細には、色情報変更部５１１ａは、まず、粘膜領域を構成する各画素における色相（Ｈ値）の平均値（平均Ｈ値）を算出する。そして、この平均Ｈ値が所定の範囲内に収まるように、粘膜領域を構成する各画素のＨ値を所定間隔で変動させ、Ｈ値が異なる粘膜領域の画像を複数作成する。具体的には、生体の粘膜領域が取り得る色相（Ｈ値）として予め定められた範囲に対し、色情報の重みを掛けあわせた範囲内に平均Ｈ値が収まるようにする。例えば色情報の重みが０．９である場合、平均Ｈ値が変動可能な範囲は、生体の粘膜領域が取り得るＨ値の範囲の９０％以内となる。なお、色情報の重みがゼロである場合、ステップＳ５４１は省略される。

続くステップＳ５４２において、形状情報変更部５１１ｂは、ステップＳ５４１において色情報が変更された粘膜領域の形状情報を変更する。詳細には、Ｈ値が異なる複数の粘膜領域の画像の各々に対し、アフィン変換等の公知の幾何学的な変換処理により、粘膜領域の形状を変化させた画像を複数作成する。この際、形状情報の重みに応じて、アフィン変換等における変換量を決定する。具体的には、形状情報の重みが大きいほど変換量を多くする。なお、形状情報の重みがゼロである場合、ステップＳ５４２は省略される。

続くステップＳ５４３において、テクスチャ情報変更部５１１ｃは、ステップＳ５４２において形状情報が変更された粘膜領域のテクスチャ情報を変更する。詳細には、Ｈ値や形状が異なる粘膜領域の画像の各々に対し、粘膜領域に先鋭化フィルタや平滑化フィルタ等のフィルタ処理を施すことにより、粘膜表面のテクスチャを変化させた複数の画像を作成する。この際、テクスチャ情報の重みに応じて、フィルタ処理におけるパラメータを決定する。具体的には、テクスチャ情報の重みが大きいほど、極端な先鋭化や、極端な平滑化が許容されるようにパラメータを決定する。なお、テクスチャ情報の重みがゼロである場合、ステップＳ５４３は省略される。その後、処理はメインルーチンに戻る。

ステップＳ５４に続くステップＳ５５において、画像生成部５１０は、新たに生成した画像を出力し、学習サンプルとして記憶部５０に記憶させる。その後、演算部５００の動作は終了する。

以上説明したように、本発明の実施の形態５によれば、粘膜領域の属性に応じて、粘膜領域の色情報、形状情報、及びテクスチャ情報を変更することにより新たな画像を生成するので、粘膜領域の状態を適切に反映した学習サンプルを得ることができる。

以上説明した実施の形態１〜５は、記憶装置に記憶された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜５に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記憶媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

本発明は、実施の形態１〜５に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記憶部
５１ プログラム記憶部
１００、２００、３００、４００、５００ 演算部
１１０ 粘膜領域抽出部
１２０、３１０、５１０ 画像生成部
１２１、５１１ 微細構造生成部
１２１ａ 絨毛生成部
１２１ｂ 血管生成部
２１０ 識別基準作成部
２１１ 重み設定部
３１１ 非粘膜領域生成部
４１０、５２０ 粘膜領域属性判定部
４１１、５２１ 異常領域抽出部
４１２、５２２ 異常種類推定部
４１３、５２３ 臓器判別部
４１４ 不要領域判定部
４２０、５３０ 生成方法決定部
４２１ 生成数決定部
５１１ａ 色情報変更部
５１１ｂ 形状情報変更部
５１１ｃ テクスチャ情報変更部
５３１ 重み決定部

Claims (20)

1. 生体の管腔内を撮像した管腔内画像から粘膜領域を抽出する粘膜領域抽出部と、
   前記粘膜領域の表面性状を取得し、該表面性状に基づいて前記管腔内画像における前記粘膜領域を加工することにより、前記管腔内画像とは異なる画像を生成する画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 前記粘膜領域抽出部が抽出した前記粘膜領域と、前記画像生成部が生成した前記画像とを構成する各画素の特徴量を算出し、該特徴量に基づいて、前記粘膜領域が特定の特徴を有するか否かを識別するための識別基準を作成する識別基準作成部をさらに備える、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記識別基準作成部は、前記粘膜領域及び前記画像からそれぞれ算出された前記特徴量に対して重みを設定する重み設定部を備え、前記重み設定部により設定された重みが与えられた前記特徴量に基づいて前記識別基準を作成する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像生成部は、前記粘膜領域に対し、生体の粘膜における微細構造を表す領域を合成することにより前記画像を生成する、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記微細構造を表す領域は、絨毛領域と血管領域とのうちの少なくともいずれかである、ことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像生成部は、前記粘膜領域に対し、生体の粘膜以外の被写体を表す領域を合成することにより前記画像を生成する、ことを特徴とする請求項１に記載の画像処理装置。
7. 前記粘膜領域の属性を判定する粘膜領域属性判定部と、
   前記粘膜領域属性判定部が判定した前記粘膜領域の属性に応じて、前記画像生成部が実行する前記画像の生成方法を決定する生成方法決定部と、
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
8. 前記粘膜領域属性判定部は、
   前記粘膜領域から特定の特徴を有する領域を正常領域として抽出し、該正常領域以外の前記粘膜領域を異常領域として抽出する異常領域抽出部と、
   前記異常領域の種類を推定する異常領域推定部と、
   を備える、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記粘膜領域属性判定部は、前記粘膜領域が位置する臓器の種類を判別する臓器判別部を備える、ことを特徴とする請求項７に記載の画像処理装置。
10. 前記粘膜領域属性判定部は、前記粘膜領域が観察に適さない不要領域であるか否かを判定する不要領域判定部を備える、ことを特徴とする請求項７に記載の画像処理装置。
11. 前記生成方法決定部は、前記粘膜領域の属性に応じて、前記画像生成部が生成する前記画像の数を決定する、ことを特徴とする請求項７に記載の画像処理装置。
12. 前記粘膜領域属性判定部は、
    前記粘膜領域から特定の特徴を有する領域を正常領域として抽出し、該正常領域以外の前記粘膜領域を異常領域として抽出する異常領域抽出部と、
    前記異常領域の種類を推定する異常領域推定部と、
    を備え、
    前記生成方法決定部は、前記異常特徴の種類に応じて前記画像の数を決定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記粘膜領域属性判定部は、前記粘膜領域が位置する臓器の種類を判別する臓器判別部を備え、
    前記生成方法決定部は、前記臓器の種類に応じて前記画像の数を決定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 前記粘膜領域属性判定部は、前記粘膜領域が観察に適さない不要領域であるか否かを判定する不要領域判定部を備え、
    前記生成方法決定部は、前記粘膜領域が前記不要領域であるか否かに応じて前記画像の数を決定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
15. 前記画像生成部は、前記粘膜領域における色情報、形状情報、及びテクスチャ情報のうちの少なくともいずれかを変化させることにより前記画像を生成し、
    前記生成方法決定部は、前記粘膜領域属性判定部が判定した前記粘膜領域の属性に応じて、前記色情報、前記形状情報、及び前記テクスチャ情報のうちの少なくともいずれかの変化のさせ方を決定する、
    ことを特徴とする請求項７に記載の画像処理装置。
16. 前記生成方法決定部は、前記粘膜領域の属性に応じて、前記色情報、前記形状情報、及び前記テクスチャ情報を変化させる際にそれぞれに与えられる重みを決定する、ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記粘膜領域属性判定部は、
    前記粘膜領域から、特定の特徴を有する領域を異常領域として抽出する異常領域抽出部と、
    前記特定の特徴の種類を推定する異常領域推定部と、
    を備え、
    前記生成方法決定部は、前記特定の特徴の種類に応じて前記重みを決定する、
    ことを特徴とする請求項１６に記載の画像処理装置。
18. 前記粘膜領域属性判定部は、前記粘膜領域が位置する臓器の種類を判別する臓器判別部を備え、
    前記生成方法決定部は、前記臓器の種類に応じて前記重みを決定する、
    ことを特徴とする請求項１６に記載の画像処理装置。
19. 生体の管腔内を撮像した管腔内画像から粘膜領域を抽出する粘膜領域抽出ステップと、
    前記粘膜領域の表面性状を取得し、該表面性状に基づいて前記管腔内画像における前記粘膜領域を加工することにより、前記管腔内画像とは異なる画像を生成する画像生成ステップと、
    を含むことを特徴とする画像処理方法。
20. 生体の管腔内を撮像した管腔内画像から粘膜領域を抽出する粘膜領域抽出ステップと、
    前記粘膜領域の表面性状を取得し、該表面性状に基づいて前記管腔内画像における前記粘膜領域を加工することにより、前記管腔内画像とは異なる画像を生成する画像生成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
    

Images