WO2006129430A1

WO2006129430A1 - 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム

Info

Publication number: WO2006129430A1
Application number: PCT/JP2006/308330
Authority: WO
Inventors: Ryoko Inoue; Tetsuo Nonami
Original assignee: Olympus Medical Systems Corp.
Priority date: 2005-06-01
Filing date: 2006-04-20
Publication date: 2006-12-07
Also published as: EP1897483A4; US20070135715A1; CN101184430A; KR20080020652A; EP1897483A1; US8581973B2; JP4767591B2; KR100991915B1; CN100558289C; JP2006334115A

Abstract

　内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し、上記算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別することにより、大量に撮像された内視鏡観察装置による内視鏡画像の中から、出血部位が撮像された画像を容易に、かつ正確に抽出することが可能な内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムを提供する。

Description

明細書

内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム

技術分野

[0001] 本発明は、管腔内を自走して観察部位を撮像する内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムに関し、特に、内視鏡画像に基づいて出血部位を特定することにより内視鏡診断を支援する内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムに関する。

背景技術

[0002] 従来、内視鏡は医療用分野及び工業用分野で広く採用されている。近年の医療用内視鏡には、その形状をカプセル形状にして挿入部を不要としている、所謂カプセル内視鏡なるものがある。このカプセル内視鏡は、撮像機能と無線通信機能とを有しており、観察 (検査)のために患者のロカ飲込まれた後、人体力自然排出されるまでの観察期間中に、胃、小腸等の臓器を順次撮像し、撮像による画像情報 (画像を表現する電子データ）を順次外部に無線送信するものである。

[0003] このようにして無線送信された画像情報は、患者の体外に設けられた受信機により受信され所定のメモリに蓄積されるようになっており、その後、必要に応じて読み出し表示装置に表示等することにより、医師の診断等に利用することができるようになっている。

[0004] し力しながら、このようなカプセル内視鏡は、通常の内視鏡と異なり、患者の口から飲み込まれてから自然排出されるまでの期間が観察期間となることから、その観察期間が例えば 8時間乃至 10時間以上といった具合に長時間におよぶこととなり、この間の撮像により得られた画像情報の数は膨大である。

[0005] このことから、診断等の段階にお!、て、このような膨大な数の画像情報を短時間で把握することは容易ではなぐまた、膨大な数の画像情報の中から所望の画像情報、例えば疾患部位等が撮影された画像に係る画像情報を探し出すのも容易ではない [0006] また、カプセル内視鏡に限らず、通常の内視鏡を含む内視鏡検査における診断は、医師の主観に依存している部分が多大であり、画像診断の品質の向上及び読影時間の短縮を目的とした出病巣の存在を画像データから検出するコンピュータ診断支援（CAD : Computer Aided Diagnosis)の実現が望まれている。この CADを利用した内視鏡診断支援装置は、画像内における関心領域 (ROI : Region Of Interest)から算出された様々な特徴量を用い、閾値処理あるいは統計的 ·非統計的識別器を用いて診断対象とする画像がどのような所見や病変に分類されるのかを医師に提示することにより、客観的 '定量的な診断の支援を行ない、また病変が疑われる画像を選択することで医師の読影負担を軽減するものである。

[0007] このような内視鏡画像を用いた診断において、出血の存在には様々な病理学的な理由が考えられ、出血の検出にぉ、て、くつかのアプローチが用いられてきた。その 1つに、出血部の色相、彩度、明度のサンプル値と、その画像における通常粘膜の色相、彩度、明度のサンプル値とを予め設定しておき、対象領域の値がどちらに近いのかを判定することにより、通常粘膜であるのか出血部であるのかを判別する手法が開示されている (例えば、特許文献 1参照。 ) o

特許文献 1：国際公開第 02Z073507号パンフレット

発明の開示

[0008] しかしながら、出血部の色相、彩度、明度のサンプル値と、その画像における通常粘膜の色相、彩度、明度のサンプル値とを予め設定しておき、対象領域の値がどちらに近いのかを判定することにより、通常粘膜であるのか出血部であるのかを判別する手法は、その判別結果がサンプル値に依存してしまうという問題点があった。

[0009] 本発明は、上記事情に鑑みてなされたものであり、大量に撮像された内視鏡観察装置による内視鏡画像の中から、出血部位が撮像された画像を容易に、かつ正確に抽出することが可能な内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムを提供することを目的にしている。

[0010] 本発明は、上記課題を解決するため、下記のような構成を採用した。

すなわち、本発明の一態様によれば、本発明の内視鏡診断支援方法は、内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行する内視鏡診断支援方法であって、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し、上記算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別することを特徴とする。

[0011] また、本発明の内視鏡診断支援方法は、さらに、上記判別された画像領域を含む内視鏡画像を選択することが望まし、。

また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記算出された上記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を判断することが望ましい。

[0012] また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、上記出血部位を判別する際に、上記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を判断することが望ましヽ。

[0013] また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記複数の画像領域間の相違を判断する際、上記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較することが望ましい。

[0014] また、本発明の内視鏡診断支援方法は、上記所定マージンが、変動パラメータにより動的に変動することが望ましい。

また、本発明の内視鏡診断支援方法は、上記変動パラメータが、標準偏差、色度変動係数、変動値またはグラディエントであることが望ま U、。

[0015] また、本発明の内視鏡診断支援方法は、上記変動パラメータが、上記算出した平均色度であることが望まヽ。

また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記算出された上記内視鏡画像を構成する全画像領域の色調の平均値からの色度偏差に基づ、て、上記複数の画像領域間の相違を判断することが望ま、。 [0016] また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値からの色度偏差を算出し、上記出血部位を判別する際に、上記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて、上記複数の画像領域間の相違を判断することが望ましい。

[0017] また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、上記内視鏡画像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号力も色調を算出することが望ましい。

[0018] また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、上記内視鏡画像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することが望ましい。

また、本発明の一態様によれば、本発明の内視鏡診断支援装置は、内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置であって、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出する色調算出手段と、上記色調算出手段によつて算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する出血部位判別手段とを備えることを特徴とする。

[0019] また、本発明の内視鏡診断支援装置は、上記出血部判別手段によって判別された画像領域を含む内視鏡画像を選択する出血内視鏡画像選択手段さらに備えることが望ましい。

また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記色調算出手段によって算出された上記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を判断することが望ましい。

[0020] また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記出血内視鏡画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、上記出血部位判別手段が、上記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を判断することが望ましい。

[0021] また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記複数の画像領域間の相違を判断する際、上記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較することが望ましい。

[0022] また、本発明の内視鏡診断支援装置は、上記所定マージンが、変動パラメータにより動的に変動することが望ましい。

また、本発明の内視鏡診断支援装置は、上記変動パラメータが、標準偏差、色度変動係数、変動値またはグラディエントであることが望ま U 、。

[0023] また、本発明の内視鏡診断支援装置は、上記変動パラメータが、上記算出した平均色度であることが望ましヽ。

また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記色調算出手段によって算出された上記内視鏡画像を構成する全画像領域の色調の平均値力もの色度偏差に基づ、て、上記複数の画像領域間の相違を判断することが望ましい。

[0024] また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記出血内視鏡画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値からの色度偏差を算出し、上記出血部位判別手段が、上記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて、上記複数の画像領域間の相違を判断することが望ま U 、。

[0025] また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記内視鏡画像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号から色調を算出することが望ましい。

[0026] また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記内視鏡画像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することが望ましい。

また、本発明の一態様によれば、本発明の内視鏡診断支援プログラムは、内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行させるための内視鏡診断支援プログラムであつて、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出する手順と、上記算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する手順とを実行させるための内視鏡診断支援プログラムまたは内視鏡診断支援プログラム製品である。

図面の簡単な説明

[0027] [図 1]本発明を適用した内視鏡診断支援装置を含むカプセル内視鏡システムの全体構成図である。

[図 2]内視鏡診断支援装置 7のシステム構成を説明するための図である。

[図 3]本発明を適用した内視鏡診断支援装置 7が実行する内視鏡診断支援処理の流れ (その 1)を示すフローチャートである。

[図 4]出血部位を含まな、画像の色度分布図である。

[図 5]出血部位を含む画像の色度分布図である。

[図 6]本発明を適用した内視鏡診断支援装置 7が実行する内視鏡診断支援処理の流れ (その 2)を示すフローチャートである。

[図 7]通常粘膜の領域のみに基づいて平均値を算出する処理の流れを示すフローチヤートである。

[図 8]色度分布の中心付近についての領域に基づいて平均値を算出する処理の流れを示すフローチャートである。

[図 9]赤色成分に対する緑色成分の比 gZr (i)の分布を示す図である。

[図 10]領域の位置関係を示す図である。

[図 11]黄色の色度を有する粘膜領域に存在する出血部位を識別する内視鏡診断支援処理の流れを示すフローチャートである。

[図 12]複数のカテゴリにより出血部位の抽出条件が異なる例の内視鏡診断支援処理の流れを示すフローチャートである。

発明を実施するための最良の形態

[0028] 以下、図面を参照しながら本発明の実施の形態について述べる。図 1は、本発明を適用した内視鏡診断支援装置を含むカプセル内視鏡システムの全体構成図である。

[0029] 図 1において、カプセル内視鏡システム 1は、パッケージ 3にパッケージングされたカプセル型の内視鏡観察装置 2、患者 4に着用させるジャケット 5、そのジャケット 5に着脱自在の受信機 6、本発明を適用した内視鏡診断支援装置 7、 CF (コンパクトフラッシュ (登録商標)）メモリリーダ Zライタ 8、ラベルプリンタ 9、内視鏡フアイリング装置 1 0、及び LAN等のネットワーク 11により構成されて、る。

[0030] 内視鏡観察装置 2には、不図示の撮像部と無線通信部等が設けられ、撮像部により撮像された画像情報 (撮像画像に係る画像情報)が無線通信部により外部に無線送信可能に設けられている。

[0031] ジャケット 5には、内視鏡観察装置 2の無線通信部から送信される撮像画像に係る画像情報の電波を捕捉するアンテナ 5a, 5b, 5c,及び 5dが設けられ、受信機 6との間で無線もしくはケーブルによる有線にて通信可能に設けられている。

[0032] 受信機 6には、ジャケット 5から直接電波で画像情報を受信する場合に用いられるアンテナ 6a、観察 (検査）に必要な情報を表示する表示部 6b、及び観察 (検査）に必要な情報を入力する入力部 6cが設けられている。また、受信機 6は、受信した画像情報が記憶される CFメモリ 12を着脱可能に装着することができる。

[0033] 内視鏡診断支援装置 7は、本体 7a、表示装置 7b、キーボード 7c、マウス 7d等から構成され、医師等が内視鏡観察装置 2により撮影された患者体内の臓器等の画像に基づいて診断を行なうための処理機能を有している。内視鏡診断支援装置 7は、受信機 6、 CFメモリリーダ/ライタ 8、ラベルプリンタ 9とそれぞれ通信可能に接続するィンターフェイスを有しており、 CFメモリ 12のリード Zライト、カルテ印刷等を行なう。また、内視鏡診断支援装置 7は、例えば受信機 6から転送された患者体内の撮像画像に係る画像情報に基づいて表示部 7bに臓器等の画像を表示する。更に、内視鏡診断支援装置 7は、ネットワーク 11に接続するための通信機能を有しており、ネットヮーク 11を介して内視鏡フアイリング装置 10に患者の診察結果等を蓄積する。尚、内視鏡フアイリング装置 10は、内視鏡診断支援装置 7に内蔵されていても良い。

[0034] 図 1に示したように、検査を開始する前において、パッケージ 3から内視鏡観察装置 2が取り出され、患者 4のロカ当該内視鏡観察装置 2が飲み込まれると、当該内視鏡観察装置 2は、食道を通過し、消化管腔の蠕動により体腔内を進行し、逐次体腔内の像を撮像する。

[0035] そして、必要に応じてまたは随時撮像結果について内視鏡観察装置 2から撮像画像に係る画像情報の電波が出力され、ジャケット 5の各アンテナ 5a, 5b, 5c, 5dでその電波が捕捉される。受信電波強度の高いアンテナ 5a, 5b, 5cまたは 5dからの信号が体外の受信機 6へ送信される。

[0036] 受信機 6においては、逐次受信される撮像画像に係る画像情報が CFメモリ 12に格納される。尚、この受信機 6は内視鏡観察装置 2の撮像開始とは同期しておらず、入力部 6cの操作により受信開始と受信終了とが制御される。また、撮像画像に係る画像情報としては、動画的に表示するために複数コマ Z秒で撮像した静止画像に係る画像情報でもよいし、通常の動画像に係る画像情報でもよいが、ここでは、静止画像に係る画像情報とする。

[0037] 内視鏡観察装置 2による患者 4の観察 (検査）が終了すると、 CFメモリ 12に格納されている撮像画像に係る画像情報がケーブルを介して内視鏡診断支援装置 7に転送される。或いは、その撮像画像に係る画像情報が格納されている CFメモリ 12が C Fメモリリーダ/ライタ 8に装着され、撮像画像に係る画像情報が CFメモリカード/ライタ 8を介して内視鏡診断支援装置 7に転送されるようにすることも可能である。

[0038] 内視鏡診断支援装置 7では、転送されてきた撮像画像に係る画像情報が患者別に記憶され、必要に応じて、特定の患者の撮像画像に係る画像情報が読み出され、表示部 7bにより画像表示される。これにより、超音波プローブ、通常の内視鏡等では到達し得ない体深部 (小腸等)も含め、人体の消化管のすべてに亙って、生理学的研究の有用なデータ獲得や病変の診断を行なうことができる。

[0039] ところで、内視鏡観察装置 2は、前述のとおり、消化管腔の蠕動に委ねて移動するものであるから、移動と停止を繰り返しながら撮像を行なう。従って、この間に撮像された画像情報に係る画像の総数は膨大となるものの、時系列に連続する画像は、同一或いは略同一の画像となることが多くなると、う特徴を有して、る。

[0040] 内視鏡診断支援装置 7では、このような時系列に連続する画像が同一或いは略同一の画像となる多数の画像を表示する際に、その多数の画像を容易に把握するのに適した表示であって、その多数の画像の中から所望の画像、例えば疾患部位が撮影された画像を容易に探し出すのに適した表示を行なうことができるようになつている。

[0041] 次に、本内視鏡診断支援装置 7の構成及び動作について、更に詳細に説明する。

図 2は、内視鏡診断支援装置 7のシステム構成を説明するための図である。

図 2におヽて、画像処理及び情報処理を実行する内視鏡診断支援装置の本体 7a は、一般にパーソナルコンピュータが用いられており、生体内を撮像して画像信号を出力する内視鏡観察装置 2の出力する画像信号力画像データを生成するとともに生成された画像データを蓄積する内視鏡フアイリング装置 10に蓄積されている画像データをネットワーク 11経由で取得し、画像データに対して各種処理を実行し、処理結果を表示装置 7bに表示する。処理を実行する画像データの指定、指定された画像データの取得表示、処理実行の指示は、キーボード 7c及びマウス 7dと力もなる操作装置を用いた操作によって行なわれる。

[0042] また、本体 7aは、制御'処理を実行する CPU21と、処理プログラム 'データを記憶するメモリ 24と、ハードディスク力もなる記憶装置 7eとの間で情報の読み書きを実行する外部記憶 IZF25と、外部機器との通信を実行するネットワークカード 21と、操作装置との入出力を実行する操作 IZF22と、表示装置 7bにビデオ信号を出力するグラフィックボード 26と力バス 27に接続されており、バス 27を介して相互に通信を行なう。

[0043] ネットワークカード 21は、 LAN上に接続されている内視鏡フアイリング装置 10とデータの送受信を行なう。操作 IZF22は、操作装置であるキーボード 7c及びマウス 7d によって入力された入力信号を受け取り、必要なデータ処理を実行する。

[0044] 記憶装置 7eは、本体 7aに接続されており、解析処理を実行する内視鏡診断支援プログラムを格納している。内視鏡診断支援プログラムは、複数の実行ファイルまたは動的リンクライブラリファイルまたは設定ファイルカゝら構成され、内視鏡画像を分割することにより得られた複数の各画像領域の色信号力色調を算出し、算出された各画像領域の色調に基づヽて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する。 [0045] 外部記憶 IZF25は、記憶装置 7eに記憶されている内視鏡診断支援プログラムを読み込み、メモリ 24に記憶させる。

CPU23は、メモリ 24に記憶された内視鏡診断支援プログラムを実行することにより

、内視鏡画像の取得および内視鏡診断支援処理を含む画像解析処理を行なう。

[0046] 次に、図 3乃至図 12を用いて内視鏡診断支援装置 7が実行する内視鏡診断支援の動作について説明する。尚、本内視鏡診断支援の動作は、前述のとおり、 CPU 13 が ROM14に予め格納されている制御プログラムを読み出し実行することによって行われる動作である。

[0047] 図 3は、本発明を適用した内視鏡診断支援装置 7が実行する内視鏡診断支援処理の流れ (その 1)を示すフローチャートである。

図 3に示した内視鏡診断支援処理は、画像情報における平均色度を算出し、この算出して平均色度からの色度偏差に基づいて、あるいは絶対色度に基づいて、出血部位を識別するものである。

[0048] まず、ステップ S31において、内視鏡診断支援装置 7は内視鏡フアイリング装置 10 から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内視鏡観察装置 2が撮像した画像情報を取得する。

[0049] ステップ S32にお!/、て、ステップ S31で取得した画像データを複数（例えば、 M X N 個）の領域に分割する。ここで、複数の領域に分割するとは、例えば縦 288画素 X横

288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分割することをいい、その場合、 M = 36、 N = 36となる。

[0050] ステップ S33乃至 S36において、ステップ S32で分割した各領域の色度を算出する

。すなわち、ステップ S33で変数 iに 1を代入して処理を開始し、ステップ S34およびステップ S35において、 i番目の領域 (i= l乃至 M X N)における色度として、三原色成分の赤色成分に対する緑色成分の比 (gZr (i) = G (i) ZR (i) )と緑色成分に対する青色成分の比 (bZg (i) =B (i) /G (i) )を算出する。

[0051] そして、ステップ S37において、ステップ S35で算出した 1番目力 M X N番目までの gZr (i)の平均値 MgZrおよび bZg (i)の平均値 MbZgを算出する。

次に、ステップ S38乃至 S42において、ステップ S32で分割した各領域が出血部位を含んでいる力否かを判断する。すなわち、ステップ S 38で変数 iに 1を代入して処理を開始し、ステップ S39において、 gZr (i)が MgZrに所定マージンをカ卩えた値より小さくかつ bZg (i)が MbZgに所定マージンを加えた値より大きいか否かを判断する。 gZr (i)が MgZrに所定マージン (例えば、—0. 1)を加えた値より小さくかつ bZg (i)が MbZgに所定マージン (例えば、—0. 01)を加えた値より大きいと判断した場合 (ステップ S39 :YES)は、ステップ S40において、 i番目の領域は出血部位を含んでいると判断する。

[0052] ここで、 MgZrに所定マージンを加えたり、 Mb/g (i)に所定マージンを加えたりしたのは、図 4に示した出血部位を含まな、画像の色度分布図と図 5に示した出血部位を含む画像の色度分布図とから明らかなように、赤色成分に対する緑色成分の比が平均値 MgZrに所定マージンを加えた値より小さぐかつ緑色成分に対する青色成分の比が平均値 MbZgに所定マージンを加えた値より大きい領域力出血部位を示す力もである。また、 g/r (i)が所定の絶対出血閾値 ZgZrより小さぐかつ bZg (i)が所定の絶対出血閾値 ZbZgより大きければ、平均値 MgZr、 MbZgに因らず i 番目の領域は出血部位を含んでいると判断してもよい。これにより、大出血領域が含まれるために平均値 MgZrおよび MbZgが出血部位の領域に大きく偏ってしまう場合にも出血部位の存在を判断することが可能となる。

[0053] 以上が、画像情報における平均色度を算出し、この算出した平均色度からの色度偏差に基づいて、あるいは絶対色度に基づいて、出血部位を識別する内視鏡診断支援処理につ!、ての説明である。

[0054] ところが、出血部位が存在する画像データにおいては、画像粘膜平均値が出血部位の方に偏ってしまい、この平均値からの色度偏差を用いることにより誤った出血部位の識別をしてしまう可能性がある。

[0055] そこで、異物や出血部位の影響の小さ、通常粘膜のみの画像データ力画像粘膜平均値を算出することが可能な内視鏡診断支援処理について説明する。

図 6は、本発明を適用した内視鏡診断支援装置 7が実行する内視鏡診断支援処理の流れ (その 2)を示すフローチャートである。

[0056] まず、ステップ S61乃至 S63において、時系列に取得された過去の画像データの情報を用いて粘膜平均値を算出する。具体的には、ステップ S61において、過去に取得した画像データを時系列に全て取得し、ステップ S62において、取得した画像データのうち任意の画像データ Pjを取得し、ステップ S63において、画像データ Pjより時系列的に 1つ前力も n個前までの画像データ Pj-1から Pj-nまでの画像データのうち、既に内視鏡診断支援処理によって出血部位を含むと判断された領域以外の領域 (非出血部位である領域)のデータを用いて、平均色度 MgZrおよび MbZgを算出する。

[0057] 次に、ステップ S64にお!/、て、ステップ S62で取得した画像データ Pjを複数（例えば、 M X N個）の領域、例えば縦 288画素 X横 288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分割する。

[0058] ステップ S65乃至 S70において、ステップ S62で分割した各領域の色度を算出し、その各領域が出血部位を含んでいる力否かを判断する。すなわち、ステップ S65で変数 iに 1を代入して処理を開始し、ステップ S66において、 i番目の領域 (i= l乃至 M X N)における色度として、三原色成分の赤色成分に対する緑色成分の比 (gZr (i ) =G (i) ZR (i) )と緑色成分に対する青色成分の比 (bZg (i) = B (i) /G (i) )を算出する。そして、ステップ S67において、 gZr(i)が MgZrに所定マージンをカ卩えた値より小さくかつ bZg(i)が MbZgに所定マージンを加えた値より大きいか否かを判断する。 gZr(i)が MgZrに所定マージン (例えば、—0. 1)をカ卩えた値より小さくかつ bZ g (i)が MbZgに所定マージン (例えば、—0. 01)を加えた値より大きいと判断した場合 (ステップ S67 : YES)は、ステップ S68において、 i番目の領域は出血部位を含んでいると判断する。

[0059] このように、時系列に取得され、既に出血部位を含んでいる力否かの判断がされた過去の画像データに基づいて平均色度 MgZrおよび MbZgを算出することにより、観察対象の部位における通常粘膜の平均色度に基づいた内視鏡診断支援処理を実行することができる。

[0060] また、分割された領域のうち通常粘膜に属する領域のみに限定し、それらの領域の平均値を算出することも可能である。

図 7は、通常粘膜の領域のみに基づいて平均値を算出する処理の流れを示すフロ一チャートである。

[0061] まず、ステップ S71において、内視鏡診断支援装置 7は内視鏡フアイリング装置 10 から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内視鏡観察装置 2が撮像した画像情報を取得する。

[0062] そして、ステップ S72にお、て、ステップ S71で取得した画像データを複数 (例えば、 M X N個）の領域、例えば縦 288画素 X横 288画素の画像データを分割して縦 8 画素 X横 8画素の領域を縦 36 X横 36個に分割する。

[0063] 次に、ステップ S73乃至 S78において、ステップ S72で分割した各領域の色度を算出し、その各領域が通常粘膜であるか否かを判断する。すなわち、ステップ S73で変数 iに 1を代入して処理を開始し、ステップ S74において、 i番目の領域 (i= l乃至 M X N)における色度として、三原色成分の赤色成分に対する緑色成分の比 (gZr (i) = G (i) ZR (i) )と緑色成分に対する青色成分の比 (bZg (i) = B (i) /G (i) )を算出する。そして、ステップ S75において、 gZr (i)が所定値 (threl l)より大きくかつ b/g (i)が所定値 (threl2)より大き、か否かを判断する。 g/r (i)が所定値 (threl 1)より大きくかつ bZg (i)が所定値 (threl 2)より大き、と判断した場合 (ステップ S75： YE S)は、ステップ S76において、 i番目の領域は通常粘膜であると判断して、フラグを立てる（変数 flagに値 NENを代入する）。

[0064] そして、ステップ S79において、ステップ S76で通常粘膜であると判断された領域、すなわち変数 flagに値 NENが代入されて!、る領域につ!、ての平均色度 MgZrおよび MbZgを算出する。

[0065] また、分割された領域の色度分布を参照し、異物や出血部位等の影響の少な!/、であろう分布中心付近についての平均値を算出することも可能である。

図 8は、色度分布の中心付近につ!、ての領域に基づ!/、て平均値を算出する処理の流れを示すフローチャートである。

[0066] まず、ステップ S81において、内視鏡診断支援装置 7は内視鏡フアイリング装置 10 から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内視鏡観察装置 2が撮像した画像情報を取得する。

[0067] ステップ S82にお!/、て、ステップ S81で取得した画像データを複数（例えば、 M X N 個）の領域、例えば縦 288画素 X横 288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分割する。

[0068] ステップ S83乃至 S86において、ステップ S82で分割した各領域の色度を算出する。すなわち、ステップ S83で変数 iに 1を代入して処理を開始し、ステップ S84およびステップ S85において、 i番目の領域 (i= l乃至 M X N)における色度として、三原色成分の赤色成分に対する緑色成分の比 (gZr (i) = G (i) ZR (i) )と緑色成分に対する青色成分の比 (bZg (i) =B (i) /G (i) )を算出する。

[0069] そして、ステップ S87において、ステップ S84で算出した各領域の色度のうち、赤色成分に対する緑色成分の比 gZr (i)を昇順に並べ（図 9参照）、ステップ S88において、下から所定割合 (x%)以下の部分および上から所定割合 (y%)以上の部分を除く領域を通常粘膜として定め（図 9参照）、ステップ S89において、ステップ S88で通常粘膜と定めた領域につ!、ての平均値 MgZrおよび bZg (i)の平均値 MbZgを算出する。

[0070] 次に、繊毛領域や胃炎等の慢性疾患領域による、粘膜の色度変動に対する出血部位の誤抽出を削減することが可能な内視鏡診断支援処理について説明する。処理の流れは、出血部位を含む領域の抽出条件が異なること以外、図 3または図 6 と同様である。すなわち、図 3のステップ S39または図 6のステップ S67で示した条件「gZr (i)が MgZrに所定マージンをカ卩えた値より小さくかつ bZg (i)が MbZgに所定マージンをカ卩えた値より大きいか否力」においての各所定マージンが異なる。

[0071] 図 3または図 6に示した例では、 MgZrにカ卩えた所定マージンを『ー0. 1』、 Mb/g

(i)に加えた所定マージンを『一 0. 01』とした力ここでは、 MgZrに加える所定マージンを『一 0. 1— A』、 Mb/g (i)にカ卩える所定マージンを『一0. 01 + B』とする。

[0072] 変数 Aは、分割された領域 iの周辺領域における gZr (i)の値の標準偏差 X kであり、変数 Bは、分割された領域 iの周辺領域における bZg (i)の値の標準偏差 X kである。すなわち、偏差が大きい領域で出血部位の抽出条件がさらに厳しくなり、繊毛領域や胃炎等の慢性疾患領域による、粘膜の色度変動に対する出血部位の誤検出を削減することが可能となる。

[0073] また、変数 Aを、分割された領域 iの周辺領域における gZr (i)の値の変動係数 X k とし、変数 Bを、分割された領域 iの周辺領域における bZg (i)の値の変動係数 X kとしてちよい。

[0074] また、変数 Aは、図 10に示すような分割領域 i内の 8方向（図 10の方向（1)乃至方向（8) )における G変動 ZR変動の最大値 X k、変数 Bは、分割領域 i内の 8方向（図 1 0の方向（1)乃至方向（8) )における B変動 ZG変動の最大値 X kとしてもよ、。なお、ここで、 G変動 = loge (G')— loge (G)、 R変動 = loge (lT)— loge (R)とする。

[0075] また、変数 Aおよぶ変数 Bは、分割領域 iにおけるグラディエント X kを用いてもょヽ次に、腸液等に覆われた黄色の色度を有する粘膜領域に存在する出血部位を識別する例を説明する。腸液等で覆われた黄色の色度を有する粘膜領域に存在する出血部位の色度偏差は、通常の粘膜領域に存在する出血部位の色度偏差は異なる特徴を有するため、出血部位を識別するための条件を変更する必要がある。

[0076] 図 11は、黄色の色度を有する粘膜領域に存在する出血部位を識別する内視鏡診断支援処理の流れを示すフローチャートである。

まず、ステップ S111において、内視鏡診断支援装置 7は内視鏡フアイリング装置 1 0から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内視鏡観察装置 2が撮像した画像情報を取得する。

[0077] ステップ S112にお!/、て、ステップ SI 11で取得した画像データを複数（例えば、 M

X N個）の領域、例えば縦 288画素 X横 288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分割する。

[0078] ステップ S 113乃至 S 116において、ステップ S 112で分割した各領域の色度を算出する。すなわち、ステップ S113で変数 iに 1を代入して処理を開始し、ステップ S11 4およびステップ S 115にお!/、て、 i番目の領域 (i= 1乃至 M X N)における色度として、三原色成分の赤色成分に対する緑色成分の比 (gZr(i) =G (i) ZR(i) )と緑色成分に対する青色成分の比 (bZg (i) =B (i) ZG (i) )を算出する。

[0079] そして、ステップ S 117にお!/、て、ステップ S 115で算出した 1番目力も M X N番目までの gZr (i)の平均値 MgZrおよび bZg (i)の平均値 MbZgを算出する。

[0080] 次に、ステップ S118において、ステップ 117で算出した平均値 MbZgが所定値（ α )より小さいか否かを判断し、小さいと判断された場合 (ステップ S 118 :YES)は、ステツプ S 119にお、て、その画像データは腸液等に覆われた黄色の色度を有する粘膜の画像であると判断する。

[0081] 最後に、ステップ S 120乃至 S124において、ステップ S 112で分割した各領域が出血部位を含んでいる力否かを判断する。すなわち、ステップ S 120で変数 iに 1を代入して処理を開始し、ステップ S 121において、 gZr (i)が MgZrに所定マージンをカロえた値より小さくかつ b/g (i)が Mb/gに所定マージンを加えた値より大きいか否かを判断する。 gZr (i)が MgZrに所定マージン (例えば、—0. 1)を加えた値より小さくかつ bZg (i)が MbZgに所定マージン（例えば、 0. 03)をカ卩えた値より大きいと判断した場合 (ステップ S 121： YES)は、ステップ S 122において、 i番目の領域は出血部位を含んで、ると判断する。

[0082] 次に、画像における分割領域を複数のカテゴリに分類し、カテゴリ毎の粘膜平均色度を算出し、それぞれのカテゴリにより出血部位の抽出条件が異なる例について説明する。この例は、 1つの画像に複数のカテゴリに属する領域が混在する場合に最適な抽出条件を選択することができ、出血部位の検出精度を上げることが可能となる。

[0083] 図 12は、複数のカテゴリにより出血部位の抽出条件が異なる例の内視鏡診断支援処理の流れを示すフローチャートである。

まず、ステップ S 131において、内視鏡診断支援装置 7は内視鏡フアイリング装置 1 0から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内視鏡観察装置 2が撮像した画像情報を取得する。

[0084] ステップ S132において、ステップ S131で取得した画像データを複数（例えば、 M

X N個）の領域に分割する。ここで、複数の領域に分割するとは、例えば縦 288画素 X横 288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分害 IJすることを、、その場合、 M = 36、 N = 36となる。

[0085] そして、ステップ S133において、各領域における領域特徴量を算出する。例えば領域特徴量として、 i番目の領域 (i= l乃至 M X N)における三原色成分の緑色成分に対する青色成分の比 (bZg (i) =B (i) /G (i) )を算出する。

[0086] 次に、ステップ S 134において、ステップ S 133で算出した領域特徴量に基づいて、各領域が属するカテゴリを識別する。例えば、緑色成分に対する青色成分の比 bZg (i)が、所定値より大きければ通常粘膜の領域のカテゴリであるとして分類しフラグを立て（変数 class (i) = 1を代入する）、緑色成分に対する青色成分の比 bZg (i)が、所定値以下であれば黄色粘膜の領域のカテゴリであるとして分類しフラグを立てる（変数 class (i) =2を代入する。カテゴリの数を示す K = 2)。なお、領域特徴量として複数の特徴量を算出し、識別器を用いて複数のカテゴリに分類してもよい。

[0087] そして、ステップ S135において、分割された領域 iの領域色度を算出する。例えば、領域色度として、 i番目の領域 (i= 1乃至 M X N)における gZr (i)、 b/g (i)を算出する。

[0088] 次に、ステップ S 136乃至 S 141において、ステップ S 132で分割してステップ S 134 でカテゴリ分けした、各カテゴリの各領域が出血部位を含んで、るか否かを判断する。すなわち、ステップ S 136で変数 jに 1を代入して処理を開始し、ステップ S137でまず第 1番目のカテゴリにおける平均色度として、分割領域 iの 1番目力 M X N番目までの領域のうち第 1番目のカテゴリに属する領域 (変数 class (i) = 1)の gZr (i)の平均値 MgZr (l)および gZr (i)の平均値 MgZr (l)を算出する。そして、ステップ S1 38乃至 S 139にお、て、第 1番目のカテゴリに属する領域 (変数 class (i) = 1)におヽて、第 1番目のカテゴリの出血部検出条件式を適用する。つまり第 1番目のカテゴリは通常粘膜であるので、第 1番目のカテゴリに属する i番目の領域 (i= l乃至 M XN、変数 class (i) = 1)において、 gZr(i)が MgZr(l)に所定マージンをカ卩えた値より小さくかつ bZg (i)が MbZg (l)に所定マージンを加えた値より大きいか否かを判断する。 gZr(i)が MgZr (l)に所定マージン (例えば、—0. 1)をカ卩えた値より小さくかつ b Zg (i)が MbZg (l)に所定マージン (例えば、—0. 01)を加えた値より大きいと判断した潘目の領域は出血部位を含んでいると判断する。そして、分割領域 iの 1番目から M X N番目までの領域のうち第 1番目のカテゴリに属する全ての領域にっ、て第 1 番目のカテゴリの出血部検出条件式を適用し、出血部位を含んでいるか否かを判断する。ステップ S 141のおいて変数 jをインクリメントし、ステップ S137乃至 S139の処理を 2番目以降のカテゴリにも適用し、全てのカテゴリについての処理を実行して終了する。 [0089] 以上、本発明を適用した実施の形態を説明してきたが、本発明が適用される内視鏡診断支援装置は、その機能が実行されるのであれば、上述の実施の形態に限定されることなく、単体の装置であっても、複数の装置力なるシステムあるいは統合装置であっても、 LAN、 WAN等のネットワークを介して処理が行なわれるシステムであつてもょ、ことは言うまでもな！/、。

[0090] すなわち、本発明は、以上に述べた実施の形態に限定されるものではなぐ本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。

本発明によれば、大量に撮像された内視鏡観察装置による内視鏡画像の中から、出血部位が撮像された画像を容易に、かつ正確に抽出することが可能となる。

Claims

請求の範囲

[1] 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行する内視鏡診断支援方法であって、前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し、

前記算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別することを特徴とする内視鏡診断支援方法。

[2] さらに、前記判別された画像領域を含む内視鏡画像を選択することを特徴とする請求項 1に記載の内視鏡診断支援方法。

[3] 前記出血部位を判別する際は、前記算出された前記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較することにより、前記複数の画像領域間の相違を判断することを特徴とする請求項 1に記載の内視鏡診断支援方法。

[4] 前記色調を算出する際は、過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、

前記出血部位を判別する際は、前記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、前記複数の画像領域間の相違を判断することを特徴とする請求項 3に記載の内視鏡診断支援方法。

[5] 前記出血部位を判別する際は、前記複数の画像領域間の相違を判断する際、前記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較することを特徴とする請求項 3に記載の内視鏡診断支援方法。

[6] 前記所定マージンは、変動パラメータにより動的に変動することを特徴とする請求項 5に記載の内視鏡診断支援方法。

[7] 前記変動パラメータは、標準偏差、色度変動係数、変動値またはグラディエントであることを特徴とする請求項 6に記載の内視鏡診断支援方法。

[8] 前記変動パラメータは、前記算出した平均色度であることを特徴とする請求項 6に記載の内視鏡診断支援方法。

[9] 前記出血部位を判別する際は、前記算出された前記内視鏡画像を構成する全画像領域の色調の平均値からの色度偏差に基づ!、て、前記複数の画像領域間の相違を判断することを特徴とする請求項 1に記載の内視鏡診断支援方法。

[10] 前記色調を算出する際は、過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値力の色度偏差を算出し、

前記出血部位を判別する際は、前記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて、前記複数の画像領域間の相違を判断することを特徴とする請求項 9に記載の内視鏡診断支援方法。

[11] 前記色調を算出する際は、前記内視鏡画像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号から色調を算出することを特徴とする請求項 1に記載の内視鏡診断支援方法。

[12] 前記色調を算出する際は、前記内視鏡画像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することを特徴とする請求項 2に記載の内視鏡診断支援方法。

[13] 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置であって、

前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出する色調算出手段と、

前記色調算出手段によって算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する出血部位判別手段と、

を備えることを特徴とする内視鏡診断支援装置。

[14] 前記出血部判別手段によって判別された画像領域を含む内視鏡画像を選択する出血内視鏡画像選択手段さらに備えることを特徴とする請求項 13に記載の内視鏡診断支援装置。

[15] 前記出血部位判別手段は、前記色調算出手段によって算出された前記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較することにより、前記複数の画像領域間の相違を判断することを特徴とする請求項 13に記載の内視鏡診断支援装置。

[16] 前記色調算出手段は、前記出血内視鏡画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、

前記出血部位判別手段は、前記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、前記複数の画像領域間の相違を判断することを特徴とする請求項 15に記載の内視鏡診断支援装置。

[17] 前記出血部位判別手段は、前記複数の画像領域間の相違を判断する際、前記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較することを特徴とする請求項 15に記載の内視鏡診断支援装置。

[18] 前記所定マージンは、変動パラメータにより動的に変動することを特徴とする請求項 17に記載の内視鏡診断支援装置。

[19] 前記変動パラメータは、標準偏差、色度変動係数、変動値またはグラディエントであることを特徴とする請求項 18に記載の内視鏡診断支援装置。

[20] 前記変動パラメータは、前記算出した平均色度であることを特徴とする請求項 18に記載の内視鏡診断支援装置。

[21] 前記出血部位判別手段は、前記色調算出手段によって算出された前記内視鏡画像を構成する全画像領域の色調の平均値からの色度偏差に基づ!、て、前記複数の画像領域間の相違を判断することを特徴とする請求項 13に記載の内視鏡診断支援装置。

[22] 前記色調算出手段は、前記出血内視鏡画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値力の色度偏差を算出し、前記出血部位判別手段は、前記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて、前記複数の画像領域間の相違を判断することを特徴とする請求項 21に記載の内視鏡診断支援装置。

[23] 前記色調算出手段は、前記内視鏡画像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号から色調を算出することを特徴とする請求項 13に記載の内視鏡診断支援装置。

[24] 前記色調算出手段は、前記内視鏡画像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することを特徴とする請求項 14に記載の内視鏡診断支援装置。

[25] 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行させるための内視鏡診断支援プログラムであって、

前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出する手順と、

前記算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する手順と、

を実行させるための内視鏡診断支援プログラム。

[26] 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行させるための内視鏡診断支援プログラム製品であって、

を実行させるための内視鏡診断支援プログラム製品。