JP4450973B2 - 診断支援装置 - Google Patents
診断支援装置 Download PDFInfo
- Publication number
- JP4450973B2 JP4450973B2 JP2000365855A JP2000365855A JP4450973B2 JP 4450973 B2 JP4450973 B2 JP 4450973B2 JP 2000365855 A JP2000365855 A JP 2000365855A JP 2000365855 A JP2000365855 A JP 2000365855A JP 4450973 B2 JP4450973 B2 JP 4450973B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- diagnosis support
- feature amount
- roi
- endoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は診断支援装置、さらに詳しくは内視鏡装置による画像データを基に病変の種類を自動的に判別・分類する部分に特徴のある診断支援装置に関する。
【0002】
【従来の技術】
近年、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡装置が広く用いられている。また,前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。
【0003】
これらの内視鏡装置を用いた最終的な診断は医師の主観に依存している部分が多大であり、客観的・数値的な診断に直接結びつく内視鏡診断支援装置の実現が望まれていた。
【0004】
内視鏡診断支援装置は、画像内における関心領域(ROI)から算出された様々な特徴量を用い、闇値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がどのような所見や病変に分類されるかを医師に提示することにより、客観的・数値的な診断の支援を行うものである。
【0005】
特徴量は、内視鏡画像上の様々な所見を反映した数値であり、画像処理手法の適用により得られるものである。例えば「発赤により粘膜表面が赤い」といった色調に関する所見を特徴量化する場合には、内視鏡画像を構成するRGB各データを用いて、R/(R+G+B)を各画素ごとに求め、その平均値を特徴量として使用することができる(この特徴量は一般に色度と呼ばれる)。また、近年内視鏡分野においては胃粘膜血流量を反映した色調の特徴量として32log2(R/G)により得られるヘモグロビン指標が広く用いられている。
【0006】
さらに、透見血管像に見られる血管の拡張・蛇行や胃小区の形態の大小・不整度・胃小区間の溝幅等、内視鏡画像における粘膜表面構造に関する所見も種々の疾患に対する診断の重要な要素となっており、これらに対しても画像処理手法の適用により特徴量として数値化することができる。このような特徴量算出においては、特許第2918162号公報に示されている手法がある。
【0007】
さらに、複数の異なる所見から得た各特徴量を組み合わせて特徴ベクトルとして用いることにより、より複雑かつ正確な診断の支援を行うことがでる。内視鏡診断支援装置の精度向上においては,重要な内視鏡画像所見を数値化するための高精度の特徴量算出手法が非常に重要であるといえる。
【0008】
近年においては,公知のGaborフィルタを用いて算出されるGabor特徴に対し内視鏡画像への適用のための改良を加えた空間周波数解析手法により、粘膜表面構造の細かさ、粘膜表面構造が呈する模様の方向性等を特徴量として数値化する内視鏡画像処理方法がある。
【0009】
このような内視鏡診断支援装置及び特徴量算出手法の例として、特開平10−14864号公報がある。
【0010】
【発明が解決しようとする課題】
最近の内視鏡装置においては、高画質化、固体撮像素子(CCD等)の高画素化、さらには通常の内視鏡と同等の外径と操作性を保ちつつ拡大観察(ズーミング)機能を有する拡大内視鏡の登場により、粘膜表面の極めて微細な毛細血管像や胃・大腸の腺口(pit)構造が明瞭に観察されるようになっている。従来組織標本を実体顕微鏡下で観察していたのと同レベルの生体像を内視鏡下で臨床検査時に観察することが可能となり、それらの微細構造観察所見を用いた新たな診断学が確立されてきている。
【0011】
このような例として文献1(胃隆起性病変の実体顕徴鏡像と病理組織学的所見からみた拡大電子内視鏡像の解析,本田徹他,Gastroenterological Endoscopy,1993年5月,第35巻5号pp.967-976)、文献2(陥凹型早期大腸癌,工藤進英,マンスリーブックガストロ,1993年5月,第3巻5号pp.47-53)及び文献3(拡大電子スコープによる大腸疾患の診断,工藤進英他,胃と腸,1994年,第29巻3号,pp.163-165)があげられる。これらは内視鏡画像上で観察されるpitの形態や配列の違いから、正常粘膜、良性腫瘍および癌等の病変が鑑別可能であることを示している。例えば文献2および3においては、大腸病変に見られるpitの形態や配列の違いをI型ないしV型とその亜分類からなるpit patternに分類の上、各種病変との対応付けを行った。
【0012】
しかしながら、これらの新しい内視鏡診断学に対する客観的・数値的な診断の実現にあたっては、特開平10−14864号公報に示される診断支援装置において以下のような問題があった。
【0013】
内視鏡画像において、特に近接あるいは拡大観察時においては、病変部内は必ずしも均一な所見を呈する症例ばかりではなく、例えば大腸pit patternでは大きさが数mmの極めて微小な病変においても正常であるI型,腫瘍性病変のIIIs型及びそれらの中間ともいえる型等が混在することがある。また、腺腫内癌のように良性腫瘍の中の一部が癌化した病変も報告されている。
【0014】
関心領域として設定されなかった領域の情報は得られないため、例えば病変部粘膜上にどのような型のpit patternがどのような割合で存在しているか、あるいは病変中にどのような種類の腫瘍が混在しているかを知ることができないという問題がある。
【0015】
また、内視鏡画像からの特徴量算出においては、より正確な診断の実現のため内視鏡画像におけるより多くの情報を利用する必要がある。一方、特開平10−14864号公報においては前述した空間周波数解析手法が適用されているが、これらは空間周波数成分の有するすべての情報を利用したものではなかった。より具体的には、空間周波数成分が有する情報は内視鏡画像を構成する振幅情報と位相情報があるが、従来は位相情報を利用していないことによる情報の損失がある。
【0016】
また、特許第2918162号公報においては粘膜表面における微細構造成分の特徴量算出について示されているが、内視鏡診断支援装置における使用にあたっては以下のような問題がある。
【0017】
内視鏡装置を用いた臨床検査においては粘膜表面構造を明瞭に観察するために、インジゴカルミン、メチレンブルー、クリスタルバイオレツト等の様々な色素や染色剤と呼ばれる薬剤が用いられている。例えば大腸のpit patternの観察においては、インジゴカルミンを標準的に使用し、より詳細な観察が必要な場合にはメチレンブルーまたはクリスタルバイオレットを使用するといった使い分けがなされている。
【0018】
しかしながら、いわゆる色素法として用いられるインジゴカルミンと、染色法として用いられるメチレンブルー及びクリスタルバイオレットにおいては次のような性質の違いがある。
【0019】
インジゴカルミンは生体に吸収される特性を持たず、粘膜表面の凹凸形状に応じて凹の部分に溜まることで明瞭な観察像が得られるものである。一方、メチレンブルー及びクリスタルバイオレットは例えば細胞内の核に吸収されることで、吸収されなかった部位とのコントラストを明瞭化することが可能となっている。
【0020】
これらの性質から画像上に現れる違いについて図23を例に説明する。例えば大腸のpit patternは粘膜表面の腺口の形状と配列を観察するものであるが、腺口は粘膜表面に開いている微細な穴であるため、インジゴカルミンを散布した場合には内視鏡画像においては腺口部が青緑色の領域として観察される。これを模式図的に表すと図23(a)に黒色で示す領域となる。一方、メチレンブルー及びクリスタルバイオレットにおいては,腺口は当然のことながら何もない空間であるため染色されず、図23(b)に示すように図23(a)とは逆の状態となり、内視鏡画像においては腺口部以外の部位がメチレンブルーでは青色、クリスタルバイオレットでは紫色の領域として観察される。
【0021】
そのため、例えばしきい値処理による粘膜構造の抽出を行う場合には各薬剤の違いにより処理結果が逆転することとなり、同じ疾患であるにもかかわらず異なる特徴量の値が算出されるため、薬剤散布のない通常画像及び各種薬剤を散布した画像を混在して使用できないという問題がある。
【0022】
また、薬剤散布のない通常の内視鏡画像においては、粘膜表面の構造成分はRGB画像におけるG画像に最も多く含まれる。クリスタルバイオレットにおいてもその紫色の色調から同様である。一方、インジゴカルミン及びメチレンブルー等の青色系の薬剤を使用した場合はR画像が最も多く構造成分を含む場合がある。したがって、特徴量算出においてRGB画像のいずれを処理の対象とするかについて、薬剤散布の有無及び散布に使用した菓剤の種別に応じて変更することで診断支援の高精度化が図れるにも関わらずこの点について考慮されていないという問題がある。
【0023】
本発明は、上記事情に鑑みてなされたものであり、内視鏡画像において病変の粘膜表面構造が複数の異なる所見を呈する場合、あるいは病変中に他の異なる腫瘍等が混在する場合においても、各所見を示す部位ごとに関心領域を設定するとともに、どのような所見、あるいは所見に関連して診断される腫瘍等が存在しているか、さらにはそれらがどのような割合で混在しているかを知ることのできる診断支援装置を提供することを目的としている。
【0024】
本発明の診断支援装置は、複数の色信号からなる内視鏡画像の色調に基づき、前記内視鏡画像を構成する各画素毎に第1の特徴量を算出する第1の特徴量算出手段と、前記内視鏡画像に対して第1の領域を設定する領域設定手段と、前記領域設定手段において設定された前記第1の領域を、前記第1の特徴量に基づいて複数の第2の領域に分割する領域分割手段と、前記第2の領域の各領域毎に第2の特徴量を算出する第2の特徴量算出手段と、前記第2の特徴量に基づき、前記第2の領域の各々に対する判別分類処理を行う判別分類手段と、前記判別分類結果のうち表示を省略する所定の判別分類結果の情報を登録する記憶部と、前記記憶部に登録されている所定の判別分類結果を除き前記判別分類手段による判別分類結果を前記第2の領域毎に表示するための表示制御を行う表示制御手段と、を備えたことを特徴とし、
また、少なくとも1つの色信号からなる内視鏡画像の粘膜表面構造に基づき、前記内視鏡画像を構成する各画素毎に第1の特徴量を算出する第1の特徴量算出手段と、前記内視鏡画像に対して第1の領域を設定する領域設定手段と、前記領域設定手段において設定された前記第1の領域を、前記第1の特徴量に基づいて複数の第2の領域に分割する領域分割手段と、前記第2の領域の各領域毎に第2の特徴量を算出する第2の特徴量算出手段と、前記第2の特徴量に基づき、前記第2の領域の各々に対する判別分類処理を行う判別分類手段と、前記判別分類結果のうち表示を省略する所定の判別分類結果の情報を登録する記憶部と、前記記憶部に登録されている所定の判別分類結果を除き前記判別分類手段による判別分類結果を前記第2の領域毎に表示するための表示制御を行う表示制御手段と、を備えたことを特徴とし、
また、少なくとも1つの色信号からなる内視鏡画像の周波数成分に基づき、前記内視鏡画像を構成する各画素毎に第1の特徴量を算出する第1の特徴量算出手段と、前記内視鏡画像に対して第1の領域を設定する領域設定手段と、前記領域設定手段において設定された前記第1の領域を、前記第1の特徴量に基づいて複数の第2の領域に分割する領域分割手段と、前記第2の領域の各領域毎に第2の特徴量を算出する第2の特徴量算出手段と、前記第2の特徴量に基づき、前記第2の領域の各々に対する判別分類処理を行う判別分類手段と、前記判別分類結果のうち表示を省略する所定の判別分類結果の情報を登録する記憶部と、前記記憶部に登録されている所定の判別分類結果を除き前記判別分類手段による判別分類結果を前記第2の領域毎に表示するための表示制御を行う表示制御手段と、を備えたことを特徴とする。
【0025】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【0026】
第1の実施の形態:
本発明の第1の実施の形態は、診断支援情報の取得を所望する病変部に対して、もれなく関心領域(以下、ROIと称する)を設定することが可能となるとともに、各ROIごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができる内視鏡診断支援装置に関するものである。
【0027】
図1ないし図12は本発明の第1の実施の形態に係わり、図1は内視鏡診断支援装置の構成を示す構成図、図2は従来の内視鏡診断支援装置における診断支援処理実行プログラムの構成を説明するための機能ブロック図、図3は従来の内視鏡診断支援装置における診断支援処理実行プログラムの動作を説明するためのフローチャート、図4は従来の内視鏡診断支援装置におけるROI設定を説明するためのROI設定ウィンドウ説明図、図5は従来の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図、図6は本実施の形態の内視鏡診断支援装置における診断支援処理実行プログラムの構成を説明するための機能ブロック図、図7は本実施の形態の内視鏡診断支援装置における診断支援処理実行プログラムの動作を説明するためのフローチャート、図8は本実施の形態の内視鏡診断支援装置における仮ROI設定を説明するための仮ROI設定ウィンドウ説明図、図9は本実施の形態における領域分割処理の動作を説明するためのフローチャート、図10及び図11は本実施の形態における領域分割処理を説明するための説明図、図12は本実施の形態の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図である。
【0028】
始めに、図1を参照の上、本発明の第1の実施の形態における内視鏡診断支援装置の構成について説明する。なお、本実施の形態における内視鏡診断支援装置の構成は、従来の内視鏡診断支援装置と基本的に同一であるが、後述する診断支援プログラムを構成するブロック及び動作を異ならしめることによりその目的を達成するものである。
【0029】
図1に示すように、本実施の形態の診断支援装置1は、例えば図示しない電子内視鏡から撮像信号を得て映像信号に変換するビデオプロセッサ2と、このビデオプロセッサ2からの映像信号を映し出す観察モニタ3と、ビデオプロセッサ2からの映像信号を画像データに変換して信号処理する入力ユニット4と、入力ユニット4により信号処理した画像データ及びこの画像データを可逆あるいは非可逆圧縮した圧縮画像データを記憶するサーバユニット5と、サーバユニット5に記憶された画像データあるいは圧縮画像データを検索して表示すると共に、関心領域設定処理、特徴量算出処理、判別分類処理等の一連の診断支援処理を行うカンファレンスユニット6とを備えて構成されている。
【0030】
入力ユニット4は、ビデオプロセッサ2からの映像信号であるアナログRGBビデオ信号をデジタル信号である画像データヘ変板するA/Dコンバータ11と、画像データを記憶するメモリを備えビデオプロセッサ2からの管理情報を付加した画像ファイルを生成する画像処理部12と、画像処理部12により生成された画像ファイルをLAN(Local Area Network)ケーブル4aを介してサーバユニット5に送出するLANコントローラ13と、ビデオプロセッサ2と画像データの管理情報等を通信すると共に画像処理部12及びLANコントローラ13を制御するコントローラ14とを備えて構成される。
【0031】
ビデオプロセツサ2は、映像信号出力端、アナログRGBビデオ信号出力端及び通信信号出力端を備えており、映像信号出力端は観察モニタ3に接続され、アナログRGBビデオ信号出力端はA/Dコンバータ11の入力端に接続され、通信信号出力端はコントローラ14に接続されている。
【0032】
また,A/Dコンバータ11の出力端は、画像処理部12のデータ信号端に接続されている。
【0033】
コントローラ14の制御信号端及びデータ信号端は、バスライン14aにより画像処理部12及びLANコントローラ13との制御信号端に接続されている。そしてコントローラ14による画像処理部12及びLANコントローラ13の制御は、バスライン14aを介した信号により行われるようになっている。
【0034】
ビデオプロセッサ2により映像信号に変換された、例えば図示しない電子内視鏡による観察像は、観察モニタ3に観察画像として映し出されるようになっている。また、ビデオプロセッサ2の操作者が、前述した観察画像を記録する必要があると判断した場合、前述した映像信号は、アナログRGBビデオ信号としてA/Dコンバータ11へ出力されこのA/Dコンバータ11は、アナログRGBビデオ信号を所定の量子化処理を行い、デジタルRGBビデオ信号に変換し、画像処理部12へ観察画像データとして出力するようになっている。
【0035】
画像処理部12は、コントローラ14の制御により、A/Dコンバータ11から入力された観察画像データを記憶するようになっている。
【0036】
コントローラ14は,画像処理部12に記憶された観察画像データに対して縮小処理等の各種データ処理を施し、さらには管理情報を付加して画像ファイルとし、画像処理部12へ一旦記憶させあるいはLANコントローラ13へ出力するようになっている。また、コントローラ14は、前述したように各種データ処理を施された画像ファイルを画像処理部12へ一旦記憶した場合、該画像ファイルを所定のタイミングにより画像処理部12からLANコントローラ13へ出力するようになっている。
【0037】
サーバユニット5は、入力ユニット4のLANコントローラ13より送出される画像ファイルを受け取るLANコントローラ21と、LANコントローラ21が受け取った画像ファイルを一時的に記憶するメモリ22と、LANコントローラ21が受け取つた画像ファイルを大容量記憶媒体である例えばハードディスク23に記録するハードディスクドライバ24と、LANコントローラ21が受け取った画像ファイルを可逆あるいは非可逆で圧縮して圧縮画像データをハードディスクドライバ24に送出する圧縮装置25と、LANコントローラ21、メモリ22、ハードディスクドライバ24及び圧縮装置25を制御するコントローラ26とを備えて構成され、ハードディスクドライバ24は、画像ファイル及び圧縮画像データをハードディスク23に記録すると共に、LANコントローラ21は、LANケーブル5aを介してハードディスク23に記録された画像ファイルまたは圧縮画像データをカンファレンスユニット6に送信できるようになっている。
【0038】
入力ユニット4のLANコントローラ13のLANケーブル4a端はサーバユニット5のLANコントローラ21に接続されている。このLANケーブル4aは、いわゆる10baseTもしくは100baseTといわれるケーブルであり、ツイストペア線を用い10Mbit/secの双方向のデータ通信を長さ100m以内の範囲で可能であり、複数の装置間の制御及びデータの送受をすることができるものである。
【0039】
サーバユニット5のコントローラ26の制御信号端及びデータ信号端は、バスライン26aによりメモリ22と、LANコントローラ21と,ハードディスクドライブ24との制卸信号端に接続されている。
【0040】
サーバユニット5では、入力ユニット4のLANコントローラ13からの画像ファイルをLANケーブル4aを介してLANコントローラ21で入力し、コントローラ26が、LANコントローラ21を介して入力された画俵ファイルを一旦メモリ22に記憶する。ハードディスクドライブ24は、この画像ファイルを例えばハードディスク23へ記憶するようになっている。
【0041】
カンフアレンスユニット6は、サーバユニット5のLANコントローラ21からの画像ファイルまたは圧縮画像データをLANケーブル5aを介して受け取るLANコントローラ31と、LANコントローラ31が受け取った画像ファイルまたは圧縮画像データを記憶する画像処理部32と、画像処理部32が記憶した圧縮画像データを伸張する伸張装置33と、画像処理部32が記憶した画像ファイル中のデジタル信号である画像データ及び伸張装置22で伸張された画像データを逆量子化処理し、アナログRGBビデオ信号へ変換するD/Aコンバータ34と、D/Aコンバータ34により変換されたアナログRGBビデオ信号を映し出す観察モニタ35と、画像処理部32を制御するコントローラ36とを備えている。
【0042】
画像処理部32のデータ信号端は,D/Aコンパータ34の入力端に接続され、このD/Aコンバータ34の出力端は、観察モニタ35に接続されている。コントローラ36の制御信号端及びデータ信号端は、バスライン36aにより前記画像処理部32とLANコントローラ31との制御信号端に接続されている。コントローラ36の制御信号端及びデータ信号端は、パスライン36bにより後述のCPU41との制御信号端に接続されている。
【0043】
また、カンファレンスユニット6は、コントローラ36を制御するCPU41と、例えばサーバユニット5への画像ファイルの検索等の要求を入力すると共に、この画像ファイルに併せて各種の情報を入力するキーボード42と、このキーボード42の信号とCPU41の信号との整合をとるキーボードインターフェース(以下,キーボードI/Fと称する)43と、キーボード42により入力された情報を表示する検索モニタ44と、検索モニタ44の画面上のカーソル座標を任意の位置に移動させる指示を与えるマウス45と、このマウス45の信号とCPU41の信号との整合をとるマウスインターフェース(以下,マウスI/Fと称する)46と、CPU41の実行プログラム及び検索モニタ44のメニュー画面の画像データ等の各種データを記録したハードデイスク47と、このハードディスク47の信号とCPU41との信号の整合をとるハードディスクインターフェース(以下,ハードディスクI/Fと称する)48と、CPU41の各種処理作業領域として用いられる作業メモリ49と、検索モニタ44に表示するデジタルRGBビデオ信号を記憶するメモリを含む画像処理部50と、CPU41からの情報を印刷するプリンタ51と、プリンタ51とCPU41との整合をとるプリンタインターフェース(以下,プリンタI/Fと称する)52とを備えている。
【0044】
さらに、カンファレンスユニット6は、CPU41によりキーボード42から入力された情報のうちパスワードを記憶するパスワード記憶部61と、パスワード記憶部61が記憶したパスワードのレベルを判定するパスワード監視部62と、パスワード監視部62の判定結果に基づいてCPU41の制御を制限する制御制限部63とを備えている。
【0045】
CPU41の制御信号端及びデータ信号端は、バスライン41aによりハードディスクI/F48、マウスI/F46、 キーボードI/F43、作業メモリ49、画像処理部50及びパスワード監視部61の制御信号端及びデータ信号端に接続されている。そして、CPU41は,バスライン41aにより、ハードディスクI/F48、マウスI/F46、キーボードI/F43、プリンタI/F52及び作業メモリ49を制御するようになっている。
【0046】
マウスI/F46は、マウス45の物理的相対移動量に応じた信号を検出し、作業メモリ49へ出力し、作業メモリ49は、前述した移動量を記憶するようになっている。
【0047】
キーボードI/F43は、キーボード42から入力された文字情報の信号を作業メモリ49へ出力し、作業メモリ49は、前述した文字情報等を記憶するようになっている。
【0048】
ハードディスクI/F48は、ハードディスク47からCPU41が実行するプログラム及びメニュー画面等の検索モニタ44用の画像データを読み出し、作業メモリ49へ出力し、作業メモリ49は前述したプログラム及び検索モニタ44用の画像データ等を記憶するようになっている。
【0049】
プリンタI/F52は、プリンタ51に対してCPU41から送信される情報を伝送し印刷を行う。
【0050】
CPU41は、前述したように、ハードディスク47に記憶されたプログラムを電源投入時に、作業メモリ44にロードし該プログラムによって動作する。
【0051】
前述したようにサーバユニット5のハードディスク23に記憶された画像ファイルは、コントローラ26の制御により、ハードディスクドライバ14に出力されメモリ22に一旦記憶されるかあるいは直接LANコントローラ21へ出力される。LANコントローラ21からLANケーブル5aを介し,カンファレンスユニット6のLANコントローラ31へ画像ファイルが入力される。
【0052】
そして、カンファレンスユニット6では、コントローラ36の制御によりLANコントローラ31は、画像処理部32に画像ファイルを出力する。画像処理部32に記憶された、サーバーユニット5のハードディスク23からの画像ファイルは、コントローラ36の制御によりデジタルの観察画像データと管理情報に分離され、デジタル観察画像データは画像処理部32に記憶され、管理情報はバスライン36bによりCPU41に送られる。
【0053】
画像処理部32は、前述した観察画像データを記憶するようになっている。前述したように画像処理部32へ記憶されたデジタル信号である観察画像データは、D/Aコンパータ34の逆量子化により、アナログRGBビデオ信号へ変換され、観察モニタ35へ出力されるようになっている。観察モニタ35は、前述したように入力されたアナログRGBビデオ信号を映し出すようになっている。尚、観察画像データが圧縮画像データの場合は、伸張装置33で伸張された後にD/Aコンバータ34に出力される。
【0054】
CPU41は、マウス45によるカーソル、キーボード42による文字情報、ハードディスク47からのメニュー画面等の検索モニタ44用の画像データと管理情報を合成あるいは単独で表示するように演算処理し、画像データとして画像処理部50へ記憶させるようになっている。
【0055】
ハードディスク23に記録されている画像ファイルの観察画像データは、例えばカラーである観察画像を横640ドット,縦480ドットで分割し、この各ドットに対応じてRGB各色信号レベルを、例えば8ビットとなるように量子化した所定のバイト数で構成されるようになっている。
【0056】
以上に説明した構成による内視鏡診断支援装置を用いた診断支援処理は、ハードディスク47に記録された診断支援処理実行プログラムを用い、CPU41により実行される。また、診断支援処理は検索モニタ44に表示されるマルチウィンドウ環境上において、キーボード42及びマウス45を用いた入力により操作される。
【0057】
内視鏡診断支援装置においては、患者・検査及び画像に関してサーバーユニット5から送信される各種情報と、設定されたROIの位置・形状情報と、付随する所見情報と、ROIから算出された特徴量の値と、判別分類処理の適用により得られた判別結果等を保存するためのデータベースがハードデイスク47に格納される。このデータベースは診断支援処理実行プログラムによりアクセスされる。
【0058】
次に、図2を用いて従来の診断支援処理の概要について説明する。
【0059】
図2に示すように、診断支援処理実行プログラム70は、画像入力・管理ブロック71、データベース管理ブロック72、ROI設定ブロック73、特徴量算出ブロック74、判別分類ブロック75、レポート作成ブロック76及び画像処理ブロック77からなっている。以下、診断支援処理実行プログラム70を構成する各ブロックの概要を説明する。
【0060】
画像入力・管理ブロック71は、診断支援処理において使用する内視鏡画像の入力、管埋及び検索等を行う。
【0061】
データベース管理ブロック72は、診断支援処理において使用する画像、設定されるROI、算出される特徴量等を記憶及び管理するためのデータベースを管理する。
【0062】
ROI設定ブロック73は、内視鏡画像上において、粘膜表面構造に基づく特徴量を算出するためのROIを設定する。
【0063】
特徴量算出ブロック74は、特徴量算出手法を適用することにより判別分類ブロック75における判別分類処理及びレポート作成ブロック76における統計処理等に使用するための特徴量を算出する。
【0064】
判別分類ブロック75は、特徴量算出ブロック74において算出された特徴量を用いた判別分類処理を行う。
【0065】
レポート作成ブロック76は、特徴量算出ブロック74及び判別分析ブロック75により得られた各処理結果の一覧表示、特徴量の病変種別ごとの平均値等の統計処理結果表示及びグラフ上へのプロット等によるレポートを作成する。
【0066】
また、画像処理ブロック77は、診断支援処理に使用する内視鏡画像に対し、例えばノイズ抑制処理、逆γ補正処理、構造成分強調処理等の画像処理を適用する。
【0067】
そして、画像処理ブロック77による処理結果画像は、原画像と同様にサーバユニット5におけるハードディスク23に記録されるとともに、診断支援処理の対象データとすることができる。
【0068】
次に、図3ないし図5を用いて、従来の内視鏡診断支援装置の動作について説明する。
【0069】
なお、以下の説明においては内視鏡画像を構成するR,G及びB画像データの内、粘膜表面構造をよく反映しているG画像データに対し一連の処理を適用するものとする。
【0070】
まず始めに、図3に示すように、ステップS1において、処理対象とする内視鏡画像を入力する。内視鏡画像はサーバユニット5よりLANケーブル5aを経由してカンフアレンスユニット6に入力されるか、ハードディスク47におけるデータベースに蓄積されたものがデータベース管理ブロック72により読み出されることにより得ることができる。
【0071】
次に、ステップS2においてG画像を得る。続いて、ステップS3において画像上のランダムノイズを低減するためのノイズ抑制処理を適用する。
【0072】
ノイズ抑制処理としては一般的な平均化フィルタ、ガウシアンフィルタもしくはメディアンフイルタを用いたフィルタリングを各画素ごとに適用する。その際、フィルタの大きさ(マスクサイズ)は画像上のノイズの程度により定められ、ノイズが少ない場合は例えば3×3程度とし,多い場合はより大きなフィルタを用いるようにする。
【0073】
次いで、ステップS4において逆γ補正を適用し、モニタ表示のための非線型変換を除去する。
【0074】
ステップS3及びS4における各処理は、図2における画像処理ブロック77において実行する。
【0075】
続いて,ROI設定ブロック73において、ステップS5ないしS9に示す一連の処理を適用する。始めに、ステップS5において設定するROIの個数をカウントするためのカウンタiを1とする。
【0076】
次に、ステップS6において処理対象とするG画像データ上にi番目のROI(i)を設定する。ROIの設定については,例えば図4に示すROI設定ウィンドウ100上においてマウス45及びキーボード42を操作することにより行う。
【0077】
図4において、内視鏡画像表示領域101に表示されたG画像データ上でマウスカーソル102を用いてROIを設定する。このとき,ROIの種別を任意の描画形状にするか、または矩形等の固定形状とするかがROI種別選択ボタン103a及び103bを用いて選択されている。続いてROI情報入力・表示領域104において病変の肉眼形態、所見、医師による診断名、コメント等ROIに付随する情報を入力もしくは選択の上、ROI設定ボタン105によりROI設定を完了する。また、ROI設定ウィンドウ100には設定済みのROIを削除するためのROI削除ボタン106、ROI設定を終了し、ROI設定ウィンドウ100を閉じるための終了ボタン107を備えている。
【0078】
続いて、ステップS7においてROI設定の終了を判定する。終了せず次のROIを設定する場合には、ステップS8に進む。図4を用いた例では内視鏡画像表示領域101上に新たなROIが設定された場合に相当する。また、終了であれば、ステップS9に進む。図4を用いた例では終了ボタン107が押された場合に相当し、ROI設定ウィンドウ100を閉じる。その際、データベース管理ブロック72により、設定したROIに関する位置・形状及び付与された情報をハードディスク47におけるデータベースに保存する。
【0079】
ステップS8においてはカウンタiの値を1増加させ、ステップS6に戻る。
【0080】
ステップS9においては設定されたROIの総数をNとし、ステップS10に進む。
【0081】
ステップS10においては、特徴量算出ブロック74における特徴量算出手法の適用により、設定されたROI(1)ないしROI(N)からの特徴量算出を行う。特徴量としては、例えば特開平10−14864号公報に示されたGaborフィルタを用いた特徴量の平均値等の統計量を算出する。算出した特徴量については、データベース管理ブロック72により、ROI(1)ないしROI(N)の各々に関連付けた上でハードディスク47におけるデータベースに保存する。
【0082】
ステップS11においては、設定されたROI(1)ないしROI(N)に対する判別分類を適用する。具体的にはすでにROI設定及び特徴量算出がなされている、例えば正常部、癌、腺腫等の病変群(これらは多変量解析分野におけるクラスに相当する)から得られた特徴量を特徴ベクトル(これらは教師データと呼ばれる)とし、統計的もしくは非統計的識別器を用いた分類を判別分類ブロック75において適用する。識別器は、その属する群(クラス)が既知のデータから得られた特徴量による特徴ベクトルを教師データとして用いて算出され、クラスが未知であるデータに適用することにより該データをいずれかのクラスに分類するものである。また、該データが各クラスに対してどの程度類似したものであるかを示す指標(クラスからの距離と呼ばれる)を算出することも可能である。クラスは何らかの属性(本実施の形態における内視鏡診断支援装置では所見がこれに該当する)が類似したデータの集合であれば自由に定義することができ、前述した病変の種別、すなわち診断名以外にも例えば大腸粘膜におけるpit patternの分類(I型,II型,...)としたり、「整群と不整群」としたりすることが可能である。
【0083】
統計的識別器としてはFisherの判別関数、非統計的識別器としてはニューラルネツトワークが代表的なものとして広く用いられており、分類対象となる病変からの特徴量の分布の型(例えば多変量正規分布であるか、その他の分布であるか)や、識別器自体の性能等に応じて適宜選択して使用する。ここではFisherの判別関数を用いることとする。
【0084】
最後にステップS12において、レポート作成ブロック76により判別分類結果を含めた診断支援情報を表示する。
【0085】
診断支援情報の表示例を図5に示す。レポート表示ウィンドウ110を開き、診断支援情報を表示する対象となる内視鏡画像のROIの番号、識別器による判別分類結果及び判別分類結果から想定される診断名を、診断支援情報表示領域111に表示する。なお、本実施の形態においては識別器の出力する分類結果(クラスと呼ばれる)を粘膜表面における腺口(pit)とし、その型(pit pattern)から診断される診断名をあわせて表示している。識別器の算出においては診断名自体をクラスとすることも可能である。
【0086】
また、レポート表示ウィンドウ110においては特徴量値表示ボタン112、グラフ表示ボタン113,印刷ボタン11 4, 画像/ROI表示ボタン115及び終了ボタン116を備えており、マウス45の操作によりそれぞれ算出した特徴量の値・平均値の表示、特徴量のグラフの表示、診断支援情報の印刷、診断支援情報表示対象の画像とROIの表示及び診断支援情報表示の終了を行う。
【0087】
次に、図6を用いて本実施の形態における内視鏡診断支援装置の概要について説明する。
【0088】
図6に示すように、本実施の形態における診断支援処理実行プログラム80は、画像入力・管理ブロック81、 データベース管理ブロック82、仮ROI設定ブロック83,特徴量算出ブロック84、ROI設定ブロック8 5、 判別分類ブロック86、レポート作成ブロック87及び画像処理ブロック88からなっている。以下、診断支援処理実行プログラム80を構成する各ブロックの概要を説明する。
【0089】
画像入力・管理ブロック81は、診断支援処理において使用する内視鏡画像の入力、管埋及び検索等を行う。
【0090】
データベース管理ブロック82は、診断支援処理において使用する画像、設定されるROI、算出される特徴量等を記憶及び管理するためのデータベースを管理する。
【0091】
仮ROI設定ブロック83は、内視鏡画像上において、詳細な診断支援情報を得る対象とするROIの設定に先立ち、大まかな処理対象とする領域(以下,仮ROIとする)を設定する。
【0092】
特徴量算出ブロック84は、設定された仮ROIに対してROI特徴量算出手法を適用することにより、ROI設定ブロック85におけるROIの設定及びROIごとに算出された特徴量を用いた判別分類ブロック86における判別分類処理及びレポート作成ブロック87における統計処理等に使用するための特徴量を算出する。
【0093】
判別分類ブロック86は、ROI設定ブロック85において設定されたROIに対し,特徴量算出ブロック84において算出された特徴量を用いた判別分類処理を行う。
【0094】
レポート作成ブロック87は、特徴量算出ブロック84及び判別分析ブロック86により得られた各処理結果の一覧表示、特徴量の病変種別ごとの平均値等の統計処理結果表示及びグラフ上へのプロット等によるレポートを作成する。
【0095】
また,画像処理ブロック88は、診断支援処理に使用する内視鏡画像に対し、例えばノイズ抑制処理、逆γ補正処理、構造成分強調処理等の画像処理を適用する。
【0096】
そして、画像処理ブロック88による処理結果画像は、原画像と同様にサーバユニット5におけるハードディスク23に記録されるとともに、診断支援処理の対象データとすることができる。
【0097】
次に、図7ないし図12を用いて、本実施の形態における内視鏡診断支援装置の動作について説明する。
【0098】
なお,以下の説明においては内視鏡画像を構成するR、G及びB画像データの内、粘膜表面構造をよく反映しているG画像データに対し一連の処理を適用するものとする。
【0099】
図7に示すように、まず始めにステップS20において,処理対象とする内視鏡画像を入力する。内視鏡画像はサーバユニット5よりLANケーブル5aを経由してカンファレンスユニット6に入力されるか、ハードディスク47におけるデータベースに蓄積されたものがデータベース管理ブロック82により読み出されることにより得ることができる。
【0100】
次に、ステップS21においてG画像を得る。続いて、ステップS22及びS23において、各々図3におけるステップS3及びS4に示したノイズ抑制処理及び逆γ補正処理を適用する。ステップS22及びS23における各処理の適用は、図6における画像処理ブロック88において実行する。
【0101】
続くステップS24においては、仮ROI設定ブロック83により仮ROIの設定をするかどうかを判定する。仮ROIを設定する場合にはステップS25に進み、設定しない場合にはステップS26に進む。なお、仮ROIは病変部以外の領域に対する処理を省略するためのものであり、本実施の形態において操作者による設定は必ずしも必要なものではない。仮ROIを設定しない場合には以後の処理において内視鏡画像全体をROI設定対象とする。この場合、以下の説明において内視鏡画像全体を指して仮ROIと称する。
【0102】
ステップS25においては、仮ROIを設定する。仮ROIはステップS26以降の処理において計算量を削減するとともに、病変部でない領域に対する診断支援情報の表示を避けるためのものである。すなわち、設定された仮ROI内に本来の診断支援処理を適用するためのROIを設定する。
【0103】
仮ROIの設定については,例えば図8に示す仮ROI設定ウィンドウ200上においてマウス45及びキーボード42を操作することにより行う。
【0104】
図8において、内視鏡画像表示領域201に表示されたG画像データ上でマウスカーソル202を用いて仮ROIを設定する。ここでは、内視鏡画像表示領域201において破線で示す図形を仮ROIとして設定したものとする。仮ROIの種別を任意の描画形状にするか、または矩形等の固定形状とするかは仮ROI種別選択ボタン203a及び203bを用いて選択されている。続いて仮ROI情報入力・表示領域204において病変の肉眼形態、所見、医師による診断名、コメント等仮ROIに付随する情報を入力もしくは選択の上、仮ROI設定ボタン205によりROI設定を完了する。また、仮ROI設定ウィンドウ200には設定済みの仮ROIを削除するための仮ROI削除ボタン206、仮ROI設定を終了し、仮ROI設定ウィンドウ200を閉じるための終了ボタン207を備えている。
【0105】
続くステップS26において、特徴量算出ブロック84における特徴量算出手法の適用により、設定された仮ROIにおける各面素に対しての特徴量算出を行う。本実施の形態においては、特徴量として特開平10−14864号公報に示されたGaborフィルタを用いたGabor特徴量h(X,Y,θk,λm)を使用する。ここで、X及びYは画像内における画素の座標、θk及びλmはそれぞれGaborフィルタの方向及び波長を規定するパラメータである。本実施の形態においては4方向2周波数のGaborフィルタを使用し、1≦k≦4、1≦m≦2であるものとする。これらのGaborフィルタの適用により各面素ごとに8個の特徴量を算出する。これらをi番目の画素についてC i={h1i,h2i,h3i,...,h8i}とベクトル表記(特徴ベクトル)する。iは仮ROI内の画素の番号を示す1以上の整数である.また,h1iないしh8iは画素iに対して算出された8個のGabor特徴量を示す。
【0106】
次に、ステップS27において、テップS26で算出した各面素の特徴量を用いた領域分割処理により、仮ROIをN個(Nは1以上の整数)のROIに分割する。
【0107】
図9を用いてステップS27における領域分割処理について説明する。領域分割処理は、同じ所見を示す領域の画素から類似の値が得られることを利用して、仮ROI内の画素を統合することにより分割されたROIを得るものである。特徴量を用いた領域分割処理は種々の手法が存在するが、本実施の形態においては特徴量による領域分割(一般的にはクラスタリングと称する)の代表的手法であるK平均アルゴリズムを用いるものとする。
【0108】
本実施の形態においてはステップS26において算出した各画素の特徴量
C i={h1i,h2i,h3i,...,h8i}
を図9に示すステップS131以後の一連の処理において使用する。
【0109】
ステップS131においては、仮ROIに対する初期領域の設定を行う。図10に初期領域の設定例を示す。ここでは機械的に最大L×Lの大きさの矩形となるよう設定する。ただし、必ずしも矩形形状である必要はなく、仮ROI境界部付近は仮ROIの境界線(図10の実線部)を含めた領域を使用する。Lの値は処理対象に基づき決定され、例えば大腸pit patternの観察像であればL=5とする。
【0110】
続くステップS132において、各領域ごとの特徴量の平均値C meanj={h1meanj , h2meanj , ・‥,h 8meanj}を算出する。ここで、jは設定された領域の番号を示す1以上の整数である。
【0111】
ステップS133においては、各画素のCiを,各領域のCmeanと以下の式に示す距離によって比較する。
【0112】
【数1】
ここで,α1ないしα8は各特徴量に対する重み付け係数を示す。ここでは均等にα1=α2=...=α8=1であるものとする。各領域ごとに得られたDijに基づき、最小のDijを与える領域に画業iを統合することで、領域の再構成を行う。
【0113】
ステップS134においてはステップS132と同様に再構成後の各領域ごとの特徴量の平均値を算出する。
【0114】
ステップS135においては、再構成された領域ごとの特徴量の平均値の値の変化により収束を確認する。変化量がしきい値以上である場合にはステップS133に戻り、再度領域の再構成を行う。しきい値未満であれば領域の再構成が収束したものとみなし、ステップS136に進み領域分割処理を完了する。
【0115】
ここで、収束判定を行うしきい値は対象となる内視鏡画像と特徴量に基づき実験的に定められる値であり、例えば再構成前後でのC meanjの差の絶対値に対し1 0. 0と設定する。
【0116】
図11に領域分割処理の適用によるROI設定の例を示す。図11において破線で示す仮ROI210は、4個のROIに分割されている。各ROIは、算出された特徴量においてそれぞれが隣接するROIとは異なる傾向を示すものと判定された領域となっている。設定されたN個(Nは1以上の整数)のROI(1)ないしROI(N)に対しては、特徴量算出ブロック84により図7のステップS28において各ROIごとの特徴量を算出する。
【0117】
ステップS26及びS28において算出する特徴量の違いについて説明する。ステップS26における特徴量は各面素に対して算出され、同じ所見を示す領域の画素から類似の値が得られることを利用して仮ROI内の画素を統合し、ROI(i)(1≦i≦N)を得るために用いられるものである。一方、ステップS28における特徴量は得られたROI(i)ごとに算出され、例えば各ROI内の各面素の特徴量の平均値や分散等であり、以後の判別分類処理において使用されるものである。各ステップにおいて適用する特徴量算出手法は同じでも異なるものでもよく、診断支援対象となる病変の種別に応じて選択される。
【0118】
本実施の形態においては、ステップS26において算出した各ROIに含まれる画素のGaborフィルタを用いた特徴量の平均値μ(1)ないしμ(N),標準偏差σ(1)ないしσ(N)をROI(1)ないしROI(N)の各特徴量として算出する。
【0119】
続いて各ROIごとに算出した特徴量を用い、判別分類ブロック86においてステップS29ないしS32に示す一連の処理を適用する。まずステップS29においてカウンタiの値を1とする。
【0120】
ステップS30においては、ROI(i)に対し図3におけるステップS11に示したものと同様に識別器を適用することにより判別分類結果を得る。
【0121】
ステップS31においてはN個のROIすべてに対する処理が完了したかどうかを判定し、完了していなければステップS32においてiの値を1増加させてステップS30に戻る。完了していればステップS33に進む。
【0122】
ステップS33においては、レポート作成ブロック87により判別分類結果を含めた診断支援情報を表示する。
【0123】
診断支援情報の表示例を、図12に示す。レポート表示ウィンドウ220を開き、診断支援情報を表示する対象となる内視鏡画像のROIの番号、識別器による判別分類結果、判別分類結果から想定される診断名及び仮ROIに占める各ROIの面積比を、診断支援情報表示領域221に表示する。
【0124】
また、レポート表示ウィンドウ220においては、特徴量値表示ボタン222、グラフ表示ボタン223、印刷ボタン224、画像/ROI表示ボタン225及び終了ボタン226を備えており、マウス45の操作によりそれぞれ算出した特徴量の値・平均値の表示、特徴量のグラフの表示、診断支援情報の印刷、診断支援情報表示対象の画像とROIの表示及び診断支援情報表示の終了を行う。
【0125】
以上に説明したように、本実施の形態における内視鏡診断支援装置によれば、診断支援情報の取得を所望する病変部に対して、もれなくROIを設定することが可能となるとともに、各ROIごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができる。
【0126】
なお,本実施の形態においてはG画像からの特徴量の算出について説明したが、RまたはB画像を用いることも可能である。また、各色信号を用いた変換により得られる輝度画像を用いることも可能である。さらに、R/(R+G+B)あるいはR/Gのように複数の画像を組み合わせて特徴量を算出することも可能である。
【0127】
また,仮ROIに対するROI設定のための領域分割処理に使用する特徴量算出手法と、設定後のROIに対する識別分類に用いる特徴量算出手法を異なるものとしてもよい。その場合は、例えば領域分割処理にR/(R+G+B)を用い、識別分類処理にGaborフィルタに基づく特徴量を使用する。
【0128】
また、診断支援情報として特徴量の仮ROI全体の平均値、標準偏差及び識別分類結果等の情報を表示してもよい。
【0129】
第2の実施の形態:
本発明の第2の実施の形態は、診断支援情報の取得を所望する病変部に対してもれなくROIを設定し、各ROIごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができるとともに、各ROIに対する診断支援情報に基づき病変に対してより総合的な診断支援情報を提示することができる内視鏡診断支援装置に関するものである。
【0130】
本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第1の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。
【0131】
図13ないし図16は本発明の第2の実施の形態に係わり、図13は本実施の形態における診断支援処理実行プログラムの構成を説明するためのブロック図、図14は診断支援実行プログラムの動作を説明するためのフローチャート、図15は診断支援情報の導出を説明するためのフローチャート、図16は本実施の形態の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図である。
【0132】
図13に示すように、診断支援処理実行プログラム230は、画像入力・管理ブロック2 31、 データベース管理ブロック232、仮ROI設定ブロック233、特徴量算出ブロック234、ROI設定ブロック235、判別分類ブロック236、総合診断ブロック237、レポート作成ブロック238及び画像処理ブロック239からなっている。これらの中で、総合診断ブロック237及びレポート作成ブロック238以外のブロックについては、それぞれ第1の実施の形態において説明した診断支援処理実行プログラム80における各ブロックと同様の処理を行う。
【0133】
総合診断ブロック237は判別分類ブロック236により得られた各ROIの判別分類結果に基づき、仮ROIを設定した病変部全体に対する総合的な診断支援情報を取得するものである。
【0134】
また,本実施の形態におけるレポート作成ブロック238は、第1の実施の形態において示した診断支援情報の表示に加え、総合診断ブロック237により得られた総合的な診断支援情報を表示する。
【0135】
次に,図14を用いて本実施の形態における内視鏡診断支援装置の動作について説明する。本実施の形態においては、第1の実施の形態において図7を用いて説明した動作のステップS20ないしS32については同じである。
【0136】
ステップS31においてすべてのROIに対する判別分類処理の適用後、ステップS41における総合診断情報の取得に進む。ここで、総合診断情報は以下のようにして得る仮ROI全体に対する診断支援情報である。
【0137】
例えば大腸pit patternの形態に基づく診断においては、どのような型のpit がどのような割合で存在しているかが重要な診断の指標となる。このことから、各ROIから得られた判別分類情報に基づき図15に示すような判定を行う。
【0138】
図15において、ステップS51より各pit patternが存在しているか、その割合はどの程度かを悪性度の高い疾患より順に判定する。なお、図15において確率として示されている数値は、判定される疾患が判別分類結果に対してどの程度の頻度で出現するかを示す数値である。例えば,ステップS51,S52及びS53を経た場合は「V型pit patternが、20%以上の割合で存在する病変が粘膜下に浸潤した早期癌である確率は60%以上」であることを示すものである。
【0139】
図14のステップS42においてはレポート作成ブロック87により、総合診断情報を含む診断支援情報を表示する。診断支援情報の表示例を図16に示す。レポート表示ウィンドウ240において、第1の実施の形態において図12を用いて説明した各項目に加え、総合診断情報表示領域241に総合診断情報を表示する。
【0140】
以上説明したように、本実施の形態における内視鏡診断支援装置によれば、診断支援情報の取得を所望する病変部に対してもれなくROIを設定し、各ROIごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができるとともに、各ROIに対する診断支援情報に基づき病変に対してより総合的な診断支援情報を提示することが可能となる。
【0141】
第3の実施の形態:
本発明の第3の実施の形態は、第2の実施の形態として示した内視鏡診断支援装置の他の形態であり、診断支援情報の取得を所望する病変部に対してもれなくROIを設定し、各ROIごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができるとともに、各ROIに対する診断支援情報に基づき病変に対してより総合的な診断支援情報を提示することができる内視鏡診断支援装置に関するものである。
【0142】
本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第2の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。
【0143】
図17は本発明の第3の実施の形態に係る内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図である。
【0144】
第2の実施の形態においては図15に例示した判定基準を参照することにより、病変部全体の総合診断情報を得たが、本実施の形態においては図14のステップS41において以下の処理を行うことにより総合診断情報を取得する。
【0145】
図7におけるステップS20ないしS31に示した一連の処理により、N個のROI各々に対する判別分類結果と仮ROIにおいて占める面積比が算出される。本実施の形態においては、得られた判別分類結果に対する該面積比を特徴量として再度判別分類処理を適用する。例えば、大腸pit patternの分類においてI型,II型,IIIs型,IIIL型,IV型,Va型,VN型の7種を想定した場合、各pit pattern の面積比の値により7次元の特徴ベクトルを構成することができる。各pit pattern の占める面積比がそれぞれ0.2,0.0,0.3,0.1,0.0,0.2,0.2であるものとすれば,特徴ベクトルXは
X={0.2,0.0,0.3,0.1,0.0,0.2,0.2}
となる。したがって、あらかじめ癌,腺種等の疾患の診断名をクラスとし、病変部に占める各pit pattern の面積比を特徴ベクトルとした教師データを用いて作成した識別器に適用することで、その病変がいずれの疾患に分類されるものであるかを示すことが可能となる。
【0146】
以上説明したように、本実施の形態における内視鏡診断支援装置によれば、診断支援情報の取得を所望する病変部に対してもれなくROIを設定し、各ROIごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができるとともに、各ROIに対する診断支援情報に基づき病変に対してより総合的な診断支援情報を提示することが可能となる。
【0147】
第4の実施の形態:
本発明の第4の実施の形態は,第1,第2及び第3の実施の形態として示した内視鏡診断支援装置に対し、診断支援情報の表示において診断に重要でない情報の表示をしないことにより重要な情報のみを提示することができる内視鏡診断支援装置に関するものである。
【0148】
本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第2の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。
【0149】
例えば大腸pit pattern の形態に基づく診断においては、I型pit pattern は正常粘膜の所見であり他のpit patternと比して重要な情報でない場合がある。そこで,図14に示したステップS42における診断支援情報の表示において、図17に示すように判別分類処理結果がI型pit patternと判定されたROIに対する診断支援情報の表示を省略する。
【0150】
このとき、ハードデイスク47に記憶したデータベースもしくは専用の設定ファイルに情報表示を省略する判別分類結果を登録しておき、レポート作成ブロック238によるレポート作成時に参照する。
【0151】
以上説明したように、本実施の形態における内視鏡診断支援装置によれば、例えば仮ROIに対して非常に多くのROIが設定された場合においても重要な診断支援情報を選択的に提示することが可能となる。
【0152】
第5の実施の形態:
本発明の第5の実施の形態は,第1ないし第4の実施の形態として示した内視鏡診断支援装置に係わり、通常の内視鏡画像(以下、通常画像と称する)及び薬剤の散布された内視鏡画像(以下、染色画像と称する)のいずれであるかを判定し、特徴量算出において処理対象とする画像をRGB各画像から適切に選択することで常に良好な診断支援情報を提供することができる内視鏡診断支援装置に関するものである。
【0153】
本実施の形態における内視鏡診断支援装置の構成については第1ないし第4の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。
【0154】
図18ないし図20は本発明の第5の実施の形態に係わり、図18は診断支援処理実行プログラムの構成を説明するためのブロック図、図19は診断支援処理実行プログラムの動作を説明するためのフローチャート、図20は通常画像及び染色画像の判定処理について説明するための説明図である。
【0155】
図18に示すように、診断支援処理実行プログラム250は、画像入力・管理ブロック251、データベース管理ブロック252、画像種別判定ブロック253、仮ROI設定ブロック254、特徴量算出ブロック255、ROI設定ブロック25 6、 判別分類ブロック257、レポート作成ブロック258及び画像処理ブロック239からなっている。これらの中で、画像種別判定ブロック253以外のブロックについては、それぞれ第1の実施の形態において説明した診断支援処理実行プログラム80における各ブロックと同様の処理を行う。
【0156】
画像種別判定ブロック253においては入力された内視鏡画像に対し、以下に示す一連の処理を適用する。なお、ここではインジゴカルミン、メチレンブルー及びクリスタルバイオレットの3種類の薬剤が選択的に使用される場合について説明する。
【0157】
本実施の形態においては、図7を用いて説明した第1の実施の形態に示した診断支援処理実行プログラム80の動作であるステップS20及びS21を、図19のステップS100ないしS107に示す処理に変更する。
【0158】
ステップS100において、処理対象とする内視鏡画像を入力する。次に、ステップS101において後述する画像種別判定処理を行う。
【0159】
ステップS102においては、画像種別判定結果が通常画像であるかどうかを判定し、YesであればステップS106へ、NoであればステツブS103に進む。
【0160】
ステップS103においては、画像種別判定結果がクリスタルバイオレットによる染色画像であるかどうかを判定し、判定結果がYesであればステップS106へ、NoであればステップS104に進む。
【0161】
ステップS104においては、画像種別判定結果がメチレンブルーによる染色画像であるかどうかを判定し、判定結果がYesであればステップS107へ、NoであればステップS105に進む。
【0162】
ステップS105においては、画像種別判定結果がインジゴカルミンによる染色画像であるかどうかを判定し、判定結果がYesであればステップS107へ、NoであればステップS106に進む。ステップS105においてNoと判定された場合には、他の薬剤を用いた染色画像である可能性がある。本実施の形態においては、このときはG画像を選択するものとする。
【0163】
ステップS106においては、RGB画像の中でG画像に対し図7に示したステップS21以降の処理に適用するものとし、ステップS22に進む。
【0164】
ステップS107においては、RGB画像の中でR画像に対し図7に示したステップS21以降の処理に適用するものとし、ステップS22に進む。
【0165】
次に,ステップS101における画像種別判定の処理内容について説明する。本実施の形態においては、画像種別を内視鏡画像の全体的な色調に応じて判定する。
【0166】
入力された内視鏡画像におけるRGB画像の画素の値を(ri,gi,bi)とする.ここで、iは各面素に付与した連続する番号で、1以上の整数である。例えば画像の大きさがX×Yであり、そのすべての画素を判定に用いる場合には1≦i≦X×Yとなる。また、サンプリング等によりM個の画素を用いる場合には1≦i≦Mとなる。以下、M個の画素を用いるものとする。
【0167】
各面素より、Si=tan-1(gi/r i),Ti=tan-1(bi/r i)を求める。ri,gi及びbiは0以上の値(例えば8bitの階調においては0から255)をとるため、Si及びTiの値は0≦Si, Ti<90の範囲にある実数値となる。実際には該範囲を90分割した近似値を使用する。例えば小数点第1位における四捨五入により,0,1,2,‥,89のそれぞれに離散化することができる。
【0168】
Si及びTiは各面素の値(ri,gi,bi)の比によって規定される数値であり、通常画像及び各種の染色画像では得られる値の分布が異なるものとなる。具体的にはriの値が大きい通常画像はSi及びTiとも比較的小さく,青色系の薬剤であるインジゴカルミン及びメチレンブルーはriの値が通常画像に比較して下がるためSi及びTiとも大きくなる。また、メチレンブルーはインジゴカルミンと比較した場合giが下がるため、Ti>Siとなる。一方、紫色系の薬剤であるクリスタルバイオレットはgiの値に対してri及びbiの値が大きくなるため、Siは小さく、Tiは大きくなる。これらの分布の違いを図20に示す.
図20において、(1)は通常画像、(2)はインジゴカルミンによる染色画像、(3)はメチレンブルーによる染色画像、(4)はクリスタルバイオレットによる染色画像における画素がそれぞれ多く分布する領域を示している。この性質により、例えばM個の画素の60%以上が含まれた場合に該当する領域に対応する画像種別であると判定することができる。また、ごく希ではあるが分布が拡散する等いずれの画像種別とも判定がつかない場合には、不明な画像と判定する。
【0169】
以上説明したように、本実施の形態における内視鏡診断支援装置によれば、内視鏡診断支援装置において通常の内視鏡画像及び薬剤の散布された内視鏡画像のいずれであるかを判定し、特徴量算出における処理対象とする画像をRGB各画像から適切に選択することができ、常に良好な診断支援情報を提供することが可能となる。
【0170】
また、画像種別判定を操作者が手動で行うことももちろん可能である。
【0171】
また、判定不能時においては判定に使用する画素のサンプル数を増加あるいは位置を変更の上再度判定してもよい。
【0172】
第6の実施形態:
本発明の第6の実施の形態は、第1ないし第5の実施の形態として示した内視鏡診断支援装置に係わり、通常画像及び染色画像のいずれであるかを判定い、その結果に応じて階調の反転を行うことにより各画像を混在して使用することを可能とすることで良好な診断支援情報を提供することができる内視鏡診断支援装置に関するものである。
【0173】
本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第5の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。
【0174】
図21は本発明の第6の実施の形態に係る診断支援処理実行プログラムの動作を説明するためのフローチャートである。
【0175】
染色画像においては、図23に示したように使用する薬剤の性質の違いにより、粘膜表面構造の画像上での見え方が逆になっている。例えば腺口形態の観察においては、インジゴカルミンを用いた染色画像では腺口部が周辺部に対して低い画素値をとることとなるため、通常画像及びメチレンブルー、クリスタルバイオレット等生体に吸収されることにより効果を得る性質の染色剤とは異なるものとなる。したがって、例えば2値化をともなう特徴量算出手法の適用に当たっては処理結果が異なるものとなるため、階調の反転が必要となる。
【0176】
図21は本実施の形態における診断支援処理実行プログラム250の動作を説明するための説明図である。本実施の形態においては、図7を用いて説明した第1の実施の形態に示した診断支援処理実行プログラム80の動作であるステップS20及びS21を、図21のステップS110ないしS120に示す処理に変更する。
【0177】
図21において、ステップS110ないしS115に示す各処理の内容は、それぞれ第5の実施形態における図19のステップS100ないしS105と同様である。
【0178】
ステップS112において、画像種別判定結果が通常画像であるかどうかを判定し、YesであればステップS116へ、NoであればステップS113に進む。
【0179】
ステップS113において、画像種別判定結果がクリスタルバイオレットによる染色画像でるかどうかを判定し、判定結果がYesであればステップS116へ、NoであればステップS114に進む。
【0180】
ステップS114においては、画像種別判定結果がメチレンブルーによる染色画像であるかどうかを判定し、判定結果がYesであればステップS117へ、NoであればステップS115に進む。
【0181】
ステップS115においては、画像種別判定結果がインジゴカルミンによる染色画像であるかどうかを判定し、判定結果がYesであればステップS119へ,NoであればステップS118に進む。ステップS115においてNoと判定された場合には、他の薬剤を用いた染色画像である可能性がある。本実施の形態においては、このときはG画像を選択するものとする。
【0182】
ステップS116及びS118においては、G画像を以後の処理対象画像として選択の上,ステップS21に進む。
【0183】
ステップS117においては、R画像を以後の処理対象画像として選択の上、ステップS21に進む。
【0184】
ステップS119においては、R画像を以後の処理対象画像として選択の上、ステップS120に進む。
【0185】
ステップS120においては、インジゴカルミンとその他の種別の画像との混在使用を可能とするための階調反転処理を適用する。階調反転処理は画像処理ブロック259により、以下の式を用いた画素値の変換を行う。
【0186】
r’j=255−rj
ここで、rjはR画像における画素jの値(1≦j≦X×Y,XとYは画像の縦・横の大きさ)で、8bitの階調数であり、0≦rj≦255の範囲をとるものとする。r’jは階調反転後の画素の値で、以後の処理に用いられるものである。ステップS120においてR画像に対する階調の反転処理を適用後、ステップS21に進む。
【0187】
以上説明したように、本実施の形態における内視鏡診断支援装置によれば、通常画像及び染色画像のいずれであるかを判定し、その結果に応じて階調の反転を行うことにより各画像を混在して使用することが可能となり、良好な診断支援情報を提供することができる。
【0188】
第7の実施の形態:
本発明の第7の実施の形態は,第1ないし第5の実施の形態として示した内視鏡診断支援装置に係わり、インジゴカルミンを用いた染色画像とそれ以外の内視鏡画像のいずれであるかを判定し、その結果に応じて階調の反転を行うことにより各画像を混在して使用することを可能とすることで良好な診断支援情報を提供することができる内視鏡診断支援装置に関するものである。
【0189】
本発明の第6の実施の形態においては、入力された内視鏡画像が通常画像及び3種類の染色画像のいずれであるかを判定し、使用された薬剤の性質の違いを考慮の上、RもしくはG画像を選択し,さらにインジゴカルミンを用いた染色画像に対しては階調の反転処理を適用する内視鏡診断支援装置について説明した。
【0190】
一方,インジゴカルミンは前述の通り、その青緑色の色調からR画像において粘膜表面の構造成分を多く含むが、G画像においても元々の内視鏡画像の性質から特徴量の算出に十分な該構造成分を有していることがあり、このような場合はG画像を共通して使用することが可能である。
【0191】
本実施の形態においては、各種の内視鏡画像からの特徴量算出手法適用においてG画像を共通に使用し、インジゴカルミンを用いた染色画像である場合のみ階調変換処理を適用することで上記第6の実施の形態における処理を簡略化し、メモリ資源の節約と処理の高速化が図れる内視鏡診断支援装置について説明する。
【0192】
本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第5の実施の形態において説明した内視鏡診断支援装置に同じである.したがって、以下異なる点について説明する。
【0193】
図22は本発明の第7の実施の形態に係る診断支援処理実行プログラムの動作を説明するためのフローチャートである。
【0194】
本実施の形態においては、図7を用いて説明した第1の実施の形態に示した診断支援処理実行プログラム80の動作であるステップS20及びS21を、図22のステップS140ないしS144に示す処理に変更する。
【0195】
図21において、ステップS140及びS141に示す各処理の内容は、それぞれ第5の実施形態における図19のステップS100及びS101と同様である。
【0196】
ステップS142においては,入力された内視鏡画像からG画像を得る。
【0197】
ステップS143においては、画像種別判定結果がインジゴカルミンによる染色画像であるかどうかを判定し、判定結果がYesであればステップS144へ、NoであればステップS121に進む。
【0198】
ステップS144においては、インジゴカルミンとその他の種別の画像との混在使用を可能とするための階調反転処理を適用する。階調反転処理は画像処理ブロック259により,以下の式を用いた画素値の変換を行う。
【0199】
g’j=255−gj
ここで、gjはG画像における画素jの値(1≦j≦X×Y,XとYは画像の縦・横の大きさ)で、8bitの階調数であり,0≦gj≦255の範囲をとるものとする。g’ jは階調反転後の画素の値で,以後の処理に用いられるものである。G画像に対する階調の反転処理を適用後、ステップS21に進む。
【0200】
以上説明したように、本実施の形態における内視鏡診断支援装置によれば、インジゴカルミンを用いた染色画像とそれ以外の内視鏡画像のいずれであるかを判定し、その結果に応じて階調の反転を行うことにより各画像を混在して使用することを可能とすることで良好な診断支援情報を提供することができる。
【0201】
第8の実施の形態:
本発明の第8の実施の形態は第1ないし第7の実施の形態として示した内視鏡診断支援装置に係わり、特徴量算出において空間周波数解析手法を適用するにあたり、内視鏡画像の空間周波数成分の有するすべての情報を利用することにより高精度の診断支援情報を得ることができる内視鏡診断支援装置に関するものである。
【0202】
本実施の形態における内視鏡診断支援装置の構成については第1の実施の形態において説明した内視鏡診断支援装置に同じである。また、本実施の形態における診断支援処理実行プログラムは図6に示した診断支援処理実行プログラム80と同様であり、特徴量算出ブロック84において適用する特徴量算出手法を変更することによりその目的を達成するものである。
【0203】
空間周波数解析手法は、画像に対するフィルタリングの適用により周波数成分を抽出し特徴量化するものである。例えば最も一般的な手法として以下に示すパワースペクトラム法が知られている。
【0204】
画像t(x,y)及びフィルタf(x,y)によるフィルタリング処理結果g(x,y)は
【数2】
G(u,v)=T(u,v)・F(u,v) (2)
により表される。ここで、G(u,v)、T(u,v)及びF(u,v)はそれぞれg(x,y)、t(x,y)及びf(x,y)のフーリエ変換である。フィルタf(x,y)は低域、高域もしくは帯域通過型の周波数特性を有しており、画像における特定の周波数成分を抽出する効果を備えている。また,式(2)は画像とフィルタの畳み込み演算により実空間上では
【数3】
g(x,y)=t(x,y)*f(x,y) (3)
と表すことができ,一般的にはFIRフィルタ等によるデジタルフィルタリングにより実行されている。
【0205】
G(u,v)は複素数であり、その実数項及び虚数項をそれぞれRe(G(u,v))及びIm(G(u,v))とすると
【数4】
G(u,v)=Re(G(u,v))+jIm(G(u,v)) (4)
と表される。ここで,jは虚数単位を示す。さらに,式(4)より、G(u,v)を振幅項A(u,v)と位相項ψ(u,v)を用いて
【数5】
G(u,v)=A(u,v)exp(jψ(u,v)) (5)
【数6】
【数7】
ψ(u,v)=tan-1{Im(G(u,v))/Re(G(u,v)} (7)
と表される。
【0206】
パワースペクトラム法においては、式(6)に示す振幅項A(u,v)を適用するn個(nはl以上の整数)のフィルタf(x,y)より求め、特徴量として使用するものである。
【0207】
また,近年画像解析分野において広く用いられているGabor特徴は、フィルタf(x,y)の周波数特性を人間の視覚系の特性を考慮したGabor関数により設定したものであり、本質的にはパワースペクトラム法と同様に振幅項A(u,v)を特徴量として用いている。
【0208】
式(5)に示すように、画像は周波数成分に関する情報として振幅項A(u,v)と位相項ψ(u,v)を含んでいるが、後者は特徴量として用いられていないため情報の損失が生じることとなる。本実施の形態においては、振幅項A(u,v)に基づく特徴量に加え、位相項ψ(u,v)に基づく特徴量を算出することにより、診断支援情報の精度向上を図る。
【0209】
本実施の形態においては、内視鏡画像における周波数成分の抽出にK×M個のGaborフィルタを用いるものとする。K及びMはGaborフィルタを規定する後述するパラメタの個数である。Gaborフィルタは2次元ガウス曲面と2次元平面上を一方向に伝わる平面波とをかけあわせたものであり、ガウス曲面における標準値差σxとσy,平面波の進行方向θk及び波長λmにより決定される。ここで,k及びmはそれぞれGaborフィルタを規定する進行方向及び波長のパラメータであり、0≦k<K及び0≦m<Mであるものとする。標準値差σxとσyは波長λmと密接に関係しており、波長λmの関数とすることができ、それぞれσx(λm)及びσy(λm)と表される。Gaborフィルタfは実部Re(g)及び虚部Im(g)からなる2次元フイルタであり、それぞれ、
【数8】
【数9】
で定義される。大きさN×Nの画像tとGaborフィルタfとの畳み込み演算による処理結果gは,画素t(X,Y)に対して、
【数10】
で与えられる。
【0210】
. 式(10)のgを用いてGabor特徴の値hk,m(X,Y)は、
【数11】
hk,m(X,Y)=|gk,m(X,Y)| (11)
となる.ここで,|・|は複素数α+jβの絶対値(α2+β2)1/2を表す。
【0211】
本実施の形態においては振幅及び位相情報を用いた特徴量として,文献4 [Rotation-Invariant Texture Classification Using a Complete Space-Frequency Model,G.M.Haley and B.S.Manjunath,IEEE TRANS. ON IMAGE PROCESSING, Vol.8,No.2,FEB. 1999]に示された各特徴量を算出する。
【0212】
【数12】
【数13】
【数14】
【数15】
【数16】
【数17】
ここで,nx及びnyはそれぞれ大きさISX×ISYの画像における画素の座標で、0≦nx<ISX, 0≦ny<ISYである。また、sはGaborフィルタの波長λmに対応するパラメタであり、1≦s≦Mである。また、rはGaborフィルタの方向θkに対応するパラメタであり、0≦r<Kである。ここでは表記を文献4に合わせ,R=Kであるものとする。また、arg[・]はtan-1{Im(・)/Re(・)}を示す。
【0213】
.また,a s,r(nx,ny),φs,r(nx,ny)及びus,r(nx,ny)は以下のように求められる.
【数18】
a s,r(nx,ny)=|g s,r(nx,ny)| (18)
【数19】
【数20】
ここで、∇x()及び∇y()は勾配推定関数、θrはGaborフィルタの方向である。また、
【数21】
θ∇=tan-1{▽y(ψs,r(nx,ny))/▽x(ψs,r(nx,ny)}(21)
より求められる。また、arg[・]はatan(Im(・)/Re(・))を示す。
【0214】
式(#11)ないし(#16)に示す特徴量は各面素ごとに算出されるものであり、第1の実施の形態において示した図7におけるステップS26に適用することができる。
【0215】
さらに、式(12)ないし(17)により得られる画素ごとの特徴量から、以下に示す領域ごとの特徴量を算出することが可能である。
【0216】
【数22】
ここで,f A,f F,f Y,f DA,f DF及びf DYはそれぞれfAs,p,fFs,q,fYs,q,fDAs,q,fDFs,q及びfDYs,qに対するpまたはqに基づくベクトル表記である。また、E{}は算出対象とする領域内(ROI)の各面素に碁づく期待値(平均値),*は複素共役を示す。
【0217】
また、各特徴量の分散及び共分散に基づく特徴量を算出することも可能である。例えば,式(12)及び(13)に示したfAs,p及びfFs,qを用いた分散及び共分散は分散共分散行列Σとして算出される。例えばs=1、R=8の場合、fAs,p及びfFs,qはそれぞれ各面素につき3個ずつ算出され、ROI内のj番目の画素(座標(nx,ny)とする)に対してv1j=fA0,0(nx,ny),v2j=fA0,1(nx,ny),v3j=fA0,2(nx,ny),v4j=fF0,0(nx,ny),v5j=fF0,1(nx,ny),v6j=fF0,2(nx,ny)とすると共分散行列Σは、
【数23】
で定義される.式(23)においてσstは
【数24】
により求められる。ここで、NはROI内の画素数、μs及びμtはそれぞれvs及びvtのROI内の平均値を示す。得られた共分散行列Σにおいて、各σst をROIの特徴量として使用する。式(14)ないし(17)に示した各特徴量を含め、同様に分散共分散行列を求めることができる。
【0218】
また、さらに共分散行列Σより相関行列を求め、相関係数を特徴量として使用することもできる。
【0219】
本実施の形態においては、第1の実施の形態において示した図7におけるステップS27に適用することが可能であり、領域分割処理適用後の各ROI(i)よりF CA (i)ないしF DMY (i)の分散、共分散(もしくは相関係数)を求め、ステップS29における判別分類処理に使用する。
【0220】
以上説明したように、本実施の形態における内視鏡診断支援装置によれば、特徴量算出において空間周波数解析手法を適用するにあたり、内視鏡画像の空間周波数成分の有するすべての情報を利用することにより高精度の診断支援情報を得ることができる。
【0221】
[付記]
(付記項1) 被検体を撮像した撮像信号から所定の周波数成分を抽出する周波数成分抽出手段と、
前記周波数成分抽出手段で抽出された前記周波数成分の位相情報を検出する位相情報検出手段と、
前記位相情報検出手段で検出された前記位相情報に基づき前記被検体の特徴量を演算する特徴量演算手段と
を具備したことを特徴とする診断支援装置。
【0222】
(付記項2) 複数の色信号からなる内視鏡画像を入力する内視鏡画像入力手段と、
前記内視鏡画像入力手段に入力された前記内視鏡画像に対し第1の領域を設定する第1の領域設定手段と、
前記内視鏡画像の少なくとも1つの色信号に基づく特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された前記特徴量に基づき前記第1の領域設定手段により設定された第1の領域に第2の領域を設定する第2の領域設定手段と、
前記第2の領域設定手段により設定された少なくとも1つの領域に対し前記特徴量算出手段により算出された前記特徴量に基づく判別分類処理を適用する判別分類手段と、
前記判別分類手段による判別分類結果を表示する表示手段と
を備えたことを特徴とする内視鏡診断支援装置。
【0223】
(付記項3) 前記表示手段が前記特徴量算出手段により算出された特徴量を表示する
ことを特徴とする付記項2に記載の内視鏡診断支援装置。
【0224】
(付記項4) 前記第2の領域設定手段により設定された第2の領域の面積を算出する面積算出手段
を備えたことを特徴とする付記項2または3に記載の内視鏡診断支援装置。
【0225】
(付記項5) 前記第2の領域が面積比を算出する面積比算出手段を備え、前記表示手段が前記面積比算出手段により算出された面積比を表示する
ことを特徴とする付記項4に記載の内視鏡診断支援装置。
【0226】
(付記項6) 前記面積算出手段が画素数に基づく面積を算出する
ことを特徴とする付記項4または5に記載の内視鏡診断支援装置。
【0227】
(付記項7) 前記第2の領域設定手段及び前記判別分類手段において、各々が種類の異なる特徴量を用いる
ことを特徴とする付記項2,3,4,5または6に記載の内視鏡診断支援装置。
【0228】
(付記項8) 前記第2の領域設定手段が前記特徴量算出手段により算出された特徴量に基づく領域分割により第2の領域を設定する
ことを特徴とする付記項2,3,4,5,6または7に記載の内視鏡診断支援装置。
【0229】
(付記項9) 前記第1の領域設定手段により設定される第1の領域が内視鏡画像全体である
ことを特徴とする付記項2,3,4,5,6,7または8に記載の内視鏡診断支援装置。
【0230】
(付記項10) 前記第2の領域に対する前記判別分類手段による判別分類結果に基づき総合的な診断支援情報を導出するための総合情報導出手段を備え、前記表示手段が前記総合情報導出手段により導出された診断支援情報表示する
ことを特徴とする付記項2,3,4,5,6,7,8または9に記載の内視鏡診断支援装置。
【0231】
(付記項11) 前記総合情報導出手段が前記判別分類結果ごとに前記第2の領域を統合した面積比を算出するとともに、前記判別分類結果及び前記面積比に基づき診断支援情報を導出する
ことを特徴とする付記項10に記載の内視鏡診断支援装置。
【0232】
(付記項12) 前記総合情報導出手段が前記面積比を特徴量とする識別分類処理を実行することにより診断支援情報を導出する
ことを特徴とする付記項11に記載の内視鏡診断支援装置。
【0233】
(付記項13) 複数の色信号からなる内視鏡画像を入力する内視鏡画像入力手段と、
前記内視鏡画像入力手段に入力された前記内視鏡画像に対し領域を設定する領域設定手段と、
前記内視鏡画像の種別を判定する内視鏡画像種別判定手段と、
前記内視鏡画像の少なくとも1つの色信号に基づく特徴量を算出する特徴量算出手段と、
前記領域設定手段により設定された領域に対し前記特徴量算出手段により算出された特徴量に基づく判別分類処理を適用する判別分類手段と、
前記判別分類手段による判別分類結果を表示する表示手段と
を備え、
前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出手段が特徴量を算出する色信号を変更する
ことを特徴とする内視鏡診断支援装置。
【0234】
(付記項14) 前記内視鏡画像入力手段に入力された内視鏡画像の種別を判定する内視鏡画像種別判定手段を備えるとともに、前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出手段が特徴量を算出する色信号を変更する
ことを特徴とする付記項2,3,4,5,6,7,9,10,11または12に記載の内視鏡診断支援装置。
【0235】
(付記項15) 前記内視鏡画像種別判定手段が薬剤散布の有無に基づく内視鏡画像の種別を判定する
ことを特徴とする付記項13または14に記載の内視鏡診断支援装置。
【0236】
(付記項16) 前記内視鏡画像種別判定手段が散布された薬剤の種別に基づく画像の種別を判定する
ことを特徴とする付記項15に記載の内視鏡診断支援装置。
【0237】
(付記項17) 前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出手段が特徴量を算出する色信号を補正する色信号補正手段を設けた
ことを特徴とする付記項13,14,15または16に記載の内視鏡診断支援装置。
【0238】
(付記項18) 前記色信号補正手段が階調の反転に基づく補正を行う
ことを特徴とする付記項17に記載の内視鏡診断支援装置。
【0239】
(付記項19) 前記内視鏡画像種別判定手段が前記内視鏡画像の色調に基づき内視鏡画像の種別を判定する
ことを特徴とする付記項13,14,15,16,17または18に記載の内視鏡診断支援装置。
【0240】
(付記項20) 前記特徴量算出手段が前記内視鏡画像の空間周波数成分に基づく特徴量を算出する
ことを特徴とする付記項2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18または19に記載の内視鏡診断支援装置。
【0241】
(付記項21) 前記特徴量算出手段が前記内視鏡画像の空間周波数成分における振幅及び/または位相に基づく特徴量を算出する
ことを特徴とする付記項20に記載の内視鏡診断支援装置。
【0242】
(付記項22) 前記判別分類手段が少なくとも1つの統計的または非統計的識別器を用いた分類を適用する
ことを特徴とする付記項2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20または21に記載の内視鏡診断支援装置。
【0243】
(付記項23) 複数の色信号からなる内視鏡画像を入力する内視鏡画像入力手段と、
前記内視鏡画像入力手段に入力された前記内視鏡画像の少なくとも1つの色信号に基づき空間周波数成分を抽出する空間周波数成分抽出手段と、
前記空間周波数成分抽出手段により抽出された空間周波数成分に基づき前記内視鏡画像の位相成分を検出する位相成分検出手段と、
前記位相成分検出手段により検出された位相成分に基づく特徴量を算出する特徴量算出手段と
を備えたことを特徴とする内視鏡画像処理装置。
【0244】
(付記項24) 前記特徴量算出手法が前記位相成分の変化の方向に基づく特徴量を算出する
ことを特徴とする付記項23に記載の内視鏡画像処理装置。
【0245】
(付記項25) 前記特徴量算出手法が前記位相成分の変化の大きさに基づく特徴量を算出する
ことを特徴とする付記項23または24に記載の内視鏡画像処理装置。
【0246】
(付記項26) 前記空間周波数成分抽出手段により抽出された空間周波数成分に基づき前記内視鏡画像の振幅成分を検出する振幅成分検出手段と、
前記位相成分検出手段により検出された位相成分及び前記振幅成分検出手段により検出された振幅成分に基づく特徴量を算出する特徴量算出手段と、
を備えたことを特徴とする付記項23,24または25に記載の内視鏡画像処理装置。
【0247】
(付記項27) 前記特徴量算出手段が前記位相成分及び振幅成分の共分散または相関に基づく特徴量を算出する
ことを特徴とする付記項26に記載の内視鏡画像処理装置。
【0248】
(付記項28) 前記空間周波数成分抽出手段がフーリエ変換またはデジタルフィルタを用いたフィルタリングを行う
ことを特徴とする付記項23,24,25,26または27に記載の内視鏡画像処理装置。
【0249】
(付記項29) 内視鏡画像を入力するステップと、
前記内視鏡画像に対し空間周波数成分を抽出するフィルタリングを適用するステップと、
前記フィルタリングの適用結果に基づき前記内視鏡画像の位相情報を検出するステップと、
前記位相情報に基づく特徴量を算出するステップと
を備えたことを特徴とする内視鏡画像処理方法。
【0250】
(付記項30) 複数の色信号からなる内視鏡画像を入力する内視鏡画像入力手段と、 前記内視鏡画像入力手段に入力された内視鏡画像に対し領域を設定する領域設定手段と、
前記内視鏡画像の種別を判定する内視鏡画像種別判定手段と、
前記内視鏡画像の少なくとも1つの色信号に基づく特徴量を算出する特徴量算出手段と
を備え、
前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出手段が特徴量を算出する色信号を変更する
ことを特徴とする内視鏡画像処理装置。
【0251】
(付記項31) 複数の色信号からなる内視鏡画像を入力するステップと、
前記内視鏡画像に対し領域を設定するステップと、
前記内視鏡画像の種別を判定するステップと、
前記内視鏡画像の少なくとも1つの色信号に基づく特徴量を算出するステップと
からなり、
前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出ステップにおいて特徴量を算出する色信号を変更する
ことを特徴とする内視鏡画像処理方法。
【0252】
付記項2,3,4,5,6,7,8,9,1 0,11,12及び22の目的は内視鏡画像において病変の粘膜表面構造が複数の異なる所見を呈する場合,あるいは病変中に他の異なる腫瘍等が混在する場合においても,各所見を示す部位ごとに関心領域を設定するとともに,どのような所見,あるいは所見に関連して診断される腫瘍等が存在しているか,さらにはそれらがどのような割合で混在しているかを知ることができる診断支援装置を提供することにある。
【0253】
付記項1 3,1 4,1 5,1 6,1 7,1 8,19, 30及び31の目的は特徴量算出においてRGB画像のいずれを処理の対象とするかについて,薬剤散布の有無及び散布に使用した薬剤の種別に応じて変更し,より高精度に客観的・数値的な診断を行うことにある。
【0254】
付記項20,22,23,24,25,26,27,28及び29の目的は内視鏡画像中の空間周波数成分の特徴量化において,位相情報を考慮した特徴量算出手法を適用することにより空間周波数成分の有するすべての情報を利用し,より高精度の客観的・数値的な診断を行うことにある。
【0255】
【発明の効果】
以上説明したように本発明によれば、内視鏡画像において病変の粘膜表面構造が複数の異なる所見を呈する場合、あるいは病変中に他の異なる腫瘍等が混在する場合においても、各所見を示す部位ごとに関心領域を設定するとともに、どのような所見、あるいは所見に関連して診断される腫瘍等が存在しているか、さらにはそれらがどのような割合で混在しているかを知ることができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る内視鏡診断支援装置の構成を示す構成図
【図2】従来の内視鏡診断支援装置における診断支援処理実行プログラムの構成を説明するための機能ブロック図
【図3】従来の内視鏡診断支援装置における診断支援処理実行プログラムの動作を説明するためのフローチャート
【図4】従来の内視鏡診断支援装置におけるROI設定を説明するためのROI設定ウィンドウ説明図
【図5】従来の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図
【図6】第1の実施の形態の内視鏡診断支援装置における診断支援処理実行プログラムの構成を説明するための機能ブロック図
【図7】第1の実施の形態の内視鏡診断支援装置における診断支援処理実行プログラムの動作を説明するためのフローチャート
【図8】第1の実施の形態の内視鏡診断支援装置における仮ROI設定を説明するための仮ROI設定ウィンドウ説明図
【図9】第1の実施の形態の領域分割処理の動作を説明するためのフローチャート
【図10】第1の実施の形態の領域分割処理を説明するための第1の説明図
【図11】第1の実施の形態の領域分割処理を説明するための第2の説明図
【図12】第1の実施の形態の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図
【図13】本発明の第2の実施の形態に係る本実施の形態における診断支援処理実行プログラムの構成を説明するためのブロック図
【図14】第2の実施の形態の診断支援実行プログラムの動作を説明するためのフローチャート
【図15】第2の実施の形態の診断支援情報の導出を説明するためのフローチャート
【図16】第2の実施の形態の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図
【図17】本発明の第3の実施の形態に係る内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図
【図18】本発明の第5の実施の形態に係る診断支援処理実行プログラムの構成を説明するためのブロック図
【図19】第5の実施の形態における診断支援処理実行プログラムの動作を説明するためのフローチャート
【図20】第5の実施の形態における通常画像及び染色画像の判定処理について説明するための説明図
【図21】本発明の第6の実施の形態に係る診断支援処理実行プログラム250の動作を説明するための説明図
【図22】本発明の第7の実施の形態に係る診断支援処理実行プログラムの動作を説明するためのフローチャート
【図23】染色画像に関する説明のための説明図
【符号の説明】
1…診断支援装置
2…ビデオプロセッサ
3、35…観察モニタ
4…入力ユニット
5…サーバユニット
6…カンファレンスユニット
11…A/Dコンバータ
12、32、50…画像処理部
13、21、31L…LANコントローラ
14、26、36…コントローラ
22…メモリ
23、47…ハードディスク
24…ハードディスクドライバ
25…圧縮装置
33…伸張装置
34…D/Aコンバータ
41…CPU
42…キーボード
43…キーボードI/F
44…検索モニタ
45…マウス
46…マウスI/F
48…ハードディスクI/F
49…作業メモリ
50…画像処理部
51…プリンタ
52…プリンタI/F
61…パスワード記憶部
62…パスワード監視部
63…制御制限部
80…診断支援処理実行プログラム
81…画像入力・管理ブロック
82…データベース管理ブロック
83…仮ROI設定ブロック
84…特徴量算出ブロック
85…ROI設定ブロック
86…判別分類ブロック
87…レポート作成ブロック
88…画像処理ブロック
Claims (3)
- 複数の色信号からなる内視鏡画像の色調に基づき、前記内視鏡画像を構成する各画素毎に第1の特徴量を算出する第1の特徴量算出手段と、
前記内視鏡画像に対して第1の領域を設定する領域設定手段と、
前記領域設定手段において設定された前記第1の領域を、前記第1の特徴量に基づいて複数の第2の領域に分割する領域分割手段と、
前記第2の領域の各領域毎に第2の特徴量を算出する第2の特徴量算出手段と、
前記第2の特徴量に基づき、前記第2の領域の各々に対する判別分類処理を行う判別分類手段と、
前記判別分類結果のうち表示を省略する所定の判別分類結果の情報を登録する記憶部と、
前記記憶部に登録されている所定の判別分類結果を除き前記判別分類手段による判別分類結果を前記第2の領域毎に表示するための表示制御を行う表示制御手段と、
を備えたことを特徴とする診断支援装置。 - 少なくとも1つの色信号からなる内視鏡画像の粘膜表面構造に基づき、前記内視鏡画像を構成する各画素毎に第1の特徴量を算出する第1の特徴量算出手段と、
前記内視鏡画像に対して第1の領域を設定する領域設定手段と、
前記領域設定手段において設定された前記第1の領域を、前記第1の特徴量に基づいて複数の第2の領域に分割する領域分割手段と、
前記第2の領域の各領域毎に第2の特徴量を算出する第2の特徴量算出手段と、
前記第2の特徴量に基づき、前記第2の領域の各々に対する判別分類処理を行う判別分類手段と、
前記判別分類結果のうち表示を省略する所定の判別分類結果の情報を登録する記憶部と、
前記記憶部に登録されている所定の判別分類結果を除き前記判別分類手段による判別分類結果を前記第2の領域毎に表示するための表示制御を行う表示制御手段と、
を備えたことを特徴とする診断支援装置。 - 少なくとも1つの色信号からなる内視鏡画像の周波数成分に基づき、前記内視鏡画像を構成する各画素毎に第1の特徴量を算出する第1の特徴量算出手段と、
前記内視鏡画像に対して第1の領域を設定する領域設定手段と、
前記領域設定手段において設定された前記第1の領域を、前記第1の特徴量に基づいて複数の第2の領域に分割する領域分割手段と、
前記第2の領域の各領域毎に第2の特徴量を算出する第2の特徴量算出手段と、
前記第2の特徴量に基づき、前記第2の領域の各々に対する判別分類処理を行う判別分類手段と、
前記判別分類結果のうち表示を省略する所定の判別分類結果の情報を登録する記憶部と、
前記記憶部に登録されている所定の判別分類結果を除き前記判別分類手段による判別分類結果を前記第2の領域毎に表示するための表示制御を行う表示制御手段と、
を備えたことを特徴とする診断支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000365855A JP4450973B2 (ja) | 2000-11-30 | 2000-11-30 | 診断支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000365855A JP4450973B2 (ja) | 2000-11-30 | 2000-11-30 | 診断支援装置 |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007069055A Division JP2007236956A (ja) | 2007-03-16 | 2007-03-16 | 内視鏡診断支援装置及び内視鏡画像処理方法 |
JP2007069056A Division JP2007236957A (ja) | 2007-03-16 | 2007-03-16 | 内視鏡診断支援装置及び内視鏡画像処理方法 |
JP2007069057A Division JP4451460B2 (ja) | 2007-03-16 | 2007-03-16 | 内視鏡診断支援装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002165757A JP2002165757A (ja) | 2002-06-11 |
JP2002165757A5 JP2002165757A5 (ja) | 2007-05-10 |
JP4450973B2 true JP4450973B2 (ja) | 2010-04-14 |
Family
ID=18836555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000365855A Expired - Fee Related JP4450973B2 (ja) | 2000-11-30 | 2000-11-30 | 診断支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4450973B2 (ja) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4583704B2 (ja) * | 2002-11-01 | 2010-11-17 | オリンパス株式会社 | 内視鏡撮像装置 |
JP4409166B2 (ja) | 2002-12-05 | 2010-02-03 | オリンパス株式会社 | 画像処理装置 |
JP4652694B2 (ja) * | 2004-01-08 | 2011-03-16 | オリンパス株式会社 | 画像処理方法 |
JP4804739B2 (ja) * | 2004-11-10 | 2011-11-02 | オリンパス株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
JP4804742B2 (ja) * | 2004-11-19 | 2011-11-02 | オリンパス株式会社 | 画像処理装置、及び画像処理プログラム |
JP4745718B2 (ja) * | 2005-05-12 | 2011-08-10 | Hoya株式会社 | 内視鏡プロセッサ |
JP4767591B2 (ja) | 2005-06-01 | 2011-09-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム |
FR2899088B1 (fr) * | 2006-03-31 | 2008-06-27 | Mauna Kea Technologies Soc Par | "microscopie de fluorescence fibree a base de bleu de methylene." |
JP5094036B2 (ja) | 2006-04-17 | 2012-12-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入方向検出装置 |
JP4847795B2 (ja) * | 2006-06-06 | 2011-12-28 | Hoya株式会社 | 内視鏡用組織蛍光染色剤組成物 |
WO2008020065A1 (en) * | 2006-08-16 | 2008-02-21 | Mevis Breastcare Gmbh & Co. Kg | Method, apparatus and computer program for presenting cases comprising images |
CN101594817B (zh) * | 2007-04-24 | 2011-08-24 | 奥林巴斯医疗株式会社 | 医疗用图像处理装置以及医疗用图像处理方法 |
JP5106928B2 (ja) * | 2007-06-14 | 2012-12-26 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
JP2009247463A (ja) * | 2008-04-02 | 2009-10-29 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2010158343A (ja) * | 2009-01-07 | 2010-07-22 | Fujifilm Corp | 光立体構造解析装置及びその立体構造情報処理方法 |
TWI432168B (zh) * | 2009-12-31 | 2014-04-01 | Univ Nat Yunlin Sci & Tech | 內視鏡導航方法以及內視鏡導航系統 |
JP5570866B2 (ja) | 2010-04-30 | 2014-08-13 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
JP5576711B2 (ja) | 2010-05-14 | 2014-08-20 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5547597B2 (ja) * | 2010-09-29 | 2014-07-16 | 大日本スクリーン製造株式会社 | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 |
CN103747718B (zh) * | 2012-03-21 | 2016-03-30 | 奥林巴斯株式会社 | 图像处理装置 |
JP6265588B2 (ja) | 2012-06-12 | 2018-01-24 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP5904168B2 (ja) * | 2012-07-20 | 2016-04-13 | Jfeスチール株式会社 | 撮像画像の特徴点抽出方法および特徴点抽出装置 |
JP5989498B2 (ja) * | 2012-10-15 | 2016-09-07 | 東芝メディカルシステムズ株式会社 | 画像処理装置及びプログラム |
JP6422198B2 (ja) * | 2012-11-29 | 2018-11-14 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5844246B2 (ja) * | 2012-11-30 | 2016-01-13 | 富士フイルム株式会社 | 検査結果表示装置及びその作動方法、並びに制御プログラム |
GB201317746D0 (en) | 2013-10-08 | 2013-11-20 | Smith & Nephew | PH indicator |
GB201401112D0 (en) * | 2014-01-23 | 2014-03-12 | Smith & Nephew | Systems and methods for wound monitoring |
JP6077340B2 (ja) * | 2013-03-06 | 2017-02-08 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
EP3045104A4 (en) | 2013-09-13 | 2017-04-26 | Olympus Corporation | Image processing device, method, and program |
JP6235921B2 (ja) | 2014-02-07 | 2017-11-22 | 国立大学法人広島大学 | 内視鏡画像診断支援システム |
JP6371613B2 (ja) * | 2014-07-09 | 2018-08-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN106687150A (zh) | 2014-07-10 | 2017-05-17 | 史密夫及内修公开有限公司 | 设备以及关于设备的改进 |
JP6243311B2 (ja) * | 2014-09-30 | 2017-12-06 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム |
JP6438322B2 (ja) * | 2015-02-24 | 2018-12-12 | 富士フイルム株式会社 | 内視鏡システム |
JP6422816B2 (ja) * | 2015-04-28 | 2018-11-14 | 富士フイルム株式会社 | 内視鏡システム |
JP6552613B2 (ja) * | 2015-05-21 | 2019-07-31 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
US9747701B2 (en) * | 2015-08-20 | 2017-08-29 | General Electric Company | Systems and methods for emission tomography quantitation |
EP3357406A4 (en) | 2015-09-29 | 2018-10-10 | FUJI-FILM Corporation | Image processing apparatus, endoscope system, and image processing method |
GB201600747D0 (en) | 2016-01-14 | 2016-03-02 | Smith & Nephew | Improvements in and relating to devices |
GB201600746D0 (en) | 2016-01-14 | 2016-03-02 | Smith & Nephew | Improvements in and relating to polymer materials |
US11270433B2 (en) | 2017-06-09 | 2022-03-08 | Ai Medical Service Inc. | Disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein |
EP3705025A4 (en) * | 2017-10-30 | 2021-09-08 | Japanese Foundation For Cancer Research | IMAGE DIAGNOSIS ASSISTANT APPARATUS, DATA COLLECTION PROCESS, IMAGE DIAGNOSIS ASSISTANCE PROCESS AND IMAGE DIAGNOSIS ASSISTANCE PROGRAM |
JP7218215B2 (ja) * | 2019-03-07 | 2023-02-06 | 株式会社日立製作所 | 画像診断装置、画像処理方法及びプログラム |
JP7138771B2 (ja) * | 2019-03-18 | 2022-09-16 | オリンパス株式会社 | 診断支援装置、診断支援方法及びプログラム |
WO2020194693A1 (ja) * | 2019-03-28 | 2020-10-01 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法 |
JP7071650B2 (ja) * | 2019-06-19 | 2022-05-19 | 日亜化学工業株式会社 | 画像取得装置 |
JP7412279B2 (ja) * | 2020-06-03 | 2024-01-12 | 株式会社日立ハイテク | 画像診断方法、画像診断支援装置、及び計算機システム |
CN111680758B (zh) * | 2020-06-15 | 2024-03-05 | 杭州海康威视数字技术股份有限公司 | 图像训练样本生成方法和装置 |
WO2022029824A1 (ja) * | 2020-08-03 | 2022-02-10 | オリンパス株式会社 | 診断支援システム、診断支援方法及び診断支援プログラム |
JP2024016378A (ja) * | 2022-07-26 | 2024-02-07 | 株式会社Screenホールディングス | 解析支援方法、プログラムおよび解析支援装置 |
-
2000
- 2000-11-30 JP JP2000365855A patent/JP4450973B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002165757A (ja) | 2002-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4450973B2 (ja) | 診断支援装置 | |
JP4451460B2 (ja) | 内視鏡診断支援装置 | |
US11562820B2 (en) | Computer classification of biological tissue | |
US11937973B2 (en) | Systems and media for automatically diagnosing thyroid nodules | |
US7260248B2 (en) | Image processing using measures of similarity | |
WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
Rubegni et al. | Digital dermoscopy analysis and artificial neural network for the differentiation of clinically atypical pigmented skin lesions: a retrospective study | |
Burroni et al. | Melanoma computer-aided diagnosis: reliability and feasibility study | |
JP3895400B2 (ja) | 診断支援装置 | |
JP2012505028A (ja) | 子宮頸部画像における組織分類方法 | |
JP2007236956A (ja) | 内視鏡診断支援装置及び内視鏡画像処理方法 | |
Li et al. | A multiscale approach to retinal vessel segmentation using Gabor filters and scale multiplication | |
JP2000155840A (ja) | 画像処理方法 | |
KR102095730B1 (ko) | 딥러닝 기반의 대장 병변 검출 방법 | |
US20240062904A1 (en) | Tumor diagnosis system and construction method thereof, terminal device and storage medium | |
Vlachokosta et al. | Classification of hysteroscopical images using texture and vessel descriptors | |
JP2007236957A (ja) | 内視鏡診断支援装置及び内視鏡画像処理方法 | |
KR20110130288A (ko) | 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법 | |
Fakhr et al. | Automatic diagnosis of liver diseases from ultrasound images | |
ALOUPOGIANNI et al. | Binary malignancy classification of skin tissue using reflectance and texture features from macropathology multi-spectral images | |
Ye et al. | Segmentation and feature extraction of endoscopic images for making diagnosis of acute appendicitis | |
Meyer-Veit et al. | Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation | |
Zhang et al. | A novel endoscopy image fusion system: combine white light imaging and compound band imaging | |
Salamh | Investigation the effect of using gray level and rgb channels on brain tumor image | |
US20240065540A1 (en) | Apparatus and method for detecting cervical cancer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100127 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140205 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |