JP3895400B2 - 診断支援装置 - Google Patents
診断支援装置 Download PDFInfo
- Publication number
- JP3895400B2 JP3895400B2 JP15708096A JP15708096A JP3895400B2 JP 3895400 B2 JP3895400 B2 JP 3895400B2 JP 15708096 A JP15708096 A JP 15708096A JP 15708096 A JP15708096 A JP 15708096A JP 3895400 B2 JP3895400 B2 JP 3895400B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- interest
- feature amount
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G06F19/00—
Landscapes
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は診断支援装置、更に詳しくは内視鏡装置による画像データを基に病変の種類を自動的に判別分類する部分に特徴のある診断支援装置に関する。
【0002】
【従来の技術】
近年、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡装置が広く用いられている。
【0003】
また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。
【0004】
一方、このような内視鏡装置、超音波診断装置等により得られた多数の画像データを管理する医療用画像データベースを用いた画像表示装置が提案されている。
【0005】
これら内視鏡装置及び超音波内視鏡装置等で撮像した内視鏡画像を光磁気ディスク等の記録媒体に記録し、後の診断に有効利用できるように画像ファイル装置を接続してシステムとして使用される状況にある。
【0006】
また、医療画像分野においては、例えば特開平7−37056号公報に示されるように、画像ファイル装置に記録された画像に対しコンピュータを用い、自動診断を行うことができる診断支援装置が提案されている。
【0007】
診断支援装置は、画像内における関心領域(ROI)から算出された何らかの特徴量を用い、閾値処理あるいは統計的・非統計的判別器を用いて診断対象とする画像がどのような病変に分類されるかを医師に提示することにより、診断の支援を行うものである。
【0008】
【発明が解決しようとする課題】
しかしながら、従来の診断支援装置においては、内視鏡画像を対象として単純に多数の画像において設定したROIから個別に算出した特徴量を用いて診断支援を行う場合、必ずしも病変の特徴に即した特徴量の算出が行われているとはいえなかった。その理由は以下の通りである。
【0009】
内視鏡画像においては、医師は粘膜表面における色調、模様の構造パターン(テクスチャ)の規則性・粗密度等、多くの特徴に基づき病変の発見及び診断を行っている。
【0010】
ところが、内視鏡画像においては、画像の撮像条件のばらつきが大きい。例えば同一の病変を撮像した場合においても、観察角度、距離等により観察光の照射条件が画像ごとに変化するため、撮像画像における色調が変化する場合がある。また、粘膜色の個人差等の影響も考えられる。さらに、テクスチャにおいても観察距離に応じて特徴が大きく変化するものである。したがって、異なる内視鏡画像からそれぞれ算出された正常部位及び病変部位における特徴量の値が接近し、診断支援の妨げとなる。
【0011】
一方、病変の発見及び診断は、主として正常粘膜と病変粘膜との前記特徴の違いに基づいている場合が多いと考えられる。例えば1枚の内視鏡画像における正常部位と病変部位との間の何らかの特徴の相対的な相違(例えば周辺粘膜と色調が異なる等)から病変の発見が、該相違の種類(例えば周辺粘膜より色調が赤い等)から診断が行われる。
【0012】
従来の診断支援装置においてはこの点が考慮されておらず、複数のROIにおける相対的な特徴量を算出することができなかった。
【0013】
また、内視鏡画像においては、各画素の画像上の位置に依存する局所的な情報を有効に利用する特徴量に対する考慮もなされていなかった。
【0014】
さらに、内視鏡画像から特徴量を算出するためには、特徴量算出手法適用の前段にあたってノイズ除去等の前処理が行われている。しかしながら、これらの前処理手法は公知の基本的な手法を適用しているのみであり、内視鏡画像からの特徴量抽出のために特化した複数の手法、さらには、必要に応じてそれらの各手法を適切な順序及び組み合わせて使用するといった配慮がなされていなかった。
【0015】
本発明は、上記事情に鑑みてなされたものであり、撮像条件の違いによる影響の少ない特徴量の算出、画素の画像上における位置に依存する情報を保存した特徴量の算出、さらには、内視鏡画像から診断に有用な特徴量を算出するための前処理手法を提供することにより、安定した自動診断結果を得ることのできる診断支援装置を提供することを目的としている。
【0016】
【課題を解決するための手段】
本発明の第1の診断支援装置は、画像データを入力する画像入力手段と、入力された前記画像データを記憶する記憶手段と、前記記憶手段により記録された前記画像データに対して複数の関心領域を設定可能とする関心領域設定手段と、前記関心領域設定手段により設定された複数の関心領域のうち所定の関心領域に係る所定の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された前記所定の特徴量を用いた病変の判別分類を行う判別分類手段と、を備え、前記特徴量算出手段は、前記複数の関心領域のうちの少なくとも第1の関心領域に係る第1の特徴量と、前記第1の関心領域とは異なる第2の関心領域に係る第2の特徴量とを算出可能とし、前記判別分類手段は、前記特徴量算出手段で算出した前記第1の特徴量と前記第2の特徴量との差分に基づいて算出した相互特徴量に基づいて前記判別分類を行うことを特徴とする。
本発明の第2の診断支援装置は、画像データを入力する画像入力手段と、入力された前記画像データを記憶する記憶手段と、前記記憶手段により記録された前記画像データに対して複数の関心領域を設定可能とする関心領域設定手段と、前記関心領域設定手段により設定された複数の関心領域のうち所定の関心領域に係る所定の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された前記所定の特徴量を用いた病変の判別分類を行う判別分類手段と、を備え、前記特徴量算出手段は、前記複数の関心領域のうちの少なくとも第1の関心領域に係る第1の特徴量と、前記第1の関心領域とは異なる第2の関心領域に係る第2の特徴量とを算出可能とし、前記判別分類手段は、前記特徴量算出手段で算出した前記第1の特徴量と前記第2の特徴量との比に基づいて算出した相互特徴量に基づいて前記判別分類を行うことを特徴とする。
本発明の第3の診断支援装置は、画像データを入力する画像入力手段と、入力された前記画像データを記憶する記憶手段と、前記記憶手段により記録された前記画像データに対して少なくとも1つの関心領域を設定する関心領域設定手段と、前記関心領域設定手段により設定された前記関心領域内の局所的な構造パターンに対して所定の処理を行った後に特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量を用いた病変の判別分類を行う判別分類手段と、を備え、前記所定の処理は、関心領域内の局所的な構造パターンに係る処理であって、前記特徴量算出手段において特徴量を算出するための基準方向を設定する処理であることを特徴とする。
本発明の第4の診断支援装置は、画像データを入力する画像入力手段と、入力された前記画像データを記憶する記憶手段と、前記記憶手段により記録された前記画像データに対して少なくとも1つの関心領域を設定する関心領域設定手段と、前記関心領域設定手段により設定された前記関心領域から補正処理が行われた特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量を用いた病変の判別分類を行う判別分類手段と、を備え、前記特徴量に対する補正処理が画像の回転移動に関する補正であることを特徴とする。
本発明の第5の診断支援装置は、画像データを入力する画像入力手段と、入力された前記画像データを記憶する記憶手段と、前記記憶手段により記録された前記画像データに対して少なくとも1つの関心領域を設定する関心領域設定手段と、前記関心領域設定手段により設定された前記関心領域から特徴量の値を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量の値を用いた病変の判別分類を行う判別分類手段と、前記特徴量算出手段よる特徴量の値の算出前に前記画像データに対して少なくとも1種類の画像処理を実行可能とする画像処理手段と、を備え、前記特徴量算出手段よる特徴量の値の算出前に、前記画像処理手段における前記画像処理の実行の有無について、及び/または、複数種類の画像処理を適用する場合は実行する画像処理の順序について、予め認識されている特徴量の種類に応じて判断することを特徴とする。
【0018】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【0019】
図1ないし図40は本発明の第1の実施の形態に係わり、図1は診断支援装置の構成を示す構成図、図2は図1の診断支援装置における診断支援処理実行プログラムの構成を示す機能ブロック図、図3は図1の診断支援装置におけるマルチウインドウの画面の概念構成を示す構成図、図4は図3の画面でのアイコン操作によって展開されるマルチウインドウ画面の構成を示す構成図、図5は図4のマルチウインドウ画面上のウインドウの構成を説明する第1の説明図、図6は図4のマルチウインドウ画面上のウインドウの構成を説明する第2の説明図、図7は図1の診断支援装置におけるマルチウインドウの画面の具体的な構成を示す構成図、図8は図1のハードディスクに記録された内視鏡画像ファイルを管理するファイル管理データを説明する説明図、図9は図1のハードディスクに記録された内視鏡画像ファイルの各内視鏡画像の内視鏡検査ごとに付与される管理データを説明する説明図、図10は図7の画像表示アイコンのクリック操作により展開される画像管理データウインドウの構成を示す構成図、図11は図10の呼び出しボタンのクリック操作により展開される検索ウインドウの構成を示す構成図、図12は図11の条件検索開始ボタンのクリック操作により展開される検索結果表示ウインドウの構成を示す構成図、図13は図12の画像一覧ボタンのクリック操作により展開される画像一覧表示ウィンドウの構成を示す構成図、図14は図13の表示ボタンのクリック操作により展開される画像表示ウインドウの構成を示す構成図、図15は図7の画像処理アイコンのクリック操作により展開される画像処理ウインドウの構成を示す構成図、図16は図15の実行ボタンのクリック操作により展開される処理結果画像表示ウィンドウの構成を示す構成図、図17は図2のデータベース管理ブロックが管理するデータベースの構成を示す構成図、図18は図7のROI設定アイコンのクリック操作により展開されるROI設定ウインドウの構成を示す構成図、図19は図18の特徴量選択ボタンのクリック操作により展開される算出特徴量メニューウインドウの構成を示す構成図、図20は図19の一括選択ボタンのクリック操作により展開される一括選択メニューウインドウの構成を示す構成図、図21は図18の部位設定ボタンのクリック操作により展開される部位指定メニューウインドウの構成を示す構成図、図22は図18の特徴量算出実行ボタンのクリック操作により展開される特徴量算出結果表示ウインドウの構成を示す構成図、図23は図7のROI設定アイコンによる原画像及び処理結果画像に対するROIの設定方法を説明する説明図、図24は図19の相互特徴量算出ボタンによる特徴量算出処理の流れを示すフローチャート、図25は図24の特徴量算出処理におけるG画像データから取り出すサンプリング画素を説明する説明図、図26は図19の相互特徴量算出ボタンのクリック操作により展開されるROI間相互特徴量メニューウィンドウの構成を示す構成図、図27は図26のROI間相互特徴量メニューウィンドウで算出されるROI間相互特徴量を説明する説明図、図28は図26のROI間相互特徴量メニューウィンドウでのROI間相互特徴量算出における自動組み合わせの動作を説明するためのフローチャート、図29は図7の特徴量算出アイコンのクリック操作により展開される特徴量算出ウインドウの構成を示す構成図、図30は図29のROI指定ボタンのクリック操作により展開されるROI指定ウインドウの構成を示す構成図、図31は図7の判別分類アイコンのクリック操作により展開される判別分類ウインドウの構成を示す構成図、図32は図31のデータセット作成ボタンのクリック操作により展開されるデータセット作成ウインドウの構成を示す構成図、図33は図31のクラス別ROI選択ボタンのクリック操作により展開されるクラス別ROI一覧ウインドウの構成を示す構成図、図34は図32の既存データセット呼び出しボタンのクリック操作により展開されるデータセット一覧ウインドウの構成を示す構成図、図35は図31の判別分類実行ボタンのクリック操作により展開される判別分類実行ウインドウの構成を示す構成図、図36は図35の実行ボタンのクリック操作により展開される判別分類結果表示ウインドウの構成を示す構成図、図37は図7のレポート作成アイコンのクリック操作により展開されるレポート作成ウインドウの構成を示す構成図、図38は図37の選択ボタンのクリック操作により展開される特徴量レポート作成ウインドウの構成を示す構成図、図39は図38の表示ボタンのクリック操作により展開される特徴量レポート表示ウインドウの構成を示す構成図、図40は図38のグラフ作成ボタンのクリック操作により展開されるグラフ表示ウインドウの構成を示す構成図である。
【0020】
図1に示すように、本実施の形態の診断支援装置1は、例えば図示しない電子内視鏡から撮像信号を得て映像信号に変換するビデオプロセッサ2と、このビデオプロセッサ2からの映像信号を映し出す観察モニタ3と、ビデオプロセッサ2からの映像信号を画像データに変換して信号処理する入力ユニット4と、入力ユニット4により信号処理した画像データ及びこの画像データを可逆あるいは非可逆圧縮た圧縮画像データを記憶するサーバユニット5と、サーバユニット5に記憶された画像データあるいは圧縮画像データを検索して表示すると共に、関心領域(ROI)設定処理、特徴量算出処理、判別分類処理等の一連の診断支援処理を行うカンファレンスユニット6とを備えて構成されている。
【0021】
入力ユニット4は、ビデオプロセッサ2からの映像信号であるアナログRGBビデオ信号をデジタル信号である画像データへ変換するA/Dコンバータ11と、画像データを記憶するメモリを備えビデオプロセッサ2からの管理情報を付加した画像ファイルを生成する画像処理部12と、画像処理部12により生成された画像ファイルをLAN(Local Area Network)ケーブル4aを介してサーバユニット5に送出するLANコントローラ13と、ビデオプロセッサ2と画像データの管理情報等を通信すると共に画像処理部12及びLANコントローラ13を制御するコントローラ14とを備えて構成される。
【0022】
ビデオプロセッサ2は、映像信号出力端、アナログRGBビデオ信号出力端及び通信信号出力端を備えており、映像信号出力端は観察モニタ3に接続され、アナログRGBビデオ信号出力端はA/Dコンバータ11の入力端に接続され、通信信号出力端はコントローラ14に接続されている。
【0023】
また、A/Dコンバータ11の出力端は、画像処理部12のデータ信号端に接続されている。
【0024】
コントローラ14の制御信号端及びデータ信号端は、バスライン14aにより画像処理部12及びLANコントローラ13との制御信号端に接続されている。そしてコントローラ14による画像処理部12及びLANコントローラ13の制御は、バスライン14aを介した信号により行われるようになっている。
【0025】
ビデオプロセッサ2により映像信号に変換された、例えば図示しない電子内視鏡による観察像は、観察モニタ3に観察画像として映し出されるようになっている。また、ビデオプロセッサ2の操作者が、前述した観察画像を記録する必要があると判断した場合、前述した映像信号は、アナログRGBビデオ信号としてA/Dコンバータ11へ出力され、このA/Dコンバータ11は、アナログRGBビデオ信号を所定の量子化処理を行い、デジタルRGBビデオ信号に変換し、画像処理部12へ観察画像データとして出力するようになっている。
【0026】
画像処理部12は、コントローラ14の制御により、A/Dコンバータ11から入力された観察画像データを記憶するようになっている。
【0027】
コントローラ14は、画像処理部12に記憶された観察画像データに対して縮小処理等の各種データ処理を施し、さらには管理情報を付加して画像ファイルとし、画像処理部12へ一旦記憶させ或いはLANコントローラ13へ出力するようになっている。また、コントローラ14は、前述したように各種データ処理を施された画像ファイルを画像処理部12へ一旦記憶した場合、該画像ファイルを所定のタイミングにより画像処理部12からLANコントローラ13へ出力するようになっている。
【0028】
サーバユニット5は、入力ユニット4のLANコントローラ13より送出される画像ファイルを受け取るLANコントローラ21と、LANコントローラ21が受け取った画像ファイルを一時的に記憶するメモリ22と、LANコントローラ21が受け取った画像ファイルを大容量記憶媒体である例えばハードディスク23に記録するハードディスクドライバ24と、LANコントローラ21が受け取った画像ファイルを可逆あるいは非可逆で圧縮して圧縮画像データをハードディスクドライバ24に送出する圧縮装置25と、LANコントローラ21、メモリ22、ハードディスクドライバ24及び圧縮装置25を制御するコントローラ26とを備えて構成され、ハードディスクドライバ24は、画像ファイル及び圧縮画像データをハードディスク23に記録すると共に、LANコントローラ21は、LANケーブル5aを介してハードディスク23に記録された画像ファイルまたは圧縮画像データをカンファレンスユニット6に送信できるようになっている。
【0029】
入力ユニット4のLANコントローラ13のLANケーブル4a端はサーバーユニット5のLANコントローラー21に接続されている。このLANケーブル4aは、いわゆる10baseTといわれるケーブルであり、ツイストペア線を用い10Mbit/sec の双方向のデータ通信を長さ100m以内の範囲で可能であり、複数の装置間の制御及びデータの送受をすることができるものである。
【0030】
サーバーユニット4のコントローラ26の制御信号端及びデータ信号端は、バスライン26aによりメモリ22と、LANコントローラ21と、ハードディスクドライブ24との制御信号端に接続されている。
【0031】
サーバユニット5では、入力ユニット4のLANコントローラ13からの画像ファイルをLANケーブル4aを介してLANコントローラ21で入力し、コントローラ26が、LANコントローラ21を介して入力された画像ファイルを一旦メモリ22に記憶する。ハードディスクドライブ24は、この画像ファイルを例えばハードディスク23へ記憶するようになっている。
【0032】
カンファレンスユニット6は、サーバーユニット5のLANコントローラ21からの画像ファイルまたは圧縮画像データをLANケーブル5aを介して受け取るLANコントローラ31と、LANコントローラ31が受け取った画像ファイルまたは圧縮画像データを記憶する画像処理部32と、画像処理部32が記憶した圧縮画像データを伸張する伸張装置33と、画像処理部32が記憶した画像ファイル中のデジタル信号である画像データ及び伸張装置33で伸張された画像データを逆量子化処理し、アナログRGBビデオ信号へ変換するD/Aコンバータ34と、D/Aコンバータ34により変換されたアナログRGBビデオ信号を映し出す観察モニタ35と、画像処理部32を制御するコントローラ36とを備えている。
【0033】
画像処理部32のデータ信号端は、D/Aコンバータ34の入力端に接続され、このD/Aコンバータ34の出力端は、観察モニタ35に接続されている。コントローラ36の制御信号端及びデータ信号端は、バスライン36aにより前記画像処理部32とLANコントローラ31との制御信号端に接続されている。コントローラー36の制御信号端及びデータ信号端は、バスライン36bにより後述のCPU41との制御信号端に接続されている。
【0034】
また、カンファレンスユニット6は、コントローラ36を制御するCPU41と、例えばサーバーユニット5への画像ファイルの検索等の要求を入力すると共に、この画像ファイルに併せて各種の情報を入力するキーボード42と、このキーボード42の信号とCPU41の信号との整合をとるキーボードインターフェース(以下、キーボードI/Fと称する)43と、キーボード42により入力された情報を表示する検索モニタ44と、検索モニタ44の画面上のカーソル座標を任意の位置に移動させる指示を与えるマウス45と、このマウス45の信号とCPU41の信号との整合をとるマウスインターフェース(以下、マウスI/Fと称する)46と、CPU41の実行プログラム及び検索モニタ44のメニュー画面の画像データ等の各種データを記録したハードディスク47と、このハードディスク47の信号とCPU41との信号の整合をとるハードディスクインターフェース(以下、ハードディスクI/Fと称する)48と、CPU41の各種処理作業領域として用いられる作業メモリ49と、検索モニタ44に表示するデジタルRGBビデオ信号を記憶するメモリを含む画像処理部50と、CPU41からの情報を印刷するプリンタ51と、プリンタ51とCPU41との整合をとるプリンタインターフェース(以下、プリンタI/Fと称する)52とを備えている。
【0035】
さらに、カンファレンスユニット6は、CPU41によりキーボード42から入力された情報のうちパスワードを記憶するパスワード記憶部61と、パスワード記憶部61が記憶したパスワードのレベルを判定するパスワード監視部62と、パスワード監視部62の判定結果に基づいてCPU41の制御を制限する制御制限部63とを備えている。
【0036】
CPU41の制御信号端及びデータ信号端は、バスライン41aによりハードディスクI/F48、マウスI/F46、キーボードI/F43、作業メモリ49,画像処理部50及びパスワード監視部61の制御信号端及びデータ信号端に接続されている。そして、CPU41は、バスライン41aにより、ハードディスクI/F48、マウスI/F46、キーボードI/F43、プリンタI/F52及び作業メモリ49を制御するようになっている。
【0037】
マウスI/F46は、マウス45の物理的相対移動量に応じた信号を検出し、作業メモリ49へ出力し、作業メモリ49は、前述した移動量を記憶するようになっている。
【0038】
キーボードI/F43は、キーボード42から入力された文字情報の信号を作業メモリ49へ出力し、作業メモリ49は、前述した文字情報等を記憶するようになっている。
【0039】
ハードディスクI/F48は、ハードディスク47からCPU41が実行するプログラム及びメニュー画面等の検索モニタ44用の画像データを読み出し、作業メモリ49へ出力し、作業メモリ49は前述したプログラム及び検索モニタ44用の画像データ等を記憶するようになっている。
【0040】
プリンタI/F52は、プリンタ51に対してCPU41から送信される情報を伝送し印刷を行う。
【0041】
CPU41は、前述したようにハードディスク47に記憶されたプログラムを電源投入時に、作業メモリ44にロードし該プログラムによって動作する。
【0042】
前述したようにサーバーユニット5のハードディスク23に記憶された画像ファイルは、コントローラー26の制御により、ハードディスクドライバ14に出力されメモリ22に一旦記憶されるか或いは直接LANコントローラ21へ出力される。LANコントローラ21からLANケーブル5aを介し、カンファレンスユニット6のLANコントローラ31へ画像ファイルが入力される。
【0043】
そして、カンファレンスユニット6では、コントローラ36の制御によりLANコントローラ31は、画像処理部32に画像ファイルを出力する。画像処理部32に記憶された、サーバーユニット5のハードディスク23からの画像ファイルは、コントローラ36の制御によりデジタルの観察画像データと管理情報に分離され、デジタル観察画像データは画像処理部32に記憶され、管理情報はバスライン36bによりCPU41に送られる。
【0044】
画像処理部32は、前述した観察画像データを記憶するようになっている。前述したように画像処理部32へ記憶されたデジタル信号である観察画像データは、D/Aコンバータ34の逆量子化により、アナログRGBビデオ信号へ変換され、観察モニタ35へ出力されるようになっている。観察モニタ35は、前述したように入力されたアナログRGBビデオ信号を映し出すようになっている。尚、観察画像データが圧縮画像データの場合は、伸張装置33で伸張された後にD/Aコンバータ34に出力される。
【0045】
CPU41は、マウス45によるカーソル、キーボード42による文字情報、ハードディスク47からのメニュー画面等の検索モニタ44用の画像データと管理情報を合成或いは単独で表示するように演算処理し、画像データとして画像処理部50へ記憶させるようになっている。
【0046】
ハードディスク23に記録されている画像ファイルの観察画像データは、例えばカラーである観察画像を横640ドット、縦480ドットで分割し、この各ドットに対応じてRGB各色信号レベルを、例えば8ビットとなるように量子化した所定のバイト数で構成されるようになっている。
【0047】
次に、本実施の形態における診断支援処理の詳細について説明する。診断支援処理は、ハードディスク47に記録された診断支援処理実行プログラムを用い、CPU41により実行される。また、診断支援処理は、検索モニタ44に表示されるマルチウインドウ環境上において、キーボード42及びマウス45を用いての入力により操作される。
【0048】
図2に示すように、診断支援処理実行プログラム70は、画像管理ブロック71、データベース管理ブロック72、ROI設定ブロック73、特徴量算出ブロック74、判別分類ブロック75、レポート作成ブロック76及び画像処理ブロック77からなっている。
【0049】
続いて、診断支援処理実行プログラム70を構成する各ブロックの概要を説明する。
【0050】
画像管理ブロック71は、診断支援処理において使用する内視鏡画像の管理及び検索等を行う。
【0051】
データベース管理ブロック72は、診断支援処理において使用する画像、設定されるROI、算出される特徴量等を記憶及び管理するためのデータベースを管理する。
【0052】
ROI設定ブロック73は、内視鏡画像上において、特徴量の算出及び判別分類の対象とするためのROIを設定する。
【0053】
特徴量算出ブロック74は、ROI設定ブロック73により設定されたROIに対して、特徴量算出手法を適用することにより特徴量を算出する。
【0054】
判別分類ブロック75は、特徴量算出ブロック74において算出された特徴量を用いた判別分類処理を行う。
【0055】
レポート作成ブロック76は、特徴量算出ブロック74及び/または判別分類ブロック75により得られた各処理結果の一覧表示及びグラフ上へのプロット等によるレポートを作成する。
【0056】
また、画像処理ブロック77は、診断支援処理に使用する原画像である内視鏡画像に対し、たとえばノイズ除去処理、構造成分強調処理等の画像処理を適用する。
【0057】
そして、画像処理ブロック77による処理結果画像は、原画像と同様にサーバユニット5におけるハードディスク23に記録されるとともに、診断支援類処理の対象データとすることができる。
【0058】
ここで、カンファレンスユニット6においては、各ブロックはマルチウインドウ上でのマルチプロセッシングにより、並行して動作することが可能となっている。
【0059】
図3はマルチウインドウの例を説明するための説明図である。当初、検索モニタ44のモニタ画面80上には各種機能を実行するためのウインドウを開くためのアイコン81、82及び83が表示されている.操作者は目的とする機能のウインドウを開くために,マウス45に連動して移動するマウスポインタ84によるクリックを行う。クリックとは、マウスポインタ84をアイコン等に重ね、マウス45のボタンを押下する動作を示す。
【0060】
マウスポインタ84によりクリックされたアイコンは、各々に対応する機能を実行するための1つ以上のウインドウを開く。図4は開かれたウインドウの例を説明するための説明図であって、図3におけるアイコン81、82及び83は、クリックにより、図4に示すようなウインドウ85、86及び87を検索モニタ44のモニタ画面80上にそれぞれ開く。
【0061】
以後、モニタ画面80においては,マウスポインタ84が重ねられたウインドウ上(以下,このようなウインドウをアクティブウインドウと称し、図4においてはウインドウ86がアクティブウインドウである)で入力等の作業が行われる。また、マウスポインタ84の移動により任意のウインドウをアクティブウインドウとして選択することが可能である。
【0062】
また、図5及び図6は上記のウインドウの構成例を説明するための説明図であって、図5においては、ウインドウ90は、機能の動作指定等を行うためのボタン91、ウインドウ90に関する機能におけるシステム側からの出力を表示する出力表示領域92、機能に基づく事項を選択するためのメニューバー93、メニューバー93をスクロールさせるためのスクロールバー94、キーボード42からの入力を表示するための入力表示領域95及び作業を終了によりウインドウ90を閉じるための終了ボタン96からなっている。
【0063】
ボタン91上にマウスポインタ84を重ねてクリックすることにより、対応する機能を動作させることができる。なお、例えばボタン91を選択した場合に新たな別のウインドウ(図示せず)が開くように制御することも可能である。
【0064】
出力表示領域92においては、例えばテキスト、数値データ等のメッセージをシステム側から表示する。
【0065】
キーボード42から何らかの入力が行われる場合には、入力情報を入力表示領域95に表示することができる。
【0066】
すべての作業が終了した場合には、終了ボタン96にマウスポインタ84を重ねてクリックすることにより、ウインドウ90を閉じることができる。
【0067】
メニューバー93においては、各事項を指すバー(図5において1、2、3、…の番号付けされた部分)にマウスポインタ84を重ねてクリックすることにより、希望するものを選択することができる。その際,クリックされたバーは反転表示等の動作が適用され、いずれが指定されたものかを操作者に知らせることができるようになっている。
【0068】
また、メニューバー93の表示範囲に対して、選択できる事項の数が大である場合(図5の例においては,例えば事項が10ある場合等)においては、スクロールバー94を使用することができる。すなわち、マウスポインタ84をスクロールバー94の上方スクロールボタン94aに重ねマウス45のボタンを押下するとメニューバー93が上方へ、スクロールバー94の下方スクロールボタン94bに重ねて押下した場合には下方へとスクロールする。図5の例においては、下方スクロールボタン94bを使用することにより、事項6以降を表示・選択することが可能となる。
【0069】
スクロールポインタ94cは、全事項中においてスクロールバー94のおよそどの部分をメニューバー93に表示しているかを知るための目安を示している。
【0070】
また、図6に示すように、メニューバーの項目を2次元的に配置し、水平方向へのスクロールを行うスクロールバーを備えることも可能である。すなわち、図6において、ウインドウ100は項目が2次元に配置されたメニューバー101と、垂直方向へのスクロールを行うスクロールバー102及び水平方向へのスクロールを行うスクロールバー103からなっている。
【0071】
操作者は、図5のスクロールバー94に対する操作と同様にして、水平及び垂直方向にメニューウインドウ100をスクロールさせることにより、任意の項目を選択することが可能となる。
【0072】
本実施の形態におけるウインドウは、以上に説明したように動作するボタン、メニューバー、スクロールバー、出力表示領域及び入力表示領域を任意の大きさ及び個数で構成している。なお、以下の説明において、特に断りのない場合は、終了ボタンをクリックすると、該当するウインドウを閉じるよう動作するものとする。
【0073】
図7は本実施の形態における診断支援処理の各機能の呼び出し動作を説明するための説明図である。
【0074】
初めに、検索モニタ44上において、診断支援処理のメインメニューとなるアイコンが配置されたメイン画面110が表示される。このメイン画面110は、画像表示機能を呼び出す画像表示アイコン111、データベースカスタマイズ機能を呼び出すデータベースアイコン112、ROI設定機能を呼び出すROI設定アイコン113、特徴量算出機能を呼び出す特徴量算出アイコン114、判別分類機能を呼び出す判別分類アイコン115、レポート作成機能を呼び出すレポート作成アイコン116及び画像処理機能を呼び出す画像処理アイコン117からなっている.
上記のアイコン111〜117により実行される各機能は、診断支援処理実行プログラムにおいては、図2に示したように、画像表示機能は画像管理ブロック71が、データベースカスタマイズ機能はデータベース管理ブロック72が、ROI設定機能はROI設定ブロック73が、特徴量算出機能は特徴量算出ブロック74が、判別分類機能は判別分類ブロック75が、レポート作成機能はレポート作成ブロック76が、画像処理機能は画像処理ブロック77がそれぞれ動作する。
【0075】
なお、各機能はマルチプロセッシングにより並行して動作可能である。また、各機能においては動作内容ごとのサブルーチン化がなされており、必要に応じて異なる機能から任意のサブルーチンを呼び出すことが可能となっている。
【0076】
次に、診断支援処理実行プログラムにおける各ブロックの動作の詳細について説明する。
【0077】
(画像管理ブロック)
画像管理ブロック71は、前述の通り、主として診断支援処理において使用する内視鏡画像の管理及び検索を行うものである。サーバユニット5のハードディスク23に記録された内視鏡画像ファイルは、対象となる患者の内視鏡検査ごとに管理される。
【0078】
図8に示すように、ハードディスク23に記録された内視鏡画像ファイルは、ファイル管理データにより患者ID及び検査年月日(及び患者名)ごとに管理されることとなり、各内視鏡検査単位に番号付けがなされている。検査No.は検査ごとに、また患者IDは各患者ごとに設定されるため、重複が生ずることはない。
【0079】
また、図9は内視鏡画像ファイルの各内視鏡画像の内視鏡検査ごとに付与される管理データを説明するための説明図であって、この例においては、検査No.1として管理される内視鏡画像データは7枚であるものとする。管理データとしては、前述の患者ID、患者名及び検査年月日の他に、例えば検査部位、診断名、メモ及び担当医等のデータを含むことができる。これらのデータは、ハードディスク23に記録され、後述する画像検索処理におけるキーとして使用される。
【0080】
画像表示アイコン111をマウスポインタ84で選択する(図7参照)ことで、画像管理ブロック71は、図10に示すような画像管理データウインドウ120を開く。画像管理ウィンドウ120は各種データを入力するための入力表示領域121と、すでに与えられている管理データを再編集する場合に使用する呼び出しボタン122及び終了ボタン123からなっている。
【0081】
操作者はマウスポインタ84を希望する管理データの入力欄に重ね、キーボード42より必要な情報を入力する。また、検査No.のみを入力し、呼び出しボタン122をクリックした場合には、対応する内視鏡検査の管理データを入力表示領域121に各々表示する。管理データ呼び出し後は、操作者が所望の管理データを編集することができる。
【0082】
図10において、呼び出しボタン122をマウス45でクリックすると、検索処理が実行される。この検索処理においては、図11に示すように、まず検索ウインドウ130を開く。検索ウインドウ130は検索キーを入力するための入力表示領域131と、入力した検索キーを用いた条件検索の開始を指定する条件検索開始ボタン132と、全内視鏡検査データを表示する全検索の開始を指定する全検索開始ボタン133及び終了ボタン134から構成されている.なお、この例においては、検索キーとして患者ID、患者名、検査部位及び診断名が使用可能であるものとする。
【0083】
検索処理において全検索を行う場合、操作者は全検索ボタン133をマウス45でクリックする。また、条件検索を行う場合、操作者は入力表示領域131に所望のキーをキーボード42を用いて入力し、条件検索開始ボタン132をマウス45でクリックする。
【0084】
これらの操作により検索が実行されるが、検索結果として得られた内視鏡検査データが存在する場合には、図12に示すような新たに検索結果表示ウインドウ140を開き、検索結果を表示する。
【0085】
検索結果表示ウインドウ140は、検索結果である内視鏡検査データの管理データ(この例では検査No.、患者ID、患者名及び検査年月日)を表示するメニューバー141と、スクロールバー142と、所望の内視鏡検査において記録した内視鏡画像の一覧表示を指定するための画像一覧ボタン143と、後述する各処理において内視鏡検査を選択する際に使用する確定ボタン144及び終了ボタン145からなっている.
操作者がメニューバー141のクリックにより所望の内視鏡検査を指定後、さらに画像一覧ボタン143をクリックすると、該当する内視鏡検査において記録された内視鏡画像が一覧表示される図13に示すような画像一覧表示ウィンドウ150が開かれる。
【0086】
なお、検索結果ウィンドウ140において表示された内視鏡検査に基づいて記録されている内視鏡画像に対しては、後述する内視鏡画像の表示、画像処理、ROIの設定及び特徴量算出、判別分類等の各処理が適用されることとなる。
【0087】
画像一覧表示ウィンドウ150は、図13に示すように、内視鏡検査データにおける管理データ及び記録された内視鏡画像の枚数等を表示するためのデータ表示領域151と、記録された内視鏡画像ごとに付与された画像No.等を表示することにより所望の内視鏡画像を指定することができるメニューバー152と、スクロールバー153と、メニューバー152上でクリックにより選択した内視鏡画像の表示を開始するための表示開始ボタン154及び終了ボタン155からなっている。
【0088】
操作者がメニューバー152の任意の項目(ここでは内視鏡画像)をクリックにより選択した後、表示ボタン154をクリックすることにより、選択された内視鏡画像を表示する図14に示すような画像表示ウインドウ160が開かれる。
【0089】
画像表示ウィンドウ160は、図14に示すように、画像表示領域161と、管理データ等を表示するためのデータ表示領域162と、後述するROI設定処理等において画像選択等に使用される確定ボタン163及び終了ボタン164からなっている。
【0090】
操作者は、画像表示ウィンドウ160上に表示された内視鏡画像を見ることにより、最終的な検索結果が所望する内視鏡画像であるか否かを確認することができる。
【0091】
そして、図10の画像管理データウインドウ120上でのすべての作業が終了した場合には、終了ボタン123をマウス45でクリックすることにより画像管理データウインドウ120が閉じられる。
【0092】
なお、図13において表示ボタン154がクリックされた場合には、画像表示ウインドウ160が開かれるとともに,選択された内視鏡画像が観察モニタ35上に表示されるように制御してもよい。
【0093】
また、上記の検索処理は、図2において示した各ブロックより、内視鏡画像の検索が必要とされる任意の時点で実行可能となっている。すなわち、各ブロックにおける機能を実行するウィンドウ(図示せず)上に、図11の検索ウィンドウ130を開くことを指示するための検索指示ボタンを設定しておくことができる。
【0094】
(画像処理ブロック)
次に、画像処理ブロック77の動作について説明する。画像処理アイコン117をマウスポインタ84で選択する(図7参照)ことで、画像処理ブロック77は、図15に示すような画像処理ウインドウ170を開く。画像処理ブロック77は前述のように、ハードディスク23に記録された内視鏡画像に対し、所望の画像処理を適用する。
【0095】
画像処理ブロック77の動作は、画像処理ウインドウ170上において指定される。画像処理ウィンドウ170は、実行する画像処理の一覧表示からなるメニューバー171と、スクロールバー172と、前述した検索処理の実行を指定するための検索ボタン173と、メニューバー171において指定した1つ以上の画像処理の実行開始を指定する実行ボタン174及び終了ボタン175からなっている。
【0096】
操作者は、メニューバー171上において、所望する画像処理名をクリックにより指定する。画像処理として、例えばノイズ除去処理、構造成分強調処理、2値化処理がある。
【0097】
また、検索ボタン173をクリックすることにより,前述の検索ウインドウ130が開かれる(図11参照)。前述した一連の検索処理を経て、操作者は検索結果表示ウィンドウ140において、メニューバー141及び確定ボタン144のクリックにより、選択した画像処理を適用する内視鏡画像を選択し終了ボタン134をクリックすることで、画像処理ウインドウ170に戻る(図12参照)。
【0098】
適用する画像処理名及び内視鏡画像の選択を終了後、図15において、実行ボタン174をクリックすることにより処理が実行される。メニューバー171上に表示される各画像処理は、サブルーチンプログラムとしてハードディスク47に記憶されている。実行結果である処理結果画像は、新たに開かれる処理結果画像表示ウインドウ上に表示される.
処理結果画像を表示する処理結果画像表示ウィンドウ180は、図16に示すように、処理結果画像表示領域181と、画像管理データ表示領域182と、処理結果画像のハードディスク23への記録開始を指示するための記録開始ボタン183及び終了ボタン184からなっている。
【0099】
画像管理データ表示領域182には、前述の管理データ及び適用した画像処理の処理名等を表示する。また、記録開始ボタン183をクリックすることにより、処理結果画像がハードディスク23に管理データとともに記録される。
【0100】
なお、ハードディスク23への記録を行わない場合には、終了ボタン184をクリックすることにより処理結果画像表示ウィンドウ180を閉じればよい。この場合、処理結果画像は棄却される。
【0101】
(データベース管理ブロック)
次に、データベース管理ブロック72について説明する。データベース管理ブロック72は、診断支援装置1における内視鏡検査、内視鏡画像、設定したROI及び各機能における処理結果等をデータベース化し管理するものである。
【0102】
データベース管理ブロック72が管理するデータベースは、図17に示すように、検査データ190、患者管理データ191、処理結果画像管理データ192、画像処理手法データ193、画像管理データ194、ROI管理データ195、部位データ196、所見データ197、分類データ198、特徴量算出手法データ199、ROI間相互特徴量データ200、ROI特徴量データ201及び判別分類手法データ202、データセット名データ203、使用特徴量データ204、分類クラスデータ205、クラス別サンプルデータ206、判別分類係数データ207、判別分類結果データ208、判別境界値データ209により構成されており、各データはそれぞれファイルとしてハードディスク23に記憶されている。
【0103】
検査データ190は、内視鏡画像の管理単位である前述の内視鏡検査ごとに付与されるデータを管理するデータベースである。
【0104】
患者管理データ191は、患者名、生年月日及び患者ID等の患者ごとに付与されるデータを与える参照用データベースである。
【0105】
画像管理データ194は、各内視鏡検査の下に管理される内視鏡画像ごとに付与されるデータを管理するデータベースである。
【0106】
処理結果画像管理データ192は、前述の画像処理が適用された処理結果画像に付与されるデータを管理するデータベースである。
【0107】
画像処理手法データ193は、画像処理の手法の種類を与える参照用データベースである。
【0108】
ROI管理データ195は、内視鏡画像あるいは処理結果画像に対し、後述する一連の処理により設定されたROIの個々に対して付与されるデータを管理するデータベースである。
【0109】
部位データ196は、ROI管理データに対し、診断部位を与えるための参照用データベースである。
【0110】
所見データ197は、ROI管理データに対し、所見属性を与えるための参照用データベースである。
【0111】
分類データ198は、ROI管理データに対し、診断分類を与えるための参照用データベースである。
【0112】
特徴量算出手法データ199は、設定されたROIに対して適用する特徴量算出処理の名称を与える参照用データベースである。
【0113】
ROI間相互特徴量データ200は、後述する一連の処理により算出されるROI間相互特徴量を管理するためのデータベースである。
【0114】
ROI特徴量データ201は、後述する一連の処理により算出されるROI特徴量を管理するためのデータベースである。
【0115】
判別分類手法データは202は、算出された特徴量を用いた判別分類処理手法の名称を与える参照用データベースである。
【0116】
データセット名データ203は、判別分類手法に基づく後述する判別分類系を管理するためのデータベースである。
【0117】
使用特徴量データ204は、判別分類系の生成において使用した特徴量の名称を管理するためのデータベースである。
【0118】
分類クラスデータ205は、生成した判別分類系のデータセットが分類の対象とするクラス(本実施の形態においては診断分類)を管理するためのデータベースである。
【0119】
クラス別サンプルデータ206は、判別分類系の生成においてデータセットが教師データとして使用したROIを管理するデータベースである。
【0120】
判別分類係数データ207は、生成された判別分類系における各係数値を管理するためのデータベースである。
【0121】
判別分類結果データ208は、設定されたROIに対して生成された判別分類系を適用して得られた結果を管理するためのデータベースである。
【0122】
判別境界値データ209は、生成された判別分類系の判別分類基準となる値を管理するためのデータベースである。
【0123】
ここで、参照用データベースとは、診断部位(食道、胃、大腸等)、所見(発赤、褪色、隆起等)、診断分類(正常、潰瘍、早期癌等)の名称を項目として含むデータベースである。参照用データベースは,操作者により、任意の時点で項目の追加、変更及び削除等のカスタマイズが可能なデータベースである。
【0124】
一方、参照用データベース以外のデータベースは、各々が管理対象とするデータが発生した時点で項目が生成される。例えば、新たな内視鏡検査により内視鏡画像が記録された場合には検査データ190及び画像管理データ194に新たな項目が追加生成される。また、データが更新、削除された場合に連動し、対応する項目が更新、削除される。
【0125】
各データは、その関連する内容に基づき、各々のキーとなるプライマリナンバを参照することにより結合がなされている。プライマリナンバは各データベースにおける項目ごとに1対1に付与された番号である。これにより、検査、患者、画像、ROI等の種々のデータが関連づけられる。
【0126】
データベース管理ブロック72は、データベース化すべきデータの出現、データの内容変更等が生じた場合に、各データのオープン、読みだし、書換、格納、クローズ等の一連の作業を制御する。
【0127】
また、図7のデータベースアイコン112をクリックすることにより、患者管理データ191、部位データ196、所見データ197及び分類データ198における項目の追加、変更及び削除等のカスタマイズが可能となる。その場合、データベースカスタマイズウインドウ(図示せず)が開き、操作者は該ウインドウ上においてカスタマイズするデータ、追加、変更及び削除等の操作を行い、確定ボタン及び終了ボタンのクリックにより作業を終了する。データベース管理ブロック72は、確定ボタンのクリックにより該当するデータの書き換えを行う。
【0128】
(ROI設定ブロック)
次に、ROI設定ブロック73の動作について説明する。図7のROI設定アイコン113のクリックによりROI設定処理の実行を選択すると、図10に示した画像管理データウインドウ120が開く。以下、前述の手順にしたがいROIの設定を行う内視鏡画像を、図12に示したように、検索結果表示ウィンドウ140上のメニューバー141において選択する。続いて、確定ボタン144をクリックすることにより、新たなROI設定ウインドウが開かれる。
【0129】
図18に示すように、ROI設定ウインドウ220は、画像表示及びROI描画作業を行うためのROI表示領域221、設定するROIの番号を指定するROI番号選択ボタン222、算出する特徴量を指定するための特徴量選択ボタン223、設定したROIに対し、部位、所見及び分類をそれぞれ設定するための部位設定ボタン224、所見設定ボタン225及び分類設定ボタン226、特徴量の算出を実行するための特徴量算出実行ボタン227、ROIの設定をやり直す場合等に使用するROI削除ボタン228、設定したROIのデータベースへの登録を指示する確定ボタン229、終了ボタン230,画像表示領域においてROIの描画線の表示または非表示を指定するためのROI表示指定ボタン231及びROI非表示指定ボタン232から構成される。
【0130】
操作者はマウス45を用いてROI設定ウインドウ220上の各機能ボタンをクリックすることにより作業を進める。なお、本実施の形態においては1枚の内視鏡画像上に最大5個のROIが設定可能であるものとする。
【0131】
始めに、ROI設定対象とする内視鏡画像を、ROI設定ウインドウ220における画像表示領域221に表示する。操作者は、表示された内視鏡画像を確認後、マウスポインタによりROI番号選択ボタン222をクリックする。ROI番号選択ボタン222は数字1ないし5を示しており、それぞれが設定されるROIの番号(1)ないし(5)に対応している。
【0132】
続いて、画像表示領域221上において、マウス45の操作によりROIの描画を行う。ROIの描画は、例えばマウス45のボタンを押下したままでマウスポインタ84を移動させ、その軌跡を表示するように制御すればよい。描画されたROIに対して、対応するROIの番号(1)ないし(5)のいずれかを画像表示領域221上に重畳表示する。
【0133】
また、ROIの設定においては、任意形状の描画に限らず、正方形あるいは長方形のような矩形により設定してもよい。矩形の水平及び垂直方向の大きさ(サイズ)は、操作者による指定または、例えば5画素ずつ大きくした初斯設定値群から選択する等の可変にしておく。その場合は、図18に示したROI設定ウィンドウ上において、「矩形/任意描画選択ボタン」及び「矩形サイズ指定ボタン」(ともに図示せず)を備えるものとする。操作者は,マウスポインタ84を移動し、画像表示領域221に表示された画像上の所望の位置に矩形のROIを設定することが可能となる。画像表示領域221上において、マウスポインタ84と同時に矩形を表示し、マウスポインタ84の移動にともない矩形も移動するように制御する。
【0134】
また、ROIの形状は,矩形に限らず、円、その他の多角形等の任意の定形ROIを任意の大きさで設定できるようにしてもよい。
【0135】
次に、設定したROIにおいて算出する特徴量を指定する。この操作は特徴量選択ボタン223をクリックすることにより行う。特徴量選択ボタン223をクリックすると、図19に示す算出特徴量メニューウインドウ240が開く。
【0136】
算出特徴量メニューウインドウ240は、各種処理手法名及び各々から算出される特徴量の名称を表示するメニューバー241と、スクロールバー242と、後述するROI間相互特徴量を指定するための相互特徴量算出ボタン243と、やはり後述する特徴量の一括選択を指定する一括選択ボタン244と、算出する特徴量の指定を確定し算出特徴量メニューウインドウ240を閉じるための確定ボタン245から構成される。
【0137】
メニューバー241には、診断支援装置1において実行可能である処理手法群と、各処理手法の適用により得られる特徴量の名称からなる項目が表示されている。処理手法としては、例えば設定したROIに内包された各画素におけるR、G及びB画像データに基づき色調を評価する手法、濃度共起行列等を用いたテクスチャを解折する手法等、種々のものが考えられる。算出の指定はマウス45を用いてメニューバー241上の該当する項目をクリックすることにより行われる。
【0138】
このように、算出可能である特徴量の中から、任意の特徴量を指定可能とすることにより、不要な特徴量の算出にともなう計算時間及び算出結果の記憶領域の節減を図ることが可能となる。
【0139】
また,本実施の形態の診断支援処理においては,算出する特徴量の指定をメニューバー241の各項目を逐一クリックすることによるのみでなく、一括選択ボタン244を使用することによりさらに簡便に行うことができる。
【0140】
一括選択ボタン244をクリックした場合、新たな一括選択メニューウインドウが開かれる。
【0141】
図20に示すように、一括選択メニューウインドウ250は、算出する特徴量の組み合わせを選択するための組み合わせ番号ボタン251と、組み合わせ番号ボタン251により指定される算出される特徴量の項目を表示する特徴量表示領域252と、すべての特徴量の算出を指定するための全選択ボタン253と、確定ボタン254と、一括選択メニューウインドウ250上での操作を終了するための終了ボタン255から構成されている。
【0142】
一括選択メニューウインドウ250では、後の判別分類処理において使用する特徴量の数通り(本実施の形態においては3組とする)の組み合わせを、あらかじめ設定しておく。すなわち、組み合わせ番号ボタン251の1ないし3に番号付けされたボタン及び確定ボタン254をクリックすることにより、常に必要最小限の特徴量を算出することが可能となる。したがって、使用しない特徴量算出に要する計算時間及び算出された値を記憶するための記憶領域の大幅な節約が実現できる。
【0143】
また,全選択ボタン253をクリックした場合においては、メニューバー251における特徴量すべてが選択される。これにより、すべての特徴量が必要な場合において、算出する特徴量示す項目を逐一クリックする労力が省かれることとなる。
【0144】
なお、上述した算出する特徴量の指定は、後述する特徴量算出処理及び判別分類処理の実行時において行うことも可能であるため、ROIの設定時においては省略(指定なし)してもかまわない。
【0145】
続いて、設定するROIの部位の指定を行う。ROIの設定における部位の指定は、例えば内視鏡検査における部位が胃であれば、噴門、胃角、胃体部、幽門等の詳細部位が与えられる。図18のROI設定ウインドウ220において、部位設定ボタン224をクリックすることにより、新たな部位指定メニューウインドウが開かれる。
【0146】
図21に示すように、部位指定メニューウインドウ260は、図17の部位データ196における項目を表示するメニューバー261と、スクロールバー262と、部位の設定を確定する確定ボタン263からなっている。また、確定ボタン263は終了ボタンの機能も兼ねており、クリックされた時点で部位指定メニューウインドウ260を閉じる。操作者は、所望する部位の名称をメニューバー261をクリックすることにより選択し、確定ボタン263をクリックすることにより確定する。
【0147】
また、図18のROI設定ウインドウ220の所見設定ボタン225及び分類設定ボタン226をクリックすることにより、部位の指定と同様にして設定するROIの所見及び分類を指定する。所見及び分類の指定においては、所見指定メニューウインドウ及び分類指定メニューウインドウ(ともに図示せず)を開く。その際,各々のメニューウインドウが部位指定メニューウインドウ260の内容と異なる点は,メニューバー261上がそれぞれ所見データ197及び分類データ198における項目となることである(図17参照)。
【0148】
なお、部位、所見及び分類の指定においては、それぞれ初期値として「未設定」を与えておく。これにより、各項目の指定を省略してROIの描画のみを行う等の作業が可能となる。
【0149】
以上の一連の作業により1個のROIの設定が終了すると、確定ボタン229をクリックを機にROI管理データ195(図17参照)に新たなデータが追加される。
【0150】
なお、以上においては簡単のため各ボタン等の操作を順序立てて説明したが、ROIの設定においてはROI番号選択ボタン222及び確定ボタン229がそれぞれROI設定開始時及び設定終了時にクリックされればよく、その間の作業はどのような順序で行ってもよい。
【0151】
ROIの設定が完了すると、特徴量の算出が可能となる。特徴量の算出は、後述する特徴量算出ブロック74が動作することにより行われ、特徴量算出実行ボタン227のクリックのみでなく、特徴量算出アイコン114のクリック及び判別分類ブロック75からの呼び出し(ともに後述する)からも実行可能である。
【0152】
図18のROI設定ウインドウ220において、特徴量算出実行ボタン227がクリックされると、算出する特徴量の選択がなされている場合には、図22に示す特徴量算出結果表示ウインドウ270が開く。算出する特徴量が未選択であれば、「算出する特徴量を選択して下さい」等のメッセージを表示する。
【0153】
図22に示すように、特徴量算出結果表示ウインドウ270は、各ROIごとに算出された特徴量の値等を表示するための表示領域271と、スクロールバー272及び終了ボタン273とからなっている。表示領域271においては,検査NO.、患者ID、患者名、画像No.、ROIの番号等、ROIに関する情報が表示されるとともに、算出が終了したROIから逐次算出結果である値が表示される。また、ROI設定ウインドウ220を複数開き、異なる複数の内視鏡画像に対し、並行してROIの設定を行う場合等、多数のROIから特徴量を算出する場合には、スクロールバー272を使用することができる。操作者は、算出結果を確認後、終了ボタン273をクリックすることにより、特徴量算出結果ウインドウ270を閉じる。特徴量の算出結果は、ROI特徴量データ201に追加される(図17参照)。
【0154】
なお、図22の例においては算出される特徴量を1つの特徴量算出結果表示ウインドウ270上に表示したが、各特徴量ごとに異なる特徴量算出結果表示ウインドウを開くように制御してもよい。
【0155】
また、図18のROI設定ウインドウ220においては、ROI表示指定ボタン231及びROI非表示指定ボタン232のそれぞれがクリックされることにより、画像表示領域221におけるROIの描画線を表示及び消去するように制御する。これにより、操作者は任意の時点でROIの描画線のない内視鏡画像を確認することができる。
【0156】
なお、特徴量の算出を画像処理ブロック77による処理結果画像とすることも可能である。この場合、設定されるROIの描画位置、部位、所見及び分類等は、画像処理の適用されていない原画像と同一である。したがって、原画像である内視鏡画像においてROIの設定あるいは変更がなされた場合には、同一のデータを処理結果画像に対しても付与するように制御する。また、処理結果画像においてROIの設定あるいは変更がなされた場合には、やはり原画像に対して同一のデータを付与するように制御すればよい。
【0157】
従来、原画像及び処理結果画像においてROIを設定する場合、あるいは比較のため同一部位を切り出してひとつの画面上に表示する場合等では、座標位置、ROIサイズ等の情報を各々の画像に対し操作者が別個に指定する必要があった。
【0158】
図23は、本実施の形態における原画像及び処理結果画像に対するROIの設定方法を説明するための説明図である。図23において、(a)は原画像、(b)は処理結果画像をそれぞれ示している。
【0159】
図23(a)の原画像において、ROI1aが定められたとき、図23(b)の処理結果画像に対しても、自動的にROI1bが設定されたこととする。ROI1a及びROI1bは、それぞれ画像上におけるROIの位置、大きさ及び形状が同一であるものとする。
【0160】
また、逆に図23(b)の処理結果画像におけるROI1bが先に設定されれば、対応する図23(a)の原画像に対しても同様にRO1aを設定する。
【0161】
すなわち、原画像及びそれに対する1つ以上のの処理結果画像のいずれか1つにおいてROIが設定された場合には、関連する各画像上においても同一のROIが設定されたものとみなし、必要なROI管理データ等を付加するように制御する。
【0162】
(特徴量算出ブロック)
次に、特徴量算出ブロック74における特徴量算出手法について説明する。本実施の形態としては、特徴量算出手法として、Gabor(ガボール)特徴に基づくテクスチャ解折手法を適用する。
【0163】
はじめに、Gabor特徴について説明する。Gabor特徴は、人間の視覚系のモデル化に基づく特徴量であり、画像における位置(座標)に依存する局所的な情報を保存した周波数成分の解折手法である。なお、より詳しい説明は文献「Gabor特徴による指紋認識;浜本他:1995年第26回画像工学コンファレンス発表予報集 P.91〜P.94」に記述されているため、ここでは概要を示すものとする。
【0164】
Gabor特徴は、Gaborフィルタと原画像とのたたみ込み演算により得られた値から算出される特徴量である。Gaborフィルタは、2次元ガウス曲面と2次元平面上を一方向に伝わる平面波とをかけ合わせたものであり、ガウス曲面における標準偏差σxとσy、平面波の進行方向θk及び平面波の波長λmにより決定される。標準偏差σxとσyは波長λmと密接に関係しており、波長λmの関数とすることができ、それぞれσx(λm)及びσy(λm)と表される。Gaborフィルタは、実部Re(f)及び虚部Im(f)からなる2次元フィルタであり、それぞれ、
【数1】
【数2】
で定義される。なお、Gaborフィルタは、式(1)及び(2)におけるσx(λm)、σy(λm)、λm及びθkを変更することにより、種々の特性を実現することが可能である。
【0165】
ここで、波長λmはGaborフィルタが画像から抽出する周波数成分の帯域を、方向θkはその方向を規定する。
【0166】
Gabor特徴は、Gaborフィルタと画像とのたたみ込みから得られる。画像を大きさN×Nの多値画像I(i,j)(0≦i≦N-1,0≦j≦N-1)とし、画像上のサンプリング画素を(X,Y)とする。ある特定のθk、λmに対するGaborフィルタと画像とのたたみ込みは、
【数3】
で与えられる。そして、式(3)のgを用いて、Gabor特徴の値h(X,Y,θk,λm)は、
【数4】
h(X,Y,θk,λm)=|g(X,Y,θk,λm)| (4)
ただし、|z|は複素数α+iβの絶対値(α2+β2)1/2を表す。
【0167】
以上において説明したGabor特徴量h(X,Y,θk,λm)を、複数のθk及びλmの各々の組み合わせ数(Lとする)分作成し、M個のサンプリング画素に対して算出する。得られた特徴の値を用いて特徴次元数M×Lの特徴量(特徴ベクトル)とする。
【0168】
方向θkは、フイルタの設計をn方向について行うのであれば、
【数5】
θk=π(k−1)/n (k=1,…,n)(radian) (5)
とする。例えば4方向とすれば0,π/4,π/2,3π/4(radian)とすればよい。また、波長λmは、21/2,2×21/2,4×21/2,8×21/2のように適宜定める。さらにσx(λ)及びσy(λ)については、例えばσx(λm)=σy(λm)=0.5×λmのように定めればよい。σx(λm)≠σy(λm)とすることも可能である。
【0169】
図24は本実施の形態におけるGabor特徴に基づく特徴量算出手法を説明するためのフローチャートである。ステップS101において、内視鏡画像上に設定されたROIにおけるG画像データIgを取得する。ここでは、簡単のためROIの形状は大きさN×Nの矩形であるものとする。ステップS102において、取得したG画像データIgに対し、ノイズ除去、逆γ補正、シェーディング補正等の各前処理を適用するか否かを判断し、適用する場合はステップS103へ、適用しない場合はステップS104に進む。
【0170】
ステップS103においてはメディアンフィルタリング等によるノイズ除去、逆γ補正、シェーディング補正等の前処理をG画像データIgに対し適用する。なお、前処理の各々を選択的に適用してもよい。
【0171】
ステップS104においては、G画像データIgに対し、前述したGaborフィルタによるGabor特徴を算出する。本実施の形態においては、上述したGabor特徴を、
θk=(0,π/4,π/2,3π/4) (a)
λm=(3×21/2,6×21/2) (b)
σx(λm)=σy(λm)=0.5×λm (c)
について設計したL=8個のGaborフィルタにより、G画像データIgからM個のサンプリング画素について算出するものとする。
【0172】
図25は、本実施の形態におけるM個のサンプリング画素の取り方を説明するための説明図である。ここでは、図25に示すように、大きさN×NのG画像Igに対し、間隔Dで5×5の計25画素のサンプリング画素を設定し、L個のGaborフィルタによるGabor特徴を算出する。
【0173】
図24に戻り、続くステップS105においては、ステップS104において算出したM×L(=120)個のGabor特徴hij(i=1,2,…,M;j=1,2,…,L)を特徴量とし、各値を特徴量算出結果ウィンドウ(図22参照)に表示し、ROI特徴量データ201に記億する。
【0174】
以上に説明したように、内視鏡画像に対するGaborフィルタの適用によるGabor特徴の利用により、画像上の位置に依存する局所的な情報を保存した特徴量の算出が可能となる。得られた特徴量を用いて内視鏡画像における粘膜表面の構造パターンを示すテクスチャの解折及び判別分類が良好に行える。
【0175】
なおGaborフィルタを設計するための方向θk、波長λm及び標準偏差σxとσyの各々の与え方は、本実施の形態の例に限定されるものではなく、適用対象とする画像に合わせる等適宜決定してよい。また、方向θkを非等間隔に設定してもよい。
【0176】
また、使用するGaborフィルタの特性を正規化して使用することももちろん可能である。その場合は、例えば周波数領域における直流成分に対する周波数応答を0に、通過帯域における周波数応答の絶対値の最大値をα(αは任意の定数)となるように各Gaborフィルタを変更すればよい。さらに、このような正規化を、算出されたGabor特徴に対して適用してもよい。
【0177】
また,本実施の形態においては、特徴量算出の対象として、ROIにおけるG画像を用いたが、R及びB画像から同様の特徴量を算出してもよい。また、例えば輝度画像等のR、G及びB画像データに対する演算の適用により得られた画像に対して適用することも可能である。
【0178】
さらに、Gabor特徴の算出は、M個のサンプリング画素に関し適用するのみでなく、ROIに内包される全画素から得るようにしてもよい。
【0179】
また、ROIの形状は矩形に限定されるものではなく、任意の描画形伏でのROIから同様の特徴量を求めることも可能である。
【0180】
次に、特徴量算出ブロック74におけるROI間相互特徴量について説明する。ROI間相互特徴量とは、1枚の内視鏡画像中に設定したROIにおける2個以上の組み合わせにより算出された特徴量を指し示す。
【0181】
例えば,ROI(1)と(2)、相互特徴量としてlog(G/R)の平均値間の差分演算を想定した場合、ROI間相互特徴量は各々のROIより算出したlog(G/R)の平均値v1及びv2との差分である
v=v1−v2
となる。また、差分演算以外にも除算による比v1/v2の算出等、種々のものが考えられ(例えば、(v1−1)×v2のような数式でもよい)、3個以上のROIにおける特徴量の任意の演算を用いてもよい。
【0182】
ROI間相互特徴量を導入することにより、異なる病変間の正常粘膜に対する相対的な差異を評価することが可能となる。例えば、ある病変1と病変2との判別において、それぞれの色調を正常粘膜と比較した際に前者は白色調,後者は赤色調として観察者により判断される場合がある。これは、1枚の内視鏡画像中における病変部位とその周辺における正常粘膜との相対的な評価に基づいている。
【0183】
一方、内視鏡画像の撮像条件である光源による観察光の照射条件は、内視鏡画像1枚ごとに異なる。したがって、同じ白色調あるいは赤色調の病変を撮像した場合においてもそれらを構成するR,G及びB画像データの組成は異なることとなる。そこで、1枚の内視鏡画像の視野内においては比較的撮像条件が均一と考えられることから、同一画像中における複数のROIから算出される特徴量の相対的な値を求めることにより、撮像条件のばらつきに影響されない判別分類が可能となる。
【0184】
本実施の形態では、図19の算出特徴量メニューウインドウ240で、相互特徴量算出ボタン243がクリックされた場合、図26に示すROI間相互特徴量メニューウインドウ280が開く。
【0185】
ROI間相互特徴量メニューウィンドウ280は、算出する特徴量の種類を指定するためのメニューバー281と、スクロールバー282と、ROI間の演算の種類を指定するためのニューバー283と、スクロールバー284と、後述する基準分類を指定するためのメニューバー285と、スクロールバー286と、相互特徴量の一括選択を行うための一括選択ボタン287と、算出するROI間相互特徴量を確定しROI間相互特徴量メニューウィンドウ280を閉じるための確定ボタン288から構成される。
【0186】
メニューバー281は、図19のメニューバー241と同様に、算出可能である特徴量が一覧表示され、操作者のクリックにより算出する特徴量の種類が設定される。その際、図19のメニューバー241において設定された特徴量があれば、メニューバー281においても同じ特徴量が自動的に選択されるように制御してもよい。
【0187】
スクロールバー282は、必要に応じてメニューバー281をスクロールさせることができる。
【0188】
メニューバー283は、前述のROI間相互演算の種類を設定するためのもので、複数の演算を選択可能である。
【0189】
スクロールバー284は、必要に応じてメニューバー283をスクロールさせることができる。
【0190】
メニューバー285は、ROI間相互特徴量の算出において、基準とするROIの分類である基準分類を設定する。前述した例において、病変1と病変2のそれぞれの正常粘膜に対するROI間相互特徴量を算出する場合には、基準分類を正常とする。複数の基準分類を選択可能としてもよい。
【0191】
スクロールバー286は、必要に応じてメニューバー285をスクロールさせることができる。
【0192】
一括選択ボタン287は、前述した図19の一括選択ボタン244の動作と同様に、算出するROI間相互特徴量の一括選択を指定する。
【0193】
操作者は、ROI間相互特徴量メニューウインドウ280における一連の作業を終了後、確定ボタン288のクリックにより算出するROI間相互特徴量を確定の上、ROI間相互特徴量メニューウインドウ280を閉じ、図18のROI設定ウインドウ220に戻る。
【0194】
ROI間相互特徴量の算出が設定された場合には、図18において特徴量算出実行ボタン227のクリックによりROI間相互特徴量が算出される。
【0195】
図27はROI間相互特徴量の算出を説明するための説明図であって、内視鏡画像290において、ROIが5個設定されそれぞれに分類ボタン226(図18参照)を用いての分類がなされているものとする。また、図27に示す例においては、基準分類は正常、相互演算は差分演算が設定されているものとする。また,各ROI(1)ないし(5)における特徴量をv1ないしv5とする。
【0196】
ROI間相互特徴量は、前述の通り、基準分類と同一の分類がなされたROIから算出される特徴量と、その他の分類がなされたROIから算出される特徴量との演算を行うものである。したがって、この場合、ROI間相互特徴量は、以下の通り求められる。ただし、ともに基準分類が与えられたROI間においてはROI間相互特徴量の算出は行わないものとする。
【0197】
v1−v2
v1−v4
v1−v5
v3−v2
v3−v4
v3−v5
これらの組み合わせは、各ROIに付された分類をキーとして自動的に決定することが可能である。図28は、ROI間相互特徴量算出における自動組み合わせの動作を説明するためのフローチャートである。
【0198】
ステップS1において、基準分類と同一の分類(この例では正常)がなされたROIの番号をカウントするための変数iを1に初期化し、ステップS2へ進む。
【0199】
続くステップS2において、i番目のROIの分類が正常であるかどうかを判定する。判定結果が真であればステップS3へ、偽であればステップS9へ進む。
【0200】
ステップS3においては、ステップS2での判定により基準分類であるとされたi番目のROIとの特徴量間の差分算出対象とするROIの番号をカウントする変数jを1に初期化し、ステップS4へ進む。
【0201】
ステップS4においては、i=jであるかどうかを判定し、判定結果が真であればステップS7へ、偽であればステップS5へ進む。
【0202】
ステップS5においては、j番目のROIの分類が正常であるかどうかを判定する。判定結果が真であればステップS7へ、偽であればステップS6へ進む。
【0203】
ステップS6においては、i番目及びj番目のROIにおけるROI間相互特徴量の算出を行い、ステップS7へ進む。
【0204】
ステップS7においては、jをj+1とし、ステップS8へ進む。
【0205】
ステップS8においては、j>5であるか否か、すなわち、すべてのROI(この例では5個)に対する処理が終了したかどうかを判定する。判定結果が真であればステップS9へ、偽であればステップS4進む。
【0206】
ステップS9においては、iをi+1とし、ステップS10へ進む。
【0207】
ステップS10においては、i>5であるか否か、すなわち、すべてのROI(この例では5個)に対する処理が終了したかどうかを判定する。判定結果が真であれば処理を終了し、偽であればステップS2へ進む。
【0208】
また,特徴量算出実行ボタン227がクリックされると、算出するROI間相互特徴量の選択がなされている場合にはROI間特徴量算出結果表示ウインドウ(図示せず)が開く。ROI間特徴量算出結果ウインドウの構成は、前述の特徴量算出結果表示ウィンドウ(図22)とほぼ同一であり、例えば(1)−(2)等、どのROIが組み合わされたかがわかるように表示される点のみが異なる。
【0209】
ROI間相互特徴量の算出結果は、ROI間相互特徴量データ200に追加される(図17参照)。
【0210】
一方、特徴量算出アイコン114(図7)をクリックすると、新たな特徴量算出ウインドウが開く。
【0211】
図29に示すように、特徴量算出ウインドウ300は、特徴量を算出するROIを選択するためのROI指定ボタン301と、特徴量の算出を実行するための特徴量算出実行ボタン302及び終了ボタン303からなっている。
【0212】
操作者が、ROI指定ボタン301をクリックすることにより、図30に示すROI指定ウインドウ310が開く。
【0213】
図30に示すように、ROI指定ウィンドウ310は、すでに設定済みであるROIの一覧を表示及び選択することが可能であるメニューバー311と、スクロールバー312と、すべての設定済みのROIを特徴量算出の対象として指定する為の全ROI指定ボタン313と、設定されているROIを確認するためのROI画像表示ボタン314と、算出する特徴量の種類を選択する特徴量選択ボタン315と、部位,所見あるいは分類によりメニューバー311上に表示するROIを限定するためのROI限定ボタン316及びROI指定を確定しROI指定ウィンドウ310を閉じるための確定ボタン317からなっている。
【0214】
メニューバー311上には、検査No.、患者ID、患者名、画像No.あるいはROIの番号等、ROIを特定するためのデータが表示され、任意の事項をクリックすることによりROIを指定する。
【0215】
ROI画像表示ボタン314がクリックされた場合には、メニューバー311上で指定されているROIを含む内視鏡画像を表示する、ROI設定ウィンドウ220における画像表示領域221(図18参照)に準じた新たなウインドウ(図示せず)が開かれる。その際、内視鏡画像と同時に、部位、所見及び分類等のデータを併せて表示してもよい。
【0216】
特徴量選択ボタン315がクリックされた場合には、前述のROI設定ウィンドウ220における特徴量選択ボタン223がクリックされた場合と同様の処理が行われる。
【0217】
ROI限定ボタン316がクリックされた場合には、操作者によるメニューバー311への表示項目の限定が行われる。すなわち、部位、所見あるいは分類をキーとし、指定されたデータが付されたROIのみを表示するようにする。
【0218】
一連の作業が終了すると,操作者が確定ボタン317クリックすることにより、特徴量を算出するROIの指定が確定し、ROI指定ウィンドウ290を閉じる。
【0219】
図29の特徴量算出実行ボタン303がクリックされた場合においては、指定されたROIに対する特徴量の算出が行われる。この後の動作は、前述したROI設定ウインドウ220における特徴量算出実行ボタン227がクリックされた場合と同様である。
【0220】
また,終了ボタン303をクリックすることにより特徴量算出ウインドウ300を閉じる。
【0221】
(判別分類ブロック)
次に、判別分類ブロック75の動作について説明する。
【0222】
判別分類手法としては、統計的手法あるいは非統計的な手法として、種々のものが知られている。前者は線形判別関数、ECM 規則等が挙げられ、後者はニューラルネットワークによる判別器等が挙げられる。本実施の形態においては公知技術として広く用いられているFisherの線形判別関数(2クラス分類)を扱うこととする。
【0223】
判別分類処理は、異なる複数のクラス(本実施の形態においては、設定したROIに対して付された分類をクラスとする)における1つ以上の特徴量から、判別分類器(本実施の形態においては線形判別関数)を作成し、判別分類対象とするデータがいずれのクラスに該当するかを判定するものである。判別分類器の作成にあたっては、あらかじめ正しいクラスが与えられたサンプルデータ(教師データと呼ばれる)における1つ以上の特徴量の値の組み合わせ(特徴ベクトルと呼ばれる)を複数使用する。
【0224】
本実施の形態においては、例えば胃におけるI型早期癌及び腺腫をクラスとする。また、特徴ベクトルを構成する特徴量を、ROI間相互特徴量とし、各ROIにおける正常粘膜とのlog(G/R)及びlog(B/R)の平均値の差分を使用するものとする。
【0225】
また、本実施の形態においては、判別分類対象とするクラス、特徴ベクトルとして使用する特徴量の種類、教師データとして使用したROIの組み合わせ及び判別分類器における各係数をデータセットと呼称する。
【0226】
操作者は、判別分類アイコン75(図7)をクリックすることにより、新たな判別分類ウィンドウを開く。
【0227】
図31に示すように、判別分類ウインドウ320は、適用する判別分類手法の種類を表示及び選択するためのメニューバー321と、スクロールバー322と、後述するデータセット作成処理を動作させるためのデータセット作成ボタン323と、判別分類を実行するための判別分類実行ボタン324及び終了ボタン325からなっている。
【0228】
メニューバー321においては、実行可能である判別分類手法が一覧表示され、操作者はクリックにより実行する判別分類手法を選択する。
【0229】
データセット作成ボタン323をクリックすると、新たなデータセット作成ウインドウが開く。
【0230】
図32に示すように、データセット作成ウィンドウ330は、判別分類対象とするクラスを設定するためにクラス(ここでは分類)を表示及び選択するためのメニューバー331と、スクロールバー332と、特徴ベクトルとして使用する特徴量を選択するためのメニューバー333と、メニューバー333を垂直及び水平方向にそれぞれスクロールさせることができるスクロールバー334a及び334bと、教師データを指定するためのクラス別ROI選択ボタン335と、作成するデータセットに対して名称を付すためのデータセット名入力領域336と、データセットの作成を実行する作成実行ボタン337と、すでに作成済みのデータセットを呼び出すことができる既存データセット呼び出しボタン338及び終了ボタン339からなっている。
【0231】
操作者は、メニューバー331上において判別分類対象とするクラスを、メニューバー333上において、特徴ベクトルとして使用する特徴量を選択する。
【0232】
クラス別ROI選択ボタン335をクリックすることにより、新たなクラス別ROI一覧ウインドウが開く。このクラス別ROI一覧ウインドウは、判別分類対象とするクラス数と同じ数だけ開くものとする。
【0233】
図33に示すように、クラス別ROI一覧ウインドウ340は、設定されたROIの一覧を表示及び選択するためのメニューバー341と、スクロールバー342と、対応するクラスの名称を表示するための出力表示領域343と、メニューバー341上に表示されたすべてのROIを一括選択するための全選択ボタン344及び確定ボタン345からなっている。
【0234】
メニューバー341上には、設定されたROIにおいて対応するクラスの分類が付されたものが一覧表示され、クリックにより教師データとして使用することが指定される。また、全選択ボタン344をクリックすることにより、メニューバー341上に表示されたすべてのROIを教師データとして一括指定することも可能である。
【0235】
教師データとして使用するROIの指定終了後、確定ボタン345をクリックすることによりクラス別ROI一覧ウィンドウを閉じる。
【0236】
以上の一連の処理を、判別対象とするクラス数回行うことにより、教師データの指定を完了する。
【0237】
また、キーボード42からの入力により作成するデータセットに対する名称を付与することができる。データセット名は図32の出力表示領域336上に表示される。
【0238】
以上において説明したデータセット作成ウインドウ330上での作業は、任意の順序で行うことが可能である。
【0239】
続いて、作成実行ボタン337をクリックすることにより、データセットの作成が行われる。Fisher の線形判別関数においては、特徴ベクトルを構成する特徴量の個数と同数の係数と、判別分類の境界値が算出される。
【0240】
また,既存データセット呼び出しボタン338をクリックすると、新たなデータセット一覧ウインドウが開かれる。
【0241】
図34に示すように、データセット一覧ウインドウ350は、作成済みであるデータセット名の一覧表示し、選択するためのメニューバー351と、スクロールバー352と、確定ボタン353及び終了ボタン354からなっている。
【0242】
操作者はメニューバー351上のデータセット名を1個選択し、確定ボタン353をクリックすることにより、データセット作成ウインドウ330におけるメニューバー331、メニューバー333、出力表示領域336の設定内容を選択したデータセットと同じものとすることができる。また、クラス別ROI一覧ウインドウ340における各表示項目も同様である。
【0243】
以後、再現された各設定条件を適宜変更することにより、新たなデータセットを作成することが可能となる。これにより、判別分類への寄与度が低い特徴量の使用をやめる、教師データとするROIの組み合わせを若干変更するといった調整が可能となる。
【0244】
一連の処理を終了後、終了ボタン339をクリックすることによりデータセット作成ウィンドウ330を閉じる。
【0245】
また、図31の判別分類実行ボタン324をクリックすることにより、作成したデータセットを用いた判別分類が実行される。判別分類実行ボタン324をクリックすると、新たな判別分類実行ウインドウが開く。
【0246】
図35に示すように、判別分類実行ウインドウ360は、既に作成済みのデータセット名の一覧を表示及び選択することができるメニューバー361と、スクロールバー361と、設定されたすべてのROIを表示及び選択することができるメニューバー363と、スクロールバー364と、スクロールバー363上に表示するROIを、教師データと同じクラスとなる分類が与えられたROIに限定するための対応クラス選択ボタン365と、判別分類の実行を開始するための実行ボタン366及び終了ボタン367からなっている。
【0247】
操作者は、メニューバー361上に表示された任意のデータセットを判別分類器として選択する。また、メニューバー363上に表示された任意のROIを判別分類対象として選択する。
【0248】
また、対応クラス選択ボタン365がクリックされた場合には、教師データと同じクラスとなる分類が付与されたROIのみを表示する。これにより、作成したデータセットによる判別分類の正答率等を確認することが容易になる。
【0249】
実行ボタン366がクリックされた場合には、選択されたデータセット及びROIを用いた判別分類処理が実行され、新たな判別分類結果表示ウインドウが開く。
【0250】
図36に示すように、判別分類結果表示ウインドウ370は、使用したデータセット名を表示する出力表示領域371と、判別分類の境界値を表示するための出力表示領域372と、判別分類の対象としたクラスの名称を表示するための出力表示領域373と、判別分類対象としたROIの情報及び判別結果を表示するための出力表示領域374と、スクロールバー375及び終了ボタン376からなっている。
【0251】
判別分類の境界値は Fisher の線形判別関数において2クラスを分離する境界を与える係数である。判別分類対象としたROIの特徴ベクトルから算出された結果の値がこの境界値に対して大または小であることにより、2クラスに分類する。算出結果と境界値とが等しい場合にはいずれのクラスに分類するかをあらかじめ決定しておけばよい。
【0252】
出力表示領域374においては、判別分類結果が得られたROIに関する検査No.、患者ID、画像No.、ROIの番号等のデータ及び判別分類結果を逐次表示する。
【0253】
操作者は判別分類結果を確認後,終了ボタン376をクリックすることにより判別分類結果表示ウインドウ370を閉じる。
【0254】
なお、判別分類結果表示ウインドウは,選択されたデータセットの個数分開かれ、各データセットごとの判別分類結果が表示される.
以上説明した一連の作業における所望の処理を実施後、図31の判別分類ウインドウ320における終了ボタン325をクリックすることにより判別分類ウインドウを閉じる。
【0255】
なお、本実施の形態における診断支援処理おいては、教師データあるいは判別分類対象データとして指定されたROIにおいて、特徴ベクトルとして使用する特徴量が未算出である場合には自動的に特徴量算出ブロック74を呼び出すよう制御する。これにより、あらかじめ多数のROIを設定しておき、判別分類において必要とする最小限の特徴量をまとめて算出することが可能となる。
【0256】
(レポート作成ブロック)
続いて、レポート作成ブロック76の動作について説明する。レポート作成アイコン116(図7)をクリックすることにより、レポート作成ウインドウが開く。本実施の形態におけるレポートは、特徴量算出及び判別分類における各処理結果を基に作成されたデータ群からなるものとする。その内容は、設定したROIから算出した特徴量の値、データセットによる判別分類結果等に基づく。
【0257】
図37に示すように、レポート作成ウインドウ380は、作成するレポートの内容を選択するための選択ボタン381と、終了ボタン382からなっている。選択ボタン381は特徴量算出または判別分類における各処理結果において所望するものをクリックする。双方のレポートを同時に並行して作成することも可能である。
【0258】
選択ボタン381において、特徴量算出結果に対するレポート作成がなされた場合には、新たな特徴量レポート作成ウインドウが開かれる。
【0259】
図38に示すように、特徴量レポート作成ウインドウ390は、レポート作成の対象とするクラスすなわち分類の一覧を表示及び選択するためのメニューバー391と、スクロールバー392と、使用する特徴量の一覧を表示及び選択するためのメニューバー393と、スクロールバー394a及び394bと、レポートの表示開始を指示するための表示ボタン395と、後述するグラフの表示開始を指示するためのグラフ作成ボタン396及び終了ボタン397からなっている。
【0260】
操作者はメニューバー391及び393上において、レポート作成に使用するクラス及び使用特徴量を選択する。
【0261】
続いて、表示ボタン395をクリックすることにより、新たな特徴量レポート表示ウインドウを開く。図39に示すように、特徴量レポート表示ウインドウ400は、メニューバー391において選択したクラス数と同数開かれ、クラス名を表示する出力表示領域401と、検査No.、患者ID、画像No.、ROIの番号等のデータ及び各ROIにおけるメニューバー393上で選択した特徴量の算出結果が一覧表示されるとともに選択可能であるメニューバー402と、スクロールバー403a及び403bと、レポートの印刷開始を指示するための印刷開始ボタン404と、終了ボタン405からなっている。
【0262】
操作者がメニューバー402上で所望の項目を選択し、印刷開始ボタン404をクリックすることでその内容をプリンタ51に出力することができる。
【0263】
また、メニューバー402におけるすべての項目を選択するための一括選択ボタンを設けてもよい。
【0264】
終了ボタン405をクリックすることにより特徴量レポート表示ウインドウ400を閉じる。
【0265】
また、図38においてグラフ作成ボタン396をクリックすることにより、新たなグラフ表示ウインドウが開く。この場合、メニューバー393において特徴量の個数は2個となる。
【0266】
図40に示すように、グラフ表示ウインドウ410は、グラフ上にプロットされる各データのクラスの凡例を示すための出力表示領域411と、縦軸及び横軸にそれぞれ選択された特徴量を与えたグラフを表示するためのグラフ表示領域412と、出力表示領域411及びグラフ表示領域412における表示内容の印刷を指示するための印刷開始ボタン413及び終了ボタン414からなっている。
【0267】
グラフ表示領域412においては、各クラスの選択された特徴量を2次元座標上にプロットする。表示におけるスケールは、各特徴量の算出結果の最小値及び最大値を基に自動的に設定される。また、プロットされたデータ属するクラスの認識を容易にするために、プロット色はクラスごとに異なるものとする。この例においてはクラス数を3としており、それぞれ赤、青及び緑の点によりプロットし,その対応を凡例として出力表示領域401に表示する。
【0268】
また、各クラスにおける各特徴量の算出結果の平均値あるいは分散等を併せて表示してもよい。
【0269】
印刷開始ボタン413がクリックされた場合においては、出力表示領域411及びグラフ表示領域412における内容を、プリンタ51に出力する。
【0270】
終了ボタン414をクリックすることによりグラフ表示ウインドウ410を閉じる。
【0271】
なお、特徴量レポート表示ウインドウ400及びグラフ表示ウインドウ410を同時に開いている場合には、メニューバー402における項目と、グラフ表示領域412におけるプロットとの対応がわかるように制御する。例えば、メニューバー402における項目をクリックした場合に、対応するプロットを強調表示すればよい。
【0272】
また、図37の選択ボタン381において、判別分類結果に対するレポート作成がなされた場合には、判別分類結果レポート作成ウインドウ(図示せず)が開かれ、選択したデータセット、判別分類結果等を適宜選択の上、プリンタ51に出力すればよい。
【0273】
このように本実施の形態の診断支援装置1では、診断支援処理実行プログラム70の特徴量算出ブロック74により、1枚の内視鏡画像中に設定したROIにおける2個以上の組み合わせによりROI間相互特徴量を算出することで、異なる病変間の正常粘膜に対する相対的な差異を評価し、同一画像中における複数のROIから算出される特徴量の相対的な値を求めることにより、撮像条件のばらつきに影響されない判別分類ができる。
【0274】
なお、上記第1の実施の形態において説明したGabor特徴に基づく特徴量算出手法は、ROIに内包される例えばG画像データIgにおけるM個のサンプリング画素に対し、L個のGaborフィルタを適用することにより得られたM×L個の特徴量をテクスチャ解折及び判別分類に使用するものとしたが、これに限らず、Gabor特徴のさらなる利用方法として、得られたGabor特徴からより診断に有効なあらたな特徴量を算出するようにしてもよい。
【0275】
すなわち、上記第1の実施の形態の第1の変形例としては、図23におけるステップS101ないしS104に示した一連の処理により、M×L個のGabor特徴hij(i=1,2,…,M;j=1,2,…,L)を算出する点は、上記第1の実施に形態と同様である。
【0276】
この第1の変形例においては、得られたGabor特徴を、M個のサンプリング画素毎に、
と置き直す。h(i)(i=1,2,…,M)はそれぞれL個の要素を持つベクトルと考えることができる。そこで、各ベクトルの要素の生起する確率分布を仮定し、それを規定するパラメータを算出し、得られた値をあらたな特徴量とすることを考える。
【0277】
上記第1の実施の形態の第1の変形例においては、ベクトルh(i)の各要素の生起する確率分布をL次元の正規分布と仮定し、多次元正規分布を規定するパラメータである平均ベクトルμ及び共分散行列Σを求める。
【0278】
平均ベクトルμ=(μ1,μ2,…,μ L)の各要素は、
【数6】
により求められる。これは、M個のサンプリング画素における、i番目のGaborフィルタにより算出されるGabor特徴の平均値(期待値)を示す。また、共分散行列Σは、
【数7】
により定義される。式(7)において、σpqは、
【数8】
により定義される分散・共分散である。なお、共分散行列Σにおいては,σpq=σqpの性質から、L個の分散(対角成分)と((L×(L−1))/2)個の共分散を特徴量として使用すればよい。
【0279】
以上により得られた平均ベクトルμ及び分散・共分散σpqにより、次元数(L+L+(L×(L−1))/2)個の値を特徴量とし、特徴量算出結果ウィンドウ(図22参照)に表示し、ROI特徴量データ201に記億する。
【0280】
したがって、上記第1の実施の形態の第1の変形例では、以上説明したように、ROIにおける各画素から算出された特徴量の値の生起する確率分布を仮定し、その分布を規定するパラメータを算出し、あらたな特徴量とすることにより、より診断に有効な特徴量が算出可能となる。さらに、特徴次元数の削減という効果をも得ることができる。
【0281】
また、上記第1の実施の形態の第1の変形例においては、Gabor特徴に基づく特徴量の生起する確率分布について説明した、確率分布を仮定する特徴は、これに限られるものではない。すなわち、例えば各サンプリング画素から得られたlog(G/R)、log(B/R)の値についてもその生起する確率分布の型を仮定し、それを規定するパラメータを算出し、あらたな特徴量とすればよい。また、特徴量が生起する確率分布の形態は正規分布に限るものではなく、二項分布,χ2分布等、種々のものが考えられる。
【0282】
上記第1の実施の形態の第2の変形例としては、特徴量算出手法として、設定されたROIにおけるR、G及びB画像データに基づく統計量を算出する手法を使用する。
【0283】
複数の色信号からなる内視鏡画像においては、各色信号により構成される各画素の色調や分布が診断における有用な情報となっている。上記第1の実施の形態の第2の変形例においては、この点に着目し、判別分類等への使用に良好な特徴量の算出手法について説明する。
【0284】
上記第1の実施の形態の第2の変形例においては、内視鏡画像における各画素は各々0ないし255の値をとるR、G及びB画像データからなるものとする。このような内視鏡画像上に設定されたROIにおける統計量としては、例えば以下(1)〜(10)のものが考えられる。なお、各統計量を算出するための画素数を、ここではN個とする。また、ri、gi及びbiは、それぞれi番目(i=1,2,…,N)の画素のR、G及びBデータの値を示すものとする。
【0285】
(1)RGB各データの平均値:μr,μg,μb
その算出式は、それぞれ、
【数9】
となる。
【0286】
(2)RGB各データの分散:σ2 r,σ2 g,σ2 b
その算出式は、それぞれ、
【数10】
となる。
【0287】
(3)RGB各データの標準偏差:σr,σg,σb
σr,σg,σbは、それぞれの分散σ2 r,σ2 g,σ2 bの正の平方根で与えられる。
【0288】
(4)RGB各データの共分散:σ2 rg,σ2 rb,σ2 gb
その算出式は、それぞれ、
【数11】
となる。
【0289】
(5)RGB各データの相関係数
σ2 rg/(σrσg),σ2 rb/(σrσb),σ2 gb/(σgσb)で与えられる。
【0290】
(6)RGB各データ各々の平均値/標準偏差
μr/σr,μg/σg,μb/σbで与えられる。
【0291】
(7)log(G/R)及びlog(B/R)の平均値:μ(log(G/R)),μ(log(B/R)
その算出式は、それぞれ、
【数12】
となる。
【0292】
(8)log(G/R)及びlog(B/R)の分散:σ2 log(G/R),σ2 log(B/R)
その算出式は、それぞれ、
【数13】
となる。
【0293】
(9)log(G/R)及びlog(B/R)の標準偏差:σlog(G/R),σlog(B/R)
σlog(G/R),σlog(B/R)は、それぞれの分散σ2 log(G/R),σ2 log(B/R)の正の平方根で与えられる。
【0294】
(10)log(G/R)及びlog(B/R)の共分散:σ2 log(G/R)log(B/R )
その算出式は、
【数14】
となる。
【0295】
また、A=ri+gi+bi(ri、gi及びbiはそれぞれi番目の画素のR、G及びBデータの値)として、R/A,G/A及びB/Aを算出することにより、各画素の色調をRGB色空問におけるベクトルで表現することができ。それらの統計量を特徴量とすることも可能である。すなわち、以下の(11)〜(16)の統計量を特徴量とすることができる。
【0296】
(11)R/A,G/A,B/Aの平均値:μr/a,μg/a,μb/a
その算出式は、それぞれ、
【数15】
となる。
【0297】
(12)R/A,G/A,B/Aの分散:σ2 r/a,σ2 g/a,σ2 b/a
その算出式は、それぞれ、
【数16】
となる。
【0298】
(13)R/A,G/A,B/Aの標準偏差:σr/a,σg/a,σb/a
σr/a,σg/a,σb/aは、それぞれの分散σ2 r/a,σ2 g/a,σ2 b/aの正の平方根で与えられる。
【0299】
(14)R/A,G/A,B/Aの共分散:σ2 r/a,g/a,σ2 r/a,b/a,σ2 g/a,b/a
その算出式は、それぞれ、
【数17】
となる。
【0300】
(15)R/A,G/A,B/Aの相関係数
σ2 r/a,g/a/(σr/aσg/a)、σ2 r/a,b/a/(σr/aσb/a)、σ2 g/a,b/a/(σg/aσb/a)で与えられる。
【0301】
(16)R/A,G/A,B/Aの平均値/標準偏差
μr/a/σr/a,μg/a/σg/a,μb/a/σb/aで与えられる。
【0302】
このように上記第1の実施の形態の第2の変形例では、以上に示した統計量をROIより算出することにより、診断に有効な特徴量を得ることが可能となる。
【0303】
図41ないし図43は本発明の第2の実施の形態に係わり、図41は画像のテクスチャの構造パターンを示すパターン図、図42は図41のテクスチャの構造パターンの補正を説明する説明図、図43は図41のテクスチャの構造パターンの変形例を示すパターン図である。
【0304】
第2の実施の形態は、第1の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【0305】
本発明の第2の実施の形態は、第1の実施の形態の構成と同じであり、Gabor特徴のように画像中の位置に依存する局所的な情報を抽出する特徴量の補正方法に関する。
【0306】
Gabor特徴は,前述したように方向θk、波長λm及びσx(λm)とσy(λm)により設定されるGaborフィルタにより算出される値である。一方、内視鏡での撮像のように、撮像条件を定めることが難しい条件の下で得られた画像は、回転移動が生じるため、上下左右等の方向を規定することが困難である場合が多い。したがって、算出された、方向θkの変化に依存する特徴量の値が意味をなさなくなる場合も考えられる。
【0307】
本実施の形態においては、回転移動が生じている画像及び方向を規定することが困難である画像においても、診断に良好に寄与する特徴量を得ることができる補正について説明する。
【0308】
本実施の形態においては、特徴量算出手法として第1の実施に形態において説明したGabor特徴に基づく特徴量を算出するものとする。
【0309】
本実施の形態においては、Gabor特徴を算出するためのGaborフィルタを第1の実施の形態において説明した数値群(a)、(b)及び(c)から得られるものとする。すなわち、方向θkは4通り、波長λmは2通りとなり、Gaborフィルタは8種となっている。
【0310】
図41及び図42は、本実施例における補正を説明するための説明図である。ここで、ある画素において、波長λmに対し方向θkを変化させたGaborフィルタにより算出されたGabor特徴の値をそれぞれ(hm1,hm2,hm3,hm4)とする。
【0311】
判別分類において同一のクラスに分類されるべきパターンにおいては、同一の波長λmにおける異なる方向の各Gabor特徴の値の分布は類似したものとなることが予測される。例えば、図41に示すようなテクスチャから、Gabor特徴を求める場合について考える。図42(a)は、図41において示したテクスチャの構造パターンの要素を示したものである。
【0312】
図42(a)に示すテクスチャ構造パターンにおける画素P(x,y)に対し、同一のλmにおける4方向のθkによるGabor特徴は、図42(b)に示すθ1の場合、すなわちhm1が最大となる。一方、図42(c)に示すような回転移動が生じた場合、回転移動後の画素P(x,y)に対応する画素P’(x,y)におけるGabor特徴は図42(b)におけるθ2の場合が最大となる。
【0313】
この例は、テクスチャ解折対象とする構造パターンにより、同一の波長λmにおけるGaborフィルタにおいて、Gabor特徴が最大となる方向θkを定めることにより、算出された特徴量の値への回転移動の影響に対する補正が可能であることを示している。
【0314】
すなわち、図42(a)及び(c)のように、テクスチャ構造パターンの回転移動による変化が発生した場合においても、得られたGabor特徴の値が最大となる方向θkをあらたにθ1とし、図42(d)に示すような並べ替えを行えばよい。この例においては、画素P(x,y)において得られたGabor特徴(hm1,hm2,hm3,hm4)を、(hm2,hm3,hm4,hm1)の順序に並び替えればよい。また、単純に最大値を与える方向を基準とするのみでなく、hm1ないしhm4の値の大小に見られる傾向から回転量を決定してもよい。
【0315】
以上に説明した方向θkに関するGabor特徴の並べ替えを、ROIにおけるサンプリング画素すべてにおいて適用する。これは、ある特定の波長λm、異なる方向θk(この例では4方向)により規定されるGaborフィルタにより算出されたGabor特徴の平均値を求め、その最大値を与えるθkについての並び替えを行うようにする。また、回転移動の補正に対するより高い精度を望むのであれば方向θkをより多く(例えば6方向)について定めればよい。
【0316】
また,波長λmは複数(この例では2通り)定められるが、その中の特定の波長(基準波長)において並び替えの順序を決定し、他の波長によるGabor特徴に対しても同様の順序での並び替えを適用する。基準波長は任意のλmを選択可能であるが、例えば対象とするテクスチャ構造パターンをよく反映する波長に定めてもよい。
【0317】
以上に説明した補正を適用することにより、回転移動のあるパターン(テクスチャ)に対しても、位置に依存した局所的な情報を保存した特徴量算出手法の適用が可能となる。
【0318】
また、内視鏡画像においては、テクスチャ構造の不規則性等の理由により、方向性の保存が重要な意味をなさない場合がある。例えば、図43に示すテクスチャの例のように、テクスチャ全体における方向性においてはあまり規則性がなく、むしろテクスチャを構成する構造パターン自体に見られる特徴が重要である場合がある。このようなテクスチャに対しては、前述したROI全体の回転移動に対する補正を適用するのではなく、むしろサンプリング画素毎に独立に、算出されたGabor特徴の並び替えを適用した方が望ましい特徴量を得られることとなる。この場合は、図42を用いて説明したGabor特徴の並べ替えを、算出した25画素の各々における最大値に基づき実施すればよい。この補正の適用により、Gabor特徴から、周波数成分の伝搬方向によらないあらたな特徴量を算出することが可能となる。なお、基準波長の設定の有無は適宜選択すればよい。
【0319】
また、テクスチャ構造における不規則性により、方向性の保存がまったく重要でないような場合もありうる。このような場合には、各サンプリング点において方向θkに規定された順序で得られるGabor特徴hm1ないしhmn(nは方向θkの個数)を値の大小にしたがい再整列して使用してもよい。
【0320】
図44ないし図46は本発明の第3の実施の形態に係わり、図44は前処理ブロックの処理構成を示すブロック図、図45は図44の前処理ブロックの作用を説明する第1の説明図、図46は図44の前処理ブロックの作用を説明する第2の説明図である。
【0321】
第3の実施の形態は、第1の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【0322】
本発明の第3の実施の形態は、第1の実施の形態の構成は同じであり、特徴量算出手法による特徴量の値を良好に得るための前処理手法に特徴がある。
【0323】
図44において,前処理手法ブロック500は、内視鏡画像におけるノイズを除去するためのノイズ除去ブロック501と、逆γ補正を適用するための逆γ補正ブロック502と、面順次方式の内視鏡により撮像された画像に対する色ずれ補正ブロック503と、シェーディングによる大域的な明るさの変化を補正するためのシェーディング補正ブロック504とからなっている。各ブロックは、それぞれ独立かつ選択的に適用でき、任意の組み合わせ及び順序で使用することが可能となている。
【0324】
次に、各ブロックの動作について説明する。ノイズ除去ブロック501は、R、G及びB画像データの各々におけるノイズを除去するものである。具体的には、例えばR,G及びB画像データのすべてまたはいずれかに対し、マスクサイズ3×3のメディアンフィルタあるいは一様重みづけフィルタによるフィルタリングを適用すればよい。処理対象としては、R、G及びB画像データのみではなく、輝度画像データ等、後段につづく特徴量算出手法が使用する画像データのすべてに適用可能である(他のブロックにおける前処理においても同様である)。
【0325】
逆γ補正ブロック502は、R、G及びB画像データ各々に対して適用されているγ補正を除去するための前処理を適用する。
【0326】
色ずれ捕正ブロック503は、面順次方式の内視鏡で撮像された画像において発生した色ずれを補正するものである。具体的には、以下に示す一連の処理により実現可能である。
【0327】
色ずれ補正は、処理対象であるROIにおいて、G画像を基準とした場合のR画像及びB画像が、水平及び垂直の各方向に何画素分ずれているかを推定し、各々のずれを補正するようにする。G画像に対するR画像のずれの補正は以下のように行う。
【0328】
図45及び図46は、それぞれ各画像のずれが何画素分であるかを推定するための処理及び推定したずれに対する補正に関する説明図である。
【0329】
図45において、G画像の大きさはx1×y1、R画像の大きさはx2×y2であり、x2=x1+2×dx,y2=y1+2×dyであるものとする。ここで、dx及びdyは、それぞれ水平及び垂直方向におけるずれの発生した範囲を考慮して定めた値である。
【0330】
これにより、R画像データ及びG画像データは同一部位から得ているが、その大きさはR画像データの方が若干大きく切り出されていることになる。
【0331】
まず、図45におけるR画像データの始点Srを座標(0,0)とする。これに対して、G画像データの始点Sgを(x,y)とし、座標(0,0)から水平方向に2dx、垂直方向に2dyの範囲で1画素ずつ移動させる。すなわち、Sg(x,y)(0≦x≦2dx,0≦y≦2dy)となる。水平または垂直方向のいずれか1画素分移動させるごとに、R画像データ及びG画像データとの間の相互相関を算出し、その値の最大値を与えるSg(xmax,ymax)を求める。
【0332】
例えば、dx=dy=5,xmax=2,ymax=7であった場合には,xmax−dx=−3、ymax−dy=2となることから、G画像データに対するR画像データのずれは、水平方向に−3画素(画像に向かって左方向に3画素)、垂直方向に2画素(画像下方向に2画素)であることがわかる。
【0333】
したがって、図46に示すように、R画像データを水平方向に3画素、垂直方向に2画素移動させれば、色ずれに対する補正が完了したこととなる。
【0334】
B画像データについても同様の処理を適用することにより、R、G及びB画像データのすべてが色ずれのない状態に補正される。
【0335】
次に、シェーディング補正ブロック504の内容について説明する。シェーディングとは、照明光の照射角度、撮像対象の形状等の理由により撮像画像上に表れる、大域的な明暗の変化を示す。本実施の形態においては、ROIにおけるR、G及びB画像データの各々における大域的な明暗の変化を二次曲面近似(以下、この曲面をシェーディング面とする)し、これを用いたシェーディング補正を適用する。
【0336】
まず、シェーディング面の算出方法について説明する。二次曲面S(x,y)は、
【数18】
S(x,y)=ax2+bxy+cy2+dx+ey+f (18)
と表される。ここで、a,b,c,d,e及びfは、二次曲面を規定するための定数、x及びyは三次元空間上でのx及びy座標を、S(x,y)は点(x,y)における二次曲面の値をそれぞれ示す。また、画像においては、x及びyは画素の画像上における位置を、S(x,y)はその画素の値がそれぞれ対応する。
【0337】
例として、大きさN×NのR画像データに対する二次曲面近似について説明する。R画像データ(Irとする)における各画素は、それぞれ値r(x,y)を持つものとする。ここで、0≦x<N及び0≦y<Nである。シェーディング面上での値S(x,y)と、R画像データIr上の各画素の値r(x,y)との2乗誤差Dは、
【数19】
D(x,y)=(S(x,y)−r(x,y))2 (19)
で表される。この差に着目し、0≦x<N及び0≦y<Nにおいて式(19)における2乗誤差D(x,y)の総和Dsumを
【数20】
とし、その最小値を与える定数a,b,c,d,e及びfを求めることを考える。式(20)に式(18)を代入すると、
【数21】
となる。Dsum最小値を与える定数a,b,c,d,e及びfの値の組み合わせは、式(21)を各々について偏微分した上で、”=0”とおいた(すなわち、極値を求める)6個の連立方程式から算出することができる。これにより得られた連立方程式を行列形式で表すと、
【数22】
となる。ここで、式(22)におけるΣは、
【数23】
を示すものとする。
【0338】
Dsumの最小値を与える定数a,b,c,d,e及びfは、式(22)における左辺のx及びyに関する6×6行列の逆行列を求め、右辺に左から乗ずることにより得ることができ、これを式(18)に代入することによりシェーディング面とする。
【0339】
次に、算出したシェーディング面を用いたシェーディング補正の方法について説明する。
【0340】
まず、直流成分の値を保存するため、R画像データIrにおける画素r(x,y)の平均値rmeanを求めておく。また、画素r(x,y)の各々に対し、
【数24】
を算出し、得られたrs(x,y)の平均値rsmeanを求め、さらに、
【数25】
rsn(x,y)=rs(x,y)/rsmean (25)
を得る。最終的に、
【数26】
rr(x,y)=rsn(x,y)×rsmean (26)
を算出し、これをシェーディング補正後のR画像データとする。なお、式(25)は、rsn(x,y)の値の総和を1に正規化するものであり、一連の処理において省略してもよい。その場合は、rs(X,y)に対してrsmeanを乗ずることによりrr(x,y)を得ることができる。
【0341】
また、以上に説明した一連の処理を、G画像データ及びB画像データについても同様に適用することにより、各々に対するシェーディング補正後の画像データを得ることができる。また、R、G及びB画像データのいずれか1つからシェーディング面を求め、得られた定数a,b,c,d,e及びfを用いて他の画像のシェーディング面として使用してもよい。
【0342】
また、シェーディング補正ブロック504において適用されるシェーディング補正の処理内容は以上の説明によるものに限らず、例えば低域通過フィルタリングにより得られた画像データをシェーディング曲面に代用してもよい。
【0343】
以上に説明したように、各々の前処理を任意の組み合わせ及び順序で適用した画像データに対し特徴量算出手法を適用することにより、より診断に有効な特徴量の算出が可能となる。各前処理の適用の組み合わせ及び順序は、特徴量算出手法に合わせて適宜決定すればよい。また、ユーザによる指定が可能であってもよい。さらに、各前処理を繰り返して適用してもよい。例えば、色ずれ補正ブロック503においては,シェーディング補正適用後のR、G及びB画像に対し色ずれ補正適用後,再度シェーディング補正を適用することも可能である。この場合は、より精度の高い色ずれ補正を行うことができる。
【0344】
さらに、前処理手法ブロック500においては、他の前処理手法を適宜追加してもよい。例えば画像データに対する閾値処理、エッジ強調処理、二値化処理、ラベリング処理等が挙げられる。
【0345】
[付記]
(付記項1)少なくとも1つの信号からなる画像データを入力する画像入力手段と、
入力された前記画像データを記憶する記憶手段と、
前記記憶手段により記録された前記画像データに対して少なくとも1つの関心領域を設定する関心領域設定手段と、
前記関心領域設定手段により設定された前記関心領域から特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量を用いた病変の判別分類を行う判別分類手段と
を備えたことを特徴とする診断支援装置。
【0346】
(付記項2)前記特徴量算出手段が1つの関心領域から算出された第1の特徴量に基づく新たな第2の特徴量を算出する
ことを特徴とする付記項1に記載の診断支援装置。
【0347】
(付記項3)前記特徴量算出手段が複数の関心領域から算出された第1の特徴量に基づく新たな第2の特徴量を算出する
ことを特徴とする付記項1または2に記載の診断支援装置。
【0348】
(付記項4)第1の特徴量が色調に基づく特徴量である
ことを特徴とする付記項1、2または3のいずれか1つに記載の診断支援装置。
【0349】
(付記項5)第1の特徴量がテクスチャに基づく特徴量である
ことを特徴とする付記項1、2または3のいずれか1つに記載の診断支援装置。
【0350】
(付記項6)第2の特徴量が複数の関心領域から算出された第1の特徴量における差分演算により得られた値である
ことを特徴とする付記項3、4または5のいずれか1つに記載の診断支援装置。
【0351】
(付記項7)第2の特徴量が複数の関心領域から算出された第1の特徴量における比に基づく値である
ことを特徴とする付記項3、4または5のいずれか1つに記載の診断支援装置。
【0352】
(付記項8)前記特徴量算出手段が前記関心領域における前記画像データの信号に基づく統計量を算出する
ことを特徴とする付記項1、2、3、4、5、6、7または8のいずれか1つに記載の診断支援装置。
【0353】
(付記項9)前記特徴量算出手段が局所的な周波数成分の分布に基づく特徴量を算出する
ことを特徴とする付記項5に記載の診断支援装置。
【0354】
(付記項10)前記第2の特徴量が、前記第1の特徴量の値が生起する確率分布に基づく
ことを特徴とする付記項2、3、4、5、6、7、8または9のいずれか1つに記載の診断支援装置。
【0355】
(付記項11)前記第2の特徴量が、前記関心領域における前記第1の特徴量の平均値及び/または分散及び/または共分散及び/または標準偏差及び/または相関係数である
ことを特徴とする付記項10に記載の診断支援装置。
【0356】
(付記項12)前記特徴量算出手段が算出する前記特徴量が正規化された値である
ことを特徴とする付記項1、2、3、4、5、6、7、8、9、10または11のいずれか1つに記載の診断支援装置。
【0357】
(付記項13)前記特徴量算出手段が算出する前記特徴量が補正された値であることを特徴とする付記項1、2、3、4、5、6、7、8、9、10、11または12のいずれか1つに記載の診断支援装置。
【0358】
(付記項14)前記特徴量に対する補正が方向に関する補正である
ことを特徴とする付記項13に記載の診断支援装置。
【0359】
(付記項15)前記特徴量に対する補正が画像の回転移動に関する補正である
ことを特徴とする付記項13に記載の診断支援装置。
【0360】
(付記項16)前記特徴量算出手段がGabor特徴に基づく特徴量を算出することを特徴とする付記項1、2、3、4、5、6、7、8、9、10、11、12、13、14または15のいずれか1つに記載の診断支援装置。
【0361】
(付記項17)前記特徴量算出手段により算出される特徴量が、前記画像データを構成する信号に基づく平均値及び/または標準偏差及び/または分散及び/または共分散及び/または相関係数及び/または標準偏差を平均値で除した値である
ことを特徴とする付記項8に記載の診断支援装置。
【0362】
(付記項18)前記特徴量算出手段よりも前段に前記画像データに対する画像処理を適用するための画像処理手段を設けた
ことを特徴とする付記項1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16または17のいずれか1つに記載の診断支援装置。
【0363】
(付記項19)前記画像処理手段が、ノイズ除去処理及び/またはγ捕正除去処理及び/または色ずれ補正処理及び/またはシェーディング補正処理の少なくともいずれか1つの画像処理を適用する
ことを特徴とする付記項18に記載の診断支援装置。
【0364】
(付記項20)前記画像処理手段に対し前記画像処理の適用の有無及び/または適用の順序を前記特徴量算出手段が算出する前記特徴量の種別に応じて異ならしめる
ことを特徴とする付記項19に記載の診断支援装置。
【0365】
(付記項21)前記関心領域設定手段が設定する前記関心領域の形状が任意の描画線である
ことを特徴とする付記項1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19または20のいずれか1つに記載の診断支援装置。
【0366】
(付記項22)前記関心領域設定手段が設定する前記関心領域があらかじめ定められた形状であるとともに、その大きさが可変である
ことを特徴とする付記項1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19または20のいずれか1つに記載の診断支援装置。
【0367】
(付記項23)前記関心領域設定手段が設定する前記関心領域の形状が多角形または円である
ことを特徴とする付記項22に記載の診断支援装置。
【0368】
(付記項24)前記関心領域設定手段が設定する前記関心領域の形状が任意の描画線によるもの、またはあらかじめ定められた形状であることを選択可能とする関心領域形状選択手段を備えた
ことを特徴とする付記項1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22または23のいずれか1つに記載の診断支援装置。
【0369】
(付記項25)前記画像データが複数の色信号からなる内視鏡画像及び/または超音波画像である
ことを特徴とする付記項1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23または24のいずれか1つに記載の診断支援装置。
【0370】
(付記項26)前記内視鏡画像がRGBデータからなる
ことを特徴とする付記項25に記載の診断支援装置。
【0371】
(付記項27)画像データに対し、パターンの方向性に関する特徴量を抽出する
ことを特徴とする画像処理方法。
【0372】
(付記項28)画像データに対し、パターンの方向性に関する特徴量を抽出する第1のステップと、
前記抽出された特徴量を要素とする第1の特徴ベクトルを生成する第2のステップと、
前記第1の特徴ベクトルから第2の特徴ベクトルを生成する第3のステップと
を備えたことを特徴とする付記項27に記載の画像処理方法。
【0373】
(付記項29)前記第2の特徴ベクトルが、前記第1の特徴ベクトルにおける各要素の生起する確率分布を規定するパラメータである
ことを特徴とする付記項28に記載の画像処理方法。
【0374】
(付記項30)前記抽出された特徴量に対し、値の正規化及び/または方向に関する補正の少なくともいずれか1つを適用する
ことを特徴とする付記項27、28または29のいずれか1つに記載の画像処理方法。
【0375】
(付記項31)前記方向に関する補正が、画像の回転移動に関するものである
ことを特徴とする付記項30に記載の画像処理方法。
【0376】
(付記項32)前記抽出された特徴量がGabor特徴に基づくものである
ことを特徴とする付記項27、28、29、30または31のいずれか1つに記載の画像処理方法。
【0377】
(付記項33)画像データに対し、大域的な明暗変化を近似する多次元曲面を生成する第1のステップと、
前記多次元曲面を用いて前記画像データを補正する第2のステップと
からなることを特徴とする画像処理方法。
【0378】
(付記項34)前記補正がシェーディング補正である
ことを特徴とする付記項33に記載の画像処理方法。
【0379】
(付記項35)前記画像データが内視鏡画像である
ことを特徴とする付記項27、28、29、30、31、32、33または34のいずれか1つに記載の画像処理方法。
【0380】
(付記項36)少なくとも1つの信号からなる原画像データを入力する画像入力手段と、
前記画像入力手段により入力された前記原画像データに対して画像処理を適用する画像処理手段と、
前記画像入力手段により入力された前記原画像データ及び前記画像処理手段による処理結果画像データを記億する記憶手段と、
前記記億手段により記録された前記原画像データ及び/または処理結果画像データに対して、少なくとも1つの関心領域を設定する関心領域設定手段と、
前記原画像データ及び処理結果画像データに対して設定される関心領域の情報を管理するための管理手段と
を設けたことを特徴とする診断支援装置。
【0381】
(付記項37)前記管理手段が前記原画像及び前記原画像に対する処理結果画像を1つの画像群として管理し、
前記関心領域設定手段により前記画像群の少なくとも1つの原画像及び/または処理結果画像に対して設定された関心領域と同じ形状、位置及び大きさの関心領域を前記画像群における他の画像に付与する
ことを特徴とする付記項36に記載の画像処理方法。
【0382】
【発明の効果】
以上説明したように本発明の診断支援装置によれば、特徴量算出手段が関心領域設定手段により設定された関心領域から特徴量を算出し、判別分類手段が特徴量算出手段により算出された特徴量を用いた病変の判別分類を行うので、撮像条件の違いによる影響の少ない特徴量等を算出し、この特徴量を用いることで、安定した自動診断結果を得ることができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る診断支援装置の構成を示す構成図
【図2】図1の診断支援装置における診断支援処理実行プログラムの構成を示す機能ブロック図
【図3】図1の診断支援装置におけるマルチウインドウの画面の概念構成を示す構成図
【図4】図3の画面でのアイコン操作によって展開されるマルチウインドウ画面の構成を示す構成図
【図5】図4のマルチウインドウ画面上のウインドウの構成を説明する第1の説明図
【図6】図4のマルチウインドウ画面上のウインドウの構成を説明する第2の説明図
【図7】図1の診断支援装置におけるマルチウインドウの画面の具体的な構成を示す構成図
【図8】図1のハードディスクに記録された内視鏡画像ファイルを管理するファイル管理データを説明する説明図
【図9】図1のハードディスクに記録された内視鏡画像ファイルの各内視鏡画像の内視鏡検査ごとに付与される管理データを説明する説明図
【図10】図7の画像表示アイコンのクリック操作により展開される画像管理データウインドウの構成を示す構成図
【図11】図10の呼び出しボタンのクリック操作により展開される検索ウインドウの構成を示す構成図
【図12】図11の条件検索開始ボタンのクリック操作により展開される検索結果表示ウインドウの構成を示す構成図
【図13】図12の画像一覧ボタンのクリック操作により展開される画像一覧表示ウィンドウの構成を示す構成図
【図14】図13の表示ボタンのクリック操作により展開される画像表示ウインドウの構成を示す構成図
【図15】図7の画像処理アイコンのクリック操作により展開される画像処理ウインドウの構成を示す構成図
【図16】図15の実行ボタンのクリック操作により展開される処理結果画像表示ウィンドウの構成を示す構成図
【図17】図2のデータベース管理ブロックが管理するデータベースの構成を示す構成図
【図18】図7のROI設定アイコンのクリック操作により展開されるROI設定ウインドウの構成を示す構成図
【図19】図18の特徴量選択ボタンのクリック操作により展開される算出特徴量メニューウインドウの構成を示す構成図
【図20】図19の一括選択ボタンのクリック操作により展開される一括選択メニューウインドウの構成を示す構成図
【図21】図18の部位設定ボタンのクリック操作により展開される部位指定メニューウインドウの構成を示す構成図
【図22】図18の特徴量算出実行ボタンのクリック操作により展開される特徴量算出結果表示ウインドウの構成を示す構成図
【図23】図7のROI設定アイコンによる原画像及び処理結果画像に対するROIの設定方法を説明する説明図
【図24】図19の相互特徴量算出ボタンによる特徴量算出処理の流れを示すフローチャート
【図25】図24の特徴量算出処理におけるG画像データから取り出すサンプリング画素を説明する説明図
【図26】図19の相互特徴量算出ボタンのクリック操作により展開されるROI間相互特徴量メニューウィンドウの構成を示す構成図
【図27】図26のROI間相互特徴量メニューウィンドウで算出されるROI間相互特徴量を説明する説明図
【図28】図26のROI間相互特徴量メニューウィンドウでのROI間相互特徴量算出における自動組み合わせの動作を説明するためのフローチャート
【図29】図7の特徴量算出アイコンのクリック操作により展開される特徴量算出ウインドウの構成を示す構成図
【図30】図29のROI指定ボタンのクリック操作により展開されるROI指定ウインドウの構成を示す構成図
【図31】図7の判別分類アイコンのクリック操作により展開される判別分類ウインドウの構成を示す構成図
【図32】図31のデータセット作成ボタンのクリック操作により展開されるデータセット作成ウインドウの構成を示す構成図
【図33】図31のクラス別ROI選択ボタンのクリック操作により展開されるクラス別ROI一覧ウインドウの構成を示す構成図
【図34】図32の既存データセット呼び出しボタンのクリック操作により展開されるデータセット一覧ウインドウの構成を示す構成図
【図35】図31の判別分類実行ボタンのクリック操作により展開される判別分類実行ウインドウの構成を示す構成図
【図36】図35の実行ボタンのクリック操作により展開される判別分類結果表示ウインドウの構成を示す構成図
【図37】図7のレポート作成アイコンのクリック操作により展開されるレポート作成ウインドウの構成を示す構成図
【図38】図37の選択ボタンのクリック操作により展開される特徴量レポート作成ウインドウの構成を示す構成図
【図39】図38の表示ボタンのクリック操作により展開される特徴量レポート表示ウインドウの構成を示す構成図
【図40】図38のグラフ作成ボタンのクリック操作により展開されるグラフ表示ウインドウの構成を示す構成図
【図41】本発明の第2の実施の形態に係る画像のテクスチャの構造パターンを示すパターン図
【図42】図41のテクスチャの構造パターンの補正を説明する説明図
【図43】図41のテクスチャの構造パターンの変形例を示すパターン図
【図44】本発明の第3の実施の形態に係る前処理ブロックの処理構成を示すブロック図
【図45】図44の前処理ブロックの作用を説明する第1の説明図
【図46】図44の前処理ブロックの作用を説明する第2の説明図
【符号の説明】
1…診断支援装置
2…ビデオプロセッサ
3、35…観察モニタ
4…入力ユニット
5…サーバユニット
6…カンファレンスユニット
11…A/Dコンバータ
12、32、50…画像処理部
13、21、31L…LANコントローラ
14、26、36…コントローラ
22…メモリ
23、47…ハードディスク
24…ハードディスクドライバ
25…圧縮装置
33…伸張装置
34…D/Aコンバータ
41…CPU
42…キーボード
43…キーボードI/F
44…検索モニタ
45…マウス
46…マウスI/F
48…ハードディスクI/F
49…作業メモリ
50…画像処理部
51…プリンタ
52…プリンタI/F
61…パスワード記憶部
62…パスワード監視部
63…制御制限部
70…診断支援処理実行プログラム
71…画像管理ブロック
72…データベース管理ブロック
73…ROI設定ブロック
74…特徴量算出ブロック
75…判別分類ブロック
76…レポート作成ブロック
77…画像処理ブロック
Claims (5)
- 画像データを入力する画像入力手段と、
入力された前記画像データを記憶する記憶手段と、
前記記憶手段により記録された前記画像データに対して複数の関心領域を設定可能とする関心領域設定手段と、
前記関心領域設定手段により設定された複数の関心領域のうち所定の関心領域に係る所定の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された前記所定の特徴量を用いた病変の判別分類を行う判別分類手段と、
を備え、
前記特徴量算出手段は、前記複数の関心領域のうちの少なくとも第1の関心領域に係る第1の特徴量と、前記第1の関心領域とは異なる第2の関心領域に係る第2の特徴量とを算出可能とし、前記判別分類手段は、前記特徴量算出手段で算出した前記第1の特徴量と前記第2の特徴量との差分に基づいて算出した相互特徴量に基づいて前記判別分類を行うことを特徴とする診断支援装置。 - 画像データを入力する画像入力手段と、
入力された前記画像データを記憶する記憶手段と、
前記記憶手段により記録された前記画像データに対して複数の関心領域を設定可能とする関心領域設定手段と、
前記関心領域設定手段により設定された複数の関心領域のうち所定の関心領域に係る所定の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された前記所定の特徴量を用いた病変の判別分類を行う判別分類手段と、
を備え、
前記特徴量算出手段は、前記複数の関心領域のうちの少なくとも第1の関心領域に係る第1の特徴量と、前記第1の関心領域とは異なる第2の関心領域に係る第2の特徴量とを算出可能とし、前記判別分類手段は、前記特徴量算出手段で算出した前記第1の特徴量と前記第2の特徴量との比に基づいて算出した相互特徴量に基づいて前記判別分類を行うことを特徴とする診断支援装置。 - 画像データを入力する画像入力手段と、
入力された前記画像データを記憶する記憶手段と、
前記記憶手段により記録された前記画像データに対して少なくとも1つの関心領域を設定する関心領域設定手段と、
前記関心領域設定手段により設定された前記関心領域内の局所的な構造パターンに対して所定の処理を行った後に特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量を用いた病変の判別分類を行う判別分類手段と、
を備え、
前記所定の処理は、関心領域内の局所的な構造パターンに係る処理であって、前記特徴量算出手段において特徴量を算出するための基準方向を設定する処理であることを特徴とする診断支援装置。 - 画像データを入力する画像入力手段と、
入力された前記画像データを記憶する記憶手段と、
前記記憶手段により記録された前記画像データに対して少なくとも1つの関心領域を設定する関心領域設定手段と、
前記関心領域設定手段により設定された前記関心領域から補正処理が行われた特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量を用いた病変の判別分類を行う判別分類手段と、
を備え、
前記特徴量に対する補正処理が画像の回転移動に関する補正であることを特徴とする診断支援装置。 - 画像データを入力する画像入力手段と、
入力された前記画像データを記憶する記憶手段と、
前記記憶手段により記録された前記画像データに対して少なくとも1つの関心領域を設定する関心領域設定手段と、
前記関心領域設定手段により設定された前記関心領域から特徴量の値を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量の値を用いた病変の判別分類を行う判別分類手段と、
前記特徴量算出手段よる特徴量の値の算出前に前記画像データに対して少なくとも1種類の画像処理を実行可能とする画像処理手段と、
を備え、
前記特徴量算出手段よる特徴量の値の算出前に、前記画像処理手段における前記画像処理の実行の有無について、及び/または、複数種類の画像処理を適用する場合は実行する画像処理の順序について、予め認識されている特徴量の種類に応じて判断することを特徴とする診断支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15708096A JP3895400B2 (ja) | 1996-04-30 | 1996-06-18 | 診断支援装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10958896 | 1996-04-30 | ||
JP8-109588 | 1996-04-30 | ||
JP15708096A JP3895400B2 (ja) | 1996-04-30 | 1996-06-18 | 診断支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1014864A JPH1014864A (ja) | 1998-01-20 |
JP3895400B2 true JP3895400B2 (ja) | 2007-03-22 |
Family
ID=26449319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15708096A Expired - Fee Related JP3895400B2 (ja) | 1996-04-30 | 1996-06-18 | 診断支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3895400B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4634549B2 (ja) * | 1999-02-24 | 2011-02-16 | Hoya株式会社 | 内視鏡装置の表示切り替え装置 |
EP1210684A4 (en) * | 1999-08-09 | 2003-04-23 | Univ Wake Forest | COMPUTER METHOD AND PROCEDURE FOR CREATING MULTIMEDIA ELECTRONIC REPORTS |
US6785410B2 (en) | 1999-08-09 | 2004-08-31 | Wake Forest University Health Sciences | Image reporting method and system |
US6782395B2 (en) * | 1999-12-03 | 2004-08-24 | Canon Kabushiki Kaisha | Method and devices for indexing and seeking digital images taking into account the definition of regions of interest |
JP2003126045A (ja) * | 2001-10-22 | 2003-05-07 | Olympus Optical Co Ltd | 診断支援装置 |
JP4409166B2 (ja) | 2002-12-05 | 2010-02-03 | オリンパス株式会社 | 画像処理装置 |
JP2004188026A (ja) | 2002-12-12 | 2004-07-08 | Olympus Corp | 情報処理装置 |
US7538761B2 (en) | 2002-12-12 | 2009-05-26 | Olympus Corporation | Information processor |
JP4652694B2 (ja) * | 2004-01-08 | 2011-03-16 | オリンパス株式会社 | 画像処理方法 |
JP4749732B2 (ja) * | 2005-02-15 | 2011-08-17 | オリンパス株式会社 | 医用画像処理装置 |
WO2006087981A1 (ja) * | 2005-02-15 | 2006-08-24 | Olympus Corporation | 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム |
JP5057651B2 (ja) * | 2005-02-15 | 2012-10-24 | オリンパス株式会社 | 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム |
EP1997076B1 (en) * | 2006-03-13 | 2010-11-10 | Given Imaging Ltd. | Cascade analysis for intestinal contraction detection |
US8396327B2 (en) | 2006-03-13 | 2013-03-12 | Given Imaging Ltd. | Device, system and method for automatic detection of contractile activity in an image frame |
US8335362B2 (en) | 2006-06-12 | 2012-12-18 | Given Imaging Ltd. | Device, system and method for measurement and analysis of contractile activity |
WO2008136098A1 (ja) * | 2007-04-24 | 2008-11-13 | Olympus Medical Systems Corp. | 医療用画像処理装置及び医療用画像処理方法 |
EP2174266A2 (en) * | 2007-08-03 | 2010-04-14 | STI Medical Systems, LLC | Computerized image analysis for a acetic acid induced cervical intraepithelial neoplasia |
JP6150617B2 (ja) * | 2013-05-30 | 2017-06-21 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP2015143951A (ja) * | 2014-01-31 | 2015-08-06 | オムロン株式会社 | 物体判別装置、画像センサ、物体判別方法 |
US9747701B2 (en) * | 2015-08-20 | 2017-08-29 | General Electric Company | Systems and methods for emission tomography quantitation |
EP3357406A4 (en) | 2015-09-29 | 2018-10-10 | FUJI-FILM Corporation | Image processing apparatus, endoscope system, and image processing method |
JP7033146B2 (ja) * | 2017-10-17 | 2022-03-09 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
-
1996
- 1996-06-18 JP JP15708096A patent/JP3895400B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1014864A (ja) | 1998-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3895400B2 (ja) | 診断支援装置 | |
JP4450973B2 (ja) | 診断支援装置 | |
US7133546B2 (en) | Digital medical image analysis | |
JP4451460B2 (ja) | 内視鏡診断支援装置 | |
US7027627B2 (en) | Medical decision support system and method | |
CN111310841B (zh) | 医学图像分类方法、装置、设备、计算机设备和存储介质 | |
JP5442542B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
US20100150413A1 (en) | Abnormal shadow candidate detecting method and abnormal shadow candidate detecting device | |
US11776692B2 (en) | Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus | |
CN108615236A (zh) | 一种图像处理方法及电子设备 | |
JP2000155840A (ja) | 画像処理方法 | |
US20040264749A1 (en) | Boundary finding in dermatological examination | |
JPH07284090A (ja) | 画像分類装置 | |
EP1874188A2 (en) | Method for diagnosing disease from tongue image | |
US7606779B2 (en) | Methods and system for data aggregation of physical samples | |
CN111242921A (zh) | 一种医学超声图像辅助诊断系统自动更新的方法及系统 | |
CN117095815A (zh) | 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统 | |
JP2007236956A (ja) | 内視鏡診断支援装置及び内視鏡画像処理方法 | |
JP5702943B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
CN116228709A (zh) | 一种胰腺实性占位病灶的交互式超声内镜图像识别方法 | |
US7558427B2 (en) | Method for analyzing image data | |
JP6935663B1 (ja) | 口腔粘膜疾患診断支援システム,方法およびプログラム | |
CN116324572A (zh) | 医疗图像处理装置及其工作方法 | |
JP2007236957A (ja) | 内視鏡診断支援装置及び内視鏡画像処理方法 | |
JP5368778B2 (ja) | 放射線画像処理方法及び装置、並びに放射線画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061214 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |