JP5523891B2 - 病変領域抽出装置、その作動方法およびプログラム - Google Patents

Description

本発明は、医用画像の読影レポートを利用した病変領域抽出装置および方法並びにその方法を実施するためのコンピュータ用プログラムに関するものである。

近年、医療分野の画像診断においては、専門医が医用画像を読影し、その結果を担当医に読影レポートとして記録して報告することが行われており、その読影レポートとして、電子的な読影レポートが広く用いられている。

このような読影レポートとして、読影レポートに記載された病変記述文字にその病変領域を含む参照画像をリンク付けして作成されたものがある。このような読影レポートを用いて、担当医などの読影者は、読影レポートに記載された病変記述文字を画面上でクリックすることにより対応する参照画像を表示して見ることができ、読影レポートをより容易に理解することができる。

また、画像診断においては、医用画像中の病変領域の大きさ、進展範囲等に基づいて、病変の悪性度を判断したり治療方針を決定したりすることが行われている。このような医療診断のためには、医用画像から病変領域を正確に抽出することが必要となる。病変領域の抽出方法としては、特許文献１に示すように、ユーザに医用画像中の病変領域内に任意の点を指定させ、その指定された点を基準に判別領域を設定し、その領域内の各画素が病変領域の輪郭を示す画素であるかどうかを評価し、その評価結果に基づいて病変領域の輪郭を決定するようにしたものがある。ここで、各画素が輪郭を示す画素であるかどうかの評価は、輪郭が既知である病変領域を含む多数のサンプル画像を予め機械学習することによって求めたられた評価関数により行われる。

特開２００７−３０７３５８号公報

ところで、特許文献１では、病変領域の輪郭の抽出処理が、病変の種類に関係なく同一の評価関数により行なわれている。

しかし、病変領域はその病変の種類毎に異なる特徴を有するので、上記のように全ての病変領域を同一の評価関数により抽出する方法では、その病変領域の特徴を活かしきれておらず、結果的に病変領域の抽出性能の低下につながっている。

本発明は、上記事情に鑑み、病変領域の抽出性能を向上させることが可能な病変領域抽出装置および方法並びにプログラムを提供することを目的とするものである。

本発明による病変領域抽出装置は、医用画像から病変領域を抽出するものであって、複数種類の病変領域にそれぞれ対応させて予め生成された複数の病変領域抽出処理データを記録する抽出処理記録手段と、病変記述文字を含む文字列が、医用画像上における病変領域の位置情報に関連付けられて記載されている読影レポートを記録するレポート記録手段と、読影レポートに記載されている病変記述文字に基づいて、抽出処理記録手段に記録された複数の病変領域抽出処理データの中から病変領域の抽出に用いる病変領域抽出処理データを決定する抽出処理決定手段と、その決定された病変領域抽出処理データ、および前記文字列に関連付けられた病変領域の位置情報を用いて病変領域の抽出を行う領域抽出手段とを備えたことを特徴とするものである。

ここで、病変領域抽出処理データというのは、医用画像から病変領域を抽出する際に必要となる情報データを広く意味するものであり、特定種類の病変領域に対応させて生成された病変領域抽出処理データというのは、その特定種類の病変領域の特徴が特に考慮され、その特定種類の病変領域をより高精度で抽出できるように生成された病変領域抽出処理データをいう。たとえば胸部結節という種類の病変領域含む複数のサンプル画像を予め機械学習することにより取得された、医用画像中の各画素が胸部結節の輪郭を示す画素であるかどうかを評価する評価関数がその一例である。

上記装置において、読影レポートを表示する表示手段と、表示された読影レポートにおいて前記文字列を指定する指定手段とをさらに備え、抽出処理決定手段は、その指定された文字列の病変記述文字に基づいて病変領域抽出処理データの決定を行うものであり、領域抽出手段は、その決定された病変領域抽出処理データ、および指定された文字列に関連付けられた病変領域の位置情報を用いて病変領域の抽出を行うものであってもよい。

また、レポート記録手段が、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートをさらに記録するものであり、前記文字列が、第２の読影レポートに記載されている病変記述文字を含む第２の文字列にも関連付けられているものであり、抽出処理決定手段が、前記文字列が第２の文字列に関連付けられているものである場合、該第２の文字列の病変記述文字に基づいて、病変領域抽出処理データの決定を行うものであってもよい。

また、レポート記録手段が、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートをさらに記録するものであり、第２の読影レポートに、前記病変領域の位置に対応する位置にある病変について記述した文字が記載されている場合、該記述された病変に対する病変領域抽出処理データを取得する取得手段と、該取得手段により取得された病変領域抽出処理データと抽出処理決定手段により決定された病変領域抽出処理データとが一致しているか否かを判断する判断手段と、該判断手段により一致していないと判断された場合に警告を出力する警告手段とをさらに備えたものであってもよい。

本発明による病変領域抽出方法は、医用画像から病変領域を抽出する方法であって、複数種類の病変領域にそれぞれ対応させて予め生成された複数の病変領域抽出処理データを記録手段に記録するステップと、病変記述文字を含む文字列が、医用画像上における病変領域の位置情報に関連付けられて記載されている読影レポートを記録手段に記録するステップと、読影レポートに記載されている病変記述文字に基づいて、抽出処理記録手段に記録された複数の病変領域抽出処理データの中から病変領域の抽出に用いる病変領域抽出処理データを決定するステップと、その決定された病変領域抽出処理データ、および前記文字列に関連付けられた病変領域の位置情報を用いて病変領域の抽出を行うステップとを有することを特徴とするものである。

上記方法において、読影レポートを表示するステップと、表示された読影レポートにおいて前記文字列を指定するステップとをさらに有し、病変領域抽出処理を決定するステップは、その指定された文字列の病変記述文字に基づいて病変領域抽出処理データの決定を行うものであり、病変領域を抽出するステップは、その決定された病変領域抽出処理データ、および指定された文字列に関連付けられた病変領域の位置情報を用いて病変領域の抽出を行うものであってもよい。

また、読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートを記録するステップをさらに有し、病変領域抽出処理データを決定するステップが、前記文字列が第２の読影レポートに記載されている病変記述文字を含む第２の文字列に関連付けられているものである場合、第２の文字列の病変記述文字に基づいて、病変領域抽出処理データの決定を行うものであってもよい。

また、読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートを記録するステップと、第２の読影レポートに、前記病変領域の位置に対応する位置にある病変について記述した文字が記載されている場合、該記述された病変に対する病変領域抽出処理データを取得するステップと、該取得された病変領域抽出処理データと前記決定された病変領域抽出処理データとが一致しているか否かを判断するステップと、該判断において一致していないと判断された場合に警告を出力するステップとをさらに有するものであってもよい。

また、本発明の病変領域抽出プログラムは、コンピュータを、上記病変領域抽出装置における、抽出処理記録手段、レポート記録手段、抽出処理決定手段および領域抽出手段として機能させるプログラムである。

また、上記プログラムは、コンピュータを、上記病変領域抽出装置における、表示手段および指定手段としてさらに機能させるものであってもよい。

また、上記プログラムは、コンピュータを、上記病変領域抽出装置における、取得手段、判断手段および警告手段としてさらに機能させるものであってもよい。

なお、このプログラムは、CD−ROM，DVDなどの記録メディアに記録され、またはサーバコンピュータの内蔵ディスクやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。

なお、上記装置および方法並びにプログラムにおいて、「病変領域の種類」は、その病変領域が示す病変の種類をいい、病変の種類には、たとえば脳腫瘍、胸部結節、肝臓腫瘍、肝臓嚢胞、腎嚢胞などがある。

「病変領域の位置情報」は、その病変領域内の任意の点または領域を示す情報をいう。

「文字列の指定」は、マウスやキーボードあるいはその他の入力装置によって文字列を指定することをいう。

「病変記述文字」は、その病変について記述した文字をいい、たとえば病変名、病変名を表すキーワードまたは記号、もしくはそれらの略称のいずれかを含む文字である。

「対応する位置」は、同一または近傍位置をいう。

本発明による病変領域抽出装置および方法並びにプログラムによれば、医用画像から病変領域を抽出する際に、その病変領域について読影レポートに記載されている病変記述文字に基づいて、予め生成しておいた複数の病変領域抽出処理データの中からその病変領域の抽出に用いる病変領域抽出処理データを決定し、その決定された病変領域抽出処理データによって病変領域を抽出しているので、各病変領域をその病変領域の特徴を活かして抽出することができ、領域抽出の精度を向上させることができる。

また、読影レポートの文字列に関連付けられている病変領域の位置情報を用いてその病変領域の抽出処理を行っているので、ユーザが直接その病変領域内に任意の点を指定する作業を省き、ユーザの作業負担を軽減させることができる。

また、上記病変領域抽出装置および方法並びにプログラムにおいて、読影レポートを表示し、表示された読影レポートにおいて前記文字列を指定し、病変領域抽出処理データの決定を、その指定された文字列の病変記述文字に基づいて行い、病変領域の抽出を、その決定された病変領域抽出処理データ、および指定された文字列に関連付けられた病変領域の位置情報を用いて行う場合には、読影レポートの前記文字列の指定に応じて、その文字列の病変記述文字に対応する病変領域をその病変領域の特徴を活かして精度よく抽出することができる。また、その抽出された病変領域を表示等することによって、読影レポートの作成または閲覧の効率を向上させることができる。

また、前記文字列に、その読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートに記載されている病変記述文字を含む第２の文字列が関連付けられている場合に、その第２の文字列の病変記述文字に基づいて、病変領域抽出処理データを決定するようにしたときには、異なる時期に観察された関連する病変の領域抽出に用いられたのと同じ病変領域抽出処理データによって病変領域を抽出することができる。特に、同一の病変を記述する文字列同士が関連付けられている場合には、異なる時期に観察された同一病変の領域抽出に用いられたのと同じ病変領域抽出処理データによって病変領域を抽出することができ、同一病変の経時的変化を容易に観察できる。

また、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートに、前記病変領域の位置に対応する位置にある病変について記述した文字が記載されている場合に、該記述された病変に対する病変領域抽出処理データを取得し、該取得された病変領域抽出処理データと前記決定された病変領域抽出処理データとが一致しているか否かを判断し、一致していないと判断された場合に警告を出力するようにしたときには、決定された病変領域抽出処理データが、異なる時期に観察された同一病変である可能性が高い病変に対する病変領域抽出処理データと異なる場合に、警告によって病変領域抽出処理データの決定の見直しを促すことができる。また、警告に対するユーザの入力に応じて、決定された病変領域抽出処理データを変更することもできる。

本発明の病変領域抽出装置の一実施形態を示す概略構成図 読影レポートの作成画面の一例を示す図 読影レポートの作成画面の一例を示す図 読影レポートの作成画面の一例を示す図 病変領域抽出装置の構成を示すブロック図

以下、図面を参照して、本発明の実施形態について説明する。図１は、医用画像処理システムの概略構成を示すブロック図である。図に示すように、このシステムでは、モダリティ10と、データ保管サーバ20と、読影レポート作成装置30と、病変領域抽出装置40とが、ネットワーク９を経由して通信可能な状態で接続されている。

モダリティ10は、被検体を表す医用画像を生成するものであり、具体的には、CT装置、MRI装置、PET、超音波診断装置等である。このモダリティ20により生成された画像はデータ保管サーバ20に送信され、保存される。

データ保管サーバ20は、各種データを保存・管理するコンピュータであり、ネットワーク９を介して他の装置と通信を行い、画像データなどを送受信する。具体的には、モダリティ10により生成された医用画像や、読影レポート作成装置30において作成された読影レポート等をネットワーク９経由で取得し、ハードディスクなどの記録媒体に保存・管理する。また、読影レポート作成装置30や病変領域抽出装置40などの他の装置からの閲覧要求に応じてデータ検索を行い、抽出されたデータを要求元の装置に送信する。

データ保管サーバ20は、医用画像や読影レポートに対して、それぞれその患者を特定するタグ情報を付けて保存しているので、そのタグ情報を用いて同一の患者について取得された医用画像や読影レポートを容易に検索・抽出し、利用に供することができる。

なお、画像データの格納形式やネットワーク９経由での各装置間の通信は、DICOM等のプロトコルに基づいている。

読影レポート作成装置30は、たとえば図２、４に示すような読影レポート作成画面100、100ａを表示させ、その作成画面におけるユーザの入力操作に応じて医用画像に関する電子的な読影レポートを作成するものであり、各種表示を行う液晶モニタ等のディスプレイ、ユーザによる各種指示を入力するためのキーボードおよびマウス等からなる入力装置、画像データや読影レポート等の各種データを保存するハードディスク、読影レポート作成プログラムが記憶されているメモリ、そのメモリに記憶されたプログラムを実行することにより読影レポート作成装置を制御するCPU、バスを介してネットワーク9と接続する通信インターフェースを備える。

読影レポート作成装置30は、読影レポートとして、その読影レポートに記載された文字列にハイパーリンクによって医用画像、医用画像上における病変領域の位置情報、他の読影レポート中の文字列などが関連付けされたものを作成することができる。このような読影レポートを用いて、担当医などの読影者は、読影レポートに記載されたその文字列（リンク文字）を画面上でクリックすることにより、その文字列に関連付けされている医用画像などをディスプレイに表示することができる。

本願では、リンク文字を、他の読影レポート中の文字列への関連付けがないものは第１種のリンク文字とし、他の読影レポート中の文字列への関連付けがあるものは第２種のリンク文字とする。

まず、読影レポート作成画面100について、およびその読影レポート作成画面100におけるユーザの入力操作に応じて第１種のリンク文字に該当するリンク文字を読影レポートに記載する処理について説明する。

読影レポート作成画面100には、患者の情報を記す患者情報領域101、医用画像の情報を示す医用画像情報領域103、読影レポート領域104などが設けられている。読影レポート領域104に用意されている、読影医名欄104a、読影レポートである所見欄105、診断欄107は医師等がオペレータとなって、マウスやキーボード等により入力、編集を行うことができる。また、読影レポート作成画面100には、医用画像とハイパーリンクによってリンク付けされるリンク文字を所見欄105に入力を可能にするリンク入力選択ボタン111を備えている。

さらに、読影レポート作成画面100には、編集した読影レポートを保存、キャンセル等するための読影レポート編集ボタン109や、各種他の情報を参照するための、過去レポート選択ボタン119Aや、参照画像選択ボタン119Bなどが設けられている。たとえば参照画像選択ボタン119Bを選択すると、図２に示すように参照情報領域117に医用画像のサムネイルが選択可能に表示され、さらにその表示されたサムネイルのいずれかを選択すると、選択されたサムネイル117Aに対応する医用画像115が詳細画像表示領域113に表示される。また、詳細画像表示領域113には、詳細画像表示領域113に表示された医用画像を加工、編集するための編集ボタン113A、113Bが備えられる。

次いで、読影レポート作成装置30において、第１種のリンク文字に該当するリンク文字105Aを所見欄105に入力する処理について説明する。まず、リンク入力ボタン111を入力部303で選択し、リンク入力モードをオンにする。次に、十字型ポインタを病変の位置の上に合わせてマウスでクリックすると、その病変の位置115Aを含む医用画像115とリンク付けされたリンク文字105Aが、その医用画像115上での病変領域の座標などの病変領域の位置を示す位置情報に関連付けられて挿入される。この際、リンク文字105Aは、リンク付けされていることが識別できるように、リンク文字の着色、下線などで、リンク文字以外の文字や第２種のリンク文字とは区別して認識できるよう挿入される。

なお、この読影レポート作成装置30では、病変領域の位置を指定しただけで、たとえば病変１、病変２のような定型の文字列がリンク文字105Aとして挿入されるので、オペレータは、後にキーボード等の操作により、挿入されたリンク文字およびその周辺の文章を編集するとともに、さらに別のリンク文字を挿入することができる。なお、図３は読影レポート作成画面100の所見欄105の一例である。図３には、病変１（105A）、病変２（105B）、病変３(105C)の３つのリンク文字が挿入され、病変１（105A）がその病変をより具体的に記述した文字である胸部結節(105A)に変更された状態を示している。

これにより、読影レポートを作成または閲覧する医師が読影レポートにおいて第１種のリンク文字であるリンク文字を指定すると、指定されたリンク文字にリンク付けされている医用画像がディスプレイに表示されるとともに、病変の位置を表す十字マーク、矢印などの指標がその医用画像上に表示される。

次に、図４に示す読影レポート作成画面100aについて、およびその読影レポート作成画面100aにおけるユーザの入力操作に応じて第２種のリンク文字に該当するリンク文字を読影レポートに記載する処理について説明する。

読影レポート作成画面100aには、その左側の領域に、今回の検査において撮影され、現に読影の対象とされている医用画像である今回画像116aを表示する今回画像領域116と、その今回画像を読影して作成する読影レポートである今回レポートを表示する今回レポート領域106とが設けられており、その右側の領域に、同一の患者についての前回の検査において撮影された医用画像である前回画像118aを表示する前回画像領域118と、その前回画像を読影して作成された読影レポートである前回レポートを表示する前回レポート領域108とが設けられている。今回画像領域116と今回レポート領域106は、医師等がオペレータとなって、マウスやキーボード等により入力、編集を行うことができる。

次いで、読影レポート作成装置30において、第２種のリンク文字に該当するリンク文字106Aを所見欄106に入力する処理について説明する。まず、十字型ポインタを今回画像116a上の病変の位置に合わせてマウスで右クリックすると、「レポートへ」、「階調」、「拡大」などの選択リストがプルダウンメニュー形式で表示され、そのなかから「レポートへ」という選択肢を選択すると、所見欄106に挿入する文字列の候補の選択リストがプルダウンメニュー形式で表示される。

その選択リストには、挿入する文字列の候補として、たとえばブラ、気胸、肺気腫、気管支拡張などの病変名、前回レポートに記載されているリンク文字などが選択肢として表示される。図４では、前回レポートに結節（108A）というリンク文字が記載されており、そのリンク文字を表すものとして「前回病変（結節）」という選択肢が選択リストに含まれている場合を示している。ここでは、リンク文字「結節」（108A）は、前回画像上における病変領域の位置情報に関連付けられている、第１種のリンク文字であるとして説明する。

ユーザは、キーボードおよびマウス等を操作することにより、その表示された選択リストにおいて選択枠116Bを上下させて所見欄106に入力すべき文字列を選択し、選択を確定する。選択の確定は、たとえばキーボードの場合、はEnterキーを押すことにより行う。なお、選択枠116Bが選択肢「前回病変（結節）」上にあるときには、その選択肢に対応する前回レポート中のリンク文字「結節」（108A）がハイライトされる。

なお、この前回レポートに記載されているリンク文字を表す選択肢としては、前回レポートに記載されている全てのリンク文字を取り入れてもよいが、上記右クリックされた今回画像上の位置116Aに対応する前回画像上の位置に関連付けられて記載されているリンク文字のみを取り入れるようにしてもよい。ここで、対応する位置というのは、同一または近傍位置を意味する。

次に、その表示された選択リストのなかから「前回病変（結節）」の選択が確定すると、今回レポート領域106に、「結節」というリンク文字（106A）が、その選択肢に対応する前回レポート中のリンク文字「結節」（108A）に関連付けられて挿入される。また、そのリンク文字「結節」（106A）には、上記右クリックされた位置である、今回画像116a上での病変領域の座標などの病変領域の位置116Aを示す位置情報および今回画像116aが関連付けられる。この際、リンク文字106Aは、他の読影レポート中の文字列への関連付けがあることが識別できるように、リンク文字の着色、下線などで、リンク文字以外の文字や第１種のリンク文字とは区別して認識できるよう挿入される。

これにより、読影レポートを作成または閲覧する医師が今回レポートにおいて第２種のリンク文字である「結節」（106A）を指定すると、指定されたリンク文字にリンク付けされている今回画像106aがディスプレイに表示されるとともに、病変の位置116Aを表す十字マーク、矢印などの指標がその今回画像106a上に表示される。また、そのリンク文字「結節」（106A）に関連付けられている前回レポート中の文字列「結節」（108A）にリンク付けされている前回画像118aがディスプレイに表示されるとともに、その病変の位置を表す十字マーク、矢印などの指標がその前回画像118a上に表示される。その結果、今回画像と前回画像において共通する病変である結節についてその経時的な変化を容易に比較観察できる。

なお、ここでは、今回画像を読影して今回レポートを作成する際に、前回レポートを参照可能にしている場合について例示して説明したが、これに限らず、これから作成しようとしている読影レポートと同一の患者について異なる時期に作成された読影レポートを参照可能にすればよい。

読影レポート作成装置30は、同一患者について複数回の検査が行われ、その各検査において撮影された医用画像に関する読影レポートが作成されている場合に、たとえば表１に示すような、その各読影レポートに記載されているリンク文字を一覧した一覧表を作成し、提供する。

表１中の“○”は、それぞれ各読影レポートに記載されているリンク文字を表す。また、この各“○”に、それぞれ対応するリンク文字と同じリンク付け等を付与することにより、ユーザが表１上のいずれかの“○”を指定した場合に、画面表示された読影レポート上において対応するリンク文字を指定したときと同様に、リンク付けされている医用画像や病変の位置などをディスプレイ表示させることもできる。

また、表１中の各検査日付（2008.02.13など）に、それぞれ対応する医用画像および読影レポートへのリンク付けを付与することにより、ユーザが表１上のいずれかの検査日付を指定した場合に、その検査日付に対応する医用画像および読影レポートをディスプレイ表示させることができる。また、表１中のいずれかのリンク文字（結節など）を指定した場合に、そのリンク文字に対応する病変が存在する医用画像の一覧を表示させ、その経時的な変化を容易に把握できるようにしてもよい。

病変領域抽出装置40は、図５に示すように、標準的なコンピュータの構成として、CPU２、メモリ３およびハードディスク４、通信ポート７を備えている。また、病変領域抽出装置40には、ディスプレイ５と、マウス６等の入力装置が接続されている。

メモリ３には、病変領域抽出プログラムが記憶されている。病変領域抽出プログラムは、CPU２に実行させる処理として、抽出処理データを記録する処理、レポート記録処理、レポート表示処理、リンク文字指定処理、抽出処理データを決定する処理、抽出処理データを取得する処理、判断処理、警告処理、抽出処理データを変更する処理、病変領域抽出処理および病変領域表示処理などを規定している。そして、CPU２がプログラムに従いこれらの処理を実行することで、汎用のコンピュータは、表示手段、指定手段、抽出処理記録手段、レポート記録手段、抽出処理決定手段、取得手段、判断手段、警告手段、変更手段および領域抽出手段などとして機能することになる。

ハードディスク４には、複数種類の病変領域にそれぞれ対応させて生成された複数の病変領域抽出処理データのほか、ネットワーク９経由してデータ保管サーバ20等から取得した読影レポート等が記憶される。

次に、病変領域抽出装置40が、医用画像から病変領域を抽出するために行う具体的な処理について説明する。

まず、病変領域抽出装置40は、病変領域の抽出処理を開始する前に、複数種類の病変領域にそれぞれ対応させて予め生成された複数の病変領域抽出処理データをハードディスク４に記録する処理を実行する。ここで、複数の病変領域抽出処理データは、たとえば脳腫瘍、胸部結節、肝臓腫瘍、肝臓嚢胞、腎嚢胞などの病変の種類毎に、その種類の病変領域含む複数のサンプル画像を予め機械学習することにより取得された、医用画像中の各画素がその病変領域の輪郭を示す画素であるかどうかを評価する評価関数である。この評価関数は、たとえば特開22007−07358号公報に記載された、アダブースティングアルゴリズムによる機械学習法を用いてそれぞれ取得できる。

次に、病変領域抽出装置40は、オペレータの要望に応じて読影レポートを取得（記録）・表示する処理を実行する。通信ポート７を介してデータ保管サーバ20、または読影レポート作成装置30からオペレータの要望に対応する特定の読影レポートを取得し、取得した読影レポートをハードディスク４に記録するとともに、ディスプレイ５に表示させる。なお、読影レポートの特定は、患者名情報、患者ID、検査ID、または読影レポートID等を指定する入力に基づいて行われる。

続いて、ディスプレイ５に表示された特定の読影レポート（以下、対象レポートという）においてリンク文字を指定する指定処理を実行する。たとえばオペレータが対象レポートの所見欄に記載されたいずれかのリンク文字をマウス６等の入力装置で選択することに応じて、そのクリックされた位置のリンク文字を指定する。ここで、この読影レポートは第１種のリンク文字および第２種のリンク文字のいずれか一方または両方のリンク文字が１つ以上記載されているものであり、オペレータにより指定されたリンク文字は第１種のリンク文字または第２種のリンク文字であるとする。

続いて、病変領域抽出装置40は、上記リンク文字指定処理において指定されたリンク文字に基づいて、ハードディスク４に記録された複数の病変領域抽出処理データの中からその病変領域の抽出に用いる病変領域抽出処理データを決定する処理を実行する。この病変領域抽出処理データを決定する処理は、上記リンク文字指定処理において指定されたリンク文字が第１種のリンク文字である場合と第２種のリンク文字である場合とで異なるので、以下、それぞれの場合について順次説明する。

まず、上記リンク文字指定処理において指定されたリンク文字が第１種のリンク文字である場合について説明する。病変領域抽出装置40は、リンク文字指定処理において第１種のリンク文字が指定された場合、その指定されたリンク文字の病変記述文字に基づいて病変領域抽出処理データを決定する処理を実行する。具体的には、複数種類の病変について、たとえばその病変名、病変名を表すキーワードまたは記号、もしくはそれらの略称のいずれかを含む病変記述文字を、それぞれハードディスク４に記録された複数の病変領域抽出処理データのうちその種類の病変領域の抽出に最も適切とされる抽出処理データに予め関連付けて登録しておき、その登録された病変記述文字のリストから上記指定されたリンク文字の病変記述文字に一致するものを検索する。このとき、検索漏れを抑えるため、上記各登録された病変記述文字それぞれに対応する類義語（日本語／英語表記）も、その病変記述文字を表すものとして登録しておき、上記各登録された病変記述文字およびその類義語のリストから上記検索を行なうようにするとよい。

そして、一致するものとして検索された病変記述文字に関連付けられている病変領域抽出処理データをその病変領域の抽出に用いる抽出処理データとして決定する。たとえば、脳腫瘍、胸部結節、肝臓腫瘍、肝臓嚢胞、腎嚢胞の病変記述文字のリストを、それぞれ腎嚢胞の病変領域を含む複数のサンプル画像を予め機械学習することにより取得された病変領域抽出処理関数F1、胸部結節の病変領域含む複数のサンプル画像を予め機械学習することにより取得された病変領域抽出処理関数F2、肝臓腫瘍の病変領域含む複数のサンプル画像を予め機械学習することにより取得された病変領域抽出処理関数F3、腎嚢胞の病変領域含む複数のサンプル画像を予め機械学習することにより取得された病変領域抽出処理関数F4に予め関連付けて登録しておく。そして、リンク文字指定処理において、たとえば図３に示すような胸部結節という文字列からなるリンク文字(105A)が指定されると、その病変記述文字、つまり胸部結節に一致する病変記述文字に関連付けられている病変領域抽出処理関数F2をその病変領域の抽出に用いる抽出処理関数として決定する。

なお、一致する病変記述文字が存在しない場合には、たとえばその文字列の類似度が最も高い病変記述文字を検索するようにしてもよいし、候補となる病変記述文字のリストをプルダウンメニュー形式で表示し、そのリストから最も関連性の高い病変記述文字をオペレータに選択させ、その選択された病変記述文字に関連付けられている病変領域抽出処理データをその病変領域の抽出に用いる抽出処理データとして決定するようにしてもよい。ここで、オペレータが、プルダウンメニュー形式で表示された病変記述文字の候補リストからいずれかの病変記述文字を選択した場合には、その選択の結果を記憶しておき、以降の処理において、また同じリンク文字が指定された場合、その記憶しておいた選択結果に基づいて病変領域抽出処理データの決定を行なう。

次に、上記リンク文字指定処理において指定されたリンク文字が第２種のリンク文字である場合について説明する。病変領域抽出装置40は、リンク文字指定処理において第２種のリンク文字が指定された場合、その指定されたリンク文字に関連付けられている他の読影レポート中の文字列の病変記述文字に基づいて病変領域抽出処理データを決定する処理を実行する。たとえば、対象レポートに、同一の患者について異なる時期に作成された他の読影レポートに記載されている病変記述文字を含むリンク文字「結節」に関連づけられているリンク文字「前回の病変」が記載されており、上記リンク文字指定処理において、そのリンク文字「前回の病変」が指定された場合、上記ハードディスク４に予め登録されている病変記述文字のリストから、その指定されたリンク文字「前回の病変」に関連付けられている他の読影レポート中のリンク文字である「結節」に一致するものを検索し、その一致する病変記述文字に関連付けられている病変領域抽出処理データをその病変領域の抽出に用いる抽出処理データとして決定する。

つまり、第１種のリンク文字が指定された場合とは、どのリンク文字の病変記述文字を用いて病変領域抽出処理データを決定するかの点で異なる。しかし、病変記述文字に基づいてハードディスク４に予め登録されている複数の病変領域抽出処理データから最も適切とされる抽出処理データを決定する処理は共通するので、その共通する処理については、第１種のリンク文字が指定された場合について上述した各種技術態様をそのまま適用できる。

また、病変領域抽出装置40は、このように各リンク文字（第１種のリンク文字または第２種のリンク文字）に基づいて決定された病変領域抽出処理データを、そのリンク文字にリンク付けられた医用画像に付帯されている情報（スライス間隔などのDICOM情報）に基づいて、更に詳細の病変領域抽出処理データを選択したり、その病変領域抽出処理データにおけるパラメータを変更したりする機能をさらに有する。

ここで、更に詳細の病変領域抽出処理データを選択するというのは、例えば、胸部結節用の病変領域抽出処理データとして、スライス間隔5mm以上のサンプル画像を機械学習することにより取得された第１の胸部結節用の病変領域抽出処理データ（胸部結節１）と、スライス間隔5mm未満のサンプル画像を機械学習することにより取得された第２の胸部結節用の病変領域抽出処理データ（胸部結節２）を用意している場合に、スライス間隔に応じて、胸部結節１（スライス間隔5mm以上用）、および胸部結節２（スライス間隔5mm未満用）のいずれか一方を選択することをいう。

また、パラメータを変更するとは、例えば、スペーシングやスライス間隔、スライス厚などを、病変領域抽出処理データに対して、パラメータとしてセットすることをいう。

続いて、病変領域抽出装置40は、対象レポートと同一の患者について異なる時期に作成された他の読影レポートに、上記指定されたリンク文字に関連付けられている病変領域の位置（以下、対象病変の位置という）に対応する位置にある病変について記述した文字が記載されている場合、該記述された病変に対する病変領域抽出処理データを取得する取得処理と、該取得された病変領域抽出処理データと前記決定された病変領域抽出処理データとが一致しているか否かを判断する判断処理と、該判断において一致していないと判断された場合に警告を出力する警告処理とを実行する。

具体的には、まず、対象病変の位置に対応する位置にある病変の存在有無を判断する。たとえば、データ保管サーバ20に、対象レポートの患者についての前回画像およびその前回画像に関する読影レポートである前回レポートが保存されている場合、その前回レポートに記載されている全てのリンク文字を取得し、各リンク文字に関連付けられている前回画像上における病変領域の位置情報に基づいて、その各位置のいずれかが対象病変の位置と同一または近傍位置であるか否かを判断する。この判断は、たとえば特開2007-68554号公報に記載されている画像の位置合わせ技術を用いて前回画像と対象病変を含む医用画像とを位置合わせすることにより各画像上における位置座標の基準位置を統一させた上で行うことが望ましい。

上記判断の結果、同一または近傍位置にあるものが無い場合には、対応する位置にある病変が存在しないと判断し、以降の病変領域抽出処理データを取得する処理、判断処理、警告処理は行わない。一方、同一または近傍位置にあるものが有る場合には、その同一または近傍位置であるものを対応する位置にある病変とする。なお、同一または近傍位置であるものが２以上存在する場合には、対象病変の位置に最も近接した位置の病変を対応する位置にある病変とする。

次に、対応する位置にあるとされた病変に対する病変領域抽出処理データを取得する。その病変に対し、過去にいずれかの病変領域抽出処理データが適用され、その履歴が残っている場合には、その適用された病変領域抽出処理データを取得する。そのような履歴が残ってない場合には、その病変に係る前回レポートのリンク文字に上述した病変領域抽出処理データの決定処理を適用して、その領域抽出に最も適切とされる抽出処理データを取得する。

次に、該取得された病変領域抽出処理データと前記病変領域抽出処理データの決定処理において決定された病変領域抽出処理データとが一致しているか否かを判断する。その結果、一致している場合には、以降の警告処理は行わない。一方、一致していない場合には、その一致していない旨をユーザに知らせるための警告を出力する。たとえば、決定された病変領域抽出処理データの見直しを促す旨のメッセージをディスプレイ５の画面に表示する。このとき、対応する位置にある病変について取得した病変領域抽出処理データも併せて表示されるようにするとよい。

この出力された警告に対してユーザが病変領域抽出処理データを変更する旨の指示を入力すると、病変領域抽出装置40は、その指示に応じて抽出処理データを変更する処理を実行する。たとえばユーザの指示に応じて、決定された病変領域抽出処理データを対応する位置にある病変について取得した病変領域抽出処理データに変更したり、ハードディスク４に記録されている別の病変領域抽出処理データに変更したりすることができる。病変領域抽出処理データが変更されると、後述する領域抽出処理には、この変更後の病変領域抽出処理データが用いられる。一方、ユーザからの変更の指示が入力されない場合や、そのまま処理を続行する旨の指示が入力された場合には、病変領域抽出処理データを変更することなくそのまま以降の処理を続行する。

なお、この取得処理、判断処理、警告処理および変更処理は、上記リンク文字指定処理において指定されたリンク文字が第１種のリンク文字である場合にのみ行われるようにしてもよい。

次に、上記抽出処理決定処理において決定された病変領域抽出処理データ（決定後に変更があった場合にはその変更後の病変領域抽出処理データ）、およびリンク文字指定処理において指定されたリンク文字に関連付けられた病変領域の位置情報を用いて領域抽出処理を実行する。具体的には、まず、リンク文字に関連付けられた病変領域の位置を基準として、その医用画像中に、その病変領域を含む判別領域を設定する。ここで、判別領域としては、たとえばその病変領域の位置を中心とした、その病変領域のありうる大きさ以上の大きさの領域を設定する。次に、その判別領域内の各画素について、その画素が病変領域の輪郭を示す画素であるかどうかを評価するための特徴量を取得する。この特徴量は、たとえばその画素の近傍領域内の輝度情報など、その評価に用いられる病変領域抽出処理データに応じて決定される。次に、その取得された特徴量に基づいて、判別領域内の各画素が病変領域の輪郭を示す画素であるかどうかの評価値を、上記抽出処理決定処理において決定された病変領域抽出処理データを用いて算出する。次に、その算出された各画素の評価値に基づいて、たとえば特開22007−07358号公報に記載された動的計画法またはグラフカット法により病変領域を抽出する。

続いて、病変領域抽出装置40は、その抽出された病変領域が他の領域と区別可能に表示されたその医用画像を読影レポートとともにディスプレイ５の画面に表示する処理を行う。

本実施形態の病変領域抽出装置および方法並びにプログラムによれば、読影レポートを作成または閲覧する医師は、読影レポートの所見欄において記述された病変に関するリンク文字を指定して、その病変の大きさ、進展範囲等を容易に参照することが可能となり、より効率よく読影レポートの作成または閲覧を行える。また、各病変領域をその病変領域の特徴を活かして抽出することができ、領域抽出の精度を向上させることができる。

なお、上記実施の形態では、オペレータによるリンク文字の指定に応じて、その指定されたリンク文字に対応する病変領域を抽出する場合について説明したが、データ保管サーバ20などから読影レポートを取得した段階で、その読影レポートに含まれている全てのリンク文字のそれぞれについて、その各リンク文字に対応する病変領域を抽出する処理を順次行い、その病変領域の抽出結果をハードディスク４などに記録しておき、後にオペレータの要望に応じた種々の態様にて出力可能にしてもよい。

１ 医用画像処理システム
２ CPU
３ メモリ
４ ハードディスク
５ ディスプレイ
６ マウス
７ 通信ポート
９ ネットワーク
10 モダリティ
20 データ保管サーバ
30 読影レポート作成装置
40 病変領域抽出装置
100、100a 読影レポート作成画面
105、106 所見欄
105A、106A リンク文字
115A、116A 病変領域の位置

Claims (6)

1. 医用画像から病変領域を抽出する病変領域抽出装置であって、
   複数種類の病変にそれぞれ対応させて予め生成された複数の病変領域抽出処理データを記録する抽出処理記録手段と、
   病変の種類を表す病変記述文字を含む文字列が、前記医用画像上における病変領域の位置情報に関連付けられて記載されている読影レポートを記録するレポート記録手段と、
   前記読影レポートに記載されている病変記述文字に基づいて、前記抽出処理記録手段に記録された複数の病変領域抽出処理データの中から、前記病変記述文字により表される病変の種類に対応して記録されている病変領域抽出処理データを決定する抽出処理決定手段と、
   前記決定された病変領域抽出処理データ、および前記文字列に関連付けられた病変領域の位置情報を用いて前記抽出を行う領域抽出手段と
   を備え、
   前記レポート記録手段が、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートをさらに記録するものであり、
   前記文字列が、前記第２の読影レポートに記載されている病変記述文字を含む第２の文字列にも関連付けられているものであり、
   前記抽出処理決定手段が、前記文字列が前記第２の文字列に関連付けられているものである場合、該第２の文字列の病変記述文字に基づいて、前記病変領域抽出処理データの決定を行うものである
   ことを特徴とする病変領域抽出装置。
2. 医用画像から病変領域を抽出する病変領域抽出装置であって、
   複数種類の病変にそれぞれ対応させて予め生成された複数の病変領域抽出処理データを記録する抽出処理記録手段と、
   病変の種類を表す病変記述文字を含む文字列が、前記医用画像上における病変領域の位置情報に関連付けられて記載されている読影レポートを記録するレポート記録手段と、
   前記読影レポートに記載されている病変記述文字に基づいて、前記抽出処理記録手段に記録された複数の病変領域抽出処理データの中から、前記病変記述文字により表される病変の種類に対応して記録されている病変領域抽出処理データを決定する抽出処理決定手段と、
   前記決定された病変領域抽出処理データ、および前記文字列に関連付けられた病変領域の位置情報を用いて前記抽出を行う領域抽出手段と
   を備え、
   前記レポート記録手段が、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートをさらに記録するものであり、
   前記第２の読影レポートに、前記病変領域の位置に対応する位置にある病変について記述した文字が記載されている場合、該記述された病変に対する病変領域抽出処理データを取得する取得手段と、
   該取得手段により取得された病変領域抽出処理データと前記抽出処理決定手段により決定された病変領域抽出処理データとが一致しているか否かを判断する判断手段と、
   該判断手段により一致していないと判断された場合に警告を出力する警告手段と
   をさらに備えたことを特徴とする病変領域抽出装置。
3. 病変領域抽出装置の作動方法であって、
   当該病変領域抽出装置は抽出処理記録手段、レポート記録手段、抽出処理決定手段および領域抽出手段を有し、
   前記抽出処理記録手段が、複数種類の病変にそれぞれ対応させて予め生成された複数の病変領域抽出処理データを記録手段に記録するステップと、
   前記レポート記録手段が、病変記述文字を含む文字列が、前記医用画像上における病変領域の位置情報に関連付けられて記載されている読影レポートを記録手段に記録するステップと、
   前記抽出処理決定手段が、前記読影レポートに記載されている病変記述文字に基づいて、前記抽出処理記録手段に記録された複数の病変領域抽出処理データの中から、前記病変記述文字により表される病変の種類に対応して記録されている前記抽出に用いる病変領域抽出処理データを決定するステップと、
   前記領域抽出手段が、前記決定された病変領域抽出処理データ、および前記文字列に関連付けられた病変領域の位置情報を用いて前記抽出を行うステップと、
   前記レポート記録手段が、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートを記録するステップとを有し、
   前記病変領域抽出処理データを決定するステップが、前記文字列が前記第２の読影レポートに記載されている病変記述文字を含む第２の文字列に関連付けられているものである場合、該第２の文字列の病変記述文字に基づいて、前記病変領域抽出処理データの決定を行うものである
   ことを特徴とする病変領域抽出装置の作動方法。
4. 病変領域抽出装置の作動方法であって、
   当該病変領域抽出装置は抽出処理記録手段、レポート記録手段、抽出処理決定手段、領域抽出手段、取得手段と、判断手段とおよび警告手段を有し、
   前記抽出処理記録手段が、複数種類の病変にそれぞれ対応させて予め生成された複数の病変領域抽出処理データを記録手段に記録するステップと、
   前記レポート記録手段が、病変記述文字を含む文字列が、前記医用画像上における病変領域の位置情報に関連付けられて記載されている読影レポートを記録手段に記録するステップと、
   前記抽出処理決定手段が、前記読影レポートに記載されている病変記述文字に基づいて、前記抽出処理記録手段に記録された複数の病変領域抽出処理データの中から、前記病変記述文字により表される病変の種類に対応して記録されている前記抽出に用いる病変領域抽出処理データを決定するステップと、
   前記領域抽出手段が、前記決定された病変領域抽出処理データ、および前記文字列に関連付けられた病変領域の位置情報を用いて前記抽出を行うステップと、
   前記レポート記録手段が、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートを記録するステップと、
   前記第２の読影レポートに、前記病変領域の位置に対応する位置にある病変について記述した文字が記載されている場合、前記取得手段が、該記述された病変に対する病変領域抽出処理データを取得するステップと、
   前記判断手段が、該取得された病変領域抽出処理データと前記決定された病変領域抽出処理データとが一致しているか否かを判断するステップと、
   前記警告手段が、該判断において一致していないと判断された場合に警告を出力するステップと
   を有することを特徴とする病変領域抽出装置の作動方法。
5. コンピュータを、医用画像から病変領域を抽出する病変領域抽出装置として機能させるためのプログラムであって、
   前記病変領域抽出装置が、
   複数種類の病変にそれぞれ対応させて予め生成された複数の病変領域抽出処理データを記録する抽出処理記録手段と、
   病変記述文字を含む文字列が、前記医用画像上における病変領域の位置情報に関連付けられて記載されている読影レポートを記録するレポート記録手段と、
   前記読影レポートに記載されている病変記述文字に基づいて、前記抽出処理記録手段に記録された複数の病変領域抽出処理データの中から、前記病変記述文字により表される病変の種類に対応して記録されている病変領域抽出処理データを決定する抽出処理決定手段と、
   前記決定された病変領域抽出処理データ、および前記文字列に関連付けられた病変領域の位置情報を用いて前記抽出を行う領域抽出手段と
   を備え、
   前記レポート記録手段が、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートをさらに記録するものであり、
   前記文字列が、前記第２の読影レポートに記載されている病変記述文字を含む第２の文字列にも関連付けられているものであり、
   前記抽出処理決定手段が、前記文字列が前記第２の文字列に関連付けられているものである場合、該第２の文字列の病変記述文字に基づいて、前記病変領域抽出処理データの決定を行うものである
   ことを特徴とする病変領域抽出プログラム。
6. コンピュータを、医用画像から病変領域を抽出する病変領域抽出装置として機能させるためのプログラムであって、
   前記病変領域抽出装置が、
   複数種類の病変にそれぞれ対応させて予め生成された複数の病変領域抽出処理データを記録する抽出処理記録手段と、
   病変記述文字を含む文字列が、前記医用画像上における病変領域の位置情報に関連付けられて記載されている読影レポートを記録するレポート記録手段と、
   前記読影レポートに記載されている病変記述文字に基づいて、前記抽出処理記録手段に記録された複数の病変領域抽出処理データの中から、前記病変記述文字により表される病変の種類に対応して記録されている病変領域抽出処理データを決定する抽出処理決定手段と、
   前記決定された病変領域抽出処理データ、および前記文字列に関連付けられた病変領域の位置情報を用いて前記抽出を行う領域抽出手段と
   を備え、
   前記レポート記録手段が、前記読影レポートである第１の読影レポートと同一の患者について異なる時期に作成された第２の読影レポートをさらに記録するものであり、
   前記コンピュータを、
   前記第２の読影レポートに、前記病変領域の位置に対応する位置にある病変について記述した文字が記載されている場合、該記述された病変に対する病変領域抽出処理データを取得する取得手段と、
   該取得手段により取得された病変領域抽出処理データと前記抽出処理決定手段により決定された病変領域抽出処理データとが一致しているか否かを判断する判断手段と、
   該判断手段により一致していないと判断された場合に警告を出力する警告手段と
   をさらに備えたことを特徴とする病変領域抽出プログラム。

Images