JP5455470B2 - 医用画像読影システム - Google Patents

Description

本発明は、Ｘ線コンピュータ断層撮影装置（ＣＴ：Computed Tomography）や磁気共鳴イメージング装置（ＭＲＩ：Magnetic Resonance Imaging）などの医用画像撮影装置で撮影された患者の画像を保管する医用画像保管装置と、保管された画像をユーザに参照させる画像参照装置と、画像に対する医学的所見の報告書を作成する読影レポート作成装置と、作成された読影レポートを参照する読影レポート参照装置とが、ネットワーク接続された医用画像読影システムに関する。

従来、医用画像撮影装置、医用画像保管装置、画像参照装置、読影レポート作成装置がネットワークに接続された医用画像読影システムが利用されている。この医用画像読影システムにおいて、医用画像撮影装置により撮像された患者（被検体）の画像に関して読影（検査画像内に写っている所見をスクリーニングする作業）が行われ、その読影時のキー画像と読影の結果をまとめた報告書（読影レポート）が作成される。

このようなキー画像付きの読影レポートの作成を支援するために、読影レポート内の所見に関する文字列に対してキー画像を関連付ける技術が、特許文献１に公開されている。

読影レポートにおいては、前記のように当該検査で重要と思われる所見や診断に対しては、キー画像が読影レポートと共に保存されるが、それ以外の所見や診断に対しては読影レポートと共に保存されない。よって、読影レポートに記述されている各々の所見又は診断に対して、関連する画像を特定できるものと、特定できないものが存在する。

非特許文献１又は非特許文献２には、検査画像から解剖学的部位が写っている画像の範囲、及び、前記画像における部位の位置及び範囲を特定するセグメンテーションの技術が公開されているが、読影レポートの所見又は診断に記述されている部位を選択的に特定するものではない。

読影医は、過去に検索履歴のある患者に対して撮影された検査画像の読影の際には、過去検査の読影レポートで指摘されている所見が今回検査でどのように変化しているかを今回検査の画像の読影レポートに記述する。そのためには、今回検査の画像を読影するだけでなく、過去の読影レポートを読んで指摘されている所見を把握し、過去検査の画像との比較読影を行う。このとき、過去検査の読影レポートに記述されている所見又は診断のうちキー画像が特定されていないものについては、その所見又は診断が、過去検査の画像のうち、どの画像について記述されているのかが不明であるため、今回検査の画像以外に過去検査の画像においてもスクリーニングして、記述されている所見又は診断が写っている画像を探し出す必要があり、この作業に手間がかかる。

また、特に読影を専門としない診療科医が読影レポートを参照する場合においては、キー画像が特定されていない所見を画像の中から探し出すことは労力を要する。

特開２００５−３０１４５３号公報

電子情報通信学会技術研究報告 Vol.106, No.74(20060518) pp. 95-100 文部科学省平成１５年度〜平成１８年度科学研究費補助金（特定領域研究）研究成果報告書

この発明の目的は、当該患者の画像に関する読影レポートの所見又は診断に記述されている部位が写っている画像の範囲や、前記部位が写っている画像における部位の位置及び範囲を容易に特定し、特定された画像の範囲や部位の位置及び範囲を画像上に表示することである。また、特定された範囲内の画像を、部位を示す単語もしくは情報（以降、「部位情報」と呼ぶ）の抽出元の読影レポートに記載された文字列に対して読込み可能に関連付けることを目的とする。

上記課題を解決するために、請求項１に記載の発明は、医用画像保管手段と、医用画像参照手段と、読影レポート保管手段とを有する医用画像読影システムであって、今回の検査での画像の読影を実施される患者についての過去の検査の画像に対する読影レポートを抽出する処理制御手段と、前記処理制御手段が抽出した前記読影レポートに記述された文章ごとに単語を抽出し、前記単語を所定の種類ごとに分類することで前記文章を構造化し、構造化した前記文章から部位情報を抽出する情報抽出処理手段と、前記読影を実施される今回の検査での画像の中から前記部位情報に該当する部位が写っている画像の範囲と、前記部位が写っている画像における前記部位の位置及び範囲とを特定する画像部位特定手段と、前記画像部位特定手段が特定した少なくとも前記部位の位置及び範囲を視認可能に表示する画像処理手段とを有することを特徴とする。
また、請求項８に記載の発明は、請求項１乃至請求項７に記載の医用画像読影システムであって、前記部位が写っている画像の範囲と、前記部位が写っている画像における前記部位の位置及び範囲とを、前記部位情報を抽出した前記読影レポートに記述された文章に関連付け、前記文章をもとに前記画像の範囲又は前記画像における前記部位の位置及び範囲を読み出し可能とするレポート処理手段をさらに有することを特徴とする。

以上、本発明によれば、検査に関する読影レポートにおいて、所見又は診断が記述されている部位に関して、部位が写っている画像の範囲（以降、「画像の範囲」と呼ぶ）、又は、部位が写っている画像における部位の位置及び範囲（以降、「部位の位置及び範囲」と呼ぶ）を、検査画像上に表示することが可能となる。さらに、画像の範囲や部位の位置及び範囲を、読影レポート内で指摘されている所見又は診断を示す文字列に関連付けたり、所見又は診断が記述されている読影レポート内に貼り付けたりすることが可能となる。

このことから、所見または診断に関係する画像を特定することが容易となり、読影レポートの作成及び参照時の労力の軽減や読影効率の向上が期待できる。

システム構成の例を示す構成図である。 実施形態１に係る医用画像読影システムのシステムブロック図である。 記述単位を作成し読影レポートを構造化するイメージを説明するための説明図である。 読影レポート内の記述（テキスト）から記述単位を作成した場合の具体例である。 辞書データの構造を示すデータ構造図である。 読影レポートから記述単位を生成する際の情報の流れを説明するための説明図である。 実施形態１に係る医用画像読影システムの動作を示すフローチャートである。 画像から検出された位置及び範囲と部位の解剖学的な位置及び範囲との関係を示す模式図である。 検出された画像の位置及び範囲の表示例である。 実施形態２に係る読影システムのシステムブロック図である。 実施形態２に係る読影システムの動作を示すフローチャートである。 実施形態２に係る読影システムにおける画像と読影レポートの関連付けに関する動作を示すフローチャートである。 特定された画像（範囲）を読影レポートへ関連付ける（ハイパーリンクを作成する，画像を貼り付ける）例である。 変形例に係る医用画像読影システムのシステムブロック図である。 単語間の包含関係及び類似関係を説明するための模式図である。

（実施形態１）
以下、本発明の実施形態１に係る医用画像読影システムについて図１及び図２を参照しながら説明する。

本実施形態に係る医用画像読影システムでは、患者の過去の読影レポート上で、所見又は診断（以降、「所見」と記した場合、診断内容も含むものとする）が記載されている部位を特定し、その部位が該当する箇所を操作部より指定された検査画像（以降、「検査画像」と記した場合、「医用画像」を差すものとする）上に表示する。

（構成）
まず、本実施形態に係る医用画像読影システムを構成する構成要素について説明する。

図１は、本実施形態に係る医用画像読影システムの最も代表的な構成の例である。本構成では、読影レポート作成手段１０１と、医用画像参照手段１０２と、医用画像撮影手段１０３と、医用画像・読影レポート保管手段１０４とがネットワークを介し接続されている。

本構成では、医用画像撮影手段１０３で検査画像が撮影され、撮影された検査画像はデジタル画像としてＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）フォーマットで医用画像・読影レポート保管手段１０４へ送信され保管される。医用画像・読影レポート保管手段１０４で保管された検査画像は、医用画像参照手段１０２で参照される。操作者は検査画像を医用画像参照手段１０２で参照しながら、読影レポート作成手段１０１で読影レポートを作成する。

本構成において各ブロック間の通信は、医用画像の標準規格であるＤＩＣＯＭに準拠することが望ましいが、適宜、規制の標準規格を適用しても良い。なお、情報通信は業界標準規格のＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）通信で、データはネットワークを介してパケット（転送する情報の基本単位）でやり取りされる。

図２は、図１の一部の詳細構成を示したブロック図であり、これにより本実施形態に係る医用画像読影システムの構成についてさらに詳しく説明する。

データ送受信部２０１は、医用画像撮影手段１０３から検査画像を受信した場合、前記検査画像を後述するデータベース２０６に記憶させる。

また、データ送受信部２０１は、所定のタイミング、例えば、読影レポート作成手段１０１又は医用画像参照手段１０２から要求が有った場合に、処理制御部２０２に部位情報の抽出、及び、検査画像への部位の位置及び範囲の表示を要求する（以降、この要求を「部位表示要求」と呼ぶ）。

また、データ送受信部２０１は、医用画像撮影手段１０３から検査画像を受信した場合に、処理制御部２０２に部位情報の抽出を要求する（以降、この要求を「部位抽出要求」と呼ぶ）。

また、データ送受信部２０１は、読影レポート作成手段１０１、医用画像参照手段１０２、又は、処理制御部２０２からの要求を受信し、要求で指定された条件、例えば、患者ＩＤや検査日又はモダリティの条件に合致する情報、つまり、読影レポートや検査画像のデータ、又は、患者もしくは検査を特定するための情報をデータベース２０６及び情報保管部２０７から取得し、要求もとに返却する。

処理制御部２０２は、処理対象のデータ（画像又は読影レポート）に埋め込まれている情報、例えば、患者ＩＤや検査日又はモダリティの情報を抽出し、抽出した情報と同様の情報を持つ患者及び検査を、データ送受信部２０１を介し後述するデータベース２０６を検索することで特定する手段を有する。

また、処理制御部２０２は、データ送受信部２０１から部位表示要求を受けると、情報抽出処理部２０３による読影レポートからの部位情報の抽出処理、画像部位特定部２０４による検査画像上における解剖学的部位の位置や範囲の特定処理、及び、画像処理手段２０５による検査画像への部位の位置及び範囲の表示処理を制御する。なお、制御については、各々が直前の処理の終了通知を受け取ったタイミングで、各々の処理が実行されることが望ましい。

また、処理制御部２０２は、データ送受信部２０１から部位抽出要求を受けると、画像部位特定部２０４に、検査画像上における解剖学的部位の位置や範囲の特定処理を要求し制御する。

情報抽出処理部２０３は、部位や所見を表す単語に関する辞書データが記憶された辞書記憶手段２０３１を含み、読影レポートに記述された文章を辞書記憶手段２０３１内に格納された辞書データと照らし合わせて解析し、データ構造体を生成する（以降、このデータ構造体を「記述単位」と呼ぶ）ことで読影レポートを構造化（以降、構造化したレポートを「読影レポート情報」と呼ぶ）したうえで、読影レポート情報から部位情報を抽出する手段を有する。以下に読影レポートの構造化及び記述単位について説明する。

（レポートの構造化）
読影レポートを構造化し部位情報を抽出する際には、読影レポートに記述された文章（以降、この文章を「センテンス」と呼ぶ）ごとに、部位情報と、部位情報に係る所見の事象を表す単語（以降、「事象情報」と呼ぶ）と、所見の有無を示す単語（以降、「有無情報」と呼ぶ）とに分類したうえで抽出し、センテンスごとにそれらを組み合わせることで記述単位と呼ばれるデータ構造を作成し、記述単位をもとに処理を行う。図３は、記述単位を作成し読影レポートを構造化するイメージを説明するための説明図である。

読影レポートをセンテンスごとに解析し記述単位を作成するため、１つの読影レポートから複数（１以上）の記述単位が作成される。図４は、読影レポート内の記述（テキスト）から記述単位を作成した場合の具体例を示している。図４の例では、レポート（テキスト）に含まれる３つのセンテンスから３つの記述単位が作成されている。

以下に、記述単位の作成方法について、図５及び図６を参照しながら説明する。図５は辞書記憶手段２０３１内に格納された辞書データのデータ構造を示すデータ構造図である。また、図６は読影レポートを構造化し、記述単位と呼ばれるデータ構造を生成する際の情報の流れを説明するための説明図である。

情報抽出処理部２０３は、単語を抽出する際、抽出する単語を特定するために辞書データを参照する。辞書データは、辞書記憶手段２０３１に記憶されている。図５に示すように辞書データには、部位情報に属する単語と、事象情報に属する単語と、有無情報に属する単語とがそれぞれ分類されたうえで多数記録されており、分類を指定されることで、その分類に属する単語を抽出する。例えば、分類として部位情報が指定された場合、情報抽出処理部２０３は、部位情報に属する単語に分類された単語を、部位情報として抽出する。

図６に示すように、情報抽出処理部２０３は、読影レポートの所見の欄からＮ番目（Ｎ＝１，２，３・・・）のセンテンスを読み出し、読み出したセンテンスを形態素解析等の技術を用いて構文解析し各単語に区切ったうえで、データの始端から終端へ順次マッチング位置をずらしていくようにして、辞書データに記憶されている各単語をマッチングしていく。マッチングした単語がセンテンスに含まれていると、その単語を走査しているセンテンスに対する記述単位に含めるように記録する。

辞書データに記録されているそれぞれの単語をマッチングすることで、１センテンスから部位情報と事象情報と有無情報とを抽出する。抽出した部位情報と事象情報と有無情報とを１セットとし、記述単位に記録される。なお、構文解析技術の内容について、ここでの説明は省略する。

なお、記述単位に単語を記録する際には、表現のゆれによる影響を回避するために、記録する単語を代表的な単語に置き換えて記録するようにしても良い。この場合、例えば、部位情報として「右肺上葉Ｓ３」が同様の意味を示す「右Ｓ３」と記述されている場合、代表単語の「右肺上葉Ｓ３」に置き換えて記録する。また、有無情報の場合は、「認められる」や「見られる」などの有ることを示す単語を代表単語の「有」に、「認められない」や「見られない」などの無いこと示す単語を代表単語の「無」に置き換えて記録する。

例えば、図６の例では、部位情報として「右肺上葉Ｓ３」、事象情報として「結節」、有無情報として「認められる」が抽出され、これらを１セットとして記述単位が作成されている。

情報抽出処理部２０３は、読影レポートを構造化した後、読影レポート情報に含まれる記述単位から部位情報を抽出する。この時、記述単位に含まれる他の情報（事象情報や有無情報）を判定し、所定の条件に合致する記述単位から部位情報を抽出しても良い。例えば、有無情報に「見られる」や「認められる」又は「有」等の所見が有ることを示す単語が含まれる記述単位から部位情報を抽出するようにしても良い。

画像部位特定部２０４は、後述する情報保管部２０７に記憶された、もしくは、医用画像撮影手段１０３で撮影した一連の検査画像を解析し解剖学的な部位の位置や範囲を３次元的に特定し、特定した各部位の位置や範囲を特定する情報、例えば、何枚目から何枚目までに部位が写っているかを示す画像の範囲（Ｚ座標）や、部位が写っている画像上での部位の位置及び範囲を示す座標情報（の集合）（ＸＹ座標）を、その部位を意味する情報、例えば部位名と対にして出力する。

画像部位特定部２０４は、検査画像を解析し、例えば、Ｍ枚目からＮ枚目のような部位が写っている画像の範囲（画像の範囲）や、座標情報やベクトル情報のような部位が写っている画像における部位の位置及び範囲（部位の位置及び範囲）を特定する方法として、セグメンテーションの技術を用いる。セグメンテーションの技術の詳細については、非特許文献１又は非特許文献２に記載されているため、ここでの説明は省略する。

部位の特定は、画像部位特定部２０４が、部位の情報（例えば右肺や左上葉等）を入力として受信し、部位の情報に合致する解剖学的部位の位置及び範囲のみを特定するようにしても良いし、所定の範囲、例えば腹部等に含まれるすべての解剖学的部位の位置及び範囲を特定するようにしても良い。

また、画像部位特定部２０４は、医用画像撮影手段１０３で撮影した検査画像が情報保管部２０７に記憶されるときに、処理制御部２０２から部位抽出要求を受け、前記検査画像から、所定の範囲の画像に含まれるすべての解剖学的部位の位置及び範囲を特定するようにしても良い。この場合、部位表示要求を受けたときに部位の位置及び範囲を特定する必要が無くなり、部位の位置及び範囲を表示する際の処理負荷が軽減される。

なお、画像部位特定部２０４による部位の特定の細かさ、例えば肺ならば、右肺と左肺、又は、上葉と中葉と下葉、又は、Ｓ１〜Ｓ９のようにどこまで細かく分類するかは、あらかじめ設定できるようにしても良いし、操作部からの操作により設定を変更できるようにしても良い。

画像処理手段２０５は、情報抽出処理部２０３が読影レポートから抽出した部位情報と、画像部位特定部２０４が特定した部位の３次元的な位置及び範囲の情報とを対応付けて、読影レポートから抽出した部位情報に該当する部位の位置及び範囲を、検査画像内にアノテーション又はＲＯＩ（Region of Interest）又はマーカとして付加する。

図８は、検査画像から検出された位置及び範囲と部位の解剖学的な位置及び範囲との関係を示した模式図である。図８の（ａ）は検査画像を示しており、（ｂ）は検査画像上における部位の３次元的な位置情報を模式的に示したものであり、（ｃ）は（ｂ）の位置情報と、解剖学的な位置との対応を解剖図に示した例である。図８の例では、画像部位特定部２０４が、検査画像から３次元的に特定した左肺下葉及び右肺上葉Ｓ３の位置及び範囲を、ＸＺ平面で示した解剖図に示したものである。

図９は、読影レポートから抽出した部位の位置及び範囲を検査画像上にＲＯＩとして表示した場合の表示画面の例である。図９（ａ）は検査画像を示しており、（ｂ）は検査画像上における部位の３次元的な位置情報を模式的に示したものであり、（ｃ）は（ｂ）の位置情報から部位の位置及び範囲を表示した表示画面の例である。このように、各部位の３次元的な位置及び範囲を座標情報として持つため、ＸＹ、ＹＺ、ＸＺ平面で示した各画像に対し、部位の位置及び範囲を表示することが可能となる。

画像処理手段２０５は、検査画像に付加した画像の範囲や部位の位置及び範囲を示すデータをデータベース２０６に保存する。この時、保存するデータは画像の範囲や部位の位置及び範囲を含む検査画像のデータでも良いし、検査画像の実体は含まず、検査画像へ画像の範囲や部位の位置及び範囲を示す情報を付加するための情報、例えば座標情報のように、どの画像のどの位置にどの範囲でＲＯＩを表示するかを示す情報のみをデータベース２０６内に保存しても良い。

また、検査画像に付加したアノテーションのデータの保存については、データベース２０６にデータを不揮発化しても良いし、データベース２０６を一時的なデータの保管先とし、データを画面表示時の一時的な情報としてデータベース２０６に保存し、使用しなくなった時点で破棄するようにしても良い。

データベース２０６は、データベースを指し検査画像や読影レポートのデータの格納先及び、データの付帯情報、例えば、患者ＩＤ、検査日、シリーズＩＤ、画像ＩＤ、レポートＩＤ、モダリティ等を管理している。

データベース２０６は、検査画像や読影レポートのデータ、又は、データの付帯情報を受信した場合は、後述する情報保管部２０７に記憶させ、データ又は付帯情報とデータ又は付帯情報の情報保管部２０７上の記憶先を関連付けて記憶する。

また、データベース２０６は、検査画像や読影レポートのデータ、又は、データの付帯情報の検索要求を受信した場合は、検索要求に含まれる検索条件に合致するデータ又は付帯情報を、情報保管部２０７より取得し要求元に返却する。

情報保管部２０７は、検査画像や読影レポートのデータの実体を記憶し管理する記憶領域である。

データ送受信部２０８は、操作者がレポート表示部２０９より指定した条件に従い、読影レポートの取得要求を作成し、取得要求を医用画像・読影レポート保管手段１０４（データ送受信部２０１）に送信する。また、読影レポートの取得要求に対して返却された読影レポートのデータを医用画像・読影レポート保管手段１０４（データ送受信部２０１）から受信し、受信したデータをレポート表示部２０９に表示させる。

レポート表示部２０９は、読影レポートの各種情報（レポートに記載されたテキスト情報、患者ＩＤ、検査日、検査依頼科名など）を表示するとともに、操作者（読影医）が操作を行うためのインタフェース（図示しない）を提供する。

また、操作者（読影医）によりインタフェースから読影レポートの取得が指定された場合、指定された検索条件をデータ送受信部２０８に送信するとともに、読影レポートの取得を要求し、結果として得られた読影レポートの内容を表示する。

データ送受信部２１０は、操作者が画像表示部２１１より指定した条件に従い、検査画像の取得要求を作成し、取得要求を医用画像・読影レポート保管手段１０４（データ送受信部２０１）に送信する。また、検査画像の取得要求に対して返却された検査画像のデータを医用画像・読影レポート保管手段１０４（データ送受信部２０１）から受信し、受信したデータを画像表示部２１１に表示させる。

画像表示部２１１は、検査画像と検査画像の付帯情報（患者ＩＤ、検査日、モダリティなど）を表示するとともに、操作者（読影医）が操作を行うためのインタフェース（図示しない）を提供する。

また、操作者（読影医）によりインタフェースから検査画像の取得が指定された場合、指定された検索条件をデータ送受信部２１０に送信するとともに、検査画像の取得を要求し、結果として得られた検査画像及び検査画像の付帯情報を表示する。

（動作）
次に、図７を参照しながら、過去に検査履歴のある患者に関して、今回の検査で取得された画像に対して読影を実施する場合を想定し、本実施形態に係る医用画像読影システムの動作について、説明する。図７は、本実施形態に係る医用画像読影システムの動作を示すフローチャートである。

まず、医用画像撮影手段１０３で患者の検査画像が撮影され、検査画像は医用画像・読影レポート保管手段１０４に送信される。医用画像・読影レポート保管手段１０４のデータ送受信部２０１は、医用画像撮影手段１０３から画像を受信すると、当該画像の付帯情報（患者ＩＤ、患者氏名、性別、検査ＵＩＤ、シリーズＵＩＤ、画像ＵＩＤ）をデータベース２０６に登録し、検査画像を情報保管部２０７に保管する。

データ送受信部２０１は検査画像の付帯情報をデータベース２０６に登録する際に、あわせて、処理制御部２０２に検査画像における部位の特定を要求する。処理制御部２０２は要求に従い、図７に示す処理を実行する。

（ステップＳ１）
処理制御部２０２は、データ送受信部２０１を介し、検査画像の付帯情報（例えば患者ＩＤ）を検索キーとしてデータベース２０６を検索し、検査対象の患者の過去に作成された読影レポートを検索し特定する。

なお、読影レポートの検索条件は変更可能であり、データ送受信部２０１にあらかじめ検索条件を設定しても良いし、医用画像参照手段１０２や読影レポート作成手段１０１からの操作者の操作により検索条件を変更できるようにしても良い。

検索条件としては、例えば、検査対象の患者に関する今回の検査と同じ種類の医用画像撮影手段（例えば、ＣＴやＭＲＩ等を示す。以降、この種類を「モダリティ」と呼ぶ）で撮影された画像に対する読影レポートや、今回検査から起算して２回前までの過去検査に関する読影レポートなどがあり、これらの条件を適宜組み合わせても良い。

（ステップＳ２）
検索条件に該当する読影レポートが存在しない場合（ステップＳ２、Ｎｏ）は、この時点で処理を終了する。検索条件に合致する読影レポートを検出した場合（ステップＳ２、Ｙｅｓ）は、情報抽出処理部２０３が読影レポートから部位情報の抽出を行う。

（ステップＳ３）
情報抽出処理部２０３は、部位情報の抽出を行う前にまず検出した読影レポートが部位情報を抽出済か、つまり、読影レポートを構造化されているかを確認する。これにより、既に読影レポートが構造化され部位情報を抽出している場合（ステップＳ３、Ｙｅｓ）は、部位情報を抽出する処理を省略することが可能となる。

例えば、本処理の説明のようにレポートを検索する処理の延長で部位情報の抽出を行わずに、読影レポートが作成されたタイミングで、あらかじめ読影レポートを構造化し部位情報を抽出しておくことも可能である。この場合は、検索後に部位情報の抽出の処理を行う必要がなくなるため、ステップＳ３の分岐により処理の実行を省略できる。

（ステップＳ４）
読影レポートから部位情報が抽出されていない場合（ステップＳ３、Ｎｏ）、情報抽出処理部２０３は、読影レポートに記述されたテキストから記述単位を作成することで読影レポートを構造化し、作成した記述単位から部位情報を抽出する。

（ステップＳ５）
次に、画像部位特定部２０４が、今回の検査画像を対象にして、記述単位から抽出した部位情報が写っている画像の位置及び範囲を検出する。

まず、画像部位特定部２０４は、読影レポートから所定の条件に合致する記述単位を特定する。例えば図７では、記述単位内の有無情報を確認し「有る」を示す単語が登録されているかどうかを確認する。図７では、有無情報をもとに条件判定を行うことで、所見のある部位のみを抽出することが可能となる。

この条件は、記述単位内に含まれる情報（部位情報、事象情報、有無情報）であれば判定可能であり、有無条件での判定に限るものではない。この条件はあらかじめ画像部位特定部２０４に設定しても良いし、操作者からの操作により設定を変更できるようにしても良い。条件に該当する記述単位、つまり、図７において有無情報が「有る」を示している記述単位を検出できなかった場合（ステップＳ５、Ｎｏ）、画像部位特定部２０４は直ちに処理を終了し、以降の処理は実行されない。

（ステップＳ６）
画像部位特定部２０４が、条件に該当する記述単位、つまり、図７において有無条件が「有る」を示している記述単位を検出した場合（ステップＳ５、Ｙｅｓ）、今回検査の画像に対しセグメンテーション技術を利用し、記述単位に含まれる部位情報が示す部位の位置及び範囲を特定し、位置及び範囲の情報と部位情報をセットとした情報を出力する。

位置及び範囲の情報は、検査画像に対し対象となる部位が写っている範囲を特定できる情報であれば良く、例えば、部位が写っている画像の範囲（Ｍ枚目からＮ枚目）や、部位が写っている画像上の位置及び範囲（座標情報）などを含む。

（ステップＳ７）
画像部位特定部２０４が部位の位置及び範囲を特定すると、画像処理手段２０５は、検査画像上に部位の範囲を表示するために検査画像を加工する。図９は特定した部位の位置及び範囲を検査画像上にＲＯＩとして設定し、画面表示した場合の例である。

以上により、過去に作成された読影レポートに記載されている部位の位置及び範囲を、今回の検査の画像上にアノテーションとして表示でき、過去の読影レポートで指摘されている所見に関して、今回の検査の画像における部位の位置及び範囲を視覚的に把握することが可能となる。

なお、過去の読影レポートから部位情報を抽出し部位の範囲を特定する際に、例えば、キー画像が既に関連付けられている記述は処理対象から外すなど、処理の対象となる範囲を条件指定により更に絞り込めるようにしても良い。

（実施形態２）
次に、実施形態２に係る医用画像読影システムについて、図１０を参照しながら説明する。図１０は、本実施形態に係る医用画像読影システムのシステムブロック図である。

本実施形態に係る医用画像読影システムでは、操作者（読影医）が読影レポート作成手段１０１より今回の検査画像に対する読影レポートを作成している際に、記述しているセンテンスが確定された時点で、本時実施形態に係る医用画像読影システムがセンテンスを構造化し部位情報を抽出したうえで、部位の位置及び範囲を特定し、部位が写っている画像をセンテンスに関連付けたり、読影レポートに貼り付ける。

（構成）
まず、本実施形態に係る医用画像読影システムを構成する構成要素について、実施形態１と異なる部分に注目し説明する。

データ送受信部２０１は、更に、読影レポート作成手段１０１から、作成された読影レポートもしくは読影レポートに記述された内容（テキスト）を受信した場合、読影レポートの付帯情報から読影対象となる検査画像を特定し、受信した読影レポート又はその内容とあわせて処理制御部２０２に送信し、処理制御部２０２に、部位情報の抽出、及び、読影レポートへの検査画像の関連付けを要求する（以降、この要求を「レポート関連付け要求」と呼ぶ）。

処理制御部２０２は、上記のデータ送受信部２０１からレポート関連付け要求を受けると、情報抽出処理部２０３による読影レポートからの部位情報の抽出処理、画像部位特定部２０４による検査画像上における解剖学的部位の位置や範囲の特定処理、画像処理手段２０５による検査画像への部位の位置及び範囲の表示処理、及び、レポート処理部２１２による読影レポートへの検査画像の関連付け処理を制御する。なお、制御については、各々が直前の処理の終了通知を受け取ったタイミングで、各々の処理を実行することが望ましい。

レポート処理部２１２は、読影レポートに記述されたテキストと検査画像とを関連付ける手段を有し、情報抽出処理部２０３により抽出された部位情報に関する読影レポート上のテキストに、画像部位特定部２０４によって特定された部位の範囲を含む検査画像を関連付ける。テキストと検査画像を関連付ける際には、各々のデータを参照可能にリンクすればよく、代表的な手法としてはハイパーリンクが挙げられる。

読影レポート上のテキストに検査画像を関連付ける際には、部位情報を示す単語に部位情報の範囲を含む検査画像を関連付けても良いし、部位情報を含む記述単位生成元の別のテキストに関連付けられるようにしても良い。

また、レポート処理部２１２は、画像部位特定部２０４によって特定された範囲を含む検査画像の一部又は全部を読影レポートの所定の位置に貼り付ける。この際には、読影レポートの所定の位置に検査画像の実データを埋め込んでも良いし、読影レポート上に検査画像を示すアイコン（例えば検査画像の縮小画像など）を張り付け、アイコンに検査画像が記憶されている場所をハイパーリンクなどの技術を利用し関連付けても良い。

図１３は、特定された画像（範囲）を読影レポートへ関連付ける（ハイパーリンクを作成する，画像を貼り付ける）場合の例である。図１３の例では、「右肺上葉Ｓ３」や「左肺下葉」の画像の範囲が、各部位に関係する所見を示す「結節」や「網状影」の単語に関連付けられており、読影レポートのフォーマット上の左部に位置する領域に、画像部位特定部２０４で特定した範囲が含まれる検査画像をサムネールの形式で表示している。

（動作）
次に図１１及び図１２を参照しながら、本実施形態に係る医用画像読影システムの動作について説明する。図１１は、本実施形態に係る読影システムの動作を示すフローチャートである。図１２は、本実施形態に係る読影システムにおける画像と読影レポートの関連付けに関する動作を示すフローチャートである。

操作者（読影医）が読影レポート作成手段１０１で読影レポートに内容を記述していくと、操作者による入力情報（テキスト）が、データ送受信部２０８を介し、医用画像・読影レポート保管手段１０４のデータ送受信部２０１に逐次送信される。

データ送受信部２０１は、受信した入力情報（テキスト）とレポート関連付け要求を処理制御部２０２に送信する。処理制御部２０２は、レポート関連付け要求に従い、図１１及び図１２に示す処理を実行する。

（ステップＳ１０）
処理制御部２０２は、受信した入力情報（テキスト）を情報抽出処理部２０３に逐次送信し部位情報を抽出させる。情報抽出処理部２０３は、受信した入力情報（テキスト）がセンテンスとして確定する（例えば読点を検出するなどにより１つの文として確定する）と、センテンスから記述単位を作成することで構造化し、作成した記述単位から部位情報を抽出する。

（ステップＳ１１）
次に、画像部位特定部２０４が、今回の検査画像を対象にして、記述単位から抽出した部位情報が写っている画像の位置及び範囲を検出する。この時、実施形態１に係る医用画像読影システムと同様に、所定の条件に合致する記述単位のみを処理の対象とする。なお、所定の条件については、実施形態１に係る医用画像読影システムのステップＳ５の説明に記載されているため、ここでの説明は省略する。

図１１では、記述単位内の有無情報を確認し「有る」を示す単語が登録されているかどうかを確認しており、有無情報が「有る」を示している記述単位を検出できなかった場合（ステップＳ１１、Ｎｏ）、以降の処理を行わない。

（ステップＳ１２）
画像部位特定部２０４は、条件に該当する記述単位、つまり、図１１において有無条件が「有る」を示している記述単位を検出した場合（ステップＳ１１、Ｙｅｓ）、さらに、記述単位に含まれる部位情報に該当する部位の位置及び範囲が特定済みかを確認する。部位の位置及び範囲が特定済みの場合（ステップＳ１２、Ｙｅｓ）、この記述単位に対する処理（ステップＳ１３、Ｓ１４、Ｓ８、Ｓ９）は行わない。

（ステップＳ１３）
画像部位特定部２０４は、記述単位に含まれる部位情報に該当する部位の位置及び範囲がまだ特定されていない場合（ステップＳ１２、Ｎｏ）、読影レポートが参照している検査画像に対しセグメンテーション技術を利用し、記述単位に含まれる部位情報が示す部位の位置及び範囲を特定し、位置及び範囲の情報と部位情報をセットとした情報を出力する。なお出力するデータの内容は、実施形態１に係る医用画像読影システムのステップＳ６と同様であり、ここでの説明は省略する。

また、出力した情報は一時的な記憶手段（図示しない）に記憶するようにし、位置及び範囲を特定済みの部位については、一時的な記憶手段から情報を読み込むことようにしても良い。出力した情報を一時的な記憶手段に記憶する構成とすると、位置及び範囲を検出済みの場合は、再度位置及び部位の特定処理を実行する必要がなくなる。

（ステップＳ１４）
画像部位特定部２０４が部位の位置及び範囲を特定すると、画像処理手段２０５は、検査画像上に部位の範囲を表示するために検査画像を加工する。画像加工の内容は、ステップＳ７と同様であり、ここでの説明は省略する。

（ステップＳ８）
次に、レポート処理部２１２は、画像部位特定部２０４が特定した部位の位置及び範囲を、部位情報を抽出した入力情報に該当する読影レポート上のテキストに関連付ける。この時、部位の位置及び範囲を、部位情報を示す単語に関連付けても良いし、部位情報が含まれる記述単位内の所見を示す単語（事象情報）に関連付けても良い。

（ステップＳ９）
また、レポート処理部２１２は、画像部位特定部２０４が特定した部位の位置及び範囲を、読影レポートの所定の位置に貼り付ける。さらに、操作者が読影レポート作成手段１０１から、読影レポートに貼り付けられた部位の位置及び範囲と、読影レポート上のテキスとを選択可能とし、この操作者による操作を受け、レポート処理部２１２が、操作者が選択した部位の位置及び範囲と読影レポート上のテキスとを関連づけるようにしても良い。

（ステップＳ１５）
確定したセンテンスの処理が完了すると、読影レポートへの入力、つまり、レポートの作成操作が終了したかを確認する。読影レポートへの入力が終了していない場合（ステップＳ１５、Ｎｏ）は、再び読影レポート作成手段１０１からの入力情報（テキスト）の送信を待つ。入力が終了している場合（ステップＳ１５、Ｙｅｓ）は、処理を終了する。

以上により、操作者（読影医）は読影レポートを作成しながら、作成中の読影レポートに記述した部位の検査画像上における位置及び範囲を逐次参照することが可能となり、表示された部位の位置及び範囲を読影レポート上の記述に、簡単な操作で関連付けることが可能となる。

また、本実施形態に係る医用画像読影システムが、部位情報を抽出した読影レポート上の記述と、記述から抽出した部位が表示されている画像上の位置及び範囲の情報を認識しているため、医用画像読影システムが読影レポートの記述と部位の位置及び範囲を関連付ける構成とすることで、操作者（読影医）が関連付けの操作を行う必要がなくなり、関連付けの手順を大幅に簡易化することが可能となる。

また、本実施形態の説明では今回の検査画像を対象として説明しているが、過去の検査画像に対しても同様に部位の位置及び範囲を特定し表示するようにしても良い。例えば、今回の検査画像と過去の検査画像との双方に対し部位の位置及び範囲を特定し表示することで、読影レポートに記述した部位に関して、簡単な操作で今回の検査画像と過去の検査画像との比較読影が可能となる。

また、本実施形態では操作者（読影医）が読影レポートを作成している際に、医用画像読影システムが読影レポートの記述に含まれる部位の位置及び範囲を逐次表示しているが、読影レポートの作成が完了したタイミングで、読影レポートに記述された部位を抽出することも可能である。この場合、実施形態１に係る読影レポート支援システムの動作（図７）に、図１２の動作を組み合わせ、ステップＳ１の処理時に、作成した読影レポートを処理対象とすることで実現可能である。

（変形例）
次に、変形例に係る医用画像読影システムについて、図１４を参照しながら説明する。図１４は、実施形態２の構成をベースとした本変形例に係る医用画像読影システムのシステムブロック図である。

変形例に係る医用画像読影システムでは、画像部位特定部２０４は単語間の関連性を示す関連語辞書記憶手段２０４１を含み、画像部位特定部２０４が部位の位置及び範囲を特定する場合に、対象となる部位などの単語と類似関係や包含関係にある単語も処理の対象とすることが可能となる。なお、実施形態２をベースに変形例の説明を行うが、実施形態１についても同様に関連語辞書記憶手段２０４１を構成に含めることで、同様の効果を得ることが可能である。

（構成）
まず、変形例に係る医用画像読影システムを構成する構成要素について、実施形態１及び２と異なる部分に注目し説明する。

関連語辞書記憶手段２０４１は、単語間の関係、例えば、ある単語の上位概念や下位概念を示す包含関係や、ある単語の同意語や類義語等の類似関係による、単語間の関連性を示す辞書情報を有する。関連語辞書記憶手段２０４１は、関連単語の検索要求を、関連性を調べるもととなる単語（以降「検索単語）と呼ぶ）及び関連性を調べる関係（包含関係又は類似関係）を示す情報とあわせて受信すると、検索単語と前記関係にある別の単語を関連単語として返却する。

単語間の関連性について図１５を参照しながらさらに詳しく説明する。辞書情報図１５は、単語間の包含関係及び類似関係を説明するための模式図である。

図１５のａ）及びｂ）は単語間の包含関係を模式的に示している。解剖学的な分類における包含関係では、例えば図１５のａ）のように、「上葉」の上位概念には「肺」があり、「上葉」の下位概念には「上葉Ｓ１＋２」あることになる。同様に、病理学的な分類における包含関係では、例えば図１５のｂ）のように、「腺癌」の上位概念には「肺癌」があり、「肺癌」の下位概念としては「腺癌」の他に「扁平上皮癌」があることになる。

図１５のｃ）及びｄ）は単語間の類似関係を模式的に示している。解剖学的な分類における類似関係では、例えば図１５のｃ）のように、「肺」と「Ｌｕｎｇ」は類似関係にあることになる。同様に、病理学的な分類における類似関係では、例えば図１５のｄ）のように、「肺癌」と「Ｌｕｎｇ Ｃａ」は類似関係にあることになる。

つまり、関連語辞書記憶手段２０４１に、「上葉」包含関係を示す関連単語の検索要求を行うと、上位概念として「肺」を、下位概念として「上葉Ｓ１＋２」を返却する。同様に、「肺癌」の類似関係を示す関連単語の検索要求を行うと、類似関係にある単語として「Ｌｕｎｇ Ｃａ」と「肺腫瘍」とを返却する。

変形例に係る医用画像読影システムにおける画像部位特定部２０４は、更に、受信した部位の情報（例えば右肺や左上葉等）の記述（テキスト）に該当する、部位の位置及び範囲に関連付けられた部位を意味する情報（例えば部位名）が特定できなかった場合、受信した部位の情報と類似関係にある単語を関連語辞書記憶手段２０４１から関連語として取り出し、関連語に該当する部位の位置及び範囲を再度特定し、部位の位置及び範囲の部位を意味する情報（例えば部位名）に関連語もあわせて記憶する。

例えば、情報抽出処理部２０３が抽出した部位情報には肺を示す情報として「Ｌｕｎｇ」が記述されているが、画像部位特定部２０４が特定した部位の位置及び範囲は「肺」として判断している場合、テキスト情報のみの判断では異なる部位として判断される。しかし、関連語辞書記憶手段２０４１から「Ｌｕｎｇ」の類似関係にある関連語として「肺」を取り出し処理対象とすることで、同一の部位として判断し処理することが可能となる。

また、画像部位特定部２０４が部位の位置及び範囲を特定する細かさに対し、情報抽出処理部２０３が抽出した部位情報にはさらに細かく細分化した部位名が記述されている場合、受信した部位の情報と包含関係にある単語を関連語辞書記憶手段２０４１から関連語として取り出し、関連語に該当する部位の位置及び範囲を再度特定し、部位の位置及び範囲の部位を意味する情報（例えば部位名）に関連語もあわせて記憶する。

例えば、情報抽出処理部２０３が抽出した部位情報には肺を示す情報として「上葉Ｓ１＋２」が記述されているが、画像部位特定部２０４は「肺」を「上葉Ｓ１＋２」の上位概念である「上葉」までしか細分化できていない場合、異なる部位として判断され特定することができない。しかし、関連語辞書記憶手段２０４１から「上葉Ｓ１＋２」の上位概念として「上葉」を取り出し処理対象とすることで、少なくとも「上葉」の位置及び範囲として読影レポートに特定することが可能となる。

なお、実施形態１及び実施形態２では、処理対象とするデータを、今回の検査画像、過去の検査画像、今回の読影レポート、過去の読影レポートとを組み合わせて説明しているが、上記説明はこれらデータの組み合わせを限定するものではなく、処理の対象とするデータの組み合わせは適宜変更可能である。

最後に、実施形態１、実施形態２、又は、変形例に係る医用画像読影システムの装置構成は、本発明を実現できるのであれば、各処理部の構成や各処理部の物理的な位置は限定されない。

例えば、医用画像・読影レポート保管手段１０４においては、画像と読影レポートの両方を扱うことができる例を示したが、医用画像保管装置、読影レポート保管装置のように別々の装置構成としても良い。この場合は、データベースや情報保管部が１以上存在し、情報抽出処理部２０３、レポート処理部２１２は読影レポート保管装置に、処理制御部２０２、画像部位特定部２０４は医用画像保管装置に配置する構成が好ましい。

また、ソフトウェアとして１つのＰＣに組み込むことにより、スタンドアローンタイプの装置を構成することも可能であり、装置に負荷がかかる場合は、情報抽出処理部２０３や画像部位特定部２０４などを別の装置として独立させて運用することも可能である。

１０１ 読影レポート作成手段 １０２ 医用画像参照手段
１０３ 医用画像撮影手段 １０４ 医用画像・読影レポート保管手段
２０１ データ送受信部 ２０２ 処理制御部 ２０３ 情報抽出処理部
２０４ 画像部位特定部 ２０５ 画像処理手段 ２０６ データベース
２０７ 情報保管部 ２０８ データ送受信部 ２０９ レポート表示部
２１０ データ送受信部 ２１１ 画像表示部 ２１２ レポート処理部
２０３１ 辞書記憶手段 ２０４１ 関連語辞書記憶手段

Claims (11)

1. 医用画像保管手段と、医用画像参照手段と、読影レポート保管手段とを有する医用画像読影システムであって、
   今回の検査での画像の読影を実施される患者についての過去の検査の画像に対する読影レポートを抽出する処理制御手段と、
   前記処理制御手段が抽出した前記読影レポートに記述された文章ごとに単語を抽出し、前記単語を所定の種類ごとに分類することで前記文章を構造化し、構造化した前記文章から部位情報を抽出する情報抽出処理手段と、
   前記読影を実施される今回の検査での画像の中から前記部位情報に該当する部位が写っている画像の範囲と、前記部位が写っている画像における前記部位の位置及び範囲とを特定する画像部位特定手段と、
   前記画像部位特定手段が特定した少なくとも前記部位の位置及び範囲を視認可能に表示する画像処理手段とを有することを特徴とする医用画像読影システム。
2. 前記画像処理手段が、前記読影を実施される今回の検査での画像上に、前記画像部位特定手段が特定した前記部位の位置及び範囲を視認可能に表示することを特徴とする請求項１に記載の医用画像読影システム。
3. 前記処理制御部が、前記読影を実施される今回の検査での画像の付帯情報に基づいて、今回の検査対象の前記患者の過去に作成された読影レポートを抽出することを特徴とする請求項１に記載の医用画像装置。
4. 前記情報抽出処理手段が、読影レポートに記述されている単語を含む辞書データを記憶する辞書記憶手段をさらに有し、前記情報抽出処理手段が、前記辞書データに含まれる前記所見の単語を抽出することを特徴とする請求項１乃至請求項３のいずれかに記載の医用画像読影システム。
5. 前記辞書記憶手段が、部位を表す単語、前記部位に生ずる事象を表す単語、及び、前記事象の有無を表す単語を含む前記辞書データを記憶し、前記情報抽出処理手段は、前記文章から抽出した単語を、前記辞書データに含まれる単語の種類ごとに分類し、一文に含まれる種類ごとに分類された１以上の単語を、一連の情報として構造化することを特徴とする請求項４に記載の医用画像読影システム。
6. 前記情報抽出処理手段が、前記構造化した文章を対象として、前記事象の有無を示す情報を基に所見のある部位情報を抽出することを特徴とする請求項５に記載の医用画像読影システム。
7. 前記画像部位特定部が、被検体を３軸方向に所定の間隔で撮像した撮像データから解剖学的な部位を抽出するセグメンテーションにより、前記部位が写っている画像の範囲と、前記部位が写っている画像における前記部位の位置及び範囲とを特定する請求項１乃至請求項６のいずれかに記載の医用画像読影システム。
8. 前記部位が写っている画像の範囲と、前記部位が写っている画像における前記部位の位置及び範囲とを、前記部位情報を抽出した前記読影レポートに記述された文章に関連付け、前記文章をもとに前記画像の範囲又は前記画像における前記部位の位置及び範囲を読み出し可能とするレポート処理手段をさらに有することを特徴とする請求項１乃至請求項７のいずれかに記載の医用画像読影システム。
9. 前記部位が写っている画像の範囲に含まれる画像の一部又は全部を、読影レポートの所定の位置に貼り付ける手段をさらに有することを特徴とする請求項１乃至請求項８のいずれかに記載の医用画像読影システム。
10. 前記画像部位特定手段が、単語間の関連を管理する関連語辞書データを記憶する関連語辞書記憶手段をさらに有し、
    前記部位情報に関連付けられている関連語を前記関連語辞書データから抽出し、前記関連語に該当する部位が写っている画像の範囲と、前記部位が写っている画像における前記部位の位置及び範囲とを特定することを特徴とする請求項１乃至請求項９のいずれかに記載の医用画像読影システム。
11. 前記関連語辞書データには、包含関係又は類似関係を示す単語間の関連が記録されており、所定の単語を入力することで、前記所定の単語と前記関係を示す別の単語を取り出すことが可能であることを特徴とする請求項１０に記載の医用画像読影システム。