JP5128154B2

JP5128154B2 - レポート作成支援装置、レポート作成支援方法およびそのプログラム

Info

Publication number: JP5128154B2
Application number: JP2007068562A
Authority: JP
Inventors: 哲大沢
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-04-10
Filing date: 2007-03-16
Publication date: 2013-01-23
Anticipated expiration: 2027-03-16
Also published as: US20070237377A1; JP2007305107A; US8023704B2

Description

本発明は、医用画像に関するレポートを作成を支援するレポート作成支援装置、レポート作成支援方法およびそのプログラムに関するものである。

従来から、医師等の医療従事者が医用画像を観察して診断を行い、所見やレポート等を作成する画像診断が行われているが、医療機関における作業の効率化や迅速化を目的として、所見やレポート等を紙に代えて、コンピュータを利用してレポートの電子化が進められている。さらに、電子化されたレポートを複数の端末からアクセスできる共有サーバに保管し、複数の医師がレポートを共有して利用できるようにしたシステムが提案されている。

このようなレポートは通常自由文で入力されることが多いが、表示された医用画像を観察しながらレポート作成をするため、レポート作成に時間と手間がかかる。そこで、医用画像を説明する例文を医用画像の撮像装置の種類、部位、検査日時、患者識別情報等の付帯情報と対応付けて記憶しておき、これらの例文の中から、入力した付帯情報に基づいて例文を自動的に選択し、医用画像の病変部の特徴を選択した例文にあてはめて、医用画像のレポートを作成し、さらに、作成した例文やレポートを編集できるようにしたり、患者の過去のレポートを使用したりすることで、レポート作成の負担を低減する方法を提案したものがある（例えば、特許文献１）。
特開２００５−１６０５０２公報

しかし、特許文献１の手法では、同一患者の過去のレポートを用いるために、病変の進行に応じてレポートを大きく修正する必要があった。また、同一患者の過去のレポートであっても、疾患進行状況によっては、必ずしも、有効に活用することができるとは限らない。

一方、医用画像上に現れた病変部の特徴が類似する場合には、その画像のレポートと近い内容のレポートを作成することが多い。また、診断を行なう際にも、類似した画像を過去に保存した画像の中から検索して、その症例を参考にして患者のレポート作成することが多い。

そこで、本発明では、過去の症例から患者の診断対象画像の類似症例を検索し、その類似症例のレポートを用いてレポートを簡単に作成する手法を提案する。

本発明のレポート作成支援装置は、複数の異なる症例画像に基づいて、各症例画像と該症例画像に関するレポート文の中の少なくとも一部の字句を変更可能にしたレポート文の雛形とを対応させて記憶する症例レポート記憶手段と、
診断対象画像に類似する症例画像を、前記症例レポート記憶手段に記憶されている症例画像から検索する類似症例画像検索手段と、
該類似症例画像検索手段により検索された前記診断対象画像に類似した症例画像に対応するレポート文の雛形中の変更可能な字句に前記診断対象画像に対応する字句を入力して前記診断対象画像のレポート文を作成可能なレポート作成手段とを備えたことを特徴とするものである。

また、本発明のプログラムは、コンピュータを、
複数の異なる症例画像に基づいて、各症例画像と該症例画像に関するレポート文の中の少なくとも一部の字句を変更可能にしたレポート文の雛形とを対応させて記憶する症例レポート記憶手段から診断対象画像に類似する症例画像を、前記症例レポート記憶手段に記憶されている症例画像から検索する類似症例画像検索手段と、
該類似症例画像検索手段により検索された前記診断対象画像に類似した症例画像に対応するレポート文の雛形中の変更可能な字句に前記診断対象画像に対応する字句を入力して前記診断対象画像のレポート文を生成可能なレポート作成手段として機能させることを特徴とするものである。

「症例画像に関するレポート文」は、症例画像の画像に対応した内容を含むものであり、例えば、症例画像に対して医師などが読影して作成したレポートなどである。

「字句」とは、文中にある文字あるいは文字列をいい、文中に出現する文字あるいは文字列の中で意味を表す最小単位をいう。

また、「レポート文の中の少なくとも一部の字句を変更可能にした」とは、レポート文中の一部の文字や文字列を、他の文字や文字列に変更することができるようにしたことをいう。また、変更できるようにした字句は、ひらがなや漢字などの文字ではなくブランクなどで置き換えられたものであってもよい。

さらに、前記レポート文の雛形が、前記症例画像のレポート文を字句解析して、前記症例画像の症例の特徴を表す字句を抽出し、抽出した字句の中の少なくとも一部の字句を前記変更可能な字句にしたものが望ましい。

「字句解析」とは、連続した文字の並びを、意味における最小単位である字句に分けることをいう。

「症例画像の症例の特徴を表す字句」は、例えば、症例画像に撮影されている部位や、症例画像の症状や、症例画像の病名や、症例画像の被検者に対して施した処置、注目領域の特徴、注目領域の位置などである。

また、前記レポート作成手段が、前記診断対象画像中の注目領域の特徴を解析する特徴解析手段と、
前記レポート文の雛形に含まれる変更可能な字句のうち前記解析した特徴を表わす字句で置き換える対象となる字句を、前記解析した特徴を表す字句に置き換えて入力する字句入力手段とを有するものであってもよい。

「特徴を表す字句」とは、注目領域の特徴をあらわした文字列をいう。

また、前記特徴解析手段が、前記注目領域の形態の特徴、前記注目領域の大きさの特徴、前記注目領域内の濃度の特徴、前記注目領域の辺縁部の濃度の特徴、前記注目領域の解剖学的な位置うち少なくとも１つを解析するものが望ましい。

また、前記注目領域の前記診断対象画像上の位置の入力を受け付ける注目領域位置入力手段をさらに備えて、
前記特徴解析手段が、前記入力された前記診断対象画像上の位置に存在する注目領域の特徴を解析するものであってもよい。

また、前記診断対象画像から前記注目領域を抽出する抽出手段をさらに備えて、
前記特徴解析手段が、前記抽出された注目領域の特徴を解析するものであってもよい。

さらに、前記抽出手段が、前記診断対象画像上の１点の指示入力を受け付けて、該１点の周囲に存在する前記注目領域を抽出するものであってもよい。

また、本発明のレポート作成支援方法は、複数の異なる症例画像に基づいて、各症例画像と該症例画像に関するレポート文とを対応させて記憶した症例記憶手段に記憶されている前記レポート文の字句解析する字句解析ステップと、
前記レポート文を字句解析して得られた字句より、前記症例画像の症例の特徴を表現する字句を抽出して、該症例画像の症例の特徴を表現する字句の中の少なくとも一部の字句を変更可能にしたレポート文の雛形を生成するレポート文雛形生成ステップと。

前記複数の異なる症例画像に基づいて、各症例画像と該症例画像に関する前記レポート文の雛形とを対応させて症例レポート記憶手段に記憶する症例レポート記憶ステップと、
診断対象画像に類似する症例画像を、前記症例レポート記憶手段に記憶されている症例画像から検索する類似症例検索ステップと、
検索された前記診断対象画像に類似した症例画像に対応するレポート文の雛形を出力するレポート雛形出力ステップとを備えたことを特徴とするものである。

「レポート文の雛形を出力する」は、例えば、表示装置などにレポート文の雛形を表示するなど、レポート文の雛形を利用できる状態にすることをいう。

本発明では、症例画像とその症例画像に対応したレポート文の雛形とを対応させて記憶し、診断対象画像に類似する症例画像を探して、その症例画像のレポート文の雛形を用いて診断対象画像のレポートを作成することにより、診断対象画像の特徴に合ったレポート文の雛形を捜して、診断対象画像の特徴を表したレポート文を簡易に作成することができる。

また、過去に作成された症例画像のレポート文を字句解析して、一部の字句を変更可能な字句にしてレポート文の雛形を作成することにより、各症例画像に適したレポート文のパターンを多数用意することができる。

診断対象画像中の注目領域の特徴を解析して、レポート文の雛形に含まれる変更可能な字句を解析した特徴を表わす字句で置き換えるようにすることによって、読影者が手入力を行なわずとも自動的に的確なレポートを作成することができる。

また、注目領域の形態の特徴、大きさの特徴、濃度の特徴、辺縁部の濃度の特徴、前記注目領域の解剖学的な位置を解析することによって、腫瘍などを診断するために有益な情報をレポートに入力することができる。

また、注目領域の前記診断対象画像上の位置の入力を受け付けて、その位置に存在する注目領域の特徴を解析するようにすれば、読影者が観察を行なっている注目領域のレポートを自動作成することができる。

また、診断対象画像から注目領域を抽出する抽出手段を備えるようにすれば、読影者が注目領域を指定しなくとも、診断対象画像のレポートを自動的に作成することができる。

さらに、診断対象画像上の１点の指示入力を受け付けて、その周囲に存在する注目領域を抽出するようにすれば、観察している注目領域についてレポートを作成することができるとともに、注目領域を正確に指定しなくとも自動的に注目領域を抽出して正確なレポートを自動的に作成することができる。

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明の第１の実施形態によるレポート作成支援装置を備えた医用システムの概略構成を示すブロック図である。図１に示すように、本実施形態による医用システム１は、医用画像を撮影するモダリティ２と、被写体の患部を撮影した医用画像を保存する画像サーバ３と、医師が読影を行うワークステーション４と、ワークステーション４の画面上に表示された医用画像を読影医が読影して作成したレポートを保存するレポートサーバ５と、レポート文の雛形を生成するレポート雛形生成装置６と、レポート文の雛形を記憶する症例レポート記憶装置７と、ネットワーク８とを備える。

モダリティ２は、ＣＲ（Computed Radiography：コンピュータ放射線画像）装置、ＣＴ（Computed Tomography：コンピュータ断層撮影）装置、ＭＲＩ（Magnetic Resonance Imaging：核磁気共鳴映像）、ＵＳ（Ultrasound imaging：超音波画像）など、患者の医用画像をデジタルデータとして収録するための装置あるいはシステムである。

画像サーバ３は、放射線科などに設置された各モダリティ２で撮影された大量の医用画像をネットワーク８を介して受信し、医用画像を被写体の患者情報、撮影日、撮影したモダリティの情報などとともにDICOMに準拠した形式で保存する。また、画像サーバ３には、データベースの管理用ソフトウェアがインストールされ、医用画像に付帯された種々の情報を用いて、保存している医用画像を検索する機能を備える。

ワークステーション４は、ネットワーク８を介して画像サーバ３に記憶されている医用画像の中から読影する医用画像を読み出して画像表示装置の画面上に表示する機能を備える。また、医師などの読影者が医用画像の読影をするために、ワークステーション４は高精細なCRTなど表示装置を設けたものが好ましい。

また、ワークステーション４には、レポート作成支援プログラムがインストールされレポート作成支援装置４０としても機能するように構成される。

レポートサーバ５は、読影医がワークステーション４で読影した医用画像の結果を、読影レポートとして保存する。

図２に示すように、レポート雛形生成装置６は、複数の症例データ１００を記憶した症例記憶手段６１と、読影レポートのレポート文の字句解析する字句解析手段６２と、字句解析したレポート文の中から症例画像の症例の特徴を表現する字句を抽出して、その字句を変更可能にしたレポート文の雛形を生成して、症例レポート作成用テンプレート１４０を生成するレポート雛形生成手段６３とを備える。

症例データ１００は、症例画像１１０とその症例画像１１０の読影レポート１２０などで構成される。症例データ１００の症例画像１１０は画像サーバ３に記憶されている医用画像から選択され、読影レポート１２０は選択された症例画像に対するものがレポートサーバ５から取り出される。また、症例データ１００は、種々の症例と比較するのに好ましいと思われる症例画像１１０と読影レポート１２０とが選択され、症例記憶手段６１に記憶される。また、症例データ１００には、症例画像１１０の疾患が現れている関心領域ROI（Region of interest）の位置情報を含めて記憶したものが好ましい。

レポート文の雛形１３０は、簡易にレポート文が生成できるように、レポート文中の一部の字句が変更すれば診断対象画像１５０に適したレポート文になるようにしたものである。レポート文の書き方には多くのパターンが存在するので、レポート文の雛形１３０は症例記憶手段６１に記憶されている過去に作成された症例データ１００の読影レポート１２０を元にして、診断対象画像１５０に対応するように変更する必要のある字句のみが変えられるようにしたものを用いる。

字句解析手段６２は、自由文で入力された読影レポート１２０のレポート文をテキストマイニングの手法を用いて構造解析する。まず、レポート文は、形態素解析により単語単位に分割して、抽出された単語を医用辞書などと照らし合わせて、文節や単語の意味付けを行ない、所見記述部分の字句と、診断記述部分の字句など、症例画像の症例の特徴を表す字句を抽出する（詳細は、「山岸他、テキストマイニング技術を用いた読影レポートの記述単位による構造化、第24回日本医用画像工学会大会、P5-6、2005.7」、「今井、小野木、“各フレームを用いた放射線読影レポートの文型分類と所見抽出”、第２４回医療情報学連合大会、24thJCMI、2004.11」「今井、小野木、“放射線読影レポートからの肯定・否定フレーム抽出の試み”、第２３回医療情報学連合大会、23thJCMI、2003.11」「Imai,Onogi,“Extracting Diagnosis from Japanese Radiological report”, AMIA 2003,Symposium Proceedings-Page873」などを参照）。

レポート文雛形生成手段６３は、字句解析したレポート文中より、症例画像１１０の症例の特徴を表現する字句の中から、その一部の字句を変更可能にする字句を選択してレポート文の雛形１３０を生成し、生成したレポート文の雛形と、雛形の元となった読影レポート１２０の症例画像１１０を含めて症例レポート作成用テンプレート１４０とする。さらに、症例画像１１０のROIの位置情報を症例レポート作成用テンプレート１４０にも含めるようにしたものが好ましい。作成した症例レポート作成用テンプレート１４０は症例レポート記憶手段７に記憶する。また、様々な症例に対応できるように、症例レポート作成用テンプレート１４０をなるべく多く用意することが望ましい。

例えば、図３に示すような自由文のレポート文の構造解析をして、部位を表す「右肺上葉」、症状を表す「結節影」、病名を表す「扁平上皮ガン」、処置を表す「肺生検」などの症例画像１１０の症例の特徴を表す字句を抽出して、この字句を変更可能な字句とする。レポート文の雛形１３０は、この変更可能な字句をブランクにしたものでもよい。

また、症例レポート記憶装置（症例レポート記憶手段）７は、レポート雛形生成装置５で生成した症例画像１１０と該症例画像１１０のレポート文の雛形１３０とからなる症例レポート作成用テンプレート１４０を多数記憶する。

レポート作成支援装置４０は、診断対象画像１５０に類似する症例レポート作成用テンプレート１４０の症例画像１１０を検索する類似症例画像検索手段４１と、検索された症例画像１１０に対応する症例レポート作成用テンプレート１４０のレポート文の雛形１３０を用いて診断対象画像１５０のレポートを作成可能にするレポート作成手段４２とを備える。

類似症例画像検索手段４１は、症例レポート記憶手段７に記憶している症例レポート作成テンプレート１４０の症例画像１１０から、診断対象画像１５０に類似する症例画像１１０を検索する。具体的には、症例画像１１０のROI現れている特徴が診断対象画像１５０のROIに現れている特徴の類似度が高いものからいくつか選択する。類似度は、（ａ）診断対象画像１５０と症例画像１１０のROIから得られた特徴量の特徴量空間における距離（ｂ）診断対象画像１５０と症例画像１１０のROIのRMS（root mean square）（ｃ）診断対象画像１５０のROIと症例画像１１０のROIの相互相関（ｄ）ニューラルネットワークなどの学習器などを用いて求めることが出来る（例えば、詳細は「Li et al.: Investigation of new psychophysical measures., Medical Physics, Vol. 30, No. 10, October 2003, pp.2584-2593」を参照）。

レポート作成手段４２は、診断対象画像１５０に類似した症例画像１１０の症例レポート作成テンプレート１４０に含まれているレポート文の雛形１３０を表示装置上に表示して、診断対象画像１５０のレポートが入力できるようにする。また、レポート文の雛形１３０は、診断対象画像１５０に対応したレポート文に変更できるように、症例の特徴を表現する字句を変えることが出来るように表示される。例えば、図４に示すように、部位、症状、病名、処置を表す字句の入った枠が表示され、枠の横にある三角マークをクリックすると、プルダウンメニューで各欄に入力される字句が一覧表示され、その一覧の中から選択できるように表示する。

次に、レポート文の雛形の生成と、生成されたレポート文の雛形を用いてレポートを作成する流れについて、図５のフローチャートに基づいて説明する。

レポート雛形生成装置６は、症例記憶手段６１に記憶され症例データ１００の自由文で入力された読影レポート１２０のレポート文を、字句解析手段６２でテキストマイニングの手法を用いて構造解析を行い（S100）、レポート文雛形生成手段６３で、字句解析したレポート文中より、症例画像１１０の症例の特徴を表現する字句を抽出し、その一部の字句を変更可能にする字句を選択したレポート文の雛形１３０を生成する（S101）。生成したレポート文の雛形と、雛形の元となった読影レポート１２０に対応する症例画像１１０とを症例レポート作成用テンプレート１４０として症例レポート記憶装置７に記憶する（S102）。

このようにして生成された症例レポート作成用テンプレートを用いて、レポート作成支援装置で診断対象画像の読影レポートを生成する流れについて、図６のフローチャートに基づいて説明する。

まず、読影医は、診断対象画像１５０を画像サーバ３から読み出してワークステーション４の表示装置上に表示する（S103）。表示された診断対象画像１５０からROIを読影医がマウスなどで囲んで指示する（S104）。そこで、類似症例画像検索手段４１で、症例レポート記憶装置７に記憶されている症例レポート作成用テンプレート１４０のROIの位置情報から特定される症例画像１１０のROIと、診断対象画像１５０上で指示されたROIと、が類似する症例画像１１０を検索する（S105）。

レポート作成手段４２で、検索された症例画像１１０を表示装置上に類似度の高い順に表示する（S106）。また、図７に示すように、症例レポート作成用テンプレート１４０に含まれるROIの位置情報を用いて、表示された症例画像１１０上のROIを線で囲むなどしてROIが何処であるかがわかるように表示する。

表示した症例レポート作成用テンプレート１４０の症例画像１１０中から、読影医が、診断対象画像１５０に最も近い疾患が現れていると思われる症例画像１１０を選択すると（S107）、レポート作成手段４２は、選択した症例画像１１０の症例レポート作成用テンプレート１４０からレポート文の雛形１３０を取り出して表示装置上に表示する（S108）。図６では、症例画像１１０のうち「類似症例１」と表示された症例画像１１０を選択し、選択した「類似症例１」とそのレポート文の雛形１３０である「レポート文１」の表示が反転されている。さらに、「レポート文１」の雛形１３０が診断対象画像１５０の下に表示されている様子を表している。読影医は、診断対象画像１５０を観察して、レポート文の雛形１３０の変更可能な字句に診断対象画像１５０の読影結果に対応する字句を、プルダウンメニューから選択して入力すると（S109）、レポート作成手段４２はレポート文の雛形１３０と入力された字句で診断対象画像１５０から読影レポート１２０を作成する（S110）。作成された診断対象画像１５０の読影レポート１２０をレポートサーバ５に記憶する（S111）。

以上、詳細に説明したように、過去撮影した画像に対応した読影レポートを用いて作成したレポート文の雛形を用いることにより、様々な診断対象画像１５０に対応した適切なレポートを簡易に作成することが可能になる。

上述では、テキストマイニングの手法を用いて、読影レポートの構造を解析する場合について説明したが、人が手動で構造解析してレポート文の雛形を作成してもよい。

次に第２の実施の形態について説明する。第１の実施の形態では、注目領域を読影医がマウスなどで囲んで抽出して、類似する症例画像を検索する場合について説明したが、本実施の形態では、注目領域をコンピュータによる画像診断の支援機能（CAD機能）を用いて抽出して類似する症例画像を検索する場合について説明する。また、第１の実施の形態では、診断対象画像に類似する症例画像を表示する際に、症例レポート作成テンプレートに予め含まれていた症例画像の注目領域の位置情報を使って注目領域の場所を表示する場合について説明したが、本実施の形態では、類似する症例画像を表示する際に、CADの機能を用いて注目領域を自動抽出して表示する。さらに、本実施の形態では、CADの結果を用いてレポートの雛形の変更可能な字句を自動的に置き換えたレポートを生成する。本実施の形態では、第１の実施の形態と同じ構成には同一符号を付して詳細な説明は省略する。

本実施の形態のレポート作成支援装置を備えた医用システムの概略構成は、図１に示す第１の実施の形態とほぼ同じであるが、第1の実施の形態と異なる点は、レポート作成支援装置である。図８に示すように、本実施の形態のレポート作成支援装置４０aは、類似症例画像検索手段４１と、診断対象画像より注目領域を抽出する抽出手段４３と、診断対象画像１５０のレポートを作成するレポート作成手段４２ａとを備える。

レポート作成手段４２ａは、抽出手段４３で抽出した注目領域の特徴を解析する特徴解析手段４２１と、レポート文の雛形に含まれる変更可能な字句のうち前記解析した特徴を表わす字句で置き換える対象となる字句を置き換えて入力する字句入力手段４２２とを備える。

抽出手段４３は、診断対象画像１５０から注目領域内の１点を読影医がマウスなどで指示して、この点の周囲の領域を探索して腫瘍領域などの注目領域を抽出する。この点は腫瘍領域の中心に近い点を指示するのが望ましい。

まず、図９の（ａ）に示すように、指示された点Ｃを中心とした、腫瘍領域を充分に含む一定半径の領域を判別領域ＴＴとして決定する。次に、図９（ａ）に示すような判別領域ＴＴの画像を、点Ｃからの距離と、点Ｃを通る所定の直線とのなす角度θで表す極座標平面上に展開した判別画像ＰＰに変換する。たとえば、図９（ａ）画像の半径方向の線分ＣＤを基準とし、時計回りの方向の角度θとして極座標変換して得られた図９（ｂ）の極座標画像を用いて判別領域内の各画素に対して腫瘍領域の輪郭であるか否かの判定を行なう。

判別領域内の各画素（ｘ、ｙ）と点Ｃを通る直線上の１次元輝度プロファイル内の輝度情報から抽出される特徴量Ｌに基づいて、判別領域内の各画素（ｘ、ｙ）が輪郭を表す画素であるかどうかの評価値Ｓを算出する。

各画素（ｘ、ｙ）と点Ｃを通る直線上の１次元輝度プロファイルは、腫瘍領域の輪郭であるところの前後で輝度値が急激に変化する。そこで、輝度値から特徴量を算出して、この特徴量を用いた判別器を生成する。判別器から得られた結果に基づいて、図９（ｃ）の太線Ｂで示すような輪郭を構成する画像（ｘ、ｙ）を求める。そこで、極座標系で表されている判別領域ＰＰを通常の座標系に逆変換して図９（ｄ）に示すように判別領域ＴＴの画像上の輪郭を決定する。この輪郭に囲まれた領域を腫瘍領域（つまり、注目領域）として抽出する。

あるいは、“Wormanns D, Kohl G, Klotz E, et al. Volu- metric measurements of pulmonary nodules at multi-row detector CT: in vivo reproducibility. Eur Radiol 2004;14(1):86-92.”などに示されている領域分離技術を用いて、注目領域を抽出してもよい。

特徴解析手段４２１は、抽出手段４３で抽出された注目領域の特徴を解析する。

注目領域が肺野に現れる腫瘍や肺結節などの異常陰影である場合、異常陰影は形態、大きさ、辺縁や領域内の濃度に特徴が表れる。また、各異常陰影が現れた解剖学的な位置もその異常陰影の特徴であると考えられる。そこで、注目領域を解析して、形態の特徴、大きさの特徴、注目領域内の濃度の特徴、注目領域の辺縁部の濃度の特徴、解剖学的な位置などを求める。

(１) 形態の特徴
異常陰影の形態は、図１０に示すような、類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形に分けられる（詳細は、“岩野他、孤立性肺結節の良悪性コンピュータ支援診断、JRC2006”などを参照）。

これらの形態は、式（１）に示す円形度（周囲長と面積の比）、式（２）に示す二次重心モーメント（結節重心と結節内画素点間距離の２乗総和を面積の２乗で正規化したもの）を用いて分類することができる。

円形度と二次モーメントは図１１に示すような分布を示し、各楕円で囲まれた範囲内にそれぞれ類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形（前述のいずれにも属さないもの）に分類される。そこで、既存の非線形判別手法、設計判別手法などを用いて、円形度と二次モーメントなどの特徴量を入力することによってどのような形態であるかを出力する判別器を実現することができる。

(２) 大きさの特徴
異常陰影の大きさは、面積、体積、長軸および短軸径などによって表され、前述の抽出手段４３によって抽出された注目領域から自動的に計測することができる。

(３) 注目領域内の濃度の特徴
異常陰影は、濃度によってPure GGO（スリガラス影）、Mixed GGO（スリガラス影と高濃度）、Solid（高濃度）に分けられる。前述の抽出手段４３によって抽出された注目領域内の平均値、偏差、最大値、最小値を特徴量として、既存の非線形判別手法、設計判別手法などを用いて判別することができる。

さらに、濃度値から、異常陰影の領域内に石灰化有無や空洞有無でわけることができる。石灰化は、注目領域内の濃度の最大値が一定のしきい値（例えば、目安CT値500）以上の場合は、石灰化が存在するものと判定する。空洞は、注目領域内の濃度の最小値が一定のしきい値（例えば、目安CT値500）以下の場合に空洞が存在すると判定する。

(４) 注目領域の辺縁部の濃度の特徴
異常陰影の辺縁部は、明瞭であるか、不明瞭であるかに分けることができる。辺縁部が、明瞭であるか不明瞭であるかは、抽出手段４３によって抽出された注目領域の輪郭内外の濃度差を用いて分類を行う。図１２に示す太線を輪郭とする注目領域の内部領域（輪郭の内側）と周囲（輪郭の外側の斜線部）の濃度値から濃度差を、下式（３）で求める。
濃度差＝[濃度値の平均値(周囲)-平均値(内部)]/[分散(周囲)＋分散(内部)] (３)

(５) 解剖学的な位置
次に、注目領域の解剖学的な位置を認識する。例えば、胸部画像では、図１３に示すように、まず、入力された胸部画像（同図(a)参照）より自動的に肺野の抽出（同図(b)参照）と気管支の抽出（同図(d)）を行う。さらに、気管支の形状から葉間裂を抽出して（同図(c)(e)参照）、肺野を分けた肺葉分類（右上、中、下葉、左上、下葉）を行う(詳細は、文献１“林達郎，周向栄，原武史，藤田広志，横山龍二郎，桐生拓司，星博昭：胸部マルチスライスＣＴ画像における葉間裂の自動抽出手順の開発と性能評価，電子情報通信学会技術研究報告, MI2003-53, 39-44 (2003)”、文献２“中田他、３次元胸部CT像から抽出された気管支の葉分類に関する検討、第15回コンピュータ支援画像学会、pp275-276、2005.11”、文献３“田中他、血管と気管支の空間的配置特徴に基づく胸部X線CT像からの肺動脈・肺静脈自動分類、電子情報通信学会論文誌、DII、Vol.J88、PP1421-1431、2005.4”、文献４“:Shyu C, Brodley CE, Kak A, Kosaka A,Aisen A, Broderick L. ASSERT, a physician-in-the-loop content-based image retrieval system for HRCT image databases.Computer Vision and Image Understanding,1999;74: 111-132”などを参照）。例えば、図１３（ａ）に示す、注目領域（黒矢印が指す部分）の解剖学的位置は、「左肺・上葉・S2」として認識される。

字句入力手段４２２は、特徴解析手段４２１によって得られた、注目領域（腫瘍領域など）の形態、大きさ、濃度、辺縁、領域内の状態、解剖学的な位置などの特徴を表す字句に置き換え、各字句をレポート文の雛形に含まれる変更可能な字句の対応する箇所に当てはめる。

例えば、図１４に示すようなレポート文の雛形１３０の置き換え可能な字句（「＜」と「＞」で囲まれている字句）を、それぞれ対応する字句で置き換えて入力する。図１４の例では、徴解析手段４２１でえられた解剖学的な位置は、「＜右肺＞＜上葉＞＜S2＞」という字句に置き換えられ、大きさは「＜25mm×15mm＞」という字句に置き換えられ、形態は「＜類円形＞」という字句に置き換えられ、辺縁は「＜辺縁明瞭＞」という字句に置き換えられる。さらに、濃度は「＜高濃度＞」と「＜すりガラス影＞」という字句に置き換えられ、領域内の状態は、「＜空洞＞」と「＜伴う＞」という字句に置き変えられて入力される。

次に、医用システムでレポート作成の流れについて説明するが、症例レポート作成用テンプレートの生成する方法は第１の実施の形態で説明したものと同じであるので、レポート作成支援装置で診断対象画像の読影レポートをＣＡＤ機能を用いて自動的に入力する場合の流れについて、図１５のフローチャートに基づいて説明する。

まず、読影医は、診断対象画像１５０を画像サーバ３から読み出してワークステーション４の表示装置上に表示する（S113）。表示された診断対象画像１５０から異常陰影らしい陰影内の１点Cを指示する（S114）。そこで、レポート作成手段４２の抽出手段４３で、CADの機能を用いて指示された点Cから周囲に広がる異常陰影の領域を注目領域（ROI）として抽出する（S115）。

そこで、類似症例画像検索手段４１で、症例レポート記憶装置７に記憶されている症例レポート作成用テンプレート１４０のROIの位置情報から特定される症例画像１１０のROIと、診断対象画像１５０上で指示されたROIとが類似する症例画像１１０を検索する（S116）。

レポート作成手段４２ａの特徴解析手段４２１は、抽出手段４３により抽出されたROIより、形態、大きさ、濃度、辺縁、領域内の状態、各異常陰影が現れた解剖学的な位置などの特徴を解析する（S117）。

検索された症例画像１１０に対応する症例レポート作成用テンプレート１４０のレポート文の雛形１３０中から、特徴解析手段４２１で解析した特徴を表す字句を埋め込むのに最も適したレポート文の雛形１３０を選択する（S118）。

字句入力手段４２２は、図１４に示すようなレポート文の雛形１３０の置き換え可能な字句を、対応する字句で置き換えて入力して読影レポート１２０を自動的に作成する。作成された診断対象画像１５０の読影レポート１２０をレポートサーバ５に記憶する（S119）。

また、自動的に作成された読影レポート１２０を一旦表示して、読影医が実際のROIとは異なる箇所については置き換え可能な字句を修正できるようにしてもよい。

以上、詳細に説明したように、CADの機能を用いて注目領域の特徴を解析して、解析した特徴を字句に置き換えて症例レポートの雛型に埋め込むことにより、煩雑な作業を行なうことなく自動的に症例レポートを生成することができる。

また、上述のように注目領域内の１点を指定して、その周囲に存在する腫瘍などの注目領域を抽出するようにすることで、読影医が観察している箇所のレポートを作成することが可能になる。

上述の抽出手段では、診断対象画像上の１点を指定した後にその周囲に存在している腫瘍などの注目領域を抽出する場合について説明したが、指定を行なわずに診断対象画像全体を解析して注目領域を抽出するようにしてもよい。これにより、腫瘍が１箇所しかないような場合には読影医に余分な操作をさせることなく自動的にレポートを作成することができる。

上述では、注目領域をCAD機能を用いて自動的に抽出する場合について説明したが、図１６に示すように、抽出手段４３に変えて、読影医が表示装置上に表示された診断対象画像を観察しながら注目領域をマウスなどで指示した注目領域の診断対象画像上の位置の入力を受け付ける注目領域位置入力手段４４を設けて、特徴解析手段４２１では、入力された位置に存在する注目領域から特徴を解析するようにしてもよい。

上述の各実施の形態では、類似症例画像検索手段４１で、注目領域（ROI）から得られた特徴量の特徴量空間における距離や、ニューラルネットワークなどの学習器から得られた類似度などに基づいて、症例画像１００のROIの特徴と診断対象画像１５０のROIの特徴の類似度が高い症例を検索する検索エンジン（類似症例検索手段）を１つ備えている場合について説明したが、これらの画像に表れる特徴は疾患によって異なるため、検索エンジンを切り替えることによってより精度を高めることができる。

実際に読影医が疾患の様相を呈している画像を観察しながらROIを指定するための操作を行なう場合には、輪郭のはっきりした孤立性陰影を指定するにはその陰影上の１点を指定し、びまん性陰影のような輪郭がはっきりせずぼんやりと広範囲に広がっているような陰影では、それらしいところを囲むように指定する方法が好まれるため、陰影によって操作を変えることが考えられる。

具体的には、例えば、ROIの指定操作として２種類の操作を受け付けるようにする。第１の指定操作は、図１７に示すように画面上の一点にマウスカーソルを合わせて、マウスをワンクリックすることにより画像上の一座標点を指定する操作である。図１８に例示するような孤立性陰影Ｒ１をROIとして設定する場合には、孤立性陰影Ｒ１上もしくは近傍において第１の指定操作を行うことにより孤立性陰影Ｒ１の輪郭が自動的に抽出され、その輪郭により囲まれた領域がROIとして設定される。

また、第２の操作は、図１９に例示するように、画面上の一点にマウスカーソルを合わせた後ドラッグすることにより、画像上の一部の領域を指定する操作である。図の例は、ドラッグ操作により楕円状に領域が指定される例を示しているが、矩形状に領域が指定されるようにしてもよい。図２０に例示するようなびまん性陰影Ｒ２をROIとして設定する場合には、びまん性陰影Ｒ２を囲むように領域を指定することで、指定された領域がROIとして設定される。

上述のように、ROIを指定する操作が異なれば、診断対象画像上にあらわれた陰影の状態が違うため対応する疾患も異なることが予測できる。従って、操作に応じて孤立性陰影の検索エンジンとびまん性陰影の検索エンジンを切り替えるようにしてもよい。

さらに、撮影されている部位と操作とを組み合わせから多くの疾患に分けることができるので、撮影されている部位と操作とを組み合わせに応じて検索エンジンを切り替えるようにしてもよい。

このようにエンジンを切り替えることによって、類似症例の検索精度を高めることが可能になる。

医用システムの概略構成を示すブロック図第１の実施の形態のレポート雛形生成装置とレポート作成支援装置の概略構成を示すブロック図レポート文の構造化を説明するための図レポート文の雛形の字句の入力方法の一例レポート文の雛形を生成する流れを示すフローチャートレポート文の雛形を使って診断対象画像の読影レポートを作成する流れを示すフローチャート（その１）診断対象画像に類似する症例画像のレポート文の雛形を選択するための表示画面の一例第２の実施の形態のレポート雛形生成装置とレポート作成支援装置の概略構成を示すブロック図注目領域の自動抽出の方法を説明するための図形態の分類の一例形態の分類と２次モーメントと円形度との関係を表す図注目領域とその周囲の領域を示す図胸部画像の解剖学的な位置を解析する方法を説明するための図レポート文の雛形の一例レポート文の雛形を使って診断対象画像の読影レポートを作成する流れを示すフローチャート（その２）第２の実施の形態のレポート雛形生成装置と他のレポート作成支援装置の概略構成を示すブロック図注目領域の指定操作の例を示す図図１７の操作が行われたときの注目領域について説明するための図注目領域の指定操作の他の例を示す図図１９の操作が行われたときの注目領域について説明するための図

符号の説明

１医用システム
２モダリティ
３画像サーバ
４ワークステーション
５レポートサーバ
６レポート雛形生成装置
７症例レポート記憶装置
８ネットワーク
４０、４０a レポート作成支援装置
４１類似症例画像検索手段
４２、４２ａレポート作成手段
４３抽出手段
４４注目領域位置入力手段
６２字句解析手段
６３レポート雛形生成手段
６１症例記憶手段
100 症例データ
110 症例画像
120 読影レポート
130 レポート文の雛形
140 症例レポート作成用テンプレート
150 診断対象画像
421 特徴解析手段
422 字句入力手段

Claims

複数の異なる症例画像に基づいて、各症例画像と該症例画像に関するレポート文の中の少なくとも一部の字句を変更可能にしたレポート文の雛形とを対応させて記憶する症例レポート記憶手段と、
診断対象画像上の注目領域を指定する、該注目領域にあらわれる陰影の複数のタイプのそれぞれに対応する複数の種類の操作のうちのいずれかの操作の入力を受け付ける入力受付手段と、
前記受け付けた操作の種類に基づき注目領域にあらわれる陰影の複数のタイプに対応した複数の種類の検索処理の中から前記受け付けた操作に対応する陰影のタイプの検索処理を選択し、該選択した検索処理を用いて、前記受け付けた操作により指定された前記診断対象画像の注目領域の画像に類似する症例画像を、前記症例レポート記憶手段に記憶されている症例画像から検索する類似症例画像検索手段と、
前記類似症例画像検索手段により検索された前記診断対象画像の注目領域の画像に類似した症例画像に対応するレポート文の雛形中の変更可能な字句に前記診断対象画像から抽出された注目領域の特徴に対応する字句を入力して前記診断対象画像のレポート文を作成するレポート作成手段と、を備え、
前記レポート作成手段が、
前記注目領域の特徴を解析する特徴解析手段と、
前記レポート文の雛形に含まれる変更可能な字句のうち前記解析した特徴を表わす字句で置き換える対象となる字句を、前記解析した特徴を表す字句に置き換えて入力する字句入力手段とを有するものであることを特徴とするレポート作成支援装置。
前記注目領域入力手段が、前記診断対象画像上の一点を入力する第１の操作と、前記診断対象画像上の一部の領域を囲むように指定する第２の操作の入力を受け付けるものであり、
前記類似症例画像検索手段が、前記入力受付手段で前記第１の操作を受け付けた場合には孤立性陰影の症例画像を検索する検索処理を用いて検索するものであり、前記入力受付手段で前記第２の操作を受け付けた場合にはびまん性陰影の症例画像を検索する検索処理を用いて検索するものであることを特徴とする請求項１記載のレポート作成支援装置。
前記レポート文の雛形が、前記症例画像のレポート文を字句解析して、前記症例画像の症例の特徴を表す字句を抽出し、抽出した字句の中の少なくとも一部の字句を前記変更可能な字句にしたものであることを特徴とする請求項１または２記載のレポート作成支援装置。
前記特徴解析手段が、前記注目領域の形態の特徴、前記注目領域の大きさの特徴、前記注目領域内の濃度の特徴、前記注目領域の辺縁部の濃度の特徴、前記注目領域の解剖学的な位置うち少なくとも１つを解析するものであることを特徴とする請求項１または２記載のレポート作成支援装置。
複数の症例画像と該症例画像に関するレポート文とを対応させて記憶する症例記憶手段と、前記レポート文を字句解析する字句解析手段と、レポート文の雛形を生成するレポート文雛形生成手段と、前記レポート文の雛形を記憶する症例レポート記憶手段と、診断対象画像上の注目領域を指定する操作の入力を受け付ける入力受付手段と、前記診断対象画像に類似する症例画像を検索する類似症例画像検索手段と、前記診断対象画像のレポート文を作成するレポート作成手段と、を備えたレポート作成支援装置の動作方法であって、
前記字句解析手段により、複数の異なる症例画像に基づいて、前記症例記憶手段に記憶されている前記レポート文を字句解析する字句解析ステップと、
前記レポート文雛形生成手段により、前記レポート文を字句解析して得られた字句より、前記症例画像の症例の特徴を表す字句を抽出して、該症例画像の症例の特徴を表現する字句の中の少なくとも一部の字句を変更可能にしたレポート文の雛形を生成するレポート文雛形生成ステップと、
前記レポート文雛形生成手段により、前記複数の異なる症例画像に基づいて、各症例画像と該症例画像に関する前記レポート文の雛形とを対応させて前記症例レポート記憶手段に記憶する症例レポート記憶ステップと、
前記入力受付手段により、前記診断対象画像上の注目領域を指定する、該注目領域にあらわれる陰影の複数のタイプのそれぞれに対応する複数の種類の操作のうちのいずれかの操作の入力を受け付ける入力受付ステップと、
前記類似症例画像検索手段により、前記受け付けた操作の種類に基づき注目領域にあらわれる陰影の複数のタイプに対応した複数の種類の検索処理の中から前記受け付けた操作に対応する陰影のタイプの検索処理を選択し、該選択した検索処理を用いて、前記受け付けた操作により指定された前記診断対象画像の注目領域の画像に類似する症例画像を、前記症例レポート記憶手段に記憶されている症例画像から検索する類似症例画像検索ステップと、
前記レポート作成手段により、前記類似症例画像検索ステップにおいて検索された前記診断対象画像の注目領域の画像に類似した症例画像に対応するレポート文の雛形中の変更可能な字句に前記診断対象画像から抽出された注目領域の特徴に対応する字句を入力して前記診断対象画像のレポート文を作成するレポート作成ステップと、を備え、
前記レポート作成ステップが、
前記注目領域の特徴を解析する特徴解析ステップと、
前記レポート文の雛形に含まれる変更可能な字句のうち前記解析した特徴を表わす字句で置き換える対象となる字句を、前記解析した特徴を表す字句に置き換えて入力する字句入力ステップとを有することを特徴とするレポート作成支援装置の動作方法。
コンピュータを、
診断対象画像上の注目領域を指定する、該注目領域にあらわれる陰影の複数のタイプのそれぞれに対応する複数の種類の操作のうちのいずれかの操作の入力を受け付ける入力受付手段と、
前記受け付けた操作の種類に基づき注目領域にあらわれる陰影の複数のタイプに対応した複数の種類の検索処理の中から前記受け付けた操作に対応する陰影のタイプの検索処理を選択し、該選択した検索処理を用いて、前記受け付けた操作により指定された前記診断対象画像の注目領域の画像に類似する症例画像を、複数の異なる症例画像に基づいて各症例画像と該症例画像に関するレポート文の中の少なくとも一部の字句を変更可能にしたレポート文の雛形とを対応させて記憶する症例レポート記憶手段から検索する類似症例画像検索手段と、
前記類似症例画像検索手段により検索された前記診断対象画像の注目領域の画像に類似した症例画像に対応するレポート文の雛形中の変更可能な字句に前記診断対象画像から抽出された注目領域の特徴に対応する字句を入力して前記診断対象画像のレポート文を作成するレポート作成手段として機能させるためのレポート作成支援プログラムであって、
前記レポート作成手段が、
前記注目領域の特徴を解析する特徴解析手段と、
前記レポート文の雛形に含まれる変更可能な字句のうち前記解析した特徴を表わす字句で置き換える対象となる字句を、前記解析した特徴を表す字句に置き換えて入力する字句入力手段とを有するものであることを特徴とするレポート作成支援プログラム。