JP5178119B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、医用画像の読影結果に関するレポートを作成するための画像処理装置における画像処理技術に関するものである。

医療の分野においては、被検者を撮像することにより得られた医用画像のデジタル化が実現されている。これにより診断時には、ＣＲ装置、ＣＴ装置、ＭＲＩ装置、超音波装置等の医用撮像装置より出力された医用画像データをモニタ表示させることが可能となっている。そして、医師は、このモニタ表示させた医用画像を読影して、病変部の状態や経時変化を観察することで、診断を行っている。なお、ＣＲとは、Computed Radiographyの略であり、ＣＴとは、Computed Tomographyの略であり、ＭＲＩとは、Magnetic Resonance Imagingの略である。

一方、従来より、診断に対する医師の負担の軽減を目的として、医用画像データを画像解析し、自動的に病変部を異常陰影候補として検出することが可能なコンピュータ支援診断装置と呼ばれる医用画像処理装置が開発されている。

当該医用画像処理装置では、入力された医用画像データに基づいて、癌等を表す異常な腫留陰影や、高濃度の微小石灰化陰影等の異常陰影候補を検出することができる。このように、医師の診断作業の一部を自動化させることにより、診断に対する医師の負担を軽減するとともに、診断結果の精度向上を図ることが可能となっている。

ここで、医用画像に基づく診断に際しては、医師は、医用画像の読影に加え、読影結果に関するレポートを診断結果として作成しなければならない。そして、このレポートの作成作業も、医師にとっては非常に負荷が大きい。

一方、このようなレポート作成時の作業負荷を軽減すべく、読影結果を入力する際の定型文を作成しておき、当該定型文を選択するだけで読影結果に関するレポートを作成することが可能な医用画像処理装置が提案されている（例えば、特許文献１参照）。
特開２００４−１６７０８７号公報

上記特許文献１の場合、定型文で規定される態様のもとで、各項目について選択された文字列を埋め込んでレポートを作成する構成としているため、読影結果についての表現が限定されてしまう。

一方、定型文を表示する代わりに、入力中の文字に関連する単語・文章を変換候補として表示する、いわゆる入力予測技術を取り入れることも有効である。しかし、従来の入力予測技術は、入力頻度の高い単語や最近入力された単語を変換候補の上位に表示させる構成となっている。つまり、読影した医用画像に適した単語・文章を優先的に表示する構成とはなっておらず、入力予測技術を取り入れたとしても効率的なレポート作成ができるようになるとは限らない。

本発明は上記課題に鑑みてなされたものであり、医用画像の読影結果に関するレポートを作成するにあたり、表現上の制約を受けることなく、かつ効率的にレポートを作成することができるようにすることを目的とする。

上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
医用撮像装置を用いて被検者を撮像することにより得られた、複数の部位を有する医用画像を入力する画像入力手段と、
前記入力された医用画像を解析して、前記撮像された被検者の異常が検出された部位の優先度を、異常が検出されなかった部位の優先度よりも上げる優先度情報を取得する取得手段と、
前記医用画像を読影した結果を、文字情報として入力する入力手段と、
前記入力された文字情報に関連する複数の文字情報を、変換候補として出力する出力手段と、
前記入力された文字情報を、前記変換候補の中から選択された文字情報に変換する変換手段と、
前記変換候補として出力される文字情報のうち、前記取得手段により取得された優先度情報と関係する文字情報が、前記出力手段により優先的に出力されるように、該変換候補として出力される文字情報に、予め優先順位を設定する設定手段とを備える。

本発明によれば、医用画像の読影結果に関するレポートを作成するにあたり、表現上の制約を受けることなく、かつ効率的にレポートを作成できるようになる。

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、以下の各実施形態における医用画像処理装置は、医用画像の読影結果の入力に際して、医師が入力した文字に関連する単語・文章を変換候補として表示する。このとき、医用画像処理装置では、該医用画像の解析結果に基づいて設定された優先順位に基づいて、変換候補を表示することを特徴としている。

なお、以下の各実施形態の説明において、「入力（認識）した文字に関連する単語・文章」とは、入力した文字からはじまる単語・文章のことをいうものとする。入力した文字からはじまる単語・文章は、辞書として機能する変換候補テーブルに予め登録された複数の単語・文章の中から抽出され、「変換候補」として表示される。

また、「部位名または疾病名に関係する単語・文章」とは、当該部位名や疾病名を表わす単語そのもののほか、当該部位名や疾病名の上位概念を表わす単語や、当該部位名や疾病名を含む文章を含むものとする。また、当該部位名や疾病名を用いて文章を作成する際に慣習的に用いる単語・文章も含むものとする。

［第１の実施形態］
１．医用画像処理システムの構成
図１は、本発明の第１の実施形態にかかる医用画像処理装置を備える、医用画像処理システム１００の構成を示す図である。

図１に示すように、医用画像処理システムは、医用画像処理装置１０１と医用撮像装置１０２と画像データベース１０３とを備え、ネットワーク１０４を介して互いに通信可能に接続されている。

医用撮像装置１０２は、被検者を撮像し医用画像を生成する装置であり、Ｘ線装置、ＣＴ、ＭＲＩ、ＰＥＴ、超音波診断装置、ＯＣＴ等が含まれる。なお、ＰＥＴとは、Positron Emission Tomographyの略であり、ＯＣＴとは、Optical Coherence Tomographyの略である。

画像データベース１０３は、医用撮像装置１０２にて撮像された医用画像に、検査日時、病院名、患者の氏名・生年月日、検査の種類、検査部位などの管理属性情報を付加して保存する。

医用画像処理装置１０１は、医用撮像装置１０２にて撮像された医用画像や画像データベース１０３に保存された医用画像を表示するとともに、表示された医用画像に基づいて医師が読影した結果を文字情報として入力し、レポートを作成するための装置である。

２．医用画像処理装置１０１のハードウェア構成
図２は医用画像処理装置１０１のハードウェア構成を示した図である。図２に示すように、医用画像処理装置１０１は、構成要素として、ＣＰＵ（中央演算処理装置）２０１、入力装置２０３、表示装置２０４、メモリ２０２、ディスク２０５を備える。

ＣＰＵ２０１は、各種制御プログラムを実行するとともに、医用画像処理装置１０１の各構成要素の動作を制御する。入力装置２０３は医師によるポインティング入力及び文字等の入力を受け付ける。表示装置２０４は、ＣＰＵ２０１による各種制御プログラムの実行結果を表示する。表示装置２０４には、例えばＣＲＴモニタや液晶モニタ等が含まれる。

メモリ２０２は、所定の制御プログラムを格納したり、制御プログラム実行時の作業領域を提供する。ディスク２０５は、オペレーティングシステム（ＯＳ）２０６、周辺機器のデバイスドライブ２０７、ならびに本発明に係る画像処理方法を実現するための制御プログラム（「レポート作成支援プログラム」２０８と称す）を含む各種制御プログラムを格納する。更に、各種制御プログラムの実行の際に用いられるデータ等（例えば、レポート作成支援プログラム２０８を実行する際に用いる「変換候補テーブル」２０９（詳細は後述））を格納する。

３．医用画像処理装置１０１の機能構成
次に、医用画像処理装置１０１のレポート作成支援プログラム２０８が実行されることにより実現される各機能（以下、単に、医用画像処理装置１０１が有する各機能という）について説明する。

図３は、医用画像処理装置１０１が有する各機能の構成を示した図である。図３に示すように、医用画像処理装置１０１が有する各機能には、医用撮像装置１０２または画像データベース１０３より送信された医用画像データを入力する画像入力部３０１が含まれる。

また、入力された医用画像データの画像解析を行い、読影結果の入力において利用可能な部位名や疾病名等（被検者に関する診断に関わる情報）を特定する画像解析部３０２が含まれる。更に変換候補テーブル２０９に登録された単語・文章の中から抽出された変換候補の表示にあたって利用される優先順位を、画像解析部３０２における画像解析結果に基づいて設定する優先順位設定部３０３が含まれる。

更に、入力装置２０３を介して入力され、入力部３０５において認識された文字に関連する単語や文章を変換候補として提供するために、複数の単語・文章が登録された変換候補テーブル２０９を、ディスク２０５に格納する変換候補記憶部３０４が含まれる。

更に、入力装置２０３を介して入力された文字を認識する入力部３０５と、入力部３０５において認識された文字に関連する単語や文章を、変換候補として変換候補テーブル２０９から抽出する変換候補予測部３０６が含まれる。なお、変換候補予測部３０６は、抽出された変換候補のうち、実際に医師によって選択された変換候補を判別し、変換候補テーブル２０９に対して、当該選択された変換候補の選択回数を設定することもできる。

更に、変換候補予測部３０６において抽出された変換候補を、該変換候補に対応付けて設定された優先順位に従って表示するよう制御する表示制御部３０７が含まれる。

更に、入力部３０５において認識された文字を表示したり、変換候補予測部３０６において抽出された変換候補を表示制御部３０７の制御のもとで表示したり、画像入力部３０１により入力された医用画像データを表示する表示部３０８が含まれる。

４．変換候補テーブルの構成
図４は、変換候補テーブル２０９の構成例を示す図である。図４に示すように、変換候補テーブル２０９には、入力部３０５において認識された文字に関連する単語や文章を変換候補として提供すべく、複数の単語・文章が「変換候補群」４０４に登録されている。

また、変換候補群４０４に登録された各単語・文章が、人体の部位名に関する単語・文章なのか、疾病名に関する単語・文章なのか、疾病の程度に関する単語・文章なのか、あるいはその他の単語・文章なのかを示す情報が、「種類」４０２に登録されている。なお、変換候補群４０４及び種類４０２は、レポート作成支援プログラム２０８を実行するにあたり、予め変換候補テーブル２０９に登録されているものとする。

更に、変換候補テーブル２０９は、変換候補群４０４に登録された各単語・文章に対応付けて、検出識別子４０１及び選択回数４０３が設定できるように構成されている。

検出識別子４０１は、変換候補群４０４に登録された各単語・文章が変換候補として表示される際に利用される優先順位を示す識別子であり、優先順位設定部３０３により設定される（詳細は後述）。

また、選択回数４０３は、変換候補予測部３０６により抽出された変換候補のうち、実際に、医師により選択され、レポート作成に使用された変換候補についての使用回数であり、変換候補予測部３０６により設定される。

次に検出識別子４０１に設定される設定値について説明する。なお、ここでは、一例として、種類４０２に“部位”が登録されている単語・文章に対応付けられた検出識別子４０１に設定される設定値について説明する。

変換候補テーブル２０９の変換候補群４０４に登録された各単語・文章のうち、入力された医用画像データ中には含まれていない部位の部位名に関係する単語・文章については、これに対応付けられた検出識別子４０１に、“００００”が設定される。

一方、変換候補テーブル２０９の変換候補群４０４に登録された各単語・文章のうち、入力された医用画像データ中に含まれている部位の部位名に関係する単語・文章については、これに対応付けられた検出識別子４０１に、“０００１”が設定される。

更に、入力された医用画像データ中に含まれており、かつ異常が検出された部位の部位名に関係する単語・文章については、これに対応付けられた検出識別子４０１に、“００１１”が設定される。

なお、レポートの作成中に、特定の部位名や疾病名について記述が終了したと判断された場合には、当該特定の部位名や疾病名に関係する単語・文章については、これに対応付けられた検出識別子に、“００１０”が再設定される。

こうして設定された検出識別子４０１の優先順位は、表示制御部３０７において００１１＞０００１＞００１０＞００００として取り扱われるものとする。

このように、本実施形態にかかる医用画像処理装置では、医師が入力した文字に対して、変換候補テーブルから変換候補を抽出し表示するにあたり、変換候補テーブルに登録された単語・文章に対して予め医用画像の解析結果に基づく優先順位が設定される。

これにより、医用画像に適した変換候補が優先的に表示されることなり、医師が効率的にレポート作成できるようになる。

なお、変換候補テーブル２０９の検出識別子４０１に設定される設定値のｂｉｔ数に制限はなく、４ｂｉｔより多くても少なくても良い。また、設定値の種類は００１１、０００１、００１０、００００の４種類に限定されるものではない。

５．画像解析部３０２の機能
次に画像解析部３０２における処理内容について説明する。画像解析部３０２では、画像入力部３０１により入力された医用画像データを画像解析し、該医用画像データに含まれる部位の検出を行う。

具体的には、入力された医用画像データが胸部ＣＴ画像データであった場合、当該医用画像データを肺野、横隔膜、気管支、肺動脈、肺静脈などの各部位に分割し、更に、肺野については、上葉、中葉、下葉等の各部位に分割する。ただし、分割される部位の種類はこれらに限定されるものではない。

ここで、本実施形態では、医用画像データに含まれる部位を検出するために、動的輪郭法の一種であるレベルセット法を用いるものとする。レベルセット法の場合、検出対象の部位の次元よりも一次元高いレベルセット関数を定義し、検出したい部位をそのゼロ等高線であるとみなす。そして、レベルセット方程式と呼ばれる以下の発展方程式に基づいてこの関数を更新することで、輪郭を制御し部位を検出する。

φｔ＋Ｆ｜Ｖφ｜＝０
ここで、φｔはレベルセット関数を時間軸方向に１次微分した値、Ｆは輪郭の成長速度、｜Ｖφ｜はレベルセット関数の勾配の絶対値をそれぞれ表している。

なお、上述の説明では、レベルセット法を例に部位を検出する方法を説明したが、部位の検出方法には、これ以外にも閾値処理による方法、領域拡張法、動的輪郭法、クラスタ化、グラフ最小切断法などがある。したがって、これらの手法のいずれか、あるいはその他の技術を用いて部位を検出するようにしてもよい。また、これらの検出方法を部位に応じて切り替えて使用するようにしても良い。さらに、画像特徴量を使用するだけではなく、事前知識として確率アトラスや人体形状モデルなどを利用して部位の検出を行うようにしても良い。

画像解析部３０２では、更に、検出した部位について、医学知識と照合することにより、部位名を特定する。例えば、医用画像データが胸部の医用画像データであった場合には、肺葉、区域、気管支、リンパ節、動脈・静脈などの各部位名が特定される。

更に、画像解析部３０２では、上記部位名の特定に加えて、当該部位から肺癌などの異常を検出する。

異常を検出する方法としては、異常を検出するためのフィルタ処理、パターンマッチング処理、識別器による異常検出処理、過去画像や平均形状画像などと対象とする医用画像とのレジストレーションを行い差分を検出する処理などが挙げられる。画像解析部３０２では、これらのいずれか、あるいはその他の技術を用いることにより、異常を検出する。

更に、画像解析部３０２では、検出された異常についての疾病分類や、良悪性鑑別を行う。検出された異常の疾病分類や良悪性識別には、サポートベクターマシン、ＡｄａＢｏｏｓｔ、ベイズ識別器、ニューラルネットなどの識別器を用いることとする。ただし、これらの識別器に限定されるものではない。

６．優先順位設定部３０３の機能
次に、優先順位設定部３０３における処理内容について、図５のフローチャートを用いて、図６を参照しながら説明する。

ステップＳ５０１において、ＣＰＵ２０１は、画像解析部３０２において特定された部位名を取得する。

ステップＳ５０２において、ＣＰＵ２０１は、変換候補テーブル２０９を検索し、ステップＳ５０１において取得した各部位名に関係する単語・文章（種類４０２が“部位”の単語・文章）を判別する。そして、該判別した単語・文章に対応付けられた検出識別子４０１に、“０００１”を設定する。

なお、ここでは、医用画像データに、下応膜リンパ節、下行大動脈、下葉Ｓ７、気管、気管気管支リンパ節、胸椎、胸膜などの部位が含まれているものとする。このため、図６に示すように、変換候補テーブル２０９のうち、これらの部位名に関係する単語・文章に対応付けられた検出識別子４０１には、“０００１”が設定される（６０１参照）。なお、肝臓及び肝動脈は、医用画像データ内に含まれていない部位である。このため、図６の場合、これらの部位名に関係する単語・文章に対応付けられた検出識別子４０１は“００００”のままとなる（６０１’参照）。

ステップＳ５０３では、画像解析部３０２が異常を検出したか否かに応じて、ＣＰＵ２０１が処理の分岐を行う。画像解析部３０２が異常を検出していなかった場合には、優先順位設定部３０３の処理を終了する。

一方、画像解析部３０２が異常を検出していた場合には、ステップＳ５０４に進む。ステップＳ５０４では、当該異常が検出された部位の部位名に関係する単語・文章（種類４０２が“部位”の単語・文章）の優先順位を高くすべく、これに対応付けられた検出識別子４０１に、“００１１”を設定する。

なお、ここでは、医用画像データに含まれる各部位のうち、下葉（右）Ｓ６に異常が検出されたものとする。このため、図６に示すように、下葉（右）Ｓ６と、下葉（右）Ｓ６を含む下葉にそれぞれ対応付けられた検出識別子４０１に、“００１１”が設定される（６０２参照）。

ステップＳ５０５では、画像解析部３０２において検出された疾病名を取得し、ＣＰＵ２０１が、該疾病名に基づいて変換候補テーブル２０９を検索する。そして、当該疾病名に関係する単語・文章（種類４０２が“疾病”の単語・文章）があった場合には、当該単語・文章に対応付けられた検出識別子４０１に所定の設定値を設定する。

具体的には、取得した疾病名に関係する単語・文章（種類４０２が“疾病”の単語・文章）に対応付けられた検出識別子４０１に、“０００１”が設定される。

ただし、取得した疾病名に関係する単語・文章（種類４０２が“疾病”の単語・文章）であっても、当該疾病が生じる臓器領域以外の臓器領域にしか生じえない疾病に関係する単語・文章に対応付けられた検出識別子４０１には、“００００”が設定される。

また、取得した疾病名に関係する単語・文章以外の単語・文章（種類４０２が“疾病”の単語・文章）に対応付けられた検出識別子４０１についても“００００”が設定される。

例えば、臓器領域が胸部であり、ステップＳ５０５において取得された疾病名が結節性肝硬変であったとする。この場合、図６に示すように、腹部または頭部にしか生じえない疾病名に関係する単語（例えば、結節性肝硬変）に対応する検出識別子４０１は、“００００”のままとなる（６０３参照）。

一方、取得した疾病名に関係する単語・文章（例えば、結節性肺結核、結核）に対応する検出識別子４０１には、“０００１”が設定される（６０４参照）。

ステップＳ５０６において、ＣＰＵ２０１は、ステップＳ５０１にて取得された部位名とステップＳ５０５にて取得された疾病名に関連するその他の単語・文章（種類４０２が“程度”の単語・文章）に対応する検出識別子４０１に、“００１１”を設定する。

例えば、肺下葉（右）Ｓ６で境界不明瞭な結節を検出した場合に、病気の程度を表す単語・文章として、「境界不明瞭」、「淡い」、「不整形の」といった単語に対応する検出識別子４０１には、“００１１”が設定される（６０５参照）。

更に、「認めます」、「見られます」等の単語・文章（種類４０２が“その他”の単語・文章）であって、取得された部位名や疾病名に関係する単語・文章に対応付けられた検出識別子４０１には、“００１１”が設定される（６０６参照）。

７．変換候補予測部３０６の機能
次に、変換候補予測部３０６における処理内容について説明する。変換候補予測部３０６では、ＣＰＵ２０１が、変換候補記憶部３０４により格納された変換候補テーブル２０９を検索して、入力部３０５において認識された文字に関連する変換候補を読み出す。

以下、変換候補の読み出し方法について、図７を用いて説明する。

図７は、医用画像処理装置１０１におけるレポート作成用のＵＩの一例を示す図である。ここでは、医用画像処理装置１０１の表示装置２０４に表示されたレポート記入欄７０１に、医師によって、文字“か”が入力されたとする。

ここで、従来のように、当該文字の変換候補（“か”からはじまる単語・文章）を、選択回数の多い順番で変換候補テーブル２０９から読み出すこととすると、肝臓＞下葉（右）Ｓ７＞肝動脈＞下葉（左）Ｓ６＞下葉（右）Ｓ６＞・・・の順となる。

これに対して、変換候補予測部３０６では、選択回数や最近読み出された順番に基づいて変換候補を読み出すのではなく、検出識別子４０１に設定された設定値の優先順位と選択回数４０３とに基づいて変換候補を読み出して配列する。

ここで、検出識別子に設定された設定値の優先順位は００１１＞０００１＞００１０＞００００であるため、図７の例では、下葉（右）Ｓ６＞下葉＞下葉（右）Ｓ７＞下葉（左）Ｓ６＞・・・肝臓＞肝動脈＞・・・の順で読み出されることとなる。表示制御部３０７によって、かかる順番で変換候補テーブル２０９から読み出された変換候補は、表示部３０８により表示される。

なお、読み出された変換候補の表示方法は、図７の７０２に示すように、入力された文字のカーソル付近にプルダウンメニューまたはポップアップ形式で表示しても良いし、別ウィンドウにより表示しても良い。

また、変換候補の表示位置は画面上の上、下、右、左のどこでも良く、表示サイズも医師が任意に設定できるものとする。更に、変換候補の表示数も任意に設定できるものとする。また、変換候補は単語単位ではなく、図７（ｂ）に示すように、文章形式で表示しても良い。

また、変換候補予測部３０６は、医師がレポート記入欄７０１に記入した部位名或いは疾病名の少なくとも一つを検出すると、その部位名或いは疾病名に関しては、読影した結果がレポートとして記入済み（変換済み）であると判断する。

なお、記入済みであるか否かの判断は、一度使用された時点で記入済みと判断する方法のほか、段落検出または句点検出した時点で判断する方法であってもよい。あるいは構文解析・意味解析を行って文章の意味を認識した時点で判断する方法であってもよい。

記入済みであると判断すると、変換候補予測部３０６では、変換候補テーブル２０９に登録されている、当該記入済みの部位名または疾病名に関係する単語・文章に対応付けられた検出識別子４０１に、“００１０”を設定する。

これにより、読影した結果として既にレポートに記入済みの部位名または疾病名に関係する単語・文章に関しての優先順位が下がることとなる。この結果、図８に示すように、まだレポート記入欄７０１に記入していない部位名或いは疾病名に関係する単語・文章が、プルダウンメニュー８０１の上位に表示されることとなる。

なお、変換候補予測部３０６は、入力部３０５において認識された文字に関連する単語・文章を全て抽出するのではなく、スクリーニング或いは精密検査或いは経過観察といった検査目的に応じて絞り込んだ上で、変換候補として抽出するように構成しても良い。

その際、検査目的に応じた変換候補テーブルを別々に構築しておき、それらの変換候補テーブルから検索して変換候補を抽出するようにしても良い。

もしくは、変換候補テーブルは共通にし、検査目的に合致する単語・文章に対応付けられた検出識別子に特定の設定値を設定しておき、検出識別子に特定の設定値が設定された変換候補のみを抽出するようにしても良い。なお、検査目的に合致する単語・文章とは、例えば、病気の進行具合を示す、結節数の増減や大きさの変化を表わす単語・文章（種類４０２が“その他”の単語・文章）である。

以上の説明から明らかなように、本実施形態にかかる医用画像処理装置では、入力された文字に関連する単語や文章を変換候補として表示するにあたり、医用画像の解析結果に応じて設定された優先順位に基づいて変換候補を表示する構成とした。

この結果、選択される可能性の高い変換候補を表示させることが可能となり、医師が医用画像に基づいて読影した結果に関してレポートを作成するにあたり、表現上の制約を受けることなく効率的にレポートを作成することができるようになる。

［第２の実施形態］
上記第１の実施形態では、画像入力部により入力される医用画像データが１つの場合について説明した。しかしながら、本発明にかかる医用画像処理装置は、入力される医用画像データが１つの場合に限定されず、同時に複数の医用画像データが入力されてもよい。同時に複数の医用画像データが入力される場合とは、例えば、同じ臓器領域について、スライス位置の異なる連続した医用画像データが入力される場合などである。

このように、同時に複数の医用画像データが入力されると、医用画像データごとに、画像解析の結果検出される部位名や疾病名が異なってくることが考えられる。

このため、本実施形態では、現在、医師がどの医用画像について読影を行っているのかを管理し、現在読影している医用画像から検出された部位名や疾病名に関係する単語・文章について優先順位を上げる（優先的に表示する）ように構成した。更に、医師が読影を完了した医用画像について管理し、既に読影が完了した医用画像から検出された部位名や疾病名に関係する単語・文章については優先順位を下げる（非優先的に表示する）ように構成した。

以下、本実施形態にかかる医用画像処理装置の詳細について説明する。

１．医用画像処理装置の機能構成
図９は、本発明の第２の実施形態にかかる医用画像処理装置の機能構成を示す図である。本実施形態にかかる医用画像処理装置の機能構成は、基本的には、第１の実施形態にかかる医用画像処理装置の機能構成と同じである。ただし、本実施形態にかかる医用画像処理装置において実現される機能には、更に、医師の読影状態を検出する読影状態検出部９０１が含まれる。

２．読影状態検出部の機能
読影状態検出部９０１の処理内容について図１０のフローチャートを用いて説明する。ステップＳ１００１において、ＣＰＵ２０１は、画像解析部３０２が特定した部位名或いは疾病名をすべて取得する。これにより、入力された複数の医用画像データに含まれるすべての部位名・疾病名が取得される。

ステップＳ１００２において、ＣＰＵ２０１は、医師の読影状態（医師が読影した医用画像）を取得する。具体的には、医用画像として、ＣＴデータのスライス画像が複数入力された場合にあっては、医師が読影した医用画像として、スライスＮｏ．の履歴を取得する。

ステップＳ１００３において、ＣＰＵ２０１は、医師が読影している医用画像から検出された部位名や疾病名があるか否かを判断する。医師が読影している医用画像から検出された部位名や疾病名があると判断された場合には、優先順位設定部９０２における処理に進む。これにより、優先順位設定部９０２では、複数の医用画像のうち、医師が読影している医用画像から検出された部位名や疾病名を、逐次、認識することができることとなる。

一方、医師が読影している医用画像から検出された部位名や疾病名がないと判断された場合には、ステップＳ１００４に進む。ステップＳ１００４では、医師がすべての医用画像について読影を完了したか否かを、ＣＰＵ２０１が判断し、すべての医用画像について読影が完了していないと判断した場合には、ステップＳ１００２に戻る。一方、すべての医用画像について読影が完了したと判断した場合には、読影状態検出部９０１の処理を終了する。

３．優先順位設定部９０２の機能
次に、優先順位設定部９０２の処理内容を示す図１１のフローチャートに沿って、図１２を参照しながら説明する。図１１は、優先順位設定部９０２における処理の流れを示すフローチャートである。また、図１２は、医用画像データに胸部から腹部までの臓器領域が含まれ、画像解析部３０２が胸部と腹部に異常を検出した場合であって、医師が胸部の医用画像データについて読影を完了した状態における変換候補テーブルの一例を示す図である。

ステップＳ１１０１において、ＣＰＵ２０１は、読影状態検出部９０１が取得した部位名を取得する。

ステップＳ１１０２において、ＣＰＵ２０１は、変換候補テーブル２０９を検索し、ステップＳ１１０１で取得した部位名に関係する単語・文章（種類４０２が“部位”の単語・文章）に対応付けられた検出識別子４０１に、所定の設定値を設定する。

具体的には、図１２に示すように、入力された医用画像データ中に含まれ、かつ医師が未読の部位名に関係する単語・文章に対応付けられた検出識別子には、“０１０１”が設定される（１２０１参照）。

更に、医用画像データ中に含まれ、かつ医師が既読の部位名に関係する単語・文章に対応付けられた検出識別子には、“０００１”が設定される（１２０２参照）。

一方、入力された医用画像データ中に含まれていない部位名に関係する単語・文章に対応付けられた検出識別子には、“００００”が設定される。

続いてステップＳ１１０３において、ＣＰＵ２０１は、画像解析部３０２が異常を検出したか否かに応じて処理の分岐を行う。画像解析部３０２が異常を検出していなかった場合には、優先順位設定部９０２の処理を終了する。

一方、画像解析部３０２が異常を検出していた場合には、ステップＳ１１０４で、その異常が含まれる部位名に関係する単語・文章（種類４０２が“部位”の単語・文章）に対応付けられた検出識別子に、所定の設定値を設定する。

具体的には、図１２に示すように、画像解析部３０２が異常を検出した部位であって、医師が未読の部位名に関係する単語・文章に対応付けられた検出識別子には、“０１１１”が設定される（１２０３参照）。

また、画像解析部３０２が異常を検出した部位であって、医師が既読の部位名に関係する単語・文章に対応付けられた検出識別子には、“００１１”が設定される（１２０４参照）。

更に、ステップＳ１１０５において、ＣＰＵ２０１は、画像解析部３０２が画像解析において検出した疾病名を取得するとともに、該取得した疾病名に基づいて変換候補テーブル２０９を検索する。そして、該取得した疾病名に関係する単語・文章（種類４０２が“疾病”の単語・文章）に対応付けられた検出識別子に、所定の設定値を設定する。

具体的には、以下のように設定値を設定する。
（１）取得した疾病名に関係する単語・文章（種類４０２が“疾病”の単語・文章）であって、現在、医師が読影中の医用画像データ中に含まれている疾病名に関係する単語・文章
→疾病名が既読である場合には、該疾病名に関係する単語・文章に対応付けられた検出識別子に、“０００１”が設定される（１２０５参照）。

→疾病名が未読である場合には、該疾病名に関係する単語・文章に対応付けられた検出識別子に、“０１０１”が設定される（１２０６参照）。
（２）取得した疾病名に関係する単語・文章（種類４０２が“疾病”の単語・文章）であって、現在、医師が読影中の医用画像データ中に含まれていない疾病名に関係する単語・文章
→疾病名が既読である場合には、該疾病名に関係する単語・文章に対応付けられた検出識別子に、“００１１”が設定される（１２０７参照）。

→疾病名が未読である場合には、該疾病名に関係する単語・文章に対応付けられた検出識別子に、“０１１１”が設定される（１２０８参照）。
（３）取得した疾病名に関係する単語・文章以外の単語・文章（種類４０２が“疾病”の単語・文章）
→対応付けられた検出識別子に、“００００”が設定される。

なお、検出識別子４０１に設定された設定値の優先順位は、表示制御部３０７において００１１＞０００１＞００１０＞０１１１＞０１０１＞００００として取り扱われるものとする。

ステップＳ１２０６において、ＣＰＵ２０１は、取得された部位名と疾病名に関係するその他の単語・文章（種類４０２が“程度”、“その他”の単語・文章）に対応付けられた検出識別子４０１に、所定の設定値を設定する。

一例として、肺下葉で境界不明瞭な結節を検出した場合について説明する。この場合、「境界不明瞭」、「認めます」、「見られます」、「疑います」等の部位名・疾病名以外の単語・文章で、取得された部位名または疾病名に関係する単語・文章に対応付けられた検出識別子４０１には、“００１１”が設定される（１２０９参照）。

４．変換候補予測部９０３の機能
次に、変換候補予測部９０３における処理内容について説明する。変換候補予測部９０３では、ＣＰＵ２０１が、変換候補記憶部３０４により格納された変換候補テーブル２０９を検索して、入力部３０５において認識された文字の変換候補を読み出す。

以下、変換候補の読み出し方法について、図１３を用いて説明する。

医用画像処理装置１０１の表示装置２０４に表示されたレポート記入欄１３００に、医師によって、文字“か”が入力されたとする。

ここで、従来のように、当該文字の変換候補（“か”からはじまる単語・文章）を、選択回数の多い順番で変換候補テーブル２０９から読み出すこととすると、肝臓＞下葉（右）Ｓ７＞肝動脈＞下葉（左）Ｓ６＞下葉（右）Ｓ６＞・・・の順となる。

これに対して、変換候補予測部９０３では、選択回数や最近読み出された順番に基づいて変換候補を読み出すのではなく、検出識別子４０１に設定された優先順位と選択回数４０３とに基づいて変換候補を読み出して配列する。

ここで、検出識別子４０１に設定された設定値の優先順位は００１１＞０００１＞００１０＞０１１１＞０１０１＞００００である。このため、図１３の例では、下葉（右）Ｓ６＞下葉＞下葉（右）Ｓ７＞下葉（左）Ｓ６＞・・・肝臓＞肝動脈＞・・・の順で読み出されることとなる。表示制御部３０７によりかかる順番で変換候補テーブル２０９から読み出された変換候補は、表示部３０８により表示される。

なお、画像解析部３０２が胸部と腹部に異常を検出しているが、医師がまだ腹部の異常を見ていない状態でレポートを作成し始めているので、“か”の文字の変換候補には、胸部に関係する単語・文章が抽出されることとなる。

以上のように、本実施形態にかかる医用画像処理装置では、医師の読影状態（読影中の医用画像）を検出する読影状態検出部を備える構成とした。

これにより、複数の医用画像データが同時に入力された場合であっても、現在、医師が読影している医用画像を加味して、選択される可能性の高い変換候補を表示することが可能となる。この結果、医師が医用画像に基づいて読影した結果に関してレポートを作成するにあたり、表現上の制約を受けることなく効率的にレポートを作成することができるようになる。

［第３の実施形態］
上記第１及び第２の実施形態では、画像入力部により入力され、表示部により表示される医用画像の表示条件は一定であるとして説明した。しかしながら、本発明にかかる医用画像処理装置は、医用画像を表示する際の表示条件が１つとは限らず、様々な表示条件のもとで医用画像データを表示することができるものとする。なお、表示条件は、各医用撮像装置の特性や病院毎の撮像時の設定条件に基づいて、個別に設定されるものとする。

このように、様々な表示条件のもとで医用画像の表示を行った場合、同一の医用画像データであっても、表示条件により、実際に表示される部位名や疾病名が異なってくる。

例えば、胸部ＣＴデータの場合、図１４（ａ）に示すように、縦隔や胸壁の軟部組織を中心に表示する縦隔条件では、肺野は真黒に表示される。

一方、図１４（ｂ）に示すように、肺野を中心に表示する肺野条件では、肺野の病変や肺血管がよく表示されるが、縦隔の軟部組織はすべて真っ白に表示される。

このため、本実施形態では、上記読影状態検出部９０１に、更に、医用画像を読影する際の表示条件も管理させることとした。そして、当該医用画像に対する画像解析において検出された部位名や疾病名のうち、実際の表示条件のもとで表示されうる部位名や疾病名を判断し、当該部位名や疾病名に関係する単語・文章について優先順位を上げるように構成した。以下に、本実施形態にかかる医用画像処理装置における処理内容について説明する。

本実施形態にかかる医用画像処理装置の場合、画像解析部３０２、読影状態検出部９０１及び優先順位設定部９０２における処理内容は、基本的に上記第２の実施形態と同じである。

このため、変換候補テーブル２０９の検出識別子４０１には、００１１、０００１、００１０、０１１１、０１０１、００００のいずれかが設定されることとなる。

ただし、本実施形態の場合、読影状態検出部９０１は、医師の読影状態として、スライスＮｏ．を取得することに加え、該スライスＮｏ．と連動する輝度条件を取得する。更に、当該輝度条件（表示条件）のもとで医用画像を表示した場合に、当該医用画像に表示されうる部位名または疾病名を判断する。

読影状態検出部９０１では、医用画像が表示されるたびに、当該判断を行い、医用画像に表示されうると判断された部位名または疾病名を特定する。更に、特定された部位名または疾病名に関係する単語・文章に対応付けられた検出識別子４０１については、所定の設定値を再設定する。

具体的には、特定された部位名または疾病名に関係する単語・文章に対応付けられた検出識別子４０１には、すでに設定されている設定値の最上位の桁を、“０”から“１”に置き換えて設定値を設定する。

この結果、変換候補テーブル２０９の検出識別子４０１には、新たに、１０１１、１００１、１０１０、１１１１、１１０１のいずれかの設定値が加わることとなる。

なお、検出識別子４０１に設定された設定値の優先順位は、表示制御部３０７において１０１１＞００１１＞１００１＞０００１＞１０１０＞００１０＞１１１１＞０１１１＞１１０１＞０１０１＞００００として取り扱われるものとする。

以上の説明から明らかなように、本実施形態では、スライスＮｏ．だけではなく、表示条件も考慮に入れることで、読影に際して医師が実際に見た部位名・疾病名を抽出することが可能となる。

［第４の実施形態］
次に、本発明の第４の実施形態として、医師の記述パターンを学習し、学習結果に基づいて変換候補を表示する医用画像処理装置について説明する。

図１５は本発明の第４の実施形態にかかる医用画像処理装置が有する各機能の構成を示した図である。図１５に示すように、本実施形態にかかる医用画像処理装置が有する機能は、上記第１の実施形態にかかる医用画像処理装置が有する機能と基本構成は同じである。ただし、上記第１の実施形態にかかる医用画像処理装置が有する機能に加え、さらに医師のレポート作成時の記述パターンを学習する学習部１５０１が含まれている。

学習部１５０１が含まれることで、本実施形態にかかる医用画像処理装置では、医師がレポートを作成する際の、文章の癖や文章構成全体での書く癖を学習することができる。

例えば、文章の癖として、読影結果を記述するにあたり、部位から書き始めるのか、あるいは疾病から書き始めるのかといった癖が挙げられる。また、文章構成全体での書く癖として、読影結果を記述していく際の部位の順番などが挙げられる。

なお、単語間の文法規則は、医師が入力した文章に対して構文解析・意味解析を行うことにより学習する。そして、医師ごとの文法規則に基づいて設定される検出識別子と、変換候補の選択回数とを用いて変換候補を読み出す。

以上の説明から明らかなように、本実施形態にかかる医用画像処理装置では、入力規則を学習する学習部を備える構成とした。このため、医師が記入したい変換候補を精度良く抽出することが可能となる。この結果、医師に医用画像に基づいて読影した内容についてのレポートを作成するにあたり、表現上の制約を受けることなく効率的にレポートを作成することができるようになる。

［第５の実施形態］
上記第１の実施形態では、入力された医用画像データを、医用画像処理装置内の画像解析部において解析する構成としたが、本発明はこれに限定されない。例えば、画像解析部を外部装置において実現し、医用画像処理装置では、当該外部装置における画像解析結果を受信するように構成してもよい。

図１６は本発明の第５の実施形態にかかる医用画像処理装置において実現される機能構成を示す図である。本実施形態にかかる医用画像処理装置において実現される機能には、医用撮像装置において取得された医用画像を解析する外部装置より送信された画像解析結果を入力する画像解析入力部１６０１が含まれる。

なお、医用画像を解析する外部装置より送信される画像解析結果には、医用画像データ、医用画像データに含まれる部位名、疾病名、疾病の程度、疾病の進行具合の少なくとも一つが含まれる。

なお、画像解析入力部１６０１は、医用画像処理装置の外部で画像解析した結果を、ネットワークを利用して入力するように構成してもよいし、医用画像処理装置に接続された記憶媒体に記憶された画像解析結果を読み出して入力するように構成しても良い。

このうち、図１７は、医用画像処理装置１０１と外部装置１７０１とが、ネットワークを介して接続された様子を示す図である。

医用画像処理装置１０１では、外部装置１７０１から送信される画像解析結果を用いて変換候補を表示する。この結果、医用画像処理装置が画像解析部を備えていなくとも、選択される可能性の高い変換候補を表示させることが可能となる。そして、医師が医用画像に基づいて読影した内容についてのレポートを作成するにあたり、表現上の制約を受けることなく効率的にレポートを作成することができるようになる。

［第６の実施形態］
上記第１乃至第５の実施形態では、レポート作成に際して、医師が入力した文字に関連する単語・文章を変換候補としてプルダウンメニューで表示する場合について説明したが、本発明はこれに限定されない。

例えば、図１８に示すように、画像解析結果に基づいて、選択される可能性の高い変換候補を、順に定型フォームのリストに表示するようにしても良い。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。

本発明の第１の実施形態にかかる医用画像処理装置を備える、医用画像処理システムの構成を示す図である。 医用画像処理装置のハードウェア構成を示した図である。 レポート作成支援プログラムが実行されることにより実現される各機能の構成を示した図である。 変換候補テーブルの構成例を示す図である。 優先順位設定部における処理内容を示すフローチャートである。 検出識別子が設定された変換候補テーブルの一例を示す図である。 医用画像処理装置におけるレポート作成用のＵＩの一例を示す図である。 医用画像処理装置におけるレポート作成用のＵＩの一例を示す図である。 本発明の第２の実施形態にかかる医用画像処理装置の機能構成を示す図である。 読影状態検出部における処理内容を示すフローチャートである。 優先順位設定部における処理内容を示すフローチャートである。 検出識別子が設定された変換候補テーブルの一例を示す図である。 医用画像処理装置におけるレポート作成用のＵＩの一例を示す図である。 医用画像処理装置に表示された医用画像の一例を示す図である。 本発明の第４の実施形態にかかる医用画像処理装置において実現される機能構成を示す図である。 本発明の第５の実施形態にかかる医用画像処理装置において実現される機能構成を示す図である。 本発明の第５の実施形態にかかる医用画像処理装置を備える、医用画像処理システムの構成を示す図である。 医用画像処理装置における変換候補の表示の一例を示す図である。

Claims (8)

1. 医用撮像装置を用いて被検者を撮像することにより得られた、複数の部位を有する医用画像を入力する画像入力手段と、
   前記入力された医用画像を解析して、前記撮像された被検者の異常が検出された部位の優先度を、異常が検出されなかった部位の優先度よりも上げる優先度情報を取得する取得手段と、
   前記医用画像を読影した結果を、文字情報として入力する入力手段と、
   前記入力された文字情報に関連する複数の文字情報を、変換候補として出力する出力手段と、
   前記入力された文字情報を、前記変換候補の中から選択された文字情報に変換する変換手段と、
   前記変換候補として出力される文字情報のうち、前記取得手段により取得された優先度情報と関係する文字情報が、前記出力手段により優先的に出力されるように、該変換候補として出力される文字情報に、予め優先順位を設定する設定手段と
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、前記入力された医用画像に対する解析結果に基づいて、前記医用画像から判断される疾病名、疾病の程度、または疾病の進行具合のうちの少なくともいずれかの優先度を上げる優先度情報を更に取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記出力手段は、前記設定された優先順位と、前記変換手段により過去に変換された回数とに基づいて、前記入力された文字情報に関連する複数の文字情報を配列し、前記変換候補として出力することを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、前記変換手段により変換済みの文字情報が、前記出力手段により非優先的に出力されるように、前記変換候補として出力される文字情報に、予め優先順位を設定することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像入力手段により入力された複数の医用画像のうち、読影中の医用画像と、該医用画像の表示条件とを認識する認識手段を更に備え、
   前記設定手段は、前記取得手段により取得された優先度情報のうち、前記認識手段により認識された医用画像について前記表示条件のもとで取得されうる優先度情報と関係する文字情報が、前記出力手段により優先的に出力されるように、前記優先順位を設定することを特徴とする請求項１に記載の画像処理装置。
6. 医用撮像装置を用いて被検者を撮像することにより得られた、複数の部位を有する医用画像を解析して、前記撮像された被検者の異常が検出された部位の優先度を、異常が検出されなかった部位の優先度よりも上げる優先度情報を取得する取得手段と、
   前記医用画像を読影した結果を、文字情報として入力する入力手段と、
   前記優先度情報に基づいて、撮像された部位に対応する前記文字情報の変換候補を優先して出力する出力手段と、
   前記入力した文字情報を、前記変換候補の中から選択された文字情報に変換する変換手段と
   を備えることを特徴とする画像処理装置。
7. 画像処理装置における画像処理方法であって、
   画像入力手段が、医用撮像装置を用いて被検者を撮像することにより得られた、複数の部位を有する医用画像を入力する画像入力工程と、
   取得手段が、前記入力された医用画像を解析して、前記撮像された被検者の異常が検出された部位の優先度を、異常が検出されなかった部位の優先度よりも上げる優先度情報を取得する取得工程と、
   入力手段が、前記医用画像を読影した結果を、文字情報として入力する入力工程と、
   出力手段が、前記入力された文字情報に関連する複数の文字情報を、変換候補として出力する出力工程と、
   変換手段が、前記入力された文字情報を、前記変換候補の中から選択された文字情報に変換する変換工程と、
   設定手段が、前記変換候補として出力される文字情報のうち、前記取得工程により取得された優先度情報と関係する文字情報が、前記出力工程において優先的に出力されるように、該変換候補として出力される文字情報に、予め優先順位を設定する設定工程と
   を備えることを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

Images