JP5487157B2 - 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム - Google Patents

Description

本発明は、被検体を断層撮影することにより取得した複数の断層画像からなる３次元画像を処理する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

近年、医療画像の分野においては、被写体をＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティにより撮像した３次元画像による画像診断が行われるようになってきている。そして、医師らは、必要に応じて病理検査部門または内視鏡検査部門に病理検査または内視鏡検査などの検査を依頼し、３次元画像と病理検査または内視鏡検査などの検査結果に基づいて確定診断を行うことが行われている。また、病理検査または内視鏡検査などの検査担当者は、患者の検査情報を作成して確認する際に、同じ患者の３次元画像を参照する場合がある。

しかしながら、一般的に病理検査部門または内視鏡検査部門により得られた検査結果と３次元画像とは別々に管理されているため、医師らは確定診断を行うために患者の病理検査情報または内視鏡検査情報の有無および各検査結果をそれぞれ検索して取得することが必要であり、病理検査または内視鏡検査などの検査担当者は、患者の３次元画像を検索して取得する必要がある。このため、このような関連する検査情報を取得するための時間と労力を軽減するための技術が期待されている。

ここで、予めＣＴ、ＭＲＩ画像等の放射線画像（人体画像）に関連付けて該人体画像上の病理検査の位置を記憶させておき、人体画像をモニタ装置に表示させる際に、その人体画像に関連付けられて記憶された病理検査の位置を示すマーカーを、モニタ装置に表示された放射線画像上の対応する位置に表示させるとともに、病理検査の位置から採取した組織の病理検査の情報（病理画像や病理レポート）を、人体画像と同時に表示させる手法が提案されている（特許文献１）。

特開２０１０−２７３８５４号公報

しかしながら、特許文献１の方法によれば、放射線画像に関連付けて病理検査の位置を記憶させる処理を必要とするため、この処理を省いてさらに簡易に放射線画像に対応する病理検査の有無を把握したいという要求があった。

本発明は上記事情に鑑みなされたものであり、被写体の３次元画像などの検査情報を表示して参照する際、関連する検査情報の有無を確認するためのユーザの負担を軽減することを目的とする。

本発明による画像処理装置は、被写体の検査情報を選択する選択手段と、前記選択された検査情報から該検査情報の対象部位である前記被写体の部位を取得する部位取得手段と、前記取得された部位に関連するさらなる検査情報の有無を判断する関連情報判断手段と、前記選択された検査情報とともに前記判断されたさらなる検査情報の有無を表示装置に表示させる表示制御手段とを備えたことを特徴とするものである。

本発明による画像処理方法は、被写体の検査情報を選択し、前記選択された検査情報から該検査情報の対象部位である前記被写体の部位を取得し、前記取得された部位に関連するさらなる検査情報の有無を判断し、前記選択された検査情報とともに前記判断されたさらなる検査情報の有無を表示装置に表示させることを特徴とするものである。

本発明による画像処理プログラムは、コンピュータを、被写体の検査情報を選択する選択手段と、前記選択された検査情報から該検査情報の対象部位である前記被写体の部位を取得する部位取得手段と、前記取得された部位に関連するさらなる検査情報の有無を判断する関連情報判断手段と、前記選択された検査情報とともに前記判断されたさらなる検査情報の有無を表示装置に表示させる表示制御手段として機能させることを特徴とするものである。

「被検体」の具体例としては、人体が挙げられるが、他の動物等であってもよい。

ここで「検査情報」とは、ＣＴ装置またはＭＲＩ装置で撮影した被写体を表す３次元画像の横断面を表す画像を特定する情報、病理検査情報または内視鏡検査情報を意味するものである。なお、病理検査情報には、病理検査に関するあらゆる情報を含み、代表なものとして病理検査画像と病理検査レポートがあげられる。また、内視鏡検査情報には、内視鏡検査に関するあらゆる情報を含み、代表的なものとして内視鏡検査画像と内視鏡検査レポートがあげられる。

本発明において「部位」とは、心臓、肝臓などの臓器単位のものではなく、被写体外部から見た位置に応じて異なる、頭部、頚部、胸部、腹部、骨盤部、下肢などを意味するものであり、それに、これらの部位のうちの隣接する少なくとも２つの部位からなる複合部位をも含むものとする。隣接する２つの部位の両方を含む複合部位としては、例えば頭頚部および胸腹部等が挙げられる。

前記表示制御手段は、前記さらなる検査情報がある場合に、前記表示装置に前記さらなる検査情報の表示を可能にする指標を表示するものとすることができる。

本発明による画像処理装置は、前記検査情報が、例えば内視鏡画像やＣＴ画像のように複数の前記部位に跨った情報を備えたものである場合に、前記部位取得手段がそれら複数の部位のうち前記表示装置に表示された検査情報すなわち内視鏡画像やＣＴ画像の一部に関する部位を取得するものであり、前記表示制御手段が、前記選択された部位に応じて、該選択された部位に関連する前記さらなる検査情報の有無を切り替えて表示するものであることが好ましい。

本発明において、前記検査情報は前記被写体を表す３次元画像の横断面を表す画像であり、前記さらなる検査情報は病理検査情報または内視鏡検査情報であってもよい。

上記場合に、前記部位取得手段は、前記選択された画像の部位認識を行うことにより前記部位を取得するものであることが好ましい。また、上記場合に、前記関連情報判断手段は、前記病理検査情報に含まれる病理検査レポートまたは前記内視鏡検査情報に含まれる内視鏡検査レポートに基づいて前記被写体の病理検査情報または内視鏡検査情報の有無を判断するものであることが好ましい。

また、本発明において、前記検査情報が、前記被写体の病理検査情報または内視鏡検査情報であり、前記さらなる検査情報が前記被写体を表す３次元画像の横断面を表す画像であってもよい。

上記場合に、前記部位取得手段は、前記選択された病理検査情報に含まれる病理検査レポートまたは前記選択された内視鏡検査情報に含まれる内視鏡検査レポートに基づいて、前記部位を取得するものであることが好ましい。

本発明によれば、被写体の検査情報を選択し、選択された検査情報から該検査情報の対象部位である被写体の部位を取得し、取得された部位に関連するさらなる検査情報の有無を判断し、選択された検査情報とともに判断されたさらなる検査情報の有無を表示装置に表示させるため、従来方法のようにユーザが更なる検査情報を各部門のサーバから検索して表示する必要がなく、また、特許文献１に記載された手法のようにアキシャル画像ＣＩ上に指定位置を指定して病理検査の位置と対応付ける必要がないため、ユーザの選択した検査情報の対象部位に関連するさらなる検査情報の有無を確認する時の負担を軽減することができる。

本発明の実施形態による画像処理装置を適用した医療情報システムの概略構成を示す図 第１の実施形態における画像処理装置の機能ブロック図 第１の実施形態における画像処理により表示された表示画面のイメージ図 第２の実施形態における画像処理により表示された表示画面のイメージ図 第３の実施形態における画像処理により表示された表示画面のイメージ図

以下、図面を参照して本発明の実施形態について説明する。なお、本明細書において、同じ構成要素には同じ構成番号を付して説明を省略する。図１は本発明の実施形態における読影レポート作成処理装置が導入された医療情報システムの概略構成を示す図である。このシステムは、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被検体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影および読影レポートの作成、依頼元の診療科の医師による読影レポートの閲覧および読影対象だった画像の詳細観察を行うためのシステムである。図１に示すように、医用画像の撮影装置（モダリティ）１、画像品質チェック用ワークステーション（ＱＡ−ＷＳ）２、放射線科用ワークステーション３、診療科用ワークステーション４、画像情報管理サーバ５、画像情報データベース６、読影レポートサーバ７、および読影レポートデータベース８、病理検査情報管理サーバ１１、病理検査情報データベース１２、内視鏡検査情報管理サーバ１３、内視鏡検査情報データベース１４、情報管理サーバ１０が、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。各機器は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラムによって制御される。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

モダリティ１には、被検体の検査対象部位を撮影することにより、その部位を表す画像の画像データを生成し、その画像データにＤＩＣＯＭ規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、ＣＴ、ＭＲ、ＰＥＴ、超音波撮影装置、平面Ｘ線検出器（ＦＰＤ）を用いたＸ線撮影装置等が挙げられる。なお、以下では、被写体を表す画像データと画像データの付帯情報の組を「画像情報」と称することとする。すなわち「画像情報」の中には画像に係るテキスト情報も含まれる。

ＱＡ−ＷＳ２は、汎用の処理装置（コンピュータ）と１台または２台の高精細ディスプレイとキーボード・マウス等の入力装置により構成される。処理装置には、検査技師の作業を支援するためのソフトウェアが組み込まれている。ＱＡ−ＷＳ２は、そのソフトウェアプログラムの実行によって実現される機能により、モダリティ１からＤＩＣＯＭに準拠した画像情報を受信し、受信した画像情報に含まれる画像データと付帯情報の内容を画面に表示することで検査技師に確認を促す。そして、検査技師による確認が済んだ画像情報を、ネットワーク９を介して画像情報管理サーバ５に転送し、その画像情報の画像情報データベース６への登録を要求する。

放射線科用ワークステーション３は、放射線科の画像診断医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、およびデータバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであるが、表示装置と１台または２台の高精細ディスプレイを有している。この装置では、画像情報管理サーバ５に対する画像の閲覧要求や、画像情報管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出・強調表示、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求や閲覧要求、読影レポートサーバ７から受信した読影レポートの表示、情報管理サーバ１０に対する患者情報等の登録要求や閲覧要求、情報管理サーバ１０から受診した患者情報等の表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。

診療科用ワークステーション４は、診療科の医師が画像の詳細観察や読影レポートの閲覧、電子カルテの閲覧・入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、およびデータバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであるが、表示装置と１台または２台の高精細ディスプレイを有している。この装置では、画像情報管理サーバ５に対する画像の閲覧要求や、画像情報管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出・強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、読影レポートサーバ７から受信した読影レポートの表示、情報管理サーバ１０に対する患者情報等の登録要求や閲覧要求、情報管理サーバ１０から受診した患者情報等の表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。本発明の画像処理作成装置は、この診療科用ワークステーション４に実装されており、本明細書の診断支援処理ためのソフトウェアプログラムがインストールされ、かかるソフトウェアプログラムの実行により本明細書の画像処理が行われるが、これについては後述する。

画像情報管理サーバ５は、汎用の比較的処理能力の高いコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムを組み込んだものである。画像情報管理サーバ５はいわゆるＰＡＣＳ(Picture Archiving and Communication Systems)サーバである。画像情報管理サーバ５は画像情報データベース６が構成される大容量ストレージを備えている。このストレージは、画像情報管理サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。

画像情報データベース６には、被写体画像を表す画像データと付帯情報とが登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、画像情報ごとに割り振られるユニークなＩＤ（ＵＩＤ）、その画像情報が生成された検査日、検査時刻、その画像情報を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無や、放射線量等）、１回の検査で複数の画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれうる。画像情報は、例えばＸＭＬやＳＧＭＬデータとして管理されうる。

画像情報管理サーバ５は、ＱＡ−ＷＳ２からの画像情報の登録要求を受け付けると、その画像情報をデータベース用のフォーマットに整えて画像情報データベース６に登録する。

また、画像情報管理サーバ５は、放射線科用ワークステーション３および診療科用ワークステーション４からの閲覧要求をネットワーク９経由で受信すると、上記画像情報データベース６に登録されている画像情報を検索し、抽出された画像情報を要求元の放射線科用ワークステーション３および診療科用ワークステーション４に送信する。

放射線科用ワークステーション３および診療科用ワークステーション４は、画像診断医や診療科医等のユーザによって読影・観察対象画像の閲覧を要求する操作が行われると、画像情報管理サーバ５に対して閲覧要求を送信し、必要な画像情報を取得する。そして、その画像情報をモニタ画面に表示し、ユーザからの要求に応じて病変の自動検出処理等を実行する。また、画像診断医や診療科医等のユーザによる患者情報等の閲覧要求等を情報管理サーバ１０に送信し、必要な情報を取得し、画面に表示する。

放射線科用ワークステーション３は、読影レポートの作成を支援するレポート作成画面をモニタに表示し、放射線科医によって読影に基づいて行った所見等の内容を示すテキストが入力されたときに、入力された情報と読影の対象とされた画像（以下、読影対象画像）を記録した読影レポートを生成する。読影対象画像が複数あるときは、読影レポートには、読影所見を最も顕著に表す代表的な画像（以下、代表画像）を記録する。放射線科用ワークステーション３は、生成した読影レポートを、ネットワーク９を介して読影レポートサーバ７に転送し、その読影レポートの読影レポートデータベース８への登録を要求する。

読影レポートサーバ７は、汎用の比較的処理能力の高いコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムを組み込んだものであり、放射線科用ワークステーション３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。

読影レポートデータベース８には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った画像診断医を識別するための読影者ＩＤ、関心領域の位置情報、所見、および所見の確信度といった情報が登録される。この他、画像の読影時に画像情報の付帯情報を参照することで取得された検査番号、患者番号、さらには、読影対象画像または代表画像の画像データ自体も等も含まれうる。読影対象画像または代表画像の画像データは、画像情報データベース６に登録されている画像データよりも画素数が少ない（間引きされた）縮小画像データとすることができる。本実施形態においては、この縮小画像データの生成のもとになる、画像情報データベース６に登録されている画像データへのアクセスを可能にするためのリンク情報（画像情報データベース６に登録されている画像データのアドレスやフォルダ名、ファイル名等）も読影レポートデータベース８に登録される。また、画像情報データベース６に登録されている画像データをそのままコピーしたものを読影レポートデータベース８に登録しておいてもよい。また、関心領域の位置情報は、読影レポートデータベース８ではなく、画像データの付帯情報として画像情報データベース６に登録しておいてもよい。なお、読影レポートは、例えばＸＭＬやＳＧＭＬデータとして管理されうる。

読影レポートサーバ７は、放射線科用ワークステーション３あるいは診療科用ワークステーション４からの閲覧要求をネットワーク９経由で受信すると、読影レポートデータベース８に登録されている読影レポートを検索し、抽出された読影レポートを要求元の放射線科用ワークステーション３あるいは診療科用ワークステーション４に送信する。

病理検査情報管理サーバ１１は、汎用の比較的処理能力の高いコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、病理検査情報管理サーバ１１は病理検査情報データベース１２が構成される大容量ストレージを備えている。このストレージは、病理検査情報管理サーバ１１とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。病理検査情報管理サーバも、モダリティ１および読影ワークステーション２等とネットワーク９を介して通信を行う通信インターフェースを有している。病理検査情報データベース１２には、病理検査画像および病理検査レポートが記憶されており、病理検査レポートには患者ＩＤ、レポートの対象である病理検査画像のファイル名とそのファイルを記憶したアドレスなどのレポートの対象である病理検査画像を特定する情報、病理検査画像の対象の臓器や位置を表す情報が記載されている。

また、病理検査情報管理サーバ１１は、読影ワークステーション２からの閲覧要求をネットワーク９経由で受信すると、上記病理検査情報データベース１２に登録されている病理検査情報を検索し、検索により抽出された情報を要求元の読影ワークステーション２に送信する。

内視鏡検査情報管理サーバ１３は、汎用の比較的処理能力の高いコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、内視鏡検査情報管理サーバ１３は内視鏡検査情報データベース１４が構成される大容量ストレージを備えている。このストレージは、内視鏡検査情報管理サーバ１３とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。内視鏡検査情報管理サーバ１３も、モダリティ１および読影ワークステーション２等とネットワーク９を介して通信を行う通信インターフェースを有している。内視鏡検査情報データベース１４には、内視鏡検査画像および内視鏡検査レポートが記憶されており、内視鏡検査レポートには患者ＩＤ、レポートの対象である内視鏡検査画像のファイル名とそのファイルを記憶したアドレスなどのレポートの対象である内視鏡検査画像を特定する情報、内視鏡検査画像の対象の臓器や位置を表す情報が記載されている。また、内視鏡検査情報データベース１４には、内視鏡検査画像として静止画として撮影されたものだけでなく動画として撮影されたものも記憶されている。

また、内視鏡検査情報管理サーバ１３は、読影ワークステーション２からの閲覧要求をネットワーク９経由で受信すると、上記内視鏡検査情報データベース１４に登録されている内視鏡検査情報を検索し、検索により抽出された情報を要求元の読影ワークステーション２に送信する。

ネットワーク９は病院内の各種装置を接続するローカルエリアネットワークである。但し、放射線科用ワークステーション３あるいは診療科用ワークステーション４が他の病院あるいは診療所にも設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットもしくは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワーク等画像情報の高速転送を実現できるものとすることが好ましい。

情報管理サーバ１０は、いわゆるＲＩＳ（Radiology Information System：放射線科情報システム）サーバである。情報管理サーバ１０は、放射線科内および内科や外科等の依頼料に設置されている端末３または４からネットワーク９を介して、各依頼科からの患者の撮影等を放射線科に依頼する検査や診断のオーダーや、モダリティ１の撮影状況などの情報伝達、患者情報等の登録要求や閲覧要求等を行う情報処理を行う。また、情報管理サーバ１０は、患者情報、診療情報、検査情報、会計情報等の種々の情報を患者毎に管理する。患者情報は、各患者を特定する情報であり、例えば、患者氏名、患者ＩＤ等があげられる、また現住所、生年月日、年齢、性別、家族構成、及び既往歴やアレルギーの有無などを含む場合もある。

診療情報は、患者について診断の情報であり、例えば、診療日付、診療科、病名、診断結果、治療期間、投薬の種類及び量、処方薬局名等を含む。なお、治療期間は、一つの病気を治療するために医療機関に通院した期間である。また、本明細書における実施形態においては、診断結果は確定診断の有無および結果を含み、診療情報に検査情報を含むものとする。検査情報は、診断に際して撮影された医用画像等の情報であり、具体的には、検査日付、検査機器、検査方法、検査部位などが含まれる。なお、検査方法とは、撮影の際のモダリティに対する患者の向きや、造影剤の有無を指す。また、検査部位とは、検査の対象となっている部位であり、例えば、頭部、頸部、胸部、腹部、骨盤部、脚部、及びこれらの複数の部位を含む部位などが含まれる。また、会計情報は、例えば、診察、投薬、検査等の医療に対する費用および医療保険の適用の有無を表す情報等を含む場合もある。

図２は、上記医療情報システムに実装された本発明の第１の実施形態による医用画像処理装置を適用した医用画像表示システムの構成を模式的に示したブロック図である。

本実施形態においては、診療科用ワークステーション４（画像処理装置）は、マウスやキーボード等の入力手段４１（入力装置）と、ハードディスクやメモリ等の記憶装置からなる記憶手段４７と、被写体の検査情報を選択する選択手段４２と、選択された検査情報から検査情報の対象部位である被写体の部位を取得する部位取得手段４３と、取得された部位に関連するさらなる検査情報の有無を判断する関連情報判断手段４４と、選択された検査情報とともに判断されたさらなる検査情報の有無を表示装置（表示手段）４６に表示させる表示制御手段４５とを備える。

本実施形態では、検査情報は被写体を表す３次元画像の横断面を表す画像であり、さらなる検査情報は病理検査情報または内視鏡検査情報である場合を例に説明する。

本画像処理に先立って、ユーザが診療科用ワークステーション４に対して表示したい画像を特定する指示を行うと、画像情報管理サーバ５が、登録されている３次元画像をその付帯情報および部位認識結果の情報とともに画像情報データベース６から読み出して診療科用ワークステーション４に送信する。これにより、ＣＴ装置（モダリティ１）で撮像された被写体の胸部および腹部を撮像した３次元画像Ｖが画像情報データベース６から診療科用ワークステーション４にロードされ、ロードされた３次元画像Ｖをディスプレイ４６に表示してユーザである診療科の医師が観察する。

まず、表示画面上でユーザの入力手段４１等による指定に応じて表示制御手段４５が３次元画像Ｖを構成する複数のアキシャル画像を次々切り替えて表示する。すると、選択手段４２は、表示されたアキシャル画像ＣＩを選択する。

次いで、部位取得手段４３は、選択手段４２が選択したアキシャル画像ＣＩを取得し、取得したアキシャル画像ＣＩが表す被検体の部位を認識して取得する。ここでいう、「部位」とは、頭部、頚部、胸部、腹部、骨盤部、下肢およびこれらの部位のうちの隣接する少なくとも２つの部位からなる複合部位の少なくとも１つを意味する。なお、本実施形態において部位取得手段４３は、選択された３次元画像Ｖが、例えば胸部と腹部にわたって撮像されたものである場合など、検査情報が複数の部位に関するものである場合に、複数の部位のうち表示装置４６に表示されたアキシャル画像ＣＩに表された部位を取得する。

以下、部位取得手段４３が行う部位取得処理について説明する。ここでは、K. Nakamura, Y. Li, W. Ito, K. Shimura, ”A machine learning approach for body part recognition based on CT images”, Proceedings of the SPIE, Volume 6914, pp. 69141U-69141U-9 (2008)に記載された方法を用いる。これにより、表示された断層画像毎に認識された部位が取得される。例えば、表示されたアキシャル画像ＣＩを部位認識することにより部位が胸部と認識されて取得される。

なお、部位取得手段４３による部位取得処理のために、例えば特開平２００８−２５９６８２号公報に記載された手法を用いることができる。この公報に記載された手法は、入力された複数の断層画像を正規化し、正規化された断層画像から多数の特徴量を算出し、正規化した断層画像毎に算出された特徴量を、AdaBoost手法によって得られた判別器に入力して、部位らしさを表す部位毎のスコアを算出し、算出された部位スコアを入力として、動的計画法を用いて、人体の体部の並び順が保たれるように各断層画像に表された部位を決定する手法である。また、カテゴリーのテンプレートマッチングによる方法（例えば特開２００２−２５３５３９号公報参照）および、各部位の固有画像を用いた方法（例えば特開２００３−１０１６６号公報参照）等を用いることもできる。

関連情報判断手段４４は、選択手段４２により選択された画像ＣＩから画像ＣＩの被写体である患者の患者ＩＤを取得するとともに表示されたアキシャル画像ＣＩに表された部位を取得する。そして、病理検査情報に含まれる病理検査レポートまたは内視鏡検査情報に含まれる内視鏡検査レポートに基づいて、被写体の病理検査情報または内視鏡検査情報の有無を判断する。具体的には、患者ＩＤに基づいて、病理検査情報データベース１２と内視鏡検査情報データベース１４を検索し、患者ＩＤに該当する病理検査情報および内視鏡検査情報のうち、取得した部位に関するものを特定する。

また、関連情報判断手段４４は、３次元画像Ｖが胸部および腹部を表すものである場合に、表示されたアキシャル画像ＣＩが胸部のいずれかの位置におけるアキシャル画像である場合には、胸部に含まれる全ての臓器または検査対象要素についての検査情報の有無を判断する。そして、表示されたアキシャル画像ＣＩが腹部のいずれかの位置におけるアキシャル画像である場合には、腹部に含まれる全ての臓器または検査対象要素についての検査情報の有無を判断する。

なお、本実施形態の画像処理に先立って、胸部、腹部などの各部位ごとに、部位に含まれる複数の臓器や臓器を構成する構成要素名などの部位に含まれる要素のキーワード（検査対象の部位に関連するキーワード）が対応付けられた対応付けテーブルが記憶手段４７に記憶されているものとする。関連情報判断手段４４は、対応付けテーブルを参照して取得された部位に対応付けられた検査対象の部位に関連するキーワードを取得し、被写体の病理検査レポートまたは内視鏡検査レポートのうち、検査対象の部位に関連するキーワードが含まれているレポートを特定し、この特定されたレポートの有無により関連情報の有無を判断する。また、特定された病理検査レポートまたは内視鏡検査レポートがある場合は、かかるレポートに対応付けられたまたは記載された病理検査結果画像または内視鏡画像をさらに特定して、病理検査情報データベース１２および／または内視鏡検査情報データベース１４から記憶手段４７にロードする。

そして、表示制御手段４５は、関連情報判断手段４４の取得した関連情報の有無に応じて、選択された画像ＣＩおよびかかる画像ＣＩに表された部位についての病理検査情報または内視鏡検査情報の有無を識別可能にディスプレイ４６に表示する。図３は、本第１の実施形態による画像処理により表示された表示画面のイメージ図である。図３に示すように、本実施形態では、表示制御手段４５は、病理検査情報または内視鏡検査情報（さらなる検査情報）がある場合に、表示装置に病理検査情報または内視鏡検査情報の表示を可能にする指標（表示ボタンＢ１、Ｂ２）を表示する。ここでは、図３に示すように、病理検査情報または内視鏡検査情報（さらなる検査情報）がある場合に表示ボタンＢ１を選択可能に表示し、病理検査情報または内視鏡検査情報（さらなる検査情報）がない場合に表示ボタンＢ２を色を薄くして識別表示するとともにユーザに選択できないようにする。

そして、図３に示すように、病理検査画像ＰＩおよび／または病理検査レポートＰＲがある場合には、ユーザがマウス等によりポインタＰを操作し、表示ボタンＢ１をクリックする動作を検出して、病理検査情報として、関連情報判断手段４４により判断された病理検査画像ＰＩおよび／または病理検査レポートＰＲを表示する。なお、図３では病理検査情報がなく、内視鏡検査情報が有る場合を表しているが、内視鏡検査情報がある場合には、同様に表示ボタンＢ２をクリックする動作を検出して、内視鏡検査情報として、内視鏡検査画像および／または内視鏡検査レポートを表示する。

また、本実施形態において、表示制御手段４５は、選択された３次元画像Ｖが複数の（腹部および胸部の）部位に関するものである場合には、ユーザが３次元画像Ｖを構成するアキシャル画像を切り替えて表示した場合に、表示された画像ＣＩに表された部位（選択された部位）に応じて、選択された部位に関連する病理検査情報および内視鏡検査情報の有無を切り替えて表示する。例えば、図３に示すように、表示されたアキシャル画像ＣＩが胸部のアキシャル画像であれば、胸部に含まれる病理検査情報または内視鏡検査情報ついてのみ、検査情報の有無を先述の表示ボタンＢ１、Ｂ２により表示する。一方、表示されたアキシャル画像ＣＩが腹部のアキシャル画像であれば、腹部に含まれる病理検査情報または内視鏡検査情報ついてのみ、検査情報の有無を先述の表示ボタンＢ１、Ｂ２により表示する。

なお、上記実施形態における表示ボタンＢ１、Ｂ２は、病理検査情報または内視鏡検査情報（さらなる検査情報）がある場合に表示し、病理検査情報または内視鏡検査情報（さらなる検査情報）がない場合に非表示としてもよい。

このように、第１の実施形態においては、被写体の検査情報を選択し、選択された検査情報から該検査情報の対象部位である被写体の部位を取得し、取得された部位に関連するさらなる検査情報の有無を判断し、選択された検査情報とともに判断されたさらなる検査情報の有無を表示装置に表示させるため、従来方法のようにユーザが更なる検査情報を各部門のサーバから検索して表示する必要がなく、特許文献１に記載された手法のようにアキシャル画像ＣＩ上に指定位置を指定して病理検査の位置と対応付ける必要がないため、ユーザの選択した検査情報の対象部位に関連するさらなる検査情報の有無を確認する時の負担を軽減することができる。

また、第１の実施形態においては、特許文献１に記載された手法のようにアキシャル画像ＣＩ上に指定位置を指定して病理検査の位置と対応付ける必要がなく、指定位置を表す指標をアキシャル画像上に表示することもないため、診断の際にアキシャル画像を視認しやすい。また、特許文献１のように、指定位置に基づいて関連情報を対応付ける際には、肝臓などのやわらかく形態が安定しない臓器中で正確に指定位置を対応付けることは難しい。また、関連する検査情報と位置を精密に把握できなくとも、関連する検査情報の有無または関連する検査情報の提示があれば十分診断支援の効果が得られる。本実施形態のように、アキシャル画像に表された頭部、頚部、胸部、腹部、骨盤部、下肢およびこれらの部位のうちの隣接する少なくとも２つの部位からなる複合部位のいずれかの部位により、関連情報を抽出して表示することにより、ユーザの手間を軽減できるだけでなく診断上必要な情報を十分抽出してユーザに提示することができる。

また、本実施形態のように、表示制御手段４５が、さらなる検査情報がある場合に、表示装置にさらなる検査情報の表示を可能にする指標を表示するものであるため、ユーザは容易にさらなる検査情報の有無を把握できる、また、さらなる検査情報を必要に応じて表示させることができるため、常に更なる検査情報を表示させることを好まないユーザに対しても好適に適用できる。なお、本実施形態に限定されず、本発明の画像処理装置は、例えば、さらなる検査情報がある場合にさらなる検査情報そのものを画面上に表示するなど、さらなる検査情報の有無を識別可能にするあらゆる手法を用いることができる。

また、部位取得手段４３が、検査情報が複数の部位に関するものである場合に、複数の部位のうち表示装置に表示された検査情報に関する部位を取得するものであり、表示制御手段は、選択された部位に応じて、選択された部位に関連するさらなる検査情報の有無を切り替えて表示するものであるため、複数の部位に関する３次元画像Ｖであっても、表示された部位がユーザの関心のある部位である可能性が高いため、関心のある部位に関する関連情報のみを診断上重要な情報として連動表示でき、不要な情報を必要以上に表示することがないため、ユーザの必要な情報の把握を容易にし、診断効率がよい。

本実施形態のように、検査情報が被写体を表す３次元画像Ｖの横断面を表す画像であり、さらなる検査情報は病理検査情報または内視鏡検査情報である場合には、従来診断の際に参照されることの多いアキシャル画像に基づいて、確定診断のために重要な情報である病理検査情報または内視鏡情報を関連する情報として提示できるため、診断上の需要が高く、診断効率がよい。

また、上記場合に、関連情報判断手段４４は、病理検査情報に含まれる病理検査レポートまたは内視鏡検査情報に含まれる内視鏡検査レポートに基づいて被写体の病理検査情報または内視鏡検査情報の有無を判断するため、簡易に病理検査情報または内視鏡検査情報の有無を判断できる。

以下、図４を用いて第２の実施形態による画像処理装置４について説明する。図４は、第２の実施形態による画像処理により表示された表示画面のイメージ図である。第２の実施形態では、図１において不図示の病理検査部門の病理検査担当者が使用するコンピュータ端末が画像処理装置の機能を兼ね備えている。そして、第２の実施形態においては検査情報が病理検査情報であり、さらなる検査情報がＣＴまたはＭＲＩ装置により撮像された３次元画像Ｖである点が第１の実施形態による画像処理装置と異なる。以下、第１の実施形態と異なる点を中心として説明し、共通する処理については説明を省略する。

第２の実施形態において選択手段４２は、ユーザの指定に応じて表示された病理検査画像ＰＩまたは病理検査レポートＰＲを選択する。そして、部位取得手段４３は、選択された病理検査情報に含まれる病理検査レポートに記載された被写体の部位を取得する。具体的には、第１の実施形態と同様の対応付けテーブルにより、対応付けテーブルに登録されたキーワードを病理検査レポートＰＲから検索し、検索されたキーワードに対応付けられた部位を取得する。

次いで、関連情報判断手段４４は、病理検査レポートに記載された患者ＩＤに基づいて、画像情報データベース６から被写体の３次元画像Ｖを特定し、３次元画像Ｖのヘッダ情報により、病理検査レポートに基づいて取得した部位に関連する３次元画像Ｖを特定する。また、３次元画像Ｖを構成するアキシャル画像をサンプルとして所定の間隔、または所定の位置で取得し、取得したアキシャル画像に対して第１の実施形態における画像認識処理を行い、３次元画像Ｖが、取得した部位を表すものであるか否かを判断してもよい。

そして、表示制御手段４５は、関連情報判断手段４４により判断された３次元画像の有無を表示する。第１の実施形態と同様に、表示制御手段４５は、３次元画像Ｖがある場合に、ＣＴ画像を表示可能とするボタンＢ３を選択可能とすることにより、関連する３次元画像Ｖの有無を表示する。

第２の実施形態によれば、検査情報が病理検査情報であり、さらなる検査情報がＣＴまたはＭＲＩ装置により撮像された３次元画像Ｖであるため、病理検査担当者も画像情報データベース６の３次元画像Ｖを検索することなく、病理検査情報の対象部位に関連する３次元画像Ｖを容易に参照することができるため、関連するさらなる検査情報を用いて病理検査情報を容易かつ正確に把握できる。

以下、図５を用いて第３の実施形態による画像処理装置について説明する。図５は、第３の実施形態による画像処理により表示された表示画面のイメージ図である。第３の実施形態では、図１において不図示の内視鏡検査部門の検査担当者が使用するコンピュータ端末が画像処理装置の機能を兼ね備えている。そして、第３の実施形態においては検査情報が内視鏡検査情報であり、さらなる検査情報がＣＴまたはＭＲＩ装置により撮像された３次元画像Ｖである点が第１の実施形態による画像処理装置と異なる。以下、第１の実施形態と異なる点を中心として説明し、共通する処理については説明を省略する。

第３の実施形態において選択手段４２は、ユーザの指定に応じて表示された内視鏡検査画像ＥＩまたは内視鏡検査レポートＥＲを選択する。第３の実施形態においては、内視鏡検査画像ＥＩごとに、対応する内視鏡検査画像ＥＩの画像ファイル名など内視鏡検査画像を特定する情報および内視鏡検査の所見を記載した内視鏡検査レポートが作成されているものとする。そして、部位取得手段４３は、選択された内視鏡検査情報に含まれる内視鏡検査レポートに記載された被写体の部位を取得する。具体的には、第１の実施形態と同様の対応付けテーブルにより、対応付けテーブルに登録されたキーワードを病理検査レポートＰＲから検索し、検索されたキーワードに対応付けられた部位を取得する。

次いで、関連情報判断手段４４は、内視鏡検査レポートに記載された患者ＩＤに基づいて、画像情報データベース６から被写体の３次元画像Ｖを特定し、３次元画像Ｖのヘッダ情報により、病理検査レポートに基づいて取得した部位に関連する３次元画像Ｖを特定する。また、３次元画像Ｖを構成するアキシャル画像をサンプルとして所定の間隔、または所定の位置で取得し、取得したアキシャル画像に対して第１の実施形態における画像認識処理を行い、３次元画像Ｖが、取得した部位を表すものであるか否かを判断してもよい。

そして、表示制御手段４５は、関連情報判断手段４４により判断された３次元画像Ｖの有無を表示する。第１の実施形態と同様に、表示制御手段４５は、３次元画像Ｖがある場合に、ＣＴ画像を表示可能とするボタンＢ３を選択可能とすることにより、関連する３次元画像Ｖの有無を表示する。また、３次元画像Ｖに対応する読影レポートの有無を、読影レポートを表示可能とする不図示のボタンを選択可能とすることにより、さらに表示してもよく、この不図示のボタンの選択に応じて読影レポートを表示してもよい。

第３の実施形態によれば、第３の実施形態においては検査情報が内視鏡検査情報であり、さらなる検査情報がＣＴまたはＭＲＩ装置により撮像された３次元画像Ｖであるため、内視鏡検査担当者も画像情報データベース６の３次元画像Ｖを検索することなく、内視鏡検査情報の対象部位に関連する３次元画像Ｖを容易に参照することができるため、関連するさらなる検査情報を用いて内視鏡検査情報を容易かつ正確に把握できる。

また、第３の実施形態において、内視鏡検査情報が、上部内視鏡によって撮影された内視鏡画像のように、食道や胃や十二指腸などの複数の部位に関するものである場合に、第３の実施形態の部位取得手段４３が表示された部位を周知の方法により自動認識して表示された部位を取得し、関連情報判断手段４４が取得された部位と患者ＩＤに基づいて、表示された画像に表された部位に関連する３次元画像Ｖの有無を判断し、表示制御手段４５が表示された画像に表された部位に関連する３次元画像Ｖの有無を表示するものであることが好ましい。例えば、表示された内視鏡画像が食道を表している場合には、食道を含む頸部を表す３次元画像Ｖの有無を表示し、表示された内視鏡画像が胃を表している場合には、胃を含む胸部を表す３次元画像Ｖの有無を表示することが考えられる。この場合には、第１の実施形態と同様に、表示された画像がユーザの関心の高い部位を表している可能性が高いと考えられるため、診断上関心の高い部位に関連する関連情報の有無のみを表示部位に応じて表示することで、ユーザの表示部位に対する理解が効果的に支援される。

なお、第３の実施形態の部位取得手段４３は、表示された内視鏡画像の部位を取得する周知のあらゆる方法を用いることができ、例えば特開２００９−２７９２５１号公報に記載された技術が適用可能である。この場合、部位取得手段４３は、内視鏡画像の視点の位置を取得し、かかる位置に基づいて表示された内視鏡画像に表された臓器を、食道、胃、十二指腸などのように特定し、特定された臓器が属する部位を頸部、胸部などとして取得することが考えられる。

上記各実施形態は互いに組合せ可能であり、画像処理装置４を構成する各手段は、第１、第２、第３の実施形態のうちの２つの対応する各手段の機能を有してもよく、第１、第２、第３の実施形態の対応する各手段の機能の全てを有してもよい。

なお、本実施形態に限定されず、医用レポート作成装置の構成要素の一部または全部は、1台のワークステーションにより構成されたものであってもよく、ネットワークを介して接続された一台以上のワークステーション、サーバ、記憶装置によって構成されたものであってもよい。なお、各機器は、ＣＤ−ＲＯＭ等の記録媒体からインストールされた本明細書の診断支援処理を行うプログラムによって制御される。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

以上の実施形態は、その本質を変容させることなく、他の実施形態にも適用できる。

４ 診療科用ワークステーション
５ 画像情報管理サーバ
６ 画像情報データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０ 情報管理サーバ
１１ 病理検査情報管理サーバ
１２ 病理検査情報データベース
１３ 内視鏡検査情報管理サーバ
１４ 内視鏡検査情報データベース
４１ 入力手段
４２ 選択手段
４３ 部位取得手段
４４ 関連情報判断手段
４５ 表示制御手段
４６ 表示装置
４７ 記憶手段
Ｂ１、Ｂ２、Ｂ３ 表示ボタン（指標）
ＣＩ アキシャル画像（被写体を表す３次元画像Ｖの横断面を表す画像）
ＰＲ、ＰＩ 病理検査レポート、病理検査画像（病理検査情報）
ＥＲ、ＥＩ 内視鏡検査レポート、内視鏡検査画像（内視鏡検査情報）

Claims (6)

1. 被写体の検査情報を選択する選択手段と、
   前記選択された検査情報から該検査情報の対象部位である前記被写体の部位を取得する部位取得手段と、
   前記取得された部位に関連するさらなる検査情報の有無を判断する関連情報判断手段と、
   前記選択された検査情報とともに前記判断されたさらなる検査情報の有無を表示装置に表示させる表示制御手段とを備え、
   前記検査情報が、前記被写体の複数の横断面を表す画像で構成される３次元画像であり、前記さらなる検査情報が前記被写体の病理検査情報または内視鏡検査情報であり、
   前記関連情報判断手段が、前記選択された検査情報の対象部位に対応するキーワードを用いて、前記病理検査情報に含まれる病理検査レポートまたは前記内視鏡検査情報に含まれる内視鏡検査レポートのうち前記キーワードが含まれているレポートを特定し、この特定したレポートの有無により前記取得された部位に関連する病理検査情報または内視鏡検査情報の有無を判断するものであり、
   前記表示制御手段は、前記３次元画像の複数の横断面を表す画像を切り替えて表示する機能を有し、
   前記部位取得手段は、前記３次元画像が複数の前記部位に関するものである場合に、前記複数の部位のうち前記表示装置に現在表示されている横断面を表す画像に関する部位を取得するものであり、
   前記表示制御手段は、前記現在表示されている横断面を表す画像の部位に応じて、該部位に関連する前記病理検査情報または前記内視鏡検査情報の有無を切り替えて表示するものであることを特徴とする画像処理装置。
2. 前記部位は、頭部、頚部、胸部、腹部、骨盤部、下肢およびこれらの部位のうちの隣接する少なくとも２つの部位からなる複合部位のいずれかであることを特徴とする請求項１記載の画像処理装置。
3. 前記表示制御手段は、前記さらなる検査情報がある場合に、前記表示装置に前記さらなる検査情報の表示を可能にする指標を表示するものであることを特徴とする請求項２記載の画像処理装置。
4. 前記部位取得手段は、前記選択された画像の部位認識を行うことにより前記部位を取得するものであることを特徴とする請求項１〜３いずれか１項記載の画像処理装置。
5. 選択手段と、部位取得手段と、関連情報判断手段と、表示制御手段とを備えた画像処理装置の作動方法であって、
   前記選択手段が、被写体の検査情報を選択する選択ステップと、
   前記部位取得手段が、前記選択された検査情報から該検査情報の対象部位である前記被写体の部位を取得する部位取得ステップと、
   前記関連情報判断手段が、前記取得された部位に関連するさらなる検査情報の有無を判断する関連情報判断ステップと、
   前記表示制御手段が、前記選択された検査情報とともに前記判断されたさらなる検査情報の有無を表示装置に表示させる表示制御ステップとを有し、
   前記検査情報が、前記被写体の複数の横断面を表す画像で構成される３次元画像であり、前記さらなる検査情報が前記被写体の病理検査情報または内視鏡検査情報であり、
   前記関連情報判断ステップが、前記選択された検査情報の対象部位に対応するキーワードを用いて、前記病理検査情報に含まれる病理検査レポートまたは前記内視鏡検査情報に含まれる内視鏡検査レポートのうち前記キーワードが含まれているレポートを特定し、この特定したレポートの有無により前記取得された部位に関連する病理検査情報または内視鏡検査情報の有無を判断するものであり、
   前記表示制御ステップは、前記３次元画像の複数の横断面を表す画像を切り替えて表示するものであり、
   前記部位取得ステップは、前記３次元画像が複数の前記部位に関するものである場合に、前記複数の部位のうち前記表示装置に現在表示されている横断面を表す画像に関する部位を取得するものであり、
   前記表示制御ステップは、前記現在表示されている横断面を表す画像の部位に応じて、該部位に関連する前記病理検査情報または前記内視鏡検査情報の有無を切り替えて表示するものであることを特徴とする画像処理装置の作動方法。
6. コンピュータを、
   被写体の検査情報を選択する選択手段と、
   前記選択された検査情報から該検査情報の対象部位である前記被写体の部位を取得する部位取得手段と、
   前記取得された部位に関連するさらなる検査情報の有無を判断する関連情報判断手段と、
   前記選択された検査情報とともに前記判断されたさらなる検査情報の有無を表示装置に表示させる表示制御手段として機能させるための画像処理プログラムであって、
   前記検査情報が、前記被写体の複数の横断面を表す画像で構成される３次元画像であり、前記さらなる検査情報が前記被写体の病理検査情報または内視鏡検査情報であり、
   前記関連情報判断手段が、前記選択された検査情報の対象部位に対応するキーワードを用いて、前記病理検査情報に含まれる病理検査レポートまたは前記内視鏡検査情報に含まれる内視鏡検査レポートのうち前記キーワードが含まれているレポートを特定し、この特定したレポートの有無により前記取得された部位に関連する病理検査情報または内視鏡検査情報の有無を判断するものであり、
   前記表示制御手段は、前記３次元画像の複数の横断面を表す画像を切り替えて表示する機能を有し、
   前記部位取得手段は、前記３次元画像が複数の前記部位に関するものである場合に、前記複数の部位のうち前記表示装置に現在表示されている横断面を表す画像に関する部位を取得するものであり、
   前記表示制御手段は、前記現在表示されている横断面を表す画像の部位に応じて、該部位に関連する前記病理検査情報または前記内視鏡検査情報の有無を切り替えて表示するものであることを特徴とする画像処理プログラム。