JP5412983B2

JP5412983B2 - 情報処理装置及びプログラム

Info

Publication number: JP5412983B2
Application number: JP2009149330A
Authority: JP
Inventors: 基文福井; 典司加藤; 文渊戚
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2009-06-24
Filing date: 2009-06-24
Publication date: 2014-02-12
Anticipated expiration: 2029-06-24
Also published as: JP2011004834A

Description

本発明は、情報処理装置及びプログラムに関する。

Ｘ線画像やＣＴ画像などの画像の読影に基づく診断を支援する技術が存在する。特許文献１には、画像読影者が下した初期診断結果と確定診断結果とを比較することにより初期診断の成否を判定する装置が開示されている。特許文献２には、複数人の読影者による診断結果が異なる場合に、診断結果の相違点を画像で表示する方法が開示されている。

特開２００７−２７５４０８号公報特開２００４−１９９６９１号公報

本発明は、読影の対象となる読影対象画像と、担当者による読影対象画像の読影に基づく診断結果を示す情報と、に基づいて、初期診断結果と確定診断結果とを比較することなく担当者による読影対象画像の読影に基づく診断の評価を行うことができる情報処理装置及びプログラムを提供することを目的とする。

請求項１に記載の発明は、情報処理装置であって、読影の対象となる読影対象画像と、前記読影対象画像の読影を担当した担当者を示す担当者情報と、前記担当者による前記読影対象画像の読影に基づく診断結果を示す診断結果情報と、を含む診断情報を少なくとも１つ記憶する診断情報記憶手段から、利用者により指定された担当者を示す担当者情報を含む少なくとも１つの前記診断情報を取得する診断情報取得手段と、前記診断情報取得手段により取得される少なくとも１つの診断情報に含まれる読影対象画像それぞれに少なくとも１つ含まれる特徴画像を、少なくとも１つの特徴画像群に分類する分類手段と、前記分類手段により分類される各特徴画像が属する特徴画像群に対応する診断結果と、当該特徴画像が含まれる診断情報に含まれる診断結果情報が示す診断結果と、の比較結果に応じた、利用者により指定された担当者による前記読影対象画像の読影に基づく診断に対する評価情報を出力する評価情報出力手段と、を含むこととしたものである。

請求項２に記載の発明は、請求項１に記載の情報処理装置であって、前記評価情報出力手段が、前記各診断情報に含まれる診断結果情報が示す診断結果の種類毎に算出される、当該種類の診断結果を示す診断結果情報が含まれる診断情報に含まれる特徴画像の数に対する、当該種類の診断結果を示す診断結果情報が含まれる診断情報に含まれ、かつ、当該種類の診断結果に対応する特徴画像群に属する特徴画像の数の割合に応じた、前記評価情報を出力することとしたものである。

請求項３に記載の発明は、請求項２に記載の情報処理装置であって、前記評価情報出力手段が、前記各診断情報に含まれる診断結果情報が示す診断結果の種類毎に算出される前記割合の、当該種類の診断結果を示す診断結果情報が含まれる診断情報に含まれる特徴画像の数に応じた重み付け平均に対応する前記評価情報を出力することとしたものである。

請求項４に記載の発明は、プログラムであって、読影の対象となる読影対象画像と、前記読影対象画像の読影を担当した担当者を示す担当者情報と、前記担当者による前記読影対象画像の読影に基づく診断結果を示す診断結果情報と、を含む診断情報を少なくとも１つ記憶する診断情報記憶手段から、利用者により指定された担当者を示す担当者情報を含む少なくとも１つの前記診断情報を取得する診断情報取得手段、前記診断情報取得手段により取得される少なくとも１つの診断情報に含まれる読影対象画像それぞれに少なくとも１つ含まれる特徴画像を、少なくとも１つの特徴画像群に分類する分類手段、前記分類手段により分類される各特徴画像が属する特徴画像群に対応する診断結果と、当該特徴画像が含まれる診断情報に含まれる診断結果情報が示す診断結果と、の比較結果に応じた、利用者により指定された担当者による前記読影対象画像の読影に基づく診断に対する評価情報を出力する評価情報出力手段、としてコンピュータを機能させることとしたものである。

請求項１，４に記載の発明によれば、読影の対象となる読影対象画像と、担当者による読影対象画像の読影に基づく診断結果を示す情報と、に基づいて、初期診断結果と確定診断結果とを比較することなく担当者による読影対象画像の読影に基づく診断の評価を行うことができる。

請求項２に記載の発明によれば、各種類の診断結果を示す診断結果情報が含まれる診断情報に含まれる特徴画像の数に対する、その種類の診断結果を示す診断結果情報が含まれる診断情報に含まれ、かつ、その種類の診断結果に対応する特徴画像群に属する特徴画像の数の割合に応じた、担当者による読影対象画像の読影に基づく診断の評価を行うことができる。

請求項３に記載の発明によれば、各種類の診断結果を示す診断結果情報が含まれる診断情報に含まれる特徴画像の数に応じた、担当者による読影対象画像の読影に基づく診断の評価を行うことができる。

本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。本発明の一実施形態に係る情報処理装置により実現される機能の一例を示す機能ブロック図である。診断情報のデータ構造の一例を示す図である。本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。読影対象画像の一例を示す図である。読影対象画像の一例を示す図である。評価行列の一例を示す図である。評価情報画面の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１のハードウェア構成図に例示するように、本実施形態における情報処理装置１０は、例えば、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、を含んでいる。これらの要素は、バスなどを介して接続される。

制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、情報処理装置１０にインストールされるプログラムに従って動作する。記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。ＵＩ部１６は、ディスプレイ、マイク、マウス、キーボードなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力したり音声出力したりする。

図２は、本実施形態に係る情報処理装置１０により実現される機能の一例を示す機能ブロック図である。図２に例示するように、本実施形態では、情報処理装置１０は、例えば、診断情報記憶部２０、診断情報取得部２２、診断名抽出部２４、特徴画像抽出部２６、学習情報記憶部２８、分類部３０、評価部３２、情報出力部３４、を含むものとして機能する。診断情報記憶部２０、学習情報記憶部２８は、記憶部１４を主として実現される。その他の要素は制御部１２を主として実現される。

これらの要素は、コンピュータである情報処理装置１０にインストールされたプログラムを、情報処理装置１０の制御部１２で実行することにより実現されている。このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１０に供給される。

診断情報記憶部２０は、例えば、図３に例示する診断情報３６を少なくとも１つ記憶する。図３は、診断情報３６のデータ構造の一例を示す図である。図３に例示するように、診断情報３６は、読影の対象となる画像（例えば、診断される体の部位を撮像した画像）である読影対象画像３８と、読影対象画像３８の読影に基づく診断を担当した担当者を示す（例えば、担当者の識別子や名称などである）担当者情報４０と、担当者による読影対象画像３８の読影に基づく診断結果を示す診断結果情報４２と、を含む。診断結果情報４２は、具体的には、例えば、読影対象画像３８に対するコメントや説明、診断名（例えば、病気の種類）、病変名（例えば、蜂巣肺、線状特徴、網状特徴など）、患者を特定することができる情報（例えば、患者名など）、などに対応する文字列（文書）を含んでいる。

ここで、本実施形態に係る情報処理装置１０で行われる処理の流れの一例を、図４に例示するフロー図を参照しながら説明する。

まず、診断情報取得部２２が、情報処理装置１０の利用者（例えば、患者、読影医、読影医の管理者など）から、担当者を指定する情報（例えば、担当者の識別子や名称など）を受け付ける（Ｓ１０１）。そして、診断情報取得部２２が、Ｓ１０１に例示する処理により指定された担当者を示す担当者情報４０を含む診断情報３６を診断情報記憶部２０から取得する（Ｓ１０２）。

そして、診断名抽出部２４が、Ｓ１０２に例示する処理で取得された各診断情報３６について、その診断情報３６に含まれる診断結果情報４２から診断名を抽出して、抽出元の診断結果情報４２が含まれる診断情報３６に関連付ける（Ｓ１０３）。診断名抽出部２４は、具体的には、例えば、診断結果情報４２に対して形態素解析処理を実行して、その実行結果を予め記憶部１４に記憶されている診断名を表現する単語と照合することにより、診断結果情報４２から診断名を示す文字列を抽出して、抽出元の診断結果情報４２が含まれる診断情報３６に関連付ける。なお、本処理例では、診断名抽出部２４は、１つの診断結果情報４２から１つの診断名を抽出する。なお、診断名抽出部２４は、１つの診断結果情報４２から複数の診断名を抽出してもよい。

そして、特徴画像抽出部２６が、Ｓ１０２に例示する処理で取得された各診断情報３６について、その診断情報３６に含まれる読影対象画像３８から、少なくとも１つの特徴画像４４（図５参照）を抽出する（Ｓ１０４）。図５に、特徴画像４４が抽出された読影対象画像３８の一例を示す。

ここで、Ｓ１０４に例示する特徴画像抽出部２６による特徴画像４４の抽出処理の詳細の一例を、図６に例示する読影対象画像３８を参照しながら説明する。なお、本実施形態では、学習情報記憶部２８には、例えば、後述する特徴ベクトルとラベル（例えば、診断名や病変名の識別子などに対応する）とが関連付けられた少なくとも１つの学習情報が予め記憶されている。まず、特徴画像抽出部２６は、図６に例示するように、読影対象画像３８内の、病気を診断する対象となる体の部位に対応する対象領域４６（例えば、肺の画像（肺画像４８）が含まれる領域）を決定する。そして、特徴画像抽出部２６は、対象領域４６内に、例えば、正方形の注目領域５０を決定する。そして、特徴画像抽出部２６は、例えば、注目領域５０に含まれる各画素の色分布などに基づいて、この注目領域５０に対応する特徴ベクトル（具体的には、例えば、ＳＩＦＴ特徴やＶＺ特徴など）を算出する。そして、特徴画像抽出部２６は、例えば、注目領域５０の中心の位置（例えば、注目領域５０の中心の位置に配置されている画素）に、算出された特徴ベクトルを関連付ける。そして、特徴画像抽出部２６は、例えば、学習情報記憶部２８に記憶されている学習情報に含まれる特徴ベクトルそれぞれについて、その特徴ベクトルと、注目領域５０の中心の位置に関連付けられた特徴ベクトルと、の間の距離（特徴ベクトルの差のノルム）を算出する。そして、特徴画像抽出部２６は、各学習情報に含まれる特徴ベクトルのうちから、注目領域５０の中心の位置に関連付けられた特徴ベクトルからの距離が最も近い特徴ベクトルを特定する。そして、特徴画像抽出部２６は、その特徴ベクトルが含まれる学習情報に対応するラベルを特定する。そして、特徴画像抽出部２６は、特定されたラベルを注目領域５０の中心の位置（例えば、注目領域５０の中心の位置に配置されている画素）に関連付ける。

特徴画像抽出部２６は、対象領域４６全体について注目領域５０を走査して、上述の処理を繰り返し実行することにより、対象領域４６の少なくとも一部に含まれる位置それぞれに対して特徴ベクトル及びラベルを関連付ける。

なお、特徴画像抽出部２６は、公知のＣＲＦ（ＣｏｎｄｉｔｉｏｎａｌＲａｎｄｏｍＦｉｅｌｄ）などを用いて、隣接する位置について互いに対応するラベル（例えば、同一のラベル）が関連付けられるよう、注目領域５０の中心の位置に関連付けられるラベルを補正してもよい。

そして、特徴画像抽出部２６は、Ｓ１０２に例示する処理で取得された各診断情報３６について、その診断情報３６に含まれる読影対象画像３８内の各位置に関連付けられたラベルに対応する診断名や病変名などに基づいて、少なくとも１つの特徴画像４４を抽出する。なお、本処理例では、特徴画像抽出部２６は、各診断情報３６に含まれる読影対象画像３８から１つの特徴画像４４を抽出する。もちろん、特徴画像抽出部２６は、各診断情報３６に含まれる読影対象画像３８から複数の特徴画像４４を抽出してもよい。特徴画像抽出部２６は、例えば、内部に含まれるラベルに関連付けられた位置の数に対する、特定の診断名や病変名に対応するラベルに関連付けられた位置の数の割合が予め定められた閾値以上となる矩形領域に対応する画像を特徴画像４４として抽出してもよい。なお、特徴画像抽出部２６は、例えば、互いに対応するラベル（例えば、同一のラベル）が関連付けられた位置をつなぎあわせて閉曲線で囲むことにより、読影対象画像３８に含まれる少なくとも１つの特徴画像４４を抽出してもよい。また、特徴画像抽出部２６は、読影対象画像３８に対応する診断結果情報４２に含まれる位置を表す表現に基づいて、病変名及びその病変名が示す病変に対応する読影対象画像３８内の位置や領域を決定して、その位置や領域に対応する特徴画像４４を抽出するようにしてもよい。なお、本処理例では、特徴画像抽出部２６が、抽出された特徴画像４４と、その特徴画像４４に対応する診断情報３６に、Ｓ１０３に例示する処理により関連付けられた診断名（診断結果情報４２から抽出された診断名）と、を関連付ける。なお、例えば、診断名抽出部２４が、１つの診断結果情報４２から複数の診断名を抽出して、特徴画像抽出部２６が、各診断情報３６に含まれる読影対象画像３８から複数の特徴画像４４を抽出する場合などには、特徴画像抽出部２６が、特徴画像４４に対応する上述のラベルなどに基づいて、特徴画像４４と診断名とを関連付けてもよい。

Ｓ１０４に例示する処理が終了すると、特徴画像抽出部２６が、各特徴画像４４について、その特徴画像４４に対応する代表特徴ベクトルを算出する（Ｓ１０５）。特徴画像抽出部２６は、具体的には、例えば、特徴画像４４に含まれる各位置（例えば、特徴画像４４に含まれる各画素）に関連付けられている特徴ベクトルの平均値を代表特徴ベクトルとして算出する。

そして、分類部３０が、各特徴画像４４を、予め定められた数の特徴画像群に分類する（Ｓ１０６）。分類部３０は、具体的には、例えば、各特徴画像４４に対応する代表特徴ベクトルに基づいて、ＫＭｅａｎｓ法などのクラスタリング方法を用いて、特徴画像４４を特徴画像群に分類する。分類部３０は、例えば、存在する診断名の種類の数よりも大きな数を特徴画像群の数と決定して、その数の特徴画像群に各特徴画像４４を分類する。

そして、評価部３２が、特徴画像群毎に、各診断名に関連付けられている特徴画像４４の数を計数する（Ｓ１０７）。そして、評価部３２が、Ｓ１０７に例示する処理で計数された数に基づいて、図７に例示する評価行列５２を生成する（Ｓ１０８）。図７に例示する評価行列５２では、各特徴画像群について、Ｓ１０７に例示する処理で計数された数が最も多い診断名が、その特徴画像群に対応すると仮定して評価行列５２を生成している。評価行列５２の列は、各特徴画像群に対応すると仮定された診断名に対応しており、評価行列５２の行は、Ｓ１０７に例示する処理で特定された診断名（診断結果情報４２に含まれる診断名）に対応している。なお、図７に示す具体的な数値は例示であり、これらの数値には限定されない。

そして、評価部３２は、評価行列５２に基づいて、利用者により指定された担当者による前記読影対象画像３８の読影に基づく診断に対する評価情報（診断を評価する評価情報）を生成する（Ｓ１０９）。評価部３２は、評価行列５２を評価情報としてもよい。また、評価部３２は、評価行列５２の非対角成分がすべて０である場合（すなわち、特徴画像群に対応すると仮定された診断名と、その特徴画像群に属する特徴画像４４に対応する診断結果情報４２に含まれる診断名と、が完全に対応する場合）に評価値（スコア）が最大となるよう評価情報を生成してもよい。評価部３２は、具体的には、例えば、診断名Ｋ１については、２５／（２５＋８＋２＋１＋４）＝０．６２５と評価値を算出する。評価部３２は、同様にして、診断名Ｋ２、Ｋ３、Ｋ４、Ｋ５の評価値を、それぞれ０．５２６、０．５３６、０．６６７、０．７１４と算出する。また、評価部３２は、総合評価値（総合スコア）を算出してもよい。評価部３２は、例えば、上述の各診断名に対応する評価値の平均値である０．６１４を総合評価値として算出してもよい。また、評価部３２は、各診断名について計数された特徴画像４４の数に応じて重み付けした重み付き平均に対応する値を総合評価値として算出してもよい。評価部３２は、例えば、診断名Ｋ_ｉに対応する評価値をｓ_ｉとして、診断名Ｋ_ｉに対応する重みをｗ_ｉ（Σｗ_ｉ＝１（Σはｉについての総和））とした際における、Σｗ_ｉｓ_ｉ（Σはｉについての総和）の値を総合評価値として算出してもよい。このように、本実施形態では、評価部３２は、特徴画像群に対応する診断結果（例えば、診断名）と、特徴画像４４が含まれる診断情報３６に含まれる診断結果情報４２が示す診断結果（例えば、診断結果情報４２から抽出される診断名）と、の比較結果に応じた、評価情報を生成する。また、上述のように、評価部３２は、診断結果情報４２が示す診断結果の種類毎に算出される、この種類の診断結果を示す診断結果情報４２が含まれる診断情報３６に含まれる特徴画像４４の数に対する、この種類の診断結果を示す診断結果情報４２が含まれる診断情報３６に含まれ、かつ、この診断結果に対応する特徴画像群に属する特徴画像４４の数に応じた、評価情報を生成してもよい。

そして、情報出力部３４が、評価部３２が生成する評価情報（例えば、図８に例示する評価情報画面５４）をディスプレイなどのＵＩ部１６に出力する（Ｓ１１０）。図８は、評価情報画面５４の一例を示す図である。

なお、特徴画像群の数が診断名の数よりも多い場合に、評価部３２は、診断名Ｋ_ｉに対応する評価値ｓ_ｉは、その診断名に対応すると仮定される特徴画像群に属する特徴画像４４について上述の処理により計数された回数の和を算出することにより、評価情報を生成してもよい。

なお、ある特徴画像群について、Ｓ１０７に例示する処理で計数された数が最も多い診断名が複数存在する場合には、評価部３２が、それらすべての診断名に特徴画像群が対応すると仮定してもよい。また、上述の場合に、評価部３２が、この特徴画像群については評価情報の生成対象から除外してもよい。また、評価部３２が、特徴画像群の統合を行ってもよい。また、上述のＳ１１０に例示する処理において、情報出力部３４は、担当者が担当していない診断名については、評価情報に含めないようにしてもよい。

なお、本発明は上記実施形態に限定されるものではない。

例えば、予め定められた時間単位（例えば、一年ごと）に区切って、その時間単位に対応する診断情報３６に基づいて、評価部３２が、評価情報を生成するようにしてもよい。

例えば、診断情報記憶部２０、学習情報記憶部２８、の少なくとも一部を、情報処理装置１０とインターネットなどの通信手段により接続された外部装置において実現した分散型情報処理システムに本実施形態を応用してもよい。

１０情報処理装置、１２制御部、１４記憶部、１６ユーザインタフェース（ＵＩ）部、２０診断情報記憶部、２２診断情報取得部、２４診断名抽出部、２６特徴画像抽出部、２８学習情報記憶部、３０分類部、３２評価部、３４情報出力部、３６診断情報、３８読影対象画像、４０担当者情報、４２診断結果情報、４４特徴画像、４６対象領域、４８肺画像、５０注目領域、５２評価行列、５４評価情報画面。

Claims

読影の対象となる読影対象画像と、前記読影対象画像の読影を担当した担当者を示す担当者情報と、前記担当者による前記読影対象画像の読影に基づく診断結果を示す診断結果情報と、を含む診断情報を少なくとも１つ記憶する診断情報記憶手段から、利用者により指定された担当者を示す担当者情報を含む少なくとも１つの前記診断情報を取得する診断情報取得手段と、
前記診断情報取得手段により取得される少なくとも１つの診断情報に含まれる読影対象画像それぞれに少なくとも１つ含まれる特徴画像を、少なくとも１つの特徴画像群に分類する分類手段と、
前記各診断情報に含まれる前記診断結果情報が示す診断結果の種類毎に算出される、当該種類の診断結果を示す前記診断結果情報が含まれる前記診断情報に含まれる前記特徴画像の数に対する、当該種類の診断結果を示す前記診断結果情報が含まれる前記診断情報に含まれ、かつ、当該種類の診断結果に対応する前記特徴画像群に属する前記特徴画像の数の割合に応じた、利用者により指定された担当者による前記読影対象画像の読影に基づく診断に対する評価情報を出力する評価情報出力手段と、
を含むことを特徴とする情報処理装置。
前記評価情報出力手段が、前記各診断情報に含まれる診断結果情報が示す診断結果の種類毎に算出される前記割合の、当該種類の診断結果を示す診断結果情報が含まれる診断情報に含まれる特徴画像の数に応じた重み付け平均に対応する前記評価情報を出力する、
ことを特徴とする請求項１に記載の情報処理装置。
読影の対象となる読影対象画像と、前記読影対象画像の読影を担当した担当者を示す担当者情報と、前記担当者による前記読影対象画像の読影に基づく診断結果を示す診断結果情報と、を含む診断情報を少なくとも１つ記憶する診断情報記憶手段から、利用者により指定された担当者を示す担当者情報を含む少なくとも１つの前記診断情報を取得する診断情報取得手段、
前記診断情報取得手段により取得される少なくとも１つの診断情報に含まれる読影対象画像それぞれに少なくとも１つ含まれる特徴画像を、少なくとも１つの特徴画像群に分類する分類手段、
前記各診断情報に含まれる前記診断結果情報が示す診断結果の種類毎に算出される、当該種類の診断結果を示す前記診断結果情報が含まれる前記診断情報に含まれる前記特徴画像の数に対する、当該種類の診断結果を示す前記診断結果情報が含まれる前記診断情報に含まれ、かつ、当該種類の診断結果に対応する前記特徴画像群に属する前記特徴画像の数の割合に応じた、利用者により指定された担当者による前記読影対象画像の読影に基づく診断に対する評価情報を出力する評価情報出力手段、
としてコンピュータを機能させることを特徴とするプログラム。