[第1実施形態]
図1において、特徴量管理システムに相当する医療情報システム2は、診断支援装置に相当するクライアント端末10と、クライアント端末10にネットワーク11を介して接続された、特徴量管理装置に相当するセンターサーバ12とを備える。クライアント端末10は複数の医療施設13のそれぞれに設置(図1では、代表的な1つの医療施設13の1台のクライアント端末10のみを図示)され、その各々がネットワーク11を介してセンターサーバ12と接続されている。センターサーバ12はデータセンター14に設置されている。
クライアント端末10およびセンターサーバ12は、パーソナルコンピュータ、サーバコンピュータ、ワークステーションといったコンピュータをベースに、オペレーティングシステム等の制御プログラムや、クライアントプログラムまたはサーバプログラム等の各種アプリケーションプログラムをインストールして構成される。
ネットワーク11は、ベースネットワークとして通信事業者が保有する専用の広域IP(Internet Protocol)網を使用しており、この広域IP網上にVPN(Virtual Private Network)を構築した閉域のネットワークである。VPNにより、ネットワーク11内を行き交う各種情報が医療情報システム2の外部に漏洩することはなく、各種情報のセキュリティが確保される。
データセンター14は、検査画像を管理する画像管理サービスや、検査画像内の病変の特徴を表す特徴量を算出し、これを管理する特徴量管理サービス、患者の診断を支援する診断支援情報を提供する診断支援情報提供サービスといった各種アプリケーションサービスを医療施設13に提供する。医療施設13は、各種アプリケーションサービスを受けるためにデータセンター14と契約を結び、各種アプリケーションサービスの利用者としてデータセンター14に登録される。
クライアント端末10には、モダリティ15が接続されている。モダリティ15は、検査画像として断層画像を撮影するCT装置やMRI装置、検査画像として単純X線画像を撮影する一般X線撮影装置等である。
クライアント端末10は、検査画像や診断支援情報を閲覧する際、検査画像内の病変の領域R1(図10等参照)を指定する際等に、医療施設13の放射線技師や医師等の医療スタッフ(ユーザに相当)により操作される。
センターサーバ12には、画像データベース(以下、DB(Data Base)と略す)16と、データ格納部に相当する特徴量DB17とが接続されている。画像DB16には画像リスト18(図6参照)が、特徴量DB17には特徴量リスト19(図7参照)がそれぞれ格納されている。
図2において、クライアント端末10は、検査画像の登録要求と診断支援情報の配信要求をセンターサーバ12に出力する。登録要求および配信要求には、これらの各要求の出力元のクライアント端末10が設置された医療施設13(各要求の出力元の医療施設13)の施設ID(Identification data)が含まれる。施設IDは、個々の医療施設13を識別するための識別情報であり、例えば各種アプリケーションサービスの契約締結時にセンターサーバ12により自動的に付される。
登録要求には、施設IDに加えて、検査画像と画像関連情報(図3参照)とが含まれる。配信要求には、施設IDに加えて、領域R1の指定対象の検査画像の画像ID、ユーザ関連情報(図4参照)、領域指定情報(図5参照)、および診断支援情報の種類(図示せず)が含まれる。画像IDは、個々の検査画像を識別するための識別情報であり、検査画像の撮影時にモダリティ15により自動的に付される。
なお、一般X線撮影では、1回の撮影で1枚の単純X線画像が撮影されることが多い。対してCT撮影やMRI撮影で取得される断層画像のように、1回の撮影で複数枚の検査画像が撮影される場合もある。このように1回の撮影で複数枚の検査画像が撮影された場合は、複数枚の検査画像が1回の撮影で得られたことを示すために各検査画像に共通の画像IDが付され、一まとめの検査画像として管理される。単純X線撮影で複数枚撮影された場合も同様である。
センターサーバ12は、クライアント端末10からの各要求を受け付ける。センターサーバ12は、登録要求の検査画像を画像リスト18に、配信要求の領域指定情報に基づいて算出した特徴量を特徴量リスト19にそれぞれ登録し、これらを管理する。また、センターサーバ12は、特徴量に基づいて診断支援情報を生成し、生成した診断支援情報を配信要求の出力元のクライアント端末10に提供する。
図3において、画像関連情報は、個々の患者を識別するための患者ID、氏名、性別、生年月日、身長、体重といった患者情報の項目、画像ID、検査日、検査目的、検査対象部位および向き、モダリティ15に設定された撮影条件、検査の種類(CT、MRI等のモダリティ15の種類)といった検査情報の項目を有している。検査目的の項目には、定期健診、経過観察等が記録される。検査対象部位および向きの項目には、頭部、胸部、腹部、脚、腕、手等の人体の各部位、および仰向け、うつ伏せ、横臥、正面、側面、背面、斜位等の患者の向き(放射線の入射方向)が記録される。検査画像がDICOM(Digital Imaging and Communications in Medicine)規格のデータファイル形式で作成される場合、画像関連情報はデータファイルのタグ情報として検査画像に関連付けられる。
図4において、ユーザ関連情報は、端末ID、スタッフID、およびプログラムIDの各項目を有する。端末ID、スタッフID、およびプログラムIDは、それぞれ個々のクライアント端末10、医療スタッフ、およびクライアント端末10で作動するビューアプログラム35(算出プログラムに相当、図9参照)を識別するための識別情報である。端末IDは装置識別情報に、スタッフIDはユーザ識別情報に、プログラムIDはプログラム識別情報にそれぞれ相当する。端末IDの項目には、配信要求の出力元のクライアント端末10の端末IDが記録される。スタッフIDの項目には、配信要求の出力元のクライアント端末10にログインして配信要求の出力に携わった医療スタッフのスタッフIDが記録される。また、プログラムIDの項目には、配信要求の出力元のクライアント端末10にインストールされ、配信要求の出力に携わったビューアプログラム35のプログラムIDが記録される。
端末IDは、例えばクライアント端末10のシリアルナンバーやIP(Internet protocol)アドレスである。プログラムIDは、例えばビューアプログラム35のシリアルナンバー、プログラム名、バージョン情報等である。スタッフIDは、例えば各種アプリケーションサービスの契約締結時にセンターサーバ12により自動的に付される。
図5において、領域指定情報は、位置座標の項目を有する。位置座標の項目には、領域R1の検査画像内の位置を示す座標が記録される。座標は、例えば検査画像の左上の画素を原点とし、検査画像を構成する各画素の位置を二次元的に表現した数値である。領域R1が矩形状の場合は、図5に示すように矩形の対角線上の2点の座標が位置座標の項目に登録される。なお、領域R1が円形状の場合は、円の中心の座標と直径または半径が、領域R1が楕円形状の場合は、楕円の中心の座標と長径、短径が記録される。領域R1が不定形の場合(図10参照)は、領域R1の境界の全ての画素の座標が記録される。
図6において、画像リスト18には、登録要求で受け付けた施設ID、検査画像、および画像関連情報が一まとめの情報として登録される。画像リスト18に登録された検査画像は、施設IDや画像関連情報を元に検索することが可能である。
図7において、特徴量リスト19には、配信要求で受け付けた施設ID、画像ID、ユーザ関連情報、および領域指定情報と、特徴量とが登録される。これら施設ID、画像ID、ユーザ関連情報、領域指定情報、および特徴量には、1つの特徴量IDが付される。特徴量IDは、配信要求を受け付けたときにセンターサーバ12により自動的に付される。特徴量リスト19に登録された特徴量は、施設ID、画像ID、ユーザ関連情報、および領域指定情報を元に検索することが可能である。なお、施設ID、画像ID、ユーザ関連情報、および領域指定情報と特徴量とを、共通のIDを付して別々のリストに登録してもよい。
特徴量の項目には、領域指定情報に基づいてセンターサーバ12側で領域R1を再認識した再認識領域R2(図16参照)の特徴量が登録される。特徴量の項目は、画素値関連特徴量、形状関連特徴量、およびサイズ関連特徴量の項目に分かれている。画素値関連特徴量は再認識領域R2の画素値に関連する特徴量であり、例えば再認識領域R2の画素値の最大値、最小値、平均値、分散等である。
形状関連特徴量は再認識領域R2の形状に関する特徴量であり、例えば再認識領域R2の扁平度、凹凸度、円形度、位置座標等である。ここで、形状関連特徴量の位置座標は、領域指定情報の領域R1の位置座標ではなく、センターサーバ12側で認識した再認識領域R2の位置座標である。以下では、領域R1の位置座標を位置座標(R1)、再認識領域R2の位置座標を位置座標(R2)と表記する。
サイズ関連特徴量は再認識領域R2のサイズに関する特徴量である。サイズ関連特徴量は、例えば再認識領域R2の体積、面積、長径、短径等である。なお、以下の説明では、サイズ関連特徴量を第1サイズという。
図8において、クライアント端末10およびセンターサーバ12を構成するコンピュータは、基本的な構成は同じであり、それぞれ、ストレージデバイス25、メモリ26、CPU(Central Processing Unit)27、通信部28、ディスプレイ29、および入力デバイス30を備えている。これらはデータバス31を介して相互接続されている。
ストレージデバイス25は、クライアント端末10等を構成するコンピュータに内蔵、またはケーブルやネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス25には、オペレーティングシステム等の制御プログラムや各種アプリケーションプログラム、およびこれらのプログラムに付随する各種操作画面の表示データ等が記憶されている。
メモリ26は、CPU27が処理を実行するためのワークメモリである。CPU27は、ストレージデバイス25に記憶されたプログラムをメモリ26へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
通信部28は、ネットワーク11を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ29は、マウスやキーボード等の入力デバイス30の操作に応じた各種操作画面を表示する。操作画面にはGUI(Graphical User Interface)による操作機能が備えられる。クライアント端末10等を構成するコンピュータは、操作画面を通じて入力デバイス30からの操作指示の入力を受け付ける。
なお、以下の説明では、クライアント端末10を構成するコンピュータの各部には添え字の「A」を、センターサーバ12を構成するコンピュータの各部には添え字の「B」をそれぞれ符号に付して区別する。
図9において、クライアント端末10のストレージデバイス25Aには、ビューアプログラム35およびモダリティ15からの検査画像が記憶されている。ビューアプログラム35は、検査画像や診断支援情報の閲覧、各要求の出力、および領域R1の指定等を行うためのアプリケーションプログラムである。
ビューアプログラム35が起動されると、クライアント端末10のCPU27Aは、メモリ26と協働して、GUI制御部36、プログラム制御部37、および要求発行部38として機能する。
GUI制御部36は、ビューア画面45(図10等参照)をディスプレイ29Aに表示し、かつビューア画面45を通じて入力デバイス30Aから入力される操作指示を受け付ける。操作指示には、検査画像の登録指示、検索指示や、領域R1の指定指示、診断支援情報の配信指示等がある。GUI制御部36は、受け付けた操作指示をプログラム制御部37に出力する。
プログラム制御部37は、ビューアプログラム35の動作を制御する。プログラム制御部37は、ビューア画面45を生成し、これをGUI制御部36に出力する。また、プログラム制御部37は、通信部28で受信したセンターサーバ12からの診断支援情報を通信部28から受け取り、受け取った診断支援情報をビューア画面45に表示させる。
要求発行部38は、登録要求および配信要求を発行する。要求発行部38は、各要求を通信部28から出力させる。
なお、図9では図示を省略しているが、要求発行部38は、登録要求および配信要求の他に、検査画像の検索指示に応じた検索要求も発行する。検索要求には、検索対象の検査画像の画像関連情報と、ユーザ関連情報のうちの端末IDと、登録要求および配信要求と同様に施設IDとが含まれる。
検査画像の登録指示を受け付けた場合、プログラム制御部37は、登録指示で指定された検査画像をストレージデバイス25Aから要求発行部38に読み出させ、読み出させた検査画像をストレージデバイス25Aから消去する。また、領域R1の指定指示および診断支援情報の配信指示を受け付けた場合、プログラム制御部37は、領域R1の指定指示に応じた領域指定情報を生成し、生成した領域指定情報を要求発行部38に出力する。
なお、図示は省略するが、ストレージデバイス25Aには、検査画像だけでなく、登録要求および配信要求の発行に必要な施設ID、画像関連情報、およびユーザ関連情報も記憶されている。プログラム制御部37は、各要求に必要な情報をストレージデバイス25Aから要求発行部38に読み出させる。ユーザ関連情報のうちのスタッフIDは、例えばビューアプログラム35の起動画面にて認証キー等とともに医療スタッフに入力させることで取得する。
図10において、ビューア画面45には、入力ボックス46、検索ボタン47、画像表示領域48、画像関連情報表示領域49、登録ボタン50、およびボタン群51が設けられている。
入力ボックス46および検索ボタン47は、検査画像の検索指示を入力するために設けられている。入力ボックス46に所望の検査画像の画像関連情報、例えば図示する画像IDが入力されて検索ボタン47がカーソル52で選択されると、プログラム制御部37により所望の検査画像がストレージデバイス25Aから検索されるか、要求発行部38から検索要求が発行される。
画像表示領域48には、ストレージデバイス25Aから検索された検査画像、または検索要求に応じてセンターサーバ12から送信された検査画像が画像IDとともに表示される。画像関連情報表示領域49には、画像表示領域48に表示された検査画像の画像関連情報が表示される。
登録ボタン50は、検査画像の登録指示を入力するために設けられている。登録ボタン50がカーソル52で選択されると、画像表示領域48に表示された検査画像の登録要求が要求発行部38から発行される。
ボタン群51は、手動領域指定ボタン53、自動領域指定ボタン54、指定クリアボタン55、経過観察ボタン56、診断名推定ボタン57、および類似画像検索ボタン58を有する。手動領域指定ボタン53、自動領域指定ボタン54、指定クリアボタン55は、領域R1の指定指示を入力するために設けられている。経過観察ボタン56、診断名推定ボタン57、類似画像検索ボタン58は、診断支援情報の配信指示を入力するために設けられている。
手動領域指定ボタン53は領域R1を医療スタッフが手動で指定するための操作ボタンである。手動領域指定ボタン53がカーソル52で選択された状態では、検査画像の任意の領域を手動で指定する操作が可能となる。この領域R1の手動による指定操作は、例えば、カーソル52により検査画像内の病変と思しき領域の外周を囲むように複数の制御点を指定することで行われる。この複数の制御点を通る滑らかな曲線を描く一点鎖線で示す枠およびその内側が領域R1として指定される。この場合の領域R1は不定形となる。枠および制御点はカーソル52により修正することが可能である。なお、矩形状、円形状、または楕円形状の枠を画像表示領域48内に表示させ、カーソル52により枠を拡大または縮小させることで領域R1を指定させてもよい。
自動領域指定ボタン54は領域R1をプログラム制御部37で自動的に指定するための操作ボタンである。ビューアプログラム35には、領域R1を自動的に指定する機能(例えば図16に示す領域拡張法による)が備わっている。自動領域指定ボタン54がカーソル52で選択されると、上記機能による領域R1の自動指定がプログラム制御部37で実行され、領域R1を示す枠が画像表示領域48に表示される。自動領域指定ボタン54の選択により領域R1の自動指定を実行した後に、手動領域指定ボタン53を選択して、自動指定された領域R1を手動で修正することも可能である。なお、自動領域指定ボタン54がカーソル52で選択されずに、手動のみで領域R1が指定された場合は、図7の特徴量ID「F002」のように、ユーザ関連情報のプログラムIDの項目は空欄となる。
指定クリアボタン55は指定した領域R1を取り消すための操作ボタンである。指定クリアボタン55がカーソル52で選択されると、画像表示領域48の枠の表示が消され、指定前の状態に戻る。
経過観察ボタン56は、画像表示領域48に表示された検査画像の患者の術後や投薬後の治療効果を判定するために、第1サイズの経時変化を診断支援情報として取得するための操作ボタンである。診断名推定ボタン57は、特徴量から予想される診断名の推定結果を診断支援情報として取得するための操作ボタンである。類似画像検索ボタン58は、画像表示領域48に表示された検査画像と類似する類似画像を診断支援情報として取得するためのボタンである。
領域R1の指定後、経過観察ボタン56、診断名推定ボタン57、類似画像検索ボタン58のいずれかがカーソル52で選択されると、診断支援情報の配信要求が要求発行部38から発行される。配信要求の診断支援情報の種類は、経過観察ボタン56が選択された場合は第1サイズの経時変化、診断名推定ボタン57が選択された場合は診断名の推定結果、類似画像検索ボタン58が選択された場合は類似画像となる。
図11〜図13に示すように、経過観察ボタン56、診断名推定ボタン57、類似画像検索ボタン58のいずれかがカーソル52で選択された場合、ビューア画面45には診断支援情報表示領域59が設けられる。
図11において、経過観察ボタン56が選択された場合、診断支援情報表示領域59には、第1サイズの経時変化を示すグラフ65が表示される。グラフ65は、検査日を横軸、第1サイズ(ここでは長径)を縦軸にそれぞれとり、第1サイズを示す三角形のマーク66と第1サイズの数値を検査日毎に時系列に並べたものである。
図12において、診断名推定ボタン57が選択された場合、診断支援情報表示領域59には、病変の種類および診断名の推定結果を示す文字情報67が表示される。
図13において、類似画像検索ボタン58が選択された場合、診断支援情報表示領域59には、類似画像のサムネイル68が一覧表示される。このサムネイル68がカーソル52で選択されると、画像表示領域48の検査画像と比較可能に類似画像が表示される。なお、サムネイル68が診断支援情報表示領域59に一度に収まりきらない場合には、図13のように非表示のサムネイル68を横スクロール操作により表示させるためのスクロールバー69が診断支援情報表示領域59に設けられる。なお、診断支援情報をビューア画面45とは別の画面で表示してもよい。
図14において、センターサーバ12のストレージデバイス25Bには、作動プログラム75および診断支援プログラム76が記憶されている。作動プログラム75は、センターサーバ12を構成するコンピュータを、特徴量管理装置として機能させるためのアプリケーションプログラムである。診断支援プログラム76は、特徴量を算出し、算出した特徴量に基づいて診断支援情報を生成するためのアプリケーションプログラムである。
センターサーバ12のCPU27Bは、作動プログラム75を起動すると、メモリ26と協働して、登録要求受付部77、画像登録部78、配信要求受付部79、検索部80、プログラム制御部81、特徴量登録部82、および提供部83として機能する。
登録要求受付部77は、通信部28で受信したクライアント端末10からの検査画像の登録要求を受け付ける。登録要求受付部77は、登録要求で受け付けた施設ID、検査画像、および画像関連情報を画像登録部78に出力する。画像登録部78は、施設ID、検査画像、および画像関連情報を画像リスト18に登録する。
配信要求受付部79は受付部に相当し、通信部28で受信したクライアント端末10からの診断支援情報の配信要求を受け付ける。配信要求受付部79は、配信要求で受け付けた施設ID、画像ID、ユーザ関連情報、および領域指定情報を特徴量登録部82に出力する。また、配信要求受付部79は、配信要求で受け付けた画像IDを検索部80に、領域指定情報をプログラム制御部81にそれぞれ出力する。
検索部80は、画像リスト18から検査画像を、特徴量リスト19から特徴量をそれぞれ検索する。検索部80は、検索した検査画像および特徴量を、プログラム制御部81および提供部83に出力する。具体的には、検索部80は、検索要求に応じて、検索要求に含まれる画像関連情報が関連付けられた検査画像を画像リスト18から検索し、検索した検査画像を提供部83に出力する。また、検索部80は、配信要求に応じて、配信要求に含まれる画像IDの検査画像を画像リスト18から検索し、検索した検査画像をプログラム制御部81に出力する。さらに、検索部80は、診断支援情報の生成に必要な特徴量を特徴量リスト19から検索し、検索した特徴量をプログラム制御部81に出力する。
プログラム制御部81は、診断支援プログラム76の動作を制御する。言い換えれば、診断支援プログラム76は、プログラム制御部81の制御下で実行される。プログラム制御部81は特徴量を算出し、算出した特徴量を特徴量登録部82に出力する。また、プログラム制御部81は診断支援情報を生成し、生成した診断支援情報を提供部83に出力する。
特徴量登録部82は登録部に相当する。特徴量登録部82は、配信要求受付部79からの施設ID、画像ID、ユーザ関連情報、および領域指定情報と、プログラム制御部81からの特徴量とに特徴量IDを付して特徴量リスト19に登録する。
提供部83は、検索部80からの検査画像を、通信部28を介して検索要求の出力元のクライアント端末10に提供する。また、提供部83は、プログラム制御部81からの診断支援情報を、通信部28を介して配信要求の出力元のクライアント端末10に提供する。なお、図14では診断支援情報のみを図示し、検査画像は図示を省略している。
図15において、プログラム制御部81は、算出部90と生成部91とで構成される。算出部90は、配信要求受付部79からの領域指定情報に基づいて、検索部80からの検査画像内の領域R1を認識し直す。そして、認識し直した領域、すなわち再認識領域R2の位置座標(R2)を特徴量として算出する。また、算出部90は、再認識領域R2に対して種々の画像解析を行い、位置座標(R2)以外の各種特徴量を算出する。算出部90は、算出した特徴量を生成部91および特徴量登録部82に出力する。
算出部90による領域指定情報に基づく領域R1の認識のし直しは、例えば領域抽出法の1つである領域拡張法を用いる。具体的には図16(A)に示すように、算出部90は、領域指定情報の位置座標(R1)に基づき、領域R1の中心や重心といった代表的な1点P(シード点という)の画素を設定する。
次いで図16(B)に示すように、算出部90は、シード点Pの画素と隣接する、矢印で示す上、下、左、右、右斜め上、右斜め下、左斜め上、左斜め下の8つの画素の画素値が、予め設定された拡張条件を満たすか否かを判定する。そして、拡張条件を満たした画素について、シード点の画素と同様に、隣接する画素の画素値が拡張条件を満たすか否かを判定する。こうした処理を繰り返すことで、シード点Pの画素の周囲の画素が、拡張条件を満たす画素と満たさない画素とに選別されていく。
上記の拡張条件による画素値の判定により、拡張条件を満たす画素の領域がシード点Pの周囲に形成される。図16(C)に示すように、算出部90は、この拡張条件を満たす画素の領域を再認識領域R2として認識する。
図16(C)では、領域R1と再認識領域R2の認識結果が異なっている。この認識結果が異なる理由としては、クライアント端末10のビューアプログラム35の領域R1の自動指定機能と、診断支援プログラム76の再認識領域R2の認識機能のアルゴリズムが異なる場合(例えば領域拡張法の拡張条件が異なる等)や、クライアント端末10で領域R1が手動で指定された場合等が考えられる。なお、領域拡張法に代えて他の領域抽出法、例えばSnakes法を用いてもよい。
図15において、生成部91は、算出部90からの特徴量および検索部80からの特徴量に基づいて、診断支援情報を生成する。生成部91は、生成した診断支援情報を提供部83に出力する。
配信要求で受け付けた診断支援情報の種類が診断名の推定結果であった場合、生成部91は、算出部90からの特徴量に基づいて病変の種類および診断名を推定し、これらを診断支援情報として提供部83に出力する。推定の方法は特に限定しないが、例えば特許文献1に記載の方法を用いる。
配信要求で受け付けた診断支援情報の種類が第1サイズの経時変化であった場合、検索部80は、配信要求で受け付けた画像IDの検査画像の画像関連情報から患者を特定し、特定した患者の過去の検査画像の画像IDを画像リスト18から検索する。次いで、検索した画像IDが関連付けられた特徴量を特徴量リスト19から検索する。
生成部91は、検索部80が検索した特徴量のうち、算出部90からの特徴量と位置座標(R2)が一致または類似する特徴量を抽出する。生成部91は、抽出した特徴量で特徴が表される病変が、算出部90からの特徴量で特徴が表される病変と同じ病変であると判断する。生成部91は、算出部90からの特徴量のうちの第1サイズと、抽出した特徴量のうちの第1サイズと、各特徴量を算出した検査画像の検査日とを診断支援情報として提供部83に出力する。
配信要求で受け付けた診断支援情報の種類が類似画像であった場合、検索部80は、配信要求で受け付けた画像IDの検査画像の画像関連情報のうち、性別、生年月日(年齢)、身長、体重といった患者情報が一致または類似し、検査対象部位および向き、検査の種類といった検査情報が一致する検査画像の画像IDを画像リスト18から検索する。次いで、検索した画像IDが関連付けられた特徴量を特徴量リスト19から検索する。
生成部91は、例えば特許文献2に記載の方法により、検索部80が検索した特徴量と算出部90からの特徴量とに基づいて、配信要求で受け付けた画像IDの検査画像と、画像リスト18から画像IDを検索した検査画像との類似度を算出する。生成部91は、画像リスト18から画像IDを検索した検査画像のうち、算出した類似度が予め設定された閾値よりも小さく、配信要求で受け付けた画像IDの検査画像との類似性が高い検査画像を診断支援情報として提供部83に出力する。
以下、上記構成による作用について、図17のフローチャートを参照して説明する。まず、各医療施設13の医療スタッフは、所望の診断支援情報をセンターサーバ12から取得するために、クライアント端末10を操作して、図10に示すビューア画面45にて検査画像内の領域R1を指定する。この領域R1の指定指示に応じて、ステップS100に示すように、プログラム制御部37により領域指定情報が生成される。
領域R1の指定後、医療スタッフは、経過観察ボタン56、診断名推定ボタン57、または類似画像検索ボタン58のいずれかをカーソル52で選択する。この診断支援情報の配信指示により、診断支援情報の配信要求が要求発行部38から発行される(ステップS110)。配信要求は、通信部28を介してセンターサーバ12に送信される。
従来は、各クライアント端末10の仕様が各々異なり、領域指定情報をセンターサーバ12に送信するインターフェースをもたないクライアント端末10もあった。対して本実施形態では、クライアント端末10に、規定のデータ形式で領域指定情報をセンターサーバ12に送信するインターフェースを設けたので、センターサーバ12側で領域指定情報が認識可能となり、領域指定情報で指定された病変に対する特徴量の算出が可能となる。
センターサーバ12では、通信部28で配信要求が受信され、受信された配信要求は配信要求受付部79で受け付けられる(ステップS200)。配信要求で受け付けられた施設ID、画像ID、ユーザ関連情報、および領域指定情報は特徴量登録部82に出力される。また、配信要求で受け付けられた画像IDは検索部80に、領域指定情報はプログラム制御部81にそれぞれ出力される。
次いでステップS210に示すように、算出部90において、領域指定情報に基づいて領域R1の認識のし直しが実行され、認識し直した領域である再認識領域R2の特徴量が算出される。算出された特徴量は特徴量登録部82に出力される。そして、特徴量登録部82により、施設ID、画像ID、ユーザ関連情報、および領域指定情報と特徴量とが関連付けられて特徴量リスト19に登録される(ステップS220)。
このように、センターサーバ12は、複数のクライアント端末10からの領域指定情報を受け付け、領域指定情報に基づいて特徴量を算出し、算出した特徴量を特徴量リスト19に登録するので、今まで各クライアント端末10で各々算出していた特徴量の算出を、センターサーバ12が一手に引き受ける形となり、特徴量の算出アルゴリズムや算出する特徴量の種類を一本化することができる。したがって、特徴量の算出アルゴリズムや算出する特徴量の種類が各クライアント端末10で異なることに起因する特徴量のばらつきをなくすことができる。一方で各クライアント端末10は、特徴量を算出する必要がないため、特徴量の算出に掛かる処理負荷が軽減される。
また、領域指定情報に基づいて領域R1を認識し直し、認識し直した再認識領域R2の特徴量を算出するので、領域の認識方法および認識精度も一本化することができる。このため、従来は、各クライアント端末10における領域の認識方法および認識精度の違いや、各医療スタッフの個人差による領域の認識の仕方の違いにより、たとえ同じ検査画像の同じ病変であっても、領域の認識結果に差異が生じて、各クライアント端末10または各医療スタッフで異なる特徴量が算出されるおそれがあったが、こうした事態は起こり得ない。したがって、特徴量リスト19に登録された異なる特徴量IDの特徴量を、単純に同列のものとして扱うことができ、診断支援情報の生成のために比較したり計算に使用したりすることができる。
なお、このセンターサーバ12による領域R1の認識のし直しは必須ではない。異なる複数のクライアント端末10で特徴量の算出アルゴリズムがそれぞれ異なる場合は、同じ領域R1に対して、各クライアント端末10で特徴量を算出していては特徴量に統一感がない。対して、本実施形態のようにセンターサーバ12で特徴量の算出を一手に引き受ければ、特徴量の算出精度あるいは算出基準を統一化することができ、たとえ領域R1の認識のし直しをせずとも従来と比べてメリットがある。
特に、同じ医療スタッフが異なる複数のクライアント端末10を使用し、各クライアント端末10で手動により領域R1を指定した場合は、同じ医療スタッフであれば領域R1自体の指定精度については問題ない。したがって、各クライアント端末10で同じ医療スタッフが手動で領域R1を指定した場合は、領域R1の認識のし直しは実行せず、指定された領域R1に対する特徴量の算出のみを実行することが好ましい。なお、各クライアント端末10で同じ医療スタッフが手動で領域R1を指定したか否かは、配信要求に手動領域指定ボタン53、自動領域指定ボタン54のいずれが選択されたかを示す選択履歴情報を含めておき、センターサーバ12で、ユーザ関連情報のスタッフIDと上記選択履歴情報に基づき判断する。
特徴量の算出後、ステップS230に示すように、生成部91において、算出部90からの特徴量および検索部80からの特徴量に基づき、診断支援情報が生成される。生成された診断支援情報は提供部83に出力され、提供部83により、通信部28を介して配信要求の出力元のクライアント端末10に提供される(ステップS240)。
特徴量に基づいて診断支援情報を生成するので、診断支援情報の信頼性は、診断支援プログラム76の特徴量の算出性能により決定付けられる。換言すれば、診断支援プログラム76の特徴量の算出性能を把握しておけば、診断支援情報が信頼の置けるものかどうかが分かる。このため、診断支援情報を診断に使うかどうかを医療スタッフの判断に委ねることができる。したがって、診断支援情報が信頼の置けるものかどうか分からない状態で診断に使用する場合よりも医療スタッフにとって精神衛生上よく、医療スタッフに与えるストレスを軽減することができる。
ステップS120に示すように、クライアント端末10では、通信部28で診断支援情報が受信され、受信された診断支援情報はプログラム制御部37に出力される。そして、プログラム制御部37により、図11〜図13に示すような診断支援情報が表示された診断支援情報表示領域59を有するビューア画面45が生成され、GUI制御部36によりディスプレイ29Aに表示される。医療スタッフは、表示された診断支援情報を参照して患者の診断を行う。
なお、配信要求の仕方は、上記第1実施形態のビューアプログラム35の機能を利用した方法に限らない。例えばデータセンター14が開設した、ウェブブラウザ上で閲覧可能なサイトを介して配信要求をしてもよい。この場合、各種アプリケーションサービを契約した医療施設13に対してサイトの認証キーを発行して、サイトへのアクセス権限を与える。医療スタッフは、サイトにアクセスし、サイト上で領域指定情報等の配信要求に含まれる各種情報を入力する。
あるいは、配信要求を電子メールで送信したり、郵送書類、電話による口頭連絡等でデータセンター14の管理者に配信要求を通達する等して、配信要求をデータセンター14の管理者に入力させてもよい。このため、クライアント端末10とセンターサーバ12は必ずしもネットワーク11を介して接続されていなくてもよい。また、検査画像の検索、登録、領域R1の指定、および配信要求の出力を一括して担う上記第1実施形態のビューアプログラム35も、必ずしもインストールされていなくてもよい。
上記第1実施形態では、ビューア画面45の生成をクライアント端末10のプログラム制御部37が担っているが、センターサーバ12の提供部83がビューア画面45の生成を担ってもよい。この場合、提供部83は、ビューア画面45を、例えば、XML(Extensible Markup Language)等のマークアップ言語によって作成されるウェブ配信用のXMLデータの形式でクライアント端末10に配信する。クライアント端末10は、XMLデータに基づきビューア画面45をウェブブラウザ上に再現して表示する。なお、XMLに代えて、JSON(JavaScript(登録商標) Object Notation)等の他のデータ記述言語を利用してもよい。
上記第1実施形態では、画像DB16をデータセンター14に設置して、各医療施設13で取得された検査画像をデータセンター14で一括管理しているが、各医療施設13に画像DBを設け、各医療施設13で検査画像を管理させてもよい。この場合、配信要求には、上記第1実施形態の施設ID、画像ID、ユーザ関連情報、領域指定情報等に加えて、検査画像が含められる。
[第2実施形態]
上記第1実施形態では、位置座標(R1)のみが記録された領域指定情報を例示したが、クライアント端末10が領域R1のサイズの認識機能を有する場合は、図18に示すように、クライアント端末10において認識した領域R1のサイズ認識結果が領域指定情報に含まれていてもよい。なお、以下の説明では、クライアント端末10において認識した領域R1のサイズ認識結果を第2サイズという。
この場合、特徴量DB17には、図19に示す特徴量リスト95が格納される。特徴量リスト95は、上記第1実施形態の図7に示す特徴量リスト19の各項目に加えて、第2サイズの項目を有する。特徴量登録部82は、上記第1実施形態の施設ID、画像ID、ユーザ関連情報、領域指定情報(位置座標(R1))、および第1サイズを含む再認識領域R2の特徴量に加えて、第2サイズも特徴量リスト95に登録する。
このように、第1サイズを含む再認識領域R2の特徴量に、第2サイズを含む領域指定情報を関連付けて登録することで、以降の実施形態で述べるように、第1サイズと第2サイズの差分に関する統計情報を生成したり、第1サイズと第2サイズを統一した統一サイズを用いて診断支援情報を生成したりすることができる。
[第3実施形態]
本実施形態では、第1サイズと第2サイズの差分に関する統計情報をセンターサーバ12で生成し、これをクライアント端末10に提供する。
図20において、クライアント端末10は、統計情報の取得要求をセンターサーバ12に出力する。取得要求には、登録要求および配信要求と同様に施設IDが含まれる。また、取得要求には、施設IDに加えて、取得要求の出力元のクライアント端末10の端末IDと、統計情報の統計処理条件とが含まれる。
センターサーバ12は、クライアント端末10からの取得要求を受け付ける。センターサーバ12は、取得要求の統計処理条件に応じた統計情報を生成し、生成した統計情報を取得要求の出力元のクライアント端末10に提供する。
クライアント端末10のGUI制御部36は、例えば図21に示す統計情報表示画面100をディスプレイ29Aに表示する。統計情報表示画面100には、スタッフID、端末ID、プログラムID、施設ID、サイズの種類、および集計単位をそれぞれ選択するためのプルダウンメニュー101、102、103、104、105、106と、送信ボタン108とが設けられている。プルダウンメニュー101〜106は、統計処理条件を入力するために設けられている。
プルダウンメニュー101〜103にはそれぞれ、特徴量リスト120(図23参照)に登録されたユーザ関連情報の全スタッフID、全端末ID、全プログラムID、または統計情報表示画面100を表示しているクライアント端末10が設置された医療施設13に所属する医療スタッフのスタッフID、当該医療施設13に設置されたクライアント端末10の端末ID、当該医療施設13に設置されたクライアント端末10にインストールされているビューアプログラム35のプログラムIDが選択肢として表示される。
プルダウンメニュー104には、特徴量リスト120に登録された全施設IDが選択肢として表示される。また、プルダウンメニュー105には、体積、面積、長径、短径等が選択肢として表示される。プルダウンメニュー106には、スタッフ、端末、プログラム、施設等の統計情報の集計単位が選択肢として表示される。
プルダウンメニュー101〜106は、少なくとも1つ選択するだけでよい。また、各プルダウンメニュー101〜106の横には、各プルダウンメニュー101〜106を追加するための追加ボタン109が設けられており、例えばプルダウンメニュー101を1個追加して、2つのスタッフID「D005」と「D010」を選択することができる(図30参照)。さらに、アンド、オア、ノット等の検索演算子を指定して、プルダウンメニュー101〜106の各選択肢でいわゆるアンド検索、オア検索、ノット検索等をすることも可能である。なお、プルダウンメニュー101〜106の他に、直近3か月や1年前等の統計情報の集計期間を入力するための入力ボックスを設けてもよい。
プルダウンメニュー101〜106で所望の選択肢が選択されて、送信ボタン108がカーソル52で選択されると、プルダウンメニュー101〜106の選択状態に応じた統計処理条件を含む統計情報の取得要求が要求発行部38から発行される。
図22において、センターサーバ12のCPU27Bには、上記第1実施形態の各部に加えて、取得要求受付部115および統計処理部116が設けられる。なお、図22では、登録要求受付部77、画像登録部78、およびプログラム制御部81の図示を省略している。
取得要求受付部115は、通信部28で受信したクライアント端末10からの統計情報の取得要求を受け付ける。取得要求受付部115は、取得要求で受け付けた統計処理条件を検索部80に出力する。統計処理部116は、取得要求で受け付けた統計処理条件に応じた統計情報を生成し、生成した統計情報を提供部83に出力する。提供部83は、統計処理部116からの統計情報を、通信部28を介して取得要求の出力元のクライアント端末10に提供する。
統計処理部116は、配信要求で受け付けられた領域指定情報の第2サイズと、算出部90で算出された第1サイズの差分(第2サイズ−第1サイズ)を算出し、算出した差分を特徴量登録部82に出力する。
特徴量DB17には、特徴量リスト120が格納される。図23において、特徴量リスト120は、上記第2実施形態の図19に示す特徴量リスト95の各項目に加えて、第2サイズと第1サイズの差分の項目を有する。特徴量登録部82は、統計処理部116からの第2サイズと第1サイズの差分を特徴量リスト120に登録する。
検索部80は、取得要求受付部115からの統計処理条件に応じた差分を特徴量リスト120から検索し、検索した差分を統計処理部116に出力する。統計処理部116は、検索部80からの差分に基づいて、統計情報として、差分の平均値、標準偏差といった差分の統計量の表(統計量表)、または差分の度数分布表、ヒストグラムといった差分の度数分布情報を生成する。
具体的には図24に示すように、統計処理条件が例えば集計単位=スタッフ、サイズ種類=短径の場合、検索部80は、医療スタッフ毎の短径の差分を特徴量リスト120から検索し、これを統計処理部116に出力する。統計処理部116は、各医療スタッフの短径の差分の平均値、標準偏差、およびこれらそれぞれの平均値を算出し、統計情報として、各医療スタッフの短径の差分の平均値、標準偏差、およびこれらそれぞれの平均値が登録された統計量表を生成する。
特徴量リスト120に登録されたスタッフID「D001」の短径の差分が図24のように「3、2.2、−1.6、−0.2、1.5」であった場合は、差分の平均値=(3+2.2−1.6−0.2+1.5)/5=0.98である。また、分散={(3−0.98)^2+(2.2−0.98)^2+(−1.6−0.98)^2+(−0.2−0.98)^2+(1.5−0.98)^2}/5=2.778で、標準偏差=(2.778)^1/2≒1.67である。
あるいは、図25に示すように、統計処理条件が例えばスタッフID=D010、サイズ種類=短径の場合、検索部80は、スタッフID「D010」の医療スタッフの短径の差分を特徴量リスト120から検索し、これを統計処理部116に出力する。統計処理部116は、スタッフID「D010」の医療スタッフの短径の差分のうち、例えば「1.0」が5個あった場合は度数(回数)「5」というように、スタッフID「D010」の医療スタッフの短径の差分の度数分布表を作成し、この度数分布表を元に、統計情報として、スタッフID「D010」の医療スタッフの短径の差分のヒストグラムを生成する。
ヒストグラムは、差分を横軸、規格化度数を縦軸にそれぞれとり、各差分の度数を示すマークをプロットし、各マークを繋ぐ近似曲線を描いたものである。規格化度数は、度数の最大値を「1」とした場合の各差分の度数である。
統計処理部116は、図24および図25に例示する他に、様々な統計情報を生成することが可能である。例えば図26に示すように、統計処理条件が集計単位=プログラム、サイズ種類=短径の場合、統計処理部116は、各ビューアプログラム35の短径の差分の平均値、標準偏差、およびこれらそれぞれの平均値が登録された統計量表を生成する。また、図27に示すように、統計処理条件が集計単位1=スタッフ、集計単位2=プログラム、サイズ種類=短径の場合、統計処理部116は、各医療スタッフかつ各ビューアプログラム35の短径の差分の平均値、標準偏差、およびこれらそれぞれの平均値が登録された統計量表を生成する。なお、図26および図27の統計量表の全体の平均値および標準偏差は、手動で領域R1が指定され、プログラムIDの項目にプログラムIDが登録されていないものを統計情報の生成対象から除いているため、図24の統計量表の全体の平均値および標準偏差と若干異なる値となる。
さらに、統計処理部116は、例えば統計処理条件が集計単位=スタッフ、サイズ種類=短径の場合、図24の統計量表を生成する場合と同様に、各医療スタッフの短径の差分の平均値を算出し、各医療スタッフの短径の差分の平均値毎のスタッフ数を度数とする度数分布表を作成する。そして、作成した度数分布表を元に、統計情報として、図28に示すヒストグラムを生成する。図28のヒストグラムは、各医療スタッフの短径の差分の平均値を横軸、規格化度数(スタッフ数)を縦軸にそれぞれとり、各差分の平均値の度数を示すマークをプロットし、各マークを繋ぐ近似曲線を描いたものである。
以上例示した他にも、統計処理部116は、各クライアント端末10あるいは各医療施設13の差分の平均値、標準偏差、およびこれらそれぞれの平均値が登録された統計量表を生成することも可能である。なお、分散、最大値、最小値、中央値、最頻値等を統計量に加えてもよい。また、ヒストグラムに代えて、あるいは加えて、度数分布表を統計情報として統計処理部116から提供部83に出力してもよい。
クライアント端末10のプログラム制御部37は、通信部28で受信したセンターサーバ12からの統計情報を通信部28から受け取り、受け取った統計情報を統計情報表示画面100に表示させる。具体的には図29、図30に示すように、統計情報表示画面100に統計情報表示領域121を設け、この統計情報表示領域121に統計情報を表示させる。
図29において、統計処理条件が図24の場合と同じく集計単位=スタッフ、サイズ種類=短径の場合、統計情報表示領域121には、図24に示す統計量表と同じ内容の統計量表122が表示される。統計量表122の横には、統計量表122の非表示部分を縦スクロール操作により表示させるためのスクロールバー123が設けられている。
図30において、統計処理条件が例えばスタッフ1=D005、スタッフ2=D010、サイズ種類=短径の場合、統計情報表示領域121には、スタッフID「D005」、「D010」のそれぞれの医療スタッフの短径の差分のヒストグラム124、125と、比較のために全体のヒストグラム126とが表示される。各ヒストグラム124〜126は、スタッフID「D005」のヒストグラム124が四角形のマークと点線の近似曲線、スタッフID「D010」のヒストグラム125が三角形のマークと実線の近似曲線、全体のヒストグラム126が円形のマークと一点鎖線の近似曲線、というように互いに識別可能に表示される。なお、統計情報を統計情報表示画面100とは別の画面で表示してもよい。
次に、第3実施形態による作用について、図31および図32のフローチャートを参照して説明する。まず、図31において、プログラム制御部37で第2サイズを含む領域指定情報が生成され(ステップS105)、配信要求が要求発行部38から発行されて(ステップS110)、配信要求受付部79で配信要求が受け付けられ(ステップS200)、算出部90で第1サイズが算出された場合(ステップS210)、配信要求で受け付けられた領域指定情報の第2サイズと、算出部90で算出された第1サイズの差分が統計処理部116により算出される(ステップS215)。算出された差分は統計処理部116から特徴量登録部82に出力され、特徴量登録部82により特徴量リスト120に登録される(ステップS225)。その他のステップは図17に示す第1実施形態の場合と同じであるため説明を省略する。
各医療施設13の医療スタッフは、所望の統計情報をセンターサーバ12から取得するために、クライアント端末10を操作して、図21に示す統計情報表示画面100にて統計処理条件を入力する。この統計処理条件の入力指示に応じて、図32のステップS150に示すように、要求発行部38により統計処理条件等を含む統計情報の取得要求が発行される。取得要求は、通信部28を介してセンターサーバ12に送信される。
センターサーバ12では、通信部28で取得要求が受信され、受信された取得要求は取得要求受付部115で受け付けられる(ステップS250)。取得要求で受け付けられた統計処理条件は検索部80に出力される。そして、検索部80により、統計処理条件に応じた差分が特徴量リスト120から検索される(ステップS260)。
検索部80で検索された差分は、統計処理部116に出力される。そして、統計処理部116において、検索部80からの差分に基づいて、差分の統計量表、または差分の度数分布情報といった統計情報が生成される(ステップS270)。生成された統計情報は提供部83に出力され、提供部83により、通信部28を介して取得要求の出力元のクライアント端末10に提供される(ステップS280)。
ステップS160に示すように、クライアント端末10では、通信部28で統計情報が受信され、受信された統計情報はプログラム制御部37に出力される。そして、プログラム制御部37により、図29、図30に示すような統計情報が表示された統計情報表示領域121を有する統計情報表示画面100が生成され、GUI制御部36によりディスプレイ29Aに表示される。医療スタッフは、表示された統計情報を参照して種々の検討を行う。
統計情報は、第1サイズに対して第2サイズがどの程度ずれているかを示す指標である。第1サイズと第2サイズの差分の平均値からは、平均値の絶対値によって、第1サイズに対する第2サイズのずれ量が定量的に分かり、平均値の正負で、第1サイズに対して第2サイズが大きく認識されているか(平均値が正)、小さく認識されているか(平均値が負)が分かる。また、差分の標準偏差によって、第1サイズと第2サイズの差分にどの程度ばらつきがあるかが分かる。すなわち、標準偏差が比較的大きい場合は差分のばらつきが大きく、逆に比較的小さい場合は差分のばらつきが小さいことが分かる。
また、差分を横軸、規格化度数を縦軸にそれぞれとったヒストグラムからは、そのピークの位置によって、平均値の正負と同じく、第1サイズに対して第2サイズが大きく認識されているか(ピークの位置が差分0の右側)、小さく認識されているか(ピークの位置が差分0の左側)が分かる。また、ヒストグラムの山形によって、差分の標準偏差と同じく、第1サイズと第2サイズの差分にどの程度ばらつきがあるかが分かる。すなわち、ヒストグラムの山形が比較的緩やかな場合は差分のばらつきが大きく、逆に比較的鋭い場合は差分のばらつきが小さいことが分かる。
図29に示す統計量表122を例に説明すると、スタッフID「D001」の医療スタッフの差分の平均値は「0.98」であるため、第1サイズに対して第2サイズが大きく認識されていることが分かる。また、差分の平均値が全体の平均値「0.17」よりも大きいため、スタッフID「D001」の医療スタッフは、他の医療スタッフよりも第2サイズを大きく認識する傾向にあることが分かる。さらに、差分の標準偏差が「1.67」で、全体の標準偏差「0.44」よりも大きいため、スタッフID「D001」の医療スタッフは、他の医療スタッフよりも第2サイズの認識にばらつきがあることが分かる。
対してスタッフID「D002」の医療スタッフの差分の平均値は「−0.06」であるため、若干ではあるが第1サイズに対して第2サイズが小さく認識されていることが分かる。また、平均値の絶対値「0.06」が全体の平均値「0.17」よりも小さいため、スタッフID「D002」の医療スタッフは、他の医療スタッフよりも第2サイズが第1サイズに近いことが分かる。さらに、差分の標準偏差が「0.34」で、全体の標準偏差「0.44」よりも小さいため、スタッフID「D002」の医療スタッフは、他の医療スタッフよりも第2サイズの認識にばらつきがないことが分かる。
また、図30に示すヒストグラム124〜126を例に説明すると、スタッフID「D005」の医療スタッフのヒストグラム124は、ピークの位置が差分0の右側にあるため、第1サイズに対して第2サイズが大きく認識されていることが分かる。また、全体のヒストグラム126よりもピークの位置が右側にあるため、スタッフID「D005」の医療スタッフは、他の医療スタッフよりも第2サイズを大きく認識する傾向にあることが分かる。
対してスタッフID「D010」の医療スタッフのヒストグラム125は、ピークの位置が差分0の左側にあるため、第1サイズに対して第2サイズが小さく認識されていることが分かる。また、全体のヒストグラム126よりもピークの位置が左側にあるため、スタッフID「D010」の医療スタッフは、他の医療スタッフよりも第2サイズを小さく認識する傾向にあることが分かる。さらに、スタッフID「D005」の医療スタッフのヒストグラム124よりも山形が緩やかであるため、スタッフID「D010」の医療スタッフは、スタッフID「D005」の医療スタッフよりも第2サイズの認識にばらつきがあることが分かる。
こうした統計情報を生成して医療スタッフに提供することで、各医療スタッフ、各クライアント端末10、各ビューアプログラム35、各医療施設13、各サイズ種類のそれぞれの第2サイズの認識の仕方の傾向が分かる。このため、例えば差分の平均値が比較的大きい医療スタッフは、その差分を0に近付けるために第2サイズの認識の際に気を配ったり、差分の平均値および標準偏差が全体の平均値および標準偏差とかけ離れた値のビューアプログラム35は今後使用を控えたりする等、医療スタッフが様々な対策を講じることができる。
なお、取得要求の仕方も、配信要求と同様に、データセンター14が開設したサイトを介して行ってもよいし、電子メール、郵送書類、電話による口頭連絡等で行ってもよい。また、ビューア画面45と同様に、統計情報表示画面100の生成をセンターサーバ12の提供部83が担ってもよい。
統計情報の提供先としては、医療施設13のクライアント端末10に限らない。例えばビューアプログラム35のベンダーのクライアント端末に統計情報を提供してもよい。こうすれば、例えば差分の平均値および標準偏差が全体の平均値および標準偏差とかけ離れた値のビューアプログラム35に対して、差分および標準偏差を0に近付けるためにベンダー側で改良を施す等、ベンダー側においても様々な対策を講じることができる。
[第4実施形態]
上記第3実施形態では、統計情報の集計単位として、医療スタッフのスタッフID、クライアント端末10の端末ID、ビューアプログラム35のプログラムID等を例示しているが、医療スタッフの所属診療科、あるいは検査対象部位や病変の種類を統計情報の集計単位として加えてもよい。
この場合、特徴量DB17には、図33に示す特徴量リスト130が格納される。特徴量リスト130は、上記第3実施形態の図23に示す特徴量リスト120の各項目に加えて、検査対象部位と病変の種類の項目を有する。また、ユーザ関連情報として、点線で示すように医療スタッフの所属診療科が登録される。特徴量登録部82は、検査対象部位、病変の種類、および所属診療科を特徴量リスト130に登録する。
検査対象部位は、配信要求の画像IDで示される検査画像の画像関連情報から取得することができる。あるいは、検査画像に周知のパターン認識等を施して、検査画像から検査対象部位を特定してもよい。
病変の種類は、図33に例示するように検査対象部位が胸部の場合は点状影や網状影等である。他にも線状影やすりガラス状陰影等(図35参照)が挙げられる。検査対象部位が頭部の場合の病変の種類は、腫瘤、閉塞、狭窄等(図35参照)である。病変の種類は、例えば算出部90で算出された特徴量に基づいて、生成部91が自動的に推定したものを取得する。あるいは、ビューア画面45で医療スタッフに入力させることで取得してもよい。
所属診療科は、図33および図34に例示するように放射線科、呼吸器内科、消化器内科、脳神経外科等である。所属診療科は、例えばビューアプログラム35の起動画面にて医療スタッフに入力させることで取得する。あるいは、センターサーバ12側でスタッフIDと所属診療科を関連付けて管理しておき、配信要求のユーザ関連情報のスタッフIDを元に取得してもよい。
統計処理部116は、例えば統計処理条件が集計単位=診療科、サイズ種類=短径の場合は、図34に示すように、各診療科の短径の差分の平均値、標準偏差、およびこれらそれぞれの平均値が登録された統計量表を生成する。また、統計処理部116は、統計処理条件が集計単位1=検査対象部位、集計単位2=病変の種類、サイズ種類=短径の場合は、図35に示すように、各検査対象部位かつ各病変の種類の短径の差分の平均値、標準偏差、およびこれらそれぞれの平均値が登録された統計量表を生成する。
このように、検査対象部位、病変の種類、および所属診療科を特徴量と関連付けて登録し、検査対象部位、病変の種類、または所属診療科のいずれかを集計単位として統計情報を生成することで、各検査対象部位、各病変の種類、または各所属診療科のそれぞれの第2サイズの認識の仕方の傾向が分かる。例えば図34の統計量表からは、放射線科が他の診療科よりも第2サイズを大きく認識する傾向にあり、かつ他の診療科よりも第2サイズの認識にばらつきがあること、脳神経外科は他の診療科よりも第2サイズが第1サイズに近いこと、かつ他の診療科よりも第2サイズの認識にばらつきがないことが分かる。
統計情報の集計単位として、医療スタッフのスタッフID、クライアント端末10の端末ID、ビューアプログラム35のプログラムID等の他に、さらに検査対象部位、病変の種類、医療スタッフの所属診療科を加えれば、より多角的な統計情報を生成することができる。
なお、統計情報の集計単位としては、患者の年齢、性別、身長と体重から割り出される体型、検査目的、医療スタッフの勤続年数、医療施設13の所在地(都道府県や東北、関東等の地域)、医療施設13の規模(医療スタッフ数、病床数、モダリティ数)、医療施設13の系列(所属医師会、大学附属等)等を加えてもよい。
[第5実施形態]
第2サイズの中には、医療スタッフによる単純な認識ミスや、精度が低い認識機能を使用したこと等に起因して、第1サイズとの差分の絶対値が異常に大きくなってしまうものがある。こうした絶対値が異常に大きい差分も含めて差分の統計量を算出したりヒストグラムを生成したりすると、統計量の算出結果やヒストグラムが異常に大きい差分の影響を受けてしまい、正しく第2サイズの認識の仕方の傾向が掴めなくなる。そこで本実施形態では、第1サイズと第2サイズの差分が許容範囲内に収まっているか否かを判定し、許容範囲に収まっていないと判定された差分は、統計情報の生成対象から除外する。
図36に示すように、本実施形態のセンターサーバ12のCPU27Bには、上記第1、第3実施形態の各部に加えて、判定部135が設けられる。なお、図36では、図22の場合と同様に、登録要求受付部77、画像登録部78等の図示を省略している。
判定部135は、統計処理部116からの第1サイズと第2サイズの差分が許容範囲内に収まっているか否かを判定する。ここで許容範囲は、統計情報に基づいて設定されるもので、例えば全体の平均値と全体の標準偏差の2倍との加算値を上限値、全体の平均値と全体の標準偏差の2倍との減算値を下限値とする範囲(全体の平均値±2×標準偏差)である。許容範囲は、許容範囲に収まっていないと判定された差分を除外したうえで、統計処理部116によりサイズ種類毎に算出される。図24の統計量表の例では、全体の平均値が「0.17」、全体の標準偏差が「0.44」であるから、短径の許容範囲の上限値=0.17+2×0.44=1.05、下限値=0.17−2×0.44=−0.71である。
判定部135は、差分が上限値以上、または下限値以下の場合、差分が許容範囲内に収まっていないと判定し、差分が上限値よりも小さく、かつ下限値よりも大きい場合、差分が許容範囲に収まっていると判定する。判定部135は、判定結果を特徴量登録部82に出力する。
特徴量DB17には、特徴量リスト140が格納される。図37において、特徴量リスト140は、上記第3実施形態の図23に示す特徴量リスト120の各項目に加えて、判定部135の判定結果の項目を有する。特徴量登録部82は、判定部135からの判定結果(差分が許容範囲に収まっている場合は「OK」、収まっていない場合は「NG」)を特徴量リスト140に登録する。
検索部80は、統計処理条件に応じて、判定結果の項目に「NG」が登録されたものを除外して、判定結果の項目に「OK」が登録された差分のみを特徴量リスト140から検索し、検索した差分を統計処理部116に出力する。統計処理部116は、検索部80からの判定結果の項目に「OK」が登録された差分に基づいて統計情報を生成する。これにより、判定部135で許容範囲に収まっていないと判定された差分が、統計情報の生成対象から除外される。したがって、統計量の算出結果やヒストグラムが異常に大きい差分の影響を受けることがなく、正しく第2サイズの認識の仕方の傾向を掴むことができる。
なお、特徴量登録部82により判定結果を登録して、検索部80で判定結果が「NG」の差分を除外して検索する代わりに、特徴量登録部82で判定結果が「NG」の差分を登録しないよう構成してもよい。こうすれば、特徴量リストには判定結果が「OK」の差分だけが登録されるため、結果として判定部135で許容範囲に収まっていないと判定された差分が、統計情報の生成対象から除外されることになる。
[第6実施形態]
上記第1実施形態では、算出部90で算出された、第1サイズを含む再認識領域R2の特徴量に基づいて、生成部91で診断支援情報を生成しているが、本実施形態では、統計処理部116で第1サイズと第2サイズを統一した統一サイズを統計情報として生成し、統一サイズに基づいて、生成部91で診断支援情報を生成する。
図38において、統計処理部116は、算出部90で算出された第1サイズと、配信要求受付部79で受け付けられた配信要求の領域指定情報に含まれる第2サイズのそれぞれの推定値を、統計量を用いて算出し、算出した第1サイズと第2サイズの各推定値の平均値を統一サイズとして算出する。
具体的には、配信要求受付部79で受け付けられた配信要求のユーザ関連情報のスタッフIDに「D003」、領域指定情報に第2サイズの短径「15.0」がそれぞれ記録されていて、算出部90で算出された第1サイズの短径が「15.3」であった場合、統計処理部116は、第1サイズの短径「15.3」に、図24等に示す統計量表の全体の平均値「0.17」を加算して、第1サイズの推定値「15.47」(=15.3+0.17)を算出する。また、統計処理部116は、第2サイズの短径「15.0」から、上記統計量表のスタッフID「D003」の差分の平均値「−0.45」から全体の平均値「0.17」を減算した値を減算して、第2サイズの推定値「15.62」(=15.0−(−0.45−0.17))を算出する。
統計処理部116は、第1サイズの推定値「15.47」と第2サイズの推定値「15.62」の平均値を、統一サイズ「15.55」(≒(15.47+15.62)/2)として算出する。統計処理部116は、算出した統一サイズを特徴量登録部82および生成部91(図40参照)に出力する。
特徴量DB17には、特徴量リスト150が格納される。図39において、特徴量リスト150は、上記第3実施形態の図23に示す特徴量リスト120の各項目に加えて、統一サイズの項目を有する。特徴量登録部82は、統計処理部116からの統一サイズを特徴量リスト150に登録する。
図40において、検索部80は、診断支援情報の生成に必要な第1サイズ以外の特徴量と統一サイズ、すなわち第1サイズを統一サイズに差し替えた特徴量を特徴量リスト150から検索し、検索した特徴量をプログラム制御部81の生成部91に出力する。生成部91は、検索部80と算出部90それぞれからの第1サイズ以外の特徴量、および統計処理部116からの統一サイズに基づいて、診断支援情報を生成する。生成部91は、生成した診断支援情報を提供部83に出力する。第1サイズと第2サイズの統一サイズに基づいて診断支援情報を生成するので、より診断支援情報の信頼性を高めることができる。なお、図40では、図22、図36と同様、登録要求受付部77、画像登録部78等の図示を省略している。
この場合の診断支援情報としては、上記第1実施形態で例示した第1サイズの経時変化、診断名の推定結果、および類似画像の他に、第2サイズの経時変化を加えてもよい。第2サイズの経時変化を診断支援情報として提供した場合、ビューア画面45の診断支援情報表示領域59には、図41に示すグラフ155が表示される。
図41において、グラフ155は、上記第1実施形態の図11に示すグラフ65と同様に、検査日を横軸、第2サイズ(ここでは長径)を縦軸にそれぞれとり、第2サイズを示す三角形のマーク156と第2サイズの数値を検査日毎に時系列に並べたものである。マーク156の上部には枠157が表示され、マーク156にはバー158が重ねて表示される。
枠157には、当該第2サイズの認識に携わった医療スタッフのスタッフIDが記されている。バー158は、当該第2サイズに基づき統計処理部116が算出した統一サイズを中心とし、当該第2サイズの認識に携わった医療スタッフの差分の標準偏差に応じた幅をもつ。バー158は、例えば統一サイズが「10」で標準偏差が「2」であった場合、統一サイズ±標準偏差の範囲、すなわち上端が「12」、下端が「8」の範囲に表示される。なお、バー158で表示する範囲を、統一サイズ±2×標準偏差の範囲としてもよい。
バー158の表示により、枠157に記されるスタッフIDの医療スタッフの第2サイズの認識ばらつきが一目瞭然となる。こうすれば、マーク156と数値で示される第2サイズのみを参照する場合よりも、第2サイズの経時変化を正しく把握することができる。
図41の場合を例に説明すると、マーク156と数値で示される第2サイズのみを参照すると、日を経るにつれて第2サイズが大きくなっているように見える。しかし、バー158を参照すると、バー158の中心で示される統一サイズが略同じ値を示し、また、検査日「2015.01.22」のバー158の幅が広い。このため、検査日「2015.01.22」の第2サイズ「8.6」が本来は低い値ではないかと推測することができ、マーク156と数値で示されるほど第2サイズの経時変化がないと判断することができる。
標準偏差が比較的大きく、第2サイズの認識に大きなばらつきがある場合は、第2サイズの経時変化を正しく把握することがより難しくなる。そこで、標準偏差が予め設定された閾値よりも大きい場合、図42に示すような吹き出し159をグラフ155に表示させてもよい。吹き出し159には、「注意!認識ミスのおそれあり」といった、第2サイズの信頼性に注意を要する旨の警告メッセージが表示される。こうした警告を表示することで、より第2サイズの経時変化の把握を誤る可能性を低減することができる。
なお、図42では、バー158と吹き出し159を両方表示する例を示したが、バー158は表示せずに吹き出し159のみを表示してもよい。また、警告の表示方法としては吹き出し159に限らず、例えば標準偏差が予め設定された閾値よりも大きいバー158を、他のバー158と識別可能に点滅させる等して強調表示してもよいし、警告メッセージを音声出力してもよい。
[第7実施形態]
上記第3実施形態で図29等を用いて説明したように、統計情報によれば、例えばある医療スタッフは第2サイズを大きく認識する傾向にあり、あるビューアプログラム35は第2サイズを小さく認識する傾向にある等、各集計単位の第2サイズの認識傾向が分かる。そこで本実施形態では、図43に示すように、統計情報に基づいて、配信要求受付部79で受け付けられた配信要求の領域指定情報に含まれる第2サイズを補正する補正部165を設ける。
補正部165は、例えば配信要求受付部79で受け付けられた配信要求のユーザ関連情報のスタッフIDに「D003」、領域指定情報に第2サイズの短径「15.0」がそれぞれ記録されていた場合、第2サイズの短径「15.0」から、図24等に示す統計量表のスタッフID「D003」の差分の平均値「−0.45」から全体の平均値「0.17」を減算した値を減算して、第2サイズの補正値「15.62」(=15.0−(−0.45−0.17))を算出する。補正部165で補正された第2サイズは、特徴量登録部82により特徴量DB17の特徴量リストに登録されたり、生成部91で診断支援情報を生成する際に利用される。このように統計情報に基づいて第2サイズを補正することで、各集計単位の第2サイズの認識傾向を反映させた第2サイズを取得することができる。
なお、第2サイズだけでなく、領域指定情報の位置座標も統計情報に基づいて補正してもよい。例えば第2サイズを大きく認識する傾向にある医療スタッフは、領域指定情報の位置座標を数画素程度小さく補正する。
なお、上述の種々の実施形態や種々の変形例は、適宜組み合わせることが可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。