以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
図1は、本実施形態の情報処理装置の構成を示す図である。CPU101は、本実施形態における各種システムの各種制御を実行する。その作業内容は、後述するROM102やRAM103上のプログラムによって指示される。また、CPU101自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることもできる。
ROM102には、CPU101による制御の手順を記憶させた計算機プログラムやデータが格納されている。
RAM103は、CPU101が処理するための制御プログラムを格納するとともに、CPU101が各種制御を実行する際の様々なデータの作業領域を提供する。
入力装置104は、ユーザによる各種入力操作環境を提供するキーボードやマウスにより構成される。ユーザからの各種入力操作環境を提供するものであれば、タッチパネル、スタイラスペン等により入力装置104を構成することが可能である。また、音声認識やジェスチャー操作による入力を受け付ける入力部により入力装置104を構成することも可能である。
バス105は内部構成の各部分に接続されているアドレスバス、データバスなどであり、バス105は各部分間の情報交換・通信の機能を提供する。これにより、各部分が連携して動作可能になる。
外部記憶装置106は、さまざまな計算機プログラムやデータ等を記憶する記憶部である。外部記憶装置106は、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、記憶媒体を駆動し情報を記録するドライブなどで構成される。外部記憶装置106に保管された計算機プログラムやデータは、キーボード等の指示や、各種計算機プログラムの指示により、必要な時にRAM103上に呼び出される。
通信装置107(NCU)は、他のコンピュータ装置等と通信を行うための通信部である。通信装置107(NCU)は、ネットワーク(LAN)等を介して、遠隔地に存在する不図示の装置と通信し、本実施形態の計算機プログラムやデータを共有することが可能である。通信装置107(NCU)は、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、Ethernet(登録商標)などの有線通信や、Bluetooth(登録商標)、赤外線通信、IEEE802.11a/b/n等の無線通信により、他のコンピュータ装置等と通信を行うことが可能である。
GPU108は、CPU101等とバス105を経由してデータの送受信が可能である。GPU108は、与えられた表示指示や計算指示に従い、計算を行って表示内容の画像の作成や表示位置などの計算を行い、その計算結果を表示装置109へ送って描画させる。また、GPU108は、バス105を経由して、計算結果をCPU101に戻し、CPU101と連携した計算処理を行うことも可能である。
表示装置109は、ディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。
ROM102やRAM103、外部記憶装置106などの記憶媒体には、本実施形態の情報処理(文章処理)を実現する計算機プログラムやデータなどが格納されており、これらの記録媒体に格納されたプログラムを、CPU101が読み出し実行することによって所定の機能構成部が構成される形態である。例えば、本実施形態の情報処理装置(情報処理システム)は、文章を解析する解析部と、文章における異なる属性の表現を解析の結果に基づいて取得する取得部と、異なる属性の表現を所定の項目に分類する分類構造化部と、分類の結果を、予め定められた形式に基づいて提示する提示部とを備える機能構成部が構成され、CPU101が読み出し実行することで実現される。
実施形態の情報処理装置は、使用する計算機プログラムやデータを、外部記憶装置106からだけではなく、通信装置107を介して他の機器から取得しても良い。同様に、情報処理装置は生成したデータを、ROM102やRAM103、外部記憶装置106だけでなく、通信装置107を介して、他の機器に格納することが可能である。
以上述べてきた内部構成は、あくまでも、一例であり、これに限定されるものでない。この内部構成は、いわゆるハードウェアである制限はなく、仮想的にソフトウェアで作り出されたものでも構わない。また、以上述べてきた内部構成を装置単体で利用する場合だけでなく、通信装置107を利用した情報交換・共有等を行い連携させて、図1の内部構成を複数の装置の利用により構成することも可能である。この場合、各装置が異なる場所にあって、LANやインターネットなどを介して連携しても構わないし、仮想的にソフトウェアで作り出された機能構成が含まれていても構わない。
図2は、実施形態にかかる情報処理システムの概略構成を示す図である。本実施形態では、このような環境を前提として、医師は、CT、MRI等の医療画像を用いた画像診断を行い、その結果を読影レポートとしてまとめて記載していくものとする。本実施形態の情報処理技術は、この場合の入力支援機能を提供する。
ただし、説明を簡単にするために、読影レポートという文章に記載する場合で説明を行うが、電子カルテの文章の中に読影レポートを記載して、一緒に管理するような場合でも、記載対象や管理システムが異なるだけで、同様に本実施形態の情報処理技術を適用することが可能である。
依頼医201および読影医202は両方とも医師である。依頼医201は、内科や外科などの専門を有し、実際に患者を担当する領域や分野の臨床医であるが、CT、MRI等の医療画像の撮影と読影作業を依頼する医師となるため、ここでは依頼医と呼ぶこととする。読影医202は、CT、MRI等の読影を行う放射線科の医師である。
医療技師203は、CT、MRI等の撮影等を担当する。その撮影の際に、CT、MRI等の検査画像の撮影装置217を使用して、患者204の撮影を行う。依頼医201、読影医202、医療技師203は、作業用のPCクライアント(それぞれ、PCクライアント211、213、215)を使用して、様々なサーバ上の機能構成部を利用して、各自の所望の作業を行う。本実施形態では、PCクライアント211、213、215の構成として、パーソナル・コンピュータ等の情報処理装置を使用する例を説明している。しかし、本実施形態はこの例に限定されるものではなく、例えば、パーソナル・コンピュータやタブレット端末、スマートフォンや携帯電話等を使用することも可能であり、それら複数の利用や、さらに種々の機器を組み合わせて使用することも可能である。いずれの形態であれ、PCクライアント上で、利用者の使用したいサーバ上の機能構成部と連携動作するクライアント・アプリケーションを動作させ、通信を行なって連携し、利用者に所望の機能を提供することが可能である。
種々の機器を使用する場合、各機器は図1の内部構成を持つものとなる。そして、通信装置107を介して、ネットワーク210に接続されることで、様々なサーバと通信を行う。サーバの機能構成部を利用する際、PCクライアント211、213、215は機能構成部に応じたクライアント・アプリケーション212、214、216を動作させる。クライアント・アプリケーション212、214、216は、図1の外部記憶装置106やROM102に予めインストールされるか、通信装置107とネットワーク240を介して各サーバからダウンロードされ、インストールされる。
PCクライアント211、213、215はクライアント・アプリケーション212、214、216を、RAM103上に配置してCPU101等を利用して動作させる。これにより、クライアント・アプリケーション212、214、216は、通信装置107とネットワーク240を介して各サーバと通信を行い連携して、各サーバの機能を利用者に提供する。
例えば、入力装置104を使用して、利用者から得たグラフィックスや音声、文字入力等の操作指示や操作意図は、サーバに伝達される。また、同様に、サーバ側と通信して、サーバの提供する結果や情報は、表示装置109を利用して利用者(依頼医201、読影医202、医療技師203)に提供される。同様に、撮影装置217も、ネットワーク210に接続され、撮影装置217の設定や撮影した画像が、ネットワーク210を介して、各種サーバやPCクライアント211、213、215に提供される。
検査オーダシステム・サーバ221は、検査を行う際に利用されるサーバである。検査オーダシステム・サーバ221は、検査オーダ管理部222を用いて、依頼医201から医療スタッフに対する検査オーダ情報の登録・蓄積・参照・共有・指示・管理を行う機能を提供する。実際には、検査オーダシステム・サーバ221は依頼医201からの検査指示とその内容を受けて、検査オーダとして検査オーダ記憶部223に登録する。そして、検査オーダシステム・サーバ221はその検査オーダの管理や、医療技師203や読影医202への検査オーダの通知・提供を行う。さらに、検査オーダ管理部222は、検査が完了すると検査結果を取り込んで検査オーダ記憶部223に格納するか、検査結果を提供するサーバの検査結果と紐づける情報を検査オーダ記憶部223に格納し、その検査結果を依頼医201が利用できるように提供する。検査オーダ記憶部223は、検査オーダシステム・サーバ221で利用される情報である検査オーダを記憶する。
また、検査オーダ管理部222は、検査画像の撮影装置217を含む検査機器の利用スケジュール、検査技師の担当者・スケジュールの割り当て・管理などを行うことも可能である。その場合、検査オーダ管理部222は、依頼医201の検査指示・内容の入力に対し、実施可能な検査機器や検査技師の空スケジュールを提示したり、使用する検査機器や検査技師の担当者の割り当て等を行う。
電子カルテシステム・サーバ224は、電子カルテの蓄積・管理・提供を行うサーバである。電子カルテシステム・サーバ224は、電子カルテ管理部225を用いて、電子カルテ情報の蓄積・記載・参照・共有・管理を行う機能を提供する。電子カルテシステム・サーバ224は依頼医201や関連する医療スタッフの記載する患者毎の電子カルテ情報を、蓄積・管理するとともに、医師や医療スタッフ間で共有できるように電子カルテ情報を管理する。電子カルテ記憶部226は、電子カルテ管理部225で利用される情報である電子カルテ情報を記憶する。
類似症例検索部227は、電子カルテ記憶部226に大量の症例情報が蓄積されていることを利用して、依頼医201や読影医202をはじめとする医療スタッフに、診療にまつわる様々な過去の症例情報から類似する症例を検索し、その検索結果の提供を行う。また、類似症例検索部227は類似する症例を検索するだけでなく、その具体例として、過去の実際の電子カルテ情報などを提供することもできる。
医療画像システム・サーバ228は、医療画像の蓄積・管理・提供を行うサーバである。医療画像システム・サーバ228は、医療画像管理部229を利用して、医療画像の蓄積・記載・参照・共有・管理を行う機能を提供する。実際には、医療画像システム・サーバ228は医療技師203の操作により撮影された医療画像、もしくは、外部から入手した医療画像を蓄積し、依頼医201や読影医202等の関連する医療スタッフに対して蓄積した医療画像を参照可能に共有化する。医療画像記憶部230は、医療画像管理部229で利用される医療画像情報を記憶する。
画像病変検出部231はであり、医療画像の処理技術や画像認識技術の適用により、医療画像内の問題となる病変部分を自動的に認識・検出する機能を有する。また、画像病変検出部231は、その病変部分の位置・大きさ・特性等の情報を提供も行う。医療画像システム・サーバ228は、特定の画像特徴部分を強調するような画像処理、同一部分の異なる時間の撮影画像、空間的にスライスされた画像の空間的な組み立て等の医療画像の処理や加工機能も提供することが可能である。
読影レポートシステム・サーバ232は、読影レポートの蓄積・管理・提供を行うサーバである。読影レポートシステム・サーバ232は、読影レポート管理部233を利用して、読影医202が作成する読影レポートの作成・登録・蓄積・管理・参照・共有を行う機能を提供する。読影レポート記憶部234は、読影レポート管理部233で利用される情報である読影レポートを記憶する。
読影レポート作成作業管理部235は、読影医202に対して、読影レポート作成作業の割り当て・作業状態の保持・管理、作業進展情報の提供など、読影レポート作成にまつわる業務支援を行う。
撮影装置217で撮影された画像は、ネットワーク210を介して、医療画像記憶部230に格納されている。読影医202は、これを読影してその結果を読影レポートに記し、依頼医201が参照できるようにする。この読影レポートに関するワークフロー時の連携動作については、後に詳細に説明を行う。
本発明の特徴である読影レポート構造化部236は、読影レポートシステム・サーバ232が、読影レポートの作成機能を提供する際に使用される。この際に、読影レポートの記載内容から重要情報記載部分を取得・構造化することで、読影レポートの作成を支援する機能を実現する。この読影レポート構造化部236については、後に詳細に説明を行う。
本実施形態では、検査オーダシステム・サーバ221、電子カルテシステム・サーバ224、医療画像システム・サーバ228、読影レポートシステム・サーバ232の各サーバは、サーバ型の計算機(情報処理装置)により構成されている。ネットワークやインターネットなどを介して複数の計算機が連携することにより、各サーバが有する機能構成部を実現することも可能である。各サーバの内部構成は、例えば、図1で説明した内部構成となっている。
各サーバは、通信装置107を介して、ネットワーク210に接続されることで、各サーバが有する機能構成部に対応するPCクライアント(211、213、215等)上のクライアント・アプリケーション(212、214、216等)と通信を行う。
各サーバが有する機能構成部(222、225、227、229、231、233、235、236等)の処理を実現するアプリケーションプログラムは、図1の外部記憶装置106やROM102にあらかじめインストールされるか、通信装置107とネットワーク240を介してダウンロードすることにより取得することが可能である。それを、RAM103上に配置してCPU101等を利用して動作させる。これにより、各サーバの機能構成部は、通信装置107とネットワーク240を介して各PCクライアントやクライアント・アプリ―ションと通信を行い連携して、各サーバの機能構成部の機能を、利用者に提供する。これによりPCクライアントやクライアント・アプリ―ションから伝達された利用者の操作指示や操作意図が各サーバに伝達され、サーバにより提供される機能構成部が動作した結果や情報は、PCクライアントやクライアント・アプリ―ションに伝達される。
次に、読影レポートの処理に関するワークフローについて説明する。まず、依頼医201が患者204の診断を行う際に、CTやMRI等の医療画像を撮影し、その読影結果である読影レポートを参照したい場合、その検査オーダを発生させる。これは、依頼医201がPCクライアント213上で、検査オーダ管理部222に対応するクライアント・アプリケーションを利用して、対象の患者、撮影内容・方法等の検査オーダの内容を記載することで行われる。
この記載内容は撮影指示の情報として、ネットワーク210を介して、検査オーダ管理部222に伝達・管理され、検査オーダ記憶部223に蓄積される。この後、依頼医201の撮影指示の情報は、適時、検査オーダ管理部222から、撮影を担当する医療技師203へ伝達される。この伝達は、医療技師203がPCクライアント215上で、検査オーダ管理部222に対応するクライアント・アプリケーションを利用することで実行可能である。尚、この伝達は、検査オーダ管理部222が医療技師203のPCクライアント215に対して撮影指示の情報を送信することで行うことも可能である。
次に、医療技師203は、検査オーダの内容に基づき、指示された患者204に対して、指定された撮影装置217と指定された撮影方法で、撮影を行う。この撮影結果である医療画像は、ネットワーク210を介して、医療画像管理部229へ送られ、医療画像記憶部230に登録・蓄積される。同時に、検査オーダ管理部222に対し、検査オーダに基づく撮影が完了したことと、医療画像記憶部230に登録された際の管理情報が通知され、これにより、検査オーダ記憶部223内に記憶されている該当する検査オーダの内容が更新される。検査オーダにおいて、撮影した医療画像の読影レポートが要求されているため、検査オーダ管理部222は、読影を担当する読影医202に、読影指示の情報を伝達する。この伝達は、読影医202がPCクライアント213上で、検査オーダ管理部222に対応するクライアント・アプリケーションを利用することで実行可能である。尚、この伝達は、検査オーダ管理部222が読影医202のPCクライアント213に対して読影指示の情報を送信することで行うことも可能である。
読影医202は、検査オーダの内容に基づいて指示された読影指示の情報に基づいて、医療画像に対して、読影作業を行う。読影医202は、医療画像記憶部230上に記憶されている医療画像の中から、検査オーダ情報に基づいて、該当する医療画像を識別し参照することが可能である。また、読影医202は、検査オーダ情報の患者情報に基づいて、電子カルテ記憶部226に記憶されている電子カルテの中から該当する患者204の電子カルテを参照することができる。また、検査オーダ管理部222および読影レポート管理部233は、検査オーダに対応する読影結果を記録する読影レポートを、読影レポート記憶部234上に登録できるようにする。
読影医202は、検査オーダで示される医療画像、電子カルテ等の情報を基に、読影(画像診断)を行い、その結果を記載することで、患者の読影レポートを作成する。すると、読影レポート管理部233は、作成された読影レポートを読影レポート記憶部234上に登録する。読影レポートが読影レポート記憶部234に登録されると、登録されたことを示す登録通知情報が検査オーダ管理部222に通知される。検査オーダ管理部222は、登録通知情報を受信すると検査オーダ情報を更新し、該当する患者の医療画像に対応する読影レポートが参照できるようになる。これらの処理は、読影医202がPCクライアント213上で、検査オーダ管理部222、医療画像管理部229、電子カルテ管理部225に対応するクライアント・アプリケーションを利用することで実行可能である。尚、読影レポートの作成の際に、本実施形態の特徴である読影レポート構造化部236を利用するが、これについては、後に詳細に説明を行う。
以上の処理により、依頼医201が要求した読影レポートは利用可能になる。検査オーダ管理部222は、読影レポートが利用可能であることを依頼医201へ通知する。この依頼医201への通知は、依頼医201がPCクライアント211上で、検査オーダ管理部222に対応するクライアント・アプリケーションを利用することで行われる。
以上の手順により、各クライアントPC、クライアント・アプリケーション、各サーバは連携した動作を行う。依頼医201は、必要な医療画像、それに対する読影レポートを得られることとなり、電子カルテの情報や他の検査などの情報も併せて、総合的な診断を行うことが可能になる。
図3は、本実施形態における読影レポートの作成および作成支援を行うための機能構成を概略的に示す図である。図3において、読影医302から読影レポート構造化部336までは、図2の読影医202から読影レポート構造化部236までと、同一であるので、その説明を省略する。ただし、図3の説明において不要なものは図3の記載で省略されているため、図2中にあっても図3中では欠番となるものが存在する。
PCクライアント313上のクライアント・アプリケーション314から345は、それぞれ各サーバの機能構成部に対応するもので、読影の際に利用するクライアント・アプリケーションである。また、これらのクライアント・アプリケーション間の連携を実行するのが、アプリケーション間連携機能346である。アプリケーション間連携機能346により、読影の際に利用する種々のクライアント・アプリケーション間でのデータの送受信、クライアント・アプリケーションにより提供される機能の援用が可能になる。
電子カルテシステム・サーバ324から電子カルテ記憶部326は、図2の電子カルテシステム・サーバ224から電子カルテ記憶部226と同じであり、電子カルテ関連のシステム・サーバとそれが提供する機能構成部である。利用者である医師は、電子カルテ・ワープロ344(電子カルテ作成部)を介して、電子カルテ管理部325の機能を利用して、電子カルテ記憶部326に格納されている患者の電子カルテを閲覧したり、電子カルテを加筆編集することができる。
類似症例検索部327は、電子カルテ管理部325が電子カルテ記憶部326において、大量の電子カルテを記憶していることを利用して、利用者である医師に対して検索機能を提供する。この際に、指定されたキーワードや用語、医療画像・検査データ等の検索情報を検索の入力として、類似症例検索部327は電子カルテ記憶部326に記憶されている電子カルテを検索する。類似症例検索部327は、検索情報に該当する症例、検索情報に該当する症例に対して所定の類似度を有する類似症例、あるいは、患者の診療情報について該当するや電子カルテの該当記載部分の検索を行う。この類似症例検索部327による検索は、読影医302がPCクライアント313上で、類似症例検索部327に対応するクライアント・アプリケーションである症例検索操作部345を利用することで行われる。これにより、医師に対して、診断を支援する情報の提供を行うとともに、医師は、診断内容を記載した電子カルテを検索したり、参照することができるようになる。
医療画像システム・サーバ328から医療画像記憶部330の構成は、図2の医療画像システム・サーバ228から医療画像記憶部230の構成と同じであり、医療画像システム・サーバ328とそれが提供する機能構成部である。利用者である医師は、医療画像ビューア342を介して、医療画像管理部329を利用し、医療画像記憶部330に格納されている患者の医療画像の閲覧等を行うことができる。医療画像は、撮影対象の実際の大きさに関する情報を保有しているため、医師は、医療画像上において病変等の特定部分の長さ、大きさ等のサイズを測る操作を行うことで、特定部分の実際のサイズを示す測定情報を得ることができる。この処理は、読影医302がPCクライアント313上で、医療画像管理部329に対応するクライアント・アプリケーションである医療画像ビューア342を利用することで行われる。これにより、医師に対して医療画像の提供を行うとともに、医師は、医療画像で注目される位置や領域、その大きさなどの測定情報等を参照することができる。また、本実施形態では、医療画像ビューア342で測定された測定情報は、アプリケーション間連携機能346を介して、読影レポート・ワープロ341(読影レポート作成部)へ渡され、読影レポートの入力情報として扱えるようになっている。
また、画像病変検出部331は、医療画像管理部329が医療画像記憶部330において大量の医療画像を記憶し、医療画像の中に病変の位置・領域や、医療画像上の特性・特徴量を有することを利用して、利用者である医師に対し、医療画像内の病変の候補情報を提供する。この際に、医師は医療画像や医療画像内の特定領域を指定する操作を行う。画像病変検出部331は、この指定操作の入力に基づいて、その医療画像上の特性・特徴量を取得し、それと類似する医療画像上の特性・特徴量を有する医療画像や医療画像内の特定の部分や領域の検索を行う。この検索処理は、読影医302がPCクライアント313上で、画像病変検出部331に対応するクライアント・アプリケーションである病変検出操作部343を利用することで行われる。これにより、医師に対して、診断を支援する情報の提供を行うとともに、その診断を行った医療画像で注目される位置や領域、その大きさなどの測定情報等を参照することが可能となる。
読影レポートシステム・サーバ332から読影レポート構造化部336は、図2の読影レポートシステム・サーバ232から読影レポート構造化部236と同じであり、読影レポートシステム・サーバ332とそれが提供する機能構成部である。読影レポート管理部333は、作成済みや作成中の読影レポート記憶部334を蓄積し、この読影レポートの作成・登録・蓄積・管理・参照・共有を行うための機能を提供する。読影レポートは、利用者である読影医302により、読影レポート・ワープロ341を利用して入力され、その内容は読影レポート管理部333により管理され、読影レポート記憶部334に記録される。
読影レポート作業管理部335は、読影レポート作成作業の割り当て・作業通知、作業進展の管理など読影レポート作成にまつわる業務支援を行うための機能を提供する。読影レポート作業管理部335は、読影医302が複数いる場合や、多数の読影レポートの作成を行う必要がある場合に、読影レポートを単位とした作業分担や、緊急性の求められる読影レポート作成作業を優先して割り当てる作業分担など、読影レポートの作成作業を管理するための機能を提供する。読影作業情報記憶部351は、読影レポート毎の作成作業状態に関する情報を記録し、蓄積する。
また、読影レポート作成時情報記憶部352は、作成中の読影レポートの状態管理や、その作業中の読影レポート・ワープロ341の作業・表示内容の情報などを記憶し、蓄積する。例えば、読影レポート・ワープロ341による読影レポート作成作業が途中で中断された場合、作業中の読影レポート・ワープロ341の作業・表示内容の情報は読影レポート作成時情報記憶部352に記憶される。
読影レポート作業の中断後、作業再開の際に、読影レポート・ワープロ341は、読影レポート作成時情報記憶部352に記憶された情報を読み出し、作業環境・表示内容を読影レポート・ワープロ341上に復元する。読影レポート作成時情報記憶部352に記憶される情報は、利用者である読影医302毎について読影レポートの作業状態を示す情報であり、読影レポート作業管理部335は、これらの情報を用いて、読影レポート作成作業支援を行うことが可能である。
読影レポート構造化部336は、読影レポートの記載内容から重要情報の記載部分を取得し、記載内容を構造化することで、読影レポートの作成を支援するための機能を提供する。読影レポート構造化部336の分類構造化部363は、読影レポートなどの医療文書内に記載された文章(テキスト:医療文章)に対して、その中の特定情報とその記載部分を取得し、記載内容を分類し、記載内容の構造化を行う機能を提供する。
分類構造化部363は、医療文章の情報分類・構造化を行うために、推定情報記憶部364に記憶された情報、用語表現取得部365の取得結果、自然言語処理部369の処理結果を利用する。用語表現取得部365の取得処理および自然言語処理部369の処理の詳細については、後に具体的に説明する。
構造可視化部362は、分類構造化部363により構造化された結果を利用して、その内容を利用者に対して表示するための機能を提供する。構造可視化部362の可視化の結果は、読影レポート・ワープロ341で表示され、利用可能となる。
構造化フォーマット変換部361は、分類構造化部363により構造化された結果を保持することができるように、医療文章の記録フォーマットの変換を行う。ここでいう、医療文章の記録フォーマットは電子カルテや読影レポート等の独自もしくは公開された規格で定められたものであり、その組合せや混成であってもよい。記録フォーマットに変換された読影レポート等の文章は、読影レポート記憶部334に蓄積・管理される。また、PCクライアント313はクライアント・アプリケーション314や、利用者の読影レポート・ワープロ341からの指示に応じて、読影レポート記憶部334から読影レポートを取得することが可能である。
用語表現取得部365は、自然言語処理部369の処理結果を用いて、その処理結果内に出現した医療用語やその付帯表現となる単語や言い回し等の言語表現を取得する機能を提供する。用語表現取得部365により取得された医療用語やその付帯表現の情報である処理結果に基づいて、分類構造化部363は、情報分類や構造化の処理を行う。用語表現取得部365は、画像上の異常部分の名称や病変名や病名等の医療用語の表記文字列や表現パタン等の情報を保有する医療用語辞書366を保有しており、医療用語の取得に医療用語辞書366を利用する。
また、医療用語辞書366は、その画像上の異常部分の名称や病変名や病名等の内容や状態、すなわち、程度、大きさ、形状などの付帯表現の用語について、表記文字列や表現パタン等の情報を保有している。用語表現取得部365は、医療用語辞書366を付帯表現の取得に利用する。
用語表現取得部365は、医療用語が実際の文章において出現する場合に、どのような単語や表現と共起するかという情報(医療用語共起パタン統計情報)を記憶する統計情報記憶部367を保有する。用語表現取得部365は、未知の医療用語や付帯表現が出現した場合に、統計情報記憶部367に記憶されている情報を用いて用語の推定を行う。
さらに、用語表現取得部365は、存在やその確認を示す「〜がある」や「〜が見える」、思考・判断等を示す「〜を認める」や「〜と思う」、要求や依頼を示す「〜してください」や「〜を願います」、否定を示す表現等の知覚表現の取得を行う。用語表現取得部365は、知覚表現を取得するための情報を保有する知覚表現辞書368を保有しており、用語表現取得部365は、文章から知覚表現を取得する際に知覚表現辞書368を利用する。
自然言語処理部369は、医療文章の解析を行う処理部である。自然言語処理部369は、文章の解析を行う処理部として、解析部370を有する。解析部370は、文章で使用されている用語を単語の単位で取得する形態素解析と、単語の係り受け関係を解析する構文解析とを行う。形態素解析は、文章内の文字列を単語に分けて、品詞に分類するとともに、活用や屈折等を取り除き、原型や基本形といった単語本来の表記を得るための解析処理である。これにより、文章は解析されて、単語列の形態となる。解析部370は、形態素解析処理を行う際に、単語の辞書(一般辞書371)を使用する。構文解析は、形態素解析の結果である単語列に対して、文法等の情報を利用して、その構文や係り受け等の関係・構造を解析して求めるための解析処理である。構文解析により、単語列は、構文に基づく単語の木構造(構文木)や、係り受けのネットワーク構造(係り受け関係)等の形態となる。用語表現取得部365は、自然言語処理部369の解析結果を基に、医療用語取得やその付帯表現の取得処理を行う。 情報処理装置(システム)は、このような構成で、読影レポートの作成を行うとともに、その作成の支援を行う。利用者である読影医302は、電子カルテ・ワープロ344を利用して、電子カルテ管理部325より患者の電子カルテ情報の閲覧・情報取得を行う。また、読影医302は、取得した情報を基に、症例検索操作部345を利用して、類似症例検索部327による類似症例検索を行うことで、類似の過去症例を参照することができ、患者の状態や疑うべき疾患の情報を得ることができる。
そして、画像診断を行うために、読影医302は、医療画像ビューア342を利用して、撮影された医療画像を医療画像管理部329より取得・閲覧し、画像の診断を行う。この際に、読影医302は、医療画像ビューア342を利用して、注目する病変の位置や大きさ等を測定し、その情報を取得することが可能である。また、読影医302は、撮影した医療画像について、病変検出操作部343を介して、画像病変検出部331を利用することで、画像上の病変を自動検出した結果の情報取得を行うことが可能である。このようにして得られた情報を基に、読影医302は画像診断を行い、その結果を読影レポートとして記載する際に、読影レポート・ワープロ341を利用して記載・編集を行い、その結果を読影レポート管理部333に記録する。
また、必要に応じて、読影レポート・ワープロ341と読影レポート管理部333を利用して、患者の過去の読影レポートを参照したり、患者に対する複数の読影レポートの比較を行うことが可能である。この際に、さらに医療画像ビューア342と医療画像管理部329を利用して、過去の(特に読影レポートが書かれた際の)医療画像を参照したり、複数の医療画像の比較を行うことが可能である。読影レポート・ワープロ341での記載・編集時の作業内容は読影レポート作業管理部335へ記録される。これにより、作業の中断や再開等の際に、読影レポート作業管理部335に記録された情報を取得することにより、読影レポート・ワープロ341は作業中の読影レポートに応じた作業状況を再現・再開できる。
本実施形態の構成によれば、読影レポート記載の際に、読影レポート・ワープロ341を介して、読影レポート構造化部336を利用することで、記載している、もしくは、参照している過去の読影レポートの記載内容を構造化することにより、読影レポートのわかりやすい表示を提供できる。
また、読影レポートを構造化した状態で記録し、他の機器などに提供することで、記載内容の再利用を容易にすることができる。さらに、医療画像ビューア342での測定結果、病変検出操作部343と画像病変検出部331で得られた結果、症例検索操作部345と類似症例検索部327で検出された類似症例や電子カルテ等の該当記載文章は再利用することが可能である。
従来はテキスト情報の再利用方法として、すでに記載された単純な情報のテキスト情報は、新しい医療文書や読影レポートにコピーして使用することで利用されていた。また、読影レポート等へのコピー後、必要に応じて、コピーされたテキスト情報である該当文章は、今回記載の文章と異なる部分を編集(修正・加筆)することにより利用されていた。このようなテキスト情報をコピーしたり、編集する作業は、テキスト情報における言語表現の形式に依存しており、言語表現の形態を配慮しながらコピー・編集(修正・加筆)を行う必要があった。本実施形態の情報処理装置は、このようなコピーや編集(修正・加筆)を、言語表現の形式ではなく、テキスト情報である文章に記載された情報そのものが保有する形態素を構造化した状態で行う。これにより、再利用の際にその情報を取り込みやすくし、わかりやすい表示や、構造化した状態で文章を記録し、他の機器などに提供することを可能にする。以下、テキスト情報である文章の構造化を行う際の実現方法と、その利用方法について詳細に説明する。
図4は、本実施形態における文章に対する情報処理の流れを説明する図である。ステップS401では、構造化対象の文章を読み込み、自然言語処理による解析を行う処理を行う。これは図3の自然言語処理部369で行われる処理である。構造化対象の文章は、例えば、読影レポート内の文章である。ここでは、例として、図3の読影医302が、患者の読影レポート中の自然言語で記載した記載内容を見ているとする。ここで扱う読影レポート内の文章は、患者の過去の読影レポートでも、参考になる別の読影レポートであっても良い。また、病変検出操作部343と画像病変検出部331の出力が文章の場合の内容でも良いし、電子カルテ・ワープロ344と電子カルテ管理部325や、症例検索操作部345と類似症例検索部327の検索結果の文章でも良い。
ここでは、本実施形態の説明用に、図5(a)の文章(テキストデータ)を、読影レポートの文章の例として、使用するものとし、図5(b)に、ステップS401と次のステップS402の処理結果をまとめて記載している。
図5(b)では、表記の列に、図5(a)の例文が形態素解析によって単語単位に分割された状態で示されている。また、形態素解析によって、各表記に対して、「品詞」の情報が付与されている。ここまでが、形態素解析の出力結果である。また、この形態素解析の出力結果に対し、各表記について、「構文構造」の情報が記されており、これが構文解析の出力結果である。この本実施形態の構文構造は、句構造を主に出力している。そのため、「構文構造」内は名詞句や動詞句などの句の基本的な単位を構成する部分と、それに後置詞句等を加えて、他の句と関係を持てる後置詞句などとなり、図5(b)に示す例では、2階層の構文構造を保有する例が示されている。それから、修飾等の関係や、構文構造上、主となる主動詞句についても取得している。なお、日本語の場合には名詞(句)に対して助詞がその直後に出現して、他の名詞句や動詞句と構文的な関係を持つため、ここでは、そのような助詞を後置詞、それを伴う名詞句等を後置詞句と表現している。この後置詞句は、文節などと呼ばれる場合もある。
自然言語処理部369はこのように処理を行う。そして、その処理の際に、単語単位の語や単語の情報を保有する一般辞書371や、句構造を形成する単語の組合せや、句構造間の関係・構造を保有する構文規則記憶部372を利用して処理を行う。それらを利用し、対象となる文章を、単語単位に分割し、品詞等の情報を付加することと、それを構文構造に組み立てることを行うのが、解析部370である。形態素解析および構文解析の処理方式や処理結果の形態は、基本的には個々で示したようなものが基本であるが、細かい点では様々なものがある。しかし、本実施形態では、それに相当する処理や処理結果があれば良いので、そのいずれであっても構わない。
ステップS401の処理が終了したら、処理はステップS402へ進められる。ステップS402では、ステップS401の自然言語処理部による解析結果に対し、医療の用語、付帯表現、知覚表現を取得する処理を行う。用語表現取得部365は、形態素解析および構文解析の結果および辞書データに基づいて、文章で出現した用語、および用語に対する付帯表現、および用語および付帯表現に対応した知覚表現を取得する。本処理の結果は、図5(b)に含まれており、「用語」、「付帯表現」、「知覚表現」に示されている。「用語」としては、表記に対して、部位名や病変・異常名や疾患等のカテゴリに属するものが取得される。「付帯表現」としては、表記に対して、形状や大きさ等のカテゴリと、具象等のサブカテゴリに属するものが取得されている。「知覚表現」としては、表記またはその組合せに対し、「認める」、「見える」、「疑う」などの視覚や認識・可能性の有無等の直接的表現に該当するものや、「ある」、「伴う」などの存在(有無)の確認する表現などのカテゴリが取得されている。このように、用語表現取得部365は処理を行う。そして、その処理の際に、用語表現取得部365は医療用語やその付帯表現等の情報を保有する医療用語辞書366を使用する。また、用語表現取得部365は統計情報記憶部367に記憶されている、医療用語や付帯表現の共起パタンとその共起パタンの関係性の統計的な情報(医療用語共起パタン統計情報)を使用する。さらに、用語表現取得部365は知覚表現の情報を保有する知覚表現辞書368を使用する。用語表現取得部365は、それらを利用して、医療用語、医療用語の付帯表現、知覚表現に該当するものを見つけて各カテゴリに分ける処理を行う。この用語や付帯表現、知覚表現を取得・推定する手法としては、単純なものとして、辞書と突き合せて該当表現を得る方法がある。それ以外に、統計情報等を用いて辞書に登録されていない表現であっても、その表現自体の表記の構成や、その表現と共起する他の単語を利用して推定する方法など様々なものがある。また、その処理結果の形態についても、基本的には個々で示したようなものが基本となることが多いが、細かい点では様々なものがある。しかし、本実施形態では、それに相当する処理や処理結果があれば良いので、そのいずれであっても構わない。
ステップS402の処理が終了したら、処理はステップS403へ進められる。ステップS403では、自然言語処理部369による解析結果と、取得された医療の用語をもとに、各用語・付帯表現・知覚表現間の関係性を得る処理が実行される。図6(a)は、用語・付帯表現・知覚表現間の関係性を得る処理の処理結果を例示する図である。図5(b)は、ステップS401の自然言語とステップS402の医療の用語、付帯表現、知覚表現の取得の結果を示す図であり、これをステップS403で再構成して、作成したのが図6(a)である。その再構成の内容は、以下のようになっている。
図5(b)の用語、付帯表現、知覚表現において取得された単位である、表記の文字列をまとめて、図6(a)の「用語表現」の列の内容としている。図5(b)の用語の列に記載された用語のカテゴリを、まとめ直して、図6(a)「用語属性」の内容としている。図5(b)の「付帯表現」の列に記載された付帯表現のカテゴリを、図6(a)の「付帯表現属性」の列の内容としている。そして「付帯表現属性」に該当する図5(b)の表記の文字列をまとめて、図6(a)の「付帯表現値・状態」の列の内容としている。図5(b)の「知覚表現」の列に記載された知覚表現のカテゴリ(視覚、認識)を付加した形式で、図6(a)の「知覚表現」の列の内容としている。該当する図5(b)の表記の文字列と知覚表現のカテゴリ(視覚、認識)とをまとめて、図6(a)の「知覚表現」の列の内容としている。
ステップS403の処理が終了したら、処理はステップS404へ進められる。ステップS404では、各用語の用語属性、付帯表現の付帯表現属性等を基に、各用語、付帯表現、知覚表現に対して情報分類を行う。この処理結果を図6(b)に示す。ここでは、ステップS403の結果である図6(a)のような情報を基に、どのような表現が「情報分類」内の「分類」の項目、または「詳細」の項目に該当するかを推定する。
図6(b)の「情報分類」には、「分類」として、観察と所見と診断と計画・依頼の4つのカテゴリがあり、更に、その他のカテゴリがある。また、それぞれに「詳細」のサブカテゴリを保有している。図6(a)は、あくまでも記載された内容から得られた、文章上の構文構造や出現順序に基づく、用語取得等の結果である。これに対し、図6(b)では、医療画像の分析結果に関する記載内容に応じて分類する例を示している。例えば、画像に対する観察結果(分析結果)に関する記載、観察結果に基づき得られた、実際に患者の体内で起きている現象や異常内容や病変に関する所見の記載、所見の結果として考えられる疾患名等の判断・診断結果に関する記載、診断結果に基づいて得られた、将来の計画指示・依頼等の記載の存在に注目した内容に分類されている。これらが、図6(b)の「分類」内の、観察、所見、診断、計画・依頼に、それぞれに対応している。
そして、各用語・付帯表現・知覚表現が、少なくとも、4つの記載カテゴリがあるとした場合に、そのどの記載カテゴリとして妥当であるかという視点で、各用語・付帯表現・知覚表現を分類し直すのである。その結果が、図6(b)の「情報分類」の「分類」と「詳細」である。図6(a)と図6(b)を比べると、具象的な付帯表現である濃度が、図6(b)の観察-画像観察の分類カテゴリの中に移動している。また、図6(a)における挨拶の文章である「よろしくお願いいたします」が、図6(b)では、その他の分類カテゴリである「挨拶」へと情報分類されている。このようにステップS403、及び、ステップS404の処理を行うが、これは、分類構造化部363で行われる処理である。
図6(b)の例は、ステップS401とステップS401で得られた内容である図6(a)について、分類構造化部363の処理を行った結果を例示するものである。この例の場合、図6(a)内の各用語、付帯表現、知覚表現について、例えば、用語表現「低吸収域」に対する「画像特徴名」は図6(b)の「観察」のカテゴリへと分類される。また、大きさや濃度に関する具象的な付帯表現属性を有する付帯表現は、「観察」の用語表現に付帯する付帯表現属性となるという規則により、「25mm程」や「軟部組織濃度」という付帯表現は、図6(b)の「観察」のカテゴリとなり、用語表現「低吸収域」に関係づけられる。
ここでは、「25mm程」が「観察」へ分類し直されている例であるが、この「25mm程」のような表現が、特定の用語と関係付けけられず、単独となっている場合でも、同様に行われる。用語や付帯表現について、ステップS401とステップS401では、言語処理を中心とした分類を行い、ステップS403、及び、ステップS404では、その文章における用語や付帯表現の利用形態に基づく分類情報や関係・構造情報を基に、言語処理を中心とした分類の結果を再度分類し直すのである。
利用形態の情報としては、用語や付帯表現が読影レポート内の文章において、「観察」などのどの分類の意味で使用されるかという用語の使用規則や、過去の文章を基にした統計情報、特に他の用語との共起関係を示す統計情報等のいずれかを用いたものを利用している。前述の「25mm程」の再分類は、まさに、利用形態に基づく分類情報を再分類の規則として使用したものである。分類構造化部363は、用語の使用規則、過去に作成された文章を基にした統計情報、用語と他の用語との共起関係を示す統計情報を用いて、異なる属性の表現の分類を行う。関係・構造情報も同様の情報であるが、用語と付帯表現の関係・構造に関するものである点が異なる。これは、病名の用語があれば、その病名の病気の程度を示す程度を示す付帯表現が同一文章内に共起する確率が高いとか、病変名の用語があれば、その形状や大きさなどの付帯表現が同一文章内に共起する確率が高いといったものである。さらに、癌などの特定の病名の用語の場合、その進行や種類を示す「〜型」などの付帯表現が同一文章内に共起する確率が高いという用語個別のものであってもよい。
このような関係・構造に基づき、文章内の係り受けや修飾等の関係に基づく分類を、文章の利用形態に基づく分類情報や関係・構造情報に基づき、再分類を行うのである。そして、このような用語や付帯表現の利用形態に基づく分類情報や関係・構造情報が、推定情報記憶部364に記憶されている。この関係・構造情報により、図6(b)では、「有意な大きさ」や「分葉状」の記載等は、そのまま「画像所見」の分類とされている。
また、推定情報記憶部364において、用語・知覚表現の共起に関する情報として、「検査名」と「依頼」等の知覚表現が関係する場合は「計画・依頼」の検査依頼であるという統計的な優位性を示す情報が記憶されているとする。これにより、検査名である「内視鏡検査等」の用語は「計画・依頼」に分類されることになる。
特に他と関係なく「依頼」しかない場合には、「挨拶」となるという用語・知覚表現の共起に関する情報により、知覚表現の「よろしくお願いいたします」は「挨拶」に分類される。なお、「挨拶」は、本実施形態で重視する、観察、所見、診断、計画・依頼の分類には含まれないので、図6(b)では、「その他」の分類で、詳細が「挨拶」として分類されている。
これとは、逆に、用語と付帯表現の関係がステップS401とステップS401で得られており、推定情報記憶部364には該当する利用形態に基づく分類情報や関係・構造情報が記憶されていない場合、ステップS401とステップS401で得られた関係はそのまま使用され、用語と付帯表現は分類されることとなる。
推定情報記憶部364上の情報は、過去に作製された読影レポートなどを基に作成されることが多いため、頻出頻度が極端に低いものや新しい用語や付帯表現が出現した場合等には、このようになることが多いと考えられる。しかし、その場合には、書き手も用語や付帯表現の関係が明確になるような表現を用いて記載するような配慮が期待できれば、このやり方でも困らないと思われる。また、使用頻度が高まれば、将来、推定情報記憶部364上に情報が追加されることとなるので、追加される情報が増加するに従い、ステップS403、及び、ステップS404における処理で、該当する分類情報や関係・構造情報が得られるようになるものと考えられる。
ここでは、読影レポートの文章に対して、その記載内容が分かりやすくなるように分類する例で、用語・付帯表現の処理と、用語や付帯表現の利用形態に基づく分類情報や関係・構造情報を分離して連続処理する方式で説明している。同じ、医療の文章であっても、種類の異なる文章の場合や、書き手と読み手の視点の違う場合などにより、「観察」等の分類の項目は変わらなくても、その中に分類される対象である用語や付帯表現の分類される内容の詳細や分類傾向は異なる可能性がある。これは、用語や付帯表現の用法が違う場合や、記載されている内容によって意味が変わってしまう場合があるためである。そのような場合には、本実施形態で示したような、用語・付帯表現の言語処理的で文章に依存しないような取得・分類部と、文章に応じて変化する用法を配慮した分類部を組合せる方法が有効と考えらえる。しかし、これらを一度に行うことも可能であり、その場合は、図6(b)の結果を一度に得られるようにすることで、処理効率の改善などが可能と思われる。本実施形態は、いずれの方式であっても適用可能である。
また、本実施形態は、読影レポートの作成を例にしているが、この本実施形態の効果は、読影レポートや医療文章の作成以外の領域においても、同様の効果が望める。すなわち、書き方の異なるレポートや報告書の自然言語の記載内容や、検討内容を、事実を起点にした論理的な関係による順序で統一された情報提示を行う。これにより、レポート・報告書の読み手にとって内容の把握が容易に行える。適用するレポート・報告書に応じて、用語や付帯表現等は異なるので、それを対応させる必要はあるが、レポート・報告書が事実を起点とした論理的な内容や情報の記載で構成されており、分析や判断等について記載するとか、それを支援することを目的とするものであれば、同様の効果を望むことが可能である。
ステップS404の処理が終了したら、処理はステップS405へ進められる。ステップS405では、利用目的に応じて分岐する処理であり、利用方式が記録・出力として利用する場合と、構造化提示である表示として利用する場合で、処理の分岐を行う。実際には、図4のステップS405の処理は、読影レポート・ワープロ341の使用において、読影医302の指示によって、記録・出力を行うか、構造化提示表示を行うかについて、すでに指示済みとなっている。読影医302の指示に従って、分岐が行われることになる。利用方式として記録・出力により利用する場合、処理はステップS406へ進み、利用方式として、構造化提示表示により利用する場合、処理はステップS408に進められる。
ステップS406では、情報分類した結果を、予め決められたフォーマットに変換する処理を実行する。構造化フォーマット変換部361は、分類の結果を、予め定められた形式のフォーマットに変換し、変換したフォーマットにより分類の結果を出力する。図7は、このフォーマット変換された内容を例示的に示す図であり、図7に示すフォーマットは、XML形式のフォーマットを使用したものである。図5(a)に示した、文章例に対して、各用語について情報分類された図6(b)の情報がXML形式で記載されている。本ステップの処理は、構造化フォーマット変換部361で行われる処理である。構造化フォーマット変換部361は、ステップS404で得られた情報分類の結果を出力先や目的に応じた複数の構造化フォーマットに変換する。ステップS406の処理が終了したら、処理はステップS407へ進められる。ステップS407では、フォーマット変換された内容を記録もしくは他の機器や処理へ提供する処理を実行する。これにより、構造化した結果を、読影レポート管理部333を介して、読影レポート記憶部334の読影レポートの文章に加えて、構造化情報として記録させる。これにより、その記録を他の機器や処理へ提供することが可能となる。ステップS407の処理が終了したら、記録・出力により情報分類の結果を利用する図4の処理は終了となる。
一方、ステップS405の判定において、情報分類の結果を、表示(提示)により利用する場合、処理はステップS408に進められる。ステップS408では、各情報分類の各付帯表現について、付帯表現を属性分類毎にまとめ、属性分類の提示順序(統一された形式)を決定する処理を実行する。情報分類の結果を提示する際に、同一の付帯表現が、同じ行や列などの強い関係性が明示的に示されるように、表示順序を決めることを行う。このようにすることで、各付帯表現を提示する場合に、分かりやすい提示順序になるようにする。これは、構造可視化部362で行われる処理である。 ステップS408の処理が終了したら、処理はステップS409へ進められる。ステップS409では、情報分類の統一された提示順序(統一された形式)に従い、取得された用語を提示するとともに、それに対する付帯表現を、属性分類の提示順序に従って提示を行い、構造化提示を行う処理が行われる。これにより、実際に利用者に提示するための構造化提示の基になる表示内容が決定する。本処理は、構造可視化部362で行われる処理であり、この処理の結果は読影レポート構造化部336から読影レポート・ワープロ341へ送られて、表示され、読影医302に提示される。
図8は、構造化提示を行った際の、画面上の表示内容を例示的に示す図である。図2のPCクライアントがマルチ・ウィンドウの表示機能を有する場合を仮定しており、マルチ・ウィンドウのうち、図8の表示は構造化表示を行っているウィンドウを例示するものである。ウィンドウはウィンドウのタイトルバー801を有し、そこに「構造化表示」というタイトルが表示されている。ウィンドウの表示は行列状の表示方式で表示されている。
行802は「部位」を示している行である。行803には、図6(b)の情報分類に対応する「観察」、「所見」、「診断」、「計画・依頼」が表示されている。また、付帯表現から取得される項目として、「対象」、「大きさ」、「濃度」、「形状」、「状態」が列方向に表示される。図6(b)の用語表現の欄の記載は、図8の「対象」の行に表示される。行表示(「観察」、「所見」、「診断」、「計画・依頼」)と列表示(「対象」、「大きさ」、「濃度」、「形状」、状態)とに対応して、付帯表現、知覚表現の記載が図8に表示される。例えば、図6(b)の知覚表現は、それが対応している用語や付帯表現に対して、「<認める>」等のような形態で表示を行っており、否定の知覚表現は重要な情報なので、認める場合と区別できるように、「否定」の文言を知覚表現と組み合せて表示している(「(<<認めない(否定)>>)」)。
情報分類における「観察」、「所見」、「診断」、「計画・依頼」については、同一の画像観察結果について述べているときには、画像診断における読影医の思考時の論理的な関係(例えば、「PならばQ」という論理的な命題内の関係)が成立することが多い。そのため、読影医の考え方を知りたい場合には、その論理的な関係の順序で示すのが分かりやすい。特に、画像等の観察した内容から初めて、最終的に、どのような疾患の可能性を疑うのか、今後、どう対応すべきなのかということまで、論理的な関係の順序で示すのが分かりやすい。これにより、読影した内容・記載内の論理的な考え方の展開などの読影医の考え方が明確になる。
図8の例は、このような考え方に基づき、読影医による読影レポート作成時における構造化表示の例である。尚、本実施形態の構造化表示の例は、この例に限定されるものではなく、例えば、読影を依頼した依頼医・臨床医からすると、診断の結果をまず確認するため、読影医の結論として、診断結果を中心に、対応内容の候補として「診断」、「計画・依頼」をはじめに示すような提示方式(表示形式)が良いものと考えられる。そして、読影医の結論に至る診断の根拠を知りたい場合に、「観察」、「所見」を示すような提示方式が良いものと考えられる。依頼医に対して、構造化表示を行う場合、例えば、「診断」、「計画・依頼」、「観察」、「所見」等と、読影医に対する構造化表示の表示順(「観察」、「所見」、「診断」、「計画・依頼」)とは異なる表示順となるような表示制御により、構造化表示を行うことも可能である。
ステップS409の処理が終了したら、情報分類の結果を、表示により利用する図4の処理の流れは終了となる。
本実施形態の構成によれば、書き方の異なる読影レポートの自然言語の記載内容を、画像診断の検討における論理的な関係による順序で統一された情報提示により、読影レポートの読み手にとって内容把握を容易に行うことが可能になる。
さらに、本実施形態の構成によれば、読影レポートや医療以外の領域においても、同様の効果が望める。すなわち、書き方の異なるレポートや報告書の自然言語の記載内容を、検討内容を、事実を起点にした論理的な関係による順序で統一された情報提示により、レポート・報告書の読み手にとって内容把握を容易に行うことが可能になる。
図8に示したような構造可視化は、複数の読影レポートについて、読影レポートで記載された文章の比較を行う際にも利用することが可能である。図9(a)は例文であり、これと、図5(a)の例文を比較した場合、そのそれぞれの構造化結果を得て、構造化の項目ごとに比較を行い、その結果を表示したものが、図9(b)である。図9(b)は、図5(a)の例文の構造化結果に対して、図9(a)がどのように異なるかを示すために行う表示である。図9(b)の表示の形態は図8と同じである。
図5(a)では「左肺上葉」にしか、部位の記載がないのに対し、図9(a)では「左肺上葉」と「右肺上葉」の両方の記載がある。そのため、「右肺上葉」についての記載が部位911に追加表示される。文章で記載する場合の、左右の記載は、視覚的に区別がしづらく、誤りを生じやすい部分である。しかし、この構造可視化を用いると、自動的に別のものとして構造化され区別して表示されるので、誤りがあっても、それを発見しやすくなる。
また、図9(b)の大きさの欄912で示すように、個々の用語や属性表現などを記載する部分で、異なる表現や、記載の有無などの違いがあると、その対比ができるように表示される。この例では、矢印を用いて、比較元(図5(a)の例文の記載「25mm程」)と比較先(図9(a)の例文の記載「27mm程」)とを示すことで、その違いを区別しやすく表示している。これにより、例えば、同じ患者に対する複数の読影レポートを比較している場合には、矢印に対して左側に作成時間の古い読影レポートの内容を表示し、矢印に対して右側に作成時間の新しい読影レポートの内容を表示することで、読影医がその変化を確認しやすくしている。このようにすることで、複数の読影レポートで記載された文章の比較を、構造化提示を用いて容易に行うことが可能になる。
図10は、構造化提示を行いながら、読影レポートの作成を行う場合の処理の流れを示す図である。実際に、読影レポートを作成しながら、構造化提示でチェック・修正を行っている場合において、図3の病変検出操作部343と画像病変検出部331の処理、および医療画像ビューア342の計測結果を利用する場合の処理の手順を具体的に説明する。
また、構造化提示の内容が間違った場合の修正や、記載内容の追加修正を行って、読影レポートの構造化を行いながら、読影レポートを作成する場合の処理の手順を示す。ここでは、図11(a)に示す読影レポートを例文として使用した場合の処理について具体的に説明する。
ステップS1001では、構造化対象の文章を読み込み、構造化提示を行う処理である。この処理は、図4で説明した構造化提示を利用する場合の処理に対応する処理である。図11(b)は、読影レポート作成と連携している構造化提示の画面例を示す図である。表示の内容は図8と基本的に同じであるが、利用者による編集用の操作をするため用語や付帯表現を追加するための操作入力部(ボタン1101)が追加表示されている。このボタン1101の行の右側に表示されている空欄部に、医師は用語や付帯表現の入力を行うことができるようになっており、入力後、ボタン1101が押下されると、入力された用語や付帯表現が構造化表示に追加表示される。例えば、「状態」の欄をマウス等で選択した状態にして、空欄1106に用語や付帯表現を入力し、ボタン1101が押下されると、表示欄1103に空欄1106で入力された内容が追加表示される。更に、表示欄をマウス等で指定して、記載内容を修正し、表示内容を編集することもできる。終了ボタン1105が押下された場合、このような編集を行うための表示制御が終了する。
操作入力部(ボタン1102)は、新規の部位を追加する編集操作を行う場合に使用するための操作入力部(ボタン)である。このボタン1102の行の右側に表示されている空欄部に、医師は部位の入力を行うことができるようになっており、入力後、ボタン1102が押下されると、入力された部位が構造化表示に追加表示される。そして、構造化表示の下に、ボタン1101の操作により追加するための空欄部とボタン1102の操作により追加するための空欄部が表示され、新たな用語や付帯表現の追加、新規の部位の追加が可能になる。
ステップS1001の処理において、図3の分類構造化部363は、構造化提示の内容情報を生成し、構造可視化部362は表示内容を生成し、生成結果を読影レポート・ワープロ341が画面表示のための表示制御を行う。また、読影レポート・ワープロ341は、入力装置104から入力される操作・修正の指示を受ける。操作・修正の内容は、構造可視化部362、分類構造化部363に戻され、操作・修正の内容に対応した後の処理が実行され、後の処理の結果は、読影レポート・ワープロ341により表示制御される。ステップS1001の処理が終了したら、処理はステップS1002へ進められる。
ステップS1002において、医師は提示された情報を確認し、必要があれば、修正や外部情報の追加操作を行うための処理を実行し、修正や追加の必要がなければ、終了指示の操作を行うための処理を実行する。例えば、医師は、図11(b)の画面で情報の内容の確認を行い、読影レポート・ワープロ341が受け付けた操作入力は、構造可視化部362、および分類構造化部363に送信される。構造可視化部362、および分類構造化部363は、操作入力に応じた処理を実行する。ステップS1002の処理が終了したら、処理はステップS1003へ進められる。
ステップS1003では、ステップS1002で受け取った操作内容によって分岐を行う処理である。情報修正の操作・指示の場合に処理はステップS1004へ進められる。外部情報の追加の操作・指示の場合に、処理はステップS1008へ進められる。終了の指示の場合に処理はステップS1010へ進められる。
ステップS1004では、医師による修正・加筆の内容を記録して、構造化情報を更新するための処理が実行される。図12(a)は、ステップS1004で、医師による編集操作(修正・加筆)が行われたことで、更新された構造化表示の画面例を示す図である。図12(a)の表示内容は、読影レポート・ワープロ341の表示制御により、医師による編集操作(修正・加筆)が行われた結果が画面に表示されている。そして、修正・加筆の内容は構造可視化部362に送信され、構造可視化部362は、修正・加筆の内容の記録を行う。そして、構造可視化部362は、読影レポート管理部333へ修正・加筆の内容を送り、読影レポートの内容に、修正・加筆の内容を記録させる。この内容を利用して、構造可視化部362は構造化情報を更新する。
図12(a)中の表示内容は、医師の操作によって、表示欄1213は、図11(b)の表示欄1103に対応する表示欄であり、図12(a)において、表示欄1213の内容は削除されている。また、部位の表示欄1216において「肺全体」が追加されている。さらに、追加された部位(「肺全体」)に対する所見として、表示欄1217に浸潤影に関する記載が追加されている。このような、編集操作(修正・加筆)の内容が記録され、修正・加筆の内容に応じて構造化情報が更新される。ステップS1004の処理が終了したら、処理はステップS1005へ進められる。
ステップS1005では、修正・加筆の記録の中から、情報分類の変更と属性分類の変更・加筆があった、用語と属性表現(付帯表現、知覚表現)の情報を取得する処理を行う。この処理は、分類構造化部363によって実行される。
図12(b)は、取得された情報分類の変更と属性分類の変更・加筆があった用語と属性表現の情報を例示的に示す図である。「情報分類」以下の列は図6(b)と同じであるが、先頭の「編集種別」に、図12(a)の表示欄1213、表示欄1217の変化の内容が記載されている。このような情報を作成し、これを利用することにより、この後の処理で、用語と属性表現(付帯表現、知覚表現)の学習情報として利用する。
ステップS1005の処理が終了したら、処理はステップS1006へ進められる。ステップS1006では、取得した情報(用語と属性表現(付帯表現、知覚表現))を、学習情報に加える処理を行う。この処理は、分類構造化部363によって実行される。実際には、この処理は、辞書の更新や、統計情報の更新等を行うことで実現される。すでに、情報分類ができている用語や付帯表現等について修正を行う場合には、推定情報記憶部364に記憶されている情報(分類パタン・構造推定情報)が更新される。新しい用語や付帯表現等が追加された場合、追加された用語や付帯表現等は用語表現取得部365に渡され、用語表現取得部365は、用語や付帯表現等に基づいて、医療用語辞書366、医療用語共起パタン統計情報を記憶している統計情報記憶部367、知覚表現辞書368等に記憶されている情報を更新する。そして、分類構造化部363や、推定情報記憶部364の出力が情報更新の結果に基づいて変化する。ステップS1006の処理が終了したら、処理はステップS1007へ進められる。
ステップS1007では、更新された構造化情報に基づき、構造化提示を更新する処理を行う。本処理において、分類構造化部363は、ステップS1006で学習した結果を反映した新しい構造化提示の内容を示す情報を生成し、生成した情報を読影レポート・ワープロ341へ送信する。読影レポート・ワープロ341は、送信された情報に基づいて、新しい構造化表示を行う。ステップS1007の処理が終了したら、処理はステップS1002へ進められる。
ステップS1008は、ステップS1003において、外部情報の追加の操作・指示の場合に実行される処理であり、クライアント・アプリケーションから、クライアント・アプリケーションに対応するサーバは情報を受け取る処理を実行する。そして、情報を受け取ったサーバは、所定の処理を実行し、その結果が出力される。クライアント・アプリケーションとしては、例えば、症例検索操作部345、電子カルテ・ワープロ344、読影レポート・ワープロ341、病変検出操作部343、医療画像ビューア342等が該当する。
クライアント・アプリケーションが症例検索操作部345である場合、提示された検索結果や事例としての電子カルテ等で、選択された記載内容を、電子カルテシステム・サーバ324は受け取る。例えば、電子カルテシステム・サーバ324の類似症例検索部327は、受け取った検索情報に該当する症例、検索情報に該当する症例に対して所定の類似度を有する類似症例、あるいは、患者の診療情報について該当するや電子カルテの該当記載部分の検索を行う。
クライアント・アプリケーションが電子カルテ・ワープロ344の場合には、選択された電子カルテの記載内容を電子カルテシステム・サーバ324は受け取る。例えば、電子カルテシステム・サーバ324の電子カルテ管理部325は取得した記載内容に対応する患者の電子カルテ情報の閲覧・情報取得を行い、取得した情報を提供する。
クライアント・アプリケーションが読影レポート・ワープロ341の場合に、選択された読影レポートの記載内容を、読影レポートシステム・サーバ332は受け取る。クライアント・アプリケーションが病変検出操作部343の場合に、そこで提示された画像上の病変情報の中から選択さえた病変情報に関する情報を、医療画像システム・サーバ328は受け取る。例えば、医療画像システム・サーバ328の画像病変検出部331は、選択さえた病変情報に関する情報に基づいて、利用者である医師に対し、医療画像内の病変の候補情報を提供する。
クライアント・アプリケーションが医療画像ビューア342の場合には、そこで提示された医療画像に対して長さや大きさ等の測定結果等を情報として、医療画像システム・サーバ328は受け取る。例えば、医療画像システム・サーバ328の医療画像管理部329は、取得した測定結果等の情報に関連する医療画像を取得し、提供する。各クライアント・アプリケーションが、各サーバの機能構成部から取得した情報は、アプリケーション間連携機能346を介して、読影レポート・ワープロ341や電子カルテ・ワープロ344へ渡され、読影レポート・ワープロ341や電子カルテ・ワープロ344の入力情報として処理することが可能である。
図13(a)は、画像病変検出部331から受け取った情報の例を示す図であり、病変検出操作部343上で選択された病変情報を受け取った場合の例である。この情報は、図6(b)で示した形態となっているが、「情報分類」の「詳細」が、画像病変検出部331で検出された病変情報毎(例えば、「病変検出-1」)に区別できるようになっており、特定の医療画像か、その医療画像上の特定の領域などを指示しているものになっている。検出された病変・異常名が、「用語」に記載され、その「付帯表現」が部位や画像上で測定された値として格納される。「知覚表現」には、入力元を区別するための情報を有し、入力元として画像病変検出部が作成したことが記載される。これにより、入力元が医師による記載と区別される。ステップS1008の処理が終了したら、処理はステップS1009へ進められる。 ステップS1009では、読影レポートシステム・サーバ332は、受け取った情報を、構造化情報に追加し、更新する処理を行う。本ステップでは、分類構造化部363による構造化の提示内容に、図13(a)の情報を加えることで更新処理を行う。読影レポートシステム・サーバ332の各機能構成部(読影レポート管理部333、読影レポート作業管理部335、読影レポート構造化部336(構造化フォーマット変換部361、構造可視化部362、分類構造化部363、用語表現取得部365、自然言語処理部369))による処理結果が提供される。そして、分類構造化部363は更新された構造化の提示内容を表示用の情報として読影レポート・ワープロ341に送信する。
ステップS1007では、読影レポート・ワープロ341は、更新された構造化の提示内容を画面表示するための表示制御を行う。読影レポート・ワープロ341の表示制御により、構造化が更新表示される。
図13(b)は、更新された構造化提示の画面の表示内容を例示する図である。表示内容の構成は図11(b)と同じである。ただし、表示欄1301に、図13(a)の情報で追加された部位の「右肺上葉」が追加され、表示欄1302と表示欄1303に小結節の情報が追加されている。表示欄1302には、部位の大きさを示す情報が追加されており、画像病変検出部331により自動測定されたことが、大きさを示す情報と組み合せて表示されている。表示欄1303には、入力元として、入力元として画像病変検出部331が作成したことが記載<画像病変検出>)される。知覚表現には、入力元を区別するための情報が含まれ、用語(付帯表現)と、用語(付帯表現)に対応した知覚表現(入力元)とが組わせて提示される。これにより、入力元が医師による記載と区別される。
ステップS1007の処理が終了したら、処理はステップS1002へ進められ、以下、同様の処理が行われる。
一方、ステップS1010では、先のステップS1003で終了の指示だったために分岐した場合の処理が実行され、構造化提示を非表示とする処理が実行される。ステップS1010の処理が終了したら、ステップS1011へ進み、構造化対象の文章の情報の更新を行う。これにより、医師による編集操作(修正・加筆)や、クライアント・アプリケーションからの情報の受け取りと記録が終了したことになる。さらに、構造化対象の文章の表示部分があれば、その表示も更新を行い、終了となる。
このようにして、図10の処理により、この構造化提示を行いながら、読影レポートを作成する。この際に、医師による編集・加筆や、クライアント・アプリケーションからの情報の受け取りを、構造化提示とともに行うことが可能になる。この情報を構造化した状態で記録することが可能になる。この例では、読影レポート作成の例で示したが、画像診断が電子カルテに記載されるような場合など、別の医療文章に記載されるような場合であっても構わない。
本実施形態によれば、書き方の異なる読影レポートの自然言語の記載内容を、画像診断の検討における論理的な関係による順序で統一された情報提示とすることにより、読影レポートの読み手にとって内容の把握を容易に行うことが可能になる。論理的な関係による情報提示を用いて作成した読影レポートを見直すことで、読影レポートの書き手は、記載不足や間違いの発見を見つけやすくすることができる。また、統一された順序であるために、読影レポートの読み手は、複数の読影レポートの記載内容比較を容易に行うことが可能になり、複数の読影レポート間における差分を見つけやすくすることが可能になる。
本実施形態によれば、文章の作成や読込みの際の作業負担を軽減することで、作業効率を向上させるとともに、文章作成者の本来の業務である分析や判断を集中して行うことがきるようになる。さらに、本実施形態の構成は、読影レポートや電子カルテの記載など、医療以外の領域においても、同様に適用することが可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。