WO2018235420A1

WO2018235420A1 - 医療情報処理システム

Info

Publication number: WO2018235420A1
Application number: PCT/JP2018/016156
Authority: WO
Inventors: 昭徳佐々木; 池田　佳子
Original assignee: オリンパス株式会社
Priority date: 2017-06-19
Filing date: 2018-04-19
Publication date: 2018-12-27
Also published as: CN110770842A; US20200126655A1; CN110770842B; JPWO2018235420A1; JP6944520B2; US11482318B2

Abstract

検査画像記憶部２８は、撮影時刻情報を有する複数の検査画像を記憶する。音声処理部３２は、マイク１７に入力された音声を音声認識して、所見に関する情報を抽出し、抽出情報記憶部３４は、抽出された所見に関する情報と、マイク１７に入力された音声時刻情報とを対応付けて記憶する。グルーピング処理部７４は、複数の検査画像を、撮影時刻情報にもとづいて１以上の画像グループにグループ分けする。対応付け処理部７６は、抽出情報記憶部３４に記憶された所見に関する情報を、音声時刻情報にもとづいて画像グループに対応付ける。所見選択画面生成部６８は、１つの検査画像がユーザにより選択されると、選択された検査画像を含む画像グループに対応付けられた所見に関する情報を表示する画面を生成する。

Description

医療情報処理システム

　本発明は、検査中に医師等が発した音声を有効利用する医療情報処理システムに関する。

　特許文献１は、記憶媒体に記憶された医用画像またはモニタ画像を表示デバイスに表示させる表示制御手段と、表示デバイスに表示させている医用画像またはモニタ画像に関連づけて記憶媒体に記憶された音声を音声再生デバイスに再生させる音声再生制御手段とを備えた医用画像処理装置を開示する。

特開２０１３－４８９９０号公報

　内視鏡検査では、医師が内視鏡を患者の体内に挿入し、患者の体内画像を表示装置にリアルタイムで表示させる。医師は表示装置に表示される画像を観察し、病変や出血などの気になる箇所を見つけると、内視鏡のレリーズスイッチを操作して体内の静止画像を撮影する。医師は、検査終了後、所見情報を含む診断内容をレポート入力画面に入力し、必要な検査画像を添付して、検査レポートを作成する。医師は記憶を頼りに診断内容を入力するが、診断内容の入力作業を補助する仕組みが構築されれば、医師の作業負荷が軽減されるとともに、入力漏れ等のミスを低減できることが期待される。

　本発明はこうした状況に鑑みなされたものであり、その目的は、医師によるレポート入力などの作業を補助するために必要となる技術を提供することにある。

　上記課題を解決するために、本発明のある態様の医療情報処理システムは、撮影時刻を示す撮影時刻情報を有する複数の検査画像を記憶する検査画像記憶部と、音声入力部に入力された音声にもとづいて、所見に関する情報を抽出する音声処理部と、抽出された所見に関する情報と、音声入力部に入力された時刻を示す音声時刻情報とを対応付けて記憶する抽出情報記憶部と、複数の検査画像を、撮影時刻情報にもとづいて１以上の画像グループにグループ分けするグルーピング処理部と、抽出情報記憶部に記憶された所見に関する情報を、音声時刻情報にもとづいて画像グループに対応付ける対応付け処理部と、を備える。

　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

実施例にかかる医療情報処理システムの構成を示す図である。抽出情報記憶部に記憶された所見に関する情報の一例を示す図である。レポート入力画面の一例を示す図である。検査画像のメタデータの例を示す図である。グルーピング処理部によるグループ分けの結果を示す図である。グルーピングした画像グループの提示画面の一例を示す図である。対応付け処理部による対応付けの状態を示す図である。レポートに添付する画像を選択するメニューウィンドウの例を示す図である。詳細部位ウィンドウにおいて詳細部位を選択した状態を示す図である。検査画像の選択画面の一例を示す図である。レポート入力画面に入力された診断内容を含む検査結果を示す図である。

　図１は、本発明の実施例にかかる医療情報処理システム１の構成を示す。実施例の医療情報処理システム１は、医療施設における内視鏡検査のレポート作成業務を補助するためのシステムである。医療情報処理システム１は、内視鏡システム１０、管理システム２０および情報処理装置４０を備え、それらはＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって相互接続されている。情報処理装置４０はパーソナルコンピュータなどの端末装置であって、画面出力可能に表示装置８０と接続されるが、情報処理装置４０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。また情報処理装置４０は、端末装置およびサーバの組合せから構成されてもよい。

　内視鏡システム１０は、内視鏡検査室に設けられ、内視鏡１２、内視鏡処理装置１４、表示装置１６、マイク１７および操作スイッチ１８を備える。内視鏡１２は患者の体内に挿入され、医師が内視鏡１２のレリーズスイッチを押したタイミングで体内の静止画像が撮影される。内視鏡１２は、固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）および信号処理回路を備える。固体撮像素子は入射光を電気信号に変換し、信号処理回路は、固体撮像素子により光電変換された画像データに対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施して、内視鏡処理装置１４に出力する。

　実施例の内視鏡１２は、内視鏡検査の観察モードの種類として、白色光による通常光観察機能に加え、ＮＢＩ（狭帯域光観察）、ＡＦＩ（蛍光観察）、ＩＲＩ（赤外光観察）の特殊光観察機能を有している。これらの観察モードは、内視鏡１２に設けられている機能ボタンを押すことで設定される。それぞれの観察モードにおいて体内への照射光の波長や強度は異なり、そのため各観察モードにおいて撮影された検査画像は、その照射光の違いのために、それぞれ異なる色あいをもつ。

　内視鏡処理装置１４は、内視鏡システム１０全体を統括的に制御する。内視鏡処理装置１４の一つの重要な役割は、内視鏡１２により撮影された検査画像を管理システム２０に送信して、検査画像記憶部２８に記憶させることであり、もう一つの重要な役割は、内視鏡１２により取得されている映像を表示装置１６にリアルタイムで表示させることにある。

　前者の役割において、内視鏡処理装置１４は、内視鏡１２のレリーズスイッチが押されると、内視鏡１２の撮影画像に、検査を識別するための情報（検査ＩＤ）、内視鏡検査の観察モードを特定する情報（観察モード情報）、撮影時刻を示す撮影時刻情報とを少なくともメタデータとして付加して、検査画像データを生成する。内視鏡処理装置１４は、管理システム２０の検査画像記憶部２８に検査画像データを送信し、検査画像記憶部２８は、検査画像データを記憶する。

　実施例の医療情報処理システム１では、医師が検査中に発した発話内容を、後の検査レポートの作成時に、所見情報として利用できるようにする仕組みを構築する。医師は表示装置１６に表示される体内画像を観察しながら、病変や出血などの気になる箇所を見つけるとレリーズスイッチを押して静止画像を撮影する。医師は、検査レポートの作成時にあらためて観察するために、特に病変部位については複数枚撮影することが一般的である。一つの病変部位について複数枚撮影しておくことで、検査画像をレポートに添付する際に、最も鮮明な病変画像を選択できるようにもなる。

　医師は体内画像の観察時に、所見の内容を発話し、管理システム２０に発話内容を記憶させる。マイク１７は音声を入力して電気信号に変換する音声入力部であって、内視鏡処理装置１４は、マイク１７に入力された音声データを、マイク１７に入力された時刻を示す音声時刻情報とともに、管理システム２０の音声記憶部３０に送信し、音声記憶部３０は、音声データと音声時刻情報とを対応付けて記憶する。

　マイク１７は、検査開始から検査終了までの間、電源オンの状態にあって、検査中の全ての音声を取得してもよい。この場合、マイク１７に入力された検査中の全ての音声データが、音声時刻情報に対応付けられて音声記憶部３０に記憶されるため、所見情報以外の発話内容も、結果として音声記憶部３０に記憶されることになる。

　そこでマイク１７は、医師の指示によりオンオフの状態を制御されることが好ましい。つまり医師が所見情報を音声登録したいときにのみ、マイク１７の電源をオンにできるようにしてもよい。操作スイッチ１８は、マイク１７のオンオフを指示するためのスイッチであり、医師は、所見内容を発話して録音したいときに、操作スイッチ１８を操作する。実施例で操作スイッチ１８は、医師の足元に配置されたフットペダルスイッチであり、医師は所見内容を発話する直前に操作スイッチ１８を足で踏んでマイク１７の電源をオンにし、所見内容を発話した後、操作スイッチ１８から足を離して、マイク１７の電源をオフにする。マイク１７を常時オンする場合と比べると、必要な音声だけを録音することで、音声データの容量を削減できるとともに、後の音声認識処理等にかかる時間も削減できるという利点がある。以下の実施例では、医師が操作スイッチ１８によりマイク１７のオンオフを指示して、所見情報を音声登録する場合を説明する。

　管理システム２０は、登録部２２、オーダ情報記憶部２４、検査結果記憶部２６、検査画像記憶部２８、音声記憶部３０、音声処理部３２および抽出情報記憶部３４を備える。オーダ情報記憶部２４は、内視鏡検査のオーダ情報を記憶する。検査結果記憶部２６は、内視鏡検査の検査結果を記憶し、具体的には、患者情報や検査種別情報などの検査情報に紐づけて、情報処理装置４０で作成されたレポート情報を記憶する。レポート情報には、医師が入力した診断内容などの診断結果や、撮影された検査画像の中から選択されたレポート添付画像、レポート添付画像に関するコメント等が含まれる。

　検査画像記憶部２８は、内視鏡システム１０により撮影された検査画像を記憶する。検査画像は、検査ＩＤ、観察モード情報、撮影時刻情報を、メタデータとして含んでいる。検査画像記憶部２８は、大容量のＨＤＤ（ハードディスクドライブ）で構成されてもよく、またフラッシュメモリで構成されてもよい。

　音声記憶部３０は、検査ＩＤに紐付けて、検査中に医師が発してマイク１７に入力された音声を、マイク１７に入力された時刻を示す音声時刻情報に対応付けて記憶する。音声処理部３２は、音声記憶部３０に記憶された音声を音声認識して、文字列に変換し、変換した文字列を言語解析して、少なくとも所見に関する情報を抽出する。音声処理部３２による処理は、検査終了後に実施される。抽出情報記憶部３４は、抽出された所見に関する情報と、音声時刻情報とを対応付けて記憶する。

　たとえば音声処理部３２は、検査が終了したタイミングで、音声記憶部３０に記憶された音声を音声認識して文字列に変換し、変換した文字列を言語解析して、所見に関する情報を抽出する処理を実施してよい。これとは別のタイミングとして、医師が、後述する実施済み検査一覧の中から検査レポートを作成する検査を選択したときに、音声処理部３２が、当該検査の検査ＩＤから音声記憶部３０に記憶された音声を特定して、所見に関する情報の抽出処理を実施してもよい。このように音声処理部３２は、検査終了後の任意のタイミングで、音声認識処理および言語解析処理を実施してよい。なお音声処理部３２はリアルタイムで音声認識してもよく、その場合は、マイク１７に入力された音声をバッファに一時記憶し、一時記憶した音声を実質的にリアルタイムで音声認識して、特定した文字列を言語解析してもよい。

　図２は、抽出情報記憶部３４に記憶された所見に関する情報（抽出所見）の一例を示す。この例では医師が検査中に、操作スイッチ１８を８回操作して、発話内容を８回マイク１７に入力している。したがって音声記憶部３０には、この検査に関して８つの音声データが、それぞれの音声時刻情報に対応付けて記憶されている。図２において「音声時刻」は、検査開始時刻からの経過時間を示し、各音声データには、マイク１７に入力された順番で音声データ番号が割り振られる。

　音声処理部３２は、音声データの音声認識処理を実施して、文字列に変換する。図２に示す「音声内容」は、音声処理部３２が音声データを音声認識したことにより抽出した文字列、つまり医師の発話内容である。音声内容は、所見に関する情報を導出するための材料であるため、抽出情報記憶部３４に記憶されていなくてもよいが、図２には、抽出情報記憶部３４に記憶している様子を示している。

　音声処理部３２は、抽出した文字列から、所見に関する情報を抽出する。「抽出所見」は、文字列から抽出された所見に関する情報を示す。ここで所見に関する情報は、レポート入力画面において、所見情報として入力できるように抽出されることが好ましい。

　たとえばレポート入力画面において、所見の複数の項目が選択肢として表示され、医師がチェックボックスを選択することで所見情報を入力するフォーマットが形成されている場合、音声処理部３２は、所見に関する情報を、所見の項目として抽出することが好ましい。つまり音声処理部３２は音声内容である文字列から、所見に関する情報を、そのままレポート入力画面において所見入力として利用できるように抽出することが好ましい。

　たとえば異常所見がない場合、医師は、レポート入力画面における「異常なし」の項目のチェックボックスを選択して、レポート入力を行う。図２に示す例において、異常所見がないことを示す音声データは、データ番号１～３，７，８の音声データであり、したがって音声処理部３２は、音声データ番号１～３，７，８の音声内容のそれぞれに対して、抽出所見として「異常なし」を抽出している。

　音声処理部３２は、音声データ番号４の「これ腫瘍だな　２センチ」とする音声内容から、「腫瘍あり、２ｃｍ」とする所見情報を抽出する。これはレポート入力画面において、「腫瘍あり、２ｃｍ」とする項目が設定されていることに起因する。また音声処理部３２は、音声データ番号６の「早期胃癌の可能性がある」とする音声内容に関して、「早期胃癌疑い」とする診断情報を抽出する。これもレポート入力画面において、診断内容の選択肢に「早期胃癌疑い」とする項目が設定されていることに起因する。

　一方で、音声処理部３２は、音声データ番号５の「大きい」とする音声内容に関して対応するレポート入力画面の項目を抽出できなかったために、音声内容に変更を加えず、「大きい」を抽出所見として設定している。このように音声処理部３２は、医師によるレポートの作成前に、医師による音声から所見情報を抽出し、音声時刻情報に対応付けて抽出情報記憶部３４に記憶しておく。

　図１に戻り、情報処理装置４０は、管理システム２０と協働して、医師によるレポート作成を補助する機能をもつ。情報処理装置４０には、キーボードやマウスなどのユーザインタフェースが接続されている。情報処理装置４０は、表示装置８０に検査画像やレポート作成に関する画面を表示させ、医師は表示画面を見ながら、ユーザインタフェースを操作してレポートを完成させる。

　情報処理装置４０は、管理システム２０にアクセスして、検査画像記憶部２８に記憶された検査画像を表示装置８０に表示する。医師が内視鏡検査レポートを作成する際には、検査ＩＤに紐づけられて検査画像記憶部２８に記憶されている全ての検査画像のサムネイルが情報処理装置４０に読み出され、医師がレポートに添付する検査画像を選択できるように、サムネイル一覧が表示装置８０に表示される。

　情報処理装置４０は、受付部５０、画面生成部６０、画像取得部７０、登録処理部７２、グルーピング処理部７４、対応付け処理部７６およびメモリ７８を備えて構成される。受付部５０は、医師によるユーザインタフェースの操作入力、たとえばマウスおよびキーボードの操作入力を受け付け、表示要求受付部５２および診断内容受付部５４を有する。画面生成部６０は、表示装置８０に表示する画面を生成する。

　これらの構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。また上記したように情報処理装置４０は端末装置であってよいが、端末装置およびサーバの組合せから構成されてもよく、したがって図１において情報処理装置４０の構成として示す各機能は、端末装置以外の装置によって実現されてよい。

　内視鏡検査の終了後、医師は情報処理装置４０にユーザＩＤおよびパスワードを入力して、ログインする。医師がログインすると、検査レポートを作成するアプリケーションが自動起動して、表示装置８０には、実施済み検査の一覧が表示される。この実施済み検査一覧には、患者名、患者ＩＤ、検査日時、検査種別などの検査情報がリスト表示され、医師は、レポート作成の対象となる検査を選択する。医師が実施済みの検査一覧のなかから、検査レポートを作成する検査を選択すると、表示要求受付部５２が、レポート入力画面の表示要求を受け付け、画像取得部７０が、検査画像記憶部２８から、選択された検査の検査ＩＤに紐付けられている検査画像のサムネイルを取得する。

　実施例の画面生成部６０は、診断内容を入力するためのレポート入力画面を生成するレポート入力画面生成部６２、検査で撮影した検査画像の一覧画面を生成する選択画面生成部６４、検査画像のグルーピングの状態の提示画面を生成するグループ画面生成部６６、および言語解析した所見情報の選択画面を生成する所見選択画面生成部６８を備える。

　図３は、レポート入力画面の一例を示す。表示要求受付部５２がレポート入力画面の表示要求を受け付けると、レポート入力画面生成部６２が、医師が診断内容を入力するためのレポート入力画面を生成して、表示装置８０に表示させる。レポート入力画面の表示中、レポートタブ１００ｂが選択された状態となる。レポート入力画面の上段には、オーダ情報記憶部２４から取得した患者氏名、患者ＩＤ、生年月日、検査種別、検査日、実施医の情報が表示される。レポート入力画面は、２つの領域で構成され、左側には検査画像のサムネイルを表示する検査画像表示領域１０２が、右側には医師が診断内容等の検査結果を入力するための検査結果入力領域１１０が設けられる。

　レポート入力画面生成部６２は、画像取得部７０が検査画像記憶部２８から取得した検査画像のサムネイル１０４ａ～１０４ｌを、検査画像表示領域１０２に並べて表示する。検査画像表示領域１０２の右側にはスクロールバーが設けられ、医師はスクロールバーをスクロールして、検査画像の全てのサムネイルを観察できる。医師は、検査画像を観察しながら、レポートに添付する検査画像を選択する。

　検査結果入力領域１１０は、医師が検査結果を入力するための領域であり、図示の例では、上部内視鏡検査における観察範囲である「食道」、「胃」、「十二指腸」の診断内容を入力するための領域が設けられている。なお編集ボタン１０８を操作すると、観察範囲の選択肢がメニューウィンドウ表示されて、医師が、診断対象となる観察範囲を選択できるようになっている。検査結果入力領域１１０は、検査結果の複数の選択肢を表示して、医師がチェックボックスを選択することで診断内容を入力するフォーマットを有してよいが、自由にテキスト入力するフリーフォーマットを有してもよい。

　レポート入力画面において、医師は、検査画像表示領域１０２からレポートに添付する検査画像を選択し、検査結果入力領域１１０に診断内容を含む検査結果を入力する。診断内容受付部５４は、医師がレポート入力画面に入力した診断内容を含むレポート情報を受け付ける。

　医療情報処理システム１では、レポートに添付する画像に関して所見情報を入力する際に、音声処理部３２によって抽出された所見に関する情報を利用する。上記したように音声処理部３２は、医師による発話を、レポート入力画面に入力可能な所見情報として抽出している。実施例では、検査画像に対して、抽出した所見情報を対応付ける処理を実施する。検査画像に所見情報を対応付けておくことで、検査画像が選択された際に、対応付けられた所見情報を表示できるようになる。

　図１に戻って、グルーピング処理部７４は、複数の検査画像を、少なくとも撮影時刻情報にもとづいて１以上の画像グループにグループ分けする。
　図４は、検査画像のメタデータの例を示す。ここで画像番号１～２１は、サムネイル１０４ａ～１０４ｕで示す検査画像の番号であり、画像番号は撮影した順番を表現する。「撮影時刻」は、検査開始時刻からの経過時間を示す。図４には、各検査画像のメタデータとして、撮影時刻情報および観察モード情報が示される。

　グルーピング処理部７４は、上記したように、複数の検査画像を、少なくとも撮影時刻情報にもとづいて複数の画像グループにグループ分けする。１つの画像グループには、同じ部位または近い部位を撮影した検査画像が含まれることが好ましい。グルーピング処理部７４は、いくつかのグルーピング条件を用いて、複数の検査画像をグループ分けする。

　まずグルーピング処理部７４は、グループ分けに際して、一つの画像グループに含む複数の検査画像の撮影時刻が互いに隣り合っていることを条件とする。撮影順を表現する画像番号で説明すると、グルーピング処理部７４は、画像番号が連続していることを条件として、複数の検査画像を一つの画像グループに含めるようにする。以下では、この条件を「順番条件」と呼ぶ。なおグルーピング処理部７４は、１つの検査画像のみが所属する画像グループを設定してもよい。

　またグルーピング処理部７４は、グループ分けの条件として、時間的に隣り合う検査画像の撮影時刻の差分が所定時間以下であることを条件としてもよい。この条件を「差分条件」と呼ぶ。検査中、医師が同一部位を複数枚撮影するような場合、その撮影間隔は、短時間であることが予想される。そこでグルーピング処理部７４は、時間的に隣り合う検査画像の撮影時刻の差分が３０秒以内であれば同じグループとして設定し、３０秒を超えていれば、別グループとして設定してよい。

　またグルーピング処理部７４は、グループ分けの条件として、観察モードを利用してもよい。上記したように実施例の内視鏡１２は、通常光観察機能に加え、ＮＢＩ（狭帯域光観察）、ＡＦＩ（蛍光観察）、ＩＲＩ（赤外光観察）の特殊光観察機能を有している。図４に示すように、検査画像のメタデータには、観察モード情報が含まれており、グルーピング処理部７４は、各検査画像の観察モードを特定できる。特殊光観察モードでの観察中は、医師が同じ病変の周囲を慎重に観察していることが多く、このときに撮影された検査画像は、一つの画像グループとしてまとめることが好ましい。そこでグルーピング処理部７４は、同一の観察モードで撮影された検査画像を一つのグループとして設定してもよい。この条件を「観察モード条件」と呼ぶ。

　実施例のグルーピング処理部７４は、順番条件、差分条件、観察モード条件の１つ以上を用いて、複数の検査画像のグループ分けを行ってよい。さらにグルーピング処理部７４は、検査画像の色あいの類似度などの特徴にもとづいて、複数の検査画像のグループ分けを行ってもよい。以下、グルーピング処理部７４が、順番条件と観察モード条件を用いてグループ分けをする例を示す。

　図５は、グルーピング処理部７４によるグループ分けの結果を示す。グルーピング処理部７４が、順番条件と観察モード条件を用いて複数の検査画像をグループ分けしたことで、画像番号１～５の検査画像が画像グループ１、画像番号６～１３の検査画像が画像グループ２、画像番号１４～２１の検査画像が画像グループ３にグルーピングされている。この例では、グルーピング処理部７４が順番条件と観察モード条件の２つを用いているが、他の条件を組み合わせることで、より細かなグルーピング処理を実施できる。

　図６は、グルーピングした画像グループの提示画面の一例を示す。グループタブ１００ｃが選択されると、グループ画面生成部６６は、画像グループの提示画面を生成する。グループ提示画面の上段には、オーダ情報記憶部２４から取得した患者氏名、患者ＩＤ、生年月日、検査種別、検査日、実施医の情報が表示される。グループ画面生成部６６は、グルーピング処理部７４によりグルーピングされた結果を、グループ表示領域１３０に表示する。グループ表示領域１３０において、横軸の時間軸は、検査画像の撮影時刻を示す。グループ画面生成部６６は、グループの時間範囲を、矩形のグループ欄１３２で表現する。なおグループ画面生成部６６は、グループ欄１３２の左端を、グループの先頭画像の撮影時刻よりも左側に３０秒分、グループ欄１３２の右端を、グループの最後の画像の撮影時刻よりも右側に３０秒分だけ拡張して、グループ欄１３２の幅を設定している。

　第１グループ欄１３２ａは、グルーピング処理部７４によってグルーピングされたグループ１を表現する。第１グループ欄１３２ａ内には、その撮影時刻に合わせて、画像番号１～５のサムネイルが配置される。

　第２グループ欄１３２ｂは、グルーピング処理部７４によってグルーピングされたグループ２を表現する。第２グループ欄１３２ｂ内には、その撮影時刻に合わせて、画像番号６～１３のサムネイルが配置される。

　第３グループ欄１３２ｃは、グルーピング処理部７４によってグルーピングされたグループ３を表現する。第３グループ欄１３２ｃ内には、その撮影時刻に合わせて、画像番号１４～２１のサムネイルが配置される。

　対応付け処理部７６は、抽出情報記憶部３４に記憶された所見に関する情報を、音声時刻情報にもとづいて画像グループに対応付ける処理を実施する。ここで対応付け処理部７６は、所見に関する情報に対応付けられた音声時刻情報が、画像グループの先頭の検査画像の撮影時刻によって定められる時刻（先頭時刻）と、最後の検査画像の撮影時刻によって定められる時刻（最終時刻）との間の時間範囲に含まれる場合に、当該所見に関する情報を、当該画像グループに対応付ける。

　ここで画像グループの先頭の検査画像の撮影時刻によって定められる先頭時刻は、先頭の検査画像の撮影時刻そのものであってよいが、先頭の検査画像の撮影時刻よりも第１の所定時間だけ前の時刻であってもよい。また画像グループの最後の検査画像の撮影時刻によって定められる最終時刻は、最後の検査画像の撮影時刻そのものであってよいが、最後の検査画像の撮影時刻よりも第２の所定時間だけ後の時刻であってもよい。

　上記したように対応付け処理部７６は、所見に関する情報に対応付けられた音声時刻情報が、先頭時刻および最終時刻の間の時間範囲に含まれる場合に、当該所見に関する情報を、当該画像グループに対応付ける。実施例の医療情報処理システム１において、医師が体内画像を撮影しながら所見内容を録音する際、先に所見内容を発話してから撮影を行うケースと、撮影をしてから所見内容を発話するケースの双方が想定される。そのため画像グループの先頭画像の撮影時刻よりも第１の所定時間だけ前の時刻を、画像グループの先頭時刻として設定し、画像グループの最後の画像の撮影時刻よりも第２の所定時間だけ後の時刻を、画像グループの最終時刻として設定することで、所見に関する情報の対応付けを効果的に漏れなく実施することが可能となる。

　実施例で、第１の所定時間は３０秒、第２の所定時間も３０秒に設定される。そのためグループ画面生成部６６は、グループ欄１３２の左端を、グループの先頭画像の撮影時刻よりも左側に３０秒分、グループ欄１３２の右端を、グループの最後の画像の撮影時刻よりも右側に３０秒分だけ拡張して、グループ欄１３２の幅を設定している。これにより第１グループ欄１３２ａは、０：００（検査開始時刻）～４：１０の時間範囲をもち、第２グループ欄１３２ｂは、３：１５～６：２１の時間範囲をもち、第３グループ欄１３２ｃは、６：４２～９：５５までの時間範囲をもつ。

　図７は、対応付け処理部７６による対応付けの状態を示す。ここで図２に示す音声時刻と、図７に示す撮影時刻は、検査開始時刻を基準（０：００）とする相対的な時刻を示している。図２に示す抽出情報記憶部３４の音声時刻情報を参照して、対応付け処理部７６は、音声データ番号１～４の抽出所見を画像グループ１に対応付け、音声データ番号４～６の抽出所見を画像グループ２に対応付け、音声データ番号７～８の抽出所見を画像グループ３に対応付ける。音声時刻にもとづいて画像グループに対応付けられた抽出所見は、その画像グループに対して医師が発話した所見である可能性が高い。なお音声データ番号４の抽出所見は、画像グループ１と画像グループ２の双方に対応付けられているが、これは少なくともいずれか一方のグループに対して発話した所見である可能性が高いことを意味する。

　医師は、グループ表示領域１３０において画像グループを変更可能である。たとえば医師は、マウスを用いてグループ欄１３２内のサムネイルをドラッグして、別のグループ欄１３２にドロップすることで、画像グループを変更できる。別のグループ欄１３２以外の領域にドロップすると、新たなグループ欄１３２が生成され、表示される。画像グループが変更されると、グルーピング処理部７４は、グループ欄１３２を適宜変更してグループ表示領域１３０に表示する。

　グルーピング処理部７４によるグルーピング処理、および対応付け処理部７６による対応付け処理は、医師が実施済み検査一覧の中から検査レポートを作成する検査を選択したときに、実行される。したがって表示装置８０に、図３に示すレポート入力画面が表示されるときには、既に対応付け処理部７６による対応付け処理が完了した状態にある。

　図８は、レポート入力画面において、レポートに添付する画像を選択するメニューウィンドウの例を示す。医師が、検査画像表示領域１０２においてレポートに添付するサムネイル１０４を選択し、マウスを右クリックすると、部位選択ウィンドウ１１２が表示される。

　部位選択ウィンドウ１１２には、画像を添付する観察範囲が表示される。部位選択ウィンドウ１１２における３つの項目は、レポート添付画像の観察範囲を選択するための項目であり、上から順にそれぞれ観察範囲「食道」の診断結果に添付するための項目、「胃」の診断結果に添付するための項目、「十二指腸」の診断結果に添付するための項目である。この例で医師は、サムネイル１０４ｈを選択し、部位選択ウィンドウ１１２において「レポートに添付（胃）」を選択している。

　部位選択ウィンドウ１１２において、医師がマウスポインタでいずれかの項目を選択すると、観察範囲に含まれる詳細部位を並べた詳細部位ウィンドウ１１４が表示される。詳細部位ウィンドウ１１４には、観察範囲に含まれる詳細部位が表示され、医師はマウスポインタで、いずれかの詳細部位を選択する。この例では、胃の詳細部位として、「ヒス角」、「噴門部」、「胃角部」、「胃体部」、「胃底部」、「胃穹窿部」、「幽門部」、「幽門」の項目が設定されている。

　図９は、詳細部位ウィンドウ１１４において詳細部位を選択した状態を示す。医師は詳細部位ウィンドウ１１４において「胃底部」を選択している。詳細部位が選択されると、選択されたサムネイル１０４ｈの観察部位が決定され、所見選択画面生成部６８が、選択された検査画像を含む画像グループに対応付けられた所見に関する情報を表示する所見選択画面を生成する。

　所見選択ウィンドウ１１６は、サムネイル１０４ｈが属する画像グループに対応付けられた所見に関する情報を、医師が選択可能に表示する所見選択画面である。図５を参照して、サムネイル１０４ｈは、画像番号８の検査画像に対応している。図７において、画像番号８の検査画像は、画像グループ２に含まれており、画像グループ２には、音声データ番号４～６の抽出所見が対応付けられている。

　上記したように、音声データ番号４，６の抽出所見は、レポート入力画面における所見の入力項目に相当するが、音声データ番号５の抽出所見は、レポート入力画面における所見の入力項目ではない。そのため所見選択画面生成部６８は、音声データ番号４，６の抽出所見を、医師が選択できるように所見選択ウィンドウ１１６に表示する。医師はチェックボックスを選択することで、所見選択ウィンドウ１１６に表示された所見内容を、レポート入力画面に入力することができる。

　図９に示すように、所見選択ウィンドウ１１６に表示された抽出所見のチェックボックスをユーザが選択して所見選択ウィンドウ１１６内の登録ボタンを押すと、診断内容受付部５４が、所見情報の入力として受け付ける。これは、医師がレポート入力画面において複数の選択肢の中から所見の項目を選択することに等しい。

　なお所見選択画面生成部６８は、音声データ番号５の抽出所見を、医師が選択不能な態様で所見選択ウィンドウ１１６に表示してもよい。検査中に、医師が「大きい」と発話したことは事実であり、この発話内容は診断に影響を与える可能性を含んでいる。そのため所見選択ウィンドウ１１６に「大きい」と表示することで、医師に検査状況を思い出す契機を与えることができる。なお所見選択画面生成部６８は、所見の入力項目に相当しない抽出所見が複数存在する場合に、これらをまとめて一つの画面に表示してもよい。このように入力項目に相当しない抽出所見であっても医師に提示することで、医師は検査状況を思い出す契機を与えられる。

　また所見選択画面生成部６８は、所見の入力項目に相当しない抽出所見を、医師が選択可能な状態でウィンドウに表示してもよい。この場合、抽出所見が選択されても、診断内容受付部５４は、所見情報の入力として受け付けることはないが、レポート入力画面生成部６２が、医師が所見入力できるように複数の入力項目を選択肢として表示してもよく、またフリー入力欄に、選択された抽出所見を入力してもよい。

　診断内容受付部５４は、内視鏡検査レポートに添付する検査画像の選択操作を受け付けるとともに、所見選択ウィンドウ１１６から入力された所見情報を受け付ける。診断内容受付部５４は、サムネイル１０４ｈの検査画像が胃の診断結果の添付画像として設定されたこと、およびこの画像が「胃」の「胃底部」を撮影した画像であること、胃の胃底部に関する所見情報が「腫瘍あり、２ｃｍ」であること、総合診断が「早期胃癌疑い」であることを、メモリ７８に記憶する。以上のように医師は、レポートに添付する検査画像を選択する際に、検査中に音声入力した所見情報をレポート入力に利用できる。これにより医師の入力作業負荷が軽減されるとともに、入力漏れ等のミスを低減できる。

　以上は、医師が画像選択操作をレポート入力画面において実施したが、記録画像タブ１００ａが選択された場合にも、検査画像の一覧画面が表示装置８０に表示され、医師は画像選択操作を実施できる。

　図１０は、検査画像の選択画面の一例を示す。選択画面生成部６４は、検査画像の選択画面を生成する。選択画面の表示中、記録画像タブ１００ａが選択された状態となる。選択画面の上段には、オーダ情報記憶部２４から取得した患者氏名、患者ＩＤ、生年月日、検査種別、検査日、実施医の情報が表示される。オーダ情報の下方には、検査画像のサムネイルを表示する検査画像表示領域１２０が設けられる。選択画面生成部６４は、画像取得部７０が検査画像記憶部２８から取得した検査画像のサムネイルを、検査画像表示領域１２０に並べて表示する。検査画像表示領域１２０の下側にはスクロールバーが設けられ、医師はスクロールバーをスクロールして、検査画像の全てのサムネイルを観察できる。

　医師は、レポート入力画面または選択画面のいずれからでもレポート添付画像を選択できる。選択画面においても、医師のマウス操作に応じて図９に示す部位選択ウィンドウ１１２、詳細部位ウィンドウ１１４および所見選択ウィンドウ１１６が表示され、医師は、レポート添付画像および所見情報を、検査結果記憶部２６に登録できる。なお図１０に示す選択画面の優位な点は、サムネイル１０４を拡大表示するための拡大表示領域１２２が設けられていることであり、医師が検査画像表示領域１２０においてサムネイル１０４を選択すると、選択されたサムネイル１０４が、拡大表示領域１２２において拡大表示される。

　医師は拡大表示された検査画像により病変の存在を正確に観察でき、レポートに添付するか否かを効果的に判断できる。医師は、コメント入力欄１２４に、拡大表示領域１２２に拡大表示させた画像に関するコメントを入力できる。たとえば表示画像に赤みがかっている場合には、「出血が認められる」とのコメントをコメント入力欄１２４に入力してもよい。コメント入力欄１２４に入力されたコメントは、画像に関連づけられて、メモリ７８に記憶される。メモリ７８に記憶されたコメントは、後に診断内容およびレポート添付画像等とともに、検査結果として検査結果記憶部２６に記憶される。

　図１１は、レポート入力画面に入力された診断内容を含む検査結果を示す。各観察範囲に、１以上の検査画像が添付されており、「食道」にはサムネイル１０４ａ、１０４ｃの検査画像が、「胃」には１０４ｈ、１０４ｎ、１０４ｑの検査画像が、「十二指腸」にはサムネイル１０４ｔの検査画像が、それぞれ添付されている。「胃」の入力領域には、所見選択ウィンドウ１１６で選択された所見情報および診断情報が含まれている。レポート入力画面に入力された情報は、メモリ７８に一時記憶される。

　医師が検査結果を入力後、登録ボタン９０を操作すると、登録処理部７２が、メモリ７８に記憶された情報を、管理システム２０に送信する。メモリ７８には、レポート入力画面に入力された診断結果、レポート添付画像として選択された検査画像、検査画像に対して入力されたコメントに加え、患者氏名、患者ＩＤ、生年月日、検査種別、検査日、実施医などの検査情報が記憶されている。登録処理部７２は、診断結果、レポート添付画像、付加コメントおよび検査情報を、検査結果記憶部２６に登録するように、管理システム２０に指示する。

　管理システム２０において、登録部２２は、登録処理部７２からの指示にもとづいて、診断結果、レポート添付画像および付加コメントを含む検査結果、および検査種別等の検査情報を、入力した医師を識別する医師ＩＤに関連づけて、検査結果記憶部２６にレポート情報として記憶する。検査結果記憶部２６に記憶されたレポート情報は、所定のフォーマットで印刷されて、検査レポートとして利用される。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１・・・医療情報処理システム、１０・・・内視鏡システム、１２・・・内視鏡、１４・・・内視鏡処理装置、１７・・・マイク、１８・・・操作スイッチ、２０・・・管理システム、２８・・・検査画像記憶部、３０・・・音声記憶部、３２・・・音声処理部、３４・・・抽出情報記憶部、４０・・・情報処理装置、５０・・・受付部、５４・・・診断内容受付部、６０・・・画面生成部、６６・・・グループ画面生成部、６８・・・所見選択画面生成部、７４・・・グルーピング処理部、７６・・・対応付け処理部、８０・・・表示装置。

　本発明は、医療情報処理の分野に利用できる。

Claims

　撮影時刻を示す撮影時刻情報を有する複数の検査画像を記憶する検査画像記憶部と、
　音声入力部に入力された音声にもとづいて、所見に関する情報を抽出する音声処理部と、
　抽出された所見に関する情報と、前記音声入力部に入力された時刻を示す音声時刻情報とを対応付けて記憶する抽出情報記憶部と、
　複数の検査画像を、撮影時刻情報にもとづいて１以上の画像グループにグループ分けするグルーピング処理部と、
　前記抽出情報記憶部に記憶された所見に関する情報を、音声時刻情報にもとづいて画像グループに対応付ける対応付け処理部と、
　を備えることを特徴とする医療情報処理システム。
　前記対応付け処理部は、所見に関する情報に対応付けられた音声時刻情報が、画像グループの先頭の検査画像の撮影時刻によって定められる時刻と、最後の検査画像の撮影時刻によって定められる時刻との間の時間範囲に含まれる場合に、当該所見に関する情報を、当該画像グループに対応付ける、
　ことを特徴とする請求項１に記載の医療情報処理システム。
　前記時間範囲は、先頭の検査画像の撮影時刻よりも第１の所定時間だけ前の時刻から、最後の検査画像の撮影時刻よりも第２の所定時間だけ後の時刻までの範囲である、
　ことを特徴とする請求項２に記載の医療情報処理システム。
　検査中に音声入力部に入力された音声を、音声時刻情報に対応付けて記憶する音声記憶部をさらに備え、
　前記音声処理部は、検査終了後に、前記音声記憶部に記憶された音声を音声認識する、
　ことを特徴とする請求項１に記載の医療情報処理システム。
　複数の検査画像を表示する画面を生成する画面生成部をさらに備え、
　前記画面生成部は、１つの検査画像がユーザにより選択されると、選択された検査画像を含む画像グループに対応付けられた所見に関する情報を表示する画面を生成する、
　ことを特徴とする請求項１に記載の医療情報処理システム。
　通知画面において所見に関する情報がユーザにより選択されると、所見情報の入力として受け付ける受付部を、さらに備える、
　ことを特徴とする請求項５に記載の医療情報処理システム。
　前記グルーピング処理部は、検査画像に付加されている情報にもとづいて、検査画像をグループ分けする、
　ことを特徴とする請求項１に記載の医療情報処理システム。
　画像グループは、ユーザにより変更可能である、
　ことを特徴とする請求項１に記載の医療情報処理システム。