WO2006001055A1

WO2006001055A1 - 医療画像管理システム及び医療画像管理方法

Info

Publication number: WO2006001055A1
Application number: PCT/JP2004/008991
Authority: WO
Inventors: Atsuhiro Ueda
Original assignee: Seventh Dimension Design, Inc.
Priority date: 2004-06-25
Filing date: 2004-06-25
Publication date: 2006-01-05
Also published as: US8315688B2; JPWO2006001055A1; US20070225574A1; JP3839839B2

Abstract

　医療行為を受ける患者を撮影し医療動画を作成する医療用撮影装置と、前記医療用撮影装置が撮影する医療動画を記録する記録手段とを有する医療画像管理システムであって、前記医療行為を行う医療術者の生体情報を計測する計測手段と、前記計測手段において計測された計測結果に応じて、前記記録手段において記録される医療動画に索引を付与する索引付与手段を有することを特徴とする医療画像管理システムを提供する。このシステムを提供することによって、患者に処置を施す医療術者の生体情報の変化に応じて、記録されている医療動画に索引を付与することができる。

Description

明細書

医療画像管理システム及び医療画像管理方法

技術分野

[0001] 本発明は、医療画像管理システム及び医療画像管理方法に関し、より詳しくは、患者に処置を施す医療術者の生体情報の変化に応じて記録されている医療動画に索引を付与することのできる医療画像管理システム及び医療画像管理方法に関する。背景技術

[0002] 医療術者（医者等）が行う生体手術は、内視鏡や眼科手術用顕微鏡等の手術用力メラによって手術の様子が撮影され、生体内の映像を出力装置の画面上に表示するとともに、記録媒体へ動画情報として記録されていた。医療行為の動画（医療動画）を記録し保存することによって、多数の手術記録の中からでも手術中で起きた重要な出来事をより鮮明に且つ正確に思い起こさせることができるからである。

[0003] 近年になって、特に重要な出来事が起こった時点を的確に保存しておくために、記録される動画情報 (動画)から医療術者の適宜行われる操作によって、手術中であつても静止画情報 (静止画)を取得することができる機能を有する装置が開発されている。

特に、特許文献 1 (特開 2002 - 58641号公報）に示される発明では、医療術者が効率良く手術中の静止画を取得することができるように、医療術者の脚により操作されるフットスィッチを設けることによって、医療術者が手術中であっても、容易に且つ効率良く静止画を取得することができる機能を有している。

確かに、上記するような特許文献 1に示される発明では、医療術者がフットスィッチを利用することで所望する静止画を取得することができるので、手術中であっても、医療術者の手を休める必要なく静止画を抽出することができた。

[0004] し力ながら、このようにフットスィッチを利用して静止画を得る方法は、医療術者が所望する静止画を得ることはできても、医療術者がフットスィッチを起動し忘れたり、又は医療術者が意図しなければ静止画を取得したりすることはできなかった。

上記するような静止画を取得する装置は、医療術者の意思によって、取得が行われるか否かが依存されているため、手術に集中している医療術者はフットスィッチ等の静止画を取得するための操作を行い忘れるという場合も多々あった。

[0005] また、実際の手術中に於いて、医療術者がどのような場面で、どのような精神状態にあるのかを把握することができな力、つた。

特に、医療術者の生体情報が変化するポイントにおいては、経験の豊富な医療術者であっても何らかの緊張を有する医療行為であり、この医療行為を行う際の静止画を取得することは医療術者の集中を妨げることになり、従来方法では極めて困難であつた。

[0006] また、医療行為の経験が少ない医療術者が、医療行為を行う場合において、如何なる場合に緊張を有している力、、また、通常とは異なる精神状態に陥り易いのかを判断することは極めて難しかった。このため、医療行為の経験が少ない医療術者は実際に医療行為を行うまで、どの場面で緊張するかの具体的な情報を得ることができなかった。

上記するような理由のため、医療術者の意思に依存することなぐ医療術者が有する緊張の度合い等の生体情報に応じて静止画を取得することのできる医療画像管理システムが必要であった。

また、上記するような医療術者の生体情報を計測しょうとした場合、計測される生体情報は、時系列的に変化する線形的な変化を有しておらず、非線形的な変化を有していることが通常である。このため、上記する如く医療術者が緊張する時点を正確に生体情報から決定することは極めて困難であった。

[0007] 特許文献 1 :特開 2002— 58641号公報

発明の開示

発明が解決しょうとする課題

[0008] 患者に処置を施す医療術者の生体情報の変化に応じて記録されている医療動画に索引を付与することのできる医療画像管理システム及び医療画像管理方法に関する。

課題を解決するための手段

[0009] 請求項 1記載の発明は、医療行為を受ける患者を撮影し医療動画を作成する医療用撮影装置 2と、前記医療用撮影装置 2が撮影する医療動画を記録する記録手段 4 とを有する医療画像管理システム 1であって、前記医療行為を行う医療術者の生体情報を計測する計測手段 3と、前記計測手段 3において計測された計測結果に応じて、前記記録手段 4において記録される医療動画に索引を付与する索引付与手段 5 を有することを特徴とする医療画像管理システムを提供する。

請求項 2記載の発明は、前記索引付与手段 5は、前記計測手段 3において計測された計測数値を受取る数値受信手段 51と、前記数値受信手段 51において受信した前記計測数値を所定数値と比較する第 1比較手段 52と、前記第 1比較手段 52において前記計測数値が前記所定数値を上回った場合に、該計測数値が計測された際の前記記録手段 4に記録される前記医療動画の静止画情報を抽出する第 1抽出手段 53を有することを特徴とする請求項 1記載の医療画像管理システムを提供する。請求項 3記載の発明は、前記索引付与手段 5は、更に、前記第 1抽出手段 53において抽出された前記静止画情報を、前記医療動画の開始索引情報として、前記記録手段 4へ記録し、一方で、前記第 1抽出手段 53において前記静止画情報が抽出された後に、前記第 1比較手段 52において比較される計測数値が前記所定数値を下回った場合に、該計測数値を計測した際の前記記録手段 4に記録される前記医療動画の静止画情報を抽出して、この静止画情報を、前記医療動画の終了索引情報として、前記記録手段 4へ記録する第 1開始終了索引記録手段 54を有していることを特徴とする請求項 2記載の医療画像管理システムを提供する。

請求項 4記載の発明は、前記索引付与手段 5は、前記計測手段 3において計測される計測数値を受取る数値受信手段 51と、前記数値受信手段 51において受信した前記計測数値を時系列的に保存する計測数値保存手段 55と、前記計測数値保存手段 55において保存される二の前記計測数値力時系列の変化値を算出する変化値算出手段 56と、前記変化値算出手段 56から算出された前記変化値を所定変化値と比較する第 2比較手段 57と、前記第 2比較手段 57において前記変化値が前記所定変化値を上回った場合に、該変化値を得る前記二の計測数値の時系列的に前方の計測数値が計測された際の前記記録手段 4に記録される前記医療動画の静止画情報を抽出する第 2抽出手段 58を有することを特徴とする請求項 1記載の医療画像管理システムを提供する。

請求項 5記載の発明は、前記索引付与手段 5は、更に、前記第 2抽出手段 58において抽出された前記静止画情報を、前記医療動画の開始索引情報として、前記記録手段 4へ記録し、一方で、前記第 2抽出手段 58において前記静止画情報が抽出された後に、前記第 2比較手段 57において比較される変化値が前記所定変化値を下回った場合に、この変化値を得る前記二の計測数値の時系列的に後方の計測数値が計測された際の前記記録手段 4に記録される前記医療動画の静止画情報を抽出して、この静止画情報を、前記医療動画の終了索引情報として、前記記録手段 4 へ記録する第 2開始終了索引記録手段 59を有していることを特徴とする請求項 4記載の医療画像管理システムを提供する。

請求項 6記載の発明は、前記開始索引情報を、時系列的に前方へ所定時間分シフトさせるとともに、前記終了索引情報を時系列的に後方へ所定時間分シフトさせる索引補正手段 60を有していることを特徴とする請求項 3又は 5記載の医療画像管理システムを提供する。

請求項 7記載の発明は、前記開始索引情報及び/又は前記終了索引情報が抽出される時系列的な場所を基準として、該開始索引情報及び/又は前記終了索引情報に時系列的な幅を具備させることを特徴とする請求項 3又は 5記載の医療画像管理システムを提供する。

請求項 8記載の発明は、記録手段 4に保存される医療動画力前記開始索引情報と前記終了索引情報間に保存される医療動画及び/又は静止画を抽出して記録手段 4に記録することを特徴とする請求項 3、 5乃至 7いずれかに記載の医療画像管理システムを提供する。

請求項 9記載の発明は、前記医療画像管理システム 1が、更に、前記記録手段 4に記録される医療動画を時系列的な複数の静止画に分割する分割手段 61と、前記分割された各静止画の色空間の座標系上の数値を算出する算出手段 62と、複数の前記色空間の座標系上の数値を時系列的に比較し、色空間の座標系上の数値が所定以上の変化量を有する前記静止画を選出する選出手段 63と、前記選出手段 63 によって選出された静止画毎に、画像変化情報を付与する付与手段 64を有することを特徴とする請求項 1乃至 8いずれかに記載の医療画像管理システムを提供する。請求項 10記載の発明は、前記医療画像管理システム 1が、更に、前記医療用撮影装置 2が撮影する医療動画を表示する第 1表示部 Aと、前記第 1又は第 2抽出手段 5 3, 58において抽出される静止画を表示する第 2表示部 Cを有するとともに、前記第 1 表示部 A及び第 2表示部 Cを同一画面上で表示する出力手段 7を有することを特徴とする請求項 1乃至 7いずれかに記載の医療画像管理システムを提供する。

請求項 11記載の発明は、前記計測手段 3が、医療術者の心拍数、血圧、発汗量、体温、脳波、握力、注視点、瞬き、瞳孔、眼球運動、呼吸数 (無呼吸時間等含む）、呼吸曲線、唾を飲む動作回数、皮膚電気伝導度、筋電位差、脳内物質、血糖値、血流量、血中成分、各種ホルモン量、嚙みしめ圧、心電、皮膚電気反射、指尖脈波、体位'体勢、涙量、涙の成分、唾液量、唾液成分、胃液量、胃液成分、顔の表情（特徴解析の値）、音声の変化 (特徴解析の値）、読唇（特徴解析の値）、手足の震え、尿 (蛋白、糖、潜血などの値)のうち少なくとも 1つを計測することを特徴とする請求項 1 乃至 10いずれかに記載の医療画像管理システムを提供する。

請求項 12記載の発明は、前記計測手段 3において計測される全ての生体情報が時系列に、医療動画とともに前記記録手段 4へ記録されていることを特徴とする請求項 11記載の医療画像管理システムを提供する。

請求項 13記載の発明は、前記医療画像管理システム 1は、更に、前記記録手段 4 に記録される複数の医療動画から、前記医療画像に付与される前記索引の総数を基にして選別し、該選別された医療動画に対して所定の処理を施すことを特徴とする請求項 1記載の医療画像管理システムを提供する。

請求項 14記載の発明は、前記医療画像管理システム 1は、医療術者の操作によつて医療動画に索引を付与する手段が設けられていることを特徴とする請求項 1記載の医療画像管理システムを提供する。

請求項 15記載の発明は、医療行為を受ける患者を撮影して医療動画を作成し、該医療動画を管理する医療画像管理方法であって、前記医療動画を記録するとともに、前記医療行為を行う医療術者の生体情報を計測し、計測される前記医療術者の生体情報に応じて、記録される前記医療動画に索引を付与することを特徴とする医療画像管理方法。

請求項 16記載の発明は、前記医療動画に索引を付与する方法が、前記計測される生体情報が所定数値との比較によって行われる、又は、前記計測される生体情報の時系列的な変化量に応じて行われることを特徴とする請求項 15記載の医療画像管理方法を提供する。

請求項 17記載の発明は、前記索引を付与する方法が、前記医療動画から静止画に関する静止画情報を抽出することを特徴とする請求項 15又は 16に記載の医療画像管理方法を提供する。

請求項 18記載の発明は、前記医療動画力抽出された 2の静止画情報から医療動画を抽出する開始及び終了時点を算出して、この期間の医療動画及び Z又は静止画を抽出して記録することを特徴とする請求項 15乃至 17いずれかに記載の医療画像管理方法を提供する。

請求項 19記載の発明は、前記医療用撮影装置 2において撮影された前記医療動画と、医療術者の生体情報に応じて抽出された前記医療動画とを同時に表示することを特徴とする請求項 15乃至 18いずれかに記載の医療画像管理方法を提供する。請求項 20記載の発明は、前記医療術者の生体情報が、医療術者の心拍数、血圧、発汗量、体温、脳波、握力、注視点、瞬き、瞳孔、眼球運動、呼吸数 (無呼吸時間等含む）、呼吸曲線、唾を飲む動作回数、皮膚電気伝導度、筋電位差、脳内物質、血糖値、血流量、血中成分、各種ホルモン量、嚙みしめ圧、心電、皮膚電気反射、指尖脈波、体位 ·体勢、涙量、涙の成分、唾液量、唾液成分、胃液量、胃液成分、顔の表情 (特徴解析の値)、音声の変化 (特徴解析の値)、読唇 (特徴解析の値)、手足の震え、尿（蛋白、糖、潜血などの値）のうち少なくとも 1つを計測して得られる生体情報であることを特徴とする請求項 15乃至 19レ、ずれかに記載の医療画像管理方法を提供する。

請求項 21記載の発明は、記録される前記医療動画に、医療行為中の出来事の情報が保存されることを特徴とする請求項 14記載の医療画像管理方法を提供する。請求項 22記載の発明は、医療動画に付与される前記索引の総数を基にして、特定の前記医療動画を選出することを特徴とする請求項 15記載の医療画像管理方法を提供する。

請求項 23記載の発明は、前記医療画像管理方法が、さらに、医療術者による操作によって索引情報が付与されることを特徴とする請求項 15記載の医療画像管理方法を提供する。

これら発明を提供することにより上記課題を悉く解決する。

発明の効果

請求項 1記載の発明によって、患者に医療行為を施す医療術者の生体情報の変化に応じて、医療動画に索引を付与することができるので、医療行為における医療術者の精神状態による状況を詳細に把握することができる医療画像管理システムを提供することができる。例えば、医療術者が手術中どの場面において緊張しているかを医療動画に付与される索引によって容易に検出することができる。また、経験の少ない医療術者が手術のどのような場面において緊張するカまた、興奮状態であつたか等の生体情報を管理することができ、他の医療術者に対して行う手術の指導に於いて、効果的な指導を行うことができる。更に、この装置を使用することによって、医療行為における重要な局面と、医療術者の緊張を誘発する局面と 2つの局面を把握すること力 Sできるとともに、夫々の局面における患者の状態の安定とを確実に把握すること力 Sでき、医療行為における高い成功率を導くことができる医療画像管理システムを提供する。

請求項 2記載の発明によって、計測された生体情報が所定数値を上回った場合に索引を付与することができる医療画像管理システムを提供することができる。

請求項 3記載の発明によって、記録される医療動画に重要と考えられる期間を指定するための開始及び終了索引を付与することができる医療画像管理システムを提供すること力 Sできる。

請求項 4記載の発明によって、時系列の変化値を使用することによって生体情報の変化を極めて正確に特定することができ、この場合においてのみ索引を付与することができる医療画像管理システムを提供することができる。

請求項 5記載の発明によって、記録される医療動画に重要と考えられる期間を指定するための開始及び終了索引を付与することができる医療画像管理システムを提供すること力 Sできる。

請求項 6記載の発明によって、索引を適宜シフトさせることができるので、医療画像を再生する際に適宜な幅を持たせて再生することができる医療画像管理システムを提供すること力 Sできる。

請求項 7記載の発明によって、開始索引情報及び Z終了索引情報に幅を持たせることによって、医療動画又は複数の静止画として抽出することができる医療画像管理システムを提供することができる。

請求項 8記載の発明によって、索引情報を利用することによって、医療動画の重要と思われるポイントにおける医療動画又は複数の静止画を記録手段 4に格納することができる医療画像管理システムを提供することができる。

請求項 9記載の発明によって、医療画像の静止画の変化を色空間の座標系上の数値を利用して検出することができる医療画像管理システムを提供することができる請求項 10記載の発明によって、第 1表示部 A及び第 2表示部 Cを設けることによつて、使用者は容易に医療動画及び医療動画力抽出される静止画を閲覧することができる医療画像管理システムを提供することができる。

請求項 11記載の発明によって、医療術者の心拍数、血圧、発汗量、体温、脳波、握力、注視点、瞬き、瞳孔、眼球運動、呼吸数 (無呼吸時間等含む）、呼吸曲線、唾を飲む動作回数、皮膚電気伝導度、筋電位差、脳内物質、血糖値、血流量、血中成分、各種ホルモン量、嚙みしめ圧、心電、皮膚電気反射、指尖脈波、体位'体勢、涙量、涙の成分、唾液量、唾液成分、胃液量、胃液成分、顔の表情（特徴解析の値）、音声の変化 (特徴解析の値)、読唇 (特徴解析の値)、手足の震え、尿（蛋白、糖、潜血などの値）を使用することができるので、医療術者の生体情報を効果的に且つ的確に把握して索引情報を付与することができる医療画像管理システムを提供することができる。

請求項 12記載の発明によって、あらゆる生体情報を基にして効果的に医療画像を記録して保存しておくことができる医療画像管理システムを提供することができる。請求項 13記載の発明によって、記録手段において記録される医療動画に付与される索引の総数により、優先順位を定めることができ、また更に、これら選別された医療動画をこの優先順位において処理方法を変えることができる医療画像管理システムを提供することができる。

請求項 14記載の発明によって、医療術者が意図する医療画像 (静止画及び動画）を抽出することができるので、医療術者が意図する及び意図しない医療画像を抽出すること力 Sでき、医療行為におけるその重要度を多種多様な面から検討することができる医療画像管理システムを提供することができる。

請求項 15記載の発明によって、患者に医療行為を施す医療術者の生体情報の変化に応じて、医療動画に索引を付与することができるので、医療行為における医療術者の精神状態による状況を詳細に把握することができる医療画像管理方法を提供すること力 Sできる。

例えば、医療術者が手術中どの場面において緊張しているかを医療動画に付与される索引によって容易に検出することができる。また、経験の少ない医療術者が手術のどのような場面において緊張する力 \また、興奮状態であつたか等の生体情報を管理することができ、他の医療術者に対して行う手術の指導に於いて、効果的な指導を行うことができる。更に、この方法を使用することによって、医療行為における重要な局面と、医療術者の緊張を誘発する局面と 2つの局面を把握することができるとともに、夫々の局面における患者の状態の安定とを確実に把握することができ、医療行為における高い成功率を導くことができる医療画像管理方法を提供する。

請求項 16記載の発明によって、索引を付与する方法が生体情報の変化値に応じて付与され、極めて効果的に索引を付与することができる医療画像管理方法を提供すること力 Sできる。

請求項 17記載の発明によって、索引が静止画に関する情報であるので、静止画そのものの情報を格納しないので、記憶容量を小さくすることができる医療画像管理方法を提供することができる。

請求項 18記載の発明によって、静止画情報を利用して、使用者にとって重要と考えられるポイントを医療動画から医療動画又は静止画として抽出することができる医療画像管理方法を提供することができる。請求項 19記載の発明によって、医療動画及び索引が付与される静止画が同時に表示されるので、使用者にとって極めて使い勝手の良い医療画像管理方法を提供すること力 Sできる。

請求項 20記載の発明によって、医療術者の心拍数、血圧、発汗量、体温、脳波、握力、注視点、瞬き、瞳孔、眼球運動、呼吸数 (無呼吸時間等含む）、呼吸曲線、唾を飲む動作回数、皮膚電気伝導度、筋電位差、脳内物質、血糖値、血流量、血中成分、各種ホルモン量、嚙みしめ圧、心電、皮膚電気反射、指尖脈波、体位'体勢、涙量、涙の成分、唾液量、唾液成分、胃液量、胃液成分、顔の表情（特徴解析の値）、音声の変化 (特徴解析の値)、読唇 (特徴解析の値)、手足の震え、尿（蛋白、糖、潜血などの値）を使用することができるので、医療術者の生体情報を効果的に把握することができる医療画像管理方法を提供することができる。

請求項 21記載の発明によって、医療術者や医療関係者の入退室等の医療行為中に行われるイベントを記録することができる医療画像管理方法を提供することができる。

請求項 22記載の発明によって、記録手段において記録される医療動画に付与される索引の総数により、優先順位を定めることができ、また更に、これら選別された医療動画をこの優先順位において処理方法を変えることができる医療画像管理方法を提供すること力 Sできる。

請求項 23記載の発明によって、医療術者が意図する医療画像 (静止画及び動画）を抽出することができるので、医療きテ者が意図する及び意図しない医療画像を抽出すること力 Sでき、医療行為におけるその重要度を多種多様な面から検討することができる医療画像管理方法を提供することができる。

図面の簡単な説明

[図 1]本発明を利用した医療行為が行われる様子を示す。

[図 2]管理装置の構成を示すブロック線図である。

[図 3]第 1索引方法を利用する場合のブロック線図である。

[図 4]生体情報から静止画情報が抽出される地点を示す。

[図 5]第 2索引方法を利用する場合のブロック線図である。 [図 6]生体情報から静止画情報が抽出される地点を示す。

[図 7]補助索引を利用して索引情報を付与する場合のイメージ図を示す。

[図 8]医療動画に生体情報による索引情報が付与されることを示す。

[図 9]医療動画を分割する構成を示すブロック線図である。

[図 10]出力手段が表示する画面の一実施例を示す。

[図 11]出力手段が表示する画面の一実施例を示す。

[図 12]出力手段が生体情報のグラフを表示する一実施例を示す。

[図 13]第 1索引付与方法のフローチャートを示す。

[図 14]第 2索引付与方法のフローチャートである。

[図 15]医療動画を管理する一実施例を示すフローチャートである。

符号の説明

1 · · · ·医療画像管理システム

2····医療用撮影装置

3····計測手段

4····記録手段

5····索引付与手段

51···数値受信手段

52-**第1比較手段

53，，，第1抽出手段

54 ···第 1開始終了索引記録手段

55···測定数値保存手段

56···変化値算出手段

57···第 2比較手段

58···第 2抽出手段

59 ···第 2開始終了索引記録手段

60···索引補助手段

61···分割手段

62···算出手段 63 · · ·選出手段

64· · ·付与手段

Α· · · ·表示部

〇· · · ·静止画表示部

ϋ · · · ·動画表示部

発明を実施するための最良の形態

以下、本発明に係る医療画像管理システム 1の好適な実施形態について、図面を参照しつつ説明する。

尚、本発明で使用される「医療術者」なる文言は、患者に対して医療行為を施す者を対象としており、例えば、執刀医'麻酔科等の手術に参加する者、執刀医を補助する者、看護婦、薬剤師を挙げることができる。これらに限定される者でなくとも、手術に関わる者であれば全てが含有される。また、以下の明細書中では、医療術者が 1人の場合を説明するが、医療術者の人数は特に限定されるものではなぐ複数の医療術者が存在する場合であれば、全ての医療術者の生体情報を計測することが好ましレ、。

本発明で使用される「生体情報」なる文言は、「心拍数、血圧、発汗量、体温、脳波、握力、注視点、瞬き、瞳孔、眼球運動、呼吸数 (無呼吸時間等含む）、呼吸曲線、唾を飲む動作回数、皮膚電気伝導度、筋電位差、脳内物質、血糖値、血流量、血中成分、各種ホルモン量、嚙みしめ圧、心電、皮膚電気反射、指尖脈波、体位'体勢、涙量、涙の成分、唾液量、唾液成分、胃液量、胃液成分、顔の表情（特徴解析の値）、音声の変化 (特徴解析の値)、読唇 (特徴解析の値)、手足の震え、尿 (蛋白、糖、潜血などの値)」内の少なくとも 1の情報を指し示す。これらの情報は、時系列的に変化しており、その時系列的な変化を後述する計測手段によって計測される。

尚、上記する生体情報の「特徴解析の値」とは、時系列的に変化する場合の時間変化の大きさ（変化値)を指し示しており、この変化値の大きさによって特徴を決定するように設定することがでさる。

本発明の医療画像管理システム及び方法において計測する生体情報は、医療術者の生体情報を利用するが、患者の生体情報も併せて利用することが好ましぐまた、患者が複数いる場合には、複数の患者全ての生体情報を計測することが更に好ましい。

本発明に係る医療画像管理システム 1は、医療用撮影装置 2、計測手段 3、記録手段 4と索引付与手段 5が具備される管理装置 6を有している（図 2参照）。

この医療用撮影装置 2は、医療術者が行う医療行為を撮影する撮影装置や、患者の医療行為が行われる患部を撮影する撮影装置である。この医療用撮影装置 2は、上記する撮影装置等を採用することができ、例えば、術野カメラや手術顕微鏡等の医療用のアナログあるいはデジタル撮影装置を挙げることができる。

計測手段 3は、生体情報を計測する計測器であり、後述する管理装置 6へこの生体情報を送信する。この計測手段 3は、医療術者に具備されるので、医療行為の邪魔にならないことが前提となる。尚、図 1において示される計測手段 3は、医療術者の脳波及び血圧を夫々計測する計測部 31が設けられており、脳波及び血圧を計測した後に送信部 32へこの生体情報を送り、この送信部 32から管理装置 6へ無線システムを利用して生体情報を送信している。生体情報が管理装置 6へ送信される送信方法は、無線又は有線を利用する送信方式が採用され、医療術者の邪魔にならなければ特に限定されるものではない。尚、医療術者以外に取り付けられる計測手段 3は、生体情報を正確に計測することができる物であれば特に限定されるものではない。管理装置 6は、後述する記録手段 4及び索引付与手段 5を有する装置である。この管理装置 6は、通常使用されるコンピュータが採用されており、キーボードやマウス等の入力装置、数値の加減乗除や比較処理を行う演算装置、演算結果を一時的に保存する記憶装置、医療画像や静止画を表示する表示装置、これら装置を制御する制御装置を有している。これらの機能を有することにより、後述する処理を実行することが可能となる。

記録手段 4は、管理装置 6に設けられる記憶装置であり、主記憶装置を採用することも可能であり、外部に設けられる補助的な記録装置を採用することも可能である。この記録手段 4は、医療用撮影装置 2から撮影される医療動画を記録する。尚、この医療動画を記録する場合には、記録される時刻情報も併せて記録されてレ、る。

索引付与手段 5は、管理装置 6に設けられるとともに、以下に記載される処理を行う。この索引付与手段 5は、計測手段 3において計測された計測数値を基にして、この計測結果に応じて記録手段 4に記録される医療動画へ索引を付与する。この索引は、記録手段 4において記録される医療動画と合せて記録されることになる。

この索引付与手段 5が行う索引を付与する方法を詳述する。

先ず、第 1索引付与方法を説明する。

第 1索引付与方法を実行するため索引付与手段 5は、数値受信手段 51と、第 1比較手段 52、第 1抽出手段 53及び第 1開始終了索引記録手段 54を有している（図 3 参照）。

数値受信手段 51は、計測手段 2において計測された計測数値を受け取る。この数値受信手段 51によって計測数値を時系列で連続的に受信することになる。

第 1比較手段 52は、数値受信手段 51で受信した計測数値と、予め設定される所定数値を比較する。この第 1比較手段 52によって、受信される計測数値と所定数値の大小が比較されることになる。この所定数値は、使用者によって適宜設定されるとともに、生体情報の種類によって変更される。この所定数値を設定する際には、この所定数値よりも上回る場合が、通常の状態とは異なる状態であることを示していると判断することができる数値である。例えば、通常の心拍数が「60」である医療術者であれば、この所定数値を「100」に設定しておき、心拍数が「100」を超えた時点を異常な状態とすることができる。この所定数値は、医療術者の平常状態（日常生活における）の数値 (平常数値)を算出しておき、この数値よりもある程度高い数値 (平常数値 + α ) を所定数値として設定するか、また、医療術者の異常状態における数値を計測しておき、この数値を所定数値として利用することもできる。

第 1比較手段 52は、計測数値が所定数値よりも上回った場合において、後述する第 1抽出手段 53が動作するように促し、計測数値が所定数値以下でない場合においては、時系列的に次の計測数値を所定数値と比較することになる。

第 1抽出手段 53は、第 1比較手段 52において計測数値が所定数値を上回った場合に、計測数値が計測された際の記録手段 4に記録される医療動画の静止画情報を抽出する。第 1比較手段 52により所定数値よりも上回る計測数値が検出されると、この計測数値が計測された時刻情報を基にして、この計測数値が計測された時刻の医療動画の静止画が特定される。静止画が特定されると、この静止画の時刻情報やインデックス情報又はアドレス情報等や医療動画中の静止画の位置を示す情報の静止画情報が特定されることになる。この場合、静止画自体を取り出す抽出方法を採用することもできる力医療動画自体を記録手段 4において記録していること及び抽出した場合の静止画が有するデータ容量を考慮すると、静止画情報のみを抽出することが最も好ましい。

第 1開始終了索引記録手段 54は、第 1抽出手段 53において抽出された静止画情報を、医療動画の開始索引情報として、記録手段 4へ記録する。またさらに、第 1抽出手段 53において静止画情報が抽出された後に、第 1比較手段 52において比較される計測数値が所定数値を下回った場合に、計測数値を計測した際の記録手段 4 に記録される医療動画の静止画情報を抽出して、この静止画情報を、医療動画の終了索引情報として、記録手段 4へ記録する。

第 1開始終了索引記録手段 54は、第 1抽出手段 53により静止画情報が抽出されると、第 1比較手段 53から再度の抽出命令が促されても、静止画情報を抽出しないように設定しておく。このことにより、この第 1抽出手段 53により抽出される静止画情報は、計測数値が所定数値よりも上回った場合と下回った場合、つまり、計測数値の時系列変化が所定数値と交わる場合にのみ、静止画情報を抽出することになる。

例えば、図 4のような生体情報の時系列的変化を得るとすれば、先ず、 A1時刻において、計測数値が所定数値 (X)を上回り、第 1比較手段 52が第 1抽出手段 53へ動作を促し、この A1時刻の静止画情報が抽出される。この静止画情報は、第 1開始終了索引記録手段 54により開始索引情報とされる。次に A2時刻において、第 1比較手段 52において第 1抽出手段 53への動作が促されるが、第 1抽出手段 53は動作が停止状態であるので、第 1比較手段 52はこの命令を無視することになる。次いで、 A3時刻において、第 1比較手段 52は、計測数値が所定数値を上回ってから計測数値が所定数値 (X)を下回ることになるので、第 1抽出手段 53の動作を促す。この命令により第 1抽出手段 53は、静止画情報の抽出を行う。この静止画情報は、第 1開始終了索引記録手段 54により、終了索引情報として記録されることになる。尚、この A1から A3 時刻の間は、第 1抽出手段 53の動作の停止期間となる。このようにして、 A1及び A3時刻に静止画情報である開始及び終了索引が付与されることになり、 A1時刻力 A3時刻までがこの手術における医療術者の生体情報から得られる重要なポイントであることが解る。

次に、第 2索引付与方法の説明をする（図 5参照)。

第 2索引付与方法は、数値受信手段 51、計測数値保存手段 55、変化値算出手段 56、第 2比較手段 57、第 2抽出手段 58と第 2開始終了索引記録手段 59を有している。

数値受信手段 51は、上述する如ぐ計測手段 3において計測される計測数値を受け取る。計測数値保存手段 55は、数値受信手段 51において受信した計測数値を時系列的に保存する。この計測数値保存手段 55は、通常の記録装置を採用することができる。変化値算出手段 56は、計測数値保存手段 55において保存される二の計測数値力時系列の変化値を算出する。この変化値算出手段 56は、計測数値保存手段 55において計測数値が時系列で連続的に保存されていることになり、任意の間隔を有する二つの計測数値の変化値 (変化量)を算出する。この変化値を算出する二つの計測数値の間隔は、特に限定されるものではなぐ生体情報の変化を確実に把握することができる変化値を算出することができる間隔が好ましぐ 0. 1-0. 2秒間隔、好ましくは、 0. 01 -0. 02秒間隔に設定されている。この変化値算出手段 56 、変化値を算出する方法は、二つの計測数値の平均値を算出する方法を採用すること力 Sできる。第 2比較手段 57は、変化値算出手段 56から算出された変化値を所定変化値と比較する。この場合行われる比較対象となる所定変化値は、予め設定される値を採用することもできるし、二つの計測数値により算出された平均値よりも時系列的に前の（古い）平均値と比較することによって行われ、これらの所定変化値と算出された計測数値が比較される。

第 2抽出手段 58は、第 2比較手段 57において変化値が所定変化値を上回った場合に、変化値を得る二の計測数値の時系列的に前方の計測数値が計測された際の記録手段 4に記録される医療動画の静止画情報を抽出する。この第 2抽出手段 58が有する基本的な静止画情報を抽出する機能は、第 1抽出手段 53で説明した如く機能である。この第 2抽出手段 58が抽出する静止画情報は、変化値を算出した二つの計測数値の時系列的に前（古い）の計測数値が計測された際の医療動画の静止画情報を抽出する点が異なっている。

第 2開始終了索引記録手段 59は、第 2抽出手段 58において抽出された静止画情報を、医療動画の開始索引情報として、記録手段 4へ記録し、一方で、第 2抽出手段 58において静止画情報が抽出された後に、第 2比較手段 57において比較される変化値が所定変化値を下回った場合に、この変化値を得る二の前記計測数値の時系列的に後方の計測数値が計測された際の前記記録手段に記録される前記医療動画の静止画情報を抽出して、この静止画情報を、医療動画の終了索引情報として、記録手段 ₄へ記録する。

この第 2開始終了索引記録手段 59は、開始索引情報と終了索引情報を付与する点において第 1開始終了索引記録手段 54と同じであり、開始索引情報が変化値を算出する二つの計測数値の時系列的に前の（古い)計測数値に付与され、終了索引情報が変化値を算出する二つの計測数値の時系列的に後の (新しい)計測数値に付与される点が異なっている。例えば、図 6に示される如ぐ生体情報の変化を示す図が得られたとすると、先ず、数値受信手段 51が所定間隔 (Bl、 B2、 B3、 B4、 B5) 毎の計測数値を受信する。これらの計測数値は計測数値保存手段 55へ送られて記録される。記録された計測数値は変化値算出手段 56へ送られて、所定間隔毎の変化値が求められる。 B1時刻における計測数値と B2時刻における計測数値の平均値 (第 1平均値)を算出する。この平均値が変化値 (前の平均値)となる。

次に B2時刻の計測数値と B3時刻における計測数値の平均値 (第 2平均値)を算出する。この平均値が変化値 (後の平均値）となる。このとき、第 2比較手段 57は、第 1 平均値と第 2平均値を比較する。

また、このとき、第 1平均値よりも第 2平均値が所定の数値以上に大きい場合には、第 2抽出手段 58への作動が促される。このときの所定の数値は、使用者が適宜設定すること力 Sできるし、第 1索引付与方法で説明した如ぐ医療術者や生体情報によつて変化させることができる。

これら上記する処理が繰り返される。この時、 B2時亥 IJと B3時亥 IJとの第 2変ィ匕値は、 B 1時刻と B2時刻との第 1変化値に比して、極めて異なるので、 B2時刻と B3時刻の第 2変化値が変化値算出手段 56で算出され、第 2比較手段 57により比較された際に、第 2比較手段 57は第 2抽出手段 58が第 2変化値を算出するための時系列的に前の (古い)計測数値が計測された場合の医療動画の静止画情報を抽出する。つまり、この抽出される静止画情報は、 B2時刻における静止画情報となる。この静止画情報は、開始索引情報として記録手段 4に記録される。また、第 2開始終了索引記録手段 5 9によって、終了索引情報が求められる。このとき、 B3時刻及び B4時刻の変化値（第 3平均値）と B4時刻の B5時刻の変化値 (第 4平均値)を平均値算出手段 56から算出する。そして、第 2比較手段 57で比較された場合に、第 3平均値と第 4平均値は大きな数値の差を有しているので、第 2比較手段 57は第 2抽出手段 58へ静止画情報を抽出するように動作が促される。これにより、第 3平均値を算出する二つの計測数値の時系列的に後の (新しい) B4時刻の静止画情報が終了索引情報として記録手段 4 に記録されることになる。尚、図 6で示される B1乃至 B5の間隔を狭くすることによって、より正確な生体情報の変化の開始及び終了時を把握して、夫々に開始索引情報と終了索引情報を付与することができる。

[0017] また、この生体情報は、計測数値保存手段 55に保存されているので、ある程度の計測を記録させながら、その変化の開始と終了時を算出するように設定しても構わなレ、。この方法は、例えば、所定の値を超えた生体情報が確認されると、この場合の生体情報の波形をプロット（生体情報変化を把握し)し、この変化を遺伝的アルゴリズム、ニューラルネットワークやファジー理論等の最適解を求めるアルゴリズムを利用して、通常の生体情報から何時の時点から生体情報の変化が開始され (生じ）、何時の時点から通常の生体情報の値に回帰（終了）したのかを求めることもできる。このように計測数値保存手段 55に保存される計測数値の数値群 (計測数値の遷移)を利用することによって、通常とは異なる数値群パターンを求める方法を利用することもできる。

[0018] 第 1索引付与方法及び第 2索引付与方法を説明したが、開始索引情報を、時系列的に前方へ所定時間分シフトさせるとともに、終了索引情報を時系列的に後方へ所定時間分シフトさせる索引補正手段 60を設けておくことが好ましい。このように索引補正手段 60を設けることによって、開始索引情報を前方へ終了索引情報を後方へシフトさせることによって、医療動画を再生させる際に、生体情報の変化が現れる前から、生体情報の変化が終了した後までを確実に観察することができ、生体情報の変化に伴う医療画像の変化を観察することができるからである。このシフトさせる時間は特に限定されるものではなぐ使用者によって適宜設定される。この索引補正手段 60によって、開始索引情報及び Z又は終了索引情報が補正された場合には、補正された索引情報が医療動画に付与されて記録手段 4に保存される。

[0019] また、抽出される開始及び終了索引情報に時系列的な幅を持たせることもできる。

これら開始及び終了索引情報は、抽出されたこれらの時点を基準軸として、幅を持たせて記録手段 4に記録することもできる。これらの索引情報は、上記する如ぐある特定の時点（抽出される時刻）において抽出されているので幅を有していなレ、が、このように抽出時点を基準軸として幅を持たせることによって、静止画情報（開始及び終了索引情報）を重要ポイントにおける一定の幅を有する医療動画として抽出することができる。この抽出例としては、例えば、図 7 (a)に示される如ぐ抽出された開始索引情報を開始軸 (基準軸)として時系列的に i3分だけ後方位置に補助索引を設け、この開始索引情報と補助索引の間の医療動画又は存在する全ての静止画を索引情報として示している。図 7 (b)では、抽出された開始索引情報を開始軸 (基準軸）として時系列的に i3分だけ前方位置に補助索引を設け、この開始索引情報と補助索引の間の医療動画又は存在する全ての静止画を索引情報として示している。図 7 ( では、抽出された開始索引情報を開始軸 (基準軸）として、時系列的に前方及び後方位置に夫々 γ分だけ二つの補助索引を設定し、これら二つの補助索引間の医療動画又は全ての静止画を索引情報として示している。尚、図 7では、開始索引情報について説明したが、終了索引情報についても同様に設定することができる。また、 β及び γの時系列的な長さは、使用者によって適宜設定され、図 7 (c)の γは時系列的に基準軸に対称に設定されているが特に限定されるものではなレ、。このように抽出される索引情報に幅を設けることによって、抽出される開始又は終了索引情報に幅を持たせることができる。尚、このように抽出された幅を有する索引情報は、記録手段 4 に医療動画とともに記録されることになる。

[0020] 第 1抽出手段及び第 2抽出手段 53、 58によって抽出される開始及び終了索引情報を利用して、これら索引情報によって囲まれる医療動画を抽出することもできる。この抽出される医療動画は、開始索引情報と終了索引情報の間に存在する医療動画又は全ての静止画を抽出することができる。また、この抽出される医療動画は、上記するように医療動画自体又はこの区間（開始索引情報力も終了索引情報まで)存在する全ての静止画自体を抽出することもできるが、この区間における医療動画の開始及び終了の記録手段 4に記録される場合のインデックス情報、アドレス情報や時刻情報を抽出したり、存在する全ての静止画のインデックス情報、アドレス情報や時刻情報を抽出したりすることもできる。尚、これら抽出される医療動画又は全ての静止画、又はこれらのインデックス情報、アドレス情報や時刻情報は、後述する静止画表示部に表示される。

尚、上記する抽出される索引情報、医療動画及び静止画は、夫々に画像属性情報 (プロパティ）を付与することが好ましい。このような画像属性情報を付与することにより、抽出される情報の属性を素早く確認することができる。

尚、上記する医療動画に付与される索引情報は、医療術者がフットスィッチ（足踏み式のスィッチ）、手動スィッチ、手押しボタンリモートコントローラ等を使用して索引を付与することができるように設定されることが好ましい。このように医療術者が意図した医療画像を抽出することができるように設定しておくことで、医療きテ者が意図した医療画像と意図しない医療画像の両方を取得することができるからである。

この医療画像管理システム 1は、上述する如ぐ生体情報の変化に応じて開始索引情報と終了索引情報を医療動画に付与することができる。この生体情報は、上記する如ぐ握力、注視点、瞬き、瞳孔、眼球運動、呼吸数 (無呼吸時間等含む）、呼吸曲線、唾を飲む動作回数、皮膚電気伝導度、筋電位差、脳内物質、血糖値、血流量、血中成分、各種ホルモン量、嚙みしめ圧、心電、皮膚電気反射、指尖脈波、体位'体勢、涙量、涙の成分、唾液量、唾液成分、胃液量、胃液成分、顔の表情（特徴解析の値)、音声の変化 (特徴解析の値)、読唇 (特徴解析の値)、手足の震え、尿 (蛋白、糖、潜血などの値）の内の少なくとも 1の生体体情報を利用することができる。このような場合、図 8に示される如ぐ一の医療動画に対して、複数の索引情報が付与されることになり、これらの開始及び終了索引情報を夫々比較することにより、より鮮明且つ正確に医療動画の重要なポイントが映し出されることになる。例えば、図 8において、点線の楕円で囲まれる部分では、心拍数、血圧、発汗量、体温及び脳波ともに通常の値と異なる変化を有していることが解る。このことから、この医療行為に於いてこの箇所の医療行為が極度の緊張を有するような場面であることが容易に推測することができる。このように複数の生体情報を利用し、生体情報が複数重なる医療動画の時間を算出することによって、時間経過における医療行為の重要度を推測することができる。

[0022] また、握力を生体情報として利用すれば、握力の強弱に大きな変化のあったポイントを索引情報として動画に付加することができ、そのときの抽出した医療動画の内容と見比べれば、メス等の手術器具をどのように利用したのかが容易に理解することができる。

このような方法を利用することによって、比較的手の動作が大きい外科手術 (例えば、脳外科手術における頭蓋骨削孔時)等の際には、握力の変化が大きいため、この変化による医療動画を抽出することができる。

一方で、外科手術に比して手の動きが小さい手術 (例えば、顕微鏡を利用した眼科手術における強膜切開時）には、握力に大きな変化が生じないため、上記する如き握力の変化による生体情報を利用することは難しいが、このような場合でも、握力と脳波の両方を生体情報として利用すれば、小さな握力の変化しか生じない場合であつても、筋肉の動きを脳波で捕らえることができ、脳波と握力の変化値力も補助情報として組み合わせて使用することで、的確に生体情報の変化を検知することができるようになる。

[0023] また、一の医療行為における医療動画から重要なポイントを把握することができるので、この医療行為を行ったことの無い未経験の医療術者は、自らがこの医療行為を行った場合のシミュレーションを行うことができ、容易に緊張を有するような場面の想定を立てることができる。

この医療画像管理システム 1は、更に、医療動画の変化を検出するために、分割手段 61、算出手段 62、選出手段 63及び付与手段 64を有している（図 9参照）。この分割手段 61は、記録手段 4に記録される医療動画を時系列的な複数の静止画に分割する。この分割手段 61が行う医療動画の分割間隔は、特に限定されるものではない 1S 1フレーム毎に静止画を作成することが好ましい。このように 1フレーム毎に作成することによって、後述する表示装置で表示する際に 1フレーム毎に表示することが効果的に利用することができるとともに、医療動画の変化を極めて細力べ捉えられるからである。

算出手段 62は、分割された静止画毎が有する色空間の座標系上の数値を算出する。この色空間の座標系上の数値は、静止画の配色による変化を検出することを可能にする数値を利用することができ、例えば、 RGB (Red_Green_Blue)値、 YUV ( PAL-Phase Alternation by Line)、 YCbCr (ITU-R BT.601)や XYZ (CIE 1931)等を利用すること力 Sできる。

選出手段 63は、複数の色空間の座標系の数値を時系列的に比較し、時系列的な前後する色空間の座標系の数値が所定以上の変化量を有する静止画を選出する。この選出手段 63が行う時系列的な比較とは、複数に分割された静止画は時系列に配置され、この前後の静止画同士を比較する。このように比較する際に、色空間の座標系の数値力求められるヒストグラムを利用して比較し、大きく数値群に変動が生じる色空間の座標系の数値を有する静止画を選出する。このときの、大きく数値群の変動する基準は、使用者によって適宜設定される。

付与手段 64は、選出手段 63によって選出された静止画毎に、画像変化情報を付与する。この画像変化情報は、上記する開始索引情報や終了索引情報と同じ医療動画に付与される索引であり、記録手段 4に記録される。このように、医療動画を複数の静止画に分割することによって、静止画が有する色空間の座標系の数値を利用することにより、静止画の変動を把握することができる。また、このように静止画からの変化を検出することができるので、生体情報の変化と合せて比較することができるようになる。

本発明の医療画像管理システム 1が有する出力手段 7が有する表示画面は、図 10 で示す如ぐ医療用撮影装置 2が撮影する医療動画を表示する第 1表示部 Aと、第 1 又は第 2抽出手段 53、 58において抽出される静止画情報の静止画を表示する第 2 表示部 Cを有するとともに、第 1表示部 A及び第 2表示部 Cを同一画面上で表示する。また、この表示画面は、記録手段 4に格納される医療動画を示す動画表示部 Dと操作部 Bを有している。この出力手段 7が表示する方法は、特に限定されないが、図 10 で示す如ぐ画面を略 4分割することによって、表示部 A、操作部 B、静止画表示部 C と動画表示部 Dを表示する方法が好ましい。図 10では、画面に向かって左上に表示部 A、左下に操作部 B、右上に静止画表示部 C、右下に動画表示部 Dが配置されているが特に限定されるものではない。図 10のように画面を略 4分割して表示することによって、画面上で動画を容易に編集することができるからである。この画面の解像度は、特に限定されるものではなレ、が、表示部 A、操作部 B、静止画像部 C及び動画表示部 Dがー画面に表示されるため、 1024 X 768ピクセルから 1280 X 1024ピクセル程度の解像度を有することが好ましいが、特に限定されるものではなレ、。尚、図 10では、患者の識別情報を示す患者表示部 Eが静止画表示部 Cの上に配置されている。画面下方には、後述する変換手段 Fが表示されている。

表示部 Aは、記録手段 4に保存される医療動画や静止画を再生可能に表示する。この表示部 Aは、医療用撮影装置 2で撮影した医療動画や静止画を再生するので、上記した解像度で、 16ビット又は 24ビット以上の画面の色が表示できることが好ましい。尚、この色分解能 (色数）は、特に限定されるものではなぐ医療用撮影装置 2の能力に応じて適宜設定される。

図 11では、記録手段 4に医療動画が保存され、後述する動画表示部 Dに医療動画 (医療動画ファイル）が表示され、これに伴い表示部 Aに於いて動画の最初の部分が表示されている。

操作部 Bは、表示部 Aで表示される動画を操作することができる。この操作部 Bは、画面上に表示されているため、マウス等の座標入力装置によって操作画面を直接指示するように設けられている。この操作部 Bが表示する操作は、医療動画を再生するために必要な、再生、停止、卷戻し、早送り、一時停止、卷戻し再生、早送り再生、動画録画や他の動画切換え B1が設けられている。この操作部 Bを有することによって、動画を簡単に再生することができる。この出力手段 7は、この操作部 Bによって、表示部 Aで表示される画像を静止画として抽出することができる抽出部を有していることが好ましレ、。この抽出部をマウス等で座標入力することによって入力することによって、表示部 Aに表示されている画像を静止画として抽出することができるようになる。この抽出部は、出力手段 7が表示する表示部 A、操作部 Bと静止画表示部 Cと同一の画面上であれば何処でも構わないが、本実施例の図面では (例えば図 11参照）、表示部 Aに表示される動画から静止画表示部 Cで表示される後述する静止画を抽出するので、表示部 A及び静止画表示部 Cの間に設けられている。尚、図 11では、動画表示部 Dで表示される医療動画から 2つの静止画が抽出された状態の画面を示している。この時、表示部 Aに表示される画像は、静止画表示部 Cに於いて表示される静止画 (画面に向かって左側の静止画）が表示されている。この静止画表示部 Cに表示されてレ、る静止画は開始索引情報が付与された静止画が表示されてレ、る。この静止画を指定することによって、この開始索引情報の時刻から終了索引情報が付与されてレ、る間の医療動画が表示部 Aで表示されることになる。

[0024] 操作部 Bは、図 10で示す如ぐ表示部 Aで再生される（表示される）画像を所定間隔分だけ早送り又は巻戻しすることができる補助操作部 B3を有している。この補助操作部 B3は、表示されている画像を所定の間隔分だけ、早送り又は巻戻しして表示部 A に表示する。図 10で示される補助操作部 B3では、早送り及び巻戻しとして、 30秒、 1 5秒、 1秒、 1フレームの早送り及び巻戻しができるように表示されているが特に限定されるものではない。フレームの間隔は、特に限定されず、可能な限り短い間隔が好ましいが、利用者が適宜設定すれば構わない。尚、この補助操作部 B3で操作を行った際には、表示部 Aで表示されていた動画の所定間隔 (補助操作部 B3の入力された操作)前又は後の画像 (静止画）が表示されることになる。例えば、動画再生時刻が 1 : 30の再生中の動画に対して、補助操作である巻戻し（1秒)操作を行うと、再生時刻 1 : 29の画像 (静止画）が表示されることとなる。このようにして、表示部 Aに表示される動画又は静止画を、微調整することによって、所望する画像（静止画）を表示させることができる。

[0025] 静止画表示部 Cは、医療動画から索引付与手段 5によって索引情報が付与された静止画や抽出された医療動画の開始時点の静止画が表示されている。この静止画表示部 Cで表示される静止画は、この静止画が抽出された医療動画の情報を含んでいる。この動画の情報は、抽出された基の医療動画にリンクされるための情報であつてもよい。静止画が基の医療動画の情報を含んでいるので、静止画表示部 Cに表示される静止画が座標入力装置等によって選択されると、表示部 Aに於いてこの静止画が抽出された動画の静止画の部分が表示される。尚、医療動画を再生して取得した静止画も表示される。また、この静止画表示部 Cに表示される静止画をマウス入力で操作することのできる静止画操作部 C1が設けられている。

動画表示部 Dは、記録手段 4に保存される医療動画や索引情報が付与され抽出された医療動画の一覧を表示する。この動画表示部 Dに表示される動画は、記録手段 4に保存される医療動画であり、索引情報を含んだ動画を表示することができる。この動画表示部 Dに表示される動画の表示方法は、特に限定されないが、動画の種類を簡単に特定するためにも、動画の最初の画像をサムネイル表示又は縮小して表示させることが好ましい。又、動画の再生時間を表示させても構わない。

尚、図 10では、この動画表示部 Dに表示される動画（又は動画ファイル）を選択や編集する動画編集部 D1が設けられており、動画 (又は動画ファイル）の複数選択又は削除等ができるようになつている。

患者表示部 Eは、表示部 Aで表示される動画又は静止画の所有者である患者の識別情報を表示する。この患者表示部 Eで表示する患者の識別情報は、特に限定されず、患者の氏名、性別、生年月日等の属性情報である。尚、この患者表示部 Eは、秘密性を有する医療画像を表示する場合では表示しないことが望ましい。

この出力手段 7は、図 10で示す如ぐ選択された静止画を印刷装置に出力して印刷することができる印刷手段 Gを表示しても構わない。また、静止画表示部 C及び動画表示部 Dに表示されてレ、る静止画及び動画（静止画ファイル及び動画ファイル）を所定の画像形式に変換することができる変換手段 Hを設けても構わない。この変換手段 Hは、 DICOM (Digital Imaging and Communications in Medicine)や JPEG (Joint Photographic Experts Group)等の画像基準形式に変換することができる。この変換手段には、 DICOM変換手段とその他の変換手段としてストレージ変換手段とに分かれて設けられている。この出力手段 7は、図 12で示す如ぐ医療動画を表示部 Aで表示する際に、その医療動画に同期されて記録された計測された生体情報の変化を示すグラフを表示することが好ましい。このように医療動画を表示するとともに、生体情報の変化を表示することによって、より正確に生体情報の変化と医療行為における経過を確認することができる。

また、図 8で示されるような医療動画の時間経過と各生体情報の開始及び終了索引情報が付与される期間を示す表示を行うことができることが好ましい。このように医療動画と各生体情報の索引情報が付与される期間を示すことができるので、使用者はこの画面を閲覧することにより医療行為における重要ポイントを確認することができる。

さらに、医療機器から計測又は収集される情報 (特に、時系列に変化する変化ダラフ等）をこの出力手段 7で表示することが好ましい。この出力手段 7で表示される医療機器からの情報は、医療動画の動画表示と同期して表示されることが好ましい。このように出力手段 7 (表示画面）上で医療動画、医療機器からの情報や医療術者及び /又は患者力計測される生体情報の変化を同期させて表示することによって、使用者は確実に時系列の変化をこの出力手段 7から容易に把握することができるからである。

以上が本発明に力かる医療画像管理システム 1の構成及び動作の説明である。次に、本発明を利用する医療画像の管理方法を説明する。

本発明を利用することによって、医療行為中における医療術者及び患者の生体情報の変化に基づいて医療用撮影装置 2から撮影される医療動画に重要と考えられるポイントに索引が付与される。このように索引が付与されることによって、医療行為中の重要ポイントを医療行為終了後であっても容易にフィードバックして観察することができる。

例えば、図 13には第 1索引付与方法のフローチャートを示している。医療用撮影装置 2により医療行為の医療動画が撮影される（Sl)。この撮影が行われるに同期して、医療術者及び患者の生体情報を計測手段 3により計測する（S2)。計測された生体情報は、第 1索引付与方法を採用する場合であるならば、数値受信手段 51で受信され、第 1比較手段 52により所定数値と比較される（S3)。所定数値よりも計測数値が超えた場合には、第 1抽出手段 53が、医療動画に開始索引情報として医療動画の静止画情報を抽出する (S4)。この後、計測数値が所定数値を下回った場合には、第 1抽出手段 53が、終了索引情報として医療動画の静止画情報が抽出される（S5)。この（S2)から（S5)までの処理工程が、医療行為の期間中行われるととともに、全ての計測される生体情報について夫々に索引情報が付与される。尚、抽出される索引情報は医療動画に付与されて記録手段 4 記録される（S6)

第 2索引付与方法を採用する場合であるならば、図 14に示される如ぐ医療動画が医療用撮影装置 2により撮影され (S11)、計測手段 3により生体情報が計測される（計測された計測数値は、数値受信手段 51で受信され、計測数値保存手段 55において時系列的に保存される（S 13)。

この計測数値保存手段 55に計測数値が保存されることにより変化値算出手段 56 により所定時間毎の変化値が算出される（S14)。

算出された変化値は、時系列的に第 2比較手段 57において所定変化値を上回つた場合には、第 2抽出手段 58により開始索引情報として所定時間の開始時刻の医療動画の静止画情報が抽出される（S15)

この後、変化値が所定変化値よりも下回った場合には、第 2抽出手段 58が終了索引情報として変化値が算出された所定時間の終了時刻における医療動画の静止画情報が抽出される（S16)。

この（S12)から（S16)までの処理工程が医療行為の期間中行われるとともに、計測される全ての生体情報について行われる。尚、抽出される索引情報は記録手段 4 で記録される。

このとき、開始及び終了索引情報は、索引補正手段 60を使用して時系列的に前方又は後方にシフトさせることができる。

また、開始索引情報と終了索引情報の間に存在する医療動画を抽出して記録手段 4に別の動画ファイルとして保存することもできるし、この間に存在する複数の静止画を静止画の集合体として記録手段 4に保存することもできる。この場合、静止画表示部 C又は動画表示部 Dには、抽出された医療動画又は静止画の集合体の最も時系列的に前の（古い）静止画が表示されていることになる。また、医療動画が記録手段 4に保存される際には、上記する開始及び終了索引情報の他に、この医療行為を含む医療室で行われる出来事の情報を記録することが好ましい。医療行為中の出来事の情報を記録しておくことにより、より正確な医療行為中の変化の様子を把握することができるようになる。

この医療行為中の出来事の情報は、例えば、医療行為を施した時刻情報、投薬時刻情報、医療術者の音声による指示情報、各種の生体モニタや医療機器力計測される計測信号、医療関係者（医療術者を含む）の医療室への入退室の情報、各種機器の稼動状況情報等の情報を索引情報として医療動画に記録することができる。例えば、医療行為を施した時刻情報は、「執刀医 A氏が生理食塩水 50mlを切開部付近に噴射した」時刻として医療動画に索引情報として付与することが考えられる。

また、医療術者及びその関係者、薬剤や各種機器に関する入退室の情報は、その医療術者及びその関係者、薬剤や各種機器に RFID (Radio Frequency Identification )等の無線 ICタグや、バーコードや QRコードのようなコードを個別に装着させることで管理を把握することができる。

また更に、医療画像管理システム 1を利用することによって、複数の患者の医療画像を記録して、これら複数の医療動画を効果的に管理することもできる。図 15は、複数の医療動画を管理する場合の一例を示すフローチャートである。

まず、一定期間における医療動画を複数保存する。この期間は、 1日単位としても良いし、 1週間又は 1ヶ月としてもよぐ使用者が適宜設定すればよい。

患者の医療動画を記録する（S31)。この医療動画を記録する際に医療画像管理システム 1を利用して索引情報を付与する（S32)。

上記する一定期間を超えた場合には、記録された複数の医療動画を編集し、一定期間を超えてレ、なければ、医療動画の収集を続ける（S33)。

一定期間を経過していれば、複数の医療動画の編集を行う。患者の医療動画を編集する方法としては、医療動画には生体情報を基にして開始及び終了索引情報が付与されているので、この索引付与情報の開始及び終了の期間の合計を算出する（ 334；)。

つまり、この合計時間数 (特徴量)が長くなればなるほど、重要な医療行為が多くなることになる。

この（S33)工程を記録される患者の医療動画全てに関して行う（S35)。この処理により全ての医療動画の特徴量が算出される。

患者の医療動画の特徴量が算出されると、この特徴量を基にして処理を行う。この処理方法は、まず、この医療動画の特徴量を記録手段 4に格納し (S36)、この特徴量を基にして特徴量の多レ、ものから、所定量以上の特徴量を有する医療動画を選出する（S37)。このときの所定量は、使用者によって適宜設定され、この所定量を満たす医療動画が重要な医療動画として扱われることになる。

選択された医療動画は、他の医療動画に比して「優先度高」として扱われる（S38) 。この「優先度高」の処理として、可逆圧縮を行う、圧縮率の低い圧縮を行うや後から圧縮を行う等の長期間の保存を目的とした処理が施される。

尚、選択されなかった医療動画は、「優先度低」として保存される（S39)。この「優先度低」とは、「優先度高」よりも長期間保存を目的としていない処理が施されることになる。

[0029] また、特徴量抽出の際に、生体情報毎に重み付けして計算すれば (例えば、重要な生体情報から得られた期間には比較的大きな係数を掛け、重要でない生体情報力得られた期間には小さい係数を掛けるといった生体情報を基にして重要度に応じて特定の期間毎に区分して評価する）、医療術者の熟練度や技術的に容易な短時間手術の傾向を読み取ることも可能となり、これを優先度の指標として扱うこともできる。

以上が医療画像管理システムを利用する医療画像の管理方法の説明である。産業上の利用可能性

[0030] 医療術者の医療行為中の生体情報を計測することによって、医療行為中における医療術者の意識しなレ、重要なポイントを、医療動画から静止画情報として容易に抽出すること力 Sできる。このように静止画情報を抽出することができることによって、医療行為における重要度に応じて選別することができる。

Claims

請求の範囲

[1] 医療行為を受ける患者を撮影し医療動画を作成する医療用撮影装置 2と、前記医療用撮影装置 2が撮影する医療動画を記録する記録手段 4とを有する医療画像管理システム 1であって、

前記医療行為を行う医療術者の生体情報を計測する計測手段 3と、

前記計測手段 3において計測された計測結果に応じて、前記記録手段 4において記録される医療動画に索引を付与する索引付与手段 5を有することを特徴とする医療画像管理システム。

[2] 前記索引付与手段 5は、

前記計測手段 3において計測された計測数値を受取る数値受信手段 51と、前記数値受信手段 51におレ、て受信した前記計測数値を所定数値と比較する第 1 比較手段 52と、

前記第 1比較手段 52において前記計測数値が前記所定数値を上回った場合に、該計測数値が計測された際の前記記録手段 4に記録される前記医療動画の静止画情報を抽出する第 1抽出手段 53を有することを特徴とする請求項 1記載の医療画像管理システム。

[3] 前記索引付与手段 5は、更に、

前記第 1抽出手段 53において抽出された前記静止画情報を、前記医療動画の開始索引情報として、前記記録手段 4へ記録し、一方で、

前記第 1抽出手段 53において前記静止画情報が抽出された後に、前記第 1比較手段 52において比較される計測数値が前記所定数値を下回った場合に、該計測数値を計測した際の前記記録手段 4に記録される前記医療動画の静止画情報を抽出して、この静止画情報を、前記医療動画の終了索引情報として、前記記録手段 4へ記録する第 1開始終了索引記録手段 54を有していることを特徴とする請求項 2記載の医療画像管理システム。

[4] 前記索引付与手段 5は、

前記計測手段 3において計測される計測数値を受取る数値受信手段 51と、前記数値受信手段 51において受信した前記計測数値を時系列的に保存する計測数値保存手段 55と、

前記計測数値保存手段 55において保存される二の前記計測数値力時系列の変化値を算出する変化値算出手段 56と、

前記変化値算出手段 56から算出された前記変化値を所定変化値と比較する第 2 比較手段 57と、

前記第 2比較手段 57において前記変化値が前記所定変化値を上回った場合に、該変化値を得る前記二の計測数値の時系列的に前方の計測数値が計測された際の前記記録手段 4に記録される前記医療動画の静止画情報を抽出する第 2抽出手段 58を有することを特徴とする請求項 1記載の医療画像管理システム。

[5] 前記索引付与手段 5は、更に、

前記第 2抽出手段 58において抽出された前記静止画情報を、前記医療動画の開始索引情報として、前記記録手段 4へ記録し、一方で、

前記第 2抽出手段 58において前記静止画情報が抽出された後に、前記第 2比較手段 57において比較される変化値が前記所定変化値を下回った場合に、この変化値を得る前記二の計測数値の時系列的に後方の計測数値が計測された際の前記記録手段 4に記録される前記医療動画の静止画情報を抽出して、この静止画情報を、前記医療動画の終了索引情報として、前記記録手段 4へ記録する第 2開始終了索引記録手段 59を有していることを特徴とする請求項 4記載の医療画像管理システム

[6] 前記開始索引情報を、時系列的に前方へ所定時間分シフトさせるとともに、前記終了索引情報を時系列的に後方へ所定時間分シフトさせる索引補正手段 60を有していることを特徴とする請求項 3又は 5記載の医療画像管理システム。

[7] 前記開始索引情報及び/又は前記終了索引情報が抽出される時系列的な場所を基準として、該開始索引情報及び/又は前記終了索引情報に時系列的な幅を具備させることを特徴とする請求項 3又は 5記載の医療画像管理システム。

[8] 記録手段 4に保存される医療動画から前記開始索引情報と前記終了索引情報間に保存される医療動画及び Z又は静止画を抽出して記録手段 4に記録することを特徴とする請求項 3、 5乃至 7いずれかに記載の医療画像管理システム。

[9] 前記医療画像管理システム 1が、更に、

前記記録手段 4に記録される医療動画を時系列的な複数の静止画に分割する分割手段 61と、

前記分割された各静止画の色空間の座標系上の数値を算出する算出手段 62と、複数の前記色空間の座標系上の数値を時系列的に比較し、色空間の座標系上の数値が所定以上の変化量を有する前記静止画を選出する選出手段 63と、

前記選出手段 63によって選出された静止画毎に、画像変化情報を付与する付与手段 64を有することを特徴とする請求項 1乃至 8いずれかに記載の医療画像管理システム。

[10] 前記医療画像管理システム 1が、更に、

前記医療用撮影装置 2が撮影する医療動画を表示する第 1表示部 Aと、前記第 1又は第 2抽出手段 53， 58において抽出される静止画を表示する第 2表示部 Cを有するとともに、前記第 1表示部 A及び第 2表示部 Cを同一画面上で表示する出力手段 7を有することを特徴とする請求項 1乃至 7いずれかに記載の医療画像管理システム。

[11] 前記計測手段 3が、医療術者の心拍数、血圧、発汗量、体温、脳波、握力、注視点、瞬き、瞳孔、眼球運動、呼吸数 (無呼吸時間等含む）、呼吸曲線、唾を飲む動作回数、皮膚電気伝導度、筋電位差、脳内物質、血糖値、血流量、血中成分、各種ホルモン量、嚙みしめ圧、心電、皮膚電気反射、指尖脈波、体位'体勢、涙量、涙の成分、唾液量、唾液成分、胃液量、胃液成分、顔の表情（特徴解析の値）、音声の変化（特徴解析の値)、読唇 (特徴解析の値)、手足の震え、尿 (蛋白、糖、潜血などの値）のうち少なくとも 1つを計測することを特徴とする請求項 1乃至 10いずれかに記載の医療画像管理システム。

[12] 前記計測手段 3において計測される全ての生体情報が時系列に、医療動画とともに前記記録手段 4へ記録されていることを特徴とする請求項 11記載の医療画像管理システム。

[13] 前記医療画像管理システム 1は、更に、

前記記録手段 4に記録される複数の医療動画から、前記医療画像に付与される前記索引の総数を基にして選別し、該選別された医療動画に対して所定の処理を施すことを特徴とする請求項 1記載の医療画像管理システム。

[14] 前記医療画像管理システム 1は、医療術者の操作によって医療動画に索引を付与する手段が設けられていることを特徴とする請求項 1記載の医療画像管理システム。

[15] 医療行為を受ける患者を撮影して医療動画を作成し、該医療動画を管理する医療画像管理方法であって、

前記医療動画を記録するとともに、前記医療行為を行う医療術者の生体情報を計測し、

計測される前記医療術者の生体情報に応じて、記録される前記医療動画に索引を付与することを特徴とする医療画像管理方法。

[16] 前記医療動画に索引を付与する方法が、前記計測される生体情報が所定数値との比較によって行われる、又は、前記計測される生体情報の時系列的な変化量に応じて行われることを特徴とする請求項 15記載の医療画像管理方法。

[17] 前記索引を付与する方法が、前記医療動画から静止画に関する静止画情報を抽出することを特徴とする請求項 15又は 16記載の医療画像管理方法。

[18] 前記医療動画から抽出された 2の静止画情報から医療動画を抽出する開始及び終了時点を算出して、この期間の医療動画及び/又は静止画を抽出して記録することを特徴とする請求項 15乃至 17いずれかに記載の医療画像管理方法。

[19] 前記医療用撮影装置 2において撮影された前記医療動画と、医療きテ者の生体情報に応じて抽出された前記医療動画とを同時に表示することを特徴とする請求項 15乃至 18いずれかに記載の医療画像管理方法。

[20] 前記医療術者の生体情報が、医療術者の心拍数、血圧、発汗量、体温、脳波、握力、注視点、瞬き、瞳孔、眼球運動、呼吸数 (無呼吸時間等含む）、呼吸曲線、唾を飲む動作回数、皮膚電気伝導度、筋電位差、脳内物質、血糖値、血流量、血中成分、各種ホルモン量、嚙みしめ圧、心電、皮膚電気反射、指尖脈波、体位'体勢、涙量、涙の成分、唾液量、唾液成分、胃液量、胃液成分、顔の表情（特徴解析の値）、音声の変化 (特徴解析の値)、読唇 (特徴解析の値)、手足の震え、尿（蛋白、糖、潜血などの値）のうち少なくとも 1つを計測して得られる生体情報であることを特徴とする請求項 15乃至 19レ、ずれかに記載の医療画像管理方法。

[21] 記録される前記医療動画に、医療行為中の出来事の情報が保存されることを特徴とする請求項 15記載の医療画像管理方法。

[22] 医療動画に付与される前記索引の総数を基にして、特定の前記医療動画を選出することを特徴とする請求項 15記載の医療画像管理方法。

[23] 前記医療画像管理方法が、さらに、医療術者による操作によって索引情報が付与されることを特徴とする請求項 15記載の医療画像管理方法。