JP5203628B2

JP5203628B2 - 医療現場表示システム

Info

Publication number: JP5203628B2
Application number: JP2007110624A
Authority: JP
Inventors: 康雄櫻井; 重治大湯; 基司原頭; 稔八木; 恭二郎南部; 克彦藤本
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2007-04-19
Filing date: 2007-04-19
Publication date: 2013-06-05
Anticipated expiration: 2027-04-19
Also published as: JP2008269238A

Description

本発明は、医療現場を記録して映像表示する技術に関する。

一般に、医療行為全体を事後に確認・検証し、最適な手順を構築するために、医療現場をビデオカメラで撮影しておくことが多い。医療行為の確認・検証では、この医療現場の映像を閲覧して医療事故に繋がる事象の発生を確認し、その事故に繋がりかねない行為を行った者の詳細な手術記録を検証する。

しかし、医療現場では各スタッフが統一的な服装をし、マスクやゴーグルで顔を覆っているため、事象の発生及びスタッフの動きの詳細を確認及び検証することはできても、その動きを行っているものが誰であるか分かりづらいといった面があった。医療事故に繋がりうる危険性を孕んだ行為は個人の些細な行動であることが多く、医療現場をやみくもに撮影してもスタッフを識別し、それぞれの行為を分析しなければ見落としてしまう。

そのため、例えば、個々のスタッフの動きを加速度センサ等を用いて記録しておくという技術も提示されている（例えば「特許文献１参照」。）。この動きの量を追っていくことで何らの事象が発生したことを確認することはできても、その動きがどのような行為を意味しているのかを把握しづらく、その事象に繋がる行為やその事象への対処の具体的な様子は映像に頼らざるを得ない。

特開２００４−２８０４５５号公報

本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、医療現場を撮影して得た映像に映るスタッフを誰であるか識別でき、以て誰がどのような行為をしていたのか視覚的に把握することのできる技術を提供することにある。

上記課題を解決するための請求項１記載の本発明は、医療現場を撮影する撮影手段と、前記撮影手段で撮影された映像を表示する表示手段と、医療現場内の複数のスタッフに装着される信号発信体と、前記信号発信体が発信する信号に基づき、前記信号発信体の位置を計測すると共にその信号発信体を装着したスタッフを識別する発信体計測手段と、前記発信体計測手段により計測された位置と前記映像内の位置との関係に基づき、前記信号発信体の位置を前記発信体計測手段の計測座標系から前記映像の映像座標系に変換する計算を行う映像上位置計算手段と、前記映像上位置計算手段で計算された位置に対応させて前記信号発信体が装着された前記スタッフを識別する情報を前記映像に重ね合わせて前記表示手段に表示させる識別表示制御手段と、を備えること、を特徴とする。

請求項１の発明では、この前記信号発信体は、個体毎に予め識別符号を記憶し、記憶している識別符号と同一の符号を受信したときに信号を発信し、前記計測では、識別符号を発信して、一の信号発信体がこの識別符号に呼応して発信した信号を受信することによりその信号発信体を識別しつつその位置を計測するようにしてもよい。

請求項１の発明によれば、映像上でスタッフを個々に識別することができ、スタッフ毎にそのスタッフが誰でどのような行為をしたのかの映像分析を行い易くなる。

以下、本発明に係る医療現場表示及び医療現場分析の好適な各実施形態について、図面を参照しながら具体的に説明する。

図１は、医療現場を記録して表示する医療現場表示システム１の機能構成を示す図である。

医療現場表示システム１は、手術室等の医療現場を映像によって記録するとともに、医療現場のスタッフが誰であるかをその存在位置と共に識別し、記録した映像上で医療現場内のスタッフを識別表示するシステムである。医療現場を映像によって再現して医療の質及び安全向上に関わる分析等を行うために用いられる。

この医療現場表示システム１は、撮影装置２と、識別部３と、位置計測部４と、映像加工装置５と、表示装置６と、入力装置７とにより構成されている。撮影装置２と識別部３と位置計測部４と入力装置７は、映像加工装置５に対して信号入力が可能に接続されている。映像加工装置５は、表示装置６に対しては信号入力が可能に接続されている。

撮影装置２は、医療現場に設置されており、医療現場の映像を撮影する。撮影装置２は、複数台設置される場合もある。この撮影装置２は、例えばビデオカメラである。識別部３は、医療現場内に存在するスタッフが誰であるかを識別する。位置計測部４は、識別部３でその存在が確認されたスタッフの位置座標を識別部３の設置位置を原点とした計測系で計測する。映像加工装置５は、位置計測部４で計測された位置が映像上のどの画素に対応するか計算し、識別部３で識別されたスタッフのスタッフ識別情報をこの計算された画素に対応させて重ね合わせた映像を生成して表示装置６に表示させる。表示装置６は、液晶ディスプレイやＣＲＴディスプレイ等のモニタである。入力装置７は、映像加工装置５に対して操作信号を入力するキーボードやマウスである。

図２は、識別部３と位置計測部４の構成の具体例を示すブロック図である。

識別部３は、ＲＦタグ２１と無線送受信部２２とから構成される。位置計測部４は、超音波発振器３１と超音波センサ３２と計測系位置計算部３３とから構成される。

ＲＦタグ２１と超音波発信器３１とは、信号発信体８１に内蔵されている。信号発信体８１は、スタッフに装着されている。無線送受信部２２と超音波センサ３２と計測系位置計算部３３は、発信体計測装置８２に内蔵される。この発信体計測装置８２は、さらに制御信号発信部８３を備える。発信体計測装置８２は、医療現場内に設置される。

ＲＦタグ２１は、ＩＣチップとアンテナを含み構成される。ＩＣチップには、信号発信体８１を装着しているスタッフの識別符号が予め記憶されている。スタッフの識別符号は、スタッフ毎に一意に割り当てられたＩＤであり、スタッフ識別情報の一種である。ＲＦタグ２１は、外部から発せられた電波をアンテナで受信する。外部から電波を受信すると共振作用によってＩＣチップに供給される起電力が生じ、ＲＦタグ２１は、ＩＣチップが記憶しているスタッフの識別符号をアンテナを介して送信する。

また、ＲＦタグ２１は、外部からスタッフの識別符号が含まれた制御信号を受信し、受信したスタッフの識別符号がＩＣチップ内に記憶されていると、超音波発信器３１にトリガ信号を出力する。

無線送受信部２２は、アンテナを含み構成される。無線送受信部２２は、ＲＦタグ２１に起電力を生じさせる電波を発信し、またＲＦタグ２１から送信されたスタッフの識別符号を受信する。

識別部３では、ＲＦタグ２１から無線送受信部２２にスタッフの識別符号が送信されることにより、その識別符号で表されるスタッフが特定される。

制御信号発信部８３は、信号発信体８１に対して制御信号を送信する。制御信号には、位置計測するスタッフの識別符号が含まれる。制御信号発信部８３は、無線送受信部２２がスタッフの識別符号を受信すると、その受信を契機にこの受信したスタッフの識別符号を制御信号に含めて送信する。複数のスタッフの識別符号を受信していると、混信をさけるために所定間隔おいて順次制御信号に含めて送信する。

超音波発振器３１は、ＲＦタグ２１からのトリガ信号の入力を契機に超音波信号を外部へ発振する。

超音波センサ３２は、超音波発振器３１が発振した超音波信号を受信する。この超音波センサ３２は、所定距離離間して複数個が医療現場に設置されている。各超音波センサ３２は、設置された位置と信号発信体８１との距離関係によって位相差が異なった超音波を受信する。

計測系位置計算部３３は、各超音波センサ３２が受信した超音波の位相差から、超音波センサ３２を原点とした計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）で表された信号発信体８１の計測系位置情報を算出する。

位置計測部４は、存在が確認されたスタッフが装着している信号発信体８１にそれが記憶しているスタッフの識別符号を送信することで、その信号発信体８１のみを呼応させて超音波を発振させ、受信した超音波からその信号発信体８１の位置を計算することで、位置計算された信号発信体８１を装着しているスタッフの位置を計測系座標において取得する。

発信体計測装置８２は、識別部３が取得したスタッフを識別する識別符号と、計測系位置計算部３３が取得したスタッフの計測系位置情報とを対にして映像加工装置５に出力する。

図３は、映像加工装置５の構成の具体例を示すブロック図である。

映像加工装置５は、映像記録部５１と位置記憶部５２と映像系位置計算部５３と映像系位置記憶部５４と表示制御部５５とスタッフデータベース５６とにより構成される。

映像記録部５１は、例えばＨＤＤ等の磁気記憶回路やフラッシュメモリ等を含み構成される。この映像記録部５１は、撮影装置２から出力された映像信号を映像フレーム毎に記憶しておく。映像信号の記録の際には、その映像フレームが撮影された時刻を表す時刻情報を映像フレーム毎に付して記憶しておく。

位置記憶部５２は、例えばＲＡＭ等の半導体記憶回路を含み構成される。図４に示すように、位置記憶部５２は、発信体計測装置８２から出力されたスタッフの識別符号とそのスタッフの計測系位置情報との対を記憶しておく。このスタッフの識別符号とそのスタッフの計測系位置情報の対には、計測された時刻を表す時刻情報が付されて記憶される。

映像系位置計算部５３は、発信体計測装置８２から出力された計測系位置情報から、信号発信体８１、即ち信号発信体８１を装着しているスタッフが映像上のどの画素に映っているかを表す映像系位置情報を計算する。映像系位置計算部５３は、まず発信体計測装置８２から出力されたスタッフの計測系位置情報を撮影装置２を原点とした撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）に変換し、さらにその撮影系座標で表される空間が投影される画素（Ｘｎ，Ｙｎ）を算出することで、映像系位置情報を取得する。

映像系位置記憶部５４は、例えばＨＤＤ等の磁気記憶回路やフラッシュメモリ等を含み構成される。映像系位置記憶部５４は、図５に示すように、映像系位置計算部５３で計算して得られた映像系位置情報を記憶する。また、映像系位置記憶部５４は、映像系位置情報の記憶に際し、算出元となった計測系位置情報に関連づけられていたスタッフの識別符号及び時刻情報を算出先の映像系位置情報に関連づけて記憶する。尚、生データとして算出元となった計測系位置情報も関連づけて記憶するようにしてもよい。

表示制御部５５は、映像系位置計算部５３で計算された映像系位置情報に対応させて、位置記憶部５２に記憶されたスタッフの識別符号又はこれに加えて他のスタッフ識別情報を重ね合わせた映像を生成し、表示装置６に表示させる。

図６は、この医療現場表示システム１の動作を示すフローチャートである。

撮影装置２は、医療現場を撮影し（Ｓ０１）、医療現場の映像を映像加工装置５に出力する（Ｓ０２）。映像加工装置５では、撮影装置２から出力された映像に対して映像フレーム毎に時刻情報を付していき（Ｓ０３）、映像を映像フレーム毎に時系列で映像記録部５１に記憶する（Ｓ０４）。

この撮影装置２の医療現場の撮影と並行して、発信体計測装置８２では、無線送受信部２２が医療現場内に存在する信号発信体８１に起電力を生じさせる電波を発信する（Ｓ０５）。この電波発信は一定間隔毎に行う。

発信体計測装置８２から電波が発せられると、信号発信体８１では、ＲＦタグ２１がその電波を受信して共振作用によってＩＣチップに起電力を供給し、ＩＣチップに予め記憶されているスタッフの識別符号を読み出して信号として送信する（Ｓ０６）。

発信体計測装置８２では、無線送受信部２２がスタッフの識別符号が含まれた信号を受信すると、この受信したスタッフの識別符号を一時記憶しておく（Ｓ０７）。発信体計測装置８２では、スタッフの識別符号を取得すると、制御信号発信部８３がこの受信したスタッフの識別符号を含んだ制御信号を医療現場内に発信する（Ｓ０８）。

信号発信体８１では、ＲＦタグ２１により、この制御信号に含まれるスタッフの識別符号が予め記憶しているスタッフの識別符号と同一か否かが判断され（Ｓ０９）、受信した制御信号に含まれるスタッフの識別符号をＩＣチップに記憶していなければ（Ｓ０９，Ｎｏ）、この制御信号を破棄して処理を終了する。発信体計測装置８２による電波の発信は所定間隔毎に繰り返し行われ、その度にこのＳ０５からＳ０９の処理が繰り返される。

一方、受信した制御信号に含まれるスタッフの識別符号をＩＣチップに記憶していれば（Ｓ０９，Ｙｅｓ）、ＲＦタグ２１は、超音波発振器３１にトリガ信号を出力する（Ｓ１０）。超音波発振器３１は、トリガ信号の入力を契機として超音波信号を発振する（Ｓ１１）。即ち、信号発信体８１によるスタッフの識別符号の送信によってスタッフの存在が識別され、このスタッフの識別符号を制御信号として用いることで、存在が識別されたスタッフの信号発信体８１のみが呼応して位置計測のための超音波信号を発振する。

発信体計測装置８２では、信号発信体８１から発せられた超音波信号を超音波センサ３２が受信すると、計測系位置計算部３３がこの受信した超音波の位相差から信号発信体８１を装着したスタッフの計測系位置情報を算出する（Ｓ１２）。

そして、発信体計測装置８２では、一時記憶しておいたスタッフの識別符号と計測系位置情報とを対にして映像加工装置５に出力する（Ｓ１３）。

映像加工装置５では、入力されたスタッフの識別符号と計測系位置情報の対に時刻情報を付していき（Ｓ１４）、時系列で位置記憶部５２に記憶させていく（Ｓ１５）。

映像加工装置５では、映像系位置計算部５３が計測系位置情報を位置記憶部５２から読み出して、読み出した計測系位置情報を、信号発信体８１を装着しているスタッフが映像上のどの画素に映っているかを表す映像系位置情報に変換する（Ｓ１６）。そして、映像系位置計算部５３は、変換元の計測系位置情報に関連づけられていたスタッフの識別符号及び時刻情報を、映像系位置情報に関連づけつつ、この映像系位置情報を映像系位置記憶部５４に記憶させる（Ｓ１７）。

映像系位置情報を取得すると、映像加工装置５では、表示制御部５５が、映像記録部５１から映像フレームを順次読み出し、映像系位置記憶部５４から映像フレームと同時刻の映像系位置情報とスタッフの識別情報を読み出し、映像系位置情報が表す画素に対応させてスタッフの識別符号又はこれに加えて他のスタッフ識別情報を重畳させた映像を生成する（Ｓ１８）。表示制御部５５は、この生成した映像を表示装置６に出力し表示装置６に表示させる（Ｓ１９）。

以上の動作が撮影装置２で映像を撮影し、信号発信体８１及び信号受信体８２でスタッフの識別及び位置計測を行っている間、順次繰り返される。尚、映像記録部５１と映像系位置記憶部５４に記憶された両データは、この医療現場表示システム１でいつでも再生が可能となるように、対にしてＨＤＤ等の不揮発性メモリに記憶され、又は対にしてＤＶＤやＨＤＤＶＤ等の可搬記憶媒体に記憶される。

映像系位置計算部５３による計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）で表現された計測系位置情報から映像系座標（Ｘｎ，Ｙｎ）で表現された映像系位置情報への変換についてさらに詳細に説明する。

図７は、撮影装置２と位置計測部４の受信側である超音波センサ３２の設置状態を示す模式図である。

撮影装置２と超音波センサ３２とは物理的な都合上別箇所に設置されているため、撮影装置２が撮影した空間の撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）と位置計測部４が計測したスタッフの計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）とは、座標系が一致していない。

位置計測部４で測定したスタッフの位置が、撮影装置２で撮影した映像上のどの画素に対応するかを算出するためには、計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）との関係、及び撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）と撮影装置２の撮像素子面の映像系座標（Ｘｎ，Ｙｎ）との関係が既知でなければならない。

まず、計測系座標ｓ＝（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とは、平行移動と、Ｘ軸とＹ軸とＺ軸を中心とする回転で関係付けられ、それぞれ以下の行列で表すことができる。

ここで、ｘ_０，ｙ_０，ｚ_０は平行移動量。

ここで、θｘはＸ軸まわりの回転角。

ここで、θｙはＹ軸まわりの回転角。

ここで、θｚはＺ軸まわりの回転角。

上記の（数１）〜（数４）により、計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）との関係は、以下の（数５）のように表すことができる。

（数５）式中のｘ_０、ｙ_０、ｚ_０、θ_ｘ、θ_ｙ、θ_ｚが未知数であり、これらの値が分かれば、計測系と撮影系が完全に対応付けられる。

さらに、撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とその映像系座標（Ｘｎ，Ｙｎ）との関係は、図８のように示され、撮影装置２のピンホールを撮影系の原点とし、ピンホールと撮影装置２の撮像素子表面との距離をＺ_０とした場合、撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とその映像系座標（Ｘｎ，Ｙｎ）とは以下（数６）及び（数７）により表される。

尚、ここでは簡単のためにピンホールカメラの例を挙げたが、複数のレンズを組み合わせたより複雑なビデオカメラの場合であってもレンズ系に応じて焦点距離等を加味して計算する。

映像系位置計算部５３は、予め（数５）、（数６）、（数７）、及び距離Ｚ_０とから得られる映像系座標（Ｘｎ，Ｙｎ）と未知数ｘ_０、ｙ_０、ｚ_０、θ_ｘ、θ_ｙ、θ_ｚとの関係式Ｅ１を記憶している。

医療現場表示システム１の設置時には、医療現場内にマーカが置かれて位置計測及び撮影されることによってマーカの計測系座標と映像系座標とを取得しておく。映像系位置計算部５３は、このマーカの計測系座標と映像系座標との関係から、未知数ｘ_０、ｙ_０、ｚ_０、θ_ｘ、θ_ｙ、θ_ｚの具体的値をこの予め記憶している関係式Ｅ１を用いて計算し、映像系座標（Ｘｎ，Ｙｎ）と計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）との関係式Ｅ２を取得する。そして、この投影系座標（Ｘｎ，Ｙｎ）と計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）との関係式Ｅ２と、位置計測部４で測定して得たスタッフの計測系位置情報が表す計測系の具体的な座標（Ｘｓ，Ｙｓ，Ｚｓ）とを用いて、映像画面上でのスタッフの位置情報を計算する。尚、１点のマーカを測定することにより、2つの式が得られる(Ｘｎ=・・・、Ｙｎ=・・・)ため、マーカは３点に置かれ、それぞれ測定される。

この医療現場表示システム１で表示される映像を図９に示す。

表示制御部５５は、映像記録部５１から表示装置６に表示させる映像フレームを読み出したとき、その映像フレームと対になっている時刻情報も読み出す。そして、読み出した時刻情報と同一の時刻情報を映像系位置記憶部５４から検索し、該当する時刻情報と関連づけられている映像系位置情報及びスタッフの識別符号を読み出す。映像系位置情報及びスタッフの識別符号を読み出すと、表示制御部５５は、読み出した映像系位置情報に該当する映像フレーム上の画素を例えば黒色等の識別色で塗り潰し、読み出したスタッフの識別符号を表す文字列をこの塗り潰した画素を指し示して重畳表示させる。

表示制御部５５は、次の映像フレームを表示装置６に表示させる度に、このスタッフの識別符号の表示処理を行う。このスタッフ識別符号の表示は、新たな映像フレームを表示させる毎に更新していく。ある信号発信体８１において、表示させる映像フレームと対になった時刻情報に関連づけられた新たな映像系位置情報がない場合は、塗り潰す画素をそのまま維持しておく。そして、新たな映像系位置情報があれば、新たな映像フレームを表示させるときに、その映像系位置情報に対応する新たな画素を塗り潰してその画素を指し示すスタッフの識別符号を重畳表示し、前の映像フレームまでに塗り潰していた画素の塗りつぶしを解除させる。

図１０にこの医療現場表示システム１で表示される映像の変形例を示す。また、図１１は、スタッフデータベース５６のデータ構造を表す図である。

表示制御部５５は、図１０に示すように、スタッフ識別符号の他、このスタッフ識別符号で表されるスタッフの他の識別情報を表示させるようにしてもよい。

図１１に示すように、スタッフデータベース５６には、スタッフの識別符号に対応付けて、スタッフの氏名、年齢、所属、職務、現職経験年数等のスタッフの他の識別情報が記憶されている。表示制御部５５は、映像系位置記憶部５４から読み出したスタッフの識別符号でスタッフデータベース５６を検索し、読み出したスタッフの識別符号に対応付けられているスタッフの他の識別情報を取得する。そして、表示制御部５５は、スタッフの識別符号とともにこの取得したスタッフの他の識別情報を表示装置６に重畳表示させる。

スタッフデータベース５６から取得するスタッフの他の識別情報は、入力装置７から入力された操作信号に依る。入力装置７を用いて映像上に表示させるスタッフ識別情報を選択する操作が行われると、表示制御部５５は、選択されたスタッフの他の識別情報をスタッフデータベース５６から読み出して重畳表示させる。何れの識別情報も選択されなければ、スタッフの識別符号のみが重畳表示される。また、入力装置７を用いてスタッフの識別符号を表示させない操作が行われると、表示制御部５５は、映像フレームを映像記録部５１から順次読み出して表示装置６に表示させる処理のみを行う。

このように、この医療現場表示システム１では、医療現場に存在するスタッフを存在位置と共に識別し、その存在位置を医療現場を撮影して得た映像上にプロットし、プロットした画素に対応付けてスタッフを識別するＩＤや氏名等の識別情報を表示するようにした。これにより、映像上でスタッフを個々に識別することができ、スタッフ毎にそのスタッフが誰でどのような行為をしたのかの映像分析を行い易くなる。

また、スタッフの識別符号でスタッフを識別してその存在位置を計測するようにしたため、超音波信号を発振させた信号発信体８１を誰が装着しているか判断する必要もなく、管理がシンプルになる。

次に、この医療現場表示システム１で取得したスタッフを識別表示した映像を用いた映像分析を支援する医療現場分析システム９について説明する。図１２は、医療現場表示システム１で記録した映像の分析を支援する医療現場分析システム９の構成を示す図である。

医療現場分析システム９は、映像加工装置５から、医療現場を撮影して得た映像と時刻情報の対と、スタッフの識別符号と映像系位置情報と時刻情報との組みとを取得し、スタッフの動き量を算出する。この医療現場分析システム９は、医療現場情報記憶部９１、ＲＯＩ設定部９２、動き量計測部９３、動き量記憶部９４、キュー設定部９５、キューインデックス記憶部９６、及び頭出し制御部９７により構成される。

医療現場情報記憶部９１は、医療現場表示システム１で記録された医療現場を撮影して得た映像と時刻情報の対と、スタッフの識別符号と映像系位置情報と時刻情報との組み合わせとを記憶する。医療現場表示システム１と医療現場分析システム９は、ネットワークで接続された一体のシステムとして構成されていても、それぞれが独立したシステムとして構成されていてもよい。

ＲＯＩ設定部９２は、主にＣＰＵを含み構成される。このＲＯＩ設定部９２は、入力装置７を用いて表示装置６に表示されている画面上に関心領域が指定されると、その関心領域を記憶しておく。

動き量計測部９３は、主にＣＰＵを含み構成される。この動き量計測部９３は、映像上のスタッフ画像の形状変化から映像に映る各スタッフの動き量を個々に算出する。動き量計測部９３は、ＲＯＩ設定部９２で関心領域が設定されているときは、映像上、関心領域内にスタッフが存在するか否かを判断し、関心領域内にスタッフが存在するときに限って動き量を算出する。

動き量記憶部９４は、主にＲＡＭ等の半導体記憶回路を含み構成される。動き量記憶部９４は、動き量計測部９３で計測された各スタッフの動き量を時系列で記憶する。

キュー設定部９５は、主にＣＰＵを含み構成される。このキュー設定部９５は、スタッフの動き量の時系列のうち、特に動きが激しいことを示す動き量が検出された時刻をキューインデックス記憶部９６に記憶させる。

キューインデックス記憶部９６は、キュー設定部９５で検出された時刻を表す時刻情報の集合を時系列順にインデックス化してスタッフ毎のキューインデックスとして記憶しておく。また、関心領域が設定されているときには、動き量計測部９３の判断結果である関心領域内にスタッフが存在する期間も関心領域内情報としてキューインデックスに含めて記憶しておく。

頭出し制御部９７は、キューインデックスをグラフ化して表示装置６に表示させる。そして、入力装置７を用いてキューインデックス中のキューマークが指定されると、指定されたキューマークに対応する時刻情報を表示制御部５５に出力し、この時刻情報と対になった映像フレームを医療現場情報記憶部９１から検索させ、該当する映像フレームから頭出し再生させる。キューマークは、キュー設定部９５で検出された動き量が激しい時刻を示すマークである。

図１３は、この医療現場分析システム９の動き量計測及びキュー設定の動作を示すフローチャートである。

まず、ＲＯＩ設定部９２は、入力装置７を用いて映像内に関心領域を指定する操作がなされた場合（Ｓ３１，Ｙｅｓ）、指定された関心領域を記憶しておく（Ｓ３２）。

動き量計測部９３は、順番に映像フレームを読み出し（Ｓ３３）、関心領域が記憶されていれば（Ｓ３４，Ｙｅｓ）、読み出した映像フレームに映るスタッフの画像領域が関心領域内に含まれているか否かを判断する（Ｓ３５）。

関心領域内にスタッフの画像領域が含まれていない場合は（Ｓ３５，Ｎｏ）、読み出した映像フレーム及び関心領域に含まれていないスタッフについての動き量計測を終了する（Ｓ３６）。

一方、関心領域内にスタッフの画像領域が含まれている場合は（Ｓ３５，Ｙｅｓ）、読み出した映像フレームとその前又は後の映像フレームとに含まれているスタッフの画像領域のサブストラクションを行う（Ｓ３７）。そして、動き量として、読み出した映像フレームにおいて前又は後の映像フレームと重ならないスタッフの画像領域の画素数をカウントする（Ｓ３８）。動き量を計測すると、この動き量をスタッフ毎に時系列で動き量記憶部９４に記憶させる（Ｓ３９）。

読み出した映像フレームについて映像に映る全てのスタッフの動き量を計測し（Ｓ４０，Ｙｅｓ）、かつ全映像フレームについて動き量を計測すると（Ｓ４１，Ｙｅｓ）、動き量計測の処理は終了する（Ｓ４２）。全てのスタッフの動き量を算出していなければ（Ｓ４０，Ｎｏ）、Ｓ３４〜Ｓ３９を全てのスタッフについて繰り返す。前衛増フレームについて動き量の計測が完了していなければ（Ｓ４１，Ｎｏ）、次の映像フレームについてＳ３３〜Ｓ３９を繰り返す。

スタッフ毎の動き量が時系列的に計測されると、キュー設定部９５は、動き量記憶部９４に記憶された動き量のうち、所定以上の動きの激しさを表す動き量を検索し（Ｓ４３）、該当する動き量に対応するスタッフとその動きがあった時刻とを動き量記憶部９４から読み出してキューインデックス記憶部９６に記憶させる（Ｓ４４）。

図１４及び図１５は、Ｓ３１〜３２におけるＲＯＩ設定部９２による関心領域の設定を示す模式図である。図１４は、関心領域を表示画面上に表示した態様を示す模式図である。図１５は、表示された関心領域に対応してこの関心領域の範囲を示す情報を取得する態様を示した模式図である。

図１４に示すように、表示装置６の表示画面には、医療現場を撮影して得た映像が表示されている。オペレータが入力装置７を用いて表示画面上に一本の対角線を描くようにカーソルを操作すると、ＲＯＩ設定部９２は、その対角線を有する四角形状の関心領域を表示画面上に表示する。複数箇所に一本の対角線を描くことにより、それぞれの対角線を有する複数の関心領域が表示される。そして、ＲＯＩ設定部９２は、図１５に示すように、表示した関心領域内に含まれる各画素に対応する描画メモリ上のアドレスを記憶しておく。この関心領域を構成する各画素に対応する描画メモリ上のアドレスが、映像上における関心領域の範囲を示す。

図１６及び図１７は、Ｓ３３〜Ｓ３９における動き量計測部９３による動き量計測を示す模式図である。図１６は、動き量を計測する対象となるスタッフを映像上で抽出する過程を示した模式図である。図１７は、抽出した各映像フレームのスタッフの画像領域からスタッフの動き量を計測する過程を示した模式図である。

図１６の（ａ）に示すように、各映像フレームには、動き量を分析する対象となるスタッフの画像領域が含まれており、この画像領域内には、信号発信体８１の所在として映像系位置情報で表される画素が含まれている。動き量計測部９３は、読み出した映像フレームに付帯する時刻に最も近く、かつこの時刻以前を表す時刻情報と対になった映像系位置情報を医療現場情報記憶部９１から読み出す。読み出した映像フレームに付帯する時刻と同一の時刻情報と対になった映像系位置情報が存在すれば、その映像系位置情報を読み出す。この映像系位置情報の読み出しは、医療現場情報記憶部９１に記憶されているスタッフの識別符号別に行う。

そして、動き量計測部９３は、図１６の（ｂ）に示すように、読み出した映像系位置情報が表す画素が含まれる領域の輪郭を抽出する。輪郭抽出は、エッジ抽出法によって抽出したエッジのうち、映像系位置情報で表される画素が含まれているエッジ領域を抽出する。または、映像上位置情報で表される画素から領域拡張法により抽出する。この抽出された領域がスタッフの画像領域に相当する。

スタッフの画像領域の輪郭が抽出されると、動き量計測部９３は、ＲＯＩ設定部９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれるか否かを判断する。関心領域の範囲にスタッフの画像領域の全てが存在することを以て含まれると判断しても良いし、関心領域の範囲にスタッフの画像領域の一部が存在することを以て含まれると判断しても良い。

ＲＯＩ設定部９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれている場合は、このスタッフの画像領域を抽出した映像フレームに付帯している時刻情報と、関心領域に含まれているスタッフの画像領域に含まれる映像系位置情報と対になっているスタッフの識別情報とを対応付けて、関心領域内情報として保持しておく。即ち、関心領域内情報は、誰がいつ関心領域内にいたかを示す。

ＲＯＩ設定部９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれている場合は、図１６の（ｃ）に示すように、輪郭抽出したスタッフの画像領域を構成する全ての画素に対応する描画メモリ上のアドレスを一時的に記憶しておく。

動き量計測部９３は、図１７の（ａ）に示すように、このスタッフの画像領域の抽出を動き量の計測対象となった映像フレームの前又は後の映像フレームについても行い、前又は後の映像フレームについても、スタッフの画像領域を構成する全ての画素に対応する描画メモリ上のアドレスを一時的に記憶しておく。

動き量の計測対象となった映像フレームとその前又は後の映像フレームについてスタッフの画像領域を特定すると、図１７の（ｂ）に示すように、動き量計測部９３は、この２枚の映像フレームにおけるスタッフの画像領域のサブストラクションを行う。この２枚の映像フレームを重ね合わせ、動き量の計測対象の映像フレームのスタッフの画像領域のうち、その前又は後の映像フレームで抽出されたスタッフの画像領域と重なっていない領域の画素数をカウントする。即ち、２枚の映像フレームにおいて記憶したスタッフの画像領域を示すアドレスを比較し、前又は後の映像フレームにはないアドレスの数をカウントする。フレームレートの関係上、２枚の映像フレームでスタッフの画像領域が全く重ならない場合は、動きの計測対象となった映像フレームのスタッフの画像領域の全ての画素数をカウントする。このカウントされた画素数が動き量に相当する。

動き量計測部９３は、このカウントされた画素数を動き量として動き量記憶部９４に記憶させる。このとき、動き量の計測対象となったスタッフの画像領域に対応するスタッフの識別符号と、動き量の計測対象となった映像フレームに付帯した時刻情報とを、この動き量と対応付けておく。また、動き量計測部９３は、関心領域内情報も動き量記憶部９４に記憶しておく。

動き量計測部９３は、各映像フレームについて、かつ医療現場に存在すると識別された各スタッフについて、この動き量を算出し、動き量記憶部９４に記憶させる。

図１８は、Ｓ３９において動き量記憶部９４に記憶させた動き量を表すデータ構成の模式図である。

動き量記憶部９４には、図１８の（ａ）に示すように、スタッフの識別符号と時刻情報と動き量とが組になって記憶されている。即ち、識別符号で表されるスタッフの各時刻の動き量が記憶されている。尚、医療現場内に複数の撮影装置２が設置されている場合には、映像が複数種類存在することになり、動き量計測部９３は、各撮影装置２で撮影されて得られたそれぞれの映像フレームについてスタッフの動き量を計測し、それぞれ動き量記憶部９４に記憶させる。

また、図１８の（ｂ）に示すように、関心領域内情報としてスタッフの識別符号と関心領域内にいた時間帯とが組みになって記憶されている。

図１９は、動き量計測部９３による動き量計測の変形例を示す模式図である。

図１９の（ａ）に示すように、スタッフの画像領域は、領域拡張法やエッジ抽出法等によって厳密に抽出するほか、確実にスタッフが存在するとわかる信号発信体８１の存在箇所、即ち計測系位置情報が表す画素から所定範囲の領域をスタッフの画像領域とみなして抽出しても良い。動き量計測部９３は、予めこの所定範囲を表す情報を記憶し、計測系位置情報が表す画素を中心にこの所定範囲を表す情報を適用し、スタッフの画像領域とみなして抽出する。

そして、図１９の（ｂ）に示すように、動き量の計測対象となっている映像フレームとその前の映像フレームを重ね合わせ、スタッフの画像領域が重複していない部分の画素数をカウントして動き量とする。

図２０は、Ｓ４３〜Ｓ４４においてキュー設定部９５が動きの激しい時刻を記憶させる態様を示すグラフである。

図２０に示すように、動き量計測部９３によって、医療現場に存在する各スタッフの動き量が時系列順に計測される。キュー設定部９５は、予め動き量の閾値を記憶しており、この閾値と各時刻の動き量とを比較する。そして、キュー設定部９５は、閾値を超えた動き量を検出すると、その動き量に対応する時刻情報とスタッフの識別符号とを動き量記憶部９４から読み出し、読み出した時刻情報とスタッフの識別符号との対をキューインデックス記憶部９６に記憶させておく。

図２１は、キューインデックス記憶部９６に記憶されたキューインデックスを示すデータ構造図である。

図２１に示すように、キュー設定部９５は、キューインデックス記憶部９６として確保された記憶領域内に記憶されているキューインデックスに時刻情報を記憶させる。このとき、キュー設定部９５は、動き量記憶部９４から時刻情報を読み出すときにこの時刻情報と対になっているスタッフの識別符号も読み出し、対応付けてキューインデックスに記憶させる。

尚、キューインデックスには、この時刻情報とスタッフの識別符号の他、動き量、及び算出元となった映像フレームの出所、即ち撮影した撮影装置２の識別情報や閾値の種類等を含むプロパティを一つのフラグに記憶させるようにしてもよい。

図２２は、Ｓ４３〜Ｓ４４においてキュー設定部９５が動きの激しい時刻を記憶させる態様の変形例を示すグラフである。

図２２に示すように、閾値は、入力装置７を用いたオペレータの操作に応じて生成されるようにしてもよい。入力装置７からは、閾値を設定する時間軸上の範囲と倍率を指定する操作信号が入力される。キュー設定部９５は、指定された時間軸上の範囲における動き量の平均値を算出し、平均値にこの指定された倍率を掛けて閾値を生成する。キュー設定部９５は、指定された時間軸上の範囲においてこの生成した閾値を用いる。時間軸上の範囲が複数指定された場合には、それぞれの範囲について指定された倍率を用いて、それぞれの範囲について閾値を生成する。

この変形例では、キュー設定部９５は、動き量を順次読み出す際に時刻情報も読み出し、読み出した時刻情報が含まれる時間軸上の範囲に対応する閾値を用いて、読み出した動き量と閾値とを比較する。

図２３は、この医療現場分析システム９で行われた動き量計測及びキュー設定に基づき、映像を再生させる動作を示すフローチャートである。

頭出し制御部９７は、入力装置７を用いて映像を再生する操作がなされると（Ｓ５１）、キューインデックス記憶部９６からキューインデックスを読み出し（Ｓ５２）、このキューインデックスに含まれている時刻情報とスタッフの識別情報とに対応する箇所にキューマークを付したグラフを生成し（Ｓ５３）、このグラフを表示制御部５５に表示させる（Ｓ５４）。

頭出し制御部９７は、グラフ上のキューマークが入力装置７を用いて指定されると（Ｓ５５）、指定されたキューマークに対応する時刻情報をキューインデックス記憶部９６から読み出し（Ｓ５６）、表示制御部５５に出力する。表示制御部５５は、入力された時刻情報が対応付けられた映像フレームを読み出し（Ｓ５７）、その映像フレームからスタッフを識別表示した映像をスタートさせる（Ｓ５８）。

図２４は、頭出し制御部９７が表示制御部５５に表示させたキューインデックスの表示態様を示す模式図である。

図２４に示すように、頭出し制御部９７は、キューインデックス記憶部９６に記憶させたキューインデックスＱｉから、横軸を時間軸とし縦軸を各スタッフの識別符号としたグラフを生成し、グラフ形式で表示装置６に表示させる。キューインデックスＱは、例えば表示されている映像の下側に並べて表示される。

頭出し制御部９７は、キューインデックス記憶部９６に記憶されたスタッフの識別符号と時刻情報との対を読み出し、この読み出したスタッフの識別符号と時刻情報とに対応する箇所にキューマークＱｍを表示させる。また、頭出し制御部９７は、関心領域内情報を読み出し、関心領域内情報に含まれるスタッフの識別符号と時刻情報の分布範囲とに対応する箇所に太線矢印Ａｒを引き、関心領域内に存在したことを識別表示させる。

また、頭出し制御部９７は、キューインデックスＱｉに動き量も記憶されている場合には、所定時間間隔毎に全てのスタッフの動き量や関心領域内にいるスタッフの動き量を合算し、合算した動き量を時間軸にプロットした全体量グラフＧも表示させる。

この表示装置６に表示された表示画面によって、例えば、時刻Ａでカメラ助手の太線矢印Ａｒが途切れていることから、カメラ助手がこの時刻Ａで関心領域から外れた、すなわち持ち場を離れたことがわかる。また、時刻Ｂで全体量グラフＧが激しい波形を描き、各スタッフにキューマークＱｍが表示され、かつ外科医が新たに加わっていることから、この時刻Ｂで医療事故につながりうる何らかの事象が起き、外科医が応援に駆け付けたことが推定できる。また、時刻Ｃで執刀医の太線矢印Ａｒが途切れて、そのごの太線矢印Ａｒが存在しないことから、執刀医が時刻Ｃで医療現場を離れたことがわかり、手術がおおかた完了したことが推測される。

従って、この時刻Ｂ上のキューマークＱｍを指定し、この時刻Ｂから映像を頭出し再生することにより、何らかの事象について検証することが可能となる。また、このとき、映像上で執刀医や外科医の動きを観察する場合、執刀医や外科医を表す識別情報が指し示している画素を含むスタッフが執刀医や外科医であることを映像上で即座に認識することができる。

このように、医療現場で事故に繋がりうる何らかの事象が発生した場合、緊急の対処を行うためにスタッフの動きは激しくなる。例えば手術中に大きな出血が起きた場合、外科医は急いで吸引(場合によっては洗浄)し、出血箇所を特定し止血を行う。その際、必要となる余分なガーゼなどは器械台看護師から手渡しで受け取る。また、麻酔医は血圧低下が起きているかどうかを確認し、また、直接患者に触れて診断の上、薬剤カートから昇圧剤を取り出し、必要に応じて調剤の上、チューブ操作を行って投与する。こうした作業は、緊急を要することが多いために通常作業時に比べてスタッフの動きが多くなる。よって、この実施形態に係る医療現場分析システム９によると、映像記録の中からスタッフの動きの量を計測するため、その動きに量から映像上のどの時間帯を重点的に検証すればよいか把握しやすくなり、効率的に映像分析を行うことができる。

医療現場を記録して表示する医療現場表示システムの機能構成を示す図である。識別部と位置計測部の構成の具体例を示すブロック図である。映像加工装置の構成の具体例を示すブロック図である。計測により得たスタッフの識別及び存在位置の情報を示す図である。座標変換により得たスタッフの映像上の位置を表す情報を示す図である。医療現場表示システムの動作を示すフローチャートである。撮影装置と位置計測部の受信側である超音波センサの設置状態を示す模式図である。撮影系座標とその映像系座標との関係を示す図である。医療現場表示システムで表示される映像を示す図である。医療現場表示システムで表示される映像の変形例を示す図である。スタッフデータベースのデータ構造を表す図である。医療現場分析システムの構成を示す図である。医療現場分析システムの動き量計測及びキュー設定の動作を示すフローチャートである。関心領域を表示画面上に表示した態様を示す模式図である。表示された関心領域に対応してこの関心領域の範囲を示す情報を取得する態様を示した模式図である。動き量を計測する対象となるスタッフを映像上で抽出する過程を示した模式図である。抽出した各映像フレームのスタッフの画像領域からスタッフの動き量を計測する過程を示した模式図である。動き量記憶部に記憶させた動き量を表すデータ構成の模式図である。動き量計測部による動き量計測の変形例を示す模式図である。動きの激しい時刻を記憶する態様を示すグラフである。キューインデックスを示すデータ構造図である。動きの激しい時刻を記憶する態様の変形例を示すグラフである。動き量計測及びキュー設定に基づき、映像を再生させる動作を示すフローチャートである。キューインデックスの表示態様を示す模式図である。

符号の説明

１医療現場表示システム
２撮影装置
２１ＲＦタグ
２２無線送受信部
３識別部
３１超音波発振器
３２超音波センサ
３３計測系位置計算部
４位置計測部
５映像加工装置
５１映像記録部
５２位置記憶部
５３映像系位置計算部
５４映像系位置記憶部
５５表示制御部
５６スタッフデータベース
６表示装置
７入力装置
８１信号発信体
８２発信体計測装置
８３制御信号発信部
９医療現場分析システム
９１医療現場情報記憶部
９２ＲＯＩ設定部
９３動き量計測部
９４動き量記憶部
９５キュー設定部
９６キューインデックス記憶部
９７頭出し制御部

Claims

医療現場を撮影する撮影手段と、
前記撮影手段で撮影された映像を表示する表示手段と、
医療現場内の複数のスタッフに装着される信号発信体と、
前記信号発信体が発信する信号に基づき、前記信号発信体の位置を計測すると共にその信号発信体を装着したスタッフを識別する発信体計測手段と、
前記発信体計測手段により計測された位置と前記映像内の位置との関係に基づき、前記信号発信体の位置を前記発信体計測手段の計測座標系から前記映像の映像座標系に変換する計算を行う映像上位置計算手段と、
前記映像上位置計算手段で計算された位置に対応させて前記信号発信体が装着された前記スタッフを識別する情報を前記映像に重ね合わせて前記表示手段に表示させる識別表示制御手段と、
を備えること、
を特徴とする医療現場表示システム。
前記信号発信体は、
装着しているスタッフの識別符号を記憶し、記憶している識別符号を発信し、
前記発信体計測手段は、
前記信号発信体から発信された前記識別符号を受信することにより信号発信体を装着しているスタッフを識別すること、
を特徴とする請求項１記載の医療現場表示システム。
前記信号発信体は、
記憶している識別符号と同一の符号を受信したときに信号を発信し、
前記発信体計測手段は、
前記識別符号を発信して、一の信号発信体がこの識別符号に呼応して発信した信号を受信することによりその信号発信体を識別しつつその位置を計測すること、
を特徴とする請求項２記載の医療現場表示システム。
前記撮影手段に映るように医療現場に設置され、前記発信体計測手段で位置の計測が可能なマーカをさらに備え、
前記映像上位置計算手段は、
前記マーカの前記発信体計測手段により計測された位置と前記映像内の位置との関係に基づき、前記信号発信体の位置を前記発信体計測手段の計測座標系から前記映像の映像座標系に変換する計算を行うこと、
を特徴とする請求項１記載の医療現場表示システム。
前記識別表示制御手段は、
前記信号発信体が発信した前記スタッフの識別符号を含む、前記信号発信体が装着されたスタッフを識別する情報を記憶するスタッフデータベースを含むこと、
を特徴とする請求項１記載の医療現場表示システム。