JP5197188B2 - イベント識別システム - Google Patents

Description

本発明は、例えば手術等の一連の作業行為の中で実行される動作やその中で発生する事象等に関する情報を時系列に記憶し、これにより前記一連の作業行為の事後分析、検証、更には当該行為手順の最適化等に有効に活用可能なイベント識別システムに関する。

医療の現場を例にとると、例えば手術等の医療行為が行われた場合、当該医療行為に関わった医師等により、その詳細が文書として記録され、カルテ等に添付されて保管される。このようにして作成された記録簿には、手術中の様々な機器から出力されたデータを示すチャートや写真などが添付されることも多い。

このため、当該医療行為を行った後で、それら医療行為の手順や内容を検証したり再現しようとする場合、上述した記録簿を閲覧することが中心となる。しかしながら、上述した記録簿には、多種多様なデータが、時間の順序とは無関係に（非時系列的に）記載されていることが多い。また、前記記録簿に全ての情報が記録されているとは限らない。すなわち、医療行為に関わった情報が一元化されずに、関係各部署に個別に保管されているような場合も多い。

例えば、比較的簡単であると考えられている手術であっても、心電図、呼吸、血圧など患者の生体状況を観察するモニター情報の他にも、麻酔モニター（麻酔量、投入レート）や電気メス（電圧、時間）等、患者に対して施す医療行為に係る装置は数多い。さらに、術者が施す医療行為として、例えば器具の利用や投薬等の様々な医療行為に係る情報が複雑に絡むことが多い。

このため、医療知識に通じている医師等であっても、医療行為の一部始終を事後にくまなく確認・検証するには相当な時間を掛けて情報を集めて分析しなければならず、その手間や要する時間は膨大である。また、必要と思われる情報を全て集めることは容易ではなく、当該手術の中心となる執刀医以外のスタッフの行動や手術室の環境の変化等、記録されていない情報が重要な意味を持つことも多い。すなわち、行われた手術等の医療行為を検討し、より最適な手順を構築しようと試みても、検討材料となる情報に限りがある為、かかる最適化の実現には多大な労力が必要である。

以上説明したように、例えば医師等の専門家であっても、医療行為全体を事後に確認・検証することは非常に困難である。ましてや、通常、医療行為に馴染みのない一般人が、前記記録簿等から医療行為を事後に正確に読み取ることは殆ど不可能に近いというのが実情である。

そこで、例えば手術や治療等の医療行為を漏らさず且つ客観的に確認・検証する為に、上述したような記録簿作成に加えて、当該医療行為の現場で遣り取りされた会話を録音し、更には当該医療行為の現場の様子をビデオカメラ等で撮影し、録音で取得した音声や撮影で取得した映像を併用する技術が提案されている。

しかしながら、このように音声や映像を併用する場合であっても、録音で取得した音声や撮影で取得した映像と、上述した記録簿に記録された各々の医療行為と、を時間軸上で連結するのに要する作業量は膨大であり、非常に時間と労力とを要する。このような問題は、例えば手術等の医療行為中における術者又は医療スタッフ等によるそれぞれの医療行為を時間軸上で整理して捉えるという概念が欠如している為に生じる問題である。

このような事情に鑑みて、例えば特許文献１に、次のような技術が提案されている。すなわち、特許文献１には、手術に関わる情報を検出するセンサと、該センサにより検出された情報を時間情報に連結して保管するサーバと、該サーバにより保管される情報を時系列に表示する表示装置と、を備え、前記サーバは、保管された情報を時間情報に基づいて分析可能な機能を有する医療情報システムが開示されている。

この特許文献１に開示された医療情報システムによれば、手術や治療等の医療行為に関わる殆ど全ての情報を時間経過に沿って記録できる。さらに、それら記録した情報は時系列に沿った表示で提示され、時間情報に基づいた医療行為の分析が容易に可能となる。
特開２００４−２８０４５５号公報

ところで、例えば手術等の医療行為を分析する場合には、術者の動きを可能な限り妨げないような装置から成るシステムが好ましい。換言すれば、各種情報の収集の為に用いる装置はできるだけ簡易な装置であることが好ましい。

さらに言えば、当該医療行為に携わる人間の呼吸に係るデータを収集することができれば、当該医療行為の分析をより精密なものとすることができる。しかしながら、当業者には周知の事実であるが、人間の呼吸に係るデータを収集する為には、非常に大掛かりな装置を要する。従って、このようなシステムは未だ実現していない。なお、特許文献１に開示されている技術は、これらの問題を解決する技術ではない。

本発明は、前記の事情に鑑みて為されたものであり、例えば手術等の一連の作業行為において、いつ誰が何を行ったかを、簡易な装置構成で且つ時系列に沿って一覧で把握可能なように記録するイベント識別システムを提供することを目的とする。

前記の目的を達成するために、請求項１に記載の本発明によるイベント識別システムは、
一連の作業行為の中で所定の事象が生じた時刻を検索可能に記録するイベント識別システムであって、
前記一連の作業行為に係る者の心拍音を含む音響データを収集する音響データ収集手段と、
前記音響データ収集手段によって収集された前記音響データから、前記心拍音に係るデータを抽出する心拍音データ抽出手段と、
前記心拍音データ抽出手段によって抽出された心拍音データに基づいて、前記一連の作業行為に係る者の呼吸に関する呼吸情報を生成する呼吸情報生成手段と、
前記呼吸情報生成手段によって生成された前記呼吸情報に基づいて、前記一連の作業行為の中で前記所定の事象が生じた時刻を判定且つ記録するイベント識別手段と、
を具備することを特徴とする。

前記の目的を達成するために、請求項８に記載の本発明によるイベント識別システムは、
一連の作業行為が行われる現場を撮影した映像、前記現場に存在したスタッフを識別する情報、及び前記映像内での前記スタッフの位置を特定する情報、を時系列で記憶する現場情報記憶手段と、
前記スタッフの心拍音を含む音響データを収集する音響データ収集手段と、
前記音響データ収集手段によって収集された前記音響データから、前記心拍音に係るデータを抽出する心拍音データ抽出手段と、
前記心拍音データ抽出手段によって抽出された心拍音データに基づいて、前記スタッフの呼吸に関する呼吸情報を生成する呼吸情報生成手段と、
前記呼吸情報生成手段によって生成された前記呼吸情報に基づいて、前記一連の作業行為の中で所定の事象が生じた時刻を判定するイベント識別手段と、
前記イベント識別手段によって前記所定の事象が生じたと判定された時刻を記憶するキューインデックス記憶手段と、
前記キューインデックス記憶手段によって記憶された時刻に対応してキューマークを表示させ、オペレータにより指定されたキューマークに対応する時刻から前記映像を表示させる頭出し表示制御手段と、
を具備することを特徴とする。

前記の目的を達成するために、請求項９に記載の本発明によるイベント識別システムは、
一連の作業行為の中で所定の事象が生じた時刻を検索可能に記録するイベント識別システムであって、
前記一連の作業行為が行われる現場を撮影して映像情報を取得する撮影手段と、
前記一連の作業行為に係る者に装着され、個体を識別する為の個体識別情報を含む信号である個体識別信号を送信する送信装置と、
前記個体識別信号の発信場所を特定する為の空間分解能を有し、前記送信装置から送信される個体識別信号を受信する受信手段と、
前記撮影手段によって取得した前記映像情報と、前記受信手段によって受信した前記個体識別信号の発信場所とを対応付ける統括手段と、
各々の前記送信装置毎に付与された前記個体識別情報と、当該送信装置を装着する者に関する個人特定情報と、を対応付ける為の登録装置と、
前記一連の作業行為に係る者の心拍音を含む音響データを収集する音響データ収集手段と、
前記音響データ収集手段によって収集された前記音響データから、前記心拍音に係るデータを抽出する心拍音データ抽出手段と、
前記心拍音データ抽出手段によって抽出された心拍音データに基づいて、前記一連の作業行為に係る者の呼吸に関する呼吸情報を生成する呼吸情報生成手段と、
前記呼吸情報生成手段によって生成された前記呼吸情報に基づいて、前記一連の作業行為の中で前記所定の事象が生じた時刻を判定するイベント識別手段と、
を具備することを特徴とする。

本発明によれば、例えば手術等の一連の作業行為において、いつ誰が何を行ったかを、簡易な装置構成で且つ時系列に沿って一覧で把握可能なように記録するイベント識別システムを提供することができる。

［第１実施形態］
以下、図面を参照して、本発明の第１実施形態に係るイベント識別システムについて説明する。なお、ここでは説明の便宜上、本第１実施形態に係るイベント識別システムによって分析する対象の作業行為として手術を例に説明する。

図１は、本第１実施形態に係るイベント識別システムの一構成例を示すブロック図である。同図に示すように、イベント識別システムは、音響データ収集手段３００と、フィルタ手段５００と、心拍音データ処理手段７００Ａと、心拍音除去データ処理手段７００Ｂと、を具備する。

前記音響データ収集手段３００は、本第１実施形態に係るイベント識別システムによって分析する対象の作業行為に係る音響データを収集する為の手段である。

具体的には、前記音響データ収集手段３００は、例えば図２に示すように、当該分析対象の作業行為に係る者が装着する接触型マイクロフォン（ｓｋｉｎ−ｃｏｎｔａｃｔ ｍｉｃｒｏｐｈｏｎｅ）３００Ａと、前記接触型マイクロフォン３００Ａによって収集された音響データを後述する受信機３００Ｃへ送信する為の送信機３００Ｂと、前記送信機３００Ｂによって送信された音響データを受信する受信機３００Ｃと、を有する。

より具体的には、前記接触型マイクロフォン３００Ａは、いわゆる電子聴診器に用いられている技術を利用したマイクロフォンであり、電子聴診器と異なる点は被験者に装着させて使用する点である。

なお、当然ながら、図２に示す音響データ収集手段３００の構成はあくまでも一例である。従って、例えば前記送信機３００Ｂを、前記フィルタ手段５００、前記心拍音データ処理手段７００Ａ、及び前記心拍音除去データ処理手段７００Ｂと一体的に構成してもよい。このように構成する場合、前記送信機３００Ｂによって送信するデータは、後述する前記フィルタ手段５００、前記心拍音データ処理手段７００Ａ、及び前記心拍音除去データ処理手段７００Ｂによる分析処理後のデータである為、送信に係るデータ量を小さくすることができる。

また、前記送信機３００Ｂと前記受信機３００Ｂとの間で送受信するデータは、アナログデータであってもデジタルデータであっても良い。また、前記送信機３００Ｂによって送信する前に、当該データに所定の圧縮処理等の前処理を施しても勿論よい。

前記フィルタ手段５００は、前記音響データ収集手段３００によって収集した音響データに対して所定のフィルタ処理を施し、接触型マイクロフォン３００Ａの装着者の心拍音に係るデータである心拍音データを抽出して心拍音データ処理手段７００Ａに出力する。また、前記フィルタ手段５００は、音響データ収集手段３００によって収集した音響データのうち前記心拍音データを除去したデータを生成し、心拍音除去データとして心拍音除去データ処理手段７００Ｂに出力する。

詳細には、心拍音に係る音響データは、非常に低周波（具体的には、５０Ｈｚ前後の周波数を多く含んでいる）であり、例えば前記音響データ収集手段３００によって収集した音響データのうち例えば２００Ｈｚ以上の周波数をカットすることで、心拍音に係る音響データを抽出することができる。従って、前記フィルタ手段５００は、このようなフィルタ処理を前記音響データに施すことで、前記心拍音データを抽出する。

なお、前記フィルタ手段５００は、上述した処理によって前記音響データから前記心拍音データを抽出する際に、該抽出に係るデータが、心拍音データとして特定の周期を有するデータであることの確認処理を行う。

すなわち、前記フィルタ手段５００は、心拍音データの抽出処理過程において、通常のパターン認識技術により、当該抽出処理に係るデータが心拍音データとして妥当なデータであるか否かを確認処理している。

前記心拍音データ処理手段７００Ａは、前記心拍音データについて分析処理を行う手段である。なお、この心拍音データ処理手段７００Ａによる具体的処理内容は後述する。

前記心拍音除去データ処理手段７００Ｂは、前記心拍音除去データについて分析処理を行う手段である。なお、この心拍音除去データ処理手段７００Ｂによる具体的処理内容は後述する。

以下、図３乃至図９を参照して、前記心拍音データ処理手段７００Ａによる心拍音データの分析処理について詳細に説明する。

まず、前記心拍音データ処理手段７００Ａは、前記音響データ収集手段３００によって収集され前記フィルタ手段５００によって抽出された前記心拍音データに基づいて、後述する処理によって“Ｒ−Ｒ間隔と略同一の間隔”を算出する。

具体的には、前記心拍音データの波形における一周期は、図３に示すように、心電図により取得した波形から算出されるＲ−Ｒ間隔と略同一の期間である。すなわち、心電図により取得した波形における最も振幅が大きい波の発生タイミング間隔は、前記心拍音データにおける最も振幅が大きい波の心拍発生タイミング間隔と略同一の間隔である。

この事実を利用して、本第１実施形態においては、前記心拍音データに基づいて“Ｒ−Ｒ間隔と略同一の間隔”を算出する。

詳細には、上述した“Ｒ−Ｒ間隔と略同一の間隔”は、例えば図３に示す時刻ｔ１及び時刻ｔ２（共に、所定の心拍発生タイミング）を用いて、
ｔ２−ｔ１
と表現することができる。以降、この時間間隔を“瞬間時間間隔”と称する。

そして、この瞬間時間間隔から導出される心拍数（瞬間心拍数＝［拍／分］）は、
６０／（ｔ２−ｔ１）
と表現することができる。

つまり、上述した瞬間時間間隔と瞬間心拍数とは、当然ながら互いに逆数の関係にある。そして、この瞬間心拍数と呼吸とは相関関係を有することが知られている。本第１実施形態においてはこの事実を利用して、前記心拍音処理データ７００Ａは、瞬間心拍数の時間変化に基づいて、前記接触型マイクロフォン３００Ａの装着者の呼吸状態を推定処理する。以下、瞬間心拍数の時間変化を示すグラフから、呼吸状態を推定する方法の一例を説明する。

まず、瞬間心拍数の時間変化を示すグラフは、図４に示すように、常に（通常の呼吸をしているだけで）生理的変動を示すグラフとなる。なお、呼吸状態の変化が、実際に瞬間心拍数の時間変化として表れるまでには、若干の遅延時間が存在する（図４に示す波線参照）。

詳細には、瞬間心拍数の時間変化を示す波形の振幅からは、呼吸の深さを推定することが可能である。すなわち、図５に示すように、波形の振幅が大きい期間は、例えば深呼吸のような深い呼吸が行われている期間であると推定することができる。他方、呼吸が停止している期間は、図６に示すように波形の振幅は極めて小さくなる。

ところで、図７は、上述したような心拍数の時間変化を示すグラフから、呼吸の頻度及び呼吸の深さを読み取り、これらのデータを同一の時間軸で対応させてグラフ化した図である。前記心拍音データ７００Ａは、このような呼吸の頻度及び呼吸の深さのデータに基づいて、例えば次のような呼吸状態の推定処理を行う。

（推定例１）呼吸の頻度が高く且つ呼吸の深さが浅い期間は、精密な作業を行っていない期間であると推定できる。

（推定例２）呼吸の頻度が小さく且つ呼吸が浅い期間は、精密な作業を行っている期間であると推定できる（例えば、１０秒間乃至３０秒間程度、Ｒ−Ｒ間隔と略同一の間隔の変動がほとんど無ければ、呼吸を止めていると推定することができる。そして、呼吸を止めている時間の総計を、例えば１分乃至５分単位で計測すること（換言すれば頻度を測ること）によって、精密で慎重な作業を行っている状態であると推定することができる)
（推定例３）呼吸の頻度が高く且つ呼吸の深さが深い期間は、作業中ではなく休憩中の期間であると推定できる。

図８は、時間軸を時間（ｈｏｕｒ）単位で取った場合の瞬間心拍数の時間変化のグラフを示す図である。ここで、或る時間における瞬間心拍数の数値としては、図８に示すように、対応する時間帯における瞬間心拍数の平均値を用いればよい。

時間軸を時間（ｈｏｕｒ）単位で取った場合の瞬間心拍数の時間変化からは、より大きなトレンドで呼吸状態の変化を推定することが可能となる。例えば、同図に示す時間Ｔ１近傍では瞬間心拍数の急激な変化が生じている。このことから、当該時間Ｔ１に対応する時間帯において被験者にとって精神的／肉体的に大きな影響を与える事象が起こったと推定することができる。

図９は、上述した推定処理によって、呼吸が停止していると推定された頻度を縦軸に取り且つ横軸に時間を取ったグラフ、すなわち呼吸停止頻度の時間変化のグラフを示す図である。このような呼吸停止頻度の時間変化を参照することで、より正確なイベント識別を行うことが可能となる。

以上説明したように、本第１実施形態においては、従来は非実用的な大掛かりな装置を用いなければ不可能であった呼吸状態を読み取ることを、上述したような非常に簡易な装置構成から成るシステムによって可能とした。

具体的には、本来、呼吸状態を直接測定する為には、動作のある人間には装着させられないような大掛かりな装置を被験者に装着させなければならない。しかしながら、単に呼吸状態のみを判定する為には、そのような大掛かりな装置を用いて、例えば“何時何分に何ミリリットルの呼吸を行ったか”等の定量的に詳細な情報は不要である。本第１実施形態においては、この点に着目し、上述した心拍音データを分析処理することで、非常に簡易な装置構成から成るシステムによって呼吸状態の推定を可能とした。

そして、呼吸状態の推定処理を、イベント識別の一手段として用いることで、イベント識別精度を向上させた。

以下、図１０を参照して、前記心拍音除去データ処理手段７００Ｂによる心拍音データの分析処理について詳細に説明する。

図１０は、縦軸に周波数ωを取り且つ横軸に時間ｔを取ったグラフ、すなわち前記心拍音除去データを時間軸に沿って周波数マッピングしたグラフの一例を示す図である。このような前記心拍音除去データの周波数マッピングに基づいて、前記心拍音除去データ処理手段７００Ｂは、例えば次のような推定処理を行うことができる
（推定例１）通常の会話に対応する周波数帯域に多くの信号が表れている時間帯には通常の会話が為されている時間帯であると推定することができる。

（推定例２）緊急時の発声に対応する周波数帯に信号が表れている場合には、その時間帯に何らかの緊急事態が生じたと推定することができる。すなわち、このように周波数分析を行うことによって、発話であるか雑音であるか否かを識別することができる。具体的には、発話については高周波成分をほとんど含まず、且つ基本周波数(フォルマント）を含んでいる等の特徴が存在する。より詳細には、発話をしている時間の総計を例えば１０秒乃至３０秒単位で計測すること（換言すれば頻度を測ること）によって、会話を行っている状態を検出することができる。

（推定例３）雑音については高周波成分が大きく、且つ自己相関がほとんどない等の特徴が存在する為、このような特徴から雑音を推定することができる。より詳細には、雑音は衣服等が前記接触型マイクロフォン３００Ａを擦る等して生じることが多く、雑音がある時間の総計を例えば１０秒乃至３０秒単位で計測すること（換言すれば頻度を測ること）によって、身体の動きの程度を計測することができる。

（推定例４）
図１０に示す信号５１のように、低周波から高周波まで非常に広範囲に渡って表れている信号は一般に衣擦れの音である場合が多く、このような時間帯には、被験者が移動等している場合が多いと推定することができる。

（推定例５）例えば３００〜１０００Ｈｚ付近の周波数帯は人間の声に対応する周波数帯であり、このような周波数帯に多くの信号が表れている時間帯は会話が行われている時間帯であると推定することができる。

（推定例６）会話が行われている時間帯は一般に心拍数の変化は少なく、呼吸の変化も少ない。従って、このような時間帯は精密作業してない時間帯であると推定することができる。

（推定例７）図１０に示すような周波数マッピングのグラフにおいて表れている信号の濃度が濃い時間帯は、単純に何らかの事態が生じた時間帯であると推定することができる。

図１１は、上述した処理によって会話が行われていると推定された頻度の時間変化のグラフを示す図である。換言すれば、図１１は、会話が行われた時間のパーセンテージの時間変化のグラフを示す図である。このような会話頻度の時間変化を参照することで、より正確なイベント識別を行うことが可能となる。具体的には、このグラフを参照することで、作業状態の変化時刻を容易に検出することができる。但し、ある程度の時間幅を以って推定をすることが好ましい。

以下、図１２Ａ及び図１２Ｂを参照して、多変量のパターン認識技術を利用した総合判定処理によるイベント識別について説明する。図１２Ａ及び図１２Ｂは、多変量のパターン認識技術を利用した総合判定処理によるイベント識別の概念を示す図である。すなわち、上述した処理によって、イベント識別に利用可能な複数の情報を取得した後、それら複数の情報を用いて次の様な処理を行うことで、より精密なイベント識別の処理を行ってもよい。

なお、ここでは説明の便宜上、変量の数が３つの場合を例にして、多変量のパターン認識技術を利用した総合判定処理によるイベント識別について説明する。しかしながら、実際には変量の数は３つに限られないことは勿論である。

まず、第１の変量として例えば“呼吸停止頻度”を設定し、第２の変量として例えば“呼吸停止頻度の時間変化”を設定し、第３の変量として例えば“衣擦れが生じた頻度”を設定する。そして、所定の時間帯におけるこれら変量について、図１２Ａに示すような三次元空間上においてプロットしていき、最も多くプロットされた領域についてパターン分類を行う。

なお、ここでは説明の便宜上、図１２Ｂに示すように各々の変量について、所定の閾値を境にして“大”又は“小”の２種に分類する場合を例に説明する。

すなわち、図１２Ａ及び図１２Ｂに示す例では、第１の変量である“呼吸停止の頻度”は“小”であり、第２の変量である“呼吸停止頻度の時間変化”は“大”であり、第３の変量である“衣擦れが生じた頻度”も“大”である。この場合、当該時間帯を、図１３に示す例では“パターンＡ”に分類する。なお、この“パターンＡ”は、当該時間帯が“作業状態の変化が検出された時間帯”であることを示している。

そして、このように“作業状態の変化が検出された時間帯”であると判定された時間帯（時刻）に所定のマーキングを付せば、該マーキング前後の時間帯の音声や映像等のみを確認するだけで、問題が生じた場面を素早く且つ容易に検出することができる。

上述したように、複数の変量に基づいてイベント識別の処理を行うことで、より精度の高い推定処理を行うことができる。

なお、以上説明した推定処理によって取得した推定結果は、不図示の記憶手段に記憶する。前記心拍音データ処理手段７００Ａ及び前記心拍音除去データ処理手段７００Ｂに、前記推定処理結果を記憶する為の記憶手段を設けてもよい。

以上説明したように、本第１実施形態によれば、例えば手術等の一連の作業行為において、いつ誰が何を行ったかを、精密に且つ時系列に沿って容易に一覧で把握することを簡易な装置構成で実現するイベント識別システムを提供することができる。従って、例えば１０時間以上に及ぶ長大な作業行為の記録全てを確認せずとも、所望のイベントが生じた時間帯のみを検出して確認することが可能となる。

本第１実施形態に係るイベント識別システムを適用可能な作業行為としては、具体的には、例えば手術、及び飛行機や自動車や電車等の操縦等を挙げることができる。例えば飛行機や自動車や電車等の操縦において、本第１実施形態に係るイベント識別システムを適用すれば、事故が起きた際に、当該事故の何秒前から運転手が危険を感じていたか等を正確に知ることができる。また、実際の事故等に至らなかった場合であっても、本第１実施形態に係るイベント識別システムを適用することで一連の作業行為における発生イベントは全て記録且つ分析される為、従来のように所謂ヒヤリハットが報告されずに看過されてしまい、その後に実際の事故等に繋がってしまうという問題を解決することができる。

本第１実施形態に係るイベント識別システムによれば、各種情報を時系列に沿って記録する為、前記に例示したような作業行為において、例えば異常状態等の何らかのイベントが発生した時間帯を一目瞭然で把握することができる。

また、以上説明したように、本第１実施形態に係るイベント識別システムによれば、図１３に示すように呼吸停止頻度、会話頻度、及び動作頻度についての経時的な情報を得ることができる。つまり、前記接触型マイクロフォン３００Ａの装着者の作業状態が経時的に一覧表示によって提示される。

（変形例）
さらに、本第１実施形態に係るイベント識別システムに、音声認識技術を組み合わせることで、或る作業行為中に発される特定の重要なキーワードが、当該作業行為が行われた全体の中でどの時点に発されたかを一覧表示することができる。

なお、音声認識技術を用いた手術の分析等は過去に試みられている技術であるが、成功に至っていない。成功に至っていない理由としては、従来の音声認識技術では、環境雑音や他の話者の発話等が、分析対象の音響データに混入してしまうと、音声認識の成功率が極めて低くなる為である。更には、例えば手術室や作業場などでは反響音が大きかったり、器械等が生じる雑音が大きい為、音声認識を正確に行うこと自体が困難である。

ところで、従来の音声認識技術では、音声認識対象語彙の辞書に存在するテンプレートとのマッチングによる音声認識を行っている。しかしながら、手術等の作業行為中においては、ほとんどの場合、発話としては符牒や掛け声（“それ”、“はい”、“やって”等）のみで意思疎通ができてしまう。そして、このような掛け声等は、当然ながら冗長性が少なく、上述したテンプレートとのマッチングを高精度で行うことはできない。このような事情も、音声認識の成功率が低いことの一因として挙げることができる。

さらに言えば、従来の音声認識技術においては、音声データに基づいてテキスト（文字列）データを作成することを目的としている。しかしながら、上述したような掛け声等では音声認識が成功しても意味のあるテキストデータは得られない。

一方、本第１実施形態においては、上述したように被験者に直接装着させる接触型マイクロフォン３００Ａを利用することで、反響音や他の話者や機器等に起因する雑音による悪影響を非常に少なくすることができる。この為、高品質の音声データを得ることができる。つまり、本第１実施形態に係るイベント識別システムと、既存の音声認識技術とを組み合わせることで、或る程度の正確さで重要なキーワードを拾い出す（抽出する）ことが可能となる。

さらに、例えば手術等の作業においては、例えば“待って”、“危ない”、“止めろ”等の重要な意味を有する発話については特に明瞭に発話されることが多い。従って、このような重要な意味を有する発話（キーワード）音声認識で発見できる見込みが比較的高い。

そこで、本変形例では、発話の内容を認識することを目的にするのではなく、重要な発話が行われた可能性が高い時刻又は時間帯を検出することを目的として、既存の音声認識技術を利用する。つまり、既存の音声認識技術を本第１実施形態に適用することで、重要な発話に係るキーワードを検出する。なお、このようにして検出した箇所にマーク（いわゆるキュー）を付して、後の検索性を高めても勿論よい。

［第２実施形態］
以下、本発明の第２実施形態に係るイベント識別システムについて説明する。詳細は後述するが、本第２実施形態においては、後述する医療現場表示システムに前記第１実施形態に係るイベント識別システムを適用する。これにより、時刻を正確に合わせて収集した多様なセンサの情報に基づいて作業状態を示す情報を抽出し、該抽出した情報に基づいて、映像等の記録のうち重要な部分を推定してマーク（いわゆるキュー）を付することができる。以下、詳細に説明する。

図１４は、医療現場を記録して表示する医療現場表示システム１０１の機能構成を示す図である。

医療現場表示システム１０１は、手術室等の医療現場を映像によって記録するとともに、医療現場のスタッフが誰であるかをその存在位置と共に識別し、記録した映像上で医療現場内のスタッフを識別表示するシステムである。医療現場を映像によって再現して医療の質及び安全向上に関わる分析等を行うために用いられる。

この医療現場表示システム１０１は、撮影装置１０２と、識別部１０３と、位置計測部１０４と、映像加工装置１０５と、表示装置１０６と、入力装置１０７とにより構成されている。撮影装置１０２と識別部１０３と位置計測部１０４と入力装置１０７は、映像加工装置１０５に対して信号入力が可能に接続されている。映像加工装置１０５は、表示装置１０６に対しては信号入力が可能に接続されている。

撮影装置１０２は、医療現場に設置されており、医療現場の映像を撮影する。撮影装置１０２は、複数台設置される場合もある。この撮影装置１０２は、例えばビデオカメラである。識別部１０３は、医療現場内に存在するスタッフが誰であるかを識別する。位置計測部１０４は、識別部１０３でその存在が確認されたスタッフの位置座標を識別部１０３の設置位置を原点とした計測系で計測する。映像加工装置１０５は、位置計測部１０４で計測された位置が映像上のどの画素に対応するか計算し、識別部１０３で識別されたスタッフのスタッフ識別情報をこの計算された画素に対応させて重ね合わせた映像を生成して表示装置１０６に表示させる。表示装置１０６は、液晶ディスプレイやＣＲＴディスプレイ等のモニタである。入力装置１０７は、映像加工装置１０５に対して操作信号を入力するキーボードやマウスである。

図１５は、識別部１０３と位置計測部１０４の構成の具体例を示すブロック図である。

識別部１０３は、ＲＦタグ１２１と無線送受信部１２２とから構成される。位置計測部１０４は、超音波発振器１３１と超音波センサ１３２と計測系位置計算部１３３とから構成される。

ＲＦタグ１２１と超音波発信器１３１とは、信号発信体１８１に内蔵されている。信号発信体１８１は、スタッフに装着されている。無線送受信部１２２と超音波センサ１３２と計測系位置計算部１３３は、発信体計測装置１８２に内蔵される。この発信体計測装置１８２は、さらに制御信号発信部１８３を備える。発信体計測装置１８２は、医療現場内に設置される。

ＲＦタグ１２１は、ＩＣチップとアンテナを含み構成される。ＩＣチップには、信号発信体８１を装着しているスタッフの識別符号が予め記憶されている。スタッフの識別符号は、スタッフ毎に一意に割り当てられたＩＤであり、スタッフ識別情報の一種である。ＲＦタグ１２１は、外部から発せられた電波をアンテナで受信する。外部から電波を受信すると共振作用によってＩＣチップに供給される起電力が生じ、ＲＦタグ１２１は、ＩＣチップが記憶しているスタッフの識別符号をアンテナを介して送信する。

また、ＲＦタグ１２１は、外部からスタッフの識別符号が含まれた制御信号を受信し、受信したスタッフの識別符号がＩＣチップ内に記憶されていると、超音波発信器１３１にトリガ信号を出力する。

無線送受信部１２２は、アンテナを含み構成される。無線送受信部１２２は、ＲＦタグ１２１に起電力を生じさせる電波を発信し、またＲＦタグ１２１から送信されたスタッフの識別符号を受信する。

識別部１０３では、ＲＦタグ１２１から無線送受信部１２２にスタッフの識別符号が送信されることにより、その識別符号で表されるスタッフが特定される。

制御信号発信部１８３は、信号発信体１８１に対して制御信号を送信する。制御信号には、位置計測するスタッフの識別符号が含まれる。制御信号発信部１８３は、無線送受信部１２２がスタッフの識別符号を受信すると、その受信を契機にこの受信したスタッフの識別符号を制御信号に含めて送信する。複数のスタッフの識別符号を受信していると、混信をさけるために所定間隔おいて順次制御信号に含めて送信する。

超音波発振器１３１は、ＲＦタグ１２１からのトリガ信号の入力を契機に超音波信号を外部へ発振する。

超音波センサ１３２は、超音波発振器１３１が発振した超音波信号を受信する。この超音波センサ１３２は、所定距離離間して複数個が医療現場に設置されている。各超音波センサ１３２は、設置された位置と信号発信体１８１との距離関係によって位相差が異なった超音波を受信する。

計測系位置計算部１３３は、各超音波センサ１３２が受信した超音波の位相差から、超音波センサ１３２を原点とした計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）で表された信号発信体１８１の計測系位置情報を算出する。

位置計測部１０４は、存在が確認されたスタッフが装着している信号発信体１８１にそれが記憶しているスタッフの識別符号を送信することで、その信号発信体１８１のみを呼応させて超音波を発振させ、受信した超音波からその信号発信体１８１の位置を計算することで、位置計算された信号発信体１８１を装着しているスタッフの位置を計測系座標において取得する。

発信体計測装置１８２は、識別部３が取得したスタッフを識別する識別符号と、計測系位置計算部１３３が取得したスタッフの計測系位置情報とを対にして映像加工装置１０５に出力する。

図１６は、映像加工装置５の構成の具体例を示すブロック図である。

映像加工装置１０５は、映像記録部１５１と位置記憶部１５２と映像系位置計算部１５３と映像系位置記憶部１５４と表示制御部１５５とスタッフデータベース１５６とにより構成される。

映像記録部１５１は、例えばＨＤＤ等の磁気記憶回路やフラッシュメモリ等を含み構成される。この映像記録部１５１は、撮影装置１０２から出力された映像信号を映像フレーム毎に記憶しておく。映像信号の記録の際には、その映像フレームが撮影された時刻を表す時刻情報を映像フレーム毎に付して記憶しておく。

位置記憶部１５２は、例えばＲＡＭ等の半導体記憶回路を含み構成される。図１７に示すように、位置記憶部１５２は、発信体計測装置８２から出力されたスタッフの識別符号とそのスタッフの計測系位置情報との対を記憶しておく。このスタッフの識別符号とそのスタッフの計測系位置情報の対には、計測された時刻を表す時刻情報が付されて記憶される。

映像系位置計算部１５３は、発信体計測装置１８２から出力された計測系位置情報から、信号発信体１８１、即ち信号発信体１８１を装着しているスタッフが映像上のどの画素に映っているかを表す映像系位置情報を計算する。映像系位置計算部１５３は、まず発信体計測装置１８２から出力されたスタッフの計測系位置情報を撮影装置１０２を原点とした撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）に変換し、さらにその撮影系座標で表される空間が投影される画素（Ｘｎ，Ｙｎ）を算出することで、映像系位置情報を取得する。

映像系位置記憶部１５４は、例えばＨＤＤ等の磁気記憶回路やフラッシュメモリ等を含み構成される。映像系位置記憶部１５４は、図１８に示すように、映像系位置計算部１５３で計算して得られた映像系位置情報を記憶する。また、映像系位置記憶部１５４は、映像系位置情報の記憶に際し、算出元となった計測系位置情報に関連づけられていたスタッフの識別符号及び時刻情報を算出先の映像系位置情報に関連づけて記憶する。尚、生データとして算出元となった計測系位置情報も関連づけて記憶するようにしてもよい。

表示制御部１５５は、映像系位置計算部１５３で計算された映像系位置情報に対応させて、位置記憶部１５２に記憶されたスタッフの識別符号又はこれに加えて他のスタッフ識別情報を重ね合わせた映像を生成し、表示装置６に表示させる。

図１９は、この医療現場表示システム１０１の動作を示すフローチャートである。

撮影装置１０２は、医療現場を撮影し（Ｓ０１）、医療現場の映像を映像加工装置１０５に出力する（Ｓ０２）。映像加工装置５では、撮影装置１０２から出力された映像に対して映像フレーム毎に時刻情報を付していき（Ｓ０３）、映像を映像フレーム毎に時系列で映像記録部１５１に記憶する（Ｓ０４）。

この撮影装置１０２の医療現場の撮影と並行して、発信体計測装置１８２では、無線送受信部１２２が医療現場内に存在する信号発信体１８１に起電力を生じさせる電波を発信する（Ｓ０５）。この電波発信は一定間隔毎に行う。

発信体計測装置１８２から電波が発せられると、信号発信体１８１では、ＲＦタグ１２１がその電波を受信して共振作用によってＩＣチップに起電力を供給し、ＩＣチップに予め記憶されているスタッフの識別符号を読み出して信号として送信する（Ｓ０６）。

発信体計測装置１８２では、無線送受信部１２２がスタッフの識別符号が含まれた信号を受信すると、この受信したスタッフの識別符号を一時記憶しておく（Ｓ０７）。発信体計測装置１８２では、スタッフの識別符号を取得すると、制御信号発信部１８３がこの受信したスタッフの識別符号を含んだ制御信号を医療現場内に発信する（Ｓ０８）。

信号発信体１８１では、ＲＦタグ１２１により、この制御信号に含まれるスタッフの識別符号が予め記憶しているスタッフの識別符号と同一か否かが判断され（Ｓ０９）、受信した制御信号に含まれるスタッフの識別符号をＩＣチップに記憶していなければ（Ｓ０９，Ｎｏ）、この制御信号を破棄して処理を終了する。発信体計測装置８２による電波の発信は所定間隔毎に繰り返し行われ、その度にこのＳ０５からＳ０９の処理が繰り返される。

一方、受信した制御信号に含まれるスタッフの識別符号をＩＣチップに記憶していれば（Ｓ０９，Ｙｅｓ）、ＲＦタグ１２１は、超音波発振器１３１にトリガ信号を出力する（Ｓ１０）。超音波発振器１３１は、トリガ信号の入力を契機として超音波信号を発振する（Ｓ１１）。即ち、信号発信体１８１によるスタッフの識別符号の送信によってスタッフの存在が識別され、このスタッフの識別符号を制御信号として用いることで、存在が識別されたスタッフの信号発信体１８１のみが呼応して位置計測のための超音波信号を発振する。

発信体計測装置１８２では、信号発信体１８１から発せられた超音波信号を超音波センサ１３２が受信すると、計測系位置計算部１３３がこの受信した超音波の位相差から信号発信体１８１を装着したスタッフの計測系位置情報を算出する（Ｓ１２）。

そして、発信体計測装置１８２では、一時記憶しておいたスタッフの識別符号と計測系位置情報とを対にして映像加工装置１０５に出力する（Ｓ１３）。

映像加工装置１０５では、入力されたスタッフの識別符号と計測系位置情報の対に時刻情報を付していき（Ｓ１４）、時系列で位置記憶部５２に記憶させていく（Ｓ１５）。

映像加工装置１０５では、映像系位置計算部１５３が計測系位置情報を位置記憶部１５２から読み出して、読み出した計測系位置情報を、信号発信体１８１を装着しているスタッフが映像上のどの画素に映っているかを表す映像系位置情報に変換する（Ｓ１６）。そして、映像系位置計算部１５３は、変換元の計測系位置情報に関連づけられていたスタッフの識別符号及び時刻情報を、映像系位置情報に関連づけつつ、この映像系位置情報を映像系位置記憶部１５４に記憶させる（Ｓ１７）。

映像系位置情報を取得すると、映像加工装置１０５では、表示制御部１５５が、映像記録部１５１から映像フレームを順次読み出し、映像系位置記憶部１５４から映像フレームと同時刻の映像系位置情報とスタッフの識別情報を読み出し、映像系位置情報が表す画素に対応させてスタッフの識別符号又はこれに加えて他のスタッフ識別情報を重畳させた映像を生成する（Ｓ１８）。表示制御部１５５は、この生成した映像を表示装置１０６に出力し表示装置１０６に表示させる（Ｓ１９）。

以上の動作が撮影装置１０２で映像を撮影し、信号発信体１８１及び信号受信体１８２でスタッフの識別及び位置計測を行っている間、順次繰り返される。尚、映像記録部１５１と映像系位置記憶部１５４に記憶された両データは、この医療現場表示システム１０１でいつでも再生が可能となるように、対にしてＨＤＤ等の不揮発性メモリに記憶され、又は対にしてＤＶＤやＨＤ ＤＶＤ等の可搬記憶媒体に記憶される。

映像系位置計算部１５３による計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）で表現された計測系位置情報から映像系座標（Ｘｎ，Ｙｎ）で表現された映像系位置情報への変換についてさらに詳細に説明する。

図２０は、撮影装置１０２と位置計測部１０４の受信側である超音波センサ１３２の設置状態を示す模式図である。

撮影装置１０２と超音波センサ１３２とは物理的な都合上別箇所に設置されているため、撮影装置１０２が撮影した空間の撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）と位置計測部１０４が計測したスタッフの計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）とは、座標系が一致していない。

位置計測部１０４で測定したスタッフの位置が、撮影装置１０２で撮影した映像上のどの画素に対応するかを算出するためには、計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）との関係、及び撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）と撮影装置１０２の撮像素子面の映像系座標（Ｘｎ，Ｙｎ）との関係が既知でなければならない。

まず、計測系座標ｓ＝（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とは、平行移動と、Ｘ軸とＹ軸とＺ軸を中心とする回転で関係付けられ、それぞれ以下の行列で表すことができる。

ここで、ｘ０，ｙ０，ｚ０は平行移動量。

ここで、θｘはＸ軸まわりの回転角。

ここで、θｙはＹ軸まわりの回転角。

ここで、θｚはＺ軸まわりの回転角。

上記の（数１）〜（数４）により、計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）との関係は、以下の（数５）のように表すことができる。

（数５）式中のｘ０、ｙ０、ｚ０、θｘ、θｙ、θｚが未知数であり、これらの値が分かれば、計測系と撮影系が完全に対応付けられる。

さらに、撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とその映像系座標（Ｘｎ，Ｙｎ）との関係は、図２１のように示され、撮影装置１０２のピンホールを撮影系の原点とし、ピンホールと撮影装置１０２の撮像素子表面との距離をＺ０とした場合、撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とその映像系座標（Ｘｎ，Ｙｎ）とは以下（数６）及び（数７）により表される。

尚、ここでは簡単のためにピンホールカメラの例を挙げたが、複数のレンズを組み合わせたより複雑なビデオカメラの場合であってもレンズ系に応じて焦点距離等を加味して計算する。

映像系位置計算部１５３は、予め（数５）、（数６）、（数７）、及び距離Ｚ０とから得られる映像系座標（Ｘｎ，Ｙｎ）と未知数ｘ０、ｙ０、ｚ０、θｘ、θｙ、θｚとの関係式Ｅ１を記憶している。

医療現場表示システム１０１の設置時には、医療現場内にマーカが置かれて位置計測及び撮影されることによってマーカの計測系座標と映像系座標とを取得しておく。映像系位置計算部１５３は、このマーカの計測系座標と映像系座標との関係から、未知数ｘ０、ｙ０、ｚ０、θｘ、θｙ、θｚの具体的値をこの予め記憶している関係式Ｅ１を用いて計算し、映像系座標（Ｘｎ，Ｙｎ）と計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）との関係式Ｅ２を取得する。そして、この投影系座標（Ｘｎ，Ｙｎ）と計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）との関係式Ｅ２と、位置計測部１０４で測定して得たスタッフの計測系位置情報が表す計測系の具体的な座標（Ｘｓ，Ｙｓ，Ｚｓ）とを用いて、映像画面上でのスタッフの位置情報を計算する。尚、１点のマーカを測定することにより、2つの式が得られる(Ｘｎ=・・・、Ｙｎ=・・・)ため、マーカは３点に置かれ、それぞれ測定される。

この医療現場表示システム１０１で表示される映像を図２２に示す。

表示制御部１５５は、映像記録部１５１から表示装置１０６に表示させる映像フレームを読み出したとき、その映像フレームと対になっている時刻情報も読み出す。そして、読み出した時刻情報と同一の時刻情報を映像系位置記憶部１５４から検索し、該当する時刻情報と関連づけられている映像系位置情報及びスタッフの識別符号を読み出す。映像系位置情報及びスタッフの識別符号を読み出すと、表示制御部１５５は、読み出した映像系位置情報に該当する映像フレーム上の画素を例えば黒色等の識別色で塗り潰し、読み出したスタッフの識別符号を表す文字列をこの塗り潰した画素を指し示して重畳表示させる。

表示制御部１５５は、次の映像フレームを表示装置１０６に表示させる度に、このスタッフの識別符号の表示処理を行う。このスタッフ識別符号の表示は、新たな映像フレームを表示させる毎に更新していく。ある信号発信体１８１において、表示させる映像フレームと対になった時刻情報に関連づけられた新たな映像系位置情報がない場合は、塗り潰す画素をそのまま維持しておく。そして、新たな映像系位置情報があれば、新たな映像フレームを表示させるときに、その映像系位置情報に対応する新たな画素を塗り潰してその画素を指し示すスタッフの識別符号を重畳表示し、前の映像フレームまでに塗り潰していた画素の塗りつぶしを解除させる。

図２３にこの医療現場表示システム１０１で表示される映像の変形例を示す。また、図２４は、スタッフデータベース１５６のデータ構造を表す図である。

表示制御部１５５は、図２３に示すように、スタッフ識別符号の他、このスタッフ識別符号で表されるスタッフの他の識別情報を表示させるようにしてもよい。

図２４に示すように、スタッフデータベース５６には、スタッフの識別符号に対応付けて、スタッフの氏名、年齢、所属、職務、現職経験年数等のスタッフの他の識別情報が記憶されている。表示制御部１５５は、映像系位置記憶部１５４から読み出したスタッフの識別符号でスタッフデータベース１５６を検索し、読み出したスタッフの識別符号に対応付けられているスタッフの他の識別情報を取得する。そして、表示制御部１５５は、スタッフの識別符号とともにこの取得したスタッフの他の識別情報を表示装置６に重畳表示させる。

スタッフデータベース１５６から取得するスタッフの他の識別情報は、入力装置１０７から入力された操作信号に依る。入力装置１０７を用いて映像上に表示させるスタッフ識別情報を選択する操作が行われると、表示制御部１５５は、選択されたスタッフの他の識別情報をスタッフデータベース１５６から読み出して重畳表示させる。何れの識別情報も選択されなければ、スタッフの識別符号のみが重畳表示される。また、入力装置１０７を用いてスタッフの識別符号を表示させない操作が行われると、表示制御部１５５は、映像フレームを映像記録部１５１から順次読み出して表示装置１０６に表示させる処理のみを行う。

このように、この医療現場表示システム１０１では、医療現場に存在するスタッフを存在位置と共に識別し、その存在位置を医療現場を撮影して得た映像上にプロットし、プロットした画素に対応付けてスタッフを識別するＩＤや氏名等の識別情報を表示するようにした。これにより、映像上でスタッフを個々に識別することができ、スタッフ毎にそのスタッフが誰でどのような行為をしたのかの映像分析を行い易くなる。

また、スタッフの識別符号でスタッフを識別してその存在位置を計測するようにしたため、超音波信号を発振させた信号発信体１８１を誰が装着しているか判断する必要もなく、管理がシンプルになる。

次に、この医療現場表示システム１０１で取得したスタッフを識別表示した映像を用いた映像分析を支援する医療現場分析システム１０９について説明する。図２５は、医療現場表示システム１０１で記録した映像の分析を支援する医療現場分析システム１０９の構成を示す図である。

医療現場分析システム１０９は、映像加工装置１０５から、医療現場を撮影して得た映像と時刻情報の対と、スタッフの識別符号と映像系位置情報と時刻情報との組みとを取得し、スタッフの動き量を算出する。この医療現場分析システム１０９は、医療現場情報記憶部１９１、ＲＯＩ設定部１９２、動き量計測部１９３、動き量記憶部１９４、キュー設定部１９５、キューインデックス記憶部１９６、及び頭出し制御部１９７により構成される。

医療現場情報記憶部１９１は、医療現場表示システム１０１で記録された医療現場を撮影して得た映像と時刻情報の対と、スタッフの識別符号と映像系位置情報と時刻情報との組み合わせとを記憶する。医療現場表示システム１０１と医療現場分析システム１０９は、ネットワークで接続された一体のシステムとして構成されていても、それぞれが独立したシステムとして構成されていてもよい。

ＲＯＩ設定部１９２は、主にＣＰＵを含み構成される。このＲＯＩ設定部１９２は、入力装置１０７を用いて表示装置１０６に表示されている画面上に関心領域が指定されると、その関心領域を記憶しておく。

動き量計測部１９３は、主にＣＰＵを含み構成される。この動き量計測部１９３は、映像上のスタッフ画像の形状変化から映像に映る各スタッフの動き量を個々に算出する。動き量計測部１９３は、ＲＯＩ設定部１９２で関心領域が設定されているときは、映像上、関心領域内にスタッフが存在するか否かを判断し、関心領域内にスタッフが存在するときに限って動き量を算出する。

動き量記憶部１９４は、主にＲＡＭ等の半導体記憶回路を含み構成される。動き量記憶部１９４は、動き量計測部１９３で計測された各スタッフの動き量を時系列で記憶する。

キュー設定部１９５は、主にＣＰＵを含み構成される。このキュー設定部１９５は、スタッフの動き量の時系列のうち、特に動きが激しいことを示す動き量が検出された時刻をキューインデックス記憶部１９６に記憶させる。

キューインデックス記憶部１９６は、キュー設定部９５で検出された時刻を表す時刻情報の集合を時系列順にインデックス化してスタッフ毎のキューインデックスとして記憶しておく。また、関心領域が設定されているときには、動き量計測部１９３の判断結果である関心領域内にスタッフが存在する期間も関心領域内情報としてキューインデックスに含めて記憶しておく。

頭出し制御部１９７は、キューインデックスをグラフ化して表示装置１０６に表示させる。そして、入力装置１０７を用いてキューインデックス中のキューマークが指定されると、指定されたキューマークに対応する時刻情報を表示制御部１５５に出力し、この時刻情報と対になった映像フレームを医療現場情報記憶部１９１から検索させ、該当する映像フレームから頭出し再生させる。キューマークは、キュー設定部１９５で検出された動き量が激しい時刻を示すマークである。

図２６は、この医療現場分析システム１０９の動き量計測及びキュー設定の動作を示すフローチャートである。

まず、ＲＯＩ設定部１９２は、入力装置１０７を用いて映像内に関心領域を指定する操作がなされた場合（Ｓ３１，Ｙｅｓ）、指定された関心領域を記憶しておく（Ｓ３２）。

動き量計測部１９３は、順番に映像フレームを読み出し（Ｓ３３）、関心領域が記憶されていれば（Ｓ３４，Ｙｅｓ）、読み出した映像フレームに映るスタッフの画像領域が関心領域内に含まれているか否かを判断する（Ｓ３５）。

関心領域内にスタッフの画像領域が含まれていない場合は（Ｓ３５，Ｎｏ）、読み出した映像フレーム及び関心領域に含まれていないスタッフについての動き量計測を終了する（Ｓ３６）。

一方、関心領域内にスタッフの画像領域が含まれている場合は（Ｓ３５，Ｙｅｓ）、読み出した映像フレームとその前又は後の映像フレームとに含まれているスタッフの画像領域のサブストラクションを行う（Ｓ３７）。そして、動き量として、読み出した映像フレームにおいて前又は後の映像フレームと重ならないスタッフの画像領域の画素数をカウントする（Ｓ３８）。動き量を計測すると、この動き量をスタッフ毎に時系列で動き量記憶部１９４に記憶させる（Ｓ３９）。

読み出した映像フレームについて映像に映る全てのスタッフの動き量を計測し（Ｓ４０，Ｙｅｓ）、かつ全映像フレームについて動き量を計測すると（Ｓ４１，Ｙｅｓ）、動き量計測の処理は終了する（Ｓ４２）。全てのスタッフの動き量を算出していなければ（Ｓ４０，Ｎｏ）、Ｓ３４〜Ｓ３９を全てのスタッフについて繰り返す。前衛増フレームについて動き量の計測が完了していなければ（Ｓ４１，Ｎｏ）、次の映像フレームについてＳ３３〜Ｓ３９を繰り返す。

スタッフ毎の動き量が時系列的に計測されると、キュー設定部１９５は、動き量記憶部１９４に記憶された動き量のうち、所定以上の動きの激しさを表す動き量を検索し（Ｓ４３）、該当する動き量に対応するスタッフとその動きがあった時刻とを動き量記憶部１９４から読み出してキューインデックス記憶部１９６に記憶させる（Ｓ４４）。

図２７及び図２８は、Ｓ３１〜３２におけるＲＯＩ設定部９２による関心領域の設定を示す模式図である。図２７は、関心領域を表示画面上に表示した態様を示す模式図である。図２８は、表示された関心領域に対応してこの関心領域の範囲を示す情報を取得する態様を示した模式図である。

図２７に示すように、表示装置１０６の表示画面には、医療現場を撮影して得た映像が表示されている。オペレータが入力装置１０７を用いて表示画面上に一本の対角線を描くようにカーソルを操作すると、ＲＯＩ設定部１９２は、その対角線を有する四角形状の関心領域を表示画面上に表示する。複数箇所に一本の対角線を描くことにより、それぞれの対角線を有する複数の関心領域が表示される。そして、ＲＯＩ設定部１９２は、図２８に示すように、表示した関心領域内に含まれる各画素に対応する描画メモリ上のアドレスを記憶しておく。この関心領域を構成する各画素に対応する描画メモリ上のアドレスが、映像上における関心領域の範囲を示す。

図２９及び図３０は、Ｓ３３〜Ｓ３９における動き量計測部１９３による動き量計測を示す模式図である。図２９は、動き量を計測する対象となるスタッフを映像上で抽出する過程を示した模式図である。図３０は、抽出した各映像フレームのスタッフの画像領域からスタッフの動き量を計測する過程を示した模式図である。

図２９の（ａ）に示すように、各映像フレームには、動き量を分析する対象となるスタッフの画像領域が含まれており、この画像領域内には、信号発信体１８１の所在として映像系位置情報で表される画素が含まれている。動き量計測部１９３は、読み出した映像フレームに付帯する時刻に最も近く、かつこの時刻以前を表す時刻情報と対になった映像系位置情報を医療現場情報記憶部１９１から読み出す。読み出した映像フレームに付帯する時刻と同一の時刻情報と対になった映像系位置情報が存在すれば、その映像系位置情報を読み出す。この映像系位置情報の読み出しは、医療現場情報記憶部１９１に記憶されているスタッフの識別符号別に行う。

そして、動き量計測部１９３は、図２９の（ｂ）に示すように、読み出した映像系位置情報が表す画素が含まれる領域の輪郭を抽出する。輪郭抽出は、エッジ抽出法によって抽出したエッジのうち、映像系位置情報で表される画素が含まれているエッジ領域を抽出する。または、映像上位置情報で表される画素から領域拡張法により抽出する。この抽出された領域がスタッフの画像領域に相当する。

スタッフの画像領域の輪郭が抽出されると、動き量計測部１９３は、ＲＯＩ設定部１９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれるか否かを判断する。関心領域の範囲にスタッフの画像領域の全てが存在することを以て含まれると判断しても良いし、関心領域の範囲にスタッフの画像領域の一部が存在することを以て含まれると判断しても良い。

ＲＯＩ設定部１９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれている場合は、このスタッフの画像領域を抽出した映像フレームに付帯している時刻情報と、関心領域に含まれているスタッフの画像領域に含まれる映像系位置情報と対になっているスタッフの識別情報とを対応付けて、関心領域内情報として保持しておく。即ち、関心領域内情報は、誰がいつ関心領域内にいたかを示す。

ＲＯＩ設定部１９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれている場合は、図２９の（ｃ）に示すように、輪郭抽出したスタッフの画像領域を構成する全ての画素に対応する描画メモリ上のアドレスを一時的に記憶しておく。

動き量計測部１９３は、図３０の（ａ）に示すように、このスタッフの画像領域の抽出を動き量の計測対象となった映像フレームの前又は後の映像フレームについても行い、前又は後の映像フレームについても、スタッフの画像領域を構成する全ての画素に対応する描画メモリ上のアドレスを一時的に記憶しておく。

動き量の計測対象となった映像フレームとその前又は後の映像フレームについてスタッフの画像領域を特定すると、図３０の（ｂ）に示すように、動き量計測部１９３は、この２枚の映像フレームにおけるスタッフの画像領域のサブストラクションを行う。この２枚の映像フレームを重ね合わせ、動き量の計測対象の映像フレームのスタッフの画像領域のうち、その前又は後の映像フレームで抽出されたスタッフの画像領域と重なっていない領域の画素数をカウントする。即ち、２枚の映像フレームにおいて記憶したスタッフの画像領域を示すアドレスを比較し、前又は後の映像フレームにはないアドレスの数をカウントする。フレームレートの関係上、２枚の映像フレームでスタッフの画像領域が全く重ならない場合は、動きの計測対象となった映像フレームのスタッフの画像領域の全ての画素数をカウントする。このカウントされた画素数が動き量に相当する。

動き量計測部１９３は、このカウントされた画素数を動き量として動き量記憶部１９４に記憶させる。このとき、動き量の計測対象となったスタッフの画像領域に対応するスタッフの識別符号と、動き量の計測対象となった映像フレームに付帯した時刻情報とを、この動き量と対応付けておく。また、動き量計測部１９３は、関心領域内情報も動き量記憶部１９４に記憶しておく。

動き量計測部１９３は、各映像フレームについて、かつ医療現場に存在すると識別された各スタッフについて、この動き量を算出し、動き量記憶部１９４に記憶させる。

図３１は、Ｓ３９において動き量記憶部１９４に記憶させた動き量を表すデータ構成の模式図である。

動き量記憶部１９４には、図３１の（ａ）に示すように、スタッフの識別符号と時刻情報と動き量とが組になって記憶されている。即ち、識別符号で表されるスタッフの各時刻の動き量が記憶されている。尚、医療現場内に複数の撮影装置１０２が設置されている場合には、映像が複数種類存在することになり、動き量計測部１９３は、各撮影装置１０２で撮影されて得られたそれぞれの映像フレームについてスタッフの動き量を計測し、それぞれ動き量記憶部１９４に記憶させる。

また、図３１の（ｂ）に示すように、関心領域内情報としてスタッフの識別符号と関心領域内にいた時間帯とが組みになって記憶されている。

図３２は、動き量計測部１９３による動き量計測の変形例を示す模式図である。

図３２の（ａ）に示すように、スタッフの画像領域は、領域拡張法やエッジ抽出法等によって厳密に抽出するほか、確実にスタッフが存在するとわかる信号発信体１８１の存在箇所、即ち計測系位置情報が表す画素から所定範囲の領域をスタッフの画像領域とみなして抽出しても良い。動き量計測部１９３は、予めこの所定範囲を表す情報を記憶し、計測系位置情報が表す画素を中心にこの所定範囲を表す情報を適用し、スタッフの画像領域とみなして抽出する。

そして、図３２の（ｂ）に示すように、動き量の計測対象となっている映像フレームとその前の映像フレームを重ね合わせ、スタッフの画像領域が重複していない部分の画素数をカウントして動き量とする。

図３３は、Ｓ４３〜Ｓ４４においてキュー設定部１９５が動きの激しい時刻を記憶させる態様を示すグラフである。

図３３に示すように、動き量計測部１９３によって、医療現場に存在する各スタッフの動き量が時系列順に計測される。キュー設定部１９５は、予め動き量の閾値を記憶しており、この閾値と各時刻の動き量とを比較する。そして、キュー設定部１９５は、閾値を超えた動き量を検出すると、その動き量に対応する時刻情報とスタッフの識別符号とを動き量記憶部１９４から読み出し、読み出した時刻情報とスタッフの識別符号との対をキューインデックス記憶部１９６に記憶させておく。

図３４は、キューインデックス記憶部１９６に記憶されたキューインデックスを示すデータ構造図である。

図３４に示すように、キュー設定部１９５は、キューインデックス記憶部１９６として確保された記憶領域内に記憶されているキューインデックスに時刻情報を記憶させる。このとき、キュー設定部１９５は、動き量記憶部１９４から時刻情報を読み出すときにこの時刻情報と対になっているスタッフの識別符号も読み出し、対応付けてキューインデックスに記憶させる。

尚、キューインデックスには、この時刻情報とスタッフの識別符号の他、動き量、及び算出元となった映像フレームの出所、即ち撮影した撮影装置１０２の識別情報や閾値の種類等を含むプロパティを一つのフラグに記憶させるようにしてもよい。

図３５は、Ｓ４３〜Ｓ４４においてキュー設定部１９５が動きの激しい時刻を記憶させる態様の変形例を示すグラフである。

図３５に示すように、閾値は、入力装置１０７を用いたオペレータの操作に応じて生成されるようにしてもよい。入力装置１０７からは、閾値を設定する時間軸上の範囲と倍率を指定する操作信号が入力される。キュー設定部１９５は、指定された時間軸上の範囲における動き量の平均値を算出し、平均値にこの指定された倍率を掛けて閾値を生成する。キュー設定部１９５は、指定された時間軸上の範囲においてこの生成した閾値を用いる。時間軸上の範囲が複数指定された場合には、それぞれの範囲について指定された倍率を用いて、それぞれの範囲について閾値を生成する。

この変形例では、キュー設定部１９５は、動き量を順次読み出す際に時刻情報も読み出し、読み出した時刻情報が含まれる時間軸上の範囲に対応する閾値を用いて、読み出した動き量と閾値とを比較する。

図３６は、この医療現場分析システム１０９で行われた動き量計測及びキュー設定に基づき、映像を再生させる動作を示すフローチャートである。

頭出し制御部１９７は、入力装置１０７を用いて映像を再生する操作がなされると（Ｓ５１）、キューインデックス記憶部１９６からキューインデックスを読み出し（Ｓ５２）、このキューインデックスに含まれている時刻情報とスタッフの識別情報とに対応する箇所にキューマークを付したグラフを生成し（Ｓ５３）、このグラフを表示制御部１５５に表示させる（Ｓ５４）。

頭出し制御部１９７は、グラフ上のキューマークが入力装置１０７を用いて指定されると（Ｓ５５）、指定されたキューマークに対応する時刻情報をキューインデックス記憶部１９６から読み出し（Ｓ５６）、表示制御部１５５に出力する。表示制御部１５５は、入力された時刻情報が対応付けられた映像フレームを読み出し（Ｓ５７）、その映像フレームからスタッフを識別表示した映像をスタートさせる（Ｓ５８）。

図３７は、頭出し制御部１９７が表示制御部１５５に表示させたキューインデックスの表示態様を示す模式図である。

図３７に示すように、頭出し制御部１９７は、キューインデックス記憶部１９６に記憶させたキューインデックスＱｉから、横軸を時間軸とし縦軸を各スタッフの識別符号としたグラフを生成し、グラフ形式で表示装置１０６に表示させる。キューインデックスＱは、例えば表示されている映像の下側に並べて表示される。

頭出し制御部１９７は、キューインデックス記憶部１９６に記憶されたスタッフの識別符号と時刻情報との対を読み出し、この読み出したスタッフの識別符号と時刻情報とに対応する箇所にキューマークＱｍを表示させる。また、頭出し制御部１９７は、関心領域内情報を読み出し、関心領域内情報に含まれるスタッフの識別符号と時刻情報の分布範囲とに対応する箇所に太線矢印Ａｒを引き、関心領域内に存在したことを識別表示させる。

また、頭出し制御部１９７は、キューインデックスＱｉに動き量も記憶されている場合には、所定時間間隔毎に全てのスタッフの動き量や関心領域内にいるスタッフの動き量を合算し、合算した動き量を時間軸にプロットした全体量グラフＧも表示させる。

この表示装置１０６に表示された表示画面によって、例えば、時刻Ａでカメラ助手の太線矢印Ａｒが途切れていることから、カメラ助手がこの時刻Ａで関心領域から外れた、すなわち持ち場を離れたことがわかる。また、時刻Ｂで全体量グラフＧが激しい波形を描き、各スタッフにキューマークＱｍが表示され、かつ外科医が新たに加わっていることから、この時刻Ｂで医療事故につながりうる何らかの事象が起き、外科医が応援に駆け付けたことが推定できる。また、時刻Ｃで執刀医の太線矢印Ａｒが途切れて、そのごの太線矢印Ａｒが存在しないことから、執刀医が時刻Ｃで医療現場を離れたことがわかり、手術がおおかた完了したことが推測される。

従って、この時刻Ｂ上のキューマークＱｍを指定し、この時刻Ｂから映像を頭出し再生することにより、何らかの事象について検証することが可能となる。また、このとき、映像上で執刀医や外科医の動きを観察する場合、執刀医や外科医を表す識別情報が指し示している画素を含むスタッフが執刀医や外科医であることを映像上で即座に認識することができる。

このように、医療現場で事故に繋がりうる何らかの事象が発生した場合、緊急の対処を行うためにスタッフの動きは激しくなる。例えば手術中に大きな出血が起きた場合、外科医は急いで吸引(場合によっては洗浄)し、出血箇所を特定し止血を行う。その際、必要となる余分なガーゼなどは器械台看護師から手渡しで受け取る。また、麻酔医は血圧低下が起きているかどうかを確認し、また、直接患者に触れて診断の上、薬剤カートから昇圧剤を取り出し、必要に応じて調剤の上、チューブ操作を行って投与する。こうした作業は、緊急を要することが多いために通常作業時に比べてスタッフの動きが多くなる。よって、この実施形態に係る医療現場分析システム１０９によると、映像記録の中からスタッフの動きの量を計測するため、その動きに量から映像上のどの時間帯を重点的に検証すればよいか把握しやすくなり、効率的に映像分析を行うことができる。

以上説明した医療現場分析システムに対して、前記第１実施形態に係るイベント識別システムを、例えば次のように適用することができる。

すなわち、分析対象の作業に係るスタッフの各々に、前記接触型マイクロフォン３Ａ及び前記送信機３Ｂを装着させる。そして、各々のスタッフ毎に収集した音響データについて、第１実施形態において説明したイベント識別の推定処理を行う。

ここで、前記キュー設定部１９５は、上述したようにスタッフの動き量の時系列のうち、特に動きが激しいことを示す動き量が検出された時刻をキューインデックス記憶部１９６に記憶させると共に、前記接触型マイクロフォン３Ａによって収集した音響データを分析処理した結果に基づいて所定のイベントが発生したと推定した時刻をキューインデックス記憶部１９６に記憶させる。

このようなシステム構成を採ることで、本第２実施形態によれば、第１実施形態と同様の効果を奏する上に、時刻を正確に合わせて収集した多様なセンサの情報に基づいて作業状態を示す情報を抽出し、該抽出した情報に基づいて、映像等の記録のうち重要な部分を推定してマーク（いわゆるキュー）を付することができるイベント識別システムを提供することができる。また、医療現場を撮影して得た映像に映るスタッフを誰であるか識別でき、以て誰がどのような行為をしていたのか視覚的に把握することのできるイベント識別システムを提供することができる。

（変形例）
さらには、会話が行われた時間帯のみを抽出することで、一連の作業行為中において会話が行われた時間のみを記録したテープ等を作成することができる。複数人が各々前記接触型マイクロフォン３００Ａを装着している場合、それら前記接触型マイクロフォン３００Ａの全てが人間の声を検出している時間帯のみを抽出することで、当該複数人による会話が行われた時間のみを記録したテープ等を作成することができる。さらに、各々の発話における発話者を、前記接触型マイクロフォン３００Ａの装置番号等により特定することも可能である。従って、記録された映像／音声のうち、特定の発話者が発話をした時間帯のみを即座に検索して参照することが可能となる。

ところで、作業中の会話では、第一の発話者の発話完了から、第二の発話者の発話が開始されるまでの時間が０．３秒乃至０．８秒程度であることが多い。その後、第二の発話者の発話に対して第一の話者がさらに応答する頻度が高い。

従って、発話相互のタイミングから、それが会話（受け答え）であるか否かを推定することが可能である。ここで、一連の（複数の発話者による）発話を“会話”としてグループ化して認識し、当該会話にマーク（いわゆるキュー）を付しても勿論よい。

このような処理によって会話に付したマークを利用することで、記録された映像／音声の中から会話の部分をすばやく検索することができる。そして、当該検索に係る会話のみを再生することで、一連の作業行為中に生じた問題等を素早く且つ容易に知ることができる。

なお、本第２実施形態に係るイベント識別システムを実際に運用する際には、各々の接触型マイクロフォン３００Ａにおける時刻を正確に合わせることが必要となる。

［第３実施形態］
以下、本発明の第３実施形態に係るイベント識別システムについて説明する。詳細は後述するが、本第３実施形態においては、後述する個体情報識別システムに前記第１実施形態に係るイベント識別システムを適用する。これにより、本第３実施形態によれば、スタッフの位置、映像、発話、及び心拍音データを時系列に沿って容易に一覧で把握することができ、例えば手術等の一連の作業行為において、いつ誰が何を行ったかを、映像等に記録された各人を同定して精密に且つ時系列に沿って容易に一覧で把握することを簡易な装置構成で実現するイベント識別システムを提供することができる。以下、詳細に説明する。

図３８は、個体情報識別システムの一構成例を示す図である。図３８に示すように、個体情報識別システムは、ＩＤ識別カメラ１と、図３８に示す統括装置６とを具備する。

なお、図３８に示す光学系は、前記ＩＤ識別カメラ１の原理を説明する為に便宜的に簡略化して示す光学系である。つまり、現実の実施においては、当然ながら種々の収差を補正する光学系や絞り等を適宜付加することが好ましい。

同図に示すように、前記ＩＤ識別カメラ１は、所定の領域を撮影して映像情報を取得する為の撮影手段２と、ＩＤ信号（詳細は後述）の発信場所を特定する為の空間分解能を有しており、該ＩＤ信号を受信する受信装置４と、を有する。

また、前記撮影手段２及び前記受信装置４は、前記撮影手段２によって取得した映像情報と、前記受信装置４によって受信された前記ＩＤ信号の発信場所とを対応付ける前記統括装置６に接続されている。

そして、前記撮影手段２及び前記受信装置４に、撮影対象からの光束を導く為の光学系として、撮影レンズ１１とビームスプリッタ１３とを備える光学系８が設けられている。

前記撮影手段２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の撮像素子であるカメラ受光面２Ａと、前記カメラ受光面２Ａから出力される電気信号を映像信号に変換して出力するカメラ制御装置（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ ；以降、ＣＣＵと称する）２Ｂと、を備える。この撮影手段２によって取得されるデジタル動画映像（以降、単に映像情報と称する）は、例えば図３９に示すような映像である。

前記受信装置４は、複数のＩＤ信号受信装置４Ａ（図４１を参照して詳細に説明する）を備える。そして、ＩＤ信号受光面４Ａ１１は、図４０に示すようにＩＤ信号を受信する為の光検出デバイスの集合体であり、各々のＩＤ信号受信装置４Ａの受光面であるＩＤ信号検出面４Ａ１を複数配列して構成される。

なお、図４０（ａ）は、受信装置４が９チャネルのＩＤ信号受信装置４Ａによって構成されている場合の構成を示しており、このようにＩＤ信号検出面４Ａ１を並べてＩＤ信号受光面４Ａ１１を構成する。ここでは９チャネル分のＩＤ信号検出面４Ａ１を格子状に並べ、且つそれらＩＤ信号検出面４Ａ１に対応する各々のＩＤ信号受信装置４Ａに対して図４０（ｂ）に示すようにチャネル番号を割り当てている例を示している。

前記ビームスプリッタ１３は、前記撮影レンズ１１を介して当該ＩＤ識別カメラ１に入射した光を、前記カメラ受光面２Ａと前記ＩＤ信号受光面４Ａ１１とに同一の光軸を有するように入射させる為の部材である。

なお、前記撮影レンズ１１を介して当該ＩＤ識別カメラ１に入射した光を、前記カメラ受光面２Ａと前記ＩＤ信号受光面４Ａ１１とに同一の光軸を有するように入射させる為に、ハーフミラー等を用いても勿論よい。また、現実の実施においては、前記撮影レンズ１１を介して当該ＩＤ識別カメラ１に入射した光を、前記カメラ受光面２Ａと前記ＩＤ信号受光面４Ａ１１とに全く同一の光軸を有するように入射させる必要性は無く、略同一の光軸を有するように入射させればよい。

このように、前記撮影レンズ１１を介して入射した光を、前記カメラ受光面２Ａと前記ＩＤ信号受光面４Ａ１１とに同一又は略同一の光軸を有するように入射させることで、前記統括装置６は、前記撮影手段２によって取得した映像上における各々の像の位置と、前記受信装置４で受信したＩＤ信号の発信元の位置とを正確に対応づけることができる。

以下、前記ＩＤ信号受信装置４Ａの一構成例を説明する。図４１は、前記ＩＤ信号受信装置４Ａの一構成例を示す図である。

同図に示すように、前記ＩＤ信号受信装置４Ａは、ＩＤ信号検出面４Ａ１と、感光素子４Ａ２と、ハイパスフィルタ４Ａ３と、デモジュレータ４Ａ４と、バッファメモリ４Ａ５と、ＭＰＵ４Ａ６と、を備える。

前記ＩＤ信号検出面４Ａ１としては、例えば図４２を参照して後述するＩＤ信号送信装置２１における発光素子２１Ｄとして赤外線発光ダイオードを用いる場合には、可視光を遮断する光学フィルタを用いる。これにより、ＩＤ信号光と当該環境における可視光とが分離される。つまり、前記ＩＤ信号検出面４Ａ１は、ＩＤ信号光とその他の光とを分離して、ＩＤ信号光のみを抽出する為の部材である。

前記感光素子４Ａ２は、前記ＩＤ信号検出面４Ａ１を通過した光信号を電圧信号に変換する。

前記ハイパスフィルタ４Ａ３は、前記感光素子４Ａ２から出力された電圧信号について、低周波の成分を遮断する処理を行い、高周波成分のみを残す。この処理によって、バックグラウンドやそのゆっくりとした変動等の影響を除去する。

前記デモジュレータ４Ａ４は、前記ハイパスフィルタ４Ａ３から送信された信号の波形を再現してデジタル化する。

前記バッファメモリ４Ａ５は、前記デモジュレータ４Ａ４によってデジタル化された信号を一時格納する。

前記ＭＰＵ４Ａ６は、前記バッファメモリ４Ａ５から信号を読み出して、デコード処理によって誤り検出をおこなう。ここで、もし誤りが検出されない場合には、ＩＤ情報を抽出して、該ＩＤ情報を前記統括装置６に送信する。

以下、図４２を参照して、前記受信装置４によって受信されるＩＤ信号を送信するＩＤ信号送信装置の一構成例を説明する。

同図に示すように、ＩＤ信号送信装置２１は、電源２１Ａと、ＲＯＭ２１Ｂと、ドライバ回路２１Ｃと、発光素子２ＩＤと、散乱板２１Ｅと、を有する。

前記電源２１Ａは、当該ＩＤ信号送信装置２１の動作に要する電力を供給する。

前記ＲＯＭ２１Ｂは、後述するドライバ回路２１Ｃによって所定の発光パターンに変換されるＩＤ情報を保持している。なお、このＲＯＭ２１Ｂが保持しているＩＤ情報は、各々のＩＤ信号送信装置２１ごとに互いに異なるＩＤ情報である。

前記ドライバ回路２１Ｃは、前記ＲＯＭ２１Ｂが保持しているＩＤ情報を読み取り、発光素子２ＩＤの発光パターンに変換して、前記発光素子２ＩＤを点滅させる。従って、各々のＩＤ信号送信装置２１における発光素子２ＩＤは、互いに異なる経時的パターンで発光する。そして、各々のＩＤ信号送信装置２１は、この発光パターンによって、ＩＤ情報をＩＤ信号光として送信する。

前記散乱板２１Ｅは、このＩＤ信号光をより広範囲の空間に発信する為の部材である。つまり、この散乱板２１Ｅによって、当該発光素子２ＩＤにおける発光面積を実質的に拡大し、より広範囲の空間にＩＤ信号光を飛ばすことが可能となる。換言すれば、この散乱板２１Ｅにより、発光素子２ＩＤからのＩＤ信号光が何らかの障害物によって遮られる確率が低くなる。従って、例えば当該ＩＤ信号送信装置２１における発光素子２ＩＤを監視対象者の肩部に取り付ける場合であっても、ＩＤ信号光が当該監視対象者の頭部等によって遮られることで通信不能となってしまうことを防ぐことができる。

なお、上述したように、発光素子２ＩＤとして例えば赤外線発光ダイオードを用いた場合、前記ＩＤ信号受光面４Ａ１１に可視光を遮断するフィルタを用いることで、ＩＤ信号光と当該環境から来る可視光とを容易に分離することができる。

このような構成とした場合、小出力でもＩＤ信号光を送信することが可能であり、送信の為の電力が少なくてすむ。従って、前記電源２１Ａとして、例えばソーラーセルを用いることも可能となり、この場合には電池交換が不要となる。

さらに、赤外線は、生地が薄手且つ薄い色の衣服であれば透過できる為、当該ＩＤ信号送信装置２１を、監視対象者の衣服の下に装着させることも可能である。従って、例えば清潔な衣服を着用しなければならない場合（例えば手術室やクリーンルーム等）に、当該ＩＤ信号送信装置２１を特に滅菌処理や清浄化処理せずに衣服の下に取り付けることが可能となる。

以下、前記ＩＤ信号送信装置２１によるＩＤ信号光の送信タイミングの一例を、図４３に示すタイミングを参照して説明する。

図４３に示すように、ＩＤ信号送信装置２１がＩＤ信号光を送信する際には、送信休止時間をランダムに設ける。具体的には、図４３に示す送信タイミングのように、常時送信を続けずに、例えば数十ミリ秒乃至百数十ミリ秒程度の休止期間を挿入して、送信を行なう。

これにより、複数のＩＤ信号送信装置２１が常に同時に送信を行ってしまうことに起因して、それらＩＤ信号送信装置２１が送信するＩＤ情報を、前記受信装置４が受信できないという事態が生じないようにする。

換言すれば、図４３に示すようなＩＤ信号光の送信タイミング制御を行うことで、或るＩＤ信号送信装置２１がＩＤ信号光の送信を繰り返し実行している間に、他のＩＤ信号送信装置２１が休止中となり、前記或るＩＤ信号送信装置２１が単独でＩＤ信号光の送信を行うという事象が生じる。このとき、ＩＤ信号が正しく前記受信装置４によって受信される。

なお、ＩＤ信号送信装置２１が送信するＩＤ信号光は、個々のＩＤ信号送信装置２１ごとに付与されたＩＤ情報を、誤り検出符号でコード化（エンコード処理）した信号光である。このＩＤ信号光は僅かな情報量であるため、送信には例えば数ミリ秒あれば十分である。従って、図４３に示すような送信タイミングが可能となる。

また、図４３に示す送信タイミングのように常時送信を続けないで、例えば数十ミリ秒乃至百数十ミリ秒程度の休止期間を挿入することによって、当該ＩＤ信号送信装置２１の消費電力を大幅に低減するという効果も生じる。

その結果、前記電源２１Ａとして例えば電池を用いる場合には、電池交換無しに連続使用できる時間を伸ばすことができる。他方、前記電源２１Ａとして例えばソーラーセルを用いる場合には、ソーラーセルの面積を小さくして当該ＩＤ信号送信装置２１を小型化し、監視対象者に装着しやすく構成することが可能となる。

なお、図４４は、前記撮影手段２によって取得した映像と、前記ＩＤ信号光の発光位置とを重ねて示した図である。換言すれば、図４４は、前記撮影手段２によって取得した映像と、ＩＤ信号光との対応を示す図である。ここで、例えばＩＤ信号光が赤外線である場合、当然ながら前記撮影手段２によって取得した映像上ではＩＤ信号光を認識することは出来ない。

また、図４５は、図４４に示す例においてＩＤ信号受光面４Ａ１１に投影されるＩＤ信号光を模式的に示す図である。この図４５においては、ＩＤ信号受光面４Ａ１１は、３×３＝９チャネルのＩＤ信号受信装置４Ａに対応している。

具体的には、図４５は全部で４個のＩＤ信号送信装置２１からのＩＤ信号光が投影される位置を示しており、同図における左上のチャネルでは２つのＩＤ信号光を受光している。そして、そのうちの一方は、当該ＩＤ信号送信装置２１を装着している人間の頭部によって部分的に隠されている為に一部欠けており且つ少し暗くなっている。

それぞれのチャネルのＩＤ信号検出面４Ａ１に投影されたＩＤ信号光は、そのチャネルによって検出される。ただし、一つのチャネルにおいて、当該チャネル内における何れの位置にＩＤ信号光が投影されているかを検知することまではできない。しかしながら、チャネル数を増加させる（ＩＤ信号受信装置４Ａの数を増加させる）ことで、当該受信装置の空間分解能を向上させることは勿論可能である。

なお、詳細は後述するが、図４５に示す図は説明の為に便宜的に示した図であって、実際には複数のＩＤ信号光を同時に受信することは無い。

以下、前記ＩＤ信号受信装置４Ａにおける前記ＭＰＵ４Ａ６による処理を、図４６に示すフローチャートを参照して説明する。

まず、特定の周波数の変動成分が入力されるまで待つ（ステップＳ１）。続いて、入力された信号をＩＤ信号であると仮定して誤り検出を行う（ステップＳ２）。そして、このステップＳ２において実行した誤り検出の結果に基づいて、誤りがあるか否かを判断する（ステップＳ３）。このステップＳ３をＹＥＳに分岐する場合は、当該信号を受信しなかったものとみなし（ステップＳ５）、前記ステップＳ１へ戻る。一方、前記ステップＳ３をＮＯに分岐する場合は、当該信号からＩＤ識別情報を取り出して前記統括装置６に送信し（ステップＳ４）、前記ステップＳ１へ戻る。

このように、前記ＩＤ信号受信装置４Ａは、ＩＤ信号光を正しく受信できなかった場合や、複数のＩＤ信号送信装置２１からのＩＤ信号光を同時に受けてしまった場合には、当該ＩＤ信号光を誤りとして検出し、当該ＩＤ信号光を受信しなかったものとみなす。これにより、誤りやコリジョン（複数のＩＤ信号光が同時に発信されてしまって混乱すること）が生じる可能性を排除する。

以下、前記統括装置６による処理について説明する。

前記統括装置６はコンピュータにより構成されており、前記撮影手段２から送信される映像情報をリアルタイムで受信する。さらに、統括装置６は、全てのＩＤ信号受信装置４Ａから送信されるＩＤ識別情報を受信し、当該ＩＤ識別情報が何れのＩＤ信号受信装置（チャネル）４ＡからのＩＤ識別情報であるかを、いつ当該ＩＤ識別情報が得られたか（時刻）と共に、統括装置６内に設けられたメモリに一時的に記録する。

そして、これらの情報を使ってＩＤ信号送信装置２１の最新の位置を判定する（図４７を参照して詳述する）。なお、この判定結果は記録しても良いし、また判定結果を前記映像情報上に重畳して表示しても良いし、更にこの重畳により作成した映像を記録しても勿論良い。

以下、統括装置６によるＩＤ信号送信装置２１の最新の位置を判定する方法の一例を説明する。

図４７（ａ）は、各々のＩＤ信号検出面４Ａ１に付与されたチャネル番号を示す図であり、図４７（ｂ）は、統括装置６によるＩＤ信号送信装置２１の最新の位置を判定する方法の一例を示す図である。

すなわち、統括装置６は、各々のＩＤ信号送信装置２１からのＩＤ信号光がどのＩＤ信号検出面４Ａ１（チャネル）によりいつ検出されたかを示すデータを、例えば図４７（ｂ）に示すように保持しておく。なお、図４７（ｂ）では、最新のデータから過去３秒分のデータまでを示している。

そして、統括装置６は、各々のＩＤ信号送信装置２１の位置を判定する際には、例えば図４７（ｂ）に示すような各々のＩＤ信号送信装置２１からのＩＤ信号光の検出記録を、時系列的に最新のデータから順次遡っていき、各々のＩＤ信号送信装置２１からのＩＤ信号光が検出された最新のデータを用いて、各々のＩＤ信号送信装置２１の位置を判定する。

すなわち図４７（ｂ）に示す例では、統括装置６は、
・ＩＤ１２９のＩＤ信号送信装置２１は、チャネル８のＩＤ信号受信装置４Ａで検出された。

・ＩＤ０２６のＩＤ信号送信装置２１は、チャネル１のＩＤ信号受信装置４Ａで検出された。

・ＩＤ３１５のＩＤ信号送信装置２１は、チャネル１のＩＤ信号受信装置４Ａで検出された。

・ＩＤ１０８のＩＤ信号送信装置２１は、チャネル６のＩＤ信号受信装置４Ａで検出された。

と判定する。この判定結果を、図４７（ａ）に示す各チャネルの位置に対応させて矩形内に表現すると、図４８に示すようになる。そして、さらに前記撮影手段２によって取得した映像情報と重畳して表現すると、例えば図４９に示すようになる。

この図４９に示すように映像とＩＤ識別情報の位置とを重ね合わせて表示することで、“映像中の個々の人が誰であるか”を容易に一覧できる。

具体的には、図４９に示す例においては、ＩＤ０２６のＩＤ信号送信装置２１を装着している人間とＩＤ３１５のＩＤ信号送信装置２１を装着している人間とが、共にチャネル１のＩＤ信号受信装置４Ａによる検出範囲内に位置している。この為、当該映像に映っているどちらの人間がどちらのＩＤ番号のＩＤ信号送信装置２１を装着している人間であるかまでは識別できないが、時間が経ってこれらの人間が移動すれば、識別可能となる。

なお、図４９は、受信装置４が９つのＩＤ信号受信装置４Ａを有している例、つまりチャネル数が９チャネルの例を示しているが、より多くのＩＤ信号受信装置４Ａを設けてチャネル数を増加させて空間分解能を向上させることで、多数の人間が密集して位置している場合であっても、各々の人間を個別に識別できる可能性を高めることができる。

図５０は、ＩＤ番号の代わりに当該ＩＤ信号送信装置２１を装着している人間の氏名を、前記撮影手段２により取得した映像上の当該人間の像に重畳して表示する例を示している。

このようにＩＤ番号を表示する代わりに氏名を表示するには、予めＩＤ信号送信装置２１のＩＤ番号と、それを装着する人間の氏名との対応表（データベース）を作成しておく必要がある。例えば、各個人が常にそれぞれ専用のＩＤ信号送信装置２１を装着するとした場合、当該データベースを一度作成すれば良い。

ところで、個体情報識別システムの現実の運用に際しては、監視対象者はＩＤ信号送信装置２１を必要な時だけ装着する方が便利であり、またＩＤ信号送信装置２１の故障及び交換が必要になる可能性があることを鑑みると、同一人物が常に同一のＩＤ番号を付与されたＩＤ信号送信装置２１を装着するとは限らない。

このような事情を鑑みると、現実の運用に際して前記データベースを作成する為には、各々のＩＤ信号送信装置２１に付与されたＩＤ番号と、それを装着する人間の氏名との対応表を随時作成する必要がある。

以下、各々のＩＤ信号送信装置２１に付与されたＩＤ番号と、それを装着する人間の氏名との対応表を容易に作成する為の登録装置について、図５１を参照して説明する。

同図に示すように、登録装置３１は、ＩＤ信号受信装置４Ａと、磁気カード読み取りスロット３１Ａとを有する。そして、登録装置３１は、個体情報識別システムが適用されたエリアへの出入り口扉における電磁ロック及びその解除を行う。

実際の運用においては、ＩＤ信号送信装置２１を肩部等に装着した監視対象者４１は、個体情報識別システムが適用されたエリアへの入室に際して、出入り口扉の電磁ロックを解除する為に、例えば身分証カード等の磁気カード３３を登録装置３１の磁気カード読み取りスロット３１Ａに通し、且つＩＤ信号受信装置４ＡによりＩＤ信号送信装置２１からのＩＤ信号光が受信されると、当該登録装置３１は電磁ロックの解除を行うと共に、ＩＤ信号受信装置４Ａが検出したＩＤ信号送信装置２１からのＩＤ情報と、磁気カード３３から読み出した個人特定情報（氏名等）とを対応付けて作成したＩＤ対応情報を、統括装置６に送信する。

このＩＤ対応情報により、統括装置６は、上述した監視対象者の同定処理の際に、ＩＤ信号送信装置２１から得られるＩＤ情報のみに基づいて、それぞれのＩＤ信号送信装置２１を装着している人間の氏名等を特定することができる。

以上説明したように、上述した個体情報識別システムによれば、監視用カメラで撮影して取得した映像中に映っている人物等を、単に当該映像を目視することのみで同定できることができる個体情報識別システムを提供することができる。

具体的には、上述した個体情報識別システムによれば、例えば手術室や工場等、複数の人間や機器等が動きながら共同作業する場面を映像によって監視する場合、つまり監視用カメラの映像だけからは当該映像に映っている人間や物が何であるかを同定するのが容易でない場合であっても、当該映像中に写っている人間や物が何であるかを自明に同定できるようになる。

以上説明した個体情報識別システムに対して、上述した第１実施形態に係るイベント識別システムを、例えば次のように適用することができる。

すなわち、分析対象の作業に係るスタッフの各々に、前記接触型マイクロフォン３Ａ及び前記送信機３Ｂを装着させる。ここで、前記ＩＤ信号送信装置２１と前記送信機３Ｂとを一体に構成する。そして、各々のスタッフ毎に収集した音響データについて、第１実施形態において説明した分析処理を行う。

このようなシステム構成を採ることで、本第３実施形態によれば、スタッフの位置、映像、発話、及び心拍音データを時系列に沿って容易に一覧で把握することができ、例えば手術等の一連の作業行為において、いつ誰が何を行ったかを、精密に且つ時系列に沿って容易に一覧で把握することを簡易な装置構成で実現するイベント識別システムを提供することができる。

以上、第１実施形態乃至第３実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び応用が可能なことは勿論である。

さらに、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１実施形態に係るイベント識別システムの一構成例を示すブロック図。 音響データ収集手段の一構成例を示す図。 心拍音データ処理手段による心拍音データの分析処理を説明する図。 瞬間心拍数の時間変化のグラフの一例を示す図。 瞬間心拍数の時間変化のグラフの一例を示す図。 瞬間心拍数の時間変化のグラフの一例を示す図。 呼吸の頻度の時間変化のグラフの一例、及び呼吸の深さの時間変化のグラフの一例を示す図。 瞬間心拍数の時間変化のグラフの一例を示す図。 呼吸停止頻度の時間変化のグラフの一例を示す図。 周波数の時間変化のグラフの一例を示す図。 会話頻度の時間変化のグラフの一例を示す図。 多変量のパターン認識技術を利用した総合判定処理を説明する図。 多変量のパターン認識技術を利用した総合判定処理を説明する図。 本発明の第１実施形態に係るイベント識別システムにより取得できるデータの一例を示す図。 医療現場を記録して表示する医療現場表示システムの機能構成を示す図である。 識別部と位置計測部の構成の具体例を示すブロック図である。 映像加工装置の構成の具体例を示すブロック図である。 計測により得たスタッフの識別及び存在位置の情報を示す図である。 座標変換により得たスタッフの映像上の位置を表す情報を示す図である。 医療現場表示システムの動作を示すフローチャートである。 撮影装置と位置計測部の受信側である超音波センサの設置状態を示す模式図である。 撮影系座標とその映像系座標との関係を示す図である。 医療現場表示システムで表示される映像を示す図である。 医療現場表示システムで表示される映像の変形例を示す図である。 スタッフデータベースのデータ構造を表す図である。 医療現場分析システムの構成を示す図である。 医療現場分析システムの動き量計測及びキュー設定の動作を示すフローチャートである。 関心領域を表示画面上に表示した態様を示す模式図である。 表示された関心領域に対応してこの関心領域の範囲を示す情報を取得する態様を示した模式図である。 動き量を計測する対象となるスタッフを映像上で抽出する過程を示した模式図である。 抽出した各映像フレームのスタッフの画像領域からスタッフの動き量を計測する過程を示した模式図である。 動き量記憶部に記憶させた動き量を表すデータ構成の模式図である。 動き量計測部による動き量計測の変形例を示す模式図である。 動きの激しい時刻を記憶する態様を示すグラフである。 キューインデックスを示すデータ構造図である。 動きの激しい時刻を記憶する態様の変形例を示すグラフである。 動き量計測及びキュー設定に基づき、映像を再生させる動作を示すフローチャートである。 キューインデックスの表示態様を示す模式図である。 本発明の第３実施形態に係る個体情報識別システムの一構成例を示す図。 撮影手段によって取得した映像の一表示例を示す図。 （ａ）は、受信装置が９チャネルのＩＤ信号受信装置により構成される場合のＩＤ信号受光面の一構成例を示す図。（ｂ）は、９チャネル分のＩＤ信号受信装置のＩＤ信号検出面を格子状に並べ且つチャネル番号を割り当てる一構成例を示す図。 ＩＤ信号受信装置の一構成例を示す図。 受信装置によって受信されるＩＤ信号を送信するＩＤ信号送信装置の一構成例を示す図。 ＩＤ信号送信装置によるＩＤ信号光の送信タイミングを示す図。 撮影手段によって取得した映像と、ＩＤ信号光の発光位置とを重ねて示した図。 ＩＤ信号受光面に投影されるＩＤ信号光を模式的に示す図。 ＩＤ信号受信装置におけるＭＰＵによる処理のフローチャートを示す図。 （ａ）は、各々のＩＤ信号検出面に付与されたチャネル番号を示す図。（ｂ）は、統括装置によるＩＤ信号送信装置の最新の位置を判定する方法の一例を示す図。 統括装置による判定結果を、図１０（ａ）に示す各チャネルの位置に対応させて矩形で表現して示した図。 撮影手段により取得した映像を、図１１に示す図に重畳して示した図。 ＩＤ番号の代わりにＩＤ信号送信装置を装着している人間の氏名を、撮影手段により取得した映像上の当該人間の像に重畳して表示する例を示した図。 各々のＩＤ信号送信装置に付与されたＩＤ番号と、それを装着する人間の氏名との対応表を容易に作成する為の登録装置の構成を示す図。

符号の説明

１…ＩＤ識別カメラ、 ２…撮影手段、 ２Ａ…カメラ受光面、 ２Ｂ…カメラ制御装置、 ２ＩＤ…発光素子、 ３…識別部、 ３Ａ…接触型マイクロフォン、 ３Ｂ…送信機、 ４…受信装置、 ４Ａ…ＩＤ信号受信装置、 ４Ａ１１…ＩＤ信号受光面、 ４Ａ１…ＩＤ信号検出面、 ４Ａ２…感光素子、 ４Ａ３…ハイパスフィルタ、 ４Ａ４…デモジュレータ、 ４Ａ５…バッファメモリ、 ４Ａ６…ＭＰＵ、 ５…映像加工装置、 １１…撮影レンズ、 １３…ビームスプリッタ、 ２１…ＩＤ信号送信装置、 ２１Ｄ…発光素子、 ２１Ａ…電源、 ２１Ｂ…ＲＯＭ、 ２１Ｃ…ドライバ回路、 ２１Ｅ…散乱板、 ３１…登録装置、 ３１Ａ…取りスロット、 ３３…磁気カード、 ４１…監視対象者、 ５２…位置記憶部、 ５６…スタッフデータベース、 ８１…信号発信体、 ８２…発信体計測装置、 ９２…ＲＯＩ設定部、 ９５…キュー設定部、 ９６…キューインデックス記憶部、 １０１…医療現場表示システム、 １０２…撮影装置、 １０３…識別部、 １０４…位置計測部、 １０５…映像加工装置、 １０６…表示装置、 １０７…入力装置、 １０９…医療現場分析システム、 １２１…ＲＦタグ、 １２２…無線送受信部、 １３１…超音波発振器、 １３２…超音波センサ、 １３３…計測系位置計算部、 １５１…映像記録部、 １５２…位置記憶部、 １５３…映像系位置計算部、 １５４…映像系位置記憶部、 １５５…表示制御部、 １５６…スタッフデータベース、 １８１…信号発信体、 １８２…信号受信体、 １８３…制御信号発信部、 １９１…医療現場情報記憶部、 １９２…ＲＯＩ設定部、 １９３…動き量計測部、 １９４…動き量記憶部、 １９５…キュー設定部、 １９６…キューインデックス記憶部、 １９７…制御部、 ３００…音響データ収集手段、 ３００Ａ…接触型マイクロフォン、 ３００Ｃ…受信機、 ３００Ｂ…送信機、 ５００…フィルタ手段、 ７００Ａ…心拍音データ処理手段、 ７００Ｂ…心拍音除去データ処理手段。

Claims (9)

1. 一連の作業行為の中で所定の事象が生じた時刻を検索可能に記録するイベント識別システムであって、
   前記一連の作業行為に係る者の心拍音を含む音響データを収集する音響データ収集手段と、
   前記音響データ収集手段によって収集された前記音響データから、前記心拍音に係るデータを抽出する心拍音データ抽出手段と、
   前記心拍音データ抽出手段によって抽出された心拍音データに基づいて、前記一連の作業行為に係る者の呼吸に関する呼吸情報を生成する呼吸情報生成手段と、
   前記呼吸情報生成手段によって生成された前記呼吸情報に基づいて、前記一連の作業行為の中で前記所定の事象が生じた時刻を判定且つ記録するイベント識別手段と、
   を具備することを特徴とするイベント識別システム。
2. 前記音響データ収集手段によって収集された前記音響データから、前記心拍音に係るデータ以外のデータを抽出する心拍音除去データ抽出手段と、
   前記心拍音除去データ抽出手段によって抽出されたデータに基づいて、前記一連の作業行為の中で前記所定の事象が生じた時刻を判定する判定手段と、
   を含むことを特徴とする請求項１に記載のイベント識別システム。
3. 前記音響データ収集手段は接触型マイクロフォンを含むことを特徴とする請求項１に記載のイベント識別システム。
4. 前記心拍音データ抽出手段は、所定のフィルタ処理によって、前記音響データから前記心拍音データを抽出することを特徴とする請求項１に記載のイベント識別システム。
5. 前記イベント識別手段は、前記呼吸情報生成手段によって生成された前記呼吸情報に基づいて、前記一連の作業行為に係る者の呼吸停止、発話、及び動作が生じたか否かを判定することを特徴とする請求項１に記載のイベント識別システム。
6. 前記呼吸情報生成手段によって生成される前記呼吸情報は、瞬間心拍数の時間変化を示す情報を含むことを特徴とする請求項１に記載のイベント識別システム。
7. 前記判定手段は、前記心拍音除去データ抽出手段によって抽出されたデータに基づいて、前記一連の作業行為に係る者の呼吸停止、発話、及び動作が生じたか否かを判定することを特徴とする請求項２に記載のイベント識別システム。
8. 一連の作業行為が行われる現場を撮影した映像を時系列で記憶する現場情報記憶手段と、
   前記スタッフの心拍音を含む音響データを収集する音響データ収集手段と、
   前記音響データ収集手段によって収集された前記音響データから、前記心拍音に係るデータを抽出する心拍音データ抽出手段と、
   前記心拍音データ抽出手段によって抽出された心拍音データに基づいて、前記スタッフの呼吸に関する呼吸情報を生成する呼吸情報生成手段と、
   前記呼吸情報生成手段によって生成された前記呼吸情報に基づいて、前記一連の作業行為の中で所定の事象が生じた時刻を判定するイベント識別手段と、
   前記イベント識別手段によって前記所定の事象が生じたと判定された時刻を記憶するキューインデックス記憶手段と、
   前記キューインデックス記憶手段によって記憶された時刻に対応してキューマークを表示させ、オペレータにより指定されたキューマークに対応する時刻から前記映像を表示させる頭出し表示制御手段と、
   を具備することを特徴とするイベント識別システム。
9. 一連の作業行為の中で所定の事象が生じた時刻を検索可能に記録するイベント識別システムであって、
   前記一連の作業行為が行われる現場を撮影して映像情報を取得する撮影手段と、
   前記一連の作業行為に係る者に装着され、個体を識別する為の個体識別情報を含む信号である個体識別信号を送信する送信装置と、
   前記個体識別信号の発信場所を特定する為の空間分解能を有し、前記送信装置から送信される個体識別信号を受信する受信手段と、
   前記撮影手段によって取得した前記映像情報と、前記受信手段によって受信した前記個体識別信号の発信場所とを対応付ける統括手段と、
   各々の前記送信装置毎に付与された前記個体識別情報と、当該送信装置を装着する者に関する個人特定情報と、を対応付ける為の登録装置と、
   前記一連の作業行為に係る者の心拍音を含む音響データを収集する音響データ収集手段と、
   前記音響データ収集手段によって収集された前記音響データから、前記心拍音に係るデータを抽出する心拍音データ抽出手段と、
   前記心拍音データ抽出手段によって抽出された心拍音データに基づいて、前記一連の作業行為に係る者の呼吸に関する呼吸情報を生成する呼吸情報生成手段と、
   前記呼吸情報生成手段によって生成された前記呼吸情報に基づいて、前記一連の作業行為の中で前記所定の事象が生じた時刻を判定するイベント識別手段と、
   を具備することを特徴とするイベント識別システム。

Images