JP6912393B2

JP6912393B2 - 医療環境におけるビデオの内容検索

Info

Publication number: JP6912393B2
Application number: JP2017563923A
Authority: JP
Inventors: ジェイモーア，キャサリン; イーミラー，ブライアン
Original assignee: インテュイティブサージカルオペレーションズ，インコーポレイテッド
Priority date: 2015-06-09
Filing date: 2016-06-08
Publication date: 2021-08-04
Anticipated expiration: 2036-06-08
Also published as: US20180322949A1; US10600510B2; WO2016200887A1; KR20180006622A; CN107851120A; EP3308302A4; EP3308302A1; KR102611663B1; JP2018518768A

Description

著作権表示
この特許文書の開示の一部は、著作権保護の対象となる資料を含む。著作権者は、この特許文書が特許商標庁の特許ファイル又は記録に記載されている場合に、特許文書又は特許開示のいずれかによるファクシミリ複製に異論を唱えないが、それ以外の場合は、如何なる場合であっても全ての著作権を留保する。

関連出願への相互参照
本特許出願は、２０１５年６月９日に出願された、”COMBINED VIDEO METADATA AND IMAGE ANALYSIS IN A SURGICAL CONTEXT”という標題の米国仮特許出願第６２／１７３，１８７号について優先権及び出願日の利益を主張するものであり、この文献は、その全体が参照により本明細書に組み込まれる。

本発明の態様は、概して、ビデオの内容検索に関する。具体的には、それら本発明の態様は、特定の関心対象について医療処置のビデオ録画を検索すること、及び関心対象を示すビデオクリップを検索することに関する。

ビデオ録画において、探し求めている対象が示される正確なポイントの情報を有さずに、特定の関心対象をビデオ録画において位置特定する能力を有することが望ましい。こうして、ユーザがビデオ録画の対象検索においてキーワード又はキーフレーズ検索を実行できるようにするビデオ検索機能を有することが望ましい。

ビデオ録画の対象検索は、典型的に、画像データの解析に専ら依存するアルゴリズム的手法を含む。例えば、ゲーリング（Gering）の”Method and System for Segmenting
Image Data”という標題の特許文献１を参照されたい。一般的に言えば、画像データの解析は、様々な関心対象を示すと判定された画像（例えば、ビデオのフレーム）の様々な画素の中に存在する特定のパターンを特定しようとする。これらの解析を行うために使用される画像特性は、画素の色パターン、画素の強度、隣接する画素によって形成される画像内のライン又は輪郭等を含み得る。画像データの解析による画像の対象の観察は、特許文献１が認めているように困難であり、計算量の多いものである。さらに、返される結果は大抵の場合不正確である。

画像データ解析を専ら使用して画像の対象を判定することに関連する制限に鑑みて、ビデオ録画の対象検索を行うための改良されたシステム及び方法が所望される。一態様では、ビデオ録画は、医療システム上で行われる様々なシステム・イベントに関連付けられる。医療システム上で行われるシステム・イベントに関する情報は、ビデオ録画中に発生する特定のイベントを示し得る追加のデータセットを提供する。特定の関心対象について記録されたビデオを検索する場合に、この追加のデータセットの解析を使用して、ビデオ録画の画像データ解析を増強させることができる。この検索手法は、検索の計算量を最小限にし、且つ検索精度を向上させることができる場合に、画像データ解析に専ら依存する検索手法よりも好ましい。

米国特許第７，６２３，７０９号

以下の発明の概要は、基本的な理解を提供するために、本発明の主題の特定の態様を紹介する。この発明の概要は、本発明の主題の広範な概要ではなく、解決要素又は重要な要素を特定すること、又は本発明の主題の範囲を線引きすることを意図するものではない。この発明の概要は、本発明の主題の様々な態様及び実施形態に関連する情報を含むが、その唯一の目的は、以下のより詳細な説明の前置きとして、いくつかの態様及び実施形態を一般的な形態で提示することである。

録画されたビデオを検索する方法が開示される。この方法は、関心のある医療イベントを示す１つ又は複数のビデオクリップを１つ又は複数の処置ビデオ録画から探し出すためのユーザコマンドを受信するステップを含む。次に、関心のある医療イベントの発生に対応する可能性の高い１つ又は複数のシステム・イベントが、１つ又は複数の処置イベントログから特定される。１つ又は複数のシステム・イベントのそれぞれに対応する１つ又は複数のタイムスタンプを使用して、１つ又は複数の候補ビデオクリップが、１つ又は複数の処置ビデオ録画から特定される。画像データの解析を行うことによって、１つ又は複数の候補ビデオセグメントのそれぞれが、関心のある医療イベントを含む特定されたビデオセグメントであるかどうかに関して判定が行われる。少なくとも１つの特定されたビデオセグメントがユーザに提示される。

ビデオ検索を行うコンピュータ装置が開示される。コンピュータ装置は、ユーザインターフェイスと、１つ又は複数のプロセッサを含む処理ユニットとを含む。処理ユニットは、ユーザインターフェイスに動作可能に結合され、関心のある医療イベントを示す１つ又は複数のビデオクリップを１つ又は複数の処置ビデオ録画から探し出すためのユーザコマンドを受信するように構成される。処理ユニットは、関心のある医療イベントの発生に対応する可能性の高い１つ又は複数のシステム・イベントを、１つ又は複数の処置イベントログから特定するようにさらに構成される。処理ユニットは、１つ又は複数のシステム・イベントのそれぞれに対応する１つ又は複数のタイムスタンプを使用して、１つ又は複数の処置ビデオ録画から１つ又は複数の候補ビデオクリップを特定するように構成される。処理ユニットは、画像データの解析を行って、１つ又は複数の候補ビデオセグメントのそれぞれが、関心のある医療イベントを含む特定されたビデオセグメントであるかどうかを判定する。処理ユニットは、少なくとも１つの特定されたビデオセグメントを、例えばディスプレイ上でユーザに提示する。

低侵襲性遠隔操作手術システムの平面図である。外科医コンソールの斜視図である。電子機器カートの斜視図である。遠隔操作手術システムの概略図である。患者側カートの斜視図である。医療システムの概略図である。医療システムの画像化アルゴリズムのフロー図である。医療システムのイベントログを作成するためのアルゴリズムのフロー図である。医療システムを使用するためのアルゴリズムのフロー図である。医療システムのイベントログのデータ構造を示す図である。データライブラリのメンテナンス・アルゴリズムのフロー図である。ビデオ内容を検索するためのアルゴリズムのフロー図である。

発明の態様、実施形態、実装形態、又は用途を示すこの詳細な説明及び添付図面は、限定するものとして解釈すべきではなく、特許請求の範囲は保護対象となる発明を規定する。この詳細な説明及び特許請求の範囲の趣旨及び範囲から逸脱することなく、様々な機械的、構成的、構造的、電気的及び動作的変更を行うことができる。いくつかの例では、本発明を不明瞭にしないために、周知の回路、構造、又は技術は詳細には示さないか、又は説明していない。２つ以上の図における同様の数字は、同じ又は類似の要素を表す。

また、この詳細な説明の用語は、本発明を限定することを意図していない。例えば、「〜の下に(beneath)」、「〜より下の(below)」、「〜の下方の(lower)」、「〜より上の(above)」、「〜の上方の(upper)」、「基端の(proximal)」、「先端の(distal)」等の空間に関連する用語は、図に示される１つの要素又は機構に対して別の要素又は機構との関係を説明するために使用される。これらの空間に関連する用語は、図面に示される位置及び向きに加えて、使用又は操作中の装置の異なる位置（すなわち、配置）及び向き（すなわち、回転位置）を包含することを意図している。例えば図面内の装置をひっくり返した場合に、他の要素又は機構「より下の(below)」又は「の下に(beneath)」として説明された要素は、次に、その他の要素又は機構「より上の(above)」又は「の上に(over)」となる。従って、例示的な用語「〜より下の(below)」は、「〜より上の(above)」及び「〜より下の(below)」両方の位置及び向きを包含することができる。装置を他の方法で向き合わせ（９０度回転又は他の向きに）してもよく、本明細書で使用される空間に関連する説明は、それに応じて解釈される。同様に、様々な軸線に沿った及びこの軸線周りの運動の説明は、装置の様々な特別な位置及び向きを含む。また、単数形「１つの(a, an)」及び「その(the)」は、文脈が他に指示しない限り、複数形も含むことを意図している。用語「備える、有する、含む(comprises, comprising)」、「含む、有する(includes)」等は、説明した特徴、ステップ、操作、要素、及び／又は構成要素の存在を特定するが、１つ以上の他の特徴、ステップ、操作、要素、構成要素、及び／又はグループの存在又は追加を排除するものではない。「結合した（coupled）」として説明した構成要素は、電気的に又は機械的に直接的に結合されるか、又は１つ又は複数の中間要素を介して間接的に結合されてもよい。

１つの実施形態、実装形態、又は用途を参照して詳細に説明した要素は、実際には、具体的に図示又は説明していない他の実施形態、実装形態、又は用途に含まれることがある。例えば、要素について第１の実施形態を参照して詳細に説明しているが、第２の実施形態を参照して説明していない場合に、この要素は、それにも拘わらず、第２の実施形態に含まれるように権利範囲に含まれる。こうして、以下の詳細な説明で不必要な繰返しを避けるために、１つの実施形態、実装形態、又は用途に関連して図示し説明した１つ又は複数の要素は、特に他に説明しない限り、１つ又は複数の実施形態が実施形態又は実装形態を機能しないようにするか、又は２つ以上の要素が相反する機能を提供しない限り、他の実施形態、実装形態又は態様に組み込まれる。

本発明の態様は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって商品化されたda Vinci（登録商標）Surgical System（具体的には、Da Vinci（登録商標）Xi^TMHD^TM手術システムとして市販されているModel IS4000）を使用する実装形態の観点から主に説明する。しかしながら、知識のある者は、本明細書に開示された本発明の態様は、ロボット式の及び適用可能であれば非ロボット式の実施形態及び実装形態を含む様々な方法で具体化及び実施できることを理解するであろう。da Vinci（登録商標）手術システム（例えば、モデルIS4000 da Vinci（登録商標）Xi^TM手術システム、モデルIS3000 da Vinci（登録商標）Si^TM手術システム）上の実装形態は、単なる例示であり、本明細書に開示される本発明の態様の範囲を限定するものとみなすべきではない。

本開示は、医療システムを使用して行われる医療処置を記録するための画像取込み装置を含む医療システムについて説明する。さらに、医療システムは、コンピュータプロセッサと、処置（procedure）イベントログが記憶されるメモリ装置とを含む。処置イベントログは、医療システム上で行われる特定のイベントの発生を記録する。処置イベントログは、これらのイベントが発生した時刻をさらに記録する。医療システムは、処置イベントログのシステム・イベントを、医療処置の対応するビデオ録画と同期させることができる。

一態様では、医療ユーザは、医療処置の特定の部分を示す記録された医療ビデオの特定のセグメントを見るように努める。ユーザは、探し求めているビデオセグメントに示される対象を記述する１つ又は複数のキーワードを、ユーザインターフェイスを介して入力する。これらの入力は、医療システムに結合された外部キーボード、医療システムのタッチスクリーン式テキスト入力インターフェイス、又は医療システムの音声制御インターフェイス等を介して、様々な既知の入力方法のうちの１つを使用して行うことができる。医療システムとデータ通信するコンピュータプロセッサは、処置イベントログに記憶された情報を使用して、関心対象を含む可能性の高い記録された医療ビデオの１つ又は複数の候補ビデオセグメント（つまり、「ビデオクリップ」）を特定する。この特定は、（１）処置イベントログ内の特定のタイプのエントリと、（２）（医療処置のビデオ録画で取り込まれる）関心のある特定の医療イベントとの間の関連付けが既知であるため可能である。次に、コンピュータアルゴリズムが、特定されたビデオクリップのそれぞれのフレームに含まれる画像データを解析して、フレームが検索対象となる関心対象を示すかどうかを判定するアルゴリズムを候補ビデオクリップに適用する（残りのビデオ録画のいずれにも適用しない）。画像データ解析アルゴリズムが、関心対象を含むものとして１つ又は複数の特定されたビデオクリップを肯定的に特定する場合に、次に、これらのビデオクリップがユーザに提示される。

低侵襲性遠隔操作手術システム
ここで図面を参照すると、同様の参照符号がいくつかの図を通して同様の部品を表しており、図１は、手術台１４上に横たわっている患者１２に対して低侵襲性の診断又は医療処置を行うために典型的に使用される、低侵襲性遠隔操作手術システム１０の平面図である。システムは、処置中に外科医１８が使用するための外科医コンソール１６を含む。１人又はそれ以上のアシスタント２０もこの処置に参加することができる。低侵襲性遠隔操作手術システム１０は、患者側カート２２及び電子機器カート２４をさらに含む。患者側カート２２は、外科医１８が外科医コンソール１６を介して手術部位を確認しながら、少なくとも１つの取り外し可能に結合された手術器具２６を患者１２の身体の低侵襲性切開部を介して操作することができる。手術部位の画像は、立体内視鏡等の内視鏡２８によって取得することができ、患者側カート２２によって内視鏡２８を操作して向き合わせすることができる。外科医コンソール１６を介して外科医１８に後で表示するために、電子機器カート２４上に位置するコンピュータプロセッサを使用して手術部位の画像を処理することができる。一度に使用される手術器具２６の数は、一般に、数ある要因の中でも診断又は医療処置、及び手術室内の空間的な制約に依存する。処置中に使用される１つ又は複数の手術器具２６を変更する必要がある場合に、アシスタント２０は、患者側カート２２から手術器具２６を取り外し、その器具を手術室のトレイにある別の手術器具２６と交換することができる。

図２は、外科医コンソール１６の斜視図である。外科医コンソール１６は、奥行き知覚を可能にするような手術部位の調整された立体視を外科医１８に提示するための左眼用ディスプレイ３２と右眼用ディスプレイ３４とを含む。コンソール１６は、１つ又は複数の制御入力３６をさらに含む。外科医１８による１つ又は複数の制御入力３６の操縦に応答して、患者側カート２２（図１に示される）で使用するために設置された１つ又は複数の手術器具が移動する。制御入力３６は、関連する手術器具２６（図１に示される）と同じ機械的自由度を提供して、外科医１８にテレプレゼンス（すなわち、制御入力３６が器具２６と一体であるという知覚）を提供することができ、それによって外科医は、器具２６を直接的に制御しているという強い感覚を有することになる。この目的のために、位置、力、及び触覚フィードバックセンサ（図示せず）を使用して、手術器具２６からの位置、力、及び触覚感覚を制御入力３６を介して外科医の手に戻して伝達させることができる。

外科医コンソール１６は、通常、外科医が処置を直接的に監視し、必要な場合にその場に物理的に存在し、電話や他の通信媒体を介すのではなく患者側アシスタントと直接的に話すことができるように、患者と同じ部屋に配置される。しかしながら、外科医は、異なる部屋、完全に異なる建物、又は遠隔医療処置を可能にする患者から離れた他の遠隔位置に位置してもよい。

図３は、電子機器カート２４の斜視図である。電子機器カート２４は、内視鏡２８と結合され、取り込んだ画像を処理し、その後に外科医コンソール上で又はローカル及び／又はリモートに位置する別の適切なディスプレイ上で外科医等に表示させるために、コンピュータプロセッサを含む。例えば、立体内視鏡が使用される場合に、電子機器カート２４上のコンピュータプロセッサは、取り込んだ画像を処理して手術部位の調整された立体画像を外科医に提示することができる。そのような調整は、対向する画像同士の間の位置合せを含むことができ、且つ立体内視鏡の立体動作距離を調整することを含むことができる。別の例として、画像処理は、光学収差等の画像取込み装置の結像誤差を補償するために以前に決定されたカメラ較正パラメータの使用を含むことができる。取り込んだ画像は、後で視聴するためにメモリ装置に記憶させることもできる。オプションとして、電子機器カート内の機器は、外科医コンソール又は患者側カートに統合してもよく、或いは手術室内の他の様々な位置に配置してもよい。

図４は、遠隔操作手術システム１０の一実施形態の概略図である。外科医コンソール５２（図１の外科医コンソール１６等）は、外科医が低侵襲性処置中に患者側カート５４（図１の患者側カート２２等）を制御するために使用される。患者側カート５４は、手術部位の画像を取り込み、取り込んだ画像を電子機器カート５６（図１の電子機器カート２４等）上に位置するコンピュータプロセッサに出力するために、立体内視鏡等の撮像装置を使用することができる。コンピュータプロセッサは、典型的には、コンピュータプロセッサの不揮発性メモリ装置に記憶されたコンピュータ可読コードを実行するための１つ又は複数のデータアルゴリズムボードを含む。コンピュータプロセッサは、後で表示する前に取り込んだ画像を様々な方法で処理することができる。例えば、コンピュータプロセッサは、外科医コンソール５２を介して外科医に合成画像を表示する前に、取り込んだ画像を仮想制御インターフェイスに重ね合わせる（オーバーレイする）ことができる。

追加的に又は代替的に、取り込んだ画像は、電子機器カート５６の外部に位置するコンピュータプロセッサによって画像処理を受けてもよい。一実施形態では、遠隔操作手術システム５０は、電子機器カート５６上に位置するコンピュータプロセッサと同様のオプションのコンピュータプロセッサ５８（点線で示す）を含み、患者側カート５４は、外科医コンソール５２に表示させる前に、画像処理のために取り込んだ画像をコンピュータプロセッサ５８に出力する。別の実施形態では、取り込んだ画像は、電子機器カート５６上のコンピュータプロセッサによる画像処理を最初に受け、次に、外科医コンソール５２に表示させる前に、コンピュータプロセッサ５８による画像処理をさらに受ける。遠隔操作手術システム５０は、破線で示されるようなオプションのディスプレイ６０を含むことができる。ディスプレイ６０は、電子機器カート５６上に位置するコンピュータプロセッサ及びコンピュータプロセッサ５８と結合され、これらのコンピュータプロセッサによって処理された画像は、ディスプレイ６０に表示され、さらに外科医コンソール５２のディスプレイにも表示される。

図５は、本発明の実施形態による低侵襲性遠隔操作手術システムの患者側カート５００の斜視図である。さらに、患者側カート５００は、１つ又は複数の支持アセンブリを含む。手術器具マニピュレータ５１２が各支持アセンブリ５１０の端部に取り付けられる。さらに、各支持アセンブリ５１０は、オプションで、手術のために患者に対して取り付けられた手術器具マニピュレータ５１２を位置付けするために使用される１つ又は複数の動力供給を受けない固定可能なセットアップ関節を含むことができる。図示されるように、患者側カート５００は床の上に置かれる。他の実施形態では、患者側カートの動作部分は、壁、天井、患者の身体５２２も支持する手術台５２６、又は他の手術室設備に取り付けることができる。さらに、患者側カート５００が、４つの手術器具マニピュレータ５１２を含むように示されているが、より多い又はより少ない数の手術器具マニピュレータ５１２を使用してもよい。

機能的な低侵襲性遠隔操作手術システムは、一般に、遠隔操作手術システムのユーザが患者の身体５２２の外部から手術部位を見ることを可能にする視覚システム部分を含む。視覚システムは、典型的には、ビデオ画像を取り込むためのカメラ器具５２８と、取り込んだビデオ画像を表示させるための１つ又は複数のビデオディスプレイとを含む。カメラ器具５２８は、図１に示される内視鏡２８と同様とし得る。いくつかの手術システム構成では、カメラ器具５２８は、カメラ器具５２８の先端部から患者の身体５２２の外部の１つ又は複数の撮像センサ（例えば、ＣＣＤ又はＣＭＯＳセンサ）に画像を移す光学系を含む。あるいはまた、撮像センサ（複数可）をカメラ器具５２８の先端部に位置付けしてもよく、センサ（複数可）によって生成された信号を処理するためにリード線に沿って又は無線で転送して、１つ又は複数のビデオディスプレイ上に表示させることができる。ビデオディスプレイの一例は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって商品化された手術システムの外科医コンソール上の立体視ディスプレイである。

図５を参照すると、各手術器具マニピュレータ５１２には、患者の身体５２２内の手術部位で動作する手術器具５２０が取り付けられている。各手術器具マニピュレータ５１２は、関連する手術器具が１つ又は複数の機械的な自由度（例えば、全部で６つのデカルト自由度、５つ以下のデカルト自由度等）で移動可能になるように、様々な形態で提供される。典型的には、機械的制約又は制御制約により、各マニピュレータ５１２がその関連する手術器具を患者に対して静止している器具の運動中心の周りに動かすことが制限され、この運動中心は、典型的には、器具が身体内に入る位置に置かれる。

手術器具５２０は、コンピュータ支援遠隔操作によって制御される。機能的な低侵襲性遠隔操作手術システムは、遠隔操作手術システムのユーザ（例えば、外科医又は他の医療関係者）からの入力を受け取る制御入力を含む。制御入力は、手術器具５２０が結合される１つ又は複数のコンピュータ制御遠隔操作アクチュエータと通信する。このようにして、手術器具５２０は、医療関係者の制御入力の動きに応じて移動する。一実施形態では、１つ又は複数の制御入力は、図２に示される外科医コンソール１６等の外科医コンソールに含まれる。外科医は、外科医コンソール１６の制御入力３６を操縦して、患者側カート５００の遠隔操作アクチュエータを動作させることができる。遠隔操作アクチュエータによって生成された力は、遠隔操作アクチュエータから手術器具５２０に力を伝える駆動トレインを介して伝達される。

図５を参照すると、手術器具５２０及びカニューレ５２４は、手術器具５２０がカニューレ５２４を通して挿入された状態で、マニピュレータ５１２に取り外し可能に結合される。マニピュレータ５１２の１つ又は複数の遠隔操作アクチュエータは、手術器具５１２を全体として移動させる。マニピュレータ５１２は、器具キャリッジ５３０をさらに含む。手術器具５２０は、器具キャリッジ５３０に着脱可能に接続される。器具キャリッジ５３０は、多数のコントローラ動作を提供する１つ又は複数の遠隔操作アクチュエータを収容し、アクチュエータによって、手術器具５２０が手術器具５２０上のエンドエフェクタの様々な運動として並進する。こうして、器具キャリッジ５３０内の遠隔操作アクチュエータは、手術器具全体ではなく、手術器具５２０の１つ又は複数の構成要素のみを動かす。器具全体又は器具の構成要素のいずれかを制御するための入力は、外科医又は他の医療関係者によって制御入力に提供される入力（「マスター」コマンド）が、手術器具による対応する動作（「スレーブ」応答）に変換される。

図６は、医療システム６００の概略図を示す。医療システム６００は、遠隔操作手術システム１０を含む。医療システム６００は、オプションで、破線で示されるように、遠隔操作手術システム１０とデータ通信するコンピュータ６２０を含むことができる。一実施形態では、コンピュータ６２０はパーソナルコンピュータである。代替実施形態では、コンピュータ６２０はサーバ又はメインフレームである。コンピュータ６２０と遠隔操作手術システム１０との間のデータ通信は、当技術分野で知られている様々な方法（例えば、ローカルエリアネットワーク（LAN）接続、インターネット接続（有線又は無線））を介して行われる。追加的に又は代替的に、このデータ通信は、モバイルハードドライブ又は他の同様のデータ記憶装置を使用して、遠隔操作手術システム１０からコンピュータ６２０へのデータ転送によって行うことができる。コンピュータ６２０を使用して、遠隔操作手術システム１０のメモリ装置に記憶された情報にアクセスすることができ、遠隔操作手術システム１０を使用して、コンピュータ６２０のメモリ装置に記憶された情報にアクセスすることができる。コンピュータ６２０のキーボードは、テキスト入力用のユーザインターフェイスを提供する。キーボードを使用して入力されたテキストは、コンピュータ６２０のコンピュータプロセッサだけでなく、遠隔操作手術システム１０のコンピュータプロセッサによっても操作することができる。

医療システム６００は、１つ又は複数の処置イベントログがその上に維持されるメモリ装置を含む。図８は、例示的な処置イベントログの選択部分を示す。一実施形態では、メモリ装置は、電子機器カート５６上に位置するメモリ装置５９である。代替実施形態では、処置イベントログは、外科医コンソール５２に位置するメモリ装置上に維持される。さらに別の実施形態では、処置イベントログは、コンピュータ６２０上に位置するメモリ装置上に維持される。

処置イベントログのエントリは、遠隔操作手術システム１０とこの遠隔操作手術システム１０を使用する医療関係者との間の様々な相互作用の記録を含むことができる。一実施形態では、処置イベントログは、自動的に生成され、且つ遠隔操作手術システム１０によって実行される他の動作（例えば、コンピュータ支援遠隔操作、ビデオ録画、ビデオ表示等）と並行して自動的に維持される。医療関係者による入力は、医療システム６００の処置イベントログの生成及び維持のために必要とされない。

図７Ａは、医療システムの画像取込み及び記録アルゴリズム７０１のフロー図である。図７Ｂは、画像取込み及び記録と並行した、医療システムの処置イベントログを追加するアルゴリズムのフロー図である。図７Ｃは、（１）処置イベントログデータを使用して、装置のユーザが探し求めている関心のある特定の医療イベントが発生する可能性の高い、取り込んだビデオの１つ又は複数の候補ビデオセグメント（つまり、「ビデオクリップ」）を特定し、及び（２）候補ビデオクリップのそれぞれのフレームに含まれる画像データを見つけるアルゴリズムを候補ビデオクリップに適用し（残りのビデオ録画のいずれにも適用しない）、どのフレームが装置のユーザが探し求めている関心のある医療イベントを示しているかどうかを判定するアルゴリズムのフロー図である。

一実施形態では、アルゴリズム７０１、７０２、及び７０３は、医療システム６００のプロセッサ５８（図６に示される）によって実施される。代替実施形態では、アルゴリズム７０１、７０２、及び７０３のうちの１つ又は複数は、プロセッサ５８以外のプロセッサによって実施することができる。

医療ビデオの取込み、処理、表示、及び記憶
図７Ａは、医療システムの画像取込み及び記録アルゴリズム７０１を示すフロー図である。一実施形態では、医療システムは、遠隔操作手術システムを含む。図７Ａを参照すると、７０５において、ビデオ画像が画像取込み装置によって取り込まれる。一実施形態では、画像取込み装置は、アクティブ画素センサ（APS）アレイを含む内視鏡（例えば、図１の内視鏡２８）である。ＡＰＳアレイは、赤色画素センサ、緑色画素センサ、及び青色画素センサから構成され、これらは周期的なパターンで配列されている。ＡＰＳアレイの各画素センサは、光検出器と、光検出器が露光される光周波数を制限する光フィルタとを含む。各赤色画素センサの光フィルタは、電磁（EM）放射スペクトルの赤色可視光部分にある光だけを通過させる。同様に、各緑色画素の光フィルタは、ＥＭスペクトルの緑色可視光部分にある光だけを通過させ、各青色画素の光フィルタは、ＥＭスペクトルの青色可視光部分にある光だけを通過させる。従って、ＡＰＳアレイの各画素センサは、その対応する光フィルタのＥＭスペクトル範囲内にある光にのみ応答する。画素センサに到達する他の全ての光周波数は、その光フィルタによってフィルタ除去され、決してその光検出器に到達しない。従って、ＡＰＳアレイの各画素センサは、一般に、その光フィルタのＥＭスペクトル範囲外の光に対する応答を有しない。赤色画素センサの光フィルタによって全ての非赤色光が赤色画素センサの光検出器に到達しないように阻止されるため、赤色画素センサは非赤色光に応答しない。緑色画素センサの光フィルタによって全ての非緑色光が緑色画素センサの光検出器に到達しないように阻止されるため、緑色画素センサは非緑色光に応答しない。また、青色画素センサの光フィルタによって全ての非青色光が青色画素センサの光検出器に到達しないように阻止されるため、青色画素センサは非青色光に応答しない。

一実施形態では、上述したＡＰＳアレイは、未処理の（raw）ベイヤーパターン画像を生成するように構成される。一般に、未処理のベイヤーパターン画像の各画素は、ＡＰＳアレイの個々の画素センサに対して１対１の関係で直接的に対応する。前述したように、ＡＰＳアレイは、赤色画素センサ、緑色画素センサ、及び青色画素センサから構成され、これらは周期的なパターンで配列されている。この色情報に基づいて、ＡＰＳアレイ内の様々な有色画素センサの周期的な配置が既知である場合に、未処理のベイヤーパターン画像の各画素がどの色であるかが分かる。未処理のベイヤーパターン画像の画素がＡＰＳアレイの赤画素センサに対応する場合に、その画素は赤色であるはずである。未処理のベイヤーパターン画像の画素がＡＰＳアレイの緑色画素センサに対応する場合に、その画素は緑色であるはずである。未処理のベイヤーパターン画像の画素がＡＰＳアレイの青画素センサに対応する場合に、その画素は青色であるはずである。

画素強度は、未処理のベイヤーパターン画像を生成するために必要な別の情報である。この情報は、ＡＰＳアレイの各画素センサの受光素子によって生成される信号によって提供される。例えば、ＡＰＳアレイの赤色画素センサに対応する未処理のベイヤーパターン画像の画素について検討する。前述したように、その画素が赤色画素センサに関連付けられていることを判定する能力は、ＡＰＳアレイの様々な有色画素センサの周期的配置の事前の知識に基づいている。次に、未処理のベイヤーパターン画像のこの画素が（１）かすかな赤、又は（２）飽和した深紅であるかという問題がある。この画素がかすかな赤か、又は飽和した深紅であるかは、ＡＰＳアレイの対応する赤画素センサの受光素子に到達する光の量によって判定される。前述したように、赤色画素センサの光フィルタによって全ての非赤色が遮断され、赤色光のみが受光素子に通過可能となる。こうして、この画素がかすかな赤か、又は飽和した深紅であるかは、赤色画素センサ（つまり、より正確にはその受光素子）が露光される赤色光の量によって判定される。画素センサの受光素子に到達する光が多くなればなるほど、未処理のベイヤーパターン画像の対応する画素の色強度がより増す。これらの原理は、ＡＰＳアレイの緑色画素センサ及び青色画素センサにも同様に当てはまる。

７１０において、未処理のベイヤーパターン画像データは、（１）内視鏡によって取り込まれた未処理のベイヤーパターン画像を、（２）表示に適した赤緑青（RGB）画像に変換するためのビデオ処理を受ける。一実施形態では、７１０におけるこのビデオ処理は、モザイク解除処理モジュールを含む。一般に、ＲＧＢ画像は加法的な色モデルに基づく。ＲＧＢ画像の各画素の色は、赤色、緑色、及び青色の適切な強度を加算することによって決定される。未処理のベイヤーパターン画像から始めて、モザイク解除処理モジュールは、未処理のベイヤーパターン画像の各赤、緑、又は青の画素の色を、その画素を取り囲む異なる色の画素の情報を使用して調整することによって、ＲＧＢ画像を形成する。例えば、未処理のベイヤーパターン画像内の赤色画素は、（１）１つ又は複数の隣接する青色画素、及び（２）１つ又は複数の隣接する緑色画素からの色データで赤色画素を補うことによって調整される。この方法を使用して、未処理のベイヤーパターン画像の赤色画素は、赤色、緑色、及び青色成分を有するＲＧＢ画像の画素に変換される。これらの原理は、未処理のベイヤーパターン画像の緑色画素及び青色画素をＲＧＢ画像の画素に変換する場合にも同様に当てはまる。

モザイク解除処理モジュールの画像処理アルゴリズムの１つの目的は、画素単位で調整することによって、ＲＧＢ画像の各画素が、ＡＰＳアレイ（すなわち、内視鏡）の対応する画素センサが露光される赤、緑、及び青の比率の正確な近似値となるＲＧＢ画像を生成することである。前述したように、ＡＰＳアレイの各画素センサは、画素センサが赤色画素センサであれば赤色光のみを通過させ、緑色画素センサであれば緑色光のみを通過させ、又は青色画素センサであれば青色光のみを通過させる光フィルタを含む。赤色画素センサに到達する非赤色光は、赤色画素センサの光フィルタによってフィルタ除去され、赤色画素センサの光検出器に決して到達しない。同じことが、緑色画素センサに到達する非緑色光、及び青色画素センサに到達する非青色光についても当てはまる。従って、任意の単一画素センサ（赤、緑、又は青のいずれか）の光検出器によって検出された情報は、単一色（すなわち、特定の光フィルタを通過可能な光の色）の光強度に専ら対応する。

ＡＰＳアレイは、赤色画素センサ、緑色画素センサ、及び青色画素センサから構成、これらは周期的なパターンで配列されている。一般に、異なる色の画素センサは、互いに隣接して配置されない。例えば、一実施形態では、各赤色画素センサは、１つ又は複数の緑色画素センサと１つ又は複数の青色画素センサとに隣接する。このタイプの画素センサ配列の１つの理由は、モザイク解除処理モジュールの画像処理アルゴリズムが、隣接する画素センサからの情報を用いて特定の画素センサに到達する光の１つの色成分を近似可能にすることである。一例では、赤色画素センサは、その左側に緑色画素センサ、その右側に緑色画素センサ、その上側に青色画素センサ、及びその下側に青色画素センサが並んでいる。赤色画素センサは、赤色光のみを光検出器に通過可能にさせる光フィルタを含む。画素センサに到達する全ての非赤色光（例えば、緑色光、青色光等）はフィルタ除去され、決して光検出器に到達しない。従って、赤色画素センサの光検出器からの信号は、赤色画素センサが露光される赤色光の強度の指標となる。しかしながら、全ての非赤色光が赤色画素センサの光フィルタによってフィルタ除去され、決して光検出器に到達することはないので、赤色画素センサの光検出器は、赤色画素センサに到達する非赤色光（例えば、緑色光又は青色光）の強度に関する情報を提供しない。しかしながら、この例では、２つの緑色画素センサと２つの青色画素センサとが赤色画素センサを取り囲んでいる。２つの緑色画素センサの各々の光検出器は、各緑色画素センサが露光される緑色光の強度に関する情報を提供する。２つの青色画素センサの各々の光検出器は、各青色画素センサが露光される青色光の強度に関する情報を提供する。隣接する緑色画素センサ及び隣接する青色画素センサからのこの情報を使用して、赤色画素センサが露光されたときの緑色光及び青色光の強度を近似することができる。赤色画素センサが露光されたときの緑色光及び青色光のこの近似は、赤色画素センサの光検出器によって提供される赤色光強度に関する情報と共に使用され、赤色画素センサに対応するＲＧＢ画像の画素を生成する。緑色画素センサ及び青色画素センサに対応するＲＧＢ画像の画素の色は、同様に決定することができる。

ビデオ処理７１０に続いて、処理された画像は、７１５で、遠隔操作手術システム（例えば、図１に示される遠隔操作手術システム１０）の１人以上のユーザに表示される。図１を参照すると、これらの画像は、外科医コンソールに座っている外科医１８に表示することができる。さらに、これらの画像は、電子機器カート２４上に位置するディスプレイで他の手術スタッフに示すことができる。一実施形態では、処理された画像は、６０フレーム／秒（fps）でＳＸＧＡビデオ出力を構成する。処理された画像の画像データは、ＤＶＩ−Ｄ接続を介して様々なディスプレイに通信される。一実施形態では、７２０において、処理された画像は、メモリ装置にさらに記憶される。処理された画像は、その圧縮形式及び／又は非圧縮形式で記憶することができる。一実施形態では、処理された画像は、電子機器カート５６（図６に示される）上に位置するメモリ装置５９に記憶される。代替実施形態では、処理された画像は、外科医コンソール１６又は患者側カート２２に位置するメモリ装置に記憶され、記憶装置は、７２０でビデオ処理を実施するコンピュータプロセッサとデータ通信する取り外し可能なメモリ装置（すなわち、「サムドライブ（thumb drive）」）である。オプションで、７０６に破線で示されるように、７０５で生成された未処理の生のベイヤーパターン画像データをこの記憶装置又は別の記憶装置に記憶させてもよい。

一実施形態では、７１０での画像処理によって出力された一連の画像は、７２０で医療ビデオとして記憶される。ビデオ録画が開始された時刻のタイムスタンプが、医療ビデオのデータに埋め込まれる。遠隔操作手術システムで使用するために画像取込み装置（例えば、内視鏡）が設置されたときに、ビデオ録画を自動的に命令することができる。代替実施形態では、ユーザが記録を開始すると、ビデオ録画が開始される。このタイムスタンプは、記録された医療ビデオの内容検索を行うように構成された遠隔操作手術システムのコンピュータプロセッサによって使用され得る。この態様について、以下でさらに詳細に説明する。

処置イベントログの追加
医療システム上で発生する様々なシステム・イベントを記述する処置イベントログ（例えば、図８に例示的なイベントログの一部が示される）を使用して、医療システムを使用して行われる医療処置のビデオ録画上で内容検索を実行する際の速度及び精度を改善することができる。すなわち、臨床的に重要な処置イベントログのシステム・イベントを使用して、関心のある特定の内容を含む可能性が高い医療処置のビデオ録画のビデオセグメント（すなわち、「ビデオクリップ」）を特定することができる。

一実施形態では、医療システムは、遠隔操作手術システムを含む。遠隔操作手術システムの処置イベントログは、一般的に、遠隔操作手術システムのコンピュータプロセッサ５８（図６に示される）によって連続的に維持され、電子機器カート５６（図６に示される）上に位置するメモリ装置５９に記憶される。代替実施形態では、コンピュータ及びメモリ装置の一方又は両方を、遠隔操作手術システムの別の構成要素に配置してもよい。処置イベントログは、以下を含むシステム・イベントのエントリを含むことが好ましい。
・遠隔操作手術システムの電源をオン／オフすること。
・遠隔操作手術システムに使用するための画像取込み装置を設置すること。
・遠隔操作手術システムのユーザによってビデオ録画を開始すること。
・遠隔操作手術システムに手術器具を設置すること。
・遠隔操作手術システムから手術器具を取り外すこと。
・電気焼灼器の機能を作動させること。
・遠隔操作手術システムの入力と出力との間の移動スケーリングを調節すること。
・遠隔操作手術システムの特殊な撮影モードをオンにすること。
このリストは決して網羅的ではない。イベントログは、遠隔操作手術システムによって検出可能な他の多数のシステム・イベントの発生に対応するエントリを含むことができる。

図７Ｂは、医療システムの処置イベントログを自動的に生成し維持するためのアルゴリズム７０２を示すフロー図である。図７Ｂを参照すると、７２５において、アルゴリズム７０２によって、システム・イベントの発生が検出される。７２５でシステム・イベントの発生が検出された場合に、７３０において、対応するエントリが医療システム上で維持される処置イベントログ内に作成される。アルゴリズム７０２は、７３１で示されるように、検出された新しい各システム・イベントについて追加エントリを作成することによって、処置イベントログを更新する。処置イベントログの一実施形態では、臨床的なシステム・イベントの発生に関連する各エントリについて、以下のフィールド：（１）イベントのタイムスタンプ、（２）イベントの簡単な説明、（３）特定のタイプのイベントに専ら関連する一意のコードが記録される。一例では、遠隔操作手術システムで使用するために手術器具（例えば、針ドライバ器具）が設置され（例えば、現地時間午前１０時に）、このイベントは、遠隔操作手術システムによって７２５でシステム・イベントとして検出され特定される。７３０において、関連するエントリが、作成され、且つ処置イベントログに入力される。イベントログエントリの簡単な説明フィールドには、「針ドライバ器具が設置された」と表示される。針ドライバ器具の各設置に関連する一意のコード、例えば３００００６も記録される。最後に、エントリについて午前１０時のタイムスタンプが生成される。イベントの現地時間は、そのイベントが以前に現地時間でプログラムされていれば、遠隔操作手術システム上でローカルに決定することができる。あるいはまた、遠隔操作手術システムがインターネットに接続されている場合に、遠隔操作手術システムに関連するインターネットプロトコル（IP）アドレスを使用して位置情報を提供することができるインターネットクエリを実行することによって、イベントの現地時間を決定することができる。

上述したデータ構造を有する処置イベントログの一部が図８に示されている。前述したように、一実施形態では、イベントログは、例えばアルゴリズム７０２を実施する医療システムのユーザからの入力を必要とせずに、自動的に生成され、且つ自動的に維持される。このイベントログの生成及びメンテナンスは、医療システムの他の動作と並行して行われる。医療システムのこれらの他の動作は、医療システムを使用して行われる医療処置のビデオ録画だけでなく、これら医療処置のビデオ録画のビデオ処理及び記憶も含むことができる。

取り込んだビデオの検索
図７Ｃは、記録された医療処置ビデオを検索するためのアルゴリズム７０３を示すフロー図である。アルゴリズム７０３は、処置イベントログのエントリを利用する。図７Ｃを参照すると、７３５において、アルゴリズム７０３は、関心のある特定の医療対象について記録された医療ビデオを検索するために医療システムのユーザによって発行されたコマンドを受け取る。一実施形態では、医療システムは、遠隔操作手術システムを含む。ユーザは、テキスト入力インターフェイスを介して関心のある医療イベントを記述する特定のテキストを入力すること、音声制御されたユーザインターフェイスを介して関心のある医療イベントを記述する特定のフレーズを言うこと、又は当技術分野で知られている他のユーザインターフェイスによってこのコマンドを発する。一実施形態では、この検索は、手術中の外科医（例えば、図１の外科医１８）によって手術中に行われ、検索は、ある時点の（instant）医療処置の記録に限定される。代替実施形態では、様々な医療処置のビデオ録画及びそれらに関連するイベントログがメモリ装置に保存される。これらの保存された医療処置のビデオ録画の内容は、手術中又は手術後に医療関係者によって検索することができる。一例では、これらの保存された医療処置のビデオ録画の内容を検索したい医療関係者は、関心のある医療イベントを記述する特定のテキストをキーボード（例えば、図６に示されるコンピュータ６２０のキーボード）を介して入力することによって検索コマンドを発行する。

７４０において、アルゴリズム７０３は、７３５で入力された情報を使用して、関心のある医療イベントの発生を示す１つ又は複数のシステム・イベントについて、ある時点の医療処置に関連するシステム・イベントを含む１つ又は複数の処置イベントログを検索する。一実施形態では、７４０では、遠隔操作手術システムの直近の電源オンに続くシステム・イベントのみを検索することによって、イベントログ検索をある時点の医療処置のシステム・イベントに限定する。代替実施形態では、７４０によって、保管された処置イベントログのコレクションのシステム・イベントが検索される。保管された各処置イベントログは、装置を使用して行われた医療処置に関連付けられ、一実施形態では、関連する医療処置のビデオ録画（処置ビデオ録画）が、その対応する処置イベントログと共に保管される。一実施形態では、（１）関心のある様々な医療イベントと（２）イベントログにおけるシステム・イベントとの間の関連付けは、装置が製造されるときにアルゴリズム７０３を実装する装置に予めプログラムされる。これらのアルゴリズムの関連付けの基礎となる情報は、遠隔操作手術システムを使用した経験のある医療訓練された人の情報から得ることができる。関心のある医療イベントとシステム・イベントとの間の関連付けが装置の製造者に知られるようになるにつれて、これらの関連付けを組み込んだ更新アルゴリズム７０３を、インターネット接続を用いて現場の遠隔操作手術システムに提供することができる。これらの追加的な関連付けは、医療処置のビデオ録画及び現場で使用される遠隔操作手術システムの実例から検索されたイベントログデータの検討後に、装置の製造業者作成によって行ってもよい。

上記の説明によれば、一例では、７３５において、医療処置を行うためにアルゴリズム７０３を実装する遠隔操作手術システムを使用する医療関係者（例えば、図１に示される遠隔操作手術システム１０を使用する外科医１８）は、患者が大量失血（high blood loss）を経験した処置のその初期の部分を取り巻く状況についてより多くの情報を得たいと努めている。医療関係者は、音声制御された検索インターフェイスに「大量失血」と言うことによって、ある時点の医療処置のビデオ録画の内容検索を開始する。遠隔操作手術システムは、大量失血を電気焼灼器具の使用と関連付けるようにプログラムされている。電気焼灼器具は、出血を止めるために一般的に使用される。７４０において、アルゴリズム７０３は、その記述が「焼灼」及び「設置」を含むイベントログのエントリについて、ある時点の医療処置に対応するイベントログの部分について検索する。図８を参照すると、一例では、７４０での検索は、第１のシステム・イベント８１０、第２のシステム・イベント８２０、及び第３のシステム・イベント８３０を生成する。これらのシステム・イベントは、焼灼器具が手術システムに設置された３つの別個のインスタンスを示す。７４５において、７４０によって生成された各検索結果のタイムスタンプが取り出される。この例では、第１のシステム・イベント８１０、第２のシステム・イベント８２０、及び第３のシステム・イベント８３０のタイムスタンプは、それぞれ、午前１０時００分、午前１１時００分、及び午前１２時００分（12:00 PM）である。７５０において、取り出されたタイムスタンプのそれぞれについて、関心のあるタイムスパンが決定される。大量失血の場合に、遠隔操作手術システムは、取り出されたタイムスタンプのそれぞれに対応する３分間のビデオセグメントを関心のあるタイムスパンとして特定するようにプログラムされている。３分の各ビデオセグメントは、取り出された各タイムスタンプの１分前に始まり、３分間続く。これらのビデオセグメントは、候補ビデオクリップとして特定される。この例では、関心のある３分間のビデオセグメント（すなわち、候補ビデオクリップ）は、医療ビデオの以下のセグメント：（１）午前９時５９分から午前１０時０２分までのセグメント、（２）午前１０時５９分から午前１１時０２分までのセグメント、（３）午前１１時５９分から午前１２時０２分までのセグメントである。関心のある異なるタイムスパンは、関心のある異なる医療イベント及び異なるシステム・イベントと関連付けられ得る。

７５５において、画像データを解析する画像検索アルゴリズムが、７５０で特定された関心のあるビデオセグメント（すなわち、候補ビデオクリップ）のフレームに適用される。一実施形態では、各候補ビデオクリップの第１のフレームが、ビデオ録画が開始されてから経過した継続時間を判定することによって位置特定される。一例として、図８を参照すると、ビデオ録画は、午前９時００分のタイムスタンプを有する８０５で開始された。７５０では、午前９時５９分から午前１０時０２分までの間に行われるビデオ録画の部分を第１の候補ビデオクリップとして決定した。従って、第１の候補ビデオクリップの第１のフレームは、５９分に発生してビデオ録画に入る。同様に、関心のある第２のビデオセグメント（第２の候補ビデオクリップ）の第１のフレームは、１時間５９分に発生してビデオ録画に入り、関心のある第３のビデオセグメント（第３の候補ビデオクリップ）の第１のフレームは、２時間５９分に発生してビデオ録画に入る。同様に、関心のある第１のビデオセグメント（第１の候補ビデオクリップ）の最後のフレームは１時間２分、関心のある第２のビデオセグメント（第２のビデオクリップ）の最後のフレームは２時間２分、及び関心のある第３のビデオセグメント（第３のビデオクリップ）の最後のフレームは３時間２分である。

画像データ解析を使用して画像の対象を判定するための例示的なアルゴリズムについての議論は、ゲーリング（Gering）の”Method and System for Segmenting
Image Data”という標題の特許文献１に見出すことができる。一般に、これらのアルゴリズムは、特定の関心対象を示す画像の画素内で特定のパターンを見つける。この例では、７５５では、大量失血を示す画素パターンについて上述した３つの候補ビデオクリップのフレームを検索するようにプログラムされる。一実施形態では、画像検索アルゴリズムは、候補ビデオクリップを構成する一連のフレームが、直前のフレームと比較して深紅の隣接画素の数が増加する場合に、大量失血であると肯定的に特定する。この例では、７５５では、第２の候補ビデオクリップ（図８に示される第２のシステム・イベント８２０に対応する午前１０時５９分から午前１１時０２分までのビデオセグメント）に示されるように、大量失血であると肯定的に特定され、大量失血が第１の候補ビデオクリップ（図８に示される第１のシステム・イベント８１０に対応する午前９時５９分から午前１０時０２分までのビデオセグメント）又は第３の候補ビデオクリップ（図８に示される第３のシステム・イベント８３０に対応する午前１１時５９分から午前１２時０２分までのビデオセグメント）に示されないことを判定する。

７６０において、７５５で特定された候補ビデオクリップ（すなわち、午前１０時５９分から午前１１時０２分までのビデオセグメント）が、閲覧のために医療関係者に提示される。一実施形態では、このビデオセグメントが自動的に表示される。代替実施形態では、医療関係者が（例えば、図１に示される外科医コンソール１６に位置するディスプレイ上で）見るために、ディスプレイ上にリンクが設けられる。リンクは、特定されたビデオクリップに対応する記録されたビデオの部分を医療関係者に再生するように構成される。同様に、複数の候補ビデオクリップが７５５で特定される場合に、複数のリンクを表示させることができる。特定されたビデオクリップ及び／又は特定されたビデオクリップを再生するように構成された１つ又は複数のリンクは、外科医コンソール１６に位置するディスプレイ以外の多数のディスプレイのいずれかで医療関係者に提示できることに留意されたい。追加的に又は代替的に、この情報は、コンピュータ６２０（図６に示される）に関連するディスプレイ上に表示させることができる。

別の例では、アルゴリズム７０３の７４０は、電気焼灼器具の焼灼機能の作動頻度の解析を含む。焼灼機能の作動は、遠隔操作手術システムの外科医コンソール（例えば、図１に示される外科医コンソール５２）上に位置するフットペダルで起動させることによって発生させることができる。前述したように、焼灼器具は出血を止めるために一般的に使用される。一般に、出血がより酷くなるほど、出血を止める努力において焼灼機能がより頻繁に作動される。一実施形態では、遠隔操作手術システムは、電気焼灼器具の焼灼機能が作動する頻度と大量失血とを関連付けるようにプログラムされている。一例では、医療処置のビデオ録画を視聴している医療関係者は、患者が大量失血を経験した処置の一部を取り巻く状況についてより多くの情報を得るように努めている。医療関係者は、上述したのと同様の方法でビデオ検索を開始する。この例では、焼灼機能の各作動は、システム・イベントであり、そのため処置イベントログにエントリが作成される。７４０において、アルゴリズム７０３は、ある時点の医療処置に対応する処置イベントログの検索を行い、その記述が「焼灼」及び「作動」を含む処置イベントログのエントリについて検索する。一例では、７４０での検索によって３０のエントリが得られる。７４５において、１０４０によって生成された各検索結果のタイムスタンプが取り出される。この例では、（１）エントリ１のタイムスタンプは午前１０時００分であり、（２）エントリ２〜２９のタイムスタンプは間隔が空けられているが近接しており、午前１１時００分から午前１１時０２分までの期間に及び、（３）エントリ３０のタイムスタンプは午前１２時００分である。７５０において、７４５で取り出されたタイムスタンプを使用して関心のあるタイムスパンが決定される。この例では、遠隔操作手術システムは、３分のビデオセグメント（すなわち候補ビデオクリップ）を関心のあるタイムスパンとして特定し、３分のビデオセグメントは、焼灼機能が２分間に１０回以上作動されるインスタンスに対応する。各候補ビデオクリップは、一連の焼灼操作における第１の焼灼操作に対応するイベントログのエントリのタイムスタンプの１分前に開始し、そのタイムスタンプの後２分間継続する。この例では、午前１１時００分から午前１１時０２分の間の焼灼作動の頻度は、２分間で１０回以上を満たす唯一のインスタンスである。従って、午前１０時５９分から午前１１時０２分までのセグメントにおいて、１つの候補ビデオクリップのみが特定される。７５５及び７６０は、以前に説明したのと同様の方法で動作する。

別の例では、胆嚢摘出手術を行うためにアルゴリズム７０３を実装する遠隔操作手術システムを使用する医療関係者（例えば、図１に示される遠隔操作手術システム１０を使用する外科医１８）は、処置中に十二指腸壁からの胆嚢の動員（mobilization）を取り巻く状況についてより多くの情報を得たい。医療関係者は、音声制御の検索インターフェイスに「胆嚢の動員」と言うことによって胆嚢摘出手術のビデオ録画の内容検索を開始させる。遠隔操作手術システムは、胆嚢動員（関心のある医療イベント）を蛍光イメージングモードの使用（処置イベントログに記録されたシステム・イベント）と関連付けるようにプログラムされている。蛍光イメージングは、胆嚢摘出手術の胆嚢動員部分での特定の解剖学的構造の視覚化を改善するためによく使用される。従って、７４０において、アルゴリズム７０３は、ある時点の胆嚢摘出手術に対応するイベントログの部分を検索し、その記述が「蛍光」及び「オン（on）」を含むイベントログのエントリを検索する。一例では、７４０での検索によって、第１のエントリ、第２のエントリ、及び第３のエントリが得られる。７４５において、７４０によって生成された各検索結果のタイムスタンプが取り出される。この例では、第１のエントリ、第２のエントリ、及び第３のエントリのタイムスタンプは、それぞれ、午前１０時００分、午前１１時００分、及び午前１２時００分である。７５０において、取り出されたタイムスタンプのそれぞれについて、関心のあるタイムスパンが決定される。胆嚢動員の場合に、遠隔操作手術システムは、取り出されたタイムスタンプのそれぞれに対応する１０分のビデオセグメントを関心のあるタイムスパンとして特定するようにプログラムされている。１０分の各ビデオセグメントは、取り出されたタイムスタンプの時刻に開始し、タイムスタンプの後に１０分間続く。この例では、関心のある１０分間のビデオセグメント（候補ビデオクリップ）は、医療ビデオの以下のセグメント：（１）午前１０時００分から午前１０時１０分までのセグメント、（２）午前１１時００分から午前１１時１０分までのセグメント、（３）午前１２時００分から午前１２時１０分までのセグメントである。７５５及び７６０は、以前に説明したのと同様の方法で動作する。

別の例では、僧帽弁修復手術を行うためのアルゴリズム７０３を実装する遠隔操作手術システムを使用する医療関係者（例えば、図１に示される遠隔操作手術システム１０を使用する外科医１８）は、僧帽弁修復手術中に行われた再建手術を取り巻く状況についてより多くの情報を得たい。医療関係者は、音声制御の検索インターフェイスに「弁再建」と言うことによって、僧帽弁修復手術のビデオ録画の内容検索を開始させる。遠隔操作手術システムは、弁再建（関心のある医療イベント）を繊細な制御モードの使用（処置イベントログに記録されたシステム・イベント）と関連付けるようにプログラムされている。粗い制御モードとは対照的に、繊細な制御モードは、遠隔操作手術システムのユーザに、手術器具のより細かな動きを命令する能力を与える。前述したように、遠隔操作手術システムの一実施形態では、スレーブロボットマニピュレータに結合された手術器具は、外科医コンソール上に位置する２つの制御入力の外科医の動きに応じて移動する。粗い制御モードでは、外科医は、制御入力での１ｃｍだけの外科医の動きに応じて、５ｍｍ移動し得る。繊細な制御モードでは、制御入力の同じ運動の１ｃｍの動きは、手術器具においてわずか２．５ｍｍの動きを生成し得る。繊細な制御モードは、繊細な解剖学的領域で手術する外科医によってよく使用される。粗い制御モードと比較して、（１）制御入力の動きと（２）対応する手術器具の動きとの間のより繊細なスケーリングは、外科医がより小さな切開及びより小さい縫合を行うことを可能にする。

従って、７４０において、アルゴリズム７０３は、ある時点の弁修復手術に対応するイベントログの部分を検索し、その記述が「繊細な制御モード」を含むイベントログのエントリについて検索する。一例では、７４０での検索によって、第１のエントリ、第２のエントリ、及び第３のエントリが得られる。７４５において、７４０によって生成された各検索結果のタイムスタンプが取り出される。この例では、第１のエントリ、第２のエントリ、及び第３のエントリのタイムスタンプは、それぞれ、午前１０時００分、午前１１時００分、前記午前１２時００分である。７５０において、取り出されたタイムスタンプのそれぞれについて、関心のあるタイムスパンが決定される。弁再建の場合に、遠隔操作手術システムは、取り出されたタイムスタンプのそれぞれに対応する３０分のビデオセグメントを関心のあるタイムスパンとして特定するようにプログラムされている。３０分の各ビデオセグメントは、取り出されたタイムスタンプの時刻に開始し、タイムスタンプの後３０分間続く。この例では、関心のある３つの３０分間のビデオセグメント（すなわち、候補ビデオクリップ）は、医療ビデオの以下のセグメント：（１）午前１０時００分から午前１０時３０分までのセグメント、（２）午前１１時００分から午前１１時３０分までのセグメント、（３）午前１２時００分から午前１２時３０分までのセグメントである。７５５及び７６０は、以前に説明したのと同様の方法で動作する。

先の実施例のそれぞれについて、候補ビデオクリップは、候補ビデオクリップのそれぞれの画像データを使用して、各候補ビデオクリップを構成するフレームの画素がユーザによって所望される関心のある対象を実際に示すかどうかを判定するために評価される。この判定が肯定的になされた候補ビデオクリップが、視聴のためにユーザに提示される。

図９は、装置のデータライブラリのデータ収集、及びデータライブラリのメンテナンスを対象とするアルゴリズム９００のフロー図を示す。一実施形態では、装置は、遠隔操作手術システムであり、データライブラリは、（１）手術システムを使用して行われる手術処置の１つ又は複数のビデオ録画（処置ビデオ録画）と、（２）１つ又は複数の処置ビデオ録画のそれぞれについての処置イベントログとを含む。データライブラリは、遠隔操作手術システムのメモリ装置に記憶させることができる。追加的又は代替的に、データライブラリは、（１）遠隔操作手術システムとデータ通信する遠隔サーバ上に位置するメモリ装置内に、（２）遠隔操作手術システムとデータ通信するクラウドコンピュータシステムのメモリ内に、又は（３）他の任意の電子記憶媒体オプションに記憶させることができる。

一実施形態では、手術システムに電源がオンにされるたびに、新しい処置（プロシージャ）イベントログが作成される。１つの例では、手術システムの電源を入れると、新しいプロシージャ・イベントログが作成されるが、手術システムに関連付けられた画像取込み装置によって取り込まれるビデオの記録は開始されない。ユーザは、手術システムのユーザインターフェイスを介して入力を行い、画像取込みによって取り込まれるビデオ録画を開始させる必要がある。別の例では、手術システムに画像取込み装置（例えば、内視鏡）が設置された場合であって、手術システムの電源がオンにされたときに、手術システムの電源をオンにすることによって、手術システムに画像取込み装置によって取り込まれるビデオ録画を開始させる。別の例では、画像取込み装置によって取り込まれたビデオ録画は、手術システムに使用するために画像取込み装置が設置され、既に電源がオンにされているときに、自動的に開始される。これらの実施例は単なる例示であり、限定するものではない。

図９に示されるように、アルゴリズム９００は、９１０において開始信号を受信すると開始される。開始信号は、ユーザインターフェイス９０５を介して受信されたユーザ入力（例えば、電源オン／オフスイッチを作動させる）の結果である。開始信号が受信されない場合に、次に、アルゴリズム９００はループバックし、９１０でクエリを繰り返す。

９１０において開始信号が受信された場合に、アルゴリズム９００は９１５に進み、そこでアルゴリズム９００は、システムクロック９２０に問い合わせて現在時刻を読み取る。９２５において、アルゴリズム９００は、アルゴリズム９００を実行するコンピュータプロセッサとデータ通信する画像取込み装置９３０から画像を受信し、その画像は、画像取込み装置９３０によって取り込まれたビデオ録画の１フレームである。９３５において、９２５で受信した画像は、９１５で読み取られた現在時刻でデジタル・タイムスタンプが押され、タイムスタンプが押された画像は、ビデオ録画の１フレームとしてメモリ装置９４０に保存される。

アルゴリズム９００はまた、プロシージャ・イベントログを更新及び維持する。前述したように、一実施形態では、アルゴリズム９００を実行する装置（例えば、遠隔操作手術システム）の電源がオンにされるたびに、プロシージャ・イベントログが作成される。９４５において、アルゴリズム９００は、関心のある多くのシステム・イベントのうちの１つがその時点に検出されたかどうかを判定するために手術システムに問い合わせする。好ましくは、手術システムのメモリ装置は、処置イベントログに記録されるシステム・イベントの事前に特定されたリストを含むルックアップテーブルを含む。９４５においてルックアップテーブルに含まれるシステム・イベントのうちの１つの発生が検出されると、特定されたシステム・イベントが検索され、９５０において、９１５で決定された現在時刻でデジタル・タイムスタンプが押される。このシステム・イベント及びこれに関連するタイムスタンプは、処置イベントログ内のエントリとしてメモリ装置８４０に保存される。次に、アルゴリズム９００は、９５５に進み、これについては、以下により詳細に説明する。

９４５において、ルックアップテーブルに含まれるシステム・イベントのいずれも発生しないと判定された場合に、アルゴリズム９００は、９５５に直接的に進み、そこでアルゴリズム９００は、停止信号が受信されたかどうかを問い合わせる。停止信号が受信された場合に、アルゴリズム９００は、ビデオ録画を停止し、且つ存在する手術処置の処置イベントログへの更新を中止する。好ましくは、停止信号は、ユーザインターフェイス（例えば、ユーザインターフェイス９０５）を介したユーザ入力の結果である。一実施形態では、システムの電源がオフされると（例えば、ユーザが電源のオン／オフスイッチを作動させるとき）、停止信号が受信される。これらの実施例は単なる例示であり、限定するものではない。

停止信号が受信されると、アルゴリズム９００は９６０に進み、そこで処置ビデオ録画の様々なフレームを構成する画像が、閲覧可能なビデオ録画を生成するようにコンパイルされ、処置イベントログのエントリを構成する様々なシステム・イベントが、完全な処置イベントログを形成するようにコンパイルされる。次に、コンパイルされた処置ビデオ録画及び処置イベントログは、後で使用するためにメモリ装置９４０に保存される。停止信号が受信されない場合に、アルゴリズム９００はループバックし、９１５を再び実行する。

図１０は、画像データと補助データとの組合せを使用してビデオ内容検索を行うアルゴリズム１０００を示す。１つのアプリケーションでは、アルゴリズム１０００を使用して、特定の関心対象について、様々な処置ビデオ録画（例えば、図９に示されるアルゴリズム９００によって生成された処置ビデオ録画）を検索することができる。このアプリケーションでは、処置イベントログに含まれるデータは、それぞれが特定の処置ビデオ録画に関連付けられており、特定の関心対象に関する処置ビデオ録画の検索を容易にするために使用できる補助データを構成する。アルゴリズム１０００は、アルゴリズム９００を実行する装置のコンピュータプロセッサ（例えば、遠隔操作手術システムの一部であるコンピュータプロセッサ）によって実行することができる。アルゴリズム１０００は、アルゴリズム９００を実行する装置（例えば、パーソナルコンピュータ装置）とデータ通信するコンピュータプロセッサによって実行することもできる。

一実施形態では、アルゴリズム１０００は、（１）処置イベントログに記録された特定のシステム・イベントと、（２）関心のある特定の医療対象との間の既知の関連付けを利用して、特定の医学的関心対象を含む処置ビデオ録画の一部に対するユーザ検索を容易にする。前述したように、アルゴリズム１０００のこのアプローチは、画像データ解析に専ら依存する従前のビデオ検索アルゴリズムに関連する様々な欠点を改善する。

図１０を参照すると、一実施形態では、アルゴリズム１０００は、ユーザインターフェイス１００５を介して命令されたユーザ要求によって開始される。ユーザインターフェイス１００５において、ユーザは、ユーザにとって関心のある特定の対象について特定の処置ビデオ録画を検索することを要求する。一例では、ユーザは、特定の手術技術を含む特定の手術処置を行うために準備している外科医であり、この外科医は、その特定の手術技術を示す保管された処置ビデオ録画の部分を見たいと考えている。ユーザインターフェイス１００５は、マイクロホンであってもよく、このマイクロホンを使用して、ユーザが特定の関心対象について以前に録画されたビデオの検索を命令することができる。あるいはまた、ユーザインターフェイスは、テキスト入力手段を提供するタッチパッド又は代替のユーザインターフェイスであってもよい。これらの実施例は単なる例示であり、限定するものではない。

一実施形態では、１０１０において、クエリマッパ（mapper）は、１００５で要求されたユーザ検索に含まれる１つ又は複数の用語を、処置イベントログによって通常記録されるシステム・イベントのうちの１つに関連付ける。好ましくは、クエリマッパ１０１０は、（１）様々なキー用語又はフレーズと、（２）個々のシステム・イベント又はいくつかのシステム・イベントのパターンとの間の既知の関連付けを含むルックアップテーブルを検索することによって動作する。追加的な関連付けが分かるので、この追加の関連付けを反映させるために、ルックアップテーブルを更新することができる。

一例では、１００５において、ユーザは、手術処置中の患者の出血を緩和するために手術技術の処置ビデオ録画を検索するよう要求する。クエリマッパは、１０１０において、このユーザクエリに対して動作し、所与の手術処置中に焼灼器具に関連する電気焼灼機能の頻繁な適用を示すシステム・イベントが、患者の出血を緩和するために使用される一般的な手術技術に対応すると判定する。この例を続けると、１０１５において、イベントサーチャは、所与の期間に繰り返し適用される電気焼灼（例えば、１分の時間スパンに電気焼灼エネルギーを少なくとも１０回適用する）について、データライブラリ１０３５に保管された処置イベントログを検索する。

図１０を参照すると、例示的なデータライブラリ１０３５は、処置イベントログ１０４０ａ、１０４１ａ、１０４２ａを示す。処置イベントログ１０４０ａ、１０４１ａ、１０４２ａのそれぞれは、処置ビデオ録画１０４０ｂ、１０４１ｂ、１０４２ｂのうちの１つに関連付けられる。上記の例を続けると、イベントサーチャ１０１５は、所与の期間内に繰り返し適用される電気焼灼のインスタンスについて処置イベントログ１０４０ａ、１０４１ａ、１０４２ａを検索し、処置イベントログ１０４０ａ及び処置イベントログ１０４１ａのみが、電気焼灼適用の特定の頻度を満たす期間を含むことを見出す。

アルゴリズム９００に関して前述したように、一実施形態では、処置イベントログ（例えば、処置イベントログ１０４０ａ、１０４１ａ、１０４２ａ）の各システム・イベントは、対応するタイムスタンプと共に保管され、処置ビデオ録画（例えば、処置ビデオ録画１０４０ａ、１０４１ａ、１０４２ａ）の各フレームは、対応するタイムスタンプと共に保管される。ビデオクリップ抽出器１０２０が、処置イベントログのシステム・イベントに関連する１つ又は複数のタイムスタンプを使用して処置ビデオ録画の対応するセグメントを検索することによって、イベントサーチャ１０１５の出力に対して動作する。上記の例を続けると、ビデオクリップ抽出器１０２０は、イベントサーチャ１０１５の出力を使用して、処置ビデオ録画１０４０ｂ、１０４１ｂから、電気焼灼適用の特定の頻度を満たす処置イベントログ１０４０ａ、１０４１ａの各部分の候補ビデオクリップを検索する。

ビデオクリップ抽出器１０２０によって検索された候補ビデオクリップのそれぞれは、解析のためにビデオ解析器１０２５に提出される。ビデオ解析器１０２５は、候補ビデオクリップのそれぞれに対応する画像データを解析して、候補ビデオクリップのそれぞれが、ユーザが探し求めている関心対象を実際に含むかどうかを判定する。上記の例を続けると、ビデオ解析器１０２５は、処置ビデオ録画１０４０ｂからの１つの候補ビデオクリップのみが、ユーザが探し求めている関心対象を実際に含むと判断し、この候補ビデオクリップを特定されたビデオクリップとして識別する。１０３０において、この特定されたビデオクリップが、視聴のためにユーザに提示される。

例示的な実施形態について図示し且つ説明してきたが、広範な修正、変更、及び置換が、前述した開示及びいくつかの例において企図されており、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに用いることができる。当業者は、多くの変形形態、代替形態、及び修正形態を認識するだろう。従って、本発明の範囲は、以下の特許請求の範囲によってのみ限定され、特許請求の範囲は、本明細書に開示された実施形態の範囲と一致する態様で及び広範に解釈することが適切である。

Claims

方法であって、当該方法は、
医療システムの処理ユニットが、前記医療システムで行われる医療処置の一部である関心のある医療処置イベントを示す１つ又は複数のビデオクリップを前記医療処置の１つ又は複数の医療処置ビデオ録画から探し出すために、前記関心のある医療処置イベントのユーザの説明を含むユーザコマンドを受信するステップと、
前記処理ユニットが、前記関心のある医療処置イベントの発生に対応する、前記医療処置中の前記医療システムで発生する１つ又は複数の医療システム・イベントを、１つ又は複数の医療システム・イベントログから特定するステップであって、前記医療システム・イベントログは、前記医療システム・イベントを医療処置イベントのユーザの説明に関連付け、各医療システム・イベントログは、タイムスタンプ付きのフレームを有する１つ又は複数の医療処置ビデオ録画と関連付けられ、各医療システム・イベントログは、前記医療システムで医療処置を行っている間に、医療システム・イベントの発生を記録し、各医療システム・イベントログは、前記医療システムでの前記医療システム・イベントが発生した時刻を記録する、特定するステップと、
前記処理ユニットが、前記関心のある前記医療処置に対応し、且つ前記医療システムで発生する特定された前記１つ又は複数の医療システム・イベントのそれぞれに対応する１つ又は複数のタイムスタンプに対応する１つ又は複数のフレームのタイムスタンプに対応するタイムスパンを有する前記１つ又は複数の医療処置ビデオ録画から、１つ又は複数の候補ビデオクリップを特定するステップと、
前記処理ユニットが、前記関心のある医療処置イベントを示す経時的な画素内のパターンに関して前記１つ又は複数の候補ビデオクリップの画像データを検索することによって、前記１つ又は複数の候補ビデオクリップのそれぞれが、前記関心のある医療処置イベントを含む特定されたビデオクリップであるかどうかを判定するステップと、
前記処理ユニットが、少なくとも１つの特定されたビデオクリップをユーザに提示するステップと、を含む、
方法。
前記関心のある医療処置イベントを示す前記１つ又は複数のビデオクリップを探し出すための前記ユーザコマンドを受信するステップは、前記処理ユニットが、前記ユーザが医療処置を行っている間に前記ユーザコマンドを手術中に受信するステップ、又は前記ユーザコマンドを手術前又は手術後に受信するステップを含む、請求項１に記載の方法。
前記関心のある医療処置イベントの発生に対応する前記１つ又は複数の医療システム・イベントを特定するステップは、前記処理ユニットが、イベントの発生及び前記医療システムでの医療システム・イベントが発生した時刻を記録するルックアップテーブルを検索するステップを含む、請求項１に記載の方法。
前記ルックアップテーブルは、医療システム・イベントと、関心のある医療処置イベントとの間の関連付けを説明するために定期的に自動更新される、請求項３に記載の方法。
前記関心のある医療処置イベントの発生に対応する前記１つ又は複数の医療システム・イベントは、個々の医療システム・イベントの発生、特定のパターンに応じた２つ以上の医療システム・イベントの発生、又は長期間に亘る個々の医療システム・イベントの発生を含む、請求項１に記載の方法。
特定された前記１つ又は複数の医療システム・イベントのそれぞれに対応する１つ又は複数のタイムスタンプに関して１つ又は複数の候補ビデオクリップを特定するステップは、前記処理ユニットが、２つのタイムスタンプの間で行われる医療処置ビデオ録画のビデオクリップを特定するステップ、又はタイムスタンプの時間ウィンドウ内に行われる医療処置ビデオ録画のビデオクリップを特定するステップを含む、請求項１に記載の方法。
前記少なくとも１つの特定されたビデオクリップを前記ユーザに提示するステップは、前記処理ユニットが、前記ユーザに対して、前記少なくとも１つの特定されたビデオクリップをディスプレイ上で再生するステップを含む、請求項１に記載の方法。
ビデオ検索を行うための装置であって、当該装置は、
ユーザインターフェイスと、
該ユーザインターフェイスに動作可能に結合され、１つ又は複数のプロセッサを含む処理ユニットと、を有しており、
該処理ユニットは、
前記ユーザインターフェイスを介して、医療システムで行われる医療処置の一部である関心のある医療処置イベントを示す１つ又は複数のビデオクリップを前記医療処置の１つ又は複数の医療処置ビデオ録画から探し出すために、前記関心のある医療処置イベントユーザの説明を含むユーザコマンドを受信すること、
前記関心のある医療処置イベントの発生に対応する、前記医療処置中の前記医療システムで発生する１つ又は複数の医療システム・イベントを、１つ又は複数の医療システム・イベントログから特定することを行うように構成され、
前記医療システム・イベントログは、前記医療システム・イベントを医療処置イベントのユーザの説明に関連付け、各医療システム・イベントログは、タイムスタンプ付きのフレームを有する１つ又は複数の医療処置ビデオ録画と関連付けられ、各医療システム・イベントログは、前記医療システムで医療処置を行っている間に、医療システム・イベントの発生を記録し、各医療システム・イベントログは、前記医療システムでの前記医療システム・イベントが発生した時刻を記録し、
前記処理ユニットは、
前記関心のある前記医療処置に対応し、且つ前記医療システムで発生する特定された前記１つ又は複数の医療システム・イベントのそれぞれに対応する１つ又は複数のタイムスタンプに対応する１つ又は複数のフレームのタイムスタンプに対応するタイムスパンを有する前記１つ又は複数の医療処置ビデオ録画から１つ又は複数の候補ビデオクリップを特定すること、
前記関心のある医療処置イベントを示す経時的な画素内のパターンに関して前記１つ又は複数の候補ビデオクリップの画像データを検索することによって、１つ又は複数の候補ビデオクリップのそれぞれが、前記関心のある医療処置イベントを含む特定されたビデオクリップであるかどうかを判定すること、及び
少なくとも１つの特定されたビデオクリップをユーザに提示すること、をさらに行うように構成される、
装置。
前記ユーザインターフェイスは、パーソナルコンピュータ装置のユーザインターフェイス、又は遠隔操作手術システムのユーザインターフェイスを含む、請求項８に記載の装置。
前記関心のある医療処置イベントの発生に対応する前記１つ又は複数のシステム・イベントを特定することは、イベントの発生及び前記医療システムでの医療システム・イベントが発生した時刻を記録するルックアップテーブルを検索することを含み、好ましくは、前記ルックアップテーブルは、医療システム・イベントと、関心のある医療処置イベントとの間の関連付けを説明するために定期的に自動更新される、請求項８に記載の装置。
前記関心のある医療処置イベントの発生に対応する前記１つ又は複数の医療システム・イベントは、個々の医療システム・イベントの発生、又は特定のパターンに応じた２つ以上の医療システム・イベントの発生、又は長期間に亘る個々の医療システム・イベントの発生を含む、請求項８に記載の装置。
特定された前記１つ又は複数の医療システム・イベントのそれぞれに対応する１つ又は複数のタイムスタンプに関して１つ又は複数の候補ビデオクリップを特定することは、２つのタイムスタンプの間で行われる医療処置ビデオ録画のビデオクリップを特定すること、又はタイムスタンプの時間ウィンドウ内で行われる医療処置ビデオ録画のビデオクリップを特定することを含む、請求項８に記載の装置。
前記少なくとも１つの特定されたビデオクリップを前記ユーザに提示することは、前記ユーザに対して、前記少なくとも１つの特定されたビデオクリップをディスプレイ上で再生することを含む、請求項８に記載の装置。