JP6695502B2 - 手術器具検出システムおよびコンピュータプログラム - Google Patents

Description

本発明は、外科手術等で用いられる手術器具を検出するシステムに関する。

外科手術の際には、鉗子や鑷子（ピンセット）等の手術器具が、多数用いられる。手術中に手術器具を患者の体内に置き忘れるという事態は、あってはならない医療ミスであるため、手術開始前に手術器具の種類と数とをカウントし、手術終了後に、手術器具が全て揃っているか否かを確認することが徹底されている。

しかし、手術器具の種類は非常に多く、形状や大きさがわずかに異なるだけで非常に似通ったものが多数存在する。このため、目視で手術器具の種類を正確に見分けることは、熟連した看護師でも難しい。

そこで、従来、鋼製小物等の手術器械にバーコード等の光学読み取り用記号を付与し、これを利用して手術器械の種類を識別することができる手術機械準備システムが提案されている（特許文献１）。なお、この特許文献１に開示されている手術器械準備システムは、手術に使用する手術器械を手術前に準備するために用いられるものであり、手術後に手術器械が揃っているか否かを確認するためのものではない。

特開平６−１４２１０５号公報

しかし、手術器具の一つ一つに光学読み取り用記号を付与することは、特殊な加工プロセスを必要とするので、手術器具の製造コストを増加させる。また、手術器具の一つ一つから読み取り装置で記号を読み取ることは、手間と時間がかかる。

そこで、本発明は、手術器具に光学読み取り用記号等の特殊な加工をすることなく、多種多様な手術器具の種類と数とを容易に識別することが可能な手術器具検出システムを提供することを目的とする。

上記の課題を解決するために、本発明に係る手術器具検出システムは、カメラによって撮影された画像を入力する画像入力部と、入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出部と、前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理部と、前記判定処理部による判定の結果を表す画像を生成してモニタへ出力する出力画像生成部とを備えている。

上記の構成によれば、手術器具に光学読み取り用記号等の特殊な加工をすることなく、多種多様な手術器具の種類と数とを容易に識別することが可能な手術器具検出システムを提供することができる。

図１は、第１の実施形態に係る手術器具検出システムのハードウエア構成の概要を示す図である。 図２は、第１の実施形態に係る手術器具検出システムの機能的な概略構成を示すブロック図である。 図３は、第１の実施形態に係る手術器具検出システムの処理の流れを示すフローチャートである。 図４は、モニタへの出力例を示す模式図である。 図５は、モニタへの出力例を示す模式図である。 図６は、モニタへの出力例を示す模式図である。 図７は、第２の実施形態に係る手術器具検出システムの機能的な概略構成を示すブロック図である。 図８は、モニタへの出力例を示す模式図である。 図９は、モニタへの出力例を示す模式図である。 図１０は、第３の実施形態に係る手術器具検出システムの機能的な概略構成を示すブロック図である。 図１１は、第４の実施形態に係る手術器具検出システムの機能的な概略構成を示すブロック図である。

本発明の手術器具検出システムの第１の構成は、
カメラによって撮影された画像を入力する画像入力部と、
入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出部と、
前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理部と、
前記判定処理部による判定の結果を表す画像を生成してモニタへ出力する出力画像生成部とを備える。

上記の第１の構成によれば、カメラで撮影された画像から、手術器具のオブジェクト画像を切り出して、学習済みモデルを利用して手術器具の種類を判定することができる。これにより、手術器具に特別な加工を施すことなく、手術器具の種類を自動的に判別することができる。

第２の構成は、前記第１の構成において、
前記出力画像生成部が、手術器具の種類を表す画像を、撮影画像のオブジェクト画像に重ねて出力する。

第２の構成によれば、モニタ上で、それぞれのオブジェクト画像がどのような手術器具であるかを容易に認識することができる。

第３の構成は、前記第１または第２の構成において、
前記オブジェクト抽出部が、背景画像と撮影画像とにおける画素ごとの色空間ベクトルの比較に基づいて、前記オブジェクト画像の切り出しを行う。

第３の構成では、背景画像をあらかじめ取得しておく必要があるが、背景に依存せずにオブジェクト画像の切り出しを行うことができる。

第４の構成は、前記第１または第２のいずれかの構成において、
前記オブジェクト抽出部が、オブジェクト抽出用学習済みモデルへ撮影画像を入力し、撮影画像に含まれる特徴に基づいて、前記オブジェクト画像の切り出しを行う。

第４の構成では、事前に複数の照明条件でのオブジェクト抽出を学習させることで、影や色温度といった照明条件の影響を受けずに、オブジェクト画像の切り出しを自動的に行うことができる。

第５の構成は、前記第１または第２のいずれかの構成において、
前記オブジェクト抽出部が、撮影画像の画素データをＨＳＶ色空間のデータに変換し、色相や彩度のエッジ情報に基づいて、オブジェクト画像の切り出しを行う。

第５の構成によれば、色相や彩度は、輝度と比較して影の影響を受けにくく、色温度の変化といった全体に影響を与える環境の変化はエッジには影響を与えないため、照明条件の影響を受けずにオブジェクト画像の切り出しを行うことができる。

第６の構成は、前記第１〜第５のいずれかの構成において、
手術開始前の手術器具の種類および数を、手術終了後の手術器具の種類および数と照合する照合処理部をさらに備え、
前記出力画像生成部が、前記照合処理部による照合の結果を表す画像を生成して、前記モニタへ出力する。

第６の構成によれば、手術開始前と終了後とにおける手術器具の種類と数とを照合することができるので、手術中に手術器具を患者の体内等に置き忘れるという医療事故を効果的に防ぐことが可能となる。

本発明の一形態としてのコンピュータプログラムは、
コンピュータのプロセッサに手術器具検出処理を実行させる、コンピュータ読み取り可能なプログラムであって、
前記手術器具検出処理が、
カメラによって撮影された画像を入力する画像入力処理と、
入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出処理と、
前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理と、
前記判定処理による判定の結果を表す画像を生成してモニタへ出力する出力画像生成処理とを含む。

本発明の一形態としての手術器具検出方法は、
コンピュータのプロセッサによって実行される手術器具検出方法であって、
カメラによって撮影された画像を入力するステップと、
入力画像から手術器具のオブジェクト画像を切り出すステップと、
前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定するステップと、
前記判定の結果を表す画像を生成してモニタへ出力するステップとを含む。

［実施形態］
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一または相当部分には同一符号を付してその説明は繰り返さない。なお、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化または模式化して示されたり、一部の構成部材が省略されたりしている。また、各図に示された構成部材間の寸法比は、必ずしも実際の寸法比を示すものではない。

［第１の実施形態］
以下、第１の実施形態について説明する。

図１に、第１の実施形態に係る手術器具検出システムのハードウエア構成の概要を示す。本実施形態に係る手術器具検出システム１００は、手術器具のうち、特に鋼製小物を検出する鋼製小物検出システムであり、図１に示すように、カメラ１、モニタ２、コンピュータ３、キーボード４、およびマウス５を備えている。

カメラ１、モニタ２、キーボード４、およびマウス５は、コンピュータ３に接続されている。なお、図１では、キーボード４とマウス５とを備えた構成を例示しているが、モニタ２として、タッチパネル入力が可能なモニタを使用すれば、キーボードおよびマウスを省略することができる。また、キーボードおよびマウスの代わりにマイクを備え、音声入力でユーザからの指示を受け付けるコンピュータを使用してもよい。

カメラ１、モニタ２、およびコンピュータ３は、カート６に取り付けられている。カート６は、キャスタ付き脚部６１を備えている。カート６の支柱６２の先端には、アーム６３が取り付けられており、アーム６３がカメラ１を保持している。アーム６３は、カメラ１の視野を自在に調整するために、２軸以上の回動軸を有していることが望ましい。カート６は、さらに、テーブル６４を備えており、このテーブル６４上にキーボード４とマウス５とを置くことができる。カート６は、さらに、コンピュータ支持台６５を備えており、ここにコンピュータ３を設置することができる。

以上の構成を有する手術器具検出システム１００は、カート６を押して移動させることができ、手術室等に持ち込んで、図１に示すように、手術器具が載置された器具載置台７を、カメラ１で撮影する。カメラ１で撮影された画像は、コンピュータ３へ送られ、画像処理によって鋼製小物の検出処理が行われる。

図２は、手術器具検出システム１００の機能的な構成を示すブロック図である。なお、図２に示すブロック図は、手術器具検出システムの機能をブロックに分類して概念的に示したものであって、実際にそれぞれのブロックが個別のハードウエアとして実装されていることを要するものではない。それぞれのブロックは、コンピュータ３のＣＰＵが所定のプログラムを実行することによって実現することができる。

図２に示すように、手術器具検出システム１００は、カメラ１で撮影された画像を入力する画像入力部３１と、入力画像から鋼製小物である蓋然性が高いオブジェクトの画像を切り出すオブジェクト抽出部３２と、オブジェクト抽出部３２で切り出されたオブジェクト画像から、鋼製小物の種類を判定する処理を行う判定処理部３３と、判定処理部３３による処理結果を示す表示画像を生成する出力画像生成部３４と、上述の各部の処理に必要なデータが格納される記憶部３６とを備えている。

ここで、上記の各部が行う処理の手順を、図３のフローチャートを参照しながら説明する。

本実施形態では、オブジェクト抽出部３２は、鋼製小物である蓋然性が高いオブジェクトの画像を切り出すために、画素値比較処理を行う。このため、本実施形態においては、手術器具を載置する前に、器具載置台７の画像をカメラ１で撮影し、参照用の背景画像として用いる。一般的に、器具載置台７には滅菌シートを敷いて、その上に手術器具を並べる。したがって、手術器具を並べる前に撮影された背景画像には、この滅菌シートのみの画像が含まれる。カメラ１で撮影された背景画像は、画像入力部３１によって記憶部３６内の背景画像記憶部３６１に格納される（Ｓ１）。

その後、手術で用いられる器具が器具載置台７にセットされると、再び、カメラ１で器具載置台７の画像を撮影する。撮影された画像は、画像入力部３１によって記憶部３６の撮影画像記憶部３６２に一時的に格納される（Ｓ２）。また、撮影された画像は、図４に示すように、出力画像生成部３４によってモニタ２へ表示される。図４の例では、８本の鉗子９１が器具載置台７に並べられている状態が撮影されている。

オブジェクト抽出部３２は、画素値比較部３２１を備えている。画素値比較部３２１は、記憶部３６から、前述の背景画像と、撮影された画像とを読み出し、それぞれの画像に含まれる画素のＲＧＢベクトルを比較する（Ｓ３）。オブジェクト抽出部３２は、さらに、オブジェクト検出部３２２を備えている。オブジェクト検出部３２２は、背景画像と撮影画像において両者のＲＧＢベクトルのなす角度、またはベクトルの大きさの差分が所定の閾値よりも大きい画素から構成される領域を、鋼製小物のオブジェクトであると判断する（Ｓ４）。撮影画像に含まれる画素のうち、オブジェクトを構成する画素には、撮影画像記憶部３６２において、オブジェクトであることを示すフラグが付与される。

なお、図５に示すように、オブジェクトの抽出結果をモニタ２に表示するようにしてもよい。図５に示した例では、撮影画像からオブジェクトとして検出された８本の鉗子９１のそれぞれの周囲に、オブジェクトの境界線９２が表示されている。

オブジェクト抽出部３２による処理が完了すると、判定処理部３３が、ディープラーニングを適用した分類用学習済みモデル３３１を利用して、抽出されたオブジェクトがどの鋼製小物に該当するかを判定する（Ｓ５）。

この分類用学習済みモデルは、様々な鋼製小物を撮影した画像を大量に学習させることにより生成されている。鋼製小物は、全体または部分の形状や色等の特徴に基づいて、分類することができる。なお、鋼製小物は、光の入射方向が変化すると、影や鏡面反射による輝度変化が大きく、認識精度に影響を与えることが多い。このため、学習させる画像は、鋼製小物に対する光の入射条件を様々に変化させて撮影することが好ましい。

判定処理部３３は、オブジェクト抽出部３２によって切り出されたオブジェクト画像のそれぞれを分類用学習済みモデルへ入力する。分類用学習済みモデルは、入力されたオブジェクト画像に含まれる特徴に基づいて、オブジェクト画像がどの鋼製小物に該当するかを判定し、判定結果を判定確度と共に出力する。この判定確度とは、オブジェクト画像がその鋼製小物に該当することの確からしさを表す値である。

判定処理部３３は、各オブジェクト画像に対する判定確度が所定値（例えば９０％）より大きい場合は、そのオブジェクト画像の判定結果として、分類用学習済みモデルから出力された鋼製小物の種類を表すデータを、出力画像生成部３４へ出力する。一方、判定確度が所定値以下である場合は、当該オブジェクト画像の判定結果として、「不明」を出力画像生成部３４へ出力する。

出力画像生成部３４は、判定処理部３３から受け取った判定結果に基づいて、モニタ２への出力画像を生成する（Ｓ６）。出力画像生成部３４は、例えば、図６に示すように、それぞれのオブジェクトを囲む線と判定結果を表すテキスト（文字列）とを含む画像を生成し、これを撮影画像に重ねてモニタ２へ表示させる。ここで、不明と出力されたオブジェクトや誤認識されたオブジェクトがある場合は、ユーザの手作業で判定結果を修正し確定する。その結果を分類用学習済みモデルへフィードバックすることで、モデルの更新を行い、認識精度を向上させることができる。

例えば、ペアン鉗子は、先端部の形状（直・曲）によって分類することができるので、それらを、「ペアン鉗子直」または「ペアン鉗子曲」のようにテキストで表示する。図６の例では、オブジェクト画像の全てが「ペアン鉗子直」であると判定された状態を示している。

このように、本実施形態の手術器具検出システム１００によれば、カメラ１で撮影した画像から、鋼製小物のオブジェクト画像を切り出し、それぞれのオブジェクト画像に対して分類用学習済みモデルを用いることにより、鋼製小物の種類を自動的に判別することができる。これにより、鋼製小物に光学読み取り用記号等の特別な加工を施す必要がなく、鋼製小物の種類を正確に見分けることが可能となる。

［第２の実施形態］
第２の実施形態に係る手術器具検出システム２００は、第１の実施形態に係る手術器具検出システムに対して、手術後に鋼製小物が全て揃っているか否かを判断する機能が追加されている。

このため、手術器具検出システム２００は、図７に示すように、照合処理部３５をさらに備えている。本実施形態では、手術が終了した後に、回収された鋼製小物を器具載置台７に乗せてカメラ１で撮影し、第１の実施形態と同様に、撮影画像に含まれる鋼製小物の種類と数を検出する。照合処理部３５は、手術前後の鋼製小物の種類および数を照合し、その過不足を検出する。

手術器具検出システム２００では、記憶部３６に、手術開始前の鋼製小物の種類と数とを記憶するための必要数記憶部３６３をさらに備えている。すなわち、必要数記憶部３６３には、手術に用いるために準備された鋼製小物の種類と、種類別の数とが記憶されている。この鋼製小物の種類と数とは、手術開始前に、これから使用する鋼製小物を器具載置台７に並べてカメラ１で撮影し、判定処理部３３によって検出された種類と数とを、必要数記憶部３６３に記憶させておくことが好ましい。あるいは、システムによる自動検出を行わず、キーボード４およびマウス５を使用して、これから使用する鋼製小物の種類と数とを入力するようにしてもよい。

図８および図９に、手術器具検出システム２００において、モニタ２に表示される画面の一例を示す。図８は、手術終了後に、カメラ１によって器具載置台７に並べられた鋼製小物を撮影した後に、モニタ２に表示された画面の一例である。図８に例示された画面には、撮影画像表示領域８１、器具種表示欄８２、必要数表示欄８３、認識済み数表示欄８４、認識中数表示欄８５、過不足数表示欄８６、スクロールバー８７、および、操作ボタン８８が表示されている。

器具種表示欄８２には、鋼製小物の種類が表示されている。必要数表示欄８３には、必要数記憶部３６３に記憶されたデータに基づき、手術開始前の鋼製小物の数が、種類別に表示されている。認識済み数表示欄８４、認識中数表示欄８５、および過不足数表示欄８６には、この段階では何も表示されていない。操作ボタン８８には「認識」というコマンドが表示されている。カメラ１による撮影画像が撮影画像表示領域８１に取り込まれた後、操作者が操作ボタン８８をクリックすると、オブジェクト抽出部３２および判定処理部３３による処理が開始される。

そして、図９に示すように、撮影画像表示領域８１には、撮影画像から検出された鋼製小物のオブジェクトのそれぞれに重ねて、その鋼製小物の種別がテキスト表示される。このとき、操作ボタン８８には「登録」というコマンドが表示される。認識中数表示欄８５には、判定処理部３３によってその種類に該当する蓋然性が高いと判断されたオブジェクトの数が計上されている。ここで、誤認識があったり、不明と判定されたオブジェクトがあったりした場合は、ユーザが判定結果を修正することができる。そして、操作ボタン８８をクリックすると、認識中のオブジェクトの判定結果が確定され、認識済み数表示欄８４に計上される。過不足数表示欄８６には、必要数表示欄８３に表示されている数から認識済み数表示欄８４に表示されている数を減じた値が表示される。図９の例では、「ペアン鉗子短直」、「ペアン鉗子長直」、「ペアン鉗子長曲」、「鑷子無鈎中」という名称がつけられた手術器具について、判定処理部３３による判定結果を表示している。なお、計上すべき全ての鋼製小物についての認識および登録作業がすべて無事に完了すると、過不足数表示欄８６には「０」が表示されることとなる。

以上のように、本実施形態によれば、手術前後の鋼製小物の種類と数とが一致しているか否かを、画像認識によって自動的に照合することができる。これにより、鋼製小物に特殊な加工を施すことなく、患者の体内に鋼製小物を置き忘れていないかを自動的にチェックするシステムを提供することができる。

［第３の実施形態］
第３の実施形態に係る手術器具検出システム３００は、図１０に示すように、第１の実施形態のオブジェクト抽出部３２の代わりに、オブジェクト抽出部３２Ａを備えている。オブジェクト抽出部３２Ａは、ディープラーニングを適用したオブジェクト抽出用学習済みモデル３２Ａ１を利用して、鋼製小物の蓋然性が高いオブジェクト画像の抽出を行う。このようなオブジェクト抽出用学習済みモデルは、器具載置台７の滅菌シート上に鋼製小物を置いて撮影した画像を大量に学習させることにより得ることができる。

すなわち、オブジェクト抽出用学習済みモデルは、鋼製小物の種類の判定に用いられる分類用学習済みモデルとは異なり、所定の画素（または画素領域）が、鋼製小物の画像の一部であるのか、背景（滅菌シート）であるのかを判断するための学習モデルである。

このように、本実施形態では、オブジェクト画像の切り出しに際しても学習済みモデルを使用する点において、第１の実施形態と異なっている。

しかし、本実施形態によれば、第１の実施形態とは異なり、背景画像のみを撮影する工程が不要である。また、オブジェクト抽出用学習済みモデルとして、十分に学習された学習済みモデルを用いることにより、オブジェクト画像の切り出しを精度良く行うことができる。

なお、第２の実施形態のオブジェクト抽出部３２の代わりに、上記のオブジェクト抽出部３２Ａを備えた構成としてもよい。

［第４の実施形態］
本実施形態に係る手術器具検出システム４００は、図１１に示すように、第１の実施形態のオブジェクト抽出部３２の代わりに、オブジェクト抽出部３２Ｂを備えている。オブジェクト抽出部３２Ｂは、変換部３２１Ｂと、エッジ検出部３２２Ｂとを備えている。

オブジェクト抽出部３２Ｂは、背景となる滅菌シートが一般的には青色系のものが用いられるのに対して、鋼製小物が銀色、黒色といったＨＳＶ色空間における彩度が低いものが使われている点を利用してオブジェクトを検出する。変換部３２１Ｂは、入力された撮影画像のＲＧＢデータを、ＨＳＶ色空間のデータに変換する。エッジ検出部３２２Ｂは、色相および彩度データに基づいて、オブジェクトのエッジ（境界線）を検出する。エッジの検出手法としては、従来様々な手法が知られているので、特に限定されないが、例えばＣａｎｎｙ法等を用いることができる。なお、ＲＧＢデータをＨＳＶ色空間のデータに変換してから、色相および彩度データに基づいてエッジ抽出を行うことにより、周囲の光の状況が変化することによる影の影響を抑制することができる。ＲＧＢの輝度データやＨＳＶの明度データは影の影響を受けるが、色相や彩度はそれらに比べると影の影響を受けにくいからである。

なお、第２の実施形態のオブジェクト抽出部３２の代わりに、上記のオブジェクト抽出部３２Ｂを備えた構成としてもよい。

以上、本発明の実施形態をいくつか説明したが、本発明の実施形態は、以上の具体例にのみ限定されず、種々の変更が可能である。また、各実施形態で説明した機能を適宜組み合わせて本発明を実施することも可能である。

例えば、上記の実施形態においては、手術器具のうち、特に鋼製小物を検出する手術器具検出システムについて説明したが、鋼製小物の他にも、鋼製小物と同等の表面仕上げがされた軽金属製の手術器具、あるいは、例えばカーボン製または樹脂製の他の材料で形成される手術器具の検出に対しても、本発明を適用することが可能である。

また、上記の説明においては、サーバやコンピュータに実装されるシステムとして、手術器具検出システムの実施形態を説明した。ただし、汎用のサーバやコンピュータに上述した各ブロックの機能を実現させるためのコンピュータプログラムおよびそれを記録した記録媒体も、本発明の実施の一態様に含まれる。

すなわち、上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のコプロセッサを利用することも可能である。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウエアにより実現してもよいし、ソフトウエア（ＯＳ（オペレーティングシステム）、ミドルウエア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウエアおよびハードウエアの混在処理により実現してもよい。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

１…カメラ、２…モニタ、３…コンピュータ、４…キーボード、５…マウス、６…カート、７…器具載置台、３１…画像入力部、３２…オブジェクト抽出部、３３…判定処理部、３４…出力画像生成部、３５…照合処理部、３６…記憶部、１００、２００、３００、４００…手術器具検出システム

Claims (8)

1. カメラによって撮影された画像を入力する画像入力部と、
   入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出部と、
   前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理部と、
   前記判定処理部による判定の結果を表す画像を生成してモニタへ出力する出力画像生成部とを備えた、手術器具検出システム。
2. 前記出力画像生成部が、手術器具の種類を表す画像を、撮影画像のオブジェクト画像に重ねて出力する、請求項１に記載の手術器具検出システム。
3. 前記オブジェクト抽出部が、背景画像と撮影画像とにおける画素ごとの色空間ベクトルの比較に基づいて、前記オブジェクト画像の切り出しを行う、請求項１または２に記載の手術器具検出システム。
4. 前記オブジェクト抽出部が、オブジェクト抽出用学習済みモデルへ撮影画像を入力し、撮影画像に含まれる特徴に基づいて、前記オブジェクト画像の切り出しを行う、請求項１または２に記載の手術器具検出システム。
5. 前記オブジェクト抽出部が、撮影画像の画素データをＨＳＶ色空間のデータに変換し、色相および彩度のエッジ情報に基づいて、前記オブジェクト画像の切り出しを行う、請求項１または２に記載の手術器具検出システム。
6. 手術開始前の手術器具の種類および数を、手術終了後の手術器具の種類および数と照合する照合処理部をさらに備え、
   前記出力画像生成部が、前記照合処理部による照合の結果を表す画像を生成して、前記モニタへ出力する、請求項１〜５のいずれか一項に記載の手術器具検出システム。
7. コンピュータのプロセッサに手術器具検出処理を実行させる、コンピュータ読み取り可能なプログラムであって、
   前記手術器具検出処理が、
   カメラによって撮影された画像を入力する画像入力処理と、
   入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出処理と、
   前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理と、
   前記判定処理による判定の結果を表す画像を生成してモニタへ出力する出力画像生成処理とを含む、コンピュータ読み取り可能なプログラム。
   
8. コンピュータのプロセッサによって実行される手術器具検出方法であって、
   カメラによって撮影された画像を入力するステップと、
   入力画像から手術器具のオブジェクト画像を切り出すステップと、
   前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定するステップと、
   前記判定の結果を表す画像を生成してモニタへ出力するステップとを含む、手術器具検出方法。

Images