JP6809869B2 - ガーゼ検出システム - Google Patents

Description

本発明は、外科手術の状況を撮影した画像からガーゼ画像の特徴を検出することにより、患者体内へのガーゼの置き忘れを防止するためのガーゼ検出システムに関する。

外科手術の際に手術用器具やガーゼ等を患者の体内に置き忘れるという事態は、あってはならない医療ミスである。このようなガーゼの置き忘れを防止するために、従来、使用前のガーゼの数と、使用済みとして回収されたガーゼの数とが合っているか否かを確認するガーゼ計数システムが提案されている（下記の特許文献１）。

この特許文献１に開示されている従来のガーゼ計数システムでは、手術用のガーゼに、ガーゼ識別情報を記憶したＩＣタグをガーゼ１枚毎に付けて、タグリーダによって、これから使用するガーゼの数と使用後に回収されたガーゼの数とをそれぞれ計数する。そして、使用前のガーゼの数と回収されたガーゼの数とが一致するか否かを確認することにより、ガーゼの置き忘れがないかを確認する。

特開２０１４−２１７５４７号公報

しかし、上述した従来のガーゼ計数システムでは、ガーゼ１枚ずつにＩＣタグを装着する必要があり、ガーゼの価格が高額になると共に、ガーゼの管理の手間もかかるという課題がある。

そこで、本発明は、ガーゼに特殊な加工をすることなく、ガーゼの置き忘れを効果的に防止できるガーゼ検出システムを提供することを目的とする。

上記の課題を解決するために、本発明に係るガーゼ検出システムは、
撮影された画像を入力する画像入力部と、
入力画像内の所定の大きさの領域を対象として、当該領域がガーゼ画像の特徴を含むか否かを画像処理によって判断する判断部と、
前記判断部によりガーゼ画像の特徴を含むと判断された領域があった場合、入力画像内でガーゼを検出したことを報知する判断結果出力部とを備えている。

上記の構成によれば、ガーゼに特殊な加工をすることなく、ガーゼの置き忘れを効果的に防止できるガーゼ検出システムを提供することができる。

図１は、第１実施形態に係るガーゼ検出システムの機能的な概略構成を示すブロック図である。 図２は、図１に示す判断部における画像処理の流れを示すフローチャートである。 図３は、二値化された場合のガーゼ画像の一例を示す模式図である。 図４は、モニタへの出力例を示す模式図である。 図５は、第１の変形例に係るガーゼ検出システム１０１の機能的な概略構成を示すブロック図である。 図６は、第２の変形例に係るガーゼ検出システム１０２の機能的な概略構成を示すブロック図である。 図７は、第３の変形例に係るガーゼ検出システム１０３の機能的な概略構成を示すブロック図である。 図８は、第４の変形例に係るガーゼ検出システム１０４の機能的な概略構成を示すブロック図である。 図９は、二値化された場合のガーゼ画像ではない画像の一例を示す模式図である。 図１０は、第５の変形例に係るガーゼ検出システム１０５の機能的な概略構成を示すブロック図である。 図１１は、第５の変形例において生成されるガーゼ画像のヒストグラムの一例である。 図１２は、第２実施形態に係るガーゼ検出システム２００の機能的な概略構成を示すブロック図である。 図１３は、第３実施形態に係るガーゼ検出システム３００の機能的な概略構成を示すブロック図である。 図１４は、ガーゼ検出システム３００におけるガーゼの出入りの検出処理の流れを示すフローチャートである。

本発明のガーゼ検出システムの第１の構成は、
撮影された画像を入力する画像入力部と、
入力画像内の所定の大きさの領域を判断対象領域として、当該領域がガーゼ画像の特徴を含むか否かを画像処理によって判断する判断部と、
前記判断部によりガーゼ画像の特徴を含むと判断された判断対象領域があった場合、入力画像内でガーゼを検出したことを報知する判断結果出力部とを備えている。

上記の第１の構成によれば、撮影された術野の画像内に、ガーゼ画像の特徴を含むか否かを画像処理によって判断することができるので、ガーゼにＩＣタグ等を付ける等の特殊な加工をすることなく、ガーゼの置き忘れを効果的に防止することができる。

第２の構成は、前記第１の構成において、
前記判断結果出力部が、撮影された画像において、ガーゼ画像の特徴を含むと判断された判断対象領域を強調表示させる表示制御部を備えている。

第２の構成によれば、例えば手術室のモニタにおいて、術野の画像中でガーゼ領域を強調表示させることができる。これにより、執刀医および補助者に対して、術野にガーゼが存在することを、分かりやすく注意喚起することが可能となる。

第３の構成は、前記第１または第２の構成において、
前記判断部が、
前記判断対象領域に二値化処理を行って各画素を白画素と黒画素とに分類する二値化処理部と、
前記判断対象領域内で所定の面積以下の黒画素ブロックを検出するブロック検出部とを備え、
前記判断対象領域において前記ブロック検出部により検出された黒画素ブロックの個数が閾値以上である場合に、当該判断対象領域がガーゼ画像の特徴を含むと判断する。

第３の構成によれば、二値化処理を行った場合に黒画素ブロックとして表れるガーゼの網目（開口部分）を検出することにより、術野の画像内にガーゼ領域があるか否かを精度良く判断することができる。

第４の構成は、前記第１〜第３のいずれかの構成において、
前記判断対象領域において少なくとも一の方向において連続する隣接画素間の輝度差を求める輝度差検出部を備え、
前記輝度差検出部で求められた輝度差に周期的な変化が見られる場合に、当該判断対象領域がガーゼ画像の特徴を含むと判断する。

ガーゼ画像では、繊維と網目（開口部分）が規則的に並んでいるので、第４の構成によれば、術野の画像において、少なくとも一の方向において連続する隣接画素間の輝度差を求め、求められた輝度差に周期的な変化が見られる場合に、その領域がガーゼ領域であると判断することができる。これにより、術野の画像内にガーゼ領域があるか否かを精度良く判断することができる。

第５の構成は、前記第１〜第４のいずれかの構成において、
前記判断部が、
前記判断対象領域の境界線と連続しない白画素の閉領域を検出する白領域検出部を備え、
前記白領域検出部が前記閉領域を検出した場合は、当該判断対象領域はガーゼ画像の特徴を含まないと判断する。

ガーゼ画像では、二値化した際に白画素の集合として表れる繊維部分は、判断対象領域の境界線の少なくともいずれかと連続した領域であって、かつ、周囲を黒画素で囲まれた閉領域ではないと考えられる。したがって、第５の構成では、判断対象領域の境界線と連続しない白画素の閉領域を検出した場合は、その閉領域はガーゼ画像の特徴ではないと判断する。これにより、術野の画像内にガーゼ領域があるか否かを精度良く判断することができる。

第６の構成は、前記第１〜第５のいずれかの構成において、
前記判断対象領域内の画素の輝度について正規化されたヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムが所定の均等性をもって分布している場合に、当該判断対象領域がガーゼ画像の特徴を含むと判断する均一性判断部とを備える。

ガーゼ画像では、繊維部分と網目部分とが規則的に並んでいるので、画素の輝度について正規化されたヒストグラムを生成すると、その分布が所定の均等性を示すことが想定される。したがって、第６の構成によれば、術野の画像内にガーゼ領域があるか否かを精度良く判断することができる。

第７の構成は、前記第１または第２の構成において、
前記判断部が、
ガーゼ画像の特徴パターンを学習するニューラルネットワークを備え、
入力画像内の所定の大きさの領域を判断対象領域として、当該領域の画像が、前記ニューラルネットワークで学習された特徴パターンと一致する場合に、当該判断対象領域がガーゼ画像の特徴を含むと判断する。

この第７の構成によれば、適切な学習素材を利用して、ガーゼ画像の特徴パターンを十分に学習させれば、術野の画像内にガーゼ領域があるか否かを精度良く判断することが可能となる。

第８の構成は、前記第１〜第７のいずれかの構成において、
時間的に連続する複数の入力画像を対象として、前記判断部によってガーゼ画像の特徴を含むと判断された領域の移動方向を検出する動き検出部と、
前記動き検出部の検出結果に基づいて、入力画像の範囲外から範囲内へ移動したガーゼの数と、入力画像の範囲内から範囲外へ移動したガーゼの数とをカウントする計数部とをさらに備え、
入力画像の範囲外から範囲内へ移動したガーゼの数よりも、入力画像の範囲内から範囲外へ移動したガーゼの数の方が少ない場合、前記判断結果出力部がガーゼの残存を報知する。

第８の構成によれば、ガーゼ画像と判断される領域の移動方向を検出することで、術野に対するガーゼの出入りをカウントすることにより、術野にガーゼが残存している蓋然性（確からしさ）を画像処理によって判断することが可能となる。

本発明の一形態としてのコンピュータプログラムは、
コンピュータのプロセッサにガーゼ検出処理を実行させるコンピュータ読み取り可能なプログラムであって、
前記画像検出処理が、
撮影された画像を入力する画像入力処理と、
入力画像内の所定の大きさの領域を判断対象領域として、当該判断対象領域がガーゼ画像の特徴を含むか否かを画像処理によって判断する判断処理と、
前記判断処理によりガーゼ画像の特徴を含むと判断された領域があった場合、入力画像内でガーゼを検出したことを報知する判断結果出力処理とを含む。

［実施形態］
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一または相当部分には同一符号を付してその説明は繰り返さない。なお、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化または模式化して示されたり、一部の構成部材が省略されたりしている。また、各図に示された構成部材間の寸法比は、必ずしも実際の寸法比を示すものではない。

［第１実施形態］
（１．第１実施形態の概要）
第１実施形態に係るガーゼ検出システムは、術野を撮影するカメラから画像を読み込んで、１フレーム毎に画像処理を行って、撮影画像からガーゼ画像の特徴を検出する。この特徴検出の結果、ガーゼ画像の特徴が含まれている蓋然性が高いと判断される場合は、撮影画像内でガーゼ画像の特徴を示す領域を強調表示すること等により、執刀医や補助者に対して、術野内にガーゼが存在することを注意喚起する。

このガーゼ検出システムは、例えば、手術映像の記録・配信システムの一機能として実装することができる。すなわち、内視鏡に取り付けられたカメラや手術室に固定の術野カメラ等と、手術室外に設置されたサーバと、手術室内に設置されたモニタとをネットワークで接続してなる手術映像記録・配信システムにこのガーゼ検出システムを導入することにより、手術中のガーゼ置き忘れを効果的に防止することができる。

（２.概略構成の説明）
図１は、第１実施形態に係るガーゼ検出システム１００の機能的な概略構成を示すブロック図である。なお、図１に示すブロック図は、ガーゼ検出システム１００の機能をブロックに分類して概念的に示したものであって、実際にそれぞれのブロックが個別のハードウエアとして実装されていることを要するものではない。それぞれのブロックは、サーバやコンピュータのＣＰＵが所定のプログラムを実行することによって実現することができる。他のブロック図についても同様である。

図１に示すように、第１実施形態に係るガーゼ検出システム１００は、カメラで撮影された術野の画像を入力する画像入力部１と、入力画像内の所定の大きさの領域を対象として、当該領域がガーゼ画像の特徴を含むか否かを判断する判断部２と、判断部２によりガーゼ画像の特徴を含むと判断された領域があった場合、術野内にガーゼが存在することを注意喚起する判断結果出力部３とを備えている。

画像入力部１は、内視鏡に取り付けられたカメラや、手術室内において例えば無影灯等に取り付けられた固定カメラ等から、術野の画像を入力する。術野の画像は、一般的には動画として入力されるが、コマ送りの静止画であっても良い。画像入力部１は、入力された画像から１フレーム分の画像を取り出して、判断部２へ送る。

判断部２は、画像入力部１から受け取った１フレーム分の画像を小領域に分割して画像処理を行い、当該領域内にガーゼ画像の特徴が含まれているか否かを判断する。このため、本実施形態の判断部２は、図１に示すように、画像分割部２０と二値化処理部２１とブロック検出部２２とを備えている。

画像分割部２０は、画像入力部１から受け取った１フレーム分の画像を、以降の二値化処理とブロック検出処理の処理単位となる小領域に分割する。二値化処理部２１は、画像分割部２０で分割された１つの小領域に対して二値化処理を行って、各画素を白画素と黒画素とに分類する。ブロック検出部２２は、二値化された小領域内に、所定の面積以下の黒画素ブロックが存在するか否かを検出する。判断部２は、ブロック検出部２２により検出された黒画素ブロックの個数に基づいて、当該領域がガーゼ画像の特徴を含むか否かを判断する。

（３．判断部による処理の説明）
ここで、図２を参照しながら、判断部２による画像処理の流れを説明する。

まず、画像分割部２０が、画像入力部１から受け取った１フレーム分の画像を前述の小領域に分割する。言い換えると、画像分割部２０は、画像入力部１から受け取った１フレーム分の画像のうち、所定の大きさの領域（一般的には矩形）を、以降の判断処理の対象領域（判断対象領域）に設定する（ステップＳ１）。

次に、二値化処理部２１は、ステップＳ１で設定された判断対象領域に含まれる全画素について、判別分析法を用いて、それぞれの画素を白画素と黒画素とに分類するための閾値を設定する（ステップＳ２）。

判別分析法による二値化とは、一般的には「大津の二値化」とも呼ばれており、分離度（クラス間分散とクラス内分散との比）が最大となるような閾値を求め、求められた閾値によって分類を行う手法である。

ここで、判断対象領域の画素を、ある輝度ｔを閾値として黒画素と白画素との２つのクラスに分類する場合、黒クラスの画素数をｎ₁、平均をｍ₁、分散をσ₁とし、白クラスの画素数をｎ₂、平均をｍ₂、分散をσ₂とすると、クラス内分散σ_Ｗ ²は、以下の式（１）で表すことができる。
σ_Ｗ ²＝（ｎ₁σ₁ ²＋ｎ₂σ₂ ²）／（ｎ₁＋ｎ₂） ・・・（１）

また、クラス間分散σ_ｂ ²は、画像全体の輝度値の平均をＭとすると、以下の式（２）で表すことができる。
σ_ｂ ²＝{ｎ₁（ｍ₁−Ｍ）²＋ｎ₂（ｍ₂−Ｍ）²}／（ｎ₁＋ｎ₂） ・・・（２）

そして、このクラス内分散σ_Ｗ ²とクラス間分散σ_ｂ ²との比である分離度Ｓが最大となるような輝度ｔの値を求めて、閾値として決定する。

二値化処理部２１は、このように決定された輝度ｔを閾値として用いて、判断対象領域内の画素を白画素と黒画素とに二分類する（ステップＳ３）。

次に、ブロック検出部２２は、判断対象領域内で、ガーゼ画像の一つの特徴である「網目の部分」に相当する黒画素ブロックを検出する（ステップＳ４）。黒画素ブロックとは、複数の黒画素から構成される領域である。このステップＳ４において検出される黒画素ブロックは、所定の面積以下のものに限定される。つまり、ここでは、ガーゼの網目の面積以下の面積を持つ黒画素ブロックのみが検出される。判断部２は、ブロック検出部２２によって検出された黒画素ブロックの個数に応じて、その判断対象領域がガーゼ画像であるか否かを判断する（ステップＳ５）。

ガーゼ画像は、白黒の２値画像にした場合、図３に模式的に示すように、白い部分ｗの中に、ガーゼの網目の部分（開口部分）ｂが、黒いブロック状に複数点在する。このため、判断部２は、例えば、ステップＳ１において、水平方向にＸ１画素分、垂直方向にＹ１画素分の領域を判断対象領域とし、ステップＳ４において、判断対象領域内から、所定の面積以下の黒画素ブロックを検出し、ステップＳ５において、判断対象領域内に所定数以上の黒画素ブロックが検出された場合に、その判断対象領域がガーゼ画像であると判断する。

なお、患者体内に置かれたガーゼは、平面上に伸ばして置かれた状態とは異なり、折れ曲がったり皺になったりしているので、網目は必ずしも図３に示したような矩形状ではない。このため、ガーゼの網目に相当する特徴として検出する黒画素ブロックを、所定の面積以下のブロックとすることにより、ガーゼの網目がつぶれている場合であっても、精度よく網目を検出することができる。

例えば、判断対象領域内で５個以上の黒画素ブロックが検出された場合に、その判断対象領域がガーゼ画像であると判断するようにすれば、図３に示した例では、判断対象領域内に６個の黒画素ブロックが検出され、ガーゼ画像であると判断される蓋然性が高い。

なお、判断部２による判断結果は、「ガーゼ画像である」または「ガーゼ画像ではない」の二者択一であっても良いし、ガーゼ画像である蓋然性を表す数値（連続値または離散値）であっても良い。後者の場合、例えば、ブロック検出部２２によって検出された黒画素ブロックの個数に対して複数段階の閾値を設け、検出個数がより多くなるほど、ガーゼ画像である蓋然性の値がより大きくなるようにすれば良い。さらに、後に説明するが、黒画素ブロックの個数以外の他の要素を利用して、ガーゼ画像か否かの最終判断をするようにしても良い。

また、判断対象領域の大きさについてのＸ１，Ｙ１の値は、処理効率等を考慮して任意に決定すれば良い。また、ガーゼの網目の部分に相当するとしてステップＳ４で検出する黒画素ブロックの面積閾値も、使用されるガーゼの網目の大きさや、検出精度等を考慮して、任意に決定すれば良い。

以上のステップＳ２〜Ｓ５の処理を一つの判断対象領域に対して行った後、判断部２は、入力画像の全体について、判断処理が完了するまで、ステップＳ１に戻って新たな判断対象領域を設定しなおして、ステップＳ２〜Ｓ５の処理を繰り返す（ステップＳ６）。

そして、入力画像の全体について処理が完了すると（ステップＳ６にてＹｅｓ）、判断部２は、処理の結果を判断結果出力部３へ出力する（ステップＳ７）。すなわち、判断部２から判断結果出力部３へは、入力画像中のＸ１画素×Ｙ１画素の大きさの判断対象領域のそれぞれについて、ガーゼ画像であるか否かの判断結果を表すデータが渡される。

判断結果出力部３は、ステップＳ７で渡された判断結果データに基づいて、術野の画像において、ガーゼ画像であると判断された箇所を強調表示するための表示データを生成し、手術室内等のモニタへ出力する（ステップＳ８）。

図４は、モニタへの出力例を示す模式図である。図４の例では、モニタの画面が上下に二分割され、上の画面に術野の実際の画像が表示され、下の画面に術野の画像内でガーゼ画像であると判断された箇所が強調表示されている。強調表示の方法は任意であるが、ガーゼ画像であると判断された箇所を相対的に明るく、その他の箇所が相対的に暗くなるように、画像の輝度が調整すること等が考えられる。なお、図４においては、ガーゼ画像以外の臓器等の画像であって、相対的に暗く表示される部分の形状を模式的に破線で示している。このように、ガーゼ画像であると判断された箇所を強調表示することにより、執刀医および補助者に対して、術野にガーゼが存在することを、分かりやすく注意喚起することができる。なお、ガーゼ部分の強調表示の態様は、図４に示した例に限らず、様々な態様をとることができる。

（５．第１実施形態の効果）
以上のように、第１実施形態に係るガーゼ検出システム１００は、撮影された画像を二値化画像に変換し、黒画素のブロックとして表れるガーゼの網目が、判断対象領域内で所定個数以上検出されるか否かによって、術野内にガーゼが存在するか否かを判断する。そして、ガーゼ画像であると判断された箇所をモニタ上で強調表示することにより、執刀医および補助者に対してガーゼの存在を注意喚起する。

これにより、ガーゼにＩＣタグを付けるなどの特殊な加工をすることなく、画像処理のみによって、患者体内へのガーゼの置き忘れを効果的に防止することができる。

（６．変形例）
以下、本実施形態に係るガーゼ検出システム１００の変形例をいくつか開示する。以下の変形例は、二値化画像に黒画素ブロックとして表れるガーゼの網目の検出によってガーゼの有無を判定する機能の他に、ガーゼの有無をより正確に判定するために、補助的な判定機能を有するものである。

（６．１ 第１の変形例：輝度累積差分値による判定）
図５は、第１の変形例に係るガーゼ検出システム１０１の機能的な概略構成を示すブロック図である。図５に示すように、ガーゼ検出システム１０１は、判断部２において、ブロック検出部２２の後段に、輝度差検出部２３をさらに備えている。

輝度差検出部２３は、ブロック検出部２２によってガーゼ画像の特徴を含むと判断された判断対象領域に対して、判断の正確性を高めるために、その判断対象領域における輝度差を検出し、ガーゼ画像ではないものを除外する。すなわち、二値化処理部２１は判断対象領域において、判別分析法によって設定された閾値に基づいて全画素を白画素と黒画素とに分類する。このとき、輝度差の少ない（いわゆるのっぺりした）画像では、偶発的に網目模様が浮かび上がることがある。このため、輝度差検出部２３は、このようなのっぺりした画像の部分がガーゼ画像として検出されないように、輝度差の少ない判断対象領域を除外するために設けられている。

輝度差検出部２３は、判断対象領域のグレースケール画像に基づき、水平方向（Ｘ方向）および垂直方向（Ｙ方向）の少なくとも一方の方向で連続する隣接画素の輝度差を求める。輝度差検出部２３はさらに、水平方向（Ｘ方向）および垂直方向（Ｙ方向）の少なくとも一方の方向で、所定の閾値以上の輝度変化が周期的に観測されるか否かを検出する。

すなわち、ガーゼ画像は、繊維の部分と網目の部分が画像平面内で周期的に表れるので、隣接画素の輝度差が、繊維と網目の境界部分において比較的大きく表れる。したがって、ガーゼ画像を含む判断対象領域では、水平方向（Ｘ方向）および垂直方向（Ｙ方向）の少なくとも一方の方向で見た場合に、隣接画素の輝度差が閾値よりも大きくなる箇所が周期的に観測される。この反対に、隣接画素の輝度差が閾値よりも大きくなる箇所が存在しない判断対象領域は、ガーゼ画像を含まない蓋然性が高いものとして、除外することができる。

このように、輝度差検出部２３を補助的に備え、二値化画像内の黒画素ブロックによるガーゼの網目の検出による判断部２の処理結果と併せて総合的にガーゼ画像の有無を判断することにより、術野におけるガーゼの有無をより確実に判定することが可能となる。

なお、図５の例では、輝度差検出部２３をブロック検出部２２の後に設けたが、輝度差検出部２３を二値化処理部２１の前に設け、輝度差検出部２３によってガーゼ画像を含む蓋然性が高いと判断された判断対象領域のみを、以降の処理の対象としても良い。また、輝度差検出部２３の検出結果のみに基づいて、ガーゼの有無を判定する構成とすることも可能である。すなわち、二値化処理部２１およびブロック検出部２２を省略し、隣接画素間の輝度差が周期的に変化する判断対象領域を、ガーゼ画像であると判断するようにしても良い。

（６．２ 第２の変形例：てかり抑制）
図６は、第２の変形例に係るガーゼ検出システム１０２の機能的な概略構成を示すブロック図である。図６に示すように、ガーゼ検出システム１０２は、判断部２において、二値化処理部２１の前段に、てかり抑制処理部２４をさらに備えている。

術野の画像において、臓器表面等にてかりが見られることがある。てかりとは、光の直接反射によって、部分的に輝度が高くなった状態である。このようなてかりがあると、その部分を二値化処理した際に、偶発的に網目模様が浮かび上がることがある。なお、ガーゼ画像にてかりが見られることはほとんどない。したがって、てかりが見られる領域は、ガーゼ領域ではないものとして、ガーゼ画像の検出処理の対象から除外することが望ましい。

また、判断対象領域の画像内にてかりがあると、その部分の輝度の高さがノイズとなって、判断対象領域の全体の画像処理に悪影響を及ぼすおそれがある。例えば、判断対象領域全体の輝度の平均値を求める際に、てかり領域の輝度が高いことに起因して、平均値が本来よりも高い値として算出されてしまうことがある。そこで、この変形例では、てかり抑制処理部２４が、てかり領域を検出し、てかり領域を含む判断対象領域を後の画像処理の対象から外すことにより、てかりの影響を抑制する。

てかり抑制処理部２４は、判断対象領域のグレースケール画像に基づき、所定の閾値よりも輝度が高い画素が一定数以上存在する領域を、てかり領域と判断する。あるいは、てかり抑制処理部２４は、領域の平均輝度よりも閾値以上高い輝度を持つ画素を検出し、そのような画素が一定数以上存在する領域を、てかり領域と判断しても良い。

このように、第２の変形例では、てかり抑制処理部２４をさらに備えたことにより、てかり領域をガーゼ画像の判断対象領域から除外する。これにより、ガーゼ画像の検出処理を高速化することができる。また、てかり領域の画素の輝度がノイズとなって全体の画像処理に及ぼす悪影響を排除することができる。これにより、ガーゼ画像をより確実にかつより高速に検出することが可能となる。

なお、てかり抑制処理部２４を、ブロック検出部２２の後に設けることも可能である。ただし、てかり抑制処理部２４のような比較的計算量の少ない処理部を前段に配置することにより、てかり抑制処理部２４においてガーゼではないと判断された判断対象領域を後段の処理対象から除外して以降の計算を省略することができる。これにより、判断部２における処理を高速化できるという利点がある。

（６．３ 第３の変形例：色相による判定）
図７は、第３の変形例に係るガーゼ検出システム１０３の機能的な概略構成を示すブロック図である。図７に示すように、ガーゼ検出システム１０３は、判断部２において、二値化処理部２１の前段に、色相判断部２５をさらに備えている。なお、色相判断部２５についても、ブロック検出部２２の後に配置することも可能である。ただし、処理の高速化の観点からは、二値化処理部２１の前段にあることが望ましい。

色相判断部２５は、判断対象領域のカラー画像に基づいて、ガーゼとは明らかに異なる色味の領域を、ガーゼ画像の判断対象領域から除外する。例えば、体内の脂肪は黄色がかっているので、黄色の領域は脂肪であってガーゼの画像ではないとして、ガーゼ画像の判断対象領域から除外することができる。

このように、第３の変形例では、色相判断部２５をさらに備えたことにより、ガーゼとは異なる色の領域をガーゼ画像の判断対象領域から除外する。これにより、ガーゼ画像の検出処理を高速化することができる。また、ガーゼ以外の領域の画素の輝度がノイズとなって全体の画像処理に及ぼす悪影響を排除することができる。これにより、ガーゼ画像をより確実にかつより高速に検出することが可能となる。

（６．４ 第４の変形例：白領域による判定）
図８は、第４の変形例に係るガーゼ検出システム１０４の機能的な概略構成を示すブロック図である。

ガーゼ検出システム１０４は、図８に示すように、ブロック検出部２２の後段に白領域検出部２６を備えた構成である。白領域検出部２６は、二値化された入力画像内の所定の大きさの領域を対象として、その領域内にガーゼの繊維部分に相当する白領域があるか否かを判断する。ここで、ガーゼの繊維部分に相当する白領域は、白画素の連続性に基づいて判断される。

すなわち、図３に示したように、二値化された入力画像におけるガーゼ画像は、ガーゼ繊維に相当する部分が白領域ｗとして表れる。ガーゼの網目部分（開口部分）は、黒領域ｂとして表れる。そして、ガーゼ繊維に相当する白領域ｗは、判断対象領域の境界線の少なくともいずれかと連続した領域であって、かつ、周囲を黒画素で囲まれた閉領域ではない。すなわち、判断対象領域内に、その判断対象領域の境界線と連続しない白画素の閉領域が存在する場合は、その判断対象領域の画像はガーゼ画像ではない、と判断することができる。例えば、図９に示した例では、白い画素で形成された白領域ｗ１，ｗ２のうち、白領域ｗ２は、判断対象領域の境界線のいずれにも連続しない白画素の閉領域である。このような閉領域を含む場合は、その判断対象領域の画像はガーゼ画像ではない、と判断することができる。

一方で、図３に示した例のように、白領域ｗが、判断対象の一つの境界線から、他の境界線へ連続して到達している場合には、その白領域ｗはガーゼの繊維部分の画像である蓋然性が高い。

以上のとおり、白領域検出部２５は、二値化画像において、判断対象領域の境界線と連続しない白画素の閉領域が検出されるか否かによって、判断対象領域の画像がガーゼ画像であるか否かを判断することができる。これにより、ブロック検出部２２によってガーゼ画像を含むと判断された判断対象領域に対して、白領域検出部２５による処理を追加的に行うことにより、それぞれの判断対象領域がガーゼ画像を含むか否かの判断の精度を高めることができる。なお、白領域検出部２５を二値化処理部２１の後に配置し、白領域検出部２５によってガーゼ画像ではないと判断された判断対象領域以外の判断対象領域のみについて、後段の処理を行うようにしても良い。

（６．５ 第５の変形例：白領域による判定）
図１０は、第５の変形例に係るガーゼ検出システム１０５の機能的な概略構成を示すブロック図である。

図１０に示すように、ガーゼ検出システム１０５においては、判断部２が、ブロック検出部２２の後に、判断対象領域のグレースケール画像に基づいて、判断対象領域内の画素の輝度について正規化されたヒストグラムを生成するヒストグラム生成部２７と、均一性判断部２８とを備えた構成である。ヒストグラム生成部２７および均一性判断部２８は、ブロック検出部２２によってガーゼ画像の特徴を含むと判断した判断対象領域について処理を行い、ヒストグラム生成部２７で生成されたヒストグラムが所定の均等性をもって分布している場合に、当該判断対象領域がガーゼ画像の特徴を含むと判断する。なお、ヒストグラム生成部２７および均一性判断部２８を、二値化処理部２１の前段に配置しても良い。

すなわち、ガーゼ画像は、ガーゼ繊維と網目（開口部分）とが規則的に配置されているので、輝度ヒストグラムを正規化した場合、理想的には、図１１に示すようなヒストグラムが得られると想定される。なお、図１１のヒストグラムでは、判断対象領域に含まれる画素のうち、最大輝度を１とし、最小輝度を０としている。

なお、「所定の均等性をもって分布している」か否かは、均一性判断部２８が、例えば、図１１に示すように正規化されたヒストグラムを例えば４つの領域に分割し、それぞれの領域に含まれる画素の数（度数）が所定の数値内にあるか否かによって、判断することができる。

以上のとおり、ガーゼ検出システム１０５では、正規化された輝度ヒストグラムを用いて、判断対象領域の画像がガーゼ画像であるか否かを判断することができる。

［第２実施形態］
以下、本発明の第２実施形態について説明する。図１２は、第２実施形態に係るガーゼ検出システム２００の機能的な概略構成を示すブロック図である。

図１２に示すように、ガーゼ検出システム２００において、判断部２は、ガーゼ画像の特徴パターンを学習するニューラルネットワーク２９を備えている。ガーゼ画像の特徴パターンの学習手法としては、任意の学習手法を採用することができるが、例えば、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）による学習であることが好ましい。

ディープラーニングによってガーゼ画像の特徴パターンをニューラルネットワーク２９に学習させる場合、手術中に体内に置かれたガーゼ画像を多数用いる。十分に学習が進んだニューラルネットワーク２９を用いれば、判断部２は、入力画像内の所定の大きさの領域を対象として、当該領域の画像が、ニューラルネットワーク２９で学習された特徴パターンと一致する場合に、当該領域がガーゼ画像の特徴を含むと判断することができる。

以上のとおり、第２実施形態では、ガーゼ画像の特徴パターンを学習するニューラルネットワークを用いて、判断対象領域の画像がガーゼ画像であるか否かを判断することができる。

［第３実施形態］
以下、本発明の第３実施形態について説明する。図１３は、第３実施形態に係るガーゼ検出システム３００の機能的な概略構成を示すブロック図である。

図１３に示すように、ガーゼ検出システム３００は、第１実施形態で説明した構成に加えて、動き検出部５と計数部６とをさらに備えて、術野に対するガーゼの出入りを検出する点において、第１実施形態と異なっている。

動き検出部５は、連続する複数のフレームの画像間で、判断部２によってガーゼ画像の特徴を含むと判断された領域（ガーゼ領域）の移動方向を検出する。計数部６は、動き検出部５の検出結果に基づいて、術野の画像の範囲外から範囲内へ移動したガーゼの数と、術野の画像の範囲内から範囲外へ移動したガーゼの数とをカウントする。

図１４は、ガーゼ検出システム３００におけるガーゼの出入りの検出処理の流れを示すフローチャートである。

図１４におけるステップＳ１１は、第１の実施形態において説明したステップＳ１〜Ｓ６の処理（判断部２による判断処理）に相当する。すなわち、１フレームの入力画像内が所定の大きさの判断対象領域に分割され、すべての判断対象領域に対して、それぞれの領域がガーゼ画像の特徴を含むか否かを判断することにより、入力画像内のガーゼ領域を検出する。その後、動き検出部５が、術野の画像において、ガーゼ画像の特徴を含むと判断された領域の重心の位置を求める（ステップＳ１２）。

次のフレームの画像が入力されると、ステップＳ１１に戻って、入力された次のフレームの画像に対して、ガーゼ画像の特徴を含むか否かが判断され、上記と同様に、このフレームの画像についても、ガーゼ画像の特徴を含むと判断された領域の重心の位置が求められる（ステップＳ１２）。

上記のステップＳ１１とＳ１２の処理を繰り返すことにより、連続する複数のフレームにわたって、ガーゼ画像の特徴を含むと判断された領域の重心の位置が移動する方向が判明する。

そして、あるフレームにおいて、術野の画像の四辺のいずれかの近傍にガーゼ領域の重心位置が表れて、その後のフレームで画像の内部へ向かって移動した場合は（ステップＳ１３でＹｅｓ）、新しいガーゼが投入されたものとして、ガーゼのカウント数を１だけ増やす（ステップＳ１４）。

反対に、連続する複数のフレームにわたって、ガーゼ領域の重心位置が、術野の画像の内部から画像の四辺へ向かって移動した後に消失した場合は（ステップＳ１５でＹｅｓ）、ガーゼが術野から取り出されたものとして、ガーゼのカウント数を１だけ減らす（ステップＳ１６）。

重心の位置が画像の四辺へ向けて移動することなく、ガーゼ画像の特徴を含む領域が急に消失した場合は、ガーゼが臓器や手術器具の陰に隠れたり、血液中に埋没したりした状態である蓋然性が高い。

したがって、連続する複数のフレームにわたってのガーゼ領域の重心位置の移動方向と、重心位置と画像の四辺との関係との両方を検出することにより、術野に対するガーゼの出入りを正確に把握することができる。

そして、手術が終了した時点で、術野の画像の範囲外から範囲内へ移動したガーゼの数よりも、術野の画像の範囲内から範囲外へ移動したガーゼの数の方が少ない場合、すなわち、手術が終了した時点でのガーゼのカウント数が１以上である場合は（ステップＳ１７でＹｅｓ）、判断結果出力部３が、術野にガーゼが残存していることを報知する（ステップＳ１８）。

以上のとおり、第３実施形態では、ガーゼ領域の重心位置と複数フレームにわたる重心位置の移動方向とを求めることにより、術野に入ったガーゼの数と、術野から取り出されたガーゼの数とをカウントする。そして、術野に入ったガーゼの数と、術野から取り出されたガーゼの数とが合わない場合は、例えばモニタにその旨を表示する等して、執刀医および補助者に対して注意喚起を行う。これにより、ガーゼにＩＣタグ等の特殊な加工を施すことなく、ガーゼの置き忘れを効果的に防止することができる。

なお、図１３においては、第１実施形態の構成（ガーゼ検出システム１００）に動き検出部５と計数部６とを追加した構成を例示した。しかし、第１実施形態の変形例として説明した構成（ガーゼ検出システム１０１〜１０５）または第２実施形態の構成（ガーゼ検出システム２００）に、動き検出部５と計数部６とを追加した構成としても良い。

以上、本発明の実施形態をいくつか説明したが、本発明の実施形態は、以上の具体例にのみ限定されず、種々の変更が可能である。また、各実施形態および変形例で説明した機能を適宜組み合わせて本発明を実施することも可能である。

また、上記の説明においては、サーバまたはコンピュータに実装されるコンピュータシステムとして、ガーゼ検出システムの実施形態を説明した。ただし、汎用のサーバやコンピュータに上述した各ブロックの機能を実現させるためのコンピュータプログラムおよびそれを記録した記録媒体も、本発明の実施の一態様に含まれる。

１…画像入力部、２…判断部、３…判断結果出力部、５…動き検出部、６…計数部、２０…画像分割部、２１…二値化処理部、２２…ブロック検出部、２３…輝度差検出部、２４…てかり抑制処理部、２５…色相判断部、２６…白領域検出部、２７…ヒストグラム生成部、２８…均一性判断部、２９…ニューラルネットワーク、１００〜１０５，２００，３００…ガーゼ検出システム

Claims (7)

1. 撮影された画像を入力する画像入力部と、
   入力画像内の所定の大きさの領域を判断対象領域として、当該領域がガーゼ画像の特徴を含むか否かを画像処理によって判断する判断部と、
   前記判断部によりガーゼ画像の特徴を含むと判断された判断対象領域があった場合、入
   力画像内でガーゼを検出したことを報知する判断結果出力部とを備え、
   前記判断部が、
   前記判断対象領域の境界線と連続しない白画素の閉領域を検出する白領域検出部を備え、
   前記白領域検出部が前記閉領域を検出した場合は、当該判断対象領域はガーゼ画像の特徴を含まないと判断する、ガーゼ検出システム。
2. 撮影された画像を入力する画像入力部と、
   入力画像内の所定の大きさの領域を判断対象領域として、当該領域がガーゼ画像の特徴を含むか否かを画像処理によって判断する判断部と、
   前記判断部によりガーゼ画像の特徴を含むと判断された判断対象領域があった場合、入力画像内でガーゼを検出したことを報知する判断結果出力部と、
   時間的に連続する複数の入力画像を対象として、前記判断部によってガーゼ画像の特徴を含むと判断された領域の移動方向を検出する動き検出部と、
   前記動き検出部の検出結果に基づいて、入力画像の範囲外から範囲内へ移動したガーゼの数と、入力画像の範囲内から範囲外へ移動したガーゼの数とをカウントする計数部とを備え、
   入力画像の範囲外から範囲内へ移動したガーゼの数よりも、入力画像の範囲内から範囲外へ移動したガーゼの数の方が少ない場合、前記判断結果出力部がガーゼの残存を報知する、ガーゼ検出システム。
3. 前記判断結果出力部が、撮影された画像において、ガーゼ画像の特徴を含むと判断された判断対象領域を強調表示させる表示制御部を備えた、請求項１または２に記載のガーゼ検出システム。
4. 前記判断部が、
   前記判断対象領域内の画素の輝度について正規化されたヒストグラムを生成するヒストグラム生成部と、
   前記ヒストグラムが所定の均等性をもって分布している場合に、当該判断対象領域がガーゼ画像の特徴を含むと判断する均一性判断部とを備える、請求項１〜３のいずれか一項に記載のガーゼ検出システム。
5. 前記判断部が、
   ガーゼ画像の特徴パターンを学習したニューラルネットワークをさらに備え、
   入力画像内の所定の大きさの領域を判断対象領域として、前記ニューラルネットワークにより、当該判断対象領域がガーゼ画像の特徴を含むか否かを判断する、請求項１〜４のいずれか一項に記載のガーゼ検出システム。
6. コンピュータのプロセッサにガーゼ検出処理を実行させるコンピュータ読み取り可能なプログラムであって、
   前記ガーゼ検出処理が、
   撮影された画像を入力する画像入力処理と、
   入力画像内の所定の大きさの領域を判断対象領域として、当該判断対象領域がガーゼ画像の特徴を含むか否かを画像処理によって判断する判断処理と、
   前記判断処理によりガーゼ画像の特徴を含むと判断された領域があった場合、入力画像内でガーゼを検出したことを報知する判断結果出力処理とを含み、
   前記判断処理が、
   前記判断対象領域の境界線と連続しない白画素の閉領域を検出し、
   前記閉領域を検出した場合は、当該判断対象領域はガーゼ画像の特徴を含まないと判断する、プログラム。
7. コンピュータのプロセッサにガーゼ検出処理を実行させるコンピュータ読み取り可能なプログラムであって、
   前記ガーゼ検出処理が、
   撮影された画像を入力する画像入力処理と、
   入力画像内の所定の大きさの領域を判断対象領域として、当該判断対象領域がガーゼ画像の特徴を含むか否かを画像処理によって判断する判断処理と、
   前記判断処理によりガーゼ画像の特徴を含むと判断された領域があった場合、入力画像内でガーゼを検出したことを報知する判断結果出力処理と、
   時間的に連続する複数の入力画像を対象として、前記判断処理によってガーゼ画像の特徴を含むと判断された領域の移動方向を検出する動き検出処理と、
   前記動き検出処理の検出結果に基づいて、入力画像の範囲外から範囲内へ移動したガーゼの数と、入力画像の範囲内から範囲外へ移動したガーゼの数とをカウントする計数処理とを含み、
   入力画像の範囲外から範囲内へ移動したガーゼの数よりも、入力画像の範囲内から範囲外へ移動したガーゼの数の方が少ない場合、前記判断結果出力処理においてガーゼの残存を報知する、プログラム。

Images