JP7307709B2 - 処置具管理システム、内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、医療画像を用いた処置具管理システム、内視鏡システム及びその作動方法に関する。

内視鏡治療において必要不可欠な処置具には様々な種類があり、部位やスコープによって使い分けているため、病院等では、様々な種類の処置具を管理しなければならない。

処置具の在庫確認は、内視鏡システムが設置されている病院等の様々な場所ごとに行う必要がある。しかし、在庫数を目視で確認し、少なくなってきたら発注をするというプロセスは、病院等の従業者にとって人的・時間的負担が大きく、自動化が望まれていた。

特開２００２－２４８０７４号公報

特許文献１では、内視鏡に取り付けた処置具を使用したことを、操作ハンドルとこれに内蔵したマイクロスイッチによって認識し、認識した信号を在庫管理用のメモリに送信することで、処置具の在庫数を自動的に管理することを実現している。

しかしながら、特許文献１に記載の処置具管理システムは、処置具に特別な装置を設け、既知の処置具のみを認識するものである。処置具の種類は、医療技術の発展とともに年々新規なものが増加していく。そのため、ユーザーが未知の、あらゆる種類の処置具の在庫を管理するシステムが求められている。

本発明は、医療画像を用いて処置具を管理することができる処置具管理システム、内視鏡システム及びその作動方法を提供することを目的とする。

本発明の内視鏡システムは、画像制御用プロセッサを備え、画像制御用プロセッサは、時系列の画像である検査画像を取得し、検査画像の認識により、使用処置具認識結果を出力し、使用処置具認識結果を参照して、使用処置具の検出及び検出後における一定の使用処置具非検出期間がある場合に、使用処置具に係る使用数を計数し、終了指示がなされた場合、使用処置具と、使用処置具に係る使用数とを承認するかを選択するための使用処置具確認画面を第１ディスプレイに表示する。

使用処置具確認画面において、使用処置具認識結果に係る少なくとも１以上の使用処置具の名称と、使用処置具画像と、使用処置具に係る使用数とを表示することが好ましい。

使用処置具確認画面において、承認指示がなされた場合、使用処置具の名称と使用処置具に係る使用数とを対応付けた使用数計数信号を送信することが好ましい。使用処置具確認画面において、使用処置具の名称及び／又は使用処置具に係る使用数に係る修正指示がなされた場合、修正後の使用処置具の名称と使用処置具に係る使用数とを対応付けた使用数計数信号を送信することが好ましい。

使用数計数信号をレポート作成支援システムに送信し、レポート作成画面に反映させ、第２ディスプレイに表示することが好ましい。

光源用プロセッサを備え、光源用プロセッサは、互いに発光スペクトルが異なる第１照明光と第２照明光とを発する光源を制御し、第１照明光を発光する第１照明期間と第２照明光を発光する第２照明期間とを自動的に切り替える場合において、第１発光パターンは、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つであり、検査画像の認識は、第１照明光に基づく画像において行うことが好ましい。

第１発光パターンは、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つであることが好ましい。第２発光パターンは、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、及び、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つであることが好ましい。

本発明の内視鏡システムの作動方法は、時系列の画像である検査画像を取得し、検査画像の認識により、使用処置具認識結果を出力し、使用処置具認識結果を参照して、使用処置具の検出及び検出後における一定の使用処置具非検出期間がある場合に、使用処置具に係る使用数を計数し、使用処置具と、使用処置具に係る使用数とを承認するかを選択するための使用処置具確認画面を第１ディスプレイに表示する。

少なくとも１以上の、有線又は無線によって接続された内視鏡システムと、サーバーと、
在庫管理用プロセッサと、を有し、在庫管理用プロセッサは、内視鏡システムから使用数計数信号を受信し、使用数計数信号に基づき、サーバーに予め入力された処置具の在庫数を変更する処置具管理システム。

処置具に係る在庫数を、在庫管理画面として第３ディスプレイに表示することが好ましい。在庫数が特定の条件を満たす場合、在庫管理画面において警告表示することが好ましい。特定の条件はユーザーが設定することが好ましい。在庫数が特定の条件を満たす場合、処置具の自動発注を行い、自動発注を行ったことを在庫管理画面に表示することが好ましい。

本発明によれば、医療画像を用いて処置具を管理することができる処置具管理システム、内視鏡システム及びその作動方法を提供することができる。

内視鏡システムの構成の説明図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 強調観察モード時の第１Ａ発光パターン又は第２Ａパターンを示す説明図である。 強調観察モード時の第１Ｂ発光パターンを示す説明図である。 強調観察モード時の第２Ｃパターンを示す説明図である。 強調観察モード時の第２Ｂパターンを示す説明図である。 強調観察モード時の第２Ｄパターンを示す説明図である。 撮像センサの各カラーフィルタの分光透過率を示すグラフである。 第１撮像期間及び第２撮像期間を示す説明図である。 強調画像生成部の機能を示すブロック図である。 第２照明光用第１発光スペクトルＳＰを示すグラフである。 第２照明光用第２発光スペクトルＳＱを示すグラフである。 第２照明光用第３発光スペクトルＳＲを示すグラフである。 第３解析用画像処理部内の機能を示すブロック図である。 酸素飽和度算出用テーブルについて示す説明図である。 第２照明光用第４発光スペクトルＳＳを示すグラフである。 第４解析用画像処理部内の機能を示すブロック図である。 色差拡張処理について示す説明図である。 強調観察モードにおける照明制御、解析処理、及び画像表示を時系列順で示す説明図である。 認識モデルに第１照明光画像に基づく画像Ａを入力すると、使用処置具認識結果Ａが出力されることを示す説明図である。 認識モデルに第１照明光画像に基づく画像Ｂを入力すると、使用処置具認識結果Ｂが出力されることを示す説明図である。 計数部の機能を示すブロック図である。 使用処置具に係る使用数の計数について示す説明図である。 検査画面を示す画像図である。 使用処置具確認画面を示す画像図である。 修正ボタンが選択された場合の使用処置具確認画面を示す画像図である。 内視鏡システム、レポート作成支援システム、第２ディスプレイ、第２ＵＩの制御関係を示すブロック図である。 レポート作成画面を示す画像図である。 処置具を認識してレポート作成に至るまでの一連の流れを示す説明図である。 内視鏡システム、処置具管理システム、第３ディスプレイ、第３ＵＩの制御関係を示すブロック図である。 ディスポーザブル型処置具の在庫数の変更の具体例を示す説明図である。 リユーザブル型処置具の耐用回数及び在庫数の変更の具体例を示す説明図である。 在庫管理画面を示す画像図である。 警告表示及び自動発注に係るポップアップ表示を行った場合の在庫管理画面を示す画像図である。 処置具を認識して在庫管理を行うまでの一連の流れを示す説明図である。

[第１実施形態]
図１において、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、第１ディスプレイ１５と、第１ＵＩ（User InterFace、ユーザーインターフェース）１６とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１２ｅの他、観察モードの切り替え操作に用いる観察モード切替スイッチ１２ｆと、観察対象の静止画の取得指示に用いられる静止画像取得指示スイッチ１２ｈと、ズームレンズ４２の操作に用いられるズーム操作部１２ｉとが設けられている。

内視鏡システム１０は、観察モードとして、第１照明観察モード、第２照明観察モード及び強調観察モードの３つのモードを有しており、観察モード切替スイッチ１２ｆを押すと、画像処理切替部５４を介してモードが切り替わる。

第１照明観察モードでは、白色光等の通常光（第１照明光）を観察対象に照明して撮像することによって、自然な色合いの第１照明光画像を第１ディスプレイ１５に表示する。第２照明観察モードでは、通常光と波長帯域が異なる特殊光（第２照明光）を観察対象に照明して撮像することによって、特定の構造を強調した第２照明光画像を第１ディスプレイ１５に表示する。強調観察モードでは、発光スペクトルが異なる第１照明光と第２照明光とを切り替えて発光する。また、第２照明光に基づく画像に対して、AI（Artificial Intelligence）を介する処理の他、観察対象に関する特徴量等を得る処理等の解析処理を行う。なお、本明細書、特許請求の範囲、図面、要約書において、単に「検査画像」という言葉は、第１照明光画像、第２照明光画像、強調観察画像の少なくともいずれか１つ以上のことを指す。

観察モードの３態様において表示される画面は、第１ディスプレイ１５に表示する。

観察モードにおいて、ユーザーが検査画像の静止画を取得したい場合は、静止画像取得指示スイッチ１２ｈをユーザーが操作することにより、静止画像取得指示に関する信号が内視鏡１２、光源装置１３、及びプロセッサ装置１４に送られる。観察モードにおいて静止画像取得指示スイッチ１２ｈが押された場合、プロセッサ装置１４では、第１照明期間もしくは第２照明期間、あるいはその両方において観察対象の静止画がメモリ（図示しない）に保存される。

プロセッサ装置１４は、第１ディスプレイ１５及び第１ＵＩ１６と電気的に接続される。第１ディスプレイ１５は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。第１ＵＩ１６、さらに、後述する第２ＵＩ２０５及び第３ＵＩ３０１は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。なお、プロセッサ装置１４に外付けのメモリ（図示しない）を接続してもよい。

図２において、光源装置１３は、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備えている。光源部２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。

光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ２１は、第１照明観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。

また、光源用プロセッサ２１は、第２照明観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、第１照明観察モード時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。

また、光源用プロセッサ２１は、強調観察モード時に、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する。具体的には、第１発光パターンは、図４に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、図５に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかであることが好ましい。なお、図において、timeは時間経過の方向を表す。

第２発光パターンは、図４に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、図６に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、図７に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、図８に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つであることが好ましい。なお、第１照明光の発光スペクトルは、それぞれの第１照明期間において同じであってもよく、異なってもよい。

ここで、第１照明期間は第２照明期間よりも長くすることが好ましく、第１照明期間は２フレーム以上とすることが好ましい。例えば、図４では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）とする場合において、第１照明期間を２フレームとし、第２照明期間を１フレームとしている。第１照明光は、第１ディスプレイ１５に表示する表示用画像の生成に用いられることから、第１照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。

第１照明光は、白色光であることが好ましい。一方、後述の通り、第２照明光は、解析処理に用いることから、第２照明光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。

なお、第１照明期間と第２照明期間の切替パターンである第１、２発光パターンの詳細については、撮像用プロセッサ４４による撮像センサ４３の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ４３において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。

なお、本明細書において、光量比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光量比を有するものとする。

図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズ等で構成される光路結合部２２を介して、ライトガイド２３に入射される。ライトガイド２３は、光路結合部２２からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３１を有しており、ライトガイド２３によって伝搬した照明光は照明レンズ３１を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４１、撮像センサ４３を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４１及びズームレンズ４２を介して撮像センサ４３に入射する。これにより、撮像センサ４３に観察対象の像が結像される。ズームレンズ４２は観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。

撮像センサ４３は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図９に示すように、青色カラーフィルタＢＦは、主として青色帯域の光、具体的には波長帯域が３８０～５６０ｎｍの波長帯域の光を透過する。青色カラーフィルタＢＦの透過率は、波長４６０～４７０ｎｍ付近においてピークになる。緑色カラーフィルタはＧＦ、主として緑色帯域の光、具体的には、４６０～６２０ｎｍの波長帯域の光を透過する。赤色カラーフィルタＲＦは、主として赤色帯域の光、具体的には、５８０～７６０ｎｍの波長帯域の光を透過する。

また、撮像センサ４３は、ＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）であることが好ましい。撮像用プロセッサ４４は、撮像センサ４３を制御する。具体的には、撮像用プロセッサ４４により撮像センサ４３の信号読み出しを行うことによって、撮像センサ４３から画像信号が出力される。第１照明観察モードでは、白色光が撮像センサ４３に露光された状態で、撮像用プロセッサ４４が信号読み出しを行うことにより、撮像センサ４３のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。第２照明観察モードでは、特殊光が撮像センサ４３に露光された状態で、撮像用プロセッサ４４が信号読み出しを行うことによって、撮像センサ４３のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。

強調観察モードでは、撮像用プロセッサ４４は、図１０に示すように、第１照明期間において第１照明光を撮像センサ４３に露光させた状態で、信号読み出しを行うことにより、撮像センサ４３から第１画像信号を出力させる。第１画像信号を出力する期間を第１撮像期間とする。第１画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４４は、第２照明期間において第２照明光を撮像センサ４３に露光させた状態で、信号読み出しを行うことにより、撮像センサ４３から第２画像信号を出力させる。第２画像信号を出力する期間を第２撮像期間とする。第２画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。

図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４５は、撮像センサ４３から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４５を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４６により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１４に入力される。

プロセッサ装置１４においては、画像制御用プロセッサで構成される第１中央制御部５５により、プログラム用メモリ内のプログラムが動作することで、画像取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５３と、画像処理切替部５４と、検査画像取得部６０と、認識部１００と、計数部１１０と、修正部１１２と、送信部１１３と、第１表示制御部１２０との機能が実現される。なお、強調観察モードにおいては、画像制御用プロセッサは、後述の通り、第１画像信号及び第２画像信号に基づいて画像処理を行い、第１ディスプレイ１５に対する制御を行う。

画像取得部５０は、内視鏡１２から入力されるカラー画像を取得する。カラー画像には、撮像センサ４３のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）が含まれている。取得したカラー画像はＤＳＰ５２に送信される。ＤＳＰ５２は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。

ノイズ低減部５３は、ＤＳＰ５２でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部５４に入力される。

画像処理切替部５４は、設定されているモードによって、ノイズ低減部５３からの画像信号の送信先を、検査画像取得部６０内の、第１照明光画像生成部７０と、第２照明光画像生成部８０と、強調画像生成部９０のいずれか１つに切り替える。具体的には、第１照明観察モードにセットされている場合には、ノイズ低減部５３からの画像信号第１照明光画像生成部７０に入力する。第２照明観察モードにセットされている場合には、ノイズ低減部５３からの画像信号を第２照明光画像生成部８０に入力する。強調観察モードにセットされている場合には、ノイズ低減部５３からの画像信号を強調画像生成部９０に入力する。

以降、ノイズ低減部５３から、画像処理切替部５４を介して検査画像取得部６０に送信された画像信号について行う、第１照明光画像用画像処理、第２照明光画像用画像処理、強調画像表示制御処理について説明する。

第１照明観察モードの場合、第１照明光画像生成部７０は、入力された１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、第１照明光画像用画像処理を施す。第１照明光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。第１照明光画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、第１照明光画像として、第１表示制御部１２０に入力される。第１照明観察モードにおいて、第１照明光画像は、直接、第１表示制御部１２０に入力される（図２２参照）。第１表示制御部１２０は、第１照明光画像を第１ディスプレイ１５に表示する。

第２照明観察モードの場合、第２照明光画像生成部８０は、入力された１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、第２照明光画像用画像処理を施す。第２照明光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。第２照明光画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、第２照明光画像として、第１表示制御部１２０に入力される。第２照明観察モードにおいて、第２照明光画像は、直接、第１表示制御部１２０に入力される（図２２参照）。第１表示制御部１２０は、第１照明光画像を第１ディスプレイ１５に表示する。

強調観察モードの場合、図１１に示す強調画像生成部９０において強調画像が生成される。強調画像生成部９０は、表示用画像生成部９１、第１解析用画像処理部９２、第２解析用画像処理部９３、第３解析用画像処理部９４、第４解析用画像処理部９５及び強調処理部９６を備えている。表示用画像生成部９１は、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して、上述と同様の第１照明光画像用画像処理を施す。

第１照明光画像信号用画像処理が施されたＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号は、表示用画像として使用される。第１解析用画像処理部９２、第２解析用画像処理部９３、第３解析用画像処理部９４及び第４解析用画像処理部９５は、後述の通り、入力された特定フレーム分のＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して、第１解析用画像、第２解析用画像、第３解析用画像又は第４解析用画像を生成するための解析用画像処理を行う。強調処理部９６は、後述の通り、強調画像表示制御処理を行うことによって、強調画像を生成する。

以下、第１解析用画像処理部９２、第２解析用画像処理部９３、第３解析用画像処理部９４、第４解析用画像処理部９５における解析用画像処理の詳細について説明する。

第１解析用画像処理部９２で行われる第１解析用画像処理は、第２照明光用第１発光スペクトルＳＰで第２照明光を発光して得られたＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に対して、施す処理である。第２照明光用第１発光スペクトルＳＰで発光する第２照明光は、図１２に示すように、紫色光Ｖが他の色の青色光Ｂ、緑色光Ｇ、赤色光Ｒよりもピークの強度が大きい光であることが好ましい。第１解析用画像処理は、Ｂ２画像信号を表示用のＢチャンネルとＧチャンネルに割り当て、Ｇ２画像信号を表示用のＲチャンネルに割り当てる疑似カラー処理である。この疑似カラー処理により、表層血管など特定深さの血管又は構造が強調された第１解析処理画像が得られる。

第２解析用画像処理部９３で行われる第２解析用画像処理は、第２照明光用第２発光スペクトルＳＱで第２照明光を発光して得られたＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に対して施す処理である。第２照明光用第２発光スペクトルＳＱで発光する第２照明光は、図１３に示すように、紫色光Ｖ（ピーク波長は例えば４００～４２０ｎｍ）のみを発光する光であることが好ましい。第２解析用画像処理は、Ｂ２画像信号を表示用のＢチャンネル、Ｇチャンネル、Ｒチャンネルに割り当てて、且つ、色調及び階調バランスの調整を行う処理である。第２解析用画像処理によって、表層血管よりも浅い極表層血管などが強調された第２解析処理画像が得られる。

第３解析用画像処理部９４で行われる第３解析用画像処理は、第１照明光を発光して得られたＢ１画像信号、Ｇ１画像信号、Ｒ１画像信号に加えて、第２照明光用第３発光スペクトルＳＲで第２照明光を発光して得られたＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に対して、施す処理である。第２照明光用第３発光スペクトルＳＲは、図１４に示すように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長域の光である青緑色光ＶＢ（ピーク波長は例えば４７０～４８０ｎｍ）であることが好ましい。

第３解析用画像処理は、図１５に示すように、第３解析用信号比算出部９４ａと、酸素飽和度算出部９４ｃと、酸素飽和度画像生成部９４ｄが設けられている。第３解析用信号比算出部９４ａは、Ｂ２画像信号とＧ１画像信号との比を表す第１信号比（Ｂ２／Ｇ１）、及び、Ｒ１画像信号とＧ１画像信号との比を表す第２信号比（Ｒ１／Ｇ１）を算出する信号比算出処理を行う。酸素飽和度算出部９４ｃは、第３解析用信号比算出部９４ａと、酸素飽和度算出用テーブル９４ｂを参照して、第１信号比及び第２信号比に対応する酸素飽和度を算出する。酸素飽和度画像生成部９４ｄは、酸素飽和度に基づいて酸素飽和度画像を生成する。酸素飽和度画像が、第３解析用画像処理により得られる第３解析処理画像となる。

なお、酸素飽和度算出用テーブル９４ｂは、酸素飽和度と第１信号比及び第２信号比との相関関係が記憶されている。具体的には、酸素飽和度算出用テーブル９４ｂは、図１６に示すように、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）を軸とする２次元空間に、酸素飽和度の等値線ＥＬｘ、ＥＬ１、ＥＬ２、ＥＬ３、ＥＬｙなどを定義した２次元テーブルで構成される。例えば、等値線ＥＬｘは酸素飽和度が「０％」、等値線ＥＬ１は酸素飽和度が「３０％」、等値線ＥＬ２は酸素飽和度が「５０％」、等値線ＥＬ３は酸素飽和度が「８０％」であることを表している。なお、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。なお、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）はｌｏｇスケールであることが好ましい。

第４解析用画像処理部９５で行われる第４解析用画像処理は、第２照明光用第４発光スペクトルＳＳで第２照明光を発光して得られたＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に対して、施す処理である。第２照明光用第４発光スペクトルＳＳは、図１７に示すように、紫色光Ｖ及び青色光Ｂのピーク強度が、緑色光Ｇ及び赤色光Ｒのピーク強度よりも大きい光であることが好ましい。また、第２照明光用第１発光スペクトルＳＰと比べると、赤色光Ｒの強度が大きいことが好ましい。

第４解析用画像処理は、図１８に示すように、強調画像生成部９０に設けられた第４解析用画像処理部９５で行われる。第４解析用画像処理部９５は、第４解析用信号比算出部９５ａと、色差拡張処理部９５ｂと、色差拡張画像生成部９５ｃが設けられている。第４解析用信号比算出部９５ａは、Ｂ２画像信号とＧ２画像信号との比を表す第１信号比（Ｂ２／Ｇ２）、及び、Ｒ２画像信号とＧ２画像信号との比を表す第２信号比（Ｇ２／Ｒ２）を算出する信号比算出処理を行う。色差拡張処理部９５ｂは、第１信号比及び第２信号比に基づいて、複数の観察対象範囲の間の色差を拡張する色差拡張処理を行い、色差拡張処理後の第１信号比及び第２信号比に基づいて、色差拡張画像を生成する。色差拡張画像が、第４解析用画像処理により得られる第４析処理画像となる。

色差拡張処理については、図１９に示すように、第１信号比（Ｂ２／Ｇ２）及び第２信号比（Ｇ２／Ｒ２）からなる二次元空間で複数の観察対象範囲の間の距離を拡張することが好ましい。具体的には、二次元空間において、複数の観察対象範囲のうち第１範囲（「１」と表記）の位置を色差拡張処理前後で維持した状態で、第１範囲と第２範囲（「２」と表記）との距離、第１範囲と第３範囲（「３」と表記）との距離、及び、第１範囲と第４範囲（「４」と表記）との距離を拡張することが好ましい。色差拡張処理は、第１信号比及び第２信号比を極座標変換した上で、動径と角度を調整する方法により行うことが好ましい。なお、第１範囲は病変などが存在しない正常部で、第２範囲、第３範囲、第４範囲は、病変等が存在する可能性がる異常部であることが好ましい。

表示用画像又は強調画像は、最終的に、第１表示制御部１２０に入力される。第１表示制御部１２０は、表示用画像又は強調画像を第１ディスプレイ１５に表示する強調画像表示制御処理を行う。

強調処理部９６が行う強調画像表示制御処理について、以下説明する。第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）とする場合、図２０に示すように、第１照明光を２フレーム分、第２照明光を、第１照明光の発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、第１照明光の照明により得られる第１画像信号に対して第１照明光画像用画像処理を施すことによって、表示用画像を得る。

次に、第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、第１、第２、第３又は第４解析処理画像を得る。具体的には、強調観察モードであって、第２照明光用発光スペクトルが異なる、第２Ｂ発光パターン、及び第２Ｄ発光パターンの場合に、第２画像信号から、第１解析処理画像、第２解析処理画像、第３解析処理画像及び／又は第４解析処理画像を得る。

異なる第２画像信号に対して得られた、第１解析処理画像、第２解析処理画像、第３解析処理画像及び／又は第４解析処理画像は、表示用画像に重畳され強調画像として表示される。

上記の表示用画像、第１解析処理画像、第２解析処理画像、第３解析処理画像、第４解析処理画像及び／又は強調画像は、第１表示制御部１２０に入力される。第１表示制御部１２０は、表示用画像又は強調画像を第１ディスプレイ１５に表示する。

また、第１解析処理画像、第２解析処理画像、第３解析処理画像及び第４解析処理画像を得る過程の解析処理で、第２照明光画像に係る特徴量の算出、注目領域の設定、診断結果の対応付け等を行う。

解析処理は、ノイズ低減部５３から画像処理切替部５４を介して強調画像生成部９０に送信された画像信号を、強調画像生成部９０に搭載する機械学習の学習モデルに入力した結果として出力されたものであることが好ましい。学習とは、教師あり学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、深層学習等を含む。

また、検査画像に係る特徴量は、観察対象が表層、中層、深層の少なくともいずれか１つに位置することによって分類されることが好ましい。特徴量とは、観察対象の形状、色又はそれら形状や色等から得られる値であることが好ましい。特徴量の項目としては、例えば、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報である。特徴量はこれらの少なくともいずれか１つ、もしくは、これらの２以上を組み合わせた値であることが好ましい。なお、特徴量の項目については、この限りではなく、使用状況に応じて適宜追加されてもよい。

検査画像において、所定の範囲内の特徴量を有する部位を注目領域とする。

注目領域に対しては、診断結果が対応付けられる。診断結果は、病変部又は正常部であること、活動期又は寛解期であること、国際疾病分類、UICC TNM（Union for International Cancer Control Tumor Lymph Nodes Metastasis）分類、TNM（Tumor Lymph Nodes Metastasis）分類、Dukes分類、その他の分類、診断基準、ガイドライン、教科書及びアトラスに基づく診断名、種類、タイプ（type）、進展度及びステージの内、いずれか１つ以上を含むことが好ましい。

なお、画像とともに表示する診断結果の第１ディスプレイ１５への表示又は非表示については、第１ＵＩ１６によって適宜設定できるようにすることが好ましい。

以下、検査画像中における処置具の認識について説明する。図２１及び図２２に示すように、検査画像取得部６０で取得された第１照明光に基づく画像（第１照明光画像又は表示用画像）は、認識部１００に送信される。第１照明光に基づく画像は、内視鏡検査や内視鏡手術中に撮像された、一連の動画像である。なお、第１照明光に基づく画像を認識部１００に送信する場合、検査画像取得部６０から、第２照明光画像を第１表示制御部１２０へ直接送信してもよい。これは、処置具の認識にとってより好ましい第１照明光に基づく画像を認識処理させることで、プロセッサ装置１４への負担を軽減するためでもある。なお、第２照明光画像を認識部１００に送信してもよい。

認識部１００に送信された第１照明光に基づく画像の画像信号は、図２１及び図２２に示すように、認識モデル１００Ｍへ入力される。認識モデル１００Ｍは、認識部１００に搭載される機械学習における学習モデルである。認識モデル１００Ｍは、入力された第１照明光に基づく画像毎に、使用処置具認識結果を出力する。

具体的には、図２１に示すように、第１照明光に基づく画像Ａ１００ａ－１を認識モデル１００Ｍに入力すると、使用処置具認識結果Ａ１００ａ－２が出力される。一方、図２２に示すように、第１照明光に基づく画像Ａ１００ａ－１とは異なる第１照明光に基づく画像Ｂ１００ｂ－１を認識モデル１００Ｍに入力すると、使用処置具認識結果Ｂ１００ｂ－２が出力される。認識モデル１００Ｍによって出力された使用処置具認識結果は、計数部１１０へ送信される。上記構成により、内視鏡が取得した画像から、使用した処置具を認識することができる。

なお、処置具の認識は、鉗子口等に付属させたタグ等を用いてもよい。

使用処置具認識結果には、検査画像中における処置具の有無と、検査画像中に処置具がある（含まれる）場合は、その処置具の名称が含まれる。これ以降、検査画像中に処置具が含まれる場合において、その処置具を「使用処置具」、使用処置具を含む画像を「使用処置具画像」と呼ぶ。なお、後述する具体例では、使用処置具の名称を一般名としているが、商品名や、任意の番号や文字列にしてもよい。

計数部１１０には、認識モデル１００Ｍから出力された、処置具の有無が決定された画像と、使用処置具認識結果が送信される。計数部１１０は、図２３に示すように、手術経過時間対応付け部１１０ａ及び使用数計数部１１０ｂを含む。

手術経過時間対応付け部１１０ａは、手術経過時間を計測し、処置具の有無が決定された画像（動画像）と対応付ける。したがって、ここで、処置具の有無が決定された画像（動画像）のうち、使用処置具を含む時間と使用処置具を含まない時間が分類できる。

使用数計数部１１０ｂは、手術経過時間が対応付けられた画像のうち、使用処置具を含む画像が存在した後、使用処置具を含まない時間が一定の長さになった場合、その時間までの使用処置具を含む時間で、使用処置具を１回使用したとみなし、使用数を計数する。

使用数計数部１１０ｂにおける使用数の計数の具体例を図２４に示す。使用処置具を含む検査画像（動画像）を動画Ａ、使用処置具を含まない検査画像（動画像）を動画Ｂとする。検査開始から検査終了までの時間経過のポイントについて、時系列順に説明すると、Ｔ０（手術開始）からＴ１は、動画Ｂが撮像された時間である。Ｔ１からＴ２は、動画Ａが撮像された時間である。Ｔ２からＴ３は、動画Ｂが撮像された時間である。ここで、Ｔ２からＴ３へと時間が経過する間に、Ｔ２からは一定時間Ｔｓを超えている。ここで、Ｔ１からＴ２の動画Ａに含まれる使用処置具の使用数を１回計数する。

また、Ｔ３からＴ４は、動画Ａが撮像された時間である。Ｔ４からＴ５は、動画Ｂが撮像された時間である。Ｔ５からＴ６は、動画Ａが撮像された時間である。Ｔ６からＴ７は、動画Ｂが撮像された時間である。ここで、Ｔ４からＴ５へと時間が経過する間に、Ｔ４から一定時間Ｔｓを超えていない。一方、Ｔ６からＴ７へと時間が経過する間に、Ｔ６から一定時間Ｔｓを超えている。この場合、Ｔ３からＴ６の動画に含まれる使用処置具の使用数を１回計数する。

図２４に示す具体例において、使用処置具が使用処置具ａのみであった場合、使用処置具の使用数は２回となる。一方、使用処置具が、互いに異なる使用処置具ａと使用処置具ｂであった場合、使用処置具ａの使用数は１回、使用処置具ｂの使用数は１回、と計数される。なお、動画に処置具が複数含まれる場合においても、それぞれの処置具が出現した時間から起算し、使用処置具を含まない時間が一定の長さを超えると、使用数を１回計数する。なお、一定の長さＴｓは、ユーザーが設定でき、また、処置具の種類ごとに設定できる。ＡＩが自動的に設定してもよい。上記構成により、検査画像から処置具の使用数を計数することができる。また、一連の検査画像から極めて短時間の間、処置具が見えなくなった場合に、余計に使用数を計数することを防ぐ。

なお、後述する、検査等の終了指示がなされた場合、一定の長さＴｓを超えていなくても、検査終了時間直前の検査画像に含まれる使用処置具の使用数を計数するように設定されてもよい。検査の終了間際まで処置具が使用されている場合が存在するからである。

検査等の間は、図２５に示すような検査画面１２１が表示されている。検査画面には、例えば、検査番号１５１、現在の検査画像１２２、検査終了ボタン１２３が表示されている。検査等が終了し、ユーザーが第１ＵＩ１６を介して検査終了ボタン１２３を選択すると、計数部１１０に終了指示が送信される。終了指示が送信された時点で、手術経過時間対応付け部１１０ａによる検査画像と手術経過時間の対応付けが終了し、使用数計数部１１０ｂが最終的な使用数を算出する。なお、終了指示は、操作部１２ｂに終了ボタン（図示しない）を設け、終了ボタンが押されたことで送信されてもよい。

終了指示がなされると、計数部１１０は、検査等の間に用いられたそれぞれの使用処置具に対応する最終的な使用数を第１表示制御部１２０に送信する。第１表示制御部１２０は、使用処置具と使用数が正しいかをユーザーが確認し、承認又は修正を行うための使用処置具確認画面１３０を構成し、第１ディスプレイ１５に表示する。使用処置具確認画面１３０には、使用処置具認識結果に係る少なくとも１以上の使用処置具の名称と、使用処置具画像と、使用処置具に対応する使用数とが表示されることが好ましい。また、第１表示制御部１２０は、使用数をそれぞれ計数した使用処置具画像（動画像）の中で、使用処置具が明瞭であるフレームの画像をサムネイルとして選出し、使用処置具画像サムネイルとして第１ディスプレイ１５に表示することが好ましい。

図２６に、使用処置具確認画面１３０の具体例を示す。使用処置具確認画面１３０には、処置具使用時間１３１、使用処置具画像サムネイル１３２、使用処置具番号１３３、使用処置具の名称１３４、処置具の見本画像１３５、使用数１３６、承認ボタン１３７、修正ボタン１３８、スクロールバー１５０、検査番号１５１が表示されている。

処置具使用時間１３１は、検査画像のうち、使用数を計数した動画時間を表示している。図２６の具体例の場合、処置具使用時間１３１は、手術開始からの時間を表示しているが、実際の時間を表示してもよい。

使用処置具番号１３３は、第１表示制御部１２０が、計数部１１０から最終的な使用数が送信された際、使用処置具が何種類あるかを認識し、それぞれの使用処置具に付する。使用処置具番号１３３の付し方は、使用処置具に対応付けされた手術経過時間が早い順や、使用数が多い順等、適宜設定できる。使用処置具確認画面１３０では、使用処置具番号１３３が小さい順から、画面の上部に表示されることが好ましい。

使用処置具画像サムネイル１３２は、図２６の具体例の場合、均等な大きさで配置されているが、画像の大きさや配置の方法はこれに限られない。

図２６の具体例では、１種類の使用処置具に対して、使用処置具の名称１３４、処置具の見本画像１３５、使用数１３６、承認ボタン１３７及び修正ボタン１３８がセットになるように画面に配置されているが、配置の方法はこれに限られない。処置具の見本画像１３５は、処置具の名称と対応付けられ、外付けのメモリ（図示しない）や、後述する、処置具管理システム３００内のサーバー３２０に保存されており、これらの保存領域から読みだされることが好ましい。

使用処置具確認画面１３０に対する承認指示について説明する。使用処置具画像サムネイル１３２と、使用処置具の名称１３４と、使用数１３６とが一致しているとユーザーが判断した場合、第１ＵＩ１６を介して承認ボタン１３７が選択されることによって、プロセッサ装置１４に承認指示がなされる。承認指示がなされた場合、使用処置具の名称及び使用数が計数部１１０から送信部１１３へ送信される。

使用処置具確認画面１３０に対する修正指示について説明する。使用処置具画像サムネイル１３２と、使用処置具の名称１３４と、使用数１３６とが一致しないとユーザーが判断した場合、第１ＵＩ１６を介して修正ボタン１３８選択されることによって、プロセッサ装置１４に修正指示がなされる。修正指示がなされた場合、使用処置具の名称１３４と、使用数１３６とが、計数部１１０から修正部１１２へ送信される。

また、修正ボタン１３８が選択されると、図２７に示すように、処置具名称入力フォーム１３９及び使用数入力フォーム１４０が表示され、第１ＵＩ１６を介して正しい処置具の名称や使用数を入力することができる。正しい処置具の名称や使用数が入力され、確認ボタン１４１が選択されると、修正後の使用処置具の名称及び使用数が、修正部１１２から送信部１１３へ送信される。なお、修正後の使用処置具の名称及び使用数の情報は、学習のため、認識モデル１００Ｍに送信してもよい。

送信部１１３では、計数部１１０又は修正部１１２から送信された使用処置具の名称及び使用数が使用数計数信号として応付けられる。使用数計数信号は、レポート作成支援システム２００及び／又は第２実施形態に記載の処置具管理システム３００に送信される。上記構成により、内視鏡検査又は手術等で用いた処置具を内視鏡画像を用いて認識し、その使用数を計数することができる。

図２８に示すように、内視鏡システム１０は、レポート作成支援システム２００を備えることができる。レポート作成支援システム２００は、内視鏡システム１０と有線又は無線のネットワークによって接続することが好ましい。また、レポート作成支援システム２００は、第２ディスプレイ２０４と、第２ＵＩ２０５と、有線又は無線よって接続されている。

レポート作成支援システム２００は、図２８に示すように、第１受信部２０１及びレポート作成部２０２を備える。第１受信部２０１は、送信部１１３から送信された使用数計数信号を受信する。レポート作成部２０２は、使用数計数信号や第２ＵＩ２０５からの入力情報等を基にレポート作成画面２１０を構成し、第２ディスプレイ２０４にレポート作成画面２１０を表示する。

レポート作成画面２１０の具体例を図２９に示す。レポート作成画面２１０は、例えば、患者情報や検査の情報等を入力する基本情報入力欄２１１と、医師の所見を入力する所見入力欄２１２と、を有する。レポート作成部２０２は、第１受信部２０１が受信した使用数計数信号に含まれる使用処置具の名称及び使用数を、基本情報入力欄２１１に反映させてもよい。ここで、使用処置具の名称及び使用数に合わせた保険点数等を基本情報入力欄２１１に反映させてもよい。また、レポート作成画面２１０において、第２ＵＩ２０５を介して基本情報入力欄２１１や所見入力欄２１２を編集してもよい。

なお、内視鏡システム１０の検査画像取得部６０から、第１照明光画像、第２照明光画像及び／又は強調画像を受信し、画像表示欄２１３に示してもよい。また、レポート作成部２０２は、内視鏡システム１０において医師等が承認した診断結果を、基本情報入力欄２１１及び／又は所見入力欄２１２に自動的に挿入してもよい。上記構成により、内視鏡検査又は手術等で用いた処置具及び使用数を反映させたレポートを簡便に作成することができる。

なお、第２ディスプレイ２０４は、内視鏡システム１０の第１ディスプレイ１５がその機能を代替してもよい。その場合、レポート作成部２０２が作成した情報を、内視鏡システム１０の第１表示制御部１２０が受信し、第１ディスプレイ１５に表示する。

本実施形態における、使用処置具の認識からレポート作成までの一連の流れについて、図３０に示すフローチャートに沿って説明を行う。まず、検査画像を認識モデル１００Ｍに入力する（ステップＳ１０１）。すると、使用処置具認識結果が出力される（ステップＳ１０２）。次に、使用処置具認識結果を基に、計数部１１０で使用処置具の使用数が計数される（ステップＳ１０３）。検査等が終了し、終了指示がなされると（ステップＳ１０４）、使用数を使用処置具確認画面１３０に表示する（ステップＳ１０５）。ここで、終了指示がない場合は、ステップＳ１０１からステップＳ１０３を繰り返す。終了指示がなされ、使用処置具と使用数とについて承認すると（ステップＳ１０６）、送信部１１３からレポート作成支援システム２００に使用数計数信号が送信される（ステップＳ１０７）。承認しない場合、修正部１１２において、使用処置具及び／又は使用数が修正され（ステップＳ１０８）、送信部１１３から修正後の使用処置具と使用数に係る使用数計数信号がレポート作成支援システム２００に送信される（ステップＳ１０９）。最終的に、使用数計数信号に係る情報は、レポート作成支援システム２００でレポート作成のために使用される（ステップＳ１１０）。

［第２実施形態］
第１実施形態においては、内視鏡システム１０は、処置具管理システム３００を具備せず、使用数計数信号はレポート作成支援システム２００に送信され、レポート作成のために用いられる。一方、第２実施形態においては、内視鏡システム１０が処置具管理システム３００を具備することにより、使用数計数信号に係る情報が使用処置具の在庫管理に用いられる。第２実施形態において、内視鏡システム１０の機能は第１実施形態と共通である。

図３１に示すように、第２実施形態において、内視鏡システム１０は、処置具管理システム３００を備える。処置具管理システム３００は、内視鏡システム１０と有線又は無線のネットワークによって接続することが好ましい。また、処置具管理システム３００は、第３ＵＩ３０１と、第３ディスプレイ３０２と、有線又は無線よって接続されている。

処置具管理システム３００は、図３１に示すように、第２受信部３１０、分類部３１１、サーバー３２０、発注部３１４、第２表示制御部３１５を備える。第２実施形態において、内視鏡システム１０の送信部１１３から送信された使用数計数信号は、第２受信部３１０が受信する。

処置具管理システム３００に搭載される在庫管理用プロセッサ３０３においては、第２中央制御部３１６により、処置具管理システム３００に設けられたプログラム用メモリ内のプログラムが動作することで、第２受信部３１０と、分類部３１１と、サーバー３２０と、発注部３１４と、第２表示制御部３１５との機能が実現される。

第２受信部３１０は、使用数計数信号に含まれる使用処置具の名称及び使用数を、分類部３１１に送信する。分類部３１１は、使用処置具の名称に応じて、使用処置具をディスポーザブル型処置具又はリユーザブル型処置具に分類した上で、使用処置具の名称及び使用数をサーバー３２０に送信する。

サーバー３２０には、予め、第３ＵＩ３０１を介して使用処置具の在庫数及び／又は耐用回数が入力されている。ディスポーザブル型処置具又はリユーザブル型処置具に分類された使用処置具の名称及び使用数を受信すると、予めサーバー３２０に入力された在庫数及び／又は耐用回数が、使用数に応じて減算される。

使用処置具がディスポーザブル型処置具である場合、サーバー３２０がディスポーザブル型処置具である使用処置具の名称及び使用数を受信すると、ディスポーザブル型処置具の名称欄３２１に対応するディスポーザブル型処置具の在庫数欄３２２に入力されている在庫数が、使用数に応じて減算される。

使用処置具がディスポーザブル型処置具である場合の具体例を図３２に示す。予めサーバー３２０に入力された処置具Ａの在庫数が３０、処置具Ｂの在庫数が２５であって、使用数計数信号の内容が、処置具Ａの使用数が１回、処置具Ｂの使用数が１回である場合、処置具Ａの在庫数は２９、処置具Ｂの在庫数は２４に変更される。

使用処置具がリユーザブル型処置具である場合、サーバー３２０は、リユーザブル型処置具である使用処置具の名称及び使用数を受信すると、リユーザブル型処置具の名称欄３２３に対応するリユーザブル型処置具の耐用回数欄３２４に入力されている耐用回数を、使用数に応じて減算する。なお、耐用回数が０になった場合は、リユーザブル型処置具の在庫数欄３２５に入力されている在庫数が、１つ減算される。

使用処置具がリユーザブル型処置具である場合の具体例を図３３に示す。予めサーバー３２０に入力された処置具Ｃの耐用回数が１５、在庫数が１０、処置具Ｄの耐用回数が３、在庫数が２９であって、使用数計数信号の内容が、処置具Ｃの使用数が３回、処置具Ｄの使用数が４回である場合、処置具Ｃの耐用回数は１２に変更され、在庫数は変更されない。一方、処置具Ｄの使用数が残り耐用回数を超えているため、在庫数が１９に変更され、耐用回数は、処置具Ｃの最大耐用回数（ここでは、処置具Ｃの最大耐用回数を１０とする）から使用数の残りの分、変更され、９となる。上記構成により、内視鏡検査又は手術等で用いた処置具を内視鏡画像を用いて認識し、処置具の在庫数を自動的に管理することができる。

ディスポーザブル型処置具及び／又はリユーザブル型処置具の在庫数が特定の条件を満たす場合、発注部３１４に発注信号が送信される。さらに、後述する在庫管理画面３３０において、警告表示を行う。発注信号が受信されると、発注部３１４は、特定の条件を満たすディスポーザブル型処置具及び／又はリユーザブル型処置具の自動発注を行う。なお、特定の条件はユーザーが設定できる。また、自動発注を行わない設定もできる。上記構成により、内視鏡検査又は手術等で用いた処置具を内視鏡画像を用いて認識し、処置具の在庫数を自動的に維持することができる。

サーバー３２０においてディスポーザブル型処置具及び／又はリユーザブル型処置具の在庫数及び／又は耐用回数が変更されると、第２表示制御部３１５は、その変更を反映させたディスポーザブル型処置具及び／又はリユーザブル型処置具の在庫数及び／又は耐用回数の一覧を、在庫管理画面３３０として構成する。構成した在庫管理画面３３０は、第３ディスプレイ３０２に表示する。

図３４に、在庫管理画面３３０の具体例を示す。在庫管理画面３３０には、処置具の名称欄３３１に対応する処置具の耐用回数欄３３２及び処置具の在庫数欄３３３が一覧表示される。在庫管理画面３３０はスクロールバー１５０によってスクロールできる。

ディスポーザブル型処置具及び／又はリユーザブル型処置具の在庫数が特定の条件を満たす場合、当該のディスポーザブル型処置具及び／又はリユーザブル型処置具に対応する在庫数を赤文字で示すこと等によって、警告表示を行うことが好ましい。なお、警告表示の色は赤に限られない。また、点滅表示やアイコンによる警告表示を行ってもよい。図３５に示すように、在庫管理画面３３０に、警告表示欄３４０を示してもよい。

また、ディスポーザブル型処置具及び／又はリユーザブル型処置具の在庫数が特定の条件を満たす場合、自動発注を行ったことを在庫管理画面３３０に示してもよい。図３５に示す具体例では、ポップアップ表示３５０によって自動発注を行ったことを表示しているが、表示方法はこれに限らない。また、発注停止ボタン３５１によって発注を停止することもできる。

本実施形態における、処置具管理システム３００の機能の一連の流れについて、図３６に示すフローチャートに沿って説明を行う。まず、内視鏡システム１０の送信部１１３から、使用処置具と使用数に係る使用数計数信号が処置具管理システム３００に送信される（ステップＳ２０１）。次に、分類部３１１が、使用処置具をディスポーザブル型処置具かリユーザブル型処置具に分類する（ステップＳ２０２）。次に、使用処置具がディスポーザブル型処置具である場合、使用数を、サーバー３２０に予め入力されたディスポーザブル型処置具の在庫数に反映させる。使用処置具がリユーザブル型処置具であった場合、使用数を、サーバー３２０に予め入力されたリユーザブル型処置具の耐用回数及び在庫数に反映させる（ステップＳ２０３）。次に、在庫数が特定の条件を満たさない場合は、第３ディスプレイ３０２に、在庫管理画面３３０を表示する（ステップＳ２０４、Ｓ２０５）。在庫数が特定の条件を満たす場合は、当該使用処置具の自動発注を行い（ステップＳ２０６）、在庫管理画面３３０に警告表示を行う（ステップＳ２０７）。

なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医療用画像処理装置を適用しているが、カプセル内視鏡等、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MRI画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像等を取得する各種医用画像装置に対しても、本発明の医療用画像処理装置の適用は可能である。

上記実施形態において、光源用プロセッサ２１、撮像用プロセッサ４４、画像取得部５０、ＤＳＰ５２、ノイズ低減部５３、画像処理切替部５４、解析処理部５５ｅ、第１中央制御部５５、在庫管理用プロセッサ３０３、第２中央制御部３１６といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種又は異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 観察モード切替スイッチ
１２ｈ 静止画像取得指示スイッチ
１２ｉ ズーム操作部
１３ 光源装置
１４ プロセッサ装置
１５ 第１ディスプレイ
１６ 第１ＵＩ
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源用プロセッサ
２２ 光路結合部
２３ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３１ 照明レンズ
４１ 対物レンズ
４２ ズームレンズ
４３ 撮像センサ
４４ 撮像用プロセッサ
４５ ＣＤＳ／ＡＧＣ回路
４６ Ａ／Ｄコンバータ
５０ 画像取得部
５２ ＤＳＰ
５３ ノイズ低減部
５４ 画像処理切替部
５５ 第１中央制御部
６０ 検査画像取得部
７０ 第１照明光画像生成部
８０ 第２照明光画像生成部
９０ 強調画像生成部
９１ 表示用画像生成部
９２ 第１解析用画像処理部
９３ 第２解析用画像処理部
９４ 第３解析用画像処理部
９４ａ 第３解析用信号比算出部
９４ｂ 酸素飽和度算出用テーブル
９４ｃ 酸素飽和度算出部
９４ｄ 酸素飽和度画像生成部
９５ 第４解析用画像処理部
９５ａ 第４解析用信号比算出部
９５ｂ 色差拡張処理部
９５ｃ 色差拡張画像生成部
９６ 強調処理部
１００ 認識部
１００Ｍ 認識モデル
１００ａ－１ 第１照明光に基づく画像Ａ
１００ａ－２ 使用処置具認識結果Ａ
１００ｂ－１ 第１照明光に基づく画像Ｂ
１００ｂ－２ 使用処置具認識結果Ｂ
１１０ 計数部
１１０ａ 手術経過時間対応付け部
１１０ｂ 使用数計数部
１１２ 修正部
１１３ 送信部
１２０ 第１表示制御部
１２１ 検査画面
１２２ 現在の検査画像
１２３ 検査終了ボタン
１３０ 使用処置具確認画面
１３１ 処置具使用時間
１３２ 使用処置具画像サムネイル
１３３ 使用処置具番号
１３４ 使用処置具の名称
１３５ 処置具の見本画像
１３６ 使用数
１３７ 承認ボタン
１３８ 修正ボタン
１３９ 処置具名称入力フォーム
１４０ 使用数入力フォーム
１４１ 確認ボタン
１５０ スクロールバー
１５１ 検査番号
２００ レポート作成支援システム
２０１ 第１受信部
２０２ レポート作成部
２０４ 第２ディスプレイ
２０５ 第２ＵＩ
２１０ レポート作成画面
２１１ 基本情報入力欄
２１２ 所見入力欄
２１３ 画像表示欄
３００ 処置具管理システム
３０１ 第３ＵＩ
３０２ 第３ディスプレイ
３０３ 在庫管理用プロセッサ
３１０ 第２受信部
３１１ 分類部
３１４ 発注部
３１５ 第２表示制御部
３１６ 第２中央制御部
３２０ サーバー
３２１ ディスポーザブル型処置具の名称欄
３２２ ディスポーザブル型処置具の在庫数欄
３２３ リユーザブル型処置具の名称欄
３２４ リユーザブル型処置具の耐用回数欄
３２５ リユーザブル型処置具の在庫数欄
３３０ 在庫管理画面
３３１ 処置具の名称欄
３３２ 処置具の耐用回数欄
３３３ 処置具の在庫数欄
３４０ 警告表示欄
３５０ ポップアップ表示
３５１ 発注停止ボタン

Claims (13)

1. 画像制御用プロセッサを備え、
   前記画像制御用プロセッサは、
   時系列の画像である検査画像を取得し、
   前記検査画像の認識により、使用処置具認識結果を出力し、
   前記使用処置具認識結果を参照して、使用処置具の検出及び検出後における一定の使用処置具非検出期間がある場合に、前記使用処置具の使用数を計数し、
   終了指示がなされた場合、前記使用処置具と、前記使用処置具に係る前記使用数とを承認するかを選択するための使用処置具確認画面を第１ディスプレイに表示する内視鏡システム。
2. 前記使用処置具確認画面において、前記使用処置具認識結果に係る少なくとも１以上の前記使用処置具の名称と、使用処置具画像と、前記使用処置具に係る前記使用数とを表示する請求項１に記載の内視鏡システム。
3. 前記使用処置具確認画面において、承認指示がなされた場合、前記使用処置具の前記名称と前記使用処置具に係る前記使用数とを対応付けた使用数計数信号を送信する請求項２に記載の内視鏡システム。
4. 前記使用処置具確認画面において、前記使用処置具の前記名称及び／又は前記使用処置具に係る前記使用数に係る修正指示がなされた場合、修正後の前記使用処置具の前記名称と前記使用処置具に係る前記使用数とを対応付けた前記使用数計数信号を送信する請求項３に記載の内視鏡システム。
5. 前記使用数計数信号をレポート作成支援システムに送信し、レポート作成画面に反映させ、第２ディスプレイに表示する請求項３又は４に記載の内視鏡システム。
6. 光源用プロセッサを備え、
   前記光源用プロセッサは、
   互いに発光スペクトルが異なる第１照明光と第２照明光とを発する光源を制御し、
   前記第１照明光を発光する第１照明期間と前記第２照明光を発光する第２照明期間とを自動的に切り替える場合において、第１発光パターンは、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において同じである第１Ａ発光パターンと、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つであり、
   前記検査画像の前記認識は、前記第１照明光に基づく画像において行う請求項１ないし５のいずれか１項に記載の内視鏡システム。
7. 第２発光パターンは、
   前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ａパターン、
   前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｂパターン、
   前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ｃパターン、及び、
   前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つである請求項６に記載の内視鏡システム。
8. 時系列の画像である検査画像を取得し、
   前記検査画像の認識により、使用処置具認識結果を出力し、
   前記使用処置具認識結果を参照して、使用処置具の検出及び検出後における一定の使用処置具非検出期間がある場合に、前記使用処置具に係る使用数を計数し、
   前記使用処置具と、前記使用処置具に係る前記使用数とを承認するかを選択するための使用処置具確認画面として第１ディスプレイに表示する内視鏡システムの作動方法。
9. 少なくとも１以上の、有線又は無線によって接続された請求項３又は４に記載の内視鏡システムと、
   サーバーと、
   在庫管理用プロセッサと、を有し、
   前記在庫管理用プロセッサは、
   前記内視鏡システムから前記使用数計数信号を受信し、
   前記使用数計数信号に基づき、前記サーバーに予め入力された処置具の在庫数を変更する処置具管理システム。
10. 処置具に係る前記在庫数を、在庫管理画面として第３ディスプレイに表示する請求項９に記載の処置具管理システム。
11. 前記在庫数が特定の条件を満たす場合、前記在庫管理画面において警告表示する請求項１０に記載の処置具管理システム。
12. 前記特定の条件はユーザーが設定する請求項１１に記載の処置具管理システム。
13. 前記在庫数が前記特定の条件を満たす場合、前記処置具の自動発注を行い、
    前記自動発注を行ったことを前記在庫管理画面に表示する請求項１１又は１２に記載の処置具管理システム。

Images