WO2022163514A1

WO2022163514A1 - 医療画像処理装置、方法及びプログラム

Info

Publication number: WO2022163514A1
Application number: PCT/JP2022/002133
Authority: WO
Inventors: 駿平加門
Original assignee: 富士フイルム株式会社
Priority date: 2021-01-27
Filing date: 2022-01-21
Publication date: 2022-08-04
Also published as: EP4285810A1; JPWO2022163514A1; CN116744834A; EP4285810A4; US20230360221A1

Abstract

時系列の医療画像の検査状態に関する時間計測を自動的に行うことができる医療画像処理装置、方法及びプログラムを提供する。プロセッサを備えた医療画像処理装置において、プロセッサは、時系列の医療画像を順次取得する医療画像取得処理と、順次取得した医療画像に基づいて検査状態を認識する検査状態認識処理と、検査状態に関する時間計測を行う時間計測処理と、検査状態の認識結果に応じて、時間計測の挙動を制御する時間計測制御処理と、時間計測の状態に関する情報を、報知部によりユーザに報知させる報知処理と、を行う。

Description

医療画像処理装置、方法及びプログラム

　本発明は医療画像処理装置、方法及びプログラムに係り、特に医療画像の観察中に有用な情報をユ－ザに報知する技術に関する。

　従来、内視鏡検査において使用している照射光の種別、患者の体内で散布される薬剤の散布状態、医師により実施される処置の実施状況、内視鏡により撮像された画像の撮像状態等の推移を、検査データ保存部に記録する内視鏡検査データ記録システムが提案されている（特許文献１）。

　また、特許文献１に記載の内視鏡検査データ記録システムは、内視鏡検査における、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、及び各処置の実施回数等を算出し、算出したデータを検査データ保存部に記録し、更に内視鏡検査における指定された２点間の、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、及び各処置の実施回数等を算出し、算出したデータを検査データ保存部に記録している。

　尚、観察光の使用開始時刻と使用終了時刻の２地点は、観察光ボタンにより指定し、薬剤を使用した観察開始時刻と観察終了時刻の２地点は、薬剤ボタンにより指定し、選択された処置の実施開始時刻と実施終了時刻の２地点は、処置ボタンにより指定している。

　また、特許文献１に記載の内視鏡検査データ記録システムは、内視鏡検査中において、それぞれ取得された照射光種別データ、薬剤散布データ、及処置実施データの推移を表示部の画面に表示させる表示制御部を備えている。

特開２０１７－１２６６６号公報

　特許文献１に記載の内視鏡検査データ記録システムによれば、内視鏡検査の各状態の推移を時系列に自動的に記録し、これにより内視鏡検査を定量的及び客観的に分析することが可能である。

　しかしながら、各照射光の使用時間、各薬剤を使用しての観察時間、及び処置の実施時間を計測するために、観察光の使用開始時刻と使用終了時刻の２地点、薬剤を使用した観察開始時刻と観察終了時刻の２地点、及び処置の実施開始時刻と実施終了時刻の２地点を、それぞれ観察光ボタン、薬剤ボタン、及び処置ボタンを操作して指定する必要があり、内視鏡検査中に医師に対してボタン操作の負荷が発生する。

　複雑な手技が要求される内視鏡検査において、このようなボタン操作は極力減らすことが好ましい。

　本発明はこのような事情に鑑みてなされたもので、時系列の医療画像の検査状態に関する時間計測を自動的に行うことができる医療画像処理装置、方法及びプログラムを提供することを目的とする。

　上記目的を達成するために第１態様に係る発明は、プロセッサを備えた医療画像処理装置において、プロセッサは、時系列の医療画像を順次取得する医療画像取得処理と、順次取得した医療画像に基づいて検査状態を認識する検査状態認識処理と、検査状態に関する時間計測を行う時間計測処理と、検査状態の認識結果に応じて、時間計測の挙動を制御する時間計測制御処理と、時間計測の状態に関する情報を、報知部によりユーザに報知させる報知処理と、を行う。

　本発明の第１態様によれば、順次取得した医療画像に基づいて検査状態を自動的に認識し、検査状態の認識結果に応じて検査状態に関する時間計測の挙動を制御するため、時系列の医療画像による検査中に、時間計測のためのユーザの負荷を軽減することができる。また、時間計測の状態に関する情報を、報知部によりユーザに報知するようにしたため、例えば、検査状態の自動認識をミスした場合、あるいはユーザが意図したタイミングと異なるタイミングで検査状態を自動認識した場合、そのことをユーザに気づかせることができる。

　本発明の第２態様に係る医療画像処理装置において、報知処理は、時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、時間計測の状態に関する情報を報知部によりユーザに報知させることが好ましい。一定期間を超えて時間計測の状態に関する情報を報知すると、検査の邪魔になったり、時間計測の状態に関する情報（例えば、「計測開始」を示す情報）が、現在の検査状態（例えば、「計測中」）からかけ離れる場合があるからである。

　本発明の第３態様に係る医療画像処理装置において、報知処理は、報知部として機能する表示部の第１表示領域に時間計測処理による計測時間に関する情報をリアルタイムに表示させ、かつ表示部の第１表示領域とは異なる第２表示領域に時間計測の状態に関する情報を表示させ、又は報知部として機能するスピーカから時間計測の状態に関する情報を音情報として報知させることが好ましい。計測時間に関する情報は、計測時間そのものでもよいし、計測時間に応じた長さを有する棒グラフ等でもよい。

　本発明の第４態様に係る医療画像処理装置において、時間計測の状態に関する情報は、時間計測の開始、終了、一時停止、及び再開のうちの１以上の情報を含み、時間計測制御処理は、時間計測処理における時間計測の開始、終了、一時停止、又は再開のうちの１以上の制御を行うことが好ましい。

　本発明の第５態様に係る医療画像処理装置において、プロセッサは、ユーザ操作部から時間計測の状態に関する情報を受け付ける受付処理を行い、時間計測制御処理は、ユーザ操作部から時間計測の状態に関する情報を受け付けると、受け付けた時間計測の状態に関する情報を、検査状態認識処理における認識結果に代えて優先的に使用し、時間計測の挙動を制御することが好ましい。これにより、検査状態の自動認識をミスした場合等において、ユーザが手動で時間計測の状態に関する情報を指示することで、正しい時間計測を行うことが可能になる。

　本発明の第６態様に係る医療画像処理装置において、プロセッサは、時間計測処理による時間計測結果を保存部に保存させる処理を行うことが好ましい。これにより、検査等に要した時間を事後的に確認することができる。尚、検査に要した時間は、スクリーニングの質の指標になる。

　本発明の第７態様に係る医療画像処理装置において、プロセッサは、時間計測処理による時間計測結果を保存部に保存させる処理を行い、ユーザ操作部におけるユーザ操作により時間計測制御処理の挙動が制御された場合には、制御された挙動状況に応じて保存部への時間計測結果の保存方法を変更することが好ましい。これにより、時間計測結果が、検査状態の自動認識のみにより計測されたものか、検査状態の自動認識にミスがあり、ユーザ操作により修正が加えられたものかを識別することができる。

　本発明の第８態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて検査状態が処置中であるか否かを認識することが好ましい。これにより、処置時間の計測が可能である。

　本発明の第９態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて処置具を検出する処置具検出処理を行い、処置具の検出結果に応じて処置中であるか否かを認識することが好ましい。

　本発明の第１０態様に係る医療画像処理装置において、医療画像は内視鏡画像である。

　本発明の第１１態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて内視鏡スコープの挿入中、抜去中または体外であることを認識することが好ましい。

　本発明の第１２態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて管腔内のランドマークを検出するランドマーク検出処理を行い、ランドマークの検出結果に応じて検査状態を認識することが好ましい。

　本発明の第１３態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて内視鏡スコープの動きを検出する動き検出処理を行い、内視鏡スコープの動きの検出結果に応じて検査状態を認識することが好ましい。内視鏡スコープの動き状態を認識すれば、進んでいるときは挿入中、戻っているときは抜去中と判定可能となる。そこで、挿入中から抜去中に遷移するタイミングを抜去開始と判定することができる。

　第１４態様に係る発明は、時系列の医療画像を順次取得するステップと、順次取得した医療画像に基づいて検査状態に関する情報を認識する検査状態認識ステップと、検査状態に関する時間計測を行う時間計測ステップと、検査状態の認識結果に応じて、時間計測の挙動を制御する時間計測制御ステップと、時間計測の状態に関する情報を、報知部によりユーザに報知させる報知ステップと、を含み、プロセッサが各ステップの処理を実行する医療画像処理方法である。

　本発明の第１５態様に係る医療画像処理方法において、報知ステップは、時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、時間計測の状態に関する情報を報知部によりユーザに報知させることが好ましい。

　本発明の第１６態様に係る医療画像処理方法において、報知ステップは、報知部として機能する表示部の第１表示領域に時間計測ステップによる計測時間に関する情報をリアルタイムに表示させ、かつ表示部の第１表示領域とは異なる第２表示領域に時間計測の状態に関する情報を表示させ、又は報知部として機能するスピーカから時間計測の状態に関する情報を音情報として報知させることが好ましい。

　本発明の第１７態様に係る医療画像処理方法において、ユーザ操作部から時間計測の状態に関する情報を受け付けるステップを含み、時間計測制御ステップは、ユーザ操作部から時間計測の状態に関する情報を受け付けると、受け付けた時間計測の状態に関する情報を、検査状態認識ステップにおける認識結果に代えて優先的に使用し、時間計測の挙動を制御することが好ましい。

　第１８態様に係る発明は、本発明の第１４態様から第１７態様のいずれかの医療画像処理方法における各ステップの処理を、プロセッサに実行させる医療画像処理プログラムである。

　本発明によれば、時系列の医療画像の検査状態に関する時間計測を自動的に行うことができ、検査中のユーザの負荷を軽減することができる。

図１は、本発明に係る医療画像処理装置を含む内視鏡システムの全体構成を示す概略図である。図２は、医療画像処理装置の実施形態を示すブロック図である。図３は、表示器による第１報知例を示す図である。図４は、表示器による第２報知例を示す図である。図５は、計測結果を保存する際に表示器に表示される画面の一例を示す図である。図６は、本発明に係る医療画像処理方法の一実施形態を示すフローチャートである。

　以下、添付図面に従って本発明に係る医療画像処理装置、方法及びプログラムの好ましい実施形態について説明する。

　［医療画像処理装置を含む内視鏡システムの全体構成］
　図１は、本発明に係る医療画像処理装置を含む内視鏡システムの全体構成を示す概略図である。

　図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示器１６と、を備える。

　内視鏡スコープ１０は、被写体像を含む時系列の医療画像を撮影するものであり、例えば、下部消化管用スコープである。この内視鏡スコープ１０は、被検体（本例では、管腔臓器である大腸）内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者である医師が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。

　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。

　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。

　手元操作部２１には、医師（ユーザ）によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。

　ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。

　コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。

　コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。

　光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。

　内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａからなる画像（「動画３８」ともいう）を生成する。更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像を撮影指示のタイミングに応じた静止画３９とする。

　動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医療画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。

　尚、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red,Green,Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。

　また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した医療画像である。

　表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する表示部として機能する。医師（ユーザ）は、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等の処置を行う。

　［医療画像処理装置］
　医療画像処理装置１４は、時系列の医療画像に基づいて検査状態を認識し、検査状態の認識結果に応じて検査状態に関する時間計測の挙動を制御し、時間計測の状態に関する情報をユーザに報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等の他に、内視鏡スコープ１０の手元操作部２１に設けられたボタン類を含み、表示器（表示部）１６はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。

　＜医療画像処理装置１４の実施形態＞
　図２は、医療画像処理装置の実施形態を示すブロック図である。

　図２に示す医療画像処理装置１４は、医療画像取得部４０、ＣＰＵ（Central Processing Unit）４１、検査状態認識処理部４２、時間計測処理部４３、時間計測制御処理部４４、報知処理部４５、表示制御部４６、音情報再生処理部４７、及びメモリ４８から構成され、各部の処理は、１又は複数のプロセッサにより実現される。

　ＣＰＵ４１は、メモリ４８に記憶されたオペレーションシステム、本発明に係る医療画像処理プログラムを含む各種のプログラムに基づいて動作し、医療画像取得部４０、検査状態認識処理部４２、時間計測処理部４３、時間計測制御処理部４４、報知処理部４５、表示制御部４６、及び音情報再生処理部４７を統括制御し、また、これらの各部の一部として機能する。

　医療画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａを、医療画像として順次取得する医療画像取得処理部である。本例では、内視鏡スコープ１０により撮影される動画３８を取得する。また、内視鏡スコープ１０にて動画３８の撮影途中に既述の静止画３９の撮像が行われた場合、医療画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。

　検査状態認識処理部４２は、医療画像取得部４０により取得された動画３８に基づいて検査状態を認識する部分である。

　検査状態認識処理部４２は、検査状態の認識の一例として、動画３８に基づいて管腔内のランドマークを検出するランドマーク検出処理を行う。

　本例は、内視鏡スコープ１０を大腸内に挿入し、大腸を内視鏡検査する場合の実施形態である。大腸の内視鏡検査において、検査に要する時間である抜去時間(盲腸まで挿入後、そこから直腸に戻るまでに要する時間)は、スクリーニングの質の指標になるため、抜去時間を計測し、その計測結果を記録する。

　検査状態認識処理部４２は、大腸を内視鏡検査する場合、管腔内のランドマークとして、大腸と小腸との境界部分の大腸回盲部のバウヒン弁を検出する。このランドマーク（バウヒン弁）の検出結果に応じて、内視鏡スコープ１０の挿入部２０の先端が、大腸を内視鏡検査する場合の検査開始位置に到達したか否か（検査状態）を認識する。医療画像に基づく管腔内のランドマークの検出は、例えば、公知のＡＩ（Artificial Intelligence）技術により行うことができる。

　また、検査状態認識処理部４２は、検査状態の認識の他の例として、動画３８に基づいて内視鏡スコープ１０の挿入中、抜去中または体外であることを認識する。

　内視鏡スコープ１０を抜去しながらスクリーニングする場合、内視鏡スコープ１０が挿入中から抜去中に切り替わるタイミングを抜去開始（抜去時間の計測開始）のタイミングとすることができる。また、抜去中の内視鏡スコープが体外に出た場合、抜去時間の計測終了とすることができる。

　内視鏡スコープ１０が挿入中か抜去中かは、例えば、動画３８を構成するフレーム画像３８ａ内の一部の領域の画像の大きさや位置のフレーム間での変化により、内視鏡スコープ１０の先端が進んでいると判定される場合は挿入中と認識し、戻っていると判定される場合は抜去中と認識することができる。

　更に内視鏡スコープ１０が挿入部２０の先端が、管腔内に存在するか体外に存在するかは、画像の特徴量から認識し、あるいはフレーム画像３８ａの大幅な被写体の変化、色味の変化等により認識することができる。そして、管腔内から体外と認識結果が遷移した場合、検査状態認識処理部４２は、抜去終了（検査終了）と判定することができる。

　更にまた、検査状態認識処理部４２は、検査状態の認識の更に他の例として、動画３８に基づいて検査状態が処置中であるか否かを認識する。例えば、検査状態認識処理部４２は、動画３８に基づいて処置具を検出する処置具検出処理を行い、処置具の検出結果に応じて処置中であるか否かを認識する。即ち、動画３８から処置具が検出された場合、その検出期間中を処置中と認識することができる。

　また、動画３８から最初に処置具が検出されたタイミングを処置開始と認識し、処置具が検出された後、動画３８から処置具が検出されなくなったタイミングを処置終了と認識することができる。

　尚、処置の手順から処置終了を認識してもよい。例えば、処置具が生検鉗子であれば、生検鉗子が閉じたタイミング、ＥＭＲ（Endoscopic mucosal resection）、ＥＳＤ（Endoscopic Submucosal Dissection）であれば、クリップ処置が完了したタイミングを処置終了と認識してもよい。

　時間計測処理部４３は、検査状態に関する時間計測を行う部分であり、検査中に特定の時間を計測する。

　時間計測処理部４３により計測される特定の時間としては、下記の２通りが挙げられる。

　１．大腸内視鏡検査の抜去時間
　盲腸到達から検査終了までの抜去時間が短いと病変見落としが多くなることが報告されているため、抜去時間はスクリーニングの質の指標となっている。

　２．治療などの処置時間
　処置に要する時間は患者負担や鎮静剤投与の参考となる。

　時間計測制御処理部４４は、検査状態認識処理部４２により認識された検査状態の認識結果に応じて、時間計測処理部４３による時間計測の挙動を制御する。時間計測処理部４３による時間計測の状態に関する情報は、時間計測の開始、終了、一時停止、及び再開のうちの１以上の情報を含み、時間計測制御処理部４４は、時間計測処理部４３による時間計測の開始、終了等を制御する。

　時間計測制御処理部４４は、時間計測処理部４３が大腸内視鏡検査の抜去時間を計測する場合、検査状態認識処理部４２により所定のランドマーク（バウヒン弁）が検出され、その後、バウヒン弁が検出されなくなったタイミングを、抜去開始のタイミングとして時間計測処理部４３による時間計測を開始させ、検査状態認識処理部４２により体外が最初に認識されたタイミングを、抜去終了のタイミングとして時間計測処理部４３による時間計測を終了させることができる。

　また、時間計測制御処理部４４は、検査状態認識処理部４２により挿入中が認識され、その後、抜去中が認識された場合、挿入中から抜去中の切り替わるタイミングを、抜去開始のタイミングとして時間計測処理部４３による時間計測を開始させるようにしてもよい。

　時間計測制御処理部４４は、時間計測処理部４３が治療などの処置時間を計測する場合、検査状態認識処理部４２により処置具が検出され、処置中であることが認識されると、最初に処置具が検出されたタイミングを処置開始のタイミングとして時間計測処理部４３による時間計測を開始させ、処置中であることが認識された後、検査状態認識処理部４２により処置具が最初に検出されなくなったタイミングを、処置終了のタイミングとして時間計測処理部４３による時間計測を終了させる。

　また、ＣＰＵ４１は、ユーザ操作部である操作部１５から時間計測の状態に関する情報を受け付ける受付処理を行い、時間計測制御処理部４４は、操作部１５から時間計測の状態に関する情報を受け付けると、受け付けた時間計測の状態に関する情報を、検査状態認識処理部４２における認識結果に代えて優先的に使用し、時間計測の挙動を制御することが好ましい。

　検査状態認識処理部４２が時間計測の状態に関する情報を認識する場合、認識ミスが発生すると、時間計測の挙動を正しく制御することができない（時間計測を正しく行うことができない）ため、ユーザ操作により時間計測の状態に関する情報を受け付けた場合には、時間計測制御処理部４４は、検査状態認識処理部４２の認識結果に優先して、ユーザ操作により時間計測の状態に関する情報を使用する。

　報知処理部４５は、時間計測処理部４３における時間計測の状態に関する情報を、報知部として機能する表示器１６及びスピーカ１７のうちの少なくとも一方によりユーザに報知させる部分である。尚、報知処理部４５により報知される時間計測の状態に関する情報の報知の詳細については後述する。

　表示制御部４６は、医療画像取得部４０が取得した医療画像（動画３８）に基づいて表示用の画像データを生成して表示器１６に出力する画像表示制御部４６Ａと、報知処理部４５により報知される情報に基づいて時間計測の状態に関する情報を示す表示用の画像データを生成して表示器１６に出力する情報表示制御部４６Ｂとを有する。

　表示制御部４６は、画像表示制御部４６Ａから出力される動画３８の画像データと、情報表示制御部４６Ｂから出力される、時間計測の状態に関する情報を示す画像データとを合成し、合成した合成画像データを表示器１６に出力することで、表示器１６に医療画像とともに、時間計測の状態に関する情報を表示（報知）させる。

　音情報再生処理部４７は、報知処理部４５から入力する情報に基づいて時間計測の状態に関する情報を示す音情報をスピーカ１７により再生（報知）させる。尚、音情報再生処理部４７は、時間計測の状態に関する情報の内容に応じて複数の音情報を記憶しておき、報知処理部４５から入力する情報に対応する音情報を選択してスピーカ１７に出力することができる。

　メモリ４８は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、ＲＡＭ(Random Access Memory)、ハードディスク装置等を含む。フラッシュメモリ、ＲＯＭ及びハードディスク装置は、オペレーションシステム、本発明に係る医療画像処理プログラム等の各種のプログラム、診断レポート等に紐づけて時間計測処理部４３により計測された計測時間（抜去時間、処置時間）、及び撮影された静止画３９等を記憶する不揮発性メモリである。また、ＲＡＭは、不揮発性メモリに記憶された各種のプログラムを一時的に記憶される領域及びＣＰＵ４１の作業領域として機能する、データの高速読み書きが可能な揮発性メモリである。

　［時間計測の状態に関する情報の報知］
　次に、報知処理部４５により表示器１６等を介してユーザに報知される時間計測の状態に関する情報について説明する。

　＜第１報知例＞
　図３は、表示器による第１報知例を示す図である。

　図３に示す表示器１６の画面５０には、動画の医療画像５２と、表示器１６の第１表示領域に計測時間（例えば、現在の抜去時間）を示す“03:40”の文字情報５４とが表示されている。本例の第１表示領域は、医療画像５２の表示領域に隣接する、図３上で、画面５０の左上の領域である。

　非計測状態(計測開始前)にあるときは、報知処理部４５は、“00:00”といった文字情報５４を表示させてもよいし、文字情報５４が表示される全体を、非表示またはグレーアウトしてもよい。これによりユーザは、検査中に計測状態の把握が可能となる。

　また、報知処理部４５は、時間計測処理部４３による計測時間をリアルタイムに表示させる。ユーザは、リアルタイムに変化する計測時間の文字情報５４から、検査中であること、及び検査開始から現在までの検査時間を把握することができる。

　更に、文字情報５４が、“00:00”から変化すること、あるいは非表示またはグレーアウトから検査時間が表示されることで、ユーザは、装置が自動的に検査開始を認識し、時間計測を開始したことを把握することができる。

　また、文字情報５４の変化が停止すること、あるいは文字情報５４が非表示またはグレーアウトすることで、ユーザは、装置が自動的に検査終了を認識し、時間計測を終了したことを把握することができる。

　＜第２報知例＞
　図４は、表示器による第２報知例を示す図であり、図４（Ａ）は、計測開始時の表示器の画面を示し、図４（Ｂ）は計測中の表示器の画面を示している。

　図４に示す表示器１６の画面５０には、第１報知例と同様に、動画の医療画像５２と、計測時間の文字情報５４とが表示されている。

　報知処理部４５は、更に時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、時間計測の状態に関する情報を報知部である表示器１６によりユーザに報知させる。

　図４（Ａ）に示す第２報知例では、報知処理部４５は、検査状態認識処理部４２により非計測から計測開始などのように計測状態の遷移が認識されると、計測開始時点から一定期間のみ、時間計測の状態に関する情報として、「計測を開始します」という文字情報５６を表示器１６に表示させる。

　尚、報知処理部４５は、計測時間の文字情報５４が表示される第１表示領域とは異なる第２表示領域（本例では、医療画像５２の表示領域の下側に隣接する表示領域）に文字情報５６を表示させる。

　また、「計測を開始します」という文字情報５６が表示される一定期間は、例えば、数秒程度であり、ユーザが視認できる期間が好ましい。尚、一定期間は、ユーザが設定できるようにしてもよい。

　ユーザは検査中に医療画像５２を仔細に観察する必要があるため、医療画像５２以外の領域には注意を払わない傾向がある。

　したがって、文字情報５６は、ユーザが気付きやすいように計測時間を報知する文字情報５４よりも大きく表示することが好ましい。一方で、文字情報５６を目立つ態様で報知すると、検査の邪魔になりかねないため、計測開始時点から一定期間経過すると、図４（Ｂ）に示すように文字情報５６の報知を終了させる。

　これにより、検査への悪影響を抑えながら、時間計測の状態に関する情報をより目立つように報知することが可能になる。より目立つ表示方法としては、図４に示したように文字情報５６で状態遷移を知らせてもよいし、記号などを用いてもよい。また、計測中の時間表示を併用してもよいし、併用しなくてもよい。

　また、報知処理部４５は、時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、時間計測の状態に関する情報を音情報として、音情報再生処理部４７及びスピーカ１７を介してユーザに報知することができる。例えば、「計測を開始します」という文字情報５６に代えて、または「計測を開始します」という文字情報５６とともに、「計測を開始します」という音声を発音させることができる。

　尚、音情報は、「計測を開始します」等を表す音声に限らず、時間計測の状態が変化したことを報知するビープ音等でもよい。

　時間計測処理部４３により計測された大腸の内視鏡検査の抜去時間または処置時間は、検査記録として残す必要があるため、ＣＰＵ４１は、抜去時間または処置時間を診断レポート等に紐づけて保存部（メモリ４８）保存する。

　この際に、ＣＰＵ４１は、検査状態認識処理部４２による自動認識の認識結果によってのみ計測された時間計測結果と、ユーザ操作による修正を介した時間計測結果（例：計測開始タイミングを検査状態認識処理部４２が誤ったため、ユーザが計測開始操作を実施した計測結果）については、それらを識別できる形式で保存する（時間計測結果の保存方法を変更する）ことが好ましい。

　尚、時間計測の状態に関する情報は、図３及び図４に示した第１報知例及び第２報知例では、検査時間（抜去時間）、検査開始、及び検査終了等の情報であるが、これに限らず、例えば、処置具を使用した処置中の処置時間、処置開始、処置終了等の情報を含む。

　図５は、計測結果を保存する際に表示器に表示される画面の一例を示す図である。

　具体的には、計測結果である時間情報（X min Y sec）を記録する際に、計測結果に対する“ユーザ修正なし”又は “ユーザ修正あり”の情報を付与して記録する。即ち、操作部１５におけるユーザ操作により時間計測制御処理の挙動（時間計測の開始時点等）が制御された場合には、制御された挙動状況に応じて保存部への時間計測結果の保存方法を変更する。

　これにより、ユーザは検査終了以降に“ユーザ修正なし”の計測結果を確認して、計測ミスがないかを後から確認することが可能になる。

　また、“ユーザ修正なし”で記録する場合には、記録前（検査終了直後）に、計測結果の確認を促す表示を行うことが好ましい。

　図５は、“ユーザ修正なし”で記録する場合の計測結果の確認を促す表示例を示す図である。

　図５に示す表示例では、「抜去時間は７ｍ２０ｓでした。確認ください。」という確認を促す情報を表示するとともに、計測開始または終了時の時刻情報やその時の静止画を合わせて表示する。これにより、ユーザは自動計測の結果が誤りかどうかを容易に確認することができる。

　また、「ＯＫ」ボタン５７及び「ＮＧ」ボタン５８を表示し、「ＯＫ」ボタン５７が選択された場合には、自動計測された計測結果に“ユーザ修正なし”の情報を付加して保存し、「ＮＧ」ボタン５８が操作された場合には、ユーザによる計測結果の修正後に修正された計測結果に“ユーザ修正あり”の情報を付加して保存する。

　ユーザによる計測結果の修正は、例えば、タイムスタンプ付きの動画３８をメモリ４８に一時的に保存しておき、保存した動画３８を再生しながら、検査測開始時のフレーム画像、又は検査終了時のフレーム画像をユーザが選択することで、計測結果の修正が可能である。

　尚、修正された計測結果がメモリ４８に保存されると、メモリ４８に一時的に保存した動画３８は削除することができる。

　［医療画像処理方法］
　図６は、本発明に係る医療画像処理方法の一実施形態を示すフローチャートであり、図２に示した医療画像処理装置１４の各部の処理手順に関して示している。

　図６において、ＣＰＵ４１は、まず、検査中か否かを示すフラグＦを、非検査中を示すＦ＝０にセットする（ステップＳ１０）。その後、医療画像取得部４０は、内視鏡プロセッサ装置１２から処理対象である現時点の医療画像を取得する（ステップＳ１０）。

　検査状態認識処理部４２は、ステップＳ１０で取得した医療画像（現時点よりも前に取得した医療画像を含む）に基づいて検査状態を認識する（ステップＳ１２、検査状態認識ステップ）。例えば、内視鏡検査の場合、内視鏡スコープの挿入中、抜去中または体外であることを認識し、あるいは処置具による処置中か否か等を認識する。

　ＣＰＵ４１は、フラグＦが、Ｆ＝１（検査中）か否かを判別し、Ｆ＝１でない場合（「No」の場合）にはステップＳ１８に進み、ここで検査開始時点か否かを判別する。検査開始時点の判別は、ステップＳ１４での検査状態の認識結果により判別することができる。

　ステップＳ１８において、検査開始時点であると判別されると（「Yes」の場合）、フラグＦをＦ＝１（検査中）に設定し（ステップＳ２０）、時間計測制御処理部４４は、時間計測処理部４３による時間計測を開始させ、時間計測処理部４３は、検査時間の計測を行う（ステップＳ２２、時間計測制御ステップ、時間計測ステップ）。

　続いて、報知処理部４５は、検査開始のタイミングを基準にした一定期間のみ、検査開始を示す情報を表示器１６及び／又はスピーカ１７により報知し、その後、ステップＳ１２に遷移させる（ステップＳ２４、報知ステップ）。図４に示す報知例では、「計測を開始します」という文字情報５６を表示器１６に表示させ（図４（Ａ））、一定期間が経過すると、文字情報５６を消去し、計測時間の文字情報５４を引き続き表示する。

　一方、検査が開始すると、フラグＦがＦ＝１（検査中）に設定されるため、ステップＳ１６では、検査中と判定され、ステップＳ２６に遷移させる。

　ステップＳ２６では、検査終了時点か否かを判別する。検査終了時点の判別は、ステップＳ１４での検査状態の認識結果により判別することができる。

　ステップＳ２６において、検査終了時点ではないと判別される（「No」の場合）、検査中（計測中）の計測時間を表示器１６に表示させ、ステップＳ１２に戻る（ステップＳ２８）。

　一方、ステップＳ２６において、検査終了時点であることが判別されると（「Yes」の場合）、時間計測制御処理部４４は、時間計測処理部４３による時間計測を終了させ（ステップＳ３０）、また、報知処理部４５は、検査終了のタイミングを基準にした一定期間のみ、検査終了を示す情報を表示器１６及び／又はスピーカ１７により報知する（ステップＳ３２、報知ステップ）。

　そして、時間計測処理部４３により計測された内視鏡検査の検査時間（抜去時間）または処置時間は、表示器１６に表示され（図５参照）、診断レポート等に紐づけてメモリ４８に保存される（ステップＳ３４）。

　尚、図６のステップＳ１８における検査開始時点の判別、及びステップＳ２６における検査開始時点の判別は、検査状態認識処理部４２による検査状態の認識結果により行われるが、操作部１５におけるユーザ操作によりユーザ指示に基づいて検査開始時点及び検査開始時点を判別してもよい。検査開始時点あるいは検査開始時点がユーザ指示された場合には、検査状態認識処理部４２における認識結果に代えて、ユーザ指示された検査開始時点あるいは検査終了時点を優先的に使用し、検査時間の時間計測の開始、終了を制御することが好ましい。

　［その他］
　上記実施形態では、内視鏡プロセッサ装置と医療画像処理装置とが別体に設けられているが、内視鏡プロセッサ装置と医療画像処理装置とが一体化されていてもよい。即ち、内視鏡プロセッサ装置に、医療画像処理装置としての機能を設けてもよい。

　また、計測された検査時間または処置時間は、診断レポート等に紐づけて医療画像処理装置内のメモリに保存されるが、これに限らず、医療画像処理装置と接続された外部メモリ（保存部）に保存してもよい。

　更に、医療画像は、内視鏡スコープにより撮影される内視鏡画像に限らず、例えば、超音波診断装置等の他のモダリティにより取得される時系列の画像でもよい。

　また、上記実施形態の医療画像処理装置の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　更に、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る医療画像処理装置として機能させる医療画像処理装プログラム、及びこの医療画像処理プログラムが記録された不揮発性の記憶媒体を含む。

　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

９　内視鏡システム
１０　内視鏡スコープ
１１　光源装置
１２　内視鏡プロセッサ装置
１３　表示装置
１４　医療画像処理装置
１５　操作部
１６　表示器
１７　スピーカ
２０　挿入部
２１　手元操作部
２２　ユニバーサルコード
２５　軟性部
２６　湾曲部
２７　先端部
２８　撮像素子
２９　湾曲操作ノブ
３０　送気送水ボタン
３１　吸引ボタン
３２　静止画撮影指示部
３３　処置具導入口
３５　ライトガイド
３６　信号ケーブル
３７ａ、３７ｂ　コネクタ
３８　動画
３８ａ　フレーム画像
３９　静止画
４０　医療画像取得部
４１　ＣＰＵ
４２　検査状態認識処理部
４３　時間計測処理部
４４　時間計測制御処理部
４５　報知処理部
４６　表示制御部
４６Ａ　画像表示制御部
４６Ｂ　情報表示制御部
４７　音情報再生処理部
４８　メモリ
５０　画面
５２　医療画像
５４、５６　文字情報
５７　「ＯＫ」ボタン
５８　「ＮＧ」ボタン
Ｆ　フラグ
Ｓ１０～Ｓ３４　ステップ

Claims

　プロセッサを備えた医療画像処理装置において、
　前記プロセッサは、
　時系列の医療画像を順次取得する医療画像取得処理と、
　前記順次取得した前記医療画像に基づいて検査状態を認識する検査状態認識処理と、
　前記検査状態に関する時間計測を行う時間計測処理と、
　前記検査状態の認識結果に応じて、前記時間計測の挙動を制御する時間計測制御処理と、
　前記時間計測の状態に関する情報を、報知部によりユーザに報知させる報知処理と、
　を行う医療画像処理装置。
　前記報知処理は、前記時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、前記時間計測の状態に関する情報を前記報知部によりユーザに報知させる、
　請求項１に記載の医療画像処理装置。
　前記報知処理は、前記報知部として機能する表示部の第１表示領域に前記時間計測処理による計測時間に関する情報をリアルタイムに表示させ、かつ前記表示部の前記第１表示領域とは異なる第２表示領域に前記時間計測の状態に関する情報を表示させ、又は前記報知部として機能するスピーカから前記時間計測の状態に関する情報を音情報として報知させる、
　請求項１又は２に記載の医療画像処理装置。
　前記時間計測の状態に関する情報は、前記時間計測の開始、終了、一時停止、及び再開のうちの１以上の情報を含み、
　前記時間計測制御処理は、前記時間計測処理における前記時間計測の開始、終了、一時停止、又は再開のうちの１以上の制御を行う、
　請求項１から３のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、ユーザ操作部から前記時間計測の状態に関する情報を受け付ける受付処理を行い、
　前記時間計測制御処理は、前記ユーザ操作部から前記時間計測の状態に関する情報を受け付けると、前記受け付けた前記時間計測の状態に関する情報を、前記検査状態認識処理における認識結果に代えて優先的に使用し、前記時間計測の挙動を制御する、
　請求項１から４のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、前記時間計測処理による時間計測結果を保存部に保存させる処理を行う、
　請求項１から５のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、前記時間計測処理による時間計測結果を保存部に保存させる処理を行い、前記ユーザ操作部におけるユーザ操作により前記時間計測制御処理の挙動が制御された場合には、前記制御された挙動状況に応じて前記保存部への前記時間計測結果の保存方法を変更する、
　請求項５に記載の医療画像処理装置。
　前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて前記検査状態が処置中であるか否かを認識する、
　請求項１から７のいずれか１項に記載の医療画像処理装置。
　前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて処置具を検出する処置具検出処理を行い、前記処置具の検出結果に応じて前記処置中であるか否かを認識する、
　請求項８に記載の医療画像処理装置。
　前記医療画像は内視鏡画像である、
　請求項１から９のいずれか１項に記載の医療画像処理装置。
　前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて内視鏡スコープの挿入中、抜去中または体外であることを認識する、
　請求項１０に記載の医療画像処理装置。
　前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて管腔内のランドマークを検出するランドマーク検出処理を行い、前記ランドマークの検出結果に応じて前記検査状態を認識する、
　請求項１０又は１１に記載の医療画像処理装置。
　前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて内視鏡スコープの動きを検出する動き検出処理を行い、前記内視鏡スコープの動きの検出結果に応じて前記検査状態を認識する、
　請求項１１又は１２に記載の医療画像処理装置。
　時系列の医療画像を順次取得するステップと、
　前記順次取得した前記医療画像に基づいて検査状態に関する情報を認識する検査状態認識ステップと、
　前記検査状態に関する時間計測を行う時間計測ステップと、
　前記検査状態の認識結果に応じて、前記時間計測の挙動を制御する時間計測制御ステップと、
　前記時間計測の状態に関する情報を、報知部によりユーザに報知させる報知ステップと、を含み、
　プロセッサが各ステップの処理を実行する医療画像処理方法。
　前記報知ステップは、前記時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、前記時間計測の状態に関する情報を前記報知部によりユーザに報知させる、
　請求項１４に記載の医療画像処理方法。
　前記報知ステップは、前記報知部として機能する表示部の第１表示領域に前記時間計測ステップによる計測時間に関する情報をリアルタイムに表示させ、かつ前記表示部の前記第１表示領域とは異なる第２表示領域に前記時間計測の状態に関する情報を表示させ、又は前記報知部として機能するスピーカから前記時間計測の状態に関する情報を音情報として報知させる、
　請求項１４又は１５に記載の医療画像処理方法。
　ユーザ操作部から前記時間計測の状態に関する情報を受け付けるステップを含み、
　前記時間計測制御ステップは、前記ユーザ操作部から前記時間計測の状態に関する情報を受け付けると、前記受け付けた前記時間計測の状態に関する情報を、前記検査状態認識ステップにおける認識結果に代えて優先的に使用し、前記時間計測の挙動を制御する、
　請求項１４から１６のいずれか１項に記載の医療画像処理方法。
　請求項１４から１７のいずれか１項に記載の医療画像処理方法における各ステップの処理を、前記プロセッサに実行させる医療画像処理プログラム。
　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１８に記載のプログラムが記録された記録媒体。