(実施の形態1)
図1は、本発明の実施の形態1に係る内視鏡業務支援システム1の構成を示す図である。実施の形態1において内視鏡業務支援システム1は、内視鏡部門に設置される内視鏡検査データ記録システムであって、図示しない業務支援システムと連携して動作する。内視鏡業務支援システム1は内視鏡システム10、内視鏡検査データ記録装置20、端末装置30を備え、それらはLANなどのネットワーク2によって相互接続される。
内視鏡業務支援システム1は医療施設内の別のシステムと連携が可能である。例えばネットワーク2にゲートウェイ装置(不図示)が接続され、このゲートウェイ装置を介して内視鏡業務支援システム1は、オーダリングシステム、電子カルテシステム、医事会計システム等と連携可能である。
図2は、実施の形態1に係る内視鏡システム10の構成を示す図である。内視鏡システム10は内視鏡11、内視鏡処理装置(カメラコントロールユニットともいう)12、表示装置13および光源装置14を備える。内視鏡11は患者の体内に挿入され、患者の体内を撮影する。内視鏡11は撮像素子111、鉗子チャンネル112および操作部113を含む。
撮像素子111はCCDイメージセンサ、CMDイメージセンサまたはCMOSイメージセンサを備え、入射光を光電変換する。光電変換により生成された画像信号は、図示しない信号処理回路によりA/D変換、ノイズ除去などの信号処理が施され、内視鏡処理装置12に出力される。鉗子チャンネル112は、鉗子などの処置具を通すためのチャンネルである。操作部113にはレリーズボタン、内視鏡の先端を曲げるためのアングルノブ等が設けられる。
表示装置13は、内視鏡処理装置12から入力される画像を表示する。例えば、内視鏡11により撮像されている患者の体内の画像をリアルタイムに表示する。光源装置14はキセノンランプ等の光源を備え、内視鏡11の先端に光を送る。光源装置14は内視鏡11に複数種類の観察光を照射できる。例えば白色光、狭帯域光(Narrow Band Imaging:NBI)、蛍光、近赤外光を照射できる。
内視鏡処理装置12は内視鏡システム10全体を制御する。内視鏡処理装置12は制御部121、および通信部126を備える。制御部121は照射光切替制御部122、および画像認識部123を含む。画像認識部123は薬剤散布検知部123a、および処置実施検知部123bを含む。図2の制御部121には、実施の形態1の処理に関連する機能ブロックのみを描いている。
制御部121の機能は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。例えば、画像認識部123はFPGAにより構成されてもよい。
図3は、実施の形態1に係る内視鏡検査データ記録装置20の構成を示す図である。内視鏡検査データ記録装置20は例えばサーバ、またはPCで構成される。内視鏡検査データ記録装置20は通信部21、制御部22、記憶部23、およびコンソール部24を備える。制御部22はデータ取得部221、操作受付部222、表示制御部223、データ算出部224およびデータ記録部225を含む。データ取得部221は照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cを含む。図3の制御部22にも、実施の形態1の処理に関連する機能ブロックのみを描いている。制御部22の機能も、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。
記憶部23はHDD、SSD等の記録媒体を備え、マスタ情報保持部231、および検査データ保持部232を含む。図3の記憶部23にも、実施の形態1の処理に関連する機能ブロックのみを描いている。
図4は、実施の形態1に係る端末装置30の構成を示す図である。端末装置30は医師、看護師など医療機関に従事する医療従事者が使用する端末装置であり、例えばPC、タブレット、PDAなどで構成される。タブレット、PDAなどの携帯端末装置が使用される場合、ネットワーク2にアクセスポイント(不図示)が設置され、無線LANによりネットワーク2に接続される。端末装置30は通信部31、制御部32、記憶部33、表示部34、および操作入力部35を備える。以下、図2〜図4を参照しながら具体的に説明する。
内視鏡11で患者の体内を撮影した内視鏡画像は動画像として、内視鏡処理装置12に入力される。例えば30Hzのフレームレートで入力される。内視鏡処理装置12の表示制御部(不図示)は、入力された内視鏡動画像を表示装置13に表示させる。内視鏡処理装置12の操作受付部(不図示)は内視鏡11の操作部113に対してなされた医師の操作を受け付ける。例えば医師によるレリーズボタンの押下を受け付ける。内視鏡処理装置12の画像抽出部(不図示)は、レリーズボタンが押下されたタイミングで内視鏡動画像から静止画を抽出する。抽出された静止画は内視鏡システム10の記憶装置(不図示)に保存されるか、ネットワーク2を介して内視鏡画像記録装置(不図示)に転送されて保存される。なお内視鏡検査データ記録装置20に転送して保存してもよいし、PACS(Picture Archiving and Communication System)(不図示)に転送して保存してもよい。
照射光切替制御部122は、内視鏡処理装置12の操作部(不図示)に対して医師によりなされた観察光の切替操作を受け付け、当該切替操作により指示された種別の観察光を発光するよう光源装置14を制御する。光源装置14で発光された観察光は、内視鏡11を通じて患者の体腔に誘導され、体腔内を照射する。
薬剤散布検知部123aは内視鏡動画像に含まれるフレーム画像から、内視鏡検査で使用された薬剤を画像認識により検出する。薬剤散布検知部123aはフレーム画像内から画像認識により薬剤を定期的に所定の時間間隔で探索する。例えば、N秒またはNフレームおきに探索を実行する。例えば1秒おき、または5秒おきに探索する。
探索対象の薬剤は患者の体内に散布された色素剤・染色剤である。色素剤は生体粘膜に吸収されず表面に貯留することで形状や凹凸を観察するために使用される。染色剤は組織による吸収有無や反応の違いにより粘膜表面性状や細胞構造の違いを観察するために使用される。
代表的な色素・染色剤として、インジゴカルミン、ルゴール(ヨード)、ピオクタニン(クリスタルバイオレット)、メチレンブルー、酢酸、墨汁が挙げられる。インジゴカルミンの主な散布臓器は胃、大腸であり、腫瘍性病変(癌、腺腫等)および非腫瘍性病変(過形成性ポリープ)等の鑑別診断および範囲診断に用いられる。ルゴールの主な散布臓器は食道であり、 食道癌の鑑別診断および範囲診断に用いられる。ピオクタニンの主な散布臓器は大腸であり、大腸癌を含む腫瘍性・非腫瘍性病変の鑑別診断および深達度診断に用いられる。メチレンブルーの主な散布臓器は胃、大腸であり、胃の腸上皮化生の診断に用いられてる。近年は超拡大内視鏡(endocytoscopy:EC)観察の核染色にも使用される。なお、この用途でピオクタニンを使用する場合もある。酢酸の主な散布臓器は胃、大腸であり、腫瘍性病変(癌、腺腫等)および非腫瘍性病変(過形成性ポリープ)等の鑑別診断および範囲診断に用いられる。インジゴカルミンと併用され、範囲診断の精度を高めるために使用される。
薬剤散布検知部123aは内視鏡画像内から薬剤(例えば、インジゴカルミン(青色〜緑青色)、ルゴール(褐色〜黄褐色)、ピオクタニン(紫色〜青紫色)、メチレンブルー(青色)、酢酸(白色))を色調特徴量に基づき検出する。色調特徴量に基づく検出方法として例えば、特願平7−116138号、特願2014−191781号に記載した方法を使用することができる。
薬剤散布検知部123aは探索対象の内視鏡画像ごとに色調特徴量を算出し、探索対象の各内視鏡画像内における薬剤散布の有無を検知する。薬剤が散布されている場合、その薬剤の種別を特定する。薬剤散布検知部123aはN秒またはNフレームおきに、患者の体内における薬剤の散布状態を示す薬剤散布データをデータ送出部125に渡す。
処置実施検知部123bは内視鏡動画像に含まれるフレーム画像から、内視鏡検査で使用される処置具を画像認識により検出し、検出した処置具をもとに実施されている処置を検知する。処置実施検知部123bはフレーム画像内から画像認識により処置具を定期的に探索する。通常、薬剤散布検知部123aによる薬剤の画像認識処理と同期して処理される。
処置具には鉗子が含まれる。鉗子には生検鉗子、把持鉗子、ホットバイオプシー鉗子などがある。ホットバイオプシー鉗子は高周波通電ができ、異物をつまんで切除し回収できる鉗子である。また処置具には注射針が含まれる。注射針には生検針、生理食塩水を局注するための局注針などがある。また処置具には高周波処置具が含まれる。高周波処置具にはスネア、切開鉗子、ナイフ、止血鉗子などがある。高周波スネアはEMR(Endoscopic Mucosal Resection)に使用される。高周波ナイフはESD(Endoscopic Submucosal Dissection)に使用される。
また処置具には、止血に使用されるクリップが含まれる。また処置具には、消化管内のポリープを結さつするための結紮装置が含まれる。また処置具には十二指腸スコープ用処置具が含まれる。十二指腸スコープ用処置具には、カニューラ、造影チューブ、砕石具などが含まれる。カニューラはERCP(Endoscopic Retrograde Cholangiopancreatography)に使用される。
また処置具には、ガイドワイヤ、ブラシ、バスケット、チューブ、ステント、バルーン、カテーテル等が含まれる。ガイドワイヤ、カテーテルはERCPに使用される。ブラシは細胞診に使用される。バスケットは採石、異物回収に使用される。チューブは色素散布に使用される。ステントは留置術に使用される。バルーンは拡張術に使用される。
以下、処置具の具体的な検出方法について説明する。内視鏡11は機種によって処置具の鉗子チャンネル112の位置が決まっている。鉗子チャンネル112が2チャンネルの機種もある。各処置具を鉗子チャンネル112に挿通した際の内視鏡画像をテンプレート画像とし、検査時の内視鏡画像と照合することにより、いずれの処置具が使用されたかを検出する。テンプレート画像は処置具ごとに、鉗子チャネル方向、突出長、開閉状態が異なる画像を複数用意する。また回転により画像上の形状が変化する非対称形状の処置具については、回転角度が異なる画像を複数用意する。
内視鏡画像から処置具を検出するために、まず内視鏡画像からエッジを検出する。エッジ検出用の画像には赤色(R)画像または緑色(G)画像を用いる。処置具シースが赤い場合は緑色(G)画像を用いるとよい。次にエッジ画像内からテンプレートマッチング、Hough変換などを用いて線分形状を検出する。次に、検出した線分形状とテンプレート画像を照合し、一致度を算出する。一致度が最も高いテンプレート画像の処置具を検出結果とする。
図5は、生検鉗子41を含む内視鏡画像40の一例を示す図である。処置具は、図5に示すように基本的に、4〜8時の方向からフレームインする。従って処置具のテンプレート画像は、4〜8時の方向からフレームインする向きのテンプレート画像のみを用意すればよい。これによりテンプレート画像の数、照合に必要な演算量を低減できる。
なお処置具の検出において、シースの色情報を考慮することも可能である。また近年パターン検出等で利用されているSIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)等の特徴量を用いたアルゴリズムを用いてもよい。
処置実施検知部123bは画像認識により検出した処置具をもとに、実施されている処置を検知する。例えば生検鉗子が検出された場合、生検が実施されていると判定する。処置実施検知部123bはN秒またはNフレームおきに、医師により実施される処置の実施状況を示す処置実施データをデータ送出部125に渡す。
照射光切替制御部122は、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤散布および処置実施の検知タイミングに同期して、N秒またはNフレームおきに光源装置14で使用されている観察光の種別を示す照射光種別データをデータ送出部125に渡す。
データ送出部125は、照射光切替制御部122から渡された照射光種別データ、薬剤散布検知部123aから渡された薬剤散布データ、および処置実施検知部123bから渡された処置実施データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。データ送出部125は、所定の時間間隔で渡される照射光種別データ、薬剤散布データ、および処置実施データをその都度、送信してもよいし、バッファ(不図示)にデータを一時蓄積してからまとめて送信してもよい。例えば、内視鏡検査終了後にその内視鏡検査の照射光種別データ、薬剤散布データ、および処置実施データを一括送信してもよい。またバッファ(不図示)の容量が小さく設計されている場合、バッファ(不図示)の空き容量がなくなった段階で蓄積したデータを一括送信してもよい。
内視鏡検査データ記録装置20の照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cは、照射光種別データ、薬剤散布データ、および処置実施データを内視鏡システム10からそれぞれ取得する。データ記録部225は、照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部22cによりそれぞれ取得されるデータの推移を検査データ保持部232に記録する。
本実施の形態では照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cは、照射光種別データ、薬剤散布データ、および処置実施データの時系列データをそれぞれ取得する。データ記録部225は、それぞれ取得される時系列データをそのまま、または加工して検査データ保持部232に記録する。
図6(a)−(c)は、マスタ情報保持部231に保持されるマスタ情報テーブルの例を示す図である。図6(a)は観察光種別マスタテーブル213aの一例を示し、図6(b)は薬剤種別マスタテーブル213bの一例を示し、図6(c)は処置種別マスタテーブル213cの一例を示している。
図6(a)に示す観察光種別マスタテーブル213aには観察光種別として、白色光=1、狭帯域光=2、蛍光=3、近赤外光=4の4種類が規定されている。図6(b)に示す薬剤種別マスタテーブル213bには薬剤種別として、インジゴカルミン=1、ルゴール=2、ビオクタニン=3、メチレンブルー=4、酢酸=5の5種類が規定されている。なお番号0は薬剤検出なしを示している。図6(c)に示す処置種別マスタテーブル213cには処置種別として、生検=1、ポリペクトミー=2、局注=3、・・・、ステント=9の9種類が規定されている。なお番号0は処置検出なしを示している。また図示しないが、各処置と各処置で使用される処置具が紐付けられた処置具マスタテーブルが設けられ、画像認識により検出された処置具に基づき処置種別が特定される。
観察光種別マスタテーブル213aと同じテーブルが内視鏡システム10の照射光切替制御部122にも設けられる。また薬剤種別マスタテーブル213bと同じテーブルが内視鏡システム10の薬剤散布検知部123aにも設けられる。また処置種別マスタテーブル213cおよび処置具マスタテーブルと同じテーブルが内視鏡システム10の処置実施検知部123bにも設けられる。
照射光切替制御部122は所定の時間間隔で観察光の種別を確認し、確認した観察光の種別を観察光種別マスタテーブルを参照して番号に変換し、データ送出部125に渡す。薬剤散布検知部123aは所定の時間間隔で内視鏡画像内において薬剤を探索し、探索結果を薬剤種別マスタテーブルを参照して番号に変換し、データ送出部125に渡す。処置実施検知部123bは所定の時間間隔で内視鏡画像内において処置具を探索し、その探索結果を処置具マスタテーブルおよび処置種別マスタテーブルを参照して番号に変換し、データ送出部125に渡す。
図7は、検査データ保持部232に記録される検査データ232aの一例を示す図である。図7に示す例はデータ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cにより取得された照射光種別データ、薬剤散布データ、および処置実施データの時系列データをそのまま検査データ保持部232に記録した例である。
この例では検査開始から検査終了まで1秒単位で観察光、薬剤散布、処置に関するデータが時系列に記録される。なお時系列データは時間単位のデータではなく、フレーム単位のデータであってもよい。図7に示す例では検査開始から2秒経過時点で観察光が白色光から狭帯域光に切り替えられている。また検査開始から100秒経過時点で生検が開始されている。また検査開始から1000秒経過時点でルゴールが散布されている。
より正確に内視鏡検査を記録するためには、内視鏡検査の開始時刻および終了時刻に加え、内視鏡11が体腔内に挿入された時刻、体腔外に抜去された時刻を記録することが望まれる。
内視鏡システム10の検査開始・終了検知部(不図示)は、医師により検査開始ボタンが押下されると内視鏡検査の開始を検知し、その検知時刻を含む検査開始検知データをデータ送出部125に渡す。なお検査開始は光源装置14への内視鏡11の装着、または光源装置14の電源オンに起因して検知してもよい。また検査開始・終了検知部(不図示)は、医師により検査終了ボタンが押下されると内視鏡検査の終了を検知し、その検知時刻を含む検査終了検知データをデータ送出部125に渡す。なお検査終了は光源装置14からの内視鏡11の抜き取り、または光源装置14の電源オフに起因して検知してもよい。
内視鏡システム10の体腔内挿入状態検知部(不図示)は、内視鏡11が体腔内に挿入されたことを検知すると、その検知時刻を含む内視鏡挿入検知データをデータ送出部125に渡す。内視鏡11が体腔内に挿入されたことおよび体腔外に抜去されたことは、特願平7−116138号に記載した方法により検知することができる。また、体腔内挿入状態検知部(不図示)は例えば、内視鏡画像の赤色(R)成分の増加率にもとづき内視鏡11が体腔内に挿入されたことを検知してもよい。また患者のマウスピースに装着されたセンサの検知信号にもとづき、内視鏡11がマウスピースを通過し、体腔内に挿入されたことを検知してもよい。
また体腔内挿入状態検知部(不図示)は、内視鏡11が体腔外に抜去されたことを検知すると、その検知時刻を含む内視鏡抜去検知データをデータ送出部125に渡す。体腔内挿入状態検知部(不図示)は例えば、内視鏡画像の赤色(R)成分の減少率にもとづき内視鏡11が体腔外に抜去されたことを検知してもよい。また患者のマウスピースに装着されたセンサの検知信号にもとづき、内視鏡11がマウスピースを通過し、体腔外に抜去されたことを検知してもよい。
データ送出部125は、検査開始・終了検知部(不図示)から渡された検査開始検知データおよび検査終了検知データ、ならびに体腔内挿入状態検知部(不図示)から渡された内視鏡挿入検知データおよび内視鏡抜去検知データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。
内視鏡検査データ記録装置20の検査開始・終了データ取得部(不図示)および体腔内挿入状態検知データ取得部(不図示)は、検査開始検知データ、検査終了検知データ、内視鏡挿入検知データ、および内視鏡抜去検知データを取得する。データ記録部225は、検査開始検知データ、検査終了検知データ、内視鏡挿入検知データ、および内視鏡抜去検知データを検査データ保持部232に記録する。
内視鏡検査データ記録装置20のデータ算出部224は、照射光種別データ取得部221aにより取得された照射光種別データの時系列データをもとに内視鏡検査における各観察光の使用時間、および/または各観察光の使用回数を算出する。観察光の使用時間は、観察光の照射が連続している時間から算出できる。また詳細は後述するが、内視鏡11で撮像された動画像または静止画の付帯情報に含まれる照射光情報、若しくはユーザにより手動で入力された、特定の観察光を使用しての観察開始時刻と観察終了時刻との時間差から算出できる。
またデータ算出部224は、薬剤散布データ取得部221bにより取得された薬剤散布データの時系列データをもとに内視鏡検査における各薬剤を使用しての観察時間、および/または各薬剤の使用回数を算出する。薬剤を使用しての観察時間は、薬剤が動画像にフレームインしている時間から算出できる。また詳細は後述するが、ユーザにより手動で入力された、特定の薬剤を使用しての観察開始時刻と観察終了時刻との時間差から算出できる。
またデータ算出部224は、処置実施データ取得部221cにより取得された処置実施データの時系列データをもとに内視鏡検査における各処置の実施時間、および/または各処置の実施回数を算出する。処置の実施時間は、処置具が動画像にフレームインしている時間から算出できる。また詳細は後述するが、ユーザにより手動で入力された、処置開始時刻と処置終了時刻との時間差から算出できる。
データ記録部225は、データ算出部224により算出された各観察光の使用時間、各観察光の使用回数、各薬剤を使用しての観察時間、各薬剤の使用回数、各処置の実施時間、および各処置の実施回数の少なくとも1つを検査データ保持部232に記録する。
図8は、検査データ保持部232に記録される検査データ232bの別の例を示す図である。図8に示す例はデータ記録部225が、データ算出部224により算出された内視鏡検査における、各観察光の使用時間、各観察光の使用回数、各薬剤を使用しての観察時間、各薬剤の使用回数、各処置の実施時間、および各処置の実施回数を検査データ保持部232に記録した例である。図8に示す検査データ232bは、図7に示した素の検査データ232aを加工して生成したデータである。
図8に示す例において、検知情報種別欄の「内視鏡」は番号0が体腔内への挿入を、番号1が体腔外への抜去を示している。「観察光」は検査開始から0〜1秒が白色光、検査開始から2〜98秒が狭帯域光、検査開始から99〜2000秒が白色光(2回目)である。処置として検査開始から100〜600秒の期間に生検が実施されている。薬剤散布として検査開始から1000〜1500秒の期間にルゴールが散布されている。
このように内視鏡検査の推移を示す素の時系列データを、内視鏡検査で起こったイベントの種別、開始時刻、終了時刻、回数に加工して記録することができる。なお加工データを生成した場合、素の時系列データを消去してデータ量を圧縮してもよい。また素の時系列データの加工方法は、素の時系列データを復元できればよく、その加工方法および記録方法は問わない。
以上の説明においては薬剤散布や処置実施を画像認識により検出する例を挙げた。この点、薬剤散布や処置実施をユーザが手動で入力してもよい。例えば、医師や看護師が内視鏡検査中もしくは検査後に、内視鏡システム10の表示装置13または端末装置30の表示部34に表示された内視鏡画像を見て、薬剤散布および/または処置実施に関する情報を入力してもよい。
具体的には散布された薬剤名を入力し、薬剤散布状態での観察開始時点および観察終了時点のフレーム画像を指定する。また実施された処置名を入力し、処置開始時点および処置終了時点のフレーム画像を指定する。内視鏡検査データ記録装置20の操作受付部222は、医師または看護師により入力された薬剤散布および/または処置実施に関する情報を受け付け、データ記録部225およびデータ算出部224に渡す。体腔内の部位によっては画像認識の精度が下がる部位があり、画像認識により誤ったデータが検出された場合、医師または看護師により手動で修正される。
なお観察光の種別についても、医師または看護師が、観察光の切替時点および切替後の観察光の種別を手動で入力することができる。また、内視鏡11で撮像された動画像またはフレーム画像の付帯情報から観察光の種別と切替時点を特定できる場合もある。
図9は、実施の形態1に係る内視鏡システム10の動作例を説明するためのフローチャートである。内視鏡システム10の検査開始・終了検知部(不図示)が内視鏡検査の開始を検知すると(S10のY)、その検知時刻をデータ送出部125に通知する。その後、体腔内挿入状態検知部(不図示)が内視鏡11の体腔内への挿入を検知すると(S11のY)、その検知時刻をデータ送出部125に渡す。
画像認識部123は内視鏡11で撮像された内視鏡画像を取得する(S12)。薬剤散布検知部123aは取得された内視鏡画像内において薬剤を探索し、処置実施検知部123bは取得された内視鏡画像内において処置具を探索する(S13)。薬剤散布検知部123aおよび処置実施検知部123bは探索結果をデータ送出部125に渡す。照射光切替制御部122は観察光の種別を確認する(S14)。照射光切替制御部122は確認結果をデータ送出部125に渡す。データ送出部125は、観察光、薬剤、処置に関するデータをバッファ(不図示)に一時保持する(S15)。
体腔内挿入状態検知部(不図示)が内視鏡11の体腔外への抜去を検知せずに(S16のN)、内視鏡画像の取得からN秒が経過すると(S17のY)、ステップS12に戻り、新たな内視鏡画像を取得する(S12)。体腔内挿入状態検知部(不図示)が内視鏡11の体腔外への抜去を検知すると(S16のY)、その検知時刻をデータ送出部125に渡す。その後、検査開始・終了検知部(不図示)が内視鏡検査の終了を検知すると(S18のY)、その検知時刻をデータ送出部125に通知する。データ送出部125は、バッファ(不図示)に蓄積されたデータを時系列データとして内視鏡検査データ記録装置20に送出する(S19)。
図10は、実施の形態1に係る内視鏡検査データ記録装置20の動作例を説明するためのフローチャートである。内視鏡検査データ記録装置20のデータ取得部221は、内視鏡システム10から各種の時系列データを取得する(S20)。データ算出部224は、取得された観察光に関する時系列データをもとに観察光の使用時間と使用回数を種類別に算出する(S21)。またデータ算出部224は、取得された薬剤散布に関する時系列データをもとに薬剤を使用しての観察時間と薬剤の使用回数を種類別に算出する(S22)。またデータ算出部224は、取得された処置実施に関する時系列データをもとに処置の実施時間と実施回数を種類別に算出する(S23)。データ記録部225は、取得された時系列データと算出された加工データを検査データ保持部232に記録する(S24)。
以上説明したように実施の形態1によれば、内視鏡検査において使用した観察光の種別、各種の薬剤散布による精密診断、生検等の各種処置実施を各時点におけるデータとして記録できる。従って薬剤散布や処置実施に要した時間や回数を把握するとともに、その出現順序の把握、平均値算出等の定量評価、他の検査との比較を行うことが可能となり、内視鏡検査の品質を正確かつ客観的に評価することが可能となる。なお、本実施の形態においては観察光、薬剤散布および処置実施に関して取得された時系列データと算出された加工データを記録する内視鏡業務支援システムについて説明したが、これらの各データのいずれかを選択的に取得あるいは記録するように構成することももちろん可能であり、データの利用目的や使用可能な計算資源等に応じて適宜選択的に取得および記録してもよい。
従来、内視鏡検査中の観察光切替、薬剤散布、処置実施に関する情報は、医師や看護師の記憶に基づき医師や看護師により事後的に手作業で記録されてきた。しかしながら、記録する情報が多岐に渡るため、記録の精度や粒度が記録者毎にばらばらになる傾向があり、統一的なデータ記録が実現できていなかった。また医師や看護師による手作業による記録は煩雑な作業である。これに対して実施の形態1によれば、内視鏡検査中の内視鏡画像から画像認識により検出した情報等をもとに、内視鏡検査の軌跡を時系列に自動的に記録できる。従って医師や看護師の作業負担を軽減でき、統一的なデータ記録が可能になる。
また薬剤散布等の各イベントの検知順序をもとに内視鏡検査において使用された手技も特定できる。例えば、局注針が検出された後、高周波スネアが検出された場合、EMRが実施されたと推定できる。また狭帯域光(NBI)を使用中に拡大観察を行うと診療報酬が加算となるが、本実施の形態によれば観察光の切替時刻、処置の実施時刻が記録されるため、自動的に診療報酬の加算を計算することも可能である。
また、内視鏡検査は国内外を問わず日常的に膨大な例数が実施されており、これらのデータを集積することによりビッグデータを生成できる。集積したビックデータは、各種の統計的な分析やデータマイニング等に利用できる。
(実施の形態2)
実施の形態1では、観察光切替、薬剤散布、処置実施に関するデータを時系列的に記録する例を説明した。実施の形態2ではそれらに加えて、患者の体内の臓器表面と内視鏡11との距離を示すデータ、および/または内視鏡11の拡大倍率を示すデータを時系列的に記録する例を説明する。
図11は、実施の形態2に係る内視鏡システム10の構成を示す図である。実施の形態2に係る内視鏡システム10は、図2に示した実施の形態1に係る内視鏡システム10に撮像距離推定部123cおよび倍率制御部124が追加された構成である。以下、実施の形態1との相違点を説明する。
撮像距離推定部123cは、内視鏡動画像に含まれるフレーム画像から、患者の体内の臓器表面と内視鏡11の先端との間の撮像距離を推定する。撮像距離推定部123cは例えば特許5028138号に記載した方法を用いて撮像距離を推定する。本実施の形態では推定した撮像距離を「遠」、「中」、「近」に分類する。なお3カテゴリに限らず、2カテゴリまたは4カテゴリ以上に分類してもよい。
撮像距離推定部123cは、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤および処置具の画像認識処理と同期して、N秒またはNフレームおきに撮像距離を推定し、推定結果をデータ送出部125に渡す。撮像距離の推定開始タイミングには、内視鏡動画像の記録開始のタイミング、画像記録装置でのストップウォッチ計測開始のタイミング、および初回レリーズのタイミングのいずれかを用いることができる。また撮像距離の推定終了タイミングには、内視鏡動画像の記録終了のタイミング、画像記録装置でのストップウォッチ計測終了のタイミング、および検査終了ボタン押下のタイミングのいずれかを用いることができる。
倍率制御部124は、拡大観察機能を有する拡大内視鏡が光源装置14に装着されている場合において、操作部113に対する医師の操作に従い拡大内視鏡の倍率を制御する。倍率制御部124は、N秒またはNフレームおきに拡大内視鏡の倍率を確認し、確認結果をデータ送出部125に渡す。倍率制御部124は、ズーム倍率をそのままの数値で渡してもよいし、最大広角時を0%、最大望遠時を100%とするパーセント数値で渡してもよい。なお、拡大内視鏡からズーム倍率を取得する代わりに、画像認識により広角観察か近接拡大観察かを検出してもよい。
データ送出部125は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像距離推定部123cから渡された撮像距離を示す撮像距離データ、および倍率制御部124から渡された拡大内視鏡の倍率を示す倍率データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。
図12は、実施の形態2に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態2に係る内視鏡検査データ記録装置20は、図3に示した実施の形態1に係る内視鏡検査データ記録装置20に撮像距離データ取得部221dおよび倍率データ取得部221eが追加された構成である。以下、実施の形態1との相違点を説明する。
撮像距離データ取得部221dおよび倍率データ取得部221eは、撮像距離データおよび倍率データを内視鏡システム10からそれぞれ取得する。データ記録部225は、撮像距離データ取得部221dおよび倍率データ取得部221eによりそれぞれ取得されるデータの推移を検査データ保持部232に記録する。本実施の形態では撮像距離データ取得部221dおよび倍率データ取得部221eは、撮像距離データおよび倍率データの時系列データを取得し、データ記録部225は、それぞれ取得される時系列データをそのまま、または加工して検査データ保持部232に記録する。
図13(a)−(b)は、マスタ情報保持部231に保持される撮像距離マスタテーブル231dの一例と、検査データ保持部232に記録される検査データ232cの一例を示す図である。 図13(a)に示す撮像距離マスタテーブル231dには、撮像距離分類として、遠=1、中=2、近=3の3カテゴリが規定されている。
撮像距離マスタテーブル231dと同じテーブルが内視鏡システム10の撮像距離推定部123cにも設けられる。撮像距離推定部123cは所定の時間間隔で内視鏡画像から撮像距離を推定し、推定結果を撮像距離マスタテーブルを参照して番号に変換し、データ送出部125に渡す。
図13(b)に示す例はデータ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、処置実施データ取得部221c、撮像距離データ取得部221d、および倍率データ取得部221eにより取得された照射光種別データ、薬剤散布データ、処置実施データ、撮像距離データ、および倍率データの時系列データをそのまま検査データ保持部232に記録した例である。
この例では検査開始から検査終了まで1秒単位で観察光、薬剤散布、処置、撮像距離、倍率に関するデータが時系列的に記録される。図13(b)に示す例では検査開始から2秒経過時点で撮像距離が「遠」から「中」になり(即ち、内視鏡11が臓器表面に近づき)、100秒経過時点で撮像距離が「中」から「近」になっている(即ち、内視鏡11が臓器表面により近づいている)。また検査開始から100秒経過時点で生検が開始されたとき、拡大内視鏡の倍率が80%になっている。
以上説明したように実施の形態2によれば、実施の形態1の効果に加えて以下の効果を奏する。臓器表面までの撮像距離や拡大内視鏡使用時の拡大倍率を定量的かつ客観的に扱える状態で記録することにより、範囲診断や鑑別診断等の精査に関する評価および比較が可能となる。
一般的に病変発見のための観察では遠景で観察され、病変発見後の詳細な観察では近景で観察される傾向にある。従って撮像距離データをもとに、病変発見のための観察を行っているのか、詳細な観察を行っているのかを推定することができる。また薬剤散布時、各処置実施時、狭帯域光使用時の撮像距離データを蓄積することにより、それらを行う際の内視鏡11の位置をデータベース化して傾向を導き出すことができる。
拡大内視鏡を使用した検査において、一般的に病変発見のための観察では広角で観察され、病変発見後の詳細な観察では拡大された状態で観察される傾向にある。従って拡大内視鏡の倍率データをもとに、病変発見のための観察を行っているのか、詳細な観察を行っているのかを推定することができる。また、近年はボタン操作により焦点を切り替える二焦点切り替え式の拡大内視鏡も実用化されており、そのような機種を使用する場合は連続的な倍率変化ではなく広角または拡大のいずれかの状態での観察となる。また薬剤散布時、各処置実施時、狭帯域光使用時の拡大内視鏡の倍率データを蓄積することにより、それらを行う際の拡大内視鏡の倍率をデータベース化して傾向を導き出すことができる。
(実施の形態3)
実施の形態1では、観察光切替、薬剤散布、処置実施に関するデータを時系列的に記録する例を説明した。実施の形態3ではそれらに加えて、内視鏡11により撮像された画像の撮像状態を示すデータを時系列的に記録する例を説明する。
図14は、実施の形態3に係る内視鏡システム10の構成を示す図である。実施の形態3に係る内視鏡システム10は、図2に示した実施の形態1に係る内視鏡システム10に撮像状態分類部123dが追加された構成である。以下、実施の形態1との相違点を説明する。
撮像状態分類部123dは、内視鏡11により時系列的に撮像される各内視鏡画像の撮像状態を分類する。具体的には患者の体腔内の臓器表面を適切に撮像している状態の内視鏡画像であるか否かを分類する。即ち体腔内の臓器を十分に観察できる画像と、体腔内の臓器を十分に観察できない画像とに分類する。以下、前者を分類A、後者を分類Bとする。分類Bの画像には、ハレーション、色ずれ、赤玉(大腸過近接)、多量の泡、残渣、液体、焦点外れ(ボケ)、ぶれ、送水等が含まれる画像が含まれる。内視鏡画像の撮像状態を分類する方法として例えば、特許4615963号、特許4624841号、特許5530406号に記載した方法を使用することができる。これらの方法を用いて分類Bに該当する内視鏡画像を検出し、分類Bに該当しない内視鏡画像を分類Aに分類する。
撮像状態分類部123dは、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤および処置具の画像認識処理と同期して、N秒またはNフレームおきに内視鏡画像の撮像状態を分類し、分類結果をデータ送出部125に渡す。
データ送出部125は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像状態分類部123dから渡された撮像状態データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。
図15は、実施の形態3に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態3に係る内視鏡検査データ記録装置20は、図3に示した実施の形態1に係る内視鏡検査データ記録装置20に撮像状態データ取得部221fが追加された構成である。以下、実施の形態1との相違点を説明する。
撮像状態データ取得部221fは、撮像状態データを内視鏡システム10から取得する。データ記録部225は、撮像状態データ取得部221fにより取得される撮像状態データの推移を検査データ保持部232に記録する。本実施の形態では撮像状態データ取得部221fは撮像状態データの時系列データを取得し、データ記録部225は取得される時系列データをそのまま、または加工して検査データ保持部232に記録する。
図16は、マスタ情報保持部231に保持される撮像状態マスタテーブル231fの一例を示す図である。図16に示す例では、分類Aの「体腔内臓器を十分に観察できる画像」をさらに、観察良好=0と、観察可能=1の2種類に細分類している。また分類Bの「体腔内臓器を十分に観察できない画像」をさらに、残渣、液体、送水=2、ハレーション=3、色ずれ=4、焦点外れ(ボケ)、ぶれ=5、判定不能=6の5種類に細分類している。従って撮像状態が合計7つのカテゴリに分類される。なお、残渣は腸管洗浄等の前処置の成功の程度を反映し、下部内視鏡検査の質の評価において重要視されることもあるため、残渣=7として独立したカテゴリとして合計8つのカテゴリに分類してもよい。
撮像状態マスタテーブル231fと同じテーブルが内視鏡システム10の撮像状態分類部123dにも設けられる。撮像状態分類部123dは所定の時間間隔で内視鏡画像の撮像状態を検出し、検出結果を撮像状態マスタテーブルを参照して番号に変換し、データ送出部125に渡す。
図17は、検査データ保持部232に記録される検査データ232cの一例を示す図である。図17に示す例はデータ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、処置実施データ取得部221c、および撮像状態データ取得部221fにより取得された照射光種別データ、薬剤散布データ、処置実施データ、および撮像状態データの時系列データをそのまま検査データ保持部232に記録した例である。
この例では検査開始から検査終了まで1秒単位で観察光、薬剤散布、処置、撮像状態に関するデータが時系列的に記録される。図17に示す例では検査開始時点で焦点外れ、またはぶれが検出され、検査開始から1秒経過時点で色ずれが検出され、検査開始から2秒経過時点で観察良好な状態になっている。検査開始直後の内視鏡11が口から食道に移動する間は、撮像される画像がブレやすくなる。また検査開始から700秒経過時点で送水がなされており、十分な観察ができない撮像状態になっている。
(実施の形態3の応用例)
実施の形態3に係る以上の説明では、撮像状態分類部123dは、フレーム画像単体から静的な撮像状態を検出して撮像状態を分類した。以下に説明する応用例ではフレーム画像間の変化にもとづき動的な撮像状態を検出して撮像状態を分類する。
撮像状態分類部123dは、時系列的に撮像される内視鏡画像においてフレーム画像間の変化に基づく評価値を算出する。フレーム画像間の変化に基づく評価値は例えば、特許5147308号に記載した方法により算出できる。以下、算出した評価値を変化評価値Pとする。
変化評価値Pの算出は、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤および処置具の画像認識処理と同期して、N秒またはNフレームおきに実行する。その際、現在のフレーム画像と、N秒またはNフレーム過去のフレーム画像との変化に基づき変化評価値Pを算出してもよいし、現在のフレーム画像と直前のフレーム画像との変化に基づき変化評価値Pを算出してもよい。撮像状態分類部123dは、算出した変化評価値Pをもとに動的な撮像状態を検出して分類する。
変化評価値Pはフレーム画像間の変化が小さいほど小さな値をとり、内視鏡11の動きが小さいことを示している。医師が内視鏡11の動きを止めて特定の部位を観察している場合、変化評価値Pは0に近い値をとる。
撮像状態分類部123dは、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤および処置具の画像認識処理と同期して、N秒またはNフレームおきに内視鏡画像の静的および動的な撮像状態を検出してそれぞれカテゴリ分類し、分類結果をデータ送出部125に渡す。データ送出部125は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像状態分類部123dから渡された静的撮像状態データおよび動的撮像状態データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。
撮像状態データ取得部221fは、静的撮像状態データおよび動的撮像状態データを内視鏡システム10から取得する。データ記録部225は、撮像状態データ取得部221fにより取得される静的撮像状態データおよび撮像状態データの推移を検査データ保持部232に記録する。本実施の形態では撮像状態データ取得部221fは、静的撮像状態データおよび動的撮像状態データの時系列データを取得し、データ記録部225は取得される時系列データをそのまま、または加工して検査データ保持部232に記録する。
図18は、マスタ情報保持部231に保持される変化評価値・撮像状態マスタテーブル231gの一例を示す図である。図18に示す例では、上述の静的な撮像状態の分類処理において分類Aに分類された画像が動的な撮像状態の分類処理の対象となり、静的な撮像状態の分類処理において分類Bに分類された画像は動的な撮像状態の分類処理の対象とならない。
分類Aに分類された「体腔内臓器を十分に観察できる画像」の内、画像評価値Pが0.0≦P<0.3の範囲の画像(分類Aa)は、動的な撮像状態が観察良好=0に分類される。画像評価値Pが0.3≦P<0.8の範囲の画像(分類Ab)は、動的な撮像状態が観察可能=1に分類される。画像評価値Pが0.8≦P≦1.0の範囲の画像(分類Ac)は、動的な撮像状態が観察不適=2に分類される。
変化評価値・撮像状態マスタテーブル231gと同じテーブルが内視鏡システム10の撮像状態分類部123dにも設けられる。撮像状態分類部123dは所定の時間間隔で内視鏡画像間の変化評価値Pを算出し、変化評価値・撮像状態マスタテーブルを参照して番号に変換し、データ送出部125に渡す。なお静的な撮像状態を分類Aに分類した内視鏡画像については、変化評価値Pの算出をスキップしてもよい。
図19は、検査データ保持部232に記録される検査データ232dの一例を示す図である。図19に示す例はデータ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、処置実施データ取得部221c、および撮像状態データ取得部221fにより取得された照射光種別データ、薬剤散布データ、処置実施データ、静的撮像状態データ、変化評価値P、および動的撮像状態データの時系列データをそのまま検査データ保持部232に記録した例である。なお、この例では静的な撮像状態が分類Bに分類された内視鏡画像については、変化評価値Pおよび動的撮像状態データが記録されない例であるが、分類Bに分類された内視鏡画像についても変化評価値Pおよび動的撮像状態データを算出・分類して記録してもよい。
図19に示す例では検査開始から検査終了まで1秒単位で観察光、薬剤散布、処置、静的な撮像状態、変化評価値、および動的な撮像状態に関するデータが時系列的に記録される。図19に示す例では検査開始から4秒経過時点と1300秒経過時点で内視鏡11が移動されており、観察不適な状態になっている。
図20は、実施の形態3の応用例に係る内視鏡システム10の動作例を説明するためのフローチャートである。内視鏡システム10の検査開始・終了検知部(不図示)が内視鏡検査の開始を検知すると(S10のY)、その検知時刻をデータ送出部125に通知する。その後、体腔内挿入状態検知部(不図示)が内視鏡11の体腔内への挿入を検知すると(S11のY)、その検知時刻をデータ送出部125に渡す。
画像認識部123は内視鏡11で撮像された内視鏡画像を取得する(S12)。撮像状態分類部123dは、取得された内視鏡画像の静的な撮像状態を検出して分類し、分類結果をデータ送出部125に渡す(S121)。撮像状態分類部123dは、今回取得された内視鏡画像と前回取得された内視鏡画像との差分をもとに変化評価値Pを算出し、変化評価値Pをデータ送出部125に渡す(S122)。撮像状態分類部123dは、算出した変化評価値Pをもとに今回取得された内視鏡画像の動的な撮像状態を検出して分類し、分類結果をデータ送出部125に渡す(S123)。
薬剤散布検知部123aは今回取得された内視鏡画像内において薬剤を探索し、処置実施検知部123bは今回取得された内視鏡画像内において処置具を探索する(S13)。薬剤散布検知部123aおよび処置実施検知部123bは探索結果をデータ送出部125に渡す。照射光切替制御部122は観察光の種別を確認する(S14)。照射光切替制御部122は確認結果をデータ送出部125に渡す。データ送出部125は、観察光、薬剤、処置、静的な撮像状態、変化評価値P、および動的な撮像状態に関するデータをバッファ(不図示)に一時保持する(S15)。
体腔内挿入状態検知部(不図示)が内視鏡11の体腔外への抜去を検知せずに(S16のN)、今回の内視鏡画像の取得からN秒が経過すると(S17のY)、ステップS12に戻り、新たな内視鏡画像を取得する(S12)。体腔内挿入状態検知部(不図示)が内視鏡11の体腔外への抜去を検知すると(S16のY)、その検知時刻をデータ送出部125に渡す。その後、検査開始・終了検知部(不図示)が内視鏡検査の終了を検知すると(S18のY)、その検知時刻をデータ送出部125に通知する。データ送出部125は、バッファ(不図示)に蓄積された時系列データを内視鏡検査データ記録装置20に送出する(S19)。
なおステップS122およびS123の処理は、ステップS121における静的な撮像状態の分類処理において、今回取得された内視鏡画像が分類Bに分類された場合、スキップ可能である。
また分類Bに分類された内視鏡画像について変化評価値Pと動的撮像状態データが生成された場合であっても、ステップS19における時系列データの送出処理において送出対象から除外してもよい。
以上説明したように実施の形態3によれば、実施の形態1の効果に加えて以下の効果を奏する。時系列的に撮像された複数の内視鏡画像のそれぞれの撮像状態を分類して記録することにより、臓器表面等を適切に撮像しているか否か(即ち、臓器表面を十分に観察可能であるか否か)等の状態情報を定量的かつ客観的に記録できる。さらに、隣接するフレーム画像間の変化評価値を算出して記録することにより、内視鏡11の動きを記録することができる。例えば、変化評価値の推移から内視鏡11が挿入操作(移動)中であること、医師が臓器表面を観察している状態にあること等を推測できる。
撮像状態の記録は内視鏡画像の保存を前提とするものではなく、保存されない内視鏡動画像区間、破棄される内視鏡画像についての撮像状態も記録される。撮像状態の時系列データの記録は、内視鏡検査中の医師による内視鏡11の取り扱いを時系列的に記録することを主目的とするものであり、保存される内視鏡画像の品質を記録することを主目的とするものではない。
(実施の形態4)
実施の形態4では、内視鏡検査データ記録装置20に蓄積した内視鏡検査データの利用方法の一例を説明する。
図21は、実施の形態4に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態4に係る内視鏡検査データ記録装置20は、図15に示した実施の形態3に係る内視鏡検査データ記録装置20にデータ解析部224aおよび統計データ保持部233が追加された構成である。以下、実施の形態4に係る処理について説明する。
内視鏡検査における1検査あたりの(a)検査時間は、(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間、(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間の合計で定義できる。
(c)非観察時間とは、患者の臓器の拍動、呼気や観察部位の収縮による画像の乱れ(ハレーション等)、等により医師が十分な観察をできない時間をいう。(d)通常観察時間とは、観察部位を比較的ゆっくりと移動しながら、あるいはスコープの移動を止めた状態で比較的遠めの観察距離から病変の有無を観察する時間をいう(詳細観察時間に分類される時間を除く)。(e)詳細観察時間とは、近接観察、NBI観察、拡大観察、薬剤散布など病変を発見した場合に注意して観察する時間をいう。(f)処置時間とは、生検、ステント留置・抜去、EMRなどの各種処置を実施する時間をいう。
データ算出部224は検査時間(a)を、検査データ保持部232に保持される対象となる内視鏡検査の検査開始時刻と検査終了時刻から算出する。またデータ算出部224は(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間を、検査データ保持部232に保持される当該内視鏡検査の検査開始時刻と内視鏡挿入時刻から算出する。
またデータ算出部224は(c)非観察時間を、検査データ保持部232に保持される当該内視鏡検査の撮像状態データをもとに算出する。例えば、静的な撮像状態の分類処理において「体腔内臓器を十分に観察できない画像」=分類Bに分類された内視鏡画像、および動的な撮像状態の分類処理において観察不適に分類された内視鏡画像が撮像されている区間の合計時間を(c)非観察時間とする。
またデータ算出部224は(e)詳細観察時間を、検査データ保持部232に保持される当該内視鏡検査における特殊光の照射時間、拡大内視鏡を使用した拡大観察時間、薬剤を使用しての観察時間等をもとに算出する。またデータ算出部224は(f)処置時間を、検査データ保持部232に保持される当該内視鏡検査で実施された処置の実施時間をもとに算出する。またデータ算出部224は(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間を、検査データ保持部232に保持される当該内視鏡検査の内視鏡抜去時刻と検査終了時刻から算出する。
またデータ算出部224は(d)通常観察時間を、(a)検査時間から、(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間、(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間の合計を減算することにより算出する。
データ算出部224は、算出した(a)検査時間、(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間、(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間を検査データ保持部232に記録する。
データ解析部224aは、検査データ保持部232に記録されたデータをもとに統計解析を実行し、生成した統計データを統計データ保持部233に記録する。
図22は、統計データ保持部233に記録される統計データ233aの一例を示す図である。この例ではデータ解析部224aは、検査項目、部位、および病変種で内視鏡検査の検査データを分類し、分類ごとに(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間のそれぞれの平均値を算出している。
図22に示す例では、検査項目=上部内視鏡検査、観察部位=胃、病変=ポリープに分類される内視鏡検査の(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間の平均時間と、検査項目=下部内視鏡検査、観察部位=S字状結腸、病変=腺腫に分類される内視鏡検査の(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間の平均時間がそれぞれ算出されている。さらに検査項目=上部内視鏡検査、観察部位=胃、病変=ポリープに分類される内視鏡検査の病変発見率と、検査項目=下部内視鏡検査、観察部位=S字状結腸、病変=腺腫に分類される内視鏡検査の病変発見率がそれぞれ算出されている。
このような統計データを生成することにより、内視鏡検査の分類ごとに内視鏡検査の特徴を調査することができる。また内視鏡検査の分類ごとに、内視鏡11の操作・手技の難易度を定量化でき、検査プロトコルの作成や手技の改良に活用することができる。また、どの時間を多くかけることが病変の発見に大きく寄与するかを検討・調査することも可能となる。
図23は、実施の形態4に係る内視鏡検査データ記録装置20の動作例を説明するためのフローチャートである。データ算出部224は、検査データ保持部232から内視鏡検査の各種データを読み込む(S2240)。データ算出部224は、読み込んだ各種データをもとに各種所要時間((a)検査時間、(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間、(c)非観察時間、(e)詳細観察時間、(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間)を算出する(S2241)。
データ算出部224は、(a)検査時間−{(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間+(c)非観察時間+(e)詳細観察時間+(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間}を計算して、(d)通常観察時間を算出する(S2242)。データ算出部224は、算出された各種所要時間を検査データ保持部232に保存する(S2243)。データ算出部224は、以上の処理を原則的に全ての内視鏡検査の検査データについて実行する。
データ解析部224aは内視鏡検査の分類ごとに、検査データ保持部232から各種所要時間を読み込む(S2244)。データ算出部224は、読み込んだ各種所要時間の統計値(例えば、平均値、中央値)を算出する(S2245)。データ解析部224aは、算出した各種所要時間の統計値を統計データ保持部233に保存する(S2246)。データ解析部224aは以上の処理を、指定された内視鏡検査の分類について実行する。
以上説明したように実施の形態4によれば、内視鏡検査における各時点の状態を示すデータが時系列的に記録されているため、内視鏡検査における各種所要時間を正確に算出できる。従って内視鏡検査の過程を客観的に評価でき、医師の癖や改善点の発見等に活用できる。また複数の内視鏡検査において同じ仕様のデータが収集されるため内視鏡検査における客観的な統計データを算出することができる。従って検査プロトコルの作成や改善に活用できる。また学術データとしても活用できる。
(実施の形態5)
実施の形態5では、内視鏡11により撮像された内視鏡画像に部位情報を付与する方法を説明する。
図24は、実施の形態5に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態5に係る内視鏡検査データ記録装置20は、図3に示した実施の形態1に係る内視鏡検査データ記録装置20に画像取得部221gおよび部位情報付与部226が追加された構成である。以下、実施の形態5に係る処理について説明する。
実施の形態1−4では内視鏡11により撮像された内視鏡画像を、内視鏡システム10から内視鏡検査データ記録装置20に転送する処理を必須としなかったが、実施の形態5では内視鏡画像の転送を必須とする。転送対象となる内視鏡画像は医師によりレリーズ、またはフットスイッチの操作によりシャッターが切られて撮像された静止画像である。当該静止画像は保存用の画像であり、それらの画像の内、医師により選択された画像はレポートに添付される。なお、内視鏡動画像の内視鏡システム10から内視鏡検査データ記録装置20への転送は必須ではない。
画像取得部221gは、医師の操作により内視鏡11で撮像された複数の内視鏡画像を内視鏡システム10から取得する。部位情報付与部226は、取得された内視鏡画像に部位情報(例えば十二指腸、胃、食道)を付与する。部位情報は例えば、以下の方法により付与することができる。
部位情報付与部226は、医師または看護師により手動で入力された部位情報を付与する。具体的には表示制御部223は、画像取得部221gにより取得された内視鏡画像を検査中または検査後に、内視鏡システム10の表示装置13または端末装置30の表示部34に表示させる。医師または看護師は表示された内視鏡画像に、その内視鏡画像がどの部位の画像であるかを手動で入力する。内視鏡検査データ記録装置20の操作受付部222は、医師または看護師により入力された部位情報を受け付け、部位情報付与部226に渡す。
また部位情報付与部226は、内視鏡画像から画像認識により部位を特定することもできる。例えば取得した内視鏡画像と、各部位のパターンデータをマッチングして部位を特定する。なお画像認識により部位を特定できなかった内視鏡画像については医師または看護師が手動で入力する。
また部位情報付与部226は、検査プロトコルに規定された部位の撮影順に従い、内視鏡画像に部位情報を付与することもできる。検査プロトコルとは、観察する部位、観察時の注意事項、記録すべき静止画の条件等を順序立てて手順化したものであり、ルーチン検査を実施する場合に使用される。例えば、上部内視鏡検査では内視鏡11を最初に十二指腸まで挿入し、食道の方向に内視鏡11を戻してくるように観察する手順が用いられている。
図25(a)−(b)は、内視鏡画像に撮影順に部位情報を付与するための部位特定画面50の一例を示す図である。内視鏡検査データ記録装置20の表示制御部223は部位特定画面50を内視鏡システム10の表示装置13または端末装置30の表示部34に表示させる。図25(a)に示す部位特定画面50は、内視鏡画像に部位情報が付与される前の画面である。この例に示す上部内視鏡検査の検査プロトコルでは、(1)十二指腸、(2)十二指腸、(3)胃(幽門)、(4)胃(胃体部)、(5)胃(胃角部)、(6)胃(噴門)、(7)食道(下部)、(8)食道(中部)、(9)食道(上部)、(10)咽喉部の順番に10枚の内視鏡画像を撮影することが規定されている。
1枚目の内視鏡画像欄51の部位情報欄51aに十二指腸が設定され、・・・、4枚目の内視鏡画像欄54の部位情報欄54aに胃(胃体部)が設定され、・・・、10枚目の内視鏡画像欄510の部位情報欄510aに咽喉部が設定される。
医師は、上部内視鏡検査の検査プロトコルに従い内視鏡11を十二指腸の奥まで挿入し、規定された部位の画像を順番に撮影していく。図25(b)に示すように1番目に撮影された画像は1枚目の内視鏡画像欄51に割り当てられる。医師がOKボタン50aを押下すると画像の割り当てが確定する。割り当てられた内視鏡画像に写っている部位と、割り当てられた欄の部位情報が一致しない場合、キャンセルボタン50bを押下することにより割り当てをキャンセルできる。
図25(b)に示す例では、医師は胃(胃角部)の撮影をスキップしている。例えば、3枚目の胃(幽門)の内視鏡画像が割り当てられた段階(4枚目の胃(胃角部)の内視鏡画像の割り当てを待っている段階)で、OKボタン50aを押下すると胃(胃角部)の内視鏡画像の割り当てをスキップできる。以上に説明した検査プロトコルに規定された部位の撮影順序に従い、内視鏡11で撮影された内視鏡画像に部位情報を付与する処理は、内視鏡検査中に同時並行で行ってもよいし、検査後に行ってもよい。
図26は、実施の形態5に係る内視鏡検査データ記録装置20の動作例を説明するためのフローチャートである。この動作例は、検査プロトコルで規定された部位の撮影順に従い実際に撮影された内視鏡画像に部位情報を付与する例である。画像取得部221gは、内視鏡検査において撮影された内視鏡画像を内視鏡システム10から撮影順に取得する(S2260)。部位情報付与部226は、検査プロトコルで規定された部位の撮影順に従い、内視鏡システム10から取得された内視鏡画像に部位情報を付与する(S2261)。部位情報付与部226は、部位情報が付与された内視鏡画像を、ネットワーク2を介して画像記録装置(不図示)に転送する(S2262)。なお内視鏡検査データ記録装置20に内視鏡画像も保存する場合は、記憶部23内の画像保持部(不図示)に保存する。
以上説明したように実施の形態5によれば、内視鏡検査において撮像された保存用の内視鏡画像に対して簡単に部位情報を付与することができる。特に検査プロトコルで規定された部位の撮影順に従い内視鏡画像に部位情報を付与する方法では、医師が意識的に検査プロトコルを順守する動機付けにもなる。手動で部位情報を入力する必要がないため医師や看護師による煩雑な作業が不要となる。また画像認識処理により内視鏡画像から部位を検出する方法は部位を誤認識する可能性があるが、撮影順に従い内視鏡画像に部位情報を付与する方法では、医師が撮影順を順守していれば誤った部位情報が付与されることがない。
(実施の形態6)
実施の形態1に係る内視鏡検査データ記録装置20のデータ算出部224は、各種時系列データをもとに、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、および各処置の実施回数を算出した。この算出の基礎として使用される時系列データは、対象となる内視鏡検査の全期間(検査開始時刻から検査終了時刻までの期間)のデータである。
実施の形態5ではデータ算出部224は、内視鏡検査における指定された2地点間の、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、および各処置の実施回数の少なくとも1つを算出する。内視鏡検査における2地点は、時刻、検知情報、撮像画像などで指定できる。
図27は、内視鏡検査における2地点の指定画面60の一例を示す図である。内視鏡検査データ記録装置20の表示制御部223は、2地点の指定画面60を内視鏡システム10の表示装置13または端末装置30の表示部34に表示させる。指定画面60は任意ボタン61 観察光ボタン62、薬剤ボタン63、処置ボタン64を含む。
任意ボタン61は2地点を時刻で指定するためのボタンである。観察光ボタン62は観察光の種別を選択し、選択された観察光の使用開始時刻と使用終了時刻を2地点として指定するためのボタンである。薬剤ボタン63は薬剤の種別を選択し、選択された薬剤を使用した観察開始時刻と観察終了時刻を2地点として指定するためのボタンである。処置ボタン64は処置の種別を選択し、選択された処置の実施開始時刻と実施終了時刻を2地点として指定するためのボタンである。
図27は、医師または看護師により薬剤ボタン63が押下され、薬剤の選択ウインドウ63aが表示された状態を描いている。例えばルゴールが選択されると、ルゴールを散布した状態での観察開始時刻と観察終了時刻が2地点として指定される。
内視鏡検査における2地点は、2つの部位情報を選択することによっても指定できる。実施の形態5で説明したように内視鏡画像に部位情報が付与されている場合、部位情報が付与された2枚の内視鏡画像を選択することによっても、2地点を指定できる。
図28は、内視鏡検査における部位間選択画面70の一例を示す図である。内視鏡検査データ記録装置20の表示制御部223は、部位間選択画面70を内視鏡システム10の表示装置13または端末装置30の表示部34に表示させる。部位間選択画面70は、第1エリア71、第2エリア72を有する。
第1エリア71は、2つの部位名を選択して部位間を選択するエリアである。図28は第1選択欄71aのプルダウンメニューから胃(幽門)が選択され、第2選択欄71bのプルダウンメニューから胃(噴門)が選択された例を描いている。
第2エリア72は、部位情報が付加されている複数の内視鏡画像から2つの内視鏡画像を選択して2つの部位を選択し、部位間を選択するエリアである。図28は、3番目に撮影された胃(幽門)の内視鏡画像72aと、6番目に撮影された胃(噴門)の内視鏡画像72bが選択された例を描いている。
以上説明したように実施の形態6によれば、内視鏡検査における任意の2つの地点間における観察時間等を算出できるため、内視鏡検査のきめ細かな分析や評価が可能となる。例えば胃の観察において噴門、胃体部、胃角部、等の部位ごとの観察時間を算出できるため、きめ細かな分析や評価が可能となる。例えば、観察手順が検査プロトコルに沿って、標準時間通りに行われているか分析できる。
(実施の形態7)
経験が浅い非熟練医師が内視鏡検査を行った場合、検査後に熟練医師が指導を兼ね、所見の見落としが無いか、診断の誤りが無いか、撮影/検査が正しく行われているか等のチェック(ダブルチェック)を行うことが一般的である。そのためには非熟練医師の検査に熟練医師が立ち会う必要があるが、実際の医療現場では、常に熟練医師が立ち会うことは難しく効率的でもない。そのため、モニタ室等で全検査室の検査状況を一括表示することが行われている。この場合、内視鏡11で撮像された動画像をリアルタイムに表示することが多い。複数の検査室の情報が並行して表示されても、全ての情報を詳細に把握することは困難である。また、非熟練医師の内視鏡検査のスキルアップの面からも検査中のプロセスを評価することが重要である。
そこで実施の形態7では、内視鏡検査の各時点の状態を示すデータを記録するとともにリアルタイムにモニタに表示させる。これにより非熟練医師の評価(ダブルチェック)や指導を効率的に支援することができ、非熟練医師のスキルアップにも寄与する。
実施の形態7では内視鏡システム10のデータ送出部125は、照射光切替制御部122から渡された照射光種別データ、薬剤散布検知部123aから渡された薬剤散布データ、および処置実施検知部123bから渡された処置実施データをリアルタイムに、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。即ちバッファ(不図示)にデータを蓄積せずに、渡されたデータを逐次送出する。
上述したように内視鏡検査データ記録装置20の照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cによりそれぞれ取得されるデータの推移は、データ記録部225により検査データ保持部232に記録される。それと共に当該データの推移は、表示制御部223により端末装置30に転送され、表示部34の画面に表示される。表示制御部223は当該画面に内視鏡検査の各時点の状態を示すデータの推移とともに、当該内視鏡検査で撮像された画像を併せて表示させてもよい。内視鏡動画像をリアルタイムに表示し続けてもよいし、医師の操作により撮影された静止画像を表示させてもよい。なお、当該画面と同じ画面を内視鏡システム10の表示装置13に表示させてもよい。その場合、検査を実施している医師本人が当該画面を見ることができる。
図29は、内視鏡検査の推移をデータで表した画面例の第1状態(検査開始直後)を示す図である。図30は、内視鏡検査の推移をデータで表した画面例の第2状態(検査開始から5分経過時)を示す図である。図31は、内視鏡検査の推移をデータで表した画面例の第3状態(検査開始から11分経過時)を示す図である。図32は、内視鏡検査の推移をデータで表した画面例の第4状態(検査終了時)を示す図である。
図29−図32に示す画面34a−34dでは、使用中の観察光の種別が模様で表現されている。なお観察光の種別を色分けで表現してもよい。またレリーズが切られたタイミング、薬剤が散布されたタイミング等のイベント発生時に、イベント内容と時刻情報が表示される。またレリーズが切られて撮像された内視鏡画像が、そのレリーズが切られた時点に対応する位置に表示される。以上のような内視鏡検査の各時点の状態を示すデータが内視鏡検査の進行とともに画面内に追加されていく。
なお画面34a−34dに検査プロトコル(挿入方法、観察部位、観察方法、撮影タイミング等)を表示させ、検査プロトコル通りに内視鏡検査が実施されているかを確認できるようにしてもよい。
なお複数の検査室で内視鏡検査が同時並行で行われている場合、各内視鏡検査の推移を示すデータを、画面分割で表示してもよい。また複数のモニタを用意し、それぞれのモニタに表示してもよい。
以上説明したように実施の形態7によれば、内視鏡検査の推移を示す時系列データを記録するだけでなく、そのデータをリアルタイムに経時的にモニタに表示させることにより、検査がどのように進んでいるかをモニタリングすることができ、検査プロトコルへの準拠状態や時間的な進行度合い等を確認することができる。従ってミスの防止や検査の進行状況・効率を把握することが可能となる。また内視鏡システム10の表示装置13に表示した場合、検査を実施している医師がプロセスの確認ができ、自己評価もできる。
(実施の形態8)
実施の形態8では、検査プロトコルに沿って検査が実施されたかどうかを容易に確認できるようにする仕組みを提案する。実施の形態5に関して説明したように、検査の手順を定義した検査プロトコルを定めた医療施設においては、医師が、検査プロトコルにしたがって検査を実施することが求められる。そこで実施の形態8では、たとえば非熟練医が作成した検査レポートを指導医である熟練医がチェックする際に、非熟練医が実施した検査が、検査プロトコルにしたがって行われているか熟練医が容易に確認できる仕組みを提供する。
検査プロトコルは、内視鏡検査において医師が実施するべきタスクと、その実施順序を含むプロトコルデータにより定義される。タスクは、内視鏡検査において医師が実施するべき仕事であり、検査プロトコルの要素を構成する。基本的にタスクは、患者の体内のどこで、何をするかを定めたものであり、実施の形態8では説明の便宜上、主として、患者のどの部位を撮影するか定義した撮影タスクに関して説明する。
実施の形態8では、検査データ保持部232に記録された検査データを利用して、医師の検査手順と、検査プロトコルとを比較し、比較結果を表示する。これにより熟練医は、非熟練医が実施した内視鏡検査が検査プロトコルにしたがって行われたものであるか容易に判断できるようになる。
図33は、実施の形態8に係る内視鏡業務支援システム1の構成を示す図である。実施の形態8において、内視鏡業務支援システム1は、医師によるレポート作成のために、図1に示す構成に加えて、画像記録装置42および管理サーバ90をさらに備える。画像記録装置42は、内視鏡画像を記録する装置であり、実施の形態5において部位情報を付加された内視鏡画像が記録される。なお内視鏡画像には、メタデータとして、撮影時刻を示す時間情報、画像番号がメタデータとして含まれている。
管理サーバ90は、内視鏡検査のオーダ情報やレポートデータを管理する。管理サーバ90は、患者の検査オーダを記憶するオーダ情報保持部91、医師により作成された検査レポートのレポートデータを記憶するレポートデータ保持部92とを備える。
端末装置30において、制御部32は、レポート入力画面生成部321、画像取得部322、比較結果画面生成部323、入力受付部324、登録処理部325を備える。実施の形態8において、端末装置30は、画像記録装置42にアクセスして、記録された内視鏡画像を表示部34に表示できる。医師が検査レポートを作成する際には、内視鏡検査の検査IDに紐づけられて画像記録装置42に保持されている全ての内視鏡画像のサムネイルが端末装置30に読み出され、医師が検査レポートに添付する内視鏡画像を選択できるように、サムネイル一覧が表示部34に表示される。レポート入力画面生成部321は、医師がレポートを作成するための入力画面を生成して表示部34に表示する機能をもつ。医師は内視鏡検査を終了すると、端末装置30でユーザインタフェースを操作して検査レポートを作成する。
図34は、実施の形態8に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態8に係る内視鏡検査データ記録装置20において、制御部22は、操作受付部222、表示制御部223、データ記録部225および比較処理部240を備えて構成される。記憶部23は、検査データ保持部232、検査プロトコル保持部234および比較結果保持部235を備える。
実施の形態1〜7に関して説明したように、検査データ保持部232は、照射光種別データ、薬剤散布データ、処置実施データなどの医師が実施した検査データを、時間情報とともに保持している。以下、時間情報とともに記録されている個々のデータを「データ要素」と呼ぶ。またデータ記録部225は、検査開始、検査終了、挿入開始、抜去のイベントを、時間情報とともに検査データ保持部232に記録しており、したがって検査データ保持部232は、検査開始、検査終了、挿入開始、抜去のイベントを、医師が実施した検査データとして、時間情報とともに保持している。さらに検査データ保持部232は、撮影のイベントを、医師が実施した検査データとして、時間情報とともに保持している。
図35は、検査データ保持部232に記録される検査データ232eの一例を示す図である。図35に示す例は、データ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、処置実施データ取得部221c、撮像距離データ取得部221dのそれぞれより取得された照射光種別データ、薬剤散布データ、処置実施データ、撮像距離データをそのまま検査データ保持部232に記録した例である。また、この例では、実施の形態5における画像取得部221gが内視鏡画像を取得する際、データ記録部225が、内視鏡画像の撮影タイミングを、検査データとして画像番号とともに検査データ保持部232に記録している。なお内視鏡画像には、撮影時刻を示す時間情報がメタデータとして付加されており、画像取得部221gが内視鏡画像を取得したときに、メタデータである時間情報および画像番号を読み取り、データ記録部225が、検査データとして、撮影時刻および画像番号を、検査データ保持部232に記録してもよい。
検査データ232eについて説明する。実施の形態1〜7で検査データに関して説明したように、検査データは、検査開始から検査終了まで、たとえば1秒ごとの状態値として時系列的に記録されているが、図35では、説明の便宜上、各データの状態値に変化が生じた場合の実施記録のみを、理解しやすい形式で示している。なお1秒ごとに各データが記録されている場合、記録されている各データが「データ要素」である。
図35に示す検査データ232eにおいて、最上段は、時間(分:秒)と、イベント名を表現している。ここでは各データの状態値の変化を「イベント」と称している。図6(a)に示す観察光種別マスタテーブル213aを参照すると、観察光種別として白色光=1、狭帯域光=2、蛍光=3、近赤外光=4の4種類が規定されている。なお観察光がオフの場合は、オフ=0である。観察光種別の状態値“1”が、状態値“2”に変化することは、観察光が白色光から狭帯域光に切り替えられたことを意味するが、図35においては、この変化を「観察光切替」イベントと呼んでいる。
2段目の「撮影」は、状態値0が、そのタイミングで撮影されていないことを示し、画像Nは、N番目に画像が撮影されたことを示す。つまり状態値0のときには、撮影イベントは発生しておらず、状態値が0以外のとき(この例では“画像N”が保持されているとき)に、撮影イベントが発生している。3段目の「観察光」は、観察光種別を示す。なお「観察光」の状態値0は、観察光のスイッチがオフされていることを示す。4段目の「薬剤散布」は、薬剤種別を示し、この例では状態値がすべて0となっており、検査中に薬剤が散布されていないことを示す。5段目の「処置」は、処置種別を示し、6段目の「距離分類」は、距離カテゴリを示す。
図36は、検査データ232eの時間関係を示す図である。図36では、検査データ232eにおけるイベントを、その発生時間とともに時間軸上に配置している。実施の形態8では、比較処理部240が、検査データ232eを解析して、イベントが、検査プロトコルにおけるタスクに対応しているか、またタスクが効率的に実施されているかを判断する。
図34に戻り、検査プロトコル保持部234は、内視鏡検査において医師が実施するべき複数のタスクおよびその実施順序を含むプロトコルデータを保持する。ここで検査プロトコル保持部234は、複数のタスクを、その実施順序に関連づけて記憶するが、タスクと実施順序との関連づけは、そのタスクの検査開始からの実施時刻を設定することで行われてもよい。なお実施の形態8では、検査プロトコルとして、食道、胃、十二指腸の順番で検査を進めることが規定されている。この順番は一例であり、実施の形態5で説明したように、十二指腸、胃、食道の順番で検査を進めることが規定されていてもよい。検査プロトコルは、医療施設ごとに定められるものであり、観察の順番は、医療施設の検査運用にしたがうことになる。以下、タスクの具体例について説明する。
(タスク1)口腔内に内視鏡を挿入する。<0:45>
最初のタスクは、口腔内に内視鏡11を挿入することを規定する。ここで< >内に規定される時間情報は、検査開始からの標準時間を示す。つまりタスク1は、検査開始から45秒経過時に、口腔内に内視鏡を挿入することを規定している。検査終了後の比較処理部240による比較処理において、実際の検査データ(挿入イベント)から、内視鏡11の挿入が、検査開始から3分後に行われたことが判定されるような場合には、医師が内視鏡の挿入に手間取って、余計な時間をかけていることが分かる。検査プロトコルは、効率よく内視鏡検査を実施するために設定されたものであり、イベント間の時間が、タスク間の標準時間よりも遅れている場合、検査が適切に進行しなかったことを意味する。
(タスク2)白色光をオンにする。<0:46>
(タスク3)上部食道を撮影する。<1:45>
(タスク4)中部食道を撮影する。<1:55>
(タスク5)下部食道を撮影する。<2:05>
(タスク6)胃体部を撮影する。<2:30>
(タスク7)前庭部を撮影する。<3:50>
(タスク8)幽門部を撮影する。<4:10>
(タスク9)十二指腸上部を撮影する。<4:30>
(タスク10)内視鏡を抜去する。<5:30>
なお、これらのタスクは内視鏡上部ルーチン検査におけるタスクの一例であり、実際の運用では、さらに多くのタスクが設定される。検査プロトコル保持部234は、各タスクと、各タスクが実施されるべき時間情報とを対応付けたプロトコルデータを保持する。
検査データ保持部232は、内視鏡検査で医師が実施した検査データ232e(図35参照)を、時間情報とともに記録している。比較処理部240は、検査データ保持部232に記録された検査データを、検査プロトコル保持部234に保持されたプロトコルデータと比較する。なお、この比較処理は、検査が終了したタイミングで実施されるが、医師が検査レポートを作成するタイミングで実施されてもよい。いずれの場合であっても、医師が検査レポートを作成する際には、比較処理が完了していることが好ましい。
図37は、比較処理部240による比較処理の一例を示す。比較処理部240は、検査データ232eを、プロトコルデータ234aと比較する。具体的に比較処理部240は、検査データ232eにおけるイベントと、プロトコルデータ234aにおけるタスクとが対応しているか否かを確認し、対応しているイベントとタスクとを対応付ける処理を実施する。イベントとタスクとを対応付けることで、後に検査データ232eとプロトコルデータ234aとを表示する際に、対応付けたイベントとタスクとの組を医師が認識できるように表示できる。
なおNBIは粘膜表面の微細な血管を観察するために利用され、観察中に医師が気になる箇所を見つけた場合に、白色光をNBIに切り替えて詳細観察を行う。プロトコルデータ234aは、内視鏡上部ルーチン検査における標準手順を示しているため、プロトコルデータ234aには、狭帯域光(NBI)を使用する手順や、生検を実施する手順などは含まれていない。
比較処理部240は、検査データ232eにおけるイベントと、プロトコルデータ234aにおけるタスクとを対応付ける処理を行う。図37において、検査データ232eの各イベントから、プロトコルデータ234aの各タスクに向かう矢印は、イベントとタスクとを対応付けたことを示す。この対応付けは、イベントおよびタスクの種類と時間情報にしたがって実施される。実施の形態8において、タスクの種類は、内視鏡11の挿入、抜去を含む操作タスクと、静止画像の撮影タスクの2種類に分けられる。たとえば比較処理部240は、検査開始から1分後に実施された挿入イベントを、挿入タスクであるタスク1に対応付け、また検査開始から7分40秒後に実施された抜去イベントを、抜去タスクであるタスク10に対応付ける。その後、比較処理部240は、撮影イベントと撮影タスクとを対応付ける処理を行う。
撮影イベントと撮影タスクとの対応付け処理において、比較処理部240は、NBI観察中に実施された撮影イベントを、撮影タスクに対応付けない。NBI観察は、検査プロトコルには含まれておらず、NBI観察中の撮影は、標準手順とは異なるイレギュラーなイベントであることが考えられる。なおNBI観察のみならず、蛍光観察、近赤外光観察も同様であり、それらの特殊光観察中における撮影イベントは、検査プロトコルで予定されている撮影タスクとは関係がないことが多い。そこで比較処理部240は、特殊光観察中に実施された撮影イベントは無視して、白色光観察中に実施された撮影イベントを時系列に抽出し、検査プロトコルの撮影タスクに順に対応付ける。比較処理部240は、対応付けた比較結果、すなわちイベントとタスクの組を、比較結果保持部235に記録する。
医師は、端末装置30でユーザインタフェースを操作して、比較処理部240による比較結果を表示部34に表示してもよい。図33を参照して、医師はユーザインタフェースを操作して、比較結果の表示操作を行うと、操作入力部35が操作入力を受け付けて、比較結果画面生成部323が、検査データとプロトコルデータとの比較結果を表示部34に表示する。
図38は、比較結果画面の一例を示す。比較結果画面生成部323は、時系列表現される検査データとプロトコルデータとを同一画面に並べて、検査データにおけるイベントと、プロトコルデータにおけるタスクとを対応付けた比較結果を表示部34に表示する。この比較結果は、検査の実施状況を示す検査データにおけるイベントと、検査プロトコルにおけるタスクとの対応関係が認識できるように表示され、具体的には、イベントとタスクとの対応関係が認識できるように、イベントとタスクとを結ぶラインが表示される。なお対応関係の表現は、たとえばイベントとタスクの組ごとに色を設定し、他の組とは異なる色で表示することで、対応関係が認識できるようにされてもよい。なおプロトコルデータの時系列表現において、タスク1、タスク2と表示するのではなく、具体的なタスクの内容がテキスト表示されてもよい。
検査の実施医を指導する指導医は、比較結果画面を表示部34に表示させて、検査がプロトコルどおりに実施されているか確認できる。比較結果画面において、時間情報にしたがって時系列に並べた検査データと検査プロトコルとを同時に表示し、比較結果としてイベントとタスクとを対応付けたラインが表示されることで、指導医は検査の実施状況と検査プロトコルとの関係を容易に把握できる。
なお検査データにおける撮影イベントに対して、内視鏡画像のサムネイル87a〜87jが添付されていてよい。たとえばタスクにカーソルをあてると、タスクの内容が表示され、またサムネイル87にカーソルをあてると、拡大画像が表示される。これにより比較処理部240により自動的に対応付け処理されたイベントとタスクの関係が正しいかどうか、医師は判断でき、誤った対応付けがなされている場合には、医師は、適宜修正できる。たとえば比較結果画面に表示されるライン(矢印)は、動かせるように表示され、医師は正しいイベントとタスクとを結ぶようにラインを動かすことができる。
なお比較処理部240は、イベントとタスクとの対応付けができない場合には、対応付け処理を行わない。特殊光観察中の撮影イベントに対してタスクとの対応付けを行わないことを説明したが、たとえば比較結果画面においては、かかるイベントに対してタスクとの対応付けを行っていないことを明示してもよい。図38に示す比較結果画面において、たとえばレリーズ5、レリーズ6の撮影イベントに対しては対応付けが行われていないが、比較結果画面生成部323は、かかる撮影イベントに対して対応付けが行われていないことを示すコメントを、比較結果画面に表示してもよい。
なお、対応付けができないタスクが存在する場合には、比較処理部240が、当該タスクに対して対応付けを行えないことを示す情報を、比較結果保持部235に記録する。これにより比較結果画面生成部323が比較結果を表示する際、当該タスクにイベントが対応付けられていないことをユーザに通知するようにする。タスクに対応するイベントが存在しないことは、検査プロトコルにしたがって検査が実施されていないことを意味するため、比較結果画面生成部323は、かかる状況を医師に通知する必要がある。
なお画像記録装置42には、実施の形態5において部位情報を付加された内視鏡画像が記録される。また内視鏡画像には、メタデータとして、撮影時刻を示す時間情報、画像番号がメタデータとして含まれている。比較処理部240は、検査データ232eとプロトコルデータ234aとを比較する際、検査データ232eにおける撮影イベントの撮影部位を、画像記録装置42に記録された内視鏡画像の部位情報を参照して特定することが好ましい。プロトコルデータ234aの撮影タスクには、撮影する部位情報が含まれており、撮影イベントで撮影された内視鏡画像には、撮影された部位情報が含まれている。したがって比較処理部240は、部位情報が一致する撮影イベントと撮影タスクとを対応付けることで、正確な対応付け処理を実現できる。
検査プロトコルにおける撮影タスクは、いわば最小限の撮影処理を定義したものであり、実際の検査では、より多くの撮影イベントが実施されてよい。そのため対応付け処理が時系列にしたがうことを前提として、部位情報も参照することで、より正確な対応付けが実現できる。
比較処理部240は、イベントとタスクとを対応付けた後、実施された検査の評価を行ってもよい。図37を参照して、内視鏡の挿入タスク(タスク1)は、検査開始から45秒後に実施されることが定義されているところ、実際の挿入イベントは、検査開始から1分後に実施されている。つまり検査プロトコルで定める時間よりも、15秒遅れている。比較処理部240は、2つのイベントの間の経過時間と、2つのタスクの間の標準時間とを比較して、2つのイベントの間の経過時間が、標準時間よりも所定時間を超えるような場合には、警告を示す情報を比較結果保持部235に記録してもよい。これにより比較結果画面生成部323が表示する比較結果画面に、警告を示す情報が表示されるようにしてもよい。
図39は、内視鏡検査のレポート入力画面の一例を示す。レポート入力画面生成部321が、管理サーバ90のオーダ情報保持部91からオーダ情報を取得し、また画像記録装置42から内視鏡画像のサムネイルを取得して、レポート入力画面を生成する。検査の実施医は、検査が終了すると、レポート入力画面からレポート入力を行う。
レポート入力画面の左欄には、患者情報および内視鏡画像のサムネイルが表示される。レポート入力画面生成部321は、画像記録装置42から取得した内視鏡画像のサムネイルを一覧領域80に並べて表示する。なお一覧領域80の右側にはスクロールバー81が設けられ、医師はスクロールバー81をスクロールして、内視鏡画像の全てのサムネイルを閲覧できる。内視鏡画像には検査IDがメタデータとして付加されており、さらに実施の形態5において説明したように、部位情報もメタデータとして付加されている。
レポート入力画面の右欄には、レポート入力すべき項目が表示される。図39に示す例では項目として「観察範囲」、「総合診断」、「検査後指示/合併症」および「各種コメント/使用スコープ/追加項目」が表示される。「観察範囲」は、人体の部位ごとに所見内容、診断内容、処置内容を入力する項目である。「総合診断」は、総合診断の内容を入力する項目である。「検査後指示/合併症」は、検査後の医師からの指示内容および合併症の有無を入力する項目である。「各種コメント/使用スコープ/追加項目」は、上記に記載した以外のコメントおよび検査に使用したスコープの種別を入力する項目である。
ここでは観察範囲が「食道」、「胃」、「十二指腸」であり、医師は「観察範囲」の項目に、検査した部位の所見内容、診断内容、処置内容を入力する。医師はキーボードなどのユーザインタフェースから各内容を入力し、入力受付部324が、レポート入力を受け付ける。
添付画像領域83には、添付画像として選択された画像A、画像Bが表示され、添付画像領域84には、添付画像として選択された画像C、画像Dが表示されている。これらの表示画像は、一覧領域80におけるサムネイルをさらに縮小した画像であってよい。
医師がレポート入力を終了し、登録ボタン82を操作すると、レポートデータが登録される。具体的には登録処理部325が、入力されたレポートデータを管理サーバ90のレポートデータ保持部92に記録する。検査の実施医がレポート入力を完了した後、指導医が、レポートデータ保持部92からレポートデータを読み出して、実施医の入力内容をチェックする。
実施の形態8において、レポート入力画面に、検査データとプロトコルデータとの比較結果を表示するための表示ボタン85a、85b、85c、85dが表示される。これらの表示ボタン85は、検査の実施医がレポート入力する際には表示されておらず、指導医が入力内容を確認する際に表示されるようにしてもよい。
表示ボタン85aは、検査データの全体と、プロトコルデータの全体の比較結果を表示するためのボタンである。指導医が表示ボタン85aを、マウスなどのユーザインタフェースから操作すると、検査データの全体とプロトコルデータの全体との比較結果画面が表示される。たとえば、図38に示した比較結果画面が表示されてもよい。なお比較結果画面においては、サムネイル87は、レポート添付された画像のみが表示されてもよい。
表示ボタン85bは、食道に関する検査データとプロトコルデータの比較結果を表示するためのボタンである。表示ボタン85cは、胃に関する検査データとプロトコルデータの比較結果を表示するためのボタンである。表示ボタン85dは、十二指腸に関する検査データとプロトコルデータの比較結果を表示するためのボタンである。比較処理部240は、比較結果を比較結果保持部235に記録する際に、検査データにおける食道と胃の境界点、および胃と十二指腸の境界点を、時間情報として記録しておく。なお、これらの境界点は、たとえば画像解析により自動判別されて、時間情報として記録されていてもよい。また、これらの境界点は、ユーザにより時間情報を指定されて記録されてもよい。プロトコルデータにおいては、これらの境界点を予め設定しておけばよい。これにより比較結果画面生成部323は、食道に関する比較結果、胃に関する比較結果、十二指腸に関する比較結果を切り分けて表示できる。
図40は、表示ボタン85bが操作されたときの比較結果画面を示す。入力受付部324が表示ボタン85bの操作を受け付けると、比較結果画面生成部323が、比較結果保持部235から、胃に関する検査データとプロトコルデータの比較結果を読み出して、比較結果画面を生成し、表示部34に表示する。比較結果画面は、レポート入力画面に重畳されて表示されてよい。
このとき比較結果画面生成部323は、比較結果とともに、検査の評価を入力するための入力欄を表示する。指導医は、評価入力欄に、フリーテキストで評価コメントを入力できる。評価コメントを入力後、OKボタンが操作されると、評価コメントが、レポートデータ保持部92に登録される。これにより、検査レポートを入力した実施医は、後で、評価コメントを見ることができるようになる。
図39に戻り、レポート入力画面生成部321は、検査レポートの入力画面において、比較結果を表示するための表示ボタン85を表示するが、評価コメントの入力欄に評価入力が行われている場合には、表示ボタン85を、評価入力が行われていない場合とは異なる態様で表示する。具体的には、評価入力が既に行われていることを示す態様で表示することが好ましい。この例では、表示ボタン85bに(評価あり)との表示がなされて、指導医が、評価コメントを入力したことが一見して分かるようになっている。なお表示ボタン85bの表示は、別の態様であってもよく、いずれにしても評価コメントが入力されたことを示す態様であればよい。
これにより検査の実施医が、レポート入力画面を見たときに、指導医の評価済みであることを一見して理解できる。実施医は、表示ボタン85bを操作することで、評価コメントを入力された比較結果画面を参照できる。なお図39には、表示ボタン85bのみが評価済みの表示態様で示されているが、指導医は、胃、十二指腸に関する評価コメントも入力して、表示ボタン85c、85dが評価済みの表示態様となることが好ましい。
(実施の形態9)
実施の形態4では、内視鏡検査データ記録装置20に蓄積した内視鏡検査データの利用方法の一例として、内視鏡検査における各種所要時間を算出することを説明した。実施の形態9では、内視鏡検査データ記録装置20に蓄積した内視鏡検査データの利用方法の別の例として、個々の医師の統計データを算出して、医師間の差異を視覚化することを目的とする。
図41は、実施の形態9に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態9に係る内視鏡検査データ記録装置20は、図21に示した実施の形態4に係る内視鏡検査データ記録装置20に画像取得部221g、医師情報取得部221hが追加された構成である。以下、実施の形態9に係る処理について説明する。
医師情報取得部221hは、検査の実施医の情報を取得する。たとえば医師情報取得部221hは、検査の開始時に内視鏡システム10から医師情報を取得してもよい。また操作受付部222が、検査後に、検査の実施医の情報を受け付けてもよい。医師情報取得部221hまたは操作受付部222が取得した医師情報は、データ記録部225に渡され、データ記録部225は、検査データとして検査データ保持部232に記録する。これにより検査の実施状況を示す検査データが、医師情報に紐付けられる。またデータ取得部221は、検査の実施日に関する情報も取得し、データ記録部225は、検査データとして検査データ保持部232に記録する。このようにして検査データ保持部232は、内視鏡検査の推移を示す検査データを内視鏡検査ごとに保持する。
実施の形態9では、データ算出部224が、検査データ保持部232に保持されている検査データにもとづいて、内視鏡検査における時間情報を、医師ごとに算出する。上記したように検査データは医師情報に紐付けられており、したがってデータ算出部224は、医師ごとに、内視鏡検査における時間に関する統計データを算出できる。表示制御部223は、データ算出部224が算出した統計データを、比較可能な形式で表示する。具体的に表示制御部223は、医師ごとに算出された統計データを、比較可能な形式で表示する。
一例としてデータ算出部224は、検査データ保持部232に保持される当該内視鏡検査の内視鏡挿入時刻と抜去時刻とから、患者の体腔内に内視鏡11が挿入されている時間(挿入時間)を、医師ごとに算出する。なお挿入時間は、検査種別ごと、たとえば上部検査、下部検査ごとに算出される。またデータ算出部224は、所定の期間における挿入時間を算出してもよい。たとえばデータ算出部224は、医師ごとの挿入時間を月単位で算出して、表示制御部223が、医師ごとの経時的な挿入時間の推移をグラフ表示する。たとえばグラフ表示は、端末装置30における表示部34に表示されてよい。
図42(a)は、挿入時間の推移を表現したグラフを示す。このグラフは、各医師ごとの各月の平均挿入時間を示す。複数の医師の平均挿入時間を月ごとにプロットすることで、どの医師の挿入時間が長く、また挿入時間が変化している様子が示される。
データ算出部224は、検査データまたはレポートデータから医師ごとの症例数を取得し、各医師ごとに所定の症例数ごとの平均挿入時間を算出して、挿入時間と症例数との関係を導出してもよい。表示制御部223が、症例数と平均挿入時間の推移をグラフ表示する。
図42(b)は、症例数と平均挿入時間を推移表現したグラフを示す。
なおデータ算出部224は、検査項目種別、患者属性(たとえば年齢、性別、身長、体重などの情報)、内視鏡ごとの統計データを算出して、表示制御部223が、グラフ表示を行ってもよい。またデータ算出部224は、レポートデータも加味した統計データを算出してもよい。
図43は、症例数と病変発見率との関係を推移表現したグラフを示す。データ算出部224は、レポートデータを参照して、観察部位に関連づけられた病変所見の情報を取得して、所定の症例数ごとの病変発見率を統計データとして算出してもよい。表示制御部223が、症例数と病変発見率の推移をグラフ表示する。
なお実施の形態9では、挿入時間に限らず、体腔に挿入してから、所定の部位を通過するまでの時間を、データ算出部224が医師ごとに算出してもよい。たとえば医師は、内視鏡11が所定の部位を通過したときの画像を撮影し、画像取得部221gが取得して、データ解析部224aが、撮像画像を画像解析して、所定の部位の画像であることを認識してもよい。これにより、所定の部位の通過時間を、検査データ保持部232に記録できる。表示制御部223は、医師ごとに、所定の部位を通過するまでの平均時間を月ごとにプロットしたグラフを表示部34に表示してもよい。
このように検査データ保持部232が、様々な検査データを記録することで、データ算出部224は、自由自在に統計データを算出できる。
図44(a)は、観察時間と病変発見率の相関関係を表現したグラフを示す。このグラフによると、観察時間が長いほど、病変発見率が上がることが分かる。
図44(b)は、挿入時間と患者の苦痛度の相関関係を表現したグラフを示す。患者の苦痛度は、検査後に患者に対して行うアンケートなどから取得できる。なお苦痛度0は苦痛であったこと、苦痛度5は楽であったことを示す。このグラフによると、挿入時間が長いほど、苦痛度が高いことが分かる。
図45(a)は、大腸検査における前処置具合と、病変発見率の相関関係を表現したグラフである。このグラフによると、前処置具合が良好であるほど、病変発見率が上がることが分かる。
図45(b)は、ERCP(内視鏡的逆行性胆管膵管造影)関連手技における検査時間と、合併症発生率の相関関係を表現したグラフである。このグラフによると、ERCP関連手技の検査時間が長いほど、合併症の発生リスクが高まることが分かる。この場合、データ算出部224は、患者の検査記録を追跡調査することで、合併症の発生有無を検出して、合併症発生率を算出する。
以上説明したように実施の形態9によれば、内視鏡検査における各時点の状態を示すデータが時系列的に記録されているため、内視鏡検査における各種時間を医師ごとに算出できる。従って内視鏡検査の過程を客観的に評価でき、医師ごとのスキルの把握や、検査における改善点などの抽出に活用できる。
以下、実施の形態9から抽出される内容の項目を示す。
[項目1]
内視鏡検査の推移を示す検査データを内視鏡検査ごとに保持する検査データ保持部と、
検査データにもとづいて、内視鏡検査における時間情報を算出するデータ算出部と、を備え、
検査データには、内視鏡検査を実施した医師に関する情報が含まれており、
前記データ算出部は、内視鏡検査における時間情報を、医師ごとに算出する、ことを特徴とする内視鏡業務支援システム。
[項目2]
前記データ算出部は、患者の体腔内に内視鏡が挿入されている挿入時間を、医師ごとに算出する、ことを特徴とする項目1に記載の内視鏡業務支援システム。
[項目3]
前記データ算出部は、医師ごとの症例数を取得し、挿入時間と症例数との関係を導出する、ことを特徴とする項目2に記載の内視鏡業務支援システム。
[項目4]
前記データ算出部は、レポートデータから、観察部位に関連づけられた病変所見の情報を取得して、病変所見に関する統計データを算出する、ことを特徴とする項目1から3のいずれかに記載の内視鏡業務支援システム。
[項目5]
前記データ算出部が算出した情報を、比較可能な形式で表示する表示制御部と、をさらに備えることを特徴とする項目1から4のいずれかに記載の内視鏡業務支援システム。
[項目6]
前記表示制御部は、医師ごとに算出された情報を、比較可能な形式で表示する、ことを特徴とする項目5に記載の内視鏡業務支援システム。
なおデータ算出部が統計データを算出する対象とする医師は、年齢、経験年数、経験検査数などにもとづいて定められてよい。
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施の形態1−7において説明した手法は様々な組み合わせが可能であり、図1−図32に例示した組み合わせに限らない。
上述の実施の形態1−7において画像認識部123が内視鏡処理装置12に設けられる構成を説明したが、画像認識部123は内視鏡検査データ記録装置20に設けられてもよいし、内視鏡処理装置12および内視鏡検査データ記録装置20以外の別の装置内に設けられてもよい。
上述の実施の形態1−7では、光源装置14や内視鏡画像からN秒またはNフレームおきに各種のデータを検知し、内視鏡検査データ記録装置20に送信した。この点、データの種別によってはイベント発生時のデータのみを検知し、内視鏡検査データ記録装置20に送信してもよい。例えば、薬剤散布データについて薬剤が散布されていない期間のデータは、内視鏡検査データ記録装置20に送信しない設定も可能である。