JPWO2019088178A1 - 生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラム - Google Patents

生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラム Download PDF

Info

Publication number
JPWO2019088178A1
JPWO2019088178A1 JP2019550461A JP2019550461A JPWO2019088178A1 JP WO2019088178 A1 JPWO2019088178 A1 JP WO2019088178A1 JP 2019550461 A JP2019550461 A JP 2019550461A JP 2019550461 A JP2019550461 A JP 2019550461A JP WO2019088178 A1 JPWO2019088178 A1 JP WO2019088178A1
Authority
JP
Japan
Prior art keywords
identification information
biopsy
support device
biopsy support
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019550461A
Other languages
English (en)
Other versions
JP7142023B2 (ja
Inventor
広樹 渡辺
広樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019088178A1 publication Critical patent/JPWO2019088178A1/ja
Priority to JP2022112772A priority Critical patent/JP7345023B2/ja
Application granted granted Critical
Publication of JP7142023B2 publication Critical patent/JP7142023B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • A61B10/04Endoscopic instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)

Abstract

生体組織が採取されたことを正確に認識し、その生体組織を用いた検査による診断精度を向上させることのできる生検支援装置、これを備える内視鏡装置、生検支援方法、及び生検支援プログラムを提供する。生体組織を採取するための生検鉗子(28)と撮像素子(23)とを有する内視鏡(1)の生検鉗子(28)によって採取された生体組織を用いた検査の支援を行うシステム制御部(44)は、撮像素子(23)によって撮像して得られた撮像画像データに基づいて、生検鉗子(28)によって生体組織が採取されたことを認識する採取認識部(44A)と、採取認識部(44A)によって生体組織が採取されたことが認識された場合に、その生体組織に対応する識別情報を生成する識別情報生成部(44B)と、を備える。

Description

本発明は、生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラムに関する。
医療現場においては、生体内からポリープ等の生体組織を採取し、この生体組織に対して病理検査、生化学分析、又はゲノム解析等が行なわれている。
内視鏡装置を用いた消化器官等の検査では、一度の検査で複数の生体組織を採取することがある。この場合、下記特許文献1〜3に記載されているように、採取した生体組織と、その生体組織を採取したときの撮像画像とを対応付けて管理することが、精度の高い診断を行う上で重要になる。
特許文献1には、生体組織を採取するための採取器具の操作信号に基づいて生体組織が採取されたことを認識すると、その採取された生体組織のデータとして、生体組織の番号と採取時の撮像画像等を記録するシステムが記載されている。
特許文献2には、生体組織を採取するための採取器具によって生体組織が採取された後、この採取器具が無線タグライタの設置された場所を通過する際に、その生体組織を採取したときの撮像画像、その生体組織が採取された時刻、及び患者の情報等に関連付けられた識別情報が、その採取器具に固定された無線タグに書き込まれるシステムが記載されている。
特許文献3には、生体組織を採取するための採取器具を用いて生体組織の採取が行われ、採取決定ボタンが押されると、識別情報が付加されている容器にその生体組織が排出され、この容器の識別情報と、この生体組織の採取時の撮像画像との関連付けが行われるシステムが記載されている。
特開2001−95749号公報 特開2006−230490号公報 国際公開WO2006/038634号公報
特許文献1に記載されているように、採取器具の操作信号に基づいて生体組織が採取されたことを認識する方法では、採取器具を操作するための操作部材が誤って操作された場合に、誤認識が発生する可能性がある。また、この方法では、採取器具の操作信号を制御部に送信するための構成が必要であり、システム構築にコストを要する。
特許文献2に記載されているように、採取器具の抜き差しによって生体組織が採取されたことを認識する方法では、採取器具の使用を途中で止めてしまった場合等に、誤認識が発生する可能性がある。
特許文献3に記載されているように、採取決定ボタンの押下によって生体組織が採取されたことを認識する方法では、採取決定ボタンが誤って操作された場合に、誤認識が発生する可能性がある。また、この方法では、採取決定ボタンの操作が煩わしい、採取決定ボタンのためのコストが余計にかかる等の課題がある。
本発明は、上記事情に鑑みてなされたものであり、生体組織が採取されたことを正確に認識し、その生体組織を用いた検査による診断精度を向上させることのできる生検支援装置、これを備える内視鏡装置、生検支援方法、及び生検支援プログラムを提供することを目的とする。
本発明の生検支援装置は、撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援装置であって、上記撮像素子によって撮像して得られた撮像画像データに基づいて、上記採取器具によって生体組織が採取されたことを認識する採取認識部と、上記採取認識部によって上記生体組織が採取されたことが認識された場合に、その生体組織に対応する識別情報を生成する識別情報生成部と、を備えるものである。
本発明の内視鏡装置は、上記生検支援装置と、上記内視鏡と、を備えるものである。
本発明の生検支援方法は、撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援方法であって、上記撮像素子によって撮像して得られた撮像画像データに基づいて、上記採取器具によって生体組織が採取されたことを認識する採取認識ステップと、上記採取認識ステップによって上記生体組織が採取されたことが認識された場合に、その生体組織に対応する識別情報を生成する識別情報生成ステップと、を備えるものである。
本発明の生検支援プログラムは、撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援プログラムであって、上記撮像素子によって撮像して得られた撮像画像データに基づいて、上記採取器具によって生体組織が採取されたことを認識する採取認識ステップと、上記採取認識ステップによって上記生体組織が採取されたことが認識された場合に、その生体組織に対応する識別情報を生成する識別情報生成方法と、をコンピュータに実行させるためのものである。
本発明によれば、生体組織が採取されたことを正確に認識し、その生体組織を用いた検査による診断精度を向上させることのできる生検支援装置、これを備える内視鏡装置、生検支援方法、及び生検支援プログラムを提供することができる。
本発明の一実施形態である内視鏡装置100の概略構成を示す図である。 図1に示す内視鏡装置100における先端部10Cの正面図である。 図1に示す内視鏡装置100の内部構成を示す模式図である。 図3に示す制御装置4のシステム制御部44の機能ブロックを示す図である。 鉗子孔29から生検鉗子28が突き出された状態において撮像素子23により生体内を撮像して得られる撮像画像データIMの一例を示す図である。 鉗子孔29から生検鉗子28が突き出された状態において撮像素子23により生体内を撮像して得られる撮像画像データIMの一例を示す図である。 鉗子孔29から生検鉗子28が突き出された状態において撮像素子23により生体内を撮像して得られる撮像画像データIMの一例を示す図である。 図4に示すシステム制御部44の動作を説明するためのフローチャートである。 図4に示すシステム制御部44の動作の第一の変形例を説明するためのフローチャートである。 図4に示すシステム制御部44の動作の第二の変形例を説明するためのフローチャートである。 図4に示すシステム制御部44の機能ブロックの変形例を示す図である。 図4に示すシステム制御部44の機能ブロックの変形例を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態である内視鏡装置100の概略構成を示す図である。
図1に示すように、内視鏡装置100は、内視鏡1と、この内視鏡1が接続される制御装置4及び光源装置5からなる本体部2と、を備える。
制御装置4には、撮像画像等を表示する表示装置7と、制御装置4に対して各種情報を入力するためのインタフェースである入力部6と、後述する格納容器に貼り付けるシールに印字を行うための印刷装置8と、が接続されている。制御装置4は、内視鏡1、光源装置5、表示装置7、及び印刷装置8を制御する。
内視鏡1は、一方向に延びる管状部材であって被検体内に挿入される挿入部10と、挿入部10の基端部に設けられ、観察モード切替操作、撮影記録操作、鉗子操作、送気送水操作、及び吸引操作等を行うための操作部材が設けられた操作部11と、操作部11に隣接して設けられたアングルノブ12と、内視鏡1を光源装置5と制御装置4にそれぞれ着脱自在に接続するコネクタ部13A及び13Bを含むユニバーサルコード13と、を備える。
なお、図1では省略されているが、操作部11及び挿入部10の内部には、細胞又はポリープ等の生体組織を採取するための採取器具である生検鉗子28を挿入する鉗子孔29(図3参照)、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。
挿入部10は、可撓性を有する軟性部10Aと、軟性部10Aの先端に設けられた湾曲部10Bと、湾曲部10Bの先端に設けられた硬質の先端部10Cとから構成される。
湾曲部10Bは、アングルノブ12の回動操作により湾曲自在に構成されている。この湾曲部10Bは、内視鏡1が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部10Cを所望の方向に向けることができる。
図2は、図1に示す内視鏡装置100における先端部10Cの正面図である。
先端部10Cの先端面10Dは略円形となっており、この先端面10Dには、対物レンズ21と、照明用レンズ50と、上述した生検鉗子28を出し入れするための鉗子孔29と、送気送水を行うための送気送水ノズル60と、が設けられている。
図3は、図1に示す内視鏡装置100の内部構成を示す模式図である。
光源装置5は、光源制御部51と、光源部52と、を備える。
光源部52は、被写体に照射するための照明光を発生させるものである。光源部52から出射された照明光は、ユニバーサルコード13に内蔵されたライトガイド53に入射し、挿入部10の先端部10Cに設けられた照明用レンズ50を通って被写体に照射される。
光源部52としては、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いられる。先端部10Cの先端面10Dには、光源部52から出射させる光の種類に合わせて照明用レンズ50が複数設けられていてもよい。
光源制御部51は、制御装置4のシステム制御部44と接続されている。光源制御部51は、システム制御部44からの指令に基づいて光源部52を制御する。
内視鏡1の先端部10Cには、対物レンズ21及びレンズ群22を含む撮像光学系と、この撮像光学系を通して被写体を撮像する撮像素子23と、アナログデジタル変換回路(ADC)24と、RAM(Random Accsess Memory)等のメモリ25と、通信インタフェース(I/F)26と、撮像制御部27と、生検鉗子28が収容される鉗子孔29と、光源部52から出射された照明光を照明用レンズ50に導くためのライトガイド53と、が設けられている。
生検鉗子28は、物体を把持するための開閉自在な把持部28aを有している。生検鉗子28は、把持部28aを構成する2本の可動部によって生体組織を把持することができる。
ライトガイド53は、先端部10Cからユニバーサルコード13のコネクタ部13Aまで延びている。ユニバーサルコード13のコネクタ部13Aが光源装置5に接続された状態で、光源装置5の光源部52から出射される照明光がライトガイド53に入射可能な状態となる。
撮像素子23は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が用いられる。
撮像素子23は、複数の画素が二次元状に配置された受光面を有し、上記の撮像光学系によってこの受光面に結像された光学像を各画素において電気信号(撮像信号)に変換し、ADC24に出力する。撮像素子23は、例えば原色又は補色等のカラーフィルタを搭載するものが用いられる。撮像素子23の受光面の各画素から出力される撮像信号の集合を撮像画像信号という。
なお、光源部52として、白色光源から出射される白色光を複数色のカラーフィルタによって時分割で分光して照明光を生成するものを用いる場合には、撮像素子23はカラーフィルタを搭載していないものを用いてもよい。
撮像素子23は、対物レンズ21の光軸Axに対して受光面が垂直となる状態で先端部10Cに配置されていてもよいし、対物レンズ21の光軸Axに対して受光面が平行となる状態で先端部10Cに配置されていてもよい。
内視鏡1に設けられる撮像光学系は、撮像素子23と対物レンズ21との間における被写体からの光の光路上にあるレンズ、プリズム等の光学部材(上記のレンズ群22を含む)と、対物レンズ21と、によって構成される。撮像光学系は、対物レンズ21のみで構成される場合もある。
ADC24は、撮像素子23から出力された撮像信号を所定のビット数のデジタル信号に変換する。
メモリ25は、ADC24でデジタル変換された撮像信号を一時的に記録する。
通信I/F26は、制御装置4の通信インタフェース(I/F)41と接続される。通信I/F26は、メモリ25に記録された撮像信号を、ユニバーサルコード13内の信号線を通して制御装置4に伝送する。
撮像制御部27は、通信I/F26を介して制御装置4のシステム制御部44と接続されている。撮像制御部27は、通信I/F26で受信されるシステム制御部44からの指令に基づいて、撮像素子23、ADC24、及びメモリ25を制御する。
制御装置4は、ユニバーサルコード13によって内視鏡1の通信I/F26と接続される通信I/F41と、信号処理部42と、表示コントローラ43と、システム制御部44と、記録媒体45と、を備える。
通信I/F41は、内視鏡1の通信I/F26から伝送されてきた撮像信号を受信して信号処理部42に伝達する。
信号処理部42は、通信I/F41から受けた撮像信号を一次記録するメモリを内蔵しており、メモリに記録された撮像信号の集合である撮像画像信号を処理(デモザイク処理又はガンマ補正処理等の画像処理)して、後述する物体認識が可能な形式の撮像画像データを生成する。信号処理部42によって生成された撮像画像データは、ハードディスク又はフラッシュメモリ等の記録媒体45に記録される。
表示コントローラ43は、信号処理部42によって生成された撮像画像データに基づく撮像画像を表示装置7に表示させる。
システム制御部44は、制御装置4の各部を制御すると共に、内視鏡1の撮像制御部27と光源装置5の光源制御部51とに指令を送り、内視鏡装置100の全体を統括制御する。
システム制御部44は、撮像制御部27を介して撮像素子23の制御を行う。また、システム制御部44は、光源制御部51を介して光源部52の制御を行う。
システム制御部44は、プログラムを実行して処理を行う各種のプロセッサと、RAM(Ramdom Access Memory)と、ROM(Read Only Memory)を含む。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部44は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
図4は、図3に示す制御装置4のシステム制御部44の機能ブロックを示す図である。
システム制御部44のプロセッサは、システム制御部44に内蔵されるROMに格納された生検支援プログラムを実行することにより、採取認識部44A、識別情報生成部44B、管理部44C、及び出力制御部44Dを備える生検支援装置として機能する。
採取認識部44Aは、撮像素子23によって生体内を撮像して得られた撮像信号を信号処理部42によって処理して得られた撮像画像データに基づいて、この撮像画像データから特定の物体が含まれるか否かを認識する物体認識処理を行い、この物体認識処理の結果によって、生検鉗子28により生体組織が採取されたことを認識する。
図5は、鉗子孔29から生検鉗子28が突き出された状態において撮像素子23により生体内を撮像して得られる撮像画像データIMの一例を示す図である。図5に示す例では、撮像画像データIMに、把持部28aが開いた状態の生検鉗子28の画像情報が含まれている。
採取認識部44Aは、図5に例示される撮像画像データIMから特徴量を抽出し、その特徴量を用いて、撮像画像データIMに生検鉗子28が含まれるか否かを判定する。そして、採取認識部44Aは、撮像画像データIMに生検鉗子28が含まれると判定した場合に、生検鉗子28によって生体組織が採取されたことを認識する。
なお、採取認識部44Aは、図6に示すように、撮像画像データIMに、把持部28aが閉じられた状態の生検鉗子28が含まれると判定した場合に、生検鉗子28によって生体組織が採取されたことを認識してもよい。生検鉗子28は、把持部28aを閉じることで生体組織を把持するものであるため、この方法によれば、生検鉗子28によって生体組織が採取されたことを、より高精度に認識することができる。
また、採取認識部44Aは、図7に示すように、撮像画像データIMに、把持部28aによって物体Pが把持されている状態の生検鉗子28が含まれると判定した場合に、生検鉗子28によって生体組織が採取されたことを認識してもよい。生検鉗子28は、把持部28aを閉じることで生体組織を把持するものであるため、この方法によれば、生検鉗子28によって生体組織が採取されたことを、更に高精度に認識することができる。
上記の特徴量としては、例えば、輝度分布、ウェーブレット、ピクセル差分、HOG(Histograms of Oriented Gradients)、Joint HOG、SURF(Speeded Up Robust Features)、EOH(Edge of Orientation Histograms)、SIFT(Scaled Invariance Feature Transform)、矩形領域の平均明度の差分値として求められるスカラ量であるHaar−like、Joint Haar−like、スパース特徴、共起確率特徴、又は複数の局所領域におけるエッジの関連性に着目したShapelet特徴等が挙げられる。
採取認識部44Aは、これらの特徴量を用いて、例えば、テンプレートマッチング、PCA(principal component analysis)、ニューラルネットワーク、線形判別分布、サポートベクターマシン、ブースティング、Adaboost(Adaptive Boosting)、又はReal Adaboost等の手法によって、撮像画像データに認識対象の物体が含まれるか否かを判定する。採取認識部44Aは、深層学習による物体認識を行ってもよい。
図4に示す識別情報生成部44Bは、採取認識部44Aによって生体組織が採取されたことが認識された場合に、その生体組織に対応する識別情報を生成する。
識別情報は、物の識別を行うことのできる情報であればよく、日本語の五十音(あ、い、う、え、お、・・・)、英語のアルファベット(A、B、C、D、E、・・・)、日本語のいろは順にしたがって並ぶ平仮名の文字列(い、ろ、は、に、ほ、・・・)、又は所定数(例えば“1”)ずつ増加する数字からなる数字列(0、1、2、3、4、・・・)、等の決められた順序にしたがって並ぶ複数の情報からなる情報群が好ましく用いられる。
識別情報生成部44Bは、この情報群を構成する複数の情報のうちのいずれかを初期情報とし、採取認識部44Aによって生体組織が採取されたことが認識される毎に、この初期情報を起点として情報群内の情報をその次の情報に順次変更していき、変更後の情報を識別情報として生成する。この初期情報は、予め決められたものが用いられる。
例えば、情報群が上記の数字列であり、初期情報が“0”であれば、採取認識部44Aによって生体組織が採取されたことが認識されると、“0”の次に並ぶ“1”が識別情報として生成され、次に、生体組織が採取されたことが認識されると、“1”の次に並ぶ“2”が識別情報として生成される。このように、生体組織が採取されたことが認識される毎に、識別情報が数字列の並びにしたがって順次更新されていく。
または、情報群が上記のアルファベットであり、初期情報が“A”であれば、採取認識部44Aによって生体組織が採取されたことが認識されると、“A”の次に並ぶ“B”が識別情報として生成され、次に、生体組織が採取されたことが認識されると、“B”の次に並ぶ“C”が識別情報として生成される。このように、生体組織が採取されたことが認識される毎に、識別情報がアルファベットの並びにしたがって順次更新されていく。
なお、識別情報は、上記のようにして更新して決められた情報と、被検者の個人情報(氏名、患者番号等)とを組み合わせたものとしてもよい。
図4に示す管理部44Cは、識別情報生成部44Bによって生成された識別情報を、その識別情報に対応する生体組織が採取されたことが認識された時点を含む期間に信号処理部42によって生成されて記録媒体45に記録された撮像画像データに関連付けて記録する。
生体組織が採取されたことが認識された時点を含む期間は、採取された生体組織が生体内のどこにどのような状態で存在していたかを確認できる程度の期間であればよい。
例えば、この期間は、採取認識部44Aによって生体組織が採取されたことが認識された時刻を時刻t0とし、この時刻t0と、この時刻t0から第一の時間前の第一の時刻t1との間の期間としたり、この時刻t0から第二の時間前の第二の時刻t2と、この時刻t0から第三の時間後の第三の時刻t3との間の期間としたりすることができる。
管理部44Cは、上記の第一の時間、或いは、第二の時間及び第三の時間を、内視鏡1の操作者が入力部6を操作して入力した時間に設定してもよいし、システム側で予め決めた固定値に設定してもよい。
上記の期間に得られた撮像画像データとしては、この期間中に得られた全ての撮像画像データ(動画データ)であってもよいし、この全ての撮像画像データの一部を抽出して得た静止画データであってもよい。また、管理部44Cは、上記の時刻t0で得られた撮像画像データに識別情報を関連付けて記録してもよい。
出力制御部44Dは、識別情報生成部44Bによって識別情報が生成された場合に、その識別情報を、出力装置としての印刷装置8から出力させる。
具体的には、出力制御部44Dは、識別情報生成部44Bによって識別情報が生成されると、その識別情報を印刷装置8に出力し、印刷装置8によって、その識別情報を直接又はコード化して印字したシールを出力させる。
このシールは、検査に関わるスタッフにより、生体組織を格納するための格納容器に貼り付けられる。そして、この格納容器には、シールに印字された識別情報に対応する生体組織(シールが出力された時点で採取した生体組織)が格納される。出力制御部44Dによる制御と、これらスタッフの作業によって、識別情報に対応する生体組織を格納する格納容器と、その識別情報との関連付けが行われる。
なお、印刷装置8は、シールではなく、格納容器自体に識別情報の印刷を行うものであってもよい。また、上記のシールの代わりに、識別情報を書き込んだ無線タグが用いられてもよい。この場合には、印刷装置8の代わりに、無線タグへの情報の書き込みを行う書き込み装置が出力装置として用いられる。
また、上記のシール又は無線タグの格納容器への貼り付けは、制御装置4に接続された機械により、手動ではなく自動的に行われてもよい。
或いは、多数の空の格納容器が配置される場所があり、これら格納容器のいずれかに物体が投入されたことを、システム制御部44が、センサ又はカメラ等によって認識し、その物体が投入された格納容器に上記のシール又は無線タグを自動で貼り付けさせることで、識別情報と格納容器との関連付けを行ってもよい。
次に、以上のように構成された内視鏡装置100の動作について説明する。
図8は、図4に示すシステム制御部44の動作を説明するためのフローチャートである。
操作部11の操作によって撮像素子23による動画の撮像が開始されると、撮像素子23から撮像画像信号が出力され、この撮像画像信号が処理されて、動画の1フレーム分の撮像画像データが順次生成され、記録媒体45に記録される。また、このようにして順次生成される撮像画像データに基づいてライブビュー画像が表示装置7に表示される。
この動画の撮像が開始されると、採取認識部44Aは、信号処理部42によって生成された撮像画像データを逐次取得し、これらを解析することによって、生検鉗子28によって生体組織が採取されたか否かを判定する(ステップS1)。
生検鉗子28による生体組織の採取がなされていないと判定された場合(ステップS1:NO)には、後述するステップS5に処理が移行される。
一方、採取認識部44Aが、生検鉗子28によって生体組織が採取されたと判定し、生体組織が採取されたことを認識すると(ステップS1:YES)、識別情報生成部44Bが、採取が認識された生体組織に対応する識別情報を生成する(ステップS2)。ステップS2では、例えば、初期情報が“0”であれば、識別情報として“1”が生成される。
ステップS2にて識別情報が生成されると、出力制御部44Dは、生成された識別情報を印刷装置8に出力し、印刷装置8により、ステップS2にて生成された識別情報が印字されたシールが生成される(ステップS3)。
また、ステップS2にて識別情報が生成されると、管理部44Cが、記録媒体45に記録された撮像画像データのうち、ステップS1の判定がYESとなって生体組織が採取されたと認識された時点を含む期間に生成された撮像画像データに対し、この生成された識別情報を関連付けて記録する(ステップS4)。
ステップS4の後、撮像素子23による撮像の終了指示が行われて検査が終了されると(ステップS5:YES)、システム制御部44は処理を終了する。一方、検査が継続されていれば(ステップS5:NO)、ステップS1に処理が戻り、以降の処理が繰り返される。
以上の処理により、例えば、内視鏡1を操作する操作者が、被検者の体内から合計で3つの生体組織を生検鉗子28によって採取したものとすると、最初に採取された生体組織を格納する格納容器には、この生体組織に対応する識別情報(“1”)が印字されたシールが貼り付けられた状態となり、2回目に採取された生体組織を格納する格納容器には、この生体組織に対応する識別情報(“2”)が印字されたシールが貼り付けられた状態となり、最後に採取された生体組織を格納する格納容器には、この生体組織に対応する識別情報(“3”)が印字されたシールが貼り付けられた状態となる。
また、この検査によって記録媒体45に記録された撮像画像データには、識別情報(“1”)に対応する生体組織が採取されたと認識された時点を含む期間の撮像画像データに対して識別情報(“1”)が関連付けて記録され、識別情報(“2”)に対応する生体組織が採取されたと認識された時点を含む期間の撮像画像データに対して識別情報(“2”)が関連付けて記録され、識別情報(“3”)に対応する生体組織が採取されたと認識された時点を含む期間の撮像画像データに対して識別情報(“3”)が関連付けて記録される。
そして、各識別情報が印字されたシールの貼られた格納容器に格納された生体組織の例えば病理検査結果は、この各識別情報と関連付けて管理される。
したがって、生体組織の病理検査結果と、この生体組織が採取された時点を含む所定の期間に得られた撮像画像データとを対応させながら被検者の疾患の判断が可能になり、正確な診断を行うことができる。
内視鏡装置100は、生体組織が生検鉗子28によって採取されたことを、撮像画像データに基づいて認識している。このため、内視鏡1の操作者が特別な操作を行うことなく、生体組織と、その生体組織を採取したときに得られた撮像画像データと、その生体組織の識別情報との関連付けを行うことができる。このため、検査時の操作者の負担を減らすことができる。また、生体組織を採取したことをシステム制御部44に通知するための専用の機構が不要となるため、内視鏡装置100の低コスト化又は内視鏡1の小型化が可能になる。
また、内視鏡装置100によれば、撮像画像データに基づいて生体組織の採取の有無が判定されるため、例えば、生検鉗子28が鉗子孔29から送出されたものの生体組織の採取は行われなかった場合、生検鉗子28が鉗子孔29から送出されていない状態にて操作がなされた場合等に、生体組織が採取されたと誤認識されるのを防ぐことができる。
例えば、撮像画像データに生検鉗子28が含まれるか否かによって生体組織の採取の有無を判定する方法であれば、撮像画像データに生検鉗子28が含まれている時間が閾値以上となる場合に、生体組織が採取されたと判定する。このようにすることで、生体組織を採取しようとして生検鉗子28が送出されているのか、誤操作又は採取とは別の目的にて生検鉗子28が送出されているのかを識別することができる。このため、生体組織が採取されたかどうかの判断を正確に行うことができる。
ここまでの説明では、採取された生体組織が格納容器に格納され、その生体組織に対応する識別情報を印字したシールを、この格納容器に貼ることで、生体組織に対応する識別情報と、格納容器との関連付けを行うものとした。
この変形例として、識別情報生成部44Bによって生成され得る複数の識別情報の各々が印字されたシールが貼られている空の格納容器を準備しておき、内視鏡1の操作者が生体組織を採取すると、この生体組織に対応する識別情報が印字されたシールが貼られている格納容器に、この生体組織を格納することで、識別情報と格納容器との関連付けが行われてもよい。
図9は、図4に示すシステム制御部44の動作の第一の変形例を説明するためのフローチャートである。この第一の変形例においては、制御装置4に印刷装置8は接続されていない構成としている。また、検査時には、識別情報生成部44Bによって生成される識別情報が印字されたシールが貼られている空の格納容器が複数個、予め準備されているものとする。図9において、図8と同じ処理には同一符号を付して説明を省略する。
ステップS2にて識別情報が生成されると、システム制御部44の出力制御部44Dは、ステップS2にて生成された識別情報を表示装置7に出力し、これを表示させる(ステップS3a)。
内視鏡1の操作者は、採取完了した生体組織を、ステップS3aの処理にて表示された識別情報が印字されたシールの貼られている格納容器に格納する。これにより、採取した生体組織に対応する識別情報と、格納容器との関連付けが行われる。
ステップS3aの後は、ステップS4以降の処理が行われる。
以上のように、第一の変形例によれば、検査中にシールを貼り付ける作業が不要になるため、検査時の負担を軽減することができる。また、第一の変形例によれば、採取した生体組織に対応する識別情報を、ライブビュー画像と共に表示装置7にて確認することができる。このため、この生体組織が他の格納容器に格納されてしまうのを防ぐことができ、生体組織の管理を正確に行うことができる。
なお、第一の変形例では、格納容器にシールを貼り付けておくのではなく、生体組織が格納された格納容器に対して表示装置7に表示された識別情報を手書きすることで、生体組織を格納する格納容器と、この生体組織に対応する識別情報との関連付けがなされてもよい。この構成によれば、シールに識別情報を印字するシステムが不要となり、生検を支援するシステム構築にかかる費用を削減することができる。
また、図9のステップS3aにおいて、システム制御部44の出力制御部44Dは、ステップS2にて生成された識別情報を表示装置7に出力する代わりに、ステップS4においてこの識別情報に関連付けられる1つの撮像画像データを静止画として表示装置7に表示させてもよい。この構成では、ステップS3aにおいて、表示装置7に表示されているライブビュー画像に、この静止画が例えばオーバレイ表示される。このため、この静止画の表示によって、識別情報と撮像画像データとの関連付けがなされたことを操作者が知ることができる。
また、図9のステップS3aにおいて、システム制御部44の出力制御部44Dは、ステップS2にて生成された識別情報を表示装置7に出力すると共に、上記の1つの撮像画像データを静止画として表示装置7に表示させてもよい。この構成では、ステップS3aにおいて、表示装置7に表示されているライブビュー画像に、この静止画と識別情報とが例えばオーバレイ表示される。このため、この静止画の表示によって、識別情報と撮像画像データとの関連付けがなされたことを操作者が知ることができる。また、表示される識別情報によって、生体組織の管理を正確に行うことができる。
図10は、図4に示すシステム制御部44の動作の第二の変形例を説明するためのフローチャートである。図10に示すフローチャートは、ステップS3とステップS4の間に、図9に示したステップS3aが追加された点を除いて図8と同じである。図10において、図8と同じ処理には同一符号を付して説明を省略する。
ステップS3の後、システム制御部44の出力制御部44Dは、ステップS2にて生成された識別情報を表示装置7に出力し、これを表示させる(ステップS3a)。ステップS3aの後はステップS4以降の処理が行われる。
この第二の変形例においては、内視鏡1の操作者が採取完了した生体組織を空の格納容器に格納すると、スタッフが、この格納容器に、ステップS3にて印刷装置8から出力されたシールを貼り付ける。このとき、このシールに印字されている識別情報と、表示装置7に表示されている識別情報とを照合することにより、生体組織が格納された格納容器と、その生体組織に対応する識別情報との関連付けをより正確に行うことができる。
なお、図10のステップS3aにおいても、システム制御部44の出力制御部44Dは、ステップS2にて生成された識別情報を表示装置7に出力する代わりに、ステップS4においてこの識別情報に関連付けられる1つの撮像画像データを静止画として表示装置7に表示させてもよい。
または、図10のステップS3aにおいて、システム制御部44の出力制御部44Dは、ステップS2にて生成された識別情報を表示装置7に出力すると共に、上記の1つの撮像画像データを静止画として表示装置7に表示させてもよい。
以上のように、第二の変形例によれば、生体組織の管理を更に正確に行うことができる。
図11は、図4に示すシステム制御部44の機能ブロックの変形例を示す図である。図11において図4と同じ構成には同一符号を付して説明を省略する。
図11に示すシステム制御部44のプロセッサは、システム制御部44に内蔵されるROMに格納された生検支援プログラムを実行することにより、採取認識部44A、識別情報生成部44B、管理部44C、出力制御部44D、及び病変検出部44Eを備える生検支援装置として機能する。
病変検出部44Eは、記録媒体45に記録された撮像画像データから、機械学習等によって、病変と疑われる部位である病変部位を検出する。
図11に示すシステム制御部44の管理部44Cは、採取認識部44Aによって生体組織の採取が認識された時点に得られた撮像画像データから病変検出部44Eにより検出された病変部位が、病変検出部44Eによって最初に検出された時刻を、上記の第一の時刻として設定する。
または、図11に示すシステム制御部44の管理部44Cは、採取認識部44Aによって生体組織の採取が認識された時点に得られた撮像画像データから病変検出部44Eにより検出された病変部位が、病変検出部44Eによって最初に検出された時刻を、上記の第二の時刻とし、この時点以降にてこの病変部位が非検出となった時刻を上記の第三の時刻として設定する。
或いは、図11に示すシステム制御部44の管理部44Cは、採取認識部44Aによって生体組織の採取が認識された時点に得られた撮像画像データから病変検出部44Eにより検出された病変部位が、病変検出部44Eによって最初に検出された時刻を、上記の第二の時刻とし、この病変部位にある生体組織が生検鉗子28によって採取されることで生じる採取痕をこの時点以降にて検出した時刻を、上記の第三の時刻として設定する。この採取痕は、記録媒体45に記録された撮像画像データから機械学習等によって検出すればよい。
つまり、管理部44Cは、採取認識部44Aによって生体組織の採取が認識された時点にて病変検出部44Eにより検出されている病変部位(つまり、採取された生体組織を含む部位)と同じ病変部位が含まれる全ての撮像画像データの一部又は全部に、その時点にて識別情報生成部44Bによって生成された識別情報を関連付けて記録する。
図11に示すシステム制御部44の構成によれば、記録媒体45に記録された撮像画像データの中から、生検鉗子28によって採取した生体組織を含む部位が写っている撮像画像データを抽出することができる。このため、生体組織の病理検査の結果と、その生体組織が写っている撮像画像とを総合的に勘案して精度の高い診断が可能となる。
なお、図11に示す構成は、図9又は図10に示した変形例と組み合わせることも可能である。
図12は、図4に示すシステム制御部44の機能ブロックの変形例を示す図である。図12において図4と同じ構成には同一符号を付して説明を省略する。
図12に示すシステム制御部44のプロセッサは、システム制御部44に内蔵されるROMに格納された生検支援プログラムを実行することにより、採取認識部44A、識別情報生成部44B、管理部44C、出力制御部44D、及び初期情報決定部44Fを備える生検支援装置として機能する。
初期情報決定部44Fは、識別情報生成部44Bが設定する識別情報の初期情報を、入力部6から入力された情報に基づいて決定する。
例えば、入力部6から初期情報の設定情報として“1”又は“A”が入力された場合には、初期情報決定部44Fは、この“1”又は“A”を初期情報として決定する。
このように、識別情報の初期情報を手動によって任意に設定できるようにすることで、検査内容に応じた最適な管理が可能になる。例えば、同じ被検者に対して2回の検査を行う場合に、2回目の検査時には、1回目の検査で生成された最後の識別情報を初期値として設定することで、同一被検者の生体組織の管理が容易になる。
なお、図12に示す構成は、図9〜図11に示した変形例と組み合わせることも可能である。
以上説明してきたように、本明細書には以下の事項が開示されている。
(1) 撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援装置であって、上記撮像素子によって撮像して得られた撮像画像データに基づいて、上記採取器具によって生体組織が採取されたことを認識する採取認識部と、上記採取認識部によって上記生体組織が採取されたことが認識された場合に、その生体組織に対応する識別情報を生成する識別情報生成部と、を備える生検支援装置。
(2) (1)記載の生検支援装置であって、上記識別情報生成部によって生成された上記識別情報を、その識別情報に対応する上記生体組織が採取されたことが認識された時点を含む期間に得られた上記撮像画像データに関連付けて記録する管理部を更に備える生検支援装置。
(3) (2)記載の生検支援装置であって、上記管理部は、上記期間として、上記時点と、上記時点よりも第一の時間前の第一の時刻との間の期間を設定する生検支援装置。
(4) (2)記載の生検支援装置であって、上記管理部は、上記期間として、上記時点よりも第二の時間前の第二の時刻と、上記時点よりも第三の時間後の第三の時刻との間の期間を設定する生検支援装置。
(5) (3)記載の生検支援装置であって、上記撮像画像データから病変と疑われる部位を検出する病変検出部を更に備え、上記管理部は、上記時点にて上記病変検出部により検出された上記部位が上記病変検出部によって最初に検出された時刻を、上記第一の時刻とする生検支援装置。
(6) (4)記載の生検支援装置であって、上記撮像画像データから病変と疑われる部位を検出する病変検出部を更に備え、上記管理部は、上記時点にて上記病変検出部により検出された上記部位が上記病変検出部によって最初に検出された時刻を上記第二の時刻とし、その部位が非検出となった時刻を上記第三の時刻とする生検支援装置。
(7) (4)記載の生検支援装置であって、上記撮像画像データから病変と疑われる部位を検出する病変検出部を更に備え、上記管理部は、上記時点にて上記病変検出部により検出された上記部位が上記病変検出部によって最初に検出された時刻を上記第二の時刻とし、その部位にある生体組織が上記採取器具によって採取されることで生じる採取痕を検出した時刻を上記第三の時刻とする生検支援装置。
(8) (1)〜(7)のいずれか1項記載の生検支援装置であって、上記識別情報生成部によって上記識別情報が生成された場合に、その識別情報とその識別情報に関連付けられた上記撮像画像データとの一方又は両方を出力装置から出力させる出力制御部を更に備える生検支援装置。
(9) (8)記載の生検支援装置であって、上記出力装置は、上記撮像画像データに基づく撮像画像が表示される表示装置である生検支援装置。
(10) (8)記載の生検支援装置であって、上記出力装置は、上記識別情報を印刷する印刷装置又は上記識別情報を無線タグに書き込む書き込み装置を含み、上記出力制御部は、上記識別情報を上記出力装置から出力させる生検支援装置。
(11) (8)記載の生検支援装置であって、上記出力装置は、上記撮像画像データに基づく撮像画像が表示される表示装置と、上記識別情報を印刷する印刷装置又は上記識別情報を無線タグに書き込む書き込み装置と、であり、上記出力制御部は、上記識別情報を上記表示装置と上記書き込み装置の少なくとも一方から出力させ、上記識別情報に関連付けられた上記撮像画像データを上記表示装置から出力させる生検支援装置。
(12) (1)〜(11)のいずれか1つに記載の生検支援装置であって、上記採取認識部は、上記撮像画像データに上記採取器具が含まれる場合に、生体組織が採取されたことを認識する生検支援装置。
(13) (1)〜(11)のいずれか1つに記載の生検支援装置であって、上記採取器具は、物体を把持するための把持部を有し、上記採取認識部は、上記把持部が閉じられた状態の上記採取器具が上記撮像画像データに含まれる場合に、生体組織が採取されたことを認識する生検支援装置。
(14) (1)〜(11)のいずれか1つに記載の生検支援装置であって、上記採取器具は、物体を把持するための把持部を有し、上記採取認識部は、上記把持部によって物体が把持された状態の上記採取器具が上記撮像画像データに含まれる場合に、生体組織が採取されたことを認識する生検支援装置。
(15) (1)〜(14)のいずれか1つに記載の生検支援装置であって、上記識別情報は、決められた順序で並ぶ複数の情報のいずれかであり、上記識別情報生成部は、上記複数の情報のうちのいずれかを初期情報とし、上記採取認識部によって上記生体組織が採取されたことが認識される毎に、上記初期情報を起点として上記情報を次の情報に順次変更していき、上記変更後の上記情報を上記識別情報として生成するものであり、上記初期情報を、情報を入力するための入力部から入力された情報に基づいて決定する起点情報決定部を更に備える生検支援装置。
(16) (15)記載の生検支援装置であって、上記識別情報は、数字又はアルファベットである生検支援装置。
(17) (1)〜(16)のいずれか1つに記載の生検支援装置と、上記内視鏡と、を備える内視鏡装置。
(18) 撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援方法であって、上記撮像素子によって撮像して得られた撮像画像データに基づいて、上記採取器具によって生体組織が採取されたことを認識する採取認識ステップと、上記採取認識ステップによって上記生体組織が採取されたことが認識された場合に、その生体組織に対応する識別情報を生成する識別情報生成ステップと、を備える生検支援方法。
(19) 撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援プログラムであって、上記撮像素子によって撮像して得られた撮像画像データに基づいて、上記採取器具によって生体組織が採取されたことを認識する採取認識ステップと、上記採取認識ステップによって上記生体組織が採取されたことが認識された場合に、その生体組織に対応する識別情報を生成する識別情報生成ステップと、をコンピュータに実行させるための生検支援プログラム。
本発明によれば、生体組織が採取されたことを正確に認識し、その生体組織を用いた検査による診断精度を向上させることのできる生検支援装置、これを備える内視鏡装置、生検支援方法、及び生検支援プログラムを提供することができる。
100 内視鏡装置
1 内視鏡
2 本体部
10 挿入部
10A 軟性部
10B 湾曲部
10C 先端部
10D 先端面
11 操作部
12 アングルノブ
13 ユニバーサルコード
13A、13B コネクタ部
6 入力部
7 表示装置
8 印刷装置
21 対物レンズ
Ax 光軸
22 レンズ群
23 撮像素子
24 ADC
25 メモリ
26 通信インタフェース
27 撮像制御部
28 生検鉗子
28a 把持部
29 鉗子孔
4 制御装置
41 通信インタフェース
42 信号処理部
43 表示コントローラ
44 システム制御部
44A 採取認識部
44B 識別情報生成部
44C 管理部
44D 出力制御部
44E 病変検出部
44F 初期情報決定部
45 記録媒体
5 光源装置
50 照明用レンズ
51 光源制御部
52 光源部
53 ライトガイド
60 送気送水ノズル
IM 撮像画像データ
P 物体

Claims (19)

  1. 撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援装置であって、
    前記撮像素子によって撮像して得られた撮像画像データに基づいて、前記採取器具によって生体組織が採取されたことを認識する採取認識部と、
    前記採取認識部によって前記生体組織が採取されたことが認識された場合に、当該生体組織に対応する識別情報を生成する識別情報生成部と、を備える生検支援装置。
  2. 請求項1記載の生検支援装置であって、
    前記識別情報生成部によって生成された前記識別情報を、当該識別情報に対応する前記生体組織が採取されたことが認識された時点を含む期間に得られた前記撮像画像データに関連付けて記録する管理部を更に備える生検支援装置。
  3. 請求項2記載の生検支援装置であって、
    前記管理部は、前記期間として、前記時点と、前記時点よりも第一の時間前の第一の時刻との間の期間を設定する生検支援装置。
  4. 請求項2記載の生検支援装置であって、
    前記管理部は、前記期間として、前記時点よりも第二の時間前の第二の時刻と、前記時点よりも第三の時間後の第三の時刻との間の期間を設定する生検支援装置。
  5. 請求項3記載の生検支援装置であって、
    前記撮像画像データから病変と疑われる部位を検出する病変検出部を更に備え、
    前記管理部は、前記時点にて前記病変検出部により検出された前記部位が前記病変検出部によって最初に検出された時刻を、前記第一の時刻とする生検支援装置。
  6. 請求項4記載の生検支援装置であって、
    前記撮像画像データから病変と疑われる部位を検出する病変検出部を更に備え、
    前記管理部は、前記時点にて前記病変検出部により検出された前記部位が前記病変検出部によって最初に検出された時刻を前記第二の時刻とし、当該部位が非検出となった時刻を前記第三の時刻とする生検支援装置。
  7. 請求項4記載の生検支援装置であって、
    前記撮像画像データから病変と疑われる部位を検出する病変検出部を更に備え、
    前記管理部は、前記時点にて前記病変検出部により検出された前記部位が前記病変検出部によって最初に検出された時刻を前記第二の時刻とし、当該部位にある生体組織が前記採取器具によって採取されることで生じる採取痕を検出した時刻を前記第三の時刻とする生検支援装置。
  8. 請求項1〜7のいずれか1項記載の生検支援装置であって、
    前記識別情報生成部によって前記識別情報が生成された場合に、当該識別情報と当該識別情報に関連付けられた前記撮像画像データとの一方又は両方を出力装置から出力させる出力制御部を更に備える生検支援装置。
  9. 請求項8記載の生検支援装置であって、
    前記出力装置は、前記撮像画像データに基づく撮像画像が表示される表示装置である生検支援装置。
  10. 請求項8記載の生検支援装置であって、
    前記出力装置は、前記識別情報を印刷する印刷装置又は前記識別情報を無線タグに書き込む書き込み装置を含み、
    前記出力制御部は、前記識別情報を前記出力装置から出力させる生検支援装置。
  11. 請求項8記載の生検支援装置であって、
    前記出力装置は、前記撮像画像データに基づく撮像画像が表示される表示装置と、前記識別情報を印刷する印刷装置又は前記識別情報を無線タグに書き込む書き込み装置と、であり、
    前記出力制御部は、前記識別情報を前記表示装置と前記書き込み装置の少なくとも一方から出力させ、前記識別情報に関連付けられた前記撮像画像データを前記表示装置から出力させる生検支援装置。
  12. 請求項1〜11のいずれか1項記載の生検支援装置であって、
    前記採取認識部は、前記撮像画像データに前記採取器具が含まれる場合に、生体組織が採取されたことを認識する生検支援装置。
  13. 請求項1〜11のいずれか1項記載の生検支援装置であって、
    前記採取器具は、物体を把持するための把持部を有し、
    前記採取認識部は、前記把持部が閉じられた状態の前記採取器具が前記撮像画像データに含まれる場合に、生体組織が採取されたことを認識する生検支援装置。
  14. 請求項1〜11のいずれか1項記載の生検支援装置であって、
    前記採取器具は、物体を把持するための把持部を有し、
    前記採取認識部は、前記把持部によって物体が把持された状態の前記採取器具が前記撮像画像データに含まれる場合に、生体組織が採取されたことを認識する生検支援装置。
  15. 請求項1〜14のいずれか1項記載の生検支援装置であって、
    前記識別情報は、決められた順序で並ぶ複数の情報のいずれかであり、
    前記識別情報生成部は、前記複数の情報のうちのいずれかを初期情報とし、前記採取認識部によって前記生体組織が採取されたことが認識される毎に、前記初期情報を起点として前記情報を次の情報に順次変更していき、前記変更後の前記情報を前記識別情報として生成するものであり、
    前記初期情報を、情報を入力するための入力部から入力された情報に基づいて決定する起点情報決定部を更に備える生検支援装置。
  16. 請求項15記載の生検支援装置であって、
    前記識別情報は、数字又はアルファベットである生検支援装置。
  17. 請求項1〜16のいずれか1項記載の生検支援装置と、
    前記内視鏡と、を備える内視鏡装置。
  18. 撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援方法であって、
    前記撮像素子によって撮像して得られた撮像画像データに基づいて、前記採取器具によって生体組織が採取されたことを認識する採取認識ステップと、
    前記採取認識ステップによって前記生体組織が採取されたことが認識された場合に、当該生体組織に対応する識別情報を生成する識別情報生成方法と、を備える生検支援方法。
  19. 撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援プログラムであって、
    前記撮像素子によって撮像して得られた撮像画像データに基づいて、前記採取器具によって生体組織が採取されたことを認識する採取認識ステップと、
    前記採取認識ステップによって前記生体組織が採取されたことが認識された場合に、当該生体組織に対応する識別情報を生成する識別情報生成ステップと、をコンピュータに実行させるための生検支援プログラム。
JP2019550461A 2017-11-01 2018-10-31 生検支援装置、内視鏡装置、生検支援装置の作動方法、及び生検支援プログラム Active JP7142023B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022112772A JP7345023B2 (ja) 2017-11-01 2022-07-13 内視鏡システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017212172 2017-11-01
JP2017212172 2017-11-01
PCT/JP2018/040541 WO2019088178A1 (ja) 2017-11-01 2018-10-31 生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022112772A Division JP7345023B2 (ja) 2017-11-01 2022-07-13 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2019088178A1 true JPWO2019088178A1 (ja) 2020-11-12
JP7142023B2 JP7142023B2 (ja) 2022-09-26

Family

ID=66331979

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019550461A Active JP7142023B2 (ja) 2017-11-01 2018-10-31 生検支援装置、内視鏡装置、生検支援装置の作動方法、及び生検支援プログラム
JP2022112772A Active JP7345023B2 (ja) 2017-11-01 2022-07-13 内視鏡システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022112772A Active JP7345023B2 (ja) 2017-11-01 2022-07-13 内視鏡システム

Country Status (3)

Country Link
US (1) US11678869B2 (ja)
JP (2) JP7142023B2 (ja)
WO (1) WO2019088178A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3267394A1 (en) * 2016-07-04 2018-01-10 Centre National De La Recherche Scientifique Method and apparatus for real-time detection of polyps in optical colonoscopy
US11903561B2 (en) * 2021-05-03 2024-02-20 Iemis (Hk) Limited Surgical systems and devices, and methods for configuring surgical systems and performing endoscopic procedures, including ERCP procedures
JP2023166228A (ja) 2022-05-09 2023-11-21 富士フイルム株式会社 医療支援装置、医療支援方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336497A (ja) * 1995-06-09 1996-12-24 Olympus Optical Co Ltd 体腔内観察装置
JP2001095749A (ja) * 1999-09-28 2001-04-10 Olympus Optical Co Ltd 観察装置
JP2012010862A (ja) * 2010-06-30 2012-01-19 Olympus Corp 蛍光観察装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006038634A1 (ja) 2004-10-05 2008-05-15 オリンパス株式会社 内視鏡システムと生体試料収容容器と生体試料採取方法、および、生体試料の処理方法
JP2006230490A (ja) 2005-02-22 2006-09-07 Olympus Medical Systems Corp 検体検査用器具および検査システム
ATE545031T1 (de) * 2005-12-19 2012-02-15 Analiza Inc Verfahren unter beteiligung von datenmustern, wie etwa spektralen biomarkern
EP2950763A1 (en) * 2013-02-04 2015-12-09 The Cleveland Clinic Foundation Instrument depth tracking for oct-guided procedures
JP6641172B2 (ja) 2015-12-14 2020-02-05 オリンパス株式会社 内視鏡業務支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336497A (ja) * 1995-06-09 1996-12-24 Olympus Optical Co Ltd 体腔内観察装置
JP2001095749A (ja) * 1999-09-28 2001-04-10 Olympus Optical Co Ltd 観察装置
JP2012010862A (ja) * 2010-06-30 2012-01-19 Olympus Corp 蛍光観察装置

Also Published As

Publication number Publication date
JP7142023B2 (ja) 2022-09-26
US11678869B2 (en) 2023-06-20
WO2019088178A1 (ja) 2019-05-09
JP2022137211A (ja) 2022-09-21
US20200268364A1 (en) 2020-08-27
JP7345023B2 (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
JP7345023B2 (ja) 内視鏡システム
JP4493386B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
WO2020071677A1 (ko) 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
WO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
JP7110069B2 (ja) 内視鏡情報管理システム
CN113543694B (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
TWI788620B (zh) 通過語音記錄及處理一組織之影像資訊的方法及系統
EP3932290B1 (en) Medical image processing device, processor device, endoscope system, medical image processing method, and program
WO2019130924A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、及びプログラム
JP2008029521A (ja) 内視鏡システム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN112566540A (zh) 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
JP4554647B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
CN111839428A (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
Seok et al. The semantic segmentation approach for normal and pathologic tympanic membrane using deep learning
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
JP4547401B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4547402B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
JP6710853B2 (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
US20210201080A1 (en) Learning data creation apparatus, method, program, and medical image recognition apparatus
KR20230059244A (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
CN110974121A (zh) 一种判断消化内窥镜检查是否染色的方法及系统
WO2023038004A1 (ja) 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220713

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220725

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R150 Certificate of patent or registration of utility model

Ref document number: 7142023

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150