JP7314394B2 - 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム - Google Patents

内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム Download PDF

Info

Publication number
JP7314394B2
JP7314394B2 JP2022503143A JP2022503143A JP7314394B2 JP 7314394 B2 JP7314394 B2 JP 7314394B2 JP 2022503143 A JP2022503143 A JP 2022503143A JP 2022503143 A JP2022503143 A JP 2022503143A JP 7314394 B2 JP7314394 B2 JP 7314394B2
Authority
JP
Japan
Prior art keywords
endoscope
image
treatment
image data
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022503143A
Other languages
English (en)
Other versions
JPWO2021171817A1 (ja
Inventor
裕哉 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021171817A1 publication Critical patent/JPWO2021171817A1/ja
Application granted granted Critical
Publication of JP7314394B2 publication Critical patent/JP7314394B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡による検査を支援する内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラムに関する。
従来、内視鏡による検査時に、内視鏡により得られた画像を撮影時刻と関連付けて表示する構成が知られている。例えば、特許文献1には、検査データの状態値の変化により抽出されたイベントを時系列に配置した検査推移画面を生成する構成が記載されている。
また、特許文献2には、管腔臓器の内表面が撮影された複数の内視鏡画像から、管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する構成が記載されている。
また、特許文献3には、処置具である生検鉗子にソースコイルを設け、生検操作信号のON状態をトリガとして生検位置を記録することで、体腔内の所望の検査領域における生検を実施した位置を自動的に記録する構成が記載されている。
日本国特開2017-86685号公報 日本国特開2016-43033号公報 日本国特開2006-280592号公報
しかしながら、上記の従来技術では、内視鏡検査において生検等の処置が実施された個所を容易に把握することができない。特に、大腸の内表面は、画像のみで観察部位を判断することが困難であるため、生検等の処置を大腸内のいずれの個所で実施したかを把握することは困難である。
例えば、特許文献1のように、抽出されたイベントを時系列に配置した検査推移画面を表示する構成では、生検等の処置が実施されたタイミングは把握できるが、生検等の処置が実施された個所を把握することは容易でない。
また、特許文献2のように、管腔臓器の展開画像を生成する構成では、管腔臓器の内表面の状態は把握できるが、生検等の処置が実施された個所を把握することはできない。
また、特許文献3にも、上記のような課題を解決する手段は開示されていない。
本発明は、上記事情に鑑みてなされたものであり、内視鏡検査において処置が実施された個所を容易に把握可能にする内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラムを提供することを目的とする。
本発明の内視鏡検査支援装置は、プロセッサとメモリとを有し、上記メモリが、内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、上記プロセッサが、上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、生成した上記展開画像を表示装置に表示させるものである。
本発明の内視鏡検査支援方法は、内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、生成した上記展開画像を表示装置に表示させるものである。
本発明の内視鏡検査支援プログラムは、内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、生成した上記展開画像を表示装置に表示させる処理をコンピュータに実行させるためのものである。
本発明によれば、内視鏡検査において処置が実施された個所を容易に把握可能にする内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラムを提供することができる。
病院内システム全体構成の一例を示す図である。 図1に示すシステムにおける内視鏡部門システムの概略構成を示す図である。 図2に示す内視鏡部門システム20におけるクライアントPC22の内部構成を示すブロック図である。 クライアントPC22のアプリケーションの基本画面の一例を示す図である。 内視鏡装置24の一例を示す図である。 図5に示す内視鏡装置24の内部構成を示す模式図である。 図6に示した光源装置5が発生させる光のスペクトルの一例を示す図である。 画像処理装置23による静止画像の生成処理の一例を示すフローチャートである。 内視鏡検査及び大腸展開画像の一例を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
(実施形態の一例)
図1は、病院内システム全体構成の一例を示す図である。図1に示すシステムは、病院情報システム(HIS:Hospital Information System)10と、内視鏡部門システム20と、病理部門システム30と、医用画像保管システム40と、他部門システム50とを備え、これらは院内LAN(Local Area Network)60に接続されて相互に連携可能となっている。
HIS10は、医療事務会計システム、診療予約システム、診療情報システム等を含む包括的なシステムであり、電子カルテデータベース等を有する。電子カルテデータベースには、患者の診療情報を記録した電子カルテが保管される。
他の診療科から内視鏡部門に対して検査依頼が行われる場合の検査の依頼(オーダ)に関する情報(以下、検査依頼情報という)が発行されると、その情報がHIS10を介して内視鏡部門システム20に送信される。
検査依頼情報には、例えば、患者情報、オーダーキー情報(「オーダ番号」「発生日時」等)、依頼元情報(「依頼科名」「依頼医師名」「依頼日」等)、オーダ情報(「依頼病名」「検査目的」「検査種別」「検査項目」「検査部位」「コメント」等)、検査予約情報(「検査日」「実施時刻」等)等が含まれる。患者情報は、患者に関する情報であり、患者固有の情報である「患者ID」、「患者氏名」、「生年月日」、「年齢」、「性別」、「入院/外来区分」等が含まれる。
内視鏡部門システム20は、内視鏡部門の管理を行うためのシステムである。
病理部門システム30は、病理部門の管理を行うためのシステムである。
医用画像保管システム40は、内視鏡装置、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等の医療画像診断装置からの検査画像を電子的に保存、検索、解析するシステムである。医用画像保管システム40は、例えばPACS(Picture Archiving and Communication Systems)であってもよいし、医療用画像を保存可能な他のシステムであってもよい。
他部門システム50は、その他の部門の管理を行うためのシステムである。
図2は、図1に示すシステムにおける内視鏡部門システムの概略構成を示す図である。内視鏡部門には、受付20Aと、前処置室20Bと、複数の内視鏡検査室(以下、検査室)20Cと、洗浄室20Dと、カンファレンス室20Eとが含まれる。
受付20Aは、検査の受付を行う場所である。前処置室20Bは、内視鏡検査の前に行う問診及び前処置を行うための部屋である。検査室20Cは、内視鏡検査を行うための部屋である。洗浄室20Dは、内視鏡検査に用いたスコープ等の洗浄を行うための部屋である。
図2に示す内視鏡部門システム20は、内視鏡部門サーバ21と、複数のクライアントPC(Personal Computer)22と、画像処理装置23と、内視鏡装置24と、洗浄管理装置25と、洗浄機26とを備える。内視鏡部門サーバ21、複数のクライアントPC22、画像処理装置23、及び洗浄管理装置25は部門内LAN27に接続されている。部門内LAN27は院内LAN60に接続されている。本発明の内視鏡検査支援装置は、一例としては画像処理装置23に適用することができる。
内視鏡装置24は、先端に撮像素子を有する挿入部(スコープ)を備え、撮像素子の連続撮影により得られる連続した撮影画像データを画像処理装置23へ入力する。内視鏡装置24の構成例については図5において後述する。
画像処理装置23は、画像処理装置23が設置される検査室20Cの内視鏡装置24に接続されている。画像処理装置23には、内視鏡装置24の連続撮影により得られる撮影画像データが連続して入力される。画像処理装置23は、内視鏡装置24から連続して入力される撮影画像データのうち、特定の条件を満たす撮影画像データに基づく静止画像を生成する。
具体的には、画像処理装置23は、内視鏡装置24から入力される撮影画像データに基づいてAI(Artificial Intelligence)による解析を行う。そして、画像処理装置23は、内視鏡装置24から連続して入力される撮影画像データのうち、解析の結果に基づく時の撮影画像データに基づく静止画像を生成する。
例えば、画像処理装置23は、内視鏡装置24から入力される撮影画像データに基づく画像認識により、内視鏡装置24のスコープの先端の特異点(肛門や回盲部等)への到達を検知すると、その時点からの複数の撮影画像データを抽出する。そして、画像処理装置23は、抽出した複数の撮影画像データのそれぞれについて静止画像を生成する。
また、画像処理装置23は、内視鏡装置24から入力される撮影画像データに基づく画像認識により、内視鏡装置24の内視鏡を用いた処置の実施を検知すると、その時点の撮影画像データを抽出する。この処置は、例えば、内視鏡装置24の内視鏡に設けられた生検鉗子を用いた生検等の処置である。生検鉗子を用いた生検が行われると、撮影画像データの画像に生検鉗子が映り込む。このため、画像処理装置23は、撮影画像データに基づく画像認識により、画像に映り込んだ生検鉗子を検知することにより、生検鉗子を用いた生検を検知することができる。
また、画像処理装置23は、生成する静止画像に、その静止画像が得られた時の画像処理装置23の内部時刻を示す撮影時刻情報を付加する。
本発明の内視鏡検査支援装置を画像処理装置23に適用する場合、画像処理装置23は、内視鏡装置24の複数回の撮影により得られた複数の撮影画像データと、内視鏡装置24を用いて行われた処置を示す処置情報と、を記憶する。また、画像処理装置23は、記憶した複数の撮影画像データ及び処置情報に基づいて、複数の撮影画像データを合成して得た被検体内の展開画像であって、上記の処置が行われた被検体内の位置を示す情報を付した展開画像を生成する。そして、画像処理装置23は、生成した展開画像を他の表示装置(例えばクライアントPC22の表示部22b)に表示させる。これらの画像処理装置23の処理については後述する。
画像処理装置23は、生成した静止画像、撮影時刻及び展開画像を、部門内LAN27を介して内視鏡部門サーバ21へ送信する。画像処理装置23によって送信された静止画像及び撮影時刻情報は、例えば、内視鏡部門サーバ21の制御により、図1に示した医用画像保管システム40によって保管される。
洗浄機26と洗浄管理装置25は洗浄室20Dに設置されている。洗浄機26は、内視鏡検査に用いたスコープ等の洗浄を行う機器である。
洗浄管理装置25は、洗浄機26に接続されており、洗浄機26による洗浄履歴等の情報を内視鏡部門サーバ21に登録するためのコンピュータである。
内視鏡部門サーバ21は、クライアントPC22、画像処理装置23、及び洗浄管理装置25を統括制御するコンピュータである。内視鏡部門サーバ21には、データベースDBが内蔵されており、このデータベースDBに各種情報(検査依頼情報、検査結果情報等)が格納される。
クライアントPC22には、所定のアプリケーションプログラムがインストールされており、このプログラムにより、データベースDBに記録されているデータの参照及び編集、データベースへのデータの登録等が可能となっている。
図3は、図2に示す内視鏡部門システム20におけるクライアントPC22の内部構成を示すブロック図である。図3に示すように、クライアントPC22は、入力部22a、表示部22b、記録部22c、送受信部22d、及び制御部22eで構成される。
入力部22aは、各種入力を行うための入力手段であり、キーボード、タッチパネル等の入力デバイスや、マウス・トラックボール等のポインティングデバイスから構成されている。
表示部22bは、画像、レポート等の各種表示を行うためのディスプレイであり、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などで構成されている。
記録部22cは、各種データを記録するためのハードディスク等で構成されている。
送受信部22dは、送受信インタフェース回路などから構成され、各種指示、各種要求、及び各種データを、部門内LAN27を介して送受信する処理を実行する。
制御部22eは、プログラムを実行して処理を行う各種のプロセッサと、RAM(Random Access Memory)と、ROM(Read Only Memory)を含む。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
制御部22eは、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
制御部22eは、上記プログラム、部門内LAN27を介し外部から送信される各種の要求、及び入力部22aから入力される指示情報などに従ってクライアントPC22の各部の制御を行う。
クライアントPC22の内部構成について説明したが、画像処理装置23は、例えば、図3に示した送受信部22d、及び制御部22eで構成される。この場合に、画像処理装置23は、送受信部22dにより内視鏡装置24や内視鏡部門サーバ21との間で通信を行う。また、画像処理装置23は、制御部22eにより撮影画像データの解析を行う。
図4は、クライアントPC22のアプリケーションの基本画面の一例を示す図である。ユーザがクライアントPC22でアプリケーションを立ち上げてログインすると、制御部22eは、基本画面データをデータベースDBから取得し、図4に示した基本画面を表示部22bに表示させる。なお、クライアントPC22は、例えば検査室20CのクライアントPC22であるが、これに限らず図2に示した他のクライアントPC22であってもよい。
この基本画面は、検査依頼情報(一部を抜粋した情報)の一覧リストを表示する領域Aと、各種操作ボタンを表示する領域Bと、領域Aのリストで選択された検査依頼情報に対して有効なランチャーを表示する領域Cとで構成されている。
領域Aのリストには、各検査依頼情報に対して“来院”“受付”“検査”“会計”等の処理項目が設けられ、各検査依頼情報に対して各処理項目で示される処理が終了した場合に、各処理項目に“○”印が表示されるようになっている。
この印を表示するためのデータについては、各処理が終了したときに、内視鏡部門サーバ21によってデータベースDBに登録される。例えば、内視鏡部門サーバ21は、検査依頼情報に基づく検査が終了すると、検査が終了したことを示す情報を該検査依頼情報に対応付けてデータベースDBに登録する。これにより、“検査”の処理項目に“○”印が表示されるようになる。各処理が終了したかどうかの情報は、手動で入力してもよいし、クライアントPC22や内視鏡装置24から自動的に通知できるようにしてもよい。
このアプリケーションは操作ボタンとして“画像表示”ボタンC1を有し、“画像表示”ボタンC1は図4に示した基本画面の領域Cに表示される。この“画像表示”ボタンC1は、領域Aのリストから選択した検査依頼情報に基づく検査により得られた撮影画像を表示するためのボタンである。
クライアントPC22の制御部22eは、この基本画面を表示するためのデータをデータベースDBから定期的に取得し、表示部22bに表示させる。
図5は、内視鏡装置24の一例を示す図である。図5に示すように、内視鏡装置24は、内視鏡1と、この内視鏡1が接続される制御装置4及び光源装置5と、を備える。
制御装置4には、内視鏡1によって被検体内を撮像して得られる撮像画像等を表示する表示装置7と、制御装置4に対して各種情報を入力するためのインタフェースである入力部6と、が接続されている。制御装置4は、内視鏡1、光源装置5、及び表示装置7を制御する。
表示装置7は、表示画素が二次元状に配列された表示面を有し、この表示面の各表示画素に、画像データを構成する画素データが描画されることで、この画像データに基づく画像の表示が行われる。表示装置7は、制御装置4からの指令に応じて表示画像を切り替える表示部を構成する。
内視鏡1は、一方向に延びる管状部材であって被検体内に挿入される挿入部110と、挿入部110の基端部に設けられ、観察モード切替操作、撮像記録操作、鉗子操作、送気送水操作、及び吸引操作等を行うための操作部材が設けられた操作部11と、操作部11に隣接して設けられたアングルノブ12と、内視鏡1を制御装置4と光源装置5にそれぞれ着脱自在に接続するコネクタ部13A,13Bを含むユニバーサルコード13と、を含む。
なお、図5では省略されているが、操作部11及び挿入部110の内部には、細胞又はポリープ等の生体組織を採取するための生検鉗子を挿入する鉗子孔、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。
挿入部110は、可撓性を有する軟性部10Aと、軟性部10Aの先端に設けられた湾曲部10Bと、湾曲部10Bの先端に設けられた硬質の先端部10Cとから構成される。
湾曲部10Bは、アングルノブ12の回動操作により湾曲自在に構成されている。この湾曲部10Bは、内視鏡1が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部10Cを所望の方向に向けることができる。
図6は、図5に示す内視鏡装置24の内部構成を示す模式図である。図7は、図6に示した光源装置5が発生させる光のスペクトルの一例を示す図である。
光源装置5は、照明光として、通常光と特殊光とを切り替えて照射可能である。通常光は、白色光等の、医師等の人間による認識に適した発光スペクトルを有する光である。特殊光は、通常光とは発光スペクトルが異なる、IEE(Image-Enhanced Endoscopy:画像強調観察)等のコンピュータによる解析に適した発光スペクトルを有する光である。
具体的には、光源装置5は、光源用プロセッサ151と、光源部152と、光路結合部154と、を備える。光源用プロセッサ151は、制御装置4のシステム制御部44と接続されており、システム制御部44からの指令に基づいて光源部152を制御する。
光源部152は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部152は、V-LED(Violet Light Emitting Diode)152a、B-LED(Blue Light Emitting Diode)152b、G-LED(Green Light Emitting Diode)152c、及びR-LED(Red Light Emitting Diode)152dの4色のLEDを有する。
光源用プロセッサ151は、V-LED152a、B-LED152b、G-LED152c、及びR-LED152dをそれぞれ独立に制御することで、紫色光V、青色光B、緑色光G、又は赤色光Rをそれぞれ独立に光量を変えて発光可能である。図7に示すように、V-LED152aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED152bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED152cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED152dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
また、光源用プロセッサ151は、通常光の照射時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなる白色光を発光するように、各LED152a~52dを制御する。なお、Vc、Bc、Gc、Rc>0である。
また、光源用プロセッサ151は、特殊光の照射時には、短波長の狭帯域光としての紫色光V、青色光B、緑色光G、及び赤色光Rとの光量比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED152a~52dを制御する。
光量比Vs:Bs:Gs:Rsは、通常光の照射時に使用する光量比Vc:Bc:Gc:Rcと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Vsを、他のBs、Gs、Rsよりも大きくすることが好ましく、中深層血管を強調する場合には、Gsを、他のVs、Gs、Rsよりも大きくすることが好ましい。
光路結合部154は、V-LED152a、B-LED152b、G-LED152c、及びR-LED152dから出射される各光を結合し、結合した光を照明光として出射する。光源部152の光路結合部154から出射された照明光は、ユニバーサルコード13に内蔵された後述のライトガイド153に入射し、挿入部110の先端部10Cに設けられた照明用レンズ150を通って被写体に照射される。
内視鏡1の先端部10Cには、対物レンズ121及びレンズ群122を含む撮像光学系と、この撮像光学系を通して被写体を撮像する撮像素子123と、RAM等のメモリ125と、通信インタフェース(I/F)126と、撮像駆動部127と、光源部152から出射された照明光を照明用レンズ150に導くためのライトガイド153と、が設けられている。撮像素子123は、本発明の撮像部を構成する。
ライトガイド153は、先端部10Cからユニバーサルコード13のコネクタ部13Aまで延びている。ユニバーサルコード13のコネクタ部13Aが光源装置5に接続された状態で、光源装置5の光源部152から出射される照明光がライトガイド153に入射可能な状態となる。
撮像素子123は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が用いられる。本実施形態においては、撮像素子123は、ローリングシャッタを用いるCMOSである。
撮像素子123は、複数の画素が二次元状に配置された受光面を有し、上記の撮像光学系によりこの受光面に結像された光学像を各画素において電気信号(撮像信号)に変換する。そして、撮像素子123は、変換した撮像信号をアナログ信号から所定のビット数のデジタル信号に変換し、デジタル信号に変換した撮像信号をメモリ125に出力する。撮像素子123は、例えば原色又は補色等のカラーフィルタを搭載するものが用いられる。
撮像素子123は、対物レンズ121の光軸Axに対して受光面が垂直となる状態で先端部10Cに配置されていてもよいし、対物レンズ121の光軸Axに対して受光面が平行となる状態で先端部10Cに配置されていてもよい。
内視鏡1に設けられる撮像光学系は、撮像素子123と対物レンズ121との間における被写体からの光の光路上にあるレンズ、プリズム等の光学部材(上記のレンズ群122を含む)と、対物レンズ121と、によって構成される。撮像光学系は、対物レンズ121のみで構成される場合もある。
メモリ125は、撮像素子123から出力されたデジタルの撮像信号を一時的に記録する。
通信I/F126は、制御装置4の通信インタフェース(I/F)41と接続される。通信I/F126は、メモリ125に記録された撮像信号を、ユニバーサルコード13内の信号線を通して制御装置4に伝送する。
撮像駆動部127は、通信I/F126を介して制御装置4のシステム制御部44と接続されている。撮像駆動部127は、通信I/F126で受信されるシステム制御部44からの指令に基づいて、撮像素子123及びメモリ125を駆動する。
制御装置4は、ユニバーサルコード13によって内視鏡1の通信I/F126と接続される通信I/F41と、信号処理部42と、表示コントローラ43と、システム制御部44と、記録媒体45と、を備える。
通信I/F41は、内視鏡1の通信I/F126から伝送されてきた撮像信号を受信して信号処理部42に伝達する。
信号処理部42は、通信I/F41から受けた撮像信号を一時記録するメモリを内蔵しており、メモリに記録された撮像信号の集合である撮像画像信号を処理(デモザイク処理又はガンマ補正処理等の画像処理)して、認識処理等が可能な形式の撮像画像情報を生成する。信号処理部42によって生成された撮像画像情報は、ハードディスク又はフラッシュメモリ等の記録媒体45に記録される。
表示コントローラ43は、信号処理部42によって生成された撮像画像情報に基づく撮像画像を表示装置7に表示させる。信号処理部42によって生成された撮像画像情報を構成する各画素データの座標は、表示装置7の表示面を構成するいずれかの表示画素の座標と対応付けて管理されている。
システム制御部44は、制御装置4の各部を制御すると共に、内視鏡1の撮像駆動部127と光源装置5の光源用プロセッサ151とに指令を送り、内視鏡装置24の全体を統括制御する。例えば、システム制御部44は、撮像駆動部127を介して撮像素子123の制御を行う。また、システム制御部44は、光源用プロセッサ151を介して光源部152の制御を行う。
システム制御部44や信号処理部42は、プログラムを実行して処理を行う各種のプロセッサと、RAMと、ROMを含む。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU、FPGA等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス、又はASIC等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部44や信号処理部42は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
図8は、画像処理装置23による静止画像の生成処理の一例を示すフローチャートである。本発明の内視鏡検査支援装置を適用した画像処理装置23は、例えば図8に示す処理を実行する。ここでは、内視鏡1(スコープ)を被検体内の肛門から挿入して回盲部まで到達させた後、内視鏡1をゆっくりと引き抜きながら観察を行う大腸検査を行う場合について説明する。
まず、画像処理装置23は、内視鏡装置24から連続して入力される撮影画像データのAIによる解析を開始する(ステップS81)。この解析は、具体的には、撮影画像データに基づく画像認識である。例えば、画像処理装置23は、この画像認識に基づいて、内視鏡1の先端の特異点への到達を検知したり、画像に映り込んだ生検鉗子を検出して生検の実施を検知したりする。この特異点は、例えば、上行結腸、横行結腸、下行結腸、S字結腸、及び直腸などの大腸内の特定部位である。
次に、画像処理装置23は、ステップS81により開始した解析の結果に基づいて、内視鏡1の先端の回盲部への到達を検知したか否かを判断し(ステップS82)、回盲部への到達を検知するまで待つ(ステップS82:Noのループ)。
ステップS82において、回盲部への到達を検知した場合(ステップS82:Yes)は、画像処理装置23は、ステップS81により開始した解析の結果に基づいて、内視鏡1の先端の特異点への到達を検知したか否かを判断する(ステップS83)。
ステップS83において、特異点への到達を検知した場合(ステップS83:Yes)は、画像処理装置23は、そのときに内視鏡装置24から入力された撮影画像データに基づく静止画像と、その撮影画像データの撮影時刻を示す撮影時刻情報と、を生成し(ステップS84)、ステップS83へ戻る。ステップS84による静止画像及び撮影時刻情報の生成は、特異点への到達が検知された後の複数の時刻において行われてもよい。
ステップS83において、特異点への到達を検知していない場合(ステップS83:No)は、画像処理装置23は、ステップS81により開始した解析の結果に基づいて、生検の実施を検知したか否かを判断する(ステップS85)。
ステップS85において、生検の実施を検知した場合(ステップS85:Yes)は、画像処理装置23は、そのときに内視鏡装置24から入力された撮影画像データに基づく静止画像と、その撮影画像データの撮影時刻を示す撮影時刻情報と、を生成し(ステップS86)、ステップS83へ戻る。ステップS86による静止画像及び撮影時刻情報の生成は、生検の実施が検知された後の複数の時刻において行われてもよい。
ステップS85において、生検の実施を検知していない場合(ステップS85:No)は、画像処理装置23は、ステップS81により開始した解析の結果に基づいて、内視鏡1の先端の肛門への到達を検知したか否かを判断する(ステップS87)。肛門への到達を検知していない場合(ステップS87:No)は、画像処理装置23は、ステップS83へ戻る。
ステップS87において、肛門への到達を検知した場合(ステップS87:Yes)は、画像処理装置23は、内視鏡装置24から入力された複数の撮影画像データに基づいて大腸展開画像を生成する(ステップS88)。この大腸展開画像は、被検体の大腸を延在方向に沿って切り開いて展開した状態を仮想的に表すものであり、大腸内の撮影に基づく複数の静止画像を合成することにより生成することができる。大腸展開画像の具体例については図9において説明する。
例えば、画像処理装置23は、ステップS84,S86により生成した静止画像に基づいて大腸展開画像を生成する。又は、画像処理装置23は、内視鏡1の先端の回盲部への到達を検知してから内視鏡1の先端の肛門への到達を検知するまでの期間に内視鏡装置24から入力された撮影画像データの少なくとも一部に基づいて大腸展開画像を生成してもよい。すなわち、画像処理装置23は、ステップS84,S86により生成する静止画像とは別に、大腸展開画像を生成するための静止画像を、内視鏡装置24から取得した撮影画像データに基づいて生成してもよい。
次に、画像処理装置23は、生検が実施された位置を示す生検位置情報を、ステップS88により生成した大腸展開画像に付加する(ステップS89)。生検位置情報は、例えば、大腸展開画像における、生検が実施された位置を指し示す画像等である。生検位置情報の具体例については図9において説明する。
次に、画像処理装置23は、ステップS89により生検位置情報を付加した大腸展開画像と、ステップS84,S86により生成した静止画像及び撮影時刻情報とを、内視鏡部門サーバ21へ送信し(ステップS90)、一連の処理を終了する。これにより、画像処理装置23が生成した大腸展開画像等を、他の装置の表示装置(例えばクライアントPC22の表示部22b)に表示させることができる。
すなわち、ステップS90により内視鏡部門サーバ21へ送信されたこれらの情報は、図1に示した医用画像保管システム40によって保管され、例えばクライアントPC22によって表示させる。クライアントPC22による表示の具体例について、図9において説明する。
図9は、内視鏡検査及び大腸展開画像の一例を示す図である。図9において、横軸T1は、内視鏡検査の開始から終了までの時系列を示している。
横軸T1に示すように、図9に示す例においては、時刻t1に被検体への内視鏡1の先端の挿入が開始された(検査開始)。また、時刻t1より後の時刻t2において、内視鏡1の先端が被検体の回盲部に到達した(回盲部到達)。
時刻t2以降、内視鏡1の先端を被検体から引き抜きながら観察が行われる。そして、時刻t2より後の時刻t3と、時刻t3より後の時刻t4と、のそれぞれにおいて、内視鏡1の生検鉗子を用いた生検が実施された。
時刻t3において、画像処理装置23は、内視鏡装置24からの撮影画像データに基づいて生検鉗子の映り込みを認識することにより生検の実施を検知する。そして、画像処理装置23は、この検知結果に基づいて、時刻t3における静止画像を自動的に取得する。
同様に、時刻t4において、画像処理装置23は、内視鏡装置24からの撮影画像データに基づいて生検鉗子の映り込みを認識することにより生検の実施を検知する。そして、画像処理装置23は、この検知結果に基づいて、時刻t4における静止画像を自動的に取得する。
また、時刻t4の後の時刻t5において、内視鏡1の先端が被検体の肛門に到達し、内視鏡1が被検体から抜き去られた(検査終了)。
また、画像処理装置23は、生検の実施を検知した場合に加えて、内視鏡装置24からの撮影画像データに基づいて、内視鏡1の先端の、大腸内の特異点への到達を検知した時の静止画像も生成する。
また、画像処理装置23は、生成する静止画像に、その静止画像が得られた時の画像処理装置23の内部時刻を示す撮影時刻情報を付加する。
また、画像処理装置23は、内視鏡装置24から得られた撮影画像データに基づいて大腸展開画像を生成し、生成した大腸展開画像に生検位置情報を付加する。
これらの画像処理装置23により生成された静止画像、撮影時刻情報及び大腸展開画像は、上記のように医用画像保管システム40によって保管される。
その後、例えばクライアントPC22において、図9に示す内視鏡検査について画像の表示の指示(例えば図4に示した“画像表示”ボタンC1の押下)を受け付けると、そのクライアントPC22は、医用画像保管システム40によって保管された静止画像、撮影時刻情報及び大腸展開画像に基づいて、例えば図9に示す画像90を表示部22bにより表示する。
画像90は、大腸展開画像91と、サムネイル92と、サムネイル93と、生検マーク93aと、生検個所マーク91aと、生検回数通知部94と、を含む。
大腸展開画像91は、例えば図8のステップS88において画像処理装置23により生成された大腸展開画像である。例えば、画像処理装置23は、生成した各静止画像を、互いに重複する部分については重ねて合成することにより大腸展開画像91を生成する。
例えば、大腸展開画像91は、撮影時刻が時刻t2から時刻t5までの撮影画像データに基づく各静止画像を合成して得られた展開画像である。図9において、大腸展開画像91の左端は時刻t2に撮影された部分であり、大腸展開画像91の右端は時刻t5に撮影された部分である。具体的に、大腸展開画像91は、左端から順に、上行結腸、横行結腸、下行結腸、S字結腸、及び直腸の各領域を有する。
生検個所マーク91aは、例えば図8に示したステップS89において画像処理装置23により大腸展開画像に付加される生検位置情報の一例である。例えば、画像処理装置23は、大腸展開画像91の生成に用いた各静止画像の撮影時刻情報に基づいて、大腸展開画像91のうち、生検の実施が検知された時刻に撮影された部分に生検個所マーク91aを重ねる。これにより、大腸展開画像91のうち生検が実施された位置に生検個所マーク91aが付加される。
サムネイル92は、例えば図8のステップS84において画像処理装置23により撮影時刻情報とともに生成された静止画像のサムネイル(縮小画像)である。サムネイル93は、例えば図8のステップS86において画像処理装置23により撮影時刻情報とともに生成された静止画像のサムネイルである。
サムネイル92,93のそれぞれを対象として、例えば、画像処理装置23は、大腸展開画像91の生成に用いた各静止画像の撮影時刻情報に基づいて、大腸展開画像91のうち、対象のサムネイルに対応する静止画像が撮影された時刻に撮影された部分を特定し、特定した部分の上側に、対象の静止画像を配置する。これにより、撮影時刻により大腸展開画像91と対応付けられたサムネイル92,93を含む画像90が生成される。
クライアントPC22は、表示したサムネイル92,93のいずれかを選択する選択操作(例えばサムネイル92,93のクリック等)を受け付けると、サムネイル92,93のうち選択操作を受け付けたサムネイルに対応する静止画像を表示部22bに表示する。このサムネイルに対応する静止画像は、画像90に重ねて表示されてもよいし、画像90に代えて表示されてもよいし、画像90と並べて表示されてもよい。
また、サムネイル92,93のうち、生検の実施の検知に応じて得られた静止画像のサムネイル93には、生検の実施時の静止画像であることを示す生検マーク93aを付してもよい。これにより、サムネイル92,93のうちサムネイル93が、生検の実施時の静止画像に対応することを容易に把握することができる。
また、クライアントPC22は、実施された生検の回数(例えばサムネイル93の数)を生検回数通知部94に表示してもよい。図9に示す例では、時刻t3,t4において生検の実施が検知されているため、クライアントPC22は、実施された生検の回数として2回(生検:2回)を生検回数通知部94に表示している。
このように、本発明の内視鏡検査支援装置を適用した画像処理装置23によれば、内視鏡1が被検体内に挿入されている状態において内視鏡1の複数回の撮影により得られた複数の撮影画像データと、その状態において内視鏡1を用いて行われた処置を示す処置情報と、に基づいて、上記の複数の撮影画像データを合成して得た被検体内の展開画像であって、上記の処置が行われた被検体内の位置を示す情報を付した展開画像をクライアントPC22に表示させることができる。
これにより、この展開画像を見たユーザは、内視鏡1を挿入した被検体の内表面の状態を容易に把握でき、さらにその展開画像には上記の処置が行われた被検体内の位置を示す情報が付加されているため、内視鏡検査において生検等の処置が実施された個所を容易に把握することができる。
(変形例)
画像処理装置23によって生成した各情報を医用画像保管システム40に保管し、医用画像保管システム40によって保管される各情報に基づいてクライアントPC22が画像90等の表示を行う構成について説明したが、このような構成に限らない。例えば、画像処理装置23によって生成した各情報を内視鏡部門サーバ21に保管し、内視鏡部門サーバ21によって保管される各情報に基づいてクライアントPC22が画像90等の表示を行う構成としてもよい。
また、展開画像をクライアントPC22の表示部22bに表示させる構成について説明したが、このような構成に限らない。例えば、展開画像を、内視鏡装置24の表示装置7や、不図示の他の表示装置に表示させる構成としてもよい。
また、内視鏡1を用いた処置の具体例として、内視鏡1の生検鉗子を用いた生検について説明したが、内視鏡1を用いた処置はこれに限らない。例えば、内視鏡1を用いた処置は、ポリープ等の切除などであってもよい。
また、展開画像の例として大腸展開画像について説明したが、展開画像はこれに限らない。例えば、内視鏡装置24により被検体の胃の検査を行う場合には、被検体の胃を延在方向に沿って切り開いて展開した状態を仮想的に表す胃展開画像が表示される。
本発明の内視鏡検査支援装置を画像処理装置23に適用する構成について説明したが、本発明の内視鏡検査支援装置は画像処理装置23以外の装置に適用することもできる。例えば、本発明の内視鏡検査支援装置は、内視鏡装置24、内視鏡部門サーバ21、医用画像保管システム40などに適用することもできる。
以上説明したように、本明細書には次の事項が開示されている。
(1)
プロセッサとメモリとを有し、
上記メモリが、
内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
上記プロセッサが、
上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、
生成した上記展開画像を表示装置に表示させる、
内視鏡検査支援装置。
(2)
(1)記載の内視鏡検査支援装置であって、
上記メモリが、上記内視鏡の撮影により得られた静止画像を記憶し、
上記プロセッサが、上記静止画像と対応付けた上記展開画像を生成する、
内視鏡検査支援装置。
(3)
(2)記載の内視鏡検査支援装置であって、
上記静止画像は、上記内視鏡を用いた処置の上記撮影画像データに基づく検知結果に応じて得られた静止画像を含む、内視鏡検査支援装置。
(4)
(2)又は(3)記載の内視鏡検査支援装置であって、
上記静止画像は、上記内視鏡の先端部の上記被検体内の特定部位への到達の上記撮影画像データに基づく検知結果に応じて得られた静止画像を含む、内視鏡検査支援装置。
(5)
(1)から(4)のいずれか1つに記載の内視鏡検査支援装置であって、
上記複数の撮影画像データは、上記被検体内の検査領域の端部への上記内視鏡の先端部の到達が検知されてから得られた複数の撮影画像データである、内視鏡検査支援装置。
(6)
(1)から(5)のいずれか1つに記載の内視鏡検査支援装置であって、
上記メモリが、上記複数の撮影画像データ及び上記処置情報を時刻情報と対応付けて記憶し、
上記プロセッサが、上記時刻情報に基づいて、上記処置が行われた上記被検体内の位置を示す情報を付した上記展開画像を生成する、
内視鏡検査支援装置。
(7)
(1)から(5)のいずれか1つに記載の内視鏡検査支援装置であって、
上記プロセッサが、上記内視鏡を用いた上記処置の実施を上記撮影画像データに基づいて検知した結果に基づいて、上記処置が行われた上記被検体内の位置を示す情報を付した上記展開画像を生成する、内視鏡検査支援装置。
(8)
内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、
生成した上記展開画像を表示装置に表示させる、
内視鏡検査支援方法。
(9)
内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、
生成した上記展開画像を表示装置に表示させる、
処理をコンピュータに実行させるための内視鏡検査支援プログラム。
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
なお、本出願は、2020年2月27日出願の日本特許出願(特願2020-032313)に基づくものであり、その内容は本出願の中に参照として援用される。
1 内視鏡
4 制御装置
5 光源装置
6,22a 入力部
7 表示装置
10 HIS
10A 軟性部
10B 湾曲部
10C 先端部
11 操作部
12 アングルノブ
13 ユニバーサルコード
13A コネクタ部
13B コネクタ部13A
20 内視鏡部門システム
20A 受付
20B 前処置室
20C 検査室
20D 洗浄室
20E カンファレンス室
21 内視鏡部門サーバ
22 クライアントPC
22b 表示部
22c 記録部
22d 送受信部
22e 制御部
23 画像処理装置
24 内視鏡装置
25 洗浄管理装置
26 洗浄機
27 部門内LAN
30 病理部門システム
40 医用画像保管システム
41,126 通信I/F
42 信号処理部
43 表示コントローラ
44 システム制御部
45 記録媒体
50 他部門システム
60 院内LAN
90 画像
91 大腸展開画像
91a 生検個所マーク
92,93 サムネイル
93a 生検マーク
94 生検回数通知部
110 挿入部
121 対物レンズ
122 レンズ群
123 撮像素子
125 メモリ
127 撮像駆動部
150 照明用レンズ
151 光源用プロセッサ
152 光源部
152a V-LED
152b B-LED
152c G-LED
152d R-LED
153 ライトガイド
154 光路結合部
t1~t5 時刻
C1 ボタン

Claims (9)

  1. プロセッサとメモリとを有し、
    前記メモリが、
    内視鏡が被検体内に挿入されている状態において前記内視鏡の複数回の撮影により得られた複数の撮影画像データと、前記状態において前記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
    前記プロセッサが、
    前記複数の撮影画像データ及び前記処置情報に基づいて、前記複数の撮影画像データを合成して得た前記被検体内の展開画像であって、前記処置が行われた前記被検体内の位置を示す情報を付した展開画像を生成し、
    生成した前記展開画像を表示装置に表示させる、
    内視鏡検査支援装置。
  2. 請求項1記載の内視鏡検査支援装置であって、
    前記メモリが、前記内視鏡の撮影により得られた静止画像を記憶し、
    前記プロセッサが、前記静止画像と対応付けた前記展開画像を生成する、
    内視鏡検査支援装置。
  3. 請求項2記載の内視鏡検査支援装置であって、
    前記静止画像は、前記内視鏡を用いた処置の前記撮影画像データに基づく検知結果に応じて得られた静止画像を含む、内視鏡検査支援装置。
  4. 請求項2又は3記載の内視鏡検査支援装置であって、
    前記静止画像は、前記内視鏡の先端部の前記被検体内の特定部位への到達の前記撮影画像データに基づく検知結果に応じて得られた静止画像を含む、内視鏡検査支援装置。
  5. 請求項1から4のいずれか1項記載の内視鏡検査支援装置であって、
    前記複数の撮影画像データは、前記被検体内の検査領域の端部への前記内視鏡の先端部の到達が検知されてから得られた複数の撮影画像データである、内視鏡検査支援装置。
  6. 請求項1から5のいずれか1項記載の内視鏡検査支援装置であって、
    前記メモリが、前記複数の撮影画像データ及び前記処置情報を時刻情報と対応付けて記憶し、
    前記プロセッサが、前記時刻情報に基づいて、前記処置が行われた前記被検体内の位置を示す情報を付した前記展開画像を生成する、
    内視鏡検査支援装置。
  7. 請求項1から5のいずれか1項記載の内視鏡検査支援装置であって、
    前記プロセッサが、前記内視鏡を用いた前記処置の実施を前記撮影画像データに基づいて検知した結果に基づいて、前記処置が行われた前記被検体内の位置を示す情報を付した前記展開画像を生成する、内視鏡検査支援装置。
  8. 内視鏡が被検体内に挿入されている状態において前記内視鏡の複数回の撮影により得られた複数の撮影画像データと、前記状態において前記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
    前記複数の撮影画像データ及び前記処置情報に基づいて、前記複数の撮影画像データを合成して得た前記被検体内の展開画像であって、前記処置が行われた前記被検体内の位置を示す情報を付した展開画像を生成し、
    生成した前記展開画像を表示装置に表示させる、
    内視鏡検査支援方法。
  9. 内視鏡が被検体内に挿入されている状態において前記内視鏡の複数回の撮影により得られた複数の撮影画像データと、前記状態において前記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
    前記複数の撮影画像データ及び前記処置情報に基づいて、前記複数の撮影画像データを合成して得た前記被検体内の展開画像であって、前記処置が行われた前記被検体内の位置を示す情報を付した展開画像を生成し、
    生成した前記展開画像を表示装置に表示させる、
    処理をコンピュータに実行させるための内視鏡検査支援プログラム。
JP2022503143A 2020-02-27 2021-01-13 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム Active JP7314394B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020032313 2020-02-27
JP2020032313 2020-02-27
PCT/JP2021/000927 WO2021171817A1 (ja) 2020-02-27 2021-01-13 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム

Publications (2)

Publication Number Publication Date
JPWO2021171817A1 JPWO2021171817A1 (ja) 2021-09-02
JP7314394B2 true JP7314394B2 (ja) 2023-07-25

Family

ID=77489953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022503143A Active JP7314394B2 (ja) 2020-02-27 2021-01-13 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム

Country Status (4)

Country Link
US (1) US20220338717A1 (ja)
JP (1) JP7314394B2 (ja)
CN (1) CN115135224A (ja)
WO (1) WO2021171817A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019004084T5 (de) * 2019-03-27 2021-05-06 Hoya Corporation Endoskopprozessor, informationsverarbeitungsvorrichtung, endoskopsystem, programm und informationsverarbeitungsverfahren

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006280592A (ja) 2005-03-31 2006-10-19 Olympus Medical Systems Corp 処置支援装置
JP2017528175A (ja) 2014-07-02 2017-09-28 コヴィディエン リミテッド パートナーシップ 3dのナビゲーションの間に距離および向きのフィードバックを提供するシステムおよび方法
US20180060524A1 (en) 2016-08-31 2018-03-01 Covidien Lp Pathway planning for use with a navigation planning and procedure system
WO2018096680A1 (ja) 2016-11-28 2018-05-31 オリンパス株式会社 情報呈示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006280592A (ja) 2005-03-31 2006-10-19 Olympus Medical Systems Corp 処置支援装置
JP2017528175A (ja) 2014-07-02 2017-09-28 コヴィディエン リミテッド パートナーシップ 3dのナビゲーションの間に距離および向きのフィードバックを提供するシステムおよび方法
US20180060524A1 (en) 2016-08-31 2018-03-01 Covidien Lp Pathway planning for use with a navigation planning and procedure system
WO2018096680A1 (ja) 2016-11-28 2018-05-31 オリンパス株式会社 情報呈示システム

Also Published As

Publication number Publication date
WO2021171817A1 (ja) 2021-09-02
US20220338717A1 (en) 2022-10-27
CN115135224A (zh) 2022-09-30
JPWO2021171817A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US9788708B2 (en) Displaying image data from a scanner capsule
JP5459423B2 (ja) 診断システム
JP7420876B2 (ja) 内視鏡関連業務システム
JP6889282B2 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP5593008B1 (ja) 画像処理装置及び画像処理方法
JP7314394B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
JP2017099509A (ja) 内視鏡業務支援システム
JP5125128B2 (ja) 医用画像管理システム、データ管理方法
CN116724334A (zh) 计算机程序、学习模型的生成方法、以及手术辅助装置
WO2021176852A1 (ja) 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
JP7335976B2 (ja) 内視鏡システム、制御プログラム、及び表示方法
WO2023282143A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
US20240148235A1 (en) Information processing apparatus, information processing method, endoscope system, and report creation support device
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
WO2023135816A1 (ja) 医療支援システムおよび医療支援方法
WO2023166647A1 (ja) 医療支援システムおよび画像表示方法
JP7470779B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2023145078A1 (ja) 医療支援システムおよび医療支援方法
JP2007259920A (ja) 小規模診断システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230712

R150 Certificate of patent or registration of utility model

Ref document number: 7314394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150