JP7023196B2 - 検査支援装置、方法およびプログラム - Google Patents

検査支援装置、方法およびプログラム Download PDF

Info

Publication number
JP7023196B2
JP7023196B2 JP2018132896A JP2018132896A JP7023196B2 JP 7023196 B2 JP7023196 B2 JP 7023196B2 JP 2018132896 A JP2018132896 A JP 2018132896A JP 2018132896 A JP2018132896 A JP 2018132896A JP 7023196 B2 JP7023196 B2 JP 7023196B2
Authority
JP
Japan
Prior art keywords
image
endoscope
virtual
endoscope image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018132896A
Other languages
English (en)
Other versions
JP2020010735A5 (ja
JP2020010735A (ja
Inventor
真之介 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018132896A priority Critical patent/JP7023196B2/ja
Priority to US16/453,687 priority patent/US10970875B2/en
Publication of JP2020010735A publication Critical patent/JP2020010735A/ja
Publication of JP2020010735A5 publication Critical patent/JP2020010735A5/ja
Application granted granted Critical
Publication of JP7023196B2 publication Critical patent/JP7023196B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Description

本開示は、気管支等の管状構造物に対する内視鏡等を用いた検査を支援する検査支援装置、方法およびプログラムに関するものである。
近年、患者の大腸および気管支等の管状構造物を内視鏡を用いて観察したり、処置したりする技術が注目されている。しかしながら、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状構造物内部の色および質感が鮮明に表現された画像が得られる一方で、管状構造物の内部を２次元の画像に表すものである。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。とくに、気管支の内視鏡は径が細く視野が狭いため、内視鏡の先端を目的とする位置まで到達させることは困難である。
そこで、ＣＴ（Computed Tomography）装置またはＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティによる断層撮影により取得された３次元画像を用いて、管状構造物内の目標とする地点までの経路を予め取得し、３次元画像から実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成し、仮想内視鏡画像を用いて目標とする地点までの内視鏡の経路をナビゲーションする手法が提案されている。例えば、特許文献１には、３次元画像から管状構造物の経路を表す経路情報を取得し、経路に沿って仮想内視鏡画像を多数生成し、仮想内視鏡画像と内視鏡により撮影を行うことにより取得した実際の内視鏡画像である実内視鏡画像とのマッチングを行い、内視鏡の現在位置における仮想内視鏡画像を特定することにより、内視鏡の先端位置を特定する手法が提案されている。
しかしながら、ナビゲーション画像を用いても、気管支のような多段階に分岐する経路を有する構造物の場合、内視鏡の先端を目標とする位置まで短時間で到達させるのは熟練した技術を要する。
このため、仮想内視鏡画像の画像強度をグレースケールに変換し、実内視鏡画像とグレースケールに変換した仮想内視鏡画像とのマッチングを行うことにより、内視鏡の先端位置を特定する手法が提案されている（特許文献２参照）。
特許第５７１８５３７号公報 特開２００３－２６５４０８号公報
一方、内視鏡は管状構造物内に挿入されるものであるため、体内の粘液等の影響により、内視鏡先端のレンズに体液が付着したり、レンズが曇ったりする場合がある。また、断層撮影によっては捉えることができない物体が実内視鏡画像に含まれる場合もある。このように、レンズの曇りおよび撮影によっては捉えることができない物体等がノイズとして実内視鏡画像に含まれる場合、仮想内視鏡画像をグレースケールに変換したとしても、実内視鏡画像と仮想内視鏡画像とのマッチングを精度よく行うことができない。その結果、内視鏡の先端位置を精度よく特定することができなくなる。
本開示は上記事情に鑑みなされたものであり、実内視鏡画像と仮想内視鏡画像とのマッチングを精度よく行うことができるようにすることを目的とする。
本開示による検査支援装置は、被検体の管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す実内視鏡画像、および被検体の管状構造物を含む３次元画像から生成された、管状構造物の内壁を擬似的に表す仮想内視鏡画像を取得する画像取得部と、
実内視鏡画像の表現形式を、仮想内視鏡画像の表現形式に変換することにより、変換済み実内視鏡画像を取得する変換部と、
変換済み実内視鏡画像と仮想内視鏡画像との類似度を算出する類似度算出部とを備える。
「表現形式」とは、画像を表示した際に、見た者に対する画像の印象に影響を与える、いわば画像の画風を意味する。例えば、画像が医用画像であり、医用画像が実際に撮影をすることにより取得されたものであれば、その医用画像の表現形式は実写風となる。また、医用画像がＣＧ（computer graphics）により生成されたものであれば、その医用画像の表現形式はＣＧ風となる。また、医用画像が、ボリュームレンダリング等の投影法を用いて３次元画像を投影することにより生成されたものであれば、その医用画像の表現形式はＣＧ風であってボリュームレンダリング画像風となる。さらに、医用画像が実内視鏡画像であれば、その医用画像は実写風であって実内視鏡画像風となり、医用画像が仮想内視鏡画像であれば、その医用画像はＣＧ風であって仮想内視鏡画像風となる。なお、各表現形式は、画像の階調および色彩表現に関するパラメータの範囲、テクスチャ表現（画像の粗さ、細かさ、ノイズ量およびノイズ特徴）、表面反射率、並びに透明度等の特徴によって決定されるものであるが、これらに限定されない。
また、本開示による検査支援装置においては、算出された類似度が予め定められたしきい値以上となる仮想内視鏡画像を用いて、管状構造物内における内視鏡の位置を推定する位置推定部をさらに備えるものであってもよい。
また、本開示による検査支援装置においては、推定された内視鏡の位置に対応する仮想内視鏡画像と変換済み実内視鏡画像とを表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本開示による検査支援装置においては、３次元画像から仮想内視鏡画像を生成する仮想内視鏡画像生成部をさらに備えるものであってもよい。
本開示による検査支援方法は、被検体の管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す実内視鏡画像、および被検体の管状構造物を含む３次元画像から生成された、管状構造物の内壁を擬似的に表す仮想内視鏡画像を取得し、
実内視鏡画像の表現形式を、仮想内視鏡画像の表現形式に変換することにより、変換済み実内視鏡画像を取得し、
変換済み実内視鏡画像と仮想内視鏡画像との類似度を算出する。
なお、本開示による検査支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の検査支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
被検体の管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す実内視鏡画像、および被検体の管状構造物を含む３次元画像から生成された、管状構造物の内壁を擬似的に表す仮想内視鏡画像を取得し、
実内視鏡画像の表現形式を、仮想内視鏡画像の表現形式に変換することにより、変換済み実内視鏡画像を取得し、
変換済み実内視鏡画像と仮想内視鏡画像との類似度を算出する処理を実行する。
本開示によれば、実内視鏡画像および仮想内視鏡画像が取得され、実内視鏡画像の表現形式が仮想内視鏡画像の表現形式に変換されることにより、変換済み実内視鏡画像が取得され、変換済み実内視鏡画像と仮想内視鏡画像との類似度が算出される。このため、実内視鏡画像にノイズが含まれていても、実内視鏡画像を仮想内視鏡画像の表現形式に変換する際に、ノイズをキャンセルすることができる。したがって、本開示によれば、実内視鏡画像と仮想内視鏡画像との類似度を精度よく算出することができる。
本開示の実施形態による検査支援装置を適用した、診断支援システムの概要を示すハードウェア構成図 コンピュータに検査支援プログラムをインストールすることにより実現される検査支援装置の概略構成を示す図 気管支画像を示す図 内視鏡の経路が設定された気管支画像を示す図 実内視鏡画像の変換を説明するための図 類似度を算出する仮想内視鏡画像の範囲を説明するための図 表示画像を示す図 本実施形態において行われる処理を示すフローチャート 本開示の他の実施形態による検査支援装置を適用した、診断支援システムの概要を示すハードウェア構成図
以下、図面を参照して本開示の実施形態について説明する。図１は、本実施形態による検査支援装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、本実施形態のシステムでは、内視鏡装置３、３次元画像撮影装置４、画像保管サーバ５および検査支援装置６が、ネットワーク８を経由して通信可能な状態で接続されている。
内視鏡装置３は、被検体の管状構造物の内部を撮影する内視鏡スコープ３１、並びに撮影により得られた信号に基づいて管状構造物の内部の画像を生成するプロセッサ装置３２等を備える。
内視鏡スコープ３１は、被検体の管状構造物内に挿入される挿入部が操作部３Ａに連続して取り付けられたものである。内視鏡スコープ３１は、プロセッサ装置３２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置３２に接続されている。操作部３Ａは、挿入部の先端３Ｂが予め定められた角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、内視鏡スコープ３１の先端に取り付けられた穿刺針を操作して組織のサンプルの採取を行ったりするための各種ボタンを含む。本実施形態では、内視鏡スコープ３１は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置３２に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ３１の挿入部の先端３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ３１の挿入部の先端３Ｂについて、説明を容易なものとするために、以降の説明においては内視鏡先端３Ｂと称するものとする。
プロセッサ装置３２は、内視鏡スコープ３１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｔ０を生成する。生成される画像は、例えば３０ｆｐｓ等の所定のサンプリングレートにより表されるカラーの動画像であり、動画像の１フレームが内視鏡画像Ｔ０となる。内視鏡画像Ｔ０は、画像保管サーバ５または検査支援装置６に順次送信される。ここで、以降の説明において、内視鏡装置３により撮影した内視鏡画像Ｔ０を、後述する仮想内視鏡画像と区別するために実内視鏡画像Ｔ０と称するものとするが、これに限定されるものではない。
３次元画像撮影装置４は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、および超音波診断装置等である。この３次元画像撮影装置４により生成された３次元画像Ｖ０は画像保管サーバ５に送信され、保存される。本実施形態では、３次元画像撮影装置４は、気管支を含む胸部を撮影した３次元画像Ｖ０を生成する。なお、本実施形態においては、３次元画像撮影装置４はＣＴ装置であるものとするが、これに限定されるものではない。
画像保管サーバ５は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ５は、ネットワーク８を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置３で取得された実内視鏡画像Ｔ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、実内視鏡画像Ｔ０は動画像である。このため、実内視鏡画像Ｔ０は、画像保管サーバ５を経由することなく、検査支援装置６に送信されることが好ましい。なお、画像データの格納形式やネットワーク８経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
検査支援装置６は、１台のコンピュータに、本開示の検査支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよく、それらとネットワークを介して接続されたサーバコンピュータでもよい。検査支援プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて検査支援装置６の操作者である医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに検査支援プログラムをインストールすることにより実現される検査支援装置の概略構成を示す図である。図２に示すように、検査支援装置６は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、検査支援装置６には、表示部１４と、マウス等の入力部１５とが接続されている。表示部１４は、液晶ディスプレイ等からなる。
ストレージ１３は、ハードディスクドライブ等からなり、ネットワーク８を経由して内視鏡装置３、３次元画像撮影装置４および画像保管サーバ５等から取得した実内視鏡画像Ｔ０、３次元画像Ｖ０および検査支援装置６での処理によって生成された画像（例えば後述する仮想内視鏡画像）および処理に必要な各種情報等が記憶されている。
また、メモリ１２には、検査支援プログラムが記憶されている。検査支援プログラムは、ＣＰＵ１１に実行させる処理として、プロセッサ装置３２が生成した実内視鏡画像Ｔ０、３次元画像撮影装置４で生成された３次元画像Ｖ０、および後述するように生成された仮想内視鏡画像等の画像データを取得する画像取得処理、３次元画像Ｖ０から気管支のグラフ構造を表す３次元の気管支画像Ｂ０を生成する気管支画像生成処理、３次元画像Ｖ０から仮想内視鏡画像を生成する仮想内視鏡画像生成処理、実内視鏡画像の表現形式を、仮想内視鏡画像の表現形式に変換することにより、変換済み実内視鏡画像を取得する変換処理、変換済み実内視鏡画像と仮想内視鏡画像との類似度を算出する類似度算出処理、算出された類似度が予め定められたしきい値以上となる仮想内視鏡画像を用いて、気管支内における内視鏡先端３Ｂの位置を推定する位置推定処理、並びに実内視鏡画像Ｔ０、仮想内視鏡画像、気管支画像Ｂ０および特定された内視鏡先端３Ｂの位置等を表示部１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、検査支援装置６であるコンピュータは、画像取得部２１、気管支画像生成部２２、仮想内視鏡画像生成部２３、変換部２４、類似度算出部２５、位置推定部２６、および表示制御部２７として機能する。
画像取得部２１は、３次元画像Ｖ０および内視鏡装置３により気管支内を所定の視点位置において撮影した実内視鏡画像Ｔ０を取得する。画像取得部２１は、３次元画像Ｖ０および実内視鏡画像Ｔ０が既にストレージ１３に記憶されている場合には、３次元画像Ｖ０および実内視鏡画像Ｔ０をストレージ１３から取得するようにしてもよい。実内視鏡画像Ｔ０は、気管支の内側の表面、すなわち気管支内壁を表す画像である。実内視鏡画像Ｔ０は表示制御部２７に出力されて表示部１４に表示される。また、画像取得部２１は、後述するように仮想内視鏡画像生成部２３が生成し、ストレージ１３に保存された仮想内視鏡画像Ｋ０をストレージ１３から取得する。
気管支画像生成部２２は、３次元画像Ｖ０から気管支の構造を抽出することにより、３次元の気管支画像Ｂ０を生成する。具体的には、気管支画像生成部２２は、例えば特開２０１０－２２０７４２号公報等に記載された手法を用いて、入力された３次元画像Ｖ０に含まれる気管支領域のグラフ構造を、３次元の気管支画像Ｂ０として抽出する。以下、このグラフ構造の抽出方法の一例を説明する。
３次元画像Ｖ０においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱または線状の構造物として表される。そこで、画素毎に画素値の分布に基づく形状の構造解析を行って気管支を抽出する。
気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。気管支画像生成部２２は、異なるサイズの気管支を検出することができるように、３次元画像Ｖ０を多重解像度変換して解像度が異なる複数の３次元画像を生成し、各解像度の３次元画像毎に検出アルゴリズムを適用する。
まず、各解像度において、３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるか否かを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。
Figure 0007023196000001
任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３，λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。
気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元画像Ｖ０全体からの管状構造物の検出が終了した後、抽出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。
そして、気管支画像生成部２２は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表す３次元のグラフ構造を気管支画像Ｂ０として得ることができる。図３は気管支画像Ｂ０を示す図である。なお、グラフ構造の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用するようにしてもよい。
仮想内視鏡画像生成部２３は、気管支内の目標とする経路において、実内視鏡画像Ｔ０の視点に対応する３次元画像Ｖ０中の視点から見た、気管支内壁を描写した仮想内視鏡画像Ｋ０を生成する。以下、仮想内視鏡画像Ｋ０の生成について説明する。
まず、仮想内視鏡画像生成部２３は、気管支において予め設定された、内視鏡先端３Ｂを挿入する経路の情報を取得する。経路の情報は、例えば気管支画像Ｂ０を表示部１４に表示し、表示された気管支画像Ｂ０において、操作者が入力部１５を用いて指定されたものを用いるが、これに限定されるものではない。図４に気管支画像Ｂ０に設定された内視鏡の経路４０を示す。
仮想内視鏡画像生成部２３は、取得した経路の情報により表される気管支内の経路４０に沿った予め定められた間隔により、気管支の内壁を表す仮想内視鏡画像Ｋ０を生成する。なお、予め定められた間隔は、経路４０上の例えば１０画素間隔とすればよいが、これに限定されるものではない。
仮想内視鏡画像生成部２３は、経路４０上の各位置を視点に設定する。そして、設定した各視点から内視鏡先端３Ｂの挿入方向（すなわち気管支の末端に向かう方向）に放射線状に伸ばした複数の視線上の３次元画像Ｖ０を、予め定められた投影面に投影する中心投影を行うことにより、投影画像を生成する。この投影画像が、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像Ｋ０となる。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。また、仮想内視鏡画像Ｋ０の画角（視線の範囲）および視野の中心（投影方向の中心）は、操作者による入力等によってあらかじめ設定されているものとする。生成された複数の仮想内視鏡画像Ｋ０はストレージ１３に保存される。なお、本実施形態においては３次元画像Ｖ０はＣＴ画像であるため、仮想内視鏡画像Ｋ０はＣＴ値により表されるモノクロの画像である。
このため、仮想内視鏡画像生成部２３は、実内視鏡画像Ｔ０に表された気管支内壁とほぼ同じ外観の仮想内視鏡画像が得られるように、色および透明度が予め定義されたカラーテンプレートを用いて、ＣＴ値を変換してカラーの仮想内視鏡画像Ｋ０を生成するものであってもよい。カラーテンプレートはストレージ１３に予め保存される。なお、構造物に対する陰の有無、および環境光あるいは拡散光といった光源の種類を、カラーテンプレートと併せて表示属性として定義しておいてもよい。本実施形態においては、仮想内視鏡画像生成部２３が生成する仮想内視鏡画像Ｋ０はカラーであるものとする。
変換部２４は、実内視鏡画像Ｔ０の表現形式を仮想内視鏡画像Ｋ０の表現形式に変換する。このために、変換部２４は、例えば「Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks、Jun-Yan Zhuら、Berkeley AI Research (BAIR) laboratory, UC Berkeley、30 Mar 2017、last revised 19 Feb 2018）（以下、非特許文献１とする）に記載されている手法を用いる。非特許文献１に記載された手法は、入力された画像をその表現形式とは異なる表現形式の画像に変換するように学習がなされた変換器により、画像の表現形式を変換する手法である。例えば、非特許文献１には、例として写真画像をモネ風の画像、ゴッホ風の画像またはセザンヌ風の画像に変換する手法等が記載されている。
本実施形態における変換部２４は、実内視鏡画像Ｔ０の表現形式を仮想内視鏡画像Ｋ０の表現形式に変換するように機械学習がなされたニューラルネットワーク等からなる変換器を備える。機械学習の手法としては、公知の手法を用いることができる。例えば、サポートベクタマシン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワーク等を用いることができる。なお、本実施形態においては、実内視鏡画像Ｔ０にレンズの曇りおよび撮影によっては捉えることができない物体等がノイズとして含まれる場合には、ノイズをその周囲の組織と同一の画素値に変換するように機械学習が行われる。また、論理演算により実内視鏡画像Ｔ０の表現形式を仮想内視鏡画像Ｋ０の表現形式に変換する変換器を用いてもよい。このような変換器により、図５に示すように、実内視鏡画像Ｔ０の表現形式は仮想内視鏡画像Ｋ０の表現形式に変換され、その結果、仮想内視鏡風の画像に変換された変換済み実内視鏡画像Ｔ１が取得される。また、レンズの曇りおよび撮影によっては捉えることができない物体等の実内視鏡画像Ｔ０に含まれるノイズは、変換によりキャンセルされる。なお、実内視鏡画像Ｔ０は動画像の１フレームを構成する。このため、変換部２４は順次取得される実内視鏡画像Ｔ０の表現形式を仮想内視鏡画像Ｋ０の表現形式に変換する。
類似度算出部２５は、後述する内視鏡先端３Ｂの位置を推定するために、順次取得される変換済み実内視鏡画像Ｔ１と仮想内視鏡画像Ｋ０との類似度を算出する。なお、類似度としては、変換済み実内視鏡画像Ｔ１と仮想内視鏡画像Ｋ０との対応する画素間の画素値の差分の絶対値の和の逆数、または差分の二乗和の逆数等を用いることができる。
位置推定部２６は、類似度算出部２５が算出した類似度が予め定められたしきい値Ｔｈ１以上となる仮想内視鏡画像Ｋ０を用いて、気管支内における内視鏡先端３Ｂの位置を推定する。
なお、実内視鏡画像Ｔ０は動画像の１フレームを構成する。このため、類似度算出部２５は、動画像において順次取得され、かつ表現形式が変換された変換済み実内視鏡画像Ｔ１のうちの最新の変換済み実内視鏡画像Ｔ１と仮想内視鏡画像Ｋ０との類似度を算出する。ここで、内視鏡先端３Ｂの位置を推定するために、類似度算出部２５は、変換済み実内視鏡画像Ｔ１とストレージ１３に保存されたすべての仮想内視鏡画像Ｋ０との類似度を算出してもよいが、演算量が多くなる。このため、本実施形態においては、以下のように類似度を算出する。
まず、類似度算出部２５は、気管支内の基準位置において生成された基準となる仮想内視鏡画像Ｋ０を基準仮想内視鏡画像ＫＢに特定する。そして、順次取得される変換済み実内視鏡画像Ｔ１のうちの最新の変換済み実内視鏡画像Ｔ１と基準仮想内視鏡画像ＫＢとの類似度を算出する。基準仮想内視鏡画像ＫＢとしては、気管支の経路４０における気管支の入り口に最も近い位置を視点位置とする仮想内視鏡画像Ｋ０を用いればよい。位置推定部２６は、基準仮想内視鏡画像ＫＢとの類似度がしきい値Ｔｈ２以上となる変換済み実内視鏡画像Ｔ１が取得されると、内視鏡先端３Ｂの位置が基準位置にあると推定する。なお、しきい値Ｔｈ２はしきい値Ｔｈ１と同一値であっても異なる値であってもよい。
このようにして、内視鏡先端３Ｂの位置が基準位置にあると位置推定部２６が推定すると、類似度算出部２５は、図６に示すように、基準位置Ｐｂから予め定められた範囲Ａ０内にある１以上の仮想内視鏡画像Ｋ０と最新の変換済み実内視鏡画像Ｔ１との類似度を算出する。なお、内視鏡先端３Ｂが気管支の内部に移動し、ある変換済み実内視鏡画像Ｔ１が取得された時点において、図６に示すように内視鏡先端３Ｂが位置Ｐ１にあると推定された場合、類似度算出部２５は、次に取得された変換済み実内視鏡画像Ｔ１に関して、位置Ｐ１を含む予め定められた範囲Ａ０内にある１以上の仮想内視鏡画像Ｋ０と変換済み実内視鏡画像Ｔ１との類似度を算出する。すなわち、変換済み実内視鏡画像Ｔ１は動画像の１つのフレームを構成するため、変換済み実内視鏡画像Ｔ１が取得される毎に、類似度算出部２５は最新の変換済み実内視鏡画像Ｔ１と仮想内視鏡画像Ｋ０との類似度を算出する。
位置推定部２６は、範囲Ａ０内におけるすべての仮想内視鏡画像Ｋ０と最新の変換済み実内視鏡画像Ｔ１との類似度のうち、しきい値Ｔｈ１以上となり、かつ最も類似度が大きい仮想内視鏡画像Ｋ０を生成した視点の位置を内視鏡先端３Ｂの位置に推定する。
表示制御部２７は、実内視鏡画像Ｔ０および内視鏡先端３Ｂの位置における仮想内視鏡画像を表示部１４に表示する。なお、表示制御部２７は、気管支画像Ｂ０を表示部１４に表示し、表示した気管支画像Ｂ０における内視鏡先端３Ｂを特定する表示を行うようにしてもよい。また、実内視鏡画像Ｔ０に代えて、変換済み実内視鏡画像Ｔ１を表示してもよい。また、実内視鏡画像Ｔ０および変換済み実内視鏡画像Ｔ１の双方を表示してもよい。
図７は表示部１４の表示画像を示す図である。図７に示すように、表示画像５０には、変換済み実内視鏡画像Ｔ１、内視鏡先端３Ｂの位置における仮想内視鏡画像Ｋ０および気管支画像Ｂ０が表示されている。なお、気管支画像Ｂ０には、内視鏡の移動軌跡５１および内視鏡先端３Ｂの位置Ｐｔが表示されている。また、変換済み実内視鏡画像Ｔ１に代えて、またはこれに加えて実内視鏡画像Ｔ０を表示するようにしてもよい。
次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。なお、気管支画像Ｂ０は気管支画像生成部２２により生成され、かつ仮想内視鏡画像Ｋ０は仮想内視鏡画像生成部２３により生成され、それぞれストレージ１３に保存されているものとする。内視鏡先端３Ｂが被検体に挿入され、操作開始の指示が入力部１５から入力されると、画像取得部２１が実内視鏡画像Ｔ０を取得し（ステップＳＴ１）、変換部２４が、実内視鏡画像Ｔ０の表現形式を仮想内視鏡画像Ｋ０の表現形式に変換して、変換済み実内視鏡画像Ｔ１を取得する（ステップＳＴ２）。そして、類似度算出部２５が変換済み実内視鏡画像Ｔ１と基準仮想内視鏡画像ＫＢとの類似度を算出する（ステップＳＴ３）。さらに、位置推定部２６が、類似度算出部２５が算出した類似度がしきい値Ｔｈ２以上であるか否かを判定する（ステップＳＴ４）。ステップＳＴ４が否定されると、ステップＳＴ１に戻り、ステップＳＴ１～ＳＴ４の処理が繰り返される。
ステップＳＴ４が肯定されると、位置推定部２６は、内視鏡先端３Ｂが基準位置Ｐｂにあると推定する（ステップＳＴ５）。引き続き画像取得部２１が実内視鏡画像Ｔ０を取得し（ステップＳＴ６）、変換部２４が、実内視鏡画像Ｔ０の表現形式を仮想内視鏡画像Ｋ０の表現形式に変換して、変換済み実内視鏡画像Ｔ１を取得する（ステップＳＴ７）。続いて類似度算出部２５が、ステップＳＴ７において取得した変換済み実内視鏡画像Ｔ１と、内視鏡先端３Ｂの現在位置から予め定められた範囲内にある仮想内視鏡画像Ｋ０との類似度を算出する（ステップＳＴ８）。そして、位置推定部２６が、類似度がしきい値Ｔｈ１以上となり、かつ類似度が最も大きい仮想内視鏡画像Ｋ０を取得した位置を、内視鏡先端３Ｂの位置に推定する（ステップＳＴ９）。続いて、表示制御部２７が、変換済み実内視鏡画像Ｔ１および仮想内視鏡画像Ｋ０を表示する（ステップＳＴ１０）。そして、終了の指示がなされるまでステップＳＴ６～ステップＳＴ１０の処理が繰り返される。
なお、上記実施形態の処理においては、類似度がしきい値Ｔｈ１以上となる仮想内視鏡画像Ｋ０が存在しない場合があり得る。このような場合には、類似度を算出する仮想内視鏡画像Ｋ０を取得した範囲を広げる等して、内視鏡先端３Ｂの位置を推定すればよい。
このように、本実施形態においては、実内視鏡画像Ｔ０の表現形式を仮想内視鏡画像Ｋ０の表現形式に変換し、変換済み実内視鏡画像Ｔ１と仮想内視鏡画像Ｋ０との類似度を算出するようにした。このため、レンズの曇りおよび撮影によっては捉えることができない物体等がノイズとして実内視鏡画像Ｔ０に含まれていても、実内視鏡画像Ｔ０を仮想内視鏡画像Ｋ０の表現形式に変換する際に、ノイズをキャンセルすることができる。したがって、本実施形態によれば、実内視鏡画像Ｔ０と仮想内視鏡画像Ｋ０との類似度を精度よく算出することができる。また、このように算出された類似度を用いることにより、内視鏡先端３Ｂの位置を精度よく推定することができる。
なお、上記実施形態においては、仮想内視鏡画像Ｋ０をカラーの画像としているが、モノクロの仮想内視鏡画像Ｋ０を用いてもよい。この場合、変換部２４は、実内視鏡画像Ｔ０をモノクロの仮想内視鏡画像Ｋ０の表現形式に変換する。この場合、変換済み実内視鏡画像Ｔ１はモノクロの画像となる。
また、上記実施形態においては、位置推定部２６が内視鏡先端３Ｂの基準位置を推定しているが、これに限定されるものではない。例えば、図９に示すように、内視鏡装置３を位置検出装置３４を有するものとし、位置検出装置３４により内視鏡先端３Ｂの位置を検出しつつ、変換済み実内視鏡画像Ｔ１と仮想内視鏡画像Ｋ０との類似度を算出して、内視鏡先端３Ｂの位置を推定するようにしてもよい。
この場合、位置検出装置３４は、被検体の体内における内視鏡先端３Ｂの位置および向きを検出する。具体的には、位置検出装置３４は、被検体の特定部位の位置を基準とした３次元座標系の検出領域を有するエコー装置を有し、エコー装置により、内視鏡先端３Ｂの特徴的な形状を検出することによって、被検体の体内における内視鏡先端３Ｂの相対的な位置および向きを検出する。そして、検出した内視鏡先端３Ｂの位置および向きの情報を位置情報Ｑ０として検査支援装置６に出力する（例えば、特開２００６－６１２７４号公報参照）。検出した内視鏡先端３Ｂの位置および向きは、撮影して得られた実内視鏡画像Ｔ０の視点および視線方向にそれぞれ該当する。ここで、内視鏡先端３Ｂの位置は、上述した被検体の特定部位の位置を基準とした３次元座標により表される。また、位置情報Ｑ０は、実内視鏡画像Ｔ０と同様のサンプリングレートにより検査支援装置６に出力される。
このように、位置検出装置３４を用いた場合、類似度算出部２５は、位置情報Ｑ０により表される気管支内の位置から予め定められた範囲Ａ０内にある１以上の仮想内視鏡画像Ｋ０と変換済み実内視鏡画像Ｔ１との類似度を算出する。位置推定部２６は、上記実施形態と同様に、範囲Ａ０内におけるすべての仮想内視鏡画像Ｋ０と変換済み実内視鏡画像Ｔ１との類似度のうち、しきい値Ｔｈ１以上となり、かつ最も類似度が大きい仮想内視鏡画像Ｋ０を生成した位置を内視鏡先端３Ｂの位置に推定する。
また、上記実施形態においては、類似度算出部２５は、変換済み実内視鏡画像Ｔ１が取得される毎に、仮想内視鏡画像Ｋ０との類似度を算出しているが、これに限定されるものではない。例えば、特開２０１６－１６３６０９号公報に記載された手法を用いて、実内視鏡画像Ｔ０に気管支の分岐構造が含まれるか否かを判定し、実内視鏡画像Ｔ０に気管支の分岐構造が含まれる場合にのみ、変換済み実内視鏡画像Ｔ１を生成し、変換済み実内視鏡画像Ｔ１と仮想内視鏡画像Ｋ０との類似度を算出するようにしてもよい。
また、上記実施形態においては、本開示の検査支援装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、胃、大腸および血管等の管状構造物を内視鏡により観察する場合にも、本開示を適用できる。
また、上記実施形態においては、検査支援装置６が気管支画像生成部２２および仮想内視鏡画像生成部２３を備えているが、これに限定されるものではない。気管支画像生成部２２および仮想内視鏡画像生成部２３を検査支援装置６とは別個の装置として設けるようにしてもよい。この場合、気管支画像Ｂ０および仮想内視鏡画像Ｋ０は別個の装置から検査支援装置６に入力され、画像取得部２１により取得される。
また、上記実施形態において、例えば、画像取得部２１、気管支画像生成部２２、仮想内視鏡画像生成部２３、変換部２４、類似度算出部２５、位置推定部２６、および表示制御部２７といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
３ 内視鏡装置
３Ａ 操作部
３Ｂ 内視鏡先端
４ ３次元画像撮影装置
５ 画像保管サーバ
６ 検査支援装置
８ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２ 気管支画像生成部
２３ 仮想内視鏡画像生成部
２４ 変換部
２５ 類似度算出部
２６ 位置推定部
２７ 表示制御部
３１ 内視鏡スコープ
４０ 経路
５０ 表示画像
５１ 移動軌跡
Ａ０ 範囲
Ｂ０ 気管支画像
Ｋ０ 仮想内視鏡画像
Ｐ１ 位置
Ｐｂ 基準位置
Ｐｔ 位置
Ｔ０ 実内視鏡画像
Ｔ１ 変換済み実内視鏡画像

Claims (7)

  1. 被検体の管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む３次元画像から生成された、前記管状構造物の内壁を擬似的に表すＣＧ風の表現形式を有する仮想内視鏡画像を取得する画像取得部と、
    前記実内視鏡画像の前記実写風の表現形式を、前記仮想内視鏡画像の前記ＣＧ風の表現形式に変換することにより、変換済み実内視鏡画像を取得する変換部と、
    前記変換済み実内視鏡画像と前記仮想内視鏡画像との類似度を算出する類似度算出部とを備えた検査支援装置。
  2. 前記算出された類似度が予め定められたしきい値以上となる仮想内視鏡画像を用いて、前記管状構造物内における前記内視鏡の位置を推定する位置推定部をさらに備えた請求項１に記載の検査支援装置。
  3. 前記推定された内視鏡の位置に対応する仮想内視鏡画像と前記変換済み実内視鏡画像とを表示部に表示する表示制御部をさらに備えた請求項２に記載の検査支援装置。
  4. 前記３次元画像から前記仮想内視鏡画像を生成する仮想内視鏡画像生成部をさらに備えた請求項１から３のいずれか１項に記載の検査支援装置。
  5. 前記変換部は、機械学習がなされたニューラルネットワークにより前記変換済み実内視鏡画像を取得する請求項１から４のいずれか１項に記載の検査支援装置。
  6. コンピュータが、被検体の管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む３次元画像から生成された、前記管状構造物の内壁を擬似的に表すＣＧ風の表現形式を有する仮想内視鏡画像を取得し、
    前記実内視鏡画像の前記実写風の表現形式を、前記仮想内視鏡画像の前記ＣＧ風の表現形式に変換することにより、変換済み実内視鏡画像を取得し、
    前記変換済み実内視鏡画像と前記仮想内視鏡画像との類似度を算出する検査支援方法。
  7. 被検体の管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む３次元画像から生成された、前記管状構造物の内壁を擬似的に表すＣＧ風の表現形式を有する仮想内視鏡画像を取得する手順と、
    前記実内視鏡画像の前記実写風の表現形式を、前記仮想内視鏡画像の前記ＣＧ風の表現形式に変換することにより、変換済み実内視鏡画像を取得する手順と、
    前記変換済み実内視鏡画像と前記仮想内視鏡画像との類似度を算出する手順とをコンピュータに実行させる検査支援プログラム。
JP2018132896A 2018-07-13 2018-07-13 検査支援装置、方法およびプログラム Active JP7023196B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018132896A JP7023196B2 (ja) 2018-07-13 2018-07-13 検査支援装置、方法およびプログラム
US16/453,687 US10970875B2 (en) 2018-07-13 2019-06-26 Examination support device, examination support method, and examination support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018132896A JP7023196B2 (ja) 2018-07-13 2018-07-13 検査支援装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2020010735A JP2020010735A (ja) 2020-01-23
JP2020010735A5 JP2020010735A5 (ja) 2020-10-01
JP7023196B2 true JP7023196B2 (ja) 2022-02-21

Family

ID=69139554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018132896A Active JP7023196B2 (ja) 2018-07-13 2018-07-13 検査支援装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US10970875B2 (ja)
JP (1) JP7023196B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11172184B2 (en) 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
CN112641514B (zh) * 2020-12-17 2022-10-18 杭州堃博生物科技有限公司 一种微创介入导航系统与方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279251A (ja) 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
JP2011000173A (ja) 2009-06-16 2011-01-06 Toshiba Corp 内視鏡検査支援システム
US20120027260A1 (en) 2009-04-03 2012-02-02 Koninklijke Philips Electronics N.V. Associating a sensor position with an image position
JP2012050606A (ja) 2010-08-31 2012-03-15 Fujifilm Corp 内視鏡画像処理装置および方法、並びに、プログラム
WO2012108085A1 (ja) 2011-02-08 2012-08-16 オリンパスメディカルシステムズ株式会社 医療機器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5718537B2 (ja) 1973-12-25 1982-04-17
JP4171833B2 (ja) 2002-03-19 2008-10-29 国立大学法人東京工業大学 内視鏡誘導装置および方法
JP5160699B2 (ja) * 2011-01-24 2013-03-13 オリンパスメディカルシステムズ株式会社 医療機器
CN104780826B (zh) 2013-03-12 2016-12-28 奥林巴斯株式会社 内窥镜系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279251A (ja) 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
US20120027260A1 (en) 2009-04-03 2012-02-02 Koninklijke Philips Electronics N.V. Associating a sensor position with an image position
JP2011000173A (ja) 2009-06-16 2011-01-06 Toshiba Corp 内視鏡検査支援システム
JP2012050606A (ja) 2010-08-31 2012-03-15 Fujifilm Corp 内視鏡画像処理装置および方法、並びに、プログラム
WO2012108085A1 (ja) 2011-02-08 2012-08-16 オリンパスメディカルシステムズ株式会社 医療機器

Also Published As

Publication number Publication date
US20200020127A1 (en) 2020-01-16
US10970875B2 (en) 2021-04-06
JP2020010735A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6348078B2 (ja) 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
JP7023196B2 (ja) 検査支援装置、方法およびプログラム
JP6594133B2 (ja) 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
JP7071240B2 (ja) 検査支援装置、方法およびプログラム
US8064669B2 (en) Fast 3D-2D image registration system with application to continuously guided endoscopy
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
US10092191B2 (en) Joint visualization of 3D reconstructed photograph and internal medical scan
CN103356155B (zh) 虚拟内窥镜辅助的腔体病灶检查系统
US9396576B2 (en) Method and apparatus for estimating the three-dimensional shape of an object
JP6182045B2 (ja) 画像処理装置およびその方法
JP6824078B2 (ja) 内視鏡位置特定装置、方法およびプログラム
CN114554934A (zh) 程序、信息处理方法、信息处理装置以及诊断支持系统
WO2022155454A1 (en) Methods and apparatuses for generating anatomical models using diagnostic images
JP7023195B2 (ja) 検査支援装置、方法およびプログラム
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
Ahmad et al. 3D reconstruction of gastrointestinal regions using shape-from-focus
JP6461257B2 (ja) 画像処理装置およびその方法
US20230081476A1 (en) Method of multiple image reconstruction and registration
US20230078857A1 (en) Method of robust surface and depth estimation
JP6847011B2 (ja) ３次元画像処理装置および方法並びにプログラム
CN117710233A (zh) 一种内窥图像的景深扩展方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220208

R150 Certificate of patent or registration of utility model

Ref document number: 7023196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150