JP7023195B2 - 検査支援装置、方法およびプログラム - Google Patents

Description

本開示は、気管支等の管状構造物に対する内視鏡等を用いた検査を支援する検査支援装置、方法およびプログラムに関するものである。

近年、患者の大腸および気管支等の管状構造物を内視鏡を用いて観察したり、処置したりする技術が注目されている。しかしながら、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状構造物内部の色および質感が鮮明に表現された画像が得られる一方で、管状構造物の内部を２次元の画像に表すものである。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。とくに、気管支の内視鏡は、径が細く視野が狭いため、内視鏡の先端を目的とする位置まで到達させることは困難である。

そこで、ＣＴ（Computed Tomography）装置またはＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティによる断層撮影により取得された３次元画像を用いて、管状構造物内の目標とする地点までの経路を予め取得し、３次元画像から実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成し、仮想内視鏡画像を用いて目標とする地点までの内視鏡の経路をナビゲーションする手法が提案されている。例えば、特許文献１には、３次元画像から管状構造物の経路を表す経路情報を取得し、経路に沿って仮想内視鏡画像を多数生成し、仮想内視鏡画像と内視鏡により撮影を行うことにより取得した実際の内視鏡画像である実内視鏡画像とのマッチングを行い、内視鏡の現在位置における仮想内視鏡画像を特定することにより、内視鏡の先端位置を特定する手法が提案されている。

しかしながら、ナビゲーション画像を用いても、気管支のような多段階に分岐する経路を有する構造物の場合、内視鏡の先端を目標とする位置まで短時間で到達させるのは熟練した技術を要する。

このため、仮想内視鏡画像の画像強度をグレースケールに変換し、実内視鏡画像とグレースケールに変換した仮想内視鏡画像とのマッチングを行うことにより、内視鏡の先端位置を特定する手法が提案されている（特許文献２参照）。

特許第５７１８５３７号公報 特開２００３－２６５４０８号公報

しかしながら、特許文献２に記載された手法は、仮想内視鏡画像をグレースケールに変換するものである。一方、実内視鏡画像はカラーである場合が多い。このため、特許文献２に記載された手法においては、実内視鏡画像と仮想内視鏡画像とのマッチングを精度よく行うことができない。

本開示は上記事情に鑑みなされたものであり、実内視鏡画像等の第１の医用画像と仮想内視鏡画像等の第２の医用画像とのマッチングを精度よく行うことができるようにすることを目的とする。

本開示による検査支援装置は、第１のカラー表現形式の第１の医用画像、および第１のカラー表現形式とは異なる第２の表現形式の第２の医用画像を取得する画像取得部と、
第２の医用画像の第２の表現形式を、第１のカラー表現形式に変換することにより、変換済み第２の医用画像を取得する変換部と、
第１の医用画像と変換済み第２の医用画像との類似度を算出する類似度算出部とを備える。

「表現形式」とは、画像を表示した際に、見た者に対する画像の印象に影響を与える、いわば画像の画風を意味する。例えば、医用画像が実際に撮影をすることにより取得されたものであれば、その医用画像の表現形式は実写風となる。また、医用画像がＣＧ（computer graphics）により生成されたものであれば、その医用画像の表現形式はＣＧ風となる。また、医用画像が、ボリュームレンダリング等の投影法を用いて３次元画像を投影することにより生成されたものであれば、その医用画像の表現形式はＣＧ風であってボリュームレンダリング画像風となる。さらに、医用画像が実内視鏡画像であれば、その医用画像は実写風であって実内視鏡画像風となり、医用画像が仮想内視鏡画像であれば、その医用画像はＣＧ風であって仮想内視鏡画像風となる。なお、各表現形式は、画像の階調および色彩表現に関するパラメータの範囲、テクスチャ表現（画像の粗さ、細かさ、ノイズ量およびノイズ特徴）、表面反射率、並びに透明度等の特徴によって決定されるものであるが、これらに限定されない。

なお、本開示による検査支援装置においては、第１の医用画像は被検体を撮影することにより取得された実画像であり、第２の医用画像は実画像とは異なる方式により被検体を撮影することにより取得された画像から生成された画像であってもよい。

また、本開示による検査支援装置においては、第１の医用画像は、被検体における管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す実内視鏡画像であり、
第２の医用画像は、被検体の管状構造物を含む３次元画像から生成された、管状構造物の内壁を擬似的に表す仮想内視鏡画像であってもよい。

また、本開示による検査支援装置においては、算出された類似度が予め定められたしきい値以上となる仮想内視鏡画像を用いて、管状構造物内における内視鏡の位置を推定する位置推定部をさらに備えるものであってもよい。

また、本開示による検査支援装置においては、推定された内視鏡の位置に対応する変換済み仮想内視鏡画像と、実内視鏡画像とを表示部に表示する表示制御部をさらに備えるものであってもよい。

また、本開示による検査支援装置においては、３次元画像から仮想内視鏡画像を生成する仮想内視鏡画像生成部をさらに備えるものであってもよい。

本開示による検査支援方法は、第１のカラー表現形式の第１の医用画像、および第１のカラー表現形式とは異なる第２の表現形式の第２の医用画像を取得し、
第２の医用画像の第２の表現形式を、第１のカラー表現形式に変換することにより、変換済み第２の医用画像を取得し、
第１の医用画像と変換済み第２の医用画像との類似度を算出する。

なお、本開示による検査支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本開示による他の検査支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１のカラー表現形式の第１の医用画像、および第１のカラー表現形式とは異なる第２の表現形式の第２の医用画像を取得し、
第２の医用画像の第２の表現形式を、第１のカラー表現形式に変換することにより、変換済み第２の医用画像を取得し、
第１の医用画像と変換済み第２の医用画像との類似度を算出する処理を実行する。

本開示によれば、第１のカラー表現形式の第１の医用画像、および第１のカラー表現形式とは異なる第２の表現形式の第２の医用画像が取得される。そして、第２の医用画像の第２の表現形式が、第１のカラー表現形式に変換されることにより、変換済み第２の医用画像が取得され、第１の医用画像と変換済み第２の医用画像との類似度が算出される。これにより、第１の医用画像と変換済み第２の医用画像との表現形式が第１のカラー表現形式に一致するため、類似度を精度よく算出することができる。

本開示の実施形態による検査支援装置を適用した、診断支援システムの概要を示すハードウェア構成図 コンピュータに検査支援プログラムをインストールすることにより実現される検査支援装置の概略構成を示す図 気管支画像を示す図 内視鏡の経路が設定された気管支画像を示す図 仮想内視鏡画像の変換を説明するための図 類似度を算出する仮想内視鏡画像の範囲を説明するための図 表示画像を示す図 本実施形態において行われる処理を示すフローチャート 本開示の他の実施形態による検査支援装置を適用した、診断支援システムの概要を示すハードウェア構成図

以下、図面を参照して本開示の実施形態について説明する。図１は、本実施形態による検査支援装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、本実施形態のシステムでは、内視鏡装置３、３次元画像撮影装置４、画像保管サーバ５および検査支援装置６が、ネットワーク８を経由して通信可能な状態で接続されている。

内視鏡装置３は、被検体の管状構造物の内部を撮影する内視鏡スコープ３１、並びに撮影により得られた信号に基づいて管状構造物の内部の画像を生成するプロセッサ装置３２等を備える。

内視鏡スコープ３１は、被検体の管状構造物内に挿入される挿入部が操作部３Ａに連続して取り付けられたものである。内視鏡スコープ３１は、プロセッサ装置３２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置３２に接続されている。操作部３Ａは、挿入部の先端３Ｂが予め定められた角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、内視鏡スコープ３１の先端に取り付けられた穿刺針を操作して組織のサンプルの採取を行ったりするための各種ボタンを含む。本実施形態では、内視鏡スコープ３１は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置３２に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ３１の挿入部の先端３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ３１の挿入部の先端３Ｂについて、説明を容易なものとするために、以降の説明においては内視鏡先端３Ｂと称するものとする。

プロセッサ装置３２は、内視鏡スコープ３１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｔ０を生成する。生成される画像は、例えば３０ｆｐｓ等の所定のサンプリングレートにより表されるカラーの動画像であり、動画像の１フレームが内視鏡画像Ｔ０となる。内視鏡画像Ｔ０は、画像保管サーバ５または検査支援装置６に順次送信される。ここで、以降の説明において、内視鏡装置３により撮影した内視鏡画像Ｔ０を、後述する仮想内視鏡画像と区別するために実内視鏡画像Ｔ０と称するものとする。

３次元画像撮影装置４は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、および超音波診断装置等である。この３次元画像撮影装置４により生成された３次元画像Ｖ０は画像保管サーバ５に送信され、保存される。本実施形態では、３次元画像撮影装置４は、気管支を含む胸部を撮影した３次元画像Ｖ０を生成する。なお、本実施形態においては、３次元画像撮影装置４はＣＴ装置であるものとするが、これに限定されるものではない。

画像保管サーバ５は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ５は、ネットワーク８を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置３で取得された実内視鏡画像Ｔ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、実内視鏡画像Ｔ０は動画像である。このため、実内視鏡画像Ｔ０は、画像保管サーバ５を経由することなく、検査支援装置６に送信されることが好ましい。なお、画像データの格納形式やネットワーク８経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

検査支援装置６は、１台のコンピュータに、本開示の検査支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよく、それらとネットワークを介して接続されたサーバコンピュータでもよい。検査支援プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて検査支援装置６の操作者である医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、コンピュータに検査支援プログラムをインストールすることにより実現される検査支援装置の概略構成を示す図である。図２に示すように、検査支援装置６は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、検査支援装置６には、表示部１４と、マウス等の入力部１５とが接続されている。表示部１４は、液晶ディスプレイ等からなる。

ストレージ１３は、ハードディスクドライブ等からなり、ネットワーク８を経由して内視鏡装置３、３次元画像撮影装置４および画像保管サーバ５等から取得した実内視鏡画像Ｔ０、３次元画像Ｖ０および検査支援装置６での処理によって生成された画像（例えば後述する仮想内視鏡画像）および処理に必要な各種情報等が記憶されている。

また、メモリ１２には、検査支援プログラムが記憶されている。検査支援プログラムは、ＣＰＵ１１に実行させる処理として、プロセッサ装置３２が生成した実内視鏡画像Ｔ０、３次元画像撮影装置４で生成された３次元画像Ｖ０、および後述するように生成された仮想内視鏡画像等の画像データを取得する画像取得処理、３次元画像Ｖ０から気管支のグラフ構造を表す３次元の気管支画像Ｂ０を生成する気管支画像生成処理、３次元画像Ｖ０から仮想内視鏡画像を生成する仮想内視鏡画像生成処理、仮想内視鏡画像の表現形式を実内視鏡画像のカラーの表現形式に変換することにより変換済み仮想内視鏡画像を取得する変換処理、実内視鏡画像Ｔ０と変換済み仮想内視鏡画像との類似度を算出する類似度算出処理、算出された類似度が予め定められたしきい値以上となる仮想内視鏡画像を用いて、気管支内における内視鏡先端３Ｂの位置を推定する位置推定処理、並びに実内視鏡画像Ｔ０、仮想内視鏡画像、気管支画像Ｂ０および特定された内視鏡先端３Ｂの位置等を表示部１４に表示する表示制御処理を規定する。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、検査支援装置６であるコンピュータは、画像取得部２１、気管支画像生成部２２、仮想内視鏡画像生成部２３、変換部２４、類似度算出部２５、位置推定部２６、および表示制御部２７として機能する。

画像取得部２１は、３次元画像Ｖ０および内視鏡装置３により気管支内を所定の視点位置において撮影した実内視鏡画像Ｔ０を取得する。画像取得部２１は、３次元画像Ｖ０および実内視鏡画像Ｔ０が既にストレージ１３に記憶されている場合には、３次元画像Ｖ０および実内視鏡画像Ｔ０をストレージ１３から取得するようにしてもよい。実内視鏡画像Ｔ０は、気管支の内側の表面、すなわち気管支内壁を表す画像である。実内視鏡画像Ｔ０は表示制御部２７に出力されて表示部１４に表示される。また、画像取得部２１は、後述するように仮想内視鏡画像生成部２３が生成し、ストレージ１３に保存された仮想内視鏡画像Ｋ０をストレージ１３から取得する。

気管支画像生成部２２は、３次元画像Ｖ０から気管支の構造を抽出することにより、３次元の気管支画像Ｂ０を生成する。具体的には、気管支画像生成部２２は、例えば特開２０１０－２２０７４２号公報等に記載された手法を用いて、入力された３次元画像Ｖ０に含まれる気管支領域のグラフ構造を、３次元の気管支画像Ｂ０として抽出する。以下、このグラフ構造の抽出方法の一例を説明する。

３次元画像Ｖ０においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱または線状の構造物として表される。そこで、画素毎に画素値の分布に基づく形状の構造解析を行って気管支を抽出する。

気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。気管支画像生成部２２は、異なるサイズの気管支を検出することができるように、３次元画像Ｖ０を多重解像度変換して解像度が異なる複数の３次元画像を生成し、各解像度の３次元画像毎に検出アルゴリズムを適用する。

まず、各解像度において、３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるか否かを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。

任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３，λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元画像Ｖ０全体からの管状構造物の検出が終了した後、抽出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、気管支画像生成部２２は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表す３次元のグラフ構造を気管支画像Ｂ０として得ることができる。図３は気管支画像Ｂ０を示す図である。なお、グラフ構造の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用するようにしてもよい。

仮想内視鏡画像生成部２３は、気管支内の目標とする経路において、実内視鏡画像Ｔ０の視点に対応する３次元画像Ｖ０中の視点から見た、気管支内壁を描写した仮想内視鏡画像Ｋ０を生成する。以下、仮想内視鏡画像Ｋ０の生成について説明する。

まず、仮想内視鏡画像生成部２３は、気管支において予め設定された、内視鏡先端３Ｂを挿入する経路の情報を取得する。経路の情報は、例えば気管支画像Ｂ０を表示部１４に表示し、表示された気管支画像Ｂ０において、操作者が入力部１５を用いて指定されたものを用いるが、これに限定されるものではない。図４に気管支画像Ｂ０に設定された内視鏡の経路４０を示す。

仮想内視鏡画像生成部２３は、取得した経路の情報により表される気管支内の経路４０に沿った予め定められた間隔により、気管支の内壁を表す仮想内視鏡画像Ｋ０を生成する。なお、予め定められた間隔は、経路４０上の例えば１０画素間隔とすればよいが、これに限定されるものではない。

仮想内視鏡画像生成部２３は、経路４０上の各位置を視点に設定する。そして、設定した各視点から内視鏡先端３Ｂの挿入方向（すなわち気管支の末端に向かう方向）に放射線状に伸ばした複数の視線上の３次元画像Ｖ０を、予め定められた投影面に投影する中心投影を行うことにより、投影画像を生成する。この投影画像が、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像Ｋ０となる。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。また、仮想内視鏡画像Ｋ０の画角（視線の範囲）および視野の中心（投影方向の中心）は、操作者による入力等によってあらかじめ設定されているものとする。生成された複数の仮想内視鏡画像Ｋ０はストレージ１３に保存される。なお、本実施形態においては３次元画像Ｖ０はＣＴ画像であるため、仮想内視鏡画像Ｋ０はＣＴ値により表されるモノクロの画像である。

変換部２４は、仮想内視鏡画像生成部２３が生成した仮想内視鏡画像Ｋ０の表現形式を実内視鏡画像Ｔ０のカラーの表現形式に変換する。このために、変換部２４は、例えば「Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks、Jun-Yan Zhuら、Berkeley AI Research (BAIR) laboratory, UC Berkeley、30 Mar 2017、last revised 19 Feb 2018）（以下、非特許文献１とする）に記載されている手法を用いる。非特許文献１に記載された手法は、入力された画像をその表現形式とは異なる表現形式の画像に変換するように学習がなされた変換器により、画像の表現形式を変換する手法である。例えば、非特許文献１には、例として写真画像をモネ風の画像、ゴッホ風の画像またはセザンヌ風の画像に変換する手法等が記載されている。

本実施形態における変換部２４は、仮想内視鏡画像Ｋ０の表現形式を実内視鏡画像Ｔ０のカラーの表現形式に変換するように機械学習がなされたニューラルネットワーク等からなる変換器を備える。機械学習の手法としては、公知の手法を用いることができる。例えば、サポートベクタマシン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワーク等を用いることができる。なお、論理演算により仮想内視鏡画像Ｋ０の表現形式を実内視鏡画像Ｔ０のカラーの表現形式に変換する変換器を用いてもよい。このような変換器により、図５に示すように、仮想内視鏡画像Ｋ０の表現形式は実内視鏡画像Ｔ０のカラーの表現形式に変換され、その結果、実内視鏡画像風の画像に変換された変換済み仮想内視鏡画像Ｋ１が取得される。なお、仮想内視鏡画像Ｋ０はモノクロの画像であり、実内視鏡画像Ｔ０はカラーの画像である。このため、変換部２４は、仮想内視鏡画像Ｋ０をカラーの表現形式に変換することとなる。

なお、変換部２４は、実内視鏡画像Ｔ０に表された気管支内壁とほぼ同じ外観の仮想内視鏡画像が得られるように、色および透明度が予め定義されたカラーテンプレートを用いて、仮想内視鏡画像Ｋ０を変換するものであってもよい。カラーテンプレートはストレージ１３に予め保存される。なお、構造物に対する陰の有無、および環境光あるいは拡散光といった光源の種類を、カラーテンプレートと併せて表示属性として定義しておいてもよい。この場合、変換部２４は、内視鏡装置３において使用する光源の種類に応じたカラーテンプレートを用いて、仮想内視鏡画像Ｋ０を実内視鏡画像Ｔ０の表現形式に変換する。このように、カラーテンプレートを用いることによっても、変換済み仮想内視鏡画像Ｋ１は、実内視鏡画像Ｔ０と同様のカラーの表現形式を有するものとなる。

類似度算出部２５は、後述する内視鏡先端３Ｂの位置を推定するために、順次取得される実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との類似度を算出する。なお、類似度としては、実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との対応する画素間の画素値の差分の絶対値の和の逆数、または差分の二乗和の逆数等を用いることができる。

位置推定部２６は、類似度算出部２５が算出した類似度が予め定められたしきい値Ｔｈ１以上となる仮想内視鏡画像を用いて、気管支内における内視鏡先端３Ｂの位置を推定する。

なお、実内視鏡画像Ｔ０は動画像の１フレームを構成する。このため、類似度算出部２５は、動画像において順次取得される実内視鏡画像Ｔ０のうちの最新の実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との類似度を算出する。ここで、内視鏡先端３Ｂの位置を推定するために、類似度算出部２５は、実内視鏡画像Ｔ０とストレージ１３に保存されたすべての仮想内視鏡画像Ｋ０を変換することにより取得されたすべての変換済み仮想内視鏡画像Ｋ１との類似度を算出してもよいが、演算量が多くなる。このため、本実施形態においては、以下のように類似度を算出する。

まず、類似度算出部２５は、気管支内の基準位置において生成された基準となる変換済み仮想内視鏡画像Ｋ１を基準仮想内視鏡画像ＫＢに特定する。そして、順次取得される実内視鏡画像Ｔ０のうちの最新の実内視鏡画像Ｔ０と基準仮想内視鏡画像ＫＢとの類似度を算出する。基準仮想内視鏡画像ＫＢとしては、気管支の経路４０における気管支の入り口に最も近い位置を視点位置とする仮想内視鏡画像を用いればよい。位置推定部２６は、基準仮想内視鏡画像ＫＢとの類似度がしきい値Ｔｈ２以上となる実内視鏡画像Ｔ０が取得されると、内視鏡先端３Ｂの位置が基準位置にあると推定する。なお、しきい値Ｔｈ２はしきい値Ｔｈ１と同一値であっても異なる値であってもよい。

このようにして、内視鏡先端３Ｂの位置が基準位置にあると位置推定部２６が推定すると、類似度算出部２５は、図６に示すように、基準位置Ｐｂから予め定められた範囲Ａ０内にある１以上の変換済み仮想内視鏡画像Ｋ１と最新の実内視鏡画像Ｔ０との類似度を算出する。なお、内視鏡先端３Ｂが気管支の内部に移動し、ある実内視鏡画像Ｔ０が取得された時点において、図６に示すように内視鏡先端３Ｂが位置Ｐ１にあると推定された場合、類似度算出部２５は、次に取得された実内視鏡画像Ｔ０に関して、位置Ｐ１を含む予め定められた範囲Ａ０内にある１以上の変換済み仮想内視鏡画像Ｋ１と実内視鏡画像Ｔ０との類似度を算出する。すなわち、実内視鏡画像Ｔ０は動画像の１つのフレームを構成するため、実内視鏡画像Ｔ０が取得される毎に、類似度算出部２５は最新の実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との類似度を算出する。

位置推定部２６は、範囲Ａ０内におけるすべての変換済み仮想内視鏡画像Ｋ１と最新の実内視鏡画像Ｔ０との類似度のうち、しきい値Ｔｈ１以上となり、かつ最も類似度が大きい変換済み仮想内視鏡画像Ｋ１を生成した視点の位置を内視鏡先端３Ｂの位置に推定する。

表示制御部２７は、実内視鏡画像Ｔ０および内視鏡先端３Ｂの位置における仮想内視鏡画像を表示部１４に表示する。なお、表示制御部２７は、気管支画像Ｂ０を表示部１４に表示し、表示した気管支画像Ｂ０における内視鏡先端３Ｂを特定する表示を行うようにしてもよい。また、表示する仮想内視鏡画像は、元の仮想内視鏡画像Ｋ０であってもよく、変換済み仮想内視鏡画像Ｋ１であってもよい。本実施形態においては変換済み仮想内視鏡画像Ｋ１を表示するものとする。

図７は表示部１４の表示画像を示す図である。図７に示すように、表示画像５０には、実内視鏡画像Ｔ０、内視鏡先端３Ｂの位置における変換済み仮想内視鏡画像Ｋ１および気管支画像Ｂ０が表示されている。なお、気管支画像Ｂ０には、内視鏡の移動軌跡５１および内視鏡先端３Ｂの位置Ｐｔが表示されている。なお、変換済み仮想内視鏡画像Ｋ１に代えて、またはこれに加えて仮想内視鏡画像Ｋ０を表示するようにしてもよい。

次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。なお、気管支画像Ｂ０は気管支画像生成部２２により生成され、かつ仮想内視鏡画像Ｋ０は仮想内視鏡画像生成部２３により生成され、それぞれストレージ１３に保存されているものとする。内視鏡先端３Ｂが被検体に挿入され、操作開始の指示が入力部１５から入力されると、画像取得部２１が仮想内視鏡画像Ｋ０を取得し（ステップＳＴ１）、変換部２４が、仮想内視鏡画像Ｋ０の表現形式を実内視鏡画像Ｔ０のカラーの表現形式に変換して、変換済み仮想内視鏡画像Ｋ１を取得する（ステップＳＴ２）。そして、画像取得部２１が実内視鏡画像Ｔ０を取得し（ステップＳＴ３）、類似度算出部２５が実内視鏡画像Ｔ０と基準仮想内視鏡画像ＫＢとの類似度を算出する（ステップＳＴ４）。さらに、位置推定部２６が、類似度算出部２５が算出した類似度がしきい値Ｔｈ２以上であるか否かを判定し（ステップＳＴ５）、ステップＳＴ５が否定されると、ステップＳＴ３に戻り、ステップＳＴ３～ステップＳＴ５の処理が繰り返される。

ステップＳＴ５が肯定されると、位置推定部２６は、内視鏡先端３Ｂが基準位置Ｐｂにあると推定し（ステップＳＴ６）、引き続き画像取得部２１が実内視鏡画像Ｔ０を取得する（ステップＳＴ７）。続いて類似度算出部２５が、ステップＳＴ７において取得した実内視鏡画像Ｔ０と、内視鏡先端３Ｂの現在位置から予め定められた範囲内にある変換済み仮想内視鏡画像Ｋ１との類似度を算出する（ステップＳＴ８）。そして、位置推定部２６が、類似度がしきい値Ｔｈ１以上となり、かつ類似度が最も大きい変換済み仮想内視鏡画像Ｋ１を取得した位置を、内視鏡先端３Ｂの位置に推定する（ステップＳＴ９）。続いて、表示制御部２７が、実内視鏡画像Ｔ０および変換済み仮想内視鏡画像Ｋ１を表示する（ステップＳＴ１０）。そして、終了の指示がなされるまでステップＳＴ７～ステップＳＴ１０の処理が繰り返される。

なお、上記実施形態の処理においては、類似度がしきい値Ｔｈ１以上となる変換済み仮想内視鏡画像Ｋ１が存在しない場合があり得る。このような場合には、類似度を算出する変換済み仮想内視鏡画像Ｋ１を取得した範囲を広げる等して、内視鏡先端３Ｂの位置を推定すればよい。

このように、本実施形態においては、仮想内視鏡画像Ｋ０の表現形式を実内視鏡画像Ｔ０のカラーの表現形式に変換し、実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との類似度を算出するようにした。これにより、実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との表現形式が一致するため、実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との類似度を精度よく算出することができる。また、このように算出された類似度を用いることにより、内視鏡先端３Ｂの位置を精度よく推定することができる。

また、上記実施形態においては、位置推定部２６が内視鏡先端３Ｂの基準位置を推定しているが、これに限定されるものではない。例えば、図９に示すように、内視鏡装置３を位置検出装置３４を有するものとし、位置検出装置３４により内視鏡先端３Ｂの位置を検出しつつ、実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との類似度を算出して、内視鏡先端３Ｂの位置を推定するようにしてもよい。

この場合、位置検出装置３４は、被検体の体内における内視鏡先端３Ｂの位置および向きを検出する。具体的には、位置検出装置３４は、被検体の特定部位の位置を基準とした３次元座標系の検出領域を有するエコー装置を有し、エコー装置により、内視鏡先端３Ｂの特徴的な形状を検出することによって、被検体の体内における内視鏡先端３Ｂの相対的な位置および向きを検出する。そして、検出した内視鏡先端３Ｂの位置および向きの情報を位置情報Ｑ０として検査支援装置６に出力する（例えば、特開２００６－６１２７４号公報参照）。検出した内視鏡先端３Ｂの位置および向きは、撮影して得られた実内視鏡画像Ｔ０の視点および視線方向にそれぞれ該当する。ここで、内視鏡先端３Ｂの位置は、上述した被検体の特定部位の位置を基準とした３次元座標により表される。また、位置情報Ｑ０は、実内視鏡画像Ｔ０と同様のサンプリングレートにより検査支援装置６に出力される。

このように、位置検出装置３４を用いた場合、類似度算出部２５は、位置情報Ｑ０により表される気管支内の位置から予め定められた範囲Ａ０内にある１以上の変換済み仮想内視鏡画像Ｋ１と実内視鏡画像Ｔ０との類似度を算出する。位置推定部２６は、上記実施形態と同様に、範囲Ａ０内におけるすべての変換済み仮想内視鏡画像Ｋ１と実内視鏡画像Ｔ０との類似度のうち、しきい値Ｔｈ１以上となり、かつ最も類似度が大きい変換済み仮想内視鏡画像Ｋ１を生成した位置を内視鏡先端３Ｂの位置に推定する。

また、上記実施形態においては、類似度算出部２５は、実内視鏡画像Ｔ０が取得される毎に、変換済み仮想内視鏡画像Ｋ１との類似度を算出しているが、これに限定されるものではない。例えば、特開２０１６－１６３６０９号公報に記載された手法を用いて、実内視鏡画像Ｔ０に気管支の分岐構造が含まれるか否かを判定し、実内視鏡画像Ｔ０に気管支の分岐構造が含まれる場合にのみ、実内視鏡画像Ｔ０と変換済み仮想内視鏡画像Ｋ１との類似度を算出するようにしてもよい。

また、上記実施形態においては、本開示の検査支援装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、胃、大腸および血管等の管状構造物を内視鏡により観察する場合にも、本開示を適用できる。

また、上記実施形態においては、検査支援装置６が気管支画像生成部２２および仮想内視鏡画像生成部２３を備えているが、これに限定されるものではない。気管支画像生成部２２および仮想内視鏡画像生成部２３を検査支援装置６とは別個の装置として設けるようにしてもよい。この場合、気管支画像Ｂ０および仮想内視鏡画像Ｋ０は別個の装置から検査支援装置６に入力され、画像取得部２１により取得される。

また、上記実施形態においては、本開示による検査支援装置を、内視鏡検査を支援する装置に適用しているが、これに限定されるものではない。第１のカラー表現形式の第１の医用画像、および第１のカラー表現形式とは異なる第２の表現形式の第２の医用画像を取得する検査を支援する任意の装置に本開示を適用することができる。

また、上記実施形態において、例えば、画像取得部２１、気管支画像生成部２２、仮想内視鏡画像生成部２３、変換部２４、類似度算出部２５、位置推定部２６、および表示制御部２７といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

３ 内視鏡装置
３Ａ 操作部
３Ｂ 内視鏡先端
４ ３次元画像撮影装置
５ 画像保管サーバ
６ 検査支援装置
８ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２ 気管支画像生成部
２３ 仮想内視鏡画像生成部
２４ 変換部
２５ 類似度算出部
２６ 位置推定部
２７ 表示制御部
３１ 内視鏡スコープ
４０ 経路
５０ 表示画像
５１ 移動軌跡
Ａ０ 範囲
Ｂ０ 気管支画像
Ｋ０ 仮想内視鏡画像
Ｋ１ 変換済み仮想内視鏡画像
Ｐ１ 位置
Ｐｂ 基準位置
Ｐｔ 位置
Ｔ０ 実内視鏡画像

Claims (7)

1. 被検体の管状構造物内に挿入された内視鏡によって前記管状構造物の内壁を撮影することにより取得された、カラーの実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む３次元画像から生成された、ＣＧ風の表現形式を有し、かつ前記管状構造物の内壁を擬似的に表す仮想内視鏡画像を取得する画像取得部と、
   前記仮想内視鏡画像の前記ＣＧ風の表現形式を、前記実写風の表現形式に変換することにより、変換済み仮想内視鏡画像を取得する変換部と、
   前記実内視鏡画像と前記変換済み仮想内視鏡画像との類似度を算出する類似度算出部とを備えた検査支援装置。
2. 前記算出された類似度が予め定められたしきい値以上となる仮想内視鏡画像を用いて、前記管状構造物内における前記内視鏡の位置を推定する位置推定部をさらに備えた請求項１に記載の検査支援装置。
3. 前記推定された内視鏡の位置に対応する変換済み仮想内視鏡画像と、前記実内視鏡画像とを表示部に表示する表示制御部をさらに備えた請求項２に記載の検査支援装置。
4. 前記３次元画像から前記仮想内視鏡画像を生成する仮想内視鏡画像生成部をさらに備えた請求項１から３のいずれか１項に記載の検査支援装置。
5. 前記変換部は、機械学習がなされたニューラルネットワークにより前記変換済み仮想内視鏡画像を取得する請求項１から４のいずれか１項に記載の検査支援装置。
6. コンピュータが、被検体の管状構造物内に挿入された内視鏡によって前記管状構造物の内壁を撮影することにより取得された、カラーの実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む３次元画像から生成された、ＣＧ風の表現形式を有し、かつ前記管状構造物の内壁を擬似的に表す仮想内視鏡画像を取得し、
   前記仮想内視鏡画像の前記ＣＧ風の表現形式を、前記実写風の表現形式に変換することにより、変換済み仮想内視鏡画像を取得し、
   前記実内視鏡画像と前記変換済み仮想内視鏡画像との類似度を算出する検査支援方法。
7. 被検体の管状構造物内に挿入された内視鏡によって前記管状構造物の内壁を撮影することにより取得された、カラーの実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む３次元画像から生成された、ＣＧ風の表現形式を有し、かつ前記管状構造物の内壁を擬似的に表す仮想内視鏡画像を取得する手順と、
   前記仮想内視鏡画像の前記ＣＧ風の表現形式を、前記実写風の表現形式に変換することにより、変換済み仮想内視鏡画像を取得する手順と、
   前記実内視鏡画像と前記変換済み仮想内視鏡画像との類似度を算出する手順とをコンピュータに実行させる検査支援プログラム。

Images