JP7221787B2 - 血管径測定システム - Google Patents

Description

本開示は、血管を撮像して血管径を測定する血管径測定システムに関する。

冠動脈あるいは末梢血管等の組織内に留置されるステントは、例えば金属またはポリマから作製される小型の管状構造を有し、血管の中に挿通されて血管を解放して保持し、閉塞が生じないように保たれる。ステントの配置には幾つかのリスク（例えば血管病変の発生）が存在することが知られており（例えば特許文献１参照）、このような病変を回避するためにはステントは展開される間は血管内で平行に配置されるべきであり、適切なステントを選択するために血管径を測定することが重要となる。

従来、血管内を撮像可能な血管内視鏡として、例えば９０００画素程度の解像度を有するファイバースコープ型のものが知られている。このようなファイバースコープ型の血管内視鏡では、ファイバーを接続する基端側の光源あるいはプロセッサ装置側にイメージセンサが配置されることが多い。

特表２０１６－５０３３１０号公報

しかし、従来の血管内視鏡を用いて血管径を測定する場合、例えば解像度の不足により、医師等が安全安心な手術あるいは検査を行う上で目印となり得る有用な血管内特徴（例えば、ステント、薬剤、血栓、プラーク、ガイドワイヤ、血管壁の模様もしくはその状態）を十分に把握することができず、撮像映像を頼りにした高精度な血管径の測定が難しいという課題があった。血管壁の模様もしくはその状態には、例えば石灰化等の病変、新生内皮膜等が含まれる。

また、仮に血管径の測定時に周知のＩＶＵＳ（Intra Vascular Ultra Sound）もしくはＯＣＴ（Optical Coherence Tomography）を利用すると、手術あるいは検査の時間および費用が増大し、患者の負担が増して利便性が向上しないために好ましくないと考えられる。また、上述したＩＶＵＳにおいては、血管内視鏡の移動量は専用のプルバック機器の移動速度から算出が必要となるので、専用のプルバック機器には高度な移動精度が求められるので、手術費のコストアップが避けられない。

本開示は、上述した従来の状況に鑑みて案出され、血管内視鏡の撮像画像を利用して患者等の被検体内の血管径を高精度で手軽かつ簡易に測定し、被検体内に挿通される適切なステントの選択を支援する血管径測定システムを提供することを目的とする。

本開示は、目盛り付きのガイドワイヤが予め挿通された被検体の血管内に挿通され、血管および前記ガイドワイヤを撮像可能な画像センサが先端側に実装された内視鏡と、前記内視鏡と接続された演算装置と、を備え、前記演算装置は、前記内視鏡により撮像された前記ガイドワイヤが映る撮像画像が表示されたモニタを閲覧するユーザの操作により、前記血管内に挿通された前記内視鏡が基端側に向かって一定速度で移動された際に、前記内視鏡の移動前に撮像された少なくとも１枚の移動前撮像画像と前記内視鏡の移動後に撮像された少なくとも１枚の移動後撮像画像と前記内視鏡の移動距離とに基づいて、前記血管の血管径を測定する、血管径測定システムを提供する。

本開示によれば、血管内視鏡の撮像画像を利用して患者等の被検体内の血管径を高精度で手軽かつ簡易に測定し、被検体内に挿通される適切なステントの選択を支援できる。

実施の形態１に係る血管径測定システムの構成の一例を示す図 ガイドワイヤに案内されて血管内視鏡カメラが血管壁を撮像する状況の一例を示す図 血管内視鏡カメラが血管壁を撮像する状況の一例を示す図 ＰＣによる血管径測定手順を示すフローチャート 血管壁の画像上における特徴点の配置例を示す図 特徴点および対応点の位置関係例を示す図 ３次元位置の算出例を説明する図 血管を長手方向（ｚ方向）に視た場合における血管壁に配置された特徴点の点群をモニタに３Ｄ表示で示す図 血管を斜め方向に視た場合における血管壁に配置された特徴点の点群をモニタに３Ｄ表示で示す図 血管を径方向（ｘ－ｙ方向）に視た場合における血管壁に配置された特徴点の点群をモニタに３Ｄ表示で示す図 検出された平面に対し特徴点をインライアまたはアウトライアとする選別を示す図 ３次元点を用いて推定された血管径を示す図

以下、適宜図面を参照しながら、本開示に係る血管径測定システムおよび血管径測定方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、実施の形態に係る血管径測定システム５の構成の一例を示す図である。血管径測定システム５は、人体等の被検体を対象とし、その被検体の血管の血管径を測定する。血管径測定システム５は、血管内視鏡１００と、中継器２０と、カメラコントロールユニット３０と、ＰＣ（Personal Computer）５０と、モニタ７０と、を含む構成である。

内視鏡の一例としての血管内視鏡１００は、カテーテルの先端に血管内視鏡カメラ１０が取り付けられた（言い換えると、実装された）手術時あるいは検査時に使用される専用の医療器具であり、いわゆる血管内視鏡カテーテルと称される。血管内視鏡１００の外径は、例えば１．８ｍｍφであるが、この値に限定されない。血管内視鏡１００は、血管内を進退自在に挿通可能なガイドワイヤ１５０を収容する。ここで、血管内視鏡カメラ１０が体内に向かって挿入される方向を進行方向とし、反対に血管内視鏡カメラ１０が体外に向かって引き抜かれる方向を退避方向とする。従って、進退自在とは、血管内視鏡１００が体内に向かって挿入されることも引き抜かれることも可能であることを意味する。血管内視鏡カメラ１０は、手術あるいは検査の対象部位（例えば患部）までに予め挿通されたガイドワイヤ１５０に案内されて血管の奥までスムーズに挿入可能である。なお、血管内視鏡１００は、通常のカテーテル（図示略）の先端部に血管内視鏡カメラ１０が交換自在に装着されたものでもよい。カテーテルは、体液の排出あるいは薬液の注入に用いられる医療用の管である。カテーテルには、血管内視鏡カメラ１０の他、バルーンもしくはステント等が交換自在に装着可能である。

図２は、ガイドワイヤ１５０に案内されて血管内視鏡カメラ１０が血管壁２００を撮像する状況の一例を示す図である。血管内視鏡１００に挿通されるガイドワイヤ１５０には、血管内視鏡１００をプルバック（つまり引き抜く）処理を行うための目安となるための目盛りｍｓが付される。目盛りｍｓは、等間隔に刻まれたバー表示の刻みおよび数値を含む。ガイドワイヤ１５０は、例えば外径０．３５ｍｍのステンレス製のスプリングワイヤで構成される。ガイドワイヤ１５０は、極めて細いので、ユーザの手元操作によって容易に血管内に挿入される。

血管内視鏡カメラ１０は、血管内で停滞した状態にあるガイドワイヤ１５０に沿うように、血管内を移動して血管壁２００を撮像する際、ガイドワイヤ１５０に付された目盛りｍｓを画角内に含むように撮像する。即ち、血管内視鏡カメラ１０によって撮像された血管壁の画像には、ガイドワイヤ１５０に付された目盛りｍｓが映る。この血管壁の画像に映る目盛りｍｓの数値が判読されると、ガイドワイヤ１５０に沿った血管内視鏡カメラ１０の位置が特定される。目盛りｍｓの数値は、刻みの数を表す、例えば５ｍｍ，１０ｍｍ，１５ｍｍ等の文字や記号であってよい。従って、ユーザが血管内視鏡１００を引き抜きながら血管内視鏡カメラ１０によって血管壁の画像を撮像する際、例えば２フレーム間の距離Ｄが算出可能である。

なお、２つの数値の差分から距離Ｄを算出する際、ガイドワイヤに付された目盛りの数値（文字や記号を含む）を判読する代わりに、刻みの数を距離Ｄとして取得することも可能である。例えば、血管内視鏡カメラが第（ｎ－１）番目フレームのカメラ位置から第ｎ番目フレームのカメラ位置まで連続して血管壁を撮像する間に、ＰＣ５０は、血管壁の画像に映るバー表示の刻みを計数してもよい。

血管内視鏡カメラ１０は、例えば、血管を撮像可能な画像センサ（後述参照）が先端側に実装された４８万画素の高解像度カメラである。血管内視鏡１００が人体等の血管に挿入されることで、血管内視鏡カメラ１０は、血管の内壁（以下、血管壁という）を撮像可能である。血管内視鏡カメラ１０は、画像センサとして例えばＣＣＤ（Charged-Coupled Device）あるいはＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の固体撮像素子（つまりイメージセンサ）を内蔵し、被写体（例えば患部）からの光を撮像面に結像し、結像した光学像を電気信号に変換して撮像画像信号を出力する。血管内視鏡カメラ１０は、血管内に挿入されると、ユーザの操作に従い、例えば等間隔で血管壁を撮像し、撮像画像信号を出力する。なお、撮像画像信号は、静止画像および動画像のいずれの信号でもよい。また、血管内視鏡１００は、被写体を照明するために、ＬＥＤ光源あるいは後段のカメラコントロールユニット３０からの照射光を導くファイバーを内蔵してよい。

中継器２０は、血管内視鏡カメラ１０とカメラコントロールユニット３０の間で行われる各種の信号を中継する。各種の信号は、血管内視鏡カメラ１０で撮像された画像信号、およびカメラコントロールユニット３０が血管内視鏡カメラ１０を制御する制御信号を含む。

カメラコントロールユニット３０（ＣＣＵ：Camera Control Unit）は、血管内視鏡カメラ１０と中継器２０を介して電気的に接続され、血管内視鏡カメラ１０による撮像動作、血管内視鏡カメラ１０からの撮像画像信号に基づく撮像画像データの生成を制御する。また、カメラコントロールユニット３０は、撮像画像データにメタデータを付加する。メタデータは、撮像日時等のデータを含む。カメラコントロールユニット３０は、画像入力部（図示略）、画像処理部（図示略）および画像出力部（図示略）を含む。画像入力部（図示略）は、血管内視鏡カメラ１０で撮像された血管壁等の撮像画像データを入力する。画像入力部（図示略）は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）あるいはＵＳＢ（Universal Serial Bus）Ｔｙｐｅ－Ｃ等を用いたインターフェースでもよい。画像処理部（図示略）は、入力された血管壁等の撮像画像データにメタデータを付加する等の処理を行う。また、画像処理部（図示略）は、血管内視鏡カメラ１０からの撮像画像信号を用いて、所定の画像処理を行うことで後述するモニタ７０において視認可能なＲＧＢ形式あるいはＹＵＶ形式の撮像画像データを生成してもよい。なお、この撮像画像データの生成は、血管内視鏡カメラ１０で実行されてもよいし、後段のＰＣ５０で実行されても構わない。画像出力部（図示略）は、メタデータが付加された血管壁等の撮像画像データをＰＣ５０に送信する。

演算装置の一例としてのＰＣ５０は、プロセッサ５１と、メモリ５２と、入出力インターフェース５３と、操作部５４と、ストレージ５５とを有する。ＰＣ５０は、血管壁等の撮像画像データ（生画像データの一例）、この撮像画像データに対して所定の画像処理を施した後の撮像画像データ等をストレージ５５に記録する。ＰＣ５０は、血管壁の撮像画像データを基に、血管径を算出する処理を行う。ＰＣ５０は、血管径の測定結果あるいは血管壁等の撮像画像データをモニタ７０に出力し、血管径を可視化する処理を行う。

また、ＰＣ５０は、血管壁の画像に含まれる数値を含む文字領域画像を抽出し、この文字領域画像を用いて、ガイドワイヤ１５０に付された目盛りの数値を認識する文字認識処理を行う。この文字認識処理において、ＰＣ５０は、予め目盛りの数値（記号や文字を含む）を表すテンプレートをストレージ５５に登録しておき、このテンプレートと文字領域画像との類似度を基に、目盛りの数値を認識するテンプレートマッチングを行ってよい。また、ＰＣ５０は、目盛りの数値（記号や文字を含む）を含む画像を教師データとして、ディープラーニング等の機械学習を行い、目盛りの数値を認識する学習済みモデルを生成しておき、この学習済みモデルに血管壁の画像に含まれる文字領域画像を入力することで目盛りの数値を認識してもよい。

プロセッサ５１は、メモリ５２に記憶されたプログラムを実行することで、上述した血管径測定処理、可視化処理および文字認識処理等のそれぞれを実行する。プロセッサ５１は、例えば画像処理に適したＧＰＵ（Graphical Processing Unit）でよい。なお、プロセッサ５１は、ＧＰＵの代わりに、ＭＰＵ（Micro Processing Unit）、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等で設計された専用の電子回路や、ＦＰＧＡ（Field Programmable Gate Array）等で再構成可能に設計された電子回路で構成されてもよい。

メモリ５２は、プロセッサ５１のワーキングメモリとして使用される。入出力インターフェース５３は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）あるいはＵＳＢ（Universal Serial Bus） Ｔｙｐｅ－Ｃ等を用いたインターフェースでもよい。

操作部５４は、術者等のユーザによる操作を受け付ける。操作部５４は、マウス、キーボード、タッチパッド、タッチパネル、マイクロホン、またはその他の入力デバイスを含んでよい。

ストレージ５５は、大容量のメモリであり、血管内視鏡カメラ１０で撮像された血管壁等の画像データを蓄積する。ストレージ５５は、例えば二次記憶装置（例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive））、あるいは三次記憶装置（例えば光ディスク、ＳＤカード）を含んでよい。

モニタ７０は、ＰＣ５０から出力される血管径の測定結果あるいは血管壁等の画像を表示する。モニタ７０は、血管壁の画像を表示する際、ユーザが所望する方向から視た血管内の立体画像として３Ｄ表示可能である。モニタ７０は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）、ＣＲＴ（Cathode Ray Tube）等の表示デバイスを有する。

なお、カメラコントロールユニット３０、ＰＣ５０およびモニタ７０は、イメージングシステム９０として、単一の筐体に搭載される。

次に、実施の形態１に係る血管径測定システム５の動作を示す。

例えば、人体等の血管内に血栓があったり、血管壁にプラークができていたりする等、血管の状態を観察するために、血管内視鏡１００は、血管内に挿入される。術者等のユーザが血管内視鏡１００を血管内に挿入する際、カテーテルに収容されたガイドワイヤ１５０を先行して血管内に進行させる。ガイドワイヤ１５０が観察したい血管内に届くと、ユーザは、ガイドワイヤ１５０に案内されるように、血管内視鏡カメラ１０を血管内に進行させる。血管内視鏡カメラ１０が観察したい血管内に達すると、ユーザは、血管内視鏡１００を引き抜く動作を開始させる。また、血管内視鏡カメラ１０で血管内を撮像する場合、ユーザは、血管内を鮮明に撮像できるように、カテーテルの先端から生理食塩水を血管内に注入する。

図３は、血管内視鏡カメラ１０が血管壁２００を撮像する状況の一例を示す図である。血管内視鏡カメラ１０は、ガイドワイヤ１５０が予め挿通されている血管２０１の血管壁２００（例えば、血管の中心方向と中心方向を挟んで対向する双方の内壁と）を撮像する。血管壁２００を撮像する場合、血管内視鏡カメラ１０は、自重により血管壁２００に張り付いた状態となる。この状態で、血管壁２００を撮像する場合、血管内視鏡カメラ１０は、血管壁２００を下側から仰いだ画像（いわゆるアオリ撮影による画像）を撮像する。この結果、血管壁の画像は、血管壁２００の中心が上側にずれた画像となる（図５参照）。

図４は、血管径測定手順を示すフローチャートである。この処理は、血管内視鏡カメラ１０で連続的に撮像される画像に対し、フレーム単位で実行される。

まず、ユーザは、ＰＣ５０に対し、円の中心と半径を入力する。プロセッサ５１は、操作部５４を介して、ユーザ入力による円の中心と半径を受け付ける。プロセッサ５１は、カメラコントロールユニット３０から入力した血管壁の画像データに対し、画像全体に配置された１１５６個の測定点の中から、円の中心と半径に基づく円周上に１２８個の特徴点ｅ１を検出する（Ｓ１）。なお、１１５６個の測定点および１２８個の特徴点の数は、一例である。

アオリ画像の場合、血管径に合わせて円周上に配置される特徴点は、画像の上部がｚ方向（図７参照）に倒れた状態の楕円状に分布する。また、後述する血管径の算出では、後述するように楕円フィッティングにより得られる楕円の長辺が血管径として採用されるので、アオリ画像の場合、血管径は長めに算出される。なお、ＰＣ５０は、血管内視鏡カメラ１０で撮像される画像に対し、アオリ補正を行い、アオリ補正後の画像を用いて、血管径測定処理を行ってもよい。

図５は、血管壁の画像上における特徴点ｅ１の配置例を示す図である。血管内視鏡カメラ１０で撮像された画像ＧＺ１に対し、ユーザにより指定された円の円周上に１２８個の特徴点ｅ１が重畳して描画される。

プロセッサ５１は、特徴点ｅ１を検出した画像ＧＺ１が１フレーム目の画像であるか否かを判別する（Ｓ２）。１フレーム目の画像である場合、プロセッサ５１は、本処理を終了する。

一方、ステップＳ２で２フレーム目以降の画像である場合、プロセッサ５１は、第１の特徴点マッチングを行う（Ｓ３）。第１の特徴点マッチングでは、プロセッサ５１は、前フレーム（言い換えると、第（ｎ－１）番目フレーム）の特徴点近傍の矩形領域をテンプレートとして取得する（ｎ：２以上の整数）。一例として、テンプレートサイズは、幅１６ピクセル×高さ１６ピクセルのサイズである。プロセッサ５１は、現フレーム（言い換えると、第ｎ番目フレーム）の特徴点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅１２８ピクセル×高さ１２８ピクセルのサイズである。プロセッサ５１は、ＺＮＣＣ（Zero-means Normalized Cross Correlation）値が最小となる位置を特徴点ｅ１に対応する対応点ｆ２とする。なお、第ｎ番目フレームは、第（ｎ－１）番目フレームに対し、血管内視鏡１００が手前に引かれた状態の画像であるので、複数の対応点ｆ２が形成する円は、複数の特徴点ｅ１が形成する円と比べ、小さくなる。

図６は、特徴点ｅ１および対応点ｆ２の位置関係例を示す図である。プロセッサ５１は、第（ｎ－１）番目フレームに含まれる特徴点ｅ１と第ｎ番目フレームに含まれる対応点ｆ２を用いて、消失点ｄｐを推定する（Ｓ４）。消失点ｄｐの推定では、プロセッサ５１は、全ての特徴点ｅ１および対応点ｆ２に対し、特徴点ｅ１から対応点ｆ２へのフローを求める。プロセッサ５１は、２つのフローの交点を求める。プロセッサ５１は、全ての特徴点ｅ１から交点までのベクトルを求める。プロセッサ５１は、このフローと各ベクトルとの類似度（ここでは角度差）を求め、この類似度が閾値を超えるか否か、例えばフローとベクトルの角度差が３°未満であるか否かを判別する。プロセッサ５１は、角度差が３°未満である場合、この特徴点ｅ１を有効な特徴点（以下、「インライア」と称する場合がある）であると判定する。一方、プロセッサ５１は、角度差が３°以上である場合、この特徴点ｅ１を無効な特徴点（以下、「アウトライア」と称する場合がある）であると判定する。プロセッサ５１は、全てのフローの交点に対し、インライアの数を算出する。プロセッサ５１は、インライアの数が最も多いフローの交点を消失点ｄｐとする。例えば、フローの数が４つである場合、交点は、４つの中から２つを選ぶ組合せ_４Ｃ_２で算出されるように、６通り存在する。従って、消失点ｄｐは、６つの交点の中から選出される。

プロセッサ５１は、クロスチェックのために第２の特徴点マッチングを行う（Ｓ５）。第２の特徴点マッチングでは、プロセッサ５１は、現フレーム（つまり、第ｎ番目フレーム）の対応点近傍の矩形領域をテンプレートとして取得する。一例として、テンプレートサイズは、幅１６ピクセル×高さ１６ピクセルのサイズである。プロセッサ５１は、前フレーム（つまり、第（ｎ－１）番目フレーム）の対応点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅１２８ピクセル×高さ１２８ピクセルのサイズである。プロセッサ５１は、ＺＮＣＣ（Zero-means Normalized Cross Correlation）値が最小となる位置を対応点ｆ２に対応する特徴点とする。プロセッサ５１は、前フレーム（第（ｎ－１）番目フレーム）における、特徴点ｅ１と対応する特徴点とが一致するか否かを判別する。特徴点ｅ１と対応する特徴点との一致は、例えば位置座標を基に、判別可能である。プロセッサ５１は、特徴点ｅ１と対応する特徴点とが一致する場合、対応点ｆ２が信頼性ありと判断し、特徴点ｅ１と対応する特徴点とが一致しない場合、対応点ｆ２が信頼性なしと判断する。プロセッサ５１は、信頼性ありと判断された特徴点ｅ１をインライアとして採用し、信頼性なしと判断された特徴点ｅ１をアウトライアとして採用しない。

プロセッサ５１は、インライアである特徴点ｅ１の３次元位置を算出する（Ｓ６）。特徴点ｅ１の３次元位置の算出には、例えば三角測量が用いられる。三角測量は、２点間の距離およびこれら２点から測定したい特徴点への角度をそれぞれ測定することで、特徴点の位置を求める、三角法および幾何学を用いた周知の測量方法である。

図７は、３次元位置の算出例を説明する図である。ここで、特徴点ｅ１の３次元座標Ｅを（Ｘ，Ｙ，Ｚ）とする。Ｘは、血管の径方向を表すｘ軸の座標値である。Ｙは、ｘ軸に対し垂直な血管の径方向を表すｙ軸の座標値である。Ｚは、血管の長手方向を表すｚ軸の座標値である。第（ｎ－１）番目フレームのカメラ位置ｇ１における、特徴点ｅ１の画像座標ｐ１を（ｕ１，ｕ２）とする。第ｎ番目フレームのカメラ位置ｇ２における、対応点ｆ２の画像座標ｐ２を（ｕ２，ｖ２）とする。第（ｎ－１）番目フレーム目カメラ位置と第ｎ番目フレームのカメラ位置ｇ２の間の距離をＤとする。ここで、距離Ｄは、２フレーム（例えば、第（ｎ－１）番目フレームと第ｎ番目フレーム）の血管壁の画像にそれぞれ映る、ガイドワイヤ１５０に付された目盛りｍｓの数値の差分を算出することで得られる。目盛りｍｓの数値は、プロセッサ５１が文字認識処理を行うことで判読される。

カメラの内部パラメータの行列Ｋを数式（１）で表す。

ここで、ｆｘ：焦点距離を水平画素ピッチで割った値、ｆｙ：焦点距離を垂直画素ピッチで割った値、Ｃｘ：画像中心のｘ座標、Ｃｙ：画像中心のｙ座標である。

特徴点ｅ１の画像座標ｐ１と３次元座標Ｅは、数式（２）で表される。

対応点ｆ２の画像座標ｐ２と３次元座標Ｅは、式（３）で表される。

プロセッサ５１は、例えば三角測量関数を使用し、画像座標ｐ１と画像座標ｐ２に対応する、特徴点ｅ１の３次元座標Ｅを求める。

プロセッサ５１は、特徴点ｅ１の３次元座標Ｅを３次元の立体画像としてモニタ７０に表示（３Ｄ表示）可能である。図８は、血管を長手方向（ｚ方向）に視た場合における血管壁２００に配置された特徴点ｅ１の点群をモニタ７０に３Ｄ表示で示す図である。図９は、血管を斜め方向に視た場合における血管壁２００に配置された特徴点ｅ１の点群をモニタ７０に３Ｄ表示で示す図である。図１０は、血管を径方向（ｘ－ｙ方向）に視た場合における血管壁２００に配置された特徴点ｅ１の点群をモニタ７０に３Ｄ表示で示す図である。なお、図８，図９，図１０では、例えば擬似血管として縞模様の付いた３ｍｍの管が用いられた。

プロセッサ５１は、複数の特徴点ｅ１の３次元座標Ｅを基に、楕円フィッティングが行われる平面を検出する（Ｓ７）。平面の検出では、プロセッサ５１は、複数の特徴点ｅ１（３次元点という）の中から３点を選択し、これら３点を含む平面を表す式（平面式という）を求める。プロセッサ５１は、求めた平面との距離が所定距離以内で平面に近い３次元点の数を計数する。プロセッサ５１は、計数した３次元点の数が最も多くなる平面式を選択する。プロセッサ５１は、選択した平面式で表される平面に近い３次元点を抽出する。プロセッサ５１は、抽出した３次元点群を基に、主成分分析（ＰＣＡ：Principal Component Analysis）を行い、平面を検出する。主成分分析は、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。

プロセッサ５１は、平面からの距離が所定距離を超えて離れている特徴点ｅ１をアウトライアとし、所定距離以内である特徴点ｅ１をインライアとして血管径の推定に採用する。図１１は、検出された平面ＰＬに対し特徴点ｅ１をインライアｑ１またはアウトライアｑ２とする選別を示す図である。

プロセッサ５１は、複数の特徴点ｅ１を基に、楕円フィッティングを行って血管径を推定する（Ｓ８）。楕円フィッティングでは、複数の特徴点ｅ１をｘ－ｙ平面に投影し、ｘ－ｙ平面に投影された２次元点に対し、ＲＡＮＳＡＣ（Random Sample Consensus）を利用したフィッティングが行われる。ＲＡＮＳＡＣは、外れ値を含まないように、楕円パラメータを推定する手法である。

プロセッサ５１は、ＲＡＮＳＡＣを利用することで、複数の２次元点に外れ値が含まれても、その影響を抑えて楕円を推定できる。従って、楕円の推定精度が向上する。具体的に、プロセッサ５１は、複数の２次元点を入力し、入力した複数の２次元点の中から５点をランダムに抽出する。プロセッサ５１は、抽出した５点を用いて楕円パラメータを求める。楕円パラメータは、長径および短径を含む。プロセッサ５１は、各２次元点から楕円弧までの最短距離を算出し、その距離が閾値より小さくなる２次元点の数（インライア数）を計数し、メモリ５２に記録する。プロセッサ５１は、入力した複数の２次元点の中から別の５点を抽出し、上記と同様の手順で、インライア数を計数する。プロセッサ５１は、計数したインライア数がメモリ５２に記録されたインライア数を超える場合、メモリ５２に記録されたインライア数を更新する。プロセッサ５１は、同様の手順を繰り返し、メモリ５２に記録されるインライア数が一定回数連続して更新されなかった場合、つまり最大となるインライア数が得られた場合、２次元点の抽出を終了する。プロセッサ５１は、全ての２次元点に対し、インライア数が最大となる楕円パラメータを用いて、各２次元点から楕円弧までの最短距離が閾値より小さくなる２次元点をインライアｑ１として決定する。プロセッサ５１は、決定した全てのインライアｑ１を用いて、楕円パラメータを求める。全てのインライアｑ１を用いて楕円パラメータを求めた結果、プロセッサ５１は、楕円パラメータの１つである長径を血管径φ１と推定する。プロセッサ５１は、血管径を長径とすることで、血管に挿通可能なステントのサイズを適正に決定できる。図１２は、３次元点を用いて推定された血管径φ１を示す図である。

このように、実施の形態１に係る血管径測定システム５では、血管内視鏡カメラ１０が血管壁２００を撮像すると同時に、血管２０１内に挿通されたガイドワイヤ１５０に付された目盛りｍｓを撮像する。ＰＣ５０のプロセッサ５１は、血管内視鏡カメラ１０によって撮像された画像を解析することで、第（ｎ－１）番目フレームのカメラ位置ｇ１と第ｎ番目フレームのカメラ位置ｇ２の差分である距離Ｄを算出する。

また、ＰＣ５０は、血管内視鏡１００の使用時、ユーザが手で血管内視鏡１００を引き抜くことにより血管内視鏡カメラ１０が移動した距離Ｄと、第（ｎ－１）番目フレームおよび第ｎ番目フレームの画像を用いて、血管径を推定する。このとき、ＰＣ５０は、血管壁を撮像した画像の画面全体に配置した測定点（例えば１１５６個）の中から円状に配置した特徴点ｅ１（例えば１２８個）を検出する。ＰＣ５０は、特徴点ｅ１の移動方向から消失点ｄｐを推定する。ＰＣ５０は、特徴点ｅ１の移動変化量から特徴点ｅ１の３次元座標を算出する。ＰＣ５０は、算出した特徴点ｅ１の３次元座標に対し楕円フィッティングを行い、楕円パラメータである長径を血管径として算出する。

ＰＣ５０は、楕円フィッティングを用いることで、凹凸が少ない血管壁であっても、血管径を表す測定点が判別しにくい状況でも、血管径を安定して算出できる。従って、例えば術者等のユーザが血管内視鏡を引きながら血管径をモニタリングする場合、血管径が均一な箇所で表示される血管径の変動が抑えられる。また、血管径の精度が向上する。ユーザは、血管が狭窄している血管箇所にステントを挿入する場合、ステントのサイズを適正に選択できる。また、ユーザが手で血管内視鏡１００を引き抜くことで、プルバック機器が血管内視鏡を一定速度で牽引しなくてもよく、プルバック機器を省くことができる。血管径測定システムの構成が簡単になる。

以上により、血管径測定システム５は、目盛り付きのガイドワイヤ１５０が予め挿通された被検体の血管内に挿通され、血管２０１およびガイドワイヤ１５０を撮像可能な血管内視鏡カメラ１０が先端側に実装された血管内視鏡１００と、内視鏡と接続されたＰＣ５０と、を備える。ＰＣ５０は、血管内視鏡カメラ１０により撮像されたガイドワイヤ１５０が映る撮像画像が表示されたモニタ７０を閲覧するユーザの操作により、血管内に挿通された血管内視鏡１００が基端側に向かって一定速度で移動された際に、血管内視鏡１００の移動前に撮像された少なくとも１枚のｎ－１フレームと血管内視鏡１００の移動後に撮像された少なくとも１枚のｎフレームと血管内視鏡１００が移動した距離Ｄとに基づいて、血管２０１の血管径を測定する。

これにより、血管径測定システム５は、血管内視鏡１００の撮像画像を利用して患者等の被検体内の血管径を高精度で手軽かつ簡易に測定し、被検体内に挿通される適切なステントの選択を支援できる。血管径測定システム５は、血管内視鏡カメラ１０を一定速度で牽引する高価なプルバック機器を不要にでき、手術あるいは検査のコストを下げることができる。また、患者にとっては、手術費用が安価になり、このような血管径の測定を含めた手術あるいは検査の普及が拡大することが期待される。

また、ＰＣ５０は、血管の血管径の測定結果をモニタ７０に表示する。これにより、ユーザは、血管径を視覚的に把握できる。

また、血管内視鏡カメラ１０は、ガイドワイヤ１５０が予め挿通されている血管の中心方向と中心方向を挟んで対向する双方の内壁とを撮像する。これにより、血管径測定システムは、血管径の測定に適した画像を得ることができる。

また、ＰＣ５０のプロセッサ５１は、第（ｎ－１）番目フレームに対して円状に配置される１２８個（複数個）の特徴点ｅ１と、第ｎ番目フレームに対して配置される１２８個の特徴点ｅ１にそれぞれ対応する１２８個の対応点ｆ２のそれぞれの移動方向から消失点ｄｐを推定する。プロセッサ５１は、１２８個の特徴点ｅ１の中から、血管内視鏡カメラ１０の移動に基づく消失点ｄｐの方向へのベクトルを有するインライアである特徴点ｅ１（有効特徴点）を抽出する。プロセッサ５１は、血管内視鏡カメラ１０が移動した距離Ｄ（移動距離）に対応する特徴点ｅ１の移動変化量を用いて特徴点ｅ１の３次元座標を算出する。プロセッサ５１は、特徴点ｅ１の３次元座標に基づいて、血管２０１の血管径を測定する。これにより、血管径測定システムは、血管壁に配置された、血管径の測定に有効な特徴点を用いて、血管径を正確に測定できる。

また、プロセッサ５１は、第（ｎ－１）番目フレームに対して円状に配置される１２８個の特徴点ｅ１をそれぞれ含む複数のテンプレートを基に、第ｎ番目フレームに対してテンプレートマッチングを行い、第ｎ番目フレームに配置される１２８個の特徴点として、第（ｎ－１）番目フレームに配置される１２８個の特徴点にそれぞれ対応する１２８個の対応点ｆ２を配置する。プロセッサ５１は、第ｎ番目フレームに対して配置される１２８個の対応点ｆ２をそれぞれ含む複数のテンプレートを基に、第（ｎ－１）番目フレームに対してテンプレートマッチングを行い、１２８個の対応点ｆ２にそれぞれ対応する１２８個の対応特徴点を配置する。プロセッサ５１は、特徴点ｅ１と対応特徴点が略一致する場合、特徴点ｅ１をインライアとなる特徴点ｅ１（有効特徴点）として抽出する。これにより、血管径測定システムは、血管径の測定に有効な特徴点を抽出でき、血管径の測定精度が向上する。

また、プロセッサ５１は、３次元座標を有するインライアとなる特徴点ｅ１の２次元の投影平面上の２次元座標を用いた楕円フィッティングに基づいて、血管２０１の血管径を測定する。これにより、血管径測定システム５は、楕円フィッティングを用いることで、凹凸が少ない血管壁であっても、血管径を表す測定点が判別しにくい状況でも、血管径を安定して算出できる。従って、例えば血管内視鏡を引き抜きながらユーザが血管径をモニタリングする場合、血管径が均一な箇所で表示される血管径の変動が抑えられる。また、血管径の精度が向上する。ユーザは、血管が狭窄している血管箇所にステントを挿入する場合、ステントのサイズを適正に選択できる。

また、プロセッサ５１は、楕円フィッティングの結果得られた楕円の楕円パラメータである長径を血管２０１の血管径と推定する。これにより、血管径測定システムは、血管径を長径とすることで、血管を挿通可能なステントのサイズを適正に決定できる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

例えば、上述した実施の形態では、ユーザは、血管壁の画像に対し、円の中心と半径を入力し、円周上に１２８個の特徴点を配置したが、血管壁の画像に対し、マウス操作で２本ラインを設定してもよい。この場合、ＰＣのプロセッサは、２本のラインの交点と、交点からライン端までの距離を基に、特徴点を設定するための円の中心座標と円の半径を決定する。

また、上述した実施の形態では、プロセッサは、特徴点に対応する対応点をテンプレートマッチングによって取得したが、ｎ－１フレームの特徴点およびnフレームの対応点を用いて、ディープラーニングによる機械学習を行い、機械学習の結果生成された学習済みモデルを使用し、ｎ－１フレームの特徴点に対応するｎフレームの対応点を取得してもよい。

また、上述した実施の形態では、プロセッサは、楕円パラメータの長径を血管径として推定したが、短径を血管径として推定してもよい。また、プロセッサは、長径と短径を用い、例えば長径と短径を加算しその半分の値を用いて、血管径を推定してもよい。

本開示は、血管内視鏡の撮像画像を利用して患者等の被検体内の血管径を高精度で手軽かつ簡易に測定し、被検体内に挿通される適切なステントの選択を支援する血管径測定システムおよび血管径測定方法として有用である。

５ 血管径測定システム
１０ 血管内視鏡カメラ
２０ 中継器
３０ カメラコントロールユニット
５０ ＰＣ
５１ プロセッサ
５２ メモリ
５３ 入出力インターフェース
５４ 操作部
５５ ストレージ
７０ モニタ
１００ 血管内視鏡
１５０ ガイドワイヤ

Claims (7)

1. 目盛り付きのガイドワイヤが予め挿通された被検体の血管内に挿通され、血管および前記ガイドワイヤを撮像可能な画像センサが先端側に実装された内視鏡と、
   前記内視鏡と接続された演算装置と、を備え、
   前記演算装置は、
   前記内視鏡により撮像された前記ガイドワイヤが映る撮像画像が表示されたモニタを閲覧するユーザの操作により、前記血管内に挿通された前記内視鏡が基端側に向かって一定速度で移動された際に、前記内視鏡の移動前に撮像された少なくとも１枚の移動前撮像画像と前記内視鏡の移動後に撮像された少なくとも１枚の移動後撮像画像と前記内視鏡の移動距離とに基づいて、前記血管の血管径を測定する、
   血管径測定システム。
2. 前記演算装置は、前記血管の血管径の測定結果を前記モニタに表示する、
   請求項１に記載の血管径測定システム。
3. 前記内視鏡は、前記ガイドワイヤが予め挿通されている前記血管の中心方向と前記中心方向を挟んで対向する双方の内壁とを撮像する、
   請求項１または２に記載の血管径測定システム。
4. 前記演算装置は、
   前記移動前撮像画像および前記移動後撮像画像のそれぞれに対して円状に配置される複数個の特徴点のそれぞれの移動方向から消失点を推定し、
   前記複数個の特徴点の中から、前記内視鏡の移動に基づく前記消失点の方向へのベクトルを有する有効特徴点を抽出し、前記内視鏡の移動距離に対応する前記有効特徴点の移動変化量を用いて前記有効特徴点の３次元座標を算出し、
   前記有効特徴点の３次元座標に基づいて、前記血管の血管径を測定する、
   請求項１に記載の血管径測定システム。
5. 前記演算装置は、
   前記移動前撮像画像に対して円状に配置される複数個の特徴点をそれぞれ含む複数のテンプレートを基に、
   前記移動後撮像画像に対してテンプレートマッチングを行い、前記移動後撮像画像に配置される前記複数個の特徴点として、前記移動前撮像画像に配置される前記複数個の特徴点にそれぞれ対応する複数個の対応点を配置し、
   前記移動後撮像画像に対して配置される複数個の対応点をそれぞれ含む複数個のテンプレートを基に、前記移動前撮像画像に対してテンプレートマッチングを行い、前記複数個の対応点にそれぞれ対応する複数個の対応特徴点を配置し、前記特徴点と前記対応特徴点が略一致する場合、前記特徴点を有効特徴点として抽出する、
   請求項４に記載の血管径測定システム。
6. 前記演算装置は、
   前記３次元座標を有する前記有効特徴点の２次元の投影平面上の２次元座標を用いた楕円フィッティングに基づいて、前記血管の血管径を測定する、
   請求項４に記載の血管径測定システム。
7. 前記演算装置は、前記楕円フィッティングの結果得られた楕円の楕円パラメータである長径を前記血管の血管径と推定する、
   請求項６に記載の血管径測定システム。

Images