JP6928392B2

JP6928392B2 - 多角度造影における血管対応位置関係の検索方法及びシステム

Info

Publication number: JP6928392B2
Application number: JP2019566653A
Authority: JP
Inventors: ションシェントゥ，; ルールーヤン，; ジュンチンヤン，; スーヂャン，
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2017-06-01
Filing date: 2018-05-29
Publication date: 2021-09-01
Anticipated expiration: 2038-05-29
Also published as: WO2018219273A1; US20200388050A1; JP2020521598A; CN107233106A; US11132815B2

Description

本発明は血管造影に用いられる画像データ処理システム及び多角度造影における血管対応位置関係に応用される便利な検索システムに関し、多角度から投影した造影画像のエピ極線拘束関係と対応位置特徴点の検出を含み、特に異なる角度からの造影で形態学的差異が大きい血管、又は形態学的に比較的類似する複数の血管の対応関係を確定することに関する。

血管造影画像に血管分布構造をより忠実に反映させるために、現在、臨床の造影システムは血管に対して多角度Ｘ線造影を行い、且つ臨床医師が多角度の造影画像の対応関係を検査することにより、実際の血管の構造を確定する。しかしながら、血管の形態学的差異が大きい場合、又は複数の血管が形態学的に類似している場合には、２つの投影角度の造影画像における同一の血管の位置関係を確認しにくいことがある。

この外、先行技術において、皮膚を通してガイドワイヤを血管に挿入することで、ガイドワイヤの多角度造影画像における位置に基づいて対応血管を確定することもできる。該方法は多角度造影画像における対応血管の確認を実現できるが、皮膚を通してガイドワイヤを挿入する必要があり、皮膚に傷をつけて、操作が複雑で、リスクが大きくなり、且つ長い時間がかかり、結果を迅速に得ることができない。ガイドワイヤの使用により、コストの上昇を招く。

上記問題に鑑みて、本発明の実施例は、２つの造影面のエピ極線拘束関係により、２つの造影角度の画像における血管位置の対応関係を確定する多角度造影における血管対応位置関係の検索方法及びシステムを提供することを目的とする。上記目的を達成するために、本発明は具体的に以下の技術案を提供する。

一態様において、本発明は多角度造影における血管対応位置関係の検索システムを提供し、該システムは造影装置、造影画像受信モジュール、中心点較正モジュール、特徴点検出モジュール、及び特徴点対応血管モジュールを含み、
前記造影装置は多投影角度の血管造影及び該造影画像の収集に用いられ、
前記造影画像受信モジュールは、前記造影装置から送信された画像を受信して、該画像を中心点較正モジュールに伝送するためのものであり、
前記中心点較正モジュールは、多角度造影システムのロボットアームの緩み又は回転による中心点のずれを較正するためのものであり、
前記特徴点検出モジュールは、表示モジュールから入力された基準画像の標的血管の複数の特徴点を受信して、空間エピ極線拘束関係によって第二画像対応特徴点を検出するためのものであり、
前記特徴点対応血管モジュールは、血管の形態的特徴を表示可能な解剖学的ランドマークである特徴点が位置する血管を確定するためのものである。

好ましくは、前記中心点較正モジュールは、
ユーザから入力された２つの投影角度の造影画像における若干組の対応位置特徴点を受信するための較正点入力モジュールと、エピ極線拘束関係により、基準画像の投影点の第二画像でのエピ極線を計算するためのエピ極線拘束モジュールと、第一投影システムを固定システムとして、若干の較正点の第二画像における投影点と対応するエピ極線との間の距離の合計を誤差関数と定義し、誤差関数によってエピ極線拘束関係を調整して、第二投影システムの中心点位置を較正するための誤差最小化モジュールと、誤差結果を用いて第二造影角度中心点の空間位置を変換して、２つの角度の造影中心点のずれによる誤差を低減するための中心点変換モジュールと、をさらに備える。ここで、前記中心点は、造影装置におけるＣ型アームの回転中心、またはその他の造影装置が造影を行う際のフレーミング空間中心である。

好ましくは、前記特徴点検出モジュールは、
基準画像標的血管の若干の特徴点を人為的に選択するための基準画像特徴点入力モジュールと、空間エピ極線拘束関係を用いて基準画像特徴点の第二画像でのエピ極線位置を算出するエピ極線拘束モジュールと、第二画像における若干のエピ極線と血管との交差位置を利用して基準画像特徴点の第二画像における対応位置を確定する第二画像特徴点対応位置取得モジュールと、をさらに備える。

好ましくは、エピ極線拘束関係を利用して２つの角度造影の中心点を較正して、捜索誤差を回避する。

好ましくは、中心点のずれの較正後の空間拘束関係により、基準角度造影画像の標的血管特徴点の第二角度画像での対応位置を捜索する。

好ましくは、標的血管セグメントに若干の特徴点を設置し、２つの角度の造影画像における特徴点の位置関係から、特徴点の位置する血管の対応位置関係を確定する。

好ましくは、前記システムは、ヒューマンコンピュータインタラクションで特徴点を入力して、対応する位置特徴点の検出結果を表示するための表示モジュールをさらに含む。

一方、本発明は、上記システムによって実現できる、多角度造影における血管対応位置関係の検索方法をさらに提供する。該方法は、
少なくとも２つの投影角度の造影画像を受信して記憶するステップ１と、
前記少なくとも２つの投影角度の造影画像における対応解剖点を較正点として選択して、前記少なくとも２つの投影角度の造影画像に対して中心点の較正を行うステップ２と、
中心点が較正された後の前記少なくとも２つの投影角度の造影画像に対して、標的血管の基準画像での特徴点を選択して、該特徴点の他の画像でのエピ極線を算出して、エピ極線と血管との交点によって前記他の画像における標的血管位置を判断するステップ３と、を含む。

好ましくは、前記ステップ３において、空間エピ極線拘束関係によって基準画像上の特徴点の第二画像でのエピ極線を算出する。

好ましくは、前記特徴点は主血管と分岐血管との交点に位置する。

好ましくは、前記方法及びシステムは、特に、異なる造影角度で血管の形態学的差異が大きい場合、又は複数の血管が形態学的に類似している場合、同一の血管の異なる造影角度の画像における対応の位置関係を確定することに適用される。

先行技術に比べて、本発明の技術案は先行技術において血管に対する対応関係検出を直接行う複雑性を簡略化し、空間拘束関係に基づいて少なくとも２つの角度の造影画像に対して対応特徴点の検出を行って、非侵襲的な検出を実現すると同時に検出結果の正確性を保証する。

本発明の実施例又は先行技術の技術案をより明確に説明するために、以下で実施例又は先行技術の説明に必要な図面を簡単に説明する。明らかに、下記図面は本発明のいくつかの実施例に過ぎず、当業者は、発明的な努力をせずに、これらの図面に基づいて他の図面を得ることができる。

多角度造影における血管対応位置関係の検索システムを示す図である。中心点較正モジュールを示す図である。特徴点検出モジュールを示す図である。２方向投影システムの空間座標系とエピ極線拘束関係を示す図である。２方向投影システムの中心点のずれを示す図である。ユーザが選択した中心点の較正前の、形態学的に類似する複数の血管の多角度造影での血管対応位置関係を示す図である。中心点較正後の、形態学的に類似する複数の血管の多角度造影での血管対応位置関係を示す図である。中心点ずれの較正前の、形態学的差異が比較的大きい血管の多角度造影での血管対応位置関係を示す図である。中心点ずれの較正後の、形態学的差異が比較的大きい血管の多角度造影での血管対応位置関係を示す図である。

以下、図面を参照して本発明の実施例を詳細に説明する。明らかに、説明された実施例は本発明の実施例の一部に過ぎず、全ての実施例ではない。本発明の実施例に基づき、当業者に発明的な努力を要することなく得られる他の実施例の全ては、いずれも本発明の保護範囲に属する。

当業者であれば、以下の具体的な実施例又は具体的な実施形態は、本発明が具体的な発明内容をさらに説明するために挙げられる一連の最適化の設定形態であり、本発明においていくつの実施例又はある具体的な実施例又は実施形態が他の実施例又は実施形態と関連して設定する又は共同で使用することができないことを明確に記載しない限り、それらの設定形態の間は互いに結合又は互いに関連して使用することができる。同時に、以下の具体的な実施例又は実施形態はただ最適化された設定形態とされ、本発明の保護範囲に対する限定と理解されるものではない。

実施例１
図１に示すように、本発明は多角度造影における血管対応位置関係の検索システムを提供し、該システムは造影装置、造影画像取得モジュール、中心点較正モジュール、特徴点検出モジュール、特徴点対応血管モジュール及び表示モジュールを備える。該造影装置は例えばＸ線造影装置、ＣＴ等の造影装置であってもよい。

前記造影装置は血管に対して多角度造影を行うためのものである。前記造影画像受信モジュールは多角度投影の造影画像を受信して、画像を中心点較正モジュールに送信するためのものである。ここでの多角度造影は、２つの角度、３つの角度、より多くの角度であってもよいことを強調する必要がある。選択した角度が多ければ多いほど、検索の精度が高くなり、選択した角度が比較的多い場合、その中心点の較正及び特徴点の対応に関するアルゴリズムは同じであり、例えば依然として一枚の造影を基準画像として、残りの一枚又は複数枚の画像での対応するエピ極線を算出し、後続の具体的な実施例において、２つの角度で造影を行うことのみを挙げて説明するが、それを本発明の保護範囲の限定として解釈すべきではない。前記中心点較正モジュールは、較正点入力モジュール、エピ極線拘束モジュール、誤差最小化モジュール及び中心点変換モジュールを備え、多角度造影に存在する中心点のずれを減少し、較正後の画像を対応特徴点検出モジュールに送信するために用いられる。前記対応特徴点検出モジュールは基準画像入力特徴点の第二画像での対応特徴点を検出するためのものである。前記特徴点対応血管モジュールは特徴点検出モジュールから出力された第二回画像特徴点を受信して、第二画像対応特徴点が位置する血管を確認する。前記表示モジュールはヒューマンコンピュータインタラクションに用いられ、人為的に校正点を選択する入力及び検索結果の出力を行う。

前記中心点較正モジュールは多角度造影に存在する中心点のずれを低減するためのものである。図２に示すように、較正点入力モジュールはユーザが２つの造影角度の画像で選択した若干の対応位置投影点を受信するためのものである。エピ極線拘束モジュールは２つの投影点に対応するエピ極線を計算するためのものである。誤差最小化モジュールは２つの投影面における投影点とエピ極線との距離の合計を誤差関数と定義して、誤差関数の値を求める。中心点変換モジュールは誤差最小化モジュールの計算結果に基づいて第二造影角度中心点の物理的位置を変換して、２つの角度の造影中心点のずれによる誤差を較正する。

前記特徴点検出モジュールは基準画像特徴点の第二画像での対応位置を検出するためのものである。図３に示すように、基準画像特徴点入力モジュールは、基準画像の標的血管における複数の特徴点を人為的に選択するためのものであり、エピ極線拘束モジュールは、空間エピ極線拘束関係を用いて基準画像特徴点の第二画像でのエピ極線位置を算出し、第二画像特徴点対応位置取得モジュールは、第二画像における若干のエピ極線と血管との交差位置を利用して、基準画像特徴点の第二画像における対応位置を確定する。

実施例２
１つの具体的な実施例において、図４を参照して、本発明のエピ極線拘束関係をさらに説明する。明記する必要があるのは、エピ極線拘束関係が複数の方法を採用することができ、例えば先行技術である空間オフセットアルゴリズム等を採用できる。以下の実施例は、１つの好ましい実施例のみとして、本発明の原理をさらに説明するが、本発明の保護範囲に対する限定と解釈すべきではない。

２つの投影面における空間点のエピ極線拘束関係は図４に示す通りである。空間における点ｄの第１の投影面での投影点をｄ_１とし、ｄとｄ_１とを結ぶ線の第２の投影面での投影線ｌ_１を、第２の投影面でのｄ_１のエピ極線と定義し、ｄとｄ_２とを結ぶ線の第１の投影面での投影線ｌ_２を、第１の投影面でのｄ_２のエピ極線と定義する。２つの角度の投影の中心点が重なる場合、ｄ_１は必ず投影線ｌ_２に位置し、ｄ_２は必ず投影線ｌ_１に位置し、該空間対応関係はエピ極線拘束と呼ばれる。

図４に示す２方向投影システムの空間座標系は、座標系の原点が該投影システムの中心点であり、第一投影システムの線源はＦ_１であり、ｆ_１ｄ_１は線源からｄ_１までの単位ベクトルであり、第二投影システムの線源はＦ_２であり、ｆ_２ｄ_２は線源からｄ_２までの単位ベクトルであり、Ｃ_１、Ｃ_２は投影システムの中心点の２つの投影面での投影点である。ｄの空間座標をｘ（ｘ，ｙ，ｚ）とすると、ｘに対して以下となる。
［ｒ_ｕ，ｒ_ｖ，ｒ_ｗ］^Ｔ＝Ｐ［ｘ，ｙ，ｚ，１］^Ｔ

この点の第１の投影面での画素位置は（ｘ_１，ｙ_１）＝（ｒ_ｕ／ｒ_ｗ，ｒ_ｖ／ｒ_ｗ）であり、投影行列Ｐは立体理論計算により得られ、式は以下のとおりである。

Ｕ，Ｖ：画像画素の次元数
ＩＳ：画像Ｕ方向またはＶ方向の実際の長さ
ＳＩＤ：Ｘ線源とイメージインテンシファイアとの距離
ＳＯＤ：Ｘ線源と被投影物体との距離
θ：第一角度（左前斜め／右前斜め、左前斜めが正、第一投影システム）
ψ：二次的な角度（頭位／足位、頭位は正、第一投影システム）

該点の第一投影面での画素位置（ｘ_１，ｙ_１）に基づいて該点の投影面での実際の座標位置を算出する。ｘ_ｋ＝ｋ_１・ｘ、ｙ_ｌ＝ｌ_１・ｙ、ｋ_１，ｌ_１は投影面の２つの座標ベクトルであると、第一投影面の投影点の第二投影面での対応するエピ極線はｙ_ｌ（ｘ_ｋ）であり、下記式を満たす。
υｆ_１ｆ_２＋μｆ_１ｄ_１＋Ｆ_１＝ｘ_ｋｋ_２＋ｙ_ｌｌ_２＋Ｃ_２
式中、ｆ_１ｆ_２は、第一投影システム線源から第二投影システム線源までの単位ベクトルである。

同様に、第二投影システムの投影点ｄ_２と対応するエピ極線を算出することができる。

実施例３
本実施例は中心点のずれ較正の具体的な方法を説明するためのものであり、該方法は具体的な利用可能な実施例として例示するに過ぎず、その具体的な計算方式を本発明の限定範囲として理解すべきではない。一つの具体的な実施形態において、例えば２つの角度の画像を例とし、２つの角度の投影の中心点にずれが存在する場合、システムはエピ極線拘束関係を満たさず、投影点は投影線に対して相応のずれ量が存在する。図５に示すように、該２方向投影システムの第一投影システムと第二投影システムに中心点ずれ（ｏ_１−ｏ_２）が存在し、図において較正点Ａ，点Ｂの第二画像での投影点Ａ_２，Ｂ_２と第一画像投影点Ａ_１，Ｂ_１に対応するエピ極線ｌ_Ａ，ｌ_Ｂの間にずれ量が存在する。システムは、該ずれ量がゼロではないと検出される場合、すなわち前記誤差関数がゼロではない場合、第一投影システムを固定システムとして、第二投影システムに対して中心点ずれの較正を行う。

図５に示すように、第一投影システムの線源はＦ_１であり、ｆ_１ｏ_１は線源から中心点投影点ｏ_１までの単位ベクトルであり、第二投影システムの線源はＦ_２であり、ｆ_２ｏ_２は線源から中心点投影点ｏ_２までの単位ベクトルであると、この二本の投影線ベクトルはそれぞれ以下のとおりである。
Ｆ_１＋τｆ_１ｏ_１
及び
Ｆ_２＋σｆ_２ｏ_２

空間理論によって検証され、この時に較正後の第二投影システムの中心点ｏが二本の投影線の共通垂線に位置する場合、誤差最小化モジュールに定義された誤差関数値が最小であり、よって、該点が位置する直線のベクトルｓは下記の式を満足する。
ｓ＝（Ｆ_１＋τｆ_１ｏ_１）−（Ｆ_２＋σｆ_２ｏ_２）
拘束条件：
ｓｆ_１ｏ_１＝０
ｓｆ_２ｏ_２＝０

上記方程式を解き、下記式が得られる。

すると、求めた点ｏの位置は、
ｏ＝Ｆ_１＋τｆ_１ｏ_１＋１／２ｓであり、
すなわち、第２の投影システムの較正後の中心点位置である。

実施例４
他の具体的な実施例において、本発明は多角度造影における血管位置の対応関係を確定するための検索方法を開示し、該方法は以下のステップを含む。
作業時に、まず造影装置から２つの投影角度の造影画像を受信してコンピュータに記憶する。次に、図６ａに示すように、ユーザは表示モジュールによって２つの画像における対応する解剖点を較正点として選択して、中心点較正モジュールを用いて多角度造影に対して中心点較正を行う。次に、図６ｂに示すように、中心点較正後の２つの画像に対して、ユーザは基準投影角度の造影画像における標的血管のａ、ｂ点（主血管と分岐血管との交点）を特徴点として選択して、コンピュータは空間エピ極線拘束関係によって該点の第二画像でのエピ極線を算出する（該拘束関係及び算出方法は、例えば実施例２に記載の方法を採用することができる）。図６ａの血管ｌとｍは非常に類似した形態学的特徴を有し、血管ｌ、ｍと図６ｂの血管との対応関係を目視で判断することは困難である。本方法を用いる場合、点ａ、ｂの第二画像での二本のエピ極線はそれぞれｍ’血管の分岐点でｍ’血管と交差し、したがって、ｍとｍ’は空間における同一の血管に対応する。また、エピ極線とｘ血管との交点には分岐血管がないため、該交点は基準画像中の特徴点の第二画像における対応位置ではなく、すなわちｍとｘは空間における異なる血管に対応する。なお、図６において投影点は対応するエピ極線の色と同じである。

同様に、図７ａは他の２つの画像の中心点のずれ較正を示す図である。図７において、血管ｌとｌ’は空間にある一本の血管の異なる角度からの造影であるが、形態学的に大きく異なっているため、同一の血管に対応するか否かを目視で直接判断することは困難である。本方法を用いた場合、点ａ，ｂの第二画像での二本のエピ極線はそれぞれ該血管の分岐点でｌ’と交差し、ｘ血管との交点に分岐血管がないため、ｌとｌ’は空間における同一の血管に対応することを確認できる。

好ましくは、本システム及び方法は特に図６及び図７に示す状況に適用され、即ち、明らかな特徴を有する血管解剖点を指定することにより、形態学的に非常に類似する複数の血管、又は異なる角度で造影する場合の形態学的に大きく異なる血管の位置対応関係を確定し、目視観察に対してより高い正確性を取得することができる。

本発明のポイントの１つは、造影画像の標的血管に若干の特徴点を設置し、２つの造影角度の画像における特徴点の対応関係によって特徴点の位置する血管の対応関係を確定し、血管に対して対応関係の検出を直接行う複雑性を簡略化することである。空間拘束関係に基づいて２つの角度の造影画像に対して対応特徴点検出を行い、非侵襲的な検出を実現すると同時に検出結果の正確性を保証する。

当業者は、上記実施例の方法における全部又は一部の流れの実現がコンピュータプログラムによって関連するハードウェアを指示して完成させることができることを理解でき、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶してもよい。該プログラムが実行される時、上記各方法の実施例の流れを含んでも良い。前記記憶媒体は磁気ディスク、光ディスク、リードオンリーメモリ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）又はランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）等であってもよい。

以上は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲がこれに限定されるものではなく、如何なる本技術分野を熟知している当業者にとっても、本発明に開示された技術的範囲内において、容易に考えられる変更又は置換がいずれも本発明の保護範囲に含まれるべきである。したがって、本発明の保護範囲は請求項の保護範囲を基準とすべきである。

Claims

多角度造影における血管対応位置関係の検索システムであって、
多投影角度の血管造影及び該造影画像の収集に用いられる造影装置と、
前記造影装置から送信された画像を受信して、該画像を中心点較正モジュールに伝送するための造影画像受信モジュールと、
多角度造影システムのロボットアームの緩み又は回転による中心点のずれを較正するための中心点較正モジュールと、
表示モジュールから入力された基準画像の標的血管の複数の特徴点を受信して、空間エピ極線拘束関係によって第二画像対応特徴点を検出するための特徴点検出モジュールと、
血管の形態的特徴を表示可能な解剖学的ランドマークである特徴点が位置する血管を確定するための特徴点対応血管モジュールと、
を備え、
前記中心点較正モジュールは、
ユーザから入力された２つの投影角度の造影画像における若干組の対応位置特徴点を受信するための較正点入力モジュールと、
エピ極線拘束関係により、基準画像の投影点の第二画像でのエピ極線を計算するためのエピ極線拘束モジュールと、
較正点入力モジュールから入力された若干組の対応投影点と対応するエピ極線との間の距離の合計を誤差と定義し、誤差関数によってエピ極線拘束関係を調整して、中心点を較正するための誤差最小化モジュールと、
第二造影角度中心点の空間位置を変換して、２つの角度の造影中心点のずれによる誤差を低減するための中心点変換モジュールと、
をさらに備えることを特徴とする多角度造影における血管対応位置関係の検索システム。
前記特徴点検出モジュールは、
基準画像標的血管の若干の特徴点を人為的に選択するための基準画像特徴点入力モジュールと、
空間エピ極線拘束関係を用いて基準画像特徴点の第二画像でのエピ極線位置を算出するエピ極線拘束モジュールと、
第二画像における若干のエピ極線と血管との交差位置を利用して基準画像特徴点の第二画像における対応位置を確定する第二画像特徴点対応位置取得モジュールと、
をさらに備えることを特徴とする請求項１に記載のシステム。
エピ極線拘束関係を利用して２つの角度からの造影の中心点を較正して、捜索誤差を回避する、ことを特徴とする請求項１又は２に記載のシステム。
中心点のずれの較正後の空間拘束関係により、基準角度造影画像の標的血管特徴点の第二角度画像での対応位置を捜索する、ことを特徴とする請求項１又は２に記載のシステム。
標的血管セグメントに若干の特徴点を検出し、２つの角度の造影画像における特徴点の位置関係から、特徴点の位置する血管の対応位置関係を確定する、ことを特徴とする請求項１又は２に記載のシステム。
前記システムは、ヒューマンコンピュータインタラクションで特徴点を入力して、対応する位置特徴点の検出結果を表示するための表示モジュールをさらに含む、ことを特徴とする請求項１〜５のいずれか一項に記載のシステム。
多角度造影における血管対応位置関係の検索方法であって、
少なくとも２つの投影角度の造影画像を受信して記憶するステップ１と、
前記少なくとも２つの投影角度の造影画像における対応解剖点を較正点として選択して、前記少なくとも２つの投影角度の造影画像に対して中心点の較正を行うステップ２と、
中心点が較正された後の前記少なくとも２つの投影角度の造影画像に対して、標的血管の基準画像での特徴点を選択して、該特徴点の他の画像でのエピ極線を算出して、エピ極線と血管との交点によって前記他の画像における標的血管位置を判断するステップ３と、
を含み、
前記ステップ２は、
ユーザから入力された２つの投影角度の造影画像における若干組の対応位置特徴点を受信するための較正点入力ステップと、
エピ極線拘束関係により、基準画像の投影点の第二画像でのエピ極線を計算するためのエピ極線拘束ステップ、
較正点入力ステップで入力された若干組の対応投影点と対応するエピ極線との間の距離の合計を誤差と定義し、誤差関数によってエピ極線拘束関係を調整して、中心点を較正するための誤差最小化ステップと、
第二造影角度中心点の空間位置を変換して、２つの角度の造影中心点のずれによる誤差を低減するための中心点変換ステップと、
を含む、
多角度造影における血管対応位置関係の検索方法。
前記ステップ３において、空間エピ極線拘束関係によって基準画像上の特徴点の第二画像でのエピ極線を算出する、ことを特徴とする請求項７に記載の方法。
前記特徴点は主血管と分岐血管との交点に位置する、ことを特徴とする請求項７に記載の方法。