JP7427294B2 - ユーザ入力に基づいて血管映像を処理する方法及び装置 - Google Patents

Description

以下、血管映像を処理する方法に関する技術が提供される。

血管造影術（ａｎｇｉｏｇｒａｐｈｙ）映像は、主な血管を観察して血管内の問題部位を診断して必要な施術及び措置をするために広範囲に活用されている。従来には、便宜性を高めて診断結果を定量化するために、血管映像から主な血管を自動識別する映像処理エンジンが利用されている。例えば、Ｐｉメディカル社のＣａａｓ ＱＣＡエンジンは、血管造営映像で主な血管を探して表示することができる。一方、エンジンから抽出された主な血管は、実際に抽出しなければならない主な血管部位ではない他の血管部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に該当し、一部が切れている（ｄｉｓｃｏｎｎｅｃｔｉｏｎ）など、エラーを示す場合が多い。したがって、臨床では、エンジンが主な血管を１次抽出した識別結果をそのまま使用されることができず、人力が投入されて血管造営映像を確認して前記エラーを人力が直接修正して活用して格納する。

一実施形態によれば、プロセッサによって行われる血管映像処理方法は、血管映像から対象血管を抽出するステップと、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定するステップと、前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位を識別し、前記識別されたエラー部位を修正するステップとを含む。

一実施形態に係る血管映像処理方法の前記関心領域を決定するステップは、前記第１入力が検出される地点に基づいて前記関心領域の形態を決定するステップを含むことができる。

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記第２入力が前記関心領域内の複数の地点から検出される場合に応答して、前記第２入力の前記複数の地点に基づいてエラー部位を修正するステップを含むことができる。

一実施形態に係る血管映像処理方法の前記複数の地点に基づいてエラー部位を修正するステップは、前記第２入力に対応する地点が前記対象血管から抽出された領域に沿って移動する間に、前記第２入力が通過した地点で断絶部位が存在するかを検出するステップと、前記断絶部位が検出される場合に応答して、前記第２入力の移動軌跡に沿って断絶した部位を連結するステップとを含むことができる。

一実施形態に係る血管映像処理方法の前記移動軌跡に基づいてエラー部位を修正するステップは、前記第２入力に対応する地点が前記対象血管から抽出された領域内の分枝地点から前記対象血管を離脱した領域に移動する場合に応答して、前記分枝地点と連結された血管分枝のうち、前記第２入力の移動軌跡に対応する領域の外側に位置する血管分枝を誤認部位として決定するステップと、前記対象血管を離脱した前記第２入力によって指示される血管分枝に交替し、前記交替された血管分枝に基づいて残りの抽出結果を修正するステップとを含むことができる。

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記関心領域の決定に応答して、前記対象血管の抽出結果から前記エラー部位を識別して前記識別されたエラー部位を修正するステップと、前記エラー部位の修正結果をユーザに提供するステップとを含むことができる。

一実施形態に係る血管映像処理方法の前記修正結果をユーザに提供するステップは、前記エラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供するステップと、前記ユーザから前記１つ以上の候補分枝のいずれか１つの分枝に対するポインティング入力を受信する場合に応答して、前記エラー部位に対応する分枝を選択された分枝に交替するステップとをさらに含むことができる。

一実施形態に係る血管映像処理方法の前記修正結果をユーザに提供するステップは、前記修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、前記ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結するステップを含むことができる。

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記関心領域が決定される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも１つに基づいて前記エラー部位を識別するステップを含むことができる。

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記エラー部位が識別される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも１つに基づいて前記エラー部位を修正するステップを含むことができる。

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記エラー部位が識別された場合に応答して、前記対象血管に対する複数の新しい抽出結果を生成するステップと、ユーザの選択入力に応答して、前記複数の新しい抽出結果のうち前記選択入力によって指示される１つの抽出結果を選択するステップとを含むことができる。

一実施形態に係る血管映像処理装置は、血管映像を受信する映像受信部と、前記血管映像から対象血管を抽出し、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定し、前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位を識別と前記識別されたエラー部位を修正するプロセッサとを含む。

一実施形態に係る血管映像処理装置によって行われる血管映像を処理する方法は、造影剤が挿入された血管映像から主な血管に対応する対象血管を抽出することができる。一実施形態に係る血管映像処理装置は、ユーザの入力を受信して関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定し、関心領域内でユーザから受信される入力に基づいてエラー部位を識別して修正することができる。

一実施形態に係る血管映像を処理する方法を示すフローチャートである。 一実施形態に係る対象血管及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）が表示された血管映像を示す図である。 一実施形態に係る対象血管及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）が表示された血管映像を示す図である。 一実施形態に係る対象血管及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）が表示された血管映像を示す図である。 一実施形態に係る対象血管の抽出結果でエラー部位が発生した例示を示す。 関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。 関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。 関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。 一実施形態に係るエラー部位を修正する方法を示す。 一実施形態に係るエラー部位を修正する方法を示す。 血管分枝に対応するノードに基づいた血管構造データのトポロジーを用いて対象血管のエラーを識別する方法を示す。 一実施形態に係るエラー部位を修正する方法を示す。 一実施形態に係るエラー部位を修正する方法を示す。 対象血管の曲率情報を用いて対象血管のエラーを識別して修正する方法を示す。 対象血管の直径情報を用いて対象血管のエラーを識別して修正する方法を示す。 対象血管の明るさ情報を用いて対象血管のエラーを識別して修正する方法を示す。 一実施形態に係る血管映像処理装置を概略的に示すブロック図である。

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を様々な構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係る血管映像を処理する方法を示すフローチャートである。

まず、ステップ１１０において、血管映像処理装置は、血管映像（ｂｌｏｏｄ ｖｅｓｓｅｌ ｉｍａｇｅ）から対象血管（ｔａｒｇｅｔ ｖｅｓｓｅｌ）を抽出する。対象血管は、主血管のように示してもよい。一実施形態によれば、血管映像処理装置の映像受信部は、血管映像撮影装置によって撮影された血管映像を受信する。血管映像は、生体（ｌｉｖｉｎｇ ｂｏｄｙ）の血管を撮影した映像であって、血管造影検査（ｃｏｒｏｎａｒｙ ａｎｇｉｏｇｒａｐｈｙ、以下ＣＡＧ）映像及び／又は磁気共鳴映像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、以下、ＭＲＩ）を用いて生成されてもよい。例示的に、血管映像は、造影剤の注入された生体に対してＸ線撮影することによって取得された映像であり得る。

一実施形態によれば、血管映像処理装置は、機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）に基づいて血管映像から対象血管を抽出することができる。機械学習モデルは、血管映像の入力に応答して、血管映像から対象血管を抽出するように設計された機械学習構造を有する１つ以上のモデルとして、例えば、ニューラルネットワークを含んでもよい。血管映像処理装置は、受信された血管映像に対して上述した機械学習モデルによる演算を行うことで、対象血管の抽出結果を算出することができる。例えば、機械学習モデルの出力データは、血管映像の複数のピクセルで各ピクセルが対象血管を指示する可能性（例えば、確率）に対応するスコアを含む。血管映像処理装置は、出力データで閾値以上のスコアを有するピクセルを対象血管として決定することで、対象血管の抽出結果を生成することができる。異なる例として、機械学習モデルの出力データは、血管映像から分割（ｓｅｇｍｅｎｔ）された対象血管領域として、血管映像の複数のピクセルのうち、対象血管として抽出されたピクセルを含むことができる。対象血管の抽出結果は、例えば、血管映像のピクセルのうち対象血管として抽出されたピクセルの集合及び／又は血管映像から分割された対象血管領域に対応する映像（例えば、対象血管映像）であり得る。

参考として、ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ、ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含む。ＤＮＮは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープコンボリューショナルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含む。ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることで、オブジェクト分類、オブジェクト認識、及びレーダーイメージ認識などを行うことができる。ディープラーニングは、ビッグデータセットからオブジェクト認識のような問題を解決するための機械学習方式であって、教師有り学習又は教師なし学習を介して入力データ及び出力データを互いにマッピングすることができる。教師有り学習学習の場合、上述した機械学習モデルは、トレーニング入力（例えば、トレーニングのための血管映像）及び該当トレーニング入力にマッピングされたトレーニング出力（例えば、トレーニングのための血管映像に対して専門家などによって対象血管に分割された真の値（ｇｒｏｕｎｄ ｔｒｕｔｈ）映像）の対を含むトレーニングデータに基づいてトレーニングされ得る。例えば、機械学習モデルは、トレーニング入力からトレーニング出力を出力するようにトレーニングされてもよい。トレーニングのうちの機械学習モデル（以下、「臨時モデル」）は、トレーニング入力に応答して臨時出力を生成することができ、臨時出力及びトレーニング出力（例えば、真の値）間の損失が最小化されるようトレーニングされる。トレーニング過程の間に機械学習モデルのパラメータ（例えば、ニューラルネットワークでノード／レイヤ間の連結加重値）が損失に応じてアップデートされることができる。

但し、機械学習モデルが血管映像から対象血管を直ちに抽出する例示について説明したが、これに限定されることはない。例えば、機械学習モデルは、全体血管抽出モデル及び対象血管抽出モデルを含む。全体血管抽出モデルは、血管映像から全体血管領域を抽出するように設計されたモデルであってもよい。対象血管抽出モデルは、全体血管領域を指示する映像（例えば、全体血管映像）から対象血管領域を抽出するよう設計されたモデルであってもよい。また、全体血管抽出モデルの代わりに、血管映像処理装置は、血管映像でのピクセルの周辺ピクセルとのグレースケールレベル差に基づいて境界を検出することで、全体血管領域を抽出することができる。例示的に、血管映像処理装置は、任意のピクセルと周辺ピクセルのグレースケールレベルの勾配（ｇｒａｄｉｅｎｔ）値が閾値の勾配値よりも大きい場合、該当ピクセルを境界として検出することができる。したがって、血管映像処理装置は、グレースケールレベルが急激に変わる領域を境界として検出することができる。血管映像処理装置は、グレースケールレベルの勾配値に基づいて抽出された全体血管映像から対象血管抽出モデルを用いて対象血管映像を抽出してもよい。

さらに、血管映像処理装置は、血管の形態、種類及び／又は血管領域に応じて複数の機械学習モデルのうち、対象血管抽出に使用する機械学習モデルを選択的に使用してもよい。一実施形態によれば、血管映像処理装置は、血管の種類別（例えば、左主冠状動脈（Ｌｅｆｔ Ｍａｉｎ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＬＭ）、左前下行動脈（Ｌｅｆｔ Ａｎｔｅｒｉｏｒ Ｄｅｓｃｅｎｄｉｎｇ Ａｒｔｅｒｙ、ＬＡＤ）、左回旋動脈（Ｌｅｆｔ Ｃｉｒｃｕｍｆｌｅｘ Ａｒｔｅｒｙ、ＬＣＸ）、右冠状動脈（Ｒｉｇｈｔ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＲＣＡ））及び／又は血管領域別（例えば、近位領域（ｐｒｏｘｉｍａｌ ｒｅｇｉｏｎ）、中間領域（ｍｉｄ ｒｅｇｉｏｎ）、及び遠位領域（ｄｉｓｔａｌ ｒｅｇｉｏｎ））の複数の機械学習モデルを格納することができる。参考として、血管領域は、カテーテル（ｃａｔｈｅｔｅｒ）の挿入される血管地点から離れた距離に応じて、近位領域（ｐｒｏｘｉｍａｌ ｐｏｒｔｉｏｎ）、中間領域（ｍｉｄｄｌｅ ｐｏｒｔｉｏｎ）、及び遠位領域（ｄｉｓｔａｌ ｐｏｒｔｉｏｎ）に分類されるが、これに限定されない。血管領域は、血管映像を取得するために造影剤が血管挿入部に注入される地点から離れた距離、及び造影剤が注入され得る血管末端から離れた距離の比率に応じて分類してもよい。例えば、血管映像処理装置は、抽出しようとする血管の種類を選択し、識別された血管の種類に対応する機械学習モデルをロードすることができる。血管映像処理装置は、ロードされた機械学習モデルを用いて、血管映像から選択された血管の種類に対応する対象血管の抽出結果を生成することができる。例示的に、血管映像処理装置は、複数の心血管の種類（例えば、１個の右冠状動脈、２個の左冠状動脈）に対応する機械学習モデルを格納することができる。複数の心血管の種類に対応する機械学習モデルのそれぞれは、該当心血管の種類に対応するトレーニングデータに基づいてトレーニングされてもよい。心血管の種類ごとに機械学習モデルのトレーニングされたパラメータはそれぞれ異なってもよく、さらに、互いに機械学習構造（例えば、畳み込みニューラルネットワーク、Ｕ－ｎｅｔ構造など）が異なってもよい。説明の便宜のために、血管の種類ごとにパラメータ及び／又は機械学習構造が区別される機械学習モデルについて説明したが、これに限定されることはない。血管映像処理装置は、血管の形態、種類、及び／又は血管領域ごとに互いに区別される複数の機械学習モデルを格納し、必要な血管モデルを選択的にロードして対象血管抽出に使用してもよい。

そして、ステップ１２０において、血管映像処理装置は、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定する。関心領域は、血管映像分析のためにユーザが血管映像内から選択した一部領域を示す。血管映像処理装置は、関心領域を決定することによって、血管映像に関する処理を関心領域に集中し得る。関心領域に対する詳しい説明は、図２を参照して後述する。

ステップ１３０において、血管映像処理装置は、前記決定された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果のエラー部位（ｅｒｒｏｒ ｐｏｒｔｉｏｎ）を識別し、前記識別されたエラー部位を修正する。エラー部位は、断絶部位（ｄｉｓｃｏｎｔｉｎｕｉｔｙ ｐｏｒｔｉｏｎ）及び／又は誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）を含む。断絶部位は、対象血管として抽出された対象血管領域及び／又は対象血管を指示するピクセルのうち、少なくとも１つの領域及び／又は少なくとも１つのピクセルが他の領域及び／又は他のピクセルから分離されたり離隔された部位を示す。誤認部位は、血管映像で実際に抽出しなければならない対象血管ではない他の血管に対応する領域及び／又はピクセルが対象血管であると間違って抽出された部位を示す。

例えば、血管映像処理装置は、第２入力が検出される地点が関心領域内で移動する場合に応答して、第２入力の移動軌跡（ｍｏｖｅｍｅｎｔ ｔｒａｊｅｃｔｏｒｙ）に基づいてエラー部位を識別して修正することができる。他の例として、第２入力は、第２入力はポインティング入力を示す。血管映像処理装置は、ポインティング入力に対応する開始地点と終了地点との間の領域に基づいてエラー部位を識別して修正してもよい。他の例として、血管映像処理装置は、第２入力が検出される地点が関心領域内の一地点で閾値時間以上に保持される場合に応答して、第２入力が保持された地点をエラー部位として識別して修正することができる。第２入力に基づいた修正は、下記の図４～図６を参照して説明する。

図２Ａ～図２Ｃは、一実施形態に係る対象血管及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）が表示された血管映像を示す図である。

血管映像処理装置は、血管映像２０１，２０２，２０３を撮影する。血管映像処理装置は、血管映像撮影装置から血管映像２０１，２０２，２０３を受信する。血管映像処理装置は、受信された血管映像２０１，２０２，２０３から対象血管２１１，２１２，２１３を抽出する。血管映像処理装置は、機械学習モデルに基づいて対象血管２１１，２１２，２１３を抽出する。血管映像処理装置は、ユーザから受信される第１入力２３１に基づいて対象血管の抽出結果に対する関心領域２２１を決定することができる。血管映像処理装置は、第１入力が検出される地点に基づいて関心領域の形態を決定することができる。血管映像処理装置は、ユーザから受信される第１入力２３１の開始地点２３２及び第１入力２３１の終了地点２３３を検出する。第１入力２３１は、開始地点２３２で検出された後終了地点２３３まで保持され、終了地点２３３において解除され得る。

図２Ａを参照すると、血管映像処理装置は、ユーザから開始地点２３１から終了地点２３３までのドラッグ（ｄｒａｇ）入力を第１入力２３１として受信することができる。ドラッグ入力は、ディスプレイ上の任意の地点（例えば、開始地点２３２）でクリック（ｃｌｉｃｋ）又はタッチ（ｔｏｕｃｈ）が発生し、クリック又はタッチが保持された状態に移動し、他の地点（例えば、終了地点２３３）でクリック又はタッチがリリースされる入力を示す。また、血管映像処理装置は、検出された開始地点２３２及び終了地点２３３の間で予め定義された形態に関心領域２２１を決定することができる。例えば、関心領域２２１は、関心領域２２１の境界上に開始地点２３２及び終了地点２３３が配置されるよう決定されてもよい。図２Ａに示すように、関心領域２２１の予め定義された形態は長方形に示しているが、これに限定されることなく、多角形又は円形であってもよい。血管映像処理装置は、第１入力２３１の検出が始まった地点から第１入力２３１が現在に検出される地点の間の領域である臨時関心領域２２０をディスプレイを介して出力してユーザに提供する。血管映像処理装置は、臨時関心領域２２０をユーザに提供することで関心領域２２１を決定する前に、ユーザにフィードバック（ｆｅｅｄｂａｃｋ）を提供することができる。血管映像処理装置は、第１入力２３１の検出が終了すると、第１入力２３１が検出された開始地点２３２及び第１入力２３１の終了地点２３３の間で予め定義された形態に関心領域２２１として決定し、ディスプレイを介してユーザに出力し提供することができる。

図２Ｂを参照すると、血管映像処理装置は、ユーザから複数の入力を含む第１入力を受信することができる。第１入力が含む複数の入力は、ディスプレイ上の任意の地点に対するクリック又はタッチを示する。血管映像処理装置はユーザから受信される第１入力により、複数の入力に対応するディスプレイ上の地点２４１，２４２，２４３をユーザの入力により連続的に直線に連結して形成される多角形内部の領域を関心領域２２２として決定する。血管映像処理装置は、第１入力の検出が始まった地点から第１入力が現在検出される地点の間で形成される多角形の一部の形態をユーザに提供することができる。

図２Ｃを参照すると、血管映像処理装置は、ユーザから開始地点２５１から開始地点と同じ地点である終了地点２５１までのドラッグ入力を第１入力として受信することができる。血管映像処理装置は、ユーザの開始地点と終了地点が同じドラッグ入力に対応する自由曲線（ｆｒｅｅ ｃｕｒｖｅ）内部の領域を関心領域２２３として決定する。血管映像処理装置は、第１入力の検出が始まった地点から第１入力が現在の検出される地点の間で形成される自由曲線からなる自由図形の一部形態をユーザに提供することができる。

一実施形態に係る血管映像処理装置は、ユーザから受信される第１入力に基づいて決定された関心領域内に対象血管から抽出された血管分枝が存在する場合、関心領域内に含まれている１つの分枝地点を基準にして、互いに隣接する上位分枝及び下位分枝のうち上位分枝を正解領域分枝に固定することができる。正解領域分枝とは、血管映像処理装置によって抽出された対象血管のうち、エラー部位として識別されていないか、ユーザが修正を所望しない血管分枝である。血管映像処理装置は、正解領域分枝に固定された上位分枝を基準にして、下位分枝についてのみエラー部位を識別し修正することができる。

他の一実施形態に係る血管映像処理装置は、ユーザから受信される第１入力に基づいて決定された関心領域を予め決定された条件に相応して修正してもよい。例えば、予め決定された条件は、関心領域が関心領域境界の一部で血管映像処理装置によって抽出された対象血管のうちエラー部位に該当しないか、ユーザが修正を所望しない少なくとも１つの正解領域分枝と交差することを示す。例示的に、血管映像処理装置は、ユーザから受信される第１入力に基づいて決定された関心領域の境界の一部で血管映像処理装置によって抽出された対象血管のうちエラー部位に該当していないか、ユーザが修正を所望しない少なくとも１つの正解領域分枝と交差するよう、関心領域を拡張したり移動させる修正を行うことが可能である。血管映像処理装置は、関心領域内部の血管分枝のうち、正解領域分枝と関心領域が関心領域の上部境界で交差するように関心領域を修正してもよい。しかし、これに限定されることなく、関心領域境界の任意の位置で対象血管と交差するように関心領域を修正してもよい。また、血管映像処理装置は、ユーザから受信される第１入力に基づいて決定された関心領域内部に抽出された対象血管が全く含まれていない場合、ユーザから第１入力を再び受信されてもよい。

血管映像処理装置は、分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）を基準としてエラー部位を識別して修正することができる。分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）は、２以上の血管分枝が合わさる地点及び／又は複数の血管分枝に分かれる地点を示す。血管映像２００にキャプチャーされた血管領域は、複数の分枝地点を有してもよい。

一実施形態に係る血管映像処理装置は、最終的に図２に示したような対象血管２１０を決定するために、対象血管２１０の抽出、関心領域２２０の決定、決定された関心領域２２０内で抽出結果のエラー部位の識別及び修正を行うことができる。

図３は、一実施形態に係る対象血管の抽出結果でエラー部位が発生した例示を示す。

一実施形態に係る血管映像処理装置は、血管映像から分枝地点及び分枝を識別することができる。例えば、血管映像処理装置は、全体血管領域を抽出し、抽出された全体血管領域から分枝地点及び分枝を識別することができる。血管映像処理装置は、分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）を基準にして血管分枝を識別することができる。血管映像から全体血管領域を抽出することができる。一実施形態に係る血管映像処理装置は、全体血管抽出モデルに基づいて血管映像から全体血管領域を抽出することができる。全体血管抽出モデルは、上述したように、血管映像から血管領域及び残りの非血管領域が区分された結果を指示する出力データを生成するようにトレーニングされたモデルであり得る。

図３は、抽出された全体血管領域のうち、図２に図示された血管映像２００の関心領域２２０に対応する部分３００を示す。血管映像処理装置は、関心領域２２０内で分枝地点を基準に血管分枝を識別することができる。参考として、本明細書において、上位血管分枝は、血流の進行方向又は造影剤の進行方向によって分枝地点以前の分枝を示し、下位血管分枝は、分枝地点以後の分枝を示す。例えば、血管映像処理装置によって識別された結果として、第１分枝ないし第７分枝３０１～３０７及び分枝地点３１１、３１２が図示されている。第１分枝地点３１１を基準にして、第１分枝３００は上位血管分枝であり、第２分枝３０２及び第３分枝３０３は下位血管分枝である。また、上位血管分枝及び下位血管分枝の関係は相対的なものであって、分枝地点ごとに変わり得る。例えば、第２分枝３０２は、第４分枝３０４及び第５分枝３０５については上位血管分枝である。血管映像処理装置は、血管分枝それぞれに対応するノードを生成してインデックスすることで、血管構造データを生成することができる。血管構造データは、下記の図９を参照して後述する。。

図３に示された例示で、血管映像処理装置は対象血管に属する血管分枝として、第１分枝３０１、第３分枝３０３、及び第５分枝３０５を抽出することができる。但し、図２に示された対象血管２２０に対応する血管経路３２０は、第１分枝３０１、第２分枝３０２、及び第５分枝３０５を通過する。したがって、例示的な対象血管の抽出結果において、第１分枝３０１から第３分枝３０３に向かう第１分枝地点３１１はエラー部位である。以下では、エラー部位の検出及び修正をについて説明する。

図４～図６は、関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。

図４は、一実施形態に係る血管映像処理装置がユーザから受信される第２入力に基づいて、抽出結果の断絶部位を識別して修正する方法を説明する。血管映像処理装置は、第２入力が関心領域内の複数の地点から検出される場合に応答して、第２入力の複数の地点に基づいてエラー部位を修正することができる。

一実施形態に係る血管映像処理装置がユーザから受信する第２入力は、ドラッグ（ｄｒａｇ）入力を示してもよい。血管映像処理装置は、第２入力が検出される地点が関心領域内で移動する場合に応答して、第２入力４９１の移動軌跡（ｍｏｖｅｍｅｎｔ ｔｒａｊｅｃｔｏｒｙ）に基づいてエラー部位を識別し修正することができる。血管映像処理装置は、第２入力４９１に対応する地点が対象血管から抽出された領域に沿って移動する間に、第２入力４９１が通過した地点で断絶部位が存在するかを検出する。例示的に、血管映像処理装置が血管分枝４０１，４０５を対象血管に１次抽出し、ユーザの第２入力４９１に対応する地点が対象血管から抽出された領域４２０に沿って移動する場合、血管映像処理装置は、第２入力４９１が通過した地点で断絶部位が存在するかを検出する。参考として、血管映像処理装置は、第２入力４９１に対応する地点が対象血管から抽出された領域をしばらく離脱しても第２入力４９１に対応する地点が対象血管から抽出された領域に沿って移動するものと判定することができる。例えば、血管映像処理装置は、第２入力４９１が対象血管から抽出された領域４２０内の分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）でない地点から上述した領域４２０を離脱した地点に移動し、閾時間が経過する前に再び領域４２０に復元する場合、第２入力４９１が領域４２０内で保持されたものと判定する。但し、血管映像処理装置は、第２入力４９１が対象血管から抽出された領域４２０内の分枝地点から領域４２０を離脱した他の分枝に移動する場合に応答して、第２入力４９１が領域４２０を離脱したものと判定することができる。

例えば、血管映像処理装置は、ユーザから関心領域内から抽出された対象血管の領域に含まれる２つの地点に対応するグラフィック地点の間のドラッグ入力に対応する第２入力４９１を受信することができる。前記ドラッグ入力は、ユーザが対象血管の領域に含まれている２つの地点のうちの１つに対応するグラフィック地点をクリック又はタッチし、クリック又はタッチされた状態に移動し、残りの１つの地点に対応するグラフィック地点でクリック又はタッチをリリースする入力を示す。血管映像処理装置は、ユーザから受信される第２入力４９１に応答して、第２入力４９１の開始地点に対応する血管分枝と第２入力４９１の終了地点に対応する血管分枝との間の地点ごとに断絶部位が存在するかを検出する。したがって、血管映像処理装置は、第２入力４９１が対象血管から抽出された領域に沿って移動する間に持続的に断絶部位の検出を試みることができる。例示的に、血管映像処理装置は、ユーザから受信した第２入力４９１に対応する開始地点及び終了地点がそれぞれ血管分枝４０１，４０５に対応する領域に含まれ、第２入力４９１に対応する地点が対象血管から抽出された領域４２０に沿って移動する場合、血管映像処理装置は、血管分枝４０１，４０５の間で断絶部位が存在するかを検出する。血管映像処理装置は、血管分枝４０１，４０５を抽出された対象血管の血管分枝４０１，４０５に対応する領域が互いに分離又は離隔される場合、断絶部位として判断することができる。例えば、血管映像処理装置は、第２入力４９１が血管分枝４０１，４０５の間の地点を通過する間に、該当地点が対象血管から抽出された領域４２０に属するかを判断する。血管映像処理装置は、該当地点が領域４２０に属しない場合に応答して、該当地点を断絶部位として決定する。一実施形態に係る血管映像処理装置は、断絶部位が検出される場合に応答して、第２入力４９１の移動軌跡に沿って断絶した部位を連結することができる。例えば、血管映像処理装置は、断絶部位として判断された血管分枝の外郭及び／又は境界に対して連結してもよい。例示的に、ユーザの第２入力４９１に対応する地点が対象血管から抽出された領域４２０に沿って移動する場合、血管映像処理装置は、断絶部位として判断された血管分枝４０１，４０５に対応する領域をユーザから受信された第２入力４９１の移動軌跡に沿って連結してもよい。血管映像処理装置は、第２入力４９０に対応する地点が断絶した血管分枝４０１，４０５の間の領域４０２に沿って移動する場合、血管映像処理装置は、断絶された血管分枝４０１，４０５の間の領域４０２を対象血管として抽出できる。即ち、血管映像処理装置は、対象血管の抽出結果に領域４０２を追加させ得る。

一実施形態に係る血管映像処理装置がユーザから受信する第２入力は、ポインティング（ｐｏｉｎｔｉｎｇ）入力を示すことができる。ポインティング入力は、ディスプレイ上の一地点を指示する入力として、例えば、マウス操作によるクリック入力及び／又はタッチディスプレイに対するタッチ操作による入力（例えば、タッチ入力）を含んでもよい。但し、ポインティング入力がこれに限定されることなく、設計に応じて、様々なポインティングデバイス（例えば、トラックボールマウス、タッチパッド、及びトラックパッドなど）による位置指示入力を含んでもよい。血管映像処理装置は、ユーザから開始地点及び終了地点に対するポインティング入力を第２入力として受信することができる。しかし、これに限定されることなく、血管映像処理装置は、ユーザから２地点以上に対するクリック又はタッチのポインティング入力を受信してもよい。血管映像処理装置は、ポインティング入力により、ポインティング入力の開始及び終了地点の間の領域に基づいてエラー部位を識別し修正することができる。例示的に、血管映像処理装置が血管分枝４０１，４０５を対象血管に１次抽出し、ユーザの第２入力に対応する地点４９２，４９３の間の血管領域に対して断絶部位が存在するかを検出することができる。

例えば、血管映像処理装置は、ユーザから関心領域内で抽出された対象血管の領域に含まれている２つの地点４９２，４９３に対するクリック又はタッチ入力を含むポインティング入力に対応する第２入力を受信することができる。血管映像処理装置は、ユーザから受信される第２入力に応答して、第２入力の開始地点４９２に対応する血管分枝と第２入力の終了地点に対応する血管分枝との間の地点ごとに断絶部位が存在するかを検出し、第２入力でドラッグ入力を受信した場合と同様に断絶部位を修正することができる。

図５は、一実施形態に係る血管映像処理装置がユーザから受信される入力の移動軌跡に基づいて抽出結果の誤認部位を識別し修正する方法について説明する。血管映像処理装置は、第２入力５９０に対応する地点が対象血管から抽出された領域内の分枝地点から対象血管を離脱した領域に移動する場合に応答して、分枝地点と連結された対象血管から抽出された血管分枝のうち、第２入力の移動軌跡に対応する領域の外側に位置する血管分枝を誤認部位として決定することができる。血管映像処理装置は、分枝地点に関する部位を誤認部位として判断した場合、第１入力に基づいた関心領域は、分枝地点を基準に全ての下位分枝が関心領域内に含まれるように拡張されることができる。例示的に、血管映像処理装置が血管分枝５０１，５０２，５０５を対象血管に１次抽出し、ユーザの第２入力５９０に対応する地点が対象血管から抽出された領域５２０内の分枝地点５１３から対象血管を離脱した領域５３０に移動する場合、分枝地点５１３に関する部位を誤認部位として判断することができる。例えば、血管映像処理装置は、分枝地点５１３を基準として対象血管に１次抽出された下位血管分枝５０５と異なる下位血管分枝５０４に対応する領域に第２入力５９０が移動する場合、ユーザから受信した第２入力５９０に対応する地点が、対象血管を離脱した領域に移動したものと判断することができる。血管映像処理装置は、分枝地点５１３に隣接する対象血管から抽出された血管分枝のうち少なくとも１つの分枝５０５を対象血管に対する抽出結果から誤認部位として判断することができる。

血管映像処理装置は、誤認部位として識別された血管分枝のうち少なくとも１つを対象血管を離脱した第２入力５９０によって指示される血管分枝に交替し、交替された血管分枝に基づいて残りの抽出結果を修正することができる。例えば、血管映像処理装置は、第２入力５９０に対応する地点が抽出された対象血管に対応する領域を離脱して移動する場合、分枝地点５１３を基準にして対象血管に１次抽出された下位血管分枝５０５を血管分枝５０４に交替することができる。血管映像処理装置は、交替された血管分枝５０４に基づいて対象血管の抽出結果を修正し得る。例えば、血管映像処理装置は、対象血管の抽出結果から１次抽出された下位血管分枝５０５に後続する血管分枝を排除し、交替された血管分枝５０４に後続する血管分枝を対象血管の抽出結果に追加し得る。

図６は、一実施形態に係る血管映像処理装置がユーザから受信される第２入力６９０に基づいて修正候補をユーザに提供し、ユーザの選択入力によりエラー部位を識別して修正する方法を示す。血管映像処理装置は、対象血管の抽出結果に対応する領域内の地点で、第２入力６９０が第１閾時間以上検出される場合、該当の地点をエラー部位として決定することができる。血管映像処理装置は、エラー部位として決定された地点に対応する修正候補をユーザに提供する。修正候補は、第２入力６９０が保持された地点がエラー部位として判断される場合、断絶部位を補充可能な形態を有する候補血管分枝の集合又は誤認部位を交替可能な形態及び構造を有する候補血管分枝の集合を示すことができる。例えば、血管映像処理装置は、下記の図７～図１４を参照して後述するような血管構造データ、血管の曲率情報、血管の直径情報、及び明るさ情報などに基づいて修正候補を決定することができる。例えば、第１修正候補６６１は血管構造データに基づいて決定された候補分枝、第２修正候補６６２は曲率情報に基づいて決定された候補分枝、第３修正候補６６３は直径情報に基づいて決定された候補分枝、及び第４修正候補６６４は明るさ情報に基づいて決定された候補分枝であってもよい。但し、これは単なる例示に過ぎず、候補分枝の決定は設計に応じて変わり得る。さらに、前述の第２入力６９０が保持された地点をエラー部位として判断する例示について説明したが、血管映像処理装置は、第２入力６９０が保持された地点に対して下記の図７～図１４を参照して後述するような血管構造データ、血管の曲率情報、血管の直径情報、及び明るさ情報などに基づいてエラー部位を決定してもよい。

血管映像処理装置は、ユーザから受信される修正候補を選択する第３入力に基づいて、修正候補のうちの１つを選択する。血管映像処理装置は、選択された修正候補に含まれた血管分枝を対象血管の抽出結果に追加してもよい。

例示的に、血管映像処理装置が血管分枝６０１，６０２，６０５を対象血管に１次抽出してもよい。血管映像処理装置がユーザから受信される第２入力６９０が検出される地点が分枝地点６１１に対応する領域に含まれている場合、血管映像処理装置は、分枝地点６１１に対応する修正候補６６１，６６２，６６３，６６４のうちの１つに対する選択をユーザに提供可能なグラフィックオブジェクト６６０が出力され得る。血管映像処理装置は、ユーザから修正候補６６１，６６２，６６３，６６４のうちの１つを選択する第３入力を受信し、選択された修正候補から構成された血管分枝（例えば、血管分枝６０２，６０４）を対象血管に抽出することができる。

一実施形態に係る血管映像処理装置は、第２入力６９０に対応する地点が抽出された対象血管の境界線（例えば、血管エッジ）に対応する地点であり、該当地点で第２入力６９０が検出される時間が第２閾値以上である場合、該当の境界線に対応する修正候補をユーザに提供することができる。例えば、血管映像処理装置は、ユーザから受信される第２入力６９０に対応する対象血管の境界線に対して、境界線をスムーズに平坦化（ｓｍｏｏｔｈｉｎｇ）させる修正候補、背景とのコントラスト（ｃｏｎｔｒａｓｔ）を強調させる修正候補、又は、既存の境界線とは異なる境界線を選択するようにする修正候補のオプションをユーザに提供することができる。

血管映像処理装置は、関心領域の決定に応答して、対象血管の抽出結果からエラー部位を識別し、識別されたエラー部位を修正することができる。血管映像処理装置は、エラー部位の修正結果をユーザに提供することができる。血管映像処理装置は、エラー部位の修正結果をユーザに提供し、ユーザから修正結果に対応する入力を受信してエラー部位を修正し、エラー部位が修正された関心領域内でユーザから受信される第２入力６９０に基づいてエラー部位を識別して修正することができる。言い換えれば、血管映像処理装置は、関心領域内でユーザから第２入力６９０を受信してエラー部位が識別されて修正される前に、プロセッサによって自動にエラー部位を識別して修正し、ユーザに修正結果を提供する前処理過程を行うことができる。

参考として、図４～図６において、説明の便宜のために第２入力４９０，５９０，６９０がタッチ入力であると示されているが、これに限定されることなく、クリック入力などのようにディスプレイ上の地点をポインティングする別の形態の入力を含んでもよい。

図７～図８は、一実施形態に係るエラー部位を修正する方法を示す。

図７は、対象血管の抽出結果からエラー部位が識別され、識別されたエラー部位が誤認部位である場合、誤認部位の修正結果をユーザに提供する方法について説明する。一実施形態によれば、血管映像処理装置は、対象血管でエラー部位が識別される場合、ユーザの入力（例えば、タッチ（ｔｏｕｃｈ）入力）に基づいて識別されたエラー部位を修正することができる。血管映像処理装置は、エラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供する。血管映像処理装置は、ユーザから１つ以上の候補分枝のいずれか１つの分枝に対するポインティング入力を受信する場合に応答して、エラー部位に対応する分枝を選択された分枝に交替する。例示的に、血管映像処理装置が血管分枝７０１，７０２を対象血管として１次抽出した場合、対象血管に関する血管構造データ、対象血管の曲率情報、対象血管の直径情報、及び対象血管の明るさ情報のうち少なくとも１つに基づいて血管分枝７０１，７０２のうち少なくとも１つの分枝を対象血管に対する抽出結果でエラー部位として判断することができる。血管映像処理装置は、識別されたエラー部位が誤認部位である場合、対象血管から抽出されていない１つ以上の候補血管分枝７１１，７１２，７１３をユーザに提供することができる。血管映像処理装置の入出力インターフェースは、ディスプレイを介して候補血管分枝７１１，７１２，７１３に対する選択をユーザに提供可能なグラフィックオブジェクト７７１，７７２，７７３を出力する。グラフィックオブジェクトは、候補血管分枝に対応する領域を取囲む形態であってもよい。図７では、グラフィックオブジェクト７７１，７７２，７７３は長方形状に示されているが、形態がこれに限定されることはない。ユーザは、単にディスプレイに出力される候補血管分枝に対応するグラフィックオブジェクトのうちの１つに対応する地点に対してクリック（ｃｌｉｃｋ）するかタッチ（ｔｏｕｃｈ）するポインティング入力によって候補血管分枝を選択することができる。即ち、血管映像処理装置は、グラフィックオブジェクトに対応する地点に対するユーザ入力を検出する場合、グラフィックオブジェクトに対応する候補血管分枝が選択されたと判断し、エラー部位に対応する血管分枝を選択された候補血管分枝に交替することができる。例示的に、血管映像処理装置がユーザからグラフィックオブジェクト７７１に対応する地点に対するユーザの入力を検出する場合、グラフィックオブジェクト７７１に対応する候補血管分枝７１１を対象血管として抽出することができる。即ち、血管映像処理装置は、対象血管の抽出結果から血管分枝７０２を血管分枝７１１に交替することができる。

図８は、対象血管の抽出結果からエラー部位が識別され、識別されたエラー部位が断絶部位である場合、断絶部位の修正結果をユーザに提供する方法を説明する。一実施形態によれば、血管映像処理装置は、対象血管で識別されたエラー部位が断絶部位である場合に応答して、断絶部位を含む血管領域をユーザに提供することができる。血管映像処理装置は、修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結することができる。

一実施形態に係る血管映像処理装置は、修正結果に対してユーザから受信されるドラッグ入力８９１に応答して、ドラッグ入力８９１の開始地点に対応する血管分枝に対応する領域及びドラッグ入力８９１の終了地点に対応する血管分枝に対応する領域を連結する。例示的に、血管映像処理装置が血管分枝８０１，８０２を対象血管に１次抽出した場合、血管映像処理装置は、抽出された対象血管の血管分枝８０１，８０２に対応する領域が互いに分離される断絶部位として判断する。血管映像処理装置の入出力インターフェースは、ディスプレイを介して血管分枝８０１，８０２に対応する領域の間の連結に関するグラフィックオブジェクト８７０を出力することができる。グラフィックオブジェクト８７０は、断絶部位に対応する血管分枝８０１，８０２の少なくとも一部に対応する領域を取囲む形態として、血管分枝８０１，８０２がユーザによって連結可能になることを示す。血管映像処理装置は、ユーザから受信されるドラッグ入力８９１に応答して、ドラッグ入力８９１により選択された血管分枝８０１，８０２に対応する領域を連結し、断絶した血管分枝８０１，８０２の間の血管分枝８０３を対象血管として抽出する。ドラッグ入力８９１によって選択された分枝は、ドラッグ開始地点に対応する血管分枝及びドラッグ終了地点に対応する血管分枝を示す。即ち、血管映像処理装置は、対象血管の抽出結果において血管分枝８０３を含ませることができる。

他の一実施形態に係る血管映像処理装置は、修正結果に対してユーザから受信される２以上の地点に対応するポインティング（ｐｏｉｎｔｉｎｇ）入力に応答して、ポインティング入力に対応する開始地点８９２と終了地点８９３に対応する血管分枝に対応する領域を連結することができる。即ち、血管映像処理装置は、ユーザから開始地点及び終了地点に対するクリック又はタッチ入力を受信することができる。血管映像処理装置は、ユーザから受信されるポインティング入力に応答して、ポインティング入力の開始地点８９２に対応する血管分枝８０１に対応する領域とポインティング入力の終了地点８９３に対応する血管分枝８０２に対応する領域を連結することができる。

図９は、血管分枝に対応するノードに基づいた血管構造データのトポロジーを用いて対象血管のエラーを識別する方法を示す。

一実施形態によれば、血管映像処理装置は、対象血管に関する血管構造データ９００に基づいてエラー部位（ｅｒｒｏｒ ｐｏｒｔｉｏｎ）を識別することができる。血管構造データ９００は、血管の構造を指示するトポロジーデータとして、例えば、血管分枝に対応するノードがインデクシングされたトリ構造データであってもよい。例えば、血管映像処理装置は、全体血管領域に対して血管分枝地点を基準にして血管分枝を識別し、識別された血管分枝のそれぞれに対応するノードを生成し、生成されたノードのインデクシングに基づいて血管構造データ９００を生成することができる。

血管映像処理装置は、上位血管分枝から分枝地点を基準にして複数の下位血管分枝に分岐される場合、上位血管分枝に対応するノードと下位血管分枝に対応するノードを連結することができる。血管映像処理装置は、血管映像から識別される分枝地点及び血管分枝に対して上述したノード連結を繰り返すことで、全体血管に対する血管構造データ９００を生成することができる。例えば、図９に示された血管構造データ９００において、第１ノード～第７ノードＮ１～Ｎ７は、順次にそれぞれ図３に示された第１分枝～第７分枝３０１～３０７に対応する。第１ノードＮ１は最上位ノードであり、第２ノードＮ２及び第３ノードＮ３は第１ノードＮ１の下位ノードである。残りのノードも類似の上下関係を有する。

一実施形態に係る血管映像処理装置は、血管映像から対象血管として抽出された血管分枝に対応するノード間のノード連結データ９１０を算出することができる。例えば、血管映像処理装置は、図３に示された対象血管の抽出結果から第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が連結されたノード連結データ９１０を算出することができる。

血管映像処理装置は、ノード連結データ９１０を血管構造データ９００と比較することで対象血管のエラー部位を識別することができる。血管映像処理装置は、生成された血管構造データ９００に基づいて対象血管のノード間の連結エラーを検出する。血管映像処理装置は、連結エラーが検出されたノードに対応する血管分枝及び／又は分枝地点をエラー部位として判断する。血管映像処理装置は、ノード連結データ９１０で血管構造データ９００にマッチングしないノードに基づいてエラー部位を判断することができる。例示的に、図９で抽出されたノード連結データ９１０は、第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が順に連結されたものを指示する。血管構造データ９００において、第３ノードＮ３は第５ノードＮ５と連結されない。言い換えれば、血管映像処理装置は、ノード連結データ９１０において、第３ノードＮ３と第５ノードＮ５との間の連結が血管構造データ９００にマッチングしないものと決定することができる。第３ノードＮ３と第５ノードＮ５との間の連結は、連結エラーである。血管映像処理装置は、連結エラーに対応するノードのうち少なくともいずれかのノードに対応する血管分枝をエラー部位として判断することができる。例えば、図９における血管映像処理装置は、第３ノードＮ３及び第５ノードＮ５のうち少なくとも１つに対応する血管分枝をエラー部位として判断することができる。上述した例示は、第３ノードＮ３又は第５ノードＮ５に対応する血管分枝が対象血管に属するものと間違って抽出されたため、誤認部位である。

異なる例として、血管映像処理装置は、血管構造データ９００に基づいてノード連結データ９２０から脱落したノードに対応する血管分枝を断絶部位として検出してもよい。血管映像処理装置は、第１ノードＮ１～第５ノードＮ５に直接連結されているノード連結データ９２０を算出することができる。血管映像処理装置は、血管構造データ９００に基づいてノード連結データ９２０で第２ノードＮ２が脱落（ｍｉｓｓｉｎｇ）されたことを検出できる。この場合、血管映像処理装置は、第２ノードＮ２に対応する血管分枝を断絶部位として検出することができる。

図１０及び図１１は、一実施形態に係るエラー部位を修正する方法を示す。

図１０は、図９においてノード連結データ９１０が算出された場合の修正を説明する。一実施形態によれば、血管映像処理装置は、誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）が識別される場合に応答して、誤認部位に対応するノードを血管構造データにマッチングするノードに交替できる。例示的に、血管映像処理装置は、ノード連結データ９１０で第５ノードＮ５が血管構造データにマッチングしないものと判断することができる。血管映像処理装置は、血管構造データにマッチングしない第５ノードＮ５をノード連結データから排除し、血管構造データにマッチングする第６ノードＮ６をノード連結データに追加することで、修正されたノード連結データ１０１０を生成することができる。したがって、血管映像処理装置は、交替された第６ノードＮ６に対応する血管分枝（例えば、図３で第６分枝３０６）を対象血管として抽出することができる。

図１１は、図９においてノード連結データ９２０が算出された場合の修正を説明する。一実施形態によれば、血管映像処理装置は、断絶部位が識別される場合に応答して、断絶部位に対応するノードの間に連結可能なノードを挿入することができる。例示的に、血管映像処理装置は、ノード連結データ９２０で第１ノードＮ１と第５ノードＮ５との間が脱落したものと判断する。血管映像処理装置は、ノードＮ１、Ｎ５の間に第２ノードＮ２を挿入することで、修正されたノード連結データ１１１０を生成することができる。血管映像処理装置は、第２ノードＮ２に対応する血管分枝（例えば、図３で第２分枝３０２）を対象血管として抽出することができる。

上述したように、ノード交替及びノードさらによる誤認部位修正を介して、血管映像処理装置は、血管構造データのトポロジーに基づいたノード連結性エラーを除去することができる。

図１２は、対象血管の曲率情報を用いて対象血管のエラーを識別して修正する方法を示す。

一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の曲率を用いて誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対象血管で互いに隣接する分枝間の曲率が閾値曲率を超過する場合に応答して、互いに隣接する分枝を誤認部位として判断する。例示的に、血管映像処理装置は、血管分枝１２０１，１２０２を対象血管として１次抽出した場合、血管分枝１２０１，１２０２間の曲率を算出する。血管映像処理装置は、算出された曲率が閾値曲率を超過する場合に応答して、上述した血管分枝１２０１，１２０２のうち少なくとも１つの分枝を対象血管に対する抽出結果で誤認部位として判断することができる。血管映像において、実際に抽出しなければならない対象血管に属する隣接している血管分枝は比較的に小さな曲率を示し、閾値曲率を超過する曲率を示す隣接する血管分枝はエラー部位である可能性がある。

血管映像処理装置は、対象血管で閾値曲率を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は識別されたエラー部位に対して、互いに隣接する分枝のいずれか１つの分枝を残りの分枝との曲率が閾値曲率以下である候補分枝に交替することができる。候補分枝は、任意の分枝地点を基準として１つの血管分枝に連結された複数の血管分枝のうち、対象血管から抽出されていない残り１つ以上の分枝を示す。

例示的に、血管映像処理装置は、対象血管から抽出されていない血管分枝１２０３と上位血管分枝１２０１との間の曲率が閾値曲率以下である場合、血管分枝１２０２の代わりに、血管分枝１２０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果から血管分枝１２０２を血管分枝１２０３に交替することができる。さらに、血管映像処理装置は、識別されたエラー部位を修正することにおいて、血管の種類（例えば、左主冠状動脈（Ｌｅｆｔ Ｍａｉｎ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＬＭ）、左前下行動脈（Ｌｅｆｔ Ａｎｔｅｒｉｏｒ Ｄｅｓｃｅｎｄｉｎｇ Ａｒｔｅｒｙ、ＬＡＤ）、左回旋動脈（Ｌｅｆｔ Ｃｉｒｃｕｍｆｌｅｘ Ａｒｔｅｒｙ、ＬＣＸ）、右冠状動脈（Ｒｉｇｈｔ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＲＣＡ））又は、血管領域（例えば、近位領域、中間領域、及び遠位領域）に応じて互いに異なる閾値曲率を適用できる。

血管映像処理装置は、曲率差を分析するために血管分枝の主方向成分分析（例えば、主成分分析（ＰＣＡ、ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）を行ってもよい。血管映像処理装置は、分枝地点を基準にして区分された血管分枝それぞれに対して、主方向成分を分析することができる。血管分枝の主方向成分は、該当血管分枝の方向を代表する成分を示す。例えば、血管映像処理装置は、各血管分枝に対する主方向成分分析を用いて、各血管分枝ごとに主方向ベクトルを取得することができる。主方向ベクトルは、分枝地点から血管分枝が延長する方向を代表する方向成分を有するベクトルであって、単位ベクトルの大きさを有する。例えば、任意の血管分枝に対する主方向ベクトルは、分枝地点から該当の血管分枝に対応する地点に向かうベクトル成分の主成分の方向を示す。例示的に、血管分枝１２０１，１２０２，１２０３の主方向ベクトルは、それぞれベクトル１２２１，１２２２，１２２３に対応する。血管映像処理装置は、対象血管で互いに隣接する血管分枝の主方向ベクトルの内積値が閾値を超過する場合に応答して、互いに隣接する分枝を誤認部位として判断することができる。

例示的に、血管映像処理装置は、対象血管で互いに隣接する血管分枝１２０１，１２０２の主方向ベクトル１２２１，１２２２の内積値が閾値を超過する場合、互いに隣接する血管分枝１２０１，１２０２を誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）として判断することができる。各血管分枝の主方向ベクトルは、単位ベクトルの大きさを有するため、主方向ベクトルの内積値はベクトルが互いになしている角度に依存する。結局、上位分枝に対応する主方向ベクトル及び下位分枝に対応する主方向ベクトルは互いに反対方向に向かっていることから２つの主方向ベクトルの内積は負数値を有するため、主方向ベクトルの内積値が閾値以上であることは、血管分枝の間の曲率が大きいことを意味する。血管映像で実際に抽出しなければならない対象血管は１つの血管として、隣接する血管分枝間に大きい曲率の変化がないことが一般的であるため、隣接する血管分枝間の主方向ベクトルの内積値が閾値を超過することは、血管映像処理装置が実際に探すべき対象血管ではない他の血管を抽出したものを示す。さらに、識別されたエラー部位を修正することにおいて、血管映像処理装置は、血管の種類又は血管領域に応じて互いに異なる閾値を適用することができる。

血管映像処理装置は、抽出された対象血管に対して分枝地点を基準として分割された血管分枝ごとに主方向ベクトルを求めることができるが、予め指定された長さで血管を分割し、予め指定された長さで分割された断片（ｐｉｅｃｅ）ごとに主方向ベクトルを求めてもよい。血管映像処理装置は、抽出された対象血管に対して隣接する断片の主方向を比較することで、曲率が閾値以上に大きくなった部分を捜し出す方式で対象血管でエラー部位を識別してもよい。言い換えれば、血管映像処理装置は、抽出された対象血管を閾値長さ以下に分割することができる。血管映像処理装置は、互いに隣接する予め指定された長さに分割された断片の主方向ベクトルの内積値が閾値を超過する場合に応答して、互いに隣接する断片を誤認部位として判断することができる。血管映像処理装置は、対象血管を閾値長さ以下に分割し、隣接する断片の間の曲率を算出することができるため、分枝地点を基準として分割された血管分枝により対象血管のエラー部位を識別する場合よりもさらに正確に対象血管のエラー部位を識別することができる。

血管映像処理装置は、対象血管で主方向ベクトルを用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は、識別されたエラー部位に対して、互いに隣接する分枝のいずれか１つの分枝を残りの分枝との主方向ベクトルの内積値が閾値以下である候補分枝に交替することができる。例示的に、血管映像処理装置は、対象血管から抽出されていない血管分枝１２０３と上位血管分枝１２０１との間の主方向ベクトル１２２３，１２２１の内積値が閾値以下である場合、血管分枝１２０２の代わりに、血管分枝１２０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果から血管分枝１２０２を血管分枝１２０３に交替することができる。

図１３は、対象血管の直径情報を用いて対象血管のエラーを識別して修正する方法を示す。

一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の直径の差を算出し、誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対象血管で互いに隣接する分枝間の直径の差が閾値直径の差以上である場合に応答して、互いに隣接する分枝を誤認部位として判断することができる。血管映像処理装置は、分枝地点を基準として識別された血管分枝それぞれに対して直径情報を取得する。例えば、図１３に示された血管分枝１３０１，１３０２，１３０３の直径は、それぞれｒ１、ｒ２、ｒ３に対応する。例示的に、血管映像処理装置は、血管分枝１３０１，１３０２を対象血管として１次抽出した場合、血管分枝１３０１，１３０２間の直径の差を算出する。血管映像処理装置は、算出された直径の差が閾値直径の差以上である場合に応答して、上述した血管分枝１３０１，１３０２のうち少なくともいずれかの分枝を対象血管に対する抽出結果から誤認部位として判断する。血管映像において、実際に抽出しなければならない対象血管に属する隣接する血管分枝の間では、比較的に小径の変化を示しており、閾値直径の差以上の直径差を示す隣接する血管分枝は、エラー部位である可能性がある。

血管映像処理装置は、抽出された対象血管に対して隣接する血管分枝間の直径の差を算出できるが、血管分枝の直径情報を平滑化（ｓｍｏｏｔｈｉｎｇ）して直径の差を算出してもよい。血管映像において、実際に抽出しなければならない対象血管に属する隣接する血管分枝の間では、比較的に小径の変化を示すことが一般的である。しかし、抽出しなければならない対象血管が疾患のある血管分枝を含んでいる場合、疾患のある血管分枝と隣接している血管分枝間の直径の変化は大きく示される。したがって、血管映像処理装置は、複数の血管分枝をグルーピングして血管分枝の直径情報を平滑化し直径の差を算出することで、抽出された対象血管から誤認部位を識別することができる。

血管映像処理装置は、対象血管で直径情報を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。

血管映像処理装置は、識別された誤認部位に対して、互いに隣接する分枝のいずれか１つの分枝を残りの分枝との直径の差が閾値直径の差未満である候補分枝に交替することができる。例示的に、血管映像処理装置は、対象血管から抽出されていない血管分枝１３０３と上位血管分枝１３０１との間の直径の差が閾値直径の差未満である場合、血管分枝１３０２の代わりに、血管分枝１３０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果から血管分枝１３０２を血管分枝１３０３に交替することができる。さらに、血管映像処理装置は、識別されたエラー部位を修正することにおいて、血管の種類（例えば、ＬＭ、ＬＡＤ、ＬＣＸ、ＲＣＡ）又は血管領域に応じて、互いに異なる閾値直径の差を適用することができる。

図１４は、対象血管の明るさ情報を用いて対象血管のエラーを識別して修正する方法を示す。

一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の明度（ｂｒｉｇｈｔｎｅｓｓ）差を算出し、誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対象血管で互いに隣接する分枝間の明度差が閾値の明度差以上である場合に応答して、互いに隣接している分枝を誤認部位として判断することができる。血管映像処理装置は、分枝地点を基準にし識別された血管分枝それぞれに対して明度情報を取得することができる。例えば、血管分枝の明度は、血管映像を取得するために投与した造影剤の分布濃度を示す。例示的に、血管映像処理装置は、血管分枝１４０１，１４０２を対象血管として１次抽出した場合、血管分枝１４０１，１４０２間の明度差を算出することができる。血管映像処理装置は、算出された明度差が閾値の明度差以上である場合に応答して、上述した血管分枝１４０１，１４０２のうち、少なくとも１つの分枝を対象血管に対する抽出結果において誤認部位として判断することができる。血管映像において、実際に抽出しなければならない対象血管に属する隣接する血管分枝との間では、比較的に小さな明度の変化を示しているところ、閾値の明度差以上の明度差を示す隣接する血管分枝は、エラー部位である可能性がある。

血管映像処理装置は、対象血管で明るさ情報を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は、識別された誤認部位に対して、互いに隣接する分枝のうち１つの分枝を残り分枝との明るさの差が閾値明るさの差未満である候補分枝に交換することができる。例えば、血管映像処理装置は、対象血管に抽出されていない血管分枝１４０３と上位血管分枝１４０１との間の明るさの差が閾値の明るさの差未満である場合、血管分枝１４０２の代わりに血管分枝１４０３を対象血管として抽出することができる。血管画像処理装置は、対象血管の抽出結果から血管分枝１４０２を血管分枝１４０３に交換することができる。さらに、血管映像処理装置は、識別されたエラー部位を修正することにおいて、血管の種類（例えば、ＬＭＬＭＬＬＡＤＬＣＬＣＸＲＣＲＣＡ）又は血管領域に応じて互いに異なる閾値直径の差を適用することができる。すなわち、血管映像処理装置は、図８～図１４の方法に基づいた１次抽出した対象血管のエラー部位を識別し、識別されたエラー部位の修正結果をユーザに提供する前処理動作を行うことができる。

一実施形態に係る血管映像処理装置は、エラー部位が識別される場合に応答して、以前の抽出結果で適用されたモデルアンサンブルとは区別されるモデルアンサンブルに基づいて、対象血管に対して新しい抽出結果を生成することができる。エラー部位が識別される場合、血管映像処理装置は、直接エラー部位を修正せずに、格納された複数の機械学習モデルのうち、以前の抽出結果で適用されたモデルアンサンブルとは区別される１つのモデルアンサンブルに基づいて、対象血管に対して新しい抽出結果を生成することができる。

また、血管映像処理装置は、格納された複数の機械学習モデルのうち、以前抽出結果で適用されたモデルアンサンブルとは区別されたモデルアンサンブルに基づいて複数のモデルアンサンブルのそれぞれに対して対象血管に対する複数の新しい抽出結果を生成することができる。血管映像処理装置は、モデルアンサンブルにより生成された対象血管の抽出結果ごとに対象血管に関する血管構造データ、対象血管の曲率情報、対象血管の直径情報、及び対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を識別することができる。血管映像処理装置は、生成された複数の対象血管に対する抽出結果のうち、実際に抽出しなければならない対象血管と最も近い１つの抽出結果を対象血管として自動選択してユーザに提供することができる。例えば、血管映像処理装置は、識別されたエラー部位が最も少ない対象血管に対する抽出結果を実際に抽出しなければならない対象血管と最も近い抽出結果として選択することができるが、これに限定されることはない。血管映像処理装置は、ユーザの選択入力に応答して、選択された抽出結果を対象血管に抽出することができる。さらに、血管映像処理装置は、複数の対象血管に対する抽出結果に関する情報をユーザに提供することができる。血管映像処理装置は、ユーザから複数の対象血管に対する抽出結果のうちの１つが入力され、入力により指示される１つの抽出結果を対象血管に抽出することができる。したがって、血管映像処理装置は、異なる機械学習モデルを用いた対象血管の修正結果をユーザに提供する前処理過程を経ることができる。

一実施形態に係る血管映像処理装置は、対象血管の抽出結果でエラー部位が識別される場合に応答して、候補血管分枝それぞれに対する連結性スコア（ｃｏｎｎｅｃｔｉｖｉｔｙ ｓｃｏｒｅ）に基づいて候補血管分枝のうち１つの血管分枝を対象血管に抽出することができる。血管映像処理装置は、対象血管の抽出結果からエラー部位が識別される場合、エラー部位を修正できる候補血管分枝のうち１つの血管分枝を選択する。血管映像処理装置は、候補血管分枝それぞれに対して連結性スコアを算出する。連結性スコアは、対象血管の抽出結果で任意の候補血管分枝に隣接する血管分枝と該当の候補血管分枝との間の連結性を指示するスコアとして、例えば、候補血管分枝及び隣接する血管分枝間の血管構造データに対するマッチング程度、曲率差、直径の差、及び明度差などに基づいて算出され得る。連結性スコアは、候補血管分枝が対象血管に含まれている場合、修正された対象血管が実際に抽出しなければならない対象血管に類似の程度に対応する。

例えば、候補血管分枝が対象血管から抽出された場合、候補血管分枝と前記候補血管分枝と隣接して連結されている血管分枝の間で対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくとも１つに基づいて連結性スコアを算出することができる。しかし、これに限定されることなく、様々な方法で候補血管分枝それぞれに対する連結性スコアを算出してもよい。血管映像処理装置は、連結性スコアに基づいて候補血管分枝のうち１つの血管分枝を選択することができる。例えば、候補血管分枝のうち連結性スコアが最も高い血管分枝として、エラーが最も小さいと判断される血管分枝を選択する。血管映像処理装置は、選択された血管分枝を対象血管に抽出することができる。

例示的に、図９において、血管映像処理装置が対象血管の抽出結果から第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が連結されているノード連結データ９１０を算出した場合、血管映像処理装置は、ノード連結データ９１０で第３ノードＮ３及び第５ノードＮ５間の連結が血管構造データ９００にマッチングしないものと決定することができる。血管映像処理装置は、連結エラーに対応するノードＮ３、Ｎ５のうち、少なくともいずれかのノードに対応する血管分枝をエラー部位として判断する。血管映像処理装置は、第３ノードＮ３に対応する血管分枝をエラーとして判断した場合、血管構造データにマッチングしない第３ノードＮ３をノード連結データから排除し、血管構造データにマッチングする第２ノードＮ２をノード連結データに追加する。また、血管映像処理装置は、第５ノードＮ５に対応する血管分枝をエラーとして判断した場合、血管構造データにマッチングしない第５ノードＮ３をノード連結データから排除し、血管構造データにマッチングする第６ノードＮ６又は第７ノードＮ７をノード連結データに追加する。結局、血管映像処理装置は、対象血管のノードになり得る第２ノード、第６ノード、第７ノードに対応する候補血管分枝それぞれに対する連結性スコアを算出することができる。血管映像処理装置は、候補血管分枝それぞれに対する連結性スコアに基づいて、エラーの最も小さいと判断される血管分枝を選択して対象血管に抽出することができる。

更なる例示として、図１２において、血管映像処理装置が血管分枝１２０１、１２０２を対象血管にして１次抽出した場合、血管分枝１２０１、１２０２間の曲率が閾値曲率を超過してエラー部位として判断してもよい。血管映像処理装置は、互いに隣接する分枝のうち、いずれか１つの分枝を残りの分枝との曲率が閾値曲率以下である候補分枝に交替してもよい。図１２とは異なって、候補血管分枝が複数である場合、血管映像処理装置は、候補血管分枝それぞれに対して連結性スコアを算出してもよい。血管映像処理装置は、候補血管分枝それぞれに対する連結性スコアに基づいて、エラーが最も小さいと判断される血管分枝を選択し対象血管に抽出することができる。図１３及び図１４においても、血管映像処理装置は上述と同じ方法で、候補血管分枝のうちの１つを対象血管として選択して抽出することができる。

図１５は、一実施形態に係る血管映像処理装置を概略的に示すブロック図である。

一実施形態に係る血管映像を処理するシステム１５００は、血管映像処理装置１５１０及び血管映像撮影装置１５２０を含む。血管映像処理装置１５１０は、映像受信部１５１１、プロセッサ１５１２、及び入出力インターフェース１５１３を含む。

映像受信部１５１１は、血管映像撮影装置１５２０によって撮影された血管映像を受信する。映像受信部１５１１は、有無線データ通信を介して血管映像撮影装置１５２０から血管映像を受信する。但し、これに限定されることなく、映像受信部１５１１に血管映像撮影装置１５２０が統合されて構成されてもよい。

プロセッサ１５１２は、機械学習モデルを用いて映像受信部から受信した血管映像から対象血管を抽出し、ユーザから受信される第１入力に基づいて対象血管の抽出結果に対する関心領域を決定し、決定された関心領域内でユーザから受信される第２入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正することができる。プロセッサ１５１２の動作がこれに限定されることなく、プロセッサ１５１２は図１～図１４を参照して上述した動作を行うことができる。

入出力インターフェース１５１３は、ユーザから入力を受信してプロセッサに伝達することができる。例えば、入出力インターフェース１５１３は、マウス操作、及びタッチ操作などによる入力を受信する。また、入出力インターフェース１５１３は、視覚的フィードバックをユーザに提供してもよい。例えば、入出力インターフェース１５１３は、対象血管の抽出結果をステップごとにディスプレイを介して出力する。

本発明を支援した国家研究開発事業は次の通りである。

［課題固有番号］１４１５１６６９１２
［課題番号］２０００１６３８
［部署名］産業通常資源部－科学技術情報通信部－保健福祉部－食品医薬品安全処
［課題管理（専門）機関名］韓国産業技術評価管理院
［研究事業名］人工知能バイオロボット医療融合事業
［研究課題名］心血管ビックデータ基盤の心臓仲裁施術補助人工知能及び半自動施術ツール制御ロボットシステム開発
［主管機関］ソウルアサン病院
［研究期間］２０１８年０５月０１日～２０２０年１２月３１日

［課題固有番号］１７１１１１７０８５
［課題番号］２０２０－Ｏ－００１５９
［部署名］科学技術情報通信部
［課題管理（専門）機関名］情報通信企画評価院
［研究事業名］人工知能融合先導プロジェクト事業
［研究課題名］人工知能基盤の自動化された心血管疾患診断補助及び施術ツール推薦システム開発
［主管機関］株式会社Medipixel
［研究期間］２０２０年０４月０１日～２０２１年１２月３１日

［課題固有番号］１４２５１３３１９６
［課題番号］Ｓ２７５８８８３
［部署名］中小ベンチャー企業部
［課題管理（専門）機関名］中小企業技術情報振興院
［研究事業名］創業成長技術開発（Ｒ＆Ｄ）
［研究課題名］人工知能基盤の完全閉塞病変再開通施術補助システム開発
［主管機関］株式会社 Medipixel
［研究期間］２０１９年０６月０１日～２０２０年０５月３１日

［課題固有番号］１７１１１０６９０３
［課題番号］２０２０Ｒ１Ｃ１Ｃ１０１０４７０
［部署名］科学技術情報通信部
［課題管理（専門）機関名］韓国研究財団
［研究事業名］新進研究者研修支援事業
［研究課題名］ディープラーニング基盤の血管内超音波映像分割技術を活用した心血管診断法開発
［主管機関］蔚山大学校
［研究期間］２０２０年０３月０１日～２０２１年０２月２８日

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

Claims (11)

1. プロセッサによって行われる血管映像処理方法であって、
   血管映像から対象血管を抽出するステップと、
   ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定するステップと、
   前記関心領域の決定に応答して、前記対象血管の抽出結果から第１エラー部位を識別し、前記第１エラー部位の修正結果をユーザに提供するステップと、
   前記第１エラー部位が修正された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果の第２エラー部位を識別し、前記識別された第２エラー部位を修正するステップと、
   を含む血管映像処理方法。
2. 前記関心領域を決定するステップは、前記第１入力が検出される地点に基づいて前記関心領域の形態を決定するステップを含む、請求項１に記載の血管映像処理方法。
3. 前記第２エラー部位を修正するステップは、前記第２入力が前記関心領域内の複数の地点から検出される場合に応答して、前記第２入力の前記複数の地点に基づいてエラー部位を修正するステップを含む、請求項１に記載の血管映像処理方法。
4. 前記複数の地点に基づいてエラー部位を修正するステップは、
   前記第２入力に対応する地点が前記対象血管から抽出された領域に沿って移動する間に、前記第２入力が通過した地点で断絶部位が存在するかを検出するステップと、
   前記断絶部位が検出される場合に応答して、前記第２入力の移動軌跡に沿って断絶した部位を連結するステップと、
   を含む、請求項３に記載の血管映像処理方法。
5. 前記複数の地点に基づいてエラー部位を修正するステップは、
   前記第２入力に対応する地点が前記対象血管から抽出された領域内の分枝地点から前記対象血管を離脱した領域に移動する場合に応答して、前記分枝地点と連結された血管分枝のうち、前記第２入力の移動軌跡に対応する領域の外側に位置する血管分枝を誤認部位として決定するステップと、
   前記対象血管を離脱した前記第２入力によって指示される血管分枝に交替し、前記交替された血管分枝に基づいて残りの抽出結果を修正するステップと、
   を含む、請求項３に記載の血管映像処理方法。
6. 前記第１エラー部位を識別し、前記第１エラー部位の修正結果をユーザに提供するステップは、
   前記第１エラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供するステップと、
   前記ユーザから前記１つ以上の候補分枝のいずれか１つの分枝に対するポインティング入力を受信する場合に応答して、前記第１エラー部位に対応する分枝を選択された分枝に交替するステップと、
   をさらに含む、請求項１に記載の血管映像処理方法。
7. 前記第１エラー部位を識別し、前記第１エラー部位の修正結果をユーザに提供するステップは、前記修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、前記ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結するステップを含む、請求項１に記載の血管映像処理方法。
8. 前記第１エラー部位を識別し、前記第１エラー部位の修正結果をユーザに提供するステップは、前記関心領域が決定される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも１つに基づいて前記第１エラー部位を識別するステップを含む、請求項１に記載の血管映像処理方法。
9. 前記第１エラー部位を識別し、前記第１エラー部位の修正結果をユーザに提供するステップは、前記第１エラー部位が識別される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも１つに基づいて前記第１エラー部位を修正した修正結果を前記ユーザに提供するステップを含む、請求項１に記載の血管映像処理方法。
10. 前記第１エラー部位を識別し、前記第１エラー部位の修正結果をユーザに提供するステップは、
    前記第１エラー部位が識別された場合に応答して、前記対象血管に対する複数の新しい抽出結果を生成するステップと、
    ユーザの選択入力に応答して、前記複数の新しい抽出結果のうち前記選択入力によって指示される１つの抽出結果を選択するステップと、
    を含む、請求項１に記載の血管映像処理方法。
11. 血管映像処理装置であって、
    血管映像を受信する映像受信部と、
    前記血管映像から対象血管を抽出し、ユーザから受信される第１入力に基づいて前記対象血管の抽出結果に対する関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を決定し、前記関心領域の決定に応答して、前記対象血管の抽出結果から第１エラー部位を識別し、前記第１エラー部位の修正結果をユーザに提供し、前記第１エラー部位が修正された関心領域内で前記ユーザから受信される第２入力に基づいて前記抽出結果の第２エラー部位を識別し、前記識別された第２エラー部位を修正するプロセッサと、
    を含む血管映像処理装置。