JP2023508436A - データ処理方法、装置及び記憶媒体 - Google Patents

データ処理方法、装置及び記憶媒体 Download PDF

Info

Publication number
JP2023508436A
JP2023508436A JP2022539274A JP2022539274A JP2023508436A JP 2023508436 A JP2023508436 A JP 2023508436A JP 2022539274 A JP2022539274 A JP 2022539274A JP 2022539274 A JP2022539274 A JP 2022539274A JP 2023508436 A JP2023508436 A JP 2023508436A
Authority
JP
Japan
Prior art keywords
image
tubular
feature
graph
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022539274A
Other languages
English (en)
Other versions
JP7395753B2 (ja
Inventor
ハン ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2023508436A publication Critical patent/JP2023508436A/ja
Application granted granted Critical
Publication of JP7395753B2 publication Critical patent/JP7395753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

Figure 2023508436000001
データ処理のための方法、デバイス、及び記憶媒体が提供される。本方法のうちの一つは、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む。

Description

関連出願の相互参照
本出願は、２０１９年１２月２５日に中国国家知識産権局に提出され、また「ＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ， ＥＱＵＩＰＭＥＮＴ ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ」という表題のついた、中国特許出願第２０１９１１３５７８７４．１号に基づき、これに対する優先権及びこの利益を主張するものである。上に特定された出願のすべての内容は、その全体が参照により本明細書に組み込まれる。
本出願は、コンピュータ技術の分野、特に、データ処理方法及びデバイス並びに記憶媒体に関する。
コンピュータ支援診断（ＣＡＤ）技術は、イメージング、医用画像処理技術、並びに他の可能な生理学的及び生化学的手段と組み合わせて、分析及び計算におけるコンピュータの強力な能力に基づいて、医師が病変を見つけるのを助けることができる。
例えば、血管疾患の処置においては、血管造影が、コンピュータ断層撮影技術に基づいて実施されて、血管造影画像を獲得することができ、次いで、血管造影画像上の血管（ｖｅｓｓｅｌ）（又はｂｌｏｏｄ ｖｅｓｓｅｌと称される）の分布が、病変分析効率を向上させるためにコンピュータ技術に基づいて認識される。
しかしながら、既存の技術は、血管造影画像の認識中に血管造影画像に含まれる特徴を十分に活用せず、結果として比較的低い正確性の認識結果をもたらす。したがって、新規な解決策が必要とされる。
本出願の複数の態様において、データ処理方法及びデバイス並びに記憶媒体は、画像内に含まれる管状画像のための認識結果を強化するために提供される。
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が、少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの空間分布特徴及び画像特徴を計算すること、並びに少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含むデータ処理方法を提供する。
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得することを含むデータ処理方法をさらに提供する。
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第１の特徴計算層の出力データが、第１の特徴計算層により、第１の特徴計算層の入力データに基づいた第１の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第１の特徴計算層の後に位置する第２の特徴計算層の入力データが、第１の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得することを含むデータ処理方法をさらに提供する。
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルが、グラフ畳み込みネットワーク（ＧＣＮ）を含み、ＧＣＮの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得することを含むデータ処理方法をさらに提供する。
本出願の実施形態は、メモリ及びプロセッサを含むデータ処理デバイスをさらに提供し、メモリは、一つ又は複数のコンピュータ命令を記憶するように構成され、プロセッサは、本出願の実施形態に提供されるデータ処理方法内のステップを実施するために一つ又は複数のコンピュータ命令を実行するように構成される。
本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供し、コンピュータ・プログラムは、実行されると、本出願の実施形態に提供されるデータ処理方法内のステップを実施する。
本出願の実施形態は、データ処理のためのコンピュータ実施方法をさらに提供する。本方法は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む。
本出願の実施形態は、データ処理のための装置をさらに提供する。本装置は、一つ又は複数のプロセッサと、一つ又は複数のプロセッサに結合され、命令により構成される一つ又は複数の非一時的なコンピュータ可読メモリとを備え、命令は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む動作を本装置に実施させるために一つ又は複数のプロセッサによって実行可能である。
本出願の実施形態は、命令により構成される非一時的なコンピュータ可読記憶媒体をさらに提供し、命令は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む動作を一つ又は複数のプロセッサに実施させるために一つ又は複数のプロセッサによって実行可能である。
本出願の実施形態に提供されるデータ処理方法において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像によって提供される管状構造の様々な異なる情報は、完全に使用されることができ、これが管状画像の認識結果を向上させることにつながる。
本明細書に説明される添付の図面は、本出願のさらなる理解を提供するために使用され、本出願の一部を形成する。本出願の実施形態及び実施形態の説明は、本出願を説明するために使用されるものであり、本出願に対する過度の制限を構成するものではない。
本出願の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願の実施形態による管状構造認識モデルの概略構造図である。 本出願の実施形態による構造グラフの概略構造図である。 本出願の実施形態によるＧＣＮ層のデータ伝送プロセスの概略図である。 本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願の依然として別の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願のさらに別の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願の実施形態によるアプリケーション・シナリオの図である。 本出願の実施形態によるデータ処理デバイスの概略構造図である。
本出願の目的及び利点をより明白にするため、本出願は、本出願の実施形態及び対応する添付の図面と組み合わせて明白に説明されるものとする。明白には、説明された実施形態は、本出願の実施形態のすべてではなく、単に一部にすぎない。創造的な努力なしに本出願における実施形態に基づいて当業者により得られるすべての他の実施形態が、本出願の保護の範囲内にある。
既存の技術では、血管造影画像の認識の間、血管造影画像によって表される部分的な情報のみが考慮され、処理されるべき画像に含まれる様々な複雑な情報は、完全には使用されず、以て、比較的低い正確性の血管認識をもたたらす。以下は、既存の技術において提供される冠動脈枝のための命名方法と組み合わせた既存の技術の欠陥の簡単な説明である。既存の技術では、冠動脈枝のための共通命名方法は、登録ベースの方法、並びに樹構造及び長・短期記憶（ＬＳＴＭ）ネットワークに基づいた方法である。
登録ベースの方法では、冠動脈樹の主枝、具体的には、左冠動脈（ＬＣＡ）、左主冠動脈（ＬＭ）、左前下行枝（ＬＡＤ）、及び左回旋枝（ＬＣＸ）が、登録アルゴリズムを使用してまず認識され、次いで残りの枝が、規則及び予備知識（例えば、冠動脈樹のトポロジ）を使用して分類される。
樹構造及びＬＳＴＭに基づいたスキームでは、冠動脈樹は、２分木へと構築され、各血管は、２分木のノードと見なされる。次いで、親ノードと子ノードとの相関が、ＬＳＴＭモデルを使用して学習され、最後に、各ノードのカテゴリが、各血管の名前を獲得するように予測される。
先述の２つのスキームでは、血管樹内の主血管及び枝血管の位置依存性のみが考慮され、血管樹内の血管の他の情報は完全には考慮されない。したがって、かなり大きな誤差が、血管を命名する結果において存在する。誤差は、主血管が誤って命名されるときに特により深刻な結果をもたらす。
既存に技術における先述の技術的問題に関して、本出願の実施形態は、技術的問題を解決するために提供される。本出願の様々な実施形態は、添付の図面を参照して以下に詳細に説明される。
図１は、本出願の実施形態によるデータ処理方法の概略的なフローチャートである。図１に示されるように、本方法は、以下のステップを含む。
ステップ１０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ１０２。少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算すること。
ステップ１０３。少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること。
処理されるべき画像は、少なくとも一つの管状構造に対してイメージングを行うことにより獲得される画像を含むことができる。
いくつかの実施形態において、処理されるべき画像は、医用デバイスの助けを借りて生命体の管状構造に対して血管造影を実施することにより獲得される血管造影画像を含むことができる。例えば、画像は、ＣＴ技術に基づいて生命体の冠動脈に対して血管造影を実施することにより獲得される冠動脈のＣＴ血管造影（ＣＴＡ）画像であってもよい。
いくつかの他の実施形態において、処理されるべき画像は、都市に敷かれる温水パイプに対する熱イメージングにより獲得される画像を含むことができる。
いくつかの他の実施形態において、処理されるべき画像は、地理的環境に分布される河道、鉄道線路、高速道路、及び同様のものに対するリモート・センシング技術ベースのイメージングにより獲得されるリモート・センシング画像を含むことができる。処理されるべき画像は、少なくとも一つの管状画像を含む。管状画像とは、管状構造の血管造影後の処理されるべき画像上の対応する画像部分を指す。良好なイメージング結果の状況では、一つの管状画像は、血管造影のための一つの管状構造に対応することができる。例えば、生命体に対する血管造影を通じて獲得される血管造影画像は、血管画像を含むことができる。都市に敷かれる温水パイプに対する熱イメージングにより獲得される画像は、温水パイプ画像を含むことができる。地理的環境に分布される河道に対するリモート・センシング・イメージングにより獲得される画像は、河道画像を含むことができる。
管状構造のイメージングの後、管状構造の特徴は、対応する管状画像に反映されてもよい。したがって、対応する管状構造は、管状画像に示される特徴に基づいて認識されてもよい。一般的に、管状構造は、比較的複雑な空間分布特徴及び個体差を有する。血管（ｂｌｏｏｄ ｖｅｓｓｅｌ）（又はｖｅｓｓｅｌと称される）を例とすると、血管は、生命体において比較的複雑である。生命体の各部分における血管は、主血管、及び主血管の側面から派生される枝血管を含む。血管造影後、主血管及び枝血管は、おおむね樹様である。概して、血管樹内の異なる血管は、いくつかの空間分布特徴を有する。例えば、一部の枝血管は、主血管の左側に位置し、一部の枝血管は、主血管の右側に位置する。局所的に、異なる血管の形状、サイズ、及び方向は、血管樹内で様々である。
先述に基づいて、この実施形態では、処理されるべき画像上の管状画像を認識することにおいて、管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴は、処理されるべき画像から獲得されてもよい。空間分布特徴及び画像特徴に基づいて、管状構造の複雑な特徴は、管状画像を認識するための基礎としてより包括的に捉えられてもよく、これが、処理されるべき画像上の管状構造のより正確な認識につながる。
管状画像の空間分布特徴は、限定されるものではないが、処理されるべき画像上の管状画像の位置特徴及び方向特徴、管状画像同士の接続関係、並びに同様のものを含むことができる。管状画像の画像特徴は、限定されるものではないが、管状画像の形状特徴及びサイズ特徴並びに同様のものを含むことができ、これはここでは詳細に説明されない。
この実施形態において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像によって提供される管状構造の様々な異なる情報は、完全に使用されることができ、これが管状画像の認識結果を向上させることにつながる。
本出願の先述及び以下の実施形態において、管状画像を認識するプロセスは、ニューラル・ネットワーク（ＮＮ）ベースの機械学習モデルを使用して実施されてもよい。ＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）、深層ニューラル・ネットワーク（ＤＮＮ）、グラフ畳み込みネットワーク（ＧＣＮ）、リカレント・ニューラル・ネットワーク（ＲＮＮ）、及びＬＳＴＭのうちの一つ又は複数を含むことができ、これはこの実施形態に限定されない。
説明を容易にするため、管状画像を認識するためのモデルは、本出願の以下の実施形態では管状構造認識モデルとして説明される。いくつかの実施形態において、処理されるべき画像上の管状画像の複数の特徴を十分に活用するために、管状構造認識モデルは、ＣＮＮ、ＬＳＴＭ、及びＧＣＮによって形成されてもよく、図２ａ、図２ｂ、及び図２ｃを参照して以下に例証される。
図２ａは、本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。図２ａに示されるように、本方法は、以下のステップを含む。
ステップ２０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ２０２。処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得すること。
ステップ２０３。少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線及び処理されるべき画像を管状構造認識モデルに入力すること。
ステップ２０４。管状構造認識モデルにおいて、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出すること。
ステップ２０５。管状構造認識モデルにおいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を獲得すること。
ステップ２０６。少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を管状構造認識モデル内の特徴計算モジュールの入力データとして入力すること。
ステップ２０７。特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得すること。
ステップ２０８。管状構造認識モデルの全結合層に基づいて、特徴計算モジュールの出力データに従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること。
ステップ２０９。少なくとも一つの管状画像にそれぞれ対応する管状構造（複数可）の名前（複数可）を出力すること。
ステップ２０１において、処理されるべき画像は、少なくとも一つの管状画像を含む。例えば、いくつかのシナリオにおいて、処理されるべき画像が、冠動脈のＣＴ血管造影画像として実装されるとき、処理されるべき画像は、複数の血管画像を含むことができ、複数の血管画像は、樹状分布にある。
ステップ２０２において、血管を例とすると、血管画像の中心線を獲得する動作は、血管追跡に基づいて実施されてもよい。
血管追跡の間、血管追跡装置が、各位置における血管の方向及び半径を認識し、反復的計算を実施して完全な血管を探すために使用されてもよい。このプロセスでは、血管弁別装置が、血管追跡装置の探索動作を終了するかどうかを決定するために使用されてもよい。血管の中心線は、血管追跡装置及び血管弁別装置によって認識される血管の方向及び半径に基づいて描写されてもよい。血管追跡装置及び血管弁別装置は、マルチタスク３次元（３Ｄ）ＣＮＮに基づいて実装されてもよく、これはここでは詳細に説明されない。
次に、ステップ２０３において、処理されるべき画像から抽出される少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線が、管状構造認識モデルに入力されてもよい。
この実施形態において、管状構造認識モデルの入力は、処理されるべき画像、及び処理されるべき画像上の管状画像の少なくとも一つのそれぞれの中心線を含む。管状構造認識モデルの出力は、処理されるべき画像上の管状構造の名前を含む。先述の入力及び出力に基づいて、管状構造認識モデルは、「端から端までの」管状画像認識動作を実施する。「端から端までの」認識の間、管状構造認識モデルは、まず中間結果を生成し、次いで中間結果に従って最終認識結果を獲得するという計算方式を採用せず、以て、最終認識結果の正確性に対する中間結果の正確性の影響を効果的に回避する。
ステップ２０４において、管状構造認識モデルの構造は、図２ｂに示されるようなものであってもよい。説明は、図２ｂを参照して以下に続く。
いくつかの実施形態において、管状構造認識モデルは、特徴抽出モジュールを含んでもよい。特徴抽出モジュールは、各管状画像の中心線に従って、各管状画像の空間分布特徴及び画像特徴を処理されるべき画像から抽出するように構成される。
いくつかの実施形態において、管状構造認識モデルに含まれる特徴抽出モジュールは、空間特徴抽出モジュール及び画像特徴抽出モジュールを含むことができる。
空間特徴抽出モジュールは、各管状画像の空間分布画像を抽出するように構成される。画像特徴抽出モジュールは、各管状画像の画像特徴を抽出するように構成される。図２ｂに示されるように、いくつかの実施形態において、空間特徴抽出モジュールは、球座標変換（ＳＣＴＳ＾２）モジュールに基づいて実施されてもよい。画像特徴抽出モジュールは、３ＤＣＮＮ及びＬＳＴＭネットワークに基づいて実施される。他の実施形態において、空間特徴抽出モジュール及び画像特徴抽出モジュールはまた、他のアルゴリズム・モジュールによって実施されてもよく、これはこの実施形態において限定されない。
空間特徴抽出モジュールの実行論理及び画像特徴抽出モジュールの実行論理は、少なくとも一つの管状画像内の第１の管状画像を例とすることにより以下にそれぞれ例証される。第１の管状画像は、少なくとも一つの管状画像のいずれかである。
空間特徴抽出モジュールが空間分布特徴を抽出する方式は、管状画像の中心線に主に基づいて実施される。管状画像の中心線は、空間直交座標系（デカルト座標系とも称される）内の一連の３Ｄ座標点によって形成される。いくつかの実施形態において、空間特徴抽出モジュールは、第１の管状画像の中心線上の始点、終点、及び少なくとも一つの中点の位置座標を獲得し、点の位置座標に従って第１の管状画像の位置特徴ベクトルを生成することができる。
位置座標の生成の間、空間特徴抽出モジュールは、点の獲得された位置座標に従って座標変換を実施し、空間直交座標系からの点の位置座標を球座標系にマッピングすることができる。
説明は、第１の管状画像の中心線上の点Ｐ（ｘ，ｙ，ｚ）と組み合わせて以下に提供され、（ｘ，ｙ，ｚ）は、空間直交座標系ＸＹＺ内の点Ｐの３Ｄ座標である。
球座標変換は、式（１）に従ってＰ（ｘ，ｙ，ｚ）について実施されてもよい。
Figure 2023508436000002
球座標系内の点Ｐの座標は、式１に基づいて獲得されてもよい。行列により説明される場合、点Ｐは、２×２の行列Ｍとして表現されてもよい。
Figure 2023508436000003
 管状画像の中心線上の始点、終点、及び少なくとも一つの中点に対応する座標行列が獲得された後、管状画像に対応する位置特徴ベクトルが獲得されてもよい。
いくつかの実施形態において、依然として第１の管状画像を例とすると、空間特徴抽出モジュールは、第１の管状画像上の始点の位置座標及び終点の位置座標に基づいて、始点の接線ベクトル及び始点から終点までのベクトルをさらに計算することができる。空間特徴抽出モジュールは、始点の接線ベクトル及び始点から終点までのベクトルに基づいて、第１の管状画像の方向特徴ベクトルを獲得することができる。
いくつかの実施形態において、空間特徴抽出モジュールは、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って少なくとも一つの管状画像同士の接続関係を獲得することができる。第１の管状画像を例とすると、空間特徴抽出モジュールは、第１の管状画像の始点の位置座標を抽出し、次いで、始点の位置座標が別の管状画像の中心線上の点の位置座標と一致するかどうかを決定することができる。始点の位置座標が別の管状画像の中心線上の点の位置座標と一致する場合、第１の管状画像は別の管状画像に接続されるものと見なされてもよい。
空間特徴抽出モジュールは、位置特徴ベクトル、方向特徴ベクトル、及び接続関係のうちの一つ又は複数の組み合わせを、管状画像の空間分布特徴として見ることができ、これはこの実施形態において限定されない。
いくつかの実施形態において、画像特徴抽出モジュールは、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出することができる。例えば、第１の管状画像を例とすると、処理されるべき画像において、画像特徴抽出モジュールは、第１の管状画像の中心線に沿って、一連の境界ボリュームを第１の管状画像に対応する画像領域として抽出することができる。境界ボリュームは、立方体又は円柱であってもよく、境界ボリュームの断面サイズは、第１の管状画像の直径を収容する。例えば、境界ボリュームの断面サイズは、第１の管状画像の直径よりもわずかに大きいか、又は管状画像の直径に等しくてもよく、これはここでは詳細に説明されない。
少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域が獲得された後、画像特徴抽出モジュールは、ＣＮＮ及びＬＳＴＭネットワークを使用することによって、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域に対して特徴抽出を実施して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得することができる。管状画像が３Ｄ画像であるとき、ＣＮＮは、３Ｄ管状画像に対して特徴抽出を実施するために、３ＤＣＮＮ、例えば、図２ｂに示される３ＤＣＮＮとして実装される。
ステップ２０５において、各管状画像の空間分布特徴及び画像特徴が獲得された後、管状構造認識モデルは、各管状画像の空間分布特徴及び画像特徴を融合して、各管状画像の融合特徴を獲得することができる。融合特徴を獲得するプロセスは、依然として第１の管状画像を例とすることにより以下に例証される。
いくつかの実施形態において、第１の管状画像の空間分布特徴及び画像特徴がベクトル形式で表されるとき、管状構造認識モデルは、第１の管状画像の空間分布特徴に対応するベクトル、及び第１の管状画像の画像特徴に対応するベクトルを接合して、第１の管状画像の特徴接合ベクトルを獲得することができる。特徴接合ベクトルは、第１の管状画像の融合特徴を表すために使用されてもよい。
例えば、ステップ２０４の後、第１の管状画像の空間分布特徴は、位置特徴ベクトル及び方向特徴ベクトルを含み、画像特徴は、画像特徴ベクトルによって表される。次いで、管状構造認識モデルは、第１の管状画像の位置特徴ベクトル、方向特徴ベクトル、及び画像特徴ベクトルを接合して、第１の管状画像の特徴接合ベクトルを獲得することができる。
ベクトル接合による特徴融合は、特徴融合の例示的な方式である。本出願は、この方式を含むが、これに限定されない。例えば、いくつかの他の実施形態において、第１の管状画像の空間分布特徴及び画像特徴が融合されるとき、第１の管状画像の空間分布特徴に対応するベクトル及び画像特徴に対応するベクトルは、重ね合わされてもよく、これはここでは詳細に説明されない。
次に、ステップ２０６において、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴は、管状構造認識モデル内の特徴計算モジュールに入力される。特徴計算モジュールとは、設定されたモデル・パラメータに従って入力データから特徴を抽出するように構成される、管状構造認識モデル内のモジュール、例えば、ＣＮＮ内の畳み込みモジュールを指す。いくつかの実施形態において、管状構造認識モデルが図２ｂに示される構造として実施されるとき、特徴計算モジュールは、ＧＣＮ内のグラフ畳み込みモジュールとして実施されてもよい。
ＧＣＮは、グラフ構造データについて優れた学習性能を有し、空間構造特徴を有する管状画像の特徴を処理するのに好適である。したがって、ＧＣＮの利点を十分に活用するため、管状構造認識モデルは、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をグラフ畳み込みモジュールに入力する前に、以下の動作、すなわち、少なくとも一つの管状画像の空間構造特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を構造化して、グラフ構造データをグラフ畳み込みモジュールの入力データとして獲得することをさらに実施することができる。これに基づいて、グラフ畳み込みモジュールは、管状画像に反映される構造特徴をさらに十分に活用することができ、これが、グラフ畳み込みモジュールによって抽出される特徴の信頼性及び可用性をさらに向上させることにつながる。
先述のステップの説明に基づいて、管状構造認識モデルによって獲得される少なくとも一つの管状画像の少なくとも一つの空間分布特徴は、少なくとも一つの管状画像同士の接続関係を含むことができる。これに基づいて、管状構造認識モデルは、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をノードとして見ることにより、少なくとも一つの管状画像同士の接続関係に従って構造グラフを生成（描写など）し、構造グラフをグラフ畳み込みモジュールの入力データとして見ることができる。構造グラフは、グラフ構造データであり、これは少なくとも一つの管状画像の融合特徴の接続関係を反映するだけでなく、少なくとも一つの管状画像の融合特徴も含むことができる。構造グラフを獲得するための実施形態は、管状画像が血管画像として実装されている例を見ることにより、添付の図面を参照して以下に例証される。
図２ｃは、血管樹内の血管画像同士の接続関係に従って描写することにより獲得される構造グラフを例証する。図２ｃにおいて、ノードは、血管樹内の各血管画像の融合特徴である。接続関係が２つの血管画像の間に存在する場合、２つの血管画像に対応する融合特徴は、線分を使用して接続されてもよい。例えば、血管樹内では、主血管１は、枝血管３及び枝血管７に接続される。構造グラフ内では、相応して、線分が、主血管１の融合特徴と枝血管３の融合特徴との間に追加されてもよく、及び線分が、主血管１の融合特徴と枝血管７の融合特徴との間に追加されてもよい。ステップ２０７において、グラフ畳み込みモジュールは、図２ｂに示されるように、複数のＧＣＮ層を含むことができる。ＧＣＮ層の量は、実際の要件に従って設定されてもよく、これは、例えば、３、４、５、又は同様のものに設定されてもよく、この実施形態において限定されない。
ＧＣＮ層の処理論理は、複数のＧＣＮ層内の第１のＧＣＮ層を例とすることにより以下に例証される。第１のＧＣＮ層は、グラフ畳み込みモジュール内の任意のＧＣＮ層である。限定のためにここで使用される「第１の」は、説明及び区別の簡便性のためにすぎず、配置順序又はランクを制限しない。
グラフ畳み込みモジュールにおいて、各ＧＣＮ層の入力は、グラフ構造データであり、出力もまたグラフ構造データである。すなわち、各ＧＣＮ層は、入力された構造グラフに対して特徴抽出を実施し、この動作後に獲得される構造グラフを出力して、構造グラフを次の層へ伝送することができる。説明を容易にするため、第１のＧＣＮ層に入力されるグラフ構造データは、第１の構造グラフとして説明される。
いくつかの実施形態において、第１のＧＣＮ層がグラフ畳み込みモジュール内の初期ＧＣＮ層である場合、第１の構造グラフは、グラフ畳み込みモジュールの入力データに含まれる構造グラフ、すなわち、少なくとも一つの管状画像の融合特徴及び少なくとも一つの管状画像同士の接続関係に従って前のステップにおいて描写される構造グラフである。いくつかの実施形態において、第１のＧＣＮ層がグラフ畳み込みモジュール内の初期ＧＣＮ層ではない場合、第１の構造グラフは、第１のＧＣＮ層の前のＧＣＮ層によって出力される構造グラフに従って獲得されてもよい。
第１のＧＣＮ層において、第１の構造グラフは、第２の構造グラフを獲得するために、第１のＧＣＮ層に入力される第１の構造グラフ内のノードと第１のＧＣＮ層のモデル・パラメータとの接続関係に従って更新されてもよい。
第１の構造グラフを更新するプロセスは、第１の構造グラフ上の各ノードの融合特徴を更新するプロセスとして実施されてもよい。例証は、第１の構造グラフ内の第１のノードを例とすることにより以下に提供される。第１のノードは、第１の構造グラフ上の任意のノードである。
いくつかの実施形態において、第１のノードについて、第１のノードに接続される第２のノードは、第１の構造グラフから獲得されてもよい。第２のノードの量は、異なる接続に応じて、一つ又はそれ以上であってもよい。次に、特徴融合動作が、第１のノードに対応する融合特徴及び一つ又は複数の第２のノードに対応する一つ又は複数の融合特徴に対して実施され、第１のノードに対応する融合特徴は、特徴融合動作により獲得される特徴に従って更新される。
例えば、図２ｃを例とすると、ノード１に接続されるノードは、ノード２、ノード６、及びノード７である。次に、ノード１に対応する融合特徴、ノード２に対応する融合特徴、ノード６に対応する融合特徴、及びノード７に対応する融合特徴の平均値が計算されてもよく、計算により獲得される平均値は、ノード１の新規の融合特徴として見られる。
いくつかの実施形態において、特徴融合動作が第１のノードに対応する融合特徴及び一つ又は複数の第２のノードに対応する一つ又は複数の融合特徴に対して実施される方式は、第１のノードに対応する融合特徴及び一つもしくは複数の第２のノードに対応する一つもしくは複数の融合特徴の平均を計算すること、又は、設定された重みに従って、第１のノードに対応する融合特徴及び一つもしくは複数の第２のノードに対応する一つもしくは複数の融合特徴の重み付けされた合計値を計算することを含むことができる。この実施形態は、この方式を含むが、これに限定されない。
先述の方式に基づいて、第１の構造グラフ上の各ノードに対応する融合特徴が更新されてもよい。第１の構造グラフに対する更新動作が完了した後、第１のＧＣＮ層は、第１のＧＣＮ層のモデル・パラメータ及び第２の構造グラフに従って第１のＧＣＮ層の出力データを獲得することができる。
いくつかの実施形態において、ＧＣＮ層間での管状画像の特徴の伝送の効果をさらに向上させ、管状構造の認識の正確性を向上させるために、残差アルゴリズムがＧＣＮ層に導入される。残差アルゴリズムにおいては、ＧＣＮ層のデータ処理動作を実施した後、各ＧＣＮ層は、ＧＣＮ層の処理結果及びＧＣＮ層の入力データをＧＣＮ層の出力データとして見ることができる。例証は、依然として第１のＧＣＮ層と併せて以下に提供される。
いくつかの実施形態において、第１のＧＣＮ層のモデル・パラメータ及び第２の構造グラフに従って第１のＧＣＮ層の出力データを獲得するとき、第１のＧＣＮ層は、以下のステップを実施することができる。
まず、特徴抽出が、第１のＧＣＮ層のモデル・パラメータに従って第２の構造グラフに対して実施されて、第３の構造グラフを獲得する。次に、第１のＧＣＮ層がグラフ畳み込みモジュール内の初期グラフ畳み込み層である場合、少なくとも一つの管状画像の少なくとも一つの空間分布特徴及び第３の構造グラフが重ね合わされて、第１のＧＣＮ層の出力データとしての役割を果たし、第１のＧＣＮ層が初期グラフ畳み込み層ではない場合、第１のＧＣＮ層の前のグラフ畳み込み層の出力データ及び第３の構造グラフが重ね合わせられて、第１のＧＣＮ層の出力データとしての役割を果たすことができる。
先述に基づいて、管状画像の空間分布特徴は、モデルの深化に伴ってＧＣＮ層間でより良好に伝送されることができる。
残差アルゴリズムの導入に基づいて、以下のステップがさらに実施されてもよい。
いくつかの実施形態において、次のＧＣＮ層の入力データは、ＧＣＮ層間での管状画像の画像特徴の伝送の効果をさらに強化し、管状構造認識プロセスへの画像特徴の貢献を強化するために、前のＧＣＮ層の出力データ及び少なくとも一つの管状画像の画像特徴によって形成されてもよい。
依然として第１のＧＣＮ層を例として、いくつかの実施形態において、第１のＧＣＮ層の出力データが獲得された後、特徴融合が、第２のＧＣＮ層の入力データとしての役割を果たすように、第１のＧＣＮ層の出力データ及び画像特徴の少なくとも一つの管状画像に対して実施されてもよい。第２のＧＣＮ層は、第１のＧＣＮ層の次のＧＣＮ層である。いくつかの実施形態において、特徴融合動作は、ベクトル接合動作であり、これはここでは詳細に説明されない。
ＧＣＮ層間でのデータ伝送のプロセスは、図２ｄを例とすることにより以下に例証される。
図２ｄでは、円は、ベクトル接合動作を示すことができ、Ｘ及びＹは、管状画像の空間分布特徴及び画像特徴をそれぞれ示す。グラフ畳み込みモジュールは、３つのＧＣＮ層：ＧＣＮ層１、ＧＣＮ層２、及びＧＣＮ層３を含む。
Ｘ及びＹの接合後に獲得される接合ベクトル（Ｘ，Ｙ）は、グラフ畳み込みモジュールへ入力され、すなわち、ＧＣＮ層１への入力は、（Ｘ，Ｙ）である。（Ｘ，Ｙ）に基づいたＧＣＮ層１の計算結果がＧ１（Ｘ，Ｙ）によって表される場合、ＧＣＮ層１の出力データは、Ｘ’＝Ｇ１（Ｘ，Ｙ）＋Ｘである。
次に、ＧＣＮ層１の出力データＸ’がＹと接合されて、ＧＣＮ層２に入力される接合ベクトル（Ｘ’，Ｙ）を獲得する。（Ｘ’，Ｙ）に基づいたＧＣＮ層２の計算結果がＧ２（Ｘ’，Ｙ）によって表される場合、ＧＣＮ層２の出力データは、Ｘ’’＝Ｇ１（Ｘ’，Ｙ）＋Ｘ’である。
次に、ＧＣＮ層２の出力データＸ’’がＹと接合されて、ＧＣＮ層３に入力される接合ベクトル（Ｘ’’，Ｙ）を獲得する。（Ｘ’’，Ｙ）に基づいたＧＣＮ層３の計算結果がＧ３（Ｘ’’，Ｙ）によって表される場合、ＧＣＮ層３の出力データは、Ｘ’’’＝Ｇ１（Ｘ’’，Ｙ）＋Ｘ’’である。
ステップ２０７において、グラフ畳み込みモジュールの計算結果は、管状構造認識モデル内の全結合層に伝送される。全結合層では、少なくとも一つの管状画像が既知の管状構造に属する可能性が、グラフ畳み込みモジュールの出力に従って計算されてもよく、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造は、この可能性に従って出力される。
この実施形態において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像により提供される管状構造の様々な異なる情報は、完全に使用されることができ、これは管状画像の認識結果を向上させることにつながる。
例えば、管状構造が血管であるとき、血管造影画像上の血管は、提供される実施形態に基づいてより正確に認識されることができ、これは病変分析の効率を向上させることにつながる。
さらには、この実施形態において、ＧＣＮは、血管認識中に血管の空間的構造を十分に活用することができる血管画像の特徴を処理するための管状構造認識モデルにおいて使用され、主血管に対する枝血管の依存性を減少させ、枝血管の認識結果に対する主血管の認識結果の影響をある程度まで減少させる。加えて、各ＧＣＮ層の出力データがＧＣＮ層の入力データ及びこの入力データに基づいたＧＣＮ層の計算結果を含むように、残差計算方式がこの実施形態においては導入され、これはＧＣＮ層内の特徴の効果的な伝送及び血管認識の正確性の向上につながる。
いくつかの実施形態において、血管造影画像上の少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管が認識された後、少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名は、ユーザが血管認識結果を見るために、血管造影画像上にさらに表示されてもよい。
いくつかの実施形態において、ユーザは、実際の状況に従って血管認識結果を修正することができる。例えば、ユーザは、少なくとも一つの血管画像のいずれか又は血管名のいずれかをダブル・クリックして、名前修正動作を開始することができる。少なくとも一つの血管画像のいずれかに対する名前修正動作に応答して、修正された血管名が獲得されてもよく、また修正された血管名が表示されてもよい。いくつかの実施形態において、修正された血管名は、管状構造認識モデルを繰り返し再訓練して管状構造認識モデルをさらに最適化するために、管状構造認識モデルの真値として見られてもよい。
いくつかの実施形態において、各血管名が属する一つ又は複数の健康な血管の血管造影図から獲得される画像がさらに獲得されて、参照画像としての役割を果たすことができる。例えば、血管造影画像に含まれる３つの血管造影図の血管名は、ＬＣＡ、ＬＣＸ、及びＬＡＤである。次いで、健康な状態にあるＬＣＡ、ＬＣＸ、及びＬＡＤの血管造影画像が獲得され、参照画像としての役割を果たすことができる。
次に、参照画像及び少なくとも一つの血管画像は、比較及び表示されてもよい。そのような比較及び表示方式は、少なくとも一つの血管造影画像内に例外があるかどうかをユーザが素早く見るのを促進することができる。
いくつかの実施形態において、血管名が属する健康な血管の形状特徴は、各血管名が属する一つ又は複数の健康な血管の血管造影図から獲得される画像に基づいて獲得されてもよい。形状特徴は、方向特徴、直径特徴、壁厚特徴、及び同様のものを含むことができ、これはこの実施形態において限定されない。次に、少なくとも一つの血管画像の形状特徴は、健康な血管の形状特徴と比較されてもよく、少なくとも一つの血管画像内の異常状態にある血管画像は、比較の結果に従って決定されて、標的血管画像としての役割を果たすことができる。
次いで、標的血管画像は、目立って表示されてもよい。いくつかの実施形態において、標的血管画像が目立って表示される方式は、標的血管を強調表示すること、標的血管にスター記号を追加すること、標的血管を部分的に拡大すること、及び表示用に標的血管を選択することを含むことができるが、これはこの実施形態において限定されない。そのような方式に基づいて、ユーザは、能動的に例外を求められる場合があり、以て、血管造影画像に対する分析についてのユーザの効率を向上させる。
本出願の先述及び以下の実施形態に使用される管状構造認識モデルが血管認識のために構成されるとき、大量の血管造影画像が、図２ｂに例証されるモデル構造に基づいたモデル訓練のための訓練サンプルとして扱われてもよい。訓練中、使用される損失関数は、交差エントロピー損失関数であってもよく、これはここでは詳細に説明されない。
図３は、本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。図３に示されるように、本方法は、以下のステップを含む。
ステップ３０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ３０２。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得すること。
いくつかの実施形態において、管状構造認識モデルは、ＣＮＮ、ＤＮＮ、ＧＣＮ、ＲＮＮ、及びＬＳＴＭのうちの一つ又は複数を含むことができ、これはこの実施形態において限定されない。
いくつかの実施形態において、処理されるべき画像上の管状構造の画像特徴及び空間分布特徴を十分に活用するため、管状構造認識モデルは、図２ｂに示される構造として実装されてもよい。相応して、特徴計算層は、図２ｂに示されるＧＣＮ層として実装されてもよい。
この実施形態において、特徴計算層の出力データは、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む。
いくつかの実施形態において、特徴計算層が初期特徴計算層である場合、特徴計算層の入力データの一部分は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴であり、このとき特徴計算層の出力データは、少なくとも一つの管状画像の少なくとも一つの空間分布特徴、及び特徴計算層の入力データに基づいた特徴計算層の計算結果を含むことができる。
特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データの一部分は、前の特徴計算層の出力データである。このとき、特徴計算層の出力データは、前の特徴計算層の出力データ、及び特徴計算層の入力データに基づいた特徴計算層の計算結果を含むことができる。
いくつかの実施形態において、特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データは、前の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む。詳細は、図２ｄ及び先述の実施形態の説明を参照して得ることができ、これはここでは詳細に説明されない。
先述に基づいて、モデルの漸進的深化に伴って、特徴計算層に入力されるデータ及び特徴計算層の計算結果データは、特徴計算層間で効果的に伝送されることができ、これは管状構造認識の正確性を向上させることにつながる。
図４は、本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。図４に示されるように、本方法は、以下のステップを含む。
ステップ４０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ４０２。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第１の特徴計算層の出力データが、第１の特徴計算層により、第１の特徴計算層の入力データに基づいた第１の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第１の特徴計算層の後に位置する第２の特徴計算層の入力データが、第１の特徴計算層の出力データ及び少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得すること。
いくつかの実施形態において、管状構造認識モデルは、ＧＣＮを含み、第２の特徴計算層の入力データは、ノードとして融合特徴を有する構造グラフを含む。詳細は、先述の実施形態の説明を参照して得ることができ、これはここでは詳細に説明されない。
この実施形態において、前の特徴計算層の出力データが次の特徴計算層へ入力されるとき、少なくとも一つの管状画像のそれぞれの特徴が、まとめて入力データとしての役割を果たすために導入されてもよく、これは、ＧＣＮ層間での少なくとも一つの管状画像の画像特徴の伝送の効果をさらに強化し、管状構造認識のプロセスへの画像特徴の貢献を強化することができる。
図５は、本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。図５に示されるように、本方法は、以下のステップを含む。
ステップ５０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ５０２。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルがＧＣＮを含み、ＧＣＮの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得すること。
いくつかの実施形態において、少なくとも一つの管状画像の特徴は、少なくとも一つの管状画像の少なくとも一つのそれぞれの少なくとも一つの空間分布特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を含む。
この実施形態において、ＧＣＮに基づいた管状構造認識モデルの構築は、グラフ構造データのためのＧＣＮの処理能力を存分に発揮し、管状構造認識の間、管状画像の空間構造特徴を十分に活用することができ、以て、管状構造認識結果の正確性をさらに向上させる。
先述の実施形態に提供される各方法のステップはすべて、同じデバイスによって実施されてもよく、又は各方法は、異なるデバイスによって実施されてもよい。例えば、ステップ２０１～ステップ２０４は、デバイスＡによって実施されてもよい。別の例では、ステップ２０１及びステップ２０２は、デバイスＡによって実施されてもよく、ステップ２０３は、デバイスＢによって実施されてもよい、などである。
さらには、先述の実施形態及び添付の図面に説明されるプロセスのうちのいくつかは、何らかの順序で発生する複数の動作を含む。しかしながら、この動作は、動作が本明細書において発生する順序で実施されなくてもよいこと、又は並行して実施されてもよいことを明白に理解されたい。２０１及び２０２などの動作の通し番号は、異なる動作を区別するために使用されるにすぎず、この通し番号は、実行の任意の順序を表すものではない。加えて、プロセスは、より多く又はより少ない動作を含むことができ、動作は、順に実施されるか、又は並行して実施されてもよい。
「第１」、「第２」、及び本明細書内の他の説明は、異なるメッセージ、デバイス、モジュール、及び同様のものを区別するために使用され、順番を表すものでも、「第１」及び「第２」を異なるタイプとするものでもないということに留意されたい。
本出願の実施形態によるデータ処理方法の典型的なアプリケーション・シナリオは、図６を参照して以下に例証される。
本出願の実施形態によるデータ処理方法は、冠動脈性心疾患の診断に適用されてもよい。患者の冠動脈血管造影画像が獲得された後、冠動脈血管造影画像及び冠動脈樹の中心線が、データ処理デバイスに入力されてもよい。データ処理デバイスは、冠動脈血管造影画像上の血管を認識し、血管認識結果を含む画像を出力するために、先述の実施形態に提供される方法を実施することができる。血管認識結果は、図６に示されるＡ～Ｇなど、冠動脈枝の命名結果を含む。冠動脈枝の命名結果に基づいて、ＣＡＤシステムは、冠動脈樹を再構築し、狭窄／プラークを検出及び診断し、最後に診断レポートを生成することができる。診断レポートは、医師に疾病の診断についての追加情報を提供することができ、以て、医師の作業効率を向上させる。
図７は、本出願の実施形態によるデータ処理デバイスの概略構造図である。図７に示されるように、データ処理デバイスは、メモリ７０１及びプロセッサ７０２を含む。
メモリ７０１は、コンピュータ命令を記憶するように構成され、また、データ処理デバイス上での動作をサポートするために様々な他のデータを記憶するように構成されてもよい。例えば、データは、任意のアプリケーション又は方法がデータ処理デバイス上で動作するための命令、コンタクト・データ、電話帳データ、メッセージ、画像、動画、及び同様のものを含む。
メモリ７０１は、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、電気的消去可能プログラマブル・リードオンリ・メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル・リードオンリ・メモリ（ＥＰＲＯＭ）、プログラマブル・リードオンリ・メモリ（ＰＲＯＭ）、リードオンリ・メモリ（ＲＯＭ）、磁気メモリ、フラッシュ・メモリ、磁気ディスク、又は光学ディスクなど、任意のタイプの揮発性もしくは不揮発性ストレージ・デバイス又はそれらの組み合わせによって実装されてもよい。
プロセッサ７０２は、メモリ７０１に結合され、処理されるべき画像を獲得することであって、処理されるべき画像が、少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算すること、及び少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを行うために、メモリ７０１内のコンピュータ・プログラムを実行するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算するとき、プロセッサ７０２は、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得し、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像のいずれかについて、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するとき、プロセッサ７０２は、少なくとも一つの管状画像のいずれかについて、管状画像の中心線上の始点、終点、及び少なくとも一つの中点の位置座標に従って管状画像の位置特徴ベクトルを生成し、その管状画像について、始点の接線ベクトル及び終点を指す始点のベクトルに従って管状画像の方向特徴ベクトルを獲得し、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って少なくとも一つの管状画像同士の接続関係を獲得するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するとき、プロセッサ７０２は、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出し、ＣＮＮ及びＬＳＴＭアルゴリズムを使用することによって、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域に対して特徴抽出を実施して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識するとき、プロセッサ７０２は、管状構造認識モデルに基づいて、少なくとも一つの管状画像にそれぞれ対応する空間分布特徴及び画像特徴の融合特徴を獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を、管状構造認識モデル内の特徴計算モジュールの入力データとして見て、特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得し、管状構造認識モデルの全結合層に基づいて、特徴計算モジュールの出力データに従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像にそれぞれ対応する空間分布特徴及び画像特徴の融合特徴を獲得するとき、プロセッサ７０２は、少なくとも一つの管状画像のいずれかについて、管状画像の空間分布特徴に対応するベクトル、及び管状画像の画像特徴に対応するベクトルを接合して、管状画像の特徴接合ベクトルを獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴として、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの特徴接合ベクトルを獲得するように構成される。
いくつかの実施形態において、管状構造認識モデルはＧＣＮを含み、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を、管状構造認識モデル内の特徴計算モジュールの入力データとして見るとき、プロセッサ７０２は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴から少なくとも一つの管状画像同士の接続関係を獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をノードとして見ることによって少なくとも一つの管状画像同士の接続関係に従って構造グラフを描写し、構造グラフを特徴計算モジュールの入力データとして見るように構成される。
いくつかの実施形態において、特徴計算モジュールは複数のグラフ畳み込み層を含み、特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得するとき、プロセッサ７０２は、複数のグラフ畳み込み層内の第１のグラフ畳み込み層に基づいて、第１の構造グラフ内のノード同士の入力接続関係に従って第１の構造グラフを更新して第２の構造グラフを獲得し、第１のグラフ畳み込み層のモデル・パラメータ及び第２の構造グラフに従って第１のグラフ畳み込み層の出力データを獲得するように構成され、第１のグラフ畳み込み層が初期グラフ畳み込み層である場合、第１の構造グラフは入力データに含まれる構造グラフであり、第１のグラフ畳み込み層が初期グラフ畳み込み層ではない場合、第１の構造グラフは、第１のグラフ畳み込み層の前のグラフ畳み込み層によって出力される構造グラフに従って獲得される。
いくつかの実施形態において、第１の構造グラフ内のノード同士の入力接続関係に従って第１の構造グラフを更新して第２の構造グラフを獲得するとき、プロセッサ７０２は、第１の構造グラフ内の第１のノードについて、第１の構造グラフから第１のノードに接続される第２のノードを獲得し、第１のノードに対応する融合特徴及び第２のノードに対応する融合特徴に対して特徴融合動作を実施し、特徴融合動作後に獲得される特徴に従って、第１のノードに対応する融合特徴を更新するように構成される。
いくつかの実施形態において、第１のグラフ畳み込み層のモデル・パラメータ及び第２の構造グラフに従って第１のグラフ畳み込み層の出力データを獲得するとき、プロセッサ７０２は、第１のグラフ畳み込み層のモデル・パラメータに従って第２の構造グラフに対して特徴抽出を実施して、第３の構造グラフを獲得し、第１のグラフ畳み込み層が初期グラフ畳み込み層である場合、第１のグラフ畳み込み層の出力データとしての役割を果たすように少なくとも一つの管状画像の少なくとも一つの空間分布特徴及び第３の構造グラフを重ね合わせ、第１のグラフ畳み込み層が初期グラフ畳み込み層ではない場合、第１のグラフ畳み込み層の出力データとしての役割を果たすように前のグラフ畳み込み層の出力データ及び第３の構造グラフを重ね合わせるように構成される。
いくつかの実施形態において、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識した後、プロセッサ７０２は、血管造影画像上に、少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名を表示するようにさらに構成される。
いくつかの実施形態において、プロセッサ７０２は、少なくとも一つの血管画像のいずれかについての名前修正動作に応答して、修正された血管名を獲得し、修正された血管名を表示し、修正された血管名に従って管状構造認識モデルを最適化するようにさらに構成される。
いくつかの実施形態において、プロセッサ７０２は、少なくとも一つの血管名が属する少なくとも一つの健康な血管の血管造影図から獲得される参照画像を獲得し、この参照画像及び少なくとも一つの血管画像を比較及び表示するようにさらに構成される。
いくつかの実施形態において、プロセッサ７０２は、少なくとも一つの血管名のうちの一つが属する健康な血管の形状特徴を獲得し、少なくとも一つの血管画像の形状特徴を健康な血管の形状特徴と比較し、比較の結果に従って、少なくとも一つの血管画像内の異常状態にある標的血管画像を決定し、標的血管画像を目立って表示するようにさらに構成される。
いくつかの実施形態において、プロセッサ７０２は、第２のグラフ畳み込み層の入力データとしての役割を果たすように、第１のグラフ畳み込み層の出力データ及び少なくとも一つの管状画像の画像特徴に対して特徴融合を実施するようにさらに構成される。第２のグラフ畳み込み層は、第１のグラフ畳み込み層の次のグラフ畳み込み層である。
さらに、図７に示されるように、データ処理デバイスは、通信構成要素７０３、ディスプレイ７０４、電力構成要素７０５、及び他の構成要素をさらに含む。図７は、いくつかの構成要素のみを例証し、これは、データ処理デバイスが図７に示される構成要素だけを含むことを意味するものではない。
通信構成要素７０３は、通信構成要素が配置されるデバイスと他のデバイスとの間の有線又はワイヤレス通信を促進するように構成される。通信構成要素が配置されるデバイスは、Ｗｉ－Ｆｉ、２Ｇ、３Ｇ、４Ｇ、又は５Ｇ、又はそれらの組み合わせなどの通信規格に基づいてワイヤレス・ネットワークに接続されてもよい。一実施形態において、通信構成要素は、ブロードキャスト・チャネルを介して外部ブロードキャスト管理システムからブロードキャスト信号又はブロードキャスト関連情報を受信する。一実施形態において、通信構成要素は、近距離無線通信（ＮＦＣ）技術、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術、及び他の技術に基づいて実装されてもよい。
ディスプレイ７０４は、スクリーンを含む。ディスプレイのスクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチ・パネル（ＴＰ）を含むことができる。スクリーンがＴＰを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチ・パネルとして実装されてもよい。ＴＰは、ＴＰ上のタッチ、スライド、及びジェスチャを感知するための一つ又は複数のタッチ・センサを含む。タッチセンサ（複数可）は、タッチ又はスライド動作の境界を感知するだけでなく、タッチ又はスライド動作と関連付けられた持続時間及び圧力を検出することができる。
電力構成要素７０５は、電力構成要素が配置されるデバイスの様々な構成要素のための電力を提供する。電力構成要素は、電力構成要素が配置されるデバイスのための電力生成、管理、及び分配と関連付けられた、電力管理システム、一つ又は複数の電源、並びに他の構成要素を含むことができる。
この実施形態において、データ処理デバイスは、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って管状構造を認識し、管状構造の複数の複雑な特徴を認識根拠として見ることができ、また処理されるべき画像によって提供される管状構造の様々な異なる情報を十分に活用することができ、これは、管状画像の認識結果を向上させること、及び病変分析の効率を向上させることにつながる。
図７に例証されるデータ処理デバイスは、先述の実施形態において説明されるデータ処理論理に従うデータ処理動作に加えて、以下に説明されるデータ処理論理に従うデータ処理動作をさらに実施することができる。
実行論理１：プロセッサ７０２は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、及び処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得することを行うように構成される。
いくつかの実施形態において、特徴計算層が初期特徴計算層である場合、特徴計算層の入力データの一部分は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴である。
特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データの一部分は、前の特徴計算層の出力データである。
いくつかの実施形態において、特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データは、前の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む。
実行論理２：プロセッサ７０２は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第１の特徴計算層の出力データが、第１の特徴計算層により、第１の特徴計算層の入力データに基づいた第１の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第１の特徴計算層の後に位置する第２の特徴計算層の入力データが、第１の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得することを行うように構成される。
いくつかの実施形態において、管状構造認識モデルは、ＧＣＮを含み、第２の特徴計算層の入力データは、ノードとして融合特徴を有する構造グラフを含む。
実行論理３：プロセッサ７０２は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、及び処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルがＧＣＮを含み、ＧＣＮの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得することを行うように構成される。
いくつかの実施形態において、少なくとも一つの管状画像の特徴は、少なくとも一つの管状画像の少なくとも一つのそれぞれの少なくとも一つの空間分布特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を含む。
相応して、本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供する。コンピュータ・プログラムは、実行されると、先述の方法実施形態における、データ処理デバイスによって実行されてもよい様々なステップを実施することができる。
相応して、本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供する。コンピュータ・プログラムは、実行されると、先述の方法実施形態における、サーバによって実行されてもよい様々なステップを実施することができる。
当業者は、本出願の実施形態が、方法、システム、又はコンピュータ・プログラム製品として提供されてもよいことを理解するものとする。したがって、本出願は、完全ハードウェア実施形態、完全ソフトウェア実施形態、又はソフトウェア及びハードウェア態様を組み合わせた実施形態の形態をとってもよい。さらには、本出願は、コンピュータ利用可能プログラム・コードを含む一つ又は複数のコンピュータ利用可能記憶媒体（ディスク・メモリ、コンパクト・ディスク・リードオンリ・メモリ（ＣＤ－ＲＯＭ）、光学メモリ、及び同様のものを含むが、これらに限定されない）に実装されるコンピュータ・プログラム製品の形態をとってもよい。
本出願は、本出願の実施形態による方法、デバイス（システム）、及びコンピュータ・プログラム製品のフローチャート及び／又はブロック図を参照して説明される。フローチャート及び／又はブロック図内の各プロセス及び／又はブロック、並びにフローチャート及び／又はブロック図内のプロセス及び／又はブロックの組み合わせは、コンピュータ・プログラム命令によって実施されてもよい。コンピュータ・プログラム命令は、マシンを生成するために、汎用コンピュータ、特殊目的コンピュータ、埋め込み型コンピュータ、又は他のプログラム可能なデータ処理デバイスのプロセッサに提供されてもよく、その結果として、コンピュータ又は他のプログラム可能なデータ処理デバイスのプロセッサによって実行される命令は、フローチャート及び／又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施するように構成される装置を生成する。
コンピュータ・プログラム命令はまた、コンピュータ又は他のプログラム可能なデータ処理デバイスが何らかの方式で動作するように誘導することができるコンピュータ可読メモリに記憶されてもよく、その結果として、コンピュータ可読メモリに記憶される命令は、命令装置を含む製造物品を生成する。命令装置は、フローチャート及び／又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施する。
コンピュータ・プログラム命令はまた、コンピュータ又は他のプログラム可能なデータ処理デバイス上にインストールされてもよく、その結果として、一連の動作ステップは、コンピュータ実施処理をもたらすためにコンピュータ又は他のプログラム可能なデータ処理デバイス上で実施され、及びしたがって、コンピュータ又は他のプログラム可能なデータ処理デバイス上で実行される命令は、フローチャート及び／又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施するためのステップを提供する。
典型的な構成において、コンピューティング・デバイスは、一つ又は複数の中央処理装置（ＣＰＵ）、入力／出力インターフェース、ネットワーク・インターフェース、及びメモリを含む。
メモリは、揮発性メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、及び／又は不揮発性メモリ、並びに、ＲＯＭ又はフラッシュ・メモリ（フラッシュＲＡＭ）など、コンピュータ可読媒体内の他の形態を含むことができる。メモリは、コンピュータ可読媒体の例である。
コンピュータ可読媒体は、不揮発性及び揮発性媒体、並びに取り外し可能及び非取り外し可能媒体を含む。情報ストレージは、任意の方法又は技術を用いて実装されてもよい。情報は、コンピュータ可読命令、データ構造、プログラムのモジュール、又は他のデータであってもよい。例えば、コンピュータ・ストレージ媒体は、相変化ランダム・アクセス・メモリ（ＰＲＡＭ）、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、他のタイプのＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学ストレージ、カセット・テープ、磁気テープ／磁気ディスク・ストレージ、もしくは他の磁気ストレージ・デバイス、又は任意の他の非伝送媒体を含むが、これらに限定されず、コンピューティング・デバイスがアクセス可能な情報を記憶するために使用されてもよい。本明細書内の説明によると、コンピュータ可読媒体は、変調データ信号及び搬送波などの一時的なコンピュータ可読媒体（一時的なデータ）を含まない。
用語「含む」、「備える」、又はそれらの任意の他の変異形は、非排他的な包含を網羅することが意図され、そのため、一連の要素を含むプロセス、方法、商品、もしくはデバイスは、その要素を含むだけでなく、明白に列挙されない他の要素も含むか、又はそのようなプロセス、方法、商品、もしくはデバイスに固有の要素をさらに含む、ということにさらに留意されたい。さらなる制限がない限り、「～を含む」という記述によって規定される要素は、その要素を含むプロセス、方法、商品、又はデバイス内に他の同一の要素がさらに存在することを除外しない。
先述の説明は、本出願の実施形態を含み、本出願を限定することを意図しない。当業者のために、本出願は、様々な修正及び変更の対象となってもよい。本出願の趣旨及び原理内でなされる任意の修正、等価の交換、改善、及び同様のものは、本出願の特許請求項の範囲に包含されるものとする。

Claims (20)

  1. データ処理のためのコンピュータ実施方法であって、
    標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
    前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
    管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
    前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む、コンピュータ実施方法。
  2. 前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定することは、
    前記標的画像から、前記少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得すること、及び
    前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することを含む、請求項１に記載の方法。
  3. 前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することは、以下のうちの少なくとも一つ：
    前記少なくとも一つの管状画像のいずれかについて、前記管状画像の前記中心線上の始点、終点、及び少なくとも一つの中点の位置座標に従って前記管状画像の位置特徴ベクトルを生成すること、
    前記管状画像について、前記始点の接線ベクトル及び前記始点から前記終点までのベクトルに従って前記管状画像の方向特徴ベクトルを獲得すること、並びに
    前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って前記少なくとも一つの管状画像同士の接続関係を獲得することを含む、請求項２に記載の方法。
  4. 前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することは、
    前記標的画像から、前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出すること、並びに
    畳み込みニューラル・ネットワーク（ＣＮＮ）及び長・短期記憶（ＬＳＴＭ）アルゴリズムを使用することにより、前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの画像領域に対して特徴抽出を実施して、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得することを含む、請求項２に記載の方法。
  5. 管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得することは、
    前記少なくとも一つの管状画像のいずれかについて、前記管状画像の空間分布特徴に対応するベクトル、及び前記管状画像の画像特徴に対応するベクトルを接合して、前記管状画像の特徴接合ベクトルを獲得すること、並びに
    前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴として、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの特徴接合ベクトルを獲得することを含む、請求項１に記載の方法。
  6. 前記管状構造認識モデル及び前記融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することは、
    前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴を入力データとして前記管状構造認識モデル内の特徴計算モジュールに入力すること、
    前記特徴計算モジュールにおいて、前記入力データ及び設定されたモデル・パラメータに従って決定して、前記特徴計算モジュールの出力データを獲得すること、並びに
    前記管状構造認識モデルの全結合層に基づいて、前記特徴計算モジュールの前記出力データに従って前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの管状構造を認識することを含む、請求項１に記載の方法。
  7. 前記管状構造認識モデルは、グラフ畳み込みネットワーク（ＧＣＮ）を含み、
    前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴を入力データとして前記管状構造認識モデル内の特徴計算モジュールに入力することは、
    前記少なくとも一つの管状画像の少なくとも一つの空間分布特徴から前記少なくとも一つの管状画像同士の接続関係を獲得すること、
    前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴をノードとして見ることにより、前記少なくとも一つの管状画像同士の前記接続関係に従って構造グラフを生成すること、及び
    前記構造グラフを前記特徴計算モジュールの前記入力データとして入力することを含む、請求項６に記載の方法。
  8. 前記特徴計算モジュールは、複数のグラフ畳み込み層を含み、
    前記特徴計算モジュールにおいて、前記入力データ及び設定されたモデル・パラメータに従って決定して、前記特徴計算モジュールの出力データを獲得することは、
    前記複数のグラフ畳み込み層内の第１のグラフ畳み込み層に基づいて、第１の構造グラフを前記第１の構造グラフ内のノード同士の入力接続関係に従って更新して、第２の構造グラフを獲得することであって、前記第１のグラフ畳み込み層が初期グラフ畳み込み層であり、前記第１の構造グラフが前記入力データに含まれる構造グラフである、獲得すること、並びに
    前記第１のグラフ畳み込み層のモデル・パラメータ及び前記第２の構造グラフに従って前記第１のグラフ畳み込み層の出力データを獲得することを含む、請求項７に記載の方法。
  9. 前記特徴計算モジュールは、複数のグラフ畳み込み層を含み、前記第１のグラフ畳み込み層は、初期グラフ畳み込み層ではなく、
    前記特徴計算モジュールにおいて、前記入力データ及び設定されたモデル・パラメータに従って決定して、前記特徴計算モジュールの出力データを獲得することは、
    前記第１のグラフ畳み込み層の前のグラフ畳み込み層によって出力される構造グラフに従って第１の構造グラフを獲得すること、
    前記複数のグラフ畳み込み層内の第１のグラフ畳み込み層に基づいて、前記第１の構造グラフを前記第１の構造グラフ内のノード同士の入力接続関係に従って更新して、第２の構造グラフを獲得すること、並びに
    前記第１のグラフ畳み込み層のモデル・パラメータ及び前記第２の構造グラフに従って前記第１のグラフ畳み込み層の出力データを獲得することを含む、請求項７に記載の方法。
  10. 前記第１の構造グラフを前記第１の構造グラフ内のノード同士の入力接続関係に従って更新して、前記第２の構造グラフを獲得することは、
    前記第１の構造グラフ内の第１のノードについて、前記第１の構造グラフから前記第１のノードに接続される第２のノードを獲得すること、
    前記第１のノードに対応する融合特徴及び前記第２のノードに対応する融合特徴に対して特徴融合動作を実施すること、並びに
    前記特徴融合動作が実施された後に獲得される特徴に従って、前記第１のノードに対応する前記融合特徴を更新することを含む、請求項９に記載の方法。
  11. 前記第１のグラフ畳み込み層のモデル・パラメータ及び前記第２の構造グラフに従って前記第１のグラフ畳み込み層の前記出力データを獲得することは、
    前記第１のグラフ畳み込み層の前記モデル・パラメータに従って前記第２の構造グラフに対して特徴抽出を実施して、第３の構造グラフを獲得すること、
    前記第１のグラフ畳み込み層が初期グラフ畳み込み層であるとき、前記第１のグラフ畳み込み層の前記出力データとしての役割を果たすように、前記少なくとも一つの管状画像の前記少なくとも一つの空間分布特徴及び前記第３の構造グラフを重ね合わせること、並びに
    前記第１のグラフ畳み込み層が初期グラフ畳み込み層ではないとき、前記第１のグラフ畳み込み層の前記出力データとしての役割を果たすように、前のグラフ畳み込み層の出力データ及び前記第３の構造グラフを重ね合わせることを含む、請求項９に記載の方法。
  12. 次のグラフ畳み込み層の入力データとしての役割を果たすように、前記第１のグラフ畳み込み層の前記出力データ及び前記少なくとも一つの管状画像の前記画像特徴に対して特徴融合を実施することをさらに含む、請求項１１に記載の方法。
  13. 前記標的画像は、血管造影画像、及び少なくとも一つの血管画像を含む前記少なくとも一つの管状画像を含み、前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの管状構造を認識した後、前記方法は、
    前記血管造影画像上に、前記少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名を表示することをさらに含む、請求項１に記載の方法。
  14. 前記少なくとも一つの血管画像のいずれかについての名前修正動作に応答して、修正された血管名を獲得すること、及び
    前記修正された血管名を表示し、前記修正された血管名に従って前記管状構造認識モデルを最適化することをさらに含む、請求項１３に記載の方法。
  15. 前記少なくとも一つの血管名が属する少なくとも一つの健康な血管の血管造影図から参照画像を獲得すること、並びに
    前記参照画像及び前記少なくとも一つの血管画像を比較及び表示することをさらに含む、請求項１３に記載の方法。
  16. 前記少なくとも一つの血管名のうちの一つが属する健康な血管の形状特徴を獲得すること、
    前記少なくとも一つの血管画像の形状特徴を前記健康な血管の前記形状特徴と比較すること、
    前記比較の結果に従って、前記少なくとも一つの血管画像内の異常状態にある標的血管画像を決定すること、及び
    前記標的血管画像を表示することをさらに含む、請求項１３に記載の方法。
  17. 前記管状構造認識モデルは、特徴計算層を含み、前記管状構造認識モデル内の前記特徴計算層の出力データは、前記特徴計算層の入力データの一部分、及び前記入力データに基づいた前記特徴計算層の計算結果を含み、
    前記特徴計算層は、初期特徴計算層であり、前記特徴計算層の入力データの一部分は、前記少なくとも一つの管状画像の少なくとも一つの空間分布特徴である、請求項１に記載の方法。
  18. 前記管状構造認識モデルは、特徴計算層を含み、前記管状構造認識モデル内の前記特徴計算層の出力データは、前記特徴計算層の入力データの一部分、及び前記入力データに基づいた前記特徴計算層の計算結果を含み、
    前記特徴計算層は、初期特徴計算層ではなく、前記特徴計算層の入力データの一部分は、前の特徴計算層の出力データであり、前記特徴計算層の前記入力データは、前記前の特徴計算層の前記出力データを融合することにより獲得される少なくとも一つの融合特徴、及び前記少なくとも一つの管状画像の少なくとも一つの画像特徴を含む、請求項１に記載の方法。
  19. データ処理のための装置であって、一つ又は複数のプロセッサと、前記一つ又は複数のプロセッサに結合され、命令により構成される一つ又は複数の非一時的なコンピュータ可読メモリとを備え、前記命令は、
    標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
    前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
    管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
    前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること
    を含む動作を前記装置に実施させるために前記一つ又は複数のプロセッサによって実行可能である、装置。
  20. 命令により構成される非一時的なコンピュータ可読記憶媒体であって、前記命令は、
    標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
    前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
    管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
    前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること
    を含む動作を一つ又は複数のプロセッサに実施させるために前記一つ又は複数のプロセッサによって実行可能である、非一時的なコンピュータ可読記憶媒体。
JP2022539274A 2019-12-25 2020-12-21 データ処理方法、装置及び記憶媒体 Active JP7395753B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911357874.1 2019-12-25
CN201911357874.1A CN113034425A (zh) 2019-12-25 2019-12-25 数据处理方法、设备及存储介质
PCT/US2020/066286 WO2021133700A1 (en) 2019-12-25 2020-12-21 Data processing method, equipment and storage medium

Publications (2)

Publication Number Publication Date
JP2023508436A true JP2023508436A (ja) 2023-03-02
JP7395753B2 JP7395753B2 (ja) 2023-12-11

Family

ID=76458232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539274A Active JP7395753B2 (ja) 2019-12-25 2020-12-21 データ処理方法、装置及び記憶媒体

Country Status (5)

Country Link
US (1) US11721015B2 (ja)
EP (1) EP4081980A4 (ja)
JP (1) JP7395753B2 (ja)
CN (1) CN113034425A (ja)
WO (1) WO2021133700A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758050A (zh) * 2023-07-12 2023-09-15 强联智创（北京）科技有限公司 用于颅内Wills环血管中心线盲补全的方法及产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610808B (zh) * 2021-08-09 2023-11-03 中国科学院自动化研究所 基于个体脑连接图的群体脑图谱个体化方法、系统和设备
CN114863230A (zh) * 2022-04-06 2022-08-05 阿里巴巴（中国）有限公司 图像处理方法、假货识别方法及电子设备
CN114926700B (zh) * 2022-07-22 2022-10-25 浙江大学 冠状动脉类别确定方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026793A1 (en) * 2007-05-30 2011-02-03 Vikash Ravi Goel Automated centerline extraction method and generation of corresponding analytical expression and use thereof
JP2016509501A (ja) * 2013-01-15 2016-03-31 キャスワークス・リミテッドＣａｔｈＷｏｒｋｓ Ｌｔｄ． リアルタイムの診断上有用な結果

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6416959B1 (en) 1997-02-27 2002-07-09 Kenneth Giuliano System for cell-based screening
US20100261159A1 (en) 2000-10-10 2010-10-14 Robert Hess Apparatus for assay, synthesis and storage, and methods of manufacture, use, and manipulation thereof
US7306925B2 (en) 2001-11-09 2007-12-11 Vanderbilt University Phage antibodies to radiation-inducible neoantigens
WO2005009206A2 (en) 2003-06-25 2005-02-03 Besson Guy M Dynamic multi-spectral imaging system
US7372985B2 (en) 2003-08-15 2008-05-13 Massachusetts Institute Of Technology Systems and methods for volumetric tissue scanning microscopy
US20060257006A1 (en) * 2003-08-21 2006-11-16 Koninklijke Philips Electronics N.V. Device and method for combined display of angiograms and current x-ray images
US20070165917A1 (en) * 2005-11-26 2007-07-19 Zhujiang Cao Fully automatic vessel tree segmentation
US7953266B2 (en) 2007-02-06 2011-05-31 Siemens Medical Solutions Usa, Inc. Robust vessel tree modeling
US8781193B2 (en) * 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US7912266B2 (en) 2007-08-07 2011-03-22 Siemens Medical Solutions Usa, Inc. System and method for robust segmentation of tubular structures in 2D and 3D images
CN102077108B (zh) 2008-04-28 2015-02-25 康奈尔大学 分子mri中的磁敏度精确量化
US9679389B2 (en) * 2009-05-19 2017-06-13 Algotec Systems Ltd. Method and system for blood vessel segmentation and classification
JP5395823B2 (ja) * 2011-02-15 2014-01-22 富士フイルム株式会社 手術支援装置、手術支援方法および手術支援プログラム
US20120265050A1 (en) 2011-04-04 2012-10-18 Ge Wang Omni-Tomographic Imaging for Interior Reconstruction using Simultaneous Data Acquisition from Multiple Imaging Modalities
US9404869B2 (en) 2012-10-09 2016-08-02 Howard Hughes Medical Institute Multiview light-sheet microscopy
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
EP3005289B1 (en) 2013-06-07 2017-07-12 Paul Scherrer Institut Image fusion scheme for differential phase contrast imaging
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
AU2014373656B2 (en) 2013-12-31 2019-12-05 Cornell University Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real time
EP3324830B1 (en) * 2015-07-25 2023-01-04 Lightlab Imaging, Inc. Intravascular data visualization method and device
US10176408B2 (en) 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
US9920188B2 (en) 2015-11-02 2018-03-20 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services PVCP phantoms and their use
US11260586B2 (en) 2016-11-18 2022-03-01 Massachusetts Institute Of Technology Multimaterial 3d-printing with functional fiber
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
US10430949B1 (en) * 2018-04-24 2019-10-01 Shenzhen Keya Medical Technology Corporation Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
EP3593722A1 (en) * 2018-07-13 2020-01-15 Neuroanalytics Pty. Ltd. Method and system for identification of cerebrovascular abnormalities
CN110110946B (zh) * 2019-05-27 2021-09-07 江西博微新技术有限公司 基于各向异性Delaunay剖分的水质预测预警系统及其实现方法
JP7261884B2 (ja) * 2019-07-25 2023-04-20 富士フイルム株式会社 学習装置、方法およびプログラム、グラフ構造抽出装置、方法およびプログラム、並びに学習済み抽出モデル
US11896349B2 (en) * 2019-12-09 2024-02-13 Case Western Reserve University Tumor characterization and outcome prediction through quantitative measurements of tumor-associated vasculature

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026793A1 (en) * 2007-05-30 2011-02-03 Vikash Ravi Goel Automated centerline extraction method and generation of corresponding analytical expression and use thereof
JP2016509501A (ja) * 2013-01-15 2016-03-31 キャスワークス・リミテッドＣａｔｈＷｏｒｋｓ Ｌｔｄ． リアルタイムの診断上有用な結果
JP2016511649A (ja) * 2013-01-15 2016-04-21 キャスワークス・リミテッドＣａｔｈＷｏｒｋｓ Ｌｔｄ． 血流予備量比の算出

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758050A (zh) * 2023-07-12 2023-09-15 强联智创（北京）科技有限公司 用于颅内Wills环血管中心线盲补全的方法及产品

Also Published As

Publication number Publication date
JP7395753B2 (ja) 2023-12-11
WO2021133700A1 (en) 2021-07-01
EP4081980A4 (en) 2023-07-05
US20210201481A1 (en) 2021-07-01
CN113034425A (zh) 2021-06-25
US11721015B2 (en) 2023-08-08
EP4081980A1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
JP7395753B2 (ja) データ処理方法、装置及び記憶媒体
JP7453309B2 (ja) 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
US11681952B2 (en) System for augmenting image data of medically invasive devices using optical imaging
CN110060263B (zh) 医学图像的分割方法、分割装置、分割系统及计算机可读介质
Van Uitert et al. Subvoxel precise skeletons of volumetric data based on fast marching methods
Lan et al. A re-engineered software interface and workflow for the open-source simvascular cardiovascular modeling package
JP7361060B2 (ja) ３ｄ関節点回帰モデル生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
Vukicevic et al. Three-dimensional reconstruction and NURBS-based structured meshing of coronary arteries from the conventional X-ray angiography projection images
Neugebauer et al. AmniVis–A System for Qualitative Exploration of Near‐Wall Hemodynamics in Cerebral Aneurysms
CN114732431B (zh) 对血管病变进行检测的计算机实现方法、装置及介质
US10354349B2 (en) Systems and methods for using geometry sensitivity information for guiding workflow
CN111681204A (zh) 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
Acebes et al. A cartesian grid representation of left atrial appendages for a deep learning estimation of thrombogenic risk predictors
Liu et al. Joint estimation of depth and motion from a monocular endoscopy image sequence using a multi-loss rebalancing network
US20220351863A1 (en) Method and System for Disease Quantification of Anatomical Structures
CN116486230B (zh) 基于半递归特征金字塔结构的图像检测方法及存储介质
CN113823385B (zh) 一种修改dicom图像的方法、装置、设备及介质
Dwivedi et al. Predicting 3D Model of Images for Augmented Reality Applications
CN115661358A (zh) 对象三维重建方法、装置、计算机设备和存储介质
Sankaran et al. Physics driven reduced order model for real time blood flow simulations
CN116993920A (zh) 一种血管重建方法、装置、电子设备及存储介质
CN116883430A (zh) 影像分割方法、装置、设备、存储介质和程序产品
Hu et al. Large-Kernel Attention Network with Distance Regression and Topological Self-correction for Airway Segmentation
CN117952891A (zh) 医学图像的分割方法及电子设备
CN116416220A (zh) 眼底血管造影图像的识别方法、识别装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231129

R150 Certificate of patent or registration of utility model

Ref document number: 7395753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150