JP7395753B2 - データ処理方法、装置及び記憶媒体 - Google Patents

データ処理方法、装置及び記憶媒体 Download PDF

Info

Publication number
JP7395753B2
JP7395753B2 JP2022539274A JP2022539274A JP7395753B2 JP 7395753 B2 JP7395753 B2 JP 7395753B2 JP 2022539274 A JP2022539274 A JP 2022539274A JP 2022539274 A JP2022539274 A JP 2022539274A JP 7395753 B2 JP7395753 B2 JP 7395753B2
Authority
JP
Japan
Prior art keywords
image
tubular
feature
layer
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022539274A
Other languages
English (en)
Other versions
JP2023508436A (ja
Inventor
ハン ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2023508436A publication Critical patent/JP2023508436A/ja
Application granted granted Critical
Publication of JP7395753B2 publication Critical patent/JP7395753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
本出願は、2019年12月25日に中国国家知識産権局に提出され、また「DATA PROCESSING METHOD, EQUIPMENT AND STORAGE MEDIUM」という表題のついた、中国特許出願第201911357874.1号に基づき、これに対する優先権及びこの利益を主張するものである。上に特定された出願のすべての内容は、その全体が参照により本明細書に組み込まれる。
本出願は、コンピュータ技術の分野、特に、データ処理方法及びデバイス並びに記憶媒体に関する。
コンピュータ支援診断(CAD)技術は、イメージング、医用画像処理技術、並びに他の可能な生理学的及び生化学的手段と組み合わせて、分析及び計算におけるコンピュータの強力な能力に基づいて、医師が病変を見つけるのを助けることができる。
例えば、血管疾患の処置においては、血管造影が、コンピュータ断層撮影技術に基づいて実施されて、血管造影画像を獲得することができ、次いで、血管造影画像上の血管(vessel)(又はblood vesselと称される)の分布が、病変分析効率を向上させるためにコンピュータ技術に基づいて認識される。
しかしながら、既存の技術は、血管造影画像の認識中に血管造影画像に含まれる特徴を十分に活用せず、結果として比較的低い正確性の認識結果をもたらす。したがって、新規な解決策が必要とされる。
本出願の複数の態様において、データ処理方法及びデバイス並びに記憶媒体は、画像内に含まれる管状画像のための認識結果を強化するために提供される。
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が、少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの空間分布特徴及び画像特徴を計算すること、並びに少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含むデータ処理方法を提供する。
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得することを含むデータ処理方法をさらに提供する。
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第1の特徴計算層の出力データが、第1の特徴計算層により、第1の特徴計算層の入力データに基づいた第1の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第1の特徴計算層の後に位置する第2の特徴計算層の入力データが、第1の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得することを含むデータ処理方法をさらに提供する。
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルが、グラフ畳み込みネットワーク(GCN)を含み、GCNの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得することを含むデータ処理方法をさらに提供する。
本出願の実施形態は、メモリ及びプロセッサを含むデータ処理デバイスをさらに提供し、メモリは、一つ又は複数のコンピュータ命令を記憶するように構成され、プロセッサは、本出願の実施形態に提供されるデータ処理方法内のステップを実施するために一つ又は複数のコンピュータ命令を実行するように構成される。
本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供し、コンピュータ・プログラムは、実行されると、本出願の実施形態に提供されるデータ処理方法内のステップを実施する。
本出願の実施形態は、データ処理のためのコンピュータ実施方法をさらに提供する。本方法は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む。
本出願の実施形態は、データ処理のための装置をさらに提供する。本装置は、一つ又は複数のプロセッサと、一つ又は複数のプロセッサに結合され、命令により構成される一つ又は複数の非一時的なコンピュータ可読メモリとを備え、命令は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む動作を本装置に実施させるために一つ又は複数のプロセッサによって実行可能である。
本出願の実施形態は、命令により構成される非一時的なコンピュータ可読記憶媒体をさらに提供し、命令は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む動作を一つ又は複数のプロセッサに実施させるために一つ又は複数のプロセッサによって実行可能である。
本出願の実施形態に提供されるデータ処理方法において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像によって提供される管状構造の様々な異なる情報は、完全に使用されることができ、これが管状画像の認識結果を向上させることにつながる。
本明細書に説明される添付の図面は、本出願のさらなる理解を提供するために使用され、本出願の一部を形成する。本出願の実施形態及び実施形態の説明は、本出願を説明するために使用されるものであり、本出願に対する過度の制限を構成するものではない。
本出願の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願の実施形態による管状構造認識モデルの概略構造図である。 本出願の実施形態による構造グラフの概略構造図である。 本出願の実施形態によるGCN層のデータ伝送プロセスの概略図である。 本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願の依然として別の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願のさらに別の実施形態によるデータ処理方法の概略的なフローチャートである。 本出願の実施形態によるアプリケーション・シナリオの図である。 本出願の実施形態によるデータ処理デバイスの概略構造図である。
本出願の目的及び利点をより明白にするため、本出願は、本出願の実施形態及び対応する添付の図面と組み合わせて明白に説明されるものとする。明白には、説明された実施形態は、本出願の実施形態のすべてではなく、単に一部にすぎない。創造的な努力なしに本出願における実施形態に基づいて当業者により得られるすべての他の実施形態が、本出願の保護の範囲内にある。
既存の技術では、血管造影画像の認識の間、血管造影画像によって表される部分的な情報のみが考慮され、処理されるべき画像に含まれる様々な複雑な情報は、完全には使用されず、以て、比較的低い正確性の血管認識をもたたらす。以下は、既存の技術において提供される冠動脈枝のための命名方法と組み合わせた既存の技術の欠陥の簡単な説明である。既存の技術では、冠動脈枝のための共通命名方法は、登録ベースの方法、並びに樹構造及び長・短期記憶(LSTM)ネットワークに基づいた方法である。
登録ベースの方法では、冠動脈樹の主枝、具体的には、左冠動脈(LCA)、左主冠動脈(LM)、左前下行枝(LAD)、及び左回旋枝(LCX)が、登録アルゴリズムを使用してまず認識され、次いで残りの枝が、規則及び予備知識(例えば、冠動脈樹のトポロジ)を使用して分類される。
樹構造及びLSTMに基づいたスキームでは、冠動脈樹は、2分木へと構築され、各血管は、2分木のノードと見なされる。次いで、親ノードと子ノードとの相関が、LSTMモデルを使用して学習され、最後に、各ノードのカテゴリが、各血管の名前を獲得するように予測される。
先述の2つのスキームでは、血管樹内の主血管及び枝血管の位置依存性のみが考慮され、血管樹内の血管の他の情報は完全には考慮されない。したがって、かなり大きな誤差が、血管を命名する結果において存在する。誤差は、主血管が誤って命名されるときに特により深刻な結果をもたらす。
既存に技術における先述の技術的問題に関して、本出願の実施形態は、技術的問題を解決するために提供される。本出願の様々な実施形態は、添付の図面を参照して以下に詳細に説明される。
図1は、本出願の実施形態によるデータ処理方法の概略的なフローチャートである。図1に示されるように、本方法は、以下のステップを含む。
ステップ101。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ102。少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算すること。
ステップ103。少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること。
処理されるべき画像は、少なくとも一つの管状構造に対してイメージングを行うことにより獲得される画像を含むことができる。
いくつかの実施形態において、処理されるべき画像は、医用デバイスの助けを借りて生命体の管状構造に対して血管造影を実施することにより獲得される血管造影画像を含むことができる。例えば、画像は、CT技術に基づいて生命体の冠動脈に対して血管造影を実施することにより獲得される冠動脈のCT血管造影(CTA)画像であってもよい。
いくつかの他の実施形態において、処理されるべき画像は、都市に敷かれる温水パイプに対する熱イメージングにより獲得される画像を含むことができる。
いくつかの他の実施形態において、処理されるべき画像は、地理的環境に分布される河道、鉄道線路、高速道路、及び同様のものに対するリモート・センシング技術ベースのイメージングにより獲得されるリモート・センシング画像を含むことができる。処理されるべき画像は、少なくとも一つの管状画像を含む。管状画像とは、管状構造の血管造影後の処理されるべき画像上の対応する画像部分を指す。良好なイメージング結果の状況では、一つの管状画像は、血管造影のための一つの管状構造に対応することができる。例えば、生命体に対する血管造影を通じて獲得される血管造影画像は、血管画像を含むことができる。都市に敷かれる温水パイプに対する熱イメージングにより獲得される画像は、温水パイプ画像を含むことができる。地理的環境に分布される河道に対するリモート・センシング・イメージングにより獲得される画像は、河道画像を含むことができる。
管状構造のイメージングの後、管状構造の特徴は、対応する管状画像に反映されてもよい。したがって、対応する管状構造は、管状画像に示される特徴に基づいて認識されてもよい。一般的に、管状構造は、比較的複雑な空間分布特徴及び個体差を有する。血管(blood vessel)(又はvesselと称される)を例とすると、血管は、生命体において比較的複雑である。生命体の各部分における血管は、主血管、及び主血管の側面から派生される枝血管を含む。血管造影後、主血管及び枝血管は、おおむね樹様である。概して、血管樹内の異なる血管は、いくつかの空間分布特徴を有する。例えば、一部の枝血管は、主血管の左側に位置し、一部の枝血管は、主血管の右側に位置する。局所的に、異なる血管の形状、サイズ、及び方向は、血管樹内で様々である。
先述に基づいて、この実施形態では、処理されるべき画像上の管状画像を認識することにおいて、管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴は、処理されるべき画像から獲得されてもよい。空間分布特徴及び画像特徴に基づいて、管状構造の複雑な特徴は、管状画像を認識するための基礎としてより包括的に捉えられてもよく、これが、処理されるべき画像上の管状構造のより正確な認識につながる。
管状画像の空間分布特徴は、限定されるものではないが、処理されるべき画像上の管状画像の位置特徴及び方向特徴、管状画像同士の接続関係、並びに同様のものを含むことができる。管状画像の画像特徴は、限定されるものではないが、管状画像の形状特徴及びサイズ特徴並びに同様のものを含むことができ、これはここでは詳細に説明されない。
この実施形態において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像によって提供される管状構造の様々な異なる情報は、完全に使用されることができ、これが管状画像の認識結果を向上させることにつながる。
本出願の先述及び以下の実施形態において、管状画像を認識するプロセスは、ニューラル・ネットワーク(NN)ベースの機械学習モデルを使用して実施されてもよい。NNは、畳み込みニューラル・ネットワーク(CNN)、深層ニューラル・ネットワーク(DNN)、グラフ畳み込みネットワーク(GCN)、リカレント・ニューラル・ネットワーク(RNN)、及びLSTMのうちの一つ又は複数を含むことができ、これはこの実施形態に限定されない。
説明を容易にするため、管状画像を認識するためのモデルは、本出願の以下の実施形態では管状構造認識モデルとして説明される。いくつかの実施形態において、処理されるべき画像上の管状画像の複数の特徴を十分に活用するために、管状構造認識モデルは、CNN、LSTM、及びGCNによって形成されてもよく、図2a、図2b、及び図2cを参照して以下に例証される。
図2aは、本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。図2aに示されるように、本方法は、以下のステップを含む。
ステップ201。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ202。処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得すること。
ステップ203。少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線及び処理されるべき画像を管状構造認識モデルに入力すること。
ステップ204。管状構造認識モデルにおいて、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出すること。
ステップ205。管状構造認識モデルにおいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を獲得すること。
ステップ206。少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を管状構造認識モデル内の特徴計算モジュールの入力データとして入力すること。
ステップ207。特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得すること。
ステップ208。管状構造認識モデルの全結合層に基づいて、特徴計算モジュールの出力データに従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること。
ステップ209。少なくとも一つの管状画像にそれぞれ対応する管状構造(複数可)の名前(複数可)を出力すること。
ステップ201において、処理されるべき画像は、少なくとも一つの管状画像を含む。例えば、いくつかのシナリオにおいて、処理されるべき画像が、冠動脈のCT血管造影画像として実装されるとき、処理されるべき画像は、複数の血管画像を含むことができ、複数の血管画像は、樹状分布にある。
ステップ202において、血管を例とすると、血管画像の中心線を獲得する動作は、血管追跡に基づいて実施されてもよい。
血管追跡の間、血管追跡装置が、各位置における血管の方向及び半径を認識し、反復的計算を実施して完全な血管を探すために使用されてもよい。このプロセスでは、血管弁別装置が、血管追跡装置の探索動作を終了するかどうかを決定するために使用されてもよい。血管の中心線は、血管追跡装置及び血管弁別装置によって認識される血管の方向及び半径に基づいて描写されてもよい。血管追跡装置及び血管弁別装置は、マルチタスク3次元(3D)CNNに基づいて実装されてもよく、これはここでは詳細に説明されない。
次に、ステップ203において、処理されるべき画像から抽出される少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線が、管状構造認識モデルに入力されてもよい。
この実施形態において、管状構造認識モデルの入力は、処理されるべき画像、及び処理されるべき画像上の管状画像の少なくとも一つのそれぞれの中心線を含む。管状構造認識モデルの出力は、処理されるべき画像上の管状構造の名前を含む。先述の入力及び出力に基づいて、管状構造認識モデルは、「端から端までの」管状画像認識動作を実施する。「端から端までの」認識の間、管状構造認識モデルは、まず中間結果を生成し、次いで中間結果に従って最終認識結果を獲得するという計算方式を採用せず、以て、最終認識結果の正確性に対する中間結果の正確性の影響を効果的に回避する。
ステップ204において、管状構造認識モデルの構造は、図2bに示されるようなものであってもよい。説明は、図2bを参照して以下に続く。
いくつかの実施形態において、管状構造認識モデルは、特徴抽出モジュールを含んでもよい。特徴抽出モジュールは、各管状画像の中心線に従って、各管状画像の空間分布特徴及び画像特徴を処理されるべき画像から抽出するように構成される。
いくつかの実施形態において、管状構造認識モデルに含まれる特徴抽出モジュールは、空間特徴抽出モジュール及び画像特徴抽出モジュールを含むことができる。
空間特徴抽出モジュールは、各管状画像の空間分布画像を抽出するように構成される。画像特徴抽出モジュールは、各管状画像の画像特徴を抽出するように構成される。図2bに示されるように、いくつかの実施形態において、空間特徴抽出モジュールは、球座標変換(SCTS^2)モジュールに基づいて実施されてもよい。画像特徴抽出モジュールは、3DCNN及びLSTMネットワークに基づいて実施される。他の実施形態において、空間特徴抽出モジュール及び画像特徴抽出モジュールはまた、他のアルゴリズム・モジュールによって実施されてもよく、これはこの実施形態において限定されない。
空間特徴抽出モジュールの実行論理及び画像特徴抽出モジュールの実行論理は、少なくとも一つの管状画像内の第1の管状画像を例とすることにより以下にそれぞれ例証される。第1の管状画像は、少なくとも一つの管状画像のいずれかである。
空間特徴抽出モジュールが空間分布特徴を抽出する方式は、管状画像の中心線に主に基づいて実施される。管状画像の中心線は、空間直交座標系(デカルト座標系とも称される)内の一連の3D座標点によって形成される。いくつかの実施形態において、空間特徴抽出モジュールは、第1の管状画像の中心線上の始点、終点、及び少なくとも一つの中点の位置座標を獲得し、点の位置座標に従って第1の管状画像の位置特徴ベクトルを生成することができる。
位置座標の生成の間、空間特徴抽出モジュールは、点の獲得された位置座標に従って座標変換を実施し、空間直交座標系からの点の位置座標を球座標系にマッピングすることができる。
説明は、第1の管状画像の中心線上の点P(x,y,z)と組み合わせて以下に提供され、(x,y,z)は、空間直交座標系XYZ内の点Pの3D座標である。
球座標変換は、式(1)に従ってP(x,y,z)について実施されてもよい。
球座標系内の点Pの座標は、式1に基づいて獲得されてもよい。行列により説明される場合、点Pは、2×2の行列Mとして表現されてもよい。
管状画像の中心線上の始点、終点、及び少なくとも一つの中点に対応する座標行列が獲得された後、管状画像に対応する位置特徴ベクトルが獲得されてもよい。
いくつかの実施形態において、依然として第1の管状画像を例とすると、空間特徴抽出モジュールは、第1の管状画像上の始点の位置座標及び終点の位置座標に基づいて、始点の接線ベクトル及び始点から終点までのベクトルをさらに計算することができる。空間特徴抽出モジュールは、始点の接線ベクトル及び始点から終点までのベクトルに基づいて、第1の管状画像の方向特徴ベクトルを獲得することができる。
いくつかの実施形態において、空間特徴抽出モジュールは、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って少なくとも一つの管状画像同士の接続関係を獲得することができる。第1の管状画像を例とすると、空間特徴抽出モジュールは、第1の管状画像の始点の位置座標を抽出し、次いで、始点の位置座標が別の管状画像の中心線上の点の位置座標と一致するかどうかを決定することができる。始点の位置座標が別の管状画像の中心線上の点の位置座標と一致する場合、第1の管状画像は別の管状画像に接続されるものと見なされてもよい。
空間特徴抽出モジュールは、位置特徴ベクトル、方向特徴ベクトル、及び接続関係のうちの一つ又は複数の組み合わせを、管状画像の空間分布特徴として見ることができ、これはこの実施形態において限定されない。
いくつかの実施形態において、画像特徴抽出モジュールは、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出することができる。例えば、第1の管状画像を例とすると、処理されるべき画像において、画像特徴抽出モジュールは、第1の管状画像の中心線に沿って、一連の境界ボリュームを第1の管状画像に対応する画像領域として抽出することができる。境界ボリュームは、立方体又は円柱であってもよく、境界ボリュームの断面サイズは、第1の管状画像の直径を収容する。例えば、境界ボリュームの断面サイズは、第1の管状画像の直径よりもわずかに大きいか、又は管状画像の直径に等しくてもよく、これはここでは詳細に説明されない。
少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域が獲得された後、画像特徴抽出モジュールは、CNN及びLSTMネットワークを使用することによって、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域に対して特徴抽出を実施して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得することができる。管状画像が3D画像であるとき、CNNは、3D管状画像に対して特徴抽出を実施するために、3DCNN、例えば、図2bに示される3DCNNとして実装される。
ステップ205において、各管状画像の空間分布特徴及び画像特徴が獲得された後、管状構造認識モデルは、各管状画像の空間分布特徴及び画像特徴を融合して、各管状画像の融合特徴を獲得することができる。融合特徴を獲得するプロセスは、依然として第1の管状画像を例とすることにより以下に例証される。
いくつかの実施形態において、第1の管状画像の空間分布特徴及び画像特徴がベクトル形式で表されるとき、管状構造認識モデルは、第1の管状画像の空間分布特徴に対応するベクトル、及び第1の管状画像の画像特徴に対応するベクトルを接合して、第1の管状画像の特徴接合ベクトルを獲得することができる。特徴接合ベクトルは、第1の管状画像の融合特徴を表すために使用されてもよい。
例えば、ステップ204の後、第1の管状画像の空間分布特徴は、位置特徴ベクトル及び方向特徴ベクトルを含み、画像特徴は、画像特徴ベクトルによって表される。次いで、管状構造認識モデルは、第1の管状画像の位置特徴ベクトル、方向特徴ベクトル、及び画像特徴ベクトルを接合して、第1の管状画像の特徴接合ベクトルを獲得することができる。
ベクトル接合による特徴融合は、特徴融合の例示的な方式である。本出願は、この方式を含むが、これに限定されない。例えば、いくつかの他の実施形態において、第1の管状画像の空間分布特徴及び画像特徴が融合されるとき、第1の管状画像の空間分布特徴に対応するベクトル及び画像特徴に対応するベクトルは、重ね合わされてもよく、これはここでは詳細に説明されない。
次に、ステップ206において、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴は、管状構造認識モデル内の特徴計算モジュールに入力される。特徴計算モジュールとは、設定されたモデル・パラメータに従って入力データから特徴を抽出するように構成される、管状構造認識モデル内のモジュール、例えば、CNN内の畳み込みモジュールを指す。いくつかの実施形態において、管状構造認識モデルが図2bに示される構造として実施されるとき、特徴計算モジュールは、GCN内のグラフ畳み込みモジュールとして実施されてもよい。
GCNは、グラフ構造データについて優れた学習性能を有し、空間構造特徴を有する管状画像の特徴を処理するのに好適である。したがって、GCNの利点を十分に活用するため、管状構造認識モデルは、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をグラフ畳み込みモジュールに入力する前に、以下の動作、すなわち、少なくとも一つの管状画像の空間構造特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を構造化して、グラフ構造データをグラフ畳み込みモジュールの入力データとして獲得することをさらに実施することができる。これに基づいて、グラフ畳み込みモジュールは、管状画像に反映される構造特徴をさらに十分に活用することができ、これが、グラフ畳み込みモジュールによって抽出される特徴の信頼性及び可用性をさらに向上させることにつながる。
先述のステップの説明に基づいて、管状構造認識モデルによって獲得される少なくとも一つの管状画像の少なくとも一つの空間分布特徴は、少なくとも一つの管状画像同士の接続関係を含むことができる。これに基づいて、管状構造認識モデルは、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をノードとして見ることにより、少なくとも一つの管状画像同士の接続関係に従って構造グラフを生成(描写など)し、構造グラフをグラフ畳み込みモジュールの入力データとして見ることができる。構造グラフは、グラフ構造データであり、これは少なくとも一つの管状画像の融合特徴の接続関係を反映するだけでなく、少なくとも一つの管状画像の融合特徴も含むことができる。構造グラフを獲得するための実施形態は、管状画像が血管画像として実装されている例を見ることにより、添付の図面を参照して以下に例証される。
図2cは、血管樹内の血管画像同士の接続関係に従って描写することにより獲得される構造グラフを例証する。図2cにおいて、ノードは、血管樹内の各血管画像の融合特徴である。接続関係が2つの血管画像の間に存在する場合、2つの血管画像に対応する融合特徴は、線分を使用して接続されてもよい。例えば、血管樹内では、主血管1は、枝血管3及び枝血管7に接続される。構造グラフ内では、相応して、線分が、主血管1の融合特徴と枝血管3の融合特徴との間に追加されてもよく、及び線分が、主血管1の融合特徴と枝血管7の融合特徴との間に追加されてもよい。ステップ207において、グラフ畳み込みモジュールは、図2bに示されるように、複数のGCN層を含むことができる。GCN層の量は、実際の要件に従って設定されてもよく、これは、例えば、3、4、5、又は同様のものに設定されてもよく、この実施形態において限定されない。
GCN層の処理論理は、複数のGCN層内の第1のGCN層を例とすることにより以下に例証される。第1のGCN層は、グラフ畳み込みモジュール内の任意のGCN層である。限定のためにここで使用される「第1の」は、説明及び区別の簡便性のためにすぎず、配置順序又はランクを制限しない。
グラフ畳み込みモジュールにおいて、各GCN層の入力は、グラフ構造データであり、出力もまたグラフ構造データである。すなわち、各GCN層は、入力された構造グラフに対して特徴抽出を実施し、この動作後に獲得される構造グラフを出力して、構造グラフを次の層へ伝送することができる。説明を容易にするため、第1のGCN層に入力されるグラフ構造データは、第1の構造グラフとして説明される。
いくつかの実施形態において、第1のGCN層がグラフ畳み込みモジュール内の初期GCN層である場合、第1の構造グラフは、グラフ畳み込みモジュールの入力データに含まれる構造グラフ、すなわち、少なくとも一つの管状画像の融合特徴及び少なくとも一つの管状画像同士の接続関係に従って前のステップにおいて描写される構造グラフである。いくつかの実施形態において、第1のGCN層がグラフ畳み込みモジュール内の初期GCN層ではない場合、第1の構造グラフは、第1のGCN層の前のGCN層によって出力される構造グラフに従って獲得されてもよい。
第1のGCN層において、第1の構造グラフは、第2の構造グラフを獲得するために、第1のGCN層に入力される第1の構造グラフ内のノードと第1のGCN層のモデル・パラメータとの接続関係に従って更新されてもよい。
第1の構造グラフを更新するプロセスは、第1の構造グラフ上の各ノードの融合特徴を更新するプロセスとして実施されてもよい。例証は、第1の構造グラフ内の第1のノードを例とすることにより以下に提供される。第1のノードは、第1の構造グラフ上の任意のノードである。
いくつかの実施形態において、第1のノードについて、第1のノードに接続される第2のノードは、第1の構造グラフから獲得されてもよい。第2のノードの量は、異なる接続に応じて、一つ又はそれ以上であってもよい。次に、特徴融合動作が、第1のノードに対応する融合特徴及び一つ又は複数の第2のノードに対応する一つ又は複数の融合特徴に対して実施され、第1のノードに対応する融合特徴は、特徴融合動作により獲得される特徴に従って更新される。
例えば、図2cを例とすると、ノード1に接続されるノードは、ノード2、ノード6、及びノード7である。次に、ノード1に対応する融合特徴、ノード2に対応する融合特徴、ノード6に対応する融合特徴、及びノード7に対応する融合特徴の平均値が計算されてもよく、計算により獲得される平均値は、ノード1の新規の融合特徴として見られる。
いくつかの実施形態において、特徴融合動作が第1のノードに対応する融合特徴及び一つ又は複数の第2のノードに対応する一つ又は複数の融合特徴に対して実施される方式は、第1のノードに対応する融合特徴及び一つもしくは複数の第2のノードに対応する一つもしくは複数の融合特徴の平均を計算すること、又は、設定された重みに従って、第1のノードに対応する融合特徴及び一つもしくは複数の第2のノードに対応する一つもしくは複数の融合特徴の重み付けされた合計値を計算することを含むことができる。この実施形態は、この方式を含むが、これに限定されない。
先述の方式に基づいて、第1の構造グラフ上の各ノードに対応する融合特徴が更新されてもよい。第1の構造グラフに対する更新動作が完了した後、第1のGCN層は、第1のGCN層のモデル・パラメータ及び第2の構造グラフに従って第1のGCN層の出力データを獲得することができる。
いくつかの実施形態において、GCN層間での管状画像の特徴の伝送の効果をさらに向上させ、管状構造の認識の正確性を向上させるために、残差アルゴリズムがGCN層に導入される。残差アルゴリズムにおいては、GCN層のデータ処理動作を実施した後、各GCN層は、GCN層の処理結果及びGCN層の入力データをGCN層の出力データとして見ることができる。例証は、依然として第1のGCN層と併せて以下に提供される。
いくつかの実施形態において、第1のGCN層のモデル・パラメータ及び第2の構造グラフに従って第1のGCN層の出力データを獲得するとき、第1のGCN層は、以下のステップを実施することができる。
まず、特徴抽出が、第1のGCN層のモデル・パラメータに従って第2の構造グラフに対して実施されて、第3の構造グラフを獲得する。次に、第1のGCN層がグラフ畳み込みモジュール内の初期グラフ畳み込み層である場合、少なくとも一つの管状画像の少なくとも一つの空間分布特徴及び第3の構造グラフが重ね合わされて、第1のGCN層の出力データとしての役割を果たし、第1のGCN層が初期グラフ畳み込み層ではない場合、第1のGCN層の前のグラフ畳み込み層の出力データ及び第3の構造グラフが重ね合わせられて、第1のGCN層の出力データとしての役割を果たすことができる。
先述に基づいて、管状画像の空間分布特徴は、モデルの深化に伴ってGCN層間でより良好に伝送されることができる。
残差アルゴリズムの導入に基づいて、以下のステップがさらに実施されてもよい。
いくつかの実施形態において、次のGCN層の入力データは、GCN層間での管状画像の画像特徴の伝送の効果をさらに強化し、管状構造認識プロセスへの画像特徴の貢献を強化するために、前のGCN層の出力データ及び少なくとも一つの管状画像の画像特徴によって形成されてもよい。
依然として第1のGCN層を例として、いくつかの実施形態において、第1のGCN層の出力データが獲得された後、特徴融合が、第2のGCN層の入力データとしての役割を果たすように、第1のGCN層の出力データ及び画像特徴の少なくとも一つの管状画像に対して実施されてもよい。第2のGCN層は、第1のGCN層の次のGCN層である。いくつかの実施形態において、特徴融合動作は、ベクトル接合動作であり、これはここでは詳細に説明されない。
GCN層間でのデータ伝送のプロセスは、図2dを例とすることにより以下に例証される。
図2dでは、円は、ベクトル接合動作を示すことができ、X及びYは、管状画像の空間分布特徴及び画像特徴をそれぞれ示す。グラフ畳み込みモジュールは、3つのGCN層:GCN層1、GCN層2、及びGCN層3を含む。
X及びYの接合後に獲得される接合ベクトル(X,Y)は、グラフ畳み込みモジュールへ入力され、すなわち、GCN層1への入力は、(X,Y)である。(X,Y)に基づいたGCN層1の計算結果がG1(X,Y)によって表される場合、GCN層1の出力データは、X’=G1(X,Y)+Xである。
次に、GCN層1の出力データX’がYと接合されて、GCN層2に入力される接合ベクトル(X’,Y)を獲得する。(X’,Y)に基づいたGCN層2の計算結果がG2(X’,Y)によって表される場合、GCN層2の出力データは、X’’=G1(X’,Y)+X’である。
次に、GCN層2の出力データX’’がYと接合されて、GCN層3に入力される接合ベクトル(X’’,Y)を獲得する。(X’’,Y)に基づいたGCN層3の計算結果がG3(X’’,Y)によって表される場合、GCN層3の出力データは、X’’’=G1(X’’,Y)+X’’である。
ステップ207において、グラフ畳み込みモジュールの計算結果は、管状構造認識モデル内の全結合層に伝送される。全結合層では、少なくとも一つの管状画像が既知の管状構造に属する可能性が、グラフ畳み込みモジュールの出力に従って計算されてもよく、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造は、この可能性に従って出力される。
この実施形態において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像により提供される管状構造の様々な異なる情報は、完全に使用されることができ、これは管状画像の認識結果を向上させることにつながる。
例えば、管状構造が血管であるとき、血管造影画像上の血管は、提供される実施形態に基づいてより正確に認識されることができ、これは病変分析の効率を向上させることにつながる。
さらには、この実施形態において、GCNは、血管認識中に血管の空間的構造を十分に活用することができる血管画像の特徴を処理するための管状構造認識モデルにおいて使用され、主血管に対する枝血管の依存性を減少させ、枝血管の認識結果に対する主血管の認識結果の影響をある程度まで減少させる。加えて、各GCN層の出力データがGCN層の入力データ及びこの入力データに基づいたGCN層の計算結果を含むように、残差計算方式がこの実施形態においては導入され、これはGCN層内の特徴の効果的な伝送及び血管認識の正確性の向上につながる。
いくつかの実施形態において、血管造影画像上の少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管が認識された後、少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名は、ユーザが血管認識結果を見るために、血管造影画像上にさらに表示されてもよい。
いくつかの実施形態において、ユーザは、実際の状況に従って血管認識結果を修正することができる。例えば、ユーザは、少なくとも一つの血管画像のいずれか又は血管名のいずれかをダブル・クリックして、名前修正動作を開始することができる。少なくとも一つの血管画像のいずれかに対する名前修正動作に応答して、修正された血管名が獲得されてもよく、また修正された血管名が表示されてもよい。いくつかの実施形態において、修正された血管名は、管状構造認識モデルを繰り返し再訓練して管状構造認識モデルをさらに最適化するために、管状構造認識モデルの真値として見られてもよい。
いくつかの実施形態において、各血管名が属する一つ又は複数の健康な血管の血管造影図から獲得される画像がさらに獲得されて、参照画像としての役割を果たすことができる。例えば、血管造影画像に含まれる3つの血管造影図の血管名は、LCA、LCX、及びLADである。次いで、健康な状態にあるLCA、LCX、及びLADの血管造影画像が獲得され、参照画像としての役割を果たすことができる。
次に、参照画像及び少なくとも一つの血管画像は、比較及び表示されてもよい。そのような比較及び表示方式は、少なくとも一つの血管造影画像内に例外があるかどうかをユーザが素早く見るのを促進することができる。
いくつかの実施形態において、血管名が属する健康な血管の形状特徴は、各血管名が属する一つ又は複数の健康な血管の血管造影図から獲得される画像に基づいて獲得されてもよい。形状特徴は、方向特徴、直径特徴、壁厚特徴、及び同様のものを含むことができ、これはこの実施形態において限定されない。次に、少なくとも一つの血管画像の形状特徴は、健康な血管の形状特徴と比較されてもよく、少なくとも一つの血管画像内の異常状態にある血管画像は、比較の結果に従って決定されて、標的血管画像としての役割を果たすことができる。
次いで、標的血管画像は、目立って表示されてもよい。いくつかの実施形態において、標的血管画像が目立って表示される方式は、標的血管を強調表示すること、標的血管にスター記号を追加すること、標的血管を部分的に拡大すること、及び表示用に標的血管を選択することを含むことができるが、これはこの実施形態において限定されない。そのような方式に基づいて、ユーザは、能動的に例外を求められる場合があり、以て、血管造影画像に対する分析についてのユーザの効率を向上させる。
本出願の先述及び以下の実施形態に使用される管状構造認識モデルが血管認識のために構成されるとき、大量の血管造影画像が、図2bに例証されるモデル構造に基づいたモデル訓練のための訓練サンプルとして扱われてもよい。訓練中、使用される損失関数は、交差エントロピー損失関数であってもよく、これはここでは詳細に説明されない。
図3は、本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。図3に示されるように、本方法は、以下のステップを含む。
ステップ301。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ302。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得すること。
いくつかの実施形態において、管状構造認識モデルは、CNN、DNN、GCN、RNN、及びLSTMのうちの一つ又は複数を含むことができ、これはこの実施形態において限定されない。
いくつかの実施形態において、処理されるべき画像上の管状構造の画像特徴及び空間分布特徴を十分に活用するため、管状構造認識モデルは、図2bに示される構造として実装されてもよい。相応して、特徴計算層は、図2bに示されるGCN層として実装されてもよい。
この実施形態において、特徴計算層の出力データは、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む。
いくつかの実施形態において、特徴計算層が初期特徴計算層である場合、特徴計算層の入力データの一部分は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴であり、このとき特徴計算層の出力データは、少なくとも一つの管状画像の少なくとも一つの空間分布特徴、及び特徴計算層の入力データに基づいた特徴計算層の計算結果を含むことができる。
特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データの一部分は、前の特徴計算層の出力データである。このとき、特徴計算層の出力データは、前の特徴計算層の出力データ、及び特徴計算層の入力データに基づいた特徴計算層の計算結果を含むことができる。
いくつかの実施形態において、特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データは、前の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む。詳細は、図2d及び先述の実施形態の説明を参照して得ることができ、これはここでは詳細に説明されない。
先述に基づいて、モデルの漸進的深化に伴って、特徴計算層に入力されるデータ及び特徴計算層の計算結果データは、特徴計算層間で効果的に伝送されることができ、これは管状構造認識の正確性を向上させることにつながる。
図4は、本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。図4に示されるように、本方法は、以下のステップを含む。
ステップ401。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ402。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第1の特徴計算層の出力データが、第1の特徴計算層により、第1の特徴計算層の入力データに基づいた第1の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第1の特徴計算層の後に位置する第2の特徴計算層の入力データが、第1の特徴計算層の出力データ及び少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得すること。
いくつかの実施形態において、管状構造認識モデルは、GCNを含み、第2の特徴計算層の入力データは、ノードとして融合特徴を有する構造グラフを含む。詳細は、先述の実施形態の説明を参照して得ることができ、これはここでは詳細に説明されない。
この実施形態において、前の特徴計算層の出力データが次の特徴計算層へ入力されるとき、少なくとも一つの管状画像のそれぞれの特徴が、まとめて入力データとしての役割を果たすために導入されてもよく、これは、GCN層間での少なくとも一つの管状画像の画像特徴の伝送の効果をさらに強化し、管状構造認識のプロセスへの画像特徴の貢献を強化することができる。
図5は、本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。図5に示されるように、本方法は、以下のステップを含む。
ステップ501。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
ステップ502。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルがGCNを含み、GCNの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得すること。
いくつかの実施形態において、少なくとも一つの管状画像の特徴は、少なくとも一つの管状画像の少なくとも一つのそれぞれの少なくとも一つの空間分布特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を含む。
この実施形態において、GCNに基づいた管状構造認識モデルの構築は、グラフ構造データのためのGCNの処理能力を存分に発揮し、管状構造認識の間、管状画像の空間構造特徴を十分に活用することができ、以て、管状構造認識結果の正確性をさらに向上させる。
先述の実施形態に提供される各方法のステップはすべて、同じデバイスによって実施されてもよく、又は各方法は、異なるデバイスによって実施されてもよい。例えば、ステップ201~ステップ204は、デバイスAによって実施されてもよい。別の例では、ステップ201及びステップ202は、デバイスAによって実施されてもよく、ステップ203は、デバイスBによって実施されてもよい、などである。
さらには、先述の実施形態及び添付の図面に説明されるプロセスのうちのいくつかは、何らかの順序で発生する複数の動作を含む。しかしながら、この動作は、動作が本明細書において発生する順序で実施されなくてもよいこと、又は並行して実施されてもよいことを明白に理解されたい。201及び202などの動作の通し番号は、異なる動作を区別するために使用されるにすぎず、この通し番号は、実行の任意の順序を表すものではない。加えて、プロセスは、より多く又はより少ない動作を含むことができ、動作は、順に実施されるか、又は並行して実施されてもよい。
「第1」、「第2」、及び本明細書内の他の説明は、異なるメッセージ、デバイス、モジュール、及び同様のものを区別するために使用され、順番を表すものでも、「第1」及び「第2」を異なるタイプとするものでもないということに留意されたい。
本出願の実施形態によるデータ処理方法の典型的なアプリケーション・シナリオは、図6を参照して以下に例証される。
本出願の実施形態によるデータ処理方法は、冠動脈性心疾患の診断に適用されてもよい。患者の冠動脈血管造影画像が獲得された後、冠動脈血管造影画像及び冠動脈樹の中心線が、データ処理デバイスに入力されてもよい。データ処理デバイスは、冠動脈血管造影画像上の血管を認識し、血管認識結果を含む画像を出力するために、先述の実施形態に提供される方法を実施することができる。血管認識結果は、図6に示されるA~Gなど、冠動脈枝の命名結果を含む。冠動脈枝の命名結果に基づいて、CADシステムは、冠動脈樹を再構築し、狭窄/プラークを検出及び診断し、最後に診断レポートを生成することができる。診断レポートは、医師に疾病の診断についての追加情報を提供することができ、以て、医師の作業効率を向上させる。
図7は、本出願の実施形態によるデータ処理デバイスの概略構造図である。図7に示されるように、データ処理デバイスは、メモリ701及びプロセッサ702を含む。
メモリ701は、コンピュータ命令を記憶するように構成され、また、データ処理デバイス上での動作をサポートするために様々な他のデータを記憶するように構成されてもよい。例えば、データは、任意のアプリケーション又は方法がデータ処理デバイス上で動作するための命令、コンタクト・データ、電話帳データ、メッセージ、画像、動画、及び同様のものを含む。
メモリ701は、スタティック・ランダム・アクセス・メモリ(SRAM)、電気的消去可能プログラマブル・リードオンリ・メモリ(EEPROM)、消去可能プログラマブル・リードオンリ・メモリ(EPROM)、プログラマブル・リードオンリ・メモリ(PROM)、リードオンリ・メモリ(ROM)、磁気メモリ、フラッシュ・メモリ、磁気ディスク、又は光学ディスクなど、任意のタイプの揮発性もしくは不揮発性ストレージ・デバイス又はそれらの組み合わせによって実装されてもよい。
プロセッサ702は、メモリ701に結合され、処理されるべき画像を獲得することであって、処理されるべき画像が、少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算すること、及び少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを行うために、メモリ701内のコンピュータ・プログラムを実行するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算するとき、プロセッサ702は、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得し、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像のいずれかについて、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するとき、プロセッサ702は、少なくとも一つの管状画像のいずれかについて、管状画像の中心線上の始点、終点、及び少なくとも一つの中点の位置座標に従って管状画像の位置特徴ベクトルを生成し、その管状画像について、始点の接線ベクトル及び終点を指す始点のベクトルに従って管状画像の方向特徴ベクトルを獲得し、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って少なくとも一つの管状画像同士の接続関係を獲得するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するとき、プロセッサ702は、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出し、CNN及びLSTMアルゴリズムを使用することによって、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域に対して特徴抽出を実施して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識するとき、プロセッサ702は、管状構造認識モデルに基づいて、少なくとも一つの管状画像にそれぞれ対応する空間分布特徴及び画像特徴の融合特徴を獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を、管状構造認識モデル内の特徴計算モジュールの入力データとして見て、特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得し、管状構造認識モデルの全結合層に基づいて、特徴計算モジュールの出力データに従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識するように構成される。
いくつかの実施形態において、少なくとも一つの管状画像にそれぞれ対応する空間分布特徴及び画像特徴の融合特徴を獲得するとき、プロセッサ702は、少なくとも一つの管状画像のいずれかについて、管状画像の空間分布特徴に対応するベクトル、及び管状画像の画像特徴に対応するベクトルを接合して、管状画像の特徴接合ベクトルを獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴として、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの特徴接合ベクトルを獲得するように構成される。
いくつかの実施形態において、管状構造認識モデルはGCNを含み、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を、管状構造認識モデル内の特徴計算モジュールの入力データとして見るとき、プロセッサ702は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴から少なくとも一つの管状画像同士の接続関係を獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をノードとして見ることによって少なくとも一つの管状画像同士の接続関係に従って構造グラフを描写し、構造グラフを特徴計算モジュールの入力データとして見るように構成される。
いくつかの実施形態において、特徴計算モジュールは複数のグラフ畳み込み層を含み、特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得するとき、プロセッサ702は、複数のグラフ畳み込み層内の第1のグラフ畳み込み層に基づいて、第1の構造グラフ内のノード同士の入力接続関係に従って第1の構造グラフを更新して第2の構造グラフを獲得し、第1のグラフ畳み込み層のモデル・パラメータ及び第2の構造グラフに従って第1のグラフ畳み込み層の出力データを獲得するように構成され、第1のグラフ畳み込み層が初期グラフ畳み込み層である場合、第1の構造グラフは入力データに含まれる構造グラフであり、第1のグラフ畳み込み層が初期グラフ畳み込み層ではない場合、第1の構造グラフは、第1のグラフ畳み込み層の前のグラフ畳み込み層によって出力される構造グラフに従って獲得される。
いくつかの実施形態において、第1の構造グラフ内のノード同士の入力接続関係に従って第1の構造グラフを更新して第2の構造グラフを獲得するとき、プロセッサ702は、第1の構造グラフ内の第1のノードについて、第1の構造グラフから第1のノードに接続される第2のノードを獲得し、第1のノードに対応する融合特徴及び第2のノードに対応する融合特徴に対して特徴融合動作を実施し、特徴融合動作後に獲得される特徴に従って、第1のノードに対応する融合特徴を更新するように構成される。
いくつかの実施形態において、第1のグラフ畳み込み層のモデル・パラメータ及び第2の構造グラフに従って第1のグラフ畳み込み層の出力データを獲得するとき、プロセッサ702は、第1のグラフ畳み込み層のモデル・パラメータに従って第2の構造グラフに対して特徴抽出を実施して、第3の構造グラフを獲得し、第1のグラフ畳み込み層が初期グラフ畳み込み層である場合、第1のグラフ畳み込み層の出力データとしての役割を果たすように少なくとも一つの管状画像の少なくとも一つの空間分布特徴及び第3の構造グラフを重ね合わせ、第1のグラフ畳み込み層が初期グラフ畳み込み層ではない場合、第1のグラフ畳み込み層の出力データとしての役割を果たすように前のグラフ畳み込み層の出力データ及び第3の構造グラフを重ね合わせるように構成される。
いくつかの実施形態において、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識した後、プロセッサ702は、血管造影画像上に、少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名を表示するようにさらに構成される。
いくつかの実施形態において、プロセッサ702は、少なくとも一つの血管画像のいずれかについての名前修正動作に応答して、修正された血管名を獲得し、修正された血管名を表示し、修正された血管名に従って管状構造認識モデルを最適化するようにさらに構成される。
いくつかの実施形態において、プロセッサ702は、少なくとも一つの血管名が属する少なくとも一つの健康な血管の血管造影図から獲得される参照画像を獲得し、この参照画像及び少なくとも一つの血管画像を比較及び表示するようにさらに構成される。
いくつかの実施形態において、プロセッサ702は、少なくとも一つの血管名のうちの一つが属する健康な血管の形状特徴を獲得し、少なくとも一つの血管画像の形状特徴を健康な血管の形状特徴と比較し、比較の結果に従って、少なくとも一つの血管画像内の異常状態にある標的血管画像を決定し、標的血管画像を目立って表示するようにさらに構成される。
いくつかの実施形態において、プロセッサ702は、第2のグラフ畳み込み層の入力データとしての役割を果たすように、第1のグラフ畳み込み層の出力データ及び少なくとも一つの管状画像の画像特徴に対して特徴融合を実施するようにさらに構成される。第2のグラフ畳み込み層は、第1のグラフ畳み込み層の次のグラフ畳み込み層である。
さらに、図7に示されるように、データ処理デバイスは、通信構成要素703、ディスプレイ704、電力構成要素705、及び他の構成要素をさらに含む。図7は、いくつかの構成要素のみを例証し、これは、データ処理デバイスが図7に示される構成要素だけを含むことを意味するものではない。
通信構成要素703は、通信構成要素が配置されるデバイスと他のデバイスとの間の有線又はワイヤレス通信を促進するように構成される。通信構成要素が配置されるデバイスは、Wi-Fi、2G、3G、4G、又は5G、又はそれらの組み合わせなどの通信規格に基づいてワイヤレス・ネットワークに接続されてもよい。一実施形態において、通信構成要素は、ブロードキャスト・チャネルを介して外部ブロードキャスト管理システムからブロードキャスト信号又はブロードキャスト関連情報を受信する。一実施形態において、通信構成要素は、近距離無線通信(NFC)技術、無線周波数認識(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(BT)技術、及び他の技術に基づいて実装されてもよい。
ディスプレイ704は、スクリーンを含む。ディスプレイのスクリーンは、液晶ディスプレイ(LCD)及びタッチ・パネル(TP)を含むことができる。スクリーンがTPを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチ・パネルとして実装されてもよい。TPは、TP上のタッチ、スライド、及びジェスチャを感知するための一つ又は複数のタッチ・センサを含む。タッチセンサ(複数可)は、タッチ又はスライド動作の境界を感知するだけでなく、タッチ又はスライド動作と関連付けられた持続時間及び圧力を検出することができる。
電力構成要素705は、電力構成要素が配置されるデバイスの様々な構成要素のための電力を提供する。電力構成要素は、電力構成要素が配置されるデバイスのための電力生成、管理、及び分配と関連付けられた、電力管理システム、一つ又は複数の電源、並びに他の構成要素を含むことができる。
この実施形態において、データ処理デバイスは、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って管状構造を認識し、管状構造の複数の複雑な特徴を認識根拠として見ることができ、また処理されるべき画像によって提供される管状構造の様々な異なる情報を十分に活用することができ、これは、管状画像の認識結果を向上させること、及び病変分析の効率を向上させることにつながる。
図7に例証されるデータ処理デバイスは、先述の実施形態において説明されるデータ処理論理に従うデータ処理動作に加えて、以下に説明されるデータ処理論理に従うデータ処理動作をさらに実施することができる。
実行論理1:プロセッサ702は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、及び処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得することを行うように構成される。
いくつかの実施形態において、特徴計算層が初期特徴計算層である場合、特徴計算層の入力データの一部分は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴である。
特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データの一部分は、前の特徴計算層の出力データである。
いくつかの実施形態において、特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データは、前の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む。
実行論理2:プロセッサ702は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第1の特徴計算層の出力データが、第1の特徴計算層により、第1の特徴計算層の入力データに基づいた第1の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第1の特徴計算層の後に位置する第2の特徴計算層の入力データが、第1の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得することを行うように構成される。
いくつかの実施形態において、管状構造認識モデルは、GCNを含み、第2の特徴計算層の入力データは、ノードとして融合特徴を有する構造グラフを含む。
実行論理3:プロセッサ702は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、及び処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルがGCNを含み、GCNの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得することを行うように構成される。
いくつかの実施形態において、少なくとも一つの管状画像の特徴は、少なくとも一つの管状画像の少なくとも一つのそれぞれの少なくとも一つの空間分布特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を含む。
相応して、本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供する。コンピュータ・プログラムは、実行されると、先述の方法実施形態における、データ処理デバイスによって実行されてもよい様々なステップを実施することができる。
相応して、本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供する。コンピュータ・プログラムは、実行されると、先述の方法実施形態における、サーバによって実行されてもよい様々なステップを実施することができる。
当業者は、本出願の実施形態が、方法、システム、又はコンピュータ・プログラム製品として提供されてもよいことを理解するものとする。したがって、本出願は、完全ハードウェア実施形態、完全ソフトウェア実施形態、又はソフトウェア及びハードウェア態様を組み合わせた実施形態の形態をとってもよい。さらには、本出願は、コンピュータ利用可能プログラム・コードを含む一つ又は複数のコンピュータ利用可能記憶媒体(ディスク・メモリ、コンパクト・ディスク・リードオンリ・メモリ(CD-ROM)、光学メモリ、及び同様のものを含むが、これらに限定されない)に実装されるコンピュータ・プログラム製品の形態をとってもよい。
本出願は、本出願の実施形態による方法、デバイス(システム)、及びコンピュータ・プログラム製品のフローチャート及び/又はブロック図を参照して説明される。フローチャート及び/又はブロック図内の各プロセス及び/又はブロック、並びにフローチャート及び/又はブロック図内のプロセス及び/又はブロックの組み合わせは、コンピュータ・プログラム命令によって実施されてもよい。コンピュータ・プログラム命令は、マシンを生成するために、汎用コンピュータ、特殊目的コンピュータ、埋め込み型コンピュータ、又は他のプログラム可能なデータ処理デバイスのプロセッサに提供されてもよく、その結果として、コンピュータ又は他のプログラム可能なデータ処理デバイスのプロセッサによって実行される命令は、フローチャート及び/又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施するように構成される装置を生成する。
コンピュータ・プログラム命令はまた、コンピュータ又は他のプログラム可能なデータ処理デバイスが何らかの方式で動作するように誘導することができるコンピュータ可読メモリに記憶されてもよく、その結果として、コンピュータ可読メモリに記憶される命令は、命令装置を含む製造物品を生成する。命令装置は、フローチャート及び/又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施する。
コンピュータ・プログラム命令はまた、コンピュータ又は他のプログラム可能なデータ処理デバイス上にインストールされてもよく、その結果として、一連の動作ステップは、コンピュータ実施処理をもたらすためにコンピュータ又は他のプログラム可能なデータ処理デバイス上で実施され、及びしたがって、コンピュータ又は他のプログラム可能なデータ処理デバイス上で実行される命令は、フローチャート及び/又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施するためのステップを提供する。
典型的な構成において、コンピューティング・デバイスは、一つ又は複数の中央処理装置(CPU)、入力/出力インターフェース、ネットワーク・インターフェース、及びメモリを含む。
メモリは、揮発性メモリ、ランダム・アクセス・メモリ(RAM)、及び/又は不揮発性メモリ、並びに、ROM又はフラッシュ・メモリ(フラッシュRAM)など、コンピュータ可読媒体内の他の形態を含むことができる。メモリは、コンピュータ可読媒体の例である。
コンピュータ可読媒体は、不揮発性及び揮発性媒体、並びに取り外し可能及び非取り外し可能媒体を含む。情報ストレージは、任意の方法又は技術を用いて実装されてもよい。情報は、コンピュータ可読命令、データ構造、プログラムのモジュール、又は他のデータであってもよい。例えば、コンピュータ・ストレージ媒体は、相変化ランダム・アクセス・メモリ(PRAM)、SRAM、ダイナミック・ランダム・アクセス・メモリ(DRAM)、他のタイプのRAM、ROM、EEPROM、フラッシュ・メモリもしくは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)もしくは他の光学ストレージ、カセット・テープ、磁気テープ/磁気ディスク・ストレージ、もしくは他の磁気ストレージ・デバイス、又は任意の他の非伝送媒体を含むが、これらに限定されず、コンピューティング・デバイスがアクセス可能な情報を記憶するために使用されてもよい。本明細書内の説明によると、コンピュータ可読媒体は、変調データ信号及び搬送波などの一時的なコンピュータ可読媒体(一時的なデータ)を含まない。
用語「含む」、「備える」、又はそれらの任意の他の変異形は、非排他的な包含を網羅することが意図され、そのため、一連の要素を含むプロセス、方法、商品、もしくはデバイスは、その要素を含むだけでなく、明白に列挙されない他の要素も含むか、又はそのようなプロセス、方法、商品、もしくはデバイスに固有の要素をさらに含む、ということにさらに留意されたい。さらなる制限がない限り、「~を含む」という記述によって規定される要素は、その要素を含むプロセス、方法、商品、又はデバイス内に他の同一の要素がさらに存在することを除外しない。
先述の説明は、本出願の実施形態を含み、本出願を限定することを意図しない。当業者のために、本出願は、様々な修正及び変更の対象となってもよい。本出願の趣旨及び原理内でなされる任意の修正、等価の交換、改善、及び同様のものは、本出願の特許請求項の範囲に包含されるものとする。

Claims (15)

  1. データ処理のためのコンピュータ実施方法であって、
    標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
    前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
    管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
    前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む、コンピュータ実施方法。
  2. 前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定することは、
    前記標的画像から、前記少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得すること、及び
    前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することを含む、請求項1に記載の方法。
  3. 前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することは、以下のうちの少なくとも一つ:
    前記少なくとも一つの管状画像のいずれかについて、前記管状画像の前記中心線上の始点、終点、及び少なくとも一つの中点の位置座標に従って前記管状画像の位置特徴ベクトルを生成すること、
    前記管状画像について、前記始点の接線ベクトル及び前記始点から前記終点までのベクトルに従って前記管状画像の方向特徴ベクトルを獲得すること、並びに
    前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って前記少なくとも一つの管状画像同士の接続関係を獲得することを含む、請求項2に記載の方法。
  4. 前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することは、
    前記標的画像から、前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出すること、並びに
    畳み込みニューラル・ネットワーク(CNN)及び長・短期記憶(LSTM)アルゴリズムを使用することにより、前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの画像領域に対して特徴抽出を実施して、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得することを含む、請求項2に記載の方法。
  5. 管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得することは、
    前記少なくとも一つの管状画像のいずれかについて、前記管状画像の空間分布特徴に対応するベクトル、及び前記管状画像の画像特徴に対応するベクトルを接合して、前記管状画像の特徴接合ベクトルを獲得すること、並びに
    前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴として、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの特徴接合ベクトルを獲得することを含む、請求項1に記載の方法。
  6. 前記管状構造認識モデル及び前記融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することは、
    前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴を入力データとして前記管状構造認識モデル内の特徴計算モジュールに入力すること、
    前記特徴計算モジュールにおいて、前記入力データ及び設定されたモデル・パラメータに従って決定して、前記特徴計算モジュールの出力データを獲得すること、並びに
    前記管状構造認識モデルの全結合層に基づいて、前記特徴計算モジュールの前記出力データに従って前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの管状構造を認識することを含む、請求項1に記載の方法。
  7. 前記管状構造認識モデルは、グラフ畳み込みネットワーク(GCN)を含み、
    前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴を入力データとして前記管状構造認識モデル内の特徴計算モジュールに入力することは、
    前記少なくとも一つの管状画像の少なくとも一つの空間分布特徴から前記少なくとも一つの管状画像同士の接続関係を獲得すること、
    前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴をノードとして見ることにより、前記少なくとも一つの管状画像同士の前記接続関係に従って構造グラフを生成すること、及び
    前記構造グラフを前記特徴計算モジュールの前記入力データとして入力することを含む、請求項6に記載の方法。
  8. 前記標的画像は、血管造影画像、及び少なくとも一つの血管画像を含む前記少なくとも一つの管状画像を含み、前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの管状構造を認識した後、前記方法は、
    前記血管造影画像上に、前記少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名を表示することをさらに含む、請求項1に記載の方法。
  9. 前記少なくとも一つの血管画像のいずれかについての名前修正動作に応答して、修正された血管名を獲得すること、及び
    前記修正された血管名を表示し、前記修正された血管名に従って前記管状構造認識モデルを最適化することをさらに含む、請求項に記載の方法。
  10. 前記少なくとも一つの血管名が属する少なくとも一つの健康な血管の血管造影図から参照画像を獲得すること、並びに
    前記参照画像及び前記少なくとも一つの血管画像を比較及び表示することをさらに含む、請求項に記載の方法。
  11. 前記少なくとも一つの血管名のうちの一つが属する健康な血管の形状特徴を獲得すること、
    前記少なくとも一つの血管画像の形状特徴を前記健康な血管の前記形状特徴と比較すること、
    前記比較の結果に従って、前記少なくとも一つの血管画像内の異常状態にある標的血管画像を決定すること、及び
    前記標的血管画像を表示することをさらに含む、請求項に記載の方法。
  12. 前記管状構造認識モデルは、特徴計算層を含み、前記管状構造認識モデル内の前記特徴計算層の出力データは、前記特徴計算層の入力データの一部分、及び前記入力データに基づいた前記特徴計算層の計算結果を含み、
    前記特徴計算層は、初期特徴計算層であり、前記特徴計算層の入力データの一部分は、前記少なくとも一つの管状画像の少なくとも一つの空間分布特徴である、請求項1に記載の方法。
  13. 前記管状構造認識モデルは、特徴計算層を含み、前記管状構造認識モデル内の前記特徴計算層の出力データは、前記特徴計算層の入力データの一部分、及び前記入力データに基づいた前記特徴計算層の計算結果を含み、
    前記特徴計算層は、初期特徴計算層ではなく、前記特徴計算層の入力データの一部分は、前の特徴計算層の出力データであり、前記特徴計算層の前記入力データは、前記前の特徴計算層の前記出力データを融合することにより獲得される少なくとも一つの融合特徴、及び前記少なくとも一つの管状画像の少なくとも一つの画像特徴を含む、請求項1に記載の方法。
  14. データ処理のための装置であって、一つ又は複数のプロセッサと、前記一つ又は複数のプロセッサに結合され、命令により構成される一つ又は複数の非一時的なコンピュータ可読メモリとを備え、前記命令は、
    標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
    前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
    管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
    前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること
    を含む動作を前記装置に実施させるために前記一つ又は複数のプロセッサによって実行可能である、装置。
  15. 命令により構成される非一時的なコンピュータ可読記憶媒体であって、前記命令は、
    標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
    前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
    管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
    前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること
    を含む動作を一つ又は複数のプロセッサに実施させるために前記一つ又は複数のプロセッサによって実行可能である、非一時的なコンピュータ可読記憶媒体。
JP2022539274A 2019-12-25 2020-12-21 データ処理方法、装置及び記憶媒体 Active JP7395753B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911357874.1A CN113034425B (zh) 2019-12-25 2019-12-25 数据处理方法、设备及存储介质
CN201911357874.1 2019-12-25
PCT/US2020/066286 WO2021133700A1 (en) 2019-12-25 2020-12-21 Data processing method, equipment and storage medium

Publications (2)

Publication Number Publication Date
JP2023508436A JP2023508436A (ja) 2023-03-02
JP7395753B2 true JP7395753B2 (ja) 2023-12-11

Family

ID=76458232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539274A Active JP7395753B2 (ja) 2019-12-25 2020-12-21 データ処理方法、装置及び記憶媒体

Country Status (5)

Country Link
US (1) US11721015B2 (ja)
EP (1) EP4081980A4 (ja)
JP (1) JP7395753B2 (ja)
CN (1) CN113034425B (ja)
WO (1) WO2021133700A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610808B (zh) * 2021-08-09 2023-11-03 中国科学院自动化研究所 基于个体脑连接图的群体脑图谱个体化方法、系统和设备
CN114863230B (zh) * 2022-04-06 2024-05-28 阿里巴巴(中国)有限公司 图像处理方法、假货识别方法及电子设备
CN114926700B (zh) * 2022-07-22 2022-10-25 浙江大学 冠状动脉类别确定方法、装置、电子设备及存储介质
CN116758050B (zh) * 2023-07-12 2024-06-21 强联智创(北京)科技有限公司 用于颅内Wills环血管中心线盲补全的方法及产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026793A1 (en) 2007-05-30 2011-02-03 Vikash Ravi Goel Automated centerline extraction method and generation of corresponding analytical expression and use thereof
JP2016509501A (ja) 2013-01-15 2016-03-31 キャスワークス・リミテッドCathWorks Ltd. リアルタイムの診断上有用な結果

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6416959B1 (en) 1997-02-27 2002-07-09 Kenneth Giuliano System for cell-based screening
US20100261159A1 (en) 2000-10-10 2010-10-14 Robert Hess Apparatus for assay, synthesis and storage, and methods of manufacture, use, and manipulation thereof
US7306925B2 (en) 2001-11-09 2007-12-11 Vanderbilt University Phage antibodies to radiation-inducible neoantigens
WO2005009206A2 (en) 2003-06-25 2005-02-03 Besson Guy M Dynamic multi-spectral imaging system
US7372985B2 (en) 2003-08-15 2008-05-13 Massachusetts Institute Of Technology Systems and methods for volumetric tissue scanning microscopy
JP2007502647A (ja) * 2003-08-21 2007-02-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 血管造影図及び現x線画像の複合表示のための装置及び方法
US20070165917A1 (en) * 2005-11-26 2007-07-19 Zhujiang Cao Fully automatic vessel tree segmentation
US7953266B2 (en) * 2007-02-06 2011-05-31 Siemens Medical Solutions Usa, Inc. Robust vessel tree modeling
WO2010058398A2 (en) * 2007-03-08 2010-05-27 Sync-Rx, Ltd. Image processing and tool actuation for medical procedures
US7912266B2 (en) * 2007-08-07 2011-03-22 Siemens Medical Solutions Usa, Inc. System and method for robust segmentation of tubular structures in 2D and 3D images
US8781197B2 (en) 2008-04-28 2014-07-15 Cornell University Tool for accurate quantification in molecular MRI
US9679389B2 (en) * 2009-05-19 2017-06-13 Algotec Systems Ltd. Method and system for blood vessel segmentation and classification
JP5395823B2 (ja) * 2011-02-15 2014-01-22 富士フイルム株式会社 手術支援装置、手術支援方法および手術支援プログラム
US20120265050A1 (en) 2011-04-04 2012-10-18 Ge Wang Omni-Tomographic Imaging for Interior Reconstruction using Simultaneous Data Acquisition from Multiple Imaging Modalities
US9404869B2 (en) 2012-10-09 2016-08-02 Howard Hughes Medical Institute Multiview light-sheet microscopy
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9916655B2 (en) 2013-06-07 2018-03-13 Paul Scherrer Institut Image fusion scheme for differential phase contrast imaging
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
CA2935690A1 (en) 2013-12-31 2015-07-09 Memorial Sloan Kettering Cancer Center Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real-time
EP3324830B1 (en) * 2015-07-25 2023-01-04 Lightlab Imaging, Inc. Intravascular data visualization method and device
US10176408B2 (en) 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
US9920188B2 (en) 2015-11-02 2018-03-20 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services PVCP phantoms and their use
US11260586B2 (en) 2016-11-18 2022-03-01 Massachusetts Institute Of Technology Multimaterial 3d-printing with functional fiber
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技(深圳)有限公司 病变监测方法、装置、计算机设备和存储介质
US10430949B1 (en) * 2018-04-24 2019-10-01 Shenzhen Keya Medical Technology Corporation Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
EP3593722A1 (en) * 2018-07-13 2020-01-15 Neuroanalytics Pty. Ltd. Method and system for identification of cerebrovascular abnormalities
CN110110946B (zh) * 2019-05-27 2021-09-07 江西博微新技术有限公司 基于各向异性Delaunay剖分的水质预测预警系统及其实现方法
JP7261884B2 (ja) * 2019-07-25 2023-04-20 富士フイルム株式会社 学習装置、方法およびプログラム、グラフ構造抽出装置、方法およびプログラム、並びに学習済み抽出モデル
US11896349B2 (en) * 2019-12-09 2024-02-13 Case Western Reserve University Tumor characterization and outcome prediction through quantitative measurements of tumor-associated vasculature

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026793A1 (en) 2007-05-30 2011-02-03 Vikash Ravi Goel Automated centerline extraction method and generation of corresponding analytical expression and use thereof
JP2016509501A (ja) 2013-01-15 2016-03-31 キャスワークス・リミテッドCathWorks Ltd. リアルタイムの診断上有用な結果
JP2016511649A (ja) 2013-01-15 2016-04-21 キャスワークス・リミテッドCathWorks Ltd. 血流予備量比の算出

Also Published As

Publication number Publication date
EP4081980A4 (en) 2023-07-05
EP4081980A1 (en) 2022-11-02
CN113034425B (zh) 2024-05-28
US20210201481A1 (en) 2021-07-01
CN113034425A (zh) 2021-06-25
JP2023508436A (ja) 2023-03-02
WO2021133700A1 (en) 2021-07-01
US11721015B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
JP7395753B2 (ja) データ処理方法、装置及び記憶媒体
JP7453309B2 (ja) 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
US7742629B2 (en) System and method for three-dimensional reconstruction of a tubular organ
Liu et al. Reconstructing sinus anatomy from endoscopic video–towards a radiation-free approach for quantitative longitudinal assessment
CN105894445B (zh) 一种冠脉图像处理方法和装置
KR20220016212A (ko) 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품
CN114846524A (zh) 使用机器学习和解剖向量进行医学图像分析
Sankaran et al. Physics driven real-time blood flow simulations
CN111862046A (zh) 一种心脏冠脉剪影中导管位置判别系统和方法
CN114732431B (zh) 对血管病变进行检测的计算机实现方法、装置及介质
Ivashechkin et al. Improving 3d pose estimation for sign language
Rasoulzadeh et al. Strokes2Surface: Recovering Curve Networks From 4D Architectural Design Sketches
WO2017003424A1 (en) Metric 3d stitching of rgb-d data
CN113409333A (zh) 一种三维图像的切割方法及电子设备
Zhang et al. Constraint-Aware Learning for Fractional Flow Reserve Pullback Curve Estimation from Invasive Coronary Imaging
Acebes et al. A cartesian grid representation of left atrial appendages for a deep learning estimation of thrombogenic risk predictors
CN116977352A (zh) 斑块分割方法、装置和计算机可读存储介质
Chen et al. A vascular image registration method based on network structure and circuit simulation
Jalali et al. Speckle tracking accuracy enhancement by temporal super-resolution of three-dimensional echocardiography images
CN116342608B (zh) 基于医学图像的支架贴壁性度量方法、装置、设备及介质
Sankaran et al. Physics driven reduced order model for real time blood flow simulations
Du et al. Morphology reconstruction of obstructed coronary artery in angiographic images
CN115661358A (zh) 对象三维重建方法、装置、计算机设备和存储介质
CN118782226A (zh) 主动脉的探测轨迹生成方法、装置、电子设备及存储介质
CN116228620A (zh) 定位方法、装置、系统及计算机可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231129

R150 Certificate of patent or registration of utility model

Ref document number: 7395753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150