JP7376720B2 - 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム - Google Patents
画像データ検出方法及び装置並びにコンピュータ装置及びプログラム Download PDFInfo
- Publication number
- JP7376720B2 JP7376720B2 JP2022535820A JP2022535820A JP7376720B2 JP 7376720 B2 JP7376720 B2 JP 7376720B2 JP 2022535820 A JP2022535820 A JP 2022535820A JP 2022535820 A JP2022535820 A JP 2022535820A JP 7376720 B2 JP7376720 B2 JP 7376720B2
- Authority
- JP
- Japan
- Prior art keywords
- slice
- image
- sample
- feature map
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 293
- 238000004220 aggregation Methods 0.000 claims description 103
- 230000002776 aggregation Effects 0.000 claims description 99
- 238000000034 method Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 46
- 238000003860 storage Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011946 reduction process Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 210000004072 lung Anatomy 0.000 description 8
- 238000012952 Resampling Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000002685 pulmonary effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 206010003210 Arteriosclerosis Diseases 0.000 description 2
- 206010056284 Lymph node calcification Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 208000011775 arteriosclerosis disease Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000026216 Thoracic disease Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
- A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pulmonology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
検出待ち画像を取得し、前記検出待ち画像はスライス画像(slice image)シーケンスを含み;
スライス画像シーケンスにおける各ターゲット画像について、対応するスライス画像組(グループ)を決定し、前記スライス画像組は、前記ターゲット画像と、前記スライス画像シーケンスにおいて前記ターゲット画像とのコンテキスト(文脈)関係を有する隣接画像とを含み;
前記スライス画像組における各スライス画像について、対応するスライス特徴マップをそれぞれ抽出し;
前記スライス画像組に対応して抽出されたスライス特徴マップに対してアライメント(位置合わせ)操作を行い;
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行い;及び
アグリゲーション後の特徴マップに対してターゲット領域検出を行い、前記ターゲット画像に対応する検出結果を取得し、各ターゲット画像に対応する検出結果に対して合併を行い、前記検出待ち画像に対応する検出結果を生成することを含む。
スライス画像シーケンスを含む検出待ち画像を取得し、スライス画像シーケンスにおける各ターゲット画像について、対応するスライス画像組を決定するための第一取得モジュールであって、前記スライス画像組は前記ターゲット画像と、前記スライス画像シーケンスにおいて前記ターゲット画像とコンテキスト関係を有する隣接画像とを含む、第一取得モジュール;
前記スライス画像組における各スライス画像について、対応するスライス特徴マップをそれぞれ抽出するための特徴抽出モジュール;
前記スライス画像組に対応して抽出されたスライス特徴マップに対してアライメント操作を行うためのアライメントモジュール;
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行うためのアグリゲーションモジュール;及び
アグリゲーション後の特徴マップに対してターゲット領域検出を行い、前記ターゲット画像に対応する検出結果を取得し、各ターゲット画像に対応する検出結果に対して合併を行い、前記検出待ち画像に対応する検出結果を生成するためのターゲット検出モジュール。
画像サンプルのスライスサンプル画像シーケンスにおける各ターゲットサンプル画像について、対応するスライスサンプル画像組を決定し、前記スライスサンプル画像組は前記ターゲットサンプル画像と、前記スライスサンプル画像シーケンスにおいて前記ターゲットサンプル画像とコンテキスト関係を有する隣接サンプル画像とを含み;
前記バックボーンネットワークにより、前記スライスサンプル画像組における各スライスサンプル画像について、対応するスライスサンプル特徴マップをそれぞれ抽出し;
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行い;
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて、前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行い;及び
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、前記ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、前記画像サンプルに対応する検出結果を生成することを含む。
画像サンプルのスライスサンプル画像シーケンスにおける各ターゲットサンプル画像について、対応するスライスサンプル画像組を決定するための第二取得モジュールであって、前記スライスサンプル画像組は前記ターゲットサンプル画像と、前記スライスサンプル画像シーケンスにおいて前記ターゲットサンプル画像とコンテキスト関係を有する隣接サンプル画像とを含む、第二取得モジュール;
前記バックボーンネットワークにより、前記スライスサンプル画像組における各スライスサンプル画像について、対応するスライスサンプル特徴マップをそれぞれ抽出するためのサンプル特徴抽出モジュール;
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行うためのサンプルアライメントモジュール;
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行うためのサンプルアグリゲーションモジュール;及び
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、前記ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、前記画像サンプルに対応する検出結果を生成するためのサンプルターゲット検出モジュールを含む。
ステップ604:バックボーンネットワークにより、スライスサンプル画像組における各スライスサンプル画像についてそれぞれ対応するスライスサンプル特徴マップを抽出し;
ステップ606:3次元アライメントネットワークにより、スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行い;
ステップ608:3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを利用してスライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行い;
ステップ610:ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、画像サンプルに対応する検出結果を生成する。
Loss+Offset Loss+Center-ness Loss
ここで、Classification Lossは分類損失関数であり、Offset Lossは回帰損失関数であり、Center-ness Lossは中心点予測損失関数である。
r=x1 (i)-x, b=y1 (i)-y (1)
中心点予測ブランチは分類ブランチと並列しており、これはネットワークに1つの損失を追加することに相当し、該損失は、予測したバウンディングボックスがターゲット検出枠の中心点にできるだけ近づくように保証することができる。中心点予測損失関数の公式は以下の公式(2)で示される。
Memory、ROM)、磁気テープ、フロッピーディスク、フレッシュメモリ、光学記憶器などを含み得る。揮発性記憶器はランダムアクセスメモリ(Random Access Memory、RAM)又は外部高速キャッシュ記憶器を含んでも良い。例示として、RAMは複数の形式、例えば、静的ランダムアクセスメモリ(Static Random
Access Memory、SRAM)、動的ランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)などを有し得る。
Claims (13)
- コンピュータ装置が実行する画像データ検出方法であって、
検出待ち画像を取得するステップであって、前記検出待ち画像はスライス画像シーケンスを含む、ステップ;
前記スライス画像シーケンスにおける各ターゲット画像について、対応するスライス画像組を決定するステップであって、前記スライス画像組は、前記ターゲット画像、及び前記スライス画像シーケンスにおいて前記ターゲット画像とコンテキスト関係を有する隣接画像を含む、ステップ;
前記スライス画像組における各スライス画像について、対応するスライス特徴マップをそれぞれ抽出するステップ;
前記スライス画像組に対応して抽出された前記スライス特徴マップに対してアライメント操作を行うステップ;
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行うステップ;及び
アグリゲーション後の特徴マップに対してターゲット領域検出を行い、前記ターゲット画像に対応する検出結果を取得し、各ターゲット画像に対応する検出結果に対して合併を行い、前記検出待ち画像に対応する検出結果を生成するステップを含み、
前記スライス画像組に対応して抽出された前記スライス特徴マップに対してアライメント操作を行うステップは、
前記スライス画像組に対応して抽出された各スライス特徴マップに対してつなぎ合わせを行い、つなぎ合わせ後の特徴マップを用いてアライメント操作を行い、アライメント後の特徴マップを生成するステップを含み、
前記スライス画像組に対応して抽出された各スライス特徴マップに対してつなぎ合わせを行うことは、
前記スライス画像組に対応するスライスの数を取得するステップ;
前記スライス画像組に対応して抽出された各スライス特徴マップを用いて積み重ね処理を行うステップであって、積み重ね後の特徴マップはスライス数次元及びチャンネル次元を含む、ステップ;及び
前記スライス数次元の特徴と前記チャンネル次元の特徴の交換を行い、つなぎ合わせ後の特徴マップを生成するステップを含む、画像データ検出方法。 - 請求項1に記載の画像データ検出方法であって、
つなぎ合わせ後の特徴マップはスライスサイズ次元をさらに含み、
つなぎ合わせ後の特徴マップを用いてアライメント操作を行うことは、
つなぎ合わせ後の特徴マップに対して3次元畳み込み操作を行うステップ;
畳み込み操作後の特徴マップに対して前記スライス数次元及び前記スライスサイズ次元で正規化処理を行うステップ;及び
正規化後の特徴マップに対して非線形活性化を行い、アライメント後の特徴マップを出力するステップを含む、画像データ検出方法。 - 請求項1に記載の画像データ検出方法であって、
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行うステップは、
スライス数次元に基づいて前記アライメント後の特徴マップに対して再構成を行い、再構成後の特徴マップを生成するステップ;
再構成後の特徴マップを用いてアライメント後の特徴マップに対して加重(weighting)を行うステップ;及び
加重後の特徴マップに対して次元削減処理を行い、前記スライス画像組に対応するアグリゲーション後の特徴マップを生成するステップを含む、画像データ検出方法。 - 請求項3に記載の画像データ検出方法であって、
再構成後の特徴マップを用いて前記アライメント後の特徴マップに対して行加重を行い、加重後の特徴マップに対して次元削減処理を行うことは、
再構成後の特徴マップに対して変換を行い、変換後の特徴マップを用いてアライメント後の特徴マップのスライス数次元に対して加重を行うステップ;及び
次元削減畳み込みを取得し、前記次元削減畳み込みを用いて加重後の特徴マップに対して次元削減処理を行うステップを含む、画像データ検出方法。 - 請求項4に記載の画像データ検出方法であって、
前記次元削減畳み込みの畳み込みカーネルは前記スライス画像組に対応のスライスの数に応じて生成される、画像データ検出方法。 - 請求項1に記載の画像データ検出方法であって、
アグリゲーション後の特徴マップに対してターゲット領域検出を行うことは、
アグリゲーション後の特徴マップにおける、ターゲット検出枠内にある画素点に対応するカテゴリーを識別するステップ;
回帰によって前記画素点のバウンディングボックスを取得するステップ;及び
前記画素点から前記ターゲット検出枠の中心点までの相対距離を予測し、前記相対距離が所定距離を超えたときに、前記画素点のバウンディングボックスを除去するステップを含む、画像データ検出方法。 - コンピュータ装置が実行する、画像検出モデルの訓練方法であって、
前記画像検出モデルはバックボーンネットワーク、3次元アライメントネットワーク、3次元アグリゲーションネットワーク及びターゲット検出ネットワークを含み、
前記訓練方法は、
画像サンプルのスライスサンプル画像シーケンスにおける各ターゲットサンプル画像について、対応するスライスサンプル画像組を決定するステップであって、前記スライスサンプル画像組は、前記ターゲットサンプル画像、及び前記スライスサンプル画像シーケンスにおいて前記ターゲットサンプル画像とコンテキスト関係を有する隣接サンプル画像を含む、ステップ;
前記バックボーンネットワークにより、前記スライスサンプル画像組における各スライスサンプル画像について、対応するスライスサンプル特徴マップをそれぞれ抽出するステップ;
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行うステップ;
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行うステップ;及び
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、前記ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、前記画像サンプルに対応する検出結果を生成するステップを含み、
前記ターゲット検出ネットワークは分類ブランチ、回帰ブランチ及び中心点予測ブランチを含み、
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行うことは、
前記分類ブランチにより、アグリゲーション後のサンプル特徴マップにおける、ターゲット検出枠内にあるサンプル画素点に対応するカテゴリーを識別するステップ;
前記回帰ブランチにより、前記サンプル画素点のバウンディングボックスを回帰によって取得するステップ;及び
前記中心点予測ブランチにより、前記サンプル画素点から前記ターゲット検出枠の中心点までの相対距離を予測し、前記相対距離が所定距離を超えたときに、前記サンプル画素点のバウンディングボックスを除去するステップを含み、
前記訓練方法は、
前記スライスサンプル画像に対応するスライスの厚さを取得し、前記スライスの厚さに基づいてスライス調整個数を決定するステップ;及び
前記スライス調整個数のスライスサンプル画像を用いて非最大抑制操作を行い、不要な(redundant)検出枠を除去するステップをさらに含む、訓練方法。 - 請求項7に記載の訓練方法であって、
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行うステップは、
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出された各スライスサンプル画像に対してつなぎ合わせを行い、つなぎ合わせ後のサンプル特徴マップを用いてアライメント操作を行い、アライメント後のサンプル特徴マップを生成するステップを含む、訓練方法。 - 請求項7に記載の訓練方法であって、
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行うステップは、
前記3次元アグリゲーションネットワークにより、スライス数次元に基づいて前記アライメント後のサンプル特徴マップに対して再構成を行い、再構成後のサンプル特徴マップを生成するステップ;
再構成後のサンプル特徴マップを用いて前記アライメント後のサンプル特徴マップに対して加重(weighting)を行うステップ;及び
加重後のサンプル特徴マップに対して次元削減処理を行い、前記スライスサンプル画像組に対応するアグリゲーション後のサンプル特徴マップを生成するステップを含む、訓練方法。 - 画像データ検出装置であって、
スライス画像シーケンスを含む検出待ち画像を取得し、前記スライス画像シーケンスにおける各ターゲット画像について、対応するスライス画像組を決定するための第一取得モジュールであって、前記スライス画像組は、前記ターゲット画像、及び前記スライス画像シーケンスにおいて前記ターゲット画像とコンテキスト関係を有する隣接画像を含む、第一取得モジュール;
前記スライス画像組における各スライス画像について、対応するスライス特徴マップをそれぞれ抽出するための特徴抽出モジュール;
前記スライス画像組に対応して抽出されたスライス特徴マップに対してアライメント操作を行うためのアライメントモジュール;
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行うためのアグリゲーションモジュール;及び
アグリゲーション後の特徴マップに対してターゲット領域検出を行い、前記ターゲット画像に対応する検出結果を取得し、各ターゲット画像に対応する検出結果に対して合併を行い、前記検出待ち画像に対応する検出結果を生成するためのターゲット検出モジュールを含み、
前記アライメントモジュールは、
前記スライス画像組に対応して抽出された各スライス特徴マップに対してつなぎ合わせを行い、つなぎ合わせ後の特徴マップを用いてアライメント操作を行い、アライメント後の特徴マップを生成し、
前記スライス画像組に対応して抽出された各スライス特徴マップに対してつなぎ合わせを行うことは、
前記スライス画像組に対応するスライスの数を取得し;
前記スライス画像組に対応して抽出された各スライス特徴マップを用いて積み重ね処理を行い、積み重ね後の特徴マップはスライス数次元及びチャンネル次元を含み;及び
前記スライス数次元の特徴と前記チャンネル次元の特徴の交換を行い、つなぎ合わせ後の特徴マップを生成することを含む、画像データ検出装置。 - 画像検出モデルの訓練装置であって、
前記画像検出モデルはバックボーンネットワーク、3次元アライメントネットワーク、3次元アグリゲーションネットワーク及びターゲット検出ネットワークを含み、
前記訓練装置は、
画像サンプルのスライスサンプル画像シーケンスにおける各ターゲットサンプル画像について、対応するスライスサンプル画像組を決定するための第二取得モジュールであって、前記スライスサンプル画像組は、前記ターゲットサンプル画像、及び前記スライスサンプル画像シーケンスにおいて前記ターゲットサンプル画像とコンテキスト関係を有する隣接サンプル画像を含む、第二取得モジュール;
前記バックボーンネットワークにより、前記スライスサンプル画像組における各スライスサンプル画像について、対応するスライスサンプル特徴マップをそれぞれ抽出するためのサンプル特徴抽出モジュール;
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行うためのサンプルアライメントモジュール;
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行うためのサンプルアグリゲーションモジュール;及び
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、前記ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、前記画像サンプルに対応する検出結果を生成するためのサンプルターゲット検出モジュールを含み、
前記ターゲット検出ネットワークは分類ブランチ、回帰ブランチ及び中心点予測ブランチを含み、
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行うことは、
前記分類ブランチにより、アグリゲーション後のサンプル特徴マップにおける、ターゲット検出枠内にあるサンプル画素点に対応するカテゴリーを識別し;
前記回帰ブランチにより、前記サンプル画素点のバウンディングボックスを回帰によって取得し;及び
前記中心点予測ブランチにより、前記サンプル画素点から前記ターゲット検出枠の中心点までの相対距離を予測し、前記相対距離が所定距離を超えたときに、前記サンプル画素点のバウンディングボックスを除去することを含み、
前記サンプルターゲット検出モジュールは、さらに、
前記スライスサンプル画像に対応するスライスの厚さを取得し、前記スライスの厚さに基づいてスライス調整個数を決定し;及び
前記スライス調整個数のスライスサンプル画像を用いて非最大抑制操作を行い、不要な(redundant)検出枠を除去する、訓練装置。 - コンピュータ装置であって、
記憶器、及び前記記憶器に接続される処理器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は、前記コンピュータプログラムを実行することにより、請求項1乃至6のうちの何れか1項に記載の画像データ検出方法、及び/又は、請求項7乃至9のうちの何れか1項に記載の画像検出モデルの訓練方法を実現するように構成される、コンピュータ装置。 - コンピュータに、請求項1乃至6のうちの何れか1項に記載の画像データ検出方法、及び/又は、請求項7乃至9のうちの何れか1項に記載の画像検出モデルの訓練方法を実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010367441.0 | 2020-04-30 | ||
CN202010367441.0A CN111583220B (zh) | 2020-04-30 | 2020-04-30 | 影像数据检测方法和装置 |
PCT/CN2021/081206 WO2021218469A1 (zh) | 2020-04-30 | 2021-03-17 | 影像数据检测方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023505899A JP2023505899A (ja) | 2023-02-13 |
JP7376720B2 true JP7376720B2 (ja) | 2023-11-08 |
Family
ID=72127681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022535820A Active JP7376720B2 (ja) | 2020-04-30 | 2021-03-17 | 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220233160A1 (ja) |
EP (1) | EP4030382A4 (ja) |
JP (1) | JP7376720B2 (ja) |
CN (1) | CN111583220B (ja) |
WO (1) | WO2021218469A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583220B (zh) * | 2020-04-30 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 影像数据检测方法和装置 |
CN112287978B (zh) * | 2020-10-07 | 2022-04-15 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
CN112465819A (zh) * | 2020-12-18 | 2021-03-09 | 平安科技(深圳)有限公司 | 图像异常区域检测方法、装置、电子设备及存储介质 |
CN112668672A (zh) * | 2021-03-16 | 2021-04-16 | 深圳市安软科技股份有限公司 | 基于TensorRT的目标检测模型加速方法及装置 |
CN114332530A (zh) * | 2021-12-22 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、计算机设备及存储介质 |
CN114792414A (zh) * | 2022-03-31 | 2022-07-26 | 北京鉴智科技有限公司 | 一种用于载体的目标变量检测方法及其系统 |
CN115439511B (zh) * | 2022-11-09 | 2023-03-10 | 广东电网有限责任公司珠海供电局 | 一种挖掘机运动监测方法、系统和设备 |
CN116152656B (zh) * | 2022-12-28 | 2023-09-19 | 生态环境部卫星环境应用中心 | 基于蒸馏学习的sar影像城市固废自动识别方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184908A (ja) | 2014-03-24 | 2015-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置および画像処理プログラム |
WO2019005722A1 (en) | 2017-06-26 | 2019-01-03 | The Research Foundation For The State University Of New York | SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIA FOR VIRTUAL PANCREATOGRAPHY |
CN110111313A (zh) | 2019-04-22 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9830709B2 (en) * | 2016-03-11 | 2017-11-28 | Qualcomm Incorporated | Video analysis with convolutional attention recurrent neural networks |
US10580131B2 (en) * | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
CN106919919B (zh) * | 2017-02-28 | 2019-08-06 | 西安电子科技大学 | 一种基于多特征融合词包模型的sar目标鉴别方法 |
WO2019002631A1 (en) * | 2017-06-30 | 2019-01-03 | Promaton Holding B.V. | 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES |
CN108648192B (zh) * | 2018-05-17 | 2021-08-17 | 杭州依图医疗技术有限公司 | 一种检测结节的方法及装置 |
CN109191510B (zh) * | 2018-07-09 | 2020-05-15 | 研境信息科技(上海)有限公司 | 一种病理切片的3d重建方法及其装置 |
US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
CN109325947A (zh) * | 2018-09-20 | 2019-02-12 | 北京航空航天大学 | 一种基于深度学习的sar图像铁塔目标检测方法 |
CN110309842B (zh) * | 2018-12-28 | 2023-01-06 | 中国科学院微电子研究所 | 基于卷积神经网络的物体检测方法及装置 |
CN110633640A (zh) * | 2019-08-13 | 2019-12-31 | 杭州电子科技大学 | 优化PointNet对于复杂场景的识别方法 |
CN110852242A (zh) * | 2019-11-06 | 2020-02-28 | 北京字节跳动网络技术有限公司 | 基于多尺度网络的水印识别方法、装置、设备及存储介质 |
CN111583220B (zh) * | 2020-04-30 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 影像数据检测方法和装置 |
-
2020
- 2020-04-30 CN CN202010367441.0A patent/CN111583220B/zh active Active
-
2021
- 2021-03-17 JP JP2022535820A patent/JP7376720B2/ja active Active
- 2021-03-17 WO PCT/CN2021/081206 patent/WO2021218469A1/zh unknown
- 2021-03-17 EP EP21797835.2A patent/EP4030382A4/en active Pending
-
2022
- 2022-04-15 US US17/721,806 patent/US20220233160A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184908A (ja) | 2014-03-24 | 2015-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置および画像処理プログラム |
WO2019005722A1 (en) | 2017-06-26 | 2019-01-03 | The Research Foundation For The State University Of New York | SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIA FOR VIRTUAL PANCREATOGRAPHY |
CN110111313A (zh) | 2019-04-22 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
EP4030382A1 (en) | 2022-07-20 |
US20220233160A1 (en) | 2022-07-28 |
CN111583220B (zh) | 2023-04-18 |
CN111583220A (zh) | 2020-08-25 |
WO2021218469A1 (zh) | 2021-11-04 |
JP2023505899A (ja) | 2023-02-13 |
EP4030382A4 (en) | 2023-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7376720B2 (ja) | 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム | |
US10970520B1 (en) | Apparatus and method for image analysis using virtual three-dimensional deep neural network | |
US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
Zhu et al. | Deeplung: Deep 3d dual path nets for automated pulmonary nodule detection and classification | |
WO2021227726A1 (zh) | 面部检测、图像检测神经网络训练方法、装置和设备 | |
US20210366152A1 (en) | Method and apparatus with gaze estimation | |
US20210374475A1 (en) | Image recognition method and apparatus, recognition model training method and apparatus, and storage medium | |
EP3333768A1 (en) | Method and apparatus for detecting target | |
US20220215227A1 (en) | Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium | |
US20220254134A1 (en) | Region recognition method, apparatus and device, and readable storage medium | |
US20230326173A1 (en) | Image processing method and apparatus, and computer-readable storage medium | |
CN110532959B (zh) | 基于双通道三维卷积神经网络的实时暴力行为检测系统 | |
US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
CN109948575A (zh) | 超声图像中眼球区域分割方法 | |
CN114677754A (zh) | 行为识别方法、装置、电子设备及计算机可读存储介质 | |
WO2019219949A1 (en) | Image processing using generative graphical models | |
CN117710760A (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
CN113554656B (zh) | 基于图神经网络的光学遥感图像实例分割方法及装置 | |
US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
CN115937507A (zh) | 一种基于点空洞方向卷积的点云语义分割方法 | |
CN114627292A (zh) | 工业遮挡目标检测方法 | |
Zheng et al. | 3D consistent biventricular myocardial segmentation using deep learning for mesh generation | |
Li et al. | DualRC: A Dual-Resolution Learning Framework with Neighbourhood Consensus for Visual Correspondences | |
US11763468B2 (en) | Structured landmark detection via topology-adapting deep graph learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7376720 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |