JP2023505899A - 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム - Google Patents
画像データ検出方法及び装置並びにコンピュータ装置及びプログラム Download PDFInfo
- Publication number
- JP2023505899A JP2023505899A JP2022535820A JP2022535820A JP2023505899A JP 2023505899 A JP2023505899 A JP 2023505899A JP 2022535820 A JP2022535820 A JP 2022535820A JP 2022535820 A JP2022535820 A JP 2022535820A JP 2023505899 A JP2023505899 A JP 2023505899A
- Authority
- JP
- Japan
- Prior art keywords
- slice
- image
- sample
- detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 290
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000004931 aggregating effect Effects 0.000 claims abstract description 15
- 238000004220 aggregation Methods 0.000 claims description 61
- 230000002776 aggregation Effects 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 44
- 230000009467 reduction Effects 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011946 reduction process Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 3
- 238000005304 joining Methods 0.000 claims description 2
- 238000005267 amalgamation Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000003860 storage Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 210000004072 lung Anatomy 0.000 description 9
- 238000012952 Resampling Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002685 pulmonary effect Effects 0.000 description 4
- 206010003210 Arteriosclerosis Diseases 0.000 description 3
- 206010056284 Lymph node calcification Diseases 0.000 description 3
- 208000011775 arteriosclerosis disease Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001627 detrimental effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000026216 Thoracic disease Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
- A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Abstract
Description
検出待ち画像を取得し、前記検出待ち画像はスライス画像(slice image)シーケンスを含み;
スライス画像シーケンスにおける各ターゲット画像について、対応するスライス画像組(グループ)を決定し、前記スライス画像組は、前記ターゲット画像と、前記スライス画像シーケンスにおいて前記ターゲット画像とのコンテキスト(文脈)関係を有する隣接画像とを含み;
前記スライス画像組における各スライス画像について、対応するスライス特徴マップをそれぞれ抽出し;
前記スライス画像組に対応して抽出されたスライス特徴マップに対してアライメント(位置合わせ)操作を行い;
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行い;及び
アグリゲーション後の特徴マップに対してターゲット領域検出を行い、前記ターゲット画像に対応する検出結果を取得し、各ターゲット画像に対応する検出結果に対して合併を行い、前記検出待ち画像に対応する検出結果を生成することを含む。
スライス画像シーケンスを含む検出待ち画像を取得し、スライス画像シーケンスにおける各ターゲット画像について、対応するスライス画像組を決定するための第一取得モジュールであって、前記スライス画像組は前記ターゲット画像と、前記スライス画像シーケンスにおいて前記ターゲット画像とコンテキスト関係を有する隣接画像とを含む、第一取得モジュール;
前記スライス画像組における各スライス画像について、対応するスライス特徴マップをそれぞれ抽出するための特徴抽出モジュール;
前記スライス画像組に対応して抽出されたスライス特徴マップに対してアライメント操作を行うためのアライメントモジュール;
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行うためのアグリゲーションモジュール;及び
アグリゲーション後の特徴マップに対してターゲット領域検出を行い、前記ターゲット画像に対応する検出結果を取得し、各ターゲット画像に対応する検出結果に対して合併を行い、前記検出待ち画像に対応する検出結果を生成するためのターゲット検出モジュール。
画像サンプルのスライスサンプル画像シーケンスにおける各ターゲットサンプル画像について、対応するスライスサンプル画像組を決定し、前記スライスサンプル画像組は前記ターゲットサンプル画像と、前記スライスサンプル画像シーケンスにおいて前記ターゲットサンプル画像とコンテキスト関係を有する隣接サンプル画像とを含み;
前記バックボーンネットワークにより、前記スライスサンプル画像組における各スライスサンプル画像について、対応するスライスサンプル特徴マップをそれぞれ抽出し;
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行い;
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて、前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行い;及び
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、前記ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、前記画像サンプルに対応する検出結果を生成することを含む。
画像サンプルのスライスサンプル画像シーケンスにおける各ターゲットサンプル画像について、対応するスライスサンプル画像組を決定するための第二取得モジュールであって、前記スライスサンプル画像組は前記ターゲットサンプル画像と、前記スライスサンプル画像シーケンスにおいて前記ターゲットサンプル画像とコンテキスト関係を有する隣接サンプル画像とを含む、第二取得モジュール;
前記バックボーンネットワークにより、前記スライスサンプル画像組における各スライスサンプル画像について、対応するスライスサンプル特徴マップをそれぞれ抽出するためのサンプル特徴抽出モジュール;
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行うためのサンプルアライメントモジュール;
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行うためのサンプルアグリゲーションモジュール;及び
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、前記ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、前記画像サンプルに対応する検出結果を生成するためのサンプルターゲット検出モジュールを含む。
ステップ604:バックボーンネットワークにより、スライスサンプル画像組における各スライスサンプル画像についてそれぞれ対応するスライスサンプル特徴マップを抽出し;
ステップ606:3次元アライメントネットワークにより、スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行い;
ステップ608:3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを利用してスライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行い;
ステップ610:ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、画像サンプルに対応する検出結果を生成する。
Loss+Offset Loss+Center-ness Loss
ここで、Classification Lossは分類損失関数であり、Offset Lossは回帰損失関数であり、Center-ness Lossは中心点予測損失関数である。
r=x1 (i)-x, b=y1 (i)-y (1)
中心点予測ブランチは分類ブランチと並列しており、これはネットワークに1つの損失を追加することに相当し、該損失は、予測したバウンディングボックスがターゲット検出枠の中心点にできるだけ近づくように保証することができる。中心点予測損失関数の公式は以下の公式(2)で示される。
Memory、ROM)、磁気テープ、フロッピーディスク、フレッシュメモリ、光学記憶器などを含み得る。揮発性記憶器はランダムアクセスメモリ(Random Access Memory、RAM)又は外部高速キャッシュ記憶器を含んでも良い。例示として、RAMは複数の形式、例えば、静的ランダムアクセスメモリ(Static Random
Access Memory、SRAM)、動的ランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)などを有し得る。
Claims (17)
- コンピュータ装置が実行する画像データ検出方法であって、
検出待ち画像を取得するステップであって、前記検出待ち画像はスライス画像シーケンスを含む、ステップ;
前記スライス画像シーケンスにおける各ターゲット画像について、対応するスライス画像組を決定するステップであって、前記スライス画像組は、前記ターゲット画像、及び前記スライス画像シーケンスにおいて前記ターゲット画像とコンテキスト関係を有する隣接画像を含む、ステップ;
前記スライス画像組における各スライス画像について、対応するスライス特徴マップをそれぞれ抽出するステップ;
前記スライス画像組に対応して抽出された前記スライス特徴マップに対してアライメント操作を行うステップ;
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行うステップ;及び
アグリゲーション後の特徴マップに対してターゲット領域検出を行い、前記ターゲット画像に対応する検出結果を取得し、各ターゲット画像に対応する検出結果に対して合併を行い、前記検出待ち画像に対応する検出結果を生成するステップを含む、画像データ検出方法。 - 請求項1に記載の画像データ検出方法であって、
前記スライス画像組に対応して抽出された前記スライス特徴マップに対してアライメント操作を行うステップは、
前記スライス画像組に対応して抽出された各スライス特徴マップに対してつなぎ合わせを行い、つなぎ合わせ後の特徴マップを用いてアライメント操作を行い、アライメント後の特徴マップを生成するステップを含む、画像データ検出方法。 - 請求項2に記載の画像データ検出方法であって、
前記スライス画像組に対応して抽出された各スライス画像に対してつなぎ合わせを行うことは、
前記スライス画像組に対応するスライスの数を取得するステップ;
前記スライス画像組に対応して抽出された各スライス特徴マップを用いて積み重ね処理を行ステップであって、積み重ね後の特徴マップはスライス数次元及びチャンネル次元を含む、ステップ;及び
前記スライス数次元の特徴と前記チャンネル次元の特徴の交換を行い、つなぎ合わせ後の特徴マップを生成するステップを含む、画像データ検出方法。 - 請求項3に記載の画像データ検出方法であって、
つなぎ合わせ後の特徴マップはスライスサイズ次元をさらに含み、
つなぎ合わせ後の特徴マップを用いてアライメント操作を行うことは、
つなぎ合わせ後の特徴マップに対して3次元畳み込み操作を行うステップ;
畳み込み操作後の特徴マップに対して前記スライス数次元及び前記スライスサイズ次元で正規化処理を行うステップ;及び
正規化後の特徴マップに対して非線形活性化を行い、アライメント後の特徴マップを出力するステップを含む、画像データ検出方法。 - 請求項1に記載の画像データ検出方法であって、
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行うステップは、
スライス数次元に基づいて前記アライメント後の特徴マップに対して再構成を行い、再構成後の特徴マップを生成するステップ;
再構成後の特徴マップを用いてアライメント後の特徴マップに対して加重(weighting)を行うステップ;及び
加重後の特徴マップに対して次元削減処理を行い、前記スライス画像組に対応するアグリゲーション後の特徴マップを生成するステップを含む、画像データ検出方法。 - 請求項5に記載の画像データ検出方法であって、
再構成後の特徴マップを用いて前記アライメント後の特徴マップに対して行加重を行い、加重後の特徴マップに対して次元削減処理を行うことは、
再構成後の特徴マップに対して変換を行い、変換後の特徴マップを用いてアライメント後の特徴マップのスライス数次元に対して加重を行うステップ;及び
次元削減畳み込みを取得し、前記次元削減畳み込みを用いて加重後の特徴マップに対して次元削減処理を行うステップを含む、画像データ検出方法。 - 請求項6に記載の画像データ検出方法であって、
前記次元削減畳み込みの畳み込みカーネルは前記スライス画像組に対応のスライスの数に応じて生成される、画像データ検出方法。 - 請求項1に記載の画像データ検出方法であって、
アグリゲーション後の特徴マップに対してターゲット領域検出を行うことは、
アグリゲーション後の特徴マップにおける、ターゲット検出枠内にある画素点に対応するカテゴリーを識別するステップ;
回帰によって前記画素点のバウンディングボックスを取得するステップ;及び
前記画素点から前記ターゲット検出枠の中心点までの相対距離を予測し、前記相対距離が所定距離を超えたときに、前記画素点のバウンディングボックスを除去するステップを含む、画像データ検出方法。 - コンピュータ装置が実行する、画像検出モデルの訓練方法であって、
前記画像検出モデルはバックボーンネットワーク、3次元アライメントネットワーク、3次元アグリゲーションネットワーク及びターゲット検出ネットワークを含み、
前記訓練方法は、
画像サンプルのスライスサンプル画像シーケンスにおける各ターゲットサンプル画像について、対応するスライスサンプル画像組を決定するステップであって、前記スライスサンプル画像組は、前記ターゲットサンプル画像、及び前記スライスサンプル画像シーケンスにおいて前記ターゲットサンプル画像とコンテキスト関係を有する隣接サンプル画像を含む、ステップ;
前記バックボーンネットワークにより、前記スライスサンプル画像組における各スライスサンプル画像について、対応するスライスサンプル特徴マップをそれぞれ抽出するステップ;
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行うステップ;
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行うステップ;及び
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、前記ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、前記画像サンプルに対応する検出結果を生成するステップを含む、訓練方法。 - 請求項9に記載の訓練方法であって、
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行うステップは、
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出された各スライスサンプル画像に対してつなぎ合わせを行い、つなぎ合わせ後のサンプル特徴マップを用いてアライメント操作を行い、アライメント後のサンプル特徴マップを生成するステップを含む、訓練方法。 - 請求項9に記載の訓練方法であって、
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行うステップは、
前記3次元アグリゲーションネットワークにより、スライス数次元に基づいて前記アライメント後のサンプル特徴マップに対して再構成を行い、再構成後のサンプル特徴マップを生成するステップ;
再構成後のサンプル特徴マップを用いて前記アライメント後のサンプル特徴マップに対して加重(weighting)を行うステップ;及び
加重後のサンプル特徴マップに対して次元削減処理を行い、前記スライスサンプル画像組に対応するアグリゲーション後のサンプル特徴マップを生成するステップを含む、訓練方法。 - 請求項9に記載の訓練方法であって、
前記ターゲット検出ネットワークは分類ブランチ、回帰ブランチ及び中心点予測ブランチを含み、
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行うことは、
前記分類ブランチにより、アグリゲーション後のサンプル特徴マップにおける、ターゲット検出枠内にあるサンプル画素点に対応するカテゴリーを識別するステップ;
前記回帰ブランチにより、前記サンプル画素点のバウンディングボックスを回帰によって取得するステップ;及び
前記中心点予測ブランチにより、前記サンプル画素点から前記ターゲット検出枠の中心点までの相対距離を予測し、前記相対距離が所定距離を超えたときに、前記サンプル画素点のバウンディングボックスを除去するステップを含む、訓練方法。 - 請求項12に記載の訓練方法であって、
前記スライスサンプル画像に対応するスライスの厚さを取得し、前記スライスの厚さに基づいてスライス調整個数を決定するステップ;及び
前記スライス調整個数のスライスサンプル画像を用いて非最大抑制操作を行い、不要な(redundant)検出枠を除去するステップをさらに含む、訓練方法。 - 画像データ検出装置であって、
スライス画像シーケンスを含む検出待ち画像を取得し、前記スライス画像シーケンスにおける各ターゲット画像について、対応するスライス画像組を決定するための第一取得モジュールであって、前記スライス画像組は、前記ターゲット画像、及び前記スライス画像シーケンスにおいて前記ターゲット画像とコンテキスト関係を有する隣接画像を含む、第一取得モジュール;
前記スライス画像組における各スライス画像について、対応するスライス特徴マップをそれぞれ抽出するための特徴抽出モジュール;
前記スライス画像組に対応して抽出されたスライス特徴マップに対してアライメント操作を行うためのアライメントモジュール;
アライメント後の特徴マップを用いて前記スライス画像組における各スライス画像のコンテキスト情報に対してアグリゲーションを行うためのアグリゲーションモジュール;及び
アグリゲーション後の特徴マップに対してターゲット領域検出を行い、前記ターゲット画像に対応する検出結果を取得し、各ターゲット画像に対応する検出結果に対して合併を行い、前記検出待ち画像に対応する検出結果を生成するためのターゲット検出モジュールを含む、画像データ検出装置。 - 画像検出モデルの訓練装置であって、
前記画像検出モデルはバックボーンネットワーク、3次元アライメントネットワーク、3次元アグリゲーションネットワーク及びターゲット検出ネットワークを含み、
前記訓練装置は、
画像サンプルのスライスサンプル画像シーケンスにおける各ターゲットサンプル画像について、対応するスライスサンプル画像組を決定するための第二取得モジュールであって、前記スライスサンプル画像組は、前記ターゲットサンプル画像、及び前記スライスサンプル画像シーケンスにおいて前記ターゲットサンプル画像とコンテキスト関係を有する隣接サンプル画像を含む、第二取得モジュール;
前記バックボーンネットワークにより、前記スライスサンプル画像組における各スライスサンプル画像について、対応するスライスサンプル特徴マップをそれぞれ抽出するためのサンプル特徴抽出モジュール;
前記3次元アライメントネットワークにより、前記スライスサンプル画像組に対応して抽出されたスライスサンプル特徴マップに対してアライメント操作を行うためのサンプルアライメントモジュール;
前記3次元アグリゲーションネットワークにより、アライメント後のサンプル特徴マップを用いて前記スライスサンプル画像組における各スライスサンプル画像のコンテキスト情報に対してアグリゲーションを行うためのサンプルアグリゲーションモジュール;及び
前記ターゲット検出ネットワークにより、アグリゲーション後のサンプル特徴マップに対してターゲット領域検出を行い、前記ターゲットサンプル画像に対応する検出結果を取得し、各ターゲットサンプル画像に対応する検出結果に対して合併を行い、前記画像サンプルに対応する検出結果を生成するためのサンプルターゲット検出モジュールを含む、訓練装置。 - コンピュータ装置であって、
記憶器、及び前記記憶器に接続される処理器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は、前記コンピュータプログラムを実行することにより、請求項1乃至8のうちの何れか1項に記載の画像データ検出方法、及び/又は、請求項9乃至13のうちの何れか1項に記載の画像検出モデルの訓練方法を実現するように構成される、コンピュータ装置。 - コンピュータに、請求項1乃至8のうちの何れか1項に記載の画像データ検出方法、及び/又は、請求項9乃至13のうちの何れか1項に記載の画像検出モデルの訓練方法を実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010367441.0 | 2020-04-30 | ||
CN202010367441.0A CN111583220B (zh) | 2020-04-30 | 2020-04-30 | 影像数据检测方法和装置 |
PCT/CN2021/081206 WO2021218469A1 (zh) | 2020-04-30 | 2021-03-17 | 影像数据检测方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023505899A true JP2023505899A (ja) | 2023-02-13 |
JP7376720B2 JP7376720B2 (ja) | 2023-11-08 |
Family
ID=72127681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022535820A Active JP7376720B2 (ja) | 2020-04-30 | 2021-03-17 | 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220233160A1 (ja) |
EP (1) | EP4030382A4 (ja) |
JP (1) | JP7376720B2 (ja) |
CN (1) | CN111583220B (ja) |
WO (1) | WO2021218469A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583220B (zh) * | 2020-04-30 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 影像数据检测方法和装置 |
CN112287978B (zh) * | 2020-10-07 | 2022-04-15 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
CN112465819A (zh) * | 2020-12-18 | 2021-03-09 | 平安科技(深圳)有限公司 | 图像异常区域检测方法、装置、电子设备及存储介质 |
CN112668672A (zh) * | 2021-03-16 | 2021-04-16 | 深圳市安软科技股份有限公司 | 基于TensorRT的目标检测模型加速方法及装置 |
CN114332530A (zh) * | 2021-12-22 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、计算机设备及存储介质 |
CN114792414A (zh) * | 2022-03-31 | 2022-07-26 | 北京鉴智科技有限公司 | 一种用于载体的目标变量检测方法及其系统 |
CN115439511B (zh) * | 2022-11-09 | 2023-03-10 | 广东电网有限责任公司珠海供电局 | 一种挖掘机运动监测方法、系统和设备 |
CN116152656B (zh) * | 2022-12-28 | 2023-09-19 | 生态环境部卫星环境应用中心 | 基于蒸馏学习的sar影像城市固废自动识别方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184908A (ja) * | 2014-03-24 | 2015-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置および画像処理プログラム |
WO2019005722A1 (en) * | 2017-06-26 | 2019-01-03 | The Research Foundation For The State University Of New York | SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIA FOR VIRTUAL PANCREATOGRAPHY |
CN110111313A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9830709B2 (en) * | 2016-03-11 | 2017-11-28 | Qualcomm Incorporated | Video analysis with convolutional attention recurrent neural networks |
US10580131B2 (en) * | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
CN106919919B (zh) * | 2017-02-28 | 2019-08-06 | 西安电子科技大学 | 一种基于多特征融合词包模型的sar目标鉴别方法 |
CN110998602B (zh) * | 2017-06-30 | 2023-12-01 | 普罗马顿控股有限责任公司 | 使用深度学习方法对3d牙颌面结构的分类和3d建模 |
CN108648192B (zh) * | 2018-05-17 | 2021-08-17 | 杭州依图医疗技术有限公司 | 一种检测结节的方法及装置 |
CN109191510B (zh) * | 2018-07-09 | 2020-05-15 | 研境信息科技(上海)有限公司 | 一种病理切片的3d重建方法及其装置 |
US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
CN109325947A (zh) * | 2018-09-20 | 2019-02-12 | 北京航空航天大学 | 一种基于深度学习的sar图像铁塔目标检测方法 |
CN110309842B (zh) * | 2018-12-28 | 2023-01-06 | 中国科学院微电子研究所 | 基于卷积神经网络的物体检测方法及装置 |
CN110633640A (zh) * | 2019-08-13 | 2019-12-31 | 杭州电子科技大学 | 优化PointNet对于复杂场景的识别方法 |
CN110852242A (zh) * | 2019-11-06 | 2020-02-28 | 北京字节跳动网络技术有限公司 | 基于多尺度网络的水印识别方法、装置、设备及存储介质 |
CN111583220B (zh) * | 2020-04-30 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 影像数据检测方法和装置 |
-
2020
- 2020-04-30 CN CN202010367441.0A patent/CN111583220B/zh active Active
-
2021
- 2021-03-17 JP JP2022535820A patent/JP7376720B2/ja active Active
- 2021-03-17 EP EP21797835.2A patent/EP4030382A4/en active Pending
- 2021-03-17 WO PCT/CN2021/081206 patent/WO2021218469A1/zh unknown
-
2022
- 2022-04-15 US US17/721,806 patent/US20220233160A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184908A (ja) * | 2014-03-24 | 2015-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置および画像処理プログラム |
WO2019005722A1 (en) * | 2017-06-26 | 2019-01-03 | The Research Foundation For The State University Of New York | SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIA FOR VIRTUAL PANCREATOGRAPHY |
CN110111313A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111583220A (zh) | 2020-08-25 |
EP4030382A4 (en) | 2023-06-07 |
EP4030382A1 (en) | 2022-07-20 |
US20220233160A1 (en) | 2022-07-28 |
JP7376720B2 (ja) | 2023-11-08 |
CN111583220B (zh) | 2023-04-18 |
WO2021218469A1 (zh) | 2021-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7376720B2 (ja) | 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム | |
WO2021227726A1 (zh) | 面部检测、图像检测神经网络训练方法、装置和设备 | |
EP3933693B1 (en) | Object recognition method and device | |
US11747898B2 (en) | Method and apparatus with gaze estimation | |
WO2015139574A1 (zh) | 一种静态物体重建方法和系统 | |
CN110852349B (zh) | 一种图像处理方法、检测方法、相关设备及存储介质 | |
WO2021196389A1 (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
US11347308B2 (en) | Method and apparatus with gaze tracking | |
CN113728335A (zh) | 用于3d图像的分类和可视化的方法和系统 | |
US20220254134A1 (en) | Region recognition method, apparatus and device, and readable storage medium | |
WO2021233017A1 (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN110232318A (zh) | 穴位识别方法、装置、电子设备及存储介质 | |
CN110399826B (zh) | 一种端到端人脸检测和识别方法 | |
WO2022205502A1 (zh) | 一种图像分类模型的构建方法、图像分类方法及存储介质 | |
Zhao et al. | D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism | |
CN109948575A (zh) | 超声图像中眼球区域分割方法 | |
CN112836653A (zh) | 人脸隐私化方法、设备、装置及计算机存储介质 | |
US11308368B2 (en) | Image processing using generative graphical models | |
Jiao et al. | Non-local duplicate pooling network for salient object detection | |
Gu et al. | AYOLOv5: Improved YOLOv5 based on attention mechanism for blood cell detection | |
Shi et al. | Combined channel and spatial attention for YOLOv5 during target detection | |
Reale et al. | Facial action unit analysis through 3d point cloud neural networks | |
Chen et al. | Adaptive Cross Entropy for ultrasmall object detection in Computed Tomography with noisy labels | |
Lin et al. | A computational visual saliency model based on statistics and machine learning | |
CN112749576B (zh) | 图像识别方法和装置、计算设备以及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7376720 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |