JP7277341B2 - ノイズ先行物を用いる曲線オブジェクトセグメンテーション - Google Patents

ノイズ先行物を用いる曲線オブジェクトセグメンテーション Download PDF

Info

Publication number
JP7277341B2
JP7277341B2 JP2019212324A JP2019212324A JP7277341B2 JP 7277341 B2 JP7277341 B2 JP 7277341B2 JP 2019212324 A JP2019212324 A JP 2019212324A JP 2019212324 A JP2019212324 A JP 2019212324A JP 7277341 B2 JP7277341 B2 JP 7277341B2
Authority
JP
Japan
Prior art keywords
training
segmentation
noise
input image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019212324A
Other languages
English (en)
Other versions
JP2020098588A (ja
Inventor
ラジャ・バーラ
ヴェンカテーシュワララオ・チェルクリ
ヴィジャイ・クマール・ビー・ジー
Original Assignee
パロ アルト リサーチ センター インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パロ アルト リサーチ センター インコーポレイテッド filed Critical パロ アルト リサーチ センター インコーポレイテッド
Publication of JP2020098588A publication Critical patent/JP2020098588A/ja
Application granted granted Critical
Publication of JP7277341B2 publication Critical patent/JP7277341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Description

本開示は、画像処理、特に画像セグメンテーションを対象とする。
曲線オブジェクトは、自然界の多くの場面において見られ、一般的な例としては、人間の顔のしわ、道路の亀裂、網膜内の血管、及び衛星画像の道路を含む。したがって、曲線オブジェクトの画素単位の自動検出とセグメンテーションは、様々なアプリケーションに影響を与える重要なコンピュータービジョンタスクである。
本明細書に記載される実施形態は、曲線オブジェクトセグメンテーションのための方法を含む。曲線特徴を含む少なくとも１つの入力画像が受信される。少なくとも１つの画像は、表現モジュールとタスクモジュールを有するディープネットワークを使用してセグメンテーションマップを出力するために、プロセッサを使用してマッピングされ。マッピングは、少なくとも１つの入力画像のドメイン及びタスクのうちの１つ以上のノイズを抑制するように訓練された学習可能フィルタを使用して、表現モジュールにおいて入力画像を変換することを含む。セグメンテーションマップは、タスクモジュールにおいて変換された入力画像を使用して生成される。
曲線オブジェクトセグメンテーションのためのシステムは、プロセッサと、プロセッサによって実行されるとプロセッサに動作を行わせるコンピュータプログラム命令を記憶するメモリとを含む。動作は、曲線特徴を含む少なくとも１つの入力画像を受信することと、表現モジュール及びタスクモジュールを有するディープネットワークを使用してセグメンテーションマップを出力するために、プロセッサを使用して少なくとも１つの画像をマッピングすることと、を含む。マッピングは、１つ以上のドメイン及び少なくとも１つの入力画像のタスクのノイズを抑制するように訓練された学習可能フィルタを使用して、表現モジュールにおいて入力画像を変換することを含む。セグメンテーションマップは、タスクモジュールにおいて変換された入力画像を使用して生成される。
非一時的コンピュータ可読媒体は、曲線オブジェクトセグメンテーションのためのコンピュータプログラム命令を記憶することを含み、コンピュータプログラム命令は、プロセッサによって実行されると、プロセッサに動作を行わせる。動作は、曲線特徴を含む少なくとも１つの入力画像を受信し、表現モジュール及びタスクモジュールを有するディープネットワークを使用してセグメンテーションマップを出力するために、プロセッサを使用して少なくとも１つの画像をマッピングすることを含む。マッピングは、１つ以上のドメイン及び少なくとも１つの入力画像のタスクのノイズを抑制するように訓練された学習可能フィルタを使用して、表現モジュールにおいて入力画像を変換することを含む。セグメンテーションマップは、タスクモジュールにおいて変換された入力画像を使用して生成される。
本明細書に記載される様々な実施形態による、幾何学的先行物を使用する曲線画像セグメンテーションのための方法を示す。 本明細書に記載される様々な実施形態による、幾何学的先行物を使用する曲線画像セグメンテーションのための方法を示す。 本明細書に記載される様々な実施形態による、ノイズ先行物を使用する曲線画像セグメンテーションのための方法を示す。 本明細書に記載される様々な実施形態による、ノイズ先行物を使用する曲線画像セグメンテーションのための方法を示す。 本明細書に記載される実施形態による、曲線セグメンテーションのためのディープラーニングアーキテクチャを示す。 本明細書に記載される実施形態による、例示的な第１の幾何学的訓練画像を示す。 本明細書に記載される実施形態による、例示的な第２の幾何学的訓練画像を示す。 本明細書に記載される実施形態による、学習可能フィルタなしのデータ駆動型訓練を使用したフィルタの可視化を示す。 本明細書に記載される実施形態による、学習可能ではないフィルタの可視化を示す。 本明細書に記載される実施形態による、学習可能フィルタの可視化を示す。 本明細書に記載される実施形態による、実施例１及び２の元の画像を示す。 本明細書に記載される実施形態による、実施例１及び２の元の画像のためのグラウンドトゥルースセグメンテーションマップを示す。 本明細書に記載される実施形態による、異なる技術を使用して、実施例１の結果として得られるセグメンテーションマップを示す。 本明細書に記載される実施形態による、異なる技術を使用して、実施例１の結果として得られるセグメンテーションマップを示す。 本明細書に記載される実施形態による、異なる技術を使用して、実施例８の結果として得られるセグメンテーションマップを示す。 本明細書に記載される実施形態による、異なる技術を使用して、実施例８の結果として得られるセグメンテーションマップを示す。 本明細書に記載される実施形態を実装することができるシステムのブロック図を示す。
画像セグメンテーションとは、類似の画像特性を有する画像の一部をグループ化することを指す。例えば、本明細書に記載される実施形態は、曲線オブジェクトセグメンテーションを伴う。ディープラーニングアーキテクチャは、画像の曲線セグメンテーションに使用することができる。ディープラーニングに伴う重大な課題は、大量の訓練サンプルを取得する必要があることである。画素レベルのオブジェクトセグメンテーションなどのタスクの場合、訓練画像の注釈付けは、根気のいる、時間と費用のかかるタスクである。この問題に取り組む１つの方法は、ドメイン及び／又はタスクに関する事前知識を組み込むことである。この事前情報により、ネットワーク最適化の訓練サンプルへの依存性を効果的に低下させる。本明細書に記載される実施形態は、ニューラルネットワークの初期表現層に導入される正則化のセットを含む。正則化は、多数のスケール及び配向で曲線画像特徴に強く応答するようにフィルタを訓練するために使用され得る。様々な実施形態によれば、正則化は、出力セグメンテーションマップにおけるノイズを抑制するようにフィルタを訓練するために使用される。正則化を介して表される事前情報は、ドメイン及び／又はタスクの制約を捕捉するネットワーク損失関数に追加の項を導入することによって、ネットワーク訓練に直接組み込まれる。
図１Ａは、本明細書に記載される実施形態による、曲線オブジェクトセグメンテーションのための方法を示す。図１Ａによれば、少なくとも１つの入力画像が受信される（１１０）。様々な構成によれば、入力画像は、少なくとも１つの曲線特徴を含む。例えば、入力画像には、道路、血管、機械亀裂、皮膚のしわのうちの１つ以上が含まれる場合がある。画像は、プロセッサを使用して曲線特徴のセグメンテーションマップにマッピングされる。様々な実施形態によれば、少なくとも１つの画像は曲線特徴の認識と訓練誤差の減少とのバランスをとるように構成された損失関数の出力を最小化することによってマッピングされる。入力画像は、曲線形状の認識と訓練誤差の減少とのバランスをとるように構成された学習可能フィルタを使用して変換される（１３０）。変換された画像を使用して、セグメンテーションマップを生成する（１４０）。
様々な実施形態によれば、ディープネットワークを使用して、セグメンテーションマップを生成する。ディープネットワークは、例えば、表現モジュール及びタスクモジュールを含んでもよい。入力画像は、目的の曲線形状を認識するように訓練された学習可能フィルタを使用して、表現モジュールにおいて変換される（１３０）。タスクモジュールは、表現モジュールから受信した変換された入力画像を使用してセグメンテーションマップを生成するように構成される（１４０）。様々な構成によれば、表現モジュール及びタスクモジュールは、入力モジュールがタスクモジュールに入る前に表現モジュールにおいて変換されるように、直列に構成される。様々な構成によれば、タスクモジュールは、Ｕ－Ｎｅｔディープニューラルネットワークである。
様々な実施態様によれば、学習可能フィルタのうちの少なくとも１つは、ガボールフィルタとして初期化される。ガボールフィルタは、訓練プロセス中に変化して、曲線形状の認識と訓練誤差の減少とのバランスをとるように構成されてもよい。場合によっては、学習可能フィルタのうちの少なくとも１つは、少なくとも１つの学習可能パラメータを有する。例えば、少なくとも１つの学習可能パラメータは、搬送周波数、偏心、向き、及びスケールのうちの１つ以上を含んでもよい。
図１Ｂは、本明細書に記載される実施形態による、幾何学的制約を有する曲線オブジェクトセグメンテーションネットワークを訓練するためのプロセスを示す。訓練は、以下のように反復処理として進む。ディープ曲線セグメンテーションネットワークは、フィルタ重みのセットを用いて初期化される。曲線特徴を含む入力訓練画像が受信される（１５０）。入力画像は、推定ネットワークセグメンテーションマップを生成するために、表現ネットワーク及びタスクネットワーク（１６０）の学習可能な表現フィルタ（１５５）を介したマッピングを含むディープ曲線セグメンテーションネットワークを介して送信される。
並行して、フィルタリングされたパターンを生成する（１５７）ために、少なくとも２つの訓練幾何学的パターン画像が生成され（１５２）、学習可能フィルタを介してマッピングされる（１５５）。様々な実施形態によれば、第１の訓練幾何学的パターン画像は、第１の向きであり、第２の訓練幾何学的パターン画像は、第１の向きとは異なる第２の向きである。例えば、第１の向きは、第２の向きに直交してもよい。
（１６０）からの推定セグメンテーションマップ及び訓練入力画像に対応する真のセグメンテーションマップ（１６２）は、損失計算モジュールに送信され（１６５）、これにより、真のセグメンテーションマップと推定セグメンテーションマップ間の誤差の測定値が計算される。更に、（１５７）からのフィルタリングされた幾何学的パターン画像は、向きの保存を確実にするために損失計算モジュールに入力される（１６５）。損失関数は、セグメンテーション誤差を最小化することと、幾何学的な向きの制約を保持することというネットワークの２つの目標のバランスをとる。幾何学的な制約は、第１の訓練幾何学的パターン画像からの高応答と、第２の訓練幾何学的パターン画像からの低応答とを選ぶことによって保持される。様々な構成によれば、学習可能フィルタは、異なるサイズ及び厚さの曲線構造が検出され得るように、複数の空間スケールで導出される。
損失が収束しているかどうかを判定する（１７０）。いくつかの実施形態では、損失が前の反復から実質的に低下しなかった場合に、損失が収束したと判定され得る（１７０）。場合によっては、前の反復からの損失の変化が所定の閾値未満である場合、損失が収束したと判定される。収束が生じたと判定された場合（１７０）、訓練プロセスは終了する（１８５）。収束が生じていないと判定された場合（１７０）、ネットワークパラメータは標準的な逆伝搬技術を介して更新され、次の反復が開始される。少なくとも１つの入力画像が受信される（１６０）。少なくとも１つの画像は、プロセッサを使用して曲線特徴のセグメンテーションマップにマッピングされる（１７０）。入力画像は、学習可能フィルタを使用して変換される（１８０）。変換された画像を使用して、セグメンテーションマップを生成する（１９０）。
図２Ａは、本明細書に記載される実施形態による、曲線オブジェクトセグメンテーションにおけるノイズ抑制のためのプロセスを示す。少なくとも１つの入力画像が受信される（２１０）。様々な構成によれば、入力画像は、少なくとも１つの曲線特徴を含む。少なくとも１つの画像は、プロセッサを使用して曲線特徴のセグメンテーションマップにマッピングされる。様々な実施形態によれば、少なくとも１つの画像は、訓練画像におけるノイズ抑制と曲線セグメンテーション誤差とのバランスをとるように構成された損失関数の出力を最小化することにより、セグメンテーションマップにマッピングされる。様々な構成によれば、損失関数は、訓練画像及びノイズ正則化項に対応する推定されたセグメンテーションマップと真のセグメンテーションマップとの間の訓練誤差の合計を含む。入力画像は、少なくとも１つの入力画像のドメイン及びタスクのうちの１つ以上におけるノイズを抑制するように構成された学習可能フィルタを使用して、変換される（２３０）。様々な実施態様によれば、学習可能フィルタのうちの少なくとも１つは、ガボールフィルタとして初期化される。変換された画像を使用して、セグメンテーションマップを生成する（２４０）。様々な構成によれば、タスクモジュールは、Ｕ－Ｎｅｔディープニューラルネットワークである。
様々な実施形態によれば、ディープネットワークを使用して、セグメンテーションマップを生成する。上述のように、ディープネットワークは、表現モジュール及びタスクモジュールを含み得る。入力画像は、ノイズ抑制と曲線セグメンテーションとのバランスをとるように構成された学習可能フィルタを使用して、表現モジュールにおいて変換される（２３０）。タスクモジュールは、表現モジュールから受信した変換された入力画像を使用してセグメンテーションマップを生成するように構成される（２４０）。
図２Ｂは、本明細書に記載される実施形態による、ノイズ制約を有する曲線オブジェクトセグメンテーションネットワークを訓練するためのプロセスを示す。訓練は、以下のように反復処理として進む。ディープ曲線セグメンテーションネットワークは、フィルタ重みのセットを用いて初期化される。曲線特徴を含む訓練画像が受信される（２５０）。入力画像は、推定ネットワークセグメンテーションマップを生成するために、表現ネットワーク及びタスクネットワーク（２６０）の学習可能な表現フィルタ（２５５）を介したマッピングを含むディープ曲線セグメンテーションネットワークを介して送信される。
並行して、フィルタリングされたパターンを生成する（２５７）ために、少なくとも１つの訓練幾何学的パターン画像が生成され（２５２）、学習可能フィルタを介してマッピングされる（２５５）。様々な構成によれば、少なくとも１つの訓練ノイズ画像は、入力画像のドメイン及びタスクに固有のノイズパターンを含む。目的のラベル付き曲線オブジェクトを含まない訓練画像からバックグラウンドパッチを抽出し、曲線構造に応答するフィルタを介して抽出されたバックグラウンドパッチを処理し、及び最も高いフィルタ応答を有する所定数のバックグラウンドパッチを訓練ノイズ画像として選択することにより、１つ以上のノイズ画像が作られる。いくつかの実施形態では、曲線構造に応答するフィルタは、ガボールフィルタとして選択される。
（２６０）からの推定セグメンテーションマップ及び訓練入力画像に対応する真のセグメンテーションマップ（２６２）は、損失計算モジュールに送信され（２６５）、これにより、真のセグメンテーションマップと推定セグメンテーションマップ間の誤差の測定値が計算される。更に、（２５７）からのフィルタリングされたノイズパターン画像は、損失計算モジュールに入力され（２６５）、推定されたセグメンテーションマップにおけるノイズ測定値を提供する。損失関数は、セグメンテーション誤差を最小化すること、及び推定セグメンテーションマップのノイズを最小化することというネットワークの２つの目標のバランスをとる。
損失が収束しているかどうかを判定する（２７０）。いくつかの実施形態では、損失が収束したことは、損失が前の反復から実質的に低下しなかった場合であると判定されてもよい（２７０）。場合によっては、前の反復からの損失の変化が所定の閾値未満である場合、損失が収束していると判定される。収束が生じたと判定された場合（２７０）、訓練プロセスは終了する（２８５）。収束が生じていないと判定された場合（２７０）、ネットワークパラメータは標準的な逆伝搬技術を介して更新され、次の反復が開始される。
曲線特徴を含む少なくとも１つの入力画像が受信される（２６０）。画像は、プロセッサを使用して曲線特徴のセグメンテーションマップにマッピングされる（２７０）。入力画像は、ノイズを抑制するように構成された学習可能フィルタを使用して変換される（２８０）。変換された画像を使用して、セグメンテーションマップを生成する（２９０）。セグメンテーションマップを生成するために、訓練誤差の減少と曲線形状の認識とのバランスをとるように構成されたフィルタ、及びノイズを抑制するように構成されたフィルタの任意の組み合わせを使用できることを理解されたい。
図３は、本明細書に記載される実施形態による、曲線セグメンテーションのためのディープラーニングアーキテクチャを示す。システムは、表現モジュール３１０及びタスクモジュール３２０を含む。画像３１０は、表現モジュールに入力される。表現モジュールは、１つ以上の幾何学的訓練画像３４０及び／又は１つ以上のノイズ訓練画像３４５で訓練された学習可能フィルタ３３０を使用する。学習可能フィルタ３５０は、変換された入力画像３６０を出力する。変換された入力画像３６０は、タスクモジュール３２０に入力され、変換された画像は、セグメンテーションマップを生成するように訓練されたタスクモジュールの１つ以上のフィルタ３７０に入力される。出力セグメンテーションマップ３８０は、タスクモジュールから出力される。
本明細書に記載されている様々な実施形態によれば、幾何学的先行物が表現ネットワークに導入されて、学習可能フィルタが曲線画像の幾何学的形状に強く応答するように促す。例えば、学習可能フィルタは、曲線特徴と一般的に関連付けられている微細な線に応答するように訓練されてもよい。全体的なシステムは、式１の損失関数を使用して曲線形状に関する訓練誤差のバランスをとるために最適化され得る。
Figure 0007277341000001
ここで、ｆ（）はパラメータΘＲを用いるパラメータを有する表現モジュールを表し、Ｆ（）は、パラメータΘＴを有するタスクモジュールを表す。Ｙｇは、グラウンドトゥルースセグメンテーションマップであり、Ｌ（）は訓練サンプル上のネットワーク誤差を表し、ＬＲ（）は、曲線セグメンテーションのタスクに関する事前知識を組み込んだ幾何学的正則化項であり、式２に示される。
Figure 0007277341000002
ここで、ＩＳｉｋは、ｉ番目の向き及びｋ番目のスケールに沿った強い曲線パターンを含む第１の訓練幾何学的パターン画像を表す（Ｓｉｋと表記される）。ＩＯｉｋは、ＩＳｉｋに直交する方向のパターンを有する第２の訓練画像を表す。これらの２つの画像の例を図４Ａ及び図４Ｂに示す。図４Ａは、例示的な第１の幾何学的訓練画像を示し、図４Ｂは、第２の幾何学的訓練画像の例を示す。これらの２つの画像は共に、ｋ番目のスケールでの表現フィルタがＳｉｋに沿って配向するように促す。様々な実施形態によれば、画像パターンは、所与のサイズ（例えば２２×２２）の長方形グリッドを特定の角度ｉだけ回転させて得られた座標に適用される、所与のスケールｋの２次元ガウス関数によって形成される。例示の長方形グリッドは正方形として表されているが、長方形グリッドは正方形ではない場合があることを理解されたい。
式１及び２を使用して、ΘＲパラメータは、ガボールフィルタとして初期化され、ネットワーク訓練プロセス中に進化して、曲線形状ＬＲ１を尊重しながら、訓練誤差Ｌを最小化するバランスのとれた目標を達成する。いくつかの事例において、学習可能フィルタは、訓練プロセス前のガボールフィルタであり、学習プロセス中に変化するように学習可能フィルタが構成され、曲線特徴のターゲットセグメンテーションが提供される。図５Ａは、初期段階におけるドメイン及び／又はタスクに関する事前知識を組み込んでいない訓練から学習されたフィルタの可視化を示す。図５Ｂは、静的ガボールフィルタを示す。図５Ｃは、本明細書に記載される実施形態による、曲線特徴の認識の訓練後の学習可能フィルタの可視化を示す。本明細書に記載されるような学習可能なガボールフィルタを使用することは、画像内の曲線形状に応答するガボールのような構造を保持する一方で、訓練標本に基づいてガボール構造を調節及び適応させる能力を保持する。
様々な構成によれば、学習可能フィルタは、少なくとも１つの学習可能なパラメータを持つガボールフィルタである。式３は、本明細書に記載される実施形態によるガボールフィルタを表す式を示す。
Figure 0007277341000003
式３において、［ｉ、ｊ］は画像の画素座標であり、γは離心率、ｆは搬送周波数であり、θは方向、σはスケールである。様々な実施形態によれば、γ、ｆ、θ、及びσのうちの１つ以上は、システムの訓練中に訓練データを使用して学習可能な値である。この実施形態では、損失関数は、訓練サンプル項Ｌ（）上のデータネットワーク誤差のみを含み、式１における第２の正則化項（ＬＲ１）は、式４に示されるように使用されない。
Figure 0007277341000004
様々な実施形態によれば、本明細書に記載されるような学習可能なパラメータを有するフィルタを使用することは、全てのフィルタ重みを学習しなければならない従来の畳み込みニューラルネットワークと比較した場合、訓練可能なパラメータの数が大幅に減少する。訓練パラメータの減少により、従来の方法よりも複雑さが軽減され、訓練要件が減少される。訓練標本に基づいていくつかの重要なパラメータを学習する機能は、静的フィルタ表現よりも優れた適応性と表現力をネットワークに与える。式４は、全ての４つのガボールパラメータに関して平滑であり、微分可能であるため、パラメータは、逆伝播を介して学習され得る。
様々な実施形態によれば、画像セグメンテーションに使用されるネットワークは、スパースな訓練の場合に、ノイズに対してより敏感になり得る。本明細書に記載される実施形態は、データ内のノイズに対するディープセグメンテーションネットワークの堅牢性を改善するように構成される。具体的には、バックグラウンドにフォアグラウンドオブジェクトと同様の特徴を含む場合に発生し得る誤検知の問題に対処する。ドメイン及び／又はタスクに関する事前知識をディープラーニングタスクに組み込むことで、ノイズがある訓練サンプルへのネットワーク最適化の依存性を低下させることができる。本明細書に記載される実施形態は、ノイズに対して堅牢である方法でセグメンテーションを実行するためのシステム及び方法を説明する。
様々な構成によれば、学習可能フィルタを使用して、曲線画像セグメンテーションにおけるノイズを抑制することができる。式５は、曲線画像セグメンテーションにおけるノイズ抑制と訓練誤差とをバランスさせるように構成された損失関数を示す。
Figure 0007277341000005
ここで、ｆ（）はパラメータΘＲを有するパラメータを有する表現モジュールを表し、Ｆ（）は、パラメータΘＴを有するタスクモジュールを表す。Ｙｇは、グラウンドトゥルースセグメンテーションマップであり、Ｌ（）は訓練サンプル上のネットワーク誤差を表し、ＬＲ２（）は、データ内のノイズを抑制しようと試みるノイズ正則化項である。様々な実施形態によれば、ＬＲ２は、曲線データセグメンテーションにおけるノイズをモデル化するように構成される。ＬＲ２の計算は、式６に示される。
Figure 0007277341000006
ここで、Ｉｊは、ドメイン及びタスクに固有のノイズパターンを含む補助訓練画像のセットであり、ＷｉｋはθＲにおけるスケールｋのフィルタ重みである。式５のＬ（）項と組み合わされると、表現モジュールは、タスク性能（すなわち、曲線セグメンテーション）とノイズ抑制とのバランスをとる。
本明細書に記載される様々な実施形態によれば、ノイズパターンは、標識された曲線オブジェクトを含まない訓練画像からバックグラウンドパッチを抽出することによって作られる。これらのパッチは、例えばガボールフィルタなどのフィルタを介して送信される。最大の応答を与える所定数のパッチが潜在的なノイズのあるパッチ（つまり、曲線構造と混同される可能性が最も高いパッチ）として選択される。様々な実施態様によれば、ノイズがあるパッチのパッチサイズは６４×６４に選択され、最大応答が１００パッチとなるように選択される。
本明細書に記載される実施形態は、網膜血管セグメンテーションの適用例について実証される。これは、医療専門家がヒト網膜の血管経路における病理を迅速に診断することを可能にする重要な機能である。ＤＲＩＶＥ［１１］及びＳＴＡＲＥデータセットを使用して、手法を訓練及び評価した。ネットワークアーキテクチャは、以下のとおりである。表現層には、サイズが１１×１１で、０～１８０度の方向で均一にサンプリングした１２個のガボールフィルタを使用した。タスクネットワークのために、Ｕ－Ｎｅｔアーキテクチャを使用した。表現ネットワークは、Ａｄａｍオプティマイザを活用した標準の確率的勾配降下法を使用して訓練し、学習率は．０００５に設定した。サイズ１２８×１２８のパッチを訓練画像から抽出し、２０個の訓練画像から約７０００個のパッチを得た。限定訓練シナリオも評価し、２つの画像から７００個のパッチを抽出した。ネットワークの訓練用に６４のバッチサイズを使用した。初期検証では、単一スケールのガボール正則化のみをテストした。推論では、ネットワークは、パッチではなく画像全体で使用された。以下の方法は、ガボール正則化、ガボールパラメータ化、及び深層網膜画像理解（ＤＲＩＵ）で評価された。
表１及び２は、それぞれ、完全訓練及び限定訓練シナリオの結果を示す。結果は、２つのバイナリマップ間のオーバーラップ係数の正規化された尺度である、Ｄｉｃｅ係数に関して表される。ガボール正則化及びガボールパラメータ化の方法は、両方のシナリオにおいて競合的であり、限定訓練シナリオで大幅なマージンを確保し、最先端のＤＲＩＵよりも優れている。限定データセットで訓練された提案されたアプローチは、完全データセットで訓練されたＤＲＩＵよりも優れている。
Figure 0007277341000007
Figure 0007277341000008
図６Ａは、実施例１の元の入力を示す。望ましい曲線特徴のグラウンドトゥルースマップを図６Ｂに示す。図７Ａは、ＤＲＩＵを使用した結果セグメンテーションマップを示しており、灰色部分が誤った結果を表し、白色部分が正しい結果を表す。図７Ｂは、本明細書に記載のガボール正則化システムを使用した結果を示す。図７Ａ及び図７Ｂからわかるように、ＤＲＩＵの結果と比較すると、ガボール正則化されたセグメンテーション結果には、より多くの白色とより少ない灰色が存在する。
実施例２は、網膜画像のセグメンテーションにおけるノイズ抑制の結果を示す。正確かつ安定したセグメンテーションは、疾患の正確かつ安定した診断に有用である。ここでも、ＤＲＩＶＥ及びＳＴＡＲＥ画像データセットを様々な手法の訓練及びテストの両方に使用した。表現層には、サイズが１１×１１で、０～１８０度の方向で均一にサンプリングした１２個のガボールフィルタを使用した。タスクネットワークでは、セグメンテーションにＵ ｎｅｔアーキテクチャを使用した。ネットワークは、Ａｄａｍオプティマイザを活用した標準の確率的勾配降下法を使用して訓練し、学習率は．０００５に設定した。サイズ１２８×１２８のパッチを訓練画像から抽出した。２０個の訓練画像から合計約７０００個のパッチを抽出した。限定訓練シナリオでは、２つの画像からのパッチを抽出し、合計で約７００個のパッチを抽出した。６４個のパッチのバッチサイズを訓練用に使用した。推論では、ネットワークは、パッチではなく画像全体で使用された。
以下の方法は、本明細書及びＤＲＩＵに記載されているように、ノイズ正則化曲線セグメンテーションネット（ＮＲＣＳＮ）で評価した。表３は、推定セグメンテーションマップとグラウンドトゥルースセグメンテーションマップとの間のオーバーラップの尺度である、Ｄｉｃｅオーバーラップ係数を用いたＤＲＩＵ技術との比較である。提案されたアプローチは、完全訓練のケースの明確なマージンと、低訓練シナリオにおける、より広いマージンによってＤＲＩＵよりも優れている。興味深いことに、スパースな訓練を伴う提案されたアプローチは、完全な訓練を伴うＤＲＩＵよりも優れている。
Figure 0007277341000009
図６Ａは、実施例２の元の入力を示す。望ましい曲線特徴のグラウンドトゥルースマップを図６Ｂに示す。図８Ａは、ＤＲＩＵを使用した結果セグメンテーションマップを示しており、灰色部分が誤った結果を表し、白色部分が正しい結果を表す。図８Ｂは、本明細書に記載のＮＲＣＳＮシステムを使用した結果を示す。図８Ａ及び図８Ｂからわかるように、ＤＲＩＵの結果と比較すると、ＮＲＣＳＮセグメンテーション結果には、より多くの白色とより少ない灰色が存在する。
上述の方法は、周知のコンピュータプロセッサ、メモリユニット、記憶デバイス、コンピュータソフトウェア、及び他の構成要素を使用してコンピュータ上に実施することができる。このようなコンピュータの高レベルのブロック図を図９に示す。コンピュータ９００は、プロセッサ９１０を含み、プロセッサ９１０は、そのような動作を定義するコンピュータプログラム命令を実行することにより、コンピュータ９００の全体的な動作を制御する。コンピュータプログラム命令は、記憶デバイス９２０（例えば、磁気ディスク）内に記憶され、コンピュータプログラム命令の実行が所望されるときにメモリ９３０にロードされてもよい。したがって、本明細書に記載の方法のステップは、メモリ９３０に記憶されたコンピュータプログラム命令によって定義され、コンピュータプログラム命令を実行するプロセッサ９１０によって制御されてもよい。画像取得デバイス９４０は、コンピュータ９００に画像データを入力するためにコンピュータ９００に接続されてもよい。様々な構成によれば、画像取得デバイス９４０は、コンピュータ９００上に配置される。場合によっては、画像取得デバイス９４０及びコンピュータ９００は、ネットワークを通じて無線で通信する。様々な実施態様によれば、コンピュータ９００は、画像取得デバイス９４０から遠隔に位置してもよく、コンピュータ９００は、サーバ又はクラウドベースのサービスの一部として方法ステップを実行してもよい。コンピュータ９００は、ネットワークを介して他のデバイスと通信するための１つ以上のネットワークインターフェース９５０を含んでもよい。コンピュータ９００はまた、コンピュータ９００とのユーザインタラクションを可能にする他の入力／出力デバイス９６０（例えば、ディスプレイ、キーボード、マウス、スピーカ、ボタンなど）を含む。このような入力／出力デバイス９６０は、画像取得デバイス９００から受信したボリュームに注釈を付ける注釈ツールとしてコンピュータプログラムのセットと組み合わせて使用されてもよい。様々な実施形態によれば、図９は、例示目的のためのコンピュータの可能な構成要素の高レベル表現であり、コンピュータは他の構成要素を含むことができる。
別途記載のない限り、本明細書及び特許請求の範囲で使用される特徴のサイズ、量、及び物理的特性を表す全ての数字は、用語「約」によって修飾されるものとして理解されるべきである。したがって、反対に指示されない限り、前述の明細書及び添付の特許請求の範囲に記載される数値パラメータは、本明細書に開示される教示を利用して当業者が得ようとする所望の特性に応じて変化し得る近似値である。端点による数値範囲の使用は、その範囲内の全ての数を含む（例えば、１～５は、１、１．５、２、２．７５、３、３．８０、４及び５を含む）、及びその範囲内の任意の範囲を含む。
上述の様々な実施形態は、相互作用して特定の結果を提供する回路及び／又はソフトウェアモジュールを使用して実装されてもよい。コンピューティング技術の当業者は、当該技術分野において一般的に知られている知識を使用して、モジュールレベル又は全体でのいずれかで、記載された機能を容易に実施することができる。例えば、本明細書に示されるフローチャートは、プロセッサによる実行のためのコンピュータ可読命令／コードを作成するために使用されてもよい。このような命令は、当技術分野で知られているように、コンピュータ可読媒体に記憶され、実行のためにプロセッサに転送されてもよい。上記の構造及び手順は、上記のインクジェット排出器の診断を容易にするために使用することができる実施形態の代表的な例に過ぎない。

Claims (21)

  1. 曲線オブジェクトセグメンテーションのための方法であって、
    曲線特徴を含む少なくとも１つの入力画像を受信することと、
    パラメータΘ R を用いるパラメータを有する表現モジュールｆ（）、及びパラメータΘ T を有するタスクモジュールＦ（）を有するディープネットワークを使用して、セグメンテーションマップを出力するために、プロセッサを使用して前記少なくとも１つの画像をマッピングすることと、を含み、前記マッピングが、
    グラウンドトゥルースセグメンテーションマップＹ g と、前記表現モジュールｆ（）の出力を入力とする前記タスクモジュールＦ（）の出力とのネットワーク誤差を用いた損失関数
    Figure 0007277341000010
    ここで
    Figure 0007277341000011
    であり、ここで、Ｗ ik はθ R におけるスケールｋの学習可能フィルタの重みである損失関数に基づいて、前記少なくとも１つの入力画像のドメイン及びタスクのうちの１つ以上におけるノイズを抑制するように訓練された前記学習可能フィルタを使用して、前記表現モジュールにおいて前記入力画像を変換することと、
    前記タスクモジュールにおいて前記変換された入力画像を使用して前記セグメンテーションマップを生成することと、を含む、方法。
  2. 前記入力画像が、道路、血管、機械亀裂、及び皮膚のしわのうちの１つ以上を含む、請求項１に記載の方法。
  3. 前記学習可能フィルタが、訓練画像におけるノイズ抑制と曲線セグメンテーション誤差とのバランスをとるように訓練される、請求項１に記載の方法。
  4. 前記学習可能フィルタの前記訓練が、損失関数の前記出力を最小化することを含み、前記損失関数が、ノイズ抑制と訓練画像における曲線セグメンテーション誤差の最小化とのバランスをとるように構成されている、請求項３に記載の方法。
  5. 前記損失関数が、訓練画像に対応する推定セグメンテーションマップと真のセグメンテーションマップとの間の訓練誤差と、ノイズ正則化項との合計を含む、請求項４に記載の方法。
  6. 前記学習可能フィルタのうちの少なくとも１つが、ガボールフィルタとして初期化される、請求項３に記載の方法。
  7. 少なくとも１つの訓練ノイズ画像を用いて前記学習可能フィルタを訓練することを更に含む、請求項３に記載の方法。
  8. 前記少なくとも１つの訓練ノイズ画像が、前記入力画像の前記ドメイン及び前記タスクに固有のノイズパターンを有する少なくとも１つの訓練画像を含む、請求項７に記載の方法。
  9. 前記少なくとも１つの訓練ノイズ画像が、ラベル付けされた曲線オブジェクトを含まない前記訓練画像の少なくとも一部を含む、請求項８に記載の方法。
  10. 前記入力画像の前記ドメイン及び前記タスクに固有の前記ノイズパターンを作成することを更に含む、請求項８に記載の方法。
  11. 前記ノイズパターンを作成することが、
    ラベル付き曲線オブジェクトを含まない前記訓練画像からバックグラウンドパッチを抽出することと、
    ガボールフィルタを通して前記抽出されたバックグラウンドパッチを処理することと、
    ノイズパターンとして最も高い応答を有する所定の数の処理済みバックグラウンドパッチを選択することと、を含む、請求項１０に記載の方法。
  12. 前記タスクモジュールが、Ｕ－Ｎｅｔディープニューラルネットワークである、請求項１に記載の方法。
  13. 曲線オブジェクトセグメンテーションのためのシステムであって、
    プロセッサと、
    コンピュータプログラム命令を記憶するメモリと、を含み、前記コンピュータプログラム命令が、前記プロセッサによって実行されると、前記プロセッサに、
    曲線特徴を含む少なくとも１つの入力画像を受信することと、
    パラメータΘ R を用いるパラメータを有する表現モジュールｆ（）、及びパラメータΘ T を有するタスクモジュールＦ（）を有するディープネットワークを使用して、セグメンテーションマップを出力するために、プロセッサを使用して前記少なくとも１つの画像をマッピングすることと、を含む動作行わせ、前記マッピングが、
    グラウンドトゥルースセグメンテーションマップＹ g と、前記表現モジュールｆ（）の出力を入力とする前記タスクモジュールＦ（）の出力とのネットワーク誤差を用いた損失関数
    Figure 0007277341000012
    ここで
    Figure 0007277341000013
    であり、ここで、Ｗ ik はθ R におけるスケールｋの学習可能フィルタの重みである損失関数に基づいて、前記少なくとも１つの入力画像のドメイン及びタスクのうちの１つ以上におけるノイズを抑制するように訓練された前記学習可能フィルタを使用して、前記表現モジュールにおいて前記入力画像を変換することと、
    前記タスクモジュールにおいて前記変換された入力画像を使用して前記セグメンテーションマップを生成することと、を含む、システム。
  14. 前記入力画像の前記ドメイン及び前記タスクに固有のノイズパターンを有する少なくとも１つの訓練画像を用いて前記学習可能フィルタを訓練することを更に含む、請求項１３に記載のシステム。
  15. 前記少なくとも１つの訓練画像が、ラベル付けされた曲線オブジェクトを含まない少なくとも１つの部分を含む、請求項１４に記載のシステム。
  16. 前記プロセッサが、前記入力画像の前記ドメイン及び前記タスクに固有の前記ノイズパターンを作成するように更に構成されている、請求項１４に記載のシステム。
  17. 前記プロセッサが、
    ラベル付き曲線オブジェクトを含まない前記訓練画像からバックグラウンドパッチを抽出し、
    ガボールフィルタを通して前記抽出されたバックグラウンドパッチを処理し、かつ
    ノイズパターンとして最も高い応答を有する所定の数の処理済みバックグラウンドパッチを選択するように更に構成されている、請求項１６に記載のシステム。
  18. 前記プロセッサが、訓練画像におけるノイズ抑制と曲線セグメンテーション誤差とのバランスをとるように構成された損失関数を最小化するように更に構成されている、請求項１３に記載のシステム。
  19. 前記損失関数が、訓練画像に対応する推定セグメンテーションマップと真のセグメンテーションマップとの間の訓練誤差と、ノイズ正則化項との合計を含む、請求項１８に記載のシステム。
  20. 前記学習可能フィルタのうちの少なくとも１つが、ガボールフィルタとして初期化される、請求項１３に記載のシステム。
  21. 曲線オブジェクトセグメンテーションのためのコンピュータプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータプログラム命令が、プロセッサによって実行されると、前記プロセッサに、
    曲線特徴を含む少なくとも１つの入力画像を受信することと、
    パラメータΘ R を用いるパラメータを有する表現モジュールｆ（）、及びパラメータΘ T を有するタスクモジュールＦ（）を有するディープネットワークを使用して、セグメンテーションマップを出力するために、プロセッサを使用して前記少なくとも１つの画像をマッピングすることと、を含む動作を行わせ、前記マッピングが、
    グラウンドトゥルースセグメンテーションマップＹ g と、前記表現モジュールｆ（）の出力を入力とする前記タスクモジュールＦ（）の出力とのネットワーク誤差を用いた損失関数
    Figure 0007277341000014
    ここで
    Figure 0007277341000015
    であり、ここで、Ｗ ik はθ R におけるスケールｋの学習可能フィルタの重みである損失関数に基づいて、前記少なくとも１つの入力画像のドメイン及びタスクのうちの１つ以上におけるノイズを抑制するように訓練された前記学習可能フィルタを使用して、前記表現モジュールにおいて前記入力画像を変換することと、
    前記タスクモジュールにおいて前記変換された入力画像を使用して前記セグメンテーションマップを生成することと、を含む、非一時的コンピュータ可読媒体。
JP2019212324A 2018-12-18 2019-11-25 ノイズ先行物を用いる曲線オブジェクトセグメンテーション Active JP7277341B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/223,495 2018-12-18
US16/223,495 US10885635B2 (en) 2018-12-18 2018-12-18 Curvilinear object segmentation with noise priors

Publications (2)

Publication Number Publication Date
JP2020098588A JP2020098588A (ja) 2020-06-25
JP7277341B2 true JP7277341B2 (ja) 2023-05-18

Family

ID=68917735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212324A Active JP7277341B2 (ja) 2018-12-18 2019-11-25 ノイズ先行物を用いる曲線オブジェクトセグメンテーション

Country Status (3)

Country Link
US (1) US10885635B2 (ja)
EP (1) EP3671635B1 (ja)
JP (1) JP7277341B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200802B (zh) * 2020-10-30 2022-04-26 上海商汤智能科技有限公司 图像检测模型的训练方法及相关装置、设备、存储介质
GB2605580B (en) * 2021-03-31 2024-10-23 Seechange Tech Limited Apparatus and method of image processing to detect a substance spill on a solid surface
CN115019163A (zh) * 2022-04-01 2022-09-06 湖南大学 基于多源大数据的城市要素识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060155394A1 (en) * 2004-12-16 2006-07-13 International Business Machines Corporation Method and apparatus for order-preserving clustering of multi-dimensional data
US20090226057A1 (en) * 2008-03-04 2009-09-10 Adi Mashiach Segmentation device and method
US8831304B2 (en) * 2009-05-29 2014-09-09 University of Pittsburgh—of the Commonwealth System of Higher Education Blood vessel segmentation with three-dimensional spectral domain optical coherence tomography
US8750615B2 (en) * 2010-08-02 2014-06-10 Case Western Reserve University Segmentation and quantification for intravascular optical coherence tomography images
WO2018001099A1 (zh) * 2016-06-30 2018-01-04 上海联影医疗科技有限公司 一种血管提取方法与系统
US10610098B1 (en) * 2017-04-11 2020-04-07 VisionQuest Biomedical LLC Generalized retinal image screening system (GRIS)
US10891778B2 (en) * 2018-01-10 2021-01-12 The Board Of Trustees Of The University Of Illinois Apparatus and method for producing three-dimensional models from magnetic resonance imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHUN FAN et al.，AUTOMATED BLOOD VESSEL SEGMENTATION BASED ON DE-NOISING AUTO-ENCODER AND NEURAL NETWORK，Proceedings of the 2016 International Conference on Machine Learning and Cybernetics，vol.2，米国，IEEE，2016年07月10日，p.849－p.856

Also Published As

Publication number Publication date
EP3671635A1 (en) 2020-06-24
US10885635B2 (en) 2021-01-05
EP3671635B1 (en) 2021-08-04
JP2020098588A (ja) 2020-06-25
US20200193610A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN111598881B (zh) 基于变分自编码器的图像异常检测方法
JP7277341B2 (ja) ノイズ先行物を用いる曲線オブジェクトセグメンテーション
CN110097130A (zh) 分类任务模型的训练方法、装置、设备及存储介质
CN106462963B (zh) 用于自适应放射治疗中自动勾画轮廓的系统和方法
CN112215201B (zh) 评估人脸识别模型、针对图像的分类模型的方法及装置
WO2018021576A1 (en) Method for detecting object in image and objection detection system
CN110097968A (zh) 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统
CN109064478B (zh) 一种基于极限学习机的天文图像轮廓提取方法
CN111680755B (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN111611851B (zh) 模型生成方法、虹膜检测方法及装置
CN108932455B (zh) 遥感图像场景识别方法及装置
JP7277342B2 (ja) 幾何学的先行物を用いる曲線オブジェクトセグメンテーション
CN111626379B (zh) 肺炎x光图像检测方法
CN109712128A (zh) 特征点检测方法、装置、计算机设备和存储介质
CN110633711A (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
CN115424093A (zh) 一种识别眼底图像中细胞的方法及装置
CN114638891A (zh) 基于图像和点云融合的目标检测定位方法与系统
CN110909819A (zh) 基于时域的电磁信息泄漏检测方法、终端设备及存储介质
CN113361494B (zh) 基于人脸识别的自助服务方法及自助服务系统
CN111079715B (zh) 一种基于双字典学习的遮挡鲁棒性人脸对齐方法
CN111898465B (zh) 一种人脸识别模型的获取方法和装置
CN112489068A (zh) 一种基于卷积神经网络的医学图像分割的方法
CN114782672B (zh) 一种点云位姿调整方法及装置
CN115578753B (zh) 人体关键点检测方法、装置、电子设备及存储介质
CN118675064B (zh) 一种基于深度学习的遥感影像极值检查方法、设备及介质

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191129

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221125

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R150 Certificate of patent or registration of utility model

Ref document number: 7277341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150