JP7508421B2 - 画像関連の検出方法及び検出装置 - Google Patents

画像関連の検出方法及び検出装置 Download PDF

Info

Publication number
JP7508421B2
JP7508421B2 JP2021142738A JP2021142738A JP7508421B2 JP 7508421 B2 JP7508421 B2 JP 7508421B2 JP 2021142738 A JP2021142738 A JP 2021142738A JP 2021142738 A JP2021142738 A JP 2021142738A JP 7508421 B2 JP7508421 B2 JP 7508421B2
Authority
JP
Japan
Prior art keywords
classifier
layer
neurons
neural network
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021142738A
Other languages
English (en)
Other versions
JP2022145429A (ja
Inventor
名科 陳
金翰 蔡
Original Assignee
宏碁智醫股▲ふん▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁智醫股▲ふん▼有限公司 filed Critical 宏碁智醫股▲ふん▼有限公司
Publication of JP2022145429A publication Critical patent/JP2022145429A/ja
Application granted granted Critical
Publication of JP7508421B2 publication Critical patent/JP7508421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)

Description

本発明は画像認識技術に関するものであり、より具体的には、画像関連の検出方法及び検出装置に関するものである。
関連技術の説明
医用画像は、生体の特定部位上での写真撮影により得られる画像である。これらの画像を用いて、病気にかかっている恐れまたは病気の重症度を評価することができる。例えば、眼底撮影検査により、網膜症、緑内障、黄斑症のような病気、あるいは他の病気を明確に検出することができる。一般的に言えば、大部分の医師は医用画像中の病変を手作業で判断している。医用画像に対するコンピュータ支援評価は、現在利用可能であるが、効率、複雑性、及び精度といった指標では、まだブレークスルー（飛躍的進歩）が要求される。
技術課題
以上を考慮して、本発明の好適例は、画像関連の検出方法及び検出装置を提供し、これらの検出方法及び検出装置は、ニューラル・ネットワーク（ＮＮ：neural network：神経回路網）構造によって支援され、ＮＮを改良して検出における効率及び精度を増大させる。
課題の解決策
本発明の好適例では、検出方法が医用画像に適用可能である。この検出方法は次のステップを含む（但し、これらのステップに限定されない）。評価される画像に対する特徴抽出を実行して、特徴マップを得る。分類器によってこの特徴マップを検出して、分類結果を得る。この分類器はディープ・ニューラル・ネットワーク（ＤＮＮ：deep neural network：深層神経回路網）構造によって学習させることができる。このＤＮＮ構造は改良結合層を含む。この改良結合層内では、ニューロンの数が入力層から出力層までに逐次的に減少する。
本発明の好適例では、検出装置が医用画像に適用可能である。この検出装置は、記憶装置及びプロセッサを含む（但し、これらに限定されない）。記憶装置はプログラミングコードを記憶する。プロセッサは記憶装置に結合されている。プロセッサはプログラミングコードをロードされて実行し、このプログラミングコードは、評価される画像に対する特徴抽出を実行して、少なくとも１つの特徴マップを得て、分類器によってこの少なくとも１つの特徴マップを検出して分類結果を得るように構成されている。この分類器はディープ・ニューラル・ネットワーク構造によって学習させることができる。このディープ・ニューラル・ネットワーク構造は改良結合層を含む。この改良結合層内では、ニューロンの数が入力層から出力層までに逐次的に減少する。
以上のことに基づいて、本発明の好適例によれば、画像関連の検出方法及び検出装置において、逐次的に減少するチャネルを有するディープ・ニューラル・ネットワーク構造を利用することによって、画像に対応するクラスに対して推論を行うことができる。その結果、ノイズをフィルタ処理することができ、効率を増大させることができ、そして推論の精度を向上させることができる。
上述した本発明の特徴及び利点をよりわかりやすくするために、図面を伴ういくつかの実施形態を以下に詳細に説明する。
本発明の一実施形態による検出装置の要素のブロック図である。 本発明の一実施形態による検出方法のフローチャートである。 本発明の一実施形態によるインセプション・バージョン４モデルのフローチャートである。 図４Ａは、本発明の一実施形態による改良結合層の概略図であり、図４Ｂは、本発明の他の実施形態による改良結合層の概略図である。 本発明の一実施形態によるアンサンブルの概略図である。
実施形態の説明
図１は、本発明の一実施形態による検出装置１００の要素のブロック図である。図１を参照すれば、検出装置１００が記憶装置１１０及びプロセッサ１３０を含む（但し、これらに限定されない）。検出装置１００は、デスクトップ・コンピュータ、ネットワーク・コンピュータ、スマートホン、タブレット・コンピュータ、サーバー、医療検査機器、または他のコンピュータ装置とすることができる。
記憶装置１１０は、あらゆる形態の固定または可動のランダムアクセスメモリ（ＲＡＭ：random access memory）、読出し専用メモリ（ＲＯＭ：read only memory）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ：hard disc drive）、半導体ドライブ（ＳＳＤ：solid state drive）、または同様な要素とすることができる。一実施形態では、記憶装置１１０が、プログラミングコード、ソフトウェア・モジュール、コンフィギュレーション（機器構成）、データ（例えば、画像、特徴マップ、ニューラル・ネットワーク・パラメータ、ニューラル・ネットワーク（ＮＮ）モジュール、等）またはファイルを記録するように構成され、これらの中で、上記実施形態を後に詳細に説明する。
プロセッサ１３０は記憶装置１１０に結合されている。プロセッサ１３０は、中央処理装置（ＣＰＵ：central processing unit）、グラフィックス処理装置（ＧＰＵ：graphics processing unit）、または他のプログラマブルな汎用または専用マイクロプロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ：digital signal processor）、プログラマブル・コントローラ、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ：field programmable gate array）、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）、ニューラル・ネットワーク・アクセラレータ、または他の同様な素子、あるいは上記の素子の組合せとすることができる。一実施形態では、プロセッサ１３０が、検出装置１００の動作の全部または一部を実行するように構成され、記憶装置１１０に記憶されている種々のプログラミングコード、ソフトウェア・モジュール、ファイル、及びデータをロードして実行することができる。
以下に、本発明の上記実施形態による方法を、検出装置１００内の種々の装置、要素、及びモジュールと共に説明する。この方法の各処理の流れは、実現環境に応じて調整することができ、説明するものに限定されない。
図２は、本発明の一実施形態による検出方法のフローチャートである。図２を参照すれば、プロセッサ１３０が、評価される画像に対する特徴抽出を実行して、１つ以上の特徴マップを得る（ステップＳ２１０）。具体的には、評価される画像は、医用画像、モニター画面の画像、または他の形態の画像とすることができる。評価される画像は、１つ以上の被写体上での写真撮影により得られる。異なる設計要件に応じて、評価される画像の形態、本体、及び／または内容は異なり得る。例えば、評価される画像は、眼底撮影における医用画像（即ち、眼底像）である。他の例では、評価される画像が胸部超音波画像である。さらに他の例では、評価される画像が入口及び出口のモニター画面の画像である。
一方、特徴抽出は、機械学習、パターン認識、画像処理、または他の技術分野において適用することができる。特徴抽出は、初期に測定／収集／抽出したデータサンプルについて、情報を与える冗長でない 派生物（または特徴と称するもの）を構成することである。特徴抽出は、その後の学習プロセス及びルール（規則）誘導プロセスを支援して、初期のデータサンプルに対するより良好な解釈を提供する。換言すれば、特徴抽出は入力データを簡略化して特徴集合にし（特徴集合は重要または有用な情報と考えることができる）、特徴集合を直接採用して、その後のタスク（例えば、モデル学習、成分分析、物体検出）を実行することができる。例えば、画像に対する特徴抽出により、エッジ（縁部）、コーナー（隅部）、スケール不変特徴変換（ＳＩＦＴ：scale-invariant feature transform）、屈曲、及び形状のような特徴を得ることができる。
一実施形態では、プロセッサ１３０が、人工ニューラル・ネットワーク（ＡＮＮ：artificial neural network）により、評価される画像に対する特徴抽出を実行することができる。例えば、プロセッサ１３０は、任意のバージョンのインセプション・モデル（例えば、インセプション・バージョン４（ｖ４））、残差ニューラル・ネットワーク（ＲｅｓＮｅｔ：residual neural network）、グーグルネット（GoogLeNet：登録商標）、ビジュアル・ジオメトリー・グループ（ＶＧＧ：Visual Geometry Group：登録商標）、その改良型、あるいは他の画像関連のネットワークを採用した特徴抽出を実行することができる。
インセプションｖ４モデルを例として挙げ、図３は、本発明の一実施形態によるインセプション・バージョン４モデルのフローチャートである。図３を参照すれば、次のモジュールをプロセッサ１３０によって実行することができる。入力モジュール３１０は評価される画像を入力する。ステム・モジュール３２０は、インセプション・バージョン３（ｖ３）において用いられる並列構造及び非対称畳み込みカーネル（核）構造を用いる。インセプション－Ａモジュール３３０、インセプション－Ｂモジュール３５０、及びインセプション－Ｃモジュール３７０も、それぞれ異なる並列構造及び非対称畳み込みカーネル構造により特徴を抽出する。低減－Ａモジュール３４０及び低減－Ｂモジュール３６０は、特徴マップのサイズを低減することができる。平均プーリング・モジュール３８０は、特徴マップ中のいくつかの領域内で隣接する特徴点の平均値を求める。活性化モジュール３９５は、活性化関数（例えば、ソフトマックス（Softmax）、シグモイド（Sigmoid）、または正規化線形ユニット（ＲｅＬＵ：Rectified Linear Unit））を用いる。
他の実施形態では、プロセッサ１３０が、評価される画像に対する特徴抽出を、例えば、輝度勾配ヒストグラム（ＨＯＧ：histogram of oriented gradient）、ハール（Harr）、高速化ロバスト特徴（ＳＵＲＦ：speeded up robust features）、または他の抽出アルゴリズムを用いることによって実行することができる。
一実施形態では、特徴マップが、畳み込みカーネル／フィルタにより実行した畳み込み総和後の出力である。他の実施形態では、二次元像の形式の特徴抽出アルゴリズムから得られた特徴集合／特徴ベクトルを記録することによって、特徴マップが得られる。
プロセッサ１３０は、分類器により１つ以上の特徴マップを検出して、分類結果を得ることができる（ステップＳ２３０）。具体的には、この分類器はディープ・ニューラル・ネットワーク（ＤＮＮ）構造によって学習させることができる。このディープ・ニューラル・ネットワークは、人工ニューラル・ネットワークを主構造として適応させる。このディープ・ニューラル・ネットワーク構造は改良結合層を含む。この改良結合層は、入力層、隠れ層、及び出力層を含む。このディープ・ニューラル・ネットワークは、多層ニューロン構造によって形成される。ニューロンの各層は、入力（例えば、ニューロンの前層の出力）及び出力を有して構成される。いずれか１つの隠れ層内のニューロンによって、入力ベクトルと重み付きベクトルとの内積が得られ、スカラーの結果が非線形変換関数により出力される。分類器の学習段では、この重み付きベクトルを学習により決定し、分類器の推論段では、決定した重み付きベクトルを用いることによって分類結果が得られる。この分類結果は、評価される画像が関連する１つ以上のクラスまたはラベルに関連する。
本発明の上記実施形態では、改良結合層内のニューロンの数が入力層から出力層までに逐次的に減少する。改良結合層がＭ個の隠れ層を含むものと仮定すれば、ｊ＋１番目の隠れ層内のニューロンの数はｊ番目の層内のニューロンの数よりも小さく、ここにＭは１よりも大きい正の整数であり、ｊは１～Ｍの正の整数である。換言すれば、入力層から出力層までに、次の層のニューロンの数が前の層のニューロンの数よりも小さい。
例えば、図４Ａは、本発明の一実施形態による改良結合層の概略図である。図４Ａを参照すれば、改良結合層ＣＬ１が３つの層を含む。第１層Ｌ１－１は４つのニューロンを含み、第２層Ｌ１－２は３つのニューロンを含み、第３層Ｌ１－３は２つのニューロンを含む。
一実施形態では、改良結合層がＯ個の隠れ層を含み、ｋ番目の隠れ層内のニューロンの数がｋ＋１番目の隠れ層内のニューロンの数の整数倍であり、ここにＯは１よりも大きい正の整数であり、ｋは１～Ｏの正の整数である。この整数倍は、２倍、４倍、８倍、または他の倍数とすることができる。
例えば、図４Ｂは、本発明の他の実施形態による改良結合層の概略図である。図４Ｂを参照すれば、改良結合層ＣＬ２がＮ個の層を含み、ｉ番目の層内のニューロンの数はｉ＋１番目の層内のニューロンの数の整数倍であり、ここにＮは１よりも大きい正の整数であり、ｉは１～Ｎの正の整数である。例えば、第１層としての入力層Ｌ２－１は１０２４個のニューロンを含み、第２層としての隠れ層Ｌ２－２は５１２個のニューロンを含む。類推により、Ｎ―１番目の層としての隠れ層Ｌ２－(Ｎ－１)は２つのニューロンを含み、Ｎ番目の層としての出力層Ｌ２－Ｎは１つのニューロンを含む。
他の実施形態では、ニューロンの数が、改良結合層内の入力層から出力層までに順次に減少する。例えば、第１層は８つのニューロンを含み、第２層は６つのニューロンを含む。
さらに他の実施形態では、減少するニューロンの数が規則的でない。例えば、第１層は１０個のニューロンを含み、第２層は７つのニューロンを含み、第３層は２つのニューロンを含む。
なお、改良結合同内の層の数、及び各層内のニューロンの数は、実際の要求に応じてさらに変更することができる。
一実施形態では、プロセッサ１３０が改良結合層内のニューロンの各々を、分類器の学習段及び推論段用に活性化する。具体的には、図３に示すように、既存のインセプションｖ４が、学習段内のドロップアウト（脱落）モジュール３９０によりニューロンをランダムに不活性化して過学習（オーバーフィッティング）の可能性を低減する。本発明の上記実施形態では、ドロップアウト・モジュール３９０を、逐次的に減少するチャネルを有するディープ・ニューラル・ネットワーク構造（即ち、改良結合層）に置き換える（即ち、ドロップアウトを無効にし；場合によっては活性化モジュール３９５も失効させる）ことによって、ノイズ・フィルタリング（ノイズのフィルタ処理）を実現することができ、そして次元を低減することができる。換言すれば、分類器の学習段及び推論段は、ニューロンをランダムに不活性化せずに、改良結合層内のニューロンの各々を活性化するように構成されている。
一実施形態では、改良結合層内の出力層内のニューロンの数が１である。上記分類結果は１つの値を含み、この値は複数の（ラベルとも称する）クラスのうちの１つに対応する。クラスは、分類器によって出力することができる結果である。加齢に関連する黄斑症を例に挙げれば、この値はある範囲内に入り、この範囲は４つの部分に分割され、各部分は重症度の特定レベルに対応する。
他の実施形態では、改良結合層の出力層が複数のニューロンを含み、出力層内の各ニューロンは、対応するクラスとして検出される確率または可能性を表す。
一実施形態では、分類器がいくつかの副分類器を含み、これらの副分類器は同じ学習データを用いて学習させることができる。これらの副分類器は同じ構造を有し、各々が改良結合層を含む。同じ学習データを用いても、同じ構造を有する２つの副分類器は異なる重みパラメータを得る。プロセッサ１３０は、これらの副分類器の出力により分類結果を決定することができる。例えば、これらの副分類器の分類結果は各々が数値である。従って、プロセッサ１３０は、これらの副分類器の分類結果の平均値、最大値、中央値、または他の代表値を、分類器の分類結果として求める。
図５は、本発明の一実施形態によるアンサンブルの概略図である。図５を参照すれば、２つの副分類器ＳＣ１及びＳＣ２の各々が同じ特徴マップを検出し、２つの出力分類結果に対する包括的評価が実行される（ステップＳ５０１）。この包括的評価は、例えば、算術平均、重み付き平均、または他の数式である。
一実施形態では、プロセッサ１３０が使用する副分類器を事前に選択する。選択した副分類器は、検査データ集合及び学習データ集合の両方において好適な、あるいは最も好適な（例えば、実際の結果に近い、あるいは実際の結果と同じ）結果を有する。それに加えて、選択されない副分類器は、より好適でない、あるいは最も好適でない（例えば、実際の結果から離れた）結果を有する。
以上を要約すれば、本発明の実施形態では、画像関連の検出方法及び検出装置において、逐次的に減少するチャネルを有する改良結合層を用いて不純物をフィルタ処理して効率を増大させる。それに加えて、副分類器の分類結果は包括的に評価することができ、それに応じて最終的な分類結果を得ることができる。その結果、感度及び特異性を増大させることができる。医用画像検査への応用では、医師または一般大衆が検査結果を迅速に得ることに役立つことができ、検査時間を大幅に節減する。
以上の実施形態の形で本発明を開示してきたが、これらの実施形態は本発明を限定することは意図していない。本発明の精神または範囲から逸脱することなしに、いくつかの変更及び変形を加えることができることは、通常の当業者にとって明らかである。以上のことを考慮すれば、本発明の保護の範囲は、添付した特許請求の範囲によって規定される範囲に支配される。
上記画像関連の検出方法及び検出装置は、眼底撮影検査のような検査による、網膜症、緑内障、黄斑症のような病気、あるいは他の病気の検出に適用することができる。
１００：検出装置
１１０：記憶装置
１３０：プロセッサ
Ｓ２１０～Ｓ２３０、Ｓ５０１：ステップ
３１０：入力モジュール
３２０：ステム・モジュール
３３０：インセプション－Ａモジュール
３４０：低減－Ａモジュール
３５０：インセプション－Ａモジュール
３６０：低減－Ｂモジュール
３７０：インセプション－Ｃモジュール
３８０：平均プーリング・モジュール
３９０：ドロップアウト・モジュール
３９５：活性化モジュール
ＣＬ１、ＣＬ２：改良結合層
Ｌ１－１：第１層
Ｌ１－２：第２層
Ｌ１－３：第３層
Ｌ２－１：入力層
Ｌ２－２、Ｌ２－(Ｎ－１)：隠れ層
Ｌ２－Ｎ：出力層
ＳＣ１、ＳＣ２：副分類器

Claims (12)

  1. 医用画像に適用可能な検出方法であって、
    人工ニューラル・ネットワークであるインセプション・モデルにより、評価される画像に対する非対称畳み込みカーネル構造による特徴抽出を実行して、少なくとも１つの特徴マップを得るステップと、
    分類器によって、前記分類器に入力された前記少なくとも１つの特徴マップを検出して、分類結果を得るステップとを含み、
    前記分類器はディープ・ニューラル・ネットワーク構造によって学習させることができ、該ディープ・ニューラル・ネットワーク構造は改良結合層を含み、該改良結合層内では、ニューロンの数が入力層から出力層までに逐次的に減少し、ドロップアウトがデフォルトで実行される前記インセプション・モデルにおいて、前記分類器の学習段においてドロップアウトを無効にする検出方法。
  2. 前記分類器によって、前記分類器に入力された前記少なくとも１つの特徴マップを検出するステップが、
    前記改良結合層内のニューロンの各々を、前記分類器の前記学習段及び推論段用に活性化するステップを含む、請求項１に記載の検出方法。
  3. 前記改良結合層がＯ個の隠れ層を含み、ｋ番目の前記隠れ層内のニューロンの数がｋ＋１番目の前記隠れ層内のニューロンの数の整数倍であり、ここにＯは１よりも大きい正の整数であり、ｋは１～Ｏの正の整数である、請求項１に記載の検出方法。
  4. 前記分類器によって、前記分類器に入力された前記少なくとも１つの特徴マップを検出するステップが、
    前記改良結合層内の前記出力層内のニューロンの数を１に設定するステップを含み、
    前記分類結果が１つの値を含み、該値は複数のクラスのうちの１つに対応する、請求項１に記載の検出方法。
  5. 前記医用画像が眼底写真撮影を対象とする、請求項１に記載の検出方法。
  6. 前記分類器が複数の副分類器を具え、該副分類器は同じ学習データを用いることによって学習させることができ、前記分類器によって、前記分類器に入力された前記少なくとも１つの特徴マップを検出するステップが、
    前記副分類器の出力により前記分類結果を決定するステップを含む、請求項１に記載の検出方法。
  7. 医用画像に適用可能な検出装置であって、
    プログラミングコードを記憶する記憶装置と、
    前記記憶装置に結合されたプロセッサとを具え、
    前記プロセッサは、前記プログラミングコードをロードされて実行し、前記プログラミングコードは、
    人工ニューラル・ネットワークであるインセプション・モデルにより、評価される画像に対する非対称畳み込みカーネル構造による特徴抽出を実行して、少なくとも１つの特徴マップを得て、
    分類器によって、前記分類器に入力された前記少なくとも１つの特徴マップを検出して、分類結果を得るように構成され、
    前記分類器はディープ・ニューラル・ネットワーク構造によって学習させることができプ、該ディープ・ニューラル・ネットワーク構造は改良結合層を含み、該改良結合層内では、ニューロンの数が入力層から出力層までに逐次的に減少し、ドロップアウトがデフォルトで実行される前記インセプション・モデルにおいて、前記分類器の学習段においてドロップアウトを無効にする検出装置。
  8. 前記分類器の前記学習段及び推論段が、前記改良結合層内のニューロンの各々を活性化するように構成されている、請求項７に記載の検出装置。
  9. 前記改良結合層がＯ個の隠れ層を含み、ｋ番目の前記隠れ層内のニューロンの数がｋ＋１番目の前記隠れ層内のニューロンの数の整数倍であり、ここにＯは１よりも大きい正の整数であり、ｋは１～Ｏの正の整数である、請求項７に記載の検出装置。
  10. 前記改良結合層内の前記出力層内のニューロンの数が１であり、前記分類結果が１つの値を含み、該値は複数のクラスのうちの１つに対応する、請求項７に記載の検出装置。
  11. 前記医用画像が眼底写真撮影を対象とする、請求項７に記載の検出装置。
  12. 前記分類器が複数の副分類器を具え、該副分類器は同じ学習データを用いることによって学習させることができ、前記プロセッサは、
    前記副分類器の出力により前記分類結果を決定するように構成されている、請求項７に記載の検出装置。
JP2021142738A 2021-03-19 2021-09-01 画像関連の検出方法及び検出装置 Active JP7508421B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW110109981A TWI790572B (zh) 2021-03-19 2021-03-19 影像相關的檢測方法及檢測裝置
TW110109981 2021-03-19

Publications (2)

Publication Number Publication Date
JP2022145429A JP2022145429A (ja) 2022-10-04
JP7508421B2 true JP7508421B2 (ja) 2024-07-01

Family

ID=77563958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021142738A Active JP7508421B2 (ja) 2021-03-19 2021-09-01 画像関連の検出方法及び検出装置

Country Status (5)

Country Link
US (1) US12079985B2 (ja)
EP (1) EP4060625A1 (ja)
JP (1) JP7508421B2 (ja)
CN (1) CN115115569A (ja)
TW (1) TWI790572B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102414994B1 (ko) * 2020-06-05 2022-06-30 자이메드 주식회사 안저영상을 이용한 혈관질환 예측 지원방법 및 지원장치, 이를 포함하는 시스템
CN117854139B (zh) * 2024-03-07 2024-05-28 中国人民解放军总医院第三医学中心 基于稀疏选择的开角型青光眼识别方法、介质及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535569A (ja) 2001-04-09 2004-11-25 ライフスパン バイオサイエンシズ インコーポレイテッド 有機体物質の画像パターン認識のためのコンピュータ手法
US20170357879A1 (en) 2017-08-01 2017-12-14 Retina-Ai Llc Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
JP2019152968A (ja) 2018-03-01 2019-09-12 国立大学法人北海道大学 汚水越流検知装置、汚水越流検知方法、プログラム、及び汚水処理装置
WO2019178561A2 (en) 2018-03-16 2019-09-19 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Using machine learning and/or neural networks to validate stem cells and their derivatives for use in cell therapy, drug discovery, and diagnostics
WO2019220622A1 (ja) 2018-05-18 2019-11-21 日本電気株式会社 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2019211913A (ja) 2018-06-01 2019-12-12 日本電信電話株式会社 特徴量抽出装置、方法、及びプログラム
WO2019245597A1 (en) 2018-06-18 2019-12-26 Google Llc Method and system for improving cancer detection using deep learning
JP2020103880A (ja) 2018-12-26 2020-07-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983474A (zh) * 2016-11-22 2019-07-05 海珀菲纳研究股份有限公司 用于磁共振图像中的自动检测的系统和方法
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技（深圳）有限公司 视网膜病变程度等级检测系统及方法
CN107622182B (zh) * 2017-08-04 2020-10-09 中南大学 蛋白质局部结构特征的预测方法及系统
CN107292298B (zh) * 2017-08-09 2018-04-20 北方民族大学 基于卷积神经网络和分类器模型的牛脸识别方法
TWI696145B (zh) * 2018-06-01 2020-06-11 國立臺灣大學 大腸鏡影像電腦輔助辨識系統及方法
CN112469340A (zh) * 2018-07-26 2021-03-09 皇家飞利浦有限公司 具有用于引导式肝成像的人工神经网络的超声系统
US11455538B2 (en) * 2018-12-20 2022-09-27 GM Global Technology Operations LLC Correctness preserving optimization of deep neural networks
KR102291854B1 (ko) * 2019-07-10 2021-08-23 한국과학기술연구원 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체
FR3104934B1 (fr) * 2019-12-18 2023-04-07 Quantum Surgical Méthode de planification automatique d’une trajectoire pour une intervention médicale
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
EP4200743A1 (en) * 2020-08-24 2023-06-28 Ventana Medical Systems, Inc. Histological stain pattern and artifacts classification using few-shot learning
CN112418329B (zh) * 2020-11-25 2022-08-05 武汉大学 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535569A (ja) 2001-04-09 2004-11-25 ライフスパン バイオサイエンシズ インコーポレイテッド 有機体物質の画像パターン認識のためのコンピュータ手法
US20170357879A1 (en) 2017-08-01 2017-12-14 Retina-Ai Llc Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
JP2019152968A (ja) 2018-03-01 2019-09-12 国立大学法人北海道大学 汚水越流検知装置、汚水越流検知方法、プログラム、及び汚水処理装置
WO2019178561A2 (en) 2018-03-16 2019-09-19 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Using machine learning and/or neural networks to validate stem cells and their derivatives for use in cell therapy, drug discovery, and diagnostics
WO2019220622A1 (ja) 2018-05-18 2019-11-21 日本電気株式会社 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2019211913A (ja) 2018-06-01 2019-12-12 日本電信電話株式会社 特徴量抽出装置、方法、及びプログラム
WO2019245597A1 (en) 2018-06-18 2019-12-26 Google Llc Method and system for improving cancer detection using deep learning
JP2020103880A (ja) 2018-12-26 2020-07-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
木村 知広 、他１名，機械学習による退院時サマリからのＤＰＣ分類の推測，第３９回医療情報学連合大会（第２０回日本医療情報学会学術大会）論文集 ［ＣＤ－ＲＯＭ］ 第３９回医療情報学連合大会 第２０回日本医療情報学会学術大会，日本医療情報学会，2019年11月21日，p.684-689

Also Published As

Publication number Publication date
US12079985B2 (en) 2024-09-03
CN115115569A (zh) 2022-09-27
JP2022145429A (ja) 2022-10-04
EP4060625A1 (en) 2022-09-21
TW202238511A (zh) 2022-10-01
TWI790572B (zh) 2023-01-21
US20220301153A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
Nawaz et al. A deep feature-based real-time system for Alzheimer disease stage detection
Novitasari et al. Detection of COVID-19 chest X-ray using support vector machine and convolutional neural network
Georgakopoulos et al. Weakly-supervised convolutional learning for detection of inflammatory gastrointestinal lesions
JP7508421B2 (ja) 画像関連の検出方法及び検出装置
Mamun et al. Deep Learning Based Model for Alzheimer's Disease Detection Using Brain MRI Images
Mascarenhas et al. Artificial intelligence and capsule endoscopy: unravelling the future
Tavana et al. Classification of spinal curvature types using radiography images: deep learning versus classical methods
Tsai et al. Deep learning techniques for colorectal cancer tissue classification
Lafraxo et al. Computer-aided system for bleeding detection in wce images based on cnn-gru network
Charisma et al. Transfer learning with Densenet201 architecture model for potato leaf disease classification
Mulya et al. Classification of acute lymphoblastic leukemia based on white blood cell images using inceptionv3 model
Jana et al. Deep belief network based disease detection in pepper leaf for farming sector
Khalaf et al. Coronavirus Disease (COVID-19) detection using deep features learning
Taşci Deep Learning-Based Approaches Using Feature Selection Methods for Automatic Diagnosis of COVID-19 Disease from X-Ray Images
Hsu et al. Predicting thorax diseases with NIH chest X-rays
Mohammed et al. The diagnosis of COVID-19 in CT images using hybrid machine learning approaches (CNN & SVM)
Ozaltın et al. Automatically image classification based on a new CNN architecture
Tambe et al. Potato Leaf Disease Classification using Deep Learning: A Convolutional Neural Network Approach
Bhuvaneswari et al. Disease Detection in Plant Leaf using LNet Based on Deep Learning
Arya et al. Enhancing image for CNN-based diagnostic of pediatric pneumonia through chest radiographs
Kaur et al. Deep CNN Models In Plant Disease Identification
Janbi et al. Comparing ML and DL approaches to diagnosis COVID-19 from CCGAN augmented CTX dataset
Al-joudi et al. Classification of Human Protein in Multiple Cells Microscopy Images Using CNN.
Farahat et al. CAD system for intelligent grading of COVID-19 severity with green computing and low carbon footprint analysis
Suganthe et al. Performance Evaluation of Transfer Learning Based Models On Skin Disease Classification

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240329

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240619

R150 Certificate of patent or registration of utility model

Ref document number: 7508421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150