JP2023535144A - 多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム - Google Patents

多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム Download PDF

Info

Publication number
JP2023535144A
JP2023535144A JP2023502694A JP2023502694A JP2023535144A JP 2023535144 A JP2023535144 A JP 2023535144A JP 2023502694 A JP2023502694 A JP 2023502694A JP 2023502694 A JP2023502694 A JP 2023502694A JP 2023535144 A JP2023535144 A JP 2023535144A
Authority
JP
Japan
Prior art keywords
diagnostic
neural network
images
training
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023502694A
Other languages
English (en)
Inventor
ジュンヨン チョ
ソンウ キム
Original Assignee
ディープ バイオ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープ バイオ インク filed Critical ディープ バイオ インク
Publication of JP2023535144A publication Critical patent/JP2023535144A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システムが開示されている。本発明の一態様によると、ニューラルネットワークを用いた診断システムが、生体画像を用いて所定の疾患に関する診断結果を予測するための診断ニューラルネットワークを生成するステップと、前記ニューラルネットワークを用いた診断システムが、複数の訓練用生体画像（ここで、前記複数の訓練用生体画像のそれぞれには、それに対応する疾患に対する診断結果がラベル付けされている）を取得するステップと、前記ニューラルネットワークを用いた診断システムが、前記複数の訓練用生体画像を用いて診断ニューラルネットワークを訓練するステップと、を含み、前記複数の訓練用生体画像のそれぞれについて、（ａ）前記訓練用生体画像に互いに異なる特性を有するノイズを挿入して、前記訓練用生体画像に対応するＫ個（ここで、Ｋは２以上の整数）のノイズ挿入画像を生成するステップと、（ｂ）前記訓練用生体画像に対応するＫ個のノイズ挿入画像を前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を含む方法が提供される。

Description

本発明は、ニューラルネットワークを用いた疾患診断システムおよびその方法に関する。より詳しくは、多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システムに関する。
病理学または病理科で行う主なタスクの１つは、患者の生体スライド（例えば、生検などによる組織画像スライドなど）を読み取ることによって、特定の疾患に対する状態または徴候の診断を行うことである。このような診断は、長期間にわたる経験豊富な医療従事者の経験と知識に依存している。
近年、機械学習の発達により、コンピュータシステムによる画像の認識や分類などの作業を自動化する試みがなされている。特に、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＣＮＮ）を用いた深層学習手法）を用いることによって、熟練した医療従事者が行っていた診断を自動化する試みがなされている。
特に、ニューラルネットワーク（例えば、ＣＮＮ、深層学習ネットワーク）を用いた深層学習による診断は、従来の熟練した医療従事者の経験や知識を単に自動化するのではなく、自己学習によって特徴的な要素を見つけ出し、所望の答えを導出する点において、むしろ熟練した医療従事者が知らない疾患因子の特徴を画像から見つける場合もある。
一般に、生体スライドのスキャン画像である生体画像を用いるニューラルネットワークによる疾患の診断は、生体画像または生体画像の断片であるパッチ（ｐａｔｃｈまたはタイル（ｔｉｌｅ）とも呼ばれる）を用いる。すなわち、当該生体画像またはパッチに精通した医療従事者は、特定疾患の状態（例えば、癌が発現しているか否か）をアノテーション（ａｎｎｏｔａｔｉｏｎ）し、ニューラルネットワークを学習する訓練データとして複数のアノテーションタイルを用いる。この場合、前記ニューラルネットワークとして畳み込みニューラルネットワークが用いられてもよい。
一方、現在のニューラルネットワークを介したほとんどの診断方法は、すでにスキャンしたデータを学習に利用し、スキャンしたデータで診断結果を予測している。つまり、従来のニューラルネットワークを介した診断方法は、固定データに対して比較的よく機能している。ところが、ノイズがある場合には脆弱であるという短所がある。例えば、顕微鏡によりリアルタイムで撮影した画像データの場合、顕微鏡のカメラから発生するノイズが画像に多く含まれ、このようなカメラ自体のノイズのために診断結果が変わり続けるという短所がある。
一方、ニューラルネットワークによる診断速度は一般にカメラのフレームレートよりも遅いため、顕微鏡で診断する部分が動き続けると、カメラによる画面が途切れるという問題が生じる可能性がある。
大韓民国特開１０－２０１６－００３４８１４「ニューラルネットワークを含むクライアント装置、およびそれを含むシステム」
本発明が達成しようとする技術的課題は、カメラに起因するノイズによらず安定して診断を行うことができるニューラルネットワークを用いた診断システムおよび方法を提供することである。
また、カメラの動きを検知し、移動中や空の画面の場合は診断を行わず、特定の部位を固定して視認している場合にのみ診断を行うことで、スムーズな画面移動を可能にする診断システムおよび方法を提供することである。
さらに、特定の生体画像を通じて、疾患の発症有無だけでなく、該当生体画像で疾患が発症した領域も区別できるニューラルネットワーク構造を提供することである。特に、パッチに疾患が存在するか否かを判断できる分類ニューラルネットワークアーキテクチャに分割のためのサブアーキテクチャを追加することによって、疾患が発症した領域の区分のための分割を効率的に行うことができるニューラルネットワーク構造を提供することである。
本発明の一態様によると、ニューラルネットワークを用いた診断システムが、生体画像を用いて所定の疾患に関する診断結果を予測するための診断ニューラルネットワークを生成するステップと、前記ニューラルネットワークを用いた診断システムが、複数の訓練用生体画像（ここで、前記複数の訓練用生体画像のそれぞれには、それに対応する前記疾患に対する診断結果がラベル付けされている）を取得するステップと、前記ニューラルネットワークを用いた診断システムが、前記複数の訓練用生体画像を用いて、前記診断ニューラルネットワークを訓練するステップと、を含み、前記診断ニューラルネットワークを訓練するステップは、前記複数の訓練用生体画像のそれぞれに対して、（ａ）前記訓練用生体画像に互いに異なる特性を有するノイズを挿入して、前記訓練用生体画像に対応するＫ個（ここで、Ｋは２以上の整数）のノイズ挿入画像を生成するステップと、（ｂ）前記訓練用生体画像に対応するＫ個のノイズ挿入画像を前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を含む方法が提供される。
一実施形態において、前記（ｂ）ステップは、前記訓練用生体画像に対応するＫ個のノイズ挿入画像をすべて連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）して、前記訓練用生体画像に対応する１つの訓練データを生成するステップ（ここで、前記訓練用生体画像に対応する訓練データは、前記訓練用生体画像に対する診断結果にラベル付けされる）と、前記訓練用生体画像に対応する訓練データを前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を含んでもよい。
一実施形態において、上記方法は、診断ステップをさらに含み、前記診断ステップは、画像センサーによって連続撮影されたＫ個の診断対象の生体画像を取得するステップと、前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測するステップと、を含んでもよい。
一実施形態において、前記診断ステップは、前記Ｋ個の診断対象の生体画像に基づいて前記画像センサーが移動中であるか否かを判断するステップをさらに含み、前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測するステップは、前記画像センサーが移動中でないと判断された場合、前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測するステップを含んでもよい。
一実施形態において、上記方法は、診断ステップをさらに含み、前記診断ステップは、画像センサーによって連続撮影されたＫ個の診断対象の生体画像を取得するステップと、前記Ｋ個の診断対象の生体画像をすべて連結して１つの診断対象データを生成するステップと、前記診断対象データを前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測するステップと、を含んでもよい。
一実施形態において、前記診断ニューラルネットワークは、前記診断対象データを入力層に入力し、前記診断対象の生体画像のうち疾患が存在する領域を特定する分割ニューラルネットワークであり、前記分割ニューラルネットワークは、前記診断対象データを入力層に入力し、前記生体画像に前記疾患が存在するか否かに関する分類結果を出力する分類ニューラルネットワーク、および前記分類ニューラルネットワークに含まれる隠れ層のうち、２つ以上の特徴マップ抽出層のそれぞれから生成される特徴マップを入力して、前記生体画像のうち疾患が存在する領域を特定する分割アーキテクチャを含んでもよい。
一実施形態において、前記分割アーキテクチャは、前記２以上の特徴抽出層のそれぞれに対応する畳み込みノードを含む畳み込みサブアーキテクチャ（ここで、前記畳み込みノードのそれぞれは、それに対応する特徴抽出層から入力する特徴マップに対する畳み込みまたは２以上の互いに異なる畳み込みを行う）と、前記畳み込みサブアーキテクチャで生成する畳み込み結果に基づいて、前記パッチのうち疾患が存在する領域を特定する分割サブアーキテクチャと、を含んでもよい。
一実施形態において、前記疾患は、前立腺癌であることを特徴としてもよい。
本発明の他の態様によると、データ処理装置に設置され、上述した方法を行うためのコンピュータ読み取り可能な媒体に記録されたコンピュータプログラムが提供される。
本発明の他の態様によると、ニューラルネットワークを用いた診断システムであって、プロセッサと、コンピュータプログラムを記憶するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって行われる場合、前記ニューラルネットワークを用いた診断システムが上述した方法を行うようにする、ニューラルネットワークを用いた診断システムが提供される。
本発明の他の態様によると、生体画像を用いて所定の疾患に関する診断結果を予測するための診断ニューラルネットワークを格納する記憶モジュール、前記ニューラルネットワークを用いた診断システムが、複数の訓練用生体画像（ここで、前記複数の訓練用生体画像のそれぞれには、それに対応する前記疾患に対する診断結果がラベル付けされている）を取得する取得モジュールと、前記ニューラルネットワークを用いた診断システムが、前記複数の訓練用生体画像を用いて、前記診断ニューラルネットワークを訓練する学習モジュールと、を含み、前記学習モジュールは、前記複数の生体画像のそれぞれに対して、（ａ）前記訓練用生体画像に互いに異なる特性を有するノイズを挿入して、前記訓練用生体画像に対応するＫ個（ここで、Ｋは２以上の整数）のノイズ挿入画像を生成するステップと、（ｂ）前記訓練用生体画像に対応するＫ個のノイズ挿入画像を前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を行う、ニューラルネットワークを用いた診断システムが提供される。
一実施形態において、前記（ｂ）ステップは、前記訓練用生体画像に対応するＫ個のノイズ挿入画像をすべて連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）して、前記訓練用生体画像に対応する１つの訓練データを生成するステップ（ここで、前記訓練用生体画像に対応する訓練データは、前記訓練用生体画像に対する診断結果にラベル付けされる）と、前記訓練用生体画像に対応する訓練データを前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を含んでもよい。
一実施形態において、前記ニューラルネットワークを用いた診断システムは、画像センサーによって連続撮影されたＫ個の診断対象の生体画像を取得し、前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測する診断モジュールをさらに含んでもよい。
一実施形態において、前記診断モジュールは、前記Ｋ個の診断対象の生体画像に基づいて前記画像センサーが移動中であるか否かを判断し、前記画像センサーが移動中でないと判断された場合、前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して、前記疾患に対する診断結果を予測してもよい。
一実施形態において、前記ニューラルネットワークを用いた診断システムは、画像センサーによって連続撮影されたＫ個の診断対象の生体画像を取得し、前記Ｋ個の診断対象の生体画像をすべて連結して１つの診断対象データを生成し、前記診断対象データを前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測する診断モジュールをさらに含んでもよい。
本発明の技術的思想によると、カメラによるノイズによらず安定して診断を行うことができるニューラルネットワークを用いた診断システムおよび方法を提供することができる。
また、カメラの動きを検知し、移動中や空の画面時には診断を行うことなく、特定の領域を固定して視認している場合にのみ診断を行う診断システムおよび方法を提供することができる。
また、生体画像毎に疾患の発症有無を判断する分類だけでなく、該当生体画像のうち疾患が発症した領域を区別できる分割も行うことができる効率的なニューラルネットワーク構造を提供することができる。
本発明の詳細な説明において引用された図面をより完全に理解するために、各図面の簡単な説明が提供される。
本発明の技術的思想によって、多相の生体画像を用いてニューラルネットワークを学習し、これを用いて疾患を診断する方法の動作環境を示す図である。 本発明の一実施形態による疾患診断システムの概略的な構成を示す図である。 本発明の一実施形態によって、複数の訓練用生体画像を用いて診断システムが診断ニューラルネットワークを学習する処理を示すフローチャートである。 ２つのノイズ付加画像を組み合わせて学習に用いた例を示す図である。 本発明の一実施形態によって、診断対象の生体画像を診断システムが診断する処理を示すフローチャートである。 ２つの連続撮影された診断対象の生体画像を用いて診断を行う過程を説明するための図である。 本発明の一実施形態による分割のための診断ニューラルネットワークの全体的な構造を示す図である。 本発明の一実施形態による分割アーキテクチャの全体的な構造を説明するための図である。 本発明の一実施形態による分割のための診断ニューラルネットワークの具体例を示す図である。
本発明は種々の変換を加えることができ、種々の実施形態を有し得るので、具体的な実施形態を図面に図示し、詳細な説明において詳しく説明する。しかしながら、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の思想および範囲に含まれるすべての変換、均等物および代替物を含むことを理解すべきである。本発明を説明するにあたり、関連する公知の技術の詳細な説明が本発明の要旨を不明瞭にするおそれがあると判断した場合には、その詳細な説明は省略する。
第１、第２のなどの用語は、様々な構成要素を記述するために使用され得るが、上記構成要素は、上記用語によって限定されるべきではない。上記用語は、ある構成要素を別の構成要素と区別する目的でのみ使用される。
本出願で使用される用語は、特定の実施形態を説明するためにのみ使用され、本発明を限定するものではない。単数形表現には、文脈が明確に別段の意味でない限り、複数形表現が含まれる。
本明細書において、「含む」または「有する」という用語は、本明細書に記載される特徴、数、ステップ、動作、構成要素、部品、またはそれらの組み合わせが存在することを指定するためのものであり、１つまたはそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性を予め排除しないものと理解されるべきである。
加えて、本明細書において、ある構成要素が他の構成要素にデータを「伝送」するとき、構成要素は、データを他の構成要素に直接伝送してもよく、少なくとも１つのまた他の構成要素を介して他の構成要素にデータを伝送してもよい。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、データはまた他の構成要素を経由せずに構成要素から他の構成要素に伝送されることを意味する。
以下、添付図面を参照しながら、本発明の実施の形態を中心に本発明を詳しく説明する。各図に示す同一の符号は同一の部材を表す。
本発明は種々の変換を加えることができ、種々の実施形態を有し得るので、具体的な実施形態を図面に図示し、詳細な説明において詳しく説明する。しかしながら、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の思想および範囲に含まれるすべての変換、均等物および代替物を含むことを理解すべきである。本発明を説明するにあたり、関連する公知の技術の詳細な説明が本発明の要旨を不明瞭にするおそれがあると判断した場合には、その詳細な説明は省略する。
第１、第２のなどの用語は、様々な構成要素を記述するために使用され得るが、上記構成要素は、上記用語によって限定されるべきではない。上記用語は、ある構成要素を別の構成要素と区別する目的でのみ使用される。
本出願で使用される用語は、特定の実施形態を説明するためにのみ使用され、本発明を限定するものではない。単数形表現には、文脈が明確に別段の意味でない限り、複数形表現が含まれる。
本明細書において、「含む」または「有する」という用語は、本明細書に記載される特徴、数、ステップ、動作、構成要素、部品、またはそれらの組み合わせが存在することを指定するためのものであり、１つまたはそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性を予め排除しないものと理解されるべきである。
加えて、本明細書において、ある構成要素が他の構成要素にデータを「伝送」するとき、構成要素は、データを他の構成要素に直接伝送してもよく、少なくとも１つのまた他の構成要素を介して他の構成要素にデータを伝送してもよい。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、データはまた他の構成要素を経由せずに構成要素から他の構成要素に伝送されることを意味する。
以下、添付図面を参照しながら、本発明の実施の形態を中心に本発明を詳しく説明する。各図に示す同一の符号は同一の部材を表す。
図１は、本発明の技術的思想によって、多相の生体画像を用いてニューラルネットワークを学習し、これを用いて疾患を診断する方法の動作環境を示す図である。図１を参照すると、本発明の技術的思想による方法は、診断システム１００によって行われてもよい。
本発明の技術的思想において、診断システム１００は、コンピューティングシステムであってもよい。あるいは、所定のサーバ１０に設置されることで本発明の技術的思想を実現してもよい。サーバ１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般にネットワークを介してクライアント（端末；２０）が接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定のサービスを行うことができるいかなる装置もサーバと定義できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。
サーバ１０は、プロセッサと記憶装置とを含んでもよい。プロセッサは、本発明の技術的思想を実現するためのプログラムを駆動できる演算装置を意味し得る。記憶装置は、本発明の技術的思想を実現するために必要なプログラムや各種データを記憶できるデータ記憶手段を意味してもよく、実施形態によっては複数の記憶手段として実現されてもよい。また、記憶装置は、サーバ１０に含まれる主記憶装置だけでなく、プロセッサに含まれ得る一時記憶装置やメモリも含む意味であってもよい。
診断システム１００が所定のサーバ１０に含まれて実現されている場合、診断システム１００は、サーバ１０に接続可能な少なくとも１つのクライアント（例えば、２０）と通信を行ってもよい。この場合、クライアント（例えば、２０）は、生体画像を診断システム１００に伝送してもよく、診断システム１００は、伝送された生体画像に対して本発明の技術的思想に従って診断を行ってもよい。また、診断結果をクライアント（例えば、２０）に伝送してもよい。
診断システム１００は、複数の訓練用生体画像を用いて生体画像の診断のためのニューラルネットワークを学習してもよく、ニューラルネットワークを学習した後、学習したニューラルネットワークを用いて、クライアント２０が提供する診断対象画像に対する診断結果を予測してもよい。
クライアント２０は、画像センサー２１を含んでもよい。画像センサー２１は、生体画像を撮影または走査するためのセンサーであってもよい。画像センサー２１は、生体画像を連続して撮影してもよい。例えば、画像センサー２１は、１秒当たり６０フレームで生体画像を撮影してもよい。
一実施形態において、画像センサー２１は、カメラであってもよい。
別の実施形態において、画像センサー２１は、顕微鏡であってもよい。この場合、画像センサー２１は、生体スライドの特定部位を拡大して撮影することができ、クライアント２０を用いて生体画像を診断しようとする診断者は、スライド上の撮影領域を動きながら生体スライドの特定領域に対する診断を行うことができる。
疾患診断システム１００は、図１ではいずれかの物理デバイスとして実現されたものと図示したが、必要に応じて複数の物理デバイスが有機的に結合され、本発明の技術的思想による診断システム１００を実現できることを、本発明の技術分野の平均的専門家であれば容易に推論できるであろう。
また、実施形態によっては、疾患診断システム１００は、サーバ１０でなくクライアント２０に直接インストールされて動作する形態で実現されてもよい。
図２は、本発明の一実施形態による疾患診断システム１００の概略的な構成を示す図である。
図２を参照すると、システム１００は、記憶モジュール１１０、生成モジュール１３０、取得モジュール１４０、学習モジュール１５０、および診断モジュール１６０を含んでもよい。本発明の実施形態によっては、上述の構成要素の一部の構成要素は、本発明の実現に不可欠な構成要素に必ずしも対応しない場合もあり、実施形態によっては、診断システム１００は、より多くの構成要素を含んでもよいことは勿論である。例えば、システム１００は、システム１００の他の構成（例えば、記憶モジュール１１０、生成モジュール１３０、取得モジュール１４０、学習モジュール１５０、診断モジュール１６０など）の機能および／またはリソースを制御するための制御モジュール（図示せず）をさらに含んでもよい。加えて、実施形態によっては、システム１００は、本発明の技術的思想を実現するために必要な様々な情報および／またはデータを記憶するためのデータベース（Ｄａｔａｂａｓｅ；ＤＢ；３００）をさらに含んでもよい。
システム１００は、本発明の技術的思想を実現するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）および／またはソフトウェアを有する論理構成を意味してもよく、必ずしも１つの物理的構成要素または装置を意味するわけではない。すなわち、システム１００は、本発明の技術的思想を実現するために提供されるハードウェアおよび／またはソフトウェアの論理的な組み合わせを意味してもよく、必要に応じては、互いに離隔した装置に設置されて各機能を行うことで、本発明の技術的思想を実現するための論理構成の集合として実現されてもよい。また、システム１００は、本発明の技術的思想を実現するための各機能または役割ごとに別々に実現される構成の集合を意味してもよい。例えば、記憶モジュール１１０、生成モジュール１３０、取得モジュール１４０、学習モジュール１５０、および診断モジュール１６０のそれぞれは、互いに異なる物理デバイスに位置してもよく、同じ物理デバイスに位置してもよい。また、実施形態によっては、記憶モジュール１１０、生成モジュール１３０、取得モジュール１４０、学習モジュール１５０、および診断モジュール１６０のそれぞれを構成するソフトウェアおよび／またはハードウェアの組み合わせも、互いに異なる物理デバイスに位置し、互いに異なる物理デバイスに位置する構成が互いに有機的に組み合わされてそれぞれのモジュールを実現してもよい。
なお、本明細書において、モジュールという用語は、本発明の技術的思想を実現するためのハードウェアと、ハードウェアを駆動するためのソフトウェアとの機能的および構造的な組み合わせを意味し得る。例えば、モジュールは、所定のコードと所定のコードが行われるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味することができ、必ずしも物理的に連結されたコードを意味するか、一種のハードウェアを意味するわけではないことは、本発明の技術分野の平均的専門家であれば容易に推論できるであろう。
ＤＢ２００は、複数の訓練用生体画像を記憶してもよい。訓練用生体画像は、組織画像や生検画像を含む各種の生体画像であってもよい。
また、訓練用生体画像は、生体スライドであってもよく、生体スライドが分割された一部であるパッチであってもよい。
複数の訓練用生体画像のそれぞれには、疾患診断結果がラベル付けされていてもよい。ラベル付けされた診断結果は、疾患診断システム１００によって診断された診断結果と同種のものであってもよい。なお、各訓練用生体画像にラベル付けされている診断結果は、予め当該生体画像に基づいて医療従事者がなした疾患の判断結果であってもよい。
例えば、疾病診断システム１００が疾患の発症有無に対する分類結果を予測するシステムである場合、複数の訓練用生体画像のそれぞれにラベル付けされた診断結果も疾患の発症有無に対するものであってもよい。または実施形態によっては、生体画像に対する診断結果は特定疾患の発現有無（陰性／陽性）のみならず、特定疾患の進行度（または進行度に当たる確率）を含んでもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進行度の指標であるグリーソンパターン（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）を診断結果に含めることができる。例えば、グリーソンスコアの値は２から１０であり、６から１０の値は通常、癌と見なすことができ、数値が大きいほど前立腺癌の発現程度が重度であることを示す。グリーソンパターンは、１から５までのレベルに分類される。
もし、疾患診断システム１００が、疾患の発症領域またはピクセル単位の診断結果を予測するシステム（すなわち、分割を行うシステム）である場合、複数の訓練用生体画像のそれぞれにおいてラベル付けされた診断結果も、疾患の発症領域またはピクセル単位の診断結果に関連し得る。
一方、疾患は前立腺癌であってもよく、以下では前立腺癌を中心に説明するが、本発明の技術的思想が前立腺癌に限定するものではないことは、本発明が属する分野で通常の技術者であれば容易に理解できるであろう。
診断ニューラルネットワーク１２０は、記憶モジュール１１０に格納されてもよく、診断ニューラルネットワーク１２０は、生成モジュール１３０によって生成されてもよい。診断ニューラルネットワーク１２０は、生体画像を用いて所定の疾患の診断結果を予測するニューラルネットワークであってもよい。
記憶モジュール１１０は、診断ニューラルネットワーク１２０を記憶できるデータ記憶手段を意味してもよく、実施形態によって複数の記憶手段として実現されてもよい。また、記憶モジュール１１０は、サーバ１０に含まれる主記憶装置だけでなく、一時記憶装置やメモリも含む意味であってもよい。
診断ニューラルネットワーク１２０は、パッチ単位の生体画像を診断するためのニューラルネットワークであってもよい。この場合、パッチは、所定のスライドを所定のサイズに分割した部分画像であってもよい。すなわち、１つのスライドを複数のパッチに分割してもよく、診断ニューラルネットワーク１２０は、パッチレベルの診断を行うためのパッチを入力してもよい。診断を実行する前に、診断ニューラルネットワーク１２０は、学習モジュール１５０によって予め学習されてもよい。
一方、診断ニューラルネットワーク１２０によって出力される情報は、パッチに該当する組織に特定の疾患（例えば、特定の種類の癌）が発症したか否か、または特定の疾患が発症した領域に対する判断を可能にする情報であってもよい。例えば、診断ニューラルネットワーク１６０によって出力される情報は、パッチに該当する組織に特定の疾患（例えば、特定の種類の癌）が発現したか否かに対する確率を示す情報であってもよい。この場合、診断ニューラルネットワーク１２０が出力した確率値が特定の基準値（閾値）以上である場合、パッチに疾患（例えば、前立腺癌）が発現していると判断してもよい。当然のことながら、実施形態によって、診断ニューラルネットワーク１２０は、特定の疾患が発現されているか否かだけでなく、特定の疾患の進行度（または進行度に当たる確率）を示す情報を出力してもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進行度の指標であるグリーソンパターンまたはグリーソンスコアが、診断ニューラルネットワーク１２０によって出力される情報に含まれてもよい。一方、診断ニューラルネットワーク１２０が用いる閾値は種々設定されてもよく、閾値に応じて、特定のパッチを疾患が発現されたパッチ、すなわち疾患パッチと判断され、または正常なパッチと判断されてもよいことは勿論である。
あるいは、診断ニューラルネットワーク１２０は、パッチを入力し、該当パッチを構成するピクセル毎に疾患の分類結果を予測するためのニューラルネットワークであってもよい。また、分類結果を画素別に出力する診断ニューラルネットワーク１２０は、疾患の発症領域を区別するための分割を行ってもよい。この場合、診断ニューラルネットワーク１２０は、パッチを構成するピクセル毎の疾患の発症有無または疾患の発症確率を出力してもよく、発症されたと判断されたピクセルまたは発症確率がある閾値を超えるピクセルが構成する領域を発症領域と判断してもよい。
実施形態によって、診断ニューラルネットワーク１２０は、ピクセル毎の疾患の発症有無（または疾患の発症確率）および／または疾患の進行度（または進行度に当たる確率）を予測して出力してもよい。
一方、分割（すなわち、ピクセル毎の診断結果の予測）を行う前に、診断ニューラルネットワーク１２０は、学習モジュール１５０によって予め学習されてもよい。
本明細書において、ニューラルネットワークは、ニューラルネットワークを定義する一連の設計項目を表す情報の集合を意味し得る。一実施形態において、診断ニューラルネットワーク１２０は、畳み込みニューラルネットワークであってもよい。
周知のように、畳み込みニューラルネットワークは、入力層、複数の隠れ層、および出力層を含んでもよい。複数の隠れ層のそれぞれは、畳み込み層およびプーリング層（またはサブサンプリング層）を含んでもよい。
畳み込みニューラルネットワークは、これらの層のそれぞれを定義するための関数、フィルタ、スライド（ｓｔｒｉｄｅ）、重み係数などによって定義されてもよい。さらに、出力層は、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワード層（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）として定義され得る。
畳み込みニューラルネットワークを構成する各層の設計の詳細は周知である。例えば、複数の層に含まれる層数、複数の層を定義するための畳み込み関数、プーリング関数、および活性化関数のそれぞれに対しては公知の関数を用いてもよく、本発明の技術的思想を実現するために別途定義された関数を用いてもよい。
畳み込み関数の例としては、離散畳み込み和がある。プーリング関数の一例として、最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）、平均プーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）などを用いることができる。活性化関数の一例は、シグモイド（ｓｉｇｍｏｉｄ）、正接双曲線（ｔａｎｈ）、整流線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ；ＲｅＬＵ）などであってもよい。
このような畳み込みニューラルネットワークの設計が定義される場合、その設計が定義された畳み込みニューラルネットワークは記憶装置に格納されてもよい。また、畳み込みニューラルネットワークが学習されると、各層に該当する重み係数を特定することができる。
すなわち、畳み込みニューラルネットワークの学習は、各層の重み係数が決定される過程を意味し得る。また、畳み込みニューラルネットワークが学習されると、学習された畳み込みニューラルネットワークは、入力層に入力データを入力し、予め定義された出力層を介して出力データを出力してもよい。
本発明の一実施形態によるニューラルネットワークは、上述したように広く知られている設計項目のいずれか１つまたは複数を選択することによって定義されてもよく、ニューラルネットワークに対して独自の設計が定義されてもよい。
再び図２を参照すると、取得モジュール１４０は、診断ニューラルネットワーク１２０に対する機械学習のための訓練データを取得し得る。すなわち、取得モジュール１４０は、複数の訓練用生体画像を取得してもよく、複数の訓練用生体画像のそれぞれには、それに対応する診断結果がラベル付けされてもよい。例えば、取得モジュール１４０は、訓練用の生体画像をＤＢ２００から取得し得る。
また、本明細書では前立腺癌に対して本発明の技術的思想が適用された一例を主に説明したが、特定の組織だけでなく、該当組織の周辺組織の状態まで考慮して特定組織の診断を行う必要がある他の疾患に対しても、本発明の技術的思想が適用される場合に正確な診断が可能であることを、本発明の技術分野の平均的専門家であれば容易に推論できるであろう。
一方、学習モジュール１５０は、複数の訓練用生体画像を用いて、診断ニューラルネットワーク１２０を訓練してもよい。
より具体的には、学習モジュール１５０は、複数の訓練用生体画像のそれぞれに対して、互いに異なる特性を有するノイズを訓練用生体画像に挿入して、訓練用生体画像に対応するＫ個の（ここで、Ｋは２以上の整数）のノイズ挿入画像を生成し、訓練用生体画像に対応するＫ個のノイズ挿入画像を診断ニューラルネットワークに入力して、診断ニューラルネットワークを訓練してもよい。
図３は、本発明の一実施形態によって、複数の訓練用生体画像を用いて診断システム１００が診断ニューラルネットワーク１２０を学習する処理を示すフローチャートである。
図３を参照すると、診断システム１００の取得モジュール１４０は、疾患の診断結果がラベル付けされているＮ個（Ｎは２以上の整数）の訓練用生体画像を取得してもよい（Ｓ１００）。
その後、診断システム１００の診断モジュール１５０は、Ｎ個の訓練用生体画像のそれぞれに対して、Ｓ１２０からＳ１５０の処理を行ってもよい（Ｓ１１０）。
Ｊ番目の訓練用生体画像Ｓｊを通じた学習過程の場合、Ｓ１２０段階で訓練用生体画像Ｓｊに互いに異なる特性を有するノイズを挿入して、訓練用生体画像Ｓｊに対応するＫ個（ここで、Ｋは２以上の整数）のノイズ挿入画像Ｔ（Ｊ，１）ないしＴ（Ｊ，Ｋ）を生成してもよい（Ｓ１２０）。
例えば、ノイズ挿入画像Ｔ（Ｊ，１）ないしＴ（Ｊ，Ｋ）は、訓練用生体画像Ｓｊに平均および／または分散の互いに異なるガウスノイズ（Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ）を付加した画像であってもよい。ガウスノイズが付加される場合、平均および／または分散に加えて種々のパラメータが変更されてもよく、ガウスノイズに加えて様々な形態のノイズが生体画像に付加される態様があってもよい。
ステップＳ１３０では、訓練用生体画像Ｓｊに対応するＫ個のノイズ挿入画像Ｔ（Ｊ，１）ないしＴ（Ｊ，Ｋ）をすべて連結して、訓練用生体画像Ｓｊに対応する１つの訓練データＵｊを生成してもよい。このとき、訓練データＵｊは、訓練用生体画像Ｓｊのラベルでラベル付けされてもよい（Ｓ１３０）。
ステップＳ１４０において、訓練用生体画像Ｓｊに対応する訓練データＵｊを診断ニューラルネットワーク１２０に入力して、診断ニューラルネットワーク１２０を訓練してもよい。
図４は、１つの訓練用生体画像に２つの異なるノイズを付加して生成した２つのノイズ付加画像を組み合わせて学習に用いる例（すなわち、Ｋが２である例）を示す図である。
図４に示すように、学習対象となる原本画像にノイズ１とノイズ２をそれぞれ付加して互いに異なる２つのノイズ挿入画像を生成し、これらを結合した後、診断ニューラルネットワーク１２０に入力して学習を行ってもよい。
再び図２を参照すると、診断モジュール１６０は、連続撮影されたＫ個の診断対象の生体画像を取得し、Ｋ個の診断対象の生体画像を学習モジュール１５０によって学習された診断ニューラルネットワーク１２０に入力して疾患に対する診断結果を予測することができる。一実施形態において、Ｋ個の診断対象の生体画像は、画像センサー２１によって撮影された生体画像であってもよい。
図５は、本発明の一実施形態によって診断対象の生体画像を診断システム１００が診断する処理を示すフローチャートである。
図５を参照すると、診断モジュール１６０は、連続撮影されたＫ個の診断対象の生体画像Ｏ１からＯＫを取得してもよい（Ｓ２００）。
診断モジュール１６０は、Ｋ個の診断対象の生体画像Ｏ１からＯＫに基づいて所定の診断条件が満たされたか否かを判断してもよい（Ｓ２１０）。
一実施形態において、診断モジュール（１６０）は、Ｋ個の診断対象の生体画像に基づいて、診断対象画像を撮影している画像センサー２１が移動中であるか否かを判断してもよく、画像センサー２１が移動中でないと判断された場合、診断条件が満足されたと判断できる。すなわち、診断モジュール１６０は、画像センサー２１が移動中でなく静止状態で生体画像の特定の部分の撮影を続けている場合に、診断条件が満たされていると判断できる。
例えば、診断モジュール１６０は、連続する２つの画像間の関係を示す数値または値を算出し、算出された数値または値が所定の限界範囲内にある場合は移動中でないと判断できる。
あるいは、実施形態によって、診断モジュール１６０は、画像センサー２１が移動中でなく、かつＫ個の診断対象の生体画像が生体組織を撮影していると判断した場合に、診断条件が満たされていると判断できる。また、各種の診断条件が予め設定されていてもよい。
もし診断条件を満たさない場合は、疾患の診断を行うことなく、その後に撮影されたＫ個の生体画像を取得することができる（Ｓ２１０、Ｓ２００を参照）。
もし診断条件が満たされた場合、診断モジュール１６０は、Ｋ個の診断対象の生体画像Ｏ１～ＯＫを連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）して診断対象データＰを生成してもよく（Ｓ２２０）、診断対象データＰを診断ニューラルネットワーク１２０に入力して疾患に対する診断結果を予測してもよい。
図６は、２つの連続撮影された診断対象の生体画像を用いて診断を行う過程を説明するための図である。
図６に示すように、入力装置（例えば、画像センサー２１）から取得した２つの診断対象画像（すなわち、画像１、画像２）が互いに結合され、診断条件が満たされるか否かを判断するためのアルゴリズムに入力してもよい。もし診断条件が満たされた場合、結合されたデータ（すなわち、診断対象データ）を学習した診断ニューラルネットワーク１２０に入力してもよく、診断ニューラルネットワーク１２０は、診断結果を予測することができる。
上述したように、実施形態によって、診断ニューラルネットワーク１２は、生体画像（例えばパッチ）のうち疾患の発症領域を特定するための分割を行う分割ニューラルネットワークであってもよく、そのために分割ニューラルネットワークは非常に独特な構造を有してもよい。
本発明の一実施形態による分割のための診断ニューラルネットワーク１２０は、生体画像に疾患が存在するか否かを判断するための分類を行うニューラルネットワーク（後述する「分類ニューラルネットワーク」）に基づいて、これに分割のためのサブアーキテクチャを結合した形で実現することができる。このような診断ニューラルネットワーク１２０の構造を図７に示す。
図７は、本発明の一実施形態による分割のための診断ニューラルネットワーク１２０の全体的な構造を示す図である。
図７に示されるように、本発明の一実施形態による診断ニューラルネットワーク１２０は、分類ニューラルネットワーク２００および分割アーキテクチャ２６０を含んでもよい。
分類ニューラルネットワーク２００は、診断対象データを入力層に入力し、診断対象データに対応する診断対象画像に疾患が存在するか否かに関する分類結果（例えば、図７に示すようなスコア）を出力してもよい。これは分類と呼ばれ、分類の過程において、分類ニューラルネットワーク２００は、内部に含まれる一部の隠れ層における中間生成物として入力（すなわち、パッチ）に対する特徴を生成できる。特に、画像などの２次元以上のマトリックスを入力として受け取る場合、生成される特徴は２次元マトリックスの形式であるため、特徴マップという用語が用いられることがある。一方、以下では、分類ニューラルネットワーク２００に含まれる隠れ層のうち特徴マップを生成する層を特徴マップ抽出層と呼ぶことにする。
一方、分割アーキテクチャ２６０は、分類ニューラルネットワーク２００に含まれた隠れ層のうち、２以上の特徴マップ抽出層のそれぞれで生成する特徴マップ（例えば、図４に図示されているｆ１、ｆ２、ｆ３）を入力し、パッチのうち疾患が存在する領域を特定して出力してもよい。
図７では、分類ニューラルネットワーク２００が分類を行う過程で３つの特徴マップ（ｆ１、ｆ２、ｆ３）を生成する例を示しているが、実施形態によってはこれより多いか少ない数の特徴マップが生成され得ることは勿論である。
一方、本発明の実施形態によると、分類を行う分類ニューラルネットワーク２００は、公知のデンスネット（ｄｅｎｓｅｎｅｔ）を用いており、このとき、以前の出願に開示されたように診断の対象となる特定パッチだけでなく周辺パッチまでも考慮できるように設計され得る。加えて、様々なニューラルネットワークが活用されてもよく、いずれにしても、分類ニューラルネットワーク２００は、特定のパッチを入力として受け取り、特定のパッチの疾患発現確率に対応する特徴値を出力するように定義され得る。
一方、図８は、分割アーキテクチャ２６０の全体的な構造を説明するための図である。
図８を参照すると、分割アーキテクチャ２６０は、畳み込みサブアーキテクチャ２６１、分割サブアーキテクチャ２６３を含んでもよく、実施形態によってトリミングサブアーキテクチャ２６４をさらに含んでもよい。
上述したように、分類ニューラルネットワーク２００において行われる分類過程で、各特徴抽出層によって特徴マップＦ１、Ｆ２、Ｆ３が生成されてもよく、各特徴マップは、畳み込みサブアーキテクチャ２６１に含まれた畳み込みノード２６２－１から２６２－３に入力してもよい。
各畳み込みノード２６２－１から２６２－３は、分類ニューラルネットワーク２００に含まれる２つ以上の特徴抽出層のそれぞれに対応し、それに対応する特徴抽出層から入力される特徴マップＦ１からｆ３に対する畳み込みまたは２つ以上の互いに異なる畳み込みを行ってもよい。一方、実施形態によって、各畳み込みノード２６２－１から２６３－３は、アップスケーリング（例えば、アップサンプリング）またはダウンスケーリング（例えば、ダウンサンプリング）の後に畳み込みを行ってもよい。
各畳み込みノード２６２－１から２６２－３は、１つまたは２つ以上の結果物を生成するために１つまたは２つ以上の畳み込みを行ってもよい。実施形態によって、畳み込みノード２６２－１から２６２－３によって行われる畳み込みは、拡張畳み込み（Ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ； Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎともいう）であってもよい。拡張畳み込みは、従来の畳み込みとは異なり、隣接するピクセルから特徴を抽出するのではなく、予め定められた間隔（ｒａｔｅ）をおいて畳み込みを行う方法である。例えば、畳み込みノードのいずれか１つ（例えば、５１１－２）は、１ｘ１拡張畳み込み、レート６の３ｘ３拡張畳み込み、レート１２の３ｘ３拡張畳み込み、およびレート１８の３ｘ３拡張畳み込みを行って、４つの畳み込み結果物（特徴）を生成し得る。
一方、分割サブアーキテクチャ２６３は、畳み込みサブアーキテクチャ２６１によって生成された畳み込み結果に基づいて、パッチのうち疾患が存在する領域を特定し得る。
分割サブアーキテクチャ２６３は、畳み込みサブアーキテクチャ２６１によって生成された畳み込み結果に対して所定の演算を行ってもよい。分割サブアーキテクチャ２６３が行う演算は、結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）および／または畳み込みの組み合わせと定義できる。実施形態によって、結合および畳み込みは、様々な方法で組み合わされ得る。
一方、実施形態によっては、トリミングサブアーキテクチャ２６４は、分割サブアーキテクチャ２６３から出力される結果物に対するセンタートリミングを行うことによって、分割に対する最終結果を生成し得る。これは、畳み込みサブアーキテクチャ２６１および分割サブアーキテクチャ２６３の結果物において、比較的中央部分が結果をより正確に反映する傾向があるためである。
図９は、本発明の一実施形態による分割のための診断ニューラルネットワーク１２０の具体例を示す図である。
図９を参照すると、診断ニューラルネットワークに含まれた分類ニューラルネットワーク２００は、分類を行ってもよい。分類のために、分類ニューラルネットワーク２００は、入力層にパッチを入力し、第１の特徴抽出層Ｌ１における畳み込みおよびプーリング演算を通じて、１／４サイズのロー特徴マップｆ１を生成してもよい。次いで、第１デンスブロックと第１トランジション演算（ｄｅｎｓｅｂｌｏｃｋ１、ｔｒａｎｓｉｔｉｏｎ１）及び第２のデンスブロックと第２のトランジション演算（ｄｅｎｓｅｂｌｏｃｋ２， ｔｒａｎｓｉｔｉｏｎ２）を経て、第２の特徴抽出層Ｌ２において１／１６サイズのミドル特徴マップｆ２を生成することができる。次いで、第３のデンスブロックおよび第３のトランジション演算（ｄｅｎｓｅｂｌｏｃｋ３、ｔｒａｎｓｉｔｉｏｎ３）、第４デンスブロック（ｄｅｎｓｅｂｌｏｃｋ４）、および１ｘ１畳み込みを順に経て、第３の特徴抽出層Ｌ３において１／１６サイズのエンド特徴マップｆ３を生成することができる。その後、平均プーリングを通じて疾患の有無に対するスコアを出力することができる。
一方、分割アーキテクチャ２６０では、分類ニューラルネットワーク２００において生成された各特徴を用いて分割を行ってもよい。
より具体的には、畳み込みサブアーキテクチャ２６１に含まれた各畳み込みノード５１０は、それに対応する特徴抽出層から入力する特徴マップに対する予め定義された方式の少なくとも１つの畳み込みを行ってもよい。図９の例では、第１畳み込みノード２６２－１は、それに対応する第１特徴抽出層Ｌ１から入力する特徴マップｆ１に対する１ｘ１畳み込みを行ってもよい。第２の畳み込みノード２６２－２は、それに対応する第２の特徴抽出層Ｌ２から入力する特徴マップＦ２に対して、１ｘ１畳み込み、レート６の３ｘ３拡張畳み込み、レート１２の３ｘ３拡張畳み込み、およびレート１８の３ｘ３拡張畳み込みを行って、４つの畳み込み結果物（特徴）を生成し得る。第３の畳み込みノード２６２－３は、それに対応する第３の特徴抽出層Ｌ３から入力する特徴マップｆ３に対して２倍アップサンプリングした後に１ｘ１畳み込みを行ってもよい。
一方、分割サブアーキテクチャ２６３は、畳み込みサブアーキテクチャ２６１で生成される結果を受け取り、予め定義された演算を行ってもよい。図９の例では、分割サブアーキテクチャ２６３は、第２の畳み込みノード５１１－２と第３の畳み込みノード５１１－３によって生成された畳み込み結果物（特徴）のすべてを結合して１×１畳み込みを行い、これと第１の畳み込みノード５１１－１で生成された畳み込み結果物（特徴）とを組み合わせた後、３×３畳み込みを行ってもよい。
その後、センタートリミングは、トリミングサブアーキテクチャ２６４において行われてもよい。
このような本発明の技術的特徴を有するニューラルネットワークを用いることにより、分割の精度を大幅に向上させることができる。従来のニューラルネットワークにおける分割精度を向上させるためには、入力データから特徴をうまく抽出し、訓練前にニューラルネットワークの初期重みを適切に設定して訓練を行う必要があることは経験的によく知られている。しかし、上述したように、本発明の技術的思想によると、分割は、分類ニューラルネットワークに基づく特定の構造を有する分割アーキテクチャを組み合わせた方式のニューラルネットワークによって行われ、パッチレベルの分類過程で抽出される特徴は、入力データの特徴を非常によく反映している。そのため、これを分割過程にそのまま用いることで、分割の精度を高める効果がある。
一方、本明細書では、前立腺癌に対して本発明の技術的思想が適用された一例を主に説明したが、特定組織だけでなく、当該組織の周辺組織の状態まで考慮して特定組織の診断を行う必要がある他の疾患に対しても、本発明の技術的思想が適用されると正確な診断が可能であることを、本発明の技術分野の平均的専門家であれば容易に推論できるであろう。
一方、実施形態によって、診断システム１００は、プロセッサと、プロセッサによって行われるプログラムを格納するメモリと、を含んでもよい。プロセッサは、シングルコアＣＰＵまたはマルチコアＣＰＵを含んでもよい。メモリは、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含んでもよい。プロセッサおよび他の構成要素によるメモリへのアクセスは、メモリコントローラによって制御され得る。
一方、本発明の実施形態による多色モデル及びニューラルネットワークを介した診断方法は、コンピュータ読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に格納でき、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に格納できる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが格納されるあらゆる種類の記録装置を含む。
記録媒体に記録されるプログラム命令は、本発明のために特に設計および構成されたものであってもよく、またはソフトウェア当業者に公知かつ利用可能であってもよい。
コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭやＤＶＤなどの光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を記憶および実行するように特に構成されたハードウェアデバイスが挙げられる。さらに、コンピュータ読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、コンピュータ読み取り可能なコードを分散的に格納および実行することができる。
プログラム命令の例としては、コンパイラによって生成されるような機械語コード、ならびにインタプリタ等を用いて電子的に情報を処理する装置、例えばコンピュータによって実行され得る高級言語コードが含まれる。
上述のハードウェアデバイスは、本発明の動作を実行するための１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、逆もまた同様である。
上述した本発明の説明は例示のみを目的としており、本発明が属する分野の当業者は、本発明の技術的思想または本質的な特徴を変更することなく、他の特定の形態に容易に変換できることを理解できるであろう。したがって、上述した実施形態は、すべての点で例示的なものであり、限定的なものでないと理解されるべきである。例えば、単一の形態で記述された各構成要素が分散されてもよく、同様に分散されたものと記述された構成要素が結合された形態で実施されてもよい。
本発明の範囲は、上記の詳細な説明よりは、以下に説明する特許請求の範囲によって示され、特許請求の範囲の意味および範囲ならびにそれらの等価概念から導出されるすべての変更または変形された形態が本発明の範囲に含まれるものとして解釈されるべきである。
本発明は、多相の生体画像を用いて学習されたニューラルネットワークを用いて疾患を診断する方法、およびそれを行う疾患診断システムに関する。

Claims (15)

  1. ニューラルネットワークを用いた診断システムが、生体画像を用いて所定の疾患に関する診断結果を予測するための診断ニューラルネットワークを生成するステップと、
    前記ニューラルネットワークを用いた診断システムが、複数の訓練用生体画像（ここで、前記複数の訓練用生体画像のそれぞれには、それに対応する前記疾患に対する診断結果がラベル付けされている）を取得するステップと、
    前記ニューラルネットワークを用いた診断システムが、前記複数の訓練用生体画像を用いて前記診断ニューラルネットワークを訓練するステップと、
    を含み、
    前記診断ニューラルネットワークを訓練するステップは、前記複数の訓練用生体画像のそれぞれに対して、
    （ａ）前記訓練用生体画像に互いに異なる特性を有するノイズを挿入して、前記訓練用生体画像に対応するＫ個（ここで、Ｋは２以上の整数）のノイズ挿入画像を生成するステップと、
    （ｂ）前記訓練用生体画像に対応するＫ個のノイズ挿入画像を前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を含む、方法。
  2. 前記（ｂ）ステップは、
    前記訓練用生体画像に対応するＫ個のノイズ挿入画像をすべて連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）して、前記訓練用生体画像に対応する１つの訓練データを生成するステップ（ここで、前記訓練用生体画像に対応する訓練データは、前記訓練用生体画像に対する診断結果にラベル付けされる）と、
    前記訓練用生体画像に対応する訓練データを前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を含む、請求項１に記載の方法。
  3. 前記方法は診断ステップをさらに含み、
    前記診断ステップは、
    画像センサーにより連続撮影されたＫ個の診断対象の生体画像を取得するステップと、
    前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測するステップと、を含む、請求項１に記載の方法。
  4. 前記診断ステップは、
    前記Ｋ個の診断対象の生体画像に基づいて前記画像センサーが移動中であるか否かを判断するステップをさらに含み、
    前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測するステップは、
    前記画像センサーが移動中でないと判断された場合、前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測するステップを含む、請求項３に記載の方法。
  5. 前記方法は診断ステップをさらに含み、
    前記診断ステップは、
    画像センサーにより連続撮影されたＫ個の診断対象の生体画像を取得するステップと、
    前記Ｋ個の診断対象の生体画像をすべて連結して１つの診断対象データを生成するステップと、
    前記診断対象データを前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測するステップと、を含む、請求項２に記載の方法。
  6. 前記診断ニューラルネットワークは、
    前記診断対象データを入力層に入力し、前記診断対象の生体画像のうち前記疾患が存在する領域を特定する分割ニューラルネットワークであり、
    前記分割ニューラルネットワークは、
    前記診断対象データを入力層に入力し、前記生体画像に前記疾患が存在するか否かに関する分類結果を出力する分類ニューラルネットワークと、
    前記分類ニューラルネットワークに含まれる隠れ層のうち、２以上の特徴マップ抽出層のそれぞれで生成する特徴マップを入力し、前記生体画像のうち前記疾患が存在する領域を特定する分割アーキテクチャと、を含む、請求項５に記載の方法。
  7. 前記分割アーキテクチャは、
    前記２以上の特徴抽出層のそれぞれに対応する畳み込みノードを含む畳み込みサブアーキテクチャ（ここで、前記畳み込みノードのそれぞれは、それに対応する特徴抽出層から入力する特徴マップに対する畳み込みまたは２以上の互いに異なる畳み込みを行う）と、
    前記畳み込みサブアーキテクチャで生成する畳み込み結果に基づいて、パッチのうち疾患が存在する領域を特定する分割サブアーキテクチャと、を含む、請求項６に記載の方法。
  8. 前記疾患は、
    前立腺癌であることを特徴とする、請求項１記載の方法。
  9. データ処理装置にインストールされ、請求項１ないし請求項８のいずれか一項に記載の方法を行うためのコンピュータ読み取り可能な媒体に記録された、コンピュータプログラム。
  10. ニューラルネットワークを用いた診断システムであって、
    プロセッサと、コンピュータプログラムを格納するためのメモリと、を含み、
    前記コンピュータプログラムは、前記プロセッサによって行われる場合、前記ニューラルネットワークを用いた診断システムが請求項１ないし請求項８のいずれか一項に記載の方法を行うようにする、ニューラルネットワークを用いた診断システム。
  11. 生体画像を用いて所定の疾患に関する診断結果を予測するための診断ニューラルネットワークを格納する記憶モジュールと、
    複数の訓練用生体画像（ここで、前記複数の訓練用生体画像のそれぞれには、それに対応する前記疾患に対する診断結果がラベル付けされている）を取得する取得モジュールと、
    前記複数の訓練用生体画像を用いて、前記診断ニューラルネットワークを訓練する学習モジュールと、
    を含み、
    前記学習モジュールは、前記複数の訓練用生体画像のそれぞれに対して、
    （ａ）前記訓練用生体画像に互いに異なる特性を有するノイズを挿入して、前記訓練用生体画像に対応するＫ個（ここで、Ｋは２以上の整数）のノイズ挿入画像を生成するステップと、
    （ｂ）前記訓練用生体画像に対応するＫ個のノイズ挿入画像を前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を行う、ニューラルネットワークを用いた診断システム。
  12. 前記（ｂ）ステップは、
    前記訓練用生体画像に対応するＫ個のノイズ挿入画像をすべて連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）して、前記訓練用生体画像に対応する１つの訓練データを生成するステップ（ここで、前記訓練用生体画像に対応する訓練データは、前記訓練用生体画像に対する診断結果にラベル付けされる）と、
    前記訓練用生体画像に対応する訓練データを前記診断ニューラルネットワークに入力して前記診断ニューラルネットワークを訓練するステップと、を含む、請求項１１に記載のニューラルネットワークを用いた診断システム。
  13. 画像センサーにより連続撮影されたＫ個の診断対象の生体画像を取得し、
    前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して、疾患の診断結果を予測する診断モジュールをさらに含む、請求項１１に記載のニューラルネットワークを用いた診断システム。
  14. 前記診断モジュールは、
    前記Ｋ個の診断対象の生体画像に基づいて、前記画像センサーが移動中であるか否かを判断し、
    前記画像センサーが移動中でないと判断された場合、前記Ｋ個の診断対象の生体画像を前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測する、請求項１３に記載のニューラルネットワークを用いた診断システム。
  15. 画像センサーにより連続撮影されたＫ個の診断対象の生体画像を取得し、
    前記Ｋ個の診断対象の生体画像をすべて連結して１つの診断対象データを生成し、
    前記診断対象データを前記診断ニューラルネットワークに入力して前記疾患に対する診断結果を予測する診断モジュールをさらに含む、請求項１２に記載のニューラルネットワークを利用した診断システム。

JP2023502694A 2020-07-23 2020-07-23 多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム Pending JP2023535144A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/009720 WO2022019355A1 (ko) 2020-07-23 2020-07-23 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Publications (1)

Publication Number Publication Date
JP2023535144A true JP2023535144A (ja) 2023-08-16

Family

ID=79728753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023502694A Pending JP2023535144A (ja) 2020-07-23 2020-07-23 多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム

Country Status (5)

Country Link
US (1) US20230289957A1 (ja)
EP (1) EP4170677A4 (ja)
JP (1) JP2023535144A (ja)
CN (1) CN116114027A (ja)
WO (1) WO2022019355A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115831356B (zh) * 2023-02-20 2024-02-27 中国海洋大学 一种基于人工智能算法的辅助预测诊断方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR101898575B1 (ko) * 2018-01-18 2018-09-13 주식회사 뷰노 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치
KR101919866B1 (ko) * 2018-02-22 2018-11-19 주식회사 뷰노 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
US20210018742A1 (en) * 2018-04-12 2021-01-21 Google Llc Augmented reality microscope for pathology with overlay of quantitative biomarker data
KR102174379B1 (ko) * 2018-08-27 2020-11-04 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102226897B1 (ko) * 2019-01-25 2021-03-11 주식회사 딥바이오 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
CN110633758A (zh) * 2019-09-20 2019-12-31 四川长虹电器股份有限公司 针对小样本或样本不平衡的癌症区域检测定位的方法

Also Published As

Publication number Publication date
EP4170677A4 (en) 2024-03-27
EP4170677A1 (en) 2023-04-26
US20230289957A1 (en) 2023-09-14
CN116114027A (zh) 2023-05-12
WO2022019355A1 (ko) 2022-01-27

Similar Documents

Publication Publication Date Title
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
JP7216447B2 (ja) セグメンテーションを行うニューラルネットワークを用いた疾病診断システム及び方法
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
US11087883B1 (en) Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测系统
JP7299658B2 (ja) ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法
KR102276545B1 (ko) Ct 영상 기반 부위별 대뇌 피질 수축율 예측 방법 및 장치
WO2021032062A1 (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
CN112740335A (zh) 基于神经网络的疾病诊断系统和方法
Ramamurthy et al. Deep learning based genome analysis and NGS-RNA LL identification with a novel hybrid model
JP2023529584A (ja) 重症度判断用のニューラルネットワーク学習方法及びシステム
Ji Gradient-based interpretation on convolutional neural network for classification of pathological images
JP2023535144A (ja) 多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム
KR102572437B1 (ko) 유전알고리즘에 기초한 최적화된 학습 모델 결정 장치 및 방법
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
CN112567466A (zh) 诊断结果生成系统及其方法
JP7385046B2 (ja) 色斑予測方法、装置、設備及び記憶媒体
KR102446638B1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
Xu et al. An automatic nuclei image segmentation based on multi-scale split-attention U-Net
JP2024504958A (ja) 組織検体画像の生成方法、及びこれを行うコンピューティングシステム
WO2022170203A1 (en) System and method for automatic diagnosis of idiopathic pulmonary fibrosis (ipf) using neural networks
JP7430025B2 (ja) 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム
Vinta et al. Segmentation and Classification of Interstitial Lung Diseases Based on Hybrid Deep Learning Network Model
Rajendran Alzheimer’s Disease Prediction with K-means Clustering and Reinforcement Learning Approach
Khan A Novel Deep Learning-Based Framework for Context-Aware Semantic Segmentation in Medical Imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240430