JP7110240B2 - ニューラルネットワーク分類 - Google Patents

ニューラルネットワーク分類 Download PDF

Info

Publication number
JP7110240B2
JP7110240B2 JP2019565479A JP2019565479A JP7110240B2 JP 7110240 B2 JP7110240 B2 JP 7110240B2 JP 2019565479 A JP2019565479 A JP 2019565479A JP 2019565479 A JP2019565479 A JP 2019565479A JP 7110240 B2 JP7110240 B2 JP 7110240B2
Authority
JP
Japan
Prior art keywords
neural network
output
neural networks
training
neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019565479A
Other languages
English (en)
Other versions
JP2020522794A (ja
Inventor
正治 阪本
宏毅 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/611,065 external-priority patent/US10713783B2/en
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2020522794A publication Critical patent/JP2020522794A/ja
Application granted granted Critical
Publication of JP7110240B2 publication Critical patent/JP7110240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24317Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Description

本発明は、ニューラルネットワーク分類及びその訓練に関する。より詳細には、本発明は、分類のための複数の第1のニューラルネットワークからの出力の合成物(composition)に基づくニューラルネットワークの訓練に関する。
肺がんは、世界的に見ても、がんによる死者の死亡率の中で高い割合を占めている。肺がん死亡率を低減するための最も有望な戦略の1つは、早期発見である。近年、コンピュータ断層撮影(Computed Tomography:CT)機器の性能の向上に伴い、ますます多数の断層撮影画像が(例えばスライス1mm間隔で)撮像されるようになってきており、その結果、放射線科医が結節(腫瘍)を識別する能力が向上している。しかしながら、人間が、1スキャン当たりおよそ300~500スライスになることもある多数の画像を十分に読影する能力には限りがある。コンピュータ支援診断(computer-aided diagnosis:CAD)システムは、CTスキャンの時間効率的な読影という喫緊の課題にとって有望であるが、これらのシステムは、偽陽性を生じることがあり、これが問題となり得る。いくつかの現行の方法は、CTスキャン画像内の肺結節の選択的分類器を伴うカスケード・ニューラルネットワークを使用する。
そのような現行の方法の1つは、アンサンブル学習として知られている。アンサンブル学習において、第1のステップは、モデルとして知られる多数のニューラルネットワークを作成し、次いで生成されたモデルを、投票(voting)又は平均といった技術によって集約することを伴う。あるモデルが、かなりの誤り率を生じるが性能がランダムではない場合、そのモデルを弱と同定することができる。ブースティングは、同じデータセットで各モデルを訓練することによって、アンサンブルをインクリメンタルに構築するが、この場合、インスタンスの重みは、最後の予測の誤りに応じて調節される。より単純な学習器の組合せを用いて予測を向上させることができる。異なる入力領域を異なる学習器でカバーすることができる。
このような現行の別の方法は、マルチビュー畳み込みネットワークの使用を伴う。例えば、コンピュータ断層撮影を通じて生成された3Dボリュームから、異なる平面の多数の2D画像を抽出することができる。畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)の各々は、特定のビューから抽出された2D画像のうちの1つをストリーム処理する。CNNのすべての出力が融合され、結節確率が計算される。
選択的分類器を伴うカスケード・ニューラルネットワークを用いるこれらの現行の方法は、CTスキャン画像における肺結節検出の偽陽性を減らすことができる。しかしながら、モデルを用いた性能向上の余地がある。したがって、当該分野において上記課題に対処する必要性がある。
本発明の目的は、ニューラルネットワーク分類及びその訓練をする方法、コンピュータ可読媒体、コンピュータプログラム、及びシステムを提供することである。
本発明の第1の態様によれば、複数の第1のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、複数の第1のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、複数のサンプルのうちの1つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの1つを入力することに応答して対応する第1のニューラルネットワークから出力される、複数の出力値セットを取得することと、第2のニューラルネットワークに複数の出力値セットを入力することと、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第2のニューラルネットワークを訓練することと、を含む方法が提供される。第1の態様によれば、この方法は、適用可能な状況における偽陽性の低減を向上させることができる。第1の態様はまた、この方法を実装するためのプログラム、このプログラムを実行するプロセッサ、及びこの方法を行う装置を含むこともできる。
本発明の第2の態様によれば、第1の態様の方法であって、複数の第1のニューラルネットワークをカスケード畳み込みニューラルネットワーク(CNN)から導出することをさらに含む方法が提供される。第2の態様によれば、この方法は、分類器をカスケード接続すること、そして、そうすることで最終段ニューラルネットワークを先行段の判別結果に基づいて訓練することによって、判別能力を向上させることができる。
本発明の第3の態様によれば、第1の態様の方法であって、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、多段CNNの多分割交差検証を通じて、複数の第1のニューラルネットワークの中の各第1のニューラルネットワークを訓練することを含む方法が提供される。第3の態様によれば、複数の第1のニューラルネットワークは、期待結果を正しく出力する、より均衡のとれた能力を有することができる。
本発明の第4の態様によれば、第1の態様の方法であって、各サンプルは、複数の態様を含み、各態様は、複数の第1のニューラルネットワークのうちの1つに対応し、複数の第1のニューラルネットワークの中の各第1のニューラルネットワークは、複数の態様の中の対応する態様を入力することによって訓練される方法が提供される。第4の態様によれば、各第1のニューラルネットワークは、結果に影響を及ぼし得るそれぞれの態様の微妙さに対して敏感になることができ、適用可能な状況における偽陽性の低減を向上させる。
本発明の第5の態様によれば、第1の態様の方法であって、第2のニューラルネットワークを、第2のニューラルネットワークの訓練の結果である第2の重み値セットとして記録することをさらに含む方法が提供される。第5の態様によれば、結果として得られるニューラルネットワークの合成物を、既に訓練された、分類のための使用準備ができた形態で配布することができる。第5の態様はまた、各第1のニューラルネットワークを第1の重み値セットとして格納して複数の第1のニューラルネットワークを格納するとともに、第2のニューラルネットワークを第2の重み値セットとして格納する、コンピュータ可読媒体を含む、コンピュータプログラム製品を含むこともできる。
本発明の第6の実施形態によれば、第1の態様の方法であって、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、複数の第2のニューラルネットワークを訓練することであって、各第2のニューラルネットワークには、対応する複数の第1のニューラルネットワークからの出力値セットが入力される、複数の第2のニューラルネットワークを訓練することと、複数の第2のニューラルネットワークからのサンプルに対応する出力を入力することに応答して各サンプルに対応する期待結果を出力するように、第3のニューラルネットワークを訓練することと、をさらに含む方法が提供される。第6の態様によれば、合成物の付加的な層が、適用可能な状況における偽陽性の低減を向上させることができる。
本発明の第7の態様によれば、複数の第1のニューラルネットワークの各々にサンプルを入力することと、複数の第1のニューラルネットワークから出力値セットを取得することであって、出力値セットは、サンプルに対応する複数の出力値を含み、各出力値は、サンプルを入力することに応答して対応する第1のニューラルネットワークから出力される、出力値セットを取得することと、第2のニューラルネットワークに出力値セットを入力することと、出力値セットを入力することに応答してサンプルに対応する結果を取得することと、結果を出力することと、を含む方法が提供される。第7の態様によれば、訓練された第1及び第2のニューラルネットワークを用いて、サンプルが結節を含んでいるか否かといった分類のような、未知結果を判断することができる。
1つの態様から見て、本発明は、複数の第1のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、複数の第1のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、複数のサンプルのうちの1つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの1つを入力することに応答して対応する第1のニューラルネットワークから出力される、複数の出力値セットを取得することと、第2のニューラルネットワークに複数の出力値セットを入力することと、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第2のニューラルネットワークを訓練することと、を含む、ニューラルネットワークのための方法を提供する。
さらなる態様から見て、本発明は、複数の第1のニューラルネットワークの各々にサンプルを入力することと、複数の第1のニューラルネットワークから出力値セットを取得することであって、出力値セットは、サンプルに対応する複数の出力値を含み、各出力値は、サンプルを入力することに応答して対応する第1のニューラルネットワークから出力される、出力値セットを取得することと、第2のニューラルネットワークに出力値セットを入力することと、出力値セットを入力することに応答してサンプルに対応する結果を取得することと、結果を出力することと、を含む方法を提供する。
さらなる態様から見て、本発明は、本発明のステップを行うための方法を行うために処理回路によって実行される命令を格納する、処理回路によって可読のコンピュータ可読媒体を含む、ニューラルネットワークのためのコンピュータプログラム製品を提供する。
さらなる態様から見て、本発明は、コンピュータ可読媒体に格納され、デジタルコンピュータの内部メモリにロード可能なコンピュータプログラムであって、プログラムがコンピュータ上で実行されるとき本発明のステップを行うためのソフトウェアコード部分を含む、コンピュータプログラムを提供する。
さらなる態様から見て、本発明は、プロセッサと、具体化されたプログラム命令を有する1つ又は複数のコンピュータ可読ストレージ媒体と、を含むシステムであって、プログラム命令は、プロセッサによって実行可能であり、複数の第1のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、複数の第1のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、複数のサンプルのうちの1つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの1つを入力することに応答して対応する第1のニューラルネットワークから出力される、複数の出力値セットを取得することと、第2のニューラルネットワークに複数の出力値セットを入力することと、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第2のニューラルネットワークを訓練することと、を含む動作をプロセッサに行わせる、システムを提供する。
発明の概要の節は、必ずしも本発明の実施形態のすべての必要な特徴を記載しているわけではない。本発明は、上記特徴のサブコンビネーションであってもよい。
ここで本発明の実施形態を、添付の図面を参照して、例示のみの目的で説明する。
本発明の実施形態による、ニューラルネットワーク分類及びその訓練のための装置を示す。 本発明の実施形態による、第1のニューラルネットワーク及び第2のニューラルネットワークの合成物を示す。 本発明の実施形態による、第1のニューラルネットワーク及び第2のニューラルネットワークの合成物を示す。 本発明の実施形態による、ニューラルネットワーク分類及びその訓練のための動作フローを示す。 本発明の実施形態による、複数の第1のニューラルネットワークを訓練するための動作フローを示す。 本発明の実施形態による、第2のニューラルネットワークを訓練するための動作フローを示す。 本発明の実施形態による、サンプルのニューラルネットワーク分類のための動作フローを示す。 本発明の実施形態による、クラウドサービス利用のために構成された、コンピュータの例示的なハードウェア構成を示す。
以下、本発明の例示的な実施形態を説明する。例示的な実施形態は、特許請求の範囲による本発明を制限するものではなく、実施形態において説明される特徴の組み合わせは、本発明にとって必ずしも必須ではない。
本発明の実施形態は、血管又は肋骨のような明らかに結節でないものをフィルタ除去するための選択的分類器として機能するCNNを含むカスケード・ニューラルネットワーク、次いで結節である確率を計算するための均衡データセット(balanced data set)で訓練されたCNNを含むことができる。
いくつかの実施形態において、S-Sを含むカスケードCNNは、結節でないものをフィルタ除去するための選択的分類器として機能することができる。さらなるカスケードCNNであるSn+1は、結節確率を取得することができる。そのため、N分割交差検証を通じてn*N個のモデルを導出することができる。例えば、5段カスケードCNN(S-S)から10分割交差検証により50個のモデルを導出することができる。導出されたモデルに、結節候補画像、又は3D画像ボリュームから抽出した画像を入力することにより、長さがn*Nに等しい結節確率ベクトルを得ることができる。導出されたモデルから得られた結節確率ベクトルを用いることによって、別のニューラルネットワークモデルを訓練することができる。このニューラルネットワークモデルは、導出されたモデルから生成される結節確率のパターンを学習することによって、より優れた性能を提供することができる。
図1は、本発明の実施形態による、ニューラルネットワーク分類及びその訓練のための装置100を示す。装置100は、オンプレミス・アプリケーションを実行し、これを用いるクライアントコンピュータをホストする、サーバコンピュータ又はメインフレームコンピュータのようなホスト・コンピュータとすることができる。装置100は、2つ以上のコンピュータを含むコンピュータシステムとすることができる。あるいは、装置100は、装置100のユーザのためのアプリケーションを実行するパーソナルコンピュータとすることができる。
装置100は、導出セクション102、入力セクション103、取得セクション105、訓練セクション106、及び出力セクション108を含むことができる。装置100は、コンピュータ可読媒体109、第2のニューラルネットワーク110、及び複数の第1のニューラルネットワーク112と通信することができる。装置100は、プロセッサによって実行可能であってプロセッサに種々のセクションの動作を実行させるプログラム命令をまとめて格納する1つ又は複数のコンピュータ可読ストレージ媒体を含む、コンピュータプログラム製品とすることもできる。装置100は、代替的に、アナログ又はデジタルのプログラム可能回路、又はそれらの組合せとすることもできる。装置100は、通信を介して相互作用する、物理的に分離したストレージ又は回路で構成することもできる。
複数の第1のニューラルネットワーク112の各第1のニューラルネットワーク113は、未処理サンプル、又は他の任意の入力の分類の確率を出力するように構成された、ニューラルネットワークとすることができる。第2のニューラルネットワーク110は、出力された分類の確率の合成物に基づいて、分類の確率のような入力の分類に関連した値を出力するように構成された、ニューラルネットワークとすることができる。これらのニューラルネットワークは、ローカルに格納することもでき又は遠隔に格納することもできる。第1のニューラルネットワーク112及び第2のニューラルネットワーク110は、フィードフォワード・ニューラルネットワーク、回帰ニューラルネットワーク、モジュラー・ニューラルネットワーク、動的ニューラルネットワーク、カスケード・ニューラルネットワークなどを任意の組合せで含むがそれらに限定されない、任意の型式のニューラルネットワークとすることができる。いくつかの実施形態において、第1のニューラルネットワーク112及び第2のニューラルネットワーク110は、装置100において実行されるソフトウェアプログラムによって実現することができ、他の実施形態においては、第1のニューラルネットワーク112及び第2のニューラルネットワーク110は、物理的なニューラルネットワーク等として実現される、装置100と通信する1つ又は複数のコンピュータによって実現することができる。
導出セクション102は、第1のニューラルネットワーク113のような、未処理サンプルの分類の確率を出力するように構成されたニューラルネットワークを導出することができる。いくつかの実施形態において、導出セクション102は、カスケード畳み込みニューラルネットワーク(CNN)から複数の第1のニューラルネットワーク112を導出するように構成することができる。他の実施形態において、導出セクション102は、初期の第1のニューラルネットワークのハイパーパラメータを調節してアンサンブルを作成することによって、複数の第1のニューラルネットワーク112を導出するように構成することができる。このような調節は、ランダムであってもよく、又は、訓練中の結果のような結果に基づいて決定されてもよい。
入力セクション103は、サンプル、確率、又は他のデータ形態を、第1のニューラルネットワーク113及び第2のニューラルネットワーク110のようなニューラルネットワークに入力することができる。いくつかの実施形態において、入力セクション103は、複数のサンプルを含む訓練データセットを複数の第1のニューラルネットワーク112の各々に入力するように構成することができ、また、複数の出力値セットを第2のニューラルネットワーク110に入力するように構成することができる。入力セクション103は、メモリ、コンピュータ、サーバ等と通信することができ、そこからサンプル、確率、及び他のデータ形態を受け取る。サンプルの例は、3D画像ボリューム、2D画像、診断の収集物等を含むことができる。入力セクション103は、取得セクション105から確率を受け取ることができる。
取得セクション105は、第1のニューラルネットワーク113及び第2のニューラルネットワーク110のようなニューラルネットワークから出力を取得することができる。いくつかの実施形態において、取得セクション105は、複数の第1のニューラルネットワーク112から複数の出力値セットを取得するように構成することができ、各出力値セットは、複数のサンプルのうちの1つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの1つを入力することに応答して、対応する第1のニューラルネットワークから出力される。取得セクション105は、複数の第1のニューラルネットワーク112からの出力値を入力セクション103に送ることができるので、出力値は、出力値セットとして第2のニューラルネットワーク110に入力されることができる。
訓練セクション106は、第1のニューラルネットワーク113及び第2のニューラルネットワーク110のようなニューラルネットワークを訓練することができる。いくつかの実施形態において、訓練セクション106は、複数の第1のニューラルネットワークの各第1のニューラルネットワークを訓練するように構成することができる。このような訓練は、ニューラルネットワークが期待結果を正しく出力する能力を向上させるための、パラメータの調節を含むことができる。いくつかの実施形態において、訓練セクション106は、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第2のニューラルネットワークを訓練するように構成することができる。これら及び他の実施形態において、訓練セクション106は、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第1のニューラルネットワークを訓練するように、さらに構成することができる。訓練セクション106による訓練は、ハイパーパラメータの調節、又は、訓練のプロセス内でのニューラルネットワークの導出を含む、他のより複雑な訓練形態を含むことができる。いくつかの実施形態において、訓練セクション106は、多段CNNを多分割交差検証するように、さらに構成される。訓練セクション106は、訓練中、導出セクション102と協働して動作することができる。
出力セクション108は、取得セクション105によって取得された確率及び結果を出力することができ、又はニューラルネットワークを重み値セットとして記録することができる。いくつかの実施形態において、出力セクション108は、第2のニューラルネットワークを、第2のニューラルネットワークの訓練の結果である第2の重み値セットとして記録するように構成することができる。他の実施形態において、出力セクション108は、第2のニューラルネットワークの結果を出力するように構成することができる。
コンピュータ可読媒体109は、装置100又は個別のセクションが使用するためのデータを格納することができる。いくつかの実施形態において、コンピュータ可読媒体109は、複数の第1のニューラルネットワーク及び第2のニューラルネットワークを格納することができ、各第1のニューラルネットワークは、第1の重み値セットとして格納され、第2のニューラルネットワークは、第2の重み値セットとして格納される。他の実施形態において、コンピュータ可読媒体109は、サンプル、出力値、結果、及び装置100にとって有用な他の任意のデータを格納することができる。コンピュータ可読媒体109は、例えばネットワークを介したサーバを通じて、装置100のセクションと直接的又は間接的に通信することができる。
図2は、本発明の実施形態による、第1のニューラルネットワーク及び第2のニューラルネットワークの合成物を示す。この合成物は、少なくとも第1のニューラルネットワーク213A、213B、213C、及び213Dを含む複数の第1のニューラルネットワーク212と、第2のニューラルネットワーク210とを含む。具体的には、図2は、サンプル215が複数の第1のニューラルネットワーク213に入力され、第1のニューラルネットワーク213の出力218が、第2のニューラルネットワーク210に入力され、第2のニューラルネットワーク210の出力がそこから取得されるときの、データの流れを示す。
この実施形態において、各第1のニューラルネットワーク(213A-213D)は、同じ入力、すなわちサンプル215を受けことができる。これら及び他の実施形態において、複数の第1のニューラルネットワークの中の各第1のニューラルネットワークを訓練することは、複数のサンプルの中の各サンプルを入力することを含む。
各第1のニューラルネットワーク(213A-213D)の入力ノードの数は、サンプル215からのデータの量に一致するように構成することができるので、この実施形態において複数の第1のニューラルネットワーク212間で一様である。いくつかの実施形態において、複数の第1のニューラルネットワーク212の中の各第1のニューラルネットワーク(213A-213D)は、第1のネットワーク構造を有することができる。他の実施形態において、複数の第1のニューラルネットワーク212の中の少なくとも1つの第1のニューラルネットワークは、第1のネットワーク構造を有することができ、複数の第1のニューラルネットワーク212の中の少なくとも1つの第1のニューラルネットワークは、第2のネットワーク構造を有することができる。各第1のニューラルネットワーク(213A-213D)の出力ノードの数は、1つ、例えばサンプルが特定の分類に入る単一の確率についての出力ノードとすることができる。
第2のニューラルネットワーク210の入力ノードの数は、複数のニューラルネットワーク212の中の第1のニューラルネットワークの数と一致させることができる。このようにして、各出力(219A-219D)を、第2のニューラルネットワーク210の一意のノードに入力することができる。多くの実施形態において、第2のニューラルネットワーク210の入力ノードは、同じ第1のニューラルネットワークからの出力を一貫して受ける。このようにして、第2のニューラルネットワーク210は、結果に影響を及ぼし得る、各第1のニューラルネットワーク(213A-213D)の習慣(habit)を学習することができ、適用可能な状況における偽陽性の低減を向上させる。第2のニューラルネットワークは、2つの出力ノードを有することができ、例えば、1つの出力ノードは、サンプルが特定の分類に入る確率のための出力ノードであり、別の出力ノードは、サンプルが特定の分類に入らない確率のための出力ノードであり、特定の分類に入らない確率は、通常、1から上記1つの出力ノードの確率を引いたものである。
図3は、本発明の実施形態による、第1のニューラルネットワーク及び第2のニューラルネットワークの合成物を示す。この合成物は、少なくとも第1のニューラルネットワーク213A、213B、213C、及び213Dを含む複数の第1のニューラルネットワーク212と、第2のニューラルネットワーク210とを含む。具体的には、図3は、サンプル215が複数の第1のニューラルネットワーク213に入力され、第1のニューラルネットワーク213の出力218が、第2のニューラルネットワーク210に入力され、第2のニューラルネットワーク210の出力がそこから取得されるときの、データの流れを示す。
サンプル215は、態様216A、態様216B、態様216C、及び態様216Dのような、サンプル215から抽出されるか又はそれ以外の方法で取得することができる多数の態様を含むことができる。いくつかの実施形態において、サンプル215は、複数の態様を含むことができ、各態様は、複数の第1のニューラルネットワーク212のうちの1つに対応する。これら及び他の実施形態において、複数の第1のニューラルネットワーク212の中の各第1のニューラルネットワーク(213A-213D)を訓練することは、複数の態様(216A-216D)の中の対応する態様を入力することを含むことができる。例えば、態様216Aは、第1のニューラルネットワーク213Aに入力される。いくつかの実施形態において、サンプルは、3D画像とすることができ、各態様は、3D画像内の平面の画像である。これら及び他の実施形態において、各第1のニューラルネットワーク(213A-213D)は、3D画像ボリュームからの特定の平面の画像のような特定の型式の態様を受け取るように構成され又は訓練されることができる。このようにして、各第1のニューラルネットワーク(213A-213D)は、結果に影響を及ぼし得るそれぞれの態様の微妙さに対して敏感になることができ、適用可能な状況における偽陽性の低減を向上させる。他の実施形態において、サンプルは、生物とすることができ、各態様は、その生物の診断情報である。
各第1のニューラルネットワーク(213A-213D)の入力ノードの数は、各態様(216A-216D)からのデータの量に一致するように構成することができる。この量は、複数の第1のニューラルネットワーク212間で一様とすることができ、これは各態様が3D画像内の平面の画像である場合の実施形態において適切であり得る。しかしながら、この量は、複数の第1のニューラルネットワーク212間で異なっていてもよく、これは各態様が生物の診断情報である場合に適切であり得る。より広く言うと、いくつかの実施形態において、複数の第1のニューラルネットワーク212の中の各第1のニューラルネットワーク(213A-213D)は、より広く言えば第1のネットワーク構造を有することができる。他の実施形態において、複数の第1のニューラルネットワーク212の中の少なくとも1つの第1のニューラルネットワークは、第1のネットワーク構造を有することができ、複数の第1のニューラルネットワーク212の中の少なくとも1つの第1のニューラルネットワークは、第2のネットワーク構造を有することができる。各第1のニューラルネットワーク(213A-213D)の出力ノードの数は、1つ、例えばサンプルが特定の分類に入る単一の確率についての出力ノードとすることができる。
図4は、本発明の実施形態による、ニューラルネットワーク分類及びその訓練のための動作フローを示す。この動作フローは、複数の第1のニューラルネットワーク212と第2のニューラルネットワーク210との合成物の場合のような、ニューラルネットワーク分類及びその訓練の方法を提供することができる。動作は、装置100のような装置によって行うことができる。
S320において、導出セクション102のような導出セクションは、カスケード・ネットワークから、複数の第1のニューラルネットワーク212のような複数の第1のニューラルネットワークを導出することができる。いくつかの実施形態において、これは、カスケード畳み込みニューラルネットワーク(CNN)から複数の第1のニューラルネットワークを導出することを含むことができる。例えば、導出セクションは、10個の5段カスケード・ニューラルネットワークで開始することができる。この例において、導出セクションは、次いで50個の第1のニューラルネットワークを生じることができる。
S330において、訓練セクション106のような訓練セクションは、複数の第1のニューラルネットワークの各第1のニューラルネットワークを訓練することができる。いくつかの実施形態において、これは、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第1のニューラルネットワークを訓練することを含むことができる。第1のニューラルネットワークがカスケードCNNから導出される実施形態において、複数の第1のニューラルネットワークの中の各第1のニューラルネットワークを訓練することは、多段CNNを多分割交差検証することを含むことができる。このような実施形態において、カスケードCNNの各段で確率ベクトルの形式の出力を取得することができ、ここで、分類器をカスケード接続すること、そして、そうすることで第n段の判別結果に基づいて第(n+1)段のニューラルネットワークを訓練することによって判別能力を向上させると同時に、ニューラルネットワークを用いて第1のニューラルネットワーク、又はカスケード分類器を作成又は導出することができる。いくつかの実施形態において、訓練セクションは、導出プロセスの一部として第1のニューラルネットワークを訓練し、ここで10個のニューラルネットワークの各々が、異なる訓練データのセットで訓練される。
S340において、訓練セクションは、第2のニューラルネットワークを訓練する。いくつかの実施形態において、訓練セクションは、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第2のニューラルネットワークを訓練することができる。
S350において、出力セクション108のような出力セクションは、第2のニューラルネットワークを第2の重み値セットとして記録することができる。いくつかの実施形態において、第2の重み値セットは、第2のニューラルネットワークの訓練(S340)の結果とすることができる。これら及び他の実施形態において、第1のニューラルネットワークもまた、第1の重み値セットとして記録することができる。例えば、第1及び第2の重み値セットを、コンピュータ可読媒体に記録することができる。コンピュータ可読媒体は、次いで、結節が存在するか否かに基づく3D画像ボリュームの分類のような分類について訓練されたニューラルネットワークから利益を受けることができる者に配布されてもよい。いくつかの実施形態において、出力セクションは、第1及び第2のニューラルネットワークの構造に関する情報を記録することもできる。
代替的な実施形態において、動作フローは、複数の第2のニューラルネットワークを訓練することを伴う場合もある。このような実施形態において、各第2のニューラルネットワークは、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように訓練されることができ、各第2のニューラルネットワークには、対応する複数の第1のニューラルネットワークからの出力値セットが入力される。このような実施形態において、複数の第1のニューラルネットワークは、各第2のニューラルネットワークに対して一意であってもよく、又は同じであってもよい。同様に、複数の第1のニューラルネットワークは、サンプルの一意の態様、サンプルの同じ態様、又はサンプルの態様の異なる組み合わせを受け取ることができる。このような実施形態は、複数の第2のニューラルネットワークからのサンプルに対応する出力を入力することに応答して各サンプルに対応する期待結果を出力するように、第3のニューラルネットワークを訓練することを伴うこともできる。このような合成物の付加的な層は、適用可能な状況における偽陽性の低減を向上させることができる。
図5は、本発明の実施形態による、複数の第1のニューラルネットワークを訓練するための動作フローを示す。この動作フローは、複数の第1のニューラルネットワーク212のような分類のためのニューラルネットワークを訓練する方法を提供することができる。動作は、装置100のような装置によって行うことができる。
S431において、入力セクション103のような入力セクションは、サンプル215のような訓練サンプルを、第1のニューラルネットワーク213Aのような第1のニューラルネットワークに入力することができる。訓練の目的で、サンプルは、期待結果である既知結果に関連付けられている。いくつかの実施形態において、態様216Aのようなサンプルの態様が、第1のニューラルネットワークに入力される。
S432において、取得セクション105のような取得セクションは、第1のニューラルネットワークから出力値を取得することができる。例えば、取得セクションは、ひとたびサンプルが第1のニューラルネットワークによって処理されると、第1のニューラルネットワークの出力ノードを読み出すことができる。
S434において、訓練セクション106のような訓練セクションは、第1のニューラルネットワークのパラメータを更新することができる。いくつかの実施形態において、複数の第1のニューラルネットワークの中の各第1のニューラルネットワークを訓練することは、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第1のニューラルネットワークを訓練することを含む。換言すれば、パラメータを更新して、第1のニューラルネットワークが期待結果を正しく出力する能力を向上させることができる。
S435において、訓練セクションは、停止条件、例えば最後のサンプルに達したこと、許容可能な能力に達したこと等に適合したかどうか判断する。停止条件に適合していない場合、フローはS436に進み、入力セクションは、次のサンプルを準備し及び/又は獲得する。停止条件に適合した場合、フローはS438に進む。
S438において、訓練セクションは、最後の第1のニューラルネットワークが訓練されたかどうか判断する。訓練すべき第1のニューラルネットワークがまだある場合、フローはS439に進み、入力セクションは、第1のニューラルネットワーク213Bのような次の第1のニューラルネットワークに入力される第1の訓練サンプルを準備し又は獲得する。最後の第1のニューラルネットワークが訓練された場合、フローは終了する。
図6は、本発明の実施形態による、第2のニューラルネットワークを訓練するための動作フローを示す。この動作フローは、第2のニューラルネットワーク210のような分類のためのニューラルネットワークを訓練する方法を提供することができる。動作は、装置100のような装置によって行うことができる。このプロセスは第2のニューラルネットワークを訓練するために用いることができるが、第1のニューラルネットワークのみがテストされる。
S541において、入力セクション103のような入力セクションは、サンプル215のような訓練サンプルを、複数の第1のニューラルネットワーク212のような複数の第1のニューラルネットワークに入力することができる。このフローは、訓練データセットのすべてのサンプルにわたって繰り返されるので、入力セクションは、複数のサンプルを含む訓練データセットを、複数の第1のニューラルネットワークの各々に入力することになる。
S542において、取得セクション105のような取得セクションは、複数の第1のニューラルネットワークから出力値を取得することができる。このフローは、訓練データセットのすべてのサンプルにわたって繰り返されるので、入力セクションは、複数の出力値セットを複数の第1のニューラルネットワークから取得することになり、各出力値セットは、複数のサンプルのうちの1つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの1つを入力することに応答して、対応する第1のニューラルネットワークから出力される。動作S541及びS542は、第1のニューラルネットワークをテストする目的のためのものとすることができる。そのため、第1のニューラルネットワークのパラメータは、図6の動作フロー中に更新されなくてもよい。
S544において、入力セクションは、出力値セットを第2のニューラルネットワークに入力することができる。このフローは、訓練データセットのすべてのサンプルにわたって繰り返されるので、入力セクションは、複数の出力値セットを第2のニューラルネットワークに入力することになる。
S545において、取得セクションは、第2のニューラルネットワークから結果を得ることができる。例えば、取得セクションは、ひとたびサンプルが第1のニューラルネットワークによって処理されると、第1のニューラルネットワークの出力ノードを読み出すことができる。このフローは、訓練データセットのすべてのサンプルにわたって繰り返されるので、取得セクションは、第2のニューラルネットワークからの結果のすべてを取得することになる。
S546において、訓練セクション106のような訓練セクションは、第2のニューラルネットワークのパラメータを更新することができる。いくつかの実施形態において、第2のニューラルネットワークを訓練することは、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第2のニューラルネットワークを訓練することを含む。換言すれば、パラメータを更新して、第2のニューラルネットワークが期待結果を正しく出力する能力を向上させることができる。
S548において、訓練セクションは、停止条件、例えば最後のサンプルに達したこと、許容可能な能力に達したこと等に適合したかどうか判断する。停止条件に適合していない場合、フローはS549に進み、入力セクションは、次のサンプルを準備し及び/又は獲得する。停止条件に適合した場合、フローは停止する。
図7は、本発明の実施形態による、サンプル215のようなサンプルのニューラルネットワーク分類のための動作フローを示す。この動作フローは、第2のニューラルネットワーク210のような分類のためのニューラルネットワークを訓練する方法を提供することができる。図7の動作フローは、未知結果を有するサンプルの分類のために用いることができる。そのため、図7の動作フローは、ニューラルネットワークの訓練がすでに完了している場合に有効であり得る。動作は、装置100のような装置によって行うことができる。
S641において、入力セクション103のような入力セクションは、サンプル215のようなサンプルを、複数のニューラルネットワーク212のような複数の第1のニューラルネットワークに入力することができる。例えば、サンプルは、がんを有することが疑われる患者の3D画像ボリュームとすることができる。
S642において、取得セクション105のような取得セクションは、複数の第1のニューラルネットワークから出力値セット218のような出力値セットを取得することができ、出力値セットは、サンプルに対応する複数の出力値を含み、出力値219Aのような各出力値は、サンプルを入力することに応答して、ニューラルネットワーク213Aのような対応する第1のニューラルネットワークから出力される。例えば、取得セクションは、複数の第1のニューラルネットワークの各々から、サンプル中に結節が存在するかどうかの確率、又はその態様を取得することができる。
S644において、入力セクションは、出力値セットを第2のニューラルネットワークに入力することができる。例えば、入力セクションは、複数の第1のニューラルネットワークによって出力される各確率を、合成物、又はベクトルとして入力することができる。いくつかの実施形態において、対応する第1のニューラルネットワークに関して、合成物又はベクトルの次数(order)は、第2のニューラルネットワークが訓練された次数と同じである。そのようにして、第2のニューラルネットワークが学習したあらゆる第1のニューラルネットワークに関するあらゆる行動的習慣が、有効に利用される。
S645において、取得セクションは、出力値セットを入力することに応答して、サンプルに対応する結果を取得することができる。例えば、取得セクションは、ひとたび出力値セットが第1のニューラルネットワークによって処理されると、第2のニューラルネットワークの出力ノードを読み出すことができる。第2のニューラルネットワークの出力もまた、サンプルが結節を有するかどうかの確率である。この確率は、第1のニューラルネットワークの確率のすべてに取って代わることが意図され、最終確率として成立し、第1のニューラルネットワークの確率の中の別のファクタとなることは意図されない。
S652において、出力セクション108のような出力セクションは、結果を出力することができる。例えば、サンプルが、疑わしい結節の3D画像ボリュームである場合、結果は、疑わしい結節が実際の結節である確率とすることができる。出力セクションは、第1のニューラルネットワークのいずれの確率も出力せずに、第2のニューラルネットワークから出力された確率のみを出力することができる。出力セクションは、さらに、第1のニューラルネットワークから出力された確率を却下、棄却等することができる。
少なくとも上述の実施形態は、分類の際の偽陽性の低減を向上させることができる。同じ訓練及びテストサンプルを用いるマルチビュー畳み込みネットワークと比較すると、上述の実施形態は、マルチビュー畳み込みネットワークよりもずっと低い誤り率で実行された。より詳細には、上述の実施形態の誤り率は1.3%であったのに対し、マルチビュー畳み込みネットワークの誤り率は9.4%であった。
図8は、本発明の実施形態による、上述の動作を行うように構成されたコンピュータの例示的なハードウェア構成を示す。コンピュータ700にインストールされたプログラムは、本発明の実施形態の装置又はその1つ若しくは複数のセクション(モジュール、コンポーネント、要素など)としてコンピュータ700を機能させる、若しくはそれらに関連付けられた動作をコンピュータ700に行わせる、及び/又は本発明の実施形態のプロセス若しくはそのステップをコンピュータ700に行わせることができる。このようなプログラムは、CPU700-12によって実行することができ、フローチャートのブロックの一部又は全部及びその中に記載されたブロック図に関連付けられた特定の動作をコンピュータ700に行わせる。
本実施形態によるコンピュータ700は、CPU700-12、RAM700-14,グラフィック・コントローラ700-16、及びディスプレイ・デバイス700-18を含み、これらはホスト・コントローラ700-10によって相互に接続される。コンピュータ700はまた、通信インタフェース700-22、ハードディスク・ドライブ700-24、DVD-ROMドライブ700-26、及びICカードドライブのような入力/出力ユニットを含み、これらは入力/出力コントローラ700-20を介してホスト・コントローラ700-10に接続される。コンピュータはまた、ROM700-30及びキーボード700-42のようなレガシー入力/出力ユニットを含み、これらは入力/出力チップ700-40を通じて入力/出力コントローラ700-20に接続される。
CPU700-12は、ROM700-30及びRAM700-14に格納されたプログラムに従って動作し、これにより各ユニットを制御する。グラフィック・コントローラ700-16は、RAM700-14内又はそれ自体の中に設けられたフレームバッファ等の上でCPU700-12によって生成された画像データを取得し、この画像データをディスプレイ・デバイス700-18に表示させる。
通信インタフェース700-22は、ネットワーク700-50を介して他の電子装置と通信する。ハードディスク・ドライブ700-24は、コンピュータ700内のCPU700-12によって使用されるプログラム及びデータを格納する。DVD-ROMドライブ700-26は、プログラム又はデータをDVD-ROM700-01から読み出し、RAM700-14を介してハードディスク・ドライブ700-24にプログラム又はデータを提供する。ICカードドライブは、プログラム及びデータをICカードから読み出し、及び/又はプログラム及びデータをICカードに書き込む。
ROM700-30は、起動時にコンピュータ700によって実行されるブートプログラム等、及び/又はコンピュータ700のハードウェアに依存するプログラムを格納する。入力/出力チップ700-40は、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、種々の入力/出力ユニットを入力/出力コントローラ700-20に接続することもできる。
プログラムは、DVD-ROM700-01又はICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み出され、同じくコンピュータ可読媒体の例であるハードディスク・ドライブ700-24、RAM700-14、又はROM700-30にインストールされ、CPU700-12によって実行される。これらのプログラムに記述された情報処理は、コンピュータ700に読み込まれ、プログラムと上記の種々のハードウェアリソースとの間の協働をもたらす。コンピュータ700の使用法に従って動作又は情報の処理を実現することによって、装置又は方法を構築することができる。
例えば、コンピュータ700と外部デバイスとの間で通信が行われる場合、CPU700-12は、RAM700-14にロードされた通信プログラムを実行して、通信プログラムに記述された処理に基づいて、通信インタフェース700-22に通信処理を指令することができる。CPU700-12の制御下にある通信インタフェース700-22は、RAM700-14、ハードディスク・ドライブ700-24、DVD-ROM700-01、又はICカードのような記録媒体内に設けられた送信バッファリング領域に格納された送信データを読み出し、読み出された送信データをネットワーク700-50に送信し、又はネットワーク700-50から受信した受信データを、記録媒体内に設けられた受信バッファリング領域等に書き込む。
さらに、CPU700-12は、ハードディスク・ドライブ700-24、DVD-ROMドライブ700-26(DVD-ROM700-01)、ICカードなどのような外部記録媒体に格納されているファイル又はデータベースのすべて又は必要部分をRAM700-14に読み込ませることができ、RAM700-14上のデータに対して種々の型式の処理を行うことができる。CPU700-12は、次いで、処理されたデータを外部記録媒体に戻して書き込むことができる。
種々の型式のプログラム、データ、テーブル、及びデータベースのような種々の型式の情報を記録媒体に格納して、情報処理を受けさせることができる。CPU700-12は、RAM700-14から読み出したデータに対して、本開示全体を通じて説明されるように及びプログラムの命令シーケンスによって指定されるように、種々の型式の動作、情報の処理、条件判断、条件付き分岐、無条件分岐、情報の検索/置換などを含む種々の型式の処理を行うことができ、結果をRAM700-14に戻して書き込む。さらに、CPU700-12は、記録媒体内のファイル、データなどの中の情報を検索することができる。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体に格納されている場合、CPU700-12は、その第1の属性の属性値が指定されている条件に合致するエントリを複数のエントリの中から検索することができ、エントリ内に格納された第2の属性の属性値を読み出し、それにより所定条件を満たす第1の属性に関連付けられた第2の属性の属性値が得られる。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ700上にある又はその近くにあるコンピュータ可読媒体内に格納することができる。さらに、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に設けられたハードディスク又はRAMをコンピュータ可読媒体として用いることができ、これによりネットワークを介してプログラムがコンピュータ700に提供される。
本発明は、システム、方法、及び/又はコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する1つ又は複数のコンピュータ可読ストレージ媒体を含むことができる。
コンピュータ可読ストレージ媒体は、命令実行デバイスによる使用のために命令を保持及び格納することができる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁気ストレージデバイス、半導体ストレージデバイス、又は上記のものの任意の適切な組合せとすることができるがこれらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュメモリ)、静的ランダム・アクセス・メモリ(SRAM)、ポータブル・コンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多目的ディスク(DVD)、メモリスティック、フロッピーディスク、記録された命令を有するパンチカード若しくは溝内に隆起した構造等の機械式コード化デバイス、及び上記のものの任意の適切な組合せを含む。コンピュータ可読ストレージ媒体は、本明細書で用いられる場合、無線波若しくは他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体を通って伝搬する電磁波(例えば光ファイバケーブルを通る光パルス)、又は電線を通って伝送される電気信号のような一時的な信号自体と解釈すべきではない。
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング/処理デバイスにダウンロードすることも、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク及び/又は無線ネットワークを経由して、外部コンピュータ若しくは外部ストレージデバイスにダウンロードすることもできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及び/又はエッジサーバを含むことができる。各コンピューティング/処理デバイス内のネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング/処理デバイス内のコンピュータ可読ストレージ媒体にストレージのために転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Smalltalk、若しくはC++などのオブジェクト指向プログラミング言語及び「C」プログラミング言語若しくは類似のプログラミング言語のような従来の手続き型プログラミング言語を含む1つ若しくは複数のプログラミング言語の任意の組合せで記述されたソースコード若しくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。後者のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク(LAN)若しくは広域ネットワーク(WAN)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続が行われる場合もある(例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて)。幾つかの実施形態において、例えばプログラム可能論理回路、フィールドプログラム可能ゲートアレイ(FPGA)、又はプログラム可能論理アレイ(PLA)を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することにより、コンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本明細書において、本発明の実施形態による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図及び/又はブロック図を参照して説明される。フローチャート図及び/又はブロック図の各ブロック、並びにフローチャート図及び/又はブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実装することができることが理解されるであろう。
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実装するための手段を作り出すようにすることができる。これらのコンピュータプログラム命令を、コンピュータ、プログラム可能データ処理装置、及び/又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読ストレージ媒体内に格納し、それにより、その中に格納された命令を有するコンピュータ可読媒体が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作の態様を実装する命令を含む製品を含むようにすることもできる。
コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置又は他のデバイス上で行わせてコンピュータ実装のプロセスを生成し、それにより、コンピュータ、他のプログラム可能装置又は他のデバイス上で実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作を実装するようにすることもできる。
図面内のフローチャート及びブロック図は、本開示の種々の実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。幾つかの代替的な実装において、ブロック内に記された機能は、図中に記された順序とは異なる順序で行われることがある。例えば、連続して示された2つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。
ブロック図及び/又はフローチャート図の各ブロック、及びブロック図及び/又はフローチャート図中のブロックの組合せは、指定された機能又は動作を実行する専用ハードウェア・ベースのシステムによって実装することもでき、又は専用ハードウェアとコンピュータ命令との組合せを実行することもできることにも留意されたい。
本発明の実施形態を説明したが、本発明の技術的範囲は上述の実施形態に限定されない。本発明の上述の実施形態に、種々の変更又は改良を加え得ることが当業者には明らかである。また、そうした変更又は改良を加えた実施形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
特許請求の範囲、実施形態、又は図に示される装置、システム、プログラム、及び方法により実施される各プロセスの動作、手順、ステップ、及び段階は、順番が、「に先立って(prior to)」、「より前に(before)」等により示されない限り、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実施することができる。特許請求の範囲、実施形態、又は図において、プロセス・フローが、「最初に(first)」又は「次に(next)」のような語句を用いて説明されたとしても、これは必ずしも、プロセスをこの順序で実施しなければならないことを意味するものではない。
100:装置
110、210:第2のニューラルネットワーク
112、212:複数の第1のニューラルネットワーク
113、213:第1のニューラルネットワーク
215:サンプル
216:態様
218:出力
219:各出力
700:コンピュータ

Claims (13)

  1. プロセッサが、
    複数の分類器をカスケード接続したカスケード畳み込みニューラルネットワーク(CNN)を訓練することであって、前記カスケード畳み込みCNNを多分割交差検証して複数の第1のニューラルネットワークを導出することを含む、訓練することと、
    前記複数の第1のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、前記複数の第1のニューラルネットワークに入力された複数のサンプルのうちの1つに対応する複数の出力値を含み、各出力値は、前記サンプルのうちの1つを入力することに応答して対応する第1のニューラルネットワークから出力される、複数の出力値セットを取得することと、
    第2のニューラルネットワークに前記複数の出力値セットを入力することと、
    対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、前記第2のニューラルネットワークを訓練することと、
    を実行する、ニューラルネットワークのための方法。
  2. 各サンプルは、複数の態様を含み、各態様は、前記複数の第1のニューラルネットワークのうちの1つに対応し、前記複数の第1のニューラルネットワークの中の各第1のニューラルネットワークを訓練することは、前記複数の態様の中の対応する態様を入力することを含む、請求項に記載の方法。
  3. 前記サンプルは、3D画像であり、各態様は、前記3D画像内の平面の画像である、請求項に記載の方法。
  4. 前記サンプルは、生物であり、各態様は、前記生物の診断情報である、請求項に記載の方法。
  5. 前記複数の第1のニューラルネットワークに入力された前記複数のサンプルは、複数の画像である、請求項1に記載の方法。
  6. 前記出力値は、前記画像を複数の第1のニューラルネットワークに入力することにより前記第1のニューラルネットワークの各々から出力される前記画像についての確率であり、前記出力値セットは、前記複数の第1のニューラルネットワークから出力される複数の出力値を合成して得られる確率ベクトルである、請求項5に記載の方法。
  7. 前記複数の第1のニューラルネットワークに入力された前記複数のサンプルの各々は、3D画像を構成する複数の平面画像である、請求項5または請求項6に記載の方法。
  8. 前記第2のニューラルネットワークを、前記第2のニューラルネットワークの訓練の結果である第2の重み値セットとして記録することをさらに含む、請求項1から請求項のいずれか一項に記載の方法。
  9. 記複数の第2のニューラルネットワークからの前記サンプルに対応する出力を入力することに応答して各サンプルに対応する期待結果を出力するように、第3のニューラルネットワークを訓練することをさらに含む、請求項1から請求項のいずれか一項に記載の方法。
  10. 訓練された前記複数の第1のニューラルネットワークに診断用画像を入力することと、
    前記診断用画像についての確率を前記第2のニューラルネットワークからの出力として取得することと、を含む請求項1から請求項9のいずれか一項に記載の方法。
  11. 請求項1から請求項10のいずれか一項に記載の方法を行うために前記プロセッサによって実行される命令を格納する、前記プロセッサによって可読のコンピュータ可読媒体。
  12. 請求項1から請求項10のいずれか一項に記載の方法における各ステップをプロセッサに実行させるためのコンピュータプログラム。
  13. プロセッサと、
    具体化されたプログラム命令を有する1つ又は複数のコンピュータ可読ストレージ媒体と、
    を含むシステムであって、前記プログラム命令は、請求項1から請求項10のいずれか一項に記載の方法における各ステップを前記プロセッサに実行させる、
    システム。
JP2019565479A 2017-06-01 2018-05-31 ニューラルネットワーク分類 Active JP7110240B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/611,065 US10713783B2 (en) 2017-06-01 2017-06-01 Neural network classification
US15/611,065 2017-06-01
US15/802,944 2017-11-03
US15/802,944 US11138724B2 (en) 2017-06-01 2017-11-03 Neural network classification
PCT/IB2018/053870 WO2018220566A1 (en) 2017-06-01 2018-05-31 Neural network classification

Publications (2)

Publication Number Publication Date
JP2020522794A JP2020522794A (ja) 2020-07-30
JP7110240B2 true JP7110240B2 (ja) 2022-08-01

Family

ID=64456394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019565479A Active JP7110240B2 (ja) 2017-06-01 2018-05-31 ニューラルネットワーク分類

Country Status (6)

Country Link
US (2) US11138724B2 (ja)
JP (1) JP7110240B2 (ja)
CN (1) CN110622175B (ja)
DE (1) DE112018002822T5 (ja)
GB (1) GB2577017A (ja)
WO (1) WO2018220566A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138724B2 (en) 2017-06-01 2021-10-05 International Business Machines Corporation Neural network classification
JP7325414B2 (ja) * 2017-11-20 2023-08-14 コーニンクレッカ フィリップス エヌ ヴェ 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとの訓練
KR20190114694A (ko) * 2018-03-30 2019-10-10 삼성에스디에스 주식회사 인공지능을 이용한 시계열 데이터 학습 및 분석 방법
US11537848B2 (en) * 2018-07-26 2022-12-27 Raytheon Company Class level artificial neural network
US11763133B2 (en) * 2018-08-31 2023-09-19 Servicenow Canada Inc. Data point suitability determination from edge device neural networks
US11783949B2 (en) * 2018-11-30 2023-10-10 Ariel Precision Medicine, Inc. Methods and systems for severity calculator
CN109740735B (zh) * 2018-12-29 2020-12-29 百度在线网络技术(北京)有限公司 多神经网络输出方法及装置、服务器、计算机可读介质
CN110164549A (zh) * 2019-05-20 2019-08-23 南通奕霖智慧医学科技有限公司 一种基于神经网络分类器的儿科分诊方法及系统
US20220245429A1 (en) * 2019-05-21 2022-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Recursive coupling of artificial learning units
US11763450B1 (en) * 2019-11-14 2023-09-19 University Of South Florida Mitigating adversarial attacks on medical imaging understanding systems
SE1951443A1 (en) * 2019-12-12 2021-06-13 Assa Abloy Ab Improving machine learning for monitoring a person
CN111598130A (zh) * 2020-04-08 2020-08-28 天津大学 基于多视图卷积神经网络的中药识别方法
SE544261C2 (en) 2020-06-16 2022-03-15 IntuiCell AB A computer-implemented or hardware-implemented method of entity identification, a computer program product and an apparatus for entity identification
CN111950656B (zh) * 2020-08-25 2021-06-25 深圳思谋信息科技有限公司 图像识别模型生成方法、装置、计算机设备和存储介质
US11341354B1 (en) 2020-09-30 2022-05-24 States Title, Inc. Using serial machine learning models to extract data from electronic documents
DE102020130604A1 (de) * 2020-11-19 2022-05-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Verfahren und System zum Verarbeiten von Eingabewerten
CN114529760B (zh) * 2022-01-25 2022-09-02 北京医准智能科技有限公司 一种针对甲状腺结节的自适应分类方法及装置
SE2250135A1 (en) * 2022-02-11 2023-08-12 IntuiCell AB A data processing system comprising first and second networks, a second network connectable to a first network, a method, and a computer program product therefor

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873824A (en) 1996-11-29 1999-02-23 Arch Development Corporation Apparatus and method for computerized analysis of interstitial infiltrates in chest images using artificial neural networks
US8126267B2 (en) 2007-02-05 2012-02-28 Albany Medical College Methods and apparatuses for analyzing digital images to automatically select regions of interest thereof
US20100266185A1 (en) * 2009-04-21 2010-10-21 Sloan Kettering Institute of Cancer Malignant tissue recognition model for the prostate
US8811697B2 (en) 2010-04-06 2014-08-19 Siemens Aktiengesellschaft Data transmission in remote computer assisted detection
CN103679185B (zh) 2012-08-31 2017-06-16 富士通株式会社 卷积神经网络分类器系统、其训练方法、分类方法和用途
WO2014075017A1 (en) 2012-11-11 2014-05-15 The Regents Of The University Of California Automated image system for scoring changes in quantitative interstitial lung disease
US20160026851A1 (en) 2013-09-20 2016-01-28 Applied Visual Sciences, Inc. System and method for improved detection of objects of interest in image data by management of false positives
US20150095017A1 (en) 2013-09-27 2015-04-02 Google Inc. System and method for learning word embeddings using neural language models
US9430829B2 (en) 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
CN103824049A (zh) 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
KR20160066927A (ko) 2014-12-03 2016-06-13 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
US9607217B2 (en) 2014-12-22 2017-03-28 Yahoo! Inc. Generating preference indices for image content
GB2562924B (en) 2015-12-14 2021-05-19 Motion Metrics Int Corp Method and apparatus for identifying fragmented material portions within an image
CN105631519A (zh) 2015-12-31 2016-06-01 北京工业大学 一种基于预决策的卷积神经网络加速方法及系统
CN106056210B (zh) 2016-06-07 2018-06-01 浙江工业大学 一种基于混合神经网络的pm2.5浓度值预测方法
US10599977B2 (en) 2016-08-23 2020-03-24 International Business Machines Corporation Cascaded neural networks using test ouput from the first neural network to train the second neural network
US11138724B2 (en) 2017-06-01 2021-10-05 International Business Machines Corporation Neural network classification
US10713783B2 (en) 2017-06-01 2020-07-14 International Business Machines Corporation Neural network classification

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Masaharu Sakamoto et al.,"Multi-stage Neural Networks with Single-sided Classifiers for False Positive Reduction and its Evaluation using Lung X-ray CT Images",arXiv.org [online],arXiv:1703.00311v3,Cornell University,2017年03月,pp.1-11,[令和3年10月13日検索], インターネット:<URL:https://arxiv.org/pdf/1703.00311v3>
Yani Chen et al.,"Hippocampus segmentation through multi-view ensemble ConvNets",2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017),米国,IEEE,2017年04月18日,pp.192-196,doi: 10.1109/ISBI.2017.7950499

Also Published As

Publication number Publication date
US20210374958A1 (en) 2021-12-02
US11138724B2 (en) 2021-10-05
US11935233B2 (en) 2024-03-19
CN110622175B (zh) 2023-09-19
WO2018220566A1 (en) 2018-12-06
GB2577017A (en) 2020-03-11
CN110622175A (zh) 2019-12-27
JP2020522794A (ja) 2020-07-30
DE112018002822T5 (de) 2020-02-13
GB201917993D0 (en) 2020-01-22
US20180350069A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
JP7110240B2 (ja) ニューラルネットワーク分類
US10713783B2 (en) Neural network classification
US10679345B2 (en) Automatic contour annotation of medical images based on correlations with medical reports
WO2018227800A1 (zh) 一种神经网络训练方法及装置
JP6371870B2 (ja) 機械学習サービス
CN110532376B (zh) 分类文本以确定用于选择机器学习算法结果的目标类型
US11954418B2 (en) Grouping of Pauli strings using entangled measurements
CA3156623A1 (en) Automatic reduction of training sets for machine learning programs
US20240212347A1 (en) Memory-guided video object detection
US20240355101A1 (en) Systems and Methods for Progressive Learning for Machine-Learned Models to Optimize Training Speed
US20180060723A1 (en) Cascaded neural networks
US9626631B2 (en) Analysis device, analysis method, and program
US11120297B2 (en) Segmentation of target areas in images
WO2021171126A1 (en) Personalized automated machine learning
JP2020191017A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7573548B2 (ja) 特徴ベクトル実現可能性推定
WO2022190319A1 (en) Device, method, and system for weighted knowledge transfer
US20190155989A1 (en) Generation of test data for a data platform
US11087050B2 (en) Generation of event transition model from event records
JP2022041800A (ja) 多言語文埋め込みのためのシステム及び方法
US11151420B2 (en) Determination using learned model
JP7085521B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220237467A1 (en) Model suitability coefficients based on generative adversarial networks and activation maps
US20200286627A1 (en) Systems and methods for treatment-effect analysis
KR20230147494A (ko) 호흡기 질환 탐지 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220720

R150 Certificate of patent or registration of utility model

Ref document number: 7110240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150