WO2020003607A1 - 情報処理装置、モデル学習方法、データ認識方法および学習済みモデル - Google Patents
情報処理装置、モデル学習方法、データ認識方法および学習済みモデル Download PDFInfo
- Publication number
- WO2020003607A1 WO2020003607A1 PCT/JP2019/007055 JP2019007055W WO2020003607A1 WO 2020003607 A1 WO2020003607 A1 WO 2020003607A1 JP 2019007055 W JP2019007055 W JP 2019007055W WO 2020003607 A1 WO2020003607 A1 WO 2020003607A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- model
- data
- dedicated
- learning
- common
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Definitions
- the characteristics of the captured image data specialized for the device are such that the imaging characteristics of the device, such as resolution, color tone, and brightness, are reflected in the image data. Since the dedicated model learns only teacher data of one type of device, as a result, the dedicated model learns a feature in which device characteristics are reflected in captured image data.
- the first dedicated model 52a is a learning model for learning features included in the first data acquired by the first imaging device.
- the second dedicated model 52b is a learning model for learning features included in the second data acquired by the second imaging device.
- the third dedicated model 52c is a learning model for learning features included in the third data acquired by the third imaging device.
- the n-th dedicated model 52n is a learning model for learning features included in the n-th data acquired by the n-th imaging device.
- the first imaging device, the second imaging device, the third imaging device,..., The n-th imaging device are different types of cameras, and have unique imaging characteristics.
- a subject providing an endoscopic image diagnosis support service may use the information processing device 1 as a machine learning device.
- the provider collects teacher data of image data captured by various endoscopes, and causes the information processing apparatus 1 to learn.
- the trained model is distributed to a medical facility that provides an endoscopic image diagnosis support service.
- the medical facility may acquire the learned dedicated model 52 and the common model 54 corresponding to the type of the endoscope owned by the medical facility, and execute the endoscope image recognition process.
- the medical facility may use a cloud service to perform a recognition process using the learned model.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
第1専用モデル52aは、第1のデバイスにより取得された第1データに含まれる特徴を学習する。第2専用モデル52bは、第2のデバイスにより取得された第2データに含まれる特徴を学習する。共通モデル54は、第1データと第2データに含まれる特徴を学習する。モデル選択部32は、入力データを取得したデバイスを特定するデバイス識別情報にもとづいて、学習する専用モデルを選択する。学習部22は、入力データを用いて、選択された専用モデルと共通モデル54とを結合した学習モデルに学習させる。
Description
本発明は、教師データに含まれる特徴を学習する技術、および学習済みモデルを用いて入力データを認識する技術に関する。
近年、人の脳神経系のニューロンを数理モデル化したニューラルネットワークが注目されている。ニューラルネットワークは、画像処理、音声認識など様々な分野に適用される。教師あり学習でニューラルネットワークは、教師データを用いてパラメータを最適化し、学習済みモデルを構築する。パラメータを高精度に最適化することで、入力データを正確に認識できる学習済みモデルが生成される。
特許文献1は、ノイズや不要データを除去する前処理を実施した入力情報をニューラルネットワークに入力して、教師データへのマッチング精度や計算速度を向上させ、状態量の推定精度を向上する技術を開示する。
現在、医療施設における医師の診断支援として、内視鏡で撮影した内視鏡画像や、顕微鏡を通して病理標本(組織)を撮影した病理画像などを入力し、画像に含まれる病変を抽出するニューラルネットワークなどの機械学習の開発が進められている。これらの機械学習では、撮影画像データと、病変などの認識対象の情報とをセットにした教師データが利用される。病変以外の認識対象の情報としては、泡、残渣、粘膜の臓器種別、血管などの情報がある。
撮影デバイスごとに、レンズおよび撮像素子の特性や、画像処理エンジンの処理特性が異なるため、撮影された画像の解像力や色調、明るさなどの特徴は、撮影デバイスごとに異なる。そのため学習時に、特定の機種の撮影デバイスAの教師データしか使用していなければ、生成された学習済みモデルは、撮影デバイスAの撮影画像データを高精度に認識できるものの、別の機種の撮影デバイスBの撮影画像データを高精度に認識できない。
この状況を回避するためには、学習時に、撮影デバイスAの教師データだけでなく、撮影デバイスBの教師データも使用して1つの学習済みモデルを生成することで、両方の撮影デバイスによる撮影画像データの認識精度が高められる。しかしながら、この場合、撮影デバイスAの教師データと撮影デバイスBの教師データとを、実質的に同数用意する必要がある。たとえば撮影デバイスAが内視鏡の旧機種、撮影デバイスBが内視鏡の新機種である場合、撮影デバイスBの教師データ数は、撮影デバイスAの教師データ数よりも少ないため、撮影デバイスBの撮影画像データの認識精度を高めるためには、多くの教師データを集める必要があり、時間がかかる。そこで撮影デバイスBの教師データ数が少ない場合であっても、撮影デバイスBの認識精度を高められる学習モデルの構築が望まれている。
本発明はこうした状況に鑑みなされたものであり、その目的は、新たな学習モデルに関する技術を提供することにある。
上記課題を解決するために、本発明のある態様の情報処理装置は、第1のデバイスにより取得された第1データに含まれる特徴を学習する第1専用モデルと、第2のデバイスにより取得された第2データに含まれる特徴を学習する第2専用モデルと、第1データと第2データに含まれる特徴を学習する共通モデルと、入力データを受け付ける受付部と、入力データを取得したデバイスを特定するデバイス識別情報にもとづいて、学習する専用モデルを選択するモデル選択部と、入力データを用いて、選択された専用モデルと共通モデルとを結合した学習モデルに学習させる学習部と、を備える。
本発明の別の態様もまた、情報処理装置である。この装置は、入力データを受け付ける受付部と、入力データを取得したデバイスにより取得された複数のデータに含まれる特徴を学習した専用モデルと、複数のデバイスにより取得された複数のデータに含まれる特徴を学習した共通モデルとを結合した結合モデルを用いて、入力データを認識する認識部と、を備える。
本発明のさらに別の態様は、学習モデルの学習方法である。この方法は、第1のデバイスにより取得された第1データを用いて、第1専用モデルと共通モデルとを結合した学習モデルに学習させるステップと、第2のデバイスにより取得された第2データを用いて、第2専用モデルと共通モデルとを結合した学習モデルに学習させるステップと、を有する。
本発明のさらに別の態様は、データ認識方法である。この方法は、入力データを受け付けるステップと、入力データを取得したデバイスにより取得された複数のデータに含まれる特徴を学習した専用モデルと、複数のデバイスにより取得された複数のデータに含まれる特徴を学習した共通モデルとを結合した結合モデルを用いて、入力データを認識するステップと、を有する。
本発明のさらに別の態様は、入力データをコンピュータに認識させるための学習済みモデルであって、第1のデバイスにより取得された第1データに含まれる特徴を学習済みの第1専用モデルと、第2のデバイスにより取得された第2データに含まれる特徴を学習済みの第2専用モデルと、第1データと第2データに含まれる特徴を学習済みの共通モデルと、を備える。当該学習済みモデルは、コンピュータに入力データが入力されると、入力データを取得したデバイスを特定するデバイス識別情報にもとづいて、学習する専用モデルを選択する機能と、選択した専用モデルと、共通モデルとを結合した結合モデルを生成する機能と、結合モデルを用いて入力データを認識する機能とをコンピュータに実現させる。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明の実施例の概要を説明する。
実施例の情報処理装置では、複数の部分モデルを結合して、学習モデルを構築する。学習モデルは、デバイスの種類ごとに用意される専用モデルと、複数のデバイスで共用される共通モデルを含む。学習時、情報処理装置は、教師データを取得したデバイス種類に応じた専用モデルと、共通モデルとを結合した学習モデルを生成して、教師データを学習する。教師データを取得したデバイスの種類に応じて、専用モデルが切り替えられる。データ認識時、情報処理装置は、入力データを取得したデバイス種類に応じた学習済みの専用モデルと、学習済みの共通モデルとを結合した結合モデルを生成して、入力データを認識する。実施例では、デバイスが撮影デバイスであって、撮影画像データを入力し、撮影画像データに含まれる病変を出力する学習モデルについて説明する。
実施例の情報処理装置では、複数の部分モデルを結合して、学習モデルを構築する。学習モデルは、デバイスの種類ごとに用意される専用モデルと、複数のデバイスで共用される共通モデルを含む。学習時、情報処理装置は、教師データを取得したデバイス種類に応じた専用モデルと、共通モデルとを結合した学習モデルを生成して、教師データを学習する。教師データを取得したデバイスの種類に応じて、専用モデルが切り替えられる。データ認識時、情報処理装置は、入力データを取得したデバイス種類に応じた学習済みの専用モデルと、学習済みの共通モデルとを結合した結合モデルを生成して、入力データを認識する。実施例では、デバイスが撮影デバイスであって、撮影画像データを入力し、撮影画像データに含まれる病変を出力する学習モデルについて説明する。
図1は、学習時の学習モデルを示す。デバイスA、デバイスB、・・・、デバイスMは、異なる種類の撮影デバイスであり、撮影デバイスの機種ごとに異なる撮像特性を有している。
実施例では、デバイスAで撮影した画像データを含む教師データAは、デバイスAに専用のモデル(専用モデルA)と、共通モデルとを結合した学習モデルに入力されて学習される。デバイスBで撮影した画像データを含む教師データBは、デバイスBに専用のモデル(専用モデルB)と、共通モデルとを結合した学習モデルに入力されて学習される。デバイスMで撮影した画像データを含む教師データMは、デバイスMに専用のモデル(専用モデルM)と、共通モデルとを結合した学習モデルに入力されて学習される。
実施例の学習モデルは、共通モデルを必ず含み、デバイスの種類に応じて専用モデルを入れ替えて、入れ替えた専用モデルと共通モデルとを結合した状態で使用される。教師データを撮影したデバイスに応じて専用モデルを切り替えることで、専用モデルは、デバイスに特化した撮影画像データの特徴を学習し、共通モデルは、複数のデバイスに汎用的な撮影画像データの特徴を学習する。
デバイスに特化した撮影画像データの特徴は、たとえば解像力や色調、明るさなど、デバイスの撮像特性が画像データに反映される特徴である。専用モデルは、一つの種類のデバイスの教師データのみを学習するため、結果として専用モデルは、デバイス特性が撮影画像データに反映された特徴を学習する。
複数のデバイスに汎用的な撮影画像データの特徴は、デバイス依存の特徴ではなく、撮影された病変の形状、模様、大きさなどの外観的特徴である。共通モデルは、複数種類のデバイスの教師データを学習するため、結果として共通モデルは、複数のデバイスで撮影された画像データに共通の特徴を学習する。
実施例の学習モデルによると、専用モデルは、特定の種類のデバイスの特徴のみを学習すればよいため、学習の収束は早い。そのためデバイスA~Mに対応する専用モデルA~M、および共通モデルが十分に学習されている状態で、新たなデバイスNに対応する専用モデルNを学習するときには、専用モデルNと共通モデルを結合した学習モデルを生成して、デバイスNの教師データを当該学習モデルに入力すればよい。このとき共通モデルのパラメータは若干調整されるが、共通モデルのパラメータ自体は十分に学習された状態にあるため、比較的少数のデバイスNの教師データNにより、専用モデルNの学習を完了させることが可能となる。
図2は、入力データ認識時の学習済みモデルを示す。デバイスAで撮影した画像データである入力データAは、専用モデルAと共通モデルとを結合した学習済みモデルに入力されて認識される。デバイスBで撮影した画像データである入力データBは、専用モデルBと共通モデルとを結合した学習済みモデルに入力されて認識される。デバイスMで撮影した画像データである入力データMは、専用モデルMと共通モデルとを結合した学習済みモデルに入力されて認識される。
入力データの認識時、学習済みモデルは、デバイスの種類に応じた専用モデルと、共通モデルとを結合した状態で使用される。専用モデルと共通モデルとを組み合わせることで、1つの学習済みモデルが構築され、入力データを高精度に認識できる。学習済みモデルは、人工知能ソフトウェアの一部であるプログラムモジュールとして利用されてよい。
図3は、実施例の情報処理装置1の構成を示す。情報処理装置1は、受付部10、処理部20、モデル生成部30、ニューラルネットワークシステム(以下、「NNシステム」と呼ぶ)40および記憶装置50を備える。受付部10は、入力データ取得部12およびデバイス識別情報取得部14を有する。処理部20は、学習部22および認識部24を有する。モデル生成部30は、モデル選択部32およびモデル結合部34を有する。記憶装置50は、第1専用モデル52a、第2専用モデル52b、・・・、第n専用モデル52n(以下、特に区別しない場合には「専用モデル52」と呼ぶ)および共通モデル54を記憶する。
NNシステム40は、電子回路を含むハードウェアで構成されてもよいが、ソフトウェアによって構成されてもよい。モデル生成部30は、記憶装置50から専用モデル52および共通モデル54を読み出し、NNシステム40において結合することで、デバイス種類ごとの学習モデルを構築する。NNシステム40がハードウェアで構成される場合、モデル生成部30は、NNシステム40の各ノードのパラメータを設定することで、専用モデル52および共通モデル54を構築する。
情報処理装置1のそれぞれの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
図3に示す情報処理装置1は、画像認識に用いるパラメータを学習する機械学習装置、および学習済みモデルを用いて画像データを認識する画像認識装置として機能する。機械学習機能は、学習部22およびNNシステム40により実現され、画像認識機能は、認識部24およびNNシステム40により実現される。
第1専用モデル52aは、第1の撮影デバイスにより取得された第1データに含まれる特徴を学習する学習モデルである。第2専用モデル52bは、第2の撮影デバイスにより取得された第2データに含まれる特徴を学習する学習モデルである。第3専用モデル52cは、第3の撮影デバイスにより取得された第3データに含まれる特徴を学習する学習モデルである。第n専用モデル52nは、第nの撮影デバイスにより取得された第nデータに含まれる特徴を学習する学習モデルである。ここで、第1の撮影デバイス、第2の撮影デバイス、第3の撮影デバイス、・・・、第nの撮影デバイスは、それぞれ異なる種類のカメラであって、固有の撮像特性を有する。
共通モデル54は、第1の撮影デバイス、第2の撮影デバイス、第3の撮影デバイス、・・・、第nの撮影デバイスにより取得されたデータに含まれる特徴を学習する学習モデルである。つまり共通モデル54は、第1~第nの撮影デバイスで取得された画像データの特徴を学習する。以下の実施例では、説明の便宜上、第1の撮影デバイスにより取得された画像データと、第2の撮影デバイスにより取得された画像データを用いて、NNシステム40のパラメータを学習する処理を説明する。
入力データ取得部12は、入力データとして、教師データを受け付ける。実施例の教師データは、内視鏡で撮影された画像データと、当該画像データに含まれる病変に関する情報、たとえば画像内の病変の位置、病変名称を含んで構成される。デバイス識別情報取得部14は、当該教師データを取得したデバイスを特定するデバイス識別情報を取得する。
たとえば入力データ取得部12が、撮影デバイスから入力データを受け付けたとき、デバイス識別情報取得部14は、デバイス識別情報を、当該撮影デバイスから直接取得してもよい。また画像データに、当該画像を撮影したデバイスのデバイス識別情報がメタデータとして付加されていれば、デバイス識別情報取得部14は、メタデータを読み出して、デバイス識別情報を取得してもよい。またデバイス識別情報取得部14は、画像データの色調や解像力などの画像特性を解析して、当該画像を撮影したデバイスのデバイス識別情報を取得してもよい。またユーザが、教師データの画像を撮影したデバイスのデバイス識別情報を入力して、デバイス識別情報取得部14が取得してもよい。
モデル選択部32は、教師データを取得したデバイスを特定するデバイス識別情報にもとづいて、学習する専用モデル52を選択する。デバイス識別情報が、第1のデバイスを特定する情報であれば、モデル選択部32は、第1専用モデル52aを選択する。デバイス識別情報が、第2のデバイスを特定する情報であれば、モデル選択部32は、第2専用モデル52bを選択する。モデル結合部34は、選択された専用モデル52と共通モデル54とをNNシステム40において結合し、学習モデルを生成する。
図4は、NNシステム40に生成される学習モデルの例を示す。実施例の専用モデル52および共通モデル54のそれぞれは、ニューラルネットワークとして形成される。学習モデルにおいて、専用モデル52は、共通モデル54よりも入力側に配置される。専用モデル52と共通モデル54との間には、別のモデルが介在してもよいが、専用モデル52の出力が、共通モデル54の入力に直接結合されてよい。
図4(a)は、第1専用モデル52aと共通モデル54とを結合した学習モデルを示す。実施例の学習モデルは、共通モデル54の入力層が、専用モデル52の出力層に結合する構造をもつ。モデル選択部32がデバイス識別情報にもとづいて第1専用モデル52aを選択すると、モデル結合部34が、第1専用モデル52aと共通モデル54とを結合して、NNシステム40に学習モデルを生成する。
図4(b)は、第2専用モデル52bと共通モデル54とを結合した学習モデルを示す。モデル選択部32がデバイス識別情報にもとづいて第2専用モデル52bを選択すると、モデル結合部34が、第2専用モデル52bと共通モデル54とを結合して、NNシステム40に学習モデルを生成する。
図4(a)、(b)に示すように、第1専用モデル52aおよび第2専用モデル52bは、同じネットワーク構成を有してよい。たとえばNNシステム40をハードウェアで構成する場合、モデル結合部34は、専用モデル52のパラメータを入れ替えることで、所定の専用モデル52をハードウェア上に実現できる。この場合、第1専用モデル52aは、第1の撮影デバイス用のパラメータセットであり、第2専用モデル52bは、第2の撮影デバイス用のパラメータセットとなる。なおNNシステム40をソフトウェアで構成する場合、各専用モデル52は、ネットワーク構成とパラメータセットとを含んで構成される。
図5は、第2専用モデル52bと共通モデル54とを結合した学習モデルの別の例を示す。図4(a)に示す第1専用モデル52aと比較すると、図5に示す第2専用モデル52bは、第1専用モデル52aとは異なるネットワーク構成を有する。このように各専用モデル52は、独自のネットワーク構成を有してよいが、専用モデル52の出力層は、共通モデル54の入力層と連結できる構成を有する必要がある。
学習部22は、教師データを用いて、選択された専用モデル52と共通モデル54とを結合した学習モデルに学習させる。学習部22が、各専用モデル52を、撮影デバイスごとに学習させることで、第1専用モデル52aは、第1の撮影デバイスの特性が第1データに反映された特徴を学習し、第2専用モデル52bは、第2の撮影デバイスの特性が第2データに反映された特徴を学習する。また学習部22が、共通モデル54を、撮影デバイスの種類に関係なく、常に学習させることで、共通モデル54は、全ての教師データに共通の特徴を学習する。
たとえば、第1専用モデル52a、第2専用モデル52b、共通モデル54の学習が進んでいる段階で、第3の撮影デバイスを搭載した新機種の内視鏡がメーカから販売されるとする。ユーザは、第3の撮影デバイスの専用モデルとして、第3専用モデル52cを作成し、記憶装置50に記憶する。第3専用モデル52cは、第3の撮影デバイスにより取得された第3データに含まれる特徴を学習する学習モデルである。
第3の撮影デバイスにより取得された画像データを含む教師データに対して、モデル選択部32は、第3専用モデル52cを選択して、モデル結合部34が、第3専用モデル52cと共通モデル54とを結合した学習モデルをNNシステム40に形成する。このとき共通モデル54は、第1および第2の撮影デバイスにより撮影された教師データを学習した状態にある。そのため学習部22が、第3専用モデル52cと共通モデル54とを結合した学習モデルに学習させると、比較的少ない第3の撮影デバイスの教師データにより、第3専用モデル52cの学習を完了させることが可能となる。
次に、学習済みモデルを用いて、入力データを認識する処理を説明する。
入力データ取得部12は、入力データとして、撮影画像データを受け付ける。実施例の撮影画像データは、内視鏡で撮影された画像データである。デバイス識別情報取得部14は、当該撮影画像データを取得したデバイスを特定するデバイス識別情報を取得する。
入力データ取得部12は、入力データとして、撮影画像データを受け付ける。実施例の撮影画像データは、内視鏡で撮影された画像データである。デバイス識別情報取得部14は、当該撮影画像データを取得したデバイスを特定するデバイス識別情報を取得する。
図3を参照して、記憶装置50は、学習済みの複数の専用モデル52と、学習済みの共通モデル54とを記憶している。これらの学習済みモデルは、入力データをコンピュータに認識させるための学習済みモデルであり、具体的には内視鏡画像データを入力して、当該画像に含まれる病変情報を出力させるためのモデルである。学習済みモデルは、専用モデル52の入力層に入力された入力データを、専用モデル52および共通モデル54における学習済みパラメータに応じて演算し、共通モデル54の出力層から、病変の有無、病変位置を示す情報を出力させる。第1専用モデル52aは、第1の撮影デバイスにより取得された第1データに含まれる特徴を学習済みの学習モデルであり、第2専用モデル52bは、第2の撮影デバイスにより取得された第2データに含まれる特徴を学習済みの学習モデルである。共通モデル54は、複数種類のデバイスにより取得されたデータに含まれる特徴を学習済みの学習モデルである。
モデル選択部32は、撮影画像データを取得したデバイスを特定するデバイス識別情報にもとづいて、記憶装置50から、認識で使用する専用モデル52を選択する。デバイス識別情報が、第1のデバイスを特定する情報であれば、モデル選択部32は、第1専用モデル52aを選択する。デバイス識別情報が、第2のデバイスを特定する情報であれば、モデル選択部32は、第2専用モデル52bを選択する。モデル結合部34は、選択された専用モデル52と共通モデル54とをNNシステム40において結合した結合モデルを生成する。
認識部24は、結合モデルを用いて、入力データを認識する。ここで認識部24は、入力データを専用モデル52の入力層に入力し、共通モデル54の出力層からのデータを取得する。実施例で入力データの認識は、入力データをNNシステム40に入力して、NNシステム40に画像認識させて、認識結果を出力させることを意味する。具体的に認識部24は、NNシステム40により、撮影画像データから、病変を抽出する画像認識処理を実行させる。この画像認識処理は、医師の診断支援に役立つ。
以上、本発明を実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例では、デバイスの種類ごとに専用モデル52を学習させたが、複数のデバイス種類に1つの専用モデル52を対応付けてもよい。たとえば撮影デバイスの種類が異なっていても、色調などの画像特性が似ていれば、複数種類の撮影デバイスに対して1つの専用モデル52を設定して、学習させてもよい。
また実施例では、専用モデル52を、共通モデル54よりも入力側に配置した学習モデルを示したが、共通モデル54が、専用モデル52よりも入力側に配置されてもよい。また専用モデル52と共通モデル54とは直列に連結されるのではなく、並列に連結されてもよい。
実施例の情報処理装置1では、処理部20が、学習部22と認識部24の双方を有して、画像認識に用いるパラメータを学習する機械学習装置、および学習済みモデルを用いて画像データを認識する画像認識装置として機能することを説明した。情報処理装置1は、必ずしも学習部22と認識部24の双方を有する必要はない。
たとえば内視鏡画像の診断支援サービスを提供する主体が、情報処理装置1を、機械学習装置として利用してよい。この提供主体は、様々な内視鏡で撮影された画像データの教師データを収集して、情報処理装置1に学習させる。学習済みモデルは、内視鏡画像の診断支援サービスを提供される医療施設に配布される。このとき医療施設は、所有している内視鏡の種類に対応する学習済みの専用モデル52と、共通モデル54とを取得して、内視鏡画像の認識処理を実施してよい。なお医療施設は、クラウドサービスを利用して学習済みモデルによる認識処理を実施してもよい。
1・・・情報処理装置、10・・・受付部、20・・・処理部、22・・・学習部、24・・・認識部、30・・・モデル生成部、32・・・モデル選択部、34・・・モデル結合部、40・・・NNシステム、50・・・記憶装置、52・・・専用モデル、52a・・・第1専用モデル、52b・・・第2専用モデル、52c・・・第3専用モデル、52n・・・第n専用モデル、54・・・共通モデル。
本発明は、学習に関する技術分野に利用できる。
Claims (14)
- 第1のデバイスにより取得された第1データに含まれる特徴を学習する第1専用モデルと、
第2のデバイスにより取得された第2データに含まれる特徴を学習する第2専用モデルと、
前記第1データと前記第2データに含まれる特徴を学習する共通モデルと、
入力データを受け付ける受付部と、
前記入力データを取得したデバイスを特定するデバイス識別情報にもとづいて、学習する専用モデルを選択するモデル選択部と、
前記入力データを用いて、選択された専用モデルと前記共通モデルとを結合した学習モデルに学習させる学習部と、
を備えることを特徴とする情報処理装置。 - 前記第1専用モデルは、前記第1デバイスの特性が前記第1データに反映された特徴を学習し、
前記第2専用モデルは、前記第2デバイスの特性が前記第2データに反映された特徴を学習し、
前記共通モデルは、前記第1データと前記第2データに共通の特徴を学習する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記第1専用モデル、前記第2専用モデル、前記共通モデルのそれぞれは、ニューラルネットワークとして形成される、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記学習モデルにおいて、前記第1専用モデルまたは前記第2専用モデルは、前記共通モデルよりも入力側に配置される、
ことを特徴とする請求項3に記載の情報処理装置。 - 前記第1専用モデルまたは前記第2専用モデルの出力は、前記共通モデルの入力に結合される、
ことを特徴とする請求項4に記載の情報処理装置。 - 前記第1専用モデルおよび前記第2専用モデルは、同じネットワーク構成を有する、
ことを特徴とする請求項3に記載の情報処理装置。 - 入力データを受け付ける受付部と、
前記入力データを取得したデバイスにより取得された複数のデータに含まれる特徴を学習した専用モデルと、複数のデバイスにより取得された複数のデータに含まれる特徴を学習した共通モデルとを結合した結合モデルを用いて、前記入力データを認識する認識部と、
を備えることを特徴とする情報処理装置。 - 前記受付部は、前記入力データを取得したデバイスを特定するデバイス識別情報を受け付ける、
ことを特徴とする請求項7に記載の情報処理装置。 - 複数のデバイスのそれぞれに対応する前記専用モデルを記憶する記憶装置と、
前記受付部が受け付けたデバイス識別情報をもとに、前記記憶装置から、使用する専用モデルを選択するモデル選択部と、
選択された前記専用モデルと、前記共通モデルとを結合するモデル結合部と、
をさらに備えることを特徴とする請求項8に記載の情報処理装置。 - 第1のデバイスにより取得された第1データを用いて、第1専用モデルと共通モデルとを結合した学習モデルに学習させるステップと、
第2のデバイスにより取得された第2データを用いて、第2専用モデルと前記共通モデルとを結合した学習モデルに学習させるステップと、
を有するモデル学習方法。 - コンピュータに、
第1のデバイスにより取得された第1データを用いて、第1専用モデルと共通モデルとを結合した学習モデルに学習させる機能と、
第2のデバイスにより取得された第2データを用いて、第2専用モデルと前記共通モデルとを結合した学習モデルに学習させる機能と、
を実現させるためのプログラム。 - 入力データを受け付けるステップと、
前記入力データを取得したデバイスにより取得された複数のデータに含まれる特徴を学習した専用モデルと、複数のデバイスにより取得された複数のデータに含まれる特徴を学習した共通モデルとを結合した結合モデルを用いて、前記入力データを認識するステップと、
を有するデータ認識方法。 - コンピュータに、
入力データを受け付ける機能と、
前記入力データを取得したデバイスにより取得された複数のデータに含まれる特徴を学習した専用モデルと、複数のデバイスにより取得された複数のデータに含まれる特徴を学習した共通モデルとを結合した結合を用いて、前記入力データを認識する機能と、
を実現させるためのプログラム。 - 入力データをコンピュータに認識させるための学習済みモデルであって、
第1のデバイスにより取得された第1データに含まれる特徴を学習済みの第1専用モデルと、
第2のデバイスにより取得された第2データに含まれる特徴を学習済みの第2専用モデルと、
前記第1データと前記第2データに含まれる特徴を学習済みの共通モデルと、を備え、
当該コンピュータに、入力データが入力されると、
前記入力データを取得したデバイスを特定するデバイス識別情報にもとづいて、学習する専用モデルを選択する機能と、
選択した前記専用モデルと、前記共通モデルとを結合した結合モデルを生成する機能と、
前記結合モデルを用いて、前記入力データを認識する機能と、
を実現させるための学習済みモデル。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-119786 | 2018-06-25 | ||
JP2018119786A JP2021182169A (ja) | 2018-06-25 | 2018-06-25 | 情報処理装置、モデル学習方法、データ認識方法および学習済みモデル |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020003607A1 true WO2020003607A1 (ja) | 2020-01-02 |
Family
ID=68986266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/007055 WO2020003607A1 (ja) | 2018-06-25 | 2019-02-25 | 情報処理装置、モデル学習方法、データ認識方法および学習済みモデル |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021182169A (ja) |
WO (1) | WO2020003607A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022180786A1 (ja) | 2021-02-26 | 2022-09-01 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2022185369A1 (ja) | 2021-03-01 | 2022-09-09 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2022224446A1 (ja) | 2021-04-23 | 2022-10-27 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2023042273A1 (ja) | 2021-09-14 | 2023-03-23 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2024075411A1 (ja) * | 2022-10-06 | 2024-04-11 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2024075242A1 (ja) * | 2022-10-06 | 2024-04-11 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023112099A1 (ja) * | 2021-12-13 | 2023-06-22 | 日本電信電話株式会社 | 選択方法、選択装置、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000251057A (ja) * | 1999-03-01 | 2000-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 入力機器用色再現方法及び装置、並びにこの方法のプログラムを記録した記録媒体 |
US20140101080A1 (en) * | 2012-09-28 | 2014-04-10 | Samsung Electronics Co., Ltd. | Apparatus and method of diagnosis using diagnostic models |
JP2016031746A (ja) * | 2014-07-30 | 2016-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
-
2018
- 2018-06-25 JP JP2018119786A patent/JP2021182169A/ja active Pending
-
2019
- 2019-02-25 WO PCT/JP2019/007055 patent/WO2020003607A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000251057A (ja) * | 1999-03-01 | 2000-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 入力機器用色再現方法及び装置、並びにこの方法のプログラムを記録した記録媒体 |
US20140101080A1 (en) * | 2012-09-28 | 2014-04-10 | Samsung Electronics Co., Ltd. | Apparatus and method of diagnosis using diagnostic models |
JP2016031746A (ja) * | 2014-07-30 | 2016-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022180786A1 (ja) | 2021-02-26 | 2022-09-01 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2022185369A1 (ja) | 2021-03-01 | 2022-09-09 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2022224446A1 (ja) | 2021-04-23 | 2022-10-27 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2023042273A1 (ja) | 2021-09-14 | 2023-03-23 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2024075411A1 (ja) * | 2022-10-06 | 2024-04-11 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2024075240A1 (ja) * | 2022-10-06 | 2024-04-11 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2024075242A1 (ja) * | 2022-10-06 | 2024-04-11 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
WO2024075410A1 (ja) * | 2022-10-06 | 2024-04-11 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2021182169A (ja) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020003607A1 (ja) | 情報処理装置、モデル学習方法、データ認識方法および学習済みモデル | |
CN109272483B (zh) | 胶囊内镜阅片及质量控制的系统及控制方法 | |
JP2022525264A (ja) | 特徴点検出 | |
JP7226325B2 (ja) | 焦点検出装置および方法、並びにプログラム | |
US20190117167A1 (en) | Image processing apparatus, learning device, image processing method, method of creating classification criterion, learning method, and computer readable recording medium | |
WO2020194662A1 (ja) | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体、情報処理方法及び学習済みモデルの製造方法 | |
WO2020032325A1 (ko) | 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템 | |
WO2019130924A1 (ja) | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム | |
CN110738655A (zh) | 影像报告生成方法、装置、终端及存储介质 | |
CN111403029B (zh) | 一种提高评估质量的信息处理方法及装置 | |
JP2018041434A (ja) | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム | |
CN111242921A (zh) | 一种医学超声图像辅助诊断系统自动更新的方法及系统 | |
Zhang et al. | Pgnn: Physics-guided neural network for fourier ptychographic microscopy | |
JPWO2021090469A5 (ja) | ||
US20220361739A1 (en) | Image processing apparatus, image processing method, and endoscope apparatus | |
JP2008023017A (ja) | 医療画像処理方法およびそれを利用した医療画像処理装置、医療画像処理システム | |
CN114651439A (zh) | 信息处理系统、内窥镜系统、已学习模型、信息存储介质及信息处理方法 | |
JPWO2019088008A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び内視鏡システム | |
CN115916482A (zh) | 信息处理装置、程序、学习模型以及学习模型生成方法 | |
KR20220011012A (ko) | 인공 신경망을 이용하여 내시경 영상으로부터 깊이 맵을 생성하는 방법, 상기 인공 신경망을 학습시키는 방법 및 상기 방법을 수행하는 깊이 맵 생성 장치 | |
WO2023148857A1 (ja) | 情報出力方法および情報出力装置 | |
JP2020057373A5 (ja) | ||
CN114785948B (zh) | 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质 | |
CN112969402A (zh) | 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法 | |
WO2021140642A1 (ja) | 視線推定装置、視線推定方法、モデル生成装置、及びモデル生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19826672 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19826672 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |