JP7439656B2 - 生成プログラム、生成方法、生成装置 - Google Patents
生成プログラム、生成方法、生成装置 Download PDFInfo
- Publication number
- JP7439656B2 JP7439656B2 JP2020103246A JP2020103246A JP7439656B2 JP 7439656 B2 JP7439656 B2 JP 7439656B2 JP 2020103246 A JP2020103246 A JP 2020103246A JP 2020103246 A JP2020103246 A JP 2020103246A JP 7439656 B2 JP7439656 B2 JP 7439656B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- generation
- imaging condition
- filter
- psf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000003384 imaging method Methods 0.000 claims description 73
- 230000008569 process Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 238000002591 computed tomography Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 102100030346 Antigen peptide transporter 1 Human genes 0.000 description 3
- 102100030343 Antigen peptide transporter 2 Human genes 0.000 description 3
- 102100036740 DNA replication complex GINS protein PSF3 Human genes 0.000 description 3
- 101000652570 Homo sapiens Antigen peptide transporter 1 Proteins 0.000 description 3
- 101000652582 Homo sapiens Antigen peptide transporter 2 Proteins 0.000 description 3
- 101001080484 Homo sapiens DNA replication complex GINS protein PSF1 Proteins 0.000 description 3
- 101000736065 Homo sapiens DNA replication complex GINS protein PSF2 Proteins 0.000 description 3
- 101001136564 Homo sapiens DNA replication complex GINS protein PSF3 Proteins 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 101150013335 img1 gene Proteins 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Description
本発明は、生成技術に関する。
医療における画像検査は、医師不足や１検査あたりの撮影画像数の増加により、医師の負担が増大しているため、効率化が求められている。医師が、過去の似た症例の病名やカルテ情報を参考にすることで、画像検査に要する時間を短縮し、効率化することが期待される。
過去の似た症例を参考にするためには、機械学習等により、画像から症例を特徴化し、特徴を基に過去の類似した症例を検索することが考えられる。一方で、画像内の症例を特徴化する機械学習は、学習に含まれていない画像を識別することができない。そのため、撮影条件の違いによって画質が異なるＣＴ（Computed Tomography）画像において、想定される撮影条件で撮影された様々なバリエーションを有する画像と正解ラベルのペアを大量に生成することが求められる。
画像と正解ラベルのペアを大量に生成する方法として、医師が知見に基づいて、ＣＴ画像内の症例の正解ラベルを手作業で作成する方法が考えられる。また、既に正解ラベル付けされた学習データに対し、回転、反転、平行移動、スケール変化、色変化、コントラスト変化等の画像処理を行うことで、様々なバリエーションを有する画像を生成する方法が知られている。
ピクトグラムでわかる呼吸器内科（https://respiresi.exblog.jp/23965463/）
三浦 健太, 喜田 卓也, "花画像データセットの構築と畳み込みニューラルネットワーク," DEIM Forum 2017, 2017.
A. Dosovitskiy, J. T. Springenberg, and T. Brox, "Unsupervisedfeature learning by augmenting single images," arXiv, 2014.
しかしながら、従来の方法には、適切な学習用の画像と正解ラベルのペアを、効率良く生成することができない場合があるという問題がある。例えば、医師が正解ラベルを手作業で作成する方法は、手作業を要する上に、十分な量の画像をあらかじめ用意する必要があり、画像と正解ラベルのペアを効率良く生成することができない場合がある。また、画像処理により画像を生成する方法では、撮影画像として存在し得ない画像が生成されることがあり、識別精度を向上させることができない場合がある。
１つの側面では、適切な学習用の画像と正解ラベルのペアを、効率良く生成することを目的とする。
１つの態様において、生成プログラムは、第１の画像に適用された第１のフィルタを決定する処理をコンピュータに実行させる。生成プログラムは、前記第１のフィルタの特性が打ち消された前記第１の画像に、第２のフィルタを適用した第２の画像を生成する処理をコンピュータに実行させる。
１つの側面では、適切な学習用の画像と正解ラベルのペアを、効率良く生成することができる。
以下に、本発明に係る生成プログラム、生成方法、生成装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
まず、図１を用いて、ＣＴ画像による類似症例の検索について説明する。図１に示すように、検索キーとなるＣＴ画像から、機械学習を用いた方法及び画像解析により異常陰影の候補が抽出される。そして、抽出された異常陰影の候補とデータベースに保存済みの過去の症例の陰影のデータとの照合が行われ、検索キーと類似する画像の一覧が検索結果として得られる。
図２は、生成システムの構成例を示す図である。図２に示すように、生成システム１は、生成装置１０、記憶装置２０、画像入力装置３０及び計算機４０を有する。例えば、計算機４０は、ユーザが操作するパーソナルコンピュータ等の端末である。また、例えば、生成装置１０、記憶装置２０及び画像入力装置３０は、サーバである。また、生成システム１の各装置の機能の一部及び全部は、一体として構成されていてもよい。
図１に示すように、生成装置１０は、画像入力装置３０から入力された画像を基に、学習用の画像と正解ラベルのペアを生成する。その際、生成装置１０は、必要に応じて記憶装置２０に記憶されている情報を参照する。また、生成装置１０は、計算機４０を介して行われた操作に応じて処理を行ってもよい。
生成装置１０は、決定部１０１、変換部１０２、生成部１０３及び付与部１０４を有する。また、記憶装置２０は、学習データ情報２０１、撮影条件情報２０２及び生成データ情報２０３を記憶する。
学習データ情報２０１は、既存の学習用の画像に関する情報を含む。例えば、既存の学習用の画像は、実際にＣＴ機器等によって撮影され、再構成関数が適用された画像のデータである。
図３は、学習データ情報のデータ構造の例を示す図である。図３に示すように、学習データ情報２０１は、ファイル名、リンク、ＩＤを含む。ファイル名は、画像ファイルの名称である。リンクは画像ファイルの格納場所のパスである。ＩＤは、画像と生成された画像とを紐付けるためのインデックスである。画像の生成については後述する。例えば、図３の例では、「Ｉｍａｇｅ１」という名称の画像ファイルのＩＤは「ＩＭＧ１」である。
撮影条件情報２０２は、撮影条件に関する情報を含む。例えば、撮影条件は、画像を撮影するＣＴ機器の種類及び再構成関数である。また、撮影条件は、管電圧等を含んでいてもよい。
図４は、撮影条件情報のデータ構造の例を示す図である。図４に示すように、撮影条件情報２０２は、撮影機器、再構成関数、時間データ、リンク（時間データ）、周波数データ、リンク（周波数データ）、生成を含む。撮影機器及び再構成関数は、撮影条件に相当する。時間データは、時間領域のＰＳＦの有無を管理するためのフラグである。リンク（時間データ）は、時間領域のＰＳＦデータの格納場所である。周波数データは、周波数領域のＰＳＦの有無を管理するためのフラグである。リンク（周波数データ）は、周波数領域のＰＳＦデータの格納場所である。なお、格納場所は、実際にデータが格納されている場所であってもよいし、対応するデータが生成された場合に格納される予定の場所であってもよい。生成は、学習データの生成への利用を管理するためのフラグである。例えば、図４の例では、撮影機器が「Ｄ１」、再構成関数が「Ｆ１」である場合の時間データ及び周波数データは無く、データ生成に利用する撮影条件である。
図５は、生成データ情報のデータ構造の例を示す図である。図５に示すように、生成データ情報２０３は、ファイル名、リンク、ＩＤを含む。ファイル名は、画像ファイルの名称である。リンクは画像ファイルの格納場所のパスである。ＩＤは、画像と生成された画像とを紐付けるためのインデックスである。例えば、図５の例では、「Ｉｍａｇｅ１＿ＰＳＦ１」という名称の画像ファイルのＩＤは「ＩＭＧ１」である。
図６は、画像と正解ラベルのペアの生成方法を説明する図である。図５に示すように、生成装置１０は、既存の学習用の画像２０１ａを基に画像生成を行い、画像２０３ａを生成する。このとき、生成装置１０は、画像２０１ａに付されていた正解ラベルと同じ正解ラベルを画像２０３ａに付与する。以下、画像と正解ラベルのペアを生成するための、生成装置１０の各処理部の詳細を説明する。
決定部１０１は、第１の画像に適用された第１のフィルタを決定する。ここで、第１の画像は既存の学習用の画像であり、決定部１０１は、第１の画像の情報を学習データ情報２０１から取得する。
ここで、本実施例におけるフィルタは、ＰＳＦである。ＰＳＦは、畳み込み演算により画像に適用される。そのため、例えば、決定部１０１は、第１の画像に畳み込み演算により適用された第１のＰＳＦを決定する。
また、ＰＳＦは撮影条件と対応付けられている。また、撮影条件には、撮影機器の種類と再構成関数が含まれる。そのため、例えば、決定部１０１は、第１の画像の撮影条件である第１の撮影条件に対応付けられた第１のフィルタを決定する。また、決定部１０１は、第１の画像の撮影機器及び再構成関数の組み合わせである第１の撮影条件に対応付けられた第１のフィルタを決定する。
例えば、決定部１０１は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）画像に付随するタグから撮影機器名（種類）及び再構成関数を抽出することができる。ＤＩＣＯＭタグ（0008, 1090）のManufacturer’s Model Nameは撮影機器名に対応する。また、ＤＩＣＯＭタグ（0018, 1210）のConvolution Kernelは再構成関数に対応する。
また、撮影機器ごとの再構成関数の一覧が、計算機４０を通じてユーザにより生成装置１０に入力されていてもよい。例えば、ユーザは、撮影機器Ｄ１で再構成関数Ｆ１及びＦ３が使用されることを入力する。また、例えば、ユーザは、撮影機器Ｄ２で再構成関数Ｆ２及びＦ４が使用されることを入力する。
決定部１０１は、金属ワイヤ（ファントム）の撮影によるＰＳＦ決定を行うことができる（参考文献：市川勝弘, 原孝則, 丹羽伸次, 大橋一也, “CTにおける金属ワイヤによるMTFの測定法,” 日本放射線学会雑誌, 2008.）。また、決定部１０１は、ＣＴ画像中の血管を利用したＰＳＦ決定を行うことができる（参考文献：河田佳樹, 中屋良宏, 仁木登, 大松広伸, 江口研二, 金子昌弘, 森山 紀之, “ＣＴ像からのＰＳＦ測定法,” 電子情報通信学会論文誌, 2008.）。
さらに、決定部１０１は、データの生成に利用するＰＳＦを決定する。ここで、学習データとして利用するデータは、様々なバリエーションを有する画像が適しており、バリエーション（例えば、画質の違い）は、ＰＳＦの形状によって変化する。そのため、既存の学習用の画像の撮影条件のＰＳＦと異なる（類似していない）ＰＳＦを有する画像を生成することで、データの網羅性を向上させることが可能である。そこで、決定部１０１は、既存の学習用の画像の撮影条件のＰＳＦと生成する画像の撮影条件のＰＳＦとの分布の類似度がある閾値以下のＰＳＦを決定する。
また、決定部１０１は、識別を行う対象ごとにＰＳＦを決定する。例えば、画像データの収集が困難な医用画像は、症例ごとに撮影条件に偏りが存在する可能性があるため、識別を行う対象すべてに同一のＰＳＦを用いた学習データの生成が適しているとは限らない。
ここで、互いに分布の異なるＰＳＦ１、ＰＳＦ２、ＰＳＦ３があり、症例Ａの学習データにはＰＳＦ１、ＰＳＦ２、症例Ｂの学習データにはＰＳＦ１、ＰＳＦ３がそれぞれ含まれているとする。この場合、症例ＡにはＰＳＦ３による学習データの生成、症例ＢにはＰＳＦ２による学習データの生成が適している。なお、ＰＳＦの分布の類似は、例えば、（１）式に示す正規化相互相関関数Ｒによって算出されてもよい。
ただし、Ｉ（ｘ，ｙ）は、既存の学習データとして利用されているＰＳＦである。また、Ｔ（ｘ，ｙ）は、生成する学習データのＰＳＦである。また、ｈはＰＳＦの高さである。また、ｗはＰＳＦの幅である。
変換部１０２は、時間領域のＰＳＦ又は画像を、フーリエ変換により周波数領域へ変換する。また、変換部１０２は、周波数領域のＰＳＦ又は画像を、フーリエ変換により時間領域へ変換する。
変換部１０２は、時間領域の画像であるＩ（ｘ，ｙ）を、（２）式のように周波数領域に変換する。Ｆ｛ ｝はフーリエ変換である。
変換部１０２は、時間領域のＰＳＦであるＰ（ｘ，ｙ）を、（３）式のように周波数領域に変換する。
生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第２のフィルタを適用した第２の画像を生成する。例えば、生成部１０３は、フーリエ変換により周波数領域に変換され、さらに乗算により第１のＰＳＦの特性が打ち消された第１の画像に、フーリエ変換により周波数領域に変換された第２のＰＳＦを乗算により適用して得られた結果を、フーリエ逆変換による時間領域に変換した画像を、第２の画像として生成する。
ここで、Ｉ（ｘ，ｙ）をＣＴ画像とする。ＣＴ機器で取得した投影データ（生データ）をＯ（ｘ，ｙ）とする。また、ＰＳＦをＰ（ｘ，ｙ）とする。このとき、Ｉ（ｘ，ｙ）は、（４）式のように表される。ただし、＊は畳み込み演算子（フィルタリング処理）である。
生成部１０３は、（５）式によりＦ（Ｉ´（ｘ，ｙ））を生成する。Ｆ（Ｉ´（ｘ，ｙ））は、フーリエ変換により周波数領域に変換され、さらに乗算により第１のＰＳＦの特性が打ち消された第１の画像に、フーリエ変換により周波数領域に変換された第２のＰＳＦを乗算により適用して得られた結果である。
Ｆ｛Ｐ（ｘ，ｙ）｝／Ｆ｛Ｐ（ｘ，ｙ）｝は、撮影条件（ＰＳＦ）の打ち消しを意味する。また、Ｆ｛Ｐ（ｘ，ｙ）｝やＦ｛Ｐ´（ｘ，ｙ）｝を掛けることは、ＰＳＦの適用を意味する。このように、時間領域における畳み込み演算は、周波数領域における乗算で表現できる。
さらに、生成部１０３は、（６）式により第２の画像Ｉ´（ｘ，ｙ）を生成する。Ｉ´（ｘ，ｙ）は、Ｆ（Ｉ´（ｘ，ｙ））をフーリエ逆変換による時間領域に変換した画像である。
ＰＳＦはフィルタの一例である。また、ＰＳＦは撮影条件に対応する。このため、生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した画像を、第２の画像として生成する。
撮影条件は、例えば撮影機器及び再構成関数の組み合わせということができる。このため、生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第１の撮影条件と異なる撮影機器及び再構成関数の組み合わせである第２の撮影条件に対応付けられた第２のフィルタを適用した画像を、第２の画像として生成する。
付与部１０４は、第１の画像に付与された機械学習用の正解ラベルを、第２の画像に付与する。付与部１０４は、人体のＣＴ画像である第１の画像に付与された、症例に対応した正解ラベルを第２の画像に付与する。例えば、図６に示すように、既存の学習用の画像２０１ａに付与されていた正解ラベルが「症例Ａ」であれば、付与部１０４は、生成部１０３によって生成された画像２０３ａにも正解ラベル「症例Ａ」を付与する。
図７は、生成装置の処理の流れを示すフローチャートである。図７に示すように、生成装置１０は、まず画像を取得する（ステップＳ１）。ここでは、生成装置１０は、既存の学習用の画像であって、正解ラベルが付与された画像を取得する。
次に、生成装置１０は、ＰＳＦ決定処理を行う（ステップＳ２）。そして、生成装置１０は、ＰＳＦ変換処理を行う（ステップＳ３）。ここで、生成装置１０は、画像生成処理を行う（ステップＳ４）。さらに、生成装置１０は、正解ラベル付与処理を行う（ステップＳ５）。そして、生成装置１０は、処理結果を出力する（ステップＳ６）。
処理を続行するための条件が満たされている場合（ステップＳ７、Ｙｅｓ）、生成装置１０はステップＳ１に戻り処理を繰り返す。処理を続行するための条件が満たされていない場合（ステップＳ７、Ｎｏ）、生成装置１０は、処理を終了する。例えば、処理を続行するための条件は、規定の数の画像が生成されていないこと等である。
図８は、ＰＳＦ決定処理の流れを示すフローチャートである。図８の処理は、図７のＰＳＦ決定処理（ステップＳ２）に相当する。まず、決定部１０１は、記憶装置２０から学習に利用する画像を取得する（ステップＳ１０１）。次に、決定部１０１は、画像のタグから撮影条件を特定する（ステップＳ１０２）。例えば、記憶装置２０に保存されている学習に利用する画像は、ＣＴ機器によって撮影され再構成関数が適用された既存の学習用の画像である。
他に学習に利用する画像が存在する場合（ステップＳ１０３、Ｙｅｓ）、決定部１０１はステップＳ１０２に戻り処理を繰り返す。一方、他に学習に利用する画像が存在しない場合（ステップＳ１０３、Ｎｏ）、決定部１０１はステップＳ１０５に進む。また、ステップＳ１０１～Ｓ１０３と並行して、決定部１０１は、撮影装置で取得可能な撮影条件を取得しておく（ステップＳ１０４）。
記憶装置２０に撮影条件に対応するＰＳＦの"時間データ"フラグが０である場合（ステップＳ１０５、Ｙｅｓ）、決定部１０１は、ＰＳＦを決定し、"時間データ"フラグを１に設定する（ステップＳ１０６）。一方、記憶装置２０に撮影条件に対応するＰＳＦの"時間データ"フラグが０でない場合（ステップＳ１０５、Ｎｏ）、決定部１０１はステップＳ１０７に進む。
処理を行っていない撮影条件が存在する場合（ステップＳ１０７、Ｙｅｓ）、決定部１０１は、ステップＳ１０５に戻り処理を繰り返す。一方、処理を行っていない撮影条件が存在しない場合（ステップＳ１０７、Ｎｏ）、決定部１０１は、学習データの生成に利用するＰＳＦを決定する（ステップＳ１０８）。そして、決定部１０１は、利用するＰＳＦの"生成"フラグを１に設定する（ステップＳ１０９）。
図９は、ＰＳＦ変換処理の流れを示すフローチャートである。図９の処理は、図７のＰＳＦ変換処理（ステップＳ３）に相当する。まず、変換部１０２は、記憶装置２０から学習に利用する画像を取得する（ステップＳ２０１）。そして、変換部１０２は、学習に利用する画像を周波数変換し、記憶装置２０に格納する（ステップＳ２０２）。
処理を行っていない画像が存在する場合（ステップＳ２０３、Ｙｅｓ）、変換部１０２はステップＳ２０２に戻り処理を繰り返す。一方、処理を行っていない画像が存在しない場合（ステップＳ２０３、Ｎｏ）、変換部１０２は、処理を終了する。
変換部１０２は、ステップＳ２０１～Ｓ２０３と並行して以下の処理を行う。まず、変換部１０２は、記憶装置２０から撮影条件を取得する（ステップＳ２０４）。ここで、撮影条件に対応するＰＳＦの"生成"フラグが１かつ"周波数データ"フラグが０である場合（ステップＳ２０５、Ｙｅｓ）、変換部１０２はステップＳ２０６に進む。一方、撮影条件に対応するＰＳＦの"生成"フラグが１でないか、又は、"周波数データ"フラグが０でない場合（ステップＳ２０５、Ｎｏ）、変換部１０２はステップＳ２０７に進む。
変換部１０２は、撮影条件に対応するＰＳＦを周波数変換し、記憶装置２０に格納し、"周波数"フラグを１に設定する（ステップＳ２０６）。以降、このとき格納した周波数領域に変換済みのＰＳＦを、周波数データと呼ぶ。ここで、処理を行っていない撮影条件が存在する場合（ステップＳ２０７、Ｙｅｓ）、変換部１０２は、ステップＳ２０５に戻り処理を繰り返す。一方、処理を行っていない撮影条件が存在しない場合（ステップＳ２０７、Ｎｏ）、変換部１０２は処理を終了する。
図１０は、画像生成処理の流れを示すフローチャートである。図１０の処理は、図７の画像生成処理（ステップＳ４）に相当する。まず、生成部１０３は、記憶装置２０から学習に利用する画像の周波数変換結果を取得する（ステップＳ３０１）。また、生成部１０３は、記憶装置２０から学習に利用する画像の撮影条件に対応したＰＳＦの周波数変換結果を取得する（ステップＳ３０２）。
ここで、生成部１０３は、画像の撮影条件の特性を打ち消す（ステップＳ３０３）。なお、ＰＳＦ及び画像が周波数領域に変換済みの場合、生成部１０３は、乗算により撮影条件の特性の打ち消し及び周波数データの適用を行うことができる。また、生成部１０３は、記憶装置２０から撮影条件を取得する（ステップＳ３０４）。
ここで、"生成"フラグが１でない場合（ステップＳ３０５、Ｎｏ）、生成部１０３はステップＳ３０９に進む。一方、"生成"フラグが１である場合（ステップＳ３０５、Ｙｅｓ）、生成部１０３は、周波数データを取得する（ステップＳ３０６）。そして、生成部１０３は、撮影条件の特性を打ち消した結果に対して周波数データを適用し、記憶装置２０に格納する（ステップＳ３０７）。さらに、生成部１０３は、学習に利用する画像と生成した画像を紐づける固有のＩＤを付与する（ステップＳ３０８）。
ここで、処理していない撮影条件が存在する場合（ステップＳ３０９、Ｙｅｓ）、生成部１０３はステップＳ３０５に戻り処理を繰り返す。一方、処理していない撮影条件が存在しない場合（ステップＳ３０９、Ｎｏ）、生成部１０３はステップＳ３１０に進む。
ここで、処理していない画像が存在する場合（ステップＳ３１０、Ｙｅｓ）、生成部１０３はステップ３０１に戻り処理を繰り返す。一方、処理していない画像が存在しない場合（ステップＳ３１０、Ｎｏ）、生成部１０３は処理を終了する。
図１１は、正解ラベル付与処理の流れを示すフローチャートである。図１１の処理は、図７の正解ラベル付与処理（ステップＳ５）に相当する。まず、付与部１０４は、記憶装置２０から画像生成処理で得られた画像を取得する（ステップＳ４０１）。次に、付与部１０４は、ＩＤを基に画像生成処理で得られた画像に紐づく元画像を取得する（ステップＳ４０２）。さらに、付与部１０４は、元画像に付与されている正解ラベルを取得する（ステップＳ４０３）。
ここで、付与部１０４は、画像生成処理で得られた画像に元画像から取得した正解ラベルを付与する（ステップＳ４０４）。ここで、処理していない画像が存在する場合（ステップＳ４０５、Ｙｅｓ）、付与部１０４はステップＳ４０１に戻り処理を繰り返す。一方、処理していない画像が存在しない場合（ステップＳ４０５、Ｎｏ）、付与部１０４は処理を終了する。
上述したように、決定部１０１は、第１の画像に適用された第１のフィルタを決定する。生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第２のフィルタを適用した第２の画像を生成する。このように、生成装置１０は、既存の画像を基に、異なるフィルタが適用された画像を自動的に生成する。その結果、本実施例によれば、適切な学習用の画像と正解ラベルのペアを、効率良く生成することができる。
例えば、本実施例をＣＴ画像に適用する場合、医師の手作業によるデータ作成コストを低減することができる。また、特に学習データとして利用したい撮影条件で撮影された画像が少ない場合や存在しない場合であっても、学習データを生成することができ、また、異なる撮影条件で撮影された画像に対しても高い識別精度を得ることができる。
決定部１０１は、第１の画像に畳み込み演算により適用された第１のＰＳＦを決定する。生成部１０３は、フーリエ変換により周波数領域に変換され、さらに乗算により第１のＰＳＦの特性が打ち消された第１の画像に、フーリエ変換により周波数領域に変換された第２のＰＳＦを乗算により適用して得られた結果を、フーリエ逆変換による時間領域に変換した画像を、第２の画像として生成する。このように、周波数変換を行うことで、畳み込み演算によって適用されたフィルタの打ち消しや、再適用を乗算により容易に行うことができる。
決定部１０１は、第１の画像の撮影条件である第１の撮影条件に対応付けられた第１のフィルタを決定する。生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した画像を、第２の画像として生成する。これにより、同じ対象物を撮影した画像であって、撮影条件が異なる画像を容易に生成することができる。
決定部１０１は、第１の画像の撮影機器及び再構成関数の組み合わせである第１の撮影条件に対応付けられた第１のフィルタを決定する。生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第１の撮影条件と異なる撮影機器及び再構成関数の組み合わせである第２の撮影条件に対応付けられた第２のフィルタを適用した画像を、第２の画像として生成する。これにより、医療のように学習データの入手が難しい分野においても、学習用の画像を容易に得ることができる。
付与部１０４は、第１の画像に付与された機械学習用の正解ラベルを、第２の画像に付与する。これにより、正解ラベルが共通で画像が異なる学習データを生成することができる。
付与部１０４は、人体のＣＴ画像である第１の画像に付与された、症例に対応した正解ラベルを第２の画像に付与する。これにより、実際に撮影をすることなく、既存の画像と同じ症例の画像を生成することができる。
ここで、（７）式のように、時間領域における畳み込み演算が、周波数領域では乗算で表現可能であることを証明する。
まず、畳み込み演算は（８）式のように定義される。
また、離散時間フーリエ変換は（９）式のように定義される。
このとき、（１０）式により、離散時間フーリエ変換により変換された畳み込み演算は、乗算で表現されることが証明される。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図１２は、ハードウェア構成例を説明する図である。図１２に示すように、生成装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１２に示した各部は、バス等で相互に接続される。
通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、生成装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、決定部１０１、変換部１０２、生成部１０３及び付与部１０４と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、決定部１０１、変換部１０２、生成部１０３及び付与部１０４等と同様の処理を実行するプロセスを実行する。
このように生成装置１０は、プログラムを読み出して実行することで学習類方法を実行する情報処理装置として動作する。また、生成装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、生成装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
１ 生成システム
１０ 生成装置
２０ 記憶装置
３０ 画像入力装置
４０ 計算機
１０１ 決定部
１０２ 変換部
１０３ 生成部
１０４ 付与部
２０１ 学習データ情報
２０２ 撮影条件情報
２０３ 生成データ情報
１０ 生成装置
２０ 記憶装置
３０ 画像入力装置
４０ 計算機
１０１ 決定部
１０２ 変換部
１０３ 生成部
１０４ 付与部
２０１ 学習データ情報
２０２ 撮影条件情報
２０３ 生成データ情報
Claims (6)
- 第１の画像の撮影条件である第１の撮影条件に対応付けられ、前記第１の画像に適用された第１のフィルタを決定し、
前記第１のフィルタの特性が打ち消された前記第１の画像に、前記第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した第２の画像を生成し、
前記第１の画像に付与された機械学習用の正解ラベルを、前記第２の画像に付与する
処理をコンピュータに実行させることを特徴とする生成プログラム。 - 前記決定する処理は、前記第１の画像に畳み込み演算により適用された第１のＰＳＦを決定し、
前記生成する処理は、フーリエ変換により周波数領域に変換され、さらに乗算により前記第１のＰＳＦの特性が打ち消された前記第１の画像に、フーリエ変換により周波数領域に変換された第２のＰＳＦを乗算により適用して得られた結果を、フーリエ逆変換による時間領域に変換した画像を、前記第２の画像として生成することを特徴とする請求項１に記載の生成プログラム。 - 前記決定する処理は、前記第１の画像の撮影機器及び再構成関数の組み合わせである第１の撮影条件に対応付けられた前記第１のフィルタを決定し、
前記生成する処理は、前記第１のフィルタの特性が打ち消された前記第１の画像に、前記第１の撮影条件と異なる撮影機器及び再構成関数の組み合わせである前記第２の撮影条件に対応付けられた前記第２のフィルタを適用した画像を、前記第２の画像として生成することを特徴とする請求項１に記載の生成プログラム。 - 前記付与する処理は、人体のＣＴ（Computed Tomography）画像である前記第１の画像に付与された、症例に対応した正解ラベルを前記第２の画像に付与することを特徴とする請求項１に記載の生成プログラム。
- 第１の画像の撮影条件である第１の撮影条件に対応付けられ、前記第１の画像に適用された第１のフィルタを決定し、
前記第１のフィルタの特性が打ち消された前記第１の画像に、前記第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した第２の画像を生成し、
前記第１の画像に付与された機械学習用の正解ラベルを、前記第２の画像に付与する
処理をコンピュータが実行することを特徴とする生成方法。 - 第１の画像の撮影条件である第１の撮影条件に対応付けられ、前記第１の画像に適用された第１のフィルタを決定し、
前記第１のフィルタの特性が打ち消された前記第１の画像に、前記第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した第２の画像を生成し、
前記第１の画像に付与された機械学習用の正解ラベルを、前記第２の画像に付与する
制御部を含むことを特徴とする生成装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020103246A JP7439656B2 (ja) | 2020-06-15 | 2020-06-15 | 生成プログラム、生成方法、生成装置 |
| EP21168554.0A EP3926538A1 (en) | 2020-06-15 | 2021-04-15 | Training data generation program, training data generation method, and training data generation apparatus |
| US17/233,539 US20210391060A1 (en) | 2020-06-15 | 2021-04-19 | Computer-readable recording medium, training data generation method, and training data generation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020103246A JP7439656B2 (ja) | 2020-06-15 | 2020-06-15 | 生成プログラム、生成方法、生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021194261A JP2021194261A (ja) | 2021-12-27 |
| JP7439656B2 true JP7439656B2 (ja) | 2024-02-28 |
Family
ID=75539156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020103246A Active JP7439656B2 (ja) | 2020-06-15 | 2020-06-15 | 生成プログラム、生成方法、生成装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210391060A1 (ja) |
| EP (1) | EP3926538A1 (ja) |
| JP (1) | JP7439656B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005058760A (ja) | 2003-07-31 | 2005-03-10 | Toshiba Corp | 画像データ処理装置及び画像データ処理方法 |
| JP2013175003A (ja) | 2012-02-24 | 2013-09-05 | Osaka Prefecture Univ | Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置 |
| JP6125126B1 (ja) | 2017-01-18 | 2017-05-10 | 典人 畠山 | Ｘ線撮影条件補正方法、プログラム、及び、ｘ線システム |
| JP2018110714A (ja) | 2017-01-12 | 2018-07-19 | オムロン株式会社 | 画像処理装置及び画像処理方法 |
| JP2019074868A (ja) | 2017-10-13 | 2019-05-16 | キヤノン株式会社 | 診断支援装置、情報処理方法、診断支援システム及びプログラム |
| JP2020054579A (ja) | 2018-10-01 | 2020-04-09 | 富士フイルム株式会社 | 疾患領域抽出装置、方法及びプログラム |
| US20200160977A1 (en) | 2018-11-21 | 2020-05-21 | Enlitic, Inc. | Utilizing density properties of anatomical features in an intensity transform augmentation system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4835459B2 (ja) * | 2007-02-16 | 2011-12-14 | 富士通株式会社 | 表認識プログラム、表認識方法および表認識装置 |
| JP6354186B2 (ja) * | 2014-02-07 | 2018-07-11 | 富士通株式会社 | 情報処理装置、ぼけ具合計算方法、及びプログラム |
| JP7005162B2 (ja) | 2017-04-06 | 2022-01-21 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
| JP2019056957A (ja) | 2017-09-19 | 2019-04-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体 |
| JP7111088B2 (ja) * | 2019-01-24 | 2022-08-02 | カシオ計算機株式会社 | 画像検索装置、学習方法及びプログラム |
| WO2020183799A1 (ja) * | 2019-03-11 | 2020-09-17 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
-
2020
- 2020-06-15 JP JP2020103246A patent/JP7439656B2/ja active Active
-
2021
- 2021-04-15 EP EP21168554.0A patent/EP3926538A1/en active Pending
- 2021-04-19 US US17/233,539 patent/US20210391060A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005058760A (ja) | 2003-07-31 | 2005-03-10 | Toshiba Corp | 画像データ処理装置及び画像データ処理方法 |
| JP2013175003A (ja) | 2012-02-24 | 2013-09-05 | Osaka Prefecture Univ | Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置 |
| JP2018110714A (ja) | 2017-01-12 | 2018-07-19 | オムロン株式会社 | 画像処理装置及び画像処理方法 |
| JP6125126B1 (ja) | 2017-01-18 | 2017-05-10 | 典人 畠山 | Ｘ線撮影条件補正方法、プログラム、及び、ｘ線システム |
| JP2019074868A (ja) | 2017-10-13 | 2019-05-16 | キヤノン株式会社 | 診断支援装置、情報処理方法、診断支援システム及びプログラム |
| JP2020054579A (ja) | 2018-10-01 | 2020-04-09 | 富士フイルム株式会社 | 疾患領域抽出装置、方法及びプログラム |
| US20200160977A1 (en) | 2018-11-21 | 2020-05-21 | Enlitic, Inc. | Utilizing density properties of anatomical features in an intensity transform augmentation system |
Non-Patent Citations (1)
| Title |
|---|
| K. S. Kim et al.，A Compressed-Sensing Based Blind Deconvolution Method for Image Deblurring in Dental Cone-Beam Computed Tomography，Journal of Digital Imaging，米国，Society for Imaging Infomatics in Medicine，2018年09月20日，Vol. 32，pp. 478-488，DOI: 10.1007/s10278-018-0120-9 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021194261A (ja) | 2021-12-27 |
| US20210391060A1 (en) | 2021-12-16 |
| EP3926538A1 (en) | 2021-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902588B2 (en) | Anatomical segmentation identifying modes and viewpoints with deep learning across modalities | |
| Booz et al. | Artificial intelligence in bone age assessment: accuracy and efficiency of a novel fully automated algorithm compared to the Greulich-Pyle method | |
| JP6998747B2 (ja) | データ管理装置及びコンテンツデータの提供方法 | |
| US20130124527A1 (en) | Report authoring | |
| CN102037468A (zh) | 具有过程工作流程记录的医学工作流程系统及方法 | |
| JP2015203920A (ja) | 類似症例検索システム、類似症例検索方法及びプログラム | |
| Mansour | Evolutionary computing enriched ridge regression model for craniofacial reconstruction | |
| US20190051405A1 (en) | Data generation apparatus, data generation method and storage medium | |
| Sunnetci et al. | Comparative parotid gland segmentation by using ResNet‐18 and MobileNetV2 based DeepLab v3+ architectures from magnetic resonance images | |
| JP2009078082A (ja) | 医用情報処理システム、医用情報処理方法、及びプログラム | |
| US11238974B2 (en) | Information processing apparatus, information processing method, and storage medium storing program | |
| Weber et al. | Cascaded latent diffusion models for high-resolution chest x-ray synthesis | |
| Zhang et al. | C2‐GAN: Content‐consistent generative adversarial networks for unsupervised domain adaptation in medical image segmentation | |
| JP7439656B2 (ja) | 生成プログラム、生成方法、生成装置 | |
| Patel et al. | Cross attention transformers for multi-modal unsupervised whole-body pet anomaly detection | |
| JP2022035396A (ja) | 画像変換プログラム、方法、および装置 | |
| US10115316B2 (en) | Question generator based on elements of an existing question | |
| WO2019208130A1 (ja) | 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム | |
| JP2023122528A (ja) | 認知症診断に必要な情報の提供方法及び装置 | |
| US7558427B2 (en) | Method for analyzing image data | |
| CN114722925B (zh) | 病灶分类装置与非易失性计算机可读存储介质 | |
| Ning et al. | LDGAN: Longitudinal-diagnostic generative adversarial network for disease progression prediction with missing structural MRI | |
| US20190108917A1 (en) | Method and system for supporting clinical decisions | |
| Behrendt et al. | Data-efficient vision transformers for multi-label disease classification on chest radiographs | |
| Patil et al. | A Review on Disease Prediction using Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7439656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |