JP7192512B2 - 学習プログラム、学習装置及び学習方法 - Google Patents

学習プログラム、学習装置及び学習方法 Download PDF

Info

Publication number
JP7192512B2
JP7192512B2 JP2019003849A JP2019003849A JP7192512B2 JP 7192512 B2 JP7192512 B2 JP 7192512B2 JP 2019003849 A JP2019003849 A JP 2019003849A JP 2019003849 A JP2019003849 A JP 2019003849A JP 7192512 B2 JP7192512 B2 JP 7192512B2
Authority
JP
Japan
Prior art keywords
image
shadow
decoder
learning
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019003849A
Other languages
English (en)
Other versions
JP2020113083A (ja
Inventor
優 安富
健人 上村
孝 河東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019003849A priority Critical patent/JP7192512B2/ja
Priority to EP19215565.3A priority patent/EP3680854B1/en
Priority to US16/717,563 priority patent/US11494696B2/en
Publication of JP2020113083A publication Critical patent/JP2020113083A/ja
Application granted granted Critical
Publication of JP7192512B2 publication Critical patent/JP7192512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Description

本発明は、学習プログラム、学習装置及び学習方法に関する。
従来、医療における診察や構造物の非破壊検査等を目的として、超音波画像を用いた画像処理による物体検出や状態判別等が行われている。このような超音波画像の画像処理には、機械学習により学習が行われたディープニューラルネット（ＤＮＮ：deep neural net）等のモデルが利用される。
また、超音波画像には、物質ごとの超音波の伝達速度の違いや超音波の反射等に起因し、影が映り込む場合がある。その場合、画像処理の精度が低下することになる。これに対し、人体の特定の部位を撮像した超音波画像における影の有無を、ルールベースで判別する技術が提案されている。
Hellier, Pierre, et al. "An automatic geometrical and statistical method to detect acoustic shadows in intraoperative ultrasound brain images." Medical Image Analysis 14.2 (2010): 195-204.
しかしながら、上記の技術では、超音波画像の影の有無の判別における汎用性が低くなる場合があるという問題がある。例えば、上記の技術では、人体の部位ごとにルール及び判別モデルを用意する必要があり、汎用的でない。
１つの側面では、超音波画像の影の有無の判別における汎用性を向上させることを目的とする。
１つの態様において、学習プログラムは、コンピュータに、超音波入力画像における超音波反射状況に対応した影を含む影画像を生成する処理を実行させる。学習プログラムは、コンピュータに、超音波入力画像と影画像を合成した合成画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力する処理を実行させる。学習プログラムは、コンピュータに、再構成誤差、誤差関数及び尤度関数に基づき、エンコーダ、第１のデコーダ、及び、第２のデコーダの学習を実行させる。再構成誤差は、第１のデコーダの出力である第１の画像と第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と合成画像との再構成誤差である。誤差関数は、第１の画像の影画像における影部分に対応する領域と影画像の影との誤差関数である。尤度関数は、第２の画像についての超音波画像における対象物に関する尤度関数である。
１つの側面では、超音波画像の影の有無の判別における汎用性を向上させることができる。
図１は、実施例に係る学習装置の機能構成の一例を示す図である。 図２は、学習処理について説明するための図である。 図３は、影画像の生成について説明するための図である。 図４は、学習の経過を説明するための図である。 図５は、超音波画像のヒストグラムの一例を示す図である。 図６は、ベータ分布について説明するための図である。 図７は、実施例に係る画像処理システムの一例を示す図である。 図８は、実施例に係る認識装置の機能構成の一例を示す図である。 図９は、認識処理について説明するための図である。 図１０は、学習処理の流れを示すフローチャートである。 図１１は、更新処理の流れを示すフローチャートである。 図１２は、画像認識処理の流れを示すフローチャートである。 図１３は、後処理の流れを示すフローチャートである。 図１４は、ハードウェア構成例を説明する図である。
以下に、本発明にかかる学習プログラム、学習装置及び学習方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
実施例１について説明する。ここで、実施例１におけるモデルは、ＤＮＮを利用したオートエンコーダに基づくものであって、１つのエンコーダと、影デコーダ及び対象物デコーダの２つのデコーダを有する。さらに、モデルは、２つのデコーダの出力を合成する結合関数を有する。なお。影デコーダは第１のデコーダの一例である。また、対象物デコーダは第２のデコーダの一例である。
［機能構成］
図１を用いて、実施例に係る学習装置の機能構成について説明する。図１は、実施例に係る学習装置の機能構成の一例を示す図である。図１に示すように、学習装置１０は、インタフェース部１１、記憶部１２及び制御部１３を有する。
インタフェース部１１は、入出力装置との間のデータの入出力、及び他の装置との間でのデータの通信を行うためのインタフェースである。例えば、インタフェース部１１は、キーボードやマウス等の入力装置、ディスプレイやスピーカ等の出力装置、ＵＳＢメモリ等の外部記憶装置との間でデータの入出力を行う。また、例えば、インタフェース部１１はＮＩＣ（Network Interface Card）であり、インターネットを介してデータの通信を行う。
記憶部１２は、データや制御部１３が実行するプログラム等を記憶する記憶装置の一例であり、例えばハードディスクやメモリ等である。記憶部１２は、学習情報１２１、エンコーダ情報１２２、影デコーダ情報１２３及び対象物デコーダ情報１２４を記憶する。
学習情報１２１は、モデルの学習の際に用いられるハイパーパラメータ等の情報である。例えば、学習情報１２１には、学習率、バッチサイズ、尤度関数の分布パラメータ等が含まれる。
エンコーダ情報１２２は、エンコーダのパラメータである。また、影デコーダ情報１２３は、影デコーダのパラメータである。また、対象物デコーダ情報１２４は、対象物デコーダのパラメータである。以降、エンコーダ及び各デコーダの学習可能なパラメータをモデルパラメータと呼ぶ。例えば、モデルパラメータは、ＤＮＮの重み及びバイアスである。また、エンコーダ情報１２２、影デコーダ情報１２３及び対象物デコーダ情報１２４は、モデルの学習の際に更新される。
制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３は、生成部１３０、入力部１３１、結合部１３２及び学習部１３３を有する。また、学習部１３３は、計算部１３３ａ及び更新部１３３ｂを有する。
生成部１３０は、超音波入力画像における超音波反射状況に対応した影を含む影画像を生成する。生成部１３０は、所定の手法により影のみの画像を生成する。以降の説明では、生成部１３０が生成する影を生成影と呼び、生成影を含む画像を生成影画像と呼ぶ。ここで、実際にプローブを用いて生成した超音波入力画像に発生する影の形状や位置の傾向は、プローブの形状等に基づく超音波反射状況に応じて異なる。このため、生成部１３０は、超音波反射状況に応じて生成影画像を生成する。
入力部１３１は、超音波入力画像と生成影画像を合成した合成画像が入力されたエンコーダからの出力を、影デコーダと対象物デコーダとに入力する。また、結合部１３２は、結合関数を用いて、影デコーダの出力である影の画像と対象物デコーダの出力である対象物の画像とを合成する。なお、影の画像は第１の画像の一例である。また、対象物の画像は第２の画像の一例である。
学習部１３３は、再構成誤差、誤差関数及び尤度関数に基づき、エンコーダ、影デコーダ、及び、対象物デコーダの学習を実行する。再構成誤差は、影デコーダの出力である影の画像と対象物デコーダの出力である対象物の画像とを合成する結合関数の出力画像と合成画像との再構成誤差である。誤差関数は、影の画像の生成影画像における影部分に対応する領域と生成影画像の影との誤差関数である。尤度関数は、対象物の画像についての超音波画像における対象物に関する尤度関数である。
計算部１３３ａは、再構成誤差、誤差関数に基づく影の誤差、及び尤度関数に基づく尤度から損失関数を計算する。また、更新部１３３ｂは、損失関数が小さくなるようにエンコーダ、影デコーダ及び対象物デコーダのモデルパラメータを更新する。具体的には、更新部１３３ｂは、エンコーダ情報１２２、影デコーダ情報１２３及び対象物デコーダ情報１２４を更新する。
ここで、図２を用いて、学習装置１０による学習処理について説明する。図２は、学習処理について説明するための図である。図２に示すように、入力部１３１は、入力画像をエンコーダに入力する。
図２の超音波入力画像は、医療用のプローブを用いて得られた人の体内の超音波画像である。なお、以降の説明では、プローブから得られた信号を可視化した画像を超音波画像と呼ぶ。超音波画像においては、超音波を反射する臓器等の対象物がある部分が明るく表示されるものとする。一方、超音波画像において、映り込んだ影は暗く表示されるものとする。
例えば、超音波が人体の内部を伝わる速度は、超音波が水中を伝わる速度と同程度であるが、人の体内を撮像する際に、撮像領域に空気があると、超音波が伝わりにくくなり、超音波画像に影が発生することがある。図２の超音波入力画像は、図面の上側から対象物に超音波を当てて撮像した超音波画像である。また、超音波入力画像の斜線部は影である。
生成部１３０は、生成影画像を生成する。図２に示すように、生成影画像は、超音波入力画像と同サイズの枠の一部の領域に影を配置した画像である。生成部１３０は、任意の手法で生成影画像を生成することができる。
図３を用いて、生成影画像の生成方法について説明する。図３は、影画像の生成について説明するための図である。図３の実線で囲まれた領域は、プローブによる撮像領域を示している。生成部１３０は、図３の斜線領域に影を生成する。生成部１３０は、θ１、θ２及びｌをランダムに決定することで斜線領域を決定することができる。
ここで、撮像領域の形状はプローブの種類によって異なる。例えば、コンベックス型のプローブの場合、撮像領域の形状は図３に示すような扇形の一部になる。また、リニア型のプローブの場合、撮像領域は矩形になる。生成部１３０は、プローブの種類に合わせて撮像領域を設定し、影の生成を行うようにしてもよい。なお、ここで説明した生成方法は一例であり、生成部１３０は他の方法で生成影画像を生成してもよい。
入力部１３１は、超音波入力画像と生成影画像を合成し入力画像を生成する。超音波入力画像は、各画素に設定された画素値によって表される。画素値は、輝度を表す値であり、画素ごとに例えば０から２５５までの範囲（８ｂｉｔ）の数値で表される。一方、生成影画像は、影のない部分は１、影のある部分は［０，１）の範囲の数値（以降、影の数値）で表される。このため、入力部１３１は、超音波入力画像の画素値に生成影画像の影の数値を掛けることで、超音波入力画像の、生成影画像の影の部分に対応する部分が暗くなった画像を生成することができる。さらに、入力部１３１は、入力画像をエンコーダに入力する。
入力部１３１は、入力画像が入力されたエンコーダからの出力を影デコーダ及び対象物デコーダに入力する。つまり、エンコーダを、第１層として所定数のノードを持ち、最終層として第１層よりも少ない数のノードを持つニューラルネットワークとすると、当該最終層は、同じくニューラルネットワークである各デコーダの第１層に接続されている。
影デコーダ及び対象物デコーダは、画像を出力する。ここで、各デコーダの最終層のノード数をエンコーダの第１層のノード数と等しくすることで、各デコーダに入力画像と同サイズの画像を出力させることができる。
図２に示すように、結合部１３２は、対象物の画像と影の画像とを掛ける結合関数を用いて各画像を合成し、出力画像を生成する。学習が進むと、影デコーダは、生成影画像と同様に、影のない部分は１、影のある部分は［０，１）の範囲の数値で表される画像を出力するようになる。一方、対象物デコーダは、超音波入力画像と同等のスケールの画素値で表される画像を出力するようになる。
例えば、影の画像の座標（ｉ，ｊ）の画素の影の数値をｐｉｊ、影の画像の座標（ｉ，ｊ）の画素の画素値をｑｉｊとすると、結合部１３２は、出力画像の座標（ｉ，ｊ）の画素の画素値ｒｉｊを、ｒｉｊ＝ｐｉｊ・ｑｉｊのように計算することができる。
計算部１３３ａは、入力画像と、結合部１３２によって合成された出力画像との再構成誤差を計算する。計算部１３３ａは、既知のオートエンコーダと同様の手法で再構成誤差を計算することができる。
また、計算部１３３ａは、影デコーダによって出力された影の画像と生成影画像との誤差を計算する。このとき、計算部１３３ａは、誤差関数として、各画像の対応する画素の影の数値の二乗誤差を用いる。ただし、計算部１３３ａは、生成影画像において影を配置した領域についてのみ誤差を計算する。
ここで、学習が進むにしたがい、影デコーダが出力する影の画像は図４のように変化する。図４は、学習の経過を説明するための図である。図４に示すように、学習初期には、生成影及び実際に発生した影に対応する影がぼんやりと映っている。そして、学習中期には、生成影及び実際に発生した影に対応する影がややはっきりとしてくる。さらに、学習後期には、領域２０１に生成影に対応する影が表示され、領域２０２に実際に発生した影に対応する影が表示されていることがはっきりと確認できる。ただし、計算部１３３ａは、領域２０１についての誤差を計算するが、領域２０２についての誤差は計算しない。なお、学習初期、学習中期及び学習後期は、モデルパラメータの更新回数が一定回数だけ行われるたびに遷移していくものとする。
さらに、計算部１３３ａは、対象物の画像の尤度として、ＮＬＬ（negative log likelihood）を計算する。このとき、計算部１３３ａは、尤度関数として、画像の画素値に対応する値を変数とする関数であって、最大の画素値及び最小の画素値のいずれでもない所定の画素値に対応する変数に対して最大値をとる関数を用いる。これは、図５に示すように、超音波画像において、対象物は影や背景と比べて比較的明るく表示され、ヒストグラム上で当該対象物に対応する山ができるためである。図５は、超音波画像のヒストグラムの一例を示す図である。
具体的には、計算部１３３ａは、画像の画素値に対応する確率変数が０より大きく１より小さい所定の値であるときに最大値を取るようにパラメータが設定されたベータ分布の確率密度関数に基づく尤度関数を用いる。ベータ分布の確率密度関数は、（１）式のように表される。なお、（１）式のＢ（・）はベータ関数である。また、α、βはベータ分布の分布形状を決定するパラメータである。
Figure 0007192512000001
図６を用いて、α、βに応じたベータ分布の形状について説明する。図６は、ベータ分布について説明するための図である。ここで、図６に示すように、例えばα＝０．５、β＝０．５の場合、確率変数ｘが０又は１のときにＰＤＦ（確率密度関数：probability density function）が最大値を取る。また、例えばα＝２、β＝５の場合、確率変数ｘが約０．２のときにＰＤＦが最大値を取る。
ここで、図６のα、βの組み合わせのうち、「画像の画素値に対応する確率変数が０より大きく１より小さい所定の値であるときに最大値を取る」という条件を満たすのは、「α＝２、β＝２」及び「α＝２、β＝５」である。このため、計算部１３３ａは、例えばα＝２、β＝２が設定されたベータ分布の確率密度関数、及び、例えばα＝２、β＝５が設定されたベータ分布の確率密度関数を尤度関数として用いることができる。なお、有効なα、βの設定値はここで説明したものに限られず、条件を満たす任意の設定値であってよい。
対象物デコーダから出力される画像の画素値が０から２５５までの範囲で表されている場合であっても、計算部１３３ａは、画素値に１／２５５を掛けること等により正規化を行うことで、当該正規化した画素値を０から１までの確率変数とすることができる。
具体的には、計算部１３３ａは、（２）式のように対象物デコーダから出力された画像のＮＬＬを計算する。（２）式のｐ（・｜・）は、（１）式のベータ分布の確率密度関数である。また、α、βには、前述の通り条件を満たす値が設定される。また、（２）式のｍは、画像の各画素を示すインデックスである。また、ｘｍは、画素ｍの正規化された画素値である。
Figure 0007192512000002
計算部１３３ａは、影の画像の誤差と、対象物の画像のＮＬＬと、出力画像及び入力画像の構成誤差との線形和を損失関数として計算する。例えば、計算部１３３ａは、損失関数を、Ｗ１×（構成誤差）＋Ｗ２×（影の画像の誤差）＋Ｗ３×（対象物の画像のＮＬＬ）のように計算する。ここで、Ｗ１、Ｗ２及びＷ３は、あらかじめ設定される重みであり、ハイパーパラメータとして学習情報１２１に含まれていてもよい。また、Ｗ１、Ｗ２及びＷ３は、いずれも正かつＷ１＋Ｗ２＋Ｗ３＝１を満たすように設定されてもよい。
更新部１３３ｂは、損失関数が小さくなるように、エンコーダ、影デコーダ及び対象物デコーダのモデルパラメータを更新する。例えば、更新部１３３ｂは、誤差逆伝播法を用いてモデルパラメータの更新を行う。
画像処理システムは、学習装置１０において学習が行われたエンコーダ及び影デコーダを用いて画像処理を行うことができる。ここで、図７を用いて、画像処理システムについて説明する。図７は、実施例に係る画像処理システムの一例を示す図である。
図７に示すように、画像処理システム１は、認識装置２０、表示装置３０及びプローブ４０を有する。認識装置２０は、プローブ４０から受け取った信号を基に、超音波画像の生成及び所定の後処理等を行い、生成した超音波画像及び後処理の結果を表示装置３０に出力する。プローブ４０は、超音波を発生させ、さらに反射してきた超音波を受信する。また、プローブ４０は、超音波画像の生成を行い、生成した超音波画像を認識装置２０に送信するようにしてもよい。
画像処理システム１は、医師による診察に用いられる。例えば、プローブ４０は、医師によって患者の体表に当てられ、受信した超音波を信号として認識装置２０に送信する。認識装置２０は、プローブ４０から受け取った信号を基に生成した超音波画像を表示装置３０に表示させる。さらに、認識装置２０は、超音波画像における影の有無を判別し、影の有無に応じた後処理を行う。
認識装置２０は、後処理として、表示装置３０又は他の出力装置を介して、超音波画像に影が映っていることを医師に通知する処理を行うことができる。また、図７のように、認識装置２０は、生成した影の画像を表示装置３０に表示させてもよい。また、認識装置２０は、超音波画像と影の画像を合成し、超音波画像から影を取り除いた画像を生成してもよい。
ここでは、認識装置２０は、後処理として、超音波画像における影の有無に基づき、超音波画像に対して所定の画像認識を適用可能か否かを判定し、可能であれば画像認識を行うものとする。なお、画像認識には、例えば物体検出や状態判別等が含まれる。
図８を用いて、実施例に係る認識装置の機能構成について説明する。図８は、実施例に係る認識装置の機能構成の一例を示す図である。図８に示すように、認識装置２０は、インタフェース部２１、記憶部２２及び制御部２３を有する。
インタフェース部２１は、入出力装置との間のデータの入出力、及び他の装置との間でのデータの通信を行うためのインタフェースである。例えば、インタフェース部２１は、表示装置３０及びプローブ４０との間でデータの入出力を行う。
記憶部２２は、データや制御部２３が実行するプログラム等を記憶する記憶装置の一例であり、例えばハードディスクやメモリ等である。記憶部２２は、エンコーダ情報２２２及び影デコーダ情報２２３を記憶する。
エンコーダ情報２２２は、学習装置１０において学習が行われた後のエンコーダ情報１２２と同様のデータである。また、影デコーダ情報２２３は、学習装置１０において学習が行われた後の影デコーダ情報１２３と同様のデータである。このため、認識装置２０は、エンコーダ情報２２２及び影デコーダ情報２２３を用いて、学習済みのエンコーダ及び影デコーダを構築することができる。
制御部２３は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部２３は、入力部２３１、判定部２３２、認識部２３３及び表示制御部２３４を有する。
入力部２３１は、学習装置１０の入力部１３１と同様の処理を行う。すなわち、入力部２３１は、入力画像が入力されたエンコーダからの出力を、影デコーダに入力する。また、判定部２３２は、影の画像に基づき、入力画像に画像認識を適用可能であるか否かを判定する。認識部２３３は、画像認識を適用可能と判定された場合に画像認識を実行する。また、表示制御部２３４は、超音波画像を表示装置３０に表示させる。また、表示制御部２３４は、判定部２３２による判定処理、及び認識部２３３による画像認識の結果を表示装置３０に表示させてもよい。
ここで、図９を用いて、認識装置２０による認識処理について説明する。図９は、認識処理について説明するための図である。図９に示すように、入力部２３１は、入力画像をエンコーダに入力する。ここで、図９の入力画像は、プローブ４０を用いて得られた超音波画像である。
入力部２３１は、入力画像が入力されたエンコーダからの出力を影デコーダに入力する。そして、認識装置２０は、影デコーダによって出力された影の画像を基に、画像認識の適用可否判定及び画像認識処理を行う。例えば、判定部２３２は、影の画像の各画素の影の数値の合計が閾値以下である場合に影があると判定する。
［処理の流れ］
図１０を用いて、学習装置１０による学習処理の流れを説明する。図１０は、学習処理の流れを示すフローチャートである。図１０に示すように、まず、学習装置１０は、超音波入力画像を取得する（ステップＳ１１）。また、学習装置１０は、生成影画像を生成し超音波入力画像と合成する（ステップＳ１２）。
学習装置１０は、生成した入力画像をエンコーダに入力する（ステップＳ１３）。次に、学習装置１０は、エンコーダからの出力を影デコーダに入力する（ステップＳ１４）とともに、エンコーダからの出力を対象物デコーダに入力する（ステップＳ１５）。
ここで、学習装置１０は、影デコーダから出力された影の画像と対象物デコーダから出力された対象物の画像とを結合関数により合成する（ステップＳ１６）。そして、学習装置１０は、各モデルパラメータの更新処理を行い（ステップＳ１７）、更新処理が収束したか否かを判定する（ステップＳ１８）。
学習装置１０は、更新処理が収束したと判定した場合（ステップＳ１８、Ｙｅｓ）、学習処理を終了する。一方、学習装置１０は、更新処理が収束していないと判定した場合（ステップＳ１８、Ｎｏ）、ステップＳ１３に戻り処理を繰り返す。例えば、学習装置１０は、更新処理があらかじめ設定された回数だけ行われた場合、及び、モデルパラメータの更新量が閾値以下になった場合等に更新処理が収束したと判定する。
ここで、図１１を用いて、ステップ１７の更新処理の流れを説明する。図１１は、更新処理の流れを示すフローチャートである。図１１に示すように、まず、学習装置１０は、生成影画像と影エンコーダから出力された影の画像との、影を生成した領域における誤差を計算する（ステップＳ１７１）。また、学習装置１０は、対象物の画像のＮＬＬ（ステップＳ１７２）を計算する。次に、学習装置１０は、合成した出力画像と入力画像との再構成誤差を計算する（ステップＳ１７３）。
さらに、学習装置１０は、損失関数として影の画像の誤差、対象物の画像のＮＬＬ及び再構成誤差の線形和を計算する（ステップＳ１７４）。そして、学習装置１０は、損失関数が小さくなるようにモデルパラメータを更新する（ステップＳ１７５）。
図１２を用いて、認識装置２０による認識処理の流れを説明する。図１２は、認識処理の流れを示すフローチャートである。図１２に示すように、まず、認識装置２０は、入力画像を取得し（ステップＳ２１）、取得した入力画像をエンコーダに入力する（ステップＳ２２）。次に、認識装置２０は、エンコーダからの出力を影デコーダに入力する（ステップＳ２３）。そして、認識装置２０は、影デコーダから出力された影の画像を使った後処理を実行する（ステップＳ２４）。
図１３を用いて、ステップ２４の後処理の流れを説明する。図１３は、後処理の流れを示すフローチャートである。図１３に示すように、まず、認識装置２０は、影の画像の影の数値の合計を計算し（ステップＳ２４１）、合計値が閾値以下であるか否かを判定する（ステップＳ２４２）。
認識装置２０は、合計値が閾値以下でない場合（ステップＳ２４２、Ｎｏ）、影がないと判定し画像認識処理を実行する（ステップＳ２４３）。一方、認識装置２０は、合計値が閾値以上である場合（ステップＳ２４２、Ｙｅｓ）、影があると判定し画像認識処理を実行しない。
そして、認識装置２０は、入力画像を表示装置３０に表示させる（ステップＳ２４４）。さらに、認識装置２０は、影がないと判定し画像認識処理を行った場合は、画像認識処理の結果を表示装置３０に表示させる。一方、認識装置２０は、影があると判定し画像認識処理を行った場合は、影がある旨のメッセージとともに影の画像を表示装置３０に表示させる。
［効果］
上述したように、学習装置１０は、超音波入力画像における超音波反射状況に対応した影を含む影画像を生成する。学習装置１０は、超音波入力画像と影画像を合成した合成画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力する。学習装置１０は、再構成誤差、誤差関数及び尤度関数に基づき、エンコーダ、第１のデコーダ、及び、第２のデコーダの学習を実行する。再構成誤差は、第１のデコーダの出力である第１の画像と第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と合成画像との再構成誤差である。誤差関数は、第１の画像の影画像における影部分に対応する領域と影画像の影との誤差関数である。尤度関数は、第２の画像についての超音波画像における対象物に関する尤度関数である。このように、学習装置１０は、自動的に生成した影の画像を教師データとして学習を行うことができる。このため、実施例によれば、超音波画像の影の有無の判別における汎用性を向上させることが可能になる。
学習装置１０は、画像の画素値に対応する値を変数とする尤度関数であって、最大の画素値及び最小の画素値のいずれでもない所定の画素値に対応する変数に対して最大値をとる尤度関数を、第１の尤度関数及び第２の尤度関数の少なくともいずれかとして用いて学習を実行する。このため、実施例によれば、背景や影とは異なる対象物らしさを尤度関数として表すことができる。
学習装置１０は、画像の画素値に対応する確率変数が０より大きく１より小さい所定の値であるときに最大値を取るようにパラメータが設定されたベータ分布の確率密度関数に基づく尤度関数を、第１の尤度関数及び第２の尤度関数の少なくともいずれかとして用いて学習を実行する。このため、実施例によれば、０から１までの範囲に正規化した画素値を用いて、背景や影とは異なる対象物らしさを尤度関数として表すことができる。
なお、上記の実施例では、エンコーダへの入力データ、及び各デコーダの出力データが画像データであるものとしたが、これらの入力データ及び出力データは、画像として復元可能なものであれば画像データでなくてもよい。例えば、学習装置１０は、プローブから得られた超音波信号そのものを入力データ及び出力データとして扱ってもよい。その場合、学習装置１０は、超音波信号として出力された影デコーダから出力されたデータを、必要に応じて画像に変換することができる。
また、画像処理システム１において、プローブ４０が認識装置２０と同等の機能を持つようにしてもよい。その場合、プローブ４０は、超音波画像から影デコーダを用いて出力した影の画像から影の有無を判定し、判定結果を通知音等により通知することができる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
図１４は、ハードウェア構成例を説明する図である。図１４に示すように、学習装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１４に示した各部は、バス等で相互に接続される。
通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図１に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図１に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図１等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、学習装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、生成部１３０、入力部１３１、結合部１３２、学習部１３３と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、生成部１３０、入力部１３１、結合部１３２、学習部１３３等と同様の処理を実行するプロセスを実行する。プロセッサ１０ｄは、例えば、ＣＰＵ、ＭＰＵ、ＡＳＩＣ等のハードウェア回路である。
このように学習装置１０は、プログラムを読み出して実行することで分類方法を実行する情報処理装置として動作する。また、学習装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、学習装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
１ 画像処理システム
１０ 学習装置
１１、２１ インタフェース部
１２、２２ 記憶部
１３、２３ 制御部
２０ 認識装置
３０ 表示装置
４０ プローブ
１２１ 学習情報
１２２、２２２ エンコーダ情報
１２３、２２３ 影デコーダ情報
１２４ 対象物デコーダ情報
１３０ 生成部
１３１、２３１ 入力部
１３２ 結合部
１３３ 学習部
１３３ａ 計算部
１３３ｂ 更新部
２３２ 判定部
２３３ 認識部
２３４ 表示制御部

Claims (5)

  1. コンピュータに、
    超音波入力画像における超音波反射状況に対応した影を含む影画像を生成し、
    前記超音波入力画像と前記影画像を合成した合成画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力し、
    前記第１のデコーダの出力である第１の画像と前記第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と前記合成画像との再構成誤差、前記第１の画像の前記影画像における影部分に対応する領域と前記影画像の前記影との誤差関数、前記第２の画像についての超音波画像における対象物に関する尤度関数に基づき、前記エンコーダ、前記第１のデコーダ、及び、前記第２のデコーダの学習を実行する、
    処理を実行させることを特徴とする学習プログラム。
  2. 前記学習を実行する処理は、画像の画素値に対応する値を変数とする尤度関数であって、最大の画素値及び最小の画素値いずれでもない所定の画素値に対応する変数に対して最大値をとる尤度関数を、前記対象物に関する尤度関数として用いて学習を実行することを特徴とする請求項１に記載の学習プログラム。
  3. 前記学習を実行する処理は、画像の画素値に対応する確率変数が０より大きく１より小さい所定の値であるときに極大値を取るようにパラメータが設定されたベータ分布の確率密度関数に基づく尤度関数を、前記対象物に関する尤度関数として用いて学習を実行することを特徴とする請求項１に記載の学習プログラム。
  4. 超音波入力画像における超音波反射状況に対応した影を含む影画像を生成する生成部と、
    前記超音波入力画像と前記影画像を合成した合成画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力する入力部と、
    前記第１のデコーダの出力である第１の画像と前記第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と前記合成画像との再構成誤差、前記第１の画像の前記影画像における影部分に対応する領域と前記影画像の前記影との誤差関数、前記第２の画像についての超音波画像における対象物に関する尤度関数に基づき、前記エンコーダ、前記第１のデコーダ、及び、前記第２のデコーダの学習を実行する学習部と、
    を有することを特徴とする学習装置。
  5. 超音波入力画像における超音波反射状況に対応した影を含む影画像を生成し、
    前記超音波入力画像と前記影画像を合成した合成画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力し、
    前記第１のデコーダの出力である第１の画像と前記第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と前記合成画像との再構成誤差、前記第１の画像の前記影画像における影部分に対応する領域と前記影画像の前記影との誤差関数、前記第２の画像についての超音波画像における対象物に関する尤度関数に基づき、前記エンコーダ、前記第１のデコーダ、及び、前記第２のデコーダの学習を実行する、
    処理をコンピュータが実行することを特徴とする学習方法。
JP2019003849A 2019-01-11 2019-01-11 学習プログラム、学習装置及び学習方法 Active JP7192512B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019003849A JP7192512B2 (ja) 2019-01-11 2019-01-11 学習プログラム、学習装置及び学習方法
EP19215565.3A EP3680854B1 (en) 2019-01-11 2019-12-12 Learning program, learning apparatus, and learning method
US16/717,563 US11494696B2 (en) 2019-01-11 2019-12-17 Learning apparatus, learning method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019003849A JP7192512B2 (ja) 2019-01-11 2019-01-11 学習プログラム、学習装置及び学習方法

Publications (2)

Publication Number Publication Date
JP2020113083A JP2020113083A (ja) 2020-07-27
JP7192512B2 true JP7192512B2 (ja) 2022-12-20

Family

ID=68887284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019003849A Active JP7192512B2 (ja) 2019-01-11 2019-01-11 学習プログラム、学習装置及び学習方法

Country Status (3)

Country Link
US (1) US11494696B2 (ja)
EP (1) EP3680854B1 (ja)
JP (1) JP7192512B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7180393B2 (ja) * 2019-01-11 2022-11-30 富士通株式会社 学習プログラム、学習装置及び学習方法
EP3716150A1 (en) * 2019-03-27 2020-09-30 Nvidia Corporation Improved image segmentation using a neural network translation model
JP2022189138A (ja) 2021-06-10 2022-12-22 富士通株式会社 情報処理プログラム，情報処理装置及び情報処理方法
JP2022189139A (ja) 2021-06-10 2022-12-22 富士通株式会社 評価プログラム，評価装置及び評価方法
CN113794536B (zh) * 2021-09-15 2024-02-23 苏州米特希赛尔人工智能有限公司 人工智能信道编解码方法与装置
JP2023128463A (ja) * 2022-03-03 2023-09-14 富士通株式会社 生成プログラム、生成方法および情報処理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020110371A (ja) 2019-01-11 2020-07-27 富士通株式会社 学習プログラム、学習装置及び学習方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430688B2 (en) 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
AU2017281281B2 (en) 2016-06-20 2022-03-10 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
US10387765B2 (en) 2016-06-23 2019-08-20 Siemens Healthcare Gmbh Image correction using a deep generative machine-learning model
IL293809B2 (en) * 2016-08-16 2023-09-01 Ulthera Inc Systems and methods for cosmetic treatment of the skin using ultrasound
US20180330518A1 (en) * 2017-05-11 2018-11-15 Verathon Inc. Probability map-based ultrasound scanning
US11419584B2 (en) * 2017-06-28 2022-08-23 Tokitae, LLC Devices, systems, and methods for diagnosis of pulmonary conditions through detection of b-lines in lung sonography
US10698063B2 (en) 2017-11-01 2020-06-30 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US11464490B2 (en) * 2017-11-14 2022-10-11 Verathon Inc. Real-time feedback and semantic-rich guidance on quality ultrasound image acquisition
US11030780B2 (en) * 2018-03-26 2021-06-08 The Board Of Trustees Of The Leland Stanford Junior University Ultrasound speckle reduction and image reconstruction using deep learning techniques
US10852379B2 (en) 2018-06-07 2020-12-01 Siemens Healthcare Gmbh Artifact reduction by image-to-image network in magnetic resonance imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020110371A (ja) 2019-01-11 2020-07-27 富士通株式会社 学習プログラム、学習装置及び学習方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Qingjie Meng et al.，Weakly Supervised Estimation of Shadow Confidence Maps in Ultrasound Imaging，[online]，2018年11月20日，https://arxiv.org/abs/1811.08164v1
Sukesh Adiga V et al.，Shared Encoder based Denoising of Optical Coherence Tomography Images，[online]，2018年12月，https://dl.acm.org/doi/10.1145/3293353.3293388

Also Published As

Publication number Publication date
EP3680854B1 (en) 2021-08-11
EP3680854A1 (en) 2020-07-15
JP2020113083A (ja) 2020-07-27
US11494696B2 (en) 2022-11-08
US20200226494A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
JP7192512B2 (ja) 学習プログラム、学習装置及び学習方法
JP7180393B2 (ja) 学習プログラム、学習装置及び学習方法
CN110074813B (zh) 一种超声图像重建方法及系统
JP7230255B2 (ja) 解析装置及び解析プログラム
Dietrichson et al. Ultrasound speckle reduction using generative adversial networks
CN113066090B (zh) 血管分割模型的训练方法及装置、应用方法及装置
JP2021133123A (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
WO2022071264A1 (ja) プログラム、モデル生成方法、情報処理装置及び情報処理方法
US20110190632A1 (en) Ultrasonic diagnostic appratus and ultrasonic image processing method
JP5269517B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2022173154A (ja) 医用画像処理装置及び方法
Tehrani et al. Homodyned K-Distribution Parameter Estimation in Quantitative Ultrasound: Autoencoder and Bayesian Neural Network Approaches
JP6731369B2 (ja) 超音波診断装置及びプログラム
Liu et al. UPAMNet: A unified network with deep knowledge priors for photoacoustic microscopy
JP5989735B2 (ja) 超音波画像処理装置、プログラム及び超音波画像処理方法
WO2021193020A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
JP7094562B2 (ja) 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム
JP2022035432A (ja) 情報処理プログラム，情報処理方法および情報処理装置
US20200285880A1 (en) Uncertainty region based image enhancement
JP2023128463A (ja) 生成プログラム、生成方法および情報処理装置
Lawley Automation for patient screening
JP2021115211A (ja) 超音波診断装置、画像処理方法、学習装置及びプログラム
CN115715171A (zh) 根据短的欠采样信号群生成彩色多普勒图像的系统和方法
Man et al. Denoising Low-Dose CT Images Using Noise2Noise and Evaluation of Hyperparameters
JP2024008511A (ja) 情報処理システム及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211007

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R150 Certificate of patent or registration of utility model

Ref document number: 7192512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150