JP7405176B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像処理方法および画像処理装置に関し、特に、低解像度の画像を高解像度の画像に変換する処理を行う画像処理方法および画像処理装置に関する。

従来、低解像度の画像を高解像度の画像に変換する処理を行う画像処理方法および画像処理装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、低解像度の画像と高解像度の画像とを用いて機械学習を行い、得られた機械学習済みの学習モデルを用いて画像の解像度を向上させる超解像処理を行う画像処理装置が開示されている。

ここで、医療分野において、医師等が、患部を撮影しながら手術を行う場合や患部を撮影した画像に基づいて診断を行う際に、より詳細に患部を確認するために、手術中の画像や検査結果の画像などを拡大して確認したい場合がある。しかしながら、単純に画像を拡大すると、画質が劣化するため、かえって詳細が確認できない場合がある。そこで、上記特許文献１に開示されているように、機械学習によって学習済みの学習モデルを用いて画像の解像度を高める手法によって高解像度の画像を取得することにより、医師等は、取得した高解像度の画像を拡大して詳細を確認することができる。

特開２００９－２０８７９号公報

しかしながら、上記特許文献１に開示されているような超解像処理では、高解像度画像と低解像度画像とによって機械学習を行うことにより学習済みの学習モデルを取得しているため、機械学習に用いた高解像度画像以上の解像度の画像を得ることができないという不都合がある。この場合、超解像処理によって出力される画像の解像度よりも解像度の高い機械学習用の画像を用いた機械学習によって学習済みの学習モデルを用いて超解像処理を行うことが考えられる。しかし、医用分野においては、より高解像度の画像を取得することが可能な機器は高価であることが多く、広く一般に普及していないことや、プライバシーの観点などから、機械学習に用いるためのより解像度が高い画像を数多く取得することが難しいという不都合がある。そのため、処理対象の画像よりも高い解像度で、かつ画質の劣化が抑制された画像を得ることができないという問題点がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、機械学習によって学習した学習モデルを用いて画像の解像度を向上させる際に、画質の劣化を抑制することが可能であるとともに、機械学習に用いた高解像度画像の解像度以上の画像を得ることが可能な画像処理方法および画像処理装置を提供することである。

上記目的を達成するために、本願発明者らが鋭意検討を行った結果、高解像度機械学習用画像と、高解像度機械学習用画像のスケールを小さくするとともに、ぼかし処理を行った低解像度機械学習用画像と、を用いて機械学習を行った学習モデルを用いて医用画像に対して超解像処理を行った場合、処理対象の画像の解像度を、機械学習に用いた高解像度機械学習用画像の解像度よりも高くすることができるということを見出し、この知見に基づいて、以下の発明を想到するに至った。すなわち、この発明の第１の局面における画像処理方法は、機械学習によって学習済みの学習モデルを用いて医用画像に対して超解像処理を行う画像処理方法であって、高解像度機械学習用画像を取得するステップと、高解像度機械学習用画像のスケールを小さくすることにより、低解像度画像を取得するステップと、低解像度画像に対してぼかし処理を行うことにより、低解像度機械学習用画像を取得するステップと、高解像度機械学習用画像と、低解像度機械学習用画像とを用いて学習モデルの機械学習を行うステップと、医用画像を取得するステップと、学習済みの学習モデルによって、医用画像の解像度を、高解像度機械学習用画像の解像度よりも高くする超解像処理を行うステップと、を含む。なお、本明細書において、「スケール」とは、「解像度」のことである。また、「超解像処理」とは、解像度を高める処理と、画質が劣化することを抑制する処理とを含むが、本明細書では、その両方を行うことを意味する。また、「医用画像」とは、手術や診断に用いる画像のことであり、手術部位や診察部位などが写る静止画像および動画像を含む。

この発明の第１の局面における画像処理方法では、上記のように、高解像度機械学習用画像と低解像度機械学習用画像とを用いた機械学習済みの学習モデルによって、医用画像の解像度を高解像度機械学習用画像の解像度よりも高くする超解像処理を行うステップを含む。この知見に基づいて、高解像度機械学習用画像と、低解像度画像にぼかし処理を行った低解像度機械学習用画像とを用いて、学習させた学習モデルを用いて超解像処理を行うことにより、超解像処理後の医用画像の画質が劣化すること抑制することができる。その結果、機械学習によって学習した学習モデルを用いて画像の解像度を向上させる際に、画質の劣化を抑制することが可能であるとともに、機械学習に用いた高解像度機械学習用画像の解像度以上の画像を得ることができる。なお、この効果は、後述する実験により確認済みである。

上記第１の局面における画像処理方法において、好ましくは、低解像度機械学習用画像を取得するステップは、低解像度画像に対して、解像度の低下を伴わないぼかし処理を行うことにより、低解像度機械学習用画像を取得する。このようにして低解像度機械学習用画像を取得すれば、高解像度機械学習用画像の解像度と、低解像度画像の解像度とに基づいて、超解像処理における解像度の向上を学習モデルに学習させることができる。また、高解像度機械学習用の画質と、ぼかし処理を行ことにより低下した低解像度機械学習用画像の画質とに基づいて、超解像処理における画質の劣化を抑制することを学習モデルに学習させることができる。その結果、高解像度機械学習用画像と低解像度機械学習用画像とを用いて機械学習を行った学習モデルによって超解像処理を行うことにより、超解像処理後の医用画像の解像度を高めることが可能であるとともに、超解像処理後の医用画像の画質が劣化することを抑制することができる。なお、この効果についても、後述する実験により確認済みである。

この場合、好ましくは、低解像度機械学習用画像を取得するステップは、ぼかし処理として、低解像度画像に対して、被写体の境界部分の輝度値の変化をなだらかにする平滑化処理を行うことにより、低解像度機械学習用画像を取得する。このようにして低解像度機械学習用画像を取得すれば、高解像度機械学習用画像における被写体の境界部分の輝度値の変化と、低解像度機械学習用画像における被写体の境界部分の輝度値の変化との差異を学習モデルに学習させることができる。したがって、高解像度機械学習用画像における被写体の境界部分の輝度値の変化と、低解像度機械学習用画像における被写体の境界部分の輝度値の変化との差異を学習した学習モデルを用いて超解像処理を行うことができる。その結果、医用画像の超解像処理を行う際に、超解像処理後の医用画像の画質が劣化することを抑制することができる。なお、この効果についても、後述する実験により確認済みである。

上記第１の局面における画像処理方法において、好ましくは、高解像度機械学習用画像は、部分的な構造と全体の構造とが類似する自己相似性を有する構造が同一画像中に含まれる医用画像である。本願発明者らが更なる検討を行った結果、上記のような自己相似性を有する構造が同一画像中に含まれる医用画像を用いて機械学習を行うことにより得られた学習モデルによって超解像処理を行うことにより、超解像処理後の医用画像の画質が劣化することを抑制することが可能であるとともに、超解像処理後の医用画像の解像度を、高解像度機械学習用画像の解像度よりも高くすることができるという知見を得た。なお、この効果についても、後述する実験により確認済みである。

この場合、好ましくは、高解像度機械学習用画像は、血管を撮像したＸ線画像である。ここで、血管のＸ線画像は、太さの異なる複数の血管が写っており、部分的な構造と全体の構造とが類似する自己相似性を有する。したがって、このような医用画像を用いて機械学習を行えば、血管の自己相似性に基づいて、学習モデルの学習を行うことができる。その結果、血管を撮像したＸ線画像の解像度を、高解像度機械学習用画像の解像度よりも高くすることができる。

上記第１の局面における画像処理方法において、好ましくは、高解像度機械学習用画像にノイズが含まれている場合に、高解像度機械学習用画像のノイズを除去するステップをさらに含み、学習モデルの機械学習を行うステップは、低解像度機械学習用画像と、ノイズが除去された高解像度機械学習用画像とを用いて、学習モデルの機械学習を行う。このように学習モデルの機械学習を行えば、高解像度機械学習用画像からノイズを除去することが可能となるので、機械学習によって学習モデルを学習する際に、高解像度機械学習用画像に含まれるノイズを学習することを抑制することができる。その結果、超解度処理を行う際に、高解像度機械学習用画像のノイズに起因するノイズが、超解像処理後の画像に含まれることを抑制することができる。

この発明の第２の局面における画像処理装置は、機械学習によって学習済みの学習モデルを用いて医用画像に対して超解像処理を行う画像処理装置であって、高解像度機械学習用画像と、高解像度機械学習用画像のスケールを小さくするとともに、スケールを小さくした高解像度機械学習用画像に対してぼかし処理を行うことにより取得された低解像度機械学習用画像とを用いて学習された学習済みの学習モデルを記憶する記憶部と、学習済みの学習モデルによって、取得した医用画像の解像度を、高解像度機械学習用画像の解像度よりも高くする超解像処理を行う超解像処理部と、を備える。

この発明の第２の局面による画像処理装置では、上記のように、学習済みの学習モデルによって、取得した医用画像の解像度を、高解像度機械学習用画像の解像度よりも高くする超解像処理を行う超解像処理部を備える。これにより、機械学習によって学習した学習モデルを用いて画像の解像度を向上させる際に、画質の劣化を抑制することが可能であるとともに、機械学習に用いた高解像度画像の解像度以上の画像を得ることが可能な画像処理装置を提供することができる。

本発明によれば、上記のように、機械学習によって学習した学習モデルを用いて画像の解像度を向上させる際に、画質の劣化を抑制することが可能であるとともに、機械学習に用いた高解像度画像の解像度以上の画像を得ることが可能な画像処理方法および画像処理装置を提供することができる。

第１実施形態による画像処理装置の全体構成を示した模式図である。 第１実施形態による画像処理方法を説明するための模式図である。 第１実施形態による機械学習を行う機械学習装置の全体構成を示した模式図である。 第１実施形態による低解像度機械学習用画像を取得するステップを説明するための模式図である。 ぼかし処理による血管の境界部分位における輝度値の変化を説明するための模式図である。 第１実施形態による超解像処理を説明するための模式図である。 第１実施形態による超解像処理によって得られる超解像処理後の医用画像の模式図である。 第１実施形態の画像処理方法による医用画像超解像処理を説明するためのフローチャートである。 比較例における線形補間拡大処理による拡大処理後の医用画像の模式図である。 第１実施例に用いた高解像度機械学習用画像、低解像度画像、および第１実施例で取得した低解像度機械学習用画像の図である。 第１実施例に用いた医用画像、および第１実施例で取得した超解像処理後の医用画像の図である。 第１実施例の比較例における線形補間拡大処理による拡大処理後の医用画像の模式図である。 第２実施形態による画像処理方法を説明するための模式図である。 高解像度機械学習用画像のノイズ除去処理を説明するための模式図である。 第２実施形態の画像処理方法による医用画像超解像処理を説明するためのフローチャートである。 第２実施例によるノイズ除去後の高解像度機械学習用画像の図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

［第１実施形態］
図１～図７を参照して、本発明の第１実施形態による画像処理装置１００の構成、第１実施形態の画像処理方法による超解像処理後の医用画像１１を生成する方法について説明する。

（画像処理装置の構成）
まず、図１を参照して、第１実施形態による画像処理装置１００の構成について説明する。

図１に示すように、画像処理装置１００は、機械学習によって学習済みの学習モデルＬＭを用いて医用画像１０に対して超解像処理を行う画像処理装置である。

図１に示すように、画像処理装置１００は、画像取得部１と、制御部２と、記憶部３と、超解像処理部４と、を備えている。

画像取得部１は、制御部２の制御の下、医用画像１０を取得するように構成されている。画像取得部１は、たとえば、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｄｉｓｐｌａｙ Ｐｏｒｔ、ＵＳＢポートなどの入出力インターフェースを含む。

制御部２は、画像取得部１を制御して、医用画像１０を取得させるように構成されている。また、制御部２は、記憶部３を制御して、取得した医用画像１０を記憶するように構成されている。また、制御部２は、超解像処理部４を制御して、医用画像１０に対して超解像処理を行わせるように構成されている。制御部２は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含む。

記憶部３は、高解像度機械学習用画像１２（図２参照）と、高解像度機械学習用画像１２のスケールを小さくするとともに、スケールを小さくした高解像度機械学習用画像１２に対してぼかし処理を行うことにより取得された低解像度機械学習用画像１４（図２参照）とを用いて学習された学習済みの学習モデルＬＭを記憶するように構成されている。つまり、記憶部３は、予め機械学習により取得された学習モデルＬＭを記憶している。また、記憶部３は、取得した医用画像１０、超解像処理部４が生成した超解像処理後の医用画像１１を記憶するように構成されている。記憶部３は、たとえば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）または不揮発性のメモリなどを含む。

超解像処理部４は、制御部２の制御の下、学習済みの学習モデルＬＭによって、取得した医用画像１０の解像度を、高解像度機械学習用画像１２の解像度よりも高くする処理を行うように構成されている。超解像処理部４が医用画像１０の解像度を、高解像度機械学習用画像１２の解像度よりも高くする処理の詳細については、後述する。

図１に示す例では、画像処理装置１００は、生成した超解像処理後の医用画像１１を外部の表示装置５０に出力する。表示装置５０は、たとえば、液晶モニタなどを含む。たとえば、画像処理装置１００は、手術中において、超解像処理後の医用画像１１をリアルタイムで表示装置５０に出力するように構成されていてもよい。また、たとえば、超解像処理後の医用画像１１を用いて診断を行う場合には、画像処理装置１００は、診断を行う際に、超解像処理後の医用画像１１を別途表示装置５０に出力するように構成されていてもよい。

（画像処理方法）
次に、図２～図７を参照して、第１実施形態による画像処理方法によって、超解像処理後の医用画像１１を生成する処理について説明する。

図２は、第１実施形態による画像処理方法の処理の流れを示したブロック図である。図２に示すように、第１実施形態による画像処理方法は、大きく分けて、機械学習を行うステップＭＩ１と、画像処理を行うステップＩＰとを含む。

（学習モデル生成）
機械学習を行うステップＭＩ１は、高解像度機械学習用画像１２を取得するステップと、高解像度機械学習用画像１２のスケールを小さくすることにより、低解像度画像１３を取得するステップと、低解像度画像１３に対してぼかし処理を行うことにより、低解像度機械学習用画像１４を取得するステップと、高解像度機械学習用画像１２と低解像度機械学習用画像１４とを用いて学習モデルＬＭの機械学習を行うステップとを含む。

低解像度機械学習用画像１４を取得するステップは、低解像度画像１３に対して、解像度の低下を伴わないぼかし処理を行うことにより、低解像度機械学習用画像１４を取得する。具体的には、低解像度機械学習用画像１４を取得するステップは、ぼかし処理として、低解像度画像１３に対して、被写体（血管ｂｖ（図４参照））の境界部分ｂｐ（図４参照）の輝度値の変化をなだらかにする平滑化処理を行うことにより、低解像度機械学習用画像１４を取得する。第１実施形態では、平滑化処理として、たとえば、ガウシアンフィルタを用いたフィルタ処理を行う。なお、血管ｂｖの境界部分ｂｐとは、血管ｂｖと、背景との境界や、血管ｂｖと他の血管ｂｖとの境界を含む。

画像処理を行うステップＩＰは、医用画像１０を取得するステップと、学習済みの学習モデルＬＭによって、医用画像１０の解像度を、高解像度機械学習用画像１２の解像度よりも高くする超解像処理を行うステップとを含む。

（機械学習装置）
図３は、第１実施形態による機械学習を行う機械学習装置２００の模式図である。第１実施形態による画像処理方法において、機械学習を行うステップＭＩ１は、機械学習装置２００を用いて行うことができる。図３に示すように、機械学習装置２００は、画像取得部２０と、制御部２１と、記憶部２２と、画像処理部２３と、機械学習部２４とを備える。

画像取得部２０は、制御部２１の制御の下、高解像度機械学習用画像１２を取得する。画像取得部２０は、たとえば、外部の通信ネットワークや情報処理装置から学習用画像を取得する通信インターフェースまたはＵＳＢポートなどの入出力インターフェースを含む。

制御部２１は、画像取得部２０を制御して、高解像度機械学習用画像１２を取得するように構成されている。また、制御部２１は、記憶部２２を制御して、高解像度機械学習用画像１２および画像処理部２３が取得した低解像度機械学習用画像１４を記憶するように構成されている。また、制御部２１は、画像処理部２３を制御して、低解像度機械学習用画像１４を取得するように構成されている。また、制御部２１は、機械学習部２４を制御して、学習モデルＬＭの学習を行うように構成されている。制御部２１は、たとえば、ＣＰＵ、ＲＯＭおよびＲＡＭなどを含む。

記憶部２２は、制御部２１の制御の下、高解像度機械学習用画像１２および画像処理部２３が取得した低解像度機械学習用画像１４を記憶するように構成されている。記憶部２２は、たとえば、ＨＤＤまたは不揮発性のメモリなどを含む。

画像処理部２３は、制御部２１の制御の下、高解像度機械学習用画像１２に基づいて、低解像度機械学習用画像１４を取得するように構成されている。画像処理部２３が低解像度機械学習用画像１４を取得する詳細な構成については、後述する。画像処理部２３は、たとえば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または画像処理用に構成されたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのプロセッサを含む。

機械学習部２４は、制御部２１の制御の下、高解像度機械学習用画像１２と低解像度機械学習用画像１４とを用いて、学習モデルＬＭの機械学習を行うように構成されている。機械学習部２４は、たとえば、ＧＰＵまたは機械学習用に構成されたＦＰＧＡ、機械学習用に構成されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などを含む。

機械学習装置２００は、いわゆるパーソナルコンピュータであり、第１実施形態では、学習済みの学習モデルＬＭを、画像処理装置１００に出力するように構成されている。

（機械学習に用いる学習用画像）
図４は、機械学習に用いる高解像度機械学習用画像１２から、低解像度機械学習用画像１４を取得する処理を説明するための模式図である。

第１実施形態では、高解像度機械学習用画像１２として、部分的な構造と全体の構造とが類似する自己相似性を有する構造が同一画像中に含まれる医用画像を用いる。具体的には、高解像度機械学習用画像１２は、血管ｂｖを撮像したＸ線画像である。第１実施形態では、高解像度機械学習用画像１２として、脳の血管ｂｖを撮像したＸ線画像を用いる。

図４は、血管ｂｖを写したＸ線画像の模式図である。ここで、血管は、自己相似性を有する構造として知られている。自己相似性を有する構造とは、たとえば、大動脈が分岐して各組織の動脈となり、各組織の動脈が分岐して細動脈となり、細動脈が分岐して毛細血管となるように、分岐して太さが異なる構造が繰り返し現れる構造のことである。すなわち、図４に示すように、高解像度機械学習用画像１２において、円ｃ３で示す分岐部分を拡大すると、円ｃ２で示す分岐部分または円ｃ１で示す分岐部分と類似する。また、円ｃ２で示す分岐部分を拡大すると、円ｃ１に示す分岐部分と類似する。また、円ｃ２で示す分岐部分を縮小すると、円ｃ３に示す分岐部分と類似する。円ｃ１で示す分岐部分を縮小すると、円ｃ２で示す分岐部分または円ｃ３で示す分岐と類似する。このように、血管ｂｖを写した高解像度機械学習用画像１２には、同一の太さの血管ｂｖのみではなく、太さの異なる複数の血管ｂｖが１画像中に含まれる。

（機械学習を行うステップ）
第１実施形態では、機械学習を行うステップは、以下のステップを含む。すなわち、機械学習を行うステップは、高解像度機械学習用画像１２から、低解像度機械学習用画像１４を取得するステップと、高解像度機械学習用画像１２と低解像度機械学習用画像１４とを用いて学習モデルＬＭの機械学習を行うステップと、を含む。

図４に示すように、画像処理部２３は、取得した高解像度機械学習用画像１２のスケールを小さくすることにより、低解像度画像１３を取得する。画像処理部２３は、超解像処理を行った後の医用画像１１のスケールと、高解像度機械学習用画像１２のスケールとの比率と、高解像度機械学習用画像１２のスケールと低解像度画像１３のスケールとの比率とが等しくなるように、高解像度機械学習用画像１２のスケールを小さくすることにより低解像度画像１３を取得する。図４に示す例では、画像処理部２３は、高解像度機械学習用画像１２の解像度を半分にすることにより低解像度画像１３を取得している。なお、図４に示す例では、血管ｂｖを破線で図示することにより、ぼかし処理による画像のぼけを表現している。

また、画像処理部２３は、低解像度画像１３に対してぼかし処理を行うことにより、低解像度機械学習用画像１４を取得する。具体的には、画像処理部２３は、低解像度画像１３に対して、解像度の低下を伴わないぼかし処理を行うことにより、低解像度機械学習用画像１４を取得する。また、画像処理部２３は、ぼかし処理として、低解像度画像１３に対して、血管ｂｖの境界部分ｂｐの輝度値の変化をなだらかにする平滑化処理を行うことにより、低解像度機械学習用画像１４を取得する。第１実施形態では、画像処理部２３は、超解像処理を行った後の医用画像１１の血管ｂｖの境界部分ｂｐの輝度値の変化と、高解像度機械学習用画像１２の血管ｂｖの境界部分ｂｐの輝度値の変化との差と、高解像度機械学習用画像１２の血管ｂｖの境界部分ｂｐの輝度値の変化と低解像度機械学習用画像１４の血管ｂｖの境界部分ｂｐの輝度値の変化との差が等しくなるように、低解像度画像１３に対してぼかし処理を行うことにより、低解像度機械学習用画像１４を取得する。

図５は、高解像度機械学習用画像１２中の円ｃ４の領域における血管ｂｖの輝度値の変化を示すグラフｇ１と、低解像度機械学習用画像１４中の円ｃ５の領域における血管ｂｖの輝度値の変化を示すグラフｇ２との模式図である。

高解像度機械学習用画像１２では、解像度が高くかつ血管ｂｖが鮮明に写っているため、血管ｂｖ輝度値は、境界部分ｂｐ１および境界部分ｂｐ２において輝度値がシャープに変化する。一方、低解像度機械学習用画像１４では、高解像度機械学習用画像１２のスケールを小さくした後に、ぼかし処理を行っているため、境界部分ｂｐ３および境界部分ｂｐ４における輝度値の変化がなだらかになっている。

学習モデルＬＭの機械学習では、低解像度機械学習用画像１４における血管ｂｖの境界部分ｂｐの輝度値の変化と、高解像度機械学習用画像１２における血管ｂｖの境界部分ｂｐの輝度値の変化との差（輝度値の変化のシャープさの差）を学習する。機械学習後の学習モデルＬＭでは、低解像度機械学習用画像１４における血管ｂｖの境界部分ｂｐ（境界部分ｂｐ３およびｂｐ４）の輝度値の変化と、高解像度機械学習用画像１２における血管ｂｖの境界部分ｂｐ（境界部分ｂｐ１およびｂｐ２）の輝度値の変化との差に基づいて、医用画像１０から高解像度機械学習用画像１２よりも解像度の高い画像を取得する際に、画質が劣化することを抑制する。

図６に示すグラフｇ３は、高解像度機械学習用画像１２および低解像度機械学習用画像１４に含まれる周波数成分（輝度変化の周期性）の分布を示すグラフの例である。高解像度機械学習用画像１２には、領域Ａ_ＨＲの周波数成分が含まれている。第１実施形態では、機械学習部２４は、高解像度機械学習用画像１２に対してスケール変換およびぼかし処理を行うことにより、領域Ａ_ＬＲの周波数成分が含まれる低解像度機械学習用画像１４を取得している。言い換えると、低解像度機械学習用画像１４は、高解像度機械学習用画像１２の領域Ａ_ＨＲから高周波成分が失われた画像である。

また、機械学習部２４は、学習モデルＬＭの機械学習において、領域Ａ_ＬＲの周波数成分から、領域Ａ_ＨＲの周波数成分を推測することを学習モデルＬＭに学習させることになる。ここで、血管ｂｖが写る高解像度機械学習用画像１２では、大動脈、動脈、細動脈、毛細血管を、それぞれ同じ大きさまで拡大すると、同じような形状になる。したがって、高解像度機械学習用画像１２は、各太さの血管ｂｖを反映した類似した周波数パターンが低周波帯域から高周波帯域まで分布している情報を含んだ画像とみなすことができる。したがって、学習モデルＬＭに対して、領域Ａ_ＬＲの周波数成分から、領域Ａ_ＨＲの周波数成分を推測することを学習させることにより、領域Ａ_ＨＲの周波数成分から、高解像度機械学習用画像１２よりも高解像度にするために必要となる領域Ａ_ＳＲの周波数成分（グラフｇ３における破線で示した部分）を推測することを学習モデルＬＭが学習する。

第１実施形態では、超解像処理部４は、自己相似性を有する画像を高解像度機械学習用画像１２と、高解像度機械学習用画像１２のスケールを小さくした低解像度画像１３に対してぼかし処理を行って取得した低解像度機械学習用画像１４とを用いて学習済みの学習モデルＬＭによって、医用画像１０の超解像処理を行う。

（超解像処理を行うステップ）
第１実施形態では、画像処理装置１００は、機械学習によって学習済みの学習モデルＬＭを用いて、医用画像１０の解像度を高める超解像処理を行う。

図７に示す例は、血管ｂｖが写る医用画像１０の模式図である。超解像処理部４は、医用画像１０に対して、学習済みの学習モデルＬＭによって超解像処理を行うことにより、超解像処理後の医用画像１１を取得する。図７に示す例では、超解像処理後の医用画像１１の解像度が、医用画像１０の解像度の２倍となるように超解像処理を行った例である。なお、図７に示す医用画像１０の解像度は、高解像度機械学習用画像１２（図４参照）の解像度と等しい解像度である。したがって、学習済みの学習モデルＬＭを用いて超解像処理を行うことにより、高解像度機械学習用画像１２の解像度よりも高い解像度の医用画像１１を取得することができる。

（画像処理方法）
次に、図８を参照して、第１実施形態における医用画像１０の超解像処理の流れについて説明する。なお、ステップＳ１～ステップＳ４における処理は、機械学習装置２００が行う。また、ステップＳ５およびステップＳ６における処理は、画像処理装置１００が行う。

ステップＳ１において、機械学習装置２００は、高解像度機械学習用画像１２を取得する。次に、ステップＳ２において、画像処理部２３は、高解像度機械学習用画像１２のスケールを小さくすることにより、低解像度画像１３を取得する。その後、処理は、ステップＳ３へ進む。

ステップＳ３において、画像処理部２３は、低解像度画像１３に対してぼかし処理を行うことにより、低解像度機械学習用画像１４を取得する。次に、ステップＳ４において、機械学習部２４は、高解像度機械学習用画像１２と低解像度機械学習用画像１４とを用いて、学習モデルＬＭの機械学習を行う。その後、処理は、ステップＳ５へ進む。

ステップＳ５において、画像処理装置１００は、医用画像１０を取得する。次に、ステップＳ６において、超解像処理部４は、学習済みの学習モデルＬＭを用いて医用画像１０に対して超解像処理を行うことにより、超解像処理後の医用画像１１を取得し、処理を終了する。

（比較例）
次に、図７および図９を参照して、第１実施形態における超解像処理後の医用画像１１（図７参照）と、医用画像１０の解像度を大きくするとともに、拡大した拡大後の医用画像４０（図９参照）とを比較する。

図９に示す例は、医用画像１０を拡大した拡大後の医用画像４０の模式図である。比較例では、拡大処理として、線形補間拡大を行う。線形補間拡大とは、画像を拡大することにより生じる画素間の隙間に対して、拡大前の画像の隣接する画素を直線で結ぶことにより推定した画素値を与えることにより、拡大に伴う画質の劣化を抑制する方法である。

拡大後の医用画像４０では、単純に隣接する画素に基づいた画素値の補正を行っているため、血管ｂｖがぼやけて写っている。一方、第１実施形態による超解像処理後の医用画像１１では、拡大後の医用画像４０と比較して、血管ｂｖの境界部分ｂｐが鮮明に映っている。なお、図９においても、血管ｂｖを破線で図示することにより、血管ｂｖのぼやけを表現している。

（第１実施例）
次に、図１０～図１２を参照して、第１実施例による医用画像１０の超解像処理を行う学習モデルＬＭを取得した実験について説明する。

第１実施例では、図１０に示すように、高解像度機械学習用画像として、脳の血管を写した高解像度機械学習用画像１２を用いた。また、第１実施例では、高解像度機械学習用画像１２のスケールを小さくすることにより、低解像度画像１３を取得した。取得した低解像度画像１３に対してぼかし処理を行うことにより、低解像度機械学習用画像１４を取得した。第１実施例では、ぼかし処理として、ガウシアンフィルタによる平滑化処理を行った。

第１実施例では、高解像度機械学習用画像１２および低解像度機械学習用画像１４を用いて、学習モデルＬＭの機械学習を行うことにより、学習済みの学習モデルＬＭを取得した。なお、機械学習には、多数の高解像度機械学習用画像１２および低解像度機械学習用画像１４を用いた。

第１実施例では、図１１に示すように、取得した学習済みの学習モデルＬＭを用いて、医用画像１０に対して超解像処理を行うことにより、超解像処理後の医用画像１１を取得した。図１１に示す例では、医用画像１０および超解像処理後の医用画像において、画素の大きさが同一であるため、医用画像１０の解像度よりも解像度が高い超解像処理後の医用画像１１の大きさが、医用画像１０よりも大きくなっている。

図１２は、医用画像１０に対して、線形補間拡大によって拡大した拡大後の医用画像４０の図である。超解像処理後の医用画像１１と、線形補間拡大によって拡大した拡大後の医用画像４０とは、同じ解像度の画像である。学習モデルＬＭを用いて、医用画像１０に対して超解像処理を行うことにより、拡大後の医用画像４０よりも画質の劣化が抑制された超解像処理後の医用画像１１を取得することができた。学習済みの学習モデルＬＭを用いた超解像処理後の医用画像１１の画質が、線形補間拡大によって拡大後の医用画像４０よりも画質の劣化が抑制された要因としては、高解像度機械学習用画像１２が、自己相似性を有する血管ｂｖの画像であることと、低解像度画像１３に対してぼかし処理を行うことにより取得した低解像度機械学習用画像１４を用いて学習モデルの機械学習を行ったことが考えられる。すなわち、自己相似性を有する画像では、画像に含まれる周波数成分において、特定の周波数のピークが含まれず、なだらかな変化となり、高解像度機械学習用画像１２に含まれる周波数成分と、低解像度機械学習用画像１４に含まれる周波数成分とから、高解像度機械学習用画像１２には含まれない高周波の周波数成分を学習モデルＬＭに学習させることができたためであると考えられる。

（第１実施形態の効果）
第１実施形態では、以下のような効果を得ることができる。

第１実施形態では、上記のように、画像処理方法は、機械学習によって学習済みの学習モデルＬＭを用いて医用画像１０に対して超解像処理を行う画像処理方法であって、高解像度機械学習用画像１２を取得するステップＳ１と、高解像度機械学習用画像１２のスケールを小さくすることにより、低解像度画像１３を取得するステップＳ２と、低解像度画像１３に対してぼかし処理を行うことにより、低解像度機械学習用画像１４を取得するステップＳ３と、高解像度機械学習用画像１２と、低解像度機械学習用画像１４とを用いて学習モデルＬＭの機械学習を行うステップＳ４と、医用画像１０を取得するステップＳ５と、学習済みの学習モデルＬＭによって、医用画像１０の解像度を、高解像度機械学習用画像１２の解像度よりも高くする超解像処理を行うステップＳ６と、を含む。これにより、高解像度機械学習用画像１２と、低解像度画像１３にぼかし処理を行った低解像度機械学習用画像１４とを用いて、学習させた学習モデルＬＭを用いて超解像処理を行うことにより、超解像処理後の医用画像１１の画質が劣化すること抑制することができる。その結果、機械学習によって学習した学習モデルＬＭを用いて画像の解像度を向上させる際に、画質の劣化を抑制することが可能であるとともに、機械学習に用いた高解像度機械学習用画像１２の解像度以上の画像を得ることができる。

また、第１実施形態では、上記のように、低解像度機械学習用画像１４を取得するステップＳ３は、低解像度画像１３に対して、解像度の低下を伴わないぼかし処理を行うことにより、低解像度機械学習用画像１４を取得する。これにより、高解像度機械学習用画像１２の解像度と、低解像度画像１３の解像度とに基づいて、超解像処理における解像度の向上を学習モデルＬＭに学習させることができる。また、高解像度機械学習用画像１２の画質と、ぼかし処理を行ことにより低下した低解像度機械学習用画像１４の画質とに基づいて、超解像処理における画質の劣化を抑制することを学習モデルＬＭに学習させることができる。その結果、高解像度機械学習用画像１２と低解像度機械学習用画像１４とを用いて機械学習を行った学習モデルＬＭによって超解像処理を行うことにより、超解像処理後の医用画像１１の解像度を高めることが可能であるとともに、超解像処理後の医用画像１１の画質が劣化することを抑制することができる。

また、第１実施形態では、上記のように、低解像度機械学習用画像１４を取得するステップＳ３は、ぼかし処理として、低解像度画像１３に対して、血管ｂｖの境界部分ｂｐの輝度値の変化をなだらかにする平滑化処理を行うことにより、低解像度機械学習用画像１４を取得する。これにより、高解像度機械学習用画像１２の血管ｂｖの境界部分ｂｐ（境界部分ｂｐ１およびｂｐ２）の輝度値の変化と、低解像度機械学習用画像１４の血管ｂｖの境界部分ｂｐ（境界部分ｂｐ３およびｂｐ４）の輝度値の変化との差異を学習モデルＬＭに学習させることができる。したがって、高解像度機械学習用画像１２における血管ｂｖの境界部分ｂｐ（境界部分ｂｐ１およびｂｐ２）の輝度値の変化と、低解像度機械学習用画像１４における血管ｂｖの境界部分ｂｐ（境界部分ｂｐ３およびｂｐ４）の輝度値の変化との差異を学習した学習モデルＬＭを用いて超解像処理を行うことができる。その結果、医用画像１０の超解像処理を行う際に、超解像処理後の医用画像１１の画質が劣化することを抑制することができる。

また、第１実施形態では、上記のように、高解像度機械学習用画像１２は、部分的な構造と全体の構造とが類似する自己相似性を有する構造が同一画像中に含まれる医用画像１０である。このような自己相似性を有する構造が同一画像中に含まれる医用画像１０を用いて機械学習を行うことにより得られた学習モデルＬＭによって超解像処理を行うことにより、超解像処理後の医用画像１１の画質が劣化することを抑制することが可能であるとともに、超解像処理後の医用画像１１の解像度を、高解像度機械学習用画像１２の解像度よりも高くすることができるという知見を得た。

また、第１実施形態では、上記のように、高解像度機械学習用画像１２は、血管ｂｖを撮像したＸ線画像である。これにより、血管ｂｖの自己相似性に基づいて、学習モデルＬＭの学習を行うことができる。その結果、血管ｂｖを撮像したＸ線画像（医用画像１０）の解像度を、高解像度機械学習用画像１２の解像度よりも高くすることができる。

また、第１実施形態では、上記のように、画像処理装置１００は、機械学習によって学習済みの学習モデルＬＭを用いて医用画像１０に対して超解像処理を行う画像処理装置であって、高解像度機械学習用画像１２と、高解像度機械学習用画像１２のスケールを小さくするとともに、スケールを小さくした高解像度機械学習用画像１２に対してぼかし処理を行うことにより取得された低解像度機械学習用画像１４とを用いて学習された学習済みの学習モデルＬＭを記憶する記憶部３と、学習済みの学習モデルＬＭによって、取得した医用画像１０の解像度を、高解像度機械学習用画像１２の解像度よりも高くする超解像処理を行う超解像処理部４と、を備える。これにより、機械学習によって学習した学習モデルＬＭを用いて画像の解像度を向上させる際に、機械学習に用いた高解像度機械学習用画像１２の解像度以上の画像を得ることが可能な画像処理装置１００を提供することができる。

［第２実施形態］
次に、図３、図１３および図１４を参照して、第２実施形態による画像処理方法について説明する。高解像度機械学習用画像１２と低解像度機械学習用画像１４とを用いて学習モデルＬＭの機械学習を行う第１実施形態とは異なり、第２実施形態では、機械学習装置３００（図３参照）における機械学習を行うステップＭＩ２（図１３参照）は、高解像度機械学習用画像１２にノイズが含まれている場合に、高解像度機械学習用画像１２のノイズを除去するステップを含む。なお、上記第１実施形態と同様の構成については同様の符号を付し、説明を省略する。

図１３に示すように、第２実施形態では、高解像度機械学習用画像１２にノイズが含まれている場合に、高解像度機械学習用画像１２のノイズを除去するステップをさらに含み、学習モデルＬＭの機械学習を行うステップは、低解像度機械学習用画像１４と、ノイズが除去された高解像度機械学習用画像１５とを用いて、学習モデルＬＭの機械学習を行う。

図１４は、ノイズを含む高解像度機械学習用画像１２の模式図およびノイズ除去後の高解像度機械学習用画像１５の模式図である。なお、図１４に示す例では、高解像度機械学習用画像１２に対してハッチングを付すことにより、ノイズを図示している。

第２実施形態では、画像処理部３０（図３参照）は、高解像度機械学習用画像１２に対してノイズ除去処理を行うことにより、ノイズ除去後の高解像度機械学習用画像１５を取得する。機械学習部２４は、取得したノイズ除去後の高解像度機械学習用画像１５および低解像度機械学習用画像１４を用いて、学習モデルＬＭの機械学習を行う。超解像処理部４は、学習済みの学習モデルＬＭを用いて、医用画像１０の超解像処理を行う。

次に、図１５を参照して、第２実施形態による医用画像１０の超解像処理の流れについて説明する。なお、第１実施形態と同様のステップの説明については省略する。

ステップＳ１～ステップＳ３において、機械学習装置２００は、高解像度機械学習用画像１２および低解像度機械学習用画像１４を取得する。その後、処理は、ステップＳ７に進む。

ステップＳ７において、制御部２１は、高解像度機械学習用画像１２にノイズが含まれているか否かを判定する。制御部２１は、たとえば、高解像度機械学習用画像１２のＳ／Ｎ比に基づいて、高解像度機械学習用画像１２にノイズが含まれているか否かを判定する。高解像度機械学習用画像１２にノイズが含まれている場合には、処理は、ステップＳ８に進む。高解像度機械学習用画像１２にノイズが含まれていない場合には、処理はステップＳ４～ステップＳ６へ進み、超解像処理部４は、医用画像１０に対して超解像処理を行い、処理を終了する。

ステップＳ８において、画像処理部３０は、高解像度機械学習用画像１２のノイズを除去する。次に、ステップＳ９において、機械学習部２４は、ノイズ除去後の高解像度機械学習用画像１５および低解像度機械学習用画像１４を用いて、学習モデルＬＭの機械学習を行う。その後、処理は、ステップＳ５およびステップＳ６へ進み、超解像処理部４は、医用画像１０に対して超解像処理を行い、処理を終了する。

なお、第２実施形態のその他の構成は、上記第１実施形態と同様である。

（第２実施例）
次に、図１６を参照して、第２実施例による実験について説明する。

第２実施例では、図１６に示すように、ノイズが含まれる高解像度機械学習用画像１２に対して、ノイズ除去処理を行うことにより、ノイズ除去後の高解像度機械学習用画像１５を取得した。ノイズ除去後の高解像度機械学習用画像１５を用いて機械学習を行った学習モデルＬＭによって医用画像１０の超解像処理を行うことにより、高解像度機械学習用画像１２に含まれるノイズの影響が、超解像処理後の医用画像１１に生じることを抑制することができた。

（第２実施形態の効果）
第２実施形態では、以下のような効果を得ることができる。

第２実施形態では、上記のように、高解像度機械学習用画像１２にノイズが含まれている場合に、高解像度機械学習用画像１２のノイズを除去するステップＳ８をさらに含み、学習モデルＬＭの機械学習を行うステップＳ９は、低解像度機械学習用画像１４と、ノイズが除去された高解像度機械学習用画像１２とを用いて、学習モデルＬＭの機械学習を行う。これにより、高解像度機械学習用画像１２からノイズを除去することが可能となるので、機械学習によって学習モデルＬＭを学習する際に、高解像度機械学習用画像１２に含まれるノイズを学習することを抑制することができる。その結果、超解度処理を行う際に、高解像度機械学習用画像１２のノイズに起因するノイズが、超解像処理後の医用画像１１に含まれることを抑制することができる。

なお、第２実施形態のその他の効果は、上記第１実施形態と同様である。

（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記第１および第２実施形態では、機械学習のステップと、超解像処理のステップとをそれぞれ異なる装置で行う例を示したが、本発明はこれに限られない。機械学習を行うステップと、超解像処理を行うステップとは、同一の装置で行ってもよい。

また、上記第１および第２実施形態では、画像処理部２３（画像処理部３０）が、平滑化処理として、たとえば、ガウシアンフィルタを用いたフィルタ処理を行う構成の例を示したが、本発明はこれに限られない。ぼかし処理として、平均化フィルタを用いてもよい。血管ｂｖ（被写体）の境界部分ｂｐの輝度値の変化をなだらかにすることができれば、画像処理部２３（画像処理部３０）は、どのような処理を行ってもよい。

また、上記第１および第２実施形態では、高解像度機械学習用画像１２として、脳の血管ｂｖを撮像した画像を用いる例を示したが、本発明はこれに限られない。高解像度機械学習用画像１２としては、脳以外の血管ｂｖを撮像した画像を用いてもよい。また、自己相似性を有する画像であれば、血管ｂｖ以外を撮像した画像を用いてもよい。

また、上記第１および第２実施形態では、超解像処理部４が取得した超解像処理後の医用画像１１を、表示装置５０に出力する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理装置１００は、取得した超解像処理後の医用画像１１を、記憶部３に記憶するように構成されていてもよい。

１０ 医用画像
１２ 高解像度機械学習用画像
１３ 低解像度画像
１４ 低解像度機械学習用画像
ｂｐ１、ｂｐ２、ｂｐ３、ｂｐ４、ｂｐ 被写体の境界部分
ｂｖ 血管
ＬＭ 学習モデル

Claims (8)

1. 医用画像に対して超解像処理を行う画像処理方法であって、
   機械学習装置が、高解像度機械学習用画像を取得するステップと、
   前記機械学習装置が、前記高解像度機械学習用画像のスケールを小さくすることにより、低解像度画像を取得するステップと、
   前記機械学習装置が、前記低解像度画像に対してぼかし処理を行うことにより、低解像度機械学習用画像を取得するステップと、
   前記機械学習装置が、前記高解像度機械学習用画像と、前記低解像度機械学習用画像とを用いて学習モデルの機械学習を行うステップと、
   画像処理装置が、前記医用画像を取得するステップと、
   前記画像処理装置が、学習済みの前記学習モデルによって、前記医用画像の解像度を、前記高解像度機械学習用画像の解像度よりも高くする超解像処理を行うステップと、を含み、
   前記機械学習を行うステップは、前記機械学習装置が、前記高解像度機械学習用画像のスケールを小さくして前記低解像度画像を取得した後に、取得した前記低解像度画像に対してぼかし処理が行われた前記低解像度機械学習用画像に含まれる自己相似性を有する構造に基づく周波数成分のパターン、および、前記高解像度機械学習用画像に含まれる自己相似性を有する構造に基づく周波数成分のパターンに基づいて、前記高解像度機械学習用画像には含まれない高周波の周波数成分を推測することにより、前記医用画像の解像度を前記高解像度機械学習用画像よりも高解像度にすることを前記学習モデルに学習させる前記機械学習を行う、画像処理方法。
2. 前記低解像度機械学習用画像を取得するステップは、前記機械学習装置が、前記低解像度画像に対して、解像度の低下を伴わないぼかし処理を行うことにより、前記低解像度機械学習用画像を取得する、請求項１に記載の画像処理方法。
3. 前記低解像度機械学習用画像を取得するステップは、前記機械学習装置が、ぼかし処理として、前記低解像度画像に対して、被写体の境界部分の輝度値の変化をなだらかにする平滑化処理を行うことにより、前記低解像度機械学習用画像を取得する、請求項２に記載の画像処理方法。
4. 前記高解像度機械学習用画像は、部分的な構造と全体の構造とが類似する自己相似性を有する構造が同一画像中に含まれる医用画像である、請求項１～３のいずれか１項に記載の画像処理方法。
5. 前記高解像度機械学習用画像は、血管を撮像したＸ線画像である、請求項４に記載の画像処理方法。
6. 前記高解像度機械学習用画像にノイズが含まれている場合に、前記機械学習装置が、前記高解像度機械学習用画像のノイズを除去するステップをさらに含み、
   前記機械学習を行うステップは、前記機械学習装置が、前記低解像度機械学習用画像と、ノイズが除去された前記高解像度機械学習用画像とを用いて、前記学習モデルの前記機械学習を行う、請求項１～５のいずれか１項に記載の画像処理方法。
7. 機械学習によって学習済みの学習モデルを用いて医用画像に対して超解像処理を行う画像処理装置であって、
   高解像度機械学習用画像と、前記高解像度機械学習用画像のスケールを小さくするとともに、スケールを小さくした前記高解像度機械学習用画像に対してぼかし処理を行うことにより取得された低解像度機械学習用画像とを用いて学習された学習済みの前記学習モデルを記憶する記憶部と、
   学習済みの前記学習モデルによって、取得した医用画像の解像度を、前記高解像度機械学習用画像の解像度よりも高くする超解像処理を行う超解像処理部と、を備え、
   前記学習モデルは、前記高解像度機械学習用画像のスケールを小さくして低解像度画像を取得した後に、取得した前記低解像度画像に対してぼかし処理が行われた前記低解像度機械学習用画像に含まれる自己相似性を有する構造に基づく周波数成分のパターン、および、前記高解像度機械学習用画像に含まれる自己相似性を有する構造に基づく周波数成分のパターンに基づいて、前記高解像度機械学習用画像には含まれない高周波の周波数成分を推測することにより、前記医用画像の解像度を前記高解像度機械学習用画像よりも高解像度にすることを学習させる前記機械学習を行うことにより作成される、画像処理装置。
8. 機械学習を利用することにより、医用画像に対して超解像処理を行うときに用いられる学習モデルを作成する学習モデル作成方法であって、
   機械学習装置が、高解像度機械学習用画像と、前記高解像度機械学習用画像のスケールを小さくした低解像度画像に対してぼかし処理を行った低解像度機械学習用画像とを用いて、機械学習の学習を実行して学習モデルを作成するステップを含み、
   前記機械学習を行うステップは、前記機械学習装置が、前記高解像度機械学習用画像のスケールを小さくして前記低解像度画像を取得した後に、取得した前記低解像度画像に対してぼかし処理が行われた前記低解像度機械学習用画像に含まれる自己相似性を有する構造に基づく周波数成分のパターン、および、前記高解像度機械学習用画像に含まれる自己相似性を有する構造に基づく周波数成分のパターンに基づいて、前記高解像度機械学習用画像には含まれない高周波の周波数成分を推測することにより、前記医用画像の解像度を前記高解像度機械学習用画像よりも高解像度にする前記学習を前記学習モデルに対して行う、学習モデル作成方法。
   
   

Images