JPWO2021106174A5 - 画像処理方法、学習装置、画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理方法、学習装置、画像処理装置及びプログラム等に関する。

Claims (19)

1. 入力画像に第１画像拡張を適用することによって第１拡張画像を生成し、
   前記入力画像に前記第１画像拡張と異なる第２画像拡張を適用することによって第２拡張画像を生成し、
   前記第１拡張画像をニューラルネットワークに入力することによって第１出力を生成し、
   前記第２拡張画像を前記ニューラルネットワークに入力することによって第２出力を生成し、
   前記第１出力と前記第２出力との相違度を示す出力相違度を算出し、
   前記出力相違度に基づいて、前記ニューラルネットワークの各層における重み係数を更新する、
   ことを特徴とする画像処理方法。
2. 請求項１において、
   前記入力画像に対応する正解ラベルを取得し、
   前記第１出力及び前記第２出力の少なくとも１つと、前記正解ラベルとに基づいて出力誤差を算出し、
   前記出力誤差と前記出力相違度との重み付け和を全体誤差として求め、
   前記全体誤差に基づいて、前記ニューラルネットワークの各層における前記重み係数を更新する、
   ことを特徴とする画像処理方法。
3. 請求項２において、
   前記全体誤差を小さくするように、前記ニューラルネットワークの各層における前記重み係数を更新することを特徴とする画像処理方法。
4. 請求項２又は３において、
   前記第１画像拡張を決定する第１パラメータと、前記第２画像拡張を決定する第２パラメータの差異が所与の範囲内であることを特徴とする画像処理方法。
5. 請求項４において、
   前記出力誤差、又は、前記全体誤差を判定対象誤差とした場合に、
   前記重み係数の更新処理による前記判定対象誤差の減少度合いに基づいて、前記所与の範囲が設定されることを特徴とする画像処理方法。
6. 請求項５において、
   前記出力誤差に基づいて、前記ニューラルネットワークの各層における前記重み係数を更新した場合の前記出力誤差の減少度合いと、
   前記全体誤差に基づいて、前記ニューラルネットワークの各層における前記重み係数を更新した場合の前記判定対象誤差の減少度合いの比較処理に基づいて、前記所与の範囲が設定されることを特徴とする画像処理方法。
7. 請求項１乃至６のいずれか一項において、
   前記第１出力と前記第２出力の要素ごとに算出した二乗誤差、又は、前記第１出力と前記第２出力の前記要素ごとに算出したＨｕｂｅｒ誤差、又は、前記第１出力と前記第２出力の相互相関に基づいて、前記出力相違度を求めることを特徴とする画像処理方法。
8. 請求項１乃至７のいずれか一項において、
   前記第１画像拡張は、色補正処理、明度補正処理、平滑化処理、鮮鋭化処理、ノイズ付加処理、及び、アフィン変換処理の少なくとも１つの処理を含み、
   前記第２画像拡張は、前記色補正処理、前記明度補正処理、前記平滑化処理、前記鮮鋭化処理、前記ノイズ付加処理、及び、前記アフィン変換処理の少なくとも１つの処理を含む、
   ことを特徴とする画像処理方法。
9. 請求項１乃至８のいずれか一項において、
   前記入力画像のうちの一部の領域を画像拡張領域に設定し、
   前記入力画像の前記画像拡張領域に前記第１画像拡張を適用することによって前記第１拡張画像を生成し、
   前記入力画像の前記画像拡張領域に前記第２画像拡張を適用することによって前記第２拡張画像を生成する、
   ことを特徴とする画像処理方法。
10. 請求項９において、
    前記入力画像のうち注目被写体を撮像した領域を注目領域とした場合に、
    前記注目領域に基づいて前記画像拡張領域を設定することを特徴とする画像処理方法。
11. 請求項１乃至１０のいずれか一項において、
    前記ニューラルネットワークは、畳み込みニューラルネットワーク（CNN:Convolutional Neural Network）であることを特徴とする画像処理方法。
12. 請求項１乃至１１のいずれか一項において、
    適用画像を入力し、
    前記適用画像を前記ニューラルネットワークに入力することで、適用出力を生成し、
    前記適用出力に基づいて、前記適用画像を対象とした認識処理を行う、
    ことを特徴とする画像処理方法。
13. 請求項１乃至１２のいずれか一項において、
    前記第１拡張画像を、前記ニューラルネットワークと一部の構造を共有する第２ニューラルネットワークに入力することによって第３出力を生成し、
    前記第２拡張画像を、前記第２ニューラルネットワークに入力することによって第４出力を生成し、
    前記第３出力と前記第４出力との相違度を示す第２出力相違度を算出し、
    前記第２出力相違度に基づいて、前記ニューラルネットワークの各層における重み係数を更新する、
    ことを特徴とする画像処理方法。
14. ニューラルネットワークを用いた画像処理方法であって、
    前記ニューラルネットワークは、一つの入力画像に対して複数の異なる画像拡張を適用することにより生成した複数の拡張画像を、前記ニューラルネットワークに入力したときに、複数の前記拡張画像に対応する複数の出力間の相違度を含む誤差を用いて学習されており、
    第１適用画像を前記ニューラルネットワークに入力することによって、第１適用出力を生成し、
    前記第１適用出力に基づいて第１認識結果を生成し、
    第２適用画像を前記ニューラルネットワークに入力することによって、第２適用出力を生成し、
    前記第２適用出力に基づいて第２認識結果を生成し、
    前記第１適用画像と前記第２適用画像が対応する被写体を撮像しており、且つ、前記第１適用画像と前記第２適用画像との差異が、色合い、明るさ、及び、平滑化度合いの少なくとも１つの場合に、前記第１認識結果と前記第２認識結果とが同一となる、
    ことを特徴とする画像処理方法。
15. 入力画像を取得する取得部と、
    前記入力画像に基づいて機械学習を行う処理部と、
    を含み、
    前記処理部は、
    前記入力画像に第１画像拡張を適用することによって第１拡張画像を生成し、
    前記入力画像に前記第１画像拡張と異なる第２画像拡張を適用することによって第２拡張画像を生成し、
    前記第１拡張画像をニューラルネットワークに入力することによって第１出力を生成し、
    前記第２拡張画像を前記ニューラルネットワークに入力することによって第２出力を生成し、
    前記第１出力と前記第２出力との相違度を示す出力相違度を算出し、
    前記出力相違度に基づいて、前記ニューラルネットワークの各層における重み係数を更新する、
    ことを特徴とする学習装置。
16. 学習済モデルを記憶する記憶部と、
    前記学習済モデルに基づいて適用画像に対する画像処理を行う処理部と、
    を含み、
    前記学習済モデルは、
    入力画像に第１画像拡張を適用することによって第１拡張画像を生成し、
    前記入力画像に前記第１画像拡張と異なる第２画像拡張を適用することによって第２拡張画像を生成し、
    前記第１拡張画像をニューラルネットワークに入力することによって第１出力を生成し、
    前記第２拡張画像を前記ニューラルネットワークに入力することによって第２出力を生成し、
    前記第１出力と前記第２出力との相違度を示す出力相違度を算出し、
    前記出力相違度に基づいて、前記ニューラルネットワークの各層における重み係数を更新することによって学習されていることを特徴とする画像処理装置。
17. 請求項１６において、
    前記処理部は、
    内視鏡装置によって撮像された生体内画像を前記適用画像として取得し、前記生体内画像を前記学習済モデルに入力することによって、前記生体内画像を対象とした認識処理を行うことを特徴とする画像処理装置。
18. 入力画像に第１画像拡張を適用することによって第１拡張画像を生成し、
    前記入力画像に前記第１画像拡張と異なる第２画像拡張を適用することによって第２拡張画像を生成し、
    前記第１拡張画像をニューラルネットワークに入力することによって第１出力を生成し、
    前記第２拡張画像を前記ニューラルネットワークに入力することによって第２出力を生成し、
    前記第１出力と前記第２出力との相違度を示す出力相違度を算出し、
    前記出力相違度に基づいて、前記ニューラルネットワークの各層における重み係数を更新する、
    ステップをコンピュータに実行させることを特徴とするプログラム。
19. ニューラルネットワークを用いた処理をコンピュータに実行させるプログラムであって、
    前記ニューラルネットワークは、一つの入力画像に対して複数の異なる画像拡張を適用することにより生成した複数の拡張画像を、前記ニューラルネットワークに入力したときに、複数の前記拡張画像に対応する複数の出力間の相違度を含む誤差を用いて学習されており、
    第１適用画像を前記ニューラルネットワークに入力することによって、第１適用出力を生成し、
    前記第１適用出力に基づいて第１認識結果を生成し、
    第２適用画像を前記ニューラルネットワークに入力することによって、第２適用出力を生成し、
    前記第２適用出力に基づいて第２認識結果を生成する、
    ステップをコンピュータに実行させ、
    前記第１適用画像と前記第２適用画像が対応する被写体を撮像しており、且つ、前記第１適用画像と前記第２適用画像との差異が、色合い、明るさ、及び、平滑化度合いの少なくとも１つの場合に、前記第１認識結果と前記第２認識結果とが同一となる、
    ことを特徴とするプログラム。