JPWO2021095256A5 - - Google Patents

Description

本発明の一態様に係る画像処理システムは、画像変換部へ入力する入力画像を取得する顕微鏡システムと、前記顕微鏡システムにより取得した前記入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択する選択部と、前記選択部で選択された学習済みモデルを用いて前記画像変換を行う前記画像変換部と、を備え、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである。

本発明の一態様に係る画像処理方法は、顕微鏡システムで取得した入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択し、選択した学習済みモデルを用いて前記画像変換を行い、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである。

本発明の一態様に係るプログラムは、コンピュータに、顕微鏡システムで取得した入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択し、選択した学習済みモデルを用いて前記画像変換を行い、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである、処理を実行させる。

Claims (20)

1. 画像変換部へ入力する入力画像を取得する顕微鏡システムと、
   前記顕微鏡システムにより取得した前記入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択する選択部と、
   前記選択部で選択された学習済みモデルを用いて前記画像変換を行う前記画像変換部と、を備え、
   前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである
   ことを特徴とする画像処理システム。
2. 請求項１記載の画像処理システムにおいて、
   前記複数の学習済みモデルの各々は、他の学習済みモデルとはサンプルの種類、及び、画質範囲の組合せが異なる画像で学習した学習済みモデルである
   ことを特徴とする画像処理システム。
3. 請求項１に記載の画像処理システムにおいて、さらに、
   前記複数の学習済みモデルを記憶する記憶部を備える
   ことを特徴とする画像処理システム。
4. 請求項１又は請求項３に記載の画像処理システムにおいて、
   前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
   前記出力画像は、前記入力画像よりも低いノイズレベルを有し、
   前記画質範囲は、ノイズレベルの範囲を含む
   ことを特徴とする画像処理システム。
5. 請求項４に記載の画像処理システムにおいて、
   前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なるタイプの画像取得装置で取得した画像で学習した学習済みモデルである
   ことを特徴とする画像処理システム。
6. 請求項５記載の画像処理システムにおいて、
   前記異なるタイプの画像取得装置は、レーザ走査顕微鏡とデジタルカメラを有する広視野顕微鏡である
   ことを特徴とする画像処理システム。
7. 請求項１又は請求項３に記載の画像処理システムにおいて、
   前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習済みモデルであり、
   前記出力画像は、前記入力画像よりも高い解像度を有し、
   前記画質範囲は、解像度の範囲を含む
   ことを特徴とする画像処理システム。
8. 請求項７に記載の画像処理システムにおいて、
   前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる開口数の対物レンズを用いて取得した画像で学習した学習済みモデルである
   ことを特徴とする画像処理システム。
9. 請求項７に記載の画像処理システムにおいて、
   前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる画素分解能で取得した画像で学習した学習済みモデルである
   ことを特徴とする画像処理システム。
10. 請求項７に記載の画像処理システムにおいて、
    前記複数の学習済みモデルの各々は、互いに異なる共焦点ピンホール径を有するレーザ走査型顕微鏡で取得した画像で学習した学習済みモデルである
    ことを特徴とする画像処理システム。
11. 請求項１又は請求項３に記載の画像処理システムにおいて、
    前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
    前記出力画像は、前記入力画像よりも低い収差レベルを有し、
    前記画質範囲は、収差レベルの範囲を含む
    ことを特徴とする画像処理システム。
12. 請求項１１に記載の画像処理システムにおいて、
    前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる収差性能を有する対物レンズを用いて取得した画像で学習した学習済みモデルである
    ことを特徴とする画像処理システム。
13. 請求項３に記載の画像処理システムにおいて、
    前記記憶部は、前記複数の学習済みモデルと関連付けて前記複数の学習済みモデルの特徴を示す複数のモデル補足情報を記憶し、
    前記選択部は、前記入力画像と、前記複数のモデル補足情報と、に基づいて、前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
    ことを特徴とする画像処理システム。
14. 請求項１３に記載の画像処理システムにおいて、
    前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデルであり、
    前記複数のモデル補足情報は、前記複数の学習済みモデルのサンプルの種類に対応する複数の代表画像であり、
    前記選択部は、前記入力画像と前記複数の代表画像との比較結果に基づいて、前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
    ことを特徴とする画像処理システム。
15. 請求項１４に記載の画像処理システムにおいて、
    前記選択部は、前記入力画像と前記複数の代表画像との類似度を算出することにより前記入力画像と前記複数の代表画像を比較する
    ことを特徴とする画像処理システム。
16. 請求項１３に記載の画像処理システムにおいて、
    前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
    前記複数のモデル補足情報は、前記複数の学習済みモデルの学習に用いられた画像の画質範囲に対応する複数のモデル画質情報であり、
    前記選択部は、前記入力画像から算出される入力画質情報と前記複数のモデル画質情報との比較結果に基づいて、前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
    ことを特徴とする画像処理システム。
17. 請求項３に記載の画像処理システムにおいて、
    前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
    前記記憶部は、前記複数の学習済みモデルと関連付けて前記複数の学習済みモデルの特徴を示す複数のモデル補足情報を記憶し、
    前記選択部は、前記入力画像を取得する前記顕微鏡システムの設定情報と、前記複数のモデル補足情報と、に基づいて、前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
    ことを特徴とする画像処理システム。
18. 請求項１７に記載の画像処理システムにおいて、
    前記顕微鏡システムはレーザ走査型顕微鏡であり、
    前記設定情報は、ガルバノスキャナのスキャンサイズとピンホール径のうち、少なくともどちらか一方を含み、
    前記選択部は、前記設定情報から前記入力画像の解像度を算出し、算出した解像度と複数のモデル情報に基づいて、モデルを選択する
    ことを特徴とする画像処理システム。
19. 顕微鏡システムで取得した入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択し、
    選択した学習済みモデルを用いて前記画像変換を行い、
    前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである
    ことを特徴とする画像処理方法。
20. コンピュータに、
    顕微鏡システムで取得した入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択し、
    選択した学習済みモデルを用いて前記画像変換を行い、
    前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである
    処理を実行させることを特徴とするプログラム。