JP2023554145A

JP2023554145A - 黄疸分析システム及びその方法

Info

Publication number: JP2023554145A
Application number: JP2023537919A
Authority: JP
Inventors: シェシャオチェン; ユスァンチェン
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2023-12-26
Also published as: US20240054641A1; WO2022126622A1; EP4265181A1; CN116801798A

Abstract

黄疸分析システムは、データベースと、データベースにアクセスする処理装置とを備える。処理装置は、第１の画像データに応じて学習データを生成し、学習データを第１のカテゴリデータと相関させ、学習データをデータベースに格納するデータ処理モジュール、及びカテゴリデータと相関する学習データを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得する深層学習モジュールを含む。画像データは、第１の強膜画像を含む。処理装置の学習済みの畳み込みニューラルネットワークモジュールは、入力画像データに応じてテストデータを生成する。入力画像データは、対象被験者の第２の強膜画像を含む。テストデータは、対象被験者のビリルビン濃度範囲を示す

Description

本開示は、黄疸分析システム及び方法に関し、より詳細には、対象被験者の強膜画像によって、その対象被験者が黄疸症状を有するかどうかを判定する黄疸分析システム及び方法に関する。

他の代謝性疾患と比較して、黄疸は、皮膚や強膜が黄色味を帯びるというような、特有の症状を伴う。しかしながら、黄疸症状を有する患者は、黄色がかった色の肌をもって生まれた場合、又は黄疸による肌の色を日焼けした肌色であると思い違いした場合、自身の疾患又は臓器不全を見過ごしてしまう可能性が高い。結果として、それらの黄疸又は臓器変性が早期に診断される可能性が低くなる。したがって、対象被験者の強膜画像によって、その対象被験者が黄疸症状を有するかどうかを判定する黄疸分析システム及び方法を提供することが必要不可欠である。

先に述べた従来技術の欠点に鑑みて、本開示の目的は、対象被験者の強膜画像によって、その対象被験者が黄疸症状を有するかどうかを判定する黄疸分析システム及び方法を提供することにある。

上記及び他の目的を達成するために、本開示は、データベースと、データベースにアクセスする処理装置とを備える黄疸分析システムを提供する。処理装置は、第１の画像データに応じて第１の学習データを生成し、第１の学習データを第１のカテゴリデータと相関させ、第１の学習データをデータベースに格納するデータ処理モジュール、及び第１のカテゴリデータと相関する第１の学習データを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得する深層学習モジュールを含む。第１の画像データは、第１の強膜画像を含む。データベースは、データ処理モジュール及び／又は深層学習モジュールに通信可能に接続されている。処理装置の学習済みの畳み込みニューラルネットワークモジュールは、入力画像データに応じてテストデータを生成する。入力画像データは、対象被験者の第２の強膜画像を含む。テストデータは、対象被験者のビリルビン濃度範囲を示す。

本開示の好ましい実施形態では、深層学習モジュールは、転移学習によって学習済みの畳み込みニューラルネットワークモジュールを取得する。したがって、目標畳み込みニューラルネットワークモジュールは、学習済みの畳み込みニューラルネットワークモジュールである（学習は、黄疸症状の検出又はビリルビン濃度の測定に限定されない）。

本開示の好ましい実施形態では、データ処理モジュールは、第１の画像データに対して第１の切出し処理を実行して、第１の切出し画像データを生成し、第１の切出し画像データに応じて第１の学習データを生成する。

本開示の好ましい実施形態では、データ処理モジュールは、第１の画像データに対してミラーリング処理を実行して、ミラーリング画像データを生成し、ミラーリング画像データに応じて第１の学習データを生成する。

本開示の好ましい実施形態では、データ処理モジュールは、ミラーリング画像データに対して第２の切出し処理を実行して、第２の切出し画像データを生成し、第２の切出し画像データに応じて第１の学習データを生成し、第２の切出し画像データは特定の画像形状を有する。

本開示の好ましい実施形態では、データ処理モジュールは、第２の切出し画像データに対して第３の切出し処理を実行して、第３の切出し画像データを生成し、第３の切出し画像データに応じて第１の学習データを生成する。

本開示の好ましい実施形態では、データ処理モジュールは、第１の画像データに対して映り込み除去処理を実行して、映り込み除去画像データを生成し、映り込み除去画像データに応じて第１の学習データを生成する。

本開示の好ましい実施形態では、データ処理モジュールは、第１の画像データに応じて第２の画像データを生成し、第２の画像データに応じて第２の学習データを生成し、第２の学習データを第２のカテゴリデータと相関させ、第２の学習データをデータベースに格納し、深層学習モジュールは、第１のカテゴリデータと相関する第１の学習データと、第２のカテゴリデータと相関する第２の学習データとを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得する。

本開示の好ましい実施形態では、データ処理モジュールは、第１の画像データに対して画像変換処理、画像回転処理、及び画像反転処理のうちの１つを実行して、第２の画像データを生成する。

本開示の好ましい実施形態では、黄疸分析システムは、入力画像データを格納するモバイル端末をさらに備え、処理装置は、モバイル端末と、処理装置の学習済みの畳み込みニューラルネットワークモジュールとに通信可能に接続された通信モジュールをさらに含む。通信モジュールは、モバイル端末から入力画像データを受信し、モバイル端末にテストデータを送信する。

上記及び他の目的を達成するために、本開示は、黄疸分析システムに適用可能な黄疸分析方法を提供し、黄疸分析方法は、黄疸分析システムのデータ処理モジュールが、第１の画像データに応じて第１の学習データを生成し、データ処理モジュールが、第１の学習データを第１のカテゴリデータと相関させるステップと、黄疸分析システムの深層学習モジュールが、第１のカテゴリデータと相関する第１の学習データを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得するステップと、黄疸分析システムの学習済みの畳み込みニューラルネットワークモジュールが、入力画像データに応じてテストデータを生成するステップと、を含む。入力画像データは、対象被験者の第２の強膜画像を含む。第１の画像データは、第１の強膜画像を含む。テストデータは、対象被験者のビリルビン濃度範囲を示す。

本開示の好ましい実施形態では、深層学習モジュールは、転移学習によって学習済みの畳み込みニューラルネットワークモジュールを取得する。したがって、目標畳み込みニューラルネットワークモジュールは、学習済みの畳み込みニューラルネットワークモジュールである（学習は、黄疸症状を検出すること、又はビリルビン濃度を測定することに限定されない一方で、例えば、関連画像に応じて他の事項を検出することを含むように適合されているが、本開示はこれに限定されない）。

本開示の好ましい実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、第１の画像データに対して第１の切出し処理を実行して、第１の切出し画像データを生成するステップをさらに含み、データ処理モジュールは、第１の切出し画像データに応じて第１の学習データを生成する。

本開示の好ましい実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、第１の画像データに対してミラーリング処理を実行して、ミラーリング画像データを生成するステップをさらに含み、データ処理モジュールは、ミラーリング画像データに応じて第１の学習データを生成する。

本開示の好ましい実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、ミラーリング画像データに対して第２の切出し処理を実行して、第２の切出し画像データを生成するステップをさらに含み、データ処理モジュールは、第２の切出し画像データに応じて第１の学習データを生成し、第２の切出し画像データは特定の画像形状を有する。

本開示の好ましい実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、第２の切出し画像データに対して第３の切出し処理を実行して、第３の切出し画像データを生成するステップをさらに含み、データ処理モジュールは、第３の切出し画像データに応じて第１の学習データを生成する。

本開示の好ましい実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、第１の画像データに対して映り込み除去処理を実行して、映り込み除去画像データを生成するステップをさらに含み、データ処理モジュールは、映り込み除去画像データに応じて第１の学習データを生成する。

本開示の好ましい実施形態では、黄疸分析方法は、データ処理モジュールが、第１の画像データに応じて第２の画像データを生成するステップと、データ処理モジュールが、第２の画像データに応じて第２の学習データを生成し、データ処理モジュールが、第２の学習データを第２のカテゴリデータと相関させるステップと、をさらに含み、深層学習モジュールは、第１のカテゴリデータと相関する第１の学習データと、第２のカテゴリデータと相関する第２の学習データとを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得する。

本開示の好ましい実施形態では、黄疸分析方法は、黄疸分析システムの通信モジュールが、モバイル端末から入力画像データを受信するステップと、通信モジュールが、モバイル端末にテストデータを送信するステップと、をさらに含む。

先に述べた本開示の態様及び他の態様は、非限定的な特定の実施形態によって示され、添付の図面によって図示されて以下に説明される。

本開示の特定の実施形態における、黄疸分析システムのブロック図である。

特定の実施形態における、第１の画像データの概略図である。

特定の実施形態における、ミラーリング画像データの概略図である。

特定の実施形態における、第２の切出し画像データの概略図である。

特定の実施形態における、第３の切出し画像データの生成方法の概略図である。

特定の実施形態における、映り込み除去画像データの生成方法の概略図である。

本開示の特定の実施形態における、黄疸分析方法のプロセスフローの概略図である。

図１を参照すると、本開示の特定の実施形態における、黄疸分析システム１００のブロック図が示されている。図１に示す実施形態では、黄疸分析システム１００は、データベース１１０と、処理装置１２０とを備える。処理装置１２０はデータベース１１０にアクセスすることができ、したがってデータベース１１０に通信可能に接続されている。処理装置１２０は、データ処理モジュール１２２及び深層学習モジュール１２４を含む。好ましくは、データ処理モジュール１２２はデータベース１１０に通信可能に接続されており、深層学習モジュール１２４もデータベース１１０に通信可能に接続されている。図１に示す実施形態では、データ処理モジュール１２２は、第１の画像データに応じて第１の学習データを生成し、第１の学習データを第１のカテゴリデータと関連付け、第１の学習データをデータベース１１０に格納する。第１の画像データは、第１の強膜画像を含む。第１のカテゴリデータは、ビリルビン濃度値又はビリルビン濃度範囲を示す。なお、黄疸は、過剰量のビリルビンが血液中を巡ることにより発症し、これによって皮膚、強膜、及び粘膜が黄色味を帯びた様相を呈するようになる。したがって、ビリルビン濃度値又はビリルビン濃度範囲は、黄疸症状の程度を示すものであり、換言すれば、第１のカテゴリデータは黄疸症状の程度を示すものである。特定の実施形態では、第１の画像データはデータベース１１０に格納されている。

なお、データ処理モジュール１２２は、異なる第１の画像データに応じて異なる第１の学習データを生成し、異なる第１の学習データはそれぞれ異なる第１のカテゴリデータと相関する。場合により、異なる第１の学習データはそれぞれ、同じ第１のカテゴリデータと相関する。例えば、データ処理モジュール１２２は、第１の画像データの第１のグループに応じて第１の学習データの第１のグループを生成し、第１の学習データの第１のグループ内の各第１の学習データは、第１のビリルビン濃度範囲を示す第１のカテゴリデータと相関する。データ処理モジュール１２２は、第１の画像データの第２のグループに応じて第１の学習データの第２のグループを生成し、第１の学習データの第２のグループ内の各第１の学習データは、第２のビリルビン濃度範囲を示す別の第１のカテゴリデータと相関する。第１のビリルビン濃度範囲は、第２のビリルビン濃度範囲とは異なる。特定の実施形態では、第１の画像データは、処理装置１２０又はデータ処理モジュール１２２が第１の画像データを受信する（例えば、データベース１１０から）前に、既に第１のカテゴリデータと相関しており、データ処理モジュール１２２は、第１の画像データに応じて生成された第１の学習データを、第１のカテゴリデータと相関させる。

図１に示す実施形態では、深層学習モジュール１２４は、第１のカテゴリデータと相関する第１の学習データを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュール１２８を取得（又は生成）する。好ましくは、深層学習モジュール１２４は、転移学習によって学習済みの畳み込みニューラルネットワークモジュール１２８を取得する。したがって、目標畳み込みニューラルネットワークモジュールは、学習済みの畳み込みニューラルネットワークモジュールになる。特定の実施形態では、深層学習モジュール１２４は、ＥｆｆｉｃｉｅｎｔＮｅｔＢ５に従って転移学習を受ける。なお、深層学習モジュール１２４によって生成された学習済みの畳み込みニューラルネットワークモジュール１２８も、処理装置１２０内に含まれる。したがって、処理装置１２０の学習済みの畳み込みニューラルネットワークモジュール１２８は、入力画像データに応じてテストデータを生成する。入力画像データは、対象被験者の第２の強膜画像を含む。テストデータは、対象被験者のビリルビン濃度範囲を示す。

特定の実施形態では、深層学習モジュール１２４は、第１のカテゴリデータと相関する第１の学習データを用いて目標畳み込みニューラルネットワークモジュールを学習させる過程で異なる固有値を取得するために、それ自体で種々のフィルタを生成する。これらのフィルタは、例えば、ヒストグラムフィルタ、Ｃｌａｈｅ（適応ヒストグラム平坦化）フィルタ及びガウシアンフィルタであるが、本開示はこれらに限定されない。特定の実施形態では、深層学習モジュール１２４は、目標畳み込みニューラルネットワークモジュール及び学習済みの畳み込みニューラルネットワークモジュール１２８に通信可能に接続されている。特定の実施形態では、深層学習モジュール１２４は、目標畳み込みニューラルネットワークモジュール及び学習済みの畳み込みニューラルネットワークモジュール１２８を含む。特定の実施形態では、データ処理モジュール１２２は、深層学習モジュール１２４及び／又は学習済みの畳み込みニューラルネットワークモジュール１２８に通信可能に接続されている。

特定の実施形態では、データ処理モジュール１２２は、第１の画像データに応じて第２の画像データを生成し、第２の画像データに応じて第２の学習データを生成することによってより多くの学習データを取得し、その結果、ビリルビン濃度範囲又は黄疸程度に対して学習済みの畳み込みニューラルネットワークモジュール１２８によって実行される分析の精度を高める。その後、データ処理モジュール１２２は、第２の学習データを第２のカテゴリデータと相関させ、第２の学習データをデータベース１１０に格納する。好ましくは、第２のカテゴリデータは、第１の画像データと相関する第１のカテゴリデータである。特定の実施形態では、深層学習モジュール１２４は、第１のカテゴリデータと相関する第１の学習データと、第２のカテゴリデータと相関する第２の学習データとを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュール１２８を取得する。

特定の変形形態では、データ処理モジュール１２２は、第１の画像データに対して画像変換処理（例えば、第１の画像データに対して、水平方向変換や垂直方向変換などの各種変換処理が行われるが、本開示はこれらに限定されない）を実行するか、第１の画像データに対し画像回転処理（例えば、第１の画像データに対して０～１８０度の回転処理が行われるが、本開示はこれに限定されない）を実行するか、第１の画像データに対して画像反転処理（例えば、第１の画像データに対して、水平方向反転や垂直方向反転などの各種反転処理が行われるが、本開示はこれらに限定されない）を実行するか、又は第１の画像データに対してギャップ補正定数処理を実行することにより、第２の画像データを生成する。なお、本開示は、第１の画像データに応じてデータ処理モジュール１２２が第２の画像データを生成する方法を限定するものではない。

特定の実施形態では、処理装置１２０は、通信モジュール１２６をさらに含む。処理モジュール１２２は、通信モジュール１２６を介して端末９００からデータ（例えば、入力画像データ）を受信するか、又は通信モジュール１２６を介して端末９００にデータ（例えば、テストデータ）を送信する。通信モジュール１２６は、端末９００と、処理装置１２０の学習済みの畳み込みニューラルネットワークモジュール１２８とに通信可能に接続されている。端末９００は、例えばコンピュータ、モバイル端末（あるいはコンピュータの形態で設けられる）、又はリモートサーバであるが、本開示はこれらに限定されない。特定の実施形態では、端末９００は黄疸分析システム１００の一部とみなされ、入力画像データは端末９００に格納される。特定の実施形態では、端末９００は画像取込装置を含み、これによって端末９００は画像を取り込み、入力画像データを生成する。好ましくは、入力画像データは、第１の入力画像データ及び第２の入力画像データを含む。第１の入力画像データは、対象被験者の左強膜画像を含む。第２の入力画像データは、対象被験者の右強膜画像を含む。特定の実施形態では、通信モジュール１２６は、データ処理モジュール１２２及び／又は深層学習モジュール１２４に通信可能に接続されている。

特定の実施形態では、本開示の黄疸分析システム１００は１つ又は複数のプロセッサを備え、ハードウェアとソフトウェアとの相乗効果によって、データベース１１０及び処理装置１２０を実装する。特定の実施形態では、処理装置１２０は１つ又は複数のプロセッサを含み、ハードウェアとソフトウェアとの相乗効果によって、データ処理モジュール１２２、深層学習モジュール１２４、通信モジュール１２６、及び学習済みの畳み込みニューラルネットワークモジュール１２８を実装する。特定の実施形態では、端末９００は１つ又は複数のプロセッサを含み、ハードウェアとソフトウェアとの相乗効果によって画像取込装置を実装する。

図２Ａ～図２Ｃを参照すると、異なる第１の画像データが示されている。図２Ａの第１の画像データ２０１、２０２と相関する第１のカテゴリデータは、ビリルビン濃度範囲が０～１．２ｍｇ／ｄＬであることを示す。図２Ｂの第１の画像データ２０３、２０４と相関する第１のカテゴリデータは、ビリルビン濃度範囲が１．３～３．５ｍｇ／ｄＬであることを示す。図２Ｃの第１の画像データ２０５、２０６と相関する第１のカテゴリデータは、ビリルビン濃度範囲が３．６ｍｇ／ｄＬを超えることを示す。特定の実施形態では、本開示の黄疸分析システム１００のデータ処理モジュールは、第１の画像データに対して第１の切出し処理を実行して、第１の切出し画像データを生成することにより、第１の画像データが同一の画像サイズとなるように第１の画像データを切り出すか、又は調整する。データ処理モジュールは、第１の切出し画像データに応じて第１の学習データを生成する。

図３を参照すると、異なるミラーリング画像データ３０２、３０４が示されている。ミラーリング画像データ３０２、３０４は、データ処理モジュールが第１の画像データに対して異なるミラーリング処理を実行したときに生成される。画像データ３０４の短辺は、画像データ３０４の長さと幅とを等しくするミラーリング処理（短辺が対称軸として機能する）によって補完される。特定の実施形態では、第１の切出し画像データは第１の画像データとみなされる。このため、データ処理モジュールは、第１の切出し処理が実行された第１の画像データに対してミラーリング処理を実行する。特定の実施形態では、データ処理モジュールは、ミラーリング画像データに応じて第１の学習データを生成する。

図４を参照すると、特定の実施形態における、第２の切出し画像データの概略図が示されている。図４に示す実施形態では、データ処理モジュールは、図３のミラーリング画像データ３０４に対して第２の切出し処理を実行して、第２の切出し画像データ４０２を生成する。特定の実施形態では、第２の切出し処理の切出しは、ミラーリング画像データ３０４の片側を接円（正方形に内接する円）の直径として使用し、接円の外側の画像コンテンツを切り出し、接円の内側に画像コンテンツを保持することを含む。したがって、データ処理モジュールは、異なるミラーリング画像データが同一の画像サイズとなるように、異なるミラーリング画像データを切り出す。なお、図４は、単に例示する目的に寄与するにすぎず、したがって、データ処理モジュールが第２の切出し処理を実行する目的は、ある画像が円形になるようにその画像を切り出すことに限定されない。一変形形態では、画像が必要に応じて特定の画像形状になるように画像が切り出される。特定の実施形態では、データ処理モジュールは、第２の切出し画像データに応じて第１の学習データを生成する。

図５を参照すると、特定の実施形態における、第３の切出し画像データの生成方法の概略図が示されている。図５に示す実施形態では、データ処理モジュールは、第２の切出し画像データ５０２に対して第３の切出し処理を実行して、第３の切出し画像データ５０４を生成する。特定の実施形態では、第３の切出し処理の切出しは、特定のサイズの正方形をとるために第２の切出し画像データ５０２の中心を使用することと、不必要なフィーチャを削減するために正方形の内側に画像コンテンツを保持することとを含む。特定の実施形態では、データ処理モジュールは、第３の切出し画像データに応じて第１の学習データを生成する。

図６を参照すると、特定の実施形態における、映り込み除去画像データの生成方法の概略図が示されている。図６に示す実施形態では、データ処理モジュールは、第１の画像データ６０２に対して映り込み除去処理を実行して、映り込み除去画像データ６０４を生成する。このように、本実施形態によれば、画像中の眼球反射光の白色部分が深層学習に干渉するのを抑制することにより、深層学習モジュールが目標畳み込みニューラルネットワークモジュールを学習させられるようになる。特定の実施形態では、映り込み除去処理は、ＰｈｏｔｏＩｍｐａｃｔの模倣機能を用いて眼球反射光部分を除去することによって実行される。特定の実施形態では、データ処理モジュールは、映り込み除去画像データに応じて第１の学習データを生成する。

なお、第１の切出し画像データ、ミラーリング画像データ、第２の切出し画像データ、第３の切出し画像データ及び映り込み除去画像データは、第１の画像データ及びデータ処理モジュールとみなされ、画像データに対して第１の切出し処理、ミラーリング処理、第２の切出し処理、第３の切出し処理及び／又は映り込み除去処理を実行することができる。

図７を参照すると、本開示の特定の実施形態における、黄疸分析方法７００のプロセスフローの概略図が示されている。図７に示す実施形態では、黄疸分析方法７００は、黄疸分析システム１００に適用可能である。黄疸分析方法７００はステップ７１０で開始され、ここで、黄疸分析システム１００のデータ処理モジュールは、第１の画像データに応じて第１の学習データを生成し、第１の学習データを第１のカテゴリデータと相関させる。第１の画像データは、第１の強膜画像を含む。次いで、ステップ７２０において、黄疸分析システム１００の深層学習モジュールは、第１のカテゴリデータと相関する第１の学習データを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得する。特定の実施形態では、深層学習モジュールは、転移学習によって学習済みの畳み込みニューラルネットワークモジュールを取得する。したがって、目標畳み込みニューラルネットワークモジュールは、学習済みの畳み込みニューラルネットワークモジュールであり、目標畳み込みニューラルネットワークモジュールには事前に学習させており、また黄疸症状を検出すること、又はビリルビン濃度を測定することに限定されない一方で、例えば、関連画像に応じて他の事項を検出することを含むように適合されているが、本開示はこれに限定されない。

ステップ７３０において、黄疸分析システム１００の通信モジュールは、モバイル端末（例えば、携帯電話又はタブレットであるが、本開示はこれらに限定されない）から入力画像データを受信する。入力画像データは、対象被験者の第２の強膜画像を含む。好ましくは、入力画像データは、第１の入力画像データ及び第２の入力画像データを含む。第１の入力画像データは、対象被験者の左強膜画像を含む。第２の入力画像データは、対象被験者の右強膜画像を含む。なお、ステップ７３０は、必要に応じてステップ７１０又はステップ７２０の前にあってもよい。

ステップ７１０からステップ７３０の後に、ステップ７４０が続く。ステップ７４０において、黄疸分析システム１００の学習済みの畳み込みニューラルネットワークモジュールは、入力画像データに応じてテストデータを生成する。テストデータは、対象被験者のビリルビン濃度範囲を示す。ビリルビン濃度範囲は黄疸程度を示す。次に、ステップ７５０において、黄疸分析システム１００の通信モジュールは、モバイル端末にテストデータを送信する。

特定の実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、第１の画像データに対して第１の切出し処理を実行して、第１の切出し画像データを生成するステップをさらに含む。データ処理モジュールは、第１の切出し画像データに応じて第１の学習データを生成する。特定の実施形態では、データ処理モジュールは、第１のコマンドに応じて第１の画像データに対して第１の切出し処理を実行する。第１のコマンドは、例えば、ユーザがマウスを用いて行う画像切出し操作であるか、あるいは例えば、デフォルトの画像切出しコマンドであるが、本開示はこれらに限定されない。

特定の実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、第１の画像データに対してミラーリング処理を実行して、ミラーリング画像データを生成するステップをさらに含む。データ処理モジュールは、ミラーリング画像データに応じて第１の学習データを生成する。特定の実施形態では、データ処理モジュールは、第２のコマンドに応じて第１の画像データに対してミラーリング処理を実行する。第２のコマンドは、例えば、ユーザがマウスを用いて行う画像ミラーリング操作であるか、あるいは例えば、デフォルトの画像ミラーリングコマンドであるが、本開示はこれらに限定されない。

特定の実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、ミラーリング画像データに対して第２の切出し処理を実行して、第２の切出し画像データを生成するステップをさらに含む。第２の切出し画像データは特定の画像形状を有する。データ処理モジュールは、第２の切出し画像データに応じて第１の学習データを生成する。特定の実施形態では、データ処理モジュールは、第３のコマンドに応じてミラーリング画像データに対して第２の切出し処理を実行する。第３のコマンドは、例えば、ユーザがマウスを用いて行う画像切出し操作であるか、あるいは例えば、デフォルトの画像切出しコマンドであるが、本開示はこれらに限定されない。

特定の実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、第２の切出し画像データに対して第３の切出し処理を実行して、第３の切出し画像データを生成するステップをさらに含む。データ処理モジュールは、第３の切出し画像データに応じて第１の学習データを生成する。特定の実施形態では、データ処理モジュールは、第４のコマンドに応じて第２の切出し画像データに対して第３の切出し処理を実行する。第４のコマンドは、例えば、ユーザがマウスを用いて行う画像切出し操作であるか、あるいは例えば、デフォルトの画像切出しコマンドであるが、本開示はこれらに限定されない。

特定の実施形態では、第１の画像データに応じて第１の学習データを生成するステップは、データ処理モジュールが、第１の画像データに対して映り込み除去処理を実行して、映り込み除去画像データを生成するステップをさらに含む。データ処理モジュールは、映り込み除去画像データに応じて第１の学習データを生成する。特定の実施形態では、データ処理モジュールは、第５のコマンドに応じて第１の画像データに対して映り込み除去処理を実行する。第５のコマンドは、例えば、ユーザがマウスを用いて行う映り込み除去操作であるか、あるいは例えば、デフォルトの画像映り込み除去コマンドであるが、本開示はこれらに限定されない。

特定の実施形態では、より多くの学習データを取得し、その結果、ビリルビン濃度範囲又は黄疸程度に対して学習済みの畳み込みニューラルネットワークモジュールによって実行される分析の精度を高めるために、黄疸分析方法７００は、データ処理モジュールが、第１の画像データに応じて第２の画像データを生成するステップと、データ処理モジュールが、第２の画像データに応じて第２の学習データを生成し、データ処理モジュールが、第２の学習データを第２のカテゴリデータと相関させるステップと、をさらに含む。好ましくは、第２のカテゴリデータは、第１の画像データと相関する第１のカテゴリデータである。特定の実施形態では、深層学習モジュールは、第１のカテゴリデータと相関する第１の学習データと、第２のカテゴリデータと相関する第２の学習データとを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得する。

特定の変形形態では、データ処理モジュールは、第１の画像データに対して画像変換処理、画像回転処理、画像反転処理及びギャップ補正定数処理のうちの１つを実行して、第２の画像データを生成する。なお、本開示は、第１の画像データに応じてデータ処理モジュールが第２の画像データを生成する方法を限定するものではない。

したがって、本開示の黄疸分析システム及び方法は、添付の図面によって示され、上記で説明されている。本開示の特定の実施形態は、単に例示を目的とするものであるため、本開示の特許請求の範囲の精神及び範囲から逸脱することなく、本開示の特定の実施形態に様々な変更を加えることができ、またそれらは本開示の特許請求の範囲内に含まれるものとする。したがって、本開示の特定の実施形態は、本開示を限定するものではなく、本開示の精神及び範囲が添付の特許請求の範囲によって定義されるようにするものである。

Claims

黄疸分析システムであって、
データベースと、
前記データベースにアクセスする処理装置を含み、該処理装置が、
第１の画像データに応じて第１の学習データを生成し、該第１の学習データを第１のカテゴリデータと相関させ、該第１の学習データを前記データベースに格納するデータ処理モジュール、及び
前記第１のカテゴリデータと相関する前記第１の学習データを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得する深層学習モジュール
を含む、処理装置と
を備え、
前記第１の画像データは、第１の強膜画像を含み、
前記データベース通信は、前記データ処理モジュール及び／又は前記深層学習モジュールに接続され、
前記処理装置の前記学習済みの畳み込みニューラルネットワークモジュールは、入力画像データに応じてテストデータを生成し、該入力画像データは、対象被験者の第２の強膜画像を含み、
前記テストデータは、前記対象被験者のビリルビン濃度範囲を示す、
黄疸分析システム。
前記深層学習モジュールが、転移学習によって前記学習済みの畳み込みニューラルネットワークモジュールを取得する、
請求項１に記載の黄疸分析システム。
前記データ処理モジュールが、前記第１の画像データに対して第１の切出し処理を実行して、第１の切出し画像データを生成し、該第１の切出し画像データに応じて前記第１の学習データを生成する、
請求項１に記載の黄疸分析システム。
前記データ処理モジュールが、前記第１の画像データに対してミラーリング処理を実行して、ミラーリング画像データを生成し、該ミラーリング画像データに応じて前記第１の学習データを生成する、
請求項１に記載の黄疸分析システム。
前記データ処理モジュールが、前記ミラーリング画像データに対して第２の切出し処理を実行して、第２の切出し画像データを生成し、該第２の切出し画像データに応じて前記第１の学習データを生成し、該第２の切出し画像データが特定の画像形状を有する、
請求項４に記載の黄疸分析システム。
前記データ処理モジュールが、前記第２の切出し画像データに対して第３の切出し処理を実行して、第３の切出し画像データを生成し、該第３の切出し画像データに応じて前記第１の学習データを生成する、
請求項５に記載の黄疸分析システム。
前記データ処理モジュールが、前記第１の画像データに対して映り込み除去処理を実行して、映り込み除去画像データを生成し、該映り込み除去画像データに応じて前記第１の学習データを生成する、
請求項１に記載の黄疸分析システム。
前記データ処理モジュールが、前記第１の画像データに応じて第２の画像データを生成し、該第２の画像データに応じて第２の学習データを生成し、該第２の学習データを第２のカテゴリデータと相関させ、該第２の学習データを前記データベースに格納し、前記深層学習モジュールは、前記第１のカテゴリデータと相関する前記第１の学習データと、前記第２のカテゴリデータと相関する前記第２の学習データとを用いて前記目標畳み込みニューラルネットワークモジュールを学習させることにより、前記学習済みの畳み込みニューラルネットワークモジュールを取得する、
請求項１に記載の黄疸分析システム。
前記データ処理モジュールが、前記第１の画像データに対して画像変換処理、画像回転処理、及び画像反転処理のうちの１つを実行して、前記第２の画像データを生成する、
請求項８に記載の黄疸分析システム。
前記入力画像データを格納するモバイル端末をさらに備え、
前記処理装置が、
前記モバイル端末と、前記処理装置の前記学習済みの畳み込みニューラルネットワークモジュールとに通信可能に接続されており、前記モバイル端末から前記入力画像データを受信し、前記モバイル端末に前記テストデータを送信するように適合された通信モジュールをさらに含む、
請求項１に記載の黄疸分析システム。
黄疸分析システムに適用可能な黄疸分析方法であって、該黄疸分析方法は、
前記黄疸分析システムのデータ処理モジュールが、第１の画像データに応じて第１の学習データを生成し、該データ処理モジュールが、該第１の学習データを第１のカテゴリデータと相関させるステップと、
前記黄疸分析システムの深層学習モジュールが、前記第１のカテゴリデータと相関する前記第１の学習データを用いて目標畳み込みニューラルネットワークモジュールを学習させることにより、学習済みの畳み込みニューラルネットワークモジュールを取得するステップと、
前記黄疸分析システムの前記学習済みの畳み込みニューラルネットワークモジュールが、入力画像データに応じてテストデータを生成するステップであって、該入力画像データは、対象被験者の第２の強膜画像を含む、ステップと
を含み、
前記第１の画像データは、第１の強膜画像を含み、
前記テストデータは、前記対象被験者のビリルビン濃度範囲を示す、
黄疸分析方法。
前記深層学習モジュールが、転移学習によって前記学習済みの畳み込みニューラルネットワークモジュールを取得する、
請求項１１に記載の黄疸分析方法。
前記第１の画像データに応じて前記第１の学習データを生成する前記ステップが、
前記データ処理モジュールが、前記第１の画像データに対して第１の切出し処理を実行して、第１の切出し画像データを生成するステップをさらに含み、
前記データ処理モジュールが、前記第１の切出し画像データに応じて前記第１の学習データを生成する、
請求項１１に記載の黄疸分析方法。
前記第１の画像データに応じて前記第１の学習データを生成する前記ステップが、
前記データ処理モジュールが、前記第１の画像データに対してミラーリング処理を実行して、ミラーリング画像データを生成するステップをさらに含み、
前記データ処理モジュールが、前記ミラーリング画像データに応じて前記第１の学習データを生成する、
請求項１１に記載の黄疸分析方法。
前記第１の画像データに応じて前記第１の学習データを生成する前記ステップが、
前記データ処理モジュールが、前記ミラーリング画像データに対して第２の切出し処理を実行して、第２の切出し画像データを生成するステップをさらに含み、
前記データ処理モジュールが、前記第２の切出し画像データに応じて前記第１の学習データを生成し、
前記第２の切出し画像データが特定の画像形状を有する、
請求項１４に記載の黄疸分析方法。
前記第１の画像データに応じて前記第１の学習データを生成する前記ステップが、
前記データ処理モジュールが、前記第２の切出し画像データに対して第３の切出し処理を実行して、第３の切出し画像データを生成するステップをさらに含み、
前記データ処理モジュールが、前記第３の切出し画像データに応じて前記第１の学習データを生成する、
請求項１５に記載の黄疸分析方法。
前記第１の画像データに応じて前記第１の学習データを生成する前記ステップが、
前記データ処理モジュールが、前記第１の画像データに対して映り込み除去処理を実行して、映り込み除去画像データを生成するステップをさらに含み、
前記データ処理モジュールが、前記映り込み除去画像データに応じて前記第１の学習データを生成する、
請求項１１に記載の黄疸分析方法。
前記データ処理モジュールが、前記第１の画像データに応じて第２の画像データを生成するステップと、
前記データ処理モジュールが、前記第２の画像データに応じて第２の学習データを生成し、前記データ処理モジュールが、該第２の学習データを第２のカテゴリデータと相関させるステップと
をさらに含み、
前記深層学習モジュールが、前記第１のカテゴリデータと相関する前記第１の学習データと、前記第２のカテゴリデータと相関する前記第２の学習データとを用いて前記目標畳み込みニューラルネットワークモジュールを学習させることにより、前記学習済みの畳み込みニューラルネットワークモジュールを取得する、
請求項１１に記載の黄疸分析方法。
前記データ処理モジュールが、前記第１の画像データに対して画像変換処理、画像回転処理、及び画像反転処理のうちの１つを実行して、前記第２の画像データを生成する、
請求項１８に記載の黄疸分析方法。
前記黄疸分析システムの通信モジュールが、モバイル端末から前記入力画像データを受信するステップと、
前記通信モジュールが、前記モバイル端末に前記テストデータを送信するステップと
をさらに含む、
請求項１１に記載の黄疸分析方法。