JP7455445B1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】容易に屈折力を測定することができるようにする。【解決手段】情報処理システムであって、ライトを発光させ角膜に照射した状態で目を撮影した画像と目の屈折値とを機械学習により学習させた学習モデルを記憶する学習モデル記憶部と、ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得する画像取得部と、取得した撮影画像を学習モデルに与えてユーザの屈折値を推定する推定処理部と、を備えることを特徴とする。【選択図】図１

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

特許文献１にはフォトレフラクションを用いて眼の屈折力を測定している。

米国特許第９４０８５３５号明細書

従来の眼屈折力の測定装置よりも容易に屈折力を測定することのできる技術を提供する。

上記課題を解決するための本発明の主たる発明は、情報処理システムであって、ライトを発光させ角膜に照射した状態で目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶する学習モデル記憶部と、ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得する画像取得部と、取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定する推定処理部と、を備えることを特徴とする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、容易に屈折力を測定することができる。

本発明の一実施形態に係る情報処理システムである屈折力測定システムの全体構成例を示す図である。 本実施形態における測定の様子を説明する図である。 撮影画像に含まれるユーザの目２０を説明する図である。 管理サーバ２のハードウェア構成例を示す図である。 管理サーバ２のソフトウェア構成例を示す図である。 学習処理の流れを説明する図である。 屈折値の予測処理の流れを説明する図である。

＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
ライトを発光させ角膜に照射した状態で目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶する学習モデル記憶部と、
ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得する画像取得部と、
取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定する推定処理部と、
を備えることを特徴とする情報処理システム。
［項目２］
項目１に記載の情報処理システムであって、
前記屈折値には、球面度数、乱視度数、及び乱視の軸の少なくとも何れかが含まれること、
を特徴とする情報処理システム。
［項目３］
項目１に記載の情報処理システムであって、
前記学習モデルは、前記画像に含まれる前記ライトの領域と前記屈折値とを学習させたものであり、
前記撮影画像から前記ライトが写っているライト領域を抽出するライト抽出部を備え、
前記推定処理部は、前記ライト領域を前記学習モデルに与えて前記屈折値を推定すること、
を特徴とする情報処理システム。
［項目４］
項目１に記載の情報処理システムであって、
前記学習モデルは、角膜上に前記ライトが入るように撮影された前記画像に含まれる前記角膜の領域と前記屈折値とを学習させたものであり、
前記撮影画像から角膜が写っている角膜領域を抽出する角膜抽出部を備え、
前記推定処理部は、前記角膜領域を前記学習モデルに与えて前記屈折値を推定すること、
を特徴とする情報処理システム。
［項目５］
ライトを発光させて人間の目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶するコンピュータが、
ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得するステップと、
取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定するステップと、
を実行することを特徴とする情報処理方法。
［項目６］
ライトを発光させて人間の目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶するコンピュータに、
ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得するステップと、
取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定するステップと、
を実行させるためのプログラム。

＜システムの概要＞
図１は、本発明の一実施形態に係る情報処理システムである屈折力測定システムの全体構成例を示す図である。本実施形態の屈折力測定システムは、管理サーバ２を含んで構成される。管理サーバ２は、ユーザ端末１と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。

ユーザ端末１は、ユーザが操作するコンピュータである。ユーザ端末１は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどとすることができる。本実施形態では、ユーザ端末１はスマートフォン又はタブレットコンピュータであり、カメラ（不図示）とフラッシュライト（不図示）とを備えることを想定する。

管理サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。

本実施形態の屈折力測定システムは、ユーザの目の屈折力を推定する。図２は、本実施形態における測定の様子を説明する図である。本実施形態の屈折力測定システムでは、ユーザ端末１のフラッシュライトを発光させて、フラッシュライトからの光が角膜（黒目）に照射されるようにし、ユーザ端末１のカメラでユーザ（上半身であってもよいし、顔であってもよいし、目の部分だけでもよい。）を撮影することにより、撮影画像に角膜で反射された光が含まれるようにする。

図３は、撮影画像に含まれるユーザの目２０を説明する図である。目２０の中の角膜２１の中にフラッシュライトの反射光２２が写っている。フラッシュライトの形状は円形であることを想定する。この反射光２２の形状が図３に示すように楕円状に変形することがある。屈折値に応じてこの変形具体が変わる。

本実施形態の屈折力測定システムでは、一般的な測定機器によりユーザの目の屈折力を示す値（屈折値）を測定しておく。一般的な測定機器では、例えば、フォトレフラクション法によりライトを照射して眼底から反射された光を検出して屈折率を測定することができる。一般的な測定機器により測定した屈折値と、角膜２１からの反射光の画像とを機械学習により学習させて学習モデルを作成する。反射光の画像は、ユーザの全身を撮影した画像、ユーザの上半身を撮影した画像、ユーザの顔を撮影した画像、あるいはユーザの目の部分を撮影した画像であってよい。また、反射光の画像は、ユーザを撮影した画像から、目の部分又は角膜の部分を抽出したものであってもよい。屈折力測定システムでは、ユーザがフラッシュライトを自身の目に向けて発光させた状態で自身を撮影した撮影画像を学習モデルに与えることにより、ユーザの屈折値を推定することができる。

＜管理サーバ＞
図４は、管理サーバ２のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ２は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、後述する管理サーバ２の各機能部はＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、管理サーバ２の各記憶部はメモリ２０２及び記憶装置２０３が提供する記憶領域の一部として実現される。

図５は、管理サーバ２のソフトウェア構成例を示す図である。管理サーバ２は、学習モデル記憶部２３１と、画像取得部２１１と、推定処理部２１２と、ライト抽出部２１３と、角膜抽出部２１４と、を備える。

＜記憶部＞
学習モデル記憶部２３１は、人間を撮影した撮影画像と当該人間の目の屈折値とを機械学習により学習させた学習モデルを記憶する。上述したように、撮影画像は、ユーザ端末１のフラッシュライトを発光させて、フラッシュライトからの光が当該人間の角膜に照射されるようにした後、ユーザ端末１のカメラで当該人間を撮影した場合に、撮影画像に角膜から反射された光が含まれるようにして撮影された画像である。目の屈折値には、球面度数、乱視度数、及び乱視の軸の少なくとも何れかが含まれる。

なお、学習モデルは、撮影画像に含まれるフラッシュライトの反射光の領域（以下、ライト領域という。）と屈折値とを機械学習により学習させて作成してもよい。また、学習モデルは、撮影画像に含まれる角膜の領域（以下、角膜領域という。）と屈折値とを機械学習により学習させて作成してもよい。

＜機能部＞
画像取得部２１１は、ユーザ端末１がフラッシュライトを発光させてユーザを撮影した撮影画像を取得する。

推定処理部２１２は、取得した撮影画像を学習モデルに与えてユーザの屈折値を推定する。

ライト抽出部２１３は、撮影画像からフラッシュライトが写っているライト領域を抽出することができる。推定処理部２１２は、ライト領域を学習モデルに与えて屈折値を推定することができる。

角膜抽出部２１４は、撮影画像から角膜が写っている角膜領域を抽出することができる。推定処理部２１２は、角膜領域を学習モデルに与えて屈折値を推定することができる。角膜抽出部２１４が、撮影画像から角膜領域を抽出できない場合、（例えば目をつぶっている場合）、画像取得部２１１は、再度撮影するように指示するメッセージをユーザ端末１に送信して、撮影画像を再取得するようにしてもよい。

ライト抽出部２１３は、撮影画像の角膜領域からライト領域を抽出するようにしてもよい。ライト抽出部２１３が撮影画像からライト領域を抽出できない場合（例えば、フラッシュライトが発光していない場合やフラッシュライトの光が角膜領域に照射されていない場合）、画像取得部２１１は、再度撮影するように指示するメッセージをユーザ端末１に送信して、撮影画像を再取得するようにしてもよい。

＜動作＞
図６は、学習処理の流れを説明する図である。なお、学習モデルの作成はユーザ端末１又は管理サーバ２で行うようにしてもよいし、他のコンピュータにより行うようにしてもよい。

まずオートレフラクトメーターなどの一般的な測定器を用いて被検者の屈折値を測定する（Ｓ３０１）。次にユーザ端末１（スマートフォン）のフラッシュライトを発光させて被検者の目に照射しながら、ユーザ端末１のカメラで被検者を撮影する（Ｓ３０２）。測定した屈折値と、撮影された撮影画像とを対応付けてコンピュータに記憶しておき（Ｓ３０３）、コンピュータはこの屈折値と撮影画像とのペアを機械学習により学習して、撮影画像から屈折値を推論する学習モデルを作成する（Ｓ３０４）。

このようにして作成された学習モデルが管理サーバ２の学習モデル記憶部２３１に格納される。

図７は、屈折値の予測処理の流れを説明する図である。

ユーザ端末１は、フラッシュライトを発光して（Ｓ３２１）、ユーザを撮影して（Ｓ３２２）、撮影画像を管理サーバ２に送信する（Ｓ３２３）。ここで、フラッシュライトから照射された光が角膜に反射して反射光が撮影画像に写るようにユーザ端末１は位置決めされていることを想定する。

管理サーバ２は、ユーザ端末１から撮影画像を受信し（Ｓ３２４）、学習モデル記憶部２３１に記憶されている学習モデルに受信した撮影画像を与えて屈折値を推論し（Ｓ３２５）、屈折値を出力する（例えば、ユーザ端末１に屈折値を送信して表示させたり、医師の端末に屈折値を送信して表示させたりする）ことができる（Ｓ３２６）。なお、撮影画像から目あるいは角膜の部分を抽出した画像を学習モデルに与えるようにしてもよい。

なお、管理サーバ２は、受信した撮影画像から角膜領域を特定し、撮影画像から角膜領域の部分を抽出した抽出画像又は撮影画像と角膜領域を特定する情報とを学習モデルに与えることにより屈折値を推論するようにしてもよい。また、管理サーバ２は、受信した撮影画像からライト領域を特定し、撮影画像からライト領域の部分を抽出した抽出画像又は撮影画像とライト領域を特定する情報とを学習モデルに与えることにより屈折値を推論するようにしてもよい。

以上のようにして、本実施形態の屈折力測定システムによれば、スマートフォンなどのユーザ端末１を用いて、フラッシュライトを発光させてユーザを撮影し、この撮影画像を学習モデルに与えるだけで、ユーザの屈折値を推定することができる。したがって、ユーザの屈折力を容易に測定することができる。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

例えば、本実施形態では、フラッシュライトをユーザの目に照射するものとしたが、これに限らず、例えば、ユーザ端末１のディスプレイを発光させて、インカメラ（不図示）を用いてユーザを撮影するようにしてもよい。この場合、ユーザ端末１のディスプレイにユーザの顔（又は目）の位置を揃えるためのガイドを表示して顔（又は目）の位置を固定することができる。ユーザ端末１は、ディスプレイの一部を明るい白色に発光するように制御することで、ユーザの目にこの光が照射されるようにすることができる。

また、本実施形態では、フラッシュライトの形状を円形であるものとしたが、例えば、十字状に発光させるようにしてもよい。例えば、ディスプレイに明るい白色の十字を表示して、この十字が角膜内に入るように位置合わせしたうえで、インカメラを用いてユーザを撮影することができる。

１ ユーザ端末
２ 管理サーバ

Claims (6)

1. ライトを発光させ角膜に照射した状態で前記ライトの前記角膜における反射光を含む目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶する学習モデル記憶部と、
   ユーザ端末がライトを発光させてユーザの角膜に照射した状態で前記ユーザの目を撮影した撮影画像を取得する画像取得部と、
   取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定する推定処理部と、
   を備えることを特徴とする情報処理システム。
2. 請求項１に記載の情報処理システムであって、
   前記屈折値には、球面度数、乱視度数、及び乱視の軸の少なくとも何れかが含まれること、
   を特徴とする情報処理システム。
3. 請求項１に記載の情報処理システムであって、
   前記学習モデルは、前記画像に含まれる前記ライトの反射が写っている領域と前記屈折値とを学習させたものであり、
   前記撮影画像から前記ライトの反射が写っている領域を抽出するライト抽出部を備え、
   前記推定処理部は、抽出した前記領域を前記学習モデルに与えて前記屈折値を推定すること、
   を特徴とする情報処理システム。
4. 請求項１に記載の情報処理システムであって、
   前記学習モデルは、角膜上に前記ライトが入るように撮影された前記画像に含まれる前記角膜の領域と前記屈折値とを学習させたものであり、
   前記撮影画像から角膜が写っている角膜領域を抽出する角膜抽出部を備え、
   前記推定処理部は、前記角膜領域を前記学習モデルに与えて前記屈折値を推定すること、
   を特徴とする情報処理システム。
5. ユーザ端末がライトを発光させてユーザの角膜に照射した状態で前記ユーザの目を撮影した撮影画像を取得するステップと、
   ライトを発光させ角膜に照射した状態で前記ライトの前記角膜における反射光を含む目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルに、取得した前記撮影画像を与えて前記ユーザの屈折値を推定するステップと、
   をコンピュータが実行することを特徴とする情報処理方法。
6. ユーザ端末がライトを発光させてユーザの角膜に照射した状態で前記ユーザの目を撮影した撮影画像を取得するステップと、
   ライトを発光させ角膜に照射した状態で前記ライトの前記角膜における反射光を含む目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルに、取得した前記撮影画像を与えて前記ユーザの屈折値を推定するステップと、
   をコンピュータに実行させるためのプログラム。

Images