JP7491465B2 - 学習システム、認証システム、学習方法、コンピュータプログラム、学習モデル生成装置、及び推定装置 - Google Patents

Description

この開示は、機械学習を実行する学習システム、認証システム、学習方法、コンピュータプログラム、学習モデル生成装置、及び推定装置の技術分野に関する。

この種のシステムとして、画像データを訓練データとして機械学習を行うシステムが知られている。例えば特許文献１では、生体の画像を用いて、画像から特徴量を抽出する際のパラメータを再起帰化する技術が開示されている。特許文献２では、車載カメラから出力される動画フレームから、歩行者が写った画像の共起特徴量を学習する技術が開示されている。特許文献３では、損失関数から勾配を算出して、ニューラルネットワークの学習を行う技術が開示されている。

その他の関連する技術として、例えば特許文献４では、動画フレームの画像データから、画像に所定の識別対象が存在しているか否かを識別する装置が開示されている。特許文献５では、動画像における所定領域の位置を推定するために、低解像度画像から車両の画像特徴量を検出する技術が開示されている。

国際公開第２０１９／０７３７４５号 国際公開第２０１８／１４３２７７号 特開２０１９－１８５２０７号公報 特開２０１９－０６１４９５号公報 特開２０１７－２２１１７６０号公報

この開示は、例えば上記各引用文献に鑑みてなされたものであり、機械学習を適切に実行することが可能な学習システム、認証システム、学習方法、コンピュータプログラム、、学習モデル生成装置、及び推定装置を提供することを目的とする。

この開示の学習システムの一の態様は、第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択する選択手段と、前記一部の画像から特徴量を抽出する抽出手段と、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記抽出手段の学習を行う学習手段とを備える。

この開示の認証システムの一の態様は、第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、前記一部の画像から特徴量を抽出し、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて学習された抽出手段と、前記抽出された前記特徴量を用いて、認証処理を実行する認証手段とを備える。

この開示の学習方法の一の態様は、第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、前記一部の画像から特徴量を抽出し、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記抽出手段の学習を行う。

この開示のコンピュータプログラムの一の態様は、第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、前記一部の画像から特徴量を抽出し、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記抽出手段の学習を行うようにコンピュータを動作させる。

この開示の学習モデル生成装置の一の態様は、合焦範囲外で撮像された画像と、当該画像に含まれる特徴量を示す情報と、の組を教師データとして機械学習を行うことにより、合焦範囲外で撮像された画像を入力として当該入力された画像の特徴量に関する情報を出力する学習モデルを生成する。

この開示の推定装置の一の態様は、合焦範囲外で撮像された画像と、当該画像に含まれる特徴量を示す情報と、の組を教師データとして機械学習を行うことにより生成された学習モデルを用いて、合焦範囲外で撮像された画像を入力として当該入力された画像の特徴量に関する情報を推定する。

第１実施形態に係る学習システムのハードウェア構成を示すブロック図である。 第１実施形態に係る学習システムの機能的構成を示すブロック図である。 学習に用いる画像の選択方法の一例を示す概念図である。 第１実施形態に係る学習システムの動作の流れを示すフローチャートである。 第１実施形態の変形例に係る学習システムの機能的構成を示すブロック図である。 第１実施形態の変形例に係る学習システムの動作の流れを示すフローチャートである。 第２実施形態に係る学習システムの動作例を示す概念図である。 第３実施形態に係る学習システムの動作例を示す概念図である。 第４実施形態に係る学習システムの動作例を示す概念図である。 第５実施形態に係る学習システムの動作例を示す表である。 第６実施形態に係る学習システムの動作例を示す概念図である。 第７実施形態に係る学習システムの動作例を示す概念図である。 第８実施形態に係る認証システムの機能的構成を示すブロック図である。 第８実施形態に係る認証システムの動作の流れを示すフローチャートである。 第９実施形態に係る学習モデル生成装置の機能的構成を示すブロック図である。 第１０実施形態に係る推定装置の機能的構成を示すブロック図である。

以下、図面を参照しながら、学習システム、認証システム、学習方法、コンピュータプログラム、学習モデル生成装置、及び推定装置の実施形態について説明する。

＜第１実施形態＞
第１実施形態に係る学習システムについて、図１から図４を参照して説明する。

（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る学習システム１０のハードウェア構成について説明する。図１は、第１実施形態に係る学習システムのハードウェア構成を示すブロック図である。

図１に示すように、第１実施形態に係る学習システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。学習システム１０は更に、入力装置１５と、出力装置１６とを備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６と、カメラ２０とは、データバス１７を介して接続されている。

プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、学習システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、機械学習に関する処理を実行するための機能ブロックが実現される。また、プロセッサ１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のうち一つを用いてもよいし、複数を並列で用いてもよい。

ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。

ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。

記憶装置１４は、学習システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

入力装置１５は、学習システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。

出力装置１６は、学習システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、学習システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。

（機能的構成）
次に、図２を参照しながら、第１実施形態に係る学習システム１０の機能的構成について説明する。図２は、第１実施形態に係る学習システムの機能的構成を示すブロック図である。

図２に示すように、第１実施形態に係る学習システム１０は、その機能を実現するための処理ブロックとして、画像選択部１１０と、特徴量抽出部１２０と、学習部１３０とを備えて構成されている。画像選択部１１０、特徴量抽出部１２０、及び学習部１３０の各々は、例えば上述したプロセッサ１１（図１参照）において実現されればよい。

画像選択部１１０は、第１のフレームレートで撮影された複数フレームの画像から、一部の画像を選択可能に構成されている。なお、ここでの「第１のフレームレート」は、画像選択部１１０の選択元となる画像を撮像する際のフレームレートであり、比較的高いレートとして設定されている。以下では、第１のフレームレートで撮影された複数のフレームレート画像を、適宜「高フレームレート画像」と称する。画像選択部１１０は、高フレームレート画像から、合焦範囲外で撮像された画像（言い換えれば、ピントがぼけた画像）を含む一部の画像を選択する。なお、画像選択部１１０によって選択される一部の画像の枚数は特に限定されず、１枚の画像のみが選択されてもよいし、複数枚の画像が選択されてもよい。画像選択部１１０によって選択された画像は、特徴量抽出部１２０に出力される構成となっている。

特徴量抽出部１２０は、画像選択部１１０によって選択された画像（以下、適宜「選択画像」と称する）から、特徴量を抽出可能に構成されている。ここでの「特徴量」は、画像の特徴を示すものであり、例えば画像に含まれている物体の特徴を示す値として抽出されてもよい。特徴量抽出部１２０は、１枚の画像から複数種類の特徴量を抽出してもよい。また、選択画像が複数枚ある場合、特徴量抽出部１２０は、複数枚の選択画像の各々について特徴量を抽出してよい。なお、画像から特徴量を抽出する具体的な手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。特徴量抽出部１２０で抽出された特徴量は、学習部１３０に出力される構成となっている。

学習部１３０は、特徴量抽出部１２０で抽出された特徴量と、特徴量に関する正解を示す正解情報とに基づいて、特徴量抽出部１２０の学習を行う。具体的には、学習部１３０は、特徴量抽出部１２０が抽出した特徴量と、正解情報とに基づいて、特徴量抽出部１２０がより高い精度で特徴量を抽出できるように、パラメータの最適化を行う。なお、ここでの「正解情報」とは、画像選択部１１０で選択された画像から特徴量抽出部１２０が抽出すべき特徴量（言い換えれば、実際に画像に含まれている特徴量）を示す情報であり、各画像の正解ラベルとして予め付与されたものである。正解情報は、例えば、画像に紐付いて記憶されているものであってもよいし、画像とは別に入力されるものであってもよい。正解情報は、画像から推定された情報であってもよいし、人の作業によって作成されたものであってもよい。学習部１３０は、典型的には、複数枚の選択画像を用いて特徴量抽出部１２０の学習を実行する。なお、学習部１３０による学習の具体的な手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。

（画像の選択）
次に、図３を参照しながら、上述した画像選択部１１０による画像の選択方法について具体的に説明する。図３は、学習に用いる画像の選択方法の一例を示す概念図である。

図３において、上向きの矢印は、連続して撮像される画像１枚１枚を表している。高フレームレート画像は、撮像部の合焦範囲を通過するように移動する物体を、第１のフレームレートで撮影したものである。

画像選択部１１０は、高フレームレート画像の中から一部の画像を選択する。なお、ここでは２枚の画像を選択しているが、２枚以上の画像が選択されてもよいし、１枚の画像だけが選択されてもよい。画像選択部１１０は、選択画像をランダムに選択してよい。或いは、画像選択部１１０は、予め設定された選択条件に基づいて画像を選択してもよい。画像選択部１１０による、より具体的な画像の選択例については、後の実施形態で詳しく説明する。

選択画像は、すでに説明したように、合焦範囲外で撮像された画像を含んでいる。合焦範囲外で撮像された画像は、画像が多少なりともぼやけているため、特徴量抽出手段で正確な特徴量を抽出するのが難しい。本実施形態に係る学習システム１０では、このように、あえて合焦範囲外で撮像された画像を用いることにより、ぼやけた画像からでも正確に特徴量を抽出できるような学習を行う。

なお、合焦範囲の広さやフレームレートにもよるが、高フレームレート画像であっても、合焦範囲内で撮像される画像はごく一部となる（図３に示す例では、合焦範囲内で撮像された画像は１枚だけである）。よって、確実に合焦範囲内で撮像された画像を取得しようとすると、高いフレームレートで画像を撮像することが要求される。或いは、液体レンズのような手段を用いて、合焦範囲を調整することが要求される。

上述した要求を満たそうとすると、コストの増加を避けるのは難しい。しかるに、ぼやけた画像からでも正確に特徴量を抽出できるように学習を行えば、合焦範囲内で画像を撮像することが要求されなくなる。その結果、コストの増加を抑制しつつ、精度よく特徴量を抽出することが可能となる。

（動作の流れ）
次に、図４を参照しながら、第１実施形態に係る学習システム１０の動作の流れについて説明する。図４は、第１実施形態に係る学習システムの動作の流れを示すフローチャートである。

図４に示すように、第１実施形態に係る学習システム１０が動作する際には、まず画像選択部１１０が、高フレームレート画像から一部の画像を選択する（ステップＳ１０１）。画像選択部１１０は、選択画像を特徴量抽出部１２０に出力する。

続いて、特徴量抽出部１２０が、選択画像から特徴量を抽出する（ステップＳ１０２）。特徴量抽出部１２０は、抽出した特徴量を学習部１３０に出力する。

続いて、学習部１３０が、特徴量抽出部１２０で抽出された特徴量と、特徴量の正解情報とに基づいて、特徴量抽出部１２０の学習処理を行う（ステップＳ１０３）。

続いて、学習部１３０は、すべての学習が終了したか否かを判定する（ステップＳ１０４）。学習部１３０は、例えば学習に用いた選択画像が所定枚数に到達した場合に、学習が終了したと判定してもよい。或いは、学習部１３０は、学習開始から所定期間が経過した場合や、システム管理者による終了操作があった場合に、学習が終了したと判定してもよい。

学習が終了したと判定された場合（ステップＳ１０４:ＹＥＳ）、一連の処理は終了する。一方、学習が終了していないと判定された場合（ステップＳ１０４:ＮＯ）、再びステップＳ１０１から処理が開始されればよい。

（技術的効果）
次に、第１実施形態に係る学習システム１０によって得られる技術的効果について説明する。

図１から図４で説明したように、第１実施形態に係る学習システム１０では、高フレームレート画像から選択された一部の画像を選択し、その選択画像から抽出される特徴量を用いて、特徴量抽出部１２０の学習が行われる。このように特徴量抽出部１２０を学習すれば、合焦範囲内で撮像された画像でなくても、精度よく特徴量を抽出することが可能となる。従って、合焦範囲内で画像を撮像することが要求されなくなり、撮像部等のコスト増加を抑制することができる。

＜変形例＞
第１実施形態の変形例について、図５及び図６を参照して説明する。なお、以下で説明する変形例は、第１実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態（図１から図４参照）と同一であってよい。このため、以下では、すでに説明した第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。

（変形例の構成）
まず、図５を参照しながら、第１実施形態の変形例に係る学習システム１０の機能的構成について説明する。図５は、第１実施形態の変形例に係る学習システムの機能的構成を示すブロック図である。図５では、図２で示した構成要素と同様の要素に同一の符号を付している。

図５に示すように、第１実施形態の変形例に係る学習システム１０は、その機能を実現するための処理ブロックとして、画像選択部１１０と、特徴量抽出部１２０と、学習部１３０とを備えて構成されている。そして特に、変形例に係る学習システム１０は、学習部１３０が、損失関数計算部１３１と、勾配計算部１３２と、パラメータ更新部１３３とを備えている。

損失関数計算部１３１は、特徴量抽出部１２０で抽出された特徴量と、特徴量の正解情報との誤差に基づいて、損失関数を計算可能に構成されている。損失関数の具体的な計算方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。

勾配計算部１３２は、損失関数計算部１３１で計算された損失関数を用いて、勾配を計算可能に構成されている。勾配の具体的な計算方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。

パラメータ更新部１３３は、勾配計算部１３２で計算された勾配に基づいて、特徴量抽出部１２０におけるパラメータ（即ち、特徴量を抽出するためのパラメータ）を更新可能に構成されている。パラメータ更新部１３３は、損失関数で計算される損失が小さくなるようにパラメータを更新することで、特徴量がより正解情報に近い情報として推定されるようにパラメータを最適化する。

（変形例の動作）
次に、図６を参照しながら、第１実施形態の変形例にかかる学習システムの動作の流れについて説明する。図６は、第１実施形態の変形例に係る学習システムの動作の流れを示すフローチャートである。図６では、図４で示した処理と同様の処理に同一の符号を付している。

図６に示すように、第１実施形態の変形例に係る学習システム１０が動作する際には、まず画像選択部１１０が、高フレームレート画像から一部の画像を選択する（ステップＳ１０１）。画像選択部１１０は、選択画像を特徴量抽出部１２０に出力する。

続いて、特徴量抽出部１２０が、選択画像から特徴量を抽出する（ステップＳ１０２）。特徴量抽出部１２０は、抽出した特徴量を学習部１３０における損失関数計算部１３１に出力する。

続いて、損失関数計算部１３１が、特徴量抽出部１２０から入力された特徴量と、別途入力された正解情報とに基づいて損失関数を計算する（ステップＳ１１１）。そして、勾配計算部１３２が、損失関数を用いて勾配を計算する（ステップＳ１１２）。その後、パラメータ更新部１３３が、計算された勾配に基づいて、特徴量抽出部１２０のパラメータを更新する（ステップＳ１１３）。

続いて、学習部１３０は、すべての学習が終了したか否かを判定する（ステップＳ１０４）。学習が終了したと判定された場合（ステップＳ１０４:ＹＥＳ）、一連の処理は終了する。一方、学習が終了していないと判定された場合（ステップＳ１０４:ＮＯ）、再びステップＳ１０１から処理が開始されればよい。

（変形例の効果）
次に、第１実施形態の変形例に係る学習システム１０によって得られる技術的効果について説明する。

図５から図６で説明したように、第１実施形態の変形例に係る学習システム１０では、損失関数から計算される勾配に基づいて、特徴量抽出部１２０のパラメータが更新される。このように特徴量抽出部１２０を学習した場合でも、上述した第１実施形態に係る学習システム１０と同様に、合焦範囲内で撮像された画像でなくても、精度よく特徴量を抽出することが可能となる。従って、合焦範囲内で画像を撮像することが要求されなくなり、撮像部等のコスト増加を抑制することができる。

＜第２実施形態＞
第２実施形態に係る学習システム１０について、図７を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態（図１から図６参照）と同一であってよい。このため、以下では、すでに説明した第１実施形態と重複する部分については適宜説明を省略するものとする。

（動作例）
まず、図７を参照しながら、第２実施形態に係る学習システム１０の動作例について説明する。図７は、第２実施形態に係る学習システムの動作例を示す概念図である。

第２実施形態に係る学習システム１０は、高フレームレート画像として、生体の虹彩を含む画像を用いる。よって、画像選択部１１０が選択する選択画像にも、生体の虹彩が含まれることとなる。そして、第２実施形態に係る特徴量抽出部１２０は、生体の虹彩を含む画像（以下、適宜「虹彩画像」と称する）から、虹彩の特徴量を抽出可能に構成されている。なお、特徴量抽出部１２０は、学習部１３０による学習後に、虹彩認証に用いる特徴量を抽出することになる。

図７に示すように、虹彩認証を行うシステムでは、認証対象である対象者が移動している状態で虹彩画像を撮像する態様（所謂、ウォークスルー認証）が採用されることがある。このような認証システムでは、対象者の虹彩が合焦範囲内に位置する時間は極めて短い。例えば、対象者が大人の通常の歩行速度である分速８０ｍ（秒速１．３３３ｃｍ）で歩いた場合、撮像システムにおける光学レンズによる撮影位置での被写界深度（合焦範囲）が１ｃｍであるとすると、仮に１２０ＦＰＳ（８．３３ｍｓ間隔）で虹彩画像を撮像したとしても、合焦範囲内で撮像できる虹彩画像は１～２枚である。よって、例えばフレームレートが低い状態（例えば、３０ＦＰＳ）で虹彩画像を撮像した場合、合焦範囲内で虹彩画像を撮像できなくなるおそれがある。即ち、すべての虹彩画像が合焦範囲外で撮像されたものになってしまう可能性がある。

第２実施形態に係る学習システム１０は、上述した低フレームレートでの虹彩画像の撮像を想定した学習を行う。即ち、高フレームレートで撮像された虹彩画像から一部の虹彩画像を選択することで、あえて合焦範囲外で撮像された虹彩画像を用いた学習を行う。

（技術的効果）
次に、第２実施形態に係る学習システム１０によって得られる技術的効果について説明する。

図７で説明したように、第２実施形態に係る学習システム１０では、高フレームレート画像から選択された一部の虹彩画像を用いて、虹彩の特徴量を抽出する特徴量抽出部１２０が学習される。このようにすれば、合焦範囲外で撮像された虹彩画像からでも、精度よく特徴量を抽出することができるような学習が行える。よって、合焦範囲内で画像を撮像することが要求されなくなり、撮像部等のコスト増加を抑制することができる。

＜第３実施形態＞
第３実施形態に係る学習システム１０について、図８を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

（動作例）
まず、図８を参照しながら、第３実施形態に係る学習システム１０の動作例について説明する。図８は、第３実施形態に係る学習システムの動作例を示す概念図である。

図８に示すように、第３実施形態に係る学習システム１０では、画像選択部１１０が、高フレームレート画像のうち、合焦範囲付近の画像を選択する。この選択方法は、ハイパスフィルタやフーリエ変換などを用いて高フレームレート画像における高周波成分量を求め、その高周波成分があらかじめ設定された閾値を超えた画像を選択してもよい。また、距離センサにて歩行者の虹彩までの距離を計測し、合焦位置までの距離との差を計算し、あらかじめ設定された距離の差を下回った画像を選択してもよい。なお、ここでの「合焦範囲付近」とは、合焦範囲から比較的近い位置であることを意味しており、例えば合焦範囲の端から所定距離内に収まる範囲として設定されている。また、合焦範囲付近には、合焦範囲より前の部分と、合焦範囲より後の部分の両方が含まれていてよい。なお、画像選択部１１０は、合焦範囲付近に複数の画像が含まれている場合、その中の１枚の画像を選択してもよいし、複数枚の画像を選択してもよい。その際、画像選択部１１０は、画像範囲付近の画像をランダムに選択するようにしてもよい。

（技術的効果）
次に、第３実施形態に係る学習システム１０によって得られる技術的効果について説明する。

図８で説明したように、第３実施形態に係る学習システム１０では、選択画像として、合焦範囲付近の画像が選択される。このようにすれば、仮に合焦範囲外の画像であっても、比較的ぼやけ具合が少ない画像を用いて学習が行える。このため、合焦範囲から外れすぎた画像（即ち、ぼやけすぎた画像）を用いることで、適切な学習が行えなくなってしまうことを回避できる。また、低フレームレートの撮像においても、合焦範囲付近の画像が多少は取得できることが想定されるため、実運用に合った条件で学習が行える。

＜第４実施形態＞
第４実施形態に係る学習システム１０について、図９を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第３実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

（動作例）
まず、図９を参照しながら、第４実施形態に係る学習システム１０の動作例について説明する。図９は、第４実施形態に係る学習システムの動作例を示す概念図である。

図９に示すように、第４実施形態に係る学習システム１０では、画像選択部１１０が、第１のフレームレート（即ち、高フレームレート画像を撮像したフレームレート）よりも低い第２のフレームレートに対応する画像を選択する。なお、図９では、第１のフレームレートが１２０ＦＰＳであり、第２のフレームレートが３０ＦＰＳである例が示されている。このため、高フレームレート画像が４枚おきに１枚ずつ選択されている。選択画像は、第２のフレームレートに応じて等間隔で選択されることになる。

（技術的効果）
次に、第４実施形態に係る学習システム１０によって得られる技術的効果について説明する。

図８で説明したように、第４実施形態に係る学習システム１０では、第１のフレームレートよりも低い第２のフレームレートに対応する画像が選択される。上記のような選択方法で高フレームレートのデータから学習用のフレーム画像を選択する。選択されたフレーム画像を学習に用いることで低フレームレートの推定に最適なネットワークを学習できる。

＜第５実施形態＞
第５実施形態に係る学習システム１０について、図１０を参照して説明する。なお、第５実施形態は、上述した第４実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

（動作例）
まず、図１０を参照しながら、第５実施形態に係る学習システム１０の動作例について説明する。図１０は、第５実施形態に係る学習システムの動作例を示す表である。

第５実施形態に係る学習システム１０では、画像選択部１１０が画像を選択するフレームレート（即ち、第２のフレーム）が、学習後の特徴量抽出部１２０を運用する際のフレームレートとして設定されている。即ち、学習後の特徴量抽出部１２０に入力される画像のフレームレートを想定して、高フレームレート画像から一部の画像が選択される構成となっている。

図１０に示すように、例えば、高フレームレート画像が、１２０ＦＰＳで撮像された画像であるとする。この場合、特徴量抽出部１２０を運用する際のフレームレートが３０ＦＰＳであるとすると、画像選択部１１０は３０ＦＰＳに対応する画像を高フレームレート画像から選択する。具体的には、画像選択部１１０は、高フレームレート画像を４フレームおきに選択する。或いは、特徴量抽出部１２０を運用する際のフレームレートが４０ＦＰＳであるとすると、画像選択部１１０は４０ＦＰＳに対応する画像を高フレームレート画像から選択する。具体的には、画像選択部１１０は、高フレームレート画像を３フレームおきに選択する。或いは、特徴量抽出部１２０を運用する際のフレームレートが６０ＦＰＳであるとすると、画像選択部１１０は６０ＦＰＳに対応する画像を高フレームレート画像から選択する。具体的には、画像選択部１１０は、高フレームレート画像を２フレームおきに選択する。

（技術的効果）
次に、第５実施形態に係る学習システム１０によって得られる技術的効果について説明する。

図１０で説明したように、第５実施形態に係る学習システム１０では、特徴量抽出部１２０を運用する際のフレームレートに対応する画像が選択される。このようにすれば、学習後の特徴量抽出部１２０が運用される際の動作を想定して、より適切な学習を行うことが可能となる。

＜第６実施形態＞
第６実施形態に係る学習システム１０について、図１１を参照して説明する。なお、第６実施形態は、上述した第１から第５実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第５実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

（動作例）
まず、図１１を参照しながら、第６実施形態に係る学習システム１０の動作例について説明する。図１１は、第６実施形態に係る学習システムの動作例を示す概念図である。

図１１に示すように、第６実施形態に係る学習システム１０では、画像選択部１１０が、まず基準フレームを選択する。即ち、画像選択部１１０が、複数枚の高フレームレート画像の中から、１枚の基準フレームを選択する。基準フレームは、高フレームレート画像の中からランダムに選択されてよい。

その後、画像選択部１１０は更に、基準フレームを基準として、第２のフレームレートに対応する他の画像を選択していく。具体的には、画像選択部１１０は、基準フレームから第２のフレームレートに対応する間隔を空けて２番目の画像を選択する。そして、画像選択部１１０は、２番目の画像から第２のフレームレートに対応売する間隔を空けて、３番目の画像を選択する。なお、ここでは、３枚の画像を選択する例を挙げているが、同様に４番目以降の画像が選択されてもよい。

（技術的効果）
次に、第６実施形態に係る学習システム１０によって得られる技術的効果について説明する。

図８で説明したように、第６実施形態に係る学習システム１０では、最初に選択される基準フレームを基準にして、その他の画像が選択される。上記のような選択方法で高フレームレートのデータから学習用のフレーム画像を選択する。選択されたフレーム画像を学習に用いることで低フレームレートの推定に最適なネットワークを学習できる。

＜第７実施形態＞
第７実施形態に係る学習システム１０について、図１２を参照して説明する。なお、第７実施形態は、上述した第６実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第６実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

（動作例）
まず、図１２を参照しながら、第７実施形態に係る学習システム１０の動作例について説明する。図１２は、第７実施形態に係る学習システムの動作例を示す概念図である。

図１２に示すように、第７実施形態に係る学習システム１０では、画像選択部１１０が、合焦範囲の直前から基準フレームを選択する。なお、ここでの「合焦範囲の直前」とは、合焦範囲の前にある比較的近い位置を意味しており、例えば合焦範囲の前端から所定距離内に収まる範囲として設定されている。なお、基準フレームとして選択される画像は、賀正範囲から最も近い位置で撮像される画像に限定されるものではない。図１２に示す例では、撮像範囲の外側にある１番最初の画像が基準フレームとして選択されているが、それよりも前で撮像された画像が基準フレームとして選択されてもよい。なお、合焦範囲の直前といえる範囲に複数枚の高レート画像が存在する場合には、画像選択部１１０は、その中から１枚の画像をランダムに選択して基準フレームとしてよい。

（技術的効果）
次に、第７実施形態に係る学習システム１０によって得られる技術的効果について説明する。

図８で説明したように、第７実施形態に係る学習システム１０では、撮像範囲の直前から基準フレームが選択される。このようにすれば、合焦範囲の周辺に位置する複数枚の画像が選択画像となるため、学習に適した画像を容易且つ効率的に選択することが可能である。
＜第８実施形態＞
第８実施形態に係る認証システム２０について、図１３及び図１４を参照して説明する。なお、第８実施形態に係る認証システム２０は、上述した第１から第７実施形態に係る学習システム１０で学習された特徴量抽出部１２０を備えるシステムであり、そのハードウェア構成については、第１実施形態に係る学習システム１０（図１参照）と同一であってよく、その他の部分についても、第１から第７実施形態に係る学習システム１０と同様であってもよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

（機能的構成）
まず、図１３を参照しながら、第８実施形態に係る認証システム２０の機能的構成について説明する。図１３は、第８実施形態に係る認証システムの機能的構成を示すブロック図である。なお、図１３では、図２で示した構成要素と同様の要素に同一の符号を付している。

図１３に示すように、第８実施形態に係る学習認証システム２０は、その機能を実現するための処理ブロックとして、特徴量抽出部１２０と、認証部２００とを備えて構成されている。認証部２００は、例えば上述したプロセッサ１１（図１参照）によって実現されてよい。或いは、認証部２００は、外部のサーバやクラウドによって実現されるものであってもよい。

特徴量抽出部１２０は、上述した各実施形態で説明したように、画像から特徴量を抽出可能に構成されている。ただし、第８実施形態に係る特徴量抽出部１２０は、第１から第７実施形態で説明した学習システム１０によって学習済みとなったものである。特徴量抽出部１２０で抽出された特徴量は、認証部２００に出力される構成となっている。

認証部２００は、特徴量抽出部１２０で抽出した特徴量を用いて、認証処理を実行可能に構成されている。例えば、認証部２００は、生体を撮像した画像を用いて生体認証を行うことが可能に構成されている。認証部２００は、虹彩画像から抽出された虹彩の特徴量を用いて、虹彩認証を実行可能に構成されてもよい。なお、認証処理の具体的な手法については、既存の技術を適宜採用することができるため、ここでの詳しい説明は省略するものとする。

（動作の流れ）
次に、図１４を参照しながら、第８実施形態に係る認証システム２０の動作の流れについて説明する。図１４は、第８実施形態に係る認証システムの動作の流れを示すフローチャートである。

図１４に示すように、第８実施形態に係る認証システム２０が動作する際には、まず特徴量抽出部１２０が画像を取得する（ステップＳ８０１）。ここで取得される画像は、例えば学習時に想定した低フレームレートで撮像された画像であってよい。特徴量抽出部１２０には、例えばカメラで撮像した画像が、そのまま直接入力されてもよいし、ストレージ等に記憶されている画像が入力されてもよい。

続いて、特徴量抽出部１２０が、取得した画像から特徴量を抽出する（ステップＳ８０２）。特徴量抽出部１２０は、抽出した特徴量を認証部２００に出力する。

続いて、認証部２００が、特徴量抽出部１２０で抽出された特徴量を用いて、認証処理を実行する（ステップＳ８０３）。認証部２００は、例えば登録データベースに登録された特徴量を読み出し、読み出した特徴量と、特徴量抽出部１２０で抽出された特徴量とが一致するか否かを判定するようにしてもよい。認証処理が終了すると、認証部２００は、認証結果を出力する（ステップＳ８０４）。

（技術的効果）
次に、第８実施形態に係る認証システム２０によって得られる技術的効果について説明する。

図１３及び図２４で説明したように、第８実施形態に係る認証システム２０では、第１から第７実施形態に係る学習システム１０によって学習された特徴量抽出部１２０を用いて、認証処理が実行される。特徴量抽出部１２０の学習は、すでに説明したように、高レート画像から選択した、一部の画像（合焦範囲で撮像された画像を含む）を用いて行われている。よって、入力画像が合焦範囲内で撮像されたものでなくても、画像の特徴量を精度よく抽出することが可能である。よって、第８実施形態に係る認証システム２０によれば、合焦範囲の中又は外のいずれで撮像された画像が入力された場合であっても、正確な認証結果を出力することが可能である。

＜第９実施形態＞
第９実施形態に係る学習モデル生成装置について、図１５を参照して説明する。図１５は、第９実施形態に係る学習モデル生成装置の機能的構成を示すブロック図である。なお、第９実施形態に係る学習モデル生成装置は、上述した第１から第７実施形態に係る学習システム１０と、一部の構成及び動作が共通していてもよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

図１５に示すように、第９実施形態に係る学習モデル生成装置３０は、合焦範囲外で撮像された画像と、その画像に含まれる特徴量を示す情報（即ち、正解情報）と、を入力としている。学習モデル生成装置３０は、入力された画像及び特徴量を示す情報を用いて機械学習を行うことにより、学習モデルを生成可能に構成されている。学習モデルは、例えばニューラルネットワークとして構成されており、合焦範囲外で撮像された画像を入力として、入力された画像の特徴量に関する情報を出力するモデルである。

図１５で説明したように、第９実施形態に係る学習モデル生成装置３０では、合焦範囲外で撮像された画像（即ち、ピントの合っていない）を用いて機械学習が行われる。このようにすれば、合焦範囲外で撮像された画像から、精度よく特徴量に関する情報を出力可能なモデルを生成できる。即ち、合焦範囲外で撮像されていることに起因して、特徴量を正確に出力することが難しい画像が入力された場合であっても、精度よく特徴量に関する情報を出力できるモデルを生成できる。

＜第１０実施形態＞
第１０実施形態に係る推定装置について、図１６を参照して説明する。図１６は、第１０実施形態に係る推定装置の機能的構成を示すブロック図である。なお、第１０実施形態に係る学習モデル生成装置は、上述した第９実施形態に係る学習モデル生成装置３０によって生成された学習モデルを備える装置である。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

図１６に示すように、第１０実施形態に係る推定装置４０は、学習モデル３００を備えて構成されている。学習モデル３００は、第９実施形態で説明したように、合焦範囲外で撮像された画像と、その画像に含まれる特徴量を示す情報（即ち、正解情報）と、を用いて機械学習されたモデルである。推定装置４０は、合焦範囲外で撮像された画像を入力として、入力された画像の特徴量に関する情報を出力する。より具体的には、推定装置４０は、学習モデル３００を用いて、入力された画像から特徴量を取得する。そして、推定装置４０は、学習モデル３００を用いて取得した画像の特徴量を、推定結果として出力する。

図１６で説明したように、第１０実施形態に係る推定装置では、合焦範囲外で撮像された画像を用いて学習された学習モデル３００を用いて、画像の特徴量が推定される。このようにすれば、合焦範囲外で撮像された画像から、精度よく特徴量に関する情報を推定することができる。即ち、合焦範囲外で撮像されていることに起因して、特徴量を正確に出力することが難しい画像が入力された場合であっても、精度よく特徴量に関する情報を推定できる。

上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う学習システム、認証システム、学習方法、コンピュータプログラム、学習モデル生成装置、及び推定装置もまたこの開示の技術思想に含まれる。

＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
付記１に記載の学習システムは、第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択する選択手段と、前記一部の画像から特徴量を抽出する抽出手段と、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記抽出手段の学習を行う学習手段とを備えることを特徴とする学習システムである。

（付記２）
付記２に記載の学習システムは、前記複数フレームの画像は、生体の虹彩を含む画像であり、前記抽出手段は、虹彩認証に用いる前記特徴量を抽出することを特徴とする付記１に記載の学習システムである。

（付記３）
付記３に記載の学習システムは、前記選択手段は、前記合焦範囲付近の画像を、前記一部の画像として選択することを特徴とする付記１又は２に記載の学習システムである。

（付記４）
付記４に記載の学習システムは、前記選択手段は、前記第１のフレームレートよりもレートの低い第２のフレームレートに対応する画像を、前記一部の画像として選択することを特徴とする付記１から３のいずれか一項に記載の学習システムである。

（付記５）
付記５に記載の学習システムは、前記第２のフレームレートは、前記学習手段で学習した前記抽出手段を運用する際のフレームレートであることを特徴とする付記４に記載の学習システムである。

（付記６）
付記６に記載の学習システムは、前記選択手段は、前記一部の画像から基準フレームを１枚選択し、前記基準フレームを基準にして、前記第２のフレームレートに対応する他の画像を選択することを特徴とする付記４又は５に記載の学習システムである。

（付記７）
付記７に記載の学習システムは、前記選択手段は、前記合焦範囲の直前に撮像された画像から前記基準フレームを選択することを特徴とする付記６に記載の学習システムである。

（付記８）
付記８に記載の認証システムは、第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、前記一部の画像から特徴量を抽出し、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて学習された抽出手段と、前記抽出された前記特徴量を用いて、認証処理を実行する認証手段とを備えることを特徴とする認証システムである。

（付記９）
付記９に記載の学習方法は、第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、前記一部の画像から特徴量を抽出し、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記抽出手段の学習を行うことを特徴とする学習方法である。

（付記１０）
付記１０に記載のコンピュータプログラムは、第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、前記一部の画像から特徴量を抽出し、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記抽出手段の学習を行うようにコンピュータを動作させることを特徴とするコンピュータプログラムである。

（付記１１）
付記１１に記載の記録媒体は、付記１０に記載のコンピュータプログラムを記録していることを特徴とする記録媒体である。

（付記１２）
付記１２に記載の学習モデル生成装置は、合焦範囲外で撮像された画像と、当該画像に含まれる特徴量を示す情報と、の組を教師データとして機械学習を行うことにより、合焦範囲外で撮像された画像を入力として当該入力された画像の特徴量に関する情報を出力する学習モデルを生成する、学習モデル生成装置である。

（付記１３）
付記１３に記載の推定装置は、合焦範囲外で撮像された画像と、当該画像に含まれる特徴量を示す情報と、の組を教師データとして機械学習を行うことにより生成された学習モデルを用いて、合焦範囲外で撮像された画像を入力として当該入力された画像の特徴量に関する情報を推定する推定装置である。

１０ 学習システム
２０ 認証システム
３０ 学習モデル生成装置
４０ 推定装置
１１０ 画像選択部
１２０ 特徴量抽出部
１３０ 学習部
１３１ 損失関数計算部
１３２ 勾配計算部
１３３ パラメータ更新部
２００ 認証部
３００ 学習モデル

Claims (10)

1. 第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択する選択手段と、
   前記一部の画像から特徴量を抽出する抽出手段と、
   前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記抽出手段の学習を行う学習手段と
   を備えることを特徴とする学習システム。
2. 前記複数フレームの画像は、生体の虹彩を含む画像であり、
   前記抽出手段は、虹彩認証に用いる前記特徴量を抽出する
   ことを特徴とする請求項１に記載の学習システム。
3. 前記選択手段は、前記合焦範囲付近の画像を、前記一部の画像として選択することを特徴とする請求項１又は２に記載の学習システム。
4. 前記選択手段は、前記第１のフレームレートよりもレートの低い第２のフレームレートに対応する画像を、前記一部の画像として選択することを特徴とする請求項１から３のいずれか一項に記載の学習システム。
5. 前記第２のフレームレートは、前記学習手段で学習した前記抽出手段を運用する際のフレームレートであることを特徴とする請求項４に記載の学習システム。
6. 第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、前記一部の画像から特徴量を抽出し、前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて学習された抽出手段と、
   前記抽出された前記特徴量を用いて、認証処理を実行する認証手段と
   を備えることを特徴とする認証システム。
7. 第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、
   前記一部の画像から特徴量を抽出し、
   前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記一部の画像から特徴量を抽出する抽出手段の学習を行う
   ことを特徴とする学習方法。
8. 第１のフレームレートで撮影された複数フレームの画像から、合焦範囲外で撮像された画像を含む一部の画像を選択し、
   前記一部の画像から特徴量を抽出し、
   前記抽出された特徴量と、前記特徴量に関する正解を示す正解情報とに基づいて、前記一部の画像から特徴量を抽出する抽出手段の学習を行う
   ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
9. 合焦範囲外で撮像された画像と、当該画像に含まれる特徴量を示す情報と、の組を教師データとして機械学習を行うことにより、合焦範囲外で撮像された画像を入力として当該入力された画像の特徴量に関する情報を出力する学習モデルを生成する、学習モデル生成装置。
10. 合焦範囲外で撮像された画像と、当該画像に含まれる特徴量を示す情報と、の組を教師データとして機械学習を行うことにより生成された学習モデルを用いて、合焦範囲外で撮像された画像を入力として当該入力された画像の特徴量に関する情報を推定する推定装置。

Images