WO2023073954A1

WO2023073954A1 - 虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体

Info

Publication number: WO2023073954A1
Application number: PCT/JP2021/040123
Authority: WO
Inventors: 貴裕戸泉; 正人塚田; 有加荻野; 将嗣市野; 翼坊良
Original assignee: 日本電気株式会社; 国立大学法人電気通信大学
Priority date: 2021-10-29
Filing date: 2021-10-29
Publication date: 2023-05-04
Also published as: JPWO2023073954A1

Abstract

生体の虹彩を含む虹彩画像ＬＩを取得する虹彩画像取得部２１１と、虹彩画像ＬＩに含まれる虹彩領域の大きさと、所望の大きさとから、虹彩画像ＬＩに対する倍率を算出する算出部２１２と、倍率に応じて虹彩画像ＬＩの解像度を変換した解像度変換画像ＲＩを生成する生成部２１３と、解像度変換画像ＲＩの特徴量である変換後特徴量ＯＣを抽出する変換後特徴量抽出部２１４とを備える。

Description

虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体

　この開示は、虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体の技術分野に関する。

　照合用の損失関数を用いた機械学習により、照合用の情報を多く持つように、画像を超解像する技術が非特許文献１に記載されている。また、アップサンプリングの拡大率に応じたフィルタを推定することで、ひとつのネットワークで様々な拡大率に対応した超解像を行う技術が非特許文献２に記載されている。

Maneet Singh, Shruti Nagpal, Mayank Vatsa, Richa Singh, Angshul Majumdar; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2018, pp. 479-488 Xuecai Hu, Haoyuan Mu, Xiangyu Zhang, Zilei Wang, Tieniu Tan, Jian Sun; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 1575-1584

　この開示は、先行技術文献に記載された技術の改良を目的とする虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体を提供することを課題とする。

　虹彩認証装置の一の態様は、生体の虹彩を含む虹彩画像を取得する虹彩画像取得手段と、前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出する算出手段と、前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成する生成手段と、前記解像度変換画像の特徴量である変換後特徴量を抽出する変換後特徴量抽出手段とを備える。

　虹彩認証システムの一の態様は、生体の虹彩を含む虹彩画像を取得する虹彩画像取得手段と、前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出する算出手段と、前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成する生成手段と、前記解像度変換画像の特徴量である変換後特徴量を抽出する変換後特徴量抽出手段とを備える。

　虹彩認証方法の一の態様は、生体の虹彩を含む虹彩画像を取得し、前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出し、前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成し、前記解像度変換画像の特徴量である変換後特徴量を抽出する。

　記録媒体の一の態様は、コンピュータに、生体の虹彩を含む虹彩画像を取得し、前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出し、前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成し、前記解像度変換画像の特徴量である変換後特徴量を抽出する虹彩認証方法を実行させる。

図１は、第１実施形態における虹彩認証装置の構成を示すブロック図である。図２は、第２実施形態における虹彩認証装置の構成を示すブロック図である。図３は、第２実施形態における虹彩認証装置が行う虹彩認証動作の流れを示すフローチャートである。図４は、第３実施形態における虹彩認証装置の構成を示すブロック図である。図５は、第３実施形態における虹彩認証装置が行う学習動作の流れを示すフローチャートである。図６は、第５実施形態における虹彩認証装置の構成を示すブロック図である。図７は、第５実施形態における虹彩認証装置が行う超解像処理の流れを示すフローチャートである。図８は、第６実施形態における虹彩認証装置の構成を示すブロック図である。図９は、第６実施形態における虹彩認証装置が行う超解像処理の流れを示すフローチャートである。図１０は、第７実施形態における虹彩認証装置の構成を示すブロック図である。図１１は、第７実施形態における虹彩認証装置が行う超解像処理の流れを示すフローチャートである。図１２は、第８実施形態における虹彩認証装置の構成を示すブロック図である。図１３は、第８実施形態における虹彩認証装置が行う虹彩認証動作の流れを示すフローチャートである。図１４は、第９実施形態における虹彩認証システムの構成を示すブロック図である。

　以下、図面を参照しながら、虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体の実施形態について説明する。
　［１：第１実施形態］

　はじめに、虹彩認証装置、虹彩認証方法、及び、記録媒体の第１実施形態について説明する。以下では、虹彩認証装置、虹彩認証方法、及び、記録媒体の第１実施形態が適用された虹彩認証装置１を用いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第１実施形態について説明する。
　［１－１：虹彩認証装置１の構成］

　図１は、第１実施形態における虹彩認証装置１の構成を示すブロック図である。図１に示すように、虹彩認証装置１は、虹彩画像取得部１１と、算出部１２と、生成部１３と、変換後特徴量抽出部１４とを備えている。

　虹彩画像取得部１１は、生体の虹彩を含む虹彩画像ＬＩを取得する。虹彩とは、黒目の内側にある瞳孔の周りの環形状の部分を指す。虹彩は、個々人で固有のパターンを持つ。また、虹彩は、角膜に覆われて損傷しにくいため、生体認証に適した部位である。

　算出部１２は、虹彩画像ＬＩに含まれる虹彩領域の大きさと、所望の大きさとから、虹彩画像ＬＩに対する倍率を算出する。虹彩画像ＬＩに含まれる虹彩領域の大きさとは、例えば、虹彩画像内での虹彩領域の画素数、虹彩画像内での虹彩領域の直径、虹彩画像内での虹彩領域の面積等で表してもよい。以下、虹彩画像ＬＩに含まれる虹彩領域の大きさを、虹彩画像内での虹彩領域の画素数で表す場合を例に挙げて説明する。
　虹彩認証では、虹彩の模様を用いた認証を行う。このため、虹彩認証では、その虹彩認証に適切な画素数の虹彩領域を含む画像を用いる必要がある。所望の画素数とは、その虹彩認証に適切な画素数であってよい。虹彩は略円形であるので、画素数は、該当領域の半径で表してもよい。略円形の虹彩領域を虹彩円とも呼ぶ。また、画素数は、解像度と対応していてもよい。例えば、所望の画素数は、１００画素以上であってよく、１００画素、１２５画素等であってよい。

　一般に、虹彩認証では、比較的解像度の高い虹彩画像ＨＩを用いることが好ましい。これに対し、虹彩検出は、瞳孔領域や虹彩領域のエッジを検出するので、低解像度の虹彩画像ＬＩでも実施することができる。この虹彩検出によって得られた、瞳孔円や虹彩円の位置や画素数などの情報は、低解像度の虹彩画像ＬＩを高解像化する超解像処理に用いることができる。ここで、超解像処理とは、低解像度の画像を高解像化し、高解像度の画像を生成する処理であり、比較的高品質な高解像度の画像を生成可能な処理を指す。

　例えば、算出部１２は、検出した虹彩円の半径と、所望の画素数の領域の半径との比を求め、倍率を算出してもよい。つまり、算出部１２は、虹彩検出によって得られた情報をもとに倍率を算出することができる。倍率は、１倍以上に限定されず、１倍未満であってもよい。例えば、所望の半径が５０画素であり、虹彩画像ＬＩに含まれる虹彩円の半径が２５画素である場合、算出部１２は、倍率を２倍と算出してよい。また、所望の半径が５０画素であり、虹彩円の半径が１００画素である場合、算出部１２は、倍率を０．５倍と算出してよい。

　生成部１３は、倍率に応じて虹彩画像ＬＩの解像度を変換した解像度変換画像ＲＩを生成する。例えば、算出部１２が虹彩円の半径から算出した倍率が２倍であった場合、生成部１３は、虹彩画像ＬＩの解像度を２倍にした解像度変換画像ＲＩを生成してもよい。

　変換後特徴量抽出部１４は、解像度変換画像ＲＩの特徴量である変換後特徴量ＯＣを抽出する。変換後特徴量抽出部１４は、所望の画素数の画像から特徴量を抽出できるように構築されていてもよい。変換後特徴量抽出部１４において、適切に特徴量が抽出できるように、算出部１２は倍率を算出し、生成部１３は、その倍率に応じて解像度変換画像ＲＩを生成するとよい。

　ここでの特徴量とは、虹彩認証を行うために必要な虹彩の特徴を表す値である。変換後特徴量抽出部１４は、例えば畳み込みニューラルネットワークで構築されていてもよい。
　［１－２：虹彩認証装置１の技術的効果］

　第１実施形態における虹彩認証装置１は、虹彩画像ＬＩの画素数に関わらず、虹彩画像ＬＩを所望の画素数の画像に変換することができる。第１実施形態における虹彩認証装置１は、低解像度の虹彩画像ＬＩに対し、高解像化する超解像処理を施し、高解像度の虹彩画像ＨＩを得ることができる。第１実施形態における虹彩認証装置１が超解像処理を施す虹彩画像ＬＩの解像度は、任意の解像度であってよく、特定の解像度に限らない。第１実施形態における虹彩認証装置１は、様々な解像度の虹彩画像ＬＩを用いて虹彩認証をすることができる。

　第１実施形態における虹彩認証装置１は、変換後特徴量抽出部１４において、適切に特徴量が抽出できるように、算出部１２は、倍率を算出し、生成部１３は、その倍率に応じて解像度変換画像ＲＩを生成する。つまり、第１実施形態における虹彩認証装置１において、虹彩認証のための機構の変更は不要である。したがって、第１実施形態における虹彩認証装置１は、所望の画素数の虹彩画像ＨＩを用いた虹彩認証を実施可能に構築されている機構に適用することができる。
　［２：第２実施形態］

　続いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第２実施形態について説明する。以下では、虹彩認証装置、虹彩認証方法、及び、記録媒体の第２実施形態が適用された虹彩認証装置２を用いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第２実施形態について説明する。
　［２－１：虹彩認証装置２の構成］

　初めに、図２を参照しながら、第２実施形態における虹彩認証装置２の構成について説明する。図２は、第２実施形態における虹彩認証装置２の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。

　図２に示すように、虹彩認証装置２は、演算装置２１と、記憶装置２２とを備えている。更に、虹彩認証装置２は、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、虹彩認証装置２は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも一つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。

　演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｅｃｓｓｉｎｇ　Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも一つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、虹彩認証装置２が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置２４）を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、虹彩認証装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい、又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、虹彩認証装置２が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、虹彩認証装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

　図２には、虹彩認証動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置２１内には、「虹彩画像取得手段」の一具体例である虹彩画像取得部２１１と、「算出手段」の一具体例である算出部２１２と、「生成手段」の一具体例である生成部２１３と、「変換後特徴量抽出手段」の一具体例である変換後特徴量抽出部２１４と、「判定手段」及び「認証手段」の一具体例である認証部２１５とが実現される。算出部２１２は、虹彩円検出部２１２１と拡大率算出部２１２２とを含んでいてもよい。尚、虹彩画像取得部２１１、算出部２１２、生成部２１３、変換後特徴量抽出部２１４、及び認証部２１５の夫々の動作の詳細については、図３を参照しながら後に説明する。但し、演算装置２１は、認証部２１５を備えていなくてもよい。

　記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している場合に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、虹彩認証装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。

　記憶装置２２は、超解像モデルＳＭ、特徴量生成モデルＧＭ、及び照合特徴量ＣＣを記憶していてもよい。但し、記憶装置２２が、超解像モデルＳＭ、特徴量生成モデルＧＭ、及び照合特徴量ＣＣの少なくとも一つを記憶していなくてもよい。超解像モデルＳＭ、特徴量生成モデルＧＭ、及び照合特徴量ＣＣの詳細は後述する。

　通信装置２３は、不図示の通信ネットワークを介して、虹彩認証装置２の外部の装置と通信可能である。

　入力装置２４は、虹彩認証装置２の外部からの虹彩認証装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、虹彩認証装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置２４は虹彩認証装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。

　出力装置２５は、虹彩認証装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
　［２－２：虹彩認証装置２が行う虹彩認証動作］

　続いて、図３を参照しながら、第２実施形態における虹彩認証装置２が行う虹彩認証動作について説明する。図３は、第２実施形態における虹彩認証装置２が行う虹彩認証動作の流れを示すフローチャートである。以下、虹彩領域の画素数は、所望の画素数より小さく、倍率は、拡大率である場合を例に挙げて説明する。

　図３に示すように、虹彩画像取得部２１１は、生体の虹彩を含む虹彩画像を取得する（ステップＳ２１）。
　虹彩円検出部２１２１は、虹彩画像から虹彩円を検出する（ステップＳ２２）。虹彩円検出部２１２１は、入力された虹彩画像から、虹彩円の中心位置と半径を表すベクトルを算出してもよい。虹彩円検出部２１２１は、例えば、回帰ニューラルネットワークで構成されていてもよい。回帰ニューラルネットワークは、複数の畳み込み層と複数の活性化層とを含み、入力画像の特徴量を抽出し、抽出した特徴量を、線形層により、該当領域の中心位置と半径を表すベクトルに変換することができる。虹彩円検出部２１２１に入力される虹彩画像ＬＩと、虹彩円検出部２１２１から出力されるベクトルとは正規化されていてもよい。虹彩円検出部２１２１をニューラルネットワークとして構築する場合、要件にあっていれば、どのような構造のニューラルネットワークも用いることができる。ニューラルネットワークの構造としては、例えば、大規模画像データセットで学習されたモデルであるＶＧＧ、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ）等の構造と同様のものを挙げることができるが、これら以外の構造を用いてもよい。ニューラルネットワークの中間層として、バッチノーマライゼーション等の正規化層を用いてもよい。活性化層としては、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）を使う場合が多いが、他の活性化関数を用いてもよい。また、虹彩円検出部２１２１は、ニューラルネットワークで構成されていない画像処理の機構であってもよい。

　拡大率算出部２１２２は、虹彩円検出部２１２１が検出した虹彩画像ＬＩに含まれる虹彩円の半径と、所望の半径とから、虹彩画像ＬＩに対する拡大率を算出する（ステップＳ２３）。拡大率は、虹彩画像ＬＩに含まれる虹彩円の半径と、所望の大きさの虹彩円の半径との比であってもよい。また、拡大率は、虹彩画像ＬＩに含まれる虹彩円の半径と所望の大きさの虹彩円の半径との単純な比ではなく、例えば比の対数や冪乗に変換された値であってもよい。尚、第２実施形態においても、第１実施形態の算出部１２と同様に、拡大率算出部２１２２は、拡大率に加えて又は代えて、１倍未満の倍率を、拡大率に相当するパラメータとして算出してもよい。

　また、虹彩円検出部２１２１は、入力された虹彩画像から、虹彩円の直径を算出してもよい。この場合、拡大率算出部２１２２は、虹彩円検出部２１２１が検出した虹彩画像ＬＩに含まれる虹彩円の直径と、所望の直径とから、虹彩画像ＬＩに対する拡大率を算出する。また、虹彩円検出部２１２１は、入力された虹彩画像から、虹彩円の面積を算出してもよい。この場合、拡大率算出部２１２２は、虹彩円検出部２１２１が検出した虹彩画像ＬＩに含まれる虹彩円の面積と、所望の面積とから、虹彩画像ＬＩに対する拡大率を算出する。

　生成部２１３は、拡大率に応じて、虹彩画像ＬＩを高解像化した超解像画像である解像度変換画像ＲＩを生成する（ステップＳ２４）。生成部２１３は、拡大率算出部２１２２が算出した拡大率をそのまま用いてもよいし、拡大率算出部２１２２が算出した拡大率を正規化してから用いてもよい。生成部２１３は、超解像モデルＳＭを用いて、超解像画像である解像度変換画像ＲＩを生成してよい。超解像モデルＳＭは、虹彩画像ＬＩの入力に対し解像度変換画像ＲＩを出力すべく、機械学習により構築されたモデルである。超解像モデルＳＭの構築方法の具体例については、第３及び第４実施形態で詳述する。また、構築された超解像モデルＳＭの具体例については、第５～第７実施形態で詳述する。

　変換後特徴量抽出部２１４は、解像度変換画像ＲＩの特徴量である変換後特徴量ＯＣを抽出する（ステップＳ２５）。変換後特徴量抽出部２１４は、特徴量生成モデルＧＭを用いて、解像度変換画像ＲＩから変換後特徴量ＯＣを抽出してもよい。

　特徴量生成モデルＧＭは、変換後特徴量抽出部２１４により、所望の画素数の虹彩領域を含む、認証に適した解像度の虹彩画像ＨＩが入力された場合に、該当虹彩画像ＨＩの特徴量を生成することが可能なモデルである。特徴量生成モデルＧＭは、機械学習によって、虹彩画像ＨＩが入力された場合に、虹彩認証に適切な特徴量を出力可能なように構築されてもよい。具体的には、同じ個体の虹彩画像ＨＩから生成された複数の特徴量同士の誤差に基づいて設定される損失関数が小さくなる（好ましくは、最小になる）ように、特徴量生成モデルＧＭが含む学習パラメータが調整されることで、特徴量生成モデルＧＭは構築されてもよい。特徴量生成モデルＧＭは、例えば、畳み込み処理により特徴量を生成する、畳み込みニューラルネットワークとして構築されてもよい。特徴量生成モデルＧＭは、精度よく特徴量が生成できるモデルであればよく、他の学習済のニューラルネットワークであってもよい。

　構築された特徴量生成モデルＧＭは、照合データが入力され、照合データの特徴量である照合特徴量ＣＣを生成してもよい。生成された照合特徴量ＣＣは、記憶装置２２に登録されていてもよい。

　認証部２１５は、変換後特徴量ＯＣと、予め用意された特徴量との類似度を示すスコアを用いて認証を行う（ステップＳ２６）。ここで認証とは、本人を特定すること、本人であると判定することの少なくとも一方を指す。認証部２１５は、変換後特徴量ＯＣと、予め用意された照合特徴量ＣＣとの類似度を示す照合スコアが閾値以上である場合に、本人と判定してもよい。認証部２１５は、照合スコアを、例えば、変換後特徴量ＯＣと、照合特徴量ＣＣとのコサイン類似度を用いて算出してもよい。同一の個体に関するデータの特徴量は似やすく、同じ方向を向きやすい，つまりコサイン類似度が大きくなりやすい，という性質を利用して、認証部２１５は、各々の特徴量が類似しているかを判定してもよい。または、認証部２１５は、照合スコアを、例えば、変換後特徴量ＯＣと、照合特徴量ＣＣとのＬ２距離関数、或いはＬ１距離関数等を用いて算出してもよい。Ｌ２距離関数、或いはＬ１距離関数等の、同一の個体に関するデータの特徴量は、距離が近くなりやすいという性質を利用して、認証部２１５は、各々の特徴量が類似しているかを判定してもよい。

　出力装置２５は、認証部２１５による認証結果とともに、拡大率算出部２１２２が算出した拡大率、及び生成部２１３が生成した解像度変換画像ＲＩを、虹彩認証装置２の外部へ出力する（ステップＳ２７）。出力装置２５からの出力は、認証対象の人物、管理人、警備員等が確認することができてよい。また出力装置２５は、拡大率が所定以上の大きさの場合に、アラートを出力してもよい。生成部２１３が所定以上の大きさの拡大率で画像を拡大をした場合、認証精度が下がってしまう可能性があるが、出力装置２５がアラートを出力することで、管理人、警備員等は、該当する認証に注意を払うことができる。
　［２－３：虹彩認証装置２の技術的効果］

　虹彩認証においては、虹彩半径１００画素以上の比較的高解像度な虹彩画像ＨＩが必要な場合が多い。一方で、虹彩認証を１００画素未満の低解像度画像ＬＩを用いる場合であっても、ある程度の精度を有することができれば、例えば比較的低解像度のカメラ１台で他の生体認証と同時に認証を行うことができる。

　第２実施形態における虹彩認証装置２は、低解像度の虹彩画像ＬＩが入力された場合にも、虹彩画像ＬＩの解像度に関わらず、超解像画像である高解像度の解像度変換画像ＲＩに変換できるので、精度よく虹彩認証をすることができる。したがって、第２実施形態における虹彩認証装置２を適用すれば、比較的高価ではない単一のカメラを用いて撮像された画像を用いて、例えば他の生体認証と虹彩認証の両方を実施する認証が実現できる。

　なお、倍率が１以下である場合は、第２実施形態における生成部２１３による解像度変換処理ではなく、一般的なバイリニア法やバイキュービック法、面積平均法、最近傍法等を用いた解像度変換処理を施してもよい。
　［３：第３実施形態］

　続いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第３実施形態について説明する。以下では、虹彩認証装置、虹彩認証方法、及び、記録媒体の第３実施形態が適用された虹彩認証装置３を用いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第３実施形態について説明する。
　［３－１：虹彩認証装置３の構成］

　図４は、第３実施形態における虹彩認証装置３の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。

　図４に示すように、虹彩認証装置３は、演算装置２１と、記憶装置２２とを備えている。図４に示すように、演算装置２１内には、「学習画像取得手段」の一具体例である学習画像取得部３１６と、「入力画像取得手段」の一具体例である入力画像生成部３１７と、「学習手段」の一具体例である学習部３１８と、虹彩画像取得部２１１、算出部２１２、生成部２１３、及び変換後特徴量抽出部２１４を含む虹彩情報推定部３００とが実現される。入力画像生成部３１７は、バッチデータ抽出部３１７１、及び解像度変換部３１７２を含む。学習部３１８は、損失関数計算部３１８１、勾配計算部３１８２、及びパラメータ更新部３１８３を含む。

　記憶装置２２は、学習画像ＴＩを記憶していてもよい。但し、記憶装置２２が、学習画像ＴＩをを記憶していなくてもよい。記憶装置２２が学習画像ＴＩを記憶していない場合、通信装置２３により、虹彩認証装置２の外部の装置から学習画像ＴＩを取得してもよいし、入力装置２４が、虹彩認証装置２の外部からの学習画像ＴＩの入力を受け付けてもよい。学習画像ＴＩは、所望の画素数の虹彩領域を含む虹彩画像であってよい。

　第３実施形態において、学習画像取得部３１６、入力画像生成部３１７、学習部３１８、及び虹彩情報推定部３００は、学習画像ＴＩを用いた機械学習を行うことで、生成部２１３が用いる超解像モデルＳＭを構築する。学習画像取得部３１６、入力画像生成部３１７、学習部３１８、及び虹彩情報推定部３００の夫々の動作の詳細については、図５を参照しながら説明する。
　［３－２：虹彩認証装置３が行う学習動作］

　続いて、図５を参照しながら、第３実施形態における虹彩認証装置３が行う学習動作について説明する。図５は、第３実施形態における虹彩認証装置３が行う学習動作の流れを示すフローチャートである。

　図５に示すように、学習画像取得部３１６は、例えば記憶装置２２に記憶されている、所望の画素数の虹彩領域を含む学習画像ＴＩのデータセットを取得する（ステップＳ３１）。学習画像ＴＩは、虹彩認証装置３による認証に適した解像度の虹彩画像ＨＩと同じ解像度の画像であってよい。

　バッチデータ抽出部３１７１は、学習画像取得部３１６が取得した学習画像ＴＩのデータセットの中から、バッチサイズの学習画像ＴＩのバッチデータをランダムに抽出する（ステップＳ３２）。例えばバッチサイズが３２の場合、バッチデータ抽出部３１７１は、３２の学習画像ＴＩを抽出する。バッチサイズは３２，６４，１２８等の値を用いてよい。バッチサイズの値に特に限定はなく、任意の値を用いることができる。

　解像度変換部３１７２は、任意の拡大率の逆数に応じて学習画像ＴＩの解像度を変換した入力画像ＩＩを生成する（ステップＳ３３）。すなわち、解像度変換部３１７２は、高解像度の学習画像ＴＩから低解像度の入力画像ＩＩを生成する。入力画像生成部３１７は、学習画像ＴＩを低解像化した画像を、入力画像ＩＩとして用意することができる。

　解像度変換部３１７２は、学習画像ＴＩを縮小し、低解像度の入力画像ＩＩを生成してもよい。解像度変換部３１７２は、学習画像ＴＩの画素を間引くことにより、学習画像ＴＩを縮小してもよい。すなわち、解像度変換部３１７２による学習画像ＴＩの縮小により、学習画像ＴＩの解像度が低下した入力画像ＩＩを生成することができる。

　解像度変換部３１７２は、バッチデータ抽出部３１７１が抽出した学習画像ＴＩの各々を、例えば、一様乱数分布に応じて選択した任意の拡大率の逆数を用いて低解像度化し、入力画像ＩＩを生成してもよい。この場合、解像度変換部３１７２は、様々な解像度の入力画像ＩＩが一様に含まれるバッチデータを生成することができる。

　または、解像度変換部３１７２は、同じタイミングでバッチデータ抽出部３１７１が抽出したバッチサイズの学習画像ＴＩのバッチデータの全てを、同一の拡大率の逆数を用いて低解像度化した入力画像ＩＩを生成してよい。このとき、解像度変換部３１７２は、同一の解像度の入力画像ＩＩを含むバッチデータを生成することができる。この場合において、解像度変換部３１７２は、異なるタイミングでバッチデータ抽出部３１７１が抽出したバッチサイズの学習画像ＴＩのバッチデータを、異なる拡大率の逆数を用いて低解像度化し、入力画像ＩＩを生成してもよい。入力画像生成部３１７は、学習画像取得部３１６が取得した学習画像ＴＩのデータセット全体に対し、様々な解像度の入力画像ＩＩが一様に含まれるように、入力画像ＩＩを用意することができればよい。

　ステップＳ３４、ステップＳ３５、ステップＳ３６の動作は、図３を用いて説明したステップＳ２１、ステップＳ２４、ステップＳ２５の動作と同様であってよい。第２実施形態において動作に用いるデータは、認証用の虹彩画像ＬＩであったが、第３実施形態において動作に用いるデータは、学習用に用意した入力画像ＩＩであるという点で異なる。

　虹彩画像取得部２１１は，バッチサイズの入力画像ＩＩのバッチデータから１つの入力画像ＩＩを取得する（ステップＳ３４）。生成部２１３は，解像度変換部３１７２において学習画像ＴＩを縮小する際に利用した拡大率を用いて入力画像ＩＩの解像度を変換した解像度変換入力画像ＲＩＩを生成する（ステップＳ３５）。ここで、解像度変換部３１７２と生成部２１３では同じ拡大率を用いて縮小と解像度変換を行っているため、解像度変換入力画像ＲＩＩは学習画像ＴＩと同じ解像度となる。変換後特徴量抽出部２１４は、解像度変換入力画像ＲＩＩの特徴量である入力特徴量ＯＩＣを抽出する（ステップＳ３６）。また、変換後特徴量抽出部２１４は、学習画像ＴＩの特徴量である学習特徴量ＴＣを抽出する、或いは、学習画像ＴＩの特徴量である学習特徴量ＴＣは予め学習画像ＴＩとセットで記憶装置２２に記憶されていてもよい。

　虹彩画像取得部２１１は、バッチサイズの入力画像ＩＩのバッチデータの全ての入力画像ＩＩが処理済か否かを判定する（ステップＳ３９）。バッチサイズの入力画像ＩＩのバッチデータ全ての入力画像ＩＩが処理済でない場合（ステップＳ３９：Ｎｏ）、ステップＳ３４に移行する。つまり、バッチサイズの入力画像ＩＩのバッチデータの全ての入力画像ＩＩについて、虹彩情報推定部３００は、ステップＳ３４～ステップＳ３８の動作を実施する。演算がＧＰＵやマルチスレッドで行われる場合は、各バッチサイズの入力画像の推定演算を並列に行ってもよい。一部を並列とし、直列と並列を混ぜて処理しても構わない。

　バッチサイズの入力画像ＩＩのバッチデータの全ての入力画像ＩＩが処理済であった場合（ステップＳ３９：Ｙｅｓ）、学習部３１８は、生成部２１３に解像度変換画像ＲＩの生成方法の学習を行わせる。具体的に、学習部３１８は、生成部２１３が用いる超解像モデルＳＭに解像度変換画像ＲＩの生成方法の学習を行わせ、超解像モデルＳＭを構築する。より具体的に、学習部３１８は、超解像モデルＳＭに含まれる学習パラメータを調整する。学習部３１８は、学習特徴量ＴＣと入力特徴量ＯＩＣとが類似しないほど損失が大きくなる第１の損失関数、及び学習画像ＴＩと解像度変換入力画像ＲＩＩとが類似しないほど損失が大きくなる第２の損失関数の少なくとも一方に基づいて、生成部２１３に解像度変換画像ＲＩの生成方法の学習を行わせる。学習部３１８は、損失関数に基づいて、虹彩情報推定部３００を最適化してもよい。

　まず、損失関数計算部３１８１は、学習特徴量ＴＣと入力特徴量ＯＩＣとが類似しないほど損失が大きくなる第１の損失関数、及び学習画像ＴＩと解像度変換入力画像ＲＩＩとが類似しないほど損失が大きくなる第２の損失関数の少なくとも一方を用いた計算を行う（ステップＳ４０）。

　損失関数計算部３１８１は、正解の個人ラベルである学習特徴量ＴＣと、変換後特徴量抽出部２１４が抽出した解像度変換入力画像ＲＩＩの入力特徴量ＯＩＣとを入力し、それらが類似しない度合いを示す第１の損失の値を出力してもよい。損失関数計算部３１８１は、正解の個人ラベルである学習特徴量ＴＣから生成したｏｎｅ－ｈｏｔベクトルと、変換後特徴量抽出部２１４が抽出した入力特徴量ＯＩＣとしての特徴ベクトルとを、クロスエントロピー損失関数によって比較し、第１の損失を得てもよい。

　また、損失関数計算部３１８１は、高解像度画像である学習画像ＴＩと、生成部２１３が生成した解像度変換入力画像ＲＩＩとを入力し、それらが類似しない度合いを示す第２の損失の値を出力してもよい。損失関数計算部３１８１は、学習画像ＴＩと、生成部２１３が生成した解像度変換入力画像ＲＩＩとを、Ｌ１距離損失関数によって比較し、第２の損失を得てもよい。

　損失関数計算部３１８１は、クロスエントロピー損失関数やＬ１距離損失関数に限らず、例えば、ＫＬダイバージェンス関数、Ｌ２距離関数等の他の損失関数を用いてもよい。

　損失関数計算部３１８１は，計算した損失に、算出部２１２が算出した拡大率に応じた重み付けを施してもよい。一般に、拡大率が大きい場合の超解像処理は、拡大率が小さい場合の超解像処理と比較して、難しい場合が多い。言い換えると、拡大率が大きい場合の超解像処理によって得られた超解像画像を用いた認証処理は、拡大率が小さい場合の超解像処理によって得られた超解像画像を用いた認証処理と比較して、認証精度が劣る場合が多い。そこで、損失関数計算部３１８１は，拡大率が大きい場合の超解像処理の結果生じた損失に対しては、大きい重みがかかるような損失関数を用いてもよい。つまり、学習部３１８は、第１の拡大率を任意の拡大率として用いることで生成される入力画像ＩＩに対応する損失の重みが、第１の拡大率よりも小さい第２の拡大率を任意の拡大率として用いることで生成される入力画像ＩＩに対応する損失の重みよりも大きくなる損失関数に基づいて、生成部２１３に学習を行わせるとよい。第１のすなわち、学習部３１８は、拡大率が大きい程、当該拡大率を用いることで生成される解像度変換入力画像ＲＩＩに対応する損失の重みが大きくなる損失関数に基づいて、生成部２１３に学習を行わせるとよい。このようにすることで、拡大率が大きい場合の超解像処理の学習寄与が大きくなる。そして、学習部３１８は、認証性能が拡大率に依存しにくい超解像モデルＳＭを構築することができる。

　損失関数計算部３１８１は、第１の損失と第２の損失のそれぞれに対して別々に、拡大率に応じた重み付けを施してもよい。または、損失関数計算部３１８１は、第１の損失と第２の損失に対して、それぞれに拡大率に応じた重み付けをして、それぞれの和を取って単一の損失を出力してもよい。

　例えば、解像度変換部３１７２が、様々な解像度の入力画像ＩＩが一様に含まれるバッチサイズのバッチデータを生成した場合であれば、損失関数計算部３１８１は、各々の入力画像ＩＩの損失に対して、様々な解像度に応じた重み付けを施して、バッチサイズのバッチデータの損失を計算してもよい。損失関数計算部３１８１は、各々の重み付け損失の平均値を計算し、バッチサイズのバッチデータの損失として出力してもよい。具体的には、解像度変換部３１７２は、各々の入力画像ＩＩの損失に対して、各々の入力画像ＩＩを生成するためにステップＳ３３で用いた拡大率に応じた重み付けを施して、バッチサイズのバッチデータの損失を計算してもよい。一例として、解像度変換部３１７２は、第１の入力画像ＩＩを生成するために用いた第１の拡大率が、第２の入力画像ＩＩを生成するために用いた第２の拡大率よりも大きい場合には、第１入力画像ＩＩの損失に対する重みが、第２の入力画像ＩＩの損失に対する重みよりも大きくなるように、各々の入力画像ＩＩを生成するためにステップＳ３３で用いた拡大率に応じた重み付けを施して、バッチサイズのバッチデータの損失を計算してもよい。

　他方、例えば、解像度変換部３１７２が、同一の解像度の入力画像ＩＩが含まれるバッチサイズのバッチデータを生成した場合であれば、損失関数計算部３１８１は、各々の入力画像ＩＩの損失に対して、同一の重み付けを施して、バッチサイズのバッチデータの損失を計算してもよい。例えば、損失関数計算部３１８１は、各々の入力画像ＩＩの損失の平均値である損失平均値を計算してもよい。この場合、異なるタイミングで解像度変換部３１７２に生成されたバッチサイズのバッチデータは各々解像度が異なるので、損失関数計算部３１８１は、損失平均値に対して解像度に応じた重み付けを施してもよい。

　勾配計算部３１８２は、損失関数計算部３１８１が出力した損失の値を用い、誤差逆伝搬法を用いて、超解像モデルＳＭに含まれる学習パラメータの勾配を計算する（ステップＳ４１）。パラメータ更新部３１８３は、計算された学習パラメータの勾配を用いて、超解像モデルＳＭに含まれる学習パラメータの値を更新する（ステップＳ４２）。ステップＳ４２での学習パラメータの値の更新は、超解像モデルＳＭの学習に該当する。例えば、パラメータ更新部３１８３は、損失関数の値が最小になるように、学習パラメータの値の最適化を行ってもよい。パラメータ更新部３１８３が用いる最適化方法の例として、確率的勾配降下法、または、Ａｄａｍ等を挙げることができるが、これらに限定されない。パラメータ更新部３１８３は、確率的勾配降下法を用いる場合にも、Ｗｅｉｇｈｔ　ｄｅｃａｙやｍｏｍｅｎｔｕｍ等のハイパーパラメータを用いて学習パラメータを更新してもよい。

　入力画像生成部３１７は、所定の学習画像ＴＩからバッチデータを抽出済か否かを判定する（ステップＳ４３）。所定の学習画像ＴＩからバッチデータが抽出済でない場合（ステップＳ４３：Ｎｏ）、ステップＳ３２に移行する。例えば、学習画像取得部３１６が３２０の学習画像ＴＩのデータセットを取得した場合であり、バッチサイズが３２である場合、虹彩情報推定部３００は、ステップＳ３２～ステップＳ４２の動作を１０回実施すればよい。所定の学習画像ＴＩからバッチデータが抽出済の場合（ステップＳ４３：Ｙｅｓ）、学習部３１８は、最適に更新された学習パラメータを含む最適化された超解像モデルＳＭを記憶装置２２に保存する（ステップＳ４４）。
　［３－３：虹彩認証装置３の技術的効果］

　第３実施形態における虹彩認証装置３は、学習画像ＴＩと解像度変換入力画像ＲＩＩとが類似しないほど損失が大きくなる損失関数に基づいて、生成部２１３に解像度変換画像ＲＩの生成方法の学習を行わせるので、超解像処理の精度を高くすることができる。
　また、第３実施形態における虹彩認証装置３は、学習特徴量ＴＣと入力特徴量ＯＩＣとが類似しないほど損失が大きくなる損失関数に基づいて、生成部２１３に解像度変換画像ＲＩの生成方法の学習を行わせるので、虹彩認証に適した解像度変換画像ＲＩを生成できる。すなわち、超解像処理の学習に、超解像処理を施された画像から抽出された特徴量を用いるので、虹彩認証に適した特徴量を抽出することのできる解像度変換画像ＲＩを生成できる超解像モデルＳＭを構築することができる。虹彩情報推定部３００が出力する変換後特徴量ＯＣは、本人と認証するために用いる特徴量であるので、解像度変換画像ＲＩは、本人と認証するのに適切な変換後特徴量ＯＣの抽出ができる画像であることが望ましい。言い換えると、超解像モデルＳＭが生成する解像度変換画像ＲＩは、精度よく超解像処理が施された画像であり、照合に適した画像でもある。

　また、一般に、拡大率によって、超解像処理の難易度が異なるので、拡大率に関わらず一様に損失関数の計算をしたのでは、超解像処理の精度が維持できない可能性がある。すなわち、拡大率が大きい場合の超解像処理の精度が悪くなる可能性がある。これに対し、第３実施形態における虹彩認証装置３は、拡大率に応じた重みがかかるような損失関数を用いるので、拡大率が変わった場合にも、超解像処理の精度を維持することができる。一例として、解像度変換部３１７２は、第１の入力画像ＩＩを生成するために用いた第１の拡大率が、第２の入力画像ＩＩを生成するために用いた第２の拡大率よりも大きい場合には、第１入力画像ＩＩの損失に対する重みが、第２の入力画像ＩＩの損失に対する重みよりも大きくなるように、各々の入力画像ＩＩを生成するためにステップＳ３３で用いた拡大率に応じた重み付けを施して、バッチサイズのバッチデータの損失を計算する。その結果、比較的低解像度の虹彩画像ＬＩが入力された場合であっても虹彩認証の精度を維持可能な解像度変換画像ＲＩを生成可能な超改造モデルＳＭが構築可能となる。その結果、第３施形態の虹彩認証装置３により構築された超解像モデルＳＭを用いる生成部２１３は、虹彩画像ＬＩの解像度に関わらず、高精度な照合に適した高解像度の解像度変換画像ＲＩの生成を実現することができる。つまり、第３実施形態における虹彩認証装置３は、超解像処理の学習方法を工夫したので、照合精度が低くなり易い較的低解像度の虹彩画像ＬＩが入力された場合にも、虹彩認証の精度を維持することができる。

　したがって、第３実施形態における虹彩認証装置３は、認証性能が拡大率に依存しにくい超解像モデルＳＭを構築することができる。そして、第３実施形態における虹彩認証装置３は、認証精度を維持しつつ、様々な拡大率に対応した虹彩画像の超解像処理をすることができる。
　［４：第４実施形態］

　続いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第４実施形態について説明する。以下では、虹彩認証装置、虹彩認証方法、及び、記録媒体の第４実施形態が適用された虹彩認証装置３を用いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第４実施形態について説明する。

　第４実施形態における虹彩認証装置３は、上述した第３実施形態の虹彩認証装置３と同一の構成を有していてもよい。第４実施形態における虹彩認証装置３は、第３実施形態における虹彩認証装置３と比較して、解像度変換部３１７２による、入力画像ＩＩの生成処理と、損失関数計算部３１８１による損失関数の計算処理とが異なる。すなわち、第４実施形態における虹彩認証装置３は、第３実施形態における虹彩認証装置３と比較して、図５に示されるステップＳ３３の動作とステップＳ４０の動作とが異なる。第４実施形態における虹彩認証装置３のその他の特徴は、第３実施形態における虹彩認証装置３のその他の特徴と同一であってもよい。
　［４－１：虹彩認証装置３が行う学習動作］

　第４実施形態において、解像度変換部３１７２は、第１の拡大率、及び当該第１の拡大率よりも小さい第２の拡大率を任意の拡大率として用いる場合を説明する。解像度変換部３１７２は、第１の拡大率の逆数に応じて入力画像ＩＩを生成する頻度が、第２の拡大率の逆数に応じて入力画像ＩＩを生成する頻度よりも高くなるように、複数の入力画像ＩＩを生成する（ステップＳ３３）。すなわち、解像度変換部３１７２は、用いる拡大率が大きい程、生成される入力画像ＩＩが多くなるように、複数の入力画像ＩＩを生成する。したがって、解像度変換部３１７２が生成する複数の入力画像ＩＩは、大きな拡大率の逆数を用いて生成された入力画像ＩＩをより多く含む。言い換えると、解像度変換部３１７２が用いる、拡大率を選択するは、拡大率の値が大きくなる程、高頻度になる。

　一般に、超解像処理の拡大率が大きい程、超解像処理の拡大率が小さい場合と比較して、超解像処理を行うことは難しくなる場合が多い。そこで、超解像処理の拡大率が大きい程、該当する超解像処理の学習を多くすることで、超解像処理の拡大率が大きい場合にも、精度が劣らない超解像処理が可能な超解像モデルＳＭを構築できることが期待できる。つまり、解像度の低い、大きい拡大率がを用いて超解像処理を行う必要のある画像を入力画像ＩＩとして多く用意することで、拡大率によることなく精度のよく超解像処理をすることのできる超解像モデルＳＭが構築されることを期待できる。

　このため、解像度変換部３１７２は、拡大率の逆数の値が小さい程、学習画像ＴＩの低解像化処理に用いる値として選択しやすいように構成されてもよい。解像度変換部３１７２は、解像度のより低い入力画像ＩＩを生成しやすくなるような確率分布で、用いる拡大率の選択を行ってもよい。解像度変換部３１７２は、重み付けがされた確率分布に従い、用いる拡大率を選択してもよい。用いる拡大率が大きい超解像処理を多く学習させるために、解像度変換部３１７２は、拡大率が大きい低解像度画像を生成しやすくなるような確率分布で、用いる拡大率の選択を行うことができる。すなわち、解像度変換部３１７２は、低解像度の入力画像ＩＩ程、より生成しやすいように構築されてもよい。これにより、後続の生成部２１３による超解像処理において、大きい拡大率がより用いられるようになる。解像度変換部３１７２が拡大率の選択に用いる確率分布は、具体的には一次関数や二次関数等を用いて作成されてものでもよい。用いる確率分布は、拡大率の大きい低解像度画像が選択されやすければよく、他の制限はない。

　解像度変換部３１７２による入力画像ＩＩの生成処理の工夫により、認証性能が拡大率に強く依存しないような、超解像処理を実現できる超解像モデルＳＭを構築することができる。

　第４実施形態における解像度変換部３１７２による動作は、第３実施形態における損失関数計算部３１８１による重み付けの計算と同じ役割を果たす。このため、第４実施形態においては、損失関数計算部３１８１は、損失の計算において、損失に重み付けを行う必要はない。したがって、第４実施形態において、損失関数計算部３１８１は、拡大率に応じた重み付けを行わなくてもよい（ステップＳ４０）。
　［４－２：虹彩認証装置４の技術的効果］

　第４実施形態の虹彩認証装置３は、虹彩画像ＬＩの解像度に関わらず、高精度な照合に適した高解像度の解像度変換画像ＲＩを生成するために、拡大率に応じた重み付けをした機械学習を行って超解像モデルＳＭを構築する。第４実施形態の虹彩認証装置３により構築された超解像モデルＳＭを用いる生成部２１３は、虹彩画像ＬＩの解像度に関わらず、高精度な照合に適した高解像度の解像度変換画像ＲＩの生成を実現することができる。

　また、第４実施形態の虹彩認証装置３も、学習画像ＴＩと解像度変換入力画像ＲＩＩとが類似しないほど損失が大きくなる損失関数に基づいて、生成部２１３に解像度変換画像ＲＩの生成方法の学習を行わせるので、超解像処理の精度を高くすることができる。また、第４実施形態の虹彩認証装置３も、学習特徴量ＴＣと入力特徴量ＯＩＣとが類似しないほど損失が大きくなる損失関数に基づいて、生成部２１３に解像度変換画像ＲＩの生成方法の学習を行わせるので、虹彩認証に適した解像度変換画像ＲＩを生成できる。したがって、第４実施形態の虹彩認証装置３も、認証性能が拡大率に依存しにくい超解像モデルＳＭを構築することができる。そして、第４実施形態の虹彩認証装置３も、認証精度を維持しつつ、様々な拡大率に対応した虹彩画像の超解像処理をすることができる。

　第３実施形態におけるの虹彩認証装置３も、第４実施形態におけるの虹彩認証装置３も、拡大率によらず高精度の超解像処理を実現でき、超解像処理の拡大率によらず高精度の虹彩認証が可能であるという効果を有するが、第３実施形態におけるの虹彩認証装置３は、第４実施形態におけるの虹彩認証装置３と比較して、超解像モデルＳＭの構築処理が簡易である。また、第４実施形態におけるの虹彩認証装置３は、入力画像ＩＩの解像度の分布に重み付けを行って、入力する入力画像ＩＩを直接的に操作するので、第３実施形態におけるの虹彩認証装置３と比較して、構築処理に対する重み付けの寄与が大きく、拡大率によって精度が低下することをより防ぐことができる。
　［５：第５実施形態］

　続いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第５実施形態について説明する。以下では、虹彩認証装置、虹彩認証方法、及び、記録媒体の第５実施形態が適用された虹彩認証装置５を用いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第５実施形態について説明する。
　［５－１：虹彩認証装置５の構成］

　図６は、第５実施形態における虹彩認証装置５の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。虹彩認証装置５は、虹彩画像取得部２１１と、算出部２１２と、生成部５１３と、変換後特徴量抽出部２１４とを備えている。

　生成部５１３は、超解像モデルＳＭを用い、拡大率に応じて虹彩画像ＬＩの解像度を変換した解像度変換画像ＲＩを生成する超解像処理を行う。生成部５１３は、特徴量抽出部５１３１と、フィルタ生成部５１３２と、変換部５１３３とを含む。特徴量抽出部５１３１、フィルタ生成部５１３２、及び変換部５１３３の夫々の動作の詳細については、図７を参照しながら説明する。
　［５－２：生成部５１３が行う超解像処理］

　続いて、図７を参照しながら、第５実施形態における虹彩認証装置５が行う超解像処理について説明する。図７は、第５実施形態における虹彩認証装置５が行う超解像処理の流れを示すフローチャートである。

　図７に示すように、虹彩画像取得部２１１は、生体の虹彩を含む虹彩画像ＬＩを取得する（ステップＳ５１）。算出部２１２は、虹彩画像ＬＩに対する拡大率を算出する（ステップＳ５２）。

　特徴量抽出部５１３１は、虹彩画像ＬＩの特徴量である変換前特徴量ＰＣを抽出する（ステップＳ５３）。特徴量抽出部５１３１は、超解像モデルＳＭに含まれる低解像度特徴量抽出モデルを用いて、低解像度の虹彩画像ＬＩから変換前特徴量ＰＣを抽出してもよい。低解像度特徴量抽出モデルは、低解像度の虹彩画像ＬＩが入力された場合に、後述するフィルタ処理に適合する特徴量を出力することが可能なモデルであってよい。低解像度特徴量抽出モデルは、例えば機械学習によって、虹彩画像ＬＩが入力された場合に、後述するフィルタ処理に適合する特徴量を出力可能なように構築されていてもよい。特徴量抽出部５１３１は、低解像度特徴量抽出モデルに、虹彩画像ＬＩを入力し、変換前特徴量ＰＣを出力させてもよい。

　フィルタ生成部５１３２は、算出部２１２が算出した拡大率に応じて、変換前特徴量ＰＣを変換するための１つ以上の変換フィルタを生成する（ステップＳ５４）。フィルタ生成部５１３２は、超解像モデルＳＭに含まれる変換フィルタ生成モデルを用いて、拡大率に応じた１つ以上の変換フィルタを生成してもよい。変換フィルタ生成モデルは、拡大率が入力された場合に、後述するフィルタ処理に適合する変換フィルタを生成することが可能なモデルであってよい。変換フィルタ生成モデルは、例えば機械学習によって、拡大率が入力された場合に、後述するフィルタ処理に適合する変換フィルタを出力可能なように構成されていてもよい。フィルタ生成部５１３２は、変換フィルタ生成モデルに、算出部２１２が算出した拡大率を入力し、１つ以上の変換フィルタを出力させてもよい。

　フィルタ生成部５１３２は、畳み込み処理用の変換フィルタを生成してもよい。フィルタ生成部５１３２は、例えば３×３のサイズの変換フィルタを生成してもよい。変換フィルタのサイズは、３×３に限らず、５×５であってもよい。変換フィルタのサイズは、処理速度、処理精度等の要件に応じて任意に定めることができる。または、フィルタ生成部５１３２が変換フィルタのサイズを定めてもよい。また、フィルタ生成部５１３２は、例えば、（Ｃｉｎ×Ｃｏｕｔ）個の変換フィルタを生成してもよい。Ｃｉｎは、例えば、変換前特徴量ＰＣのチャネル数に応じた数であってもよい。Ｃｉｎは、例えば、虹彩画像ＬＩがカラー画像である場合、３であってよく、虹彩画像ＬＩがグレー画像である場合、１であってよい。また、Ｃｏｕｔは、例えば、フィルタ処理により出力される解像度変換画像ＲＩがカラー画像である場合、３であってよく、フィルタ処理により出力される解像度変換画像ＲＩがグレー画像である場合、１であってよい。

　フィルタ生成部５１３２が生成した変換フィルタは、低解像度の虹彩画像ＬＩから抽出された変換前特徴量ＰＣを、高解像化することに用いられてもよい。低解像度の虹彩画像ＬＩから抽出された変換前特徴量ＰＣは、例えば、（Ｃｉｎ×ｈ×ｗ）のサイズであってもよい。より具体的には、特徴量抽出部５１３１は、（ｈ×ｗ）のサイズを有する変換前特徴量ＰＣを、Ｃｉｎ個生成してもよい。変換フィルタが用いられて高解像化された特徴量は、例えば、（Ｃｏｕｔ×Ｈ×Ｗ）のサイズであってもよい。より具体的には、（Ｈ×Ｗ）のサイズを有する高解像度化された特徴量が、Ｃｏｕｔ個生成されてもよい。

　例えば、算出部２１２は、１次元ベクトルで構成される拡大率を算出したとする。この場合、変換フィルタ生成モデルは、当該１次元ベクトルで構成される拡大率が入力され、（Ｃｉｎ×Ｃｏｕｔ×３×３）のサイズを持つ変換フィルタを出力してもよい。より具体的には、変換フィルタ生成モデルは、当該１次元ベクトルで構成される拡大率が入力され、（３×３）のサイズを持つ変換フィルタを、Ｃｉｎ×Ｃｏｕｔ個出力してもよい。或いは、変換フィルタ生成モデルは、当該１次元ベクトルで構成される拡大率が入力され、（ｈ×ｗ）のサイズを持つ変換フィルタを、Ｃｉｎ×Ｃｏｕｔ個出力してもよい。

　また、フィルタ生成部５１３２は、畳み込み処理用のフィルタ以外の変換フィルタを生成してもよい。例えば、フィルタ生成部５１３２は、特徴量抽出部５１３１によって抽出された特徴量と同じサイズを持つ変換フィルタを生成してもよい。当該特徴量のサイズは、例えば、（Ｃｉｎ×ｈ×ｗ）であってもよい。

　変換部５１３３は、１つ以上の変換フィルタを用いたフィルタ処理により変換前特徴量ＰＣを変換することで、解像度変換画像ＲＩを生成する（ステップＳ５５）。変換部５１３３は、フィルタ生成部５１３２が生成した変換フィルタを用いて、変換前特徴量ＰＣにフィルタ処理を行ってもよい。また、変換部５１３３は、フィルタ生成部５１３２が生成した変換フィルタを用いて、低解像度の虹彩画像ＬＩを変換し、高解像化された超解像画像である解像度変換画像ＲＩを生成してもよい。

　変換部５１３３は、フィルタ処理の実施前に、拡大率に応じて、変換前特徴量ＰＣの大きさを調整してもよい。例えば、変換部５１３３は、拡大率が２倍の場合、変換前特徴量ＰＣの画素と画素の間にゼロを挿入して、変換前特徴量ＰＣの大きさを２倍に拡大してもよい。また、例えば、変換部５１３３は、拡大率が１．５倍の場合、変換前特徴量ＰＣの２画素おきに画素と画素の間にゼロを挿入して、変換前特徴量ＰＣの大きさを１．５倍に拡大してもよい。変換部５１３３は、画素と画素の間にゼロ以外の値を挿入して、変換前特徴量ＰＣの大きさを拡大してもよい。例えば、変換部５１３３は、画素と画素の間に隣接画素の値をコピーした値を挿入して、変換前特徴量ＰＣの大きさを拡大してもよい。また、変換部５１３３は、これらに限らず、他の方法を用いて変換前特徴量ＰＣの大きさを調整してもよい。例えば、変換部５１３３は、ニアエストネイバー法、線形補完法、バイリニア法、バイキュービック法等を用いた補完により、変換前特徴量ＰＣの大きさを拡大してもよい。

　変換部５１３３は、補完した特徴量に対して、変換フィルタを用いて、ストライド１での畳み込み処理を行ってもよい。ここで、ストライドとは、畳み込みの適用間隔を指し、ストライド１での畳み込み処理とは、１画素間隔で変換フィルタを移動させ、畳み込み処理を行うことを指す。

　変換部５１３３は、超解像モデルＳＭに含まれるフィルタ処理モデルを用いて、畳み込み処理を行ってもよい。フィルタ処理モデルは、変換前特徴量ＰＣが入力された場合に、変換フィルタを用いて、解像度変換画像ＲＩを出力することが可能なモデルであってもよい。フィルタ処理モデルは、例えば機械学習によって、変換前特徴量ＰＣが入力された場合に、変換フィルタを用いて、解像度変換画像ＲＩを出力可能なように構成されていてもよい。変換部５１３３は、フィルタ処理モデルに、変換前特徴量ＰＣを入力し、解像度変換画像ＲＩを出力させてもよい。フィルタ処理モデルが実現する畳み込み層は、１層に限らず複数層であってよい。この場合、各畳み込み層の後に、ＲｅＬＵ関数等の活性化層を挿入してもよい。

　変換部５１３３は、畳み込み処理以外のフィルタ処理を行ってもよい。例えば、変換部５１３３は、変換前特徴量ＰＣと同じ大きさのフィルタ特徴量を生成して、変換前特徴量ＰＣとフィルタ特徴量の要素積を出力してもよい。この場合も、フィルタ処理モデルが実現する層数は１層に限らず複数層であってよい。また、これらの層と活性化層とを組み合わせた複数層を用いてもよい。

　変換後特徴量抽出部２１４は、解像度変換画像ＲＩの特徴量である変換後特徴量ＯＣを抽出する（ステップＳ５６）。
　［５－３：虹彩認証装置５の技術的効果］

　第５実施形態の虹彩認証装置５は、超解像処理の拡大率毎に変換フィルタを推定し、生成する。このため、単一の超解像モデルＳＭにより、様々な拡大率に対応した超解像処理を行うことができる。第５実施形態の虹彩認証装置５は、解像度変換画像ＲＩの解像度が決まっている場合に、特に有効である。すなわち、第５実施形態の虹彩認証装置５に用いられる超解像モデルＳＭは、虹彩画像ＬＩの解像度に関わらず、所望の解像度の解像度変換画像ＲＩを出力できる。したがって、既存の虹彩認証機構の各々に応じた解像度変換画像ＲＩを出力できるように学習されて構築された超解像モデルＳＭを、既存の虹彩認証機構に適用することで、既存の虹彩認証機構は任意の解像度の虹彩画像ＬＩが入力された場合にも、虹彩認証をすることができる。
　［６：第６実施形態］

　続いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第６実施形態について説明する。以下では、虹彩認証装置、虹彩認証方法、及び、記録媒体の第６実施形態が適用された虹彩認証装置６を用いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第６実施形態について説明する。
　［６－１：虹彩認証装置６の構成］

　図８は、第６実施形態における虹彩認証装置６の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。虹彩認証装置６は、虹彩画像取得部２１１と、算出部２１２と、生成部６１３と、変換後特徴量抽出部２１４とを備えている。

　生成部６１３は、超解像モデルＳＭを用い、拡大率に応じて虹彩画像ＬＩの解像度を変換した解像度変換画像ＲＩを生成する超解像処理を行う。生成部６１３は、特徴量抽出部６１３１と、拡大率特徴量抽出部６１３２と、合成部６１３３と、変換部６１３４とを含んでいる。尚、生成部６１３は、変換部６１３４を含まなくてもよい。
　［６－２：生成部６１３が行う超解像処理］

　続いて、図９を参照しながら、第６実施形態における虹彩認証装置６が行う超解像処理について説明する。図９は、第６実施形態における虹彩認証装置６が行う超解像処理の流れを示すフローチャートである。

　図９に示すように、虹彩画像取得部２１１は、生体の虹彩を含む虹彩画像を取得する（ステップＳ６１）。算出部２１２は、虹彩画像に対する拡大率を算出する（ステップＳ６２）。

　特徴量抽出部６１３１は、虹彩画像ＬＩの特徴量である変換前特徴量ＰＣを抽出する（ステップＳ６３）。特徴量抽出部６１３１は、超解像モデルＳＭに含まれる低解像度特徴量抽出モデルを用いて、低解像度の虹彩画像ＬＩから変換前特徴量ＰＣを抽出してもよい。低解像度特徴量抽出モデルは、低解像度の虹彩画像ＬＩが入力された場合に、後述する特徴量合成処理、及びフィルタ処理の少なくとも一方に適合する特徴量を生成することが可能なモデルであってよい。低解像度特徴量抽出モデルは、例えば機械学習によって、虹彩画像ＬＩが入力された場合に、後述する特徴量合成処理、及びフィルタ処理の少なくとも一方に適合する特徴量を出力可能なように構築されていてもよい。特徴量抽出部６１３１は、低解像度特徴量抽出モデルに、虹彩画像ＬＩを入力し、変換前特徴量ＰＣを出力させてもよい。

　拡大率特徴量抽出部６１３２は、拡大率の特徴量である拡大率特徴量ＲＣを抽出する（ステップＳ６４）。拡大率特徴量抽出部６１３２は、拡大率の特徴量である拡大率特徴量マップを生成してもよい。拡大率特徴量抽出部６１３２は、超解像モデルＳＭに含まれる拡大率特徴量抽出モデルを用いて、拡大率特徴量ＲＣを抽出してもよい。拡大率特徴量抽出モデルは、拡大率が入力された場合に、後述する特徴量合成処理、及びフィルタ処理の少なくとも一方に適合する拡大率特徴量ＲＣを出力可能なように構築されていてもよい。拡大率特徴量抽出部６１３２は、拡大率特徴量抽出モデルに、拡大率を入力し、拡大率特徴量ＲＣを出力させてもよい。拡大率特徴量抽出部６１３２は、変換前特徴量ＰＣと同じサイズの拡大率特徴量ＲＣを抽出してもよい。

　合成部６１３３は、変換前特徴量ＰＣと拡大率特徴量ＲＣとを合成して、変換前特徴量ＰＣを変換する（ステップＳ６５）。合成部６１３３は、変換前特徴量ＰＣと拡大率特徴量ＲＣとを合成して、合成特徴量を生成してもよい。合成部６１３３は、合成により、変換前特徴量ＰＣを拡大率に依存しない特徴量に変換してよい。合成部６１３３は、結合、要素和、要素積のいずれかを行ってもよい。合成部６１３３は、虹彩画像ＬＩの特徴量マップと拡大率特徴量マップとを合成してもよい。この場合、拡大率特徴量抽出部６１３２が生成した拡大率特徴量マップは、（Ｃｆ×ｈ×ｗ）のサイズをもつことができる。Ｃｆは、例えば、変換前特徴量ＰＣのチャネル数と同じ数であってもよい。合成部６１３３は、虹彩画像ＬＩの特徴量マップと拡大率特徴量マップとをチャネルで結合することで、合成特徴量マップを合成特徴量としてしてもよい。

　変換部６１３４は、解像度変換画像ＲＩを生成する（ステップＳ６６）。変換部６１３４は、超解像モデルＳＭに含まれるフィルタ処理モデルを用いて、解像度変換画像ＲＩを生成してもよい。フィルタ処理モデルは、変換された変換前特徴量ＰＣ（合成特徴量）が入力された場合に、変換フィルタを用いて、解像度変換画像ＲＩを出力することが可能なモデルであってよい。フィルタ処理モデルは、例えば機械学習によって、変換された変換前特徴量ＰＣ（合成特徴量）が入力された場合に、変換フィルタを用いて、解像度変換画像ＲＩを出力可能なように構成されていてもよい。変換フィルタは、拡大率に依存しないフィルタであってよく、虹彩画像ＬＩの画素数に依らず用いることができる。変換部６１３４は、フィルタ処理モデルに、変換された変換前特徴量ＰＣ（合成特徴量）を入力し、解像度変換画像ＲＩを出力させてもよい。変換部６１３４は、合成された特徴量に対して、畳み込み処理を行うことで解像度変換画像ＲＩを出力してもよい。変換部６１３４は、１層の畳み込み層を用いて畳み込み処理を行ってもよい。または、畳み込み層は複数層であってよく、変換部６１３４は、畳み込み層と活性化層と組み合わせた複数層を用いて畳み込み処理を行ってもよい。

　尚、生成部６１３が独立した変換部６１３４を含まなくてもよい。合成部６１３３は、変換前特徴量ＰＣと拡大率特徴量ＲＣとを合成して、変換前特徴量ＰＣを変換し、変換後の変換前特徴量ＰＣに畳み込み処理をすることで、解像度変換画像ＲＩを生成してもよい。合成部６１３３は、上述のフィルタ処理モデルを用いて、解像度変換画像ＲＩを生成してもよい。

　変換後特徴量抽出部２１４は、解像度変換画像ＲＩの特徴量である変換後特徴量ＯＣを抽出する（ステップＳ６７）。
　［６－３：虹彩認証装置６の技術的効果］

　第６実施形態の虹彩認証装置６は、変換前特徴量ＰＣと拡大率特徴量ＲＣとを合成することにより、単一の超解像モデルＳＭにより、様々な拡大率に対応した超解像処理を行うことができる。第６実施形態における虹彩認証装置６によれば、拡大率特徴量抽出部６１３２は、拡大率に応じた拡大率特徴量ＲＣを抽出できるので、拡大率に依存しない共通な変換フィルタを用いて解像度変換画像ＲＩを生成することができる。第６実施形態の虹彩認証装置６は、解像度変換画像ＲＩの解像度が決まっている場合に、特に有効である。すなわち、第６実施形態の虹彩認証装置６に用いられる超解像モデルＳＭは、第５実施形態の虹彩認証装置５と同様に、虹彩画像ＬＩの解像度に関わらず、所望の解像度の解像度変換画像ＲＩを出力できる。したがって、既存の虹彩認証機構の各々に応じた解像度変換画像ＲＩを出力できるように学習されて構築された超解像モデルＳＭを、既存の虹彩認証機構に適用することで、既存の虹彩認証機構は任意の解像度の虹彩画像ＬＩが入力された場合にも、精度よく虹彩認証をすることができる。
　［７：第７実施形態］

　続いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第７実施形態について説明する。以下では、虹彩認証装置、虹彩認証方法、及び、記録媒体の第７実施形態が適用された虹彩認証装置７を用いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第７実施形態について説明する。
　［７－１：虹彩認証装置７の構成］

　図１０は、第７実施形態における虹彩認証装置７の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。虹彩認証装置７は、虹彩画像取得部２１１と、算出部２１２と、生成部７１３と、変換後特徴量抽出部２１４とを備えている。

　生成部７１３は、超解像モデルＳＭを用い、拡大率に応じて虹彩画像ＬＩの解像度を変換した解像度変換画像ＲＩを生成する超解像処理を行う。生成部７１３は、特徴量抽出部７１３１と、量子化部７１３２と、フィルタ生成部７１３３と、変換部７１３４と、縮小部７１３５とを含んでいる。

　第７実施形態における虹彩認証装置７は、フィルタ生成部７１３３の前に量子化部７１３２を備え、かつ変換部７１３４の後に縮小部７１３５を備える点において、第５実施形態における虹彩認証装置５と異なる。
　［７－２：生成部７１３が行う超解像処理］

　続いて、図１１を参照しながら、第７実施形態における虹彩認証装置７が行う超解像処理について説明する。図１１は、第７実施形態における虹彩認証装置７が行う超解像処理の流れを示すフローチャートである。

　図１１に示すように、虹彩画像取得部２１１は、生体の虹彩を含む虹彩画像ＬＩを取得する（ステップＳ７１）。算出部２１２は、虹彩画像ＬＩに対する拡大率を算出する（ステップＳ７２）。

　特徴量抽出部７１３１は、虹彩画像ＬＩの特徴量である変換前特徴量ＰＣを抽出する（ステップＳ７３）。特徴量抽出部７１３１は、超解像モデルＳＭに含まれる低解像度特徴量抽出モデルを用いて、低解像度の虹彩画像ＬＩから変換前特徴量ＰＣを抽出してもよい。低解像度特徴量抽出モデルは、低解像度の虹彩画像ＬＩが入力された場合に、後述するフィルタ処理に適合する特徴量を出力することが可能なモデルであってよい。低解像度特徴量抽出モデルは、例えば機械学習によって、虹彩画像ＬＩが入力された場合に、後述するフィルタ処理に適合する特徴量を出力可能なように構築されていてもよい。特徴量抽出部７１３１は、低解像度特徴量抽出モデルに虹彩画像ＬＩを入力し、変換前特徴量ＰＣを出力させてもよい。

　量子化部７１３２は、拡大率を所定の拡大率に量子化する（ステップＳ７４）。量子化部７１３２は、入力された拡大率を、例えば２，４，８等の２の累乗の値に量子化してもよい。この場合、量子化部７１３２は、例えば、１．５倍の拡大率が入力されると、２倍を出力することができる。具体的には、量子化部７１３２は、拡大率Ｒに対して、２^ｎ－１＜Ｒ＜２^ｎとなるｎを探索し、２^ｎを量子化拡大率として出力してもよい。なお、所定の拡大率は、２の累乗でなくてもよく、１．５の累乗、２．５の累乗等、任意の累乗の値を採用してもよい。また、所定の拡大率は、累乗で表される値でなくてもよく、２の倍数等の他の離散的な値を採用してもよい。

　フィルタ生成部７１３３は、量子化された拡大率に応じて、変換前特徴量ＰＣを変換するための１つ以上の変換フィルタを生成する（ステップＳ７５）。第７実施形態におけるフィルタ生成部７１３３は、離散的な値の拡大率が入力される点において、連続的な値の拡大率が入力され得る第５実施形態におけるフィルタ生成部５１３２とは異なる。フィルタ生成部７１３３は、超解像モデルＳＭに含まれる変換フィルタ生成モデルを用いて、拡大率に応じた１つ以上の変換フィルタを生成してもよい。変換フィルタ生成モデルは、量子化された拡大率が入力された場合に、後述するフィルタ処理に適合する変換フィルタを生成することが可能なモデルであってよい。変換フィルタ生成モデルは、例えば機械学習によって、量子化された拡大率が入力された場合に、後述するフィルタ処理に適合する変換フィルタを出力可能なように構成されていてもよい。フィルタ生成部７１３３は、変換フィルタ生成モデルに、量子化部７１３２が量子化した拡大率を入力し、１つ以上の変換フィルタを出力させてもよい。

　フィルタ生成部７１３３は、様々な拡大率に応じた変換フィルタを生成をせず、量子化した拡大率に応じた変換フィルタを生成する。すなわち、変換フィルタ生成モデルは、限られた拡大率に特化した変換フィルタの生成の学習により構築されている。このように、第７実施形態における変換フィルタ生成モデルは、限られた拡大率に特化した学習により構築されているので、変換フィルタ生成モデルを用いてフィルタ生成部７１３３が生成する変換フィルタを用いることで、より高精度な超解像処理を実現することができる。

　変換部７１３４は、１つ以上の変換フィルタを用いたフィルタ処理により変換前特徴量ＰＣを変換することで、第１解像度変換画像を生成する（ステップＳ７６）。変換部７１３４は、フィルタ処理の実施前に、拡大率に応じて、変換前特徴量ＰＣの大きさを調整するとよい。変換部７１３４は、補完した特徴量に対して、変換フィルタを用いて、ストライド１での畳み込み処理を行ってもよい。変換部７１３４は、超解像モデルＳＭに含まれるフィルタ処理モデルを用いて、第１解像度変換画像を生成してもよい。フィルタ処理モデルは、変換前特徴量ＰＣが入力された場合に、変換フィルタを用いて、第１解像度変換画像を出力することが可能なモデルであってよい。フィルタ処理モデルは、例えば機械学習によって、変換前特徴量ＰＣが入力された場合に、変換フィルタを用いて、第１解像度変換画像を出力可能なように構成されていてもよい。変換部７１３４は、フィルタ処理モデルに、変換前特徴量ＰＣを入力し、第１解像度変換画像を出力させてもよい。フィルタ処理モデルが実現する畳み込み層は、１層に限らず複数層であってよい。この場合、各畳み込み層の後に、ＲｅＬＵ関数等の活性化層を挿入してもよい。

　縮小部７１３５は、第１解像度変換画像を縮小して、虹彩領域の画素数が所望の画素数と同じである第２解像度変換画像を生成する（ステップＳ７７）。例えば、拡大率が１．５倍であり、量子化された拡大率が２倍であった場合、縮小部７１３５は、虹彩画像ＬＩに対して２倍の超解像処理がされた第１解像度変換画像から、虹彩画像ＬＩの１．５倍の画素数である第２解像度変換画像へダウンサンプリングすればよい。縮小部７１３５は、一般的な間引き処理等によりダウンサンプリングしてもよい。

　変換後特徴量抽出部２１４は、解像度変換画像ＲＩの特徴量である変換後特徴量ＯＣを抽出する（ステップＳ７８）。
　［７－３：虹彩認証装置７の技術的効果］

　第７実施形態の虹彩認証装置７は、超解像処理の拡大率を量子化した拡大率に応じた変換フィルタを推定し、生成する。このため、単一の超解像モデルＳＭにより、様々な拡大率に対応した超解像処理を行うことができる。第７実施形態の虹彩認証装置７は、拡大率に応じた変換フィルタにより、２，４，８倍等にアップサンプリングし、そのサイズからさらにダウンサンプリングすることで連続的な拡大率を高精度に実現することができる。第７実施形態の虹彩認証装置７は、解像度変換画像ＲＩの解像度が決まっている場合に、特に有効である。すなわち、第７実施形態の虹彩認証装置７に用いられる超解像モデルＳＭは、第５，６実施形態の虹彩認証装置５，６と同様に、虹彩画像ＬＩの解像度に関わらず、所望の解像度の解像度変換画像ＲＩを出力できる。したがって、既存の虹彩認証機構の各々に応じた解像度変換画像ＲＩを出力できるように学習されて構築された超解像モデルＳＭを、既存の虹彩認証機構に適用することで、既存の虹彩認証機構は任意の解像度の虹彩画像ＬＩが入力された場合にも、精度よく虹彩認証をすることができる。
　［８：第８実施形態］

　続いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第８実施形態について説明する。以下では、虹彩認証装置、虹彩認証方法、及び、記録媒体の第８実施形態が適用された虹彩認証装置８を用いて、虹彩認証装置、虹彩認証方法、及び、記録媒体の第８実施形態について説明する。
　［８－１：虹彩認証装置８の構成］

　図１２は、第８実施形態における虹彩認証装置８の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。虹彩認証装置８は、虹彩画像取得部２１１と、算出部２１２と、生成部２１３と、変換後特徴量抽出部２１４と、認証部２１５と、調整部８１９とを備えている。
　［８－２：虹彩認証装置８が行う虹彩認証動作］

　続いて、図１３を参照しながら、第８実施形態における虹彩認証装置８が行う超解像処理について説明する。図１３は、第８実施形態における虹彩認証装置８が行う超解像処理の流れを示すフローチャートである。

　図１３に示すように、第８実施形態においても、第２実施形態と同様に、虹彩認証装置８は、ステップＳ２１からステップＳ２７までの動作を行う。第８実施形態では、ステップＳ２６の認証部２１５による認証動作の前に、調整部８１９は、拡大率に応じて、認証部２１５が認証に用いる閾値を調整する（ステップＳ８１）。すなわち、第８実施形態においては、拡大率に応じて、認証部２１５が本人と認証する難易度が調整される。
　認証部２１５は、変換後特徴量抽出部２１４が抽出した変換後特徴量と、予め用意された照合特徴量との類似度を示す照合スコアが、調整部８１９が調整した閾値以上である場合に、本人と認証する（ステップＳ２６）。
　［８－３：虹彩認証装置８の技術的効果］

　超解像処理を施した虹彩画像を用いた虹彩認証においては、超解像処理の拡大率の大きさに起因して、認証の確からしさを変更した方が好ましい場合がある。第８実施形態における虹彩認証装置８は、拡大率に応じて認証部２１５が認証に用いる閾値を調整できるので、拡大率の大きさに起因して、認証の確からしさを変更した方が好ましい場合にも、認証に用いる閾値を調整することで、本人と認証する難易度を調整することができる。
　［９：第９実施形態］

　続いて、虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体の第９実施形態について説明する。以下では、虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体の第９実施形態が適用された認証システム１００を用いて、虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体の第９実施形態について説明する。
　［９－１：虹彩認証システム１００の構成］

　図１４は、第９実施形態における虹彩認証システム１００の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。図１４に示すように、虹彩認証システム１００は、第１装置１０１、及び第２装置１０２を含んでいる。第１装置１０１は、虹彩画像取得部１１と、算出部１２とを備えている。第２装置１０２は、生成部１３と、変換後特徴量抽出部１４とを備えている。

　すなわち、「虹彩画像取得手段」の一具体例である虹彩画像取得部１１、「算出手段」の一具体例である算出部１２、「生成手段」の一具体例である生成部１３、及び「変換後特徴量抽出手段」の一具体例である変換後特徴量抽出部１４は、異なる装置に備わっていてもよい。例えば、第１装置１０１は、虹彩画像取得部１１のみを備え、第２装置１０２は、算出部１２と、生成部１３と、変換後特徴量抽出部１４とを備えていてもよい。または、虹彩画像取得部１１と、算出部１２と、生成部１３と、変換後特徴量抽出部１４とは、別の組み合わせで、第１装置１０１と第２装置１０２とに備わっていてもよい。
　第１装置１０１と第２装置１０２とは、通信可能であり、各々の処理結果を送受信することができる。図１４に示すように、第１装置１０１が虹彩画像取得部１１と、算出部１２とを備え、第２装置１０２が生成部１３と、変換後特徴量抽出部１４とを備えている場合を例に挙げて説明する。この場合、第１装置１０は、算出部１２の算出結果を第２装置１０２に送信することができ、第２装置１０２は当該算出結果を受信し、生成部１３は、当該算出結果応じて虹彩画像の解像度を変換した解像度変換画像を生成することができる。さらに、虹彩認証システムは、３以上の装置を含んでいてもよく、虹彩画像取得部１１と、算出部１２と、生成部１３と、変換後特徴量抽出部１４とは、任意の組み合わせで各々の装置に備わっていてもよい。

　なお、上記実施形態においては、虹彩画像を例に挙げて説明したが、この超解像の技術は、顔認証等他の画像処理分野にも適用することができる。また、第２実施形態以降、倍率が、１以上の拡大率の場合について説明したが、倍率は、１以上に限定されず、１未満であってもよい。

　また、上記実施形態における虹彩認証装置は、虹彩画像に含まれる虹彩領域の画素数から倍率を決めたが、倍率は、虹彩領域の画素数によらずに決めてもよい。例えば、虹彩画像の撮像時の撮像装置と生体との距離に応じて、虹彩認証装置が解像度変換に用いる倍率を決めてもよい。虹彩認証装置が用いる倍率は、解像度変換が適切に行える倍率であればよい。
　［１０：付記］

　以上説明した実施形態に関して、更に以下の付記を開示する。
　［付記１］
　生体の虹彩を含む虹彩画像を取得する虹彩画像取得手段と、
　前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出する算出手段と、
　前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成する生成手段と、
　前記解像度変換画像の特徴量である変換後特徴量を抽出する変換後特徴量抽出手段と
　を備える虹彩認証装置。
　［付記２］
　前記虹彩領域の大きさは、前記所望の大きさより小さく、
　前記倍率は、拡大率であり、
　前記生成手段は、前記拡大率に応じて、前記虹彩画像を高解像化した超解像画像を生成する
　付記１に記載の虹彩認証装置。
　［付記３］
　前記所望の大きさの虹彩領域を含む学習画像を取得する学習画像取得手段と、
　任意の倍率の逆数に応じて前記学習画像の解像度を変換した入力画像を生成する入力画像生成手段とを更に備え、
　前記生成手段は、前記任意の倍率に応じて前記入力画像の解像度を変換した、前記学習画像と同じ解像度の解像度変換入力画像を生成し、
　前記学習画像と前記解像度変換入力画像とが類似しないほど損失が大きくなる損失関数に基づいて、前記生成手段に前記解像度変換画像の生成方法の学習を行わせる学習手段を更に備える
　付記１または２に記載の虹彩認証装置。
　［付記４］
　前記所望の大きさの虹彩領域を含む学習画像を取得する学習画像取得手段と、
　任意の倍率の逆数に応じて前記学習画像の解像度を変換した入力画像を生成する入力画像生成手段とを更に備え、
　前記生成手段は、前記任意の倍率に応じて前記入力画像の解像度を変換した、前記学習画像と同じ解像度の解像度変換入力画像を生成し、
　前記変換後特徴量抽出手段は、前記学習画像の特徴量である学習特徴量と、前記解像度変換入力画像の特徴量である入力特徴量とを抽出し、
　前記学習特徴量と前記入力特徴量とが類似しないほど損失が大きくなる損失関数に基づいて、前記生成手段に前記解像度変換画像の生成方法の学習を行わせる学習手段を更に備える
　付記１から３の何れか１項に記載の虹彩認証装置。
　［付記５］
　前記学習手段は、第１の倍率を前記任意の倍率として用いることで生成される前記入力画像に対応する前記損失の重みが、前記第１の倍率よりも小さい第２の倍率を前記任意の倍率として用いることで生成される前記入力画像に対応する前記損失の重みよりも大きくなる損失関数に基づいて、前記生成手段に学習を行わせる
　付記３または４に記載の虹彩認証装置。
　［付記６］
　前記入力画像生成手段は、第１の倍率を前記任意の倍率として用いることで前記入力画像を生成する頻度が、前記第１の倍率よりも小さい第２の倍率を前記任意の倍率として用いることで前記入力画像を生成する頻度よりも高くなるように、複数の前記入力画像を生成する
　付記３から５の何れか１項に記載の虹彩認証装置。
　［付記７］
　前記生成手段は、
　前記虹彩画像の特徴量である変換前特徴量を抽出する変換前特徴量抽出手段と、
　前記倍率に応じて、前記変換前特徴量を変換するための１つ以上の変換フィルタを生成するフィルタ生成手段と、
　前記１つ以上の変換フィルタを用いた１つ以上のフィルタ処理により前記変換前特徴量を変換することで、前記解像度変換画像を生成する変換手段と
　を含む
　付記１から６の何れか１項に記載の虹彩認証装置。
　［付記８］
　前記生成手段は、
　前記虹彩画像の特徴量である変換前特徴量を抽出する変換前特徴量抽出手段と、
　前記倍率の特徴量である倍率特徴量を抽出する倍率特徴量抽出手段と、
　前記変換前特徴量と前記倍率特徴量とを合成して、前記変換前特徴量を変換することで、前記解像度変換画像を生成する変換手段と
　を含む
　付記１から７の何れか１項に記載の虹彩認証装置。
　［付記９］
　前記生成手段は、
　前記虹彩画像の特徴量である変換前特徴量を抽出する変換前特徴量抽出手段と、
　前記倍率を所定の倍率に量子化する量子化手段と、
　前記量子化された倍率に応じて、前記変換前特徴量を変換するための１つ以上の変換フィルタを生成するフィルタ生成手段と、
　前記１つ以上の変換フィルタを用いた１つ以上のフィルタ処理により前記変換前特徴量を変換することで、第１解像度変換画像を生成する変換手段と、
　当該第１解像度変換画像を縮小して、前記虹彩領域の大きさが前記所望の大きさと同じである第２解像度変換画像を生成する縮小手段と
　を含む
　付記１から８の何れか１項に記載の虹彩認証装置。
　［付記１０］
　前記変換後特徴量抽出手段が抽出した変換後特徴量と、予め用意された照合特徴量との類似度を示す照合スコアが閾値以上である場合に、本人と判定する判定手段と、
　前記倍率に応じて前記閾値を調整する調整手段と
を更に備える
　付記１から９の何れか１項に記載の虹彩認証装置。
　［付記１１］
　前記変換後特徴量と、予め用意された特徴量との類似度を示すスコアを用いて認証を行う認証手段と、
　前記認証手段の認証結果、前記倍率、及び前記解像度変換画像を当該虹彩認証装置の外部へ出力し、前記倍率が所定以上の場合はアラートを出力する出力手段と
を更に備える
　付記１から１０の何れか１項に記載の虹彩認証装置。
　［付記１２］
　生体の虹彩を含む虹彩画像を取得する虹彩画像取得手段と、
　前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出する算出手段と、
　前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成する生成手段と、
　前記解像度変換画像の特徴量である変換後特徴量を抽出する変換後特徴量抽出手段と
　を備える虹彩認証システム。
　［付記１３］
　生体の虹彩を含む虹彩画像を取得し、
　前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出し、
　前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成し、
　前記解像度変換画像の特徴量である変換後特徴量を抽出する
　虹彩認証方法。
　［付記１４］
　コンピュータに、
　生体の虹彩を含む虹彩画像を取得し、
　前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出し、
　前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成し、
　前記解像度変換画像の特徴量である変換後特徴量を抽出する
　虹彩認証方法を実行させるためのコンピュータプログラムが記録された記録媒体。

　上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。

　この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体もまた、この開示の技術的思想に含まれる。

１，２，３，５，６，７，８　虹彩認証装置
１１，２１１　虹彩画像取得部
１２，２１２　算出部
２１２１　虹彩円検出部
２１２２　拡大率算出部
１３，２１３，５１３，６１３，７１３　生成部
１４，２１４　変換後特徴量抽出部
２１５　認証部
２１　演算装置
２２　記憶装置
３００　虹彩情報推定部
３１６　学習画像取得部
３１７　入力画像生成部
３１７１　バッチデータ抽出部
３１７２　解像度変換部
３１８　学習部
３１８１　損失関数計算部
３１８２　勾配計算部
３１８３　パラメータ更新部
５１３１，６１３１，７１３１　特徴量抽出部
５１３２，７１３３　フィルタ生成部
５１３３，６１３４，７１３４　変換部
６１３２　拡大率特徴量抽出部
６１３３　合成部
７１３２　量子化部
７１３５　縮小部
８１９　調整部
１００　虹彩認証システム
ＳＭ　超解像モデル
ＧＭ　特徴量生成モデル
ＬＩ，Ｈ１　虹彩画像
ＲＩ　解像度変換画像
ＰＣ　変換前特徴量
ＯＣ　変換後特徴量
ＴＩ　学習画像
ＴＣ　学習特徴量
ＩＩ　入力画像
ＲＩＩ　解像度変換入力画像
ＯＩＣ　入力特徴量
ＲＣ　拡大率特徴量
ＣＣ　照合特徴量

Claims

　生体の虹彩を含む虹彩画像を取得する虹彩画像取得手段と、
　前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出する算出手段と、
　前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成する生成手段と、
　前記解像度変換画像の特徴量である変換後特徴量を抽出する変換後特徴量抽出手段と
　を備える虹彩認証装置。
　前記虹彩領域の大きさは、前記所望の大きさより小さく、
　前記倍率は、拡大率であり、
　前記生成手段は、前記拡大率に応じて、前記虹彩画像を高解像化した超解像画像を前記解像度変換画像として生成する
　請求項１に記載の虹彩認証装置。
　前記所望の大きさの虹彩領域を含む学習画像を取得する学習画像取得手段と、
　任意の倍率の逆数に応じて前記学習画像の解像度を変換した入力画像を生成する入力画像生成手段とを更に備え、
　前記生成手段は、前記任意の倍率に応じて前記入力画像の解像度を変換した、前記学習画像と同じ解像度の解像度変換入力画像を生成し、
　前記学習画像と前記解像度変換入力画像とが類似しないほど損失が大きくなる損失関数に基づいて、前記生成手段に前記解像度変換画像の生成方法の学習を行わせる学習手段を更に備える
　請求項１または２に記載の虹彩認証装置。
　前記所望の大きさの虹彩領域を含む学習画像を取得する学習画像取得手段と、
　任意の倍率の逆数に応じて前記学習画像の解像度を変換した入力画像を生成する入力画像生成手段とを更に備え、
　前記生成手段は、前記任意の倍率に応じて前記入力画像の解像度を変換した、前記学習画像と同じ解像度の解像度変換入力画像を生成し、
　前記変換後特徴量抽出手段は、前記学習画像の特徴量である学習特徴量と、前記解像度変換入力画像の特徴量である入力特徴量とを抽出し、
　前記学習特徴量と前記入力特徴量とが類似しないほど損失が大きくなる損失関数に基づいて、前記生成手段に前記解像度変換画像の生成方法の学習を行わせる学習手段を更に備える
　請求項１から３の何れか１項に記載の虹彩認証装置。
　前記学習手段は、第１の倍率を前記任意の倍率として用いることで生成される前記入力画像に対応する前記損失の重みが、前記第１の倍率よりも小さい第２の倍率を前記任意の倍率として用いることで生成される前記入力画像に対応する前記損失の重みよりも大きくなる損失関数に基づいて、前記生成手段に学習を行わせる
　請求項３または４に記載の虹彩認証装置。
　前記入力画像生成手段は、第１の倍率を前記任意の倍率として用いることで前記入力画像を生成する頻度が、前記第１の倍率よりも小さい第２の倍率を前記任意の倍率として用いることで前記入力画像を生成する頻度よりも高くなるように、複数の前記入力画像を生成する
　請求項３から５の何れか１項に記載の虹彩認証装置。
　前記生成手段は、
　前記虹彩画像の特徴量である変換前特徴量を抽出する変換前特徴量抽出手段と、
　前記倍率に応じて、前記変換前特徴量を変換するための１つ以上の変換フィルタを生成するフィルタ生成手段と、
　前記１つ以上の変換フィルタを用いた１つ以上のフィルタ処理により前記変換前特徴量を変換することで、前記解像度変換画像を生成する変換手段と
　を含む
　請求項１から６の何れか１項に記載の虹彩認証装置。
　前記生成手段は、
　前記虹彩画像の特徴量である変換前特徴量を抽出する変換前特徴量抽出手段と、
　前記倍率の特徴量である倍率特徴量を抽出する倍率特徴量抽出手段と、
　前記変換前特徴量と前記倍率特徴量とを合成して、前記変換前特徴量を変換することで、前記解像度変換画像を生成する変換手段と
　を含む
　請求項１から７の何れか１項に記載の虹彩認証装置。
　前記生成手段は、
　前記虹彩画像の特徴量である変換前特徴量を抽出する変換前特徴量抽出手段と、
　前記倍率を所定の倍率に量子化する量子化手段と、
　前記量子化された倍率に応じて、前記変換前特徴量を変換するための１つ以上の変換フィルタを生成するフィルタ生成手段と、
　前記１つ以上の変換フィルタを用いた１つ以上のフィルタ処理により前記変換前特徴量を変換することで、第１解像度変換画像を生成する変換手段と、
　当該第１解像度変換画像を縮小して、前記虹彩領域の大きさが前記所望の大きさと同じである第２解像度変換画像を生成する縮小手段と
　を含む
　請求項１から８の何れか１項に記載の虹彩認証装置。
　前記変換後特徴量抽出手段が抽出した変換後特徴量と、予め用意された照合特徴量との類似度を示す照合スコアが閾値以上である場合に、本人と判定する判定手段と、
　前記倍率に応じて前記閾値を調整する調整手段と
を更に備える
　請求項１から９の何れか１項に記載の虹彩認証装置。
　前記変換後特徴量と、予め用意された特徴量との類似度を示すスコアを用いて認証を行う認証手段と、
　前記認証手段の認証結果、前記倍率、及び前記解像度変換画像を当該虹彩認証装置の外部へ出力し、前記倍率が所定以上の場合はアラートを出力する出力手段と
を更に備える
　請求項１から１０の何れか１項に記載の虹彩認証装置。
　生体の虹彩を含む虹彩画像を取得する虹彩画像取得手段と、
　前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出する算出手段と、
　前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成する生成手段と、
　前記解像度変換画像の特徴量である変換後特徴量を抽出する変換後特徴量抽出手段と
　を備える虹彩認証システム。
　生体の虹彩を含む虹彩画像を取得し、
　前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出し、
　前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成し、
　前記解像度変換画像の特徴量である変換後特徴量を抽出する
　虹彩認証方法。
　コンピュータに、
　生体の虹彩を含む虹彩画像を取得し、
　前記虹彩画像に含まれる虹彩領域の大きさと、所望の大きさとから、前記虹彩画像に対する倍率を算出し、
　前記倍率に応じて前記虹彩画像の解像度を変換した解像度変換画像を生成し、
　前記解像度変換画像の特徴量である変換後特徴量を抽出する
　虹彩認証方法を実行させるためのコンピュータプログラムが記録された記録媒体。