JP7353686B2 - 周期画像復元装置及び方法、識別装置及び方法、検証装置及び方法、特徴抽出装置、訓練方法、位相推定装置、並びに記憶媒体 - Google Patents

Description

この発明はバイオメトリクス解析技術に関し、特に、人等の歩き方（「歩容」）を解析する歩容解析技術に関する。この出願は2020年08月05日出願の日本出願第2020-132951号に基づく優先権を主張し、 前記日本出願に記載された全ての記載内容を援用するものである。

セキュリティに関する関心の増大に伴い、社会の様々な局面で人物の認証を行ったり特定したりすることが行われている。人物の認証及び特定をするために様々な技術が使用されている。これら技術の中に、盗用等の危険が小さな、いわゆるバイオメトリクスを用いるバイオメトリック認証がある。

バイオメトリック認証には様々なバイオメトリクスが用いられている。バイオメトリクスの主なものとして、生体と認証装置との間の距離の近い順番に挙げると、ＤＮＡ、指紋、静脈、虹彩、顔等がある。コンピュータの小型化及び性能の向上に伴い、ごく短い時間でバイオメトリクスの照合が可能になっている。例えば携帯電話及び携帯型コンピュータにおいて指紋認証及び顔認証が実用化されている。

バイオメトリクスとしては、上記したような生体そのものの特徴ではなく、人物の行動の特徴を用いるものもある。よく知られたバイオメトリクスとして声紋がある。

声紋と同様、人物の行動に伴う特徴であって、人物の認証及び特定に使用される特徴として、最近、歩容が注目されている。例えば遠くを知人が歩いているときでも、その歩き方から人物を特定できることは我々が日常生活でよく経験することである。つまり、人物の歩き方にはその人物を特定するために十分な特徴があるということである。したがって、バイオメトリック認証に歩容を用いることは十分に理にかなっている。

上記したＤＮＡはもちろん、指紋、静脈、虹彩、顔等を用いる認証の場合には、認証の対象となる人物の協力が必要である。またこれらのバイオメトリクスを用いる認証では、対象となる人物が遠くにいる場合には認証が困難であるという問題がある。それに対して歩容の場合には、人物の協力が得られなくても、単に歩いている映像が得られればよい。しかもかなり遠くの人物の画像で解像度が低いものを用いた場合でも人物の特定を行うことができるという特徴がある。またヘルメットをかぶったりマスクをしたりしている人物でも、その歩き方を隠すことはできない。そのため、歩容は特に犯罪捜査等に有効と考えられ、実際に利用されている。

従来の歩容認証では、人物の歩行する様子を撮影した一連の画像を解析してその特徴を抽出し、予め準備した特徴と照合する。人物の歩行は周期的な運動であり、歩容認証には例えば歩行の１サイクルを表す何枚かの画像が利用される。画像の枚数は実装により異なるが、例えば１サイクルを単位円の一周と考えて、等間隔の位相に相当する画像を用いることが多い。例えば画像が１０枚なら３６０度を１０で等分して位相間隔は３６°である。画像が２０枚なら位相間隔は１８°、２５枚なら１４．４°等である。

このように歩行の１周期の画像を用いる歩容認証では、認証には人物の歩行の１周期分の画像が必要である。そのため、認証が完了するためには少なくとも人物の歩行の１周期に相当する時間が必要である。したがって、ある会場への人物の入場の許可に歩容認証を用いる場合、認証結果が得られたときには既に人物がその会場に入ってしまっているというケースが生じ得る。歩容認証をより広い局面に適用可能にするためには、１周期の画像より少ない画像で認証が完了できるようにすることが望ましい。

さらに、多数の人が往来している場所では、カメラの画像内に複数の人が重なって撮影される。したがって、特定の個人の完全な全身像を歩行の１周期分にわたって撮影できることは稀である。そうした場所では歩容認証により個人識別を行ったりすることは難しい。

こうした問題を解決するための一つの提案が、後掲の特許文献１で行われている。特許文献１に記載の方法はＧａｉｔＳｅｔと名付けられている。ＧａｉｔＳｅｔでは、１周期とは別に、複数の画像の各々を独立したものとして、複数の画像から特徴を抽出し、画像全体から得られた特徴の集合を用いて認証を行う。画像の数には制限がなく、任意の枚数の画像に基づいて認証を行ったり、異なる歩行機会から得られた画像を用いた認証を行ったりすることも可能であるとされている。特に画像が十分に多い場合、人物の服装、持ち物等にかかわらず高い精度で認証を行うことができると報告されている。

中国特許出願公開第１０９５８３２９８号

Hanqing Chao 外３名、GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition, [online], 2018年11月15日, Association for the Advancement of Artificial Intelligence (www.aai.org),［2020年 7月26日検索］, インターネット, ＜URL: https://arxiv.org/abs/1811.06186v1＞, arXiv:1811.06186 （特許文献１に対応する英語論文） K. Shiraga 外４名、GEINet: View-Invariant Gait Recognition Using a Convolutional Neural Network, Proceedings of the 8th IAPR International Conference on Biometrics (ICB 2016), No. 019, pp. 1-8, Halmstad, Sweden, 2016年 6月 Zifeng Wu 外４名, A Comprehensive Study on Cross-View Gait Based Human Identification with Deep CNNs. IEEE Transactions on Pattern Analysis and Machine Intelligence. 39. 1-1. 10.1109/TPAMI.2016.2545669.

特許文献１に記載の技術により、１周期分より少ない画像でも歩容認証を行うことができる。しかし、特許文献１の図５によれば、この技術によるＲａｎｋ－１精度（特定された人物が正解である率）は、画像が１枚では２５％、２枚でも４４．１％、７枚で８２．５％である。すなわち、特許文献１の技術には、画像の数が少ないときの精度が極めて低いという問題がある。仮に少ない画像で歩容認証を行うことができたとしても、この精度では実用化することは難しい。したがって、１周期の画像枚数よりも少ない枚数の歩行画像を用いても、高い精度で歩容認証又は歩容検証を行えるようにすることが望ましい。

このとき、例えば１周期の画像枚数よりも少ない枚数の歩行画像から、１周期の画像枚数と同じ枚数の画像を精度高く復元できれば、従来の歩容認証装置又は歩容検証装置をそのまま用いることができる。したがって、１周期の画像枚数よりも少ない枚数の歩行画像から、１周期の画像枚数と同じ枚数の画像を精度高く復元できればさらに好ましい。このような歩容認証を行う際には、入力された画像の、歩行周期における位相が推定できれば、復元画像の精度を高めることができると考えられる。したがって、周期画像を構成する各画像からその位相を高い精度で推定できる位相推定装置が得られればより好ましい。

本発明の第１の局面に係る周期画像復元装置は、周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の第１の数の画像を、第１の数より小さな第２の数の画像から復元するための周期画像復元装置であって、第２の数の画像に関する運動の位相を推定する位相推定手段と、第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出手段と、位相推定手段が推定した位相に基づいて、位相依存特徴抽出手段により抽出された位相依存特徴を、位相から独立した位相非依存特徴に変換するための特徴変換手段と、特徴変換手段により変換された後の位相非依存特徴に基づいて、運動をしている生物の、第１の数の位相の各々における画像を復元するための画像復元手段とを含む。

好ましくは、位相推定手段は、第２の数の画像から、当該画像の位相を推定するよう予め訓練された位相推定用のニューラルネットワークを含む。

より好ましくは、位相依存特徴抽出手段は、第２の数の画像を入力とし、第２の数の画像から、位相依存特徴を抽出するよう予め訓練された位相依存特徴抽出用のニューラルネットワークを含む。

さらに好ましくは、特徴変換手段は、位相推定手段が推定した位相と、位相依存特徴とを入力として、位相非依存特徴を出力するよう予め訓練済の特徴変化用のニューラルネットワークを含む。

好ましくは、画像復元手段は、特徴変換手段により変換された後の位相非依存特徴を入力とし、運動をしている生物の、第１の数の位相の各々における画像データを出力するよう予め訓練済の、画像復元用のニューラルネットワークを含む。

より好ましくは、第１の数の位相は、運動の周期を第１の数で等分した位相の各々を含む。

さらに好ましくは、第２の数は、第１の数の半分以下である。

好ましくは、第２の数は１である。

より好ましくは、生物は人間である。

本発明の第２の局面に係る識別装置は、上記したいずれかの周期画像復元装置と、各々が第１の数の画像からなる複数の対照画像列を記憶した対照画像列記憶装置と、入力画像から周期画像復元装置が復元した第１の数の画像と、対照画像列記憶装置に記憶された複数の対照画像列とを比較することにより、入力画像内の生物が、対照画像列記憶装置に記憶された複数の対照画像列が示す生物のいずれであるか識別するための識別手段とを含む。

本発明の第３の局面に係る検証装置は、上記したいずれかの周期画像復元装置と、第１の数の画像からなる対照画像列を記憶した対照画像列記憶装置と、入力画像から周期画像復元装置が復元した第１の数の画像と、対照画像列記憶装置に記憶された対照画像列とを比較することにより、入力画像内の生物が、対照画像列記憶装置に記憶された対照画像列が示す生物と同一か否かを検証するための検証手段とを含む。

本発明の第４の局面に係る周期画像復元方法は、周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の第１の数の画像を、第１の数より小さな第２の数の画像から復元するための、コンピュータにより実現される方法であって、コンピュータが、第２の数の画像に関する運動の位相を推定する位相推定ステップと、コンピュータが、第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出ステップと、コンピュータが、位相推定ステップにおいて推定された位相に基づいて、位相依存特徴抽出ステップにおいて抽出された位相依存特徴を、位相から独立した位相非依存特徴に変換する特徴変換ステップと、コンピュータが、特徴変換ステップにおいて変換された後の位相非依存特徴に基づいて、運動をしている生物の、第１の数の位相の各々における画像を復元する画像復元ステップとを含む。

本発明の第５の局面に係る識別方法は、第４の局面に係る方法の各ステップと、コンピュータが、入力画像から方法により復元された第１の数の画像と、各々が第１の数の対照画像を含む複数の対照画像列とを比較することにより、入力画像内の生物が、対照画像列記憶装置に記憶された複数の対照画像列が示す生物のいずれであるか識別するステップとを含む。

本発明の第６の局面に係る検証方法は、第４の局面に係る方法の各ステップと、コンピュータが、入力画像から方法により復元された第１の数の画像と、第１の数の対照画像を含む対照画像列とを比較することにより、入力画像内の生物が、対照画像列が示す生物と同一か否かを検証するステップとを含む。

本発明の第７の局面に係る特徴抽出装置は、周期性を持つ運動を行っている生物の画像から、当該生物の個性を表す特徴を抽出するための特徴抽出装置であって、入力画像に基づいて、入力画像内の生物の姿勢が、運動におけるどの位相の姿勢かを推定する位相推定手段と、入力画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出手段と、位相推定手段が推定した位相に基づいて、位相依存特徴抽出手段により抽出された位相依存特徴を、位相から独立した位相非依存特徴に変換するための特徴変換手段とを含む。

本発明の第８の局面に係る識別装置は、第７の局面に係る特徴抽出装置と、複数の生物が運動を行っている生物の画像からなる複数の対照画像を記憶した対照画像記憶装置と、入力画像から特徴抽出装置が抽出した位相非依存特徴と、複数の対照画像の各々から特徴抽出装置が抽出した位相非依存特徴とを比較することにより、入力画像内の生物が、対照画像記憶装置に記憶された複数の対照画像が示す生物のいずれであるか識別するための識別手段とを含む。

本発明の第９の局面に係る検証装置は、第７の局面に係る特徴抽出装置と、対照画像を記憶した対照画像記憶装置と、入力画像から特徴抽出装置が抽出した位相非依存特徴と、対照画像記憶装置に記憶された対照画像から特徴抽出装置が抽出した位相非依存特徴とを比較することにより、入力画像内の生物が、対照画像記憶装置に記憶された対照画像が示す生物と同一か否かを検証するための検証手段とを含む。

本発明の第１０の局面に係る位相推定用のニューラルネットワークの訓練方法は、各々が、ある生物の、周期性を持つ運動の第１の数の位相のいずれかにおける、生物の姿勢を表す複数の画像を、それぞれ当該姿勢の位相を表す情報と関連付けて準備するステップと、画像の入力を受ける入力層と、第１の数のいずれかを示す出力を持つ出力層と、入力層と出力層との間に配置された、少なくともコンボリューション層を含む複数の中間層とを含むニューラルネットワークを準備し、各パラメータを初期化するステップと、複数の画像の各々について、当該画像を入力とし、当該画像の位相を表す情報を教師データとして、ニューラルネットワークの出力と教師データとの差を減少させるように、予め定められた終了条件が充足されるまでニューラルネットワークを訓練するステップとを含む。

好ましくは、複数の画像は、第１の生物を表す１又は複数の画像と、第１の生物と異なる第２の生物を表す１又は複数の画像とを含む。

より好ましくは、生物は人間である。

さらに好ましくは、第１の数の位相は、運動の一周期を等分した位相である。

本発明の第１１の局面に係る周期画像の位相推定装置は、第１０の局面に係る訓練方法により訓練されたニューラルネットワークを用いたものである。

この発明の第１２の局面に係る周期画像復元装置は、周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の第１の数の画像を、第１の数より小さな第２の数の画像から復元するための周期画像復元装置であって、第２の数の画像に関する運動の位相を推定する位相推定器と、第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出器と、位相推定器が推定した位相に基づいて、位相依存特徴抽出器により抽出された位相依存特徴を、位相から独立した位相非依存特徴に変換するための特徴変換器と、特徴変換器により変換された後の位相非依存特徴に基づいて、運動をしている生物の、第１の数の位相の各々における画像を復元するための画像復元器とを含む。

この発明の第１３の局面に係る周期画像復元装置は、周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の第１の数の画像を、第１の数より小さな第２の数の画像から復元するための、プロセッサを含む周期画像復元装置であって、プロセッサは、第２の数の画像に関する運動の位相を推定する位相推定器と、第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出器と、位相推定器が推定した位相に基づいて、位相依存特徴抽出器により抽出された位相依存特徴を、位相から独立した位相非依存特徴に変換するための特徴変換器と、特徴変換器により変換された後の位相非依存特徴に基づいて、運動をしている生物の、第１の数の位相の各々における画像を復元するための画像復元器として動作するようプログラムされている。

この発明の第１４の局面に係る記憶媒体は、周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の第１の数の画像を、第１の数より小さな第２の数の画像から復元するための周期画像復元装置として機能するようコンピュータを動作させるコンピュータプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体であって、コンピュータプログラムは、コンピュータを、第２の数の画像に関する運動の位相を推定する位相推定器と、第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出器と、位相推定器が推定した位相に基づいて、位相依存特徴抽出器により抽出された位相依存特徴を、位相から独立した位相非依存特徴に変換するための特徴変換器と、特徴変換器により変換された後の位相非依存特徴に基づいて、運動をしている生物の、第１の数の位相の各々における画像を復元するための画像復元器として動作させる。

この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

図１は、歩行画像に現れる、人物の歩容の特徴を説明する図である。 図２は、歩行画像から特徴を抽出する過程を説明する図である。 図３は、同一人物の異なる歩行画像を示す図である。 図４は、同一人物の歩行画像のうち、異なる位相の画像の相違を示す図である。 図５は、１枚の歩行画像から他の位相の歩行画像を推定するための情報が得られることを示す図である。 図６は、この発明の第１実施形態に係る歩容認証装置の概略構成を示すブロック図である。 図７は、歩容認証装置を用いた歩容認証システムの概略と、一歩行周期復元ネットワーク（ＰＡ－ＧＣＲ）の概略構成を示すブロック図である。 図８は、図７に示す前処理部の構成を示すブロック図である。 図９は、図７に示す位相推定器を構成するニューラルネットワークの構成を示すブロック図である。 図１０は、図７に示すエンコーダを構成するニューラルネットワークの構成を示すブロック図である。 図１１は、図７に示すデコーダを構成するニューラルネットワークの構成を示すブロック図である。 図１２は、第１実施形態に係る、図７に示す一歩行周期復元ネットワークを用いる本人認証システム及びその訓練の構成を示すブロック図である。 図１３は、本人認証システムの構成及びその訓練に必要な構成を示すブロック図である。 図１４は、図７に示す位相推定器を訓練するコンピュータプログラム（以下、単に「プログラム」という）の制御構造を示すフローチャートである。 図１５は、図７に示す一歩行周期復元ネットワークを訓練するプログラムの制御構造を示すフローチャートである。 図１６は、図７に示す認識ネットワークを訓練するプログラムの制御構造を示すフローチャートである。 図１７は、図７に示す一歩行周期復元ネットワーク及び認識ネットワークの全体を訓練するプログラムの制御構造を示すフローチャートである。 図１８は、コンピュータを、図１２に示す本人認証システムとして機能させるプログラムの制御構造を示すフローチャートである。 図１９は、図１２に示す本人認証システムにより復元された画像が正解画像を精度よく復元していることを示す図である。 図２０は、図１２に示す本人認証システムにより、異なる位相の画像から復元された画像が正解と精度良く一致していることを示す図である。 図２１は、図７に示す一歩行周期復元ネットワークを用いる個人識別装置の構成及びその訓練の構成を示す図である。 図２２は、コンピュータを、図２１に示す個人識別装置として機能させるプログラムの制御構造を示すフローチャートである。 図２３は、図７に示す一歩行周期復元ネットワークを訓練するための、この発明の第２実施形態に係る訓練システムの概略構成を示すブロック図である。 図２４は、図２３に示す訓練システムにより訓練された一歩行周期復元ネットワークを用いる、この発明の第２実施形態に係る本人認証装置の概略構成を示すブロック図である。 図２５は、データセットＯＵ－ＭＶＬＰを用いて検証したこの発明の実施形態に係る一歩行周期復元ネットワークによる認識精度を従来技術と比較して表形式で示す図である。 図２６は、データセットＣＡＳＩＡ－Ｂ及びＯＵ－ＭＶＬＰの組み合わせを用いて検証してこの発明の実施形態に係る一歩行周期復元ネットワークによる認識精度を従来技術と比較して表形式で示す図である。 図２７は、データセットＯＵＴＤ－Ｄ及びＯＵ－ＭＶＬＰの組み合わせを用いて検証したこの発明の実施形態に係る一歩行周期復元ネットワークによる認識精度を従来技術と比較して表形式で示す図である。 図２８は、この発明の実施形態に係る一歩行周期復元ネットワーク及びそれを訓練するシステムを実現するコンピュータシステムの外観図である。 図２９は、図２８に示すコンピュータシステムのハードウェア構成を示すブロック図である。

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰り返さない。

＜歩容の特徴＞
図１は、互いに異なる３人の被験者の歩行画像列５０、５２及び５４を示す図である。これらはいずれも１歩行周期を表す。

人の歩容には人それぞれの個性（個人性）が現れる。個性とは、例えば参照符号６０及び６２により示されるような腕の振り、参照符号６４及び６６により示されるような姿勢、参照符号６８及び７０により示されるような歩幅、参照符号７２及び７４により示されるような左右の非対称性等である。様々な人物についてこれらの特徴を予め抽出する。入力された歩行画像から同様の特徴を抽出する。この特徴を予め抽出しておいた人物の特徴と比較することで、人物を認証したり同定したりできる。

図２を参照して、歩行周期とその特徴との関係について説明する。図２を参照して、例えば歩行画像９０が周期画像１００、１０２及び１０４の３周期からなるものとする。最初に歩行画像９０からこれら３周期を区別する。そして周期画像１００から特徴１１０、周期画像１０２から特徴１１２、周期画像１０４から特徴１１４のように各周期からその歩容を示す特徴を抽出する。これら特徴を予め準備しておいた複数の人物の歩容の特徴と比較すればよい。

図２に示すように１歩行周期の画像が全て入手できれば既存の方法で歩容認証を行うことができる。しかし、例えば１枚の画像から高い精度で歩容認証を行うのは非常に難しいという問題があった。

図３を参照して、歩行画像列１３０及び歩行画像列１３２は同一人物の歩容を示す。例えば歩行画像列１３０の歩行画像１５０と歩行画像列１３２の歩行画像１５２を抽出したものを図４に示す。

図４を参照して、同一人物であっても、歩容の位相が異なればその画像は異なってくる。そもそも、同一人物の歩容で位相が同一であっても、画像がほとんど同一になるとは限らない。したがって、ある人物の歩容のある位相の単一歩行画像のみを使用しても、歩容認証を高い精度で行うことは難しい。特許文献１の記載からもそれが理解できる。また単一の画像でなく、複数の位相の画像を用いたとしても、枚数が少なければ特許文献１の記載からは精度を十分に高めることが難しい事が分かる。

一方、図５には別々の人物の半歩行周期の歩行画像列１７０及び１７２を示す。これら歩行画像列１７０及び１７２はそれぞれ位相を揃えて示してある。図５を参照して、例えば歩行画像列１７０の参照符号１８０とその画像に隣接する画像とを比較すると、参照符号１８０で前かがみである場合には、その前後でも前かがみの姿勢が持続することが分かる。また歩行画像列１７０の参照符号１８０と歩行画像列１７２の参照符号１８４とを比較すると、参照符号１８４の姿勢は後方に傾いており、また足の膝関節の角度も大きい。これらの画像をその後の画像参照符号１８２及び１８６と比較すると、両足支持の状態では、明らかに参照符号１８６のほうが参照符号１８２よりも歩幅が大きくなっている。

このように歩行周期の画像を詳細に検討すると、単一の画像でも個人性を保っており、かつ歩行周期の別の位相の画像とも特徴を共有していたり、特徴を推定可能であったりすることが分かる。こうしたことから、単一（又は少数）の歩行画像から１歩行周期の全位相の画像が推定できる可能性があることが分かる。この発明は、そうした可能性に基づき実際に実験をし、その結果、単一の画像からも１歩行周期の全位相の画像が十分に高精度に推定可能であることを確認したことにより実現したものである。

このように１歩行周期の全位相の画像が高精度に推定できると、１周期の歩行画像列から歩容認証を行う既存のシステムをそのまま利用でき、利用価値が非常に高い。なお、特許文献１に記載の技術では、１周期の歩行画像の全てでなくても、ある程度の枚数、例えば半数程度以上の枚数であればかなり高い精度で歩容認証が行えることもわかっている。

＜第１実施形態＞
《構成》
図６に、この発明の第１実施形態に係る歩容認証装置２００の概略構成を示す。図６を参照して、歩容認証装置２００は、単一の入力画像２１０から一歩行周期の全位相の一歩行周期画像２１４を復元する、ニューラルネットワークを含む一歩行周期復元ネットワーク２１２と、一歩行周期画像２１４を入力として歩容認証のための識別的な特徴２１８を抽出する、ニューラルネットワークからなる認識ネットワーク２１６とを含む。認識ネットワーク２１６としては既存のもの、例えば特許文献１に記載のもの（ＧａｉｔＳｅｔ）を利用できる。なお、図面上では、記載を簡明にするために認識ネットワーク２１６を「ＧａｉｔＳｅｔ」と、一歩行周期復元ネットワークを「ＰＡ－ＧＣＲ」又は「ＰＡ－ＣＧＲＮｅｔ」と記載することがある。

図７を参照して、図６に示す一歩行周期復元ネットワーク２１２を用いる歩容認証システム２４０は、歩行画像を撮影するカメラ２５０と、カメラ２５０からの画像に所定の前処理を行いシルエット画像である入力画像２１０を出力する前処理部２５２と、入力画像２１０を受けて一歩行周期の所定の数の位相の各々についての歩行画像からなる歩行画像列２１４を出力する一歩行周期復元ネットワーク２１２と、歩行画像列２１４を入力として、識別的な特徴（識別特徴）を出力するための認識ネットワーク２１６とを含む。

一歩行周期復元ネットワーク２１２は、入力画像２１０の一歩行周期における位相を推定して位相２７０を出力する位相推定器２６０と、入力画像２１０から、画像の個人性を表す、位相に依存した位相依存特徴２７２を抽出するためのエンコーダ２６２と、位相２７０と位相依存特徴２７２とを受けて、位相依存特徴２７２を位相に依存しない位相非依存特徴２７４に変換するための特徴変換器２６４と、位相非依存特徴２７４から一歩行周期の各位相の画像からなる一歩行周期画像２１４を出力するためのデコーダ２６６とを含む。一歩行周期画像２１４が得られれば、この一歩行周期画像２１４を認識ネットワーク２１６に与えることにより歩容認証のための識別的な特徴が得られる。

この第１実施形態では、位相推定器２６０、エンコーダ２６２、特徴変換器２６４及びデコーダ２６６はいずれもニューラルネットワークで実現される。これらのうち、特徴変換器２６４は位相依存特徴２７２を受ける入力を持ち位相非依存特徴２７４を出力する全結合ネットワークである。特徴変換器２６４の入出力ともその個数は１００である。他の構成については後述する。

図８に、前処理部２５２の構成を示す。図８を参照して、前処理部２５２は、人物と背景画像とが同時に撮影された入力画像２９０と、人物を除く背景画像２９２とを受け、グラフカット法、平均値シフト法、領域拡張法、セマンティックセグメンテーション法等の公知の手法を用いて自動的にシルエット画像３０２を抽出するためのシルエット画像抽出装置３００と、シルエット画像３０２のうち、人物に相当する部分を含む所定形状の領域を抽出し、人物の画像の高さが所定の画素数となるように、かつ人物の部分が中央にくるように、これも公知の手法を用いて画像を正規化し入力画像２１０を出力するための画像正規化処理部３０４とを含む。この第１実施形態では、入力画像２１０は６４×６４画素に正規化される。

図９を参照して、位相推定器２６０は、入力画像２１０の入力を受けるコンボリューション層からなる第１層３２０と、同様にそれぞれ第一層前の出力を入力として受ける第２層３２２、第３層３２４及び第４層３２６と、第４層３２６の出力を入力として受ける全結合層からなる第５層３２８と、第５層３２８の出力を受ける全結合層からなる第６層３３０と、第６層３３０の出力を受けて正規化（バッチ正規化）を行って正規化後の位相２７０を表すパラメータを出力するための正規化層３３２とを含む。

図９及び以下の図面において、第１層３２０のように点線で示した層はコンボリューション層であり、実線で示した層は全結合層である。図１１に示すように破線で示した層はデコンボリューション層である。またコンボリューション層の左に記載した数字（９９×９×９／９）のうち、スラッシュの左側はコンボリューションのカーネル（フィルタ）の数及び次元を示し、右側はストライドを示す。全結合層の左側に記載した数字はその層の出力数である。

図１０を参照して、エンコーダ２６２は、入力画像２１０を受ける入力を持つ第１層３５０と、それぞれ前層の出力を受ける入力を持つ第２層３５２、第３層３５４及び第４層３５６と、第４層３５６の出力を受け、位相依存特徴２７２を出力する第５層３５８とを含む。

図１１を参照して、デコーダ２６６は、位相非依存特徴２７４を受ける、活性化関数としてＲｅＬＵ関数を用いる第１層３８０と、第１層３８０の出力から後に順に接続された、いずれもコンボリューション層からなる第２層３８２、第３層３８４、第４層３８６及び第５層３８８とを含む。第５層３８８からは、各々が６４×６４画素の、一歩行周期の２５個の歩行画像が得られる。

図７に示す一歩行周期復元ネットワーク２１２及び認識ネットワーク２１６がニューラルネットワークを含むため、これらについて適切な訓練を行う必要がある。この実施形態では、位相推定器２６０の訓練、一歩行周期復元ネットワーク２１２の訓練、及び一歩行周期復元ネットワーク２１２及び認識ネットワーク２１６を含む歩容認証システム２４０の全体の訓練という３段階の訓練を行う。

図１２に、第１実施形態に係る本人認証システム４００の概略構成を示す。図１３を参照して、本人認証システム４００は、一歩行周期復元ネットワーク２１２と、一歩行周期復元ネットワーク２１２と同じ構成で、各ニューラルネットワークのパラメータを共有する、一歩行周期復元ネットワーク２１２の訓練に用いる一歩行周期復元ネットワーク４１８とを含む。一歩行周期復元ネットワーク２１２には、同じ対象の異なる歩行周期の画像からも同様の特徴を抽出するという制約条件が課される。一歩行周期復元ネットワーク４１８を訓練に用いるのは、この制約条件を一歩行周期復元ネットワーク２１２が満たすように訓練するためである。

訓練では、Ｐｒｏｂｅ画像４１０が一歩行周期復元ネットワーク２１２に入力され、一歩行周期復元ネットワーク２１２が復元歩行画像列４１２を出力する。ここで、Ｐｒｏｂｅ画像とは、本人認証又は個人識別の対照となる人物の画像のことをいう。後述するＧａｌｌｅｒｙ画像とは、予め登録されている同一人物の歩行画像のことをいう。訓練ではさらに、この復元歩行画像列４１２と、Ｐｒｏｂｅ画像４１０を含む正解歩行画像列４２４との損失関数６１０（Ｌ_{ｒｅｃｏｎ}）を算出する。一方、同様にＧａｌｌｅｒｙ画像４１４を一歩行周期復元ネットワーク４１８に入力して復元歩行画像列４１６を出力する。この復元歩行画像列４１６と、Ｇａｌｌｅｒｙ画像４１４に対する正解歩行画像列４２８との間の損失関数６１２を算出する。

さらに復元歩行画像列４１２を認識ネットワーク２１６に入力して識別特徴を算出する。同様に、復元歩行画像列４１６を認識ネットワーク４３６に入力して識別特徴を算出する。そして両者の差Ｄに基づく損失関数６１４（Ｌｃｏｎｔ）を算出する。具体的には、本人同士のペアに対してはＬｃｏｎｔ＝Ｄ、別人物同士のペアの場合に対してはＬｃｏｎｔ＝ｍａｘ（マージン－Ｄ，０）として損失を算出する。こうすることで、本人同士のペアの場合には画像の差Ｄが小さくなるように認識ネットワーク２１６及び４３６のパラメータの学習が行われ、別人物同士のペアの場合には、画像の差Ｄが一定の値（マージン）よりも大きければペナルティなし、画像の差Ｄがマージン以下であればマージンと差Ｄとの差が小さくなるように、すなわち画像の差Ｄが大きくなるように、パラメータの学習が行われる。

一方、一歩行周期復元ネットワーク２１２がＰｒｏｂｅ画像４１０から得る位相に依存しない特徴と、一歩行周期復元ネットワーク４１８がＧａｌｌｅｒｙ画像４１４から得た位相に依存しない特徴との間の誤差（Ｌ_ｓｉｍ）も算出する。

一歩行周期復元ネットワーク２１２の訓練では、これらの誤差の重み付き和を損失関数として、誤差逆伝播法により各ネットワークのパラメータの学習を行う。

図１３を参照して、より具体的には、本人認証システム４００は、位相推定器２６０の訓練のための歩行画像をその位相を示す値とともに訓練データとして記憶する訓練データ記憶装置４２０と、訓練データ記憶装置４２０に記憶された訓練データを用いて位相推定器２６０の訓練を行うための位相推定器訓練部４２２とを含む。

一歩行周期復元ネットワーク４１８は、一歩行周期復元ネットワーク２１２の位相推定器２６０、エンコーダ２６２、特徴変換器２６４及びデコーダ２６６に対応する構成要素として、位相推定器４５０、エンコーダ４５２、特徴変換器４５４及びデコーダ４５６を含む。一歩行周期復元ネットワーク４１８にＧａｌｌｅｒｙ画像４１４が与えられると、位相推定器４５０は位相４６０を、エンコーダ４５２は位相依存特徴４６２を、それぞれ出力する。特徴変換器４５４は位相４６０を用いて位相依存特徴４６２を位相非依存特徴４６４に変換する。デコーダ４５６は位相非依存特徴４６４から復元歩行画像列４１６を復元する。

本人認証システム４００はさらに、一歩行周期復元ネットワーク２１２及び一歩行周期復元ネットワーク４１８にそれぞれＰｒｏｂｅ画像４１０及びＧａｌｌｅｒｙ画像４１４を与えたときの位相非依存特徴２７４と位相非依存特徴４６４との所定の誤差関数Ｌ_ｓｉｍを算出するための誤差算出部４３２と、Ｐｒｏｂｅ画像４１０が与えられたときに一歩行周期復元ネットワーク２１２が出力する復元歩行画像列４１２及び正解歩行画像列４２４の間の所定の誤差関数Ｌ_{ｒｅｃｏｎ}を算出するための誤差算出部４２６と、Ｇａｌｌｅｒｙ画像４１４が与えられたときにデコーダ４５６が出力する復元歩行画像列４１６及び正解歩行画像列４２８の間の誤差関数Ｌ_{ｒｅｃｏｎ}を算出するための誤差算出部４３０と、誤差算出部４３２、４２６、４３０がそれぞれ算出する誤差関数の重み付き和を最小化するように一歩行周期復元ネットワーク２１２のエンコーダ２６２、特徴変換器２６４及びデコーダ２６６のパラメータを訓練するための一歩行周期復元ネットワーク訓練部４３４とを含む。

位相非依存特徴２７４をｆ_Ｉｐ、位相非依存特徴４６４をｆ_Ｉｇとすると、誤差算出部４３２が算出する誤差関数Ｌ_ｓｉｍはＬ_ｓｉｍ＝│ｆ_Ｉｐ－ｆ_Ｉｇ｜_２ ^２で表される。復元歩行画像列４１２をＲ_Ｉｐ、正解歩行画像列４２４をＧＴ_Ｉとすると誤差算出部４２６が算出する誤差関数Ｌ_{ｒｅｃｏｎ}はＬ_{ｒｅｃｏｎ}＝｜Ｒ_Ｉｐ－ＧＴ_Ｉ｜_２ ^２で表される。復元歩行画像列４１６をＲ_Ｉｇ、正解歩行画像列４２８をＧＴ_Ｉとすると誤差算出部４３０が算出する誤差関数Ｌ_{ｒｅｃｏｎ}はＬ_{ｒｅｃｏｎ}＝｜Ｒ_Ｉｇ－ＧＴ_Ｉ｜_２ ^２で表される。

図１４は、コンピュータを位相推定器訓練部４２２として機能させるプログラムの制御構造を示すフローチャートである。図１４を参照して、このプログラムは、位相推定器２６０を訓練するための訓練データを訓練データ記憶装置４２０に準備するステップ５００と、訓練の予定実行回数だけステップ５０４を繰り返し実行するステップ５０２と、ステップ５０２の終了後、終了条件が充足されたか否かを判定し、充足されていなければ制御をステップ５０２に戻すステップ５０６と、ステップ５０６で終了条件が充足されていると判定されたときに、そのときの位相推定器２６０のネットワークパラメータを記憶装置に保存するステップ５０８とを含む。

ステップ５０４は、訓練データセットからｍ１サンプルのミニバッチをサンプリングするステップ５１０と、サンプリングされたミニバッチの画像を位相推定器２６０に順次入力し、位相推定器２６０の出力と訓練データの位相のラベル値との誤差Ｌ_ｅｓｔｉを算出し、ミニバッチの各サンプルについてこの誤差Ｌ_ｅｓｔｉを蓄積するステップ５１２と、ステップ５１２でミニバッチのサンプルについて蓄積された誤差Ｌ_ｅｓｔｉを用いた誤差逆伝播法により、位相推定器２６０のパラメータを更新するステップ５１４とを含む。

図１５は、コンピュータを、一歩行周期復元ネットワーク（ＰＡ－ＧＣＲ）２１２の訓練装置として機能させるプログラムの制御構造を示すフローチャートである。ここでの訓練データは、ある人物の歩行画像列及びその中の１枚の画像と、同一人物の他の歩行画像列及びその中の１枚の画像とを一組としたデータからなる。

図１５を参照して、このプログラムは、ＰＡ－ＧＣＲの訓練データを準備するステップ５３０と、訓練の予定実行回数だけ以下のステップ５３４を繰り返し実行するステップ５３２と、ステップ５３２の完了後、終了条件が充足されているか否かを判定し、充足されていなければ制御をステップ５３２に戻すステップ５３６と、ステップ５３６で終了条件が充足されていると判定されたときに、そのときの一歩行周期復元ネットワーク２１２のネットワークパラメータを保存するステップ５３８とを含む。

ステップ５３４は、図１３に示す一歩行周期復元ネットワーク２１２と一歩行周期復元ネットワーク４１８（これらはパラメータを共有する、実質的に同一のネットワークである。）について行われる。以下の説明は一歩行周期復元ネットワーク２１２の各部について行い、一歩行周期復元ネットワーク４１８についての対応する部分はカッコ内に示す。

ステップ５３４は、訓練データセットからｍ２サンプルのミニバッチをサンプリングするステップ５４０と、サンプリングされたミニバッチ内の各サンプルをエンコーダ２６２（エンコーダ４５２）に入力し、位相依存特徴２７２（位相依存特徴４６２）を出力するステップ５４２と、位相推定器２６０（位相推定器４５０）の出力である位相２７０（位相４６０）に基づいて位相依存特徴２７２（位相依存特徴４６２）を変換し、位相非依存特徴２７４（位相非依存特徴４６４）を出力するステップ５４４とを含む。これら各ステップの処理の詳細については後述する。

ステップ５３４はさらに、同一人物に対する位相非依存特徴２７４と位相非依存特徴４６４の誤差Ｌ_ｓｉｍを算出するステップ５４６と、位相非依存特徴２７４（位相非依存特徴４６４）をデコーダ２６６（デコーダ４５６）に入力して復元歩行画像列４１２（復元歩行画像列４１６）を出力し、復元歩行画像列４１２（復元歩行画像列４１６）と訓練データの正解歩行画像列４２４（正解歩行画像列４２８）との誤差Ｌ_{ｒｅｃｏｎ}を算出するステップ５４８と、ステップ５４６で算出された誤差Ｌ_ｓｉｍとステップ５４８で算出された誤差Ｌ_{ｒｅｃｏｎ}との重み付き和を損失関数として、誤差逆伝播法によりエンコーダ２６２、特徴変換器２６４及びデコーダ２６６のパラメータを更新するステップ５５０とを含む。

ステップ５４２、５４４では、正解歩行画像列４２４から１枚の画像を取り出してＰｒｏｂｅ画像４１０として一歩行周期復元ネットワーク２１２に入力する。同様に一歩行周期復元ネットワーク４１８において、一歩行周期復元ネットワーク２１２の訓練データと同一人物の他の訓練データから１枚の画像を取り出してＧａｌｌｅｒｙ画像４１４として一歩行周期復元ネットワーク４１８に入力する。これらに対してステップ５３４の処理で得られた誤差関数を、Ｐｒｏｂｅ画像４１０及びＧａｌｌｅｒｙ画像４１４となる画像を変えながら計算しステップ５４６及びステップ５４８で蓄積する。その値をミニバッチの全サンプルに対して実行し、蓄積された誤差をステップ５５０の誤差逆伝播法によるパラメータの更新で用いる。

図１６は、図７に示す認識ネットワーク２１６を訓練するプログラムの制御構造を示すフローチャートである。図１６を参照して、このプログラムは、認識ネットワーク２１６の訓練データを準備するステップ５７０と、訓練の予定実行回数だけステップ５７４を繰り返し実行するステップ５７２と、ステップ５７２が完了したときに、終了条件が充足されているか否かを判定し、充足されていなければ制御をステップ５７２に戻すステップ５７６と、ステップ５７６で終了条件が充足されていると判定されたときに、そのときの認識ネットワーク２１６のネットワークパラメータを記憶装置に保存してこのプログラムの実行を終了するステップ５７８とを含む。

ステップ５７４は、訓練データセットからｍ３サンプルのミニバッチをサンプリングするステップ５８０と、歩行画像列を認識ネットワーク２１６に入力し、出力される識別的な特徴２１８を元に識別損失Ｌ_ｒｅｇを算出しミニバッチ内で蓄積するステップ５８２と、識別損失Ｌ_ｒｅｇを損失関数とする誤差逆伝播法により、認識ネットワーク２１６のパラメータを更新するステップ５８４とを含む。

図１７は、図７に示す一歩行周期復元ネットワーク２１２及び認識ネットワーク２１６の全体を訓練するプログラムの制御構造を示すフローチャートである。図１７を参照して、このプログラムは、全体訓練の訓練データを準備するステップ８８０と、訓練の予定実行回数だけステップ８８４を繰り返して実行するステップ８８２と、ステップ８８２が完了したときに終了条件が充足されているか否かを判定し、充足されていなければ制御をステップ８８２に戻すステップ８８６と、ステップ８８６で終了条件が充足されていると判定されたときに、そのときの全体のネットワークパラメータを記憶装置に保存してプログラムの実行を終了するステップ８８８とを含む。

ここでの訓練データも、一歩行周期復元ネットワーク２１２のための各人物の歩行画像列及びその中の１枚の単一歩行画像、並びに一歩行周期復元ネットワーク４１８（図１３）のための同じ人物の別の歩行画像列及びその中の１枚の単一歩行画像である。各歩行画像列には、画像内の人物を示すラベルが付されている。２枚の単一歩行画像の位相は同一である必要はない。

ステップ８８４での処理では、図１３に示す一歩行周期復元ネットワーク２１２と一歩行周期復元ネットワーク４１８とに対し、異なるデータを用いて同じ処理を行うことがある。説明を簡明にするため、そうした場合には以下の説明では一歩行周期復元ネットワーク２１２についての処理のみを説明する。また以下の説明では図７又は図１３に示された構成要素に適宜言及する。

ステップ８８４は、訓練データセットからｍ４個のサンプルからなるミニバッチをサンプリングするステップ９００と、サンプリングされたミニバッチの各データについて、単一歩行画像をエンコーダ２６２に入力して位相依存特徴２７２を出力するステップ９０２と、同じ単一歩行画像について位相推定器２６０が出力した位相２７０と位相依存特徴２７２とを特徴変換器２６４に入力し、位相非依存特徴２７４を出力するステップ９０４と、以上のようにして一歩行周期復元ネットワーク２１２及び一歩行周期復元ネットワーク４１８でそれぞれ算出された位相非依存特徴２７４及びＧａｌｌｅｒｙ画像４１４の間の差Ｌ_ｓｉｍを算出するステップ９０６とを含む。

ステップ８８４はさらに、位相非依存特徴２７４をデコーダ２６６に入力して復元歩行画像列４１２を出力し、正解歩行画像列４２４との誤差Ｌ_{ｒｅｃｏｎ}を算出するステップ９０８と、ステップ９０８で出力された復元歩行画像列４１２と正解歩行画像列４２４とをそれぞれ認識ネットワーク２１６（図７）に入力し、認識ネットワーク２１６から出力された識別特徴を元に認識損失Ｌ_ｒｃｇを算出するステップ９１０と、ステップ９０６、９０８及びステップ９１０でそれぞれ算出された誤差Ｌ_ｓｉｍ， Ｌ_{ｒｅｃｏｎ}， Ｌ_ｒｃｇの重み付き和により損失関数の値を算出し、ミニバッチについてのそれらの和を用いた誤差逆伝播法により全体ネットワークのパラメータを更新するステップ９１２とを含む。

本人認証では、図１２に示す構成のうち、Ｐｒｏｂｅ画像４１０、一歩行周期復元ネットワーク２１２、復元歩行画像列４１２及び認識ネットワーク２１６の系列と、Ｇａｌｌｅｒｙ画像４１４、一歩行周期復元ネットワーク４１８、復元歩行画像列４１６及び認識ネットワーク４３６の系列を用いる。ただし一歩行周期復元ネットワーク４１８及び認識ネットワーク４３６は一歩行周期復元ネットワーク２１２及び認識ネットワーク２１６と同一である。Ｐｒｏｂｅ画像４１０は認証対象となる人物の単一歩行画像である。Ｇａｌｌｅｒｙ画像４１４は、認証対象となる人物と比較される人物の、予め準備（登録）された単一歩行画像である。

図１８を参照して、本人認証を行うプログラムは、本人認証のテストデータ対（図１２に示すＰｒｏｂｅ画像４１０とＧａｌｌｅｒｙ画像４１４）を準備するステップ６２０と、一歩行周期復元ネットワーク２１２（一歩行周期復元ネットワーク４１８）及び認識ネットワーク２１６（認識ネットワーク４３６）のネットワークパラメータを読み込むステップ６２２と、テストデータ対の単一歩行画像の各々を一歩行周期復元ネットワーク２１２のエンコーダ２６２（図１３）及び一歩行周期復元ネットワーク４１８のエンコーダ４５２に入力し、それぞれ位相依存特徴２７２及び４６２を算出するステップ６２４と、Ｐｒｏｂｅ画像４１０及びＧａｌｌｅｒｙ画像４１４に対して位相推定器２６０及び４５０がそれぞれ出力する位相２７０及び４６０と、Ｐｒｏｂｅ画像４１０及びＧａｌｌｅｒｙ画像４１４に対してそれぞれ得られた位相依存特徴２７２及び４６２を位相２７０及び４６０を用いて位相非依存特徴２７４及び４６４に変換するステップ６２６とを含む。

このプログラムはさらに、位相非依存特徴２７４をデコーダ２６６に、位相非依存特徴４６４をデコーダ４５６に、それぞれ入力し、復元歩行画像列４１２及び４１６を出力するステップ６２８と、復元歩行画像列４１２及び４１６を図１２に示す認識ネットワーク２１６及び４３６に入力し、それぞれ識別特徴を出力するステップ６３０と、これらの識別特徴の差を算出するステップ６３２と、この識別特徴の差の絶対値が所定のしきい値以下か否かを判定し、判定結果にしたがって制御の流れを分岐させるステップ６３４と、ステップ６３４の判定が肯定のときに、Ｐｒｏｂｅ画像４１０とＧａｌｌｅｒｙ画像４１４とが同一人物の画像であると判定してプログラムの実行を終了するステップ６３６と、ステップ６３４の判定が否定のときに、これらが他人の画像であると判定してプログラムの実行を終了するステップ６３８とを含む。すなわち、ステップ６３４の判定が肯定ならＰｒｏｂｅ画像４１０により表される人物の本人認証に成功したことになる。

《動作》
〈本人認証の訓練〉
図１２を参照して、最初に位相推定器訓練部４２２が訓練データ記憶装置４２０に記憶された訓練データを用いて図１４に示すプログラムにより位相推定器２６０の訓練を行う。次に本人認証システム４００が、予め準備された訓練データを用いて図１５に示すプログラムにより一歩行周期復元ネットワーク２１２の訓練を行う。さらに本人認証システム４００が、予め準備された訓練データを用いて図１６に示すプログラムにより正解歩行画像列４２４の訓練を行う。

次に、全体訓練のための訓練データを用いて、図１７に示すプログラムにより一歩行周期復元ネットワーク２１２及び正解歩行画像列４２４を含む全体の訓練を行う。各プログラムの終了条件としては、例えば各プログラムでの繰り返し処理を、さらに規定のエポック数だけ繰り返したときという条件を用いる。

本人認証の訓練時の各構成要素の動作は、実質的に上記構成の説明の繰り返しになるのでここでは繰り返さない。

〈本人認証〉
本人認証の際の本人認証システム４００の動作は、実質的に図１８に示すプログラムの構造についての説明の繰り返しになるのでここでは繰り返さない。

〈第１実施形態の効果〉
図１９に、上記第１実施形態を用いて単一歩行画像から１歩行周期の画像を復元した結果を示す。なお、この復元に用いたデータの詳細については後述する。

図１９を参照して、入力Ｐｒｏｂｅと入力Ｇａｌｌｅｒｙとは図示したとおりである。入力Ｐｒｏｂｅを含む１歩行周期の正解画像列を図１９（Ａ）に、入力Ｇａｌｌｅｒｙを含む１歩行周期の正解画像列を図１９（Ｂ）に、それぞれ示す。入力Ｐｒｏｂｅから上記した一歩行周期復元ネットワーク２１２を用いて復元した歩行周期画像列を図１９（Ｃ）に、入力Ｇａｌｌｅｒｙから復元した歩行周期画像列を図１９（Ｄ）に、それぞれ示す。

この結果から分かるように、単一の入力Ｐｒｏｂｅ画像から復元した歩行周期画像列も、同様に単一のＧａｌｌｅｒｙ画像から復元した歩行周期画像列も、ともにそれぞれの正解画像とよく似ている。したがって、単一歩行画像から歩行周期画像列が高い精度で復元されていることが分かる。入力Ｐｒｏｂｅ画像と照合対象となったＧａｌｌｅｒｙ画像とが、歩行周期の異なる位相のものであるにもかかわらずこうした結果が得られた。したがって、この結果から、単一の歩行画像から１歩行周期の画像列が、入力画像と比較対照の画像の位相と関係なく高い精度で得られることが分かる。

図１９においてＰｒｏｂｅ画像とＧａｌｌｅｒｙ画像の正解画像列同士の画像を歩行画像列（ａ）（ｂ）の組み合わせ６５０で示す。これら正解画像列同士の画像としての平均二乗Ｌ２距離（参照符号６５０）は１．５２ｅ＋０６である。歩行画像列（ａ）（ｃ）の組み合わせ６５２で示す、入力Ｐｒｏｂｅ画像から再現した歩行周期画像列とＰｒｏｂｅ画像の正解画像列との間の再現誤差は５．４０ｅ＋０２である。また歩行画像列（ｂ）（ｄ）の組み合わせ６５６で示す、入力Ｇａｌｌｅｒｙ画像から再現した歩行周期画像列とＧａｌｌｅｒｙ画像の正解画像列との再現誤差は４．８７ｅ＋０２である。歩行画像列（ｃ）（ｄ）の組み合わせ６５４で示す、復元した画像列同士の平均二乗Ｌ２距離は１．５５ｅ＋０５である。

これら結果から、復元した画像列と正解画像列との間の誤差がＰｒｏｂｅ画像の正解画像列とＧａｌｌｅｒｙ画像の正解画像列との間の距離よりも小さいという事実が分かる。またＰｒｏｂｅ画像からの復元歩行画像列とＧａｌｌｅｒｙ画像からの復元歩行画像列との間の距離も同様に正解画像列同士の間の距離よりも小さいことが分かる。したがって、上記した第１実施形態により十分に高い精度で本人認証を行うことができる。

図２０に、一歩行周期復元ネットワーク２１２を用いて同一人物の異なる３つの位相の単一歩行画像６７０、６７２及び６７４から復元した復元歩行画像列６８０、６８２及び６８４と、正解の正解歩行画像列６８６とを示す。単一歩行画像６７０、６７２及び６７４はいずれも単一歩行画像である。それに対し、図示はしていないが復元歩行画像列６８０、６８２、６８４及び正解歩行画像列６８６はいずれも１歩行周期を２５個に分割した各位相の画像である。図２０にはそのうち互いに同じ位相の画像を示す。

図２０から分かるように、異なる位相の単一歩行画像から復元した復元歩行画像列６８０、６８２及び６８４は互いによく似ており、さらにいずれも正解歩行画像列６８６とも類似している。すなわち、上記した第１実施形態の説明に記載した訓練方法で訓練した一歩行周期復元ネットワーク２１２によれば、単一の歩行画像から、１歩行周期の画像全体を高い精度で復元できることが分かる。このように復元された１歩行周期の画像全体を認識ネットワーク２１６に入力することで、短時間で得られた少ない画像でも人物を認証するための特徴を抽出できる。

＜第２実施形態＞
第２実施形態は、第１実施形態と同様の構成を持つ一歩行周期復元ネットワーク２１２を個人識別に用いる場合の例である。

《構成》
図２１を参照して、第２実施形態に係る個人識別装置６９０は、第１実施形態と異なり、ネットワークパラメータを共通にする３つの系列を持つ。第１の系列はＰｒｏｂｅ画像７００を受けて復元歩行画像列４１２を出力する一歩行周期復元ネットワーク２１２と、復元歩行画像列４１２から識別特徴を出力する識別ネットワーク６０４とを含む。第２の系列は、Ｇｅｎｕｉｎｅ画像７０２から復元歩行画像列４１６を出力する一歩行周期復元ネットワーク４１８と、復元歩行画像列４１６からその識別特徴を出力する識別ネットワーク６０６とを含む。第３の系列は、Ｉｍｐｏｓｔｅｒ画像７０４から復元歩行画像列７０８を出力する一歩行周期復元ネットワーク７０６と、復元歩行画像列７０８から識別特徴を出力する認識ネットワーク７１２とを含む。

なお、Ｇｅｎｕｉｎｅ画像とは、Ｐｒｏｂｅ画像と同一人物の、予め登録されている歩行画像列の１枚である。Ｉｍｐｏｓｔｅｒ画像とは、Ｐｒｏｂｅ画像とは別人物の、予め登録されている歩行画像列の１枚である。

個人識別装置６９０の訓練時、一歩行周期復元ネットワーク２１２と一歩行周期復元ネットワーク４１８の間では、第１実施形態と同様に位相非依存特徴の差Ｌ_ｓｉｍが算出される。復元歩行画像列４１２と正解歩行画像列４２４、復元歩行画像列４１６と正解歩行画像列４２８との間でもそれぞれ損失関数６１０及び６１２（Ｌ_{ｒｅｃｏｎ}）が算出される。復元歩行画像列７０８と、Ｉｍｐｏｓｔｅｒ画像７０４を含む正解歩行画像列７１０との間の損失関数７１４も算出される。識別ネットワーク６０４、６０６及び７１２の出力する識別的な特徴の間で定義される損失関数７１６（Ｌ_ｔｒｉｐ）も算出される。Ｌ_ｔｒｉｐについては後述する。

個人識別装置６９０の訓練のうち、一歩行周期復元ネットワーク２１２及び識別ネットワーク６０４の訓練は第１実施形態と同様である。個人識別装置６９０の全体訓練では、上記した誤差から定義される損失関数を用いた誤差逆伝播法によりネットワーク全体のパラメータの訓練が行われる。

識別ネットワーク６０４と識別ネットワーク６０６とは同じ人物の画像に関するものである。したがって、損失関数７１６の算出時にはその差の絶対値（これをＤ１とする。）が損失として用いられ、これを小さくするようパラメータが更新される。一方、認識ネットワーク７１２の出力は、識別ネットワーク６０４とは異なる人物のものである。したがって、損失関数７１６の算出時にはその差の絶対値（これをＤ２とする。）にマイナス符号をつけたものが損失として用いられ、この値を小さくするようパラメータが更新される。例えば、ある対象となる人物のあるサンプルについての誤差Ｌ_ｔｒｉｐをｍａｘ（マージン＋Ｄ１－Ｄ２、０）とする。この誤差Ｌ_ｔｒｉｐをミニバッチに含まれる全ての人物の全てのサンプルについて加算したものを他の損失に加算して損失関数とし、誤差逆伝播法を適用する。このように損失関数を定義することで、同じ人物の画像の誤差が、異なる人物の画像の誤差より相対的に小さくなるように、ネットワークの学習が行われる。

個人識別装置６９０の訓練の流れについては、損失関数の計算が異なるだけで全体の流れは第１実施形態と同様である。したがってここではその詳細は繰り返さない。

個人識別装置６９０による個人識別では、図２１に示す第１の系列と第２の系列とを使用する。第３の系列は使用しない。

図２２は、コンピュータを第２実施形態の個人識別装置６９０として機能させるプログラムの制御構造を示すフローチャートである。図２２を参照して、このプログラムは、個人識別の入力データを準備するステップ７３０と、個人識別のために予め準備されている、各個人の照合用の歩行画像列からなる登録データセットを準備するステップ７３２とを含む。個人識別は、入力画像が表す人物が、登録されている歩行画像列の人物のいずれであるかを識別するためのものである。

このプログラムはさらに、図２１に示す一歩行周期復元ネットワーク２１２及び識別ネットワーク６０４のネットワークパラメータを記憶装置から読み出して各ニューラルネットワークを初期化するステップ７３４と、入力データの単一歩行画像をエンコーダ２６２（図１３）に入力し位相依存特徴２７２を出力するステップ７３６と、位相推定器２６０の出力する位相２７０に基づいて、位相依存特徴２７２を位相非依存特徴２７４に変換するステップ７３８と、ステップ７３８で出力された位相非依存特徴をデコーダ２６６に入力し、一歩行周期の復元歩行画像列４１２を出力するステップ７４０と、このようにして得られた一歩行周期の復元歩行画像列４１２を識別ネットワーク６０４に入力し、識別特徴を出力するステップ７４２とを含む。

このプログラムはさらに、登録データの単一歩行画像をエンコーダ４５２に入力しその出力に位相依存特徴４６２を得るステップ７４４と、位相推定器４５０の出力する位相４６０とステップ７４４で出力された位相依存特徴４６２とを特徴変換器４５４に入力し、その出力に位相非依存特徴４６４を得るステップ７４６と、ステップ７４６で出力された位相非依存特徴４６４をデコーダ４５６に入力し、一歩行周期の復元歩行画像列４１６を出力するステップ７４８と、ステップ７４８で出力された復元歩行画像列４１６を識別ネットワーク６０６（図２１）に入力し、その出力に識別特徴を得るステップ７５０とを含む。

このプログラムはさらに、ステップ７４２で出力された識別特徴とステップ７５０で出力された識別特徴との差を算出し昇順にソートするステップ７３２と、ステップ７３２で得られたリストを登録ランクリストとして出力しプログラムの実行を終了するステップ７５４とを含む。この実施形態では、ステップ７５２で算出される差は、識別特徴を構成するベクトルの二乗Ｌ２距離である。入力画像の人物は、このリストの先頭にある識別特徴の差、すなわち最小の識別特徴の差を与えた登録データの人物であると識別される。

《動作》
この第２実施形態に係る個人識別装置６９０の訓練時の動作は、実質的に構成の説明の繰り返しになるため、ここでは繰り返さない。テスト時（識別時）の個人識別装置６９０の動作も同様、図２２の説明の繰り返しになるため、ここでは繰り返さない。

この第２実施形態によれば、一歩行周期復元ネットワーク２１２を用いて、単一の歩行画像から復元歩行画像列４１２、４１６等を高い精度で復元できる。識別を行うための識別ネットワーク６０４及び識別ネットワーク６０６としては、既存のものをそのまま流用できる。その結果、単一の歩行画像から、その人物が予め歩行データの登録された人物のうちのいずれであるかを高い精度で識別できる。

＜第３実施形態＞
上記した第１実施形態及び第２実施形態のいずれでも一歩行周期復元ネットワーク２１２が復元した一歩行周期画像を認証及び識別に用いている。しかし、例えば図１３を見ると、デコーダ２６６は位相非依存特徴２７４に基づいて復元歩行画像列４１２を復元している。したがって、適切に訓練した一歩行周期復元ネットワーク２１２により単一歩行画像から得られた位相非依存特徴２７４は、復元歩行画像列４１２を復元するために十分な情報というだけではなく、画像の人物を特定するに十分な情報を保持しているはずである。そこで、この第３実施形態では、位相非依存特徴２７４を直接に識別ネットワークに入力して識別特徴を得て、歩容による本人認証又は個人識別を行う。

《構成》
図２３に、第３実施形態に係る一歩行周期復元ネットワーク２１２の訓練を行うための訓練システム７７０の構成を示す。訓練システム７７０は、第１実施形態の図１３に示すものと類似した構成を持つ。より具体的には、訓練システム７７０は、図１３に示すものと同様の構成である一歩行周期復元ネットワーク２１２及び４１８と、誤差算出部４２６及び４３０とを含む。一歩行周期復元ネットワーク２１２には認証対象となる人物のＰｒｏｂｅ画像７８０が入力される。一歩行周期復元ネットワーク４１８には照合対象となる人物の、予め登録されたＧａｌｌｅｒｙ画像７８２が入力される。

訓練システム７７０はさらに、一歩行周期復元ネットワーク２１２の特徴変換器２６４が出力する位相非依存特徴２７４を受けて識別的な特徴を出力する識別ネットワーク７８４と、一歩行周期復元ネットワーク４１８の特徴変換器４５４が出力する位相非依存特徴４６４を受けて識別的な特徴を出力する識別ネットワーク７８６と、誤差算出部４２６及び４３０が出力する誤差と識別ネットワーク７８４及び識別ネットワーク７８６の出力の差との重み付き和により定義される損失関数を最小化するよう、一歩行周期復元ネットワーク２１２及び識別ネットワーク７８４のネットワークパラメータを更新する一歩行周期復元ネットワーク訓練部７９２とを含む。

この第３実施形態に係る一歩行周期復元ネットワーク２１２を用いて本人認証を行う本人認証装置８００の構成を図２４に示す。図２４を参照して、本人認証装置８００は、図２３の誤差算出部４２６、４３０及び一歩行周期復元ネットワーク訓練部７９２に代えて、識別ネットワーク７８４及び識別ネットワーク７８６の出力を受けて、その差が所定のしきい値以内であればＰｒｏｂｅ画像７８０の表す人物がＧａｌｌｅｒｙ画像７８２の表す人物と同一であるとしてこの人物を認証し、さもなければ認証を拒否する処理を行う判定部８０２を含む。

《動作》
図２３を参照して、位相推定器２６０及び一歩行周期復元ネットワーク２１２の訓練は第１実施形態と同様に実施される。識別ネットワーク７８４については独立した訓練を行わず、訓練システム７７０の全体で訓練を行う。この訓練のときの訓練システム７７０の動作は、上記した構成で説明したことで実質的に示されている。したがって、説明を簡明にするために個々では繰り返さない。

テスト時には、図２４に示す本人認証装置８００が使用される。本人認証装置８００の動作も、識別ネットワーク７８４、７８６及び判定部８０２について上記した説明から明らかであるのでここでは繰り返さない。

＜実施形態の効果＞
上記第１実施形態の効果を確認するために、大規模公開歩行映像データベースを用いて第１実施形態の精度を評価した。使用したデータベースは以下のとおりである。
OU-MVLP: The OU-ISIR Gait Database, Multi-View Large Population Dataset。入手先はhttp://www.am.sanken.osaka-u.ac.jp/BiometricDB/GaitMVLP.html。被験者数は１０，３０７名。
CASIA-B: CASIA Gait Database, Dataset B。入手先はhttp://www.cbsr.ia.ac.cn/english/Gait%20Databases.asp。被験者数は１２４名。
OUTD-D: The OU-ISIR Gait Database, Treadmill Dataset D。入手先はhttp://www.am.sanken.osaka-u.ac.jp/BiometricDB/GaitTM.html。被験者は１８５名。

訓練では以下の条件を使用した。
・最適化アルゴリズム： Ａｄａｍ
・バッチサイズ： ８人の人物 × １人当たり１６サンプル
・Ｔｒｉｐｌｅｔ損失のｍａｒｇｉｎ： ０．２
・各損失関数の重み
・Ｌ_ｓｉｍ： ０．０００５
・Ｌ_{ｒｅｃｏｎ}： １
・Ｌ_ｔｒｉｐ： １

・訓練時の学習率と繰り返し数は以下のとおりである。なおこの表中で「ＧａｉｔＳｅｔ」は識別ネットワークとして使用したものを表し、「ＰＡ－ＧＣＲ」又は「ＰＡ－ＧＣＲＮｅｔ」は一歩行周期復元ネットワーク（実施形態の一歩行周期復元ネットワーク２１２）を表す。また、以下の実験で本人認証に用いたネットワークは、第２実施形態の個人識別のためのネットワークとして訓練したものである。

位相推定器２６０の訓練にはＯＵ－ＭＶＬＰを利用した。その内容は以下のとおり
・入力：様々な位相の単一歩行画像
・ラベル：位相
・データ数：５，１５３名の歩行画像（６４×６４画素）

一歩行周期復元ネットワーク２１２の事前学習に使用した訓練データの概略は以下のとおり
・入力：様々な位相の単一歩行画像（６４×６４画素）
・ラベル：一周期の歩行画像列（２５枚×６４×６４画素）、被験者ＩＤ
・データ数
・ＯＵ－ＭＶＬＰ：５，１５３名の２セッション分（被験者によっては１セッション分）
・ＣＡＳＩＡ－Ｂ：２４名の６セッション分
・ＯＵＴＤ－Ｄ：８５名の２セッション分

識別ネットワーク（ＧａｉｔＳｅｔ）の事前学習に利用したデータの内容は以下のとおり
・入力：歩行画像列からランダムに選択した画像（３０枚×６４×６４画素）
・ラベル：被験者ＩＤ
・データ数：一歩行周期復元ネットワーク２１２の事前学習と同じ
全体ネットワークの訓練に利用したデータの内容は以下のとおり
・入力：様々な位相の単一歩行画像（６４画素×６４画素）
・ラベル：一周期の歩行画像列（２５枚×６４×６４画素）、被験者ＩＤ
・データ数：一歩行周期復元ネットワーク２１２及び識別ネットワークの事前学習と同じ

テストに利用したデータの内容は以下のとおりである。
・入力：様々な位相の単一歩行画像（６４画素×６４画素）
・ラベル：一周期の歩行画像列（２５枚×６４×６４画素）、被験者ＩＤ
・データ数
・ＯＵ－ＭＶＬＰ：５，１５４名の２セッション分（被験者によっては１セッション分）
・各セッションを登録と入力に割り当て
・ＣＡＳＩＡ－Ｂ：１００名の６セッション分
・登録：１セッション目
・入力：２－６セッション目
・ＯＵＴＤ－Ｄ：８５名の２セッション分
・各セッションを登録と入力に割り当て

以下の実験における精度評価には、Ｒａｎｋ－１とＥＥＲ（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ）とを使用した。これらの定義は以下のとおりである。
Ｒａｎｋ－１：登録人物群に対して、入力された人物がだれであるかを識別する問題（個人識別）の正解率（登録数は約５，０００人）
ＥＥＲ［％］：入力ペアに対する本人認証問題における、他人受け入れ誤り率（他人を誤って本人として認証してしまう確率）と、本人拒否誤り率（本人を誤って他人として拒否してしまう確率）とが等しい値となる誤り率

《実験１》
図２５に実験１の結果を示す。図２５において、「ＤＭ」は単に画像間の類似度に基づいて判定を行った結果を示す。「ＧａｉｔＳｅｔ」は特許文献１に記載の方法を用いた場合の結果を示す。「ＰＡ－ＧＣＲＮｅｔ」は上記第１実施形態（本人認証）及び第２実施形態（個人識別）を用いた場合の結果を示す。これらは後述の実験２及び実験３でも同様である。なお、特許文献１（非特許文献１）に記載の方法を実装するためのプログラムは公開されており、以下の実験ではそれらプログラムを用いて本発明の発明者が実装したものを用いた。

図２５を参照して、Ｒａｎｋ－１では、参照符号８１０で示すとおり、非特許文献１に記載の方法の結果は１４．０であった。それに対して参照符号８１２で示すとおり、上記実施形態での結果は８０．３である。両者を比較すると、上記実施形態はＲａｎｋ－１で約５．５倍（１４．０→８０．３）の精度を示している。

ＥＥＲについては、参照符号８１４及び参照符号８１６で示すとおり、上記実施形態によれば非特許文献１の結果に対して約１／１５（１９．６→１．３）の低減を示している。したがって上記実施形態に係るＰＡ－ＧＣＡＮｅｔが非特許文献１に記載の方法と比較して非常に高い精度を示すことが分かる。

《実験２》
図２６に実験２の結果を示す。この表においてＰＡ－ＧＣＲＮｅｔ（ｓｃｒａｔｃｈ）、ＰＡ－ＧＣＲＮｅｔ（ｃｒｏｓｓ－ｄａｔａｓｅｔ）、及びＰＡ－ＧＣＲＮｅｔ（ｆｉｎｅ－ｔｕｎｅ）の意味はそれぞれ以下のとおりである。
・ＰＡ－ＧＣＲＮｅｔ（ｓｃｒａｔｃｈ）：ＣＡＳＩＡ－Ｂのうち２４人の人物の訓練データのみを用いてＰＡ－ＧＣＲＮｅｔの訓練をしたもの。
・ＰＡ－ＧＣＲＮｅｔ（ｃｒｏｓｓ－ｄａｔａｓｅｔ）：ＯＵ－ＭＶＬＰを用いてＰＡ－ＧＣＲＮｅｔを訓練したものについて、ＣＡＳＩＡ－Ｂのデータを用いてテスト。これはＰＡ－ＧＣＲＮｅｔの汎化性能を確認するためである。
・ＰＡ－ＧＣＲＮｅｔ（ｆｉｎｅ－ｔｕｎｅ）：ＯＵ－ＭＶＬＰを用いて訓練したＰＡ－ＧＣＲＮｅｔをＣＡＳＩＡ－Ｂによりファインチューニングしたもの。

図２６にはさらにＩＴＣＮｅｔによる結果も示した。ＩＴＣＮｅｔは以下の参考文献１で報告されている手法である。
［参考文献１］ Babaee, M., Li, L., Rigoll, G.: Person identification from partial gait cycle using fully convolutional neural networks. Neurocomputing 338, 116-125 (2019)

なお、他の手法が入力画像として単一歩行画像を用いるのと異なり、ＩＴＣＮｅｔはＰｒｏｂｅ画像とＧａｌｌｅｒｙ画像の双方について１４フレームの画像を用い、両者を融合することで結果を得る手法である。

図２６を参照して、ＰＡ－ＣＧＲＮｅｔ（ｓｃｒａｔｃｈ）は訓練データセットのデータ量が少ないことに起因して、Ｒａｎｋ－１及びＥＥＲの双方においてそれほど高い性能を示していない。しかしそれでもＰＡ－ＧＣＲＮｅｔ（ｓｃｒａｔｃｈ）はいずれについても特許文献１に記載のＧａｉｔＳｅｔよりは高い性能を示していることが分かる。

ＰＡ－ＧＣＲＮｅｔ（ｃｒｏｓｓ－ｄａｔａｓｅｔ）とＰＡ－ＧＣＲＮｅｔ（ｆｉｎｅ－ｔｕｎｅ）とを比較すると、参照符号８２０及び参照符号８２２で示すとおり、Ｒａｎｋ－１では両者はいずれも７４．７という非常に高い値を示しており、この値は他のどの手法よりも高い。またＥＥＲでも参照符号８２４及び参照符号８２６で示すとおり、両者は他のどの手法と比較しても低い誤り率を示していることが分かる。特にＰＡ－ＧＣＲＮｅｔ（ｃｒｏｓｓ－ｄａｔａｓｅｔ）によるＥＥＲ（参照符号８２６）の値は９．９と、ＰＡ－ＧＣＲＮｅｔ（ｆｉｎｅ－ｔｕｎｅ）によるＥＥＲ（参照符号８２４）の値（８．１）よりわずかに低いだけである。すなわち、ＯＵ－ＭＬＶＰで訓練しただけでファインチューニングしていないＰＡ－ＧＣＲＮｅｔを用いてＣＡＳＩＡ－Ｂのデータについてテストをしても十分に高い性能が得られ、ＰＡ－ＧＣＲＮｅｔの汎化性能が高いことが分かる。

《実験３》
図２７に、データセットＯＵＴＤ－Ｄ及びＯＵ－ＭＶＬＰの組み合わせを用いてＰＡ－ＧＣＲＮｅｔの性能を検証した結果を示す。図２７の参照符号８４０で示す４行のうち、「ＮｏＴＳＲ」及び「Ｕｎｉｆｉｅｄ ＴＳＲ」は下記の参考文献２に、「Ｍｏｒｐｈ」は参考文献３に、「ＴＳＲ」は参考文献４に、それぞれ記載された手法を用いて得た結果を示す。これら４行の手法は、各画像列について同時に６フレームの画像を用いる点で上記各実施形態とは異なる。

［参考文献２］ Akae, N., Mansur, A., Makihara, Y., Yagi, Y.: Video from nearly still: an application to low frame-rate gait recognition. In: Proceedings of the 25th IEEE Conf. on Computer Vision and Pattern Recognition (CVPR2012). pp. 1537-1543. Providence, RI, USA (Jun 2012)
［参考文献３］ Al-Huseiny, M.S., Mahmoodi, S., Nixon, M.S.: Gait learning-based regenerative model: A level set approach. In: The 20th International Conference on Pattern Recognition. pp. 2644-2647. Istanbul, Turkey (Aug 2010)
［参考文献４］ Akae, N., Makihara, Y., Yagi, Y.: Gait recognition using periodic temporal super resolution for low frame-rate videos. In: Proceedings of the International Joint Conference on Biometrics (IJCB2011). pp. 1-7. Washington D.C., USA (Oct 2011)

この表においてＰＡ－ＧＣＲＮｅｔ（ｓｃｒａｔｃｈ）、ＰＡ－ＧＣＲＮｅｔ（ｃｒｏｓｓ－ｄａｔａｓｅｔ）、及びＰＡ－ＧＣＲＮｅｔ（ｆｉｎｅ－ｔｕｎｅ）の意味はそれぞれ以下のとおりである。
・ＰＡ－ＧＣＲＮｅｔ（ｓｃｒａｔｃｈ）：ＯＵＴＤ－Ｄの訓練データを用いてＰＡ－ＧＣＲＮｅｔの訓練をしたもの。
・ＰＡ－ＧＣＲＮｅｔ（ｃｒｏｓｓ－ｄａｔａｓｅｔ）：ＯＵ－ＭＶＬＰを用いてＰＡ－ＧＣＲＮｅｔを訓練したものについて、ＯＵＴＤ－Ｄのデータを用いてテスト。
・ＰＡ－ＧＣＲＮｅｔ（ｆｉｎｅ－ｔｕｎｅ）：ＯＵ－ＭＶＬＰを用いて訓練したＰＡ－ＧＣＲＮｅｔをＯＵＴＤ－Ｄによりファインチューニングしたもの。

図２７から、ＰＡ－ＧＣＲＮｅｔ（ｓｃｒａｔｃｈ）も含めて本発明の実施形態に係るＰＡ－ＧＣＲＮｅｔによれば、単一の画像を用いる他のどの手法よりも高い精度が得られる事が分かる。参照符号８５０及び参照符号８５４により示されるように、ＰＡ－ＧＣＲＮｅが十分な汎化性能を持つことが分かる。ＰＡ－ＧＣＲＮｅｔ（ｆｉｎｅ－ｔｕｎｅ）の場合には参照符号８５２及び参照符号８５６に示すようにさらに高い性能を示す。これらの値は、低フレームレート（各画像列について１より多い画像を使用）の手法で最も高い性能を示すＵｎｉｆｉｅｄ ＴＳＲ以上の性能を示すものとなっている。

以上から、本発明に係る一歩行周期復元ネットワークは、単一の歩行画像を入力として用いるにもかかわらず、高い精度で一周期の歩行画像を復元できることが分かる。その結果、この復元画像を用いて既存の歩容認証の手法を用いることで本人認証及び個人識別のいずれについても高い精度で行える。このことからまた、一周期の歩行画像を復元せず、位相非依存特徴を使用した場合についても同様に高い性能を示すであろうことが予測できる。

＜コンピュータによる実現＞
図２８は、上記各実施形態に係る歩容認証装置２００、一歩行周期復元ネットワーク２１２、認識ネットワーク２１６、歩容認証システム２４０、前処理部２５２、本人認証システム４００、個人識別装置６９０、訓練システム７７０、本人認証装置８００等を実現するコンピュータシステム９５０の外観図である。図２９は、図２８に示すコンピュータシステム９５０のハードウェアブロック図である。

図２８を参照して、このコンピュータシステム９５０は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１００２を有するコンピュータ９７０と、いずれもコンピュータ９７０に接続された、ユーザと対話するためのキーボード９７４、マウス９７６、及びモニタ９７２とを含む。もちろんこれはユーザ対話のための構成の一例であって、ユーザ対話に利用できる一般のハードウェア及びソフトウェア（例えばタッチパネル、音声入力、ポインティングデバイス一般）であればどのようなものも利用できる。

図２９を参照して、コンピュータ９７０は、ＤＶＤドライブ１００２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９９０と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９９２と、ＣＰＵ９９０、ＧＰＵ９９２、ＤＶＤドライブ１００２に接続されたバス１０１０と、バス１０１０に接続され、コンピュータ９７０のブートアッププログラム等を記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）９９６と、バス１０１０に接続され、プログラムを構成する命令、システムプログラム、及び作業データ等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９９８と、バス１０１０に接続された不揮発性メモリであるハードディスクドライブ１０００とを含む。

ハードディスクドライブ１０００は、ＣＰＵ９９０及びＧＰＵ９９２が実行するプログラム、ＣＰＵ９９０及びＧＰＵ９９２が実行するプログラムが使用するデータ等を記憶するためのものである。コンピュータ９７０はさらに、他端末との通信を可能とするネットワーク９８６への接続を提供するネットワークンターフェイス１００８と、半導体メモリ９８４が着脱可能で、半導体メモリ９８４とコンピュータ９７０内の各部との通信を提供する半導体メモリポート１００６と、カメラ等の外部装置との間でデータの入出力を行うための入出力インターフェイス１００４とを含む。

上記実施形態では、図７から図１２、図２０、図２１、図２３及び図２４等に記載されたデータ及びパラメータ等は、いずれも例えば図２９に示すハードディスクドライブ１０００、ＲＡＭ９９８、ＤＶＤ９７８、半導体メモリ９８４、若しくはネットワークンターフェイス１００８及びネットワーク９８６又は入出力インターフェイス１００４を介して接続された図示しない外部装置の記憶媒体等、非一時的記憶媒体に格納される。典型的には、これらのデータ及びパラメータ等は、例えば外部からハードディスクドライブ１０００に書き込まれ、コンピュータ９７０の実行時には必要に応じＲＡＭ９９８にロードされる。

このコンピュータシステム９５０を図６に示す歩容認証装置２００、図７に示す前処理部２５２、歩容認証システム２４０及び認識ネットワーク２１６、図１２及び図１３に示す本人認証システム４００、図２１に示す個人識別装置６９０、図２３に示す訓練システム７７０、並びに図２４に示す判定部８０２並びにそれらの各構成要素の機能を実現するよう動作させるためのプログラム、ニューラルネットワークのネットワークパラメータ及びアルゴリズムを実現するプログラム、図１４から図１８並びに図２２に制御構造を示すプログラム等は、ＤＶＤドライブ１００２に装着されるＤＶＤ９７８に記憶され、ＤＶＤドライブ１００２からハードディスクドライブ１０００に転送される。又は、これらのプログラム及びパラメータは半導体メモリ９８４に記憶され、半導体メモリ９８４を半導体メモリポート１００６に装着し、プログラム及びパラメータをハードディスクドライブ１０００に転送する。又は、これらのプログラム及びパラメータはネットワーク９８６を通じてコンピュータ９７０に送信されハードディスクドライブ１０００に記憶されてもよい。いずれにせよ、プログラム及びパラメータはコンピュータ読み取り可能な非一時的記憶媒体に記憶される。プログラム及びパラメータはプログラムの実行のときにＲＡＭ９９８にロードされる。もちろん、キーボード９７４、モニタ９７２及びマウス９７６を用いてソースプログラムを入力し、コンパイルした後のオブジェクトプログラムをハードディスクドライブ１０００に格納してもよい。スクリプト言語の場合には、キーボード９７４等を用いて入力したスクリプトをハードディスクドライブ１０００に格納してもよい。仮想マシン上で動作するプログラムの場合には、仮想マシンとして機能するプログラムを予めコンピュータ９７０にインストールしておく必要がある。

ＣＰＵ９９０は、その内部のプログラムカウンタと呼ばれるレジスタ（図示せず）により示されるアドレスにしたがってＲＡＭ９９８からプログラムを読み出して命令を解釈し、命令の実行に必要なデータを命令及びデータにより指定されるアドレスにしたがってＲＡＭ９９８、ハードディスクドライブ１０００又はそれ以外の機器から読み出して命令により指定される処理を実行する。ＣＰＵ９９０は、実行結果のデータを、ＲＡＭ９９８、ハードディスクドライブ１０００、ＣＰＵ９９０内のレジスタ等、プログラム及びデータにより指定されるアドレスに格納する。このとき、プログラムカウンタの値もプログラムのロジックによって更新される。プログラムは、ＤＶＤ９７８から、半導体メモリ９８４から、又はネットワーク９８６を介して、ＲＡＭ９９８に直接にロードしてもよい。なお、ＣＰＵ９９０が実行するプログラムの中で、一部のタスク（主として数値計算）については、プログラムに含まれる命令により、又はＣＰＵ９９０による命令実行時の解析結果にしたがって、ＧＰＵ９９２にディスパッチされ、その結果又はその格納アドレスがＣＰＵ９９０に通知される。

コンピュータ９７０により上記した各実施形態に係る各部の機能を実現するプログラムは、それら機能を実現するようコンピュータ９７０を動作させるように記述され配列された複数の命令を含む。この命令を実行するのに必要な基本的機能のいくつかは、コンピュータ９７０上で動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又はコンピュータ９７０にインストールされる各種ツールキットのモジュールにより、プログラムの実行時に動的に当該プログラムにリンクされ実行される。したがって、このプログラムはこの実施形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方で適切な機能又は「プログラミング・ツール・キット」の機能に静的に、又は実行時に動的に、リンクすることにより、上記した各装置及びその構成要素としての動作を実行する命令のみを含んでいればよい。そのためのコンピュータ９７０の動作方法は周知であるので、ここでは繰り返さない。

なお、ＧＰＵ９９２は並列処理を行うことが可能であり、機械学習及び推論実行に伴う多量の計算を同時並列的又はパイプライン的に実行できる。例えばプログラムのコンパイル時にプログラム中で発見された並列的計算要素、又はプログラムの実行時に発見された並列的計算要素は、随時、ＣＰＵ９９０からＧＰＵ９９２にディスパッチされ、実行され、その結果が直接に、又はＲＡＭ９９８の所定アドレスを介してＣＰＵ９９０に返され、プログラム中の所定の変数に代入される。

なお、上記実施形態は、いずれも入力画像が１枚の場合についてのものである。しかしこの発明はそのような実施形態には限定されない。入力画像の枚数が、最終的に復元される１周期の歩行画像の数より少なければよい。実験結果から見て、入力画像が２枚以上のときの精度は入力画像が１枚のときと同等又はそれ以上であると考えられる。ただし、入力画像の枚数が多くなると計算量が増大し、識別に要する時間が長くなる。実際の応用でどの程度の時間内に処理すべきかを考えに入れて入力枚数を決定すればよい。

また、上記実施形態は本人認証と個人識別に関するものであった。しかし、従来の技術で１周期以上の歩行画像が必要とされていたような処理であれば、他の識別処理に本発明を適用することも可能である。例えば、歩行中の人物の男女の識別、年齢、体重、健康状態、怪我の有無、又はその気分等についても本発明を適用できる。さらに、上記実施形態は人間の歩容解析に関するものであった。しかしこの発明はそのような実施形態には限定されない。人間と同様の二足歩行をする生物の歩行に同様に適用できる可能性がある。さらに、四足歩行をする生物の歩行にも適用できる可能性がある。要するに、ある周期性を持つ運動をする生物の個性について、その周期的運動の画像から解析することに意味があるような場合には、上記実施形態の技術を適用できる。この場合の周期性運動としては、歩行に限定されない。例えば鳥等の飛行、水中での人間を含む哺乳類及び魚類の、周期性を持つ運動についても適用できる可能性がある。

今回開示された実施形態は単に例示であって、本発明が上記した実施形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

５０、５２、５４、１３０、１３２、１７０、１７２ 歩行画像列
９０、１５０、１５２ 歩行画像
１００、１０２、１０４ 周期画像
２００ 歩容認証装置
２１０、２９０ 入力画像
２１２、４１８、７０６ 一歩行周期復元ネットワーク
２１４ 一歩行周期画像
２１６、４３６、７１２ 認識ネットワーク
２４０ 歩容認証システム
２５２ 前処理部
２６０、４５０ 位相推定器
２６２、４５２ エンコーダ
２６４、４５４ 特徴変換器
２６６、４５６ デコーダ
２９２ 背景画像
３００ シルエット画像抽出装置
３０２ シルエット画像
３０４ 画像正規化処理部
４００ 本人認証システム
４１０、７００、７８０ Ｐｒｏｂｅ画像
４１２、４１６、６８０、６８２、６８４、７０８ 復元歩行画像列
４１４、７８２ Ｇａｌｌｅｒｙ画像
４２０ 訓練データ記憶装置
４２２ 位相推定器訓練部
４２４、４２８、６８６、７１０ 正解歩行画像列
４２６、４３０、４３２ 誤差算出部
４３４、７９２ 一歩行周期復元ネットワーク訓練部
６０４、６０６、７８４、７８６ 識別ネットワーク
６１０、６１２、６１４、７１４、７１６ 損失関数
６７０、６７２、６７４ 単一歩行画像
６９０ 個人識別装置
７０２ Ｇｅｎｕｉｎｅ画像
７０４ Ｉｍｐｏｓｔｅｒ画像
７７０ 訓練システム
８００ 本人認証装置
８０２ 判定部

Claims (18)

1. 周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の第１の数の画像を、前記第１の数より小さな第２の数の画像から復元するための周期画像復元装置であって、
   前記第２の数の画像に関する前記運動の位相を推定する位相推定手段と、
   前記第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出手段と、
   前記位相推定手段が推定した前記位相に基づいて、前記位相依存特徴抽出手段により抽出された前記位相依存特徴を、前記位相から独立した位相非依存特徴に変換するための特徴変換手段と、
   前記特徴変換手段により変換された後の前記位相非依存特徴に基づいて、前記運動をしている前記生物の、前記第１の数の位相の各々における画像を復元するための画像復元手段とを含む、周期画像復元装置。
2. 前記位相推定手段は、前記第２の数の画像から、当該画像の位相を推定するよう予め訓練された位相推定用のニューラルネットワークを含む、請求項１に記載の周期画像復元装置。
3. 前記位相依存特徴抽出手段は、前記第２の数の画像を入力とし、前記第２の数の画像から、前記位相依存特徴を抽出するよう予め訓練された位相依存特徴抽出用のニューラルネットワークを含む、請求項１又は請求項２に記載の周期画像復元装置。
4. 前記特徴変換手段は、前記位相推定手段が推定した前記位相と、前記位相依存特徴とを入力として、前記位相非依存特徴を出力するよう予め訓練済の特徴変化用のニューラルネットワークを含む、請求項１から請求項３のいずれか１項に記載の周期画像復元装置。
5. 前記画像復元手段は、前記特徴変換手段により変換された後の前記位相非依存特徴を入力とし、前記運動をしている前記生物の、前記第１の数の位相の各々における画像データを出力するよう予め訓練済の、画像復元用のニューラルネットワークを含む、請求項１から請求項４のいずれか１項に記載の周期画像復元装置。
6. 請求項１から請求項５のいずれか１項に記載の周期画像復元装置と、
   各々が前記第１の数の画像からなる複数の対照画像列を記憶した対照画像列記憶装置と、
   入力画像から前記周期画像復元装置が復元した前記第１の数の画像と、前記対照画像列記憶装置に記憶された前記複数の対照画像列とを比較することにより、前記入力画像内の前記生物が、前記対照画像列記憶装置に記憶された前記複数の対照画像列が示す生物のいずれであるか識別するための識別手段とを含む、識別装置。
7. 請求項１から請求項５のいずれか１項に記載の周期画像復元装置と、
   前記第１の数の画像からなる対照画像列を記憶した対照画像列記憶装置と、
   入力画像から前記周期画像復元装置が復元した前記第１の数の画像と、前記対照画像列記憶装置に記憶された前記対照画像列とを比較することにより、前記入力画像内の前記生物が、前記対照画像列記憶装置に記憶された前記対照画像列が示す生物と同一か否かを検証するための検証手段とを含む、検証装置。
8. 周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の第１の数の画像を、前記第１の数より小さな第２の数の画像から復元するための、コンピュータにより実現される周期画像復元方法であって、
   コンピュータが、前記第２の数の画像に関する前記運動の位相を推定する位相推定ステップと、
   コンピュータが、前記第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出ステップと、
   コンピュータが、前記位相推定ステップにおいて推定された前記位相に基づいて、前記位相依存特徴抽出ステップにおいて抽出された前記位相依存特徴を、前記位相から独立した位相非依存特徴に変換する特徴変換ステップと、
   コンピュータが、前記特徴変換ステップにおいて変換された後の前記位相非依存特徴に基づいて、前記運動をしている前記生物の、前記第１の数の位相の各々における画像を復元する画像復元ステップとを含む、周期画像復元方法。
9. 請求項８に記載の方法の各ステップと、
   コンピュータが、入力画像から前記方法により復元された前記第１の数の画像と、各々が前記第１の数の対照画像を含む複数の対照画像列とを比較することにより、前記入力画像内の前記生物が、前記複数の対照画像列が示す生物のいずれであるか識別するステップとを含む、識別方法。
10. 請求項８に記載の方法の各ステップと、
    コンピュータが、入力画像から前記方法により復元された前記第１の数の画像と、前記第１の数の対照画像を含む対照画像列とを比較することにより、前記入力画像内の前記生物が、前記対照画像列が示す生物と同一か否かを検証するステップとを含む、検証方法。
11. 周期性を持つ運動を行っている生物の画像から、当該生物の個性を表す特徴を抽出するための特徴抽出装置であって、
    入力画像に基づいて、前記入力画像内の前記生物の姿勢が、前記運動におけるどの位相の姿勢かを推定する位相推定手段と、
    前記入力画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出手段と、
    前記位相推定手段が推定した前記位相に基づいて、前記位相依存特徴抽出手段により抽出された前記位相依存特徴を、前記位相から独立した位相非依存特徴に変換するための特徴変換手段とを含む、特徴抽出装置。
12. 請求項１１に記載の特徴抽出装置と、
    複数の生物が前記運動を行っている生物の画像からなる複数の対照画像を記憶した対照画像記憶装置と、
    入力画像から前記特徴抽出装置が抽出した前記位相非依存特徴と、前記複数の対照画像の各々から前記特徴抽出装置が抽出した前記位相非依存特徴とを比較することにより、前記入力画像内の前記生物が、前記対照画像記憶装置に記憶された前記複数の対照画像が示す生物のいずれであるか識別するための識別手段とを含む、識別装置。
13. 請求項１１に記載の特徴抽出装置と、
    対照画像を記憶した対照画像記憶装置と、
    入力画像から前記特徴抽出装置が抽出した前記位相非依存特徴と、前記対照画像記憶装置に記憶された前記対照画像から前記特徴抽出装置が抽出した前記位相非依存特徴とを比較することにより、前記入力画像内の前記生物が、前記対照画像記憶装置に記憶された前記対照画像が示す生物と同一か否かを検証するための検証手段とを含む、検証装置。
14. 各々が、ある生物の、周期性を持つ運動の第１の数の位相のいずれかにおける、前記生物の姿勢を表す複数の画像を、それぞれ当該姿勢の前記位相を表す情報と関連付けて準備するステップと、
    前記画像の入力を受ける入力層と、前記第１の数のいずれかを示す出力を持つ出力層と、前記入力層と前記出力層との間に配置された、少なくともコンボリューション層を含む複数の中間層とを含むニューラルネットワークを準備し、各パラメータを初期化するステップと、
    前記複数の画像の各々について、当該画像を入力とし、当該画像の位相を表す情報を教師データとして、前記ニューラルネットワークの出力と前記教師データとの差を減少させるように、予め定められた終了条件が充足されるまで前記ニューラルネットワークを訓練するステップとを含む、位相推定用のニューラルネットワークの訓練方法。
15. 請求項１４に記載の訓練方法により訓練されたニューラルネットワークを用いた、周期画像の位相推定装置。
16. 周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の前記第１の数の画像を、前記第１の数より小さな第２の数の画像から復元するための周期画像復元装置であって、
    前記第２の数の画像に関する前記運動の位相を推定する位相推定器と、
    前記第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出器と、
    前記位相推定器が推定した前記位相に基づいて、前記位相依存特徴抽出器により抽出された前記位相依存特徴を、前記位相から独立した位相非依存特徴に変換するための特徴変換器と、
    前記特徴変換器により変換された後の前記位相非依存特徴に基づいて、前記運動をしている前記生物の、前記第１の数の位相の各々における画像を復元するための画像復元器とを含む、周期画像復元装置。
17. 周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の前記第１の数の画像を、前記第１の数より小さな第２の数の画像から復元するための、プロセッサを含む周期画像復元装置であって、前記プロセッサは、
    前記第２の数の画像に関する前記運動の位相を推定する位相推定器と、
    前記第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出器と、
    前記位相推定器が推定した前記位相に基づいて、前記位相依存特徴抽出器により抽出された前記位相依存特徴を、前記位相から独立した位相非依存特徴に変換するための特徴変換器と、
    前記特徴変換器により変換された後の前記位相非依存特徴に基づいて、前記運動をしている前記生物の、前記第１の数の位相の各々における画像を復元するための画像復元器として動作するようプログラムされている、周期画像復元装置。
18. 周期性を持つ運動の、少なくとも当該運動の半周期以上の予め定められた第１の数の位相における、生物の前記第１の数の画像を、前記第１の数より小さな第２の数の画像から復元するための周期画像復元装置として機能するようコンピュータを動作させるコンピュータプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体であって、前記コンピュータプログラムは、前記コンピュータを、
    前記第２の数の画像に関する前記運動の位相を推定する位相推定器と、
    前記第２の数の画像から、位相に依存した位相依存特徴を抽出する位相依存特徴抽出器と、
    前記位相推定器が推定した前記位相に基づいて、前記位相依存特徴抽出器により抽出された前記位相依存特徴を、前記位相から独立した位相非依存特徴に変換するための特徴変換器と、
    前記特徴変換器により変換された後の前記位相非依存特徴に基づいて、前記運動をしている前記生物の、前記第１の数の位相の各々における画像を復元するための画像復元器として動作させる、記憶媒体。
    

Images