JP4432181B2 - 認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体 - Google Patents
認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4432181B2 JP4432181B2 JP2000008573A JP2000008573A JP4432181B2 JP 4432181 B2 JP4432181 B2 JP 4432181B2 JP 2000008573 A JP2000008573 A JP 2000008573A JP 2000008573 A JP2000008573 A JP 2000008573A JP 4432181 B2 JP4432181 B2 JP 4432181B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- motion
- reference image
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、人物の認証等を行う場合に用いて好適な認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来より、眼底や、指紋、音声等に基づいて、個人の識別を行う人物認証の技術が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、眼底や、指紋、音声等に基づいて、人物認証を行う場合には、認証の対象となる人物が、眼底や指紋を撮影するカメラや、音声を集音するマイク（マイクロフォン）に対して、かなり近接した状態にならないと、その詳細な特徴量を得ることができず、正確な認証が困難となる。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、例えば、認証対象のユーザが比較的遠方に位置していても、その人物認証を行うこと等ができるようにするものである。
【０００５】
【課題を解決するための手段】
本発明の第１の側面の認証装置は、注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証を行う認証装置であって、前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成手段と、人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較手段と、前記比較手段による比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定手段とを備える認証装置である。
【００１８】
本発明の第１の側面の認証方法は、注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証を行う認証装置の認証方法であって、前記認証装置が、前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較ステップと、前記比較ステップによる比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定ステップとを備える認証方法である。
【００１９】
本発明の第１の側面の記録媒体は、注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較ステップと、前記比較ステップによる比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定ステップとを備える認証処理を、コンピュータに行わせるプログラムが記録されている記録媒体である。
【００２０】
本発明の第２の側面のデータ処理装置は、人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理装置であって、前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成手段と、前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成手段とを備えるデータ処理装置である。
【００２７】
本発明の第２の側面のデータ処理方法は、人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理装置のデータ処理方法であって、前記データ処理装置が、前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成ステップと備えるデータ処理方法である。
【００２８】
本発明の第２の側面の記録媒体は、人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成ステップとを備えるデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体である。
【００２９】
本発明の第１の側面においては、前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像が作成され、人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とが比較される。そして、その比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定が行われる。
【００３０】
本発明の第２の側面においては、前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像が作成され、前記動き画像を用いて、前記人物の基準画像が作成される。
【００３１】
【発明の実施の形態】
以下に、本発明を人物認証に適用した場合の実施の形態について説明する。なお、本発明は、人物以外の生物や、生物でない有体物であって、動きのあるものの識別を行う場合に適用可能である。
【００３２】
まず最初に、図１を参照して、人物認証の概要について説明する。
【００３３】
人物認証では、識別したい人物Ａの特徴を保存しておき、認証対象の人物Ｘの特徴を、保存しておいた人物Ａの特徴と比較することで、人物Ｘが、人物Ａであるかどうかが判定される。
【００３４】
人物の特徴としては、前述したように、眼底や、指紋、音声等があるが、これらは、認証対象のユーザが、カメラやマイクから遠方に位置している場合には、その詳細な特徴を得るのが困難であり、正確な認証が困難となる。
【００３５】
そこで、本実施の形態では、認証対象の人物が遠方にいても、詳細な特徴を得ることが可能な、認証対象の人物の動きに基づいて、その認証を行う。即ち、本実施の形態では、例えば、図２に示すように、認証対象の人物が座るときの動きを撮影した動画像に基づいて、その認証を行う。
【００３６】
図３は、上述のように、人物が座るときの動きを撮影した動画像に基づいて、人物認証を行う認証装置の一実施の形態の構成例を示している。
【００３７】
動き画像抽出部１は、認証対象の人物が座るときの動きを撮影し、その結果得られる動画像から、その座るときの動きを表す１フレームの動き画像を作成する。即ち、動き画像抽出部１は、人物が座る動作を開始してから終了するまでの動きを撮影した動画像を構成する複数フレームの画像から、その動きの軌跡を表示する１フレームの動き画像を作成する。この動き画像は、差分計算部３に供給されるようになっている。
【００３８】
基準画像保存部２は、認証しようとする人物ごとに、動き画像抽出部１が出力する動き画像と比較する基準画像を記憶している。従って、基準画像保存部２には、１以上の人物の基準画像が記憶されている。
【００３９】
差分計算部３は、動き画像抽出部１から供給される動き画像と、基準画像保存部２に記憶されている１以上の基準画像それぞれとを比較し、その比較結果を、差分和計算部４に供給するようになっている。即ち、差分計算部３は、動き画像と、基準画像保存部２に記憶されている１以上の基準画像それぞれとの画素ごとの差分値を演算し、その差分値で構成される画像（以下、適宜、対基準差分画像という）を、差分和計算部４に供給する。
【００４０】
差分和計算部４は、差分計算部３からの対基準差分画像を構成する画素値の絶対値和を計算し、それを、その対基準差分画像を求めるときに用いた基準画像に対する動き画像の評価値として、比較部６に供給するようになっている。従って、差分和計算部４から、比較部６に対しては、動き画像と基準画像との画素ごとの差分絶対値和が、その基準画像に対する動き画像の評価値として供給される。なお、差分和計算部４では、差分計算部３からの対基準差分画像を構成する画素値の絶対値和ではなく、その画素値の２乗和等を、評価値として計算するようにすることも可能である。
【００４１】
閾値保存部５は、各基準画像に対する動き画像の評価値と比較する閾値を、例えば、各基準画像ごとに記憶している。
【００４２】
比較部６は、差分和計算部４からの各基準画像に対する動き画像の評価値と、閾値保存部５に記憶されている、各基準画像に対応する閾値とを比較し、その比較結果を、結果出力部７に出力する。
【００４３】
結果出力部７は、比較部６の出力に基づいて、動き画像抽出部１で撮影された、認証対象としての人物（以下、適宜、対象人物という）を識別し、その識別結果を、対象人物の認証結果として出力する。
【００４４】
次に、図４は、図３の動き画像抽出部１の構成例を示している。
【００４５】
画像入力部１１は、例えば、ビデオカメラおよびＡ／Ｄ（Analog Digital）変換器等で構成され、対象人物が椅子に座るときの動きを撮影し、その一連の動作が表示された動画像のディジタルデータを、差分部計算部１２に出力する。
【００４６】
差分計算部１２は、画像入力部１１が出力する動画像を構成する複数フレームのうちの、時間的に近接するものどうしの差分を演算する。即ち、差分計算部１２は、画像入力部１１が出力する動画像を構成する複数フレームの時間的に隣接するフレームどうしの差分を演算し、その差分で構成される複数の画像（以下、適宜、フレーム間差分画像という）を、最大値検出部１３に出力する。
【００４７】
最大値検出部１３は、差分計算部１２が出力する複数のフレーム間差分画像それぞれを構成する、空間的に同一位置にある画素から、所定の画素を検出する。即ち、最大値検出部１３は、差分計算部１２が出力する複数のフレーム間差分画像それぞれを構成する、空間的に同一位置にある画素から、画素値の絶対値が最大のものを検出し、動き画像作成部１４に出力する。
【００４８】
動き画像作成部１４は、最大値検出部１３が出力する画素で構成される１フレームの画像を生成し、対象人物の動きの軌跡を表示する動き画像として、画像出力部１５に供給する。
【００４９】
画像出力部１５は、動き画像作成部１４から供給される動き画像を、一時記憶し、所定のタイミングで、差分計算部３（図３）に出力する。
【００５０】
ここで、画像入力部１１において、図５乃至図８に示すような動画像が撮影された場合に、差分計算部１２から出力される差分画像を、図９乃至図１２に示す。
【００５１】
なお、図５乃至図８は、人物が座るときの一連の動きを撮影した動画像を構成するフレームの中の所定の４フレームの画像を表しており、図９乃至図１２は、図５乃至図８に示したフレームそれぞれと、その次のフレームとから求められたフレーム間差分画像を、それぞれ表している。図９乃至図１２のフレーム間差分画像から、人物が座るときの動きにおいては、頭部および下半身に、比較的大きな動きが見られる。
【００５２】
図１３は、図９乃至図１２に示したフレーム間差分画像を含む、人物が座るときの一連の動きを撮影した動画像から得られるフレーム間差分画像すべてから構成される動き画像を示している。図１３から、動き画像では、対象人物が、「座る」動きをしたときの、その動きの軌跡が、いわば端的に表されていることが分かる。
【００５３】
即ち、差分計算部１２が出力するフレーム間差分画像は、その差分画像を求めるときに用いた隣接するフレームの間における動きを反映したものであり、そのような複数のフレーム間差分画像から、最大値検出部１３で検出される、画素値の絶対値が最大の画素は、対象人物が、「座る」動きをしたときに、その動きの中で、最も大きな動きがあった部分を表している。従って、動き画像作成部１４において、そのような画素から構成される動き画像によれば、対象人物が、「座る」動きをしたときの、その動きの軌跡が端的に表示される。
【００５４】
次に、図１４のフローチャートを参照して、図３の認証装置の処理（人物認証処理）について説明する。
【００５５】
認証装置では、動き画像抽出部１において、対象人物が座るときの一連の動きが撮影されると、認証処理が開始される。
【００５６】
即ち、認証処理では、まず最初に、ステップＳ１において、動き画像抽出部１は、対象人物が座るときの一連の動きが撮影された動画像を用いて、対象人物の動き画像を作成する。
【００５７】
具体的には、動き画像抽出部１（図４）では、画像入力部１１において、対象人物が椅子等に座るときの動きを撮影した動画像が、差分部計算部１２に出力される。そして、図１５のフローチャートに示すように、差分計算部１２は、ステップＳ１１において、画像入力部１１から出力される動画像を構成する複数フレームのうちの隣接するフレームどうしの差分が演算される。そして、差分計算部１２は、その差分で構成される複数のフレーム間差分画像を、最大値検出部１３に出力する。
【００５８】
最大値検出部１３は、ステップＳ１２において、差分計算部１２が出力する複数のフレーム間差分画像それぞれを構成する、空間的に同一位置にある画素から、画素値の絶対値が最大のものを検出し、動き画像作成部１４に出力する。動き画像作成部１４では、ステップＳ１３において、最大値検出部１３が出力する画素から、１フレームの動き画像を構成し、画像出力部１５に供給する。
【００５９】
画像出力部１５は、ステップＳ１４において、動き画像作成部１４からの動き画像を記憶し、リターンする。
【００６０】
図１４に戻り、ステップＳ１において、以上のようにして、対象人物の動き画像が作成されると、ステップＳ２に進み、差分計算部３において、動き画像抽出部１（の画像出力部１５）で記憶された動き画像と、基準画像保存部２に記憶されている各基準画像との画素ごとの差分値が演算され、その差分値で構成される対基準差分画像が、差分和計算部４に供給される。差分和計算部４では、差分計算部３からの対基準差分画像を構成する画素値の絶対値和が計算され、それが、その対基準差分画像を求めるときに用いた基準画像に対する動き画像の評価値として、比較部６に供給される。
【００６１】
そして、ステップＳ３に進み、比較部６において、差分和計算部４からの各基準画像に対する動き画像の評価値と、閾値保存部５に記憶されている、各基準画像に対応する閾値とが比較される。即ち、比較部６では、例えば、各基準画像に対する動き画像の評価値から、その基準画像に対応する閾値が減算され、その減算値が、評価値と閾値との比較結果として、結果出力部７に供給される。
【００６２】
結果出力部７は、ステップＳ４において、比較部６からの比較結果に基づいて、対象人物を認証する。即ち、結果出力部７は、比較部６から供給される、各基準画像に対する評価値から閾値を減算した減算値が０以下となっている基準画像を検出する。そして、結果出力部７は、その減算値が０以下となっている基準画像に対応する人物を、対象人物の認証結果として出力し、処理を終了する。
【００６３】
従って、図３の認証装置によれば、動き画像との差分をとることにより得られる対基準差分画像を構成する画素値の絶対値和が、対応する閾値以下となる基準画像に対応する人物が、対象人物の認証結果とされる。
【００６４】
以上のように、動画像を用いることにより、人物が比較的遠方に位置していても、その人物の認証を行うことができる。さらに、動画像を構成する複数フレームから１フレームの動き画像が構成され、その動き画像を用いて処理が行われるため、動画像を構成するすべてのフレームを用いる場合に比較して、演算量の低減および処理の高速化を図ることができる。
【００６５】
なお、結果出力部７は、各基準画像に対する評価値から閾値を減算した減算値が０以下となっている基準画像が存在しないか、あるいは２以上存在する場合には、例えば、対象人物が誰であるかを識別することができない旨のメッセージを、認証結果として出力する。
【００６６】
次に、図１６は、図３の基準画像保存部２に記憶される基準画像を作成する基準画像作成装置の一実施の形態の構成例を示している。
【００６７】
基準画像作成装置は、画像入力部２１、差分計算部２２、最大値検出部２３、基準画像作成部２４、および基準画像記憶部２５から構成されている。そして、画像入力部２１、差分計算部２２、最大値検出部２３、または基準画像作成部２４は、図４の画像入力部１１、差分計算部１２、最大値検出部１３、または動き画像作成部１４とそれぞれ同様に構成されており、基準画像記憶部２５は、基準画像作成部２４が出力する画像を、基準画像として記憶するようになっている。
【００６８】
従って、基準画像作成装置では、画像入力部２１、差分計算部２２、最大値検出部２３、または基準画像作成部２４において、図４の画像入力部１１、差分計算部１２、最大値検出部１３、または動き画像作成部１４とそれぞれ同様の処理が行われることで、動き画像が作成され、この動き画像が、基準画像として、基準画像記憶部２５に記憶される。
【００６９】
即ち、基準画像作成装置では、認証する人物が座るときの一連の動きが、画像入力部２１で撮影され、その結果得られる動画像が、差分計算部２２に出力される。
【００７０】
そして、図１７のフローチャートに示すように、まず最初に、ステップＳ２１において、差分計算部２２は、画像入力部２１からの動画像を構成する複数フレームのうちの隣接するフレームどうしの差分を演算し、複数のフレーム間差分画像を作成して、ステップＳ２２に進む。
【００７１】
ステップＳ２２では、最大値検出部２３と基準画像作成部２４において、差分計算部２２が出力する複数のフレーム間差分画像を対象に、図１５のステップＳ１２における場合と同様の処理が行われることで、１フレームの動き画像が構成される。この動き画像は、認証する人物の基準画像として、画像出力部２５に供給される。
【００７２】
画像記憶部２５は、ステップＳ２４において、基準画像作成部２４からの基準画像を記憶し、処理を終了する。
【００７３】
基準画像作成装置では、認証する１以上の人物それぞれについて、上述したようにして基準画像が作成され、基準画像記憶部２５に記憶される。そして、基準画像記憶部２５に記憶された基準画像が、図３の基準画像保存部２に転送されて記憶される。
【００７４】
なお、基準画像保存部２において、基準画像は、そのまま記憶させておくようにすることは勿論、例えば、暗号化したり、他の情報に埋め込んだりして記憶させておくようにすることも可能である。
【００７５】
ところで、図３の認証装置を構成する閾値保存部５には、動き画像の評価値と比較する閾値が、上述したように、各基準画像ごとに記憶されているが、この各基準画像ごとの閾値は、例えば、注目している人物の基準画像と、他の人物の動き画像との差分の絶対値和に基づいて決定することができる。
【００７６】
即ち、例えば、３人の人物Ａ，Ｂ，Ｃを認証する場合には、これらの人物Ａ乃至Ｃそれぞれについて、基準画像を作成する。そして、人物Ａについての基準画像に対する閾値は、その基準画像と、人物Ｂ，Ｃの動き画像それぞれとの差分の絶対値和に基づいて決定することができる。他の人物Ｂ，Ｃについての基準画像それぞれに対する閾値も同様にして決定することができる。
【００７７】
ここで、図１８は、人物Ａ乃至Ｃの基準画像それぞれについて、他の人物の動き画像との差分の絶対値和を求めたシミュレーション結果を示している。なお、図１８では、人物Ａ乃至Ｃそれぞれについて、４つの動き画像を作成し（座る動作を４回試行してもらい、各回について動き画像を作成し）、そのうちの１つを、各人物Ａ乃至Ｃの基準画像として用いている。即ち、図１８は、人物Ａについて動き画像Ａ１乃至Ａ４を、人物Ｂについて動き画像Ｂ１乃至Ｂ４を、人物Ｃについて動き画像Ｃ１乃至Ｃ４を、それぞれ作成し、動き画像Ａ１，Ｂ１，Ｃ１を、人物Ａ，Ｂ，Ｃそれぞれの基準画像として用いた場合のシミュレーション結果を示している。
【００７８】
従って、動き画像Ａ１，Ｂ１，Ｃ１は、人物Ａ，Ｂ，Ｃの基準画像とそれぞれ同一であり、このため、図１８において、動き画像Ａ１と人物Ａの基準画像との差分の絶対値和、動き画像Ｂ１と人物Ｂの基準画像との差分の絶対値和、動き画像Ｃ１と人物Ｃの基準画像との差分の絶対値和は、いずれも０となっている。
【００７９】
図１８における場合には、人物Ａについては、例えば５０を、人物Ｂについては、例えば４０を、人物Ｃについては、例えば４２を、それぞれ基準画像に対する閾値として設定すれば、人物Ａ乃至Ｃそれぞれを、他の人物に誤らないように識別することができる（但し、この場合、ある人物が、その人物に識別されないことはあり得る）。
【００８０】
なお、認証に、多少の誤りがあってもかまわない場合には、閾値として、上述の場合よりも大きな値を採用することができる。
【００８１】
また、ここでは、閾値を、各基準画像ごとに個別に決定するようにしたが、閾値は、複数、あるいは全部の基準画像に共通の値とすることも可能である。
【００８２】
さらに、１の人物について、１の基準画像だけではなく、複数の基準画像を作成し、基準画像保存部２に記憶させるようにすることが可能である。
【００８３】
次に、図１６の基準画像作成装置においては、認証する人物について、動き画像を作成し、その動き画像を、そのまま、認証する人物の基準画像とするようにしたが、上述のようにして作成される、ある人物の動き画像には、その人物に固有の特徴の他、すべての人物に共通の特徴も含まれる。一方、ある人物の認証にあたっては、その人物に固有の特徴だけに注目した方が、その認証の精度を向上させることができる。
【００８４】
そこで、図１９は、認証対象する人物に固有の特徴だけを含む基準画像を作成する基準画像作成装置の一実施の形態の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９の基準画像作成装置は、差分計算部２６が、基準画像記憶部２５の後段に新たに設けられている他は、基本的に、図１６における場合と同様に構成されている。
【００８５】
次に、図２０のフローチャートを参照して、図１９の基準画像作成装置の処理（基準画像作成処理）について説明する。
【００８６】
図１９の基準画像作成装置では、まず最初に、ステップＳ３１において、いま基準画像を作成しようとして注目している注目人物について、図１７で説明したフローチャートにしたがった処理と同様の処理が行われることにより、１以上の基準画像が作成され、基準画像記憶部２５に記憶される。
【００８７】
即ち、ステップＳ３１では、注目人物に、座る動作を、１回以上試行してもらい、その結果得られる１以上の動画像それぞれについて、１以上の基準画像が作成される。
【００８８】
そして、ステップＳ３２に進み、例えば、注目人物以外の１以上の人物（認証する人物であっても良いし、認証しない人物であっても良い）（以下、適宜、非注目人物という）それぞれについて、ステップＳ３１における場合と同様にして、１以上の基準画像が作成され、基準画像記憶部２５に記憶される。
【００８９】
そして、ステップＳ３３に進み、差分計算部２６は、基準画像記憶部２５に記憶された注目人物についての１以上の基準画像の、空間的に同一位置にある画素の平均値を演算し（本明細書における平均値とは、単純平均であってもよいし、重み付け加算により得られる平均値であってもよい）、これにより、その平均値を画素値とする、注目人物に固有の特徴を包含する画像（以下、適宜、自己特徴包含画像という）を作成する。ここで、自己特徴包含画像は、注目人物についての１以上の基準画像を平均化したものであるから、その注目人物が座る動作をするときの、ある程度普遍的な特徴を有するものとなる。
【００９０】
さらに、ステップＳ３３では、差分計算部２６は、基準画像記憶部２５に記憶された注目人物についての１以上の基準画像、および１以上の非注目人物についての１以上の基準画像の、空間的に同一位置にある画素の平均値を演算し、これにより、その平均値を画素値とする、注目人物および１以上の非注目人物に共通の特徴を有する画像（以下、適宜、共通特徴画像という）を作成する。ここで、共通特徴画像は、複数の人物についての基準画像を平均化したものであるから、各人物の特徴が失われ、かつ各人物に共通の特徴を有するものとなる。
【００９１】
以上のようにして、自己特徴包含画像および共通特徴画像を作成した後は、ステップＳ３４に進み、差分計算部２６は、自己特徴包含画像と共通特徴画像との差分を演算し、その差分値を画素値とする、注目人物に固有の特徴のみを有する画像（以下、適宜、個人特徴画像という）を作成する。そして、差分値計算部２６は、個人特徴画像を、注目人物についての最終的な基準画像として出力し、処理を終了する。
【００９２】
ここで、本件発明者がシミュレーションを行うことにより得られた自己特徴包含画像と、共通特徴画像を、それぞれ、図２１と図２２に示す。また、図２１の自己特徴画像と、図２２の共通特徴画像とから得られる最終的な基準画像を、図２３に示す。
【００９３】
次に、図２４は、図１９の基準画像作成装置において得られる基準画像を用いて人物認証を行う認証装置の一実施の形態の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２４の認証装置は、動き画像抽出部１に替えて、動き画像抽出部５１が新たに設けられている他は、図３における場合と同様に構成されている。但し、基準画像保存部２には、図１９の基準画像作成装置において作成された基準画像が記憶されている。
【００９４】
以上のように構成される認証装置では、動き画像抽出部５１が出力する、後述するような動き画像と、基準画像保存部２に記憶された基準画像としての個人特徴画像とを用いて、図３における場合と同様にして認証が行われる。
【００９５】
次に、図２５は、図２４の動き画像抽出部５１の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２５の動き画像抽出部５１は、共通特徴画像記憶部１６が新たに設けられている他は、図４の動き画像抽出部１と、基本的に同様に構成されている。
【００９６】
共通特徴画像記憶部１６には、図１９の基準画像作成装置で作成される共通特徴画像が記憶されている。但し、共通特徴画像記憶部１６に記憶させる共通特徴画像は、図２４の基準画像保存部２に記憶させる基準画像としての自己特徴画像を作成するときに用いる共通特徴画像と同一である必要はない。即ち、自己特徴画像を作成するときに用いる共通特徴画像の作成対象となった人物と、共通特徴画像記憶部１６に記憶させる共通特徴画像の作成対象となった人物とは、一致している必要はない。
【００９７】
以上のように構成される動き画像抽出部５１では、基本的には、図４の動き画像抽出部１における場合と同様に、図１５のフローチャートにしたがった処理が行われる。但し、図１５のステップＳ１３において、動き画像作成部１４は、上述したように、最大値検出部１３が出力する画素から、１フレームの動き画像を構成した後、その動き画像と、共通特徴画像記憶部１６に記憶された共通特徴画像との差分を演算し、その差分値で構成される画像を、最終的な動き画像として、画像出力部１５に供給する。
【００９８】
従って、動き画像抽出部５１からは、いま認証対象になっている人物（対象人物）に固有の特徴のみを有する自己特徴画像が、動き画像として出力される。
【００９９】
その結果、図２３の認証装置では、対象人物に固有の特徴のみを有する自己特徴画像としての動き画像と、各人物それぞれに固有の特徴のみを有する自己特徴画像としての基準画像とを用いて、処理が行われる。従って、認証の精度を、より向上させることができる。
【０１００】
ここで、図２６は、図１６の基準画像作成装置で得られた基準画像を用いて認証を行った場合と、図１９の基準画像作成装置で得られた基準画像（以下、適宜、新基準画像という）を用いて認証を行った場合との、それぞれのシミュレーション結果を示している。
【０１０１】
図２６においては、人物Ａについて、基準画像と新基準画像を作成し、人物Ａの他、人物Ｂ乃至Ｆそれぞれを対象とした認証を行った結果が示してある。
【０１０２】
ここで、シミュレーションでは、人物Ａ乃至Ｆそれぞれに、座る動作を４回試行してもらい、図２６では、基準画像を用いた認証については、基準画像との距離（認証装置の差分和計算部４が出力する絶対値和に相当する）が最も短くなった場合を、新基準画像を用いた認証については、基準画像との距離が最も長くなった場合を、それぞれ示してある。また、図２６では、本人である人物Ａの認証結果（ここでは、認証装置の差分和計算部４が出力する絶対値和を意味する）によって、他人である人物Ｂ乃至Ｆそれぞれの認証結果を正規化してある。従って、認証結果としての値が小さい方が、その人物らしいことを表す。
【０１０３】
図２６から、新基準画像を用いた方が、基準画像を用いた場合に比較して、他人Ｂ乃至Ｆの認証結果の値が大きくなっており、従って、人物Ａと、他の人物Ｂ乃至Ｆとの区別しやすさが向上していることが分かる。
【０１０４】
なお、図３の認証装置においても、新基準画像を用いて認証を行うようにすることが可能である。
【０１０５】
次に、図２７は、本発明を適用した認証装置の第３実施の形態の構成例を示している。なお、図中、図２４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２７の認証装置は、基準画像更新部８が新たに設けられている他は、図２４における場合と同様に構成されている。
【０１０６】
基準画像更新部８には、比較部６および動き画像抽出部５１の出力が供給されるようになっており、基準画像更新部８は、比較部６の出力に基づいて、認証結果が正しいかどうかを判定し、正しいと判定した場合には、動き画像抽出部５１の出力を用いて、基準画像保存部２に記憶された新基準画像を更新するようになっている。
【０１０７】
即ち、図２８は、基準画像更新部８の構成例を示している。
【０１０８】
更新制御部３１には、比較部６の出力が供給されるようになっており、更新制御部３１は、比較部６の出力に基づいて、いま認証の対象となっている人物の認証結果の正しさを判定する。即ち、比較部６は、各新基準画像に対する評価値から閾値を減算した減算値を出力するが、上述したことから、小さい減算値が得られる新基準画像に対する人物ほど、認証結果としては確からしい。そこで、更新制御部３１は、比較部６からの、各新基準画像に対する評価値から閾値を減算した減算値のうちの最小値（以下、適宜、最小減算値という）を検出し、その最小値が、ある閾値以下であるかどうかを判定する。そして、その最小減算値が、ある閾値以下である場合には、更新制御部３１は、その最小減算値を与える新基準画像に対する人物（以下、適宜、更新対象人物という）であるという認証結果が正しいとして、その更新対象人物の新基準画像の更新を、新基準画像作成部３２に指令する。
【０１０９】
新基準画像作成部３２は、更新制御部３１から、更新対象人物の新基準画像の更新の指令を受信すると、共通特徴画像記憶部３３および自己特徴包含画像記憶部３４の記憶内容を更新し、さらに、その更新した記憶内容を用いて、更新対象人物の新基準画像を更新する。
【０１１０】
即ち、共通特徴画像記憶部３３は、図２５に示した動き画像抽出部５１を構成する共通特徴画像記憶部１６と同一のものであり、従って、そこには、共通特徴画像が記憶されている。また、自己特徴包含画像記憶部３４には、新基準画像を作成するのに用いた各人物の自己特徴包含画像が記憶されている。さらに、新基準画像作成部３２には、動き画像抽出部５１が出力する動き画像が供給されるようになっている。ここで、認証結果が正しい場合には、動き画像抽出部５１が出力する動き画像に対応する人物が、更新対象人物に一致している。
【０１１１】
そこで、新基準画像作成部３２は、まず、共通特徴画像記憶部３３から共通特徴画像を読み出し、動き画像抽出部５１が出力する動き画像と加算する。さらに、新基準画像作成部３２は、その加算の結果得られる画像（以下、適宜、加算画像という）と、共通特徴画像記憶部３３に記憶された共通特徴画像とを平均化し（それらの平均値を演算し）、その結果得られる画像を、新たな共通特徴画像として、共通特徴画像記憶部３３に記憶させる（上書きする）。
【０１１２】
その後、新基準画像作成部３２は、自己特徴包含画像記憶部３４から、更新対象人物の自己特徴包含画像を読み出し、上述の加算画像との平均値を求める。そして、新基準画像作成部３２は、その平均値を画素値とする画像を、更新対象人物の、新たな自己特徴包含画像として、自己特徴包含画像記憶部３４に記憶させる（上書きする）。
【０１１３】
さらに、新基準画像作成部３２は、更新対象人物の、新たな自己特徴包含画像から、共通特徴画像記憶部３３に記憶された新たな共通特徴画像を減算し、その減算値を画素値とする画像を、更新対象人物の、新たな新基準画像として、基準画像保存部２に供給して記憶させる（上書きする）。
【０１１４】
以上のように、共通特徴画像および自己特徴包含画像を更新することで、共通特徴画像は、全人物に共通の特徴を、より反映したものとなり、また、自己特徴包含画像も、各個人に固有の特徴を、より反映したものとなる。従って、そのような共通特徴画像および自己特徴包含画像を用いて、新基準画像を更新することで、新基準画像は、各個人に固有の特徴を、より端的に表すものとなり、その結果、認証の精度を向上させることができる。
【０１１５】
次に、図２９のフローチャートを参照して、図２７の認証装置が行う処理（認証処理）について説明する。
【０１１６】
まず最初に、ステップＳ４１において、動き画像抽出部５１は、上述したようにして、対象人物についての動き画像を作成する。そして、差分計算部３、差分和計算部４、比較部６、および結果出力部７では、ステップＳ４２乃至Ｓ４４において、図１４のステップＳ２乃至Ｓ４における場合とそれぞれ同様の処理が行われ、これにより、認証結果が出力される。
【０１１７】
その後、ステップＳ４５に進み、基準画像更新部８において、比較部６の出力に基づいて、認証結果が正しいかどうかが判定される。ステップＳ４５において、認証結果が正しいと判定された場合、ステップＳ４６に進み、基準画像更新部８は、上述したようにして、基準画像保存部２に記憶された新基準画像を更新し、処理を終了する。
【０１１８】
一方、ステップＳ４５において、認証結果が正しくないと判定された場合、ステップＳ４６をスキップして、処理を終了する。即ち、この場合、基準画像保存部２に記憶された新基準画像の更新は行われない。
【０１１９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１２０】
そこで、図３０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１２１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１２２】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２３】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１２４】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードやマウス等で構成される入力部１０７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１２５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１２６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１２７】
なお、上述した認証装置は、例えば、コンピュータにおいて、そのユーザの認証を行う場合等に用いることができる。即ち、一般に、コンピュータを使用するときには、ユーザは、コンピュータの前に腰掛けるが、その腰掛ける動作に基づいて、上述したような認証を行うことにより、特定のユーザにのみ、コンピュータの使用を許可すること等が可能となる。また、この場合、認証結果によって、コンピュータのスクリーンセーバを解除するようなことも可能となる。
【０１２８】
なお、本実施の形態では、人が座るときの動きに基づいて、認証を行うようにしたが、その他、人が、腰掛けている状態から立つときの動きや、歩いているときの動き等に基づいて、認証を行うことが可能である。
【０１２９】
また、本実施の形態では、人物の動きをビデオカメラで撮影して得られる動画像に基づいて、認証を行うようにしたが、認証は、その他、例えば、熱センサ等で得られる動画像に基づいて行うようにすることが可能である。
【０１３０】
さらに、図２７の実施の形態では、基準画像更新部８において、比較部６の出力に基づいて、認証結果が正しいかどうかを判定するようにしたが、認証結果が正しいかどうかは、認証の対象となった人物から、認証結果の正否を入力してもらうことによって判定するようにすることが可能である。
【０１３１】
また、本実施の形態では、動き画像と、基準画像（新基準画像）との差分を計算し、その結果得られる対基準差分画像に基づいて、認証を行うようにしたが、認証は、その他、例えば、基準画像を、所定の閾値（例えば、１０など）で２値化し、その結果得られる２値化画像と、動き画像との論理積をとって得られる画像に基づいて行うことが可能である。さらに、認証は、動き画像の各画素値に対して、基準画像の、対応する画素値に応じた重み付けを行って得られる画像等に基づいて行うことも可能である。
【０１３２】
さらに、本実施の形態では、差分計算部１２（差分計算部２２についても同様）において、隣接するフレームどうしの差分を演算するようにしたが、差分計算部１２では、その他、例えば、１フレームや２フレームおき等の差分を演算するようにすることも可能である。
【０１３３】
【発明の効果】
本発明の第１及び第２の側面によれば、人物が比較的遠方に位置していても、その認証が可能となる。
【図面の簡単な説明】
【図１】人物認証の概要を説明する図である。
【図２】人が座るときの動きを示す図である。
【図３】本発明を適用した認証装置の第１実施の形態の構成例を示すブロック図である。
【図４】動き画像抽出部１の構成例を示すブロック図である。
【図５】動画像を構成するフレームを示すディスプレイ上に表示された中間階調の写真である。
【図６】動画像を構成するフレームを示すディスプレイ上に表示された中間階調の写真である。
【図７】動画像を構成するフレームを示すディスプレイ上に表示された中間階調の写真である。
【図８】動画像を構成するフレームを示すディスプレイ上に表示された中間階調の写真である。
【図９】フレーム間差分画像を示すディスプレイ上に表示された中間階調の写真である。
【図１０】フレーム間差分画像を示すディスプレイ上に表示された中間階調の写真である。
【図１１】フレーム間差分画像を示すディスプレイ上に表示された中間階調の写真である。
【図１２】フレーム間差分画像を示すディスプレイ上に表示された中間階調の写真である。
【図１３】動き画像を示すディスプレイ上に表示された中間階調の写真である。
【図１４】図３の認証装置の処理を説明するフローチャートである。
【図１５】図３のステップＳ１の処理のより詳細を説明するフローチャートである。
【図１６】本発明を適用した基準画像作成装置の第１実施の形態の構成例を示すブロック図である。
【図１７】図１６の基準画像作成装置の処理を説明するフローチャートである。
【図１８】シミュレーション結果を示す図である。
【図１９】本発明を適用した基準画像作成装置の第２実施の形態の構成例を示すブロック図である。
【図２０】図１９の基準画像作成装置の処理を説明するフローチャートである。
【図２１】自己特徴包含画像を示すディスプレイ上に表示された中間階調の写真である。
【図２２】共通特徴画像を示すディスプレイ上に表示された中間階調の写真である。
【図２３】個人特徴画像を示すディスプレイ上に表示された中間階調の写真である。
【図２４】本発明を適用した認証装置の第２実施の形態の構成例を示すブロック図である。
【図２５】動き画像抽出部５１の構成例を示すブロック図である。
【図２６】シミュレーション結果を示す図である。
【図２７】本発明を適用した認証装置の第３実施の形態の構成例を示すブロック図である。
【図２８】基準画像更新部８の構成例を示すブロック図である。
【図２９】図２７の認証装置の処理を説明するフローチャートである。
【図３０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 動き画像抽出部， ２ 基準画像保存部， ３ 差分計算部， ４ 差分和計算部， ５ 閾値保存部， ６ 比較部， ７ 結果出力部， ８ 基準画像更新部， １１ 画像入力部， １２ 差分計算部， １３ 最大値検出部，１４ 動き画像作成部， １５ 画像出力部， １６ 共通特徴画像記憶部，２１ 画像入力部， ２２ 差分計算部， ２３ 最大値検出部， ２４ 基準画像作成部， ２５ 基準画像記憶部， ２６ 差分計算部， ３１ 更新制御部， ３２ 新基準画像作成部， ３３ 共通特徴画像記憶部， ３４ 自己特徴包含画像記憶部， ５１ 動き画像抽出部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、人物の認証等を行う場合に用いて好適な認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来より、眼底や、指紋、音声等に基づいて、個人の識別を行う人物認証の技術が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、眼底や、指紋、音声等に基づいて、人物認証を行う場合には、認証の対象となる人物が、眼底や指紋を撮影するカメラや、音声を集音するマイク（マイクロフォン）に対して、かなり近接した状態にならないと、その詳細な特徴量を得ることができず、正確な認証が困難となる。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、例えば、認証対象のユーザが比較的遠方に位置していても、その人物認証を行うこと等ができるようにするものである。
【０００５】
【課題を解決するための手段】
本発明の第１の側面の認証装置は、注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証を行う認証装置であって、前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成手段と、人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較手段と、前記比較手段による比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定手段とを備える認証装置である。
【００１８】
本発明の第１の側面の認証方法は、注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証を行う認証装置の認証方法であって、前記認証装置が、前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較ステップと、前記比較ステップによる比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定ステップとを備える認証方法である。
【００１９】
本発明の第１の側面の記録媒体は、注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較ステップと、前記比較ステップによる比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定ステップとを備える認証処理を、コンピュータに行わせるプログラムが記録されている記録媒体である。
【００２０】
本発明の第２の側面のデータ処理装置は、人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理装置であって、前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成手段と、前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成手段とを備えるデータ処理装置である。
【００２７】
本発明の第２の側面のデータ処理方法は、人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理装置のデータ処理方法であって、前記データ処理装置が、前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成ステップと備えるデータ処理方法である。
【００２８】
本発明の第２の側面の記録媒体は、人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成ステップとを備えるデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体である。
【００２９】
本発明の第１の側面においては、前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像が作成され、人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とが比較される。そして、その比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定が行われる。
【００３０】
本発明の第２の側面においては、前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像が作成され、前記動き画像を用いて、前記人物の基準画像が作成される。
【００３１】
【発明の実施の形態】
以下に、本発明を人物認証に適用した場合の実施の形態について説明する。なお、本発明は、人物以外の生物や、生物でない有体物であって、動きのあるものの識別を行う場合に適用可能である。
【００３２】
まず最初に、図１を参照して、人物認証の概要について説明する。
【００３３】
人物認証では、識別したい人物Ａの特徴を保存しておき、認証対象の人物Ｘの特徴を、保存しておいた人物Ａの特徴と比較することで、人物Ｘが、人物Ａであるかどうかが判定される。
【００３４】
人物の特徴としては、前述したように、眼底や、指紋、音声等があるが、これらは、認証対象のユーザが、カメラやマイクから遠方に位置している場合には、その詳細な特徴を得るのが困難であり、正確な認証が困難となる。
【００３５】
そこで、本実施の形態では、認証対象の人物が遠方にいても、詳細な特徴を得ることが可能な、認証対象の人物の動きに基づいて、その認証を行う。即ち、本実施の形態では、例えば、図２に示すように、認証対象の人物が座るときの動きを撮影した動画像に基づいて、その認証を行う。
【００３６】
図３は、上述のように、人物が座るときの動きを撮影した動画像に基づいて、人物認証を行う認証装置の一実施の形態の構成例を示している。
【００３７】
動き画像抽出部１は、認証対象の人物が座るときの動きを撮影し、その結果得られる動画像から、その座るときの動きを表す１フレームの動き画像を作成する。即ち、動き画像抽出部１は、人物が座る動作を開始してから終了するまでの動きを撮影した動画像を構成する複数フレームの画像から、その動きの軌跡を表示する１フレームの動き画像を作成する。この動き画像は、差分計算部３に供給されるようになっている。
【００３８】
基準画像保存部２は、認証しようとする人物ごとに、動き画像抽出部１が出力する動き画像と比較する基準画像を記憶している。従って、基準画像保存部２には、１以上の人物の基準画像が記憶されている。
【００３９】
差分計算部３は、動き画像抽出部１から供給される動き画像と、基準画像保存部２に記憶されている１以上の基準画像それぞれとを比較し、その比較結果を、差分和計算部４に供給するようになっている。即ち、差分計算部３は、動き画像と、基準画像保存部２に記憶されている１以上の基準画像それぞれとの画素ごとの差分値を演算し、その差分値で構成される画像（以下、適宜、対基準差分画像という）を、差分和計算部４に供給する。
【００４０】
差分和計算部４は、差分計算部３からの対基準差分画像を構成する画素値の絶対値和を計算し、それを、その対基準差分画像を求めるときに用いた基準画像に対する動き画像の評価値として、比較部６に供給するようになっている。従って、差分和計算部４から、比較部６に対しては、動き画像と基準画像との画素ごとの差分絶対値和が、その基準画像に対する動き画像の評価値として供給される。なお、差分和計算部４では、差分計算部３からの対基準差分画像を構成する画素値の絶対値和ではなく、その画素値の２乗和等を、評価値として計算するようにすることも可能である。
【００４１】
閾値保存部５は、各基準画像に対する動き画像の評価値と比較する閾値を、例えば、各基準画像ごとに記憶している。
【００４２】
比較部６は、差分和計算部４からの各基準画像に対する動き画像の評価値と、閾値保存部５に記憶されている、各基準画像に対応する閾値とを比較し、その比較結果を、結果出力部７に出力する。
【００４３】
結果出力部７は、比較部６の出力に基づいて、動き画像抽出部１で撮影された、認証対象としての人物（以下、適宜、対象人物という）を識別し、その識別結果を、対象人物の認証結果として出力する。
【００４４】
次に、図４は、図３の動き画像抽出部１の構成例を示している。
【００４５】
画像入力部１１は、例えば、ビデオカメラおよびＡ／Ｄ（Analog Digital）変換器等で構成され、対象人物が椅子に座るときの動きを撮影し、その一連の動作が表示された動画像のディジタルデータを、差分部計算部１２に出力する。
【００４６】
差分計算部１２は、画像入力部１１が出力する動画像を構成する複数フレームのうちの、時間的に近接するものどうしの差分を演算する。即ち、差分計算部１２は、画像入力部１１が出力する動画像を構成する複数フレームの時間的に隣接するフレームどうしの差分を演算し、その差分で構成される複数の画像（以下、適宜、フレーム間差分画像という）を、最大値検出部１３に出力する。
【００４７】
最大値検出部１３は、差分計算部１２が出力する複数のフレーム間差分画像それぞれを構成する、空間的に同一位置にある画素から、所定の画素を検出する。即ち、最大値検出部１３は、差分計算部１２が出力する複数のフレーム間差分画像それぞれを構成する、空間的に同一位置にある画素から、画素値の絶対値が最大のものを検出し、動き画像作成部１４に出力する。
【００４８】
動き画像作成部１４は、最大値検出部１３が出力する画素で構成される１フレームの画像を生成し、対象人物の動きの軌跡を表示する動き画像として、画像出力部１５に供給する。
【００４９】
画像出力部１５は、動き画像作成部１４から供給される動き画像を、一時記憶し、所定のタイミングで、差分計算部３（図３）に出力する。
【００５０】
ここで、画像入力部１１において、図５乃至図８に示すような動画像が撮影された場合に、差分計算部１２から出力される差分画像を、図９乃至図１２に示す。
【００５１】
なお、図５乃至図８は、人物が座るときの一連の動きを撮影した動画像を構成するフレームの中の所定の４フレームの画像を表しており、図９乃至図１２は、図５乃至図８に示したフレームそれぞれと、その次のフレームとから求められたフレーム間差分画像を、それぞれ表している。図９乃至図１２のフレーム間差分画像から、人物が座るときの動きにおいては、頭部および下半身に、比較的大きな動きが見られる。
【００５２】
図１３は、図９乃至図１２に示したフレーム間差分画像を含む、人物が座るときの一連の動きを撮影した動画像から得られるフレーム間差分画像すべてから構成される動き画像を示している。図１３から、動き画像では、対象人物が、「座る」動きをしたときの、その動きの軌跡が、いわば端的に表されていることが分かる。
【００５３】
即ち、差分計算部１２が出力するフレーム間差分画像は、その差分画像を求めるときに用いた隣接するフレームの間における動きを反映したものであり、そのような複数のフレーム間差分画像から、最大値検出部１３で検出される、画素値の絶対値が最大の画素は、対象人物が、「座る」動きをしたときに、その動きの中で、最も大きな動きがあった部分を表している。従って、動き画像作成部１４において、そのような画素から構成される動き画像によれば、対象人物が、「座る」動きをしたときの、その動きの軌跡が端的に表示される。
【００５４】
次に、図１４のフローチャートを参照して、図３の認証装置の処理（人物認証処理）について説明する。
【００５５】
認証装置では、動き画像抽出部１において、対象人物が座るときの一連の動きが撮影されると、認証処理が開始される。
【００５６】
即ち、認証処理では、まず最初に、ステップＳ１において、動き画像抽出部１は、対象人物が座るときの一連の動きが撮影された動画像を用いて、対象人物の動き画像を作成する。
【００５７】
具体的には、動き画像抽出部１（図４）では、画像入力部１１において、対象人物が椅子等に座るときの動きを撮影した動画像が、差分部計算部１２に出力される。そして、図１５のフローチャートに示すように、差分計算部１２は、ステップＳ１１において、画像入力部１１から出力される動画像を構成する複数フレームのうちの隣接するフレームどうしの差分が演算される。そして、差分計算部１２は、その差分で構成される複数のフレーム間差分画像を、最大値検出部１３に出力する。
【００５８】
最大値検出部１３は、ステップＳ１２において、差分計算部１２が出力する複数のフレーム間差分画像それぞれを構成する、空間的に同一位置にある画素から、画素値の絶対値が最大のものを検出し、動き画像作成部１４に出力する。動き画像作成部１４では、ステップＳ１３において、最大値検出部１３が出力する画素から、１フレームの動き画像を構成し、画像出力部１５に供給する。
【００５９】
画像出力部１５は、ステップＳ１４において、動き画像作成部１４からの動き画像を記憶し、リターンする。
【００６０】
図１４に戻り、ステップＳ１において、以上のようにして、対象人物の動き画像が作成されると、ステップＳ２に進み、差分計算部３において、動き画像抽出部１（の画像出力部１５）で記憶された動き画像と、基準画像保存部２に記憶されている各基準画像との画素ごとの差分値が演算され、その差分値で構成される対基準差分画像が、差分和計算部４に供給される。差分和計算部４では、差分計算部３からの対基準差分画像を構成する画素値の絶対値和が計算され、それが、その対基準差分画像を求めるときに用いた基準画像に対する動き画像の評価値として、比較部６に供給される。
【００６１】
そして、ステップＳ３に進み、比較部６において、差分和計算部４からの各基準画像に対する動き画像の評価値と、閾値保存部５に記憶されている、各基準画像に対応する閾値とが比較される。即ち、比較部６では、例えば、各基準画像に対する動き画像の評価値から、その基準画像に対応する閾値が減算され、その減算値が、評価値と閾値との比較結果として、結果出力部７に供給される。
【００６２】
結果出力部７は、ステップＳ４において、比較部６からの比較結果に基づいて、対象人物を認証する。即ち、結果出力部７は、比較部６から供給される、各基準画像に対する評価値から閾値を減算した減算値が０以下となっている基準画像を検出する。そして、結果出力部７は、その減算値が０以下となっている基準画像に対応する人物を、対象人物の認証結果として出力し、処理を終了する。
【００６３】
従って、図３の認証装置によれば、動き画像との差分をとることにより得られる対基準差分画像を構成する画素値の絶対値和が、対応する閾値以下となる基準画像に対応する人物が、対象人物の認証結果とされる。
【００６４】
以上のように、動画像を用いることにより、人物が比較的遠方に位置していても、その人物の認証を行うことができる。さらに、動画像を構成する複数フレームから１フレームの動き画像が構成され、その動き画像を用いて処理が行われるため、動画像を構成するすべてのフレームを用いる場合に比較して、演算量の低減および処理の高速化を図ることができる。
【００６５】
なお、結果出力部７は、各基準画像に対する評価値から閾値を減算した減算値が０以下となっている基準画像が存在しないか、あるいは２以上存在する場合には、例えば、対象人物が誰であるかを識別することができない旨のメッセージを、認証結果として出力する。
【００６６】
次に、図１６は、図３の基準画像保存部２に記憶される基準画像を作成する基準画像作成装置の一実施の形態の構成例を示している。
【００６７】
基準画像作成装置は、画像入力部２１、差分計算部２２、最大値検出部２３、基準画像作成部２４、および基準画像記憶部２５から構成されている。そして、画像入力部２１、差分計算部２２、最大値検出部２３、または基準画像作成部２４は、図４の画像入力部１１、差分計算部１２、最大値検出部１３、または動き画像作成部１４とそれぞれ同様に構成されており、基準画像記憶部２５は、基準画像作成部２４が出力する画像を、基準画像として記憶するようになっている。
【００６８】
従って、基準画像作成装置では、画像入力部２１、差分計算部２２、最大値検出部２３、または基準画像作成部２４において、図４の画像入力部１１、差分計算部１２、最大値検出部１３、または動き画像作成部１４とそれぞれ同様の処理が行われることで、動き画像が作成され、この動き画像が、基準画像として、基準画像記憶部２５に記憶される。
【００６９】
即ち、基準画像作成装置では、認証する人物が座るときの一連の動きが、画像入力部２１で撮影され、その結果得られる動画像が、差分計算部２２に出力される。
【００７０】
そして、図１７のフローチャートに示すように、まず最初に、ステップＳ２１において、差分計算部２２は、画像入力部２１からの動画像を構成する複数フレームのうちの隣接するフレームどうしの差分を演算し、複数のフレーム間差分画像を作成して、ステップＳ２２に進む。
【００７１】
ステップＳ２２では、最大値検出部２３と基準画像作成部２４において、差分計算部２２が出力する複数のフレーム間差分画像を対象に、図１５のステップＳ１２における場合と同様の処理が行われることで、１フレームの動き画像が構成される。この動き画像は、認証する人物の基準画像として、画像出力部２５に供給される。
【００７２】
画像記憶部２５は、ステップＳ２４において、基準画像作成部２４からの基準画像を記憶し、処理を終了する。
【００７３】
基準画像作成装置では、認証する１以上の人物それぞれについて、上述したようにして基準画像が作成され、基準画像記憶部２５に記憶される。そして、基準画像記憶部２５に記憶された基準画像が、図３の基準画像保存部２に転送されて記憶される。
【００７４】
なお、基準画像保存部２において、基準画像は、そのまま記憶させておくようにすることは勿論、例えば、暗号化したり、他の情報に埋め込んだりして記憶させておくようにすることも可能である。
【００７５】
ところで、図３の認証装置を構成する閾値保存部５には、動き画像の評価値と比較する閾値が、上述したように、各基準画像ごとに記憶されているが、この各基準画像ごとの閾値は、例えば、注目している人物の基準画像と、他の人物の動き画像との差分の絶対値和に基づいて決定することができる。
【００７６】
即ち、例えば、３人の人物Ａ，Ｂ，Ｃを認証する場合には、これらの人物Ａ乃至Ｃそれぞれについて、基準画像を作成する。そして、人物Ａについての基準画像に対する閾値は、その基準画像と、人物Ｂ，Ｃの動き画像それぞれとの差分の絶対値和に基づいて決定することができる。他の人物Ｂ，Ｃについての基準画像それぞれに対する閾値も同様にして決定することができる。
【００７７】
ここで、図１８は、人物Ａ乃至Ｃの基準画像それぞれについて、他の人物の動き画像との差分の絶対値和を求めたシミュレーション結果を示している。なお、図１８では、人物Ａ乃至Ｃそれぞれについて、４つの動き画像を作成し（座る動作を４回試行してもらい、各回について動き画像を作成し）、そのうちの１つを、各人物Ａ乃至Ｃの基準画像として用いている。即ち、図１８は、人物Ａについて動き画像Ａ１乃至Ａ４を、人物Ｂについて動き画像Ｂ１乃至Ｂ４を、人物Ｃについて動き画像Ｃ１乃至Ｃ４を、それぞれ作成し、動き画像Ａ１，Ｂ１，Ｃ１を、人物Ａ，Ｂ，Ｃそれぞれの基準画像として用いた場合のシミュレーション結果を示している。
【００７８】
従って、動き画像Ａ１，Ｂ１，Ｃ１は、人物Ａ，Ｂ，Ｃの基準画像とそれぞれ同一であり、このため、図１８において、動き画像Ａ１と人物Ａの基準画像との差分の絶対値和、動き画像Ｂ１と人物Ｂの基準画像との差分の絶対値和、動き画像Ｃ１と人物Ｃの基準画像との差分の絶対値和は、いずれも０となっている。
【００７９】
図１８における場合には、人物Ａについては、例えば５０を、人物Ｂについては、例えば４０を、人物Ｃについては、例えば４２を、それぞれ基準画像に対する閾値として設定すれば、人物Ａ乃至Ｃそれぞれを、他の人物に誤らないように識別することができる（但し、この場合、ある人物が、その人物に識別されないことはあり得る）。
【００８０】
なお、認証に、多少の誤りがあってもかまわない場合には、閾値として、上述の場合よりも大きな値を採用することができる。
【００８１】
また、ここでは、閾値を、各基準画像ごとに個別に決定するようにしたが、閾値は、複数、あるいは全部の基準画像に共通の値とすることも可能である。
【００８２】
さらに、１の人物について、１の基準画像だけではなく、複数の基準画像を作成し、基準画像保存部２に記憶させるようにすることが可能である。
【００８３】
次に、図１６の基準画像作成装置においては、認証する人物について、動き画像を作成し、その動き画像を、そのまま、認証する人物の基準画像とするようにしたが、上述のようにして作成される、ある人物の動き画像には、その人物に固有の特徴の他、すべての人物に共通の特徴も含まれる。一方、ある人物の認証にあたっては、その人物に固有の特徴だけに注目した方が、その認証の精度を向上させることができる。
【００８４】
そこで、図１９は、認証対象する人物に固有の特徴だけを含む基準画像を作成する基準画像作成装置の一実施の形態の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９の基準画像作成装置は、差分計算部２６が、基準画像記憶部２５の後段に新たに設けられている他は、基本的に、図１６における場合と同様に構成されている。
【００８５】
次に、図２０のフローチャートを参照して、図１９の基準画像作成装置の処理（基準画像作成処理）について説明する。
【００８６】
図１９の基準画像作成装置では、まず最初に、ステップＳ３１において、いま基準画像を作成しようとして注目している注目人物について、図１７で説明したフローチャートにしたがった処理と同様の処理が行われることにより、１以上の基準画像が作成され、基準画像記憶部２５に記憶される。
【００８７】
即ち、ステップＳ３１では、注目人物に、座る動作を、１回以上試行してもらい、その結果得られる１以上の動画像それぞれについて、１以上の基準画像が作成される。
【００８８】
そして、ステップＳ３２に進み、例えば、注目人物以外の１以上の人物（認証する人物であっても良いし、認証しない人物であっても良い）（以下、適宜、非注目人物という）それぞれについて、ステップＳ３１における場合と同様にして、１以上の基準画像が作成され、基準画像記憶部２５に記憶される。
【００８９】
そして、ステップＳ３３に進み、差分計算部２６は、基準画像記憶部２５に記憶された注目人物についての１以上の基準画像の、空間的に同一位置にある画素の平均値を演算し（本明細書における平均値とは、単純平均であってもよいし、重み付け加算により得られる平均値であってもよい）、これにより、その平均値を画素値とする、注目人物に固有の特徴を包含する画像（以下、適宜、自己特徴包含画像という）を作成する。ここで、自己特徴包含画像は、注目人物についての１以上の基準画像を平均化したものであるから、その注目人物が座る動作をするときの、ある程度普遍的な特徴を有するものとなる。
【００９０】
さらに、ステップＳ３３では、差分計算部２６は、基準画像記憶部２５に記憶された注目人物についての１以上の基準画像、および１以上の非注目人物についての１以上の基準画像の、空間的に同一位置にある画素の平均値を演算し、これにより、その平均値を画素値とする、注目人物および１以上の非注目人物に共通の特徴を有する画像（以下、適宜、共通特徴画像という）を作成する。ここで、共通特徴画像は、複数の人物についての基準画像を平均化したものであるから、各人物の特徴が失われ、かつ各人物に共通の特徴を有するものとなる。
【００９１】
以上のようにして、自己特徴包含画像および共通特徴画像を作成した後は、ステップＳ３４に進み、差分計算部２６は、自己特徴包含画像と共通特徴画像との差分を演算し、その差分値を画素値とする、注目人物に固有の特徴のみを有する画像（以下、適宜、個人特徴画像という）を作成する。そして、差分値計算部２６は、個人特徴画像を、注目人物についての最終的な基準画像として出力し、処理を終了する。
【００９２】
ここで、本件発明者がシミュレーションを行うことにより得られた自己特徴包含画像と、共通特徴画像を、それぞれ、図２１と図２２に示す。また、図２１の自己特徴画像と、図２２の共通特徴画像とから得られる最終的な基準画像を、図２３に示す。
【００９３】
次に、図２４は、図１９の基準画像作成装置において得られる基準画像を用いて人物認証を行う認証装置の一実施の形態の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２４の認証装置は、動き画像抽出部１に替えて、動き画像抽出部５１が新たに設けられている他は、図３における場合と同様に構成されている。但し、基準画像保存部２には、図１９の基準画像作成装置において作成された基準画像が記憶されている。
【００９４】
以上のように構成される認証装置では、動き画像抽出部５１が出力する、後述するような動き画像と、基準画像保存部２に記憶された基準画像としての個人特徴画像とを用いて、図３における場合と同様にして認証が行われる。
【００９５】
次に、図２５は、図２４の動き画像抽出部５１の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２５の動き画像抽出部５１は、共通特徴画像記憶部１６が新たに設けられている他は、図４の動き画像抽出部１と、基本的に同様に構成されている。
【００９６】
共通特徴画像記憶部１６には、図１９の基準画像作成装置で作成される共通特徴画像が記憶されている。但し、共通特徴画像記憶部１６に記憶させる共通特徴画像は、図２４の基準画像保存部２に記憶させる基準画像としての自己特徴画像を作成するときに用いる共通特徴画像と同一である必要はない。即ち、自己特徴画像を作成するときに用いる共通特徴画像の作成対象となった人物と、共通特徴画像記憶部１６に記憶させる共通特徴画像の作成対象となった人物とは、一致している必要はない。
【００９７】
以上のように構成される動き画像抽出部５１では、基本的には、図４の動き画像抽出部１における場合と同様に、図１５のフローチャートにしたがった処理が行われる。但し、図１５のステップＳ１３において、動き画像作成部１４は、上述したように、最大値検出部１３が出力する画素から、１フレームの動き画像を構成した後、その動き画像と、共通特徴画像記憶部１６に記憶された共通特徴画像との差分を演算し、その差分値で構成される画像を、最終的な動き画像として、画像出力部１５に供給する。
【００９８】
従って、動き画像抽出部５１からは、いま認証対象になっている人物（対象人物）に固有の特徴のみを有する自己特徴画像が、動き画像として出力される。
【００９９】
その結果、図２３の認証装置では、対象人物に固有の特徴のみを有する自己特徴画像としての動き画像と、各人物それぞれに固有の特徴のみを有する自己特徴画像としての基準画像とを用いて、処理が行われる。従って、認証の精度を、より向上させることができる。
【０１００】
ここで、図２６は、図１６の基準画像作成装置で得られた基準画像を用いて認証を行った場合と、図１９の基準画像作成装置で得られた基準画像（以下、適宜、新基準画像という）を用いて認証を行った場合との、それぞれのシミュレーション結果を示している。
【０１０１】
図２６においては、人物Ａについて、基準画像と新基準画像を作成し、人物Ａの他、人物Ｂ乃至Ｆそれぞれを対象とした認証を行った結果が示してある。
【０１０２】
ここで、シミュレーションでは、人物Ａ乃至Ｆそれぞれに、座る動作を４回試行してもらい、図２６では、基準画像を用いた認証については、基準画像との距離（認証装置の差分和計算部４が出力する絶対値和に相当する）が最も短くなった場合を、新基準画像を用いた認証については、基準画像との距離が最も長くなった場合を、それぞれ示してある。また、図２６では、本人である人物Ａの認証結果（ここでは、認証装置の差分和計算部４が出力する絶対値和を意味する）によって、他人である人物Ｂ乃至Ｆそれぞれの認証結果を正規化してある。従って、認証結果としての値が小さい方が、その人物らしいことを表す。
【０１０３】
図２６から、新基準画像を用いた方が、基準画像を用いた場合に比較して、他人Ｂ乃至Ｆの認証結果の値が大きくなっており、従って、人物Ａと、他の人物Ｂ乃至Ｆとの区別しやすさが向上していることが分かる。
【０１０４】
なお、図３の認証装置においても、新基準画像を用いて認証を行うようにすることが可能である。
【０１０５】
次に、図２７は、本発明を適用した認証装置の第３実施の形態の構成例を示している。なお、図中、図２４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２７の認証装置は、基準画像更新部８が新たに設けられている他は、図２４における場合と同様に構成されている。
【０１０６】
基準画像更新部８には、比較部６および動き画像抽出部５１の出力が供給されるようになっており、基準画像更新部８は、比較部６の出力に基づいて、認証結果が正しいかどうかを判定し、正しいと判定した場合には、動き画像抽出部５１の出力を用いて、基準画像保存部２に記憶された新基準画像を更新するようになっている。
【０１０７】
即ち、図２８は、基準画像更新部８の構成例を示している。
【０１０８】
更新制御部３１には、比較部６の出力が供給されるようになっており、更新制御部３１は、比較部６の出力に基づいて、いま認証の対象となっている人物の認証結果の正しさを判定する。即ち、比較部６は、各新基準画像に対する評価値から閾値を減算した減算値を出力するが、上述したことから、小さい減算値が得られる新基準画像に対する人物ほど、認証結果としては確からしい。そこで、更新制御部３１は、比較部６からの、各新基準画像に対する評価値から閾値を減算した減算値のうちの最小値（以下、適宜、最小減算値という）を検出し、その最小値が、ある閾値以下であるかどうかを判定する。そして、その最小減算値が、ある閾値以下である場合には、更新制御部３１は、その最小減算値を与える新基準画像に対する人物（以下、適宜、更新対象人物という）であるという認証結果が正しいとして、その更新対象人物の新基準画像の更新を、新基準画像作成部３２に指令する。
【０１０９】
新基準画像作成部３２は、更新制御部３１から、更新対象人物の新基準画像の更新の指令を受信すると、共通特徴画像記憶部３３および自己特徴包含画像記憶部３４の記憶内容を更新し、さらに、その更新した記憶内容を用いて、更新対象人物の新基準画像を更新する。
【０１１０】
即ち、共通特徴画像記憶部３３は、図２５に示した動き画像抽出部５１を構成する共通特徴画像記憶部１６と同一のものであり、従って、そこには、共通特徴画像が記憶されている。また、自己特徴包含画像記憶部３４には、新基準画像を作成するのに用いた各人物の自己特徴包含画像が記憶されている。さらに、新基準画像作成部３２には、動き画像抽出部５１が出力する動き画像が供給されるようになっている。ここで、認証結果が正しい場合には、動き画像抽出部５１が出力する動き画像に対応する人物が、更新対象人物に一致している。
【０１１１】
そこで、新基準画像作成部３２は、まず、共通特徴画像記憶部３３から共通特徴画像を読み出し、動き画像抽出部５１が出力する動き画像と加算する。さらに、新基準画像作成部３２は、その加算の結果得られる画像（以下、適宜、加算画像という）と、共通特徴画像記憶部３３に記憶された共通特徴画像とを平均化し（それらの平均値を演算し）、その結果得られる画像を、新たな共通特徴画像として、共通特徴画像記憶部３３に記憶させる（上書きする）。
【０１１２】
その後、新基準画像作成部３２は、自己特徴包含画像記憶部３４から、更新対象人物の自己特徴包含画像を読み出し、上述の加算画像との平均値を求める。そして、新基準画像作成部３２は、その平均値を画素値とする画像を、更新対象人物の、新たな自己特徴包含画像として、自己特徴包含画像記憶部３４に記憶させる（上書きする）。
【０１１３】
さらに、新基準画像作成部３２は、更新対象人物の、新たな自己特徴包含画像から、共通特徴画像記憶部３３に記憶された新たな共通特徴画像を減算し、その減算値を画素値とする画像を、更新対象人物の、新たな新基準画像として、基準画像保存部２に供給して記憶させる（上書きする）。
【０１１４】
以上のように、共通特徴画像および自己特徴包含画像を更新することで、共通特徴画像は、全人物に共通の特徴を、より反映したものとなり、また、自己特徴包含画像も、各個人に固有の特徴を、より反映したものとなる。従って、そのような共通特徴画像および自己特徴包含画像を用いて、新基準画像を更新することで、新基準画像は、各個人に固有の特徴を、より端的に表すものとなり、その結果、認証の精度を向上させることができる。
【０１１５】
次に、図２９のフローチャートを参照して、図２７の認証装置が行う処理（認証処理）について説明する。
【０１１６】
まず最初に、ステップＳ４１において、動き画像抽出部５１は、上述したようにして、対象人物についての動き画像を作成する。そして、差分計算部３、差分和計算部４、比較部６、および結果出力部７では、ステップＳ４２乃至Ｓ４４において、図１４のステップＳ２乃至Ｓ４における場合とそれぞれ同様の処理が行われ、これにより、認証結果が出力される。
【０１１７】
その後、ステップＳ４５に進み、基準画像更新部８において、比較部６の出力に基づいて、認証結果が正しいかどうかが判定される。ステップＳ４５において、認証結果が正しいと判定された場合、ステップＳ４６に進み、基準画像更新部８は、上述したようにして、基準画像保存部２に記憶された新基準画像を更新し、処理を終了する。
【０１１８】
一方、ステップＳ４５において、認証結果が正しくないと判定された場合、ステップＳ４６をスキップして、処理を終了する。即ち、この場合、基準画像保存部２に記憶された新基準画像の更新は行われない。
【０１１９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１２０】
そこで、図３０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１２１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１２２】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２３】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１２４】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードやマウス等で構成される入力部１０７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１２５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１２６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１２７】
なお、上述した認証装置は、例えば、コンピュータにおいて、そのユーザの認証を行う場合等に用いることができる。即ち、一般に、コンピュータを使用するときには、ユーザは、コンピュータの前に腰掛けるが、その腰掛ける動作に基づいて、上述したような認証を行うことにより、特定のユーザにのみ、コンピュータの使用を許可すること等が可能となる。また、この場合、認証結果によって、コンピュータのスクリーンセーバを解除するようなことも可能となる。
【０１２８】
なお、本実施の形態では、人が座るときの動きに基づいて、認証を行うようにしたが、その他、人が、腰掛けている状態から立つときの動きや、歩いているときの動き等に基づいて、認証を行うことが可能である。
【０１２９】
また、本実施の形態では、人物の動きをビデオカメラで撮影して得られる動画像に基づいて、認証を行うようにしたが、認証は、その他、例えば、熱センサ等で得られる動画像に基づいて行うようにすることが可能である。
【０１３０】
さらに、図２７の実施の形態では、基準画像更新部８において、比較部６の出力に基づいて、認証結果が正しいかどうかを判定するようにしたが、認証結果が正しいかどうかは、認証の対象となった人物から、認証結果の正否を入力してもらうことによって判定するようにすることが可能である。
【０１３１】
また、本実施の形態では、動き画像と、基準画像（新基準画像）との差分を計算し、その結果得られる対基準差分画像に基づいて、認証を行うようにしたが、認証は、その他、例えば、基準画像を、所定の閾値（例えば、１０など）で２値化し、その結果得られる２値化画像と、動き画像との論理積をとって得られる画像に基づいて行うことが可能である。さらに、認証は、動き画像の各画素値に対して、基準画像の、対応する画素値に応じた重み付けを行って得られる画像等に基づいて行うことも可能である。
【０１３２】
さらに、本実施の形態では、差分計算部１２（差分計算部２２についても同様）において、隣接するフレームどうしの差分を演算するようにしたが、差分計算部１２では、その他、例えば、１フレームや２フレームおき等の差分を演算するようにすることも可能である。
【０１３３】
【発明の効果】
本発明の第１及び第２の側面によれば、人物が比較的遠方に位置していても、その認証が可能となる。
【図面の簡単な説明】
【図１】人物認証の概要を説明する図である。
【図２】人が座るときの動きを示す図である。
【図３】本発明を適用した認証装置の第１実施の形態の構成例を示すブロック図である。
【図４】動き画像抽出部１の構成例を示すブロック図である。
【図５】動画像を構成するフレームを示すディスプレイ上に表示された中間階調の写真である。
【図６】動画像を構成するフレームを示すディスプレイ上に表示された中間階調の写真である。
【図７】動画像を構成するフレームを示すディスプレイ上に表示された中間階調の写真である。
【図８】動画像を構成するフレームを示すディスプレイ上に表示された中間階調の写真である。
【図９】フレーム間差分画像を示すディスプレイ上に表示された中間階調の写真である。
【図１０】フレーム間差分画像を示すディスプレイ上に表示された中間階調の写真である。
【図１１】フレーム間差分画像を示すディスプレイ上に表示された中間階調の写真である。
【図１２】フレーム間差分画像を示すディスプレイ上に表示された中間階調の写真である。
【図１３】動き画像を示すディスプレイ上に表示された中間階調の写真である。
【図１４】図３の認証装置の処理を説明するフローチャートである。
【図１５】図３のステップＳ１の処理のより詳細を説明するフローチャートである。
【図１６】本発明を適用した基準画像作成装置の第１実施の形態の構成例を示すブロック図である。
【図１７】図１６の基準画像作成装置の処理を説明するフローチャートである。
【図１８】シミュレーション結果を示す図である。
【図１９】本発明を適用した基準画像作成装置の第２実施の形態の構成例を示すブロック図である。
【図２０】図１９の基準画像作成装置の処理を説明するフローチャートである。
【図２１】自己特徴包含画像を示すディスプレイ上に表示された中間階調の写真である。
【図２２】共通特徴画像を示すディスプレイ上に表示された中間階調の写真である。
【図２３】個人特徴画像を示すディスプレイ上に表示された中間階調の写真である。
【図２４】本発明を適用した認証装置の第２実施の形態の構成例を示すブロック図である。
【図２５】動き画像抽出部５１の構成例を示すブロック図である。
【図２６】シミュレーション結果を示す図である。
【図２７】本発明を適用した認証装置の第３実施の形態の構成例を示すブロック図である。
【図２８】基準画像更新部８の構成例を示すブロック図である。
【図２９】図２７の認証装置の処理を説明するフローチャートである。
【図３０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 動き画像抽出部， ２ 基準画像保存部， ３ 差分計算部， ４ 差分和計算部， ５ 閾値保存部， ６ 比較部， ７ 結果出力部， ８ 基準画像更新部， １１ 画像入力部， １２ 差分計算部， １３ 最大値検出部，１４ 動き画像作成部， １５ 画像出力部， １６ 共通特徴画像記憶部，２１ 画像入力部， ２２ 差分計算部， ２３ 最大値検出部， ２４ 基準画像作成部， ２５ 基準画像記憶部， ２６ 差分計算部， ３１ 更新制御部， ３２ 新基準画像作成部， ３３ 共通特徴画像記憶部， ３４ 自己特徴包含画像記憶部， ５１ 動き画像抽出部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
Claims (20)
- 注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証を行う認証装置であって、
前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成手段と、
人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定手段と
を備える認証装置。 - 前記動き画像作成手段は、前記動画像を構成する複数枚の画像から、前記注目人物の動きの軌跡を表示する１枚の動き画像を作成する
請求項１に記載の認証装置。 - 前記動き画像作成手段は、
前記注目人物の動画像を構成する複数枚の画像のうちの、時間的に近接するものどうしの差分を演算し、複数の差分画像を求める差分演算手段と、
前記複数の差分画像それぞれを構成する、空間的に同一位置にある画素から、所定の画素を検出する画素検出手段と、
前記所定の画素で構成される画像を生成し、前記動き画像として出力する動き画像生成手段と
を有する
請求項１に記載の認証装置。 - 前記基準画像を更新する更新手段をさらに備える
請求項１に記載の認証装置。 - 前記更新手段は、前記注目人物が所定の人物である場合に、その所定の人物の前記基準画像を、前記動き画像に基づいて更新する
請求項４に記載の認証装置。 - 前記比較手段は、前記動き画像と基準画像との差分を演算し、
前記更新手段は、前記差分と所定の閾値とを比較し、その比較結果に基づいて、前記注目人物が所定の人物であるかどうかを認識する
請求項５に記載の認証装置。 - 前記更新手段は、外部からの入力に基づいて、前記注目人物が所定の人物であるかどうかを認識する
請求項５に記載の認証装置。 - 前記基準画像記憶手段は、１以上の人物それぞれから得られた前記動き画像を、前記基準画像として記憶している
請求項１に記載の認証装置。 - 前記動き画像作成手段は、前記注目人物の動画像を構成する複数枚の画像から作成された前記動き画像と、複数の人物それぞれから得られた前記動き画像を平均化した平均化画像とから画像を生成し、その画像を、前記注目人物についての最終的な動き画像として出力する
請求項１に記載の認証装置。 - 前記注目人物を撮影し、前記動画像を出力する撮影手段をさらに備える
請求項１に記載の認証装置。 - 前記基準画像を記憶している前記基準画像記憶手段をさらに備える
請求項１に記載の認証装置。 - 注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証を行う認証装置の認証方法であって、
前記認証装置が、
前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、
人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較ステップと、
前記比較ステップによる比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定ステップと
を備える認証方法。 - 注目人物の動きを撮影した動画像に基づいて、前記注目人物の認証処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記注目人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記注目人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、
人物ごとの基準画像を記憶している基準画像記憶手段に記憶されている前記基準画像と、前記動き画像とを比較する比較ステップと、
前記比較ステップによる比較結果に基づいて、前記注目人物が所定の人物であるかどうかの判定を行う判定ステップと
を備える認証処理を、コンピュータに行わせるプログラムが記録されている
記録媒体。 - 人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理装置であって、
前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成手段と、
前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成手段と
を備えるデータ処理装置。 - 前記動き画像作成手段は、前記動画像を構成する複数枚の画像から、前記人物の動きの軌跡を表示する１枚の動き画像を作成する
請求項１４に記載のデータ処理装置。 - 前記動き画像作成手段は、
前記動画像を構成する複数枚の画像のうちの、時間的に近接するものどうしの差分を演算し、複数の差分画像を求める差分演算手段と、
前記複数の差分画像それぞれを構成する、空間的に同一位置にある画素から、所定の画素を検出する画素検出手段と、
前記所定の画素で構成される画像を生成し、前記動き画像として出力する動き画像生成手段と
を有する
請求項１４に記載のデータ処理装置。 - 前記基準画像作成手段は、複数の人物それぞれから得られた前記動き画像を平均化した平均化画像と、所定の人物から得られた１以上の前記動き画像とから、前記所定の人物の前記基準画像を作成する
請求項１４に記載の認証装置。 - 前記人物を撮影し、前記動画像を出力する撮影手段をさらに備える
請求項１４に記載のデータ処理装置。 - 人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理装置のデータ処理方法であって、
前記データ処理装置が、
前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、
前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成ステップと
備えるデータ処理方法。 - 人物の動きを撮影した動画像に基づいて、前記人物の認証を行うのに用いられる前記人物の基準画像を作成するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記人物が座るときの動きを撮影した動画像を構成する複数枚の画像から、前記人物の動きを表す１枚の動き画像を作成する動き画像作成ステップと、
前記動き画像を用いて、前記人物の基準画像を作成する基準画像作成ステップと
を備えるデータ処理を、コンピュータに行わせるプログラムが記録されている
記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000008573A JP4432181B2 (ja) | 2000-01-18 | 2000-01-18 | 認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000008573A JP4432181B2 (ja) | 2000-01-18 | 2000-01-18 | 認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001202524A JP2001202524A (ja) | 2001-07-27 |
| JP4432181B2 true JP4432181B2 (ja) | 2010-03-17 |
Family
ID=18536824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000008573A Expired - Fee Related JP4432181B2 (ja) | 2000-01-18 | 2000-01-18 | 認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4432181B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1672357A (zh) * | 2002-07-29 | 2005-09-21 | C－西格雷特有限公司 | 用于电生物身份识别的方法和装置 |
| KR20050074443A (ko) * | 2002-09-27 | 2005-07-18 | 가부시키가이샤 깅가네트 | 원격 교육 시스템, 수강 확인 방법 및 수강 확인 프로그램 |
| JP4481663B2 (ja) | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム |
| JP6557952B2 (ja) | 2014-09-03 | 2019-08-14 | 富士通株式会社 | 対象者特定装置、対象者特定プログラム及び対象者特定方法 |
-
2000
- 2000-01-18 JP JP2000008573A patent/JP4432181B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001202524A (ja) | 2001-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5055166B2 (ja) | 眼の開閉度判定装置、方法及びプログラム、撮像装置 | |
| JP4497236B2 (ja) | 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム | |
| JP4756589B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| CN101272457B (zh) | 图像处理装置和图像处理方法 | |
| KR100572227B1 (ko) | 얼굴화상 보정방법, 장치 및 얼굴화상 보정 프로그램이 기록된 기록매체 | |
| JP5959923B2 (ja) | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
| JP4462176B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| CN102193962B (zh) | 对照装置、数字图像处理系统、以及对照装置的控制方法 | |
| JP2010027035A (ja) | 個人認証装置及び個人認証方法 | |
| TW200917160A (en) | Image processing apparatus, image display apparatus, imaging apparatus, method for image processing therefor, and program | |
| JP5087037B2 (ja) | 画像処理装置、方法及びプログラム | |
| JP5170094B2 (ja) | なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム | |
| JP2010041435A (ja) | 撮像装置及びその制御方法 | |
| US20230306792A1 (en) | Spoof Detection Based on Challenge Response Analysis | |
| WO2021131029A1 (ja) | フィルタ生成装置、推定装置、顔認証システム、フィルタ生成方法および記録媒体 | |
| JP4432181B2 (ja) | 認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP2007102517A (ja) | 顔認識装置および方法、係数生成装置および方法、プログラム、並びに記録媒体 | |
| JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
| JP6897036B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2000268161A (ja) | 実時間表情検出装置 | |
| JP4141090B2 (ja) | 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体 | |
| JP2014102713A (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
| JP6797344B1 (ja) | 学習装置、活用装置、プログラム、学習方法及び活用方法 | |
| JP2009302910A (ja) | 撮像装置及び画像再生装置 | |
| JP2021114111A (ja) | 撮像支援装置、撮像支援方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090714 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |