JPH09160589A - 利用者照合装置 - Google Patents
利用者照合装置Info
- Publication number
- JPH09160589A JPH09160589A JP7317942A JP31794295A JPH09160589A JP H09160589 A JPH09160589 A JP H09160589A JP 7317942 A JP7317942 A JP 7317942A JP 31794295 A JP31794295 A JP 31794295A JP H09160589 A JPH09160589 A JP H09160589A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- image
- user
- feature amount
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】 キーボードからパスワードを入力する場合に
比べて、利用者照合をより厳密に行うことができ、不正
にパスワードを取得した利用者が情報処理装置を不正に
利用することを防止することができる利用者照合装置を
提供する。 【解決手段】 利用者の音声を蓄積する手段４０５と、
利用者の画像を蓄積する手段４０７と、現在の利用者の
画像を入力する手段４０２と、前記入力画像から利用者
の画像特徴量を抽出する手段４０４と、現在の利用者の
音声を入力する手段４０１と、前記入力音声から利用者
の音声特徴量を抽出する手段４０３と、前記入力画像と
入力音声を前記蓄積されている画像・音声と照合する手
段４０８，４０６と、前記照合に用いる音声または画像
を限定する手段と、前記照合結果に基づき現在の利用者
が登録されている利用者であるか否かを判断する手段４
０９から構成される。
比べて、利用者照合をより厳密に行うことができ、不正
にパスワードを取得した利用者が情報処理装置を不正に
利用することを防止することができる利用者照合装置を
提供する。 【解決手段】 利用者の音声を蓄積する手段４０５と、
利用者の画像を蓄積する手段４０７と、現在の利用者の
画像を入力する手段４０２と、前記入力画像から利用者
の画像特徴量を抽出する手段４０４と、現在の利用者の
音声を入力する手段４０１と、前記入力音声から利用者
の音声特徴量を抽出する手段４０３と、前記入力画像と
入力音声を前記蓄積されている画像・音声と照合する手
段４０８，４０６と、前記照合に用いる音声または画像
を限定する手段と、前記照合結果に基づき現在の利用者
が登録されている利用者であるか否かを判断する手段４
０９から構成される。
Description
【０００１】
【発明の属する技術分野】本発明は利用者照合装置に関
するものであり、特に音声と画像の個人性特徴量を利用
して効率的な利用者照合を行う利用者照合装置に関す
る。
するものであり、特に音声と画像の個人性特徴量を利用
して効率的な利用者照合を行う利用者照合装置に関す
る。
【０００２】
【従来の技術】従来の利用者照合装置は、一般的に例え
ば図１１に示したように構成されている。図１１におい
て、１１０１は情報入力するための情報入力手段で例え
ばキーボード、１１０２は情報処理装置で例えばコンピ
ュータ、１１０３は入力された情報を表示するための情
報表示手段、１１０４は他の情報処理装置と接続するた
めのネットワーク装置である。
ば図１１に示したように構成されている。図１１におい
て、１１０１は情報入力するための情報入力手段で例え
ばキーボード、１１０２は情報処理装置で例えばコンピ
ュータ、１１０３は入力された情報を表示するための情
報表示手段、１１０４は他の情報処理装置と接続するた
めのネットワーク装置である。
【０００３】以上のように構成された従来の利用者照合
装置においては、情報入力の開始に当たって情報処理装
置を現在の利用者（これから利用しようとする利用者）
が予め利用許可された利用者であるか否かを、通常、利
用者がキーボードからパスワード（暗唱番号）を入力す
ることにより確認して、利用許可された利用者であると
判断したときに限って情報の入力が開始できるようにな
る。
装置においては、情報入力の開始に当たって情報処理装
置を現在の利用者（これから利用しようとする利用者）
が予め利用許可された利用者であるか否かを、通常、利
用者がキーボードからパスワード（暗唱番号）を入力す
ることにより確認して、利用許可された利用者であると
判断したときに限って情報の入力が開始できるようにな
る。
【０００４】
【発明が解決しようとする課題】しかしながら、以上の
ように構成された従来の利用者照合装置においては、不
特定多数の利用者が利用できるような環境で情報処理装
置が利用されるような場合には、何らかの手段によっ
て、利用許可された以外の者が不正にパスワードを取得
してキーボードからパスワードを入力することにより情
報処理装置が不正に利用されてしまうという問題があっ
た。
ように構成された従来の利用者照合装置においては、不
特定多数の利用者が利用できるような環境で情報処理装
置が利用されるような場合には、何らかの手段によっ
て、利用許可された以外の者が不正にパスワードを取得
してキーボードからパスワードを入力することにより情
報処理装置が不正に利用されてしまうという問題があっ
た。
【０００５】本発明はかかる点に鑑み、不正にパスワー
ドを取得した利用者が情報処理装置を不正に利用するこ
とを防止し、情報処理装置の利用者の照合をより厳密に
行うことのできる利用者照合装置を提供することを目的
とする。
ドを取得した利用者が情報処理装置を不正に利用するこ
とを防止し、情報処理装置の利用者の照合をより厳密に
行うことのできる利用者照合装置を提供することを目的
とする。
【０００６】
【課題を解決するための手段】本発明に係る利用者照合
装置は、情報処理装置の利用を許可された利用者の画像
の特徴量と音声の特徴量を予め蓄積しておき、現在の利
用者の画像と音声を入力し、それぞれの特徴量を抽出
し、抽出した画像特徴量および音声特徴量をそれぞれ蓄
積されている画像特徴量および音声特徴量と照合して、
画像による照合結果と音声による照合結果とが一致した
ときに現在の利用者が登録されている利用者であると判
断するように構成してあることを特徴としている。利用
者の画像の特徴量と音声の特徴量を用いて照合するの
で、情報処理装置の利用者の照合をより厳密に行うこと
ができ、不正にパスワードを取得した利用者が情報処理
装置を不正に利用することを防止する。
装置は、情報処理装置の利用を許可された利用者の画像
の特徴量と音声の特徴量を予め蓄積しておき、現在の利
用者の画像と音声を入力し、それぞれの特徴量を抽出
し、抽出した画像特徴量および音声特徴量をそれぞれ蓄
積されている画像特徴量および音声特徴量と照合して、
画像による照合結果と音声による照合結果とが一致した
ときに現在の利用者が登録されている利用者であると判
断するように構成してあることを特徴としている。利用
者の画像の特徴量と音声の特徴量を用いて照合するの
で、情報処理装置の利用者の照合をより厳密に行うこと
ができ、不正にパスワードを取得した利用者が情報処理
装置を不正に利用することを防止する。
【０００７】
【発明の実施の形態】本発明に係る請求項１の利用者照
合装置は、情報処理装置の利用許可された利用者の画像
の特徴量と音声の特徴量を蓄積しておき、入力した現在
の利用者の画像の特徴量を蓄積されている画像の特徴量
と照合するとともに、入力した現在の利用者の音声の特
徴量を蓄積されている音声の特徴量と照合し、画像によ
る照合結果と音声による照合結果とが一致したときに現
在の利用者が登録されている利用者であると判断するよ
うに構成してあることを特徴としている。利用者の画像
の特徴量と音声の特徴量を用いて照合するので、情報処
理装置の利用者の照合をより厳密に行うことができ、不
正にパスワードを取得した利用者が情報処理装置を不正
に利用することを防止する。
合装置は、情報処理装置の利用許可された利用者の画像
の特徴量と音声の特徴量を蓄積しておき、入力した現在
の利用者の画像の特徴量を蓄積されている画像の特徴量
と照合するとともに、入力した現在の利用者の音声の特
徴量を蓄積されている音声の特徴量と照合し、画像によ
る照合結果と音声による照合結果とが一致したときに現
在の利用者が登録されている利用者であると判断するよ
うに構成してあることを特徴としている。利用者の画像
の特徴量と音声の特徴量を用いて照合するので、情報処
理装置の利用者の照合をより厳密に行うことができ、不
正にパスワードを取得した利用者が情報処理装置を不正
に利用することを防止する。
【０００８】本発明に係る請求項２の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、前記入力画像に含まれ
る画像特徴量を予め蓄積してある画像特徴量と照合する
手段と、前記画像照合結果により前記蓄積手段に蓄積し
てある利用者を照合するために用いる音声の候補を限定
する手段と、前記限定された音声候補の特徴量と入力さ
れた音声の特徴量とを照合する手段と、前記画像による
照合結果と前記音声による照合結果が一致したときに現
在の利用者が登録利用者であると判断する手段を備えた
ことを特徴としている。音声照合するに際して、予め、
画像による照合結果に基づいて音声候補を限定してある
から、照合すべき数が大きいとき、効率的な照合が可能
となる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、前記入力画像に含まれ
る画像特徴量を予め蓄積してある画像特徴量と照合する
手段と、前記画像照合結果により前記蓄積手段に蓄積し
てある利用者を照合するために用いる音声の候補を限定
する手段と、前記限定された音声候補の特徴量と入力さ
れた音声の特徴量とを照合する手段と、前記画像による
照合結果と前記音声による照合結果が一致したときに現
在の利用者が登録利用者であると判断する手段を備えた
ことを特徴としている。音声照合するに際して、予め、
画像による照合結果に基づいて音声候補を限定してある
から、照合すべき数が大きいとき、効率的な照合が可能
となる。
【０００９】本発明に係る請求項３の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、前記入力画像に含まれ
る画像特徴量を予め蓄積してある画像特徴量と照合する
手段と、前記画像照合結果と入力された利用者の個人性
を反映する音声特徴量の一部を用いて前記蓄積手段に蓄
積してある利用者を照合するために用いる音声候補を限
定する手段と、前記限定された音声候補の特徴量と入力
された音声の特徴量とを照合する手段と、前記画像によ
る照合結果と前記音声による照合結果が一致したときに
現在の利用者が登録利用者であると判断する手段を備え
たことを特徴としている。まず現在の利用者の画像情報
を用いて利用者の照合を行い、その結果と音声の大局的
な特徴量の類似性とを用いて照合すべき音声を限定する
ことによって、照合すべき画像と音声の数が大きいと
き、効率的な照合が可能となる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、前記入力画像に含まれ
る画像特徴量を予め蓄積してある画像特徴量と照合する
手段と、前記画像照合結果と入力された利用者の個人性
を反映する音声特徴量の一部を用いて前記蓄積手段に蓄
積してある利用者を照合するために用いる音声候補を限
定する手段と、前記限定された音声候補の特徴量と入力
された音声の特徴量とを照合する手段と、前記画像によ
る照合結果と前記音声による照合結果が一致したときに
現在の利用者が登録利用者であると判断する手段を備え
たことを特徴としている。まず現在の利用者の画像情報
を用いて利用者の照合を行い、その結果と音声の大局的
な特徴量の類似性とを用いて照合すべき音声を限定する
ことによって、照合すべき画像と音声の数が大きいと
き、効率的な照合が可能となる。
【００１０】本発明に係る請求項４の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、前記入力音声に含まれ
る音声特徴量を予め蓄積してある音声特徴量と照合する
手段と、前記音声照合結果により前記蓄積してある利用
者の照合に用いる画像候補を限定する手段と、前記限定
された画像候補の特徴量と入力された画像特徴量とを照
合する手段と、前記画像による照合結果と前記音声によ
る照合結果が一致したときに現在の利用者が登録利用者
であると判断する手段を備えたことを特徴としている。
まず現在の利用者の音声情報を用いて利用者の照合を行
い、その照合結果を用いて照合すべき画像を大幅に限定
することによって、音声に比べて照合時間のかかる画像
の照合時間を大きく削減することができ、登録者数が大
きな情報処理装置を利用する場合に効率的な照合が可能
となる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、前記入力音声に含まれ
る音声特徴量を予め蓄積してある音声特徴量と照合する
手段と、前記音声照合結果により前記蓄積してある利用
者の照合に用いる画像候補を限定する手段と、前記限定
された画像候補の特徴量と入力された画像特徴量とを照
合する手段と、前記画像による照合結果と前記音声によ
る照合結果が一致したときに現在の利用者が登録利用者
であると判断する手段を備えたことを特徴としている。
まず現在の利用者の音声情報を用いて利用者の照合を行
い、その照合結果を用いて照合すべき画像を大幅に限定
することによって、音声に比べて照合時間のかかる画像
の照合時間を大きく削減することができ、登録者数が大
きな情報処理装置を利用する場合に効率的な照合が可能
となる。
【００１１】本発明に係る請求項５の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、入力された利用者の個
人性を反映する音声特徴量の一部を用いて前記蓄積手段
に蓄積してある利用者を照合するために用いる音声候補
を限定する手段と、前記限定された音声候補の特徴量と
入力された音声の特徴量とを照合する手段と、入力され
た利用者の個人性を反映する画像特徴量の一部を用いて
前記蓄積手段に蓄積してある利用者を照合するために用
いる画像候補を限定する手段と、前記限定された画像候
補の特徴量と入力された画像の特徴量とを照合する手段
と、前記画像による照合結果と前記音声による照合結果
が一致したときに現在の利用者が登録利用者であると判
断する手段を備えたことを特徴としている。利用者の音
声の大局的な情報と画像の大局的な情報とを用いて照合
候補を選択することによって、利用者照合時間を大きく
削減することができ、利用者数が大きな情報処理装置を
利用する場合に効率的な照合が可能となる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、入力された利用者の個
人性を反映する音声特徴量の一部を用いて前記蓄積手段
に蓄積してある利用者を照合するために用いる音声候補
を限定する手段と、前記限定された音声候補の特徴量と
入力された音声の特徴量とを照合する手段と、入力され
た利用者の個人性を反映する画像特徴量の一部を用いて
前記蓄積手段に蓄積してある利用者を照合するために用
いる画像候補を限定する手段と、前記限定された画像候
補の特徴量と入力された画像の特徴量とを照合する手段
と、前記画像による照合結果と前記音声による照合結果
が一致したときに現在の利用者が登録利用者であると判
断する手段を備えたことを特徴としている。利用者の音
声の大局的な情報と画像の大局的な情報とを用いて照合
候補を選択することによって、利用者照合時間を大きく
削減することができ、利用者数が大きな情報処理装置を
利用する場合に効率的な照合が可能となる。
【００１２】本発明に係る請求項６の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、入力された利用者の個
人性を反映する音声特徴量の一部を用いて前記蓄積手段
に蓄積してある利用者を照合するために用いる音声候補
を限定する手段と、前記限定された音声候補の特徴量と
入力された音声の特徴量とを照合する手段と、入力され
た利用者の個人性を反映する画像特徴量の一部を用いて
前記蓄積手段に蓄積してある利用者を照合するために用
いる画像候補を限定する手段と、前記音声照合結果によ
り同様に蓄積してある利用者を照合するために用いる画
像候補を限定する手段と、前記限定された画像候補の特
徴量と入力された画像の特徴量とを照合する手段と、前
記音声による照合結果と前記画像による照合結果が一致
したときに現在の利用者が登録利用者であると判断する
手段を備えたことを特徴としている。音声照合結果を用
いて照合すべき画像をさらに限定するので、請求項５の
場合よりもより効率的な照合を行うことができる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、入力された利用者の個
人性を反映する音声特徴量の一部を用いて前記蓄積手段
に蓄積してある利用者を照合するために用いる音声候補
を限定する手段と、前記限定された音声候補の特徴量と
入力された音声の特徴量とを照合する手段と、入力され
た利用者の個人性を反映する画像特徴量の一部を用いて
前記蓄積手段に蓄積してある利用者を照合するために用
いる画像候補を限定する手段と、前記音声照合結果によ
り同様に蓄積してある利用者を照合するために用いる画
像候補を限定する手段と、前記限定された画像候補の特
徴量と入力された画像の特徴量とを照合する手段と、前
記音声による照合結果と前記画像による照合結果が一致
したときに現在の利用者が登録利用者であると判断する
手段を備えたことを特徴としている。音声照合結果を用
いて照合すべき画像をさらに限定するので、請求項５の
場合よりもより効率的な照合を行うことができる。
【００１３】本発明に係る請求項７の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、入力された利用者の個
人性を反映する画像特徴量の一部を用いて前記蓄積手段
に蓄積してある利用者を照合するために用いる画像候補
を限定する手段と、前記限定された画像候補の特徴量と
入力された画像の特徴量とを照合する手段と、入力され
た利用者の個人性を反映する音声特徴量の一部を用いて
前記蓄積手段に蓄積してある利用者を照合するために用
いる音声候補を限定する手段と、前記画像照合結果によ
り同様に蓄積してある利用者を照合するために用いる音
声候補を限定する手段と、前記限定された音声候補の特
徴量と入力された音声の特徴量とを照合する手段と、前
記画像による照合結果と前記音声による照合結果が一致
したときに現在の利用者が登録利用者であると判断する
手段を備えたことを特徴としている。画像照合結果を用
いて照合すべき画像をさらに限定するので、請求項５の
場合よりもより効率的な照合を行うことができる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、入力された利用者の個
人性を反映する画像特徴量の一部を用いて前記蓄積手段
に蓄積してある利用者を照合するために用いる画像候補
を限定する手段と、前記限定された画像候補の特徴量と
入力された画像の特徴量とを照合する手段と、入力され
た利用者の個人性を反映する音声特徴量の一部を用いて
前記蓄積手段に蓄積してある利用者を照合するために用
いる音声候補を限定する手段と、前記画像照合結果によ
り同様に蓄積してある利用者を照合するために用いる音
声候補を限定する手段と、前記限定された音声候補の特
徴量と入力された音声の特徴量とを照合する手段と、前
記画像による照合結果と前記音声による照合結果が一致
したときに現在の利用者が登録利用者であると判断する
手段を備えたことを特徴としている。画像照合結果を用
いて照合すべき画像をさらに限定するので、請求項５の
場合よりもより効率的な照合を行うことができる。
【００１４】本発明に係る請求項８の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、前記入力音声に含まれ
る音声特徴量を予め蓄積してある音声特徴量と照合する
手段と、前記入力音声から現在の利用者を照合したとき
の音声信頼度を求める手段と、前記音声照合結果により
前記蓄積してある利用者の照合に用いる画像を限定する
手段と、前記限定された画像特徴量と入力された画像特
徴量とを照合する手段と、前記画像照合結果から現在の
利用者を照合したときの画像信頼度を求める手段と、前
記音声からの信頼度と前記画像からの信頼度の各々が予
め設定した値よりも高いときに現在の利用者が登録利用
者であると判断する手段を備えたことを特徴としてい
る。入力された音声と画像を用いて利用者を判定すると
同時に、音声と画像の信頼度を考慮することでより信頼
度の高い確実な利用者照合判定を行うことができる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、前記入力画像から利用者の個人性を反映する画
像特徴量を抽出する手段と、現在の利用者の音声を入力
する手段と、前記入力音声から利用者の個人性を反映す
る音声特徴量を抽出する手段と、前記入力音声に含まれ
る音声特徴量を予め蓄積してある音声特徴量と照合する
手段と、前記入力音声から現在の利用者を照合したとき
の音声信頼度を求める手段と、前記音声照合結果により
前記蓄積してある利用者の照合に用いる画像を限定する
手段と、前記限定された画像特徴量と入力された画像特
徴量とを照合する手段と、前記画像照合結果から現在の
利用者を照合したときの画像信頼度を求める手段と、前
記音声からの信頼度と前記画像からの信頼度の各々が予
め設定した値よりも高いときに現在の利用者が登録利用
者であると判断する手段を備えたことを特徴としてい
る。入力された音声と画像を用いて利用者を判定すると
同時に、音声と画像の信頼度を考慮することでより信頼
度の高い確実な利用者照合判定を行うことができる。
【００１５】本発明に係る請求項９の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の音声を入力する
手段と、前記入力音声から利用者の個人性を反映する音
声特徴量を抽出する手段と、現在の利用者の画像を入力
する手段と、前記入力画像から利用者の個人性を反映す
る画像特徴量を抽出する手段と、前記入力した画像特徴
量と予め蓄積してある画像特徴量とを照合する手段と、
前記画像照合結果の信頼度を求める手段と、前記画像照
合結果と信頼度に基づき音声照合に用いるための登録利
用者の数と候補を限定する手段と、前記限定された利用
者の音声特徴量と入力された音声特徴量とを照合する手
段と、前記音声照合結果の信頼度を求める手段と、前記
画像から求めた信頼度と前記音声から求めた信頼度の各
々が予め設定した値よりも高いときに現在の利用者が登
録されている利用者であると判断する手段を備えたこと
を特徴としている。入力された画像と音声を用いて利用
者を判定すると同時に、音声と画像の信頼度を考慮する
ことでより信頼度の高い確実な利用者照合判定を行うこ
とができる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の音声を入力する
手段と、前記入力音声から利用者の個人性を反映する音
声特徴量を抽出する手段と、現在の利用者の画像を入力
する手段と、前記入力画像から利用者の個人性を反映す
る画像特徴量を抽出する手段と、前記入力した画像特徴
量と予め蓄積してある画像特徴量とを照合する手段と、
前記画像照合結果の信頼度を求める手段と、前記画像照
合結果と信頼度に基づき音声照合に用いるための登録利
用者の数と候補を限定する手段と、前記限定された利用
者の音声特徴量と入力された音声特徴量とを照合する手
段と、前記音声照合結果の信頼度を求める手段と、前記
画像から求めた信頼度と前記音声から求めた信頼度の各
々が予め設定した値よりも高いときに現在の利用者が登
録されている利用者であると判断する手段を備えたこと
を特徴としている。入力された画像と音声を用いて利用
者を判定すると同時に、音声と画像の信頼度を考慮する
ことでより信頼度の高い確実な利用者照合判定を行うこ
とができる。
【００１６】本発明に係る請求項１０の利用者照合装置
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、現在の利用者の音声を入力する手段と、前記入
力画像から利用者の個人性を反映する画像特徴量を抽出
する手段と、前記入力した画像特徴量と予め蓄積してあ
る画像特徴量とを照合する手段と、前記画像照合結果の
信頼度を求める手段と、前記画像照合結果と信頼度に基
づき音声照合に用いるための登録利用者の候補を限定す
る手段と、前記画像信頼度が予め設定した基準値より高
かったときに現在の利用者が登録利用者であると判断す
る手段と、前記画像信頼度が予め設定した基準値よりも
低かったときに前記音声入力手段から音声を入力する手
段と、前記入力音声から利用者の個人性を反映する音声
特徴量を抽出する手段と、前記画像照合結果と前記音声
の個人性情報を用いて限定された音声特徴量と入力され
た音声特徴量とを照合する手段と、前記音声照合結果の
信頼度を求める手段と、前記音声の信頼度と前記画像の
信頼度の各々が予め設定した値よりも高かったときに現
在の利用者が登録利用者であると判断する手段を備えた
ことを特徴としている。まず画像を用いて利用者を照合
し、そのときの画像信頼度が基準値よりも高かった場合
には音声を使った照合は行わずに情報処理装置の利用を
許可し、画像信頼度が基準値よりも低かった場合には音
声を用いた照合も行うことで、より効率的で確かな利用
者照合判定を行うことができる。
は、登録利用者の音声を蓄積する手段と、登録利用者の
画像を蓄積する手段と、現在の利用者の画像を入力する
手段と、現在の利用者の音声を入力する手段と、前記入
力画像から利用者の個人性を反映する画像特徴量を抽出
する手段と、前記入力した画像特徴量と予め蓄積してあ
る画像特徴量とを照合する手段と、前記画像照合結果の
信頼度を求める手段と、前記画像照合結果と信頼度に基
づき音声照合に用いるための登録利用者の候補を限定す
る手段と、前記画像信頼度が予め設定した基準値より高
かったときに現在の利用者が登録利用者であると判断す
る手段と、前記画像信頼度が予め設定した基準値よりも
低かったときに前記音声入力手段から音声を入力する手
段と、前記入力音声から利用者の個人性を反映する音声
特徴量を抽出する手段と、前記画像照合結果と前記音声
の個人性情報を用いて限定された音声特徴量と入力され
た音声特徴量とを照合する手段と、前記音声照合結果の
信頼度を求める手段と、前記音声の信頼度と前記画像の
信頼度の各々が予め設定した値よりも高かったときに現
在の利用者が登録利用者であると判断する手段を備えた
ことを特徴としている。まず画像を用いて利用者を照合
し、そのときの画像信頼度が基準値よりも高かった場合
には音声を使った照合は行わずに情報処理装置の利用を
許可し、画像信頼度が基準値よりも低かった場合には音
声を用いた照合も行うことで、より効率的で確かな利用
者照合判定を行うことができる。
【００１７】本発明に係る請求項１１の利用者照合装置
は、上記請求項１から請求項１０までのいずれかにおい
て、利用者の音声特徴量を抽出する手段が、利用者の音
声のピッチの平均値を求める手段と、ピッチの標準偏差
を求める手段と、平均音声パワーを求める手段と、平均
音声パワーの標準偏差を求める手段と、音声パワースベ
クトラムの時系列情報を求める手段とからなるものであ
る。高精度な照合を行うことができる。
は、上記請求項１から請求項１０までのいずれかにおい
て、利用者の音声特徴量を抽出する手段が、利用者の音
声のピッチの平均値を求める手段と、ピッチの標準偏差
を求める手段と、平均音声パワーを求める手段と、平均
音声パワーの標準偏差を求める手段と、音声パワースベ
クトラムの時系列情報を求める手段とからなるものであ
る。高精度な照合を行うことができる。
【００１８】本発明に係る請求項１２の利用者照合装置
は、上記請求項１から請求項１０までのいずれかにおい
て、利用者の画像特徴量を抽出する手段が、利用者の顔
画像の輝度情報を求める手段と、輝度情報の位置微分情
報を求める手段と、利用者の顔画像の輪郭情報を求める
手段と、利用者の顔画像の色情報を求める手段と、前記
画像の輝度情報、輝度情報の位置微分情報、輪郭情報、
色情報の重みづけを行う手段とからなるものである。高
精度な照合を行うことができる。
は、上記請求項１から請求項１０までのいずれかにおい
て、利用者の画像特徴量を抽出する手段が、利用者の顔
画像の輝度情報を求める手段と、輝度情報の位置微分情
報を求める手段と、利用者の顔画像の輪郭情報を求める
手段と、利用者の顔画像の色情報を求める手段と、前記
画像の輝度情報、輝度情報の位置微分情報、輪郭情報、
色情報の重みづけを行う手段とからなるものである。高
精度な照合を行うことができる。
【００１９】本発明に係る請求項１３の利用者照合装置
は、上記請求項１から請求項１０までのいずれかにおい
て、利用者の画像特徴量を抽出する手段が、画像から利
用者の身長を推定する手段と、利用者の顔画像の色情報
を求める手段と、前記顔画像の輝度情報、輝度情報の位
置微分情報、輪郭情報とからなるものである。高精度な
照合を行うことができる。
は、上記請求項１から請求項１０までのいずれかにおい
て、利用者の画像特徴量を抽出する手段が、画像から利
用者の身長を推定する手段と、利用者の顔画像の色情報
を求める手段と、前記顔画像の輝度情報、輝度情報の位
置微分情報、輪郭情報とからなるものである。高精度な
照合を行うことができる。
【００２０】（実施の形態１）以下、本発明の実施の形
態１について図面を参照して説明する。
態１について図面を参照して説明する。
【００２１】図１は本発明の実施の形態１における利用
者照合装置の構成図を示すものである。図１において、
１００は情報処理装置、１０１は情報処理装置１００を
これから利用しようとする利用者（現在の利用者）の音
声を入力するための音声入力装置、１０２は情報処理装
置１００の現在の利用者の顔画像を入力するための画像
入力装置、１０３は音声入力装置１０１で入力された現
在の利用者の音声の特徴量を取り出すための音声特徴抽
出装置、１０４は画像入力装置１０２で入力された現在
の利用者の画像の特徴量を取り出すための画像特徴抽出
装置、１０５は予め登録されている利用者の音声の特徴
量を蓄積している登録者音声特徴蓄積装置、１０６は音
声特徴抽出装置１０３で取り出された現在の利用者の音
声の特徴量と登録者音声特徴蓄積装置１０５に予め登録
されている利用者の音声の特徴量を照合するための音声
照合装置である。この音声照合装置１０６は、画像照合
装置１０８での画像照合の結果により登録者音声特徴蓄
積装置１０５で限定されたＮ個（Ｎは正の整数）の音声
候補の特徴量を音声特徴抽出装置１０３が抽出した音声
の特徴量と照合するように構成されている。１０７は予
め登録されている利用者の画像の特徴量を蓄積している
登録者画像特徴蓄積装置、１０８は画像特徴抽出装置１
０４で取り出された現在の利用者の画像の特徴量と登録
者画像特徴蓄積装置１０７に予め登録されている利用者
の画像の特徴量を照合するための画像照合装置、１０９
は画像照合装置１０８で照合された利用者と音声照合装
置１０６で照合された利用者とが一致しているか否かを
判定する一致判定装置である。
者照合装置の構成図を示すものである。図１において、
１００は情報処理装置、１０１は情報処理装置１００を
これから利用しようとする利用者（現在の利用者）の音
声を入力するための音声入力装置、１０２は情報処理装
置１００の現在の利用者の顔画像を入力するための画像
入力装置、１０３は音声入力装置１０１で入力された現
在の利用者の音声の特徴量を取り出すための音声特徴抽
出装置、１０４は画像入力装置１０２で入力された現在
の利用者の画像の特徴量を取り出すための画像特徴抽出
装置、１０５は予め登録されている利用者の音声の特徴
量を蓄積している登録者音声特徴蓄積装置、１０６は音
声特徴抽出装置１０３で取り出された現在の利用者の音
声の特徴量と登録者音声特徴蓄積装置１０５に予め登録
されている利用者の音声の特徴量を照合するための音声
照合装置である。この音声照合装置１０６は、画像照合
装置１０８での画像照合の結果により登録者音声特徴蓄
積装置１０５で限定されたＮ個（Ｎは正の整数）の音声
候補の特徴量を音声特徴抽出装置１０３が抽出した音声
の特徴量と照合するように構成されている。１０７は予
め登録されている利用者の画像の特徴量を蓄積している
登録者画像特徴蓄積装置、１０８は画像特徴抽出装置１
０４で取り出された現在の利用者の画像の特徴量と登録
者画像特徴蓄積装置１０７に予め登録されている利用者
の画像の特徴量を照合するための画像照合装置、１０９
は画像照合装置１０８で照合された利用者と音声照合装
置１０６で照合された利用者とが一致しているか否かを
判定する一致判定装置である。
【００２２】以上のように構成された実施の形態１の利
用者照合装置について、以下にその動作を説明する。情
報処理装置１００の現在の利用者は利用に先立ち利用者
の音声と顔画像をそれぞれ音声入力装置１０１と画像入
力装置１０２から入力する。
用者照合装置について、以下にその動作を説明する。情
報処理装置１００の現在の利用者は利用に先立ち利用者
の音声と顔画像をそれぞれ音声入力装置１０１と画像入
力装置１０２から入力する。
【００２３】入力された画像は画像特徴抽出装置１０４
に入力され、現在の利用者の画像に含まれる個人性情報
を抽出する。画像に含まれる個人性情報としては、顔画
像の輝度情報、輝度情報の位置微分情報、顔画像の色情
報を用いる。現在の利用者の画像が予め情報処理装置１
００に登録されている利用者であるか否かの照合につい
ては、画像特徴抽出装置１０４で抽出した特徴量と登録
者画像特徴蓄積装置１０７の特徴量とが画像照合装置１
０８で照合され、利用者が予め登録されているか否かを
照合する。
に入力され、現在の利用者の画像に含まれる個人性情報
を抽出する。画像に含まれる個人性情報としては、顔画
像の輝度情報、輝度情報の位置微分情報、顔画像の色情
報を用いる。現在の利用者の画像が予め情報処理装置１
００に登録されている利用者であるか否かの照合につい
ては、画像特徴抽出装置１０４で抽出した特徴量と登録
者画像特徴蓄積装置１０７の特徴量とが画像照合装置１
０８で照合され、利用者が予め登録されているか否かを
照合する。
【００２４】一方、入力された音声は音声特徴抽出装置
１０３に入力され、現在の利用者の音声に含まれる個人
性情報を抽出する。ここで抽出している個人性情報とし
ては、音声のピッチの平均値、ピッチの標準偏差、平均
音声パワーとその標準偏差、音声パワースペクトラムの
時系列情報等を用いる。これらの特徴量は公知の手法
（例えばＤＦＴ分析、ＬＰＣ分析、フィルタ分析等）を
用いて容易に求めることが可能である。音声特徴抽出装
置１０３で抽出された音声の特徴量は登録者音声特徴蓄
積装置１０５に蓄積されている予め登録されている利用
者の音声の特徴量と音声照合装置１０６で照合され、利
用者が予め登録されているか否かを照合する。ここで照
合に用いられる蓄積音声は、画像照合の結果から求めた
Ｎ個（Ｎは正の整数）の利用者の候補の音声に限定され
ている。すなわち、音声照合装置１０６は画像照合の結
果により登録者音声特徴蓄積装置１０５で限定されたＮ
個の音声候補の特徴量を音声特徴抽出装置１０３が抽出
した音声の特徴量と照合する。音声照合装置１０６での
特徴量の照合は、公知のＨＭＭ（Hidden Malkof Model
）、ＤＴＷ（Dynamic Time Warping）、ＬＶＱ（Learn
ing Vector Quantizer）などのパターン照合手法を用い
て行うことができる。一致判定装置１０９は画像照合装
置１０８による照合結果と音声照合装置１０６による照
合結果とが一致したときのみ「１」を出力し、不一致の
ときは「０」を出力する。一致判定装置１０９が「１」
を出力したときのみ、現在の利用者が登録されている利
用者であると判断して、現在の利用者に対して情報処理
装置１００の利用を許可する。
１０３に入力され、現在の利用者の音声に含まれる個人
性情報を抽出する。ここで抽出している個人性情報とし
ては、音声のピッチの平均値、ピッチの標準偏差、平均
音声パワーとその標準偏差、音声パワースペクトラムの
時系列情報等を用いる。これらの特徴量は公知の手法
（例えばＤＦＴ分析、ＬＰＣ分析、フィルタ分析等）を
用いて容易に求めることが可能である。音声特徴抽出装
置１０３で抽出された音声の特徴量は登録者音声特徴蓄
積装置１０５に蓄積されている予め登録されている利用
者の音声の特徴量と音声照合装置１０６で照合され、利
用者が予め登録されているか否かを照合する。ここで照
合に用いられる蓄積音声は、画像照合の結果から求めた
Ｎ個（Ｎは正の整数）の利用者の候補の音声に限定され
ている。すなわち、音声照合装置１０６は画像照合の結
果により登録者音声特徴蓄積装置１０５で限定されたＮ
個の音声候補の特徴量を音声特徴抽出装置１０３が抽出
した音声の特徴量と照合する。音声照合装置１０６での
特徴量の照合は、公知のＨＭＭ（Hidden Malkof Model
）、ＤＴＷ（Dynamic Time Warping）、ＬＶＱ（Learn
ing Vector Quantizer）などのパターン照合手法を用い
て行うことができる。一致判定装置１０９は画像照合装
置１０８による照合結果と音声照合装置１０６による照
合結果とが一致したときのみ「１」を出力し、不一致の
ときは「０」を出力する。一致判定装置１０９が「１」
を出力したときのみ、現在の利用者が登録されている利
用者であると判断して、現在の利用者に対して情報処理
装置１００の利用を許可する。
【００２５】以上のように本実施の形態によれば、利用
者に特有な画像情報と音声情報を用いて利用者の照合を
行うことによって、従来のパスワード（暗唱番号）をキ
ーボードから入力するだけでは避けることのできない情
報処理装置の不正利用を防ぐことができる。そして、音
声照合するに際して、予め、画像による照合結果に基づ
いて音声候補を限定してあるから、照合すべき数が大き
いとき、効率的な照合が可能となる。
者に特有な画像情報と音声情報を用いて利用者の照合を
行うことによって、従来のパスワード（暗唱番号）をキ
ーボードから入力するだけでは避けることのできない情
報処理装置の不正利用を防ぐことができる。そして、音
声照合するに際して、予め、画像による照合結果に基づ
いて音声候補を限定してあるから、照合すべき数が大き
いとき、効率的な照合が可能となる。
【００２６】（実施の形態２）以下、本発明の実施の形
態２について図面を参照して説明する。
態２について図面を参照して説明する。
【００２７】図２は本発明の実施の形態２における利用
者照合装置の構成図を示すものである。図２において、
２００は情報処理装置、２０１は情報処理装置２００に
現在の利用者の音声を入力するための音声入力装置、２
０２は情報処理装置２００の現在の利用者の顔画像を入
力するための画像入力装置、２０３−１は音声入力装置
２０１で入力された現在の利用者の音声の平均的なピッ
チ等の大局的な特徴量を取り出すための音声特徴抽出装
置、２０３−２は音声入力装置２０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、２０４は画像入力装置
２０２で入力された現在の利用者の画像の特徴量を取り
出すための画像特徴抽出装置、２０５は予め登録されて
いる利用者の音声の特徴量を蓄積している登録者音声特
徴蓄積装置、２０６は音声特徴抽出装置２０３で取り出
された現在の利用者の音声の特徴量と予め登録されてい
る利用者の音声の特徴量を照合するための音声照合装
置、２０７は予め登録されている利用者の画像の特徴量
を蓄積している登録者画像特徴蓄積装置、２０８は画像
特徴抽出装置２０４で取り出された現在の利用者の画像
の特徴量と予め登録されている利用者の画像の特徴量を
照合するための画像照合装置、２０９は画像照合装置２
０８で照合された利用者と音声照合装置２０６で照合さ
れた利用者とが一致しているか否かを判定する一致判定
装置である。音声特徴抽出装置２０３−１による大局的
な音声の特徴量に基づいて登録者音声特徴蓄積装置２０
５での音声候補を限定するように構成されている。ま
た、画像照合装置２０８によるＮ個の画像候補に基づい
ても登録者音声特徴蓄積装置２０５での音声候補を限定
するように構成されている。
者照合装置の構成図を示すものである。図２において、
２００は情報処理装置、２０１は情報処理装置２００に
現在の利用者の音声を入力するための音声入力装置、２
０２は情報処理装置２００の現在の利用者の顔画像を入
力するための画像入力装置、２０３−１は音声入力装置
２０１で入力された現在の利用者の音声の平均的なピッ
チ等の大局的な特徴量を取り出すための音声特徴抽出装
置、２０３−２は音声入力装置２０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、２０４は画像入力装置
２０２で入力された現在の利用者の画像の特徴量を取り
出すための画像特徴抽出装置、２０５は予め登録されて
いる利用者の音声の特徴量を蓄積している登録者音声特
徴蓄積装置、２０６は音声特徴抽出装置２０３で取り出
された現在の利用者の音声の特徴量と予め登録されてい
る利用者の音声の特徴量を照合するための音声照合装
置、２０７は予め登録されている利用者の画像の特徴量
を蓄積している登録者画像特徴蓄積装置、２０８は画像
特徴抽出装置２０４で取り出された現在の利用者の画像
の特徴量と予め登録されている利用者の画像の特徴量を
照合するための画像照合装置、２０９は画像照合装置２
０８で照合された利用者と音声照合装置２０６で照合さ
れた利用者とが一致しているか否かを判定する一致判定
装置である。音声特徴抽出装置２０３−１による大局的
な音声の特徴量に基づいて登録者音声特徴蓄積装置２０
５での音声候補を限定するように構成されている。ま
た、画像照合装置２０８によるＮ個の画像候補に基づい
ても登録者音声特徴蓄積装置２０５での音声候補を限定
するように構成されている。
【００２８】以上のように構成された実施の形態２の利
用者照合装置について、以下にその動作を説明する。情
報処理装置２００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。画像入力装置２０２によっ
て入力された画像は画像特徴抽出装置２０４に入力さ
れ、利用者の画像に含まれる個人性情報を抽出する。画
像に含まれる個人性情報としては、顔画像の輝度情報、
輝度情報の位置微分情報、顔画像の色情報を用いる。画
像特徴抽出装置２０４で取り出した画像特徴量と登録者
画像特徴蓄積装置２０７に蓄積された画像特徴量とが画
像照合装置２０８で照合され、現在の利用者に最も近い
登録利用者からＮ番目（Ｎは正の整数）までの候補を出
力する。
用者照合装置について、以下にその動作を説明する。情
報処理装置２００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。画像入力装置２０２によっ
て入力された画像は画像特徴抽出装置２０４に入力さ
れ、利用者の画像に含まれる個人性情報を抽出する。画
像に含まれる個人性情報としては、顔画像の輝度情報、
輝度情報の位置微分情報、顔画像の色情報を用いる。画
像特徴抽出装置２０４で取り出した画像特徴量と登録者
画像特徴蓄積装置２０７に蓄積された画像特徴量とが画
像照合装置２０８で照合され、現在の利用者に最も近い
登録利用者からＮ番目（Ｎは正の整数）までの候補を出
力する。
【００２９】一方、音声入力装置２０１から入力された
音声は音声特徴抽出装置２０３−１，２０３−２に入力
され、利用者の音声に含まれる個人性情報を抽出する。
音声特徴抽出装置２０３−１では、音声のピッチの平均
値、ピッチの標準偏差、平均音声パワーとその標準偏差
の個人性情報の大局的な特徴量を求める。音声特徴抽出
装置２０３−２では、音声パワースペクトラムの時系列
情報を求める。これらの特徴量は公知の手法（例えばＤ
ＦＴ分析、ＬＰＣ分析、フィルタ分析等）を用いて容易
に求めることが可能である。音声特徴抽出装置２０３で
求められた音声の特徴量は登録者音声特徴蓄積装置２０
５に予め登録されている利用者の音声の特徴量と音声照
合装置２０６で照合され、利用者が予め登録されている
か否かを照合する。ここで照合に用いられる蓄積音声
は、画像照合の結果から求めたＮ個の利用者の候補と、
音声特徴抽出装置２０３−１で求めた大局的な音声特徴
量の類似している登録利用者に限定されている。音声照
合装置２０６での特徴量の照合は公知のＨＭＭ、ＤＴ
Ｗ、ＬＶＱなどのパターン照合手法を用いて行うことが
できる。一致判定装置２０９は画像照合装置２０８によ
る照合結果と音声照合装置２０６による照合結果とが一
致したときのみ「１」を出力し、不一致のときは「０」
を出力する。一致判定装置２０９が「１」を出力したと
きのみ、現在の利用者が登録されている利用者であると
判断して、現在の利用者に対して情報処理装置２００の
利用を許可する。
音声は音声特徴抽出装置２０３−１，２０３−２に入力
され、利用者の音声に含まれる個人性情報を抽出する。
音声特徴抽出装置２０３−１では、音声のピッチの平均
値、ピッチの標準偏差、平均音声パワーとその標準偏差
の個人性情報の大局的な特徴量を求める。音声特徴抽出
装置２０３−２では、音声パワースペクトラムの時系列
情報を求める。これらの特徴量は公知の手法（例えばＤ
ＦＴ分析、ＬＰＣ分析、フィルタ分析等）を用いて容易
に求めることが可能である。音声特徴抽出装置２０３で
求められた音声の特徴量は登録者音声特徴蓄積装置２０
５に予め登録されている利用者の音声の特徴量と音声照
合装置２０６で照合され、利用者が予め登録されている
か否かを照合する。ここで照合に用いられる蓄積音声
は、画像照合の結果から求めたＮ個の利用者の候補と、
音声特徴抽出装置２０３−１で求めた大局的な音声特徴
量の類似している登録利用者に限定されている。音声照
合装置２０６での特徴量の照合は公知のＨＭＭ、ＤＴ
Ｗ、ＬＶＱなどのパターン照合手法を用いて行うことが
できる。一致判定装置２０９は画像照合装置２０８によ
る照合結果と音声照合装置２０６による照合結果とが一
致したときのみ「１」を出力し、不一致のときは「０」
を出力する。一致判定装置２０９が「１」を出力したと
きのみ、現在の利用者が登録されている利用者であると
判断して、現在の利用者に対して情報処理装置２００の
利用を許可する。
【００３０】以上のように本実施の形態によれば、まず
現在の利用者の画像情報を用いて利用者の照合を行い、
その結果と音声の大局的な特徴量の類似性とを用いて照
合すべき音声を限定することによって、照合すべき画像
と音声の数が大きいとき、効率的な照合が可能となると
ともに、従来のパスワードをキーボードから入力するだ
けでは避けることのできない情報処理装置の不正利用を
防ぐことができる。
現在の利用者の画像情報を用いて利用者の照合を行い、
その結果と音声の大局的な特徴量の類似性とを用いて照
合すべき音声を限定することによって、照合すべき画像
と音声の数が大きいとき、効率的な照合が可能となると
ともに、従来のパスワードをキーボードから入力するだ
けでは避けることのできない情報処理装置の不正利用を
防ぐことができる。
【００３１】（実施の形態３）以下、本発明の実施の形
態３について図面を参照して説明する。
態３について図面を参照して説明する。
【００３２】図３は本発明の実施の形態３における利用
者照合装置の構成図を示すものである。図３において、
３００は情報処理装置、３０１は情報処理装置３００に
現在の利用者の音声を入力するための音声入力装置、３
０２は情報処理装置３００の現在の利用者の顔画像を入
力するための画像入力装置、３０３−１は音声入力装置
３０１で入力された現在の利用者の音声の平均的なピッ
チ等の大局的な特徴量を取り出すための音声特徴抽出装
置、３０３−２は音声入力装置３０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、３０４は画像入力装置
３０２で入力された現在の利用者の画像の特徴量を取り
出すための画像特徴抽出装置、３０５は予め登録されて
いる利用者の音声の特徴量を蓄積している登録者音声特
徴蓄積装置、３０６は音声特徴抽出装置３０３で取り出
された現在の利用者の音声の特徴量と予め登録されてい
る利用者の音声の特徴量を照合するための音声照合装
置、３０７は予め登録されている利用者の画像の特徴量
を蓄積している登録者画像特徴蓄積装置、３０８は画像
特徴抽出装置３０４で取り出された現在の利用者の画像
の特徴量と予め登録されている利用者の画像の特徴量を
照合するための画像照合装置、３０９は画像照合装置３
０８で照合された利用者と音声照合装置３０６で照合さ
れた利用者とが一致しているか否かを判定する一致判定
装置である。音声特徴抽出装置３０３−１による大局的
な音声の特徴量に基づいて登録者音声特徴蓄積装置３０
５での音声候補を限定するように構成されている。ま
た、音声照合装置３０６によるＮ個の音声候補に基づい
て登録者画像特徴蓄積装置３０７での画像候補を限定す
るように構成されている。
者照合装置の構成図を示すものである。図３において、
３００は情報処理装置、３０１は情報処理装置３００に
現在の利用者の音声を入力するための音声入力装置、３
０２は情報処理装置３００の現在の利用者の顔画像を入
力するための画像入力装置、３０３−１は音声入力装置
３０１で入力された現在の利用者の音声の平均的なピッ
チ等の大局的な特徴量を取り出すための音声特徴抽出装
置、３０３−２は音声入力装置３０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、３０４は画像入力装置
３０２で入力された現在の利用者の画像の特徴量を取り
出すための画像特徴抽出装置、３０５は予め登録されて
いる利用者の音声の特徴量を蓄積している登録者音声特
徴蓄積装置、３０６は音声特徴抽出装置３０３で取り出
された現在の利用者の音声の特徴量と予め登録されてい
る利用者の音声の特徴量を照合するための音声照合装
置、３０７は予め登録されている利用者の画像の特徴量
を蓄積している登録者画像特徴蓄積装置、３０８は画像
特徴抽出装置３０４で取り出された現在の利用者の画像
の特徴量と予め登録されている利用者の画像の特徴量を
照合するための画像照合装置、３０９は画像照合装置３
０８で照合された利用者と音声照合装置３０６で照合さ
れた利用者とが一致しているか否かを判定する一致判定
装置である。音声特徴抽出装置３０３−１による大局的
な音声の特徴量に基づいて登録者音声特徴蓄積装置３０
５での音声候補を限定するように構成されている。ま
た、音声照合装置３０６によるＮ個の音声候補に基づい
て登録者画像特徴蓄積装置３０７での画像候補を限定す
るように構成されている。
【００３３】以上のように構成された実施の形態３の利
用者照合装置について、以下にその動作を説明する。情
報処理装置３００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。音声入力装置３０１から入
力された音声は音声特徴抽出装置３０３−１，３０３−
２に入力され利用者の音声に含まれる個人性情報を抽出
する。音声特徴抽出装置３０３−１では、音声のピッチ
の平均値、ピッチの標準偏差、平均音声パワーとその標
準偏差の個人性情報の大局的な特徴量を求める。音声特
徴抽出装置３０３−２では、音声パワースペクトラムの
時系列情報等を求める。これらの特徴量は公知の手法
（例えばＤＦＴ分析、ＬＰＣ分析、フィルタ分析等）を
用いて容易に求めることが可能である。音声特徴抽出装
置３０３で求められた音声の特徴量は登録者音声特徴蓄
積装置３０５に予め登録されている利用者の音声の特徴
量と音声照合装置３０６によって照合され、利用者が予
め登録されているか否かが判断される。照合を効率的に
行うために本実施の形態では、音声特徴抽出装置３０３
−１で抽出された音声のピッチの平均値、ピッチの標準
偏差、平均音声パワーとその標準偏差の個人性情報の大
局的な特徴量の類似した登録者音声特徴蓄積装置３０５
の音声に限定して音声照合を行っている。音声照合装置
３０６での特徴量の照合は公知のＨＭＭ、ＤＴＷ、ＬＶ
Ｑなどのパターン照合手法を用いて行うことができる。
用者照合装置について、以下にその動作を説明する。情
報処理装置３００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。音声入力装置３０１から入
力された音声は音声特徴抽出装置３０３−１，３０３−
２に入力され利用者の音声に含まれる個人性情報を抽出
する。音声特徴抽出装置３０３−１では、音声のピッチ
の平均値、ピッチの標準偏差、平均音声パワーとその標
準偏差の個人性情報の大局的な特徴量を求める。音声特
徴抽出装置３０３−２では、音声パワースペクトラムの
時系列情報等を求める。これらの特徴量は公知の手法
（例えばＤＦＴ分析、ＬＰＣ分析、フィルタ分析等）を
用いて容易に求めることが可能である。音声特徴抽出装
置３０３で求められた音声の特徴量は登録者音声特徴蓄
積装置３０５に予め登録されている利用者の音声の特徴
量と音声照合装置３０６によって照合され、利用者が予
め登録されているか否かが判断される。照合を効率的に
行うために本実施の形態では、音声特徴抽出装置３０３
−１で抽出された音声のピッチの平均値、ピッチの標準
偏差、平均音声パワーとその標準偏差の個人性情報の大
局的な特徴量の類似した登録者音声特徴蓄積装置３０５
の音声に限定して音声照合を行っている。音声照合装置
３０６での特徴量の照合は公知のＨＭＭ、ＤＴＷ、ＬＶ
Ｑなどのパターン照合手法を用いて行うことができる。
【００３４】一方、画像入力装置３０２によって入力さ
れた現在の利用者の画像は画像特徴抽出装置３０４で特
徴抽出された後、画像照合装置３０８に入力され、登録
者画像特徴蓄積装置３０７に蓄積された画像特徴量と照
合され、現在の利用者が予め登録されている利用者であ
るか否かが判断される。本実施の形態では、画像に含ま
れる個人性情報として、顔画像の輝度情報、輝度情報の
位置微分情報、顔画像の色情報を用いる。現在の利用者
の画像が予め情報処理装置３００に登録されている利用
者であるか否かは、画像特徴抽出装置３０４で取り出し
た特徴量と登録者画像特徴蓄積装置３０７の特徴量とを
画像照合装置３０８で照合する。照合すべき登録蓄積画
像の候補は本実施の形態では、先の音声照合装置３０６
での照合結果によって限定された候補を用いている。こ
の画像照合装置３０８では現在の利用者の入力画像と最
も類似した蓄積画像が出力される。一致判定装置３０９
は画像による照合結果と前記音声による照合結果が一致
したときに「１」を出力し、不一致のときは「０」を出
力する。一致判定装置３０９が「１」を出力したときの
み、現在の利用者が登録されている利用者であると判断
して、現在の利用者に対して情報処理装置３００を利用
することを許可する。
れた現在の利用者の画像は画像特徴抽出装置３０４で特
徴抽出された後、画像照合装置３０８に入力され、登録
者画像特徴蓄積装置３０７に蓄積された画像特徴量と照
合され、現在の利用者が予め登録されている利用者であ
るか否かが判断される。本実施の形態では、画像に含ま
れる個人性情報として、顔画像の輝度情報、輝度情報の
位置微分情報、顔画像の色情報を用いる。現在の利用者
の画像が予め情報処理装置３００に登録されている利用
者であるか否かは、画像特徴抽出装置３０４で取り出し
た特徴量と登録者画像特徴蓄積装置３０７の特徴量とを
画像照合装置３０８で照合する。照合すべき登録蓄積画
像の候補は本実施の形態では、先の音声照合装置３０６
での照合結果によって限定された候補を用いている。こ
の画像照合装置３０８では現在の利用者の入力画像と最
も類似した蓄積画像が出力される。一致判定装置３０９
は画像による照合結果と前記音声による照合結果が一致
したときに「１」を出力し、不一致のときは「０」を出
力する。一致判定装置３０９が「１」を出力したときの
み、現在の利用者が登録されている利用者であると判断
して、現在の利用者に対して情報処理装置３００を利用
することを許可する。
【００３５】以上のように本実施の形態によれば、まず
現在の利用者の音声情報を用いて利用者の照合を行い、
その照合結果を用いて照合すべき画像を大幅に限定する
ことによって、音声に比べて照合時間のかかる画像の照
合時間を大きく削減することができ、登録者数が大きな
情報処理装置を利用する場合に効率的な照合が可能とな
るとともに、従来のパスワードをキーボードから入力す
るだけでは避けることのできない情報処理装置の不正利
用を防ぐことができる。
現在の利用者の音声情報を用いて利用者の照合を行い、
その照合結果を用いて照合すべき画像を大幅に限定する
ことによって、音声に比べて照合時間のかかる画像の照
合時間を大きく削減することができ、登録者数が大きな
情報処理装置を利用する場合に効率的な照合が可能とな
るとともに、従来のパスワードをキーボードから入力す
るだけでは避けることのできない情報処理装置の不正利
用を防ぐことができる。
【００３６】（実施の形態４）以下、本発明の実施の形
態４について図面を参照して説明する。
態４について図面を参照して説明する。
【００３７】図４は本発明の実施の形態４における利用
者照合装置の構成図を示すものである。図８において、
４００は情報処理装置、４０１は情報処理装置４００に
現在の利用者の音声を入力するための音声入力装置、４
０２は情報処理装置４００に現在の利用者の画像を入力
するための画像入力装置、４０３−１は音声入力装置４
０１で入力された現在の利用者の音声の平均的なピッチ
等の大局的な特徴量を取り出すための音声特徴抽出装
置、４０３−２は音声入力装置４０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、４０４−１は入力画像
に含まれる利用者の身長に代表される大局的な画像特徴
量を抽出する画像特徴抽出装置、４０４−２は入力画像
に含まれる利用者の顔色、顔の輪郭、目の大きさ、輝度
分布等の局所的な画像特徴量を抽出する画像特徴抽出装
置、４０５は予め登録されている利用者の音声の特徴量
を蓄積している登録者音声特徴蓄積装置、４０６は音声
特徴抽出装置４０３で取り出された現在の利用者の音声
の特徴量と予め登録されている利用者の音声の特徴量を
照合するための音声照合装置、４０７は予め登録されて
いる利用者の画像の特徴量を蓄積している登録者画像特
徴蓄積装置、４０８は画像特徴抽出装置４０４で取り出
された現在の利用者の画像の特徴量と予め登録されてい
る利用者の画像の特徴量を照合するための画像照合装
置、４０９は画像照合装置４０８で照合された利用者と
音声照合装置４０６で照合された利用者とが一致してい
るか否かを判定する一致判定装置である。音声特徴抽出
装置４０３−１による大局的な音声の特徴量に基づいて
登録者音声特徴蓄積装置４０５での音声候補を限定する
ように構成されている。また、画像特徴抽出装置４０４
−１による大局的な画像の特徴量に基づいて登録者画像
特徴蓄積装置４０７での画像候補を限定するように構成
されている。
者照合装置の構成図を示すものである。図８において、
４００は情報処理装置、４０１は情報処理装置４００に
現在の利用者の音声を入力するための音声入力装置、４
０２は情報処理装置４００に現在の利用者の画像を入力
するための画像入力装置、４０３−１は音声入力装置４
０１で入力された現在の利用者の音声の平均的なピッチ
等の大局的な特徴量を取り出すための音声特徴抽出装
置、４０３−２は音声入力装置４０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、４０４−１は入力画像
に含まれる利用者の身長に代表される大局的な画像特徴
量を抽出する画像特徴抽出装置、４０４−２は入力画像
に含まれる利用者の顔色、顔の輪郭、目の大きさ、輝度
分布等の局所的な画像特徴量を抽出する画像特徴抽出装
置、４０５は予め登録されている利用者の音声の特徴量
を蓄積している登録者音声特徴蓄積装置、４０６は音声
特徴抽出装置４０３で取り出された現在の利用者の音声
の特徴量と予め登録されている利用者の音声の特徴量を
照合するための音声照合装置、４０７は予め登録されて
いる利用者の画像の特徴量を蓄積している登録者画像特
徴蓄積装置、４０８は画像特徴抽出装置４０４で取り出
された現在の利用者の画像の特徴量と予め登録されてい
る利用者の画像の特徴量を照合するための画像照合装
置、４０９は画像照合装置４０８で照合された利用者と
音声照合装置４０６で照合された利用者とが一致してい
るか否かを判定する一致判定装置である。音声特徴抽出
装置４０３−１による大局的な音声の特徴量に基づいて
登録者音声特徴蓄積装置４０５での音声候補を限定する
ように構成されている。また、画像特徴抽出装置４０４
−１による大局的な画像の特徴量に基づいて登録者画像
特徴蓄積装置４０７での画像候補を限定するように構成
されている。
【００３８】以上のように構成された実施の形態４の利
用者照合装置について、以下にその動作を説明する。情
報処理装置４００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。音声入力装置４０１から入
力された現在の利用者の音声は音声特徴抽出装置４０３
−１，４０３−２に入力され、利用者の音声に含まれる
個人性情報が抽出される。音声特徴抽出装置４０３−１
では、利用者の個人性情報である音声のピッチの平均
値、ピッチの標準偏差、平均音声パワーとその標準偏差
の大局的な特徴量を求める。音声特徴抽出装置４０３−
２では音声パワースペクトラムの時系列情報を抽出す
る。これらの特徴量は公知の手法（例えばＤＦＴ分析、
ＬＰＣ分析、フィルタ分析等）を用いて容易に求めるこ
とが可能である。音声特徴抽出装置４０３−１で求めた
大局的な音声特徴量は予め登録されている利用者の音声
の特徴量を蓄積している登録者音声特徴蓄積装置４０５
の照合すべき候補を限定するために用いられる。すなわ
ち、現在の利用者の音声のピッチの平均値、ピッチの標
準偏差、平均音声パワーとその標準偏差の大局的な特徴
量の類似している蓄積音声が登録者音声特徴蓄積装置４
０５から選択され、音声照合装置４０６での照合に用い
られる。入力された音声と限定された音声は音声照合装
置４０６によって照合され、利用者が予め登録されてい
るか否かが判断される。音声照合装置４０６での特徴量
の照合は公知のＨＭＭ、ＤＴＷ、ＬＶＱなどのパターン
照合手法を用いて行うことができる。
用者照合装置について、以下にその動作を説明する。情
報処理装置４００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。音声入力装置４０１から入
力された現在の利用者の音声は音声特徴抽出装置４０３
−１，４０３−２に入力され、利用者の音声に含まれる
個人性情報が抽出される。音声特徴抽出装置４０３−１
では、利用者の個人性情報である音声のピッチの平均
値、ピッチの標準偏差、平均音声パワーとその標準偏差
の大局的な特徴量を求める。音声特徴抽出装置４０３−
２では音声パワースペクトラムの時系列情報を抽出す
る。これらの特徴量は公知の手法（例えばＤＦＴ分析、
ＬＰＣ分析、フィルタ分析等）を用いて容易に求めるこ
とが可能である。音声特徴抽出装置４０３−１で求めた
大局的な音声特徴量は予め登録されている利用者の音声
の特徴量を蓄積している登録者音声特徴蓄積装置４０５
の照合すべき候補を限定するために用いられる。すなわ
ち、現在の利用者の音声のピッチの平均値、ピッチの標
準偏差、平均音声パワーとその標準偏差の大局的な特徴
量の類似している蓄積音声が登録者音声特徴蓄積装置４
０５から選択され、音声照合装置４０６での照合に用い
られる。入力された音声と限定された音声は音声照合装
置４０６によって照合され、利用者が予め登録されてい
るか否かが判断される。音声照合装置４０６での特徴量
の照合は公知のＨＭＭ、ＤＴＷ、ＬＶＱなどのパターン
照合手法を用いて行うことができる。
【００３９】一方、画像入力装置４０２によって入力さ
れた利用者の画像は画像特徴抽出装置４０３−１，４０
３−２に入力され、利用者の画像に含まれる個人性情報
が抽出される。画像特徴抽出装置４０３−１では、利用
者の個人性情報である身長に代表されるような画像の大
局的な特徴量を求め、登録者画像特徴蓄積装置４０７に
おいて照合すべき画像候補を限定する。画像特徴抽出装
置４０３−２では顔画像の輝度情報、輝度情報の位置微
分情報、顔画像の色情報を画像特徴量として抽出してい
る。
れた利用者の画像は画像特徴抽出装置４０３−１，４０
３−２に入力され、利用者の画像に含まれる個人性情報
が抽出される。画像特徴抽出装置４０３−１では、利用
者の個人性情報である身長に代表されるような画像の大
局的な特徴量を求め、登録者画像特徴蓄積装置４０７に
おいて照合すべき画像候補を限定する。画像特徴抽出装
置４０３−２では顔画像の輝度情報、輝度情報の位置微
分情報、顔画像の色情報を画像特徴量として抽出してい
る。
【００４０】画像照合装置４０８では、画像特徴抽出装
置４０４−２で抽出された画像特徴量と登録者画像特徴
蓄積装置４０７において限定された画像特徴量とを照合
し、現在の利用者の画像が予め登録されている利用者の
画像であるか否かを照合する。照合すべき登録蓄積画像
の候補は本実施の形態では、画像特徴抽出装置４０４−
１で求めた大局的な画像特徴量の類似した候補を登録者
画像特徴蓄積装置４０７から限定している。一致判定装
置４０９は音声照合装置４０６と画像照合装置４０８と
の照合結果を照合し、それらが一致したときのみ「１」
を出力し、不一致のときは「０」を出力する。一致判定
装置４０９が「１」を出力したときのみ、現在の利用者
が登録されている利用者であると判断して、利用者が情
報処理装置４００を利用することを許可している。
置４０４−２で抽出された画像特徴量と登録者画像特徴
蓄積装置４０７において限定された画像特徴量とを照合
し、現在の利用者の画像が予め登録されている利用者の
画像であるか否かを照合する。照合すべき登録蓄積画像
の候補は本実施の形態では、画像特徴抽出装置４０４−
１で求めた大局的な画像特徴量の類似した候補を登録者
画像特徴蓄積装置４０７から限定している。一致判定装
置４０９は音声照合装置４０６と画像照合装置４０８と
の照合結果を照合し、それらが一致したときのみ「１」
を出力し、不一致のときは「０」を出力する。一致判定
装置４０９が「１」を出力したときのみ、現在の利用者
が登録されている利用者であると判断して、利用者が情
報処理装置４００を利用することを許可している。
【００４１】以上のように本実施の形態によれば、利用
者の音声の大局的な情報と画像の大局的な情報とを用い
て照合候補を選択することによって、利用者照合時間を
大きく削減することができ、利用者数が大きな情報処理
装置を利用する場合に効率的な照合が可能となるととも
に、従来のパスワードをキーボードから入力するだけで
は避けることのできない情報処理装置の不正利用を防ぐ
ことができる。
者の音声の大局的な情報と画像の大局的な情報とを用い
て照合候補を選択することによって、利用者照合時間を
大きく削減することができ、利用者数が大きな情報処理
装置を利用する場合に効率的な照合が可能となるととも
に、従来のパスワードをキーボードから入力するだけで
は避けることのできない情報処理装置の不正利用を防ぐ
ことができる。
【００４２】（実施の形態５）以下、本発明の実施の形
態５について図面を参照して説明する。
態５について図面を参照して説明する。
【００４３】図５は本発明の実施の形態５における利用
者照合装置の構成図を示すものである。この実施の形態
５の構成は前述の実施の形態４（図４）の構成とほぼ同
様であり、同様な情報処理装置５００、音声入力装置５
０１、画像入力装置５０２、音声特徴量抽出装置５０３
−１，５０３−２、画像特徴抽出装置５０４−１，５０
４−２、登録者音声特徴蓄積装置５０５、音声照合装置
５０６、登録者画像特徴蓄積装置５０７、画像照合装置
５０８、一致判定装置５０９を備えている。音声特徴抽
出装置５０３−１は入力された現在の利用者の音声の平
均的なピッチ等の大局的な特徴量を取り出し、音声特徴
抽出装置５０３−２は入力された現在の利用者の音声の
スペクトル特徴を反映する特徴量を取り出す。画像特徴
抽出装置５０４−１は入力画像に含まれる利用者の身長
に代表される大局的な画像特徴量を抽出し、画像特徴抽
出装置５０４−２は入力画像に含まれる利用者の顔色、
顔の輪郭、目の大きさ、輝度分布等の局所的な画像特徴
量を抽出する。音声特徴抽出装置５０３−１による大局
的な音声の特徴量に基づいて登録者音声特徴蓄積装置５
０５での音声候補を限定するように構成されている。ま
た、画像特徴抽出装置５０４−１による大局的な画像の
特徴量と音声照合装置５０６による音声照合結果とに基
づいて登録者画像特徴蓄積装置５０７での画像候補を限
定するように構成されている。
者照合装置の構成図を示すものである。この実施の形態
５の構成は前述の実施の形態４（図４）の構成とほぼ同
様であり、同様な情報処理装置５００、音声入力装置５
０１、画像入力装置５０２、音声特徴量抽出装置５０３
−１，５０３−２、画像特徴抽出装置５０４−１，５０
４−２、登録者音声特徴蓄積装置５０５、音声照合装置
５０６、登録者画像特徴蓄積装置５０７、画像照合装置
５０８、一致判定装置５０９を備えている。音声特徴抽
出装置５０３−１は入力された現在の利用者の音声の平
均的なピッチ等の大局的な特徴量を取り出し、音声特徴
抽出装置５０３−２は入力された現在の利用者の音声の
スペクトル特徴を反映する特徴量を取り出す。画像特徴
抽出装置５０４−１は入力画像に含まれる利用者の身長
に代表される大局的な画像特徴量を抽出し、画像特徴抽
出装置５０４−２は入力画像に含まれる利用者の顔色、
顔の輪郭、目の大きさ、輝度分布等の局所的な画像特徴
量を抽出する。音声特徴抽出装置５０３−１による大局
的な音声の特徴量に基づいて登録者音声特徴蓄積装置５
０５での音声候補を限定するように構成されている。ま
た、画像特徴抽出装置５０４−１による大局的な画像の
特徴量と音声照合装置５０６による音声照合結果とに基
づいて登録者画像特徴蓄積装置５０７での画像候補を限
定するように構成されている。
【００４４】実施の形態４の場合に比べると、音声照合
装置５０６の照合結果を用いて、照合すべき画像をさら
に限定することによって、より効率的な照合を行うこと
ができる。
装置５０６の照合結果を用いて、照合すべき画像をさら
に限定することによって、より効率的な照合を行うこと
ができる。
【００４５】（実施の形態６）以下、本発明の実施の形
態６について図面を参照して説明する。
態６について図面を参照して説明する。
【００４６】図６は本発明の実施の形態６における利用
者照合装置の構成図を示すものである。この実施の形態
６の構成は前述の実施の形態４（図４）の構成とほぼ同
様であり、同様な情報処理装置６００、音声入力装置６
０１、画像入力装置６０２、音声特徴量抽出装置６０３
−１，６０３−２、画像特徴抽出装置６０４−１，６０
４−２、登録者音声特徴蓄積装置６０５、音声照合装置
６０６、登録者画像特徴蓄積装置６０７、画像照合装置
６０８、一致判定装置６０９を備えている。音声特徴抽
出装置６０３−１は入力された現在の利用者の音声の平
均的なピッチ等の大局的な特徴量を取り出し、音声特徴
抽出装置６０３−２は入力された現在の利用者の音声の
スペクトル特徴を反映する特徴量を取り出す。画像特徴
抽出装置６０４−１は入力画像に含まれる利用者の身長
に代表される大局的な画像特徴量を抽出し、画像特徴抽
出装置６０４−２は入力画像に含まれる利用者の顔色、
顔の輪郭、目の大きさ、輝度分布等の局所的な画像特徴
量を抽出する。画像特徴抽出装置６０４−１による大局
的な画像の特徴量に基づいて登録者画像特徴蓄積装置６
０７での画像候補を限定するように構成されている。ま
た、音声特徴抽出装置６０３−１による大局的な音声の
特徴量および画像照合装置６０８による画像照合結果と
に基づいて登録者音声特徴蓄積装置６０５での音声候補
を限定するように構成されている。
者照合装置の構成図を示すものである。この実施の形態
６の構成は前述の実施の形態４（図４）の構成とほぼ同
様であり、同様な情報処理装置６００、音声入力装置６
０１、画像入力装置６０２、音声特徴量抽出装置６０３
−１，６０３−２、画像特徴抽出装置６０４−１，６０
４−２、登録者音声特徴蓄積装置６０５、音声照合装置
６０６、登録者画像特徴蓄積装置６０７、画像照合装置
６０８、一致判定装置６０９を備えている。音声特徴抽
出装置６０３−１は入力された現在の利用者の音声の平
均的なピッチ等の大局的な特徴量を取り出し、音声特徴
抽出装置６０３−２は入力された現在の利用者の音声の
スペクトル特徴を反映する特徴量を取り出す。画像特徴
抽出装置６０４−１は入力画像に含まれる利用者の身長
に代表される大局的な画像特徴量を抽出し、画像特徴抽
出装置６０４−２は入力画像に含まれる利用者の顔色、
顔の輪郭、目の大きさ、輝度分布等の局所的な画像特徴
量を抽出する。画像特徴抽出装置６０４−１による大局
的な画像の特徴量に基づいて登録者画像特徴蓄積装置６
０７での画像候補を限定するように構成されている。ま
た、音声特徴抽出装置６０３−１による大局的な音声の
特徴量および画像照合装置６０８による画像照合結果と
に基づいて登録者音声特徴蓄積装置６０５での音声候補
を限定するように構成されている。
【００４７】実施の形態４の場合に比べると、画像照合
装置６０８の照合結果を用いて、照合すべき音声をさら
に限定することによって、より効率的な照合を行うこと
ができる。
装置６０８の照合結果を用いて、照合すべき音声をさら
に限定することによって、より効率的な照合を行うこと
ができる。
【００４８】（実施の形態７）以下、本発明の実施の形
態７について図面を参照して説明する。
態７について図面を参照して説明する。
【００４９】図７は本発明の実施の形態７における利用
者照合装置の構成図を示すものである。図７において、
７００は情報処理装置、７０１は情報処理装置７００に
現在の利用者の音声を入力するための音声入力装置、７
０２は情報処理装置７００に現在の利用者の顔画像を入
力するための画像入力装置、７０３−１は音声入力装置
７０１で入力された現在の利用者の音声の平均的なピッ
チ等の大局的な特徴量を取り出すための音声特徴抽出装
置、７０３−２は音声入力装置７０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、７０４は画像入力装置
７０２で入力された現在の利用者の画像の特徴量を取り
出すための画像特徴抽出装置、７０５は予め登録されて
いる利用者の音声の特徴量を蓄積している登録者音声特
徴蓄積装置、７０６は音声特徴抽出装置７０３で取り出
された現在の利用者の音声の特徴量と予め登録されてい
る利用者の音声の特徴量を照合するための音声照合装置
である。音声特徴抽出装置７０３−１による大局的な音
声の特徴量に基づいて登録者音声特徴蓄積装置７０５で
の音声候補を限定するように構成されている。７０７は
予め登録されている利用者の画像の特徴量を蓄積してい
る登録者画像特徴蓄積装置、７０８は画像特徴抽出装置
７０４で取り出された現在の利用者の画像の特徴量と予
め登録されている利用者の画像の特徴量を照合するため
の画像照合装置である。音声照合装置７０６によるＮ個
の音声候補に基づいて登録者画像特徴蓄積装置７０７で
の画像候補を限定するように構成されている。７０９は
画像照合装置７０８で照合した結果の信頼度Ｇを求める
ための画像信頼度評価装置、７１０は音声照合装置７０
６で照合した結果の信頼度Ｓを求めるための音声信頼度
評価装置、７１１は画像信頼度評価装置７０９で求めら
れた画像から評価した現在の利用者が登録利用者である
ことを判断するための信頼度Ｇと、音声信頼度評価装置
７１０で求められた音声から評価した現在の利用者が登
録利用者であることを判断するための信頼度Ｓを総合し
て現在の利用者が情報処理装置７００を利用することを
許可するか否かを判断するための信頼度評価装置であ
る。
者照合装置の構成図を示すものである。図７において、
７００は情報処理装置、７０１は情報処理装置７００に
現在の利用者の音声を入力するための音声入力装置、７
０２は情報処理装置７００に現在の利用者の顔画像を入
力するための画像入力装置、７０３−１は音声入力装置
７０１で入力された現在の利用者の音声の平均的なピッ
チ等の大局的な特徴量を取り出すための音声特徴抽出装
置、７０３−２は音声入力装置７０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、７０４は画像入力装置
７０２で入力された現在の利用者の画像の特徴量を取り
出すための画像特徴抽出装置、７０５は予め登録されて
いる利用者の音声の特徴量を蓄積している登録者音声特
徴蓄積装置、７０６は音声特徴抽出装置７０３で取り出
された現在の利用者の音声の特徴量と予め登録されてい
る利用者の音声の特徴量を照合するための音声照合装置
である。音声特徴抽出装置７０３−１による大局的な音
声の特徴量に基づいて登録者音声特徴蓄積装置７０５で
の音声候補を限定するように構成されている。７０７は
予め登録されている利用者の画像の特徴量を蓄積してい
る登録者画像特徴蓄積装置、７０８は画像特徴抽出装置
７０４で取り出された現在の利用者の画像の特徴量と予
め登録されている利用者の画像の特徴量を照合するため
の画像照合装置である。音声照合装置７０６によるＮ個
の音声候補に基づいて登録者画像特徴蓄積装置７０７で
の画像候補を限定するように構成されている。７０９は
画像照合装置７０８で照合した結果の信頼度Ｇを求める
ための画像信頼度評価装置、７１０は音声照合装置７０
６で照合した結果の信頼度Ｓを求めるための音声信頼度
評価装置、７１１は画像信頼度評価装置７０９で求めら
れた画像から評価した現在の利用者が登録利用者である
ことを判断するための信頼度Ｇと、音声信頼度評価装置
７１０で求められた音声から評価した現在の利用者が登
録利用者であることを判断するための信頼度Ｓを総合し
て現在の利用者が情報処理装置７００を利用することを
許可するか否かを判断するための信頼度評価装置であ
る。
【００５０】以上のように構成された実施の形態７の利
用者照合装置について、以下にその動作を説明する。情
報処理装置７００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。音声入力装置７０１から入
力された音声は音声特徴抽出装置７０３−１，７０３−
２に入力され利用者の音声に含まれる個人性情報が抽出
される。音声特徴抽出装置７０３−１では、音声のピッ
チの平均値、ピッチの標準偏差、平均音声パワーとその
標準偏差の個人性情報の大局的な特徴量を求める。音声
特徴抽出装置７０３−２では、音声パワースペクトラム
の時系列情報を抽出する。これらの特徴量は公知の手法
（例えばＤＦＴ分析、ＬＰＣ分析、フィルタ分析等）を
用いて容易に求めることが可能である。音声特徴抽出装
置７０３−１で求められた音声の特徴量は登録者音声特
徴蓄積装置７０５に入力され、音声照合装置７０６で照
合に用いる候補データを選出する。音声照合装置７０６
では登録者音声特徴蓄積装置７０５からの候補データと
現在の利用者とについて、音声特徴抽出装置７０３−２
で抽出された特徴量を用いて照合を行い、その結果を登
録者画像特徴蓄積装置７０７と音声信頼度評価装置７１
０に出力する。音声照合装置７０６での特徴量の照合は
公知のＨＭＭ、ＤＴＷ、ＬＶＱなどのパターン照合手法
を用いて行うことができる。これらの照合の結果、現時
点で入力された音声が予め蓄積されている音声データと
どれくらい似ているかが音声信頼度評価装置７１０で評
価される。本実施の形態では、音声信頼度評価装置７１
０での信頼度Ｓの評価は具体的には、 Ｓ＝１−Ｓmin ／Ｓmin2 ……………………………………………（１） で定義している。式（１）でＳmin は入力音声と最も良
く照合した蓄積音声との照合結果である距離であり、Ｓ
min2は次に良く照合した蓄積音声との距離である。信頼
度Ｓが１に近いほど入力音声と蓄積音声との音声との一
致度が高く信頼度が高いことになる。
用者照合装置について、以下にその動作を説明する。情
報処理装置７００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。音声入力装置７０１から入
力された音声は音声特徴抽出装置７０３−１，７０３−
２に入力され利用者の音声に含まれる個人性情報が抽出
される。音声特徴抽出装置７０３−１では、音声のピッ
チの平均値、ピッチの標準偏差、平均音声パワーとその
標準偏差の個人性情報の大局的な特徴量を求める。音声
特徴抽出装置７０３−２では、音声パワースペクトラム
の時系列情報を抽出する。これらの特徴量は公知の手法
（例えばＤＦＴ分析、ＬＰＣ分析、フィルタ分析等）を
用いて容易に求めることが可能である。音声特徴抽出装
置７０３−１で求められた音声の特徴量は登録者音声特
徴蓄積装置７０５に入力され、音声照合装置７０６で照
合に用いる候補データを選出する。音声照合装置７０６
では登録者音声特徴蓄積装置７０５からの候補データと
現在の利用者とについて、音声特徴抽出装置７０３−２
で抽出された特徴量を用いて照合を行い、その結果を登
録者画像特徴蓄積装置７０７と音声信頼度評価装置７１
０に出力する。音声照合装置７０６での特徴量の照合は
公知のＨＭＭ、ＤＴＷ、ＬＶＱなどのパターン照合手法
を用いて行うことができる。これらの照合の結果、現時
点で入力された音声が予め蓄積されている音声データと
どれくらい似ているかが音声信頼度評価装置７１０で評
価される。本実施の形態では、音声信頼度評価装置７１
０での信頼度Ｓの評価は具体的には、 Ｓ＝１−Ｓmin ／Ｓmin2 ……………………………………………（１） で定義している。式（１）でＳmin は入力音声と最も良
く照合した蓄積音声との照合結果である距離であり、Ｓ
min2は次に良く照合した蓄積音声との距離である。信頼
度Ｓが１に近いほど入力音声と蓄積音声との音声との一
致度が高く信頼度が高いことになる。
【００５１】一方、画像入力装置７０２によって入力さ
れた現在の利用者の画像は画像特徴抽出装置７０４に入
力され、利用者の画像に含まれる個人性情報を抽出す
る。画像に含まれる個人性情報としては、顔画像の輝度
情報、輝度情報の位置微分情報、顔画像の色情報を用い
る。現在の利用者の画像が予め情報処理装置７００に登
録されている利用者の画像であるか否かは、画像特徴抽
出装置７０４で取り出した特徴量と登録者画像特徴蓄積
装置７０７の特徴量とを画像照合装置７０８で照合す
る。照合に用いられる蓄積画像は、音声信号装置７０６
から出力された現在の利用者に最も近い登録利用者から
Ｎ番目（Ｎは正の整数）までの候補を用いる。現在の利
用者の画像と予め情報処理装置７００に登録されている
利用者の照合は入力画像の輝度情報等を使う公知の手法
で行うことが可能である。画像照合装置７０８で求めら
れる現在の利用者の入力画像と蓄積画像との類似度は画
像信頼度評価装置７０９に入力される。画像信頼度評価
装置７０９では入力された照合結果から信頼度を求め
る。画像信頼度評価装置７０９での信頼度Ｇの評価は具
体的には、 Ｇ＝１−Ｇmin ／Ｇmin2 ……………………………………………（２） で定義している。式（２）でＧmin は入力画像と最も良
く照合した蓄積画像との照合結果である距離であり、Ｇ
min2は次に良く照合した蓄積画像との距離である。本実
施の形態の照合距離は、照合する画像間の対応する画素
間の輝度の差を使って求めている。信頼度Ｇが１に近い
ほど入力画像と蓄積画像との一致度が高く信頼度が高い
ことになる。
れた現在の利用者の画像は画像特徴抽出装置７０４に入
力され、利用者の画像に含まれる個人性情報を抽出す
る。画像に含まれる個人性情報としては、顔画像の輝度
情報、輝度情報の位置微分情報、顔画像の色情報を用い
る。現在の利用者の画像が予め情報処理装置７００に登
録されている利用者の画像であるか否かは、画像特徴抽
出装置７０４で取り出した特徴量と登録者画像特徴蓄積
装置７０７の特徴量とを画像照合装置７０８で照合す
る。照合に用いられる蓄積画像は、音声信号装置７０６
から出力された現在の利用者に最も近い登録利用者から
Ｎ番目（Ｎは正の整数）までの候補を用いる。現在の利
用者の画像と予め情報処理装置７００に登録されている
利用者の照合は入力画像の輝度情報等を使う公知の手法
で行うことが可能である。画像照合装置７０８で求めら
れる現在の利用者の入力画像と蓄積画像との類似度は画
像信頼度評価装置７０９に入力される。画像信頼度評価
装置７０９では入力された照合結果から信頼度を求め
る。画像信頼度評価装置７０９での信頼度Ｇの評価は具
体的には、 Ｇ＝１−Ｇmin ／Ｇmin2 ……………………………………………（２） で定義している。式（２）でＧmin は入力画像と最も良
く照合した蓄積画像との照合結果である距離であり、Ｇ
min2は次に良く照合した蓄積画像との距離である。本実
施の形態の照合距離は、照合する画像間の対応する画素
間の輝度の差を使って求めている。信頼度Ｇが１に近い
ほど入力画像と蓄積画像との一致度が高く信頼度が高い
ことになる。
【００５２】信頼度評価装置７１１では音声信頼度評価
装置７１０で求めた信頼度Ｓと画像信頼度評価装置７０
９で求めた信頼度Ｇのどちらともが予め設定している基
準値よりも高く、かつ音声照合装置７０６と画像照合装
置７０８による音声で判定した利用者と画像で判定した
利用者が一致したときにのみ現在の利用者が登録された
利用者であるとして、情報処理装置７００の利用を許可
する。
装置７１０で求めた信頼度Ｓと画像信頼度評価装置７０
９で求めた信頼度Ｇのどちらともが予め設定している基
準値よりも高く、かつ音声照合装置７０６と画像照合装
置７０８による音声で判定した利用者と画像で判定した
利用者が一致したときにのみ現在の利用者が登録された
利用者であるとして、情報処理装置７００の利用を許可
する。
【００５３】以上のように本実施の形態によれば、入力
された音声と画像を用いて利用者を判定すると同時に、
音声と画像の信頼度を考慮することでより信頼度の高い
確実な利用者照合判定を行うことができる。なお、音声
で判定した利用者と画像で判定した利用者が一致しては
いるが、信頼度が低い場合には、さらに現在の利用者に
キーボードからパスワードを入力させることによって情
報処理装置７００の利用を許可することもできる。ま
た、信頼度評価装置７１１の判定基準としては、音声信
頼度評価装置７１０で求めた信頼度Ｓと画像信頼度評価
装置７０９で求めた信頼度Ｇのどちらともが予め設定し
ている基準値を超えたことを基準とする代わりに、信頼
度Ｓまたは信頼度Ｇが１に近いときには情報処理装置７
００の利用を許可するようにすることもできる。
された音声と画像を用いて利用者を判定すると同時に、
音声と画像の信頼度を考慮することでより信頼度の高い
確実な利用者照合判定を行うことができる。なお、音声
で判定した利用者と画像で判定した利用者が一致しては
いるが、信頼度が低い場合には、さらに現在の利用者に
キーボードからパスワードを入力させることによって情
報処理装置７００の利用を許可することもできる。ま
た、信頼度評価装置７１１の判定基準としては、音声信
頼度評価装置７１０で求めた信頼度Ｓと画像信頼度評価
装置７０９で求めた信頼度Ｇのどちらともが予め設定し
ている基準値を超えたことを基準とする代わりに、信頼
度Ｓまたは信頼度Ｇが１に近いときには情報処理装置７
００の利用を許可するようにすることもできる。
【００５４】（実施の形態８）以下、本発明の実施の形
態８について図面を参照して説明する。
態８について図面を参照して説明する。
【００５５】図８は本発明の実施の形態８における利用
者照合装置の構成図を示すものである。図８において、
８００は情報処理装置、８０１は情報処理装置８００に
現在の利用者の音声を入力するための音声入力装置、８
０２は情報処理装置８００に現在の利用者の顔画像を入
力するための画像入力装置、８０３−１は音声入力装置
８０１で入力された現在の利用者の音声の平均的なピッ
チ等の大局的な特徴量を取り出すための音声特徴抽出装
置、８０３−２は音声入力装置８０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、８０４は画像入力装置
８０２で入力された現在の利用者の画像の特徴量を取り
出すための画像特徴抽出装置、８０５は予め登録されて
いる利用者の音声の特徴量を蓄積している登録者音声特
徴蓄積装置、８０６は音声特徴抽出装置８０３で取り出
された現在の利用者の音声の特徴量と予め登録されてい
る利用者の音声の特徴量を照合するための音声照合装置
である。音声特徴抽出装置８０３−１による大局的な音
声の特徴量に基づいて登録者音声特徴蓄積装置８０５で
の音声候補を限定するように構成されている。８０７は
予め登録されている利用者の画像の特徴量を蓄積してい
る登録者画像特徴蓄積装置、８０８は画像特徴抽出装置
８０４で取り出された現在の利用者の画像の特徴量と予
め登録されている利用者の画像の特徴量を照合するため
の画像照合装置、８０９は画像照合装置８０８で照合し
た結果の信頼度を求めるための画像信頼度評価装置であ
る。画像信頼度評価装置８０９によって得た信頼度Ｇに
基づいて登録者音声特徴蓄積装置８０５でＮ個の音声候
補を限定するように構成されている。８１０は音声照合
装置８０６で照合した結果の信頼度Ｓを求めるための音
声信頼度評価装置、８１１は画像信頼度評価装置８０９
で求められた画像から評価した現在の利用者が登録利用
者であることを判断するための信頼度Ｇと、音声信頼度
評価装置８１０で求められた音声から評価した現在の利
用者が登録利用者であることを判断するための信頼度Ｓ
を総合して現在の利用者が情報処理装置８００を利用す
ることを許可するか否かを判断するための信頼度評価装
置である。
者照合装置の構成図を示すものである。図８において、
８００は情報処理装置、８０１は情報処理装置８００に
現在の利用者の音声を入力するための音声入力装置、８
０２は情報処理装置８００に現在の利用者の顔画像を入
力するための画像入力装置、８０３−１は音声入力装置
８０１で入力された現在の利用者の音声の平均的なピッ
チ等の大局的な特徴量を取り出すための音声特徴抽出装
置、８０３−２は音声入力装置８０１で入力された現在
の利用者の音声のスペクトル特徴を反映する特徴量を取
り出すための音声特徴抽出装置、８０４は画像入力装置
８０２で入力された現在の利用者の画像の特徴量を取り
出すための画像特徴抽出装置、８０５は予め登録されて
いる利用者の音声の特徴量を蓄積している登録者音声特
徴蓄積装置、８０６は音声特徴抽出装置８０３で取り出
された現在の利用者の音声の特徴量と予め登録されてい
る利用者の音声の特徴量を照合するための音声照合装置
である。音声特徴抽出装置８０３−１による大局的な音
声の特徴量に基づいて登録者音声特徴蓄積装置８０５で
の音声候補を限定するように構成されている。８０７は
予め登録されている利用者の画像の特徴量を蓄積してい
る登録者画像特徴蓄積装置、８０８は画像特徴抽出装置
８０４で取り出された現在の利用者の画像の特徴量と予
め登録されている利用者の画像の特徴量を照合するため
の画像照合装置、８０９は画像照合装置８０８で照合し
た結果の信頼度を求めるための画像信頼度評価装置であ
る。画像信頼度評価装置８０９によって得た信頼度Ｇに
基づいて登録者音声特徴蓄積装置８０５でＮ個の音声候
補を限定するように構成されている。８１０は音声照合
装置８０６で照合した結果の信頼度Ｓを求めるための音
声信頼度評価装置、８１１は画像信頼度評価装置８０９
で求められた画像から評価した現在の利用者が登録利用
者であることを判断するための信頼度Ｇと、音声信頼度
評価装置８１０で求められた音声から評価した現在の利
用者が登録利用者であることを判断するための信頼度Ｓ
を総合して現在の利用者が情報処理装置８００を利用す
ることを許可するか否かを判断するための信頼度評価装
置である。
【００５６】以上のように構成された実施の形態８の利
用者照合装置について、以下にその動作を説明する。情
報処理装置８００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。画像入力装置８０２によっ
て入力された利用者の画像は、画像特徴抽出装置８０４
に入力され利用者の画像に含まれる個人性情報が抽出さ
れる。画像の個人性情報としては、顔画像の輝度情報、
輝度情報の位置微分情報、顔画像の色情報を用いる。画
像照合装置８０８では登録者画像特徴蓄積装置８０７に
蓄積されている画像特徴量と画像特徴抽出装置８０４で
抽出された画像特徴量とを照合し、現在の利用者に最も
近い登録利用者からＮ番目（Ｎは正の整数）までの候補
を画像信頼度評価装置８０９に入力する。画像信頼度評
価装置８０９では信頼度に応じて照合候補数Ｎを求め、
選択されたＮ個の候補を登録者音声特徴蓄積装置８０５
に出力する。すなわち信頼度が高いときには少ない照合
候補を、信頼度が低いときには多くの照合候補を登録者
音声特徴蓄積装置８０５に出力する。登録者音声特徴蓄
積装置８０５では照合すべき音声候補を限定する。
用者照合装置について、以下にその動作を説明する。情
報処理装置８００の現在の利用者は利用に先立ち利用者
の音声と顔画像を入力する。画像入力装置８０２によっ
て入力された利用者の画像は、画像特徴抽出装置８０４
に入力され利用者の画像に含まれる個人性情報が抽出さ
れる。画像の個人性情報としては、顔画像の輝度情報、
輝度情報の位置微分情報、顔画像の色情報を用いる。画
像照合装置８０８では登録者画像特徴蓄積装置８０７に
蓄積されている画像特徴量と画像特徴抽出装置８０４で
抽出された画像特徴量とを照合し、現在の利用者に最も
近い登録利用者からＮ番目（Ｎは正の整数）までの候補
を画像信頼度評価装置８０９に入力する。画像信頼度評
価装置８０９では信頼度に応じて照合候補数Ｎを求め、
選択されたＮ個の候補を登録者音声特徴蓄積装置８０５
に出力する。すなわち信頼度が高いときには少ない照合
候補を、信頼度が低いときには多くの照合候補を登録者
音声特徴蓄積装置８０５に出力する。登録者音声特徴蓄
積装置８０５では照合すべき音声候補を限定する。
【００５７】画像信頼度評価装置８０９での信頼度Ｇの
評価は具体的には、Ｇ＝１−Ｇmin ／Ｇmin2で定義して
おり、Ｇmin は入力画像と最も良く照合した蓄積画像と
の距離であり、Ｇmin2は次に良く照合した蓄積画像との
照合結果である距離である。本実施の形態の照合距離
は、照合する画像間の対応する画素間の輝度の差を使っ
て求めている。信頼度Ｇが１に近いほど入力画像と蓄積
画像との一致度が高く信頼度が高いため、登録者音声特
徴蓄積装置８０５に出力される候補数は少なくてよい。
評価は具体的には、Ｇ＝１−Ｇmin ／Ｇmin2で定義して
おり、Ｇmin は入力画像と最も良く照合した蓄積画像と
の距離であり、Ｇmin2は次に良く照合した蓄積画像との
照合結果である距離である。本実施の形態の照合距離
は、照合する画像間の対応する画素間の輝度の差を使っ
て求めている。信頼度Ｇが１に近いほど入力画像と蓄積
画像との一致度が高く信頼度が高いため、登録者音声特
徴蓄積装置８０５に出力される候補数は少なくてよい。
【００５８】一方、音声入力装置８０１から入力された
現在の利用者の音声は音声特徴抽出装置８０３−１，８
０３−２に入力されて、利用者の音声に含まれる個人性
情報が抽出される。音声特徴抽出装置８０３−１では、
音声のピッチの平均値、ピッチの標準偏差、平均音声パ
ワーとその標準偏差の個人性情報の大局的な特徴量を求
める。音声特徴抽出装置８０３−２では、音声パワース
ペクトラムの時系列情報等を求める。これらの特徴量は
公知の手法（例えばＤＦＴ分析、ＬＰＣ分析、フィルタ
分析等）を用いて容易に求めることが可能である。音声
特徴抽出装置８０３−１，８０３−２で求められた音声
の特徴量は登録者音声特徴蓄積装置８０５の情報と音声
照合装置８０６で照合される。ここで照合に用いられる
蓄積音声は、画像信頼度評価装置８０９から画像信頼度
に応じて出力されたＮ個の利用者の音声候補と、音声特
徴抽出装置８０３−１で求めた大局的な音声特徴量で限
定されたデータを用いている。音声照合装置８０６での
特徴量の照合は公知のＨＭＭ、ＤＴＷ、ＬＶＱなどのパ
ターン照合手法を用いて行うことができる。これらの照
合の結果、現時点で入力された音声が予め蓄積されてい
る音声データとどれくらい似ているかが音声信頼度評価
装置８１０で評価される。本実施の形態では、音声信頼
度評価装置８１０での信頼度Ｓの評価は具体的には、Ｓ
＝１−Ｓmin／Ｓmin2で定義しており、Ｓmin は入力音
声と最も良く照合した蓄積音声との距離であり、Ｓmin2
は次に良く照合した蓄積音声との距離である。信頼度Ｓ
が１に近いほど入力音声と蓄積音声との一致度が高く信
頼度が高いことになる。
現在の利用者の音声は音声特徴抽出装置８０３−１，８
０３−２に入力されて、利用者の音声に含まれる個人性
情報が抽出される。音声特徴抽出装置８０３−１では、
音声のピッチの平均値、ピッチの標準偏差、平均音声パ
ワーとその標準偏差の個人性情報の大局的な特徴量を求
める。音声特徴抽出装置８０３−２では、音声パワース
ペクトラムの時系列情報等を求める。これらの特徴量は
公知の手法（例えばＤＦＴ分析、ＬＰＣ分析、フィルタ
分析等）を用いて容易に求めることが可能である。音声
特徴抽出装置８０３−１，８０３−２で求められた音声
の特徴量は登録者音声特徴蓄積装置８０５の情報と音声
照合装置８０６で照合される。ここで照合に用いられる
蓄積音声は、画像信頼度評価装置８０９から画像信頼度
に応じて出力されたＮ個の利用者の音声候補と、音声特
徴抽出装置８０３−１で求めた大局的な音声特徴量で限
定されたデータを用いている。音声照合装置８０６での
特徴量の照合は公知のＨＭＭ、ＤＴＷ、ＬＶＱなどのパ
ターン照合手法を用いて行うことができる。これらの照
合の結果、現時点で入力された音声が予め蓄積されてい
る音声データとどれくらい似ているかが音声信頼度評価
装置８１０で評価される。本実施の形態では、音声信頼
度評価装置８１０での信頼度Ｓの評価は具体的には、Ｓ
＝１−Ｓmin／Ｓmin2で定義しており、Ｓmin は入力音
声と最も良く照合した蓄積音声との距離であり、Ｓmin2
は次に良く照合した蓄積音声との距離である。信頼度Ｓ
が１に近いほど入力音声と蓄積音声との一致度が高く信
頼度が高いことになる。
【００５９】信頼度評価装置８１１では音声信頼度評価
装置８１０で求めた信頼度Ｓと画像信頼度評価装置８０
９で求めた信頼度Ｇに基づいて判定を行う。ここでの判
定は、信頼度Ｓ，Ｇに基づいて予め設定している図９に
示したような判定基準に基づいて行っている。音声信頼
度評価装置８１０と画像信頼度評価装置８０９で求めた
信頼度Ｓ，Ｇがそれぞれ予め設定した値よりも高く図９
で網点を施した領域に入ったときに登録された利用者で
あるとして、情報処理装置８００の利用を許可する。こ
の判定基準作成は音声信頼度評価装置８１０と画像信頼
度評価装置８０９で収集した信頼度からテーブルとして
作成することができるほか、公知のニューラルネットワ
ークやファジー等の手法を用いて容易に行うことができ
る。
装置８１０で求めた信頼度Ｓと画像信頼度評価装置８０
９で求めた信頼度Ｇに基づいて判定を行う。ここでの判
定は、信頼度Ｓ，Ｇに基づいて予め設定している図９に
示したような判定基準に基づいて行っている。音声信頼
度評価装置８１０と画像信頼度評価装置８０９で求めた
信頼度Ｓ，Ｇがそれぞれ予め設定した値よりも高く図９
で網点を施した領域に入ったときに登録された利用者で
あるとして、情報処理装置８００の利用を許可する。こ
の判定基準作成は音声信頼度評価装置８１０と画像信頼
度評価装置８０９で収集した信頼度からテーブルとして
作成することができるほか、公知のニューラルネットワ
ークやファジー等の手法を用いて容易に行うことができ
る。
【００６０】以上のように本実施の形態によれば、入力
された画像と音声を用いて利用者を判定すると同時に、
音声と画像の信頼度を考慮することでより信頼度の高い
確実な利用者照合判定を行うことができる。なお、音声
で判定した利用者と画像で判定した利用者が一致しては
いるが、信頼度が低い場合には、現在の利用者にキーボ
ードからパスワードを入力させることによって情報処理
装置８００の利用を許可することもできる。
された画像と音声を用いて利用者を判定すると同時に、
音声と画像の信頼度を考慮することでより信頼度の高い
確実な利用者照合判定を行うことができる。なお、音声
で判定した利用者と画像で判定した利用者が一致しては
いるが、信頼度が低い場合には、現在の利用者にキーボ
ードからパスワードを入力させることによって情報処理
装置８００の利用を許可することもできる。
【００６１】（実施の形態９）以下、本発明の実施の形
態９について図面を参照して説明する。
態９について図面を参照して説明する。
【００６２】図１０は本発明の実施の形態９における利
用者照合装置の構成図を示すものである。図１０におい
て、１０００は情報処理装置、１００１は情報処理装置
１０００に現在の利用者の音声を入力するための音声入
力装置、１００２は情報処理装置１０００に現在の利用
者の顔画像を入力するための画像入力装置、１００３−
１は音声入力装置１００１で入力された現在の利用者の
音声の平均的なピッチ等の大局的な特徴量を取り出すた
めの音声特徴抽出装置、１００３−２は音声入力装置１
００１で入力された現在の利用者の音声のスペクトル特
徴を反映する特徴量を取り出すための音声特徴抽出装
置、１００４は画像入力装置１００２で入力された現在
の利用者の顔画像の特徴量を取り出すための画像特徴抽
出装置、１００５は予め登録されている利用者の音声の
特徴量を蓄積している登録者音声特徴蓄積装置、１００
６は音声特徴抽出装置１００３で取り出された現在の利
用者の音声の特徴量と予め登録されている利用者の音声
の特徴量を照合するための音声照合装置、１００７は予
め登録されている利用者の画像の特徴量を蓄積している
登録者画像特徴蓄積装置、１００８は画像特徴抽出装置
１００４で取り出された現在の利用者の画像の特徴量と
予め登録されている利用者の画像の特徴量を照合するた
めの画像照合装置、１００９は画像照合装置１００８で
照合した結果の信頼度Ｇを求めるための画像信頼度評価
装置、１０１０は音声照合装置１００６で照合した結果
の信頼度Ｓを求めるための音声信頼度評価装置、１０１
１は画像信頼度評価装置１００９で求められた画像から
評価した現在の利用者が登録利用者であることを判断す
るための信頼度Ｇと音声信頼度評価装置１０１０で求め
られた音声から評価した現在の利用者が登録利用者であ
ることを判断するための信頼度Ｓを総合して現在の利用
者が情報処理装置１０００を利用することを許可するか
否かを判断するための信頼度評価装置である。音声特徴
抽出装置１００３−１による大局的な音声の特徴量に基
づいて登録者音声特徴蓄積装置１００５での音声候補を
限定するように構成されている。また、画像信頼度評価
装置１００９によって得た信頼度Ｇに基づいて登録者音
声特徴蓄積装置１００５でＮ個の音声候補を限定するよ
うに構成されている。
用者照合装置の構成図を示すものである。図１０におい
て、１０００は情報処理装置、１００１は情報処理装置
１０００に現在の利用者の音声を入力するための音声入
力装置、１００２は情報処理装置１０００に現在の利用
者の顔画像を入力するための画像入力装置、１００３−
１は音声入力装置１００１で入力された現在の利用者の
音声の平均的なピッチ等の大局的な特徴量を取り出すた
めの音声特徴抽出装置、１００３−２は音声入力装置１
００１で入力された現在の利用者の音声のスペクトル特
徴を反映する特徴量を取り出すための音声特徴抽出装
置、１００４は画像入力装置１００２で入力された現在
の利用者の顔画像の特徴量を取り出すための画像特徴抽
出装置、１００５は予め登録されている利用者の音声の
特徴量を蓄積している登録者音声特徴蓄積装置、１００
６は音声特徴抽出装置１００３で取り出された現在の利
用者の音声の特徴量と予め登録されている利用者の音声
の特徴量を照合するための音声照合装置、１００７は予
め登録されている利用者の画像の特徴量を蓄積している
登録者画像特徴蓄積装置、１００８は画像特徴抽出装置
１００４で取り出された現在の利用者の画像の特徴量と
予め登録されている利用者の画像の特徴量を照合するた
めの画像照合装置、１００９は画像照合装置１００８で
照合した結果の信頼度Ｇを求めるための画像信頼度評価
装置、１０１０は音声照合装置１００６で照合した結果
の信頼度Ｓを求めるための音声信頼度評価装置、１０１
１は画像信頼度評価装置１００９で求められた画像から
評価した現在の利用者が登録利用者であることを判断す
るための信頼度Ｇと音声信頼度評価装置１０１０で求め
られた音声から評価した現在の利用者が登録利用者であ
ることを判断するための信頼度Ｓを総合して現在の利用
者が情報処理装置１０００を利用することを許可するか
否かを判断するための信頼度評価装置である。音声特徴
抽出装置１００３−１による大局的な音声の特徴量に基
づいて登録者音声特徴蓄積装置１００５での音声候補を
限定するように構成されている。また、画像信頼度評価
装置１００９によって得た信頼度Ｇに基づいて登録者音
声特徴蓄積装置１００５でＮ個の音声候補を限定するよ
うに構成されている。
【００６３】以上のように構成された実施の形態９の利
用者照合装置について、以下にその動作を説明する。情
報処理装置１０００の現在の利用者は利用に先立ち利用
者の音声と顔画像を入力する。画像入力装置１００２に
よって入力された現在の利用者の画像は、画像特徴抽出
装置１００４に入力され利用者の画像に含まれる個人性
情報が抽出される。画像の個人性情報としては、顔画像
の輝度情報、輝度情報の位置微分情報、顔画像の色情報
を用いる。画像照合装置１００８では登録者画像特徴蓄
積装置１００７に蓄積されている画像特徴量と特徴抽出
装置１００４からの画像特徴量とを照合し、現在の利用
者に最も近い登録利用者からＮ番目（Ｎは正の整数）ま
での候補を画像信頼度評価装置１００９に入力する。画
像信頼度評価装置１００９では信頼度の最も高い候補の
信頼度に応じて、Ｎ個の候補を求め、その候補情報を登
録者音声特徴蓄積装置１００５に出力する。すなわち、
類似度が高いときには少ない候補を、類似度が低いとき
には多くの候補を登録者音声特徴蓄積装置１００５に出
力する。画像信頼度評価装置１００９での信頼度Ｇの評
価は具体的には、Ｇ＝１−Ｇmin ／Ｇmin2で定義してお
り、Ｇmin は入力画像と最も良く照合した蓄積画像との
照合結果の距離であり、Ｇmin2は次に良く照合した蓄積
画像との距離である。本実施の形態の照合距離は、照合
する画像間の対応する面素間の輝度の差を使って求めて
いる。信頼度Ｇが１に近いほど入力画像と蓄積画像との
一致度が高く信頼度が高いことになる。本実施の形態で
はここで求めた画像信頼度Ｇが予め設定した値よりも高
かったときには、現在の利用者が登録されている利用者
であると認め、情報処理装置１０００の利用を許可す
る。
用者照合装置について、以下にその動作を説明する。情
報処理装置１０００の現在の利用者は利用に先立ち利用
者の音声と顔画像を入力する。画像入力装置１００２に
よって入力された現在の利用者の画像は、画像特徴抽出
装置１００４に入力され利用者の画像に含まれる個人性
情報が抽出される。画像の個人性情報としては、顔画像
の輝度情報、輝度情報の位置微分情報、顔画像の色情報
を用いる。画像照合装置１００８では登録者画像特徴蓄
積装置１００７に蓄積されている画像特徴量と特徴抽出
装置１００４からの画像特徴量とを照合し、現在の利用
者に最も近い登録利用者からＮ番目（Ｎは正の整数）ま
での候補を画像信頼度評価装置１００９に入力する。画
像信頼度評価装置１００９では信頼度の最も高い候補の
信頼度に応じて、Ｎ個の候補を求め、その候補情報を登
録者音声特徴蓄積装置１００５に出力する。すなわち、
類似度が高いときには少ない候補を、類似度が低いとき
には多くの候補を登録者音声特徴蓄積装置１００５に出
力する。画像信頼度評価装置１００９での信頼度Ｇの評
価は具体的には、Ｇ＝１−Ｇmin ／Ｇmin2で定義してお
り、Ｇmin は入力画像と最も良く照合した蓄積画像との
照合結果の距離であり、Ｇmin2は次に良く照合した蓄積
画像との距離である。本実施の形態の照合距離は、照合
する画像間の対応する面素間の輝度の差を使って求めて
いる。信頼度Ｇが１に近いほど入力画像と蓄積画像との
一致度が高く信頼度が高いことになる。本実施の形態で
はここで求めた画像信頼度Ｇが予め設定した値よりも高
かったときには、現在の利用者が登録されている利用者
であると認め、情報処理装置１０００の利用を許可す
る。
【００６４】一方、画像信頼度Ｇが予め設定した値より
も低かったときには音声を用いた照合を行うために以下
の処理を行う。音声入力装置１００１より入力された現
在の利用者の音声は音声特徴抽出装置１００３−１，１
００３−２に入力されて、利用者の音声に含まれる個人
性情報を抽出する。音声特徴抽出装置１００３−１で
は、音声のピッチの平均値、ピッチの標準偏差、平均音
声パワーとその標準偏差の個人性情報の大局的な特徴量
を求める。音声特徴抽出装置１００３−２では、音声パ
ワースペクトラムの時系列情報等を求める。これらの特
徴量は公知の手法（例えばＤＦＴ分析、ＬＰＣ分析、フ
ィルタ分析等）を用いて容易に求めることが可能であ
る。音声特徴抽出装置１００３−１，１００３−２で求
められた音声の特徴量は登録者音声特徴蓄積装置１００
５の特徴量と音声照合装置１００６で照合される。ここ
で照合に用いられる蓄積音声は、画像信頼度評価装置１
００９から画像信頼度Ｇに応じて出力されたＮ個の利用
者の候補と、音声特徴抽出装置１００３−１で求めた大
局的な音声特徴量で限定されたデータを用いている。音
声照合装置１００６での特徴量の照合は公知のＨＭＭ、
ＤＴＷ、ＬＶＱなどのパターン照合手法を用いて行うこ
とができる。これらの照合の結果、現時点で入力された
音声が予め蓄積されている音声データとどれくらい似て
いるかが音声信頼度評価装置１０１０で評価される。本
実施の形態では、音声信頼度評価装置１０１０での信頼
度Ｓの評価は具体的には、Ｓ＝１−Ｓmin ／Ｓmin2で定
義しており、Ｓmin は入力音声と最も良く照合した蓄積
音声との距離であり、Ｓmin2は次に良く照合した蓄積音
声との距離である。信頼度Ｓが１に近いほど入力音声と
蓄積音声との一致度が高く信頼度が高いことになる。
も低かったときには音声を用いた照合を行うために以下
の処理を行う。音声入力装置１００１より入力された現
在の利用者の音声は音声特徴抽出装置１００３−１，１
００３−２に入力されて、利用者の音声に含まれる個人
性情報を抽出する。音声特徴抽出装置１００３−１で
は、音声のピッチの平均値、ピッチの標準偏差、平均音
声パワーとその標準偏差の個人性情報の大局的な特徴量
を求める。音声特徴抽出装置１００３−２では、音声パ
ワースペクトラムの時系列情報等を求める。これらの特
徴量は公知の手法（例えばＤＦＴ分析、ＬＰＣ分析、フ
ィルタ分析等）を用いて容易に求めることが可能であ
る。音声特徴抽出装置１００３−１，１００３−２で求
められた音声の特徴量は登録者音声特徴蓄積装置１００
５の特徴量と音声照合装置１００６で照合される。ここ
で照合に用いられる蓄積音声は、画像信頼度評価装置１
００９から画像信頼度Ｇに応じて出力されたＮ個の利用
者の候補と、音声特徴抽出装置１００３−１で求めた大
局的な音声特徴量で限定されたデータを用いている。音
声照合装置１００６での特徴量の照合は公知のＨＭＭ、
ＤＴＷ、ＬＶＱなどのパターン照合手法を用いて行うこ
とができる。これらの照合の結果、現時点で入力された
音声が予め蓄積されている音声データとどれくらい似て
いるかが音声信頼度評価装置１０１０で評価される。本
実施の形態では、音声信頼度評価装置１０１０での信頼
度Ｓの評価は具体的には、Ｓ＝１−Ｓmin ／Ｓmin2で定
義しており、Ｓmin は入力音声と最も良く照合した蓄積
音声との距離であり、Ｓmin2は次に良く照合した蓄積音
声との距離である。信頼度Ｓが１に近いほど入力音声と
蓄積音声との一致度が高く信頼度が高いことになる。
【００６５】信頼度評価装置１０１１では画像信頼度評
価装置１００９で求めた画像信頼度Ｇと音声信頼度評価
装置１０１０で求めた音声信頼度Ｓがともに予め設定し
た基準値よりも高く、かつ音声で判定した利用者と画像
で判定した利用者が一致したときにのみ現在の利用者が
登録された利用者であるとして、情報処理装置１０００
の利用を許可する。
価装置１００９で求めた画像信頼度Ｇと音声信頼度評価
装置１０１０で求めた音声信頼度Ｓがともに予め設定し
た基準値よりも高く、かつ音声で判定した利用者と画像
で判定した利用者が一致したときにのみ現在の利用者が
登録された利用者であるとして、情報処理装置１０００
の利用を許可する。
【００６６】以上のように本実施の形態によれば、まず
画像を用いて利用者を照合し、そのときの画像信頼度が
設定値よりも高かった場合には音声を使った照合は行わ
ずに情報処理装置１０００の利用を許可し、画像信頼度
が設定値よりも低かった場合には音声を用いた照合も行
うことで、より効率的で確かな利用者照合判定を行うこ
とができる。
画像を用いて利用者を照合し、そのときの画像信頼度が
設定値よりも高かった場合には音声を使った照合は行わ
ずに情報処理装置１０００の利用を許可し、画像信頼度
が設定値よりも低かった場合には音声を用いた照合も行
うことで、より効率的で確かな利用者照合判定を行うこ
とができる。
【００６７】
【発明の効果】以上説明したように、本発明によれば、
利用者に特有な音声と顔画像の情報を用いて利用者の照
合を行うことによって情報処理装置の利用者を確実に制
限することができ、従来のパスワード（暗唱番号）をキ
ーボードから入力するだけでは避けることのできない情
報処理装置の不正利用を防ぐことができ、その実用的価
値には大なるものがある。
利用者に特有な音声と顔画像の情報を用いて利用者の照
合を行うことによって情報処理装置の利用者を確実に制
限することができ、従来のパスワード（暗唱番号）をキ
ーボードから入力するだけでは避けることのできない情
報処理装置の不正利用を防ぐことができ、その実用的価
値には大なるものがある。
【図１】本発明の実施の形態１における利用者照合装置
の構成図である。
の構成図である。
【図２】本発明の実施の形態２における利用者照合装置
の構成図である。
の構成図である。
【図３】本発明の実施の形態３における利用者照合装置
の構成図である。
の構成図である。
【図４】本発明の実施の形態４における利用者照合装置
の構成図である。
の構成図である。
【図５】本発明の実施の形態５における利用者照合装置
の構成図である。
の構成図である。
【図６】本発明の実施の形態６における利用者照合装置
の構成図である。
の構成図である。
【図７】本発明の実施の形態７における利用者照合装置
の構成図である。
の構成図である。
【図８】本発明の実施の形態８における利用者照合装置
の構成図である。
の構成図である。
【図９】本発明の実施の形態８における信頼度評価装置
の説明図である。
の説明図である。
【図１０】本発明の実施の形態９における利用者照合装
置の構成図である。
置の構成図である。
【図１１】従来の利用者照合装置の構成図である。
１００，２００，３００，４００，５００，６００，７
００，８００，１０００……情報処理装置 １０１，２０１，３０１，４０１，５０１，６０１，７
０１，８０１，１００１……音声入力装置 １０２，２０２，３０２，４０２，５０２，６０２，７
０２，８０２，１００２……画像入力装置 １０３，２０３−１，２０３−２，３０３−１，３０３
−２，４０３−１，４０３−２，５０３−１，５０３−
２，６０３−１，６０３−２，７０３−１，７０３−
２，８０３−１，８０３−２，１００３−１，１００３
−２……音声特徴抽出装置 １０４，２０４，３０４，４０４−１，４０４−２，５
０４−１，５０４−２，６０４−１，６０４−２，７０
４，８０４，１００４……画像特徴抽出装置 １０５，２０５，３０５，４０５，５０５，６０５，７
０５，８０５，１００５……登録者音声特徴蓄積装置 １０６，２０６，３０６，４０６，５０６，６０６，７
０６，８０６，１００６……音声照合装置 １０７，２０７，３０７，４０７，５０７，６０７，７
０７，８０７，１００７……登録者画像特徴蓄積装置 １０８，２０８，３０８，４０８，５０８，６０８，７
０８，８０８，１００８……画像照合装置 １０９，２０９，３０９，４０９，５０９，６０９……
一致判定装置 ７０９，８０９，１００９……画像信頼度評価装置 ７１０，８１０，１０１０……音声信頼度評価装置 ７１１，８１１，１０１１……信頼度評価装置
００，８００，１０００……情報処理装置 １０１，２０１，３０１，４０１，５０１，６０１，７
０１，８０１，１００１……音声入力装置 １０２，２０２，３０２，４０２，５０２，６０２，７
０２，８０２，１００２……画像入力装置 １０３，２０３−１，２０３−２，３０３−１，３０３
−２，４０３−１，４０３−２，５０３−１，５０３−
２，６０３−１，６０３−２，７０３−１，７０３−
２，８０３−１，８０３−２，１００３−１，１００３
−２……音声特徴抽出装置 １０４，２０４，３０４，４０４−１，４０４−２，５
０４−１，５０４−２，６０４−１，６０４−２，７０
４，８０４，１００４……画像特徴抽出装置 １０５，２０５，３０５，４０５，５０５，６０５，７
０５，８０５，１００５……登録者音声特徴蓄積装置 １０６，２０６，３０６，４０６，５０６，６０６，７
０６，８０６，１００６……音声照合装置 １０７，２０７，３０７，４０７，５０７，６０７，７
０７，８０７，１００７……登録者画像特徴蓄積装置 １０８，２０８，３０８，４０８，５０８，６０８，７
０８，８０８，１００８……画像照合装置 １０９，２０９，３０９，４０９，５０９，６０９……
一致判定装置 ７０９，８０９，１００９……画像信頼度評価装置 ７１０，８１０，１０１０……音声信頼度評価装置 ７１１，８１１，１０１１……信頼度評価装置
Claims (13)
- 【請求項１】 情報処理装置の利用許可された利用者の
画像の特徴量と音声の特徴量を蓄積しておき、入力した
現在の利用者の画像の特徴量を蓄積されている画像の特
徴量と照合するとともに、入力した現在の利用者の音声
の特徴量を蓄積されている音声の特徴量と照合し、画像
による照合結果と音声による照合結果とが一致したとき
に現在の利用者が登録されている利用者であると判断す
るように構成してあることを特徴とする利用者照合装
置。 - 【請求項２】 登録利用者の音声を蓄積する手段と、登
録利用者の画像を蓄積する手段と、現在の利用者の画像
を入力する手段と、前記入力画像から利用者の個人性を
反映する画像特徴量を抽出する手段と、現在の利用者の
音声を入力する手段と、前記入力音声から利用者の個人
性を反映する音声特徴量を抽出する手段と、前記入力画
像に含まれる画像特徴量を予め蓄積してある画像特徴量
と照合する手段と、前記画像照合結果により前記蓄積手
段に蓄積してある利用者を照合するために用いる音声の
候補を限定する手段と、前記限定された音声候補の特徴
量と入力された音声の特徴量とを照合する手段と、前記
画像による照合結果と前記音声による照合結果が一致し
たときに現在の利用者が登録利用者であると判断する手
段を備えたことを特徴とする利用者照合装置。 - 【請求項３】 登録利用者の音声を蓄積する手段と、登
録利用者の画像を蓄積する手段と、現在の利用者の画像
を入力する手段と、前記入力画像から利用者の個人性を
反映する画像特徴量を抽出する手段と、現在の利用者の
音声を入力する手段と、前記入力音声から利用者の個人
性を反映する音声特徴量を抽出する手段と、前記入力画
像に含まれる画像特徴量を予め蓄積してある画像特徴量
と照合する手段と、前記画像照合結果と入力された利用
者の個人性を反映する音声特徴量の一部を用いて前記蓄
積手段に蓄積してある利用者を照合するために用いる音
声候補を限定する手段と、前記限定された音声候補の特
徴量と入力された音声の特徴量とを照合する手段と、前
記画像による照合結果と前記音声による照合結果が一致
したときに現在の利用者が登録利用者であると判断する
手段を備えたことを特徴とする利用者照合装置。 - 【請求項４】 登録利用者の音声を蓄積する手段と、登
録利用者の画像を蓄積する手段と、現在の利用者の画像
を入力する手段と、前記入力画像から利用者の個人性を
反映する画像特徴量を抽出する手段と、現在の利用者の
音声を入力する手段と、前記入力音声から利用者の個人
性を反映する音声特徴量を抽出する手段と、前記入力音
声に含まれる音声特徴量を予め蓄積してある音声特徴量
と照合する手段と、前記音声照合結果により前記蓄積し
てある利用者の照合に用いる画像候補を限定する手段
と、前記限定された画像候補の特徴量と入力された画像
特徴量とを照合する手段と、前記画像による照合結果と
前記音声による照合結果が一致したときに現在の利用者
が登録利用者であると判断する手段を備えたことを特徴
とする利用者照合装置。 - 【請求項５】 登録利用者の音声を蓄積する手段と、登
録利用者の画像を蓄積する手段と、現在の利用者の画像
を入力する手段と、前記入力画像から利用者の個人性を
反映する画像特徴量を抽出する手段と、現在の利用者の
音声を入力する手段と、前記入力音声から利用者の個人
性を反映する音声特徴量を抽出する手段と、入力された
利用者の個人性を反映する音声特徴量の一部を用いて前
記蓄積手段に蓄積してある利用者を照合するために用い
る音声候補を限定する手段と、前記限定された音声候補
の特徴量と入力された音声の特徴量とを照合する手段
と、入力された利用者の個人性を反映する画像特徴量の
一部を用いて前記蓄積手段に蓄積してある利用者を照合
するために用いる画像候補を限定する手段と、前記限定
された画像候補の特徴量と入力された画像の特徴量とを
照合する手段と、前記画像による照合結果と前記音声に
よる照合結果が一致したときに現在の利用者が登録利用
者であると判断する手段を備えたことを特徴とする利用
者照合装置。 - 【請求項６】 登録利用者の音声を蓄積する手段と、登
録利用者の画像を蓄積する手段と、現在の利用者の画像
を入力する手段と、前記入力画像から利用者の個人性を
反映する画像特徴量を抽出する手段と、現在の利用者の
音声を入力する手段と、前記入力音声から利用者の個人
性を反映する音声特徴量を抽出する手段と、入力された
利用者の個人性を反映する音声特徴量の一部を用いて前
記蓄積手段に蓄積してある利用者を照合するために用い
る音声候補を限定する手段と、前記限定された音声候補
の特徴量と入力された音声の特徴量とを照合する手段
と、入力された利用者の個人性を反映する画像特徴量の
一部を用いて前記蓄積手段に蓄積してある利用者を照合
するために用いる画像候補を限定する手段と、前記音声
照合結果により同様に蓄積してある利用者を照合するた
めに用いる画像候補を限定する手段と、前記限定された
画像候補の特徴量と入力された画像の特徴量とを照合す
る手段と、前記音声による照合結果と前記画像による照
合結果が一致したときに現在の利用者が登録利用者であ
ると判断する手段を備えたことを特徴とする利用者照合
装置。 - 【請求項７】 登録利用者の音声を蓄積する手段と、登
録利用者の画像を蓄積する手段と、現在の利用者の画像
を入力する手段と、前記入力画像から利用者の個人性を
反映する画像特徴量を抽出する手段と、現在の利用者の
音声を入力する手段と、前記入力音声から利用者の個人
性を反映する音声特徴量を抽出する手段と、入力された
利用者の個人性を反映する画像特徴量の一部を用いて前
記蓄積手段に蓄積してある利用者を照合するために用い
る画像候補を限定する手段と、前記限定された画像候補
の特徴量と入力された画像の特徴量とを照合する手段
と、入力された利用者の個人性を反映する音声特徴量の
一部を用いて前記蓄積手段に蓄積してある利用者を照合
するために用いる音声候補を限定する手段と、前記画像
照合結果により同様に蓄積してある利用者を照合するた
めに用いる音声候補を限定する手段と、前記限定された
音声候補の特徴量と入力された音声の特徴量とを照合す
る手段と、前記画像による照合結果と前記音声による照
合結果が一致したときに現在の利用者が登録利用者であ
ると判断する手段を備えたことを特徴とする利用者照合
装置。 - 【請求項８】 登録利用者の音声を蓄積する手段と、登
録利用者の画像を蓄積する手段と、現在の利用者の画像
を入力する手段と、前記入力画像から利用者の個人性を
反映する画像特徴量を抽出する手段と、現在の利用者の
音声を入力する手段と、前記入力音声から利用者の個人
性を反映する音声特徴量を抽出する手段と、前記入力音
声に含まれる音声特徴量を予め蓄積してある音声特徴量
と照合する手段と、前記入力音声から現在の利用者を照
合したときの音声信頼度を求める手段と、前記音声照合
結果により前記蓄積してある利用者の照合に用いる画像
を限定する手段と、前記限定された画像特徴量と入力さ
れた画像特徴量とを照合する手段と、前記画像照合結果
から現在の利用者を照合したときの画像信頼度を求める
手段と、前記音声からの信頼度と前記画像からの信頼度
の各々が予め設定した値よりも高いときに現在の利用者
が登録利用者であると判断する手段を備えたことを特徴
とする利用者照合装置。 - 【請求項９】 登録利用者の音声を蓄積する手段と、登
録利用者の画像を蓄積する手段と、現在の利用者の音声
を入力する手段と、前記入力音声から利用者の個人性を
反映する音声特徴量を抽出する手段と、現在の利用者の
画像を入力する手段と、前記入力画像から利用者の個人
性を反映する画像特徴量を抽出する手段と、前記入力し
た画像特徴量と予め蓄積してある画像特徴量とを照合す
る手段と、前記画像照合結果の信頼度を求める手段と、
前記画像照合結果と信頼度に基づき音声照合に用いるた
めの登録利用者の数と候補を限定する手段と、前記限定
された利用者の音声特徴量と入力された音声特徴量とを
照合する手段と、前記音声照合結果の信頼度を求める手
段と、前記画像から求めた信頼度と前記音声から求めた
信頼度の各々が予め設定した値よりも高いときに現在の
利用者が登録利用者であると判断する手段を備えたこと
を特徴とする利用者照合装置。 - 【請求項１０】 登録利用者の音声を蓄積する手段と、
登録利用者の画像を蓄積する手段と、現在の利用者の画
像を入力する手段と、現在の利用者の音声を入力する手
段と、前記入力画像から利用者の個人性を反映する画像
特徴量を抽出する手段と、前記入力した画像特徴量と予
め蓄積してある画像特徴量とを照合する手段と、前記画
像照合結果の信頼度を求める手段と、前記画像照合結果
と信頼度に基づき音声照合に用いるための登録利用者の
候補を限定する手段と、前記画像信頼度が予め設定した
基準値より高かったときに現在の利用者が登録利用者で
あると判断する手段と、前記画像信頼度が予め設定した
基準値よりも低かったときに前記音声入力手段から音声
を入力する手段と、前記入力音声から利用者の個人性を
反映する音声特徴量を抽出する手段と、前記画像照合結
果と前記音声の個人性情報を用いて限定された音声特徴
量と入力された音声特徴量とを照合する手段と、前記音
声照合結果の信頼度を求める手段と、前記音声の信頼度
と前記画像の信頼度の各々が予め設定した値よりも高か
ったときに現在の利用者が登録利用者であると判断する
手段を備えたことを特徴とする利用者照合装置。 - 【請求項１１】 利用者の音声特徴量を抽出する手段
が、利用者の音声のピッチの平均値を求める手段と、ピ
ッチの標準偏差を求める手段と、平均音声パワーを求め
る手段と、平均音声パワーの標準偏差を求める手段と、
音声パワースベクトラムの時系列情報を求める手段とか
らなる請求項１から請求項１０までのいずれかに記載の
利用者照合装置。 - 【請求項１２】 利用者の画像特徴量を抽出する手段
が、利用者の顔画像の輝度情報を求める手段と、輝度情
報の位置微分情報を求める手段と、利用者の顔画像の輪
郭情報を求める手段と、利用者の顔画像の色情報を求め
る手段と、前記画像の輝度情報、輝度情報の位置微分情
報、輪郭情報、色情報の重みづけを行う手段とからなる
請求項１から請求項１０までのいずれかに記載の利用者
照合装置。 - 【請求項１３】 利用者の画像特徴量を抽出する手段
が、画像から利用者の身長を推定する手段と、利用者の
顔画像の色情報を求める手段と、前記顔画像の輝度情
報、輝度情報の位置微分情報、輪郭情報とからなる請求
項１から請求項１０までのいずれかに記載の利用者照合
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7317942A JPH09160589A (ja) | 1995-12-06 | 1995-12-06 | 利用者照合装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7317942A JPH09160589A (ja) | 1995-12-06 | 1995-12-06 | 利用者照合装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09160589A true JPH09160589A (ja) | 1997-06-20 |
Family
ID=18093745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7317942A Pending JPH09160589A (ja) | 1995-12-06 | 1995-12-06 | 利用者照合装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09160589A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002221992A (ja) * | 2001-01-29 | 2002-08-09 | Nec Corp | 人物特定システム |
| JP2005312748A (ja) * | 2004-04-30 | 2005-11-10 | Sony Corp | 識別装置及び識別方法並びに認証システム |
| US6980669B1 (en) | 1999-12-08 | 2005-12-27 | Nec Corporation | User authentication apparatus which uses biometrics and user authentication method for use with user authentication apparatus |
| JP2006202208A (ja) * | 2005-01-24 | 2006-08-03 | Toshiba Corp | 生体認証装置、生体認証方法および通行制御装置 |
| WO2007114346A1 (ja) * | 2006-03-30 | 2007-10-11 | Honda Moter Co., Ltd. | 音声認識装置 |
-
1995
- 1995-12-06 JP JP7317942A patent/JPH09160589A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6980669B1 (en) | 1999-12-08 | 2005-12-27 | Nec Corporation | User authentication apparatus which uses biometrics and user authentication method for use with user authentication apparatus |
| JP2002221992A (ja) * | 2001-01-29 | 2002-08-09 | Nec Corp | 人物特定システム |
| JP4622106B2 (ja) * | 2001-01-29 | 2011-02-02 | 日本電気株式会社 | 人物特定システム |
| JP2005312748A (ja) * | 2004-04-30 | 2005-11-10 | Sony Corp | 識別装置及び識別方法並びに認証システム |
| JP4636306B2 (ja) * | 2004-04-30 | 2011-02-23 | ソニー株式会社 | 識別装置及び識別方法並びに認証システム |
| JP2006202208A (ja) * | 2005-01-24 | 2006-08-03 | Toshiba Corp | 生体認証装置、生体認証方法および通行制御装置 |
| WO2007114346A1 (ja) * | 2006-03-30 | 2007-10-11 | Honda Moter Co., Ltd. | 音声認識装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2549092C (en) | System and method for providing improved claimant authentication | |
| US6580814B1 (en) | System and method for compressing biometric models | |
| Bigun et al. | Multimodal biometric authentication using quality signals in mobile communications | |
| US9792912B2 (en) | Method for verifying the identity of a speaker, system therefore and computer readable medium | |
| US6107935A (en) | Systems and methods for access filtering employing relaxed recognition constraints | |
| US7447632B2 (en) | Voice authentication system | |
| CN107958669B (zh) | 一种声纹识别的方法及装置 | |
| JP3439359B2 (ja) | 個人識別方法、個人識別装置および記録媒体 | |
| CN107404381A (zh) | 一种身份认证方法和装置 | |
| US20070038460A1 (en) | Method and system to improve speaker verification accuracy by detecting repeat imposters | |
| US20070219792A1 (en) | Method and system for user authentication based on speech recognition and knowledge questions | |
| CN107221333A (zh) | 一种身份认证的方法和装置 | |
| CN110379433B (zh) | 身份验证的方法、装置、计算机设备及存储介质 | |
| GB2229305A (en) | Identity verification | |
| CN109448732B (zh) | 一种数字串语音处理方法及装置 | |
| CN112417412A (zh) | 一种银行账户余额查询方法、装置及系统 | |
| JP2001514768A (ja) | 話者証明システム | |
| CN111242769A (zh) | 身份验证方法、装置、设备及计算机可读存储介质 | |
| JPH09160589A (ja) | 利用者照合装置 | |
| JP2000215316A (ja) | 生体情報認識装置およびその方法 | |
| JP3829355B2 (ja) | 利用者照合装置 | |
| JP3849841B2 (ja) | 話者認識装置 | |
| US7162641B1 (en) | Weight based background discriminant functions in authentication systems | |
| JP4440414B2 (ja) | 話者照合装置及び方法 | |
| JPH10261083A (ja) | 個人同定装置及び個人同定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040806 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050809 |