JP3307354B2 - 人物識別方法及び装置と人物識別プログラムを記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像中の人物を識
別する技術に関し、特に、正面顔による人物識別装置と
方法並びに人物識別プログラムを記録した記録媒体に関
する。

【０００２】

【従来の技術】顔の映像を用いて人物を識別する方式
は、従来よりいくつか提案されている。最近の顔検出、
識別技術の動向は、例えば文献（１）（赤松 茂、“コ
ンピュータによる顔の認識−サーベイ−”、電子情報通
信学会論文誌、Vol.J80-D-II,No.8,pp.2031-2046,Augus
t 1997）に記載されている。一般に、顔識別システム
は、画像中から顔を検出する処理と、顔パターンからの
特徴抽出処理と、特徴量を辞書データと比較する人物識
別処理と、を備えて構成されている。

【０００３】顔画像の検出方式としては、文献（２）
（小杉 信、“個人識別のための多重ピラミッドを用い
たシーン中の顔の探索・位置決め”、電子情報通信学会
論文誌、Vol.J77-D-II,No.4,pp.672-681,April 1994）
に記載されているように濃淡パターンを用いたテンプレ
ートマッチングを行うものや、文献（３）（M.Turk, A.
Pentland, “Face Recognition on Using Eigenfac
es”, Proceedings ofIEEE,CVPR91）に記載されている
ような、顔画像の固有ベクトル投影距離方式が知られて
いる。

【０００４】また、例えば特開平９−２５１５３４号公
報には、目、鼻、口といった造作を検出し、その位置関
係から正面顔濃淡パターンを切り出す方法も提案されて
いる。

【０００５】顔検出の代表的な例として、M.Turkらによ
る固有ベクトル投影距離方式について説明する。

【０００６】あらかじめ多くの正面顔データ（数百枚）
を用意する。それらの画素値を特徴ベクトルとして、固
有値と固有ベクトルを求める。固有値の大きい順にｐ個
の固有ベクトルＶn(n=1,..p)を求める。

【０００７】テスト画像ｔを固有ベクトルＶnに投影す
ると、ｐ個の投影値が得られる。これらの投影値と、固
有ベクトルＶn から、テスト画像を再構成することによ
り、再構成テスト画像ｔ’が得られる。

【０００８】もしもｔが顔パターンに近ければ、再構成
テスト画像ｔ’も顔パターンに近い画像が得られる。そ
こで次式（１）で与えられる距離尺度Ｄｔによって、顔
であるかどうかを判断する。

【０００９】

【００１０】顔識別の特徴量としては、目、鼻、口とい
った顔造作の幾何学的特徴を用いるものと、大局的な濃
淡パターンの照合によるものとの２種類があるが、シー
ン中の顔パターンは、顔の向きや表情が変化すると造作
の位置関係も変化するため、近時、後者の大局的な濃淡
パターンを用いる方法が現在主流となっている。

【００１１】顔画像の識別、照合方法としては例えば、
上記文献（２）（小杉 信、“個人識別のための多重ピ
ラミッドを用いたシーン中の顔の探索・位置決め”、電
子情報通信学会論文誌、Vol.J77-D-II,No.4,pp.672-68
1,April 1994）では、濃淡パターンを特徴ベクトルと考
え、特徴ベクトル間の内積が大きいカテゴリを識別結果
としている。 また、上記文献（３）（M.Turk, A.Pentl
and, “Face Recognition on Using Eigenfaces”, Pro
ceedings of IEEE,CVPR91）では、顔画像の固有ベクト
ルへの投影値を特徴ベクトルとし、それらのユークリッ
ド距離の小さいカテゴリを識別結果としている。

【００１２】また従来、画像認識機能を持ったロボット
装置としては、例えば特願平１０−１５１５９１号に記
載された装置がある。このロボット装置は、画像中から
色情報を抽出し、色パターンに応じて動作を変化させる
ことができる。しかしながら、人物を認識する機能手段
は具備していない。

【００１３】

【発明が解決しようとする課題】上記した従来のシステ
ムは下記記載の問題点を有している。

【００１４】第一の問題点は、家庭環境のように照明条
件が一定でない環境では人物識別が出来ないということ
である。

【００１５】その理由は、一般環境における顔の検出が
困難であるためである。例えばテンプレートマッチング
法は、画像中の顔パターンと辞書パターンとがほとんど
濃度値でない限り、検出することは困難であり、照明方
向が少しでもずれていたり、あるいは辞書の人物と異な
る人物の場合には、ほとんど検出不可能である。一方、
固有ベクトル投影距離方式は、テンプレートマッチング
に比べると、検出性能は高いものの、照明方向が違って
いたり、また複雑な背景を持つ画像では、同様に、検出
は失敗する。

【００１６】また、照明条件が一定でない環境で人物識
別が出来ないもう一つの理由は、従来の特徴抽出方式と
識別方式が、照明変動による特徴量の変動を吸収できな
いためである。

【００１７】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、家庭環境のよう
な一般環境において、安定して人物を識別できる人物識
別システムを提供することにある。

【００１８】また本発明の他の目的は、一般環境におい
て人物を識別できる人物識別方法と人物識別プログラム
を記録した記録媒体を提供することにある。

【００１９】

【課題を解決するための手段】前記目的を達成する本発
明に係る人物識別方法は、入力画像から人間の頭部矩形
座標を検出する頭部検出ステップと、検出された頭部矩
形の中から正面顔を探索するステップと、探索された正
面顔画像から特徴量を抽出するステップと、線形判別辞
書を参照しながら抽出された特徴量と辞書に登録された
人物特徴との類似度を算出することによって人物を識別
するステップとを備えたことを特徴とする。そして、頭
部検出ステップにおいて、入力画像を取得する映像取得
装置の向いた方向に存在する物体との対面距離値取得ス
テップと、対面距離値と検出した頭部矩形座標を元に頭
部誤検出を排除するステップとを含むことを特徴とす
る。

【００２０】また本発明に係る人物識別装置は、画像を
取得する映像取得手段と、画像中から人間の頭部を検出
する頭部検出追跡手段と、検出された頭部の部分画像中
から正面顔画像を取得する正面顔位置合わせ手段と、正
面顔画像を特徴量に変換する顔特徴抽出手段と、識別辞
書を用いて特徴量から人物を識別する顔識別手段と、識
別辞書を保存する識別辞書記憶手段とを備えたことを特
徴とする。そして頭部検出追跡手段において、１枚の画
像から頭部を検出する単眼視頭部矩形座標検出手段と、
対面距離値と頭部矩形座標値とから頭部の誤検出を取り
除く対面距離評価手段とを備えたことを特徴とする。そ
して顔識別手段において、線形判別辞書と特徴データか
ら登録されている人物への類似度を算出する積和演算手
段と、登録されている人物への類似度の最大値を求める
最大類似度人物判定手段と、最大類似度をしきい値処理
して他人かどうかを判定するしきい値処理手段とを備え
たことを特徴とする。

【００２１】本発明に係るプログラムを記録した記録媒
体は、（ａ）入力画像から人の頭部を検出する頭部検出
追跡処理、（ｂ）前記検出された頭部の部分画像中から
正面顔画像を取得する正面顔位置合わせ処理、（ｃ）前
記正面顔画像を特徴量に変換する顔特徴抽出処理、
（ｄ）識別辞書を用いて前記特徴量から人物を識別する
顔識別処理、及び、（ｅ）前記顔識別処理の結果を過去
Ｎフレーム分（Ｎは２以上の整数）加重平均する識別結
果補正処理、の前記（ａ）〜（ｅ）の各処理をコンピュ
ータに実行させるためのプログラムを記録している。以
下の説明でも明らかとされるように上記目的は、請求項
１〜５６のいずれかに記載の本発明によって達成され
る。

【００２２】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００２３】図１は、本発明に係る人物識別装置の一実
施の形態の構成を示す図である。図１を参照すると、本
発明の一実施の形態をなす人物識別装置１４は、映像取
得手段２と、対面距離センサ５と、人物検出識別手段１
と、人物検出識別管理部１３と、辞書データ管理部１２
と、を備えている。映像取得手段２は、右カメラ３と左
カメラ４とを備え、それぞれのカメラ映像情報を取得す
る。対面距離センサ５は、カメラの光軸と同じ方向に設
置されており、映像中の物体との対面距離を計測する。
対面距離センサ５の例として、超音波センサ、赤外線セ
ンサなどがある。人物検出識別管理部１３は、人物検出
識別手段１に対する動作開始命令と動作終了命令の送信
と、辞書データ管理部１２への特徴データ送信、辞書作
成命令の送信を行なう。

【００２４】本発明の一実施の形態において用いられる
カメラとしては、例えばビデオカメラ、デジタルＣＣＤ
カメラ等を含み、動きのある情景を、静止画像の連続と
して出力することのできる撮影デバイスを総称してい
る。

【００２５】人物検出追跡手段１は、頭部検出追跡手段
５と、正面顔位置合わせ手段７と、顔特徴抽出手段８
と、顔識別手段９と、識別辞書記憶手段１０と、識別結
果補正手段１１とを備えている。

【００２６】人物検出追跡手段１は、人物検出識別管理
部１３から動作開始命令を受けると、辞書データ管理部
１２から識別辞書記憶手段１０に識別用辞書をロードし
た後、動作を開始する。

【００２７】図１８は、本発明の一実施の形態における
人物検出識別手段１の処理を説明するための流れ図であ
る。図１及び図１８を参照して、人物検出識別手段１の
動作を説明する。

【００２８】はじめに、頭部検出追跡手段５は、映像取
得手段２からの画像情報と、対面距離センサ５の読み取
り値をもとに、現在のフレームにおける人物の頭部の数
と、頭部矩形座標を出力する(ステップＳ１)。

【００２９】次に、検出した頭部数を評価する（ステッ
プＳ２）。検出した頭部数が０の場合には、次のフレー
ムの映像を入力して頭部検出を行い、検出数が１以上に
なるまで、ステップＳ１は継続される。

【００３０】頭部検出数が１以上の時、正面顔位置合わ
せ手段７に検出結果が送信される。正面顔位置合わせ手
段７では、顔領域の探索処理を行い（ステップＳ３）、
正面顔領域が見つかったかどうかを判断する（ステップ
Ｓ４）。

【００３１】正面顔が見つかると、顔中心部の矩形画像
である正面顔画像を出力する。ステップＳ３とステップ
Ｓ４の処理は、頭部の誤検出を排除し、さらに人物がカ
メラの正面を向いている映像のみを抽出して後段の処理
に送る事を目的としている。正面顔を発見できなかった
ときは、再びステップＳ１から処理を行う。

【００３２】正面顔を発見した時は、次に顔特徴抽出手
段８において、正面顔画像を特徴量データに変換する
（ステップＳ５）。

【００３３】顔特徴抽出手段８の一例は、図８に示すよ
うに、正面顔画像を左から右へ１ライン毎にスキャン
し、上から下へ１ライン終われば次のラインをスキャン
して１次元データを生成し（「ラスタスキャン」とい
う）、それを特徴データとして用いるものである。その
他、１次微分フィルタや２次微分フィルタを用いてフィ
ルタリングし、エッジ情報を抽出したものを、ラスタス
キャンして特徴データとする方法を用いてもよい。

【００３４】次に、顔識別手段９において、識別辞書記
憶手段１０の辞書データを参照して顔識別処理を行う
（ステップＳ６）。

【００３５】次に、識別結果補正手段１１において、過
去ｍフレーム分（ｍは２以上の整数）の識別結果との統
合処理を行い（ステップＳ７）、その結果を、人物検出
識別管理部１３に出力する（ステップＳ８）。

【００３６】この時、頭部検出追跡手段５（ステップＳ
１）において、複数の頭部矩形を検出し、それらを全て
処理していない時は（ステップＳ９のＮｏ分岐）、もう
一度正面顔位置合わせ手段７による（ステップＳ３）か
ら処理を行なう。人物検出識別手段１は、人物識別管理
部１３から終了指示を受けて終了する（ステップＳ１
０）。終了指示があるまでは再びステップＳ１から処理
を継続して行う。

【００３７】図２は、図１の頭部検出追跡手段６の一実
施例をなす頭部検出追跡手段２７の構成を示す図であ
る。図２を参照すると、頭部検出追跡手段２７は、頭部
検出手段２１と、頭部追跡手段２２と、頭部矩形座標記
憶手段２３とを備えている。頭部検出手段２１は、頭部
矩形座標検出手段２４と、左右画像照合手段２５と、対
面距離統合手段３１と、対面距離評価手段２６とを備え
ている。

【００３８】図１９は、頭部検出追跡手段２７の処理を
説明するための流れ図である。図２及び図１９を参照し
て、本発明の一実施例をなす頭部検出追跡手段２７の動
作を説明する。

【００３９】右カメラの映像と左カメラの映像と、対面
距離センサの読み取り値が頭部検出手段２１に入力され
る。頭部検出手段２１は、入力された情報から人物頭部
の検出処理を行い、頭部矩形座標と頭部検出数を出力す
る（ステップＳ１０）。

【００４０】頭部検出数が１以上の場合には、頭部検出
数と頭部矩形座標を、頭部矩形座標記憶手段２３に保存
した後に、出力する（ステップＳ１８）。

【００４１】頭部検出数が０の場合には、頭部追跡手段
２２において、前のフレームにおける頭部矩形情報を、
頭部矩形記憶手段２３から取り出し、頭部追跡処理を行
う（ステップＳ１９）。

【００４２】頭部追跡に成功した場合には、追跡に成功
した頭部数と頭部矩形座標を出力し、追跡に失敗した場
合には検出数０を出力する（ステップＳ２０）。

【００４３】次に、図１９のステップ１０の頭部検出手
段２１の動作について詳細に説明する。頭部検出手段２
１では、まず左右どちらか一方の映像を頭部矩形座標検
出手段２４に入力し、仮頭部検出数と仮頭部矩形座標を
得る（ステップＳ１１）。

【００４４】図２に示した頭部矩形座標検出手段２４で
は右カメラ映像を用いている。次に、左右画像照合手段
２５において、得られた頭部矩形座標と左右カメラの映
像を用いて、ステレオ視の原理をもとに対面距離値を算
出する（図１９のステップＳ１２）。

【００４５】図６を参照して、図２の左右画像照合手段
２５の動作を説明する。右カメラ画像において検出され
た頭部矩形を、頭部検出矩形５１とする。そして頭部検
出矩形５１内の画像データを用いて、左カメラ画像の同
じ検出座標位置の近傍を探索する。探索方法の一例はテ
ンプレートマッチングである。右カメラ画像の濃淡値を
ＦＲ(x,y)、左カメラ画像の濃淡値をＦＬ(x,y)、矩形の
横サイズをＴｗ、縦サイズをＴｈとすると、テンプレー
トの左上始点位置が、左カメラ画像の(sx,sy)にある時
のマッチング距離Ｄtmは、次式（２）で表される。

【００４６】

【００４７】上式（２）は、右カメラと左カメラの部分
画像間のユークリッド距離を表している。Ｄtmが最も小
さい時の左カメラ画像上の座標を、探索結果５２とす
る。探索結果５２が求まると、次に左右の矩形座標値を
比較し、人物頭部への距離を算出する。

【００４８】図３２を参照して、対象物への距離算出方
法の一例を示す。図３２は、左右のカメラを使って、あ
る一つの対象物体４０３を撮影している状況を、上から
見た図である。右カメラ４０１と左カメラ４０２が、間
隔Ｃを空けて平行に設置されている。カメラの画角はθ
で左右共に同じとする。カメラの撮像面の横方向の長さ
をｅとする。この状態で、右カメラ画像には、対象物４
０３が座標 Ｘｒ に写っており、左カメラ画像には座標
Ｘｌに写っている。なお画像の最大横サイズはＷ画素で
ある。この時、カメラ撮像面から、対称物４０３までの
対面距離Ｚは、次式（３）で算出することができる。

【００４９】ここで、ｅは通常１ｃｍ未満の小さい値で
あることから、０として近似計算することもできる。以
上のようにして、左右カメラ画像から対面距離を算出す
る。

【００５０】そして、左右画像照合手段２５において、
ステレオ視によって対面距離を算出した後、対面距離統
合手段３１において、対面距離センサ３０の出力値をも
とに、対面距離の統合処理を行う（図１９のステップＳ
１３）。実験的に、超音波センサ等の距離センサは、距
離が１ｍ未満の場合には非常に精度が高い。一方、１ｍ
以上の遠い距離では誤差が大きくなる傾向にある。

【００５１】ステレオ視により算出された距離値は、カ
メラの画角にもよるが概ね３ｍ程度まで有効であるが、
距離が近すぎると、かえって誤差が大きくなる傾向にあ
る。そこで、両者の距離値を統合する方法として、対面
距離センサ３０の出力があるしきい値Ｔよりも小さい場
合には、対面距離センサの値を採用し、しきい値Ｔより
も大きい場合にはステレオ視による距離値を採用すると
いう方法が用いられる。

【００５２】対面距離を統合した後、対面距離評価手段
２６において、対面距離値と画像中の頭部矩形座標値か
ら、頭部の実際のサイズを算出する（図１９のステップ
Ｓ１４）。

【００５３】算出結果が、人間の頭の大きさにほぼ一致
すれば、本当に頭部を検出したと判定する。算出結果が
実際の頭のサイズから著しくかけ離れる場合には、誤検
出であると判断する（図１９ステップＳ１５）。例え
ば、頭部の横サイズが１２ｃｍプラスマイナス２ｃｍ以
内で、かつ縦サイズが２０ｃｍプラスマイナス４ｃｍ以
内の場合は頭部と見做し、それ以外の場合は頭部ではな
い、と判断する。

【００５４】実際のサイズに合っている場合には、検出
数を１増やす（図１９ステップＳ１６）。

【００５５】評価していない仮頭部矩形座標が残ってい
る時は（図１９のステップＳ１７のＮｏ分岐）、再びス
テップＳ１２から処理を行う。頭部検出手段１２は仮頭
部矩形座標を全て評価し終わった時点で（図１９のステ
ップＳ１９のＹｅｓ分岐）、頭部検出数と頭部矩形座標
を出力する。

【００５６】次に、図２に示した頭部矩形座標検出手段
２４について説明する。図４は、頭部矩形座標検出手段
２４の一実施例をなす頭部矩形座標検出手段４１の構成
を示す図である。図４を参照すると、頭部矩形座標検出
手段４１は、動き画素検出手段４２と、ノイズ除去手段
４７と、人物数評価手段４３と、頭頂座標検出手段４４
と、頭部下部座標検出手段４５と、側頭座標検出手段４
６とを備えている。

【００５７】図２０は、頭部矩形座標検出手段４１の処
理を説明するための流れ図である。図２０、図４、及び
図５を参照して、頭部矩形座標検出手段４１の動作につ
いて説明する。

【００５８】まず動き画素検出手段４２において、画面
内で動きのある画素群を検出する。入力画像データと、
それより１つ前に入力された画像データとの差分をと
り、差分画像ｇを生成する（ステップＳ２１）。

【００５９】さらに過去ｍフレーム分（ｍは２以上の整
数）の差分画像ｇを加算し平均をとる事によって、統合
差分画像Ｇを得る（ステップＳ２２）。統合差分画像Ｇ
は、動きのない領域の画素値が０で、動きのある領域ほ
ど画素値が大きい値を取る。

【００６０】統合差分画像Ｇは、ごま塩ノイズを多く含
むので、ノイズ除去手段４７において、ノイズ除去処理
を行う（ステップＳ２３）。ノイズ除去処理の例として
は、膨張収縮処理や、メジアンフィルタ処理などがあ
る。これらのノイズ除去処理は、画像処理の分野で一般
的であり、当業者にとってよく知られている処理が用い
られるので、その詳細な構成は省略する。

【００６１】次に、図４の人物数評価手段４３におい
て、画面内に何人の人間がいるのかを評価する。人物数
評価手段４３の動作について説明する。図５は、統合差
分画像Ｇの取得の例を説明するための図である。

【００６２】はじめに、人物１人だけを検出する方法に
ついて説明する。統合差分画像Ｇ４８が得られたとする
と、まず動き領域があるかどうかを判定する（図２０の
ステップＳ２４）。ここで動き領域とは、動きのある画
素が占める領域を表わす。この動き領域がない、すなわ
ち統合差分画像Ｇが全て０の場合には、人物数は０と判
定する。それ以外の場合人物数は１とする。

【００６３】次に、複数人物を検出する方法について説
明する。統合差分画像Ｇ４９が得られたとすると、まず
動き領域の有無を調べる（図２０のステップＳ２４）。
動き領域がない場合は人物数０である。動き領域がある
場合、統合差分画像Ｇを参照して、何人いるのかを判定
する（図２０のステップＳ２５）。判定方法としては、
例えば統合差分画像上部領域５０における動き領域幅の
最大値が、あるしきい値よりも小さいときは１人、大き
いときは２人、とする方法がある。人物数が２人のとき
は、人物が横に並んでいると仮定し、統合差分領域Ｇ
を、部分領域１と部分領域２に分割する。なお３人以上
検出の場合も、分割数を増やすことで対応できる。頭部
矩形を求める際には、部分領域１と部分領域２のそれぞ
れに対して、以下に述べる同じ処理（図２０のステップ
Ｓ２６からステップＳ２９まで）を繰り返せばよい。

【００６４】次に、統合差分画像Ｇから頭部矩形座標を
求める処理について説明する。各スキャンライン毎に動
き領域幅４７を求める（図２０のステップＳ２６）。

【００６５】動き領域幅４７は、各スキャンラインにお
いて動き領域のｘ座標最大値と最小値の差分を表してい
る。

【００６６】次に頭頂座標検出手段４４によって頭頂の
Ｙ座標を求める（図２０のステップＳ２７）。頭頂座標
の求め方としては、動き領域のＹ座標の最小値を頭頂と
する方法がある。

【００６７】次に、頭部下部座標検出手段４５によっ
て、頭部矩形の底辺のＹ座標を求める（図２０のステッ
プＳ２８）。頭部矩形の底辺座標を求め方としては、頭
頂から下方向（Ｙ方向）に探索し、動き領域幅４７が動
き領域幅の平均値ｄｍよりも小さいラインを求め、その
ラインの中でＹ座標が最も大きいところを、頭部矩形の
底辺とする方法を用いてもよい。

【００６８】次に側頭座標検出手段４６によって、頭部
矩形の左右のｘ座標を求める（図２０のステップＳ２
９）。左右のｘ座標の求め方としては、頭頂から頭部下
部までの範囲で最も動き領域幅４７が大きなラインにお
ける動き領域の左右端の座標を求める方法を用いてもよ
い。

【００６９】人物数が２つ以上の場合には、図２０のス
テップＳ２６からステップＳ２９までの処理を部分領域
毎に繰り返す。

【００７０】次に、図２の頭部追跡手段２２の動作につ
いて、図７を参照して説明する。追跡処理は、頭部矩形
座標検出に用いたカメラ画像（図２では右カメラ画像）
に対して行なう。まず前フレームの頭部矩形座標５３と
前フレームの頭部矩形画像５５を、頭部矩形記憶手段２
３から読み出す。

【００７１】次に、現フレームにおいて、前フレームの
頭部矩形座標５３の近傍領域をテンプレートマッチング
によって探索し、最も距離値の小さい所を追跡結果とす
る。

【００７２】図３は、図１の頭部検出追跡手段６の他の
実施例をなす頭部検出追跡手段３２の構成を示す図であ
る。図３を参照すると、この頭部検出追跡手段３２は、
頭部検出手段３３と、頭部矩形記憶手段２３と、頭部追
跡手段２２とを備えている。図２に示した実施例との相
違点としては、頭部検出手段３３が、頭部矩形座標検出
手段２４と、対面距離評価手段２６とを持ち、単眼のカ
メラ３４と対面距離センサ３０の出力を用いて検出を行
なっていることである。すなわち、左右のステレオ視に
よる対面距離は考慮せず、対面距離センサの読み取り値
のみを用いて頭部矩形の評価を行なうものである。

【００７３】また、頭部検出追跡手段６のその他の実施
例として、対面距離センサを用いずに、左右カメラのみ
の情報から対面距離を求め、頭部矩形を評価するという
構成の頭部検出手段を用いてもよい。この構成の場合、
頭部検出手段２１において、図２の対面距離統合手段３
１を除いた構成となる。

【００７４】図９は、図１の正面顔位置合わせ手段７の
一実施例をなす正面顔位置合わせ手段６１の構成を示す
図である。図９を参照すると、正面顔位置合わせ手段６
１は、頭部矩形切り取り手段６２と、正面顔探索手段６
３と、標準顔辞書データ記憶手段６４と、正面顔らしさ
判定手段６５とを備えて構成されている。

【００７５】正面顔らしさ判定手段６５は、濃度分散判
定手段６６と、しきい値処理手段６７とを備えている。

【００７６】図２１は、正面顔位置合わせ手段６１の処
理を説明するための流れ図である。図９及びと図２１を
参照して、正面顔位置合わせ手段６１の動作について説
明する。正面顔位置合わせ手段６１は、画像データと頭
部矩形座標と対面距離が入力されると、正面顔有無フラ
グと正面顔画像データを出力する。入力された画像デー
タは、頭部矩形切り取り手段６２において、頭部矩形に
よる部分画像に切り取られる（ステップＳ４１）。この
部分画像を「頭部矩形画像」と呼ぶ。

【００７７】次に正面顔探索手段６５において、頭部矩
形画像の中から、正面顔領域を探索し、正面顔画像と標
準顔辞書とのパターン間距離又は類似度を出力する（ス
テップＳ４２）。

【００７８】次に、正面顔らしさ判定手段６５におい
て、正面顔画像が本当に正面顔であるかどうかを判断す
る（ステップＳ４３）。ここで正面顔であると判断され
れば、正面顔有無フラグは「有り」となり、正面顔画像
を出力する。正面顔ではないと判断すれば、正面顔有無
フラグは「無し」となり、正面顔画像は出力しない。

【００７９】正面顔らしさ判定手段６５は、濃度分散判
定手段６６と、しきい値処理手段６７とを備えている。

【００８０】濃度分散判定手段６６は、正面顔画像デー
タの濃淡値の分散を求め、あるしきい値以下の場合に
は、正面顔ではないと判断する（図２１のステップＳ４
４）。

【００８１】濃度分散判定手段６６により、単調な壁の
ようなパターンを排除することができる。

【００８２】しきい値手段６７は、パターン間距離又は
類似度をしきい値処理することによって正面顔らしさを
判断する（図２１のステップＳ４５）。

【００８３】パターン間距離値の場合には、しきい値以
上のときに正面顔ではないと判断する。類似度の場合
は、しきい値以下のときに、正面顔でないと判断する。

【００８４】図１２は、正面顔位置合わせ手段６１の動
作を模式的に示す説明図である。頭部矩形１５１が検出
されているとすると、図２１のステップＳ４１によっ
て、頭部矩形画像１５２が生成される。

【００８５】次に図２１のステップＳ４２の顔中心部探
索処理では、縮小頭部矩形画像１５３が生成された後に
正面顔画像１５５が得られる。

【００８６】なお、正面顔画像とは、図１２の正面顔画
像１５５に示すような、顔の中心部分の画像であり、横
方向は、両目を完全に含む程度で、縦方向は、眉毛から
口全体を含む程度の領域の画像を意味する。

【００８７】図１０は、正面顔探索手段６３の一実施例
をなす正面顔探索手段７１の構成を示す図である。図１
０を参照すると、この正面顔探索手段７１は、頭部矩形
画像記憶手段８９と、頭部中間サイズ算出手段８８と、
画像縮小手段９０と、中間サイズ記憶手段９１と、正面
顔候補抽出手段７２と、中間縮小画像記憶手段７３と、
コントラスト補正手段７４と、固有ベクトル投影距離算
出手段７５と、標準顔辞書記憶手段７６と、記憶手段７
７と、投影距離最小判定手段７８と、探索範囲終了判定
手段７９と、多重解像度処理終了判定手段９２とを備え
て構成されている。

【００８８】固有ベクトル投影距離算出手段７５は、平
均差分手段８２と、ベクトル投影値算出手段８３と、再
構成演算手段８４と、投影距離計算手段８５とを備えて
構成されている。

【００８９】標準顔辞書記憶手段７６は、標準顔平均デ
ータ記憶手段８０と、標準顔固有ベクトルデータ記憶手
段８１とを備えて構成されている。

【００９０】記憶手段７７は、投影距離最小値記憶手段
８６と、正面顔濃淡値記憶手段８７とを備えて構成され
ている。

【００９１】図２２は、正面顔探索手段７１の処理を説
明するための流れ図である。図１０及び図２２を参照し
て、正面顔探索手段７１の動作について説明する。頭部
矩形画像データは、頭部矩形画像記憶手段８９に保持さ
れている。はじめに頭部中間サイズ算出手段８８におい
て、対面距離値と標準顔辞書データのサイズを参照し
て、頭部矩形画像の中間縮小サイズを計算する（ステッ
プＳ１０１）。

【００９２】頭部中間サイズ算出手段８８の処理例につ
いて説明する。中間縮小サイズは、図１２の縮小頭部矩
形画像１５３の縦横サイズとして示されている。頭部矩
形画像１５２の横サイズをＨｗ、縦サイズをＨｈとす
る。中間縮小サイズの横サイズをＭｗ、縦サイズをＭｈ
とする。また正面顔画像の横サイズをＦｗ、縦サイズを
Ｆｈとする。Ｆｗ，Ｆｈは正面顔探索形状１５４の縦横
サイズと同一であり、標準顔辞書に対して一意に決定さ
れる。なお、Ｈｈ，Ｈｗ，Ｍｈ，Ｍｗ、Ｆｈ，Ｆｗはす
べて画素単位のピクセルサイズである。

【００９３】標準顔辞書は、図１２の正面顔画像１５５
に示す正面顔領域の濃淡値を特徴値として生成されたパ
ターン認識用の辞書である。正面顔領域とは、横方向は
両目を完全に含む程度で、縦方向は眉毛から口全体を含
む程度の領域を意味する。正面顔領域は必ずしも矩形で
ある必要はなく、楕円形など、両目、鼻、口を含む任意
の連続領域で実現可能である。ただし、形状が矩形であ
れば処理が単純化されて高速化することができるので、
実装形態として有効である。よって、以下では、正面顔
領域を矩形であるものとして説明する。

【００９４】正面顔領域の実際の縦横サイズを、ＲＦ
ｈ、ＲＦｗとすると、男性の大人であれば、大体 ＲＦ
ｗ＝１０ｃｍ、ＲＦｈ＝１５ｃｍ程度で表わすことがで
きる。一方、頭部矩形画像の実際の縦横サイズＲＨｈ、
ＲＨｗは、対面距離Ｚが既知であるため、次式（４）に
よって、計算することができる。なお次式（４）の変数
は、図３２に対応している。

【００９５】

【００９６】撮像面の幅ｅは小さいので通常は無視して
計算しても問題ない。

【００９７】標準顔辞書を用いて頭部矩形画像を探索す
るためには、頭部矩形画像を標準顔辞書と同じ解像度に
変換する必要がある。その変換後のサイズが中間縮小サ
イズＭｗ、Ｍｈである。Ｍｈ、Ｍｗは、次式（５）の関
係式から求めることができる。

【００９８】

【００９９】すなわち、頭部中間サイズ算出手段８８に
おいて、ＲＦｗ、ＲＦｈを１組指定することによって中
間縮小サイズＭｗ、Ｍｈを１組算出することができる。
しかし人間の正面顔の大きさは大人から子供、女性と男
性で異なっている。そこで、ＲＦｗ、ＲＦｈを複数組用
意し、それぞれに対応する中間縮小サイズを算出するこ
とも可能となっている。あらかじめ複数算出することに
より、後段の正面顔探索処理を複数の中間縮小サイズで
処理することができる。また複数の中間縮小サイズで探
索処理することは、頭部矩形を複数の解像度で探索処理
する行為と同じであると解釈できる。

【０１００】頭部中間サイズ算出手段８８によって中間
サイズが算出されると、中間サイズ記憶手段９１に中間
サイズの情報が記憶される。

【０１０１】次に最小パターン間距離値 Dmin を、通常
得られるパターン間距離値に比べ十分大きな値に初期化
する（図２２のステップＳ１０２）。

【０１０２】中間縮小サイズ記憶手段９１の情報を１つ
選択し、画像縮小手段９０において、頭部矩形画像を選
択した中間縮小サイズに縮小し、縮小頭部矩形画像を得
る（図２２のステップＳ１０３）。

【０１０３】次に正面顔探索位置ＳＸ，ＳＹを０に初期
化する（図２２のステップＳ１０４）。

【０１０４】次に正面顔候補抽出手段７２において、探
索位置ＳＸ，ＳＹにおける正面顔候補画像を抽出する
（図２２のステップＳ１０５）。

【０１０５】次に正面顔候補画像を明暗の調子を補正す
るため、コントラスト補正手段７４によってコントラス
トを補正する（図２２のステップＳ１０６）。

【０１０６】コントラスト補正の具体的な方法の例につ
いて説明する。正面顔候補画像が、０からｖmaxまでの
値をとるものとし、画素値の平均をμ、標準偏差をσと
すると、元画像Ｖからコントラスト補正画像Ｖ’への変
換式は、次式（６）で表わすことができる。

【０１０７】

【０１０８】再び図１０及び図２２を参照すると、次
に、固有ベクトル投影距離算出手段７５において、正面
顔候補画像と標準顔パターンとの固有ベクトル投影距離
Dを求める（ステップＳ１０７）。

【０１０９】次に、投影距離最小判定手段７８におい
て、DとDminとを比較する。このときDがDminよりも小さ
い値であれば、DminにDを代入して値を更新し、投影距
離最小値記憶手段８６に記憶する。同時に正面顔候補画
像を、正面顔濃淡値記憶手段８７に記憶する（ステップ
Ｓ１０８）。

【０１１０】次に、探索範囲終了判定手段７９におい
て、探索位置ＳＸ、ＳＹをインクリメントし（ステップ
Ｓ１０９）、頭部矩形を全て探索し終わったかどうかを
判断する（ステップＳ１１０）。まだ探索し終わってい
ないときは、再びステップ１０５より処理を繰り返す。

【０１１１】頭部矩形の探索範囲を全て探索し終わった
ら、多重解像度処理終了判定手段９２において、すべて
の中間縮小サイズで探索したか否かを判断する（ステッ
プＳ１１１）。もし、探索していない中間縮小サイズが
あれば、異なる中間縮小サイズを用いて再びステップＳ
１０３から処理を開始する。すべての中間縮小サイズで
探索が終了した時点で正面顔探索手段７１は終了する。

【０１１２】次に、図１０の固有ベクトル投影距離算出
手段７５の動作について説明する。

【０１１３】標準顔辞書記憶手段７６には、標準顔平均
データと、標準顔固有ベクトルデータが記憶されてい
る。

【０１１４】図３３に、特徴量の数がｐ個の時の、固有
ベクトル投影距離算出用辞書の一例を示す。固有ベクト
ル投影距離算出用辞書は、１からｐ番めまでのｐ次元の
固有ベクトルデータＥと、ｐ個の特徴量の平均値Ａveと
からなる。特徴量がｐ個のとき、固有ベクトルはｐ番め
まで存在するが、投影距離算出時には１からｍ番めまで
を使用する。

【０１１５】正面顔候補画像の画素値を、図８に示すよ
うにラスタスキャンし、１次元の特徴データに変換す
る。このとき正面顔画像の縦横サイズの積Ｆｗ×Ｆｈ
は、辞書の特徴量と同じｐ個でなければならない。これ
をベクトルＸ：Ｘ１、Ｘ２，．．．Ｘｐとする。

【０１１６】まず平均差分手段８２において、ベクトル
Ｘから平均ベクトルＡveを差分する。これをベクトルＹ
とする。

【０１１７】

【０１１８】次にベクトル投影値算出手段８３におい
て、ベクトルＹをｍ個の固有ベクトルに投影し、その投
影値Ｒ１．．Ｒｍを求める。投影値算出方法を、次式
（８）に示す。

【０１１９】

【０１２０】次に、再構成演算手段８４（図１０参照）
において、投影値Ｒ１．．．Ｒｍと、ｍ個の固有ベクト
ルとを用いて元の特徴量Ｙを再構成し、その再構成ベク
トルをＹ’とする。再構成の計算を次式（９）に示す。

【０１２１】

【０１２２】次に、投影距離計算手段８５において、次
式（１０）に従い、ＹとＹ‘とのユークリッド距離値を
求める。これによって、固有ベクトルＥへの投影距離Ｄ
が算出される。

【０１２３】

【０１２４】図１１は、図９の正面顔探索手段６３の他
の実施例をなす正面顔探索手段１０１の構成を示す図で
ある。図１１を参照すると、この正面顔探索手段１０１
は、頭部矩形画像記憶手段８９と、頭部中間サイズ算出
手段８８と、画像縮小手段９０と、中間サイズ記憶手段
９１と、正面顔候補抽出手段７２と、中間縮小画像記憶
手段７３と、コントラスト補正手段７４と、積和演算手
段１０２と、標準顔辞書データ記憶手段１０４と、記憶
手段１０５と、類似度最大判定手段１０３と、探索範囲
終了判定手段７９と、多重解像度処理終了判定手段９２
とを備えて構成されている。

【０１２５】記憶手段１０５は、類似度最大値記憶手段
１０６と、正面顔濃淡値記憶手段１０７とを備えてい
る。

【０１２６】図２３は、正面顔探索手段１０１の処理を
説明するための流れ図である。図１１及び図２３を参照
して、正面顔探索手段１０１の動作について説明する。
頭部矩形画像データは、頭部矩形画像記憶手段８９に保
持されている。はじめに頭部中間サイズ算出手段８８に
おいて、対面距離値と標準顔辞書データのサイズを参照
して、頭部矩形画像の中間縮小サイズを計算し、中間サ
イズ記憶手段９１に記憶する（ステップＳ１２１）。

【０１２７】中間縮小サイズの計算方法は正面顔探索手
段７１と同一である。次に最大類似度Smaxを０に初期化
する（ステップＳ１２２）。

【０１２８】中間サイズ記憶手段９１の情報を１つ選択
し、画像縮小手段９０において、頭部矩形画像を選択し
た中間縮小サイズに縮小し、縮小頭部矩形画像を得る
（ステップＳ１２３）。

【０１２９】次に正面顔探索位置ＳＸ、ＳＹを０に初期
化する（ステップＳ１２４）。

【０１３０】次に正面顔候補抽出手段７２において、探
索位置ＳＸ、ＳＹにおける正面顔候補画像を抽出する
（ステップＳ１２５）。

【０１３１】次に正面顔候補画像を明暗の調子を補正す
るため、コントラスト補正手段７４によってコントラス
トを補正する（ステップＳ１２６）。

【０１３２】次に積和演算手段１０２において、正面顔
候補画像と標準顔パターンとの類似度Ｓを求める（ステ
ップＳ１２７）。

【０１３３】次に類似度最大値判定手段１０３におい
て、ＳとＳmaxとを比較する。このときＳがＳmaxよりも
大きい値であれば、ＳmaxにＳを代入して値を更新し、
類似度最大値記憶手段１０６に記憶する。同時に正面顔
候補画像を正面顔濃淡値記憶手段１０７に記憶する（ス
テップＳ１２８）。

【０１３４】次に探索範囲終了判定手段７９において、
探索位置ＳＸ、ＳＹをインクリメントし（ステップＳ１
２９）、頭部矩形を全て探索し終わったかどうかを判断
する（ステップＳ１３０）。まだ探索し終わっていない
ときは、再びステップ１２５より処理を繰り返す。

【０１３５】頭部矩形の探索範囲を全て探索し終わった
ら、多重解像度処理終了判定手段９２において、すべて
の中間縮小サイズで探索したかどうかを判断する。もし
探索していない中間縮小サイズがあれば、異なる中間縮
小サイズを用いて再びステップＳ１２３から処理を開始
する。

【０１３６】すべての中間縮小サイズで探索が終了した
時点で正面顔探索手段１０１は終了する。

【０１３７】次に、図１１に示した、標準顔パターンと
の類似度を算出する積和演算手段１０２の動作について
説明する。

【０１３８】積和演算手段１０２は、正面顔かそれ以外
かを判別する線形判別辞書を参照して類似度Ｓを算出す
る。図３４に、線形判別辞書の一例を示す。図３４に
は、ｑ個のクラスを判別する辞書が示されているが、標
準顔辞書データ記憶手段１０４は、正面顔とそれ以外の
２つのクラスを判別する辞書であり、ｑ＝２の場合に相
当する。

【０１３９】正面顔候補画像の画素値を、図８に示すよ
うにラスタスキャンし、１次元の特徴データに変換す
る。このとき正面顔画像の縦横サイズの積Ｆｗ×Ｆｈ
は、辞書の特徴量と同じｐ個でなければならない。これ
をベクトルＸ：Ｘ１、Ｘ２，．．．Ｘｐとする。

【０１４０】また標準顔辞書データとして、ｑ＝１のク
ラスが正面顔を、ｑ＝２のクラスがそれ以外を表わすも
のとして説明する。正面顔との類似度は、図３４のｑ＝
１の行、すなわちクラス１の識別係数４２２のみを用い
て、次式（１１）によって計算することができる。

【０１４１】

【０１４２】積和演算手段９５は、上式（１１）を演算
することによって、類似度を算出する。

【０１４３】図１３には、図１の顔識別手段９の一実施
例をなす顔識別手段１１１と、図１の識別辞書記憶手段
１０の一実施例をなす識別辞書記憶手段１１２と、図１
の識別結果補正手段１１の一実施例をなす識別結果補正
手段１１３とが示されている。図１３を参照すると、顔
識別手段１１１は、特徴データ記憶手段１１５と、積和
演算手段１１６と、最大類似度人物判定手段１１８と、
しきい値処理手段１１７とを備えて構成されている。識
別辞書記憶手段１１２は、登録人物識別用辞書記憶手段
１１９を有する。識別結果補正手段１１３は、識別結果
加重平均算出手段１１４を有する。

【０１４４】図２４は、顔識別手段１１１と識別結果補
正手段１１３の処理を説明するための流れ図である。図
１３及び図２４を参照して、顔識別手段１１１と識別結
果補正手段１１３の動作について説明する。

【０１４５】特徴データが入力され、特徴データ記憶手
段１１５に記憶される（ステップＳ５１）。

【０１４６】次に、登録人物識別用辞書記憶手段１１９
のデータを参照し、積和演算手段１１６において、登録
された人物への類似度を、人物毎にそれぞれ算出する
（ステップＳ５４）。

【０１４７】類似度の算出方法は、標準顔パターンとの
類似度を算出する積和演算手段１０２の動作と基本的に
同じである。ただし、識別するクラス数は登録されてい
る人物数となる。

【０１４８】辞書としてｑ人分のデータが登録されてい
る場合には、登録人物識別用辞書記憶手段１１９には、
図３４に示す線形判別辞書と同じ数のデータが保持され
ることになる。そして積和演算手段１１６により、次式
（１２）に示すように、ｑ個の類似度Ｓｉ：（ｉ＝
１，．．．ｑ）が得られる。

【０１４９】

【０１５０】このように、図３４に示す線形判別辞書に
よる積和演算処理で求められた類似度の大きさによって
パターンを識別する方法を、「線形判別辞書による類似
度識別」と呼ぶ。

【０１５１】再び図１３及び図２４を参照すると、次
に、最大類似度人物判定手段１１８において、算出され
たｑ個の類似度の中で最大値を求め、それに対応する人
物を求める（ステップＳ５５）。すなわち、特徴データ
と最も似ていると判断される人物を求める。この時の類
似度を「最大類似度」と呼ぶ。

【０１５２】次に、しきい値処理手段１１７において、
最大類似度をあらかじめ定められたしきい値と比較する
（ステップＳ５６）。

【０１５３】顔識別手段１１１は、最大類似度がしきい
値よりも高いときは、確かに人物を識別したと判断し、
そのＩＤ番号と最大類似度を出力する。最大類似度がし
きい値よりも低いときは、登録されている人物（本人）
ではない他人である可能性が高いので、「他人」という
情報を出力する。

【０１５４】識別結果補正手段１１３は、識別結果を受
け取った後、識別結果加重平均算出手段１１４によっ
て、過去Ｎフレームにおける識別結果を統合する（ステ
ップＳ５７）。識別結果加重平均算出手段１１４の動作
の例として、過去Ｎフレームにおける識別人物ＩＤと類
似度、あるいは他人判定結果を、以下のように加重平均
する方法がある。

【０１５５】ステップＡ１：過去Ｎフレームの中で、一
定割合のフレーム数が「他人」の時は、「他人」とす
る。他人でないと判定された場合にはステップＡ２へ進
む。

【０１５６】ステップＡ２：過去Nフレームの中で、人
物ｉという判定がＮｉフレームあるものとする（ｉ＝
１．．．ｑ）。それぞれの人物の類似度加重平均値を次
式（１３）で算出する。Ｓｉは人物ｉの類似度を表し、
ＳＳｉは人物ｉの類似度加重平均値を表す。ＳＳｉの最
も大きい人物ＩＤを、識別結果として出力する。

【０１５７】

【０１５８】識別結果補正手段１１３は、上記のように
して統合された識別結果を出力する。

【０１５９】図１５は、図１の顔識別手段９の他の実施
例をなす顔識別手段１３１の構成、図１の識別辞書記憶
手段１０の他の実施例をなす識別辞書記憶手段１３２の
構成を示す図である。図１５を参照すると、顔識別手段
１３１は、特徴データ記憶手段１１５と、固有ベクトル
他人判別手段１３３と、積和演算手段１１６と、最大類
似度人物判定手段１１８と、しきい値処理手段１１７と
を備えている。

【０１６０】識別辞書記憶手段１３２は、他人判別用辞
書記憶手段１３４と、登録人物識別用辞書記憶手段１１
９とを備えている。

【０１６１】図２４は、、顔識別手段１３１の処理を説
明するための流れ図である。図１５及び図２４を参照し
て、顔識別手段１３１の動作について説明する。特徴デ
ータが入力され、特徴データ記憶手段１１５に記憶され
る（ステップＳ５１）。

【０１６２】次に、他人判別用辞書記憶手段１３４のデ
ータを参照しながら、固有ベクトル他人判別手段１３３
によって、登録されている人物群とのパターン間距離Ｄ
ｈを求め（ステップＳ５２）、パターン間距離Ｄｈがし
きい値よりも大きければ他人であると判定する（ステッ
プＳ５３）。パターン間距離Ｄｈは固有ベクトル投影距
離として算出する。すなわち、他人判別用辞書記憶手段
には、登録されている全員の特徴データによって作成さ
れた固有ベクトル辞書が記憶されている。

【０１６３】固有ベクトル辞書の例は図３３に示されて
おり、また固有ベクトル投影距離の算出方法は、固有ベ
クトル投影距離算出手段７５の動作の説明において述べ
られている。

【０１６４】入力された特徴データが、固有ベクトル他
人判別手段１３３において他人と判断されれば、顔識別
手段１３１は、積和演算手段１１６を経ることなく、直
ちに「他人」を出力する。

【０１６５】固有ベクトル他人判定手段１３３において
「他人」と判定されなかった場合には、次に、登録人物
識別用辞書記憶手段１１９のデータを参照し、積和演算
手段１１６において、登録された人物への類似度を、人
物毎にそれぞれ算出する（ステップＳ５４）。ｑ人の人
物が登録されていればｑ個の類似度Ｓｉ：（ｉ＝
１，．．．ｑ）を算出する。

【０１６６】次に、最大類似度人物判定手段１１８にお
いて、算出されたｑ個の類似度の中で最大値を求め、そ
れに対応する人物を求める（ステップＳ５５）。すなわ
ち、特徴データと最も似ていると判断される人物を求め
る。この時の類似度を最大類似度と呼ぶ。次にしきい値
処理手段１１７において、最大類似度をあらかじめ定め
られたしきい値と比較する（ステップＳ５６）。

【０１６７】顔識別手段１３１は、最大類似度がしきい
値よりも高いときは、確かに人物を識別したと判断し、
そのＩＤ番号と最大類似度を出力する。最大類似度がし
きい値よりも低いときは、登録されている人物ではない
他人である可能性が高いので、「他人」という情報を出
力する。

【０１６８】図１４は、図１の辞書データ管理部１２の
一実施例をなす辞書データ管理部１２１の構成を示す図
である。図１４を参照すると、辞書データ管理部１２１
は、個人特徴データ記憶手段１２２と、識別辞書生成手
段１２３と、セレクタ１２４とを備えて構成されてい
る。

【０１６９】識別辞書生成手段１２３は、線形判別辞書
作成手段１２６と固有ベクトル辞書作成手段１２７とを
備えて構成されている。個人特徴データ記憶手段１２２
内には、人物別特徴データ領域１２５が、登録された人
数分存在する。

【０１７０】辞書データ管理部１２１は、特徴データと
人物ＩＤ番号とが入力されると、セレクタ１２４によっ
て人物ＩＤ毎に振り分けられ、個人特徴データ記憶手段
１２２内の人物ＩＤ番号に対応する領域に入力特徴デー
タを記憶する。また、新しい人物ＩＤの追加命令があれ
ば、個人特徴データ記憶手段１２２内に、新しい人物別
特徴データ領域１２５を確保し、新しい人物ＩＤ番号を
割り当てる。また、既存の人物ＩＤの削除命令があれ
ば、個人特徴データ記憶手段１２２内の該当するＩＤの
人物別特徴データ領域１２５を破棄する。

【０１７１】また辞書データ管理部１２１は、識別辞書
作成命令を受けると、識別辞書生成手段１２３は、個人
特徴データ記憶手段１２２のデータを用いて、線形判別
辞書である登録人物識別用識別辞書と固有ベクトル辞書
である他人判別用辞書を生成する。登録人物識別用識別
辞書は、線形判別辞書作成手段１２６において作成され
る。他人判別用辞書は、固有ベクトル辞書作成手段１２
７で作成される。

【０１７２】なお、図１の顔識別手段９が、図１３に示
した顔識別手段１１１の構成を持つ場合は、他人判別用
辞書は不要であるため、識別辞書生成手段１２３は固有
ベクトル辞書作成手段１２７を持たない構成としてもよ
い。

【０１７３】図１５は、図１の辞書データ管理部１２へ
の登録処理を説明するための流れ図である。図１、図１
４及び図２５を参照して、辞書データ管理部１２１がカ
メラの前にいる新しい人物を登録する時の動作について
説明する。

【０１７４】人物検出識別管理部１３は、新しい人物Ｉ
Ｄを指定して、辞書管理部１２１に新しい人物の登録を
指示する（ステップＳ６１）。

【０１７５】辞書データ管理部１２１は、個人特徴デー
タ記憶手段１２２内に、指定されたＩＤに対応する人物
別特徴データ領域１２５を確保する（ステップＳ６
２）。

【０１７６】人物検出識別管理部１３は、人物検出識別
手段１内の顔特徴抽出手段８から指定枚数分の特徴デー
タを取得し、辞書データ管理部１２１に送付する。

【０１７７】辞書データ管理部１２１は、新しいＩＤに
対応する人物別特徴データ領域１２５に、取得したデー
タを保存する（ステップＳ６３）。

【０１７８】指定枚数分の取得が完了したら、人物検出
識別管理部１３は、辞書データ管理部１２１に対して識
別辞書の作成を指示する（ステップＳ６４）。

【０１７９】辞書データ管理部１２１は、作成指示を受
けると、識別辞書生成手段１２３の線形判別辞書作成手
段１２６によって、登録人物用識別辞書を作成する（ス
テップＳ６５）。

【０１８０】次に、固有ベクトル辞書作成手段１２７に
よって、他人判別用辞書を作成する（ステップＳ６
６）。

【０１８１】そして、作成された辞書を人物検出識別部
の識別辞書記憶手段１０に出力し記憶させる（ステップ
Ｓ６７）。以上の処理により、新規人物の登録処理は終
了する。

【０１８２】図２９は、図１４の線形判別辞書作成手段
１２６の一実施例をなす線形判別辞書作成手段３１１の
構成を示す図である。図２９を参照すると、線形判別辞
書作成手段３１１は、特徴量Ｘ記憶手段３１２と、分散
共分散行列Ｃｘｘ算出手段３１３と、逆行列変換手段３
１４と、行列乗算手段３１５と、目的変数Ｙ記憶手段３
１７と、目的変数Ｙ生成手段３１８と、共分散行列Ｃｘ
ｙ算出手段３１９と、係数記憶手段３２０と、定数項算
出手段３１６とを備えて構成されている。

【０１８３】図３１及び図３４を参照して、線形判別辞
書の作成方法について説明する。図３１には、１人あた
りｎ枚で、人物１から人物ｑまでｑ人分の個人特徴デー
タＸ３４１が示されている。また、個人特徴データＸ３
４１の特徴数はｐ個である。図３１の１行が、１枚分の
特徴データを示している。個人特徴データＸ３４１は、
図１４において個人特徴データ記憶手段１２２に記憶さ
れており、１人分の個人特徴データがそれぞれ人物別特
徴データ領域１２５に記憶されている。

【０１８４】目的変数Ｙ３４２は、１つの特徴データに
ついて１つ作成され、識別する人物数分の要素を持つベ
クトルである。すなわち、図３１において、人物ＩＤは
１からｑまでの値をとるので、目的変数ＹはＹ１からＹ
ｑまで存在する。目的変数Ｙ３４２の値は、０か１の２
値であり、特徴データが属する人物のベクトル要素が１
で、その他は０である。すなわち人物２の特徴データで
あれば、Ｙ２要素だけが１で他は０となる。

【０１８５】図３４は、線形判別辞書の形式の一例を示
す図である。線形判別辞書は、定数項４２１と、乗算項
４２５の２種類の係数からなる。乗算項からなるマトリ
クスをＡｉｊ（ｉ＝１，．．．ｐ、ｊ＝１，．．．．
ｑ）、定数項からなるベクトルをＡ０ｊ（ｊ＝
１，．．．．ｑ）とすると、マトリクスＡｉｊは、次式
（１４）から求められる。

【０１８６】

【０１８７】上式（１４）において、Ｃｘｘは個人特徴
データＸ３４１の全てのデータを用いたこの分散共分散
行列である。この分散共分散行列Ｃｘｘは、次式（１
５）で算出される。

【０１８８】個人特徴データＸの要素を、ｘｉｊ：（ｉ
＝１．．．．Ｎ、ｊ＝１，．．．ｐ）で表わす。Ｎは全
データ数で、ｐは特徴数である。図３１に示す例では、
１人につきｎ枚のデータがあることから、Ｎ＝ｎｑであ
る。ｘ￣は、ｘの平均値を表わす。

【０１８９】

【０１９０】Ｃｘｙは、個人特徴データＸと目的変数Ｙ
との共分散行列である。共分散行列Ｃｘｙは、次式（１
６）に従って算出される。ｘ￣、ｙ￣は、ｘ、ｙの平均
値を表わす。

【０１９１】

【０１９２】また、定数項Ａ０ｊは、次式（１７）に従
って算出される。

【０１９３】

【０１９４】はじめにＣｘｘを算出し、その逆行列を求
める。次にＣｘｙを求める。最後にこれらの行列を乗算
して乗算項マトリクスＡｉｊを求め、最後に定数項Ａ０
ｊを求める。

【０１９５】図２９は、線形判別辞書作成手段３１１の
処理を説明するための図である。図２９を参照して、線
形判別辞書作成手段３１１の動作を説明する。入力され
た個人特徴データ群は、特徴量Ｘ記憶手段３１２に記憶
される。

【０１９６】入力された個人特徴データ群と人物ＩＤを
用いて、目的変数Ｙ生成手段３１８によって目的変数Ｙ
が生成される。生成した目的変数Ｙは、目的変数Ｙ記憶
手段３１７に記憶される。

【０１９７】次に、分散共分散行列Ｃｘｘ算出手段３１
３において、分散共分散行列Ｃｘｘを算出する。

【０１９８】次に、逆行列変換手段３１４において、分
散共分散行列Ｃｘｘの逆行列を算出する。

【０１９９】次に、共分散行列Ｃｘｙ算出手段３１９に
おいて、共分散行列Ｃｘｙを算出する。

【０２００】次に、行列乗算手段３１５において、乗算
項Ａｉｊを算出し、係数記憶手段３２０に乗算項Ａｉｊ
データを記憶する。

【０２０１】次に、定数項算出手段３１６において、定
数項Ａ０ｊを算出し、係数記憶手段３２０に記憶する。

【０２０２】最後に、係数記憶手段３２０のデータを出
力して終了する。

【０２０３】なお、図３１では、０と１の２値データを
示したが、線形判別辞書作成手段３１１においては、０
と１００等の他の２値データを用いることも可能であ
る。

【０２０４】図３０は、図１４の固有ベクトル辞書作成
手段１２７の一実施例をなす固有ベクトル辞書作成手段
３３１を示す図である。固有ベクトル辞書作成手段３３
１は、特徴量記憶手段３３２と、特徴量平均算出手段３
３３と、分散共分散行列算出手段３３４と、固有ベクト
ル算出手段３３５と、係数記憶手段３３６と備えて構成
されている。

【０２０５】図３１と図３３とを参照して、固有ベクト
ル辞書の作成方法について説明する。個人特徴データＸ
の要素を、ｘｉｊ：（ｉ＝１．．．．Ｎ、ｊ＝
１，．．．ｐ）で表わす。

【０２０６】はじめにＸの特徴量ごとの平均値を求め
る。次に、Ｘの分散共分散行列Ｃｘｘを、上式（１５）
を用いて算出する。分散共分散行列Ｃｘｘの固有ベクト
ルを求める。固有ベクトルを求める方法は、当業者によ
って広く知られており、本発明とは直接関係しないこと
から、その詳細は省略する。

【０２０７】以上の操作により、図３３に示すような形
式の固有ベクトル辞書が得られる。固有ベクトルは特徴
量の数（ｐ個）だけ得られる。図３３では、１行分が１
つの固有ベクトルを表わしている。

【０２０８】図３０は、固有ベクトル辞書作成手段３３
１の構成及び処理を説明するための図である。図３０を
参照して、固有ベクトル辞書作成手段３３１の動作につ
いて説明する。

【０２０９】個人特徴データが入力されると、特徴量記
憶手段３３２に記憶される。

【０２１０】次に、特徴量平均算出手段３３３におい
て、特徴量の平均値が求め、係数記憶手段３３６に記憶
する。次に分散共分散行列算出手段３３４において、分
散共分散行列Ｃｘｘを算出する。

【０２１１】次に、固有ベクトル算出手段３３５におい
て、分散共分散行列Ｃｘｘの固有ベクトルを算出し、係
数記憶手段３３６に記憶する。最後に、係数記憶手段３
３６のデータを出力して終了する。

【０２１２】図１６は、参考例として、本発明の人物識
別装置を用いたロボット装置の構成を示す図である。図
１６を参照すると、このロボット装置２０１は、ＣＣＤ
カメラ２０２と、人物検出識別手段２０３と、辞書デー
タ管理部２０４と、人物検出識別管理部２０５と、全体
制御部２０６と、スピーカ２０７と、ロボット移動手段
２０８とを備えている。ロボット移動手段２０８は、モ
ータ２０９と、車輪２１０とを備えている。

【０２１３】人物検出識別手段２０３は、ＣＣＤカメラ
２０２からのステレオ映像を基に、人物検出と識別を行
なっている。人物検出識別管理部２０５は、人物検出識
別手段２０３との情報のやり取り、全体制御部２０５と
の情報のやり取り、辞書データ管理部２０４との情報の
やり取りを行なっている。スピーカ２０７は全体制御部
２０６に接続され、全体制御部２０６の指示で発話する
ことができる。また全体制御部２０６は、ロボット移動
手段２０８に移動指示を送る。ロボット移動手段２０８
はモータ２０９と複数の車輪２１０を持ち、ロボットを
自由な方向に移動させることができる。

【０２１４】図２６は、参考例のロボット装置の処理を
説明するための図である。図１６及び図２６を参照し
て、このロボット装置２０１の動作について説明する。
ロボット装置２０１は、人物を検出すると、人物の方向
に移動して近づいていき、予め定められた所定の距離以
内に近づいたら人物識別を行なう。

【０２１５】人物検出識別管理部２０５は、人物検出識
別手段２０３内の頭部検出追跡手段から、検出した頭部
の矩形情報と、対面距離値を取得し、全体制御部２０６
に送信する（ステップＳ７１）。

【０２１６】全体制御部２０６では対面距離値を参照
し、対面距離がしきい値よりも近いかどうかを判定する
（ステップＳ７３）。距離がしきい値よりも遠いとき
は、ロボット移動手段２０８に指令して、人物の方向に
前進する（ステップＳ７２）。

【０２１７】人物の存在する概略的な方向は、画像内の
頭部矩形座標から類推することができる。ステップＳ７
１からステップＳ７３を繰り返し、対面距離がしきい値
よりも近くなったら、全体制御部２０６は、人物検出識
別管理部２０４から人物識別結果を取得する（ステップ
Ｓ７４）。

【０２１８】次に、人物別の音声をスピーカ２０７から
発声し、人物識別したことを対話者に知らせる（ステッ
プＳ７５）。

【０２１９】図１７は、本発明の人物識別装置を利用し
たロボット装置の一例の構成を示す図である。図１７を
参照すると、ロボット装置２２１は、ＣＣＤカメラ２０
２と、対面距離センサ２２３と、タッチセンサ２２２
と、人物検出識別手段２２４と、辞書データ管理部２０
４と、人物検出識別管理部２０５と、全体制御部２２７
と、マイク２２５と、音声認識手段２２６と、スピーカ
２０７と、ロボット移動手段２０８とを備えて構成され
ている。ロボット移動手段２０８は、モータ２０９と、
車輪２１０とを備えている。

【０２２０】人物検出識別手段２２４は、ＣＣＤカメラ
２０２からのステレオ映像と、対面距離センサ２２３と
の情報を元に、人物検出と識別を行なっている。人物検
出識別管理部２０５は、人物検出識別手段２２４との情
報のやり取り、全体制御部２２７との情報のやり取り、
辞書データ管理部２０４との情報のやり取りを行なって
いる。スピーカ２０７は全体制御部２２７に接続され、
全体制御部２２７の指示で発話することができる。また
全体制御部２２７は、ロボット移動手段２０８に移動指
示を送る。ロボット移動手段２０８はモータ２０９と複
数の車輪２１０を持ち、ロボットを自由な方向に移動さ
せることができる。タッチセンサ２２２は、全体制御部
２２７に接続されており、外部から物体の接触の有無
と、接触の強さを検出する。マイク２２５は音声認識手
段２２６に接続され、音声認識手段２２６は全体制御部
２２７に接続されている。音声認識手段２２６は、マイ
ク２２５からの音声データから、人の言葉を自動認識
し、認識結果を、全体制御部に送信する。

【０２２１】図２７は、参考例のロボット装置の処理を
説明するための流れ図である。図１７及び図２７を参照
して、ロボット装置２２１の動作例について説明する。

【０２２２】ロボット装置２２１は、対面している人物
の検出識別を行ない、対話者の反応によって識別辞書を
更新することによって、人物画像の逐次学習を行なう。

【０２２３】全体制御部２２７は、人物検出識別管理部
２０５から人物識別結果を取得する（ステップＳ８
１）。

【０２２４】次に識別した人物毎に特定の動作を行なう
（ステップＳ８２）。特定の動作とは、人の名前を発声
したり、人によって車輪を特定方向に動かしたりする行
為全体を差す。

【０２２５】次に、対話者の反応がセンスされるのを待
つ（ステップＳ８３）。対話者の反応が得られたとき
は、次にその反応がポジティブなものかネガティブなも
のかを判定する（ステップＳ８４）。ポジティブな反応
とは、「Ｙｅｓ」という意味であり、例えば音声認識
で，「はい」を認識した時などがある。

【０２２６】ネガティブな反応とは、「Ｎｏ」という意
味であり、例えば音声認識で，「いいえ」を認識した時
などがある。

【０２２７】また、例えば、あらかじめタッチセンサを
１度押下すると「はい」、２度押下すると「いいえ」と
いう規則を予め全体制御部で決めておくことで、タッチ
センサを用いて対話者の反応を取得することができる。

【０２２８】ステップＳ８４がネガティブな反応の場合
は、もう一度ステップＳ８１から動作を繰り返す。ポジ
ティブな反応の場合には、識別に使用した顔特徴データ
を辞書データ管理部２０４に入力する（ステップＳ８
５）。

【０２２９】そして識別辞書を作成し更新する（ステッ
プＳ８６）。

【０２３０】終了指示があれば終了し、なければ、再び
ステップＳ８１から動作を繰り返す（ステップＳ８
７）。

【０２３１】図２８は、本発明の人物識別装置を用いた
ロボット装置の他の例の処理を説明するための流れ図で
ある。図１７及び図２８を参照して、ロボット装置２２
１の動作の例について説明する。ロボット装置２２１
は、対面している人物の検出識別を行ない、対話者の命
令によって新しい人物の画像を取得し、新しい人物辞書
を登録する。

【０２３２】全体制御部２２７は、人物検出識別管理部
２０５から人物識別結果を取得する（ステップＳ９
１）。

【０２３３】次に識別した人物毎に特定の動作を行なう
（ステップＳ９２）。特定の動作とは、人の名前を発声
したり、人によって車輪を特定方向に動かしたりする行
為全体を差す。

【０２３４】次に、対話者の命令がセンスされるのを待
つ（ステップＳ９３）。対話者の命令イベントが得られ
ると、次にその命令イベントが登録命令かどうかを判定
する（ステップＳ９４）。登録命令イベントは、例えば
音声認識で「とうろく」を認識したというイベントがあ
る。また、あらかじめタッチセンサを１度たたくと登録
イベントである、という規則を予め全体制御部で決めて
おくことにより、タッチセンサを用いて登録命令イベン
トを発声させることができる。

【０２３５】登録命令が来たときは、登録処理を行い、
新しい人物の登録を行なう（ステップＳ９５）。登録処
理ステップＳ９５の一例は、図２５に示されており、既
に説明済みである。

【０２３６】登録処理が終了すると、再びステップＳ９
１から処理を開始する。登録命令イベントが来なかった
場合は、終了判定を行なう（ステップＳ９６）。

【０２３７】終了命令があれば終了し、終了命令がない
場合は、再びステップＳ９１から処理を開始する。

【０２３８】図３５は、本発明に係る人物検出識別シス
テムの一実施の形態の構成を示す図である。図３５を参
照すると、本発明に係る人物検出識別システムは、映像
取得手段２と、対面距離センサ５と、人物検出識別手段
５０１と、辞書データ管理部１２と、人物検出識別管理
部５０２と、記録媒体５０３とを備えている。記録媒体
５０３には、人物検出識別処理プログラムを記録してお
り、磁気ディスク、半導体メモリ、CD-ROMその他の記録
媒体であってよい。

【０２３９】人物検出識別処理プログラムは、記録媒体
５０３から人物検出識別手段５０１と、人物検出識別管
理部５０２に読み込まれ、図１を参照して説明した前記
した実施の形態における人物検出識別手段６および人物
検出識別管理部１３による処理と同一の処理を実行す
る。

【０２４０】

【発明の効果】以上説明したように、本発明によれば、
次のような効果を奏する。

【０２４１】本発明の人物識別方法及び装置は、例えば
家庭環境のように、照明条件の変動が激しい環境下にお
いても、極めて高い識別率で人物を識別することができ
る、という効果を奏する。

【０２４２】その理由は以下の通りである。すなわち、
本発明においては、画像の濃淡値だけではなく、動きと
対面距離情報を用いて検出識別している、ためである。
また、本発明においては、顔位置合わせ手段により、精
度のよい正面顔を検出している、ためである。さらに、
本発明においては、顔識別手段において、線形判別辞書
による類似度識別を行なっている、ためである。

【０２４３】そして、本発明においては、人（利用者）
との対話を通じて、装置又はシステムが自ら学習するこ
とで、識別精度を上げる、ように構成したためである。

【０２４４】また、本発明を用いたロボット装置によれ
ば、ある場所で入力画像が不良で識別できなくても、そ
の後、装置自ら動作することにより、良好な画像を取得
する、ことができる。

【図面の簡単な説明】

【図１】本発明の人物識別装置の一実施の形態の構成を
示すブロック図である。

【図２】本発明の人物識別装置における頭部検出追跡手
段の一実施例の構成を示すブロック図である。

【図３】本発明の人物識別装置における頭部検出追跡手
段の別の実施例の構成を示すブロック図である。

【図４】本発明の人物識別装置における単眼視頭部矩形
座標検出手段の一実施例の構成を示すブロック図であ
る。

【図５】本発明の人物識別装置における頭部検出処理を
説明するための図である。

【図６】本発明の人物識別装置における左右画像照合処
理を説明するための図である。

【図７】本発明の人物識別装置における頭部追跡処理を
説明するための図である。

【図８】本発明の人物識別装置における正面顔画像を特
徴データに変換する際のラスタスキャンの説明図であ
る。

【図９】本発明の人物識別装置における正面顔位置合わ
せ手段の一実施例の構成を示すブロック図である。

【図１０】本発明の人物識別装置における正面顔探索手
段の一実施例の構成を示すブロック図である。

【図１１】本発明の人物識別装置における正面顔探索手
段の他の実施例の構成を示すブロック図である。

【図１２】本発明の人物識別装置における頭部検出処理
と顔位置合わせ処理を説明するための図である。

【図１３】本発明の人物識別装置における顔識別手段と
識別辞書記憶手段と識別結果補正手段の各実施例の構成
を示すブロック図である。

【図１４】本発明の人物識別装置における辞書データ管
理部の一実施例の構成を示すブロック図である。

【図１５】本発明の人物識別装置における顔識別手段と
識別辞書記憶手段と識別結果補正手段の各実施例の構成
を示すブロック図である。

【図１６】ロボット装置の一例の構成を示す図である。

【図１７】ロボット装置の他の実施例の構成を示す図で
ある。

【図１８】本発明の人物識別装置における人物検出処理
と識別処理を説明するための流れ図である。

【図１９】本発明の人物識別装置における頭部検出追跡
処理を説明するための流れ図である。

【図２０】本発明の人物識別装置における頭部検出処理
を説明するための流れ図である。

【図２１】本発明の人物識別装置における正面顔位置合
わせ処理を説明するための流れ図である。

【図２２】本発明の人物識別装置における正面顔探索処
理を説明するための流れ図である。

【図２３】本発明の人物識別装置における正面顔探索処
理を説明するための流れ図である。

【図２４】本発明の人物識別装置における顔識別処理を
説明するための流れ図である。

【図２５】本発明の人物識別装置における人物辞書登録
処理を説明するための流れ図である。

【図２６】ロボット装置における行動制御を説明するた
めの流れ図である。

【図２７】ロボット装置における行動制御を説明するた
めの流れ図である。

【図２８】ロボット装置における行動制御を説明するた
めの流れ図である。

【図２９】本発明の人物識別装置における線形判別辞書
作成手段の一実施例の構成を示すブロック図である。

【図３０】本発明の人物識別装置における固有ベクトル
辞書作成手段の一実施例の構成を示すブロック図であ
る。

【図３１】本発明の人物識別処理に用いる線形判別辞書
作成方法を説明するための図である。

【図３２】本発明の人物識別処理に用いるステレオ視に
よる対面距離算出方法を説明するための図である。

【図３３】本発明の人物識別処理に用いる固有ベクトル
投影距離辞書の説明図である。

【図３４】本発明の人物識別処理に用いる線形判別辞書
の説明図である。

【図３５】本発明の人物識別装置の他の実施例の構成を
示すブロック図である。

【符号の説明】

１ 人物検出識別手段 ２ 映像取得手段 ３ 右カメラ ４ 左カメラ ５ 対面距離センサ ６ 頭部検出追跡手段 ７ 正面顔位置合わせ手段 ８ 顔特徴量抽出手段 ９ 顔識別手段 １０ 識別辞書記憶手段 １１ 識別結果補正手段 １２ 辞書データ管理部 １３ 人物検出識別管理部 １４ 人物識別装置 ２１ 頭部検出手段 ２２ 頭部追跡手段 ２３ 頭部矩形記憶手段 ２４ 単眼視頭部矩形座標検出手段 ２５ 左右画像照合手段 ２６ 対面距離評価手段 ２７ 頭部検出追跡手段 ２８ 右カメラ ２９ 左カメラ ３０ 対面距離センサ ３１ 対面距離統合手段 ３２ 頭部検出追跡手段 ３３ 頭部検出手段 ３４ ＣＣＤカメラ ４１ 頭部矩形座標検出手段 ４２ 動き画素検出手段 ４３ 人物数評価手段 ４４ 頭頂座標検出手段 ４５ 頭部下部座標検出手段 ４６ 側頭座標検出手段 ４７ 動き領域幅 ４８ 統合差分画像Ｇ ４９ 統合差分画像Ｇ ５０ 統合差分画像上部領域 ５１ 頭部検出矩形 ５２ 探索結果 ５３ 前フレームの頭部矩形座標 ５４ サーチ軌跡 ５５ 前フレームの頭部矩形画像 ６１ 正面顔位置合わせ手段 ６２ 頭部矩形切り取り手段 ６３ 正面顔探索手段 ６５ 正面顔らしさ判定手段 ６６ 濃度分散判定手段 ６７ しきい値処理手段 ７１ 正面顔探索手段 ７２ 正面顔候補抽出手段 ７３ 中間縮小画像記憶手段 ７４ コントラスト補正手段 ７５ 固有ベクトル投影距離算出手段 ７６ 標準顔辞書記憶手段 ７７ 記憶手段 ７８ 投影距離判定手段 ７９ 探索範囲終了判定手段 ８０ 標準顔平均データ記憶手段 ８１ 標準顔固有ベクトルデータ記憶手段 ８２ 平均差分手段 ８３ ベクトル投影値算出手段 ８４ 再構成演算手段 ８５ 投影距離計算手段 ８６ 投影距離最小値記憶手段 ８７ 正面顔濃淡値記憶手段 ８８ 頭部中間サイズ算出手段 ８９ 頭部矩形画像記憶手段 ９０ 画像縮小手段 ９１ 中間サイズ記憶手段 ９２ 多重解像度処理終了判定手段 １０１ 正面顔探索手段 １０２ 積和演算手段 １０３ 類似度最大判定手段 １０４ 標準顔辞書データ記憶部 １０５ 記憶手段 １０６ 類似度最大値記憶手段 １０７ 正面顔濃淡値記憶手段 １１１ 顔識別手段 １１２ 識別辞書記憶手段 １１３ 識別結果補正手段 １１４ 識別結果加重平均算出手段 １１５ 特徴データ記憶手段 １１６ 積和演算手段 １１７ しきい値処理手段 １１８ 最大類似度人物判定手段 １１９ 登録人物用識別辞書記憶手段 １２１ 辞書データ管理部 １２２ 個人特徴データ管理部 １２３ 識別辞書生成手段 １２４ セレクタ １２５ 人物別特徴データ １２６ 線形判別辞書作成手段 １２７ 固有ベクトル辞書作成手段 １３１ 顔識別手段 １３２ 識別辞書記憶手段 １３３ 他人判別手段 １３４ 他人判別用辞書記憶手段 １５１ 頭部矩形 １５２ 頭部矩形画像 １５３ 縮小頭部矩形画像 １５４ 正面顔探索形状 １５５ 正面顔画像 ２０１ ロボット装置 ２０２ ＣＣＤカメラ ２０３ 人物検出識別手段 ２０４ 辞書データ管理部 ２０５ 人物検出識別管理部 ２０６ 全体制御部 ２０７ スピーカ ２０８ ロボット移動手段 ２０９ モータ ２１０ 車輪 ２２１ ロボット装置 ２２２ タッチセンサ ２２３ 対面距離センサ ２２４ 人物検出識別手段 ２２５ マイク ２２６ 音声認識手段 ２２７ 全体制御部 ３１１ 線形判別辞書作成手段 ３１２ 特徴量Ｘ記憶手段 ３１３ 分散共分散行列Ｃｘｘ算出手段 ３１４ 逆行列変換手段 ３１５ 行列乗算手段 ３１６ 定数項算出手段 ３１７ 目的変数Ｙ記憶手段 ３１８ 目的変数Ｙ生成手段 ３１９ 共分散行列Ｃｘｙ算出手段 ３２０ 係数記憶手段 ３３１ 固有ベクトル辞書作成手段 ３３２ 特徴量記憶手段 ３３３ 特徴量平均算出手段 ３３４ 分散共分散行列算出手段 ３３５ 固有ベクトル算出手段 ３３６ 係数記憶手段 ３４１ 個人特徴データＸ ３４２ 目的変数Ｙ ３４３ 特徴データ平均値 ３４４ 目的変数平均値 ４０１ 右カメラ ４０２ 左カメラ ４０３ 対象物 ４１１ １番目の固有ベクトル ４１２ ２番目の固有ベクトル ４１３ Ｐ番目の固有ベクトル ４１４ 平均値 ４２１ 定数項 ４２２ クラス１の識別係数 ４２３ クラス２の識別係数 ４２４ クラスｑの識別係数 ４２５ 乗算項 ５０１ 人物検出識別処理部 ５０２ 記憶手段 ５０３ 記録媒体

フロントページの続き (56)参考文献 特開 平５−166090（ＪＰ，Ａ) 特開 平８−55133（ＪＰ，Ａ) 特開 昭63−191282（ＪＰ，Ａ) 特開 平９−322155（ＪＰ，Ａ) 特開 平６−231252（ＪＰ，Ａ) 特開 平８−161498（ＪＰ，Ａ) 特開 平８−210847（ＪＰ，Ａ) 特開 平７−225841（ＪＰ，Ａ) 特開 平３−51996（ＪＰ，Ａ) 特開 平９−91429（ＪＰ，Ａ) 特開 平９−50528（ＪＰ，Ａ) 特開 平４−256087（ＪＰ，Ａ) 特開 平10−301917（ＪＰ，Ａ) 特開 平５−34126（ＪＰ，Ａ) 特開 平７−41118（ＪＰ，Ａ) 特開 昭61−150483（ＪＰ，Ａ) 特開 昭62−249298（ＪＰ，Ａ) 特開 昭63−157593（ＪＰ，Ａ) 特開 平６−150005（ＪＰ，Ａ) 特開 平７−65149（ＪＰ，Ａ) 特開 平５−297152（ＪＰ，Ａ) 特開 平７−311833（ＪＰ，Ａ) 特開 平８−153187（ＪＰ，Ａ) 特開 平９−160534（ＪＰ，Ａ) 特開 平４−246788（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 H04N 7/18 G08B 13/00 - 15/02 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (31)

(57)【特許請求の範囲】
1. 【請求項１】（ａ）入力画像から人の頭部を検出するス
   テップと、 （ｂ）前記検出された頭部の部分画像中から正面顔画像
   を取得するステップと、 （ｃ）前記正面顔画像を特徴量に変換する顔特徴抽出ス
   テップと、 （ｄ）識別辞書を用いて前記特徴量から人物を識別する
   顔識別ステップと、 （ｅ）前記顔識別ステップの処理結果を過去Ｎフレーム
   分（Ｎは２以上の整数）平均し、識別結果を補正するス
   テップと、 を含む、ことを特徴とする人物識別方法。
2. 【請求項２】(a)入力画像から人の頭部矩形座標を検出
   するステップと、 (b)前記検出された頭部矩形の中から正面顔を探索する
   ステップと、 (c)前記探索された正面顔画像から特徴量を抽出するス
   テップと、 (d)人物を識別するための識別係数を有し、特徴量の数
   をｐ、判別するクラス数をｑとしてｐ×ｑの要素の乗算
   項マトリクスとｑ次元の定数項ベクトルからなる線形判
   別辞書を参照して、前記抽出された特徴量と、前記線形
   判別辞書に登録された識別係数との演算から類似度を算
   出することにより人の識別を行うステップと、 を含み、 前記検出された頭部矩形の中から正面顔を探索するステ
   ップ(b)が、 (b-1)濃淡値を正規化することでコントラストを補正す
   るステップと、 (b-2)標準顔の特徴量の固有ベクトルデータと特徴量の
   平均値からなる固有ベクトル投影距離算出辞書を用い
   て、正面顔候補画像の特徴量Ｘと平均ベクトルの差分Ｙ
   を複数の固有ベクトルに投影し該投影値からもとの特徴
   量を再構成したベクトルＹ′と前記ベクトルＹとの距離
   （「固有ベクトル投影距離」という）を算出するステッ
   プと、 (b-3)正面顔探索に用いる正面顔辞書のサイズと、映像
   取得装置の向いた方向に存在する物体との間の対面距離
   に応じた頭部中間サイズを複数算出するステップと、 (b-4)前記頭部中間サイズに頭部矩形画像を複数回縮小
   するステップと、 (b-5)複数の縮小画像において前記固有ベクトル投影距
   離を算出するステップと、 を含むことを特徴とする人物識別方法。
3. 【請求項３】(a)入力画像から人の頭部矩形座標を検出
   するステップと、 (e)前フレームにおいて検出された頭部矩形を現フレー
   ムで追跡処理するステップと、 (b)前記検出された頭部矩形の中から正面顔を探索する
   ステップと、 (c)前記探索された正面顔画像から特徴量を抽出するス
   テップと、 (d)人物を識別するための識別係数を有し、特徴量の数
   をｐ、判別するクラス数をｑとしてｐ×ｑの要素の乗算
   項マトリクスとｑ次元の定数項ベクトルからなる線形判
   別辞書を参照して、前記抽出された特徴量と、前記線形
   判別辞書に登録された識別係数との演算から類似度を算
   出することにより人の識別を行うステップと、 を含み、 前記検出された頭部矩形の中から正面顔を探索するステ
   ップ(b)が、 (b-1)濃淡値を正規化することでコントラストを補正す
   るステップと、 (b-2)標準顔の特徴量の固有ベクトルデータと特徴量の
   平均値からなる固有ベクトル投影距離算出辞書を用い
   て、正面顔候補画像の特徴量Ｘと平均ベクトルの差分Ｙ
   を複数の固有ベクトルに投影し該投影値からもとの特徴
   量を再構成したベクトルＹ′と前記ベクトルＹとの距離
   （「固有ベクトル投影距離」という）を算出するステッ
   プと、 (b-3)正面顔探索に用いる正面顔辞書のサイズと、映像
   取得装置の向いた方向に存在する物体との間の対面距離
   に応じた頭部中間サイズを複数算出するステップと、 (b-4)前記頭部中間サイズに頭部矩形画像を複数回縮小
   するステップと、 (b-5)複数の縮小画像において前記固有ベクトル投影距
   離を算出するステップと、 を含むことを特徴とする人物識別方法。
4. 【請求項４】前記入力画像から人の頭部矩形座標を検出
   するステップ(a)が、 (a-1)前記入力画像を取得する映像取得装置の向いた方
   向に存在する映像対象物体との対面距離値を算出するス
   テップと、 (a-2)算出された対面距離値と、検出された前記頭部矩
   形座標とを基に、頭部誤検出を排除するステップと、を
   含むことを特徴とする請求項２または３記載の人物識別
   方法。
5. 【請求項５】前記入力画像から人の頭部矩形座標を検出
   するステップ(a)が、 (a-1)左右２つのカメラからの入力画像から映像取得装
   置の向いた方向に存在する映像対象物体との対面距離値
   を算出するステップと、 (a-2)前記算出された対面距離値と、検出された前記頭
   部矩形座標とを基に、頭部誤検出を排除するステップ
   と、を含むことを特徴とする請求項２または３記載の人
   物識別方法。
6. 【請求項６】請求項２乃至５のいずれか一に記載の人物
   識別方法において、 前記入力画像から人の頭部矩形座標を検出するステップ
   (a)が、 (a-3)前フレームとの差分画像ｇを生成するステップ
   と、 (a-4)前記差分画像ｇを過去ｍフレーム分（但し、ｍは
   ２以上の整数）積分し、統合差分画像Ｇを生成するステ
   ップと、 (a-5)前記統合差分画像Ｇからライン毎に動き領域幅を
   算出するステップと、 (a-6)前記動き領域幅から頭部矩形座標を取得するステ
   ップと、 を含むことを特徴とする人物識別方法。
7. 【請求項７】前記人の識別を行うステップ（ｄ）が、 (ｄ−１)登録されている人物の特徴量の固有ベクトルデ
   ータと特徴量の平均値とを格納する他人判別用辞書を用
   いて、前記探索された正面顔画像の前記特徴量 と前記他
   人判別用辞書に格納された前記平均値との差分Ｙ２を前
   記他人判別用辞書に格納された前記固有ベクトルに投影
   し、当該投影値からもとのＹ２を再構成したベクトルＹ
   ２’と前記ベクトルＹ２との距離Ｄｈ（「他人判別距
   離」という）を算出し、当該算出した他人判別距離Ｄｈ
   を用いて、前記探索された正面顔画像の人が登録されて
   いる人物かどうかの判定を行うステップと、 前 記ステップ(ｄ−１)で登録されている人物であると判
   定された場合に、(ｄ−２)前 記線形判別辞書を参照して、抽出された特徴
   量と、前記線形判別辞書に登録された識別係数との演算
   から類似度を算出するステップと、(ｄ−３) 前記類似度が最大である人物ＩＤを求めるステ
   ップと、 を含むことを特徴とする請求項２乃至６のいずれか一に
   記載の人物識別方法。
8. 【請求項８】請求項２から７いずれか一に記載の人物識
   別方法において、 (i)現フレームの人物識別結果を過去Ｎフレーム分（但
   し、Ｎは２以上の整数）平均を取るステップを含むこと
   を特徴とする人物識別方法。
9. 【請求項９】請求項２から８いずれか一に記載の人物識
   別方法において、 前記頭部矩形座標を検出するステップ(a)において、１
   フレーム内から複数の人物の頭部を検出し、 前記正面顔を探索するステップ(b)において、複数の頭
   部から正面顔を探索し、 前記人物を識別するステップ(d)において、複数の正面
   顔について識別を行なうステップをそれぞれ含むことを
   特徴とする人物識別方法。
10. 【請求項１０】画像を取得する映像取得手段と、 前記取得された画像情報から人の頭部を検出する頭部検
    出追跡手段と、 前記検出された頭部の部分画像中から正面顔画像を取得
    する正面顔位置合わせ手段と、 正面顔画像を特徴量に変換する顔特徴抽出手段と、 識別辞書を用いて特徴量から人物を識別する顔識別手段
    と、 識別辞書を保存する識別辞書記憶手段と、 前記顔識別手段から出力される識別結果を過去Ｎフレー
    ム分（Ｎは２以上の整数）平均する識別結果補正手段
    と、 を備えたことを特徴とする人物識別装置。
11. 【請求項１１】（ａ）入力画像から人の頭部を検出する
    頭部検出追跡処理、 （ｂ）前記検出された頭部の部分画像中から正面顔画像
    を取得する正面顔位置合わせ処理、 （ｃ）前記正面顔画像を特徴量に変換する顔特徴抽出処
    理、 （ｄ）識別辞書を用いて前記特徴量から人物を識別する
    顔識別処理、及び、 （ｅ）前記顔識別処理の結果を過去Ｎフレーム分（Ｎは
    ２以上の整数）平均する識別結果補正処理、 の前記（ａ）〜（ｅ）の各処理をコンピュータに実行さ
    せるためのプログラムを記録した記録媒体。
12. 【請求項１２】請求項１１記載の記録媒体において、 （ｆ）人物識別に使用する識別辞書が、人物を識別する
    ための識別係数を有し、特徴量の数をｐ、判別するクラ
    ス数をｑとしてｐ×ｑの要素の乗算項マトリクスとｑ次
    元の定数項ベクトルからなる線形判別辞書からなり、前
    記線形判別辞書を生成する処理をコンピュータに実行さ
    せるためのプログラムを記録した記録媒体。
13. 【請求項１３】請求項１１又は１２に記載の記録媒体に
    記録されたプログラムにおいて、 前記頭部検出追跡処理（ａ）が、 １フレームの画像から頭部矩形領域を検出する頭部検出
    処理と、 前フレームの頭部矩形画像を現フレームでマッチング処
    理する頭部追跡処理と、を備えたことを特徴とする記録
    媒体。
14. 【請求項１４】請求項１３記載の記録媒体に記録された
    プログラムにおいて、 前記頭部検出追跡処理（ａ）における１フレームの画像
    から頭部矩形領域を検出する頭部検出処理が、 １枚の画像から頭部を検出する単眼視頭部矩形座標検出
    処理と、 左右２つのカメラからの画像を照合して対面距離値を算
    出する左右画像照合処理と、 前記対面距離値と前記頭部矩形領域の座標値とから、頭
    部の誤検出を取り除く対面距離評価処理とを備えたこと
    を特徴とする記録媒体。
15. 【請求項１５】請求項１４記載の記録媒体に記録された
    プログラムにおいて、 前記頭部検出追跡処理の（ａ）における１フレームの画
    像から頭部矩形領域を検出する前記頭部検出処理が、 １枚の画像から頭部を検出する単眼視頭部矩形座標検出
    処理と、 前記対面距離値と前記頭部矩形領域の座標値とから、頭
    部の誤検出を取り除く対面距離評価処理とを備えたこと
    を特徴とする記録媒体。
16. 【請求項１６】請求項１１又は１２記載の記録媒体に記
    録されたプログラムにおいて、 前記頭部検出追跡処理（ａ）が、 前フレームとの差分画像ｇの生成処理と、 差分画像ｇを過去ｍフレーム（ｍは２以上の整数）積分
    し統合差分画像Ｇを生成する処理を行なう動き画素検出
    処理と、 を備えたことを特徴とする記録媒体。
17. 【請求項１７】請求項１１又は１２記載の記録媒体に記
    録されたプログラムにおいて、 前記頭部検出追跡処理（ａ）が、 前フレームとの差分画像ｇの生成処理と、 差分画像ｇを過去ｍフレーム（ｍは２以上の整数）積分
    し統合差分画像Ｇを生成する処理を行なう動き画素検出
    処理と、 前記統合差分画像Ｇから人物数を取得する人物数評価処
    理と、 頭頂のＹ座標を取得する頭頂座標検出処理と、 頭部下部のＹ座標を検出する頭部下部座標検出処理と、 側頭部のＸ座標を検出する側頭座標検出処理と、 を備えたことを特徴とする記録媒体。
18. 【請求項１８】請求項１４または１５に記載された記録
    媒体に記録されたプログラムにおいて、 正面顔位置合わせ処理(b)が、前記対面距離値と前記頭
    部矩形領域の画像を用いて、正面顔を探索する正面顔探
    索処理を備えたことを特徴とする記録媒体。
19. 【請求項１９】請求項１８記載の記録媒体に記録された
    プログラムにおいて、 前記正面顔位置合わせ処理が、 前記正面顔探索処理で得られた正面顔画像の濃度分散を
    求め、濃度分散値によって正面顔の誤検出を排除する濃
    度分散判定処理と、 前記正面顔探索処理で得られたパターン間距離をあらか
    じめ定められたしきい値と比較する処理と、 を備えたことを特徴とする記録媒体。
20. 【請求項２０】請求項１８又は１９記載の記録媒体に記
    録されたプログラムにおいて、 前記正面顔探索処理が、 前記対面距離値から中間縮小サイズを算出する頭部中間
    サイズ算出処理と、 頭部画像を頭部中間サイズに縮小する画像縮小処理と、 濃度を正規化するコントラスト補正処理と、 固有ベクトル投影距離を算出する固有ベクトル投影距離
    算出処理と、 固有ベクトル投影距離の最小値を求める投影距離最小判
    定処理と、 を備え、 前記固有ベクトル投影距離算出処理が、 標準顔の特徴量の固有ベクトルデータと特徴量の平均値
    からなる固有ベクトル投影距離算出辞書を用いて、特徴
    量ベクトルＸから平均値ベクトルを差分しベクトルＹと
    する平均差分処理と、 前記ベクトルＹを所定個数（ｍ個）の前記固有ベクトル
    に投影し投影値を求めるベクトル投影値算出処理と、 前記投影値とｍ個の固有ベクトルから元の特徴量Ｙ′を
    再構成する再構成演算処理と、 前記ベクトルＹと前記ベクトルＹ′の距離（「固有ベク
    トル投影距離」という）を求める投影距離計算処理とを
    備えたことを特徴とする記録媒体。
21. 【請求項２１】請求項１８又は１９記載の記録媒体に記
    録されたプログラムにおいて、 前記正面顔探索処理が、 前記対面距離値から中間縮小サイズを算出する頭部中間
    サイズ算出処理と、 頭部画像を頭部中間サイズに縮小する画像縮小処理と、 濃度を正規化するコントラスト補正処理と、 人物を識別するための識別係数を有し、特徴量の数を
    ｐ、判別するクラス数をｑとしてｐ×ｑの要素の乗算項
    マトリクスとｑ次元の定数項ベクトルからなる線形判別
    辞書を用いて、特徴量とあるクラスの識別係数との積和
    演算により類似度を算出する積和演算処理と、 前記類似度の最大値を求める類似度最大判定処理と、 を備えたことを特徴とする記録媒体。
22. 【請求項２２】請求項１２から２１のいずれか一に記載
    の記録媒体に記録されたプログラムにおいて、 顔識別処理のための前記線形判別辞書を作成する線形判
    別辞書作成処理を備えたことを特徴とする記録媒体。
23. 【請求項２３】請求項１２から２１のいずれか一に記載
    の記録媒体に記録されたプログラムにおいて、 顔識別処理のための前記線形判別辞書を作成する線形判
    別辞書作成処理と、登録されている人物の特徴量の固有ベクトルデータと特
    徴量の平均とを格納する他人判別用辞書を作成する他人
    判別用辞書作成処理 とを備え、 前記顔識別処理が、前記変換された正面顔画像の特徴量
    と前記他人判別用辞書に格納された前記平均値との差分
    Ｙ２を前記他人判別用辞書に格納された前記固有ベクト
    ルに投影し、該投影値からもとのＹ２を再構成したベク
    トルＹ２’と前記ベクトルＹ２との距離Ｄｈ（「他人判
    別距離」という）を算出し、当該算出した他人判別距離
    Ｄｈを用いて、前記探索された正面顔画像の人が登録さ
    れている人物かどうかの判定を行う処理を含む ことを特
    徴とする記録媒体。
24. 【請求項２４】請求項１２から２１のいずれか一に記載
    の記録媒体に記録されたプログラムにおいて、 人物を識別するための識別係数を有し、特徴量の数を
    ｐ、判別するクラス数をｑとしてｐ×ｑの要素の乗算項
    マトリクスとｑ次元の定数項ベクトルからなる顔識別処
    理のための前記線形判別辞書を作成する線形判別辞書作
    成処理が、 個人特徴データ記憶手段に記憶された特徴量の分散共分
    散行列Ｃｘｘを算出する分散共分散行列Ｃｘｘ算出処理
    と、 前記分散共分散行列Ｃｘｘの逆行列を算出する逆行列算
    出処理と、 人物ＩＤと特徴データから、１つの特徴データに対して
    １つ生成され、識別する人物分の要素をもつベクトルで
    ある目的変数Ｙを生成する処理と、 特徴量Ｘと目的変数Ｙの共分散行列Ｃｘｙを算出する分
    散共分散行列Ｃｘｙ算出処理と、 前記Ｃｘｘの逆行列と前記共分散行列Ｃｘｙを乗算し前
    記線形判別辞書の乗算項マトリクスを算出する行列乗算
    処理と、 前記線形判別辞書の定数項ベクトルを算出する定数項算
    出処理と、 を備えたことを特徴とする記録媒体。
25. 【請求項２５】請求項２３記載の記録媒体に記録された
    プログラムにおいて、 前記他人判別用辞書作成処理が、 前記特徴量Ｘの平均をとる特徴量平均算出処理と、 前記特徴量Ｘの分散共分散行列Ｃｘｘを算出する分散共
    分散行列算出処理と、 前記分散共分散行列Ｃｘｘの固有ベクトルを算出する固
    有ベクトル算出処理と、を備えたことを特徴とする記録
    媒体。
26. 【請求項２６】請求項５に記載の人物識別方法におい
    て、 同一物体の左カメラ画像上の座標Ｘｌと、右カメラ画像
    上の座標Ｘｒと、定数Ｋを用いて、Ｚ＝Ｋ／（Ｘｌ−Ｘ
    ｒ）なる計算によって、対面距離Ｚを求める、ことを特
    徴とする人物識別方法。
27. 【請求項２７】請求項１４または１５に記載の記録媒体
    に記録されたプログラムにおいて、 同一物体の左カメラ画像上の座標Ｘｌと、右カメラ画像
    上の座標Ｘｒと、定数Ｋを用いて、Ｚ＝Ｋ／（Ｘｌ−Ｘ
    ｒ）なる計算によって対面距離Ｚを求める処理を含む左
    右画像照合処理を有することを特徴とする記録媒体。
28. 【請求項２８】請求項５に記載の人物識別方法におい
    て、 前記頭部中間サイズを算出するステップが、次式 と（但し、Ｈｗ、Ｈｎは頭部矩形画像の横サイズ、縦サ
    イズ、ＲＨｗ、ＲＨｎは正面顔領域の横サイズ、縦サイ
    ズ、Ｚは対面距離値、ｅは撮像面の幅、Ｗは画像サイ
    ズ、θはカメラの画角である） と、を用いて、中間サイズＭｗ、Ｍｈを求めることを特
    徴とする人物識別方法。
29. 【請求項２９】請求項１４に記載の記録媒体に記録され
    たプログラムにおいて、次式、 と、（但し、Ｈｗ、Ｈｎは頭部矩形画像の横サイズ、縦
    サイズ、ＲＨｗ、ＲＨｎは正面顔領域の横サイズ、縦サ
    イズ、Ｚは対面距離値、ｅは撮像面の幅、Ｗは画像サイ
    ズ、θはカメラの画角である） を用いて中間サイズＭｗ，Ｍｈを求める処理を含む左右
    画像照合処理を有することを特徴とする記録媒体。
30. 【請求項３０】請求項２から９のいずれか一に記載の人
    物識別方法において、 前記正面顔を探索するステップが、次式、 （但し、Ｖは元画像、μは画素値の平均、σは標準偏
    差、Ｖｍａｘは画素値の最大値）を用いてコントラスト
    補正を行なうことを特徴とする人物識別方法。
31. 【請求項３１】請求項１８から２１のいずれか一に記載
    の記録媒体に記録されたプログラムにおいて、 前記正面顔探索処理が、次式、 （但し、Ｖは元画像、μは画素値の平均、σは標準偏
    差、Ｖｍａｘは画素値の最大値）を用いてコントラスト
    補正を行なうことを特徴とする記録媒体。