JP4143305B2 - ロボット装置、照合環境判定方法、及び照合環境判定プログラム - Google Patents
ロボット装置、照合環境判定方法、及び照合環境判定プログラム Download PDFInfo
- Publication number
- JP4143305B2 JP4143305B2 JP2002017642A JP2002017642A JP4143305B2 JP 4143305 B2 JP4143305 B2 JP 4143305B2 JP 2002017642 A JP2002017642 A JP 2002017642A JP 2002017642 A JP2002017642 A JP 2002017642A JP 4143305 B2 JP4143305 B2 JP 4143305B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- collation
- environment
- lighting
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、家庭内で用いられ、ユーザの顔を画像情報を用いて記憶し照合する機能を有するロボット装置、照合環境判定方法、及び照合環境判定プログラムに関する。
【０００２】
【従来の技術】
昨今のペット型ロボットに代表されるロボット装置は、エンターテイメント用途ということもあり、所有者の顔画像を登録して、撮像した画像から人物を照合し名前を呼んだりするように構成されている。
【０００３】
顔照合機能を持つ従来のロボット装置の構成例を図２０に示す。これは、画像を撮像する撮像手段１、前記撮像手段１で得られた画像から人物の顔領域を検出して記憶し、また新たに取得した画像に対して、記憶した顔画像情報を用いて人物の照合を行う顔検出照合手段２、顔検出照合手段２で得られた照合結果をユーザに通知する情報通知手段３、情報通知手段３によりユーザに通知した照合結果が正しいか誤っているかをユーザが入力する情報入力手段４、ロボットを制御するための制御手段７、ロボット自身が移動するための走行手段８などから構成される。ロボットは制御手段７からの命令に基づいて情報入力手段４と情報通知手段３を用いてユーザとやりとりをし、走行手段８を用いて部屋内を移動する。そして撮像手段１、顔検出照合手段２を用いてユーザの顔を認識し、対話しているユーザが誰であるのかを判断する。
【０００４】
【発明が解決しようとする課題】
家庭で用いられるロボットで顔照合を行う場合、家庭における照明環境が問題となる。家屋内は、照明が部屋に一つであることが多かったり、室内へ日光を取り込みやすい設計となっていたりするため、場所や時間帯による照明変動が激しい。また細かな作業をするために照明設計されているオフィスなどに比べて比較的暗くなっているため、著しく劣悪な照合環境も存在する。従来の照合方式では、このような照明環境の変動に起因する照明変動によって顔画像の特徴量が変動した場合、特徴量の変動を吸収できず照合性能精度が低下する。また、顔領域に充分な照明が当たっていない場合は、照合に必要な特徴を抽出することができず照合がうまくいかない場合もある。
【０００５】
このような照明環境の変動が激しい条件下で顔照合を行なう方法として、特開２０００−２２２５７６号公報に開示された技術がある。この公報に開示された技術は、一人につき照明の当たり方の異なる複数の画像から抽出される特徴量を辞書データとして蓄え、それらを用いて線形判別を行うことで照明変動を吸収するものである。
【０００６】
しかしながら、この特開２０００−２２２５７６号公報に開示された技術を用いても登録時と著しく異なる照明状態で取得した顔画像ではその変動を吸収することができず、正しく照合することができないという問題がある。
【０００７】
本発明は上記事情に鑑みてなされたものであり、一般家庭といった照明変動が大きい場所や、照合にとって著しく劣悪な照明環境が存在するような場所で顔照合を行なう場合に、顔照合の誤りを減ずることができるロボット装置、照合環境判定方法、及び照合環境判定プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
係る目的を達成するために、本発明は、画像を撮像しデジタル化する撮像手段と、前記撮像手段で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像に対して、それ以前に記憶されている顔画像情報を用いて人物の照合を行う顔検出照合手段と、前記顔検出照合手段で得られた照合結果をユーザに通知する情報通知手段と、前記情報通知手段によってユーザに通知した照合結果が正しいか誤っているかをユーザが入力する情報入力手段と、 前記撮像手段から得られる画像情報を基に照明環境を判断し、あらかじめ決めてある照明カテゴリのどれに対応するかを判断する照明環境判断手段と、顔照合に成功した回数と顔照合を行なった回数とを、顔照合の照合結果に対する正誤回答をユーザから取得する毎に、前記照明カテゴリに分類し照合性能情報として記録する照合性能記録手段と、前記照合性能記録手段に記録されている前記照合性能情報を基に現在の照明環境が照合に適するかどうかを判断する照明環境比較手段と、ロボット装置を制御し、前記照明環境比較手段で照明環境が照合に適さないと判断した場合には、顔照合を行なう状態への遷移はしないように制御する前記制御手段と、ロボット装置自身を移動させる走行手段と、を有することを特徴とする。
【０００９】
【発明の実施の形態】
次に添付図面を参照しながら本発明に係る実施の形態を詳細に説明する。図１〜図１９を参照すると本発明に係る実施の形態が示されている。
【００１０】
（第１の実施の形態）
（構成の説明）
図１を参照すると本発明に係る第１の実施形態は、画像を撮像しデジタル化するＣＣＤカメラ、またはアナログ撮像器とＡＤ変換器とからなる撮像手段１と、撮像手段１で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像情報を用いて行なう顔検出照合手段２と、顔検出照合手段２で得られた照合結果を音声で発話したり、ＣＲＴ上に表示するなどしてユーザに通知する情報通知手段３と、情報通知手段３によってユーザに通知した照合結果が正しいか誤っているかをユーザが音声、ボタン、またはスイッチなどで入力する情報入力手段４と、照明状態が顔照合に適するかどうかを判定する照合結果信頼性算出手段５と、ロボットの部屋の中での位置や時刻などの情報を保持するロボット状態観測手段６と、ロボットを制御する制御手段７と、ロボット自身が移動するための車輪やモータなどといった走行手段８と、を有する。
【００１１】
顔検出照合手段２は、撮像手段１で撮像した画像から人物の顔を検出して登録したり、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像を用いて行なう。ここで、画像から人物の顔画像を検出する方法の一例として、特開２０００−２２２５７６号公報に開示された方法を説明する。まず、画面内で動きのある画素群を検出する。入力画像データと、それより１つ前に入力された画像データとの差分をとり、差分画像ｇを生成する。さらに過去ｍフレーム分（ｍは２以上の整数）の差分画像ｇを加算し、平均を取ることによって、統合差分画像Ｇを得る。統合差分画像Ｇは、動きのない領域の画素値が０で、動きのある領域ほど画素値が大きい値を取る。統合差分画像Ｇは、ごま塩ノイズを多く含むので、ノイズ除去処理を行う。ノイズ除去処理の例としては、膨張収縮処理や、メジアンフィルタ処理などがある。次に、統合差分画像Ｇから頭部矩形座標を求める。各スキャンライン毎に動き領域幅を求める。動き領域幅は各スキャンラインにおいて動き領域のｘ座標最大値と最小値の差分を表している。次に、頭部のｙ座標を求める。頭頂座標の求め方としては、動き領域のｙ座標の最小値を頭頂とする方法がある。次に、頭部矩形の底辺のｙ座標を求める。頭部矩形の底辺座標の求め方としては、頭頂から下方向（ｙ方向）に検索し、動き領域幅が動き領域幅の平均値ｄｍよりも小さいラインを求め、そのラインの中でＹ座標が最も大きいところを、頭部矩形の底辺とする方法を用いてもよい。次に、頭部矩形の左右のｘ座標を求める。左右のｘ座標の求め方としては、頭頂から頭部下部までの範囲で最も動き領域幅の大きなラインにおける動き領域の左右端の座標を求める方法を用いる。このようにして求めた頭部矩形内を、１画素ずつずらしながら適当な大きさの矩形で切り出し顔らしさを評価し、もっとも顔らしい位置を顔として検出する。顔らしさの評価には、まず、あらかじめ用意したさまざまな人物の多数の画像から、人手で正確に顔画像を切り出し、この切り出した顔画像データを主成分分析することで低次の固有ベクトルで張られる部分空間を得る。そして、この低次の固有ベクトルで張られる部分空間と、前述した適当な大きさで切り出した矩形画像との距離が近いかどうかで判断を行なう。この他に、文献「小杉信、”個人識別のための多重ピラミッドを用いたシーン中の顔の探索・位置決め”、電子情報通信学会論文誌、Vol.J77-D-II, No4, pp.672-681, April 1994 」にある濃淡パターンによるテンプレートマッチングを用いた方法を適用することも可能である。
【００１２】
また、顔画像の照合方法については、文献「M.Turk, A.Pentland, ”FaceRecognition onUsing Eigenfaces ”,Proceedings of IEEE, CVPR91」に示された、多数の顔画像を主成分分析した結果得られる基底ベクトルのうち低次のもので張られる部分空間へ入力顔画像を射影した成分を特徴ベクトルとし、照合対象となる画像の特徴ベクトルと、登録されているそれぞれの人物を代表する登録画像の特徴ベクトルとのユークリッド距離を検索し、このユークリッド距離が最も小さい人物を識別結果とする方法を適用してもよい。また、特開２０００−２２２５７６号公報に開示された人物の特徴データから作成した線形判別辞書を用いて対象顔画像との類似度の大きさを求めることでパターン識別する方法を用いてもよい。
【００１３】
情報通知手段３は制御手段７によって制御され、顔検出照合手段２により人物の照合結果が出た段階で照合結果をユーザに通知し、照合結果が正しいかどうかの確認を求める。例えば、あらかじめ録音した音声や計算機による合成音声でスピーカから照合結果のユーザの名前を発話したり、ＣＲＴや液晶モニタにユーザの名前やマークを提示する。
【００１４】
情報入力手段４は制御手段７によって制御され、情報通知手段３で通知した照合結果に対するユーザの回答を取得する。例えばユーザが「はい」というか「いいえ」というかを音声認識により識別したり、ユーザがボタンを押すことで正解かどうかをロボットへ入力できるようにする。
【００１５】
照合結果信頼性算出手段５は、撮像手段１やロボット状態観測手段６からの情報から、顔照合を行おうとするときの照明環境が照合に適するかどうかを判定する。
【００１６】
照明環境を特徴付ける量としては以下に挙げるものなどが利用できる。
［撮像手段１からの情報］
１．顔領域のコントラスト（顔検出照合手段２で得られる顔領域の輝度値の分散。）
照明環境によっては検出された顔領域のコントラストが大きかったり小さかったりする。一般に逆光であるとか顔にほとんど照明が当たらない場合、顔領域のコントラストは小さくなる。顔領域のコントラストが小さいと顔の特徴が失われてしまうため精度の高い照合ができなくなる。顔領域のコントラストは環境によって変化し、照合性能に大きな影響を与える。
２．顔領域と背景の平均輝度の比（顔検出照合手段２で得られる顔領域の輝度値の平均と、その外側近傍領域の輝度値の平均の比）
顔領域と背景の平均輝度値の比は逆光のときに大きくなる。逆光のときはコントラストも小さくなったり検出精度が下がるなど照合にとって不利となる。
３．画像全体の輝度値の平均
画像全体の輝度値の平均は、部屋全体の明るさをおおざっぱに表す。部屋の明るさは顔にあたる光量に関連する。
【００１７】
これらの条件の判定方法は、１の顔領域のコントラストは、特徴量は大きいほど照合に適していると判断することができ、２の顔領域と背景の平均輝度値の比と、３の画像全体の輝度値の平均は、上限と下限を決めたある範囲内にあるかどうかで照合に適しているか否かを判断することができる。
【００１８】
［カメラ以外から得られる情報］
１．時刻（朝か昼か夕方か夜か）
昼間野外から差し込む自然光が存在する場合と、夜その部屋の照明のみで照らされている場合では、照明環境が大きく異なる。
２．照明装置が点灯しているかどうか（図示しない照明装置状態観測手段を部屋に設置されている照明装置に連動させ、照明装置が点灯しているかどうかをロボット（ロボット状態観測手段６）が取得する）
３．カーテンが開いているかどうか（図示しないカーテン状態観測手段を部屋に設置されているカーテンに連動させ、カーテンが開いているかどうかをロボット（ロボット状態観測手段６）が取得する）
照明装置が点灯しているかどうかとカーテンが開いているかどうかという情報は、家庭内の主要な光源である照明光や自然光の有無に大きく関わる。
４．ロボットの部屋の中での位置（車輪のエンコーダや画像からの情報を用いてロボット位置を取得する）
照明や自然光が入り込む位置は部屋の中で固定されているため、部屋の中でどこにロボットがいてどのような方向で人を観測するかが顔にあたる光と大きく関係する。
【００１９】
これらの条件の判定方法は、照明装置が点灯しているかどうかと、カーテンが開いているかどうかという情報から、照合を行う時刻での現在のロボット位置での照明環境を判定して照合に適しているかどうかを判定する。
【００２０】
ロボット状態観測手段６は、照合結果信頼性算出手段５で照明環境を判断するのに用いる、カメラ以外からの情報を取得する。例えばロボットの部屋の中での位置を求めるための車輪のエンコーダや、部屋に設置されている照明装置に連動して照明が点灯しているかどうかを判断する部屋状態観測手段（不図示）や、カーテンに連動してカーテンが開いているかどうかを判断するカーテン状態観測手段（不図示）などの一つまたは複数からなる。
【００２１】
制御手段７は、ロボットを制御する。走行手段８は、モータ、車軸、車輪などを有しロボットの部屋内での移動を実現する。
【００２２】
（動作の説明）
次に、図２に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。第１の実施形態では、まず、制御手段７で顔を識別する状態への遷移が決定されると（ステップＳ２０１）、照合結果信頼性算出手段５で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から得て、照合に適しているかどうかを判断する（ステップＳ２０２）。
【００２３】
まず、ステップＳ２０２で信頼性が高いと判断された場合（ステップＳ２０２／ＹＥＳ）を説明する。この場合、顔検出照合手段２で、撮像手段１で得られた画像から顔画像を検出して照合を行い、あらかじめ登録してある人物の誰かに対応付けを行う（ステップＳ２０３）。その結果の人物をＬとする。その後、情報通知手段３で照合結果をユーザへ知らせ、照合結果が正しいかどうかの確認をユーザに求める（ステップＳ２０４）。
【００２４】
次にステップＳ２０２で信頼性が低いと判断された場合（ステップＳ２０２／ＮＯ）を説明する。この場合、顔照合を行わず、走行手段８を用いてロボット本体を移動し（ステップＳ２０５）、再び照明環境を撮像手段１やロボット状態観測手段６から観測し測定する。何度移動してもステップＳ２０２の条件が満たされない場合は、顔照合を行うような動作フローとする実現方法も考えられる。
【００２５】
このように本実施形態は、照明状態をあらかじめ持っている知識で判断して照合に適さない照明環境では照合を避けることで、照合の誤りを減らすことができる。具体的には、検出された顔領域の画像に充分なコントラストが出ていない場合や、部屋の照明装置がついていない場合に、照合に適していないと判定して照合を行なわずにロボットを動かしてその位置や方向を変えることで誤判定の発生を減らすことができる。
【００２６】
（第２の実施の形態）
（構成の説明）
本発明に係る第２の実施形態について図面を参照して詳細に説明する。図３を参照すると本発明の第２の実施形態は、画像を撮像しデジタル化するＣＣＤカメラ、またはアナログ撮像器とＡＤ変換器とからなる撮像手段１と、撮像手段１で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像情報を用いて行なう顔検出照合手段２と、顔検出照合手段２で得られた照合結果を音声で発話したり、ＣＲＴ上に表示するなどしてユーザに通知する情報通知手段３と、情報通知手段３を通じてユーザに通知した照合結果が正しいか誤っているかを、ユーザが音声、ボタン、またはスイッチなどで入力する情報入力手段４と、撮像手段１やロボット状態観測手段６からの情報から顔照合を行おうとするときの照明環境が照合に適しているかどうかを判定する照明環境判定手段５００と、ロボットの部屋の中での位置や時刻などの情報を保持するロボット状態観測手段６と、ロボットを制御するための制御手段７と、ロボット自身が移動するための車輪やモータなどといった走行手段８とを有する。
【００２８】
また、照明環境判定手段５００は、撮像手段１から得られる画像情報や、ロボット状態観測手段６から得られる時刻、現在位置に関する情報を基に照明環境を判断し、照明環境が予め決めてあるカテゴリのどれに対応するのかを判断する照明環境判断手段５０１と、情報入力手段４で得られた照合結果正誤情報に従って、顔照合が成功した回数と顔照合を行なった回数とを前記カテゴリ毎に記録する照合性能記録手段５０２と、照合性能記録手段５０２に記録されている情報を基に照明環境判断手段５０１で判定された現在の照明環境が照合に適するものかどうかを判断する照明環境比較手段５０３と、を有する。
【００２９】
照明環境判断手段５０１は、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断する。照明環境を判定する際の判定材料については上述した第１の実施形態と同一であるため説明を省略する。これら判定材料の一つないし複数を用いて照明環境を表現する。具体的には図４に示すようなテーブルを用意し、照明環境をカテゴリ分けする。つまり照明環境判断手段５０１では顔照合を行おうとするときに上述したような判断材料を観測し、現在の照明環境があらかじめ設定されたどのカテゴリに属するのかを出力する。
【００３０】
照合性能記録手段５０２は、図５に示すような形式で、顔照合が成功した回数と顔照合を行なった回数とをあらかじめ決められたカテゴリ毎に記録している。そして、情報入力手段４で顔照合に対する回答をユーザから取得すると、対応するカテゴリに顔画像が成功したか否かと、顔照合を行なった回数とを記録する。
【００３１】
照明環境比較手段５０３は、照明環境判断手段５０１から得られる照明環境のときの照合性能を照合性能記録手段５０２から検索し、照合を行った回数（ｔ（Ｋ））の累計が予め設定された閾値以上で、かつ、２．顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行った回数の累計（ｔ（Ｋ））で割った照合性能値が、あらかじめ設定された閾値以上であった場合に、その照明環境での照合結果は信頼性が高いと判断する。それ以外の場合［（ｔ（Ｋ））が予め設定された閾値以下、またはｔ（Ｋ）が閾値以上で、ｒ（Ｋ）／ｔ（Ｋ）が閾値未満の場合］、その環境での照合結果は信頼性が低いと判断する。
【００３２】
（動作の説明）
次に、図６に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。第２の実施形態では、まず、制御手段７で自律行動状態から顔を識別する状態への遷移が決定されると（ステップＳ６０１／ＹＥＳ）、照明環境判断手段５０１で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、前述のように図４で示したような形でカテゴリ分けする（ステップＳ６０２）。このカテゴリのことを照明カテゴリとよぶ。照明カテゴリにはＩＤが付けられ、そのＩＤのことを照明ＩＤと呼ぶ。ここで判断された照明カテゴリのＩＤをＫとする。
【００３３】
次に、照明環境比較手段５０３で、照明環境判断手段５０１で判断された照明ＩＤがＫのときの照合性能を照合性能記録手段５０２から検索し、照合を行った回数（ｔ（Ｋ））の累計が予め設定された閾値以上で、かつ、２．顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行った回数の累計（ｔ（Ｋ））で割った照合性能値があらかじめ設定された閾値以上であった場合に、その環境での照合結果は信頼性が高いと判断する（ステップＳ６０３／ＹＥＳ）。それ以外の場合［（ｔ（Ｋ））が予め設定された閾値以下、またはｔ（Ｋ）が閾値以上で、ｒ（Ｋ）／ｔ（Ｋ）が閾値未満の場合］、その環境での照合結果は信頼性が低いと判断する（ステップＳ６０３／ＮＯ）。なお、ｔ（Ｋ）が小さい時には、無条件で顔照合を行い、照合を行なった回数（ｔ（Ｋ））と、照合に正解した場合には正解した回数（ｒ（Ｋ））とをインクリメントさせてもよい。
【００３４】
照明環境比較手段５０３で照合の信頼性が高いと判断された場合（ステップＳ６０３／ＹＥＳ）、顔検出照合手段２で、撮像手段１で得られた画像から顔画像を検出して予め登録された顔画像との照合を行い、登録してある人物の誰かに対応付けを行う（ステップＳ６０４）。その結果の人物をＬとする。その後、情報通知手段３で照合結果をユーザへ知らせ、照合結果が正しいかどうかの確認をユーザに求める（ステップＳ６０５）。それを受け、ユーザが示した回答を情報入力手段４で取得し、正解だったか不正解だったかを判断する（ステップＳ６０６）。正解だったときは（ステップＳ６０６／ＹＥＳ）、照明ＩＤがＫのときの照合を行った回数ｔ（Ｋ）と照明ＩＤがＫのときに正解した回数ｒ（Ｋ）を１増やし、ユーザとの対話などの自律行動へ戻る（ステップＳ６０９、かつＳ６０７）。また、不正解だったときは照合を行なった回数ｔ（Ｋ）を１増やし（ステップＳ６０７）、ユーザとの対話などの自律行動へ戻る。
【００３５】
次に、照明環境比較手段５０３で照合の信頼性が低いと判断された場合（ステップＳ６０３／ＮＯ）、顔照合を行わず、走行手段８を用いてロボット本体を移動し（ステップＳ６０８）、再び照明環境を観測し、判定する。何度移動してもステップＳ６０３の条件が満たされない場合は、顔照合を行うような動作フローとする実現方法も考えられる。なお、ロボットの移動に関して、ユーザに違和感を与えないように自然な演出を施すことが望ましい。
【００３６】
このように本実施形態は、顔照合が行なわれる度にそのときの照明環境の観測と照合結果が正しいかどうかの確認を行い、その照明環境で照合が行われた回数と正解だった回数を累積して記録する。累積が十分されたら、照合を行なうときに照明環境の観測を行い、そのときの照明環境で過去にどのくらいの割合で正解したかをみて、正解が少ない照明環境であれば照合をせずにロボットを動かしてその位置や方向を変える。このようにして過去の照合の履歴をみて照合結果が良くない照合環境では照合を避けることで照合の誤りを減らすことができる。
【００３７】
異なる家庭の照明環境や顔登録の状態には多様なバリエーションがあり、どのような照明環境の場合に照合がうまくいくのかを前もって精度よく予測してロボットを設計するのは困難である。そこで、ユーザが実際に使用する段階で、どのような場所、どのような照明状態で照合がうまくいかないのかを学習すれば、前もって苦手な照明条件を想定する場合に比べて精度良く照合を行なうことができる。
【００３８】
（第３の実施の形態）
（構成の説明）
本発明に係る第３の実施形態について図面を参照して詳細に説明する。図７を参照すると本発明に係る第３の実施形態は、第２の実施形態に加えて人物の全体的な特徴量を抽出する全体特徴量抽出手段５０４を具備する。
【００３９】
全体特徴量抽出手段５０４は、制御手段７によって制御され、撮像手段１によって撮像された画像から人物を特定可能な特徴量を抽出する。全体特徴量抽出手段５０４は、ユーザ毎の特徴量が予め登録された辞書を具備し、撮像手段１で撮像された画像からユーザを特定する特徴量を抽出する。この辞書に登録された特徴量とは、例えば、ユーザの身長、体型、髪型、眼鏡をかけているか否かといったユーザを特定することが可能となる情報である。全体特徴量抽出手段５０４は、全体特徴量を抽出することができた場合には特徴量ありを示す情報を、抽出することができなかった場合には特徴量なしを示す情報を照明環境比較手段５０３に出力する。
【００４０】
照明環境比較手段５０３は、全体特徴量抽出手段５０４により全体特徴量が抽出されたか否かによって、照明環境判断手段５０１で判断された照明カテゴリでの照合性能を判断する閾値を変更して照合性能を判定する。
【００４１】
次に、図８に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。まず、制御手段７で自律行動状態から顔を識別する状態への遷移が決定されると（ステップＳ８０１）、照合環境判断手段５０１で、顔照合を行なおうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、照明カテゴリに分ける（ステップＳ８０２）。なお、ここで判断された照明カテゴリのＩＤをＫとする。
【００４２】
また、全体特徴量抽出手段５０４は、辞書を参照しながら、撮像手段１によって撮像された画像からユーザを特定することができる特徴量の抽出を試みる（ステップＳ８０３）。特徴量を抽出することができた場合には（ステップＳ８０３／ＹＥＳ）、特徴量ありを示す情報を照明環境比較手段５０３に出力する。また、特徴量を抽出することができなかった場合には（ステップＳ８０３／の）、特徴量なしを示す情報を照明環境比較手段５０３に出力する。
【００４３】
照明環境比較手段５０３は、照明環境判断手段５０１から照明ＩＤの情報を取得すると共に全体特徴量抽出手段５０４から全体特徴量あり／なしの情報を取得すると、照明環境判断手段５０１から取得した照明ＩＤがＫのときの照合性能を照合性能記録手段５０２から検索する。
【００４４】
全体特徴量抽出手段５０４によって全体特徴量を抽出することができなかった場合には、照明環境比較手段５０３は顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行なった回数の累計（ｔ（Ｋ））で割った照合性能値を、上述した第２の実施形態で使用した閾値（Ｒ１という）と比較する（ステップＳ８０４）。また、全体特徴量を抽出することができた場合には、この閾値よりも低く設定された閾値（Ｒ２という）により照合性能値との比較を行なう（ステップＳ８０５）。
【００４５】
照合を行なった回数の累計が閾値以上で、照合性能値が予め設定された閾値以上の場合に、照明環境比較手段５０３はその環境での照合結果は信頼性が高いと判断する。また、それ以外のときはその照合環境での照合性能は信頼性が低いと判断する。なお、以下の動作手順は、図６を用いて説明した第２の実施形態の動作手順と同一であるため説明を省略する。
【００４６】
このように本実施形態は、ユーザを判定する材料に照明環境だけではなくユーーザを特定する特徴量を導入することでユーザの判定をより高精度に行なうことができる。
【００４７】
（第４の実施の形態）
（構成の説明）
本発明に係る第４の実施形態について図面を参照して詳細に説明する。図９を参照すると本発明に係る第４の実施形態は、第２の実施形態の構成に加えて、照合にとって適切な位置へ移動を行なうための走行計画を立てる走行計画生成手段９を有する。
【００４８】
本実施形態は、図１０に示されるように１つの部屋を幾つかの領域に分割し、分割した各領域に識別ＩＤを付加して管理している。また、照合性能記録手段５０２は、図１１に示されるように識別ＩＤが付された領域毎に、照明カテゴリとその照明カテゴリでの照合性能とを記録して管理している。
【００４９】
また、本実施形態のロボット状態観測手段６は、図示しない照明装置状態観測手段から照明装置の状態情報を取得する共に、同じく図示しないカーテン状態観測手段によりカーテンの状態情報を取得する。なお、照明装置状態観測手段は、部屋に設置された照明装置と連動し、照明装置が点灯しているかどうかを検出する。また、カーテン状態観測手段は、カーテンに連動してカーテンが開いているかどうかを検出する。
【００５０】
走行計画生成手段９は、ロボット状態観測手段６から現在のロボットの位置情報を取得すると共に、照合性能を照合性能記録手段５０２から検索し、照合性能値が現在の位置よりも高い位置へ移動するように走行計画を立案し走行手段８に指示を出す。具体的には、時刻、カーテンの状態及び照明装置の状態が現在の状態と同じ照明カテゴリの中で、顔照合結果が正解した回数の累計を照合を行なった回数の累計で割った照合性能値が現在の照明カテゴリでのそれ以上で、閾値以上もしくは最高の位置へ移動するよう指示を出す。
【００５１】
また、走行計画生成手段９は照合性能値と移動距離とを考慮して移動先を決定してもよい。この場合、現在の照明カテゴリと同一の照合カテゴリでの照合性能が現在位置のものよりも高く、ロボット状態観測手段６から取得した現在位置情報から算出される移動距離が短い領域に移動するように移動計画を立てることになる。
【００５２】
このように本実施形態は、時刻、カーテンの状態、及び照明装置の状態が現在の状態と同じ照明カテゴリの中で、照合性能値が閾値以上もしくは最高の位置へ移動を行なうようにすることで、良好な照明環境にユーザを導くことができる。
【００５３】
（第５の実施の形態）
（構成の説明）
本発明に係る第５の実施の形態について図面を参照しながら詳細に説明する。図１２を参照すると本発明に係る第５の実施形態の照明環境判定手段５００は、撮像手段１から得られる画像情報やロボット状態観測手段６から得られる時刻や位置の情報を基に照明環境を判断し、あらかじめ決めてあるカテゴリのどれに対応するのかを判断する照明環境判断手段５０１と、顔検出照合手段２へ顔画像を登録したときの照明ＩＤをユーザ毎に記憶する登録時照明環境記録手段１０と、登録時照明環境記録手段１０に記録されている情報を基に、対話中のユーザが現在の照明環境で過去に顔画像を登録したかどうかを判断する登録時照明環境比較手段１１と、を具備する。
【００５４】
登録時照明環境記録手段１０は、照明環境判断手段５０１によって判定された、ユーザが顔検出照合手段２へ顔を登録したときの照明ＩＤをユーザ毎に全て記録しておく。
【００５５】
登録時照明環境条件比較手段１１は、現在対話中のユーザが照明環境判断手段５０１から得られる現在の照明環境で過去に顔画像登録を行なったかどうかを登録時照明環境記録手段１０に記録されている情報を検索することで判定する。
【００５６】
（動作の説明）
次に、図１３に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。本実施形態は顔を顔検出照合手段２へ登録する方法に関するものである。ロボットがユーザＬと対話しているときにある確率で登録を行うかどうかを決定する状態へ遷移する（ステップＳ１３０１）。まず、対話しているユーザの顔画像がすでに顔検出照合手段２に登録されているかどうかで分岐する（ステップＳ１３０２）。もし登録されていない場合は（ステップＳ１３０２／ＮＯ）、無条件でステップＳ１３０４へ、登録されている場合には（ステップＳ１３０２／ＹＥＳ）、１／１０の確率でステップＳ１３０４へ、９／１０の確率でユーザとの対話へ戻る。ここでは、１から１０の自然数をランダムに発生させ、発生した値が１であった場合には（ステップＳ１３０３／ＹＥＳ）、ステップＳ１３０４に遷移する。ステップＳ１３０４では、照明環境判断手段５０１でその時点の照明環境をあらかじめ決めてある照明のカテゴリに分類する。その結果のカテゴリの照明ＩＤをＫとする。次にステップＳ１３０５で対話中のユーザＬが過去に照明ＩＤがＫの環境で顔登録をしているかどうかを登録時照明環境記録手段１０に記録されている情報を基に判断する。もしそのユーザＬの照明ＩＤがＫのときの顔画像が登録時照明環境記録手段１０に登録されている場合には（ステップＳ１３０５／ＹＥＳ）、ユーザとの対話へ戻り、登録されていない場合には（ステップＳ１３０５／ＮＯ）、ステップＳ１３０６へ進む。ステップＳ１３０６では、顔検出照合手段２で顔登録を行い、ユーザＬが照明ＩＤ＝Ｋで顔登録したことを登録時照明環境記録手段１０へ記録する（ステップＳ１３０７）。
【００５８】
このように本実施形態は、ユーザ毎に登録したときの照明状態を記憶しておき、ユーザがロボットと対話している最中に過去にそのユーザが顔登録を行なっていないような照明環境であれば、ユーザの顔登録を開始する。このようにすることでより効率よく様々な照明条件の顔画像を登録することが可能となる。
【００５９】
なお、上述した実施形態では、ユーザとの対話と顔照合とをそれぞれ独立した行動として記載しているが、対話の最中に顔画像の撮影を行なうものであってもよい。
【００６０】
（第６の実施の形態）
（構成の説明）
本発明の第６の実施の形態について図面を参照して詳細に説明する。図１４を参照すると本実施の形態の照明環境判定手段５００は、照明環境判断手段５０１だけからなる。また、顔検出照合手段２は、撮像手段１で得られた画像から顔の領域を検出して切り出し、特徴データに変換する顔検出手段２０１と、人物毎の顔の特徴データ群を照明環境判断手段５０１で得られた照明カテゴリ毎に保存するデータ管理手段２０３と、照明カテゴリ毎の特徴データで認識辞書を作成する辞書作成手段２０４と、辞書作成手段２０４で作成した認識辞書を照明カテゴリ毎に保存する辞書保存手段２０５と、照明環境判断手段５０１の出力と同じ照明カテゴリの辞書を辞書保存手段２０５から選択し、顔照合手段２０２へ供給する辞書選択手段２０６と、辞書選択手段２０６から供給された辞書に基づいて顔検出手段２０１から供給される特徴データが誰の顔であるのかの照合を行う顔照合手段２０２を有する。
【００６１】
データ管理手段２０３は、登録時に取得された人物毎の顔の特徴データ群を図１５のように照明環境判断手段５０１で得られた照明カテゴリによって分類して保存する。顔画像からその特徴データを抽出する方法は、正面顔画像を左から右へ１ライン毎にスキャンし、上から下へ１ライン終われば次のラインをスキャンして１次元データを生成し（ラスタスキャン）、それを特徴データとして用いる。その他に１次微分フィルタや２次微分フィルタを用いてフィルタリングし、エッジ情報を抽出したものをラスタスキャンして特徴データとする方法を用いてもよい。
【００６２】
辞書作成手段２０４は、同じ照明カテゴリの特徴データだけを用いて認識辞書を作成する。図１６では照明ＩＤがＴ１、Ｔ２のそれぞれのデータセットを用いて辞書を作成している。辞書としては、特開２０００−２２２５７６号公報に記載されている人物の特徴データから生成される線形判別辞書などを用いることができる。これらの辞書は辞書保存手段２０５でやはり照明カテゴリ毎に保存される。
【００６３】
辞書選択手段２０６では、照明環境判断手段５０１で決定された照明カテゴリのデータで作られた辞書を顔照合手段２０２へ供給する。図１７の例では辞書保存手段２０５に保存されているＴ２のときの辞書が供給される。
【００６４】
顔照合手段２０２では供給された辞書を使って顔検出手段２０１から供給される特徴データとの照合を行う。具体的には特開２０００−２２２５７６号公報に開示された人物の特徴データから作成した線形判別辞書を用いて、対象顔画像との類似度の大きさを求めることでパターン識別する方法を適用することができる。
【００６５】
（動作の説明）
次に、図１８、１９に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。まず顔登録時の動作について図１８を参照しながら説明する。ロボットがユーザＬと対話しているときにある確率で登録を行うかどうかを決定する状態へ遷移する（ステップＳ１８０１）。まず、対話しているユーザの顔画像がすでに顔検出照合手段２に登録されているかどうかで分岐する（ステップＳ１８０２）。もし登録されていない場合は（ステップＳ１８０２／ＮＯ）、無条件でステップＳ１８０４へ、登録されている場合には（ステップＳ１８０２／ＹＥＳ）、１／１０の確率でステップＳ１８０１へ、９／１０の確率でユーザとの対話へ戻る。ここでは、１から１０の自然数をランダムに発生させ、発生した値が１であった場合には（ステップＳ１８０３／ＹＥＳ）、ステップＳ１８０４に遷移する。ステップＳ１８０４では、照明環境判断手段５０１でその時点の照明環境をあらかじめ決めてある照明のカテゴリに分類する。その結果のカテゴリの照明ＩＤをＫとする。次にステップＳ１８０５で、撮像手段１を用いて画像の撮影を開始し、その画像から顔検出手段２０１で顔の特徴データを取得し、取得したデータをデータ管理手段２０３の「ユーザＬ、照明カテゴリＫ」の領域へ格納する。一般に特徴データは一回の登録でも複数枚取得されるので、取得が終了するまでこれを続ける。取得が終了したらステップＳ１８０６に進み、辞書作成手段２０４で照明ＩＤがＫのデータに関して辞書を作成し辞書保存手段２０５へ保存する。このとき照明ＩＤがＫのデータが全員分そろっていない場合は処理を中断する。あるいはその場合は照明カテゴリに無関係に全てのデータを使って辞書を作成するという動作でもよい。
【００６６】
次に顔照合時の動作について図１９を参照しながら説明する。まず、制御手段７で顔を識別する状態への遷移が決定されると（ステップＳ１９０１）、照明環境判断手段５０１で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、あらかじめ決めてある照明のカテゴリに分類する。その結果の照明ＩＤをＫとする（ステップＳ１９０２）。次に照明ＩＤがＫの特徴データで作られた辞書が辞書保存手段２０５に保存されているかどうかを辞書選択手段２０６により調べる（ステップＳ１９０３）。もし保存されていなければ（ステップＳ１９０３／ＮＯ）、そのまま照合を中止しユーザとの対話に戻る。もし保存されていれば（ステップＳ１９０３／ＹＥＳ）、辞書選択手段２０６により照合ＩＤがＫの特徴データで作成した辞書を辞書保存手段２０５から取得し、顔照合手段２０２へ供給する（ステップＳ１９０４）。次に、撮像手段１で画像の撮像を開始し、その画像から顔検出手段２０１で顔の特徴データを取得し、取得した特徴データと供給された辞書を用いて顔照合手段２０２で照合を行い、撮像手段１で撮像した顔画像が誰であるかを判定する（ステップＳ１９０５）。
【００６７】
このように本実施形態は、様々な照明環境毎に顔画像を登録しておき、照合を行なう時は、そのときと同じ照明環境で登録された画像から作られた辞書を用いて照合を行なう。このようにすることで精度よく照合を行なうことができる。
【００６８】
また、本実施形態も、ユーザとの対話と顔照合とをそれぞれ独立した行動として記載しているが、対話の最中に顔画像の撮影を行なって照合を行なうものであってもよい。
【００６９】
なお、上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。例えば、上述した実施形態において照合環境を判定する材料として季節（夏と冬とで部屋に日光が入り込む角度が異なるため）や天気予報（インターネット等を利用してその日の天気情報を取得し、照合環境を判定する材料の一つとする）を考慮してもよい。
【００７０】
また、本発明の照合環境判定プログラムに係る実施形態は、それぞれ図２、６、８、１３、１８、１９に示された動作手順で制御するプログラムに基づいて各手段が制御動作を行なうことで実現される。
【００７１】
【発明の効果】
以上の説明より明らかなように本発明は、照明環境を判断し、照合に適さない照明環境では照合を行なわないようにすることで、照合の誤りを減らすことができる。従って、照明変動が大きく、極端に暗いなどの顔照合にとって劣悪な環境が存在する家庭で誤り少なく顔照合を行うことができる。
【００７２】
また、照合を行うときに照明環境の観測を行いそのときの照明環境で過去にどのくらいの割合で正解だったかをみて、正解が少ない照明環境であれば照合をせずにロボットを動かしてその位置や方向を変える。異なる家庭の照明環境や顔登録の状態には多様なバリエーションがあり、どのような照明環境の場合に照合がうまくいくのかを前もって精度良く予測してロボットを設計するのは困難である。そこでユーザが実際に使って顔照合を行う過程でどのような場所、どのような照明状態で照合がうまく行かないのかを学習すれば、前もって苦手な照明条件を想定するのに比べて精度良く照合が得意な場合やそうでない場合を判断することができる。
【００７３】
また、過去の照合性能を照合性能記録手段から検索し、時刻、カーテンの状態および照明装置の状態が現在の状態と同じ照明カテゴリの中で、顔照合結果が正解した回数の累計を照合を行った回数の累計で割った値が現在の照明カテゴリでの値以上で閾値以上もしくは最高の位置へ移動を行う。このようにすることで良好な照明環境にユーザを導くことができ顔照合の誤りを減らすことができる。
【００７４】
また、ユーザ毎に顔登録したときの照明状態を記憶しておき、ユーザがロボットと対話している最中に過去にそのユーザが顔登録を行っていないような照明条件であればユーザの顔登録を開始する、またはユーザに顔登録をするように促す。このようにすることでより効率よく様々な照明条件の顔画像を登録することが可能となる。
【００７５】
また、様々な照明状態毎に顔画像を登録しておき、照合を行うときはそのときの照明状態を観測し、同じ照明状態で登録された画像から作られた辞書を用いて照合を行う。このようにすることで照明環境を評価せずに登録・照合を行なう場合よりも精度良く照合を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態の構成を示すブロック図である。
【図２】本発明に係る第１の実施形態の動作手順を示すフローチャートである。
【図３】本発明に係る第２の実施形態の示すブロック図である。
【図４】第２の実施形態での照明環境判断手段で照明環境をカテゴリ分けする方法を示す図である。
【図５】第２の実施形態での照合性能記録手段で照明環境毎に照合結果の履歴を記録する方法を示す図である。
【図６】本発明に係る第２の実施形態の動作手順を示すフローチャートである。
【図７】本発明に係る第３の実施形態の構成を示すブロック図である。
【図８】本発明に係る第３の実施形態の動作手順を示すフローチャートである。
【図９】本発明に係る第４の実施形態の構成を示すブロック図である。
【図１０】部屋を領域に分割し、領域毎にＩＤを付けて管理する方法を説明するための図である。
【図１１】第４の実施形態での照明環境判断手段で照明環境をカテゴリ分けする方法を示す図である。
【図１２】本発明に係る第５の実施形態の構成を示すブロック図である。
【図１３】本発明に係る第５の実施形態の動作手順を示すフローチャートである。
【図１４】本発明に係る第６の実施形態の構成を示すブロック図である。
【図１５】第６の実施形態でのデータ管理手段で、登録時に取得された人物毎の顔の特徴データ群を照明カテゴリ毎に保存する例を示す図である。
【図１６】第６の実施形態での辞書作成手段で、同じ照明カテゴリの特徴データだけを用いて認識辞書を作成する例を示す図である。
【図１７】第６の実施形態での辞書選択手段で、ある照明カテゴリのデータで作られた辞書を照合手段へ供給する例を示す図である。
【図１８】第６の実施形態の動作手順（顔登録時）を示すフローチャートである。
【図１９】第６の実施形態の動作手順（顔照合時）を示すフローチャートである。
【図２０】顔照合機能を持つ従来のロボット装置の構成を示すブロック図である。
【符号の説明】
１ 撮像手段
２ 顔検出照合手段
２０１ 顔検出手段
２０２ 顔照合手段
２０３ データ管理手段
２０４ 辞書作成手段
２０５ 辞書保存手段
２０６ 辞書選択手段
３ 情報通知手段
４ 情報入力手段
５ 照合結果信頼性算出手段
５００ 照明環境判定手段
５０１ 照明環境判断手段
５０２ 照合性能記録手段
５０３ 照明環境比較手段
５０４ 全体特徴量抽出手段
６ ロボット状態観測手段
７ 制御手段
８ 走行手段
９ 走行計画生成手段
１０ 登録時照明環境記録手段
１１ 登録時照明環境比較手段
【発明の属する技術分野】
本発明は、家庭内で用いられ、ユーザの顔を画像情報を用いて記憶し照合する機能を有するロボット装置、照合環境判定方法、及び照合環境判定プログラムに関する。
【０００２】
【従来の技術】
昨今のペット型ロボットに代表されるロボット装置は、エンターテイメント用途ということもあり、所有者の顔画像を登録して、撮像した画像から人物を照合し名前を呼んだりするように構成されている。
【０００３】
顔照合機能を持つ従来のロボット装置の構成例を図２０に示す。これは、画像を撮像する撮像手段１、前記撮像手段１で得られた画像から人物の顔領域を検出して記憶し、また新たに取得した画像に対して、記憶した顔画像情報を用いて人物の照合を行う顔検出照合手段２、顔検出照合手段２で得られた照合結果をユーザに通知する情報通知手段３、情報通知手段３によりユーザに通知した照合結果が正しいか誤っているかをユーザが入力する情報入力手段４、ロボットを制御するための制御手段７、ロボット自身が移動するための走行手段８などから構成される。ロボットは制御手段７からの命令に基づいて情報入力手段４と情報通知手段３を用いてユーザとやりとりをし、走行手段８を用いて部屋内を移動する。そして撮像手段１、顔検出照合手段２を用いてユーザの顔を認識し、対話しているユーザが誰であるのかを判断する。
【０００４】
【発明が解決しようとする課題】
家庭で用いられるロボットで顔照合を行う場合、家庭における照明環境が問題となる。家屋内は、照明が部屋に一つであることが多かったり、室内へ日光を取り込みやすい設計となっていたりするため、場所や時間帯による照明変動が激しい。また細かな作業をするために照明設計されているオフィスなどに比べて比較的暗くなっているため、著しく劣悪な照合環境も存在する。従来の照合方式では、このような照明環境の変動に起因する照明変動によって顔画像の特徴量が変動した場合、特徴量の変動を吸収できず照合性能精度が低下する。また、顔領域に充分な照明が当たっていない場合は、照合に必要な特徴を抽出することができず照合がうまくいかない場合もある。
【０００５】
このような照明環境の変動が激しい条件下で顔照合を行なう方法として、特開２０００−２２２５７６号公報に開示された技術がある。この公報に開示された技術は、一人につき照明の当たり方の異なる複数の画像から抽出される特徴量を辞書データとして蓄え、それらを用いて線形判別を行うことで照明変動を吸収するものである。
【０００６】
しかしながら、この特開２０００−２２２５７６号公報に開示された技術を用いても登録時と著しく異なる照明状態で取得した顔画像ではその変動を吸収することができず、正しく照合することができないという問題がある。
【０００７】
本発明は上記事情に鑑みてなされたものであり、一般家庭といった照明変動が大きい場所や、照合にとって著しく劣悪な照明環境が存在するような場所で顔照合を行なう場合に、顔照合の誤りを減ずることができるロボット装置、照合環境判定方法、及び照合環境判定プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
係る目的を達成するために、本発明は、画像を撮像しデジタル化する撮像手段と、前記撮像手段で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像に対して、それ以前に記憶されている顔画像情報を用いて人物の照合を行う顔検出照合手段と、前記顔検出照合手段で得られた照合結果をユーザに通知する情報通知手段と、前記情報通知手段によってユーザに通知した照合結果が正しいか誤っているかをユーザが入力する情報入力手段と、 前記撮像手段から得られる画像情報を基に照明環境を判断し、あらかじめ決めてある照明カテゴリのどれに対応するかを判断する照明環境判断手段と、顔照合に成功した回数と顔照合を行なった回数とを、顔照合の照合結果に対する正誤回答をユーザから取得する毎に、前記照明カテゴリに分類し照合性能情報として記録する照合性能記録手段と、前記照合性能記録手段に記録されている前記照合性能情報を基に現在の照明環境が照合に適するかどうかを判断する照明環境比較手段と、ロボット装置を制御し、前記照明環境比較手段で照明環境が照合に適さないと判断した場合には、顔照合を行なう状態への遷移はしないように制御する前記制御手段と、ロボット装置自身を移動させる走行手段と、を有することを特徴とする。
【０００９】
【発明の実施の形態】
次に添付図面を参照しながら本発明に係る実施の形態を詳細に説明する。図１〜図１９を参照すると本発明に係る実施の形態が示されている。
【００１０】
（第１の実施の形態）
（構成の説明）
図１を参照すると本発明に係る第１の実施形態は、画像を撮像しデジタル化するＣＣＤカメラ、またはアナログ撮像器とＡＤ変換器とからなる撮像手段１と、撮像手段１で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像情報を用いて行なう顔検出照合手段２と、顔検出照合手段２で得られた照合結果を音声で発話したり、ＣＲＴ上に表示するなどしてユーザに通知する情報通知手段３と、情報通知手段３によってユーザに通知した照合結果が正しいか誤っているかをユーザが音声、ボタン、またはスイッチなどで入力する情報入力手段４と、照明状態が顔照合に適するかどうかを判定する照合結果信頼性算出手段５と、ロボットの部屋の中での位置や時刻などの情報を保持するロボット状態観測手段６と、ロボットを制御する制御手段７と、ロボット自身が移動するための車輪やモータなどといった走行手段８と、を有する。
【００１１】
顔検出照合手段２は、撮像手段１で撮像した画像から人物の顔を検出して登録したり、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像を用いて行なう。ここで、画像から人物の顔画像を検出する方法の一例として、特開２０００−２２２５７６号公報に開示された方法を説明する。まず、画面内で動きのある画素群を検出する。入力画像データと、それより１つ前に入力された画像データとの差分をとり、差分画像ｇを生成する。さらに過去ｍフレーム分（ｍは２以上の整数）の差分画像ｇを加算し、平均を取ることによって、統合差分画像Ｇを得る。統合差分画像Ｇは、動きのない領域の画素値が０で、動きのある領域ほど画素値が大きい値を取る。統合差分画像Ｇは、ごま塩ノイズを多く含むので、ノイズ除去処理を行う。ノイズ除去処理の例としては、膨張収縮処理や、メジアンフィルタ処理などがある。次に、統合差分画像Ｇから頭部矩形座標を求める。各スキャンライン毎に動き領域幅を求める。動き領域幅は各スキャンラインにおいて動き領域のｘ座標最大値と最小値の差分を表している。次に、頭部のｙ座標を求める。頭頂座標の求め方としては、動き領域のｙ座標の最小値を頭頂とする方法がある。次に、頭部矩形の底辺のｙ座標を求める。頭部矩形の底辺座標の求め方としては、頭頂から下方向（ｙ方向）に検索し、動き領域幅が動き領域幅の平均値ｄｍよりも小さいラインを求め、そのラインの中でＹ座標が最も大きいところを、頭部矩形の底辺とする方法を用いてもよい。次に、頭部矩形の左右のｘ座標を求める。左右のｘ座標の求め方としては、頭頂から頭部下部までの範囲で最も動き領域幅の大きなラインにおける動き領域の左右端の座標を求める方法を用いる。このようにして求めた頭部矩形内を、１画素ずつずらしながら適当な大きさの矩形で切り出し顔らしさを評価し、もっとも顔らしい位置を顔として検出する。顔らしさの評価には、まず、あらかじめ用意したさまざまな人物の多数の画像から、人手で正確に顔画像を切り出し、この切り出した顔画像データを主成分分析することで低次の固有ベクトルで張られる部分空間を得る。そして、この低次の固有ベクトルで張られる部分空間と、前述した適当な大きさで切り出した矩形画像との距離が近いかどうかで判断を行なう。この他に、文献「小杉信、”個人識別のための多重ピラミッドを用いたシーン中の顔の探索・位置決め”、電子情報通信学会論文誌、Vol.J77-D-II, No4, pp.672-681, April 1994 」にある濃淡パターンによるテンプレートマッチングを用いた方法を適用することも可能である。
【００１２】
また、顔画像の照合方法については、文献「M.Turk, A.Pentland, ”FaceRecognition onUsing Eigenfaces ”,Proceedings of IEEE, CVPR91」に示された、多数の顔画像を主成分分析した結果得られる基底ベクトルのうち低次のもので張られる部分空間へ入力顔画像を射影した成分を特徴ベクトルとし、照合対象となる画像の特徴ベクトルと、登録されているそれぞれの人物を代表する登録画像の特徴ベクトルとのユークリッド距離を検索し、このユークリッド距離が最も小さい人物を識別結果とする方法を適用してもよい。また、特開２０００−２２２５７６号公報に開示された人物の特徴データから作成した線形判別辞書を用いて対象顔画像との類似度の大きさを求めることでパターン識別する方法を用いてもよい。
【００１３】
情報通知手段３は制御手段７によって制御され、顔検出照合手段２により人物の照合結果が出た段階で照合結果をユーザに通知し、照合結果が正しいかどうかの確認を求める。例えば、あらかじめ録音した音声や計算機による合成音声でスピーカから照合結果のユーザの名前を発話したり、ＣＲＴや液晶モニタにユーザの名前やマークを提示する。
【００１４】
情報入力手段４は制御手段７によって制御され、情報通知手段３で通知した照合結果に対するユーザの回答を取得する。例えばユーザが「はい」というか「いいえ」というかを音声認識により識別したり、ユーザがボタンを押すことで正解かどうかをロボットへ入力できるようにする。
【００１５】
照合結果信頼性算出手段５は、撮像手段１やロボット状態観測手段６からの情報から、顔照合を行おうとするときの照明環境が照合に適するかどうかを判定する。
【００１６】
照明環境を特徴付ける量としては以下に挙げるものなどが利用できる。
［撮像手段１からの情報］
１．顔領域のコントラスト（顔検出照合手段２で得られる顔領域の輝度値の分散。）
照明環境によっては検出された顔領域のコントラストが大きかったり小さかったりする。一般に逆光であるとか顔にほとんど照明が当たらない場合、顔領域のコントラストは小さくなる。顔領域のコントラストが小さいと顔の特徴が失われてしまうため精度の高い照合ができなくなる。顔領域のコントラストは環境によって変化し、照合性能に大きな影響を与える。
２．顔領域と背景の平均輝度の比（顔検出照合手段２で得られる顔領域の輝度値の平均と、その外側近傍領域の輝度値の平均の比）
顔領域と背景の平均輝度値の比は逆光のときに大きくなる。逆光のときはコントラストも小さくなったり検出精度が下がるなど照合にとって不利となる。
３．画像全体の輝度値の平均
画像全体の輝度値の平均は、部屋全体の明るさをおおざっぱに表す。部屋の明るさは顔にあたる光量に関連する。
【００１７】
これらの条件の判定方法は、１の顔領域のコントラストは、特徴量は大きいほど照合に適していると判断することができ、２の顔領域と背景の平均輝度値の比と、３の画像全体の輝度値の平均は、上限と下限を決めたある範囲内にあるかどうかで照合に適しているか否かを判断することができる。
【００１８】
［カメラ以外から得られる情報］
１．時刻（朝か昼か夕方か夜か）
昼間野外から差し込む自然光が存在する場合と、夜その部屋の照明のみで照らされている場合では、照明環境が大きく異なる。
２．照明装置が点灯しているかどうか（図示しない照明装置状態観測手段を部屋に設置されている照明装置に連動させ、照明装置が点灯しているかどうかをロボット（ロボット状態観測手段６）が取得する）
３．カーテンが開いているかどうか（図示しないカーテン状態観測手段を部屋に設置されているカーテンに連動させ、カーテンが開いているかどうかをロボット（ロボット状態観測手段６）が取得する）
照明装置が点灯しているかどうかとカーテンが開いているかどうかという情報は、家庭内の主要な光源である照明光や自然光の有無に大きく関わる。
４．ロボットの部屋の中での位置（車輪のエンコーダや画像からの情報を用いてロボット位置を取得する）
照明や自然光が入り込む位置は部屋の中で固定されているため、部屋の中でどこにロボットがいてどのような方向で人を観測するかが顔にあたる光と大きく関係する。
【００１９】
これらの条件の判定方法は、照明装置が点灯しているかどうかと、カーテンが開いているかどうかという情報から、照合を行う時刻での現在のロボット位置での照明環境を判定して照合に適しているかどうかを判定する。
【００２０】
ロボット状態観測手段６は、照合結果信頼性算出手段５で照明環境を判断するのに用いる、カメラ以外からの情報を取得する。例えばロボットの部屋の中での位置を求めるための車輪のエンコーダや、部屋に設置されている照明装置に連動して照明が点灯しているかどうかを判断する部屋状態観測手段（不図示）や、カーテンに連動してカーテンが開いているかどうかを判断するカーテン状態観測手段（不図示）などの一つまたは複数からなる。
【００２１】
制御手段７は、ロボットを制御する。走行手段８は、モータ、車軸、車輪などを有しロボットの部屋内での移動を実現する。
【００２２】
（動作の説明）
次に、図２に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。第１の実施形態では、まず、制御手段７で顔を識別する状態への遷移が決定されると（ステップＳ２０１）、照合結果信頼性算出手段５で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から得て、照合に適しているかどうかを判断する（ステップＳ２０２）。
【００２３】
まず、ステップＳ２０２で信頼性が高いと判断された場合（ステップＳ２０２／ＹＥＳ）を説明する。この場合、顔検出照合手段２で、撮像手段１で得られた画像から顔画像を検出して照合を行い、あらかじめ登録してある人物の誰かに対応付けを行う（ステップＳ２０３）。その結果の人物をＬとする。その後、情報通知手段３で照合結果をユーザへ知らせ、照合結果が正しいかどうかの確認をユーザに求める（ステップＳ２０４）。
【００２４】
次にステップＳ２０２で信頼性が低いと判断された場合（ステップＳ２０２／ＮＯ）を説明する。この場合、顔照合を行わず、走行手段８を用いてロボット本体を移動し（ステップＳ２０５）、再び照明環境を撮像手段１やロボット状態観測手段６から観測し測定する。何度移動してもステップＳ２０２の条件が満たされない場合は、顔照合を行うような動作フローとする実現方法も考えられる。
【００２５】
このように本実施形態は、照明状態をあらかじめ持っている知識で判断して照合に適さない照明環境では照合を避けることで、照合の誤りを減らすことができる。具体的には、検出された顔領域の画像に充分なコントラストが出ていない場合や、部屋の照明装置がついていない場合に、照合に適していないと判定して照合を行なわずにロボットを動かしてその位置や方向を変えることで誤判定の発生を減らすことができる。
【００２６】
（第２の実施の形態）
（構成の説明）
本発明に係る第２の実施形態について図面を参照して詳細に説明する。図３を参照すると本発明の第２の実施形態は、画像を撮像しデジタル化するＣＣＤカメラ、またはアナログ撮像器とＡＤ変換器とからなる撮像手段１と、撮像手段１で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像情報を用いて行なう顔検出照合手段２と、顔検出照合手段２で得られた照合結果を音声で発話したり、ＣＲＴ上に表示するなどしてユーザに通知する情報通知手段３と、情報通知手段３を通じてユーザに通知した照合結果が正しいか誤っているかを、ユーザが音声、ボタン、またはスイッチなどで入力する情報入力手段４と、撮像手段１やロボット状態観測手段６からの情報から顔照合を行おうとするときの照明環境が照合に適しているかどうかを判定する照明環境判定手段５００と、ロボットの部屋の中での位置や時刻などの情報を保持するロボット状態観測手段６と、ロボットを制御するための制御手段７と、ロボット自身が移動するための車輪やモータなどといった走行手段８とを有する。
【００２８】
また、照明環境判定手段５００は、撮像手段１から得られる画像情報や、ロボット状態観測手段６から得られる時刻、現在位置に関する情報を基に照明環境を判断し、照明環境が予め決めてあるカテゴリのどれに対応するのかを判断する照明環境判断手段５０１と、情報入力手段４で得られた照合結果正誤情報に従って、顔照合が成功した回数と顔照合を行なった回数とを前記カテゴリ毎に記録する照合性能記録手段５０２と、照合性能記録手段５０２に記録されている情報を基に照明環境判断手段５０１で判定された現在の照明環境が照合に適するものかどうかを判断する照明環境比較手段５０３と、を有する。
【００２９】
照明環境判断手段５０１は、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断する。照明環境を判定する際の判定材料については上述した第１の実施形態と同一であるため説明を省略する。これら判定材料の一つないし複数を用いて照明環境を表現する。具体的には図４に示すようなテーブルを用意し、照明環境をカテゴリ分けする。つまり照明環境判断手段５０１では顔照合を行おうとするときに上述したような判断材料を観測し、現在の照明環境があらかじめ設定されたどのカテゴリに属するのかを出力する。
【００３０】
照合性能記録手段５０２は、図５に示すような形式で、顔照合が成功した回数と顔照合を行なった回数とをあらかじめ決められたカテゴリ毎に記録している。そして、情報入力手段４で顔照合に対する回答をユーザから取得すると、対応するカテゴリに顔画像が成功したか否かと、顔照合を行なった回数とを記録する。
【００３１】
照明環境比較手段５０３は、照明環境判断手段５０１から得られる照明環境のときの照合性能を照合性能記録手段５０２から検索し、照合を行った回数（ｔ（Ｋ））の累計が予め設定された閾値以上で、かつ、２．顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行った回数の累計（ｔ（Ｋ））で割った照合性能値が、あらかじめ設定された閾値以上であった場合に、その照明環境での照合結果は信頼性が高いと判断する。それ以外の場合［（ｔ（Ｋ））が予め設定された閾値以下、またはｔ（Ｋ）が閾値以上で、ｒ（Ｋ）／ｔ（Ｋ）が閾値未満の場合］、その環境での照合結果は信頼性が低いと判断する。
【００３２】
（動作の説明）
次に、図６に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。第２の実施形態では、まず、制御手段７で自律行動状態から顔を識別する状態への遷移が決定されると（ステップＳ６０１／ＹＥＳ）、照明環境判断手段５０１で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、前述のように図４で示したような形でカテゴリ分けする（ステップＳ６０２）。このカテゴリのことを照明カテゴリとよぶ。照明カテゴリにはＩＤが付けられ、そのＩＤのことを照明ＩＤと呼ぶ。ここで判断された照明カテゴリのＩＤをＫとする。
【００３３】
次に、照明環境比較手段５０３で、照明環境判断手段５０１で判断された照明ＩＤがＫのときの照合性能を照合性能記録手段５０２から検索し、照合を行った回数（ｔ（Ｋ））の累計が予め設定された閾値以上で、かつ、２．顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行った回数の累計（ｔ（Ｋ））で割った照合性能値があらかじめ設定された閾値以上であった場合に、その環境での照合結果は信頼性が高いと判断する（ステップＳ６０３／ＹＥＳ）。それ以外の場合［（ｔ（Ｋ））が予め設定された閾値以下、またはｔ（Ｋ）が閾値以上で、ｒ（Ｋ）／ｔ（Ｋ）が閾値未満の場合］、その環境での照合結果は信頼性が低いと判断する（ステップＳ６０３／ＮＯ）。なお、ｔ（Ｋ）が小さい時には、無条件で顔照合を行い、照合を行なった回数（ｔ（Ｋ））と、照合に正解した場合には正解した回数（ｒ（Ｋ））とをインクリメントさせてもよい。
【００３４】
照明環境比較手段５０３で照合の信頼性が高いと判断された場合（ステップＳ６０３／ＹＥＳ）、顔検出照合手段２で、撮像手段１で得られた画像から顔画像を検出して予め登録された顔画像との照合を行い、登録してある人物の誰かに対応付けを行う（ステップＳ６０４）。その結果の人物をＬとする。その後、情報通知手段３で照合結果をユーザへ知らせ、照合結果が正しいかどうかの確認をユーザに求める（ステップＳ６０５）。それを受け、ユーザが示した回答を情報入力手段４で取得し、正解だったか不正解だったかを判断する（ステップＳ６０６）。正解だったときは（ステップＳ６０６／ＹＥＳ）、照明ＩＤがＫのときの照合を行った回数ｔ（Ｋ）と照明ＩＤがＫのときに正解した回数ｒ（Ｋ）を１増やし、ユーザとの対話などの自律行動へ戻る（ステップＳ６０９、かつＳ６０７）。また、不正解だったときは照合を行なった回数ｔ（Ｋ）を１増やし（ステップＳ６０７）、ユーザとの対話などの自律行動へ戻る。
【００３５】
次に、照明環境比較手段５０３で照合の信頼性が低いと判断された場合（ステップＳ６０３／ＮＯ）、顔照合を行わず、走行手段８を用いてロボット本体を移動し（ステップＳ６０８）、再び照明環境を観測し、判定する。何度移動してもステップＳ６０３の条件が満たされない場合は、顔照合を行うような動作フローとする実現方法も考えられる。なお、ロボットの移動に関して、ユーザに違和感を与えないように自然な演出を施すことが望ましい。
【００３６】
このように本実施形態は、顔照合が行なわれる度にそのときの照明環境の観測と照合結果が正しいかどうかの確認を行い、その照明環境で照合が行われた回数と正解だった回数を累積して記録する。累積が十分されたら、照合を行なうときに照明環境の観測を行い、そのときの照明環境で過去にどのくらいの割合で正解したかをみて、正解が少ない照明環境であれば照合をせずにロボットを動かしてその位置や方向を変える。このようにして過去の照合の履歴をみて照合結果が良くない照合環境では照合を避けることで照合の誤りを減らすことができる。
【００３７】
異なる家庭の照明環境や顔登録の状態には多様なバリエーションがあり、どのような照明環境の場合に照合がうまくいくのかを前もって精度よく予測してロボットを設計するのは困難である。そこで、ユーザが実際に使用する段階で、どのような場所、どのような照明状態で照合がうまくいかないのかを学習すれば、前もって苦手な照明条件を想定する場合に比べて精度良く照合を行なうことができる。
【００３８】
（第３の実施の形態）
（構成の説明）
本発明に係る第３の実施形態について図面を参照して詳細に説明する。図７を参照すると本発明に係る第３の実施形態は、第２の実施形態に加えて人物の全体的な特徴量を抽出する全体特徴量抽出手段５０４を具備する。
【００３９】
全体特徴量抽出手段５０４は、制御手段７によって制御され、撮像手段１によって撮像された画像から人物を特定可能な特徴量を抽出する。全体特徴量抽出手段５０４は、ユーザ毎の特徴量が予め登録された辞書を具備し、撮像手段１で撮像された画像からユーザを特定する特徴量を抽出する。この辞書に登録された特徴量とは、例えば、ユーザの身長、体型、髪型、眼鏡をかけているか否かといったユーザを特定することが可能となる情報である。全体特徴量抽出手段５０４は、全体特徴量を抽出することができた場合には特徴量ありを示す情報を、抽出することができなかった場合には特徴量なしを示す情報を照明環境比較手段５０３に出力する。
【００４０】
照明環境比較手段５０３は、全体特徴量抽出手段５０４により全体特徴量が抽出されたか否かによって、照明環境判断手段５０１で判断された照明カテゴリでの照合性能を判断する閾値を変更して照合性能を判定する。
【００４１】
次に、図８に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。まず、制御手段７で自律行動状態から顔を識別する状態への遷移が決定されると（ステップＳ８０１）、照合環境判断手段５０１で、顔照合を行なおうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、照明カテゴリに分ける（ステップＳ８０２）。なお、ここで判断された照明カテゴリのＩＤをＫとする。
【００４２】
また、全体特徴量抽出手段５０４は、辞書を参照しながら、撮像手段１によって撮像された画像からユーザを特定することができる特徴量の抽出を試みる（ステップＳ８０３）。特徴量を抽出することができた場合には（ステップＳ８０３／ＹＥＳ）、特徴量ありを示す情報を照明環境比較手段５０３に出力する。また、特徴量を抽出することができなかった場合には（ステップＳ８０３／の）、特徴量なしを示す情報を照明環境比較手段５０３に出力する。
【００４３】
照明環境比較手段５０３は、照明環境判断手段５０１から照明ＩＤの情報を取得すると共に全体特徴量抽出手段５０４から全体特徴量あり／なしの情報を取得すると、照明環境判断手段５０１から取得した照明ＩＤがＫのときの照合性能を照合性能記録手段５０２から検索する。
【００４４】
全体特徴量抽出手段５０４によって全体特徴量を抽出することができなかった場合には、照明環境比較手段５０３は顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行なった回数の累計（ｔ（Ｋ））で割った照合性能値を、上述した第２の実施形態で使用した閾値（Ｒ１という）と比較する（ステップＳ８０４）。また、全体特徴量を抽出することができた場合には、この閾値よりも低く設定された閾値（Ｒ２という）により照合性能値との比較を行なう（ステップＳ８０５）。
【００４５】
照合を行なった回数の累計が閾値以上で、照合性能値が予め設定された閾値以上の場合に、照明環境比較手段５０３はその環境での照合結果は信頼性が高いと判断する。また、それ以外のときはその照合環境での照合性能は信頼性が低いと判断する。なお、以下の動作手順は、図６を用いて説明した第２の実施形態の動作手順と同一であるため説明を省略する。
【００４６】
このように本実施形態は、ユーザを判定する材料に照明環境だけではなくユーーザを特定する特徴量を導入することでユーザの判定をより高精度に行なうことができる。
【００４７】
（第４の実施の形態）
（構成の説明）
本発明に係る第４の実施形態について図面を参照して詳細に説明する。図９を参照すると本発明に係る第４の実施形態は、第２の実施形態の構成に加えて、照合にとって適切な位置へ移動を行なうための走行計画を立てる走行計画生成手段９を有する。
【００４８】
本実施形態は、図１０に示されるように１つの部屋を幾つかの領域に分割し、分割した各領域に識別ＩＤを付加して管理している。また、照合性能記録手段５０２は、図１１に示されるように識別ＩＤが付された領域毎に、照明カテゴリとその照明カテゴリでの照合性能とを記録して管理している。
【００４９】
また、本実施形態のロボット状態観測手段６は、図示しない照明装置状態観測手段から照明装置の状態情報を取得する共に、同じく図示しないカーテン状態観測手段によりカーテンの状態情報を取得する。なお、照明装置状態観測手段は、部屋に設置された照明装置と連動し、照明装置が点灯しているかどうかを検出する。また、カーテン状態観測手段は、カーテンに連動してカーテンが開いているかどうかを検出する。
【００５０】
走行計画生成手段９は、ロボット状態観測手段６から現在のロボットの位置情報を取得すると共に、照合性能を照合性能記録手段５０２から検索し、照合性能値が現在の位置よりも高い位置へ移動するように走行計画を立案し走行手段８に指示を出す。具体的には、時刻、カーテンの状態及び照明装置の状態が現在の状態と同じ照明カテゴリの中で、顔照合結果が正解した回数の累計を照合を行なった回数の累計で割った照合性能値が現在の照明カテゴリでのそれ以上で、閾値以上もしくは最高の位置へ移動するよう指示を出す。
【００５１】
また、走行計画生成手段９は照合性能値と移動距離とを考慮して移動先を決定してもよい。この場合、現在の照明カテゴリと同一の照合カテゴリでの照合性能が現在位置のものよりも高く、ロボット状態観測手段６から取得した現在位置情報から算出される移動距離が短い領域に移動するように移動計画を立てることになる。
【００５２】
このように本実施形態は、時刻、カーテンの状態、及び照明装置の状態が現在の状態と同じ照明カテゴリの中で、照合性能値が閾値以上もしくは最高の位置へ移動を行なうようにすることで、良好な照明環境にユーザを導くことができる。
【００５３】
（第５の実施の形態）
（構成の説明）
本発明に係る第５の実施の形態について図面を参照しながら詳細に説明する。図１２を参照すると本発明に係る第５の実施形態の照明環境判定手段５００は、撮像手段１から得られる画像情報やロボット状態観測手段６から得られる時刻や位置の情報を基に照明環境を判断し、あらかじめ決めてあるカテゴリのどれに対応するのかを判断する照明環境判断手段５０１と、顔検出照合手段２へ顔画像を登録したときの照明ＩＤをユーザ毎に記憶する登録時照明環境記録手段１０と、登録時照明環境記録手段１０に記録されている情報を基に、対話中のユーザが現在の照明環境で過去に顔画像を登録したかどうかを判断する登録時照明環境比較手段１１と、を具備する。
【００５４】
登録時照明環境記録手段１０は、照明環境判断手段５０１によって判定された、ユーザが顔検出照合手段２へ顔を登録したときの照明ＩＤをユーザ毎に全て記録しておく。
【００５５】
登録時照明環境条件比較手段１１は、現在対話中のユーザが照明環境判断手段５０１から得られる現在の照明環境で過去に顔画像登録を行なったかどうかを登録時照明環境記録手段１０に記録されている情報を検索することで判定する。
【００５６】
（動作の説明）
次に、図１３に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。本実施形態は顔を顔検出照合手段２へ登録する方法に関するものである。ロボットがユーザＬと対話しているときにある確率で登録を行うかどうかを決定する状態へ遷移する（ステップＳ１３０１）。まず、対話しているユーザの顔画像がすでに顔検出照合手段２に登録されているかどうかで分岐する（ステップＳ１３０２）。もし登録されていない場合は（ステップＳ１３０２／ＮＯ）、無条件でステップＳ１３０４へ、登録されている場合には（ステップＳ１３０２／ＹＥＳ）、１／１０の確率でステップＳ１３０４へ、９／１０の確率でユーザとの対話へ戻る。ここでは、１から１０の自然数をランダムに発生させ、発生した値が１であった場合には（ステップＳ１３０３／ＹＥＳ）、ステップＳ１３０４に遷移する。ステップＳ１３０４では、照明環境判断手段５０１でその時点の照明環境をあらかじめ決めてある照明のカテゴリに分類する。その結果のカテゴリの照明ＩＤをＫとする。次にステップＳ１３０５で対話中のユーザＬが過去に照明ＩＤがＫの環境で顔登録をしているかどうかを登録時照明環境記録手段１０に記録されている情報を基に判断する。もしそのユーザＬの照明ＩＤがＫのときの顔画像が登録時照明環境記録手段１０に登録されている場合には（ステップＳ１３０５／ＹＥＳ）、ユーザとの対話へ戻り、登録されていない場合には（ステップＳ１３０５／ＮＯ）、ステップＳ１３０６へ進む。ステップＳ１３０６では、顔検出照合手段２で顔登録を行い、ユーザＬが照明ＩＤ＝Ｋで顔登録したことを登録時照明環境記録手段１０へ記録する（ステップＳ１３０７）。
【００５８】
このように本実施形態は、ユーザ毎に登録したときの照明状態を記憶しておき、ユーザがロボットと対話している最中に過去にそのユーザが顔登録を行なっていないような照明環境であれば、ユーザの顔登録を開始する。このようにすることでより効率よく様々な照明条件の顔画像を登録することが可能となる。
【００５９】
なお、上述した実施形態では、ユーザとの対話と顔照合とをそれぞれ独立した行動として記載しているが、対話の最中に顔画像の撮影を行なうものであってもよい。
【００６０】
（第６の実施の形態）
（構成の説明）
本発明の第６の実施の形態について図面を参照して詳細に説明する。図１４を参照すると本実施の形態の照明環境判定手段５００は、照明環境判断手段５０１だけからなる。また、顔検出照合手段２は、撮像手段１で得られた画像から顔の領域を検出して切り出し、特徴データに変換する顔検出手段２０１と、人物毎の顔の特徴データ群を照明環境判断手段５０１で得られた照明カテゴリ毎に保存するデータ管理手段２０３と、照明カテゴリ毎の特徴データで認識辞書を作成する辞書作成手段２０４と、辞書作成手段２０４で作成した認識辞書を照明カテゴリ毎に保存する辞書保存手段２０５と、照明環境判断手段５０１の出力と同じ照明カテゴリの辞書を辞書保存手段２０５から選択し、顔照合手段２０２へ供給する辞書選択手段２０６と、辞書選択手段２０６から供給された辞書に基づいて顔検出手段２０１から供給される特徴データが誰の顔であるのかの照合を行う顔照合手段２０２を有する。
【００６１】
データ管理手段２０３は、登録時に取得された人物毎の顔の特徴データ群を図１５のように照明環境判断手段５０１で得られた照明カテゴリによって分類して保存する。顔画像からその特徴データを抽出する方法は、正面顔画像を左から右へ１ライン毎にスキャンし、上から下へ１ライン終われば次のラインをスキャンして１次元データを生成し（ラスタスキャン）、それを特徴データとして用いる。その他に１次微分フィルタや２次微分フィルタを用いてフィルタリングし、エッジ情報を抽出したものをラスタスキャンして特徴データとする方法を用いてもよい。
【００６２】
辞書作成手段２０４は、同じ照明カテゴリの特徴データだけを用いて認識辞書を作成する。図１６では照明ＩＤがＴ１、Ｔ２のそれぞれのデータセットを用いて辞書を作成している。辞書としては、特開２０００−２２２５７６号公報に記載されている人物の特徴データから生成される線形判別辞書などを用いることができる。これらの辞書は辞書保存手段２０５でやはり照明カテゴリ毎に保存される。
【００６３】
辞書選択手段２０６では、照明環境判断手段５０１で決定された照明カテゴリのデータで作られた辞書を顔照合手段２０２へ供給する。図１７の例では辞書保存手段２０５に保存されているＴ２のときの辞書が供給される。
【００６４】
顔照合手段２０２では供給された辞書を使って顔検出手段２０１から供給される特徴データとの照合を行う。具体的には特開２０００−２２２５７６号公報に開示された人物の特徴データから作成した線形判別辞書を用いて、対象顔画像との類似度の大きさを求めることでパターン識別する方法を適用することができる。
【００６５】
（動作の説明）
次に、図１８、１９に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。まず顔登録時の動作について図１８を参照しながら説明する。ロボットがユーザＬと対話しているときにある確率で登録を行うかどうかを決定する状態へ遷移する（ステップＳ１８０１）。まず、対話しているユーザの顔画像がすでに顔検出照合手段２に登録されているかどうかで分岐する（ステップＳ１８０２）。もし登録されていない場合は（ステップＳ１８０２／ＮＯ）、無条件でステップＳ１８０４へ、登録されている場合には（ステップＳ１８０２／ＹＥＳ）、１／１０の確率でステップＳ１８０１へ、９／１０の確率でユーザとの対話へ戻る。ここでは、１から１０の自然数をランダムに発生させ、発生した値が１であった場合には（ステップＳ１８０３／ＹＥＳ）、ステップＳ１８０４に遷移する。ステップＳ１８０４では、照明環境判断手段５０１でその時点の照明環境をあらかじめ決めてある照明のカテゴリに分類する。その結果のカテゴリの照明ＩＤをＫとする。次にステップＳ１８０５で、撮像手段１を用いて画像の撮影を開始し、その画像から顔検出手段２０１で顔の特徴データを取得し、取得したデータをデータ管理手段２０３の「ユーザＬ、照明カテゴリＫ」の領域へ格納する。一般に特徴データは一回の登録でも複数枚取得されるので、取得が終了するまでこれを続ける。取得が終了したらステップＳ１８０６に進み、辞書作成手段２０４で照明ＩＤがＫのデータに関して辞書を作成し辞書保存手段２０５へ保存する。このとき照明ＩＤがＫのデータが全員分そろっていない場合は処理を中断する。あるいはその場合は照明カテゴリに無関係に全てのデータを使って辞書を作成するという動作でもよい。
【００６６】
次に顔照合時の動作について図１９を参照しながら説明する。まず、制御手段７で顔を識別する状態への遷移が決定されると（ステップＳ１９０１）、照明環境判断手段５０１で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、あらかじめ決めてある照明のカテゴリに分類する。その結果の照明ＩＤをＫとする（ステップＳ１９０２）。次に照明ＩＤがＫの特徴データで作られた辞書が辞書保存手段２０５に保存されているかどうかを辞書選択手段２０６により調べる（ステップＳ１９０３）。もし保存されていなければ（ステップＳ１９０３／ＮＯ）、そのまま照合を中止しユーザとの対話に戻る。もし保存されていれば（ステップＳ１９０３／ＹＥＳ）、辞書選択手段２０６により照合ＩＤがＫの特徴データで作成した辞書を辞書保存手段２０５から取得し、顔照合手段２０２へ供給する（ステップＳ１９０４）。次に、撮像手段１で画像の撮像を開始し、その画像から顔検出手段２０１で顔の特徴データを取得し、取得した特徴データと供給された辞書を用いて顔照合手段２０２で照合を行い、撮像手段１で撮像した顔画像が誰であるかを判定する（ステップＳ１９０５）。
【００６７】
このように本実施形態は、様々な照明環境毎に顔画像を登録しておき、照合を行なう時は、そのときと同じ照明環境で登録された画像から作られた辞書を用いて照合を行なう。このようにすることで精度よく照合を行なうことができる。
【００６８】
また、本実施形態も、ユーザとの対話と顔照合とをそれぞれ独立した行動として記載しているが、対話の最中に顔画像の撮影を行なって照合を行なうものであってもよい。
【００６９】
なお、上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。例えば、上述した実施形態において照合環境を判定する材料として季節（夏と冬とで部屋に日光が入り込む角度が異なるため）や天気予報（インターネット等を利用してその日の天気情報を取得し、照合環境を判定する材料の一つとする）を考慮してもよい。
【００７０】
また、本発明の照合環境判定プログラムに係る実施形態は、それぞれ図２、６、８、１３、１８、１９に示された動作手順で制御するプログラムに基づいて各手段が制御動作を行なうことで実現される。
【００７１】
【発明の効果】
以上の説明より明らかなように本発明は、照明環境を判断し、照合に適さない照明環境では照合を行なわないようにすることで、照合の誤りを減らすことができる。従って、照明変動が大きく、極端に暗いなどの顔照合にとって劣悪な環境が存在する家庭で誤り少なく顔照合を行うことができる。
【００７２】
また、照合を行うときに照明環境の観測を行いそのときの照明環境で過去にどのくらいの割合で正解だったかをみて、正解が少ない照明環境であれば照合をせずにロボットを動かしてその位置や方向を変える。異なる家庭の照明環境や顔登録の状態には多様なバリエーションがあり、どのような照明環境の場合に照合がうまくいくのかを前もって精度良く予測してロボットを設計するのは困難である。そこでユーザが実際に使って顔照合を行う過程でどのような場所、どのような照明状態で照合がうまく行かないのかを学習すれば、前もって苦手な照明条件を想定するのに比べて精度良く照合が得意な場合やそうでない場合を判断することができる。
【００７３】
また、過去の照合性能を照合性能記録手段から検索し、時刻、カーテンの状態および照明装置の状態が現在の状態と同じ照明カテゴリの中で、顔照合結果が正解した回数の累計を照合を行った回数の累計で割った値が現在の照明カテゴリでの値以上で閾値以上もしくは最高の位置へ移動を行う。このようにすることで良好な照明環境にユーザを導くことができ顔照合の誤りを減らすことができる。
【００７４】
また、ユーザ毎に顔登録したときの照明状態を記憶しておき、ユーザがロボットと対話している最中に過去にそのユーザが顔登録を行っていないような照明条件であればユーザの顔登録を開始する、またはユーザに顔登録をするように促す。このようにすることでより効率よく様々な照明条件の顔画像を登録することが可能となる。
【００７５】
また、様々な照明状態毎に顔画像を登録しておき、照合を行うときはそのときの照明状態を観測し、同じ照明状態で登録された画像から作られた辞書を用いて照合を行う。このようにすることで照明環境を評価せずに登録・照合を行なう場合よりも精度良く照合を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態の構成を示すブロック図である。
【図２】本発明に係る第１の実施形態の動作手順を示すフローチャートである。
【図３】本発明に係る第２の実施形態の示すブロック図である。
【図４】第２の実施形態での照明環境判断手段で照明環境をカテゴリ分けする方法を示す図である。
【図５】第２の実施形態での照合性能記録手段で照明環境毎に照合結果の履歴を記録する方法を示す図である。
【図６】本発明に係る第２の実施形態の動作手順を示すフローチャートである。
【図７】本発明に係る第３の実施形態の構成を示すブロック図である。
【図８】本発明に係る第３の実施形態の動作手順を示すフローチャートである。
【図９】本発明に係る第４の実施形態の構成を示すブロック図である。
【図１０】部屋を領域に分割し、領域毎にＩＤを付けて管理する方法を説明するための図である。
【図１１】第４の実施形態での照明環境判断手段で照明環境をカテゴリ分けする方法を示す図である。
【図１２】本発明に係る第５の実施形態の構成を示すブロック図である。
【図１３】本発明に係る第５の実施形態の動作手順を示すフローチャートである。
【図１４】本発明に係る第６の実施形態の構成を示すブロック図である。
【図１５】第６の実施形態でのデータ管理手段で、登録時に取得された人物毎の顔の特徴データ群を照明カテゴリ毎に保存する例を示す図である。
【図１６】第６の実施形態での辞書作成手段で、同じ照明カテゴリの特徴データだけを用いて認識辞書を作成する例を示す図である。
【図１７】第６の実施形態での辞書選択手段で、ある照明カテゴリのデータで作られた辞書を照合手段へ供給する例を示す図である。
【図１８】第６の実施形態の動作手順（顔登録時）を示すフローチャートである。
【図１９】第６の実施形態の動作手順（顔照合時）を示すフローチャートである。
【図２０】顔照合機能を持つ従来のロボット装置の構成を示すブロック図である。
【符号の説明】
１ 撮像手段
２ 顔検出照合手段
２０１ 顔検出手段
２０２ 顔照合手段
２０３ データ管理手段
２０４ 辞書作成手段
２０５ 辞書保存手段
２０６ 辞書選択手段
３ 情報通知手段
４ 情報入力手段
５ 照合結果信頼性算出手段
５００ 照明環境判定手段
５０１ 照明環境判断手段
５０２ 照合性能記録手段
５０３ 照明環境比較手段
５０４ 全体特徴量抽出手段
６ ロボット状態観測手段
７ 制御手段
８ 走行手段
９ 走行計画生成手段
１０ 登録時照明環境記録手段
１１ 登録時照明環境比較手段
Claims (9)
- 画像を撮像しデジタル化する撮像手段と、
前記撮像手段で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像に対して、それ以前に記憶されている顔画像情報を用いて人物の照合を行う顔検出照合手段と、
前記顔検出照合手段で得られた照合結果をユーザに通知する情報通知手段と、
前記情報通知手段によってユーザに通知した照合結果が正しいか誤っているかをユーザが入力する情報入力手段と、
前記撮像手段から得られる画像情報を基に照明環境を判断し、あらかじめ決めてある照明カテゴリのどれに対応するかを判断する照明環境判断手段と、
顔照合に成功した回数と顔照合を行なった回数とを、顔照合の照合結果に対する正誤回答をユーザから取得する毎に、前記照明カテゴリに分類し照合性能情報として記録する照合性能記録手段と、
前記照合性能記録手段に記録されている前記照合性能情報を基に現在の照明環境が照合に適するかどうかを判断する照明環境比較手段と、
ロボット装置を制御し、前記照明環境比較手段で照明環境が照合に適さないと判断した場合には、顔照合を行なう状態への遷移はしないように制御する前記制御手段と、
ロボット装置自身を移動させる走行手段と、
を有することを特徴とするロボット装置。 - 前記照合性能記録手段に記録されている情報を基に、より照合性能が高い位置へ移動を行うための走行計画を立てる走行計画生成手段を有することを特徴とする請求項１記載のロボット装置。
- 前記照明環境比較手段で照明環境が照合に適さないと判断した場合には、前記走行手段により前記ロボット装置を移動させることを特徴とする請求項１記載のロボット装置。
- 撮像手段で撮像した画像から人物の顔領域を検出して記憶すると共に、顔照合状態への遷移により人物の照合を、それ以前に記憶している顔画像情報を用いて顔検出照合手段により行なうロボット装置の照合環境判定方法であって、
前記撮像手段から得られる画像情報を基に照明環境を判断して前記照明カテゴリのどれに対応するかを判断する照明環境判断工程と、
顔照合に成功した回数と顔照合を行なった回数とを、顔照合の照合結果に対する正誤回答をユーザから取得する毎に、前記照明カテゴリに分類し照合性能情報として記録する照合性能記録工程と、
前記照合性能記録工程で記録した前記照合性能情報を基に、現在の照明環境が顔照合に適するか否かを判断する照明環境比較工程と、
前記照明環境比較工程で照明状態が顔照合に適していないと判断した場合に、走行手段により前記ロボット装置を移動させる移動工程と、
を有することを特徴とする照合環境判定方法。 - 前記照明カテゴリ毎の照合性能情報を基に、より照合性能が高い位置へ移動する移動工程を有することを特徴とする請求項４記載の照合環境判定方法。
- 前記照明環境比較工程で照明環境が照合に適さないと判断した場合に、前記移動工程で前記ロボット装置を移動させることを特徴とする請求項４記載の照合環境判定方法。
- 撮像手段で撮像した画像から人物の顔領域を検出して記憶すると共に、顔照合状態への遷移により人物の照合を、それ以前に記憶している顔画像情報を用いて顔検出照合手段により行なうロボット装置の照合環境判定プログラムであって、
前記撮像手段から得られる画像情報を基に照明環境を判断して前記照明カテゴリのどれに対応するかを判断する照明環境判断処理と、
顔照合に成功した回数と顔照合を行なった回数とを、顔照合の照合結果に対する正誤回答をユーザから取得する毎に、前記照明カテゴリに分類し照合性能情報として記録する照合性能記録処理と、
前記照合性能記録処理で記録した前記照合性能情報を基に、現在の照明環境が顔照合に適するか否かを判断する照明環境比較処理と、
前記照明環境比較処理で照明状態が顔照合に適していないと判断した場合に、走行手段により前記ロボット装置を移動させる移動処理と、
を実行することを特徴とする照合環境判定プログラム。 - 前記照明カテゴリ毎の照合性能情報を基に、より照合性能が高い位置へ移動する移動処理を有することを特徴とする請求項７記載の照合環境判定プログラム。
- 前記照明環境比較処理で照明環境が照合に適さないと判断した場合に、前記移動処理で前記ロボット装置を移動させることを特徴とする請求項７記載の照合環境判定プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002017642A JP4143305B2 (ja) | 2001-01-30 | 2002-01-25 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
| US10/057,947 US6516247B2 (en) | 2001-01-30 | 2002-01-29 | Robot, identifying environment determining method, and program thereof |
| US10/308,103 US6819978B2 (en) | 2001-01-30 | 2002-12-03 | Robot, identifying environment determining method, and program thereof |
| US10/308,155 US6732016B2 (en) | 2001-01-30 | 2002-12-03 | Robot, identifying environment determining method, and program thereof |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-21648 | 2001-01-30 | ||
| JP2001021648 | 2001-01-30 | ||
| JP2002017642A JP4143305B2 (ja) | 2001-01-30 | 2002-01-25 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008110870A Division JP4770869B2 (ja) | 2001-01-30 | 2008-04-22 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002304629A JP2002304629A (ja) | 2002-10-18 |
| JP4143305B2 true JP4143305B2 (ja) | 2008-09-03 |
Family
ID=26608523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002017642A Expired - Lifetime JP4143305B2 (ja) | 2001-01-30 | 2002-01-25 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US6516247B2 (ja) |
| JP (1) | JP4143305B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1136937B1 (en) * | 2000-03-22 | 2006-05-10 | Kabushiki Kaisha Toshiba | Facial image forming recognition apparatus and a pass control apparatus |
| JP4483042B2 (ja) * | 2000-07-12 | 2010-06-16 | コニカミノルタホールディングス株式会社 | 影成分除去装置および影成分除去方法 |
| JP4143305B2 (ja) * | 2001-01-30 | 2008-09-03 | 日本電気株式会社 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
| JP2003099777A (ja) * | 2001-09-21 | 2003-04-04 | Victor Co Of Japan Ltd | 顔画像検索装置 |
| JP3829729B2 (ja) * | 2002-02-14 | 2006-10-04 | オムロン株式会社 | 個人認証装置 |
| JP3529049B2 (ja) * | 2002-03-06 | 2004-05-24 | ソニー株式会社 | 学習装置及び学習方法並びにロボット装置 |
| JP2003296711A (ja) * | 2002-03-29 | 2003-10-17 | Nec Corp | 顔画像識別方法、装置およびプログラム |
| US7233841B2 (en) * | 2002-04-19 | 2007-06-19 | Applied Materials, Inc. | Vision system |
| US20040174434A1 (en) * | 2002-12-18 | 2004-09-09 | Walker Jay S. | Systems and methods for suggesting meta-information to a camera user |
| JP4042108B2 (ja) * | 2003-02-19 | 2008-02-06 | ソニー株式会社 | ロボット装置及びその制御方法 |
| JP4247041B2 (ja) * | 2003-04-01 | 2009-04-02 | 本田技研工業株式会社 | 顔識別システム |
| JP4531501B2 (ja) * | 2003-09-29 | 2010-08-25 | 富士フイルム株式会社 | 照合システム及びそのプログラム |
| JP4303602B2 (ja) * | 2004-01-09 | 2009-07-29 | 本田技研工業株式会社 | 顔面像取得システム |
| JP4615277B2 (ja) * | 2004-09-22 | 2011-01-19 | アイホン株式会社 | インターホンシステム |
| US8503800B2 (en) * | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
| US8588979B2 (en) * | 2005-02-15 | 2013-11-19 | Sony Corporation | Enhancements to mechanical robot |
| JP4797517B2 (ja) * | 2005-08-31 | 2011-10-19 | オムロン株式会社 | 監視装置および方法、並びにプログラム |
| EP1795314B1 (en) * | 2005-12-12 | 2009-10-21 | HONDA MOTOR CO., Ltd. | Legged mobile robot control system |
| US7783382B2 (en) * | 2006-02-24 | 2010-08-24 | Qisda Corporation | Controlling machine actions based on luminance of environmental light and distance from user |
| KR100901272B1 (ko) | 2007-08-24 | 2009-06-09 | 한국전자통신연구원 | 초기 템플릿 생성 장치 및 방법 |
| JP2009059073A (ja) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | 撮影装置、撮影方法、人物認識装置および人物認識方法 |
| US9697746B2 (en) * | 2009-09-30 | 2017-07-04 | National Ict Australia Limited | Object tracking for artificial vision |
| JP5567853B2 (ja) * | 2010-02-10 | 2014-08-06 | キヤノン株式会社 | 画像認識装置および方法 |
| US8818556B2 (en) * | 2011-01-13 | 2014-08-26 | Microsoft Corporation | Multi-state model for robot and user interaction |
| JP5829147B2 (ja) * | 2012-03-01 | 2015-12-09 | 日立オムロンターミナルソリューションズ株式会社 | 生体認証装置および制御装置 |
| JP6351243B2 (ja) * | 2013-11-28 | 2018-07-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| KR102161783B1 (ko) * | 2014-01-16 | 2020-10-05 | 한국전자통신연구원 | 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법 |
| EP2919142B1 (en) * | 2014-03-14 | 2023-02-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for providing health status information |
| CN105844202A (zh) * | 2015-01-12 | 2016-08-10 | 芋头科技（杭州）有限公司 | 一种影像识别系统及方法 |
| KR102450374B1 (ko) * | 2016-11-17 | 2022-10-04 | 삼성전자주식회사 | 데이터 인식 및 트레이닝 장치 및 방법 |
| KR20180098079A (ko) | 2017-02-24 | 2018-09-03 | 삼성전자주식회사 | 비전 기반의 사물 인식 장치 및 그 제어 방법 |
| WO2019017080A1 (ja) * | 2017-07-20 | 2019-01-24 | パナソニックＩｐマネジメント株式会社 | 照合装置及び照合方法 |
| JP7467999B2 (ja) * | 2020-03-10 | 2024-04-16 | セイコーエプソン株式会社 | スキャンシステム、プログラム、およびスキャンシステムのスキャンデータ生成方法 |
| CN111554006B (zh) * | 2020-04-13 | 2022-03-18 | 绍兴埃瓦科技有限公司 | 智能锁及智能解锁方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5781650A (en) * | 1994-02-18 | 1998-07-14 | University Of Central Florida | Automatic feature detection and age classification of human faces in digital images |
| US5663562A (en) * | 1995-09-06 | 1997-09-02 | Hughes Electronics | Thermal imaging device |
| US5614714A (en) * | 1995-09-06 | 1997-03-25 | Hughes Electronics | Thermal imaging device and method |
| US5614715A (en) * | 1995-10-11 | 1997-03-25 | Hughes Electronics | Thermal imaging device with scanned light emitting diodes (LEDs) and second linear array of plural symbology LEDs |
| JP3580129B2 (ja) | 1998-05-06 | 2004-10-20 | オムロン株式会社 | 本人識別装置 |
| EP1034899B1 (en) * | 1998-06-09 | 2011-03-30 | Sony Corporation | Robot and method of its attitude control |
| JP3424631B2 (ja) * | 1999-01-13 | 2003-07-07 | ソニー株式会社 | ロボット装置及びソフトウエアの更新方法 |
| JP3307354B2 (ja) | 1999-01-29 | 2002-07-24 | 日本電気株式会社 | 人物識別方法及び装置と人物識別プログラムを記録した記録媒体 |
| JP2001188555A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
| US6301440B1 (en) * | 2000-04-13 | 2001-10-09 | International Business Machines Corp. | System and method for automatically setting image acquisition controls |
| US6681151B1 (en) * | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
| JP4143305B2 (ja) * | 2001-01-30 | 2008-09-03 | 日本電気株式会社 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
-
2002
- 2002-01-25 JP JP2002017642A patent/JP4143305B2/ja not_active Expired - Lifetime
- 2002-01-29 US US10/057,947 patent/US6516247B2/en not_active Expired - Fee Related
- 2002-12-03 US US10/308,103 patent/US6819978B2/en not_active Expired - Lifetime
- 2002-12-03 US US10/308,155 patent/US6732016B2/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US12087130B2 (en) | 2018-07-25 | 2024-09-10 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US12106630B2 (en) | 2018-07-25 | 2024-10-01 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
| Publication number | Publication date |
|---|---|
| US6819978B2 (en) | 2004-11-16 |
| US6732016B2 (en) | 2004-05-04 |
| US20020103574A1 (en) | 2002-08-01 |
| US6516247B2 (en) | 2003-02-04 |
| US20030083785A1 (en) | 2003-05-01 |
| JP2002304629A (ja) | 2002-10-18 |
| US20030088335A1 (en) | 2003-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4143305B2 (ja) | ロボット装置、照合環境判定方法、及び照合環境判定プログラム | |
| JP4770869B2 (ja) | ロボット装置、照合環境判定方法、及び照合環境判定プログラム | |
| JP5008269B2 (ja) | 情報処理装置、情報処理方法 | |
| JP5077164B2 (ja) | 追跡装置及び追跡方法 | |
| Fritsch et al. | Improving adaptive skin color segmentation by incorporating results from face detection | |
| US7636453B2 (en) | Object detection | |
| JP4725377B2 (ja) | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 | |
| CN101095149B (zh) | 图像比较设备和图像比较方法 | |
| JP5517858B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| KR100612858B1 (ko) | 로봇을 이용하여 사람을 추적하는 방법 및 장치 | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| JP5355446B2 (ja) | 移動物体追跡システムおよび移動物体追跡方法 | |
| JP3307354B2 (ja) | 人物識別方法及び装置と人物識別プログラムを記録した記録媒体 | |
| JP2009059257A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| JP2007334623A (ja) | 顔認証装置、顔認証方法、および入退場管理装置 | |
| Li et al. | Robust multiperson detection and tracking for mobile service and social robots | |
| CN102054165A (zh) | 图像处理装置及图像处理方法 | |
| JP2006236260A (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
| JP5159390B2 (ja) | 物体検知方法及びその装置 | |
| JP5241687B2 (ja) | 物体検出装置及び物体検出プログラム | |
| KR20230077560A (ko) | 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법 | |
| CN111476195A (zh) | 人脸检测方法、装置、机器人及计算机可读存储介质 | |
| CN111611979A (zh) | 基于面部扫描的智能健康监测系统及方法 | |
| Brauer | Camera based human localization and recognition in smart environments | |
| CN115862144B (zh) | 一种摄像机手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060112 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060112 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060306 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060331 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080616 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4143305 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |