JP3732881B2 - 画像の特徴点検出方法およびその装置 - Google Patents
画像の特徴点検出方法およびその装置 Download PDFInfo
- Publication number
- JP3732881B2 JP3732881B2 JP00824096A JP824096A JP3732881B2 JP 3732881 B2 JP3732881 B2 JP 3732881B2 JP 00824096 A JP00824096 A JP 00824096A JP 824096 A JP824096 A JP 824096A JP 3732881 B2 JP3732881 B2 JP 3732881B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- detected
- feature point
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、人物の顔をカメラにより撮影し、撮影した顔画像より目、鼻等の顔部品の特徴点を検出する特徴点検出方法およびその装置に関する。
【０００２】
【従来の技術】
画像の特徴点検出装置は、カメラにより人物の顔を撮影して、その顔画像より顔部品を検出して、その顔部品の特徴点を検出している。この特徴点検出装置は、人物の性格や未来を占う占い装置や撮影画像の特徴点を対象にして他の画像と合成する装置等に適用されている。
【０００３】
【発明が解決しようとする課題】
撮影画像中の顔部品の特徴点は、各顔部品毎に設定された検索領域内で顔部品が検出されて抽出されるが、顔部品が検出されない場合には、その領域内で顔部品が検出されるまで繰り返し検出が行われていた。従って、例えば、光による影などが原因で眉と目が繋がって目として検出された場合などは、何度検出を繰り返しても目の検出が失敗に終わり、最終的にはエラーということになるので、検出処理時間が長くなる。
【０００４】
そこで、本発明は顔部品の検出が何らかの理由により不可能な場合、複雑な処理を行うことなく短時間でその顔部品の特徴点を指定することができる特徴点検出方法およびその装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の課題を達成するために、本発明の特徴点検出方法は、人物の顔を撮影し、撮影画像より人物の顔部品の特徴点を検出する特徴点検出方法において、人物の顔を撮影し、撮影画像中より顔部品の各々に対して設定された指定領域を検索して顔部品の検出を行い、顔部品が検出された場合には、検出された顔部品を所定のパラメータと比較し、所定のパラメータの範囲内にあれば、顔部品を検出できたものと判断して検出された顔部品より特徴点を取得し、顔部品が検出されなかった場合および検出された顔部品が所定のパラメータの範囲外にある場合には、顔部品を検出できなかったものと判断して、所定の顔部品に対応して予め用意されたサンプルデータを特徴点とする。
【０００６】
また、本発明の特徴点検出装置は、人物の顔を撮影し、撮影画像より人物の顔部品の特徴点を検出する特徴点検出装置において、人物の顔を撮影するカメラと、このカメラにより撮影された撮影画像から人物の顔部品の検出を行う検出部と、この検出部により検出された顔部品を所定のパラメータと比較する判定部と、顔部品の特徴点を取得する特徴点取得部とを備え、検出された顔部品が判定部により所定のパラメータの範囲内にあると判定された場合、特徴点取得部は検出された顔部品より特徴点を取得し、検出された顔部品が判定部により所定のパラメータの範囲外にあると判定された場合および検出部により顔部品が検出されなかった場合には、特徴点取得部は顔部品のそれぞれに対応して予め用意されたサンプルデータを特徴点して取得する。
【０００７】
また、本発明の特徴点検出装置を適用したゲーム装置は、プレーヤーの顔を撮影するカメラと、このカメラにより撮影された顔画像からプレーヤーの顔部品を検出する検出部と、この検出部により検出された顔部品を所定のパラメータと比較する判定部と、顔部品の特徴点を取得する特徴点取得部と、所定のゲーム処理を行うゲーム処理部と、所定のゲーム処理の結果に基づいて、特徴点取得部により取得された特徴点を対象に顔画像に画像合成を行う画像合成処理部とを備え、検出された顔部品が判定部により所定のパラメータの範囲内にあると判定された場合、特徴点取得部は検出された顔部品より特徴点を取得し、検出された顔部品が判定部により所定のパラメータの範囲外にあると判定された場合および検出部により顔部品が検出されなかった場合には、特徴点取得部は顔部品のそれぞれに対応して予め用意されたサンプルデータを特徴点として取得する。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照して詳細に説明する。なお、説明において、同一要素には同一符号を用い、重複する説明は省略する。
【０００９】
図１は本発明に係る特徴点検出装置の実施の形態の構成図である。図１に示すように、特徴点検出装置は、人物の顔を撮影する撮影部１と、撮影画像を記憶する画像記憶部２と、撮影画像を二値化処理する二値化部３と、目や鼻等の顔部品を二値化処理された撮影画像の指定領域内で検索する指定領域検索部４と、検出された顔部品を所定のパラメータと比較する検出判定部５と、顔の各部品の特徴点のサンプルデータを格納しているサンプルデータ格納部６と、顔部品の特徴点を取得する特徴点取得部７とを備えている。
【００１０】
図２にこの特徴点検出装置が行う特徴点検出処理工程を示す。最初に、撮影部１により人物の顔が撮影され（図２のステップ１００）、この顔画像が画像記憶部２に格納される（図２のステップ２００）。次に、この撮影画像に対して、二値化部３が所定の閾値を基準にして二値化処理を行う（図２のステップ３００）。
【００１１】
次に、指定領域検索部４が顔の各部品の検出を二値化処理された画像の指定領域内にて行う（図２のステップ４００）。図３に顔の各部品とその検索領域の一例を示す。指定領域検索部４による目、鼻、口、眉等の顔の各部品の検出は、各部品の検索指定領域内において、顔の各部品について各々の輪郭を検出し、その輪郭の上下左右の点を特徴点とし、必要に応じてそれらの特徴点の間に何箇所か特徴点を抽出する。
【００１２】
まず最初に目を検出する。通常、撮影を行うときには、目の合わせ位置を基準にして撮影されているので、撮影時の基準位置に基づいて目があると予想される範囲を目の検索指定領域として領域内に目があるか検索する。そして、検索領域内において物体が検出されたとき、検出判定部５がその物体の輪郭の上下左右端のＸＹ座標と予め用意された所定パラメータとを比較し、検出が正常であったかどうか判定する（図２のステップ５００）。検出された物体が所定パラメータ内にある場合には、検出判定部５は特徴点取得部７に対して目が正常に検出されたことを通知し、特徴点取得部７は検出された目の形を調整してそれを目と認識し、その輪郭の上下左右の点およびそれらの間の点を特徴点として取得する（図２のステップ６００）。一方、検出された物体が所定パラメータより大きい場合、例えば、検出された目の縦の長さが大きいときは、眉と繋がっている可能性があるので、目が検出されなかったと判断される。また、検出した目がパラメータより小さい場合には、ノイズとみなされ目が検出されなかったと判断される。また、検索領域内において物体が検出されなかったときは、検出判定部５により目が検出されなかったと判断される。
【００１３】
このように検出判定部５により目が正常に検出されていないと判断された場合には、検出判定部５は特徴点取得部７に対して目が正常に検出されていないことを通知し、この通知により特徴点取得部７は目に対応する特徴点のサンプルデータをサンプルデータ格納部６より読み出し、このサンプルデータを目の特徴点として取得する（図２のステップ７００）。つまり、目が正常に検出できなかった場合には、所定の位置に目を作ることになる。
【００１４】
次に、鼻の検索を行うが、撮影時の鼻の基準位置と検出された目または作りだされた目の位置から鼻の検索指定領域を設定して検出を行う。鼻の場合も目と同様にして、指定領域検索部４により鼻の検索指定領域内にて鼻の検索が行われ、何らかの物体が検出された場合には、検出判定部５がその物体の輪郭の座標と所定パラメータとを比較する。例えば、検出された鼻のＹ座標の最小値が所定パラメータより小さい場合には、髭も鼻として検出している可能性があるので、鼻の検出が正常に行われなかったと判断される。このように検出された物体が所定パラメータの範囲外にある場合と物体が検索指定領域内にて検出されなかった場合、特徴点取得部７は、鼻に対応するサンプルデータをサンプルデータ格納部６より読み出して、このサンプルデータを特徴点として取得する。一方、検出した物体が所定のパラメータの範囲内にあるときは特徴点取得部７はそれを鼻と認識し、輪郭の上下左右の点およびそれらの点の間の幾つかの点を特徴点として取得する。
【００１５】
引き続き、口と眉の検索を行うが、いずれの場合も最初にそれまでに検出された顔部品、例えば、目と鼻と撮影時の基準位置より各々の検索指定領域を設定する。つまり、各々の顔部品の検索指定領域は、最初に検出される顔部品を除いて撮影画像によって変化することになる。上述した目の特徴点検出方法と同様にして、それぞれの検索指定領域内で物体の検出を行って、それぞれの所定パラメータと比較して、パラメータの範囲内にあれば検出した物体を口および眉として認識し、各々の特徴点を検出する。また、パラメータの範囲外にある場合および指定領域検索部４により物体が検出されなかった場合には、それぞれの顔部品に対応するサンプルデータをサンプルデータ格納部６より読みだして、そのサンプルデータを特徴点として認識する。
【００１６】
従来の特徴点検出方法およびその装置では、撮影画像から顔の各部品が検出できなかった場合には、検出できるまで検出処理を繰り返すか又はエラーとして処理していたが、上述したように本発明の特徴点検出方法およびその装置では、顔部品が検出できなかった場合には、各顔部品に対応して予め用意してあるサンプルデータを特徴点として用いるので、顔部品の検出処理を繰り返す必要がなく、迅速に特徴点検出処理を行うことができる。
【００１７】
本発明は、上述の実施の形態に限定されることはなく、様々に変形することが可能である。例えば、上述の実施の形態では、顔部品の検出が正常に行われなかったと判断された場合には再検出は行われなかったが、検出回数を設定して、複数回の検出後にサンプルデータを特徴点として用いることにしてもよい。また、上述の実施の形態では、検出が正常に行われなかった場合には顔部品の全体の特徴点をサンプルデータで代用したが、顔部品の一部が検出された場合にはその部分を用いて残りの部分の特徴点を作りだしてもよい。例えば、口を検出する場合には、下唇の輪郭が現れない場合が多いので、薄かったら上唇とみなし、それを上下反転させて下にとりつけ下唇とすることができる。
【００１８】
【実施例】
以下に、本発明に係る特徴点検出方法をゲ−ム装置に適用する場合を説明する。本実施例では、カメラによりプレーヤーの顔を撮影し、心理テストを行って、そのテスト結果に基づいてプレーヤーの顔画像に合成処理を施し、プレーヤーの未来像を合成する占い機について説明する。図４は本発明に係る特徴点検出方法を適用する占い機を示す外観図、図５はプレーヤーがゲームに興じる様子を示す図である。図４および図５に示すように、占い機１０は基台１１と反射板支持部１２と背景板１３とポール１４と床部１５等により筐体に形成されている。モニタ（図示せず）が操作ボタン１７の近傍に表示面を上にして取り付けられており、反射板支持部１２に支持されている反射板１６にモニタの画像が反射してプレーヤーに表示される。反射板支持部１２の後ろ側にプレーヤーの顔等を撮影するＣＣＤカメラ１９が設けられており、反射板１６としてハーフミラーが用いられているので、プレーヤーからはこのＣＣＤカメラ１９が見えない構成になっている。
【００１９】
図５に示すように、プレーヤーは占い機１０の筐体内に入り、背景板１３を背にして立ってゲームを行う。プレーヤーがコイン投入口１８にコインを投入してゲームを開始すると、「ワクに顔をあわせてボタンを押して下さい。」というメッセージが反射板１６に表示される。このとき、プレーヤーには顔の枠、目、口のアウトラインが表示されると同時に、ＣＣＤカメラ１９により撮影されているプレーヤーの顔がこのアウトラインにオーバーラップして表示される。プレーヤーはこの画像を見ながら、顔の枠に収まるように自分の顔を上下左右に移動して所定の操作ボタン１７を押す。この時のプレーヤーの顔がＣＣＤカメラ１９により撮像されて、この顔画像が後述するＲＡＭに記憶される。
【００２０】
次に、プレーヤーは反射板１６の表示に従って、名前、生年月日、性別等の個人データや性格テストの回答を操作ボタン１７を用いて入力する。そして、入力が終了した時点で、占い機１０は個人データや性格テストの結果に基づいて、プレーヤーの性格診断を行い、その診断結果に基づいてプレーヤーの未来像をモーフィングする。
【００２１】
次に、このようなゲーム処理を行う占い機の処理部の構成を説明する。図６は制御ボードの構成を示すブロック図である。図６に示すように、制御ボード２０は、占い機１０全体を制御するＣＰＵ（中央演算処理装置）２１と、撮影した画像に合成処理（モーフィング）を施すモーフィング画像生成部２３を有するビデオ回路２２と、撮影した画像に合成するサンプル画像を格納するサンプル画像格納エリア２５と各顔部品の特徴点のサンプルデータを格納するサンプルデータ格納エリア２８とを有するＲＯＭ２４と、カメラ１９により撮影された撮影画像を一時的に格納するＲＡＭ２６とを備えている。この制御ボード２０には、ＣＣＤカメラ１９により撮影されたプレーヤーの顔画像信号が入力され、データバスを介してＲＡＭ２６に記憶される。また、制御ボード２０には、プレーヤーが操作ボタン１７を介して入力した指示信号がＣＰＵ２１にデータバスを介して入力される。
【００２２】
このＣＰＵ２１では次のような処理を行う。ＣＰＵ２１はプレーヤーを撮影する指示信号を出力して、ＣＣＤカメラ１９によりプレーヤーを撮影し、撮影画像をＲＡＭ２６に記憶する。次に、プレーヤーに対して、プレーヤーの個人データ、例えば、名前、生年月日、性別を入力するように指示を出してモニタ２７上にその表示を行い、その後、プレーヤーに対して心理テストを行う。心理テストに対する回答の入力が終了したら、心理テストの回答結果を分析して、分析結果に基づいて、撮影した顔画像に合成するサンプル画像をサンプル画像格納エリア２５より読みだす。
【００２３】
次に、上述の実施の形態中で説明したように、撮影した顔画像より目、鼻、口、眉等の顔の各部品の検出を行うために、それぞれの検索指定領域内を検索して、物体の検出を行う。そして、何らかの物体が検出された場合には、その物体を所定パラメータと比較して、所定パラメータの範囲内にある場合には、その物体を顔部品と認識してその顔部品の輪郭の特徴点の抽出を行う。一方、検出した物体が所定パラメータの範囲外にある場合および検索指定領域内において物体が検出されなかった場合には、ＲＯＭ２４のサンプルデータ格納エリア２８よりその顔部品に対応するサンプルデータを読みだして顔部品の特徴点とする。顔部品の特徴点の取得が終了した後に、ビデオ回路２２のモーフィング画像生成部２３は、取得した顔の各部品の特徴点を対象にして、サンプル画像格納エリア２５より読みだされたサンプル画像を顔画像に合成して、プレーヤーの未来像を作成する。
【００２４】
このように顔部品の検出が正常に行われなかった場合には、予め用意してあるサンプルデータを特徴点として用いるので、ゲーム処理時間を短縮することができる。
【００２５】
【発明の効果】
以上、詳述したように本発明の画像の特徴点検出方法およびその装置によれば、顔部品の特徴点が検出できなかった場合には、予め用意してあるサンプルデータを顔部品の特徴点として用いるので、従来のように検出処理を繰り返したりエラー処理を行う必要がなく、複雑な処理を行うことなく特徴点検出処理時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明に係る画像の特徴点検出装置の構成を示す構成図である。
【図２】本発明に係る画像の特徴点検出装置の処理工程を示すフローチャートである。
【図３】顔の各部品の検索領域を示す図である。
【図４】本発明に係る画像の特徴点検出方法をゲーム装置に適用する実施例を示す外観図である。
【図５】図４のゲーム装置にプレーヤーが入った状態を示す図である。
【図６】図４のゲーム装置の制御部の構成を示すブロック図である。
【符号の説明】
１…撮影部
２…画像記憶部
３…二値化部
４…指定領域検索部
５…検出判定部
６…サンプルデータ格納部
７…特徴点取得部
１０…占い機
１１…基台
１２…反射板支持部
１３…背景板
１４…ポール
１５…床部
１６…反射板
１７…操作ボタン
１８…コイン投入口
１９…ＣＣＤカメラ
２０…制御ボード
２１…ＣＰＵ
２２…ビデオ回路
２３…モーフィング画像生成部
２４…ＲＯＭ
２５…サンプル画像格納エリア
２６…ＲＡＭ
２７…モニタ
２８…サンプルデータ格納エリア
【発明の属する技術分野】
本発明は、人物の顔をカメラにより撮影し、撮影した顔画像より目、鼻等の顔部品の特徴点を検出する特徴点検出方法およびその装置に関する。
【０００２】
【従来の技術】
画像の特徴点検出装置は、カメラにより人物の顔を撮影して、その顔画像より顔部品を検出して、その顔部品の特徴点を検出している。この特徴点検出装置は、人物の性格や未来を占う占い装置や撮影画像の特徴点を対象にして他の画像と合成する装置等に適用されている。
【０００３】
【発明が解決しようとする課題】
撮影画像中の顔部品の特徴点は、各顔部品毎に設定された検索領域内で顔部品が検出されて抽出されるが、顔部品が検出されない場合には、その領域内で顔部品が検出されるまで繰り返し検出が行われていた。従って、例えば、光による影などが原因で眉と目が繋がって目として検出された場合などは、何度検出を繰り返しても目の検出が失敗に終わり、最終的にはエラーということになるので、検出処理時間が長くなる。
【０００４】
そこで、本発明は顔部品の検出が何らかの理由により不可能な場合、複雑な処理を行うことなく短時間でその顔部品の特徴点を指定することができる特徴点検出方法およびその装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の課題を達成するために、本発明の特徴点検出方法は、人物の顔を撮影し、撮影画像より人物の顔部品の特徴点を検出する特徴点検出方法において、人物の顔を撮影し、撮影画像中より顔部品の各々に対して設定された指定領域を検索して顔部品の検出を行い、顔部品が検出された場合には、検出された顔部品を所定のパラメータと比較し、所定のパラメータの範囲内にあれば、顔部品を検出できたものと判断して検出された顔部品より特徴点を取得し、顔部品が検出されなかった場合および検出された顔部品が所定のパラメータの範囲外にある場合には、顔部品を検出できなかったものと判断して、所定の顔部品に対応して予め用意されたサンプルデータを特徴点とする。
【０００６】
また、本発明の特徴点検出装置は、人物の顔を撮影し、撮影画像より人物の顔部品の特徴点を検出する特徴点検出装置において、人物の顔を撮影するカメラと、このカメラにより撮影された撮影画像から人物の顔部品の検出を行う検出部と、この検出部により検出された顔部品を所定のパラメータと比較する判定部と、顔部品の特徴点を取得する特徴点取得部とを備え、検出された顔部品が判定部により所定のパラメータの範囲内にあると判定された場合、特徴点取得部は検出された顔部品より特徴点を取得し、検出された顔部品が判定部により所定のパラメータの範囲外にあると判定された場合および検出部により顔部品が検出されなかった場合には、特徴点取得部は顔部品のそれぞれに対応して予め用意されたサンプルデータを特徴点して取得する。
【０００７】
また、本発明の特徴点検出装置を適用したゲーム装置は、プレーヤーの顔を撮影するカメラと、このカメラにより撮影された顔画像からプレーヤーの顔部品を検出する検出部と、この検出部により検出された顔部品を所定のパラメータと比較する判定部と、顔部品の特徴点を取得する特徴点取得部と、所定のゲーム処理を行うゲーム処理部と、所定のゲーム処理の結果に基づいて、特徴点取得部により取得された特徴点を対象に顔画像に画像合成を行う画像合成処理部とを備え、検出された顔部品が判定部により所定のパラメータの範囲内にあると判定された場合、特徴点取得部は検出された顔部品より特徴点を取得し、検出された顔部品が判定部により所定のパラメータの範囲外にあると判定された場合および検出部により顔部品が検出されなかった場合には、特徴点取得部は顔部品のそれぞれに対応して予め用意されたサンプルデータを特徴点として取得する。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照して詳細に説明する。なお、説明において、同一要素には同一符号を用い、重複する説明は省略する。
【０００９】
図１は本発明に係る特徴点検出装置の実施の形態の構成図である。図１に示すように、特徴点検出装置は、人物の顔を撮影する撮影部１と、撮影画像を記憶する画像記憶部２と、撮影画像を二値化処理する二値化部３と、目や鼻等の顔部品を二値化処理された撮影画像の指定領域内で検索する指定領域検索部４と、検出された顔部品を所定のパラメータと比較する検出判定部５と、顔の各部品の特徴点のサンプルデータを格納しているサンプルデータ格納部６と、顔部品の特徴点を取得する特徴点取得部７とを備えている。
【００１０】
図２にこの特徴点検出装置が行う特徴点検出処理工程を示す。最初に、撮影部１により人物の顔が撮影され（図２のステップ１００）、この顔画像が画像記憶部２に格納される（図２のステップ２００）。次に、この撮影画像に対して、二値化部３が所定の閾値を基準にして二値化処理を行う（図２のステップ３００）。
【００１１】
次に、指定領域検索部４が顔の各部品の検出を二値化処理された画像の指定領域内にて行う（図２のステップ４００）。図３に顔の各部品とその検索領域の一例を示す。指定領域検索部４による目、鼻、口、眉等の顔の各部品の検出は、各部品の検索指定領域内において、顔の各部品について各々の輪郭を検出し、その輪郭の上下左右の点を特徴点とし、必要に応じてそれらの特徴点の間に何箇所か特徴点を抽出する。
【００１２】
まず最初に目を検出する。通常、撮影を行うときには、目の合わせ位置を基準にして撮影されているので、撮影時の基準位置に基づいて目があると予想される範囲を目の検索指定領域として領域内に目があるか検索する。そして、検索領域内において物体が検出されたとき、検出判定部５がその物体の輪郭の上下左右端のＸＹ座標と予め用意された所定パラメータとを比較し、検出が正常であったかどうか判定する（図２のステップ５００）。検出された物体が所定パラメータ内にある場合には、検出判定部５は特徴点取得部７に対して目が正常に検出されたことを通知し、特徴点取得部７は検出された目の形を調整してそれを目と認識し、その輪郭の上下左右の点およびそれらの間の点を特徴点として取得する（図２のステップ６００）。一方、検出された物体が所定パラメータより大きい場合、例えば、検出された目の縦の長さが大きいときは、眉と繋がっている可能性があるので、目が検出されなかったと判断される。また、検出した目がパラメータより小さい場合には、ノイズとみなされ目が検出されなかったと判断される。また、検索領域内において物体が検出されなかったときは、検出判定部５により目が検出されなかったと判断される。
【００１３】
このように検出判定部５により目が正常に検出されていないと判断された場合には、検出判定部５は特徴点取得部７に対して目が正常に検出されていないことを通知し、この通知により特徴点取得部７は目に対応する特徴点のサンプルデータをサンプルデータ格納部６より読み出し、このサンプルデータを目の特徴点として取得する（図２のステップ７００）。つまり、目が正常に検出できなかった場合には、所定の位置に目を作ることになる。
【００１４】
次に、鼻の検索を行うが、撮影時の鼻の基準位置と検出された目または作りだされた目の位置から鼻の検索指定領域を設定して検出を行う。鼻の場合も目と同様にして、指定領域検索部４により鼻の検索指定領域内にて鼻の検索が行われ、何らかの物体が検出された場合には、検出判定部５がその物体の輪郭の座標と所定パラメータとを比較する。例えば、検出された鼻のＹ座標の最小値が所定パラメータより小さい場合には、髭も鼻として検出している可能性があるので、鼻の検出が正常に行われなかったと判断される。このように検出された物体が所定パラメータの範囲外にある場合と物体が検索指定領域内にて検出されなかった場合、特徴点取得部７は、鼻に対応するサンプルデータをサンプルデータ格納部６より読み出して、このサンプルデータを特徴点として取得する。一方、検出した物体が所定のパラメータの範囲内にあるときは特徴点取得部７はそれを鼻と認識し、輪郭の上下左右の点およびそれらの点の間の幾つかの点を特徴点として取得する。
【００１５】
引き続き、口と眉の検索を行うが、いずれの場合も最初にそれまでに検出された顔部品、例えば、目と鼻と撮影時の基準位置より各々の検索指定領域を設定する。つまり、各々の顔部品の検索指定領域は、最初に検出される顔部品を除いて撮影画像によって変化することになる。上述した目の特徴点検出方法と同様にして、それぞれの検索指定領域内で物体の検出を行って、それぞれの所定パラメータと比較して、パラメータの範囲内にあれば検出した物体を口および眉として認識し、各々の特徴点を検出する。また、パラメータの範囲外にある場合および指定領域検索部４により物体が検出されなかった場合には、それぞれの顔部品に対応するサンプルデータをサンプルデータ格納部６より読みだして、そのサンプルデータを特徴点として認識する。
【００１６】
従来の特徴点検出方法およびその装置では、撮影画像から顔の各部品が検出できなかった場合には、検出できるまで検出処理を繰り返すか又はエラーとして処理していたが、上述したように本発明の特徴点検出方法およびその装置では、顔部品が検出できなかった場合には、各顔部品に対応して予め用意してあるサンプルデータを特徴点として用いるので、顔部品の検出処理を繰り返す必要がなく、迅速に特徴点検出処理を行うことができる。
【００１７】
本発明は、上述の実施の形態に限定されることはなく、様々に変形することが可能である。例えば、上述の実施の形態では、顔部品の検出が正常に行われなかったと判断された場合には再検出は行われなかったが、検出回数を設定して、複数回の検出後にサンプルデータを特徴点として用いることにしてもよい。また、上述の実施の形態では、検出が正常に行われなかった場合には顔部品の全体の特徴点をサンプルデータで代用したが、顔部品の一部が検出された場合にはその部分を用いて残りの部分の特徴点を作りだしてもよい。例えば、口を検出する場合には、下唇の輪郭が現れない場合が多いので、薄かったら上唇とみなし、それを上下反転させて下にとりつけ下唇とすることができる。
【００１８】
【実施例】
以下に、本発明に係る特徴点検出方法をゲ−ム装置に適用する場合を説明する。本実施例では、カメラによりプレーヤーの顔を撮影し、心理テストを行って、そのテスト結果に基づいてプレーヤーの顔画像に合成処理を施し、プレーヤーの未来像を合成する占い機について説明する。図４は本発明に係る特徴点検出方法を適用する占い機を示す外観図、図５はプレーヤーがゲームに興じる様子を示す図である。図４および図５に示すように、占い機１０は基台１１と反射板支持部１２と背景板１３とポール１４と床部１５等により筐体に形成されている。モニタ（図示せず）が操作ボタン１７の近傍に表示面を上にして取り付けられており、反射板支持部１２に支持されている反射板１６にモニタの画像が反射してプレーヤーに表示される。反射板支持部１２の後ろ側にプレーヤーの顔等を撮影するＣＣＤカメラ１９が設けられており、反射板１６としてハーフミラーが用いられているので、プレーヤーからはこのＣＣＤカメラ１９が見えない構成になっている。
【００１９】
図５に示すように、プレーヤーは占い機１０の筐体内に入り、背景板１３を背にして立ってゲームを行う。プレーヤーがコイン投入口１８にコインを投入してゲームを開始すると、「ワクに顔をあわせてボタンを押して下さい。」というメッセージが反射板１６に表示される。このとき、プレーヤーには顔の枠、目、口のアウトラインが表示されると同時に、ＣＣＤカメラ１９により撮影されているプレーヤーの顔がこのアウトラインにオーバーラップして表示される。プレーヤーはこの画像を見ながら、顔の枠に収まるように自分の顔を上下左右に移動して所定の操作ボタン１７を押す。この時のプレーヤーの顔がＣＣＤカメラ１９により撮像されて、この顔画像が後述するＲＡＭに記憶される。
【００２０】
次に、プレーヤーは反射板１６の表示に従って、名前、生年月日、性別等の個人データや性格テストの回答を操作ボタン１７を用いて入力する。そして、入力が終了した時点で、占い機１０は個人データや性格テストの結果に基づいて、プレーヤーの性格診断を行い、その診断結果に基づいてプレーヤーの未来像をモーフィングする。
【００２１】
次に、このようなゲーム処理を行う占い機の処理部の構成を説明する。図６は制御ボードの構成を示すブロック図である。図６に示すように、制御ボード２０は、占い機１０全体を制御するＣＰＵ（中央演算処理装置）２１と、撮影した画像に合成処理（モーフィング）を施すモーフィング画像生成部２３を有するビデオ回路２２と、撮影した画像に合成するサンプル画像を格納するサンプル画像格納エリア２５と各顔部品の特徴点のサンプルデータを格納するサンプルデータ格納エリア２８とを有するＲＯＭ２４と、カメラ１９により撮影された撮影画像を一時的に格納するＲＡＭ２６とを備えている。この制御ボード２０には、ＣＣＤカメラ１９により撮影されたプレーヤーの顔画像信号が入力され、データバスを介してＲＡＭ２６に記憶される。また、制御ボード２０には、プレーヤーが操作ボタン１７を介して入力した指示信号がＣＰＵ２１にデータバスを介して入力される。
【００２２】
このＣＰＵ２１では次のような処理を行う。ＣＰＵ２１はプレーヤーを撮影する指示信号を出力して、ＣＣＤカメラ１９によりプレーヤーを撮影し、撮影画像をＲＡＭ２６に記憶する。次に、プレーヤーに対して、プレーヤーの個人データ、例えば、名前、生年月日、性別を入力するように指示を出してモニタ２７上にその表示を行い、その後、プレーヤーに対して心理テストを行う。心理テストに対する回答の入力が終了したら、心理テストの回答結果を分析して、分析結果に基づいて、撮影した顔画像に合成するサンプル画像をサンプル画像格納エリア２５より読みだす。
【００２３】
次に、上述の実施の形態中で説明したように、撮影した顔画像より目、鼻、口、眉等の顔の各部品の検出を行うために、それぞれの検索指定領域内を検索して、物体の検出を行う。そして、何らかの物体が検出された場合には、その物体を所定パラメータと比較して、所定パラメータの範囲内にある場合には、その物体を顔部品と認識してその顔部品の輪郭の特徴点の抽出を行う。一方、検出した物体が所定パラメータの範囲外にある場合および検索指定領域内において物体が検出されなかった場合には、ＲＯＭ２４のサンプルデータ格納エリア２８よりその顔部品に対応するサンプルデータを読みだして顔部品の特徴点とする。顔部品の特徴点の取得が終了した後に、ビデオ回路２２のモーフィング画像生成部２３は、取得した顔の各部品の特徴点を対象にして、サンプル画像格納エリア２５より読みだされたサンプル画像を顔画像に合成して、プレーヤーの未来像を作成する。
【００２４】
このように顔部品の検出が正常に行われなかった場合には、予め用意してあるサンプルデータを特徴点として用いるので、ゲーム処理時間を短縮することができる。
【００２５】
【発明の効果】
以上、詳述したように本発明の画像の特徴点検出方法およびその装置によれば、顔部品の特徴点が検出できなかった場合には、予め用意してあるサンプルデータを顔部品の特徴点として用いるので、従来のように検出処理を繰り返したりエラー処理を行う必要がなく、複雑な処理を行うことなく特徴点検出処理時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明に係る画像の特徴点検出装置の構成を示す構成図である。
【図２】本発明に係る画像の特徴点検出装置の処理工程を示すフローチャートである。
【図３】顔の各部品の検索領域を示す図である。
【図４】本発明に係る画像の特徴点検出方法をゲーム装置に適用する実施例を示す外観図である。
【図５】図４のゲーム装置にプレーヤーが入った状態を示す図である。
【図６】図４のゲーム装置の制御部の構成を示すブロック図である。
【符号の説明】
１…撮影部
２…画像記憶部
３…二値化部
４…指定領域検索部
５…検出判定部
６…サンプルデータ格納部
７…特徴点取得部
１０…占い機
１１…基台
１２…反射板支持部
１３…背景板
１４…ポール
１５…床部
１６…反射板
１７…操作ボタン
１８…コイン投入口
１９…ＣＣＤカメラ
２０…制御ボード
２１…ＣＰＵ
２２…ビデオ回路
２３…モーフィング画像生成部
２４…ＲＯＭ
２５…サンプル画像格納エリア
２６…ＲＡＭ
２７…モニタ
２８…サンプルデータ格納エリア
Claims (3)
- 人物の顔を撮影し、撮影画像より前記人物の顔部品の特徴点を検出する特徴点検出方法において、
前記人物の顔を撮影し、前記撮影画像中より前記顔部品の各々に対して設定された指定領域を検索して前記顔部品の検出を行い、前記顔部品が検出された場合には、検出された顔部品を所定のパラメータと比較し、前記所定のパラメータの範囲内にあれば、前記顔部品を検出できたものと判断して前記検出された顔部品より特徴点を取得し、前記顔部品が検出されなかった場合および前記検出された顔部品が前記所定のパラメータの範囲外にある場合には、前記顔部品を検出できなかったものと判断して、前記所定の顔部品に対応して予め用意されたサンプルデータを特徴点とすることを特徴とする特徴点検出方法。 - 人物の顔を撮影し、撮影画像より前記人物の顔部品の特徴点を検出する特徴点検出装置において、
前記人物の顔を撮影するカメラと、
前記カメラにより撮影された撮影画像から前記人物の顔部品の検出を行う検出部と、
前記検出部により検出された顔部品を所定のパラメータと比較する判定部と、
前記顔部品の特徴点を取得する特徴点取得部とを備え、
前記検出された顔部品が前記判定部により前記所定のパラメータの範囲内にあると判定された場合、前記特徴点取得部は前記検出された顔部品より特徴点を取得し、前記検出された顔部品が前記判定部により前記所定のパラメータの範囲外にあると判定された場合および前記検出部により前記顔部品が検出されなかった場合には、前記特徴点取得部は前記顔部品のそれぞれに対応して予め用意されたサンプルデータを特徴点して取得することを特徴とする特徴点検出装置。 - プレーヤーの顔を撮影するカメラと、
前記カメラにより撮影された顔画像から前記プレーヤーの顔部品を検出する検出部と、
前記検出部により検出された顔部品を所定のパラメータと比較する判定部と、
前記顔部品の特徴点を取得する特徴点取得部と、
所定のゲーム処理を行うゲーム処理部と、
前記所定のゲーム処理の結果に基づいて、前記特徴点取得部により取得された特徴点を対象に前記顔画像に画像合成を行う画像合成処理部とを備え、
前記検出された顔部品が前記判定部により前記所定のパラメータの範囲内にあると判定された場合、前記特徴点取得部は前記検出された顔部品より特徴点を取得し、前記検出された顔部品が前記判定部により前記所定のパラメータの範囲外にあると判定された場合および前記検出部により前記顔部品が検出されなかった場合には、前記特徴点取得部は前記顔部品のそれぞれに対応して予め用意されたサンプルデータを特徴点として取得することを特徴とするゲーム装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00824096A JP3732881B2 (ja) | 1996-01-22 | 1996-01-22 | 画像の特徴点検出方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00824096A JP3732881B2 (ja) | 1996-01-22 | 1996-01-22 | 画像の特徴点検出方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09198509A JPH09198509A (ja) | 1997-07-31 |
| JP3732881B2 true JP3732881B2 (ja) | 2006-01-11 |
Family
ID=11687632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00824096A Expired - Fee Related JP3732881B2 (ja) | 1996-01-22 | 1996-01-22 | 画像の特徴点検出方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3732881B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188407A (ja) * | 2006-01-16 | 2007-07-26 | Toshiba Corp | 画像処理装置及び画像処理プログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11250221A (ja) * | 1998-03-04 | 1999-09-17 | Toshiba Corp | 顔画像撮影方法および顔画像撮影装置 |
| JP3773657B2 (ja) * | 1998-06-18 | 2006-05-10 | 株式会社資生堂 | 眉変形システム |
-
1996
- 1996-01-22 JP JP00824096A patent/JP3732881B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188407A (ja) * | 2006-01-16 | 2007-07-26 | Toshiba Corp | 画像処理装置及び画像処理プログラム |
| JP4533849B2 (ja) * | 2006-01-16 | 2010-09-01 | 株式会社東芝 | 画像処理装置及び画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09198509A (ja) | 1997-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0989517B1 (en) | Determining the position of eyes through detection of flashlight reflection and correcting defects in a captured frame | |
| US8494286B2 (en) | Face detection in mid-shot digital images | |
| US7973828B2 (en) | Red-eye filter method and apparatus | |
| JP3810782B2 (ja) | 個人認識装置 | |
| JP4506801B2 (ja) | 画像認識装置、画像認識方法、画像認識プログラム | |
| JP4308220B2 (ja) | 個人認識装置 | |
| JP2004192378A (ja) | 顔画像処理装置およびその方法 | |
| CN113408403A (zh) | 活体检测方法、装置和计算机可读存储介质 | |
| KR20100075167A (ko) | 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법 | |
| JP2003150942A (ja) | 目位置追跡方法 | |
| KR102364929B1 (ko) | 피부 변화를 추적하는 전자 장치, 서버, 및 시스템 | |
| EP4343689A1 (en) | Body part authentication system and authentication method | |
| JP2009015518A (ja) | 眼画像撮影装置及び認証装置 | |
| JP3732881B2 (ja) | 画像の特徴点検出方法およびその装置 | |
| JP5791361B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
| JP2017188787A (ja) | 撮像装置、画像合成方法、および画像合成プログラム | |
| JPH09190522A (ja) | 画像合成処理方法およびその装置 | |
| JP2020144692A (ja) | 顔照合装置、顔照合システム、顔照合方法、及び情報記録媒体の発行システム | |
| EP4300412A1 (en) | Biometric authentication system, authentication terminal, and authentication method | |
| JP3797839B2 (ja) | 個人識別装置及び個人識別方法 | |
| CN112971712A (zh) | 生物体信息取得装置、终端装置、取得方法、记录介质 | |
| JP2019185349A (ja) | 検索装置、検索方法及びプログラム | |
| WO2022215248A1 (ja) | 当人認証支援、当人認証支援方法及びプログラム | |
| JP3543284B2 (ja) | プレーヤー検出機能付きゲーム装置およびゲーム装置のプレーヤー検出方法 | |
| JP2004199386A (ja) | 顔画像合成装置および顔画像の瞬き検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051014 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |