JP6864333B2 - 顔向き検出システム及び顔向き検出装置 - Google Patents

Description

本発明は、顔向き検出システム及び顔向き検出装置に関する。

従来、電子機器（例えば、テレビの表示画面）に対する人間（テレビ視聴者、等）の位置を検出する技術が有り、例えば、テレビの表示画面の上部に撮像装置を設けて、この撮像装置が撮像する画像を用いて人間の位置を推定する技術が知られている。

この人間の位置を検出する技術では、具体的には、輪郭処理等を用いて画像から人間部分を抽出し、表示画面に対して平行な二次元平面の中から、抽出した人間部分が存在する二次元平面を推定する。抽出した人間部分の大きさにより、表示画面からの距離も推定可能である。

しかしながら、上述した撮像画像中の人間部分の大きさに基づいて表示画面からの距離を測定する場合、個々の人間の大きさによる誤差が大きく、正確な位置座標を取得することができない。また、人間の顔向き角度の特定も難しい。

特許文献１には、人間の位置及び顔向き角度を高い精度で検出するためのシステムが開示されている。特許文献１に開示された人間位置検出システムは、人間の頭部に装着される装着具（３Ｄ視聴用メガネ、等）と、画像を撮像する撮像装置と、装着具の２次元平面（３Ｄ視聴用メガネのリム、等）にマーカパターンとして配置された複数のマーカと、撮像装置が撮像した画像からマーカを抽出してマーカの分布した画像としてのマーカ画像を生成する画像認識処理部と、マーカ画像中のマーカを利用して装着具を装着した人間の位置及び顔向き角度（特許文献１中では、視点方向）を特定する３次元位置計測部と、を備える。

３次元位置計測部は、予め撮像装置が自身の正面で撮像した基準マーカ画像におけるマーカの分布する２次元平面の方向と、撮像装置に対する距離とを変更しつつ、この方向及び距離を変更した２次元平面状のマーカの配置位置と、撮像装置の撮像したマーカ画像におけるマーカの配置位置とを比較し、２次元平面と画像撮像装置との距離と、２次元平面に対して垂直な方向とを求める。これにより、人間の位置及び顔向き角度を高い精度で検出することができる。

特開２０１３−１２０１５０号公報

上述した特許文献１に記載の技術では、人間に装着された装着具に付されたマーカを撮像装置で撮像する必要があるため、装着具とは別体の撮像装置を用意する必要がある。また、装着具を装着した人間を撮像するため、撮像装置はその人間からある程度離間した場所に設置する必要が有る。

このため、撮像装置に正対した状態から人間の顔があまりに大きく傾くと（例えば、撮像装置を正面視した状態から４０度以上傾くと）、撮像装置に撮像される画像中に含まれるマーカ数が不十分になり、顔向き角度の特定ができなくなる可能性が有る。むろん、人間を取り囲むように複数の撮像装置を設置して撮像を行えば、顔の傾きが大きくなっても顔向き角度を特定できるが、撮像装置の必要点数が増加し、撮像装置の必要設置スペースが増大してしまう。

本発明は、前記課題に鑑みてなされたもので、顔向き角度の特定に必要な装置点数の増大を抑制しつつ、特定可能な顔向き角度の範囲を拡張し、更に望ましくは顔向き角度の特定に必要な装置の設置スペースを極力少なくすることを目的とする。

本発明の態様の１つは、人間の頭部に装着され、装着者の顔の略前方を撮像した視野画像を作成する撮像部と、前記人間以外の対象に設定された２以上の標識と、前記視野画像に映り込んだ少なくとも２つの前記標識を用いて前記装着者の顔のロール角を算出し、前記視野画像に映り込んだ前記標識の位置を前記ロール角に応じて補正し、補正後の前記標識の位置を用いて前記装着者の顔のピッチ角及びヨー角を算出する演算部と、を備えることを特徴とする顔向き検出システムである。

このように構成した顔向き検出システムにおいては、人間の頭部に装着された撮像部、人間以外の対象に設定された標識、並びに、顔のロール角、ピッチ角及びヨー角を算出する演算部の概略３つの構成のみで人間の顔向き角度を検出することができる。しかも、撮像部を人間の頭部に装着し、標識の方を人間以外の対象に設定する構成を採用しているため、特許文献１に記載の技術に比べて、１台の撮像部のみで検出できる顔向き角度の範囲を拡大することができる。また、人間以外の対象に設定する標識は、専用の標識を用いた場合であっても小型で形状等の自由度が高く、対象自体の全部又は一部の意匠（形状、色彩、模様又はこれらの結合）を標識として用いた場合は設置スペースを設ける必要もなくなることから、顔向き角度の特定に必要な装置の設置スペースを極力少なくすることができる。

本発明の選択的な態様の１つは、前記撮像部は、少なくとも同じ２つの前記標識が映り込んだ第１視野画像及び第２視野画像を互いに異なるタイミングで作成し、前記演算部は、前記第１視野画像の撮像時における前記人間の顔向き角度を基準とし、前記第２視野画像の撮像時における前記人間の顔のロール角、ピッチ角及びヨー角を算出する、ことを特徴とする顔向き検出システムである。

このように構成した顔向き検出システムにおいては、第１視野画像に映り込んだ標識の位置を基準として、第１視野画像とは別のタイミングで撮像した第２視野画像に映り込んだ標識の位置を対比することにより、人間の顔のロール角、ピッチ角、ヨー角を算出することができるため、大掛かりな装置を必要とせず、１台の撮像部のみを用いた必要最小限の撮像回数により人間の顔向き角度を検出することができる。

本発明の選択的な態様の１つは、前記視野画像に３以上の前記標識が映り込んだ場合に、前記演算部は、前記視野画像において最も離間した２つの前記標識を用いて前記装着者の顔のロール角を算出する、ことを特徴とする顔向き検出システムである。

このように構成した顔向き検出システムにおいては、視野画像に映り込む標識の数が３以上になった場合に、ロール角の算出に用いる標識を、視野画像中で最も離間した２つの標識とすることで、ロール角の算出精度を向上することができる。

本発明の選択的な態様の１つは、前記演算部は、前記第１視野画像と前記第２視野画像の少なくとも一方において画像中心に最も近い前記標識の補正後の前記位置を用いて前記装着者の顔のピッチ角及びヨー角を算出する、ことを特徴とする顔向き検出システムである。

このように構成した顔向き検出システムにおいては、第１視野画像と第２視野画像の双方に映り込んだ標識のピッチ角及びヨー角を算出するにあたり、第１視野画像の画像中心に近い標識及び／又は第２視野画像の画像中心に近い標識を用いることにより、ピッチ角及びヨー角の算出精度を向上することができる。

本発明の他の態様の１つは、人間の頭部に装着され、装着者の顔の略前方を撮像した視野画像を作成する撮像部と、前記人間以外の対象に設定された２以上の標識と、前記視野画像に映り込んだ少なくとも２つの前記標識を用いて前記装着者の顔のロール角を算出し、前記視野画像に映り込んだ前記標識の位置を前記ロール角に応じて補正し、補正後の前記標識の位置を用いて前記装着者の顔のピッチ角及びヨー角を算出する演算部と、を備えることを特徴とする顔向き検出装置である。

本発明の他の態様の１つは、人間の頭部に装着された撮像部から、装着者の顔の略前方を撮像した視野画像を受け取る機能と、前記人間以外の対象に設定された２以上の標識のうち、前記視野画像に映り込んだ少なくとも２つの前記標識を用いて前記装着者の顔のロール角を算出する機能と、前記視野画像に映り込んだ前記標識の位置を前記ロール角に応じて補正する機能と、補正後の前記標識の位置を用いて前記装着者の顔のピッチ角及びヨー角を算出する機能と、をコンピュータに実現させる顔向き検出プログラムである。

以上説明した顔向き検出システムや顔向き検出装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、上述した顔向き検出プログラムは、該プログラムを記録したコンピュータ読み取り可能な記録媒体、等としても実現可能である。

本発明によれば、顔向き角度の特定に必要な装置点数の増大を抑制しつつ、特定可能な顔向き角度の範囲を拡張することができる。また、顔向きの特定に必要な装置の設置スペースを極力少なくすることもできる。

本実施形態に係る顔向き検出装置の外観構成を平面的に示した図である。 本実施形態に係る顔向き検出装置の外観構成を斜視的に示した図である。 本実施形態に係る顔向き検出システムの概略構成を説明する図である。 視点マークを画像データ中に表示するまでの流れを説明する図である。 基準画像を説明する図である。 ワーク画像を説明する図である。 人間Ｍの頭部Ｈを基準にした３次元直交座標系を説明する図である。 ロール角を補正したワーク画像を説明する図である。 基準画像とワーク画像との間での標識の位置変化を説明する図である。

以下、図面を参照しつつ本発明の実施形態の１つを説明する。図１，図２は、本実施形態に係る顔向き検出装置としてのアイカメラ１００の外観構成を示す図、図３は、本実施形態に係る顔向き検出システムＳの概略構成を説明する図である。

顔向き検出システムＳは、アイカメラ１００、標識４０ａ，４０ｂ，４０ｃ、及び、顔向き検出装置としての演算部５０を備える。演算部５０は、アイカメラ１００と通信可能に設けられた外部の情報処理装置（パーソナルコンピュータ等）で構成してもよいし、アイカメラ１００に内蔵されたマイコン等の演算処理部により構成してもよい。アイカメラ１００は、装着具１０、撮像部としてのカメラ２０、及び、眼球視線検出装置３０、を備える。

装着具１０は、人間Ｍの頭部Ｈに装着されるものであり、カメラ２０や眼球視線検出装置３０を人間Ｍの目近傍に配設する支持具として用いられる。図１には、装着具１０の一例として眼鏡型の装着具を示してある。

カメラ２０は、装着具１０を介して人間Ｍの視野内又は視野周辺領域に配設される。ここで言う視野内又は視野周辺領域とは、その位置に配設したカメラ２０の撮像範囲の少なくとも半分が人間Ｍの視野と重複する位置であり、具体的な配設箇所としては、人間Ｍの頭部前面、頭部上面の前半分、頭部側面の前半分、頭部下面（顎部）が例示される。配設されるカメラ２０は一台に限定されず、複数台のカメラを用いることも可能である。この場合、それぞれのカメラにより撮像される画像データをマージすることでより広い撮像範囲を得ることができる。

図１には、人間Ｍの眉間部分に対応する装着具１０のいわゆるブリッジ部分にカメラ２０を固定した状態を示してあり、カメラ２０はその光軸方向が人間Ｍの正面視方向と略一致する方向（略前方）に向けて固定されることが望ましい。

眼球視線検出装置３０は、眼球の向きの検出結果に基づいて、その眼球の視線方向を特定するデバイスであり、例えば、特開平１−２６８５３８号公報や特開平８−２２９００８号公報に記載の眼球運動特定装置、非特許文献（坂下祐輔，藤吉弘亘，平田豊，"画像処理による３次元眼球運動計測"，実験力学，Ｖｏｌ．６，Ｎｏ．３ （２００６年)）に記載の３次元眼球運動計測装置、等を採用可能である。以下では、眼球視線検出装置３０Ｒ，３０Ｌとして、前者の眼球運動特定装置を採用した場合を例に取り説明する。

眼球視線検出装置３０Ｒは、装着具１０を介して人間Ｍの右目の視野内及び／又は視野周辺領域に固定されている。眼球視線検出装置３０Ｒが固定される視野内及び／又は視野周辺領域とは、その位置に配設した眼球視線検出装置３０Ｒから人間Ｍの右眼球ＥＲ（特に、眼球の表面中央に位置する黒目部分）への投光及び右眼球ＥＲからの反射光の受光が可能な位置であり、具体的な配設個所としては、人の頭部前面、頭部上面の前半分、頭部右側面の前半分、頭部下面（顎部）である。

図１には、人間Ｍの右こめかみ部分に対応する装着具１０のいわゆる右よろい部分に眼球視線検出装置３０Ｒを固定した状態を示してあり、その投光部３０Ｒ１，３０Ｒ２及び受光部３０Ｒ３が人間Ｍの右眼球ＥＲに向いた方向で固定されている。

眼球視線検出装置３０Ｌは、装着具１０を介して人間Ｍの左目の視野内及び／又は視野周辺領域に固定されている。眼球視線検出装置３０Ｌが固定される視野内及び／又は視野周辺領域とは、その位置に配設した眼球視線検出装置３０Ｌから人間Ｍの左眼球ＥＬ（特に、眼球の表面中央に位置する黒目部分）への投光及び左眼球ＥＬからの反射光の受光が可能な位置であり、具体的な配設箇所としては、人の頭部前面、頭部上面の前半分、頭部左側面の前半分、頭部下面（顎部）である。

図１には、人間Ｍの左こめかみ部分に対応する装着具１０のいわゆる左よろい部分に眼球視線検出装置３０Ｌを固定した状態を示してあり、その投光部３０Ｌ１，３０Ｌ２及び受光部３０Ｌ３が人間Ｍの左眼球ＥＬに向いた方向で固定されている。

眼球視線検出装置３０は、右眼球視線検出装置３０Ｒ及び／又は左眼球視線検出装置３０Ｌが検出する視線ベクトルを用いて、カメラ２０が出力する視野画像中のどの位置に注視ポイントが存在するかを示す位置情報を出力する。本実施形態では、眼球視線検出装置３０は、カメラ２０が視野画像を撮像した時点の人間Ｍの視線方向を測定し、当該視野画像上の座標値として注視ポイントの位置情報を出力する。

標識（マーカ）４０ａ，４０ｂ，４０ｃは、人間Ｍ以外の対象Ｔであって人間Ｍに装着されない対象Ｔに設定されており、人間Ｍ（や人間Ｍの頭部Ｈ）の動きに連動しない。標識の数は、３つに限らず、２以上であれば任意の数を採用可能である。標識４０ａ，４０ｂ，４０ｃは、専用のマークとして用意されてもよいし、既存の構造物の全部又は一部の形状、色彩、模様又はこれらの結合（以下、「意匠」と記載する。）をマークとして利用してもよい。標識４０ａ，４０ｂ，４０ｃ（及びその他の標識）は、その意匠が互いに異なる。

２以上の標識４０ａ，４０ｂ，４０ｃは、後述する基準画像ＢＰの被写体に含まれるように撮像される基準標識として用いられるが、その他、後述する基準画像ＢＰの被写体に含む必要の無い他の標識（補助標識）を設けてもよい。この補助標識は、基準画像ＢＰの被写体に含まれる２以上の標識４０ａ，４０ｂ，４０ｃとの相対的位置関係が予め判明しているものとし、これらを用いて後述するロール角θｒを算出してもよい。

標識４０ａ，４０ｂ，４０ｃは、具体的には、例えば人間Ｍが自動車の運転席に座ってフロントガラス方向を見ている状態で、当該人間Ｍの視野に入る自動車の部材（ダッシュボード、フロントガラス、ピラー、ボンネット、サイドミラー、等）に設けられる。この場合、標識４０ａ，４０ｂ，４０ｃは、専用のマークを自動車の部材に付して標識としてもよいし、自動車の部材の全部又は一部自体の意匠を標識として利用してもよい。

演算部５０は、カメラ２０が出力する視野画像の画像データＤ１（横Ｐｘピクセル、縦Ｐｙピクセル）を入力の１つとする。また、演算部５０は、右眼球視線検出装置３０Ｒ及び／又は左眼球視線検出装置３０Ｌにより特定された左右眼球の視線方向に応じて画像データＤ１と同期して眼球視線検出装置３０から出力される視点座標データＤ２を入力の１つとする。

視点座標データＤ２は、同期出力される画像データＤ１中の座標（視点座標）として表される。視点座標は、右眼球視線検出装置３０Ｒ及び／又は左眼球視線検出装置３０Ｌが検出した視線方向を示す視線ベクトルに基づいて、公知の様々な手法で生成することが可能である（非特許文献（新井健太郎，杉本晃宏，井宮淳，“人間の視覚特性を考慮した視線検出の安定化”，情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ）２００５（３８（２００５−ＣＶＩＭ−１４９）），１４３−１５０，２００５−０５−１２）に記載の手法、非特許文献（崎田健二，小川原光一，木村浩，池内克史， “視線を利用した人間とロボットの協調作業”，第２１回日本ロボット学会学術講演会，２００３）参照）。

具体的には、例えば、右眼球視線検出装置３０Ｒ及び／又は左眼球視線検出装置３０Ｌから距離Ｌ（不図示）の平面を想定し、眼の基準点（瞳孔中心）から延びる視線ベクトルとこの平面との交点を注視位置としたり、両眼の基準点からそれぞれ延びる視線ベクトルの交点とこの平面との交点を注視位置としたりする。この注視位置の座標を、視線ベクトルが属する眼球角度座標系から、カメラ２０が撮像する画像データＤ１の属する画像座標系へ変換することで、上述した視点座標を求めることができる。

演算部５０は、画像データＤ１中の標識４０ａ〜４０ｃの位置に基づいて顔向き角度を算出し、顔向き角度に応じて視点座標データＤ２を、基準画像ＢＰを基準とする座標系（以下、「基準座標系」と記載する。）へ補正する。すなわち、基準座標系における眼球の注視位置の座標（注視座標）を取得する。この補正後の視点座標データＤ２を用いることにより、基準座標系における眼球の注視座標を表示することができる（例えば、視点マーク等として。）。以下、図５を参照しつつ、視点マークを画像データＤ１中に表示するまでの流れを説明する。

まず、人間Ｍの頭部Ｈの所定の装着箇所に装着具１０が装着された状態とする。

次に、基準画像ＢＰを作成する（Ｓ１）。基準画像ＢＰは、画像データＤ１の中での標識４０ａ〜４０ｃの基準位置を設定するための画像であり、基準座標系を設定するための画像となる。基準画像ＢＰは、図５に示すように、標識４０ａ〜４０ｃを全て撮像範囲内に含むように撮像される。例えば、標識４０ａ〜４０ｃの中で略中央に設けられている標識４０ｂを人間Ｍが正視した状態で視点を略固定（１点に注目）している間に撮像した画像を基準画像ＢＰとして使用する。

次に、基準画像ＢＰにおける標識４０ａ〜４０ｃの位置を特定する（Ｓ２）。標識４０ａ〜４０ｃは、上述したように互いに異なる意匠を有するため、パターン認識技術により、基準画像ＢＰ中における標識４０ａ〜４０ｃの位置を検出することができる。これと同時にあるいは順に、基準画像ＢＰの被写体に含まれる２以上の標識４０ａ，４０ｂ，４０ｃとの相対的位置関係が予め判明している補助標識の位置を検出してもよい。

パターン認識は、例えば、基準画像ＢＰよりも小さいサイズの検出エリアＤＡを基準画像ＢＰに設定し、基準画像ＢＰの中で検出エリアＤＡを走査しつつ、当該検出エリアＤＡ内の画像が所望の検知対象パターン画像と一定以上の相関を示すか否かを判定することにより行う。一定サイズの検出エリアＤＡによる基準画像ＢＰ内の走査は、基準画像ＢＰ全体を網羅するように行われる。

あるサイズの検出エリアＤＡ内の画像でパターン検知できない場合は、エリアサイズを変えた検出エリアＤＡで更に基準画像ＢＰを網羅するように走査させ、所望の検知対象パターンとの相関を判定する。所望の検知対象パターンが検出されると、その検出エリアＤＡの中心（標識の意匠の重心）の位置を、基準画像ＢＰ中の標識４０ａ〜４０ｃの位置、すなわち標識４０ａ〜４０ｃの基準座標系における座標（Ｏａ，Ｏｂ及びＯｃ）とする。以下では、標識４０ａの基準座標Ｏａを（ｘ０ａ，ｙ０ａ）、標識４０ｂの基準座標Ｏｂを（ｘ０ｂ，ｙ０ｂ）、標識４０ｃの基準座標Ｏｃを（ｘ０ｃ，ｙ０ｃ）として説明する。

次に、ワーク画像ＷＰを作成する（Ｓ３）。ワーク画像ＷＰは、図６に示すような、現時点の人間Ｍの視野に相当する画像であり、人間Ｍの顔向き角度を検出するために使用される。ワーク画像ＷＰには、標識４０ａ〜４０ｃのうちの少なくとも２つが含まれるように撮像されることが望ましい。ワーク画像ＷＰに含まれる標識４０ａ〜４０ｃが２つ未満の場合であっても、補助標識が含まれるように撮像されればよい。

次に、ワーク画像ＷＰにおける標識の位置を特定する（Ｓ４）。標識４０ａ〜４０ｃは、上述したように意匠が互いに異なるため、パターン認識技術により、ワーク画像ＷＰ中における標識４０ａ〜４０ｃの位置を検出できる。なお、動画等のようにワーク画像ＷＰを連続的に作成する場合は、ワーク画像ＷＰの全体を検出エリアＤＡの走査範囲とせず、直前に作成したワーク画像ＷＰ（又は基準画像ＢＰ）に対するパターン検知の際に標識４０ａ〜４０ｃを検出した位置を基準にして設定された一定の近傍エリアを検出エリアＤＡの走査範囲としてもよい。これによりワーク画像ＷＰにおける標識４０ａ〜４０ｃの検出時間を短縮できる。以下では、ワーク画像ＷＰ中の標識４０ａ〜４０ｃの位置について、標識４０ａの位置情報を（ｘ１ａ，ｙ１ａ）、標識４０ｂの位置情報を（ｘ１ｂ，ｙ１ｂ）、標識４０ｃの位置情報を（ｘ１ｃ，ｙ１ｃ）として説明する。なお、標識４０ａ〜４０ｃに加えて又は替えて補助標識を用いる場合も同様の手法を適用することができる。

次に、ワーク画像ＷＰ中における標識４０ａ〜４０ｃの位置情報に基づいて、ワーク画像ＷＰ撮像時の人間Ｍの頭部Ｈの顔向き角度を算出する（Ｓ５〜Ｓ７）。図７は、人間Ｍの頭部Ｈを基準にした３次元直交座標系を説明する図である。本実施形態では、人間Ｍが正立した状態で、前後方向に沿う方向に延びる軸をロール軸、人間Ｍの左右方向に沿う方向に延びる軸をピッチ軸、人間Ｍの上下方向に沿う方向に延びる軸をヨー軸とし、以下では、各軸周りの回転角度を、ロール角θｒ、ピッチ角θｐ、ヨー角θｙとする。

顔向き角度の算出においては、まずロール角θｒを算出する（Ｓ５）。ロール角θｒは、ワーク画像ＷＰ中に含まれる２つの標識の位置情報を用いて算出する。下記式（１）には、図６に示す例において明確に撮像されている標識４０ｂ，４０ｃの位置情報を用いてθｒを算出する式を示してある。

なお、ロール角θｒの算出に用いる標識として、ワーク画像ＷＰ中に撮像された標識の中で最も離間度の高いものを採用することにより、算出されるロール角θｒの精度を向上できる。また、ワーク画像ＷＰ中に複数の標識が撮像されている場合は、複数組の標識で算出したロール角を平均した値を用いることでも、算出されるロール角θｒの精度を向上できる。

次に、ヨー角θｙ及びピッチ角θｐを算出する（Ｓ６及びＳ７）。ヨー角θｙ及びピッチ角θｐは、図８に示すようなロール角θｒを用いた座標変換により、ワーク画像ＷＰのロール角θｒが０になるように変換した仮想的なワーク画像ＷＰ’の座標を用いて行う。ワーク画像ＷＰ’の座標は、座標変換前の座標値を（ｘ，ｙ）、座標変換後の座標値を（ｘ’、ｙ’）とすると、下記式（２）により表される。以下では、ワーク画像ＷＰ’の標識４０ａ〜４０ｃの座標値について、ワーク画像ＷＰの各座標値に「’」を付して表す。

ヨー角θｙ及びピッチ角θｐは、基準画像ＢＰ上での標識４０ａ〜４０ｃの座標値と、ワーク画像ＷＰ’上での標識４０ａ〜４０ｃの座標値と、を用いて算出される。ヨー角θｙ及びピッチ角θｐの算出に用いる標識は、基準画像ＢＰ及び／又はワーク画像ＷＰにおいて画像中央に近い位置に検出された標識の位置情報を用いて算出する。図５に示す基準画像ＢＰにおいては標識４０ｂがほぼ画像中央で検出され、図６に示すワーク画像ＷＰにおいては標識４０ｃの方が標識４０ｂよりもやや画像中央に近い位置に検出されている。そこで、以下では、標識４０ｂの位置情報を用いてヨー角θｙ及びピッチ角θｐを下記式（３），（４）を用いて算出する例を説明する。なお、式（３），（４）では、カメラ２０の横方向の解像度をＰｘ、横方向の視野角をＡｘ、縦方向の解像度をＰｙ、縦方向の視野角をＡｙとしてある。

上記式（３），（４）により算出されたヨー角θｙ、ピッチ角θｐを用いて、眼球視線検出装置３０が出力する視線座標を補正し、基準座標系における視線座標を注視座標として特定する（Ｓ８）。更に、このようにして得られた基準座標系の視線座標である注視座標を、任意の方法で出力し、又は表示してもよい（Ｓ９）。眼球視線検出装置３０が出力する視線座標の補正は、カメラ２０の仕様に応じて定まる角度変化量とピクセル数変化量の対応関係に基づいて行うことができる。

以上説明した方法でヨー角及びピッチ角を算出することにより、人間Ｍの顔向き角度の算出精度を向上できる。図９は、基準画像ＢＰとワーク画像ＷＰとの間での標識の位置変化を説明する図である。同図に示すように、ロール角が傾いた状態でピッチ角やヨー角が変化すると、実際には図９（ａ）に示すように顔向き角度が変化する。

ところが、標識４０ａ〜４０ｃの位置や視点座標は、基準画像ＢＰやワーク画像ＷＰでそれぞれ生成されるため、基準画像ＢＰで検出される標識４０ａ〜４０ｃの座標値は図９（ａ），（ｂ）に示すように基準画像ＢＰのｘ軸方向とｙ軸方向に基づいた座標値であり、ワーク画像ＷＰで検出される標識４０ａ〜４０ｃの座標値は図９（ａ），（ｃ）に示すようにワーク画像ＷＰのｘ軸方向とｙ軸方向に基づいた座標値である。

このため、基準画像ＢＰで検出される標識４０ａ〜４０ｃの座標値とワーク画像ＷＰで検出される標識４０ａ〜４０ｃの座標値と、をそのまま用いてヨー角やピッチ角の補正量を算出すると、真の顔向き角度の変化とは異なる補正量が算出されてしまう。

そこで、上述したように、基準画像ＢＰとワーク画像ＷＰとの間でロール角θｒを一致させる座標変換を行い、画像中のｘ軸方向とｙ軸方向が一致するように座標変換した後でヨー角やピッチ角の補正量を算出する。これにより、顔向き角度の算出がより正確になる。

このように、基準画像ＢＰとワーク画像ＷＰとの間でロール軸の傾きが一致するように補正した座標情報を用いて算出されたヨー角θｙ及びピッチ角θｐを顔向き角度とし、当該顔向き角度に応じて視点座標を補正することにより、基準画像ＢＰを基準に設定される基準座標系おける正確な視点（上述した注視座標）を得ることができる。

なお、本発明は上述した実施形態に限られず、上述した実施形態の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施形態の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。また，本発明の技術的範囲は上述した実施形態に限定されず，特許請求の範囲に記載された事項とその均等物まで及ぶものである。

１０…装着具、２０…カメラ、３０…眼球視線検出装置、３０Ｒ…眼球視線検出装置、３０Ｒ…右眼球視線検出装置、３０Ｌ１…投光部、３０Ｌ２…投光部、３０Ｌ３…受光部、３０Ｒ１…投光部、３０Ｒ２…投光部、３０Ｒ３…受光部、４０ａ〜４０ｃ…標識（マーカ）、５０…演算部、１００…アイカメラ、Ｈ…頭部、Ｓ…顔向き検出システム、Ｔ…対象、ＢＰ…基準画像、Ｄ１…画像データ、Ｄ２…視点座標データ、ＤＡ…検出エリア、ＥＬ…左眼球、ＥＲ…右眼球、Ｏａ…基準座標、Ｏｂ…基準座標、Ｏｃ…基準座標、ＷＰ…ワーク画像

Claims (4)

1. 人間の頭部に装着され、装着者の顔の略前方を撮像した視野画像を作成する撮像部と、
   前記人間以外の対象に設定された２以上の標識と、
   前記視野画像に映り込んだ少なくとも２つの前記標識を用いて前記装着者の顔のロール角を算出し、前記視野画像に映り込んだ前記標識の位置を前記ロール角に応じて補正し、補正後の前記標識の位置を用いて前記装着者の顔のピッチ角及びヨー角を算出する演算部と、
   を備え、
   前記撮像部は、少なくとも同じ２つの前記標識が映り込んだ画像として、前記標識の基準位置及び基準座標系を設定するための視野画像である基準画像、並びに前記装着者の視野に相当する視野画像であるワーク画像を互いに異なるタイミングで作成し、
   前記演算部は、前記基準画像の撮像時における前記人間の顔向き角度を基準とし、前記ワーク画像における前記標識の位置を座標（ｘ１，ｙ１）の位置情報として特定し、前記ワーク画像中における前記標識の前記位置情報を用いて前記人間の顔のロール角を算出し、前記位置情報を、算出した前記ロール角が０になるように変換した仮想的ワーク画像の座標（ｘ１’，ｙ１’）に座標変換し、前記基準画像上での前記標識の座標（ｘ０，ｙ０）と、前記仮想的ワーク画像上での座標（ｘ１'，ｙ１'）とを用い、次式（１）、（２）を用いて、前記ワーク画像の撮像時における前記人間の顔のピッチ角及びヨー角を算出する、
   ことを特徴とする顔向き検出システム。
   

   

   

   上記式（１）、（２）において、θｙ：ヨー角、θｐ：ピッチ角、Ｐｘ：前記撮像部の横方向の解像度、Ａｘ：前記撮像部の横方向の視野角、Ｐｙ：前記撮像部の縦方向の解像度、Ａｙ：前記撮像部の縦方向の視野角である。
2. 前記視野画像に３以上の前記標識が映り込んだ場合に、
   前記演算部は、前記視野画像において最も離間した２つの前記標識を用いて前記装着者の顔のロール角を算出する、
   ことを特徴とする請求項１に記載の顔向き検出システム。
3. 前記演算部は、前記基準画像と前記ワーク画像の少なくとも一方において画像中心に最も近い前記標識の補正後の前記位置を用いて前記装着者の顔のピッチ角及びヨー角を算出する、
   ことを特徴とする請求項１又は請求項２に記載の顔向き検出システム。
4. 人間の頭部に装着され、装着者の顔の略前方を撮像した視野画像を作成する撮像部と、
   前記人間以外の対象に設定された２以上の標識と、
   前記視野画像に映り込んだ少なくとも２つの前記標識を用いて前記装着者の顔のロール角を算出し、前記視野画像に映り込んだ前記標識の位置を前記ロール角に応じて補正し、補正後の前記標識の位置を用いて前記装着者の顔のピッチ角及びヨー角を算出する演算部と、
   を備え、
   前記撮像部は、少なくとも同じ２つの前記標識が映り込んだ画像として、前記標識の基準位置及び基準座標系を設定するための視野画像である基準画像、並びに前記装着者の視野に相当する視野画像であるワーク画像を互いに異なるタイミングで作成し、
   前記演算部は、前記基準画像の撮像時における前記人間の顔向き角度を基準とし、前記ワーク画像における前記標識の位置を座標（ｘ１，ｙ１）の位置情報として特定し、前記ワーク画像中における前記標識の前記位置情報を用いて前記人間の顔のロール角を算出し、前記位置情報を、算出した前記ロール角が０になるように変換した仮想的ワーク画像の座標（ｘ１’，ｙ１’）に座標変換し、前記基準画像上での前記標識の座標（ｘ０，ｙ０）と、前記仮想的ワーク画像上での座標（ｘ１'，ｙ１'）とを用い、次式（１）、（２）を用いて、前記ワーク画像の撮像時における前記人間の顔のピッチ角及びヨー角を算出する、
   ことを特徴とする顔向き検出装置。
   

   

   

   上記式（１）、（２）において、θｙ：ヨー角、θｐ：ピッチ角、Ｐｘ：前記撮像部の横方向の解像度、Ａｘ：前記撮像部の横方向の視野角、Ｐｙ：前記撮像部の縦方向の解像度、Ａｙ：前記撮像部の縦方向の視野角である。

Images