JP4633043B2 - 画像処理装置 - Google Patents

Description

本発明は、被撮影者の視線方向にある物体に対する被撮影者の注目度合いを判定する画像処理装置に関する。

従来の人物の注目方向を検出する画像処理装置においては、カメラの撮影によって取得した画像から、対象人物の顔領域を切り出し、その領域から人間の目に当たる部分の目領域を検出し、その目領域から視線の方向を画像処理によって検出していた。

しかし、このような装置においては、視線方向のみの検出を行っており、対象人物がその方向を注目しているかどうかまでは判断していなかった。

そのため、画像処理装置によって得られた情報と、対象人物がその方向を注目しているかどうかの対象人物の意思と、の関係が不明であり、得られた情報の利用方法が制限されてきた。

このような問題に対して、人物の注目の度合いである注目度を判定する手段として、顔方向を一定の離散時間で求め、その時間的な変化パターンや統計量を算出し、あらかじめ取得した標準的な参照データと比較することにより、人物の注目状態を推定する注目方向検出方式が提案されている（例えば特許文献１参照）。

また、注目対象を動かし、その動きに追随して視線が動いた場合に、対象人物が注目していると判定する注目度判定方式も提案されている（例えば特許文献２参照）。

さらに、文書を複数の領域に分け、各領域における領域注目度を設定し、その総和を文書注目度とする注目度判定手法などもある。

この手法では、視線滞在時間が長い場合、または、複数回滞在する場合には、領域注目度は増加し、対象を見ているにもかかわらずその領域を見ていない場合には、領域注目では緩やかに減衰する（例えば非特許文献１参照）。
特開平９−１４７１１９号公報 特開２００４−６２３９３号公報 大野健彦著 インタラクティブシステムとソフトウェア ＷＩＳＳ２０００，ｐｐ.１３７−１４６，２０００

しかしながら、特許文献１記載の前記従来の画像処理装置では、視線方向と顔方向とが一致することはまれであるため、注目方向自体に信頼性が低く、また、視線滞在時間は、注目対象の複雑さや周辺の状況によって大幅に変化するため、汎用性のある閾値を決定することが困難であるという課題を有している。

また、特許文献２及び非特許文献１の前記従来の画像処理装置においても、注目対象の追跡や領域分割を行うためには、あらかじめ注目対象が既知でなくてはならず、一般の注目対象に対しては適用できないという課題を有している。

本発明は、かかる点に鑑みてなされたものであり、注目対象の形状や周辺環境、対象の未知、既知にかかわらず、安定した注目状態判定を行う画像処理装置を提供する。

本発明の態様の一つに係る画像処理装置は、人物画像を含む所定画像から、前記人物画像で表される人物の２つの身体部位における向き情報を検出する向き検出部と、前記２つの向き情報から、２つの向きの変位の比である変位比を算出する変位検出部と、第１の人物画像を含む第１の所定画像から前記向き検出部によって検出された第１の向き情報を用いて前記変位検出部で算出される第１の変位比と、前記第１の人物画像を含む第２の所定画像から前記向き検出部によって検出された第２の向き情報を用いて前記変位検出部で算出される第２の変位比と、に基づき、前記人物の所定物体に対する注目度の判定を行う注目状態判定部と、を備える。

本構成によって、複数の身体部位運動の相関による注目度判定が実現でき、これによって、単独の身体部位のみを用いた手法よりも安定した注目度判定が可能となる。

本発明によれば、注目判定における誤動作が軽減され、安定した注目状態判定を行うことができるという効果を有する。

本発明は、人物画像からその頭部の向きと眼球の向きとを検出し、頭部の向きと眼球の向きとの相関から、安定した注目状態判定を行う画像処理装置等に関するものである。

以下、本発明のそれぞれの実施の形態について、上記対象図面を参照しながら説明する。

（実施の形態１）
本実施の形態における画像処理装置は、人物画像から頭部の向きと眼球の向きとを検出し、頭部の向きと眼球の向きとの変位から、安定した注目状態判定を行う。

本実施の形態の画像処理装置は、カーナビやテレビ、スピーカーなどの情報提示機器や、車載カメラや監視カメラなどの安全状態監視機器、スチールカメラやビデオカメラなどの映像記録機器、ロボットなどの生活補助機器等の、操作者が何に注目しているのかという情報が必要になる機器に対して適用できる。

さらに、操作者が何に注目しているのかという情報を基に、ＴＶゲームや体感ゲームなどの遊戯機器などにも適用できる。

本実施の形態は、本発明の画像処理装置の一例として、車運転時にドライバーが注目した対象に関する情報をリアルタイムに提供し、一瞥した対象に関する情報を蓄積するカーナビゲーションシステムに対して、本発明の画像処理装置を適用したものであり、以下、これについて詳述する。

本実施の形態記載の発明を説明する前に、まず、本実施の形態を含めた本願発明において、用いられる「注目」、「非注目」、「一瞥」について説明する。

「注目」とは、ある物に視線をそそぐこと、よく見ることである。

「非注目」とは、ある物に視線をそそがないことである。

これらに対し、「一瞥」とは、ひと目チラッと見ることであるが、本実施の形態では、「視覚的に、そこにあることは認識したが、認識後、さらに詳細にそれに対して情報を得ようとはしない、又は、思わない行動や状態」ということを意図している。

また、「一瞥」時の眼球の動きの状態としては、「物体の存在を認識できる程度の短い時間、対象物体方向に視線を滞在させ、その後、視線方向を変化させるとき、頭部は視線の動きとほぼ同時または一瞬遅れて視線の移動方向と同じ方向に移動するが、移動が完了しないうちに、または完了後非常に短い時間で別方向移動する状態」にあることを意図している。

図１は、本発明の実施の形態１におけるカーナビゲーションシステムに含まれる本発明の画像処理装置の構成を示すブロック図である。

図１に示す画像処理装置１００は、以下の構成をその内部に有する。

画像入力手段１０１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサによって入力された画像を、後述の向き検出手段１０２に出力する。

向き検出手段１０２は、画像入力手段１０１により出力された画像から人物の画像である人物画像を検出し、この人物画像の頭部の向きと眼球の向きを検出し、頭部と眼球の向き情報として、後述の変位検出手段１０３に出力する。

この向き検出手段１０２は、頭部向き検出手段１０６と、眼球向き検出手段１０７とを備える。頭部向き検出手段１０６は、画像入力手段１０１から入力された画像から頭部領域を検出して、その頭部領域から頭部の向きを検出し、頭部向き情報として出力する。眼球向き検出手段１０７は、頭部向き検出手段１０６で検出された頭部領域から眼球の向きを検出し、眼球向き情報として出力する。

頭部領域の検出は、例えば、前記入力画像からハフ変換によって複数の楕円を検出し、もっとも頭部に近い大きさ、形状、位置の楕円を頭部領域とすることで行われる。

上記頭部向き検出手段１０６による頭部向き検出は、例えば、前記頭部領域内で、あらかじめ用意した目、鼻、口の濃淡テンプレートを用いてテンプレートマッチングを行い、目、鼻、口の位置を検出し、頭部領域内におけるそれらの位置関係から向きを推定して行われる。

なお、頭部向き情報は、胴体正面（以下単に「正面」という）に対する角度として得られる。

上記眼球向き検出手段１０７による眼球向き検出では、例えば、まず、頭部向き検出で検出した目領域において、ＳＵＳＡＮオペレータを用いた角点検出によって目尻、目頭を検出する。

次に、目領域に対してエッジ検出を行い、検出したエッジ点を用いてハフ変換で瞳輪郭に相当する楕円を検出し、検出した楕円の中心を瞳中心として検出する。

最後に、あらかじめ生成した目尻、目頭、瞳中心の位置関係と眼球の向きとを対応づけたデータベースを参照する。このようにして、眼球向きは検出される。

なお、頭部向き情報は、頭部正面に対する角度として得られる。

変位検出手段１０３は、向き検出手段１０２の出力である、頭部向き情報と眼球向き情報とから、頭部と眼球の向きの変位の比を計算し、変位比情報として後述の注目状態判定手段へ出力する。

注目状態データベース１０４は、頭部向き情報と眼球向き情報、または、変位比情報と、それに対応する注目状態を判定する注目判定条件をあらかじめ格納している。

この注目状態データベース１０４に格納されている注目状態の判定に用いる注目判定条件については、後に詳述する。

向き検出手段１０２から出力された向き情報または変位検出手段１０３から出力された変位比情報は、履歴として注目状態判定手段１０５内に保持される。注目状態判定手段１０５は、保持する向き情報および変位比情報から、注目状態データベース１０４に格納されている注目判定条件に基づいて、注目の度合いを判定する。

履歴は、ｔ時からｔ＋ｎ時までの変位比情報であっても良いし、直前の変位比情報（現在の変位比情報がｔ時のものであれば、履歴としては、ｔ−１時のもの）であっても良い。

なお、履歴は、注目状態判定手段１０５外の記憶手段に記憶されていてもよく、履歴を用いるたびごとに、この記憶手段を参照する構成としても良い。

情報取得手段１０８は、注目対象に備わっているＲＦＩＤ（Radio Frequency Identification）タグから、注目対象を特定し、注目対象に関する情報をＲＦＩＤデータベース１０９から取得して、後述の情報保存手段１１０に出力する。

ＲＦＩＤデータベース１０９は、ＲＦＩＤタグの情報とタグが備え付けられた物体の情報とを対応付けて格納している。

本実施の形態では、注目対象にＲＦＩＤを備え、このＲＦＩＤを備えた注目対象の情報をＲＦＩＤデータベース１０９に記憶するようにしたが、このように限定されるものではない。この注目対象を識別するものとして、当業者がこの発明に際し、多数の注目対象を識別するために用いる他の各種技術を用いても良い。

情報保存手段１１０は、情報取得手段１０８が出力した情報を保存する。

情報提示手段１１１は、情報取得手段１０８で取得した情報をユーザーに提示する。

情報提示手段１１１として、例えば、ブラウン管や液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、スピーカーなどが考えられる。

以下、本実施の形態における画像処理装置１００の動作について説明する。

図２は、上記図１に記載の発明の構成を有する画像処理装置１００の動作の流れを示すフローチャートである。

図２において、ステップＳ２０１では、画像入力手段１０１は、撮影作業を開始する。

撮影作業の開始は、人手により行われても良いし、外的な何らかの信号をトリガーに画像処理装置１００により行われても良い。

その後、ステップＳ２０２では、画像入力手段１０１は、一定期間ごとにカメラの撮像面に投影された画像を取得し、この取得した画像を向き検出手段１０２に出力する。

例えば、画像入力手段１０１は、ＣＭＯＳイメージセンサを備えたデジタルカメラが想定され、これにより撮影されるＰＰＭ(Portable Pix Map file format)形式の画像等が、画像入力手段中に存在する画像記憶部（例えばＰＣのメモリ空間）に一時記憶される。

そして、この一時記憶されている画像が、ＰＰＭ形式で向き検出手段１０２に入力される。

図３は、本実施の形態の画像処理装置に入力される入力画像、つまり画像入力手段１０１が入力する画像の例である。画像入力手段１０１が入力する画像３００には、例えば、人物の画像３０１、顔領域３０２、および目領域３０３が含まれる。

図２のステップＳ２０３では、向き検出手段１０２における頭部向き検出手段１０６は、画像入力手段１０１により入力された画像３００のうち、画像３０１を入力画像とし、顔領域３０２の検出処理を行う。

ここで、顔領域検出は、例えば、入力画像から特徴となる画像の抽出を行い、抽出した特徴となる画像と、あらかじめ用意した顔領域を表す特徴画像との比較し、比較した画像について類似度が高いものを検出することで行うことが考えられる。

類似度は、例えば、あらかじめ取得した平均顔のガボール特徴量と、入力画像をスキャンし、抽出したガボール特徴量とを照合し、その差分の絶対値の逆数を用いる。

この場合、顔領域３０２は、あらかじめ用意したテンプレートと比べて、画像３００の中で、最も相関の高い領域を画像中から探索される。

また、顔領域３０２は、画像中から肌色領域検出を行ったり、楕円検出を行ったり、統計的パターン識別手法を用いたりすることで検出してもよい。

その他、この分野の当業者であれば当然に適用しうる検出方法により、上記顔検出を行うことができる技術であれば、上記技術に拘束されることはない。

ステップＳ２０４では、頭部向き検出手段１０６が、顔領域３０２に対して、顔向き検出を行う。

顔向き検出は、例えば、顔領域の口角や目尻、目頭などの特徴点を平面上にあると近似して、画像中のそれらの特徴点の位置関係から推定する。

また、複数の顔向きごとに、対応した画像を用意して学習させ、パターン認識によって入力画像に対してもっとも近い顔向きを推定したり、ステレオ視によって３次元顔形状を取得し、そこから顔向きを検出してもよい。

その他、この分野の当業者であれば当然に適用しうる検出方法により、上記顔検出を行うことができる技術であれば、上記技術に拘束されることはない。

ステップＳ２０５では、頭部向き変位算出手段１１３は、胴体に対する頭部変位を計算し、この計算結果を変位検出手段１０３に出力する。

胴体の方向は、あらかじめ服の胴体部に位置関係が既知の印を３つ以上付着させておき、画像上での各印の位置関係から胴体の向きを計算することで取得する。

また、本実施の形態に記載された画像処理装置１００が運転席の前方に設けられている場合において、車の運転者が椅子に座っているときなどは、運転者の胴体の方向が常に一定であるので、カメラと椅子の位置関係から座っている際の胴体の向きを推定すればよい。また、ステレオ視を行うことで胴体の３次元位置を計測し、胴体の向きを取得したり、あらかじめ取得した服の模様と画像上の模様の歪みから胴体の向きを計算して取得してもよい。

上記頭部変位は、顔向きと胴体の向きのなす角度として得られる。

ステップＳ２０６では、向き検出手段１０２の眼球向き検出手段１０７は、頭部向き検出手段１０６で検出された顔領域３０２から、目領域３０３を検出する。

目領域３０３は、あらかじめ顔画像３０２と、顔画像に対応する目領域の位置との関係を眼球向き検出手段１０７に学習させ、この学習結果に基づいて眼球向き検出手段１０７によって推定される。

その際、眼球向き検出手段１０７は、目領域３０３の位置の推定結果に対応する目尻、目頭、瞳中心の位置の情報も推定する。

また、眼球向き検出手段１０７は、分離度フィルタを用いて、口角、目尻、目頭などの顔部品の端点や鼻の穴、瞳などを検出し、それらの位置関係から目領域を検出したり、顔領域を二値化して、眉、目、口などを検出し、位置関係から目領域を検出したりしても良い。

ステップＳ２０７では、眼球向き変位算出手段１１４は、頭部に対する眼球変位を計算し、この計算結果を変位検出手段１０３に出力する。

ここで、眼球変位検出は、目領域検出の際に得られる目尻、目頭、瞳の中心の位置関係を用いる。

つまり、あらかじめ、目尻、目頭に対する瞳の中心の位置と、その時の眼球の向きを学習した結果を眼球向き検出手段１０７に保持し、ステップＳ２０６で推定した目尻、目頭、瞳の中心の位置に対応する眼球の向きを、学習結果と照合することで検出する。

また、瞳の輪郭形状を楕円検出によって推定し、あらかじめ輪郭形状と眼球の向きとを対応付けさせたデータベースを参照することで検出したり、眼球中心を仮定し、瞳の中心と眼球中心の向き関係から検出してもよい。

眼球変位は、眼球の向きが顔を基準として取得される場合は、眼球の向き、すなわち、頭部正面に対してなす角をそのまま変位として得られ、カメラなど、頭部以外を基準として取得される場合は、検出した頭部向きとの差分を取ることで、頭部を基準とした変位として得ることができる。

図４は、胴体方向と顔方向と視線方向との関係を説明するための図である。ここでは、人物を上方からみた様子を図示している。今、仮に、顔の回転軸と眼球の回転軸とが、図４に示すように、胴体の回転軸に平行である場合、頭部変位３２４は、図４の胴体方向３１１を基準とした顔方向３１２までの変位である。

これは、頭部向き変位算出手段１１３により算出される。

また、眼球変位３２５は、図４の顔方向３１２を基準とした視線方向３１３までの変位のことである。

これは、眼球向き変位算出手段１１４により算出される。

顔方向と胴体方向との変位（頭部変位）３２４は、胴体方向３１１を基準に時計回りの変位が正であり、視線方向と顔方向との変位３２５は、顔方向３１２を基準に時計回りの変位が正であるものとする。

この図４における例では、頭部変位３２４も眼球変位３２５も正となる。

図２のステップＳ２０８では、変位検出手段１０３は、頭部変位３２４及び眼球変位３２５から変位比を取得し、この変位比を変位比情報として注目状態判定手段１０５へ出力する。また、変位検出手段１０３は、変位比情報とともに、頭部変位３２４及び眼球変位３２５を、注目状態判定手段１０５へ出力する。

図５は、ある物体に注目した場合において、その物体に注目している人物の胴体方向に対する顔方向と、この人物の頭部に対する視線方向の、それぞれの時間の経過による変位の変化の一例を示したものである。ここでは、人物が、正面に視線を向けた状態から、人物からみて右方向にある対象に注目し、再び正面に視線を戻した場合の、頭部変位及び眼球変位の変化の様子を例示している。例えば、図２のステップＳ２０５、Ｓ２０７で、図５に示すような頭部変位３２４及び眼球変位３２５が得られたとすると、変位比とは、「眼球変位３２５：頭部変位３２４」に相当するものである。図５に示す例では、変位比は、およそ「０.５」となる。

図２のステップＳ２０９では、注目状態判定手段１０５は、頭部変位３２４と、眼球変位３２５または、変位検出手段１０３が出力する変位比情報から、非注目状態であるか否かを判定する。

ただし、注目判定手段１０５は、判定結果にかかわらず、各情報を履歴として保存するものとする。

上記で説明したように、変位比情報を履歴として保存し、この履歴と新たに変位比として計算される情報とを、上記した注目判定条件と比較することにより、本願で実現できる、「注目」、「非注目」、「一瞥」を判定することができる。

注目状態の判定として、まず、注目状態判定手段１０５は、頭部変位３２４と眼球変位３２５を比較し、頭部変位と眼球変位が同方向または逆方向を向いているか、つまり顔の回転軸と視線の回転軸とが平行であるかを判定する。

図６は、顔の回転軸と視線の回転軸との関係の例を説明するための図である。図６（Ａ）は、顔の回転軸３３１と眼球の回転軸３３２とが平行である場合の例を示し、図６（Ｂ）は、顔の回転軸３３１と眼球の回転軸３３２とが平行でない場合の例を示す。顔の回転軸３３１は頭部の中心を通り、眼球の回転軸３３２は眼球の中心（ここでは右の眼球の中心）を通る。

図６（Ｂ）に示すように、顔の回転軸３３１と眼球の回転軸３３２とが平行でなければ（図２のステップＳ２０９：ＮＯ）、図２のステップＳ２１０へ進み、注目判定手段１０５は、非注目状態と判定する。

ただし、厳密に顔の回転軸３３１と眼球の回転軸３３２とが平行である必要はなく、顔の回転軸３３１に対して、±α度の誤差を許容してもよい。αの値はあらかじめ定められた値である。

一方、図６（Ａ）に示すように、顔の回転軸３３１と眼球の回転軸３３２とが平行であれば（図２のステップＳ２０９：ＹＥＳ）、この段階では非注目状態とは判定されずに図２のステップＳ２１１へ進む。

図７は、顔の回転軸３３１と眼球の回転軸３３２とが平行である場合の一例を、顔の変位平面３４１と眼球の変位平面３４２と併せて示した図である。図７から明らかなように、図２のステップＳ２０９では、胴の回転軸と関係なく、顔の回転軸３３１と眼球の回転軸３３２とが平行であるか否かが判定される。

図２のステップＳ２１１では、注目状態判定手段１０５は、顔の回転軸３３１と眼球の回転軸３３２とが平行であることから、次に、頭部変位３２４と眼球変位３２５から、各変位において同一方向での滞在時間があらかじめ定められた閾値時間であるか否かを判定する。

ここで、「同一方向」とは、顔方向と胴体方向との変位（頭部変位）３２４について胴体方向３１１を基準に時計回りの変位を正、視線方向と顔方向との変位（眼球変位）３２５について顔方向３１２を基準に時計回りの変位を正としたときの、顔方向と胴体方向との変位３２４と、視線方向と顔方向との変位３２５とが同一符号（正と正、負と負）にある状態をいい、以下同様の定義である。

頭部変位３２４と眼球変位３２５から、各変位において同一方向での滞在時間があらかじめ定められた閾値時間に達しない場合には（ステップＳ２１１：ＮＯ）、ステップＳ２１２へ進み、注目判定手段１０５は、非注目と判定する。

ただし、あらかじめ定める閾値は、０．１秒程度から１秒程度の短い時間であるが、周辺環境が暗い場合には長く設定するなど、その範囲に限らず、動的に変化しても良い。

一方、頭部変位３２４と眼球変位３２５から、各変位において同一方向での滞在時間があらかじめ定められた閾値時間に達した場合には（ステップＳ２１１：ＹＥＳ）、ステップＳ２１３へ進む。

ステップＳ２１３では、注目状態判定手段１０５は、滞在時間が閾値時間に達していることから、次に、頭部変位３２４と眼球変位３２５、または、変位比情報を用いて、１．注目、２．一瞥、３．非注目の３状態の判定を注目状態データベース１０４に格納された注目判定条件を参照することで行い、判定結果を情報取得手段１０８に出力する。

注目状態データベース１０４には以下の注目判定条件があらかじめ格納されている。

注目判定条件は、全部で３つあり、この注目判定条件を、過去の変位比情報である履歴と現在処理している変位比情報とが、どのように満たしているかで、注目状態を判断することが出来る。

以下、顔方向とは、図４でいう胴体方向３１１を基準とした顔方向３１２のことであり、視線方向とは、図４でいう顔方向３１２を基準とした視線方向のことである。

図８は、それぞれの注目判定条件に合致する変位比情報の具体例として、顔方向及び視線方向の変位の時間変化パターンを示した図である。下記、注目判定条件照合に際し、注目状態判定手段１０５が過去の変位比情報をどの程度用いるかは、図８（Ａ）〜（Ｄ）までに示す特性によって変わる。

例えば、図８（Ｂ）の特性であるという判定を行うためには、ある程度の過去の変位比情報を必要とする。

注目判定条件１は、変位比が、図８（Ａ）のように、２：１の関係を満たすことである。

ただし、厳密に２：１である必要はなく、２±β：１±γ（β、γは、任意の正の数）であっても良い。

注目判定条件２は、図８（Ｂ）のように、頭部変位３２４の履歴を見た際、変位がある状態から、変位０、すなわち、正面に顔向きが戻ってくる状態であり、かつ、眼球変位３２５の履歴を見た際、頭部変位３２４が０になる前に、減少していき、一度負方向になった後、変位０、すなわち、顔正面に眼球向きが戻ってくる状態となることである。

注目判定条件３は、図８（Ｃ）のように、頭部変位３２４よりも眼球変位３２５が大きく、かつ、頭部変位３２４と眼球変位３２５の同一方向滞在時間があらかじめ定められた時間以下であることである。ただし、頭部変位３２４、眼球変位３２５が共に小さい場合は（例えば１０度未満）、非注目状態と判定する。

以上の注目判定条件の組み合わせにより、「注目」、「非注目」、「一瞥」を判定される。

上記注目判定条件１、注目判定条件２のいずれかを満たした場合の状態を、注目状態とする。

上記注目判定条件３を満たした場合の状態を、一瞥状態とする。

上記注目判定条件１から注目判定条件３までのいずれにも該当しない場合の状態を、図８（Ｄ）のように、非注目状態とする。

なお、注目判定条件１は、正面以外を注目している場合の注目判定条件であり、注目判定条件２は、胴体正面以外を頭部または眼球が向いた状態から、正面を注目した場合の注目判定条件である。

ステップＳ２１３における注目判定は、例えば、上記注目判定条件１を満たすか否かを判定する第１の注目状態判定処理、上記注目判定条件２を満たすか否かを判定する第２の注目状態判定処理、および上記注目判定条件３を満たすか否かを判定する第３の注目状態判定処理を並行して実行することにより、実現可能である。

以下、これらの処理の例を図を用いて説明する。ここで、注目状態判定手段１０５は、頭部変位が値「０」のときに値「０」をとり他の値の時に値「１」をとる頭部変位フラグＦｈと、眼球変位が値「０」のときに値「０」をとり他の値の時に値「１」をとる眼球変位フラグＦｅとを設定するものとする。また、注目状態判定手段１０５は、入力される頭部変位、眼球変位、および変位比情報が示す変位比Ｘ＝眼球変位／頭部変位と、入力情報に基づいて設定される頭部変位フラグＦｈの値および眼球変位フラグＦｅの値とを、少なくとも時間Ｔ_０時間保持し、上記各処理で適宜参照する。

図９は、注目状態判定手段１０５による第１の注目状態判定処理の流れの一例を示すフローチャートである。

ステップＳ４１１では、注目状態判定手段１０５は、頭部変位フラグＦｈ＝０かつ眼球変位フラグＦｅ＝１の状態が、あらかじめ定められた時間Ｔ_１継続したか否かを判別する。上記状態が継続した場合は（Ｓ４１１：ＹＥＳ）、ステップＳ４１２へ進み、上記状態が継続しなかった場合、または上記状態になっていない場合には（Ｓ４１１：ＮＯ）、ステップＳ４１１の状態監視を継続する。

ステップＳ４１２では、注目状態判定手段１０５は、あらかじめ定められた時間Ｔ_２で、頭部変位フラグＦｈ＝１、眼球変位フラグＦｅ＝１、変位比Ｘ＞０、かつ変位比Ｘ＜１の状態に、変位比Ｘ≧０を維持したまま変化したか否かを判別する。上記変化が生じた場合は（Ｓ４１２：ＹＥＳ）、ステップＳ４１３へ進み、上記変化が生じなかった場合、または変位比Ｘ＜０となった場合には（Ｓ４１２：ＮＯ）、ステップＳ４１１に戻る。ただし、変位比Ｘに、上記したように２±β：１±γといった条件を設ける場合には、さらに所定時間内に変位比Ｘが２±β：１±γを満たす値となったか否かを判別条件に加える。

ステップＳ４１３では、注目状態判定手段１０５は、頭部変位と眼球変位とが同じ状態が、あらかじめ定められた時間Ｔ_３継続したか否かを判別する。上記状態が継続した場合は（Ｓ４１３：ＹＥＳ）、ステップＳ４１４へ進み、上記状態が継続しなかった場合には（Ｓ４１３：ＮＯ）、ステップＳ４１１に戻る。

ステップＳ４１４では、注目状態判定手段１０５は、時間Ｔ_１で視線のみが対象物に向き、続く時間Ｔ_２で顔が視線につられて動き、さらに続く時間Ｔ_３で視線と顔が継続して対象物に向いたと判断して、「注目」という注目状態判定結果を出力する。

次いで、ステップＳ４１５では、注目状態判定手段１０５は、注目判定条件１を満たすか否かを判断する処理を終了するか否かを判別し、継続する場合には（Ｓ４１５：ＮＯ）、ステップＳ４１３へ戻り、終了する場合には（Ｓ４１５：ＹＥＳ）、一連の処理を終了する。なお、時間Ｔ_１〜Ｔ_３は、例えば、図８（Ａ）に示す記号Ｔ_１〜Ｔ_３の区間にそれぞれ相当する。

図１０は、注目状態判定手段１０５による注目判定条件２を満たすか否かを判定する処理の流れの一例を示すフローチャートである。

ステップＳ４２１では、注目状態判定手段１０５は、あらかじめ定められた時間Ｔ_４で、変位比Ｘ＞０の状態から変位比Ｘ≒−１の状態に変化したか否かを判別する。上記変化が生じた場合は（Ｓ４２１：ＹＥＳ）、ステップＳ４２２へ進み、上記変化が生じなかった場合、または変位比Ｘ＞０の状態になっていない場合には（Ｓ４２１：ＮＯ）、ステップＳ４２１の状態監視を継続する。

ステップＳ４２２では、注目状態判定手段１０５は、変位比Ｘ≒−１を維持したまま、あらかじめ定められた時間Ｔ_５以上の時間を掛けて、眼球変位フラグＦｅ＝１の状態から眼球変位フラグＦｅ＝０の状態に変化したか否かを判別する。上記変化が時間Ｔ_５以上の時間を掛けて生じた場合は（Ｓ４２２：ＹＥＳ）、ステップＳ４２３へ進み、上記変化が時間Ｔ_５未満の時間で生じた場合、または変位比Ｘ≒−１ではなくなった場合には（Ｓ４２２：ＮＯ）、ステップＳ４２１へ戻る。

ステップＳ４２３では、注目状態判定手段１０５は、頭部変位フラグＦｈ＝０かつ眼球変位フラグＦｅ＝０の状態が、あらかじめ定められた時間Ｔ_６継続したか否かを判別する。上記状態が継続した場合は（Ｓ４２３：ＹＥＳ）、ステップＳ４２４へ進み、上記状態が継続しなかった場合には（Ｓ４２３：ＮＯ）、ステップＳ４２１に戻る。

ステップＳ４２４では、注目状態判定手段１０５は、対象物に向けられていた視線と顔のうち時間Ｔ_４で視線が先に正面に向き、続く時間Ｔ_５で対象物に向けられていた顔が視線につられて視線方向を乱さないようにゆっくりと正面を向き、さらに続く時間Ｔ_６で視線と顔が継続して正面を向いたと判断して、「注目」という注目状態判定結果を出力する。

次いで、ステップＳ４２５では、注目状態判定手段１０５は、注目判定条件２を満たすか否かを判断する処理を終了するか否かを判別し、継続する場合には（Ｓ４２５：ＮＯ）、ステップＳ４２３へ戻り、終了する場合には（Ｓ４２５：ＹＥＳ）、一連の処理を終了する。なお、時間Ｔ_４〜Ｔ_６は、例えば、図８（Ｂ）に示す記号Ｔ_４〜Ｔ_６の区間にそれぞれ相当する。

図１１は、注目状態判定手段１０５による第３の注目状態判定処理の流れの一例を示すフローチャートである。

ステップＳ４３１では、注目状態判定手段１０５は、頭部変位フラグＦｈ＝０かつ眼球変位フラグＦｅ＝１の状態が、あらかじめ定められた時間Ｔ_７継続したか否かを判別する。上記状態が継続した場合は（Ｓ４３１：ＹＥＳ）、ステップＳ４３２へ進み、上記状態が継続しなかった場合、または上記状態になっていない場合には（Ｓ４３１：ＮＯ）、ステップＳ４３１の状態監視を継続する。

ステップＳ４３２では、注目状態判定手段１０５は、あらかじめ定められた時間Ｔ_８で頭部変位フラグＦｈ＝１、眼球変位フラグＦｅ＝１、かつ変位比Ｘ＞１の状態に変化したか否かを判別する。上記変化が生じた場合は（Ｓ４３２：ＹＥＳ）、ステップＳ４３３へ進み、上記変化が生じなかった場合、または上記状態以外の状態に変化した場合には（Ｓ４３２：ＮＯ）、ステップＳ４３１に戻る。

ステップＳ４３３では、注目状態判定手段１０５は、頭部変位フラグＦｈ＝１かつ変位比Ｘ＞１の状態が、あらかじめ定められた時間Ｔ_９継続し、かつ、この時間Ｔ_９における眼球変位の変化量Ｄｅがあらかじめ定めた閾値ｄ以下であるか否かを判別する。上記状態が継続し、かつ変化量Ｄｅが閾値ｄ以下である場合は（Ｓ４３３：ＹＥＳ）、ステップＳ４３４へ進み、上記状態が継続しなかった場合や変化量Ｄｅが閾値ｄを超えた場合、または上記状態にならなかった場合には（Ｓ４３３：ＮＯ）、ステップＳ４３１に戻る。

ステップＳ４３４では、注目状態判定手段１０５は、頭部変位と眼球変位とが同じ状態が、あらかじめ定められた時間Ｔ_１０継続したか否かを判別する。上記状態が継続せずに他の状態に変化した場合には（Ｓ４３４：ＮＯ）、ステップＳ４３５へ進み、上記状態が継続した場合には（Ｓ４３４：ＹＥＳ）、ステップＳ４３１に戻る。

ステップＳ４３５では、注目状態判定手段１０５は、時間Ｔ_７で視線のみが対象物に向き、続く時間Ｔ_８で顔が視線につられて動き、続く時間Ｔ_９で視線と顔が継続して対象物に向いたものの、さらに続く時間Ｔ_１０以上は継続しなかったと判断して、「一瞥」という注目状態判定結果を出力する。

次いで、ステップＳ４３６では、注目状態判定手段１０５は、注目判定条件３を満たすか否かを判断する処理を終了するか否かを判別し、継続する場合には（Ｓ４３６：ＮＯ）、ステップＳ４３１へ戻り、終了する場合には（Ｓ４３６：ＹＥＳ）、一連の処理を終了する。なお、時間Ｔ_７〜Ｔ_１０は、例えば、図８（Ｃ）に示す記号Ｔ_７〜Ｔ_１０の区間にそれぞれ相当する。なお、ステップＳ４３４からステップＳ４３１に戻る際、つまり視線と顔が継続して対象物に向いた状態が時間Ｔ_１０以上継続した場合には、「注目」という注目状態判定結果を出力してもよい。

このように、注目状態判定手段１０５は、第１〜第３の注目状態判定処理を実行することにより、注目判定条件１、２のいずれかが満たされる場合に、「注目」という注目状態判定結果を出力し、注目判定条件３が満たされる場合に、「一瞥」という注目状態判定結果を出力することができる。時間Ｔ_１〜Ｔ_１０は、経験値や、人物を実際に各注目状態にさせたときの各種状態の継続時間の実測値に基づいた値を、あらかじめ注目状態データベース１０４に格納しておけばよい。なお、注目状態判定手段１０５は、第１〜第３の注目状態判定処理を実行しているものの、「注目」および「一瞥」の注目状態判定結果を出力しない場合に、「非注目」の注目状態判定結果を出力すればよい。

なお、例えば、人物が目を瞬いたり手で顔を隠蔽した場合、画像入力手段１０１が入力する画像３００から、顔領域３０２や各顔部品の位置を検出できず、顔と目の変位検出が失敗することがある。このような場合、誤った注目状態判定が成される可能性がある。

そこで、このような場合には、頭部変位３２４と眼球変位３２５との変位比が、前回入力時と今回入力時とで大きく変化することに着目し、例えば以下の対策を行うことで、上記検出ミスの判定への影響を軽減することが可能である。

注目状態判定手段１０５は、変位比情報が入力されるごとに、入力された変位比情報が示す変位比と、前回入力された変位比情報が示す変位比との差の絶対値が、通常の人間の動作速度から定まる上限値以上であるか否かを判別する。変位比との差の絶対値が上限値以上である場合には、今回入力された変位比情報には検出ミスが含まれると判断し、前回入力された変位比を、今回入力された変位比に替えて採用する。

変位比の検出間隔が十分に短い場合、変位比が大きく変化することは少ない。したがって、通常、前回入力された変位比を用いても、本来の変位比を用いた場合と同様の注目状態判定結果を得ることができる。もしくは、過去の変位比の検出結果の履歴から、線形補間または非線形補間により、本来の変位比を推測し、推測結果を用いてもよい。

または、注目状態判定手段１０５は、あらかじめ定められた値以上の変化が変位比にあった場合には、注目状態判定を行わないようにしてもよい。この場合、情報取得手段１０８に「判定不能」を示す情報を情報取得手段１０８に出力し、この情報を入力された情報取得手段１０８は、注目状態判定が不能である旨をユーザーに通知するようにしてもよい。

ただし、たとえば上記上限値の設定が誤っていたなどの理由から、実際には正しい情報であるにもかかわらず、検出ミスと誤判定される場合も有り得る。したがって、このような検出ミスの可能性がある変位比情報を保持しておき、蓄積した複数の変位比情報から検出ミスか否かをさらに解析し、検出ミスではない情報については有効な情報として判定に使用してもよい。なお、上記対策は、頭部変位や眼球変位にも適用できる。

また、頭部変位、眼球変位、変位比などの各検出結果には、微小な誤差が含まれる場合がほとんどである。したがって、注目状態判定手段１０５は、例えば、過去の複数の検出結果の移動平均を算出することにより検出結果を平滑化し、平滑化された検出結果を用いても良い。これにより、検出結果の微小な誤差の影響を受けにくくなるだけでなく、検出ミスの影響を受けにくくなり、注目度判定精度のロバスト性を向上させることができる。また、移動平均ではなく荷重平均を適用してもよく、この場合には最新の検出結果への追従性を向上させることができる。

図２のステップＳ２１４では、情報取得手段１０８は、注目状態判定手段１０５の出力する判定結果が注目状態であれば、顔変位３２４と眼球変位３２５から、視線方向を検出し、その方向にある物体に備わっているＲＦＩＤタグを読み取って、その物体に関する情報をデータベース１０９から取得し、注目した時刻または、ＲＦＩＤタグ情報、または、ＲＦＩＤデータベース１０９から取得した情報を、情報保存手段１１０に保存し、情報提示装置１１１に出力する。

また、注目状態判定手段１０５の出力する判定結果が一瞥状態であれば、注目状態の際の処理と同様にＲＦＩＤデータベース１０９から情報を取得し、これを、情報保存手段１１０に保存する。

このとき保存した情報は、取得時には、提示手段１１１への出力は行わないが、保存後、ユーザーが保存した情報の提示を要求した場合は、情報保存手段１１０から読み取り、提示手段１１１へ出力する。

ただし、ＲＦＩＤデータベース１０９は、注目または一瞥した対象に備わっているＲＦＩＤタグの情報と、それに関する詳細な情報とを対応付けて格納している。

また、情報保存手段１１０は、情報取得手段１０８が出力する提示情報を保存、蓄積する。

ステップＳ２１５では、情報提示手段１１１は、情報取得手段１０８から出力される提示情報を入力とし、ブラウン管や液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、スピーカーなどの表示機器、または音響機器で提示する。

上記情報提示手段１１１により、運転時に注目している対象に関する情報をリアルタイムに提供することで、ドライバーの理解を助け、注意を運転に集中させて安全性を向上させることができる。

例えば、保養施設などの案内看板を運転中に発見したとき、道路状況によっては、駐車が困難であり、運転したままで看板を見なくてはならない場合がある。

そのような場合に本実施の形態の画像処理装置１００を用いると、ドライバーが注目状態であると判定して、注目対象の情報（この場合は看板にかかれている内容）を取得し、その内容を即座に音声で案内することができる。

これによって、ドライバーは案内看板を見続けなくてもその情報を取得することができ、視覚を道路状況の理解に集中させることができる。

ステップ２１６では、本実施例の画像処理装置１００は、その動作を終了する。ただし、処理開始時点にもどってもよい。このようにして、画像処理装置１００では、注目状態判定を行うとともに、その判定結果に応じてドライバーに適切な情報提示を行う。

なお、注目状態判定に、上記変位比に替えて、または上記変位比と併用して、頭部と眼球の向きの変位差を用いるようにしてもよい。この場合、注目状態データベース１０４は、上記変位差の時間変化パターンに対応する注目判定条件を格納し、変位検出手段１０３は、頭部変位３２４と眼球変位３２５との差を取得して変位差情報として注目状態判定手段１０５に出力し、注目状態判定手段１０５は、変位差情報から注目状態判定を行う。

変位差を用いる場合、例えば、眼球変位の絶対値から頭部変位の絶対値を引いた差（以下「変位差」という）が、図８（Ａ）〜（Ｃ）に示す状態と同等な状態を継続したか否かを判別すればよい。ただし、厳密に同等である必要はなく、あらかじめ定めた誤差範囲であれば、注目判定条件１を満たすとしても良い。

具体的には、例えば、注目判定条件１に対応して、図９に示す第１の注目状態判定処理を、ステップＳ４１２の変位比Ｘ＞０かつ変位比Ｘ＜１という条件を変位差＜０という条件に置き換えて実行すればよい。また、注目判定条件２に対応して、図１０に示す第２の注目状態判定処理を、ステップＳ４２１の変位比Ｘ＞０の状態から変位比Ｘ≒−１の状態まで変化するという条件を、眼球変位の符号が変化して変位差が０まで変化するという条件に、ステップＳ４２２の変位比Ｘ≒−１のままという条件を、変位差≒０のままという条件に、それぞれ置き換えて実行すればよい。また、注目判定条件３に対応して、図１１に示す第３の注目状態判定処理を、ステップＳ４３２、Ｓ４３３の変位比Ｘ＞１という条件を、それぞれ変位差＞０という条件に置き換えて実行すればよい。

頭部変位３２４と眼球変位３２５の一方または両方が値「０」の場合、変位比に比べて変位差の方が容易に表現できる。したがって、変位差を用いることにより、注目状態判定処理のアルゴリズムを簡素にでき、画像処理装置１００の開発効率や動作速度を向上させることができる。

以上説明したように、本実施の形態によれば、入力画像から、正面に対する顔方向の変位と、顔正面に対する視線方向の変位から、人物の所定物体に対する注目度の判定を行う。つまり、複数の身体部位運動の相関によって注目度を判定でき、顔方向といった単独の身体部位の情報のみを用いた場合に比べて、誤動作が軽減され安定した注目度判定が可能となる。また、顔方向及び視線方向の変位の時間変化のパターンから注目度判定を行うので、より信頼性の向上した注目度判定を実現できる。

なお、本実施の形態では、注目状態を３状態に分類しているが、これを３以上、３未満、もしくは連続した値をとる注目度としてもよい。例えば、注目状態の条件を満たし、かつ、長時間にわたってその状態を維持する場合を最注目状態と定義し、これを含めた4状態の判定を行う。

ただし、その際には、分類する種類に応じた注目状態データベース１０４を新たに構築する。

また、注目度判定の結果として運転時に注目している対象を得られる場合に、その注目している対象に関する情報をリアルタイムに提供することで、ドライバーの理解を助け、注意を運転に集中させて安全性を向上させることができる。

また、全情報ではなく、注目、または一瞥した物体の情報のみを蓄積しておくことで、再度情報を確認したい場合に、検索性を向上させ、ユーザーの負担を減らすことができる。

例えば、渋滞情報を表示している掲示板を見て通り過ぎた後、表示されていた渋滞距離を忘れてしまい、再度すぐに確認したい場合に、本実施の形態の画像処理装置１００を用いれば、容易に掲示板の情報を検索することができ、短時間の操作で渋滞距離の確認をすることができる。

さらに、注目と一瞥を区別したことで、一瞥しただけですむような、詳細な情報が不必要と判断した対象に関する情報を提供しないため、不必要な情報提供による不快感をユーザーに与えないという効果を有する。

例えば、夜間工事中の看板を見る場合に、昼間しか通らない道で看板を見た場合は、詳細な情報が必要ないため、多くの場合、一瞥しか行わないが、夜間も通る道であれば、詳細な情報が必要なため、多くの場合、注目する。

しかし、注目した場合だけでなく、一瞥しか行っていない場合も、毎回看板の内容を音声で報告されることは、ドライバーにとって不快である。

本実施の形態の画像処理装置１００を用いれば、注目と一瞥の区別ができるため、一瞥の際は、情報の蓄積のみを行い、報告は行わない。

これによって、ドライバーは、不快感を覚えず、結果、安全運転を行うことができる。

さらに、複数の身体部位の動きの変位の相関を調べることによって、注目度判定精度のロバスト性を向上させるという効果を有する。

なお、本実施の形態では、カーナビゲーションシステムを一例として説明したが、その他、テレビ、スピーカーなどの情報提示機器や、車載カメラや監視カメラなどの安全状態監視機器、スチールカメラやビデオカメラなどの映像記録機器、ロボットなどの生活補助機器、ＴＶゲームや体感ゲームなどの遊戯機器などに適用することも考え得る。

本実施の形態を含め、本願発明を上記機器に適用することで、従来の技術のように、脈拍や汗、脳波を計らなくても、注目度を安定して測定できるので、機器の構成がシンプルにでき、製造コスト低減等を低減できるという効果も有する。

その場合、本実施の形態の情報取得手段１０８、ＲＦＩＤデータベース１０９、情報保存手段１１０、情報表示手段１１１は、入力画像を記録するための映像記録手段や、ロボットがユーザーまたはロボットなどの状況を把握するための周辺情報把握手段、ゲームの状態を変化させるための状態更新手段などに置き換えることで、実現できる。

（実施の形態２）
本実施の形態は、実施の形態１の画像処理装置の注目判定データベースを、あらかじめ学習させて構築することで、個人の身体的特徴や癖に適した注目判定を行い、それに基づいて情報提供を行う情報提供装置である。

図１２は、本発明の実施の形態２における情報提供装置に含まれる本発明の画像処理装置の構成を示すブロック図であり、実施の形態１の図１に対応するものである。

画像処理装置５００は、実施の形態１の構成に加え、注目指示手段５１６、対応抽出手段５１７、及び注目状態データベース５０４を備える。注目指示手段５１６は、被験者に対して注目対象と前記注目度合いを指示し、注目度合いを指示情報として対応抽出手段５１７に出力する。対応抽出手段５１７は、変位検出手段１０３の出力と、注目指示手段５１６の出力とを対応付けて注目状態データベース５０４に出力する。注目状態データベース５０４は、対応抽出手段５１７の出力を格納する。

上記注目指示手段５１６と対応抽出手段５１７とを総称して学習手段５１５とする。学習手段５１５は、注目状態判定手段１０５が用いる注目判定条件を学習する。

画像入力手段１０１、向き検出手段１０２、変位検出手段１０３、注目状態判定手段１０５、情報取得手段１０８、ＲＦＩＤデータベース１０９、情報保存手段１１０、情報提示手段１１１に関しては、実施の形態１と同様であるので、説明を省略する。

本実施の形態の注目状態データベース５０４の学習動作の説明を行う。

図１３は、上記図１２に記載の発明の構成を有する画像処理装置５００の動作の流れを示すフローチャートである。

ステップＳ５５１では、注目指示手段５１６は、被験者に対して、物体を示し、物体を、１．注目、２．一瞥、３．非注目（特に物体を見ようとしない視線移動）の３状態で見るよう指示し、指示内容を対応抽出手段５１７に出力する。

指示方法として、注目してみてもらう場合には、被験者に「後で見たものを詳しく説明できるまで見てください」と指示する。一瞥してもらう場合には、被験者に非常に短い時間しか見ないように指示した上で、「あとで見たものの名前を言えるようにしてください」と指示したり、「後で見たものの簡単な絵を描いてもらいます」とあらかじめ言っておく。注目してもらう場合には複雑な形状、模様の物体を見せ、一瞥してもらう場合には、三角形や円のように単純な形状、模様の物体を見せたりしてもよい。

ステップＳ５５２では、対応抽出手段５１７は、注目指示手段５１６の指示内容と、指示されてからの頭部向き変位算出手段１１３の出力と、眼球向き変位算出手段１１４の出力と、変位検出手段１０３の出力とを対応付け、その対応付け情報を注目状態データベース５０４に出力する。つまり、１．注目、２．一瞥、３．非注目のうち指示内容に該当する状態と、検出される頭部変位、眼球変位、及び変位比とを対応付ける。

具体的には、対応抽出手段５１７は、たとえば、図９〜図１１で説明した時間Ｔ_１〜Ｔ_１０に該当する時間と、時間Ｔ_９に該当する時間における眼球変位の変化量と、を計測する。そして、計測された各時間および眼球変位の変化量から、時間Ｔ_１〜Ｔ_９および閾値ｄを決定する。このとき、複数回にわたって計測を行い、計測値の平均と分散から、時間Ｔ_１〜Ｔ_１０および閾値ｄを決定してもよい。また、対応抽出手段５１７は、注目対象の方向、つまり被験者の視線方向に対応付けた上記対応付け情報を生成してもよい。さらに、被験者がある対象に注目しているときの眼球変位の変動や頭部変位の変動を、被験者が対象に注目しているときの特徴の１つとして学習してもよい。

ステップＳ５５３では、注目状態データベース５０４は、対応抽出手段５１７の出力した対応付け情報を格納する。

次に、本実施の形態における注目状態判定時の動作について説明する。本実施の形態の画像処理装置５００は、実施の形態１の図２と同様の動作を行うが、ステップＳ２１３における注目状態判定手段１０５の注目状態判定処理の一部が、実施の形態１とは異なる。

図２のステップＳ２１３において、注目状態データベース５０４は、入力された頭部向き変位算出手段１１３の出力と、眼球向き変位算出手段１１４の出力と、と、変位検出手段１０３の出力のうち、もっとも近いものの状態を、そのときの状態として出力する。ここで、もっとも近いものの状態とは、例えば、注目状態判定の対象として検出された頭部変位、眼球変位、及び変位比と、学習段階で得られた頭部変位、眼球変位、及び変位比との差の絶対値の総和が、最小となる状態である。このとき、頭部変位、眼球変位、及び変位比のそれぞれの差の絶対値に重み付けを行ってもよい。

また、対応抽出手段５１７の出力から、各状態のテンプレートパターンを作成し、動的計画法で、もっとも距離の小さい状態を出力したり、対応抽出手段５１７の出力から、対応状態の確率モデルを生成し、ＨＭＭ（Hidden Markov Model）でもっとも生起確率の高い状態を、出力しても良い。

また、上記したように、図９〜図１１で説明した時間Ｔ_１〜Ｔ_１０および閾値ｄが学習段階で注目状態データベース５０４に格納されている場合には、注目状態判定手段１０５は、注目状態データベース５０４を参照して、図９〜図１１に示す第１〜第３の注目状態判定処理を実行すればよい。また、上記対応付け情報が被験者の視線方向に対応付けられている場合には、注目状態データベース５０４は、頭部変位と眼球変位から判定対象となる人物の視線方向を判別し、対応する対応付け情報を参照すればよい。さらに、被験者がある対象に注目しているときの眼球変位の変動や頭部変位の変動が学習されている場合には、注目状態判定手段１０５は、注目状態データベース５０４を参照して、判定対象となる人物の眼球変位の変動や頭部変位の変動が学習結果に類似するときに「注目」の注目状態判定結果を出力すればよい。

以上、本実施の形態では、個人の身体的特徴や癖に適した注目判定を行い、それに基づいて情報提供を行うことで、ユーザーに最適な情報を提供できるという効果を有する。また、個人ごとの学習を行うため、判定精度が向上するという効果も有する。

（実施の形態３）
本実施の形態は、ドライバーの脇見や見落としによる事故を防止するために、車運転時にドライバーがドアミラーやバックミラー等を注目しているか否かを判定して警告を行う警告システムに、本発明の画像処理装置を適用したものである。

図１４は、本発明の実施の形態３における画像処理装置の構成を示すブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

画像処理装置６００は、実施の形態１の構成に加え、警告判定手段６０８、ミラー位置データベース６０９、外部センサー６１０、及び警告手段６１１を備える。

ミラー位置データベース６０９は、ドアミラーやバックミラーなどドライバーが車外の様子を確認するためのミラー（以下単に「ミラー」という）の、位置及びドライバー位置からみて各ミラーに映る範囲（カバー範囲）に関する情報をあらかじめ格納している。外部センサー６１０は、車外の所定の範囲について、歩行者等の存在と位置を感知し、感知結果を出力する。警告判定手段６０８は、外部センサー６１０の感知結果と、向き検出手段１０２から出力されるドライバーの頭部向き情報および眼球向き情報と、注目状態判定手段１０５から出力される注目状態判定結果と、を入力する。そして、警告判定手段６０８は、入力した情報およびミラー位置データベース６０９に格納された情報から、注目すべきミラーにドライバーが注目しているか否かを判別し、注目していないと判別するとドライバーに対する警告を警告手段６１１に指示する。警告手段６１１は、警告判定手段６０８からの指示に従い、どのミラーに注目すべきかをドライバーに音声で警告する。

外部センサー６１０は、例えば車外に設置された複数の赤外線センサーを有し、車外の前後左右の所定の範囲について、歩行者やバイク、自転車等（以下「歩行者等」という）の存在と位置を感知し、感知結果を出力する。上記所定の範囲は、歩行者等が存在している場合に、事故防止の観点からドライバーが目で存在を確認すべき範囲である。

注目状態判定手段１０５は、実施の形態１と同様に、ドライバーが、１．注目、２．一瞥、３．非注目の３状態のいずれの状態にあるかを示す注目状態判定結果を、逐次、警告判定手段６０８へ出力する。

警告判定手段６０８は、外部センサー６１０で歩行者等の存在が感知されると、まず、ミラー位置データベース６０９を参照し、その歩行者の位置をカバー範囲に含むミラーを特定し、そのミラーの位置を特定する。警告判定手段６０８は、特定したミラー位置をドライバーが注目すべき対象と判定し、運転席からみたミラーの方向を算出する。全てのミラーの方向をミラー位置データベース６０９にあらかじめ格納しておき、警告判定手段６０８は、ミラー位置データベース６０９からミラーの方向を取得してもよい。

そして、警告判定手段６０８は、ドライバーが歩行者等を目で確認したかを、特定したミラー位置をドライバーが注目したかによって判別する。

車の運転中には、ドライバーは主に車の進行方向に注目する必要があるため、ミラーを用いた他方向の確認はごく短い時間で行われる。したがって、注目と一瞥とを、目で確認したことを示す状態として扱う。

警告判定手段６０８は、注目状態判定手段１０５が注目または一瞥と判定した場合に、向き検出手段１０２から得られる頭部向き情報および眼球向き情報から、ドライバーの視線方向を算出する。具体的には、例えば、胴体の位置および向きを固定とし、正面に対する頭部変位角と、顔正面に対する眼球変位角とを加算し、加算結果とドライバーの座席位置から視線方向を求める。

警告判定手段６０８は、注目すべきと判定したミラーの方向と、算出した視線方向とが一致するか否かを判別する。一致しない場合は、ドライバーがミラーで確認を行っていないと判断し、警告手段６１１に対して、特定したミラーを示す情報を出力してドライバーに対する警告を行うよう指示する。

警告手段６１１は、いずれかのミラーを示す情報が入力されると、例えば「左のミラーを確認して下さい」というように、該当するミラーを見ることを促す音声を、カーオーディオ用スピーカなどの車内スピーカから出力する。

このように、本実施の形態によれば、注目すべき対象に、実際に人物が注目しているか否かを判別できる。また、事故防止の観点からドライバーが確認すべきミラーを特定し、そのミラーをドライバーが実際に注目しているか否かを判別でき、注目していない場合には、警告によりドライバーに注意を促すことができる。これにより、ドライバーの脇見や見落としによる事故を防止することができる。さらに、一瞥を目で確認したとみなすので、ドライバーがごく短い時間でミラーを確認したにもかかわらず警告が行われるといった誤報の発生を防ぐことができる。

なお、注目状態判定結果が注目または一瞥か否かにかかわらず、また、外部センサー６１０の感知結果にかかわらず、視線方向の算出を常に行うようにすれば、警告の要否を判定するまでの時間を短縮することができる。

また、外部センサー６１０は、歩行者とバイクと自転車のいずれであるか、歩行者の性別や年代など、感知対象の属性を検出し、属性情報を警告判定手段６０８に出力し、警告判定手段６０８は、属性情報に応じて警告の要否を判定したり、警告の種類を変えるようにしてもよい。

この場合、例えば、歩行者等が携帯するＲＦタグから歩行者等の属性情報を読み取るリーダを用意したり、車外に設置したディジタルカメラの撮影画像を解析して感知対象の属性を判別する装置を用意すればよい。また、属性情報に警告の可否や警告のレベルを対応付けたテーブルをあらかじめ用意しておき、警告判定手段６０８は、このテーブルを参照して警告の可否や警告のレベルを判定すればよい。これにより、例えば感知対象が老人または子供である場合にのみ警告を行うというように、よりきめ細やかにドライバーへの警告を行うことができる。

また、外部センサー６１０は、歩行者等の位置だけでなく、歩行者等の移動方向および移動速度を検出して警告判定手段６０８に出力し、警告判定手段６０８は、歩行者等の移動方向および移動速度に応じて警告の要否を判定してもよい。この場合、例えば、警告判定手段６０８は、歩行者等が所定の距離よりも近い位置から所定の速度以上の速度で近付いてくる場合にのみ、ミラー位置データベース６０９の各ミラーのカバー範囲と照合し、警告を行えばよい。

また、警告手段６１１は、上記した音声出力以外の手法でドライバーへの警告を行うようにしてもよい。例えば、プリクラッシュ制御システムにおける警告音や、シートベルトの巻き上げ、自動ブレーキなどを用いてもよい。

また、交差点など周囲の安全の確認をすべき箇所では、歩行者等の有無にかかわらず、ドライバーが周囲を確認したかを視線方向から判別し、確認していない場合には警告を行いうようにしてもよい。この場合、警告判定手段６０８は、例えば、ミラー位置だけでなく、運転席からみて車の前方や左右に注目すべき方向を設定し、設定した方向の全てに少なくとも１回は視線方向が一致し、かつそれぞれの一致のタイミングにおいてドライバーが注目または一瞥の状態であったか否かを判別すればよい。

また、ミラー位置データベース６０９を配置せずに、警告手段６１１は、外部センサー６１０で検出した歩行者等を運転席から直接にみたときの方向と、ドライバーの視線方向とを比較してもよい。

また、警告判定手段６０８は、同じ方向にドライバーが注目している場合に、その視線方向が車の進行方向または注目すべきと判定されたミラー方向に一致するか否かを判別し、一致していない場合に警告を行うようにしてもよい。このとき、例えば、一瞥を頻繁に繰り返す場合も注目していると判断する。具体的には、警告判定手段６０８は、「一瞥」の注目状態判定結果が入力されるたびにそのときのドライバーの視線方向を記録し、同じ視線方向での一瞥が例えば３秒以内に３回以上というように頻繁に繰り返されたか否かを判別する。そして、同じ視線方向での一瞥が頻繁に繰り返された場合には、その視線方向が注目すべきと判定されたミラー方向に一致するか否かを判別し、一致していなければ運転への集中を促す警告を行う。または、注目状態判定手段１０５で、同じ視線方向での一瞥が頻繁に繰り返されたか否かの判別を行い（注目判定条件５）、該当する場合に「一瞥」ではなく「集中」の注目状態判定結果を出力するようにしてもよい。

同じ方向にドライバーが頻繁に視線を向けており、その方向が車の進行方向や事故防止の観点から注目すべき方向ではない場合には、ドライバーが運転に無関係なものに気をとられている可能性が高い。このように運転への集中を促す警告を行うことにより、交通事故の低減を図ることができる。

さらに、同じ方向に存在する対象物でも、対象物の状態や安全上の重要度に応じて、注目状態判定の条件や警告レベルを変えてもよい。たとえば、信号や標識が感知された場合には「一瞥」すれば警告は行わないが、人の飛び出しの場合には「一瞥」であっても警告を行うようにすればよい。このように状況に応じた警告を使い分けることにより、不要な警告や誤った警告の低減と、必要な警告の確実な実施とを、両立させることができる。

（実施の形態４）
本実施の形態は、ＤＶＤ（Digital Versatile Disc）やハードディスクなどの記録媒体に記録されたビデオ映像を再生する映像再生装置に、本発明の画像処理装置を適用したものである。

図１５は、本発明の実施の形態４における画像処理装置の構成を示すブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

画像処理装置７００は、実施の形態１の構成に加え、再生装置制御手段７０８及び表示位置データベース７０９を備える。画像処理装置７００は、ビデオ映像を再生する映像再生装置に接続され、ビデオ映像の再生を制御する。

画像処理装置７００の画像入力手段１０１は、図示しないテレビジョンの画面（以下単に「画面」という）の近傍に配置され、所定の範囲を画面側から撮像した画像を取得する。つまり、テレビジョンの前にテレビジョンを視聴する人物がいる場合に、その人物を含む画像を入力する。表示位置データベース７０９は、画面の位置に関する情報をあらかじめ格納する。画面の位置は、例えば、画像入力手段１０１による撮像の視点を基準とした座標値で示される。再生装置制御手段７０８は、向き検出手段１０２から出力される人物の頭部向き情報および眼球向き情報と、注目状態判定手段１０５から出力される注目状態判定結果と、を入力する。そして、再生装置制御手段７０８は、入力した情報および表示位置データベース７０９に格納された情報から、再生中のビデオ映像に対して人物が非注目の状態にあるか否かを判別し、非注目の状態にある区間のビデオ映像の再生を巻き戻すように、映像再生装置を制御する。

向き検出手段１０２および注目状態判定手段１０５は、実施の形態１と同様に、それぞれ頭部向き情報および眼球向き情報と、注目状態判定結果と、を逐次出力する。

再生装置制御手段７０８は、人物の視線が画面に向いていない場合や、注目状態判定結果が「非注目」の場合には、再生装置制御手段７０８は、人物が再生映像を見ていないと判断し、見ていない映像の区間を巻き戻して再生する。

具体的には、再生装置制御手段７０８は、まず、頭部向き情報および眼球向き情報から人物の視線方向を算出し、表示位置データベース７０９を参照して、人物の視線方向に画面が位置するか、つまり人物の視線が画面に向いているか否かを判別する。人物の視線が画面に向いていない場合には、再生を一時停止するか、ビデオ映像の再生中の位置を示す情報を非注目開始位置として記憶し再生を続行する。非注目開始位置の記憶は、例えばビデオ映像に付加された映像の絶対時間を示すタイムコードを用いればよい。

再生装置制御手段７０８は、人物の視線が画面に向いている場合には、次に、注目状態判定結果が「非注目」か否かを判別し、非注目である場合には、再生を一時停止するか、ビデオ映像の再生中の位置を示す情報を非注目開始位置として記憶し再生を続行する。このとき、注目状態判定結果が「一瞥」の場合には、人物は一瞬の脇見をしているだけで実質的には映像を見ていると判断する。

さらに、再生装置制御手段７０８は、再生の一時停止または非注目開始位置の記憶を行うと、人物の視線が画面に向き、かつ注目状態判定結果が「注目」または「一瞥」となるのを監視する。そして、再生装置制御手段７０８は、人物の視線が画面に向き、かつ注目状態判定結果が「注目」または「一瞥」となると、人物が再生映像を見ていると判断し、再生を一時停止した場合にはこれを解除し、再生を続行して再生を一時停止した場合には再生を非注目開始位置まで巻き戻す。

このように、本実施の形態によれば、視聴者が映像を見ていないにもかかわらずそのまま映像の再生が続行されたままとなることを防ぐことができ、視聴者は連続した映像を見ることができる。また、注目状態判定結果が「一瞥」の場合には再生の一時停止や巻き戻しを行わないので、一瞬の脇見などでは通常通り映像の再生が行われ、視聴者は効率的に映像を視聴することができる。

なお、１度の一瞥で即座に再生の再開や巻き戻しを行うのではなく、３秒以内に３回以上というように一瞥が頻繁に繰り返された場合に、再生の再開や巻き戻しを行うようにしてもよい。これにより、視聴者が実際には映像を見る状態になっていないにもかかわらず映像が再生されてしまうのを防ぐことができる。適用するビデオ映像としては、学習ビデオ、映画、及びドラマを含む一般の映像プログラムなどが考えられる。抜けの無い視聴が望ましい学習ビデオに適用した場合には特に効果的である。

（実施の形態５）
本実施の形態は、監視カメラを用いて覗きなどの不審行為を行う不審者を検出する不審者監視システムに、本発明の画像処理装置を適用したものである。

図１６は、本発明の実施の形態５における画像処理装置の構成を示すブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

画像処理装置８００は、実施の形態１の構成に加えて、録画手段８０８を備える。画像処理装置８００は、住居の内部を覗く人物の有無を入力画像から判別し、人物が映っている画像を記録する。

画像処理装置８００の画像入力手段１０１は、監視の対象となる住居の外部の、例えば窓の近傍に配置され、所定の範囲を窓側から撮像した画像を取得する。つまり、窓の外部に窓を覗く人物がいる場合に、その人物を含む画像を入力する。画像入力手段１０１および注目状態判定手段１０５は、実施の形態１と同様に、それぞれ撮像した画像と、撮像した画像に含まれる人物の注目状態判定結果と、を逐次出力する。

録画手段８０８は、画像入力手段１０１から出力される画像と、注目状態判定手段１０５から出力される注目状態判定結果と、を入力する。そして、注目状態判定結果が「注目」の場合には、不審者が住居内を覗き見している可能性が高いと判断して、画像を記録する。このように、画像の記録を不審者が住居内を覗き見している可能性が高い場合に限定できるので、不審者の有無のチェックの対象となる画像を最小限に抑えることができ、不審者や不審行為を効率的に発見することができる。また、人物の視線がどこに向いているかの判別を行わないので、処理を簡素化でき、装置の小型化や低コスト化を図ることができる。

なお、録画手段８０８に替えて、注目状態判定結果が「注目」の場合に警報を鳴らす警報手段を備えてもよい。また、住居ではなく、宝石店の入口や、銀行のＡＴＭなど、ある方向を注目している人物が不審者である可能性が高いような場所に適用してもよい。

（実施の形態６）
本実施の形態は、複数の広告を配置した新聞の紙面やインターネット上のウェブページに対する被検者の注目状態から広告の評価を行う広告評価システムに、本発明の画像処理装置を適用したものである。

図１７は、本発明の実施の形態６における画像処理装置の構成を示すブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

画像処理装置９００は、実施の形態１の構成に加えて、評価手段９０８及び広告位置データベース９０９を備える。画像処理装置９００は、複数の広告を配置したページを被検者に見せ、被検者である人物がページのどこに注目したかを入力画像から判別し、各広告の効果を評価する。ここでは、ディスプレイに表示されるウェブページに配置された各広告を評価する場合を説明する。

画像処理装置９００の画像入力手段１０１は、ディスプレイの近傍に配置され、被検者が位置する範囲をディスプレイ側から撮像した画像を取得する。本発明では、頭部の向きの変位と眼球の向きの変位との関係から注目状態判定を行うため、ディスプレイの大きさは、被検者が各広告に注目したときに頭部の向きの変位が検出される程度の大きさ以上であることが望ましい。向き検出手段１０２および注目状態判定手段１０５は、実施の形態１と同様に、それぞれ頭部向き情報および眼球向き情報と、注目状態判定結果と、を逐次出力する。

広告位置データベース９０９は、評価の対象となる広告が配置された各ウェブページについて、それぞれのウェブページがディスプレイに表示されているときの各広告の表示位置をあらかじめ格納している。

評価手段９０８は、向き検出手段１０２から出力される頭部向き情報および眼球向き情報と、注目状態判定手段１０５から出力される注目状態判定結果と、を入力する。評価手段９０８は、評価の対象となる広告が配置されたウェブページの表示が開始されると、頭部向き情報および眼球向き情報から人物の視線方向を算出し、広告位置データベース９０９を参照して、人物の視線方向にどの広告が位置するか、つまり人物がどの広告に視線を向けているかを判別する。

評価手段９０８は、いずれかの広告に人物が視線を向けていると判別すると、注目状態判定結果から、広告の効果を評価する。具体的には、注目判定結果が「注目」の場合には、該当する広告を、見た目がある程度目立つとともに内容も注目を引くものであり、広告としての効果が高いと評価する。また、注目判定結果が「非注目」の場合には、該当する広告を、見た目が目立たず、広告としての効果が低いと評価する。注目判定結果が「一瞥」の場合には、該当する広告を、見た目は目立つものの内容はあまり注目されないものであり、広告としての効果がやや低いと評価する。そして、最終的に一度も視線を向けられなかった広告については、見た目が極端に目立たず、広告としての効果がかなり低いと評価する。

このように、本実施の形態によれば、被検者の注目状態から広告の評価を行うことができる。また、被検者によって注目されたか、一瞥されたか、非注目であったか、視線を向けられなかったか、に応じて評価することができるので、きめ細やかな分析を行うことができる。

なお、いずれかの広告に人物が視線を向けていると判別するたびに、その広告に注目状態判定結果を対応付けた情報を記憶し、蓄積された情報から広告の評価を行うようにしてもよい。この場合、注目した回数や合計時間、視線移動の履歴情報などを、評価に用いることができる。また、案内板や展示パネルなど、複数の情報や物体を一度に提示するものに対する評価に適用してもよい。

（実施の形態７）
本実施の形態は、人物が注目する対象をその人物が携帯するウェアラブルカメラで自動撮影する自動撮影システムに、本発明の画像処理装置を適用したものである。以下、展示会場において、参加者が携帯するウェアラブルカメラで自動撮影を行う場合を例として説明する。

図１８は、本発明の実施の形態７における画像処理装置の構成を示すブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

画像処理装置１０００は、実施の形態１の構成に加えて、保存判定手段１００８、保存手段１０１１、及びウェアラブルカメラ１０１８を備える。画像処理装置１０００は、展示会場に配置した遠隔カメラの撮影画像から、ウェアラブルカメラ１０１８を携帯する人物がなんらかの物体や情報に注目したときにこれを検出し、ウェアラブルカメラ１０１８を遠隔操作してその注目対象を撮影する。

画像処理装置１０００の画像入力手段１０１は、展示会場にいるそれぞれの人物の顔を撮影できる位置と数で展示会場の上方に配置された遠隔カメラの撮影画像を、無線通信により受信する。画像入力手段１０１は、ウェアラブルカメラ１０１８を携帯する人物が含まれる画像のみを受信するようにしてもよい。この画像の分別は、例えば、ＲＦＩＤタグ備えたウェアラブルカメラ１０１８を用い、各遠隔カメラが自己の撮影範囲内に存在するＲＦＩＤタグから取得したＩＤを送信画像に付加することにより、実現できる。向き検出手段１０２および注目状態判定手段１０５は、実施の形態１と同様に、それぞれ頭部向き情報および眼球向き情報と、注目状態判定結果と、を逐次出力する。

保存判定手段１００８は、向き検出手段１０２から出力される頭部向き情報および眼球向き情報と、注目状態判定手段１０５から出力される注目状態判定結果と、を入力する。保存判定手段１００８は、「注目」の注目状態判定結果か、何度も「一瞥」の注目状態判定結果が入力されると、人物の視線方向にある情報または物体を撮影すべきであると判断し、保存手段１０１１に撮影を指示する。具体的には、頭部向き情報および眼球向き情報から人物の視線方向を算出するとともに、撮影される画像の保存場所を判定し、視線方向および保存場所を示す情報を保存手段１０１１に出力する。保存場所は、例えば、注目度（注目状態）や、撮影のエリア、撮影日時等に応じて設定すればよい。保存手段１０１１は、保存判定手段１００８の指示に従い、視線方向を撮影方向としてウェアラブルカメラ１０１８を用いて撮影を行い、指示された保存場所に撮影画像を格納する。

このように、本実施の形態によれば、人物が注目したもののみを、人物の視点に近い視点を有するウェアラブルカメラ１０１８で自動撮影できる。また、撮影画像の属性に応じて保存場所を設定できるので、保存された画像の中から所望の画像を容易に検索でき、日記や旅行記の作成などが簡単になり、撮影画像の利用価値を高めることができる。

なお、ウェアラブルカメラ１０１８の撮影画像を保存する際に、注目度（注目状態）などの各種メタデータを付与してもよい。この場合、メタデータを用いた画像検索が可能になるので、必ずしも保存場所を設定する必要はない。また、画像処理装置１０００は、必ずしもウェアラブルカメラ１０１８と一体である必要はなく、たとえば画像入力手段１０１から保存判定手段１００８までの各部を、遠隔カメラや展示会場側のコンピュータ等に配置してもよい。この場合、複数の人物で画像処理装置１０００の大部分を共用でき、システム全体のコストダウンを図ることができる。

なお、本願明細書にかかる実施の形態１〜実施の形態７では、画像処理装置の発明について説明してきたが、この画像処理装置が行う処理を方法的に表した、上記画像処理装置が奏する効果と同様の効果が得られる処理方法の発明も考え得る。

また、上記画像処理装置が行う処理を記述したプログラムにより、上記画像処理装置の構成要素が有機的に作用して、本願画像処理装置が奏する効果と同様の効果が得られる。

このようなプログラムの発明についても考え得る。

本発明にかかる画像処理装置は、パーソナルコンピュータ、ＯＡ機器、携帯電話などの情報端末や、自動車、飛行機、船、電車などの移動手段に搭載される情報提供装置として有用である。また、監視装置や、ロボット、映像音響再生装置などの用途にも応用できる。

本発明の実施の形態１における画像処理装置の構成を表すブロック図 本発明の実施の形態１における画像処理装置の処理の流れを表すフローチャート 本発明の実施の形態１における入力画像例を説明する図 本発明の実施の形態１における、胴体方向と顔方向と視線方向との説明図 本発明の実施の形態１における変位比の例を説明する図 本発明の実施の形態１における、顔の回転軸と視線の回転軸との説明図 本発明の実施の形態１における、顔の回転軸と視線の回転軸との関係の例を示す説明図 本発明の実施の形態１における各注目判定条件に合致する顔方向及び視線方向の変位の時間変化パターンの例を示した説明図 本発明の実施の形態１における注目状態判定手段による第１の注目状態判定処理の流れの一例を示すフローチャート 本発明の実施の形態１における注目状態判定手段による第２の注目状態判定処理の流れの一例を示すフローチャート 本発明の実施の形態１における注目状態判定手段による第３の注目状態判定処理の流れの一例を示すフローチャート 本発明の実施の形態２における画像処理装置の構成を表すブロック図 本発明の実施の形態２における画像処理装置の学習処理の流れを表すフローチャート 本発明の実施の形態３における画像処理装置の構成を示すブロック図 本発明の実施の形態４における画像処理装置の構成を示すブロック図 本発明の実施の形態５における画像処理装置の構成を示すブロック図 本発明の実施の形態６における画像処理装置の構成を示すブロック図 本発明の実施の形態７における画像処理装置の構成を示すブロック図

符号の説明

１００、５００、６００、７００、８００、９００、１０００ 画像処理装置
１０１ 画像入力手段
１０２ 向き検出手段
１０３ 変位検出手段
１０４、５０４ 注目状態データベース
１０５ 注目状態判定手段
１０６ 頭部向き検出手段
１０７ 眼球向き検出手段
１０８ 情報取得手段
１０９ ＲＦＩＤデータベース
１１０ 情報保存手段
１１１ 情報提示手段
１１２ 変位算出手段
１１３ 頭部向き変位算出手段
１１４ 眼球向き変位算出手段
５１５ 学習手段
５１６ 注目指示手段
５１７ 対応抽出手段
６０８ 警告判定手段
６０９ ミラー位置データベース
６１０ 外部センサー
６１１ 警告手段
７０８ 再生装置制御手段
７０９ 表示位置データベース
８０８ 録画装置
９０８ 評価手段
９０９ 広告位置データベース
１００８ 保存判定手段
１０１１ 保存手段
１０１８ ウェアラブルカメラ

Claims (7)

1. 人物画像を含む所定画像から、前記人物画像で表される人物の頭部の向きを検出する頭部向き検出手段と、
   前記所定画像から、前記人物画像で表される人物の眼球の向きを検出する眼球向き検出手段と、
   前記頭部の向きの変位と前記眼球の向きの変位との比である変位比を算出する変位検出手段と、
   第１の人物画像を含む第１の所定画像から算出される前記変位比と、前記第１の人物画像を含む第２の所定画像から算出される前記変位比と、に基づき、前記人物の所定物体に対する注目度の判定を行う注目状態判定手段と、
   を備える、画像処理装置。
2. さらに、前記人物の所定物体に対する注目度を規定する注目判定条件を記憶する、注目状態データベースを備え、
   前記注目状態判定手段は、前記変位比に基づく情報を、前記注目判定条件と照合することで、前記人物の所定物体に対する注目度の判定を行う、
   請求項１記載の画像処理装置。
3. さらに、前記人物画像で表される人物の胴体の向きに対する、前記人物画像で表される人物の頭部の向きの変位を、前記頭部の向きの変位とする頭部向き変位算出手段を備える、
   請求項１記載の画像処理装置。
4. さらに、前記人物画像で表される人物の頭部の向きに対する、前記人物画像で表される人物の眼球の向きの変位を、前記眼球の向きの変位とする頭部向き変位算出手段を備える、
   請求項１記載の画像処理装置。
5. さらに、前記所定画像を撮影する画像入力手段を設け、
   前記第１の所定画像と前記第２の所定画像とは、前記画像入力手段により撮影された撮影時が異なる画像である、
   請求項１記載の画像処理装置。
6. 前記注目状態データベースが有する注目判定条件を更新する学習手段を有する、
   請求項２記載の画像処理装置。
7. 人物画像を含む所定画像から、前記人物画像で表される人物の頭部の向きを検出するステップと、
   前記所定画像から、前記人物画像で表される人物の眼球の向きを検出するステップと、
   前記頭部の向きの変位と前記眼球の向きの変位との比である変位比を算出するステップと、
   第１の人物画像を含む第１の所定画像から算出される前記変位比と、前記第１の人物画像を含む第２の所定画像から算出される前記変位比と、に基づき、前記人物の所定物体に対する注目度の判定を行うステップと、
   を有する、画像処理方法。

Images