JP6287527B2 - 情報処理装置、方法及びプログラム - Google Patents

Description

本発明は、ユーザの顔の像を含む画像の処理技術に関する。

ユーザは、鏡を使って、自分の状態（例えば皮膚色、シミ、しわ等）の変化を観察することをよく行っている。しかしながら、正面から観察していてはよく見えない部分もあり、上を向いたり横を向いたりして鏡に姿を写すが、それでもよく分からない場合もある。

また、ユーザが、鏡を使って、顔のどの部分を観察しているのかを自動的に検出しようとすると、例えば鏡の上部又は下部に視線センサを設置して当該視線センサを用いることが考えられる。視線センサを用いれば、ユーザが鏡の正面に向いて観察を行う場合には、顔のどの部分の観察をしているのかを特定できるが、観察している部分が顔の正面以外にある場合には、観察部分を特定できない場合も出てくる。視線検出の前提となる顔輪郭の検出や、顔パーツの検出が困難な状態となることでユーザの視線検出ができなくなるためである。

これに対して、顔向きが固定でない場合に視線推定を行う方法が存在する。例えば、目部を含む顔画像から３次元顔モデルを作成することで、頭部姿勢が固定でない場合でも視線推定する方法が知られている。しかしながら、処理負荷が高く顔画像中に目部を含むことが前提となる。

特開２００２−２９０９６４号公報 特開２０１２−１８１６８８号公報 特開２０１１−１１３１９６号公報 特開２００８−１９４１４６号公報

従って、本発明の目的は、一側面によれば、ユーザが観察している部分を含む画像を抽出するための技術を提供することである。

本発明に係る情報処理方法は、（Ａ）連続して撮影され且つデータ格納部に格納された複数の画像から、ユーザの顔正面の像を含む第１の画像からユーザの顔正面の像を含み且つ第１の画像より後に撮影された第２の画像までの第１の画像系列を抽出し、（Ｂ）第１の画像系列に含まれる画像から、ユーザの顔正面以外の顔の像を含む第３の画像を抽出する処理を含む。

一側面としては、ユーザが観察している部分を含む画像を抽出できるようになる。

図１は、実施の形態に係るシステムの概要を示す図である。 図２は、ユーザ側情報処理装置の構成例を示す図である。 図３は、第１の実施の形態に係る主情報処理装置の構成例を示す図である。 図４は、第１の実施の形態に係る処理フローを示す図である。 図５は、第１データ格納部に格納されるデータの一例を示す図である。 図６は、第２データ格納部に格納されるデータの一例を示す図である。 図７は、観察画像系列の一例を示す図である。 図８は、観察画像系列の一例を示す図である。 図９は、抽出処理の処理フローを示す図である。 図１０は、過去の画像系列のソート例を示す図である。 図１１（ａ）及び（ｂ）は、画像行列の一例を説明するための図である。 図１２は、第１の実施の形態に係る処理フローを示す図である。 図１３は、観察中画像系列の度数分布の一例を示す図である。 図１４は、過去の画像系列の度数分布の一例を示す図である。 図１５は、出力データ例を示す図である。 図１６は、第２の実施の形態に係る主情報処理装置の構成例を示す図である。 図１７は、第２の実施の形態の処理を説明するための図である。 図１８は、第２の実施の形態に係る処理フローを示す図である。 図１９は、目の寄りを説明するための図である。 図２０は、第３の実施の形態に係る主情報処理装置の構成例を示す図である。 図２１は、第３の実施の形態に係る処理フローを示す図である。 図２２は、視線位置データの一例を示す図である。 図２３は、第４の実施の形態に係る主情報処理装置の構成例を示す図である。 図２４は、画像系列ＤＢに格納されるデータの一例を示す図である。 図２５は、第４の実施の形態に係る処理フローを示す図である。 図２６は、コンピュータの機能ブロック図である。

［実施の形態１］
図１に、本実施の形態に係るシステムの概要を示す。

本実施の形態におけるシステムでは、本実施の形態における主要な処理を実行する主情報処理装置１００と、複数のユーザ側情報処理装置３００とが、ネットワーク２００を介して接続されている。

ユーザ側情報処理装置３００は、情報出力装置３０１と、情報収集装置３０２とを含む。情報出力装置３０１は、ユーザに対して表示装置に、画像などのデータを表示する。画像などのデータについては、主情報処理装置１００などから配信される場合もあれば、情報収集装置３０２から収集したものが表示される場合もある。また、情報出力装置３０１は、スピーカを含む場合もあり、この場合には音声によってメッセージが出力されることもある。

また、情報収集装置３０２は、カメラを含む。例えば、情報収集装置３０２は、カメラで連続して撮影された画像を、情報出力装置３０１に出力して、鏡のように鏡像として表示画面に表示させる。また、情報収集装置３０２は、ネットワーク２００を介して、主情報処理装置１００に、画像データ等を送信する。

また、図２に模式的に示すように、鏡４０１の上又は下に、情報収集装置３０２の一部であるカメラ３０２ａ又は３０２ｂを設置して、ユーザの顔の画像を撮影するようにしても良い。この場合、例えば、情報出力装置３０１に含まれるスピーカ３０１ａによってメッセージが音声で出力される場合もある。また、カメラ３０２ａ又は３０２ｂと、スピーカ３０１ａとは、例えばユーザ側情報処理装置３００の一部であり且つ通信機能を有する本体装置３００ｂに接続されており、本体装置３００ｂが、ネットワーク２００を介して主情報処理装置１００と通信を行う。

また、例えば、情報収集装置３０２は、カメラで撮影された画像から、表示画面上又は鏡４０１における視線位置を算出するようにしても良い。なお、このような検出技術については、Stylianos Asteriadis et al.,“Estimation of behavioral user state based on eye gaze and head pose-application in an e-learning environment”, Multimed Tools Appl, 2009.などを参照のこと。なお、センサデータから、表示画面上の視点座標を算出する処理については、主情報処理装置１００において実施しても良いし、情報収集装置３０２で収集し情報収集装置３０２と直接接続された本体装置３００ｂ上で行っても良い。

なお、情報出力装置３０１と情報収集装置３０２とは、一体となってユーザ側情報処理装置３００を成す場合もある。ユーザ側情報処理装置３００は、携帯電話機（スマートフォンを含む）、タブレット装置、パーソナルコンピュータなどであっても良い。

ユーザ側情報処理装置３００は、ユーザ一人ずつに用意されている場合もあれば、複数のユーザで共用する場合もある。

次に、主情報処理装置１００の構成例を図３に示す。主情報処理装置１００は、データ収集部１０１と、第１データ格納部１０２と、第１画像系列抽出部１０３と、第２データ格納部１０４と、画像抽出部１０５と、第３データ格納部１０６と、画像系列データベース（ＤＢ）１０７と、比較処理部１０８と、第４データ格納部１０９と、出力部１１０とを有する。

データ収集部１０１は、ネットワーク２００を介して情報収集装置３０２によって収集された画像データなどを受信し、所定の処理を行った後、第１データ格納部１０２に格納する。

第１画像系列抽出部１０３は、第１データ格納部１０２に格納されている画像データなどを用いて、ユーザが正面以外の顔の部分を観察中であると推定される画像群（以下、画像系列と呼ぶ）を抽出し、抽出結果を第２データ格納部１０４に格納する。

画像抽出部１０５は、第２データ格納部１０４に格納されている画像系列から、顔の状態変化を判断する上で用いられる画像（判定対象画像とも呼ぶ）を抽出する処理を行い、処理結果を第３データ格納部１０６に格納する。

画像系列ＤＢ１０７は、過去に抽出された画像系列のデータを格納している。なお、第１画像系列抽出部１０３は、処理結果を、そのまま画像系列ＤＢ１０７に格納する場合もある。画像系列ＤＢ１０７には、画像系列に加えて、当該画像系列から抽出され且つ顔の状態変化を判断する上で用いられる画像についての情報、及び類似判断に用いられるデータが格納されている場合もある。

比較処理部１０８は、第２画像系列抽出部１０８１と、画像比較部１０８２とを有する。第２画像系列抽出部１０８１は、第２データ格納部１０４に格納されている今回の画像系列と類似する過去の画像系列を画像系列ＤＢ１０７から抽出し、第４データ格納部１０９に格納する。抽出された過去の画像系列について、顔の状態変化を判断する上で用いられる画像についての情報が付加されていない場合には、例えば画像抽出部１０５によって抽出される。ここで抽出された画像の情報は、元となる画像系列に対応付けて画像系列ＤＢ１０７に格納されることもある。

また、画像比較部１０８２は、今回抽出された画像系列についての判定対象画像と、今回抽出された画像系列に類似する画像系列についての判定対象画像との比較を行って、顔の状態変化が存在するか否かを判断する。判断結果については、出力部１１０に出力する。

出力部１１０は、画像データなどの送信元であるユーザ側情報処理装置３００に対して、顔の状態変化に関するメッセージや画像データなどを送信し、ユーザ側情報処理装置３００は情報出力装置３０１を通じてユーザに示す。

次に、図４乃至図１５を用いて、本実施の形態に係る処理内容を説明する。

上でも述べたように、情報収集装置３０２は、画像を例えば連続的に（例えば定期的に）撮影し、画像データなどをネットワーク２００を介して主情報処理装置１００に送信する。画像データは、視線位置データを含む場合もある。この処理は、例えばユーザに停止が指示されるまで継続して行われるものとする。なお、画像系列の撮影場所は、ほぼ常に同じであり、照明などの環境はあまり変化しないものとする。

これに対して主情報処理装置１００におけるデータ収集部１０１は、ユーザ側情報処理装置３００から画像データなどを受信して、第１データ格納部１０２に格納する（図４：ステップＳ１）。

また、データ収集部１０１は、受信した画像が、正面顔を含む画像を含むか否かを判断し、正面顔を含む画像であれば、第１データ格納部１０２において当該画像の正面顔フラグを「ｔｒｕｅ」にセットする（ステップＳ３）。

例えば、第１データ格納部１０２には、図５に示すようなデータが格納される。図５の例では、時刻（タイムスタンプ。例えばユーザ側情報処理装置３００で付与された時刻又はデータ収集部１０１を有する主情報処理装置１００による受信時刻）、ユーザ名、ユーザ側情報処理装置３００の装置ＩＤ、画像ＩＤ及び正面顔フラグが登録されるようになっている。このデータの他に画像データも格納される。

なお、画像は、例えば静止画であり、情報出力装置３０１の表示装置に表示されるユーザの鏡像の画像である。

ステップＳ３では、顔の輪郭（楕円）と、目、鼻及び口の位置座標とを検出する技術（例えば、https://github.com/kylemcdonald/ofxFaceTracker）を用いて、例えば顔の輪郭内における目、鼻及び口の相対的な位置関係などから、正面顔であるか否かを判断する。

さらに、データ収集部１０１は、動く物体が一定期間以上映っていない画像を削除する等の処理を併せて行って、データ量を削減する場合もある。

また、第１画像系列抽出部１０３は、第１データ格納部１０２に格納されている画像から初期画像系列を生成し、例えば第２データ格納部１０４に格納する（ステップＳ５）。

例えば、正面顔フラグが「ｔｒｕｅ」となっている画像から、その時刻より前の時刻が登録されている画像であって正面顔フラグが「ｔｒｕｅ」となっている画像までを、初期画像系列として抽出する。図５の例では、５行目の画像から遡って２行目の画像までを１つの初期画像系列として抽出する。

なお、この時に、正面顔のみの画像系列を抽出しないようにする場合には、正面顔フラグが「ｔｒｕｅ」の直前において（図５の例では５行目の直上の行）、正面顔フラグが「ｆａｌｓｅ」が記録されていた場合にのみ、初期画像系列として抽出するようにする。本実施の形態では、このような処理を行うものとする。

さらに、第１画像系列抽出部１０３は、生成した初期画像系列から、観察中画像系列を抽出し、観察中画像系列のデータを第２データ格納部１０４に格納する（ステップＳ７）。

観察中画像系列は、ある正面顔から次の正面顔で終わる画像系列であって、ユーザが自分の状態の時間経過観察中と推定される画像系列である。すなわち、ユーザが皮膚色、しみ、しわ等の状態が日々変わっていく様子を観察している可能性が高い画像系列である。

本実施の形態においては、画像系列の開始から終了までの時間が一定時間以上あり、画像系列に含まれる全画像において皮膚色が画像内において占める割合が一定値以上ある画像系列を、観察中画像系列として抽出する。

例えば、情報収集装置３０２を有するユーザ側情報処理装置３００の前をたまたま通ったようなケースを排除する為に、初期画像系列の開始から終了までの時間が、例えば５秒以上あるような画像系列を抽出する。また、正面顔を向いた後に数秒いなくなって戻りまた正面顔へ戻ったようなケースを排除するために、画像系列に含まれる全画像において皮膚色の画素の占める割合が例えば５０％（閾値は画像のサイズや設置場所に応じて調整する）以上である画像系列を抽出する。

さらに、情報収集装置３０２を有するユーザ側情報処理装置３００の前で、ユーザが一定時間以上居るケースには、化粧中や基礎化粧品による肌ケアをしている時間帯が含まれるため、画像系列に化粧中や基礎化粧品使用中に独特のジェスチャ（手が頬や額を覆って、タッピング等）を認識して、そのようなユーザの目的が確定できるような画像系列については、観察中画像系列として選択しない。すなわち、予め定められたユーザの目的が認識できないような画像系列を観察中画像系列として抽出する。

なお、第２データ格納部１０４には、例えば図６に示すようなデータが格納される。図６の例では、観察中画像系列の画像系列ＩＤと、当該観察中画像系列の開始画像ＩＤと、終了画像ＩＤと、ユーザ名と、装置ＩＤとが格納されるようになっている。これに加えて、観察中画像系列に含まれる画像のデータをも格納しているものとする。

ここまでの処理で、例えば図７に示すような観察中画像系列及び図８に示すような観察中画像系列が抽出されたものとする。

図７は、ユーザが、情報収集装置３０２の正面を向いている状態から、徐々に上向きの状態になり、再度正面を向いている状態となった場合における観察中画像系列の一例を模式的に示すものである。

図８は、ユーザが、情報収集装置３０２の正面を向いている状態から、徐々に右向きの状態（鏡像としては左向き）の状態になり、再度正面を向いている状態となった場合における観察中画像系列の一例を模式的に示すものである。

本実施の形態では、正面顔で観察できない又は観察しにくい部分を観察しようとすると、人は、図７及び図８に示すように、正面顔から正面顔への往復動作を行う。この往復動作の中に、図７に示すような観察中画像系列であれば画像Ｘのような、あご付近に注目していることを表す画像が、観察中画像系列の中央付近に含まれることになる。また、図８に示すような観察中画像系列であれば画像Ｙのような、左頬の部分に注目していることを表す画像が、観察中画像系列の中央付近に含まれることになる。

次に、画像抽出部１０５及び比較処理部１０８は、第２データ格納部１０４において新たな観察中画像系列が抽出されたか判断する（ステップＳ９）。もし、新たな観察中画像系列が抽出されていない場合には、処理は端子Ａを介して図１２の処理に移行する。

一方、新たな観察中画像系列が抽出された場合には、比較処理部１０８の第２画像系列抽出部１０８１は、抽出された観察中画像系列に対して、過去の類似画像系列の抽出処理を実行する（ステップＳ１１）。

例えば、画像中に含まれる特徴量（線分、点、皮膚色の総画素数又は割合等）で比較する方法や、画像中に含まれるオブジェクトを使った特徴量（顔パーツ（例えば目）が含まれる領域や皮膚色領域の位置等）で比較する方法などを用いて、過去の類似画像系列を抽出するようにしても良い。また、この抽出処理については、図９のような処理であっても良い。

なお、ステップＳ１１が終了すると、処理は端子Ｂを介して図１２の処理に移行する。

まず、第２画像系列抽出部１０８１は、過去の画像系列を、包含する画像枚数によって絞り込む（図９：ステップＳ２１）。例えば図１０に示すように、画像枚数によって過去の画像系列Ｓ_i（ｉは１以上ｍ以下）をソートしておき、今回抽出された観察中画像系列Ｓに包含される画像の枚数ｐとほぼ同じｖ個の過去の画像系列Ｓ_u乃至Ｓ_u+v-1を抽出する。「ほぼ同じ」については、例えばｐ枚＋／−所定％の範囲を意味するものとする。画像枚数が大きく異なる画像系列は、類似する画像系列であるとは言えないため、このような処理を行う。

さらに、第２画像系列抽出部１０８１は、観察中画像系列Ｓに含まれる各画像から、画像行列を生成する（ステップＳ２３）。

本ステップについては、図１１（ａ）に模式的に示すように、各画像をｊ×ｋ個の矩形領域に分割する。例えば、１０×１０個程度の分割を行った大きな矩形であっても良いし、１矩形領域４画素程度の小さい矩形であっても良い。そして、図１１（ｂ）に示すように、ｊ行ｋ列の矩形領域に、予め定められた皮膚色の画素が含まれるか否かを判断して、含まれていれば、行列Ｍ_siの要素Ｍ_{si_jk}の値「１」と設定し、含まれていなければ、行列Ｍ_{si_jk}の値「０」と設定する。

このような処理を、観察中画像系列に含まれる各画像について実行すれば、画像行列Ｍ_s＝｛Ｍ_s1，Ｍ_s2，．．．，Ｍ_s(q-1)，Ｍ_sq｝が生成される。

なお、画像系列ＤＢ１０７に格納されている各画像系列についても、同様に画像行列Ｍ_u＝｛Ｍ_u1，Ｍ_u2，．．．，Ｍ_u(p-1)，Ｍ_up｝が、既に画像系列ＤＢ１０７に格納されているものとする。まだ、算出されていない場合には、例えば本ステップにおいて、同様の処理で算出するものとする。

その後、第２画像系列抽出部１０８１は、生成された画像行列Ｍ_sと、絞り込まれた画像系列の各々についての画像行列Ｍ_uとから、各画像系列ペアの類似度Ｓim_uを算出する（ステップＳ２５）。

例えば、行列Ｍ_siと行列Ｍ_uiとの類似度の平均値を、画像系列ペアの類似度として算出する。行列の類似度は、どのように定義しても良い。

一方、観察中画像行列Ｓの画像枚数と、比較対象の画像系列Ｓ_uの画像枚数との差がある場合には、少ない方の画像枚数に併せて画像ペアの類似度を算出して、それらの類似度の平均値を算出する。

この場合、例えば、画像枚数が多い方の画像系列から画像枚数が少ない方の画像系列と同数の画像を全パターン抽出して、各パターンと画像枚数が少ない方の画像系列とについて算出される類似度のうち最も高い類似度を採用するようにしても良い。その他の方法を採用しても良い。

そして、第２画像系列抽出部１０８１は、ステップＳ２１で絞り込まれた過去の画像系列のうち、観察中画像系列との類似度が閾値以上となる過去の画像系列を抽出し、抽出された過去の画像系列のデータを、第４データ格納部１０８に格納する（ステップＳ２７）。例えば図６と同様のデータが格納される。そして処理は呼び出し元の処理に戻る。

なお、抽出された過去の画像系列については、古いもの順にソートしておくものとする。ソート後の過去の画像系列を、Ｓ_w乃至Ｓ_w+z-1とする。

図１２の処理の説明に移行して、画像抽出部１０５は、第２データ格納部１０４に格納されている観察中画像系列Ｓについて、判定対象画像を抽出し、当該判定対象画像についてのデータを、第３データ格納部１０６に格納する（ステップＳ３１）。

本実施の形態では、類似性が高い画像が連続している時間帯における画像を抽出する。図７及び図８に模式的に示したように、図７の画像Ｘの周辺又は図８の画像Ｙの周辺では、一定時間静止して興味のある顔の部分の観察を行うことが多い。そのため、例えば予め定められた時間以上、例えば上で述べたような画像行列による類似度が閾値以上となる連続画像を抽出する。なお、抽出された連続画像のうち中央の画像を１枚選択するような場合もある。

なお、過去の画像系列Ｓ_w乃至Ｓ_w+z-1についても、同じような処理にて判定対象画像が、既に抽出されており、画像系列ＤＢ１０７において、元の画像系列に対応付けられて格納されているものとする。もし、抽出されていない場合には、例えば本ステップにおいて、同様の処理にて抽出することで、過去の画像系列Ｓ_w乃至Ｓ_w+z-1の各々について判定対象画像を得るものとする。

そして、比較処理部１０８の画像比較部１０８２は、観察中画像系列の判定対象画像における皮膚色範囲内における度数分布（すなわち色出現頻度）と、抽出された過去の各画像系列の判定対象画像における皮膚色範囲内における度数分布（すなわち出現頻度）とを生成し、例えば第４データ格納部１０８に格納する（ステップＳ３３）。

予め定められた皮膚色範囲（例えば、色テーブル毎に規定されている。Christophe Garcia and Georgios Tziritas, Face Detection Using Quantized Skin Color Regions Merging and Wavelet Packet Analysis, IEEE TRANSACTIONS ON MULTIMEDIA, VOL. 1, NO. 3, SEPTEMBER 1999.を参照のこと）に属する各色の出現頻度をカウントする。赤みを持った皮膚色もあれば、ほぼ黄色に近い皮膚色もある。

例えば、図１３に示すような度数分布Ｈ_sが得られたものとする。一方、過去の各画像系列の判定対象画像についての度数分布Ｈ_w乃至Ｈ_w+z-1（２つ以外は省略）については、図１４に示すようなカーブとなったものとする。なお、過去の各画像系列の判定対象画像についての度数分布Ｈ_w乃至Ｈ_w+z-1のデータについては、予め画像系列ＤＢ１０７に格納されているものとする。格納されていない場合には、ここで算出する場合もある。なお、度数分布については、比較のため各々正規化されるものとする。

そうすると、画像比較部１０８２は、観察中画像系列の度数分布が、過去の画像系列の各々の度数分布と異なるか判断する（ステップＳ３５）。例えば、各色についての度数の差を二乗したもの（又は絶対値）の総和のような評価値が、閾値以上となっているか否かを判断する。

この際、色毎に重み付けしても良い。例えば、誤判定を生じさせる色については重みを小さくし、着目する色については重みを大きくする。例えば、にきびのような赤色の成分に着目する場合には、赤チャネルのみに着目したテーブルに含まれる皮膚色についての重みを大きくすればよい。

なお、着目する色については、別途ユーザが指定するようにしても良い。この場合、例えば、予め自らの着目すべき顔の領域を指定することで、当該領域に含まれる色の重みを大きくしたり小さくするようにしても良い。

図１３及び図１４の例では、過去の画像系列の度数分布Ｈ_w+z-1と、観察中画像系列の度数分布Ｈ_sとは異なると判定されたものとする。

もし、観察中画像系列の度数分布が、過去の画像系列のいずれの度数分布とも異なっていないと判断された場合には、特に問題がないので、処理はステップＳ３９に移行する。但し、状態変化を検出できない旨のメッセージを、出力部１１０に、観察中画像系列の送信元であるユーザ側情報処理装置３００へ送信させるようにしても良い。

一方、観察中画像系列の度数分布が、過去の画像系列のいずれかの度数分布と異なると判断された場合には、画像比較部１０８２は、例えば、異なると判定された過去の画像系列についてのデータを、出力部１１０に出力する。

出力部１１０は、観察中画像系列の送信元となるユーザ側情報処理装置３００に対して、異なると判定された過去の画像系列の時刻等と共に、状態変化を検出した旨のメッセージを送信する（ステップＳ３７）。

ユーザ側情報処理装置３００の情報出力装置３０１は、メッセージを受信すると、表示画面又はスピーカなどから、メッセージを出力する。

このようにすれば、真正面でなくユーザが見にくい場所についても、適切に状態変化を検出できるようになる。

このような処理が、ユーザによって処理終了が指示されたり、何らかのイベントで処理終了と判断されるまで繰り返される（ステップＳ３９）。すなわち、処理終了でない場合には、処理は端子Ｃを介してステップＳ１に戻る。

なお、出力内容については、例えば、評価値への寄与が大きい色（例えば図１４のＺ）を特定して、この色から構成される皮膚領域を、観察中画像系列の判定対象画像から抽出して、例えば図１５に示すような形で強調して示すようにしても良い。図１５の例では、点線丸で、当該皮膚領域より少し大きめの領域をユーザに示すことでにきびのような領域が、ユーザに強調表示されるようになる。

また、判定対象画像を別の方法で抽出するようにしても良い。簡易的には、最初と最後の正面顔の画像を除去するだけといった手法も可能である。

［実施の形態２］
本実施の形態では、観察中画像系列をより精度良く抽出するための変形例を説明する。

図１６に、本実施の形態に係る主情報処理装置１００ｂの構成例を示す。図３に示した主情報処理装置１００との差は、第１画像系列抽出部１０３ｂと、第２データ格納部１０４ｂと、画像抽出部１０５ｂとである。

第１画像系列抽出部１０３ｂは、折り返し判断部１０３１を含む。また、画像抽出部１０５ｂは、初期的な観察中画像系列について判定対象画像（本実施の形態では、折り返し画像とも呼ぶ）を抽出して、第２データ格納部１０４ｂに処理結果を格納する。また、最終的に第１画像系列抽出部１０３ｂによって抽出された観察中画像系列についての判定対象画像のデータを、第３データ格納部１０６に格納する。

本実施の形態では、抽出したい観察画像系列では、判定対象画像より前の画像系列と、判定対象画像より後の画像の順番を反転させた反転画像系列とを比較すると、元画像系列と反転画像系列とでは同じ位置の画像間の類似度が高くなるという対称性を利用するものである。

図８に示した観察中画像系列を用いて図１７に模式的に示せば、最初の画像Ｉ₁、次の画像Ｉ₂、中間の画像Ｉ_p/2（ここでは画像Ｙ）、最後から１つ前の画像Ｉ_p-1、最後の画像Ｉ_pを含むものとする。そして、画像Ｉ_pから後ろの画像の順番を反転させて並べた上で、画像Ｉ₁と画像Ｉ_p、画像Ｉ₂と画像Ｉ_p-1、といったように対応付ける。そうすると、対応付けられた画像間の類似度は非常に高くなることが分かる。

本実施の形態ではこのような特徴を有する観察画像系列を抽出する。

より具体的には、図４のステップＳ７を、図１８に示すような処理に変更する。

第１画像系列抽出部１０３ｂは、初期画像系列から、所定の条件を満たす画像系列を抽出し、第２データ格納部１０４ｂに格納する（ステップＳ５１）。具体的には、第１の実施の形態のステップＳ７と同様の処理を行う。なお、ここでは１つの画像系列が抽出された場合の例を示すが、複数の画像系列が抽出された場合には、複数の画像系列の各々について、以下の処理を実行する。

その後、折り返し判断部１０３１は、抽出された画像系列の順番を反転させた反転画像系列を生成する（ステップＳ５３）。図１７の例では、下段に示す画像系列を生成する。 また、画像抽出部１０５ｂは、抽出された画像系列において、折り返し画像（＝判定対象画像）を特定し、特定された画像のデータを第２データ格納部１０４ｂ及び第３データ格納部１０６に格納する（ステップＳ５５）。本ステップは、実質的に、ステップＳ３１と同じである。但し、簡易的には、抽出された画像系列の中央の画像Ｉ_p/2（ｐ／２の天井又は床値。）とする場合もある。

そして、折り返し判断部１０３１は、通常の順番で折り返し画像前までの画像について、抽出された画像系列と反転画像系列との類似度を算出する（ステップＳ５７）。

折り返し画像が、抽出された画像系列のちょうど中央の画像であれば、図１７に模式的に示すように、抽出された画像系列の画像と反転画像系列の画像とは順番に１：１対応させることができるので、対応する画像同士の類似度を、上で述べた画像行列などの手法によって算出し、それらの類似度の平均値を算出する。

一方、折り返し画像が、抽出された画像系列の中央ではなく、前半や後半に位置する場合には、折り返し画像までの画像系列に含まれる画像の数が比較対象の画像系列の画像の数より少なかったり、多かったりすることになる。

このような場合には、抽出された画像系列において折り返し画像までの画像と、反転画像系列における折り返し画像までの画像との全画像ペアの類似度を算出し、画像数が少ない方を基準にしてペアとなる画像を選択するようにしても良い。ペアとなる画像の選択にあたっては、画像の数が少ない方を基準にして、ペアとなった画像同士の類似度の平均値が最も高くなるように、画像の数が多い方の画像を順番を維持しつつ選択するようにしても良い。

上でも述べたように、画像系列の類似度は、個々の画像についての類似度の平均値であるものとする。

その後、折り返し判断部１０３１は、抽出画像系列と抽出画像系列の反転画像系列の類似度が閾値を超えたか否かを判断する（ステップＳ５９）。

閾値を超えるような類似度が算出された場合には、折り返し判断部１０３１は、抽出された画像系列を折り返し画像系列であると判断し、第２データ格納部１０４ｂにおいて観察中画像系列として設定する（ステップＳ６１）。そして処理は元の処理に戻る。

一方、類似度が閾値を超えない場合には、折り返し判断部１０３１は、抽出された画像系列を折り返し画像系列ではないと判断し、第２データ格納部１０４ｂにおいて非観察中画像系列として設定する（ステップＳ６３）。そして処理は元の処理に戻る。

なお、第１の実施の形態における判定対象画像を抽出する処理については、ステップＳ５５で折り返し画像として特定されている場合には省略しても良い。

このように判定対象画像を中心として対称性が認められる場合には、本実施の形態における観察中画像系列として好ましいものと判断して抽出されるようになる。

なお、判定対象画像を、Ｉ_p/2のように中央部分に設定する場合もある。また、中央部分だけではなく、その付近の画像群を、判定対象画像として特定しても良い。

［実施の形態３］
第２の実施の形態で示したような特徴を有するような画像系列であっても、たまたま、顔を上下させたり、左右に動かしたりする場合も、観察中画像系列として抽出される場合もある。本実施の形態では、目の動きをも考慮に入れて、観察中画像系列を抽出する。

より具体的には、ユーザが情報出力装置３０１の表示画面や鏡４０１の前で、額や頬等、顔の正面以外の場所を観察するために顔向きを変更する場合には、顔の向きと目の動きの向きは逆になる。例えば、右頬の状態を観察したい場合、顔の向きを左に向けることで、ユーザは右頬を鏡等に写そうとする。その場合の目の動きは、顔の向きに逆らって、鏡等の方向へ向くので、図１９に示すように、右へ寄る。顔の画像であるということを自動的に抽出するという観点からすると、正面顔の画像の直後を含む数画像において、上記のような状態を検出できると想定される。正面顔において目領域の位置及び瞳孔中心位置を抽出する既存技術（例えば、http://opencv.org/のようなコンピュータビジョン技術や、視線センサ等がある）が存在するので、正面顔の画像の直後を含む数画像に対して、このような技術を適用すれば、目領域全体に対して、瞳孔を含む虹彩色部分がどのように寄ったのかを記録できる。

このような現象を想定した処理について図２０及び図２１を用いて説明する。

本実施の形態に係る主情報処理装置１００ｃと、第２の実施の形態に係る主情報処理装置１００ｂとの差は、図２０に示すように、第１画像系列抽出部１０３ｂが第１画像系列抽出部１０３ｃに変更された点である。この第１画像系列抽出部１０３ｃは、折り返し判断部１０３１と、抽出判断部１０３２とを含む。

次に、図２１を用いて、図４のステップＳ７の代わりに実行される処理を説明する。なお、１つの初期画像系列について、本処理を１回実行するものとする。

まず、抽出判断部１０３２は、初期画像系列から、正面顔の画像より後で撮影された所定数の画像を抽出する（ステップＳ７１）。

そして、抽出判断部１０３２は、抽出された画像における目の寄りの有無を判定する（ステップＳ７３）。例えば、正面顔の画像において、目の領域を特定して、当該目の領域における瞳孔を含む虹彩色部分の相対的な位置（例えば目の領域において設定された原点（例えば左端又は右端）からの座標値）を特定する。そして、抽出された画像において、目の領域を特定して、当該目の領域における瞳孔を含む虹彩色部分の相対的な位置を特定し、瞳孔を含む虹彩色部分の相対的な位置が正面顔の相対位置よりも図１９に示すように一方向に偏っているか否かを判断する。

このような目の寄りが検出された場合には、折り返し判断部１０３１等が、図１８に示した判定処理を実行する（ステップＳ７７）。そして処理は元の処理に戻る。

一方、目の寄りが検出されなかった場合には、抽出判断部１０３２は、初期画像系列を、非観察中画像系列に設定する（ステップＳ７９）。そして処理は元の処理に戻る。

なお、ステップＳ７３の処理については、視線位置と顔向きを用いた処理に代えても良い。すなわち、単に顔の向きを上下又は左右させている場合、上で述べたような正面顔の画像より後ろの画像においては、視線位置も顔向きも既存技術で採取することができるが、視線位置と顔向きに整合性がとれなくなる。例えば、顔向き上はユーザの右手方向を向いている場合でも、視線位置上はユーザの左手方向を向いているということがある。

従って、図２２に示すように、情報収集装置３０２から、データ収集部１０１が、画像と共に当該画像と同時刻の視線データを受信する。図２２の例では、時刻と、ユーザ名と、装置ＩＤと、視線座標の座標（ｘ，ｙ）とを含む。このようなデータが、第１データ格納部１０２に格納されている場合には、抽出判断部１０３２は、抽出された画像について検出された視線座標が、表示画面上のどの領域やどの方向を見ているかを判断することができる。一方、前述したコンピュータビジョン技術では、顔の楕円位置と顔パーツの位置関係により、顔向きを推定することができる。この両者に整合性がなければ、ステップＳ７５で目の寄りは検出されないと判断する。

［実施の形態４］
本実施の形態では、画像系列ＤＢ１０７に格納される過去の画像系列を整理して登録することで、観察中画像系列に類似する画像系列を高速に抽出できるようにする。

本実施の形態では、図２３に示すような主情報処理装置１００ｄの構成を採用する。本実施の形態では、観察中画像系列を、画像系列ＤＢ１０７に登録する処理を行う登録処理部１１１が追加されている。

次に、登録処理部１１１の処理内容について図２４及び図２５を用いて説明する。

図２４に、画像系列ＤＢ１０７に格納されるデータの一例を示す。図２４の例では、画像系列の分類の識別子である分類ＩＤと、画像系列ＩＤと、各分類ＩＤ１つについて１つ選択されるマスタ画像系列か否かを表すマスタフラグと、分類名とが含まれる。このほか、画像系列自体と、類似度算出に用いるためのデータとが格納される。

そして、登録処理部１１１は、観察中画像系列と、画像系列ＤＢ１０７に格納されている各マスタ画像系列との類似度を算出する（図２５：ステップＳ１０１）。図２４に示すように、同じような画像系列については１つの画像系列に対してマスタフラグが「ｔｒｕｅ」に設定されるので、マスタフラグが「ｔｒｕｅ」となっている画像系列との類似度の算出を行う。画像系列についての類似度の算出方法は、実施の形態１と同様である。

そして、登録処理部１１１は、閾値を超える類似度が算出されたマスタ画像系列が存在するか否かを判断する（ステップＳ１０３）。

閾値を超える類似度が算出されたマスタ画像系列が検出されなかった場合には、新たな画像系列が検出されたことになる。そこで、登録処理部１１１は、例えば観察中画像系列の送信元であるユーザ側情報処理装置３００へ、観察中画像系列に対する分類入力を促すためのデータを送信し、ユーザに対して分類名の入力を促す。ユーザ側情報処理装置３００の情報出力装置３０１は、今回の観察中画像系列に対する分類入力を促すメッセージを出力し、ユーザから分類名の入力を受け付ける。そうすると、ユーザ側情報処理装置３００は、分類名を主情報処理装置１００ｄに送信する。主情報処理装置１００ｄの登録処理部１１１は、ユーザ側情報処理装置３００から分類名を受信する（ステップＳ１０５）。

そうすると、登録処理部１１１は、観察中画像系列を画像系列ＤＢ１０７に格納すると共に、新たな分類ＩＤと、画像系列ＩＤと、マスタフラグ「ｔｒｕｅ」と、分類名とを登録する（ステップＳ１０６）。図２４の例では、画像系列ＩＤ「２００６」のレコードのようなデータが登録されるようになる。そして処理を終了する。なお、このような場合は、類似する過去の画像系列が存在しないことになるので、状態変化がユーザに提示されることはない。

一方、閾値を超える類似度が算出されたマスタ画像系列が存在する場合には、登録処理部１１１は、観察中画像系列に対して、最も類似度が高いマスタ画像系列の分類ＩＤを設定して、画像系列ＤＢ１０７に登録する（ステップＳ１０７）。例えば、図２４の例で、画像系列ＩＤ「２００５」の観察中画像系列が抽出され、最も類似度が高いマスタ画像系列が画像系列ＩＤ「２」の画像系列であれば、同じ分類ＩＤ「１」が、設定される。なお、初期的には、マスタフラグは「ｆａｌｓｅ」となる。

そして、登録処理部１１１は、ユーザに対してマスタを変更するか否かを問い合わせる。この問い合わせは、例えばマスタ画像系列の登録日時から、所定時間以上経過している場合に行うようにしても良い。例えば、登録処理部１１１は、ユーザ側情報処理装置３００に対して、問い合わせのメッセージを送信し、ユーザからの指示を受け付けたユーザ側情報処理装置３００からの回答を受信し、マスタを変更するか否かを判断する（ステップＳ１０９）。マスタを変更しない場合には、処理は終了する。

一方、マスタを変更するという回答を受信した場合には、登録処理部１１１は、マスタの置換処理を行う（ステップＳ１１１）。具体的には、古いマスタ画像系列のマスタフラグを「ｆａｌｓｅ」に設定し、今回の観察中画像系列のマスタフラグを「ｔｒｕｅ」に変更する。

以上のような処理を実行して画像系列ＤＢ１０７をメンテナンスすることで、比較処理部１０８において類似度を算出する過去の画像系列を、マスタ画像系列に限定してもよいので、比較処理が効率化される。

以上、本発明の実施の形態を説明したが、本発明はこれらに限定されるものではない。例えば、処理フローについては、処理結果が変わらない限り、ステップの処理順番を入れ替えたり、複数ステップを並列実行するようにしても良い。

また、上で述べた主情報処理装置１００の構成については、プログラムモジュール構成とは一致しない場合がある。

さらに、主情報処理装置１００は、１台のコンピュータではなく、複数台のコンピュータによって機能分担するようにしても良い。上でも述べたように、ユーザ側情報処理装置３００及び主情報処理装置１００は、それぞれ上で述べた各機能を分担保持する。

なお、上で述べた主情報処理装置１００は、コンピュータ装置であって、図２６に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本実施の形態をまとめると、以下のようになる。

本実施の形態に係る情報処理装置は、（Ａ）連続して撮影され且つデータ格納部に格納された複数の画像から、ユーザの顔正面の像を含む第１の画像からユーザの顔正面の像を含み且つ第１の画像より後に撮影された第２の画像までの第１の画像系列を抽出する第１の抽出部と、（Ｂ）第１の画像系列に含まれる画像から、ユーザの顔正面以外の顔の像を含む第３の画像を抽出する第２の抽出部とを有する。

本発明の発明者は、正面顔ではよく観察できない注目部分が、正面顔から次の正面顔までの画像系列に含まれる画像に現れているという新規な着想を得た。このような新規な着想に基づき、上で述べた処理を実行すれば、効率的に注目部分を含む画像を特定できるようになる。

なお、上で述べた第２の抽出部が、ユーザの顔正面以外の顔の像であってユーザが状態確認を行ったとみなされる像を含む画像を抽出するようにしても良い。例えば、正面顔から次の正面顔までのユーザの動作には対称性があると推定できるので、第１の画像と第２の画像までの画像のうち中央付近の画像を抽出するようにしても良い。

また、ユーザの顔正面以外の顔の像であって所定時間以上連続して同一の又は類似する像を含む複数の画像を抽出するようにしても良い。その他の観点で多めに画像を抽出したり、少なめの画像を抽出するようにしても良い。

また、上で述べた情報処理装置は、（Ｃ）第１の画像系列のうち、第１の画像以降で第３の画像より前の第４の画像と、第２の画像以前で第３の画像より後の画像との類似度に基づき、第１の画像系列の適否を判断する判断部をさらに有するようにしても良い。正面顔から次の正面顔までのユーザの動作には対称性があると推定できるので、このように類似度でその対称性を確認するものである。

さらに、上で述べた第１の抽出部が、画像系列に含まれる画像の数と画像系列に含まれる画像内における皮膚色領域の割合とを含む所定の条件を、画像系列に含まれる画像が満たすか否かを判断するようにしても良い。無関係な画像を簡単な処理で排除するためである。

また、上で述べた第１の抽出部が、第１の画像系列における第１の画像より後の画像において、目の領域における瞳孔を含む虹彩色部分が上記目の領域における中央以外の方向に寄っているか否かを判断するようにしても良い。観察中であれば、通常鏡の方を目だけでも向けている。このような状態では、目の領域が検出できれば、瞳孔を含む虹彩色部分は中央ではなく一方に寄っているので、その状況が存在するか否かを判断する。

さらに、上で述べた第１の抽出部が、第１の画像系列における第１の画像より後の画像が撮影された時点において、視線センサによる視線位置が所定範囲内となっている状態であるか否かを判断するようにしても良い。視線センサが存在すれば、このような条件でも上で述べた瞳孔部分の片寄りを検出できる。

さらに、上で述べた第１の抽出部が、第１の画像系列における第１の画像より後の画像が撮影された時点において、視線センサによる視線位置と顔向きに整合性がとれなくなっている状態であるか否かを判断するようにしても良い。

また、上で述べた情報処理装置は、（Ｄ）第２のデータ格納部に格納された過去の画像系列から、第１の画像系列に類似する第２の画像系列を抽出し、第２の画像系列に含まれ且つユーザの顔正面以外の顔の像を含む第４の画像における皮膚色範囲内の色出現頻度と、第３の画像における皮膚色範囲内の色出現頻度との差が、所定レベル以上であるか否かを判断する比較処理部をさらに有するようにしても良い。これによって、具体的な状態変化を抽出できるようになる。なお、変化のある領域を抽出するようにしても良い。

なお、上で述べたような処理をプロセッサ又はコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭなどの光ディスク、光磁気ディスク、半導体メモリ（例えばＲＯＭ）、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、ＲＡＭ等の記憶装置に一時保管される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
連続して撮影され且つデータ格納部に格納された複数の画像から、ユーザの顔正面の像を含む第１の画像から前記ユーザの顔正面の像を含み且つ前記第１の画像より後に撮影された第２の画像までの第１の画像系列を抽出する第１の抽出部と、
前記第１の画像系列に含まれる画像から、前記ユーザの顔正面以外の顔の像を含む第３の画像を抽出する第２の抽出部と、
を有する情報処理装置。

（付記２）
前記第２の抽出部が、
前記ユーザの顔正面以外の顔の像であって前記ユーザが状態確認を行ったとみなされる像を含む画像を抽出する
付記１記載の情報処理装置。

（付記３）
前記第２の抽出部が、
前記ユーザの顔正面以外の顔の像であって所定時間以上連続して同一の又は類似する像を含む複数の画像を抽出する
付記１記載の情報処理装置。

（付記４）
前記第１の画像系列のうち、前記第１の画像以降で前記第３の画像より前の第４の画像と、前記第２の画像以前で前記第３の画像より後の画像との類似度に基づき、前記第１の画像系列の適否を判断する判断部
をさらに有する付記１乃至３のいずれか１つ記載の情報処理装置。

（付記５）
前記第１の抽出部が、
画像系列に含まれる画像の数と前記画像系列に含まれる画像内における皮膚色領域の割合とを含む所定の条件を、前記画像系列に含まれる画像が満たすか否かを判断する
付記１乃至３のいずれか１つ記載の情報処理装置。

（付記６）
前記第１の抽出部が、
前記第１の画像系列における前記第１の画像より後の画像において、目の領域における瞳孔部分が前記目の領域における中央以外の方向に寄っているか否かを判断する
付記１乃至３のいずれか１つ記載の情報処理装置。

（付記７）
前記第１の抽出部が、
前記第１の画像系列における前記第１の画像より後の画像が撮影された時点において、視線センサによる視線位置が所定範囲内となっている状態であるか否かを判断する
付記１乃至３のいずれか１つ記載の情報処理装置。

（付記８）
第２のデータ格納部に格納された過去の画像系列から、前記第１の画像系列に類似する第２の画像系列を抽出し、前記第２の画像系列に含まれ且つ前記ユーザの顔正面以外の顔の像を含む第４の画像における皮膚色範囲内の色出現頻度と、前記第３の画像における前記皮膚色範囲内の色出現頻度との差が、所定レベル以上であるか否かを判断する比較処理部
をさらに有する付記１乃至３のいずれか１つ記載の情報処理装置。

（付記９）
連続して撮影され且つデータ格納部に格納された複数の画像から、ユーザの顔正面の像を含む第１の画像から前記ユーザの顔正面の像を含み且つ前記第１の画像より後に撮影された第２の画像までの第１の画像系列を抽出し、
前記第１の画像系列に含まれる画像から、前記ユーザの顔正面以外の顔の像を含む第３の画像を抽出する、
処理を含み、コンピュータが実行する情報処理方法。

（付記１０）
連続して撮影され且つデータ格納部に格納された複数の画像から、ユーザの顔正面の像を含む第１の画像から前記ユーザの顔正面の像を含み且つ前記第１の画像より後に撮影された第２の画像までの第１の画像系列を抽出し、
前記第１の画像系列に含まれる画像から、前記ユーザの顔正面以外の顔の像を含む第３の画像を抽出する、
処理を、コンピュータに実行させるためのプログラム。

１００ 主情報処理装置
１０１ データ収集部
１０２ 第１データ格納部
１０３ 第１画像系列抽出部
１０４ 第２データ格納部
１０５ 画像抽出部
１０６ 第３データ格納部
１０７ 画像系列ＤＢ
１０８ 比較処理部
１０９ 第４データ格納部
１１０ 出力部
１１１ 登録処理部

Claims (10)

1. 連続して撮影され且つデータ格納部に格納された複数の画像から、ユーザの顔正面の像を含む第１の画像から前記ユーザの顔正面の像を含み且つ前記第１の画像より後に撮影された第２の画像までの第１の画像系列を抽出する第１の抽出部と、
   前記第１の画像系列に含まれる画像から、前記ユーザの顔正面以外の顔の像を含む第３の画像を抽出する第２の抽出部と、
   を有する情報処理装置。
2. 前記第２の抽出部が、
   前記ユーザの顔正面以外の顔の像であって前記ユーザが状態確認を行ったとみなされる像を含む画像を抽出する
   請求項１記載の情報処理装置。
3. 前記第２の抽出部が、
   前記ユーザの顔正面以外の顔の像であって所定時間以上連続して同一の又は類似する像を含む複数の画像を抽出する
   請求項１記載の情報処理装置。
4. 前記第１の画像系列のうち、前記第１の画像以降で前記第３の画像より前の第４の画像と、前記第２の画像以前で前記第３の画像より後の画像との類似度に基づき、前記第１の画像系列の適否を判断する判断部
   をさらに有する請求項１乃至３のいずれか１つ記載の情報処理装置。
5. 前記第１の抽出部が、
   画像系列に含まれる画像の数と前記画像系列に含まれる画像内における皮膚色領域の割合とを含む所定の条件を、前記画像系列に含まれる画像が満たすか否かを判断する
   請求項１乃至３のいずれか１つ記載の情報処理装置。
6. 前記第１の抽出部が、
   前記第１の画像系列における前記第１の画像より後の画像において、目の領域における瞳孔部分が前記目の領域における中央以外の方向に寄っているか否かを判断する
   請求項１乃至３のいずれか１つ記載の情報処理装置。
7. 前記第１の抽出部が、
   前記第１の画像系列における前記第１の画像より後の画像が撮影された時点において、視線センサによる視線位置が所定範囲内となっている状態であるか否かを判断する
   請求項１乃至３のいずれか１つ記載の情報処理装置。
8. 第２のデータ格納部に格納された過去の画像系列から、前記第１の画像系列に類似する第２の画像系列を抽出し、前記第２の画像系列に含まれ且つ前記ユーザの顔正面以外の顔の像を含む第４の画像における皮膚色範囲内の色出現頻度と、前記第３の画像における前記皮膚色範囲内の色出現頻度との差が、所定レベル以上であるか否かを判断する比較処理部
   をさらに有する請求項１乃至３のいずれか１つ記載の情報処理装置。
9. 連続して撮影され且つデータ格納部に格納された複数の画像から、ユーザの顔正面の像を含む第１の画像から前記ユーザの顔正面の像を含み且つ前記第１の画像より後に撮影された第２の画像までの第１の画像系列を抽出し、
   前記第１の画像系列に含まれる画像から、前記ユーザの顔正面以外の顔の像を含む第３の画像を抽出する、
   処理を含み、コンピュータが実行する情報処理方法。
10. 連続して撮影され且つデータ格納部に格納された複数の画像から、ユーザの顔正面の像を含む第１の画像から前記ユーザの顔正面の像を含み且つ前記第１の画像より後に撮影された第２の画像までの第１の画像系列を抽出し、
    前記第１の画像系列に含まれる画像から、前記ユーザの顔正面以外の顔の像を含む第３の画像を抽出する、
    処理を、コンピュータに実行させるためのプログラム。

Images